Python读取网页JSON接口数据存CSV教程
用requests请求网页API接口,解析返回的JSON数据,自动提取字段并存成CSV,支持分页、请求头、错误重试,附完整代码。
场景痛点
要从开放API抓一批数据,浏览器里一个接口一个接口点
用requests请求网页API接口,解析返回的JSON数据,自动提取字段并存成CSV,支持分页、请求头、错误重试,附完整代码。
场景痛点
要从开放API抓一批数据,浏览器里一个接口一个接口点
把多个JSON文件或一组JSON数据批量导出成Excel,用openpyxl或pandas to_excel,支持多Sheet分文件、表头样式,附完整代码。
场景痛点
数据是JSON格式,但同事只收Excel;一份JSON里有
把Python JSON数据转成CSV表格,用csv模块或pandas to_csv两种方式,自动对齐所有字段为列,支持嵌套字段打平,附完整代码。
场景痛点
接口返回的是JSON数组,产品说"给我个Excel看看
把深层嵌套的JSON数据用json_normalize或递归函数打平成扁平表,点号路径作为列名,方便转CSV和做分析,附完整代码。
场景痛点
接口返回的JSON一层套一层:user.profile.address.ci
用箱线图IQR法和3σ标准差法检测数据中的异常值,提供删除、截断、替换三种处理方式,适合销售数据、工资数据的清洗。
场景痛点
业务报表里突然冒出来一笔100万的订单,或者员工
用apply、applymap、map给DataFrame逐行逐列跑自定义逻辑,结合lambda和多分支判断,处理复杂业务规则比向量化表达式更直观。
场景痛点
pandas内置函数能解决80%的问题,但剩下20
用astype把DataFrame列在int、float、str、category之间转换,配合pd.to_numeric、pd.to_datetime处理脏数据类型,避免入库和计算报错。
场景痛点
读进来的Excel,金额列全是obje
用pandas的dropna、drop_duplicates、fillna三步处理脏数据,覆盖整行空值、全列空值、重复行、关键字段重复等常见场景。
场景痛点
从业务系统导出的Excel,经常是一堆空行、重
区分concat纵向拼接、merge按键关联、join按索引关联三种合并方式,覆盖Excel里常见的多sheet拼表、两表VLOOKUP场景。
场景痛点
Excel里想把三个月的表拼到一起,再用VLOOKUP把
用pandas处理字符串日期转datetime、提取年月日时分、日期加减、按日期分组,解决Excel里日期格式混乱的常见痛点。
场景痛点
Excel里的日期五花八门:有的是"2024/1/5",有的是"2
用groupby做分组求和、计数、均值、中位数,结合agg一次性多指标聚合,等价于SQL的GROUP BY,替代Excel数据透视表。
场景痛点
每月出报表要按部门算平均工资、按区域算销售额、按
用pandas的read_csv读取CSV文件,自动识别类型、处理表头、跳到指定列,适合数据分析和批量清洗场景,附完整代码。
场景痛点
拿到一份几千行的CSV,手动在Excel里点筛选、排序、统
用pandas的read_sql、to_sql一行代码把DataFrame写入SQLite,再用read_sql_query把表读回DataFrame,告别手写SQL游标循环。
场景痛点
用sqlite3原生API写数据,要自己拼INSERT语
用pandas的str.split分列、str.replace替换、str.extract提取、str.contains筛选,处理Excel里混在一格的电话、地址、商品名等脏字符串。
场景痛点
从系统导出的表格,姓名和电
用Python标准库csv模块读取CSV文件,不需要安装pandas,逐行解析表头和数据,适合小文件和轻量场景,附完整可运行代码。
场景痛点
日常工作里CSV到处都是:导出的订单表、后台日志、
用Python标准库json读取本地JSON文件,支持dict和list两种根结构,中文不转义、处理嵌套字段,附完整可运行代码。
场景痛点
接口返回的数据、配置文件、前端传过来的数据都是JSON
用pandas分块读取、指定dtypes、只读必要列、只读过滤后的数据,解决几十万行CSV/Excel读取内存爆掉的问题,机器低配也能跑。
场景痛点
手头CSV文件几百MB甚至几个GB,pd.read_cs
用pandas按某一列的值把一个大CSV拆成多个小文件,比如按城市、按日期、按类别拆分,自动命名、自动建文件夹,附完整代码。
场景痛点
一份全国订单表,要按城市分别发给各区域负责
用Python内置sqlite3模块完成SQLite数据库的建表、插入、查询、更新、删除全流程,代码可直接运行,适合办公自动化数据落库场景。
场景痛点
做报表、跑脚本经常要把中间结果存
把SQLite查询结果直接导出成xlsx,支持多级表头、自动列宽、数字格式,适合每周给业务方出报表,不用再手动复制粘贴。
场景痛点
数据库里查出来的数据,业务方要Excel版本,每次手动S
用Python把数据写入CSV文件,分别给出标准库csv和pandas to_csv两种写法,支持中文表头、追加模式、自定义分隔符,附完整代码。
场景痛点
处理完数据要导出给同事、传给系统、做
用Python标准库json把dict/list写入JSON文件,解决中文被转义成\uXXXX的问题,支持缩进美化、原子写入,附完整代码。
场景痛点
把Python字典存成JSON给前端、给下游系统用,结果打
讲解用Python requests调用公开汇率API,获取实时汇率并批量计算人民币对美元、欧元等多币种换算结果,适合外贸、财务报表自动化。
场景痛点
做外贸、跨境电商、财务对账经常要
讲解用Python requests调用公开天气API,传入城市名获取实时温度、湿度、风力,解析JSON返回并格式化输出,适合做日报、监控、自动化报表。
场景痛点
每天早上要做晨会日报,天气预
讲解用requests批量抓取多个网页完整HTML保存到本地,自动建目录、按URL生成文件名,方便离线归档、备份网页内容、做本地镜像。
场景痛点
工作中遇到重要网页想留档:规章制度页
讲解用requests配合BeautifulSoup批量抓取多个网页的标题,线程池并发提速,把结果存成CSV清单,适合竞品监控、文章列表收集、网页索引整理。
场景痛点
手里有一堆URL,可能是从Exc
讲解用BeautifulSoup解析HTML table标签,遍历tr和td把表格数据读成二维列表,再导出成CSV文件,适合抓取网页上的名单、价格、排行榜。
场景痛点
网页上有一张产品价格表、比赛成
讲解用BeautifulSoup解析HTML,通过find、select定位标签,提取正文文字并去掉多余空白,适合从抓取到的网页中抽取需要的文本内容。
场景痛点
requests拿到网页HTML后是一长串标
讲解用requests循环批量下载文件,配合线程池并发提速,自动跳过已存在文件、记录失败清单,适合大批量图片/文档素材下载。
场景痛点
单个文件下载慢,几百个文件排队串行下更慢,等
讲解requests中Cookie的读取、手动设置、从浏览器复制Cookie字符串加载、持久化到本地文件,适合需要登录态但又不想每次都登录的场景。
场景痛点
很多网站登录有验证码、有扫