我的知识记录

Python读取网页JSON接口数据存CSV教程

用requests请求网页API接口,解析返回的JSON数据,自动提取字段并存成CSV,支持分页、请求头、错误重试,附完整代码。
场景痛点
要从开放API抓一批数据,浏览器里一个接口一个接口点

Python JSON批量导出Excel教程:多Sheet或单Sheet

把多个JSON文件或一组JSON数据批量导出成Excel,用openpyxl或pandas to_excel,支持多Sheet分文件、表头样式,附完整代码。
场景痛点
数据是JSON格式,但同事只收Excel;一份JSON里有

Python JSON转CSV教程:list[dict]一键导出表格

把Python JSON数据转成CSV表格,用csv模块或pandas to_csv两种方式,自动对齐所有字段为列,支持嵌套字段打平,附完整代码。
场景痛点
接口返回的是JSON数组,产品说"给我个Excel看看

Python嵌套JSON展开打平教程:扁平化嵌套字段

把深层嵌套的JSON数据用json_normalize或递归函数打平成扁平表,点号路径作为列名,方便转CSV和做分析,附完整代码。
场景痛点
接口返回的JSON一层套一层:user.profile.address.ci

Python处理异常值outliers检测与处理教程

用箱线图IQR法和3σ标准差法检测数据中的异常值,提供删除、截断、替换三种处理方式,适合销售数据、工资数据的清洗。
场景痛点
业务报表里突然冒出来一笔100万的订单,或者员工

Python pandas apply自定义函数教程

用apply、applymap、map给DataFrame逐行逐列跑自定义逻辑,结合lambda和多分支判断,处理复杂业务规则比向量化表达式更直观。
场景痛点
pandas内置函数能解决80%的问题,但剩下20

Python pandas数据类型转换astype详解

用astype把DataFrame列在int、float、str、category之间转换,配合pd.to_numeric、pd.to_datetime处理脏数据类型,避免入库和计算报错。
场景痛点
读进来的Excel,金额列全是obje

Python pandas数据清洗去重去空实战

用pandas的dropna、drop_duplicates、fillna三步处理脏数据,覆盖整行空值、全列空值、重复行、关键字段重复等常见场景。
场景痛点
从业务系统导出的Excel,经常是一堆空行、重

Python pandas多表合并concat merge详解

区分concat纵向拼接、merge按键关联、join按索引关联三种合并方式,覆盖Excel里常见的多sheet拼表、两表VLOOKUP场景。
场景痛点
Excel里想把三个月的表拼到一起,再用VLOOKUP把

Python pandas时间日期处理教程

用pandas处理字符串日期转datetime、提取年月日时分、日期加减、按日期分组,解决Excel里日期格式混乱的常见痛点。
场景痛点
Excel里的日期五花八门:有的是"2024/1/5",有的是"2

Python pandas分组聚合groupby实战

用groupby做分组求和、计数、均值、中位数,结合agg一次性多指标聚合,等价于SQL的GROUP BY,替代Excel数据透视表。
场景痛点
每月出报表要按部门算平均工资、按区域算销售额、按

Python pandas读取CSV教程:一行加载成DataFrame

用pandas的read_csv读取CSV文件,自动识别类型、处理表头、跳到指定列,适合数据分析和批量清洗场景,附完整代码。
场景痛点
拿到一份几千行的CSV,手动在Excel里点筛选、排序、统

Python pandas读写SQLite数据库教程

用pandas的read_sql、to_sql一行代码把DataFrame写入SQLite,再用read_sql_query把表读回DataFrame,告别手写SQL游标循环。
场景痛点
用sqlite3原生API写数据,要自己拼INSERT语

Python pandas字符串处理分列替换教程

用pandas的str.split分列、str.replace替换、str.extract提取、str.contains筛选,处理Excel里混在一格的电话、地址、商品名等脏字符串。
场景痛点
从系统导出的表格,姓名和电

Python读取CSV文件 csv模块教程:标准库一行读出来

用Python标准库csv模块读取CSV文件,不需要安装pandas,逐行解析表头和数据,适合小文件和轻量场景,附完整可运行代码。
场景痛点
日常工作里CSV到处都是:导出的订单表、后台日志、

Python读取JSON文件教程:标准库json详解

用Python标准库json读取本地JSON文件,支持dict和list两种根结构,中文不转义、处理嵌套字段,附完整可运行代码。
场景痛点
接口返回的数据、配置文件、前端传过来的数据都是JSON

Python读取大文件内存优化实战

用pandas分块读取、指定dtypes、只读必要列、只读过滤后的数据,解决几十万行CSV/Excel读取内存爆掉的问题,机器低配也能跑。
场景痛点
手头CSV文件几百MB甚至几个GB,pd.read_cs

Python按条件拆分CSV教程:按列值分成多个文件

用pandas按某一列的值把一个大CSV拆成多个小文件,比如按城市、按日期、按类别拆分,自动命名、自动建文件夹,附完整代码。
场景痛点
一份全国订单表,要按城市分别发给各区域负责

Python操作SQLite数据库增删改查完整教程

用Python内置sqlite3模块完成SQLite数据库的建表、插入、查询、更新、删除全流程,代码可直接运行,适合办公自动化数据落库场景。
场景痛点
做报表、跑脚本经常要把中间结果存

Python从SQLite查询结果导出Excel文件

把SQLite查询结果直接导出成xlsx,支持多级表头、自动列宽、数字格式,适合每周给业务方出报表,不用再手动复制粘贴。
场景痛点
数据库里查出来的数据,业务方要Excel版本,每次手动S

Python写入CSV文件教程:csv模块与pandas两种写法

用Python把数据写入CSV文件,分别给出标准库csv和pandas to_csv两种写法,支持中文表头、追加模式、自定义分隔符,附完整代码。
场景痛点
处理完数据要导出给同事、传给系统、做

Python写入JSON文件教程:json.dump中文不转义

用Python标准库json把dict/list写入JSON文件,解决中文被转义成\uXXXX的问题,支持缩进美化、原子写入,附完整代码。
场景痛点
把Python字典存成JSON给前端、给下游系统用,结果打

Python调用公开API获取天气数据:实时查询与解析

讲解用Python requests调用公开天气API,传入城市名获取实时温度、湿度、风力,解析JSON返回并格式化输出,适合做日报、监控、自动化报表。
场景痛点
每天早上要做晨会日报,天气预

Python批量抓取网页存成本地HTML:离线镜像与归档

讲解用requests批量抓取多个网页完整HTML保存到本地,自动建目录、按URL生成文件名,方便离线归档、备份网页内容、做本地镜像。
场景痛点
工作中遇到重要网页想留档:规章制度页

Python BeautifulSoup提取表格数据:HTML表格转CSV示例

讲解用BeautifulSoup解析HTML table标签,遍历tr和td把表格数据读成二维列表,再导出成CSV文件,适合抓取网页上的名单、价格、排行榜。
场景痛点
网页上有一张产品价格表、比赛成

Python requests批量下载文件:多线程提速与失败重试

讲解用requests循环批量下载文件,配合线程池并发提速,自动跳过已存在文件、记录失败清单,适合大批量图片/文档素材下载。
场景痛点
单个文件下载慢,几百个文件排队串行下更慢,等

Python requests处理Cookie:手动携带与本地保存

讲解requests中Cookie的读取、手动设置、从浏览器复制Cookie字符串加载、持久化到本地文件,适合需要登录态但又不想每次都登录的场景。
场景痛点
很多网站登录有验证码、有扫