我的知识记录

Python发送邮件带附件完整示例

用Python smtplib加MIMEBase发送带附件的邮件,支持PDF、Excel、图片等任意类型文件,附完整可运行代码与文件名中文乱码解决。
场景痛点
每天把报表打包成Excel或PDF后,还要手动

Python发送HTML格式邮件 排版美化教程

用Python smtplib发送HTML格式邮件,支持加粗、颜色、表格、按钮等富文本排版,比纯文本邮件更专业,附完整代码。
场景痛点
纯文本邮件干巴巴,领导看着没质感。发周报、营销通知、

Python发送邮件多个附件 一次打包发送

用Python smtplib发送带多个附件的邮件,支持混合PDF/Excel/图片,自动处理中文文件名,附完整代码与目录批量打包示例。
场景痛点
周报要发Excel数据、PDF报告、PNG截图,三个文件

Python自动发送邮件 smtplib基础教程

用Python内置smtplib和email库从零发送第一封纯文本邮件,涵盖SMTP连接、登录、构造Message、发送全过程,附完整可运行代码与常见报错排查。
场景痛点
每天定时给领导发日报、

Python批量读取多个JSON汇总教程

用Python遍历文件夹批量读取多个JSON文件,合并成一个大列表或汇总成统计表,支持嵌套字段提取和错误跳过,附完整代码。
场景痛点
爬虫按页存了几百个JSON、日志系统按天输出JSON

Python CSV大数据分块读取教程:chunksize不爆内存

用pandas chunksize分块读取GB级CSV,逐块处理、聚合、导出,解决一次性读入内存不够的问题,附完整可运行代码。
场景痛点
拿到一份2GB的用户行为CSV,直接 pd.read_csv 内存直接占

Python CSV去重教程:按列或整行去重保留第一条

用pandas drop_duplicates对CSV去重,支持按指定列去重、保留第一条或最后一条、导出干净文件,附完整代码和注意事项。
场景痛点
数据来源多了,同一个用户重复录入、同一笔订单

Python处理CSV编码乱码:utf-8和gbk切换方法

解决Python读取CSV中文乱码问题,对比utf-8、utf-8-sig、gbk、gb18030几种编码,给出自动探测和转码方法,附完整代码。
场景痛点
用pandas或csv打开别人发的CSV,表头变成 测è

Python CSV按列筛选导出教程:只保留需要的字段

用pandas或csv模块按列筛选CSV,只保留指定字段导出新文件,支持多列选择、列重命名、按行条件过滤,附完整代码。
场景痛点
拿到一份几十列的用户表,老板只要"手机号、姓名、注册

Python合并多个CSV文件教程:批量拼接成一张表

用pandas批量合并同一个文件夹下的多个CSV文件,自动追加文件名标记、去表头、统一列名,附完整可运行代码。
场景痛点
运营每周导出一份CSV,攒了半年就是20多个文件;客服按天导出

Python清洗CSV缺失值教程:填充或删除空值

用pandas处理CSV中的缺失值,包括删除空行、用均值/中位数/众数填充、前向填充、标记缺失列,附完整可运行代码。
场景痛点
导出的CSV总有空单元格:有的用户没填年龄、有的订单缺

Python CSV转JSON教程:表格导出为接口格式

把CSV表格转成JSON数组或指定结构,用csv模块或pandas to_json,支持指定根key、中文不转义,附完整代码。
场景痛点
前端要调接口拿数据,但手里只有一份CSV;或者要把CSV喂给只吃JSO

Python数据标准化归一化方法教程

用pandas和sklearn做Min-Max归一化、Z-score标准化,解决不同量纲字段(金额与数量)在模型、相似度计算中权重失衡的问题。
场景痛点
做客户分群、相似推荐、回归预测时,金额列动

Python字典列表数据转表格pandas教程

把接口返回、爬虫抓到的字典列表(list[dict])一键转成pandas DataFrame,处理缺字段、字段不齐、嵌套字典等常见坑。
场景痛点
调接口、爬网页、读JSON返回的数据,基本都是字典列

Python Excel数据导入SQLite数据库实战

用pandas读取Excel文件,清洗后一键写入SQLite,支持多sheet、表头跳过、类型指定,适合把零散Excel报表归档到本地数据库。
场景痛点
每个月各个部门发过来的Excel报表,文件名五花

Python批量插入数据到数据库executemany详解

对比for循环单条插入与executemany批量插入的性能差异,给出SQLite/MySQL通用的批量插入写法,万级数据秒级入库。
场景痛点
要把几万条数据写进数据库,用for循环一条条execute,每

Python生成测试数据Faker库实战

用Faker库批量生成中文姓名、地址、手机号、公司名等假数据,配合pandas导出DataFrame和Excel,用于开发测试和演示样例。
场景痛点
写演示脚本、做PPT截图、测试清洗逻辑,总得先

Python读取网页JSON接口数据存CSV教程

用requests请求网页API接口,解析返回的JSON数据,自动提取字段并存成CSV,支持分页、请求头、错误重试,附完整代码。
场景痛点
要从开放API抓一批数据,浏览器里一个接口一个接口点

Python JSON批量导出Excel教程:多Sheet或单Sheet

把多个JSON文件或一组JSON数据批量导出成Excel,用openpyxl或pandas to_excel,支持多Sheet分文件、表头样式,附完整代码。
场景痛点
数据是JSON格式,但同事只收Excel;一份JSON里有

Python JSON转CSV教程:list[dict]一键导出表格

把Python JSON数据转成CSV表格,用csv模块或pandas to_csv两种方式,自动对齐所有字段为列,支持嵌套字段打平,附完整代码。
场景痛点
接口返回的是JSON数组,产品说"给我个Excel看看

Python嵌套JSON展开打平教程:扁平化嵌套字段

把深层嵌套的JSON数据用json_normalize或递归函数打平成扁平表,点号路径作为列名,方便转CSV和做分析,附完整代码。
场景痛点
接口返回的JSON一层套一层:user.profile.address.ci

Python处理异常值outliers检测与处理教程

用箱线图IQR法和3σ标准差法检测数据中的异常值,提供删除、截断、替换三种处理方式,适合销售数据、工资数据的清洗。
场景痛点
业务报表里突然冒出来一笔100万的订单,或者员工

Python pandas apply自定义函数教程

用apply、applymap、map给DataFrame逐行逐列跑自定义逻辑,结合lambda和多分支判断,处理复杂业务规则比向量化表达式更直观。
场景痛点
pandas内置函数能解决80%的问题,但剩下20

Python pandas数据类型转换astype详解

用astype把DataFrame列在int、float、str、category之间转换,配合pd.to_numeric、pd.to_datetime处理脏数据类型,避免入库和计算报错。
场景痛点
读进来的Excel,金额列全是obje

Python pandas数据清洗去重去空实战

用pandas的dropna、drop_duplicates、fillna三步处理脏数据,覆盖整行空值、全列空值、重复行、关键字段重复等常见场景。
场景痛点
从业务系统导出的Excel,经常是一堆空行、重

Python pandas多表合并concat merge详解

区分concat纵向拼接、merge按键关联、join按索引关联三种合并方式,覆盖Excel里常见的多sheet拼表、两表VLOOKUP场景。
场景痛点
Excel里想把三个月的表拼到一起,再用VLOOKUP把

Python pandas时间日期处理教程

用pandas处理字符串日期转datetime、提取年月日时分、日期加减、按日期分组,解决Excel里日期格式混乱的常见痛点。
场景痛点
Excel里的日期五花八门:有的是"2024/1/5",有的是"2

Python pandas分组聚合groupby实战

用groupby做分组求和、计数、均值、中位数,结合agg一次性多指标聚合,等价于SQL的GROUP BY,替代Excel数据透视表。
场景痛点
每月出报表要按部门算平均工资、按区域算销售额、按

Python pandas读取CSV教程:一行加载成DataFrame

用pandas的read_csv读取CSV文件,自动识别类型、处理表头、跳到指定列,适合数据分析和批量清洗场景,附完整代码。
场景痛点
拿到一份几千行的CSV,手动在Excel里点筛选、排序、统

Python pandas读写SQLite数据库教程

用pandas的read_sql、to_sql一行代码把DataFrame写入SQLite,再用read_sql_query把表读回DataFrame,告别手写SQL游标循环。
场景痛点
用sqlite3原生API写数据,要自己拼INSERT语