第 40 卷

数据清洗与汇总：让 AI

清理脏数据、去重、合并与汇总统计

为什么这一块很重要

大学生几乎人人都被"脏数据"折磨过，只是当时不知道它叫这个名字：

• 问卷数据惨不忍睹：课程作业发了 300 份问卷，回收后发现：年龄填"20

岁""20""二十"的都有；多选题有人只选一个、有人全选；备注栏混进来"哈哈哈"和乱码；

• 报名表重复混乱：社团招新收了 200

份报名表，合并后发现同一个人报名了两次、有人手机号少一位、有人没填专业；

• 多源数据难合并：小组 5

个人各统计了一部分数据，表头命名不一样（"姓名/名字/Name"），合并时字段对不上；

• 格式五花八门：日期有"2026/3/1""2026-03-01""2026年3月1日"三种写法；手机号有的带空格、有的带横杠；

金额有的带"元"字、有的是数字。

传统清洗流程：筛选、替换、排序、去重、VLOOKUP、透视表……每一步都要手动操作，遇到不规范的还得先"翻译 "表头。腾讯云教程（《把 Excel 分析交给 WorkBuddy：让数据清洗到可视化全流程》）举了一个真实案例：把 3

份来自不同部门的销售数据 Excel（总计 8000+ 行）合并汇总并按月生成图表，手动需要 2-3 小时，WorkBuddy 5

分钟出结果——而且它自动识别了"日期""地区""销售额"等列，即使每份表格的列名都不一样（销售金额/营收/GMV 实际是同一字段）。

对大学生来说，这意味着：问卷数据从"整理一晚上"变成"一条指令 + 人工复核"；社团报名表从"手动去重到眼花"变成"自动检测重复并标记"；小组作业的数据合并从"互相等对方改表头"变成"直接丢给 AI

统一口径"。这一篇，我们系统学习数据清洗与汇总的完整方法。

核心概念

脏数据（Dirty Data）

不规范、不完整、不一致的数据：重复记录、缺失值、格式不统一、错误值、异常值、混入的非目标数据。它是分析出错的第一大来源——"垃圾进，垃圾出"（Garbage in, garbage out）。

示例：报名表中"手机号"列同时存在 13812345678、138-1234-5678、空值三种情况。

清洗规则（Cleaning Rules）

你告诉 AI"怎么处理脏数据"的明确指令：去重、填充/删除缺失值、统一格式、修正错误、处理异常值、剔除无关行。规则越具体，清洗越准确。

示例："把所有手机号统一为 11 位纯数字，去掉空格和横杠；空值填充为'未填写'；删除完全重复的行（学号+姓名都相同）。"

数据合并（Data Merge）

把多张表按行/列/键合并成一张表：纵向合并（多份同结构表拼接）、横向合并（按关键字段关联，类似 VLOOKUP）。关键是字段对齐——AI 能识别"销售金额/营收/GMV"是同一字段（腾讯云实测案例）。

汇总统计（Aggregation）

对清洗后的数据按维度汇总：求和、平均、计数、占比、分组统计、透视。输出可以是 Excel 汇总表、图表或文字结论。

示例："按专业统计报名人数""按月份统计支出总额并画柱状图"。

可溯源核对（Traceability）

让 AI 在执行关键操作时"留下证据"：标注每条修改的理由、说明去重删了哪些行、汇总口径是什么。腾讯云教程建议："重要结论让它标注'来自哪一行/哪个字段'，方便你核对，别盲信。"

示例："去重时保留第一条记录，删掉的重复行单独放一个工作表并注明原因。"

实操方法

方法一：脏数据清洗全流程（问卷/报名表场景）

适用场景：问卷星导出的数据、社团报名表、任何"又乱又多"的表格。

步骤：

• 上传原始表格到「数据分析」模式；
• 先让 AI"描述数据结构并诊断问题"——这一步很关键，让 AI 先告诉你"有哪些列、每列有哪些问题"；
• 根据诊断结果，下达清洗指令（清洗规则逐条写清）；
• 要求 AI 输出"清洗报告"（改了什么、删了什么）；
• 复核后导出干净数据。

可直接复制的提示词（第一步：数据结构诊断）：

这是我回收的 300 份课程问卷数据（问卷数据.xlsx）。

请先诊断这份数据：有哪些列、每列的数据类型、存在哪些问题（缺失值/重复/格式不统一/异常值/乱码），逐列列出。

可直接复制的提示词（第二步：执行清洗）：

根据上面的诊断，请执行以下清洗：

1. 完全重复的行（学号+姓名都相同）只保留第一条，删除的行单独存到"已删除重复"工作表
2. "年龄"列统一为数字：去掉"岁"字，文字描述（如"二十"）转为数字，无法识别的标"未填写"
3. "手机号"列：去空格、去横杠，统一为 11 位数字，位数不对的标红并列入"问题数据"工作表
4. 空值处理：必要字段（姓名、学号）空值整行标记；非必要字段空值填"未填写"
5. 剔除明显乱码行（如整行全是"哈哈哈"或符号）
6. 完成后输出：清洗后的主表 + 清洗报告（每条规则处理了多少行）

关键技巧（腾讯云教程）：数据量特别大或格式混乱时，先让它"描述数据结构并清洗"，再进入分析，出错率更低。

方法二：多表合并统一口径（小组作业/社团场景）

适用场景：多人分头统计的数据、多来源表格需要合成一张。

步骤：

• 说明字段对应关系（哪些列实际是同一字段）；
• 要求输出合并结果 + 字段映射说明；
• 复核合并后的行数与关键数值。

可直接复制的提示词（多表纵向合并）：

我有 5 份各小组分别统计的问卷数据（工作空间内：问卷_小组1.xlsx 到问卷_小组5.xlsx），它们结构基本相同但表头命名略有差异（如"姓名/名字"、"专业/学院专业"）。

请帮我：

1. 分析 5 张表的字段差异，输出字段映射对照表
2. 统一表头后纵向合并为一张总表，共多少行
3. 检查合并后是否有重复（按学号判断），重复的标记出来
4. 输出为《问卷汇总_清洗版.xlsx》+ 字段映射说明文档

可直接复制的提示词（多表横向关联——类似 VLOOKUP）：

把"报名信息.xlsx"和"缴费记录.xlsx"按学号关联合并：

1. 以报名信息为主表，缴费记录按学号匹配金额，未缴费的显示"未缴费"
2. 输出合并后表格，并标注：匹配成功的行数、未匹配的行数
3. 未匹配到的学号单独列出，方便人工核对

注意（腾讯云教程踩坑记录）：日期格式不统一会导致分组失败——3 份表里日期分别是"2026/3/1""2026-03-01""2026年3月1日"，AI

第一次处理时把后两种识别成了字符串。解决：指令里加一句"请把所有日期统一转换为 YYYY-MM-DD 格式后再分析"。

方法三：汇总统计与分组分析（直接出结论）

适用场景：清洗之后的分析环节——统计频次、分组汇总、占比计算。

步骤：

• 在清洗后的数据基础上直接追问；
• 用"按 XX 维度统计 XX 指标"的句式；
• 要求输出"表格 + 一句结论"；
• 关键结论要求说明计算依据。

可直接复制的提示词（问卷频次统计）：

基于清洗后的问卷数据：

1. 按专业统计各专业人数和占比（保留 1 位小数）
2. 统计"是否使用 AI 工具"选项的频次和百分比
3. 交叉分析：不同专业使用 AI 工具的比例差异
4. 输出：汇总表格 + 每个问题的 1 句话结论

可直接复制的提示词（社团活动参与统计）：

这是社团本学年活动签到表（活动签到.xlsx），字段：活动名称、日期、参与人学号、参与人姓名。

请帮我：

1. 统计每场活动参与人数，降序排列
2. 统计每个成员参与活动次数，找出参与最多的前 5 名
3. 按月汇总活动场次与总参与人次
4. 输出 Excel 汇总表 + 文字总结（哪个月最活跃、哪些活动人气最高）

进阶玩法（来自腾讯云教程）：