0.1 1. 项目概览
- 项目背景:某公司开展员工满意度调查,回收问卷后得到原始数据,需要对原始数据进行清洗.
- 数据规模:标注数据量1000条数据+6个维度、数据来源企业脱敏数据。
- 项目周期:独立完成,耗时4h。
0.1.1 2. 技术路径
- 数据处理:经过分析,该原始数据存在以下问题:
- 部分问卷的 “年龄” 字段为空值;
- “入职日期” 字段格式不一致(如 “2023-01”“2023 年 1 月”“2023/1”);
- 存在重复提交的问卷(同一员工提交了 2 次);
- 处理方法:
- 插入数据透视表,以"部门"为行,以"年龄为值"统计每个部门平均年龄; 用Excel的筛选功能,筛选出"年龄"为空的行,再筛选出“部门”为“销售部”的行,统一填入销售部的平均年龄。如此可以快速填充缺失值。
- 通过 “拆分格式→文本转换→汇总统一→转日期类型” 的流程,将混乱的多格式日期,逐步规范为统一的日期值: 拆分格式:为每种日期格式建列,明确处理对象; 文本转换:用 IF+MID 把不同格式转成统一文本(如 YYYY-MM-DD 文本); 汇总统一:用 IF 合并结果,确保每行一个统一文本; 转日期:用 DATE+MID 将文本转为真正的日期类型(可参与日期计算)。 (注:步骤 2 中 IF 返回的 0 需注意过滤,避免影响后续转换;函数操作在 Excel、Google Sheets 等工具中通用,语法略有差异时需调整。)
- 用Excel的“删除重复项”功能,将重复提交的问卷删除。
0.1.2 以下是统一多格式日期数据的逐点解析:
1️⃣. 对每一种日期格式添加一个列 目的:先梳理数据中存在的日期格式(如 YYYY-MM-DD、MM/DD/YYYY、DD.MM.YYYY 等),为每种格式单独建列。 作用:方便后续针对不同格式的字符串,分别提取年、月、日信息。
2️⃣. 使用 IF 结合 MID,转化为目标格式的常规文本(false 忽略会返回 0) 逻辑: