异常值检测助手
地图帮2026-03-10
异常值检测助手
自动识别数据中的异常值:选好检测方法和阈值,系统标记出每一列的异常行,并给出异常率。大部分订单在 100-500 元、突然蹦出个 99999 的时候,先用它找出这些值,再决定是录入错误还是真实大单。
结果可以导出三种版本:标记版数据、只含异常行的子集、去掉异常行的干净数据。
准备至少一列数值数据
- 一份 Excel 或 CSV 文件,至少包含 1 列数值数据
四步找出异常值
导入数据。打开数据魔方,点顶部「数据分析」标签页,进「异常值检测助手」卡片,导入数据文件。系统自动识别数值列。
选择检测方法和参数。在参数面板里勾选想检测的列(可多选),再选检测方法:
方法 原理(用人话说) 默认阈值 IQR 算出数据的"正常范围"(25% 分位到 75% 分位),超出太多的就是异常。最常用,对大多数数据都好使 1.5 Z-score 算每个值偏离平均值多少个标准差,偏得太远的是异常。适合数据大致对称的情况 3.0 Modified Z-score 和 Z-score 类似,但用中位数代替均值,不容易被极端值干扰。数据偏态严重时用它 3.5 不知道选哪个就选 IQR、阈值保持 1.5,大多数情况够用。关于 IQR 阈值只需要知道"越大越宽松":调大(比如 3.0)只有特别离谱的才算异常,调小(比如 1.0)更多值会被标记。
查看结果。点「开始分析」,先看各列异常率摘要:
列名 异常数 总行数 异常占比 下界 上界 销售额 23 5000 0.46% -150.00 850.00 成本 8 5000 0.16% 10.00 320.00 "下界"和"上界"是系统算出的正常范围,低于下界或高于上界的值被标记为异常。
导出结果。三种导出选项按需选择:
- 标记版:原始数据多几列标记(
_is_outlier为 1 表示这行有异常,_outlier_销售额为 1 表示这列是异常) - 异常行子集:只包含被标记为异常的行
- 清洗后数据:去掉异常行后的干净数据
- 标记版:原始数据多几列标记(
异常率特别高时,先怀疑阈值太严
选了好几列检测后异常率高达 30%,不一定是数据有问题。把阈值从 1.5 调到 2.0 或 3.0 试试,异常率会明显下降。
确认异常率符合直觉
各列的异常摘要出来了,异常率合理、下界上界符合对数据的认知,说明检测完成。
