“脏数据不清，分析徒劳”——聊聊数据分析里最容易被忽视的苦差事

今天咱不聊高大上的模型，不聊花里胡哨的算法，咱就聊点“脏活累活”——数据预处理。别看它不起眼，但谁做谁知道，不管你是AI工程师、数据分析师，还是一个Excel小能手，预处理做不好，后面建模、分析、可视化全是“缘木求鱼”。

这事儿说白了就一句话：垃圾进，垃圾出（Garbage In, Garbage Out）。

一、数据预处理到底是干嘛的？

简单来说，预处理就像做饭前洗菜、切菜，是数据分析的前戏，它包括但不限于：

缺失值处理
异常值处理
类型转换
编码标准化
特征衍生
数据清洗和去重

听着复杂？咱们一个一个聊，而且都用代码举例，不整那种纯嘴皮子功夫。

二、缺失值处理：你丢了点啥？

现实中，很多表格都是“缺胳膊少腿”的。比如某公司员工表，缺了好几个年龄和部门：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    '姓名': ['张三', '李四', '王五', '赵六'],
    '年龄': [28, np.nan, 35, np.nan],
    '部门': ['技术部', '市场部', np.nan, '行政部']
})
print(df)

怎么办？一般有三种选择：

删掉（适合样本多、缺失不多的时候）：

  df.dropna(inplace=True)

填充（适合缺失比例不大）：

  df['年龄'].fillna(df['年龄'].mean(), inplace=True)
  df['部门'].fillna('未知部门', inplace=True)

插值法、建模填补（高级玩法，后期说）

Echo唠叨： 不要一股脑全删，删的是数据，丢的是信息，填的是规则，带来的是偏差，权衡很重要。

三、异常值处理：你是“离群”还是“脱轨”？

有时候数据太奇怪，不是BUG就是“神仙数据”：

df = pd.DataFrame({'工资': [5000, 5500, 5200, 40000, 5300]})

你看，40000是不是太跳脱？可以用箱线图法（IQR）简单判断：

Q1 = df['工资'].quantile(0.25)
Q3 = df['工资'].quantile(0.75)
IQR = Q3 - Q1
outlier_mask = (df['工资'] < Q1 - 1.5 * IQR) | (df['工资'] > Q3 + 1.5 * IQR)
print(df[outlier_mask])

你是保留、剔除、还是做离散化处理，得看业务场景。

Echo唠叨： 异常值不一定是坏数据，它可能就是关键数据，比如风控领域，一个“百万转账”就是诈骗的特征。

四、类型转换：数据类型不对，跑得都费劲

你知道吗？Pandas里"123"跟123可不是一个东西，一个是字符串，一个是数值，做数学运算直接报错。

df = pd.DataFrame({'销售额': ['1000', '2000', '3000']})
df['销售额'] = df['销售额'].astype(int)

还有日期字段，一定要转成datetime类型才能做时间序列分析：

df['日期'] = pd.to_datetime(df['日期'])

五、编码与标准化：模型不懂“男”和“女”

大多数算法不懂人话，比如“性别”这种类别变量，你得把它变成数字。常见做法有：

标签编码（适合有序类别）：

  from sklearn.preprocessing import LabelEncoder
  df['性别编码'] = LabelEncoder().fit_transform(df['性别'])

One-hot编码（适合无序类别）：

  pd.get_dummies(df, columns=['性别'])

标准化也是老生常谈了，尤其是在做距离相关的算法（比如KNN、聚类）时：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df_scaled = scaler.fit_transform(df[['工资', '年龄']])

六、特征衍生：一招秒变老司机

好的特征比复杂的算法更重要，这话在数据圈子传疯了。比如：

从时间戳中提取出“星期几”、“是否节假日”
从地址里提取省、市、区
将用户行为转为频率特征、留存天数等

df['注册天数'] = (pd.to_datetime('2025-06-01') - df['注册时间']).dt.days

这些手工加工出来的特征，往往能让模型性能质的飞跃。

七、总结一下：数据预处理不香吗？

说实话，我刚入行那会儿，天天就想着堆模型、调参数，后来踩了不少坑才明白：

建模就像盖楼，数据预处理才是打地基。

很多人以为数据分析是“模型 + 可视化”，但真相是，80%的时间都在做数据清洗和整理。这工作虽苦，但做得好，后面一顺百顺。

发送评论编辑评论