1. 数据清洗规则
数据清洗规则包括：非空检核、主键重复、非法代码清洗、非法值清洗、数据格式检核、记录数检核。
非空检核：要求字段为非空的情况下，需要对该字段数据进行检核。
主键重复：多个业务系统中同类数据经过清洗后，在统一保存时，为保证主键唯一性，需进行检核工作。
非法代码、非法值清洗：非法代码问题包括非法代码、代码与数据标准不一致等，非法值问题包括取值错误、格式错误、多余字 符、乱码等,需根据具体情况进行校核及修正。
数据格式检核：通过检查表中属性值的格式是否正确来衡量其准确性，如时间格式、币种格式、多余字符、乱码。
记录数检核：指各个系统相关数据之间的数据总数检核。
2. 缺失值清洗
按照以下四个步骤进行：
2.1 确定缺失值范围：按照缺失比例和字段重要性，分别制定策略：
（a） 重要性高，缺失率低：通过计算进行填充；通过经验或业务知识估计；
（b） 重要性高，缺失率高：尝试从其他渠道取数补全；使用其他字段通过计算获取；
（c） 重要性低，缺失率低：不做处理或简单填充；
（d） 重要性低，缺失率高：去掉该字段；
2.2 去除不需要的字段：直接删掉即可
2.3 填充缺失内容，某些缺失值可以进行填充，方法有以下三种：
▪ 以业务知识或经验推测填充缺失值；
▪ 以同一指标的计算结果（均值、中位数、众数等）填充缺失值；
▪ 以不同指标的计算结果填充缺失值。
3 格式内容清洗
简单来说，格式内容问题有以下几类：
1、时间、日期、数值、全半角等显示格式不一致
在整合多来源数据时也有可能遇到，将其处理成一致的某种格式即可。
2、内容中有不该存在的字符
某些内容可能只包括一部分字符，比如身份证号是数字+字母，中国人姓名是汉字。最典型的就是头、尾、中间的空格，也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符。
3、内容与该字段应有内容不符
4. 逻辑错误清洗，主要包含以下几个步骤：
1、去重
2、去除不合理值
3、修正矛盾内容
5. 非需求数据清洗
原则：把不要的字段删了。如果数据量没有大到不删字段就没办法处理的程度，那么能不删的字段尽量不删。
6. 关联性验证
如果数据有多个来源，那么有必要进行关联性验证。
