每天五分钟机器学习:数据和特征决定机器学习的上限(特征工程)
本文重点
本文将了解机器学习的特征工程,有一句话是说:“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已”,这句话充分说明了特征工程的作用,如果将特征工程做好,那么模型的效果是不会差的。
特征工程的四个关键步骤
1、数据预处理
2、特征选择
3、特征降维
4、特征构造
数据预处理
数据预处理是特征工程的第一步。
我们需要将数据进行统一化处理,举一个例子,比如房子的特征有房屋面积还有房屋的数量这两个特征,那么面积可能是100平米,而房屋数量也能就3个,这两个特征相差三倍,所以没有在同一规格,需要将二者进行归一化处理,将数据统一到同一个个规格中。
有的数据还会存在缺失值,那么此时我们需要对其进行处理,常用的方式有以下几种:
1、均值
2、就近填补
3、K近邻法
4、将缺失值也作为一种特征,有缺失为1,无缺失为0
5、舍弃该缺失值
6、训练一个模型,预测缺失值
特征选择
数据处理完成之后,我们需要进行特征选择,因为一开始没有必要使用所有的特征,我们可以通过下面的方法找到最合适的特征。
1、方差选择法:如果某个特征的方差特别小,那么说明这个特征变化很小,有可能对模型的影响力很小。
2、使用相关系数(连续变量)和统计检验(离散变量)来对特征进行评估。
3、互信息法可以用来检测自变量对因