今天开始会陆续将之前的文章做一下梳理,整理出一个完整的知识体系,有需要的伙伴们可以更方便地查找自己需要的知识点。
这篇文章介绍了应用算法解决 Kaggle 问题,一般有以下几个步骤, 以及每个步骤的简要定义和常用方法:
第一步:识别问题 第二步:分离数据 第三步:构造提取特征 第四步:组合数据 第五步:分解 第六步:选择特征 第七步:选择算法进行训练
这篇文章中的关键知识点:
- 为什么需要将数据分成 train/valid/test 部分?
- 每种模型需要调节什么参数?
- 179种分类模型在UCI所有的121个数据上的性能比较
- 训练集 & 测试集应用模型的流程有什么区别?
这篇文章用一个实例来将上一篇的流程应用了一下:
Data Exploration Data Cleaning Feature Engineering Model Building Ensemble Learning Predict
以及建立 训练 并用模型预测的过程:
从 sklearn 导入分类器模型后,定义一个 KNN, 定义合适的参数集 parameters, 然后用 get_model 去训练 KNN 模型, 接下来用训练好的模型去预测测试集的数据,并得到 accuracy_score, 然后画出 learning_curve。
这篇文章中的关键知识点:
- 分类问题的常用数据探索方法
- 缺失值如何处理?
- 如何通过原始变量构造新的特征?
这篇文章介绍了 Kaggle 比赛的一般流程:
探索数据 特征工程 建立模型 调参 预测提交
文章中的关键知识点:
- 如何探索数据?
- 如何构造特征?