机器学习算法实践之决策树

决策树是一种基本的分类与回归方法。决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则集合，也可以认为是定义在特征空间与类空间上的条件概率分布，其主要优点是模型具有可读性，分类速度快。在进行数据学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时对新的数据利用决策树模型进行分类。决策树模型学习过程主要包含三个步骤：特征选择，决策树生成，决策树修剪。我们将在后面逐步探讨这些内容。
1.决策树模型理论