边缘提取算法读后感集锦(6)

分类决策树算法：
C4.5算法是机器学习算法中的一种分类决策树算法，其核心算法是ID3算法。
分类决策树算法是从大量事例中进行提取分类规则的自上而下的决策树。
决策树的各部分是：
根：学习的事例集；
枝：分类的判定条件；
叶：分好的各个类。
1.3.1 C4.5对ID3算法的改进
1) 熵的改进，加上了子树的信息。
Split_Infox(X)= -SUM( (|T|/|Ti|)*LOG(|Ti|/|T|))；
Gain ratio(X)= Gain(X)/Split_Infox(X);
2) 在输入数据上的改进
① 因素属性的值可以是连续量，C4.5对其排序并分成不同的集合后按照ID3算法当作离散量进行处理，但结论属性的值必须是离散值。
② 训练例的因素属性值可以是不确定的.，以?表示，但结论必须是确定的。
3) 对已生成的决策树进行裁剪，减小生成树的规模。
2 The k-means algorithm（k平均算法）
k-means algorithm是一个聚类算法，把n个对象根据它们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。
假设有k个群组Si, i=1,2,...,k。μi是群组Si内所有元素xj的重心，或叫中心点。
k平均聚类发明于1956年，该算法最常见的形式是采用被称为劳埃德算法(Lloyd algorithm)的迭代式改进探索法。劳埃德算法首先把输入点分成k个初始化分组，可以是随机的或者使用一些启发式数据。然后计算每组的中心点，根据中心点的位臵把对象分到离它最近的中心，重新确定分组。继续重复不断地计算中心并重新分组，直到收敛，即对象不再改变分组（中心点位臵不再改变）。