基于通信系统的决策树构造算法

山东大学学报(工学版) ›› 2011, Vol. 41 ›› Issue (4): 79-84.

基于通信系统的决策树构造算法

张小峰,张志旺,逄珊

鲁东大学信息科学与工程学院, 山东烟台 264025

收稿日期:2011-04-15 出版日期:2011-08-16 发布日期:2011-04-15
作者简介:张小峰(1978- ),男,山东烟台人,讲师,硕士,主要研究方向为图像处理,数据挖掘等. E-mail: iamzxf@ldu.edu.cn
基金资助:
山东省自然科学基金资助项目(Y2008E11)

Algorithm based on communication system for constructing decision tree

ZHANG Xiao-feng, ZHANG Zhi-wang, PANG Shan

School of Information Science and Engineering, Ludong University, Yantai 264025, China

Received:2011-04-15 Online:2011-08-16 Published:2011-04-15

摘要/Abstract

摘要：

决策树构造过程中的属性选择标准一直是数据挖掘领域的研究热点。本研究在分析ID3算法和C4.5算法属性选择策略的基础上,基于通信系统中的平均自信息与平均互信息提出了两种决策树的构造算法。研究过程中从理论证明了所提出的两种算法与ID3算法以及C4.5算法是等价的,即,信息增益等价于通信系统中的平均互信息,而信息增益率等价于通信系统中平均互信息与平均自信息的比值。在AllElectronics数据集进行的实验表明:与信息增益和信息增益率相比,本研究提出的属性选择标准具有计算方便、且容易理解的特点。

关键词: 决策树, 信息增益, 信息增益率, 平均互信息, 熵

Abstract:

Attribute selection criterion in constructing decision trees is always the focus in the area of data mining. Based on the analysis of ID3 and C4.5, this paper proposes two algorithms based on average self-information and average mutual-information in communication system. In this research, we prove that the two proposed algorithms are equivalent to ID3 and C4.5. That is, information gain is equivalent to average mutual information in communication system, and information gain ratio is the same as the ratio of average mutual information to the entropy. Experiments on AllElectrionics illustrate that compared with information gain and information gain ratio, attribute selection criteria proposed in this paper are easy to compute and understand.

Key words: decision tree, information gain, information gain ratio, average mutualinformation, entropy

张小峰,张志旺,逄珊. 基于通信系统的决策树构造算法[J]. 山东大学学报(工学版), 2011, 41(4): 79-84.

ZHANG Xiao-feng, ZHANG Zhi-wang, PANG Shan. Algorithm based on communication system for constructing decision tree[J]. JOURNAL OF SHANDONG UNIVERSITY (ENGINEERING SCIENCE), 2011, 41(4): 79-84.

参考文献

相关文章 15

[1]	曹芙波,肖胜先,王晨霞,郜德龙,李敦,苏天,秦士杰,王宇飞. 基于熵权TOPSIS的再生砖混水稳材料多指标综合性能评价[J]. 山东大学学报 (工学版), 2025, 55(6): 151-162.
[2]	李长城,罗燕婷,王东宏,康海鹏,潘松. 考虑初始故障状态和继发故障风险的关键线路辨识方法[J]. 山东大学学报 (工学版), 2025, 55(5): 40-50.
[3]	梁涛,刘亚祥,杨硕,徐越,王庆松. 山东省综合能源系统可持续发展能力评价[J]. 山东大学学报 (工学版), 2024, 54(4): 159-168.
[4]	宋辉,张轶哲,张功萱,孟元. 基于类权重和最小化预测熵的测试时集成方法[J]. 山东大学学报 (工学版), 2024, 54(3): 36-43.
[5]	陈宝国,邓明,陈金林. 基于权重邻域熵的数值型信息系统属性约简算法[J]. 山东大学学报 (工学版), 2024, 54(1): 33-44.
[6]	庄绪彩,孙希滕,张宁,田源,殷敬敬,宋修广. 基于主客观组合赋权评价技术的雷视一体机安装方案优选[J]. 山东大学学报 (工学版), 2023, 53(4): 37-47.
[7]	郭茂林,包崇明,周丽华,丁涛,孔兵. 基于TOPSIS的异质网络影响力最大化[J]. 山东大学学报 (工学版), 2022, 52(2): 31-40.
[8]	李鹏,刘兆强,杨锋苓,刘欣. 无油双螺杆空压机的运行性能[J]. 山东大学学报 (工学版), 2021, 51(4): 84-90.
[9]	葛维春,李昭,赵东,李振宇,叶青,傅予,于娜. 含电极式电锅炉的地区电网电源侧综合效益分析[J]. 山东大学学报 (工学版), 2020, 50(5): 90-98.
[10]	程森. 基于熵值法的水利施工企业绩效考核KPI设计方法[J]. 山东大学学报 (工学版), 2020, 50(4): 80-84.
[11]	章博,卢峰,董寒宇,陈清泰,林振智,王洪涛. 基于决策树和数据驱动的零电量用户筛选方法[J]. 山东大学学报 (工学版), 2019, 49(5): 29-36.
[12]	黄劲潮. 深度残差特征与熵能量优化运动目标跟踪算法[J]. 山东大学学报 (工学版), 2019, 49(4): 14-23.
[13]	陈红,杨小飞,万青,马盈仓. 基于相关熵和流形学习的多标签特征选择算法[J]. 山东大学学报 (工学版), 2018, 48(6): 27-36.
[14]	邱路,叶银忠,姜春娣. 基于小波奇异熵和SOM神经网络的微电网系统故障诊断[J]. 山东大学学报(工学版), 2017, 47(5): 118-122.
[15]	吴建萍,姜斌,刘剑慰. 基于小波包信息熵和小波神经网络的异步电机故障诊断[J]. 山东大学学报(工学版), 2017, 47(5): 223-228.

多维度评价

Viewed

Full text

Abstract

Cited

Shared

Discussed

本文评价

推荐阅读 10

[1]	张永花,王安玲,刘福平 . 低频非均匀电磁波在导电界面的反射相角[J]. 山东大学学报(工学版), 2006, 36(2): 22 -25 .
[2]	孔祥臻,刘延俊,王勇,赵秀华 . 气动比例阀的死区补偿与仿真[J]. 山东大学学报(工学版), 2006, 36(1): 99 -102 .
[3]	来翔 . 用胞映射方法讨论一类MKdV方程[J]. 山东大学学报(工学版), 2006, 36(1): 87 -92 .
[4]	余嘉元1 , 田金亭1 , 朱强忠2 . 计算智能在心理学中的应用[J]. 山东大学学报(工学版), 2009, 39(1): 1 -5 .
[5]	季涛,高旭,孙同景,薛永端,徐丙垠 . 铁路10 kV自闭/贯通线路故障行波特征分析[J]. 山东大学学报(工学版), 2006, 36(2): 111 -116 .
[6]	秦通,孙丰荣*,王丽梅,王庆浩,李新彩. 基于极大圆盘引导的形状插值实现三维表面重建[J]. 山东大学学报(工学版), 2010, 40(3): 1 -5 .
[7]	孙殿柱,朱昌志,李延瑞 . 散乱点云边界特征快速提取算法[J]. 山东大学学报(工学版), 2009, 39(1): 84 -86 .
[8]	孙从征,管从胜,秦敬玉,程川 . 铝合金化学镀镍磷合金结构和性能[J]. 山东大学学报(工学版), 2007, 37(5): 108 -112 .
[9]	胡天亮,李鹏,张承瑞,左毅 . 基于VHDL的正交编码脉冲电路解码计数器设计[J]. 山东大学学报(工学版), 2008, 38(3): 10 -13 .
[10]	徐丽丽,季忠,夏继梅 . 同规格货物装箱问题的优化计算[J]. 山东大学学报(工学版), 2008, 38(3): 14 -17 .