您的位置：山东大学 -> 科技期刊社 -> 《山东大学学报（工学版）》

山东大学学报 (工学版) ›› 2018, Vol. 48 ›› Issue (6): 27-36.doi: 10.6040/j.issn.1672-3961.0.2018.264

• 机器学习与数据挖掘 • 上一篇    下一篇

基于相关熵和流形学习的多标签特征选择算法

陈红(),杨小飞*(),万青,马盈仓   

  1. 西安工程大学理学院, 陕西 西安 710048
  • 收稿日期:2018-07-03 出版日期:2018-12-20 发布日期:2018-12-26
  • 通讯作者: 杨小飞 E-mail:13572959949@163.com;yangxiaofei2002@163.com
  • 作者简介:陈红(1992—)，女，河北衡水人，硕士研究生，主要研究方向为机器学习与多标签学习.E-mail:13572959949@163.com
  • 基金资助:
    国家自然科学基金资助项目(11501435);中国纺织工业联合会科技指导性项目(2016073);陕西省教育厅科研计划项目(18JK0360)

Multi-label feature selection algorithm based on correntropy andmanifold learning

Hong CHEN(),Xiaofei YANG*(),Qing WAN,Yingcang MA   

  1. School of Science, Xi′an Polytechnic University, Xi′an 710048, Shaanxi, China
  • Received:2018-07-03 Online:2018-12-20 Published:2018-12-26
  • Contact: Xiaofei YANG E-mail:13572959949@163.com;yangxiaofei2002@163.com
  • Supported by:
    国家自然科学基金资助项目(11501435);中国纺织工业联合会科技指导性项目(2016073);陕西省教育厅科研计划项目(18JK0360)

RichHTML

11

PDF (PC)

361

摘要：

从相关熵的角度出发,提出一种基于相关熵和特征流形学习的稀疏正则化方法,用于解决多标签特征选择问题。在相关熵定义的基础上给出多标签特征选择的回归模型;结合?2, 1范数的性质和特征流形学习的定义建立基于相关熵和特征流形学习的稀疏正则化多标签特征选择模型及算法;证明该算法的收敛性并且通过试验验证所给算法的有效性。

关键词: 相关熵, 稀疏正则化, 特征流形学习, 多标签, 特征选择

Abstract:

A sparse regularization method based on correntropy and feature manifold learning was proposed to solve the problem of multi-label feature selection. A regression model of multi-label feature selection was presented by means of correntropy. The sparse regularized multi-label feature selection model, combing ?2, 1 norm and feature manifold learning, was established. An iterative algorithm was proposed for the above model. The convergence of the algorithm was proved and the effectiveness of the given algorithm was verified through experiments.

Key words: correntropy, sparse regularization, feature manifold learning, multi label, feature selection

中图分类号: 

  • TP18

表1

数据集的详细信息"

数据集 特征数 标签数 训练集样本数 测试集样本数
Image 294 5 400 200
Scene 294 6 1 211 1 196
Emotion 72 6 391 202
Yeast 103 14 1 500 917
Enron 1 001 53 1 123 579

表2

不同算法在不同数据集上的运行时间"

s
数据集 CMLS PMU MDMR FIMF
Image 2.099 285 22.728 828 28.008 186 1.278 762
Scene 23.808 170 78.261 445 89.529 816 10.112 000
Emotion 1.834 695 4.801 576 4.902 648 1.368 992
Yeast 25.201 876 68.878 388 70.245 280 17.266 886
Enron 17.149 738 2 648.267 084 2 564.446 634 6.799 612

表3

不同算法在不同数据集上的平均精度"

算法 CMLS PMU MDMR FIMF Baseline
Image 0.750 8 0.659 2 0.693 4 0.679 1 0.721 4
Scene 0.831 7 0.803 4 0.763 3 0.690 6 0.851 2
Emotion 0.769 1 0.712 6 0.755 1 0.751 0 0.693 8
Yeast 0.766 3 0.756 3 0.758 0 0.755 2 0.758 5
Enron 0.671 3 0.648 3 0.656 6 0.654 8 0.623 2

表4

不同算法在不同数据集上的汉明损失"

算法 CMLS PMU MDMR FIMF Baseline
Image 0.203 0 0.230 0 0.224 0 0.234 0 0.213 0
Scene 0.108 6 0.113 7 0.134 8 0.158 7 0.098 9
Emotion 0.234 3 0.267 3 0.240 9 0.225 2 0.293 7
Yeast 0.195 6 0.200 6 0.199 9 0.202 1 0.198 0
Enron 0.048 7 0.050 5 0.050 5 0.050 1 0.052 0

表5

不同算法在不同数据集上的排序损失"

算法 CMLS PMU MDMR FIMF Baseline
Image 0.213 3 0.297 5 0.271 3 0.266 3 0.233 3
Scene 0.101 0 0.129 0 0.144 4 0.199 4 0.093 1
Emotion 0.176 4 0.258 4 0.199 4 0.201 2 0.282 9
Yeast 0.169 3 0.172 3 0.171 0 0.174 7 0.171 5
Enron 0.088 6 0.094 9 0.094 4 0.093 5 0.093 8

表6

不同算法在不同数据集上的1-错误率"

算法 CMLS PMU MDMR FIMF Baseline
Image 0.390 0 0.525 0 0.460 0 0.500 0 0.435 0
Scene 0.275 9 0.309 4 0.390 5 0.498 3 0.242 5
Emotion 0.331 7 0.361 4 0.356 4 0.351 5 0.405 9
Yeast 0.231 2 0.236 6 0.236 6 0.236 6 0.234 5
Enron 0.231 4 0.274 6 0.243 5 0.245 3 0.304 0

表7

不同算法在不同数据集上的覆盖率"

算法 CMLS PMU MDMR FIMF Baseline
Image 1.125 0 1.460 0 1.365 0 1.355 0 1.215 0
Scene 0.607 0 0.749 2 0.825 3 1.095 3 0.568 6
Emotion 2.024 8 2.405 9 2.089 1 2.054 5 2.490 1
Yeast 6.347 9 6.370 8 6.364 2 6.374 0 6.414 4
Enron 12.753 0 13.412 8 13.160 6 13.203 8 13.205 5

图1

几种不同的特征选择算法的平均精度"

图2

几种不同的特征选择算法的汉明损失"

图3

几种不同的特征选择算法的1-错误率"

图4

几种不同的特征选择算法的覆盖率"

图5

几种不同的特征选择算法的排序损失"

1 KONG X N , YU P S . GMLC: a multi-label feature selection framework for graph classification[J]. Knowledge & Information Systems, 2012, 31 (2): 281- 305.
2 OZONAT K, YOUNG D. Towards a universal marketplace over the web: statistical multi-label classification of service provider forms with simulated annealing[C]//ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, USA: ACM, 2009: 1295-1304.
3 LIU W , POKHAREL P P , PRINCIPE J C . Correntropy: properties and applications in non-gaussian signal processing[J]. IEEE Transactions on Signal Processing, 2007, 55 (11): 5286- 5298.
doi: 10.1109/TSP.2007.896065
4 李素姝, 王士同, 李滔, 等. 基于LS-SVM与模糊补准则的特征选择方法[J]. 山东大学学报(工学版), 2017, 47 (3): 34- 42.
LI Sushu , WANG Shitong , LI Tao , et al. Feature selection method based on LS-SVM and fuzzy complement criterion[J]. Journal of Shandong University(Engineering Edition), 2017, 47 (3): 34- 42.
5 HE R , ZHENG W S , HU B G . Maximum correntropy criterion for robust face recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33 (8): 1561- 1576.
6 HE R , HU B G , ZHENG W S , et al. Robust principal component analysis based on maximum correntropy criterion[J]. IEEE Transactions on Image Processing, 2011, 20 (6): 1485- 1494.
doi: 10.1109/TIP.2010.2103949
7 CHEN X B , YANG J , LIANG J , et al. Recursive robust least squares support vector regression based on maximum correntropy criterion[J]. Neurocomputing, 2012, 97 (1): 63- 73.
8 LEE J , LIM H , KIM D W . Approximating mutual information for multi-label feature selection[J]. Electronics Letters, 2012, 48 (15): 929- 930.
doi: 10.1049/el.2012.1600
9 ZHENG W S, WANG L, TAN T, et al. L2, 1 regularized correntropy for robust feature selection[J]. 2012, 157(10): 2504-2511.
10 莫小勇, 潘志松, 邱俊洋, 等. 基于在线特征选择的网络流异常检测[J]. 山东大学学报(工学版), 2016, 46 (4): 21- 27.
MO Xiaoyong , PAN Zhisong , QIU Junyang , et al. Network flow anomaly detection based on online feature selection[J]. Journal of Shandong University(Engineering Edition), 2017, 47 (3): 34- 42.
11 NIE F P, HUANG H, CAI X, et al. Efficient and robust feature selection via joint L2, 1-norms minimization[C]//International Conference on Neural Information Processing Systems. Sydney, Australia: Curran Associates Inc, 2010: 1813-1821.
12 YANG Y, SHEN H T, MA Z, et al. L2, 1-norm regularized discriminative feature selection for unsupervised learning[C]//International Joint Conference on Artificial Intelligence. Menlo Park, USA: AAAI Press, 2011: 1589-1594.
13 BELKIN M , NIYOGI P . Laplacian eigenmaps and spectral techniques for embedding and clustering[J]. Advances in Neural Information Processing Systems, 2001, 14 (6): 585- 591.
14 GU Q Q, ZHOU J. Co-clustering on manifolds[C]//ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, USA: ACM, 2009: 359-368.
15 CHEN B D , XING L , WANG X , et al. Robust learning with kernel mean p-power error loss[J]. IEEE Transactions on Cybernetics, 2018, 48 (7): 2101- 2113.
doi: 10.1109/TCYB.2017.2727278
16 ZHANG M L , ZHOU Z H . ML-KNN: A lazy learning approach to multi-label learning[J]. Pattern Recognition, 2007, 40 (7): 2038- 2048.
doi: 10.1016/j.patcog.2006.12.019
17 BOUTELL M R , LUO J , SHEN X , et al. Learning multi-label scene classification[J]. Pattern Recognition, 2004, 37 (9): 1757- 1771.
doi: 10.1016/j.patcog.2004.03.009
18 TROHIDIS K , TSOUMAKAS G , KALLIRIS G , et al. Multilabel classification of music into emotions[J]. Blood, 2008, 90 (9): 3438- 3443.
19 ELISSEEFF A, WESTON J. A kernel method for multi-labelled classification[C]//International Conference on Neural Information Processing Systems: Natural and Synthetic. Cambridge, USA: MIT Press, 2001: 681-687.
20 KLIMT B, YANG Y. The enron corpus: a new dataset for email classification research[C]//European Conference on Machine Learning. Berlin, Germany: Springer-Verlag, 2004: 217-226.
21 LEE J , KIM D W . Feature selection for multi-label classification using multivariate mutual information[J]. Pattern Recognition Letters, 2013, 34 (3): 349- 357.
doi: 10.1016/j.patrec.2012.10.005
22 LIN Y J , HU Q H , LIU J H , et al. Multi-label feature selection based on max-dependency and min-redundancy[J]. Neurocomputing, 2015, 168 (C): 92- 103.
23 LEE J , KIM D W . Fast multi-label feature selection based on information-theoretic feature ranking[J]. Pattern Recognition, 2015, 48 (9): 2761- 2771.
doi: 10.1016/j.patcog.2015.04.009
24 DUDA J. Supervised and unsupervised discretization of continuous features[C]//Twelfth International Conference on Machine Learning. Sydney, Australia: ICML, 1995: 194-202.
[1] 牟廉明. 自适应特征选择加权k子凸包分类[J]. 山东大学学报 (工学版), 2018, 48(5): 32-37.
[2] 李素姝,王士同,李滔. 基于LS-SVM与模糊补准则的特征选择方法[J]. 山东大学学报(工学版), 2017, 47(3): 34-42.
[3] 方昊,李云. 基于多次随机欠采样和POSS方法的软件缺陷检测[J]. 山东大学学报(工学版), 2017, 47(1): 15-21.
[4] 莫小勇,潘志松,邱俊洋,余亚军,蒋铭初. 基于在线特征选择的网络流异常检测[J]. 山东大学学报(工学版), 2016, 46(4): 21-27.
[5] 徐晓丹, 段正杰, 陈中育. 基于扩展情感词典及特征加权的情感挖掘方法[J]. 山东大学学报(工学版), 2014, 44(6): 15-18.
[6] 魏小敏,徐彬,关佶红. 基于递归特征消除法的蛋白质能量热点预测[J]. 山东大学学报(工学版), 2014, 44(2): 12-20.
[7] 潘冬寅，朱发，徐昇，业宁*. 结肠癌基因表达谱的特征选取研究[J]. 山东大学学报(工学版), 2012, 42(2): 23-29.
[8] 李霞1,王连喜2,蒋盛益1. 面向不平衡问题的集成特征选择[J]. 山东大学学报(工学版), 2011, 41(3): 7-11.
[9] 尤鸣宇,陈燕,李国正. 不均衡问题中的特征选择新算法:Im-IG[J]. 山东大学学报(工学版), 2010, 40(5): 123-128.
[10] 阳爱民1,周咏梅1,邓河2,周剑峰3. 一种网络流量分类特征的产生及选择方法[J]. 山东大学学报(工学版), 2010, 40(5): 1-7.
[11] 谭台哲,梁应毅,刘富春. 一种ReliefF特征估计方法在无监督流形学习中的应用[J]. 山东大学学报(工学版), 2010, 40(5): 66-71.
[12] 戴平,李宁*. 一种基于SVM的快速特征选择方法[J]. 山东大学学报(工学版), 2010, 40(5): 60-65.
[13] 王法波,许信顺. 文本分类中一种新的特征选择方法[J]. 山东大学学报(工学版), 2010, 40(4): 8-11.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
[1] 李可,刘常春,李同磊 . 一种改进的最大互信息医学图像配准算法[J]. 山东大学学报(工学版), 2006, 36(2): 107 -110 .
[2] 程代展，李志强. 非线性系统线性化综述(英文)[J]. 山东大学学报(工学版), 2009, 39(2): 26 -36 .
[3] 王勇, 谢玉东.

大流量管道煤气的控制技术研究

[J]. 山东大学学报(工学版), 2009, 39(2): 70 -74 .
[4] 刘新1 ，宋思利1 ，王新洪2 . 石墨配比对钨极氩弧熔敷层TiC增强相含量及分布形态的影响[J]. 山东大学学报(工学版), 2009, 39(2): 98 -100 .
[5] 胡天亮,李鹏,张承瑞,左毅 . 基于VHDL的正交编码脉冲电路解码计数器设计[J]. 山东大学学报(工学版), 2008, 38(3): 10 -13 .
[6] 田芳1,张颖欣2,张礼3,侯秀萍3,裘南畹3. 新型金属氧化物薄膜气敏元件基材料的开发[J]. 山东大学学报(工学版), 2009, 39(2): 104 -107 .
[7] 陈华鑫, 陈拴发, 王秉纲. 基质沥青老化行为与老化机理[J]. 山东大学学报(工学版), 2009, 39(2): 125 -130 .
[8] 赵延风1,2, 王正中1,2 ,芦琴1,祝晗英3 . 梯形明渠水跃共轭水深的直接计算方法[J]. 山东大学学报(工学版), 2009, 39(2): 131 -136 .
[9] 李士进,王声特,黄乐平. 基于正反向异质性的遥感图像变化检测[J]. 山东大学学报(工学版), 2018, 48(3): 1 -9 .
[10] 王汝贵,蔡敢为 . 两自由度可控平面连杆机构机电耦合系统的超谐波共振分析[J]. 山东大学学报(工学版), 2008, 38(3): 58 -63 .
版权所有 © 2018 《山东大学学报(工学版)》编辑部　
地址: 济南市山大南路27号（250100）　 电话: 0531-88366735　 E-mail: xbgxb@sdu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发