您的位置:山东大学 -> 科技期刊社 -> 《山东大学学报(工学版)》

山东大学学报(工学版)

• 机器学习与数据挖掘 •    下一篇

Stiefel流形上沿测地线搜索的自适应主(子)分量分析对偶学习算法

刘力军1,马玉梅1,孟佳娜2   

  1. 1.大连民族学院理学院, 辽宁 大连 116600;
    2.大连民族学院计算机科学与工程学院, 辽宁 大连 116600
  • 收稿日期:2013-05-14 出版日期:2014-04-20 发布日期:2013-05-14
  • 作者简介:刘力军(1977- ),男,河北宽城人,博士,副教授,主要研究方向为神经网络,几何优化算法.E-mail:liulijun@dlnu.edu.cn
  • 基金资助:
    国家自然科学基金资助项目(61002039, 61202254);中央高校基本科研业务经费资助项目(DC12010206, DC12010216);辽宁省教育厅科研基金资助项目(0908-330006)

Adaptive dual learning algorithm for principal (minor) component analysis along geodesic on Stiefel manifold

LIU Lijun1, MA Yumei1, MENG Jiana2   

  1. 1. School of Science, Dalian Nationalities University, Dalian 116600, Liaoning, China;
    2. School of Computer Sciences and Technology, Dalian Nationalities University, Dalian 116600, Liaoning, China
  • Received:2013-05-14 Online:2014-04-20 Published:2013-05-14

摘要: 神经网络在线提取子分量并不成功。基于Oja-Brockett-Xu并行神经网络拓扑结构,通过紧致Stiefel流形上加权Rayleigh商目标函数的优化框架,提出一个通过改变搜索方向并行提取主分量和子分量的自适应对偶学习算法。在正交矩阵群上采用基于右平移不变的Killing度量,通过在单位元处基于指数映射的测地线搜索,得到Stiefel流形上主(子)分量分析的对偶学习算法,提出的算法通过简单的变换步长参数符号,从主分量分析切换至子分量分析,权值矩阵在任意迭代时刻保持正交归一性。数值仿真验证了该算法的有效性。

关键词: 主分量分析, 紧致Stiefel流形, 对偶学习, 子分量分析

Abstract: Using the same topology as that of Oja-Brockett-Xu parallel neural network, a novel dual purpose adaptive algorithm for principal and minor component extraction was proposed by the optimization framework of a weighted Rayleigh quotient on the compact Stiefel manifold. By taking the right translation invariant Killing metric on orthogonal matrix group and search along the geodesic emanating from identity by means of exponential map, a novel dual learning algorithm for principal and minor component analysis was proposed. The proposed algorithm could switch from PCA (Principal Component Analysis) to MCA (Minor Component Analysis) with a simple sign change of its stepsize parameter. Moreover, orthonormality of the weight matrix was guaranteed at any iteration step. The effectiveness of the proposed algorithm was further verified in the section of numerical simulation.

Key words: compact Stiefel manifold, dual learning, minor component analysis, principal component analysis

中图分类号: 

  • TP391
[1] 孙国霞,孙兴华,白树忠,刘琚,孙建德 . 基于主独立内容特征的人脸图像检索方法[J]. 山东大学学报(工学版), 2007, 37(4): 81-84 .
[2] 赵洪国,张焕水,张承慧 . 基于主独立内容特征的人脸图像检索方法研究[J]. 山东大学学报(工学版), 2007, 37(4): 0-0 .
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 王素玉,艾兴,赵军,李作丽,刘增文 . 高速立铣3Cr2Mo模具钢切削力建模及预测[J]. 山东大学学报(工学版), 2006, 36(1): 1 -5 .
[2] 李 侃 . 嵌入式相贯线焊接控制系统开发与实现[J]. 山东大学学报(工学版), 2008, 38(4): 37 -41 .
[3] 孔祥臻,刘延俊,王勇,赵秀华 . 气动比例阀的死区补偿与仿真[J]. 山东大学学报(工学版), 2006, 36(1): 99 -102 .
[4] 李梁,罗奇鸣,陈恩红. 对象级搜索中基于图的对象排序模型(英文)[J]. 山东大学学报(工学版), 2009, 39(1): 15 -21 .
[5] 陈瑞,李红伟,田靖. 磁极数对径向磁轴承承载力的影响[J]. 山东大学学报(工学版), 2018, 48(2): 81 -85 .
[6] 李可,刘常春,李同磊 . 一种改进的最大互信息医学图像配准算法[J]. 山东大学学报(工学版), 2006, 36(2): 107 -110 .
[7] 季涛,高旭,孙同景,薛永端,徐丙垠 . 铁路10 kV自闭/贯通线路故障行波特征分析[J]. 山东大学学报(工学版), 2006, 36(2): 111 -116 .
[8] 浦剑1 ,张军平1 ,黄华2 . 超分辨率算法研究综述[J]. 山东大学学报(工学版), 2009, 39(1): 27 -32 .
[9] 王丽君,黄奇成,王兆旭 . 敏感性问题中的均方误差与模型比较[J]. 山东大学学报(工学版), 2006, 36(6): 51 -56 .
[10] 孙殿柱,朱昌志,李延瑞 . 散乱点云边界特征快速提取算法[J]. 山东大学学报(工学版), 2009, 39(1): 84 -86 .