您的位置:山东大学 -> 科技期刊社 -> 《山东大学学报(工学版)》

山东大学学报(工学版) ›› 2016, Vol. 46 ›› Issue (6): 40-47.doi: 10.6040/j.issn.1672-3961.1.2016.213

• • 上一篇    下一篇

基于集成深度学习的时间序列预测模型

何正义1,2,曾宪华1,2*,曲省卫1,2,吴治龙1   

  1. 1.重庆邮电大学计算机科学与技术学院, 重庆 400065;2.计算智能重庆市重点实验室, 重庆 400065
  • 收稿日期:2016-03-31 出版日期:2016-12-20 发布日期:2016-03-31
  • 通讯作者: 曾宪华(1973— ),男,四川攀枝花人,教授,博士,主要研究方向为计算机视觉和流形学习. E-mail:zengxh@cqupt.edu.cn E-mail:hzy459176895@sina.com
  • 作者简介:何正义(1991— ),男,重庆开县人,硕士研究生,主要研究方向为深度学习. E-mail:hzy459176895@sina.com
  • 基金资助:
    国家自然科学基金资助项目(61672120);重庆自然科学基金资助项目(cstc2015jcyjA40036)

The time series prediction model based on integrated deep learning

HE Zhengyi1,2, ZENG Xianhua1,2*, QU Shengwei1,2, WU Zhilong1   

  1. HE Zhengyi1, 2, ZENG Xianhua1, 2*, QU Shengwei1, 2, WU Zhilong1(1. College of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China;
    2. Chongqing Key Laboratory of Computational Intelligence, Chongqing 400065, China
  • Received:2016-03-31 Online:2016-12-20 Published:2016-03-31

摘要: 基于高斯过程的条件受限玻尔兹曼机(GCRBM)时序模型可以很好的预测单一种类时序数据,但是该模型难以预测多类别的真实高维数据。针对这个问题,提出基于集成深度学习的时间序列预测模型,对多类时序对应训练多个深可信网络(deep belief networks, DBN)模型来学习低维特征,利用低维特征对应训练多个GCRBM时序模型。预测时序时先通过训练出的一组DBN模型对目标数据进行降维并通过重建误差识别类别,然后通过识别到的类别所对应的GCRBM模型预测目标数据的后期时序。在CASIA-A步态数据集上的试验结果表明:本方法能够准确识别出步态序列,而且预测结果能够模拟出真实的步态序列,证实了本模型的有效性。

关键词: 时间序列, 预测模型, 高斯过程的条件受限玻尔兹曼机, 集成深度学习, 深可信网络

Abstract: The conditional restricted Boltzmann machine time series model based on the Gaussian process(GCRBM)could efficiently predict single type of time series data, but the model could not make accurate predictions for multi-category data and real high-dimensional data. To solve the problem above, the time series prediction model based on integrated deep learning was proposed. Multiple deep belief networks(DBN)corresponding to the multi-category timing data was trained to study low dimensional feature. The low dimensional feature of multi-category data was used to train multiple GCRBM models. When the time series was predicted, the dimensionality of the model was reduced and categories of target data were identified by DBN model's reconstruction error, and the sequence of target data was predicted by the GCRBM model. The experimental results based on CASIA-A gait data set showed that the method could accurately recognize the categories of gait sequences and the predicting result could simulate the true gait sequences, which demonstrated the validity of the model.

Key words: time series, prediction model, conditional restricted Boltzmann machine(GCRBM), integrated deep learning, deep belief networks(DBN)

中图分类号: 

  • TP181
[1] TAYLOR G W, HINTON G E, ROWEIS S T. Modeling human motion using binary latent variables[C] // Advances in Neural Information Processing Systems(NIPS 19): Proceedings of the 2006 Conference. [S.l.] : MIT Press, 2007: 1345-1352.
[2] TAYLOR G W, HINTON G E, ROWEIS S T. Two distributed-state models for generating high-dimensional time series[J]. Journal of Machine Learning Research, 2011, 12(2):1025-1068.
[3] HINTONG E. Training products of experts by minimizing contrastive divergence[J]. Neural Computation, 2006, 14(8):1771-1800.
[4] HINTON G E, OSINDERO S, WELLING M, et al. Unsupervised discovery of nonlinear structure using contrastive back propagation[J]. Cognitive Science, 2006, 30(4):725-731.
[5] ZENG Xianhua, LUO Siwei, WANG Jiao. Auto-associative neural network system for recognition[C] // Proceedings of International Conference on Machine Learning and Cybernetics(ICMLC 2007). [S.l.] : IEEE Conference Publications, 2007: 2885-2890.
[6] HINTON G E, SALAKHUTDINOV R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786):504-507.
[7] HINTONG G E, SALAKHUTDINOV R. Supporting online material for reducing the dimensionality of data with neural networks[J]. Science, 2006, 504(5786):504-507.
[8] HINTONG G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7):1527-1554.
[9] SMOLENSKY P. Parallel distributed processing: information processing in dynamical systems: foundations of harmony theory[M]. Cambridge, USA: MIT Press, 1986: 194-281.
[10] SALAKHUTDINOV R, JOSHUA B, TORRALBA A. Learning with hierarchical-deep models[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(8):1958-1971.
[11] LAROCHELLE H, BEMGIO Y, LOURADOUR J, et al. Exploring strategies for training deep neural networks[J]. Journal of Machine Learning Research, 2009, 10(6):1-40.
[12] 孙志军, 薛磊, 许阳明. 深度学习研究综述[J]. 计算机应用研究, 2012, 29(8):2806-2810. SUN Zhijun, XUE Lei, XU Yangming. The research summary of deep learning[J]. Application Research of Computers, 2012, 29(8):2806-2810.
[13] 钟颖, 汪秉文. 基于遗传算法的BP神经网络时间序列预测模型[J]. 系统工程与电子技术, 2002, 24(4):9-11. ZHONG Ying, WANG Bingwen. The back propagation neural network based on genetic algorithm for predicting time series[J]. Journal of Systems Engineering and Electronics, 2002, 24(4):9-11.
[14] 张玉瑞, 陈剑波. 基于RBF神经网络的时间序列预测[J]. 计算机工程与应用, 2005, 41(11):74-76. ZHANG Yurui, CHEN Jianbo. A predicting time series model based on radial basis function neural network[J]. Computer Engineering and Applications, 2005, 41(11):74-76.
[15] 周若愚. 基于SVR与半监督学习的时间序列预测[D].西安:西安电子科技大学, 2014. ZHOU Ruoyu. A predicting time series model based on support vector regression and semi supervised learning[D]. Xi'an: Xidian University, 2014.
[1] 何正义,曾宪华,郭姜. 一种集成卷积神经网络和深信网的步态识别与模拟方法[J]. 山东大学学报(工学版), 2018, 48(3): 88-95.
[2] 谢国辉,樊昊. 太阳能光热发电技术成熟度预测模型[J]. 山东大学学报(工学版), 2017, 47(6): 83-88.
[3] 陶志伟,张莉. 基于马氏距离的分段矢量量化时间序列分类[J]. 山东大学学报(工学版), 2016, 46(3): 51-57.
[4] 王会青,孙宏伟,张建辉. 基于Map/Reduce的时间序列相似性搜索算法[J]. 山东大学学报(工学版), 2016, 46(1): 15-21.
[5] 麻常辉1,冯江霞2,蒋哲1,武乃虎1,吕晓禄3. 基于时间序列和神经网络法的风电功率预测[J]. 山东大学学报(工学版), 2014, 44(1): 85-89.
[6] 朱全银1,严云洋1,周培1,谷天峰2. 一种线性插补与自适应滑动窗口价格预测模型[J]. 山东大学学报(工学版), 2012, 42(5): 53-58.
[7] 施珺,朱敏. 一种基于灰色系统和支持向量机的预测优化模型[J]. 山东大学学报(工学版), 2012, 42(5): 7-11.
[8] 朱跃龙,李士进,范青松,万定生. 基于小波神经网络的水文时间序列预测[J]. 山东大学学报(工学版), 2011, 41(4): 119-124.
[9] 李小斌1, 李世银2. 时间序列早期分类的多分类器集成方法[J]. 山东大学学报(工学版), 2011, 41(4): 73-78.
[10] 罗玉盘 商琳. 基于多粒度周期模式的时序离群点检测算法[J]. 山东大学学报(工学版), 2009, 39(3): 11-15.
[11] 廖伙木,董增川, 束龙仓,贠汝安 . 地下水位预报中的组合时间序列分析法[J]. 山东大学学报(工学版), 2008, 38(2): 96-100 .
[12] 王素玉,艾兴,赵军,李作丽,刘增文 . 高速立铣3Cr2Mo模具钢切削力建模及预测[J]. 山东大学学报(工学版), 2006, 36(1): 1-5 .
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 景运革,李天瑞. 基于知识粒度的增量约简算法[J]. 山东大学学报(工学版), 2016, 46(1): 1 -9 .
[2] 黄劲潮. 基于快速区域建议网络的图像多目标分割算法[J]. 山东大学学报(工学版), 2018, 48(4): 20 -26 .
[3] 夏茂森 郭庆强 张斌. 生产调度广义析取规划模型求解算法[J]. 山东大学学报(工学版), 2009, 39(6): 53 -57 .
[4] 唐庆顺,金璐,李国栋,吴春富. 基于自适应终端滑模控制器的机械手跟踪控制[J]. 山东大学学报(工学版), 2016, 46(5): 45 -53 .
[5] 蔡英1, 王刚2*. 一种基于AR模型的非线性盲源提取方法及其应用[J]. 山东大学学报(工学版), 2010, 40(5): 17 -23 .
[6] 张建明, 刘泉声, 唐志成, 占婷, 蒋亚龙. 考虑剪切变形历史影响的节理峰值剪切强度准则[J]. 山东大学学报(工学版), 0, (): 77 -81 .
[7] 徐平安,唐雁,石教开,张辉荣. 基于薛定谔方程的K-Means聚类算法[J]. 山东大学学报(工学版), 2016, 46(1): 34 -41 .
[8] 肖乔, 裴继红, 王荔霞, 龚志成. 基于多通道Gabor滤波模糊融合的遥感图像舰船检测[J]. 山东大学学报(工学版), 0, (): 29 -35 .
[9] 梁泽华,崔耀东,张雨. 有顺序依赖损耗的一维下料问题[J]. 山东大学学报(工学版), 2018, 48(3): 75 -80 .
[10] 叶子云,杨金锋. 一种基于加权图模型的手指静脉识别方法[J]. 山东大学学报(工学版), 2018, 48(3): 103 -109 .