您的位置：山东大学 -> 科技期刊社 -> 《山东大学学报（工学版）》

山东大学学报(工学版) ›› 2010, Vol. 40 ›› Issue (4): 153-158.

• 其它 • 上一篇    

Mintegration：一种针对大规模数据的并发数据集成方案

陈胜利1,李俊奎2,刘小东1   

  1. 1. 西安财经学院管理学院, 陕西 西安 710100; 2. 支付宝(中国)网络技术有限公司, 浙江 杭州 310000
  • 收稿日期:2009-08-27 出版日期:2010-08-16 发布日期:2009-08-27
  • 作者简介:陈胜利(1974-),男,湖北黄冈人,讲师,博士,主要研究方向为决策分析.E-mail:212101csl@163.com
  • 基金资助:

    陕西省自然科学基金资助项目(SJ08ZP14);陕西省教育厅自然基金资助项目(07JK244);陕西省自然科学基金(2009JM9008);陕西省教育厅科学研究计划资助项目(09JK437)

Mintegration: a solution to large volume concurrent data integration

CHEN Sheng-li 1, LI Jun-kui2, LIU Xiao-dong1   

  1. 1. School of Management, Xi′an University of Finance and Economics, Xi′an 710100, China;
    2. Alipay Network Technology Co. Ltd., Hangzhou 310000, China
  • Received:2009-08-27 Online:2010-08-16 Published:2009-08-27

PDF (PC)

1214

摘要：

针对现有数据集成方案不能解决有限内存与大规模数据量之间的矛盾,提出一种针对大规模数据的并发数据集成方案,该方案并不一次性将数据读入内存,而是将整个任务分成若干子任务,各子任务并发执行,从而解决了有限内存与大规模数据量之间的矛盾。理论和实验结果表明,这种集成方案能够以可配置的方式进行大规模的数据集成。

关键词: 数据集成, 大规模数据, 任务分解

Abstract:

In the light of the conflict between limited memory and large-scale data, a solution to large volume concurrent data integration was proposed, which was not read the data into memory at one time, but divided the task into several sub-tasks according to the large volume data. The sub-tasks was complicated by the implementation so as to solve the limited memory and largescale conflict between the amount of data. The theoretical analysis and empirical experiments showed that resources could be used in the method of the system, and the solution could be efficiently applied in the large volume data integration process with a configurable mode.

Key words: data integration, large volume data, task decomposition

[1] 王丽娟,徐晓,丁世飞. 面向密度峰值聚类的高效相似度度量[J]. 山东大学学报 (工学版), 2024, 54(3): 12-21.
[2] 田枫,刘卓炫,尚福华,沈旭昆,王梅,王浩畅. 基于语境相关图传播的图像标注改善方法[J]. 山东大学学报(工学版), 2016, 46(5): 1-6.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
[1] 王素玉,艾兴,赵军,李作丽,刘增文 . 高速立铣3Cr2Mo模具钢切削力建模及预测[J]. 山东大学学报(工学版), 2006, 36(1): 1 -5 .
[2] 张永花,王安玲,刘福平 . 低频非均匀电磁波在导电界面的反射相角[J]. 山东大学学报(工学版), 2006, 36(2): 22 -25 .
[3] 李 侃 . 嵌入式相贯线焊接控制系统开发与实现[J]. 山东大学学报(工学版), 2008, 38(4): 37 -41 .
[4] 孔祥臻,刘延俊,王勇,赵秀华 . 气动比例阀的死区补偿与仿真[J]. 山东大学学报(工学版), 2006, 36(1): 99 -102 .
[5] 陈瑞,李红伟,田靖. 磁极数对径向磁轴承承载力的影响[J]. 山东大学学报(工学版), 2018, 48(2): 81 -85 .
[6] 李可,刘常春,李同磊 . 一种改进的最大互信息医学图像配准算法[J]. 山东大学学报(工学版), 2006, 36(2): 107 -110 .
[7] 季涛,高旭,孙同景,薛永端,徐丙垠 . 铁路10 kV自闭/贯通线路故障行波特征分析[J]. 山东大学学报(工学版), 2006, 36(2): 111 -116 .
[8] 浦剑1 ,张军平1 ，黄华2 . 超分辨率算法研究综述[J]. 山东大学学报(工学版), 2009, 39(1): 27 -32 .
[9] 王丽君,黄奇成,王兆旭 . 敏感性问题中的均方误差与模型比较[J]. 山东大学学报(工学版), 2006, 36(6): 51 -56 .
[10] 孙殿柱,朱昌志,李延瑞 . 散乱点云边界特征快速提取算法[J]. 山东大学学报(工学版), 2009, 39(1): 84 -86 .
版权所有 © 2018 《山东大学学报(工学版)》编辑部　
地址: 济南市山大南路27号（250100）　 电话: 0531-88366735　 E-mail: xbgxb@sdu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发