基于分布式大数据技术的科学计量模块化分析平台构建研究 | |
师洪波1,2![]() ![]() ![]() ![]() | |
2020 | |
Source Publication | 数据分析与知识发现
![]() |
Volume | 4Issue:2/3Pages:231-238 |
Abstract | 【目的】 设计开发模块化计量指标分析平台,满足计量分析人员多维条件定制、实时高效计算的计量分析需求。【应用背景】 面对海量科学文献数据,传统关系数据库进行大数据量计量计算时效率较低,计算时间长,分布式大数据技术为实时性科学计量分析平台提供了技术基础。【方法】 设计计量指标管理模型及基于工作流的指标构建流程,将分析任务分解为多个可独立计算单元;基于分布式大数据ES索引、Redis集合计算、预计算指标等技术,将计算统计任务转化为倒排索引查询及集合运算等操作。【结果】 为用户提供标准化的指标选择构建流程、可动态扩展的弹性任务配置及准实时的指标计算支持。【结论】 以分布式大数据技术为基础,对计算任务抽象分装,实现了高效、通用的模块化分析平台,同时本研究也可为相关分析决策系统提供参考。 |
Indexed By | 中文核心期刊要目总览 |
Language | 中文 |
Document Type | 期刊论文 |
Identifier | http://ir.las.ac.cn/handle/12502/11002 |
Collection | 中国科学院文献情报中心(北京)_信息系统部 |
Corresponding Author | 师洪波 |
Affiliation | 1.中国科学院文献情报中心 2.中国科学院大学 |
First Author Affilication | 中国科学院文献情报中心 |
Corresponding Author Affilication | 中国科学院文献情报中心 |
Recommended Citation GB/T 7714 | 师洪波,郭红梅,岳婷,等. 基于分布式大数据技术的科学计量模块化分析平台构建研究[J]. 数据分析与知识发现,2020,4(2/3):231-238. |
APA | 师洪波,郭红梅,岳婷,钱力,黄定余,&常志军.(2020).基于分布式大数据技术的科学计量模块化分析平台构建研究.数据分析与知识发现,4(2/3),231-238. |
MLA | 师洪波,et al."基于分布式大数据技术的科学计量模块化分析平台构建研究".数据分析与知识发现 4.2/3(2020):231-238. |
Files in This Item: | There are no files associated with this item. |
Items in the repository are protected by copyright, with all rights reserved, unless otherwise indicated.
Edit Comment