查看: 946|回复: 0

HADOOP17homework

[复制链接]
论坛徽章:
24
投资理财徽章
日期:2017-08-03 18:14:36Tensorflow徽章
日期:2018-03-01 16:44:34python徽章
日期:2018-05-24 16:09:52知识图谱徽章
日期:2018-06-15 13:47:21人工智能徽章
日期:2018-07-19 15:00:17Keras徽章
日期:2018-07-26 15:36:38OpenAI课程徽章
日期:2018-08-16 15:34:25HBase徽章
日期:2018-09-29 11:02:06机器学习徽章
日期:2018-12-27 15:34:44人工智能徽章
日期:2019-04-19 10:52:29人工智能徽章
日期:2019-04-19 10:52:53Java徽章
日期:2018-01-04 17:15:14
发表于 2017-9-2 18:25 | 显示全部楼层 |阅读模式

存储 Hadoop 大数据 集群 开源 高并发

寻找你身边能应用Hadoop及其子项目进行数据处理分析的场景,简要说说应用hadoop的解决方案,并跟其它方案作对比说明hadoop的优势在什么地方
最近有关注到全军共用信息系统装备预研课题《自主代码组成分析技术-31511110305-信息系统2017预研》
“牵引性指标:覆盖万级不同开源项目,100亿行以上开源代码,30个以上关键开源许可协议,支持许可证合规性和冲突性识别分析技术;支持20种以上编程语言代码扫描和分析能力;支持二进制代码、混淆代码的分析;代码级的对比精度和召回率均不低于90%,所采用的第三方动态库的发现率100%;支持分级提取及识别匹配,支持不低于1Mb/s的字节搜索匹配效率;支持集群扩展,支持不少于10个节点的高并发处理,搜索效率随节点线性增加;支持代码测试结果定位,支持可视化展示。”
首先想到的是应用hadoop的hdfs存储开源代码知识库,这样就可解决开源代码的存储、集群扩展方面的问题,同时map-reduce在高并发处理方面的能力也能够满足并发方面“效率随节点线性增加”的要求。
采用hadoop的优势在于其提供的海量大数据存储的hdfs文件系统和map-reduce 的高并发处理模型,这些基础设施可以使得项目的在设计站在一个高起点。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-8-22 02:00 , Processed in 0.131029 second(s), 29 queries .