新手上路
- 帖子
- 积分
- 43
- 主题
- 好友
- 精华
- 注册时间
- 2014-8-10
- 论坛徽章:
- 0
|
大数据分析所需要的十大技术 【本文内容与本人所在的公司无关，完全是休闲聊天，敬请随意转发】
赵锴 KaiZhao
如果你要成为大数据分析中的佼佼者，那么你怎么也得清楚地知道下面的大数据分析的十大技术。
1: 数据仓库技术
全球数据仓库的领导者是Teradata。
Teradata收购的Aster Data( Teradata Aster) 拥有强大的SQL/MR技术。
Greenplum和Aster Data都是基于PostgreSQL的MPP并行数据仓库，不同的是Aster Data是MR是基于PostgreSQL的，而Greenplum是基于商业Hadoop版本的。
开源的MPP系统也有一些，请google自查之。
2: 数据库技术
数据库除了老牌的Oracle, SqlServer，还有开源的MySQL和PostgreSQL。Inside SQL Server这本老书可以多翻得的看看。
建议多多关注PostgreSQL，因为那是一个至今为止你还可以读的懂内核的数据库系统，代码优美，值得信赖。
3: Hadoop等衍生系统技术
这个就不多说了，从Hadoop到Spark，不知道现在有多少家公司要头痛的选择到底是选用新的Spark还是已有的Hadoop。
头痛的原因还有就是，公司好不容易培养好了Hadoop的人员，现在又要培养Spark。这个显然给商业MPP公司带来了销售上的说辞。。。
4: 数据挖掘技术
分类，聚类， 平凡项集挖掘，协同过滤，回归预测这些概念怎么也得弄懂了。
各种距离也得略知一二。
Weka,R, Mahout, Spark怎么也得会几个。
5: 自然语言处理技术
英文的不说。
中文的你得知道 分词，词性标注POS，语法树，指代消歧，关键词抽取，实体抽取，情感分析。
6: 社交网路分析技术(图分析)
图的基本理论
图上操作SSSP, PageRank等等请google之。
知道怎么找到社区和社区中的关键人物。
7: 信息检索技术
知道Ngram, 停用词，倒排索引，会用lucene。
8: 云计算技术
知道如何管理和分配主机、存储、网络、操作系统。
熟悉OpenNebula , OpenStack, CloudStack, 至少一种。
9: No-SQL技术
众多No-SQL技术。希望能至少了解一种技术。
10: 数据可视化技术
如果你看懂了Tableau是怎么做的，那么数据可视化你就是没有问题了。
|
|
发表于 2014-8-11 00:05
发表于 2014-8-12 22:14
发表于 2014-8-13 08:54
