叫好不叫座的Hadoop跌下神坛

叫好不叫座的Hadoop?

　　虽说在大数据市场，Hadoop成为必备的产品，各个厂商都推出了自己的Hadoop发行版本，但是似乎相当一部分企业还没有找到更好的Hadoop使用方式。

　　根据Gartner初步估计，2016年Hadoop发行版支出达到8亿美元，较2015年增长40%。遗憾的是，仍然只有14%的企业实际报告了Hadoop部署情况，仅稍高于上一年的10%。

　　除了2016年Hadoop部署量增长缓慢外，部署通道本身也呈现出下滑趋势。即使从更为狭义的Hadoop概念角度进行分析，大数据的实践比例也仍然相当有限。

　　正如Gartner所指出，企业似乎一直在对Hadoop进行相关实验，但却多数未能将其纳入生产阶段。

　　事实是否真如Gartner调研所说，我们不妨看看Hadoop 商业化最典型三大公司——Hortonworks、Cloudera和MapR的营收情况，这可以说是Hadoop 商业化世界的一个风向标。

　　Hortonworks于2017年5月公布的消息显示，公司2017年第一季度收入5600万美元，同比增长35%，利润率更高，经营亏损收窄。但是目前依然是亏损。跌下神坛的Hadoop，拥抱云计算和AI会是一个新故事吗？

　　Cloudera的收入正在增长，截止到1月份的上一财年营收达到2.61亿美元，亏损为1.86亿美元;2015财年营收为1.66亿美元，亏损2.03亿美元。Cloudera的多数营收都来自订阅收入，订阅期通常为1至3年，但他们还通过服务获取营收，包括专业服务、培训和教育等。

跌下神坛的Hadoop，拥抱云计算和AI会是一个新故事吗？
　　MapR公司的CEO米尔斯认为，MapR的销售额在不断增长，平均交易规模大于10万美元，但他不愿评论成本或亏损。

跌下神坛的Hadoop，拥抱云计算和AI会是一个新故事吗？
　　事实上，从 2015 年中期以来，Hortonworks和Cloudera的股价已经分别下跌了68%和40%。，对一些公司来说，采用Hadoop框架已经产生了实际的财务问题。

　　总体而言，大数据技术确实引发了广泛关注，但至少在商业层面还没能获得全面成功。

　　云转型将成为趋势?

　　当然，我们也不能忽视Hortonworks和Cloudera取得的营收增长，很大程度上要得益于对云计算的积极接纳。正如Hortonworks在财报会议上所言，近25%的客户立足公有云运行其软件，而两年前这一比例还仅为0%。

　　将Hadoop部署方案迁移至云端的主要驱动因素之一，在于Hadoop自身的工作复杂性。考虑到用于补充及加速Hadoop创新的相关项目不断涌现，主流企业根本不可能跟上这样的节奏。

　　坦率地讲，云计算正是大数据项目的理想归宿，云不仅能够为大数据技术提供可管理性，更能够帮助其真正实现生产能力。

　　如果在云环境当中来运行Hadoop，企业的数据会在云存储的系统当中，云计算厂商也帮助企业管理了数据的拷贝。

　　企业客户还可以针对不同的应用创建应用不同的集群，而集群的开关或者是规模的伸缩都可以按需进行，这样对于客户来说，可以实现更好控制和灵活性。

　　目前使用Hadoop技术实现的云计算平台包括AWS、Azure、IBM的蓝云、英特尔的“云计划”、百度的云计算基础架构、阿里巴巴云计算平台，以及中国移动的BigCloud大云平台等。

　　虽然这种云转型趋势可能会给云计算厂商带来更多收益，也可能并不会给传统Hadoop供应商带来收益增值，但作为一股强大的发展趋势，将给大数据行业带来推动作用。

　　考虑到越来越多的企业数据开始驻留在亚马逊、微软与谷歌提供的云平台上，也许未来企业将更倾向于直接使用这些平台提供的原生Hadoop服务。

跌下神坛的Hadoop，拥抱云计算和AI会是一个新故事吗？
　　Hadoop和AI是什么关系?

　　人类也从未停止对科技的追求，大数据流行了之后，人工智能成为最新的关键字，要发展人工智能不可缺少的一项关键就是数据。

　　Hadoop之父Doug Cutting指出，Hadoop和AI之间是非常适合、非常匹配的一项技术，因为AI本身就是一种大数据的应用。

　　Hadoop与机器学习、AI有高度关联性，要训练、测试、评价人工智能都需要数据。许多开发者在 Hadoop平台上写了很多应用程序，可以利用这个平台搜集各种巨量数据，支援 AI和机器学习的数据也是爆炸性成长，很难有一家公司可以做到提供这么大量的工具。

　　在Cloudera 联合创始人兼首席技术官Awadallah看来，Cloudera从初期基础性的数据收集、存储和处理，已经进入到了机器学习和人工智能阶段。

　　他举例谈到，Cloudera帮助全世界最大的银行集团之一摩根大通集团部署了一个应用，将过去几十年当中和合作伙伴签的各种各样的法律合同进行分析，以往数以十万小时计的人工律师工作，现在用人工智能的系统、用计算机来处理的话10分钟就可以完成。

　　也就是说，人工智能系统已经能够以非常高的精确度来复制律师的工作，而人工律师的精力可以主要集中在处理例外情况和真正棘手的难题。

　　诸如Cloudera等大数据公司，正在利用机器学习、人工智能去构建各种各样的应用，服务如医疗健康、农业、制造业、金融服务等行业需求。

　　不过，Doug Cutting也坦言，AI和机器学习领域无疑是Hadoop未来面临的挑战之一，“目前许多机器学习跟 AI技术许多都是开放源代码技术，革命不是由单一组织推动。”

　　从发展历程来看，现阶段 AI 和机器学习方面的社群很分散，各自发展，各立山头，所以整个社群都应该团结起来才行，让一些优质的方法走向标准化，全力进一步开发，加速其进步速度，这才会是比较好的方式。

　　Hadoop作为一项基础技术仍然在发挥着关键作用，与此同时新的技术会不断涌现出来。云计算和AI技术的融入，也许能够帮助Hadoop更好地商业化，使其更好的应用于企业的业务场景中

百尺竿头更进一步...

难以置信