2016年大数据预测:Spark将炙手可热

说到云计算、物联网、大数据、数据分析和开源技术，它们在2016年的前景如何呢？ IT领域的高管们纷纷盯向自己的水晶球，为我们介绍了他们眼中新一年及未来即将出现的挑战和机遇。

所有的开发和测试将迁移到云端

随着首席信息官们评估公司应该采用何种云计算技术，他们最先做出的行动之一就是把开发和测试迁移到云端。基于云端的应用开发和测试呈现出清晰可见的投资回报率，以至于甲骨文公司的首席执行官马克·赫德（Mark Hurd）预测，到2025年时，这些工作将完全在云端完成。当开发和测试工作是利用本地软件和硬件进行时，IT团队必须购买、获得许可和配置创建一个开发环境所需的所有东西，从服务器到数据库，五花八门，并期望它跟能该应用将面临的“实战环境”相匹配。赫德估计，这些准备工作会浪费掉开发和测试全部资源的80%，更不用说拖慢进度了。在未来，云端系统和本地系统仍将共存很多年时间，而云端开发和测试也能够适应这个现实。IT团队常常希望在云端环境中进行开发和测试，然后把应用迁移至本地系统进行打包发布，这往往是出于监管方面的原因。我们估计，企业偏爱的那种云开发平台，要能够在应用打包发布准备就绪时提供双重选择，既可以在公共云中向上扩展，也可以在本地运行。物联网：从炒作到名副其实

“物联网已然形成一股大浪，但在2016年，它将不再只是炒作。”Datemaeer的首席执行官斯特凡·格罗斯查普（Stefan Groschupf）说，“我们将看到公司积极改变自己的策略和基础设施，以充分利用物联网技术和数据的力量和洞见。”

存储将成为一种极其丰富的资源

MapR的联合创始人兼首席执行官约翰·施罗德（John Schroeder）认为，下一代基于软件的存储技术正在让多温度（快速和密集）数据管理解决方案成为可能。他特别指出，闪存是一项关键技术，它将为消费、计算机和企业市场的产品带来新设计。此外，消费者对闪存的需求将压低其成本，这项技术也将在大数据领域开始进行部署。据施罗德称，最佳的解决方案将结合闪存和硬盘存储两者之长，同时支持快速和密集的存储配置。施罗德表示，在2016年，我们有望看到新一代基于软件的存储技术，它可以普及多温度数据管理解决方案，让组织机构不必在快速和密集存储技术之间择其一，而是能够两者得兼。安全防护需要变得更加智能

智能家居的很多设备始终处于开启状态，并一直在进行相互通讯。在预测2016年及未来网络犯罪和安全形势的《迈克菲实验室威胁预测报告》中，英特尔安全（Intel Security）指出，联网住宅可能为数字入侵某个人生活提供最便捷的“门户”。“顶级的冰球手都擅长在冰场上游走，跟对方周旋，在机会出现时紧紧抓住，而且至关重要的是，正如韦恩·格雷茨基（Wayne Gretzky）所言，他们总是能预判冰球的运动方向并提前走位，而不是朝着它现在的位置直奔而去。”英特尔安全旗下迈克菲实验室（McAfee Labs）的副总裁文森特·威弗（Vincent Weafer）表示，“为了解决组织机构所面临的商业、技术和安全问题，我们必须帮助他们提前走位，使用那些能够有助于（而不是妨碍）他们业务的技术，并了解他们在明天及未来将会面对什么样的威胁。”Spark将变得更加炙手可热

“Spark是Hadoop发行版的一部分，并且被广泛认为跟Hadoop存在联系。我们有望在2016年看到这种情况发生改变，因为Spark将循着自己的道路发展，建立起一个充满活力的独立生态系统。事实上，我们可以期待各大云计算服务提供商发布自己的Spark PaaS（平台即服务）产品。我们会看到一个Elastic Spark吗？很有可能。”微软服务器和工具事业部（年销售额达到160亿美元）前总裁、Snowflake现任首席执行官鲍勃·穆格里亚（Bob Muglia）在最近的一篇博客文章中指出：“它提供了一套可并行执行的高效和通用框架，这在目前的世界非常有用，因为如今的数据分析常常需要一大堆机器协同工作的计算资源。尽管Spark相对来说仍然不成熟，但它拥有演变成为并行算法分析和机器学习标准框架和应用程序接口（API）的潜力。

保护数据本身将变得至关重要

“虽然企业已经在外围和数据中心的安全层上投资了数以亿计的资金，但数据层的深度防御仍然处于起步阶段。”BlueTalon首席执行官埃里克·蒂勒纽斯（Eric Tilenius）如是说，他的公司为Hadoop、SQL以及部署于本地或云端的大型数据环境提供以数据为中心的安全保护。蒂勒纽斯表示，黑客仍然可以非常轻松地绕过外围防御，窃取有效的用户证书并成功访问数据记录。“在2016年，随着公司努力保护自己免受数据丢失的困扰，新的以数据为中心的安全保护手段，也就是保护数据本身将成为主流，其目标是在最重要的地方始终如一地控制用户访问权限和证书。”商业智能和数据分析的市场需求将达到新的高度

“2016年，我们将看到商业智能（BI）和数据分析的市场需求达到一个新高度。随着先进数据技术的出现，企业将处理和存储比以往任何时候都要多的信息。”布拉德·彼得斯（Brad Peters）说道。他是云端商业智能和数据分析服务提供商Birst的联合创始人兼首席产品官，“其结果是，他们将寻找下一代商业智能和数据分析平台，以帮助挖掘自身所掌握数据（不管是在云端还是在本地）的力量。这种‘网络商业智能’力量将创造出一种相互交织的数据结构，它可以向企业用户提供自助服务，同时消除数据分析孤岛，从而带来更快、更可信的决策。”内存处理技术将继续蓬勃发展“回顾2015年很有趣，我们看到内存处理技术的应用取得了很大的进步。”SAP的大数据项目高级主管大卫·琼克（David Jonker）说，“举例来说，IBM投身Spark，这对内存处理技术将成为各方大数据战略的中心组成部分做了又一次背书。”他预计，这个领域会继续出现强劲增长。

“这其中的思路是，通过简化你的环境，摆脱大量旧系统，以及把它置于内存平台的中心位置，你可以同时进行操作和数据分析。”琼克说道。

数据分析和大事件将极大地推动市场需求

据Alteryx产品管理副总裁劳拉·塞勒斯（Laura Sellers）称，在角逐下一届总统的过程中，数据分析可能跟候选人提出的政策一样重要，因为数据分析已经超越民意调查的范畴，延伸到为购买电视媒体广告、辩论结果和其他竞选事务提供信息。此外，数据分析还有机会改变人们跟大型活动（比如2016年的巴西奥运会）进行交互的方式，从而为由数据驱动的洞见创造更多的市场需求。企业将更多地依赖于大数据云服务“Hadoop即服务”初创公司Altiscale的首席运营官迈克·麦克格（Mike Maciag）称，2016年数据科学家和Hadoop管理员的薪酬将出现急剧上涨，因为Hadoop市场需求的增长超过了可用人才数量的增长。

他指出，为了避免雇佣更多的数据科学家和Hadoop管理员，组织机构将依赖于内置了运营支持的全托管云服务，从而解放现有的数据科学家团队，让他们把时间和精力花在数据分析上，而不是倒腾复杂的Hadoop集群。

从光纤信道向以太网的迁移将加快

“在过去，光纤信道的速度优势使之成为企业存储网络的标配。然而，在10Gbe以太网得到广泛部署和逐渐向40Gbe以太网过渡的情况下，光纤信道相对于以太网的速度优势已经不复存在了。”存储平台提供商Reduxio产品管理和产品战略副总裁雅各布·切里安（Jacob Cherian）说，“以太网的速度和成本优势，再加上该技术背后的支持者是思科（Cisco）和网络领域其他大型厂商这个事实，它们将导致更多公司把以太网集成到自己的企业存储架构当中。”大数据窘境将继续存在在商业圈子里，数据正继续变得越来越重要。但是，有多少公司正在处理自己的数据，并从中挖掘出实际的商业应用呢？BDNA（这是一家提供整合和维护企业IT数据解决方案的公司）首席执行官沃克·怀特（Walker White）指出，这个问题在2016年将继续存在。“如今的大数据现象可跟15年前兴起的数据仓储进行对比——收集得到的数据并没有什么用，除非它们被置于正确的情境下并且用来解决特定的商业问题。大数据与此类似，因为它提供了得出重要洞见所需的原材料，而且在没有正确工具进行分析的情况下毫无价值。数据分析正在取得一些进展，但大数据还远远不是它所承诺的那种灵丹妙药。”云端将成为物联网的首选平台运营智能平台公司Splunk云计算解决方案的高级副总裁兼总经理马克·奥尔森（Marc Olesen）表示，云端将成为物联网事实上的平台。随着组织机构越来越多地把物联网设备推向市场，云端将成为收集和分析这些设备所产生数据的主要平台，并保障这些设备的运行时间和性能。

数字业务将成为公司高管的议题

公司“首席”级高管正越来越多地认识到数字业务及其所产生数据的价值，但是还没有普遍引入一个常设高管职务在整个公司推进数字业务议程。

据EMC的产品和市场营销总裁杰里米·伯顿（Jeremy Burton）称，这种情况将发生改变。他指出，公司的首席数字官将越来越多地承担这样一种职责，即部署最新技术让公司产品变得更加智能，并为消费者创造无障碍的服务体验。而且，数据，即由这些新功能留下的数字尾气，将需要得到分析和利用，以获取竞争上的优势。这一切不仅会发生在科技行业，而且会蔓延至各行各业。即便首席级高管知道这是正确方向，他们仍然会在关于组织结构、职责和地盘争夺的决策上打得不可开交。首席数字官到底该向首席执行官汇报，还是首席营销官……抑或是首席信息官？