欢迎光临本资讯站!
  • 微信微信

谷歌Dremel催化的新平台Impala成为数据处理界新宠

人生驱动器 2013-12-16 16:39 业界资讯 778 views 抢沙发

谷歌Dremel催化的新平台Impala成为数据处理界新宠

谷歌Dremel

亚马逊云服务添加了对一项新服务Impala的支持,这是由谷歌激发的查询工具,由大数据储存公司 Cloudera 发布,可提供实时的平行大数据处理。有Impala的帮助,开发者现在可以在AWS 弹性 MapReduce 簇使用类似SQL的语言查询新的,或者访问已有的数据。它更快,更具可操作性,而且反映了开源的内容分发系统Hadoop 使用的增长。更进一步地讲,它折射了谷歌怎样深度影响市场和开发者,来创建新的数据平台,和潜在的更丰富应用生态系统。

去年推出的Impala架设在谷歌的Dremel服务基础上,这是这家搜索公司此前的大数据分析工具MapReduce的后续产品,MapReduce是谷歌开发用来在其广阔的云空间中进行数据存储查询的技术。Apache Drill同样架设在Dremel平台上。Hortonworks发布了 Tez,这是他们Stinger Initiative的一部分,其设计让它可以和搜索Hadoop数据库应用系统 Hive一同工作。Hortonworks公司表示,它能够以高效率处理PB级别的海量数据,同时使用熟悉的SQL语法,速度比以前快一百倍。

Citus Data有基于谷歌Dremel平台的自有分析数据库,他们的创新是使用PostgresSQL核心当中的平行计算来进行搜索。MapR同时提供对Drill的支持。 JethroData是基于Hadoop的分析数据库公司,可以提升Dremel项目的优先级。

Hadapt将以上所有公司与其“可接受性分析平台”(Adaptive Analytical Platform)联系起来,这带入了像Apache Hadoop开源项目SQL数据库的原生移植。

为什么Dremel系统是新的驱动力

Hadoop对Twitter这样的互联网企业是一项重要的技术,可以PB级别处理巨型数据。对于突然涌入空前数量的信息需要处理的传统企业也是很重要的,并且其重要性正不断增强。对于新一代的用户Impala是有用的,这给了他们一种处理数据的新方式,之前这需要很高深的技术知识储备。

Hadoop过去曾经是难以掌握的复杂技术,需要人们有多种能力,才能发挥它的潜质。这些人是那些掌握了编程艺术的原始数据科学家,他们可以管理和进行数据分析。他们出现在互联网公司,这些公司需要开发他们自己的方式,来处理和分析他们服务器储备的大量数据。例如Jeff Hammerbacher离开了Facebook成为Cloudera的一个联合创始人。Doug Cutting创建Hadoop是在他还在雅虎的时候,他在那里原本要开发一个开源的基于Lucene的搜索引擎。Cutting现在同样也在Cloudera工作。

谷歌通过MapReduce领导全局,这将整个数据集看作一个簇,可以平行处理数据。它在簇之间对数据进行地图定位,接下来减少定位数量以应答问题。

Dremel就是改良的MapReduce,代表了下一代Hadoop技术的一个基石。它加强了一个正在成长的开源项目生态系统,其中包括Hive和Pig——所有这些都被设计使用更高级别的语言来降低MapReduce的复杂性。

Dremel的强势功能在于其及时分析,但主要攻克的方向是查询。姐妹版本Google F1是一个大量相关性数据库,原本设计是为了管理谷歌在线广告业务。

Impala的价值体现在其分析方面的天赋,这是为什么它被看作是类似视觉形象化工具Tableau的商业分析商业智能工具的一个天然补充。分析师们可以使用Impala快速查询数据,接下来在Tableau等商业智能工具当中运行并诠释这些数据。

Hadoop尚未被大量接受作为应用开发的平台,但这可能会改变,因为Impala正在更广泛地使用,新的公司正在加入Hadoop环境。到今年早些时候Hadoop发布最新版本时,证据更加明显。新版本加入了 Yarn 功能,这是用来精简MapReduce令其作为一个计划生成器和资源管理器。它同时扩展了Hadoop之前能做的事情的范围。

Hadoop将会开发一个应用生态系统,证据同时存在于Impala和Yarn里面,两者都简化了很多,为最终用户提供了更深层应用的能力。接下来,还有专门为Hadoop准备的应用框架Cascading,现在已经成功进入商业运作。客户包括Twitter, Etsy和Airbnb。

谷歌曾经在这一领域长时间领先,但是Hadoop以及其平台层的创新表示,谷歌和其竞争对手之间的差距正在不断缩小。

 

经由:驱动人生

转自:techcrunch

正文部分到此结束

继续浏览:

还没有评论,快来抢沙发!

发表评论

😉 😐 😡 😈 simple-smile.png 😯 frownie.png rolleyes.png 😛 😳 😮 mrgreen.png 😆 💡 😀 👿 😥 😎 ➡ 😕 ❓ ❗