日前,雅虎宣布新增斯坦福大学,华盛顿大学,密歇根大学,普渡大学加入到Hadoop集群计算研究中。
2007年,雅虎在Sunnyvale总部建立了M45——一个包含了4000个处理器和1.5PB容量的Hadoop集群系统。与此同时,包括卡 耐基梅隆大学、加州大学伯克利分校、康奈尔大学和马萨诸塞大学阿默斯特分校等八所大学加入到了该集群系统的研究中,加上新近加入的四所大学,目前共有12 所大学加入到了Hadoop集群计算研究中。
雅虎研究院主管Thomas Kwan重申了雅虎对于Hadoop的研究计划,他表示,M45不仅推动了开放平台的下的开放源码发布,同时还担负起了雅虎员工的培训工作。
关于Hadoop
Hadoop一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
它是原Yahoo的Doug Cutting根据Google发布的学术论文研究而来。现在,Doug Cutting在Cloudera公司。Cloudera的Hadoop是商用版。不同于Apache的开源版。
如果要研究Hadoop的话,在下载Apache的版本是一种不错的选择。
只研究Apache版本的,不足以对Hadoop的理念理解。再对Cloudera版本的研究,会更上一层楼。
现在美国的AsterData,也是Hadoop的一个商用版,AsterData的MPP理念,Applications Within理念等等,也都是值得研究。
Google的成功已经说明了RDB的下一代就是Nosql(Not Only SQl),比说说GFS,Hadoop等等。Hadoop作为开源的版本来说,其魅力更是不可估量。