载入中。。。 'S bLog
 
载入中。。。
 
载入中。。。
载入中。。。
载入中。。。
载入中。。。
载入中。。。
 
填写您的邮件地址,订阅我们的精彩内容:


 
专家指出Dryad可靠性不足短期恐难以撼动Hadoop
[ 2011/2/10 18:35:00 | By: 梦翔儿 ]
 

微软的HPC开发团队日前公开了Dryad测试版,这意味着微软开始向Windows HPC Server用户提供一个能够进行海量数据处理的工具。

其实,微软推出Dryad的目的很简单,让开发者们能够在Windows或者.Net平台上编写大规模的并行应用程序。

Dryad在微软软体系结构中的位置

Dryad也并非微软的新产品,Dryad和DryadLINQ早在微软收购Powerset之前就已经存在,目前推出的,只不过是商业版。微软于2007年首度揭晓了关于技术的研究成果,并于2009年向学术界推出了非商业版Dryad和DryadLINQ。

关于分布式计算技术微软近几年也一直在致力发展,2008年,微软收购了Powerset,并将Powerset基于Hadoop的技术应用于其(bing)搜索引擎之上。而微软甚至答应Powerset员工继续向Hadoop贡献源代码,Powerset也由此建立了Hadoop的姊妹项目——HBase,模拟Google的BigTable数据库。

但与MapReduce不同的是,Dryad是针对运行Windows HPC Server的集群计算设计的,而非Linux——这也是Dryad恐被人所诟病的一点。由于Hadoop是基于Java编写的,因此这些程序恐怕并不太适合跑在微软的Windows平台或者.NET之上;另外,微软是在2005年进入到高性能计算市场的,目前而言,这个市场是被Linux所占领的。而目前Apache的Hadoop环境是只支持Linux的,Windows还在不断开发中。

在Apache的官方网站上,有一个问答简单总结了有关Windows服务器上运行Hadoop的问题:

'Win32 is supported as a development platform . 。 Distributed operation has not been well tested on Win32, so it is not supported as a production platform .'

意思是说,作为一个开发平台,Win32并未在分布式计算平台上得到足够多的测试,因此它还不足以能够成为一个具备生产力的平台。

对于Dryad可靠性的问题,从微软的官方博客也谈到,Dryad目前很大的一个问题在于DryadLINQ、Dryad以及DSC都处于早期的发展阶段,目前Dryad目前只测试了128个节点的集群环境,而我们知道的是,象Facebook的Hadoop集群,节点早在3000个以上了。

据了解,用户要想使用Dryad的测试版,系统必需配备有基于Windows HPC Pack 2008 R2 Enterprise的集群,而且安置有Service Pack 1。而已经注册HPC Pack 2008 R2的用户已经可以下载到该预览版.

http://cloud.csdn.net/a/20101231/289249.html

 
 
  • 标签:Dryad Hadoop 
  • 发表评论:
    载入中。。。

     
     
     

    梦翔儿网站 梦飞翔的地方 http://www.dreamflier.net
    中华人民共和国信息产业部TCP/IP系统 备案序号:辽ICP备09000550号

    Powered by Oblog.