载入中。。。 'S bLog
 
载入中。。。
 
载入中。。。
载入中。。。
载入中。。。
载入中。。。
载入中。。。
 
填写您的邮件地址,订阅我们的精彩内容:


 
超简单!不用linux,两步在Windows下搭建hadoop eclipse开发环境!
[ 2012/2/13 19:43:00 | By: 梦翔儿 ]
 

cygwin可以在windows下模拟出linux环境,在其上安装hadoop即可进行开发,hadoop4win提供了已经安装好hadoopCygwin镜像,直接下载安装包即可安装!

http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win

() hadoop4win

軟體簡介

hadoop4win,顧名思義為『Hadoop for Windows』,主要是提供Windows 平台上簡易安裝 Hadoop 的批次安裝檔。此批次安裝檔內容,主要參考自國網中心企鵝龍與再生龍團隊成員孫振凱先生之 drbl-winroll 作品,抽取安裝部分程式改寫成 hadoop4win 所需的步驟。

hadoop4win 目前包含五大軟體組成:

  • Cygwin - 提供精簡版,類似 Linux 的環境
  • JDK 1.6.0 update 18 - 運行 Hadoop 必須的 JRE(Java Runtime Environment) 與編譯程式所需之 javac 編譯器
  • Hadoop 0.20.2 - 包含 Hadoop 0.20.2 原始程式與中英文說明文件檔
  • HBase 0.20.6 - 包含 HBase 0.20.6 原始程式碼
  • Ant 1.8.2 - 包括 Apache Ant 1.8.2 執行檔

軟體需求

  • Windows 2000, Windows XP
  • 目前已知 Windows 7 無法正常執行

() Eclipse 开发环境

1. hadoop插件放入Eclipse 3.3plugins中。

2. 启动Eclipsewindow - openperspective - other - Map/Reduce,打开hadoop的视图。



3. 设置Map/Reduce Location, 右键 EditHadoop Locationusername用你的windows登录用户名。90009001是在core-site.xmlmapred-site.xml中的设置.



对于这类配置文件的编辑,Cygwin的文件都可以在windows下编辑,不需要在linux终端中编辑(尽管可以),看看hadoop4win的目录就知道。


4. 设置参数!


() Eclipse开发

设置成功后,应当可以在左边看到,hadoop文件系统。

windows下编辑两个文本,file01file02,里面吗随便写一些英文句子。然后放到E:\hadoop4win\home\你的登录名,然后在hadoop4win打开的Cygwin终端中:

cd /home/你的用户名

hadoop fs -mkdirinput

hadoop fs -put file01 input

hadoop fs -put file02 input

Eclipse中建个WordCount的例子,只要建立mapreduce project,然后在src下建一个包,下面放源代码就行了。

设置参数:


Run as “run onhadoop”



http://hi.baidu.com/crazyhan/blog/item/84fb28973986c77354fb962a.html

其它参考:

http://forum.hadoop.tw/viewtopic.php?p=3991
http://trac.nchc.org.tw/cloud/wiki/NCHCCloudCourse100928_2_IDE

 
 
  • 标签:Windows hadoop eclipse 
  • 发表评论:
    载入中。。。

     
     
     

    梦翔儿网站 梦飞翔的地方 http://www.dreamflier.net
    中华人民共和国信息产业部TCP/IP系统 备案序号:辽ICP备09000550号

    Powered by Oblog.