载入中。。。 'S bLog
 
载入中。。。
 
载入中。。。
载入中。。。
载入中。。。
载入中。。。
载入中。。。
 
填写您的邮件地址,订阅我们的精彩内容:


 
关于hadoop+fuse+apache+php5+mysql+tomcat进行云存储的测试体会
[ 2011/6/25 21:07:00 | By: 梦翔儿 ]
 

用了大概3天的时间,在服务器上以及虚拟机环境测试了一下:

ubuntu server10.10+Hadoop+Apache+php+mysql+tomcat+fuse实现云存储网络应用的安装、配置与应用研究。

安装过程经历了一些挫折,权限方面浪费了一些时间,但整体的配置结果,还是顺利成功的,基本上能够全面实现了几者之间的整合工作。

用了实验室的10个节点,搭建了cloudera cdh3u0的hadoop集群,配置成功了hdfs

然后利用fuse技术,成功建立了网站上传文件的挂载点,可以把hdfs映射为ubuntu的一个目录,这样网站上传文件时,就可以放到这个挂载点上,从而也就上传到hdfs中,这样就将前台的存储应和与云计算的分布式存储系统进行了有机结合。

前台主要采用了开源discuz的ucenter home搭建了社交网络平台,后台用国内开源的phpdisk,搭建了云存储平台,并且实现了用户的登录平台的整合。

实际测试结合表明,在伪分布式下和集群模式下,都可以搭建成功。从各节点的机器监控来看,内存占有量比较大,fuse技术应用后,系统运行速度明显减慢,直观感觉比命令行式上传文件要慢很多。单点上传速度比较好,但多点上传应该不是hdfs能做的。伪分布式下很稳定,速度也很快,但远程集群由于网络环境等原因,在上传速度不是很稳定,可能和前端应用有关,目前文献中提到的延迟现象还没有体验,远程集群的实际效果,还需要到实验室在网络比较好的情况下,进行实际测试。

梦翔儿的测试只是简单的体验,没有深入科学进行测试,但目前这已经足够表明,hdfs技术本身有很强大的优点,但hdfs的大块处理与fuse胶合这些方式的表现,还远远不能达到商用的标准,对目前的初步应用体验,并不是很乐观,要做到更好,我想还有很长的路要走。

这部分的工作暂时告以段落,下一步,梦翔儿将安排时间,还是应该集中时间,发挥hadoop擅长的领域,云数据分析处理方面,进一步加强MapReduce方面的编程研究,同时也准备实测一下其它分布式文件系统、大文件的断点上传与Cloudera的其它商用组件,比如说追求低延时的Hive与MFS等等。

世间自有公道,付出终有回报!前途�**饷鞯模缆肥乔鄣摹T谇把氐募际跹芯恐校颐切枰榷ㄐ奶嬲刈龅轿袷登靶小�

 

 
 
  • 标签:hadoop fuse 测试 
  •  
    Re:关于hadoop+fuse+apache+php5+mysql+tomcat进行云存储的测试体会
    [ 2011/8/16 19:53:17 | By: 小海(游客) ]
     
    小海(游客)
    以下引用小海(游客)在2011-8-13 23:59:21发表的评论:
    您好,我在做挂载HDFS的时候执行#./fuse_dfs_wrapper 出现以下错误请问,是什么原因呢?

    fuse_dfs_wrapper:line 39: fuse_dfs: command not found
    以下为梦翔儿的回复:
    原版的hadoop的确有这个问题,你用cloudera版带的fuse就不会出这个问题。

    经过反复测试终于实现了成功挂载,但是又出现
    http://hadoop.nchc.org.tw/phpbb/viewtopic.php?f=4&t=2316&sid=61c584f39b3b7ae5e4a9cad40a07cc18
    这样的问题,我在google搜索,总是搜到您以前的帖子。能不能帮忙解释一下呢 ?
    以下为梦翔儿的回复:
    你指的是权限和用户变问号吗?我偶尔也会出现类似的问题,但重挂一次就好了.注意权限要按cloudera来配,hdfs不应该是root启动.
     
    个人主页 | 引用 | 返回 | 删除 | 回复
     
     
    Re:关于hadoop+fuse+apache+php5+mysql+tomcat进行云存储的测试体会
    [ 2011/8/13 23:59:21 | By: 小海(游客) ]
     
    小海(游客)您好,我在做挂载HDFS的时候执行#./fuse_dfs_wrapper 出现以下错误请问,是什么原因呢?

    fuse_dfs_wrapper:line 39: fuse_dfs: command not found
    以下为梦翔儿的回复:
    原版的hadoop的确有这个问题,你用cloudera版带的fuse就不会出这个问题。
     
    个人主页 | 引用 | 返回 | 删除 | 回复
     
    发表评论:
    载入中。。。

     
     
     

    梦翔儿网站 梦飞翔的地方 http://www.dreamflier.net
    中华人民共和国信息产业部TCP/IP系统 备案序号:辽ICP备09000550号

    Powered by Oblog.