用了大概3天的时间,在服务器上以及虚拟机环境测试了一下:
ubuntu server10.10+Hadoop+Apache+php+mysql+tomcat+fuse实现云存储网络应用的安装、配置与应用研究。
安装过程经历了一些挫折,权限方面浪费了一些时间,但整体的配置结果,还是顺利成功的,基本上能够全面实现了几者之间的整合工作。
用了实验室的10个节点,搭建了cloudera cdh3u0的hadoop集群,配置成功了hdfs
然后利用fuse技术,成功建立了网站上传文件的挂载点,可以把hdfs映射为ubuntu的一个目录,这样网站上传文件时,就可以放到这个挂载点上,从而也就上传到hdfs中,这样就将前台的存储应和与云计算的分布式存储系统进行了有机结合。
前台主要采用了开源discuz的ucenter home搭建了社交网络平台,后台用国内开源的phpdisk,搭建了云存储平台,并且实现了用户的登录平台的整合。
实际测试结合表明,在伪分布式下和集群模式下,都可以搭建成功。从各节点的机器监控来看,内存占有量比较大,fuse技术应用后,系统运行速度明显减慢,直观感觉比命令行式上传文件要慢很多。单点上传速度比较好,但多点上传应该不是hdfs能做的。伪分布式下很稳定,速度也很快,但远程集群由于网络环境等原因,在上传速度不是很稳定,可能和前端应用有关,目前文献中提到的延迟现象还没有体验,远程集群的实际效果,还需要到实验室在网络比较好的情况下,进行实际测试。
梦翔儿的测试只是简单的体验,没有深入科学进行测试,但目前这已经足够表明,hdfs技术本身有很强大的优点,但hdfs的大块处理与fuse胶合这些方式的表现,还远远不能达到商用的标准,对目前的初步应用体验,并不是很乐观,要做到更好,我想还有很长的路要走。
这部分的工作暂时告以段落,下一步,梦翔儿将安排时间,还是应该集中时间,发挥hadoop擅长的领域,云数据分析处理方面,进一步加强MapReduce方面的编程研究,同时也准备实测一下其它分布式文件系统、大文件的断点上传与Cloudera的其它商用组件,比如说追求低延时的Hive与MFS等等。
世间自有公道,付出终有回报!前途�**饷鞯模缆肥乔鄣摹T谇把氐募际跹芯恐校颐切枰榷ㄐ奶嬲刈龅轿袷登靶小�