hadoop运行流程的工具,相关性能监控调度工具包等.--梦飞翔的地方(梦翔天空)

几年前UCBerkeley有一个用xtrace来分析hadoop的项目，你提到的细粒度的信息都能看得到。但是它是要插代码的，而且好像很久没有更新，可能facebook现在还在用这个。

如果你不希望改代码的话，那么你能看到的信息其实只有四种：

系统资源统计。用top，sysstat等工具监控整个系统资源使用情况。
binary instrumentation。这方面也有很多工具，如hprof, jprof, btrace等等。特别是btrace值得看看，它可以动态的插入profile代码。
Hadoop提供的JMX bean信息。JMX是Java一个监控和管理的标准，Hadoop代码中有部分关键信息通过JMX接口暴露出来。
Hadoop的log。这方面有专门的Hadoop的分析工具，如Vaidya，Kahuna。其他通用的log分析工具也有很多。

另外像Ganglia啊Cacti啊这样的集群管理工具能很方便地监控集群中每台机器的运行情况，它们可以综合上面提到的四种信息。

还有最近Intel刚在ATC‘11上也发表了一篇trace分布式系统运行情况的论文，他们的系统叫HiTune，综合了binary instrumentation，系统资源统计以及log分析等方面的结果。你可以问问他们要代码，都是上海这边的团队做的。