引言
在开发调试过程中,需要将程序打包,运行任务后通过命令或web界面查看运行输出及job运行情况,这个比较繁琐,下面介绍的eclipse插件可以简化这个过程,方便调试。
插件安装
Hadoop的eclipse plugin跟hadoop发行版一起分发,到hadoop安装目录\ contrib\eclipse-plugin下可以找到该插件。在试用过程中发现不支持eclipse 3.5,因此要在eclipse3.5及以上版本运行,需要做个修改。修改方法如下:
编辑:src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\
HadoopApplicationLaunchShortcut.java
做如下修改:
//import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;
import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;
修改完毕后在hadoop目录执行ant package重新打包eclipse插件。
将修改后的插件拷贝到eclipse\dropins\hadoop\plugins目录下完成安装。
插件配置与使用
  • 指定Hadoop安装目录
  • 打开Map/Reduce视图
  • ”Window”->”Open Perspective”->”Other”->“Map/Reduce”.
    “Window”->”Show views”->”Other”->”Map Reduce Tools”->”Map/Reduce locations”.
  • 新建 Hadoop location
  • DFS视图浏览文件
  • 运行MapReduce作业
  • 查看运行结果
  • 系列总结
    Hadoop作为一种处理海量数据的理想方式,正在被越来越多的项目使用,以后也有可能用于我们的测试工具,本系列期望抛砖引玉,能引起更多的测试人员对新技术的兴趣。这也是本系列目前最后一篇文章了,如果对本系列前面的文章或本人其他文章感兴趣,可以通过以下链接访问查看,http://qa.taobao.com/?author=222