博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
oozie java api提交作业
阅读量:6032 次
发布时间:2019-06-20

本文共 1465 字,大约阅读时间需要 4 分钟。

今晚试验用java的api来提交代码,由于代码是在我机器上写的,然后提交到我的虚拟机集群当中去,所以中间产生了一个错误。。要想在任意一台机器上向oozie提交作业的话,需要对hadoop的core-site.xml文件进行设置,复制到所有机器上,然后重启hadoop集群。
设置如下:
hadoop.proxyuser.cenyuhai.hosts
*
hadoop.proxyuser.cenyuhai.groups
*
这里都设置成星号,则为任意机器,任意账号。cenyuhai是我的本机账户。
然后就开始啦,用本机提交代码到oozie。代码如下:
OozieClient wc = new OozieClient("http://192.168.1.133:11000/oozie");         Properties conf = wc.createConfiguration();         //conf.setProperty(OozieClient.APP_PATH,"hdfs://192.168.1.133:9000"  + appPath);         conf.setProperty("nameNode", "hdfs://192.168.1.133:9000");         conf.setProperty("queueName", "default");         conf.setProperty("examplesRoot", "examples");         conf.setProperty("oozie.wf.application.path", "${nameNode}/user/cenyuhai/${examplesRoot}/apps/map-reduce");         conf.setProperty("outputDir", "map-reduce");         conf.setProperty("jobTracker", "http://192.168.1.133:9001");         conf.setProperty("inputDir", input);         conf.setProperty("outputDir", output);        try {             String jobId = wc.run(conf);             return jobId;         } catch (OozieClientException e) {             log.error(e);         }
代码非常简单,先new一个OozieClient出来,然后创建一个配置文件Properties类,然后把我们用文件的Job.Properties里面写的所有参数都设置进去就行啦,然后调用run方法就打完收工了,简单吧。提交完了之后发现作业还是失败了,没关系,查看了一下详细的失败原因,发现不是因为workflow.xml设置输入输出目录的时候使用了账户的原因,没关系啦,随便它,反正提交是成功啦。
f98417e57b01a1278316f83826220f7ee30189a2

转载地址:http://ymchx.baihongyu.com/

你可能感兴趣的文章
AngularJs ng-change事件/指令(转)
查看>>
linux系统下安装两个或多个tomcat
查看>>
ProtoBuffer 简单例子
查看>>
iOS多线程开发系列之(一)NSThread
查看>>
微信小程序初体验(上)- 腾讯ISUX社交用户体验设计成员出品
查看>>
SAP WM Physical Inventory Method ST & PZ
查看>>
一次快速的数据迁移感悟
查看>>
MySQL修改提示符
查看>>
《ELK Stack权威指南(第2版)》一3.6 Java日志
查看>>
C++流的streambuf详解及TCP流的实现
查看>>
《量化金融R语言初级教程》一2.5 协方差矩阵中的噪声
查看>>
mysql到elasticsearch数据迁移踩坑实践-Ali0th
查看>>
Python轻量级数据分析库DaPy
查看>>
beetl 和 shrio 结合
查看>>
相对/绝对路径,cd命令,mkdir/rmdir命令,rm命令
查看>>
tomcat中web.xml各配置项的意义
查看>>
Nodejs学习笔记(二):《node.js开发指南》代码中需要注意的几点
查看>>
Ztree异步加载自动展开节点
查看>>
反射操作公共成员变量
查看>>
Android热修复升级探索——代码修复冷启动方案
查看>>