博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Azkaban Install and Schedule Job
阅读量:6291 次
发布时间:2019-06-22

本文共 2148 字,大约阅读时间需要 7 分钟。

1.git clone and buid
[root@sht-sgmhadoopdn-04 app]# git clone https://github.com/azkaban/azkaban.git
[root@sht-sgmhadoopdn-04 app]# cd azkaban
[root@sht-sgmhadoopdn-04 azkaban]# ./gradlew build
[root@sht-sgmhadoopdn-04 azkaban]# cd azkaban-solo-server/build/distributions/
[root@sht-sgmhadoopdn-04 distributions]# ll
total 46372
-rw-r--r-- 1 root root 23678999 Apr 21 14:17 azkaban-solo-server-3.21.0-6-g102226a.tar.gz
-rw-r--r-- 1 root root 23800311 Apr 21 14:17 azkaban-solo-server-3.21.0-6-g102226a.zip
[root@sht-sgmhadoopdn-04 distributions]# cp azkaban-solo-server-3.21.0-6-g102226a.tar.gz ~/learnproject/app/
2.tar and modify parameter
[root@sht-sgmhadoopdn-04 distributions]# cd ~/learnproject/app/
[root@sht-sgmhadoopdn-04 app]# tar -xzvf azkaban-solo-server-3.21.0-6-g102226a.tar.gz
[root@sht-sgmhadoopdn-04 app]# mv azkaban-solo-server-3.21.0-6-g102226a azkaban-3.21.0
[root@sht-sgmhadoopdn-04 app]# cd azkaban-3.21.0
[root@sht-sgmhadoopdn-04 azkaban-3.21.0]# cd conf
[root@sht-sgmhadoopdn-04 conf]# ll
total 8
-rw-r--r-- 1 root root 941 Apr 21 14:08 azkaban.properties
-rw-r--r-- 1 root root 265 Apr 21 14:08 azkaban-users.xml
-rw-r--r-- 1 root root   0 Apr 21 14:08 global.properties
[root@sht-sgmhadoopdn-04 conf]# vi azkaban.properties
default.timezone.id=Asia/Shanghai
3.start and open
[root@sht-sgmhadoopdn-04 azkaban-3.21.0]# ./bin/azkaban-solo-start.sh 
...........
2017/04/21 14:26:13.219 +0800 INFO [log] [Azkaban] jetty-6.1.26
2017/04/21 14:26:13.221 +0800 INFO [log] [Azkaban] Started SocketConnector@0.0.0.0:12321
2017/04/21 14:26:13.226 +0800 INFO [AzkabanExecutorServer] [Azkaban] Started Executor Server on sht-sgmhadoopdn-04:12321
2017/04/21 14:26:13.226 +0800 INFO [AzkabanWebServer] [Azkaban] Azkaban Exec Server started...
open web:    azkaban/azkaban
4.create project:loganalysis 
5.create the file hour_logtype_count.job 

点击(此处)折叠或打开

  1. type=command
  2. # 执行sh脚本,建议这样做,后期只需维护脚本就行了,azkaban定义工作流程
  3. command=ssh hive@sht-sgmhadoopnn-02 "/tmp/hour_logtype_count.sh"
6.zip the file hour_logtype_count.job  to hour_logtype_count.zip
7.click Upload, select hour_logtype_count.zip
8.set schedule time: 0 5 * ? * *
9.run the hour_logtype_count

转载地址:http://nbuta.baihongyu.com/

你可能感兴趣的文章
网络编程
查看>>
浅析GDAL库C#版本支持中文路径问题
查看>>
快学Scala 第八课 (嵌套类)
查看>>
Linux文件和目录的属性及权限
查看>>
Wannafly挑战赛3
查看>>
解决Ubuntu14.04安装Chrome浏览器打不开的问题
查看>>
INSERT IGNORE 与INSERT INTO的区别
查看>>
JQuery Easy UI 简介
查看>>
【转帖】【面向代码】学习 Deep Learning(四) Stacked Auto-Encoders(SAE)
查看>>
垂直剧中
查看>>
C语言版推箱子
查看>>
BeanPostProcessor出现init方法无法被调用Invocation of init method failed
查看>>
WIN7 X64的运行命令窗口
查看>>
JS Promise API
查看>>
探究JS中的连等赋值问题
查看>>
113. Path Sum II
查看>>
小程序 显示Toobar
查看>>
react列表数据显示
查看>>
SpringMVC中与Spring相关的@注解
查看>>
在线求助 man page(转)
查看>>