分布式任务调度平台 XXL-JOB

xxl-job

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

https://gitee.com/xuxueli0323/xxl-job?utm_source=alading&utm_campaign=repo

• xxl-job-executor 任务执行器，主要实现定时任务业务逻辑；
• xxl-job-admin 任务调度平台，独立部署，可视化界面配置调度逻辑；

1.xxl-job执行器

pom.xml

		<dependency>
            <groupId>com.xuxueli</groupId>
            <artifactId>xxl-job-core</artifactId>
            <version>2.3.0</version>
        </dependency>

application.yml

# xxl-job配置
xxl:
  job:
    admin:
      # 调度中心部署跟地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
      addresses: http://localhost:8080/xxl-job-admin
    executor:
      # 执行器注册 [选填]：优先使用该配置作为注册地址，为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
      address:
      # 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
      appname: xxl-job-demo
      # 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
      ip:
      # 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
      port: 6666
      # 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
      logpath: /log/xxl-job/jobhandler
      # 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
      logretentiondays: 15
    # 执行器通讯TOKEN [选填]：非空时启用；
    accessToken: xxl-job-demo

XxlJobConfig.java

import com.xxl.job.core.executor.XxlJobExecutor;
import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @ClassName XxlJobConfig
 * @Description xxl-job 配置
 * @Author jocker
 * @Date 2020/9/1
 */
@Configuration
@Slf4j
public class XxlJobConfig {

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;

    // 这个不要加init destory参数，不然报Address already in use: bind错误
    @Bean
    public XxlJobExecutor xxlJobExecutor() {
        // 高低版本这个执行器类不一样，会导致找不到handler
        XxlJobSpringExecutor xxlJobExecutor = new XxlJobSpringExecutor ();
        xxlJobExecutor.setAdminAddresses(adminAddresses);
        xxlJobExecutor.setAppname(appName);
       // xxlJobExecutor.setAppName(appName);
        xxlJobExecutor.setIp(ip);
        xxlJobExecutor.setPort(port);
        xxlJobExecutor.setAccessToken(accessToken);
        xxlJobExecutor.setLogPath(logPath);
        xxlJobExecutor.setLogRetentionDays(logRetentionDays);
        log.info(">>>>>>>>>>>>> xxl-job init {}",appName);
        return xxlJobExecutor;
    }
}

MyJobHandler.java

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.annotation.XxlJob;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;

/**
 * @ClassName MyJobHandler
 * @Description TODO
 * @Author jocker
 * @Date 2020/9/1
 */
@Slf4j
@Component
public class MyJobHandler {

    /* *
     * @Description TODO
     * @Param 一般任务
     * @Returns com.xxl.job.core.biz.model.ReturnT<java.lang.String>
     * @Author jocker
     * @Date 2020/9/2 11:31
     */
    @XxlJob(value = "simpleJobHandler")
    public ReturnT<String> simpleJobHandler() throws Exception {
        //执行参数
        String param = XxlJobHelper.getJobParam();
        log.info("XXL-JOB,HELLO {}",param);
        return  ReturnT.SUCCESS;
    }

    /* *
     * @Description
     * @Param 分片广播，适用于处理大量数据，可以并行处理。
     * @Returns com.xxl.job.core.biz.model.ReturnT<java.lang.String> 
     * @Author jocker
     * @Date 2020/9/2 11:00
     */
    @XxlJob(value = "shardingJobHandler")
    public ReturnT<String> shardingJobHandler() throws Exception {
        //执行参数
        String param = XxlJobHelper.getJobParam();
        log.info("XXL-JOB,HELLO {}",param);
        // 分片参数
        log.info("分片参数：当前分片序号 = {}, 总分片数 = {}", XxlJobHelper.getShardIndex(), XxlJobHelper.getShardTotal());
        return ReturnT.SUCCESS;
    }

}

2.xxl-job-admin

从github上下载对应版本的xxl-job-admin源码以及数据库文件，在自己项目的db中执行sql创建所需的表，修改源码中的application.properties文件中数据库地址配置。执行器executor中需要配置admin的地址

xxl:
  job:
    admin:
      # 调度中心部署跟地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
      addresses: http://localhost:8080/xxl-job-admin

启动执行器和admin,访问：http://localhost:8080/xxl-job-admin/

3.配置任务调度

在“执行器管理”中查看执行器是否已自动注册

在“任务管理”中配置任务调度策略

任务配置中，运行模式“BEAN”，JobHandler中填写的是Handler中 value参数值。

@XxlJob(value = "simpleJobHandler") 

这里的任务参数，在Handler中获取

String param = XxlJobHelper.getJobParam();

在高级配置中，路由策略比较关键。一般在生产环境下，我们都是多节点部署以防止单机故障，因此调度策略比较关键，一般没特殊要求，单节点执行任务即可，但某些业务需要处理大量数据，则可以考虑分片广播策略，相当于所有节点都执行任务，每个任务分片处理数据。

@XxlJob(value = "shardingJobHandler")
    public ReturnT<String> shardingJobHandler() throws Exception {
        //执行参数
        String param = XxlJobHelper.getJobParam();
        log.info("XXL-JOB,HELLO {}",param);
        // 分片参数
        log.info("分片参数：当前分片序号 = {}, 总分片数 = {}", XxlJobHelper.getShardIndex(), XxlJobHelper.getShardTotal());
        return ReturnT.SUCCESS;
    }