集群环境下的定时任务


    定时任务的实现方式有多种,例如JDK自带的Timer+TimerTask方式,Spring 3.0以后的调度任务(Scheduled Task),Quartz框架等。

Timer+TimerTask是最基本的解决方案,但是比较远古了;

Spring自带的Scheduled Task是一个轻量级的定时任务调度器,支持固定时间(支持cron表达式)和固定时间间隔调度任务,支持线程池管理;

Quartz是一个功能完善的任务调度框架;

利用如上方式都可以轻松实现定时任务功能,这些实现方式在单台应用服务器上部署运行是完全没有问题的,但是有时候我们的项目不是部署在一台机器上的,而是在一个集群环境上,即当应用服务器从单机扩展至多台集群模式时,原来的定时任务调度方案肯定就行不通了,因为我们的预期一定是在某一时刻触发执行定时任务一次,而不是多次,当我们集群部署后就会造成定时任务被多次执行。

所以我们就需要思考如何解决在集群环境下定时任务被多次执行的问题?

1、将JOB信息维护在DB里,使用标志位来控制(如running=Y/N,“Y”表示运行中,“N”表示未运行),应用节点上触发某个JOB执行时,先查询DB中该JOB的状态:没有运行,更新状态为运行中,再开始执行定时任务,否则,跳过。

2、声明一把全局的“锁”作为互斥量,哪个应用服务器拿到这把“锁”,就有执行任务的权利,未拿到“锁”的应用服务器不进行任何任务相关的操作,比如采用zookeeper的分布式锁来实现;

3、分布式调度解决方案 Elastic-Job,Elastic-Job 是一个分布式调度解决方案,由两个相互独立的子项目 Elastic-Job-Lite 和 Elastic-Job-Cloud 组成。

Elastic-Job-Lite 定位为轻量级无中心化解决方案,使用 jar 包的形式提供分布式任务的协调服务。

Elastic-Job-Cloud 使用 Mesos + Docker(TBD) 的解决方案,额外提供资源治理、应用分发以及进程隔离等服务。

Elastic-Job-Lite 和 Elastic-Job-Cloud 提供同一套 API 开发作业,开发者仅需一次开发,即可根据需要以 Lite 或 Cloud 的方式部署。

blob.png

elastic-job结合了quartz非常优秀的时间调度功能,并且利用ZooKeeper实现了灵活的分片策略,除此之外,还加入了大量实用的监控和管理功能,以及其开源社区活跃、文档齐全、代码优雅等优点,是分布式任务调度框架的推荐选择。

上一篇:互联网中接口安全解决方案
下一篇:分布式文件系统FastDFS详解与实践

开班信息