批量处理数据小技巧——数据库持久化

今天要分享的小技巧简单来说就是,把要处理的事情用数据库持久化。
好处有:

  • 方便查看当前的处理进程
  • 将目标任务拆分到一个个子任务,执行一个个子任务。实现了将任务分解,降低了复杂度。
  • 有状态地处理,方便进行状态恢复、多进程处理
  • 状态回滚

比如,你接到了一个批量处理多个帐号相关的数据任务,你就可以:

  1. 将帐号相关的数据通通查到,并插入到一张任务表中去。
  2. 编写程序,仅仅用来执行每个简单的小任务。可以用行锁,将标记当前正在被处理的任务。
2017-03-14 10:24 56
Comments
Write a Comment