在ETL过程中，如何获取增量数据是完成ETL过程的主要解决问题，前面文章ETL增量数据的捕获中，使用日志对比的方法是一种比较好的获取增量数据流的方式，那篇文章里主要介绍了SQL Server的Change Data Capture这么个功能来完成增量数据的获取任务，这篇文章介绍一下对于MySQL来说，如何通过读取binlog来获取增量数据。
MySQL 的日志包括错误日志（ErrorLog），更新日志（Update Log），二进制日志（Binlog），查询日志（Query Log），慢查询日志（Slow Query Log）等。在默认情况下，系统仅仅打开错误日志，关闭了其他所有日志。
在日常的数据操作中，有种很常见的需求，就是要捕获上游数据源的变化，来对增量数据进行处理，如何捕捉变化的数据就变成了ETL过程的主要问题，一般对捕获过程有两个要求：1. 要按照一定的频率准确捕获到增量数据， 2. 不能对业务系统造成太大压力。
常见的捕获增量数据的方法有以下几种：
下面逐个分析一下
Flume是一个分布式的，可靠的，可用的，可以非常有效率的对大数据的日志数据进行收集、聚集、转移。
每一个flume进程都有一个agent层，agent层包含有source、channel、sink：
Kafka是一个分布式消息发布订阅系统，Kafka可以用于以下场景：
本地mac搭了个Hadoop3.0的伪分布式环境，HDFS运行正常、MapReduce单机模式也正常，JPS后台守护进程都正常。但是写了个MapReduce任务，想去跑一下，结果卡在了Map 100% Reduce 0%
去stackoverflow查了一圈，基本都在说运行环境没有分配足够的内存导致的，从container的syslog里面只有下面的ERROR：
1 | Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1 |