Consumer liveness检测机制;Consumer livelock介绍和规避策略
简述Kafka在时间戳上的改进历程;实现基于时间戳操作Offset
解决向MySQL中插入Json字符串无法正确解析的问题
通过自定义的操作Offset、监控Rebalance行为,进一步加深对Kafka Consumer的理解和使用
常用的命令汇总
归纳总结Group Cooridinator的基本作用,Partition的分配策略和分配机制;了解Rebalance的触发机制和主动监控;
基于文件伪删除的问题,进一步学习和了解Linux相关的命令和文件系统
主要包含Python、Pandas的使用、代码风格、编码技巧和问题总结
基于分区和副本集的相关知识,初步了解Kafka的数据存储、同步原理
通过scrapy-redis + HDFS 实现网易云音乐的用户、评论数据的爬取和持久化。源代码详见Github