cnblog
疯子7314
随笔 - 177 文章 - 1 评论 - 9 阅读 - 14万
kafka集群缩容
#获取kafka主题列表
/data01/server/kafka/bin/kafka-topics.sh --zookeeper offline-op-kafka-ali-01:2181 --list > topics.txt
#通过py脚本格式化一下主题列表,生成topics.json
import json
obj = {}
obj["version"] = 1
obj["topics"] = []
with open("topics.txt") as f:
for line in f.readlines():
topic = {"topic": line.strip()}
obj["topics"].append(topic)
with open("topics.json", "w") as f:
json.dump(obj, f, indent=2)
#获取当前 partition 分配方案
kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ksyun-01:2181 --topics-to-move-json-file topics.json --broker-list "1,2,3" --generate > current.json
/data01/server/kafka/bin/kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ali-01:2181 --topics-to-move-json-file topics.json --broker-list "1,2,3" --generate > current.json
#执行
kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ksyun-01:2181 --reassignment-json-file current.json --execute
kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ali-01:2181 --reassignment-json-file current.json --execute
#验证,为空代表迁移完成!
./kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ksyun-01:2181 --reassignment-json-file current.json --verify | grep -v successsfully
kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ali-01:2181 --reassignment-json-file current.json --verify | grep -v successsfully
#查看isr
./kafka-topics.sh --describe --zookeeper offline-op-kafka-ksyun-01:2181 --topic server-practice-laravel-php-log
#有哪些用户组来消费
./kafka-consumer-groups.sh --bootstrap-server offline-op-kafka-ksyun-01:9092 --list
#查看用户组消费情况
./kafka-consumer-groups.sh --bootstrap-server offline-op-kafka-ksyun-01:9092 --describe --group opentsdb-logstash

分类: 集群高可用
好文要顶 关注我 收藏该文 微信分享

力王7314
粉丝 - 106 关注 - 0
+加关注
0
0
« 上一篇: 安装php7.2
» 下一篇: filebeat->kafka->logstash->es->kibana
posted @ 2022-12-19 14:17 力王7314 阅读(285) 评论(0) 收藏 举报
刷新页面返回顶部
登录后才能查看或发表评论,立即 登录 或者 逛逛 博客园首页
【推荐】100%开源!大型工业跨平台软件C++源码提供,建模,组态!
【推荐】园子的不务正业:向创业开发者推荐「楼盘」- 杭州云谷中心
【推荐】2025 HarmonyOS 鸿蒙创新赛正式启动,百万大奖等你挑战
· kafka集群搭建和操作
· filebeat->kafka->logstash->es->kibana
· kafka 运维
· Kafka学习(八) 基本客户端命令操作
· KAFKA常用命令
阅读排行:
· 职场焦虑,你的副业卡在了哪里?
· 关于.net9发布单体exe程序无法打开问题详解
· 【独游开发必备】游戏开发资源宝藏网站(美术篇)
· 当自己真的发布一款产品
· 面试官:如何提升项目并发性能?
公告
昵称: 力王7314
园龄: 7年2个月
粉丝: 106
关注: 0
+加关注
| < | 2025年9月 | > |
|---|---|---|
| 日 | 一 | 二 |
| 31 | 1 | 2 |
| 7 | 8 | 9 |
| 14 | 15 | 16 |
| 21 | 22 | 23 |
| 28 | 29 | 30 |
| 5 | 6 | 7 |
搜索
常用链接
随笔分类
随笔档案
- 2025年7月(1)
- 2025年3月(1)
- 2025年2月(1)
- 2024年11月(1)
- 2024年7月(2)
- 2024年4月(2)
- 2024年3月(1)
- 2024年2月(1)
- 2023年12月(3)
- 2023年11月(1)
- 2023年10月(1)
- 2023年8月(1)
- 2023年7月(1)
- 2023年6月(1)
- 2023年5月(2)
- 2023年4月(2)
- 2023年3月(2)
- 2023年2月(2)
- 2023年1月(1)
- 2022年12月(1)
- 2022年11月(4)
- 2022年9月(3)
- 2022年8月(2)
- 2022年6月(2)
- 2022年4月(4)
- 2022年3月(1)
- 2022年2月(3)
- 2022年1月(4)
- 2021年12月(3)
- 2021年11月(5)
- 2021年10月(8)
- 2021年6月(1)
- 2021年5月(3)
- 2021年2月(2)
- 2021年1月(2)
- 2020年12月(2)
- 2020年11月(3)
- 2020年10月(1)
- 2020年9月(4)
- 2020年8月(4)
- 2020年4月(7)
- 2020年3月(3)
- 2020年2月(2)
- 2019年12月(2)
- 2019年11月(14)
- 2019年9月(7)
- 2019年8月(1)
- 2019年6月(5)
- 2019年5月(2)
- 2019年4月(3)
- 2019年3月(4)
- 2019年2月(8)
- 2019年1月(3)
- 2018年12月(1)
- 2018年11月(11)
- 2018年9月(6)
- 2018年8月(4)
- 2018年7月(5)
- 更多
阅读排行榜
- 1. 国内安装minikube(10237)
- 2. filebeat对接kafka(8503)
- 3. flask+layui编写后端管理系统(4351)
- 4. python之基础1(4315)
- 5. helm3使用方法(3984)
评论排行榜
- 1. k8s集群监控并实现HPA自动扩缩容(3)
- 2. Ajax登录用户名密码(2)
- 3. k8s证书永不过期(1)
- 4. k8s Ingress和ingress控制器(1)
- 5. docker部署zabbix(1)
推荐排行榜
最新评论
- 1. Re:k8s证书永不过期
- 如果设置其他超时时间就改成其他参数就可以吧
- --大象596
- 2. Re:docker部署zabbix
- 按照你的文档跑了 没办法跑起来 web界面都进不去 mariadb用你这个 zabbix-server起不来 换mysql 起来了 但是web进不去
- --1237411
- 3. Re:Ajax登录用户名密码
- @一条咸鱼罢了 可以在前端input里设置,也可以在后台判断字符长度设置...
- --力王7314
- 4. Re:Ajax登录用户名密码
- 请问下,您知道怎么设置用户名的长度限制吗,比如3-7个字符
- --一条咸鱼罢了
- 5. Re:k8s集群监控并实现HPA自动扩缩容
- @达达的派 你是哪位?...
- --力王7314
博客园 © 2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3
点击右上角即可分享

❤python
许可协议:
CC BY 4.0
