kafka环境搭建
· 2 min read
kafka环境搭建
再深入了解kafka之前,已经翻阅了公司的kafka权威指南一书,但是毕竟书上的理论知识与真实环境还是有一些差距,这时候联想到之前一部电视剧哈,七国争霸 赵国的某位将领,这里就不深入diss了 大家都懂的。话不多说进入正题,1.下载安装包
首先选择的是kafka 0.10 版本至于各个版本的升级优化,大家可自行百度,据说是对安全方面以及增加了自动 机架感知。下载地址:https://archive.apache.org/dist/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz 然后将安装包部署到一台节点配置,其余节点通过scp 的方式分发配置。2.环境配置
解压安装包,配置server.properties 主要就是host.name brokerid zookeeper连接 num.partitions 默认分区数量一些配置。这里提醒大家 注意brokerid一定要不同, 因为brokerid对应是这个机器在kafka集群的唯一id标识。3.kafka-manager的安装
这是一款开源的kafka web管理工具 方便查看kafka集群状态。这里下载kafka-manager安装包 解压到目录 配置application.conf 配置zk的连接地址 启动命令 /export/service/kafka-manager-1.3.3.16为安装目录 /export/service/kafka-manager-1.3.3.16/bin/kafka-manager -Dconfig.file=/export/service/kafka-manager-1.3.3.16/conf/application.conf -Dhttp.port=7080 -java-home /opt/jdk1.8.0_161 &这里建议大家将所有启动命令写成shell 方便管理。
第一次进入kafka管理页面需要配置kafka cluster的相关信息 配置完毕后界面如图 这里环境搭建到此完毕 后续学习相关会继续补充更新。