การตั้งค่า Kafka: 4 ขั้นตอน

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:05

บทนำ:

Apache Kafka เป็นระบบการส่งข้อความแบบโอเพ่นซอร์สที่ปรับขนาดได้และมีปริมาณงานสูงที่พัฒนาโดย Apache Software Foundation ซึ่งเขียนด้วยภาษา Scala Apache Kafka ได้รับการออกแบบมาเป็นพิเศษเพื่อให้คลัสเตอร์เดียวทำหน้าที่เป็นแกนหลักข้อมูลส่วนกลางสำหรับสภาพแวดล้อมขนาดใหญ่ มีปริมาณงานสูงกว่ามากเมื่อเทียบกับระบบโบรกเกอร์ข้อความอื่น ๆ เช่น ActiveMQ และ RabbitMQ สามารถจัดการข้อมูลตามเวลาจริงปริมาณมากได้อย่างมีประสิทธิภาพ คุณสามารถปรับใช้ Kafka บนเซิร์ฟเวอร์ Apache เดียวหรือในสภาพแวดล้อมแบบคลัสเตอร์แบบกระจาย

คุณสมบัติ:

คุณสมบัติทั่วไปของ Kafka มีดังนี้:

คงข้อความบนดิสก์ที่ให้ประสิทธิภาพของเวลาคงที่

ปริมาณงานสูงพร้อมโครงสร้างดิสก์ที่รองรับข้อความหลายแสนข้อความต่อวินาที

ระบบแบบกระจายสามารถปรับขนาดได้อย่างง่ายดายโดยไม่มีการหยุดทำงาน

รองรับสมาชิกหลายรายและสร้างสมดุลระหว่างผู้บริโภคโดยอัตโนมัติเมื่อเกิดความล้มเหลว

บทช่วยสอนนี้แสดงวิธีการติดตั้งและกำหนดค่า Apache Kafka บนเซิร์ฟเวอร์ Ubuntu 16.04

ความต้องการ

เซิร์ฟเวอร์ Ubuntu 16.04

บัญชีผู้ใช้ที่ไม่ใช่รูทที่ตั้งค่าสิทธิ์ผู้ใช้ขั้นสูงบนเซิร์ฟเวอร์ของคุณ

ขั้นตอนที่ 1: เริ่มต้นและติดตั้ง Java

1) มาเริ่มทำให้แน่ใจว่าเซิร์ฟเวอร์ Ubuntu 16.04 ของคุณเป็นเวอร์ชั่นล่าสุด

คุณสามารถอัปเดตเซิร์ฟเวอร์ของคุณโดยใช้คำสั่งต่อไปนี้:-

sudo apt-get update -y

sudo apt-get อัปเกรด -y

2) การติดตั้ง Java

ตรวจสอบว่าเครื่องของคุณมีจาวาที่ติดตั้งไว้แล้วหรือมีจาวาเวอร์ชันดีฟอลต์โดยใช้คำสั่งต่อไปนี้:-

java -version

แม้ว่าคุณจะมี java แต่เวอร์ชันที่ต่ำกว่า คุณจะต้องอัปเกรด

คุณสามารถติดตั้ง Java โดย:-

sudo apt-get ติดตั้ง default-jdk

หรือ

คุณสามารถติดตั้ง Oracle JDK 8 โดยใช้ที่เก็บ PPA ของทีม Webupd8

ในการเพิ่มที่เก็บ ให้รันคำสั่งต่อไปนี้:-

sudo add-apt-repository -y ppa:webupd8team/java

sudo apt-get install oracle-java8-installer -y

ขั้นตอนที่ 2: ติดตั้ง Zookeeper

Zookeeper คืออะไร?

Zookeeper เป็นบริการแบบรวมศูนย์สำหรับการรักษาข้อมูลการกำหนดค่า การตั้งชื่อ การซิงโครไนซ์แบบกระจาย และการให้บริการแบบกลุ่ม บริการทุกประเภทเหล่านี้ใช้ในรูปแบบใดรูปแบบหนึ่งโดยแอปพลิเคชันแบบกระจาย ทุกครั้งที่มีการใช้งาน มีงานมากมายที่ต้องแก้ไขจุดบกพร่องและสภาพการแข่งขันที่หลีกเลี่ยงไม่ได้ เนื่องจากความยากในการใช้บริการประเภทนี้ แอปพลิเคชันในขั้นต้นมักจะมองข้าม ซึ่งทำให้เปราะบางเมื่อมีการเปลี่ยนแปลงและจัดการได้ยาก แม้เมื่อทำอย่างถูกต้อง การใช้งานบริการเหล่านี้ต่างกันจะนำไปสู่ความซับซ้อนในการจัดการเมื่อมีการปรับใช้แอปพลิเคชัน

ก่อนติดตั้ง Apache Kafka คุณจะต้องมีผู้ดูแลสัตว์พร้อมทำงาน ZooKeeper เป็นบริการโอเพ่นซอร์สสำหรับรักษาข้อมูลการกำหนดค่า ให้การซิงโครไนซ์แบบกระจาย การตั้งชื่อ และการให้บริการกลุ่ม

1)โดยค่าเริ่มต้น แพ็คเกจ Zookeeper มีอยู่ในที่เก็บเริ่มต้นของ Ubuntu

คุณสามารถติดตั้งได้โดยใช้คำสั่งต่อไปนี้:-

sudo apt-get ติดตั้ง zookeeperd

เมื่อการติดตั้งเสร็จสิ้น มันจะเริ่มต้นเป็น daemon โดยอัตโนมัติ โดยค่าเริ่มต้น Zookeeper จะทำงานบนพอร์ต 2181

คุณสามารถทดสอบได้โดยใช้คำสั่งต่อไปนี้:

netstat -ant | grep:2181

เอาต์พุตควรแสดงให้คุณเห็นว่ากำลังฟังพอร์ต 2181

ขั้นตอนที่ 3: ติดตั้งและเริ่ม Kafka Server

เมื่อติดตั้ง Java และ ZooKeeper แล้ว ก็ถึงเวลาดาวน์โหลดและแยก Kafka จากเว็บไซต์ Apache

1) คุณสามารถใช้ curl หรือ wget เพื่อดาวน์โหลด Kafka:(Kafka เวอร์ชัน 0.10.1.1)

เรียกใช้คำสั่งต่อไปนี้เพื่อดาวน์โหลดการตั้งค่า kafka:-

curl -O

หรือ

wget

2) สร้างไดเร็กทอรีสำหรับ Kafka

ถัดไป สร้างไดเร็กทอรีสำหรับการติดตั้ง Kafka:

sudo mkdir /opt/kafka

cd /opt/kafka

3)คลายซิปโฟลเดอร์ที่ดาวน์โหลด

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C /opt/kafka/

*เปลี่ยนชื่อผู้ใช้งานตามชื่อผู้ใช้ของคุณ

4) เริ่มเซิร์ฟเวอร์ kafka

ขั้นตอนต่อไปคือการเริ่มเซิร์ฟเวอร์ Kafka คุณสามารถเริ่มต้นได้โดยเรียกใช้สคริปต์ kafka-server-start.sh ซึ่งอยู่ที่ไดเร็กทอรี /opt/kafka/kafka_2.11-0.10.1.1/bin/ โดยใช้คำสั่งต่อไปนี้:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) ตรวจสอบว่า Kafka Server ทำงานได้ดีหรือไม่

ตอนนี้คุณมีเซิร์ฟเวอร์ Kafka ที่ทำงานและฟังบนพอร์ต 9092

ตอนนี้ เราสามารถตรวจสอบพอร์ตการฟัง:

- ZooKeeper: 2181

- คาฟคา: 9092

netstat -ant | grep -E ':2181|:9092'

ขั้นตอนที่ 4: ทดสอบเซิร์ฟเวอร์ Kafka ของคุณ

ถึงเวลาตรวจสอบว่าเซิร์ฟเวอร์ Kafka ทำงานอย่างถูกต้อง

1)ตั้งกระทู้ใหม่

ในการทดสอบ Kafka ให้สร้างหัวข้อตัวอย่างด้วยชื่อ "testing" ใน Apache Kafka โดยใช้คำสั่งต่อไปนี้:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost:2181 --partitions 1 --replication-factor 1

2) ตรวจสอบว่าหัวข้อของคุณสร้างสำเร็จหรือไม่

ตอนนี้ขอให้ Zookeeper แสดงรายการหัวข้อที่พร้อมใช้งานบน Apache Kafka โดยเรียกใช้คำสั่งต่อไปนี้:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --ผู้ดูแลสวนสัตว์ localhost:2181

3) เผยแพร่ข้อความโดยใช้หัวข้อที่คุณสร้าง

echo "สวัสดีชาวโลก" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost:9092 -- การทดสอบหัวข้อ

4) รับข้อความในหัวข้อที่สร้าง

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 -- การทดสอบหัวข้อ – ตั้งแต่เริ่มต้น

5) การส่งไฟล์โดยใช้ kafka เหนือหัวข้อ

kafka-console-producer.sh --broker-list localhost:9092 –topic testing