הגדרת קפקא: 4 שלבים

2024 מְחַבֵּר: John Day | [email protected]. שונה לאחרונה: 2024-01-30 09:14

מבוא:

אפאצ'י קפקא היא מערכת העברת הודעות בקנה מידה בעל יכולת הרחבה ותפוקה גבוהה שפותחה על ידי קרן Apache Software שנכתבה ב- Scala. אפאצ'י קפקא תוכנן במיוחד כדי לאפשר לאשכול יחיד לשמש עמוד השדרה המרכזי של נתונים עבור סביבה גדולה. יש לו תפוקה גבוהה בהרבה בהשוואה למערכות ברוקרי הודעות אחרות כמו ActiveMQ ו- RabbitMQ. הוא מסוגל לטפל בכמויות גדולות של נתונים בזמן אמת ביעילות. אתה יכול לפרוס את קפקא בשרת אפאצ'י יחיד או בסביבה מקובצת מקובצת.

מאפיינים:

המאפיינים הכלליים של קפקא הם כדלקמן:

הודעה עקבית בדיסק המספקת ביצועי זמן קבועים.

תפוקה גבוהה עם מבני דיסק התומכים במאות אלפי הודעות בשנייה.

מערכת מבוזרת משתנה בקלות ללא השבתה.

תומך במספר רב מנויים ומאזן באופן אוטומטי את הצרכנים בעת כישלון.

הדרכה זו מראה כיצד להתקין ולהגדיר את Apache Kafka בשרת אובונטו 16.04.

דרישות

שרת אובונטו 16.04.

חשבון משתמש שאינו שורש עם הרשאת משתמש-על מוגדר בשרת שלך.

שלב 1: תחילת העבודה והתקנת Java

1) נתחיל לוודא ששרת אובונטו 16.04 שלך מעודכן במלואו

אתה יכול לעדכן את השרת שלך על ידי הפעלת הפקודות הבאות:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) התקנת Java

בדוק אם במחשב שלך יש Java שכבר מותקן או שיש לו גירסת ברירת מחדל של java על ידי הפקודה הבאה:-

java -version

גם אם יש לך ג'אווה אך גרסה נמוכה יותר, יהיה עליך לשדרג אותה.

אתה יכול להתקין את Java על ידי:-

sudo apt-get install ברירת מחדל-jdk

אוֹ

אתה יכול להתקין את Oracle JDK 8 באמצעות מאגר ה- PPA של צוות Webupd8.

כדי להוסיף את המאגר, הפעל את הפקודה הבאה:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

שלב 2: התקן את Zookeeper

מהו גן חיות?

Zookeeper הוא שירות מרכזי לשמירה על פרטי תצורה, מתן שמות, מתן סנכרון מבוזר ומתן שירותים קבוצתיים. כל סוגי השירותים האלה משמשים בצורה כזו או אחרת ביישומים מבוזרים. בכל פעם שהם מיושמים יש הרבה עבודה בתיקון הבאגים ותנאי הגזע שהם בלתי נמנעים. בגלל הקושי ביישום שירותים מסוג זה, יישומים בתחילה בדרך כלל מתקמצנים עליהם, מה שהופך אותם לשבירים בנוכחות שינוי וקשים לניהול. גם כאשר הם מבוצעים בצורה נכונה, יישומים שונים של שירותים אלה מובילים למורכבות הניהול בעת פריסת היישומים.

לפני התקנת Apache Kafka, יהיה עליך שומר גן זמין ופועל. ZooKeeper הוא שירות קוד פתוח לשמירה על פרטי תצורה, מתן סנכרון מבוזר, מתן שמות ומתן שירותים קבוצתיים.

1) כברירת מחדל חבילת Zookeeper זמינה במאגר ברירת המחדל של אובונטו

אתה יכול להתקין אותו על ידי הפעלת הפקודה הבאה:-

sudo apt-get להתקין zookeeperd

לאחר סיום ההתקנה, היא תתחיל כדמון באופן אוטומטי. כברירת מחדל Zookeeper יפעל ביציאה 2181.

אתה יכול לבדוק את זה על ידי הפעלת הפקודה הבאה:

netstat -ant | grep: 2181

ההוצאה החוצה אמורה להראות לך כי מקשיבים ליציאה 2181.

שלב 3: התקן והפעל את שרת קפקא

כעת לאחר התקנת Java ו- ZooKeeper, הגיע הזמן להוריד ולחלץ את קפקא מאתר Apache.

1) אתה יכול להשתמש בתלתלים או wget להורדת Kafka: (גרסת Kafka 0.10.1.1)

הפעל את הפקודה הבאה כדי להוריד את הגדרת kafka:-

curl -O

אוֹ

wget

2) צור ספרייה עבור קפקא

לאחר מכן, צור ספרייה להתקנת קפקא:

sudo mkdir /opt /kafka

cd /opt /kafka

3) פתח את התיקייה שהורדת

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*שנה את שם המשתמש לפי שם המשתמש שלך

4) הפעל את שרת הקפקא

השלב הבא הוא הפעלת שרת קפקא, תוכל להפעיל אותו על ידי הפעלת סקריפט kafka-server-start.sh הממוקם בספריית /opt/kafka/kafka_2.11-0.10.1.1/bin/ באמצעות הפקודה הבאה:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) בדוק אם שרת קפקא פועל היטב

כעת יש לך שרת קפקא הפועל ומאזין ביציאה 9092.

כעת, אנו יכולים לבדוק יציאות האזנה:

- ZooKeeper: 2181

- קפקא: 9092

netstat -ant | grep -E ': 2181 |: 9092'

שלב 4: בדוק את שרת הקפקא שלך

כעת, הגיע הזמן לוודא ששרת הקפקא פועל כראוי.

1) צור נושא חדש

כדי לבדוק את קפקא, צור נושא לדוגמא בשם "בדיקה" ב- Apache Kafka באמצעות הפקודה הבאה:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-צור-בדיקה בנושא-נושא המארח של zookeeper: 2181-מחיצות 1-גורם שכפול 1

2) בדוק אם הנושא שלך נוצר בהצלחה

כעת, בקש מ- Zookeeper לרשום נושאים זמינים ב- Apache Kafka על ידי הפעלת הפקודה הבאה:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) פרסם הודעה באמצעות הנושא שיצרת

הד "שלום עולם" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-רשימת מתווכים מקומית: 9092-בדיקות נושא

4) קבל את ההודעה בנושא שנוצר

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092-בדיקות נושא –התחלה

5) כדי לשלוח קובץ באמצעות kafka על נושא

kafka-console-producer.sh-רשימת מתווכים מקומית: 9092-בדיקות נושא