הדמיה של נתונים מ- Magicbit ב- AWS: 5 שלבים

2024 מְחַבֵּר: John Day | [email protected]. שונה לאחרונה: 2024-01-30 09:11

נתונים שנאספו מחיישנים המחוברים ל- Magicbit יפורסמו לליבת AWS IOT באמצעות MQTT ויוצגו באופן גרפי בזמן אמת. אנו משתמשים ב- magicbit כלוח הפיתוח בפרויקט זה המבוסס על ESP32. לכן ניתן להשתמש בכל לוח פיתוח ESP32 בפרויקט זה.

אספקה:

מג'יקביט

שלב 1: סיפור

פרויקט זה עוסק בחיבור מכשיר ה- Magicbit שלך לענן AWS באמצעות MQTT. נתונים הנשלחים באמצעות MQTT מנותחים ומודגשים בענן באמצעות שירותי AWS. אז בואו נתחיל

ראשית עליך ללכת למסוף AWS ולהיכנס. למטרות למידה תוכל להשתמש באפשרות הדרג החינמית המוצעת על ידי AWS. זה יספיק לפרויקט הזה.

כדי להפוך את זה יותר פשוט אני אחלק את הפרויקט לשני חלקים.

זה יהיה השלב הראשון של הפרויקט שלנו. בסוף השלב הראשון הנתונים יאוחסנו בדליים S3.

שירותי AWS שישמשו בחלק הראשון,

• צינור אש קינסיס
• דבק AWS
• AWS S3

נווט תחילה לשירות AWS Kinesis.

בחר Kinesis Data Firehose כפי שמוצג להלן ולחץ על צור

לאחר מכן תועבר לשלב 1 של יצירת שירות Firehose. הזן שם של זרם משלוח ובחר Direct Put או מקורות אחרים. הקש הבא.

בחלון שלב 2 השאר הכל כברירת מחדל ולחץ על הבא. לאחר יצירת שירות הדבקה של AWS נחזור לערוך את השלב הזה.

בשלב 3 בחר דלי S3 אם יצרת אותו בעבר. אחרת לחץ על צור וצור דלי. בקטע הקידומת S3 השתמש ב- dest/ ובקידומת שגיאה הזן שגיאה/. אתה יכול להזין כל שם לשניים לעיל. אך לשם הקלות נמשיך בשם נפוץ. הקפד ליצור תיקייה בשם dest בתוך הדלי שבחרת. הקש הבא.

בשלב 4 בחר את גודל המאגר המינימלי ואת מרווח החוצץ להעברת נתונים בזמן אמת. בקטע הרשאה בחר צור או עדכן תפקיד IAMKinesisFirehoseServiceRole. שמור על הכל כברירת מחדל. הקש הבא.

בחלק הבא תוצג סקירה של השינויים שביצעת. לחץ על אישור. אז תהיה לך ארנק קינסיס מתפקד.

אם יצרת בהצלחה את שירות Firehose תקבל משהו כזה.

שלב 2: בדיקת דלי האש ו- S3

כדי לבדוק שברז האש ודלי S3 פועלים כראוי, בחר ליבת IOT בקונסולה. תועבר לדף כזה. בחר כלל וצור כלל.

מהו חוק AWS IOT?

הוא משמש להעברת כל הנתונים המתקבלים מ- MQTT לשירות מסוים. בדוגמה זו נעביר ל- Kinesis Firehose.

בחר שם לכלל. השאר את הצהרת הכלל והשאילתה כפי שהיא. זה אומר לנו שכל מה שמתפרסם בנושא iot/topic יועבר ל- kinesis Firehose באמצעות כלל זה.

בקטע הגדר פעולה אחת או יותר לחץ על הוסף פעולה. בחר שלח הודעה ל- Amazon Kinesis Firehose Stream. בחר תצורה. לאחר מכן בחר את שם זרם האש שנוצר קודם לכן. לאחר מכן לחץ על צור תפקיד וצור תפקיד. כעת יצרת בהצלחה תפקיד ב- AWS.

כל הודעה שתפרסם תועבר דרך Kinesis Firehose לדליים S3.

זכור כי Firehose שולח נתונים כאשר המאגר שלו מלא או כאשר מגיעים למרווח החוצץ. מרווח החיץ המינימלי הוא 60 שניות.

כעת נוכל לעבור לחלק השני של הפרויקט. זו תהיה תרשים זרימת הנתונים שלנו.

שלב 3: הגדרת דבק AWS

למה אנחנו צריכים AWS דבק ו- AWS אתנה?

לא ניתן להשתמש בנתונים המאוחסנים בדליים S3 ישירות כקלט ל- AWS Quicksight. ראשית עלינו לסדר את הנתונים בצורה של טבלאות. לשם כך אנו משתמשים בשני השירותים לעיל.

עבור אל AWS דבק. בחר סורק בסרגל הכלים הצדדי. לאחר מכן בחר הוסף סורק.

בשלב הראשון הזן שם עבורך לסורק. הקש הבא. בשלב הבא השאר את זה כברירת מחדל. בשלב השלישי הזן את הנתיב לדלי S3 שבחרת. השאר את החלון הבא כברירת מחדל. בחלון החמישי הזן כל תפקיד IAM. בשלב הבא בחר את תדירות הפעלת השירות.

רצוי לבחור מותאם אישית בתיבה הנפתחת ולבחור זמן מינימלי.

בשלב הבא לחץ על הוסף מסד נתונים ולאחר מכן על הבא. לחץ על סיום.

כעת עלינו לשלב את Kinesis Firehose שלנו עם דבק AWS שיצרנו.

עבור אל AWS Kinesis firehose שיצרנו ולחץ על ערוך.

גלול מטה אל הקטע המר פורמט רשומות ובחר מופעל.

בחר בפורמט פלט כ- Apache Parket. לשאר הפרטים מלאו את פרטי מסד הנתונים של Glue שיצרתם. יש ליצור טבלה במסד הנתונים ולהוסיף את השם לקטע זה. לחץ על שמור.

שלב 4: הגדרת AWS אתנה

בחר את מסד הנתונים ואת טבלת הנתונים שיצרת. בחלק השאילתה יש להוסיף קוד זה.

יש להחליף את שם הטבלה בשם האמיתי של טבלת הדבק שיצרת.

לחץ על הפעל שאילתה. אם זה עובד, הנתונים המוצגים בדלי AWS S3 צריכים להיות מוצגים כטבלת נתונים.

כעת אנו מוכנים לדמיין את הנתונים שקיבלנו.

שלב 5: הגדרת QuickSight

נווט אל AWS Quicksight

לחץ על ניתוח חדש בפינה השמאלית העליונה ולאחר מכן לחץ על מערך נתונים חדש.

בחר אתנה מהרשימה. הזן כל שם מקור נתונים בכרטיס המוקפץ.

בחר את מסד הנתונים של הדבק מהתיבה הנפתחת ומהטבלה הרלוונטית. פעולה זו תנווט אותך לדף זה.

גרור ושחרר כל שדה מרשימת השדות ובחר כל סוג חזותי.

עכשיו אתה יכול לדמיין את כל הנתונים שנשלחים מה- MagicBit שלך באמצעות שירותי AWS !!!

זכור לאפשר גישה למראית עין לדליים S3 בהתאמה על מנת לדמיין את הנתונים בהם.