מזל"ט אוטונומי עם מצלמה אינפרא אדום לסיוע למגיבים ראשונים: 7 שלבים

2024 מְחַבֵּר: John Day | [email protected]. שונה לאחרונה: 2024-01-30 09:14

על פי דו"ח של ארגון הבריאות העולמי, כל שנה אסונות טבע הורגים כ -90, 000 אנשים ומשפיעים על קרוב ל -160 מיליון אנשים ברחבי העולם. אסונות טבע כוללים רעידות אדמה, צונאמי, התפרצויות געשיות, מפולות, הוריקנים, שיטפונות, שריפות, גלי חום ובצורת. הזמן הוא מהותי שכן הסיכוי להישרדות מתחיל לרדת עם כל דקה שעוברת. המגיבים הראשונים יכולים להתקשות לאתר ניצולים בבתים שנפגעו ולסכן את חייהם בזמן שהם מחפשים אותם. מערכת שמסוגלת לאתר אנשים מרחוק תגדיל מאוד את המהירות שבה יוכלו המגיבים הראשונים לפנות אותם מבניינים. לאחר שחקרתי מערכות אחרות, גיליתי שחלק מהחברות יצרו רובוטים מבוססי יבשה או יצרו מזל"טים שיכולים לעקוב אחר אנשים אך מתפקדים רק מחוץ לבניינים. השילוב של מצלמות עומק יחד עם מצלמות אינפרא אדום מיוחדות יכול לאפשר מעקב מדויק אחר האזור הפנימי וזיהוי שינויי טמפרטורה המייצגים אש, אנשים ובעלי חיים. על ידי יישום חיישנים עם אלגוריתם מותאם אישית על כלי טיס בלתי מאויש (UAV), ניתן יהיה לבדוק באופן אוטונומי בתים ולזהות את מיקומם של אנשים ובעלי חיים כדי להצילם במהירות האפשרית.

אנא הצביעו לי בתחרות האופטיקה!

שלב 1: דרישות עיצוב

לאחר שחקרתי את הטכנולוגיות הקיימות, דנתי בפתרונות אפשריים עם מומחי ראיית מכונה ומשיב ראשון לאיתור השיטה הטובה ביותר לאיתור ניצולים באזורים מסוכנים. המידע שלהלן מפרט את התכונות החשובות ביותר הנדרשות ואת רכיבי העיצוב של המערכת.

• עיבוד חזון - המערכת צריכה לספק מהירות עיבוד מהירה למידע המוחלף בין החיישנים לתגובת הבינה המלאכותית (AI). לדוגמה, המערכת צריכה להיות מסוגלת לזהות קירות ומכשולים כדי להימנע מהם תוך מציאת אנשים הנמצאים בסכנה.
• אוטונומית - המערכת צריכה להיות מסוגלת לתפקד ללא קלט של משתמש או מפעיל. צוות בעל ניסיון מינימלי בטכנולוגיית מל"טים אמור להיות מסוגל ללחוץ על כפתור אחד או כמה בכדי שהמערכת תתחיל לסרוק לבד.
• טווח - הטווח הוא המרחק בין המערכת וכל שאר האובייקטים בקרבת מקום. המערכת צריכה להיות מסוגלת לזהות מסדרונות וכניסות ממרחק של 5 מטרים משם. טווח המינימום האידיאלי הוא 0.25 מ 'כך שניתן לזהות אובייקטים קרובים. ככל שטווח הגילוי גדול יותר, כך זמן האיתור של הניצולים קצר יותר.
• דיוק ניווט וגילוי - המערכת צריכה להיות מסוגלת למצוא במדויק את כל הכניסות ולא לפגוע באף אובייקט תוך זיהוי הופעה פתאומית של אובייקטים. המערכת צריכה להיות מסוגלת למצוא את ההבדל בין אנשים לחפצים שאינם חיים באמצעות חיישנים שונים.
• משך הפעולה - המערכת אמורה להימשך 10 דקות או יותר תלוי בכמה חדרים היא צריכה לסרוק.
• מהירות - הוא אמור להיות מסוגל לסרוק את כל הבניין בפחות מעשר דקות.

שלב 2: בחירת ציוד: שיטת ניידות

הקווקדופטר נבחר על פני מכונית שלט רחוק מכיוון שלמרות שהקווקדופטר שביר, קל יותר לשלוט ולשנות גובה כדי להימנע ממכשולים. הקווקדופטר יכול להכיל את כל החיישנים ולייצב אותם כך שהם יהיו מדויקים יותר תוך כדי תנועה לחדרים שונים. המדחפים עשויים מסיבי פחמן העמידים בחום. החיישנים מתרחקים מהקירות כדי למנוע תאונות.

• רכב קרקע בשלט רחוק

  • יתרונות - יכול לנוע במהירות מבלי ליפול ואינו מושפע מהטמפרטורה
  • חסרונות - הרכב יניח את החיישנים נמוכים לקרקע המכסים פחות שטח בכל פעם ויכולים להיחסם על ידי מכשולים

• Quadcopter

  • יתרונות - מרים חיישנים לאוויר כדי לקבל תצוגה 360 של הסביבה
  • חסרונות - אם הוא נתקל בקיר, הוא יכול ליפול ולא להתאושש

שלב 3: בחירת ציוד: בקרי מיקרו

שתי הדרישות העיקריות עבור בקרי המיקרו הן גודל קטן להפחתת העומס על הארבע והמהירות לעיבוד קלט המידע במהירות. השילוב של Rock64 ו- DJI Naza הוא השילוב המושלם של מיקרו -בקרים מכיוון של- Rock64 יש כוח עיבוד מספיק כדי לזהות אנשים במהירות ולמנוע מהקוואקדופטר להיתקל בקירות ומכשולים. ה- DJI Naza מחמיא לו היטב על ידי ביצוע כל הייצוב והבקרה המוטורית ש- Rock64 לא יכול לעשות. בקרי המיקרו מתקשרים דרך יציאה טורית ומאפשרים שליטת משתמשים במידת הצורך. ה- Raspberry Pi היה אלטרנטיבה טובה אך מכיוון של- Rock64 היה מעבד טוב יותר וקישוריות טובה יותר לחיישנים המופיעים בטבלה הבאה, ה- Pi לא נבחר. אינטל אדיסון ופיקשהוק לא נבחרו בגלל חוסר התמיכה והקישוריות.

• פאי פטל

  • יתרונות - יכול לזהות קירות וחפצים קבועים
  • חסרונות - נאבק לשמור על קשר עם הנתונים מכל החיישנים ולכן לא יכול לראות כניסות מספיק מהר. לא יכול להוציא אותות מוטוריים ואין לו חיישנים מייצבים עבור הארבע

• Rock64

  • יתרונות - מסוגל לזהות קירות וכניסות עם מעט חביון.
  • חסרונות - גם מסוגל להנחות את המערכת ברחבי הבית מבלי להיתקל בשום דבר באמצעות כל החיישנים. לא מצליח לשלוח אותות מספיק מהר לשליטה על מהירות המנוע ואין לו חיישנים מייצבים לקווקדופטר

• אינטל אדיסון

  • יתרונות - מסוגל לזהות קירות וכניסות עם קצת פיגור
  • חסרונות - טכנולוגיה ישנה יותר, רבים מהחיישנים יזדקקו לספריות חדשות שלוקח זמן רב ליצור
• DJI Naza
  • יתרונות - בעל ג'ירוסקופ, מד תאוצה ומגנומטר משולב, כדי לאפשר לקווקדופטר להיות יציב באוויר עם מיקרו התאמות למהירות המנוע
  • חסרונות - לא ניתן לבצע כל סוג של עיבוד ראייה

• פיקשוק

  • יתרונות - קומפקטי ותואם לחיישנים המשמשים בפרויקט באמצעות פלט קלט למטרה כללית (GPIO)
  • חסרונות - לא ניתן לבצע כל סוג של עיבוד ראייה

שלב 4: בחירת ציוד: חיישנים

שילוב של מספר חיישנים משמש על מנת להשיג את כל המידע הנדרש לאיתור אנשים באזורים מסוכנים. שני החיישנים העיקריים שנבחרו כוללים את מצלמת האינפרא אדום הסטריאו לצד ה- SOUND Navigation And Ranging (SONAR). לאחר כמה בדיקות, החלטתי להשתמש במצלמת Realsense D435 מכיוון שהיא קטנה ומסוגלת לעקוב אחר מרחקים עד 20 מטרים משם. הוא פועל במהירות של 90 פריימים לשנייה, מה שמאפשר לבצע מדידות רבות לפני קבלת החלטה היכן נמצאים אובייקטים ולאיזה כיוון לכוון את הקווקדופטר. חיישני SONAR ממוקמים בחלקו העליון והתחתון של המערכת על מנת לאפשר לקווקדופטר לדעת עד כמה גבוה או נמוך מותר לנסוע לפני יצירת מגע עם משטח. יש גם אחד שמוצב כלפי מטה כדי לאפשר למערכת לזהות אובייקטים כמו זכוכית שחיישן המצלמה האינפרא אדום הסטריאו אינו יכול לזהות. אנשים ובעלי חיים מזוהים באמצעות אלגוריתמים לזיהוי תנועה וחפצים. מצלמת FLIR תוטמע כדי לסייע למצלמת האינפרא אדום הסטריאו לעקוב אחר מה חי ומה אסור להגביר את יעילות הסריקה בתנאים קשים.

• Kinect V1

  • יתרונות - יכול לעקוב אחר אובייקטים תלת -ממדיים בקלות עד 6 מטרים משם
  • חסרונות -יש רק חיישן אינפרא אדום אחד והוא כבד מדי עבור מרובע

• Realsense D435

  • יתרונות - בעל 2 מצלמות אינפרא אדום ומצלמת אדום, ירוק, כחול, עומק (RGB -D) לאיתור אובייקטים תלת מימדיים דיוק גבוה עד 25 מטרים משם. רוחבו 6 ס"מ המאפשר התאמה קלה במרביע
  • חסרונות - יכול להתחמם וייתכן שיהיה צורך במאוורר קירור

• לידר

  • יתרונות - קרן שיכולה לעקוב אחר מיקומים עד 40 מטרים משם בטווח הראייה שלה
  • חסרונות - חום בסביבה יכול להשפיע על דיוק המדידה

• סוֹנָר

  • יתרונות - קרן שיכולה לעקוב אחר 15 מ 'משם אך מסוגלת לזהות אובייקטים שקופים כמו זכוכית ואקריליק
  • חסרונות - נקודות בלבד בקו ראייה אחד אך ניתן להעביר על ידי הקווקדופטר לאזור הסריקה

• אולטרסאונד

  • יתרונות - בעל טווח של עד 3 מ 'וזול מאוד
  • חסרונות - נקודות בלבד בקו ראייה אחד ויכולות להיות מחוץ לטווח החישה למרחקים בקלות רבה

• מצלמת FLIR

  • יתרונות - מסוגל לצלם תמונות עומק באמצעות עשן ללא הפרעות ויכול לזהות אנשים חיים באמצעות חתימות חום
  • חסרונות - אם משהו מפריע לחיישנים, ניתן לחשב את חישובי המרחק בצורה לא נכונה

• חיישן PIR

  • יתרונות - מסוגל לזהות שינוי בטמפרטורה
  • חסרונות - לא ניתן להצביע היכן נמצא הפרש הטמפרטורות

שלב 5: בחירת ציוד: תוכנה

השתמשתי ב- Realsense SDK לצד מערכת ההפעלה הרובוטית (ROS) כדי ליצור אינטגרציה חלקה בין כל החיישנים עם המיקרו -בקר. ה- SDK סיפק זרם קבוע של נתוני ענן הנקודות שהיה אידיאלי למעקב אחר כל האובייקטים וגבולות הקווקדופטר. ROS עזר לי לשלוח את כל נתוני החיישנים לתוכנית שיצרתי המיישמת בינה מלאכותית. ה- AI מורכב מאלגוריתמים לזיהוי אובייקטים ואלגוריתמים לזיהוי תנועה המאפשרים לקווקדופטר למצוא תנועה בסביבתו. הבקר משתמש באפנון רוחב הדופק (PWM) כדי לשלוט במיקום הקווקדופטר.

• Freenect

  • יתרונות - בעל רמת גישה נמוכה יותר לשליטה על הכל
  • חסרונות - תומך רק ב- Kinect V1

• SDK של Realsense

  • יתרונות - יכול ליצור בקלות את נתוני ענן הנקודות מזרם המידע ממצלמת Realsense
  • חסרונות - תומך רק במצלמת Realsense D435

• דרייבר לינוקס FLIR

  • יתרונות - יכול לאחזר זרם נתונים ממצלמת FLIR
  • חסרונות - התיעוד מוגבל מאוד

• מערכת הפעלה רובוטית (ROS)

  • יתרונות - מערכת הפעלה אידיאלית לתכנות פונקציות מצלמה
  • חסרונות - צריך להתקין על כרטיס SD מהיר לאיסוף נתונים יעיל

שלב 6: פיתוח מערכת

"עיני" המכשיר הוא חיישן האינפרא אדום הסטריאו Realsense D435 שהוא חיישן מדף המשמש בעיקר ליישומים רובוטיים כגון מיפוי תלת מימד (איור 1). כאשר חיישן זה מותקן על הארבע, מצלמת האינפרא אדום יכולה להנחות ולאפשר לריבוע להתנועע באופן אוטונומי. הנתונים שנוצרים על ידי המצלמה נקראים ענן נקודות המורכב מסדרת נקודות בחלל שיש בהן מידע על מיקומו של אובייקט מסוים בחזון המצלמה. ניתן להמיר ענן נקודה זה למפת עומק המציגה צבעים כעומקים שונים (איור 2). האדום רחוק יותר, בעוד הכחול הוא מטרים קרובים יותר.

כדי להבטיח שמערכת זו חלקה, נעשה שימוש במערכת הפעלה בעלת קוד פתוח בשם ROS, המשמשת בדרך כלל ברובוטים. הוא מאפשר לבצע בקרת מכשירים ברמה נמוכה, ולגשת לכל החיישנים ולאסוף נתונים לשימוש תוכניות אחרות. ROS תתקשר עם ה- SDK Realsense המאפשר הפעלה וכיבוי של מצלמות שונות כדי לעקוב אחר כמה רחוקים עצמים מהמערכת. הקישור בין שניהם מאפשר לי לגשת לזרם הנתונים מהמצלמה שיוצרת ענן נקודתי. מידע ענן הנקודות יכול לקבוע היכן הגבולות והאובייקטים נמצאים בתוך 30 מטרים ודיוק של 2 ס מ. החיישנים האחרים כגון חיישני SONAR והחיישנים המשובצים בבקר DJI Naza מאפשרים מיקום מדויק יותר של הארבע. התוכנה שלי משתמשת באלגוריתמים AI כדי לגשת לענן הנקודות ובאמצעות לוקליזציה, ליצור מפה של כל החלל המקיף את המכשיר. ברגע שהמערכת תושק ותתחיל לסרוק, היא תיסע במסדרונות ותמצא כניסות לחדרים אחרים שבהם תוכל לבצע סריקה של החדר ומחפש אנשים במיוחד. המערכת חוזרת על תהליך זה עד לסריקת כל החדרים. נכון לעכשיו, הקווקדופטר יכול לעוף בערך 10 דקות וזה מספיק כדי לבצע טאטא מלא אך ניתן לשפר אותו עם סידורי סוללה שונים. המגיבים הראשונים יקבלו התראות כאשר אנשים מזהים כך שיוכלו למקד את מאמציהם בבניינים נבחרים.

שלב 7: דיון ומסקנה

לאחר ניסויים רבים, יצרתי אב טיפוס שעונה על הדרישות המפורטות בטבלה 1. באמצעות מצלמת האינפרא אדום הסטריאו Realsense D435 עם ה- SDK Realsense, נוצרה מפת עומק ברזולוציה גבוהה של החלק הקדמי של הארבע. בהתחלה היו לי כמה בעיות בכך שהמצלמה האינפרא אדומה לא הצליחה לזהות אובייקטים מסוימים כמו זכוכית. על ידי הוספת חיישן SONAR הצלחתי להתגבר על בעיה זו. השילוב של Rock64 ו- DJI Naza היה מוצלח מכיוון שהמערכת הצליחה לייצב את הקווקדופטר תוך יכולת לזהות אובייקטים וקירות באמצעות אלגוריתמים של ראיית מחשב שנוצרה בהתאמה אישית באמצעות OpenCV. למרות שהמערכת הנוכחית פועלת וממלאת את הדרישות, היא עשויה להרוויח מכמה אבות טיפוס עתידיים.

ניתן לשפר את המערכת באמצעות מצלמות באיכות גבוהה יותר כדי לאתר אנשים בצורה מדויקת יותר. לחלק ממצלמות ה- FLIR היקרות יותר יש יכולת לזהות חתימות חום שיכולות לאפשר זיהוי מדויק יותר. המערכת יכולה גם להיות מסוגלת לתפקד בסביבות שונות כגון חדרים מאובקים ומלאים בעשן. בעזרת טכנולוגיה חדשה ואבטחת אש, ניתן לשלוח מערכת זו בבתים בוערים ולזהות במהירות היכן נמצאים האנשים, כך שהמגיבים הראשונים יוכלו להוציא את הניצולים מסכנה.

תודה שקראתם! אל תשכח להצביע לי בתחרות האופטיקה!