שימוש בסונאר, לידר וראיית מחשבים על בקרי מיקרו כדי לסייע ללקויי ראייה: 16 שלבים

2024 מְחַבֵּר: John Day | [email protected]. שונה לאחרונה: 2024-01-30 09:15

אני רוצה ליצור 'מקל' אינטליגנטי שיכול לעזור לאנשים עם ליקויי ראייה הרבה יותר מאשר פתרונות קיימים. המקל יוכל להודיע למשתמש על אובייקטים מלפנים או בצדדים על ידי רעש באוזניות מסוג צליל היקפי. למקל תהיה גם מצלמה קטנה ו- LIDAR (זיהוי אור וטווח אור) כך שיוכל לזהות אובייקטים ואנשים בחדר ולהודיע למשתמש באמצעות האוזניות. מטעמי בטיחות, האוזניות לא יחסמו את כל הרעש מכיוון שיהיה מיקרופון שיכול לסנן את כל הצלילים המיותרים ולשמור על קרני הרכב ואנשים מדברים. לבסוף המערכת תהיה בעלת GPS כך שתוכל לתת הוראות הגעה ולהראות למשתמש לאן לפנות.

אנא הצביעו לי בתחרויות המיקרו -בקר ובחוץ כושר!

שלב 1: סקירה כללית של הפרויקט

על פי גישה עולמית לעיוורים, תנועה פיזית היא אחד האתגרים הגדולים ביותר עבור אנשים עיוורים. נסיעה או פשוט הליכה ברחוב הומה אדם עשויה להיות קשה מאוד. באופן מסורתי הפתרון היחיד היה שימוש ב"מקל הלבן "הידוע, המשמש בעיקר לסריקת סביבה על ידי פגיעה במכשולים בקרבת המשתמש. פתרון טוב יותר יהיה מכשיר שיכול להחליף את העוזר הראייה על ידי מתן מידע על מיקום המכשולים כך שהעיוור יוכל לצאת בסביבות לא ידועות ולהרגיש בטוח. במהלך פרויקט זה פותח מכשיר קטן המופעל באמצעות סוללות העונה על הקריטריונים הללו. המכשיר יכול לזהות את גודל ומיקום האובייקט באמצעות חיישנים המודדים את מיקום האובייקטים ביחס למשתמש, להעביר מידע זה למיקרו -בקר ולאחר מכן להמיר אותו לאודיו כדי לספק מידע למשתמש. המכשיר נבנה באמצעות LIDAR מסחרי זמין (זיהוי אור ורינג '), SONAR (ניווט וקול), וטכנולוגיות ראיית מחשב המקושרות לבקרי מיקרו ומתוכנתות לספק את פלט המידע הקולי הנדרש באמצעות אוזניות או אוזניות. טכנולוגיית הזיהוי הוטמעה בתוך "קנה לבן" כדי לציין לאחרים את מצבו של המשתמש ולספק בטיחות נוספת.

שלב 2: מחקר רקע

בשנת 2017 דיווח ארגון הבריאות העולמי כי ישנם 285 מיליון לקויי ראייה ברחבי העולם מתוכם 39 מיליון עיוורים לחלוטין. רוב האנשים לא חושבים על הנושאים אליהם מתמודדים אנשים עם לקות ראייה מדי יום. על פי גישה עולמית לעיוורים, תנועה פיזית היא אחד האתגרים הגדולים ביותר עבור אנשים עיוורים. נסיעה או פשוט הליכה ברחוב הומה אדם עשויה להיות קשה מאוד. בגלל זה, אנשים רבים כבדי ראייה מעדיפים להביא חבר או בן משפחה לראייה כדי לסייע בניווט בסביבות חדשות. באופן מסורתי הפתרון היחיד היה שימוש ב"מקל הלבן "הידוע, המשמש בעיקר לסריקת סביבה על ידי פגיעה במכשולים בקרבת המשתמש. פתרון טוב יותר יהיה מכשיר שיכול להחליף את העוזר הראייה על ידי מתן מידע על מיקום המכשולים כך שהעיוור יוכל לצאת בסביבות לא ידועות ולהרגיש בטוח. NavCog, שיתוף פעולה בין IBM לאוניברסיטת קרנגי מלון, ניסו לפתור את הבעיה על ידי יצירת מערכת שמשתמשת במשואות בלוטות 'וסמארטפונים כדי לעזור להדריך. עם זאת, הפתרון היה מסורבל והוכח כיקר מאוד עבור יישומים בקנה מידה גדול. הפתרון שלי מטפל בכך על ידי ביטול כל צורך בהתקנים חיצוניים ועל ידי שימוש בקול להנחיית המשתמש לאורך כל היום (איור 3). היתרון בכך שהטכנולוגיה מוטמעת בתוך "קנה לבן" היא שהיא מסמנת את שאר העולם של מצבו של המשתמש מה שגורם לשינוי בהתנהגות האנשים הסובבים.

שלב 3: דרישות עיצוב

לאחר שחקרתי את הטכנולוגיות הקיימות, דנתי בפתרונות אפשריים עם אנשי ראייה על הגישה הטובה ביותר לסייע ללקויי ראייה לנווט בסביבתם. הטבלה שלהלן מפרטת את התכונות החשובות ביותר הנדרשות כדי שמישהו יעבור למכשיר שלי.

תכונה - תיאור:

• חישוב - המערכת צריכה לספק עיבוד מהיר למידע המוחלף בין המשתמש לחיישנים. לדוגמה, המערכת צריכה להיות מסוגלת ליידע את המשתמש על מכשולים מלפנים שנמצאים במרחק של 2 מ 'לפחות.
• כיסוי - המערכת צריכה לספק את שירותיה בפנים ובחוץ כדי לשפר את איכות חייהם של אנשים עם לקות ראייה.
• זמן - המערכת צריכה לפעול באותה מידה בשעות היום כמו בלילה.
• טווח - הטווח הוא המרחק בין המשתמש לאובייקט אותו המערכת תזהה. טווח המינימום האידיאלי הוא 0.5 מ ', ואילו הטווח המרבי צריך להיות יותר מ -5 מ'. מרחקים נוספים יהיו אפילו טובים יותר אך מאתגרים יותר לחישוב.
• סוג אובייקט - המערכת צריכה לזהות את המראה הפתאומי של אובייקטים. המערכת צריכה להיות מסוגלת להבחין בין אובייקטים נעים לאובייקטים סטטיים.

שלב 4: תכנון הנדסי ובחירת ציוד

לאחר שבדקתי רכיבים רבים ושונים, החלטתי על חלקים שנבחרו מהקטגוריות השונות להלן.

מחיר החלקים הנבחרים:

• פנתר זונגל: $ 149.99
• LiDAR Lite V3: $ 149.99
• LV-MaxSonar-EZ1: $ 29.95
• חיישן אולטרסאונד - HC -SR04: $ 3.95
• Raspberry Pi 3: 39.95 $
• ארדואינו: 24.95 $
• קינקט: 32.44 דולר
• Floureon 11.1v 3s 1500mAh: $ 19.99
• LM2596HV: 9.64 $

שלב 5: בחירת ציוד: שיטת אינטראקציה

החלטתי להשתמש בשליטה קולית כשיטה לאינטראקציה עם המכשיר מכיוון שהחזקת מספר כפתורים במקל יכולה להיות מאתגרת עבור לקויי ראייה, במיוחד אם חלק מהפונקציות דורשות שילובי כפתורים. באמצעות שליטה קולית, המשתמש יכול להשתמש בפקודות מוגדרות מראש כדי לתקשר עם המקל, מה שמפחית שגיאות אפשריות.

מכשיר: יתרונות --- חסרונות:

• לחצנים: אין שגיאת פקודה בלחיצה על לחצן ימין --- זה עלול להיות מאתגר להבטיח שהלחצנים הנכונים לוחצים
• שליטה קולית: קלה מכיוון שהמשתמש יכול להשתמש בפקודות מוגדרות מראש --- הגייה לא נכונה עלולה לגרום לשגיאות

שלב 6: בחירת ציוד: מיקרו -בקר

המכשיר השתמש ב- Raspberry Pi בגלל העלות הנמוכה שלו וכוח העיבוד המספיק לחישוב מפת העומק. אינטל ג'ול הייתה האפשרות המועדפת אך המחיר שלה היה מכפיל את עלות המערכת מה שלא יהיה אידיאלי מכשיר זה אשר פותח על מנת לספק אפשרות עלות נמוכה יותר למשתמשים. הארדואינו נוצל במערכת מכיוון שהוא יכול בקלות לקבל מידע מחיישנים. BeagleBone ואינטל אדיסון לא שימשו בגלל יחס מחיר נמוך לביצועים שזה רע למערכת בעלות נמוכה זו.

מיקרו-בקר: יתרונות --- חסרונות:

• Raspberry Pi: בעל מספיק כוח עיבוד למציאת מכשולים ומשולב WiFi/Bluetooth --- אין הרבה אפשרויות לקבלת נתונים מחיישנים
• Arduino: קבל בקלות נתונים מחיישנים קטנים. כְּלוֹמַר. LIDAR, Ultrasonic, SONAR, וכו '--- אין מספיק כוח עיבוד למציאת מכשולים
• Intel Edison: יכול לעבד מכשולים במהירות עם מעבד מהיר --- דורש פיסות מפתחים נוספות כדי לתפקד עבור המערכת
• Intel Joule: בעל מהירות עיבוד כפולה של כל אחד מבקרי המיקרו בשוק הצרכנים עד כה --- עלות גבוהה מאוד למערכת זו וקשה לתקשר עם GPIO לאינטראקציה של חיישנים.
• BeagleBone Black: קומפקטי ותואם לחיישנים המשמשים בפרויקט באמצעות פלט קלט כללי (GPIO) --- אין מספיק כוח עיבוד כדי למצוא אובייקטים ביעילות

שלב 7: בחירת ציוד: חיישנים

שילוב של מספר חיישנים משמש על מנת להשיג דיוק מיקום גבוה. הקינקט הוא החיישן העיקרי בגלל כמות השטח שהוא יכול לסרוק אחר מכשולים בו זמנית. LIDAR המייצג Light Detection and Ranging, היא שיטת חישה מרחוק המשתמשת באור בצורת לייזר דופק כדי למדוד מרחקים מהמקום שבו החיישן נמצא לאובייקטים במהירות; חיישן זה משמש מכיוון שהוא יכול לעקוב אחר אזור עד 40 מטרים (מ) ומכיוון שהוא יכול לסרוק בזוויות שונות, הוא יכול לזהות אם צעדים עולים או יורדים. חיישני SOUND Navigation And Ranging (SONAR) ואולטרסאונד משמשים כמעקב גיבוי במקרה שהקינקט יחמיץ מוט או מכה באדמה שעלולה להוות סכנה למשתמש. חיישן 9 דרגות החופש משמש למעקב לאיזה כיוון המשתמש פונה, כך שהמכשיר יכול לאחסן את המידע לדיוק גבוה יותר תוך הפנייה בפעם הבאה שהאדם הולך באותו מקום.

חיישנים: יתרונות --- חסרונות:

• Kinect V1: יכול לעקוב אחר אובייקטים תלת-ממדיים עם --- רק מצלמה אחת לאיתור סביבה
• Kinect V2: בעל 3 מצלמות אינפרא אדום ומצלמת אדום, ירוק, כחול, עומק (RGB-D) לזיהוי אובייקטים תלת מימדיים דיוק גבוה --- יכולה להתחמם וייתכן שתזדקק למאוורר קירור, והיא גדולה יותר מחיישנים אחרים
• LIDAR: קרן שיכולה לעקוב אחר מיקומים במרחק של עד 40 מ '--- צריכה להיות ממוקמת לעבר אובייקט ויכולה להסתכל רק בכיוון זה
• SONAR: קרן שיכולה לעקוב אחרי 5 מ 'אך בטווח רחוק --- עצמים קטנים כמו נוצות יכולים להפעיל את החיישן
• אולטרסאונד: בעל טווח של עד 3 מ 'וזול מאוד --- מרחקים יכולים מדי פעם להיות לא מדויקים
• 9 דרגות חיישן חופש: טוב לחישת אוריינטציה ומהירות המשתמש --- אם משהו מפריע לחיישנים, ניתן לחשב את חישובי המרחק בצורה לא נכונה

שלב 8: בחירת ציוד: תוכנה

התוכנה שנבחרה לאבות הטיפוס הראשונים שנבנו עם חיישן Kinect V1 הייתה Freenect אך היא לא הייתה מדויקת במיוחד. בעת המעבר ל- Kinect V2 ו- Freenect2, תוצאות המעקב השתפרו באופן משמעותי עקב שיפור המעקב מכיוון של- V2 יש מצלמת HD ו -3 מצלמות אינפרא אדום לעומת מצלמה אחת ב- Kinect V1. כאשר השתמשתי ב- OpenNi2 עם Kinect V1, הפונקציות היו מוגבלות ולא יכולתי לשלוט בחלק מהפונקציות של המכשיר.

תוכנה: יתרונות --- חסרונות:

• Freenect: בעל רמת שליטה נמוכה יותר לשליטה על הכל --- תומך רק ב- Kinect V1
• OpenNi2: יכול ליצור בקלות את נתוני ענן הנקודות מזרם המידע מהקינקט --- תומך רק ב- Kinect V1 ואין לו תמיכה בשליטה ברמה נמוכה
• Freenect2: בעל רמת שליטה נמוכה יותר עבור סרגל החיישנים --- עובד רק עבור Kinect V2
• ROS: מערכת הפעלה אידיאלית לתכנות פונקציות מצלמה --- צריך להתקין על כרטיס SD מהיר כדי שהתוכנה תפעל

שלב 9: בחירת ציוד: חלקים אחרים

סוללות ליתיום יון נבחרו בשל היותן קלות, בעלות קיבולת הספק גבוהה והיותן נטענות. הגרסה של 18650 של סוללת הליתיום יון בעלת צורה גלילית ומתאימה בצורה מושלמת לאב טיפוס המקל. קנה האב טיפוס הראשון עשוי מצינור PVC מכיוון שהוא חלול ומפחית את משקל המקל.

שלב 10: פיתוח מערכת: יצירת חלק החומרה

ראשית עלינו לפרק את הקינקט כדי שיהיה בהיר יותר וכדי שיתאים בתוך המקל. התחלתי בהוצאת כל המעטפת החיצונית מהקינקט מכיוון שהפלסטיק המשמש שוקל הרבה. לאחר מכן נאלצתי לחתוך את הכבל כך שניתן להסיר את הבסיס. לקחתי את החוטים מהמחבר המוצג בתמונה והלחמתי אותם לכבל USB עם חוטי אות ושני החיבורים הנוספים נועדו להספק הכניסה של 12V. מכיוון שרציתי שהמאוורר בתוך המקל יפעל במלוא העוצמה כדי לקרר את כל הרכיבים האחרים, ניתקתי את המחבר מהמאוורר מהקינקט וחיברתי 5V מה- Raspberry Pi. הכנתי גם מתאם קטן לחוט ה- LiDAR כך שהוא יכול להתחבר ישירות ל- Raspberry Pi בלי שום מערכות אחרות בין לבין.

הלחמתי בטעות את החוט הלבן לשחור אז אל תסתכל בתמונות על תרשימי חיווט

שלב 11: פיתוח מערכת: יצירת חומרה חלק 2

יצרתי פיסת רגולטור כדי לספק כוח לכל המכשירים הדורשים 5V כמו ה- Raspberry Pi. כיוונתי את הרגולטור על ידי הנחת מד על הפלט והתאמת הנגד כך שהווסת יספק 5.05V. שמתי אותו קצת יותר גבוה מ- 5V מכיוון שעם הזמן מתח הסוללה יורד ומשפיע מעט על מתח היציאה. יצרתי גם מתאם המאפשר לי להפעיל עד 5 מכשירים הדורשים את 12V מהסוללה.

שלב 12: פיתוח מערכת: תכנות המערכת חלק 1

אחד החלקים המאתגרים ביותר במערכת זו הוא התכנות. כאשר קיבלתי לראשונה את Kinect לשחק איתו, התקנתי תוכנית בשם RTAB Map אשר לוקחת את זרם הנתונים מה- Kinect והופכת אותו לענן נקודתי. בעזרת ענן הנקודות, הוא יצר תמונת תלת -ממד שניתן לסובב כך ראו את עומק המקום בו נמצאים כל האובייקטים. לאחר ששיחקתי בזה זמן מה והתאמתי את כל ההגדרות, החלטתי להתקין תוכנה כלשהי ב- Raspberry Pi כדי לאפשר לי לראות את זרם הנתונים מהקינקט. שתי התמונות האחרונות למעלה מראות מה ה- Raspberry Pi יכול לייצר בכ-15-20 פריימים בשנייה.