מזהה תנועות ידיים: 5 שלבים

2024 מְחַבֵּר: John Day | [email protected]. שונה לאחרונה: 2024-01-30 09:12

סקירה כללית

בפרויקט זה, נכין כפפה שתזהה כמה תנועות ידיים בסיסיות, באמצעות MicroBit, וכמה חיישנים. נשתמש ביכולות ה- Bluetooth ב- MicroBit, יחד עם אפליקציית Android ושרת אינטרנט כדי להכשיר מודל למידת מכונה לזיהוי תנועות ידיים.

מתחילים

רוב המאמץ הכרוך בפרויקט זה הוא בצד התוכנה, וכל הקוד הדרוש להפעלת הפרויקט זמין ב- GitHub. בסיס הקוד כולל 3 רכיבים, הקוד ליצירת קובץ HEX עבור ה- MicroBit, בסיס הקוד של אפליקציית Android המבוסס במידה רבה על אפליקציית ה- MicroBit Blue של קרן MicroBit, עם שינויים שנעשו עבור מקרה שימוש ספציפי זה ושרת אינטרנט עם קוד עבור הכשרת מודל מבוסס Tensorflow לזיהוי תנועות ידיים.

נראה כיצד לבנות את הכפפה ולחבר אותה עם האפליקציה ושרת האינטרנט לאחר מכן.

אספקה

• 1 מיקרוביט BBC
• מחזיק סוללות אחד עם 2 סוללות AAA
• כפפה אחת
• סט חוטי מגשר, קליפסי תנין
• חיישן גמיש
• חיישן כוח
• סקוטש
• קלטת חשמל
• טלפון אנדרואיד
• מחשב/מחשב נייד

שלב 1: שלב 1: הגדרת ה- MicroBit והסוללה

• התחל בחיבור מחזיק הסוללה לחתיכת סקוטש כפי שמוצג בתמונה הראשונה. השתמש בקלטת חשמל כדי לחבר היטב את מחזיק הסוללה לרצועת הוולקרו.
• לאחר מכן צור לולאה עם סרט חשמלי כך שהיא דביקה משני הצדדים, והדביקה אותה על גבי מארז הסוללות.
• הדבק את ה- MicroBit ללולאת הקלטת כדי להצמיד את ה- MicroBit היטב למחזיק הסוללות כפי שמוצג בתמונה השנייה.

שלב 2: חיבור חיישנים

• עקוב אחר תרשים המעגלים המוצג בתמונה כדי לחבר את חיישן הגמישות שלך לפין 1 של ה- MicroBit, וחייב את חיישן הפין 0 של ה- MicroBit.
• אבטח את החיישנים בכפפה באמצעות קלטת חשמל כפי שמוצג בתמונות.

שלב 3: סיום החומרה

• השתמש בקצוות רצועות הוולקרו ליצירת לולאה והחלק את הלולאה על אצבעות הכפפה, כפי שמוצג בתמונה.
• אתה יכול להשתמש בקשרי חוט כדי לאבטח את החוטים על הכפפה כדי למנוע מהם לזוז יותר מדי.

בחלק הבא נבחן כיצד להתקין את התוכנה.

שלב 4: התקנת תוכנה

התאמת הטלפון שלך ל- MicroBit שלך

1. כדי להתאים את הטלפון שלך, ודא תחילה ש- Bluetooth מופעל בטלפון שלך.
2. הפעל את ה- MicroBit ולחץ לחיצה ארוכה על לחצני A ו- B. במקביל לחץ ושחרר את כפתור האיפוס תוך החזקת כפתורי A ו- B. כעת המיקרוביט צריך להיכנס למצב זיווג.
3. בטלפון שלך, מצא את ה- MicroBit שלך ברשימת התקני ה- Bluetooth שבה אתה בדרך כלל מוסיף מכשיר Bluetooth חדש ומתחיל להתאים. ב- MicroBit שלך תראה חץ שמצביע על כפתור A. כאשר תלחץ על זה, ה- MicroBit יציג סדרת מספרים שהם קוד ההתאמה שעליך להזין בטלפון שלך. לאחר שתזין את הקוד בטלפון ובחר זוג, יש להציג סימן ביקורת ב- MicroBit.
4. לחץ על כפתור האיפוס ב- MicroBit שלך.

הגדרת התוכנה

עקוב אחר מדריכי ReadMe בכל תיקיית משנה במאגר GitHub כדי להתקין את פרויקט האפליקציות של Android ב- Android Studio, לבנות ולהבהב את קובץ ה- HEX ל- MicroBit שלך ולהפעיל את שרת האינטרנט להפעלת מודלי למידת מכונה.

שלב 5: שימוש

שרת אינטרנט

פתח מסוף בספריית הפרויקטים של שרת האינטרנט והפעל את 'python server.py' כדי להפעיל את השרת לאחר ביצוע ההוראות ב- ReadMe להתקנת תלות

אפליקציית אנדרואיד

1. בנה ועשה APK לאפליקציית Android מ- Android Studio. הפעל את האפליקציה לאחר זיווג הטלפון שלך עם ה- MicroBit (ראה שלב קודם).
2. בדף מד התאוצה, אתה יכול להגדיר את כתובת האתר של שרת האינטרנט באמצעות תפריט ההגדרות בפינה השמאלית העליונה. הקפד לשנות זאת ל- IP של שרת האינטרנט שלך.
3. המתן עד שקריאות מד התאוצה יתחילו להתמלא מהמיקרו -ביט. תוכלו לראות את הקריאות משתנות בתדירות שונה. כדי לשנות את התדר לחץ על B ב- MicroBit. באופן אידיאלי תוכל להשתמש בערך תדר של 10 (המדגם קריאות כל 10ms)
4. לאחר אכלוס הקריאות, תן שם למחווה שלך באמצעות תיבת הטקסט שכותרתה 'מחווה:' ולחץ על כפתור ההקלטה. ברגע שאתה לוחץ על כפתור ההקלטה, בצע את תנועת היד שלך שוב ושוב עד שהכפתור יופעל שוב.
5. חזור על שלב 3 להקלטת מחוות מרובות.
6. לחץ על כפתור הרכבת כדי להתחיל את אימון המודל בשרת. לאחר סיום האימון (כ -15 שניות), תוכל להמשיך לבצע תחזיות.
7. לחץ על כפתור החיזוי ועשה את התנועה/מחווה שלך. האפליקציה תנסה להתאים אותה לאחת התנועות המאומנות בצורה הטובה ביותר האפשרית.