מחווה לכפפה להמרת דיבור/טקסט: 5 שלבים

2024 מְחַבֵּר: John Day | [email protected]. שונה לאחרונה: 2024-01-30 09:12

הרעיון/הדחיפה מאחורי יישום הפרויקט הזה היה לסייע לאנשים המתקשים לתקשר באמצעות דיבור ולתקשר באמצעות מחוות ידיים או הידועות יותר בשפה העממית האמריקאית (ASL). פרויקט זה יכול להיות צעד לקראת מתן אפשרות לאנשים אלה לעבוד עם אנשים אחרים, שאינם יכולים להבין את שפת הסימנים, בסביבה שיתופית. כמו כן, פרויקט זה יאפשר להם לנאום נאומים בפומבי ללא שימוש במתרגם אנושי ממשי. בתור התחלה, ניסיתי רק לזהות כמה מהמחוות הקלות יותר כגון אלפבית A, B, I וכו 'והקצתי מחוות מסוימות למילים/ברכות נפוצות כגון' שלום ',' בוקר טוב 'וכו'.

שלב 1: הרכבת מעגלים

שלב 2: פרטי הפרויקט

פרויקט זה כולל כפפה לבישה עם 4 חיישני גמישה תקועים/מוטבעים בתוך הכפפה - אחד כל אחד לאצבעות קטנות, אמצעיות, מדד ואגודל. חיישן גמישות לא שימש לצלצול האצבע עקב מגבלות על זמינות סיכות הכניסה האנלוגיות ב- Arduino Uno R3 ובכלל בגלל חוסר תנועה עצמאית המוצגת על ידי האצבע בשפות הסימנים. משמש גם מד תאוצה MMA8452Q אשר תקוע על גב כף היד כדי למדוד את כיוון היד. קלט מחיישנים אלה מנותח ומשמש לחוש את המחווה. לאחר תחושת המחווה, התו/ההודעה המתאימים נשמרים במשתנה. תווים והודעות אלה ממשיכים להתחבר עד שמתבצעת מחווה מסוימת שנקבעה מראש המעידה על השלמת המשפט. לאחר שזוהה מחווה מיוחדת זו, מחרוזת המשפט השמורה נשלחת ל- Raspberry Pi באמצעות כבל USB על ידי Arduino. Raspberry Pi שולח לאחר מכן את המחרוזת שהתקבלה לשירות הענן של אמזון בשם פולי כדי להמיר את המשפט שהתקבל בפורמט טקסט לפורמט דיבור ולאחר מכן משדר את הנאום שהתקבל ברמקול המחובר ל- Raspberry Pi באמצעות כבל AUX.

פרויקט זה היה רק הוכחת קונספט ועם ציוד ותכנון טובים יותר ומכויל טוב יותר לאיתור הרבה מחוות ותנועות ידיים. נכון לעכשיו, פונקציונליות מוגבלת בלבד מתוכנתת בפרויקט זה כגון זיהוי מחוות בסיסי ופלט טקסט לדיבור.

שלב 3: קוד

שלב 4: שלבים

1. חבר את חיישני הגמישות ומד התאוצה MMA8452Q ל- Arduino בהתאם לתרשים המעגלים שסופק.

2. זרוק את התוכנית Final_Project.ino (נמצא בקובץ Arduino_code.zip) ל- Arduino.

3. חבר את Arduino ל- Raspberry Pi מול כבל USB. (סוג כבל A/B).

4. הפעל את ה- Raspberry Pi, העתק את הקובץ Raspberry_pi_code.zip ל- Raspberry Pi וחלץ אותו. חבר את הרמקול ל- Raspberry Pi.

5. העתק לך אישורי חשבון AWS כלומר aws_access_key_id, aws_secret_access_key ו- aws_session_token לקובץ ~/.aws/credentials. שלב זה נדרש כדי לתקשר עם ענן AWS ולהשתמש בשירותי AWS.

6. הפעל את התוכנית seria_test.py שנמצאת בתוך התיקיה שחולצה בשלב 4.

7. כעת בצע את המחוות ליצירת משפט ולאחר מכן בצע את המחווה המיוחדת (שמור את האצבעות וכף היד שלך ישר בקו כף היד פונה ממך, ואז סובב את פרק כף היד ונותן לו סיבוב כלפי מטה כך שכעת כף היד שלך פונה אליך וקצה האצבעות שלך מצביע כלפי מטה כלפי הרגליים שלך.) כדי לסמן השלמת משפט.

8. המשך לבדוק את המסוף למידע שימושי.

9. והקשיב לדיבור המומר המוזרם ברמקול.

שלב 5: הפניות

1.

2.

3.

4.