מאמן אנגלית אישי - AI Assistant Assistant: 15 שלבים

2024 מְחַבֵּר: John Day | [email protected]. שונה לאחרונה: 2024-01-30 09:15

פרויקט זה יסייע לסטודנטים המתכוננים לכל בחינה לשונית, שם ניתן להכשיר אותם על ידי אינטראקציה עם Snips AI.

שלב 1: סיפור

מדוע בנינו זאת?

מניסיוני האישי, ראיתי אנשים רבים מתכוננים למבחן הלשוני השונות כגון GRE, TOEFL, IELTS. הם זקוקים לאדם שיעזור להם בשינון והבנת המילים. באופן כללי, כאשר אדם מתכונן לבחינות כאלה, הוא זקוק לאדם שיבדוק ויתקן אם הוא טועה. בעזרת פתרון זה, אנו יכולים לצמצם את כוח האדם על ידי שימוש בעוזר קולי.

שלב 2: בניית חומרה

קודם כל, אני רוצה להודות ל- SNIPS ו- SEEED על התמיכה בפרויקט הזה עם ערכת הפיתוח האינטראקטיבית של Snips Voice (ערכת בסיס), הרגשתי מאוד אינפורמטיבי באמצעות לוח זה והצלחתי להשיג כמה מהפרויקטים המורכבים המשולבים בתוך לוח PCB.

אתה יכול לרכוש את ערכת בסיס האינטראקציות הקוליות של Snips תמורת 115 $ וערכת הלוויין Snips Voice Interaction ב- 85 $

שלב 3: תחילת העבודה עם SNIPS

לפני שנתחיל, בואו נבדוק מה תצטרכו.

• Raspberry Pi 3B/B+ (מומלץ) או Pi 2 דגם B (נתמך).
• כבל מיקרו USB ומתאם מתח מיקרו USB עבור פטל פי.
• כרטיס Micro SD (8 GB מינימום) - נדרשת מערכת הפעלה כדי להתחיל. אתה יכול להוריד Raspbian Stretch ולהשתמש במדריכים עבור Mac OS, Linux ו- Windows באתר Raspberry Pi.
• מקלדת ועכבר USB וצג HDMI חיצוני - אנו ממליצים גם להחזיק מקלדת ועכבר USB וכן צג HDMI בהישג יד.
• חיבור לאינטרנט (Ethernet או WiFi)

ערכת בסיס אינטראקציות קוליות של Snips

ערכות הפיתוח של אינטראקציות קוליות Snips מאפשרות למשתמשים להתחיל להתפתח את ממשקי הקול ולשלב בקלות את פלטפורמת ה- Snips AI Voice עם חומרה. צלילים פועלים במכשיר, כלומר כל הפקודות והנתונים הקוליים שלך מעובדים באופן מקומי במקום להישלח לענן. עיבוד זה במכשיר גורם לעוזר קולי מאובטח לחלוטין השומר על פרטיותך האישיות, כפי שצריך להיות.

ערכת בסיס האינטראקציה הקולית מאפשרת לך להפעיל את כל פלטפורמת הקול של Snips AI. מופעל על ידי Raspberry Pi 3 דגם B+ ו- ReSpeaker 2-Mics Pi HAT, והוא מסוגל לשמש כרמקול החכם הביתי שלך. יחד עם הערכה מגיעים רמקול, גרוב - חיישן טמפרטורה ולחות (SHT31), גרוב - ממסר ולוח לתלות אותו על קיר או ליצור מעמד מפואר.

אבל זה לא הכל! ערכת הלוויין לאינטראקציה קולית תרחיב את תחנת הבסיס שלך עד להגיע לכל חדר בבית שלך ותאפשר לך אינטראקציה עם החומרה על סמך המקום בו אתה מוציא את הפקודות שלך!

ערכה זו מכילה לוח Raspberry Pi3 B+, ReSpeaker 2 -Mics Pi HAT, Grove - ממסר, Grove - חיישן טמפרטורה ולחות (SHT31), רמקול 6 אוהם 2W, כרטיס MicroSD, מתאם מתח עם מחבר מיקרו USB, כבל Grove x 2, בסיס אקרילי לוּחַ.

שלבי הרכבה: (תוכן מ- SNIPS) התמונה הבאה היא סקירה כללית של חלקי ההרכבה.

כאן חלקי ההרכבה מותקנים בלוח הבסיס.

לאחר מכן, כל החלקים האלקטרוניים מותקנים על הלוח.

לאחר מכן הרכיבו את כיסוי המגן האקרילי על גבי Grove -Relay.

2 חלקים אלה משמשים כדי להפוך את הערכה למעמד שולחן.

לבסוף, אתה מוכן לשחק עם Snips.

הערכה מספקת שתי דרכי מיקום. ניתן להניח אותו על משטח אופקי כמו מעמד או לתלות אותו על קיר בעזרת חוטים או חוט. אנא היזהר עם הממסר כאשר הערכה מופעלת מכיוון שמתח העבודה יהיה גבוה.

הערה: יש לנו גם ערכת לווין אינטראקציה קולית Snips עם אפס Raspberry Pi במקום Raspberry Pi 3B+

שלב 4: ממשק עם Snips AI (פרויקט בסיסי)

• הפעל את הערכה באמצעות מתאם החשמל המוגדר כברירת מחדל בערכה או השתמש במתאם DC 5V-2A עם מחבר מיקרו USB.
• השלב הבא הוא התקנת עוזר Snips לתוך Raspberry Pi. כדי לחסוך את זמן ההתקנה שלך, כרטיס ה- MicroSD בערכה הבהב עם תמונת המערכת הפונקציונלית המלאה, כלומר עוזר Snips מוכן למילות הטריגר שלך.
• אנו ממליצים לך ללמוד את מדריך ההתקנה צעד אחר צעד על ידי ביקור ב: https://docs.snips.ai/getting-started/quick-start… ולמד את כלי sam בשורת הפקודה.
• הפעל את העוזר באמירת "היי-סניפים" ופעל לפי הפקודה:

תוכל למצוא את הסרטון של הדוגמה המותקנת מראש בערכת הבסיס של אינטראקציה קולית של Snips למטה.

שלב 5: ממשק עם Snips AI (Project AI)

אז ככה זה עובד. ראשית, אנו משתמשים במילת המפתח ליזום זיהוי Snips. הוא מבין את המשפט באמצעות Snips NLU וקובע את הכוונה. לאחר מכן באמצעות הכוונה, חלץ את החריצים בהתאמה. עם קוד הפעולה, אנו מתכנתים את תגובת ה- AI בהתאמה לחריצים.

שלב 6: יצירת אפליקציה וכוונות

• צור עוזר. במקרה שלי, יצרתי עוזר עם השם JARVIS ועם מילת מפתח JARVIS.
• צור יישום מותאם אישית או למתחילים, השתמש ביישום מהספרייה.
• יצרתי יישום בשם Words
• צור כוונה והתחל לאמן את ה- AI. זה משחק תפקיד מרכזי בהפיכת ה- AI שלך לחזק. התאמן עם כל התשומות האפשריות.
• צור משבצת לזיהוי המילים. מקם את החריץ בביטוי הצפוי של המשפט. לדוגמא שלי, givenword הוא שם המשבצת והוא מודגש בכחול.
• לאחר סיום, ה- ASR המותאם אישית שלך יהיה מוכן. נסה עם הכניסות. אנו יכולים למצוא את התשובה מימין לך, מתחת לעוזר. זה נותן לך את מיצוי הערך הגולמי, שם הכוונה והחריץ.
• הגדר משבצות עם דוגמאות נוספות כפי שניתן להלן
• לבסוף, פרס את העוזר שלך כדי לחוות את ה- AI המותאם אישית שלך.

שלב 7: צרוב את Raspbian לכרטיס ה- SD

Raspbian היא הפצת לינוקס המועדפת הפועלת ב- Raspberry Pi. במדריך זה נשתמש בגרסת Lite, אך ניתן להשתמש גם בגרסת שולחן העבודה (המגיעה עם סביבה גרפית).

• הורד את עטר והתקן אותו.
• חבר קורא כרטיסי SD עם כרטיס ה- SD בפנים.
• פתח את Etcher ובחר מהכונן הקשיח את קובץ ה- img או.zip של Raspberry Pi שברצונך לכתוב לכרטיס ה- SD
• בחר את כרטיס ה- SD שאליו ברצונך לכתוב את התמונה שלך.
• בדוק את הבחירות שלך ולחץ על 'פלאש!' כדי להתחיל לכתוב נתונים לכרטיס ה- SD

חבר את המכשיר לרשת שלך

• אפשר גישה ל- SSH על ידי הוספת קובץ ssh ריק, הממוקם שוב בבסיס נפח האתחול בכרטיס ה- SD שלך.
• הכנס את כרטיס ה- SD ל- Raspberry Pi. הוא יאתחל תוך בערך 20 שניות. כעת אמורה להיות לך גישת SSH ל- Raspberry Pi שלך. כברירת מחדל, שם המארח שלו יהיה raspberrypi.local. במחשב, פתח חלון מסוף והקלד את הדברים הבאים:

ssh [email protected]

סיסמת ברירת המחדל היא פטל

שלב 8: התקן את פלטפורמת Snips

אם עדיין לא עשית זאת, התקן את ממשק שורת הפקודה Sam במחשב שלך. פתח חלון מסוף והזן:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

מצא את ה- Raspberry Pi שלך ברשת על ידי הפעלת:

מכשירים sam

לאחר מכן, צור חיבור למכשיר. תתבקש להזין את שם המשתמש והסיסמה של המכשיר (ברירת המחדל היא פאי ופטל, בהתאמה):

sam connect

כעת אנו מוכנים להתקין את פלטפורמת Snips ב- Raspberry Pi. הזן את הפקודה:

sam init

שלב 9: הגדר את החומרה

סאם מספק כמה פקודות להתקנה והגדרה של רכיבי חומרה בקלות. בחלק זה נקים רמקול ומיקרופון. בהתאם להגדרות שלך, יש לבצע כמה תצורות מותאמות אישית.

sam התקנת שמע

בדוק את הרמקול

כדי לבדוק שהרמקול פועל, הפעל

רמקול מבחן sam

אם הכל עובד בסדר, עליך לשמוע ברמקול שלך קול שאומר כמה מילים. הגדר את המיקרופון אתה יכול לבדוק שהמיקרופון שלך עובד:

מיקרופון בדיקת sam

בהנחה שיש לך רמקול, אם אתה יכול לשמוע בבירור את מה שאמרת זה עתה, תוכל להמשיך הלאה ללא תצורת מיקרופון נוספת.

ברגע שאתה מרוצה מכך שהגדרת החומרה שלך פועלת, אתה מוכן להמשיך לשלב הבא, שבו תפרס את העוזר הראשון שלך.

שלב 10: ייבוא דגם AI מהמסוף

לאחר שיצרת את העוזר שלך מהשלבים הקודמים, היכנס לקונסולה מחלון המסוף על ידי הפעלה:

sam login

תתבקש להזין את אישורי מסוף Snips שלך.

לאחר מכן התקן את העוזר:

עוזר ההתקנה של sam

אם יצרת מספר עוזרים במסוף, תתבקש לבחור איזה מהם להתקין מרשימה.

שלב 11: מטפל וקוד פעולה

על מנת ש- Raspberry Pi יגיב, נצטרך לכתוב קוד מטפל כלשהו. זהו קוד אשר מבוצע כאשר אירוע מסוים קורה בפלטפורמת Snips, כגון כאשר זוהתה כוונה.

יש לך שיטות שונות ליצור Handler בהתאם לתפקוד.

צור תיקייה במחשב שבה אתה רוצה לאחסן את קוד המטפל שלך. מחלון המסוף, שנה לספרייה זו והזן:

npm init

פעולה זו תיצור קובץ בשם package.json המכיל את תיאור הפרויקט שלך, תלות ועוד. לאחר מכן, הוסף את התלות בחבילת mqtt:

npm התקן mqtt --save

כעת, צור קובץ בשם index.js והדבק את הקוד הבא, והחליף את משתנה שם המארח בשם המארח של ה- Raspberry Pi שלך (אם הוא שונה מ- raspberrypi המוגדר כברירת מחדל):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (שם מארח); client.on ('connect', function () {console.log ("[Snips Log] מחובר לברוקר MQTT" + שם מארח); client.subscribe ('hermes/#');}); client.on ('הודעה', פונקציה (נושא, הודעה) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} אחרת אם (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} אחרת אם (topic.match (/hermes \/hotword / /.+ \/detect/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes) /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (message));}}); function onIntentDetected (intention) {console.log ("[Snips Log] הכוונה זוהתה:" + JSON.stringify (intention)); } פונקציה onHotwordDetected () {console.log ("[Snipp Log] Hotword זוהתה"); } פונקציה onListeningStateChanged (האזנה) {console.log ("[Log Snips]" + (האזנה? "התחל": "עצור") + "האזנה"); }

הפעל קוד זה באמצעות Node:

צומת index.js

אתה אמור לראות הודעה של חיבור מוצלח לברוקר Snips MQTT. כמו בעבר, בצע אינטראקציה קולית עם ה- Raspberry Pi שלך:

היי סניפס, מה מזג האוויר בצ'נאי

אתה אמור לראות את היומנים מתעדכנים:

[יומן צלילים] מחובר לברוקר MQTT mqtt: //raspberrypi.local

[יומן Snips] זוהתה מילת מפתח [יומן Snips] התחל להקשיב [יומן Snips] הפסק להקשיב [יומן Snips] זוהה כוונה: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" מה מזג האוויר בצ'נאי "," intention ": {" intentionName ":" searchWeatherForecast "," probability ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "forecast_locality"}]}

שלב 12: פתרון בעיות

מחק את העוזר הקודם אם יש כזה

$ sudo rm -rf/usr/share/snips/assistant/

כדי לשנות את הספרייה ל- Assistant

cd/var/lib/snips/skills/

כדי לשכפל את תוכן הריפו למקומי

שיבוט git

להפעלת סקריפט setup.sh

./setup.sh

הפעלת סביבה וירטואלית

מקור venv/bin/activ

הפעל את קוד הפעולה

./action-.py

לתת הרשאה לסקריפט Python

chmod +x action-.py

שלב 13: מארז

• השתמשתי במארז בדירוג IP לפרויקט זה
• ראשית, יצרתי חורים הכרחיים להתקנת המעגלים והחריצים עבור כבל חשמל וכבל HDMI.
• לאחר מכן הנחתי את כל ה- Raspberry Pi בתוך המארז והברגתי אותו היטב.
• הכנתי פתח קטן לרמקול ולמיקרופון וכיסיתי אותו בעזרת פיסת אקריליק קטנה.
• חבר את הרמקול היטב לכובע ReSpeaker.
• לבסוף, כל הבורג מותקן היטב וכבל החשמל מוכנס באמצעות חריץ.
• כך נראה סוף סוף ה- AI: D

שלב 14: עבודה של ה- AI

אתה יכול למצוא את הנתונים המנוטרים באמצעות Snips-watch

עכשיו הגיע שעת ההצגה. התחלתי ליצור עם ברכות פשוטות AI. תסתכל על זה מתפקד.

Trainer AI תוכנת למילים מוגבלות. ניתן להרחבה עם שינויים קטנים. זה עוזר לסטודנטים לשנן את המשמעות מהר יותר מהשיטה המסורתית.

תשומת לב אדיבה: פרויקט זה מאומן במשך 25 מילים בערך. ניתן להרחיב אותו עוד יותר על ידי ביצוע שינויים קלים בקוד הפעולה.

תוכל למצוא את סקריפטים של פעולה במאגר Github שלי המצורף.

Repo Project for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Repo Project for Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

קישור ליישום שלי:

ההתקנה כולה עולה כ -115 $ אותם ניתן לרכוש מ- SNIPS והפתרון הזה זול ויעיל מאוד בהשוואה לשיטות המסורתיות. בערך 100, 000 בדיקות נערכו בהודו ומוצר זה יהיה התוסף הטוב ביותר עבור נוטלי ה- GRE.

תן אגודל אם זה באמת עזר לך ותעקוב אחרי הערוץ שלי לפרויקטים מעניינים.:) שתפו את הסרטון הזה אם תרצו. שמח שנרשמת: https://console.snips.ai/store/en/skill_xBKlxnE5K… תודה שקראת!