קולנוע ביופידבק: 7 שלבים

2024 מְחַבֵּר: John Day | [email protected]. שונה לאחרונה: 2024-01-30 09:16

מחבר הפרויקט

ג'סיקה אן

משתפי פעולה

• גרגורי האו
• סלוד לופז
• פדרו פיירה

על אודות

מערכת לכידת וידאו ניסיונית המחברת את מוח המשתתף לתפקודי המצלמה באמצעות אוזניות קורא EEG של Neurosky Mindwave. מערכת Biofeedback Cinema פועלת במקום צלם צילום מסורתי, ובמקום זאת מעבירה את הסוכנות של הקומפוזיציה למשתתף עצמו באמצעות ממשק BRAIN to CAMERA מותאם אישית. הפרויקט פותח בשיתוף פעולה עם משתתפי הסדנאות גרגורי האו, סלוד לופז ופדרו פיירה. תוכל לקרוא על תוצאות הסדנה בכתובת:

תצורת אב טיפוס

מערכת Biofeedback Cinema מתאימה ליישומים פוטנציאליים רבים. למדריך זה הכנו הדגמה של המערכת המתבוננת ברמת המיקוד/תשומת הלב של המשתתף (מספר שלם יחיד) ומתרגמת את זה למיקום המצלמה (באמצעות פאן והטיה) ופוקוס המצלמה (פנימית באמצעות OpenCV). כל זה מתאפשר על ידי חיבור Bluetooth בין אוזניות קורא EEG של Neurosky ו- Raspberry Pi.

ה- Raspberry Pi הוא מחשב קטן המצויד במצלמת רשת וסקריפטים (זמינים בהמשך) המגשרים על פעילות המוח של המשתתף להגדרות המצלמה ומיקום המצלמה. מיקום המצלמה הדינמית מתאפשר באמצעות מיקרו -בקר Arduino המקבל אותות מ- Raspberry Pi. אנו מצפים להמשך פיתוח כאשר אנו שואפים לכלול פרמטרים נוספים של גלי מוח (תדרים הקשורים להבהוב עיניים וכו ') ופונקציות מצלמה (כלומר גוון, רוויה, בהירות וכו').

להלן ההנחיות לבניית מערכת קולנוע ביופידבק משלך.

ניסוי שמח

שלב 1: חומרים מתכלים

כל מה שאתה צריך לבניית אב טיפוס משלך לקולנוע ביופידבק מופיע להלן.

1. אוזניות EEG ניידות Neurosky Mindwave

2. Raspberry Pi B+ (b+ עדיף, יותר יציאות USB, אבל דגם B בסדר גם אם יש לך רכזת USB).

   1. מתאם מתח Raspberry Pi או מארז סוללות
   2. Dongle Wifi או חיבור אתרנט (הכרחי רק במהלך ההתקנה)
   3. Bluetooth Dongle see wiki עבור דונגלים תואמים
   4. כרטיס SD (לפחות 8GB) עם NOOBS.

3. לוח כל Arduino בסדר, משתמש ב- Uno במדריך זה. שים לב, אתה יכול פשוט להשתמש בקלט/פלט ב- Pi.

   1. מתאם מתח Arduino או מארז סוללות
   2. כבל USB A-B
4. מצלמת רשת USB
5. ערכת מיני פאן-הטיה

6. צג עם כניסת HDMI או השתמש ב- VNC לשליטה מרחוק על ה- pi מהמחשב [הדרכה כאן]

   כבל HDMI

7. מקלדת ועכבר USB ממליצים על מקלדת ועכבר Bluetooth כדי למזער יציאות USB בשימוש.

שלב 2: הגדרת Raspberry Pi

1. התקנת חומרה

חבר מקלדת, עכבר, דונגל Bluetooth, דונגל wifi (או אתרנט), מצלמת אינטרנט, צג באמצעות כבל HDMI והספק ל- Raspberry Pi שלך

2. הגדרת מערכת הפעלה

• הפעל את ההפעלה וה- Pi שלך צריך להתחיל. התקן את מערכת ההפעלה Rasbpian, הוראות כאן:
• אם אתחול ו- Raspian מותקן כראוי, אתה אמור לראות את שולחן העבודה הביתי [תמונה למעלה].

רמזים:

• אם יחס הגודל של שולחן העבודה כבוי נסה לאתחל את ה- Raspberry Pi שלך. אם הוא עדיין כבוי, עיין כאן כדי לעדכן את יחס הגובה -רוחב באופן ידני.
• אם אתה פותח עורך טקסט והתווים המיוחדים של המקלדת שלך אינם ממופים כהלכה, חפש כאן כדי לעדכן את תצורת המקלדת שלך.
• בדוק את חיבור האינטרנט שלך (תזדקק לזה להתקנת ספריות במהלך ההתקנה). חפש כאן עזרה בהגדרת wifi.

שלב 3: חבר אוזניות נוירוסקי

1. תצורת בלוטות '

לפני שהפי יכול להתחבר לנוירוסקי אנחנו צריכים להתקין בלוטוס:

בשולחן העבודה פתח את "LXTerminal" (מכונה טרמינל מכאן והלאה). הפעל פקודה זו כדי לפתור ולעדכן ליקויים:

עדכון $ sudo apt-get

התקן Bluetooth באמצעות פקודה זו:

$ sudo apt-get להתקין bluetooth

התקן את כלי ה- Bluetooth הנוח של סרגל הכלים השולחני:

$ sudo apt-get install -y bluetooth bluz-utils blueman

הפעל מחדש את פי מהטרמינל:

$ sudo אתחול מחדש

2. בדוק את חיבור ה- Bluetooth

• הפעל את אוזניות Neurosky
• מסריקת הטרמינל אחר מכשירים:

סריקת hcitool

יש לרשום את אוזניות Mindwave, שימו לב לכתובת ה- MAC של האוזנייה [תמונה למעלה]

3. התקן את ספריות Neurosky

כעת אנו מוכנים להתקין את ספריות Neurosky Python ולהתחיל לאסוף את זרם הנתונים שלה בעזרת סקריפט הבדיקה של הספרייה:

מהמסוף התקן את כלי github:

sudo apt-get להתקין git-core

מאגר github המשובט עם ספריית Neurosky Python:

שיבוט sudo git

עלינו לעדכן את הקובץ MindwaveMobileRawReader.py עם כתובת ה- MAC של האוזנייה שלך. לידיעתך: שמות קבצים תלויים באותיות רישיות

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• עדכן את כתובת ה- MAC המופיעה בקובץ. Ctrl-X לסיום, Y לשמירה, Enter כדי לצאת.
• חבר את Neurosky ו- Pi ואפשר את תכונת החיבור האוטומטי, אם תתבקש להזין PIN השתמש ב- "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device מהימן XX: XX: XX: XX: XX: XX כן

התקן את ספריית ה- Bluetooth של Python:

sudo apt-get להתקין python-bluez

הפעל את סקריפט הבדיקה של הספרייה כדי לוודא שה- Pi מסוגל לצפות בתצוגה מקדימה של זרם הנתונים. אתה אמור לראות את הזרמת הנתונים [תמונה למעלה]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

שלב 4: חבר מצלמת רשת USB/קורות חיים פתוחים

1. התקן את OpenCV

מהטרמינל:

$ sudo apt-get install libopencv-dev python-opencv

בסיום המשך:

$ sudo apt -get -f להתקין

ליתר דיוק:

$ sudo apt-get install libopencv-dev python-opencv

בדוק את ההתקנה על ידי ניסיון לייבא את הספרייה:

$ פייתון

> יבוא cv2

2. בדוק את OpenCV ב- Python באמצעות מצלמת רשת USB

• בשולחן העבודה פתח את "IDLE" (אל תפתח את IDLE3!)
• מתפריט קובץ בחר חלון חדש. העתק את הסקריפט Cv-Blur-Test שלנו לחלון החדש ושמור. סקריפט זמין כאן:
• מתפריט הפעלה בחר הפעל מודול (או הקש F5). ייתכן שיידרשו מספר שניות לצאת לדרך, אך אתה אמור לראות מסגרת קטנה המופיעה עם עדכון מצלמת האינטרנט שלך, והסרטון אמור להיות מטושטש. מזל טוב, OpenCV הותקן ועובד בהצלחה עם מצלמת האינטרנט שלך [תמונה למעלה].

שלב 5: חבר את Arduino

1. הורד את Arduino IDE

מהטרמינל:

sudo apt-get להתקין arduino

2. חבר את Arduino & Load Sketch

• חבר את הארדואינו ל- Pi באמצעות כבל ה- USB A-B.
• מתפריט ההתחלה של שולחן העבודה עבור אל אלקטרוניקה ופתח את Arduino IDE. העתק את סקיצת ה- arduino-serial-pi שלנו ל- IDE [קישור למטה]. זהו סקיצה בסיסית מאוד שתעביר מנועי סרוו המבוססים על קלט העולה על הסידרה. אנו נשלח נתונים על הסידרה המבוססים על תפוקת גלי מוח, באמצעות סקיצה של פייתון בשלב האחרון כאשר חיברנו הכל יחד.

סקיצה Arduino-serial-pi באינטרנט כאן:

ב- Arduino IDE, עבור לתפריט כלים, בחר יציאה סידרית ובחר ביציאת Arduino המופיעה, כנראה משהו כמו /dev /ttyACM0. רשום את הנמל

3. השבת את המסוף הסידורי

הורד והפעל סקריפט כדי להשבית קונסולה טורית כך שהחיבור הטורי של ה- usb יכול לפעול בצורה חלקה:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

הגדרת alamode $ cd

$ sudo./setup

$ sudo אתחול מחדש

לידיעתך:

אם אתה משתמש ב- B+ ייתכן שיהיה מספיק קלט/פלט כדי לתמוך בסרוווס, (עיין כאן כדי להתקין ולהשתמש ב- GPIO). עם זאת, אני מעוניין להוסיף רכיבים נוספים לניסויים עתידיים בין המוח לאלקטרוניקה. אז הגדרת האב טיפוס הראשוני עם ארדואינו מבטיחה שפע של אפשרויות אלקטרוניות.

שלב 6: לשים את הכל ביחד

1. סקריפט פייתון סופי

לפני שנוכל להוסיף את סקריפט הפיתון הסופי לתיקייה "python-mindwave-mobile", עלינו לשנות את הרשאות התיקיה. מהטרמינל:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• פתח את IDLE והפעל את סקריפט ה- Python האחרון שלנו, הזמין באינטרנט כאן: https://github.com/PrivateHQ/biofeedback-cinema/ ודא שהוא ממוקם בתיקיית python-mindwave-mobile. לידיעתך: יהיה עליך לעדכן את סקריפט ה- Python שלנו עם כתובת יציאת Arduino שלך בפועל.
• כאשר אתה מפעיל את הסקריפט הזה שלושה דברים שאתה צריך לקרות: 1) רמת הקשב שלך תופיע במעטפת פייתון, 2) מופיעה מסגרת קטנה המציגה את הזנת החי של מצלמת הרשת עם הטשטוש משתנה בהתאם לרמת הקשב, 3) המנוע (s) לנוע כאשר רמת הקשב מועברת לארדואינו באמצעות הסדרה [סרטון למעלה].

שלב 7: שיפורים ופיתוח

ל- Raspberry Pi יש כוח עיבוד מוגבל, ומתקשה להפעיל פונקציות OpenCV בצורה חלקה. זה משהו שאמשיך לפתח ולשפר עליו. בנוסף, אני מתכוון לכלול פרמטרים נוספים של גלי מוח (תדרים הקשורים להבהוב עיניים וכו ') ופונקציות מצלמה (כלומר גוון, רוויה, בהירות וכו') באיטרציות עתידיות.