עיבוד תמונה קוונטימטרית: 5 שלבים

2024 מְחַבֵּר: John Day | [email protected]. שונה לאחרונה: 2024-01-30 09:17

(האיור למעלה ממחיש השוואה בין שיטת עיבוד התמונה הקיימת לעיבוד תמונות קוונטימטרי. שימו לב לתוצאה המשופרת. התמונה הימנית העליונה מציגה חפצים מוזרים הנובעים מהנחה לא נכונה שהתמונות מודדות משהו כמו אור. התמונה הימנית התחתונה מראה תוצאה טובה יותר על ידי ביצוע אותו הדבר מבחינה קוונטית.)

במדריך זה תלמד כיצד לשפר מאוד את הביצועים של מערכות הדמיה או חישה ראייה קיימות באמצעות מושג פשוט מאוד: חישת תמונות קוונטימטריות

עיבוד תמונות קוונטימטרי משתפר במידה ניכרת בכל אחד מהבאים:

• עיבוד תמונות קיים כגון טשטוש תמונה;
• למידת מכונה, ראיית מחשב וזיהוי תבניות;
• זיהוי פנים לביש (ראה https://wearcam.org/vmp.pdf), ראייה מבוססת AI ו- HI וכו '.

הרעיון הבסיסי הוא לעבד את התמונות מראש ולעבד אותן באופן כמותי, כדלקמן:

1. הרחב את הטווח הדינמי של התמונה או התמונות;
2. עיבד את התמונה או התמונות כפי שהיית עושה בדרך כלל;
3. דחס את הטווח הדינמי של התמונה או התמונות (כלומר בטל את שלב 1).

ב- Instructables הקודם לימדתי כמה היבטים של חישה HDR (טווח דינמי גבוה) וחישה קוונמטרית, למשל ליניאריות, סופרפוזיציה וכו '.

כעת הבה נשתמש בידע זה.

קח כל תהליך קיים שבו תרצה להשתמש. הדוגמה שאציג היא טשטוש תמונה, אך ניתן גם להשתמש בה כמעט לכל דבר אחר.

שלב 1: הרחב את הטווח הדינמי של התמונה או התמונות שלך

(דמויות מותאמות מתוך "עיבוד תמונה אינטליגנטי", סדרות ג'ון ווילי ובניו, סטיב מאן, נובמבר 2001)

השלב הראשון הוא הרחבת הטווח הדינמי של תמונת הקלט.

באופן אידיאלי תחילה עליך לקבוע את פונקציית התגובה של המצלמה, f, ולאחר מכן להחיל את התגובה ההפוכה, f הפוכה, על התמונה.

מצלמות אופייניות הן דחיסות של טווח דינמי, ולכן בדרך כלל אנו רוצים ליישם פונקציה רחבה.

אם אינך מכיר את פונקציית התגובה, התחל בניסיון פשוט כלשהו כגון טעינת התמונה למערך תמונות, הטלת המשתנים לסוג נתונים כגון (צף) או (כפול) והעלאת כל ערך פיקסל למעריך, כגון, למשל, ריבוע כל ערך פיקסל.

נימוק:

מדוע אנו עושים זאת?

התשובה היא שרוב המצלמות דוחסות את הטווח הדינמי שלהן. הסיבה שהם עושים זאת היא שרוב המדיה לתצוגה מרחיבה את הטווח הדינמי. זה די במקרה: כמות האור הנפלטת מתצוגת טלויזיה של צינור קתודה שווה בערך למתח המוגבר למעריך 2.22 כך שכאשר קלט מתח הווידאו הוא בערך באמצע הדרך, כמות האור הנפלטת היא רבה פחות מחצי.

גם מדיה צילומית רחבת טווח דינמי. לדוגמה, כרטיס אפור "ניטרלי" צילומי פולט 18% מאור התקרית (לא 50% מאור התקרית). אור רב זה (18%) נחשב באמצע התגובה. אז כפי שאתה יכול לראות, אם נסתכל על גרף הפלט כפונקציה של קלט, אמצעי המדיה מתנהגים כאילו הם תצוגות לינאריות אידיאליות המכילות מרחיב טווח דינאמי לפני התגובה הלינארית האידיאלית.

באיור העליון, למעלה, אתה יכול לראות את התצוגה ארוזה עם קו מקווקו, והיא שווה ערך למרחיב לפני התצוגה הלינארית האידיאלית.

מכיוון שמצגים הם מרחיבים מטבעם, צריך לעצב את המצלמות כך שיהיו דחיסות כך שהתמונות יראו טוב על הצגים הקיימים.

בימים ההם כאשר היו אלפי תצוגות מקלט טלוויזיה ותחנת שידור אחת או שתיים בלבד (למשל רק אחת או שתיים מצלמות טלוויזיה), היה תיקון קל יותר להכניס לא לינאריות דחיסה למצלמה מאשר להיזכר בכל הטלוויזיות ו שים אחד בכל מקלט טלוויזיה.

במקרה זה גם עזר להפחתת רעש. באודיו אנו מכנים זאת "דולבי" ("companding") ומעניקים על כך פטנט. בוידאו זה קרה לגמרי במקרה. סטוקהאם הציע לנו לקחת את הלוגריתם של התמונות לפני עיבודן ולאחר מכן לקחת את האנטי -לוג. מה שהוא לא הבין הוא שרוב המצלמות והתצוגות כבר עושות זאת במקרה. במקום זאת, מה שהצעתי הוא שנעשה את ההפך הגמור ממה שהציע סטוקהאם. (ראה "עיבוד תמונה חכם", סדרת ג'ון ווילי ובניו אינטנססינס, עמודים 109-111.)

בתמונה התחתונה אתה רואה את העיבוד המוצע האנטי-הומומורפי (קוונטימטרי), שבו הוספנו את שלב ההתרחבות והדחיסה של הטווח הדינמי.

שלב 2: עיבד את התמונות, או בצע את חזון המחשב, למידת מכונה או דומה

השלב השני, לאחר הרחבת טווח דינמי, הוא עיבוד התמונות.

במקרה שלי, פשוט ביצעתי פירוק של התמונה, עם פונקציית הטשטוש, כלומר טשטוש תמונה, כפי שידוע באמנות הקודמת.

ישנן שתי קטגוריות רחבות של חישת תמונות קוונטימטריות:

• עזרה לאנשים לראות;
• מכונות עוזרות לראות.

אם אנחנו מנסים לעזור לאנשים לראות (שזו הדוגמה שאני מציג כאן), עדיין לא סיימנו: עלינו להחזיר את התוצאה המעובדת למרחב התמונות.

אם אנו עוזרים למכונות לראות (למשל זיהוי פנים), סיימנו כעת (אין צורך להמשיך לשלב 3).

שלב 3: דחס מחדש את הטווח הדינמי של התוצאה

כשאנו עובדים בטווח דינמי מורחב, אומרים שאנחנו ב"מרחב אור "(מרחב תמונות קוונטי -מטרי).

בסוף שלב 2, אנו נמצאים במרחב אור, ועלינו לחזור למרחב התמונות.

אז שלב 3 הוא על חזרה למרחב התמונות.

לביצוע שלב 3, פשוט דחוס את הטווח הדינמי של הפלט משלב 2.

אם אתה מכיר את פונקציית התגובה של המצלמה, פשוט החל אותה על מנת לקבל את התוצאה f (p (q)).

אם אינך יודע את פונקציית התגובה של המצלמה, פשוט הניח ניחוש טוב.

אם ריבוע את פיקסלי התמונה בשלב 1, זה הזמן לקחת את השורש הריבועי של כל פיקסל לתמונה כדי לחזור לניחוש שלך בנוגע למרחב התמונות.

שלב 4: אולי תרצה לנסות כמה וריאציות אחרות

טשטוש הוא רק דוגמה אחת מני רבות אפשריות. שקול, למשל, שילוב של חשיפות מרובות.

צלם שתי תמונות כמו השניים שיש לי למעלה. אחד נלקח במהלך היום, והשני בלילה.

שלב אותם כדי ליצור תמונה דמוית דמדומים.

אם רק אתה ממוצע אותם ביחד זה נראה כמו זבל. נסה זאת בעצמך!

אבל אם תחילה תרחיב את הטווח הדינמי של כל תמונה, הוסף אותן ולאחר מכן דחוס את הטווח הדינמי של הסכום, הוא נראה נהדר.

השווה את עיבוד התמונה (הוספת התמונות) עם עיבוד התמונה הקוונטימטרית (הרחבה, הוספה ולאחר מכן דחיסה).

אתה יכול להוריד את הקוד שלי וחומר דוגמא נוסף מכאן:

שלב 5: התקדמות נוספת: עכשיו נסה זאת עם חומרי תמונת HDR

(תמונה למעלה: קסדת ריתוך HDR משתמשת בעיבוד תמונות קוונטימטרי לשכבות של מציאות מוגברת. ראה Slashgear 2012 12 בספטמבר).

לסיכום:

לצלם תמונה וליישם את השלבים הבאים:

1. להרחיב את הטווח הדינמי של התמונה;
2. לעבד את התמונה;
3. לדחוס את הטווח הדינמי של התוצאה.

ואם אתה רוצה תוצאה טובה עוד יותר, נסה את הפעולות הבאות:

ללכוד ריבוי תמונות חשופות באופן שונה;

1. להרחיב את הטווח הדינמי למרחב אור, בהתאם להוראות הקודמות שלי בנושא HDR;
2. לעבד את התמונה הקוונטימרית המתקבלת, q, במרחב אור;
3. לדחוס את הטווח הדינמי באמצעות מיפוי טון.

תהנה ובבקשה לחץ על "הצלחתי" ופרסם את התוצאות שלך, ואשמח להגיב או לספק עזרה בונה.