במחקר שממצאיו פורסמו בכתב העת JAMA Ophthalmology נמצא כי מודל בינה מלאכותית יכול ליצור סרטוני אנגיוגרפיה פלואורסצינית דינמיים של קרקעית העין ישירות מתיאורי טקסט של מצבי רשתית

החוקרים פיתחו מודל טקסט-לוידיאו שמשלב טכנולוגיות מתקדמות של למידה עמוקה ובחנו אותו על 3,625 סרטוני אנגיוגרפיה. ממצאיהם הראו שהמודל הצליח ליצור סרטונים המתאימים לתיאורי הטקסט עם ציון איכות ממוצע של 1.57 על ידי שלושה רופאי עיניים (סקלה 1-5, כאשר 1 מעולה ו-5 גרוע מאוד) ועם יכולת שמירה על פרטיות המדגימה יעילות בשיתוף נתונים רפואיים.

החוקרים ביקשו לפתח ולהעריך מודל בינה מלאכותית מונע טקסט-לווידיאו הממיר טקסט של דו"חות לסרטוני אנגיוגרפיה פלואורסצינית דינמיים של קרקעית העין, המאפשר הדמיה של חריגות כלי דם ומבניות ברשתית.

זהו מחקר רטרוספקטיבי שבו נאספו נתוני אנגיוגרפיה פלואורסצינית אנונימיים מבית חולים שלישוני בסין. במערך הנתונים נכללו גם רשומות רפואיות ובדיקות אנגיוגרפיה של מטופלים שהוערכו בין נובמבר 2016 לדצמבר 2019. לפיתוח והערכת המודל השתמשו בטכנולוגיית טקסט לווידיאו, כאשר מודל הבינה המלאכותית כלל שילוב של wavelet-flow variational autoencoder ושל diffusion transformer.

במחקר נכללו כ3,625 סרטוני אנגיוגרפיה פלואורסצינית - 2,851 סרטונים (78.6%) לאימון, 387 סרטונים (10.7%) לוולידציה ו-387 סרטונים (10.7%) לבדיקה.

הסרטונים שנוצרו על ידי הבינה המלאכותית הדגימו חריגות רשתית מהטקסט הקלט עם מדדים אובייקטיביים: Fréchet video distance של 2,273, ציון learned perceptual image patch similarity ממוצע של 0.48 (סטיית תקן 0.04) וציון VQAScore ממוצע של 0.61 (סטיית תקן 0.08).

ההערכות הספציפיות לתחום הראו התאמה בין הסרטונים שנוצרו לבין הנחיות הטקסט עם ציון BERTScore ממוצע של 0.35 (סטיית תקן 0.09). ציוני Recall@K היו 0.02 עבור K=5, 0.04 עבור K=10 ו-0.16 עבור K=50, מה שהניב ציון ממוצע של 0.073. ציונים נמוכים אלה משקפים הבדלים בין סרטונים שנוצרו על ידי בינה מלאכותית לסרטונים קליניים אמיתיים ומדגימים יעילות שמירת פרטיות.

להערכת האיכות הוויזואלית של הסרטונים על ידי שלושה רופאי עיניים, הציון הממוצע היה 1.57 (סטיית תקן 0.44), מה שמצביע על איכות טובה עד מצוינת. המודל הצליח ליצור סרטונים המציגים חריגות רשתית כמו אזורי אי-זילוח, דליפה ומיקרואנאוריזמות מתיאורי טקסט רפואיים.

החוקרים מסכמים כי מודל בינה מלאכותית הממיר טקסט לווידיאו הצליח ליצור סרטוני אנגיוגרפיה פלואורסצינית מתיאורי טקסט, מה שעשוי לשפר את איכות ההדמיה למטרות קליניות וחינוכיות. מאפיין השמירה על פרטיות של המודל מאפשר התמודדות עם אתגרים מרכזיים בשיתוף נתונים, תוך שמירה על סודיות ועמידה בסטנדרטים מחמירים. בכך, המודל מציע פתרון חדש לשיתוף נתונים בין-מרכזי ולשיפור החינוך הרפואי.

מקור:

https://jamanetwork.com/journals/jamaophthalmology/fullarticle/2835600

הירשמו לקבלת עדכונים בנושאים שעלו בכתבה