פרסום אקדמי
WMSM: An Efficient Real-Time Framework for Hebrew Sign Language Recognition and Sentence-Level Translation
מודל WMSM מציע אלטרנטיבה יעילה למודלי ה-Seq2Seq הכבדים, תוך התבססות על מודל זיהוי מילים ומנגנון חדשני להרכבת משפטים בזמן אמת עבור שפת סימנים. הארכיטקטורה מוכיחה כי חילוץ נתוני מיקום (Landmarks) מרחביים של כפות הידיים מספיק לטובת זיהוי מחוות מדויק, וכי שימוש בפונקציית Loss ייעודית שומר על יציבות ורציפות התרגום גם בשידור וידאו חי.
- דיוק של 97.29% ברמת המילה וציון BLEU-4 של 21.15 בתרגום משפטים.
- צמצום זמן האימון ל-24 שעות GPU בלבד (הפחתת עלות חישובית של 99.93%).
- פייפליין אוגמנטציה מורכב שהרחיב 2,342 סרטונים ל-252,712 דגימות אימון.
- הוטמע באפליקציית iOS חיה (Handibur) לשיחות וידאו עם תרגום בזמן אמת ב-40 FPS.
- הוצג בכנסים בינלאומיים בווינה ובישראל.