جميع المشاريع →

اللغة في حركة

دراسة المسافة بين الكلمات والإشارة.

الدور

باحث ومطور مستقل

السياق

مترجم الإشارة

الأدوات والأساليب

إعادة البناء ثلاثي الأبعاد · PyTorch · Blender · التكميم المتجهي المتبقي · نماذج Transformer الانحدارية الذاتية

مشروع «اللغة في حركة»: نموذج جزيرة مصمَّم يدويًا
شرح الجزيرة

استوديو لالتقاط الحركة، والأدوات التي تُبقي نتائجه صادقة.

رسم توضيحي أُنشئ لهذا الموقع باستخدام Blender. يشرح الفكرة، وليس بيانات من المشروع.

تُعرض الصور والمخططات ومقاطع الفيديو الأصلية بلغتها الأصلية.

السؤال

قادني السعي إلى جعل تعليم العلوم أيسر منالًا إلى سؤال بحثي صعب: كيف يمكن أن ترتبط اللغة بالحركة المنسَّقة؟ يستكشف مشروع Sign-Translator هذا السؤال من فيديو الاستوديو حتى شخصية افتراضية مُصيَّرة، مع إبقاء الحركة المولَّدة متمايزة عن لغة الإشارة الأمريكية المتحقَّق من صحتها لغويًا. ولم يقيّم أي شخص أصم يستخدم لغة الإشارة مخرجاته حتى الآن، والمشروع يصرّح بذلك أينما ظهرت نتيجة.

32رمزًا للحركة في كل إطار
24إطارًا في الثانية
2.40 / 4.03الإشارات المولَّدة مقابل الحقيقية وفق درجة الترجمة العكسية في المشروع
0عدد المقيّمين الصمّ حتى الآن، بحسب إحصاء المشروع نفسه
01

أكثر من تسلسل لوضعيات اليد

تنسّق لغة الإشارة بين اليدين والجسم والوجه والنظر والتوقيت. ويمثّلها المشروع جميعًا على ساعة واحدة: إحدى عشرة قناة بمعدل 24 إطارًا في الثانية، تشمل دورانات الجسم واليدين، وحركة الرأس، و52 معاملًا للوجه، والنظر، والرمش، والتلامس. وتحمل كل قيمة علامة تبيّن هل رُصدت فعلًا، فتظل البيانات المفقودة ظاهرة بدلًا من أن تُملأ بصمت.

02

كاميرتان، وهيكل واحد

تأتي الحركة من فيديو استوديو مصوَّر من الأمام ومن الجانب. يجد مقدِّر الوضعيات النقاط الرئيسية في كل منظر؛ وتُزامَن المناظر بحركة المعصمين والمرفقين، وتُعايَر الكاميرات من اللقطات نفسها، وتُثلَّث النقاط المتطابقة للحصول على مواقعها ثلاثية الأبعاد. ومن نتائج هذه المرحلة: حين تكون الكاميرتان مثبتتين على الشخص الذي يؤدي الإشارات، لا يمكن استعادة البعد البؤري من الهندسة وحدها. وقد أدت إضافة حد لثبات أطوال العظام إلى المعايرة إلى خفض خطأ البعد البؤري من 40–47% إلى ما دون 1%.

03

مفردات للحركة

يحوّل مُكمِّم متجهي متبقٍّ كل إطار إلى 32 رمزًا منفصلًا: أربعة أجزاء من الجسم (الجسم، واليد اليسرى، واليد اليمنى، والوجه)، يُنقَّح كل منها عبر ثماني مراحل. ويحافظ التقسيم بحسب الجزء على فروق كان سيطمسها تيار واحد من الإحداثيات، كما أن الانتقال من دفتر رموز واحد إلى التصميم المتبقي خفّض خطأ إعادة البناء من نحو 19° و11 سم إلى نحو 8° و2 سم.

04

ما الذي لم ينجح، وما الذي حلّ محله

كانت الخطة الأولى توليد جملة كاملة من الحركة من النص دفعة واحدة. لكن وفق أدوات القياس في المشروع، لم يتميّز أي مولِّد شامل عن انعدام الحركة. والمسار الحالي هو التركيب: توليد كل كلمة على حدة، وأخذ ست عشرة عينة منها، والإبقاء على العينة التي يقرؤها نموذج التعرّف على نحو أفضل، ثم وصل الكلمات بتوقيت متنبَّأ به. وتتبع المخرجات ترتيب الكلمات في الإنجليزية، وهو ليس قواعد لغة الإشارة الأمريكية، والمشروع يصرّح بذلك بوضوح.

05

قراءة المقياس

تُقيَّم الحركة المولَّدة بترجمتها عكسيًا إلى الإنجليزية ومقارنتها بالجملة الأصلية، دائمًا إلى جانب ضوابط: إشارات حقيقية، وانعدام الحركة، وترتيب مخلوط، والجملة الخاطئة. على مجموعة جديدة من الجمل لم تُقرأ إلا مرة واحدة، حصل التركيب على 2.40، والإشارات الحقيقية على 4.03، وانعدام الحركة على 2.05. وكان الهدف المرحلي 2.55. لم يتحقق، ونُشرت النتيجة دون إعادة المحاولة.

التنفيذ التقني

يجب أن تظل اللغة موجودة في المسار بأكمله.

  1. 01

    ضع الحركة على ساعة واحدة

    تُحاذى مقاطع How2Sign المصوَّرة من الأمام ومن الجانب باستخدام حركة المعالم، ثم تُعايَر الكاميرات وتُثلَّث المواقع وتُوائَم دورانات المفاصل. وتقيّد فحوص إعادة الإسقاط وصلابة العظام عملية إعادة البناء. وهذه تقديرات مشتقة من الفيديو، مع الاحتفاظ بمصدرها، وليست حقيقة مرجعية من التقاط الحركة.

  2. 02

    تنبّأ بالرموز، لا بالإحداثيات

    يتنبأ نموذج Transformer انحداري ذاتي بالرموز المتبقية انطلاقًا من النص، وهو يتألف من نموذج زمني سببي عبر الإطارات، ومرمِّز نصي على مستوى البايت، ونموذج عمق أصغر عبر المراحل الثماني. في البداية، كان التعرّف على العينات المولَّدة ذاتيًا دون توجيه أقل بكثير مما توحي به تنبؤات الخطوة الواحدة؛ ثم سدّ التقليم وإسقاط السياق السابق والخسائر المقنَّعة معظم تلك الفجوة بالنسبة إلى الكلمات المفردة.

  3. 03

    اختبر ما تقيسه النتيجة

    منح مُقيِّم استرجاع سابق حركةً دوراناتها مصفَّرة درجاتٍ جيدة على نحو مفاجئ: كانت مدة المقطع تسرّب الإجابة. وقد جعلت النوافذ الثابتة ذات الثانيتين، والإزاحات العشوائية، وضابطٌ يعتمد على المدة وحدها هذا الاختصار قابلًا للاختبار. ويُطبَّق الشك ذاته على كل أداة قياس لاحقة قبل أن يُسمح لها بتقييم المولِّد.

حُدِّد معيار الإصدار قبل أي تقييم بشري: يجب أن يفهم المقيِّمون الصمّ الجمل المولَّدة في 70% من الحالات على الأقل، وبفارق لا يتجاوز عشر نقاط عن الإشارات الحقيقية. وقد صُمِّمت هذه الدراسة لكنها لم تُجرَ بعد. وإلى أن تُجرى، لا شيء هنا يدعم ادعاء إنتاج لغة إشارة أمريكية مفهومة.

اقرأ تجارب التدريب المستمر
ما لا يُظهره هذا العمل

الحدود، بصراحة.

  • لم يقيّم أي شخص أصم يستخدم لغة الإشارة الحركةَ المولَّدة. والدرجات الآلية مؤشر بديل، لا دليل على الفهم.
  • تتبع المخرجات ترتيب الكلمات في الإنجليزية، ولا تنمذج قواعد ASL النحوية.
  • أوزان النموذج غير منشورة، والنظام ليس مترجمًا جاهزًا للاستخدام الفعلي.
من محفظتي للأفلام

من الملاحظات إلى الحركة.

شاهد الفيلم كاملا
تحميل الفيديو

الصوت الإنجليزي. التسميات التوضيحية متاحة بجميع لغات الموقع العشر؛ تتم الترجمات بمساعدة الآلة.

اقرأ النص

00:00 كل هذا الفضول قادني إلى Sign-Translator.

00:03 تلتقي الخطوط من كاميرتين عند كل مفصل، مما يعطي موقعها ثلاثي الأبعاد.

00:08 باستخدام ثبات أطوال العظام، انخفض خطأ البعد البؤري من أكثر من 40% إلى أقل من 1%.

00:14 تُضغط الحركة إلى رموز تشبه المفردات، ثم يولّد نموذج Transformer هذه الرموز من النص الإنجليزي.

00:21 ثم فشل كل شيء تقريبًا.

00:22 لم تنقل نماذج توليد حركة الجملة كاملةً معنىً أفضل من شخصية ثابتة بلا حركة.

00:26 اجتاز أحد النماذج اختبارات الحركة الـ95 كلها، لكنه ظل عاجزًا عن إيصال معنى جملة.

00:32 والآن يقوم النظام بإنشاء كل كلمة على حدة ويقوم بربط المقاطع معًا.

00:37 الكلمات التي لا يعرفها تختفي ببساطة.

00:39 لتسجيلها، يقوم النموذج بقراءة الحركة مرة أخرى باللغة الإنجليزية.

00:43 بلغت نتيجة الإدخال بلا حركة 2.05، والحركة المولّدة 2.4، ولغة الإشارة الحقيقية نحو 4.

00:49 إنه تحسّن صغير، لكنه بداية.

00:51 شكرا على المشاهدة.

مقتطف من فيلم محفظتي: معالم اليد، وإعادة البناء، والحركة المولدة، وقيود التقييم. توضح الصورة الرمزية والنتائج التلقائية المقدمة العمل البحثي الجاري؛ أنها لا تثبت وضوح لغة الإشارة.

ملاحظات مرئية / من المستودع

من الكلمات
إلى الحركة.

تم تقديم اختبار النطق اليدوي الأصلي من جهاز الصورة الرمزية Sign-Translator
طبقة العرض

وضعية فقط
البداية.

يجب على نموذج الحركة في النهاية أن يقود الجسم. يأتي هذا العرض المفصلي اليدوي الأصلي من عمليات فحص منصة المستودع: نظرة فاحصة على الشكل الهندسي والسلوك المشترك خلف الصورة الرمزية.

اختبار منصة الحفر الثابتة. ولا يصور جملة مترجمة.

رسم تخطيطي للنظام يفصل خط الأساس الاصطناعي القابل للتشغيل عن وحدات بحث اللغة والحركة والعرض الأوسع

النظام وحدوده.

تفصل خريطة بنية المستودع النواة التركيبية القابلة للتشغيل عن تصميم الترجمة الأكبر. تتبع تجارب الحركة المستمرة الأحدث الموصوفة أعلاه مسارًا تدريبيًا منفصلاً.

عرض الرسم التخطيطي بالحجم الكامل
تقوم برامج تشفير اللغة والحركة بعرض أمثلة مقترنة في مساحة تضمين موحدة مشتركة، ويتم تدريبها بهدف متباين

هل يمكن أن تجتمع اللغة والحركة؟

تقوم شبكة الرسم البياني الزماني المكاني بتشفير حركة المفصل. يتم تطبيع نواقل اللغة والحركة ومواءمتها مع خسارة تباينية متماثلة: يجب أن تكون الأزواج المتطابقة أقرب من الأزواج غير المتطابقة. اختبارات الاسترجاع تستكشف تلك المحاذاة.

عرض الرسم التخطيطي بالحجم الكامل
مزيد من الاستكشافكيف تم تصميم الانتشار المشروط
تصميم الانتشار الشرطي: يتم تقليل الضوضاء تدريجيًا إلى حركة تحت تكييف اللغة

فرضية توليدية.

يوثق هذا المخطط تصميم بحث الانتشار المشروط. كشفت التجارب المستمرة عن وضع فشل شبه ثابت؛ يستخدم جهاز فك التشفير المستمر المحدد بدلاً من ذلك رموز الحركة المنفصلة.

عرض الرسم التخطيطي بالحجم الكامل
مزيد من الاستكشافما تتطلبه حركة التدفق
تصميم التدفق الذي يفصل بين المخزن المؤقت والتعرف على الكلام والتخطيط وتوليد الحركة ومراحل العرض

التوقيت جزء من الواجهة.

يميز عقد التدفق الوقت للإخراج الأول من الإنتاجية المستدامة. كما أنه يحدد أيضًا بادئة ملتزمة للإلحاق فقط، لذا لا يمكن للتنبؤ اللاحق إعادة كتابة الحركة المعروضة بالفعل. هذا عقد تصميم، وليس مطالبة بزمن وصول الإنتاج المُقاس.

عرض الرسم التخطيطي بالحجم الكامل
جزر قريبة

نقاط الالتقاء.

السياق والقراءة الإضافية

نموذج بحثي أولي قيد التطوير. توثّق المخططات أدناه أجزاء سابقة من تصميم البحث، وصورة اليد اختبار لهيكل التحريك. ولا يثبت توليد الحركة ولا فحص التصيير صحة لغة الإشارة الأمريكية (ASL) لغويًا. ولا يزال التقييم المستقل لقابلية الفهم ضروريًا. فيديو الاستوديو: How2Sign (CC BY-NC 4.0).