تقنية جديدة تترجم لغة الإشارة إلى الإنجليزية بشكل فوري

طورت طالبة الهندسة المدنية بريانجالي غوبتا المتخصصة بعلوم البيانات حديثا أداة ذكاء اصطناعي تترجم لغة الإشارة إلى اللغة الإنجليزية بشكل فوري.

واعتمدت غوبتا في أداتها على واجهة برمجة تطبيقات لاكتشاف الأشكال؛ تدعى "تينسور فلو"، ليتمكن النموذج من نقل التعلم من خلال نموذج مدرب مسبقا يدعى "إس إس دي موبايل سيت".

وينشئ النموذج مجموعة البيانات يدويا من خلال تشغيل برمجية تجمع الصور للكلمات المذكورة أدناه بلغة الإشارة الأمريكية؛ مثل: مرحبا، أحبك، شكرا لك، من فضلك، نعم، لا.

ونسبت غوبتا الفضل الأكبر في إلهامها فكرتها إلى فيديو لعالم البيانات نيكولاس رينوت، عن اكتشاف لغة الإشارة في الوقت الحقيقي؛ وفقا لموقع "إنترستنج إنجنيرينج".

وأنشأت غوبتا مجموعة البيانات يدويا باستخدام كاميرا للويب وتعليقات توضيحية، ليتدرب النموذج حاليا على التقاط صور ثابتة، ويجب تدريبه على التقاط إطارات متعددة ليتمكن من اكتشاف لغة الإشارة في مقاطع الفيديو، وسيكون ذلك باستخدام شبكات الذاكرة طويلة وقصيرة المدى التي تمثل حلا فعالا لمشكلات التنبؤ بالتسلسل في علم البيانات.

وأشارت غوبتا إلى أن إنجاز نموذج تعلم عميق من الصفر لاكتشاف لغة الإشارة ليس بالأمر السهل، لأن إنشاء شبكة عصبية فقط لاكتشاف لغة الإشارة أمر معقد إلى حد ما على طالبة هاوية، لكنها على ثقة بأن المجتمع التقني مفتوح المصدر سيجد حلا للمشكلات التي تستعصي عليها.

وعلى الرغم من أن لغة الإشارة الأمريكية هي ثالث اللغات استخداما بعد الإنجليزية والإسبانية، هناك تأخر واضح في التطبيقات والتقنيات لترجمتها.

ولم يسلط الضوء على هذه اللغة إلا عبر منصة "زووم" خلال فترة كورونا، وأحد الأمثلة على ذلك تقديم باحثي الذكاء الاصطناعي في غوغل نموذجا لاكتشاف لغة الإشارة في الوقت الحقيقي، يستطيع تحديد الأشخاص الذين يتحدثون لغة الإشارة بنسبة 91%.

وفي حين يعمل الباحثون لإيجاد أفضل الحلول العملية، ترى غوبتا أن أولى الخطوات هي تطبيع لغة الإشارة وباقي طرق التواصل عند ذوي الهمم والعمل على ردم الهوة في التواصل.

تجارب سابقة

وتبرز بين الحين والآخر تجارب عالمية تسعى للوصول إلى حل جذري لمعضلة التفاعل بين الصم والبكم مع محيطهم، وكان أحد تلك التجارب المُعلَن عنها عام 2017، هو ابتكار أمريكي لقفازات كهربائية تُحوِّل لغة الإشارة إلى رسائل نصية تُعرَض على الهاتف الذكي أو الحاسب.

وبات الاختراع الأمريكي، الذي طوره مخترعون في جامعة كاليفورنيا متداولا في الأسواق، بسعر 100 دولار، وهو عبارة عن قفازات مزودة بتسع حساسات على مفاصل الأصابع، بحيث تتمدد عندما يحني المستخدم أصابعه، ما يؤدي إلى إنتاج إشارة كهربائية، تعالج بوساطة البرنامج لمعرفة معنى الحركة.

وعربيا؛ نجحت المهندسة السورية خريستينا سمير فياض، في تطوير قفاز إلكتروني أطلقت عليه اسم "صوت البكم" لتحويل لغة الإشارة إلى لغة منطوقة ومكتوبة باللغة العربية.

ويقوم ابتكار فياض على بناء قاعدة برمجية معرفية للغة العربية، هي الأولى من نوعها عالميا.

ويعتمد الابتكار على تحويل الإشارة إلى مقاطع صوتية تصدر عن الهاتف النقال بعد ربط حساسات القفاز بتطبيق خاص بالهاتف عبر البلوتوث وكذلك الأمر بالنسبة للرسائل النصية.

وعندما يريد مستخدم القفاز أن يتواصل مع الوسط المحيط به، يرسم الإشارة الموافقة للكلمة المرغوبة، حسب لغة الإشارة، لتتعرف قيم حساسات القفاز على الكلمة عن طريق التطبيق الخاص بالقفاز على الهاتف النقال، بحيث يميز الكلمة الموافقة للإشارة ويحولها إلى مقطع صوتي ونص مكتوب.

وقالت فياض، في حديث لـ "إرم نيوز"، إن "صوت البكم يهدف إلى اندماج الصم البكم في المجتمع، بشكل صحي، ومنحهم فرصة لمتابعة دراستهم وتحصيلهم العلمي، فضلا عن دخولهم في سوق العمل".

وتشير تقارير دولية إلى وجود نحو 350 مليون أصم وأبكم حول العالم؛ يعيش نحو 10 مليون منهم في الدول العربية، وكثير منهم يستخدمون لغة الإشارة للتواصل.

لكن عددا قليلا جدا من الناس الأصحاء يفهمون لغة الإشارة في الواقع، ما يبرز الحاجة إلى أدوات وابتكارات تردم هوة الاتصال بين هذين العالمين.