Traducir el lenguaje de signos con un Smartphone

Las personas con discapacidades auditivas podrían estar de enhorabuena si el software desarrollado por Google acaba siendo interpretado y transformado en aplicaciones por alguna compañía de teléfonos inteligentes. De ser así, las conversaciones realizadas por lenguaje de signos, con las manos, tendrían una traducción inmediata y la comunicación entre personas sordas y personas oyentes sería mucho más sencilla.

La Inteligencia Artificial ya nos ha ido dando pistas sobre su potencial con las traducciones automáticas de voz y texto. Y aunque la precisión tiene que seguir mejorando hasta alcanzar un nivel profesional, en un plano comunicativo, y en ciertos idiomas, esta tecnología resuelve bien las necesidades. Google, siempre en la vanguardia, tiene la vista puesta en la Inteligencia Artificial en numerosos campos, tal y como dejó claro en la Conferencia Anual de Desarrolladores celebrada en California, el pasado mes de mayo.

Y ahora, da un paso más con la traducción del lenguaje de signos. Los ingenieros de investigación de Google, Valentin Bazarevsky y Fan Zhang, aseguran que la intención de la tecnología de seguimiento de manos sirve como “la base para la comprensión del lenguaje de signos y aunque quizá al principio resulte difícil captar algunas conversaciones hechas con las manos, seguiremos con nuestra investigación para hacer que la tecnología sea más sólida y vaya aumentando la cantidad de gestos que podamos detectar de manera fiable”.

El principal objetivo de los investigadores es reducir la cantidad de datos que los algoritmos necesitan para filtrar, porque cuantos menos datos, el tiempo de respuesta es más rápido.

Jesal Vishnuram, gerente de tecnología de Action on Hearing Loss, dice que la iniciativa es un buen primer paso para escuchar a las personas, pero que debe combinarse con otras capacidades: “Desde la perspectiva de una persona sorda, sería más beneficioso desarrollar un software que pudiera proporcionar traducciones automáticas de texto o audio al lenguaje de señas británico (BSL) para ayudar en las conversaciones cotidianas y reducir el aislamiento en el mundo de la audición”.

Por su parte, los activistas de la comunidad con discapacidad auditiva consideran que, a pesar de estar contentos con el invento de Google, una aplicación que produzca audio solo con señales manuales perdería cualquier expresión facial o velocidad de actuación y esto puede cambiar el significado de lo que se está discutiendo y además estas Apps no incluirían ningún regionalismo que exista en un área local determinada.

El mecanismo desarrollado por la IA de Google genera un mapa preciso de las manos y sus dedos solo con un Smartphone. Primero se reconoce la palma, y luego los dedos que brotan de un extremo, y se pueden analizar por separado. Un algoritmo observa la imagen y le asigna 21 coordenadas, y las coordina aproximadamente con los nudillos y las yemas de los dedos.

Para hacer esta parte de reconocimiento de dedos, los investigadores tuvieron que agregar manualmente esos 21 puntos a unas 30.000 imágenes de manos en varias poses y situaciones de iluminación para que el sistema de aprendizaje automático lo integrase. Una vez que se determina la pose de la mano, esa pose se compara con un grupo de gestos conocidos, desde símbolos del lenguaje de signos para letras y números hasta gestos comunes como el símbolo de la paz o el de “OK”.

Un Smartphone con cámara es lo único que se necesita para que este nuevo algoritmo siga el movimiento de las manos del usuario una vez que ha tenido la ocasión de mapearlas enfocándolas con la cámara de su móvil. Y Google AI Labs por su parte y sorpresivamente, ha decidido lanzar el código en código abierto para que cualquiera que desee desarrollar aplicaciones lo haga.

El uso de la Inteligencia Artificial para mejorar la calidad de vida de los colectivos con algún tipo de discapacidad está dando unos resultados extraordinarios. Para los invidentes, por ejemplo, se han lanzado recientemente las gafas Eyesynth, con tecnología 3D, que registran el espacio que nos rodea y un microordenador procesa la información y la convierte en audio comprensible para las personas ciegas.

Ahora toca esperar a ver quién coge el relevo.