Un nuevo paso hacia la accesibilidad

Google ha presentado un modelo de traducción de lenguaje de señas que puede transformar movimientos corporales complejos en texto. Este avance se implementará inicialmente en el sistema operativo de los celulares Pixel 11, comenzando por el idioma American Sign Language (ASL).

El modelo SL2T no solo traduce señas a texto, sino que también permite a los usuarios interactuar con funciones clave de sus dispositivos. Por ejemplo, pueden buscar en la web, redactar mensajes y escribir documentos simplemente usando señas.

La tecnología detrás del modelo

La traducción del lenguaje de señas es un desafío particular, ya que las lenguas de señas son sistemas lingüísticos independientes con gramática y vocabulario propios. El modelo SL2T aborda este desafío transformando los movimientos en una representación estructurada que posteriormente se traduce en texto.

'Estamos emocionados de ver cómo esta tecnología puede mejorar la vida de las personas sordas y con discapacidad auditiva', dijo un portavoz de Google.

Privacidad y seguridad

Para proteger la privacidad, el sistema prescinde del envío de video crudo a los servidores de Google. En cambio, emplea el modelo MediaPipe Holistic para identificar puntos de referencia en el cuerpo de la persona que signa. Estos puntos de referencia se envían para la traducción, mientras que el video original se elimina de inmediato.

Entrenamiento y evaluación

El modelo SL2T se entrenó con más de 100.000 horas de datos de lenguaje de señas, abarcando más de 50 idiomas. Un cuarto de este corpus corresponde al ASL. El modelo alcanzó un puntaje 'zero-shot' de 70 BLEURT, superando ampliamente los resultados registrados hasta el momento.

Futuro del proyecto

Durante el proceso de desarrollo, Google involucró activamente a usuarios sordos y organizaciones especializadas. El modelo SL2T es un paso importante hacia la accesibilidad en la tecnología, y Google planea continuar trabajando en este proyecto para mejorar la vida de las personas sordas y con discapacidad auditiva.