El Grupo de Robótica y Visión Tridimensional (RoViT) de la Universidad de Alicante (UA) ha diseñado Sign4all, la primera aplicación capaz de reconocer e interpretar en tiempo real el alfabeto de la lengua de signos española (conocida por las siglas LSE). Se trata de un avance que contribuye a romper las barreras comunicativas entre sordos y oyentes en situaciones tan cotidianas como ir a una consulta médica o comer en un restaurante. Según la última Encuesta de discapacidad, autonomía personal y situaciones de dependencia del Instituto Nacional de Estadística (INE), en España hay 1.230.000 personas con una discapacidad auditiva de distinto tipo y grado. De ellas, 27.300 personas emplean la lengua de signos para comunicarse.
Gracias al uso de diferentes técnicas de visión por computador y de aprendizaje profundo (deep learning), la doctora en Informática e investigadora de la UA Ester Martínez, junto al estudiante de doctorado Francisco Morillas, ha desarrollado esta herramienta de bajo coste con el fin de poder ofrecer asistencia a las personas sordas cuando no puedan ir acompañados de un intérprete.
Sign4all, tras capturar a la persona y extraer el detalle del esqueleto de los brazos y manos, codifica con color azul la parte izquierda del cuerpo y en rojo la parte derecha, manteniendo en todo momento el anonimato del usuario. A partir de este momento, la aplicación traduce el signo utilizado por la persona sorda en tiempo real y, en sentido opuesto, es capaz de signar mediante un avatar virtual palabras en español tecleadas por la persona oyente. “La idea es que todo este proceso se pueda hacer descargando una aplicación y utilizando la propia cámara del móvil o de una tablet, para que pueda utilizarse en cualquier lugar”, detalla Martínez.
“Tras muchas pruebas, Sign4all consigue interpretar y reconocer el alfabeto de la LSE con una precisión del 80%”, explica la investigadora de la UA. “Aunque este resultado se corresponde con el alfabeto datilológico, estamos trabajando en una versión con un vocabulario específico perteneciente al campo de las tareas cotidianas donde interpretar frases completas”, añade.
El equipo de trabajo de la UA lleva meses “entrenando” este nuevo sistema e introduciendo cada vez más signos. En este sentido, ha surgido una colaboración con el Grupo de Investigación de Lengua Española y Lenguas Signadas (GRILES) de la Universidad de Vigo, un grupo con amplia experiencia en el estudio de esta lengua y su uso en diferentes territorios. “Desde la Universidad de Vigo están recabando imágenes con intérpretes y nosotros estamos procesando todos esos datos. De este modo, podemos ampliar mucho más rápido el vocabulario de nuestro sistema de reconocimiento e interpretación de la LSE y mejorar su funcionamiento”, apunta Ester Martínez.