El Grup de Robòtica i Visió Tridimensional (RoViT) de la Universitat d’Alacant (UA) ha dissenyat Sign4all, la primera aplicació capaç de reconèixer i interpretar en temps real l’alfabet de la llengua de signes espanyola (coneguda per les sigles LSE). Es tracta d’un avanç que contribueix a trencar les barreres comunicatives entre sords i oients en situacions tan quotidianes com anar a una consulta mèdica o menjar en un restaurant. Segons l’última Enquesta de discapacitat, autonomia personal i situacions de dependència de l’Institut Nacional d’Estadística (INE), a Espanya hi ha 1.230.000 persones amb una discapacitat auditiva de diferent tipus i grau. D’aquestes, 27.300 persones empren la llengua de signes per a comunicar-se.
Gràcies a l’ús de diferents tècniques de visió per computador i d’aprenentatge profund (deep learning), la doctora en Informàtica i investigadora de la UA, Ester Martínez, juntament amb l’estudiant de doctorat Francisco Morillas, ha desenvolupat aquesta eina de baix cost amb la finalitat de poder oferir assistència a les persones sordes quan no puguen estar acompanyades d’un intèrpret.
Sign4all, després de capturar la persona i extraure’n el detall de l’esquelet dels braços i mans, codifica amb color blau la part esquerra del cos i en roig la part dreta, i manté en tot moment l’anonimat de la persona usuària. A partir d’aquest moment, l’aplicació tradueix el signe utilitzat per la persona sorda en temps real i, en sentit oposat, és capaç de signar mitjançant un avatar virtual paraules en espanyol teclejades per la persona oient. «La idea és que tot aquest procés es puga fer descarregant una aplicació i utilitzant la mateixa càmera del mòbil o d’una tauleta electrònica, perquè puga utilitzar-se en qualsevol lloc», detalla Martínez.
«Després de moltes proves, Sign4all aconsegueix interpretar i reconèixer l’alfabet de la LSE amb una precisió del 80%», explica la investigadora de la UA. «Encara que aquest resultat es correspon amb l’alfabet dactilològic, estem treballant en una versió amb un vocabulari específic pertanyent al camp de les tasques quotidianes on interpretar frases completes», hi afig.
L’equip de treball de la UA fa mesos que «entrena» aquest nou sistema i introdueix cada vegada més signes. En aquest sentit, ha sorgit una col·laboració amb el Grup d’Investigació de Llengua Espanyola i Llengües Signades (GRILES) de la Universitat de Vigo, un grup amb una àmplia experiència en l’estudi d’aquesta llengua i el seu ús en diferents territoris. «Des de la Universitat de Vigo estan recaptant imatges amb intèrprets i nosaltres estem processant totes aquestes dades. D’aquesta manera, podem ampliar molt més ràpid el vocabulari del nostre sistema de reconeixement i interpretació de la LSE i millorar-ne el funcionament», apunta Ester Martínez.