VOI - Voice of Indonesia | Informing, Connecting, Dignifying

VOINEWS.ID - El Dr. Erdefi Rakun, investigador y conferencista principal de la Facultad de Ciencias de la Computación de la Universidad de Indonesia (Fasilkom UI), desarrolló una aplicación móvil capaz de reconocer, traducir y transformar videos en movimiento del Sistema de Signos de Indonesia -SIBI en texto indonesio.

Actualmente, se puede acceder a estas aplicaciones a través de teléfonos inteligentes con la plataforma Android. El sistema de traducción desarrollado por el Dr. Erdefi es capaz de reconocer señales SIBI con una tasa de precisión que alcanza el 98%.

El Dr. Erdefi explicó que el propósito de desarrollar esta aplicación es facilitar el aprendizaje del lenguaje de señas para aquellos que lo necesitan, como aquellos con necesidades especiales, el personal docente, los padres y la comunidad.

Actualmente está desarrollando dos aplicaciones relacionadas con SIBI, a saber, una aplicación para traducir texto a gesto y una aplicación para traducir gesto a texto. Sin embargo, ahora su equipo se centra en abordar primero el problema más difícil, a saber, el sistema de traducción de gestos a texto. El sistema de traducción que han desarrollado puede acomodar movimientos gestuales en SIBI, que siguen la estructura gramatical del indonesio.

Para construir este sistema de traducción, el Dr. Erdefi y el equipo usan MobileNet para extraer funciones de video. Luego, también utiliza el modelo de campos aleatorios condicionales de umbral (T-CRF) para identificar qué fotogramas de video contienen gestos y qué fotogramas de video no contienen gestos.

Para poder traducir los gestos SIBI a texto indonesio, la aplicación necesita la capacidad de reconocer cada gesto SIBI. Entonces, el Dr. Erdefi colaboró con maestros y estudiantes de la Escuela Especial Santi Rama en la grabación del movimiento gestual SIBI.(Trans Brg/Edit Dvd)