PPGEE Sesión de Defensa de Tesis Doctoral N° 57 - Sistemas de Estimación Visual-temporal de Bioseñales y Firmas de Movimiento en Vídeos para la Interacción Humano-Robot

 

ESTUDIANTE: JOAO MARCELO SILVA SOUZA

 

FECHA: 26/03/2025

 

HORA: 09:00

 

UBICACIÓN: https://us02web.zoom.us/j/83991196315?pwd=lBjuIQzL6onl3bQoeqrSOBRe0DavbJ.1

 

TÍTULO: Sistemas de estimación visual-temporal de bioseñales y firmas de movimiento en vídeos para la interacción humano-robot

 

 

PALABRAS CLAVE: Bioseñales; visual-temporal; expresiones faciales; firmas de movimiento; puntos de interés faciales; normalización espaciotemporal; series de tiempo; VT-FER; FBioT; FACS.

 

RESUMEN: En la interacción humano-robot (HRI), la estimación visual de bioseñales a lo largo del tiempo es esencial para extraer características humanas, interpretar comportamientos y proporcionar diversos estímulos y retroalimentación ciberfísica. En este contexto, se han desarrollado sistemas de Reconocimiento de Expresiones Faciales (FER) para automatizar el análisis computacional del comportamiento humano, un proceso que requiere la observación detallada y el tratamiento complejo de correlaciones espacio-temporales de forma integrada. Sin embargo, los sistemas y conjuntos de datos FER actuales exploran predominantemente aspectos espaciales, estáticos o instantáneos, lo que limita la investigación de las deformaciones y los movimientos de los músculos faciales a lo largo del tiempo aplicados a situaciones del mundo real. Para superar esta limitación, este trabajo propone un enfoque alternativo al dominio de la imagen convencional, conectando la representación visual de los puntos de interés con descriptores temporales. Para ello, los puntos se referencian en el tiempo, se normalizan espaciotemporalmente y se transforman en medidas que generan firmas de movimiento representadas a través de series de tiempo multivariadas. En este trabajo se presenta: la metodología propuesta denominada FER Visual-Temporal (VT-FER) y su respectivo marco de trabajo; las 22 medidas estandarizadas basadas en los fundamentos de FACS; la arquitectura de tuberías para sistemas informáticos; y un nuevo conjunto de datos, el Facial Biosignals Time-Series (FBioT), compuesto por más de 21 mil segundos de vídeos de situaciones reales, generados en un entorno no controlado y originados en bases de datos públicas. Los resultados de los prototipos permitieron validar las hipótesis temporales de la propuesta, alcanzando niveles de precisión compatibles con benchmarks de la comunidad científica: 94% en la red neuronal entrenada con datos de referencia CK+ para la detección de emociones en un entorno controlado; y 72% para la detección de excitación en un entorno no controlado, según la referencia AFEW. Además, con el conjunto de datos FBioT fue posible explorar el potencial de la metodología en el desarrollo de redes neuronales, alcanzando un 80% de precisión en la detección visual-temporal de emociones insertas en una conversación y un 88% en la identificación visual de palabras a partir de la observación temporal de la boca.

 

MIEMBROS DE LA JUNTA DIRECTIVA:

 

JES DE JESÚS FIAIS CERQUEIRA (PRESIDENTE)     UFBA

WAGNER LUIZ ALVES DE OLIVEIRA                       UFBA

ANTONIO CARLOS LOPES FERNANDES JUNIOR       UFBA

EDUARDO FURTADO DE SIMAS FILHO                   UFBA 

FERNANDO ALBERTO CORREIA DOS SANTOS        PUC - RJ

THAMILES RODRIGUES DE MELO                         SENAI/CIMATEC

Em 20/03/2025