Sessão de Defesa da Tese de Doutorado No. 57 do PPGEEC - Sistemas de Estimação Visual-temporal de Biossinais e Assinaturas de Movimento em Vídeos para Interação Humano-Robô

DISCENTE :  JOÃO MARCELO SILVA SOUZA

DATA : 26/03/2025

HORA: 09:00

LOCAL: https://us02web.zoom.us/j/83991196315?pwd=lBjuIQzL6onl3bQoeqrSOBRe0DavbJ.1

TÍTULO: Sistemas de Estimação Visual-temporal de Biossinais e Assinaturas de Movimento em Vídeos para Interação Humano-Robô

PALAVRAS-CHAVES: Biossinais; visual-temporal; expressões faciais; assinaturas de movimentos; pontos de interesse faciais; normalização espaço-temporal; séries temporais; VT-FER; FBioT; FACS.

RESUMO: Na Interação Humano-Robô (IHR), a estimação visual de biossinais ao longo do tempo é fundamental para a extração de características humanas, a interpretação de comportamentos e o fornecimento de feedback e estímulos ciberfísicos diversos. Nesse contexto, sistemas de Facial Expression Recognition (FER) vêm sendo desenvolvidos para automatizar a análise computacional do comportamento humano, um processo que exige observação minuciosa e tratamento complexo de correlações espaço-temporais de forma integrada. Contudo, os sistemas e datasets de FER atuais exploram predominantemente aspectos espaciais, estáticos ou instantâneos, limitando a investigação de deformações musculares faciais e movimentações ao longo do tempo aplicadas a situações do mundo real. Para superar essa limitação, este trabalho propõe uma abordagem alternativa ao domínio convencional de imagens, conectando a representação visual de pontos de interesse a descritores temporais. Para isso, os pontos são referenciados ao longo do tempo, normalizados de forma espaço-temporal e transformados em medidas que geram assinaturas de movimento representadas por meio de séries temporais multivariadas. Este trabalho apresenta: a proposta de metodologia denominada Visual-Temporal FER (VT-FER) e seu respectivo framework; as 22 medidas padronizadas baseadas nos fundamentos do FACS; a arquitetura do pipeline para sistemas computacionais; e um novo dataset, o Facial Biosignals Time-Series (FBioT), composto por mais de 21 mil segundos de vídeos de situações reais, gerados em ambiente não controlado e oriundos de bases públicas. Os resultados dos protótipos permitiram validar as hipóteses temporais da proposta, atingindo patamares de acurácia compatíveis com benchmarks da comunidade científica: 94% na rede neural treinada com dados de referência do CK+ para detecção de emoções em ambiente controlado; e 72% para detecção de arousal em ambiente não controlado, com base na referência AFEW. Além disso, com o dataset FBioT foi possível explorar o potencial da metodologia no desenvolvimento de redes neurais, atingindo 80% de acurácia na detecção visual-temporal de emoções embutidas em conversação e 88% na identificação visual de palavras a partir da observação temporal da boca.

MEMBROS DA BANCA: 

JES DE JESUS FIAIS CERQUEIRA (PRESIDENTE)        UFBA

WAGNER LUIZ ALVES DE OLIVEIRA                        UFBA

ANTONIO CARLOS LOPES FERNANDES JUNIOR   UFBA

EDUARDO FURTADO DE SIMAS FILHO                   UFBA 

FERNANDO ALBERTO CORREIA DOS SANTOS      PUC - RJ

THAMILES RODRIGUES DE MELO                          SENAI/CIMATEC

Em 20/03/2025