Sessão de Defesa da Tese de Doutorado No. 51 do PPGEE - SISTEMA PARA RECONHECIMENTO DE EMOÇÃO MULTIMODAL E MULTICLASSE PARA INTERAÇÃO HUMANO-ROBÔ

DISCENTE : LARA TOLEDO CORDEIRO OTTONI

 

DATA : 04/10/2024

 

HORA: 09:00

 

LOCAL: https://us02web.zoom.us/j/89785133180?pwd=pGJBLQh9csArDCXNA1v5NLF3DV6ZBh.1

 

TÍTULO: SISTEMA PARA RECONHECIMENTO DE EMOÇÃO MULTIMODAL E MULTICLASSE PARA INTERAÇÃO HUMANO-ROBÔ

 

 

 

PALAVRAS-CHAVES: Reconhecimento de Emoção; Sistema Multimodal; Interação Humano-Robô; Aprendizado de Máquina; Sistema Fuzzy;

 

 

RESUMO:

O desafio da Interação Humano-Robô (IHR) é construir sistemas inteligentes que possam se adaptar às mudanças dos usuários e do ambiente, a fim de melhorar a interação em tempo real. Desta forma, uma abordagem crescente é o uso de emoções na IHR. Neste sentido, existem os sistemas de reconhecimento de emoção multimodal, no qual, realiza a classificação das emoções em várias modalidades (expressão facial, gestos, fala, e outros). No entanto, embora existam estudos que tratam do reconhecimento multimodal de emoções, eles ainda apresentam limitações na metodologia da classificação das emoções, além de considerar as emoções como binárias e ignorando as várias emoções que podem estar presentes no usuário. Assim, o objetivo deste trabalho é propor um sistema de reconhecimento de emoções multimodal e multiclasse para a interação humano-robô. É proposto o uso das modalidades de expressão facial e fala, assim como a fusão das emoções. O Módulo de Reconhecimento de Emoção pela Fala (MREF) é responsável por inferir a emoção na fala do usuário, no qual é utilizado um modelo de aprendizado profundo para classificar a emoção. Também é proposto o Módulo de Reconhecimento de Emoção pela Expressão Facial (MREEF), que classifica a emoção pela face do usuário utilizando rede neural convolucional (RNC). Por fim, propõe-se a fusão das emoções reconhecidas utilizando sistema nebuloso. Ao o sistema proposta utilizando a base de dados MELD, apenas o uso do MREF alcançou uma acurácia de 73%, o MREEF 78,06% e a fusão dos módulos alcançou uma acurácia de 78,94%.

 

 

MEMBROS DA BANCA: 

JES DE JESUS FIAIS CERQUEIRA (UFBA) - Orientador

ANTONIO CARLOS LOPES FERNANDES JUNIOR (UFBA)

MARIANA SCHIAVO NETTO (Université Gustave Eiffe - França)

ADRIÃO DUARTE DÓRIA NETO (UFRN)

MARCOS YUZURU DE OLIVEIRA CAMADA - (IFBaiano)

 

Em 01/10/2024

Em 01/10/2024