PPGEE Sesión de Defensa de Tesis Doctoral N° 51 - SISTEMA DE RECONOCIMIENTO DE EMOCIONES MULTIMODAL Y MULTICLASE PARA LA INTERACCIÓN HUMANO-ROBOT

ESTUDIANTE: LARA TOLEDO CORDEIRO OTTONI

 

FECHA: 04/10/2024

 

HORA: 09:00

 

UBICACIÓN: https://us02web.zoom.us/j/89785133180?pwd=pGJBLQh9csArDCXNA1v5NLF3DV6ZBh.1

 

TÍTULO: SISTEMA DE RECONOCIMIENTO DE EMOCIONES MULTIMODAL Y MULTICLASE PARA LA INTERACCIÓN HUMANO-ROBOT

 

 

 

PALABRAS CLAVE: Reconocimiento de Emociones; Sistema Multimodal; Interacción Humano-Robot; Aprendizaje automático; Sistema Difuso;

 

 

RESUMEN:

El desafío de la Interacción Humano-Robot (HRI) es construir sistemas inteligentes que puedan adaptarse a los cambios en los usuarios y el entorno para mejorar la interacción en tiempo real. Por lo tanto, un enfoque cada vez mayor es el uso de las emociones en el RSI. En este sentido, existen sistemas multimodales de reconocimiento de emociones, que clasifican las emociones en diversas modalidades (expresión facial, gestos, habla, y otras). Sin embargo, aunque existen estudios que abordan el reconocimiento multimodal de emociones, aún presentan limitaciones en la metodología de clasificación de emociones, además de considerar las emociones como binarias e ignorar las diversas emociones que pueden estar presentes en el usuario. Por tanto, el objetivo de este trabajo es proponer un sistema de reconocimiento de emociones multimodal y multiclase para la interacción humano-robot. Se propone el uso de modalidades de expresión facial y habla, así como la fusión de emociones. El Módulo de Reconocimiento de Emociones del Habla (MREF) es responsable de inferir la emoción en el habla del usuario, en el que se utiliza un modelo de aprendizaje profundo para clasificar la emoción. También se propone el Módulo de reconocimiento de emociones de expresión facial (MREEF), que clasifica las emociones en función del rostro del usuario mediante una red neuronal convolucional (RNC). Finalmente, proponemos la fusión de emociones reconocidas mediante un sistema difuso. Cuando el sistema propuesto utilizó la base de datos MELD, solo el uso de MREF logró una precisión del 73%, MREEF 78,06% y la fusión de módulos logró una precisión del 78,94%.

 

 

MIEMBROS DE LA JUNTA:

JES DE JESÚS FAIS CERQUEIRA (UFBA) - Asesor

ANTONIO CARLOS LOPES FERNANDES JUNIOR (UFBA)

MARIANA SCHIAVO NETTO (Université Gustave Eiffe - Francia)

ADRIÃO DUARTE DÓRIA NETO (UFRN)

MARCOS YUZURU DE OLIVEIRA CAMADA - (IFBaiano)

 

El 01/10/2024

Em 01/10/2024