Clasificación de emociones a partir de señales EEG con redes neuronales

Abstract

[esp] Las emociones juegan un papel fundamental en nuestras vidas y está demostrado que nuestro estado anímico influye en las capacidades cognitivas y en el procesamiento y almacenaje de la información [6]. Además, cada vez vivimos en un entorno más tecnológico donde la interacción humano–máquina cobra mayor importancia. En este aspecto, resulta clave detectar estados anímicos como miedo, frustración o desagrado para poder responder de la manera más empática e inteligente posible [7]. Por este motivo, en las últimas décadas se han realizado numerosos estudios con el fin de ser capaces de reconocer las emociones humanas. La mayoría se basan en imágenes para reconocer expresiones faciales, pero también se han investigado dichas emociones a partir de los gestos, el diálogo/texto, el tono de voz, la respuesta galvánica de la piel, las imágenes de resonancia magnética (MRI) o la encefalografía (EEG). De los métodos anteriores, tanto los gestos, la voz, el diálogo y especialmente las expresiones faciales han demostrado ser útiles para el reconocimiento de emociones pero también fácilmente alterables y dependientes de variables físicas como el nivel de luminosidad y fondo de la imagen. Por ello, el reconocimiento mediante señales EEG puede proporcionar una información más completa y global e incrementar todavía más el grado de acierto a la hora de reconocer emociones incluso frente a casos que puedan generar confusión o rostros neutros. Por todo ello, el objetivo del presente Trabajo Fin de Máster es ser capaces de reconocer emociones mediante señales EEG de forma satisfactoria. Previamente, se estudiará el estado del arte de dispositivos, bases de datos y técnicas comúnmente utilizadas. A continuación, se explorará el desempeño de diferentes redes para seleccionar la más idónea para la tarea de reconocimiento de emociones. También se realizarán experimentos enfocados a mejorar aún más el porcentaje seleccionando datos de mayor calidad, así como diferentes formas de presentarlos. Dichos datos serán los valores en mV de la propia señal de electroencefalografía en vez de características frecuenciales o estadísticas de la propia señal (como la media o la desviación típica), lo que supone una aproximación diferente a la del resto de estudios mencionados en el presente trabajo. Finalmente, en base a los resultados obtenidos se determinará si este tipo de aproximación es válida para el reconocimiento de emociones.

[cat] Les emocions juguen un paper fonamental en les nostres vides i està demostrat que el nostre estat anímic influeix en les capacitats cognitives i en el processament i emmagatzematge de la informació [6]. A més, cada vegada vivim a un entorn més tecnològic on la interacció humà-màquina cobra major importància. En aquest aspecte, resulta clau detectar estats d'ànim com por, frustració o desgrat per poder respondre de la manera més empàtica i intel·ligent possible [7]. Per aquest motiu, en les últimes dècades s'han realitzat nombrosos estudis per tal de ser capaços de reconèixer les emocions humanes. La majoria es basen en imatges per reconèixer expressions facials, però també s'han investigat aquestes emocions a partir dels gestos, el diàleg / text, el to de veu, la resposta galvànica de la pell, les imatges de ressonància magnètica (MRI) o la encefalografia (EEG). Dels mètodes anteriors, tant els gestos, la veu, el diàleg i especialment les expressions facials han demostrat ser útils per al reconeixement d'emocions però també fàcilment alterables i dependents de variables físiques com el nivell de lluminositat i fons de la imatge. Per això, el reconeixement mitjançant senyals EEG pot proporcionar una informació més completa i global i incrementar encara més el grau d'encert a l'hora de reconèixer emocions, fins i tot, davant casos que puguin generar confusió o rostres neutres. Per tot això, l'objectiu d'aquest Treball Fi de Màster és ser capaços de reconèixer emocions mitjançant senyals EEG de forma satisfactòria. Prèviament, s'estudiarà l'estat de l'art de dispositius, bases de dades i tècniques comunament utilitzades. A continuació, s'explorarà el percentatge d'encert de diferents xarxes per a la tasca de reconeixement d'emocions i també es realitzaran experiments enfocats a millorar la qualitat de les dades d'entrada que la xarxa rep. Aquestes dades seran els valors en mV de la pròpia senyal de electroencefalografia en comptes de característiques freqüencials o estadístiques de la pròpia senyal (com la mitjana o la desviació típica), el que suposa una aproximació diferent a la de la resta d'estudis esmentats en el present treball. En base als resultats obtinguts es determinarà si aquest tipus d'aproximació és vàlida per al reconeixement d'emocions.

[eng] Emotions play a fundamental role in our lives and it has been shown that our state of mind influences cognitive capacities and how we process and storage information [6]. Furthermore, we now live in a technological environment and technology trend is only increasing where human-machine interaction becomes more important every day. In this situation, it becomes a key factor the ability to detect mood states such as fear, frustration or displeasure in order to respond in the most empathetic and intelligent way possible [7]. For this reason, in recent decades numerous studies have been carried out in order to be able to recognize human emotions. Most of them are based on images to recognize facial expressions, but these emotions have also been investigated through gestures, dialogue / text, tone of voice, the galvanic skin response, magnetic resonance imaging (MRI) or encephalography techniques (EEG). The previous methods, gestures, voice, dialogue and especially facial expressions have proven to be useful for the recognition of emotions but also easily alterable and dependent on physical variables such as the level of light and background of the image. Therefore, recognition by EEG signals can provide more complete or reliable information and further increase the degree of success when recognizing emotions, even in cases of confusion or neutral faces. For all these reasons, the aim of this report is to be able to successfully recognize emotions using EEG signals. First, there will be a study on the state of the art of commonly used devices, databases and techniques. Then, different networks will be tested see which of them obtains the best results. In addition, experiments focused on further improving the accuracy will also be carried out by selecting higher quality data, as well as different ways of presenting it. The data will consist on values measured in mV directly from the electroencephalography signal instead of frequency or statistical features. This entails a different approach to the rest of the studies mentioned in the present job. Finally, based on the results obtained, it will be determined whether this type of approach is valid for the recognition of emotions or not.