Facial detection and expression recognition applied to social robots

Abstract

[eng] Facial expression is a non-verbal language that plays an important role in the communication, behaviour and interaction among humans. Recently, there has been a growing interest in the recognition of facial expressions in the field of Human-Robot Interaction (HRI). This interaction between robots and persons finds applications in different areas such as video surveillance, health care, road safety, etc. This research work has progressed in three lines designed to improve this interaction: face detection, facial expression recognition, and their integration into a human-robot interaction system implemented in a social robot. Face detection is the first step in a system in order to interact with a person. Many algorithms have been proposed for face detection. In this thesis a new method inspired on the classical Viola-Jones algorithm but using an a contrario statistical model in the detection step is presented. This method improves the accuracy of the original method, at a much lower computational cost. Facial expression classification is performed with a convolutional neuronal network, after a pre-processing of the input face images and using different datasets for training and testing. The developed network has achieved a success rate close to that of humans. In addition, the human capacity to recognize expressions has been evaluated and the results have been compared with the ones obtained with the neural network. Finally, an application with a social robot has been designed for the evaluation and validation of the proposed system in a real environment. The robot interacts with the user through a dynamic game where the player performs a series of facial expressions and the robot acts in response to the emotion expressed by the player.

[spa] El reconocimiento de expresiones faciales es un lenguaje no verbal que determina un papel importante en la comunicación, comportamiento e interacción del ser humano. Recientemente ha surgido un gran interés en realizar reconocimiento de expresiones faciales en el ámbito de la Interacción Hombre-Robot (IHR). Dicha interacción entre robot y persona está orientada a diferentes ámbitos como vídeo-vigilancia, cuidados sanitarios, seguridad vial, detección de engaños, etc. En este trabajo de investigación se ha avanzado en tres líneas encaminadas a mejorar dicha interacción: detección de caras, reconocimiento de la expresión facial, y un sistema de interacción hombre-robot implementado en el robot social. La detección de caras es el primer eslabón de un sistema capaz de interactuar con una persona. Referente a este tópico existen numerosos algoritmos capaces de detectar el rostro. En esta tesis se presenta un nuevo método basado en el trabajo propuesto por Viola-Jones pero utilizando un modelo a contrario, el cual mejora la precisión de una cascada clásica, a un coste computacional mucho menor. La clasificación de la expresión facial se lleva a cabo con una red neuronal convolucional, aplicando un pre-procesamiento y haciendo uso de diferentes bases de datos. Con ello se ha conseguido una tasa de acierto cercana a la del ser humano. Además, se ha evaluado la capacidad humana para reconocer las expresiones y se han contrastado los resultados con la red neuronal. Por último, se ha diseñado una aplicación con el robot social para la evaluación y validación del sistema propuesto en un entorno real. El robot interactúa con el usuario a través de una dinámica de juego donde el jugador debe ir realizando expresiones faciales y el robot actúa en consecuencia a la emoción que ha expresado el jugador.

[cat] El reconeixement d'expressions facials és un llenguatge no verbal que té un paper important en la comunicació, comportament i interacció de l'ésser humà. Recentment ha sorgit un gran interès a realitzar reconeixement d'expressions facials a l'àmbit de la Interacció Home-Robot (IHR). Aquesta interacció entre el robot i la persona està orientada a diferents àmbits com la vídeo-vigilància, cures sanitàries, seguretat viària, detecció d'enganys, etc. En aquest treball de recerca s'ha avançat en tres línies destinades a millorar la interacció: la detecció de cares, el reconeixement de l'expressió facial, i un sistema d'interacció home-robot implementat en el robot social. La detecció de cares és el primer pas d'un sistema capaç d'interactuar amb una persona. Referent a aquest tema, hi ha nombrosos algoritmes capaços de detectar la cara. En aquesta tesi es presenta un nou mètode basat en el treball proposat per Viola-Jones però utilitzant un model "a contrario", el qual millora la precisió d’una cascada clàssica, a un cost computacional molt menor. La classificació d'expressió facial es duu a terme amb una xarxa neuronal convolucional, aplicant un pre-processament i fent ús de diferents bases de dades. D’aquesta manera s'ha aconseguit una taxa d'encert propera a la de l'ésser humà. A més, s'ha avaluat la capacitat humana en reconèixer expressions facials i s'han contrastat aquests resultats amb la xarxa neuronal. Finalment, s'ha dissenyat una aplicació amb el robot social per a l'avaluació i validació del sistema proposat en un entorn real. El robot interactua amb l'usuari a través d'una dinàmica de joc, on el jugador ha d'anar realitzant expressions facials i el robot actua en conseqüència a l'emoció que s’ha expressat.