Semantic Computer Vision Tools for Mission-Critical Visual Communications over Bandwidth Limited Networks

Abstract

[cat] Resum: Introducció: Les emergències tenen dues característiques que les diferencia de la majoria d'aplicacions en visió per computador. D'una banda, és comú tenir limitacions d'ample de banda durant una emergència i d'altra banda, les emergències són esdeveniments poc freqüents, el que limita la quantitat de dades històriques disponibles. Aquestes característiques representen un repte a l'hora de cercar solucions de gestió i resposta a l'emergència que es beneficiïn dels avenços en les noves tecnologies i la intel·ligència artificial. En aquesta tesi s’afronten aquests problemes des del punt de vista de la investigació acadèmica i des de la perspectiva de l'aplicació a l'empresa. Contingut de la investigació: Amb l'objectiu de pal·liar el problema de l'ample de banda, s’ha dissenyat un sistema de comunicació mitjançant imatges que cerca l'optimització de l'ample de banda reduint al mínim la pèrdua d'informació rellevant. Abandonant l'estratègia usual i poc efectiva de comprimir tota la imatge, el sistema realitza una compressió selectiva basant-se en el contingut semàntic rellevant. D'aquesta manera es minimitza el pes de la imatge alhora que es maximitza el contingut rellevant que s'envia. S’ha comprovat que aquest sistema permet enviar de manera automàtica imatges amb una millor ràtio compressió-contingut semàntic en comparació amb la compressió tradicional JPEG. Abordant la problemàtica de trobar solucions d'intel·ligència artificial per a la gestió d'emergències, s’ha realitzat un estudi exhaustiu de l'estat de l'art en algoritmes de visió per computador dissenyats per a situacions d'emergència. S’han establert quatre fases en el desenvolupament d'una emergència en les que la visió per computador pot jugar un paper important: prevenció, detecció, resposta i comprensió de l'emergència. Identificades aquestes fases, es proposen solucions per a cadascuna d'elles per al cas concret de les inundacions. S’ha proposat un algoritme de prevenció d'inundacions basat en l'anàlisi dels nivells d'aigua mitjançant imatges de càmeres estàtiques, en el qual s'analitzen i comparen els nivells d'aigua en el temps. Sent aquesta una solució nova, existeix una mancança de dades preses amb aquesta finalitat, per això s’ha creat una base de dades que s’ha fet d'accés públic. També s’ha proposat un algoritme per a la detecció d'inundacions mitjançant publicacions en xarxes socials, utilitzant tant informació en forma d'imatges com de text i les metadades associades. Per ajudar als serveis d'emergència en la gestió d'inundacions, s’ha proposat un algoritme que, donada una imatge, en cas d'inundació detecta si hi ha una carretera a la imatge i si n'hi ha, si la carretera és transitable o no. S’ha mostrat com reduir significativament tant la memòria requerida per l'algoritme com el seu cost computacional, facilitant la seva integració en una aplicació real. Aquest algoritme va guanyar el primer premi en el concurs Medieval Multimedia Satellite en 2018. A més, s’ha proposat un algoritme que fa una estimació de la profunditat de l'aigua durant una inundació basant-se en les persones que apareixen a la imatge que serveixen de referència. L'algoritme de detecció de carreteres transitables i l'algoritme d'estimació de la profunditat de l'aigua són de gran utilitat per als serveis d'emergència a l'hora de determinar la ruta òptima per arribar a una zona afectada o per fer-se una idea de la gravetat i extensió de les inundacions. Finalment, per ajudar a comprendre l'evolució de la inundació i la seva extensió, s’ha proposat un algoritme de detecció d'inundacions en imatges de satèl·lit que ajuda a obtenir una visió més global gràcies a l'extensió de terra coberta per aquestes imatges. Conclusions: Els avenços aconseguits s'han integrat en el programari de AnsuR Technologies AS, una empresa noruega enfocada a brindar solucions als serveis d'emergència per millorar les seves comunicacions, gestió i capacitat de resposta en aquestes situacions d'emergència.

[spa] Introducción: Las emergencias tienen dos características que las diferencia de la mayoría de aplicaciones en visión por computador: es común tener limitaciones de ancho de banda durante una emergencia y las emergencias son eventos poco frecuentes, limitando la cantidad de datos históricos disponibles. Estas características suponen un reto a la hora de buscar soluciones de gestión y respuesta a la emergencia que se beneficien de los avances en las nuevas tecnologías y la inteligencia artificial. En esta tesis afrontamos estos problemas desde el punto de vista de la investigación académica y desde la perspectiva de la aplicación a la empresa.

Contenido de la investigación: Con el objetivo de paliar el problema del ancho de banda, hemos diseñado un sistema de comunicación a través de imagenes que busca la optimización del ancho de banda reduciendo al mínimo la pérdida de información relevante. Abandonando la estrategia usual y poco efectiva de comprimir toda la imagen, el sistema realiza una compresión selectiva en base al contenido semántico relevante. Minimizando el peso de la imagen y maximizando el contenido relevante. Este sistema permite enviar de manera automática imágenes con una mejor ratio compresión-contenido semántico en comparación con la compresión tradicional JPEG. Abordando la problemática de encontrar soluciones de inteligencia artificial para la gestión de emergencias, hemos realizado un estudio exhaustivo del estado del arte en algoritmos de visión por computador para situaciones de emergencia. Hemos detectado cuatro fases en las que la visión por computador puede jugar un papel: prevención, detección, respuesta y comprensión de la emergencia. Proponemos soluciones para cada una de ellas para el caso concreto de las inundaciones. Hemos propuesto un algoritmo de prevención de inundaciones basado en el análisis de los niveles de agua mediante imágenes de cámaras estáticas, en el que se analizan y comparan los niveles de agua en el tiempo. Al ser ésta una solución novedosa y carente de datos tomados con este fin, hemos creado una base de datos que hemos hecho de acceso público. También hemos propuesto un algoritmo para la detección de inundaciones en base a publicaciones en redes sociales, utilizando tanto información en forma de imágenes como de texto y los metadatos asociados. Para ayudar a los servicios de emergencia en la gestión de inundaciones, proponemos un algoritmo que, dada una imagen durante una inundación, detecta si hay una carretera y si la hay, si la carretera es transitable o no y luego mostramos cómo reducir significativamente tanto la memoria requerida por el algoritmo como su coste computacional. Esta optimización facilita su integración en una aplicación real. Nuestro algoritmo ganó el primer premio en el concurso MediEval Multimedia Satellite en 2018. Además, proponemos un algoritmo que hace una estimación de la profundidad del agua durante una inundación basándose en las personas que aparecen en la imagen que sirven de referencia. El algoritmo de detección de carreteras transitables y el algoritmo de estimación de la profundidad del agua son de gran utilidad para los servicios de emergencia para determinar la ruta óptima para llegar a una zona afectada o hacerse una idea de la gravedad y extensión de las inundaciones. Para ayudar a comprender la evolución de la inundación y su extensión, proponemos un algoritmo de detección de inundaciones en imágenes de satélite que ayuda a obtener una visión más global gracias a la extensión de tierra cubierta por estas imágenes.

Conclusiones: Los avances logrados se han integrado en el software de AnsuR Technologies AS. AnsuR, empresa noruega enfocada en brindar soluciones a los servicios de emergencia para mejorar sus comunicaciones, gestión y capacidad de respuesta en situaciones de emergencia.

[eng] Introduction: Emergencies have two characteristics that differentiate them from most computer vision application domains: it is common to have bandwidth limitations during an emergency and emergencies are unusual events, which limits the amount of historical data available. These characteristics represent a challenge when it comes to seeking emergency response and management solutions that benefit from advances in new technologies and artificial intelligence. In this thesis we address these two problems both from the point of view of academic research and from the perspective of industrial applications.

Content of the research: With the aim of alleviating the bandwidth problem, we have designed a novel image-based communication system that seeks to optimize bandwidth while minimizing the loss of relevant information. Departing from the usual and ineffective strategy of compressing the entire image, our system performs selective compression based on the relevant semantic content in the image. This minimizes the size of the image file while maximizing the relevant content that is sent. We have verified that this new system allows images to be sent automatically with a better compression-semantic content ratio compared to traditional JPEG compression. Addressing the problems of finding artificial intelligence solutions for emergency management, we have carried out an exhaustive study of the state of the art in computer vision algorithms designed for emergency situations. Through this study we have articulated four phases within the development of an emergency in which computer vision can play an important role in helping emergency responders: prevention, detection, assistance and understanding of the emergency. Having identified these phases, we propose solutions for each of them in the specific case of floods. We have proposed a flood prevention algorithm based on the analysis of water levels using images from static in which the water levels are analyzed and compared over time. As this is a novel solution, there was no available dataset suitable for this problem, so we have created one that we have made publicly accessible. We have also proposed an algorithm for flood detection based on social media posts, using both information in the form of images and text, and the metadata associated with the post. To assist emergency responders during the response to a flood event, we propose an algorithm that, given an image during a flood situation, detects if there is a road in the image and if there is, if that road is passable or not and how to significantly reduce both the memory required by the algorithm and its computational cost. This optimization makes it possible to integrate it into real applications. Our algorithm won the first place in the MediEval Multimedia Satellite competition in 2018. In addition, we propose an algorithm that estimates the depth of the water during a flood based on persons in the image used as reference. These algorithms were designed to be used in a context where all images that arrive are geolocated. This way, the algorithm for detecting passable roads and the algorithm for estimating the depth of water are very useful for emergency services in determining the most optimal route to reach an affected area or to get an idea of the severity and extent of flooding. Finally, to help understand the evolution of the flood and its extension, we propose a flood detection algorithm in satellite images which helps to obtain a more global vision thanks to the extent of land covered by these images.

Conclusions: The advances achieved have been integrated in the software of AnsuR Technologies AS, a Norwegian company focused on providing solutions to emergency responders to improve their communications, management and response capacity in emergency situations.