Medical image analysis using automatic and HbC methods

Abstract

[eng] The domain of medical image analysis has become an integral component in healthcare and biomedical research, providing deep insights into anatomical structures, pathological conditions, and physiological processes. Its significance is evident in disease diagnosis, treatment planning, and scientific exploration. This field encompasses two vital tasks: image segmentation and image or object classification. The manual processing of medical images is time-consuming, prompting the continuous evolution of computer-aided algorithms as a more efficient and dynamic alternative. Automation reduces the time and cost of analysis, with machine learning (ML) techniques increasingly applied, yielding promising results. Various classifiers, including k Nearest Neighbours (kNN), Support Vector Machine (SVM), and Artificial Neural Networks (ANN), have been employed for binary and multiclass tasks. Random Forest (RF) classifiers have been used for leukocyte classification into four classes. The training of any supervised ML model requires the availability of appropriately labelled data. In the context of medical data, the process of labelling presents a time-consuming and labour-intensive task for domain experts. In addressing this challenge, human-based computation (HBC) emerges as a solution by delegating labelling tasks to individuals, whether possessing formal training in the domain or not, typically in exchange for modest compensation. This thesis aims to propose and validate an automatic system based on ML and HBC techniques for medical image analysis, focusing on Peripheral Blood Smear (PBS) images used for Sickle Cell Disease (SCD) diagnosis. Initially, we conducted an extensive systematic literature review (SLR) about crowdsourcing and HBC methods used for medical image analysis. The search is based on Kitchenham guidelines and answers defined research questions to properly cover the main features of this field. As a result, we provide the main figures, trends, technologies, and target groups, among other details addressed by researchers. Additionally, we propose a research methodology to assist researchers in designing and reporting of their case studies. Next, we introduce an approach for analyzing PBS images in individuals affected by SCD through crowdsourcing HBC with non-expert participants on the MTurk platform. To achieve that, we use the expert-tagged dataset to assess the accuracy and reliability of our proposal.

[spa] El análisis de imágenes médicas se ha convertido en un componente integral en la atención médica y la investigación biomédica, proporcionando conocimientos profundos sobre las estructuras anatómicas, condiciones patológicas y procesos fisiológicos. Su importancia es evidente en el diagnóstico de enfermedades, la planificación del tratamiento y la exploración científica. Este campo abarca dos tareas vitales: la segmentación y la clasificación de imágenes u objetos. El procesamiento manual de imágenes médicas es lento, lo que ha llevado a una evolución continua de algoritmos asistidos por computadora como una alternativa más eficiente. La automatización reduce el tiempo y el costo del análisis, con técnicas de aprendizaje automático (ML, en inglés Machine Learning) cada vez más aplicadas, obteniendo resultados prometedores. Se han utilizado diversos clasificadores, incluidos: vecinos más cercanos (kNN, en inglés k Nearest Neighbours), máquina de vectores de soporte (SVM, en inglés Support Vector Machine) y redes neuronales artificiales (ANN, en inglés ArtificialNeuralNetworks), tanto para su uso en tareas de clasificación binarias y multiclase. Los clasificadores basados en bosques aleatorios (RF, en inglés Random Forest) se han utilizado para la clasificación de leucocitos en problemas con cuatro clases. El entrenamiento de cualquier modelo de aprendizaje supervisado requiere la disponibilidad de datos que estén adecuadamente etiquetados. En el contexto de los datos médicos, el proceso de etiquetado presenta una tarea que consume mucho tiempo y mano de obra para los expertos en el dominio. Al abordar este desafío, la computación basada en humanos (HBC, en inglés Human-based Computation) emerge como una solución al delegar tareas de etiquetado a individuos, posean formación formal en el dominio o no, generalmente a cambio de una pequeña compensación. Esta tesis tiene como objetivo proponer y validar un sistema automático basado en técnicas de ML y HBC para el análisis de imágenes médicas, centrándose en imágenes de frotis de sangre periférica (PBS) utilizadas para el diagnóstico de la enfermedad de células falciformes (SCD, en inglés Sickle Cell Disease). Al principio, llevamos a cabo una extensa revisión sistemática de la literatura sobre métodos de computación basada en humanos utilizados para el análisis de imágenes médicas. La búsqueda se basa en las pautas de Kitchenham y responde a preguntas de investigación definidas en un esfuerzo por cubrir adecuadamente las principales características de este campo. Como resultado, proporcionamos las principales cifras, tendencias, tecnologías y grupos objetivo, entre otros detalles abordados por los investigadores. Además, proponemos una metodología de investigación para ayudar a los investigadores en el diseño y la documentación de sus estudios. A continuación, presentamos un enfoque para analizar imágenes de PBS en individuos afectados por SCD a través de HBC de crowdsourcing con participantes no expertos en la plataforma MTurk. Para lograrlo, utilizamos un conjunto de datos etiquetado por expertos para evaluar la precisión y confiabilidad de nuestra propuesta.

[cat] L’anàlisi d’imatges mèdiques s’ha convertit en un component integral en la sanitat i la recerca biomèdica, proporcionant profunds coneixements sobre estructures anatòmiques, condicions patològiques i processos fisiològics. La seva importància és evident en el diagnòstic de malalties, la planificació del tractament i l’exploració científica. Aquest camp es composa de dues tasques vitals: la segmentació i la classificació d’imatges o objectes. El processament manual d’imatges mèdiques és lent, el que ha portat a la necessitat de l’evolució d’algoritmes assistits per ordinador com una alternativa més eficient i dinàmica. L’automatització redueix el temps i el cost de l’anàlisi, amb tècniques d’aprenentatge automàtic (ML, en anglès Machine Learning) que són cada vegada més aplicades, obtenint resultats prometedors. S’han utilitzat diversos classificadors, inclosos els veïns més propers (kNN, en anglès k Nearest Neighbours), la màquina de vectors de suport (SVM, en anglès Support Vector Machine) i les xarxes neuronals artificials (ANN, en anglès Artificial Neural Networks), per a tasques binàries i multiclasse. Els classificadors de boscos aleatoris (RF) s’han utilitzat per a la classificació de leucòcits en problemes que presenten quatre categoríes. Per altra banda, la creació de qualsevol model de ML supervisat requereix la disponibilitat de dades adequadament etiquetades. En el context de les dades mèdiques, el procés d’etiquetatge és una tasca que consumeix molt temps i mà d’obra d’experts en el domini de la tasca. Per abordar aquest desafiament, la computació basada en humans (HBC, en anglès Human-based Computation) emergeix com una solució que permet delegar tasques d’etiquetatge a individus, ja sigui que tinguin formació formal en el domini de la tasca o no, generalment a canvi d’una modesta compensació. Aquesta tesi té com a objectiu proposar i validar un sistema automàtic basat en tècniques de ML i HBC per a l’anàlisi d’imatges mèdiques, centrant-se en imatges de fregament de sang perifèric (PBS) utilitzades per al diagnòstic de la malaltia de cèl·lules falciformes (SCD). En primer lloc, duem a terme una extensa revisió sistemàtica de la literatura sobre mètodes de crowdsourcing i HBC utilitzats per a l’anàlisi d’imatges mèdiques. La recerca es basa en les pautes de Kitchenham i respon a preguntes de recerca definides en un esforç per a cobrir adequadament les principals característiques d’aquest camp. Com a resultat, proporcionem les principals xifres, tendències, tecnologies i grups objectiu, entre d’altres detalls abordats pels investigadors. A més, proposem una metodologia de recerca per ajudar els investigadors en el disseny i el informe dels seus estudis de cas. A continuació, presentem un mètode per analitzar imatges de PBS en individus afectats per SCD a través de HBC de crowdsourcing amb participants no experts a la plataforma Amazon MTurk, disenyada per a la realització de micro tasques. Per aconseguir-ho, utilitzem el conjunt de dades etiquetades per experts per avaluar la precisió i la confiabilitat de la nostra proposta.