Development of neuromorphic hardware and non-iterative learning designs for edge computing applications

Abstract

[eng] The number of components on an integrated circuit has been doubled every two years for the last decades as predicted by Gordon Moore in 1975. However, there is evidence that Moore’s law will expire soon, leading to a point at which the physical laws or the low economic profitability will prevent the CMOS technology from developing as it used to. As a consequence, the research efforts have focused on finding alternatives to the classic cramming of components onto the integrated circuits. These alternatives span from different manufacturing such as nanowires, memristors or 3D circuit integration to newer unconventional circuits designs such as those implementing or neural networks. In this Thesis several novel digital circuitry designs are proposed for the neural networks field. Firstly, a fast and efficient Stochastic Spiking Neuron circuit model is proposed, which is tested and employed to build a Stochastic Spiking Neural Network for pattern recognition purposes. The proposed circuitry is configured onto a Field Programmable Gate Array (FPGA), showing a good efficiency in terms of speed and hardware resources if compared with the state of the art. The second proposed concept of this Thesis is a new architecture of reservoir computing which is applied to time series prediction, also implemented on an FPGA. The results prove that the proposed design is more accurate and more energy-efficient than the state of the art implementations. Finally, a fully parallel digital circuitry that is capable of performing the neural network training on-chip is proposed. For this purpose an unconventional algebra formulation is used for the sake of the circuitry’s simplicity. The sequential version of this circuitry is also proposed in order to save resources by sacrificing speed. Both final proposed circuits are programmed on an FPGA as well.

[spa] El número de componentes en un circuito integrado ha sido doblado cada dos años durante las últimas décadas, tal como predijo Gordon Moore en 1975. Sin embargo, existen indicios de que la ley de Moore pronto dejará de ser válida, conduciéndonos a un punto en el que las propias leyes físicas o la baja rentabilidad económica impedirán que la tecnología CMOS se siga desarrollando como lo había hecho hasta ahora. A consecuencia de esto, los esfuerzos de investigación en la materia se han centrado en la búsqueda de alternativas a la saturación de componentes en circuitos integrados. Estas alternativas varían desde distintos procesos de fabricación como los nanohilos, los memristores o la integración de circuitos en 3D, hasta la implementación de nuevos algoritmos y formas de computación tales como las redes neuronales. En esta Tesis se proponen varios diseños novedosos de circuitería digital aplicados al campo de las redes neuronales. En primer lugar, se propone un modelo de Neurona Estocástica tipo Spiking rápido y eficiente. Se comprueba que el funcionamiento es correcto y además se emplea para la construcción de Redes Neuronales Estocásticas de tipo Spiking. Este modelo es implementado digitalmente en una Matriz de Puertas lógicas Programable (FPGA), mostrando una buena eficiencia en términos de velocidad y recursos hardware si se compara con el Estado del Arte. El segundo concepto propuesto en esta Tesis es una nueva arquitectura para redes neuronales tipo reservoir computing que se aplica a la predicción de series temoporales, y que también se implementa en una FPGA. Los resultados demuestran que nuevamente el diseño propuesto es más preciso y más eficiente en términos energéticos que el estado del arte. Por último, se propone una circuitería completamente paralela que es capaz de realizar el entrenamiento de redes neuronales en el propio chip. Para esta propuesta, se utiliza una formulación algebraica no convencional con el fin de simplificar la circuitería. También se propone la versión secuencial con el fin de ahorrar recursos sacrificando velocidad. Ambas propuestas finales también son programadas en una FPGA.

[cat] durant les últimes dècades, tal com va predir Gordon Moore al 1975. No obstant això, hi ha indicis que la llei de Moore aviat deixarà de ser vàlida, conduint-nos a un punt en el que les pròpies lleis físiques o la baixa rendibilitat econòmica impediran que la tecnologia CMOS se segueixi desenvolupant com ho havia fet fins ara. A conseqüència d’això, els esforços d’investigació en la matèria s’han centrat en la recerca d’alternatives a la saturació de components en circuits integrats. Aquestes alternatives varien des de diferents processos de fabricació com els nanofils, els memristors o la integració de circuits en 3D, fins a la implementació de nous algoritmes i formes de computació tals com les xarxes neuronals. En aquesta Tesi es proposen diversos dissenys nous de circuiteria digital applicats al camp de les xarxes neuronals. En primer lloc, es proposa un model de Neurona Estocàstica tipus Spiking ràpid i eficient, el correcte funcionament és comprovat i emprat per a la construcció de Xarxes Neuronals Estocàstiques de tipus Spiking. Aquesta proposta és configurada en una Matriu de Portes lògiques Programable (FPGA), mostrant una bona eficiència en termes de velocitat i recursos hardware si es compara amb l’Estat de l’Art. La segona proposta d’aquesta Tesi és una nova arquitectura per a xarxes neuronals tipus reservoir computing que és aplicada a la predicció de sèries temoporales, i que també és implementada en una FPGA. Els resultats demostren que el disseny proposat és més precís i més eficient en termes energètics que l’estat de l’art de les implementacions de reservoir. Finalment, es proposa una circuiteria completament paral·lela que és capaç de realitzar l’entrenament de xarxes neuronals en el propi xip. Per a aquesta proposta, es fa ús d’una formulació algebraica no convencional amb la finalitat de simplificar la circuiteria. També es proposa la versió seqüencial per tal d’estalviar recursos sacrificant velocitat. Les dues propostes finals també són programades en una FPGA.