NimbleAI migliorerà l'efficienza energetica e le prestazioni dei chip neuromorfici di nuova generazione in grado di supportare la event-based vision. Il suo obiettivo è creare un'architettura neuromorfica in silicio per il rilevamento e l’elaborazione degli stimoli visivi che possa eseguire con il massimo dell’efficienza algoritmi di computer vision accurati e diversificati in chip destinati ai dispositivi endpoint.
Le tendenze tecnologiche più recenti hanno dimostrato che i sistemi biologici sono un punto di riferimento privilegiato per i sistemi elettronici, nonché un’importante fonte di ispirazione. NimbleAI sfrutta la “potenza del calcolo” della natura: l'architettura del sistema globale del progetto è infatti basata sul sistema biologico occhio-cervello. La funzione organica della visione è affinata dalla selezione naturale e, applicando un principio economico fondamentale, è in grado di rilevare, elaborare e archiviare i dati solo quando questo è necessario. L’occhio percepisce e codifica continuamente i cambiamenti nell'ambiente circostante in modalità che il cervello è in grado di gestire.
Seguendo principi ispirati alla biologia, NimbleAI studierà la logica conscia e inconscia alla base dei processi che determinano quali stimoli visivi elaborare e quali, invece, scartare. In NimbleAI, una fase di rilevamento “minimale”, costantemente attivo, costruirà una comprensione di base della scena visiva e guiderà una raccolta multilivello di nuclei di elaborazione event-based altamente specializzati e reti neurali per eseguire l'inferenza visiva di stimoli selezionati utilizzando la minima quantità di energia.
NimbleAI mira a progettare un'architettura in silicio tridimensionale altamente integrata in cui rilevamento, memoria, comunicazione ed elaborazione sono fisicamente fusi e in cui il trade-off tra precisione, energia, risorse e tempo viene calcolato in modo dinamico per migliorare la percezione complessiva, ovvero per massimizzare la quantità di informazioni visive che possono essere catturate ed elaborate tempestivamente. Come accade nei sistemi visivi biologici, i componenti di rilevamento ed elaborazione saranno regolati in fase di esecuzione per corrispondere l’uno all’altro e opereranno congiuntamente alla scala di risoluzione ottimale nelle diverse aree dell'immagine.
NimbleAI prevede di ottenere un miglioramento dell'efficienza energetica pari a 100 e una riduzione della latenza pari a 50 (in relazione alla CPU/GPU) affidandosi alle seguenti tecnologie, componenti e tecniche:
- Rilevamento visivo dinamico abilitato dal campo luminoso.
- Inferenza ed elaborazione event-based.
- Elaborazione specializzata con computazione in memoria e logica programmabile (eFPGA).
- Archiviazione integrata basata su ReRAM.
- Integrazione tridimensionale di layer circuitali (movimento dati inter-layer basato su TSV).
- Adattamento reciproco del rilevamento e dell'elaborazione per operare al punto DVFS ottimale.
- Strumenti software dedicati.
NimbleAI progetterà strumenti EDA per personalizzare e integrare le tecnologie e i componenti sopra elencati e fornirà un'implementazione FPGA prototipica dell'architettura tridimensionale in silicio per il rilevamento e l’elaborazione degli stimoli, nonché i corrispondenti strumenti di programmazione per sviluppare ed eseguire applicazioni di visione artificiale. Il prototipo sarà utilizzato per testare nuovi concetti, algoritmi di visione artificiale e ottimizzazioni di runtime. I risultati di NimbleAI porteranno a implementazioni pratiche nelle prossime generazioni di chip neuromorfici disponibili in commercio. Il progetto prevede infatti la produzione di alcuni chip di prova per convalidare alcuni concetti fondamentali in silico.
Il consorzio è costituito dai seguenti partner: Ikerlan (ES), Barcelona Supercomputing Center (ES), Menta (FR), Universiteit Leiden (NL), Codasip (CZ), GrAI Matter Labs (NL), University of Manchester (UK), Consejo Superior de Investigaciones Científicas (ES), Universitat Politècnica de València (ES), Monozukuri (ITA), Politecnico di Milano (IT), Commisssariat à l’Énergie Atomique et aux Énergies Alternatives (FR), IMEC – Interuniversity Microelectronics Centre (BE), Raytrix (DE), AVL List (AT), ULMA Medical Technologies (ES), Viewpointsystem (AT), Queen Mary University of London (UK) and Technische Universitat Wien (AT).
