PRETZEL: Opening the Black Box of Machine Learning Prediction Serving Systems
Alberto Scolari
DEIB PhD student - Politecnico di Milano
DEIB - NECSTLab Meeting Room (Edificio 20, piano seminterrato)
19 Ottobre 2018
ore 12.00
Contatti:
Marco Santambrogio
Linea di Ricerca:
Architetture
I modelli di Machine Learning (ML) sono spesso composti come pipeline di operatori, dai “classici" operatori ML a operatori di pre-processing e di featurization. I sistemi correntemente in uso trattano queste pipeline come “scatole nere”, in cui l'implementazione per il training viene utilizzata anche per l’inferenza. Questa soluzione è comoda ma lascia ampi margini per migliorare le prestazioni e l’utilizzo delle risorse. Questo talk presenta Pretzel, un framework per la gestione di pipeline ML ispirato ai Sistemi Database: Pretzel ispeziona e ottimizza ciascuna pipeline dall’inizio alla fine in maniera molto simile a una query, e gestisce le risorse comuni a molteplici pipeline come lo stato degli operatori. Pretzel è stato sviluppato assieme a University of Seoul e Microsoft Research ed è recentemente stato presentato a OSDI ’18. Dopo la panoramica iniziale, questo talk mostra i risultati sperimentali di Pretzel rispetto allo stato dell’arte nelle soluzioni ML e discute limitazioni ed estensioni.
NECSTLab è un laboratorio del DEIB, focalizzato su diverse aree di ricerca nel mondo dei computer: dalle caratteristiche architetturali alle metodologie di co-design hardware-software, fino alle problematiche di sicurezza e affidabilità.
Ogni settimana, i "NECST Friday Talk" invitano ricercatori, professionisti o imprenditori a raccontare le loro esperienze lavorative e i progetti che stanno realizzando nel settore "Computing Systems".