Robust 3D Scanning and Real-Time Reconstruction Techniques in a Deep Learning Framework

Over the years, academic research has produced a number of excellent results based on the use of what are commonly referred to as low-cost optical 3D scanners, born in the context of gaming platforms. These devices are characterized by compact dimensions, depth chambers with relatively low resolution and relatively large working range. Due to these characteristics, these tools are widely used in situations of use for indoor reconstructions or for object and gesture detection applications, where the level of detail of the 3D reconstruction is not necessarily a priority. An evolution of these technologies is represented by the hand-held portable 3D scanners, based on optical reconstruction, capable of producing higher quality data than their low-cost counterparts, while remaining in price ranges affordable at a professional level. In this context it is very interesting to have real-time 3D reconstruction techniques that support and are able to guide the user's action through immediate visual feedback. Concurrently to an evolutionary trend in terms of hardware, the interest in 3D reconstruction issues is finding new solutions in the rapidly growing research area linked to deep learning techniques. The importance of data is therefore crucial, other than in an experimental evaluation context, for the need to provide examples and information to the models we want to design and develop. However, we found some shortcomings related to the type of data used in academic research where there is a prevalent attention linked to data coming from low-cost devices compared to a wider panorama offered by modern scanning technologies. During my PhD, I was able to work with a pre-commercial prototype of a hand-held 3D scanner, called Insight, developed with the aim of providing reconstructions with a higher level of accuracy than its low-cost counterparts, to be used in application contexts where the target is a single small-medium scale object of which a faithful digital representation is desired. Examples of these contexts are quality control, reverse engineering, digitization for entertainment purposes (cinema and video games), commercial contexts (for example catalogs for online shops), cultural heritage (preservation of statues and historical objects) and also biomedical (e.g. anatomic scanning for the design of prostheses and orthoses). In this thesis we therefore focus on innovative 3D reconstruction techniques, mainly related to the aforementioned type of data, trying to analyze and respond to the challenging requirements related to tools such as those in use during our work, especially the real-time reconstruction requirement, comparing ourselves with other solutions available in the literature. In particular, we first took care to collect and make available a new dataset, DenseMatch, and to analyze and compare in depth, and for the first time together, several very recent solutions based on deep learning, potentially exploitable and usable in the contexts of interest. This comparison takes place using both a classic dataset and ours, to have a comparison that establishes which methods best generalize on different domains and which ones are the most promising for our context. Finally, we leverage all the results obtained to develop a real-time 3D reconstruction pipeline suitable for our handheld scanner that improves and makes the native reconstruction solution of the Insight scanner more reliable and robust. Our solution clearly outperforms the reference method in the literature, i.e. BundleFusion, especially for the type of data and for the applications of interest. We will see how optimal results are obtained by combining the best of classic approaches based on geometric features with those that exploit modern data-driven learning models.

Negli anni, la ricerca ha prodotto eccellenti risultati basandosi sull'uso di scanner 3D ottici low-cost nati nel contesto delle piattaforme di gaming. Questi dispositivi sono caratterizzati da dimensioni compatte, camere di profondità con risoluzione relativamente bassa e campo di lavoro relativamente ampio. Questi strumenti trovano dunque largo impiego in situazioni di utilizzo per ricostruzioni indoor o per applicazioni di rilevamento di oggetti, o di gestualità dove il livello di dettaglio della ricostruzione 3D non è necessariamente prioritario. Un'evoluzione di queste tecnologie è rappresentata dagli scanner 3D portatili manovrabili a mano libera, basati su ricostruzione ottica, in grado di produrre dati a qualità più elevata rispetto alle controparti a basso costo, pur rimanendo in fasce di prezzo accessibili a livello professionale. In questo contesto è molto interessante disporre di tecniche di ricostruzione 3D real-time in grado di guidare l'azione dell'utente mediante feedback immediati. Contestualmente ad un trend evolutivo in termini di hardware, l'interesse per le tematiche di ricostruzione 3D sta trovando nuove soluzioni nel settore di ricerca legato alle tecniche di deep learning. L'importanza dei dati è quindi cruciale, sia in un contesto di valutazione sperimentale, che per la necessità di fornire esempi ai modelli che si vogliono progettare. Tuttavia, abbiamo rilevato alcune carenze legate alla tipologia dei dati impiegati nella ricerca accademica dove vi è un'attenzione prevalente per i dati provenenti da dispositivi a basso costo rispetto ad un più esteso panorama offerto dalle moderne tecnologie di scansione. Si tratta dunque di capire se e come i diversi dati e i diversi requisiti sulla qualità e sulle tempistiche di scansione si relazionino alla tipologia di dato generato ed alla scelta delle migliori soluzioni di ricostruzione. Durante il percorso di dottorato, ho avuto modo di lavorare con un prototipo pre-commerciale di scanner 3D portatile manovrabile, denominato Insight, sviluppato al fine di fornire ricostruzioni con una maggiore accuratezza rispetto alle controparti a basso costo, per essere utilizzato in contesti applicativi in cui il target è un singolo oggetto di scala medio-piccola di cui si vuole una fedele rappresentazione digitale. Esempi di questi contesti sono il reverse engineering, la digitalizzazione per fini ludici (cinema e videogiochi), commerciali (e.g. cataloghi per lo shop online), culturali (preservazione di oggetti storici) ed anche medicali (creazione di protesi ed ortesi). In questa tesi ci concentriamo quindi su tecniche di ricostruzione 3D innovative, cercando di analizzare e di rispondere ai requisiti sfidanti legati a strumenti come quelli in uso nel nostro lavoro, specialmente il requisito di ricostruzione real-time, confrontandoci con altre soluzioni disponibili in letteratura. In particolare, ci siamo preoccupati dapprima di collezionare e di rendere disponibile un nuovo dataset, DenseMatch, e di analizzare e confrontare approfonditamente le recenti soluzioni basate su deep learning, potenzialmente sfruttabili e fruibili nei contesti di interesse. Tale confronto avviene sfruttando sia un dataset classico che il nostro, per avere una comparazione che stabilisca quali metodi meglio generalizzano su diversi domini e quali sono i più promettenti per il nostro contesto. Sfruttiamo infine i risultati ottenuti per sviluppare un flusso di ricostruzione real-time adeguato allo scanner portatile, che renda più affidabile la soluzione nativa dello scanner Insight. Il nostro approccio supera nettamente la soluzione di riferimento in letteratura, denominata BundleFusion, soprattutto per la tipologia di dati e per le applciazioni di interesse. Vedremo come i migliori risultati si ottengano unendo il meglio degli approcci classici basati su feature geometriche con quelli che sfruttano i moderni modelli di apprendimento guidati dai dati.