AI and Deep Learning Techniques for Multi-Room Indoor Reconstruction and Exploration from Panoramic Images

Indoor environment reconstruction from visual data is a central challenge in computer vision, with applications in digital twins, immersive visualization, virtual tours, architectural documentation, and facility management. Among the available sensing modalities, 360 panoramic imagery offers complete scene coverage from a single viewpoint and enables fast, low-cost acquisition using consumer-grade devices. However, real-world datasets are typically sparse, often providing only one panorama per room and exhibiting clutter, occlusions, reflective surfaces, and limited viewpoint overlap. These conditions invalidate the assumptions of traditional multi-view pipelines and make the reconstruction of large, multi-room environments particularly difficult. This thesis investigates how artificial intelligence and deep learning techniques can extract metrically meaningful geometry and structural information from sparse panoramic images, and how isolated single-view predictions can be fused into coherent representations suitable for multi-room modeling and immersive exploration. The work examines how structural indoor priors, gravity alignment, and spherical imaging geometry can be leveraged to overcome the limitations imposed by sparse acquisition. The thesis introduces three main contributions. First, it presents a structure-aware depth estimation framework that incorporates density-map consistency to improve robustness and metric fidelity under cluttered and occluded indoor conditions. Second, it proposes a method for multi-room 3D floorplan reconstruction that employs nadir-referenced projections and deformable-attention fusion to aggregate isolated per-room predictions into coherent, metrically consistent multi-room layouts. Third, it develops an immersive, VR-ready exploration pipeline that integrates depth-based geometry, denoised density maps, structured layout reasoning, and MCOP-based stereo rendering to support view-consistent navigation across complex multi-room environments. Overall, this thesis provides a comprehensive methodology that spans single-view geometric inference, multi-room structural reconstruction, and immersive visualization, advancing the scalability and practical deployment of panoramic-based indoor modeling.

La ricostruzione degli ambienti interni a partire da dati visivi costituisce una sfida centrale nella computer vision, con ricadute rilevanti in ambiti quali digital twin, visualizzazione immersiva, virtual tour, modellazione architettonica e gestione degli spazi. Le immagini panoramiche a 360 gradi offrono una copertura completa della scena da un unico punto di vista e permettono acquisizioni rapide ed economiche mediante dispositivi di largo consumo. Tuttavia, nelle applicazioni reali tali acquisizioni risultano spesso sparse, tipicamente limitate a una sola panoramica per stanza e caratterizzate da clutter, occlusioni, superfici riflettenti e minima sovrapposizione tra punti di vista. Queste condizioni rendono inadeguati i metodi tradizionali basati su multi-view geometry e complicano la ricostruzione di ambienti multi-stanza ampi e complessi. Questa tesi esplora come tecniche di intelligenza artificiale e deep learning possano estrarre informazioni geometriche e strutturali da panoramiche sparse e come predizioni ottenute da singole viste possano essere combinate per generare rappresentazioni coerenti a livello multi-room, adatte anche a un'esplorazione immersiva. Il lavoro analizza come priors architettonici, allineamento alla gravità e caratteristiche intrinseche della visione sferica possano compensare le limitazioni introdotte dall'acquisizione incompleta. La tesi introduce tre contributi principali. Il primo consiste in un framework per la stima della profondità da immagini panoramiche che integra vincoli di coerenza tramite density maps, migliorando robustezza e accuratezza metrica in scenari con forte occlusione e disordine. Il secondo contributo propone un metodo di ricostruzione di floorplan 3D multi-stanza basato su proiezioni nadir e fusione deformabile, capace di aggregare predizioni locali in un layout globale coerente e metricamente consistente. Il terzo contributo sviluppa una pipeline orientata alla realtà virtuale che combina geometria derivata dalla profondità, mappe di densità denoised, reasoning strutturale e rendering stereoscopico MCOP per consentire una navigazione fluida e visivamente consistente in ambienti multi-room complessi. Nel loro insieme, questi contributi definiscono una metodologia completa che integra inferenza geometrica single-view, ricostruzione strutturale multi-room ed esplorazione immersiva, avanzando lo stato dell’arte nella modellazione indoor basata su immagini panoramiche sparse.