Augmented reality and instrumented crutches to generate visual feedback during assisted walking

Assistive technologies, such as crutches, are vital for individuals with mobility challenges, promoting independence and well-being. Learning to use crutches effectively is often time-consuming, with rehabilitation relying on subjective therapist evaluations. To address this, instrumented assistive devices have been developed to objectively assess and improve walking performance, reducing the reliance on subjective assessments. In recent years, the integration of augmented reality (AR) into clinical procedures has gained interest. This study presents a user-focused approach to combine AR technology and instrumented crutches for improved gait assessment. To ensure the system's effectiveness, therapists, as end-users, actively participated in designing and refining of the AR interface through meetings, interviews, and collaborative sessions. The interface was optimized based on therapists' input and the capabilities of AR technology. The instrumented crutches were upgraded to enhance the reliability of force measurements, adopting a new full-bridge configuration of strain gauges, halving the uncertainty. A depth camera was integrated into the crutches to detect the patient's gait phases without requiring additional motion capture systems. Moreover, a weight-bearing estimator based on the crutches' measurements was validated, augmenting the information provided during crutch-assisted gait. To assess the usability of the AR interface, a test campaign was conducted in a real-world setting, comparing the "display mode" with holograms on a virtual screen to the "in-place mode" with holograms positioned near the patient. Results indicate a positive response in terms of information and interface quality, as well as perceived system usefulness among users and the required workload. The study also examines potential side effects such as sickness when using immersive technologies. The study identifies two distinct gaze strategies employed by therapists when using the AR interface. One focuses on the left and right crutches' loads, while the other emphasizes the patient's legs' weight-bearing. The therapists' behaviour was found to be influenced by subjective factors, including therapist preferences, patient health conditions, and safety. Overall, the research underscores the significance of a user-oriented approach in the development and implementation of AR technology for gait assessment in rehabilitation. The study's findings contribute to the ongoing efforts to enhance the rehabilitation process, making it more engaging, effective, and tailored to individual needs and goals.

Le tecnologie assistive, come ad esempio le stampelle, sono fondamentali per le persone con difficoltà di mobilità, promuovendo la loro indipendenza e benessere. Imparare ad utilizzare efficacemente i dispositivi per il supporto della camminata richiede tempo e la riabilitazione si basa spesso su valutazioni soggettive da parte dei terapisti. Nell’ottica di fornire valutazioni oggettive, diverse tecnologie assistive sono state equipaggiate da sensori per il monitoraggio delle prestazioni dell’utilizzatore durante la deambulazione. Negli ultimi anni, l'integrazione della realtà aumentata nelle procedure cliniche ha suscitato un forte interesse. Questo studio presenta un approccio per combinare la realtà aumentata e le stampelle strumentate per fornire al personale clinico un nuovo strumento per migliore la valutazione della camminata assistita. Per garantire l'efficacia del sistema, i terapisti in qualità di utenti finali, sono stati coinvolti attivamente alla progettazione e al perfezionamento dell'interfaccia in realtà aumentata mediante riunioni, interviste, attività di brainstorming e sessioni collaborative. L'interfaccia è stata ottimizzata in base ai suggerimenti dei terapisti e alle attuali capacità tecnologiche presenti sul mercato. Le stampelle strumentate sono state migliorate per aumentare l'affidabilità delle misurazioni di forza adottando una nuova configurazione a ponte intero di estensimetri e dimezzandone l'incertezza. Una telecamera di profondità è stata fissata sulle stampelle per rilevare le fasi della deambulazione del paziente senza richiedere sistemi di analisi del movimento aggiuntivi. Inoltre, è stato convalidato uno stimatore del carico applicato sulle gambe dall’utilizzatore delle stampelle basato sulle misurazioni delle stampelle stesse. La stima, che anch’essa può essere ottenuta in tempo reale, fornisce informazioni aggiuntive da fornire al terapista durante la valutazione del paziente. Per valutare l'usabilità dell'interfaccia basata sulla realtà aumentata, è stata condotta una campagna di test in un contesto reale coinvolgendo terapisti e pazienti, e confrontando due condizioni di lavoro: la modalità "display" con ologrammi posizionati su uno schermo virtuale sempre frontale al terapista e la modalità "in-place" con ologrammi posizionati vicino al paziente. I risultati suggeriscono una risposta positiva in termini di qualità delle informazioni e dell'interfaccia. Gli utenti hanno reputato la soluzione utile per compiere la loro attività ed il carico cognitivo/fisico non viene fortemente influenzato. Inoltre, lo studio esamina anche i potenziali effetti collaterali dovuti all’utilizzo di tecnologie immersive. Dal tracciamento oculare del terapista sono state riscontrate due strategie distinte ponendo un maggiore interesse sui carichi delle stampelle oppure sul carico applicato sulle gambe. Si è riscontrato che il comportamento dei terapisti è influenzato da fattori soggettivi, tra cui le condizioni di salute e sicurezza dei pazienti. Complessivamente, la ricerca sottolinea l'importanza di un approccio orientato all'utente nello sviluppo e nell'implementazione della tecnologia per la valutazione della deambulazione nella riabilitazione. I risultati dello studio contribuiscono al miglioramento del processo di riabilitazione, rendendolo più coinvolgente, efficace e personalizzato in base alle esigenze e agli obiettivi individuali del paziente.