Sfruttare le Telecamere del Visore Meta Quest
Un recente sviluppo nel mondo della realtà virtuale ha attirato l'attenzione degli appassionati: un programmatore ha trovato un modo per utilizzare le telecamere frontali dei visori Meta Quest, normalmente inaccessibili agli sviluppatori. Michael Gschwandtner ha condiviso la sua scoperta in un post su LinkedIn e ha fornito dettagli sull'implementazione a un sito di notizie VR.
Come Funziona il Sistema di Riconoscimento degli Oggetti
Il demo presentato da Gschwandtner utilizza MobileNet V2, un modello di machine vision comunemente impiegato in sistemi embedded come il Raspberry Pi. In questa applicazione, il riconoscimento degli oggetti avviene localmente sul visore VR, permettendo di identificare automaticamente gli oggetti senza che l'app possa accedere direttamente alle telecamere frontali.
Il Processo di Implementazione
Il workaround ideato è concettualmente semplice e sfrutta la capacità del visore di trasmettere il suo feed video tramite Wi-Fi a dispositivi esterni. Questa funzionalità è normalmente utilizzata per consentire la condivisione e la visione delle sessioni di gioco in VR.
- Impostazione del Video Passthrough: L'app di Gschwandtner avvia il video passthrough, utilizzando il feed della telecamera frontale come sfondo in un ambiente di realtà mista.
- Creazione di un Browser Chromium: Successivamente, l'app genera un browser Chromium e trasmette il proprio feed video a se stessa. Questo video diventa il mezzo per accedere, in modo indiretto, a ciò che le telecamere vedono.
Limitazioni e Considerazioni
Il risultato finale non è una visione diretta dalle telecamere, ma piuttosto una sorta di snapshot della vista attraverso il visore, che include elementi virtuali come l'interfaccia utente. Tuttavia, con il passthrough attivato, questa soluzione si rivela un'idea ingegnosa, completamente eseguita sul dispositivo.
La Posizione di Meta e le Prospettive Future
Meta è cauta nel concedere accesso diretto alle visuali delle telecamere sui propri visori VR. John Carmack, ex CTO di Meta, ha espresso la sua opinione a favore di una maggiore apertura, sostenendo che potrebbe essere fatto in modo sicuro, ma al momento non ci sono sviluppi in tal senso.
In conclusione, la scoperta di Gschwandtner rappresenta un passo avanti significativo nel campo della realtà aumentata e potrebbe aprire la strada a nuove possibilità per gli sviluppatori di contenuti VR. La capacità di integrare elementi del mondo reale con esperienze virtuali potrebbe trasformare il modo in cui gli utenti interagiscono con la tecnologia VR.
