The methods and systems of the present invention receive video or image data, for example via television broadcast, cable, or satellite television signal, or directly from a video player, and process the data to determine the geometry and material properties of various objects represented in the video image. Geometry and material property information may be deciphered from a video image by reference to various fixed data sources and/or the application of known methods for elucidating such information from video or image data, such as shape-from-motion or shape-from-shading techniques. Alternatively, all or some of this information may be provided to the system together with the video or image data via a preconfigured side channel. The system coordinates and assembles the image data with the data relating to geometry and material properties of the objects and provides a realistic haptic interaction with those objects to the user.

I metodi ed i sistemi di presente invenzione ricevono i dati di immagine o del video, per esempio via la radiodiffusione della televisione, cavo, o segnale della televisione satellite, o direttamente da un video giocatore e procedono i dati per determinare le proprietà del materiale e della geometria di vari oggetti rappresentati nella video immagine. La geometria e le informazioni della proprietà del materiale possono essere decifrate da una video immagine facendo riferimento alle varie fonti di dati fisse e/o dall'applicazione dei metodi conosciuti per il delucidamento delle tali informazioni dai dati di immagine o del video, quale figura-da-movimento o figura-da-proteggere le tecniche. Alternativamente, tutte o alcune queste informazioni possono essere fornite al sistema insieme ai dati di immagine o del video via una scanalatura laterale preconfigured. Il sistema coordina e monta i dati di immagine con i dati concernente le proprietà del materiale e della geometria degli oggetti e fornisce un'interazione tattile realistica quegli oggetti all'utente.