A system and process for generating a 3D video animation of an object
referred to as a 3D Video Texture is presented. The 3D Video Texture is
constructed by first simultaneously videotaping an object from two or more
different cameras positioned at different locations. Video from, one of
the cameras is used to extract, analyze and synthesize a video sprite of
the object of interest. In addition, the first, contemporaneous, frames
captured by at least two of the cameras are used to estimate a 3D depth
map of the scene. The background of the scene contained within the depth
map is then masked out, and a clear shot of the scene background taken
before filming of the object began, leaving just the object. To generate
each new frame in the 3D video animation, the extracted region making up a
"frame" of the video sprite is mapped onto the previously generated 3D
surface. The-resulting image is rendered from a novel viewpoint, and then
combined with a flat image of the background which has been warped to the
correct location. In cases where it is anticipated that the subject could
move frequently, the foregoing part of the procedure associated with
estimating a 3D depth map of the scene and extracting the 3D surface
representation of the object is performed for each subsequent set of
contemporaneous frames captured by at least two of the cameras.
Un sistema y un proceso para generar una animación video 3D de un objeto designado una textura video 3D se presenta. La textura video 3D es construida primero simultáneamente grabando un objeto a partir cámaras fotográficas dos o más diversos colocadas en diversas localizaciones. El vídeo de, una de las cámaras fotográficas se utiliza para extraer, para analizar y sintetiza un sprite video del objeto del interés. Además, el primeros, contemporáneo, los marcos capturados por por lo menos dos de las cámaras fotográficas se utilizan para estimar un mapa de profundidad 3D de la escena. El fondo de la escena contenida dentro del mapa de profundidad entonces se enmascara hacia fuera, y un tiro claro del fondo de la escena tomado antes de que la película del objeto comenzara, saliendo apenas del objeto. Para generar cada nuevo marco en la animación video 3D, la región extraída que hace encima de un "marco" del sprite video traz sobre la superficie previamente generada 3D. la imagen-QUE resulta se rinde de un punto de vista de la novela, y después se combina con una imagen plana del fondo que se ha combado a la localización correcta. En los casos donde se anticipa que el tema podría moverse con frecuencia, la parte precedente del procedimiento asociado a estimar un mapa de profundidad 3D de la escena y a extraer la representación superficial 3D del objeto se realiza para cada uno sistema subsecuente de bastidores contemporáneos capturados por por lo menos dos de las cámaras fotográficas.