Continuo con este post, la que pretende ser una serie de artículos centrados en producción Virtual-ICVFX (In Camera Visual Effects), desde la perspectiva de la dirección de fotografía.
Como responsables del departamento de cámara, en este nuevo “ecosistema” que se nos abre con la producción virtual, hay una serie de conceptos con los que tenemos que familiarizarnos, uno de ellos y de vital importancia, es el del “tracking de cámara”. Todas las producciones virtuales tienen en común la necesidad de saber dónde está la cámara, tanto en el espacio real como en el virtual, para que ambos mundos puedan convivir y los resultados sean óptimos, y para ello hay soluciones diferentes, y constantemente están apareciendo nuevas.
Los sistemas de trackeo de cámara más habituales se pueden dividir en tres grupos, atendiendo al método de seguimiento empleado, métodos outside-in, inside-out y rastreadores basados en estereoscopía:
Métodos inside-out, son aquellos en los que los sensores son montados en la cámara desde donde ven los rastreadores alrededor del plató.
Métodos outside-in, son aquellos en los que los sensores son montados en el plató y orientados para ver los rastreadores de las cámaras.
Sensores estereoscópicos, utilizan la información estereoscópica para interpolar la posición de la cámara, las dimensiones del decorado y la ubicación de cualquier otro marcador.
Métodos inside-out
Un sensor y luces IR brillan desde la posición de la cámara para rastrear marcadores IR en el suelo, paredes o en el techo del estudio. Es flexible en el sentido de que los rastreadores se pueden colocar sin tener en cuenta la ubicación o el espaciado, incluso por encima de una parrilla de iluminación. Tras la calibración inicial, todo está listo y el sistema se pone en marcha automáticamente al encenderlo. Es una buena solución para un estudio estático, ya que si se mueven los marcadores, requiere re-mapear y calibrar de nuevo el espacio. Permite codificación de datos de lente.
Conocido sistema de seguimiento para visores de realidad virtual, habitual en locations based vr. El rastreador obtiene su posición relativa respecto a la señal que obtiene de marcadores IR activos (a diferencia de MO-Sys, que son pasivos), dependiendo de la configuración del plató, los marcadores pueden ser montados en techo, o en el suelo.
Permite codificación de datos de lente.
Métodos outside-in
HTC Vive, ha desarrollado esta solución, dando respuesta a una práctica que algunos cineastas indies venían haciendo usando los trackers y lighthouses de Vive, desarrollados en su día para experiencias VR.
Es un sistema plug-and-play, compacto, ligero y transportable, permite tracking de hasta tres cámaras, codificación de lente, compatible con genlock y timecode. Es un sistema de afuera hacia adentro, los lighthouse son dirigidos hacia el área donde se podrá mover la cámara, y estos detectan dónde está posicionada gracias al sensor (rover) instalado en la misma. Permite un área máxima de seguimiento de 10×10 metros.
Como sistema de seguimiento «outside-in», Blacktrax se basa en sensores conectados en red alrededor del escenario para capturar marcadores LED IR en las cámaras y elementos móviles de tu escena. Estos LED son invisibles para las cámaras y no afectan a la iluminación del escenario. Cada LED puede asignarse a un ID independiente, lo que permite efectos inmersivos en tiempo real, por LED. Este tipo de configuración puede ser ideal para un estudio que desea muchos elementos interactivos que pueden ser ajustados por alguien en la pantalla, o incluso rastreados a su posición de movimiento.
Al igual que Blacktrax, el sistema de seguimiento Albion de VYV utiliza un método outside-in para seguir marcadores LED IR en el escenario. Albion, que se utiliza sobre todo en actuaciones en directo, ofrece calibración instantánea y la posibilidad de seguir los cambios de forma mediante marcadores IR.
Uno de los métodos outside-in más populares, tradicionalmente utilizado para el mocap de personajes. Es el sistema elegido por The Mandalorian en su escenario de producción virtual de nivel 4 completo.
Optitrak utiliza sensores dispuestos alrededor de un escenario equipado con LED de infrarrojos que brillan hacia el exterior. Éstos rastrean esferas plateadas reflectantes, marcadores IR, por todo el escenario y, para nuestros fines en la cámara. Aunque no es tan útil para aplicaciones en directo, ya que se necesitan marcadores visibles, su precisión es ideal para aplicaciones cinematográficas, en las que pueden ocultarse fuera de la pantalla o sustituirse en la postproducción.
Vicon utiliza un sistema muy similar al de Optitrak, con seguimiento desde el exterior a partir de sensores con LED que se reflejan en orbes plateados en el escenario. Su conjunto de hardware y software va mucho más allá en la captura de movimientos finos, pero también funciona muy bien para seguir el movimiento de la cámara.
Mientras que otros métodos de rastreo suelen ceñirse a un único método, los métodos de rastreo interior-exterior y exterior-in de Stype pueden adaptarse a lo que necesites. Su sistema RedSpy es «inside-out», con marcadores de seguimiento normalmente en el techo desde un sensor en la cámara. Su sistema Follower es «outside-in», con cámaras colocadas alrededor del escenario para rastrear marcadores LED IR invisibles en el escenario. Lo mejor de este sistema es que RedSpy y Follower pueden utilizarse conjuntamente, lo que permite obtener lo mejor de ambos mundos. También fabrican StypeKit, un método de seguimiento mecánico para grúas y plumas, que amplía aún más las opciones de seguimiento.
Sensores esetereoscópicos
El sistema Vanishing Point, es una combinación de seguimiento visual, software propio y un plugin de Unreal, permite calibrar lentes de forma sencilla, realizar un seguimiento sin marcadores y sin mapeado, realizar un seguimiento de la posición humana e integrar marcadores físicos para conseguir efectos adicionales en la cámara.
Este último método tiene éxito donde otros métodos no pueden: seguimiento inalámbrico, sin marcadores y a la luz del día. Utilizando dos sensores en lentes gran angular montados debajo del objetivo de la cámara, el software puede comprender el espacio 3D y colocar elementos virtuales en la escena. Sin necesidad de preparar un espacio para Ncam, puede integrarse en cualquier lugar donde estés rodando. La principal ventaja, además de la facilidad de configuración, es el seguimiento en exteriores, que ningún otro método de la lista puede lograr. Especialmente indicado para producción virtual de eventos en directo y con luz diurna.
