La IA de Meta que convierte personas en objetos 3D

Meta ha creado una IA que puede reconocer personas para después reconstruirlas en 3D. La compañía anunció SAM 3, el integrante más reciente de la familia de modelos de segmentación que es capaz de identificar elementos en imágenes y video. La novedad de este año es una variante llamada SAM 3D, que no solo reconoce personas y objetos, sino que los reconstruye en 3D para usarlos en videos o exportarlos como modelos separados.

De acuerdo con una publicación en la web de Meta, SAM 3 puede reconocer objetos de imágenes y videos y realizarles un seguimiento. Esto es muy útil para quienes editan videos, ya que solo necesitan escribir el nombre del objeto en el cuadro del prompt y la IA se encargará de seleccionarlo para realizar modificaciones. Si bien la empresa ya había desarrollado versiones previas de este modelo, no eran capaces de manejar descripciones detalladas para segmentar el contenido.

Para probar SAM 3, Meta ha lanzado una aplicación llamada Segment Anything Playground, en donde los usuarios pueden subir videos e imágenes para recortar y añadir efectos. La app incluye algunos ejemplos con prompts predeterminados, aunque tendrás la opción de añadir tu contenido para comprobar que funciona. El editor es algo básico y no se compara a lo que vemos en aplicaciones dedicadas como Premiere, pero ofrece un vistazo de lo que se puede lograr.

Al igual que vemos con Adobe, los adelantos en la IA de Meta se verán reflejados en sus productos. La compañía dijo que usarán SAM 3 para añadir efectos especiales dentro de Edits, el clon de CapCut para crear vídeos cortos en Instagram y Facebook. El modelo de segmentación también se aplicará en los videos generados por IA dentro de Vibes en un futuro no muy lejano.

Aunque SAM 3 ofrece resultados notables, el modelo que más llama la atención es SAM 3D. Según Meta, esta IA va un paso más allá al reconstruir la geometría y apariencia de objetos y personas a partir de una imagen. SAM 3D usa las máscaras y el sistema de detección de SAM 3 para aislar el objeto, reconstruirlo y exportarlo por separado para que lo utilices en software 3D como Blender o motores de videojuegos como el Unreal Engine o Unity.

SAM 3D tiene dos módulos, uno orientado a objetos y escenas y otro entrenado para reconocer personas. Con el primero puedes cargar una imagen y seleccionar los elementos que desees reconstruir haciendo clic en ellos. La herramienta utiliza un modo de selección parecido a la varita mágica de Photoshop, en el que reconoce las características del objeto y genera una máscara que podrás refinar para extraer el modelo.

El editor que se encuentra en el Playground cuenta con opciones para añadir efectos y exportar los modelos por separado en archivos PLY o en un video. En el caso de los humanos, este módulo identifica el modelo y genera una malla aproximada con esqueleto y ajusta la pose. A diferencia del editor de objetos, el módulo de SAM 3D enfocado a personas que está en Playground no permite extraer los modelos 3D.

No tan realista como esperabas

Tras probar la aplicación por unos minutos, descubrí que los objetos se exportan como una nube de puntos y no una malla 3D. Este formato es muy común en fotogrametría, por lo que puedes usar una app como MeshLab para reconstruir la malla o hacerlo directamente en Blender a través de los nodos de geometría. Eso sí, no esperes modelos ultrarrealistas ni texturizados, ya que los archivos 3D necesitan mucho trabajo de edición antes de obtener un resultado que se acerque a lo que vemos en el Playground de Meta.

Mientras SAM 3 se usará para crear y editar Reels, Meta aprovechará las capacidades de SAM 3D en el Marketplace. La IA podrá reconstruir el objeto que deseas comprar y usarlo en un entorno de realidad aumentada para visualizarlo en tu casa. Meta reveló que SAM 3D tiene potencial en campos como la robótica, ciencia, creación de videojuegos o diseño de experiencias VR/AR.