Quienes desarrollan aplicaciones de diseño 3D, simulación, robótica y gemelos digitales industriales necesitan formas de llevar capacidades de IA física a las herramientas que ya usan. Muchos de esos flujos dependen de escenas OpenUSD, activos listos para simulación (SimReady), pipelines basados en Blender o cadenas de CAD. El desafío es entregar a esas aplicaciones y a los agentes de IA herramientas invocables para inspeccionar escenas, generar salidas de sensores y devolver evidencia confiable.

Las librerías de NVIDIA Omniverse, ahora parte del NVIDIA Agent Toolkit, aportan bloques modulares para sumar esas capacidades sin reescribir la aplicación. ovrtx es la librería de simulación de sensores RTX de esa pila, disponible como software preliminar en GitHub. Ofrece un SDK ligero en C y Python para generar salidas de cámara, lidar, radar y sensores relacionados desde contenido OpenUSD, manteniendo el control dentro de la aplicación anfitriona.

¿Qué hacen las librerías Omniverse por el desarrollador?

La simulación y el renderizado se están volviendo parte de la capa de aplicación en diseño, robótica, vehículos autónomos, gemelos digitales industriales e IA física. Los equipos necesitan visualizar escenas OpenUSD, generar datos con base física, probar sistemas de percepción y ver resultados dentro de las herramientas que ya usan: sistemas CAD, flujos con Blender, procesos PLM o PDM y pipelines de activos OpenUSD.

Presentadas en SIGGRAPH 2026, las librerías Omniverse ahora forman parte del Agent Toolkit, con ovrtx como capa de simulación de sensores RTX. Ayuda a aplicaciones y agentes a generar salidas de cámara, lidar, radar, segmentación semántica y verificación visual previa desde escenas OpenUSD.

Flujo de una aplicacion que usa datos de escena OpenUSD con ovrtx para generar salidas de camara y sensores renderizadas con RTX
Flujo de una aplicacion que usa datos de escena OpenUSD con ovrtx para generar salidas de camara y sensores renderizadas con RTX

¿Cómo se integra ovrtx en flujos existentes?

El principio central es directo: como desarrollador, puedes llevar la simulación de sensores RTX de NVIDIA Omniverse a tus propias aplicaciones mientras mantienes el control de la arquitectura, la interfaz, el modelo de datos y el flujo de trabajo. El SDK está pensado para proyectos que necesitan un visor 3D en tiempo real, renderizado RTX o simulación de sensores, incluidos cámara, lidar, radar y ultrasonido.

Una integración típica sigue cinco pasos:

  • Crear y configurar un renderizador de ovrtx.
  • Cargar o referenciar contenido OpenUSD desde el pipeline existente de la aplicación.
  • Definir los RenderProducts y RenderVars para cámara, lidar, radar, segmentación semántica u otras salidas.
  • Ejecutar el renderizado o la simulación de sensores desde el bucle de la aplicación.
  • Mapear los resultados de vuelta a memoria de CPU o GPU para mostrarlos, guardarlos, analizarlos o pasarlos a otro proceso.

El siguiente pseudocódigo ilustra el patrón: la aplicación anfitriona es dueña del flujo.

Código
renderer = ovrtx.Renderer()
renderer.open_usd(app_scene_or_usd_layer)

render_products = {"/Render/Camera"}  # Agrega lidar, radar u otras salidas.

while app.is_running():
    app.update_scene_state()

    products = renderer.step(
        render_products=render_products,
        delta_time=app.frame_delta_seconds,
    )

    for product in products.values():
        for frame in product.frames:
            color = frame.render_vars["LdrColor"].map(device=ovrtx.Device.CPU)
            app.use_render_output(color)

El control permanece en la aplicación anfitriona: la app es dueña del bucle, ovrtx produce las salidas de renderizado o sensores pedidas y los resultados vuelven al flujo para mostrarse, almacenarse o procesarse.

Parte de una pila más amplia

ovrtx no trabaja solo. Se combina con otras librerías Omniverse: ovphysx para simulación física, ovstream para streaming, ovstorage para gestión de datos y ovstage, que provee un escenario compartido en tiempo de ejecución para los datos de escena OpenUSD y permite que librerías como ovphysx y ovrtx intercambien estado de simulación e identidades de objetos a través de un sustrato de datos común.

Juntas habilitan tuberías de simulación y visualización multimodales orientadas a producción, claves para la generación de datos sintéticos (SDG), los gemelos digitales y la validación de IA física en dominios 3D e industriales avanzados. Los ejemplos incluyen un flujo con PTC Onshape Render Studio nativo en la nube y una muestra SimReady basada en Blender.