Los modelos base para robótica avanzaron de forma notable, según NVIDIA. Los mejores sistemas actuales ya siguen instrucciones en lenguaje natural para tomar, ubicar, ordenar y manipular una amplia variedad de objetos. El problema es otro: a medida que estos modelos se vuelven más capaces, evaluarlos con rigor se convirtió en uno de los desafíos abiertos más difíciles del campo. Para atacarlo, NVIDIA presentó RoboLab, una plataforma de benchmarking construida sobre simulación.
¿Por qué fallan los benchmarks actuales?
Probar robots en el mundo real es caro, lento y difícil de reproducir. La simulación es el lugar natural para correr evaluaciones a gran escala, pero la mayoría de los benchmarks existentes arrastra tres problemas críticos.
El primero es el solapamiento visual entre entrenamiento y evaluación. Cuando un modelo se afina con datos simulados y se evalúa en ese mismo entorno simulado, un buen puntaje solo revela que memorizó el escenario, no que sabe generalizar. Los enfoques de reconstrucción fotorrealista (con técnicas como inpainting o Gaussian splatting) reducen esa brecha, pero preparar cada escena puede tomar más de una hora, lo que vuelve impráctico el testeo masivo.
El segundo es la saturación. La mayoría de los benchmarks tiene un set fijo de tareas que casi nunca se actualiza. Los modelos maximizan rápido esos puntajes y, cuando todos reportan sobre 90% de éxito en la misma prueba, los números dejan de distinguir cuál sistema es genuinamente mejor.
El tercero es la falta de diagnóstico. Un puntaje binario de éxito o fracaso no explica por qué falló un robot: ¿lo confundió el color del objeto, la forma de la instrucción, una cámara desplazada? Sin respuestas, el investigador no tiene sobre qué actuar.
El problema estadístico que casi nadie mide
Todo motor de física y toda política tienen algo de azar. Una sola tasa de éxito sobre unas pocas ejecuciones dice muy poco sobre el rendimiento real. Si una política acierta 9 de 10 veces, ¿es una política de 90%, o podría ser una de 80% o 95% que tuvo suerte en una muestra chica?
Para acotar esa incertidumbre, RoboLab usa el método de Clopper-Pearson, que construye un intervalo de confianza exacto alrededor de la tasa de éxito. El ejemplo es elocuente: para un 90% observado con solo 70 ejecuciones, el intervalo de confianza al 95% abarca 15,4 puntos porcentuales (de 80,5% a 95,9%). Con 1.030 ejecuciones, ese error se aprieta a una banda de apenas 2 puntos (88,0% a 91,8%). Dicho de otro modo, pasar de una banda de 10 a una de 2 puntos exige cerca de 15 veces más ejecuciones. La mayoría de los benchmarks publicados no corre suficientes pruebas para alcanzar significancia estadística al comparar dos políticas.
¿Qué es RoboLab?
RoboLab es la plataforma de benchmarking en simulación con que NVIDIA busca resolver estos tres problemas. Se apoya en tres principios: habilitar evaluaciones agnósticas al robot con métricas significativas, generar tareas nuevas con rapidez para evitar la saturación (con soporte para flujos de trabajo de agentes de código), y ofrecer un set completo de herramientas de análisis que muestren qué tan bien anda una política, cuándo falla y por qué.
El flujo imita el montaje real: se colocan objetos, se agrega una instrucción en lenguaje natural (o hasta tres) y se corre la política. Con una librería de objetos, el proceso completo toma solo minutos. Además incorpora agent skills que un agente de código puede usar para generar tareas nuevas dentro del flujo del usuario, lo que mantiene el benchmark vigente a medida que los modelos generalistas mejoran.
Trae tu propio robot
Construir una política generalista implica resolver una larga cola de tareas específicas, y ningún equipo tiene datos abundantes para cada tipo de cuerpo robótico. Un laboratorio puede acumular miles de horas en un brazo Franka y casi nada en un humanoide, o al revés. Un benchmark atado a un solo robot obliga a todos a cargar con esa misma brecha de datos.
Las tareas de RoboLab son agnósticas al robot y a la política: el mismo conjunto de escenas se compila contra cualquier cuerpo robótico que el usuario traiga. Importa menos con qué robot se generaron los datos y más que la tarea se haya resuelto.
Tres competencias que un buen benchmark debe aislar
RoboLab parte de la idea de que la manipulación de propósito general se apoya en al menos tres competencias distintas, y diseña tareas para cada una.
| Competencia | Qué evalúa | Tarea de ejemplo |
|---|---|---|
| Visual | Color, tamaño y categoría semántica | "Pon la taza roja pequeña en el cesto" |
| Procedural | Apilar, reorientar, inferir el uso de una herramienta | "Deja todas las tazas hacia arriba y apila las rojas en la repisa" |
| Relacional | Lógica espacial, conteo y conjunciones | "Toma la naranja o la lima y ponla en el bol" |
En RoboLab-120, su benchmark inicial de 120 tareas de mesa curadas por humanos, cada tarea queda etiquetada con las competencias que exige, de modo que la cobertura se mantiene explícita y balanceada.
¿Cómo sabe RoboLab por qué falló un robot?
La tasa de éxito sola no dice casi nada sobre cómo se ejecutó la tarea. Una política que toma el objeto correcto pero lo suelta antes de tiempo figura como fracaso, mientras que otra que triunfa tras un movimiento brusco y lento figura como éxito. Para corregirlo, RoboLab suma tres herramientas:
- Puntajes graduados: crédito parcial por completar subtareas dentro de una instrucción de varios pasos, para no igualar al robot que agarra el objeto correcto con el que no hace nada.
- Calidad de trayectoria: mide la eficiencia del movimiento vía longitud del camino y SPARC (spectral arc-length), una métrica alineada con la percepción humana que capta la suavidad. Se prefieren movimientos más cortos y suaves.
- Velocidad de ejecución: mide la velocidad del efector final, otra métrica alineada con la intuición de que un movimiento más rápido es preferible.
A esto se agrega el registro automático de eventos de falla: agarres del objeto equivocado, objetos caídos y colisiones de la pinza quedan marcados en el punto exacto donde la ejecución se descarrila. En la tarea "guarda todas las botellas plásticas en el cesto", por ejemplo, la política cumplió la instrucción pero de paso metió también una naranja: técnicamente exitosa, con errores intermedios que un puntaje binario habría borrado.
Para inspeccionar todo esto, RoboLab incluye un panel que muestra los eventos a medida que ocurren durante un episodio, de modo que el usuario salta directo al fotograma donde algo se rompió. La pregunta deja de ser "¿funcionó?" y pasa a ser "¿dónde exactamente dejó de funcionar y en qué contexto?". Es, en la práctica, algo más cercano a un depurador de conducta robótica que a una planilla de resultados.
