Investigadores del MIT han dedicado más de diez años a desarrollar técnicas que permiten a los robots localizar y manipular objetos ocultos mediante la capacidad de “ver” a través de obstáculos. Este enfoque se basa en el uso de señales inalámbricas que penetran superficies y se reflejan en objetos ocultos.
Recientemente, el equipo ha comenzado a aplicar modelos de inteligencia artificial generativa para superar un obstáculo crítico que limitaba la precisión de los métodos anteriores. La nueva técnica promete ofrecer reconstrucciones de forma más precisas, lo que podría mejorar significativamente la habilidad de los robots para agarrar y manipular objetos que no son visibles.
Nueva técnica innovadora
La metodología desarrollada permite construir una reconstrucción parcial de un objeto oculto a partir de las señales inalámbricas reflejadas, completando las partes faltantes con un modelo generativo de IA especialmente entrenado. Además, se ha presentado un sistema ampliado que utiliza esta inteligencia artificial para reconstruir con precisión toda una habitación, incluyendo todos los muebles presentes.
Este sistema aprovecha señales inalámbricas enviadas desde un radar estacionario, las cuales se reflejan en personas que se mueven dentro del espacio. De esta manera, se supera uno de los principales desafíos de muchos métodos existentes, que requieren un sensor inalámbrico montado en un robot móvil para escanear el entorno. A diferencia de algunas técnicas basadas en cámaras, este enfoque también garantiza la privacidad de las personas en el área.
Impacto potencial en la robótica
Las innovaciones logradas podrían permitir a los robots en almacenes verificar los artículos empaquetados antes del envío, reduciendo así el desperdicio asociado con las devoluciones. Asimismo, facilitarían que robots domésticos comprendan la ubicación de una persona dentro de una habitación, mejorando la seguridad y eficiencia en la interacción humano-robot.
“Lo que hemos logrado es desarrollar modelos de IA generativa que nos ayudan a entender las reflexiones inalámbricas. Esto abre muchas aplicaciones interesantes y representa un salto cualitativo en capacidades”, afirmó Fadel Adib, profesor asociado en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación del MIT. “Estamos utilizando IA para desbloquear finalmente la visión inalámbrica”.
Superando limitaciones técnicas
El grupo liderado por Adib previamente demostró cómo utilizar señales milimétricas (mmWave) para crear reconstrucciones precisas de objetos 3D ocultos. Estas ondas pueden atravesar obstrucciones comunes como paneles de yeso y plástico, reflejándose en objetos escondidos.
No obstante, las mmWaves suelen reflejarse de manera especular, lo que significa que una onda rebota en una sola dirección al golpear una superficie. Esto provoca que grandes áreas queden efectivamente invisibles para el sensor mmWave.
“Cuando intentamos reconstruir un objeto, solo podemos ver la superficie superior y no podemos observar ninguna parte inferior o lateral”, explica Laura Dodds, asistente de investigación.
Desarrollo del modelo Wave-Former
A través del uso de principios físicos para interpretar señales reflejadas, los investigadores enfrentaron limitaciones en la precisión del modelo 3D reconstruido. En sus nuevos trabajos superaron estas barreras utilizando un modelo generativo para completar partes ausentes en las reconstrucciones parciales.
Sin embargo, surge el desafío: ¿cómo entrenar estos modelos para llenar esos vacíos? Generalmente, se requieren conjuntos de datos extremadamente grandes para entrenar modelos generativos; sin embargo, no existen suficientes datos mmWave disponibles.
Para solucionar esto, adaptaron imágenes de grandes conjuntos de datos utilizados en visión computacional para simular propiedades similares a las reflexiones mmWave. Así lograron crear un conjunto sintético utilizado para enseñar al modelo generativo cómo realizar reconstrucciones plausibles.
Sistema RISE y futuro prometedor
El sistema completo denominado Wave-Former propone superficies potenciales basadas en reflexiones mmWave y alimenta estas propuestas al modelo generativo para completar la forma final. Este sistema fue capaz de generar reconstrucciones fieles de aproximadamente 70 objetos cotidianos ocultos detrás o debajo de cartón, madera o tela, aumentando la precisión casi un 20% respecto a técnicas anteriores.
Aprovechando este mismo enfoque, el equipo construyó otro sistema llamado RISE, diseñado para reconstruir escenas interiores completas analizando reflexiones mmWave provenientes del movimiento humano dentro del espacio. Esta metodología permite obtener información sobre la disposición del entorno mediante el análisis temporal de estas reflexiones secundarias.
A medida que avanzan hacia el futuro, los investigadores planean mejorar aún más la granularidad y detalle en sus reconstrucciones e incluso desarrollar modelos fundamentales para señales inalámbricas similares a aquellos utilizados actualmente en lenguaje y visión.
Este trabajo cuenta con el apoyo parcial de la Nacional Science Foundation (NSF), el MIT Media Lab y Amazon.
Si (
No(
