Cómo funciona FSD Parte 4: Cómo funciona Tesla Vision

Esta entrega continúa una serie sobre la tecnología detrás del FSD de Tesla, que previamente cubrió el traductor universal que asigna el FSD a diferentes hardware, los canales de datos que automatizan el etiquetado y lo que el vehículo percibe en su entorno.

Lo que queda es cómo el sistema percibe visualmente el mundo. Dos solicitudes de patente de Tesla brindan una visión clave.

Cualquier sistema autónomo del mundo real debe resolver dos problemas fundamentales: determinar con precisión la distancia y la velocidad de un objeto, y procesar la enorme entrada visual de múltiples cámaras de alta resolución que capturan tanto escenas cercanas como lejanas, sin necesidad de una supercomputadora en cada vehículo.

Mientras que muchos competidores abordan esto con hardware adicional costoso y una compleja fusión de sensores, Tesla confía en la visión y aborda estos desafíos de manera diferente.

Resolución de la profundidad

La primera patente, titulada "Estimación de las propiedades de los objetos utilizando datos de imágenes visuales", explica por qué Tesla no depende del LiDAR, excepto para su validación. La idea central es construir un conjunto de datos de entrenamiento muy grande.

El conjunto de datos abarca millones de millas recorridas por clientes cotidianos, complementado por vehículos de ingeniería de validación. Los autos de validación utilizan sensores auxiliares para proporcionar mediciones de referencia de alta precisión de la distancia y velocidad precisas, que luego se utilizan para entrenar el FSD.

Tesla emplea un canal automatizado para enseñar a la red neuronal de visión. A medida que un vehículo de validación conduce, registra una serie temporal de imágenes de cámara junto con los datos auxiliares. Al rastrear un vehículo u objeto a través de múltiples fotogramas, el sistema resuelve ambigüedades (como dos autos que están muy cerca oclusiones parciales) y asocia los datos precisos de los sensores auxiliares con el objeto correcto en las imágenes.

Este proceso produce un conjunto de datos masivo y altamente preciso utilizado para entrenar la red de visión FSD. Permite que el FSD infiera la profundidad y la velocidad a partir de imágenes 2D con una precisión cercana a la de los sensores auxiliares. Una vez que el modelo se entrena con un alto grado de precisión y se valida, se puede implementar en toda la flota de clientes, eliminando la necesidad de costoso hardware de validación en esos vehículos.

En esencia, Tesla Vision reemplaza los costosos sensores físicos con una potente red neuronal.

Resolución de la eficiencia

El siguiente desafío es manejar la inmensa cantidad de datos de múltiples cámaras de alta resolución sin abrumar a la computadora del vehículo. Una segunda patente, "Detección mejorada de objetos para vehículos autónomos basada en el campo de visión", detalla un método elegante.

Procesar un fotograma de resolución completa desde una cámara orientada hacia adelante es computacionalmente costoso. Una solución común es reducir la muestra, pero eso hace que sea más difícil detectar objetos pequeños y distantes o leer detalles como señales de velocidad. Un auto que es obvio a 200 metros puede convertirse en un grupo indistinto de píxeles, o una señal que dice 80 puede leerse como 30 después de reducir la muestra.

El enfoque de Tesla refleja el ojo humano. El sistema selecciona un campo de visión prioritario (normalmente una franja horizontal cerca del horizonte) donde es más probable que aparezcan objetos distantes pero importantes.

El FSD realiza entonces dos tareas en paralelo:

Analizar un recorte de alta resolución de esa región prioritaria para preservar la claridad de los objetos lejanos.
Analizar una versión de menor resolución y submuestreada del resto de la imagen para detectar de manera eficiente objetos cercanos que no requieren detalles adicionales.

Las dos salidas se fusionan, dando al vehículo una imagen completa que es tanto de largo alcance como computacionalmente eficiente. En términos de renderizado, esto corresponde al renderizado foveado, aplicado aquí a la inversa. Al concentrar la computación donde más importa, el FSD sigue siendo escalable sin necesidad de transportar un clúster de computación en cada vehículo.

Una solución unificada y escalable

Juntas, estas dos patentes ilustran cómo Tesla está ejecutando su estrategia exclusivamente basada en la visión: abordar los problemas de autonomía más difíciles mediante la construcción de una pila de software más inteligente y eficiente en lugar de compensar con más hardware.

Para lecturas relacionadas sobre patentes de Tesla y FSD: