Comment fonctionne le FSD de Tesla, partie 5 : modéliser un monde phys

Tesla a publié un brevet détaillé décrivant le fonctionnement interne de son réseau d'occupation basé sur la vision. Le document, intitulé Artificial Intelligence Modeling Techniques For Vision-based Occupancy Determination (Techniques de modélisation par intelligence artificielle pour la détermination de l'occupation basée sur la vision), a été publié le 12 mars 2026.

Rédigé par un groupe d'ingénieurs comprenant Ashok Elluswamy, le document explique comment Tesla applique l'intelligence artificielle pour percevoir et modéliser l'environnement physique sans utiliser de radar ou de LiDAR.

Comprendre la grille de voxels

Le réseau d'occupation est organisé autour de voxels, qui sont des pixels tridimensionnels représentant des points dans une grille volumétrique entourant le véhicule. Pour construire cette grille, le modèle traite les images des huit caméras extérieures du véhicule et prédit si chaque voxel est occupé par un objet ayant une masse.

Étiqueter manuellement des millions de points 3D serait d'une lenteur prohibitive ; le brevet note donc que Tesla s'appuie largement sur des méthodes d'apprentissage non supervisé pour mettre à l'échelle l'entraînement du modèle.

Résolution variable et sous-voxels

Le brevet décrit une stratégie pour gérer la puissance de calcul en redimensionnant dynamiquement les voxels. La taille par défaut d'un voxel est de 33 centimètres sur chaque sommet, ce qui est suffisant pour les régions éloignées ou les zones situées en dehors de la surface de conduite immédiate.

Pour les régions occupées et situées dans une certaine distance seuil par rapport au véhicule, le FSD peut réduire la taille du voxel à 10 centimètres afin de capturer des détails plus précis. Les réseaux neuronaux peuvent également représenter une occupation partielle en divisant les régions occupées en sous-voxels plus petits.

Cette granularité accrue aide le système à reconstituer la forme précise des objets courbes. De plus, un serveur d'analyse peut appliquer une interpolation trilinéaire pour estimer l'état d'occupation de n'importe quel point spécifique à l'intérieur d'un voxel.

Fusion temporelle et sémantique 3D

L'IA ne traite pas les images comme des instantanés isolés. Un transformeur agrège les données d'image 2D en une représentation 3D unifiée, puis les fusionne avec les représentations issues d'horodatages précédents. La combinaison du contexte spatial et temporel permet au réseau de calculer le flux d'occupation, ce qui indique la vélocité exacte des voxels en mouvement.

Le système applique ensuite une compréhension sémantique 3D pour déduire le type d'objet, distinguant, par exemple, une voiture en mouvement, un bâtiment statique ou un trottoir. Il donne la priorité à certaines formes sémantiques ; un véhicule en mouvement à proximité est examiné plus minutieusement qu'une structure statique lointaine.

Alimenter les véhicules et Optimus

Les informations résultantes sont continuellement compilées dans un jeu de données interrogeable. Le FSD peut interroger ce jeu de données pour obtenir des états d'occupation et prendre des décisions de conduite en temps réel. Le même jeu de données est également utilisé pour générer la carte environnementale 3D présentée dans l'interface utilisateur du véhicule.

Bien que le brevet se concentre sur les véhicules autonomes, il souligne que l'approche sous-jacente est hautement adaptable. Le document précise que le même réseau d'occupation basé sur la vision peut être déployé sur un robot humanoïde bipède polyvalent pour parcourir des terrains variés.

Pour des lectures complémentaires sur les brevets Tesla liés au FSD :