Wie Teslas FSD funktioniert, Teil 5: Modellierung einer physischen Wel

Tesla hat ein detailliertes Patent veröffentlicht, das die innere Mechanik seines kamerabasierten Occupancy Networks beschreibt. Die Anmeldung mit dem Titel Artificial Intelligence Modeling Techniques For Vision-based Occupancy Determination wurde am 12. März 2026 publiziert.

Das von einer Gruppe von Ingenieuren, zu der auch Ashok Elluswamy gehört, verfasste Dokument erläutert, wie Tesla künstliche Intelligenz einsetzt, um die physische Umgebung ohne Radar oder LiDAR wahrzunehmen und zu modellieren.

Verständnis des Voxel-Gitters

Das Occupancy Network ist um Voxeln herum organisiert, bei denen es sich um dreidimensionale Pixel handelt, die Punkte innerhalb eines volumetrischen Gitters um das Fahrzeug herum repräsentieren. Um dieses Gitter zu erstellen, verarbeitet das Modell Bilder von den acht Außenkameras des Fahrzeugs und sagt voraus, ob jedes Voxel von einem Objekt mit Masse belegt ist.

Die manuelle Kennzeichnung von Millionen von 3D-Punkten wäre unerschwinglich zeitaufwendig, daher stellt das Patent fest, dass Tesla für die Skalierung des Modelltrainings stark auf unüberwachte Lernmethoden setzt.

Variable Auflösung und Sub-Voxeln

Das Patent beschreibt eine Strategie zur Verwaltung der Rechenleistung durch dynamische Größenänderung der Voxeln. Die Standardgröße für ein Voxel beträgt 33 Zentimeter an jeder Kante, was für entfernte Bereiche oder Bereiche abseits der unmittelbaren Fahrbahnoberfläche ausreichend ist.

Für belegte Bereiche, die sich innerhalb eines Schwellenabstands zum Fahrzeug befinden, kann FSD die Voxelgröße auf 10 Zentimeter reduzieren, um feinere Details zu erfassen. Die neuronalen Netze können auch eine teilweise Belegung darstellen, indem sie belegte Bereiche in kleinere Sub-Voxeln unterteilen.

Diese zusätzliche Granularität hilft dem System, die präzise Form gekrümmter Objekte wiederherzustellen. Darüber hinaus kann ein Analyse-Server eine trilineare Interpolation anwenden, um den Belegungszustand jedes beliebigen Punktes innerhalb eines Voxels zu schätzen.

Zeitliche Fusion und 3D-Semantik

Die KI behandelt Einzelbilder nicht als isolierte Momentaufnahmen. Ein Transformer aggregiert 2D-Bilddaten zu einer einheitlichen 3D-Repräsentation und führt diese dann mit Repräsentationen früherer Zeitstempel zusammen. Die Kombination von räumlichem und zeitlichem Kontext ermöglicht es dem Netzwerk, den Belegungsfluss zu berechnen, der die genaue Geschwindigkeit sich bewegender Voxeln angibt.

Das System wendet dann ein semantisches 3D-Verständnis an, um auf den Objekttyp zu schließen und beispielsweise ein sich bewegendes Auto, ein statisches Gebäude oder einen Straßenbordstein zu unterscheiden. Es priorisiert bestimmte semantische Formen; ein sich bewegendes Fahrzeug in der Nähe des eigenen Fahrzeugs wird gründlicher untersucht als ein weit entferntes, statisches Objekt.

Antrieb für Fahrzeuge und Optimus

Die resultierenden Informationen werden kontinuierlich zu einem abfragbaren Datensatz zusammengestellt. FSD kann diesen Datensatz abfragen, um Belegungszustände zu ermitteln und Fahrentscheidungen in Echtzeit zu treffen. Derselbe Datensatz wird auch verwendet, um die 3D-Umgebungskarte zu rendern, die in der Benutzeroberfläche des Fahrzeugs angezeigt wird.

Obwohl sich das Patent auf autonome Fahrzeuge konzentriert, betont es, dass der zugrunde liegende Ansatz hochgradig anpassungsfähig ist. Das Dokument spezifiziert, dass dasselbe kamerabasierte Occupancy Network auf einem zweibeinigen, menschenähnlichen Allzweckroboter eingesetzt werden kann, um unterschiedliches Terrain zu durchqueren.

Weiterführende Lektüre zu FSD-bezogenen Tesla-Patenten: