Wie FSD funktioniert, Teil 4: So funktioniert Tesla Vision

Dieser Beitrag setzt eine Reihe über die Technologie hinter Teslas FSD fort. Bisher ging es um den universellen Übersetzer, der FSD an unterschiedliche Hardware anpasst, um Datenpipelines zur automatischen Kennzeichnung und darum, was das Fahrzeug in seiner Umgebung wahrnimmt.

Offen bleibt, wie das System die Welt visuell wahrnimmt. Zwei Patentanmeldungen von Tesla geben wichtige Einblicke.

Jedes autonome System für den realen Einsatz muss zwei zentrale Probleme lösen: die Entfernung und Geschwindigkeit eines Objekts präzise bestimmen und die enorme Menge visueller Daten mehrerer hochauflösender Kameras verarbeiten, die nahe und weit entfernte Szenen erfassen – ohne in jedem Fahrzeug einen Supercomputer zu benötigen.

Während viele Wettbewerber dieses Problem mit kostspieliger zusätzlicher Hardware und komplexer Sensorfusion angehen, setzt Tesla auf visuelle Wahrnehmung und verfolgt einen anderen Ansatz.

Entfernung bestimmen

Das erste Patent mit dem Titel „Estimating Object Properties Using Visual image Data“ erklärt, warum Tesla sich – abgesehen von der Validierung – nicht auf LiDAR verlässt. Die zentrale Idee ist der Aufbau eines sehr großen Trainingsdatensatzes.

Der Datensatz umfasst Millionen von Kilometern, die von alltäglichen Kunden zurückgelegt wurden, ergänzt durch Validierungsfahrzeuge aus der Entwicklung. Diese Validierungsfahrzeuge nutzen zusätzliche Sensoren, um äußerst präzise Referenzmessungen von Entfernung und Geschwindigkeit zu liefern, mit denen FSD anschließend trainiert wird.

Tesla nutzt eine automatisierte Pipeline, um das neuronale Netz für die visuelle Wahrnehmung zu trainieren. Während ein Validierungsfahrzeug fährt, zeichnet es eine Zeitreihe von Kamerabildern zusammen mit den Daten der zusätzlichen Sensoren auf. Indem das System ein Fahrzeug oder Objekt über mehrere Einzelbilder hinweg verfolgt, löst es Mehrdeutigkeiten auf – etwa wenn zwei Autos dicht nebeneinander fahren oder teilweise verdeckt sind – und ordnet die präzisen Daten der zusätzlichen Sensoren dem richtigen Objekt im Bildmaterial zu.

Dieser Prozess erzeugt einen umfangreichen, hochpräzisen Datensatz, mit dem das FSD-Bildverarbeitungsnetzwerk trainiert wird. Dadurch kann FSD Tiefe und Geschwindigkeit aus 2D-Bildern mit einer Präzision ableiten, die nahezu der der zusätzlichen Sensoren entspricht. Sobald das Model auf eine hohe Genauigkeit trainiert und validiert wurde, kann es in der gesamten Kundenflotte eingesetzt werden. Dadurch entfällt in diesen Fahrzeugen die Notwendigkeit teurer Validierungshardware.

Im Grunde ersetzt Tesla Vision kostspielige physische Sensoren durch ein leistungsstarkes neuronales Netz.

Effizient arbeiten

Die nächste Herausforderung besteht darin, die riesigen Datenmengen mehrerer hochauflösender Kameras zu verarbeiten, ohne den Fahrzeugcomputer zu überlasten. Ein zweites Patent, „Enhanced Object Detection for Autonomous Vehicles Based on Field of View“, beschreibt eine elegante Methode.

Die Verarbeitung eines Bildes in voller Auflösung von einer nach vorn gerichteten Kamera ist rechenintensiv. Eine verbreitete Abhilfe ist das Herunterskalieren der Auflösung. Dadurch lassen sich jedoch kleine, weit entfernte Objekte schwerer erkennen oder Details wie Geschwindigkeitsbegrenzungsschilder schlechter lesen. Ein Auto, das in 200 Metern Entfernung gut zu erkennen ist, kann zu einer undeutlichen Pixelansammlung werden; ein Schild mit der Aufschrift 80 kann nach dem Herunterskalieren als 30 gelesen werden.

Teslas Ansatz ähnelt dem menschlichen Auge. Das System wählt einen priorisierten Sichtbereich aus – in der Regel einen horizontalen Streifen nahe dem Horizont –, in dem wichtige, weit entfernte Objekte am ehesten auftauchen.

FSD führt dann zwei Aufgaben parallel aus:

Es analysiert einen hochauflösenden Ausschnitt dieses priorisierten Bereichs, damit weit entfernte Objekte klar erkennbar bleiben.
Es analysiert eine herunterskalierte Version mit geringerer Auflösung des übrigen Bildes, um nähere Objekte, für die keine zusätzlichen Details nötig sind, effizient zu erkennen.

Die beiden Ergebnisse werden zusammengeführt. So erhält das Fahrzeug ein vollständiges Bild mit großer Reichweite, das zugleich recheneffizient ist. In der Computergrafik entspricht dies dem foveierten Rendering – hier allerdings umgekehrt angewendet. Indem FSD die Rechenleistung dort konzentriert, wo sie am wichtigsten ist, lässt sich das System skalieren, ohne in jedem Fahrzeug einen Rechencluster mitführen zu müssen.

Eine einheitliche, skalierbare Lösung

Zusammengenommen zeigen diese beiden Patente, wie Tesla seine reine Vision-Strategie umsetzt: Die schwierigsten Probleme des autonomen Fahrens werden durch einen intelligenteren und effizienteren Software-Stack angegangen, statt sie mit zusätzlicher Hardware auszugleichen.

Weitere Artikel zu Tesla-Patenten und FSD: