In der modernen Fotografie und Bildverarbeitung geht es längst nicht mehr nur um die Erfassung von Farben und Helligkeit. Die dritte Dimension – die Tiefe – wird zunehmend wichtiger. Hier kommen Time-of-Flight (ToF)-Kameras ins Spiel. Diese relativ neue Technologie ermöglicht es, nicht nur ein zweidimensionales Bild aufzunehmen, sondern für jeden einzelnen Bildpunkt auch die genaue Entfernung zum abgebildeten Objekt zu bestimmen. Das eröffnet eine Vielzahl neuer Möglichkeiten und Anwendungen, die weit über die traditionelle Fotografie hinausgehen.
Was genau sind ToF-Kameras?
ToF-Kameras sind spezielle 3D-Kamerasysteme, die ein Verfahren namens Laufzeitmessung nutzen, um Distanzen zu erfassen. Der englische Begriff dafür ist „Time of Flight“, abgekürzt ToF. Manchmal werden sie aufgrund des verwendeten Sensors, dem sogenannten PMD-Sensor, auch als PMD-Kameras bezeichnet. Ihr grundlegendes Prinzip unterscheidet sich radikal von herkömmlichen Kameras, die lediglich Lichtintensität auf einem Sensor registrieren.
Im Kern funktioniert eine ToF-Kamera, indem sie die Szene aktiv beleuchtet, typischerweise mit einem Lichtpuls im Infrarotbereich, der für das menschliche Auge unsichtbar ist. Dieses Licht trifft auf Objekte in der Szene und wird von diesen reflektiert. Die Kamera fängt das reflektierte Licht wieder ein und misst für jeden einzelnen Bildpunkt, wie lange das Licht für den Weg von der Kamera zum Objekt und wieder zurück benötigt hat. Da die Lichtgeschwindigkeit in der Luft konstant und bekannt ist (etwa 299.710 Kilometer pro Sekunde), kann aus dieser gemessenen Zeit die exakte Distanz zum Objekt berechnet werden. Das Ergebnis ist eine sogenannte Tiefenkarte oder Tiefenbild, bei dem jeder Pixel nicht eine Farbe, sondern einen Entfernungswert repräsentiert.
Im Vergleich zu anderen 3D-Erfassungsmethoden, wie beispielsweise dem strukturierten Licht oder der Stereofotografie, sind ToF-Kameras oft schneller und können eine ganze Szene auf einmal erfassen, anstatt sie Punkt für Punkt abtasten zu müssen, wie es beim Laserscanning der Fall ist. Die Technologie ist noch relativ neu, aber ihre Leistungsfähigkeit und Vielseitigkeit haben schnell zu ihrer Verbreitung in verschiedenen Bereichen geführt.
Die technischen Spezifikationen können je nach Modell variieren, aber typische ToF-Systeme können Entfernungen von einigen Dezimetern bis zu etwa 40 Metern messen. Die Distanzauflösung liegt dabei oft im Bereich von etwa 1 cm, während die laterale Auflösung, also die Anzahl der Tiefenpunkte im Bild, häufig um die 200 × 200 Pixel erreicht. Ein bemerkenswerter Vorteil ist die oft sehr hohe Bildwiederholrate, die bei manchen Systemen bis zu 512 Bilder pro Sekunde betragen kann. Dies macht sie ideal für Anwendungen, bei denen schnelle Bewegungen erfasst werden müssen.
Das faszinierende Prinzip der Laufzeitmessung im Detail
Um zu verstehen, wie eine ToF-Kamera die Entfernung misst, betrachten wir das Prinzip der Laufzeitmessung genauer. Die einfachste und häufigste Methode basiert auf der Aussendung von Lichtpulsen.
Die Kamera sendet einen sehr kurzen, intensiven Lichtpuls aus. Dieser Puls breitet sich mit Lichtgeschwindigkeit aus, trifft auf die Objekte in der Szene und wird von deren Oberflächen reflektiert. Das reflektierte Licht kehrt zur Kamera zurück und wird vom Sensor erfasst. Die Zeit, die das Licht für diesen Hin- und Rückweg benötigt, ist direkt proportional zur Entfernung des Objekts. Je weiter das Objekt entfernt ist, desto länger ist die Laufzeit.
Die benötigte Zeit ist, wie bereits erwähnt, aufgrund der enormen Lichtgeschwindigkeit extrem kurz. Betrachten wir als Beispiel ein Objekt, das 2,5 Meter von der Kamera entfernt ist. Die Lichtgeschwindigkeit in der Luft beträgt ungefähr 299.710 Kilometer pro Sekunde. Die Laufzeit des Lichts von der Kamera zum Objekt (2,5 m) und zurück (weitere 2,5 m, also insgesamt 5 m) beträgt:
tD = 2 * D / cluft = 2 * 2,5 m / 299.710 km/s ≈ 16,7 Nanosekunden (ns)
Eine Nanosekunde ist ein Milliardstel einer Sekunde – das verdeutlicht, wie präzise die Zeitmessung sein muss.
Ein entscheidender Parameter bei der Puls-Methode ist die Länge des ausgesandten Lichtpulses (t0). Diese Pulslänge bestimmt den maximalen Distanzbereich, den die Kamera ohne Mehrdeutigkeiten erfassen kann. Wenn der reflektierte Puls eines Objekts erst nach dem nächsten ausgesandten Puls am Sensor ankommt, kann die Distanz nicht korrekt zugeordnet werden. Der maximale Messbereich ergibt sich aus der Formel:
Dmax = cluft * t0 / 2
Mit einer Pulslänge von beispielsweise 50 ns lässt sich der maximale Messbereich berechnen:
Dmax = 299.710 km/s * 50 ns / 2 ≈ 7,5 Meter
Diese Beispiele zeigen, dass die Erzeugung und Steuerung solch kurzer und gleichzeitig intensiver Lichtpulse eine technische Herausforderung darstellt und spezielle Lichtquellen wie ausgewählte LEDs oder Laser erfordert, die aufwendig angesteuert werden müssen.
Der Aufbau und die Funktion eines ToF-Pixels
Das Herzstück einer ToF-Kamera ist der spezielle Sensor, der aus einer Matrix von Pixeln besteht. Jedes Pixel ist darauf ausgelegt, nicht nur Licht zu sammeln, sondern auch dessen Ankunftszeit oder Phase zu messen. Ein typisches Pixel besteht aus einem fotoempfindlichen Element, wie einer Fotodiode, die Licht in ein elektrisches Signal umwandelt. Entscheidend sind jedoch angebrachte schnelle Schalter oder "Gates", die das Signal nur für einen exakt definierten Zeitraum durchlassen.
In einer gängigen Implementierung arbeitet ein Pixel mit zwei Schaltern (G1 und G2) und zwei Speicherelementen (S1 und S2). Die Schalter werden mit einem Steuersignal angesteuert, das synchron zum ausgesandten Lichtpuls ist und die gleiche Länge hat. Das Signal für den zweiten Schalter (G2) ist dabei um eine Pulslänge gegenüber G1 verschoben. Wenn das reflektierte Licht auf das Pixel trifft, wird das elektrische Signal, das die Fotodiode erzeugt, durch diese Schalter geleitet. Je nach der Laufzeit des Lichts (und damit der Distanz zum Objekt) gelangt ein unterschiedlicher Anteil des Signals in die Speicherelemente S1 und S2.
Wenn das Licht sehr schnell zurückkommt (Objekt nah), gelangt der Großteil des Signals in S1. Kommt das Licht später zurück (Objekt weiter weg), gelangt ein größerer Teil in S2. Das Verhältnis der gesammelten Ladungen in S1 und S2 spiegelt also direkt die Laufzeit des Lichts und damit die Distanz wider.
Da die Lichtmenge, die während eines einzelnen, sehr kurzen Pulses gesammelt werden kann, oft gering ist, wird dieser Vorgang nicht nur einmal, sondern Tausende Male pro Bild wiederholt. Die Signale aus vielen Pulsen werden in den Speicherelementen aufsummiert, was die Signalstärke erhöht und eine zuverlässigere Messung ermöglicht. Nach der Belichtungszeit werden die Pixel ausgelesen und die Werte von S1 und S2 pro Pixel analysiert. Mithilfe der bekannten Pulslänge (t0) und der Lichtgeschwindigkeit kann die Distanz D für jedes Pixel berechnet werden:
D = (cluft * t0 / 2) * (S2 / (S1 + S2))
Nehmen wir das frühere Beispiel, bei dem S1 = 0,66 und S2 = 0,33 gemessen wurden. Die Pulslänge t0 führte zu einem maximalen Messbereich von 7,5 m. Setzen wir diese Werte in die Formel ein:
D ≈ 7,5 m * (0,33 / (0,66 + 0,33)) = 7,5 m * (0,33 / 0,99) ≈ 7,5 m * 0,333 ≈ 2,5 Meter
Das Ergebnis stimmt mit der ursprünglichen Annahme überein und demonstriert, wie aus den gemessenen Signalverhältnissen die Distanz abgeleitet wird.
Vielfältige Anwendungsbereiche von ToF-Kameras
Die Fähigkeit von ToF-Kameras, in Echtzeit eine Tiefenkarte einer Szene zu erstellen, hat ihnen den Weg in eine beeindruckende Bandbreite von Anwendungen geebnet. Ihre Einsatzgebiete reichen von industriellen Anwendungen bis hin zu Consumer-Produkten.
Ursprünglich wurden ToF-Systeme oft für industrielle Zwecke und im Automotive-Sektor entwickelt. Hier kamen sie beispielsweise zur Messung von Abständen in toten Winkeln von Fahrzeugen zum Einsatz, um die Nähe von Personen oder anderen Fahrzeugen zu erkennen. Heute sind sie integraler Bestandteil fortgeschrittener Fahrerassistenzsysteme und spielen eine entscheidende Rolle bei der Entwicklung selbstfahrender Autos, die ihre Umgebung mithilfe dieser 3D-Sensoren wahrnehmen.
Ein großer Durchbruch für 3D-Tiefenkameras im Consumer-Bereich gelang mit der Einführung von Produkten für Videospiele und Unterhaltung. Die zweite Version der Microsoft Kinect (Kinect V2) ist ein sehr bekanntes Beispiel. Als Zubehör für die Xbox One konnte sie die Position und Bewegungen des Spielers im Raum erfassen und für die Interaktion in virtuellen Umgebungen nutzen. Die Kinect V2 gilt als eine der ersten und effizientesten kostengünstigen ToF-Kameras auf dem Markt, was auch durch die Verfügbarkeit von Open-Source-Treibern für Entwickler unterstrichen wird.
Auch in der Robotik haben Tiefenkameras wie die Kinect V1 und V2 viele neue Anwendungen ermöglicht. Roboter können ihre Umgebung besser wahrnehmen, Hindernisse erkennen, Objekte greifen oder sich autonom in komplexen Umgebungen bewegen.
Ein weiterer wichtiger Bereich sind Smartphones. Hersteller wie Samsung gehörten zu den ersten, die ToF-Sensoren auf der Rückseite ihrer Geräte integrierten. Diese Sensoren wurden genutzt, um präzise Tiefeninformationen zu erhalten, was insbesondere bei Porträtaufnahmen hilfreich ist. Mit der genauen Tiefenkarte können Konturen von Personen oder Objekten exakt erkannt und der Hintergrund präzise unscharf gezeichnet werden. Diese Informationen lassen sich sogar für Videoaufnahmen nutzen.
Neben dem verbesserten Porträtmodus ermöglichen ToF-Sensoren auch erweiterte Realität (Augmented Reality, AR)-Anwendungen. Durch die genaue Kenntnis der Raumtiefe kann das Smartphone virtuelle Objekte oder Informationen realistischer in die reale Umgebung einblenden. Features wie AR-Doodle, bei denen man in Echtzeit dreidimensionale Zeichnungen in Videos erstellen kann, basieren auf dieser Tiefeninformation.
ToF-Kameras in Smartphones: Eine Entwicklung mit Höhen und Tiefen
Wie bereits erwähnt, war Samsung ein Pionier bei der Einführung von ToF-Sensoren in Smartphones. Das Samsung Galaxy S10 5G war eines der ersten Modelle weltweit, das mit einem solchen Sensor auf der Rückseite ausgestattet war. Die Vorteile für Fotografie und AR-Anwendungen waren klar.
Interessanterweise schien dieser Trend bei Samsung jedoch nicht von langer Dauer zu sein. Berichten zufolge wurde der ToF-Sensor beim Galaxy Note20 Ultra bereits wieder weggelassen, und auch das Galaxy S22 Ultra verzichtete auf diese Technologie. Die Gründe für diese Entscheidung sind nicht immer vollständig transparent, könnten aber mit Kosten, Platzbedarf oder der Priorisierung anderer Kamera-Features zusammenhängen.
Während Samsung sich vorerst von ToF zu verabschieden schien, setzte der Konkurrent Apple aus Cupertino auf eine ähnliche Technologie, die sie LiDAR (Light Detection and Ranging) nennen. Mit dem iPhone 12 Pro und Pro Max wurde erstmals ein LiDAR-Scanner in einem iPhone verbaut, der in den nachfolgenden Pro-Modellen beibehalten wurde. Obwohl LiDAR und ToF beide auf dem Prinzip der Laufzeitmessung basieren und Tiefeninformationen liefern, gibt es laut der uns vorliegenden Informationen einen Unterschied:
| Merkmal | ToF-Sensor (typisch) | LiDAR-Sensor (Apple) |
|---|---|---|
| Messprinzip | Misst die Laufzeit von Lichtpulsen oder Phasenverschiebung von moduliertem Licht. | Sendet Laserimpulse aus und misst deren Laufzeit. |
| Ergebnis | Erstellt eine Tiefenkarte (Depth Map). | Wird für die Erstellung einer 3D-Karte genutzt. |
Beide Technologien erfüllen jedoch den Zweck, dem Gerät ein Verständnis für die räumliche Tiefe zu vermitteln, was für die bereits genannten Anwendungen wie Porträtmodus und Augmented Reality von großem Nutzen ist. Der Wegfall eines solchen Sensors in bestimmten Smartphone-Modellen bedeutet nicht nur einen potenziellen Qualitätsverlust bei Features wie der Hintergrundunschärfe, sondern auch den kompletten Wegfall von speziellen AR-Funktionen, die auf der präzisen Tiefenerfassung basieren.
Die Microsoft Kinect V2: Ein prominentes Beispiel
Wie bereits erwähnt, ist die Microsoft Kinect V2 ein herausragendes Beispiel für eine ToF-Kamera, die breite Bekanntheit erlangt hat. Sie demonstrierte eindrucksvoll die Möglichkeiten der 3D-Tiefenerfassung für den Massenmarkt.
Die Kinect V2 war nicht nur ein beliebtes Gaming-Zubehör, das es Spielern ermöglichte, durch Körperbewegungen mit Spielen zu interagieren, sondern wurde auch zu einem wichtigen Werkzeug für Forscher und Entwickler in den Bereichen Robotik und Computer Vision. Ihre relativ niedrigen Kosten und die Verfügbarkeit von Open-Source-Treibern (wie libfreenect2 für Linux) machten sie zu einer zugänglichen Plattform für Experimente und Prototypen.
Die Leistung und Zuverlässigkeit der Kinect V2 wurde in zahlreichen Studien untersucht. Dabei wurden Aspekte wie die Messunsicherheit, Präzision und Genauigkeit unter verschiedenen Bedingungen analysiert. Auch die Stabilität des Systems, beispielsweise der Einfluss von Temperaturschwankungen auf die Messung (Drift), wurde betrachtet. Weiterführende Analysen beschäftigten sich mit der Charakterisierung auf Pixel-Ebene (z. B. Einfluss des Einfallswinkels des Lichts oder der Oberflächenbeschaffenheit von Objekten) und auf Sensor-Ebene (z. B. Rekonstruktion bekannter Geometrien oder Probleme mit sogenannten "Mixed Pixels", bei denen ein Pixel den Übergang zwischen zwei Objekten in unterschiedlicher Entfernung erfasst).
Diese wissenschaftlichen Untersuchungen verdeutlichen, dass ToF-Technologie, obwohl sie im Prinzip einfach klingt, in der Praxis komplexe Herausforderungen mit sich bringt, deren Bewältigung für eine zuverlässige 3D-Erfassung entscheidend ist.
Vergleich: ToF-Sensor vs. LiDAR
Obwohl beide Technologien auf der Messung der Laufzeit des Lichts basieren, werden die Begriffe ToF und LiDAR manchmal synonym verwendet, obwohl es, zumindest basierend auf der uns vorliegenden Definition, Unterschiede gibt. Insbesondere im Kontext von Smartphones wird Apple's LiDAR als eine Art ToF-Technologie beschrieben, die aber spezifische Merkmale aufweist.
Hier eine kleine Gegenüberstellung basierend auf den bereitgestellten Informationen:
| Merkmal | ToF-Sensor (allgemein/Samsung) | LiDAR-Sensor (Apple) |
|---|---|---|
| Technologie | Time of Flight (Laufzeitmessung) | Light Detection and Ranging (Laufzeitmessung) |
| Lichtquelle | Lichtpulse oder moduliertes Licht (oft Infrarot) | Laserimpulse |
| Primäres Ergebnis | Tiefenkarte (Depth Map) | 3D-Karte der Umgebung |
| Anwendung (Smartphone) | Porträtmodus, AR-Doodle, Tiefenmessung | Verbesserte AR-Erlebnisse, schnellere Fokusierung bei schlechtem Licht, 3D-Mapping |
Es ist wichtig zu beachten, dass die Grenzen zwischen ToF und LiDAR fließend sein können und die genaue Implementierung variiert. Beide Technologien sind jedoch entscheidend für die Entwicklung von Geräten mit räumlichem Sehen.
Häufig gestellte Fragen zu ToF-Kameras
Hier beantworten wir einige gängige Fragen zum Thema ToF-Kameras:
Ist die Microsoft Kinect V2 eine ToF-Kamera?
Ja, die Microsoft Kinect V2 ist ein bekanntes Beispiel für eine Kamera, die das Time-of-Flight-Prinzip zur Tiefenmessung nutzt.
Welchen Messbereich haben ToF-Kameras typischerweise?
ToF-Kameras können Entfernungen von einigen Dezimetern bis zu etwa 40 Metern erfassen, abhängig vom spezifischen Modell und der Leistung der Lichtquelle.
Wie hoch ist die Auflösung einer ToF-Kamera?
Die laterale Auflösung (Anzahl der Tiefenpunkte) liegt oft bei etwa 200x200 Pixeln. Die Distanzauflösung, also wie genau die Entfernung gemessen werden kann, beträgt typischerweise etwa 1 cm.
Für welche Anwendungen werden ToF-Kameras eingesetzt?
Die Anwendungen sind vielfältig und reichen von der Industrieautomation, über Fahrerassistenzsysteme und selbstfahrende Autos, bis hin zu Videospielen (z.B. Kinect), Robotik und Smartphone-Funktionen wie Porträtmodus und Augmented Reality.
Worin unterscheiden sich ToF-Kameras von herkömmlichen Kameras?
Herkömmliche Kameras erfassen nur die Helligkeit und Farbe des Lichts. ToF-Kameras messen zusätzlich für jeden Bildpunkt die Entfernung zum Objekt, wodurch sie eine Tiefeninformation liefern.
Wie funktioniert das Prinzip der Laufzeitmessung?
Das Prinzip basiert darauf, dass die Kamera Licht aussendet (oft Pulse oder moduliertes Licht) und die Zeit misst, die das Licht benötigt, um von der Kamera zum Objekt und zurück zu gelangen. Aus dieser Laufzeit wird die Distanz berechnet.
Sind ToF und LiDAR dasselbe?
Beide Technologien nutzen das Prinzip der Laufzeitmessung. LiDAR verwendet in der Regel Laserimpulse, um eine 3D-Karte zu erstellen, während ToF oft mit Lichtpulsen oder moduliertem Licht arbeitet, um eine Tiefenkarte zu generieren. Die Grenzen können aber je nach Implementierung fließend sein.
Fazit
ToF-Kameras stellen eine spannende Entwicklung in der Welt der Bildgebung dar. Ihre Fähigkeit, schnell und effizient Tiefeninformationen zu liefern, eröffnet eine Fülle von Möglichkeiten in den unterschiedlichsten Bereichen. Vom autonomen Fahren über die Interaktion in virtuellen Welten bis hin zur Verbesserung von Smartphone-Funktionen – die Technologie des räumlichen Sehens wird immer wichtiger. Auch wenn die Entwicklung, insbesondere im Consumer-Bereich wie Smartphones, Schwankungen unterliegt, ist das grundlegende Prinzip der Laufzeitmessung eine leistungsstarke Grundlage für zukünftige Innovationen, die unsere Art, mit Technologie und unserer Umwelt zu interagieren, weiter verändern wird.
Hat dich der Artikel ToF-Kameras: Tiefenmessung leicht gemacht interessiert? Schau auch in die Kategorie Fotografie rein – dort findest du mehr ähnliche Inhalte!