Hintergrund: Was wir über Apples Vision Pro und visionOS wissen
Apples teure Wette auf "räumliches Computing": Alle wichtigen Details zu Vision-Pro-Hardware, Software – und der Mixed-Reality-Konkurrenz.
(Bild: Apple)
Die Vision Pro ist zweifellos das ambitionierteste und komplexeste Apple-Produkt seit der Einführung des iPhones vor über 15 Jahren. Am 2. Februar ist es nun soweit: Apple schickt mit der Vision Pro eine neue Gerätekategorie ins Rennen, vorerst nur in den USA. Das Basismodell mit 256 GByte Speicherplatz wird für 3500 US-Dollar gehandelt, weitere Preisstufen sind noch nicht bekannt. Auch zum Euro-Preis und einem Termin für den Start in Deutschland liegen bislang keine Informationen vor.
Auch wenn Apple den Begriff "Virtual Reality" nicht in den Mund nimmt: Die Vision Pro ist ein VR-Headset mit Passthrough- Modus, sie erfasst die physische Außenwelt über Kameras sowie weitere Sensoren und stellt sie auf zwei Bildschirmen vor den Augen des Trägers dar. Apple setzt dabei auf eine besonders hohe Auflösung sowie geringe Latenz. Dabei steht Augmented Reality respektive Mixed Reality im Vordergrund, also digitale Elemente wie Apps, die in der eigenen Umgebung erscheinen – "räumliches Computing". Aber auch Virtual Reality, also das Eintauchen in eine komplett digitale Welt, ist stufenweise möglich, etwa für Filme, Spiele oder einfach als Hintergrund für Apps.
Bislang unübertroffene Display-Technik
Um dreidimensionale filmische Szenen wie auch virtuelle Arbeitsumgebungen mit der Realität zu vereinen, mit ihnen interagieren und gegebenenfalls mit den Menschen darin kommunizieren zu können, analysiert die Vision Pro die Umgebung des Nutzers sowie dessen Hand- und Augenbewegungen mit insgesamt zwölf Kameras, sechs Mikrofonen und fünf Sensoren. Zu diesen zählt beispielsweise ein LiDAR-Scanner, der anhand ausgesandter Lichtpulse und der Zeit, bis sie auf Objekte treffen und zu ihm zurückgeworfen werden, eine 3D-Karte der Umgebung erstellt.
(Bild: Apple)
Doch jenseits der technischen Raffinessen zählt zu den grundlegenden Herausforderungen, denen sich alle Headset-Designer stellen müssen, zunächst das Gewicht. Immer noch gibt es dazu keine genauen Angaben, im Raum stehen rund 500 Gramm. Einen ungewöhnlichen Schritt geht Apple damit, den Akku in ein externes Aluminium-Case auszulagern. So belastet der Akku allenfalls die Hosentasche oder sogar nur das Möbel, auf dem er liegt. Vorteilhaft dürfte sich zudem auswirken, dass man einen externen Akku zum Laden abziehen und leichter gegen einen vollen austauschen kann. Während sich das geflochtene Kabel vom Headset lösen lässt, ist es mit dem Akku offenbar fest verbunden. Zur Kapazität ist noch nichts bekannt, die Laufzeit liegt den Angaben zufolge bei zwei Betriebsstunden, die Wiedergabe von 2D-Videos soll bis zu 2,5 Stunden lang möglich sein. Über USB-C lässt sich das Akku-Pack mit dem Stromnetz verbinden, um die Vision Pro länger verkabelt im Betrieb zu halten.
- Die Vision Pro stellt Außenwelt und VR-Inhalte auf zwei hochaufgelösten Displays dar.
- Die Steuerung erfolgt vorrangig über Augen-Tracking und Gesten.
- Kameras und Sensoren erfassen kontinuierlich die physische Umgebung sowie Augen- und Handbewegungen.
- Viele iOS-Apps laufen direkt in visionOS, das App-Angebot wird entsprechend groß sein.
- Neben 2D-Apps unterstützt die Vision Pro auch Virtual-Reality-Anwendungen und 3D-Inhalte.
(Bild: Apple)
Am Headset sitzt der proprietäre Connector für das Anschlusskabel am linken Bandanschluss, der wiederum das Headset mit einem austauschbaren Kopfband verbindet. Apple will das Kopfband in unterschiedlichen Größen anbieten, ein seitliches Drehrad (Fit Dial) sorgt dann noch zusätzlich für einen festen Sitz. Zusätzlich legt Apple ein Band bei, das zusätzlich auch über den Kopf läuft. Es dürfte das Gewicht besser verteilen und ein Abrutschen des Headsets verhindern. Atmungsaktive Textilmaterialien sollen vermeiden, dass man schnell schwitzt.
Der Rahmen besteht aus einer Aluminiumlegierung. Um das gebogene, aber starre Gehäuse an unterschiedliche Kopfformen und -größen anschmiegen zu können, will Apple auch den weichen Lichtschutz in unterschiedlichen Größen und Passformen anbieten und verbindet ihn per Magnetschließe mit dem Gehäuse. An der Unterseite des Rahmens sieht das thermische Design Lüftungsschlitze vor.
Mixed Reality vereint die virtuelle mit der realen Welt
Für das Verschmelzen der virtuellen Welt mit der persönlichen Umgebung verbergen sich im Rahmen hinter dem gebogenen laminierten Glas, das sich durchgängig über die gesamte Front erstreckt, die eingangs erwähnten Sensoren, Kameras und Mikrofone. Während Letztere unter anderem für das Audio Raytracing bestimmt sind und Sprachbefehle entgegennehmen, erfassen schräg und nach unten gerichtete Kameras die Gesten, mit denen der Nutzer ohne weitere Hardware Schaltflächen drücken oder virtuelle Objekte greifen und bewegen kann. Bei schwachem Umgebungslicht unterstützen Infrarotstrahlen das Erfassen der Gesten.
(Bild: Apple)
Zwei mechanische Bedienelemente sitzen oben rechts und links auf dem Aluminiumrahmen des Headsets: Drückt der Headset-Träger die Digital Crown, die dem gleichnamigen Bedienelement der Watch nachempfunden ist, erscheint der Homescreen; dreht er an ihr, verändert sich der Grad der Verschmelzung zwischen dem realen Raum und sogenannten Environments, sprich Umgebungen. Das sind Landschaften, in die der Nutzer mithilfe der Vision Pro eintauchen kann.
(Bild: Apple)
Eine flache Taste auf der linken Seite löst die Kamera für eine Foto- oder Videoaufnahme aus. Kameras und Mikrofone nehmen die Bilder und den zugehörigen Ton ebenfalls dreidimensional auf. Damit wird die Vision Pro zugleich zu einer stereoskopischen Kamera. Den Protagonisten bleibt die Aufnahme nicht verborgen, denn wie eine blinkende LED beginnt das Visier des Headsets optisch zu pulsieren. Besitzer eines iPhone 15 Pro und 15 Pro Max können bereits solche räumlichen Aufnahmen mit dem Smartphone anfertigen.
Die Projektionsfläche für sogenannte immersive Videos – 3D-Videos in 180 Grad mit Spatial-Audio – vermittelt laut Apple den Eindruck einer 30 Meter breiten Leinwand. Für diese Illusion blickt man im Inneren des Headsets auf zwei Ultra-HD-Displays, deren Größe Apple mit der einer Briefmarke vergleicht. Dass sie trotzdem jeweils mit 4K auflösen, ist möglich, weil jedes der insgesamt 23 Millionen Pixel nur 7,5 Mikrometer breit ist. Damit stehen einem einzelnen iPhone-Pixel 64 Micro-OLED-Pixel gegenüber.
Das Headset unterstützt sowohl Standard- (SDR) als auch High-Dynamic-Range-Inhalte (HDR). Die Bildwiederholrate liegt laut Apple bei mindestens 90 Hertz. Für die Wiedergabe von Videos mit 24 Bildern pro Sekunde lässt sie sich auf 96 Hertz erhöhen. Für den dreidimensionalen Effekt geben die beiden Micro-OLED-Displays dieselbe Szene mit etwa dem gleichen optischen Versatz wieder, der beim Betrachten der realen Welt das Bild im linken Auge von dem im rechten unterscheidet – das Grundprinzip von 3D. Unterschiede in den Details, die jedes Auge wahrnimmt, verstärken den Tiefeneindruck und das räumliche Empfinden.
Vision Pro per Eye-Tracking steuern
Neben Filmen wird das Betriebssystem visionOS auch Apps ausführen sowie etwa Bildschirminhalte eines auf dem Schreibtisch stehenden Macs wiedergeben. Dabei will Apple in 4K gerenderte Texte auch beim Lesen aus unterschiedlichen Betrachtungswinkeln scharf darstellen. Möchte man mit einem Button interagieren, um beispielsweise eine Option zu aktivieren, muss man die Schaltfläche zunächst mit den Augen anvisieren. Um das wiederum systemseitig zu erkennen, sitzt um die Innendisplays herum jeweils ein Ensemble von LEDs und vier Infrarotkameras, die permanent nicht sichtbare Lichtmuster auf die Augen projizieren. Sobald nun die Augen auf eine Schaltfläche oder ein bewegliches Objekt fokussieren, können die Hände über Gesten darauf einwirken.
(Bild: Apple)
Privatsphäre und Sicherheit
Je nachdem, in welcher virtuellen Welt man sich gerade bewegt, könnte es einen beunruhigen, dass die Vision Pro den eigenen Blicken folgt. Das weiß auch Apple und verspricht: Wo Anwender hinschauen, während sie das Headset nutzen, bleibt vertraulich und die Informationen des Augen-Trackings werden nicht mit Apple, Apps von Drittanbietern oder Webseiten geteilt. Beim sogenannten Eye Input fokussiert der Nutzer ein Objekt und kann es anschließend mit einer Handgeste auswählen oder aktivieren. Das Rendering, um das anvisierte Objekt gegenüber dem Nutzer erkennbar hervorzuheben, übernimmt ein Systemprozess, ohne die betreffende App darüber zu informieren. Sie erfährt nur von der abschließend per Handgeste getroffenen Auswahl – wie bei einem Mausklick.
Neue Authentifizierung per Optic ID
Aus dem Sensoren-Ensemble zieht Apple noch einen weiteren Nutzen und führt ein neues biometrisches Authentifizierungsverfahren ein: Um die Vision Pro zu entsperren oder Käufe im App Store zu tätigen, vergleicht das System die LED-Lichtaufnahmen der Iris mit einer neuen Optic ID, einem Iris-Scan. Wie Touch ID (Fingerabdruck) und Face ID (Gesichtsscan) verbleiben die Optic-ID-Daten verschlüsselt auf dem Gerät. Sie liegen vom Hauptprozessor isoliert und für Apps unzugänglich in der Secure Enclave des SoCs (System on a Chip). Entwickler können nicht auf sie zugreifen. Sie können aber, wie auch auf dem iPhone, die gerätespezifische Authentifizierung (hier also per Optic ID) durch das System anfragen, um etwa die Überweisung durch eine Banking-App zu autorisieren.
Digitales Abbild des Nutzers
Apple scannt nicht nur die Iris en détail. Auch wenn es für Dritte im Raum so erscheinen soll: Das Visier der Vision Pro ist nicht durchsichtig. Niemals könnte also eine weitere Person im Raum die Augen dahinter sehen, denn diese blicken auf zwei Mini-Displays. Was außenstehende Personen zu sehen bekommen, ist eine Projektion der Augenpartie des Nutzers in dem linsenförmigen OLED-Panel auf dem Frontglas. EyeSight heißt die neue Vokabel im Apple-Dictionary, zu der die Übersetzen-App auf dem iPhone "Sehkraft" auswirft. Eine spezielle Politur versieht das gebogene OLED-Panel mit einer lentikularen Linse, die für den Betrachter ein Prismenrasterbild erzeugt. Wie bei Fun-Postkarten, die mit diesem Effekt gezielt verblüffen, ändert sich mit der eigenen Bewegung auch die Perspektive des betrachteten Objekts – in diesem Fall der Augen des Nutzers. So vermittelt das Prismenrasterbild einer anderen Person den Eindruck, in direktem Blickkontakt mit dem Nutzer zu stehen, unabhängig davon, ob sie frontal auf das Headset schaut oder aus einem leicht schrägen Blickwinkel. Displays sind jedoch gemeinhin auch die größten Energieverbraucher. Und so weist Apple den nach außen gerichteten Bauteilen eine weitere Aufgabe zu und wertet ihre Signale zusätzlich dahingehend aus, ob sich eine Person dem Nutzer zuwendet. Nur wenn das der Fall ist, erhellt sich das Display und zeigt die digitalisierte Augenpartie des Nutzers dahinter.
(Bild: Apple)
Ähnliches vollzieht sich bei FaceTime noch einmal deutlich verschärft. Denn visionOS zeigt den Träger in Videokonferenzen gänzlich ohne Headset. Für dieses Bild kombiniert die Software die aktuelle Mimik des Nutzers mit dessen Gesicht, das die Vision Pro bereits im Vorfeld scannen und speicheren kann: Damit Apples TrueDepth-Kamera mit einer Kombination aus Infrarotkamera, Punktprojektor und RGB-Kamera detaillierte Tiefeninformationen über das Gesicht des Nutzers erfassen kann, muss man sich der Vision Pro beim ersten Anmeldeprozess einmalig präsentieren, als würde man ihr gegenüberstehen. Nur so kann das Headset den Kopf vollständig rendern, um einen möglichst lebensechten Avatar zu erzeugen. Aus diesem dreidimensionalen Abbild des Nutzers, seiner Mimik und den Händen entsteht dann zur Laufzeit ein digitales Ebenbild. Apple nennt dieses Alter Ego Persona. Damit soll nicht nur die Kommunikation im hauseigenen Facetime möglich sein, sondern auch in gängigen Apps wie Microsoft Teams, Zoom und Webex.
Zeiss Optical Inserts
Nicht nur für die bestmögliche Wahrnehmung der Projektion durch den Nutzer, sondern auch für das Eyetracking ist es wichtig, dass die Vision Pro eventuelle Sehfehler wie eine Brille korrigiert. Hierfür lässt Apple von dem deutschen Optikunternehmen Zeiss spezielle Linsen fertigen. Die Zeiss Optical Inserts werden sich magnetisch vor die Innendisplays ansetzen lassen. Das kostet – je nach Korrekturglas – 100 bis 150 US-Dollar Aufpreis.
(Bild: Apple)
Im Headset selbst verwendet Apple katadioptrische Linsen. Sie sind sehr flach, weshalb man auch von Pancake-Linsen spricht. Gegenüber Fresnel-Linsen, wie sie unter anderem in der Meta Quest 2 sitzen, bieten sie prinzipiell ein kleineres Sichtfeld, sind jedoch weniger anfällig für chromatische Aberrationen, die überlappende Farben und Geisterbilder hervorrufen können. Mit der Quest 3 hat übrigens auch Meta bei den verwendeten Linsen einen Wechsel von Fresnel zu Pancake vollzogen.
