Jednym z filarów wizji Apple na 2026 rok jest Siri AI, czyli nowa generacja asystenta głosowego oparta na Apple Foundation Models współtworzonych z Google i bazujących na modelach Gemini. Siri AI nie będzie dostępne w pierwszym wydaniu visionOS 27, ale ma pojawić się „później w tym roku”, jako warstwa inteligencji wspólna dla wszystkich głównych systemów Apple, w tym visionOS.
Asystent ma być bardziej konwersacyjny, lepiej rozumieć kontekst użytkownika i łączyć wiedzę o świecie z lokalnymi danymi, korzystając z połączenia małych modeli on‑device i chmury Private Cloud Compute. Na Vision Pro Siri przyjmie formę przestrzennej kuli, którą można przypiąć w konkretnym miejscu w pokoju i aktywować samym spojrzeniem oraz mówieniem, bez konieczności wypowiadania słowa kluczowego.
Wbudowana aplikacja Siri da dostęp do historii rozmów i stanie się natywną alternatywą dla zewnętrznych chatbotów takich jak ChatGPT, Gemini, Claude, Grok czy Meta AI, a modele Apple zadbają też o inteligentniejsze odpowiedzi w Wiadomościach, lepszą generację obrazów czy automatyczne porządkowanie kart w Safari.
W warstwie doświadczeń przestrzennych visionOS 27 rozwija koncepcję scen przestrzennych - użytkownik będzie mógł przekształcić swoje panoramy w przestrzenne środowiska i ustawiać je jako tło dla okien, w praktyce zamieniając własne wspomnienia w personalne „biura” i „pokoje” w Vision Pro.
Apple dodaje też nowe oficjalne środowisko – islandzką dolinę Thórsmörk, znaną z dramatycznych krajobrazów i zorzy polarnej w nocnej wersji scenerii. Będzie to już dziesiąte środowisko visionOS, obok takich lokacji jak Haleakalā, Yosemite, White Sands, Bora Bora czy widok na Jowisza z Amaltei.
Bardzo istotne zmiany dotyczą śledzenia obiektów i akcesoriów. Apple już w visionOS 2 wprowadziło możliwość śledzenia konkretnych trójwymiarowych przedmiotów, trenowanych per‑aplikacja z użyciem Create ML na Macu. Wówczas jednak system był projektowany pod statyczne obiekty, aktualizowane z częstotliwością około 5 Hz, głównie w celu kotwiczenia w nich treści wirtualnych. visionOS 27 dodaje tryb śledzenia w wysokiej częstotliwości, który nadaje się do obiektów trzymanych w rękach lub poruszających się w przestrzeni.
Wstępne relacje deweloperów sugerują, że odświeżanie może sięgać około 30 Hz, co znacząco zwiększa użyteczność w zastosowaniach interaktywnych. Apple zaleca przy tym korzystanie z rozszerzonego trybu treningu modeli, który poprawia jakość śledzenia, ale może wymagać nawet kilkunastu godzin trenowania.
Równolegle pojawia się pełnoprawne API dla akcesoriów śledzonych za pomocą diod podczerwieni. W visionOS 26 Apple dodało wsparcie dla kontrolerów PlayStation VR2 Sense i rysika Logitech Muse, które wykorzystują układ diod podczerwieni pod obudową.
Teraz firma z Cupertino otwiera ten mechanizm dla dowolnych zainteresowanych firm, udostępniając API umożliwiające tworzenie własnych akcesoriów IR LED śledzonych przez Vision Pro, podobnie jak ekosystem akcesoriów Lighthouse dla SteamVR na PC.
Śledzenie działa tu z częstotliwością 90 Hz i jest łączone z danymi z IMU (akcelerometr, żyroskop) akcesoriów, zapewniając jakość porównywalną z kontrolerami Sense. Deweloperzy i producenci mają do wyboru dwie ścieżki integracji: dedykowaną aplikację towarzyszącą rejestrującą kształt i rozkład diod akcesorium w systemie do wykorzystania we wszystkich aplikacjach, lub wbudowanie obsługi akcesorium bezpośrednio w konkretny program, co ma sens szczególnie w zastosowaniach firmowych.
Z perspektywy twórców treści ogromne znaczenie ma nowa funkcja nagrywania ekranu bez efektu zmniejszenia rozdzielczości poza obszarem bezpośrednio w zasięgu wzroku użytkownika.
Vision Pro na co dzień korzysta z techniki foveated rendering sterowanej ruchem oczu, renderując w pełnej rozdzielczości tylko obszar, na który bezpośrednio patrzymy, a resztę w niższej jakości, co jest kluczowe dla wykorzystania paneli 4K przy rozsądnej wydajności i zużyciu energii.
Efektem ubocznym było jednak to, że nagrania ekranu z Vision Pro wyglądały na rozmyte wszędzie tam, gdzie użytkownik akurat nie spoglądał. Dotychczas jedynym obejściem było nagrywanie w symulatorze visionOS na mocnym Macu.
Na szczęście visionOS 27 wprowadza tryb High Quality Recording, który pozwala nagrać do trzech minut wido 4K bez wspomnianego efektu bezpośrednio na goglach, bez potrzeby korzystania z Maca. To otwiera drogę do znacznie lepszej prezentacji aplikacji i doświadczeń przez deweloperów, dziennikarzy, influencerów i twórców wideo.
Nowa wersja systemu przynosi też kilka zmian, które poprawiają codzienne korzystanie z Vision Pro. Przebudowany Control Center zyskuje układ trzech paneli, co porządkuje i zwiększa przestrzeń dla elementów interfejsu. Lewy panel pokazuje datę, godzinę, baterię, status Wi‑Fi i powiadomienia odtwarzania, środkowy oferuje skróty do najważniejszych przełączników (Wi‑Fi, Bluetooth, AirPlay, tryb samolotowy), regulację głośności oraz szybkie akcje takie jak Mac Virtual Display, Mirroring, Guest Mode i Travel Mode, natomiast prawy odpowiada za sterowanie środowiskiem, w tym przełączanie dzień/noc oraz płynne przejście między pełnym passthrough a całkowitym zanurzeniem w wirtualnej scenerii.
Apple rozwiązuje też dość irytującą niedogodność związaną z wolnym łączeniem się z Wi‑Fi po uruchomieniu urządzenia – w visionOS 27 czas inicjalizacji ma zostać skrócony nawet trzykrotnie, co szczególnie docenią osoby często włączające headset w nowych miejscach.
Safari, Freeform i Apple TV Multiview otrzymują wsparcie dla zakrzywionych okien, co pozwala na bardziej immersyjne ułożenie treści wokół użytkownika. Przeglądarka wykorzystuje tę możliwość do tworzenia zakrzywionego interfejsu kart, częściowo „owijającego” się wokół pola widzenia, podobnie jak Multiview w Apple TV.
Niestety API dla zakrzywionych okien pozostaje prywatne i zarezerwowane dla aplikacji Apple, więc aplikacje firm trzecich nadal są ograniczone do płaskich okien w Shared Space, chyba że zdecydują się na budowę własnych rozwiązań, kosztem spójności z systemowymi API.
Safari zyskuje ponadto obsługę Web Environments, czyli możliwości przypisania przez twórcę strony trójwymiarowego środowiska, które użytkownik może opcjonalnie włączyć i otoczyć się nim podczas przeglądania, co jest bliższe ustawianiu favicony niż aktywnym scenom WebXR.
W visionOS 26 Apple wprowadziło klasyczne przestrzenne widżety (Zegar, Pogoda, Muzyka, Zdjęcia) oraz API dla deweloperów. visionOS 27 dodaje jeszcze mniejsze accessory widgets, które można wykorzystać do prezentowania drobnych informacji lub prostych przycisków – baterii, timera, kursu akcji, sterowania smart‑domem czy skrótu do aplikacji. Apple implementuje własny widżet akcesoryjny dla Mac Virtual Display, pozwalający jednym spojrzeniem i gestem ściśnięcia palców uruchomić sesję z konkretnym Makiem, nawet gdy jest zablokowany.
Z kolei powiadomienia w systemie mogą w visionOS 27 rozszerzać swoją treść automatycznie, gdy tylko użytkownik na nie spojrzy, pokazując więcej informacji i dostępnych akcji bez konieczności wykonywania gestu, co wykorzystuje śledzenie wzroku do dalszego zmniejszenia tarcia interfejsowego.
visionOS 27 otrzymuje także funkcję automatycznych napisów dla dowolnego wideo, generowanych lokalnie przez model rozpoznawania mowy działający na urządzeniu. To rozwiązanie nie tylko wspiera osoby niesłyszące czy słabosłyszące, ale także ułatwia korzystanie z treści w głośnym otoczeniu lub w języku obcym.
Dla deweloperów kluczowe są zmiany w RealityKit, który w visionOS 27 otrzymuje zestaw funkcji pozwalających zbliżyć się do możliwości wyspecjalizowanych silników, ale przy zachowaniu natywnej integracji z systemem. Nowością jest oświetlenie fizycznej przestrzeni przez obiekty wirtualne – dotychczas Vision Pro generował cienie obiektów cyfrowych w realnym otoczeniu, bazując na siatce 3D pomieszczenia z LiDAR‑u oraz czujnikach światła. Teraz aplikacje mogą dodawać własne źródła światła (punktowe i reflektorowe), które „rzucają” światło na fizyczne elementy otoczenia, z możliwością wykorzystania tekstur projekcyjnych do efektów takich jak witraże, refleksy wodne, gwiezdne projekcje czy sceniczne oświetlenie.
Kolejnym ważnym elementem są symulacje tkanin w czasie rzeczywistym oraz ulepszenia audio. W visionOS 27 RealityKit pozwala tworzyć materiały, które reagują na grawitację, zginają się, marszczą, kolidują z obiektami i mogą być chwytane lub ciągnięte przez użytkownika. Parametry takie jak sztywność, tarcie czy charakterystyka materiału można precyzyjnie dostrajać, co otwiera drogę do wiarygodnych fizycznie zasłon, ubrań, flag, dywanów czy innych elementów interaktywnych.
W obszarze dźwięku RealityKit otrzymuje Reverb Mesh API, w którym deweloper opisuje geometrię i właściwości akustyczne wirtualnego środowiska, przypisując materiałom powierzchni współczynniki pochłaniania, rozpraszania i odbicia dla różnych częstotliwości. Silnik symuluje następnie propagację i pogłos dźwięku w tej przestrzeni, tak aby audio współgrało z tym, co widzimy w VR. Funkcjonalnie przypomina to rozwiązania znane z Meta XR Audio SDK dla headsetów Quest czy Steam Audio od Valve, ale teraz jest dostępne natywnie w ekosystemie Apple.
Na koniec warto wspomnieć o ułatwieniach dla deweloperów pracujących tandemie Mac + Vision Pro. macOS 27 dodaje API Mac 3D Object Preview, które pozwala aplikacjom na Macu – w tym systemowej aplikacji Podgląd – wysyłać obiekt 3D do Vision Pro i oglądać go w przestrzeni, bez konieczności tworzenia dedykowanej aplikacji visionOS. Co więcej, model można edytować po stronie visionOS za pomocą sterowania wzrokiem i gestów, a zmiany są odzwierciedlane po stronie macOS, z obsługą SharePlay dla współdzielonej edycji z udziałem Person.
Xcode 27 wprowadza też aplikację Device Hub, dzięki której deweloper może z poziomu Maca zdalnie uruchamiać aplikacje na Vision Pro, co znacząco ułatwia prowadzenie demo dla użytkowników, którzy nie czują się jeszcze swobodnie w interfejsie sterowanym spojrzeniem i gestem. W połączeniu z szybszym Wi‑Fi i nowymi narzędziami śledzenia obiektów visionOS 27 wyraźnie dojrzewa jako platforma, która przestaje być eksperymentem, a coraz bardziej przypomina pełnoprawny system operacyjny dla świata przestrzennego.
Źródło: UploadVR
