Tło dla tego rozwiązania stanowi burzliwa historia Windows Recall, jednej z najbardziej kontrowersyjnych funkcji wprowadzanych z myślą o Copilot+ PC. Recall miał regularnie wykonywać zrzuty ekranu, aby użytkownik mógł później „przypomnieć” (od angielskiego “recall”) co robił na komputerze, co w teorii brzmiało jak potężne narzędzie produktywności.

W praktyce wywołało to jednak falę obaw o prywatność i bezpieczeństwo, bo system z natury gromadził wrażliwe dane, od haseł po dane finansowe, jeśli te pojawiały się na ekranie. Microsoft zareagował, czyniąc Recall funkcją domyślnie wyłączoną, wprowadzając silniejsze szyfrowanie, uwierzytelnianie przez Windows Hello oraz filtry blokujące rejestrowanie szczególnie wrażliwych treści, co miało uspokoić użytkowników i regulatorów.

W odróżnieniu od Recall, który działał automatycznie i w tle, planowane narzędzie Copilota ma opierać się na świadomej decyzji użytkownika o wykonaniu zrzutu. To posunięcie ma kluczowe znaczenie dla postrzegania prywatności – zamiast systemu, który rejestruje „wszystko, zawsze”, dostajemy mechanizm działający na żądanie, w którym to użytkownik decyduje, co pokazać AI. Zrzut ekranu będzie w takim modelu wizualnym „załącznikiem” do polecenia, czymś w rodzaju obrazkowego kontekstu wzmacniającego prompt tekstowy.

Dla Copilota oznacza to możliwość lepszej interpretacji zadań: zamiast domyślać się, o którym fragmencie arkusza, wykresu czy aplikacji mowa, może bezpośrednio „zobaczyć” układ okna, dane czy interfejs. To z kolei otwiera pole do bardziej precyzyjnych odpowiedzi, np. wyjaśniania konkretnych błędów widocznych w aplikacji, generowania instrukcji krok po kroku na bazie widocznych przycisków czy analizowania treści dokumentów bez konieczności kopiowania tekstu.

Oczywiście to wszystko było możliwe już wcześniej, przy czym musieliśmy najpierw sami zrobić i przyciąć zrzut ekranu, a potem załączyć go do prompta w Copilocie. Nowa opcja po prostu upraszcza proces inicjując od razu wybór fragmentu ekranu do przekazania, dzięki czemu nie musimy ręcznie robić zrzutu ekranu, przycinać go i wskazywać pliku, do którego go zapisaliśmy.

Źródło Windows Central