Google uczy Gemini opisywać otoczenie niewidomym. Tylko na Androidzie

Od 1 października Gemini Live, głosowa rozmowa z asystentem Google, ma tryb dla osób niewidomych i słabowidzących. Telefon patrzy przez aparat, opisuje na głos, co widzi, i podpowiada, jak przesunąć aparat, gdy kadr jest zły. Działa wyłącznie na Androidzie. W ankiecie wśród użytkowników programów czytających ekran na głos 72 procent badanych z Europy wskazało jako główne urządzenie przenośne iPhone’a albo iPada.

Funkcja nazywa się Guided Vision, a na polskiej stronie pomocy Google „widok z asystą”. Wpis na blogu Google z 1 października, podpisany nazwiskiem Isha Sheth z zespołu Gemini Live, wylicza zwykłe czynności: odczytanie składu z małej etykiety, ustawień pralki, menu w ciemnej restauracji, odszukanie słuchawki na podłodze albo pieprzu w zatłoczonej szafce. Gdy aparat celuje za wysoko, za blisko albo w bok, Gemini prosi o powolny obrót w prawo, pochylenie w dół albo krok w tył. O szczegóły można dopytywać.

Model uczył się na danych opisanych przez ludzi z Airy. To firma zatrudniająca zawodowych opisywaczy: przez wideo mówią niewidomym, co widzi ich kamera. Według Google jej ludzie opisywali dane do treningu łącznie przez dziesiątki tysięcy godzin, czyli ponad dwa lata pracy bez przerwy, dzień i noc. Ponad tysiąc testerów z sieci Airy sprawdzało model w codziennych sytuacjach. Specjaliści firmy pomagali ustalić zabezpieczenia.

Google podaje, że widok z asystą działa na telefonach z Androidem 9 i nowszym, w krajach i językach obsługiwanych przez Gemini Live. Polski jest na liście języków aplikacji Gemini, a pomoc Google ma już polską stronę funkcji z nazwami przełączników. Funkcja trafia do telefonów stopniowo. Część użytkowników dostanie ją później.

Opłat Google w opisie nie wymienia. Ani zapowiedź, ani strona pomocy nie wspominają o płatnym planie. Serwis 9to5Google, piszący o produktach Google, podał 16 kwietnia 2025 roku, że sam aparat w Gemini Live przestaje wymagać płatnego planu Gemini Advanced i trafi do wszystkich użytkowników Androida.

Wśród krajów, w których niewidomi testowali opisy i podpowiedzi, Google wymienia Indie, Brazylię, Singapur, Indonezję i Japonię, z dopiskiem „i więcej”. Polski na tej liście nie ma.

1. 1

   Przełącznik w Gemini

   Otwórz aplikację Gemini na Androidzie, dotknij zdjęcia profilowego u góry, wybierz Ustawienia i włącz „Używaj widoku z asystą w trybie Live”.

2. 2

   Rozmowa z aparatem

   Rozpocznij rozmowę w trybie Live i udostępnij obraz z aparatu. Sesję kończy przycisk „Zakończ sesję Live”.

3. 3

   Skrót w Androidzie

   W aplikacji Ustawienia wejdź w Ułatwienia dostępu, w sekcji „Pomoc dla osób niedowidzących” wybierz Widok z asystą i włącz skrót. Do wyboru jest pływający przycisk, przesunięcie dwoma palcami od dołu ekranu albo przytrzymanie obu przycisków głośności.

4. 4

   Z czytnikiem TalkBack

   Przy włączonym TalkBacku, czytniku ekranu w Androidzie, dotknij ekranu trzema palcami i wybierz z menu Widok z asystą.

WebAIM, organizacja badająca dostępność stron przy Utah State University, na przełomie grudnia 2023 i stycznia 2024 roku zapytała użytkowników czytników ekranu, czyli programów czytających na głos wszystko z ekranu, o ich główne urządzenie przenośne. Sprzęt Apple, czyli iPhone’a, iPada albo iPoda, wskazało 70,6 procent ankietowanych. Androida wskazało 27,6 procent. W Ameryce Północnej sprzęt Apple miało 84 procent badanych, w Europie 72, w Azji 40, w Ameryce Południowej 31.

Ogół polskich użytkowników wybiera odwrotnie. Według StatCountera, serwisu mierzącego ruch na stronach internetowych, we wrześniu 2026 roku 63,75 procent wejść z telefonów w Polsce pochodziło z Androida.

Kraje testów Google leżą w regionach, gdzie sprzęt Apple wskazała w ankiecie WebAIM mniejszość badanych: 40 procent w Azji, 31 w Ameryce Południowej. Na iPhonie jest aplikacja Gemini. Widok z asystą Google zapowiedział jednak tylko na Androida. Sama WebAIM zastrzega, że próba nie była kontrolowana i może nie oddawać wszystkich użytkowników czytników ekranu.

Seeing AI, bezpłatna aplikacja Microsoftu, od 4 grudnia 2023 roku działa także na Androidzie, a polski jest na liście jej języków na obu systemach. Czyta krótki tekst, gdy tylko pojawi się w kadrze, prowadzi dźwiękiem przy fotografowaniu kartki i sygnałami dźwiękowymi przy szukaniu kodu kreskowego. Rozpoznaje banknoty i kolory. O zeskanowany dokument można zapytać, na przykład o pozycję w menu albo cenę na paragonie.

„Be My Eyes”, aplikacja łącząca niewidomych z wolontariuszami przez wideo, podaje na swojej stronie 11,19 mln wolontariuszy i 1,11 mln niewidomych i słabowidzących użytkowników. Na jednego potrzebującego przypada więc około dziesięciu chętnych. Aplikacja jest bezpłatna dla użytkowników i wolontariuszy. Wbudowany asystent „Be My AI” opisuje zdjęcia.

Widok z asystą dokłada jedną rzecz: ciągłą rozmowę na żywym obrazie, z instrukcją przesunięcia aparatu przy każdej czynności. W opisie Microsoftu z grudnia 2023 roku takie prowadzenie dźwiękiem dotyczy w Seeing AI dokumentów i kodów kreskowych. Żywego człowieka Gemini nie zapewnia.

Google pisze wprost, że widok z asystą może się mylić, nie jest wyrobem medycznym ani pomocą w poruszaniu się i nie zastępuje białej laski. Nie służy do nawigacji. Strona pomocy o Gemini Live dodaje szczegół ważny dla kogoś, kto nie widzi ekranu: aparat wyłącza się po zablokowaniu ekranu albo wyjściu z aplikacji i po powrocie sam się nie włącza.

Polska strona pomocy ma dopisek, że mogła zostać przetłumaczona przez AI. Widać to w ostrzeżeniu. Angielska wersja pisze o „safe-travel guides”, czyli wskazówkach bezpiecznego poruszania się. Po polsku wyszedł z tego „zamiennik przewodników po bezpiecznych podróżach”, co brzmi jak uwaga o książkach turystycznych.

Google budował funkcję z niewidomymi z Indii, Brazylii i Indonezji, a w ankiecie WebAIM sprzęt Apple wskazała w Azji i Ameryce Południowej mniej niż połowa badanych. Wśród ankietowanych z Europy układ jest odwrotny: 72 procent wskazało iPhone’a albo iPada, a osobnego wyniku dla Polski ankieta nie podaje. Na iPhonie widoku z asystą dziś nie da się uruchomić.