Ta strona używa plików cookies, aby zapewnić najlepszą jakość korzystania z naszego serwisu oraz do celów analitycznych. Klikając "Akceptuję", wyrażasz zgodę na używanie wszystkich plików cookies. Możesz również odrzucić zgodę, co spowoduje zablokowanie plików cookies analitycznych. Więcej informacji znajdziesz w naszej Polityce Prywatności.
Mobilio, aplikacja na smartfon ma pomagać osobom niewidomym w nawigacji
Mobilio wykorzystuje kamerę, GPS, czujniki ruchu i orientacji oraz, jeśli jest dostępny, sensor LiDAR.
Aplikacja rozpoznaje możliwe do przejścia ścieżki i przekazuje użytkownikowi kierunek za pomocą spersonalizowanych sygnałów dźwiękowych.
W badaniu z udziałem 14 osób trasa na zewnątrz była pokonywana około 13 procent szybciej niż przy użyciu Google Maps i białej laski.
Wyniki są wstępne, a aplikacja ma być testowana w większej liczbie realistycznych warunków.
Sponsorowane
Odkryj rewolucyjną metodę nauki języków
Sprawdź jak w 30 dni opanować podstawy dowolnego języka obcego bez wychodzenia z domu.
Samodzielne poruszanie się po mieście lub budynku może być dla osób niewidomych i słabowidzących codziennym wyzwaniem. Zespół inżynierów z John A. Paulson School of Engineering and Applied Sciences na Uniwersytecie Harvarda opracował aplikację Mobilio, która ma wspierać nawigację z użyciem urządzenia, które wiele osób już posiada, czyli smartfona. System łączy uczenie maszynowe, dane z kilku wbudowanych sensorów oraz spersonalizowane sygnały dźwiękowe.
Nawigacja ma obejmować więcej niż wskazanie skrętu
Badacze rozpoczęli projekt od ankiety przeprowadzonej wśród ponad 100 osób niewidomych lub słabowidzących. Respondenci wskazali trzy podstawowe potrzeby. Pierwszą były wiarygodne wskazówki dotyczące kolejnych skrętów. Drugą było ciągłe prowadzenie wzdłuż chodników i innych ścieżek. Trzecia dotyczyła wykrywania przeszkód oraz pomagania w ich omijaniu. W ocenie zespołu istniejące rozwiązania, takie jak biała laska, pies przewodnik czy elektroniczne pomoce w poruszaniu się, odpowiadają na część tych potrzeb, ale zwykle nie łączą wszystkich funkcji w jednym systemie.
Zespół zwrócił uwagę, że popularne aplikacje wykorzystujące GPS potrafią podawać instrukcje krok po kroku, jednak dokładność typowej nawigacji mapowej może być niewystarczająca, aby osoba niewidoma lub słabowidząca mogła bezpiecznie polegać na niej podczas samodzielnego poruszania się. Mobilio zaprojektowano jako samodzielną aplikację działającą na smartfonie. W przyszłości mogłaby ona być udostępniana w sklepie z aplikacjami, ale z opisu badania nie wynika, że jest już dostępna jako gotowy produkt dla użytkowników.
Słownik artykułu
Pojęcia, które warto znać
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
Mobilio korzysta z kamery, GPS, jednostki inercyjnej wrażliwej na ruch i orientację oraz, jeśli smartfon jest w niego wyposażony, z sensora LiDAR. Program analizuje obraz rejestrowany na żywo z perspektywy osoby idącej pieszo. Jego zadaniem jest rozpoznawanie powierzchni i elementów otoczenia, które mają znaczenie dla przejścia, takich jak chodniki, przejścia dla pieszych, jezdnie i inne obszary możliwe do wykorzystania podczas poruszania się.
Jednym z głównych elementów systemu jest model widzenia komputerowego wyszkolony specjalnie na obrazach z perspektywy pieszego. Badacze wskazują, że wiele publicznie dostępnych zbiorów danych przedstawiających sceny uliczne powstaje z samochodów. Modele trenowane na takich materiałach mogą nieprawidłowo rozpoznawać infrastrukturę ważną dla osoby idącej chodnikiem. Dlatego Raymond Liu, doktorant i pierwszy autor pracy, wykorzystał model segmentacji semantycznej uczony na obrazach rejestrowanych podczas chodzenia.
Sygnały dźwiękowe są dopasowywane do użytkownika
Aplikacja nie ogranicza się do pojedynczych komunikatów głosowych. Podczas marszu emituje ciągłe sygnały w formie dźwięków przypominających piknięcia. Sygnał może docierać z lewej albo prawej strony, wskazując kierunek korekty. System korzysta przy tym z informacji o obrazie, lokalizacji i rzeczywistym ruchu człowieka, aby wyznaczyć plan przejścia od bieżącego miejsca do wybranego celu.
Ważną funkcją jest personalizacja wskazówek w czasie rzeczywistym. Mobilio ocenia, jak dokładnie dana osoba podąża za sygnałami dźwiękowymi, a następnie automatycznie modyfikuje ich charakterystykę, między innymi wzorce i wysokość dźwięku. Takie podejście ma uwzględniać różnice w sposobie reagowania użytkowników na sygnały. Twórcy podkreślają, że zaprojektowanie wszystkich modeli i algorytmów tak, aby działały w czasie rzeczywistym na zwykłym smartfonie, było jednym z głównych wyzwań technicznych.
System wykorzystuje dane z kamery, GPS, czujników ruchu i orientacji oraz opcjonalnie z LiDAR-u.
Model obrazu został przystosowany do scen rejestrowanych z perspektywy osoby idącej pieszo.
Sygnały dźwiękowe wskazują kierunek i są modyfikowane na podstawie reakcji konkretnego użytkownika.
Mobilio w badaniu działało razem z białą laską, a nie jako samodzielny zamiennik wszystkich innych pomocy w poruszaniu się.
Małe badanie wykazało krótszy czas przejścia i mniej kontaktów z przeszkodami
Skuteczność rozwiązania oceniono w eksperymentach z udziałem 14 ochotników z Carroll Center for the Blind w Newton w stanie Massachusetts. Każda osoba wykonywała zadania nawigacyjne w dwóch warunkach. W pierwszym korzystała z nawigacji krok po kroku w Google Maps oraz białej laski. W drugim używała aplikacji Mobilio razem z białą laską. Uczestnicy pokonywali zaplanowaną trasę na zewnątrz oraz trasę wewnątrz budynku, na której ustawiono przeszkody mające odzwierciedlać typowe problemy napotykane w otoczeniu.
W porównaniu z Google Maps i białą laską osoby korzystające z Mobilio oraz laski pokonały trasę na zewnątrz około 13 procent szybciej. Na trasie wewnętrznej liczba kontaktów z przeszkodami zmniejszyła się o około 41 procent. Pod względem niezawodności, rozumianej jako powtarzalne doprowadzanie użytkownika do celu bez poważnych błędów, system uzyskał wynik porównywalny z ludzkim przewodnikiem. Są to rezultaty z konkretnego, niewielkiego eksperymentu, a nie dowód, że aplikacja sprawdzi się w każdych warunkach.
Przed aplikacją kolejne testy i droga do produktu
Autorzy pracy podkreślają znaczenie testów z udziałem osób, które mają korzystać z urządzenia. Raymond Liu wskazuje, że reakcje użytkowników trudno przewidzieć, zwłaszcza że niewidomość i zaburzenia widzenia obejmują bardzo różnorodne doświadczenia oraz potrzeby. W projekcie wykorzystano więc zarówno pomiary ilościowe, takie jak czas przejścia i kontakty z przeszkodami, jak i informacje zwrotne od uczestników.
Kolejnym etapem ma być sprawdzenie Mobilio w większej liczbie realistycznych miejsc w rejonie Bostonu. Badacze chcą ocenić, jak system radzi sobie w różnorodnych warunkach i jak współgra z codziennymi nawykami użytkowników. Projekt otrzymał wsparcie Harvard Grid Accelerator, którego zadaniem jest pomoc w przełożeniu technologii badawczej na rozwiązanie, które mogłoby być szerzej dostępne. Innowacje związane z badaniem zostały objęte ochroną przez Harvard Office of Technology Development, a uczelnia poszukuje możliwości komercjalizacji.
Badanie prowadzone przez Liu i Patricka Slade'a opublikowano w czasopiśmie Nature Biomedical Engineering. Wyniki wskazują, że połączenie obrazu z kamery, danych lokalizacyjnych, pomiarów ruchu i spersonalizowanych sygnałów dźwiękowych może wspierać nawigację osób niewidomych i słabowidzących. Jednocześnie niewielka liczba uczestników oraz ograniczony zakres testów oznaczają, że potrzebne są dalsze oceny, zanim będzie można rzetelnie określić praktyczną użyteczność aplikacji w codziennym środowisku.
