Eksperymentalny implant mózgowy pozwolił dwóm osobom z ciężkim paraliżem jednocześnie przekazywać zamiary mowy i gestów. Sygnały z mózgu sterowały awatarem przypominającym uczestników badania, a przewidywane słowa pojawiały się na ekranie. Rozwiązanie może w przyszłości ułatwić bardziej naturalną komunikację, ponieważ gest, taki jak skinienie głową albo machanie ręką, często zmienia znaczenie wypowiedzi.
Zespół Samanthy Brosler z University of California w San Francisco przetestował implant wielkości iPhone’a, umieszczony w obszarze kory sensomotorycznej związanym z mową i ruchem. Pierwszy uczestnik, oznaczony jako Bravo-1r, został sparaliżowany po udarze. Drugi, Bravo-6, choruje na stwardnienie zanikowe boczne. Obie osoby utraciły niemal całą możliwość poruszania kończynami. Nie mogły też mówić w sposób zrozumiały, choć nadal podejmowały próby wypowiadania słów i wykonywania gestów.
Najpierw badacze rejestrowali aktywność mózgu, gdy uczestnicy próbowali wypowiedzieć 10 fraz, między innymi powitania i pytania o samopoczucie, oraz wykonać 10 gestów, takich jak machanie, klaskanie i potrząsanie głową. Część prób dotyczyła osobno mowy lub gestów, a część obu czynności naraz. Na tej podstawie wytrenowano osobne modele uczenia maszynowego dla każdego uczestnika. Następnie badani otrzymywali na ekranie nowe pary fraz i gestów, których modele wcześniej nie znały. Przewidywania sterowały ruchami awatara, a rozpoznane elementy mowy były wyświetlane na ekranie.
W przypadku Bravo-1r system rozpoznawał zamierzone gesty z dokładnością 88 procent, a mowę z dokładnością 84 procent. Dla Bravo-6 było to odpowiednio 66 i 70 procent. Badacze podkreślają, że wynik był wyraźnie lepszy od losowego zgadywania, jednak badanie objęło tylko dwie osoby oraz ograniczony zestaw fraz i gestów. Henri Lorach z Uniwersytetu w Lozannie ocenił rezultaty jako solidne, ale zaznaczył, że do codziennego użycia potrzebna byłaby większa dokładność, aby ograniczyć frustrację użytkowników.
Awatar był w tym eksperymencie sposobem na pokazanie, że oba rodzaje zamiarów można odczytywać równocześnie. Wynik nie oznacza, że uczestnicy odzyskali naturalną mowę lub ruch. Zespół chce dalej trenować modele i modyfikować algorytmy. W przyszłości podobne systemy mogłyby sterować własnym ciałem użytkownika, jeśli stan jego stawów i mięśni na to pozwala, albo generować syntetyczny głos zamiast prezentować komunikat przez awatara.
Słownik artykułu
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
Brak komentarzy. Bądź pierwszy!
