Согласно новому исследованию, опубликованному в журнале Nature Neuroscience, учёные создали первое нейротехнологическое устройство, способное одновременно и в режиме реального времени декодировать человеческую речь и невербальную коммуникацию (жесты).
Интерфейс «мозг — компьютер» (BCI) использует искусственный интеллект, чтобы преобразовывать электрическую активность мозга в текст на экране, а также управлять движениями персонализированного анимированного аватара. По словам исследовательницы Калифорнийского университета в Сан-Франциско (UCSF) Саманты Брослер, технологии предыдущего поколения в основном были ориентированы на выполнение одной конкретной функции — например, восстановление речи или управление роботизированной рукой. Новая система представляет собой важный шаг вперёд в разработке многофункциональных имплантов.
Главная проблема заключалась в том, что во время речи и жестикуляции нейронные сигналы в мозге частично перекрываются. Чтобы решить эту проблему, учёные разместили 253 электрода на сенсомоторной коре головного мозга пациентов, что позволило регистрировать оба типа сигналов.
В исследовании приняли участие два пациента. У первого речь и движения были нарушены вследствие инсульта, а у второго была диагностирована амиотрофический латеральный склероз (АЛС). Во время тестирования участников просили мысленно представлять определённые фразы и жесты (например, приветствие и взмах рукой или выражение согласия и кивок) как по отдельности, так и одновременно.
После обучения алгоритма искусственного интеллекта система смогла с высокой точностью расшифровывать полученные данные и передавать их с помощью аватара. В тестах с имитацией речи устройство с точностью 100% распознавало речь и жесты у первого пациента. У второго пациента средняя точность декодирования речи составила 75%, а распознавания жестов — 85%.
По оценке нейробиолога Маастрихтского университета Кристиана Херффа, полученные результаты отличаются высокой точностью и дают надежду на то, что подобные нейропротезы вскоре смогут войти в повседневную медицинскую практику. На данном этапе система распознаёт только отдельные фразы и жесты, однако исследовательская группа продолжает работу над расширением её словаря, чтобы в будущем обеспечить непрерывный и ещё более точный контроль отдельных частей тела, например суставов кисти.
