Мужчина по прозвищу «Панчо», перенесший инсульт и не надеявшийся, что сможет снова говорить, теперь может изъясняться на двух языках (английском и испанском) благодаря революционному мозговому имплантату. Пациент, страдающий квадриплегией, не утратил мозговых языковых функций и поэтому смог сохранить небольшую степень контроля над своим речевым аппаратом, что делает возможным многоязычную передачу речи с помощью мозгового имплантата.
За этим технологическим и медицинским достижением стоит команда нейрохирургов и специалистов по искусственному интеллекту из Калифорнийского университета. Результаты их исследования и эксперимента были опубликованы 20 мая в журнале Nature Biomedical Engineering.
Это достижение не только может помочь большому количеству пациентов, оказавшихся в подобной ситуации, но и позволит лучше понять, как человеческий мозг обрабатывает язык, и даже может привести к созданию устройств, способных полностью восстановить речь у людей, лишенных возможности вербального общения. «Это новое исследование — важный вклад в развивающуюся область нейропротезов для восстановления речи«, — сказал в интервью Nature Сергей Ставиский, нейробиолог из Калифорнийского университета, который не принимал участия в исследовании.
Мозговой имплантат — недостающий элемент в восстановлении речи
Все началось с того, что Панчо, которому было около 30 лет, встретился с нейрохирургом Эдвардом Чангом, чтобы изучить долгосрочные последствия инсульта для его мозга. В этом исследовании (опубликованном в 2021 году) Чанг и его команда имплантировали интерфейс мозг-компьютер (содержащий 128 электродов) в область коры головного мозга, отвечающую за обработку языка. Данные, собранные интерфейсом, были преобразованы в слова, которые можно было прочитать на экране.
Затем команда разработала систему искусственного интеллекта, способную расшифровывать слова, которые Панчо хотел произнести, в режиме реального времени. Под руководством Александра Сильвы система была обучена с помощью машинного обучения. Для этого исследователи, работая с пациентом, начали с интеграции 50 испанских слов, 51 английского слова и 3 слов с идентичным произношением на двух языках. Постепенно они пополняли словарный запас интерфейса.
Во время обучения системы пациент видел слова по одному на экране и должен был попытаться их произнести. Затем для первого слова предложения система выбирает модуль (испанский или английский), который соответствует нейронной схеме, и оценивает вероятность соответствия. Например, английский модуль может выбрать слово «she» как наиболее вероятное первое слово в предложении, а затем оценить вероятность его соответствия в 70 %. Испанский модуль, с другой стороны, может выбрать слово «estar» и оценить вероятность его соответствия в 40 %. После этого оба модуля пытаются построить предложение.
Основываясь на соответствии нейронных схем, оба модуля также учитывают вероятность того, что второе выбранное слово последует за первым. Так Панчо наконец-то смог вести понятные разговоры с исследовательской группой. «После того как он впервые произнес одно из этих предложений, мы несколько минут просто улыбались«, — говорит Сильва.
Удивительные и многообещающие результаты
Результаты исследования также позволили ученым обнаружить неожиданные аспекты обработки языка в мозге. В некоторых предыдущих экспериментах (с использованием неинвазивных устройств) предполагалось, что разные языки активируют определенные области мозга. Однако в случае с Панчо авторы обнаружили, что когда пациент говорил на испанском или английском, активность обнаруживалась в одной и той же области мозга.
Неврологические реакции Панчо в тестах также не отличались от реакций двуязычных детей, хотя ему было уже за тридцать, когда он выучил английский. Учитывая все полученные результаты, Сильва предположил, что разные языки имеют общие неврологические характеристики. Поэтому он пришел к выводу, что эту систему можно каким-то образом обобщить, чтобы помочь другим людям.
Хотя в исследовании принимал участие только один участник и еще есть над чем работать, «есть все основания полагать, что в будущем эта стратегия будет работать с большей точностью в сочетании с другими последними достижениями«, — говорит Стависки.
В свою очередь, Кенджи Кансаку, нейрофизиолог из Медицинского университета Доккё в Мибу (Япония), считает, что, помимо увеличения числа участников, следующим шагом должно стать изучение языков, «артикуляционные свойства которых сильно отличаются» от английского, например мандаринского или японского. Сильва отмечает, что он уже работает над этим вопросом, а также над «переключением кодов» (переключение с одного языка на другой в рамках одного предложения). «В идеале мы хотели бы дать людям возможность общаться как можно более естественно«, — заключает он.
