«Перспективно, хотя и звучит фантастично»: Ольга Драгой — о реконструкции речи и будущем нейротехнологий
Весной 2023 года в Высшей школе экономики стартовал пятый стратегический проект в рамках программы «Приоритет-2030» — «Устойчивый мозг: нейрокогнитивные технологии адаптации, обучения, развития и реабилитации человека в изменяющейся среде». Он объединяет ученых из всех кампусов университета. Какие технологии уже сегодня создают нейроисследователи, что их вдохновляет, как строятся междисциплинарные прикладные работы, «Вышка.Главное» узнала у одного из руководителей стратпроекта, директора Центра языка и мозга НИУ ВШЭ Ольги Драгой.
От фундаментальных исследований к помощи
Думаю, что все мы, кто в этом году стал частью большой команды стратегического проекта, подошли в исследованиях к той точке, когда интересно попробовать создать что-то прикладное, инструменты и разработки, которые могут помочь людям прямо сейчас. Наш центр уже начал их делать: летом мы запустили первое приложение Вышки в RuStore для диагностики речевых расстройств у детей (КОРАБЛиК — Клиническая оценка развития базовых лингвистических компетенций). Это результат пятилетнего фундаментального труда и потом еще нескольких лет попыток воплотить результат в удобное приложение.
В рамках стратегического проекта «Устойчивый мозг» Центр языка и мозга ведет два больших направления. Первое посвящено нейроинтерфейсам и цифровым инструментам для коррекции речевых расстройств. За 10 лет, которые центр работает в Вышке, мы многое поняли о том, как различные нарушения устроены у взрослых и детей. Теперь мы готовы предлагать инструменты для их коррекции. С технологической точки зрения это, конечно, вызов: приходится многое изучать заново, находить новых партнеров. В рамках второго направления мы работаем над созданием клинических протоколов для восстановления речи после инсульта посредством совмещения стимуляции мозга и научно обоснованных программ логопедической коррекции.
Нейроинтерфейсы на основе электроэнцефалографии (ЭЭГ)
В этом году мы начали сотрудничество с Лабораторией прикладных нейротехнологий Института Чен (Китай). Там группа профессора Гервина Шалка разработала упрощенную ЭЭГ-систему с четырьмя электродами. Для сравнения: обычно таких электродов в аналогичных системах 64 и более. Прибор размером с телефон крепится на голову и считывает электрическую активность мозга. На его основе мы разрабатываем нейрокомпьютерный интерфейс для терапии нарушений речи (афазии) на русском языке. Уже создана схема терапии, подобран и запрограммирован лингвистический материал для нее, сейчас мы совмещаем наши программные наработки с ЭЭГ-системой.
Эта разработка позволит врачам и пациентам заниматься коррекцией аномии. Аномия — самый частый симптом при любых видах афазий, при которой человек испытывает сложности с подбором слов в спонтанной речи и в номинации (назывании): может сказать вместо слова «чехол» — «коробка» или произнести не «чехол», а похожее слово «чучело».
Вместо громоздких и дорогостоящих установок, шапочек с десятками электродов, сложных алгоритмов мы предлагаем компактное и довольно простое в применении устройство.
Уже этой зимой мы проведем апробацию с участием здоровых людей, следующий год займет работа с пациентами, к концу 2024-го должен быть результат — готовый программно-аппаратный комплекс, который сможет использовать любой врач в своей практике.
«Перспективно, хотя и звучит фантастично»
При некоторых нейрогенных повреждениях человек не может произнести ни слова, но способен проговаривать слова и предложения про себя, то есть его внутренняя речь остается сохранной. Причины этого могут быть разные: нарушения проводящих путей, атрофия артикуляторного аппарата и другие.
Один из возможных способов помочь таким пациентам — электродные решетки. Во время операции их размещают на коре головного мозга, что позволяет регистрировать электрические сигналы мозга, которые затем с помощью языковых моделей переводят в звуки или в письменный текст.
Во всем мире сейчас идет работа по расширению словарей, обучающих модели машинного обучения не на отдельных словах, а на предложениях. Первыми свои результаты опубликовали ученые из Великобритании три года назад, они научились распознавать 50 отдельных слов. До чтения мыслей еще далеко, но это первый шаг. Лингвистические модели помогут расширению словаря и переходу от однословной реконструкции к предложениям. В этой области мы сотрудничаем с компьютерными лингвистами из Вышки, с командой Ольги Ляшевской, автора частотного словаря русского языка.
Звучит как фантастика, но эксперименты уже проводятся, и достигнут определенный прогресс. Пока основная проблема всех таких технологий — скорость. Нейропротезы, созданные на основе инвазивной ЭЭГ, очень медленные и сложные для рутинного использования в практике.
Я вижу огромную фундаментальную пользу в исследованиях в этой области. Мы говорим о технологии, для которой не нужно моторное усилие. Благодаря вживлению электродов в кору головного мозга с помощью специальных алгоритмов мы сможем реконструировать речь. Причем не только в звучащей форме, ее можно закодировать единицами и нулями и передать другому человеку, отправить куда угодно. Мне кажется, это перспективно, хотя и звучит фантастично. Но если получится, то мы сможем передавать внутреннюю речь без слов, создадим новый канал коммуникации.
Я не знаю, согласятся ли здоровые люди вживлять себе электроды. Необходимо, чтобы сначала этот канал коммуникации показал свою эффективность для пациентов, нуждающихся в ней. Горизонт моих ожиданий, связанный с этой технологией, — 10–20 лет.
Подготовка к фантастическим технологиям — картирование речи
А пока мы занимаемся подготовкой к этим фантастическим технологиям. Мы учимся точно и быстро опознавать электрическую активность головного мозга, связанную с различными аспектами речи.
Над этим мы работаем параллельно с командой Центра биоэлектрических интерфейсов Алексея Осадчего. Проводим исследования с пациентами, которым по медицинским показаниям вживлены в мозг решетки электродов. Пациенты выполняют различные речевые задания (называют рисунки, повторяют слова, слушают тесты), а мы картируем, где именно возникает электрический сигнал, связанный с этой языковой работой. Наша команда нейролингвистов разрабатывает речевые парадигмы (лингвистические задания), которые позволят эффективно картировать речь в разных участках мозга. Мы сопоставляем речевые карты по каждому заданию и понимаем, какой аспект речи реализуется в различных отделах мозга — лобной доле, или височной, или теменной.
Терапия как игра
Также вместе с лингвистами ВШЭ мы создали терапевтическое планшетное приложение-игру для преодоления аномии (тех самых частых проблем c подбором слов) у пациентов после инсульта. Пациент видит на планшете рисунки, задача — назвать их. В случае правильного ответа на экране стрела летит в цель; если ответ не совсем верен, стрела попадает рядом с целью; если пациент совсем ошибся — летит мимо.
Такая тренировка с обратной связью лежит в основе любой грамотной терапии. Но даже в самых продвинутых клинических учреждениях лечение длится три недели, а наше приложение можно скачать и заниматься сколько угодно. Пока это единственное в мире игровое приложение, нацеленное на преодоление речевых расстройств.
Помощь людям с инсультами через стимуляцию мозга
Часть нашей команды во главе с Ольгой Буйволовой работает над восстановлением речи с помощью неинвазивной стимуляции головного мозга — электрической (микрополяризация) либо транскраниальной магнитной стимуляции (ТМС). Особый интерес вызывают инсульты левого полушария, где преимущественно локализована речь, — именно его повреждения вызывают афазию.
При инсульте происходит дисбаланс активности между полушариями. Работа левого полушария подавляется, а правое по законам природы, наоборот, перевозбуждается. Еще лет 20 лет назад ученые выдвинули идею, что можно затормозить активность правого полушария и тем самым вернуть активность в работающие зоны левого полушария. Это очень привлекательная идея, и большинство ученых в нее верит. Но на деле помогает она 50% пациентов. Вопрос — почему? Мы выдвинули гипотезу, что успех или неудача зависит от количества сохраненного мозгового вещества в левом полушарии. При одном объеме поражения возврат этой активности может быть продуктивен и эффективен, а при другой нет.
Чтобы найти ответ на этот вопрос, мы исследуем эффективность восстановления левого полушария в зависимости от остаточного языкового субстрата. Метрикой этого остаточного языкового субстрата выступает объем дугообразного пучка, вокруг которого строится вся языковая система.
Дугообразный пучок соединяет речевые отделы во лбу с виском и с теменем. Есть горячая гипотеза, что индивидуальные речевые зоны находятся ровно там, куда приходит в кору этот пучок. То есть он не просто так туда приходит, а чтобы соединить одну речевую зону с другой и обеспечить работу всей речевой сети. А значит, структура отражает функцию.
Мы хорошо знаем анатомию пучка, поэтому, измерив с помощью трактографии его остаточный объем (в кубических миллиметрах), мы сможем обоснованно говорить, имеет ли смысл проводить этот вид терапии конкретному пациенту.
Сейчас мы проводим клиническое испытание с группами пациентов с разными объемами дугообразного пучка. В одной группе идет настоящая терапия со стимуляцией, во второй — терапия без стимуляции, в третьей пациенты получают только стимуляцию. Это позволит нам понять, что выступает главным фактором успешного восстановления речи — объем оставшегося языкового вещества в левом полушарии, наличие ТМС или наличие логопедической терапии. И как только мы это узнаем, можно будет превращать наши наработки в технологию — внедрять клинический протокол лечения афазии с четким указанием, кому она поможет, а кому нет.
Вам также может быть интересно:
Онлайн-юрист, чат-ассистент и аватар профессора: как ученые Вышки применяют ИИ-технологии
Молодые ученые Вышки представили собственные проекты на Объединенном научном семинаре стратегического проекта «ИИ-технологии для человека» (реализуется в рамках программы «Приоритет-2030»). Решения, предложенные исследователями на базе ИИ-алгоритмов, будут полезны для развития гостиничного бизнеса, выявления манипуляций с эмпирическими данными в научных статьях, автоматизации создания юридических документов, а также во многих других сферах деятельности.
Исследователи Центра языка и мозга НИУ ВШЭ представили новые цифровые инструменты для оценки когнитивных функций
В Центре языка и мозга НИУ ВШЭ — Санкт-Петербург, входящем в Институт психологии здоровья, прошел объединенный научный семинар стратегического проекта «Устойчивый мозг». Исследователи представили цифровые инструменты для оценки и коррекции речевых и когнитивных расстройств, в том числе с использованием технологий искусственного интеллекта.
В Вышке упростили разработку интеллектуальных сервисов
Ученые НИУ ВШЭ разработали MLOps-платформу, применение которой поможет внедрять эффективные и безопасные ИИ-решения во всех кампусах и подразделениях университета. В дальнейшем рассматривается возможность масштабирования инструмента на внешний рынок.
Заглянуть в будущее: как вышкинцы изучают меняющийся мир
Молодые ученые Вышки представили свои исследовательские проекты, ставшие победителями конкурса стратпроекта «Национальный центр научно-технологического и социально-экономического прогнозирования». Они будут строить прогнозы финансовых показателей российских компаний и развития вторичных санкций, просчитывать размер инвестиций в системы теплоснабжения, изучать причины готовности населения к благотворительности, учиться применять новые методы форсайта, а также изучать возможности использования методов научной фантастики.
В НИУ ВШЭ исследовали, как трансспинальная стимуляция влияет на движения человека
Команда Центра нейроэкономики и когнитивных исследований протестировала более 80 человек, чтобы выяснить, как трансспинальная стимуляция постоянным током влияет на координацию движений. В то время как при силе тока 1,5 мА моторный ответ мышцы возрастал, дальнейшее увеличение силы тока до 2,5 мА не вызывало усиления эффекта. Полученные в результате исследования данные помогут в разработке более оптимальных протоколов абилитации и реабилитации пациентов с нарушениями опорно-двигательной системы. Результаты исследования опубликованы в журнале Genes and cells.
Перспективы исследований и возможности для сотрудничества: в НИУ ВШЭ обсудили развитие стратегических проектов
26 и 27 июня в Вышке на Покровке состоялось обсуждение возможностей партнерства исследовательских команд университета со стратегическими проектами НИУ ВШЭ в рамках программы «Приоритет-2030». В ходе двухдневной сессии руководители стратегических проектов представили основные направления реализуемых исследований, ключевые достигнутые результаты и свое видение вовлечения новых исследователей.
Отслеживать тренды и принимать взвешенные решения поможет новый аналитический продукт ВШЭ
Высшая школа экономики (НИУ ВШЭ) запускает новый аналитический продукт — серию ежеквартальных информационных бюллетеней. Их цель — помочь бизнесу принимать стратегические и инвестиционные решения. Первый выпуск посвящен тенденциям развития России в январе — мае этого года в разрезе ключевых направлений экономики и социальной сферы. Информационные бюллетени выпускаются в рамках Стратегического проекта «Национальный центр научно-технологического и социально-экономического прогнозирования», реализуемого по программе «Приоритет-2030».
В НИУ ВШЭ состоялась первая конференция «Искусственный интеллект в медиа»
В работе форума приняли участие представители бизнеса, коммуникационных агентств, медиа, а также эксперты Вышки. Они обсудили то, как ИИ изменит креативные индустрии и повлияет на личный бренд и может ли искусственный интеллект помочь бизнесу лучше понять своего клиента. Стоит отметить, что прошедшая конференция — первая из серии запланированных мероприятий для профессионалов медиарынка и коммуникаций.
В Вышке стартует конкурс компетенций в области ИИ и машинного обучения
Дирекция программы развития НИУ ВШЭ объявляет о проведении конкурса компетенций в интересах развития исследований в области искусственного интеллекта и машинного обучения. Заявки принимаются до 2 мая 2024 года.
Исследование, проведенное в рамках стратегического проекта НИУ ВШЭ, позволило запустить программу ДПО
Ученые Вышки изучают факторы, влияющие на школьную неуспешность. Эта работа легла в основу программы ДПО «Преодоление образовательной неуспешности на основе доказательного подхода». Структура программы оптимально сочетает теоретические основы раскрытия темы «Доказательный подход в образовании» с практическими способами и примерами приложения предложенных методик. В 2023 году обучение было реализовано в пилотном режиме на безвозмездной основе, его прошли 60 слушателей из 14 регионов России.