Статья размещена в открытом доступе и распространяется на условиях лицензии Creative Commons Attribution (CC BY).
ОРИГИНАЛЬНОЕ ИССЛЕДОВАНИЕ
Тестирование речевого реабилитационного нейроинтерфейса для применения в клинических условиях
Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ
Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи. Исследование было одобрено Комиссией по внутриуниверситетским опросам и этической оценке эмпирических исследовательских проектов НИУ ВШЭ. Участники подписывали информированное согласие на согласие в исследовании
ОБЗОР ЛИТЕРАТУРЫ
Интерфейсы «мозг-компьютер» (ИМК) – это коммуникационные системы, которые регистрируют и декодируют активность мозга в команды, которые затем передаются на внешние устройства, позволяя пользователю взаимодействовать с окружающей средой [1]. Несмотря на разнообразие технических возможностей, неинвазивные ИМК на основе ЭЭГ остаются наиболее популярным решением в области нейрореабилитации благодаря своей портативности, низкой стоимости и простоте использования [2]. Способность систем ИМК регулировать нейронные сети в мозге потенциально может быть применена для восстановления речи после черепно-мозговых травм [3]. Идея, высказанная Муссо и соавторами [3], заключается в том, что немедленная обратная связь после определения «правильного» состояния мозга может усилить реорганизацию и нейропластичность за счет усиления взаимодействия между афферентными и эфферентными нейронными сетями в мозге.
Муссо и соавторы [3] разработали интенсивную терапию с использованием системы ИМК на основе ЭЭГ для изучения её перспектив в восстановлении речи. Несмотря на многообещающие результаты, основным ограничением исследования Муссо и соавторов [3], препятствующим внедрению этой парадигмы в клиническую практику, является длительная и трудоёмкая подготовка. Во-первых, авторы использовали 63-электродную ЭЭГ-систему с электроокулографией для мониторинга и коррекции артефактов движения глаз. Настройка этой стандартной системы для каждого участника занимает около часа [4]. В то же время последние достижения в разработке и применении малоканальных устройств решают эту проблему и расширяют сферу применения технологий на основе ЭЭГ за пределы лабораторий [5, 6].
Во-вторых, Муссо и соавторы [3] вводили проводящий гель между электродами и кожей, чтобы улучшить качество сигнала [7]. Однако нанесение геля – процедура, требующая присутствия квалифицированного специалиста [7]. Кроме того, необходимость смывать гель с волос может вызывать дискомфорт у участников. В ответ на эти проблемы были разработаны электроды, не требующие использования геля [8]. Было показано, что с обоими типами электродов можно достичь схожего качества сигнала [9, 10].
Несмотря на вышеупомянутые ограничения и предлагаемые решения по внедрению реабилитационного ИМК в клиническую практику, неизбежное наличие меж- и внутрииндивидуальной изменчивости существенно ограничивает обобщаемость и практическое применение систем ИМК [11]. Паттерны изменчивости сигнала и возможности их учёта в моделях машинного обучения для снижения затрат на калибровку весов моделей изучены недостаточно [12].
Подводя итог, малоканальные ЭЭГ-системы, не требующие нанесения геля – многообещающая технология для использования за пределами лабораторных условий. Однако перспективы ее внедрения в реабилитационную практику пока неясны. На сегодняшний день опубликовано одно исследование, изучающее возможности использования ИМК для терапии речевых нарушений [3]. Для этой цели авторы разработали парадигму, основанную на задаче обнаружения девиантного стимула («oddball»), где участники слышали незаконченное предложение, за которым следовали 6 слов, только одно из которых было корректным продолжением предложения. Предполагается, что задание вовлекает семантическую обработку и внутреннее проговаривание верного ответа, что может способствовать восстановлению речи. Несмотря на воодушевляющие результаты данного исследования, длительность и интенсивность тренировок, а также времязатратная подготовка к записи значительно ограничивают практическое применение парадигмы. Принимая во внимание эти ограничения, мы разработали свою парадигму на основе задачи «oddball», где участнику необходимо соотнести увиденное изображение с одним из 5 услышанных слов. Мы предполагаем, что это задание будет вовлекать процессы фонологической и семантической обработки, наряду с внутренним повторением целевого слова, что может способствовать более эффективному прохождению речевой терапии. В отличие от Муссо и соавторов [3], нашей целью было не только создание терапевтической методики, но и тестирование ее в условиях, максимально приближенных к клиническим. Таким образом, это исследование преследовало 2 цели: (1) изучить возможности применения беспроводной малоканальной ЭЭГ-системы для регистрации и классификации активности мозга, (2) разработать парадигму для тренировки речевых навыков, и провести ее пилотное тестирование на группе неврологически здоровых участников. Кроме того, мы исследовали возможности предобучения модели, чтобы изучить перспективы использования калибровочных данных, полученных от предыдущих участников, для классификации сигнала ЭЭГ нового человека.
МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ
В исследовании приняли участие 7 неврологически здоровых участников (5 женщин, возраст: M = 23,57, SD = 3,41) с нормальным или скорректированным до нормы зрением и слухом. Регистрация ЭЭГ проводилась с помощью гарнитуры Unicorn Hybrid Black (g.tec medical engineering GmbH, Австрия) с 8 каналами, соответствующими каналам Fz, C3, Cz, C4, Pz, O7, Oz и O8 в международной системе монтажа «10-20». Производители системы используют электроды, поддерживающие как запись с проводящим гелем, так и регистрацию сигнала без него (в целях уменьшения времени подготовки и увеличении комфорта участников). Референтные и заземляющие электроды фиксировались на левом и правом сосцевидных отростках. Частота дискретизации сигнала составляла 250 Гц. Для предъявления стимулов использовались ноутбук Dell XPS P82G и программа BCI2000 [13].
Парадигма на распознавание девиантного стимула. Каждая проба представляла собой последовательность из 21 числа. Первое число всегда было целевым. Последовательность состояла из целых чисел от 1 до 5, которые появлялись в случайном порядке (каждое по 4 раза). Участников просили считать, сколько раз целевое число появлялось в пробе. Целевое число, являющееся одним из пяти возможных чисел (т. е. 1, 2, 3, 4 или 5), появлялось в 20% случаев. Каждая сессия состояла из 65 проб и длилась около 27 минут. Две сессии каждого участника были записаны без проводящего геля, а оставшиеся две сессии – с проводящим гелем.
Чтобы оценить способность обеих конфигураций регистрировать ЭЭГ-сигнал, подходящий для классификации, мы использовали классификатор P300Classifier (в программе BCI2000) для автоматической классификации сигналов. Классификатор P300Classifier реализует пошаговый линейный дискриминантный анализ для выбора признаков и классификации сигналов. Классификатор принимает в качестве входных данных обучающие и тестовые записи ЭЭГ и выводит классы отдельно для каждого из четырёх повторений стимулов, что позволяет отслеживать изменения точности классификации с увеличением числа повторений стимулов. Для каждого участника и каждой конфигурации электродов (с гелем и без него) обучался отдельный классификатор, при этом один из двух сеансов использовался для обучения классификатора, а другой – для проверки его качества.
Речевая парадигма. Участнику предоставлялись контекст (изображение предмета) и 5 аудиозаписей, только одна из которых была верной. Длительность каждой аудиозаписи была около 800 мс, изображение находилось на экране в течение всей пробы. При этом в каждой пробе аудиозаписи повторялись 4 раза в случайном порядке. Каждая сессия длилась около 17 минут, запись данной парадигмы проводилась в течение 4 сессий (стимулы между сессиями не повторялись), не более 2 сессий в день. Запись каждой сессии проводилась с нанесением геля. Поскольку конечной целью исследования было изучение способности малоканальной беспроводной ЭЭГ-системы регистрировать когнитивные состояния с точностью, достаточной для классификации, мы применили встроенный классификатор для оценки точности классификации. Для каждого участника обучалась отдельная модель на материале первых 2 сессий, а оставшиеся 2 сессии использовались для тестирования классификатора. Кроме того, для изучения возможности переноса обучения и сокращения времени сбора тренировочных данных для каждого нового участника мы провели кросс-валидацию, в ходе которой данные каждого участника выборки использовались для тестирования классификатора, изначально обученного на данных остальных участников.
РЕЗУЛЬТАТЫ
Парадигма на распознавание девиантного стимула. Сравнение записей с применением проводящего геля и без него показало заметную разницу в качестве регистрируемого сигнала. На Рисунке 1 (рис. 1) представлено сравнение усредненных по группе вызванных потенциалов, зарегистрированных с гелем (Рисунок 1Б) и без него (Рисунок 1А). Качество классификации данных, полученных отдельно на записях с гелем и без него, продемонстрировано на Рисунке 2 (рис. 2).
Речевая парадигма. На Рисунке 3 (рис. 3) приведены вызванные потенциалы одного из участников при выполнении речевой парадигмы (Рисунок 3А) и усредненные по группе записи (Рисунок 3Б). Графическое изображение зависимости качества классификации данных от количества повторений стимулов и количества данных, использованных для предобучения модели, приведено на Рисунке 4.
ОБСУЖДЕНИЕ
В первой части исследования каждый участник был записан в течение 4 сессий выполнения задания на распознавание девиантного стимула. При этом две сессии были записаны с применением проводящего геля, в то время как оставшиеся две – без геля. Выбор задачи обоснован стандартизованностью парадигмы и ассоциирующегося с задачей ЭЭГ-компонента – Р300. В связи с тем, что в данном исследовании ключевым показателем качества записи является точность классификации, именно этот показатель мы пытались оптимизировать. Чтобы исследовать различия в качестве классификации ЭЭГ-сигнала, записанного в разных конфигурациях, мы обучили для каждого из участников модель, в которой одна из сессий каждого типа конфигурации использовалась для обучения классификатора, а другая – для его тестирования. Мы обнаружили, что использование сухих электродов значительно снижает качество классификации данных (Рисунок 2). Это согласуется с заметно более широким доверительным интервалом для вызванных потенциалов, записанных без геля (Рисунок 1). Несмотря на то, что в ряде других работ было показано, что запись без использования геля может давать результаты, сопоставимые с теми, что получаются с использованием проводящего геля [9, 14], итоги нашей работы не согласуются с этими выводами. Тем не менее, наши результаты созвучны с предыдущими исследованиями, где была показана большая подверженность таких данных артефактам движения и внешним шумам [15]. Таким образом, применение проводящего геля оказалось важным условием получения более точных результатов.
Во второй части исследования мы попытались разработать русскоязычную парадигму на соотнесение слова с картинкой для тренировки речевых навыков, основываясь на работе [3]. Приняв во внимание значимое ухудшение качества классификации данных в случае отсутствия проводящего геля, последующая часть работы была выполнена только с применением геля. Несмотря на то, что целевым результатом работы в этом направлении является изучение возможности применения парадигмы для речевой реабилитации пациентов с постинсультной афазией, данное пилотное исследование проводилось на группе неврологически здоровых участников. По результатам анализа вызванных потенциалов можно заметить, что ответ на целевой стимул вызывает на ЭЭГ ответ, подобный компоненту Р600. Более того, мы показали возможность различения ЭЭГ-сигнала для целевых слов (соответствуют предъявляемому изображению) и слов-дистракторов (не соответствуют изображению) с точностью около 40% (при условии того, что уровень случайного угадывания – 20%). Несмотря на то, что качество классификации сигнала требует значительных улучшений до изучения возможного терапевтического эффекта парадигмы в клинической группе, это пилотное исследование является первым шагом в этом направлении. Насколько нам известно, на сегодняшний день существует только одна работа, исследующая перспективы использования речевого задания в рамках ИМК для тренировки речевых навыков [3]. Хотя в указанной работе точность классификации значительно выше, в нашем исследовании мы постарались в большей степени приблизить конфигурацию оборудования к реальным клиническим условиям. Помимо этого, мы проанализировали возможности предобучения классификатора на данных других людей с целью снижения времени калибровки данных для каждого нового участника. Вопреки ожиданиям, потенциал применения предобученных классификаторов оказался достаточно ограниченным и не позволил нам повысить точность классификации. Это может быть связано с высокой межиндивидуальной вариабельностью данных, которая была отмечена в предыдущих работах [12] (рис. 4).
Данное исследование имеет ряд ограничений. Во-первых, на данном этапе в исследовании приняли участие только 7 человек, что затрудняет генерализацию полученных результатов. В рамках основного исследования мы планируем собрать выборку не менее чем из 20 участников. Во-вторых, наша выборка состояла преимущественно из студентов бакалавриата, в то время как целевая аудитория предлагаемой методики – люди, страдающие речевыми нарушениями после инсульта, то есть, как правило, старше 50 лет. Эта возрастная смещенность выборки может влиять на получаемые результаты. В-третьих, так как исследование проводилось на здоровых участниках, выполнение подобного монотонного задания могло оказаться утомительным и вызывать усталость, что также могло отразиться на результатах.
ЗАКЛЮЧЕНИЕ
В исследовании мы попытались изучить возможности использования портативной малоканальной ЭЭГ-системы для регистрации и различений состояний мозга. Основными целями данного исследования было сравнить качество результатов, полученных на основании записей с применением проводящего геля и без него, а также разработать и протестировать парадигму для реабилитации речи. В первую очередь мы показали, что использование проводящего геля – необходимый этап подготовки для качественной классификации данных. Далее, используя разработанную нами парадигму, мы попытались исследовать получаемые с ее помощью ЭЭГ-паттерны и возможность дообучения классификатора на данных предшествующих участников для снижения времени сбора калибровочного сигнала. Было обнаружено, что парадигма на сопоставление слова с картинкой вызывает отчетливый вызванный потенциал на ЭЭГ-сигнале, однако перспективы использования предобученных классификаторов сильно ограничены и в нашем исследовании не дали заметного прироста в качестве классификации. Несмотря на то, что требуется дальнейшее улучшение параметров классификатора для получения более точных результатов, данное пилотное исследование – одно из немногих, направленных на практическое внедрение результатов в терапевтическую практику.