ИСПОЛЬЗОВАНИЕ НЕЙРОИНТЕРФЕЙСОВ ДЛЯ РЕКОНСТРУКЦИИ РЕЧЕВЫХ СИГНАЛОВ - Студенческий научный форум

XII Международная студенческая научная конференция Студенческий научный форум - 2020

ИСПОЛЬЗОВАНИЕ НЕЙРОИНТЕРФЕЙСОВ ДЛЯ РЕКОНСТРУКЦИИ РЕЧЕВЫХ СИГНАЛОВ

Спиркин А.Н. 1, Храмцев А.С. 1
1Пензенский государственный университет
 Комментарии
Текст работы размещён без изображений и формул.
Полная версия работы доступна во вкладке "Файлы работы" в формате PDF

Одним из факторов, определяющих уровень цивилизованности общества, является его отношение к людям, обделенным здоровьем и имеющим физические проблемы. Известно, что значительная часть людей с ограниченными физическими возможностями страдает не только от своих болезненных ощущений, но и от невозможности приспособиться к обычному для здоровых людей образу жизни. Их жизнь - сама по себе большой барьер, который они преодолевают ежедневно. За последние 100 лет продолжительность жизни увеличилась почти в два раза, а это значит, что те болезни, до которых раньше люди не доживали, стали массовой проблемой. Инсульт одна из них. А еще есть такие страшные болезни, как ДЦП, рассеянный склероз или, например, боковой амиотрофический склероз, когда человек теряет сначала двигательную активность, потом речевую, но при этом сохраняет интеллект. Есть люди, выжившие после черепно-мозговых и спинальных травм, но утратившие способность говорить и двигаться. В медицине есть даже такой термин – синдром запертого человека, который характеризуется отсутствием адекватной реакции больного на внешние, в том числе и словесные, стимулы. Он проявляется полной потерей речи (афазия), параличом при полной сохранности сознания и чувствительности. Вернуть возможность движения и речи таким больным является одной из актуальных задач мирового медицинского сообщества.

Как известно, люди общаются двумя способами: это речевое общение и письменное. Но в результате травмы человек не может ни говорить, ни набирать текст руками. Еще совсем недавно таким людям медицина отказывала в помощи. Однако у таких больных появилась надежда. Нейрофизиологами доказано, что в процессе речи или даже мысленного проговаривания слов в мозге появляются контрольные модели активности. Кроме того, отчётливый (и узнаваемый) паттерн сигналов возникает, когда мы слушаем кого-то или представляем, что слушаем, т.е. мозг генерирует слабую биоэлектрическую активность, надо только ее зарегистрировать. Для этого нужны специальные устройства, которые позволят распознавать сигналы мозга. Эти устройства получили названия нейроинтерфейсы - программно-аппаратные комплексы распознавания сигналов мозговой активности. Нейроинтерфейс, он же — «мозг-компьютер», — система для обмена информации между мозгом человека и электронным устройством. И это технология, которая позволяет человеку взаимодействовать с внешним миром на основе регистрации электрической активности мозга — электроэнцефалограммы (ЭЭГ). Желание человека совершить какое-то действие отображается в изменениях ЭЭГ, что в свою очередь расшифровывает компьютер. Ключевая особенность нейроинтерфейса состоит в том, что он позволяет подключиться к мозгу напрямую. Нейроинтерфейсы способны облегчить или кардинально изменить жизнь парализованных людей. Кто-то не может, писать, двигаться или разговаривать, но при этом мозг находится в прекрасном рабочем состоянии. Нейроинтерфейс позволит совершать этим людям определенные действия, считав лишь их намерения с помощью электродов, подключенных к мозгу.

Регистрация сигналов мозговой активности (биопотенциалов) может осуществляться как инвазивным, так и неинвазивным способами [4]. Если биопотенциалы снимаются с поверхности головы, то нейроинтерфейсы называются неинвазивными. При регистрации биопотенциалов с коры головного мозга (ЭКоГ) или с отдельных нейронов в глубинных структурах нейроинтерфейса являются инвазивными (рисунок 1).

Рисунок 1 Инвазивные и неинвазивные способы

регистрации активности мозга

В настоящее время работы по созданию нейроинтерфейсов ведутся практически во всем мире. В части реконструкции речи продвинулись создатели инвазивных нейроинтерфейсов [1]. Данные интерфейсы представляют собой матрицу из электродов, имплантированную в речевой центр мозга, и внешнее декодирующее устройство. Вживленные под череп и прилегающие к поверхности мозга электроды улавливают электрические сигналы, передают их на усилитель, усилитель отправляет их к микропроцессору и тот уже сопоставляет электрические импульсы с теми, которые хранятся в его памяти. Структура системы реконструкции голоса с помощью инвазивного интерфейса приведена на рисунке 2.

Рисунок 2 Система реконструкции голоса

Если пришедший сигнал совпадает с одним из эталонных, дается команда синтезатору речи – произнести то слово, которое соответствует данному сигналу. За анализ данных и синтезирование речи отвечает нейронная сеть. Именно она расшифровывает команды мозга и преобразует их в голос. Исследователи использовали два алгоритма машинного обучения. Первый — вокодер, который преобразует шаблоны мозговой активности, создаваемые во время речи, в движения виртуального голосового тракта. Второй — синтезатор, который превращает эти движения в синтетический голос пациента. Важно то, что все это происходит в реальном времени почти без задержек.

Несмотря на то, что инвазивные методы распознавания обладают большой точностью распознавания, их применение сильно ограничено необходимостью проведения сложной хирургической операции, а также проблемами, связанными с постепенным зарастанием электродов соединительными тканями. Это приводит со временем к значительному ухудшению электрического контакта с мозгом, с полным его нарушением впоследствии [2]. В связи с данными обстоятельствами предпочтение следует отдать нейроинтерфейсам неинвазивного типа. Так, в качестве примера обеспечения коммуникативной связи больного с окружающими можно привести неинвазийный нейроинтерфейс российской разработки «Нейрочат» (рисунок 3) впоследствии [3].

Рисунок 3 Неинвазийный интерфейс «Нейрочат»

Этот интерфейс позволяет набирать текст на экране компьютера, управляя им только силой мысли. Пользователь, концентрируясь на нужной букве или символе на виртуальной клавиатуре, осуществляет «мысленный выбор» объекта. Так, буква за буквой или выбирая готовые слова на экране, человек может печатать как короткие сообщения, так и целые предложения. Сейчас система позволяет набирать порядка 6 - 8 символов в минуту, что существенно хуже, чем, скажем, у инвазивных интерфейсов, однако в компании надеются, что им удастся довести скорость печати до одного символа в секунду.

К сожалению, нейроинтерфейсы вряд ли подойдут тем людям, кто давно лишен возможности говорить или вообще никогда не говорил — для работы нейроинтерфейса нужны сигналы мозга, отвечающие за работу речевого аппарата. Если долго не говорить, то мозг «забывает» о речи, и мысли не вызывают активизации тех его участков, которые отвечают за работу гортани, языка или губ. Тем не менее, благодаря исследованиям мозга и развитию биотехнологий уже сегодня нейроинтерфейсы способны на то, что вчера казалось неосуществимым. И не исключено, что уже в обозримом будущем запертых людей научатся «отпирать» и ставить на ноги.

Список используемых источников

Mind Reading Computers Directly Convert Brain Signals into SpeechScientific Reports volume 9, Article number: 874 (2019)[Электронныйдоступ] https://www.nature.com/articles/s41598-018-37359-z

Каплан, А.Я. Нейрофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в нейрологической реабилитации / А.Я. Каплан //Физиология человека. - 2016. - № 42 (1). - С.118–127.

Система нейрокоммуникации и нейротренинга «Нейрочат» [Электронный доступ] http://neurochat.pro/

Просмотров работы: 36