Инженеры Калифорнийского университета в Лос-Анджелесе разработали носимую, неинвазивную систему интерфейса «мозг-компьютер», которая использует искусственный интеллект в качестве второго пилота, помогая делать выводы о намерениях пользователя и выполнять задачи путем перемещения роботизированной руки или компьютерного курсора.
Исследование, опубликованное в журнале Nature Machine Intelligence , показывает, что интерфейс демонстрирует новый уровень производительности в системах неинвазивного интерфейса «мозг-компьютер» (НМК). Это может привести к появлению ряда технологий, которые помогут людям с ограниченными физическими возможностями, например, параличом или неврологическими заболеваниями, легче и точнее управлять объектами и перемещать их.
Команда разработала специальные алгоритмы для декодирования электроэнцефалографии (ЭЭГ) — метода регистрации электрической активности мозга — и извлечения сигналов, отражающих намерения движения. Они соединили декодированные сигналы с платформой искусственного интеллекта на основе камеры, которая интерпретирует направление и намерения пользователя в режиме реального времени. Система позволяет людям выполнять задачи значительно быстрее, чем без помощи ИИ.
«Используя искусственный интеллект в дополнение к системам интерфейса «мозг-компьютер», мы стремимся к гораздо менее рискованным и инвазивным решениям», — сказал руководитель исследования Джонатан Као, доцент кафедры электротехники и вычислительной техники в Инженерной школе Самуэли Калифорнийского университета в Лос-Анджелесе. «В конечном счёте, мы хотим разработать системы ИИ-BCI, которые обеспечат коллективную автономию, позволяя людям с двигательными нарушениями, такими как паралич или боковой амиотрофический склероз, обрести некоторую независимость в выполнении повседневных задач».
Современные хирургически имплантируемые устройства ИМК способны преобразовывать сигналы мозга в команды, но их нынешние преимущества перевешиваются рисками и затратами, связанными с нейрохирургической имплантацией. Спустя более двух десятилетий после первой демонстрации такие устройства всё ещё ограничены небольшими пилотными клиническими испытаниями. В то же время носимые и другие внешние ИМК демонстрируют более низкий уровень надёжности в обнаружении сигналов мозга.
Чтобы устранить эти ограничения, исследователи протестировали свой новый неинвазивный интерфейс с искусственным интеллектом (BCI) на четырёх участниках: трёх без двигательных нарушений и четвёртом, парализованном ниже пояса. Участники носили головные уборы для записи ЭЭГ, а исследователи использовали специальные алгоритмы декодирования для преобразования этих сигналов мозга в движения курсора компьютера и роботизированной руки. Одновременно система искусственного интеллекта со встроенной камерой наблюдала за декодированными движениями и помогала участникам выполнить два задания.
В первом задании участникам было поручено перемещать курсор на экране компьютера, чтобы поразить восемь целей, удерживая курсор на каждой из них не менее половины секунды. Во втором задании участникам предлагалось активировать роботизированную руку, чтобы переместить четыре блока на столе из исходных положений в заданные позиции.
Все участники выполнили оба задания значительно быстрее с помощью ИИ. Примечательно, что парализованный участник справился с заданием, связанным с роботизированной рукой, примерно за шесть с половиной минут с помощью ИИ, тогда как без него он не смог выполнить задание.
BCI расшифровывал электрические сигналы мозга, кодирующие предполагаемые действия участников. Используя систему компьютерного зрения, специально разработанный ИИ определял намерения пользователей, а не движения их глаз, чтобы направлять курсор и размещать блоки.
«Следующие шаги в развитии систем ИИ-BCI могут включать разработку более продвинутых вторых пилотов, которые будут управлять роботизированными руками с большей скоростью и точностью, а также обеспечивать искусное касание, адаптирующееся к объекту, который хочет схватить пользователь», — сказал соавтор Йоханнес Ли, докторант Калифорнийского университета в Лос-Анджелесе по электротехнике и вычислительной технике, консультантом которого является Као. «А добавление более масштабных данных для обучения также может помочь ИИ в выполнении более сложных задач, а также улучшить декодирование ЭЭГ».
Авторы статьи – сотрудники Лаборатории нейронной инженерии и вычислений Као , включая Санджуна Ли, Абишека Мишру, Сюй Яня, Брэндона Макмахана, Брента Гейсфорда, Чарльза Кобашигаву, Майка Цюя и Чанг Се. Будучи сотрудником Института исследований мозга Калифорнийского университета в Лос-Анджелесе, Као также занимает преподавательские должности на кафедре компьютерных наук и участвует в межфакультетской докторской программе по нейронауке.
Исследование финансировалось Национальными институтами здравоохранения и Научным центром исследований человечества и искусственного интеллекта (Science Hub for Humanity and Artificial Intelligence), который является совместным проектом Калифорнийского университета в Лос-Анджелесе (UCLA) и Amazon. Группа развития технологий UCLA подала заявку на патент, связанный с технологией искусственного интеллекта (AI-BCI).
