Исследователи из Сиднейского технологического университета разработали первую в мире портативную неинвазивную систему, которая может декодировать мысли и превращать их в текст. Технология в будущем поможет общаться людям, которые не могут говорить из-за болезни или травмы, например после инсульта или вследствие паралича, пишет «Хайтек».
Инженеры продемонстрировали работу устройства на конференции NeurIPS в Новом Орлеане. Во время доклада участники молча читали отрывки текста, надев «шапочку», которая записывала электрическую активность мозга через кожу головы с помощью электроэнцефалограммы (ЭЭГ).
Волна ЭЭГ сегментируется на отдельные блоки, которые улавливают определенные характеристики и закономерности человеческого мозга. Это делается с помощью модели искусственного интеллекта под названием DeWave, разработанной сиднейскими учеными. DeWave, обученная на большом массиве ЭЭГ, переводит сигналы в слова и предложения.
— Это исследование представляет собой новаторскую попытку перевода необработанных волн ЭЭГ непосредственно в язык, что знаменует собой значительный прорыв в этой области, — сказал руководитель исследования Чин Тэнг Лин.
Существующие технологии перевода сигналов мозга в язык требовали либо имплантации электродов в мозг, либо сканирования на аппарате МРТ. Первый метод очень опасный и дорогой, второй сложный и недоступный для повседневного использования, отмечают ученые. Кроме того, эти методы с трудом преобразуют сигналы мозга в слова без дополнительных средств, например, отслеживания взгляда.
В исследовании Сиднейского технологического университета приняли участие 29 человек. Использование сигналов ЭЭГ, полученных с помощью «шапки», а не от электродов, имплантированных в мозг, делает сигнал более шумным и искаженным. Но анализ показал, что DeWave демонстрирует способность дешифровать текст не хуже инвазивных методов.
Показатель точности перевода по системе BLEU-1 в настоящее время составляет около 40%. Оценка BLEU измеряет сходство переведенного машиной текста с набором высококачественных справочных переводов. Исследователи надеются, что по мере обучения ИИ этот показатель улучшится до уровня, сравнимого с традиционными программами языкового перевода или распознавания речи, который приближается к 90%.