Исследователи разработали механизм, который может преобразовать деятельность мозга в простые предложения. Это открытие может привести к появлению новых инструментов для людей, которые не могут общаться посредством речи.
В статье, опубликованной в Nature, команда из Калифорнийского университета в Сан-Франциско, в которую вошли нейрохирург Эдвард Чанг, ученый-компьютерщик Гопала Ануманчипалли и аспирант Джош Шартье, объяснила, как они создали «нейронный декодер», который может создавать речь.
"Наша главная цель заключалась в создании «искусственного голосового канала. Не настоящего физического, а компьютерного, который может генерировать полные предложения, а не просто слова. Наша цель - помочь тем, кто не может говорить, сказать то, что они хотят сказать", - сказал Шартье.
Команда работала с пятью добровольцами в Центре эпилепсии UCSF, которым имплантировали электроды на поверхность их мозга при подготовке к нейрохирургии для контроля над припадками. Они читают сотни предложений вслух, в то время как исследователи следят за активностью в речевых центрах мозга, которые контролируют способность людей говорить.
Следующим шагом было декодирование мозговых сигналов. По словам Шартье, исследователи использовали машинное обучение для имитации движений голосового канала человека на основе сигналов, полученных от мозга добровольцев, и преобразовали эти смоделированные движения в синтезированную речь.
Затем исследователи подготовили несколько типовых предложений и попросили тестировщиков, используя Amazon Mechanical Turk, идентифицировать отдельные слова и транскрибировать полные предложения.
Простые сгенерированные предложения оказались понятны для тестировщиков, но более сложные фразы было тяжело понять.
Нейронный декодер может стать важным шагом на пути к улучшению доступных инструментов, чтобы помочь тем, кто не может говорить.
"Это действительно важный шаг, но предстоит еще долгий путь, чтобы синтезированная речь стала легко понятной", - сказал Марк Слуцки, невролог из Северо-Западного университета.
Теги: исследование , ученые , мозг
