Как Pink Floyd восстановили по записям активности мозга

Модель реконструировала узнаваемое звучание из данных двадцати девяти слушателей.

В распоряжении Людовика Белье и коллег оказалась необычная запись слушания. Двадцать девять пациентов нейрохирургических отделений слышали Another Brick in the Wall, Part 1 группы Pink Floyd, а электроды на поверхности коры фиксировали активность мозга. Всего набор данных включал сигналы от 2668 электродов. Уже собранные материалы позволили задать новый вопрос: какую часть звучания удастся восстановить из таких измерений?

В 2023 году команда опубликовала результат в PLOS Biology. Нелинейная модель реконструировала узнаваемую версию музыкального фрагмента. Авторы проверяли точность восстановления, роль количества электродов и длительности доступных данных. Одновременно анализ помог различить реакции слуховых областей на начало звука, продолжительное звучание и ритмическую структуру.

Условия опыта очень конкретны: участники слушали заранее выбранную песню, а сигналы записывались непосредственно с поверхности мозга в клинической ситуации. Получившееся звучание демонстрирует возможности модели при таких данных. Для технологий, работающих в других условиях, понадобятся собственные испытания и сравнение точности.

У этой истории есть редкое достоинство: результат можно услышать. Между привычной студийной записью и её реконструкцией возникает новая возможность внимательного сравнения. Какие детали сохраняют узнаваемость песни? Насколько важен ритм, тембр, человеческий голос? Короткий эксперимент возвращает к очень музыкальному вопросу о том, из чего складывается знакомое звучание.