Нам всем нравятся классные песни, но далеко не все мы обладаем вокальными данными и музыкальным слухом, чтобы петь их идеально. Наверное, каждому приходилось сталкиваться с тем, что во время караоке-вечеринки или в клубе кто-то “портил” любимую композицию, не попадая в ноты.
В караоке-системах эта проблема обычно решается с помощью с настроек темпа и тона, позволяющих самостоятельно выставить фонограмму под свой голос. Более продвинутые певцы, вплоть до звезд мирового уровня, используют autotune, меняя вокал согласно заложенным заранее установкам.
Ряд американских ученых из Школы информатики Университета Индианы и Университета Виктории совместно с разработчиками караоке-сервисов, кажется, нашли другой путь. Они намерены научить караоке-систему самостоятельно подстраиваться под вашу манеру исполнения и корректировать голос для звучания, близкого к идеалу.
Для этого ученые собрали более 4700 записей любительского караоке и обработали их с помощью искусственного интеллекта, найдя закономерности в пении и ошибках, которые допускаются. Команда отобрала 500 треков, которые были исполнены с попаданием «в мелодию», и разделила каждый трек на отдельные файлы – один для голоса и один для фонограммы. Затем они намеренно создали «несогласованную» версию голосовой дорожки путем случайного смещения нот до полутона выше и ниже, в то время как музыка аккомпанемента оставалась неизменной.
ИИ научился предсказывать величину, которую необходимо отрегулировать для каждой голосовой ноты, чтобы оставаться «в поле» с инструментальным сопровождением. Затем эта модуляция была применена ко всем неключевым нотам в каждой записи голоса, чтобы исправить всю вокальную дорожку.
Далее, используя алгоритмы машинного обучения, они ввели полученные данные в специальную программу, которую научили предсказать, как именно вы будете петь ту или иную композицию уже по первым звукам, которые вы издаете в микрофон.
Обладая этой информацией, ИИ анализирует, что и как исполнитель делал в последние несколько секунд, и соответствующим образом подгоняет вокал под караоке-песню. Любые незначительные колебания учитываются и позволяют программе вносить изменения буквально на лету. При этом голос звучит максимально естественно, без видимых искажений и “роботизированных” ноток.
Пока продукт находится в разработке, и о выходе на коммерческий рынок говорить рано, но первые результаты впечатляют. Или наоборот – пугают. Ведь для того чтобы хорошо петь, теперь учат не людей, а музыкальные устройства.
