Искусственный интеллект научился восстанавливать песню по музыкальному видео
Искусственный интеллект научился восстанавливать песню по музыкальному видео
Новая модель искусственного интеллекта (ИИ) умеет просматривать видео без звука, где музыкант играет песню на инструменте, и восстанавливать эту композицию. В будущем эта технология будет использовать движения тела для восстановления речи и других звуков.
Ученые из MIT представили систему искусственного интеллекта (ИИ) Foley Music, которая генерирует музыку на основе видео без звука, где музыканты играют на инструментах. Они говорят, что модель работает с разными музыкальными инструментами и превосходит несколько существующих систем по скорости и качеству работы.
Исследователи считают, что модель ИИ, которая создает музыку на основе движений человека, может стать основой для нескольких приложений — от автоматического добавления звуковых эффектов в видео до создания иммерсивных впечатлений в виртуальной реальности. Исследователи отмечают, что таким навыком обладают и люди — например, когда понимают речь человека по губам.
Foley Music обращает внимание на ключевые точки тела (25 точек) и пальцы (20 точек) как промежуточные визуальные опорные точки, которые она использует для моделирования движений тела и рук. После этого система переводит эти движения в музыкальные ноты, учитывая громкость. Так она может воспроизвести аккордеон, бас-гитару, фагот, виолончель, гитару, фортепиано, укулелеле и другие инструменты.
В ходе экспериментов исследователи обучили Foley Music трем наборам данных, содержащим тысячу видеоклипов с музыкальными исполнениями, относящихся к 11 категориям. Так они смогли собрать корпус видео разной сложности — инструкции с сайта AtinPiano, любительские видео с каналов на YouTube, отрывки из концертов и другие данные.
Исследователи загрузили в систему Foley Music 450 видео. Затем они отдали полученную музыку ученым, которые оценивали результат. В некоторых случаях они отмечали, что «музыка похожа на кавер от качественной группы».
Эксперты обнаружили, что сгенерированную музыку Foley Music трудно отличить от реальных записей. Более того, ИИ может улучшить качество звука, семантическое выравнивание и временную синхронизацию.
«Жена убежала, а дрон начал охоту»: появились новые подробности атаки на фермера из Николаевщины в Херсоне (видео)
Появились новые фото и видео с места ночной атаки по Николаеву
В Николаеве простились с врачом БСМП, погибшим на фронте
Из-за атаки РФ пострадал магазин техники в Николаеве (видео)
Миграционный кризис в Европе: до 10 тысяч человек за сутки прорвались в Испанию, Италия хочет закрыть границу (видео)
В Радушном почтили память погибшей семьи: старший сын выжил — он служит в Николаеве (видео)
Удар по селу под Николаевом: очевидцы сообщили подробности
Появились первые фото атаки на Николаев: беспилотник пробил крышу жилого дома и залетел в квартиру (видео)
В Николаеве прошла акция в поддержку комбрига 123-й бригады Олега Макухи