Искусственный интеллект научился восстанавливать песню по музыкальному видео

Новая модель искусственного интеллекта (ИИ) умеет просматривать видео без звука, где музыкант играет песню на инструменте, и восстанавливать эту композицию. В будущем эта технология будет использовать движения тела для восстановления речи и других звуков.

Ученые из MIT представили систему искусственного интеллекта (ИИ) Foley Music, которая генерирует музыку на основе видео без звука, где музыканты играют на инструментах. Они говорят, что модель работает с разными музыкальными инструментами и превосходит несколько существующих систем по скорости и качеству работы.

Исследователи считают, что модель ИИ, которая создает музыку на основе движений человека, может стать основой для нескольких приложений — от автоматического добавления звуковых эффектов в видео до создания иммерсивных впечатлений в виртуальной реальности. Исследователи отмечают, что таким навыком обладают и люди — например, когда понимают речь человека по губам.

Foley Music обращает внимание на ключевые точки тела (25 точек) и пальцы (20 точек) как промежуточные визуальные опорные точки, которые она использует для моделирования движений тела и рук. После этого система переводит эти движения в музыкальные ноты, учитывая громкость. Так она может воспроизвести аккордеон, бас-гитару, фагот, виолончель, гитару, фортепиано, укулелеле и другие инструменты.