Группа исследователей из Университета Карнеги — Меллона, совместно с компанией Runway, разработали очень интересную нейросетевую модель. С её помощью можно «озвучивать» видеоролики, которые изначально были записаны без звука.
Работает алгоритм достаточно просто — сначала он обнаруживает в кадре источники звука. Их разделяют на два типа — конкретные объекты и места с характерным фоновым звуком (например, кафе).
Исходное видео разбивается на сцены по резкому изменению гистограммы между двумя кадрами, после чего нейросеть CLIP классифицирует объекты в ней. В качестве базы
