Найден способ получения звука из немых фильмов (видео)

Исследователи из Массачусетского Технологического Института разработали способ извлечения аудио из беззвучного видео. Он позволяет получить звук из визуальной картинки, и услышать, что именно происходило в этот момент благодаря алгоритму, который анализирует изображение в поисках мельчайших вибраций объектов, вызванных звуковыми волнами.

Алгоритм улавливает подобные практически неразличимые вибрации и присваивает им звуковое значение в соответствии с частотой их вибрации. Затем он может брать присвоенные значения и реконструировать звук на их основании.

Звук, восстановленный из стандартных видеозаписей, сделанных со скоростью 60 кадров в секунду, уступает по качеству записям высокоскоростных камер – однако с его помощью можно установить пол говорящего в комнате, число ораторов – а при достаточном качестве даже опознать голос.

Новая технология позволяет взять документальную съёмку и восстановить с неё голос исторической личности; получить важные звуковые детали с записи камеры видеонаблюдения; реконструировать озвучку старых фильмов, оптическая звуковая дорожка которых была повреждена во время хранения. Безусловно, всё это потребует немало труда – но это первый шаг в нужном направлении.