Microsoft представила алгоритм Hyperlapse для стабилизации видео, использующий 3D-моделирование

  • 12 августа 2014
  • 11k
Видеозаписи от первого лица, сделанные экшен-видеокамерами, например, при поездках на велосипеде или при скалолазании не отличаются стабильностью изображения. Проблема не решается даже если вести съемку камерой с продвинутым стабилизатором. Последний, в лучшем случае, компенсирует дрожь объектива, но ничего не сделает с его отклонениями. Именно на этот случай разработчики Microsoft представили алгоритм обработки видео, способный на настоящие чудеса.

Алгоритм получил название Hyperlapse, по аналогии с Timelapse (замедленная киносъёмка). В данном случае замедления нет, но есть такая же плавность воспроизведения видео, даже если воспроизведение осуществляется в ускоренном режиме.

Алгоритм производит обработку в три этапа:
  1. Воссоздается исходная траектория движения камеры в 3D-пространстве, а также геометрия исходных кадров. Формируется новая значительно более сглаженная траектория движения камеры (показана красным), которая является неким усреднением от исходной. Виртуальная камера, которая будет двигаться по новой траектории, направлена строго вперед.

    Алгоритм Hyperlapse для стабилизации видео
  2. Производятся вычисления вспомогательной геометрии для каждого исходного кадра, что требуется для рендеринга новых кадров.

    Алгоритм Hyperlapse для стабилизации видео
  3. В завершении, осуществляется генерация нового сглаженного видео, использующего рендеринг, стыковку и смешивание требуемых исходных кадров для каждого нового кадра.

    Алгоритм Hyperlapse для стабилизации видео

Разработчики не просто рассказывают о своих достижениях, а опубликовали исходный код и разные подробности по работе алгоритма Hyperlapse. В будущем они планирует сделать приложение для Windows, чтобы каждый мог испытать технологию на своих видеозаписях.


Комментарии