ウェアラブルカメラの映像をスムーズにする技術「Hyperlapse(ハイパーラプス)」のまとめ

vr-media
Goproをはじめとしたウェアラブルな端末やカメラの映像をスムーズに見やすくするMicrosoftの技術です。

Hyperlapse(ハイパーラプス)とは?

GoProやソニーアクションカメラ、Google Glassなどの頭部に装着するカメラを「First Person Camera(一人称カメラ)」と定義し、独自のアルゴリズムを用いて、スムーズな一人称“ハイパーラプス”動画を作成する技術。

通常の一人称視点動画は、頭に装着したカメラで撮影するため、手で持たずに自転車やロッククライミングなどでも自由に撮影できる。一方で視点移動などが多く、後から見ると視点のブレが、カメラの揺れなどがビデオの見やすさを損なう。通常のタイムラプス撮影ではスムースさに欠ける。そのため、ハイパーラプスが開発された。
GoProなどの1人称動画をスムーズ化する「ハイパーラプス」。Microsoftが開発中 – AV Watch

http://www.youtube.com/watch?v=SOpwHaQnRSY

どんな技術なのか?

しくみを大雑把に説明すると、まずウェアラブルカメラで撮影した通しの映像を、10倍速のタイムラプス映像に変換します。次にその各フレームから地形や構造物などを3D座標上に構成しなおします。さらに、その空間を移動する仮想カメラの道筋を設定し、仮想カメラの座標情報と地形、元の映像を合成して Hyperlapse 映像として再構築します。

つまり、Hyperlapse 映像は、元の映像から計算によって作り出した3D空間を、仮想カメラが動きながら撮影した映像になります。

元の映像に全方向の情報があるわけではないので、仮想カメラのアングルによっては背景が切れてしまうことがあります。この場合は、複数のフレームから必要な部分を抜き出し、角度補正や継ぎ目の修正を加えたうえでレンダリングします。
動画:揺れる主観カメラ映像を滑らかな空撮風にする Hyperlapse技術、MS研究者が発表 – Engadget Japanese

http://www.youtube.com/watch?v=sA4Za3Hv6ng

その他の実例や発表されている動画

https://matome.naver.jp/odai/2140783398529126201
2014年08月12日