WO2018117099A1 - 画像処理装置及びプログラム - Google Patents

Abstract

カメラを移動しつつ撮影した動画像データを受け入れ、カメラの移動軌跡を推定し、当該推定されたカメラ移動軌跡上の点のうち、所定の条件を満足する複数の点を選択して、受け入れた動画像データから、当該選択された複数の点にて撮像された画像データを抽出する。そして抽出した画像データに基づいて再構成した動画像データを生成して出力する画像処理装置である。

Description

画像処理装置及びプログラム

　本発明は、画像処理装置及びプログラムに関する。

　近年、「天球動画」が、注目を集めている。空間全体を動画で保存可能としたことで、従来の動画に比べ、より大きな没入感や臨場感を得ることができる。天球動画の録画・再生を容易に行うためのデバイスや、天球動画に関わるサービスの登場、仮想現実に関する市場の拡大から、天球動画はますます重要となってきている。

　一方、天球動画の動画では、通常の動画に比べ、ハイパーラプス化と安定化が求められる場面が多くなる。ハイパーラプス化とは、撮影された動画を時間的にサンプリングし、より短い時間の動画にすることをいう。動画自体が長く、本来の長さでの閲覧が困難である場合や、動画をネットワーク上のサービスにアップロードする場合等において、所定の時間内に動画の長さを収める必要がある場合に、ハイパーラプス化の要求が発生する。

　また、安定化とは、撮影によるブレ等の補正を行うことを意味する。この要求は従来からある課題であるが、天球動画では、上述の通り没入感が高いため、そこで大きいブレが生じていると、視聴者が酔ったように感じることがあるため、安定化は従来の動画よりも強く求められる。

Joshi, Neel et.al., Real-time hyperlapse creation via optimal frame selection, ACM Transactions on Graphics 34(4), pp.63, August 2015

　従来の動画（天球動画でない動画）について、これらハイパーラプス化と、安定化の２つの問題に対応した従来技術として、非特許文献１に開示のものがある。この非特許文献１に開示された方法では、安定化を行うにあたり、フレーム間のホモグラフィー変換等に基づいてフレーム間のコストを求め、不適切と評価されたフレームを除くこととしている。さらに選択されたフレームについて、共通部分をクロップする処理を実行する。

　しかしながら、上記従来の技術を天球動画等の広角動画像（ここで広角とは例えば対角線画角が標準レンズの４６度を超える画像等、平均的な人間の目の視野範囲より広い範囲を撮像した画像をいう）に適用することはできない。まず、フレーム間のホモグラフィー変換が平面画像間の変換であるためであり、また、フレーム選択後に一部をクロップしたのでは、天球動画等の広角動画とならない。

　このように従来の技術では、天球動画等の広角動画についてのハイパーラプス化の要求と、安定化の要求とに応えることができないという問題点があった。

　本発明は上記実情に鑑みて為されたもので、天球動画等の広角動画についてのハイパーラプス化の要求と、安定化の要求とに応えることのできる画像処理装置及びプログラムを提供することを、その目的の一つとする。

　上記従来例の問題点を解決する本発明は、カメラを移動しつつ撮影した動画像データを受け入れて処理する画像処理装置であって、前記カメラの移動軌跡を推定する移動軌跡推定手段と、当該推定されたカメラ移動軌跡上の点のうち、所定の条件を満足する複数の点を選択する選択手段と、前記受け入れた動画像データから、前記選択された複数の点にて撮像された画像データを抽出する抽出手段と、前記抽出した画像データに基づいて再構成した動画像データを生成する生成手段と、当該生成した、再構成された動画像データを出力する出力手段と、を含むこととしたものである。

　天球動画等の広角動画についてのハイパーラプス化の要求と、安定化の要求とに応えることができる。

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が処理の対象とする動画像データの撮影経路の概要例を表す説明図である。 本発明の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る画像処理装置の評価値の例を表す説明図である。

［実施形態の概要］
　本発明の実施の形態について図面を参照しながら説明する。まず、本実施の形態の概要について述べる。通常の画像とは異なり、天球画像（３６０度画像）では、カメラの回転による撮影範囲が変化しない。このためカメラのブレを位置ブレと回転ブレとに分けると、回転ブレについては、その回転量が与えられれば完全な復元が可能である。通常の動画（天球動画でない動画、以下、非天球動画と呼ぶ）では、どちらのブレも復元不能であるので、そのブレの大きさをコストとして求めていた。しかしながら、天球動画では位置ブレのみをカメラモーションのコストとすべきと考えられる。

　天球動画と、希望するサンプリングレートとが与えられたとき、そのサンプリングレートをある程度遵守しつつ、安定化された天球動画を出力する方法は次のようになる。

　天球動画に含まれる複数のフレーム（天球画像）のうち、ｉ番目のフレームからｊ番目のフレームへの遷移コストをｖ，ｉ番目のフレームの前に選択されたフレームがｈ番目であるとしたとき、そのコストは、次の式で表すことができる。

　ここでＣｍは、カメラのモーションによるコスト、ＣSは、与えられた速度倍率の違反に対するコスト、Ｃaは、速度の変化に対するコストである。λS，λaはそれぞれコストの重みを与える係数である。ＣS，Ｃaは動画の形態による影響がないため、従来の方法と同様の定義を用いる。一方、Ｃｍは、従来はフレーム間のホモグラフィー変換を元に中心の移動量を計算し、その大きさをコストとしているが、本実施の形態では、３次元カメラ位置を用いたモーションコストを用いる。具体的に、このモーションコストを、

のように規定する。ここでベクトルＸkは、ｋ番目のフレームを撮影したときのカメラの三次元位置座標、ベクトルＸ′kは、望ましいカメラの位置（好適なカメラ位置）の三次元位置座標を表す。||x||2は、ｘのユークリッドノルムを表す。

　好適なカメラ位置については、実際のカメラ位置にガウシアンスムージングを適用する等の方法で計算される。（２）式で求められるＣｍは、理想の方向と直交する方向へのカメラの移動量を表しており、カメラの位置ブレを表現するコストとなっている。

　次に、定義されたフレーム間コストを基に、動的計画法等、所定の方法を用いて合計コストが最小となるようなフレームパス（撮影時のカメラの移動軌跡）を選択する。これにより与えられた値に近いサンプリングレートを維持しつつ、カメラ位置が滑らかとなるようなフレームが選択される。

　このフレームの選択は、位置ブレが小さくなるように求められているが、撮影時のカメラの回転状況については考慮されていない。そこで本実施の形態では、後処理として天球動画についての公知の回転除去処理を行う。この回転除去処理には、例えば、Pathak, Sarthak, et.al., A decoupled virtual camera using spherical optical flow, Image Processing(IPCP), 2016 IEEE International Conference on pp.4488-4492 (September 2016)に開示されている処理がある。この手法では、天球動画のオプティカルフローのモーメントを最小化することで、フレーム間の回転が小さくなるようにしている。このように本実施の形態では、後処理を、クロップから回転除去に変更することで、天球動画に適用できるようにしている。

［構成］
　本発明の実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、入出力部１３とを含んで構成されている。ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、本実施の形態では、記憶部１２に格納されたプログラムを実行する。本実施の形態の制御部１１は、カメラを移動しつつ撮影した動画像データを受け入れて、当該カメラの移動軌跡を推定し、当該推定されたカメラ移動軌跡上の点のうち、所定の条件を満足する複数の点を選択する。制御部１１は、受け入れた動画像データから、選択された複数の点にて撮像された画像データを抽出し、抽出した画像データに基づいて再構成した動画像データを生成する。そして制御部１１は、当該生成した、再構成された動画像データを出力する。この制御部１１の詳しい処理の内容については後に述べる。

　記憶部１２は、メモリデバイス等であり、制御部１１によって実行されるプログラムを格納している。このプログラムは、コンピュータ可読かつ非一時的な記憶媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。またこの記憶部１２は制御部１１のワークメモリとしても動作する。入出力部１３は、例えばシリアルインタフェース等であり、カメラ等から処理対象となる天球動画データを受け入れて、記憶部１２に、処理の対象として格納し、制御部１１の処理に供する。

　本実施の形態の制御部１１の動作について次に説明する。本実施の形態の制御部１１は、機能的には、図２に例示するように、移動軌跡推定部２１と、選択処理部２２と、抽出処理部２３と、生成部２４と、出力部２５とを含んで構成される。本実施の形態の制御部１１が処理の対象とする動画像データは、例えばリコー社のTheta（登録商標）と呼ばれるカメラによって撮影された天球動画の動画像データである。

　移動軌跡推定部２１は、処理の対象となった天球動画を撮影したときのカメラの移動軌跡を推定する。移動軌跡推定部２１は、天球動画を、カメラの位置を中心とした六面体の投影面の内面に射影し、当該六面体の内面のうち、カメラの移動方向に対応する面（後述）に射影された平面画像を用い、例えばＯＲＢ－ＳＬＡＭ（Mur-Artal, Raul, J.M.M.Montiel, and Juan D. Tardos. Orb-slam: a versatile and accurate monocular slam system, IEEE Transactions on Robotics 31.5 (2015): 1147-1163）の処理によって、カメラの移動軌跡の推定結果を表すフレームごとのカメラの位置座標（三次元的な位置座標）、及びカメラの姿勢（カメラの位置から画角の中心方向への向きを表すベクトル）を求める。移動軌跡推定部２１は、ここで求められたカメラの姿勢を表す情報を、生成部２４に出力する。

　この三次元的な位置座標は、例えば、天球動画がカメラ筐体の表裏に配された一対の撮像素子を含むカメラで撮影されている場合、撮影開始時点でのカメラの位置を原点とし、撮影開始時点の撮像素子の中心方向がカメラの進行方向であるとして、この進行方向をＺ軸とし、このＺ軸を法線とする面内（ＯＲＢ－ＳＬＡＭを適用する投影面である六面体の一つの面）で床面に平行な方向をＸ軸、これらＸ，Ｚ軸にそれぞれ直交する方向をＹ軸としたＸＹＺ直交座標系の三次元空間の座標の値として記述できる。なお、カメラの移動軌跡上の各点の座標値は、上述のＯＲＢ－ＳＬＡＭ方法以外の方法によって推定されてもよい。

　選択処理部２２は、移動軌跡推定部２１が出力する、フレームごとのカメラの位置座標の情報を用い、当該推定されたカメラ移動軌跡上の点のうち、所定の条件を満足する複数の点を選択する。以下、ｉ番目のフレーム（このｉを以下、フレーム番号と呼ぶ）が撮影された時点でのカメラの位置座標Ｘi（ここでのＸはベクトル値）とし、ベクトルＸ′kは、好適なカメラの三次元位置座標を表す。

　本実施の形態の一例では、この選択処理部２２は、各フレームが撮像された点の位置（撮像時のカメラの位置座標Ｘi（ｉ＝１，２，３…））の情報に係る条件と、当該点での撮影時刻の情報に係る条件とに基づき、フレームを選択する。

　具体的に選択処理部２２は、各フレームが撮影された時点でのカメラの位置座標Ｘi（ｉ＝１，２，３…）に基づき、ｋ番目のフレーム（ｋ＝１，２，３…）における好適なカメラの三次元位置座標Ｘ′kを求める。

　一例として、選択処理部２２は、位置座標Ｘi（ｉ＝１，２，３…）の値（データ系列）に対してガウシアンスムージング等の平滑化処理を適用する等の方法で好適なカメラの三次元位置座標Ｘ′kを計算する。ここで平滑化の方法としてはガウシアンスムージングのほか、移動平均を求める等の広く知られた方法を採用できる。

　選択処理部２２は、指定された速度倍率ｖの入力を利用者から受け入れ、ｉ番目のフレームからｊ番目のフレームへの遷移コストを、この速度倍率ｖを用いて次のように演算する。すなわち，ｉ番目のフレームの前に選択されたフレームがｈ番目のフレームであるとしたとき、選択処理部２２は、ｉ番目のフレームからｊ番目のフレームへの遷移コストを、（１）式で演算する。

　この（１）式において、Ｃmは、モーションコストであり（２）式で表される。ＣSは、スピードコストであり（３）式で表される。

ここでｉ，ｊはフレームの番号、ｖは速度倍率、τSは、スピードコストの最大値であり、予め定めておくものとする、ｍｉｎ（ａ，ｂ）は、ａ，ｂのいずれか小さい値をとることを表す（以下同様）。

　Ｃaは、加速度コストであり、（４）式で表される。

ここでもｉ，ｊ，ｈはフレームの番号、τaは、加速度コストの最大値であり、予め定めておく。ここでのスピードコスト、及び加速度コストが、各フレームの撮影時刻の情報に係る条件（指定された速度倍率に基づいて本来抽出されるべきフレーム番号からの差など）に相当する。

　選択処理部２２は、ここで求めたｉ番目のフレームからｊ番目のフレームへの遷移コストの列を用いて、抽出するフレームを選択する。具体的に、一連のフレームｐから、あるフレームが抽出するべきフレームとして選択されたとき、当該選択されたフレームからｎだけ後のフレーム（ｎ＝１，２，…，Ｎ）の、処理対象とした動画像データ全体におけるフレーム番号をｔとするとき、これをｐ（ｎ）＝ｔと表記することとして、処理対象となった動画像データにおいて、指定された速度倍率ｖとしたときのコストの総和は、

と表される。

　そこで選択処理部２２は、この（５）式を用い、

となるようなフレーム系列を求める。この、コストに基づくフレーム選択の方法は、非特許文献１におけるものと同様、動的計画法を用いて行うことができるので、ここでの詳しい説明を省略する。

　抽出処理部２３は、選択処理部２２によって選択されたフレームを、処理対象となった動画像データから抽出する。つまり、この抽出処理部２３は、受け入れた動画像データから、選択処理部２２が選択した、理想の位置に近く、かつ速度倍率の制約に大きく違反することのない、複数の点にて撮像されたフレームの画像データを抽出する。

　生成部２４は、抽出処理部２３が抽出した画像データを、抽出順（処理対象となった動画像データ内でのフレーム番号が小さい順）に配列（再構成）して、タイムラプス動画像データを生成する。また、この生成部２４は、抽出処理部２３が抽出した画像データの各々について、当該画像データを撮影したときのカメラの姿勢を推定し、当該推定された姿勢の情報に基づいて、画像データを補正し、当該補正後の画像データを用いて、再構成した動画像データを生成することとしてもよい。

　具体的に、この生成部２４は、カメラの姿勢（カメラの位置から画角の中心方向への向きを表すベクトル）を表す情報を、移動軌跡推定部２１から受け入れる。そして生成処理部２４は、処理対象となった動画像データからｉ番目のフレームが抽出されており、また抽出されたフレームのうち、このｉ番目のフレームの次にフレーム番号が小さいフレーム番号がｊであるとするとき、このｉ番目のフレームからｊ番目のフレームへの移動ベクトル（Ｘj－Ｘi）の方向に、ｉ番目のフレームの画像の中心が位置することとなるよう、フレームの画像を補正する。すなわち、実際にｉ番目のフレームが撮像されたときのカメラの姿勢の情報が表す画角の中心方向のベクトルＶと、上記移動ベクトル（Ｘj－Ｘi）とを用い、その差（Ｘj－Ｘi）－Ｖだけ、抽出したｉ番目のフレームの画像に対して三次元的に回転補正を適用する。この回転補正の処理は、広く知られているので、ここでの詳しい説明を省略する。

　本実施の形態の一例では、処理対象となった動画像データは、必ずしも３６０度の天球画像ではなく、比較的広角な画像であってもよい。この場合、この回転補正の処理により、最終的に出力する画角サイズ（予め指定を受け入れておけばよい）内に、撮像されていない範囲が含まれてしまう場合がある。この場合は、当該撮像されていない範囲が含まれないよう画像データをクロップして、当該クロップした画角の動画像データを出力するか、あるいは、当該撮像されていない範囲については予め定めた色の画素（例えば黒色）に設定して処理を続ければよい。

　出力部２５は、生成部２４が再構成して生成した動画像データを例えばディスプレイ等に出力する。またこの出力部２５は、当該生成した動画像データを、外部に、ネットワーク等を介して送信する。

［動作］
　本実施の形態は、以上の構成を備えてなり、次のように動作する。なお、以下の説明の例では、図３に二次元的に概略を示すような経路に沿ってカメラを移動しつつ撮像された動画像データ（例えば歩きながら撮像した動画像データ）が処理の対象として入力されたものとする。また、利用者から速度倍率ｖに関する指示が入力されたとする。なお、この速度倍率の指示は、直接的に入力される必要はなく、例えば利用者から、出力する動画像データの再生時間の上限の情報を受け入れて、画像処理装置１が実際に撮像された、処理対象の動画像データの再生時間と、当該入力された再生時間の上限との比に基づき、選択する点の数（フレームの数）を決定することで定めてもよい。

　画像処理装置１は、上記の経路で撮像された動画像データ（天球動画とする）を処理対象として、図４に例示するように、まず当該処理対象の動画像データに対してＯＲＢ－ＳＬＡＭ等の処理により、カメラの移動軌跡の推定結果を表すフレームごとのカメラの位置座標（三次元的な位置座標）、及びカメラの姿勢（カメラの位置から画角の中心方向への向きを表すベクトル）を求める（Ｓ１）。

　画像処理装置１は、そして、当該求めたフレームごとのカメラの位置座標の情報を用い、当該推定されたカメラ移動軌跡上の点のうち、所定の条件を満足する複数の点を選択する。ここでの例では、画像処理装置１は、まず、各フレームが撮影された時点でのカメラの位置座標Ｘi（ｉ＝１，２，３…）に対してガウシアンスムージングを施し、ｋ番目のフレーム（ｋ＝１，２，３…）における好適なカメラの三次元位置座標Ｘ′kを求める（Ｓ２）。

　そして画像処理装置１は、利用者から受け入れた速度倍率ｖの情報を用いて、ｉ番目のフレームからｊ番目のフレームへの遷移コストを（１）式で演算する。なお、この（１）式における、好適な経路として求めた好適なカメラ位置からの並進方向のずれ量を表すモーションコストＣmと、速度倍率によって本来選択されるべきフレームからのずれを反映したスピードコストＣS及び、加速度コストＣaは（２）乃至（４）式から求める（Ｓ３）。

　画像処理装置１は、選択されるべきフレームの可能な組み合わせのうち、この遷移コストの総和が最も小さくなるフレームの組み合わせ（フレーム系列）を求め、当該求められたフレーム系列に含まれるフレームを選択されたフレームとして、当該選択されたフレームを特定するフレーム番号の情報を得る（例えば図３（Ｘ）のフレームが選択される）（Ｓ４）。

　画像処理装置１は、処理対象の動画像データに含まれるフレームから、上述の処理で得たフレーム番号で特定されるフレームを抽出する（Ｓ５）。そして画像処理装置１は、当該抽出したフレームの各画像データに対して、カメラの姿勢（カメラの位置から画角の中心方向への向きを表すベクトル）を表す情報を用いて、三次元的に回転補正を適用し（Ｓ６）、移動方向（ここでは選択されたフレーム間での遷移方向）と画角の中心方向とを一致させる。

　画像処理装置１は、補正後の画像データを、フレーム番号の小さい順に配列して、再構成した動画像データを生成して出力する（Ｓ７）。

　本実施の形態によると、例えば図３に例示した２０個のフレームのうち、本来、指定された速度倍率（例えば８倍とする）に従って、等間隔に（つまりこの例では７個おきに）フレームを選択すると、図３（Ｙ）のフレームを選択することとなり、その並進移動経路は、図３において破線で示した経路のように、選択した各点で大きくずれる（つまり選択された各点が概ね直線状に配列されない）こととなる。

　一方、これらのフレームの撮像位置に基づいて得られた平滑化処理結果に比較的近いフレームを選択する本実施の形態の例では、撮影時間は必ずしも等間隔とはならず、例えば図３（Ｘ）のフレームが選択される。この場合、図３の実線で示した経路のように、選択したフレームの撮影時点でのカメラの並進移動経路は概ね直線状に配列される。

　このように、本実施の形態によると、天球動画等の広角動画についてのハイパーラプス化の要求と、安定化の要求とに一度に応えることができる。

［変形例］
　なお、本実施の形態のここまでの説明では、処理対象となった動画像データの各フレームの撮像時のカメラの位置や姿勢をＯＲＢ－ＳＬＡＭ等、撮像された画像データを用いて推定していたが、本実施の形態はこれに限られず、例えばカメラにジャイロやＧＰＳが内蔵されている場合や、カメラとともに移動する、位置記録装置の情報があれば、画像処理装置１は、当該ジャイロやＧＰＳにより測位され記録された情報や、位置記録装置が記録した情報の入力を受け、当該情報を用いて各フレームの撮像時のカメラの位置、または姿勢を求めてもよい。

　また本実施の形態のここまでの例では、入出力部１３に接続されたカメラから処理対象となった動画像データを受け入れることとしているが、カメラ自体が画像処理装置１として機能してもよい。この場合、カメラが備えるＣＰＵ等が制御部１１として機能して、自身が撮像した動画像データを、処理対象として既に述べた処理を実行することとなる。

［評価実施例］
　また、本実施の形態の画像処理装置１を用いて、実際に撮像された動画像データを処理した結果の評価を次に示す。なお、以下の評価では、カメラの移動に伴う振動の大きさを表す量として、出力する動画像データに含まれるｉ番目のフレームでのカメラの位置座標をｘi（ｉ＝１，２，…）とし、

により求める。ただしｘi-1からｘiへのベクトルと、xiからxi+1へのベクトルとのなす角をθi、つまり、

とした。

　図５は、複数の速度倍率における、時間的に等間隔でフレームを選択したときのこの評価値Ｓ（Ｓregular）と、本実施の形態の画像処理装置１が選択したフレーム系列における評価値Ｓ（Ｓoptimal）と、その比（Ｒ）とを示す説明図である。

　図５に例示するように、本実施の形態によると、等間隔でフレームを選択する場合に比べ、どの速度倍率においても振動の大きさが抑制され、安定化が実現されている。

　１　画像処理装置、１１　制御部、１２　記憶部、１３　入出力部、２１　移動軌跡推定部、２２　選択処理部、２３　抽出処理部、２４　生成部、２５　出力部。
 

Claims (5)

1. 　カメラを移動しつつ撮影した動画像データを受け入れて処理する画像処理装置であって、
   　前記カメラの移動軌跡を推定する移動軌跡推定手段と、
   　当該推定されたカメラ移動軌跡上の点のうち、所定の条件を満足する複数の点を選択する選択手段と、
   　前記受け入れた動画像データから、前記選択された複数の点にて撮像された画像データを抽出する抽出手段と、
   　前記抽出した画像データに基づいて再構成した動画像データを生成する生成手段と、
   　当該生成した、再構成された動画像データを出力する出力手段と、
   　を含む画像処理装置。
2. 　請求項１に記載の画像処理装置であって、
   　前記生成手段は、前記抽出した画像データの各々について、当該画像データを撮影したときの前記カメラの姿勢を推定し、当該推定された姿勢の情報に基づいて、画像データを補正し、当該補正後の画像データを用いて、再構成した動画像データを生成する画像処理装置。
3. 　請求項１または２に記載の画像処理装置であって、
   　前記選択手段が前記推定されたカメラ移動軌跡上の点のうちから複数の点を選択する際に用いる前記所定の条件には、
   　各点の位置の情報に係る条件と、
   　各点の撮影時刻の情報に係る条件と、
   　を含む画像処理装置。
4. 　請求項１から３のいずれか一項に記載の画像処理装置であって、
   　前記選択手段は、出力する動画像データの再生時間の上限の情報を受け入れて、前記選択する点の数を決定する画像処理装置。
5. 　コンピュータを、
   　カメラを移動しつつ撮影した動画像データを受け入れる手段と、
   　前記カメラの移動軌跡を推定する移動軌跡推定手段と、
   　当該推定されたカメラ移動軌跡上の点のうち、所定の条件を満足する複数の点を選択する選択手段と、
   　前記受け入れた動画像データから、前記選択された複数の点にて撮像された画像データを抽出する抽出手段と、
   　前記抽出した画像データに基づいて再構成した動画像データを生成する生成手段と、
   　当該生成した、再構成された動画像データを出力する出力手段と、
   　として機能させるプログラム。
   
    

Images