JP6668002B2 - 動画生成装置、動画生成システム、および動画生成プログラム - Google Patents

Description

本発明の実施形態は、動画生成装置、動画生成システム、および動画生成プログラムに関する。

スポーツ競技等で使用されるボールに複数のカメラを内蔵して、ボール側から見た映像をユーザに提供する技術が知られている（例えば、非特許文献１参照）。

Jonas Pfeil, Kristian Hildebrand, Carsten Gremzow, Bernd Bickel, and Marc Alexa. Throwable panoramic ball camera. In SIGGRAPH Asia 2011 Emerging Technologies, SA ’11, pp.4:1-4:2

しかしながら、従来の技術では、競技中にボールが回転や振動といった運動をすることで、動画内において視点が変動する場合があった。

本発明は、このような事情を考慮してなされたものであり、より視点変動の少ない動画を生成することができる動画生成装置、動画生成システム、および動画生成プログラムを提供することを目的の一つとする。

本発明の一態様は、物体に設けられた３以上のカメラによって時系列に生成された画像に基づいて所定の特徴を有する基準画像を決定する決定部と、決定部によって３以上のカメラに含まれる第Ｎのカメラによって生成された第Ｎカメラ画像に基づいて決定された基準画像と、３以上のカメラに含まれ第Ｎのカメラと異なる第Ｎ＋１のカメラによって生成された第Ｎ＋１カメラ画像との一致する度合を示す一致度を算出する算出部と、算出部によって算出された一致度に基づいて、第Ｎカメラ画像と、第Ｎ＋１カメラ画像とを結合して動画を生成する生成部と、を備える動画生成装置である。

本発明の一態様において、前記物体は、スポーツ競技または娯楽に用いられる物体であるものとしてもよい。

また、本発明の一態様において、前記決定部は、前記生成部によって前記第Ｎカメラ画像と、前記第Ｎ＋１カメラ画像とが結合された後、前記算出部によって算出された一致度に基づいて、前記基準画像を更新するものとしてもよい。

また、本発明の一態様において、前記基準画像および前記第Ｎ＋１カメラ画像から前記所定の特徴を示す特徴点をそれぞれ抽出する抽出部をさらに備え、前記算出部は、前記抽出部によって抽出された特徴点間の距離を、前記一致度として算出するものとしてもよい。

また、本発明の一態様において、前記決定部は、前記第Ｎ＋１カメラ画像に基づいて、前記算出部によって算出された一致度が最大となる画像を示す最一致画像を決定し、前記生成部は、前記基準画像の撮像された時刻を示す第１の時刻から、前記決定部によって決定された最一致画像の撮像された時刻を示す第２の時刻までの期間における前記第Ｎカメラ画像と、前記第２の時刻以降における前記第Ｎ＋１カメラ画像とを結合して動画を生成するものとしてもよい。

また、本発明の一態様において、前記抽出部は、前記第Ｎカメラ画像から前記所定の特徴を示す特徴点をさらに抽出し、前記物体に設けられた複数のカメラの配置位置と、前記第Ｎカメラ画像の撮像された時刻と、前記抽出部によって前記第Ｎカメラ画像および前記第Ｎ＋１カメラ画像からそれぞれ抽出された特徴点とに基づいて、前記第１の時刻から前記第２の時刻までの期間における前記第Ｎカメラ画像を平行移動して補正する補正部をさらに備えるものとしてもよい。

本発明の他の態様は、３以上のカメラが設けられた物体と、前記請求項１から６のうちいずれか１項に記載の動画生成装置と、を備える動画生成システムである。

本発明の他の態様は、コンピュータに、物体に設けられた３以上のカメラによって時系列に生成された画像に基づいて所定の特徴を有する基準画像を決定させ、前記３以上のカメラに含まれる第Ｎのカメラによって生成された第Ｎカメラ画像に基づいて決定された基準画像と、前記３以上のカメラに含まれ前記第Ｎのカメラと異なる第Ｎ＋１のカメラによって生成された第Ｎ＋１カメラ画像との一致する度合を示す一致度を算出させ、前記一致度に基づいて、前記第Ｎカメラ画像と、前記第Ｎ＋１カメラ画像とを結合して動画を生成させる、動画生成プログラムである。

本発明の一態様によれば、より視点変動の少ない動画を生成することができる。

実施形態における動画生成装置１００を含む動画生成システム１の概略図である。 カメラ１０−１から１０−４の配置例を示す図である。 カメラ１０−１から１０−４が設置されたボールＯＢの断面図である。 実施形態における動画生成装置１００の機能構成の一例を示す図である。 ボールＯＢが時計回りに回転する場合においてアンカーフレームの撮像時の方向を撮像するカメラ１０の移り変わりの様子を示した図である。 実施形態における制御部１１０の処理の流れの一例を示す図である。 記憶部１３０に記憶させる動画の一例を示す図である。 ＤｏＧ画像Ｄ(ｘ、ｙ、σ)の生成における概略例を示す図である。 ヒストグラムの生成方法の概念図である。 抽出部１１４によって特徴点の方向が複数個決定される様子を示す図である。 特徴量の記述方法を説明するための図である。 比較対象となるフレームとアンカーフレームとの特徴点マッチングを行った際の様子を示す図である。 順次更新されるアンカーフレームを用いた任意視点方向動画の生成の様子を示す図である。 ボールＯＢに搭載のカメラ１０によって撮像された動画を１フレームごとに時系列に並べた一例を示す図である。 図１４に示すフレームを用いて決定されたアンカーフレームの一例を示す図である。 図１５に示すフレームを補正した編集フレームのうち、アンカーフレームと次のアンカーフレームとの中間に位置するフレームを時系列に並べた図である。 検証に用いたフリスビーを上から見た図である。 フリスビーに搭載のカメラ１０によって撮像された動画を１フレームごとに時系列に並べた一例を示す図である。 図１８に示すフレームを用いて決定されたアンカーフレームの一例を示す図である。 図１９に示すフレームを補正した編集フレームのうち、アンカーフレームと次のアンカーフレームとの中間に位置するフレームを時系列に並べた図である。 図１４に示すフレームを用いて決定された別方向のアンカーフレームの一例を示す図である。 図２１に示すフレームを補正した編集フレームのうち、アンカーフレームと次のアンカーフレームとの中間に位置するフレームを時系列に並べた図である。 検証に用いた動画生成装置１００の動作スペックを表す図である。

［構成］
以下、図面を参照し、本発明の動画生成装置、動画生成システム、および動画生成プログラムの実施形態について説明する。図１は、実施形態における動画生成装置１００を含む動画生成システム１の概略図である。本実施形態における動画生成システム１は、ボールＯＢと、動画生成装置１００とを備える。ボールＯＢは、「物体」の一例である。ボールＯＢは、例えば、サッカーやバスケットボール等のスポーツ競技に用いられる。なお、本実施形態の動画生成システム１におけるボールＯＢは、娯楽に用いられる物体であってもよい。例えば、ボールＯＢは、バトミントンに使用されるシャトルや、ダーツ、フリスビー等である。また、ボールＯＢは、円筒形状であってもよいし、卵形状であってもよいし、流線形状であってもよい。

ボールＯＢには、複数のカメラ１０−１から１０−４が内蔵されている。カメラ１０−１から１０−４は、所定の視野角θを有している。カメラ１０−１から１０−４は、例えば、ボールＯＢの周方向に沿って均等間隔で配置される。図２は、カメラ１０−１から１０−４の配置例を示す図である。図１または図２に示すように、カメラ１０−１から１０−４は、例えば、ボールＯＢの重心Ｏ周りに９０度間隔で配置される。なお、カメラ１０−１から１０−４は、自装置の撮像の領域の一部が隣り合うカメラの撮像領域の一部とクロスオーバーするように配置されてもよい。図２に示す領域Ａは、他のカメラの撮像領域とクロスオーバーする領域を表している。

図３は、カメラ１０−１から１０−４が設置されたボールＯＢの断面図である。図３に示すように、カメラ１０−１から１０−４は、外部の光を受光するレンズ１２をボールＯＢの表面側に向けつつ、カメラの筐体がボールＯＢから突出しないように埋め込まれる。なお、上述したカメラの数は４個としたがこれに限られない。カメラの数は、例えば２個や３個であってもよいし、４個以上であってもよく、ボールＯＢの円周方向１８０度の視界を全て撮像することができればよい。また、カメラ１０−１から１０−４が設置された円周線と直交する円周線上に他のカメラが設けられてもよい。以下、カメラ１０−１から１０−４を特に区別しない場合は、単に「カメラ１０」と称する。

カメラ１０は、後述する動画生成装置１００とネットワークＮＷを介して接続される。ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、シリアル通信線等を含む。例えば、カメラ１０は、図示しないアンテナを用いた無線通信によって撮像した動画を動画生成装置１００に対して出力する。なお、カメラ１０は、シリアル通信線等の有線を用いて撮像した動画を動画生成装置１００に対して出力してもよい。

図４は、実施形態における動画生成装置１００の機能構成の一例を示す図である。本実施形態における動画生成装置１００は、ボールＯＢに内蔵された複数のカメラ１０によって撮像された動画を合成して、新たに１つの動画を生成する。動画生成装置１００は、通信インターフェース１０２と、入力部１０４と、表示部１０６と、制御部１１０と、記憶部１３０とを備える。

通信インターフェース１０２は、ボールＯＢのカメラ１０と通信するための無線通信装置である。

入力部１０４は、ユーザからの操作を受け付けるためのユーザインターフェースである。入力部１０４は、マウス、キーボード、タッチパネル等を含む。ユーザは、例えば、入力部１０４を操作して、カメラ１０によって撮像された動画内において着目したい対象物が含まれるフレームを設定する。以下、ユーザによって設定されたフレームを、「アンカーフレーム」と称する。例えば、ユーザは、ボールＯＢがサッカーボールに適用される場合、ゴール等の対象物が含まれるフレームをアンカーフレームとしてカメラ１０の動画から選択する。これによって、後述する制御部１１０の処理において、アンカーフレームが撮像された方向、すなわちユーザが所望する対象物の方向に動画の視点方向を定めることができる。なお、アンカーフレームは、「基準画像」の一例である。

表示部１０６は、入力された情報に基づいた画像を表示する。表示部１０６は、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ等の表示装置である。表示部１０６は、例えば、後述する出力部１２４によって出力された情報を表示したり、入力部１０４にアンカーフレームを選択させるための情報を表示したりする。

制御部１１０は、取得部１１２と、抽出部１１４と、算出部１１６と、決定部１１８と、生成部１２０と、補正部１２２と、出力部１２４とを備える。上述した制御部１１０の機能部のうち一部または全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが記憶部１３０に記憶されたプログラムを実行することによって機能するソフトウェア機能部である。プログラムは、例えば、ＬＡＮやＷＡＮ等のネットワークを介してアプリサーバからダウンロードされる。また、制御部１１０の機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

記憶部１３０は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ等の不揮発性の記憶媒体と、ＲＡＭ（Random Access Memory）、レジスタ等の揮発性の記憶媒体とを有する。記憶部１３０に記憶される情報は、プロセッサが実行するプログラムの他、後述するカメラ１０から取得した動画、アンカーフレーム、数式等の情報を含む。

本実施形態では、ボールＯＢは一方向に回転するものとして説明する。また、ボールＯＢの回転移動は一度きりであるとし、ボールＯＢの回転はカメラ１０が配置されている円周に沿って時計回り、或いは反時計回りのどちらかであると仮定する。このとき、アンカーフレームの撮像元のカメラをカメラ１０−１とすると、ボールＯＢが時計回りに回転している場合、ある程度の時間が経過してボールＯＢが９０度回転するとカメラ１０−１の左隣にあるカメラは、アンカーフレームの撮像時の方向と同じ方向を撮像する。同様にボールＯＢが反時計回りに回転している場合、カメラ１０−１の右隣にあるカメラは、ある程度の時間が経過した後に、アンカーフレームの撮像時の方向と同じ方向を撮像する。

図５は、ボールＯＢが時計回りに回転する場合においてアンカーフレームの撮像時の方向を撮像するカメラ１０の移り変わりの様子を示した図である。図５の例では、カメラ１０−１の左隣りをカメラ１０−２とし、以下、カメラ１０−３、１０−４の順にボールＯＢの周方向に並んでいる。このようなカメラ配置の場合、カメラ１０−１によって撮像されたアンカーフレームと似た特徴を有したフレームが数フレーム毎にカメラ１０−２、カメラ１０−３、カメラ１０−４、そして再びカメラ１０−１上にと周期的に現れる。そのため、本実施形態における制御部１１０は、各動画からアンカーフレームの特徴に対して最も似ているフレームを抽出し、抽出したフレームを結合することで、アンカーフレームの方向を向き続けているように見える動画を生成する。以下、アンカーフレームの方向を向き続けているように見える動画のことを、「任意視点方向動画」と称する。

［処理の流れ］
以下、任意視点方向動画を生成するための制御部１１０の各機能部の処理について、フローチャートを用いて説明する。図６は、実施形態における制御部１１０の処理の流れの一例を示す図である。

まず、取得部１１２は、カメラ１０から動画を取得する（ステップＳ１００）。具体的には、取得部１１２は、通信インターフェース１０２を介して、上述したカメラ１０から動画を取得する。取得部１１２は、取得した動画を取得元のカメラ１０を識別する情報（以下、「カメラＩＤ」と称する）と対応付けて記憶部１３０に記憶させる（ステップＳ１０２）。図７は、記憶部１３０に記憶させる動画の一例を示す図である。

次に、取得部１１２は、ユーザによって入力されたアンカーフレームを入力部１０４から取得する（ステップＳ１０４）。以下、アンカーフレームを抽出した動画の取得元であるカメラ１０を「カメラ１０−１」と仮定して説明する。なお、アンカーフレームを抽出した動画の取得元であるカメラ１０は、「第Ｎのカメラ」の一例であり、アンカーフレームの抽出元の動画は、「第Ｎカメラ画像」の一例である。

次に、抽出部１１４は、取得部１１２によって取得されたアンカーフレームの比較対象となる動画を、記憶部１３０に記憶される動画から選択する（ステップＳ１０６）。より具体的には、抽出部１１４は、アンカーフレームを含む動画の取得元であるカメラ１０−１に対して隣り合うカメラによって撮像された動画を選択する。上述した例の場合、抽出部１１４は、カメラ１０−１に隣り合うカメラ１０−２またはカメラ１０−４のうちいずれか一方のカメラによって撮像された動画から比較対象の動画を選択する。なお、比較対象の動画の取得元のカメラ１０は、「第Ｎ＋１のカメラ」の一例であり、比較対象の動画は、「第Ｎ＋１カメラ画像」の一例である。

抽出部１１４は、選択した比較対象の動画を構成するフレームのうち、アンカーフレームが撮像された時刻よりも後の時刻における撮像されたフレームに対して、特徴点を抽出する処理を行う。本実施形態における抽出部１１４は、ＳＩＦＴ（Scale-Invariant Feature Transform）を用いて各フレームから特徴点を抽出する。ＳＩＦＴとは画像におけるスケールや回転に対し不変な特徴点を求めるアルゴリズムである。従って、抽出部１１４は、様々な強さで平滑化した画像の差分からＤｏＧ（Difference-of-Gaussian)画像を生成し、ガウス方向の値の変化、すなわち画像に強さの異なるぼかしを適用した場合の画素値の変化を基に特徴点を抽出する。図８は、ＤｏＧ画像Ｄ(ｘ、ｙ、σ)の生成における概略例を示す図である。ＤｏＧ画像Ｄ(ｘ、ｙ、σ)は、数式（１）によって表される。なお、抽出部１１４は、ＳＩＦＴの代わりに、ＳＵＲＦやＡＫＡＺＥ等のアルゴリズムを用いて特徴点を抽出してもよい。

数式（１）中に示すＬ(ｘ、ｙ、σ)は、平滑化された画像であり、入力画像をＩ(ｘ、ｙ)とし、平滑化に用いるガウス関数をＧ(ｘ、ｙ、σ)とすると、以下の数式（２）、（３）によって表される。

抽出部１１４は、生成したＤｏＧ画像Ｄ(ｘ、ｙ、σ)に基づいて抽出した特徴点の周囲の画素値（輝度値）の変化を基に、特徴点の向きとその強さを導出する。平滑化画像をＬ(ｕ、ν)とすると、特徴点の周囲の画素値の変化の強さを示す周辺画素の勾配強度ｍ(ｕ、ν)は、数式（４）によって表され、特徴点の向きを示す勾配方向θ(ｕ、ν)は、数式（５）によって表される。従って、抽出部１１４は、数式（４）、（５）に基づいて、特徴点の周囲の画素値の変化の強さと、特徴点の向きとを導出する。

抽出部１１４は、導出した勾配強度ｍ(ｕ、ν)に特徴点を中心とするガウス窓をかけて重みをつけ、勾配方向θ(ｕ、ν)を所定数（例えば３６個）の種類に分類したヒストグラムを生成する。図９は、ヒストグラムの生成方法の概念図である。

抽出部１１４は、生成したヒストグラムの最大値が閾値以上の値を持っている方向を特徴点の方向として決定する。なお、図１０に示すようにヒストグラムの値が閾値以上であるものが複数存在する場合、抽出部１１４は、閾値を超える数に応じて特徴点の方向を複数個決定してもよい。図１０は、抽出部１１４によって特徴点の方向が複数個決定される様子を示す図である。抽出部１１４は、このように決定した特徴点の方向に従って、特徴量の記述領域を回転させる。これによって、抽出部１１４は、画像の回転に強い特徴量の記述を行うことができる。

抽出部１１４は、回転させた記述領域に特徴量を記述する。図１１は、特徴量の記述方法を説明するための図である。図１１に示すように、抽出部１１４は、例えば、上述したＳＩＦＴ手法を用いて、特徴量を１２８次元のベクトルによって記述する。具体的には、抽出部１１４は、回転させた記述領域を４×４の１６ブロックの領域に分割し、分割したそれぞれの領域において特徴点の方向を決定した時と同様に勾配強度、勾配方向を導出する。抽出部１１４は、ブロックごとに導出した勾配方向を８方向に分割したヒストグラムを生成する。抽出部１１４は、この１６ブロック×８方向＝１２８次元のベクトル（以下、「特徴ベクトル」と称する）を特徴量として記述する。抽出部１１４は、最後に各特徴ベクトルの長さをベクトルの総和で正規化することで、輝度変化に強い特徴量を抽出する。

次に、算出部１１６は、抽出部１１４によって抽出された特徴点に基づいて、比較対象の動画を構成する各フレームとアンカーフレームとの一致する度合を示す一致度を算出する（ステップＳ１０８）。具体的には、算出部１１６は、比較対象の動画のうち、アンカーフレームが撮像された時刻よりも後の時刻における撮像されたフレームを用いて、当該フレームとアンカーフレームとの両フレーム間において特徴点マッチングを行い、特徴点間の距離ｄを算出する。例えば、算出部１１６は、アンカーフレーム上に存在する、ある特徴点ν^ｋＩ１に対し、比較対象となるフレームが持つすべての特徴点とのユークリッド距離を計算し、特徴点間の距離ｄ（ν^ｋＩ１、ν^ｋＩ２）が最小になる点ν^ｋＩ２を対応した特徴点とする。ここで、特徴点間の距離ｄ（ν^ｋＩ１、ν^ｋＩ２）は、数式（６）によって表される。

図１２は、比較対象となるフレームとアンカーフレームとの特徴点マッチングを行った際の様子を示す図である。図１２に示す特徴点比較対象となるフレームと特徴点とを繋ぐ直線の長さが特徴点間の距離ｄ（ν^ｋＩ１、ν^ｋＩ２）に相当する。

なお、算出部１１６は、特徴点のマッチングを行う前に、事前に比較対象となるフレームに対して所定のフィルタリング処理を行って特徴点を除去するようにしてもよい。算出部１１６は、例えば、フレームの上下端の特徴点を除去しておく。これによって、算出部１１６は、フレームの中心から離れるほど大きくなるレンズ歪みの影響を抑制することができる。また、アンカーフレームと所定のフレームとのマッチングを行う際に、マッチングの対象となる両フレームに写る対象物が同一である場合、ボールＯＢの自身の位置の変化による変化は多少あるものの基本的には同様のものを写していると推測される。そのため、マッチングする特徴点同士はそれぞれの画像内で近い位置に存在しているはずである。従って、算出部１１６は、比較対象となるフレームから、アンカーフレームの特徴点の位置（ｘ座標、ｙ座標）との差異が大きくなる特徴点を除去しておく。これによって、算出部１１６は、特徴点のマッチング精度を向上させることができる。

次に、算出部１１６は、比較対象となるフレームとアンカーフレームとにおいてマッチングした特徴点に基づいて、比較対象となるフレームをアンカーフレームの空間に投射するホモグラフィ行列を算出する。算出部１１６は、算出したホモグラフィ行列を用いて、比較対象となるフレームの四隅である左上、左下、右上、右下の特徴点がアンカーフレームの空間内のどの位置に投射されるかを算出する。例えば、比較対象となるフレーム上のある特徴点（ｘ、ｙ）がアンカーフレーム上の空間（Ｘ，Ｙ）に投射されるとすると、その点は同次座標とホモグラフィ行列Ｈを用いて、数式（７）のように表される。

ここで、ホモグラフィ行列Ｈは、数式（８）で表すことができるため、算出部１１６は、上述した数式（７）から、数式（９）、（１０）、（１１）をそれぞれ導出することができる。

上述した数式（７）および（８）において、アンカーフレームと比較対象となるフレームとに全く同じ対象物が写っていれば、ホモグラフィ行列Ｈは単位行列となり、比較対象となるフレームの四隅の特徴点は、アンカーフレームの四隅に投射されるはずである。実際は、ボールＯＢ自身の位置が３次元的に移動しているため同じ四隅に投射される傾向は小さい。しかしながら、同じ方向が写されているフレームほど投射される特徴点はアンカーフレームの四隅の特徴点に近くなると推定される。従って、算出部１１６は、投射された四隅の特徴点（比較対象となるフレームの四隅の特徴点）と、アンカーフレームの四隅の特徴点との距離ｄをそれぞれの点ごとに算出し、算出した複数の距離ｄの平均を一致度として導出する。距離ｄが小さいほど比較対象となるフレームとアンカーフレームとの一致度は高くなる。

なお、同じものを写している領域がある程度存在しているフレームに対しては一致度の算出精度は高くなるが、２つのフレームにまったく異なる対象物が写っている場合には一致度の算出精度は低くなる。従って、算出部１１６は、特徴点マッチングの段階において十分な量（数）のマッチングが検出できなかったフレームを、アンカーフレームとの一致度を算出する対象として除外するようにすると好適である。

次に、決定部１１８は、算出部１１６によって算出された一致度に基づいて、現時点での比較対象の動画から、次の比較対象となる動画の一致度の算出に用いるアンカーフレームに相当するフレームを決定し、アンカーフレームを更新する（ステップＳ１１０）。更新されたアンカーフレームは、「最一致画像」の一例である。例えば、カメラ１０−２の動画に含まれるフレームと、カメラ１０−１の動画に含まれるアンカーフレームとの一致度が算出されている場合、決定部１１８は、比較対象であったカメラ１０−２の動画内から、カメラ１０−３の動画の一致度を算出するためのアンカーフレームを新たに決定する。具体的には、決定部１１８は、比較対象であった動画がカメラ１０−２の動画であった場合、カメラ１０−２の動画のうち、カメラ１０−１のアンカーフレーム撮像時刻から所定数のフレームにおいて、アンカーフレームとの一致度が最も高いフレームを、新たなアンカーフレームとして決定し、決定したアンカーフレームを記憶部１３０に記憶させる。決定部１１８は、アンカーフレームの更新に使用する動画のフレームが動画の終了を示す最後のフレームであるか否かを判定し（ステップＳ１１２）、最後のフレームでない場合は、上述した処理を動画が終了するまで繰り返し行い、アンカーフレームを順次更新し続ける。これによって、決定部１１８は、一致度の算出精度を向上させることができる。

次に、決定部１１８は、順次更新したアンカーフレームに基づいて、任意視点方向動画の生成に用いるフレーム（以下、「編集フレーム」と称する）を決定する（ステップ１１４）。図１３は、順次更新されるアンカーフレームの様子を示す図である。図１３に示すように、決定部１１８は、カメラ１０−１の動画において、ユーザに決定されたアンカーフレームの撮像時刻ｔ０からカメラ１０−２の動画のアンカーフレームの撮像時刻ｔ１までの期間のフレームを編集フレームＡとして決定する。また、決定部１１８は、カメラ１０−２の動画において、更新したアンカーフレームの撮像時刻ｔ１からカメラ１０−３の動画のアンカーフレームの撮像時刻ｔ２までの期間のフレームを編集フレームＢとして決定する。以下同様に、決定部１１８は、カメラ１０−３の動画において、更新したアンカーフレームの撮像時刻ｔ２からカメラ１０−４の動画のアンカーフレームの撮像時刻ｔ３までの期間のフレームを編集フレームＣとして決定し、カメラ１０−４の動画において、更新したアンカーフレームの撮像時刻ｔ３からカメラ１０−１の動画のアンカーフレームの撮像時刻ｔ４までの期間のフレームを編集フレームＤとして決定する。決定部１１８は、このような処理を動画が終了するまで繰り返し行い、編集フレームを各カメラ１０の動画から決定する。

アンカーフレームを更新して編集フレームを決定しただけでは、同じカメラからの画像を利用しているフレーム間でもボールの回転は起こっているため画像の視点の中心の位置は変化してしまい、視点が固定されているようには見えない場合がある。そのため、表示される画像の位置を移動させることで目標とする視点を常に画像の中心に表示し続けるように、編集フレームを補正する必要がある。従って、上述した課題を解決するために、補正部１２２は、目標とする視点に写っているものが十分遠方にあり視差の影響を無視できることと、カメラ１０の切り替えはボールＯＢの設置位置に応じた回転角（本実施形態では、回転角は、４つのカメラ１０が円周状に均等に配置されるので９０度）に基づいて行われることとを加味して、以下の補正を行う。

アンカーフレームからtフレーム後、カメラ１０の切り替えが起こる直前に任意視点方向動画に利用されているアンカーフレームとは視野が９０度異なるフレームとなる。補正部１２２は、同じカメラ１０を利用しているフレーム間ではボールＯＢの回転速度は一定であるとし、編集フレームの１フレームごとに画像を、数式１２に基づく補正量分だけボールＯＢの回転方向とは逆方向に平行移動して補正する（ステップＳ１１６）。数式（１２）に示すように、補正量は、画像の回転方向の長さと回転角との乗算値を、カメラ１０の視野角θとフレームの撮像時刻ｔとの乗算値で除算した値に相当する。これによって、後述する生成部１２０は、目標とする視点を常にフレームの中心に表示し続けることができる任意視点方向動画を生成することができる。

次に、生成部１２０は、補正部１２２によって補正された編集フレームを結合して任意視点方向動画を生成する（ステップＳ１１８）。上述した図１３の例の場合、生成部１２０は、編集フレームＡからＨを時系列順に結合して、任意視点方向動画を生成する。

次に、出力部１２４は、生成部１２０によって生成された任意視点方向動画を表示部１０６や他の表示装置等に出力する（ステップＳ１２０）。これによって、本フローチャートの処理が終了する。

［検証例］
本出願の発明者は、動画生成装置１００によって生成される任意視点方向動画を確認するための検証を行った。図１４は、ボールＯＢに搭載のカメラ１０によって撮像された動画を１フレームごとに時系列に並べた一例を示す図である。また、図１５は、図１４に示すフレームを用いて決定されたアンカーフレームの一例を示す図である。例えば、図１５に示す（ａ）は、始めにユーザによって指定されたアンカーフレームである。また、図１５に示す（ｂ）から（ｈ）は、決定部１１８によって順次決定されたアンカーフレームを示している。図１５から、同じ方向を移しているフレームを推定できていることがわかる。また、図１６は、図１５に示すフレームを補正した編集フレームのうち、アンカーフレームと次のアンカーフレームとの中間に位置するフレームを時系列に並べた図である。図１６に示すように、フレームの補正によって目標とする視点（このフレームの場合、人間）が中心に来るように移動していることがわかる。

また、本出願の発明者は、上述したボールＯＢとは異なる物体として、フリスビーにカメラ１０を搭載して任意視点方向動画の生成の検証を行った。図１７は、検証に用いたフリスビーを上から見た図である。図１７の例のように、フリスビーは、４つのカメラ１０を備える構成とした。

図１８は、フリスビーに搭載のカメラ１０によって撮像された動画を１フレームごとに時系列に並べた一例を示す図である。また、図１９は、図１８に示すフレームを用いて決定されたアンカーフレームの一例を示す図である。また、図２０は、図１９に示すフレームを補正した編集フレームのうち、アンカーフレームと次のアンカーフレームとの中間に位置するフレームを時系列に並べた図である。図２０に示すように、フレームの補正によって目標とする視点（このフレームの場合、中央付近の建物と木）が中心に来るように移動していることがわかる。

また、本出願の発明者は、上述した図１４に示す動画（フレーム）を用いて、別方向の任意視点方向動画の生成について検証を行った。図２１は、図１４に示すフレームを用いて決定された別方向のアンカーフレームの一例を示す図である。また図２２は、図２１に示すフレームを補正した編集フレームのうち、アンカーフレームと次のアンカーフレームとの中間に位置するフレームを時系列に並べた図である。図２２に示すように、図１６に示す目標とする視点（人間）とは異なる視点が中心に来るように移動していることがわかる。

また、本出願の発明者は、任意視点方向動画の生成時に必要な計算時間を測定して検証を行った。図２３は、検証に用いた動画生成装置１００の動作スペックを表す図である。また、ボールＯＢに搭載したカメラ１０は、２４０ＦＰＳで動画を撮像することができるものを使用した。任意視点方向動画の生成時に必要な計算時間は、主に、動画を構成する各フレームから画像を抽出する時間と、編集フレームを決定するのに要する時間と、補正に要する時間と、編集フレームを結合するのに要する時間とで構成される。

任意方向視点動画の生成の際には、まず動画から画像を抽出する必要がある。動画から２４０フレーム分の画像を抽出するのには約９秒かかり、これをカメラ４台分行う必要があるため２４０フレーム分の画像抽出にはおよそ３６秒の時間を要した。

また、編集フレームを決定するためには、更新するアンカーフレームよりも先の時刻のフレームまで一致度の計算を行う必要があり、２４０フレーム分の動画を生成するためには２４０回以上の一致度の計算が必要である。本実施形態の動画生成装置１００に用いたプログラムでは、アンカーフレームから４０フレーム先までのフレームに対して一致度の計算を行っているので、検証に用いたカメラは２４０ＦＰＳのカメラであることを考慮すると１秒間の動画を生成する際に実際に行う一致度の計算回数は、４０／編集フレーム数の平均×２４０によって表される。本検証では、１フレームの計算に平均３０００ｍｓほどかかっており、ボールＯＢを投げ上げた場合の平均した編集フレームは、アンカーフレームから１６フレームから３５フレーム程度のフレーム数を有していた。すなわち、ボールＯＢを投げ上げた後に撮像された動画を用いて、１秒間の任意方向視点動画を生成するのに要する計算時間は１８００秒（３０分）から８２０秒（約１４分）程度であった。

また、２４０フレーム分の画像の補正処理には約６秒の時間を要し、編集フレームを結合して任意方向視点動画を生成するのに２４０フレーム当たり約１６秒の時間を要した。
これらの結果から、計算時間の大半は、特徴点の抽出、及び特徴点マッチングを含む処理によって占められていることがわかる。そのため、計算時間の短縮を行うためには特徴点の抽出、マッチングの回数を減らすことが最も有効であるといえる。従って、動画生成装置１００は、例えば、事前にボールＯＢの回転速度を推定しておき、推定した回転速度に応じて一致度の計算を何フレーム先まで行うかを決定する、この結果、動画生成装置１００は、特徴点の抽出およびマッチングの回数を減らすことができ、計算時間を短くすることができる。なおボールＯＢの回転速度は、数式（１３）を用いて導出するものとする。

以上説明した実施形態の動画生成装置１００、動画生成システム１、および動画生成プログラムによれば、複数のカメラ１０によって撮像された動画からアンカーフレームを決定する決定部１１８と、アンカーフレームに基づいてフレームを結合して任意視点方向動画を生成する生成部１２０とを備えることにより、より視点変動の少ない動画を生成することができる。この結果、実施形態の動画生成装置１００、動画生成システム１、および動画生成プログラムは、より強い臨場感をユーザに提供することができる。また、動画を視聴するユーザは、新しい視点でスポーツ競技や娯楽等の観戦をすることができる。

また、実施形態の動画生成装置１００、動画生成システム１、および動画生成プログラムによれば、所定のフィルタリング処理を行って特徴点を除去することにより、特徴点のマッチング精度を向上させることができる。

また、実施形態の動画生成装置１００、動画生成システム１、および動画生成プログラムによれば、動画が終了するまでアンカーフレームを順次更新し続けることにより、一致度の算出精度を向上させることができる。

また、実施形態の動画生成装置１００、動画生成システム１、および動画生成プログラムによれば、１フレームごとの画像を平行移動させて補正することによって、目標とする視点を常にフレームの中心に表示し続けることができる任意視点方向動画を生成することができる。

また、実施形態の動画生成装置１００、動画生成システム１、および動画生成プログラムによれば、事前にボールＯＢの回転速度を推定しておき、推定した回転速度に応じて一致度の計算を何フレーム先まで行うかを決定することにより、特徴点の抽出およびマッチングの回数を減らすことができる。この結果、実施形態の動画生成装置１００、動画生成システム１、および動画生成プログラムは、計算時間を短くすることができる。

以下、その他の実施形態について説明する。
上述した実施形態における動画生成装置１００は、カメラ１０と共にボールＯＢに内蔵されてもよい。この場合、動画生成装置１００は、図示しないアンテナを用いた無線通信によって外部の装置に生成した任意視点方向動画を出力する。

また、上述した実施形態では、始めにユーザによって設定されたアンカーフレームを用いて一致度を算出するものとして説明したがこれに限られない。例えば、ユーザが見たい対象物を写した画像や動画等の事前データを予め記憶部１３０に記憶させておき、当該事前データと比較対象となる動画との特徴点のマッチングを行う。事前データは、例えば、所定のプレイヤーの顔を写した画像等である。これによって、動画生成装置１００は、ユーザの設定入力を受けずに、自動でアンカーフレームを決定することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…動画生成システム、１０…カメラ、１００…動画生成装置、１０２…通信インターフェース、１０４…入力部、１０６…表示部、１１０…制御部、１１２…取得部、１１４…抽出部、１１６…算出部、１１８…決定部、１２０…生成部、１２２…補正部、１２４…出力部、１３０…記憶部

Claims (8)

1. ３以上のカメラが設けられた物体が回転している際に、前記物体の周りに沿って配置された前記３以上のカメラのそれぞれによって生成された動画像のうち、第Ｎのカメラによって生成された第Ｎ動画像に含まれる複数のフレーム画像の中から、所定の特徴を有する一つのフレーム画像である基準画像を決定する決定部と、
   前記決定部によって決定された基準画像と、前記３以上のカメラに含まれ前記第Ｎのカメラと異なる第Ｎ＋１のカメラによって生成された第Ｎ＋１動画像に含まれる複数のフレーム画像のそれぞれとの一致度を算出する算出部と、
   前記算出部によって算出された一致度に基づいて、前記第Ｎ動画像と、前記第Ｎ＋１動画像とを結合する生成部と、を備え、
   前記決定部は、前記第Ｎ動画像の中から決定した前記基準画像との一致度に基づいて、前記第Ｎ＋１動画像に含まれる複数のフレーム画像の中から、新たな基準画像を決定し、
   前記算出部は、前記決定部によって新たに決定された前記基準画像と、前記３以上のカメラに含まれ前記第Ｎ＋１カメラと異なる第Ｎ＋２のカメラによって生成された第Ｎ＋２動画像に含まれる複数のフレーム画像のそれぞれとの一致度を算出し、
   前記生成部は、前記算出部によって算出された一致度に基づいて、前記第Ｎ＋１動画像と、前記第Ｎ＋２動画像とを結合する、
   動画生成装置。
2. 前記物体は、スポーツ競技または娯楽に用いられる物体である、
   請求項１に記載の動画生成装置。
3. 前記基準画像および前記第Ｎ＋１動画像に含まれる複数のフレーム画像のそれぞれから前記所定の特徴を示す特徴点をそれぞれ抽出する抽出部をさらに備え、
   前記算出部は、前記抽出部によって抽出された特徴点間の距離を、前記一致度として算出する、
   請求項１または２に記載の動画生成装置。
4. 前記抽出部は、前記第Ｎ動画像に含まれる複数のフレーム画像のそれぞれから前記所定の特徴を示す特徴点をさらに抽出し、
   前記物体に設けられた３以上のカメラの配置位置と、前記第Ｎ動画像の撮像された時刻と、前記抽出部によって前記第Ｎ動画像および前記第Ｎ＋１動画像からそれぞれ抽出された特徴点とに基づいて、前記基準画像が撮像された時刻を示す第１の時刻から、前記一致度が最大となるフレーム画像を示す最一致画像が撮像された時刻を示す第２の時刻までの期間における前記第Ｎ動画像を平行移動して補正する補正部をさらに備える、
   請求項３に記載の動画生成装置。
5. 前記決定部は、前記第Ｎ＋１動画像に基づいて、前記算出部によって算出された一致度が最大となる画像を示す最一致画像を決定し、
   前記生成部は、前記基準画像の撮像された時刻を示す第１の時刻から、前記決定部によって決定された最一致画像の撮像された時刻を示す第２の時刻までの期間における前記第Ｎ動画像と、前記第２の時刻以降における前記第Ｎ＋１動画像とを結合する、
   請求項１から３のうちいずれか１項に記載の動画生成装置。
6. 前記基準画像および前記第Ｎ＋１動画像に含まれる複数のフレーム画像のそれぞれから前記所定の特徴を示す特徴点をそれぞれ抽出する抽出部をさらに備え、
   前記抽出部は、前記第Ｎ動画像に含まれる複数のフレーム画像のそれぞれから前記所定の特徴を示す特徴点をさらに抽出し、
   前記物体に設けられた３以上のカメラの配置位置と、前記第Ｎ動画像の撮像された時刻と、前記抽出部によって前記第Ｎ動画像および前記第Ｎ＋１動画像からそれぞれ抽出された特徴点とに基づいて、前記第１の時刻から前記第２の時刻までの期間における前記第Ｎ動画像を平行移動して補正する補正部をさらに備える、
   請求項５に記載の動画生成装置。
7. ３以上のカメラが設けられた物体と、
   請求項１から６のうちいずれか１項に記載の動画生成装置と、
   を備える動画生成システム。
8. コンピュータに、
   ３以上のカメラが設けられた物体が回転している際に、前記物体の周りに沿って配置された前記３以上のカメラのそれぞれによって生成された動画像のうち、第Ｎのカメラによって生成された第Ｎ動画像に含まれる複数のフレーム画像の中から、所定の特徴を有する一つのフレーム画像である基準画像を決定させ、
   前記第Ｎ動画像の中から決定させた基準画像と、前記３以上のカメラに含まれ前記第Ｎのカメラと異なる第Ｎ＋１のカメラによって生成された第Ｎ＋１動画像に含まれる複数のフレーム画像のそれぞれとの一致度を算出させ、
   前記第Ｎ動画像の基準画像と第Ｎ＋１動画像に含まれる複数のフレーム画像のそれぞれとの一致度に基づいて、前記第Ｎ動画像と、前記第Ｎ＋１動画像とを結合させ、
   前記第Ｎ動画像の中から決定させた前記基準画像との一致度に基づいて、前記第Ｎ＋１動画像に含まれる複数のフレーム画像の中から、新たな基準画像を決定させ、
   新たに決定させた前記基準画像と、前記３以上のカメラに含まれ前記第Ｎ＋１カメラと異なる第Ｎ＋２のカメラによって生成された第Ｎ＋２動画像に含まれる複数のフレーム画像のそれぞれとの一致度を算出させ、
   前記第Ｎ＋１動画像の基準画像と第Ｎ＋２動画像に含まれる複数のフレーム画像のそれぞれとの一致度に基づいて、前記第Ｎ＋１動画像と、前記第Ｎ＋２動画像とを結合させる、
   動画生成プログラム。