JP6336856B2 - 多視点映像表現装置及びそのプログラム - Google Patents

Description

本願発明は、被写体を異なる視点で表示する多視点映像表現を行う多視点映像表現装置及びそのプログラムに関する。

従来から、多視点映像表現として、多視点カメラを被写体を取り囲むように配置し、撮影映像をカメラの並びに沿って切り替えることで、時間を止めて被写体の周囲を視点が回り込むような映像表現が行われている。この多視点映像表現を実現する従来技術としては、多視点ハイビジョン映像生成システムや多視点ロボットカメラシステムが知られている（例えば、非特許文献１，２参照）。

従来の多視点ハイビジョン映像生成システムでは、三脚にハイビジョンカメラを設置した固定型多視点カメラを撮影に使用する。一方、従来の多視点ロボットカメラシステムでは、パン、チルト制御が可能な電動雲台に小型ハイビジョンカメラを設置した可動型多視点ロボットカメラを撮影に使用する。そして、従来技術の両方とも、撮影映像に射影変換を施すことで、カメラを任意の被写体へ仮想的に方向制御し、カメラの並びに沿って映像を切り替えることで、多視点映像表現を実現する。

冨山仁博 岩舘祐一，「多視点ハイビジョン映像生成システムの開発」，映像情報メディア学会誌，64，4，pp.622-628 (2010) 「多視点ロボットカメラシステムを用いた映像制作」，兼六館出版，「放送技術」，2013年66巻11月号，pp.102-105

従来技術では、あるカメラから別のカメラまで視点が一方向に回り込むような単純な多視点映像表現しか行うことができなかった。このため、スポーツ等の撮影映像において、複数のフレーム画像で連続的な多視点映像表現（つまり、任意のカメラ間で視点が連続的に切り替わる多視点映像表現）を行って、選手の姿勢や動きの解説、分析をしたいという強い要望がある。

なお、従来技術では、各撮影カメラで撮影した撮影映像の全フレーム画像にカメラキャリブレーション及び射影変換を施せば、理論的には連続的な多視点映像表現が可能である。しかし、前記従来技術では、各撮影カメラで撮影した全フレーム画像にカメラキャリブレーションを施したり、全フレーム画像分の射影変換行列を生成することは、演算量が膨大になることから、現実的ではない。

本願発明は、複数のフレーム画像で連続的な多視点映像表現を可能とした多視点映像表現装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係る多視点映像表現装置は、同一の被写体を複数の撮影カメラで撮影した撮影映像を射影変換することで、被写体を異なる視点で表示する多視点映像表現を行う多視点映像表現装置であって、カメラキャリブレーション部と、データ指定部と、カメラ姿勢算出部と、射影変換行列生成部と、射影変換行列群生成部と、射影変換部と、多視点映像表現部とを備えることを特徴とする。

かかる構成によれば、多視点映像表現装置は、カメラキャリブレーション部によって、撮影カメラ毎に、撮影カメラの位置が含まれるカメラパラメータをカメラキャリブレーションにより算出する。

多視点映像表現装置は、データ指定部によって、撮影映像で連続するフレーム画像のうち、射影変換行列を生成するフレーム画像である複数の基準フレーム画像と、基準フレーム画像毎に被写体の位置を表す注視点と、多視点映像表現を行うときの撮影カメラの切替順序とを指定する。
この切替順序は、ある撮影カメラから別の撮影カメラまで視点が一方向で切り替わるような単純なものに制限されず、視点が連続的に切り替わるように任意に指定できる。

多視点映像表現装置は、カメラ姿勢算出部によって、撮影カメラ及び基準フレーム画像毎に、撮影カメラの位置から注視点に向いたときの撮影カメラの姿勢を算出する。そして、多視点映像表現装置は、射影変換行列生成部によって、撮影カメラ及び基準フレーム画像毎に、注視点がフレーム画像で所定位置（例えば、画像中央）となるように射影変換するための射影変換行列を生成する。

多視点映像表現装置は、射影変換行列群生成部によって、撮影カメラ毎に、撮影映像で基準フレーム画像以外の参照フレーム画像の射影変換行列を、参照フレーム画像の前後にある基準フレーム画像の射影変換行列から補間する。このようにして、射影変換行列群生成部は、基準フレーム画像と参照フレーム画像との射影変換行列からなる射影変換行列群を、少ない演算量で生成できる。

多視点映像表現装置は、射影変換部によって、射影変換行列群生成部が生成した射影変換行列群により、基準フレーム画像及び参照フレーム画像を射影変換する。そして、多視点映像表現装置は、多視点映像表現部によって、切替順序に従って、射影変換部で射影変換された基準フレーム画像及び参照フレーム画像を切り替える。

本願発明によれば、以下のような優れた効果を奏する。
本願発明によれば、視点が連続的に切り替わるように切替順序を指定できると共に、少ない演算量で射影変換行列群を生成できる。これによって、本願発明によれば、複数のフレーム画像で連続的な多視点映像表現を行うことができる。

本願発明の実施形態に係る多視点映像表現装置の構成を示すブロック図である。 図１の多視点映像撮影部を説明する説明図である。 本願発明の実施形態において、（ａ）はロボットカメラの方向誤差を説明する説明図であり、（ｂ）はロボットカメラの仮想的な方向制御を説明する説明図である。 本願発明の実施形態において、ロボットカメラの姿勢を説明する図であり、（ａ）はロボットカメラを側面視した図であり、（ｂ）はロボットカメラを正面視した図であり、（ｃ）はロボットカメラを上面視した図である。 本願発明の実施形態において、データの指定及び射影変換行列の補間を説明する説明図である。 本願発明の実施形態において、ロボットカメラのチルト軸と、三脚と、設置面との位置関係を説明する説明図であり、ロボットカメラを正面視した図である。 図１のチルト軸算出部によるチルト軸の算出を説明する説明図であり、ロボットカメラを側面視した図である。 図１の射影変換部による射影変換を説明する説明図である。 図１の多視点映像表現装置の動作を示すフローチャートである。 本願発明の実施例において、ロボットカメラの配置を説明する説明図である。 本願発明の実施例における多視点表現映像である。

［多視点映像表現装置の構成］
図１を参照し、本願発明の実施形態に係る多視点映像表現装置１の構成について、説明する。
多視点映像表現装置１は、同一の被写体を複数の撮影カメラで撮影した撮影映像を射影変換することで、被写体を異なる視点で表示する多視点映像表現を行うものである。図１に示すように、多視点映像表現装置１は、多視点映像撮影部１０と、多視点映像格納部２０と、カメラキャリブレーション部３０と、演算部４０と、射影変換行列群生成部８０と、射影変換部９０と、多視点映像表現部１００とを備える。

多視点映像撮影部１０は、複数の撮影カメラで同一の被写体を撮影して、この被写体が様々な視点で撮影された撮影映像（多視点映像）を生成するものである。例えば、多視点映像撮影部１０は、図２に示すように、複数のロボットカメラ（撮影カメラ）Ｃと、操作部１１とを備える多視点ロボットカメラシステムである。

ロボットカメラＣは、三脚Ｃａに搭載されている。このロボットカメラＣは、三脚Ｃａの上方に設けた雲台Ｃｂによって、パン軸及びチルト軸の２軸方向に駆動されると共に、ズームイン及びズームアウトができるように設置されている。
操作部１１は、ロボットカメラＣの各種操作を行うものである。この操作部１１は、ロボットカメラＣを操作するためのハンドルが設けられると共に、ケーブルを介して、各ロボットカメラＣに接続されている。

まず、カメラマン（２点鎖線で図示）は、操作部１１のハンドルを操作し、被写体を追随する。このとき、多視点映像撮影部１０は、操作部１１からの制御信号によって、全ロボットカメラＣが被写体を追随するように方向制御し、被写体を撮影する。そして、多視点映像撮影部１０は、被写体が撮影された撮影映像を生成し、多視点映像格納部２０に格納する。このように、多視点映像撮影部１０は、一人のカメラマンによる一台分のカメラ操作で、複数のロボットカメラＣを一斉に協調制御できるように構成されている。

図３（ａ）に示すように、多視点映像撮影部１０では、カメラマンの操作ミス、又は、雲台Ｃｂの制御誤差により、ロボットカメラＣの方向誤差が生じ、被写体Ｈが正確に撮影映像の中央に捉えられないことがある。このままでは、被写体Ｈが画像中央に位置しておらず、多視点映像表現が行えない場合がある。そこで、多視点映像表現装置１は、図３（ｂ）に示すように、画像処理（射影変換）によって、ロボットカメラＣが被写体Ｈ（注視点Ｐ）に向くように仮想的な方向制御を行う。
以後、ロボットカメラＣ（Ｃ_１，…，Ｃ_ｌ，…，Ｃ_ｍ）をｍ台として説明する（但し、１＜ｌ＜ｍを満たす）。
なお、射影変換により被写体を捉える位置は、撮影映像の中央に制限されない。

図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
多視点映像格納部２０は、例えば、多視点映像撮影部１０が生成した撮影映像を格納するフレームメモリである。この多視点映像格納部２０に格納された撮影映像は、後記するカメラキャリブレーション部３０、演算部４０及び射影変換部９０によって、多視点画像単位で参照される。
なお、多視点画像とは、多視点映像（撮影映像）を構成する各フレーム画像のことである。

カメラキャリブレーション部３０は、ロボットカメラＣ毎に、このロボットカメラＣの位置が含まれるカメラパラメータをカメラキャリブレーションにより算出するものである。本実施形態では、カメラキャリブレーション部３０は、多視点映像格納部２０に格納された撮影映像のうち、後記する基準フレーム画像に弱校正カメラキャリブレーションを施すこととする。
なお、弱校正カメラキャリブレーションとは、エピポーラ拘束条件により、ロボットカメラＣのうち、２台ずつカメラパラメータを求めることである。

ここで、ロボットカメラＣが２軸方向に駆動するため、チェッカーボードパターン等のキャリブレーションパターンを用いて、強校正カメラキャリブレーションを行うことが困難である。そこで、カメラキャリブレーション部３０は、弱校正カメラキャリブレーションによって、ロボットカメラＣの姿勢及び位置（光学中心）を示すカメラパラメータを算出することとした。

具体的には、カメラキャリブレーション部３０は、弱校正カメラキャリブレーションとして、Ｂｕｎｄｌｅｒを用いる。この場合、カメラキャリブレーション部３０には、弱校正カメラキャリブレーションの初期値として、ロボットカメラＣのエンコーダ（不図示）で測定された焦点距離が入力される。

このＢｕｎｄｌｅｒは、ＳＦＭ（Structure From Motion）の一つであり、視点を変えながら被写体を撮影した複数の画像から、カメラパラメータを求めるものである（下記参考文献参照）。具体的には、Ｂｕｎｄｌｅｒでは、同一被写体を異なる視点で撮影した複数の画像から、ＳＩＦＴ（Scale Invariant Feature Transform）等の特徴点を抽出する。そして、Ｂｕｎｄｌｅｒは、エピポーラ拘束のもと、画像間で特徴点の対応関係を求める。さらに、Ｂｕｎｄｌｅｒは、特徴点の対応関係を記述した行列を因数分解することで、カメラパラメータを算出する。
参考文献：“Ｂｕｎｄｌｅｒ”、[online]、[平成２６年８月６日検索]、インターネット＜ＵＲＬ：http://phototour.cs.washington.edu/bundler/＞

ここで、カメラキャリブレーション部３０は、異なるロボットカメラＣを２台ずつ組み合わせ、全てのロボットカメラＣのカメラパラメータをＢｕｎｄｌｅｒにより算出する。そして、カメラキャリブレーション部３０は、算出したカメラパラメータを、演算部４０に出力する。

前記したカメラパラメータには、各ロボットカメラＣの内部パラメータと、各ロボットカメラＣの位置（光学中心）及び姿勢を示す外部パラメータとが含まれている。この内部パラメータとは、後記する内部パラメータ行列Ａ_ｍのことである。また、外部パラメータとは、後記する回転行列Ｒ_ｍ及び平行移動ベクトルＴ_ｍのことである。

図４を参照し、ロボットカメラＣの姿勢について、説明する。
図４では、ロボットカメラＣが設置された面（フロア面、地面）を設置面Ｇと図示した。また、図４では、ロボットカメラＣの光軸が設置面Ｇに平行であることとする。さらに、図４には、ロボットカメラＣのロール軸をＺ軸とし、チルト軸をＸ軸とし、パン軸をＹ軸と図示した（以後の図面も同様）。

ロボットカメラＣの姿勢は、図４に示すように、パン軸（Ｙ軸）、チルト軸（Ｘ軸）、及び、ロール軸（Ｚ軸）の３軸で表される。このパン軸は、ロボットカメラＣがパンするときの回転軸であり、ロボットカメラＣの上下に伸びている。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、パン軸が、設置面Ｇの法線に一致する。

チルト軸は、ロボットカメラＣがチルトするときの回転軸であり、ロボットカメラＣの左右に伸びている。さらに、ロール軸は、ロボットカメラＣがロールするときの回転軸であり、ロボットカメラＣの前後に伸びており、ロボットカメラＣの光軸に一致する。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、チルト軸及びロール軸が、設置面Ｇに平行となり、かつ、互いに直交する。

図１に戻り、多視点映像表現装置１の説明を続ける。
演算部４０は、射影変換行列の生成に必要な各種演算を行うものであり、データ指定部５０と、カメラ姿勢算出部６０と、射影変換行列生成部７０とを備える。

データ指定部５０は、基準フレーム画像、注視点、カメラパス（切替順序）等のデータが指定されるものである。本実施形態では、多視点映像表現装置１のユーザが、図示を省略したマウス、キーボード等の操作手段（不図示）を操作して、データをデータ指定部５０に指定する。

基準フレーム画像とは、撮影映像で連続するフレーム画像のうち、後記する射影変換行列を生成するフレーム画像のことである。通常、基準フレーム画像は、複数指定される。
注視点とは、基準フレーム画像毎に被写体の位置を表すものである。
カメラパスとは、多視点映像表現を行うときのロボットカメラＣの切替順序を表すものである。
なお、撮影映像のうち、基準フレーム画像以外のフレーム画像を参照フレーム画像と呼ぶ。

＜基準フレーム画像及びカメラパスの指定＞
図５を参照し、データ指定部５０による基準フレーム画像及びカメラパスの指定について、説明する（適宜図１参照）。
図５では、ロボットカメラＣ_１，Ｃ_２，…，Ｃ_ｍで撮影された撮影映像のフレーム画像が時系列順に並んでいる。また、ロボットカメラＣ_１，Ｃ_２，…，Ｃ_ｍのフレーム画像は同期している。

データ指定部５０は、多視点映像格納部２０に格納された撮影映像をディスプレイ（不図示）に表示する。そして、データ指定部５０は、操作手段をユーザに操作させて、多視点映像表現を開始するフレーム画像Ｆ_１と、多視点映像表現を終了するフレーム画像Ｆ_ｉとを指定させる。ここで、多視点映像表現を開始及び終了するフレーム画像Ｆ_１，Ｆ_ｉは、基準フレーム画像として扱われる。

前記したように、各ロボットカメラＣのフレーム画像は同期している。そこで、データ指定部５０は、何れか一台のロボットカメラＣを基準ロボットカメラとし、この基準ロボットカメラの撮影映像に対し、基準フレーム画像をユーザに指定させればよい。この場合、データ指定部５０は、残りのロボットカメラＣの撮影映像についても、基準ロボットカメラについてのフレーム画像と同時刻のフレーム画像を、基準フレーム画像として扱う。図５の例では、ドットで図示したフレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉが基準フレーム画像として扱われる。

次に、データ指定部５０は、多視点映像表現を行うフレーム画像Ｆ_１〜Ｆ_ｉの間でカメラパスＰｈを指定させる。図５の例では、カメラパスＰｈは、フレーム画像Ｆ_１でロボットカメラＣ_１からロボットカメラＣ_ｍに切り替わり、フレーム画像Ｆ_１とフレーム画像Ｆ_２との間ではロボットカメラＣ_ｍのままであることを表す。また、カメラパスＰｈは、フレーム画像Ｆ_２でロボットカメラＣ_ｍからロボットカメラＣ_１に切り替わり、再び、フレーム画像Ｆ_ｉでロボットカメラＣ_１からロボットカメラＣ_ｍに切り替わることを表す。

なお、データ指定部５０は、基準フレーム画像の数、及び、前後する基準フレーム画像の間隔を任意に指定できる。
また、データ指定部５０は、ロボットカメラＣ_２からロボットカメラＣ_ｍへの切り替えのように、任意のロボットカメラＣの間にカメラパスＰｈを指定できる。また、データ指定部５０は、基準フレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉだけでなく、参照フレーム画像にもカメラパスＰｈを指定できる。

＜注視点の指定＞
続いて、データ指定部５０による注視点の指定について、説明する。
データ指定部５０は、各ロボットカメラＣの基準フレーム画像毎に、注視点をユーザに指定させる。このとき、データ指定部５０は、被写体が画像中央から外れたフレーム画像のみ、注視点を指定させればよい。

そして、データ指定部５０は、注視点がフレーム画像上（つまり、画像座標系）で指定されるため、以下のように、ユーザが指定した注視点を世界座標系に変換する。
なお、画像座標とは、画像中の位置を示す座標のことである。
また、世界座標とは、各ロボットカメラＣに共通する三次元座標のことである。

画像座標系（ｕ，ｖ）と世界座標系（Ｘ，Ｙ，Ｚ）との座標変換式は、ロボットカメラＣ毎に、下記の式（１）〜式（５）で定義される。つまり、データ指定部５０は、式（１）〜式（５）を用いて、画像座標系（ｕ，ｖ）で指定された被写体の位置を、世界座標系（Ｘ，Ｙ，Ｚ）に変換する。

なお、式（１）〜式（５）では、ωが画像距離であり、Ａ_ｍがロボットカメラＣ_ｍの内部パラメータ行列であり、ａがフレーム画像のアスペクト比であり、Ｆ_ｍがロボットカメラＣ_ｍの焦点距離であり、γがスキューであり、（Ｃ_ｘ，Ｃ_ｙ）がロボットカメラＣ_ｍの光軸と画像面との交点座標であり、Ｒ_ｍがロボットカメラＣ_ｍの回転行列であり、Ｔ_ｍがロボットカメラＣ_ｍの平行移動ベクトルである。

図１に戻り、多視点映像表現装置１の説明を続ける。
カメラ姿勢算出部６０は、カメラパラメータで表されるロボットカメラＣの位置から注視点を向くように、仮想的にロボットカメラＣを方向制御したときの姿勢を算出するものである。このカメラ姿勢算出部６０は、ロール軸算出部６１と、チルト軸算出部６３と、パン軸算出部６５とを備える。

ロール軸算出部６１は、ロボットカメラＣ毎に、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅ_ｍｚを、注視点に向いたロボットカメラＣのロール軸として算出するものである。

まず、ロール軸算出部６１は、カメラパラメータから、ロボットカメラＣの位置（光学中心）を抽出する。また、ロール軸算出部６１は、下記の式（６）に示すように、ｍ台目のロボットカメラＣについて、そのロボットカメラＣの光学中心の世界座標（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）から注視点の世界座標（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）を向くベクトルＥ_ｍｚを算出する。

次に、ロール軸算出部６１は、式（６）のベクトルＥ_ｍｚが正規化されたロール軸単位ベクトルｅ_ｍｚを算出する。つまり、このロール軸単位ベクトルｅ_ｍｚが、注視点に向いたロボットカメラＣのロール軸を示す。
なお、本実施形態において、正規化とは、ベクトルの方向をそのままとし、大きさが‘１’の単位ベクトルに変換することである。

チルト軸算出部６３は、ロボットカメラＣ毎に、ロール軸算出部６１で算出されたロール軸単位ベクトルｅ_ｍｚと、設置面Ｇに垂直な設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅ_ｍｘを、注視点に向いたロボットカメラＣのチルト軸として算出するものである。

まず、チルト軸算出部６３は、カメラパラメータから、弱校正カメラキャリブレーションを施したときのロボットカメラＣのチルト軸を抽出する。このチルト軸とは、回転行列Ｒでチルト軸を示す要素のことであり、例えば、前記した式（４）の一行目の要素を指している。

次に、チルト軸算出部６３は、下記の式（７）に示すように、２台のロボットカメラＣのチルト軸Ｒ^Ａ _ｔｉｌｔ，Ｒ^Ｂ _ｔｉｌｔの外積で表される設置面法線単位ベクトルｖを算出する。この式（７）は、図６に示すように、２軸駆動のロボットカメラＣにおいて、チルト軸（Ｘ軸）が三脚Ｃａに垂直になり、かつ、この三脚Ｃａが設置面Ｇに垂直になることから成立する。

なお、式（７）では、‘｜｜’がノルムを示す。また、式（７）では、Ａ，Ｂが、多視点映像撮影部１０を構成するロボットカメラＣのうち、異なる２台を表す。ここで、Ａ，Ｂに対応する２台のロボットカメラＣは、任意に設定することができる。さらに、Ａ，Ｂに対応するロボットカメラＣは、チルト軸の誤差を低減するため、最も遠くに離れた２台、つまり、光軸のなす角が最大となる２台を設定することが好ましい。

次に、チルト軸算出部６３は、式（８）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅ_ｍｚと、設置面法線単位ベクトルｖとの外積の値を正規化して、チルト軸単位ベクトルｅ_ｍｘを算出する。つまり、このチルト軸単位ベクトルｅ_ｍｘが、注視点に向いたロボットカメラＣのチルト軸を示す。

ここで、図７に示すように、ロボットカメラＣの光軸（ロール軸＝Ｚ´軸）が設置面Ｇに平行にならない場合でも、設置面法線単位ベクトルｖが設置面Ｇに常に垂直になる。この性質を利用して、チルト軸算出部６３は、ロボットカメラＣのロール軸（Ｚ´軸）と設置面法線単位ベクトルｖとの外積により、ロボットカメラＣのチルト軸（Ｘ´軸）を求めることができる。
なお、図７では、注視点に向いたロボットカメラＣのロール軸をＺ´軸とし、チルト軸をＸ´軸とし、パン軸をＹ´軸と図示した（以後の図面も同様）。

図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
パン軸算出部６５は、ロボットカメラＣ毎に、チルト軸算出部６３で算出されたチルト軸単位ベクトルｅ_ｍｘと、ロール軸単位ベクトルｅ_ｍｚとの外積で表されるパン軸単位ベクトルｅ_ｍｙを、注視点に向いた撮影カメラのパン軸として算出するものである。

具体的には、パン軸算出部６５は、式（９）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅ_ｍｚとチルト軸単位ベクトルｅ_ｍｘとの外積の値を正規化して、パン軸単位ベクトルｅ_ｍｙを算出する。つまり、このパン軸単位ベクトルｅ_ｍｙが、注視点に向いたロボットカメラＣのパン軸を示す。

射影変換行列生成部７０は、ロボットカメラＣ及び基準フレーム画像毎に、注視点がフレーム画像の所定位置（例えば、画像中央）となるように射影変換するための射影変換行列を生成するものである。
具体的には、射影変換行列生成部７０は、カメラ姿勢算出部６０で算出されたパン軸単位ベクトルの転置ｅ_ｍｙ ^Ｔとロール軸単位ベクトルの転置ｅ_ｍｚ ^Ｔとチルト軸単位ベクトルの転置ｅ_ｍｘ ^Ｔとが要素として含まれる回転行列Ｒ´_ｍを生成する。

下記の式（１０）のように、前記した単位ベクトルｅ_ｍｘ，ｅ_ｍｙ，ｅ_ｍｚを用いると、注視点を画像中央に合わせ、かつ、フレーム画像の水平軸を世界座標系の垂直軸に直交させるための回転行列Ｒ´_ｍを得ることができる。この式（１０）では、Ｔが転置を示す。

本実施形態では、各フレーム画像における被写体のサイズを揃えることとした。このため、各ロボットカメラＣの焦点距離を、各ロボットカメラＣの光学中心から注視点までの距離に応じて、デジタルズームにより補正する。つまり、補正後の焦点距離Ｆ´_ｍは、式（１１）に示すように、全てのロボットカメラＣの焦点距離の平均Ｆ_ａｖｅに、全てのロボットカメラＣの光学中心から注視点までの距離平均ω_ａｖｅと、ロボットカメラＣ_ｍの光学中心から注視点までの距離平均ω_ｍとの比を乗じた値とする。

この式（１１）では、ｋが射影変換後のズーム率を示す係数であり、予め任意の値で設定される。つまり、この係数ｋの値を大きくする程、射影変換画像がデジタルズームによって拡大される。

ここで、内部パラメータ行列Ａ´_ｍは、補正後の焦点距離Ｆ´_ｍを用いて、下記の式（１２）で定義される。従って、射影変換行列Ｈ_ｍは、下記の式（１３）で表される。このように、射影変換行列生成部７０は、式（１３）で表される射影変換行列を、射影変換行列群生成部８０に出力する。

射影変換行列群生成部８０は、ロボットカメラＣ毎に、参照フレーム画像の射影変換行列を、射影変換行列生成部７０から入力された基準フレーム画像の射影変換行列から補間するものである。

＜射影変換行列の補間＞
図５を参照し、射影変換行列群生成部８０による射影変換行列の補間について、説明する（適宜図１参照）。

図５に示すように、射影変換行列生成部７０は、ロボットカメラＣ_１，Ｃ_２，…，Ｃ_ｍ毎に、基準フレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉの射影変換行列Ｈ_１１〜Ｈ_ｍｉを生成している。そこで、射影変換行列群生成部８０は、基準フレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉ以外の参照フレーム画像について、射影変換行列を補間する。

ロボットカメラＣ_１の基準フレーム画像Ｆ_１，Ｆ_２の間には、７枚の参照フレーム画像が挟まれている。言い換えるなら、これら参照フレーム画像は、前後に基準フレーム画像Ｆ_１，Ｆ_２が位置している。従って、射影変換行列群生成部８０は、ロボットカメラＣ_１について、これら参照フレーム画像の射影変換行列を、基準フレーム画像Ｆ_１，Ｆ_２の射影変換行列Ｈ_１１，Ｈ_１２により補間する。

各参照フレーム画像の射影変換行列は、基準フレーム画像Ｆ_１，Ｆ_２とのフレーム間距離に応じて補間される。つまり、参照フレーム画像が基準フレーム画像Ｆ_１に近くなる程、その参照フレーム画像の射影変換行列が、基準フレーム画像Ｆ_１の射影変換行列Ｈ_１１に近くなる。一方、参照フレーム画像が基準フレーム画像Ｆ_２に近くなる程、その参照フレーム画像の射影変換行列が、基準フレーム画像Ｆ_２の射影変換行列Ｈ_１２に近くなる。

前記と同様、射影変換行列群生成部８０は、ロボットカメラＣ_１について、基準フレーム画像Ｆ_２，Ｆ_ｉに挟まれた参照フレーム画像の射影変換行列を、基準フレーム画像Ｆ_２，Ｆ_ｉの射影変換行列Ｈ_１２，Ｈ_１ｉを用いて補間する。ロボットカメラＣ_１と同様、射影変換行列群生成部８０は、ロボットカメラＣ_２，…，Ｃ_ｍについても、参照フレーム画像の射影変換行列を補間する。

このとき、射影変換行列群生成部８０は、参照フレーム画像の射影変換行列を線形補間することが好ましい。これにより、射影変換行列群生成部８０は、補間処理の負荷を抑えることができる。

ここで、カメラマンは、一定の速度でパンニングするのではなく、次第にパンニング速度を上げるカメラワークを行うことが知れている。そこで、射影変換行列群生成部８０は、このカメラワークを多視点映像表現として反映すべく、参照フレーム画像の射影変換行列を非線形補間することもできる。

さらに、射影変換行列群生成部８０は、線形補間及び非線形補間を併用してもよい。例えば、射影変換行列群生成部８０は、基準フレーム画像Ｆ_１，Ｆ_２に挟まれた参照フレーム画像の射影変換行列を線形補間し、基準フレーム画像Ｆ_２，Ｆ_ｉに挟まれた参照フレーム画像の射影変換行列を非線形補間する。

このようにして、射影変換行列群生成部８０は、全てのロボットカメラＣ_１，Ｃ_２，…，Ｃ_ｍについて、基準フレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉと参照フレーム画像との射影変換行列からなる射影変換行列群を生成する。そして、射影変換行列群生成部８０は、生成した射影変換行列群を射影変換部９０に出力する。

図１に戻り、多視点映像表現装置１の説明を続ける。
射影変換部９０は、射影変換行列群生成部８０から入力された射影変換行列群により、全てのロボットカメラＣ_１，…，Ｃ_ｍの基準フレーム画像及び参照フレーム画像を射影変換することで、射影変換画像を生成するものである。

ここで、基準フレーム画像及び参照フレーム画像の画素座標（ｕ_ｍ，ｖ_ｍ）を下記の式（１４）の座標変換式により変換することで、射影変換後の画素座標（ｕ´_ｍ，ｖ´_ｍ）が求められる。つまり、図８に示すように、射影変換部９０は、式（１３）及び式（１４）を用いて、基準フレーム画像αを射影変換し、射影変換画像βを生成する（参照フレーム画像も同様に射影変換）。

射影変換画像βの中心は、３次元座標系（Ｘ´，Ｙ´，Ｚ´）の原点Ｏから注視点ＰまでのＺ´軸上に位置する。従って、射影変換画像βでは、注視点Ｐが画像中央に位置することになる。
その後、射影変換部９０は、基準フレーム画像α及び参照フレーム画像から生成した射影変換画像βを、多視点映像表現部１００に出力する。

多視点映像表現部１００は、データ指定部５０から入力されたカメラパスに従って、射影変換部９０から入力された射影変換画像を切り替えることで、多視点表現映像を生成するものである。図５の例では、多視点映像表現部１００は、ロボットカメラＣ_１とロボットカメラＣ_ｍとの間で視点が往復するような多視点表現映像を生成する。
なお、多視点表現映像とは、多視点映像表現が施された撮影映像のことである。

［多視点映像表現装置の動作］
図９を参照し、図１の多視点映像表現装置１の動作について、説明する（適宜図１参照）。
多視点映像表現装置１は、多視点映像撮影部１０によって、多視点映像を生成する（ステップＳ１）。
多視点映像表現装置１は、多視点映像撮影部１０が生成した多視点映像を、多視点映像格納部２０に格納する（ステップＳ２）。

多視点映像表現装置１は、カメラキャリブレーション部３０によって、弱校正カメラキャリブレーションによりカメラパラメータを算出する（ステップＳ３）。
多視点映像表現装置１は、データ指定部５０によって、基準フレーム画像、注視点、カメラパス等のデータが指定される（ステップＳ４）。

多視点映像表現装置１は、ロール軸算出部６１によって、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅ_ｍｚを、被写体（注視点）へ向いたロボットカメラＣのロール軸として算出する（ステップＳ５）。
多視点映像表現装置１は、チルト軸算出部６３によって、ロール軸単位ベクトルｅ_ｍｚと、設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅ_ｍｘを、被写体（注視点）へ向いたロボットカメラＣのチルト軸として算出する（ステップＳ６）。
多視点映像表現装置１は、パン軸算出部６５によって、チルト軸単位ベクトルｅ_ｍｘとロール軸単位ベクトルｅ_ｍｚとの外積で表されるパン軸単位ベクトルｅ_ｍｙを、被写体（注視点）へ向いたロボットカメラＣのパン軸として算出する（ステップＳ７）。

多視点映像表現装置１は、射影変換行列生成部７０によって、ロボットカメラＣ及び基準フレーム画像毎に、式（１３）で表される射影変換行列を生成する（ステップＳ８）。
多視点映像表現装置１は、射影変換行列群生成部８０によって、参照フレーム画像の射影変換行列をステップＳ８で算出した基準フレーム画像の射影変換行列から補間することで、射影変換行列群を生成する（ステップＳ９）。

多視点映像表現装置１は、射影変換部９０によって、ステップＳ１０で生成した射影変換行列群により、全てのロボットカメラＣの基準フレーム画像及び参照フレーム画像を射影変換することで、射影変換画像を生成する（ステップＳ１０）。
多視点映像表現装置１は、多視点映像表現部１００によって、ステップＳ４で指定されたカメラパスに従って、ステップＳ１０で生成された射影変換画像を切り替えることで、多視点表現映像を生成する（ステップＳ１１）。

［作用・効果］
本願発明の実施形態に係る多視点映像表現装置１は、視点が連続的に切り替わるようにカメラパスを指定できる。そして、多視点映像表現装置１は、基準フレーム画像の射影変換行列から参照フレーム画像の射影変換行列を補間するので、従来技術に比べて、少ない演算量で射影変換行列群を生成できる。これによって、多視点映像表現装置１は、複数のフレーム画像で連続的な多視点映像表現を行うことができ、例えば、スポーツ中継における選手の姿勢や動作の分析、解説の幅を広げることができる。

さらに、多視点映像表現装置１は、基準フレーム画像のみに注視点を指定するだけでよく、参照フレーム画像に注視点を指定する必要がないので、ユーザの作業負担を軽減することができる。

（変形例）
以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した各実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。

多視点映像撮影部１０は、ロボットカメラＣの代わりに、固定カメラを備えてもよい。この場合、カメラキャリブレーション部３０は、弱校正カメラキャリブレーションの代わりに、キャリブレーションパターンを用いて、強校正カメラキャリブレーションを行ってもよい。

多視点映像表現装置１は、コンピュータが備える演算装置、メモリ、ドディスク等のハードウェア資源を、前記した各手段として協調動作させる多視点映像表現プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

以下、本願発明の実施例として、多視点映像表現装置１による多視点映像表現の実験結果について、説明する。
この実施例では、カメラマンが多視点映像表現装置１を操作して、バレーボールの試合を撮影し、その撮影映像に多視点映像表現を施した。ここで、図１０に示すように、バレーボールコートの側方から前方まで、７台のロボットカメラＣ（Ｃ_１〜Ｃ_７）がバレーボールコート半面の中央位置φを向くように配置した。例えば、ロボットカメラＣ_１，Ｃ_７からバレーボールコート半面の中央位置φまでの距離は、それぞれ１８メートル、９メートルである。また、各ロボットカメラＣの間隔を５メートルとした。

図１１を参照し、多視点映像表現装置１での多視点映像表現について、説明する。
この図１１では、各フレーム画像を識別するために、各フレーム画像の左上に１〜３０の番号を付した。また、各フレーム画像を撮影したロボットカメラＣ_１〜Ｃ_７を識別するために、各フレーム画像の右下にＣａｍ１〜Ｃａｍ７を付した。

番号１〜５のフレーム画像は、ロボットカメラＣ_１のフレーム画像を時系列順に並べたものである。また、番号６〜１５のフレーム画像は、多視点映像表現装置１を用いて、ロボットカメラＣ_１，Ｃ_３，Ｃ_５〜Ｃ_７の間で視点が往復するようにロボットカメラＣ_１，Ｃ_３，Ｃ_５〜Ｃ_７の射影変換画像を順番に切り替えて、多視点映像表現を行ったものである。

番号１６〜２０のフレーム画像は、ロボットカメラＣ_１のフレーム画像を時系列順に並べたものである。また、番号２１〜２５のフレーム画像は、多視点映像表現装置１を用いて、ロボットカメラＣ_１，Ｃ_３，Ｃ_５〜Ｃ_７の射影変換画像を順番に切り替えて、多視点映像表現を行ったものである。さらに、番号２６〜３０のフレーム画像は、ロボットカメラＣ_７の撮影画像を時系列順に並べたものである。

このように、多視点映像表現装置１は、ロボットカメラＣ_１，Ｃ_３，Ｃ_５〜Ｃ_７の間で視点が往復するような、複数のフレーム画像で連続的な多視点映像表現を行えることがわかった。

１ 多視点映像表現装置
１０ 多視点映像撮影部
２０ 多視点映像格納部
３０ カメラキャリブレーション部
４０ 演算部
５０ データ指定部
６０ カメラ姿勢算出部
６１ ロール軸算出部
６３ チルト軸算出部
６５ パン軸算出部
７０ 射影変換行列生成部
８０ 射影変換行列群生成部
９０ 射影変換部
１００ 多視点映像表現部

Claims (4)

1. 同一の被写体を複数の撮影カメラで撮影した撮影映像を射影変換することで、前記被写体を異なる視点で表示する多視点映像表現を行う多視点映像表現装置であって、
   前記撮影カメラ毎に、当該撮影カメラの位置が含まれるカメラパラメータをカメラキャリブレーションにより算出するカメラキャリブレーション部と、
   前記撮影映像で連続するフレーム画像のうち、射影変換行列を生成するフレーム画像である複数の基準フレーム画像と、前記基準フレーム画像毎に被写体の位置を表す注視点と、前記多視点映像表現を行うときの撮影カメラの切替順序とを指定するデータ指定部と、
   前記撮影カメラ及び前記基準フレーム画像毎に、前記撮影カメラの位置から前記注視点に向いたときの当該撮影カメラの姿勢を算出するカメラ姿勢算出部と、
   前記撮影カメラ及び前記基準フレーム画像毎に、前記注視点が前記フレーム画像で所定位置となるように射影変換するための射影変換行列を生成する射影変換行列生成部と、
   前記撮影カメラ毎に、前記撮影映像で前記基準フレーム画像以外の参照フレーム画像の射影変換行列を、前記参照フレーム画像の前後にある基準フレーム画像の射影変換行列から補間することで、前記基準フレーム画像と前記参照フレーム画像との射影変換行列からなる射影変換行列群を生成する射影変換行列群生成部と、
   前記射影変換行列群生成部が生成した射影変換行列群により、前記基準フレーム画像及び前記参照フレーム画像を射影変換する射影変換部と、
   前記切替順序に従って、前記射影変換部で射影変換された基準フレーム画像及び参照フレーム画像を切り替える多視点映像表現部と、
   を備えることを特徴とする多視点映像表現装置。
2. 前記射影変換行列群生成部は、前記射影変換行列を線形補間することを特徴とする請求項１に記載の多視点映像表現装置。
3. 前記射影変換行列群生成部は、前記射影変換行列を非線形補間することを特徴とする請求項１に記載の多視点映像表現装置。
4. コンピュータを、請求項１から請求項３の何れか一項に記載の多視点映像表現装置として機能させるための多視点映像表現プログラム。