JP6609112B2 - 多視点映像表現装置及びそのプログラム - Google Patents

Description

本願発明は、被写体を異なる視点で表示すると共にオブジェクトの解析データを合成する多視点映像表現装置及びそのプログラムに関する。

従来から、多視点映像表現として、被写体を取り囲むように多視点カメラを配置し、多視点映像をカメラの並びに沿って切り替えることで、時間を止めて被写体の周囲を視点が回り込むような映像表現が行われている。この多視点映像表現を実現する従来技術としては、多視点ハイビジョン映像生成システムや多視点ロボットカメラシステムが知られている（例えば、非特許文献１，２参照）。

従来の多視点ハイビジョン映像生成システムでは、三脚にハイビジョンカメラを設置した固定型多視点カメラを撮影に使用する。一方、従来の多視点ロボットカメラシステムでは、パン、チルト制御が可能な電動雲台に小型ハイビジョンカメラを設置した可動型多視点ロボットカメラを撮影に使用する。そして、従来技術の両方とも、多視点映像に射影変換を施すことで、カメラを任意の被写体へ仮想的に方向制御し、カメラの並びに沿って映像を切り替えることで、多視点映像表現を実現する。

冨山仁博 岩舘祐一，「多視点ハイビジョン映像生成システムの開発」，映像情報メディア学会誌，64，4，pp.622-628 (2010) 「多視点ロボットカメラシステムを用いた映像制作」，兼六館出版，「放送技術」，2013年66巻11月号，pp.102-105

しかし、従来の多視点ハイビジョン映像生成システムでは、ボールや選手等のオブジェクトの動きをカバーできるように広い画角で撮影するため、相対的に画面内でオブジェクトが小さくなり、オブジェクトの動きが分かりにくくなる。そこで、オブジェクトの動きを解析し、解析データのＣＧを多視点映像に合成することで、オブジェクトの動きをより分かりやすく視聴者に伝えたいという要望がある。

本願発明は、オブジェクトの動きが分かりやすい多視点映像表現装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係る多視点映像表現装置は、同一の被写体を複数の撮影カメラで撮影した多視点映像を用いて、被写体を異なる視点で表示すると共に多視点映像内のオブジェクトの動きに関する解析データを合成する多視点映像表現装置であって、カメラキャリブレーション部と、オブジェクト追跡部と、解析データ生成部と、ＣＧ合成部と、射影変換行列生成部と、射影変換行列群生成部と、射影変換部と、多視点映像表現部と、を備える構成とした。

なお、オブジェクトとは、後記する解析データを生成する対象となる移動体（例えば、人物、動物、物体）のことである。また、オブジェクトは、被写体と同一であってもよく、被写体とは別の移動体であってもよい。例えば、球技のスポーツ映像であれば、選手が被写体となり、ボールがオブジェクトとなる。

かかる構成によれば、多視点映像表現装置は、カメラキャリブレーション部によって、前記撮影カメラ毎に、当該撮影カメラの位置及び姿勢が含まれるカメラパラメータをカメラキャリブレーションにより算出する。
多視点映像表現装置は、オブジェクト追跡部によって、前記オブジェクトを追跡し、予め設定された座標系変換式により、追跡した前記オブジェクトの画像座標から世界座標を算出する。

多視点映像表現装置は、解析データ生成部によって、前記オブジェクトの世界座標の変化によりオブジェクトの動きを解析し、オブジェクトの軌跡や速度等の解析データを生成する。そして、多視点映像表現装置は、ＣＧ合成部によって、前記多視点映像のうちの基準フレーム画像、及び、前記多視点映像のうちの前記基準フレーム画像以外の参照フレーム画像に前記解析データのＣＧを合成する。
多視点映像表現装置は、射影変換行列生成部によって、前記ロボットカメラ及び前記基準フレーム画像毎に、前記被写体の位置を表す注視点が前記多視点映像で所定位置となるように射影変換するための射影変換行列を生成する。
多視点映像表現装置は、射影変換行列群生成部によって、前記ロボットカメラ毎に、前記参照フレーム画像の射影変換行列を、前記射影変換行列生成部が生成した基準フレーム画像の射影変換行列から補間する。
多視点映像表現装置は、射影変換部によって、前記基準フレーム画像及び前記参照フレーム画像の射影変換行列により、前記解析データが合成された前記基準フレーム画像及び前記参照フレーム画像を射影変換する。
多視点映像表現装置は、多視点映像表現部によって、射影変換された前記基準フレーム画像及び前記参照フレーム画像を切り替える。

本願発明によれば、以下のような優れた効果を奏する。
本願発明によれば、多視点映像表現を行う際、オブジェクトの軌跡や速度等の解析データが表示されるので、オブジェクトの動きが分かりやすくなる。これによって、本願発明によれば、多視点表現映像の臨場感を高くすることができる。

本願発明の実施形態に係る多視点映像表現装置の構成を示すブロック図である。 図１の多視点映像撮影部を説明する説明図である。 本願発明の実施形態において、（ａ）はロボットカメラの方向誤差を説明する説明図であり、（ｂ）はロボットカメラの仮想的な方向制御を説明する説明図である。 本願発明の実施形態において、ロボットカメラの姿勢を説明する図であり、（ａ）はロボットカメラを側面視した図であり、（ｂ）はロボットカメラを正面視した図であり、（ｃ）はロボットカメラを上面視した図である。 本願発明の実施形態において、（ａ）〜（ｅ）は、ボールの軌跡データの生成を説明する説明図である。 本願発明の実施形態において、（ａ）及び（ｂ）は、ボールの速度データの生成を説明する説明図である。 本願発明の実施形態において、データの指定及び射影変換行列の補間を説明する説明図である。 本願発明の実施形態において、ロボットカメラのチルト軸と、三脚と、設置面との位置関係を説明する説明図であり、ロボットカメラを正面視した図である。 図１のチルト軸算出部によるチルト軸の算出を説明する説明図であり、ロボットカメラを側面視した図である。 図１の射影変換部による射影変換を説明する説明図である。 本願発明の実施形態において、（ａ）及び（ｂ）はボールの速度データが合成された多視点表現映像を説明する説明図であり、（ｃ）及び（ｄ）はボールの軌跡データが合成された多視点表現映像を説明する説明図である。 図１の多視点映像表現装置の動作を示すフローチャートである。

［多視点映像表現装置の構成］
図１を参照し、本願発明の実施形態に係る多視点映像表現装置１の構成について、説明する。
多視点映像表現装置１は、同一の被写体を複数の撮影カメラで撮影した多視点映像を用いて、被写体を異なる視点で表示すると共にオブジェクトの動きに関する解析データを合成するものである。

図１に示すように、多視点映像表現装置１は、多視点映像撮影部１０と、多視点映像格納部２０と、カメラキャリブレーション部３０と、オブジェクト追跡部４０と、データ解析部（解析データ生成部）５０と、ＣＧ生成部６０と、ＣＧ合成部７０と、演算部８０と、射影変換行列群生成部９０と、射影変換部１００と、多視点映像表現部１１０とを備える。

本実施形態では、一例として、ハンドボール試合の多視点映像について多視点映像表現を行うこととする。このとき、ハンドボール選手を被写体とし、ボール（オブジェクト）の解析データを生成することとする。

多視点映像撮影部１０は、複数の撮影カメラで同一の被写体を撮影して、この被写体が様々な視点で撮影された多視点映像を生成するものである。例えば、多視点映像撮影部１０は、図２に示すように、複数のロボットカメラ（撮影カメラ）Ｃと、操作部１１とを備える多視点ロボットカメラシステムである。

ロボットカメラＣは、三脚Ｃａに搭載されている。このロボットカメラＣは、三脚Ｃａの上方に設けた雲台Ｃｂによって、パン軸及びチルト軸の２軸方向に駆動されると共に、ズームイン及びズームアウトができるように設置されている。また、ロボットカメラＣは、撮影時のパン値、チルト値等のエンコーダ値を計測するエンコーダ（不図示）を備え、計測されたエンコーダ値をカメラキャリブレーション部３０に出力する。

操作部１１は、ロボットカメラＣの各種操作を行うものである。この操作部１１は、ロボットカメラＣを操作するためのハンドルが設けられると共に、ケーブルを介して、各ロボットカメラＣに接続されている。

まず、カメラマン（２点鎖線で図示）は、操作部１１のハンドルを操作し、被写体を追随する。このとき、多視点映像撮影部１０は、操作部１１からの制御信号によって、全ロボットカメラＣが被写体を追随するように方向制御し、被写体を撮影する。そして、多視点映像撮影部１０は、被写体が撮影された多視点映像（撮影映像）を生成し、多視点映像格納部２０に格納する。このように、多視点映像撮影部１０は、一人のカメラマンによる一台分のカメラ操作で、複数のロボットカメラＣを一斉に協調制御できるように構成されている。

図３（ａ）に示すように、多視点映像撮影部１０では、カメラマンの操作ミス、又は、雲台Ｃｂの制御誤差により、ロボットカメラＣの方向誤差が生じ、被写体Ｈが正確に多視点映像の中央に捉えられないことがある。このままでは、被写体Ｈが画像中央に位置しておらず、多視点映像表現が行えない場合がある。そこで、多視点映像表現装置１は、図３（ｂ）に示すように、画像処理（射影変換）によって、ロボットカメラＣが被写体Ｈ（注視点Ｐ）に向くように仮想的な方向制御を行う。
以後、ロボットカメラＣ（Ｃ_１，…，Ｃ_ｌ，…，Ｃ_ｎ）をｎ台として説明する（但し、１＜ｌ＜ｎを満たす）。
なお、射影変換により被写体を捉える位置は、多視点映像の中央に制限されない。

図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
多視点映像格納部２０は、例えば、多視点映像撮影部１０が生成した多視点映像を格納するフレームメモリである。この多視点映像格納部２０に格納された多視点映像は、後記するオブジェクト追跡部４０及びＣＧ合成部７０によって、フレーム画像単位で参照される。

カメラキャリブレーション部３０は、ロボットカメラＣ毎に、このロボットカメラＣの位置及び姿勢が含まれるカメラパラメータをカメラキャリブレーションにより算出するものである。本実施形態では、カメラキャリブレーション部３０は、ロボットカメラＣから入力されたエンコーダ値を用いて、カメラパラメータを算出する。そして、カメラキャリブレーション部３０は、算出したカメラパラメータを、オブジェクト追跡部４０と、ＣＧ合成部７０と、演算部８０とに出力する。

例えば、カメラパラメータの算出手法は、下記の参考文献１に記載されている。この参考文献１に記載の手法は、多視点カメラと複数の校正パターンを利用し、これらの関係を高精度に推定することで精度の高いカメラ校正を実現したものである。
参考文献１：「角度センサを用いた多視点カメラの校正手法と映像表現への適用」、映像情報メディア学会技術報告vol.39、no.7、2015、p.273-278

前記したカメラパラメータには、各ロボットカメラＣの内部パラメータと、各ロボットカメラＣの位置（光学中心）及び姿勢を示す外部パラメータとが含まれている。この内部パラメータとは、内部パラメータ行列Ａ_ｎのことである。また、外部パラメータとは、回転行列Ｒ_ｎ及び並進行列Ｔ_ｎのことである。このとき、画像座標系（ｕ_ｎ，ｖ_ｎ）と世界座標系ｘの関係は、下記の式（１）〜式（５）で表わされる。

なお、式（１）〜式（５）では、ωが画像距離であり、Ａ_ｎがロボットカメラＣ_ｎの内部パラメータ行列であり、ａがフレーム画像のアスペクト比であり、Ｆ_ｎがロボットカメラＣ_ｎの焦点距離であり、γがスキューであり、（Ｃ_ｘ，Ｃ_ｙ）がロボットカメラＣ_ｎの光軸と画像面との交点座標であり、Ｒ_ｎがロボットカメラＣ_ｎの回転行列であり、Ｔ_ｎがロボットカメラＣ_ｎの並進行列である。

なお、画像座標とは、画像中の位置を示す座標のことである。
また、世界座標とは、各ロボットカメラＣに共通する三次元座標のことである。

＜ロボットカメラＣの姿勢＞
図４を参照し、ロボットカメラＣの姿勢について、説明する。
図４では、ロボットカメラＣが設置された面（フロア面、地面）を設置面Ｇと図示した。また、図４では、ロボットカメラＣの光軸が設置面Ｇに平行であることとする。さらに、図４には、ロボットカメラＣのロール軸をＺ軸とし、チルト軸をＸ軸とし、パン軸をＹ軸と図示した（以後の図面も同様）。

ロボットカメラＣの姿勢は、図４に示すように、パン軸（Ｙ軸）、チルト軸（Ｘ軸）、及び、ロール軸（Ｚ軸）の３軸で表される。このパン軸は、ロボットカメラＣがパンするときの回転軸であり、ロボットカメラＣの上下に伸びている。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、パン軸が、設置面Ｇの法線に一致する。

チルト軸は、ロボットカメラＣがチルトするときの回転軸であり、ロボットカメラＣの左右に伸びている。さらに、ロール軸は、ロボットカメラＣがロールするときの回転軸であり、ロボットカメラＣの前後に伸びており、ロボットカメラＣの光軸に一致する。従って、ロボットカメラＣの光軸が設置面Ｇに平行な場合、チルト軸及びロール軸が、設置面Ｇに平行となり、かつ、互いに直交する。

図１に戻り、多視点映像表現装置１の説明を続ける。
オブジェクト追跡部４０は、多視点映像格納部２０に格納された多視点映像に含まれるオブジェクトを追跡し、予め設定された座標系変換式により、追跡したオブジェクトの画像座標から世界座標を算出するものである。

例えば、オブジェクトの追跡部手法は、下記の参考文献２に記載されている。この参考文献２に記載の手法は、機械学習を用いて、映像からオブジェクトを頑健に検出・追跡するものである。
参考文献２：「機械学習を利用した複数視点映像からのサッカーボール追跡」、映像情報メディア学会技術報告vol.38、no.51、2014、p.5-8

ここで、オブジェクト追跡部４０は、世界座標を算出する際、ｎ台のうち、２台のロボットカメラＣを予め選択し、選択された２台のロボットカメラＣの多視点映像を用いる。このとき、オブジェクト追跡部４０は、光軸のなす角が直角に最も近い２台のロボットカメラＣを予め選択すると、世界座標がより正確に求められるので好ましい。

２台のロボットカメラＣの撮影画像のそれぞれで、オブジェクトの画像座標（ｕ_ａ，ｖ_a），（ｕ_ｂ，ｖ_ｂ）が求まったとき、オブジェクトの世界座標ｇは、下記の座標変換式としての式（６）〜式（８）で求められる。そして、オブジェクト追跡部４０は、算出したオブジェクトの世界座標ｇをデータ解析部５０に出力する。

なお、Ｓ_ｎｉｊは、３行４列のカメラパラメータＳ_ｎのうち、ｉ行ｊ列の要素を表す（但し、１≦ｉ≦３、１≦ｊ≦４）。また、Ｍ^＋はＭの一般逆行列を表し、添え字ａ，ｂは選択された２台のロボットカメラを表す。

データ解析部５０は、オブジェクト追跡部４０から入力されたオブジェクトの世界座標の変化により、解析データを生成するものである。そして、データ解析部５０は、生成した解析データをＣＧ生成部６０に出力する。

＜解析データの第１例：ボールの軌跡データ＞
図５，図６を参照し、解析データの生成について、第１例及び第２例を説明する（適宜図１参照）。
この第１例では、データ解析部５０は、解析データとして、多視点映像で連続するフレーム画像に含まれるボール（オブジェクト）Ｏの世界座標の変化により、ボールＯの軌跡データを生成する。

ここで、図５（ａ）〜（ｅ）のように、ハンドボール試合の多視点映像が５枚のフレーム画像で構成され、各フレーム画像でのボールＯの世界座標がｇ_１〜ｇ_５であることとする。つまり、図５では、連続するフレーム画像において、ボールＯの世界座標がｇ_１からｇ_５まで変化している。

まず、データ解析部５０は、各フレーム画像において、ボールＯの重心位置又は中心位置をボールＯの世界座標ｇ_１〜ｇ_５として算出する。そして、データ解析部５０は、世界座標ｇ_１から世界座標ｇ_２までの軌跡を求める。この解析データは、世界座標ｇ_１，ｇ_２を結ぶ線分と、世界座標ｇ_２，ｇ_３を結ぶ線分と、世界座標ｇ_３，ｇ_４を結ぶ線分と、世界座標ｇ_４，ｇ_５を結ぶ線分とを連結した軌跡データとなる。

＜解析データの第２例：ボールの速度データ＞
この第２例では、データ解析部５０は、解析データとして、単位時間におけるボールＯの世界座標の変化により、ボールＯの速度データを生成する。

ここで、単位時間を１秒とし、図６（ｂ）のフレーム画像が、図６（ａ）のフレーム画像より１秒（単位時間）だけ後のフレーム画像であることとする。また、各フレーム画像でのボールＯの世界座標がｇ_１０，ｇ_１１であることとする。つまり、ボールＯは、１秒間に世界座標ｇ_１０から世界座標ｇ_１１まで移動している。

まず、データ解析部５０は、各フレーム画像において、ボールＯの重心位置又は中心位置をボールＯの世界座標ｇ_１０，ｇ_１１として算出する。そして、データ解析部５０は、世界座標ｇ_１０から世界座標ｇ_１１までの移動距離を求める。さらに、データ解析部５０は、求めた移動距離及び単位時間から、ボールＯの速度を求める。

なお、データ解析部５０は、第１例又は第２例の何れの手法を用いるか、予め設定しておく。また、データ解析部５０は、第１例又は第２例の手法を併用してもよい。

図１に戻り、多視点映像表現装置１の説明を続ける。
ＣＧ生成部６０は、データ解析部５０から入力された解析データが視覚的に表現された三次元ＣＧを生成するものである。第１例の手法で解析データを生成した場合、ＣＧ生成部６０は、三次元ＣＧとして、世界座標ｇ_１〜ｇ_５までの軌跡を生成する。また、第２例の手法で解析データを生成した場合、ＣＧ生成部６０は、ボールＯの速度を表した三次元ＣＧを生成する。その後、ＣＧ生成部６０は、生成した解析データのＣＧをＣＧ合成部７０に出力する。

ＣＧ合成部７０は、多視点映像格納部２０に格納された多視点映像に、ＣＧ生成部６０から入力された解析データのＣＧを合成するものである。具体的には、ＣＧ合成部７０は、カメラキャリブレーション部３０から入力されたカメラパラメータを式（１）及び式（２）に代入し、各多視点映像に解析データのＣＧを投影する。そして、ＣＧ合成部７０は、解析データのＣＧが合成された多視点映像を演算部８０に出力する。

演算部８０は、射影変換行列の生成に必要な各種演算を行うものであり、データ指定部８２と、カメラ姿勢算出部８４と、射影変換行列生成部８６とを備える。

データ指定部８２は、基準フレーム画像、注視点、カメラパス（切替順序）等のデータが指定されるものである。本実施形態では、多視点映像表現装置１のユーザが、図示を省略したマウス、キーボード等の操作手段（不図示）を操作して、データをデータ指定部８２に指定する。

基準フレーム画像とは、多視点映像で連続するフレーム画像のうち、後記する射影変換行列を生成するフレーム画像のことである。通常、基準フレーム画像は、複数指定される。
注視点とは、基準フレーム画像毎に被写体の位置を表すものである。
カメラパスとは、多視点映像表現を行うときのロボットカメラＣの切替順序を表すものである。
なお、多視点映像のうち、基準フレーム画像以外のフレーム画像を参照フレーム画像と呼ぶ。

＜基準フレーム画像及びカメラパスの指定＞
図７を参照し、データ指定部８２による基準フレーム画像及びカメラパスの指定について、説明する（適宜図１参照）。
図７では、ロボットカメラＣ_１，Ｃ_２，…，Ｃ_ｎで撮影された多視点映像のフレーム画像が時系列順に並んでいる。また、ロボットカメラＣ_１，Ｃ_２，…，Ｃ_ｎのフレーム画像は同期している。

データ指定部８２は、多視点映像をディスプレイ（不図示）に表示する。そして、データ指定部８２は、操作手段をユーザに操作させて、多視点映像表現を開始するフレーム画像Ｆ_１と、多視点映像表現を終了するフレーム画像Ｆ_ｉとを指定させる。ここで、多視点映像表現を開始及び終了するフレーム画像Ｆ_１，Ｆ_ｉは、基準フレーム画像として扱われる。

前記したように、各ロボットカメラＣのフレーム画像は同期している。そこで、データ指定部８２は、何れか一台のロボットカメラＣを基準ロボットカメラとし、この基準ロボットカメラの多視点映像に対し、基準フレーム画像をユーザに指定させればよい。この場合、データ指定部８２は、残りのロボットカメラＣの多視点映像についても、基準ロボットカメラのフレーム画像と同時刻のフレーム画像を、基準フレーム画像として扱う。図７の例では、ドットで図示したフレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉが基準フレーム画像として扱われる。

次に、データ指定部８２は、多視点映像表現を行うフレーム画像Ｆ_１〜Ｆ_ｉの間でカメラパスＰｈをユーザに指定させる。図７の例では、カメラパスＰｈは、フレーム画像Ｆ_１でロボットカメラＣ_１からロボットカメラＣ_ｎに切り替わり、フレーム画像Ｆ_１とフレーム画像Ｆ_２との間ではロボットカメラＣ_ｎのままであることを表す。また、カメラパスＰｈは、フレーム画像Ｆ_２でロボットカメラＣ_ｎからロボットカメラＣ_１に切り替わり、再び、フレーム画像Ｆ_ｉでロボットカメラＣ_１からロボットカメラＣ_ｎに切り替わることを表す。

なお、データ指定部８２は、基準フレーム画像の数、及び、前後する基準フレーム画像の間隔を任意に指定できる。
また、データ指定部８２は、ロボットカメラＣ_２からロボットカメラＣ_ｎへの切り替えのように、任意のロボットカメラＣの間にカメラパスＰｈを指定できる。また、データ指定部８２は、基準フレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉだけでなく、参照フレーム画像にもカメラパスＰｈを指定できる。

＜注視点の指定＞
続いて、データ指定部８２による注視点の指定について、説明する。
データ指定部８２は、各ロボットカメラＣの基準フレーム画像毎に、注視点をユーザに指定させる。このとき、データ指定部８２は、被写体が画像中央から外れたフレーム画像のみ、注視点を指定させればよい。

そして、データ指定部８２は、注視点がフレーム画像上（つまり、画像座標系）で指定されるため、以下のように、ユーザが指定した注視点を世界座標系に変換する。

画像座標系（ｕ，ｖ）と世界座標系（Ｘ，Ｙ，Ｚ）との座標変換式は、ロボットカメラＣ毎に、前記した式（１）〜式（５）で定義される。つまり、データ指定部８２は、式（１）〜式（５）を用いて、画像座標系（ｕ，ｖ）で指定された被写体の位置を、世界座標系（Ｘ，Ｙ，Ｚ）に変換する。

図１に戻り、多視点映像表現装置１の説明を続ける。
カメラ姿勢算出部８４は、カメラパラメータで表されるロボットカメラＣの位置から注視点を向くように、仮想的にロボットカメラＣを方向制御したときの姿勢を算出するものである。このカメラ姿勢算出部８４は、ロール軸算出部８４１と、チルト軸算出部８４３と、パン軸算出部８４５とを備える。

ロール軸算出部８４１は、ロボットカメラＣ毎に、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅ_ｎｚを、注視点に向いたロボットカメラＣのロール軸として算出するものである。

まず、ロール軸算出部８４１は、カメラパラメータから、ロボットカメラＣの位置（光学中心）を抽出する。また、ロール軸算出部８４１は、下記の式（９）に示すように、ｎ台目のロボットカメラＣについて、そのロボットカメラＣの光学中心の世界座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）から注視点の世界座標（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）を向くベクトルＥ_ｎｚを算出する。

次に、ロール軸算出部８４１は、式（９）のベクトルＥ_ｎｚが正規化されたロール軸単位ベクトルｅ_ｎｚを算出する。つまり、このロール軸単位ベクトルｅ_ｎｚが、注視点に向いたロボットカメラＣのロール軸を示す。
なお、本実施形態において、正規化とは、ベクトルの方向をそのままとし、大きさが‘１’の単位ベクトルに変換することである。

チルト軸算出部８４３は、ロボットカメラＣ毎に、ロール軸算出部８４１で算出されたロール軸単位ベクトルｅ_ｎｚと、設置面Ｇに垂直な設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅ_ｎｘを、注視点に向いたロボットカメラＣのチルト軸として算出するものである。

まず、チルト軸算出部８４３は、カメラパラメータから、カメラキャリブレーションを施したときのロボットカメラＣのチルト軸を抽出する。このチルト軸とは、回転行列Ｒ_ｎでチルト軸を示す要素のことであり、例えば、前記した式（４）の一行目の要素を指している。

次に、チルト軸算出部８４３は、下記の式（１０）に示すように、２台のロボットカメラＣのチルト軸Ｒ^Ａ _ｔｉｌｔ，Ｒ^Ｂ _ｔｉｌｔの外積で表される設置面法線単位ベクトルｖを算出する。この式（１０）は、図８に示すように、２軸駆動のロボットカメラＣにおいて、チルト軸（Ｘ軸）が三脚Ｃａに垂直になり、かつ、この三脚Ｃａが設置面Ｇに垂直になることから成立する。

なお、式（１０）では、‘||’がノルムを示す。また、式（１０）では、Ａ，Ｂが、多視点映像撮影部１０を構成するロボットカメラＣのうち、異なる２台を表す。ここで、Ａ，Ｂに対応する２台のロボットカメラＣは、任意に設定することができる。さらに、Ａ，Ｂに対応するロボットカメラＣは、チルト軸の誤差を低減するため、最も遠くに離れた２台、つまり、光軸のなす角が最大となる２台を設定することが好ましい。

次に、チルト軸算出部８４３は、式（１１）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅ_ｎｚと、設置面法線単位ベクトルｖとの外積の値を正規化して、チルト軸単位ベクトルｅ_ｎｘを算出する。つまり、このチルト軸単位ベクトルｅ_ｎｘが、注視点に向いたロボットカメラＣのチルト軸を示す。

ここで、図９に示すように、ロボットカメラＣの光軸（ロール軸＝Ｚ´軸）が設置面Ｇに平行にならない場合でも、設置面法線単位ベクトルｖが設置面Ｇに常に垂直になる。この性質を利用して、チルト軸算出部８４３は、ロボットカメラＣのロール軸（Ｚ´軸）と設置面法線単位ベクトルｖとの外積により、ロボットカメラＣのチルト軸（Ｘ´軸）を求めることができる。
なお、図９では、注視点に向いたロボットカメラＣのロール軸をＺ´軸とし、チルト軸をＸ´軸とし、パン軸をＹ´軸と図示した（以後の図面も同様）。

図１に戻り、多視点映像表現装置１の構成について、説明を続ける。
パン軸算出部８４５は、ロボットカメラＣ毎に、チルト軸算出部８４３で算出されたチルト軸単位ベクトルｅ_ｎｘと、ロール軸単位ベクトルｅ_ｎｚとの外積で表されるパン軸単位ベクトルｅ_ｎｙを、注視点に向いたロボットカメラＣのパン軸として算出するものである。

具体的には、パン軸算出部８４５は、式（１２）に示すように、注視点に向いたロボットカメラＣのロール軸単位ベクトルｅ_ｎｚとチルト軸単位ベクトルｅ_ｎｘとの外積の値を正規化して、パン軸単位ベクトルｅ_ｎｙを算出する。つまり、このパン軸単位ベクトルｅ_ｎｙが、注視点に向いたロボットカメラＣのパン軸を示す。

射影変換行列生成部８６は、ロボットカメラＣ及び基準フレーム画像毎に、注視点がフレーム画像の所定位置（例えば、画像中央）となるように射影変換するための射影変換行列を生成するものである。
具体的には、射影変換行列生成部８６は、カメラ姿勢算出部８４で算出されたパン軸単位ベクトルの転置ｅ_ｎｙ ^Ｔとロール軸単位ベクトルの転置ｅ_ｎｚ ^Ｔとチルト軸単位ベクトルの転置ｅ_ｎｘ ^Ｔとが要素として含まれる回転行列Ｒ´_ｎを生成する。

下記の式（１３）のように、前記した単位ベクトルｅ_ｎｘ，ｅ_ｎｙ，ｅ_ｎｚを用いると、注視点を画像中央に合わせ、かつ、フレーム画像の水平軸を世界座標系の垂直軸に直交させるための回転行列Ｒ´_ｎを得ることができる。この式（１３）では、Ｔが転置を示す。

本実施形態では、各フレーム画像における被写体のサイズを揃えることとした。このため、各ロボットカメラＣの焦点距離を、各ロボットカメラＣの光学中心から注視点までの距離に応じて、デジタルズームにより補正する。つまり、補正後の焦点距離Ｆ´_ｎは、式（１４）に示すように、全てのロボットカメラＣの焦点距離の平均Ｆ_ａｖｅに、全てのロボットカメラＣの光学中心から注視点までの距離平均ω_ａｖｅと、ロボットカメラＣ_ｎの光学中心から注視点までの距離平均ω_ｎとの比を乗じた値とする。

この式（１４）では、ｋが射影変換後のズーム率を示す係数であり、予め任意の値で設定される。つまり、この係数ｋの値を大きくする程、射影変換画像がデジタルズームによって拡大される。

ここで、内部パラメータ行列Ａ´_ｎは、補正後の焦点距離Ｆ´_ｎを用いて、下記の式（１５）で定義される。従って、射影変換行列Ｈ_ｎは、下記の式（１６）で表される。このように、射影変換行列生成部８６は、式（１６）で表される射影変換行列を、射影変換行列群生成部９０に出力する。

射影変換行列群生成部９０は、ロボットカメラＣ毎に、参照フレーム画像の射影変換行列を、射影変換行列生成部８６から入力された基準フレーム画像の射影変換行列から補間するものである。

＜射影変換行列の補間＞
図７を参照し、射影変換行列群生成部９０による射影変換行列の補間について、説明する（適宜図１参照）。

図７に示すように、射影変換行列生成部８６は、ロボットカメラＣ_１，Ｃ_２，…，Ｃ_ｎ毎に、基準フレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉの射影変換行列Ｈ_１１〜Ｈ_ｎｉを生成している。そこで、射影変換行列群生成部９０は、基準フレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉ以外の参照フレーム画像について、射影変換行列を補間する。

ロボットカメラＣ_１の基準フレーム画像Ｆ_１，Ｆ_２の間には、７枚の参照フレーム画像が挟まれている。言い換えるなら、これら参照フレーム画像は、前後に基準フレーム画像Ｆ_１，Ｆ_２が位置している。従って、射影変換行列群生成部９０は、ロボットカメラＣ_１について、これら参照フレーム画像の射影変換行列を、基準フレーム画像Ｆ_１，Ｆ_２の射影変換行列Ｈ_１１，Ｈ_１２により補間する。

各参照フレーム画像の射影変換行列は、基準フレーム画像Ｆ_１，Ｆ_２とのフレーム間距離に応じて補間される。つまり、参照フレーム画像が基準フレーム画像Ｆ_１に近くなる程、その参照フレーム画像の射影変換行列が、基準フレーム画像Ｆ_１の射影変換行列Ｈ_１１に近くなる。一方、参照フレーム画像が基準フレーム画像Ｆ_２に近くなる程、その参照フレーム画像の射影変換行列が、基準フレーム画像Ｆ_２の射影変換行列Ｈ_１２に近くなる。

前記と同様、射影変換行列群生成部９０は、ロボットカメラＣ_１について、基準フレーム画像Ｆ_２，Ｆ_ｉに挟まれた参照フレーム画像の射影変換行列を、基準フレーム画像Ｆ_２，Ｆ_ｉの射影変換行列Ｈ_１２，Ｈ_１ｉを用いて補間する。ロボットカメラＣ_１と同様、射影変換行列群生成部９０は、ロボットカメラＣ_２，…，Ｃ_ｎについても、参照フレーム画像の射影変換行列を補間する。

このとき、射影変換行列群生成部９０は、参照フレーム画像の射影変換行列を線形補間することが好ましい。これにより、射影変換行列群生成部９０は、補間処理の負荷を抑えることができる。

ここで、カメラマンは、一定の速度でパンニングするのではなく、次第にパンニング速度を上げるカメラワークを行うことが知られている。そこで、射影変換行列群生成部９０は、このカメラワークを多視点映像表現として反映すべく、参照フレーム画像の射影変換行列を非線形補間することもできる。

さらに、射影変換行列群生成部９０は、線形補間及び非線形補間を併用してもよい。例えば、射影変換行列群生成部９０は、基準フレーム画像Ｆ_１，Ｆ_２に挟まれた参照フレーム画像の射影変換行列を線形補間し、基準フレーム画像Ｆ_２，Ｆ_ｉに挟まれた参照フレーム画像の射影変換行列を非線形補間する。

このようにして、射影変換行列群生成部９０は、全てのロボットカメラＣ_１，Ｃ_２，…，Ｃ_ｎについて、基準フレーム画像Ｆ_１，Ｆ_２，Ｆ_ｉと参照フレーム画像との射影変換行列からなる射影変換行列群を生成する。そして、射影変換行列群生成部９０は、生成した射影変換行列群を射影変換部１００に出力する。

図１に戻り、多視点映像表現装置１の説明を続ける。
射影変換部１００は、射影変換行列群生成部９０から入力された射影変換行列群により、全てのロボットカメラＣ_１，…，Ｃ_ｎの基準フレーム画像及び参照フレーム画像を射影変換することで、射影変換画像を生成するものである。

ここで、基準フレーム画像及び参照フレーム画像の画素座標（ｕ_ｎ，ｖ_ｎ）を下記の式（１７）の座標変換式により変換することで、射影変換後の画素座標（ｕ´_ｎ，ｖ´_ｎ）が求められる。つまり、図１０に示すように、射影変換部１００は、式（１６）及び式（１７）を用いて、基準フレーム画像αを射影変換し、射影変換画像βを生成する（参照フレーム画像も同様に射影変換）。

射影変換画像βの中心は、３次元座標系（Ｘ´，Ｙ´，Ｚ´）の原点Ｏから注視点ＰまでのＺ´軸上に位置する。従って、射影変換画像βでは、注視点Ｐが画像中央に位置することになる。
その後、射影変換部１００は、基準フレーム画像α及び参照フレーム画像から生成した射影変換画像βを、多視点映像表現部１１０に出力する。

多視点映像表現部１１０は、データ指定部８２から入力されたカメラパスに従って、射影変換部１００から入力された射影変換画像を切り替えることで、多視点表現映像を生成するものである。
なお、多視点表現映像とは、多視点映像表現が施された多視点映像のことである。

＜多視点表現映像＞
図１１を参照し、解析データが表示された多視点表現映像の具体例について、説明する（適宜図１参照）。

図１１（ａ）及び図１１（ｂ）の多視点表現映像は、ハンドボール試合のシュートシーンにおいて、コート横側から選手Ｈの背中側に視点を切り替えたものである。この多視点表現映像には、解析データのＣＧとして、選手ＨがシュートしたボールＯの速度が合成されている（符号αで図示）。従って、図１１（ｂ）のように、選手Ｈの腕にボールＯが隠れる場合でも、視聴者がボールＯの速度を把握しやすくなる。

また、図１１（ｃ）及び図１１（ｄ）の多視点表現映像は、ハンドボール試合のシュートシーンにおいて、ゴールの正面側から横側に視点を切り替えたものである。この多視点表現映像には、解析データのＣＧとして、ボールＯの軌道が合成されている（符号βで図示）。従って、図１１（ｄ）のように、ボールＯが高速に飛ぶ場合でも、視聴者がボールＯの弾道を把握しやすくなる。

［多視点映像表現装置の動作］
図１２を参照し、図１の多視点映像表現装置１の動作について、説明する（適宜図１参照）。
多視点映像表現装置１は、多視点映像撮影部１０によって、多視点映像を生成する（ステップＳ１）。
多視点映像表現装置１は、多視点映像撮影部１０が生成した多視点映像を、多視点映像格納部２０に格納する（ステップＳ２）。

多視点映像表現装置１は、カメラキャリブレーション部３０によって、カメラキャリブレーションによりカメラパラメータを算出する（ステップＳ３）。
多視点映像表現装置１は、オブジェクト追跡部４０によって、多視点映像に含まれるオブジェクトを追跡し、追跡したオブジェクトの画像座標から世界座標を算出する（ステップＳ４）。

多視点映像表現装置１は、データ解析部５０によって、オブジェクトの世界座標の変化により、解析データを生成する（ステップＳ５）。
多視点映像表現装置１は、ＣＧ生成部６０によって、解析データが視覚的に表現された三次元ＣＧを生成する（ステップＳ６）。
多視点映像表現装置１は、ＣＧ合成部７０によって、多視点映像に解析データのＣＧを合成する（ステップＳ７）。

多視点映像表現装置１は、データ指定部８２によって、基準フレーム画像、注視点、カメラパス等のデータが指定される（ステップＳ８）。
多視点映像表現装置１は、ロール軸算出部８４１によって、ロボットカメラＣの位置から注視点を向いたロール軸単位ベクトルｅ_ｎｚを、被写体（注視点）へ向いたロボットカメラＣのロール軸として算出する（ステップＳ９）。

多視点映像表現装置１は、チルト軸算出部８４３によって、ロール軸単位ベクトルｅ_ｎｚと、設置面法線単位ベクトルｖとの外積で表されるチルト軸単位ベクトルｅ_ｎｘを、被写体（注視点）へ向いたロボットカメラＣのチルト軸として算出する（ステップＳ１０）。
多視点映像表現装置１は、パン軸算出部８４５によって、チルト軸単位ベクトルｅ_ｎｘとロール軸単位ベクトルｅ_ｎｚとの外積で表されるパン軸単位ベクトルｅ_ｎｙを、被写体（注視点）へ向いたロボットカメラＣのパン軸として算出する（ステップＳ１１）。

多視点映像表現装置１は、射影変換行列生成部８６によって、ロボットカメラＣ及び基準フレーム画像毎に、式（１６）で表される射影変換行列を生成する（ステップＳ１２）。
多視点映像表現装置１は、射影変換行列群生成部９０によって、参照フレーム画像の射影変換行列をステップＳ１２で算出した基準フレーム画像の射影変換行列から補間することで、射影変換行列群を生成する（ステップＳ１３）。

多視点映像表現装置１は、射影変換部１００によって、ステップＳ１３で生成した射影変換行列群により、全てのロボットカメラＣの基準フレーム画像及び参照フレーム画像を射影変換することで、射影変換画像を生成する（ステップＳ１４）。
多視点映像表現装置１は、多視点映像表現部１１０によって、ステップＳ８で指定されたカメラパスに従って、ステップＳ１４で生成された射影変換画像を切り替えることで、多視点表現映像を生成する（ステップＳ１５）。

［作用・効果］
本願発明の実施形態に係る多視点映像表現装置１は、多視点映像表現を行う際、ボールＯの弾道や速度等の解析データが表示されるので、ボールＯの動きが分かりやすくなる。これによって、本願発明によれば、多視点映像表現の臨場感を高くすることができる。

また、多視点映像表現装置１は、視点が連続的に切り替わるようにカメラパスを指定できる。そして、多視点映像表現装置１は、基準フレーム画像の射影変換行列から参照フレーム画像の射影変換行列を補間するので、従来技術に比べて、少ない演算量で射影変換行列群を生成できる。これによって、多視点映像表現装置１は、複数のフレーム画像で連続的な多視点映像表現を行うことができ、例えば、スポーツ中継における選手の姿勢や動作の分析、解説の幅を広げることができる。

さらに、多視点映像表現装置１は、基準フレーム画像のみに注視点を指定するだけでよく、参照フレーム画像に注視点を指定する必要がないので、ユーザの作業負担を軽減することができる。

（変形例）
以上、本願発明の実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。

前記した実施形態では、射影変換行列群を用いて射影変換を行うこととして説明したが、本願発明は、これに限定されない。例えば、本願発明は、下記の参考文献３に記載された手法により、射影変換を行ってもよい。
参考文献３：特開２０１４−２７５２８号公報

前記した実施形態では、解析データとして、ボールの速度と軌道を求めることとして説明したが、本願発明は、これに限定されない。
例えば、解析データとして、ボールの出射角を求めることができる。具体的には、ボールの出射角は、ボールの世界座標の変化から、ボールの移動方向を求め、求めたボールの移動方向と予め設定した基準方向とのなす角を表す。
また、解析データとして、ボールの打点を求めることができる。具体的には、ボールの打点は、ボールの速度と移動方向との両方が予め設定した閾値を超える程、大きく変化した位置になる。

多視点映像表現装置１は、コンピュータが備える演算装置、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる多視点映像表現プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 多視点映像表現装置
１０ 多視点映像撮影部
２０ 多視点映像格納部
３０ カメラキャリブレーション部
４０ オブジェクト追跡部
５０ データ解析部（解析データ生成部）
６０ ＣＧ生成部
７０ ＣＧ合成部
８０ 演算部
８２ データ指定部
８４ カメラ姿勢算出部
８４１ ロール軸算出部
８４３ チルト軸算出部
８４５ パン軸算出部
８６ 射影変換行列生成部
９０ 射影変換行列群生成部
１００ 射影変換部
１１０ 多視点映像表現部

Claims (5)

1. 同一の被写体を複数のロボットカメラで撮影した多視点映像を用いて、前記被写体を異なる視点で表示すると共に前記多視点映像内のオブジェクトの動きに関する解析データを合成する多視点映像表現装置であって、
   前記ロボットカメラ毎に、当該ロボットカメラの位置及び姿勢が含まれるカメラパラメータをカメラキャリブレーションにより算出するカメラキャリブレーション部と、
   前記オブジェクトを追跡し、予め設定された座標系変換式により、追跡した前記オブジェクトの画像座標から世界座標を算出するオブジェクト追跡部と、
   前記オブジェクトの世界座標の変化により、前記解析データを生成する解析データ生成部と、
   前記多視点映像のうちの基準フレーム画像、及び、前記多視点映像のうちの前記基準フレーム画像以外の参照フレーム画像に前記解析データのＣＧを合成するＣＧ合成部と、
   前記ロボットカメラ及び前記基準フレーム画像毎に、前記被写体の位置を表す注視点が前記多視点映像で所定位置となるように射影変換するための射影変換行列を生成する射影変換行列生成部と、
   前記ロボットカメラ毎に、前記参照フレーム画像の射影変換行列を、前記射影変換行列生成部が生成した基準フレーム画像の射影変換行列から補間する射影変換行列群生成部と、
   前記基準フレーム画像及び前記参照フレーム画像の射影変換行列により、前記解析データが合成された前記基準フレーム画像及び前記参照フレーム画像を射影変換する射影変換部と、
   射影変換された前記基準フレーム画像及び前記参照フレーム画像を切り替える多視点映像表現部と、
   を備えることを特徴とする多視点映像表現装置。
2. 前記解析データ生成部は、前記解析データとして、前記多視点映像で連続するフレーム画像に含まれる前記オブジェクトの世界座標の変化により、前記オブジェクトの軌跡データを生成することを特徴とする請求項１に記載の多視点映像表現装置。
3. 前記解析データ生成部は、前記解析データとして、単位時間における前記オブジェクトの世界座標の変化により、前記オブジェクトの速度データを生成することを特徴とする請求項１又は請求項２に記載の多視点映像表現装置。
4. 前記オブジェクト追跡部は、光軸のなす角が直角に最も近くなる２台の前記ロボットカメラが予め選択され、選択された前記ロボットカメラの多視点映像に含まれる前記オブジェクトを追跡することを特徴とする請求項１から請求項３の何れか一項に記載の多視点映像表現装置。
5. コンピュータを、請求項１から請求項４の何れか一項に記載の多視点映像表現装置として機能させるための多視点映像表現プログラム。

Images