JP6180925B2 - ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム - Google Patents

Description

本発明は、ロボットカメラの姿勢を制御するロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムに関する。

従来から、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（非特許文献１）。まず、多視点ロボットカメラシステムでは、多視点映像を撮影するために、カメラキャリブレーションを行って、カメラの姿勢及び位置を算出する（非特許文献２）。次に、多視点ロボットカメラシステムは、複数台のロボットカメラのうち、１台をマスターカメラとして設定し、カメラマンがマスターカメラを被写体に向けるように操作する。

図７に示すように、マスターカメラＭＣの光軸β上には、注視点Ｑが設定されており、マスターカメラ以外のスレーブカメラＳＣは、注視点Ｑに向くように制御角度が変化して、自動的に方向制御される。カメラマンが、マスターカメラＭＣと注視点Ｑとの距離であるデプス値を変化させることで、注視点ＱをマスターカメラＭＣの光軸β上で移動させる。そして、注視点Ｑが被写体αに重なるように（すなわち、全スレーブカメラＳＣの画面の中心に被写体が位置するように）、カメラマンが、マスターカメラＭＣのパン、チルト及びデプスを調整することで、多視点映像を撮影することができる。
なお、図７の注視点Ｑ_１〜Ｑ_５は、マスターカメラＭＣの光軸β上を移動する注視点Ｑについて、時間ｔ＝１〜５での位置を示している。

伊佐憲一、他４名、「最新スポーツ中継技術 世界初！ プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５ 「デジタル画像処理」、財団法人 画像情報教育振興協会、２００４年７月

前記したような多視点ロボットカメラシステムにおいては、ロボットカメラとして、ズームレンズを備えた小型カメラを雲台（電動雲台）に搭載したものを用いている。このロボットカメラのズームレンズは、ズーム量によって光学主点位置が光軸上を移動するため、雲台の回転中心と、光学主点とが同位置にあるとは限らない。しかしながら、従来の多視点ロボットカメラシステムでは、雲台の回転中心と、弱校正によって求めたロボットカメラの光学主点とが同位置にあると近似して、ロボットカメラの方向制御を行っていた。そのため、実際の雲台の回転中心と、弱校正によって求めたロボットカメラの光学主点との位置の差の分だけ、ロボットカメラの方向制御に誤差が生じていた。

そこで、本発明は、雲台の回転中心の実際の位置を求め、求めた雲台の回転中心に基づいてロボットカメラの方向制御を正確に行うことが可能なロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムを提供することを課題とする。

前記した課題を解決するため、本発明は、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように前記マスターカメラの姿勢を制御するマスターカメラ制御部と、前記マスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するスレーブカメラ制御部とを備えるロボットカメラ制御装置において、カメラキャリブレーション部と、注視点算出部とを備えることを特徴とする。

かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、マスターカメラ制御部によって、カメラ姿勢操作部で操作されたカメラ姿勢をとるようにマスターカメラの姿勢を制御する。スレーブカメラ制御部については、後記する。

続いて、ロボットカメラ制御装置は、カメラキャリブレーション部のカメラパラメータ算出部によって、複数台のロボットカメラで撮影された第一の多視点映像と、この状態から、複数台のロボットカメラを所定量パン又はチルトして撮影された第二の多視点映像とを用いて弱校正キャリブレーションを行い、各ロボットカメラのパン又はチルト前のカメラ姿勢、位置および光学主点の位置と、パン又はチルト後のカメラ姿勢、位置および光学主点の位置とを算出する。

また、ロボットカメラ制御装置は、カメラキャリブレーション部の回転中心算出部によって、各ロボットカメラのパン又はチルト前の光学主点の位置と、パン又はチルト後の光学主点の位置とに基づいて、各ロボットカメラが搭載された雲台の回転中心の位置をそれぞれ算出する。このように、ロボットカメラ制御装置は、各ロボットカメラが搭載された雲台の回転中心の位置を求めるため、実際の雲台の回転中心の位置に基づいて各ロボットカメラのカメラ姿勢を制御することが可能となる。

そして、ロボットカメラ制御装置は、注視点算出部によって、カメラパラメータ算出部により算出されたマスターカメラのカメラ姿勢と、撮影時のマスターカメラのカメラ姿勢との差分に基づいて、注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、マスターカメラが搭載された雲台の回転中心に、算出した単位ベクトルとマスターカメラから注視点までの距離であるデプス値との積を加算することで、注視点の位置を算出する。このように、ロボットカメラ制御装置は、マスターカメラが搭載された雲台の回転中心に基づいて注視点の位置を正確に算出することができる。
そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。

ここで、本発明のロボットカメラ制御装置は、カメラ姿勢操作部と、マスターカメラ制御部と、スレーブカメラ制御部とを備えるコンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスク等のハードウェア資源を、カメラパラメータ算出部、回転中心算出部、注視点算出部として協調動作させるためのロボットカメラ制御プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

また、本発明は、前記したロボットカメラ制御装置と、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、マスターカメラ以外のロボットカメラであるスレーブカメラと、を備える多視点ロボットカメラシステムとして構成してもよい。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、各ロボットカメラが搭載された雲台の回転中心の実際の位置を正確に求めることができるので、求めた雲台の回転中心の位置を基準として、各ロボットカメラの方向制御を正確に行うことができる。

本発明の実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。 図１のデプス操作部において、デプス値の調整途中の様子を説明する説明図である。 図１のデプス操作部において、デプス値の調整後の様子を説明する説明図である。 図１のデプス操作部において、マスターカメラと、選択された１台のスレーブカメラとの位置関係を説明する図である。 図１のカメラキャリブレーション部において、各ロボットカメラのパン・チルト前の光学主点と、パン・チルト後の光学主点と、雲台の回転中心との位置関係から雲台の回転中心の位置を算出する様子を説明する説明図である。 図１の多視点ロボットカメラシステムの動作を示すフローチャートである。 従来の多視点ロボットカメラシステムを説明する説明図である。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、以下の説明において、同一の名称および符号については原則として同一もしくは同質の部材を示しており、詳細説明を適宜省略する。

［多視点ロボットカメラシステムの構成］
図１を参照し、本発明の実施形態に係る多視点ロボットカメラシステム１００の構成について説明する。
図１に示すように、多視点ロボットカメラシステム１００は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置１と、マスターカメラＭＣと、スレーブカメラＳＣ_１，…，ＳＣ_ｓ（ＳＣ）とを備える。スレーブカメラはｓ台であるものとする（但し、ｓ≧１を満たす整数）。ロボットカメラは、合計Ｎ台であるものとする（つまり、Ｎ＝ｓ＋１）。

ロボットカメラ制御装置１は、マスターカメラＭＣ及びスレーブカメラＳＣを制御するものであり、操作インターフェース部１０と、カメラキャリブレーション部２０と、マスターカメラ制御部３０と、注視点算出部４０と、スレーブカメラ制御部５０_１，…，５０_ｓ（５０）とを備える。

操作インターフェース部１０は、カメラマンが、マスターカメラＭＣ及びスレーブカメラＳＣを遠隔操作するものであり、パン・チルト操作部（マスターカメラ操作部）１１と、ズーム操作部１３と、デプス操作部（デプス値算出部）１５と、フォーカス・アイリス指令部１８とを備える。

パン・チルト操作部１１は、カメラマンが、マスターカメラＭＣのパン及びチルト（カメラ姿勢）を操作するものである。そして、パン・チルト操作部１１は、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム制御部３１と、注視点算出部４０とに出力する。
例えば、パン・チルト操作部１１は、パン・チルトの移動操作が行われる操作部と、操作部による移動操作を検出するエンコーダとを備えている（いずれも図示せず）。パン・チルト操作部１１は、予め設定された、エンコーダ値とパン・チルト値とを対応付けたパン・チルト値変換情報を参照して、エンコーダ（不図示）で検出されたエンコーダ値をパン・チルト値に変換する。

ズーム操作部１３は、カメラマンが、マスターカメラＭＣのズームを操作するものである。そして、ズーム操作部１３は、カメラマンの操作に応じたズーム値を検出して、パン・チルト・ズーム制御部３１と、ズーム制御部５５とに出力する。

デプス操作部１５は、注視点を移動させる移動操作が行われ、注視点の移動操作の検出値から、後記する式（１）を用いて、マスターカメラＭＣから注視点Ｑ（図２）までの距離であるデプス値を算出するものである。

デプス操作部１５は、例えば、注視点の移動操作が行われる操作部と、操作部による移動操作を検出するエンコーダとを備えている（いずれも図示せず）。デプス操作部１５は、エンコーダ値とデプス値とを対応付けたデプス値変換情報が予め設定され、このデプス値変換情報を参照して、エンコーダ（不図示）で検出されたエンコーダ値をデプス値に変換する。さらに、デプス操作部１５は、変換されたデプス値を以下で説明するように変化（増減）させて、注視点算出部４０に出力する。

ここで、図２〜図４を参照して、デプス操作部１５によるデプス値の調整について説明する（適宜図１参照）。
図２に示すように、カメラマンは、マスターカメラＭＣの撮影映像９０を見ながら、マスターカメラＭＣが被写体αを捉えるようにパン・チルト操作部１１及びズーム操作部１３を操作する。従って、マスターカメラＭＣの撮影映像９０は、画面中央に被写体αが捉えられている。一方、スレーブカメラＳＣの撮影映像９１は、被写体αが捉えられていない。なお、ズーム操作部１３は、カメラマン以外が遠隔操作することもある。

次に、カメラマンは、操作部（不図示）によりデプス値を変化させることで、注視点Ｑを光軸βの上で移動させる。そして、図３に示すように、カメラマンは、スレーブカメラＳＣの撮影映像９１を見ながら、撮影映像９１の中央に被写体αが位置するように、操作部（不図示）を操作してデプス値を調整する。

デプス操作部１５は、マスターカメラＭＣから離れるほど、単位時間当たりの注視点Ｑの移動距離が長くなるように、デプス値を非線形に変化させる。具体的には、デプス操作部１５は、以下の式（１）を用いて、デプス値Ｄｅｐｔｈを算出する。

この式（１）のＢａｓｅは、図４に示すように、マスターカメラＭＣと、予め選択（設定）された１台のスレーブカメラＳＣとのベースラインの相対距離を表す。このＢａｓｅは、後記するカメラキャリブレーション部２０に格納されている。ここで、多視点ロボットカメラシステム１００では、ｓ台のスレーブカメラＳＣのうち、任意の１台のスレーブカメラＳＣを選択できる。さらに多視点ロボットカメラシステム１００では、カメラ操作を容易にするため、マスターカメラＭＣの光軸βと、スレーブカメラＳＣの光軸γとのなす角が最も垂直に近くなるスレーブカメラＳＣを１台選択することが好ましい。以後、選択された１台のスレーブカメラを「選択スレーブカメラ」と呼ぶ。

また、式（１）のθは、単位ベクトルｕと単位ベクトルｖのなす角であり、選択スレーブカメラＳＣの制御角度幅を表す。この単位ベクトルｕは、弱校正カメラキャリブレーション時のマスターカメラＭＣの光軸βの向きを示す単位ベクトルである。また、単位ベクトルｖは、選択スレーブカメラＳＣからマスターカメラＭＣに向かう単位ベクトルである。
なお、図４では、説明を分かりやすくするため、単位ベクトルｖの始点に単位ベクトルｕの始点が一致するように、マスターカメラＭＣを破線で図示した。

また、式（１）に示すｄ_ｍａｘは、デプス操作部１５のエンコーダ（不図示）で検出可能なエンコーダ値の最大値であり、ｄは、エンコーダ（不図示）で検出されたエンコーダ値である。この最大値ｄ_ｍａｘは、０≦ｄ≦ｄ_ｍａｘを満たすように予め設定される。

図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。フォーカス・アイリス指令部１８は、マスターカメラＭＣ及びスレーブカメラＳＣに対し、フォーカス及びアイリスを指令するものである。具体的には、フォーカス・アイリス指令部１８は、カメラマンから指令が入力されると、フォーカス及びアイリスの指令信号を生成し、フォーカス・アイリス制御部３３と、フォーカス・アイリス制御部５３とに出力する。

カメラキャリブレーション部２０は、カメラパラメータ算出部２１と、回転中心算出部２２とを備える。
カメラパラメータ算出部２１は、各ロボットカメラＣａｍ_ｎ（添え字ｎは、カメラ番号１〜Ｎを示す）のカメラパラメータ（ここでは、回転行列Ｒ_ｎ及び並進行列Ｔ_ｎ）を弱校正カメラキャリブレーションにより算出して、メモリやハードディスク等の記憶装置（不図示）に格納するものである。

ここで、カメラパラメータ算出部２１は、弱校正カメラキャリブレーションを行い、マスターカメラＭＣのカメラパラメータ（ここでは、回転行列Ｒ_ｍ及び並進行列Ｔ_ｍ）を算出し、記憶装置に格納する。
なお、添え字ｍがマスターカメラＭＣを示す。

また、カメラパラメータ算出部２１は、弱校正カメラキャリブレーションを行い、スレーブカメラＳＣのカメラパラメータ（回転行列Ｒ_ｓ及び並進行列Ｔ_ｓ）を算出し、記憶装置に格納する。
なお、添え字ｓがスレーブカメラＳＣを示す。

さらに、カメラパラメータ算出部２１は、各ロボットカメラＣａｍ_ｎにより撮影した第一の多視点映像と第二の多視点映像とを用いて弱校正カメラキャリブレーションを行い、パン又はチルト前のカメラ姿勢Ｒ_{ｎｂｅｆｏｒｅ}及びカメラ位置Ｔ_{ｎｂｅｆｏｒｅ}と、パン又はチルト後のカメラ姿勢Ｒ_{ｎａｆｔｅｒ}及びカメラ位置Ｔ_{ｎａｆｔｅｒ}を求めるものである。カメラパラメータ算出部２１は、求めたパン又はチルト後のカメラ姿勢Ｒ_{ｎａｆｔｅｒ}及びカメラ位置Ｔ_{ｎａｆｔｅｒ}を、回転中心算出部２２に出力する。

第一の多視点映像は、各ロボットカメラＣａｍ_ｎを同じ被写体に向けて撮影されたものである。したがって、第一の多視点映像には、それぞれ同じ被写体が写っているものとする。第二の多視点映像は、各ロボットカメラＣａｍ_ｎを、第一の多視点映像の撮影時から所定量パン又はチルトして撮影されたものである。つまり、第二の多視点映像は、第一の多視点映像の撮影時から、各ロボットカメラＣａｍ_ｎのズーム値を変えず、パン値又はチルト値のみを所定量変えて撮影されている。ここで、パン又はチルト量は、第二の多視点映像に、弱校正キャリブレーションが可能な程度に、第一の多視点映像と共通の被写体が写る程度に設定される。

ここで、世界座標系ＷとロボットカメラＣａｍ_ｎのカメラ座標系ｗ_ｎとの関係は、カメラ姿勢Ｒ_ｎおよびカメラ位置Ｔ_ｎを用いて、以下の式（２）で表される。

また、前記式（２）におけるＲ_ｎは、以下の式（３）で表される。

そして、カメラパラメータ算出部２１は、以下の式（４）、（５）により、パン又はチルト前の光学主点Ｐ_{ｎｂｅｆｏｒｅ}と、パン又はチルト後の光学主点Ｐ_{ｎａｆｔｅｒ}とを算出する。

なお、弱校正キャリブレーションとして、例えば、以下のホームページに記載された「Ｂｕｎｄｌｅｒ」を利用できるため、詳細な説明を省略する。
参考ＵＲＬ：「http://phototour.cs.washington.edu/bundler/」

回転中心算出部２２は、各ロボットカメラＣａｍ_ｎが搭載された雲台の回転中心Ｏ_ｎを算出し、メモリやハードディスク等の記憶装置（不図示）に格納するものである。

ここで、図５に、ロボットカメラＣａｍ_１，・・・，Ｃａｍ_Ｎを並べて配置したときの、ロボットカメラＣａｍ_１、Ｃａｍ_ｎ、Ｃａｍ_Ｎのパン又はチルト前の撮影方向をそれぞれ破線で示し、パン又はチルト後の撮影方向をそれぞれ実線で示した。図５では、ロボットカメラＣａｍ_ｎを上方から見下ろしたときの雲台の回転中心Ｏ_ｎと、ロボットカメラＣａｍ_ｎのパン又はチルト前の光学主点Ｐ_{ｎｂｅｆｏｒｅ}と、パン又はチルト後の光学主点Ｐ_{ｎａｆｔｅｒ}とを、それぞれ×印で示した。なお、光学主点Ｐ_{ｎｂｅｆｏｒｅ}及び光学主点Ｐ_{ｎａｆｔｅｒ}は、本来、カメラの内部に位置しているが、雲台の回転中心Ｏ_ｎとの位置関係を分かりやすく示すために、図５では、カメラの外側に抜き出して示している。具体的には、パン又はチルト前のロボットカメラＣａｍ_ｎの光軸上において、雲台の回転中心Ｏ_ｎから所定距離離れた位置に光学主点Ｐ_{ｎｂｅｆｏｒｅ}をおいた。同様に、パン又はチルト後のロボットカメラＣａｍ_ｎの光軸上において、雲台の回転中心Ｏ_ｎから所定距離離れた位置に光学主点Ｐ_{ｎａｆｔｅｒ}をおいた。

カメラの光学主点位置Ｐ_ｎと雲台の回転中心Ｏ_ｎとが一致していない場合、図５に示すように、パン又はチルト前の光学主点Ｐ_{ｎｂｅｆｏｒｅ}の位置と、パン又はチルト後の光学主点Ｐ_{ｎａｆｔｅｒ}の位置とが異なることになる。また、ロボットカメラＣａｍ_ｎは、雲台の回転中心Ｏ_ｎで回転されるので、パン又はチルト前の光学主点Ｐ_{ｎｂｅｆｏｒｅ}と、パン又はチルト後の光学主点Ｐ_{ｎａｆｔｅｒ}とは、雲台の回転中心Ｏ_ｎからの距離が必ず等しくなる。したがって、図５に示すように、雲台の回転中心Ｏ_ｎと、パン又はチルト前の光学主点Ｐ_{ｎｂｅｆｏｒｅ}と、パン又はチルト後の光学主点Ｐ_{ｎａｆｔｅｒ}とが、二等辺三角形をなすことがわかる。なお、パン又はチルト前の光学主点Ｐ_{ｎｂｅｆｏｒｅ}と、パン又はチルト後の光学主点Ｐ_{ｎａｆｔｅｒ}とが、それぞれロボットカメラＣａｍ_ｎ内にある場合も、同様である。

これにより、回転中心算出部２２は、カメラパラメータ算出部２１により算出されたパン又はチルト前の光学主点Ｐ_{ｎｂｅｆｏｒｅ}と、パン又はチルト後の光学主点Ｐ_{ｎａｆｔｅｒ}とに加え、パン・チルト量θ_ｎと、パン又はチルト前のカメラ姿勢の奥行成分のベクトル値（ｒ_ｚ）とに基づき、各ロボットカメラＣａｍ_ｎが搭載された雲台の回転中心Ｏ_ｎを以下の式（６）により、求めることができる。

前記した式（６）におけるパン・チルト量θ_ｎは、第二の多視点映像の撮影時における、第一の多視点映像の撮影時からの各ロボットカメラＣａｍ_ｎのパン・チルト角度幅である。つまり、パン・チルト量θ_ｎは、パン又はチルト前の撮影方向とパン又はチルト後の撮影方向とでなす角を指す。
なお、「パン・チルト量θ_ｎ」としているが、ここでは、第一の多視点映像の撮影時と、第二の多視点映像の撮影時とにおいて、各ロボットカメラＣａｍ_ｎのパン値又はチルト値のいずれか一方のみを変更することとしているので、パン値又はチルト値のいずれか一方のみを指すものとする。

このパン・チルト量（パン・チルト角度幅）θ_ｎは、各ロボットカメラＣａｍ_ｎが備えるエンコーダ（不図示）により検出された、パン・チルト前の撮影方向（角度）のエンコーダ値と、パン・チルト後の撮影方向（角度）のエンコーダ値とに基づいて求めることができる。例えば、エンコーダ値とパン・チルト値とを対応付けて予め設定されたパン・チルト変換情報により、それぞれのエンコーダ値をパン値又はチルト値に変換し、変換後のパン値又はチルト値同士で差分をとることで、パン・チルト量θ_ｎを求めることができる。パン・チルト量θ_ｎは、例えば外部のＰＣ等において、各ロボットカメラＣａｍ_ｎから出力されたパン・チルト前後のエンコーダ値に基づいて前記した方法により算出され、カメラパラメータ算出部２１に出力される。なお、パン・チルト量θ_ｎは、ロボットカメラ制御装置１内にパン・チルト量θ_ｎの算出手段（不図示）を設けて、当該算出手段（不図示）により算出してもよい。

また、カメラキャリブレーション部２０は、外部から、カメラキャリブレーション時のロボットカメラＣａｍ_ｎのパン値ｐ_０ｎ、チルト値ｔ_０ｎ、ズーム値ｚ_０ｎ、フォーカス値ｆ_０ｎ、アイリス値ｉ_０ｎを入力し、記憶装置（不図示）に格納する。
ここでは、パン・チルト前後のそれぞれにおいて、ロボットカメラＣａｍ_ｎが備えるエンコーダ（不図示）により、パン、チルト、ズーム、フォーカス、アイリスのエンコーダ値がそれぞれ検出される。そして、外部のＰＣ（Personal Computer）等において、各エンコーダ値と対応付けて予め設定された変換情報により、各エンコーダ値を変換することでパン・チルト前後のパン値、チルト値、ズーム値、フォーカス値、アイリス値がそれぞれ求められる。カメラキャリブレーション部２０は、このようにして求められた、パン値ｐ_{０ｎｂｅｆｏｒｅ}、ｐ_{０ｎａｆｔｅｒ}、チルト値ｔ_{０ｎｂｅｆｏｒｅ}、ｔ_{０ｎａｆｔｅｒ}、ズーム値ｚ_{０ｎｂｅｆｏｒｅ}、ｚ_{０ｎａｆｔｅｒ}、フォーカス値ｆ_{０ｎｂｅｆｏｒｅ}、ｆ_{０ｎａｆｔｅｒ}、アイリス値ｉ_{０ｎｂｅｆｏｒｅ}、ｉ_{０ｎａｆｔｅｒ}を記憶装置（不図示）に格納する。

マスターカメラ制御部３０は、マスターカメラＭＣを制御するものであり、パン・チルト・ズーム制御部３１と、フォーカス・アイリス制御部３３とを備える。

パン・チルト・ズーム制御部３１は、パン・チルト操作部１１から入力されたパン値、チルト値及びズーム値を、それらの値の大きさに応じたパン・チルト・ズーム制御信号に変換する。そして、パン・チルト・ズーム制御部３１は、変換したパン・チルト・ズーム制御信号をマスターカメラＭＣに出力する。

フォーカス・アイリス制御部３３は、フォーカス・アイリス指令部１８から入力された指令信号に基づいて、マスターカメラＭＣのフォーカス及びアイリスを制御するものである。ここでは、フォーカス・アイリス制御部３３は、指令信号が入力されると、オートフォーカス機能及びオートアイリス機能を用いて、マスターカメラＭＣのフォーカス値及びアイリス値を算出する。そして、フォーカス・アイリス制御部３３は、算出したフォーカス値及びアイリス値を、それらの値の大きさに応じたフォーカス・アイリス制御信号に変換して、マスターカメラＭＣに出力する。

マスターカメラＭＣは、多視点ロボットカメラシステム１００が備える複数台（Ｎ台）のロボットカメラＣａｍ_１，・・・，Ｃａｍ_Ｎのうち、予め設定された１台のロボットカメラである。このマスターカメラＭＣは、雲台（例えば、電動雲台）に小型カメラを搭載したものである。マスターカメラＭＣは、パン・チルト・ズーム制御部３１から入力されたパン・チルト・ズーム制御信号に従って、パン、チルト及びズームを駆動する。さらに、マスターカメラＭＣは、フォーカス・アイリス制御部３３から入力されたフォーカス・アイリス制御信号に従って、フォーカス及びアイリスを駆動する。

注視点算出部４０は、パン・チルト操作部１１から入力されたパン値及びチルト値と、デプス操作部１５から入力されたデプス値と、カメラキャリブレーション部２０に格納されたカメラパラメータとに基づいて、注視点の世界座標を算出するものである。

具体的には、注視点算出部４０は、以下の式（７）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのパン値ｐ_ｍと、カメラキャリブレーション部２０の記憶装置に格納された弱校正キャリブレーション時のパン値ｐ_０ｍとの角度差θ_ｐｍを算出する。

また、注視点算出部４０は、以下の式（８）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのチルト値ｔ_ｍと、カメラキャリブレーション部２０の記憶装置に格納された弱校正キャリブレーション時のチルト値ｔ_０ｍとの角度差θ_ｔｍを算出する。

次に、注視点算出部４０は、以下の式（９）に示すように、角度差θ_ｐｍ及び角度差θ_ｔｍを用いて、カメラ座標系における回転行列Ｒ´_Ｃｍを生成する。

そして、注視点算出部４０は、以下の式（９）に示すように、回転行列Ｒ´_Ｃｍ、及び、マスターカメラＭＣのカメラパラメータである回転行列Ｒ_ｍの逆行列Ｒ^−１ _ｍを用いて、カメラ座標系におけるカメラ姿勢の回転行列Ｒ´_ｍを生成する。このＲ´_ｍは、マスターカメラＭＣについて、弱校正キャリブレーション時のカメラ姿勢から、操作インターフェース部１０で操作後のカメラ姿勢に変えるための回転行列である。

ここで、式（１０）の回転行列Ｒ´_ｍは、以下の式（１１）で表すことができる。この場合、注視点Ｑに向いたマスターカメラＭＣの光軸方向を示す単位ベクトルＯｐｔａｘｉｓ_ｍは、以下の式（１２）で表すことができる。

そして、注視点算出部４０は、以下の式（１３）に示すように、カメラキャリブレーション部２０から入力された、マスターカメラＭＣの雲台の回転中心Ｏ_ｍと、デプス操作部１５から入力されたデプス値Ｄｅｐｔｈと、式（１２）の単位ベクトルＯｐｔａｘｉｓ_ｍとを用いて、注視点Ｑの世界座標（位置）Ｐを算出する。その後、注視点算出部４０は、算出した注視点Ｑの世界座標Ｐを、パン・チルト制御部５１に出力する。

パン・チルト制御部５１は、注視点算出部４０から入力された注視点Ｑの世界座標Ｐとカメラキャリブレーション部２０に格納されたカメラパラメータ（回転行列Ｒ_ｓ及びスレーブカメラＳＣの雲台の回転中心Ｏ_ｓ）とに基づいて、スレーブカメラＳＣの姿勢（パン及びチルト）を制御するものである。

具体的には、パン・チルト制御部５１は、以下の式（１４）に示すように、パン及びチルトを制御するために、スレーブカメラＳＣから注視点Ｑの世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓ_ｓを算出する。なお、式（１４）における“|| ||”は、ノルムを表す。

また、パン・チルト制御部５１は、以下の式（１５）に示すように、算出した単位ベクトルＯｐｔａｘｉｓ_ｓ、及び、回転行列Ｒ_ｓを用いて、カメラ座標系におけるスレーブカメラＳＣから注視点Ｑの世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓ_Ｃｓを算出する。

そして、パン・チルト制御部５１は、以下の式（１６）〜式（１８）に示すように、単位ベクトルＯｐｔａｘｉｓ_ＣｓからスレーブカメラＳＣのパン値ｐ_ｓ及びチルト値ｔ_ｓを算出する。なお、ｅ_１，ｅ_２，ｅ_３は、それぞれ、単位ベクトルＯｐｔａｘｉｓ_ＣｓのＸ軸、Ｙ軸、Ｚ軸成分を示す。

さらに、パン・チルト制御部５１は、算出したパン値ｐ_ｓ及びチルト値ｔ_ｓを、それらの値の大きさに応じたパン・チルト制御信号に変換する。その後、パン・チルト制御部５１は、変換したパン・チルト制御信号をスレーブカメラＳＣに出力する。

フォーカス・アイリス制御部５３は、フォーカス・アイリス指令部１８のフォーカス・アイリス指令信号に基づいて、スレーブカメラＳＣのフォーカス及びアイリスを制御するものである。ここでは、フォーカス・アイリス制御部５３は、指令信号が入力されると、オートフォーカス機能及びオートアイリス機能を用いて、スレーブカメラＳＣのフォーカス値及びアイリス値を算出する。そして、フォーカス・アイリス制御部５３は、算出したフォーカス値及びアイリス値を、それらの値の大きさに応じたフォーカス・アイリス制御信号に変換して、スレーブカメラＳＣに出力する。

ズーム制御部５５は、ズーム操作部１３から入力されたズーム値に基づいて、スレーブカメラＳＣのズームを制御するものである。具体的には、ズーム制御部５５は、ズーム値を、その値の大きさに応じたズーム制御信号に変換する。そして、ズーム制御部５５は、変換したズーム制御信号をスレーブカメラＳＣに出力する。

スレーブカメラＳＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、マスターカメラＭＣ以外のロボットカメラである。このスレーブカメラＳＣは、雲台（例えば、電動雲台）に小型カメラを搭載したものである。また、スレーブカメラＳＣは、パン・チルト制御部５１から入力されたパン・チルト制御信号に応じて、パン及びチルトを駆動する。そして、スレーブカメラＳＣは、フォーカス・アイリス制御部５３から入力されたフォーカス・アイリス制御信号に応じて、フォーカス及びアイリスを駆動する。さらに、スレーブカメラＳＣは、ズーム制御部５５から入力されたズーム制御信号に応じて、ズームを駆動する。

前記した式（７）のパン値ｐ_０ｍ、式（８）のチルト値ｔ_０ｍ、式（１０）のカメラ姿勢Ｒ_ｍ、式（１７）のパン値ｐ_０ｓ、式（１８）のチルト値ｔ_０ｓは、弱校正キャリブレーション時におけるパン・チルト前又はパン・チルト後のいずれかの値を統一して用いることとする。

[多視点ロボットカメラシステムの動作]
図６を参照し、図１の多視点ロボットカメラシステム１００の動作について、説明する（適宜図１参照）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０のカメラパラメータ算出部２１によって、各ロボットカメラＣａｍ_ｎ（マスターカメラＭＣ及びスレーブカメラＳＣ）のカメラパラメータを算出する。また、多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０のカメラパラメータ算出部２１によって、式（４）、（５）のように、各ロボットカメラＣａｍ_ｎ（マスターカメラＭＣ及びスレーブカメラＳＣ）のパン・チルト操作前の光学主点Ｐ_{ｎｂｅｆｏｒｅ}と、パン・チルト操作後の光学主点Ｐ_{ｎａｆｔｅｒ}とを算出する。
そして、多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０の回転中心算出部２２によって、式（６）のように、各ロボットカメラＣａｍ_ｎが搭載された雲台の回転中心Ｏ_ｎを算出する（ステップＳ１）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０によって、算出したカメラパラメータ及び雲台の回転中心Ｏ_ｎを記憶装置に格納する（ステップＳ２）。

多視点ロボットカメラシステム１００は、パン・チルト操作部１１によって、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム制御部３１と、注視点算出部４０とに出力する。
多視点ロボットカメラシステム１００は、ズーム操作部１３によって、カメラマンの操作に応じたズーム値を検出して、パン・チルト・ズーム制御部３１と、ズーム制御部５５に出力する。
多視点ロボットカメラシステム１００は、デプス操作部１５によって、デプス値を算出し、注視点算出部４０に出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス指令部１８によって、カメラマンからの指令に応じて指令信号を生成し、フォーカス・アイリス制御部３３と、フォーカス・アイリス制御部５３とに出力する（ステップＳ３）。

多視点ロボットカメラシステム１００は、パン・チルト・ズーム制御部３１によって、パン値、チルト値及びズーム値を、パン・チルト・ズーム制御信号に変換して、マスターカメラＭＣに出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス制御部３３によって、フォーカス・アイリス指令部１８からの指令信号に応じて、マスターカメラＭＣのフォーカス・アイリス制御信号を生成して、マスターカメラＭＣに出力する（ステップＳ４）。

多視点ロボットカメラシステム１００は、注視点算出部４０によって、式（１３）のように、カメラキャリブレーション部２０で算出された、マスターカメラＭＣが搭載された雲台の回転中心Ｏ_ｍに、単位ベクトルＯｐｔａｘｉｓ_ｍとデプス値Ｄｅｐｔｈとの積を加算することで、注視点Ｑの世界座標を算出する（ステップＳ５）。

多視点ロボットカメラシステム１００は、パン・チルト制御部５１によって、式（１４）〜式（１８）のように、スレーブカメラＳＣが搭載された雲台の回転中心Ｏ_ｓを用いて、注視点Ｑに向かうパン値及びチルト値を求める。そして、求めたパン値及びチルト値を、パン・チルト・ズーム制御信号に変換して、スレーブカメラＳＣに出力する。

多視点ロボットカメラシステム１００は、フォーカス・アイリス制御部５３によって、フォーカス・アイリス指令部１８からの指令信号に応じて、スレーブカメラＳＣのフォーカス・アイリス制御信号を生成して、スレーブカメラＳＣに出力する。
多視点ロボットカメラシステム１００は、ズーム制御部５５によって、ズーム値をズーム制御信号に変換して、スレーブカメラＳＣに出力する（ステップＳ６）。

以上のように、本発明の実施形態に係る多視点ロボットカメラシステム１００は、式（６）のように、各ロボットカメラＣａｍ_ｎが搭載された雲台の回転中心Ｏ_ｎを算出する。そして、多視点ロボットカメラシステム１００は、式（１３）のように、マスターカメラＭＣが搭載された雲台の回転中心Ｏ_ｍを用いて、注視点Ｑの世界座標Ｐを正確に算出することができる。また、多視点ロボットカメラシステム１００は、式（１４）〜式（１８）のように、スレーブカメラＳＣが搭載された雲台の回転中心Ｏ_ｓを用いて、注視点Ｑに向かうパン値ｐ_０ｓ及びチルト値ｔ_０ｓを正確に求めることができる。これによって、多視点ロボットカメラシステム１００は、マスターカメラＭＣおよびスレーブカメラＳＣの方向制御を正確に行うことが可能となる。

なお、本発明は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。
前記した実施形態では、デプス操作部１５によって、デプス操作部１５によって、デプス値を非線形に変化させることとしたが、これに限られず、デプス値を線形に変化させてもよい。
また、前記した実施形態では、各ロボットカメラＣａｍ_ｎによる第一の多視点映像の撮影時と第二の多視点映像の撮影時とにおいて、パン又はチルトのいずれか一方のみを変化させたが、これに限られず、パン及びチルトの両方を変化させてもよい。

さらに、前記した実施形態では、フォーカス・アイリス制御部３３は、オートフォーカス機能及びオートアイリス機能を用いて算出したマスターカメラＭＣのフォーカス値及びアイリス値に応じたフォーカス・アイリス制御信号を生成したが、これに限られない。
フォーカス・アイリス制御部３３は、マスターカメラＭＣが備えるエンコーダ（不図示）により検出された、カメラマンによるマスターカメラＭＣのフォーカス及びアイリスの移動操作（エンコーダ値）を、外部のＰＣ等によりフォーカス値及びアイリス値に変換した結果を入力し、このフォーカス値及びアイリス値に応じたフォーカス・アイリス制御信号を生成してもよい。なお、フォーカス・アイリス制御部５３も同様である。

また、さらに、前記した実施形態では、カメラキャリブレーション部２０は、パン・チルト前後のパン値、チルト値、ズーム値、フォーカス値、アイリス値を記憶装置に格納したが、これに限られず、パン・チルト前又はパン・チルト後のいずれか一方のパン値、チルト値、ズーム値、フォーカス値、アイリス値を記憶装置に格納してもよい。

１ ロボットカメラ制御装置
１０ 操作インターフェース部
１１ パン・チルト操作部（カメラ姿勢操作部）
１３ ズーム操作部
１５ デプス操作部
１８ フォーカス・アイリス指令部
２０ カメラキャリブレーション部
２１ カメラパラメータ算出部
２２ 回転中心算出部
３０ マスターカメラ制御部
３１ パン・チルト・ズーム制御部
３３ フォーカス・アイリス制御部
４０ 注視点算出部
５０ スレーブカメラ制御部
５１ パン・チルト制御部
５３ フォーカス・アイリス制御部
５５ ズーム制御部
１００ 多視点ロボットカメラシステム
ＭＣ マスターカメラ

Claims (4)

1. 複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように前記マスターカメラの姿勢を制御するマスターカメラ制御部と、前記マスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するスレーブカメラ制御部とを備えるロボットカメラ制御装置において、
   前記複数台のロボットカメラで撮影された第一の多視点映像と、前記第一の多視点映像の撮影時から前記複数台のロボットカメラを所定量パン又はチルトして撮影された第二の多視点映像とを用いて弱校正キャリブレーションを行い、前記各ロボットカメラのパン又はチルト前のカメラ姿勢、位置及び光学主点と、パン又はチルト後のカメラ姿勢、位置及び光学主点とを算出するカメラパラメータ算出部と、前記カメラパラメータ算出部で算出された前記各ロボットカメラのパン又はチルト前の光学主点と、パン又はチルト後の光学主点とに基づいて、前記各ロボットカメラが搭載された雲台の回転中心の位置をそれぞれ算出する回転中心算出部とを備えるカメラキャリブレーション部と、
   前記カメラパラメータ算出部により算出した前記マスターカメラのカメラ姿勢と、撮影時の前記マスターカメラのカメラ姿勢との差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、前記マスターカメラが搭載された雲台の回転中心に、算出した当該単位ベクトルと前記マスターカメラから前記注視点までの距離であるデプス値との積を加算することで、前記注視点の位置を算出する注視点算出部と、を備え、
   前記スレーブカメラ制御部は、前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御することを特徴とするロボットカメラ制御装置。
2. 前記カメラパラメータ算出部は、
   前記パン又はチルト前のカメラ姿勢Ｒ_{ｎｂｅｆｏｒｅ}及びカメラ位置Ｔ_{ｎｂｅｆｏｒｅ}から光学主点Ｐ_{ｎｂｅｆｏｒｅ}を
   

   

   により算出し、
   前記パン又はチルト後のカメラ姿勢Ｒ_{ｎａｆｔｅｒ}及びカメラ位置Ｔ_{ｎａｆｔｅｒ}から光学主点Ｐ_{ｎａｆｔｅｒ}を
   

   

   により算出し、
   前記回転中心算出部は、
   前記パン又はチルト前の光学主点Ｐ_{ｎｂｅｆｏｒｅ}と、前記パン又はチルト後の光学主点Ｐ_{ｎａｆｔｅｒ}と、前記パン又はチルト前の撮影方向と前記パン又はチルト後の撮影方向とでなす角θ_ｎと、前記パン又はチルト前のカメラ姿勢の奥行成分のベクトル値ｒ_{ｚｎｂｅｆｏｒｅ}とに基づき、
   

   

   により、前記各ロボットカメラの雲台の回転中心を算出することを特徴とする請求項１に記載のロボットカメラ制御装置。
3. 複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、前記マスターカメラ以外のロボットカメラであるスレーブカメラと、前記マスターカメラの光軸上を移動可能な注視点に向くように、前記スレーブカメラの姿勢を制御するロボットカメラ制御装置と、を備えた多視点ロボットカメラシステムであって、
   前記ロボットカメラ制御装置が、
   前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
   前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように前記マスターカメラの姿勢を制御するマスターカメラ制御部と、
   前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
   前記複数台のロボットカメラで撮影された第一の多視点映像と、前記第一の多視点映像の撮影時から前記複数台のロボットカメラを所定量パン又はチルトして撮影された第二の多視点映像とを用いて弱校正キャリブレーションを行い、前記各ロボットカメラのパン又はチルト前のカメラ姿勢、位置及び光学主点と、パン又はチルト後のカメラ姿勢、位置及び光学主点とを算出するカメラパラメータ算出部と、前記カメラパラメータ算出部で算出された前記各ロボットカメラのパン又はチルト前の光学主点と、パン又はチルト後の光学主点とに基づいて、前記各ロボットカメラが搭載された雲台の回転中心の位置をそれぞれ算出する回転中心算出部とを備えるカメラキャリブレーション部と、
   前記カメラパラメータ算出部により算出した前記マスターカメラのカメラ姿勢と、撮影時の前記マスターカメラのカメラ姿勢との差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、前記マスターカメラが搭載された雲台の回転中心に、算出した当該単位ベクトルと前記マスターカメラから前記注視点までの距離であるデプス値との積を加算することで、前記注視点の位置を算出する注視点算出部と、を備え、
   前記スレーブカメラ制御部は、前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御することを特徴とする多視点ロボットカメラシステム。
4. 複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するために、前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように前記マスターカメラの姿勢を制御するマスターカメラ制御部と、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部とを備えるコンピュータを、
   前記複数台のロボットカメラで撮影された第一の多視点映像と、前記第一の多視点映像の撮影時から前記複数台のロボットカメラを所定量パン又はチルトして撮影された第二の多視点映像とを用いて弱校正キャリブレーションを行い、前記各ロボットカメラのパン又はチルト前のカメラ姿勢、位置及び光学主点と、パン又はチルト後のカメラ姿勢、位置及び光学主点とを算出するカメラパラメータ算出部、
   前記カメラパラメータ算出部で算出された前記各ロボットカメラのパン又はチルト前の光学主点と、パン又はチルト後の光学主点とに基づいて、前記各ロボットカメラが搭載された雲台の回転中心の位置をそれぞれ算出する回転中心算出部、
   前記カメラパラメータ算出部により算出した前記マスターカメラのカメラ姿勢と、撮影時の前記マスターカメラのカメラ姿勢との差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、前記マスターカメラが搭載された雲台の回転中心に、算出した当該単位ベクトルと前記マスターカメラから前記注視点までの距離であるデプス値との積を加算することで、前記注視点の位置を算出する注視点算出部、として機能させ、
   前記スレーブカメラ制御部は、前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御することを特徴とするロボットカメラ制御プログラム。

Images