JP6606397B2

JP6606397B2 - 多視点ロボットカメラ制御装置及びそのプログラム

Info

Publication number: JP6606397B2
Application number: JP2015211549A
Authority: JP
Inventors: 健介久富; 健佑池谷; 正規加納; 智之三科
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2015-10-28
Filing date: 2015-10-28
Publication date: 2019-11-13
Anticipated expiration: 2035-10-28
Also published as: JP2017085340A

Description

本願発明は、同一の被写体を異なる視点で表示した多視点映像を生成するために、多視点ロボットカメラを制御する多視点ロボットカメラ制御装置及びそのプログラムに関する。

従来から、被写体を取り囲むようにロボットカメラを配置し、撮影した映像をロボットカメラの並びに沿って切替えることで、動きのある被写体のある瞬間を様々な視点から提示する多視点映像表現という映像表現が知られている。この多視点映像表現には、例えば、非特許文献１に記載された多視点映像表現システムが用いられている。

この多視点映像表現システムは、複数のロボットカメラをそれぞれ電動雲台に乗せて配置し、機械的なパンやチルトの制御により、スポーツ試合のような被写体が動き回る場合においても、前記した多視点映像表現を準リアルタイムで実現するものである。具体的には、カメラマンが１台のマスターカメラを操作し、注視する被写体が常に画面中央に映るように撮影する。このとき、この多視点映像表現システムは、カメラマンのカメラワークに応じて、他のスレーブカメラの視線が注視点で輻輳するように電動雲台を自動制御する。

Bullet Time Using Multi-Viewpoint Robotic Camera System,Kensuke Ikeya,CVMP'14 11th European Conference on Visual Media Production (CVMP 2014),13-14 November 2014

しかし、前記した多視点映像表現システムでは、ファインダに分割表示された全ロボットカメラの映像を目視しながら、カメラマン等の操作者が注視点を手動で設定しなければならない。このとき、多視点映像表現システムでは、操作者が、画面中央に被写体が映るようにマスターカメラの操作を行っており、注視点の設定操作が操作者に非常に負担をかけるという問題がある。

そこで、本願発明は、操作者の負担を軽減できる多視点ロボットカメラ制御装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係る多視点ロボットカメラ制御装置は、同一の被写体を異なる視点で表示した多視点映像を生成するために、前記被写体を撮影する複数のロボットカメラで構成される多視点ロボットカメラを制御する多視点ロボットカメラ制御装置であって、カメラパラメータ記憶部と、被写体領域抽出部と、ファインダ画像生成部と、注視点座標算出部と、を備える構成とした。

かかる構成によれば、多視点ロボットカメラ制御装置は、カメラパラメータ記憶部によって、前記複数のロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢を表すカメラパラメータを予め記憶する。
多視点ロボットカメラ制御装置は、被写体領域抽出部によって、前記マスターカメラが前記被写体を撮影した撮影画像の変換距離画像が入力され、入力された前記変換距離画像で所定位置（例えば、画面中央）の基準画素の距離値又は前記基準画素の距離値と周辺画素の距離値との平均である基準距離値を基準として予め設定された範囲内の距離値を有し、かつ、前記基準画素が含まれる画素領域を被写体領域として抽出する。

多視点ロボットカメラ制御装置は、ファインダ画像生成部によって、抽出した前記被写体領域の輪郭を示すマーカが前記撮影画像に描画されたファインダ画像を生成し、生成した前記ファインダ画像を操作インターフェース部に搭載されたファインダに出力する。
多視点ロボットカメラ制御装置は、注視点座標算出部によって、前記ファインダ画像を目視した操作者による前記マスターカメラの操作信号が入力され、入力された前記操作信号を前記カメラパラメータで変換することで、前記被写体の位置を表す注視点の世界座標を算出し、算出した前記注視点の世界座標を前記マスターカメラ以外のロボットカメラであるスレーブカメラに出力する。

すなわち、多視点ロボットカメラ制御装置は、カメラマン等の操作者が被写体を所定位置（例えば、画面中央）に捉えると、この被写体がファインダでマーカ表示されるので、操作者が多視点映像表現の対象を認識しやすくなる。さらに、多視点ロボットカメラ制御装置は、この被写体の位置を注視点の世界座標として各スレーブカメラに出力する。その後、各スレーブカメラは、多視点ロボットカメラ制御装置から入力された注視点を向くような姿勢をとる。
このように、多視点ロボットカメラ制御装置は、操作者が注視点の設定操作を行うことなく、注視点を向くようにスレーブカメラを制御することができる。

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る多視点ロボットカメラ制御装置は、操作者が注視点の設定操作を行うことなく、注視点を向くようにスレーブカメラを制御できるので、操作者の負担を軽減することができる。

本願発明の第１実施形態に係る多視点映像撮影システムの概略図である。図１の多視点ロボットカメラを説明する説明図である。図１の多視点ロボットカメラ制御装置の構成を示すブロック図である。撮影画像の一例を示す図である。変換距離画像の一例を示す図である。図３の被写体領域抽出部による被写体領域の抽出を説明する説明図である。ファインダ画像の一例を示す図である。図１の多視点映像撮影システムの動作を示すフローチャートである。本願発明の第２実施形態に係る多視点映像撮影システムの概略図である。図９の操作インタフェース部を説明する説明図である。図９の多視点ロボットカメラ制御装置の構成を示すブロック図である。注視点の追跡を説明する説明図である。他の被写体に対する注視点の設定を説明する説明図である。図９の多視点映像撮影システムの動作を示すフローチャートである。本願発明の第３実施形態に係る多視点ロボットカメラ制御装置の構成を示すブロック図である。注視点の追跡を説明する説明図である。図１５の多視点映像撮影システムの動作を示すフローチャートである。

以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。

（第１実施形態）
［多視点映像撮影システムの構成］
図１，図２を参照し、本願発明の第１実施形態に係る多視点映像撮影システム１の構成について説明する。
図１のように、多視点映像撮影システム１は、同一の被写体Ｔを異なる視点で表示した多視点映像を生成するものであり、多視点ロボットカメラ１０と、操作インタフェース部３０と、多視点ロボットカメラ制御装置４０と、収録装置５０とを備える。

多視点ロボットカメラ１０は、複数のロボットカメラ２０で構成されたものである。本実施形態では、多視点ロボットカメラ１０は、７台のロボットカメラ２０で構成されている。

ロボットカメラ２０は、被写体Ｔを撮影した撮影画像を生成するものであり、カメラ本体２１と、三脚２３（図２）と、雲台２５とを備える。本実施形態では、カメラ本体２１は、カラー映像を撮影する一般的なカラーカメラである。当然、カメラ本体２１は、カラーカメラに限定されず、例えば、白黒カメラであってもよい。

図２のように、ロボットカメラ２０は、三脚２３に搭載されている。そして、ロボットカメラ２０は、三脚２３の上方に設けた雲台２５によって、パン軸及びチルト軸の２軸方向に駆動されると共に、ズームイン及びズームアウトが可能である。
ロボットカメラ２０で撮影された撮影画像は、多視点ロボットカメラ制御装置４０及び収録装置５０に出力される。

また、多視点ロボットカメラ１０は、何れか一台のロボットカメラ２０の雲台２５に距離カメラ２７が搭載されている（図２不図示）。ここで、距離カメラ２７及びカメラ本体２１は、互いの光軸が平行になるように配置することが好ましい。
なお、距離カメラ２７及びカメラ本体２１は、カメラパラメータにより光軸方向の補正が可能なため、必ずしも平行に配置せずともよい。

この距離カメラ２７は、画素毎に距離値を格納した距離画像（デプスマップ）を動画で撮影するものである。例えば、距離カメラ２７としては、ＴＯＦ（Time Of Flight）方式、構造化照明方式等といった光線の照射により距離画像を撮影する能動カメラがあげられる。また、距離カメラ２７は、光線を照射せずに距離画像を撮影する受動カメラであってもよい。この受動カメラとしては、２台のカラーカメラを左右に並べ、両カラーカメラの各画素の対応関係を探索することで（ステレオマッチング法）、三角測量の原理で距離画像を撮影するステレオカメラがあげられる。
距離カメラ２７で撮影された距離画像は、多視点ロボットカメラ制御装置４０に出力される。

この距離カメラ２７が搭載されたロボットカメラ２０は、マスターカメラ２０_Ｍと呼ばれる。このマスターカメラ２０_Ｍは、後記するファインダ３８を搭載した操作インタフェース部３０の操作に連動してその姿勢が制御される。
一方、距離カメラ２７が搭載されていないロボットカメラ２０は、スレーブカメラ２０_Ｓと呼ばれる。このスレーブカメラ２０_Ｓは、多視点ロボットカメラ制御装置４０からの情報（注視点の世界座標）に基づいて、注視点を向くように姿勢が制御される。
なお、多視点ロボットカメラ１０は、複数のロボットカメラ２０のうち、何れか一台がマスターカメラ２０_Ｍとして予め設定され、残りがスレーブカメラ２０_Ｓとして予め設定される。

図２のように、操作インタフェース部３０は、カメラマン等の操作者がマスターカメラ２０_Ｍの操作を行うものであり、三脚３１と、雲台３３と、パン棒３５と、エンコーダ３７（図３）と、ファインダ３８とを備える。

ここで、操作インタフェース部３０は、ファインダ３８と共に三脚３１に搭載され、三脚３１の上方に設けた雲台３３からパン棒３５が延長されている。そして、操作インタフェース部３０は、パン棒３５を用いてパン方向やチルト方向に回転させると、その操作に応じてマスターカメラ２０_Ｍが回転する。すなわち、カメラマン等の操作者は、マスターカメラＣ_Ｍが被写体（注視点）を向くように、ファインダ３８を覗きながら操作インタフェース部３０を操作する。

また、操作インタフェース部３０は、内蔵されたエンコーダ３７によって、現在のパン値及びチルト値をリアルタイムに計測する。そして、操作インタフェース部３０は、計測したパン値及びチルト値を多視点ロボットカメラ制御装置４０に出力する。

多視点ロボットカメラ制御装置４０は、多視点映像を生成するために多視点ロボットカメラ１０を制御するものである。
なお、多視点ロボットカメラ制御装置４０の詳細は、後記する。

収録装置５０は、多視点ロボットカメラ制御装置４０から入力された撮影画像を収録し、収録した撮影画像から多視点映像を生成するものである。例えば、収録装置５０は、下記参考文献１に記載の手法を用いて、多視点映像を生成する。
参考文献１：Bullet Time Using Multi-Viewpoint Robotic Camera System,Kensuke Ikeya,CVMP'14 11th European Conference on Visual Media Production (CVMP 2014),13-14 November 2014

［多視点ロボットカメラ制御装置の構成］
図３を参照し、多視点ロボットカメラ制御装置４０の構成について説明する。
図３のように、多視点ロボットカメラ制御装置４０は、変換パラメータ記憶部（カメラパラメータ記憶部）４１と、距離画像変換部４２と、被写体領域抽出部４３と、ファインダ画像生成部４４と、注視点座標算出部４５とを備える。

変換パラメータ記憶部４１は、マスターカメラ２０_Ｍを含めた全ロボットカメラ２０のカメラパラメータを変換パラメータとして予め記憶するものである。この変換パラメータとしては、各ロボットカメラ２０の内部パラメータ行列、回転行列及び並進行列があげられる。

ここで、多視点映像撮影システム１では、カメラキャリブレーションにより各ロボットカメラ２０の変換パラメータを求め、その結果を変換パラメータ記憶部４１に予め記憶させておく。例えば、カメラキャリブレーションの手法は、前記参考文献１に記載されている。

距離画像変換部４２は、距離カメラ２７から入力された距離画像を、マスターカメラ２０_Ｍの撮影画像の変換距離画像に変換するものである。具体的には、距離画像変換部４２は、変換パラメータ記憶部４１に記憶されたマスターカメラ２０_Ｍの変換パラメータを用いて、距離画像の３次元の点群をマスターカメラ２０_Ｍの撮影面に投影することで、撮影画像と同一画素数でそれぞれの画素位置が一致している変換距離画像に変換する。

例えば、距離画像変換部４２は、距離画像が撮影画像よりも解像度が低い場合、変換距離画像上で内挿処理を行ってもよい。内挿処理の手法としては、線形内挿、又は、距離画像上で設定したポリゴンを撮影画像に投影する手法があげられる。
その後、距離画像変換部４２は、変換距離画像を被写体領域抽出部４３に出力する。

これにより、撮影画像及び変換距離画像は、互いの画素が対応することになり、画像座標が一致する。言い換えるなら、変換距離画像は、撮影画像の各画素の距離値を表した奥行マップとなる。ここで、距離値は、マスターカメラ２０_Ｍから被写体Ｔまでの距離、つまり、被写体Ｔの奥行値を表す。
なお、画像座標とは、画像中の位置を示す座標のことである。

例えば、マスターカメラ２０_Ｍが、図４の撮影画像を撮影したこととする。この場合、変換距離画像は、図５のように、各画素の画素値（輝度値）により距離値を表した画像となる。図５の変換距離画像は、ハッチングの部分がマスターカメラ２０_Ｍから被写体Ｔまでの距離値を表しており、白色の部分がマスターカメラ２０_Ｍから背景までの距離値を表している。

被写体領域抽出部４３は、距離画像変換部４２から入力された変換距離画像で所定位置の基準画素における基準距離値を基準として、基準画素が含まれる被写体領域を抽出するものである。本実施形態では、基準画素が、変換距離画像の中央に位置する画素であることとする。

具体的には、被写体領域抽出部４３は、基準画素の距離値を基準として予め設定された範囲内の距離値を有し、かつ、基準画素が含まれる画素領域を求める。例えば、図５の変換距離画像が入力された場合を考える。この場合、図６のように、被写体Ｔの領域内の各画素が予め設定された範囲内の距離値を有し、かつ、被写体Ｔの領域に基準画素Ｓが含まれている。従って、被写体領域抽出部４３は、被写体Ｔの画像領域を求めることになる。

このとき、被写体領域抽出部４３は、基準画素の距離値の代わりに、基準画素とこの基準画素の周辺に位置する周辺画素との距離値の平均を用いてもよい。これにより、被写体領域抽出部４３は、基準画素の距離値が周辺画素の距離値と大きく異なる場合でも、正確に画素領域を求めることができる。

その後、被写体領域抽出部４３は、求めた画素領域の輪郭部分を変換距離画像から抽出し、抽出した被写体領域をファインダ画像生成部４４に出力する。さらに、被写体領域抽出部４３は、基準距離値を注視点座標算出部４５に出力する。

ファインダ画像生成部４４は、マーカが撮影映像に描画されたファインダ画像を生成するものである。このマーカは、被写体領域抽出部４３から入力された被写体領域の輪郭を示している。例えば、ファインダ画像生成部４４は、図７のように、マスターカメラ２０_Ｍから入力された撮影画像にマーカＭが合成されたファインダ画像を生成する。そして、ファインダ画像生成部４４は、生成したファインダ画像をファインダ３８に出力する。
これにより、ファインダ３８には、被写体Ｔの輪郭を示すマーカが表示される（マーカ表示）。

注視点座標算出部４５は、操作インタフェース部３０から入力されたマスターカメラ２０_Ｍの操作信号（パン値及びチルト値）を変換パラメータで変換することで、被写体Ｔの位置を表す注視点の世界座標を算出するものである。
なお、世界座標とは、各ロボットカメラ２０に共通する三次元座標のことである。

例えば、注視点座標算出部４５は、参考文献１に記載された式（２）〜式（５）に、マスターカメラ２０_Ｍの回転行列及び並進行列と、マスターカメラ２０_Ｍのパン値及びチルト値と、被写体領域抽出部４３から入力された基準距離値とを代入し、注視点の世界座標を算出する。そして、注視点座標算出部４５は、算出した注視点の世界座標を全てのロボットカメラ２０の雲台２５に出力する。

ここで、各ロボットカメラ２０は、それぞれのカメラパラメータを用いて、注視点座標算出部４５から入力された注視点の世界座標を向くようにパン値及びチルト値を算出する。例えば、各ロボットカメラ２０は、参考文献１に記載された式（７）〜式（１０）に、各ロボットカメラ２０の回転行列及び並進行列と注視点の世界座標とを代入し、パン値及びチルト値を算出する。そして、各ロボットカメラ２０は、算出したパン値及びチルト値に従って雲台２５を駆動することで、注視点を向いた姿勢をとる。

［多視点映像撮影システムの動作］
図８を参照し、多視点映像撮影システム１の動作について説明する（適宜図１，図３参照）。
操作者は、操作インタフェース部３０を介して、被写体Ｔを画面中央に捉えるように、マスターカメラ２０_Ｍを操作する（ステップＳ１）。
なお、ステップＳ１の処理は、操作者による手動操作のため破線で図示した。

多視点ロボットカメラ制御装置４０は、距離画像変換部４２によって、マスターカメラ２０_Ｍの変換パラメータを用いて、距離画像を変換距離画像に変換する（ステップＳ２）。
多視点ロボットカメラ制御装置４０は、被写体領域抽出部４３によって、距離画像変換部４２より入力された変換距離画像から被写体領域を抽出する（ステップＳ３）。

多視点ロボットカメラ制御装置４０は、注視点座標算出部４５によって、マスターカメラ２０_Ｍのパン値及びチルト値と基準距離値から、変換パラメータを用いて、注視点の世界座標を算出する（ステップＳ４）。
各ロボットカメラ２０は、変換パラメータを用いて、注視点の世界座標からパン値とチルト値を求め、雲台を制御する（ステップＳ５）。

多視点ロボットカメラ制御装置４０は、ファインダ画像生成部４４によって、抽出した被写体領域の輪郭を示すマーカが描画されたファインダ画像を生成する（ステップＳ６）。
マスターカメラ２０_Ｍは、ファインダ３８にファインダ画像を表示する（ステップＳ７）。

なお、多視点映像撮影システム１は、ステップＳ１〜Ｓ７の処理を繰り返し、多視点映像表現に必要な撮影画像を収録装置５０に収録する。そして、収録装置５０は、収録された撮影画像から多視点映像を生成する（図８不図示）。

［作用・効果］
以上のように、多視点映像撮影システム１は、操作者が被写体Ｔを画面中央で捉えるように操作すれば、被写体Ｔを向くようにロボットカメラ２０を制御する。このように、多視点映像撮影システム１では、操作者が注視点の設定操作を行うことなく被写体Ｔを撮影できるので、操作者の負担を軽減することができる。

（第２実施形態）
［多視点映像撮影システムの構成］
図９，図１０を参照し、本願発明の第２実施形態に係る多視点映像撮影システム１Ｂの構成について、第１実施形態と異なる点を説明する。

多視点映像撮影システム１Ｂは、注視点を追跡できる点と、画面中央以外に位置する他の被写体にも注視点を設定できる点とが第１実施形態と異なる。
図９のように、多視点映像撮影システム１Ｂは、多視点ロボットカメラ１０と、操作インタフェース部３０Ｂと、多視点ロボットカメラ制御装置４０Ｂと、収録装置５０とを備える。

図１０のように、操作インタフェース部３０Ｂは、三脚３１と、雲台３３と、パン棒３５と、エンコーダ３７（図１１）と、距離調整つまみ３９とを備える。
距離調整つまみ３９は、パン棒３５のほぼ中央に取り付けられたダイヤルである。この距離調整つまみ３９は、注視点基準画素の距離値を基準として、他の被写体での距離値を距離差分値として出力する。つまり、距離差分値は、画面中央に位置する被写体の距離値と、画面中央以外に位置する他の被写体の距離値との差分を表す。

ここで、画面中央以外に位置する他の被写体に注視点を設定したい場合、操作者が距離調整つまみ３９を操作する。すると、操作者の操作量に応じて、他の被写体に注視点が設定されることになる。

［多視点ロボットカメラ制御装置の構成］
図１１を参照し、多視点ロボットカメラ制御装置４０Ｂの構成について説明する。
図１１のように、多視点ロボットカメラ制御装置４０Ｂは、変換パラメータ記憶部４１と、距離画像変換部４２と、被写体領域抽出部４３Ｂと、ファインダ画像生成部４４Ｂと、注視点座標算出部４５Ｂと、注視点画像座標記憶部４６とを備える。

被写体領域抽出部４３Ｂは、ラベリング処理により変換距離画像を被写体Ｔの候補領域に分割し、注視点画像座標記憶部４６に記憶された前フレームの撮影画像における注視点の画像座標が含まれる候補領域を被写体領域として抽出する。そして、被写体領域抽出部４３Ｂは、抽出した被写体領域の重心位置を算出し、注視点座標算出部４５Ｂに出力するものである（注視点の追跡）。

また、被写体領域抽出部４３Ｂは、距離調整つまみ３９から入力された距離差分値と基準距離値とが加算された抽出対象距離値を算出し、算出した抽出対象距離値を基準として他の被写体領域を抽出する（他の被写体に対する注視点の設定）。この他の被写体領域とは、他の被写体を表す画像領域のことである。
なお、被写体領域抽出部４３Ｂの詳細は、後記する。

ファインダ画像生成部４４Ｂは、被写体領域抽出部４３Ｂから入力された他の被写体領域についても、その輪郭を示すマーカが撮影画像に描画されたファインダ画像を生成するものである。このファインダ画像生成部４４Ｂは、ファインダ画像の生成手法が第１実施形態と同様のため、これ以上の説明を省略する。

注視点座標算出部４５Ｂは、被写体領域抽出部４３Ｂから入力された被写体領域の重心位置を前フレームの撮影画像における注視点の画像座標として注視点画像座標記憶部４６に記憶させる。
他の点、注視点座標算出部４５Ｂは、第１実施形態と同様のため、これ以上の説明を省略する。

注視点画像座標記憶部４６は、注視点座標算出部４５Ｂから入力された前フレームの撮影画像における注視点の画像座標を記憶するものである。この前フレームの撮影画像における注視点の画像座標は、現フレームの撮影画像で注視点を追跡する際に参照される。

＜注視点の追跡＞
図１２を参照し、注視点の追跡について説明する（適宜図１１参照）。
この図１２では、前フレームの撮影画像に含まれる被写体Ｔ_１を破線で図示し、処理対象となっている現フレームの撮影画像に含まれる被写体Ｔ_２を実線で図示した。

まず、前フレームの撮影画像に対する処理を説明する。
多視点ロボットカメラ制御装置４０Ｂの各手段は、前フレームの撮影画像に対し、第１実施形態と同様の処理を行い、被写体Ｔ_１がマーカ表示されたファインダ画像を生成する。

このとき、被写体領域抽出部４３Ｂは、抽出した被写体Ｔ_１の重心位置Ｇ_１を算出し、注視点座標算出部４５Ｂに出力する。そして、注視点座標算出部４５Ｂは、被写体領域抽出部４３Ｂから入力された被写体Ｔ_１の重心位置Ｇ_１を、前フレームの撮影画像における注視点の画像座標として注視点画像座標記憶部４６に記憶させる。

次に、現フレームの撮影画像に対する処理を説明する。
距離画像変換部４２は、第１実施形態と同様の手法により、距離画像を、現フレームの撮影画像に対応した変換距離画像に変換する。

被写体領域抽出部４３Ｂは、例えば、下記参考文献２に記載のラベリング処理により、変換距離画像を候補領域に分割する。このラベリング処理とは、変換距離画像を、予め設定された範囲内の距離値を有する画素で構成される候補領域に分割する処理のことである。
参考文献２：公益財団法人画像情報教育振興協会、「ディジタル画像処理」

続いて、被写体領域抽出部４３Ｂは、注視点画像座標記憶部４６から、前フレームの撮影画像における注視点の画像座標を読み出す。ここで、図１２のように、被写体Ｔ_２の画像領域には、前フレームの撮影画像における注視点Ｇ_１が含まれている。従って、被写体領域抽出部４３Ｂは、この被写体Ｔ_２の画像領域を被写体領域として変換距離画像から抽出し、抽出した被写体領域をファインダ画像生成部４４に出力する。さらに、ファインダ画像生成部４４Ｂは、被写体Ｔ_２がマーカ表示されたファインダ画像を生成する。

続いて、被写体領域抽出部４３Ｂは、抽出した被写体Ｔ_２の重心位置Ｇ_２を算出し、注視点座標算出部４５Ｂに出力する。そして、注視点座標算出部４５Ｂは、参考文献１に記載された式（２）〜式（５）に、マスターカメラ２０_Ｍの回転行列及び並進行列と、マスターカメラ２０_Ｍのパン値及びチルト値と、被写体Ｔ_２の重心位置Ｇ_２での距離値とを代入し、注視点の世界座標を算出する。その後、注視点座標算出部４５Ｂは、被写体Ｔ_２の重心位置Ｇ_２を、前フレームの撮影画像における注視点の画像座標として注視点画像座標記憶部４６に記憶させる。

このように、多視点ロボットカメラ制御装置４０Ｂは、被写体Ｔが移動する場合でも、移動前の被写体Ｔ_１の重心位置が移動後の被写体Ｔ_２の領域に含まれていれば、この被写体Ｔ_２に注視点を設定すると共に、この被写体Ｔ_２をマーカ表示できる。

＜他の被写体に対する注視点の設定＞
図１３を参照し、他の被写体に対する注視点の設定について説明する（適宜図１１参照）。
この図１３では、画面中央に位置する被写体Ｔ_Ａと、画面中央以外に位置する他の被写体Ｔ_Ｂとを図示した。また、被写体Ｔ_Ａの距離値をＤ_Ａとし、被写体Ｔ_Ｂの距離値をＤ_Ｂとし、距離差分値をΔＤとする。

画面中央に位置する被写体Ｔ_Ａではなく、被写体Ｔ_Ａの奥に位置する被写体Ｔ_Ｂに注視点を設定する場合を考える。この場合、距離差分値ΔＤ＝Ｄ_Ａ−Ｄ_Ｂとなるように、操作者が距離調整つまみ３９を操作する。すると、距離調整つまみ３９は、距離差分値ΔＤを被写体領域抽出部４３Ｂに出力する。

被写体領域抽出部４３Ｂは、基準距離値（被写体Ｔ_Ａの距離値Ｄ_Ａ）と、距離差分値ΔＤとを加算し、抽出対象距離値（被写体Ｔ_Ｂの距離値Ｄ_Ｂ）を算出する。そして、被写体領域抽出部４３Ｂは、第１実施形態と同様の手法で、算出した抽出対象距離値を基準として被写体Ｔ_Ｂの画像領域を求める。さらに、被写体領域抽出部４３Ｂは、被写体Ｔ_Ｂの画素領域を被写体領域として変換距離画像から抽出し、抽出した被写体領域をファインダ画像生成部４４に出力する。

このように、多視点ロボットカメラ制御装置４０Ｂは、画面中央以外に被写体Ｔ_Ｂが位置する場合でも、この被写体Ｔ_Ｂに注視点を設定すると共に、この被写体Ｔをマーカ表示できる。
なお、撮影画像に他の被写体Ｔが２以上含まれる場合でも、この手法を利用することができる。また、他の被写体に対する注視点の設定は、注視点の追跡と併用することができる。

［多視点映像撮影システムの動作］
図１４を参照し、多視点映像撮影システム１Ｂの動作について説明する（適宜図１１参照）。

操作者は、注視点を設定したい被写体がマーカ表示されるように、距離調整つまみ３９を操作する（ステップＳ１０）。
なお、ステップＳ１０の処理は、操作者による手動操作のため破線で図示した。

多視点ロボットカメラ制御装置４０Ｂは、被写体領域抽出部４３Ｂによって、基準距離値と距離差分値とを加算し、抽出対象距離値を算出する（ステップＳ１１）。
多視点ロボットカメラ制御装置４０Ｂは、被写体領域抽出部４３Ｂによって、変換距離画像を候補領域に分割する（ステップＳ１２）。
多視点ロボットカメラ制御装置４０Ｂは、被写体領域抽出部４３Ｂによって、前フレームの撮影画像における注視点の画像座標が含まれる候補領域を被写体領域として抽出する（ステップＳ１３）。

多視点ロボットカメラ制御装置４０Ｂは、注視点座標算出部４５Ｂによって、マスターカメラ２０_Ｍのパン値及びチルト値と移動後の被写体Ｔの重心位置での距離値から、変換パラメータを用いて、注視点の世界座標を算出する（ステップＳ１４）。
多視点ロボットカメラ制御装置４０Ｂは、注視点座標算出部４５Ｂによって、移動後の被写体の重心位置を、前フレームの撮影画像における注視点の画像座標として注視点画像座標記憶部４６に記憶させる（ステップＳ１５）。

なお、多視点映像撮影システム１Ｂは、ステップＳ１〜Ｓ７の処理を繰り返し、多視点映像表現に必要な撮影画像を収録装置５０に収録する。そして、収録装置５０は、収録された撮影画像から多視点映像を生成する（図１４不図示）。

［作用・効果］
以上のように、多視点映像撮影システム１Ｂは、操作者が被写体Ｔを画面中央で捉え続けなくても、この被写体Ｔの注視点を追跡し、追跡中の注視点を向くようにロボットカメラ２０を制御するので、操作者の負担を軽減することができる。
さらに、多視点映像撮影システム１Ｂは、画面中央以外に被写体Ｔが位置する場合でも、この被写体Ｔに注視点を設定し、設定した注視点を向くようにロボットカメラ２０を制御するので、操作者の負担を軽減することができる。

（第３実施形態）
図１５を参照し、本願発明の第３実施形態に係る多視点映像撮影システム１Ｃの構成について、第２実施形態と異なる点を説明する。
多視点映像撮影システム１Ｃは、移動前の被写体Ｔの重心位置が移動後の被写体Ｔの画像領域に含まれない場合でも注視点を追跡できる点が、第２実施形態と異なる。

［多視点ロボットカメラ制御装置の構成］
図１５を参照し、多視点ロボットカメラ制御装置４０Ｃの構成について説明する。
図１５のように、多視点ロボットカメラ制御装置４０Ｃは、変換パラメータ記憶部４１と、距離画像変換部４２Ｃと、被写体領域抽出部４３Ｃと、ファインダ画像生成部４４Ｂと、注視点座標算出部４５Ｃと、注視点画像座標記憶部４６と、撮影画像記憶部４７と、注視点追跡部４８とを備える。

距離画像変換部４２Ｃは、第１実施形態と同様の処理を行った後、変換された変換距離画像を注視点追跡部４８に出力する。
他の点、距離画像変換部４２Ｃは、第１実施形態と同様のため、これ以上の説明を省略する。

被写体領域抽出部４３Ｃは、第２実施形態と同様、変換距離画像を候補領域に分割し、分割した候補領域の重心位置を算出する。そして、被写体領域抽出部４３Ｃは、注視点追跡部４８から入力された移動後注視点の画素座標に、重心位置が最も近くなる候補領域を被写体領域として抽出するものである。
なお、被写体領域抽出部４３Ｃの詳細は、後記する。

注視点座標算出部４５Ｃは、後記する注視点追跡部４８から入力された移動後注視点を用いて、注視点の世界座標を算出するものである。例えば、注視点座標算出部４５Ｃは、参考文献１に記載された式（２）〜式（５）に、マスターカメラ２０_Ｍの回転行列及び並進行列と、マスターカメラ２０_Ｍのパン値及びチルト値と、移動後注視点での距離値とを代入し、注視点の世界座標を算出する。そして、注視点座標算出部４５Ｃは、算出した注視点の世界座標を全てのロボットカメラ２０に出力する。

撮影画像記憶部４７は、注視点追跡部４８から入力された撮影画像を記憶するものである。この前フレームの撮影画像は、現フレームの撮影画像で注視点を追跡する際に参照される。

注視点追跡部４８は、撮影画像記憶部４７に記憶された前フレームの撮影画像とマスターカメラ２０_Ｍから入力された現フレームの撮影画像とのマッチング処理により注視点の移動ベクトルを求めるものである。そして、注視点追跡部４８は、前フレームの撮影画像における注視点を始点として移動ベクトルが示す画素座標を、移動後注視点の画素座標として算出し、算出した移動後注視点の画素座標を被写体領域抽出部４３Ｃ及び注視点座標算出部４５Ｃに出力する。

ここで、注視点追跡部４８は、算出した移動後注視点の画素座標を前フレームの撮影画像における注視点の画像座標として注視点画像座標記憶部４６に記憶させる。また、注視点追跡部４８は、マスターカメラ２０_Ｍから入力された現フレームの撮影画像を、前フレームの撮影画像として撮影画像記憶部４７に記憶させる。

＜注視点の追跡＞
図１６を参照し、注視点の追跡について説明する（適宜図１５参照）。
この図１６では、前フレームの撮影画像に含まれる被写体Ｔ_１を破線で図示し、処理対象となっている現フレームの撮影画像に含まれる被写体Ｔ_２を実線で図示した。

注視点追跡部４８は、前フレームと現フレームとの撮影画像にマッチング処理を施し、前フレームの注視点が現フレームでどこに移動したかを示す移動ベクトルを算出する。具体的には、注視点追跡部４８は、前フレームと現フレームとの撮影画像にブロックマッチングを施し、それぞれの撮影画像に含まれる被写体Ｔ_１，Ｔ_２の画像領域を求める。そして、注視点追跡部４８は、被写体Ｔ_１，Ｔ_２の重心位置Ｇ_１，Ｇ_２を求め、被写体Ｔ_１の重心位置Ｇ_１から被写体Ｔ_２の重心位置Ｇ_２までを結ぶ移動ベクトルを求める。
その後、注視点追跡部４８は、被写体Ｔ_１の重心位置Ｇ_１を始点として、移動ベクトルが示す被写体Ｔ_２の重心位置Ｇ_２の画素座標を、移動後注視点の画素座標として算出する。

被写体領域抽出部４３Ｃは、注視点追跡部４８から入力された移動後注視点の画素座標Ｇ_２と、被写体Ｔ_２の重心位置Ｇ_２とが一致するので、この被写体Ｔ_２の画像領域を被写体領域として抽出する。

このように、多視点ロボットカメラ制御装置４０Ｃは、移動前の被写体Ｔ_１の重心位置Ｇ_１が移動後の被写体Ｔ_２の画像領域に含まれているか否かに関わらず、被写体Ｔ_２に注視点を設定すると共に、この被写体Ｔ_２の輪郭をマーカ表示できる。

［多視点映像撮影システムの動作］
図１７を参照し、多視点映像撮影システム１Ｃの動作について説明する（適宜図１５参照）。

多視点ロボットカメラ制御装置４０Ｃは、注視点追跡部４８によって、前フレームと現フレームとの撮影画像のマッチング処理により注視点の移動ベクトルを求める。
多視点ロボットカメラ制御装置４０Ｃは、注視点追跡部４８によって、前フレームの撮影画像における注視点を始点として移動ベクトルが示す画素座標を、移動後注視点の画素座標として算出する（ステップＳ２０）。

多視点ロボットカメラ制御装置４０Ｃは、被写体領域抽出部４３Ｃによって、移動後注視点の画素座標に、重心位置が最も近くなる候補領域を被写体領域として抽出する（ステップＳ２１）。

［作用・効果］
以上のように、多視点映像撮影システム１Ｃは、移動前の被写体Ｔの重心位置が移動後の被写体Ｔの画像領域に含まれているか否かに関わらず、被写体Ｔの注視点を追跡し、追跡中の注視点を向くようにロボットカメラ２０を制御できるので、操作者の負担を軽減することができる。

以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。

前記した各実施形態では、基準画素を画面中央の画素であることとして説明したが、これに限定されない。つまり、変換距離画像内で任意位置の画素を基準画素に設定できる。
前記した各実施形態では、カメラパラメータ及び注視点の算出に参考文献１に記載の手法を用いることとして説明したが、これに限定されない。
前記した各実施形態では、注視点の世界座標及びパン値及びチルト値の算出に参考文献１に記載の手法を用いることとして説明したが、これに限定されない。

前記した各実施形態では、多視点ロボットカメラ制御装置を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、本願発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、多視点ロボットカメラ制御装置として協調動作させる多視点ロボットカメラ制御プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１，１Ｂ，１Ｃ多視点映像撮影システム
１０多視点ロボットカメラ
２０ロボットカメラ
２０_Ｍマスターカメラ
２０_Ｓスレーブカメラ
２１カメラ本体
２３三脚
２５雲台
２７距離カメラ
３０，３０Ｂ，３０Ｃ操作インタフェース部
３１三脚
３３雲台
３５パン棒
３７エンコーダ
３８ファインダ
３９距離調整つまみ
４０，４０Ｂ，４０Ｃ多視点ロボットカメラ制御装置
４１変換パラメータ記憶部（カメラパラメータ記憶部）
４２，４２Ｃ距離画像変換部
４３，４３Ｂ，４３Ｃ被写体領域抽出部
４４，４４Ｂ，４４Ｃファインダ画像生成部
４５，４５Ｂ注視点座標算出部
４６注視点画像座標記憶部
４７撮影画像記憶部
４８注視点追跡部
５０収録装置

Claims

同一の被写体を異なる視点で表示した多視点映像を生成するために、前記被写体を撮影する複数のロボットカメラで構成される多視点ロボットカメラを制御する多視点ロボットカメラ制御装置であって、
前記複数のロボットカメラのうち予め設定された１台のマスターカメラの位置及び姿勢を表すカメラパラメータを予め記憶するカメラパラメータ記憶部と、
前記マスターカメラが前記被写体を撮影した撮影画像の変換距離画像が入力され、入力された前記変換距離画像で所定位置の基準画素の距離値又は前記基準画素の距離値と周辺画素の距離値との平均である基準距離値を基準として予め設定された範囲内の距離値を有し、かつ、前記基準画素が含まれる画素領域を被写体領域として抽出する被写体領域抽出部と、
抽出した前記被写体領域の輪郭を示すマーカが前記撮影画像に描画されたファインダ画像を生成し、生成した前記ファインダ画像をファインダに出力するファインダ画像生成部と、
前記ファインダ画像を目視した操作者による前記マスターカメラの操作信号が入力され、入力された前記操作信号を前記カメラパラメータで変換することで、前記被写体の位置を表す注視点の世界座標を算出し、算出した前記注視点の世界座標を前記マスターカメラ以外のロボットカメラであるスレーブカメラに出力する注視点座標算出部と、
を備えることを特徴とする多視点ロボットカメラ制御装置。
前記被写体領域抽出部は、前記被写体と当該被写体以外の他の被写体との距離値の差分である距離差分値が入力され、入力された前記距離差分値と前記基準距離値とが加算された抽出対象距離値を算出し、算出した前記抽出対象距離値を基準として他の被写体領域を抽出し、
前記ファインダ画像生成部は、抽出した前記他の被写体領域の輪郭を示すマーカが前記撮影画像に描画されたファインダ画像を生成し、生成した当該ファインダ画像を前記ファインダに出力することを特徴とする請求項１に記載の多視点ロボットカメラ制御装置。
前フレームの撮影画像における注視点の画像座標を記憶する注視点画像座標記憶部、をさらに備え、
前記被写体領域抽出部は、ラベリング処理により前記変換距離画像を前記被写体の候補領域に分割し、前記注視点画像座標記憶部に記憶された前フレームの撮影画像における注視点の画像座標が含まれる前記候補領域を前記被写体領域として抽出し、抽出した前記被写体領域の重心位置を算出し、
前記注視点座標算出部は、前記被写体領域抽出部が算出した被写体領域の重心位置を前フレームの撮影画像における注視点の画像座標として前記注視点画像座標記憶部に記憶させることを特徴とする請求項１又は請求項２に記載の多視点ロボットカメラ制御装置。
前フレームの撮影画像を記憶する撮影画像記憶部と、
前記前フレームの撮影画像における注視点の画像座標を記憶する注視点画像座標記憶部と、
前記撮影画像記憶部に記憶された前フレームの撮影画像と前記マスターカメラから入力された現フレームの撮影画像とのマッチング処理により前記注視点の移動ベクトルを求め、前記前フレームの撮影画像における注視点を始点として前記移動ベクトルが示す画素座標を、移動後注視点の画素座標として算出し、算出した前記移動後注視点の画素座標を前記前フレームの撮影画像における注視点の画像座標として前記注視点画像座標記憶部に記憶させ、前記現フレームの撮影画像を前記撮影画像記憶部に記憶させる注視点追跡部と、をさらに備え、
前記被写体領域抽出部は、ラベリング処理により前記変換距離画像を前記被写体の候補領域に分割し、分割した前記候補領域の重心位置を算出し、前記移動後注視点の画素座標に前記重心位置が最も近くなる前記候補領域を前記被写体領域として抽出することを特徴とする請求項１又は請求項２に記載の多視点ロボットカメラ制御装置。
距離カメラで撮影した距離画像が入力され、入力された前記距離画像を前記変換距離画像に変換する距離画像変換部、をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の多視点ロボットカメラ制御装置。
コンピュータを、請求項１から請求項５の何れか一項に記載の多視点ロボットカメラ制御装置として機能させるための多視点ロボットカメラ制御プログラム。