JP4464902B2 - カメラ制御装置およびカメラ制御プログラム - Google Patents

Description

本発明は、カメラの動作、特に、カメラアングルを制御するカメラ制御装置およびカメラ制御プログラムに関する。

従来、駆動機構に取り付けられたカメラ（いわゆるロボットカメラ）の動作を制御するカメラ制御装置として、当該カメラで撮影している映像を表示画面に表示させ、この画面上で指定した箇所に、当該カメラを向ける（以下、被写体捕捉という）ものがある（例えば、特許文献１，２参照）。

また、従来のカメラ制御装置として、当該カメラで撮影している映像中の被写体を検出し、当該被写体を映像の中の所望の位置で捉えるように、カメラが設置されている雲台の駆動機構を制御したり、カメラのズームを調整（ズーム機構を制御）したりする（以下、被写体追尾という）ものがある（例えば、特許文献３参照）。

さらに、従来のカメラ制御装置として、複数のカメラのパン、チルトおよびズームといった動作を協働させて、不審人物等の追跡監視を行う（以下、不審人物追跡監視という）ものがある（例えば、非特許文献１参照）。以下、被写体、不審人物等を追尾対象と呼称することとする。

ここで紹介したように、従来のカメラ制御装置によるカメラの動作の制御（カメラアングル制御）の多くは、追尾対象が操作者によって指定されるか、或いは、追尾対象が既存の人物・物体検出法によって自動的に指定されるものの、カメラの動作を制御して遂行する撮影目的が１つに限定されているものである。

つまり、従来のカメラ制御装置では、追尾対象となる特定または不特定の被写体を見逃さずにカメラが追尾することや、追尾対象となる不意に現れる人物や物体を見逃さないようにカメラを動かすことや、カメラがとらえた得体の知れない追尾対象（未確認物体）を拡大撮影し、自動物体認識に役立てることをそれぞれ主な撮影目的にしているものである。
特開平７−４６５６６号公報 特開平８−２０２４３７号公報 特開２００３−１８９２９０号公報 青木勝司、吉田篤、荒木昭一、"アクティブカメラ群による対象追跡ならびに全観測領域の協調監視"、情報科学技術レターズ、ｖｏｌ．４、ＬＩ−０１１、ｐｐ１６９−１７２、２００５

しかしながら、従来のカメラ制御装置によるカメラの動作の制御では、被写体捕捉、被写体追尾、不審人物追跡監視等の中の１つ（単独）の撮影目的によって、１台または複数台のカメラの動作の制御を行うことができるが、複数の撮影目的を処理するために、１台のカメラの動作を制御することができないという問題がある。すなわち、複数の撮影目的を達成するために、１つのカメラアングルを自動的に制御する制御手法が確立されておらず、無論のこと制御装置は存在していなかった。

そこで、本発明では、前記した問題を解決し、１台のカメラによって複数の撮影目的を処理することができるようにカメラの動作を制御することができるカメラ制御装置およびカメラ制御プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載のカメラ制御装置は、駆動機構に取り付けられたカメラの動作を、当該カメラの撮影状態を検出するセンサからの計測値を用いて制御するカメラ制御装置であって、注視領域選定手段と、注視領域統合手段と、制御手段と、を備える構成とした。

かかる構成によれば、カメラ制御装置は、注視領域選定手段によって、カメラで撮影している画像において、予め設定した条件に従って注視対象となる被写体が含まれている複数の注視領域を選定すると共に、画像における重要な度合いを示す重要度を条件に対応した注視領域ごとに設定する。この注視領域設定手段によって注視領域を設定する場合、手動により入力することや、画像解析によって設定することや、或いは、センサからの計測値を参照するといった手法が挙げられる。続いて、カメラ制御装置は、注視領域統合手段によって、注視領域設定手段で設定された複数の注視領域である注視領域群を、重要度に応じた統合注視領域に統合する。なお、この統合注視領域は、単純に重要度に基づいて、当該重要度が高い順に選択してもよい（この場合、言い換えるならば「統合」というより、選択注視領域といった方が正確であるが、以下に述べる意味合いも込めて「統合注視領域」としている）し、複数の注視領域群の和集合をとって、統合注視領域として、現在カメラで撮影している映像中に発生している注視領域がすべて収まるようにしてもよい。さらに、注視領域それぞれの重心（実空間上の重心）を求め、この重心の平均値を求め、さらにまた、共分散を求めて、この共分散の値に基づいて、統合注視領域を求めるとしてもよい。

そして、カメラ制御装置は、制御手段によって、注視領域統合手段で統合された統合注視領域とセンサからの計測値とに基づいて、駆動機構を制御する。この制御手段では、例えば、統合注視領域および計測値から、まず、駆動機構が駆動する際の指標となる制御目標値を算出し、この制御目標値と計測値とに基づいて、実際に駆動機構に入力する値となる制御入力値を算出する。さらに、この制御入力値に基づいて駆動機構に伝送するための信号となる駆動用信号（アクチュエータ駆動用信号）を生成して、この駆動用信号を駆動機構に出力することで制御する。

請求項２に記載のカメラ制御装置は、請求項１に記載のカメラ制御装置において、前記注視領域選定手段が、入力された入力データに基づいて、前記注視領域および前記重要度を設定することを特徴とする。

かかる構成によれば、カメラ制御装置は、注視領域選定手段に入力データとして、直接、注視領域および重要度を入力することで、当該装置の操作者が所望する複数の操作目的を設定することができる。なお、この入力データは、例えば、キーボードやマウス等の入力デバイスによって数値として入力してもいい、表示させた画像を見てマウス等により枠で囲む、差し示す等により視覚によって入力してもいい。

請求項３に記載のカメラ制御装置は、請求項１に記載のカメラ制御装置において、前記注視領域選定手段が、前記カメラで撮影している画像を、画像解析した結果に基づいて、予め設定した所定範囲内の画像の特徴量を有する領域を前記注視領域として設定し、前記画像解析の仕方により予め設定しておいた算出手法により求めた前記重要度を設定することを特徴とする。

かかる構成によれば、カメラ制御装置は、注視領域選定手段がカメラで撮影している画像に応じて、様々な画像解析の仕方の中から設定された画像解析を実行し、この画像解析した結果に基づいて、所定範囲内の特徴量を有する領域を注視領域として設定する。また、画像解析の仕方により予め設定しておいた算出手法、例えば、簡便のために、注視領域と予め設定した数値とを対応づけておくといった手法でもいいし、画像解析した結果と関数等を介して直接的に関連づけた手法でもいい。

請求項４に記載のカメラ制御装置は、請求項１に記載のカメラ制御装置において、前記注視領域選定手段が、前記計測値を参照して、前記カメラの撮影状態から推測される現在の撮影領域と、この現在の撮影領域以外の領域との違いにより、前記重要度が変化するように設定することを特徴とする。

かかる構成によれば、カメラ制御装置は、計測値を参照して、カメラが現在どの方向を向いていて、どのようなフォーカスで注視領域を撮影しているのかを検出して、例えば、このカメラが現在向いている方向に存在している注視領域の重要度が高くなるように設定したりすることで、当該カメラが無駄な動きをしないように制御している。

請求項５に記載のカメラ制御プログラムは、駆動機構に取り付けられたカメラの動作を、当該カメラの撮影状態を検出するセンサからの計測値を用いて制御するために、コンピュータを、注視領域選定手段、注視領域統合手段、制御手段、として機能させる構成とした。

かかる構成によれば、カメラ制御プログラムは、注視領域選定手段によって、カメラで撮影している画像において、予め設定した条件に従って注視対象となる被写体が含まれている複数の注視領域を選定すると共に、画像における重要な度合いを示す重要度を条件に対応した注視領域ごとに設定する。続いて、カメラ制御プログラムは、注視領域統合手段によって、注視領域設定手段で設定された複数の注視領域である注視領域群を、重要度に応じた統合注視領域に統合する。そして、カメラ制御プログラムは、制御手段によって、注視領域統合手段で統合された統合注視領域と計測値とに基づいて、駆動機構を制御する。

請求項１，５に記載の発明によれば、複数の注視領域を重要度に応じて統合することで、重要度の高い注視領域を重点的に撮影しながら、他の注視領域も適度に撮影して、１台のカメラによって複数の撮影目的を処理することができるように当該カメラの動作を制御することができる。例えば、統合注視領域が表示装置に表示される際に、当該表示装置の表示画面内において適切な表示サイズで表示可能なように、カメラのアングル（パン、チルト、ズーム、フォーカスの少なくとも１つ）を制御することができる。

請求項２に記載の発明によれば、入力データとして、直接、注視領域および重要度を入力することで、当該装置の操作者が所望する複数の操作目的を設定することができる。

請求項３に記載の発明によれば、カメラで撮影している画像に応じて、様々な画像解析の仕方の中から設定された画像解析を実行し、この画像解析した結果に基づいて、所定範囲内の特徴量を有する領域を注視領域として設定することで、個々の注視領域に対応した撮影目的を処理することができる。

請求項４に記載の発明によれば、計測値を参照して、カメラが現在どの方向を向いていて、どのようなフォーカスで注視領域を撮影しているのかを検出して、統合注視領域を撮影するようにしているので、１台のカメラによって効率よく撮影目的を処理することができる。

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
〈カメラ制御装置の構成〉
図１はカメラ制御装置のブロック図である。この図１に示すように、カメラ制御装置１は、カメラ（図示せず）の動作を制御するもので、複数の注視領域選定手段３（３−１、３−２、３−３、・・・、３−Ｎ：Ｎは自然数）と、注視領域統合手段５と、制御手段７とを備えている。

このカメラ制御装置１で制御されるカメラ（図示せず）は、ここでは、テレビ等で用いられる映像を撮影するものであり、遠隔操作可能に構成される、いわゆるロボットカメラである。そして、このカメラは、駆動機構（図示せず）に取り付けられており、この駆動機構によって、カメラの動き、パン、チルト、ズームおよびフォーカスが制御されている。なお、厳密に言うと、ズームおよびフォーカスの制御は、カメラの内部機構によって行われるものであるが、この駆動機構で包括しているものとして説明する。

また、このカメラ制御装置１には、カメラの動きを検出するセンサ２が接続されている。このセンサ２は、カメラの姿勢、レンズの画角、焦点位置を測定するためのものである。このセンサ２には、カメラが固定されている雲台のパン角（左右方向に基準線から開いた角度）を検出するパン角センサ２ａと、カメラのチルト角（上下方向に基準線から開いた角度）を検出するチルト角センサ２ｂと、カメラのズーム量（ズームレンズの画角）を検出するズームセンサ２ｃと、カメラに内蔵されているレンズの焦点位置（フォーカス）を検出するフォーカスセンサ２ｄとが含まれている。なお、これ以外のセンサ２として、カメラのロール角や、カメラの位置を測定するものを備えていてもよい。

例えば、パン角センサ２ａおよびチルト角センサ２ｂは、雲台に取り付けられたロータリエンコーダ、ポテンショメータまたはジャイロセンサによって構成することができる。ズームセンサ２ｃおよびフォーカスセンサ２ｄは、ズームリングおよびフォーカスリングの回転角をロータリエンコーダ、ポテンショメータで読みとる方式によって構成することができる。この他に、ズームセンサ２ｃおよびフォーカスセンサ２ｄは、カメラのレンズ摺動部に設置されるリニアセンサを用いることができる。また、カメラが設置されるスタジオの壁、床、天井等に描かれた幾何学パターンを解析し、当該カメラの現在位置と対比することで、パン、チルト、ズーム、フォーカスの情報を得る既存のシステムを用いてもよい。

以下、センサ２のパン角センサ２ａおよびチルト角センサ２ｂは各角度値を出力し、ズームセンサ２ｃは焦点距離を出力し、フォーカスセンサ２ｄは合焦位置までの距離を出力するものとして説明する。なお、センサ２からこれらの数値を、カメラ制御装置１に出力する場合には、関数代入またはルックアップテーブルを参照して変換するものとしている。

さらに、カメラ制御装置１には、入力データとして、カメラ制御装置１には、画像データ、音声データ、テキストデータの少なくとも１つが入力されている。これらの入力データは、１つまたは複数の他のカメラ、音声収録装置、テキストデータの入力装置から入力されたものであり、これらの入力データが注視領域選定手段３に入力されている。１つまたは複数の他のカメラから入力された画像データとは、当該装置１で動作を制御しているカメラ以外のカメラからの映像である。また、音声収録装置から入力された音声データとは、例えば、当該装置１で動作を制御しているカメラがスポーツ映像を撮影しているのであれば、スポーツを観戦している観客の歓声やアナウンサーの解説等である。また、入力装置から入力されたテキストデータとは、当該装置１で動作を制御しているカメラがスポーツ映像を撮影しているのであれば、テロップとして当該スポーツ映像と共に表示されるものである。

なお、ここでは、入力データの１つとして、１または複数の他のカメラから入力された画像データを用いているが、当該装置１で動作を制御しているカメラからの映像を用いてもよい。ただし、この場合、当該装置１で動作を制御しているカメラで撮影できていない箇所、例えば、サッカー等のスポーツ映像であれば、一人の選手をズームした場合、他のプレーが撮影できていないので、この撮影できていない箇所で発生すること（他の注視領域）が当該カメラの動作に反映されないことになってしまう。そこで、この場合、注視領域選定手段３は、音声データやテキストデータ等を活用して、他の注視領域を選定し、動作の制御に役立てることができる。

これより、カメラ制御装置１の各構成の説明をする。
注視領域選定手段３は、カメラで撮影している映像に含まれる画像において、注視対象となる被写体（人物、物体等）が含まれている注視領域を選定すると共に、予め設定した条件に従って画像における重要な度合いを示す重要度を注視領域ごとに設定するものである。この注視領域選定手段３は、それぞれの注視領域選定手段（３−１〜３−Ｎ）が別個に注視領域を選定（設定）し、それぞれ独立して注視領域を追跡することができる。

注視領域とは、カメラで撮影している場所（実空間上における場所）の中で、注視すべき場所を表す数量を指しているものである。例えば、注視領域は、実空間上の１点の座標をもって表現することができる。また、注視領域は、「拡がりを有する領域」として表現することができる。つまり、注視領域を任意の形状としてもいいし、パラメトリックな形状表現で表す場合、１点の座標から所定半径の球体内部を注視領域としてもいいし、８個の頂点を指す座標からなる直方体または立方体を注視領域としてもよい。

また、この注視領域は、当該装置１に備えられた注視領域選定手段３の数だけ選定することができる。例えば、カメラで撮影している映像がサッカー映像である場合に、注視領域ａ１として、「コーナーキックを行う選手」を選定し、注視領域ａ２として、「フリーキックを行う選手」を選定し、注視領域ａ３として、「３人以上の選手が密集している領域」を選定するなど、当該装置１の操作者によって如何様にも選定することが可能である。つまり、当該装置１の操作者は、注視領域の数と撮影目的の数とを１対１に対応させることもできるし、１つの撮影目的を達成するために、複数の注視領域を選定することも可能である。

なお、この注視領域選定手段３の数が増加するほど、１台のカメラが無駄なく的確に動作する必要が生じ、当該カメラの動作について、綿密なスケジューリングを施す必要がある。そして、これによって、カメラ制御装置１によって動作が制御されたカメラは、複数の撮影目的を達成することができる。

重要度は、予め設定した数値（実数値）で表してもいいし、時間率フィルタの時間率出力（本願発明者が発明し出願した特願２００５−１０８０９４）に基づいて設定してもよい。なお、この重要度は、注視領域の選定の仕方によって、異なってくるので、以下に述べる注視領域の選定の説明の中で併せて説明することとする。

注視領域の選定の仕方は、大きく３つに分類することができる。１つには当該装置１の操作者が手動で入力する場合（１）、２つには画像解析の結果を用いる場合（２）、３つにはセンサ２から出力された計測値を加味する場合（３）である。

《注視領域、重要度の選定：操作者が手動》
（１）カメラ制御装置１の操作者が手動で注視領域および重要度を入力する場合について、図２を参照して説明する。図２は、カメラで撮影している映像を表示画面に表示させて、操作者が注視領域を選定する場合を示した図である。この図２では、カメラで撮影している映像がサッカーの映像であり、ゴールポスト前に選手の集団が形成されて、攻撃側の選手がコーナーキックをするシーンを示したものである。図２（ａ）に示したように、当該装置１の操作者は、注視領域を指定する際に、キーボードやマウス等の入力装置を用いて、「指定枠」で該当する被写体（この例では、コーナーキックを行う選手）を特定し注視領域としている。この注視領域を拡大したものを図２（ｂ）に示している。なお、図２（ａ）において、点線で示した「指定枠」を選択した場合、「ゴール前に集まる選手群」が注視領域として選定されることになる。

さらに、図２（ｃ）に示すように、キーボードやマウス等の入力装置を用いて、所定の操作を行って、「注視領域入力ウインドウ」を開いて、注視対象を含むように画像座標Ｙ（ｙ１，ｙ２）を入力する。この画像座標Ｙを実空間座標Ｘ（ｘ１，ｘ２，ｘ３）に変換して注視領域Ｆを特定する。または、「注視領域入力ウインドウ」にて、ＲＧＢの値を入力することで、所定以上の面積が特定の色を持つ領域を注視領域として特定する。

ここで、注視領域Ｆと、画像座標Ｙと、実空間座標Ｘとの関係を数式として示すと、次の数式（１）のようになる。

この数式（１）において、ｈ^−１は画像座標Ｙに対応する実空間座標Ｘを算出する関数である。例えば、画像座標Ｙに対応する実空間上の視線ベクトルｖを求め、この視線ベクトルｖと地面との交点を求め、当該交点を実空間座標Ｘ（この場合、ｘ３はゼロ）とすることができる。

さらに、注視領域Ｆが空間的に拡がりを持つよう、例えば、実空間座標Ｘと予め設定した半径ｒとにより決定される球体内部を、次の数式（２）により注視領域Ｆとして設定してもよい。なお、この数式（２）において、Ｒ（イタリック調）は実数体である。

そして、カメラ制御装置１の操作者は、キーボードやマウス等の入力装置を用いて、注視領域ごとに重要度を、直接、数値（操作者が自由に設定）として入力する。例えば、入力装置の一つとして筆圧感知機能付きペンタブレットを用い、このペンタブレットによって注視領域Ｆを入力する場合、感知された筆圧に応じて重要度Ｗを設定するようにしてもよい。つまり、実際の入力の仕方としては、操作者が付属のペンによって、ペンタブレットを強く押した場合（筆圧を大きくした場合）、重要度Ｗが大きくなるようにしておけばよい。

《注視領域、重要度の選定：画像解析による》
（２）カメラ制御装置１の注視領域選定手段３が画像解析を行って、注視領域を選定する場合について説明する。
注視領域選定手段３は、当該装置１に入力される入力データの中の画像データを用いて、画像解析（例えば、画像認識）を行う。例えば、この注視領域選定手段３に、サッカー等のスポーツ映像を解析する装置である「映像解析装置および映像解析プログラム」（特願２００５−１０８０９４）を採用することができる。

この映像解析装置を注視領域選定手段３に採用する場合、例えば、サッカー等のスポーツ映像を解析して、例えば、現在のシーンが「コーナーキック」である判定された場合、次に示す数式（３）を用いて、実座標Ｘ（ｍ）を設定する。

そして、例えば、この実座標Ｘ（ｍ）を中心にして、数式（２）によって設定される球体内部を注視領域Ｆとすることができる。この場合、注視領域Ｆごとに、予め設定した実数値を、重要度Ｗとして与えてもいいし、重要度Ｗを固定せず、例えば「映像解析装置および映像解析プログラム」（特願２００５−１０８０９４）における時間率フィルタの時間率出力に基づいて、重要度Ｗが経過時間に伴って変化するように設定してもよい。

また、注視領域選定手段３に、サッカーのオフサイドライン位置を推定する装置「オフサイドライン検出装置及びそのプログラム、並びに、選手位置検出装置」（特願２００４−２３０７８４）を採用することができる。

これらオフサイドライン検出装置または選手位置検出装置を注視領域選定手段３に採用する場合、例えば、サッカー等のスポーツ映像を解析して、オフサイドラインの座標に基づいて注視領域Ｆを設定することができ、或いは、選手位置の座標に基づいて注視領域Ｆを設定することができる。オフサイドライン検出装置を採用した場合、いずれか一方のオフサイドラインが、実空間上に線分として描かれるので、この線分をもって注視領域Ｆとすることができる。

また、選手位置検出装置を採用した場合、検出された選手位置の座標（選手位置群）に基づいて、選手が密集する領域を特定し、この領域を注視領域Ｆとして設定することができる。例えば、サッカー映像に含まれる画像中にＬ人の選手ｉ（ｉ＝１、２、３、・・・、Ｌ：Ｌ個の映像オブジェクト）が抽出され、各選手の座標ｘ_ｉ、速度ｖ_ｉであったとする。そうすると、このとき、ある一定時間（時間Δｔ）後の各選手の位置ｐ_ｉを、次に示す数式（４）を用いて予測する。

続いて、各選手ｉに関して、その近傍（半径ρ）の内部にいる他の選手の人数を数えて、その結果をＭ_ｉとし、次に示す数式（５）で表す。

そして、最大のＭｉに含まれている一人の選手を選択し、当該選手の実空間上における座標に基づき、注視領域Ｆを設定する。また、重要度Ｗを、当該選手の近傍の選手数に応じた関数を用いて、次に示す数式（６）のように設定する。なお、この数式（６）において、Ｒ（イタリック調）は実数体である。

ここでは、ある選手の近傍に、他の選手の人数が多い場合に、ある選手を含む周囲（ここでは、球体としている）を注視領域Ｆとして設定しているが、これに限定されるものではない。例えば、選手位置検出装置を採用した注視領域選定手段３は、サッカーの競技場を、格子状に領域分割し、最も選手が多く含まれる格子領域を注視領域Ｆとして設定する。また、例えば、選手位置検出装置を採用した注視領域選定手段３は、選手位置群の分布を、ガウス混合モデル等で近似し、当該ガウス混合モデルを構成する一つのガウシアンの中心と共分散とに基づいて、注視領域Ｆを設定することができる。

さらに、注視領域選定手段３に、人物識別と当該人物の追跡を同時に実行する装置「映像オブジェクト識別・追跡装置、その方法及びそのプログラム」（特願２００２−２７２４５０）を採用することができる。
この映像オブジェクト識別・追跡装置を注視領域選定手段３に採用する場合、例えば、サッカー等のスポーツ映像を解析すると、スポーツ映像中で何らかの動きがある領域を追跡し、この追跡している領域を映像オブジェクトとして捉え、この映像オブジェクトに対し、顔画像認識や背番号認識等の被写体識別手法により、識別子を自動的に付与することになる。

例えば、スポーツ映像中の、ある領域（被写体）の追跡には成功しているものの、未だ認識されていない領域がある場合、当該未識別の被写体の実座標を注視領域とすることができる。

《注視領域、重要度の選定：センサから出力された計測値を加味》
（３）注視領域選定手段３が、注視領域Ｆや重要度Ｗを選定する場合に、センサ２から出力された計測値を加味する場合について説明する。注視領域選定手段３は、例えば、現在、カメラが向いている方向やズーム量によって、現時点のカメラアングルから、撮影されている視野（画角）に近い領域に限定して注視領域を設定することができる。

また、注視領域選定手段３は、現時点のカメラアングルから、撮影されている視野の近くに位置する注視領域の重要度を大きく（或いは小さく）、撮影されている視野の遠くに位置する注視領域の重要度を小さく（或いは大きく）設定することができる。この場合、カメラアングルの変化（カメラの動作）を小さく抑える（逆に、敢えてカメラアングルの変化を大きくする）ことができる。

注視領域統合手段５は、注視領域選定手段３から出力された注視領域Ｆ（注視領域群）および各注視領域Ｆに対応した重要度Ｗに基づいて、注視領域Ｆを統合し、最終的な注視領域である統合注視領域Ｇを出力するものである。

この注視領域統合手段５では、Ｎ個（３−１〜３−Ｎ）の注視領域設定手段３から入力された注視領域Ｆ_ｉ（ｉ＝１、２、３、・・・、Ｎ）について、次に示す数式（７）に基づいて、重要度Ｗ_ｉが最大の注視領域Ｆ_ｉを、統合注視領域Ｇとして出力することができる。

この場合、注視領域統合手段５では、注視領域群を統合しているわけではなく、重要度Ｗ_ｉを優先順位と見なして、後の処理を単純化している。

また、注視領域統合手段５は、次に示す数式（８）に基づいて、重要度Ｗ_ｉが閾値θ以上の注視領域Ｆ_ｉの和集合を、統合注視領域Ｇとして出力することができる。

この統合注視領域Ｇでは、例えば、注視領域「コーナーキックを行う選手」と、注視領域「ゴール前に集まる選手群」とが同時に発生した場合、これらの注視領域が一つの画面に収まるようになる。この場合、注視領域統合手段５で統合された統合注視領域として、閾値θ以上の重要度Ｗ_ｉを有しているすべての注視領域Ｆ_ｉが、１つの画面に収められるので、カメラ制御装置１で制御しているカメラによって撮影した映像では、構図が曖昧になる（何を撮影しているのかわからなくなる）といった事態が生じ得る。そこで、統合注視領域Ｇを出力する際に、数式（７）によって統合（選択）した統合注視領域Ｇを参照して行うようにすればよい。例えば、数式（７）によって統合した統合注視領域Ｇと、数式（８）によって統合した統合注視領域Ｇとを所定時間ずつ交互に出力したりすればよい。

さらに、注視領域統合手段５は、重要度Ｗ_ｉを重みとして、次に示す数式（９）に基づいて、複数の注視領域Ｆ_ｉの重心の平均および共分散を求め、当該平均および共分散に基づいて設定される領域を、統合注視領域Ｇとすることができる。

この数式（９）では、重み付き平均μおよび共分散Σに基づいて、マハラノビス測定（複数の注視領域Ｆ_ｉの分散を考慮した注視領域同士の距離測定）によって半径Ｒの楕円体を求め、この楕円体の内部を統合注視領域Ｇとしている。なお、この数式（９）において、ｇ_ｉは実空間上の座標であり、Ｒ（イタリック調）は実数体である。

この場合、注視領域統合手段５で統合された統合注視領域Ｇには、同時に発生しているすべての注視領域を網羅しているとは限らないが、カメラ制御装置１で制御しているカメラによって撮影した映像は、最適な構図（何を撮影しているのかが明確になる）と成りうる。

制御手段７は、注視領域統合手段５から出力された統合注視領域Ｇと、センサ２からの出力（パン角およびチルト角の各角度値、焦点距離、合焦位置までの距離）と、入力されたカメラの設置位置および基準姿勢に関する情報とから、駆動機構を駆動させる際の制御目標値を算出すると共に、当該カメラの動作を制御するもので、制御目標値算出手段７ａと、パン角制御手段７ｂと、チルト角制御手段７ｃと、ズーム制御手段７ｄと、フォーカス制御手段７ｅと、パン角駆動手段７ｆと、チルト角駆動手段７ｇと、ズーム駆動手段７ｈと、フォーカス駆動手段７ｉとを備えている。

制御目標値算出手段７ａは、駆動機構を駆動させる際の制御目標値、すなわち、パン角の制御目標値、チルト角の制御目標値、ズームの制御目標値、フォーカスの制御目標値を算出するものである。

パン角の制御目標値およびチルト角の制御目標値は、カメラの設置位置および基準姿勢に固定した極座標系によって、統合注視領域Ｇの重心を測定することで算出される。
ズームの制御目標値は、得られたパン角の制御目標値およびチルト角の制御目標値に基づいて、カメラを動かした際に、統合注視領域Ｇの像が所望の面積となるように算出される。

このズームの制御目標値を焦点距離φ（ｍｍ）とすると、この焦点距離φは、例えば、次に示す数式（１０）を用いて算出される。この数式（１０）において、焦点距離φは、所望の撮影面積がＳとし、パン角の制御目標値およびチルト角の制御目標値で示される方向にカメラを向けた際に、焦点距離１ｍｍのレンズで撮影した際の統合注視領域Ｇの像を、透視投影法により求めて、当該像の面積Ｓ_１を計測した場合に求めたものである。

フォーカスの制御目標値は、カメラの設置位置と、統合注視領域Ｇの重心までの距離とに基づいて算出される。

なお、制御目標値算出手段７ａは、これらの制御目標値を算出する以外に、例えば、カメラのロール角を制御するロール角制御手段（図示せず）への制御目標値や、カメラの位置を制御するカメラ位置制御手段（図示せず）への制御目標値を算出してもよい。

パン角制御手段７ｂは、制御目標値算出手段７ａで算出されたパン角の制御目標値に基づいて、パン角駆動手段７ｆに出力する制御入力値を求めるものである。
チルト角制御手段７ｃは、制御目標値算出手段７ａで算出されたチルト角の制御目標値に基づいて、チルト角駆動手段７ｇに出力する制御入力値を求めるものである。

ズーム制御手段７ｄは、制御目標値算出手段７ａで算出されたズームの制御目標値に基づいて、ズーム駆動手段７ｈに出力する制御入力値を求めるものである。
フォーカス制御手段７ｅは、制御目標値算出手段７ａで算出されたフォーカスの制御目標値に基づいて、フォーカス駆動手段７ｉに出力する制御入力値を求めるものである。

これらパン角制御手段７ｂ、チルト角制御手段７ｃ、ズーム制御手段７ｄおよびフォーカス制御手段７ｅ（以下、これらをまとめて、制御手段７ｂ〜７ｅという）では、例えば、ＰＩＤ制御則（比例・積分・微分制御則）を適用している。ここで、これらの制御手段７ｂ〜７ｅにおける、パン、チルト、ズームおよびフォーカスの制御対象の中で、１つの制御対象に注目して、次に示す数式（１１）のように定式化した場合について説明する。これらの制御手段７ｂ〜７ｅにおいて、時刻ｔにおける制御目標値をｙ（ｔ）、制御目標値ｙ＾（ｔ）とした場合、制御入力値ｚ（ｔ）とする。

この数式（１１）において、Ｋ_ｐ、Ｋ_ｉおよびＫ_ｄは、それぞれ比例ゲイン、積分ゲインおよび微分ゲインである。なお、制御入力値は、駆動機構によっては、所定範囲内の数値でなければならない場合があったり、離散量でなければならない場合があったりする。このよう場合、数式（１１）で求められた制御入力値について、上下限を設定しておき所定範囲内に収まるようにしたり、適当な間隔で量子化したりすればよい。

例えば、パン角駆動手段７ｆ、チルト角駆動手段７ｇ、ズーム駆動手段７ｈおよびフォーカス駆動手段７ｉ（以下、これらをまとめて、駆動手段７ｆ〜７ｉという）への制御入力値として、入力可能な値が−１２８〜１２７の整数値に限定される場合には、次に示す数式（１２）を用いて、制御入力値が算出される。

この数式（１２）を用いて求められた制御入力値ｚ_ｑを駆動手段７ｆ〜７ｉに入力すればよい。

パン角駆動手段７ｆは、パン角制御手段７ｂで求められた制御入力値に基づいて、パン角を操作する駆動機構を駆動させるものである。
チルト角駆動手段７ｇは、チルト角制御手段７ｃで求められた制御入力値に基づいて、チルト角を操作する駆動機構を駆動させるものである。

ズーム駆動手段７ｈは、ズーム制御手段７ｄで求められた制御入力値に基づいて、ズームを操作する駆動機構を駆動させるものである。
フォーカス駆動手段７ｉは、フォーカス制御手段７ｅで求められた制御入力値に基づいて、フォーカスを操作する駆動機構を駆動させるものである。

これら駆動手段７ｆ〜７ｉでは、例えば、駆動機構に、ステッピングモータ、超音波モータ、誘導モータ等を用いている場合には、制御入力値の絶対値に比例する周波数で、且つ、当該制御入力値の符号に応じた位相により、これらを駆動させることができる。

また、これら駆動手段７ｆ〜７ｉでは、例えば、駆動機構に、直流モータを用いている場合には、制御入力値に比例する電流により、これらを駆動させることができる。さらに、駆動手段７ｆ〜７ｉでは、駆動機構の動作速度を別のセンサによって監視し、当該動作速度が制御入力値に比例するようにフィードバック制御を行うことも可能である。

このカメラ制御装置１によれば、注視領域統合手段５によって、複数の注視領域を重要度に応じて統合することで、重要度の高い注視領域を重点的に撮影しながら、他の注視領域も適度に撮影して、１台のカメラによって複数の撮影目的を処理することができるように、制御手段７によってカメラの動作を制御することができる。また、重要度の同じ注視領域を複数設定しておいた場合でも、これらの注視領域がすべて収まるようにカメラの動作を制御することができる。

また、このカメラ制御装置１によれば、注視領域選定手段３に、入力データとして、直接、注視領域および重要度を入力することで、当該装置１の操作者が所望する複数の操作目的を設定することができる。

さらに、このカメラ制御装置１によれば、注視領域選定手段３によって、カメラで撮影している画像に応じて、様々な画像解析の仕方の中から設定された画像解析を実行し、この画像解析した結果に基づいて、所定範囲内の特徴量を有する領域を注視領域として設定することで、個々の注視領域に対応した撮影目的を処理することができる。

さらにまた、このカメラ制御装置１によれば、注視領域選定手段３が、センサ２で計測された計測値を参照して、カメラが現在どの方向を向いていて、どのようなズーム、フォーカスで注視領域を撮影しているのかを検出して、統合注視領域を撮影するようにしているので、１台のカメラによって効率よく撮影目的を処理することができる。

〈カメラ制御装置の動作〉
次に、図３に示すフローチャートを参照して、カメラ制御装置１の動作について説明する（適宜、図１参照）。
まず、カメラ制御装置１は、入力データとして、他のカメラまたは当該装置１の制御対象としているカメラ（以下、制御対象カメラという）から入力された画像データ（映像）、音声データ、テキストデータと、センサ２で計測された計測値とを注視領域選定手段３に入力する（ステップＳ１）。なお、センサ２で計測された計測値は、制御手段７にも入力される。

続いて、カメラ制御装置１は、注視領域選定手段３によって、注視領域を選定（設定）すると共に、注視領域ごとの重要度を設定する（ステップＳ２）。なお、ここでは、注視領域および重要度は、手動によって設定されもよいし、画像解析によって設定されてもよいし、センサ２からの計測値を加味して設定してもよい。

そして、カメラ制御装置１は、注視領域統合手段５によって、注視領域選定手段３によって出力された複数の注視領域（注視領域群）を統合し、統合注視領域として、制御手段７に出力する（ステップＳ３）。そして、カメラ制御装置１は、制御手段７の制御目標値算出手段７ａによって、制御目標値を算出し、制御手段７ｂ〜７ｅにより制御入力値を求め、駆動手段７ｆ〜７ｉによって制御対象カメラの動作を制御する（ステップＳ４）。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、カメラ制御装置１として説明したが、当該装置１の各構成の処理を実現するように、汎用的または特殊なコンピュータ言語によって記述したカメラ制御プログラムとして構成することも可能である。この場合、カメラ制御装置１と同様の効果を得ることができる。

本発明の実施形態に係るカメラ制御装置のブロック図である。 手動により注視領域を設定する場合について示した模式図である。 図１に示したカメラ制御装置の動作を説明するためのフローチャートである。

符号の説明

１ カメラ制御装置
２ センサ
３ 注視領域選定手段
５ 注視領域統合手段
７ 制御手段

Claims (5)

1. 駆動機構に取り付けられたカメラの動作を、当該カメラの撮影状態を検出するセンサからの計測値を用いて制御するカメラ制御装置であって、
   前記カメラで撮影している画像において、予め設定した条件に従って注視対象となる被写体が含まれている複数の注視領域を選定すると共に、前記画像における重要な度合いを示す重要度を前記条件に対応した前記注視領域ごとに設定する注視領域選定手段と、
   この注視領域設定手段で設定された複数の注視領域である注視領域群を、前記重要度に応じた統合注視領域に統合する注視領域統合手段と、
   この注視領域統合手段で統合された統合注視領域と前記計測値とに基づいて、前記駆動機構を制御する制御手段と、
   を備えることを特徴とするカメラ制御装置。
2. 前記注視領域選定手段は、
   入力された入力データに基づいて、前記注視領域および前記重要度を設定することを特徴とする請求項１に記載のカメラ制御装置。
3. 前記注視領域選定手段は、
   前記カメラで撮影している画像を、画像解析した結果に基づいて、予め設定した所定範囲内の画像の特徴量を有する領域を前記注視領域として設定し、前記画像解析の仕方により予め設定しておいた算出手法により求めた前記重要度を設定することを特徴とする請求項１に記載のカメラ制御装置。
4. 前記注視領域選定手段は、
   前記計測値を参照して、前記カメラの撮影状態から推測される現在の撮影領域と、この現在の撮影領域以外の領域との違いにより、前記重要度が変化するように設定することを特徴とする請求項１に記載のカメラ制御装置。
5. 駆動機構に取り付けられたカメラの動作を、当該カメラの撮影状態を検出するセンサからの計測値を用いて制御するために、コンピュータを、
   前記カメラで撮影している画像において、予め設定した条件に従って注視対象となる被写体が含まれている複数の注視領域を選定すると共に、前記画像における重要な度合いを示す重要度を前記条件に対応した前記注視領域ごとに設定する注視領域選定手段、
   この注視領域設定手段で設定された複数の注視領域である注視領域群を、前記重要度に応じた統合注視領域に統合する注視領域統合手段、
   この注視領域統合手段で統合された統合注視領域と前記計測値とに基づいて、前記駆動機構を制御する制御手段、
   として機能させることを特徴とするカメラ制御プログラム。

Images