JP5317607B2 - 自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法 - Google Patents

Description

本発明は、追尾対象物を追尾する自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法に関するものである。

カメラにパン及びチルトの旋回動作が可能な電動雲台が取り付けられた電動雲台カメラは、遠隔から雲台制御、カメラ制御が可能なようにケーブル又は無線を介して操作器が接続されている。操作者はモニタに表示される映像を見ながら、この操作器を操作してカメラや電動雲台を制御している。

近年、雲台カメラに画像認識技術を搭載して、被写体を自動追尾する自動追尾カメラシステムが使用されている。このようなシステムでは、自動追尾を行う前に追尾被写体を選定し、選定された被写体の画面の出力位置を設定することが必要である。

この設定方法として、特許文献１では操作者が遠隔に設置されたコンソールから画面内の設定位置及び注目点を入力することが開示されている。特許文献２では、被写体の選定は記載されていないが、設定器を設けて出力位置を設定することが開示されている。

特開２００２−１９１０４６号公報 特開平８−７４２９６号公報

特許文献１では、操作者が手動操作を行うべき場合には、別に操作器の接続が必要となる。操作者は手動操作を行う場合は操作器を操作し、追尾を行う設定の場合にはコンソールから操作しなければならないので操作が複雑となる。

特許文献２では、操作器に新たに設定器を設けており、これも操作者が設定器の操作を行わなければならない。

本発明の目的は、上述の問題点を解消し、操作者が簡単な操作で手動操作も自動追尾時の被写体の選定、画面上の出力すべき位置の設定ができる自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法を提供することにある。

上記目的を達成するための本発明に係る自動追尾カメラの制御装置は、自動追尾カメラの制御装置であって、画面上において追尾する追尾被写体を選定する被写体選定手段と、前記被写体選定手段による前記追尾被写体の選定後に、前記追尾被写体の出力位置を示す出力位置設定マークを前記画面上に表示する表示手段と、前記画面上において前記出力位置設定マークを移動させ、前記出力位置設定マークの位置を、前記追尾被写体を出力する位置として設定する出力位置設定手段と、該出力位置設定手段により設定された位置に前記追尾被写体の画像を出力するように、前記自動追尾カメラを駆動するための駆動信号を出力する信号出力手段とを備えることを特徴とする。

また、本発明に係る自動追尾カメラシステムは、カメラと、該カメラを搭載した雲台と、画面上において追尾する追尾被写体を選定する被写体選定手段と、前記被写体選定手段による前記追尾被写体の選定後に、前記追尾被写体の出力位置を示す出力位置設定マークを表示する表示手段と、前記画面上において前記出力位置設定マークを移動させ、前記出力位置設定マークの位置を、前記追尾被写体を出力する位置として設定する出力位置設定手段と、該出力位置設定手段により設定された位置に前記追尾被写体の画像を出力するように、前記カメラ及び前記雲台の少なくとも一方を駆動制御する制御手段とを備えることを特徴とする。

更に、本発明に係る自動追尾カメラの制御方法は、画面上において追尾する追尾被写体を選定する被写体選定ステップと、前記被写体選定ステップによる前記追尾被写体の選定後に、前記追尾被写体の出力位置を示す出力位置設定マークを表示する表示ステップと、前記画面上において前記出力位置設定マークを移動させ、前記出力位置設定マークの位置を、前記追尾被写体を出力する位置として設定する出力位置設定ステップと、該出力位置設定ステップにより設定された位置に前記追尾被写体の画像を出力するように、カメラ及び雲台の少なくとも一方を駆動するための駆動信号を出力する信号出力ステップとを備えることを特徴とする。

本発明に係る自動追尾カメラの制御装置及び自動追尾カメラシステム及び自動追尾カメラの制御方法によれば、操作者は簡単な操作で、自動追尾時の被写体選定、画面上の出力位置の設定が可能となる。

本発明を図示の実施例に基づいて詳細に説明する。

図１は実施例１の自動追尾カメラの制御装置の構成図である。図１において、ズーム、フォーカス機能等を有するレンズ付きカメラ１は、パンニングパン動作、パン駆動を行うパンニング及びチルト動作、チルト駆動を行うチルティングの旋回動作が可能な電動雲台２に取り付けられている。カメラ１、電動雲台２は遠隔に設置された操作器３により、ズーム、ゲイン調整などのカメラ制御、パン・チルト動作の雲台制御が行われるようになっている。

カメラ１のＣＣＤから出力される映像信号は、操作者の操作に基づいて、カメラ１及びカメラ１を搭載した電動雲台２を駆動する操作器３の画像信号処理部４に接続されている。操作器３内には、画像信号処理部４の他に、ＣＰＵ５、画像出力部６、雲台・カメラ制御インタフェース部７、モード切換ボタン８、操作部９、操作ボタン１０が設けられている。また、ＣＰＵ５内には顔認識部１１、追尾対象枠・出力位置設定枠生成部１２、制御演算部１３が内蔵されている。

画像信号処理部４の出力は、顔認識部１１、追尾対象枠・出力位置設定枠生成部１２を介して制御演算部１３に接続されている。また、追尾対象枠・出力位置設定枠生成部１２の出力は画像出力部６を介して操作器３外のモニタ１４に接続されている。本実施例では、外部モニタに接続しているが、操作器３の内部に液晶モニタ等の内部モニタを搭載して出力してもよい。制御演算部１３は雲台・カメラ制御インタフェース部７を介して電動雲台２と接続され、更に制御演算部１３にはモード切換ボタン８、操作部９、操作ボタン１０の出力が接続されている。

画像信号処理部４では、入力されたアナログ信号の映像信号がデジタル信号に変換され、ＣＰＵ５内部の顔認識部１１に入力する。本実施例では、顔認識によるパターンで人物の追尾を行うようにしているが、色、輪郭、動体認識等や他の既定のパターンによる認識技術を使用しても支障はない。顔認識部１１はテンプレートマッチング法等による顔認識技術で顔認識を行ったり、その他の既定のパターンを対象としたパターンマッチングを行ったりしている。本実施例では、画面中央部に近い顔を優先して認識するようにしている。その後に、追尾被写体Ｓの認識された顔の画面上の位置座標を追尾対象枠・出力位置設定枠生成部１２に入力し、認識された顔の位置座標を基に、図２に示すような追尾対象マークである追尾対象枠Ｆｔを生成する。

また、追尾被写体Ｓの画面上の出力すべき位置が設定された場合は、そのときの顔の位置座標を基に、図２に示すような出力位置設定マークである出力位置設定枠Ｆｐを生成する。ここで、本実施例では追尾対象枠Ｆｔ、出力位置設定枠Ｆｐを用いて画面に表示しているが、マークや矢印、色などの他の表示方法でもよい。

追尾対象枠・出力位置設定枠生成部１２により、入力画像に追尾対象枠Ｆｔ、出力位置設定枠Ｆｐを合成した信号は、画像出力部６に入力される。画像出力部６では、表示手段であるモニタ１４の映像入力フォーマットに対応したＤＶＩ、ＶＧＡ、ＮＴＳＣ等の映像信号に変換したモニタ信号を出力する。

操作部９は操作者が電動雲台２のパン・チルトを行う手動操作のためのジョイスティックや、矢印キーボタンなどが用いられている。雲台・カメラ制御インタフェース部７は操作器３とカメラ１、電動雲台２が既定の通信フォーマットで相互通信するためのものである。モード切換ボタン８は操作者が操作器３を通常モードの操作器として使用するのか、追尾モードの操作器として使用するのかの通常モード、追尾モードを選択するための切換手段としてのボタンである。

またＣＰＵ５では、モードに対応して操作部９、操作ボタン１０の機能を切換えている。本実施例では、既存のボタンの１つを長押しすることでモード切換が行えるようにして設定しているため、新たにモード切換用の操作ボタンを設ける必要はない。操作ボタン１０も既存の１つのボタンを利用して、ＣＰＵ５によってモードの選択や押す順番により機能が変わるように設定されている。本実施例ではこの操作ボタン１０に、オートフォーカスＯＮ／ＯＦＦ機能、追尾被写体Ｓを選定する被写体選定機能、追尾被写体Ｓの画面上での出力位置を設定する出力位置設定機能の３つの機能を割り当てている。

図３には、追尾被写体Ｓを選定し、追尾被写体Ｓを画面上の任意の設定位置に出力し、追尾が開始されるまでの手順についての制御方法を示したフローチャート図と各ステップに対応するモニタ画面を示している。ステップＳ１〜Ｓ１１はフローであり、（ａ）〜（ｅ）は主なフローでのモニタ１４における表示例である。

追尾を行うときは、操作者は先ず図１のモード切換ボタン８を押して追尾モードにする（ステップＳ１）。次に、操作部９で電動雲台２をパン・チルト動作させ、（ａ）のように追尾被写体Ｓをモニタ１４の画面中央付近に移動させる（ステップＳ２）。顔認識（ステップＳ３）がされると、（ｂ）のように追尾対象枠Ｆｔが顔周辺に破線で表示される（ステップＳ４）。追尾被写体Ｓが追尾対象枠Ｆｔで表示された追尾被写体Ｓで問題なければ、操作ボタン１０を押すことで選定され（ステップＳ５）、（ｃ）のように、追尾対象枠Ｆｔは実線で表示される（ステップＳ６）。このステップ６までが被写体選定ステップである。

続いて、再度操作部９で電動雲台２をパン・チルト動作させ、（ｄ）のように追尾被写体Ｓを画面の出力すべき位置に移動させる（ステップＳ７）。最後に、操作ボタン１０を押すと、出力位置が設定される（ステップＳ８）。このステップ８までが出力位置設定ステップである。

この出力位置設定ステップが完了すると、図３（ｅ）に示すように出力位置設定枠Ｆｐが撮影画像内に重ねて表示される（ステップＳ９）。上述の出力位置設定ステップ完了後に、画面上の出力位置設定ステップにおいて設定された出力位置に追尾被写体Ｓを出力するように、カメラ１、電動雲台２を駆動制御するための雲台／カメラ制御信号としての駆動信号を出力する。この結果、カメラ１の焦点距離を変化させるズーミング、電動雲台２のパン・チルト動作の少なくとも１つを制御することによって自動追尾を開始する（ステップＳ１０）。

追尾が開始されると、追尾被写体Ｓが設定された画面出力位置に至るように、ＣＰＵ５からの駆動信号が雲台・カメラ制御インタフェース部７を経由して電動雲台２に送信される。電動雲台２は駆動信号に従い自動でパン・チルト動作を行う。また、操作ボタン１０は通常モード時の機能に戻るが（ステップＳ１１）、本実施例ではオートフォーカスＯＮ／ＯＦＦ機能に戻る。また、通常モード時において、この操作ボタン１０によって、電動雲台２のパン・チルト動作を操作するように構成してもよい。

ここでは、このステップＳ１０において、駆動信号に従って電動雲台２がパン・チルト動作を行う旨の説明をしたがこの限りではない。例えば、駆動信号に従って、カメラ１のズーミングを行うこともできる。つまり、駆動信号はカメラ１に対するズーミング動作であってもよいし、電動雲台２によるカメラ１の向きを変化させるパン・チルト動作等であってもよい。

このように、ＣＰＵ５からの駆動信号は電動雲台２とカメラ１の少なくとも一方に送信され、その駆動信号に基づいて、電動雲台２とカメラ１のうちの少なくとも一方が駆動される。つまり、ＣＰＵ５の駆動信号に基づいて、電動雲台２がチルト動作をしたり、パン動作をしたり、カメラ１がズーミング動作をしたりすることによって、追尾する追尾被写体Ｓをモニタ１４の画面内の所望の位置に出力することができる。

図４は変形例の構成図であり、図１においては操作器３内に設けられていた顔認識部１１、追尾対象枠・出力位置設定枠生成部１２がカメラ１内のカメラＣＰＵ１５に内蔵され、更に画像出力部６もカメラ１側に設けられている。

このように、図１の操作器３の内部機能の一部をカメラ１に分割して配置したり、或いは別ユニットとしたりすることもできる。また、カメラ１と操作器３が一体となった装置とすることもできる。

本実施例においては、被写体選定ステップと、出力位置設定ステップと、信号出力ステップとの全てをＣＰＵ５に行っているが、これらをそれぞれ別個のＣＰＵにより実行するようにしてもよい。

図５は実施例２のフローチャート図である。本実施例２では、追尾被写体Ｓを選定する方法と、追尾被写体Ｓの出力位置設定方法が実施例１と異なっている。

本実施例２では、（ｆ）のように追尾被写体Ｓを画面の中央付近に移動させることを止め、画面上で最初に認識した追尾被写体Ｓに追尾対象枠Ｆｔを表示するようにする。その後に、操作部９を操作して（ｇ）のように追尾対象枠Ｆｔを追尾被写体Ｓに移動する（ステップＳ２４）。

実施例１では、操作部９により電動雲台２をパン・チルト動作させ、追尾被写体Ｓを画面の出力させたい位置に移動させている。しかし本実施例２では、追尾被写体Ｓの選定後に出力位置設定枠Ｆｐを表示し、（ｊ）のように出力位置設定枠Ｆｐだけを操作部９により移動させる（ステップＳ２８）。

追尾被写体Ｓの動きが速い場合は、操作部９で追尾対象枠Ｆｔ、出力位置設定枠Ｆｐだけを移動させているので、追尾被写体Ｓの動きが速い場合には有効である。また、操作部９で追尾対象枠Ｆｔ、出力位置設定枠Ｆｐを動かす方向と、パン・チルト動作として操作するときの方向を同じにしておくと、操作方向が同じになり、誤操作を防止することができる。

図６は実施例３のフローチャート図である。実施例１、２では、操作部９を操作して、対象の追尾被写体Ｓを画面の任意の位置に設定できるようにした。しかし、追尾被写体Ｓとカメラ１との被写体距離、ズーム位置つまり焦点距離、追尾被写体Ｓの移動速度によっては、出力すべき位置を画面の端に設定すると、追尾被写体Ｓが少し動いただけでも画面から外れ、追尾できなくなる場合がある。そこで本実施例３では、被写体距離、ズーム位置、被写体移動速度を基に画面出力位置の設定できる範囲に制約を持たせるようにしている。

図６のステップＳ４１〜Ｓ４６は、実施例１の図３のステップＳ１〜Ｓ６と同様である。ステップＳ４６で追尾対象枠Ｆｔが実線に変わると、ＣＰＵ５はカメラ１のオートフォーカス情報、ズーム位置情報を雲台・カメラ制御インタフェース部７を経由して制御演算部１３に取り込む（ステップＳ４７）。制御演算部１３では、これらの情報を基に被写体距離、焦点距離を計算する（ステップＳ４８）。また、顔認識部１１から顔座標を取得する（ステップＳ４９）。その後に、或る既定時間経過後に（ステップＳ５０）、被写体距離、焦点距離、顔座標を取得し、追尾被写体Ｓの最大移動速度を計算する（ステップＳ５１）。ここで、最大被写体移動速度は或る既定時間のみの速度を計算しているので、マージンを見込んで少し大きめの値になるように係数を乗じておくことが好ましい。

次に、追尾被写体Ｓの最大移動速度と設計仕様である既知の電動雲台２のパンニング速度つまりパン動作の最大速度、チルティング速度つまりチルト動作の最大速度による追尾速度とを比較し（ステップＳ５２）、出力位置制限領域を計算する（ステップＳ５３）。勿論、この出力位置制限領域は計算して求めるのではなく、データとして持っているものから抜き出して用いても支障はない。そして、図７に示すように出力位置制限領域枠Ｆｒをモニタ１４に表示する（ステップＳ５４）。その後に、操作部９で追尾被写体Ｓを出力位置制限領域枠Ｆｒ内の出力すべき位置に移動する（ステップＳ５５）。その後のステップＳ５７〜Ｓ５９は、実施例１の図３のステップＳ８〜Ｓ１１と同様である。

本実施例３では、最大被写体移動速度を計算し、出力位置制限領域を算出することにより、追尾被写体Ｓの動作速度を検知し、出力位置制限領域内に出力位置を制限することで自動追尾が外れることはない。なお、予め人の歩く速度、走る速度等を幾つかのテーブルをＣＰＵ５の内部に保有しておき、これらのテーブルを選択して出力位置制限領域を算出してもよい。

以上の実施例１〜３においては、自動追尾カメラの制御装置について説明したが、本発明は自動追尾カメラシステム等にも適用可能である。具体的には、図１に記載したカメラ１や電動雲台２と操作器３の全てを併せ持つ自動追尾カメラシステムにも適用できる。なお、カメラ１によって撮影される映像を観察するためのモニタ１４等の表示手段を併せ持つことが好ましい。

つまり自動追尾カメラシステムは、カメラ１と、このカメラ１を搭載した電動雲台２と、操作器３とを備えている。また操作器３は、画面上において追尾する追尾被写体Ｓを選定する被写体選定手段と、画面上において追尾被写体Ｓを出力する位置を設定する出力位置設定手段とを備えている。そして、この出力位置設定手段により設定された位置に、選定した追尾被写体Ｓの画像を出力するように、制御手段がカメラ１を搭載した電動雲台２を制御している。実施例では、操作器３が被写体選定手段と、出力位置設定手段とを備えているが、これらの被写体選定手段や出力位置設定手段は、例えばカメラ本体上、或いはカメラ１に装着された撮影レンズ上、或いは遠隔操作用操作器上に配置してもよい。

実施例１の構成図である。 追尾対象枠・出力位置設定枠を表示したモニタ画面である。 実施例１のフローチャート図とモニタ画面である。 実施例１の変形例の構成図である。 実施例２のフローチャート図とモニタ画面である。 実施例３のフローチャート図とモニタ画面である。 出力位置制限領域枠を表示したモニタ画面である。

符号の説明

１ カメラ
２ 電動雲台
３ 操作器
４ 画像信号処理部
５ ＣＰＵ
６ 画像出力部
７ 雲台・カメラ制御インタフェース部
８ モード切換ボタン
９ 操作部
１０ 操作ボタン
１１ 顔認識部
１２ 追尾対象枠・出力位置設定枠生成部
１３ 制御演算部
１４ モニタ
１５ カメラＣＰＵ

Claims (7)

1. 自動追尾カメラの制御装置であって、
   画面上において追尾する追尾被写体を選定する被写体選定手段と、
   前記被写体選定手段による前記追尾被写体の選定後に、前記追尾被写体の出力位置を示す出力位置設定マークを前記画面上に表示する表示手段と、
   前記画面上において前記出力位置設定マークを移動させ、前記出力位置設定マークの位置を、前記追尾被写体を出力する位置として設定する出力位置設定手段と、
   該出力位置設定手段により設定された位置に前記追尾被写体の画像を出力するように、前記自動追尾カメラを駆動するための駆動信号を出力する信号出力手段とを備えることを特徴とする自動追尾カメラの制御装置。
2. 前記被写体選定手段により選定された前記追尾被写体の画面上の移動速度を算出する手段と、
   前記出力位置設定手段で前記出力位置設定マークの位置を設定する際に、前記カメラをパン動作させるパンニング速度、前記カメラをチルト動作させるチルティング速度、前記追尾被写体の移動速度に基づいて出力位置制限領域を設定する手段とを有し、
   前記出力位置制限領域を前記表示手段において前記カメラによる撮影画像に重ねて表示することを特徴とする請求項１に記載の自動追尾カメラの制御装置。
3. カメラと、
   該カメラを搭載した雲台と、
   画面上において追尾する追尾被写体を選定する被写体選定手段と、
   前記被写体選定手段による前記追尾被写体の選定後に、前記追尾被写体の出力位置を示す出力位置設定マークを表示する表示手段と、
   前記画面上において前記出力位置設定マークを移動させ、前記出力位置設定マークの位置を、前記追尾被写体を出力する位置として設定する出力位置設定手段と、
   該出力位置設定手段により設定された位置に前記追尾被写体の画像を出力するように、前記カメラ及び前記雲台の少なくとも一方を駆動制御する制御手段とを備えることを特徴とする自動追尾カメラシステム。
4. 前記被写体選定手段により選定された前記追尾被写体の画面上の移動速度を算出する手段と、
   前記出力位置設定手段で前記出力位置設定マークの位置を設定する際に、前記カメラをパン動作させるパンニング速度、前記カメラをチルト動作させるチルティング速度、前記追尾被写体の移動速度に基づいて出力位置制限領域を設定する手段とを有し、
   前記出力位置制限領域を前記表示手段によって前記カメラによる撮影画像に重ねて表示することを特徴とする請求項３に記載の自動追尾カメラシステム。
5. 画面上において追尾する追尾被写体を選定する被写体選定ステップと、
   前記被写体選定ステップによる前記追尾被写体の選定後に、前記追尾被写体の出力位置を示す出力位置設定マークを表示する表示ステップと、
   前記画面上において前記出力位置設定マークを移動させ、前記出力位置設定マークの位置を、前記追尾被写体を出力する位置として設定する出力位置設定ステップと、
   該出力位置設定ステップにより設定された位置に前記追尾被写体の画像を出力するように、カメラ及び雲台の少なくとも一方を駆動するための駆動信号を出力する信号出力ステップとを備えることを特徴とする自動追尾カメラの制御方法。
6. 選定された前記追尾被写体の画面上の移動速度を算出し、
   前記出力位置設定マークの位置を設定する際に、前記カメラをパン動作させるパンニング速度、前記カメラをチルト動作させるチルティング速度、前記追尾被写体の移動速度に基づいて出力位置制限領域を設定し、
   前記出力位置制限領域を前記表示ステップにおいて前記カメラによる撮影画像に重ねて表示することを特徴とする請求項５に記載の自動追尾カメラの制御方法。
7. 前記信号出力ステップにおいて、前記駆動信号は前記カメラをパン、チルト駆動するための雲台及び前記カメラの少なくとも一方に対して出力されることを特徴とする請求項６に記載の自動追尾カメラの制御方法。

Images