JP4403483B2 - 自動追尾装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は自動追尾装置に係り、特にカメラをパン、チルト等させて移動物体を自動追尾する自動追尾装置に関する。
【０００２】
【従来の技術】
自動追尾装置は、テレビカメラを雲台に搭載し、雲台をモータ駆動によりパン／チルト動作させることでカメラをパン、チルトさせて、移動する被写体（移動物体）を自動で追尾できるようにした装置である。自動追尾の方法として特開昭５９−２０８９８３号公報に記載のものが一般的に知られている。この方法によれば、カメラから出力される映像信号から所定時間間隔の２フレーム分（２画面分）の画像を取り込み、それらの画像の比較によって移動物体の画像を抽出する。そして、その抽出した移動物体の画像の重心位置から移動物体の移動量及び移動方向を検出し、これに基づいて雲台（カメラ）のパン、チルトの位置を自動で制御し、移動物体の重心が常に画面中央（撮影範囲の中央）となるようにしている。尚、このような自動追尾装置の機能（自動追尾機能）は、雲台（雲台システム）の１つの制御機能（自動追尾機能）として組み込むことができる。
【０００３】
一方、雲台システムの制御機能として、従来、パン、チルト、フォーカス、ズームの一連の動作をトレースデータとして予め登録しておくと、スイッチのワンタッチ操作によりその動作を再現することができるトレース機能（特許第２８６８０８７号）が知られている。このようなトレース機能は、移動物体の移動の範囲が予め決まっている場合、例えば、ニュース番組のキャスターがある立ち位置から別の立ち位置まで移動することが決まっている場合に便利である。
【０００４】
【発明が解決しようとする課題】
上述のような自動追尾機能やトレース機能は、自動的にパン、チルト等の位置を制御する機能といえるが、各機能は用途が異なり、それぞれの利点、欠点がある。
【０００５】
自動追尾機能は、例えば、移動物体を検出すると、その移動物体が画面中央となるように自動でパン、チルト等の位置を制御するため、上述のようなトレースデータを予め作成しておく必要がなく、また、トレースデータにより規定された動作範囲に制限されないという利点がある。更に、自動追尾のモードを選択しておけば、操作者なしの撮影も可能であり、監視等の用途にも適用できる。この一方で、移動物体が常に画面中央となるようにパン、チルト等が動作するため、画面の映像が無駄に上下動するなどして映像が見づらくなる場合がある。
【０００６】
これに対してトレース機能は、パン、チルト等の一連の動作を予め登録しておくため、滑らかな動作により見やすい映像で移動物体を撮影することができ、また、ズームやフォーカスの一連の動作の設定も可能であるため、より精細なカメラワークの設定、実行が可能であると共に、オートフォーカス機能のないテレビカメラを使用することもできる。この一方で、移動物体の移動範囲が全く決まっていない場合には、移動物体を追尾する目的でこの機能は使用できず、また、移動範囲がある程度制限されている移動物体であってもその動きが決まっていない場合、例えば、制限された移動範囲内において移動物体がどのような位置、タイミングでどの方向、速度で移動するかが分からないような場合にもこの機能は使用できない。更に、無人化による監視の用途にもトレース機能は適さない。
【０００７】
本発明はこのような事情に鑑みてなされたもので、従来の自動追尾機能とトレース機能のそれぞれの利点を生かし、より見やすい映像により移動物体を自動追尾することができる自動追尾装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために、請求項１に記載の発明は、雲台により、パン、チルト、及び、ハイトのうち少なくともいずれか１つの移動方向に移動可能にカメラを支持し、該カメラにより撮影された画像から追尾すべき移動物体の位置を検出して、該検出した位置に基づいて前記移動物体が前記カメラの撮影範囲外とならないように前記カメラを前記移動方向に移動させる自動追尾装置において、前記カメラの移動可能な移動方向のうち、少なくともいずれか１つの移動方向についての位置を主制御位置とし、前記カメラの移動可能な移動方向のうち、前記主制御位置に係る移動方向と異なる移動方向と、前記カメラのズームとフォーカスのうち、少なくともいずれか１つについての位置を副制御位置として、前記主制御位置に対して前記副制御位置を関連付けるトレースデータを作成するトレースデータ作成手段と、前記移動物体の位置が前記主制御位置に係る移動方向について前記カメラの撮影範囲外とならないように前記主制御位置を制御すると共に、前記主制御位置に対して前記トレースデータによって関連付けされた位置となるように前記副制御位置を制御する制御手段と、を備えたことを特徴としている。
【０００９】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記主制御位置をパンについての位置として、前記副制御位置をチルト、ズーム、フォーカスについての位置とすることを特徴としている。
【００１０】
また、請求項３に記載の発明は、請求項２に記載の発明において、前記トレースデータは、パン、チルト、ズーム、フォーカスについての一連の動作を一定時間間隔の各時点での各位置で記録したデータであることを特徴としている。
【００１１】
また、請求項４に記載の発明は、請求項１に記載の発明において、追尾すべき所望の移動物体を色相により識別し、該識別した追尾すべき移動物体の重心座標を検出する検出手段を備えたことを特徴としている。
【００１２】
本発明によれば、パン、チルト、ハイトのうち少なくともいずれか１つのカメラの移動方向についての位置を主制御位置とし、他の移動方向とカメラのズームとフォーカスのうち少なくともいずれか１つについての位置を副制御位置とし、主制御位置については、追尾すべき移動物体の位置（重心座標）に基づいて制御する一方、副制御位置については、主制御位置に対してトレースデータによって関連付けされた位置となるように制御するようにしたため、トレースデータの作成内容によって移動物体の位置に応じた精細なカメラ制御が可能になる。また、移動物体の主たる移動方向に対するカメラの移動方向（例えば、パン方向）についての位置を主制御位置とし、その他のカメラの移動方向（チルト方向、ハイト方向）についての位置を副制御位置とすることによって、主制御位置に対する副制御位置をトレースデータの作成によって予め決めておくことができ、自動追尾中の映像を見やすいものとすることができる。また、フォーカスを副制御位置とすることによってカメラにオートフォーカス機能がない場合でも移動物体の位置に応じてフォーカス調整を自動で行なうことができ、ズームを副制御位置とすることによって移動物体の位置に応じたズーム調整も自動で行なうことができるようになる。
【００１３】
【発明の実施の形態】
以下添付図面に従って本発明に係る自動追尾装置の好ましい実施の形態を詳述する。
【００１４】
図１は、本発明が適用される自動追尾機能搭載のリモコン雲台システムの全体構成図である。同図に示すリモコン雲台システムは、リモコン雲台１０（以下、単に雲台１０という）、雲台コントローラ１２、及び、画像処理装置１４とから構成される。雲台１０は、テレビカメラ（以下、単にカメラという）を収容するハウジング１５と、ハウジング１５全体を回動させてハウジング１５内のカメラをパンニング及びチルティングさせる雲台本体１６とから構成される。ハウジング１５の前面には透明の保護ガラス１７が設けられ、ハウジング１５内に収納されたカメラはこの保護ガラス１７を介してハウジング１５外部の映像を撮影する。
【００１５】
上記ハウジング１５は、雲台本体１６から延設されたチルト軸（図示せず）に支持され、このチルト軸は雲台本体１６に内蔵されたチルトモータによって回転駆動される。従って、チルトモータが駆動されると、チルト軸を介してハウジング１５が回動し、これに伴いハウジング１５内のカメラがチルティングする。また、雲台本体１６は図示しない据付台上に固定されたパン軸１８によって支持され、このパン軸１８を軸として雲台本体１６が内蔵のパンモータによって回転駆動される。従って、パンモータが駆動されると、雲台本体１６と共にハウジング１５が回動し、ハウジング１５内のカメラがパンニングする。
【００１６】
上記雲台コントローラ１２は、雲台１０にケーブルを介して接続され（尚、専用回線、公衆回線等の通信回線を介して接続することも可能である。）、雲台コントローラ１２に設けられている各種操作部材の操作に基づいて制御信号を雲台１０に送信し、雲台１０及び雲台１０に搭載されたカメラの各種動作を制御する。また、雲台コントローラ１２は、自動追尾機能を搭載しており、自動追尾モードとなっている場合には、画像処理装置１４から与えられる信号に基づいて制御信号を雲台１０に送信し、雲台１０のパン／チルト動作等により移動する被写体（移動物体）をカメラで追尾する。
【００１７】
図２は、上記リモコン雲台システムの構成を示したブロック図である。同図に示すように雲台１０のハウジング１５に収納されるカメラ４０は、カメラ本体４２とカメラ本体４２に装着されるレンズ装置４４とから構成される。カメラ本体４２には、撮像素子や所要の処理回路が搭載されており、レンズ装置４４の光学系を介して撮像素子に結像された画像（動画）が映像信号（本実施の形態ではＮＴＳＣ方式の映像信号）として外部に出力される。カメラ本体４２における撮影開始や終了等の撮影動作は雲台コントローラ１２から雲台１０を介して与えられる制御信号に基づいて制御される。また、レンズ装置４４には、モータ駆動可能なフォーカスレンズやズームレンズ等の光学部材が搭載されており、これらのフォーカスレンズやズームレンズが移動することによってカメラ４０のフォーカスやズームが調整される。フォーカスやズーム等のレンズ装置４４の動作は、カメラ本体４２と同様に雲台コントローラ１２から与えられる制御信号に基づいて制御される。
【００１８】
雲台１０には、上述のようにパンモータやチルトモータが搭載されており、雲台コントローラ１２から与えられる制御信号によってこれらのパンモータやチルトモータが駆動されると、カメラ４０がパンニング又はチルティングし、カメラ４０の撮影範囲が移動する。
【００１９】
同図に示すように画像処理装置１４は、Ｙ／Ｃ分離回路４６、画像メモリ５０、画像処理プロセッサ５２、ＣＰＵ５４等の各種信号処理回路から構成され、これらの信号処理回路は、雲台コントローラ１２が自動追尾モードとなっているときに有効に動作する。この画像処理装置１４には、カメラ本体４２から出力された映像信号が入力され、自動追尾モード時においてその映像信号はＹ／Ｃ分離回路４６によって輝度信号（Ｙ信号）と色差信号に分離される。ここで分離された輝度信号はＡ／Ｄコンバータ４８によってデジタル信号（以下、画像データという）に変換され、画像メモリ５０に入力される。一方、Ｙ／Ｃ分離回路４６から画像処理プロセッサ５２には、映像信号の同期信号が与えられており、この同期信号に基づいて所要のタイミングで画像処理プロセッサ５２から画像メモリ５０にデータ書込みのコマンドが与えられる。これによって、画像メモリ５０には、後述のように所定時間間隔の複数フレーム分の画像データが記憶される。尚、ＮＴＳＣ方式の映像信号ではインタレース方式を採用しているため、１フレーム分の画像は、２フィールド分の画像によって構成されるが、本明細書において１フレームの画像データという場合には、連続して撮影される一連の画像のうち１画面を構成する画像データを意味しており、本実施の形態では、１フレームの画像データは１フィールド分の画像データをいうものとする。
【００２０】
以上のようにして画像メモリ５０に記憶された複数フレーム分の画像データは、以下で詳説するように画像処理プロセッサ５２によって読み出されて画像処理され、また、その画像処理の結果に基づいてＣＰＵ５４によって演算処理され、移動物体をカメラ４０で自動追尾するための重心座標が算出される。尚、ＣＰＵ５４には、後述の比較枠の算出のため、各時点でのレンズ装置４４の焦点距離（画角）及び雲台１０の移動スピード（パンスピード及びチルトスピード）が雲台コントローラ１２から与えられる。
【００２１】
雲台コントローラ１２には、同図に示すようにＣＰＵ６０、メモリ６２等が搭載されており、ＣＰＵ６０で各種処理が実行され、メモリ６２に所要のデータが格納されるようになっている。所定のスイッチによって雲台コントローラ１２が自動追尾モードに設定された場合、雲台コントローラ１２のＣＰＵ６０には、上述のように画像処理装置１４で求められた移動物体の重心座標が与えられ、ＣＰＵ６０は、その重心座標に基づいて雲台１０に制御信号を送信し、雲台１０をパン／チルト動作等させて移動物体をカメラ４０で追尾する。一方、自動追尾モードに設定されていない場合には、雲台コントローラ１２に設けられている各種操作部材の操作に基づいて雲台１０に制御信号を送信し、雲台１０及び雲台１０に搭載されたカメラ４０の各種動作を制御する。
【００２２】
以上の如く構成されたリモコン雲台システムにおいて、まず、自動追尾モードに設定された場合に画像処理装置１４の画像処理プロセッサ５２及びＣＰＵ５４が行なう移動物体の重心座標の検出処理について図３のフローチャートに従って説明する。尚、以下の説明では、主に、移動物体のパン方向（水平方向）についての重心座標の検出処理について説明し、チルト方向についてはパン方向と同様であるため説明を省略する。ただし、後述のように本実施の形態における自動追尾では、パン方向についての重心座標を検出すれば、チルト方向についての重心座標を検出することは必ずしも必要ではない。
【００２３】
まず、画像処理プロセッサ５２は、カメラ４０のカメラ本体４２からＹ／Ｃ分離回路４６、Ａ／Ｄコンバータ４８を介して得られる１フレーム分の画像データ（この画像を画像▲１▼とする）を画像メモリ５０に取り込む（ステップＳ１０）。
【００２４】
続いて、画像処理プロセッサ５２は、Ｙ／Ｃ分離回路４６から与えられる同期信号により４フィールド分の時間（１フィールド当たり１／５９．９４秒）が経過したか否かを判定し（ステップＳ１２）、４フィールド分の時間が経過すると、画像▲１▼と同様に１フレーム分の画像データ（この画像を画像▲２▼とする）を画像メモリ５０に取り込む（ステップＳ１４）。尚、ステップＳ１２において画像▲１▼の取り込み後、画像▲２▼の取り込むまでの時間は４フィールド分の時間でなくてもよい。
【００２５】
以上のように２フレーム分の画像データが画像メモリ５０に記憶されると、ＣＰＵ５４は、現在のカメラ４０（レンズ装置４４）の焦点距離（画角）と雲台１０の移動スピード（パンスピード及びチルトスピード）を雲台コントローラ１２から取得し、これに基づいて画像▲１▼と画像▲２▼の比較範囲（比較枠）を設定し、画像処理プロセッサ５２にその比較枠を指定する（ステップＳ１６）。
【００２６】
ここで、比較枠について説明する。後述のように、画像処理プロセッサ５２は、画像▲１▼と画像▲２▼とを比較し、これらの画像データの各画素の値（以下、画素値）の差を求めることによって差画像を生成する。差画像を生成するのは、追尾すべき被写体となる移動物体の画像を２つの画像▲１▼、▲２▼から抽出するためであるが、この差画像によって移動物体の画像を抽出するためには、画像▲１▼の撮影範囲と画像▲２▼の撮影範囲のうち同じ撮影範囲（撮影範囲が重なる範囲）内の画像から差画像を求める必要がある。
【００２７】
例えば、自動追尾処理の開始直後のように雲台１０が停止している場合には、画像▲１▼と画像▲２▼の撮影範囲は等しい。図４（Ａ）は、この場合の被写体と撮影範囲の関係を示しており、画像▲１▼の撮影範囲Ｌと画像▲２▼の撮影範囲Ｌ′は完全に一致する。尚、図中○で示した被写体は移動物体であり、△で示した被写体は静止物体である。また、移動物体は画像▲１▼の撮影時には図中Ａで示す位置にあり、画像▲２▼の撮影時には図中Ｂで示す位置に移動したものとする。
【００２８】
このとき、画像メモリ５０に記憶される画像▲１▼と画像▲２▼はそれぞれ図４（Ｂ）、図４（Ｃ）に示すような画面を構成し、これらの画像▲１▼と画像▲２▼のそれぞれの画面上において、静止物体の画像（△）は同じ座標上に存在し、移動物体の画像（○）のみが異なる座標上に存在することになる。
【００２９】
従って、画像▲１▼と画像▲２▼の全画面範囲（全撮影範囲内）において、対応する位置（同一座標）の画素間で画素値の差を求めれば、その差画像において静止物体の画素値は０となり、図５に示すように移動物体のみが抽出された差画像が得られる。尚、各画像の画面上における各点の座標は、１画面を構成するマトリクス状の画素の配列に従い、図６に示すように水平方向については各点の画素の列番号（画面左端の画素から順に割り当てた１〜Ｘ（Ｘは水平解像度を示す画素数に対応））で表し、垂直方向については各点の画素の行番号（画面上端の画素から順に割り当てた１〜Ｙ（Ｙは垂直解像度を示す画素数に対応））で表す。
【００３０】
一方、雲台１０が移動しているような場合には、画像▲１▼と画像▲２▼のそれぞれの撮影時では撮影範囲が異なる。図７（Ａ）は、この場合の被写体と撮影範囲の関係を示しており、画像▲１▼の撮影範囲Ｌと画像▲２▼の撮影範囲Ｌ′とは異なる。尚、図中の被写体（移動物体と静止物体）に関しては図４（Ａ）と同じ条件とする。このとき画像メモリ５０に記憶される画像▲１▼と画像▲２▼は、それぞれ図７（Ｂ）、（Ｃ）に示すような画面を構成し、これらの画像▲１▼と画像▲２▼のそれぞれの画面上において、静止物体の画像（△）は同じ座標上には存在しなくなる。従って、もし、上述と同じようにこれらの全画面範囲で差画像を求めると、静止物体があたかも移動物体であるかのような差画像が得られることになり、適切に移動物体のみを抽出することができない。
【００３１】
そこで、画像▲１▼の全画面範囲と画像▲２▼の全画面範囲のうち、撮影範囲が重なる範囲、即ち、図７（Ａ）において、画像▲１▼の撮影範囲Ｌと画像▲２▼の撮影範囲Ｌ′とが重なる範囲の画像を画像▲１▼と画像▲２▼からそれぞれ抽出し、その抽出した範囲内の画像間において対応する位置の画素値の差を求めることによって差画像を求めるようにする。これによって、その差画像において静止物体の画素値は０となり、図８に示すように移動物体のみが抽出された差画像が得られるようになる。
【００３２】
このように画像▲１▼と画像▲２▼とから移動物体を抽出した差画像を得るためには、画像▲１▼と画像▲２▼のそれぞれの画面上においてその差画像を得るための比較範囲を設定する必要があり、その比較範囲を枠で表したものが比較枠である。そして、比較枠は、画像▲１▼の撮影範囲Ｌと画像▲２▼の撮影範囲Ｌ′とが重なる撮影範囲の枠として設定される。図４のように雲台１０が停止している場合には、画像▲１▼の撮影範囲Ｌと画像▲２▼の撮影範囲Ｌ′とが完全に一致するため、図４（Ｂ）、（Ｃ）に示すように画像▲１▼と画像▲２▼のそれぞれの画面上において全画面範囲の枠として比較枠Ｐが設定される。一方、図７のように雲台１０が移動している場合には、画像▲１▼の撮影範囲Ｌと画像▲２▼の撮影範囲Ｌ′とが異なるため、図７（Ｂ）、（Ｃ）に示すように画像▲１▼と画像▲２▼のそれぞれの画面上において、画像▲１▼の撮影範囲Ｌと画像▲２▼の撮影範囲Ｌ′が重なる範囲の枠として比較枠Ｐが設定される。
【００３３】
比較枠の設定の具体的処理内容について説明すると、上述のように画像メモリ５０に画像▲１▼と画像▲２▼が取り込まれると、ＣＰＵ５４はレンズ装置４４の現在の焦点距離と雲台１０の現在の移動スピード（パンスピード）を雲台コントローラ１２から取得する。そして、ＣＰＵ５４はレンズ装置４４の焦点距離から撮影画角（水平方向の角度範囲を示す水平画角）を求め、その撮影画角と移動スピードとにより、画像▲１▼の撮影範囲に対して画像▲２▼の撮影範囲が、水平方向に画素数にして何画素分シフトしたかを算出する。そのシフト量shift （単位：画素）は、雲台１０の移動スピード（パンスピード）をＶ（単位：角度／秒）、画像の解像度（水平解像度）をＲ（単位：画素）、撮影画角（水平画角）を２θ（単位：角度）、画像▲１▼に対する画像▲２▼の撮影時間差（画像▲１▼と画像▲２▼の画像取込み時間間隔）をＴ（単位：秒）とすると、
shift ＝（Ｒ／２θ）×Ｖ×Ｔ
で表される。尚、垂直方向のシフト量shift の算出においては、移動スピードＶはチルトスピード、解像度Ｒは垂直解像度、撮影画角Ａは垂直方向の角度範囲を示す垂直画角である。また、画像▲２▼が、画像▲１▼の取り込み後に４フィールド分の時間が経過した後に取り込まれたとすると、撮影時間差Ｔは、１フィールド分の時間（１／５９．９４秒）を４倍した値である。
【００３４】
上式によりシフト量shift を算出すると、ＣＰＵ５４は、このシフト量shift に基づいて、比較枠を画像▲１▼と画像▲２▼の画面上に設定する。即ち、図９に示すように画像▲１▼の撮影範囲Ｌに対して画像▲２▼の撮影範囲Ｌ′が右方向に移動（雲台１０が右方向に移動）した場合には、画像▲１▼の比較枠に関しては、画像▲１▼の全画面範囲のうち画面の左端側からシフト量shift の画素数分だけ除外した範囲（図中斜線で示す範囲）の輪郭を比較枠Ｐとして設定し、一方、画像▲２▼の比較枠に関しては、画像▲２▼の全画面範囲のうち画面の右端側からシフト量shift の画素数分だけ除外した範囲（図中斜線で示す範囲）の輪郭を比較枠Ｐとして設定する。図１０に示すように画像▲１▼の撮影範囲Ｌに対して画像▲２▼の撮影範囲Ｌ′が左方向に移動（雲台１０が左方向に移動）した場合には、画像▲１▼の比較枠に関しては、画像▲１▼の全画面範囲のうち画面の右端側からシフト量shift の画素数分だけ除外した範囲（図中斜線で示す範囲）の輪郭を比較枠Ｐとして設定し、一方、画像▲２▼の比較枠に関しては、画像▲２▼の全画面範囲のうち画面の左端側からシフト量shift の画素数分だけ除外した範囲（図中斜線で示す範囲）の輪郭を比較枠Ｐとして設定する。尚、雲台１０が上下方向に移動した場合も同様である。
【００３５】
図３のフローチャートに戻って説明すると、以上のようにＣＰＵ５４によって比較枠が設定され、その比較枠が画像処理プロセッサ５２に指示されると、次に画像処理プロセッサ５２は、画像▲１▼と画像▲２▼からそれぞれ比較枠内の画像を抽出し、その抽出した画像により画像▲１▼と画像▲２▼の差画像を求める（ステップＳ１８）。即ち、画像▲１▼と画像▲２▼の比較枠内の画像データから、対応する位置の画素（比較枠内において同一位置にある画素）の画素値の差を求め、その絶対値を求める（｜▲１▼−▲２▼｜）。これによって、上述した図５、図８のように移動物体の画像のみが抽出され、その移動物体が追尾すべき被写体として認識される。
【００３６】
続いて、画像処理プロセッサ５２は、ステップＳ１８で求めた差画像の各画素の画像データを２値化する（ステップＳ２０）。この処理により理想的には移動物体の画像の画素値が１、それ以外で０となる。そして、２値化した差画像を収縮する処理を行い、細かいノイズを除去する（ステップＳ２２）。尚、以下において２値化し、収縮処理した差画像を単に差画像という。
【００３７】
次に、画像処理プロセッサ５２は、差画像に基づいて画素値が１である画素の総数を求め、移動物体の画像全体の面積（以下、単に移動物体の面積という）を求める（ステップＳ２４）。図５、図８の例では、移動物体の移動前後の画像を示した２つの○の面積を求める。そして、求めた面積をＣＰＵ５４に与える。
【００３８】
ＣＰＵ５４は、移動物体の面積を画像処理プロセッサ５２から取得すると、その面積が所定のしきい値よりも大きいか否かを判定する（ステップＳ２６）。ここで、ＮＯと判定する場合としては、追尾の対象となる程の移動物体が存在しない場合であり、それまで追尾していた移動物体が停止した場合、移動物体の動きが少ない場合、又は、追尾の対象とならない小さな物体のみが動いているのみ場合等がある。このときには上記ステップＳ１４の処理に戻り、画像▲２▼を画像メモリ５０に取り込む処理から繰り返す。
【００３９】
一方、上記ステップＳ２６においてＹＥＳと判定した場合、即ち、差画像から移動物体を検出した場合、次に、画像処理プロセッサ５２は、差画像から移動物体の画像全体の１次モーメントを求め（ステップＳ２８）、１次モーメントを移動物体の面積で割り、移動物体の重心を求める（ステップＳ３０）。ここで、移動物体の重心は、画像▲２▼の画面上の座標で表され、その重心座標（水平方向についての重心座標）はＣＰＵ５４により、雲台コントローラ１２のＣＰＵ６０に送信される（ステップＳ３２）。以上のステップＳ３２の処理が終了すると、上記ステップＳ１０に戻り、上述したステップＳ１０からの処理を繰り返し実行する。
【００４０】
次に、雲台コントローラ１２における自動追尾機能の処理について説明する。雲台コントローラ１２のＣＰＵ６０は、所定のスイッチにより自動追尾モードに設定されると、上述のように画像処理装置１４から追尾すべき移動物体の重心座標を取得し、その移動物体がカメラ４０の撮影範囲内に納まるように、取得した重心座標及びトレースデータに基づいて、雲台１０のパン、チルトの位置、及び、カメラ４０のレンズ装置４４のズーム、フォーカスの位置を制御する。
【００４１】
ここで、トレースデータは、雲台コントローラ１２に搭載された自動追尾機能とは別のトレース機能で使用されるデータであり、パン、チルト、ズーム、フォーカスについての一連の動作を記録したデータである。トレース機能は、このようなトレースデータを予め作成し、登録しておくと、トレース再生の指示操作によってトレースデータとして記録した一連の動作を自動で再現できるようにした機能である。トレースデータを作成、登録する場合は、例えば、雲台コントローラ１２をトレース登録モードに設定し、登録したいパン、チルト、ズーム、フォーカスの一連の動作を操作者がマニュアル操作により実際に実行させる。これにより、その間のパン、チルト、ズーム、フォーカスの位置データが一定時間おきに取り込まれ、トレースデータとしてメモリ６２に記憶される。
【００４２】
尚、自動追尾機能において使用するトレースデータは、トレース機能において使用するトレースデータと共用であってもよいし、自動追尾機能においてのみ使用されるものであってもよい。即ち、自動追尾機能において使用されるトレースデータと、トレース機能において使用されるトレースデータとは、いずれもパン、チルト、ズーム、フォーカスのそれぞれを関連付けて動作させるものとして共通しているため共用することができ、もし、雲台コントローラ１２に自動追尾機能とは別にトレース機能が搭載されているのであれば、自動追尾機能又はトレース機能の区別なくトレースデータを作成、登録することができ、また、使用することができる。複数のトレースデータを作成、登録できるようにするのであれば、自動追尾機能又はトレース機能で使用するトレースデータを、これらの機能の区別なく作成、登録した複数のトレースデータの中から選択できるようにすることも可能である。一方、雲台コントローラ１２にトレース機能が搭載されていない場合であっても（トレース機能が搭載されている場合であっても）、自動追尾機能における専用のトレースデータを作成、登録できるようにし、そのトレースデータを自動追尾機能にのみ使用できるようにすることも可能である。
【００４３】
具体的に、自動追尾機能においてトレースデータは以下のように使用される。例えば、追尾すべき移動物体（例えば、報道番組でのキャスタ等）が、主に左右に移動し、上下、前後にはほとんど移動しないか、又は、上下、前後に移動したとしても左右方向の位置によってその上下、前後方向についての位置がほとんど決まってしまうような場合がある。このような場合、雲台１０のパン位置をその移動物体のパン方向（画面水平方向）についての重心座標に基づいて動かせば、チルト、ズーム、フォーカスについては、パン位置に対して予め決めておいた特定の位置に移動させても、移動物体をカメラ４０の撮影範囲内で追尾することができる。一方、トレースデータは、パン、チルト、ズーム、フォーカスについての一連の動作において、各位置を関連付けしたものである。そこで、移動物体を追尾する際のパン、チルト、ズーム、フォーカスの位置の関連付けを、トレースデータの作成、登録により、予め行っておくと、自動追尾の実行の際には、移動物体のパン方向についての重心座標に従ってその移動物体がパン方向についての画面中央となるようにパン位置が移動すると共に、チルト、ズーム、フォーカスについては、トレースデータによってパン位置に対して関連付けられた位置に移動するようにしている。このようにトレースデータを自動追尾機能において使用することによって、トレースデータの作成の際に、自動追尾中の映像が見やすいものとなるように予め自動追尾中の動作を決めてくことができる。例えば、移動物体の僅かな上下動に連動して自動追尾中の画面が無駄に上下動することがないようにすることができる。また、カメラ４０にオートフォーカス機能がない場合でもフォーカス調整を自動で行なうことができ、ズーム調整も自動で行なうことができるようになる。
【００４４】
次いで、雲台コントローラ１２における自動追尾機能の処理内容について詳説する。まず、自動追尾機能において使用する上記トレースデータの作成、登録の処理について説明する。トレースデータを作成、登録する場合、操作者は、雲台コントローラ１２をトレース登録モードに設定する。そして、登録したいパン、チルト、ズーム、フォーカスの一連の動作を雲台コントローラ１２でのマニュアル操作により実行する。例えば、報道番組等の制作で図１１に示すようにスタジオ内に上記雲台１０及びカメラ４０を設置し、キャスタＭを自動追尾機能により撮影するものとする。そして、撮影本番中にキャスタＭが移動する範囲が、図中の位置▲１▼、位置▲２▼、位置▲３▼の間を移動する範囲（図中斜線部）に限られているとする。このとき、その範囲内で例えばキャスタＭが位置▲１▼、位置▲２▼、位置▲３▼の順に移動したとして、そのキャスタＭを自動追尾で撮影する際のパン、チルト、フォーカス、ズームの動作をマニュアル操作で実行する。
【００４５】
このトレース登録モードでのマニュアル操作の間、雲台コントローラ１２のＣＰＵ６０は、雲台１０から、パン、チルト、ズーム、フォーカスの位置データを逐次取得し、図１２のようなトレースデータを作成してメモリ６２に登録する。同図においてトレースデータは、データ番号（ＴＮＯ）１、２、３、…と、各データ番号のパン、チルト、ズーム、フォーカスの位置データとから構成される。トレース登録モード時において、パン、チルト、ズーム、フォーカスの位置データは、映像信号の水平同期信号のタイミング（１周期の時間を１Ｈと記す）で取り込まれており、取り込まれた順にデータ番号１、２、３、…が付けられるようになっている。尚、図１１において位置▲１▼、位置▲２▼、位置▲３▼のそれぞれを撮影した際のトレースデータは、例えば、図１２においてデータ番号ＴＮＯ＝１、１０００、２０００のパン、チルト、ズーム、フォーカスの位置データ（(PANDATA1,TILTDATA1,ZOOMDATA1,FOCUSDATA1)、(PANDATA2,TILTDATA2,ZOOMDATA2,FOCUSDATA2) 、(PANDATA1,TILTDATA1,ZOOMDATA1,FOCUSDATA1)）として示されている。また、パン、チルト、ズーム、フォーカスの位置データは、例えば、１６ビットの数値範囲0x0000〜0xffffにより換算されて記録されている。
【００４６】
次に、雲台コントローラ１２における自動追尾機能の処理手順について図１３のフローチャートを用いて説明する。まず、操作者は、上述のようにトレースデータを作成し、メモリ６２に登録しておく（ステップＳ５０）。次いで、雲台コントローラ１２を自動追尾モードに設定する。これにより、雲台コントローラ１２のＣＰＵ６０は、自動追尾の処理を開始する（ステップＳ５２）。自動追尾の処理を開始すると、ＣＰＵ６０は、上述のように画像処理装置１４から送信される移動物体の重心座標（パン方向についての重心座標）を取得する（ステップＳ５４）。次いで、その重心座標が画面上に設定された不感帯の範囲外となったか否かを判定する（ステップＳ５６）。
【００４７】
ここで、不感帯の範囲は、例えば、図１４に示すカメラ４０の撮影範囲Ｌの斜線範囲のように画面の中央部分に所定幅で設定される。重心座標が同図のａ点のように不感帯の範囲内にある場合には上記ステップＳ５６でＮＯと判定され、重心座標が同図のｂ点のように不感帯の範囲外にある場合には上記ステップＳ５６でＹＥＳと判定される。尚、このステップＳ５６の判定処理は、雲台１０のパン／チルト動作が停止している場合にのみ行なうものとする。ただし、パン／チルト動作が停止していない場合であっても行うようにしてもよい。雲台１０がパン／チルト動作しているときはステップＳ５６の判定処理を行なわずにステップＳ５８の処理に移行する。
【００４８】
上述のようにステップＳ５６でＮＯと判定した場合には、パン、チルト、ズーム、フォーカスの位置を変更せず、即ち、これらの位置を静止させたまま上記ステップＳ５４に戻る。一方、ステップＳ５６でＹＥＳと判定した場合には、次に、ＣＰＵ６０は、レンズ装置４４の焦点距離を取得し、その焦点距離とその他の既知の値とに基づいて以下のようにパン移動量を計算する（ステップＳ５８）。
【００４９】
図１５に示すようにカメラ４０の撮影範囲Ｌの画面上において、画面中心Ｏに対して重心座標がａ点で検出されたとする。このとき、ａ点を画面中心に一致させるための雲台１０のパン方向への移動量をパン移動量といい、そのパン移動量を求める。そこで、図１５、図１６に示すようにカメラ４０の水平方向の撮影画角（水平画角）を２θ（単位：角度）とすると、θは、レンズ装置４４の焦点距離ｆ、カメラ４０の撮像素子のイメージサイズＨとから、
θ＝ｔａｎ^-1（Ｈ／２／ｆ）
により求められる。そして、画像の解像度（水平解像度）をＲ（単位：画素）、画面上において重心座標の画面中心からの距離をｄ（単位：画素）とすると、パン移動量θｍ（単位：角度）は、
θｍ＝（θ×ｄ）／（Ｒ／２）
である。ＣＰＵ６０は、パン位置を、３６０°の角度範囲に対して１６ビットの値0x0000〜0xffffで処理しており、この処理値に換算したパン移動量θｍは、
θｍ＝θｍ（単位：角度）×0xffff／３６０°
により算出される。
【００５０】
以上のようにして、パン移動量θｍを算出すると、続いて、パン追尾位置ＴＲＫを算出する（ステップＳ６０）。パン追尾位置ＴＲＫは、現在のパン位置に上記パン移動量θｍを加算した位置である。次に、ＣＰＵ６０は、メモリ６２に登録されたトレースデータの中から、パン追尾位置ＴＲＫに最も近いパンについての位置データを有するものを検索し、そのデータ番号をＴＲＫＮＯとする（ステップＳ６２）。また、後述の処理からも分かるようにＣＰＵ６０は、トレースデータにおけるいずれかのデータ番号のパン、チルト、ズーム、フォーカスの位置データに従って実際のパン、チルト、ズーム、フォーカスの位置を制御しており、現在のパン位置を指定したトレースデータのデータ番号をＴＮＯとする（ステップＳ６４）。
【００５１】
次いで、ＣＰＵ６０は、ＴＲＫＮＯ＞ＴＮＯか否かを判定する（ステップＳ６６）。ＹＥＳと判定した場合には、ＴＮＯに１を加算してその値をＴＮＯとする（ステップＳ６８）。そして、データ番号がＴＮＯであるトレースデータのパン、チルト、ズーム、フォーカスの位置への移動を指令する制御信号を雲台１０及びレンズ装置４４に送信する（ステップＳ７０）。次いで、ＴＮＯがＴＲＫＮＯに等しくなったか否かを判定し（ステップＳ７２）、ＮＯと判定した場合には、上記ステップＳ６８からの処理を繰り返し実行し、パン、チルト、ズーム、フォーカスをデータ番号がＴＲＫＮＯであるトレースデータの位置に近づける。そして、ステップＳ７２でＹＥＳと判定した場合には上記ステップＳ５４の処理から繰り返し実行する。
【００５２】
上記ステップＳ６６でＮＯと判定した場合には、ＴＮＯから１を減算してその値をＴＮＯとする（ステップＳ７４）。そして、データ番号がＴＮＯであるトレースデータのパン、チルト、ズーム、フォーカスの位置への移動を指令する制御信号を雲台１０及びレンズ装置４４に送信する（ステップＳ７６）。次いで、ＴＮＯがＴＲＫＮＯに等しくなったか否かを判定し（ステップＳ７８）、ＮＯと判定した場合には、上記ステップＳ７４からの処理を繰り返し実行し、パン、チルト、ズーム、フォーカスをデータ番号がＴＲＫＮＯであるトレースデータの位置に近づける。そして、ステップＳ７８でＹＥＳと判定した場合には上記ステップＳ５４の処理から繰り返し実行する。
【００５３】
以上の自動追尾処理により、パンについての位置が追尾すべき移動物体の重心座標に基づいて移動し、チルト、ズーム、フォーカスについての位置がトレースデータによって主制御位置に関連付けされた位置となるように移動する。
【００５４】
尚、上記ステップＳ６８及びステップＳ７４では、トレースデータのデータ番号を１ずつ増加又は減少させ、パン、チルト、ズーム、フォーカスをその増加又は減少させたデータ番号の位置に順次移動させるようにしたが、移動物体の移動スピードに応じて、即ち、図１３のフローチャートのステップＳ５８において算出したパン移動量θｍの大きさに応じてステップＳ６８及びステップＳ７４でデータ番号に加算又は減算する値の大きさを可変するようにしてもよい。
【００５５】
また、上述のような自動追尾機能で使用するトレースデータは、上述と異なる方法により作成することも可能である。上述の方法では、操作者がマニュアル操作により、パン、チルト、ズーム、フォーカスを実際に動かすことによってトレースデータを作成するようにしたが、いわゆるプリセットとよばれている特定のショットを登録し、再生する機能を利用してトレースデータを作成することもできる。例えば、図１１において、自動追尾により位置▲１▼、位置▲２▼、位置▲３▼を撮影する際のパン、チルト、ズーム、フォーカスの位置をショット登録する。即ち、図１２において、データ番号１、１０００、２０００のデータのみをショット登録する。尚、ショット登録は、マニュアル操作で実際にパン、チルト、ズーム、フォーカスをショット登録したい位置に設定した後、所定の登録実行ボタンをオンすることにより行なうことができる。そして、位置▲１▼から位置▲２▼、及び位置▲２▼から位置▲３▼までの中間データを以下のような方法により作成する。
【００５６】
１つの方法としては、位置▲１▼を撮影するためにショット登録したパン、チルト、ズーム、フォーカスの位置から位置▲２▼を撮影するためにショット登録したパン、チルト、ズーム、フォーカスの位置までプリセット機能により実際に動作させ、次いで位置▲２▼を撮影するためにショット登録したパン、チルト、ズーム、フォーカスの位置から位置▲３▼を撮影するためにショット登録したパン、チルト、ズーム、フォーカスの位置まで同様に動作させる。この間、パン、チルト、ズーム、フォーカスの中間データを水平同期信号のタイミングで取り込み、それらの中間データにより、トレースデータを作成してメモリ６２に記憶しておく。
【００５７】
他の方法としては、中間データを計算により作成することもできる。例えば、パンを２（°／ｓ）で作動させた場合、１Ｈあたりの位置データの変化量PANDATA1H は、
PANDATA1H=２（°／ｓ）×0xffff／３６０（°）×１／５９．９４
である。従って、位置▲１▼から位置▲２▼までのデータ番号ＴＮＯのパンについての位置データは、
PANDATA1＋PANDATA1H ×ＴＮＯ
の式により算出される。尚、全データ数DATAは、
DATA= ｜PANDATA1-PANDATA2 ｜／PANDATA1H
となる。位置▲１▼から位置▲３▼までのパンについての位置データも同様に算出される。同様の演算により、チルト、ズーム、フォーカスの中間データも算出することができる。そして、以上のようにして算出した中間データをトレースデータとしてメモリ６２に記憶させておく。また、以上のような中間データは予め計算してメモリ６２に記憶させておくのではなく、追尾動作中に計算しながら求めることも可能である。
【００５８】
また、追尾すべき移動物体の重心座標に基づいて直接的に制御される位置を主制御位置といい、トレースデータに基づいて主制御位置に関連付けされた位置となるように制御される位置を副制御位置というものとすると、上記実施の形態では、パンについての位置が主制御位置であり、チルト、ズーム、フォーカスについての位置が副制御位置である。しかしながら、主制御位置と副制御位置はこれに限らない。主制御位置は、雲台１０（カメラ４０）の移動可能な移動方向のうち、少なくともいずれか１つの移動方向についての位置とすることができる。例えば、上記実施の形態の雲台１０では、パンとチルトの方向にカメラ４０を移動させることができるため、パンではなく、チルトについて位置を主制御位置とすることができ、また、パンとチルトのいずれか一方でなく両方についての位置を主制御位置とすることもできる。更に、雲台１０の機能としてカメラ４０を高さ方向（ハイト）にも移動させる機能がある場合には、パンとチルトにハイトを含めた移動方向のうち、少なくともいずれか１つの移動方向についての位置を主制御位置とすることができる。これに対して副制御位置は、主制御位置としたカメラ４０の移動方向以外の移動方向と、カメラ４０のズームとフォーカスのうち、少なくともいずれか１つについての位置とすることができる。例えば、主制御位置が、チルトについての位置であれば、パン、ズーム、フォーカスについての位置を副制御位置とすることができ、主制御位置がパンとチルトについての位置であれば、副制御位置はズームとフォーカスについての位置とすることができる。更に、パン、チルト、ハイト、ズーム、フォーカスの全てについての位置を主制御位置又は副制御位置として制御対象に含める必要はなく、例えば、主制御位置をパンについての位置とし、副制御位置をチルトについての位置のみとしてもよいし、ズーム又はフォーカスについての位置のみとしてもよい。パン、チルト、ズーム、フォーカス等のうち何についての位置を主制御位置と副制御位置とにするかをユーザが任意に選択できるようにしてもよい。
【００５９】
また、トレースデータの形式は、上記実施の形態に限らず、主制御位置と副制御位置とを関連づけるデータであればどのようなものであってもよく、その作成方法も特定の方法に限定されない。
【００６０】
次に、画面上に移動物体が複数存在する場合等において、所望の移動物体を色相により識別し、その移動物体のみを追尾できるようにした画像処理装置１４の構成及び処理について説明する。図１７は、この場合におけるリモコン雲台システムの構成を示したブロック図である。尚、図２に示した構成ブロックと同一又は類似作用のものには図２と同一符号を付し、また、雲台１０、雲台コントローラ１２、カメラ４０の構成及び処理は、図２の場合と全く同一であるため説明を省略する。
【００６１】
カメラ４０のカメラ本体４２から画像処理装置１４に入力された映像信号は、Ｙ／Ｃ分離回路４６によって輝度信号（Ｙ信号）と色差信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）に分離される。ここで分離された輝度信号と色差信号はそれぞれＡ／Ｄコンバータ４８、４９によってデジタル信号（以下、それぞれ輝度信号の画像データ、色差信号の画像データといい、両方含むときは単に画像データという）に変換され、画像メモリ５０に入力される。一方、Ｙ／Ｃ分離回路４６から画像処理プロセッサ５２には、映像信号の同期信号が与えられており、この同期信号に基づいて所要のタイミングで画像処理プロセッサ５２から画像メモリ５０にデータ書込みのコマンドが与えられる。これによって、画像メモリ５０には、後述のように所定時間間隔の複数フレーム分の画像データが記憶される。
【００６２】
画像メモリ５０に記憶された色差信号の画像データは、画像処理プロセッサ５２によって指定された範囲の各画素について読み出され、ＨＵＥ変換回路５１によって色相を示すデータ（ＨＵＥ値）に変換された後、そのＨＵＥ値が、画像処理プロセッサ５２に与えられる。ＨＵＥ値（Ｈ）は、次式によって求められる。
【００６３】
Ｈ＝ｔａｎ^-1（（Ｂ−Ｙ）／（Ｒ−Ｙ））
（ただし、（Ｒ−Ｙ）、（Ｂ−Ｙ）は、それぞれＲ−Ｙ信号とＢ−Ｙ信号の画像データの値を示す。）
画像処理プロセッサ５２及びＣＰＵ５４は、画像メモリ５０に記憶された輝度信号の画像データ及びＨＵＥ変換回路５１から得られるＨＵＥ値とに基づいて、カメラ４０で追尾すべき特定の移動物体の重心座標を後述のように検出し、検出した重心座標を雲台コントローラ１２に送信する。
【００６４】
以上の如く構成された画像処理装置１４における自動追尾（重心座標検出）の処理手順について図１８のフローチャート及び図１９を用いて説明する。まず、自動追尾を開始する前に、画像処理プロセッサ５２は、追尾すべき移動物体のＨＵＥ値（色相）のヒストグラムを作成する（ステップＳ８）。即ち、自動追尾開始前に追尾したい特定の被写体をカメラ４０で撮影し、カメラ本体４２からＹ／Ｃ分離回路４６、Ａ／Ｄコンバータ４８、４９を介して、その被写体を映した１フレーム分の画像データを画像処理装置１４の画像メモリ５０に取り込む。操作者は、その画像メモリ５０に記憶された画像データをモニタに表示させ、追尾すべき被写体の画像範囲をマウス等で指定する。画像処理プロセッサ５２は、その指定された範囲について、画像メモリ５０の色差信号の画像データに基づきＨＵＥ変換回路５１から各画素のＨＵＥ値を取得し、その指定された範囲のＨＵＥ値のヒストグラムを作成する。そして、そのヒストグラムのデータをＣＰＵ５４内のメモリに格納しておく。
【００６５】
以下、ステップＳ１０〜ステップＳ２２までは、上記実施の形態での処理と同様である。ただし、ステップＳ１０における画像▲１▼の取り込みについては、輝度信号の画像データのみを取り込み、ステップＳ１４における画像▲２▼の取り込みについては、輝度信号と色差信号の両方の画像データを画像メモリ５０に取り込む。ステップＳ１８における画像▲１▼と画像▲２▼の差画像を求める際には、輝度信号の画像データを使用する。
【００６６】
図１９（Ａ）は、画像メモリ５０に取り込まれた画像▲１▼と画像▲２▼の例を示した図であり、△は静止物体、□と○は移動物体を示している。上記ステップＳ８において例えば□の移動物体のＨＵＥ値のヒストグラムを作成すると、□の移動物体が追尾すべき移動物体となる。図１９（Ｂ）は、ステップＳ１８〜ステップＳ２２の処理によって得られた画像▲１▼と画像▲２▼の差画像を示した図であり、□と○の移動物体のみが抽出される。尚、図１９では、画像▲１▼と画像▲２▼の撮影範囲は一致しているものとし、ステップＳ１６において比較枠が、画像▲１▼及び画像▲２▼の全撮影範囲を含むように設定された場合を示している。
【００６７】
ステップＳ２２の処理が終了すると、ＣＰＵ５４は、差画像のデータに基づいて一体とみなされる移動物体の画像ごとにラベリングＮＯを付ける（ステップＳ２３）。尚、同一の移動物体であっても、差画像において一体でなければ別のラベリングＮＯが付けられる。図１９（Ｃ）は、移動物体の画像にラベリングＮＯを付した様子を示したもので、差画像に含まれる各移動物体のそれぞれにラベリングＮＯ１〜４が付されている。
【００６８】
続いて画像処理プロセッサ５２は、各ラベリングＮＯの移動物体の画像ごとに面積を求める（ステップＳ２４）。ＣＰＵ５４は、各ラベリングＮＯの移動物体の面積を画像処理プロセッサ５２から取得してそれぞれの面積を所定のしきい値と比較し、そのしきい値よりも大きい移動物体の画像だけを選出する（ステップＳ２６）。これにより、しきい値よりも小さな移動物体、又は動きの少ない移動物体は以下の処理の対象から除外される。もし、しきい値よりも大きい移動物体がなければ、上記ステップＳ１４に戻り、上述の処理を繰り返す。
【００６９】
次に、画像処理プロセッサ５２は、ＣＰＵ５４によって選出されたラベリングＮＯの移動物体ごとに１次モーメントを求め（ステップＳ２８）、各移動物体の画面上における重心座標を求める（ステップＳ３０）。図１９（Ｄ）は、各ラベリングＮＯ１〜４の被写体の重心座標を求めた結果を示した図であり、同図に示す＋の位置が重心位置を示している。
【００７０】
次に、画像処理プロセッサ５２は、各ラベリングＮＯの移動物体の画素範囲について、画像メモリ５０から画像▲２▼の色差信号の画像データを読み出し、ＨＵＥ変換回路５１によってＨＵＥ値を取得する。そして、各ラベリングＮＯの移動物体についてのＨＵＥ値のヒストグラムを作成する（ステップＳ３４）。続いて、ステップＳ１０で作成した追尾すべき移動物体の色相にもっとも近い移動物体を選出する（ステップＳ３６）。例えば、ステップＳ８で作成した追尾すべき移動物体のヒストグラムにおいて最大度数となるＨＵＥ値及びその近傍のＨＵＥ値の画素数が最も多い移動物体を選出する。図１９で示した例において、□の移動物体を追尾すべき移動物体としてステップＳ８でＨＵＥ値のヒストグラムを作成した場合、差画像のラベリングＮＯ１と２が追尾すべき移動物体となるが、画像▲２▼の色差信号の画像データによりＨＵＥ値のヒストグラムを作成しているため、図１９（Ｅ）に示すようにラベリングＮＯ１の移動物体がステップＳ３６の処理で選出される移動物体となる。
【００７１】
ＣＰＵ５４は、以上のようにして選出されたラベリングＮＯの移動物体の重心座標を雲台コントローラ１２に送信す（ステップＳ３２）、上記ステップＳ１０からの処理を繰り返す。尚、ＣＰＵ５４から移動物体の重心座標を取得した際の雲台コントローラ１２での処理は上述したのと全く同様である。
【００７２】
以上のように、追尾すべき所望の移動物体をその色相により特定することで、画面内に複数の移動物体が存在する場合等においても所望の移動物体の重心座標を検出することができ、その所望の移動物体のみを適切に自動追尾することができる。
【００７３】
尚、追尾すべき移動物体のＨＵＥ値のヒストグラムの作成は、操作者がその移動物体をモニタ上で指定して行うようにしたが、これに限らず、例えば、最初に移動する移動物体を検出し、その移動物体を追尾すべき移動物体としてその移動物体のＨＵＥ値のヒストグラムを自動で作成するようにしてもよい。
【００７４】
以上、上記実施の形態では、テレビカメラにより自動追尾する場合について説明したが、本発明はこれに限らず、静止画を撮影するカメラ（例えばデジタルスチルカメラ等）を使用して移動物体をを自動追尾する場合にも適用できる。
【００７５】
【発明の効果】
以上説明したように本発明に係る自動追尾装置によれば、パン、チルト、ハイトのうち少なくともいずれか１つのカメラの移動方向についての位置を主制御位置とし、他の移動方向とカメラのズームとフォーカスのうち少なくともいずれか１つについての位置を副制御位置とし、主制御位置については、追尾すべき移動物体の位置（重心座標）に基づいて制御する一方、副制御位置については、主制御位置に対してトレースデータによって関連付けされた位置となるように制御するようにしたため、トレースデータの作成内容によって移動物体の位置に応じた精細なカメラ制御が可能になる。また、移動物体の主たる移動方向に対するカメラの移動方向（例えば、パン方向）についての位置を主制御位置とし、その他のカメラの移動方向（チルト方向、ハイト方向）についての位置を副制御位置とすることによって、主制御位置に対する副制御位置をトレースデータの作成によって予め決めておくことができ、自動追尾中の映像を見やすいものとすることができる。また、フォーカスを副制御位置とすることによってカメラにオートフォーカス機能がない場合でも移動物体の位置に応じてフォーカス調整を自動で行なうことができ、ズームを副制御位置とすることによって移動物体の位置に応じたズーム調整も自動で行なうことができるようになる。
【図面の簡単な説明】
【図１】図１は、本発明が適用される自動追尾機能搭載のリモコン雲台システムの全体構成図である。
【図２】図２は、リモコン雲台システムの構成を示したブロック図である。
【図３】図３は、自動追尾モードにおいて画像処理装置の画像処理プロセッサ及びＣＰＵが行なう移動物体の重心座標の検出処理手順を示したフローチャートである。
【図４】図４（Ａ）乃至（Ｃ）は、雲台が停止している場合の被写体と撮影範囲の関係を示した説明図である。
【図５】図５は、図４の場合における差画像を例示した説明図である。
【図６】図６は、画面上の座標の説明に使用した説明図である。
【図７】図７（Ａ）乃至（Ｃ）は、雲台が移動している場合の被写体と撮影範囲の関係を示した説明図である。
【図８】図８は、図７の場合における差画像を例示した説明図である。
【図９】図９は、撮影範囲が右方向にシフトした場合の比較枠（比較範囲）の様子を示した説明図である。
【図１０】図１０は、撮影範囲が左方向にシフトした場合の比較枠（比較範囲）の様子を示した説明図である。
【図１１】図１１は、トレースデータの作成、登録についての説明に使用した説明図である。
【図１２】図１２は、トレースデータの構成を示した図である。
【図１３】図１３は、雲台コントローラにおける自動追尾機能の処理手順を示したフローチャートである。
【図１４】図１４は、不感帯の説明に使用した説明図である。
【図１５】図１５は、パン移動量算出の説明に使用した説明図である。
【図１６】図１６は、パン移動量算出の説明に使用した説明図である。
【図１７】図１７は、リモコン雲台システムの他の実施の形態の構成を示したブロック図である。
【図１８】図１８は、追尾すべき移動物体を色相により識別して重心座標を検出する画像処理装置の処理手順を示したフローチャートである。
【図１９】図１９は、図１８の処理の説明に使用した説明図である。
【符号の説明】
１０…雲台、１２…雲台コントローラ、１４…画像処理装置、４０…カメラ、４２…カメラ本体、４４…レンズ装置、４６…Ｙ／Ｃ分離回路、４８、４９…Ａ／Ｄコンバータ、５０…画像メモリ、５２…画像処理プロセッサ、５４…ＣＰＵ、６０…ＣＰＵ、６２…メモリ

Claims (4)

1. 雲台により、パン、チルト、及び、ハイトのうち少なくともいずれか１つの移動方向に移動可能にカメラを支持し、該カメラにより撮影された画像から追尾すべき移動物体の位置を検出して、該検出した位置に基づいて前記移動物体が前記カメラの撮影範囲外とならないように前記カメラを前記移動方向に移動させる自動追尾装置において、
   前記カメラの移動可能な移動方向のうち、少なくともいずれか１つの移動方向についての位置を主制御位置とし、前記カメラの移動可能な移動方向のうち、前記主制御位置に係る移動方向と異なる移動方向と、前記カメラのズームとフォーカスのうち、少なくともいずれか１つについての位置を副制御位置として、前記主制御位置に対して前記副制御位置を関連付けるトレースデータを作成するトレースデータ作成手段と、
   前記移動物体の位置が前記主制御位置に係る移動方向について前記カメラの撮影範囲外とならないように前記主制御位置を制御すると共に、前記主制御位置に対して前記トレースデータによって関連付けされた位置となるように前記副制御位置を制御する制御手段と、
   を備えたことを特徴とする自動追尾装置。
2. 前記主制御位置をパンについての位置として、前記副制御位置をチルト、ズーム、フォーカスについての位置とすることを特徴とする請求項１の自動追尾装置。
3. 前記トレースデータは、パン、チルト、ズーム、フォーカスについての一連の動作に対して一定時間間隔の各時点でのそれぞれの位置を記録したデータであることを特徴とする請求項２の自動追尾装置。
4. 追尾すべき所望の移動物体を色相により識別し、該識別した追尾すべき移動物体の位置を検出する検出手段を備えたことを特徴とする請求項１の自動追尾装置。

Images