JP4189534B2

JP4189534B2 - 自動追尾装置

Info

Publication number: JP4189534B2
Application number: JP35285199A
Authority: JP
Inventors: 邦男谷田
Original assignee: Fujinon Corp
Current assignee: Fujinon Corp
Priority date: 1999-12-13
Filing date: 1999-12-13
Publication date: 2008-12-03
Anticipated expiration: 2019-12-13
Also published as: JP2001169170A

Description

【０００１】
【発明の属する技術分野】
本発明は自動追尾装置に係り、特にカメラの撮影方向を自動で移動させて所望の被写体を自動追尾する自動追尾装置に関する。
【０００２】
【従来の技術】
自動追尾装置は、雲台に搭載したテレビカメラをモータ駆動によりパン・チルトさせてカメラの撮影方向を自動で変更し、移動する被写体（移動物体）を自動追尾する装置である。自動追尾の方法として特公平６−１４６９８号公報に記載のものが一般的に知られている。この方法は、カメラから得られる映像信号から所定時間間隔の２フレーム分の画像の差を求めて移動する被写体の画像を抽出し、その被写体の画像の重心位置から被写体の移動量及び移動方向を検出する。そして、移動する被写体が常に画面中央部となるように、検出した被写体の移動量及び移動方向に基づいてカメラの撮影方向を雲台により自動で動かすというものである。
【０００３】
【発明が解決しようとする課題】
ところで、従来の自動追尾の方法では、追尾すべき被写体が常時撮影画面の中央付近となるようにカメラをパン・チルト動作させるようにしているため、被写体がカメラの撮影範囲内で左右に少し動いただけでも常にカメラがパン・チルト動作することになり、画面がブレたように見え、カメラの映像が見にくくなるという問題があった。
【０００４】
本発明はこのような事情に鑑みてなされたもので、追尾すべき被写体の動作に対して、カメラの動作を極力少なくして見やすい映像により被写体を自動追尾することができる自動追尾装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、前記目的を達成するために、カメラの撮影方向を移動させて、追尾すべき被写体を自動追尾する自動追尾装置において、前記追尾すべき被写体の位置を検出する追尾位置検出手段と、前記追尾すべき被写体の位置が前記カメラで撮影される画像の画面内に設定される所定の不感帯の範囲内にあるか否かを判定する判定手段と、前記判定手段によって前記追尾すべき被写体の位置が前記不感帯の範囲内であると判定したときには、前記カメラの撮影方向を移動させず、前記判定手段によって前記追尾すべき被写体の位置が前記不感帯の範囲外であると判定したときには、前記被写体を追尾する方向に前記カメラの撮影方向を移動させる制御手段と、前記不感帯の範囲を前記画面内の被写体の位置に応じて変化させる不感帯範囲変更手段と、を備えたことを特徴としている。
【０００６】
本発明によれば、カメラで撮影される画像の画面内に不感帯を設定し、追尾すべき被写体の位置がその不感帯の範囲外に移動した場合にのみ被写体を追尾する方向にカメラの撮影方向を移動させるようにしたため、被写体が画面内で多少移動してもカメラの撮影方向が移動することがなく、見やすい映像により被写体を自動追尾することができるようになる。
【０００７】
また、画面内の追尾すべき被写体の位置に応じて不感帯の範囲を変化させるようにし、例えば、追尾すべき被写体の位置が画面中央にある程不感帯の範囲を広くし、追尾すべき被写体の位置が画面の端に行く程不感帯の範囲を狭くすることにより、被写体が画面から外れて追尾不能に陥るという不具合を適切に防止することができる。
【０００８】
【発明の実施の形態】
以下添付図面に従って本発明に係る自動追尾装置の好ましい実施の形態を詳述する。
【０００９】
図１は、本発明が適用される自動追尾機能搭載のリモコン雲台システムの全体構成図である。同図に示すリモコン雲台システムは、リモコン雲台１０（以下、単に雲台１０という）、雲台コントローラ１２、及び、画像処理装置１４とから構成される。雲台１０は、テレビカメラ（以下、単にカメラという）を収容するハウジング１５と、ハウジング１５をパンニング及びチルティングさせる雲台本体１６とから構成される。ハウジング１５の前面には透明の保護ガラス１７が設けられ、ハウジング１５内に収納されたカメラはこの保護ガラス１７を介してハウジング１５外部の映像を撮影する。
【００１０】
上記ハウジング１５は、雲台本体１６から延設されたチルト軸（図示せず）に支持され、このチルト軸は雲台本体１６に内蔵されたチルトモータによって回転駆動される。また、雲台本体１６は図示しない据付台上に固定されたパン軸１８によって支持され、このパン軸１８は雲台本体１６に内蔵されたパンモータによって回転駆動される。従って、雲台本体１６に内蔵されたパンモータとチルトモータが駆動されると、ハウジング１５に収納されたカメラがパン・チルト動作し、カメラの撮影方向が変更される。
【００１１】
上記雲台コントローラ１２は、雲台１０にケーブルを介して接続され（尚、専用回線、公衆回線等の通信回線を介して接続することも可能である。）、雲台コントローラ１２に設けられている各種操作部材の操作に基づいて制御信号を雲台１０に送信し、雲台１０及び雲台１０に搭載されたカメラの各種動作を制御する。本発明において雲台コントローラ１２は、自動追尾機能により、画像処理装置１４から与えられる追尾すべき被写体の位置（以下で示す重心位置）に基づいて雲台１０のハウジング１５をパン・チルトさせる制御信号を雲台１０に送信し、カメラの撮影方向（パン・チルト位置）を追尾すべき被写体の方向に移動させるコントローラとして機能する。
【００１２】
図２は、上記リモコン雲台システムの構成を示したブロック図である。同図に示すように雲台１０のハウジング１５に収納されるカメラ４０は、カメラ本体４２とカメラ本体４２に装着されるレンズ装置４４とから構成される。カメラ本体４２は、撮像素子や所要の処理回路を備えており、撮像素子によって撮影した画像（動画）を映像信号として外部に出力する。撮影開始や終了等の撮影動作の制御は雲台コントローラ１２から雲台１０を介して与えられる制御信号に基づいて行われる。
【００１３】
レンズ装置４４は、モータ駆動可能なフォーカスレンズやズームレンズ等の光学部材を備えており、フォーカスレンズやズームレンズが移動することによりカメラ４０のフォーカス、ズームの調整が行われる。フォーカスやズーム等のレンズ装置４４の動作に関する制御は、カメラ本体４２と同様に雲台コントローラ１２から与えられる制御信号に基づいて行われる。
【００１４】
雲台１０は、上述のように雲台コントローラ１２から与えられる制御信号によりハウジング１５を駆動し、カメラ４０をパン・チルト動作させると共に、カメラ本体４２又はレンズ装置４４の制御に関して雲台コントローラ１２から与えられる制御信号をカメラ本体４２又はレンズ装置４４に転送する。
【００１５】
画像処理装置１４は、雲台コントローラ１２が自動追尾モードとなっているときに有効に作用する装置であり、同図に示すように主としてＹ／Ｃ分離回路４６、画像メモリ５０、画像処理プロセッサ５２、ＣＰＵ５４等から構成される。Ｙ／Ｃ分離回路４６は、カメラ４０のカメラ本体４２から出力された映像信号を輝度信号（Ｙ信号）と色差信号に分離する。ここで分離された輝度信号はＡ／Ｄコンバータ４８によってデジタル信号（以下、画像データという）に変換され、画像メモリ５０に書き込まれる。尚、画像メモリ５０には、後述のように２フレーム分の画像データが書き込まれる。
【００１６】
画像処理プロセッサ５２は、Ｙ／Ｃ分離回路４６から映像信号に同期して与えられる同期信号に基づいて、２フレーム分の画像データを画像メモリ５０に記憶させると共に、画像メモリ５０に記憶した画像データを読み出して、その画像データに基づいてカメラ４０で追尾すべき被写体の位置を検出するための処理を行う。尚、画像処理プロセッサ５２の処理内容についての詳細は後述する。
【００１７】
ＣＰＵ５４は、画像処理プロセッサ５２での処理結果に基づきカメラ４０で追尾すべき被写体の位置を取得し、その位置を雲台コントローラ１２に与える。また、その他必要な処理を実行する。尚、ＣＰＵ５４の処理内容についての詳細は後述する。
【００１８】
上記雲台コントローラ１２は、自動追尾モードでない場合には、上述のように雲台コントローラ１２に設けられている各種操作部材の操作に基づいて制御信号を雲台１０に送信し、雲台１０及び雲台１０に搭載されたカメラ４０の各種動作を制御する。一方、自動追尾モードの場合には、画像処理装置１４のＣＰＵ５４から与えられる追尾すべき被写体の位置に基づいて、その位置が画面（カメラ４０で撮影された画像が構成される範囲）の中央となるように雲台１０にパン・チルトの制御信号を出力し、カメラ４０の撮影方向を追尾すべき被写体の方向に移動させる制御を行う。
【００１９】
以上の如く構成されたリモコン雲台システムにおける自動追尾の処理手順について図３のフローチャート及び図４を用いて説明する。画像処理プロセッサ５２は、まず、カメラ４０のカメラ本体４２からＹ／Ｃ分離回路４６、Ａ／Ｄコンバータ４８を介して得られる１フレーム分の画像データ（この画像を画像▲１▼とする）を画像メモリ５０に取り込む（ステップＳ１０）。続いて、所定時間経過後に画像▲１▼と同様に１フレーム分の画像データ（この画像を画像▲２▼とする）を画像メモリ５０に取り込む（ステップＳ１２）。図４（Ａ）は、画像メモリ５０に取り込まれた画像▲１▼と画像▲２▼の例を示した図であり、△で示す被写体は静止しており、○で示す被写体が移動している。
【００２０】
次に、画像処理プロセッサ５２は、画像▲１▼と画像▲２▼の差画像を求める（ステップＳ１４）。即ち、画像▲１▼と画像▲２▼の画像データの同一画素同志の差を求め、その絶対値を求める。これにより、移動している被写体の画像データのみが抽出される。図４（Ｂ）は、図４（Ａ）に示した画像▲１▼と画像▲２▼の差画像を示した図であり、移動した○の被写体のみが抽出される。即ち、この○の被写体が追尾すべき被写体となる。
【００２１】
続いて、画像処理プロセッサ５２は、ステップＳ１４で求めた差画像の各画素の画像データを２値化する（ステップＳ１６）。この処理により理想的には移動している被写体の画素データが１、それ以外で０となる。次いで、２値化した差画像を収縮する処理を行い、細かいノイズを除去する（ステップＳ１８）。そして、この差画像のデータに基づいて一体とみなされる被写体ごとにラベルを付ける（ステップＳ２０）。図４（Ｃ）は、被写体にラベルを付した様子を示したもので、差画像に含まれる被写体のそれぞれに「１」と「２」のラベルが付されている。
【００２２】
続いて画像処理プロセッサ５２は、各被写体ごとに面積を求める（ステップＳ２２）。図４（Ｄ）の斜線で示した範囲が各被写体「１」、「２」の面積となる。ＣＰＵ５４は、各被写体の面積を画像処理プロセッサ５２から取得してそれぞれの面積を所定のしきい値と比較し、そのしきい値よりも大きい被写体だけを選出する（ステップＳ２４）。これにより、しきい値よりも小さな被写体、又は動きの少ない被写体は以下の処理の対象から除外される。もし、しきい値よりも大きい被写体がなければ、上記ステップＳ１２に戻り、上述の処理を繰り返す。図４（Ｄ）の被写体「１」と被写体「２」の面積は所定のしきい値よりも大きく、ＣＰＵ５４によって選出されたものとする。
【００２３】
次に、画像処理プロセッサ５２は、ＣＰＵ５４によって選出されたラベルの被写体全てを含めた１次モーメントを求め（ステップＳ２６）、それら被写体の重心位置を求める（ステップＳ２８）。この重心位置は、例えば画面上に想定された縦横の座標値によって表され、以下、その重心位置の座標を重心座標といい、この重心位置（重心座標）が上記追尾すべき被写体の位置となる。図４（Ｅ）は、被写体「１」と被写体「２」の重心座標を求めた結果を示した図であり、同図に示す＋の位置が重心位置を示している。
【００２４】
次にＣＰＵ５４は、画像処理プロセッサ５２が求めた重心座標が不感帯の範囲内か否かを判定する（ステップＳ３０）。不感帯は、例えば図５の斜線範囲Ｐに示すように画面Ｌの中央部分に所定幅で設定される。同図のａ点のように重心座標が不感帯の範囲Ｐ内にある場合には、ＣＰＵ５４はステップＳ３０でＮＯと判定することになり、雲台コントローラ１２にはこの重心座標を送信せずに上記ステップＳ１０からの処理を繰り返し実行する。従って、カメラ４０の撮影方向は静止したままとなる。
【００２５】
一方、同図のｂ点のように重心座標が不感帯の範囲Ｐ外にある場合には、ＣＰＵ５４は、ステップＳ３０でＹＥＳと判定することになり、その重心座標を雲台コントローラ１２に送信する。
【００２６】
雲台コントローラ１２は、雲台１０から逐次現在のパン・チルト位置及びズーム位置（焦点距離）を取得しており、上述のようにＣＰＵ５４から重心座標が送信されてきた場合には、そのときのパン・チルト位置及びズーム位置（焦点距離）に基づいてその重心座標の位置が画面の中央となるようなパン・チルト位置を求め、雲台１０にそのパン・チルト位置への移動を指令する制御信号を送信してカメラ４０の撮影方向を移動させる（ステップＳ３２）。
【００２７】
ＣＰＵ５４は、雲台コントローラ１２から現在のパン・チルト位置を取得しており、このパン・チルト位置の変化の有無により、雲台１０のパン・チルト動作が停止したか否かを判定する（ステップＳ３４）。雲台１０のパン・チルト動作が停止したと判定した場合には、上記ステップＳ１０に戻り、ステップＳ１０からの処理を繰り返し実行する。
【００２８】
尚、同図で示した不感帯の範囲Ｐは、追尾すべき被写体が主として横方向にのみ移動する場合を想定し、縦方向の移動に対しては自動追尾を行わない、或いは、被写体の縦方向の移動に対しては不感帯を設定せずに重心座標が常に画面の縦方向の中央となるようにカメラ４０のチルト位置を移動させるという前提で設定したもので、画面の縦方向についても不感帯の範囲と不感帯でない範囲とを設定する（画面縦方向についても不感帯の範囲を中央部分に制限する）ことにより、被写体の縦方向の移動に対しても被写体の横方向の移動に対する自動追尾と同様の制御を行うことができる。
【００２９】
このように、画面内に不感帯の範囲を設け、上記重心座標がその不感帯の範囲内にあるときには、カメラ４０の撮影方向を変更しないようにし、重心位置が不感帯の範囲を越えて移動したときには重心位置が画面中央となるようにカメラ４０の撮影方向を移動させるようにしたため、被写体が画面内で多少移動してもカメラ４０がパン・チルト動作せずに見やすい映像により被写体を自動追尾することができる。
【００３０】
次に、上記不感帯の設定方法について他の実施の形態を説明する。上記実施の形態では画面内に不感帯の範囲を設けてその範囲内に重心座標がある場合にはカメラ４０の撮影方向を変更しないようにしたが、本実施の形態では、自動追尾による雲台１０のパン・チルト動作が停止した後、上記実施の形態における図４のステップＳ１０〜ステップＳ２８の処理と同様にして重心座標を求めた際に、その最初に求めた重心座標の画面内の位置に応じて不感帯の範囲を設定するようにしたものである。図６は、本実施の形態における不感帯の設定方法を示した図であり、画面の横方向についての最初の重心座標（横軸）と、その重心座標に対して設定される不感帯の範囲の大きさ（縦軸）との関係を示したものである。尚、本実施の形態においても追尾すべき被写体が主として横方向にのみ移動する場合を想定し、横方向に対する不感帯の設定方法について説明するが、縦方向についても横方向と同様に不感帯を設定することは可能である。
【００３１】
同図に示すように画面の横方向の座標を０〜３８４で表すと、例えば、最初の重心座標が画面中央の１９２であるときには、不感帯の範囲は２０であり最大値をとる。画像処理装置１４のＣＰＵ５４は、このときには、以後に検出される重心座標が横方向に２０移動するまでは、重心座標を雲台コントローラ１２に送信せずにカメラ４０のパン・チルト位置を静止させ、それ以上重心座標が移動した場合には、そのときの重心座標を雲台コントローラ１２に送信してカメラ４０の撮影方向を移動させる。
【００３２】
これに対して、最初の重心位置が画面の中央位置から離れる程、不感帯の範囲は徐々に狭くなり、例えば、最初の重心座標が９６であるときには、不感帯の範囲は１０となる。この場合にはＣＰＵ５４は、以後に検出される重心座標が横方向に１０移動するまでは、重心座標を雲台コントローラ１２に送信せずにカメラ４０のパン・チルト位置を静止させ、それ以上重心座標が移動した場合には、そのときの重心座標を雲台コントローラ１２に送信してカメラ４０の撮影方向を移動させる。このように、自動追尾動作によりカメラ４０がパン・チルト動作した後、最初に検出された重心座標が画面の中央部分にある程不感帯の範囲を広くし、画面の端に行く程不感帯の範囲を狭くすることにより、被写体が画面から外れて追尾不能に陥るという不具合を適切に防止することができる。尚、上記説明では、不感帯の範囲を最初に検出された重心座標に基づいて設定するようにしたが、これに限らず、最初の重心座標が検出された後に検出された重心座標が最初の重心座標に基づいて設定された不感帯の範囲であるときには、その新しく検出された重心座標に基づいて不感帯の範囲を再設定するようにし、また、不感帯の範囲の再設定後に検出された重心座標がその不感帯の範囲にあるときには、更に、その重心座標に基づいて不感帯の範囲を再設定するようにしてもよい。
【００３３】
以上、上記実施の形態では、カメラ４０の撮影方向を移動させて自動追尾する場合について説明したが、本発明は、カメラ４０の撮影方向に加えて撮影画角の大きさ（ズーム位置）を変更して自動追尾する場合でも同様に適用できる。
【００３４】
また、上記実施の形態では、テレビカメラにより自動追尾する場合について説明したが、本発明はこれに限らず、静止画を撮影するカメラ（例えばデジタルスチルカメラ等）を使用して被写体を自動追尾する場合にも適用できる。
【００３５】
【発明の効果】
以上説明したように本発明に係る自動追尾装置によれば、カメラで撮影される画像の画面内に不感帯を設定し、追尾すべき被写体の位置がその不感帯の範囲外に移動した場合にのみ被写体を追尾する方向にカメラの撮影方向を移動させるようにしたため、被写体が画面内で多少移動してもカメラの撮影方向が移動することがなく、見やすい映像により被写体を自動追尾することができるようになる。
【００３６】
また、画面内の追尾すべき被写体の位置に応じて不感帯の範囲を変化させるようにし、例えば、追尾すべき被写体の位置が画面中央にある程不感帯の範囲を広くし、追尾すべき被写体の位置が画面の端に行く程不感帯の範囲を狭くすることにより、被写体が画面から外れて追尾不能に陥るという不具合を適切に防止することができる。
【図面の簡単な説明】
【図１】図１は、本発明が適用される自動追尾機能搭載のリモコン雲台システムの全体構成図である。
【図２】図２は、リモコン雲台システムの構成を示したブロック図である。
【図３】図３は、自動追尾の処理手順を示したフローチャートである。
【図４】図４は、自動追尾の処理手順の説明に用いた説明図である。
【図５】図５は、不感帯の説明に用いた説明図である。
【図６】図６は、他の実施の形態における不感帯の説明に用いた説明図である。
【符号の説明】
１０…雲台、１２…雲台コントローラ、１４…画像処理装置、４０…カメラ、４２…カメラ本体、４４…レンズ装置、４６…Ｙ／Ｃ分離回路、４８…Ａ／Ｄコンバータ、５０…画像メモリ、５２…画像処理プロセッサ、５４…ＣＰＵ

Claims

カメラの撮影方向を移動させて、追尾すべき被写体を自動追尾する自動追尾装置において、
前記追尾すべき被写体の位置を検出する追尾位置検出手段と、
前記追尾すべき被写体の位置が前記カメラで撮影される画像の画面内に設定される所定の不感帯の範囲内にあるか否かを判定する判定手段と、
前記判定手段によって前記追尾すべき被写体の位置が前記不感帯の範囲内であると判定したときには、前記カメラの撮影方向を移動させず、前記判定手段によって前記追尾すべき被写体の位置が前記不感帯の範囲外であると判定したときには、前記被写体を追尾する方向に前記カメラの撮影方向を移動させる制御手段と、
前記不感帯の範囲を前記画面内の被写体の位置に応じて変化させる不感帯範囲変更手段と、
を備えたことを特徴とする自動追尾装置。
前記不感帯の範囲は、前記画面内の被写体の位置が画面中央である程広く、画面端部である程狭くすることを特徴とする請求項１の自動追尾装置。