JP3707769B2 - 物体追尾システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、侵入者等の監視対象物体を追尾するシステムにおける追尾方式に関するものである。
【０００２】
【従来の技術】
物体追尾システムに関し、一般的な侵入者追尾システムの例によって従来技術の説明を行う。
まず、従来技術の説明に必要な、システム全般の説明を行う。図１０はこのようなシステムの一例を示すものである。
【０００３】
このシステムは、ビル６０１の周辺に侵入してくる侵入物（例えば人）を検知し、追尾するシステムで、使用するＴＶカメラには、侵入者を検知するための検知用カメラ６０２，６０３，６０４と、侵入者を追尾するための追尾用カメラ６０５がある。検知用カメラ６０２，６０３，６０４はそれぞれ予め定められた受け持ち範囲を撮像し、ビル６０１の周辺を全て撮影する。このために、この従来例の場合、検知用カメラは屋上に設置されている。また、各検知用カメラは、撮像範囲を複数のエリアに分割し、後述の通り、この各エリアにおける侵入者の検出を行っている。侵入者６０６がビル６０１の周辺に来た場合、検知用カメラ６０２，６０３，６０４の少なくとも一台が侵入者６０６を撮影することができる。
【０００４】
一方、追尾用カメラは、各エリアに対応して、フォーカス値、ズーム比等が複数設定されている。
【０００５】
各検知用カメラにより撮影された映像は、Ａ／Ｄ変換部６０７へ入力されデジタル変換される。さらに、デジタル変換された映像はグラフィックＩ／Ｆ６０８を通ってモニタ６０９とＣＰＵ６１１へ出力される。ＣＰＵ６１１は、入力映像から各カメラの各エリアにおける侵入者の有無を判断する。この侵入者検出は、周知の画像処理技術により可能である。
【０００６】
ここで、侵入者６０６が存在する場合、座標変換部６１２で侵入者６０６の場所を特定し、エリア選択手段６１３で侵入者６０６が存在するエリアの番号を求める。エリア番号によりそのエリアに対応するフォーカス値、ズーム比、撮像方向等のプリセット位置を決定し、雲台制御Ｉ／Ｆ６１４を使って半固定レンズ６１５と雲台６１６を付けている追尾用カメラ６０５を、侵入者６０６の方へ向け撮影する。そして、追尾用カメラ６０５は、ＣＰＵ６１１が検知用カメラ６０２，６０３，６０４により侵入者を検知している間は、同じ手順で侵入者６０６を追尾し続ける。
【０００７】
次にエリアの選択の方法について、図１１（ａ）（ｂ）（ｃ）で説明する。図１１は,ビルの屋上から下方を撮像したものである。まず、ＣＰＵ６１１が処理する映像を３系統の検知用カメラ映像からひとつ選択し、ビル６０１の周辺画像の撮り込みを行い、０から２５５までの２５６階調の輝度信号であらわされたデジタル画像７０２（図１１〈ａ〉参照）を作成する。撮り込んだデジタル画像７０２に２値化、ラベリング、軌跡作成などの処理を用いて、侵入者の有無を調べる。侵入者６０６を検知した場合は、デジタル画像７０２の何処にいるかをＸＹ座標７０４（ｘ１、ｙ１）で出力する。さらに、デジタル画像７０２の２値化画像７０５を作成し、侵入者の外接矩形７０６内における侵入者の重心７０７（ｇｘ、ｇｙ）を求め（図１１〈ｂ〉参照）、デジタル画像の座標に変換し、座標７０８（ｘ２、ｙ２）を計算する。このようにして座標７０８を含むエリア７０９が侵入者６０６のいるエリアとして選択される（図１１〈ｃ〉参照）。なお、図中の点線１は各エリアの境界線を示す。
【０００８】
【発明が解決しようとする課題】
このような、従来の方式で、エリアの境界付近に侵入者が存在し、少しでもエリアをまたいで往復移動したり、あるいは、静止していても光の変化等で複数のエリアで侵入者として交互に検知された場合に、２つまたは２つ以上のエリア（位置）情報が次々と出力される。このため、追尾カメラ６０５に対して、カメラおよびカメラを搭載する雲台、レンズ等に対するプリセットされた制御指令が短時間で切り換る。このため、追尾カメラの画像はめまぐるしく変化し、監視域の状況が確認しづらくなってしまう。更に、往復動作を繰り返すことによりカメラを搭載する雲台部および電動ズームレンズ等の寿命が大幅に短くなるという問題がある。本発明はこれらの問題点を解決することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上記の課題を解決するため、境界線により縦横分割したエリアの夫々に、更に、上下左右に一定幅の隣接するエリアとオーバーラップするオーバーラップエリアを設けたものである。
【００１０】
そして、対象物体がこのオーバーラップエリアを通過しない限り、次のエリアに移ったものと判断しないという、ヒステリシス的な制御特性を持たせたものである。
【００１１】
つまり、対象物体の検出エリアが変わっても、オーバーラップエリアを通過しない限り、追尾カメラのプリッセト値を変更しないようにし、安定した追尾画面をモニタ表示できるようにしたものである。
【００１２】
この一つ一つのエリア、すなわち、単位エリアを複数個組み合わせた複合エリアを形成してもよい。この複合エリアに対応して追尾用カメラのプリセット値を設定するようにしても良い。また、この複合エリアを用いて、検知用カメラで複数の検知物体を検知した場合には、追尾用カメラは前記複数の検知物体を同時に監視するようにしても良い。この場合、追尾用カメラは、広角にするのが理想的である。
【００１３】
検知用カメラは、一つでも、複数個でもよく、追尾用カメラも一つでも複数個でも良い。
【００１４】
【発明の実施の形態】
本発明の一実施例である侵入者追尾システムについて説明する。
【００１５】
図１は侵入者追尾システムのブロック図で、この実施例では検知用カメラが１台、追尾用カメラが１台の例を示している。なお、侵入者６０６の重心を計算するまでの技術は従来と同じ処理であるのでここでの説明は省略する。
【００１６】
侵入者の重心が計算された後、オーバーラップ補正を加えたエリア選択を行う。オーバーラップ補正は、従来技術で問題となっている隣り合う複数のエリアの境界付近でエリアをまたいで往復移動する物体に対して、２つの位置情報を次々出力するために生ずるカメラの不要な往復動作を解決するための補正である。
【００１７】
次にこの実施例につて詳細に説明する。このシステムは、ビル６０１の周辺を広角撮影している検知用カメラ６０２の映像を元に、レンズ６１５、雲台６１６をエリア毎に定められた値に制御し、追尾用カメラ６０５の方向、画角を決定している。検知用カメラ６０２の映像は、Ａ／Ｄ変換６０７によってデジタル化され、グラフィックＩ／Ｆ６０８と画像メモリ７へ転送される。グラフィックＩ／Ｆ６０８に転送された画像データは、モニタ６０９で表示される。ＣＰＵ６は、画像メモリ７のデータを元に、各種メモリ８を使用し、座標変換１１２、エリア選択１１３を行い追尾カメラ６０５の方向、画角を決定する。ここで、本発明では、オーバーラップ補正１０１を加えることで、補正した雲台６１６、レンズ６１５等の制御データを算出し、従来の不具合事象を発生させない雲台レンズ制御が可能となる。オーバーラップ補正された制御データにより、雲台制御Ｉ／Ｆ６１４がレンズ６１５、雲台６１６を制御し、追尾用カメラを侵入者６０６へ向ける。追尾用カメラ６０５の映像は、モニタ６１０に映し出される。
【００１８】
次にオーバーラップ補正部１０１の動作について図２を用いて説明する。
境界線１で分けられた３×３のエリアからなる図示した合成エリア２０１は、検知用カメラ６０２により捕らえられた画像をＡ／Ｄ変換６０７でデジタル化したものである。全体エリアはグラフィックＩ／Ｆ６０８によりモニタ６０９で表示される。
【００１９】
図２は、侵入者６０６が中央のエリア２１０３から右のエリア２１０４に移動した後、中央エリア２１０３に再び戻る様子を表している。この一連の動作を検知エリア、オーバーラップエリア、プリセットエリアの要素に分け、（ａ）（ｂ）（ｃ）に示す。図の縦方向は時間帯（ｔ１からｔ５）を表している。
【００２０】
検知エリア（ａ）の中央のエリア２１０３（斜線部）は侵入者６０６の検知エリアを示している。オーバーラップエリア（ｂ）の点線２がオーバーラップエリアを示し、このオーバーラップエリア２から外に出なければプリセットエリアの移動は行わない。プリッセトエリア（ｃ）の斜線部２３０１はプリセットエリアを示し、このエリア番号から予め設定しておいた追尾カメラの雲台、レンズの位置を決定する。常に、侵入者を映すためには、プリセットの設定はプリセットエリアより広範囲に設定する必要がり、オーバーラップエリアより少し大き目、一例として、１２０％にするのが理想的である。
【００２１】
次にこの動作を具体的に説明する。
侵入者６０６が中央エリア２１０３から右のエリア２１０４へ移動した場合（ｔ１→ｔ２）、検知エリアは２１０４に移動するが、時間ｔ１のオーバーラップエリア２２０１から外に出ていないためプリセットエリア２３０１は変更しない。さらに、侵入者６０６が右へ移動した場合（ｔ２→ｔ３）、オーバーラップエリア２２０１の外に出るとオーバーラップエリアも移動し２２０２となる。そして、プリセットエリアが変更されプリセットエリア２３０２になる。逆に、侵入者６０６が左に移動した場合（ｔ３→ｔ４）、侵入者６０６はオーバーラップエリア２２０２の外に出ないためプリセットエリアは移動しない。さらに、侵入者６０６が左へ移動した場合（ｔ４→ｔ５）、オーバーラップエリア２２０２の外に出るとオーバーラップエリアが移動し２２０１となる。そして、プリセットエリアが移動しプリセットエリア２３０１になる。
【００２２】
このような動作において、例えば、侵入者６０６がｔ１の状態からｔ２の状態の位置に移動し、再びｔ４の位置に戻るような動作を繰り返した場合、この実施例では、侵入者６０６はオーバーラップエリア２２０１内での動きとなるため、プリセットエリア２３０１の変更は行われず、安定した画面を得ることができる。
【００２３】
つまり、本実施例では、エリアの境界線上で侵入者が短時間で往復移動してもプリセット移動は行われず、急激な動きの無い映像をモニタ６１０で確認することができる。
【００２４】
次に本発明の実施例を図６のフローチャートに基づき説明する。
本実施例では図１のブロック図に示すように、装置内に画像メモリ７のほかに少なくともメモリ８、９、１０の三つのメモリを有する。メモリ８は、侵入者６０６のいるエリア番号を代入しておくメモリである。メモリ９は、前回の侵入者がいたエリア番号を示しており、侵入者がいない時には、−１が代入されている。メモリ１０は、選択エリア番号を示しており、侵入者がいない時は−１が代入されている。まず、侵入者がいるかどうか判断４１を行ない、いない場合は、メモリ９に−１を代入する（ステップ５３）、メモリ１０に−１を代入（ステップ５４）し終了（ステップ５２）する。侵入者６０６がいる場合は、周知の技術により侵入者６０６の重心（ｇｘ、ｇｙ）を計算（ステップ４２）する。計算した重心（ｇｘ、ｇｙ）は、デジタル画像座標に変換（ステップ４３）され（ｇｄｘ、ｇｄｙ）。この重心を含むエリアを探しエリア番号を決定（ステップ４４）した後、メモリ８にエリア番号を代入（ステップ４５）する。次にメモリ９の符号を調べ（ステップ４６）、負の場合はメモリ９をメモリ８の値に代入（ステップ５１）し、終了５２する。メモリ９が正の場合は、処理を続行する。次にメモリ８とメモリ９を比較（ステップ４７）し、等しい場合には、メモリ１０にメモリ８の値を代入（ステップ５５）し、処理５１を経て終了５２する。等しくない場合は、メモリ８が示すオーバーラップエリアに、重心が含まれているかどうかを調べる（ステップ４８）。含まれていない場合にはメモリ１０にメモリ９の値を代入（ステップ４９）し、処理（ステップ５１）を経て、終了５２する。重心が含まれている場合にはメモリ８をメモリ９、１０に代入（ステップ５０）して終了５２する。このようにして、先に説明したオーバーラップエリア補正を行っている。
【００２５】
上記では、重心でエリア判定を行った例を説明したが、顔検出、足検出処理を加えて、顔面部、足元部でエリア判定処理を行っても良いし、その他の処理を加えて監視すべき対象物、対象部分によりエリア判定を行っても良い。
【００２６】
エリアの形状は正方形でも長方形でも良し、また、それ以外の形状でも可能である。本発明を実際に導入する場合には、監視用映像には必ず奥行きや高さがあり、エリアの形状を変更できなければならない。形状を変更するためには、それぞれのエリア情報を図７に示すようなデータ構造にする必要がある。全エリアデータは、個別エリア総数５０１、複数の個別エリアデータ５０２から構成されている。さらに、個別データ５０２はエリア種別５０３、エリア番号５０４、頂点数５０５、複数の頂点座標５０６から構成されている。エリア種別５０４には、侵入者の位置を特定するエリアとオーバーラップエリアがある。以上のようなレコードにすることで、エリアの形状、個数を任意に設定することができる。
【００２７】
次に第２の実施例について説明する。
図３は本発明の第２の実施例を示すブロック図で、基本的には図１の構成と同じであるが、エリア検出カメラを複数台（９台）とし、一つのカメラが一つのエリアを受け持つようにしたものである。また、ハードウエア構成上は侵入者検出のための座標変換部、エリア選択部、オーバーラップ補正部をＣＰＵで制御するように構成しているが、基本動作上の違いはない。
【００２８】
図４は、図３における各検知カメラ６０２、６０３、６０４、６２２、６２３、６３３、６４３、６５４、６５５により捕らえた画像を合成して示したもので、この映像はモニタ６０９に表示される。同図において、夫々エリア６２２２の部分が検知カメラ６２２の映像であり、以下同様にエリア６０４２が検知カメラ６０４の画像である。斜線は現在選択されているエリアを示す。
【００２９】
図４は侵入者６０６が中央エリア６４３２（ａ）から右のエリア６５５２へ移動（ｂ）した後、中央エリア６４３２へ戻る様子を表している。線１がエリア境界線でエリアの領域を区切っている。破線２はオーバーラップエリアを示し、例えば（図４〈ａ〉参照）６４３３はエリア６４３２のオーバーラップエリアを示す。同じく（図４（ｂ）参照）、６５５３はエリア６５５２のオーバーラップエリアを表している。このオーバーラップエリアから外に出なければエリアの移動の制御は行わない。したがって、このときには追尾カメラ６０５は前のエリアのプリセット値が有効になっている。具体的には、（ｂ）のように侵入者６０６がエリア線２０３を超えてエリア６５５２の位置へ移動してもオーバーラップエリア６４３３を超えていないので、選択エリアは変化しない。さらに、（ｃ）のように侵入者６０６が右方向の位置へ移動し、オーバーラップエリア６４３３を超えると、侵入者６０６のいる所が選択エリア６５５２になる。このとき、エリア移動の制御が行われ、追尾カメラ６０５のプリセット値がエリア６５５２の値に変更される。このとき、オーバーラップエリアは（ｄ）のようにエリア６５５２の６５５３に変わる。更に、選択エリアに伴いオーバーラップエリアが移動するので、再度侵入者６０６が移動し、選択エリアが変化し、侵入者が元の位置へ戻っても（ｅ）に示すように選択エリアは変わらない。ところが、さらに（ｆ）のように侵入者６０６が左に移動し、オーバーラップエリア６５５３を超えると、選択エリアを６４３２に変更する。以上のような手順でエリア選択を行う。このようにして、プリセット値の変更に伴う追尾カメラのめまぐるしい往復動作は発生しない。
【００３０】
さらに、境界線２０３上に立っている侵入者６０６の場合において、この発明を用いると前述の処理で優れた効果が得られることを、図５を使い説明する。
【００３１】
図５において、同じ参照符号は他の図面と同一物を示す。
同図（ａ）（ｂ）（ｃ）従来技術の場合の選択エリア（斜線で示す）の変動を示す。（ｄ）（ｅ）（ｆ）は同じく本発明を実施た場合の結果である。斜線で示した選択エリアの変化を見れば、本発明のエリア選択が安定しているのが容易に理解される。同図に示した侵入者６０６はエリアの境界線２０３上に立っている。このようなとき、グラフィックＩ／Ｆ６０８（図１、図３参照）の誤差によって侵入者６０６重心の位置はエリア６４３２だったり、エリア６５５２だったりする。誤差の量によって選択エリアは決定されるため、頻繁に選択エリアの変化が起こる。しかし、オーバーラップエリアを用いていれば、オーバーラップエリア６４３３の境界線をまたがないため、グラフィックＩ／Ｆ６０８の影響を受けることなく、選択エリアは常に６４３２で、安定している。
【００３２】
なお、これら動作は、先に図１を用いて説明したエリア検出カメラが１台の場合においても同等である。
【００３３】
今まで述べてきた実施例１では複数の検知エリアに対して、１台の検知カメラ、実施例２では複数の検知エリアに対して、夫々同数の検知カメラを割り当て、何れも対象物体の追尾カメラを１台としたが、本発明はこれに限られるものではない。例えば、追尾カメラを複数台設け、夫々の受持ちエリアを割り当てるようにしてもよい。また、複数の検知カメラに更に複数のエリアを割り当てるようにし、これを1台の追尾カメラを組み合わせるようにしても良い。これらの組み合わせは、監視目的、監視対象によって最適に組み合わせることができる。
【００３４】
次に、検知カメラの異なるエリアに同時に対象物体を検出したとき、つまり、複数の対象物体を検出した場合の動作について図８を用いて説明する。
【００３５】
検知１０００１に二人の侵入者６０６Ａ、６０６Ｂがいた場合、次の方法で侵入者を、追尾することができる。図８（ａ）の状態から、二人の侵入者６０６Ａ、６０６Ｂを同時に追尾するためには、複数エリアにまたがった追尾方法が必要となる。まず、先に説明した方法により、侵入者のいるエリアを検出する。この結果、二つのエリア１０００２、１０００３が検出される。本実施例では、二人の侵入者６０６Ａと６０６Ｂを同時に追尾するために、広範囲なエリアを使用する。つまり、複数個のエリアを一つとみなし、広範囲なエリア１０００１をあらかじめ作成する。以降このエリアのことを複合エリアと呼ぶ。そして、この複合エリアに対応して、追尾カメラのプリセット値を用意しておく、この結果、図８（ｂ）のように、このプリセットにしたがって、追尾カメラ６０５のズームは広角に調整され、複数の侵入物６０６Ａと６０６Ｂは同時に撮像されることとなる。つまり、図９（ａ）、（ｂ）、（ｃ）、（ｄ）(ｅ)のように複数の侵入者を追尾するための複合エリア９０１，９０２、９０３，９０４、９０５を決めておき、複合エリアを撮影できるように、雲台６１６、レンズ６１５、カメラ６０５の状態をそれぞれ、複合エリアのプリセット値として登録しておく。実際に二人以上の侵入者が侵入し、検出エリアが出力されると、どの複合エリアに該当するかマッチングを行い、複合エリア候補を選択する。さらに、この候補エリアからエリア面積の最も小さい複合エリアを選択する。等しいエリア面積の複合エリアが複数個ある場合は、すべての侵入者に対して重心を計算し、その重心と複合エリアの中心点との距離を求める。最も近い中心点をもつ複合エリアを追尾エリアとし、追尾用カメラ６０５をこのエリアにプリセット移動させる。以上の手順を繰り返し、複数の侵入者を追尾していくことができる。もちろんこのとき、各複合エリアには夫々オーバーラップエリア９１１、９１２、９１３、９１４が設定されており、前述のように、オーバーラップエリアに対象物体があるときは、追尾カメラのプリセット値は変更しない。
【００３６】
なお、以上の説明では侵入物を人として説明してが、これに限らず、動物、自動車、自転車等の乗り物であってもよいことは言うまでもない。また、追尾の対象は、侵入者とは限らない。更に、エリアの形状は、四角ばかりでなく、円形やそのほか任意の形状であっても良い。各エリアは必ずしも全てが接する必要はない。つまり、エリア分けされ、監視を必要とするところと、エリア分けされずに監視を必要としないところがっあっても良い。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、隣り合うエリアを往復する監視対象物体を追尾するカメラの画面が各エリアに対応したプリセット値に基づき短時間で変化するために発生する監視画面のめまぐるしい変動を防止することができる。更に、極端に早い変動に雲台の動作が追いつけず、異常を来すようなこともなくなる。
【００３８】
本発明により画面の変化回数が最小に抑えられプリッセトの切替がスムーズに行われるため、監視画面が見やすくなる。また、カメラを移動させる雲台、焦点を変更するレンズに急激な負荷がかからないので、従来システムに比べ故障が減り、メンテナンス作業の軽減を実現できる。また、高速動作も少なくなるので、より安価なモーター等を使用することが可能となる。更に、このようなことは雲台全体の重量を軽減することができるため、設置箇所の自由度が向上する。
【図面の簡単な説明】
【図１】本発明の第1の実施例におけるブロック図。
【図２】本発明の第1の実施例の説明図。
【図３】本発明の第2の実施例のブロック図。
【図４】本発明の第2の実施例の説明図。
【図５】本発明の第2の実施例の説明図。
【図６】本発明の実施例のフローチャート。
【図７】本発明の実施例の説明図。
【図８】本発明の第3の実施例の説明図。
【図９】本発明の第3の実施例の説明図。
【図１０】従来技術を示すブロック図。
【図１１】従来技術の説明図。
【符号の説明】
１０１：オーバーラップ補正、６２２２、６３３２、６５４２、６２３２、６４３２、６５５２、６００２、６０３２、６０４２：エリア、６４３３、６５５３：オーバーラップエリア、２０３：エリア境界線、６０６：侵入者、６０１：ビル、６０２、６０３，６０４，６２３，６３３，６５４，６５５，６４３，６２２：検知カメラ、６０７：Ａ／Ｄ変換、６０８：グラフィックＩ／Ｆ、６０９：モニタ、６１０：モニタ、６１１：ＣＰＵ、６１２：座標変換部、６１３：エリア選択、６１４：雲台制御Ｉ／Ｆ、６１５：半固定レンズ、６１６：雲台、

Claims (7)

1. 監視対象区域を複数のエリアに分け、該監視対象区域での監視対象物体の有無を検知用カメラにより検出し、該検知用カメラにより検出された対象物体を追尾用カメラにより追尾撮像する物体追尾システムであって、前記複数のエリア毎に前記追尾用カメラに関するプリセット値が設定されていると共に該エリアより広いオーバーラップエリアを設け、前記対象物体が該オーバーラップエリアを越えない限り、前記プリセット値を変更せずそれまでのエリアに対応したプリセット値により前記追尾用カメラを制御することを特徴とする物体追尾システム。
2. 複数のエリアそれぞれに対応して設けた対象物体を検出するための複数の検知用カメラと、該対象物体を追尾撮像する追尾用カメラとを有し、前記追尾カメラには予め前記複数のエリア毎に対応したプリセット値を設定し、前記検知用カメラが対象物体を検出したときに当該検知用カメラに対応するエリアに応じて前記追尾用カメラをそのエリアのプリセット値により制御し、前記対象物体を追尾し撮像する物体追尾システムであって、
   前記検知用カメラに対応したエリアには該エリアより広いオーバーラップエリアを設け、前記対象物体が前記オーバーラップエリアを越えない限り、前記プリセット値を変更せずそれまでのエリアに対応したプリセット値により前記追尾用カメラを制御することを特徴とする物体追尾システム。
3. 請求項１又は請求項２において、前記エリアを複数個組み合わせ複合エリアを形成し、該複合エリアに対応した追尾用カメラのプリセット値を有することを特徴とする物体追尾システム。
4. 請求項３において、検知用カメラにより複数の対象物体を検知した場合には、前記複合エリアに対応したプリセット値により前記追尾用カメラを制御することを特徴とする物体追尾システム。
5. 請求項４において、前記複合エリアは複数存在し、前記複数の複合エリアのうち、前記複数の対象物体のうち少なくとも１つの対象物体を含む前記複合エリアに対応したプリセット値を選択することを特徴とする物体追尾システム。
6. 請求項５において、前記選択された複合エリアが複数存在する場合は、エリア面積に基づいて前記複合エリアのいずれかに対応したプリセット値を選択することを特徴とする物体追尾システム。
7. 請求項５において、前記選択された複合エリアが複数存在する場合は、前記対象物体の前記複合エリア上の位置に基づいて前記複合エリアのいずれかに対応したプリセット値を選択することを特徴とする物体追尾システム。

Images