JP4699040B2 - 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム - Google Patents

Description

本発明は、目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲をズーム調整や向きの調整により変更する調整機構とを用い、前記調整機構を制御して特定の目標物を追尾するための自動追尾制御装置及び自動追尾制御方法に関する。

防犯などの目的で設置される監視カメラのシステムについては、撮像装置として従来は撮影方向が固定されたテレビカメラや工業用カメラを用いるのが一般的であったが、最近ではパン、チルト、ズームの調整機能を備えたカメラを利用する場合が多い。これにより、侵入者の人相等をより詳細な画像として取得することが可能である。

また、パン、チルト、ズームの調整機能を備えたカメラを利用する場合には、電気的な遠隔操作でパン、チルト、ズームを操作するために、ジョイスティックのような操作部を設けてこれを監視員の手動操作で操作するのが一般的である。しかし、カメラで撮影された画像をモニタの画面で監視しながら、侵入者等の目標物が画面内の所望位置に入り続けるようにジョイスティックを操作して侵入者等を追尾する作業は、高度な技術や集中力を必要とするため、監視員にとって非常に大きな負担になっているのが実情である。

そこで、画像認識技術を利用して、侵入物体を自動的に追尾するための装置が、例えば特許文献１、非特許文献１及び非特許文献２等で提案されている。

特許文献１では、目標物の形状やサイズが変化した場合にも背景を除去した目標領域のみのリファレンス画像を得るための技術を提案している。

非特許文献１に開示された技術では、図９に示すように画像中の中央付近に定めた領域（ＣＣ）から物体が外れた場合に、物体が領域CCに戻るようにカメラ回転台のパン/チルト角を制御している。

非特許文献２に開示された技術では、画像の中心に追尾物体が撮影される様に回転台を制御している。また、物体位置の画像中心位置からの偏差をフィードバックしてパン／チルト角の制御量を調整している。

特開平５−１０３２４９号公報 羽下、藤原、鷲見著「首振り、ズームカメラを用いたトラッキング型侵入監視システム」、電子情報通信学会、信学技報PRMU99-67（Ｐ．２３−３０）、１９９９年９月 森田著「局所相関演算による動きの検知と追跡」、電子情報通信学会論文誌 D-II、Vol.J84-D-II No.2 pp.299-309、２００１年２月

上記のような従来の技術で目標物を自動追尾する場合には、画像の中心付近に追尾中の目標物が撮影されるように撮影方向などの制御を行っている。しかしながら、カメラ制御の処理遅延や制御信号の伝送遅延の影響を受けるので、実際にはカメラ制御が遅れがちになり、移動中の目標物は画面の中央よりも、その移動方向前方に偏って撮影される結果になる。

つまり、モニタテレビの画面上に表示される画像においては、目標物の前方の領域が狭くなり、目標物の後方の領域が広くなる傾向がある。例えば、目標物が左から右側に向かって移動する場合には、画像上では目標物が右側に寄った状態で撮影されてしまう。その結果、目標物の前方を画面上で確認しにくいので、例えば目標物が何に向かって移動しているのかを監視者が認識するのに時間がかかってしまう。

また、例えば侵入者の人相を認識するためには、カメラのズーム倍率を上げてできるだけ侵入者をズームアップした状態で追尾することが望まれる。しかし、ズーム倍率を上げると画面上での侵入者の見かけの移動速度が速くなるため、カメラ制御の処理が追いつかなくなったり、より高い制御精度が必要になったりするため、侵入者が画角（撮影範囲）から外れやすくなる。

更に、侵入者の行動を監視する場合にはより早く侵入者の行動を予知する必要があるため、侵入者の注目している場所を確認することが重要である。しかし、侵入者の注目している方向が画面内に映らない場合があった。

本発明は、上記事情に鑑みてなされたもので、処理や制御の遅延が生じる場合でも、侵入者などの監視により適した領域を自動的に撮影することが可能な自動追尾制御装置及び自動追尾制御方法を提供することを目的とする。

本発明の自動追尾制御装置は、目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾する自動追尾制御装置であって、時系列で前記撮像手段から順次に入力される複数の画像の各々について目標物を検出すると共に、目標物が検出された領域に関する複数画像の位置情報を追尾情報として時間変更に関連付けて保持する物体領域追跡手段と、前記物体領域追跡手段によって検出され保持されている過去の追尾情報に基づいて目標物の移動方向を検出すると共に、検出された移動方向を反映するように前記調整機構を制御し、少なくとも目標物の移動方向の後方に比べて移動方向の前方の撮影領域が大きくなるように画像中の目標物の位置を制御するカメラ制御手段とを備えるものである。

上記構成では、追尾対象目標物の移動方向後方の領域に比べて移動方向前方の領域が画面上で広く表示されるように撮影範囲が自動的に制御されるので、撮影された画像を監視員等が監視する場合に、侵入者等の監視のためにより有益な映像を入手することができる。すなわち、侵入者の行動を予測するのに役立つ、侵入者の移動先にある目標物を早く認識することが可能になる。前記調整機構については、例えば撮像手段を支持する回転台等の機構を用いてパン角やチルト角を調整するものなどが想定される。

また、本発明の自動追尾制御装置は、目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾する自動追尾制御装置であって、前記撮像手段から入力される画像に基づいて画像中の人物の位置を検出する物体領域追跡手段と、前記撮像手段から入力される画像に基づいて画像中の人物の注目方向を検出すると共に、検出された注目方向を反映するように前記調整機構を制御し、少なくとも人物の注目方向の後方に比べて注目方向の前方の撮影領域が大きくなるように画像中の人物の位置を制御するカメラ制御手段とを備えるものである。

上記構成では、追尾中の人物の注目方向の後方に比べて注目方向の前方の撮影領域が大きくなるように撮影範囲が自動的に制御されるので、撮影された画像を監視員等が監視する場合に、侵入者等の監視のためにより有益な映像を入手することができる。すなわち、侵入者の行動や意図を認識するのに役立つ、侵入者の注目先にある目標物を早く認識することが可能になる。

また、本願発明の自動追尾制御方法は、目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾するための自動追尾制御方法であって、時系列で前記撮像手段から順次に入力される複数の画像の各々について目標物を検出すると共に、目標物が検出された領域に関する複数画像の位置情報を追尾情報として時間変化に関連付けて保持する物体領域追跡ステップと、前記物体領域追跡ステップで検出され保持されている過去の追尾情報に基づいて目標物の移動方向を検出すると共に、検出された移動方向を反映するように前記調整機構を制御し、少なくとも目標物の移動方向の後方に比べて移動方向の前方の撮影領域が大きくなるように画像中の目標物の位置を制御するカメラ制御ステップとを有するものである。

上記手順により、撮影された画像を監視員等が監視する際に、処理や制御の遅延が生じる場合でも、侵入者等の監視のためにより有益な映像を入手することができる。

また、本発明の自動追尾制御方法は、目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾するための自動追尾制御装置であって、前記撮像手段から入力される画像に基づいて画像中の人物の位置を検出する物体領域追跡ステップと、前記撮像手段から入力される画像に基づいて画像中の人物の注目方向を検出すると共に、検出された注目方向を反映するように前記調整機構を制御し、少なくとも人物の注目方向の後方に比べて注目方向の前方の撮影領域が大きくなるように画像中の人物の位置を制御するカメラ制御ステップとを有するものである。

上記手順により、撮影された画像を監視員等が監視する際に、処理や制御の遅延が生じる場合でも、侵入者等の監視のためにより有益な映像を入手することができる。

また、本発明は、目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向もしくはズーム倍率の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾するためのプログラムであって、上記いずれかに記載の各手順をコンピュータに実行させるためのプログラムを提供する。

上記プログラムをコンピュータで実行することにより、処理や制御の遅延が生じる場合でも、侵入者などの監視により適した領域を自動的に撮影することが可能となる。

また、本発明は、上記いずれかに記載の自動追尾制御装置と、目標物を含む画像を撮影する撮像手段と、前記撮像手段の撮影方向を制御可能な回転台機構と、前記撮像手段の撮影時のズーム倍率を制御可能なレンズ機構とを備えた自動追尾システムを提供する。

上記構成により、処理や制御の遅延が生じる場合でも、侵入者などの監視により適した領域を自動的に撮影することが可能となる。

本発明によれば、処理や制御の遅延が生じる場合でも、侵入者などの監視により適した領域を自動的に撮影することが可能な自動追尾制御装置及び自動追尾制御方法を提供できる。

本実施形態の自動追尾制御装置は、例えば遠隔監視システムの自動追尾カメラや自動追尾装置等に適用されるものである。本実施形態では、例えば侵入者などを含む被写体を撮像手段であるテレビカメラ等のカメラ部で連続的にあるいは周期的に繰り返し撮影して得られる画像情報を用いて特定の目標物を自動追尾する場合を想定している。本実施形態で用いるカメラ部には、特定の目標物を追尾するための調整機構として、撮影方向を調整するパン、チルト等の回転台調整機構、光学的にあるいはディジタル信号処理により撮影範囲（画角）を調整するズーム機構などが備わっている。

（第１の実施形態）
図１は本発明の実施形態に係る自動追尾システムの構成を示すブロック図である。図２は本実施形態において追尾する画像フレーム中の物体領域を示す図、図３は本実施形態における物体領域追跡部が生成する相関マップの具体例を示す図、図４は本実施形態におけるカメラ制御部の動作を示す模式図、図５は第１の実施形態において処理する画像フレームの具体例を示す図である。

本実施形態の自動追尾システム１１０は、侵入者などの被写体を撮影するためのカメラ１０６と自動追尾装置１００とを備えている。また、自動追尾装置１００の出力には画像表示装置１０５が接続されている。

カメラ１０６は、撮影方向を変更するために回転台１０７を介して向きを調整可能な状態で所定の箇所に支持されており、ズームレンズ１０９も備えている。回転台１０７に設けられたＰＴＺ制御部１０８は、回転台１０７及びズームレンズ１０９の駆動機構を電気的に制御することによりカメラ１０６のパン、チルト、ズーム（以下、これらの動作をまとめてＰＴＺとも称する）の調整を行う。前記駆動機構は、図示しない電気モータなどによって構成される。

カメラ１０６は、例えば一般的なテレビカメラや工業用テレビカメラのように連続的にあるいは周期的に被写体を撮影して得られた２次元画像フレームの情報を映像信号として順次に出力する。画像表示装置１０５は、モニタテレビのように二次元画像を表示可能な装置であり、カメラ１０６が撮影した画像の信号を自動追尾装置１００を介して入力し表示する。

自動追尾装置１００には、画像入力部１０１、物体領域追跡部１０２、カメラ制御部１０３及び画像出力部１０４を備えて構成される。画像入力部１０１は、カメラ１０６によって撮影された画像を周期的に入力する。

物体領域追跡部１０２は、画像入力部１０１により入力された画像の情報を処理して画像上における追尾対象物の位置を特定する。具体的には、入力画像中で登録済みの画像（テンプレート画像）との相関が高い領域を探索することにより追尾対象物の位置を特定する。更に詳細な動作については後で説明する。

カメラ制御部１０３は、物体領域追跡部１０２によって検出された追尾対象物の位置などに基づいて、追尾対象物がカメラ１０６の撮影する画角から外れないように、更に追尾対象物が撮影された画面上で監視に適した位置に表示されるように制御する。従って、カメラ１０６のパン、チルト、ズームを制御するための制御信号をＰＴＺ制御部１０８に出力する。画像出力部１０４は、カメラ１０６から入力した画像の信号を外部の画像表示装置１０５に対して出力する。

次に、物体領域追跡部１０２の具体的な動作について図２を用いて説明する。物体領域追跡部１０２は、画像入力部１０１によって入力されるフレーム毎の入力画像について、テンプレート画像Ｔとの相関が最も高い領域を探索する。この領域を対応領域２０１とする。テンプレート画像Ｔは、カメラ１０６で追尾すべき対象物（例えば人物）の基準を表す登録済みの画像情報であり、例えば図２に示すように現在処理中の入力画像の１つ前のフレームの画像から抽出された物体の主要部が含まれている画像情報を用いることができる。

このような対応領域２０１の探索を、例えば数十ミリ秒〜数百ミリ秒程度の周期で繰り返すことにより、対応領域２０１の位置に関する時系列の複数フレームの位置情報が得られる。例えば、カメラ１０６の向きやズーム倍率を固定した状態で対象物が移動した場合には、対象物の移動の軌跡を表す時系列の位置情報が対応領域２０１の位置の変化を表す時系列の情報として得られることになる。

従って、物体領域追跡部１０２の処理によって得られる時系列の複数の位置情報を利用することにより、移動中の対象物をカメラ１０６のパン、チルト制御やズーム制御により追尾することが可能になる。なお、複数のテンプレート画像Ｔが存在する場合には、対象となる全てのテンプレート画像のそれぞれについて入力画像との相関を調べる。

本実施形態では、物体領域追跡部１０２は、直前の画像フレームに関する処理においてテンプレート画像Ｔとの相関が最も高かった領域の位置を基準として、最新フレームの入力画像Ｉの中に、水平方向及び垂直方向それぞれ数十画素程度の矩形の画像範囲を探索領域２０２として割り当てる。そして、この探索領域２０２内を走査しながら、テンプレート画像Ｔとの相関を順次に求める。

なお、探索領域２０２を入力画像の全体とすることも可能であるが、演算量が大きくなりすぎることや、誤対応が発生しやすいことを考慮すると探索範囲を予め限定してから相関を調べるように処理するのが望ましい。探索領域２０２の広さについては、物体の動きにもよるが、水平、垂直各方向に数画素から数十画素程度が妥当である。

物体領域追跡部１０２が探索領域２０２の相関を調べる場合には、例えば正規化相関を相関値の指標として利用することができる。正規化相関を用いる場合の処理について以下に説明する。

テンプレート画像Ｔの大きさ、すなわち画素数が（K(H)×L(V)）で表される場合には（ｐ，ｑ）画素位置のテンプレート画像Ｔ（ｐ，ｑ）と、現フレーム画像Ｉ（ｘ，ｙ）内の矩形領域（K(H)×L(V)画素）との正規化相関値ＮＲＭＬ（xv, yv）は次の（１）式で表すことができる。

正規化相関値ＮＲＭＬは、比較対象の両画像間の相関が高いほど１．０に近い値となり、相関が無い場合には０になる。探索領域内の各位置の相関値を２次元配列として表したものを相関マップと呼ぶ。物体領域追跡部１０２の処理によって作成される相関マップは後でテンプレートＴの位置を補正するために利用される。この段階では、テンプレートの移動先は決定していない。

ここでは、正規化相関で入力画像とテンプレート画像の相関値を求める例について説明したが、より演算量が小さい差分法や差分絶対値和法といった他の手法を利用することもできる。また、本実施形態では画像の輝度値を用いることを想定しているが、実際の相関値計算においては色やエッジ等の情報を必要に応じて用いることも考えられる。テンプレートのサイズについては、物体領域全体を含む大きさに定めるのが一般的であると考えられるが、物体領域の頭部周辺等の一部分だけをテンプレート画像として定めても良い。

カメラ１０６の回転台制御やズーム制御による人物などの対象物の自動追尾を開始する際には、適当なテンプレート画像Ｔがまだ存在していないので、最初に利用するテンプレート画像Ｔを初期テンプレートとして作成する必要がある。この初期テンプレートを作成する場合の処理については例えば次のような方法が考えられる。

１．画像表示装置１０５の画面上に表示される画像上の位置をマウスのようなポインティングデバイスを用いて操作者の手作業で指定し、この位置を基準として初期テンプレートを作成する。

２．入力された画像のデータを処理して所望の物体が存在する確率が高い領域を認識し、この領域の画像に基づいて初期テンプレートを自動的に作成する。所望の物体が存在する確率が高い領域としては、例えば動きが発生している領域、すなわち画像のフレーム間で違いが生じている領域が考えられる。

３．予め追尾したい物体に関する１つ又は複数の標準的なテンプレート情報を所定の記憶装置上に登録しておき、物体の追尾を開始する際に最新フレームの画像の中で事前に登録されている情報と最も類似している領域の画像を初期テンプレートとして自動的に作成する。

なお、テンプレートの作成については任意の手法を用いても構わない。また、テンプレートについては、この例では同一の物体について取得、更新時刻が異なる複数の画像を保持することを想定しているが、単数でも構わない。更に、テンプレートと入力画像との相関が低くなった場合等にはテンプレートを保存可能な上限枚数まで追加し、上限枚数に達した際は古いものから新しいデータに更新するのが望ましい。

図３に物体領域追跡部１０２の処理によって作成される相関マップの具体例を示す。物体領域追跡部１０２は、このような相関マップ中で最も相関が高いピーク位置に対応する画像上の位置をテンプレート画像の移動先として認識する。なお、図３においては相関値を上下反転して表してあるので、下方に凸になっている部分が相関値のピークを表している。

このように物体領域追跡部１０２は順次に入力される複数の画像フレームのそれぞれについて画像上の物体の位置を認識するので、画像上の物体の位置に関する時系列の位置情報、すなわち物体の移動軌跡を表す情報が得られる。また、一定の時間周期で撮影を繰り返す場合には、画像フレーム間の撮影時刻の違いが既知であるので、移動軌跡から過去の物体の移動速度や移動時の加速度を求めることも可能である。

カメラ制御部１０３は、物体領域追跡部１０２の処理によって得られた物体の時系列の移動情報に基づいて物体の移動方向を把握し、この移動方向に応じて物体を追尾するようにカメラ１０６の回転台制御やズーム制御を行う。また、画面の中央に物体が表示されるように追尾するのではなく、物体の移動方向の前方の領域が後方の領域に比べて広く撮影されるようにカメラ１０６の回転台制御を実施する。

従来の制御と同様に画面の中心に物体を撮影するようにカメラを自動追尾制御する場合には、カメラ制御部１０３は次の（２）式及び（３）式に従って、画面中心位置からの水平及び垂直方向へのずれ量をカメラの撮影方向にフィードバックするようにパン、チルト角の制御速度を決定する。つまり、ずれ量が大きい場合には速い角速度でカメラのパン、チルト角を制御し、ずれ量が小さい場合はゆっくりと制御する（図４（ａ）参照）。パン、チルト角の制御速度はほぼ無段階で制御であり、一度制御すると、停止させるか別の制御速度信号を与えるまでその角速度で動作するものとする。

パン制御速度CCNTP ＝ SPDTBLp（x-IMGWIDTH/2） …（２）
チルト制御速度CCNTT ＝ SPDTBLt（y-IMGHEIGHT/2） …（３）
但し、x、y：物体の画像上での水平、垂直の位置
IMGWIDTH/2：入力画像の幅の２分の１であり画像の水平中心位置
IMGHEIGHT/2：入力画像の高さの２分の１であり画像の垂直中心位置
SPDTBLp, SPDTBLt：物体の位置に応じてパンおよびチルト制御速度を決定するために用いる速度テーブル（図４（ｂ）参照）

現在の物体の移動方向を推定する場合には、物体をカメラ１０６の回転台制御で追尾している間に得られる過去一定期間のカメラ制御量を全て保持しておき、過去一定期間の制御量の中央値を移動方向として用いることが考えられる。

時刻ｔにおけるカメラ制御量がCcmdt(p, t, z)である場合を想定する。ここでｐ、ｔはそれぞれパン角とチルト角の制御角速度であり、ｚはズーム倍率の制御速度である。過去に遡った期間ＴＡにおける各制御角速度の中央値など代表値から移動方向を推定することができる。

追尾開始時のように、移動方向を推定するために十分な期間ＴＡの制御量が得られない場合には、図５（ａ）に示すように追尾対象物体５０１が画面の中央に撮影されるようにカメラの向きを制御することになるが、期間ＴＡの制御量が保持された後は移動方向を判定し、その結果をカメラの回転台制御に反映することができる。

移動方向が判定できる場合には、カメラ制御部１０３は実際には次のような制御を行うことができる。例えば追尾対象物体５０１が画像上で右下方向へ移動している場合、図５（ｂ）に示すように画像の左上付近（x-IMGWIDTH/2-cntx、y-IMGHEIGHT/2-cnty）に物体の画像上の位置が配置されるようにカメラの向きを制御する。これにより、画像の右下、つまり物体の進行方向の前方が画像上で広く見渡せるようになる。

このような制御を行う場合には、例えば前述の（２）式及び（３）式を変形して得られる次の（４）式及び（５）式を用いて制御すればよい。

パン制御速度CCNTP ＝ SPDTBL（x-IMGWIDTH/2-cntx） …（４）
チルト制御速度CCNTT ＝ SPDTBL（y-IMGHEIGHT/2-cnty） …（５）
但し、cntx, cnty：画面中心からの水平、垂直方向へのシフト量
なお、シフト量cntx, cntyについては予め定めた定数を利用しても良いし、監視員の入力操作により増減可能な変数であっても良い。

第１の実施形態では、上記のような制御を実施することで、カメラの回転台制御によって侵入者などの物体を追尾するだけでなく、追尾対象物体の進行方向を反映して、進行方向が広く撮影されるようにカメラの向きを制御する。これにより、例えば侵入者が何処を目指して移動しているのか、あるいは侵入者が何をしようとしているのかを監視員が判断する際に、より早い判断のために役立つ情報を提供できる。

なお、図１に示した自動追尾装置１００の各構成要素については、専用のハードウェア（電気回路）で構成することもできるし、マイクロプロセッサのようなコンピュータを用いて所定のプログラムを実行することにより各機能を実現することも可能である。また、図１に示すような自動追尾システム１１０を構成する場合には、必要に応じて複数のカメラ１０６や複数の画像表示装置１０５を１つの自動追尾装置１００に接続することも可能である。

（第２の実施形態）
図６は第２の実施形態において処理する画像フレームの具体例を示す図である。第２の実施形態は第１の実施形態の変形例であり、前述のカメラ制御部１０３の動作以外は第１の実施形態と同様である。変更された動作のみについて以下に説明する。

第２の実施形態では、追尾対象物が人物に限定される場合を想定している。そして、カメラ制御部１０３はカメラ１０６の回転台制御により追尾している人物が注目している方向を検出し、注目方向の前方の領域が後方の領域に比べて広く撮影されるようにパン、チルト角及びズーム倍率を制御する。

人物の注目している方向については視線検出により検出することができる。すなわち、次に説明するような処理を実施する。

まず、画像の中から肌色で円に近い形状を持つ領域を顔として抽出する。次に、抽出された肌色の領域の重心を計算する。また、予め目や口の端などの特徴を含む画像をテンプレート画像として用意しておき、画像中の肌色の領域についてテンプレート画像とのマッチングを調べ、その結果により正確な目と口の位置を検出する。

そして、カメラ制御部１０３は検出された人物６０１の目と口とカメラとの位置関係に基づいて顔がどちらの方向へ向いているかを算出し、この方向を図６（ａ）に示すように視線として検出する。つまり、顔の向きをもって注目している方向とする。

また、画像上で例えば図６（ｂ）に示すように人物６０１を配置する。すなわち、カメラ制御部１０３は人物６０１が注目している方向の前方の領域を後方に比べて広く撮影するようにカメラのパン、チルト角及びズーム倍率を制御する。実際の制御については、第１の実施形態における移動方向をこの形態で検出される注目方向に置き換えて制御すればよい。

第２の実施形態では、上記のような制御を実施することで、追尾対象の人物が何処を目指して移動しているか、何をしようとしているのかを監視員がより早く判断するのに役立つ情報を提供できる。すなわち、人物の視線の前方には、その人物の行動の目的となる物体などが存在するはずなので、侵入者などが行動をする前に画面上に表示される目的となる物体を監視者が認識し、行動を予測することが可能になる。

（第３の実施形態）
第３の実施形態は第１の実施形態の変形例であり、前述のカメラ制御部１０３の動作以外は第１の実施形態と同様である。変更された動作のみについて以下に説明する。

第３の実施形態では、カメラ制御部１０３は、まず物体領域追跡部１０２によって検出された追尾対象物に関する過去の時系列の移動情報（移動軌跡）に基づいて物体の移動速度又は加速度を算出する。そして、カメラ制御部１０３は検出した物体の移動速度又は加速度に応じてカメラ１０６に関するズーム倍率の制御を伴ったパン、チルト角制御を実施する。パン、チルト角制御については前述の実施形態と同様である。

例えばカメラ１０６が静止している場合には、移動速度は画像上における画素を単位とする物体の移動量を所要時間（各画像フレームが撮影された時間の差）で割ることによって得ることができるし、加速度については移動速度の微分値として得ることができる。

一方、カメラ１０６が物体の動きに合わせてパン、チルト角を制御中（追尾中）の場合には、移動速度を正確に求めることは難しいが、加速度を算出することは可能である。例えば、画像の中心に等速運動している追尾対象物体７０１を捉えるようにカメラを制御している状態であれば、追尾対象物体７０１が加減速を始めた時には、画像の中心からの物体位置の偏差を加速度のパラメータと等価とみなすことができる。

従って、カメラ制御部１０３はカメラ静止時においては検出された速度または加速度を用いて、パン、チルト角制御が動作中の場合には検出された加速度を用いて未来の時刻における画像上での追尾対象物体７０１の位置を予測することができる。そして、カメラ制御部１０３はカメラの画角内から追尾対象物体７０１の位置が外れたり、追尾対象物体７０１の位置が画像の周辺部であったりしないかどうかを判定する。

追尾対象物体７０１の位置がカメラ１０６の画角から外れたり、この物体が画像の周辺部に配置されると予測できるような急な移動速度の変化が発生する場合には、パン、チルト角の制御だけでは追尾対象物体７０１を画角中に捉え続けることが難しい。

そこで、第３の実施形態では、カメラ制御部１０３は、追尾対象物体７０１の移動速度もしくは加速度に基づいて予測される追尾対象物体７０１の画面上の予測位置が画面内から外れる場合や、この追尾対象物体７０１の画面上の予測位置が画面の周辺部に位置する場合に、カメラ１０６のズーム倍率を現在よりも広角側に自動的に調整する。これにより、追尾対象物体７０１の見かけ上の動き、すなわち画面上の物体の移動速度が小さくなるので、制御や処理の遅延の影響をより小さくすることができ、パン、チルト角制御により追尾対象物体７０１の表示位置を画面上の中央付近に維持することが可能になる。

つまり、第３の実施形態によれば、例えば追尾対象物体が急速に移動したり移動方向を変更したことによりその物体が画面上から外れそうになった場合であっても、ズーム倍率を広角側に自動調整することにより物体の動きに追従することができるので、物体が画面上から外れるのを未然に防止でき、高い追尾性能が得られる。

（第４の実施形態）
図７は第４の実施形態において処理する画像フレームの具体例を示す図である。第４の実施形態は第１の実施形態の変形例であり、前述のカメラ制御部１０３の動作以外は第１の実施形態と同様である。変更された動作のみについて以下に説明する。

第４の実施形態では、カメラ制御部１０３は物体領域追跡部１０２で検出された追尾対象物体の画面上の位置を判別し、その結果に応じてズーム倍率の制御及びパン、チルト角の制御を実施する。パン、チルト角の制御については前述の実施形態と同様である。

例えば、図７に示すように追尾対象物体の画面上の位置が画像の周辺部であるような場合には、物体の急な加減速によってカメラの回転台制御（物体の追尾）に遅れが生じていると見なすことができる。このような場合には、カメラ制御部１０３は自動的にズーム倍率を広角側に変更する。また、同時にパン、チルト角の制御も実施する。つまり、検出された物体の位置を画像の周辺領域の座標と比較することにより、制御の遅れが生じているか否かを識別し、その結果に応じてズーム倍率を制御する。

一方、カメラ制御部１０３は物体領域追跡部１０２で検出された追尾対象物体の画面上の位置が画像の中心付近（あるいは制御上の目標位置付近）で所定時間にわたって安定して継続的に捉えられていると認識した場合には、ズーム倍率を現在よりも望遠側に自動的に変更する。これにより、追尾対象物を拡大してより詳細に観察することが可能になる。

第４の実施形態によれば、例えば追尾対象物体が急速に移動したり移動方向を変更したことによりその物体が画面上から外れそうになった場合であっても、ズーム倍率を広角側に自動調整することにより物体の動きに追従することができる。また、物体が静止している場合や比較的ゆっくりと移動している場合のように安定して物体を追尾できる場合には物体を自動的に拡大して物体の細部まで撮影することができる。これにより、高い追尾性能が得られる。

ところで、前述のように図１に示した自動追尾装置１００の各構成要素については、所定のコンピュータで所定のプログラムを実行することにより実現することもできる。また、プログラムについては所定の記録媒体から読み込んで実行したり、インターネットなどの通信網を介してダウンロードして実行することもできる。

図１に示された画像入力部１０１、物体領域追跡部１０２、カメラ制御部１０３及び画像出力部１０４を１つのコンピュータで実現する場合には、各部に相当する処理を順次に実行するのが一般的な方法である。

このような処理を行う場合には、図８に示すような手順で各処理を実施すればよい。図８は本発明の実施形態に係る自動追尾システムの処理を示すフローチャートである。この処理には、撮像装置によって撮影された画像を入力する画像入力ステップ８０１と、入力画像中から登録済みのテンプレート画像との相関が高い領域を探索する物体領域追跡ステップ８０２と、追尾物体が画像の中央部に映るように撮像装置をＰＴＺ動作させるカメラ制御部８０３と、画像を外部の画像表示装置に出力する画像出力ステップ８０４とが含まれている。各ステップ８０１〜８０４は、それぞれ図１の構成要素１０１〜１０４に相当し、それぞれの処理の内容は前述の各実施形態と同様である。

図８に示す処理を実施する場合においても、カメラ制御ステップ８０３において追尾対象物体の進行方向を検出し、進行方向の前方が広く撮影されるようにカメラの撮影方向を制御することにより、追尾対象物体が何処を目指して移動しているか、あるいは何をしようとしているのかを監視員が判断する際、より早い判断に役立つ情報を提供できる。

また、カメラ制御ステップ８０３において、追尾中の人物の視線または顔の向きを検出し、該当する方向の前方を広く撮影するように撮影方向を制御することで追尾対象物体が何処を目指して移動しているか、あるいは何をしようとしているかを監視員より早く判断するのに役立つ情報を提供できる。

また、カメラ制御ステップ８０３において、追尾対象物体の移動速度や加速度を算出し、物体が画角から外れたり、画像の周辺部で撮影されたりすると予測される場合に、カメラの撮影方向だけでなくズーム倍率も合わせて制御することにより、画角から追尾物体が外れないようにカメラを制御することが可能になる。

また、カメラ制御ステップ８０３において、追尾対象物体が画像の周辺部で撮影されたことを検出した場合に、カメラの撮影方向だけでなくズーム倍率も合わせて制御することにより、画角から追尾対象物体が外れないようにカメラを制御することが可能になる。

上述したように、本実施形態によれば、追尾対象物の移動により処理や制御の遅れが生じる場合であっても、移動方向の前方の領域がより広く撮影されるように自動的に制御されるので、侵入者などの目標物が画面からはみ出さないように自動追尾することができる。このため、監視員などが画像を見ながら物体を監視する場合に、より早い判断や認識に役立つ画像情報を提供することができる。また、侵入者などを監視する上で重要な侵入者の移動方向前方の領域や、侵入者の注目先の領域がよく見えるように撮影することもできる。

また、追尾対象となる人物の注目する方向を検出することで、人物の注目方向の前方の領域をより広く撮影することもできる。また、追尾対象物体の移動速度や加速度の計測結果から、物体がカメラの画角から外れたり、画像の周辺部で撮影されることを予測して、物体が画角から外れる前にズーム倍率を広角側に制御することにより、物体が画角から外れるのを未然に防止することもできる。また、追尾対象物体の画像上での位置が画像の周辺部にある場合のように、カメラの回転台制御が遅延していると考えられるような場合には、ズーム倍率を広角側に制御することにより、パン、チルト制御が容易になり、物体が画角から外れるのを未然に防止することができる。

本発明は、処理や制御の遅延が生じる場合でも、侵入者などの監視により適した領域を自動的に撮影することが可能となる効果を有し、目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲をズーム調整や向きの調整により変更する調整機構とを用い、前記調整機構を制御して特定の目標物を追尾するための自動追尾制御装置及び自動追尾制御方法等に有用である。

本発明の実施形態に係る自動追尾システムの構成を示すブロック図 本実施形態において追尾する画像フレーム中の物体領域を示す図 本実施形態における物体領域追跡部が生成する相関マップの具体例を示す図 本実施形態におけるカメラ制御部の動作を示す模式図 第１の実施形態において処理する画像フレームの具体例を示す図 第２の実施形態において処理する画像フレームの具体例を示す図 第４の実施形態において処理する画像フレームの具体例を示す図 本発明の実施形態に係る自動追尾システムの処理を示すフローチャート 従来技術のカメラ制御における領域を示す模式図

符号の説明

１００ 自動追尾装置
１０１ 画像入力部
１０２ 物体領域追跡部
１０３ カメラ制御部
１０４ 画像出力部
１０５ 画像表示装置
１０６ カメラ
１０７ 回転台
１０８ ＰＴＺ制御部
１０９ ズームレンズ
１１０ 自動追尾システム
２０１ 対応領域
２０２ 探索領域
８０１ 画像入力ステップ
８０２ 物体領域追跡ステップ
８０３ カメラ制御ステップ
８０４ 画像出力ステップ

Claims (6)

1. 目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾する自動追尾制御装置であって、
   時系列で前記撮像手段から順次に入力される複数の画像の各々について目標物を検出すると共に、目標物が検出された領域に関する複数画像の位置情報を追尾情報として時間変更に関連付けて保持する物体領域追跡手段と、
   前記物体領域追跡手段によって検出され保持されている過去の追尾情報に基づいて目標物の移動方向を検出すると共に、検出された移動方向を反映するように前記調整機構を制御し、少なくとも目標物の移動方向の後方に比べて移動方向の前方の撮影領域が大きくなるように画像中の目標物の位置を制御するカメラ制御手段と
   を備える自動追尾制御装置。
2. 目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾する自動追尾制御装置であって、
   前記撮像手段から入力される画像に基づいて画像中の人物の位置を検出する物体領域追跡手段と、
   前記撮像手段から入力される画像に基づいて画像中の人物の注目方向を検出すると共に、検出された注目方向を反映するように前記調整機構を制御し、少なくとも人物の注目方向の後方に比べて注目方向の前方の撮影領域が大きくなるように画像中の人物の位置を制御するカメラ制御手段と
   を備える自動追尾制御装置。
3. 目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾するための自動追尾制御方法であって、
   時系列で前記撮像手段から順次に入力される複数の画像の各々について目標物を検出すると共に、目標物が検出された領域に関する複数画像の位置情報を追尾情報として時間変化に関連付けて保持する物体領域追跡ステップと、
   前記物体領域追跡ステップで検出され保持されている過去の追尾情報に基づいて目標物の移動方向を検出すると共に、検出された移動方向を反映するように前記調整機構を制御し、少なくとも目標物の移動方向の後方に比べて移動方向の前方の撮影領域が大きくなるように画像中の目標物の位置を制御するカメラ制御ステップと
   を有する自動追尾制御方法。
4. 目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾するための自動追尾制御装置であって、
   前記撮像手段から入力される画像に基づいて画像中の人物の位置を検出する物体領域追跡ステップと、
   前記撮像手段から入力される画像に基づいて画像中の人物の注目方向を検出すると共に、検出された注目方向を反映するように前記調整機構を制御し、少なくとも人物の注目方向の後方に比べて注目方向の前方の撮影領域が大きくなるように画像中の人物の位置を制御するカメラ制御ステップと
   を有する自動追尾制御方法。
5. 目標物を含む画像を撮影する撮像手段と前記撮像手段が撮影する範囲を撮影方向もしくはズーム倍率の調整により変更する調整機構とを利用し、前記調整機構を制御して特定の目標物を追尾するためのプログラムであって、請求項３または４に記載の各手順をコンピュータに実行させるためのプログラム。
6. 請求項１または２に記載の自動追尾制御装置と、目標物を含む画像を撮影する撮像手段と、前記撮像手段の撮影方向を制御可能な回転台機構と、前記撮像手段の撮影時のズーム倍率を制御可能なレンズ機構とを備えた自動追尾システム。

Images