JP5360403B2 - 移動体撮像装置 - Google Patents

Description

本発明は、移動体を撮像面に捉える制御を行う移動体撮像装置に関し、より詳しくは、動画像を撮るＰＴＺ（Pan：水平回転，Tilt：垂直回転，Zoom：連続変倍）カメラからの画像を処理することで、撮像対象の移動体を検知し、検知した移動体をＰＴＺカメラで追尾するようにした移動体撮像装置に関する。

従来から、監視等の目的からＰＴＺカメラを用いて移動体を捉え、撮像する技術に関する多くの提案がなされている。
このなかに、対象とする移動体を追尾するＰＴＺカメラとは別に、広角の固定カメラを設け、複数台のカメラを用いるシステムが知られている。ただ、このシステムは、複数台のカメラとこれらを制御するシステムを必要とするので、コストアップにつながる。また、広角の固定カメラからの撮影画像に現れる移動体の座標をもとにＰＴＺカメラが追尾に用いるパン・チルト値を算出する処理を行うことから、固定カメラとＰＴＺカメラの座標系にずれが生じ、精度を維持することが難しい。
なお、移動体を追尾する方法を採用する場合には、パン・チルト値を算出するために行う移動体の抽出を行うが、この処理をパン・チルト操作中にオプティカルフロー方式で行うと、処理負担が大きく、適用の妨げになることがある。

他方、１台のＰＴＺカメラを用いて対象とする移動体を追尾する方式は、複数台のカメラを用いる上記システムに生じる問題を回避することができる、ということから、この方式についても従来から提案がなされており、例えば、下記特許文献１，２を挙げることができる。
特許文献１には、撮影画像面を領域分割し、領域ごとに得た特徴量の変動から動きを検知し、動き有りと判定された領域の情報に基づいて、動きの重心を水平方向／垂直方向別に算出し、重心が画面の中心になるようにカメラを制御する監視装置が示されている。
また、特許文献２には、監視場所を撮影した画像面をエリア分割し、画像に異常が生じたエリアが画面の中心になるようにカメラを制御することや該エリアの分布に応じてカメラの画角を制御する監視システムが示されている。

特開２００２−３６９１８２号公報 特開平７−２２２１３７号公報

しかしながら、特許文献１の監視装置は、ズーム動作は解決課題としていないので、移動体の検知範囲（監視範囲）が限られてしまう。また、特許文献２の監視システムは、エリア分割した撮像面において、分割エリアの画像に生じる異常を監視対象としており、撮像面内に現れる移動体を追尾するという明確な意図がなく、十分な追尾性能が得られない。
本発明は、上記従来技術の問題に鑑みてなされたもので、その目的は、移動体を撮像面に捉える制御を行う移動体撮像装置において、撮像装置によって撮影可能なフィールドの広範囲にわたり漏れなく、かつ精度良く移動体を撮像面に捉える制御を行うとともに、この制御にかかる処理負担が大きくならないようにすることにある。

本発明は、動画を撮るＰＴＺカメラと、ＰＴＺカメラの撮影画像を処理し、撮像面上に現れる移動体を検知する移動体検知手段と、ＰＴＺカメラのＰＴＺ操作によって移動体を捉える制御を前記移動体検知手段の検知結果に基づいて行う制御手段を有する移動体撮像装置であって、ＰＴＺカメラが静止状態にあることを判定するカメラ静止判定手段を備え、前記制御手段は、前記カメラ静止判定手段によって静止状態が判定されたときに、ＰＴＺカメラの画角及び前記移動体検知手段が撮像面上で検出した捕捉対象の移動体の位置情報に基づいて推測した制御目標位置に対応するパン・チルト値、並びに前記移動体検知手段が撮像面上で検出した捕捉対象の移動体の差分画像に基づいて定めた制御目標画角に対応するズーム値によって前記ＰＴＺ操作を行い、前記カメラ静止判定手段は、ＰＴＺカメラが撮る撮像面における外周エリアのフレーム間差分をとることにより得られる画像の面積が所定値より小さいことを静止判定の条件としたことを特徴とする。

本発明によると、撮像装置によって撮影可能なフィールドの広範囲にわたり漏れなく、かつ撮像面の中心近くに精度良く（高解像度で）移動体を捉えることでき、制御にかかる処理負担を大きくすることなく実施することができる。

本発明の移動体撮像装置を適用して構成する侵入者（移動体）監視システムの１構成例を示す概略図である。 侵入者監視システム（図１）の要素であるサーバ端末の概略構成を示すブロック図である。 ＰＴＺカメラの静止判定を撮影画像にもとに行う際の判定エリアを説明する図である。 撮像面上に現れる侵入者（移動体）の動きから予測される位置へのパン・チルト操作を説明する図である。 侵入者（移動体）の移動速度の違いに応じたズーム操作を伴うＰＴＺ制御動作を説明する図である。 侵入者（移動体）の動き（移動方向の変更等）に応じたズーム操作を伴うＰＴＺ制御動作を説明する図である。 複数の侵入者（移動体）が撮像面上に現れたときのＰＴＺ制御動作を説明する図である。 ＰＴＺカメラによって侵入者（移動体）を捉える際のＰＴＺ制御のフローチャートである。 ＰＴＺ制御のフロー（図８）の広角固定へのパン・チルト操作（ステップＳ１０４）のサブシーケンスを示す図である。 ＰＴＺ制御のフロー（図８）のカメラ静止判定（ステップＳ１０７）のサブシーケンスを示す図である。 ＰＴＺ制御のフロー（図８）の侵入者検知（ステップＳ１０９）のサブシーケンスを示す図である。 ＰＴＺ制御のフロー（図８）のＰＴＺ値算出（ステップＳ１１１）のサブシーケンスを示す図である。

以下、侵入者（移動体）監視システムを例に本発明に係る移動体撮像装置の実施形態を説明する。
「侵入者監視システム構成の概要」
図１は、この実施形態に係る侵入者監視システムの１構成例を示す概略図である。
侵入者監視システム１００は、図１に示すように、ネットワーク１０７を介してＰＴＺカメラ（以下、単に「カメラ」ともいう）１０１、サーバ端末１０３、表示端末１０５それぞれを接続することによりシステムを構成する。
ＰＴＺカメラ１０１は、監視場所（撮影フィールド）における撮影領域をＰＴＺ（Pan Tilt Zoom）操作によって決め、その動画を撮像するカメラである。このカメラは、基本的には１台で所期の目的に適うシステムを構成することができるが、複数の撮影フィールドに対応して複数台を設けてもよい。
表示端末１０５は、ＰＴＺカメラ１０１によって撮像された画像を表示するモニタ端末であり、基本的には１台でも所期の目的に適うシステムを構成することができるが、複数台を設置し、そのうちの１台を後記するサーバ端末１０３に付属するモニタとすることができる。

サーバ端末１０３は、侵入者監視システム１００全体を管理する端末で、ＰＴＺカメラ１０１及び表示端末１０５を管理下におき、撮影フィールドの侵入者を撮像面に捉えるＰＴＺカメラ１０１に対するＰＴＺ操作（後記で詳述）等の制御動作を行う。
図２は、サーバ端末１０３の概略構成を示すブロック図である。
図２に示すように、サーバ端末１０３は、制御部２０１と、制御部２０１の制御下で動作する画像受信部２０２、画像記録部２０３、通信インタフェース部２０４、カメラ静止判定部２０５、侵入者検知部２０６、ＰＴＺ値算出部２０７、ＰＴＺ命令送出部２０８の各部と、上記各部の間でデータ交換に用いるバス２０９を有する。

制御部２０１は、サーバ端末１０３全体を制御し、通信インタフェース部２０４を通してカメラ１０１で撮影された画像を取り込んで、後述するＰＴＺ操作を行うために必要な制御・処理（後述する図８〜１３のフロー）等を行う手段として、図示しないが、ＣＰＵ（Central Processing Unit）、ＣＰＵの処理に必要なプログラムやデータ等を一時的に記憶しておくためのＲＡＭ（Random Access Memory）及びＣＰＵを駆動して演算や処理等を実行させるためのプログラム等を格納したＲＯＭ（Read Only Memory）等の記憶部を備えたコンピュータを備える。

通信インタフェース部２０４は、カメラ１０１（図１）で撮影され、ネットワーク１０７経由で送られてくる画像を取り込み、画像受信部２０２に渡す入力インタフェース及びＰＴＺ命令送出部２０８から渡されるＰＴＺ命令をネットワーク１０７経由でカメラ１０１に送る出力インタフェースである。
画像受信部２０２は、通信インタフェース部２０４から渡される撮影画像を後段で行う画像処理（侵入者検知部２０６等の処理）に用いることができるデータに変換する手段である。
画像記録部２０３は、画像受信部２０２で変換された画像データをフレーム単位で取り出すことができるように記録する手段である。

カメラ静止判定部２０５は、撮影画像をもとにＰＴＺカメラの静止判定を行う手段である。なお、静止判定については、図３を参照して後記で詳述する。
侵入者検知部２０６は、撮影画像をもとにフレーム間差分法等の処理手法を用いて、撮像面に現れる侵入者（移動体）を検知する処理を行う手段である。なお、侵入者検知については、図４を参照して後記で詳述する。
ＰＴＺ値算出部２０７は、撮影フィールドの侵入者を撮像面に捉えるＰＴＺ操作に用いるＰＴＺ値を算出する手段である。なお、ＰＴＺ値の算出法については、図４、図５を参照して後記で詳述する。
ＰＴＺ命令送出部２０８は、ＰＴＺ値算出部２０７で算出したＰＴＺ値によるカメラ１０１へのＰＴＺ命令の送信を通信インタフェース部２０４に指示する手段である。

なお、サーバ端末１０３の構成例として、サーバ端末１０３の構成要素である、画像受信部２０２、画像記録部２０３、カメラ静止判定部２０５、侵入者検知部２０６、ＰＴＺ値算出部２０７、ＰＴＺ命令送出部２０８の各処理部は、図２に示す例のように、専用の回路によって実施することができるが、制御部２０１を構成するコンピュータによりこれらの処理部の機能を実現するためのプログラムを動作させることで手段を構成し、この方法によって実施してもよい。

「ＰＴＺ値の生成」
本実施形態のサーバ端末１０３は、侵入者（移動体）を撮像面に捉える制御をＰＴＺ操作により行う際、カメラによって撮影可能なフィールドの広範囲にわたり侵入者を漏れなくかつ精度良く（高解像で）捉えるとともに、この操作にかかる処理負担が大きくならないようにする。このために、以下に示す（１）〜（４）の動作を行うことを特徴とする。
（１）侵入者（移動体）の検知は、カメラの静止時の撮影画像に基づいて行う。即ち、侵入者検知部２０６は、ＰＴＺ操作中に作動させず、カメラ静止判定部２０５による静止判定結果を確認して侵入者検知を行う。つまり、ＰＴＺ操作中の侵入者検知を回避することにより、処理負担を軽減化できる。
（２）侵入者（移動体）の検知結果をもとに求めた移動速度によりズーム値を調整する。即ち、移動速度が速い場合には、フレームアウトの確率が高くなるので、ズームダウンし（広角にする）、移動速度が遅い場合には、フレームアウトの確率が低くなるので、ズームアップする。
（３）侵入者（移動体）の検知結果をもとに求めた移動方向が所定量を超えて変化したことを条件に画角を拡大する。即ち、移動方向を変更した場合には、フレームアウトの確率が高くなるので、ズームダウンする（広角にする）。
（４）撮像面に複数の侵入者（移動体）が現れた場合にズーム値を調整する。即ち、侵入者全部を撮影するためにズームダウンする（広角にする）。

次に、上記（１）〜（４）の動作を行うための処理手段（手法）について、撮影画像例に基づいて詳細に説明する。
〈カメラ静止判定〉
カメラの静止判定は、撮影画像をもとにカメラ静止判定部２０５が行う。
カメラ静止判定部２０５は、カメラ１０１の撮影画像の経時変化を検出し、検出結果に変化があるか否かにより、カメラ１０１が静止しているか、カメラがＰＴＺ操作中であるかを判定する。具体的には、撮影画像のフレーム間差分を求め、得た差分画像の大きさ(面積)を所定の判定基準値と比較し、小さければ、静止と判定し、大きければＰＴＺ操作中であると判定する。

ただ、上記のフレーム間差分による検知方法では、撮影画像が移動体を捉えている場合には、カメラ１０１が静止していても、誤ってＰＴＺ操作中であると判定する可能性がある。そこで、この実施形態では、撮像画面上において誤判定の要因となる移動体が入らないエリアを判定エリアとして選ぶ。
図３は、撮像画面上に選ばれる判定エリアを説明する図である。同図に示す実施形態では、撮影エリア３０１の画面上において誤判定の要因となる移動体が入らないエリアを撮像面３０１の外周部分に定めている。カメラ１０１は、ＰＴＺ操作によって侵入者（移動体）を撮像画面の中心近くで捉えようとするので、周辺部分に定めた判定エリアに侵入者（移動体）が存在する可能性は低い。よって、このエリアをフレーム間差分法によるカメラ静止判定の判定エリアとすることで、誤判定を避けることができる。

〈侵入者検知〉
侵入者検知は、撮影画像をもとに侵入者検知部２０６が行う。
侵入者検知部２０６は、カメラ１０１の撮影画像の経時変化を検出し、画像に変化が生じたか否かにより、侵入者の存在の有無を検知する。なお、検知時には、カメラ１０１が静止していることが条件になり、カメラ静止判定部２０５の判定結果に従って、侵入者の検知動作を行う。
具体的には、撮影画像のフレーム間差分を求め、得た差分画像をもとに、侵入者の存在の有無を判断する。また、侵入者が存在する場合には、後述する〈ＰＴＺ値算出〉に用いるために、差分画像をもとに侵入者の位置、もしくは侵入者の位置及び侵入者の動き（移動方向、速度）を求め、これらを検知結果として画像記録部２０３に保存する。

撮像画面上に現れる侵入者（移動体）の動きから予測される位置へのパン・チルト操作を説明する図４を参照して、侵入者の検知方法について説明を加える。
図４において、撮影エリア４０１の画面４１ａ，４１ｂ，４１ｃは、カメラ１０１の静止時に時間軸に沿って順次に撮影された画面である。画面４１ａに入ってきた侵入者（移動体）は、画面４１ｂ，４１ｃに示すように画面の中心方向に移動しており、これらのフレーム間差分をとると、差分画像を表す画面４２ａ，４２ｂが得られる。なお、図４に示す撮影画像の画面４１ａ，４１ｂ，４１ｃは、それぞれ図中に示していないが、実際は背景があり、差分をとると、画面４２ａ，４２ｂのように侵入者（移動体）だけの画像となる。
差分をとった画面４２ａ，４２ｂに現れる画像には、ノイズ成分が含まれている。ノイズ成分は、通常処理の対象とする侵入者の画像に比べて小さいので、所定の閾値でノイズを除去し、処理対象となる侵入者のみを残す。本実施形態では、フレーム間差分をとった画像を表す画面４２ａ，４２ｂに示すように、同一侵入者によるものと認識した差分画像を囲む矩形を侵入者の抽出結果として求める（後述の図１１の侵入者検知処理フロー、参照）。

また、侵入者の動き（移動方向、速度）は、次のようにして求めることができる。即ち、時系列の３フレーム分の撮影画像を用いて上記の手順に従って、差分画像を囲む矩形(画面４２ａ，４２ｂに示す矩形)を求める。ここで、それぞれの差分画像で求めた矩形の中心点を侵入者の位置を表す座標値とみなし、この値を得る。得られる矩形の中心点の座標の変化(画面４２ａから画面４２ｂへの差分画像の変化)は、図４の概念図において画面４３上の矢印にて示す中心点の座標値の変分により表され、この変分によって移動方向及び速度を求めることができる。なお、上記の３フレーム分の撮影画像を用いる例に限らず、３フレーム分以上の画像を用いてもよいし、２フレーム分でもフレーム間差分画像において各フレームの侵入者の画像が分離できれば、各侵入者画像の重心位置の変化によって移動方向を求めることができる。
上記のようにして求めた、差分画像における同一侵入者を囲む矩形もしくは侵入者の動き（移動方向、速度）は、下記〈ＰＴＺ値算出〉に説明するように、ＰＴＺ値の算出に用いられる。

〈ＰＴＺ値算出〉
カメラ１０１は、初動時に、最大の画角で例えば撮影可能なフィールドの中央を指向する初期設定で撮影動作を始め、侵入者検知部２０６が侵入者を検知するまで、静止状態を保つ。その後、侵入者検知部２０６が侵入者を検知すると、検知した侵入者を撮像画面の中心近くで捉えるようにカメラ１０１のＰＴＺ操作を行う。
このＰＴＺ操作は、侵入者がフレームアウトせず、長く画面にとどまるようにする。また、複数の侵入者を検知した場合に、これらの侵入者がフレームアウトせず、画面に納めるようにする。具体的には、上記〈侵入者検知〉で述べた方法で侵入者検知部２０６が侵入者を検知し、得られた検知結果に基づいて、侵入者を撮像画面の中心近くで捉えるために必要なパン・チルト値を算出し、また、侵入者の速度等を表す画像の変化や複数の侵入者に対応して必要なズーム値を算出し、算出したＰＴＺ値を制御目標値としてカメラ１０１を操作する。
ＰＴＺ値の算出は、ＰＴＺ値算出部２０７が行い、算出したＰＴＺ値は、ＰＴＺ命令送出部２０８によって、ＰＴＺ命令として通信インタフェース部２０４を介してカメラ１０１へ送信される。

次にＰＴＺ値算出部２０７が算出する“パン・チルト値”と“ズーム値”それぞれの算出方法を分説する。
“パン・チルト値”
算出するパン（P）・チルト（T）値は、侵入者検知部２０６が検知した侵入者の位置(座標)の撮影画像の中心(座標)に対する偏りをそれぞれの座標値の変分で表し、変分を操作量としてのパン・チルト値、即ち、侵入者を撮像画面の中心近くで捉えるためのパン・チルト操作量に変換する。この変換には、画角及び撮影画像(画面)の画素数がファクタとなる。なお、画角は、カメラが撮ることのできる範囲を角度で表したものであり、ズーム（Z）値は画角で表すことができる。
また、パン（P）値、チルト（T）値は、前者がx座標、水平画角及び水平画素数に、後者がｙ座標、垂直画角及び垂直画素数に対応し、いずれも算出方法は、変わらない。よって、以下には、パン（P）値を算出する例だけを説明する。

求めるパン値（：PAN）は、下記式(１)に基づいて算出する。
(target_x−center_x)：PAN＝ImageNX：horizontal_angle・・・式（１）
上記式（１）において、
target_x：パン操作後に画面の中心で捉えようとする侵入者のx座標(現位置座標)
center_x：撮影画像の中心のx座標
ImageNX：撮影画像(画面)の水平方向の画素数
horizontal_angle：水平画角
上記center_x及びImageNXは、カメラ１０１とサーバ端末１０３の構成条件によるもので、設定等の変更がなければ、不変量である。これに対し、target_xは、侵入者の移動により変化し、また、horizontal_angleも後述するように、侵入者の動き等に対応して画角を変化させるので変量である。
なお、算出したパン値が所定の閾値以下の場合、操作の対象としないようにすることによって、作動の安定化を図ることができる。

ここで、target_x（target_y）として用いる侵入者のx,y座標（現位置座標）について、侵入者の動きを考慮した予測値を用いる実施例を説明する。
上記〈侵入者検知〉において、図４を参照して説明したように、差分画像における同一侵入者を囲む矩形（図４の画面４２ａ，４２ｂに示した矩形）は、侵入者の検知結果として求まり、この矩形の中心点を侵入者の位置を表す座標値として得、target_x（target_y）として用いることができる。
ただ、この差分画像の矩形の中心点は、侵入者の真の画像中心点とは一致しないので、より真の画像中心点に近い結果が得られるtarget_x（target_y）を予測する。

この予測は、侵入者検知部２０６が検知した侵入者の位置と動きに基づいて行う。即ち、上記〈侵入者検知〉で述べた、侵入者の位置を表す差分画像の矩形の中心点と侵入者の動き（移動方向及び速度）からパン・チルト操作後に移動中の侵入者がいると予測される位置を求めることによる。先に示した図４の例を引くと、差分画像の矩形（図４の画面４２ａ，４２ｂに示した矩形）の中心点として得られる侵入者の位置と、３フレーム分から得られる２つの差分画像の矩形中心点の座標値の変分（図４の画面４３上に示した矢印）によって表される侵入者の移動方向及び速度に基づいて行う。
侵入者の位置、移動方向及び速度に基づいて行う位置予測は、例えば、テストやシミュレーションによって確認したＰＴＺ操作に要する時間を考慮し、線形予測によりパン・チルト操作後の侵入者の画像中心点を予測する（図４の画面４３からの予測結果を画面４４で付加した白矢印及び予測中心点にて示す）。
このようにして予測された位置（予測中心点）をtarget_x（target_y）として、式(１)に適用し、得られるパン・チルト値で制御操作を行うことにより、真の画像中心点に近い位置で侵入者を捉えることができる。

“ズーム値”
ズーム調整は、侵入者がフレームアウトせず、長く画面にとどまるようにし、かつ高解像度で捉えるために行う。ここでは、次に示す３つの動作形態による。
第１は、一人の侵入者を捉えている場合に、侵入者の移動速度に応じて画角（ズーム値）を調整する形態で、基本的には、移動速度が速ければ、ズームダウンし、遅ければズームアップする。
第２は、一人の侵入者を捉えている場合に、侵入者の移動方向が所定量を超えて変化したことを条件に画角を拡大、即ちズームダウンする調整を行う形態である。
第３は、複数の侵入者を検知した場合に、これらの侵入者がフレームアウトせず、画面に納まるように画角を調整する形態である。

ズーム値は、侵入者を画像上どのくらいの画素数で撮りたいかによって決定する。
求めるズーム値（：ZOOM）は、下記式(２)に基づいて算出する。
now_size：now_zoom＝after_size：ZOOM・・・式（２）
上記式（２）において、
now_size：現在撮っている侵入者の画素サイズ
now_zoom：現在のズーム値（画角）
after_size：ズーム後に撮ろうとする侵入者の画素サイズ
ZOOM：求めるズーム値
なお、上記式（２）によりズーム値を算出する場合、撮ろうとする侵入者の画素サイズは、画像サイズ（設定等の変更がない限り不変量）の１／xと表す。
上記第１〜３の形態でズーム調整を行うためのズーム値を上記式（２）により算出し、算出したズーム値を制御目標値としてカメラ１０１を操作する。

ここで、図５を参照して上記第１の形態でズーム調整を行う際の実施例を説明する。
図５は、侵入者（移動体）の移動速度の違いに応じてズーム値の設定を変更するＰＴＺカメラのズーム操作を説明する図で、（Ａ）は普通の速度の場合、又（Ｂ）はより高速の場合を示す。
図５において、撮影エリア５０１の画面５１ａ，５１ｂは、カメラ１０１の静止時に時間軸に沿って順次に撮影された画面である。
画面５１ａに入ってきた侵入者（移動体）は、次の画面５１ｂでは移動しているので、これらのフレーム間差分をとると、画面５２における差分画像が得られる。ここで、差分画像から同一侵入者によるものと認識した画像を囲む矩形（以下「ズーム対象矩形」という）を求めると、ズーム対象矩形の縦横の長さは、垂直・水平方向の移動速度に比例した長さになる。そこで、現在撮っている侵入者の画素サイズとして、ズーム対象矩形の縦横の長さのうちの長い方を選択して、上記式（２）にもとづいて求めるズーム値（：ZOOM）を算出する。なお、算出したズーム値もしくは差分を囲む矩形のサイズが所定の閾値以下の場合、操作の対象としないようにして、作動の安定化を図る。

図５（Ａ）の普通の速度の場合、画面５１ａに入ってきた侵入者（移動体）は、次の画面５１ｂではそれほど移動していないので、やや縦長のズーム対象矩形になるので、縦の長さを選択して、これが画像サイズの１／xの長さになるようにずる。図示の例では、１／xがほぼ２／３であるから、ズームアップ（画角が縮小）されている。
他方、図５（Ｂ）のより高速の場合、画面５１ａに入ってきた侵入者（移動体）は、次の画面５１ｂでは水平方向にかなり移動しているので、横長のズーム対象矩形になるので、横の長さを選択して、これが画像サイズの１／xの長さになるようにずる。なお、図示の例では、１／xがほぼ２／３であるから、ズームダウン（画角が拡大）されている。
上記のようにして、侵入者の移動速度に応じて、ズームアップ・ダウンを可能にするズーム値を算出し、算出したズーム値を制御目標値として、カメラ１０１にＰＴＺ命令として送る。

ここで、図６を参照して第２の形態でズーム調整を行う際の実施例を説明する。
図６は、侵入者（移動体）の動きに応じてズーム値を変更するＰＴＺカメラのズーム操作を説明する図である。
図６において、撮影エリア６０１の画面６１ａ，６１ｂ，６１ｃ，６１ｄ，６１ｅ，６１ｆ，６１ｇ，６１ｈは、時間軸に沿って順次に撮影された画面である。ただし、画面６１ｄ及び６１ｇは、ＰＴＺ操作中であり、侵入者検知を行わず、新たなズーム値を求めることもない、という点で無意味な画面であることを示しており、これ以外の画面は、侵入者検知に用いるカメラ１０１の静止時の画面である。また、画面６１ａ〜６１ｅのズーム操作は、図５で説明した第１の形態でズーム調整を行う場合を示し、画面６１ｅ〜６１ｈのズーム操作は、第２の形態でズーム調整を行う場合を示すものである。

画面６１ａに入ってきた侵入者（移動体）は、後続する画面６１ｂ，６１ｃでは移動しているので、これらのフレーム間差分をとると、画面６２ａ，６２ｂにおける差分画像が得られる。この３フレーム分の差分画像から侵入者の移動方向や、条件によっては、位置予測に用いられて侵入者の位置座標が求められ、上述のようにパン・チルト値が算出される。なお、このとき求めた移動方向等の侵入者の動きや侵入者の位置座標（予測値を含む）は、後段の処理に用いるために保存される。
また、図示の例では、画面６２ｂの侵入者の動きからＰＴＺ操作の実行条件が満たされたと判断され、この画面における差分画像を囲む矩形（ズーム対象矩形）における縦の長さに基づいて算出したズーム値に従いズームアップ操作（図５（Ａ）、参照）が行われ、画面６１ｅが得られる。

ズームアップ操作を伴うＰＴＺ操作が終わり、カメラ１０１が静止すると、侵入者の検知が、上述と同様に、画面６１ｅ，６１ｆのフレーム間差分をとり得られる差分画像をもとに行われる。
このときの検知結果のうち、差分画像を囲む矩形（ズーム対象矩形）の長さに基づいて算出されるズーム値に従うズーム操作（図５、参照）は、図６の画面６２ｃに示す例では、この矩形の横の長さが目標の設定値となっているので、ズーム操作は不要となる。
ただ、このときの検知結果から、侵入者の移動方向が所定量を超えて変化していると判定された場合には、第２の形態でズーム調整を行う。即ち、画角を拡大、即ちズームダウンするためのズーム値を制御目標値として定める。

侵入者の移動方向の変化は、次のようにして求める。先ず、上述の侵入者の動き検知と同様の方法で画面６２ｃに示す差分画像を囲む矩形を得、この矩形の中心点（座標）を求め、前回の差分画像を対象に求めた矩形の中心点（座標）との変化から、現在の侵入者の移動方向を求めることができる。次いで、求めた現在の侵入者の移動方向と、前回に求め、保存しておいた侵入者の移動方向の変化が所定量を超えているか否かを確認する。
この結果、侵入者の移動方向が所定量を超えて変化していれば、侵入者が急に移動方向を変更したとみなす。この場合、捉えている侵入者がフレームアウトする可能性が高まるので、現在のズーム値より所定量小さい値を制御目標値として定め、フレームアウトを防ぐ。
図６の画面６２ｃに示す例では、画面６２ｂで求めた侵入者の移動方向（図中矢印にて示す）が急に画面６２ｃに示すように変更されているので、上記のようにして定めたズーム値に従いズームダウン操作が行われ、画面６１ｈが得られる。

また、図７を参照して第３の形態でズーム調整を行う際の実施例を説明する。
図７は、複数の侵入者（移動体）を検知した場合に、これらの侵入者がフレームアウトせず、画面に納まるように、ズーム値を変更するＰＴＺカメラのズーム操作を説明する図である。
図７において、撮影エリア７０１の画面７１ａ，７１ｂ，７１ｃ，７１ｄは、時間軸に沿って順次に撮影された画面である。ただし、画面７１ｃは、ＰＴＺ操作中であり、侵入者検知を行わず、新たなズーム値を求めることもない、という点で無意味な画面であることを示しており、これ以外の画面は、侵入者検知に用いるカメラ１０１の静止時の画面である。
画面７１ａに入ってきた侵入者（移動体）は移動しているので、次画面７１ｂとのフレーム間差分をとると、画面７２における差分画像が得られ、複数の侵入者の存在を認識する（後述の図１１の侵入者検知処理フロー、参照）。

複数の侵入者の差分画像に対しては、画面に一人の侵入者だけが存在する場合に行う、侵入者の差分画像を囲む矩形をもとにズーム値を算出する上述の処理では、侵入者全てを捉えることができない。
そこで、複数の侵入者の全てがズーム操作後に画面に納まるズーム値を制御目標値として算出する。
算出方法は、図７の画面７２における複数侵入者の差分画像の全てを囲む矩形をズーム対象矩形として求め、この矩形をもとに、上述の“パン・チルト値”に示した算出方法及び第１の形態（図５、参照）で示したズーム値の算出方法を適用する。
このようにして、制御目標値としてＰＴＺ値を算出し、カメラ１０１のＰＴＺ操作を行うことにより、複数の侵入者全てを画面に捉えることができる。図７に示す例では、画面７２で求めた差分を囲む矩形の中心を画面の中心とするパン・チルト操作と、前記ズーム対象矩形を所定のサイズで撮るズーム操作が行われ、画面７１ｄが得られる。

「ＰＴＺ操作」
次に、カメラ１０１をＰＴＺ操作する際の処理・制御手順を、制御フローの１例を示す図８〜１２に基づいて説明する。
侵入者監視システム１００（図１）のＰＴＺカメラ１０１、サーバ端末１０３に電源が投入され、ネットワーク１０７の接続が確認され、システムが動作可能な状態になったところで、図８の制御フローが起動される。
この制御フローでは、起動時に、先ず、カメラ１０１からＰＴＺ値の上限値をカメラ固有の動作条件として取得する（ステップＳ１０１）。このＰＴＺ値の上限値は、カメラを動作条件の範囲内で作動させることにより、誤操作や故障を避けるために用いる。
次に、ＰＴＺ値の初期値（監視開始位置）を設定する（ステップＳ１０２）。例えば、最大の画角で、撮影可能なフィールドの中央を指向する設定で撮影動作を開始させるようにする。

カメラ１０１が撮影を始めた後、撮影画像の侵入者検知（後述のステップＳ１０９）による検知結果を確認して、所定時間（設計条件として予め定められる）以上侵入者が検知されない状態が続いているか否かを確認する（ステップＳ１０３）。なお、このステップＳ１０３は、撮影開始時もしくは侵入者検知後に、侵入者検知の結果を調べることにより確認する。
ステップＳ１０３で侵入者が検知されない状態が所定時間以上続いた場合、即ち後述する撮影画像の侵入者検知によってこの検知結果を最初に得てスタートするタイマーが所定時間経過する間に何度か侵入者検知を行っても、侵入者が検知されない場合（ステップＳ１０３-YES）、広角固定へのパン・チルト操作を行う（ステップＳ１０４）。

このステップＳ１０４の広角固定へのパン・チルト操作によって得られる状態は、侵入者が画面にいない状態から初めて画面に侵入者を捉えるために待機する状態であり、通常、初期状態と同じであるから、撮影開始時のステップＳ１０２の設定に従ってカメラ１０１のＰＴＺ操作をする。
即ち、広角固定へのパン・チルト操作の処理手順を示す図９のサブシーケンスに示すように、ＰＴＺ値の初期値（監視開始位置）を設定し（ステップＳ２０１）、設定したＰＴＺ値をＰＴＺ命令送出部２０８によって、ＰＴＺ命令として通信インタフェース部２０４を介してカメラ１０１へ送り（ステップＳ２０２）、送った後、本処理・制御フローの動作を管理するために、ＰＴＺ操作を行っているか否かを示すＰＴＺ操作フラグをＯＮにして、このサブシーケンスを抜ける。

広角固定へのパン・チルト操作（ステップＳ１０４）を行った後、もしくは侵入者が検知されない状態が続いていても所定時間が経過していない場合（ステップＳ１０３-NO）に、画像受信部２０２は、通信インタフェース部２０４を介してカメラ１０１の撮影画像を受け取る（ステップＳ１０５）。
次いで、受け取った撮影画像に対する侵入者検知等の処理を行うが、この処理の実行条件を確認する処理として、先ず、ＰＴＺ操作中であるか否かをＰＴＺ操作フラグのＯＮ／ＯＦＦによって確認する（ステップＳ１０６）。
ステップＳ１０６でＰＴＺ操作フラグを確認し、フラグがＯＦＦの場合（ステップＳ１０６-NO）、直ちに侵入者検知（ステップＳ１０９）を行う。なお、侵入者検知については、後記で詳細に説明する。

他方、ＰＴＺ操作フラグを確認し、フラグがＯＮの場合（ステップＳ１０６-YES）、カメラ静止判定を行う（ステップＳ１０７）。このステップは、カメラ１０１が静止状態にあることをサーバ端末１０３自身で確認して、撮影画面の侵入者を検知する画像処理を実行するために行う。カメラの静止判定は、カメラ静止判定部２０５が、撮影画像の外周エリアについて求めたフレーム間差分をもとに判定する（上述の<カメラ静止判定>の説明、参照）。
カメラ静止判定の処理手順は、図１０のサブシーケンスに従って行う。図１０のシーケンスによると、先ず、処理対象とする現在受信している撮影画像の外周エリアのフレーム間差分をとる（ステップＳ３０１）。

次に、求めた差分画像の大きさ(面積)を所定の判定基準値と比べ、基準値以下であるか否かを判断する（ステップＳ３０２）。
ここで、基準値以下である場合に（ステップＳ３０２-YES）、静止していると判定し、広角固定へのパン・チルト操作（図９）でＯＮにしたＰＴＺ操作フラグをＯＦＦにして（ステップＳ３０３）、このサブシーケンスを抜ける。また、基準値を超えている場合に（ステップＳ３０２-NO）、ＰＴＺ操作中であると判定し、広角固定へのパン・チルト操作（図９）でＯＮにしたＰＴＺ操作フラグをそのままにして、このサブシーケンスを抜ける。
カメラ静止判定のサブシーケンスを通した後、再びＰＴＺ操作中であるか否かをＰＴＺ操作フラグのＯＮ／ＯＦＦによって確認する（ステップＳ１０８）。これは、未だＰＴＺ操作中である場合に対応するためで、操作フラグがＯＮである場合には（ステップＳ１０８-YES）、後続する撮影画像に対する静止判定を行うためにステップＳ１０５に戻す。

他方、ステップＳ１０８で操作フラグがＯＦＦである場合には（ステップＳ１０８-NO）、受け取った撮影画像に対する侵入者検知処理を行う（ステップＳ１０９）。
この侵入者検知処理は、侵入者検知部２０６が、撮影画像について求めたフレーム間差分をもとに、target_x,y座標（侵入者の現位置座標）、ズーム対象矩形等を検知結果として求める処理である（上述の〈侵入者検知〉の説明、参照）。
侵入者検知処理の手順は、図１１のサブシーケンスに従って行う。図１１のシーケンスによると、先ず、時系列に連なる撮影画像のフレーム間差分をとる（ステップＳ４０１）。
フレーム間差分をとった結果、全く差分が生じない場合もあり得ることから、次に、差分画像が得られたか否かを確認する（ステップＳ４０２）。ここで、差分画像が得られない場合（ステップＳ４０２-NO）、このサブシーケンスの後段の処理をパスする。このように、後段の処理を行わずにこのサブシーケンスをパスすることで、無駄な資源の消費を避けるようにする。

ステップＳ４０２で差分画像が得られた場合（ステップＳ４０２-YES）、得られた差分画像にラベリング処理を施す（ステップＳ４０３）。ラベリングは、同一データ値を持つ画素（２値化処理した画像の場合、白か黒の画素）を連結させた連結画素領域単位(画素が連結し、１かたまりとなった領域、この実施形態では各侵入者がこの領域に含まれる）に画像を分け、領域ごとに領域を識別するラベルを付し、管理情報として用いる。
次いで、ステップＳ４０３でラベルを付した連結画素領域から処理対象の侵入者のみを抽出するためにノイズを除去する（ステップＳ４０４）。例えば、孤立した小さな領域をノイズとして除去する方法を採用することができる。
この後、ステップＳ４０４の処理で得られた処理対象とする侵入者の差分画像をもとに処理対象矩形を算出する（ステップＳ４０５）。ここで求める処理対象矩形は、同一侵入者の差分画像と認識される画像の単位で、画像に外接する矩形の位置（例えば中心位置の座標）と大きさ（縦・横の長さ）を算定する。

なお、フレーム間差分により得た侵入者の差分画像が１かたまりであれば、同一侵入者の画像と認識して問題がないが、複数のかたまりの差分画像が得られた場合、侵入者を正しく認識することが困難になる場合がある。この場合には、例えば、３フレームといったように多数のフレームにわたる差分をとることにより、侵入者の動きを予測し、予測した動きに基づいて複数のかたまりを関係付けることができる。つまり、この関係付けから、同一侵入者の差分画像であるか、別の侵入者の差分画像であるかを判断することができ、同一侵入者の差分画像であり、画面に１つであれば、これらの画像を囲む矩形により図６に例示したＰＴＺ操作を行うための矩形を算出し、他方、複数侵入者の差分画像であれば、これらの画像を囲む矩形により図７に例示した複数侵入者に対応するＰＴＺ操作を行うための矩形を算出する。

ステップＳ４０５で処理対象矩形を算出した後、侵入者の移動方向を算出する（ステップＳ４０６）。侵入者の移動方向は、差分画像で求めた処理対象矩形の中心点を侵入者の位置を表す座標値とみなし、この中心点の座標値の変分を算出することで求めることができる（上述の〈侵入者検知〉における図４を参照した説明、参照）。
次いで、パン・チルト値を算出するために必要なtarget_x・target_y、即ちパン・チルト操作後に画面の中心で捉えようとする侵入者のx,y座標を求める。なお、本実施形態では、侵入者の動きからtarget_x・target_yを予測するので、ステップＳ４０６で求めた侵入者の移動方向を用いて予測値を得る（上述の“パン・チルト値”における図４を参照した説明、参照）。
ステップＳ４０５〜４０７でＰＴＺ値の算出に必要な数値が得られるので、図１１のサブシーケンスを抜ける。

メイン制御フロー（図８）に戻ると、ステップＳ１０９で行った侵入者検知処理により侵入者が検知されない場合もあり得ることから、侵入者検知処理を行った後、侵入者が検知されたか否かを確認する（ステップＳ１１０）。ここで、侵入者が検知されない場合（ステップＳ１１０-NO）、後段の処理を行うことは意味がなくなるで、この場合には、ステップＳ１０３に戻し、再び侵入者が検知されない状態が続いているか否かを確認するステップからの処理を行う。
他方、侵入者が検知された場合（ステップＳ１１０-YES）、ＰＴＺ値を算出する処理を行う（ステップＳ１１１）。
このＰＴＺ値の算出処理は、ＰＴＺ値算出部２０７が行う処理で、侵入者検知処理のサブシーケンス（図１１）で得られた処理対象矩形、侵入者の動き（移動方向）及びtarget_x・target_yをもとに、カメラ１０１をＰＴＺ操作するためのＰＴＺ値を算出する処理である（上述の〈ＰＴＺ値算出〉の説明、参照）。

ＰＴＺ値算出処理の手順は、図１２のサブシーケンスに従って行う。図１２のシーケンスによると、先ず、カメラ１０１の現在の画角（ズーム値）を取得する（ステップＳ５０１）。現在の画角は、後段の制御目標となるパン・チルト値の算出及び画角（ズーム値）の算出に用いるために必要となる量である。なお、画角は、カメラ１０１側のＰＴＺ制御系（不図示）が常にカメラのＰＴＺの状態を検出しているので、この検出値をサーバ端末１０３側から取得し、現在値として保持する。

次に、制御目標となるパン・チルト値の算出処理を行う（ステップＳ５０２）。パン値は、侵入者検知処理（図１１）で求めたtarget_x及び上記ステップＳ５０１で取得したカメラ１０１の現在の水平画角をもとに、上述の〈ＰＴＺ値算出〉の“パン・チルト値”において示した式（１）に従って算出する。チルト値は、パン値と同様の方法でtarget_ｙ及び垂直画角を基に算出する。
さらに、制御目標となるズーム値の算出処理を行う（ステップＳ５０３）。ズーム値は、侵入者検知処理（図１１）で求めた処理対象矩形（ズーム対象矩形等）及び上記ステップＳ５０１で取得したカメラ１０１の現在の画角をもとに、上述の〈ＰＴＺ値算出〉の“ズーム値”において示した式（２）に従って算出する。
このようにＰＴＺ値をそれぞれ算出して図１２のサブシーケンスを抜ける。

メイン制御フロー（図８）に戻ると、ステップＳ１１１で算出したＰＴＺ値による制御動作を実行するために、得られた値をＰＴＺ命令としてカメラ１０１へ送信するが、その前に、適正な動作が行えるかＰＴＺ値にチェックをかける。
先ず、制御目標値として得たＰＴＺ値がカメラ１０１の可動範囲であるか否かを確認する（ステップＳ１１２）。カメラ１０１の可動範囲は、ステップＳ１０１でＰＴＺ値の上限値を取得しているので、この上限値を超えるか否かを確認する。
ここで、制御目標値として得たＰＴＺ値がＰＴＺ値の上限値を超える場合は（ステップＳ１１２-NO）、正常な動作が得られないので、カメラ１０１に広角固定へのパン・チルト操作を行わせ、初期状態に戻し、侵入者検知を新たに始める。

これに対して、制御目標値として得たＰＴＺ値がＰＴＺ値の上限値を超えない場合は（ステップＳ１１２-YES）、正常な動作が得られるので、もう１つの動作条件を確認する。この動作条件は、ステップＳ１１１で算出したＰＴＺ値と現在値との差が所定値以上あることを制御の実行条件とし、この条件を満たすか否かを確認する（ステップＳ１１３）。
ここで、算出したＰＴＺ値と現在値との差が所定値以上なければ（ステップＳ１１３-NO）、算出したＰＴＺ値はキャンセルし、即ちカメラ１０１への操作は行わず、侵入者検知を行うためにステップＳ１０５に戻す。これは、例えば、侵入者の移動速度が遅く、カメラ１０１を操作する効果があまりなく、無駄な動作になることや不安定な動作になることを回避するために行う。なお、このときには、ＰＴＺ操作フラグは、そのままＯＦＦを保つようにして、直ちに侵入者検知を行えるようにする。

他方、算出したＰＴＺ値と現在値との差が所定値以上あれば（ステップＳ１１３-YES）、算出したＰＴＺ値による制御を実行するので、ＰＴＺ命令送出部２０８は、通信インタフェース部２０４を介して、このＰＴＺ値をＰＴＺ命令としてカメラ１０１へ送信する（ステップＳ１１４）。
ステップＳ１１４でＰＴＺ命令を送信した後、ＰＴＺ操作フラグをＯＮにして（ステップＳ１１５）、侵入者検知を行うためにステップＳ１０５に戻す。ＰＴＺ操作フラグをＯＮにする理由は、カメラ１０１が送信したＰＴＺ命令に従う操作を行うことが分かっているので、侵入者検知（ステップＳ１０９）を行う過程でカメラ静止判定（ステップＳ１０７）を必要とするからである。

１００・・侵入者（移動体）監視システム、１０１・・ＰＴＺカメラ、１０３・・サーバ端末、１０５・・表示端末、２０１・・制御部、２０２・・画像受信部、２０３・・画像記録部、２０４・・通信インタフェース部、２０５・・カメラ静止判定部、２０６・・侵入者検知部、２０７・・ＰＴＺ値算出部、２０８・・ＰＴＺ命令送出部、２０９・・バス。

Claims (6)

1. 動画を撮るＰＴＺカメラと、ＰＴＺカメラの撮影画像を処理し、撮像面上に現れる移動体を検知する移動体検知手段と、ＰＴＺカメラのＰＴＺ操作によって移動体を捉える制御を前記移動体検知手段の検知結果に基づいて行う制御手段を有する移動体撮像装置であって、
   ＰＴＺカメラが静止状態にあることを判定するカメラ静止判定手段を備え、
   前記制御手段は、前記カメラ静止判定手段によって静止状態が判定されたときに、ＰＴＺカメラの画角及び前記移動体検知手段が撮像面上で検出した捕捉対象の移動体の位置情報に基づいて推測した制御目標位置に対応するパン・チルト値、並びに前記移動体検知手段が撮像面上で検出した捕捉対象の移動体の差分画像に基づいて定めた制御目標画角に対応するズーム値によって前記ＰＴＺ操作を行い、
   前記カメラ静止判定手段は、ＰＴＺカメラが撮る撮像面における外周エリアのフレーム間差分をとることにより得られる画像の面積が所定値より小さいことを静止判定の条件とした
   ことを特徴とする移動体撮像装置。
2. 請求項１に記載された移動体撮像装置において、
   前記制御手段は、フレーム間差分をとることにより得られる移動体画像を囲む外接矩形の中心位置の時系列変化から、パン・チルト値を得るための前記制御目標位置を推測する
   ことを特徴とする移動体撮像装置。
3. 請求項１又は２に記載された移動体撮像装置において、
   前記制御手段は、フレーム間差分をとることにより得られる移動体画像を囲む外接矩形の縦横の長さの長い方の画素サイズがズーム後の画素サイズとして求める所定値となるように、前記制御目標画角を定める
   ことを特徴とする移動体撮像装置。
4. 請求項１乃至３のいずれかに記載された移動体撮像装置において、
   前記制御手段は、フレーム間差分をとることにより得られる移動体画像を囲む外接矩形の中心位置の時系列変化から推測する移動方向が所定量を超えて変化したことを条件に、前記制御目標画角を拡大する値に定める
   ことを特徴とする移動体撮像装置。
5. 請求項１乃至４のいずれかに記載された移動体撮像装置において、
   前記制御手段は、フレーム間差分をとることにより得られる複数の移動体がズーム後に撮像面内に納まるように前記制御目標画角を定める
   ことを特徴とする移動体撮像装置。
6. 請求項１乃至５のいずれかに記載された移動体撮像装置において、
   前記制御手段は、初期化動作として、所定広角ズーム値及び所定パン・チルト値によってＰＴＺ操作を行うとともに、前記移動体検知手段によって所定時間以上移動体が検知されなかったときに、該初期化動作を行う
   ことを特徴とする移動体撮像装置。

Images