JP5055092B2

JP5055092B2 - 映像処理装置及び映像処理方法

Info

Publication number: JP5055092B2
Application number: JP2007286086A
Authority: JP
Inventors: 幸藤井
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2007-11-02
Filing date: 2007-11-02
Publication date: 2012-10-24
Anticipated expiration: 2027-11-02
Also published as: US20090128652A1; US8134614B2; JP2009117956A

Description

本発明は、監視システムに関わり、特に、監視領域内の物体を認識するための画像処理による映像処理装置に関する。

従来の映像監視装置においては、ＴＶカメラ（ Tel-Vision カメラ）等の撮像装置で監視領域内を所定の間隔で撮像し、取得した画像を画像処理によって解析して物体認識をしていた。
例えば、特許文献１では、監視領域内を撮像した画像をあらかじめ登録された背景画像と比較することによって物体認識を行って検出し、その後テンプレートマッチング法によって、検出した物体を追尾している。
また、特許文献２では、動き検出処理の演算処理の負荷をなるべく小さくするため、デジタルカメラなどでサムネイル表示用の画像を生成する目的等で使用されている汎用の画像縮小用ハードウエアエンジンを利用して、画像データを縮小してから画像処理を行っている。

特開２００５−０５７７４３号公報特開２００５−０１２５４８号公報

上述の特許文献１では、背景画像、入力画像をそのままのサイズで処理しているため、処理速度が遅い。即ち、処理速度の遅いＣＰＵ（ Central Processing Unit ）を用いた場合や、メガピクセルカメラ等、１フレームあたり画素数のが多く処理するためのデータ数が多い場合には、リアルタイムに画像処理ができず、検出もれ、誤検出が起こる可能性がある。
また、特許文献２に記載されているように、画像を縮小する（間引く）ことによって処理するデータ数を減らし、相対的に処理速度を上げる場合には、単純に画像を縮小する必要がある。例えば、カメラが撮像した画像は、カメラからの距離を考えると、画面の下側が近く、画面の上側になるほど遠くなる。従って、画素数で考えると、同じ実サイズの像でも、カメラから近い位置にあるほど画素数が多く、遠い位置にあるほど画素数が少ない。
画像処理は、画素単位（１画素を１データ）で実行するので、画素数が多いほど処理結果は正確になるが処理速度が遅くなり、画素数が少なくなると処理速度は早くなるが処理結果の正確さが失われてくる。特に、監視領域内に多くの侵入物が入ってきた場合や、侵入物が大きく撮像された場合に、処理速度の低下や検出能力の低下につながる。
従って、画像処理を確実に実行するためには、画像を縮小する割合（縮小係数）をカメラ撮影条件に応じて適切に変える必要がある。即ち、適切な縮小係数で常に画像処理するためには、設定値を少しずつ変えながら、ユーザが１つずつ決定する必要があり、縮小係数を固定できない。そのため、監視場所に応じて適切な縮小係数を算出することが必要になり、やはり大きな処理量が発生する。

本発明の目的は、上記のような問題点を解決し、リアルタイムに処理が実行でき、かつ、検出もれ、誤検出が起きない物体検出方法及び映像監視装置を提供することにある。即ち、本発明の目的は、画像処理量をあまり増加せずに、適切な画像縮小係数になるように、設定値を自動的に変え、また、手前と奥で物体の大きさが大きく変わるような環境でも、物体検出が可能な映像処理装置を提供するものである。

上記の目的を達成するため、本発明の映像処理装置は、監視領域内を撮像するカメラから入力された入力画像を画像処理によって検出し物体認識方法を用いて、該監視領域内を監視する映像処理装置において、上記カメラの設置情報、上記監視領域内の物体検知範囲、及び検出したい物体の実サイズの入力を受け付ける手段と、入力された上記カメラの設置情報、上記監視領域内の物体検知範囲、及び検出したい物体の実サイズから縮小係数を算出する手段と、上記入力画像と背景画像を上記縮小係数で縮小して縮小入力画像と縮小背景画像を作成する手段と、上記縮小入力画像と上記縮小背景画像とで差分処理し差分画像を作成する手段と、上記差分画像を二値化処理し二値化画像を作成する手段と、上記二値化画像から物体を認識する手段を備えたものである。
また、上記発明の映像処理装置において、上記縮小係数を算出する手段は、上記物体検知範囲内の上記検出したい物体の最小の大きさになる地点を選択し、選択した最小地点の物体の画素のかたまりから上記縮小係数を算出するものである。

また、本発明の映像処理方法は、監視領域内を撮像するカメラから入力された入力画像を画像処理によって検出し物体認識方法を用いて、該監視領域内を監視する映像処理方法において、上記カメラの設置情報、上記監視領域内の物体検知範囲、及び検出したい物体の実サイズの入力を受け付けるステップと、入力された上記カメラの設置情報、上記監視領域内の物体検知範囲、及び検出したい物体の実サイズから縮小係数を算出するステップと、上記入力画像と背景画像を上記縮小係数で縮小して縮小入力画像と縮小背景画像を作成するステップと、上記縮小入力画像と上記縮小背景画像とを差分処理し差分画像を作成するステップと、上記差分画像を二値化処理し二値化画像を作成するステップと、上記二値化画像から物体を認識するステップを備えたものである。
さらに、上記発明の映像処理方法において、上記縮小係数を算出するステップは、上記物体検知範囲内の上記検出したい物体の最小の大きさになる地点を選択し、選択した最小地点の物体の画素のかたまりから上記縮小係数を算出するものである。

本発明によれば、作業量をあまり増加せずに、適切な画像縮小係数になるように、設定値を少しずつ変え、また、手前と奥で物体の大きさが大きく変わるような環境でも、物体検出が可能とする物体検出方法及び映像監視装置を提供することができる。即ち、画像縮小係数が設置環境に応じて適切な値に自動的に設定されるため、検知精度を保ったまま、高速に処理することができる。

本発明の映像処理装置の実施形態を図１によって説明する。図１は、本発明の映像処理装置を使用する監視システムの一実施例の構成を示すブロック図である。１０１は監視領域内を撮像するカメラ、１０２は映像処理装置（画像処理装置）、１１５はビデオモニタである。また画像処理装置１０２において、１０３は画像処理装置の処理可能なフォーマットに変換する画像処理インターフェース（画像処理Ｉ／Ｆ）、１０４は画像間の演算若しくは画像の格納（保存、記録、若しくは書込み）に使用される画像メモリ、１１０はプログラムメモリ、１１１はワークメモリ、１１２はＣＰＵ（ Central Processing Unit ）、１１３は画像出力インターフェース（画像出力Ｉ／Ｆ）である。また更に、画像メモリ１０４において、１０５は背景画像の格納（保存、記録、若しくは書込み）を行う背景メモリ、１０６は画像入力Ｉ／Ｆ１０３から入力された画像データを複数フレーム分格納する入力メモリ、１０７は縮小された背景画像と縮小された入力画像を格納（保存、記録、若しくは書込み）を行う縮小画像メモリ、１０８は画像間の演算に用いる処理用メモリ、１０９は表示メモリである。また１１４はデータバスであり、データバス１１４を介して結合されている各構成要素間でのデータ転送に使用するものである。

図１において、カメラ１０１は、監視領域内を撮像し、撮像した画像を映像信号に変換して画像処理装置１０２に伝送する。伝送に使用する回線は、例えば、専用のネットワーク回線、ケーブル回線等であり、有線若しくは無線のどちらか、又は両方を使っても良い。
画像処理装置１０２では、画像入力Ｉ／Ｆ１０３がカメラ１０１から伝送された映像信号を受信し、アナログの映像信号をデジタル信号に変換（Ａ／Ｄ変換）し、映像信号を０〜２５５の２５６階調の輝度信号に変換するなどの処理を行い、画像処理装置の処理可能なフォーマットの画像データに変換する。この画像データは、画像メモリ１０４に出力され、画像メモリ１０４内の入力メモリ１０６に格納される。

また、画像メモリ１０４は、画像入力Ｉ／Ｆ１０３から入力された画像データを入力メモリ１０６に格納する。
ＣＰＵ１１２は、プログラムメモり１１０に格納されているプログラムに従って、データバス１１４を介して結合されるユニットと相互にアクセスし、画像処理装置１０２を制御する。例えば、ＣＰＵ１１２は、ワークメモり１１１、画像メモり１０４を用いて画像解析を行う。
画像出力Ｉ／Ｆ１１３は、画像メモリ１０４内の表示メモリ１０９に格納されている画像データ（デジタルの映像信号）をアナログ信号に変換（Ｄ／Ａ変換）して、変換したアナログの映像信号をビデオモニタ１１５に出力する。
ビデオモニタ１１５は、画像出力Ｉ／Ｆ１１３から入力された映像信号を、表示画面に表示する。

カメラ１０１は、図１の実施例では、固定カメラである。固定カメラとは、カメラ等の撮像装置を設置する時に、カメラの俯角、カメラの高さ、及びカメラの水平角、及びズーム倍率が、所定の値で設定されているカメラである。
しかし、本願の実施例は、固定カメラに限るものではなく、遠隔操作によって、パン操作（カメラの水平角の変更操作）、チルト操作（カメラの垂直方向（俯角）の変更操作）、ズーム倍率若しくは焦点距離の変更や、場合によっては、カメラの高さの変更が随時可能なカメラであっても良い。
このような視野角等の画角が変更されるカメラの場合には、図２等に後述する本発明の物体検出方法の処理動作を説明するためのフローチャートにおけるカメラの設置条件の設定値を、変更の都度、変えることで可能である。なお、図１には、ユーザが画像処理装置１０２を操作するために用いる入力装置（例えば、マウス等のポインティングデバイス、キーボード、等、若しくは、専用の入力装置）を図示していない。しかし、このような入力装置を使用することは、極めて一般的なことであるので、省略している。

本発明の物体検出方法の実施形態を、更に、図１〜図６によって説明する。

図２は、本発明の物体検出方法の処理動作を説明するためのフローチャートである。また、図３は、本発明の物体検出方法の原理を説明するための模式図である。
図３において、３０１は予め背景メモリ１０５に格納されている背景画像、３０２はカメラ１０１から入力され、入力メモリ１０６に格納された入力画像、３０３は縮小画像メモリに格納された背景画像３０１の縮小画像、３０４は縮小画像メモリに格納された入力画像３０２の縮小画像、３０５は縮小入力画像３０４から縮小背景画像３０３の輝度を画素毎に差分をとった差分画像である。
背景画像３０１と入力画像３０２は、画素数が横６４０×縦４８０である。また縮小画像３０３と縮小画像３０４は、画素数が横３２０×縦２４０である。
差分画像３０５は、入力画像と同様に、各画素毎に２５６階調の輝度差がある画像として表されるが、図３では表示し難いので、ハッチングで模式的に示している。
３０６は、各画素毎に差分画像３０５の輝度値について、所定のしきい値によって２値化処理し、しきい値以下の画素の輝度値を“０”、しきい値以上の画素の輝度値を“２５５”（０〜２５５ビットの２５６階調の場合）に変換した二値化画像（ダブルハッチング部分は輝度値が“０”、その他は輝度値が“２５５”）である。
３０７は、二値化画像３０６中の輝度値が“２５５”のノイズ画像領域、３０８は、二値化画像３０６から所定の画素サイズ以下の大きさのノイズ画像領域３０７を除去したノイズ除去画像である。なお、ノイズ画像領域３０７とは、１画素〜数画素（所定の画素サイズ）で構成される画素のかたまりである。
３０９は、ノイズ除去後に残った輝度値が“２５５”の領域で検出物体として認識される画像領域である。
３１０は、ノイズ除去画像３０８で残った輝度値が“２５５”の画像に番号付を行ったラベリング画像で、図３中では、２か所のノイズ画像領域３０７と画像領域３０９のうち、画像領域３０９の１かたまりだけ残ったので、１番目の輝度値が“２５５”の画像領域として、“Ｎ１”が付されている。
３１１は、ラベリングされた画像のサイズを測定した物体認識画像である。例えば、ラベリングされた認識画像Ｎ１は、それぞれ、その画素の大きさを画素数で表現され格納される。また、認識された物体の大きさは、例えばこのように、物体の領域を囲む矩形をとって、矩形の水平方向の大きさＷと垂直方向画素数の大きさＨとする。この時、画素数のデータの他画面の４点の位置座標（例えば、（Ｗ_０，Ｈ_０））も、メモリに格納される。
なお、図３で示した各画像の大きさは、説明上、大きく示したり、小さく示しているが、実際の画像の大きさに、絶対的及び相対的に即したものではない。

図４は、本発明のカメラ設置条件の設定方法の一実施例を説明するための図である。１０１はカメラ、４０１はカメラ１０１の俯角、４０２はカメラ１０１の設置高さ（水平な地面４０４からの距離）、４０３はカメラ１０１の水平方向の視野角、４０４は監視領域内の水平な地面である。図４では、地面４０４に対して水平方向で、真横からカメラ１０１を見た場合（若しくは、カメラ１０１の光軸を垂直方向に切ったような場合）の図を模式的に表している。また、図４と後述する図５では、簡略化のために、カメラ１０１以外の構成（例えば、カメラ１０１を取付け及び支持するポール等の支持部、電源ケーブル、その他のアクセサリ、等）は図示していない。また、カメラ１０１が撮像する画像の視野の中でカメラ１０１から最も近い場所までの水平距離をＬ_Ｎで表わし、カメラ１０１から最も遠い場所までの水平距離をＬ_Ｆで表わしている。

図５は、本発明のカメラ設置条件の設定方法の一実施例を説明するための図である。図５は、図４が真横から見た場合の図に対して、真上から見た図で、点Ｐ１、Ｐ２、Ｐ３、及びＰ４で囲まれた四角形は、点Ｐ１−Ｐ２を結ぶ直線が図４の水平距離Ｌ_Ｆ、点Ｐ３−Ｐ４を結ぶ直線が図４の水平距離Ｌ_Ｎを表す。また５０１はカメラ１０１の視野角、５００はカメラ１０１の地面４０４の撮像領域であり、直線Ｚを通る断面が図４である。
なお、カメラの垂直方向の視野角５０１は、使用するカメラ１０１のアスペクト比（縦横比）によって決定される。例えば、縦３に対して横の比率の素子を使用する場合、カメラ１０１の水平方向の視野角４０３の７５％となる。なお、ズーム倍率は、撮像領域５０１内の距離Ｌ_Ｎ〜Ｌ_Ｆ間に存在する若しくは進入すると想定される被写体を、焦点距離内で撮像可能な所定の値に固定される。

図６は、カメラ１０１が撮像した監視領域の画像の一例をビデオモニタ１１５に表示した図である。６００はビデオモニタ１１５の表示画面に表示された画像（表示画像）、６０１は表示された画像６００を見ながらユーザが設定した物体検知範囲（斜線部）である。
後述する図８と同様に、１画面（１フレーム）の画像の画素数は、横（ｘ座標）６４０画素、縦（ｙ座標）４８０画素である。このとき、一番左上隅の画素の位置座標（ｘ，ｙ）が（０，０）、一番右上隅の画素の位置座標が（６４０，０）、一番左下隅の画素の位置座標が（０，４８０）、一番右下隅の画素の位置座標が（６４０，４８０）である。また例えば、位置座標の原点（０，０）は、一番画面の左上隅の画素である。

まず、図２の設置条件設定ステップ２０１では、カメラ１０１の設置条件として、カメラの俯角４０１、カメラの高さ４０２、カメラの水平方向の視野角４０３をユーザ若しくは管理者（以降、ユーザと称する）の指定によって設定する処理を実行する。ただし、図１の実施例のように、カメラ１０１が固定カメラである場合には、カメラを設置した時の設定値を図示しない入力装置を介して入力するか、若しくは、既に物体検出の処理プログラムに書込まれて、入力不要となっていても良い。

次に、物体検知範囲設定ステップ２０２では、ユーザの指定によって、図６に示すような物体検知範囲６０１を設定する処理を実行する。物体検知範囲とは、設定された範囲内についてだけ、物体検出処理を行う監視領域内の一部の領域をいう。
物体検知範囲６０１は、本例では多角形で表現したが、四角形、円形等であっても良い。多角形で指定する場合には、ユーザが検知範囲を構成する各頂点を指定する方法が一般的である。更に、物体検知範囲は複数の領域であっても良い。
物体検知範囲設定ステップ２０２は省略することも可能である。即ち、ユーザが物体検知範囲を設定しないで、次のステップに移った場合は、画面全体を物体検知範囲とする。若しくは、処理プログラム自体から物体検知範囲設定ステップ２０２を削除しても良い。この場合にも、画面全体を物体検知範囲とする。なお、ここで、画面全体とは、監視領域内を撮像するカメラ１０１が撮像できる最大の視野範囲であり、図６では表示画像６００がそれにあたる。

次に、実サイズ設定ステップ２０３では、ユーザの指定により、検出したい物体（被検出物体）の実サイズを設定する処理を実行する。例えば、立っている成人を検出したい場合には、幅（Ｗ）“０．５［ｍ］”、高さ（Ｈ）“１．７［ｍ］”と設定する。この場合、検出対象である人は、例えば、立っている成人であり、監視領域内を通過すると想定される成人の幅（Ｗ）と高さ（Ｈ）の平均値、等の代表値である。ここで、幅（Ｗ）は画面（表示画像６００）の横方向の大きさ、高さ（Ｈ）は、画面（表示画像６００）の方向の大きさである。
ただし、実際には、物体を検出する時には、設定された幅（Ｗ）と高さ（Ｈ）に対して自動的に最小値／最大値を算出するため、設定するサイズはおおまかで良い。例えば、幅（Ｗ）“０．５［ｍ］”、高さ（Ｈ）“１．７［ｍ］”の場合には、幅（Ｗ）“０．３〜０．８［ｍ］”、高さ（Ｈ）“１〜２．５［ｍ］”のように、所定の範囲を定める。このような所定の範囲は、例えば、監視領域内を通過すると想定される成人の幅（Ｗ）と高さ（Ｈ）の統計を取り、例えば、正規分布から標準偏差等のデータの散布度を求めて決定する。

次に、縮小係数算出ステップ２０４では、設置条件設定ステップ２０１、物体検知範囲設定ステップ２０２、及び実サイズ設定ステップ２０３で設定されたカメラの俯角４０１、カメラの高さ４０２、カメラの水平方向の視野角４０３、カメラの垂直方向の視野５０１、物体検知範囲６０１、検知物体の幅（Ｗ）、及び検知物体の高さ（Ｈ）から、画像の縮小係数を決定する（詳細は、後述する）処理を実行する。
そして背景画像作成ステップ２０５では、物体の存在しない背景画像の作成を行い、作成した画像を背景メモリ１０５に格納し、背景画像３０１とする処理を実行する。

入力画像取込ステップ２０６は、カメラ１０１が撮像した最新の画像を取込み、入力画像３０２として入力メモリ１０６に格納する処理を実行する。なお、カメラ１０１は、例えば、１［ｓ］間に３０フレームの画像を、撮像及び出力している。しかし、入力画像の取込は、これらカメラ１０１から出力された全ての画像ではない。例えば、６０フレームに１フレーム（若しくは２［ｓ］に１画像）、例えば、１００フレームに１フレームの画像を取込み、取込んだ画像を対象に画像処理を行う。
画像縮小ステップ２０７は、背景メモリ１０５に格納されている背景画像３０１と、入力メモリ１０６に格納されている入力画像３０２を、画像縮小係数算出ステップ２０４で得られた画像縮小係数を用いて縮小し、縮小した背景画像（縮小背景画像）３０３と縮小した入力画像（縮小入力画像）３０４を作成する。作成された縮小背景画像３０３と縮小入力画像３０４は、縮小画像メモリ１０７に格納される。

差分ステップ２０８では、縮小画像メモリ１０７に格納されている縮小背景画像３０１と縮小入力画像３０４の画素毎の差分を画面全体について算出し、差分画像３０５を作成する処理を実行する。
二値化ステップ２０９では、差分ステップ２０８で作成された差分画像３０５を画素毎にしきい値処理し、差分値がしきい値未満の画素を輝度値“０”、しきい値以上の画素を輝度値“２５５”（１画素の輝度値は“０”から“２５５”の２５６階調で表現）とした二値化画像３０６を作成する処理を画面全体について実行する。
この二値化画像３０６において、輝度値が“０”となった画素の領域は物体が検出されなかった領域で、輝度値が“２５５”になった画素の領域（画素のかたまり）が検出物体が有る（検出すべき物体の候補）と考えられる画素の領域である。

次に、ノイズ除去ステップ２１０では、ノイズ除去処理を行う。ノイズ除去処理とは、撮像される画素の領域の大きさによって、検出された物体（二値化画像において輝度値が２５５になった画素領域、即ち検出すべき物体の候補）を検出すべき物体か否かを決定する処理である。
二値化画像３０６において、輝度値が２５５になった検出物体が有ると考えられる画素のかたまりには、検出しなくても良い物体もあるかもしれない。例えば、人を検出したいのに、猫等の小動物や落葉等を検出してしまうことも考えられる。また、実際の画像撮像時に発生するノイズ等もある。このため、次に述べるノイズ除去の処理を実行して、不要な画素のかたまりを検出すべき物体の候補から除外する必要がある。
即ち、ノイズ除去ステップ２１０では、二値化処理ステップ２０９で得られた二値化画像３０６から、実サイズ設定ステップ２０３で設定された被検出物体の実サイズ（例えば、幅“０．３〜０．８［ｍ］”、高さ“１〜２．５［ｍ］”）に相当する画素数（幅と高さ）の範囲内に入っていない画素のかたまりをノイズ領域３０７として除去し、ノイズ除去画像３０８を作成する処理を実行する。

ラベリングステップ２１１では、ノイズ除去ステップ２１０で作成されたノイズ除去画像３０８を用いて物体の番号付けの処理を実行する。即ち、作成されたノイズ除去画像３０８の輝度値が２５５の画素のかたまりそれぞれについて、番号を付け（ラベリングし）、それぞれの画素のかたまりを区別できるようにする処理を実行する。即ち、それぞれの画素のかたまりに図３のラベリング画像３１０に示すように“Ｎ１”、等を関連づける処理を実行する（以降、例えば、２番目の画素のかたまりには“Ｎ２”、３番目の画素のかたまりには“Ｎ３”、‥‥‥）。番号付けの結果、ラベリング画像３１０が作成される。
ラベリングステップ２１１により、ノイズ除去画像３０８で得られた物体領域３０９に対して、例えば“Ｎ１”という番号が付けられる。

物体追跡ステップ２１２では、１フレーム前の物体と現在のフレームでの物体の関連付けを行い、物体の軌跡情報を取得する処理を実行する。
物体認識ステップ２１３では、ラベリングステップ２１１で得られた物体Ｎ１に対して、物体の幅（Ｗ）と物体の高さ（Ｈ）を算出し、算出した物体の幅と高さをもとに、認識したい物体か否かを判断し、認識したい物体のみを抽出する処理を実行する。
物体有無判断ステップ２１４では、物体認識処理ステップ２１３の判断結果を用いて認識物体の有無を判断する処理を実行する。物体有りと判断された場合には、警報ステップ２１５に移行する。
物体有りと判断する場合には、物体認識処理ステップ２１３で認識したい物体と判断された物体（例えば、物体Ｎ１）の画素のかたまりが、物体検知範囲設定ステップ２０２で設定された物体検知範囲内に有るか否かで判断する。もし、物体検知範囲が設定されていない場合には、画面全体が物体検知範囲となるので、物体認識処理ステップ２１３で認識したい物体と判断された物体（例えば、物体Ｎ１）の画素のかたまりは、すべて、物体有りと判断されることになる。
物体検知範囲に有るか否かを判断する場合には、物体認識処理ステップ２１３で認識したい物体と判断された物体の画素のかたまりの、カメラ１０１に一番近い画素が物体検知範囲に有るか否かで判断する。なぜなら、検出物体は地面（地表）に沿って移動すると想定しており、また、カメラが撮像した画像は、カメラからの距離は画面の下側ほど近くなるからである。

警報ステップ２１５では、外部等に警報の出力を行う。また物体無しと判断された場合には、背景画像更新ステップ２１６に移行する。
背景画像更新処理ステップ２１６では、背景画像の更新を行い、得られた画像を背景メモリ１０５に格納し、入力画像取込みステップ２０６に戻り、入力画像取込みステップ２０６以降の処理を再度実行する。
なお、警報ステップ２１５では、警報だけでなく、検出された物体を画像を、別のモニタに表示したり、保存したり、所定のクライアントに伝送しても良いし、それらの少なくともいずれか１つを実行しても良い。また、背景画像更新ステップ２１６は省略したり、ユーザが適宜手動で設定しても良い。また、検出された物体の表示、保存、若しくは、伝送する画像は、縮小前の画像であっても、縮小後の画像でも、他の形式の画像でも良い。
なお更に、本発明では、物体追跡ステップ２１２、物体認識ステップ２１３、警報ステップ２１５、及び背景画像更新ステップ２１６では、検出した物体については、従来の一般的な追跡処理を実行しても良い。

次に上記実施例で説明した縮小係数算出ステップ２０４の詳細について、図１〜図６の他に、更に、図７と図８を使って説明する。
図７は、本発明の画像縮小係数の算出方法の処理動作の一実施例を説明するためのフローチャートである。また図８は、本発明の画像縮小係数の算出方法の一実施例を説明するための図である。図８は、図６の物体検知範囲６０１を座標で表して説明している図である。６００は表示された画像、６０１は表示された画像６００を見ながらユーザが設定した物体検知範囲、８０１ａ、８０１ｂ、８０１ｃ、８０１ｄは物体検知範囲６０１内の各地点、８０２は物体検知範囲６０１の一番遠方の境界線（物体検知範囲最小Ｙを表す仮想ライン）、８０３ａ、８０３ｂ、８０３ｃ、８０３ｄは人物である。ここで、人物８０３ａ、８０３ｂ、８０３ｃ、８０３ｄは、画面の位置座標によって、人物の幅（Ｗ）や高さ（Ｈ）が相対的に変化することを示すために配置したサンプル画像である。

図７の物体検知範囲判定ステップ７０１では、物体検知範囲設定ステップ２０２で物体検知範囲６０１があるか否かを判定する。物体検知範囲１０１があった場合には、物体検知範囲内最小／最大位置算出ステップ７０２を実行し、最小Ｘ位置、最大Ｘ位置、最小Ｙ位置、最大Ｙ位置を得、物体の幅／高さ算出ステップ７０４に進む。また、物体検知範囲６０１が設定されていなかった場合には、全監視領域最小／最大位置算出ステップ７０３に進む。
最小Ｘ位置とは、物体検知範囲６０１内で、カメラ１０１からの一番遠い地点の画素のｘ座標であり、最小Ｙ位置とは、物体検知範囲６０１内で、カメラ１０１からの一番遠い地点の画素のｙ座標である。また、最大Ｘ位置とは、物体検知範囲６０１内で、カメラ１０１からの一番近い地点の画素のｘ座標であり、最大Ｙ位置とは、物体検知範囲６０１内で、カメラ１０１からの一番近い地点の画素のｙ座標である。

全監視領域最小／最大位置算出ステップ７０３では、最小Ｘ位置のｘ座標を“０”、最大Ｘ位置のｘ座標を“６４０”（＝画像サイズＷ_Ｍ）、最小Ｙ位置のｙ座標を“１３０”、最大Ｙ位置のｙ座標を“４８０”（＝画像サイズＨ_Ｍ）とする。そして、物体の幅／高さ算出ステップ７０４に進む。
ここで、最小Ｘ位置−最大Ｘ位置を画像サイズＷ_Ｍとしたのは、検出物体が地面（地表）に対して水平な位置に対しては遠近差が少なく、縮小係数を変更する要素があまりないからである。これに対して、最小Ｙ位置が“０”とせず、“１３０”としたのは、図８の場合において、監視領域の遠方の（地面が終わる）境界（図６若しくは図８の境界８０２参照）がｙ座標で１３０であることから決定している。即ち、物体検知範囲６０１が設定されていなくても、検出される物体若しくは検出しなければならない物体が、その境界より遠方（ｙ座標で“１３０”〜“０”）には存在しない（若しくは存在しても検出対象ではない）からである。

物体の幅／高さ算出ステップ７０４では、地点８０１ａ、８０１ｂ、８０１ｃ、及び８０１ｄにおいて、検出物体の実サイズ設定ステップ２０３で設定された大きさ、例えば、幅０．５ｍ、高さ１．７ｍを、画素数に変換し、最小／最大の幅／高さ地点選択ステップ７０５に進む。
画像上での物体の幅、高さ、面積、等を実座標での値に変換する方式については、例えば、特開平７−３７０６３号公報、特開２００５−０５７７４３号公報等に記載されているような一般的な手法を用いる。

最小／最大の幅／高さ地点選択ステップ７０５では、物体の幅／高さ算出ステップ７０４で得られた、地点８０１ａ、８０１ｂ、８０１ｃ、及び８０１ｄのそれぞれにおける幅（画素数）、高さ（画素数）の大小判定を行い、最も小さな幅及び高さを持つ地点を選択し、縮小係数算出ステップ７０６に進む。
図８の実施例の場合には、地点８０１ａ若しくは地点８０１ｃが選択される。例えば、地点８０１ａが選択され、最小幅Ｗ_０ｍｉｎと最大高さＨ_０ｍｉｎが決定される。

縮小係数算出ステップ７０６では、最小／最大幅・最小／最大高さ算出ステップ７０５で得られた最小幅Ｗ_０ｍｉｎ、最小高さＨ_０ｍｉｎを用いて、縮小係数幅Ｗ_Ｒ、縮小係数幅Ｈ_Ｒを算出する。
縮小係数幅／高さ算出ステップ７０６で用いる係数Ｋ_Ｓは、任意の数（例えば、“１．５”、“２”等）、検出可能な幅Ｗ_Ｄ、及び高さＨ_Ｄを画素数で設定する。
例えば、画像処理装置が検出可能な最小の幅を１０画素、検出可能な最小高さを２０画素とした場合に、選択された最も小さな幅及び高さを持つ地点での検出したい物体の最小幅Ｗ_０ｍｉｎが４０画素であれば、縮小係数を“２”とする。

縮小係数幅／高さ判定ステップ７０７では、縮小係数幅／高さ算出ステップ７０６で得られた、縮小係数幅Ｗ_Ｒ、縮小係数高さＨ_Ｒの大小判定を行う。
縮小係数幅Ｗ_Ｒが縮小係数高さＨ_Ｒより小さい場合には、縮小係数Ｗ決定ステップ７０８に進み、縮小係数幅Ｗ_Ｒが縮小係数高さＨ_Ｒより大きいか若しくは等しい場合には、縮小係数Ｈ決定ステップ７０９に進む。
縮小係数Ｗ決定ステップ７０８では、縮小係数Ｒを縮小係数幅Ｗ_Ｒに決定して処理を終了する（図２のステップ２０８に進む）。
縮小係数Ｈ決定ステップ７０９では、縮小係数Ｒを縮小係数高さＨ_Ｒに決定して処理を終了する（図２のステップ２０８に進む）。
このように、図７の実施例では、検知精度を保持するため、小さい方を選択する。

以上説明したように、本発明は、侵入物認識画像処理における画像縮小係数を算出する手法である。上記実施例によれば、設定された撮像条件、検知範囲、検出物体の実サイズ等のパラメータから、画像縮小係数を自動的に決定する。これにより、精度を落とすことなく、かつ最大限高速に処理することを可能とした。
即ち、上記実施例によれば、画像縮小係数を設置環境に応じて適切な値に自動的に設定するため、検知精度を保ったまま、高速に処理することができる。

上述の実施例では、背景画像と入力画像との差分処理（背景差分処理）を行ってから二値化処理を行った。しかし、背景差分処理ではなく、入力画像間で差分処理（フレーム間差分）を行ってから二値化処理を行って、物体検出を行っても良い。

なお、上述の実施例においては、視野角を設定するが、レンズの焦点距離、カメラのＣＣＤサイズから視野角を算出可能であるため、レンズの焦点距離、ＣＣＤサイズを設定する方法でも良い。
また、図４及び図５に示す実施例では、カメラ１０１と点Ｐ１、及びカメラ１０１とＰ２との距離、並びにカメラ１０１と点Ｐ３、及びカメラ１０１とＰ４との距離が共に等しい場合には、図７の縮小係数算出ステップ２０４において、横方向（ｘ座標）のパラメータは考慮する必要がない。従って、その場合には、ｘ座標について、処理を省略しても良い。
また更に、カメラ１０１の設置できる場所は、監視領域によっては制約があり、理想的な条件で設置できない。例えば、地面が水平であることは少ない。また更に、監視領域の地形によっては、カメラ１０１そのものを、その光軸を中心として回転させる必要がある。従って、図４と図５及びその説明では省略しているが、図７の処理では、カメラの画角の回転も考慮し、地面をできるだけ水平に撮像できるようにするために、カメラ１０１そのものを、その光軸を中心として回転させても良い。

また、上述の実施例において、監視領域を撮像するカメラはアナログの映像信号を出力するカメラであった。しかし、カメラはこれに限定するわけではなく、デジタルの映像信号を出力するカメラであっても良い。またカメラは１台ではなく、２台以上あっても良く、アナログ信号を出力するカメラとデジタル信号を出力するカメラが混在した監視システムでも良い。

更に、カメラから出力される映像信号がデジタル信号であっても、カメラから画像処理装置（映像処理装置）に伝送するために、さまざまな加工が施されているため、画像処理装置の画像入力Ｉ／Ｆは、Ａ／Ｄ変換こそする必要はしないが、画像処理装置の処理可能なフォーマットに変換するために必要である。

本発明の映像監視装置の一実施例の構成を示すブロック図。本発明の物体検出方法の処理動作を説明するためのフローチャート。本発明の物体検出方法の原理を説明するための模式図。本発明のカメラ設置条件の設定方法の一実施例を説明するための図。本発明のカメラ設置条件の設定方法の一実施例を説明するための図。本発明の物体検知範囲の設定方法の一実施例を説明するための図。本発明の画像縮小係数の算出方法の処理動作の一実施例を説明するためのフローチャート。本発明の画像縮小係数の算出方法の一実施例を説明するための図。

符号の説明

１０１：カメラ、１０２：画像処理装置１０２、１０３：画像処理Ｉ／Ｆ、１０４：画像メモリ、１０５：背景メモリ、１０６：入力メモリ、１０７：縮小画像メモリ、１０８：処理用メモリ、１０９：表示メモリ、１１０：プログラムメモリ、１１１：ワークメモリ、１１２：ＣＰＵ、１１３：画像出力Ｉ／Ｆ、１１４：データバス、１１５：ビデオモニタ、３０１：背景画像、３０２：入力画像、３０３：縮小背景画像、３０４：縮小入力画像、３０５：差分画像、３０６：二値化画像、３０７：ノイズ画像領域、３０８：ノイズ除去画像、３０９：検出物体として認識される画像領域、３１０：ラベリング画像、３１１：物体認識画像、４０１：カメラの俯角、４０２：カメラの設置高さ、４０３：カメラ水平方向の視野角、４０４：地面、５００：撮像領域、５０１：視野角、６００：監視領域の画像、６０１：物体検知範囲、８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ：物体検知範囲内の各地点、８０２：物体検知範囲の境界線、８０３ａ、８０３ｂ、８０３ｃ、８０３ｄ：人物。

Claims

監視領域内を撮像するカメラから入力された入力画像を画像処理によって検出し物体認識方法を用いて、該監視領域内を監視する映像処理装置において、
上記カメラの設置情報、上記監視領域内の物体検知範囲、及び検出したい物体の実サイズの入力を受け付ける手段と、入力された上記カメラの設置情報、上記監視領域内の物体検知範囲、及び検出したい物体の実サイズから縮小係数を算出する手段と、上記入力画像と背景画像を上記縮小係数で縮小して縮小入力画像と縮小背景画像を作成する手段と、上記縮小入力画像と上記縮小背景画像とを差分処理し差分画像を作成する手段と、上記差分画像を二値化処理し二値化画像を作成する手段と、上記二値化画像から物体を認識する手段を備えたことを特徴とする映像処理装置。
上記縮小係数を算出する手段は、上記物体検知範囲内の上記検出したい物体の最小の大きさになる地点を選択し、選択した最小地点の物体の画素のかたまりから上記縮小係数を算出することを特徴とする請求項１記載の映像処理装置。
監視領域内を撮像するカメラから入力された入力画像を画像処理によって検出し物体認識方法を用いて、該監視領域内を監視する映像処理方法において、
上記カメラの設置情報、上記監視領域内の物体検知範囲、及び検出したい物体の実サイズの入力を受け付けるステップと、入力された上記カメラの設置情報、上記監視領域内の物体検知範囲、及び検出したい物体の実サイズから縮小係数を算出するステップと、上記入力画像と背景画像を上記縮小係数で縮小して縮小入力画像と縮小背景画像を作成するステップと、上記縮小入力画像と上記縮小背景画像とを差分処理し差分画像を作成するステップと、上記差分画像を二値化処理し二値化画像を作成するステップと、上記二値化画像から物体を認識するステップを備えたことを特徴とする映像処理方法。
上記縮小係数を算出するステップは、上記物体検知範囲内の上記検出したい物体の最小の大きさになる地点を選択し、選択した最小地点の物体の画素のかたまりから上記縮小係数を算出することを特徴とする請求項３記載の映像処理方法。