JP3801137B2 - 侵入物体検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は侵入物体検出装置に関し、特に背景差分方式を用いた侵入物体の検出を行う侵入物体検出装置に関する。
【０００２】
【従来の技術】
従来よりカメラを用い、侵入者の監視、移動人物の計数、人物の在不在の判定、装置の操作者等の状態把握、人物認証のための人物領域切出しなどを行うことを目的としたシステムが知られている。
【０００３】
そのような目的のために、侵入者、移動人物などの人物抽出が行なわれる。人物抽出においては、背景差分方式が利用されることが多い。背景差分方式では、検出対象となる被写体が存在しない画像が基準画像として取得される。各時刻におけるカメラからの入力画像と基準画像との差分をもとに被写体抽出が行なわれる。
【０００４】
同様に、時間差のある２画像の間の差分によって被写体検出を行う方式として、時間差分方式がある。これは、２画像の間の動きのある物体を検出することを目的とするものである。
【０００５】
図３２は、時間差分方式での処理を説明するための図である。
図を参照して、検出対象となる撮影位置での時系列画像がカメラにより撮影される。時刻Ｔ１，Ｔ２，Ｔ３での画像が撮影されたと仮定すると、時刻Ｔ１での画像と時刻Ｔ２での画像との間の差分画像Ｔ２−Ｔ１、および時刻Ｔ２での画像と時刻Ｔ３での画像との間の差分画像Ｔ３−Ｔ２が求められる。この差分画像により、侵入物体の有無とその位置とを検出することができる。
【０００６】
図３３は、背景差分方式での処理を説明するための図である。
図を参照して、検出対象となる撮影位置での背景（「基準画像」ともいう。）Ｓが取得される。カメラにより時刻Ｔ１，Ｔ２，Ｔ３での画像が撮影され、基準画像Ｓと撮影された画像との差分画像Ｔ１−Ｓ，Ｔ２−Ｓ，Ｔ３−Ｓが求められる。この差分画像により、侵入物体の有無とその位置とを検出することができる。
【０００７】
背景差分方式は、動きを検出するのではなく基準画像に対する物体の侵入を検出する点で、時間差分方式とは異なる。また、背景差分方式は、比較的連続した時系列画像間のフレーム差分をとるのではなく、時間方向の連続性は要求されない２画像間でのフレーム差分をとる、といった点において、時間差分方式とは異なる。このように、背景差分方式と時間差分方式は性質が異なるものである。
【０００８】
しかしながら、背景差分方式には以下の問題点がある。
まず第１に、カメラの老朽化、風の影響などによって、基準画像と現時刻における撮影画像との間の撮影位置がずれてしまい、これにより誤検出が行われる可能性がある。
【０００９】
すなわち図３４左に示されるように、基準画像と現時刻における撮影画像との撮影位置にずれがない場合、正常に侵入物体を検出することができるが、図３４右に示されるように、基準画像と現時刻における撮影画像との撮影位置にずれがある場合、侵入物体が存在しない領域に差分値が検出されてしまう。これにより、この領域を侵入物体と誤検出してしまう問題がある。
【００１０】
また、図３５左に示されるように、基準画像と現時刻における撮影画像との間に照明条件（明るさ）の変化がない場合、正常に侵入物体を検出することができるが、図３５右に示されるように、基準画像と現時刻における撮影画像との間に照明条件の変化がある場合、照明条件の変動に起因する差分値によって侵入物体を誤検出する問題がある。
【００１１】
なお、本件に関連する画像処理技術が以下の特許文献１〜３に開示されている。
【００１２】
特許文献１は、局所領域ごとに正規化相関演算を行うことで侵入物体領域を特定する技術を開示している。しかし、この技術は位置ずれを考慮した侵入検出方法ではなく、照明変動のみが想定する誤差要因となっている。また、相関演算によって侵入検出を行っているため、複数の侵入物体がある場合にこれらを別々にかつ正確にシルエット検出するといった目的のためには侵入検出性能が十分でないという問題がある。
【００１３】
特許文献２は、ＴＶカメラを用いた監視方法及び監視システムを開示する。これは、動きベクトルによって被写体の動きを検出する技術である。しかしながらこの技術は、被写体の動きに対応したフレーミングを行なうことが目的であるため、移動物体領域を正確に切出すための技術ではない。
【００１４】
特許文献３は、監視および威嚇装置を開示する。これは、局所領域ごとに移動物体検出を行い、時間方向と位置方向の近隣局所領域内の移動検出結果情報を統合することで現時刻の移動物体領域を特定する技術である。
【００１５】
この文献には、シーンの変化の検出についての記載はあるが、変化が検出された場合の対応は照明変化があるか移動物体が存在するかのどちらかの判断といった粗い検出区分しか存在しない。この技術は、照明変動を移動物体と誤検出することを避けることが目的と考えられ、微小な位置ずれが存在する場合の移動物体領域の正確な切出しに関する技術ではない。
【００１６】
また、従来、動画撮影時の手ぶれ検出、および被写体を目的とした動きベクトル検出に関する技術はあったが、背景が動かないことを前提とした背景差分方式の侵入物体検出において、先だって背景の位置ずれを補正することは検討されていなかった。
【００１７】
【特許文献１】
特開平９−１１４９７７号公報
【００１８】
【特許文献２】
特開平７−２９８２４７号公報
【００１９】
【特許文献３】
特開平１１−１２０３６３号公報
【００２０】
【発明が解決しようとする課題】
この発明は上述の問題点を解決するためになされたものであり、検出精度を高めることができる侵入物体検出装置を提供することを目的としている。
【００２１】
【課題を解決するための手段】
上記目的を達成するためこの発明のある局面に従うと、侵入物体検出装置は、基準画像となる第１画像および該第１画像とは異なる第２画像を取得し、これら第１、第２画像間のずれを補正した上で両画像間の差異に基づいて侵入物体の検出を行う処理部を備える。処理部は、第１画像と前記第２画像の各々の画素を間引く処理を含む少なくとも２段階の縮小処理を行なってサイズの小さな縮小画像を作成し、各縮小画像の差分をとって、その差分値が予め設定したしきい値以上ある場合、その領域を侵入物体である可能性が高い領域として除外し、除外領域以外を第２画像中の侵入物体である可能性の低い領域として選択し、当該選択された領域に対して両画像間のずれを検出し、この検出結果に基づいて両画像間のずれを補正することを特徴とする。
【００２２】
この発明に従うと、基準画像と、基準画像とは異なる画像との間のずれを考慮して侵入物体を検出する侵入物体検出装置を提供することが可能となる。また、侵入物体である可能性の低い領域に対してずれが検出されるため、ずれの検出精度を高めることができる。
【００２５】
好ましくは処理部は、第１、第２画像の少なくとも一方を変形補正することにより、両画像間のずれを補正する。
【００２６】
この発明によると、基準画像および基準画像とは異なる画像の少なくとも一方の画像が変形補正されることでずれの補正が行なわれるため、処理の負担を軽減することができる。
【００２７】
好ましくは侵入物体検出装置は、駆動機構を備え、画像を撮影するカメラ部をさらに含み、処理部は、カメラ部から第１画像および前記第２画像を取得し、カメラ部は、処理部による第１画像の取得と第２画像の取得との間に駆動機構を駆動する。
【００２８】
この発明によると、駆動機構を備えたカメラによる撮影の誤差を有効に補正する侵入物体検出装置を提供することが可能となる。
【００２９】
【発明の実施の形態】
［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像処理システムの原理を説明するためのブロック図である。図を参照して、画像処理システムは、カメラ１０１と、カメラ１０１からの画像情報をそれぞれ入力する第１の処理部１０３および第２の処理部１０５と、第１の処理部１０３および第２の処理部１０５の出力を基に第３の処理を行なう第３の処理部１０７とを備えている。
【００３０】
この画像処理システムは、カメラ１０１を用いて、侵入者の監視、移動人物の計数、人物の在不在判定、装置の操作者などの状態把握、人物認証のための人物領域切出しなどを行うシステムである。
【００３１】
たとえば、リアルタイム性が重視される高速な処理は、第１の処理部（第１の装置）１０３で行ない、リアルタイム性を維持できるようにする。これに対して、リアルタイム性の重要度が比較的低い処理（たとえば、比較的時間のかかる処理）は第２の処理部（第２の装置）１０５において処理させるようにしている。
【００３２】
また、第１の処理部１０３および第２の処理部１０５の出力を基に、必要に応じて第３の処理部１０７によって処理が行なわれる。
【００３３】
このようなシステムの構成を採用することによって、以下に述べる効果がある。
【００３４】
・より処理時間のかかる処理を、第２の処理部（たとえば、より処理速度（および転送速度）の速いＣＰＵを持つ装置）で実行することにより、複数の処理を行なうシステムにおいて、トータルにおけるパフォーマンスの向上を図ることができる（全体処理時間の向上）。
【００３５】
・一部の処理（特に、処理速度の要求が低い処理）を他の装置によって処理させることにより、処理速度の速さが要求される処理の処理時間の増大を防止することができる（高速処理が必要とされる処理の処理時間重視、カメラＣＰＵなどに対して最低限要求される性能を低減）。
【００３６】
具体的には、第１の処理部で行なうリアルタイム性が重視される高速な処理として、時間差分による移動物体検知が挙げられる。第２の処理部で行なわれるリアルタイム性の重要度が比較的低い処理として、背景差分による侵入物体検知、侵入や移動が検知された物体に対する計数処理、詳細な物体認識処理、動作・姿勢の認識処理、認証処理などが挙げられる。ただし、状況やアプリケーションの種類によっては、背景差分の処理などがリアルタイム性が重視される処理である場合も考えられ、以上の記述は、各々の処理部で行われる処理を限定するものではない。
【００３７】
また具体的には、第１の処理部としてはカメラ内のＣＰＵなどが考えられ、第２の処理部として、画像処理用ＰＣ、カメラ内の別ＣＰＵ、別カメラ内のＣＰＵなどが考えられる。
【００３８】
ここでは特に、システムにおいて、位置ずれや照明変動の補正を伴う背景差分処理と、時間差分処理との両者を実行することを想定する。この場合、背景差分処理においては補正などのための長い処理時間が必要となる。そこで、この処理を他のＣＰＵ（第２の処理部）に任せてしまい、ある装置（カメラＣＰＵである第１の処理部）では高速に処理が可能な時間差分による移動検出を常に行う。このようにすることで、時間がかかる背景差分処理の実行中にカメラが捕らえた高速な移動物体は、時間差分により検出できる。一方、時間差分で検出できない低速な移動物体は背景差分処理で十分に検出できる（移動速度が遅いので、前回の背景差分処理が終わるまでに物体が撮影領域から出てしまうことはない）。
【００３９】
図２は、本発明の第１の実施の形態における画像処理システムの構成を示すブロック図である。この画像処理システムは、大きくはカメラ２００と、それに接続される外部ＰＣ２０８とから構成される。
【００４０】
図を参照してカメラ２００は、ＣＣＤ２０１と、ＣＣＤ２０１による撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３と、カメラ内ＣＰＵ２０４とを備えている。カメラ内ＣＰＵ２０４は、時間差分による移動物体検知を行う。カメラ内ＣＰＵ２０４は、駆動部２０３を制御し、ＣＣＤ２０１を介して所望の画像を得る画像撮影部２０５と、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う移動物体検出部２０７とを備えている。
【００４１】
移動物体検出部２０７で行われる処理は、比較的高速な処理であることが望ましく、例えば、特開平８−４６９２５号公報に開示されるような、画像信号の動き検出回路を用いることができる。
【００４２】
外部ＰＣ２０８は、背景差分処理による侵入物体検知（および背景差分処理を行うために必要な基準画像の取得、作成処理、物体が検知された場合の処理）を行う。外部ＰＣ２０８は、背景（基準画像）を取得するための背景取得処理部２０９と、背景差分処理を行うことで侵入物体を検出する侵入物体検出部２１１と、物体の侵入や移動が検出されたときにそれに対応した処理を行う処理部２１３とを備えている。
【００４３】
処理部２１３での処理の具体例として、人数計数、録画開始、警報装置作動、人物認証などが挙げられる。
【００４４】
背景差分による侵入検知のためには、基準となる背景画像を取得する必要があるため、背景取得処理部２０９はそのための処理を行う。この取得方法に本発明が依存するものではない。侵入物体が存在しないとわかっているある時刻の撮影画像を背景画像として設定してもよいし、他の従来の既知手法を用いてもよい。
【００４５】
なお、外部ＰＣ２０８は、ハードウェア的には、ＣＰＵ、メモリ、ハードディスクドライブ、外部インターフェイス装置、キーボードなどの入力装置、ディスプレイなどの表示装置から構成される。
【００４６】
図２においては、実線の矢印により、制御信号や画像データなどの情報の流れを示している。
【００４７】
図３は、画像処理システムの用いられる環境を説明するための図である。ここでは、１つのカメラが駆動部２０３により制御され、光軸向きやピントやズームを変えることで複数の位置を巡回監視することを想定する。複数の位置として、ここでは部屋の中の窓Ｗの位置と、ドアＤの位置と、金庫Ｓの位置とを監視することとする。
【００４８】
各監視位置において、一定時間ずつ移動物体が時間差分により検出し続けられる。同時に、各監視位置毎に予め取得しておいた侵入物体の無い基準画像との比較によって侵入物体の検出が行われる。
【００４９】
すなわち、図４を参照して、時刻Ｔ１において窓Ｗの位置が撮影され、時刻Ｔ２においてドアＤの位置が撮影され、時刻Ｔ３において金庫Ｓの位置が撮影される。これらの撮影場所を変更するシーケンスを繰り返すことで、３箇所が順に監視される（すなわち時刻Ｔ４においては、再び窓Ｗの位置が撮影される）。
【００５０】
また、図５および６を参照して、時刻ｔ１（＝Ｔ１）から時刻ｔ３までの間、ＣＣＤ２０１は窓Ｗの位置を撮影した状態となる。
【００５１】
ＣＣＤ２０１がこの窓Ｗの位置を撮影しながら、時刻ｔ１（＝Ｔ１）においてＣＣＤ２０１により得られた画像と基準画像とが用いられることで、外部ＰＣ２０８は背景差分を用いた侵入物体の検出を行なう。時刻ｔ１においてＣＣＤ２０１により得られた画像と、時刻ｔ２においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。時刻ｔ２においてＣＣＤ２０１により得られた画像と、時刻ｔ３においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。なお、時刻ｔ１（＝Ｔ１）＜ｔ２＜ｔ３＜ｔ４（＝Ｔ２）であるものとする。
【００５２】
時刻ｔ４（＝Ｔ２）から時刻ｔ６までの間、ＣＣＤ２０１はドアＤの位置を撮影した状態となる。
【００５３】
ＣＣＤ２０１がこのドアＤの位置を撮影しながら、時刻ｔ４（＝Ｔ２）においてＣＣＤ２０１により得られた画像と基準画像とが用いられることで、外部ＰＣ２０８は背景差分を用いた侵入物体の検出を行なう。時刻ｔ４においてＣＣＤ２０１により得られた画像と、時刻ｔ５においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。時刻ｔ５においてＣＣＤ２０１により得られた画像と、時刻ｔ６においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。なお、時刻ｔ４（＝Ｔ２）＜ｔ５＜ｔ６＜ｔ７（＝Ｔ３）であるものとする。
【００５４】
時刻ｔ７（＝Ｔ３）から時刻ｔ９までの間、ＣＣＤ２０１は金庫Ｓの位置を撮影した状態となる。
【００５５】
ＣＣＤ２０１がこの金庫Ｓの位置を撮影しながら、時刻ｔ７（＝Ｔ３）においてＣＣＤ２０１により得られた画像と基準画像とが用いられることで、外部ＰＣ２０８は背景差分を用いた侵入物体の検出を行なう。時刻ｔ７においてＣＣＤ２０１により得られた画像と、時刻ｔ８においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。時刻ｔ８においてＣＣＤ２０１により得られた画像と、時刻ｔ９においてＣＣＤ２０１より得られた画像とを用いて、カメラ内ＣＰＵ２０４は時間差分による侵入物体の検出を行なう。なお、時刻ｔ７（＝Ｔ３）＜ｔ８＜ｔ９＜ｔ１０（＝Ｔ４）であるものとする。
【００５６】
このようにして、監視などの目的でカメラを設置する場合、複数の位置を別々に巡回撮影することで、少数（例えば１台）のカメラで複数箇所を監視できるので、経済的である。
【００５７】
この場合、ある位置を撮影している間に、別の位置に人物の侵入がある可能性がある。この侵入者が侵入した後の移動速度が遅いあるいはほとんど静止している場合には、時間差分方式では侵入者の検知は行えない。このような速度の遅い侵入物体は、背景差分を用いて検知することが可能である。
【００５８】
現実的にはパン、チルト、ローテイト、ズームなどのカメラ制御における制御誤差や、老朽化、風などの影響によって、一旦カメラを移動させて、まったく同じ場所に戻すことは難しく、位置ずれが生じやすい。
【００５９】
図７は、巡回監視するためのカメラの構造の外観を示す図である。図を参照して、パン、チルトを行うときには、それぞれの軸の周りにカメラ全体（またはＣＣＤ）を回転させることで所望の位置にカメラの光軸を向けて巡回監視を行う。
【００６０】
なお、カメラの光軸方向の制御方法は前述のパン、チルト方法に限定されるものではない。例えば、カメラ全体を平行移動させたり、レンズと撮像素子の相対的位置関係を変化させたり、ミラーやプリズムなどを利用することでもＣＣＤの光軸方向の制御を行うことが可能である。また、ローテイト（光軸方向の回転）やズーミングによって撮影領域を変えることも考えられる。
【００６１】
カメラの種類や制御方法に応じて位置ずれの発生の仕方は異なる。以下に位置ずれによる誤差の例を示す。
【００６２】
図７左を参照して、チルト軸、パン軸のずれによる誤差、チルト、パン時のカメラの停止誤差が生じうる。また、図７右を参照して、軸受けにおける隙間やガタにより、誤差が生じうる。
【００６３】
その他、ズーム誤差や、老朽化や風等の影響によるカメラ全体の傾き等の誤差要因も存在する。
【００６４】
図８に示されるように、パン、チルトの構成に起因するあおり誤差が生じうる。すなわち、基準画像の中でどの部分を使うかによってずれが生じるのである。
【００６５】
図９に示されるように、レンズディストーションによる位置ずれ誤差も生じうる。また、図１０に示されるように、たとえばパンの回転誤差により、位置ずれとあおりが生じる。すなわち、図１０左に示されるように、カメラの停止誤差がない理想状態と、停止誤差がある場合とではＡに示されるずれが生じる。図１０右に示されるように、このずれを単にＣの平行移動によって補正してもあおりによるずれＢが生じているのである。
【００６６】
背景差分を行うためには、上記のような位置ずれを補正しなければならない。以下にその補正方法について説明する（ただし、位置ずれの補正方法によって、本発明の構成や効果が限定されるものではない）。
【００６７】
本実施の形態においては、基本的には、画像中の特徴点や局所的な特徴量を利用したマッチングによって位置ずれ検出を行なうこととする。位置ずれには、あおり歪み、レンズディストーションの影響など、様々な要因が含まれているが、これらを個別に検出することは現実的でない。このため、本実施の形態では、位置ずれをアフィン変換（特に、平行移動と回転）で近似して検出する。そして、この検出された位置ずれを示すアフィン変換に従って、補正対象となる元画像を変形補正することで位置ずれ補正を行なう。
【００６８】
ここで問題となるのは、背景差分方式による処理の目的は侵入物体の検出であるため、位置ずれは侵入物体が存在し得ることを考慮して検出しなければならないことである。
【００６９】
よって、本実施の形態では、侵入物体と思われる可能性が高い領域（侵入物体候補領域）をマッチング対象から除外して位置ずれ検出を行うこととする。
【００７０】
除外の方法について以下に説明する。
図１１を参照して、基準画像（基準背景フレーム）Ａと、撮影画像（処理対象フレーム）Ｂのそれぞれが６４０×４８０画素のサイズであると想定する。これらの画像の画素を間引くことで、６４×６４画素からなる基準明度画像と、同じく６４×６４画素からなる被補正明度画像を作成する。これらの明度画像をさらにＢＬ（Ｂｉ−Ｌｉｎｅａｒ）法により８×８画素のサイズに縮小することで、侵入物体候補領域を探すための縮小画像Ａ’およびＢ’を作成する。
【００７１】
この縮小画像Ａ’およびＢ’のフレーム間差分を取って、その差分値が予め低めに設定したしきい値Ｔｈ以上ある場合には、その領域を侵入物体エリア（侵入物体候補領域）としてカウントする。このカウント数があまりに多い場合にはしきい値不良としてしきい値を若干上げて、再び侵入物体エリアのカウントをとるという動作を繰り返す。この操作を繰り返すことにより、侵入物体エリアを５以内に絞りこむ。ただし、あまりにしきい値が高くなった場合には、除外処理を終了する。
【００７２】
また図１２に示すように、フレーム間の差分は、フレーム間で角度誤差がある場合を考慮し、縮小画像Ａ’での注目画素に対応する縮小画像Ｂ’での画素およびその上下左右の画素の計５画素に対してそれぞれ差分値を求め、最もその絶対値が小さいものを注目画素の差分値として選択する。
【００７３】
こうして得られる侵入物体候補領域に幅１のＤｉｌａｔｉｏｎ（膨張）処理を行い、最終的な侵入物体候補領域とする。
【００７４】
次にアフィン変換で近似して位置ずれの検出を行なうが、あらかじめ探索範囲（たとえば、平行移動は−４[ｐｉｘ]〜４[ｐｉｘ]、回転角度は−２[度]〜２[度]）を設定しておく。サンプリングした各条件（たとえば、平行移動は−４，−２，０，２，４[ｐｉｘ]、回転角度は−２，−１，０，１，２[度]）で、処理対象フレームに（縮小＋変形＋２次微分抽出）処理を行い、基準画像とのフレーム差分値（侵入物体候補領域は除外）の総和が最も少ない組合せの平行移動と回転角度条件を選択し、元の処理対象フレーム画像を変形補正する。
【００７５】
すなわち本実施の形態では、時系列画像中の各フレーム画像と基準画像とを用いて、まず侵入物体である可能性の低い領域の検出を行う。そして、この領域の情報のみを利用して各フレーム画像と基準画像との位置ずれ情報を検出する。検出された位置ずれ情報を利用して、背景差分方式により侵入物体領域を抽出する。
【００７６】
このような方法を用いることによって、位置ずれが生じた場合でも、従来の一般的な背景差分方式によって侵入物体を検知することができるという効果がある。また、位置ずれの検出無しに移動物体領域を検出するよりも、位置ずれを検出した後に移動物体領域を検出する方が、情報量が多い分だけ明らかに検出性能は優れる。
【００７７】
以下、各処理部の実行する処理をフローチャートを用いて説明する。
図１３は、カメラ内ＣＰＵ２０４の移動物体検出部２０７が行なう、時間差分方式による侵入物体検出処理を示すフローチャートである。
【００７８】
図を参照して、ステップＳ１０１で、時刻ｔ（ｘ−１）の画像が取得される。ステップＳ１０３で、次の時刻ｔ（ｘ）の画像が取得される。ステップＳ１０５で取得された両画像の差分を求めることで、変化のあった部分が取得される。ステップＳ１０７で変化のあった部分が侵入物体（移動物体）の存在する部分とされる。ステップＳ１０１〜Ｓ１０７の処理は所定期間ごとに繰り返し実行される。
【００７９】
図１４は、外部ＰＣ２０８の侵入物体検出部２１１が行なう処理を示すフローチャートである。
【００８０】
図を参照して、ステップＳ２０１で基準画像が取得される。ステップＳ２０３で、カメラ側から時系列画像（撮影画像）の入力があるかが判定され、なければ本ルーチンを終了し、あればステップＳ２０５でレジストレーション補正処理を行なう。この補正処理は、背景差分を求める前に、画像同士のずれを補正するものである。レジストレーション補正処理の詳しい内容は後述する。
【００８１】
ステップＳ２０７において、補正処理が行なわれた後の画像に対して背景差分処理が行なわれ、ステップＳ２０３へ戻る。
【００８２】
なお、ステップＳ２０１における基準画像の取得の方法の一例として、侵入物体がないとわかっている時刻の撮影画像を記憶しておき、この記憶された撮影画像をそのまま基準画像として用いることができる（ただし、前述の通り、背景画像の取得方法に本発明は依存するものではない）。
【００８３】
図１５は、図１４のレジストレーション補正処理（Ｓ２０５）の内容を示すフローチャートである。
【００８４】
図を参照して、ステップＳ３０１で基準画像と撮影画像とが入力され、ステップＳ３０３で両画像のマッチング処理が行なわれる。ステップＳ３０５においてマッチングの結果に基づき、必要であれば少なくともどちらかの画像を変形させる処理が行なわれる。
【００８５】
図１６は、図１５のマッチング処理（Ｓ３０３）の内容を示すフローチャートである。
【００８６】
図を参照して、ステップＳ４０１で基準画像と撮影画像（ここでは撮影画像を補正の対象とするため、「被補正画像」ともいう。）との明度画像が作成される。この処理は、図１１において説明したが、撮影画像および基準画像の画素を間引くことでそれぞれ６４×６４画素の画像を作り出す処理である。ステップＳ４０３で、明度画像を用いることで、侵入物体の存在する可能性の高い領域（侵入物体候補領域）を設定する処理が行なわれる。
【００８７】
ステップＳ４０５で、画像のずれ量を近似するデータ（この実施の形態ではアフィン変換のためのデータ）を算出する。
【００８８】
図１７は、図１６の侵入物体候補領域設定処理（Ｓ４０３）の内容を示すフローチャートである。
【００８９】
図を参照して、ステップＳ５０１でステップＳ４０１で作成された２つの明度画像から、それぞれＢＬ法により８×８画素の画像Ａ’およびＢ’を作成する（図１１参照）。ステップＳ５０３で、画像Ａ’およびＢ’のそれぞれ対応する画素の差分を取り、フレーム差分画像を作成する。なお、図１２で説明した通り、ここでは単に差分を取るのではなく、フレーム間で角度誤差がある場合を考慮した差分の取得を行なう。すなわち、画像Ａ’のある画素を注目画素とすると、画像Ｂ’での注目画素に対応する画素、およびその上下左右の計５画素に対してそれぞれ差分値が求められ、最も絶対値が小さいものが注目画素の差分値とされる。
【００９０】
ステップＳ５０５で、差分値の大きい画素から順に５以内の画素を選択する。ステップＳ５０７において、選択された画素に対し、幅１のＤｉｌａｔｉｏｎ処理が行なわれる。これにより侵入物体のある領域に余裕を持たせることができる。
【００９１】
図１８は、図１７の差分値の大きい方から５つ以内の画素を選択する処理を示すフローチャートである。
【００９２】
図を参照して、ステップＳ６０１で画像Ａ’とＢ’との８×８の各エリア（画素）の差分をしきい値と比較する。ステップＳ６０３でしきい値以上の差分を有するエリアを侵入物体エリアとする。ステップＳ６０５で、侵入物体エリアは５個以内であるかが判断され、ＹＥＳであれば図１７の処理に戻る。ＮＯであれば、侵入物体エリアの数を絞るため、しきい値を所定値増加させ、ステップＳ６０３の処理に戻る。
【００９３】
図１９は、図１６の近似データ算出処理（Ｓ４０５）の内容を示すフローチャートである。
【００９４】
図を参照して、ステップＳ７０１で、６４×６４画素の基準明度画像（図１１参照）を１／３に縮小した画像（「１／３縮小基準画像」という。）を作成する。ステップＳ７０３で、１／３縮小基準画像からエッジ画像（「基準エッジ画像」という。）を作成する。
【００９５】
ステップＳ７０５で、６４×６４画素の被補正明度画像（図１１参照）を１／３に縮小した画像（「１／３縮小被補正画像」という。）を作成する。ステップＳ７０７で、１／３縮小被補正画像からエッジ画像（「被補正エッジ画像」という。）を作成する。
【００９６】
ステップＳ７０９において、被補正エッジ画像と基準エッジ画像との相対的な位置関係を平行的にずらし、画像間の差分値を求める。ずらす量を変化させ、考え得るすべての平行移動ずれに対する画像間の差分値を求め、そのうち最小のものを求める。ただし前述の通り、侵入物体候補領域を用いてマッチングを行なっても意味がなく、かえって誤差を大きくするため、侵入物体候補領域は判断の対象から除外する。
【００９７】
ステップＳ７１１において、全ての平行移動量と回転角度の組合せに対して処理を終了したかが判定され、ＮＯであれば、被補正エッジ画像と基準エッジ画像との相対的な位置関係を回転させ、次の回転角度を対象としてステップＳ７０５からの処理を行なう。
【００９８】
ステップＳ７１１でＹＥＳであれば、最小差分値となる移動量と角度との組合せを選択し、これをアフィン変換の近似データとする。
【００９９】
図２０は、図１５の変形処理（Ｓ３０５）の内容を示すフローチャートである。
【０１００】
図を参照して、ステップＳ７５０で近似データを用いて被補正画像のアフィン変換が行なわれる。これにより、基準画像と撮影画像とのずれをなくすことができる。
【０１０１】
図２１は、図１４の背景差分処理（Ｓ２０７）の内容を示すフローチャートである。
【０１０２】
図を参照して、ステップＳ８０１で基準画像と変形後の被補正画像の画素ごとの差分値が算出される。ステップＳ８０３で、差分値の絶対値をしきい値Ｔｈを用いて２値化することで、基準画像に対して変化のあった画素を抽出する。ステップＳ８０５で、抽出された画素の塊に対し、面積の小さい塊はノイズであるものとして除去する。ステップＳ８０７で、抽出された画素の各塊を移動物体領域として切り出す。
【０１０３】
以上のように本実施の形態によると、外部ＰＣで処理時間のかかる処理を行いつつも、検出漏れがないように常時人物の検出を行うシステムを提供することが可能となる。
【０１０４】
また、時間差分方式と背景差分方式とを併用することによる、時間差分方式の処理速度低下を防止することができる。
【０１０５】
特に、本実施の形態のようにカメラが駆動され、撮影場所が頻繁に変わる状況においては、一度撮影した場所をもう一度撮影しようとしても、撮影の位置あわせの誤差が生じることが多く、その誤差の補正処理が必要となってくる場合が多い。本実施の形態におけるシステムは、そのような補正処理を行なうことによって増加する処理時間に有効に対処できる。
【０１０６】
なお、本実施の形態においては、特に、背景差分方式と時間差分方式とを異なる装置で分担処理することとしたが、以下のような変形も考えられる。すなわち、物体の侵入や移動の検出処理は時間的に連続（継続）してリアルタイム処理されることが好ましい処理である。これに対して、人数計数、動作理解、個人認証などのより高度な認識処理は、処理結果の情報がより重視され、リアルタイム性は比較的重視されない処理である。そこでこれらの処理を異なる処理装置で分担処理するのである。
【０１０７】
［第２の実施の形態］
図２２は、本発明の第２の実施の形態における画像処理システムの構成を示すブロック図である。この画像処理システムが第１の実施の形態におけるシステム（図２）と異なる点は、外部ＰＣでの処理の代わりにカメラ内の別ＣＰＵ（カメラ内ＣＰＵ２）が処理を行う点である。
【０１０８】
図を参照してカメラは、ＣＣＤ２０１と、ＣＣＤ２０１による撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３と、カメラ内ＣＰＵ１と、カメラ内ＣＰＵ１とは異なるカメラ内ＣＰＵ２とを備えている。カメラ内ＣＰＵ１は、時間差分による移動物体検知を行う。カメラ内ＣＰＵ１は、駆動部２０３を制御し、ＣＣＤ２０１を介して所望の画像を得る画像撮影部２０５と、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う移動物体検出部２０７とを備えている。
【０１０９】
カメラ内ＣＰＵ２は、背景差分処理による侵入物体検知（および背景差分処理を行うために必要な基準画像の取得、作成処理、物体が検知された場合の処理）を行う。カメラ内ＣＰＵ２は、背景（基準画像）を取得するための背景取得処理部２０９と、背景差分処理を行うことで侵入物体を検出する侵入物体検出部２１１と、物体の侵入や移動が検出されたときにそれに対応した処理を行う処理部２１３とを備えている。
【０１１０】
各処理部で行なわれる処理は、第１の実施の形態における処理と同じであるため、ここでの処理を繰返さない。
【０１１１】
本実施の形態によると、処理時間のかかる処理を行いつつも、検出漏れがないように常時人物の検出を行うことが可能なシステムを提供することが可能となる。
【０１１２】
また、時間差分方式と背景差分方式とを併用することによる、時間差分方式の処理速度低下を防止することができる。
【０１１３】
［第３の実施の形態］
図２３は、本発明の第３の実施の形態における画像処理システムの構成を示すブロック図である。この画像処理システムは、それぞれが時間差分による移動検知と背景差分による侵入検知とを行うことが可能な複数のカメラ２０４ａ，２０４ｂ，…と、カメラからの指示に基づいて物体の侵入または移動検出時に処理を行なう外部ＰＣ２０８とから構成される。あるカメラで移動を検知した場合、他のカメラに画像情報が転送され、物体の侵入が検知される。
【０１１４】
すなわち、図を参照して１台のカメラは、ＣＣＤ２０１ａまたは２０１ｂと、ＣＣＤ２０１ａまたは２０１ｂによる撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３ａまたは２０３ｂと、カメラ内ＣＰＵ２０４ａまたは２０４ｂとを備えている。カメラ内ＣＰＵ２０４ａ，２０４ｂは、時間差分による移動物体検知と背景差分処理による侵入物体検知とを行う。カメラ内ＣＰＵ２０４ａ，２０４ｂは、駆動部２０３ａ，２０３ｂを制御し、ＣＣＤ２０１ａ，２０１ｂを介して所望の画像を得る画像撮影部２０５ａ，２０５ｂと、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う移動物体検出部２０７ａ，２０７ｂとを備えている。
【０１１５】
カメラ内ＣＰＵ２０４ａ，２０４ｂはさらに、背景（基準画像）を取得するための背景取得処理部２０９ａ，２０９ｂと、背景差分処理を行うことで侵入物体を検出する侵入物体検出部２１１ａ，２１１ｂとを備えている。
【０１１６】
外部ＰＣ２０８は、物体の侵入や移動が検出されたときにそれに対応した処理を行う処理部２１３を備えている。
【０１１７】
図中矢印は情報や制御信号の流れを示している。点線で示される矢印は、カメラ単体での物体検出処理においては情報が流れるが、カメラ間通信時には情報が流れないものを示している。
【０１１８】
各処理部で行なわれる処理は、第１の実施の形態における処理と同じであるため、ここでの処理を繰返さない。
【０１１９】
本実施の形態においては、一台のカメラによる時間差分処理で物体の移動が検出されたときに、他のカメラの基準画像取得処理部２０９ａ，２０９ｂおよび侵入物体検出部２１１ａ，２１１ｂに画像情報が送られ、背景差分処理が行なわれる。これにより、時間差分方式と背景差分方式とを併用することによる、時間差分方式の処理速度低下を防止することができる。
【０１２０】
［第４の実施の形態］
図２４は、本発明の第４の実施の形態における画像処理システムの原理を説明するためのブロック図である。図を参照して、画像処理システムは、カメラ１０１と、カメラ１０１からの画像情報をそれぞれ入力する第１の処理部１５１および第２の処理部１５３とを備えている。
【０１２１】
この画像処理システムは、カメラ１０１を用いて、侵入者の監視、移動人物の計数、人物の在不在判定、装置の操作者などの状態把握、人物認証のための人物領域切出しなどを行うシステムである。
【０１２２】
たとえば、リアルタイム性が重視される高速な処理は、第１の処理部（第１の装置）１５１で行ない、リアルタイム性を維持できるようにする。これに対して、リアルタイム性の重要度が比較的低い処理であって、第１の処理部１５１での処理結果をトリガとして処理を開始する処理（比較的時間のかかる処理）は第２の処理部（第２の装置）１５３において処理させるようにしている。
【０１２３】
このようなシステムの構成を採用することによって、以下に述べる効果がある。
【０１２４】
・より処理時間のかかる処理を、第２の処理部（たとえば、より処理速度（および転送速度）の速いＣＰＵを持つ装置）で実行することにより、複数の処理を行なうシステムにおいて、トータルにおけるパフォーマンスの向上を図ることができる（全体処理時間の向上）。
【０１２５】
・一部の処理（特に、処理速度の要求が低い処理）を他の装置によって処理させることにより、処理速度の速さが要求される処理の処理時間の増大を防止することができる（高速処理が必要とされる処理の処理時間重視、カメラＣＰＵなどに対して最低限要求される性能を低減）。
【０１２６】
具体的には、第１の処理部で行なうリアルタイム性が重視される高速な処理として、時間差分による移動物体検知が挙げられる。第２の処理部で行なわれる、第１の処理部での処理結果に基づいて行なわれるリアルタイム性の重要度が比較的低い処理として、背景差分による侵入物体検知、侵入や移動が検知された物体に対する計数処理、詳細な物体認識処理、動作・姿勢の認識処理、認証処理などが挙げられる。ただし、状況やアプリケーションの種類によっては、背景差分の処理などがリアルタイム性が重視される処理である場合も考えられ、以上の記述は、各々の処理部で行われる処理を限定するものではない。
【０１２７】
また具体的には、第１の処理部としてはカメラ内のＣＰＵなどが考えられ、第２の処理部として、画像処理用ＰＣ、カメラ内の別ＣＰＵ、別カメラ内のＣＰＵなどが考えられる。
【０１２８】
図２５は、本実施の形態における画像処理システムを用いた計数システムの外観を示す図である。このシステムは、通路を通行する人を計数するものである。
【０１２９】
このシステムは、店内の売り場や歩行者用道路など、連続してかなり長い時間に渡って人が通路を通過しないような場所に用いられる。システムにおいては、簡易な処理によって侵入検知を行い、侵入を検知した場合にのみ画像などの情報を他のＣＰＵに転送し、この侵入物体が人であるかどうかの判定と、人であった場合にその数を計測する処理を行う。このようにシステムは、分散処理の形態をとる。
【０１３０】
カメラ内ＣＰＵで侵入検知と人判定との両方の処理を行った場合には、ＣＰＵの処理能力の問題から不都合が生じる。つまり、ある侵入が検知された場合に、この侵入領域の物体が人かどうかを判定している間はＣＰＵが占有されることになる。これによって、他の物体の侵入があってもこの侵入を検知できない。
【０１３１】
そこで本実施の形態では、絶え間無く連続的にリアルタイム処理されることが好ましい処理（侵入検知）をカメラ内ＣＰＵで行い、リアルタイムに処理されなくてもよい（ＣＰＵの空いている時間を使ってじっくり演算しても問題が少ない）処理（たとえば人数計数や人判定など）を他のＣＰＵで行うこととしている。
【０１３２】
カメラ１０１の撮像領域内に物体Ｐ１，Ｐ２が入ったかは、カメラ内ＣＰＵで時間差分方式で判定することとしている。
【０１３３】
図２６を参照して、高速な処理を可能とするために、本実施の形態においてはカメラ１０１が写す画像中に時間差分による侵入検知エリアＡＲを設け、この部分の画像のみを用いて時間差分方式による検出を行っている。
【０１３４】
ここでは侵入検知エリアＡＲは、帯状としている。この領域内の時間差分処理（差分算出＋しきい値処理＋侵入面積算出）によって侵入を検知する。侵入が検知された場合には、別ＣＰＵで人判定が行われ、人であった場合には計数値を１増やす処理が行なわれる。
【０１３５】
人であるかどうかの判定は、カメラＣＰＵから転送された侵入検知直後の取得画像をもとに、顔検出を利用して行なう方法、肌色検出を利用して行なう方法、侵入領域の形状情報を利用して行なう方法、頭部検出を利用して行なう方法など、既知の様々な手法を利用することができる。たとえば、特開２００１−３１９２１７号公報に記載の人体検知方法を利用することも可能である。
【０１３６】
この侵入検知エリアＡＲの位置は、画像中の人が入ってくると思われる位置と一致させることが望ましい。例えば、カメラ１０１のとらえる画像が図２５のように通路の位置の画像であれば、エリアＡＲは、図２６に示されるように通路の両方向から侵入する人物をとらえることができるように設定される。
【０１３７】
なお、ここでは時間差分を用いて侵入物体を検出することとしたが、背景差分を用いて検出を行ってもよく、高速に演算できるものであれば、侵入検知の手段は限定されない。
【０１３８】
図２７は本実施の形態における計数システムのハードウェア構成を示すブロック図である。第１の実施の形態と同様に、本システムはカメラ２００と、外部ＰＣ２０８とから構成される。
【０１３９】
図を参照してカメラは、ＣＣＤ２０１と、ＣＣＤ２０１による撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３と、カメラ内ＣＰＵ２０４とを備えている。カメラ内ＣＰＵ２０４は、時間差分による移動物体検知を行う。カメラ内ＣＰＵ２０４は、駆動部２０３を制御し、ＣＣＤ２０１を介して所望の画像を得る画像撮影部２０５と、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う侵入検知部２５１とを備えている。
【０１４０】
外部ＰＣ２０８は、カメラ２００から侵入物体の検知信号が送られてきたときに、それをトリガとして人であるかの判定と、人であった場合の人数のカウントを行う。外部ＰＣ２０８は、人物判定と計数を行なう人数計数部２５３と、その結果を集計する集計部２５５とを備えている。
【０１４１】
このような構成により本実施の形態では、処理時間のかかる処理を行いつつも、検出漏れがないように常時人物の検出を行うことが可能なシステムを提供することが可能となる。
【０１４２】
［第５の実施の形態］
図２８は、本発明の第５の実施の形態における画像処理システムを用いた計数システムの構成を示すブロック図である。このシステムが第４の実施の形態におけるシステム（図２７）と異なる点は、外部ＰＣでの処理の代わりにカメラ内の別ＣＰＵ（カメラ内ＣＰＵ２）が処理を行う点である。
【０１４３】
図を参照してカメラは、ＣＣＤ２０１と、ＣＣＤ２０１による撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３と、カメラ内ＣＰＵ１と、カメラ内ＣＰＵ１とは異なるカメラ内ＣＰＵ２とを備えている。カメラ内ＣＰＵ１は、時間差分による移動物体検知を行う。カメラ内ＣＰＵ１は、駆動部２０３を制御し、ＣＣＤ２０１を介して所望の画像を得る画像撮影部２０５と、時系列的に得られた画像を用いて時間差分による侵入物体の検知を行う侵入検知部２５１とを備えている。
【０１４４】
カメラ内ＣＰＵ２は、カメラ内ＣＰＵ１から侵入物体の検知信号が送られてきたときに、それをトリガとして人であるかの判定と、人であった場合の人数のカウントを行う。カメラ内ＣＰＵ２は、人物判定と計数を行なう人数計数部２５３と、その結果を集計する集計部２５５とを備えている。
【０１４５】
各処理部で行なわれる処理は、第４の実施の形態における処理と同じであるため、ここでの説明を繰返さない。
【０１４６】
本実施の形態によると、処理時間のかかる処理を行いつつも、検出漏れがないように常時人物の検出を行うことが可能なシステムを提供することが可能となる。
【０１４７】
［第６の実施の形態］
図２９は、本発明の第６の実施の形態における画像処理システムの構成を示すブロック図である。この画像処理システムは、それぞれが背景差分（または時間差分）による移動検知と、画像が人であることの識別と、人のカウントとを行うことが可能な複数のカメラ２０４ａ，２０４ｂ，…と、カメラからの指示に基づいて人数計数結果の集計を行なう外部ＰＣ２０８とから構成される。あるカメラで移動を検知した場合、他のカメラに画像情報が転送され人であるかどうかの識別と人のカウントが行なわれる。
【０１４８】
すなわち、図を参照して１台のカメラは、ＣＣＤ２０１ａまたは２０１ｂと、ＣＣＤ２０１ａまたは２０１ｂによる撮影位置やズームなどを制御するためのレンズやモータなどからなる駆動部２０３ａまたは２０３ｂと、カメラ内ＣＰＵ２０４ａまたは２０４ｂとを備えている。カメラ内ＣＰＵ２０４ａ，２０４ｂは、背景差分による移動物体検知と、他のカメラから侵入物体の検知信号が送られてきたときに、それをトリガとして人であるかの判定と、人であった場合の人数のカウントとを行う。カメラ内ＣＰＵ２０４ａ，２０４ｂは、駆動部２０３ａ，２０３ｂを制御し、ＣＣＤ２０１ａ，２０１ｂを介して所望の画像を得る画像撮影部２０５ａ，２０５ｂと、時系列的に得られた画像を用いて背景差分による侵入物体の検知を行う侵入検知部２５１ａ，２５１ｂとを備えている。
【０１４９】
カメラ内ＣＰＵ２０４ａ，２０４ｂはさらに、人物判定と計数を行なう人数計数部２５３ａ，２５３ｂを備えている。
【０１５０】
外部ＰＣ２０８は、人数計数結果を集計する集計部２５５を備えている。
図中矢印は情報や制御信号の流れを示している。点線で示される矢印は、カメラ単体での物体検出処理においては情報が流れるが、カメラ間通信時には情報が流れないものを示している。
【０１５１】
本実施の形態においては、一台のカメラによる背景差分処理で物体の移動が検出されたときに、他のカメラの人数計数部２５５ａ，２５５ｂに画像情報が送られ、人物判定と計数とが行なわれる。これにより、背景差分方式の処理速度低下を防止することができる。
【０１５２】
［その他］
なお、第１〜第３の実施の形態における処理部２１３（図２、２２、２３参照）、第４〜第６の実施の形態における人数計数部２５３、および集計部２５５（図２７〜２９参照）に代えて、人物認識部を設け、検出された人物の認識（誰が検出されたかの判断）を行なうようにしてもよい。
【０１５３】
図３０は、人物認識部の具体的な構成を示すブロック図である。
図を参照して、人物認識部は、画像を入力する入力部３０１と、画像の補正を行なう補正部３０３と、補正された画像から画像中の特徴量を抽出する抽出部３０５と、人物とその特徴を対応付けて記憶しておくパターンデータベース３１３と、抽出部３０５の出力に基づきパターンデータベース３１３に記憶されたデータを検索し、特徴の識別を行なう識別部３０７と、識別結果に基づき人物認識を行う認識部３０９と、認識結果を出力する出力部３１１とを備えている。
【０１５４】
また、上述の実施の形態におけるフローチャートの処理を実行するプログラムを提供することもできるし、そのプログラムをCD-ROM、フレキシブルディスク、ハードディスク、ROM、RAM、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。
【０１５５】
図３１は、そのようなプログラムを実行するコンピュータの構成を示すブロック図である。
【０１５６】
図を参照して、コンピュータは、装置全体の制御を行なうＣＰＵ５２１と、表示部５２４と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード５３０（またはモデムカード）と、キーボードやマウスなどにより構成される入力部５２３と、フレキシブルディスクドライブ５２５と、ＣＤ−ＲＯＭドライブ５２６と、ハードディスクドライブ５２７と、ＲＯＭ５２８と、ＲＡＭ５２９とを備えている。
【０１５７】
上述のフローチャートに示される、ＣＰＵ（コンピュータ）５２１を駆動させるためのプログラムは、フレキシブルディスク（Ｆ１）やＣＤ−ＲＯＭ（Ｃ−１）などの記録媒体に記録することができる。このプログラムは、前記記録媒体からＲＡＭその他の記録媒体に送られ、記録される。
【０１５８】
なお、上述の実施の形態における各種処理はソフトウエアにより行なってもよいし、ハードウエア回路を用いて行うようにしてもよい。
【０１５９】
また、上述の実施の形態のいくつかを任意に組み合わせた装置を提供することとしてもよい。
【０１６０】
なお、上述の実施の形態においては、カメラにより画像を入力することとしたが、これに代えてビデオ、ＤＶＤ、ハードディスクなどの記憶装置などからすでに録画された画像を入力するようにしてもよい。
【０１６１】
なお、第１の実施の形態では外部ＰＣ２０８が２つの画像を取得し、それらのずれを補正した上で、両画像間の差異に基づいて侵入物体の検出を行う処理部に相当する。
【０１６２】
第２の実施の形態では、カメラ内ＣＰＵ２が処理部に相当する。
第３の実施の形態では、カメラ内ＣＰＵ２０４ａまたは２０４ｂが処理部に相当する。
【０１６３】
第４の実施の形態では、カメラ内ＣＰＵ２０４が処理部に相当する。
第５の実施の形態では、カメラ内ＣＰＵ１が処理部に相当する。
【０１６４】
第６の実施の形態では、カメラ内ＣＰＵ２０４ａまたは２０４ｂが処理部に相当する。
【０１６５】
（発明の他の構成例）
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【０１６６】
（１） 基準画像を取得する第１の取得ステップと、
前記基準画像とは異なる画像を取得する第２の取得ステップと、
前記基準画像と、前記基準画像とは異なる画像との間のずれを検出するずれ検出ステップと、
前記基準画像と前記基準画像とは異なる画像とから、前記検出されたずれを考慮して侵入物体を検知する検知ステップとを備えた、侵入物体検出方法。
【０１６７】
（この構成に従うと、基準画像と、基準画像とは異なる画像との間のずれを考慮して侵入物体を検出する侵入物体検出方法を提供することが可能となる。）
（２） 前記ずれ検出ステップは、前記基準画像とは異なる画像中の侵入物体である可能性の低い領域を選択する選択ステップを含み、
前記選択された領域に対して求めたずれを検出されたずれとする、（１）に記載の侵入物体検出方法。
【０１６８】
（この構成によると、侵入物体である可能性の低い領域に対して求めたずれが検出されるため、ずれの検出精度を高めることができる。）
（３） 前記検知ステップは、
前記ずれ検出ステップで検出されたずれ情報を利用して、前記基準画像および前記基準画像とは異なる画像の少なくとも一方の画像を変形補正する補正ステップと、
前記変形補正終了後に、前記基準画像と前記基準画像とは異なる画像との差分値を算出する算出ステップとを含み、
前記差分値が大きな画素に基づいて侵入物体の存在する領域を検知する、（１）または（２）のいずれかに記載の侵入物体検出方法。
【０１６９】
（この構成によると、基準画像および基準画像とは異なる画像の少なくとも一方の画像が変形補正されることでずれの補正が行なわれるため、処理の負担を軽減することができる。）
（４） 前記第２の取得ステップは、駆動機構を備えたカメラで画像を取得し、
前記カメラは、基準画像とは異なる画像が取得される前に駆動が行なわれていることを特徴とする、（１）〜（３）のいずれかに記載の侵入物体検出方法。
【０１７０】
（この構成によると、駆動機構を備えたカメラによる撮影の誤差を有効に補正する侵入物体検出方法を提供することが可能となる。）
（５） 基準画像を取得する第１の取得ステップと、
前記基準画像とは異なる画像を取得する第２の取得ステップと、
前記基準画像と、前記基準画像とは異なる画像との間のずれを検出するずれ検出ステップと、
前記基準画像と前記基準画像とは異なる画像とから、前記検出されたずれを考慮して侵入物体を検知する検知ステップとをコンピュータに実行させる、侵入物体検出プログラム。
【０１７１】
（６） 上記プログラムを記録した、コンピュータ読取可能な記録媒体。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１７２】
【発明の効果】
以上のような本発明の構成によると、基準画像と、基準画像とは異なる画像との間のずれを考慮して侵入物体を検出する侵入物体検出装置を提供することが可能となる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態における画像処理システムの原理を説明するためのブロック図である。
【図２】 本発明の第１の実施の形態における画像処理システムの構成を示すブロック図である。
【図３】 画像処理システムの用いられる環境を説明するための図である。
【図４】 カメラの駆動例を説明するための図である。
【図５】 ある時刻におけるカメラの撮影画像を示す図である。
【図６】 図５に続く図である。
【図７】 巡回監視するためのカメラの構造の外観と撮影の誤差を示す図である。
【図８】 あおり誤差を説明するための図である。
【図９】 レンズディストーションによる位置ずれを説明するための図である。
【図１０】 パンの回転誤差を説明するための図である。
【図１１】 侵入物体と思われる可能性が高い領域（侵入物体候補領域）をマッチング対象から除外するための処理を示す図である。
【図１２】 縮小画像Ａ’と縮小画像Ｂ’とのフレーム間の差分を求める処理を説明するための図である。
【図１３】 カメラ内ＣＰＵ２０４の移動物体検出部２０７が行なう、時間差分方式による侵入物体検出処理を示すフローチャートである。
【図１４】 外部ＰＣ２０８の侵入物体検出部２１１が行なう処理を示すフローチャートである。
【図１５】 図１４のレジストレーション補正処理（Ｓ２０５）の内容を示すフローチャートである。
【図１６】 図１５のマッチング処理（Ｓ３０３）の内容を示すフローチャートである。
【図１７】 図１６の侵入可能性領域設定処理（Ｓ４０３）の内容を示すフローチャートである。
【図１８】 図１７の差分値の大きい方から５つ以内の画素を選択する処理（Ｓ５０５）を示すフローチャートである。
【図１９】 図１６の近似データ算出処理（Ｓ４０５）の内容を示すフローチャートである。
【図２０】 図１５の変形処理（Ｓ３０５）の内容を示すフローチャートである。
【図２１】 図１４の背景差分処理（Ｓ２０７）の内容を示すフローチャートである。
【図２２】 本発明の第２の実施の形態における画像処理システムの構成を示すブロック図である。
【図２３】 本発明の第３の実施の形態における画像処理システムの構成を示すブロック図である。
【図２４】 本発明の第４の実施の形態における画像処理システムの原理を説明するためのブロック図である。
【図２５】 第４の実施の形態における計数システムの外観を示す図である。
【図２６】 カメラ１０１が写す画像中の時間差分による侵入検知エリアＡＲを示す図である。
【図２７】 第４の実施の形態における計数システムのハードウェア構成を示すブロック図である。
【図２８】 本発明の第５の実施の形態における画像処理システムの構成を示すブロック図である。
【図２９】 本発明の第６の実施の形態における画像処理システムの構成を示すブロック図である。
【図３０】 人物認識部の具体的な構成を示すブロック図である。
【図３１】 プログラムを実行するコンピュータの構成を示すブロック図である。
【図３２】 時間差分方式での処理を説明するための図である。
【図３３】 背景差分方式での処理を説明するための図である。
【図３４】 基準画像と現時刻における撮影画像との間の撮影位置ずれによる誤検出を説明するための図である。
【図３５】 基準画像と現時刻における撮影画像との間に照明条件の変化がある場合の誤検出を説明するための図である。
【符号の説明】
１０１ カメラ、１０３〜１０７ 処理部、１５３ 処理部、２００ カメラ２０１ ＣＣＤ、２０３ 駆動部、２０４ カメラ内ＣＰＵ、２０５ 画像撮影部、２０７ 移動物体検出部、２０８ 外部ＰＣ、２０９ 基準画像取得処理部、２１１ 侵入物体検出部、２１３ 処理部、２５１ 侵入検知部、２５３ 人数計数部、２５５ 集計部。

Claims (3)

1. 基準画像となる第１画像および該第１画像とは異なる第２画像を取得し、これら第１、第２画像間のずれを補正した上で両画像間の差異に基づいて侵入物体の検出を行う処理部を備え、
   前記処理部は、前記第１画像と前記第２画像の各々の画素を間引く処理を含む少なくとも２段階の縮小処理を行なってサイズの小さな縮小画像を作成し、各縮小画像の差分をとって、その差分値が予め設定したしきい値以上ある場合、その領域を侵入物体である可能性が高い領域として除外し、前記除外領域以外を前記第２画像中の侵入物体である可能性の低い領域として選択し、当該選択された領域に対して両画像間のずれを検出し、この検出結果に基づいて両画像間のずれを補正することを特徴とする、侵入物体検出装置。
2. 前記処理部は、前記第１、第２画像の少なくとも一方を変形補正することにより、両画像間のずれを補正する、請求項１に記載の侵入物体検出装置。
3. 駆動機構を備え、画像を撮影するカメラ部をさらに含み、
   前記処理部は、前記カメラ部から前記第１画像および前記第２画像を取得し、
   前記カメラ部は、前記処理部による前記第１画像の取得と前記第２画像の取得との間に前記駆動機構を駆動する、請求項１または２に記載の侵入物体検出装置。

Images