JP4192719B2

JP4192719B2 - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP4192719B2
Application number: JP2003298066A
Authority: JP
Inventors: 宣浩綱島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-08-22
Filing date: 2003-08-22
Publication date: 2008-12-10
Anticipated expiration: 2023-08-22
Also published as: JP2005070985A; US20050074141A1

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、例えば、２枚の撮像画像を用いて、物体を検出することができるようにする画像処理装置および方法、並びにプログラムに関する。

ＩＴＶ（Industrial Television）カメラ等の撮像手段により撮像された撮像画像を処理する画像処理は、セキュリティシステムやマーケティングなどに応用されている。例えば、ＩＴＶカメラ等の撮像手段を用いた監視システムの画像処理などにおいては、撮像手段により撮像された撮像画像に対して、例えば、撮像画像のなかにいる（ある）人物や車などの物体を検出（抽出）する処理（画像処理）が行われる。

例えば、立ち入り禁止区域に不特定の人が立ち入らないように監視する場合、その立ち入り禁止区域が撮像可能な場所にＩＴＶカメラを設置する。そして、ＩＴＶカメラで撮像された撮像画像に対して、新たに出現（進入）してきた物体の有無を検出する画像処理が行われ、そのような物体が検出された場合には、アラームを発生する信号が出力される。

また、撮像画像中の物体を検出することができれば、その物体の移動方向も認識することができる。そのような物体の移動方向を検出する画像処理の利用例としては、次のようなマーケティングなどがある。デパートや駅などの人が多く出入りする場所にＩＴＶカメラ等を設置し、移動している人物を検出する（追跡する）。そして、移動している人物の移動方向のデータを利用して、人の流れの調査が行われる。

さて、上述の画像処理では、撮像画像中に新たに出現した（あるいは、移動した）物体をいかに検出するか（物体検出処理）が重要となってくる。

物体検出処理の基本的な処理としては、例えば、時間差分と背景差分とによる処理がある。時間差分による処理は、単位時間（例えば、１フレーム）前後の撮像画像を用いて、基準となる撮像画像中の輝度（明るさ）が変化した領域（以下、差異領域ともいう）を検出する処理（差異検出処理）である。一方、背景差分による処理では、一般的に撮像手段は、所定の位置に固定されて撮像されることを利用して、通常（正常）時の画像を予め撮像し、いわゆるテンプレートとして、所定の記憶装置に記憶しておく。そして、背景差分は、所定の記憶装置に記憶しておいた、テンプレートとなる画像（以下、テンプレート画像という）と、撮像画像とを比較して、基準となる撮像画像中の輝度（明るさ）が変化した領域を検出する。ここで、撮像している場所が屋外の場合、テンプレート画像を、例えば、朝、昼、夜などの周囲の明るさによって複数記憶し、撮像画像の明るさや時刻に応じて、比較するテンプレート画像を選択することも行われる。

例えば、時間差分による物体検出処理では、撮像画像中に物体が移動すると、移動後の撮像画像の、物体を映している領域（以下、物体領域という）の輝度が、物体が移動してくる前である単位時間前の撮像画像の、移動後の物体領域と同位置の領域の輝度から変化する。そこで、現在の時刻に撮像された撮像画像と、単位時間前に撮像された撮像画像との輝度の差異（フレーム間差分）を計算し、差異のある領域が、物体が存在する領域であると判定される。

しかし、単位時間前後の撮像画像において、輝度の差異が生じる場合は、物体が出現した場合と消失した場合の２通りがある。即ち、ある時刻ｉに撮像された撮像画像に物体が存在していなくて、その単位時間後（時刻ｉ＋１）の撮像画像の所定の領域に物体が移動して（あるいは新しく）出現すると、時刻ｉの撮像画像と単位時間後の（時刻ｉ＋１の）撮像画像には、差異が生じる。また、逆に、ある時刻ｉに撮像された撮像画像の所定の領域に物体が存在していて、その単位時間後（時刻ｉ＋１）に撮像画像の領域から物体が移動して消失すると、時刻ｉの撮像画像と単位時間後の（時刻ｉ＋１の）撮像画像には、差異が生じる。従って、差異のある領域に物体が存在すると判定するためには、撮像画像の差異領域が、物体が出現したことによる差異であるのか、物体が消失したことによる差異であるのかを判定する必要がある。

このような物体の出現または消失の判定方法としては、時系列に撮像された３枚の撮像画像を利用して、移動する物体を検出する処理が提案されている（例えば、特許文献１参照）。

特許文献１で提案されている手法を簡単に説明する。

なお、撮像画像中に物体が出現する場合と、撮像画像中において物体が移動する場合は、同様の処理で物体を検出することができるので、以下では、撮像画像中において移動する物体を検出するものとして説明する。

図１は、従来の、特許文献１で提案されている物体検出処理を説明する図である。

図１のフレーム画像（以下、単に画像という）ｆ（ｉ−１）は、時刻ｉ−１において撮像手段により撮像された画像である。また、画像ｆ（ｉ）は、時刻ｉにおいて撮像手段により撮像された画像である。同様に、画像ｆ（ｉ＋１）は、時刻ｉ＋１において撮像手段により撮像された画像である。ここで、時刻ｉ−１と時刻ｉ、および時刻ｉと時刻ｉ＋１との時間間隔は、フレーム間隔（１／３０秒）であるとする。また、撮像手段は、固定されているものとし、常に同一の位置（場所）を撮像しているものとする。

画像ｆ（ｉ−１）では、丸い物体Ｖが画像ｆ（ｉ−１）中の右上側に撮像され、背景領域ＢＫより、輝度値が低く（暗く）、丸い領域Ｖｓ（ｉ−１）として表示されている。従って、領域Ｖｓ（ｉ−１）が、画像ｆ（ｉ−１）での物体領域Ｖｓ（ｉ−１）である。なお、図１では、撮像手段は、モノクロのＩＴＶカメラとし、各画素の画素値として、例えば、８ビットの輝度値を出力するものとする。

画像ｆ（ｉ）では、物体Ｖが画像ｆ（ｉ）中の中央部に撮像され、その位置において背景領域ＢＫより暗い輝度値の物体領域Ｖｓ（ｉ）として表示されている。さらに、画像ｆ（ｉ＋１）では、物体Ｖが画像ｆ（ｉ＋１）中の左下側に撮像され、その位置において背景領域ＢＫより暗い輝度値の物体領域Ｖｓ（ｉ＋１）として表示されている。

従って、時刻ｉ−１乃至時刻ｉ＋１の間では、物体Ｖは、撮像されている領域の右上から左下方向に移動していることになる。

図１では、時刻ｉにおける画像ｆ（ｉ）において移動する物体Ｖを検出するものとする。

初めに、画像ｆ（ｉ−１）と画像ｆ（ｉ）について、対応する各画素の輝度値の差分（フレーム間差分）をとった差異画像ｆｄ（ｉ，ｉ−１）を作成する。また、同様に、画像ｆ（ｉ）と画像ｆ（ｉ＋１）について、対応する各画素の輝度値の差分（フレーム間差分）をとった差異画像ｆｄ（ｉ，ｉ＋１）を作成する。

差異画像ｆｄ（ｉ，ｉ−１）には、物体Ｖの出現と消失によって生じた２つの差異領域が存在する。即ち、画像ｆ（ｉ）に注目すると、画像ｆ（ｉ）において、物体Ｖが出現したことによる差異領域ｓ（ｉ，１）と、物体Ｖが消失したことによる差異領域ｓ（ｉ，２）とが存在する。

また、差異画像ｆｄ（ｉ，ｉ＋１）にも、物体Ｖの出現と消失によって生じた２つの差異領域が存在する。即ち、画像ｆ（ｉ）に注目すると、画像ｆ（ｉ）において、物体Ｖが出現したことによる差異領域ｓ（ｉ＋１，２）と、物体Ｖが消失したことによる差異領域ｓ（ｉ＋１，１）とが存在する。

従って、画像ｆ（ｉ）において、物体Ｖが出現した場合には、２つの差異画像ｆｄ（ｉ，ｉ−１）およびｆｄ（ｉ，ｉ＋１）のどちらにも、物体Ｖの出現による差異領域が生じていることになる。

そこで、２つの差異画像ｆｄ（ｉ，ｉ−１）およびｆｄ（ｉ，ｉ＋１）の交わりを計算する。そうすることにより、図１最下段に示すように、画像ｆ（ｉ）の物体領域Ｖｓ（ｉ）のみが求められる。

特開２０００−８２１４５号公報

しかしながら、上述した特許文献１で提案されている物体検出処理では、物体を検出するために３枚の撮像画像を必要とする。セキュリティシステムなどにおける画像処理では、通常、リアルタイムで、かつ、長時間継続して処理することが必要とされる。その場合、３枚の撮像画像を用いて処理するのでは、画像を記憶するメモリ量の容量大や、画像処理に要する時間の増大などの問題がある。

本発明は、このような状況に鑑みてなされたものであり、２枚の撮像画像を用いて、物体を検出することができるようにするものである。

本発明の画像処理装置は、画像を撮像する撮像手段から供給される第１の画像と第２の画像との差異がある差異領域を検出する差異領域検出手段と、差異領域の画像と、差異領域の周辺領域の画像との類似度を求め、その類似度に基づいて、差異領域が、物体が出現または消失したいずれの領域であるかを判定する判定手段とを備え、判定手段は、第１の画像の差異領域の画像、および第１の画像の差異領域の周辺領域の画像と第２の画像の差異領域の周辺領域の画像との合成画像の類似度である第１の類似度と、第２の画像の差異領域の画像、および合成画像の類似度である第２の類似度とを求め、第１と第２の類似度の大小関係に基づいて、差異領域が、物体が出現または消失したいずれの領域であるかを判定することを特徴とする。

差異領域検出手段は、第１および第２の画像の対応する画素どうしの画素値を比較する比較手段を有し、差異領域検出手段には、比較手段による比較結果に基づいて、差異領域を検出させるようにすることができる。

差異領域検出手段は、第１および第２の画像を複数のブロックに分割し、ブロック単位で第１および第２の画像を比較する比較手段を有し、差異領域検出手段には、比較手段による比較結果に基づいて、差異領域を検出させるようにすることができる。

差異領域検出手段は、第１および第２の画像の対応する画素どうしの比較を、比較対象の画素の周辺の領域の画素の画素値を用いて行う比較手段を有し、差異領域検出手段には、比較手段による比較結果に基づいて、差異領域を検出させるようにすることができる。

第１および第２の画像に対して、所定の補正処理を行う補正手段をさらに設け、差異領域検出手段には、所定の補正処理後の第１と第２の画像の差異がある差異領域を検出させるようにすることができる。

本発明の画像処理方法は、画像を撮像する撮像手段から供給される第１の画像と第２の画像との差異がある差異領域を検出する差異領域検出ステップと、差異領域の画像と、差異領域の周辺領域の画像との類似度を求め、その類似度に基づいて、差異領域が、物体が出現または消失したいずれの領域であるかを判定する判定ステップとを含み、判定ステップの処理は、第１の画像の差異領域の画像、および第１の画像の差異領域の周辺領域の画像と第２の画像の差異領域の周辺領域の画像との合成画像の類似度である第１の類似度と、第２の画像の差異領域の画像、および合成画像の類似度である第２の類似度とを求め、第１と第２の類似度の大小関係に基づいて、差異領域が、物体が出現または消失したいずれの領域であるかを判定することを特徴とする。

本発明のプログラムは、画像を撮像する撮像手段から供給される第１の画像と第２の画像との差異がある差異領域を検出する差異領域検出ステップと、差異領域の画像と、差異領域の周辺領域の画像との類似度を求め、その類似度に基づいて、差異領域が、物体が出現または消失したいずれの領域であるかを判定する判定ステップとを含み、判定ステップの処理は、第１の画像の差異領域の画像、および第１の画像の差異領域の周辺領域の画像と第２の画像の差異領域の周辺領域の画像との合成画像の類似度である第１の類似度と、第２の画像の差異領域の画像、および合成画像の類似度である第２の類似度とを求め、第１と第２の類似度の大小関係に基づいて、差異領域が、物体が出現または消失したいずれの領域であるかを判定する処理をコンピュータに実行させることを特徴とする。

本発明においては、画像を撮像する撮像手段から供給される第１の画像と第２の画像との差異がある差異領域が検出され、その差異領域の画像と、差異領域の周辺領域の画像との類似度を求め、その類似度に基づいて、差異領域が、物体が出現または消失したいずれの領域であるかが判定される。

画像処理装置は、独立した装置であっても良いし、１つの装置の画像処理を行うブロックであっても良い。

本発明によれば、２枚の撮像画像を用いて、物体を検出することができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の画像処理装置は、画像を撮像する撮像手段から供給される第１の画像と第２の画像との差異がある差異領域を検出する差異領域検出手段（例えば、図４の差異領域検出部１３）と、前記差異領域の画像と、前記差異領域の周辺領域の画像との類似度を求め、その類似度に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定する判定手段（例えば、図４の判定部１５）とを備え、前記判定手段は、前記第１の画像の前記差異領域の画像、および前記第１の画像の前記差異領域の周辺領域の画像と前記第２の画像の前記差異領域の周辺領域の画像との合成画像の類似度である第１の類似度と、前記第２の画像の前記差異領域の画像、および前記合成画像の類似度である第２の類似度とを求め、前記第１と第２の類似度の大小関係に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定することを特徴とする。

請求項２に記載の画像処理装置は、前記差異領域検出手段は、前記第１および第２の画像の対応する画素どうしの画素値を比較する比較手段（例えば、図４の差異計算部２１）を有し、前記差異領域検出手段は、前記比較手段による比較結果に基づいて、前記差異領域を検出することを特徴とする。

請求項５に記載の画像処理装置は、前記第１および第２の画像に対して、所定の補正処理を行う補正手段（例えば、図６の画像補正部３１）をさらに備え、前記差異領域検出手段は、前記所定の補正処理後の前記第１と第２の画像の差異がある差異領域を検出することを特徴とする。

請求項６に記載の画像処理方法は、画像を撮像する撮像手段から供給される第１の画像と第２の画像との差異がある差異領域を検出する差異領域検出ステップ（例えば、図５のステップＳ１とＳ２）と、前記差異領域の画像と、前記差異領域の周辺領域の画像との類似度を求め、その類似度に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定する判定ステップ（例えば、図５のステップＳ６）とを含み、前記判定ステップの処理は、前記第１の画像の前記差異領域の画像、および前記第１の画像の前記差異領域の周辺領域の画像と前記第２の画像の前記差異領域の周辺領域の画像との合成画像の類似度である第１の類似度と、前記第２の画像の前記差異領域の画像、および前記合成画像の類似度である第２の類似度とを求め、前記第１と第２の類似度の大小関係に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定することを特徴とする。

請求項７に記載のプログラムの各ステップの具体例も、請求項６に記載の画像処理方法の各ステップの発明の実施の形態における具体例と同様である。

初めに、図２と図３を参照して、本発明の物体検出処理の概要を説明する。なお、図２において、図１における場合と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。

図２は、２枚の画像ｆ（ｉ）とｆ（ｉ−１）を用いて、上述した図１の場合と同様に、画像ｆ（ｉ）において移動する物体を検出する原理を説明する図である。ここで、時刻ｉ乃至時刻ｉ＋１の時間では、物体Ｖは、撮像されている領域（空間）の右上から中央部に移動している。

初めに、図１における場合と同様に、画像ｆ（ｉ−１）と画像ｆ（ｉ）とで、対応する各画素の輝度値の差分（フレーム間差分）をとった差異画像ｆｄ（ｉ，ｉ−１）を作成する。

ここで、差異画像ｆｄ（ｉ，ｉ−１）には、図１における場合と同様に、１つの物体Ｖに対して、物体Ｖの出現と消失によって生じた２つの差異領域が存在する。即ち、画像ｆ（ｉ）において、物体Ｖが出現したことによる差異領域ｓ（ｉ，１）と、物体Ｖが消失したことによる差異領域ｓ（ｉ，２）とが存在する。

差異領域ｓ（ｉ，１）が画像ｆ（ｉ）において、物体Ｖが出現したことによる領域であるので、物体検出処理の最終目的は、差異領域ｓ（ｉ，１）を物体領域Ｖｓ（ｉ）として検出（抽出）し、差異領域ｓ（ｉ，２）を物体領域Ｖｓ（ｉ）ではないとして消去することである。

そのため、差異領域ｓ（ｉ，１）とｓ（ｉ，２）のそれぞれについて、次の処理を行う。なお、以下では、差異領域ｓ（ｉ，１）について処理を行う例を説明する。

画像ｆ（ｉ−１）とｆ（ｉ）のそれぞれに対して、差異画像ｆｄ（ｉ，ｉ−１）における差異領域ｓ（ｉ，１）の位置に対応する領域を設定し、それぞれ画像領域ｒ（ｉ−１，１）とｒ（ｉ，１）とする。

さらに、画像領域ｒ（ｉ−１，１）に対して、周辺領域ｒｐ（ｉ−１，１）を設定する。ここで、周辺領域ｒｐ（ｉ−１，１）は、例えば、画像領域ｒ（ｉ−１，１）に外接する矩形領域を、その上下左右方向に予め設定しておいたＣ１画素ずつ拡張した領域の輪郭と、画像領域ｒ（ｉ−１，１）の輪郭とで囲まれる領域とされる。同様に、画像領域ｒ（ｉ，１）に対しても、周辺領域ｒｐ（ｉ，１）を設定する。

ここで、画像ｆ（ｉ）において差異領域ｓ（ｉ，１）が、物体Ｖの出現により生じていると仮定する。その場合、画像ｆ（ｉ−１）における画像領域ｒ（ｉ−１，１）は、背景領域ＢＫの一部（以下、単に背景領域ＢＫという）であり、画像ｆ（ｉ）における画像領域ｒ（ｉ，１）は、物体領域Ｖｓ（ｉ）となる。

一方、画像ｆ（ｉ−１）における周辺領域ｒｐ（ｉ−１，１）と画像ｆ（ｉ）における周辺領域ｒｐ（ｉ，１）は、ともに背景領域ＢＫとなる。

従って、画像領域ｒ（ｉ−１，１）とその周辺領域ｒｐ（ｉ−１，１）とは、ともに背景領域ＢＫであるので、画像領域ｒ（ｉ−１，１）と周辺領域ｒｐ（ｉ−１，１）の画像領域の類似度は、高くなる。即ち、画像領域ｒ（ｉ−１，１）と周辺領域ｒｐ（ｉ−１，１）とは、似たような画像となっている。

一方、画像領域ｒ（ｉ，１）とその周辺領域ｒｐ（ｉ，１）とは、画像領域ｒ（ｉ，１）が物体領域Ｖｓ（ｉ）で、周辺領域ｒｐ（ｉ，１）が背景領域ＢＫとなるので、画像領域ｒ（ｉ，１）とその周辺領域ｒｐ（ｉ，１）の画像領域の類似度は、低くなる。

よって、仮定が真の場合、即ち、画像ｆ（ｉ）において差異領域ｓ（ｉ，１）が、物体Ｖの出現により生じている場合、画像領域ｒ（ｉ−１，１）と周辺領域ｒｐ（ｉ−１，１）の画像領域の類似度は、画像領域ｒ（ｉ，１）と周辺領域ｒｐ（ｉ，１）の画像領域の類似度より大となっているはずである。

逆に、画像領域ｒ（ｉ−１，１）と周辺領域ｒｐ（ｉ−１，１）の画像領域の類似度が、画像領域ｒ（ｉ，１）と周辺領域ｒｐ（ｉ，１）の画像領域の類似度より小となっている場合、仮定が偽である、即ち、画像ｆ（ｉ）において差異領域ｓ（ｉ，１）が、物体Ｖの消失により生じているということになる。

そこで、画像領域ｒ（ｉ−１，１）と周辺領域ｒｐ（ｉ−１，１）、および画像領域ｒ（ｉ，１）と周辺領域ｒｐ（ｉ，１）の両者の画像領域の類似度を計算し、両者の類似度の大小関係を判定（比較）することにより、画像ｆ（ｉ）において差異領域ｓ（ｉ，１）が、物体Ｖの出現により生じているか否かを判定する。

次に、画像領域の類似度の判定方法（計算方法）について説明する。

画像領域の類似度の判定方法については、幾つかの手法がある。例えば、画像領域の輝度ヒストグラムを用いる手法や、テクスチャ解析を用いる手法である。ここでは、輝度ヒストグラムを用いる手法を採用することとして、その手法について説明する。なお、テクスチャ解析を用いる手法については、例えば、「長谷川修ら、“学習によるシーン理解の提案とその基礎実験”，第３回画像センシングシンポジウム，ｐｐ．１２９−１３２（１９９７．０６）」などにその説明がある。

画像領域の輝度ヒストグラムを用いて類似度の判定をする手法にも、いくつかの手法がある。例えば、ヒストグラムの各要素の、差分絶対値和を求める方法、二乗誤差を求める方法、または内積を用いる方法などである。ここでは、ヒストグラムの各要素の内積を用いる方法を採用することとして、画像領域の類似度の判定方法を説明する。

初めに、図２の、画像領域ｒ（ｉ−１，１）、周辺領域ｒｐ（ｉ−１，１）、画像領域ｒ（ｉ，１）、および周辺領域ｒｐ（ｉ，１）の４つの領域について、輝度ヒストグラムを作成する。

図３は、画像領域ｒ（ｉ−１，１）、周辺領域ｒｐ（ｉ−１，１）、画像領域ｒ（ｉ，１）、および周辺領域ｒｐ（ｉ，１）の４つの領域の輝度ヒストグラムを示している。

図３において、左上のヒストグラムは、画像領域ｒ（ｉ，１）の輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）を示している。右上のヒストグラムは、周辺領域ｒｐ（ｉ，１）の輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）を示している。左下のヒストグラムは、画像領域ｒ（ｉ−１，１）の輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ−１，１）を示している。右下のヒストグラムは、周辺領域ｒｐ（ｉ−１，１）の輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ−１，１）を示している。ここで、輝度ヒストグラムの横軸は、８ビット（０乃至２５５）で表される各画素の輝度値（画素値）であり、縦軸は、各輝度の画素の頻度（度数）を表している。

図２の画像ｆ（ｉ）では、画像領域ｒ（ｉ，１）が物体領域Ｖｓ（ｉ）であるので、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）は、図３左上に示すように、輝度が暗い（輝度値が小さい）画素の頻度が大となる。

一方、その他の３つの輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）、ｈｉｓｔ＿ｒ（ｉ−１，１）、およびｈｉｓｔ＿ｒｐ（ｉ−１，１）は、周辺領域ｒｐ（ｉ，１）、画像領域ｒ（ｉ−１，１）、および周辺領域ｒｐ（ｉ−１，１）それぞれが背景領域ＢＫであるので、いずれも、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）よりも輝度が明るい（輝度値が大きい）画素の頻度が大となる。さらに、３つの輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）、ｈｉｓｔ＿ｒ（ｉ−１，１）、およびｈｉｓｔ＿ｒｐ（ｉ−１，１）は、いずれも、同様の輝度値の頻度が大となる。

さて、ここで、画像領域の類似度の判定方法として、ヒストグラムの各要素の内積を用いる方法を採用することとしたので、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）の内積値Ｂ１と、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ−１，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ−１，１）の内積値Ｂ２を計算する。内積値Ｂ１とＢ２は、それぞれ式（１）と式（２）のように書ける。

Ｂ１＝ｈｉｓｔ＿ｒ（ｉ，１）・ｈｉｓｔ＿ｒｐ（ｉ，１）
＝Σ ｈｉｓｔ＿ｒ（ｉ，１）（Ｐ（ｊ））×ｈｉｓｔ＿ｒｐ（ｉ，１）（P（ｊ））
・・・・・・・・・・・・・・（１）

ここで、ｈｉｓｔ＿ｒ（ｉ，１）（Ｐ（ｊ））は、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）における輝度値ｊのときの頻度（度数）を表し、ｈｉｓｔ＿ｒｐ（ｉ，１）（P（ｊ））は、輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）における輝度値ｊのときの頻度（度数）を表す。また、Σは、輝度値ｊ＝０乃至２５５のサメーションを表す。

Ｂ２＝ｈｉｓｔ＿ｒ（ｉ−１，１）・ｈｉｓｔ＿ｒｐ（ｉ−１，１）
＝Σ ｈｉｓｔ＿ｒ（ｉ−１，１）（Ｐ（ｊ））×ｈｉｓｔ＿ｒｐ（ｉ−１，１）（P（ｊ））
・・・・・・・・・・・・・・（２）

ここで、ｈｉｓｔ＿ｒ（ｉ−１，１）（Ｐ（ｊ））は、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ−１，１）における輝度値ｊのときの頻度（度数）を表し、ｈｉｓｔ＿ｒｐ（ｉ−１，１）（P（ｊ））は、輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ−１，１）における輝度値ｊのときの頻度（度数）を表す。また、Σは、輝度値ｊ＝０乃至２５５のサメーションを表す。

そして、仮定が真の場合、即ち、画像ｆ（ｉ）において差異領域ｓ（ｉ，１）が、物体Ｖの出現により生じている場合、内積値B１とB２の大小関係としては、次式（３）が成り立つ。

B１≦B２
・・・・・・・・・・・・・・（３）

これは、図３に示すように、式（１）の内積値B１を求めるのに乗算される輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）は、互いに頻度の多い輝度値の分布が一致していないのに対して、式（２）の内積値B２を求めるのに乗算される輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ−１，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ−１，１）は、互いに頻度の多い輝度値の分布が一致しているからである。

逆に、仮定が偽の場合、即ち、画像ｆ（ｉ）において差異領域ｓ（ｉ，１）が、物体Ｖの消失により生じている場合、内積値B１とB２の大小関係としては、次式（４）が成り立つ。

B１＞B２
・・・・・・・・・・・・・・（４）

図２の差異領域ｓ（ｉ，１）に対しては、式（３）が成り立つので、画像ｆ（ｉ）において、差異領域ｓ（ｉ，１）は、物体領域Ｖｓ（ｉ）であると判定される（検出される）。

同様にして、図２の差異領域ｓ（ｉ，２）についても上述の輝度ヒストグラムによる判定を行うと、差異領域ｓ（ｉ，２）に対しては、式（４）が成り立つので、画像ｆ（ｉ）において、差異領域ｓ（ｉ，２）は、背景領域ＢＫであると判定される。

以上のようにして、２枚の画像ｆ（ｉ）とｆ（ｉ−１）から差異画像ｆｄ（ｉ，ｉ−１）を作成し、画像ｆ（ｉ）において出現した物体Ｖｓ（ｉ）を検出することができる。ここで、画像ｆ（ｉ）において出現した物体Ｖｓ（ｉ）を検出するのと同様にして、画像ｆ（ｉ）において消失した物体Ｖｓ（ｉ）を検出することもできる。即ち、画像ｆ（ｉ）において出現した物体Ｖｓ（ｉ）と消失した物体Ｖｓ（ｉ）とを区別して検出することができる。

なお、画像領域の輝度ヒストグラムを用いて類似度の判定をする手法としては、その他、例えば、ヒストグラムの各要素の差分絶対値和を求める方法を採用することができる。仮定が真の場合、即ち、画像ｆ（ｉ）において差異領域ｓ（ｉ，１）が、物体Ｖの出現により生じている場合、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）の輝度値ごとの頻度の差分絶対値和は、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ−１，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ−１，１）の輝度値ごとの頻度の差分絶対値和よりも大となる。なぜなら、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ−１，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ−１，１）は、ほぼ同じ輝度値の頻度が大となるので、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ−１，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ−１，１）の各輝度値の頻度は相殺され、その差分絶対値は、小さくなるからである。一方、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）は、異なる輝度値の頻度が大となるので、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）の各輝度値の頻度は相殺されず、その差分絶対値は、大きくなるからである。

さらに、例えば、頻度が最大となる輝度値を比較することにより、画像領域の類似度を判定してもよい。すなわち、本実施の形態では、画像領域ｒ（ｉ−１，１）、周辺領域ｒｐ（ｉ−１，１）、画像領域ｒ（ｉ，１）、および周辺領域ｒｐ（ｉ，１）の４つの領域の類似度の判定方法については、上述した例は、一例であり、その他の方法も採用することができる。

以上の処理は、撮像画像中を移動する物体Ｖを検出する例で説明したが、ある時刻ｉに撮像画像に存在しなかった物体Ｖが、次の時刻ｉ＋１に撮像画像に現れた場合、あるいは、ある時刻ｉに撮像画像に存在した物体Ｖが、次の時刻ｉ＋１に撮像画像外に移動して存在しなくなった場合についても、１つの物体Ｖに対して、差異領域が１つしか現れないという違いがあるのみで、同様の処理により物体Ｖの検出を行うことができる。また、撮像画像内に、複数の物体が存在した場合についても、同様の処理で物体Ｖの検出を行うことができる。

図４は、上述した物体検出処理を行う画像処理装置の一実施の形態の構成例を示すブロック図である。

図４の画像処理装置は、画像記憶部１１、参照画像記憶部１２、差異領域検出部１３、ヒストグラム生成部１４、および判定部１５で構成される。また、差異領域検出部１３は、差異計算部２１とラベリング部２２とで構成される。

例えば、ある時刻ｉにおいて、ＩＴＶカメラなどの所定の撮像手段から、画像ｆ（ｉ）が画像記憶部１１に供給される。

また、参照画像記憶部１２には、時刻ｉより所定単位時間（例えば、１フレーム時間）前の時刻ｉ−１に、撮像手段から画像記憶部１１に供給された画像ｆ（ｉ−１）が記憶されている。

画像記憶部１１は、撮像手段から供給された画像ｆ（ｉ）を内部に記憶するとともに、参照画像記憶部１２と差異領域検出部１３の差異計算部２１に供給する。また、画像記憶部１１は、ヒストグラム生成部１４の要求に応じて、画像ｆ（ｉ）をヒストグラム生成部１４に供給する。

参照画像記憶部１２は、画像記憶部１１から供給される画像ｆ（ｉ）を記憶する。また、参照画像記憶部１２は、画像記憶部１１から画像ｆ（ｉ）が供給されたと同時のタイミングで、参照画像記憶部１２にそれまで記憶していた、時刻ｉの画像ｆ（ｉ）より単位時間前の時刻ｉ−１の画像ｆ（ｉ−１）を差異領域検出部１３の差異計算部２１に供給する。

また、参照画像記憶部１２は、ヒストグラム生成部１４の要求に応じて、画像ｆ（ｉ−１）をヒストグラム生成部１４に供給する。

差異領域検出部１３の差異計算部２１は、差異検出処理を行う。即ち、差異計算部２１は、画像記憶部１１から供給される画像ｆ（ｉ）と参照画像記憶部１２から供給される画像ｆ（ｉ−１）とから、図２で説明したように、対応する各画素の輝度値（輝度情報）の差分（フレーム間差分）をとった差異画像ｆｄ（ｉ，ｉ−１）を作成する。ここで、画像記憶部１１から供給される画像ｆ（ｉ）と、参照画像記憶部１２から供給される画像ｆ（ｉ−１）は、同一の場所（シーン）を撮像した画像である。

例えば、差異計算部２１は、画像ｆ（ｉ）のある画素を注目画素とし、画像ｆ（ｉ）の注目画素と、その注目画素に対応する画像ｆ（ｉ−１）の画素の画素どうしの輝度値（画素値）の差分の絶対値を計算する。そして、差異計算部２１は、その絶対値が予め設定した閾値Ｋ１未満（Ｋ１は０より大の整数）であれば、その注目画素についてゼロを出力する。一方、差異計算部２１は、その絶対値が予め設定した閾値Ｋ１以上であれば、その注目画素について所定の値（例えば、１）を出力する。そして、差異計算部２１は、画像ｆ（ｉ）の全ての画素を注目画素として上述の処理を行うことにより、差異画像ｆｄ（ｉ，ｉ−１）を作成する。

なお、画素どうしの輝度値（画素値）の差分の絶対値が予め設定した閾値Ｋ１以上である場合、差異計算部２１は、その注目画素について所定の値を出力する代わりに、画像ｆ（ｉ）の注目画素の輝度値をそのまま出力するようにすることもできる。

差異計算部２１は、作成した差異画像ｆｄ（ｉ，ｉ−１）をラベリング部２２に供給する。

ラベリング部２２は、差異画像ｆｄ（ｉ，ｉ−１）に対してラベリングを行う。即ち、ラベリング部２２は、差異画像ｆｄ（ｉ，ｉ−１）について、ゼロでない輝度値をもつ画素で隣り合うものを連結することで、差異領域を検出する。

そして、差異画像ｆｄ（ｉ，ｉ−１）について複数の差異領域が検出された場合、ラベリング部２２は、それぞれの差異領域にラベルをつける。ここで、ラベリング部２２において、ｎ個の差異領域が検出されたこととする。つまり、差異画像ｆｄ（ｉ，ｉ−１）において、差異領域ｓ（ｉ，ｑ）（ｑ＝１，２，・・・，ｎ）が検出される。

ここで、撮像手段において撮像される撮像画像に含まれるノイズにより画像ｆ（ｉ）と画像ｆ（ｉ−１）とに差異があるとみなされ、差異領域ｓ（ｉ，ｑ）が検出されてしまう場合がある。その場合、ラベリング部２２の内部に閾値Ｋ２（Ｋ２は０より大の整数）を予め設定（記憶）するようにして、ラベル付けされた各差異領域ｓ（ｉ，ｑ）の面積Ｓ_i,qが閾値Ｋ２より小さい場合には、ラベリング部２２は、その差異領域ｓ（ｉ，ｑ）を、ラベル付けされた差異領域ｓ（ｉ，ｑ）の中から削除する（差異領域ｓ（ｉ，ｑ）ではないとする）ようにすることができる。なぜなら、本来の差異領域ｓ（ｉ，ｑ）ではないノイズの影響による差異領域ｓ（ｉ，ｑ）は、非常に小さい領域となると考えられるからである。従って、上述のような処理を行うことにより、撮像手段において撮像される画像に含まれるノイズの影響により、誤って差異領域ｓ（ｉ，ｑ）とみなされた領域を除外することができる。

差異領域検出部１３のラベリング部２２は、上述のようにして検出された差異領域ｓ（ｉ，ｑ）をヒストグラム生成部１４に供給する。

ヒストグラム生成部１４は、画像記憶部１１と参照画像記憶部１２とから、画像ｆ（ｉ）と画像ｆ（ｉ−１）それぞれを取り出す（供給させる）。

そして、ヒストグラム生成部１４は、図２で説明したように、ラベリング部２２から供給された差異領域ｓ（ｉ，ｑ）のそれぞれについて、差異領域ｓ（ｉ，ｑ）の位置に対応する画像ｆ（ｉ）の領域を画像領域ｒ（ｉ，１）、その画像領域ｒ（ｉ，１）の周辺の領域を周辺領域ｒｐ（ｉ，１）として設定する。また、画像ｆ（ｉ−１）についても同様に、差異領域ｓ（ｉ，ｑ）の位置に対応する画像ｆ（ｉ−１）の領域を画像領域ｒ（ｉ−１，１）、その画像領域ｒ（ｉ−１，１）の周辺の領域を周辺領域ｒｐ（ｉ−１，１）としてそれぞれ設定する。

ここで、周辺領域ｒｐ（ｉ，１）またはｒｐ（ｉ−１，１）は、上述したように、例えば、画像領域ｒ（ｉ，１）または画像領域ｒ（ｉ−１，１）それぞれに外接する矩形領域を、その上下左右方向に予め設定しておいたＣ１（Ｃ１は０より大の整数）画素ずつ拡張した領域の輪郭と、画像領域ｒ（ｉ，１）または画像領域ｒ（ｉ−１，１）の輪郭とで囲まれる領域とする。あるいは、周辺領域ｒｐ（ｉ，１）またはｒｐ（ｉ−１，１）は、画像領域ｒ（ｉ，１）または画像領域ｒ（ｉ−１，１）それぞれに予め設定しておいたＣ１画素分だけ縁を付けるように拡張した領域の輪郭と、画像領域ｒ（ｉ，１）または画像領域ｒ（ｉ−１，１）の輪郭とで囲まれる領域としてもよい。つまり、周辺領域ｒｐ（ｉ，１）およびｒｐ（ｉ−１，１）は、画像領域ｒ（ｉ，１）および画像領域ｒ（ｉ−１，１）それぞれの周辺（外側）に、所定の面積を有する領域となっていればよい。

さらに、ヒストグラム生成部１４は、画像領域ｒ（ｉ，１）、周辺領域ｒｐ（ｉ，１）、画像領域ｒ（ｉ−１，１）、および周辺領域ｒｐ（ｉ−１，１）の４つの領域について、図３で説明したような、４つの輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）、ｈｉｓｔ＿ｒｐ（ｉ，１）、ｈｉｓｔ＿ｒ（ｉ−１，１）、およびｈｉｓｔ＿ｒｐ（ｉ−１，１）をそれぞれ生成する。

そして、ヒストグラム生成部１４は、画像記憶部１１から供給された画像ｆ（ｉ）とともに、生成した４つの輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）、ｈｉｓｔ＿ｒｐ（ｉ，１）、ｈｉｓｔ＿ｒ（ｉ−１，１）、およびｈｉｓｔ＿ｒｐ（ｉ−１，１）を判定部１５に供給する。

判定部１５は、ヒストグラム生成部１４から供給される４つの輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）、ｈｉｓｔ＿ｒｐ（ｉ，１）、ｈｉｓｔ＿ｒ（ｉ−１，１）、およびｈｉｓｔ＿ｒｐ（ｉ−１，１）に基づいて、上述の式（１）および式（２）で表される、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）の内積値Ｂ１と、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ−１，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ−１，１）の内積値Ｂ２を計算する。

また、判定部１５は、内積値Ｂ１とＢ２の大小関係として式（３）が成り立つか、または式（４）が成り立つかどうかにより、画像ｆ（ｉ）において、差異領域ｓ（ｉ，ｑ）が物体領域Ｖｓ（ｉ）であるか否かを判定する（検出する）。

即ち、内積値Ｂ１とＢ２の大小関係として、式（３）が成り立つ場合、画像ｆ（ｉ）において、差異領域ｓ（ｉ，１）は、物体領域Ｖｓ（ｉ）であると判定される（検出される）。一方、内積値Ｂ１とＢ２の大小関係として、式（４）が成り立つ場合、画像ｆ（ｉ）において、差異領域ｓ（ｉ，２）は、背景領域ＢＫであると判定される。

さらに、内積値Ｂ１とＢ２の大小関係として、式（３）が成り立つ場合、即ち、画像ｆ（ｉ）において、差異領域ｓ（ｉ，１）は、物体領域Ｖｓ（ｉ）であると判定された（検出された）場合、判定部１５は、物体領域Ｖｓ（ｉ）が検出された、ヒストグラム生成部１４からの画像ｆ（ｉ）を次の装置（図示せず）へ出力する。

画像ｆ（ｉ）が供給された装置では、例えば、アラームを出力したり、物体Ｖが検出された画像ｆ（ｉ）を所定のメモリに記憶し、後の解析処理に利用することができる。

次に、図５のフローチャートを参照して、図４の画像処理装置の物体検出処理について説明する。

物体検出処理では、参照画像記憶部１２に、画像記憶部１１より１単位時間前の画像を記憶しておく必要があるため、例えば、１フレーム単位で図４の画像処理装置が物体検出処理を行う場合、図４の画像処理装置に最初に入力されるフレーム画像（画像ｆ（ｉ−１））は、画像記憶部１１から参照画像記憶部１２にそのまま供給され、記憶される。そして、次のフレーム画像（画像ｆ（ｉ））が画像記憶部１１に供給されたとき、図５の物体検出処理が開始される。

初めに、ステップＳ１において、差異計算部２１は、画像記憶部１１から供給される画像ｆ（ｉ）と参照画像記憶部１２から供給される画像ｆ（ｉ−１）とで、対応する各画素の輝度値の差分（フレーム間差分）をとった差異画像ｆｄ（ｉ，ｉ−１）を作成する。そして、差異計算部２１は、作成した差異画像ｆｄ（ｉ，ｉ−１）をラベリング部２２に供給して、ステップＳ２に進む。

ステップＳ２において、ラベリング部２２は、差異計算部２１からの差異画像ｆｄ（ｉ，ｉ−１）に対してラベリングを行ってステップＳ３に進む。即ち、ラベリング部２２は、差異画像ｆｄ（ｉ，ｉ−１）について、ゼロでない輝度値をもつ画素で隣り合うものを連結することで、ｎ個の差異領域ｓ（ｉ，ｑ）（ｑ＝１，２，・・・，ｎ）を検出する。

ここで、上述したように、撮像手段において撮像される画像に含まれるノイズの影響により、誤って差異領域ｓ（ｉ，ｑ）とみなされる領域を除外するために、ラベリング部２２は、差異領域ｓ（ｉ，ｑ）の面積Ｓ_i,qが閾値Ｋ２より小さいか否かを判定するようにして、ラベル付けされた各差異領域ｓ（ｉ，ｑ）の面積Ｓ_i,qが閾値Ｋ２より小さい場合には、ラベリング部２２は、その差異領域ｓ（ｉ，ｑ）を、ラベル付けされた差異領域ｓ（ｉ，ｑ）の中から削除する。

ステップＳ３において、ラベリング部２２は、後述するステップＳ４乃至Ｓ６の処理対象とされていない差異領域ｓ（ｉ，ｑ）があるか否かを判定する。ステップＳ３において、差異領域ｓ（ｉ，ｑ）がないと判定された場合、ステップＳ４乃至Ｓ７をスキップして、ステップＳ８に進む。

一方、ステップＳ３において、差異領域ｓ（ｉ，ｑ）があると判定された場合、ステップＳ４に進み、ラベリング部２２は、まだ処理対象とされていない１つの差異領域ｓ（ｉ，ｑ）をヒストグラム生成部１４に供給する。そして、ステップＳ４において、ヒストグラム生成部１４は、画像ｆ（ｉ）とｆ（ｉ−１）に対して、ラベリング部２２から供給された差異領域ｓ（ｉ，ｑ）から求められる、図２で説明した画像領域ｒ（ｉ，１）、周辺領域ｒｐ（ｉ，１）、画像領域ｒ（ｉ−１，１）、および周辺領域ｒｐ（ｉ−１，１）の４つの領域を設定し、さらに、その４つの領域に対応する４つの輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）、ｈｉｓｔ＿ｒｐ（ｉ，１）、ｈｉｓｔ＿ｒ（ｉ−１，１）、およびｈｉｓｔ＿ｒｐ（ｉ−１，１）を生成する。そして、ヒストグラム生成部１４は、生成した４つの輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）、ｈｉｓｔ＿ｒｐ（ｉ，１）、ｈｉｓｔ＿ｒ（ｉ−１，１）、およびｈｉｓｔ＿ｒｐ（ｉ−１，１）を、画像記憶部１１に記憶された画像ｆ（ｉ）とともに判定部１５に供給して、ステップＳ４からステップＳ５に進む。

ステップＳ５において、判定部１５は、ヒストグラム生成部１４から供給された４つの輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）、ｈｉｓｔ＿ｒｐ（ｉ，１）、ｈｉｓｔ＿ｒ（ｉ−１，１）、およびｈｉｓｔ＿ｒｐ（ｉ−１，１）について、類似度を計算する。即ち、判定部１５は、上述の式（１）および式（２）で表される、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ，１）の内積値Ｂ１と、輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ−１，１）と輝度ヒストグラムｈｉｓｔ＿ｒｐ（ｉ−１，１）の内積値Ｂ２を計算する。

ステップＳ５の後、ステップＳ６に進み、判定部１５は、内積値Ｂ１とＢ２の大小関係を判定（比較）する。ステップＳ６において、内積値Ｂ１が内積値Ｂ２よりも大きいと判定された場合、その差異領域ｓ（ｉ，ｑ）は、背景領域ＢＫであると判定され、ステップＳ３に戻り、それ以降の処理が繰り返される。

一方、ステップＳ６において、内積値Ｂ１が内積値Ｂ２よりも大きくはない、即ち、内積値Ｂ１は、内積値Ｂ２以下であると判定された場合、差異領域ｓ（ｉ，１）は、物体領域Ｖｓ（ｉ）であると判定され（検出され）、ステップＳ７に進み、判定部１５は、物体領域Ｖｓ（ｉ）が検出された画像ｆ（ｉ）を次の装置へ出力して、ステップＳ８に進む。

ステップＳ８において、入力される画像が終了したか否か、即ち、画像記憶部１１に新たに画像が入力されてきたか否かが判定される。ステップＳ８で、画像が終了していない、即ち、画像記憶部１１に新たな画像が入力されてきたと判定された場合、ステップＳ９に進み、画像記憶部１１は、いま画像記憶部１１の内部に記憶している画像ｆ（ｉ）を参照画像記憶部１２に供給し、さらに新たな画像を記憶する。参照画像記憶部１２は、画像記憶部１１から供給された画像を上書きする形で記憶（更新）して、ステップＳ９からステップＳ１に戻り、それ以降の処理を繰り返す。

一方、ステップＳ８において、画像が終了した、即ち、画像記憶部１１に新たな画像が入力されてこないと判定された場合、処理を終了する。

以上のように、上述した物体検出処理では、２枚の画像を用いて、撮像画像に出現した物体を検出（抽出）することができるので、少ないメモリで、高速に処理を行うことができる。

なお、図５の物体検出処理では、ステップＳ６において、差異領域ｓ（ｉ，１）が、最初に物体領域Ｖｓ（ｉ）であると判定された（検出された）場合に、まだ類似度の判定（計算）を行っていないその他の差異領域ｓ（ｉ，１）があったとしても、判定部１５は、その他の差異領域ｓ（ｉ，１）に対する類似度の判定を行わずに、画像ｆ（ｉ）を次の装置に出力するようにしたが、すべての差異領域ｓ（ｉ，１）について類似度の判定を行った後で、物体領域Ｖｓ（ｉ）であると判定された（検出された）差異領域ｓ（ｉ，１）があった場合に、判定部１５は、画像ｆ（ｉ）を次の装置に出力するようにしてもよい。

上述した例では、撮像手段において撮像される画像に含まれるノイズの影響により、誤って差異領域ｓ（ｉ，ｑ）とみなされる領域を除外するために、差異領域ｓ（ｉ，ｑ）の面積Ｓ_i,qが閾値Ｋ２より小さいか否かを判定するようにしたが、その他、２つの画像ｆ（ｉ）とｆ（ｉ−１）を比較する場合においてノイズの影響を低減する方法としては、例えば、１枚の画像を横ＣＸ画素、縦ＣＹ画素の複数のブロックに分割し、その分割したブロック単位での演算によって差異画像ｆｄ（ｉ，ｉ−１）を生成する方法などもある。ここで、ＣＸ，ＣＹは、ともに０より大の整数である。

ブロック単位での演算としては、例えば、画像ｆ（ｉ）とｆ（ｉ−１）の対応するブロック間で正規化相関を演算し、ブロック単位で差異を検出する方法がある。また、その他のブロック単位での演算としては、例えば、ブロック単位で、２つの画像ｆ（ｉ）とｆ（ｉ−１）の対応する画素どうしの輝度値（画素値）を比較し、輝度値の差分の絶対値が閾値Ｋ１以上である画素をカウントし、カウントされた画素数が閾値Ｋ３（Ｋ３は０より大の整数）よりも大きければ、そのブロックには、差異があると判定する（差異を検出する）ようにすることもできる。

そして、すべてのブロックについて、上述の差異の検出を行った結果得られる画像を差異画像ｆｄ（ｉ，ｉ−１）として、その差異画像ｆｄ（ｉ，ｉ−１）に対して、上述した図５の物体検出処理のステップＳ２乃至Ｓ９の処理を行うことができる。

また、その他のノイズの影響を低減する方法としては、画像ｆ（ｉ）とｆ（ｉ−１）の対応する画素どうしの比較をするときに、比較対象の画素を注目画素とした場合、注目画素の周辺（例えば、上下左右の数画素など）を含む画素の平均値を注目画素の画素値として、画像ｆ（ｉ）とｆ（ｉ−１）の対応する画素どうしの比較をするようにしてもよい。即ち、注目画素を含む周辺の画素は、画像ｆ（ｉ）とｆ（ｉ−１）の対応する画素（注目画素）どうしの比較をする際に参照とされる参照領域と言うことができ、その参照領域間の画素値を演算（比較）することにより、差異画像ｆｄ（ｉ，ｉ−１）を生成するようにすることもできる。

また、上述した例では、図５のステップＳ５の類似度の計算において、画像領域ｒ（ｉ，１）とその周辺領域ｒｐ（ｉ，１）との類似度としての内積値Ｂ１を画像領域ｒ（ｉ，１）および周辺領域ｒｐ（ｉ，１）を用いて求めるとともに、画像領域ｒ（ｉ−１，１）とその周辺領域ｒｐ（ｉ−１，１）との類似度としての内積値Ｂ２を画像領域ｒ（ｉ−１，１）および周辺領域ｒｐ（ｉ−１，１）を用いて求めるようにしたが、周辺領域ｒｐ（ｉ，１）と周辺領域ｒｐ（ｉ−１，１）は、ともに背景領域ＢＫであるので、周辺領域ｒｐ（ｉ，１）または周辺領域ｒｐ（ｉ−１，１）のうちの一方の代わりに他方を用いて、類似度としての内積値Ｂ１またはＢ２の計算をすることが可能である。

即ち、例えば、上述の内積値Ｂ２を求める式（２）に代えて、次式（５）を採用することができる。

Ｂ２＝ｈｉｓｔ＿ｒ（ｉ−１，１）・ｈｉｓｔ＿ｒｐ（ｉ，１）
・・・・・・・・・・・・・・（５）

また、例えば、上述の内積値Ｂ１を求める式（１）に代えて、次式（６）を採用することができる。

Ｂ１＝ｈｉｓｔ＿ｒ（ｉ，１）・ｈｉｓｔ＿ｒｐ（ｉ−１，１）
・・・・・・・・・・・・・・（６）

さらに、類似度としての内積値Ｂ１およびＢ２の算出にあたっては、周辺領域ｒｐ（ｉ，１）の画像と周辺領域ｒｐ（ｉ−１，１）の画像を合成した合成画像の輝度ヒストグラムを用いることもできる。

即ち、例えば、周辺領域ｒｐ（ｉ，１）の画像と周辺領域ｒｐ（ｉ−１，１）の画像を合成した合成画像の輝度ヒストグラムをＨｉｓｔ＿ｒｐ（ｘ，１）とした場合、上述の内積値Ｂ１を求める式（１）に代えて、次式（７）を採用することができる。

Ｂ１＝ｈｉｓｔ＿ｒ（ｉ，１）・Ｈｉｓｔ＿ｒｐ（ｘ，１）
・・・・・・・・・・・・・・（７）

また、上述の内積値Ｂ２を求める式（２）に代えて、次式（８）を採用することができる。

Ｂ２＝ｈｉｓｔ＿ｒ（ｉ−１，１）・Ｈｉｓｔ＿ｒｐ（ｘ，１）
・・・・・・・・・・・・・・（８）

以上の式（５）乃至式（８）のいずれを採用した場合においても、式（３）および式（４）が成り立つ。

図６は、物体検出処理を行う画像処理装置の一実施の形態の他の構成例を示すブロック図である。なお、図６において、図４と対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。

撮像手段から入力される画像においては、例えば、カメラのブレによって画像ボケが生じていたり、天候の変化などにより明るさが変化したりすることがある。このような画像ボケや明るさの変化は、差異領域検出部１３の差異計算部２１の差異検出処理の精度を劣化させることがある。そこで、図６の実施の形態では、差異検出処理を安定して行うために、差異検出処理の前処理として、画像補正処理を行う。

図６の画像補正部３１には、画像記憶部１１と参照画像記憶部１２とから画像ｆ（ｉ）と画像ｆ（ｉ−１）が、それぞれ供給される。画像補正部３１は、所定の画像補正処理を行って、補正処理後の画像ｆ（ｉ）と画像ｆ（ｉ−１）とを差異領域検出部１３の差異計算部２１に供給する。

画像補正部３１では、例えば、カメラのブレに対応する画像補正処理としてブレ補正処理を行うことができる。ブレ補正処理は、例えば、特開平６−１６９４２４号公報に掲載されているブレ補正技術を採用することができる。このブレ補正技術の詳細な説明については、特開平６−１６９４２４号公報に掲載されているので、ここでは省略する。

その他、画像補正部３１では、例えば、天候の変化による画像全体の明るさの変化に対処する輝度補正処理を行うことができる。輝度補正処理は、２枚の画像の輝度値を揃える（合わせる）処理で、例えば、画像を正規化することにより補正する。即ち、この場合、画像の輝度値の最大値と最小値が検出され、最小値を０に、最大値を２５５になるように画像が正規化される。従って、差異検出処理を行う２枚の画像に対して、それぞれ輝度補正処理（画像の正規化処理）を行えば、両者の画像の輝度値がともに最小値を０に、最大値を２５５になるように補正されるので、２枚の画像の明るさの変化に拘らず、２枚の画像間の差異情報を安定して検出することができる。

次に、図７のフローチャートを参照して、図６の画像処理装置の物体検出処理について説明する。

図７のステップＳ３２乃至Ｓ４０では、それぞれ図５のステップＳ１乃至Ｓ９の処理と同様の処理が行われる。即ち、図７の物体検出処理は、ステップＳ３１の処理が図５のステップＳ１に対応するステップＳ３２の前に追加されたものとなっている。

初めに、ステップＳ３１において、画像補正部３１は、画像記憶部１１から供給される画像ｆ（ｉ）と参照画像記憶部１２から供給される画像ｆ（ｉ−１）のそれぞれについて、ブレ補正処理や輝度補正処理等の画像補正処理を行って、その画像補正処理後の画像ｆ（ｉ）と画像ｆ（ｉ−１）とを差異領域検出部１３の差異計算部２１に供給して、ステップＳ３２に進む。

ステップＳ３２では、差異計算部２１は、画像補正部３１から供給される画像補正処理後の画像ｆ（ｉ）と画像ｆ（ｉ−１）とで、対応する各画素の輝度値の差分（フレーム間差分）をとった差異画像ｆｄ（ｉ，ｉ−１）を作成する。そして、差異計算部２１は、作成した差異画像ｆｄ（ｉ，ｉ−１）をラベリング部２２に供給して、ステップＳ３３に進む。

ステップＳ３３乃至Ｓ４０では、図５のステップＳ２乃至Ｓ９の処理と同様に、差異領域ｓ（ｉ，ｑ）から求められる、画像ｆ（ｉ）およびｆ（ｉ−１）の、画像領域ｒ（ｉ，１）、周辺領域ｒｐ（ｉ，１）、画像領域ｒ（ｉ−１，１）、および周辺領域ｒｐ（ｉ−１，１）の４つの領域に対応する４つの輝度ヒストグラムｈｉｓｔ＿ｒ（ｉ，１）、ｈｉｓｔ＿ｒｐ（ｉ，１）、ｈｉｓｔ＿ｒ（ｉ−１，１）、およびｈｉｓｔ＿ｒｐ（ｉ−１，１）を用いて、類似度を計算（比較）することにより、差異領域ｓ（ｉ，ｑ）が物体領域Ｖｓ（ｉ）であるか否かが判定される。そして、物体領域Ｖｓ（ｉ）であると判定された場合、画像ｆ（ｉ）が次の装置に出力される。

以上のように、図７の物体検出処理においても、２枚の画像を用いて、撮像画像に出現した物体を検出（抽出）することができるので、少ないメモリで、高速に処理を行うことができる。

また、図７では、差異検出処理を行う前に、所定の画像補正処理を行うので、物体検出処理において、２枚の画像間の差異情報を安定して検出することができる。

上述した実施の形態においては、図４や図６の画像処理装置に画像を供給する撮像手段は、モノクロのＩＴＶカメラとし、各画素の画素値として、８ビットの輝度値が出力されるものとしたが、図４や図６の画像処理装置は、供給される画像がカラー画像である場合にも適用することができる。

上述の物体検出処理を行う画像処理装置は、監視カメラを用いたセキュリティシステムの他、例えば、人物を検出して扉を開閉する自動ドア、物体の動きに追従して光源（照明）をあてる照明装置などに応用することができる。

上述した一連の物体検出処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。ソフトウエアにより一連の処理を行う場合、例えば、画像処理装置は、図８に示されるようなパーソナルコンピュータにプログラムを実行させることにより実現することができる。

図８において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記憶されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットなどのネットワークを介しての通信処理を行う。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、或いは半導体メモリ１２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

従来の物体検出処理を説明する図である。本発明を適用した物体検出処理の概要を説明する図である。本発明を適用した物体検出処理の概要を説明する図である。本発明を適用した物体検出処理を行う画像処理装置の一実施の形態の構成例を示すブロック図である。図４の画像処理装置の物体検出処理を説明するフローチャートである。本発明を適用した物体検出処理を行う画像処理装置の一実施の形態の他の構成例を示すブロック図である。図６の画像処理装置の物体検出処理を説明するフローチャートである。本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１１画像記憶部，１２参照画像記憶部，１３差異領域検出部，１４ヒストグラム生成部，１５判定部，２１差異計算部，２２ラベリング部，３１画像補正部

Claims

画像を撮像する撮像手段から供給される第１の画像と第２の画像との差異がある差異領域を検出する差異領域検出手段と、
前記差異領域の画像と、前記差異領域の周辺領域の画像との類似度を求め、その類似度に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定する判定手段と
を備え、
前記判定手段は、
前記第１の画像の前記差異領域の画像、および前記第１の画像の前記差異領域の周辺領域の画像と前記第２の画像の前記差異領域の周辺領域の画像との合成画像の類似度である第１の類似度と、
前記第２の画像の前記差異領域の画像、および前記合成画像の類似度である第２の類似度とを求め、
前記第１と第２の類似度の大小関係に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定する
ことを特徴とする画像処理装置。
前記差異領域検出手段は、
前記第１および第２の画像の対応する画素どうしの画素値を比較する比較手段を有し、
前記差異領域検出手段は、前記比較手段による比較結果に基づいて、前記差異領域を検出する
ことを特徴とする請求項１に記載の画像処理装置。
前記差異領域検出手段は、
前記第１および第２の画像を複数のブロックに分割し、ブロック単位で前記第１および第２の画像を比較する比較手段を有し、
前記差異領域検出手段は、前記比較手段による比較結果に基づいて、前記差異領域を検出する
ことを特徴とする請求項１に記載の画像処理装置。
前記差異領域検出手段は、
前記第１および第２の画像の対応する画素どうしの比較を、比較対象の画素の周辺の領域の画素の画素値を用いて行う比較手段を有し、
前記差異領域検出手段は、前記比較手段による比較結果に基づいて、前記差異領域を検出する
ことを特徴とする請求項２に記載の画像処理装置。
前記第１および第２の画像に対して、所定の補正処理を行う補正手段をさらに備え、
前記差異領域検出手段は、前記所定の補正処理後の前記第１と第２の画像の差異がある差異領域を検出する
ことを特徴とする請求項１に記載の画像処理装置。
画像を撮像する撮像手段から供給される第１の画像と第２の画像との差異がある差異領域を検出する差異領域検出ステップと、
前記差異領域の画像と、前記差異領域の周辺領域の画像との類似度を求め、その類似度に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定する判定ステップと
を含み、
前記判定ステップの処理は、
前記第１の画像の前記差異領域の画像、および前記第１の画像の前記差異領域の周辺領域の画像と前記第２の画像の前記差異領域の周辺領域の画像との合成画像の類似度である第１の類似度と、
前記第２の画像の前記差異領域の画像、および前記合成画像の類似度である第２の類似度とを求め、
前記第１と第２の類似度の大小関係に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定する
ことを特徴とする画像処理方法。
画像を撮像する撮像手段から供給される第１の画像と第２の画像との差異がある差異領域を検出する差異領域検出ステップと、
前記差異領域の画像と、前記差異領域の周辺領域の画像との類似度を求め、その類似度に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定する判定ステップと
を含み、
前記判定ステップの処理は、
前記第１の画像の前記差異領域の画像、および前記第１の画像の前記差異領域の周辺領域の画像と前記第２の画像の前記差異領域の周辺領域の画像との合成画像の類似度である第１の類似度と、
前記第２の画像の前記差異領域の画像、および前記合成画像の類似度である第２の類似度とを求め、
前記第１と第２の類似度の大小関係に基づいて、前記差異領域が、物体が出現または消失したいずれの領域であるかを判定する
処理をコンピュータに実行させることを特徴とするプログラム