JP6304473B2 - 画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明に係るいくつかの態様は、画像処理システム、画像処理方法及びプログラムに関する。

近年、ビデオカメラ（撮影装置）で撮影した映像を利用して、映像に映る物体（例えば人物）の動き等を解析するシステムが考えられている。例えば特許文献１には、固定カメラにより撮影された動画像を用いて、撮影範囲の領域における人物の静止・滞留・集合の度合いが高い箇所を検出する滞留検出システムが開示されている。特許文献１記載の滞留検出システムでは、監視カメラで撮影した撮影範囲の動画像データと、フレーム領域を複数のブロックに分割してなるマトリックスデータとを用いて、人物・動線の情報をマトリックス上にマッピングすることにより、人物・動線が重なるスコアの高いブロックを、滞留箇所として検出している。

特開２０１１−２４８８３６号公報

特許文献１記載の手法は、人物の動線を特定する必要がある。人物の動線を特定するためには、映像内の各画像（フレーム）毎の人物の同一性を判断しなければならない。しかしながら、人物同士の重なりや向きの変化等の影響があるため、人物の同一性の検出の精度は必ずしも高くない。このため、人物検出の結果を用いた動き検出の精度は限定的であった。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、好適に物体の動きを検出することのできる画像処理システム、画像処理方法及びプログラムを提供することを目的の１つとする。

本発明に係る情報処理システムは、第１の画像と、前記第１の画像とは異なるタイミングで撮影された１以上の第２の画像との入力を受ける入力手段と、前記第１の画像と前記第２の画像との比較に基づき、前記第１の画像内の各領域の動きを検出する第１の検出手段と、前記第１の画像内の物体位置を検出する第２の検出手段と、前記第１の検出手段で検出された前記第１の画像内の各領域の動きと、前記第２の検出手段で検出された物体位置とを照合する照合手段とを備える。

本発明に係る情報処理方法は、第１の画像と、前記第１の画像とは異なるタイミングで撮影された１以上の第２の画像との入力を受けるステップと、前記第１の画像と前記第２の画像との比較に基づき、前記第１の画像内の各領域の動きを検出するステップと、前記第１の画像内の物体位置を検出するステップと、前記第１の画像内の各領域の動きと、物体位置とを照合するステップとを画像処理システムが行う。

本発明に係るプログラムは、第１の画像と、前記第１の画像とは異なるタイミングで撮影された１以上の第２の画像との入力を受ける処理と、前記第１の画像と前記第２の画像との比較に基づき、前記第１の画像内の各領域の動きを検出する処理と、前記第１の画像内の物体位置を検出する処理と、前記第１の画像内の各領域の動きと、物体位置とを照合する処理とをコンピュータに実行させる。

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、好適に物体の動きを検出することのできる画像処理システム、画像処理方法及びプログラムを提供することができる。

入力画像の具体例を示す図である。 入力画像の具体例を示す図である。 画像領域毎の動きの検出結果の具体例を説明するための図である。 物体検出結果の具体例を説明するための図である。 第１実施形態に係る画像処理システムによる照合方法の具体例を説明するための図である。 第１実施形態に係る画像処理システムによる照合方法の具体例を説明するための図である。 第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。 図６に示す画像処理システムの処理の流れを示すフローチャートである。 図６に示す画像処理システムを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

（１ 第１実施形態）
図１Ａ乃至図９は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」で本実施形態に係る動き検出の手法の概要を、具体例を示しながら説明する。次に「１．２」でシステムの機能構成の概要を、「１．３」で処理の流れを、「１．４」で本システムを実現可能なハードウェア構成の具体例を示す。最後に「１．５」以降で、本実施形態に係る効果等を説明する。

（１．１ 概要）
（１．１．１ 総論）
本実施形態は、例えば監視カメラ等の撮影装置の映像を解析することによって物体の動きを検出するシステムに関する。ここで物体の動きには、各物体の移動の速度や向きの他、移動中であるか滞留中であるかといった二値的な情報も含まれる。

監視カメラの映像のうち、１枚の画像（フレーム）のみからでは、物体検出や物体群の検出を行うことはできるが、物体の動きまでは検出することはできない。また、複数時刻の画像で検出された各物体に対して、それぞれの物体の同一性を判別することにより物体の動きを検出する方法では、物体間のすれ違いや物体が混雑している場合など、物体の追跡が難しい（同一性の判別が難しい）場合には、動き検出の精度が低下することがある。

そこで本実施形態に係る画像処理システムでは、物体の動きを検出する際に、画像内における物体の検出結果と、複数の画像を用いた画像内の各領域に対する動きの検出結果とを照合することにより、物体の動きを検出する。つまり、画像間での物体の同一性を利用せずに物体の動きを検出するため、物体の同一性判別精度の確保が困難な場合であっても、好適に物体の動きを検出することが可能となる。

ここで、動き検出の対象となる物体には、移動する可能性のある物体であれば、車や自転車、バイク、電車、動物等様々なものを含むことができるが、以下の説明では、人物である場合を中心に説明する。

（１．１．２ 人物の動き検出の具体例）
以下、図１Ａ乃至図５を参照しながら、本実施形態に係る動き検出の具体例を説明する。図１Ａ及び図１Ｂは、一定時間内の異なる時刻に撮影装置が撮影した画像（典型的には、映像内の異なる時刻のフレーム。）の具体例を示す図である。図１Ａ、図１Ｂ及び図２の画像において、破線で示す直線は画像を領域毎に分けるためのものであり、実際の撮影画像に含まれるものではない。以下、画像内の破線で区切られた各領域を、それぞれ左上から右下にかけて、領域１Ａ乃至６Ｈ（数字１乃至６は行を示し、アルファベットＡ乃至Ｈは列を示す。）と呼ぶ。

なお、図１Ａ、図１Ｂ及び図２に示す具体例では、画像を６行×８列の４８領域に分割しているがこれに限られるものではなく、例えば８画素×８画素のマクロブロック等のより細かい領域単位に分割することも考えられる。

（１．１．２．１ 画像領域の動き検出）
図１Ａ及び図１Ｂの画像には、人物Ｐ１乃至Ｐ６の６名の人物が映っている。図１Ａと図１Ｂとを比較すると、人物Ｐ４乃至Ｐ６は同じ位置で止まっている一方で、人物Ｐ１乃至Ｐ３は、それぞれ画像の左前方（左下方）に少し動いている。この人物Ｐ１乃至Ｐ３の移動に伴い、画像領域２Ｅ、２Ｇ、３Ｄ、３Ｅ、３Ｇ、４Ｄ、４Ｅ、５Ｃ、５Ｄ、６Ｃ及び６Ｄがそれぞれ変化している。

このような画像の変化に基づき、領域毎の動きを検出した結果を示したのが図２である。図２では、画像に変化のあった画像領域２Ｅ、２Ｇ、３Ｄ、３Ｅ、３Ｇ、４Ｄ、４Ｅ、５Ｃ、５Ｄ、６Ｃ及び６Ｄに対して、各領域内の画像が変化した方向や動きが、矢印の長さ及び大きさとして表現されている。すなわち、この矢印は各画像領域の動きベクトルを表現している。

このような画像領域の動き（動きベクトル）は、オプティカルフローに基づいて検出することができる。より具体的には、例えば、図１Ａの画像内の各画素の集合と類似する画素集合が、図１Ｂの画像内のどこにあるかを調べる（ブロックマッチング）こと等により特定することができる。この画像の動きは、人物検出等の結果を用いたものではないため、人物検出後に当該人物の特徴量の類似性などを元に人物の動きを検出する場合よりも、高い精度で動きを検出することができる。

（１．１．２．２ 人物検出）
本実施形態に係る画像処理システムは、「１．１．２．１」で説明した各画像領域に対する動き検出と並行して、図１Ａに示した画像に対する人物検出を行う。人物検出の手法としては種々考えられるが、例えば、人物全身の画像の特徴量（形状、色、配置等）に基づいて検出する方法や、人物の一部（例えば頭部や顔）の特徴量（形状、色、配置等）に基づいて検出する方法等が挙げられる。このような手法では、人物全身や頭部らしさをしめす特徴量を学習した後、当該学習結果のパラメータを用いて人物全身や頭部が検出される。ここでは、画像処理システムが人物の頭部を検出するものとして説明する。特に撮影装置が空間の上部から撮影する場合には、人物の全身に対して検出処理を行う場合よりも、頭部検出を行った方が、人物同士の重なり等の影響を低減することが可能となる。

図３は、図１Ａに示した画像に対して人物頭部の検出を行った際の処理結果を示す画像である。図３の例では、人物Ｐ１乃至Ｐ６の頭部を検出し、検出された頭部を含む領域が破線の矩形で示されている。

（１．１．２．３ 照合の具体例１）
本実施形態に係る画像処理システムは、「１．１．２．１」で具体例を説明した各画像領域に対する動き検出結果と、「１．１．２．２」で具体例を説明した人物検出結果とを照合する。図４に、図２に具体例を示した画像領域の動きの検出結果と、図３に具体例を示した人物検出結果との照合した結果の具体例を示す。

図４の例では、図３の画像において頭部として特定された位置に対応する画像領域４Ｄ、２Ｅ及び２Ｇ（それぞれ、人物Ｐ１、Ｐ２及びＰ３の頭部に対応する）に対して、図２の画像において検出された各画像領域の動きを、各人物の動きとして特定している。図４において、矢印は人物の動きを向き及び長さで表現している（但し、図２の矢印と向きは同一であるが、長さはスケーリングしている）。

前述の通り、この手法では、図１Ａの画像における人物検出結果と図１Ｂの画像における人物検出結果の同一性を判別せずに人物の動きを検出しているため、同一性を判別する場合よりも好適に人物の動きを検出できる。

このようにして人物の速度を判別した結果、例えば監視カメラの映像内で、周囲の人物よりも突出して速い速度で移動している人物がいれば、その人物を要注意人物として特定する等の用途に用いることができる。

（１．１．２．４ 照合の具体例２）
図５の例は、照合結果を用いて滞留領域を判別する場合の具体例を示す図である。図５の例において斜線で示す領域Ｒは、図２を参照しながら説明した、動きの検出された画像領域２Ｅ、２Ｇ、３Ｄ、３Ｅ、３Ｇ、４Ｄ、４Ｅ、５Ｃ、５Ｄ、６Ｃ及び６Ｄに対応する。

ここで、人物Ｐ４、Ｐ５、Ｐ６の頭部は、動きの検出された領域Ｒ以外の位置にある。すなわち、人物Ｐ４、Ｐ５、Ｐ６は滞留していると判別することができる。また、人物Ｐ４、Ｐ５及びＰ６の３名は、比較的狭い領域に密集している。

このように、一定範囲内に複数の人物がおり、更に、それらの人物が停止している、或いは閾値以下の遅い速度で動いている場合には、それらの人物がいる領域は、人の流れが滞留した滞留領域として判別することができる。

このような滞留領域を検出することにより、例えば、監視カメラの映像において一定時間以上滞留が起きていれば、その領域で異常が発生している可能性があることを検出できる。また、ある商品の前に一定期間以上滞留が発生していればその商品は人気があると判断できるなど、マーケティング用途に用いることも考えられる。

（１．２ 機能構成）
以下、図６を参照しながら、本実施形態に係る画像処理システム１００の機能構成を説明する。図６は、画像処理システム１００の機能構成を示すブロック図である。
画像処理システム１００は、画像入力部６０１、画像記憶部６０３、物体検出部６０５、動き検出部６０７、及び照合部６０９を含む。

画像入力部６０１は、例えば図示しない監視カメラ等の撮影装置が撮影した映像の入力を受ける。なお、以下では撮影装置により撮影されるリアルタイムの映像を元に人物の動きを検出する場合を中心に説明するが、これに限られるものではなく、例えば、ビデオカメラ２００により撮影された後、記憶装置（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ Ｃａｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）など）に記憶された映像の入力を受けることも考えられる。

画像入力部６０１から入力された映像を構成する画像フレームは、画像記憶部６０３に一時記憶されるとともに、物体検出部６０５及び動き検出部６０７へと出力される。

物体検出部６０５は、図３を参照しながら「１．１．２．２」で説明したように、動きを検出する対象となる物体、ここでは人物の頭部等の検出を行う。人物頭部を検出するために、例えば人物頭部に係る大きさや形状、色彩、配置等に関するパラメータを機械学習などにより取得しておき、当該パラメータを用いて、入力を受けた画像フレームの中から、人物頭部に関する領域を検出する物体検出部６０５が１枚の画像から検出する物体（例えば人物頭部）の数は複数であっても良い。
この時画像入力部６０１は、物体の検出を行った上で、予め定められた閾値以上の数の物体が一定範囲内に固まって検出される領域を特定しても良い。

動き検出部６０７は、図１Ａ、図１Ｂ、及び図２を参照しながら「１．１．２．１」で説明したように、原画像とその近傍の時刻の画像（例えば過去画像）から求めたオプティカルフロー等に基づいて、画像内の各領域の動きの大きさ及び方向、それらの集計値を検出する。この時、動き検出部６０７は、原画像から一定時間分の動き検出を行った上で、それらの平均／最頻／中央値を、各画像領域の動きとすることも考えられる。

照合部６０９は、物体検出部６０５で検出した人物検出結果（人物頭部の検出結果）と、動き検出部６０７で検出した各画像領域の動き検出結果とを照合する。この結果、図４で具体例を示した各人物の動きや、図５で具体例を示した画像内の滞留領域や移動領域の特定等を行うことができる。

或いは、照合部６０９は、物体検出部６０５が人物頭部を検出した領域のうち、動き検出部６０７により動きが検出されなかった画像領域を特定することにより、画像内の滞留領域を特定する。或いは、物体検出部６０５が人物頭部を検出した領域のうち、動き検出部６０７により動きが検出された画像領域を特定すれば、画像内の人物移動領域を特定することが可能となる。

（１．３ 処理の流れ）
次に、画像処理システム１００の処理の流れを、図７を参照しながら説明する。図７は、本実施形態に係る画像処理システム１００の処理の流れを示すフローチャートである。

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

まず、画像入力部６０１は、図示しない監視カメラ等の撮影装置から画像の入力を受ける（Ｓ７０１）。入力を受けた画像は画像記憶部６０３に順次記憶される。

動き検出部６０７は、画像入力部６０１から入力された画像と、画像記憶部６０３に記憶された１以上の画像を用いて、各画像領域毎の動きを検出する（Ｓ７０３）。この動き検出の手法については、図２等を参照しながら説明したため、ここでは説明を省略する。

一方、物体検出部６０５は、画像入力部６０１から入力を受けた画像に対して、動き検出の対象となる物体の検出を行う（Ｓ７０５）。検出対象となる物体は、前述の通り、例えば人物の全身や頭部、顔等であることが考えられる。物体検出部６０５による物体の検出方法については、図３等を参照しながら説明したため、ここでは説明を省略する。

照合部６０９は、物体検出部６０５で検出した物体検出結果と、動き検出部６０７で検出した各画像領域の動き検出結果とを照合する（Ｓ７０７）。この結果、各物体の動きの向き及び大きさ（速度）や、移動領域か滞留領域か等を特定することが可能となる。

（１．４ ハードウェア構成）
以下、図８を参照しながら、上述してきた画像処理システム１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお前述の通り、画像処理システム１００の機能は、複数の情報処理装置により実現することも可能である。

図８に示すように、画像処理システム１００は、プロセッサ８０１、メモリ８０３、記憶装置８０５、入力インタフェース（Ｉ／Ｆ）８０７、データＩ／Ｆ８０９、通信Ｉ／Ｆ８１１、及び表示装置８１３を含む。

プロセッサ８０１は、メモリ８０３に記憶されているプログラムを実行することにより画像処理システム１００における様々な処理を制御する。例えば、図６で説明した画像入力部６０１、物体検出部６０５、動き検出部６０７、及び照合部６０９に係る処理は、メモリ８０３に一時記憶された上で主にプロセッサ８０１上で動作するプログラムとして実現可能である。

メモリ８０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ８０３は、プロセッサ８０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ８０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

記憶装置８０５は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置８０５は、オペレーティングシステムや、画像入力部６０１、物体検出部６０５、動き検出部６０７、及び照合部６０９を実現するための各種プログラムを記憶する。また記憶装置８０５は、画像記憶部６０３として画像フレームを含む各種データ等を記憶する。記憶装置８０５に記憶されているプログラムやデータは、必要に応じてメモリ８０３にロードされることにより、プロセッサ８０１から参照される。

入力Ｉ／Ｆ８０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ８０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力Ｉ／Ｆ８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して画像処理システム１００に接続されても良い。

データＩ／Ｆ８０９は、画像処理システム１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ８０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ８０９は、画像処理システム１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ８０９は、例えばＵＳＢ等のインタフェースを介して画像処理システム１００へと接続される。

通信Ｉ／Ｆ８１１は、画像処理システム１００の外部の装置、例えば撮影装置等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ８１１は画像処理システム１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ８１１は、例えばＵＳＢ等のインタフェースを介して画像処理システム１００に接続される。

表示装置８１３は、各種情報を表示するためのデバイスである。表示装置８１３の具体例としては、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置８１３は、画像処理システム１００の外部に設けられても良い。その場合、表示装置８１３は、例えばディスプレイケーブル等を介して画像処理システム１００に接続される。

（１．５ 本実施形態に係る効果）
以上説明したように、本実施形態に係る画像処理システム１００は、２以上の画像を用いて得られる画像内の各領域の動きと、画像内で検出される物体位置とを用いて、画像内に含まれる各物体の動き（移動の向き及び大きさ）を特定する。

物体同士がすれ違ったり向きが変わったりする場合であっても、画像領域毎の動きは高い精度で取ることができる場合が多いため、好適に物体の動きを検出できるようになる。

（２ 第２実施形態）
以下、第２実施形態を、図９を参照しながら説明する。図９は、画像処理システム９００の機能構成を示すブロック図である。図９に示すように、画像処理システム９００は、入力部９１０と、第１検出部９２０と、第２検出部９３０と、照合部９４０とを含む。

入力部９１０は、２以上の画像の入力を受ける。ここでは、入力を受ける画像を、第１の画像と、第１の画像とは異なるタイミングで撮影された１以上の第２の画像と呼ぶ。
第１検出部９２０は、第１の画像と第２の画像との比較に基づき、第１の画像内の各領域の動きを検出する。
一方、第２検出部９３０は、第１の画像内の物体位置を検出する。
照合部９４０は、第１検出部９２０で検出された第１の画像内の各領域の動きと、第２の検出手段で検出された物体位置とを照合する。
このように実装することで、本実施形態に係る画像処理システム１００は、好適に物体の動きを検出することができる。

（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

（付記１）
第１の画像と、前記第１の画像とは異なるタイミングで撮影された１以上の第２の画像との入力を受ける入力手段と、前記第１の画像と前記第２の画像との比較に基づき、前記第１の画像内の各領域の動きを検出する第１の検出手段と、前記第１の画像内の物体位置を検出する第２の検出手段と、前記第１の検出手段で検出された前記第１の画像内の各領域の動きと、前記第２の検出手段で検出された物体位置とを照合する照合手段とを備える画像処理システム。

（付記２）
前記照合手段は、前記第１の検出手段で検出された前記第１の画像内の各領域の動きと、前記第２の検出手段で検出された１以上の物体の物体位置との照合により、前記１以上の物体の移動を判定する、付記１記載の画像処理システム。

（付記３）
前記照合手段は、前記第１の検出手段で検出された前記第１の画像内の各領域の動きと、前記第２の検出手段で検出された１以上の物体の物体位置との照合により、第１の画像内の滞留領域又は移動領域の少なくとも一方を特定する、付記１又は付記２記載の画像処理システム。

（付記４）
前記照合手段は、定められた面積内に閾値以上の物体が存在する領域と、前記第１の検出手段で検出された前記第１の画像内の各領域の動きとを照合する、付記３記載の画像処理システム。

（付記５）
前記第２の検出手段は、移動体の一部である物体の位置を検出する、付記１乃至付記４のいずれか１項記載の画像処理システム。

（付記６）
前記照合手段は、前記１以上の物体の移動方向と移動速度とを判定する、付記２記載の画像処理システム。

（付記７）
第１の画像と、前記第１の画像とは異なるタイミングで撮影された１以上の第２の画像との入力を受けるステップと、前記第１の画像と前記第２の画像との比較に基づき、前記第１の画像内の各領域の動きを検出するステップと、前記第１の画像内の物体位置を検出するステップと、前記第１の画像内の各領域の動きと、物体位置とを照合するステップと
を画像処理システが行う画像処理方法。

（付記８）
前記第１の画像内の各領域の動きと、１以上の物体の物体位置との照合により、前記１以上の物体の移動を判定する、付記７記載の画像処理方法。

（付記９）
前記第１の画像内の各領域の動きと、１以上の物体の物体位置との照合により、第１の画像内の滞留領域又は移動領域の少なくとも一方を特定する、付記７又は付記８記載の画像処理方法。

（付記１０）
定められた面積内に閾値以上の物体が存在する領域と、前記第１の検出手段で検出された前記第１の画像内の各領域の動きとを照合する、付記９記載の画像処理方法。

（付記１１）
移動体の一部である物体の位置を検出する、付記７乃至付記１０のいずれか１項記載の画像処理方法。

（付記１２）
前記１以上の物体の移動方向と移動速度とを判定する、付記８記載の画像処理方法。

（付記１３）
第１の画像と、前記第１の画像とは異なるタイミングで撮影された１以上の第２の画像との入力を受ける処理と、前記第１の画像と前記第２の画像との比較に基づき、前記第１の画像内の各領域の動きを検出する処理と、前記第１の画像内の物体位置を検出する処理と、前記第１の画像内の各領域の動きと、物体位置とを照合する処理とをコンピュータに実行させるプログラム。

（付記１４）
前記第１の画像内の各領域の動きと、１以上の物体の物体位置との照合により、前記１以上の物体の移動を判定させる、付記１３記載のプログラム。

（付記１５）
前記第１の画像内の各領域の動きと、１以上の物体の物体位置との照合により、第１の画像内の滞留領域又は移動領域の少なくとも一方を特定させる、付記１３又は付記１４記載のプログラム。

（付記１６）
定められた面積内に閾値以上の物体が存在する領域と、前記第１の検出手段で検出された前記第１の画像内の各領域の動きとを照合させる、付記１５記載のプログラム。

（付記１７）
移動体の一部である物体の位置を検出させる、付記１３乃至付記１６のいずれか１項記載のプログラム。

（付記１８）
前記１以上の物体の移動方向と移動速度とを判定させる、付記１４記載のプログラム。

１００・・・画像処理システム、２００・・・ビデオカメラ、６０１・・・画像入力部、６０３・・・画像記憶部、６０５・・・物体検出部、６０７・・・動き検出部、６０９・・・照合部、８０１・・・プロセッサ、８０３・・・メモリ、８０５・・・記憶装置、８０７・・・入力インタフェース、８０９・・・データインタフェース、８１１・・・通信インタフェース、８１３・・・表示装置、９００・・・画像処理システム、９１０・・・入力部、９２０・・・第１検出部、９３０・・・第２検出部、９４０・・・照合部

Claims (7)

1. 第１の画像と、前記第１の画像とは異なるタイミングで撮影された１以上の第２の画像との入力を受ける入力手段と、
   前記第１の画像と前記第２の画像との比較に基づき、前記第１の画像内の各領域の動きを検出する第１の検出手段と、
   前記第１の画像において１以上の物体を検出することにより、前記第１の画像内における前記１以上の物体の各々の物体位置を検出する第２の検出手段と、
   前記第１の検出手段で検出された前記第１の画像内の各領域の動きと、前記第２の検出手段で検出された前記１以上の物体の各々の物体位置とを照合することにより、前記第１の画像内における前記１以上の物体の各々の移動方向及び移動速度をそれぞれ判定する照合手段と
   を備える画像処理システム。
2. 前記照合手段は、前記第１の検出手段で検出された前記第１の画像内の各領域の動きと、前記第２の検出手段で検出された前記１以上の物体の物体位置との照合により、前記１以上の物体の移動を判定する、
   請求項１記載の画像処理システム。
3. 前記照合手段は、前記第１の検出手段で検出された前記第１の画像内の各領域の動きと、前記第２の検出手段で検出された１以上の物体の物体位置との照合により、第１の画像内の滞留領域又は移動領域の少なくとも一方を特定する、
   請求項１又は請求項２記載の画像処理システム。
4. 前記照合手段は、定められた面積内に閾値以上の物体が存在する領域と、前記第１の検出手段で検出された前記第１の画像内の各領域の動きとを照合する、
   請求項３記載の画像処理システム。
5. 前記第２の検出手段は、移動体の一部である物体の位置を検出する、
   請求項１乃至請求項４のいずれか１項記載の画像処理システム。
6. 第１の画像と、前記第１の画像とは異なるタイミングで撮影された１以上の第２の画像との入力を受けるステップと、
   前記第１の画像と前記第２の画像との比較に基づき、前記第１の画像内の各領域の動きを検出するステップと、
   前記第１の画像において１以上の物体を検出することにより、前記第１の画像内における前記１以上の物体の各々の物体位置を検出するステップと、
   前記第１の画像内の各領域の動きと、前記１以上の物体の各々の物体位置とを照合することにより、前記第１の画像内における前記１以上の各々の物体の移動方向及び移動速度をそれぞれ判定するステップと
   を画像処理システムが行う画像処理方法。
7. 第１の画像と、前記第１の画像とは異なるタイミングで撮影された１以上の第２の画像との入力を受ける処理と、
   前記第１の画像と前記第２の画像との比較に基づき、前記第１の画像内の各領域の動きを検出する処理と、
   前記第１の画像において１以上の物体を検出することにより、前記第１の画像内における前記１以上の物体の各々の物体位置を検出する処理と、
   前記第１の画像内の各領域の動きと、前記１以上の物体の各々の物体位置とを照合することにより、前記第１の画像内における前記１以上の物体の各々の移動方向及び移動速度をそれぞれ判定する処理と
   をコンピュータに実行させるプログラム。