JP7154045B2 - 画像処理装置、撮像装置、画像処理方法 - Google Patents

Description

本発明は、画像中の物体検知技術に関するものである。

従来より、画像処理を用いた特定物体の持ち去り検知には、撮像画像と事前に取得しておいた背景画像との比較を行い、事前に取得しておいた背景画像には存在しない領域の抽出を行う背景差分法が多く使用されている。図１は、背景差分法を用いた持ち去り検知処理の例を示したものである。１０００は物体１０１を含む背景画像、１００１～１００３はこの順に撮像された撮像画像である。１００４は背景画像１０００と撮像画像１００１との差分、１００５は背景画像１０００と撮像画像１００２との差分、１００６は背景画像１０００と撮像画像１００３との差分、を表している。

撮像画像１００１と撮像画像１００２との間のタイミングで物体１０１が持ち去られたので、図１に示す如く、撮像画像１００１には写っていた物体１０１が撮像画像１００２、１００３には写っていない。そのため、差分１００５，１００６には、事前に設定した持ち去り検知領域１０２内に背景差分１０３が存在する。背景差分１０３の大きさが規定の大きさ以上で且つ一定時間以上撮像画像内に存在する場合には、持ち去りが発生したと判定されてアラート１０４（背景差分１０３を囲む枠の表示）が発生する。

持ち去り検知の精度を保証するためには、正確な背景差分の抽出が必要であり、それには常に適切な背景画像を設定する必要がある。適切な背景画像を設定するためには、照明条件等の環境変化が起きる度に背景画像を更新する必要があるが、背景画像の更新時には、動体を含む背景画像を設定してしまう可能性がある。

図２は、動体を含む背景画像が設定された場合の持ち去り検知処理の例を示したものである。２０００は動体としての手２０１を含む背景画像である。２００１～２００３はこの順に撮像された撮像画像である。２００４は背景画像２０００と撮像画像２００１との差分、２００５は背景画像２０００と撮像画像２００２との差分、２００６は背景画像２０００と撮像画像２００３との差分、を表している。

撮像画像２００１に写り込んでいた手２０１が撮像画像２００２，２００３には写っていない。然るに、差分２００５、２００６の持ち去り検知領域１０２内に背景差分２０３が発生する。これにより、持ち去りが発生したと判定されてアラート２０４（背景差分２０３を囲む枠の表示）が発生する可能性がある。

このような問題を解決するために、特許文献１には、背景として適切ではない人体が検出されると、更新手段による背景画像の更新を中断し、人体を検出しなくなったところで処理を再開する方法が開示されている。また、特許文献２には、フレーム間差分処理によって差分が無いフレームを抽出し、そのフレームを用いて背景画像の更新を行う方法が開示されている。

特許第4811653号 特開2013-257785号広報

しかしながら、上述の特許文献１に開示された従来技術では、動体を人体として判定する必要があり、短時間の変化であったり、画角が制限されるような場合には適用することが難しいと考えられる。また、特許文献２に開示された従来技術では、背景差分のほかにフレーム間差分も求める必要があり、計算負荷が高くなってしまう。本発明では、持ち去り検知に適切な背景画像を登録するための技術を提供する。

本発明の一様態は、順次入力される撮像画像のうち複数フレームおきの撮像画像を背景画像として登録する登録手段と、
前記登録手段が第１のタイミングで登録した第１背景画像に動体が含まれているか否かを判断する判断手段と、
前記第１背景画像に動体が含まれていると前記判断手段が判断した場合には、前記登録手段が登録した前記第１背景画像を、前記第１のタイミングより前の第２のタイミングで登録した第２背景画像に置換する置換手段と
を備え、
前記判断手段は、順次入力される撮像画像と、前記第２背景画像と、の差分画像に基づいて、前記第１背景画像に動体が含まれているか否かを判断することを特徴とする。

本発明の構成によれば、持ち去り検知に適切な背景画像を登録することができる。

背景差分法を用いた持ち去り検知処理の例を示した図である。 動体を含む背景画像が設定された場合の持ち去り検知処理の例を示した図である。 画像処理装置の機能構成例を示すブロック図である。 背景画像の更新例を示す図である。 画像処理装置３００の動作のフローチャートである。 テーブル情報の構成例を示す図である。 画像処理装置の機能構成例を示すブロック図である。 コンピュータ装置のハードウェア構成例を示すブロック図である。 システムの構成例を示す図である。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

［第１の実施形態］
先ず、本実施形態に係る画像処理装置の機能構成例について、図３のブロック図を用いて説明する。なお図３では、画像処理装置３００と、検知設定部３１１と、外部出力部３１２と、を別個のものとして示しているが、このうち２以上を一体化させてても良い。

画像入力部３０１は、画像処理装置３００に対して順次入力される撮像画像を取得する。撮像画像の供給元は特定の供給元に限らない。例えば、画像入力部３０１は、撮像装置から出力される各フレームの撮像画像を取得するようにしても良い。例えば、図９に示す如く、画像処理装置３００と、複数フレームの撮像画像を撮像する撮像装置９００と、を有するシステムを構築したとする。このとき、画像処理装置３００（画像入力部３０１）は、撮像装置９００からネットワーク９０１を介して送信される各フレームの撮像画像を取得するようにしても良い。また、画像入力部３０１は、動画像が記録された装置（例えばサーバ装置）から各フレームの撮像画像を取得するようにしても良い。また、画像入力部３０１は、画像処理装置３００内の不図示のメモリに格納されている各フレームの撮像画像を取得するようにしても良い。また、撮像画像は動画像を構成する各フレームの画像であることに限らず、複数回撮像することで得られる複数枚の静止画像のそれぞれであっても良い。

更新部３０２は、画像入力部３０１が取得した撮像画像のうち複数フレームおきの撮像画像を背景画像として背景記憶部３０３に登録する。例えば更新部３０２は、画像入力部３０１が順次取得する撮像画像のうちＮ（Ｎは２以上の整数）フレームおきの撮像画像を背景画像として背景記憶部３０３に登録するようにしても良い。また更新部３０２は、画像入力部３０１が順次取得する撮像画像を規定時間おきにサンプリングし、該サンプリングした撮像画像を背景画像として背景記憶部３０３に登録するようにしても良い。また更新部３０２は、画像入力部３０１が順次取得する撮像画像を不定期的（例えば環境に変化があると）にサンプリングし、該不定期的にサンプリングされた撮像画像を背景画像として背景記憶部３０３に登録するようにしても良い。環境の変化は、例えば、画像処理装置３００の周囲の明るさの変化である。背景記憶部３０３には、最近登録された背景画像（第１のタイミングで登録された第１背景画像）である現背景３２０と、該現背景３２０よりも過去に登録された複数枚の背景画像（第１のタイミングより前の第２のタイミングで登録された第２背景画像）である過去背景３２１と、が格納されている。

差分検出部３０４は、画像入力部３０１が取得した撮像画像と、背景記憶部３０３に登録されている現背景３２０と、の差分を生成する。動体判定部３０５は、背景記憶部３０３に撮像画像が現背景３２０として登録された場合に、該現背景３２０に動体が含まれているか否かを判定する。

背景照合部３０６は、画像入力部３０１が取得した撮像画像と、背景記憶部３０３に登録されている過去背景３２１に含まれている複数の第２背景画像のうち１以上の第２背景画像と、の差分を生成する。

判定部３０７は、差分検出部３０４が生成した差分に基づき、画像入力部３０１が取得した撮像画像中の「検知設定部３１１により設定された持ち去り検知領域」において物体の有無を判定することで、物体の持ち去りがあったか否かを判定する。

検知設定部３１１は、持ち去り検知に係るパラメータの設定を行う。パラメータには、画像中の持ち去り検知領域を規定する情報（持ち去り検知領域の四隅の座標等）、持ち去りがあったと判定するために満たすべき時間、持ち去りがあったと判定するために満たすべき「持ち去り検知領域において物体が占める割合」等が含まれる。なお、持ち去り検知領域は画像の部分領域であることに限らず、画像の全体領域であっても良い。

外部出力部３１２は、画像処理装置３００における様々な処理結果（例えば、差分検出部３０４や判定部３０７による処理結果）を出力する。外部出力部３１２による処理結果の出力先については特定の出力先に限らない。例えば、外部出力部３１２は、無線及び／または有線のネットワークを介して外部の装置に対して処理結果を出力しても良いし、表示装置に処理結果を画像や文字として出力しても良いし、スピーカに対して処理結果を表す音声信号を出力しても良い。また、外部出力部３１２は、処理結果をそのまま出力しても良いし、処理結果を加工してから出力しても良い。

次に、画像処理装置３００の動作について、図５のフローチャートに従って説明する。なお、図５のフローチャートに従った処理は、１フレーム分の撮像画像が画像処理装置３００に入力された場合に画像処理装置３００が行う処理である。然るに、画像処理装置３００は、該画像処理装置３００に入力される各フレームの撮像画像に対して図５のフローチャートに従った処理を行うことになる。

ステップＳ５０１では、画像入力部３０１は、画像処理装置３００に対して入力された撮像画像を取得する。このとき、外部出力部３１２は、ステップＳ５０１において取得した撮像画像を外部に出力する。

ステップＳ５０２では、更新部３０２は、ステップＳ５０１において取得した撮像画像を背景画像として背景記憶部３０３に登録するか否かを判断する。例えば、Ｎフレームおきの撮像画像を背景画像として登録する場合、更新部３０２は、ステップＳ５０１において取得した撮像画像が、前回登録した撮像画像からＮフレームおきの撮像画像であれば、登録すると判断する。一方、更新部３０２は、ステップＳ５０１において取得した撮像画像が、前回登録した撮像画像からＮフレームおきの撮像画像ではなければ、登録しないと判断する。このように、更新部３０２は、複数フレームおきの撮像画像を背景画像として背景記憶部３０３に登録するのであれば、ステップＳ５０２における判断処理は特定の判断処理に限らない。

ステップＳ５０１において取得した撮像画像を背景画像として背景記憶部３０３に登録すると判断した場合には、処理はステップＳ５０３に進む。一方、ステップＳ５０１において取得した撮像画像を背景画像として背景記憶部３０３に登録しないと判断した場合には、処理はステップＳ５０８に進む。ステップＳ５０３では、更新部３０２は、ステップＳ５０１において取得した撮像画像を現背景３２０として背景記憶部３０３に登録する。

ステップＳ５０５では、動体判定部３０５は、現背景３２０に動体が含まれているか否かを判断する。現背景３２０に動体が含まれているか否かを判断するための方法には様々な方法があり、特定の方法に限らない。以下に、その判断方法の一例を説明する。

背景照合部３０６は、撮像画像が入力されるたびに、該撮像画像と、背景記憶部３０３に登録されている過去背景３２１と、の差分を生成する。例えば背景照合部３０６は、撮像画像と、背景記憶部３０３に登録されている１以上の第２背景画像と、の差分画像を生成する。２枚の画像間の差分画像の生成方法については特定の生成方法に限らない。例えば、一方の画像中の画素位置（ｘ、ｙ）における画素の画素値と、他方の画像中の画素位置（ｘ、ｙ）における画素の画素値と、の差分値（絶対値）を差分画像中の画素位置（ｘ、ｙ）における画素の画素値とする生成方法であっても良い。

そして動体判定部３０５は、差分画像において画素値が規定値よりも大きい画素で構成される画像領域（背景差分）のサイズ（例えば背景差分を構成する画素の数）の変化をチェックする。そして動体判定部３０５は、背景差分のサイズが規定のサイズ未満になれば、現背景３２０に動体が含まれていると判断する。なお、背景差分のサイズに基づいて「現背景３２０に動体が含まれているか否かを判断する」方法は上記の方法に限らない。また、撮像画像と第２背景画像との差分画像に基づいて「現背景３２０に動体が含まれているか否かを判断する」方法は上記の方法に限らない。なお、外部出力部３１２は、この背景差分を出力するようにしても良い。

そして、現背景３２０に動体が含まれていると判断した場合には、処理はステップＳ５０６に進む。一方、現背景３２０に動体が含まれていないと判断した場合（例えば、現背景３２０に動体が含まれていると判断するための条件が満たされていない場合）には、処理はステップＳ５０８に進む。

ステップＳ５０６で更新部３０２は、背景記憶部３０３に登録されている第２背景画像のうち、ステップＳ５０５の判断以降（例えば判断時若しくは直後）に画像入力部３０１が取得した撮像画像と最も類似する第２背景画像を選択第２背景画像として選択する。

例えば更新部３０２は、背景記憶部３０３に登録されているそれぞれの第２背景画像について、撮像画像との類似度を求める。２つの画像間の類似度を求める方法には様々な方法があり、特定の方法に限らない。例えば、２つの画像間におけるSSD(Sum of Squared Difference)が小さいほど類似度を高くし、該SSDが大きいほど類似度を低くするように該２つの画像間の類似度を定めても良い。そして更新部３０２は、背景記憶部３０３に登録されているそれぞれの第２背景画像のうち撮像画像との類似度が最も高い第２背景画像を選択第２背景画像として選択する。

そしてステップＳ５０７では、更新部３０２は、現背景３２０として登録されている背景画像を、ステップＳ５０６において選択した選択第２背景画像に更新（置換）することで、選択第２背景画像を現背景３２０として背景記憶部３０３に登録する。

ステップＳ５０８では、差分検出部３０４は、画像入力部３０１が取得した撮像画像と、現背景３２０と、の差分を生成する。例えば、差分として画像入力部３０１が取得した撮像画像と現背景３２０との差分画像を、上記の差分画像生成方法でもって生成する。

ステップＳ５０９では、判定部３０７は、ステップＳ５０８において生成した差分画像に基づき、撮像画像中の持ち去り検知領域において物体の有無を判定することで、物体の持ち去りがあったか否かを判定する。例えば判定部３０７は、差分画像中の持ち去り検知領域内で規定値以上の画素値を有する画素で構成される画像領域（規定サイズ以上のサイズを有する）を検知した場合には、撮像画像中に物体が存在すると判断する。一方、判定部３０７は、差分画像中の持ち去り検知領域内で規定値以上の画素値を有する画素で構成される画像領域（規定サイズ以上のサイズを有する）を検知しなかった場合、撮像画像中に物体が存在しないと判断する。そして判定部３０７は、Ｐフレーム目の撮像画像には物体が存在すると判断し、（Ｐ＋１）フレーム目～Ｑ（Ｑ＞Ｐ＋１）フレーム目の各フレームの撮像画像には物体が存在しないと判断した場合（持ち去り条件）には、持ち去りが発生したと判断する。Ｑは、検知設定部３１１が上記の「時間」として設定したパラメータである。一方、判定部３０７は、持ち去り条件が満たされなかった場合には、持ち去りは発生していないと判断する。

判定部３０７が持ち去りが発生したと判断した場合には、処理はステップＳ５１０に進み、持ち去りは発生していないと判断した場合には、今回の図５のフローチャートに従った処理は終了する。

なお、ステップＳ５１０に進む条件は上記の条件に限らず、検知設定部３１１が設定したパラメータが規定する条件を満たした場合に、ステップＳ５１０に進むようにしても良い。

ステップＳ５１０では、外部出力部３１２は、持ち去りがあったことを報知する。持ち去りがあったことを報知するための方法には様々な方法があり、特定の方法に限らない。例えば、外部出力部３１２は、画像入力部３０１が取得した撮像画像を表示装置に表示する場合、該撮像画像における持ち去り検知領域の枠を、持ち去りが無かった場合における表示形態とは異なる表示形態で表示するようにしても良い。例えば、持ち去りが無かった場合と比べて枠の色や太さを変更しても良いし、枠を点滅させて表示させても良い。また、持ち去りがあったことを表すテキストやアイコンを表示しても良いし、スピーカを介して持ち去りがあったことを示す音を出力するようにしても良い。また、外部出力部３１２は、持ち去りがあった旨を示すメールなどのメッセージを外部に送信するようにしても良い。

背景画像の更新例について、図４を用いて説明する。現背景３２０が、背景画像４０００から、動体としての手４０１を含む背景画像４００１に更新されたとする。このとき、該更新後に入力された撮像画像４００４と背景画像４０００との差分４００８には動体としての手４０１が含まれているが、その後に入力された撮像画像４００５と背景画像４０００との差分４００９には動体としての手４０１が含まれていない。然るにこの場合には、現背景３２０として登録した背景画像４００１を、撮像画像４００５と最も類似する第２背景画像４００２に戻す。

このように、本実施形態によれば、動体を含む背景画像を、持ち去り検知を実施するために用いる背景画像として登録してしまっても、該背景画像を適切な背景画像に戻すことができ、その後の持ち去り検知を精度を落とすことなく行うことができる。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態では、背景画像の更新時には必ず更新前の背景画像を第２背景画像として登録したが、第２背景画像の保持方法は背景画像の更新頻度によって切り替えてもよい。例えば、背景画像の更新頻度が高い状況の場合には、第２背景画像すべてを蓄積していってしまうと蓄積するべきデータ量が増大してしまう。そのため、背景画像の更新頻度が予め決められた回数より多い場合は、最近の第２背景画像のみ若しくは最近の第２背景画像から過去に遡って規定数の第２背景画像を過去背景３２１として保持し続ける方法が挙げられる。このような制御は、例えば、更新部３０２が行う。また、保持する第２背景画像の数は、適用するユースシーンに応じて、ユーザが設定するようにしても良い。

［第３の実施形態］
第１の実施形態では、背景記憶部３０３に登録されている第２背景画像のうち撮像画像と最も類似する第２背景画像を選択第２背景画像として選択していた。一例としては、背景記憶部３０３に登録されているそれぞれの第２背景画像のうち撮像画像との類似度が最も高い第２背景画像を選択第２背景画像として選択していた。しかし、撮像画像とそれぞれの第２背景画像との類似度が何れも規定値を超えない場合には、該撮像画像を選択第２背景画像として選択するようにしても良い。また、規定値は、ユースシーンに応じてユーザが適宜決めても良い。

［第４の実施形態］
持ち去り検知を利用して商品棚などの監視を行う場合、持ち去りを検知した数をカウントすることで、その場から持ち去られた商品数を把握することができる。このような持ち去り検知を検知した数をカウントする画像処理装置の機能構成例について図７のブロック図を用いて説明する。図７において図３に示した機能部と同様の機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。なお図７では、画像処理装置７００と、検知設定部３１１と、外部出力部３１２と、を別個のものとして示しているが、このうち２以上を一体化させてても良い。

画像処理装置７００は、図３の画像処理装置３００にカウント部７０１を加えたものである。カウント部７０１は、判定部３０７が「持ち去りが発生した」と判断した場合には、この時点で現背景３２０として登録されている背景画像に対するカウントを「１」にする。カウントの初期値は「０」である。一方、カウント部７０１は、現背景３２０に動体が含まれていないと判断された場合には、該現背景３２０として登録されている背景画像に対するカウントを「０」にする。

カウント部７０１が背景記憶部３０３にて管理するテーブル情報の構成例を図６に示す。「時刻（更新時刻）」は、現背景３２０が登録された時刻を表しており、「背景データ」は、現背景３２０の画像ファイル名を表しており、「持ち去り検知数」はカウント値を表している。そして、外部出力部３１２は、図６のテーブル情報に登録されているそれぞれの持ち去り検知数の合計を、持ち去りの総数としてユーザに報知する。報知方法は第１の実施形態と同様に、特定の報知方法に限らず、持ち去りの総数を表示装置に画像や文字として表示しても良いし、スピーカを介して音声として報知しても良いし、メッセージとして報知しても良い。なお、本実施形態では、持ち去りが検知されると、背景画像の登録処理（現背景３２０の更新処理）を行う。

［第５の実施形態］
図３，７に示した各機能部を全てハードウェアで実装しても良いが、一部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このソフトウェアを実行可能なコンピュータ装置は、上記の画像処理装置３００、７００に適用可能である。画像処理装置３００、７００に適用可能なコンピュータ装置のハードウェア構成例について、図８のブロック図を用いて説明する。

ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ８０１は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置３００、７００が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ８０２は、ＲＯＭ８０３や外部記憶装置８０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）８０７を介して外部から受信したデータ、を格納するためのエリアを有する。またＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ８０２は、各種のエリアを適宜提供することができる。なお、上記の背景記憶部３０３は、ＲＡＭ８０２を用いて実施可能である。ＲＯＭ８０３には、コンピュータ装置の起動プログラムや設定データなど、書換不要の情報が格納されている。

操作部８０４は、キーボード、マウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ８０１に対して入力することができる。例えばユーザは操作部８０４を操作することで、上記のパラメータなどを設定することができる。

表示部８０５は、液晶画面やタッチパネル画面等により構成されており、ＣＰＵ８０１による処理結果を画像や文字などでもって表示することができる。また表示部８０５は、画像や文字を投影する投影装置であっても構わない。

外部記憶装置８０６は、ハードディスクドライブ装置等の大容量情報記憶装置である。外部記憶装置８０６には、ＯＳ（オペレーティングシステム）や、画像処理装置３００、７００が行うものとして上述した各処理をＣＰＵ８０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置８０６に保存されているコンピュータプログラムには、例えば、次のようなコンピュータプログラムが含まれている。つまり、画像入力部３０１、更新部３０２、差分検出部３０４、動体判定部３０５、背景照合部３０６、判定部３０７、検知設定部３１１、カウント部７０１、の各機能部の機能をＣＰＵ８０１に実現させるためのコンピュータプログラムである。また、外部記憶装置８０６に保存されているデータには、例えば、上記の説明において既知の情報として取り扱ったもの（規定値など）が含まれている。外部記憶装置８０６に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。なお、上記の背景記憶部３０３は、外部記憶装置８０６を用いて実施可能である。

Ｉ／Ｆ８０７は、外部の機器との間のデータ通信を行うためのインターフェースとして機能するものである。例えば、撮像装置により撮像された各フレームの撮像画像を該撮像装置からＩ／Ｆ８０７を介して受信したり、動画像を保持するサーバ装置から該動画像をＩ／Ｆ８０７を介して受信したりすることができる。ＣＰＵ８０１、ＲＡＭ８０２、ＲＯＭ８０３、操作部８０４、表示部８０５、外部記憶装置８０６、Ｉ／Ｆ８０７は何れも、バス８０８に接続されている。

なお、図８に示した構成は、上記の撮像装置９００に適用しても構わない。また、上記の画像処理装置３００、７００は組み込み回路として撮像装置に組み込んでも良い。この場合、画像入力部３０１は、該撮像装置が有する撮像部（光学系や撮像素子を有し、外界からの光を画像信号に変換し、該画像信号から撮像画像を構成する）から送出される撮像画像を取得することになる。なお、上記の各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わないし、上記の各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１：画像入力部 ３０２：更新部 ３０３：背景記憶部 ３０４：差分検出部 ３０５：動体判定部 ３０６：背景照合部 ３０７：判定部 ３１１：検知設定部 ３１２：外部出力部

Claims (9)

1. 順次入力される撮像画像のうち複数フレームおきの撮像画像を背景画像として登録する登録手段と、
   前記登録手段が第１のタイミングで登録した第１背景画像に動体が含まれているか否かを判断する判断手段と、
   前記第１背景画像に動体が含まれていると前記判断手段が判断した場合には、前記登録手段が登録した前記第１背景画像を、前記第１のタイミングより前の第２のタイミングで登録した第２背景画像に置換する置換手段と
   を備え、
   前記判断手段は、順次入力される撮像画像と、前記第２背景画像と、の差分画像に基づいて、前記第１背景画像に動体が含まれているか否かを判断することを特徴とする画像処理装置。
2. 前記置換手段は、前記第１背景画像に動体が含まれていると前記判断手段が判断した場合には、前記第１背景画像を、該判断の後に入力された撮像画像と最も類似する前記第２背景画像に置換することを特徴とする請求項１に記載の画像処理装置。
3. 前記置換手段は、前記第１背景画像に動体が含まれていると前記判断手段が判断し、該判断の後に入力された撮像画像と前記第２背景画像との類似度が規定値を超えない場合には、前記第１背景画像を該撮像画像に置換することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記登録手段は、前記登録の頻度に応じて、登録する前記第２背景画像の数を制御することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記画像処理装置は更に、
   順次入力される撮像画像と、前記第１背景画像と、の差分に基づいて、該撮像画像に物体が含まれているか否かを判断し、該判断の結果に応じて持ち去りの有無を検知する検知手段と、
   前記検知手段による検知の結果を報知する報知手段と
   を備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記報知手段は、前記持ち去り検知の回数をカウントして報知することを特徴とする請求項５に記載の画像処理装置。
7. 撮像画像を取得する撮像部と、
   請求項１乃至６の何れか１項に記載の画像処理装置と
   を備えることを特徴とする撮像装置。
8. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の登録手段が、順次入力される撮像画像のうち複数フレームおきの撮像画像を背景画像として登録する登録工程と、
   前記画像処理装置の判断手段が、前記登録工程で第１のタイミングで登録した第１背景画像に動体が含まれているか否かを判断する判断工程と、
   前記画像処理装置の置換手段が、前記第１背景画像に動体が含まれていると前記判断工程で判断した場合には、前記登録工程で登録した前記第１背景画像を、前記第１のタイミングより前の第２のタイミングで登録した第２背景画像に置換する置換工程と
   を備え、
   前記判断工程では、順次入力される撮像画像と、前記第２背景画像と、の差分画像に基づいて、前記第１背景画像に動体が含まれているか否かを判断することを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images