JP6378483B2 - 検出装置、検出対象物の検出方法及び制御プログラム - Google Patents

Description

本発明は、検出対象物の検出技術に関する。

特許文献１及び非特許文献１〜３にも記載されているように、人等の検出対象物の検出技術に関して従来から様々な技術が提案されている。

特開２０１２−１５５９１７号公報

K.Kim,T.Chalidabhongse,D.Harwood,and L.Davis,"Real-time foreground-background segmentation using codebook model"Real-Time Imaging,vol.11,no.3,pp.172-185,Jun.2005. P.Guha,D.Palai,K.S.Venkatesh,and A.Mukerjee,"A Multiscale Co-linearity Statistic Based Approach To Robust Background Modeling."ACCV,2006. R.Mester,T.Aach,and L.Dumbgen,"Illumination-invariant change detection using a statistical colinearity criterion"Proceedings of the 23rd DAGM-Symposium on Pattern Recognition,Springer-Verlag(2001)170-177

検出対象物を検出する際には、その精度の向上が望まれている。

そこで、本発明は上述の点に鑑みて成されたものであり、検出対象物の検出精度を向上することが可能な技術を提供することを目的とする。

本発明に係る検出装置の一態様は、背景画像情報を含む背景モデルを記憶する記憶部と、前記背景モデルと入力画像とを用いて、当該入力画像に写る撮像領域に存在する検出対象物を検出する検出部と、前記撮像領域において、検出対象物が存在する可能性が高い領域を、前記検出部での検出結果に基づいて特定する特定部と、入力画像から得られる画像情報を背景画像情報として前記背景モデルに登録するか否かを、前記特定部での特定結果を用いて決定する決定部とを備える。

また、本発明に係る検出装置の一態様では、前記特定部は、前記検出部での検出結果に基づいて、前記撮像領域を構成する複数の部分撮像領域のそれぞれについての前記検出対象物の検出頻度を求め、当該複数の部分撮像領域のうち、当該検出頻度が第１のしきい値以上あるいは当該第１のしきい値よりも大きい部分撮像領域を、前記検出対象物が存在する可能性が高い領域とする。

また、本発明に係る検出装置の一態様では、前記特定部は、前記検出部での検出結果に基づいて、前記複数の部分撮像領域のそれぞれについての前記検出対象物の非検出頻度を求め、前記特定部は、前記複数の部分撮像領域のうち、前記非検出頻度が前記第２のしきい値以上あるいは当該第２のしきい値よりも大きい部分撮像領域についての前記検出頻度及び前記非検出頻度をクリアする。

また、本発明に係る検出装置の一態様では、前記特定部は、前記複数の部分撮像領域において、前記検出対象物が検出された第１部分撮像領域の前記検出頻度を増加させるとともに、当該第１部分撮像領域の周辺の第２部分撮像領域の前記検出頻度を増加させる。

また、本発明に係る検出対象物の検出方法の一態様は、（ａ）背景画像情報を含む背景モデルと入力画像とを用いて、当該入力画像に写る撮像領域に存在する検出対象物を検出する工程と、（ｂ）前記撮像領域において、検出対象物が存在する可能性が高い領域を、前記工程（ａ）での検出結果に基づいて特定する工程と、（ｃ）入力画像から得られる画像情報を背景画像情報として前記背景モデルに登録するか否かを、前記工程（ｂ）での特定結果を用いて決定する工程とを備える。

また、本発明に係る制御プログラムの一態様は、検出対象物の検出を行う検出装置を制御するための制御プログラムであって、前記検出装置に、（ａ）背景画像情報を含む背景モデルと入力画像とを用いて、当該入力画像に写る撮像領域に存在する検出対象物を検出する工程と、（ｂ）前記撮像領域において、検出対象物が存在する可能性が高い領域を、前記工程（ａ）での検出結果に基づいて特定する工程と、（ｃ）入力画像から得られる画像情報を背景画像情報として前記背景モデルに登録するか否かを、前記工程（ｂ）での特定結果を用いて決定する工程とを実行させるためのものである。

本発明によれば、検出対象物の検出精度が向上する。

検出装置で行われる処理の概要を示す図である。 検出装置の構成を示す図である。 画像処理部の構成を示す図である。 撮像領域の一例を示す図である。 背景モデルの一例を示す図である。 コードワードの一例を示す図である。 検出装置の動作を示すフローチャートである。 検出装置の動作を示すフローチャートである。 検出装置の動作を示すフローチャートである。 検出装置の動作を説明するための図である。 画像ベクトルと背景ベクトルとの関係を示す図である。 検出頻度マップの一例を示す図である。 非検出頻度マップの一例を示す図である。 検出装置の動作を示すフローチャートである。 撮像領域において検出対象物が存在する可能性が高い領域の一例を示す図である。 登録判定期間の調整方法を説明するための図である。 検出対象物の検出結果の一例を示す図である。 検出頻度マップの一例を示す図である。 検出対象物の検出結果の一例を示す図である。 検出対象物の検出結果の一例を示す図である。 検出頻度マップの一例を示す図である。 検出頻度マップの更新例を示す図である。 非検出頻度マップの更新例を示す図である。 検出頻度マップの更新例を示す図である。

＜検出装置の動作の概要＞
図１は本実施の形態に係る検出装置１の動作の概要を示す図である。検出装置１は、入力される画像に基づいて、当該画像に写る撮像領域、つまり当該画像を撮像する撮像部の撮像領域（視野範囲）に存在する検出対象物を検出する。

本実施の形態では、検出対象物は動体、より具体的には人である。検出装置１は、入力される画像に含まれる動体画像（動体を示す画像）を検出することによって、動体検出、つまり当該画像に写る撮像領域に存在する動体を検出する。

図１に示されるように、本実施の形態では、検出装置１の動作段階として、準備段階と実動作段階とが存在する。検出装置１は、準備段階において、時系列で順次に入力される複数枚の入力画像を用いて、背景モデルの生成処理を実行する。背景モデルは、同一のシーン（被写体）を撮影して得られた複数枚の入力画像に含まれる情報が集められて構成されたモデルである。背景モデルは、後述の動体検出処理において、時系列で順次に入力される各入力画像から動体画像を検出する際に利用される。なお、背景モデルの生成処理が実行される準備段階は「学習段階」とも呼ばれる。以後、背景モデルの生成で使用される入力画像を「基準画像」と呼び、動体画像の検出の対象となる入力画像を「検出対象画像」と呼ぶことがある。

検出装置１では、背景モデルの生成が完了すると、動作段階が準備段階から実動作段階へと移行する。検出装置１は、実動作段階において、入力画像に対して動体画像の検出を行う動体検出処理と、背景モデルを更新する背景モデル更新処理と、背景モデル更新処理で使用される後述の登録判定期間を調整する判定期間調整処理とを行う。なお、本実施の形態では、検出対象物は人であるが、人以外であっても良い。

＜検出装置の構成＞
図２は検出装置１の構成を示すブロック図である。図２に示されるように、検出装置１は、画像入力部２と、画像処理部３と、検出結果出力部４と、背景モデル記憶部５と、キャッシュモデル記憶部６とを備えている。図３は画像処理部３の構成を示すブロック図である。

画像入力部２は、検出装置１の外部から入力される入力画像２００を画像処理部３に入力する。入力画像２００は撮像部で撮像された撮像画像である。図４は、入力画像２００に写る撮像領域１０、つまり入力画像２００を撮像する撮像部の撮像領域（視野範囲）１０の一例を示す図である。図４に示される撮像領域１０には、被写体として会議室１００が含まれている。したがって、この場合には、検出装置１に入力される入力画像２００は、会議室１００を示す画像となる。会議室１００では、複数の机１０１と複数の椅子１０２が床の中央部を取り囲むように並べられており、複数の机１０１の外側が通路１０３となっている。そして、会議室１００では、壁の一部にカーテン１０４が設けられている。本実施の形態に係る検出装置１は、例えば、会議室１００を示す入力画像２００に対して動体画像の検出を行うことによって、会議室１００に存在する人を検出する。

画像処理部３は、画像入力部２から入力される入力画像２００に対して様々な画像処理を行う。画像処理部３は、ＣＰＵ３００と記憶部３１０を備えている。記憶部３１０は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の、ＣＰＵ３００が読み取り可能な非一時的な記録媒体で構成されている。記憶部３１０には、検出装置１を制御するための制御プログラム３１１が記憶されている。ＣＰＵ３００が記憶部３１０内の制御プログラム３１１を実行することによって、画像処理部３には様々な機能ブロックが形成される。

なお記憶部３１０は、ＲＯＭ及びＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていても良い。記憶部３１０は、例えば、小型のハードディスクドライブ及びＳＳＤ（Solid State Drive）等を備えていても良い。

図３に示されるように、画像処理部３には、背景モデル生成部３０、動体検出部３１、判定期間調整部３２及び背景モデル更新部３３等の複数の機能ブロックが形成される。これらの機能ブロックは、ＣＰＵがプログラムを実行することによって実現されるのではなく、論理回路を用いたハードウェア回路で実現されても良い。

背景モデル生成部３０は、画像入力部２から順次入力される複数枚の入力画像２００（複数枚の基準画像２００）を用いて、背景画像情報を含む背景モデル５００を生成する。背景モデル生成部３０によって生成された背景モデル５００は背景モデル記憶部５に記憶される。

動体検出部３１は、画像入力部２から入力される入力画像２００と、背景モデル記憶部５内の背景モデル５００とを用いて、入力画像２００中の動体画像を検出する。言い換えれば、動体検出部３１は、入力画像２００と背景モデル５００とを用いて、当該入力画像２００に写る撮像領域１０に存在する動体を検出する。

背景モデル更新部３３は背景モデル５００の更新を行う。背景モデル更新部３３は、特定部３３０及び登録決定部３３１を備えている。特定部３３０は、動体検出部３１での動体検出の検出結果に基づいて、撮像領域１０において動体が存在する可能性が高い領域を特定する。具体的には、特定部３３０は、動体検出部３１での検出結果に基づいて、検出頻度マップと非検出頻度マップを生成し、これらのマップを用いて撮像領域１０において動体が存在する可能性が高い領域を特定する。検出頻度マップは、撮像領域１０における複数の領域での動体（検出対象物）の検出頻度の分布を示している。非検出頻度マップは、撮像領域１０における複数の領域での動体の非検出頻度の分布を示している。登録決定部３３１は、入力画像２００から得られる画像情報を背景画像情報として背景モデル５００に登録するか否かを、特定部３３０での特定結果を用いて決定する。検出頻度マップ及び非検出頻度マップについては後で詳細に説明する。

背景モデル記憶部５は、背景モデル生成部３０で生成される背景モデル５００を記憶する。キャッシュモデル記憶部６は、後述するキャッシュモデルを記憶する。背景モデル記憶部５及びキャッシュモデル記憶部６のそれぞれは、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）またはハードディスク（ＨＤ）等の書き換え可能な記憶手段で構成される。なお本例では、背景モデル記憶部５とキャッシュモデル記憶部６とはハードウェア的に独立しているが、一つの記憶装置が有する記憶領域の一部を背景モデル記憶部５として使用し、当該記憶領域の他の一部をキャッシュモデル記憶部６として使用しても良い。

判定期間調整部３２は、背景モデル５００の更新で使用される登録判定期間を調整する。検出結果出力部４は、動体検出部３１での動体検出の検出結果を外部に出力する。検出結果出力部４は、例えば、撮像領域１０の様子、つまり撮像領域１０に存在する被写体（図４の例では会議室１００）の様子をリアルタイムで表示する表示部を備えており、当該表示部において、動体が検出された領域を色等で表示することによって、動体検出の検出結果を外部に出力する。また、検出結果出力部４は、検出結果を音声等の音で外部に出力しても良い。また、検出結果出力部４は、検出結果を示す信号を、外部装置に対して出力することによって、当該検出結果を外部に出力しても良い。この場合には、外部装置は、検出結果に応じた動作を実行する。例えば、外部装置は、警報を発生する。あるいは、撮像領域１０が図４の会議室１００である場合には、外部装置は、会議室１００の照明器具を制御して、人が存在する領域だけ明るくする。また、外部装置は、会議室１００の空調機を制御して、人が存在する領域だけ冷却したり、暖めたりする。

＜準備段階（背景モデル生成処理）＞
次に検出装置１の準備段階で行われる背景モデル生成処理について説明する。図５は背景モデル５００を説明するための図である。本実施の形態では、撮像領域１０において人が存在しないとき（会議室１００が利用されていないとき）に撮像部で撮像された入力画像２００が、背景モデル５００の生成で使用される基準画像２００となっている。背景モデル生成処理では、Ａ枚（Ａ≧２）の基準画像２００に基づいて背景モデル５００が生成される。

本実施の形態では、撮像領域１０は、複数の矩形の撮像ブロック（部分撮像領域）に分割される。入力画像２００に含まれる、ある撮像ブロックの画像を示す領域を「画像ブロック」と呼ぶと、入力画像２００は、撮像領域１０を構成する複数の撮像ブロックの画像をそれぞれ示す複数の画像ブロックで構成される。本実施の形態では、一つの画像ブロックの大きさは、例えば、３画素×３画素となっている。以後、撮像ブロックと、入力画像２００における、当該撮像ブロックの画像を示す画像ブロックとに関して、当該撮像ブロックを、当該画像ブロックに対応する撮像ブロックと呼ぶことがある。

図５に示されるように、背景モデル５００には、複数の撮像ブロックＢＫにそれぞれ対応する複数のコードブック（Codebook）ＣＢが含まれる。各コードブックＣＢには、画像情報と、当該画像情報に関連する関連情報とを含むコードワード（Codeword）ＣＷが含まれている。コードブックＣＢに含まれるコードワードＣＷは、一枚の入力画像２００における、当該コードブックＣＢが対応する撮像ブロックＢＫの画像を示す画像ブロックに基づいて生成される。各コードブックＣＢには複数のコードワードＣＷが含まれている。以後、背景モデル５００中のコードワードＣＷに含まれる画像情報を「背景画像情報」と呼ぶことがある。

図５において砂地のハッチングが示されているコードブックＣＢには、３枚の基準画像２００ａ〜２００ｃに基づいてそれぞれ生成された３つのコードワードＣＷ１〜ＣＷ３が含まれている。コードブックＣＢに含まれるコードワードＣＷ１は、基準画像２００ａにおける、当該コードブックＣＢが対応する撮像ブロックＢＫの画像を示す画像ブロックに基づいて生成される。コードブックＣＢに含まれるコードワードＣＷ２は、基準画像２００ｂにおける、当該コードブックＣＢが対応する撮像ブロックＢＫの画像を示す画像ブロックに基づいて生成される。そして、コードブックＣＢに含まれるコードワードＣＷ３は、基準画像２００ｃにおける、当該コードブックＣＢが対応する撮像ブロックＢＫの画像を示す画像ブロックに基づいて生成される。

図６はコードワードＣＷを説明するための図である。コードワードＣＷには、当該コードワードＣＷを含むコードブックＣＢが対応する撮像ブロックの画像を示す画像ブロックの画像情報、つまり当該画像ブロックを構成する複数の画素の画素値ＰＶが、背景画像情報として含まれている。そして、コードワードＣＷには、関連情報として、最新一致時刻Ｔｅとコードワード生成時刻Ｔｉとが含まれている。後述するように、背景モデル５００に含まれるコードワードＣＷ中の画像情報については、検出対象画像２００から取得された画像情報と一致する否かが判定される。コードワードＣＷに含まれる最新一致時刻Ｔｅは、当該コードワードＣＷに含まれる画像情報と、検出対象画像２００から取得された画像情報とが一致すると判定された最新の時刻を示している。また、コードワードＣＷに含まれるコードワード生成時刻Ｔｉは、当該コードワードＣＷが生成された時刻を示している。

図７は、このような背景モデル５００が生成される背景モデル生成処理を示すフローチャートである。図７に示される背景モデル生成処理は、背景モデル記憶部５に背景モデル５００が記憶されていないときに実行される。

図７に示されるように、ステップｓ１において、背景モデル生成部３０は、画像入力部２から基準画像２００が画像処理部３に入力されると、ステップｓ２において、撮像領域１０のある撮像ブロックを注目撮像ブロックとし、注目撮像ブロックに対応するコードブックＣＢが背景モデル記憶部５に記憶されているか否かを判定する。

背景モデル生成部３０は、注目撮像ブロックに対応するコードブックＣＢが背景モデル記憶部５に記憶されていないと判定すると、ステップｓ３において、ステップｓ１で入力された基準画像２００に基づいて、注目撮像ブロックに対応するコードブックＣＢを生成して背景モデル記憶部５に記憶する。

具体的には、背景モデル生成部３０は、ステップｓ１で入力された基準画像２００における、注目撮像ブロックの画像を示す画像ブロックから画像情報を取得する。そして、背景モデル生成部３０は、取得した画像情報を背景画像情報として含むコードワードＣＷを生成し、当該コードワードＣＷを含むコードブックＣＢを背景モデル記憶部５に記憶する。このコードワードＣＷに含まれる最新一致時刻Ｔｅは、暫定的に、コードワード生成時刻Ｔｉと同じ時刻に設定される。

一方で、背景モデル生成部３０は、注目撮像ブロックに対応するコードブックＣＢが背景モデル記憶部５に記憶されていると判定すると、ステップｓ４において、ステップｓ１で入力された基準画像２００における、注目撮像ブロックの画像を示す画像ブロックから画像情報を取得する。そして、背景モデル生成部３０は、背景モデル記憶部５が記憶している、注目撮像ブロックに対応するコードブックＣＢに含まれる各コードワードＣＷ中の背景情報画像と、取得した画像情報とが一致するか否かを判定する。つまり、背景モデル生成部３０は、注目撮像ブロックに対応するコードブックＣＢに含まれるコードワードＣＷにおいて、取得した画像情報と一致する背景画像情報を含むコードワードＣＷが存在するか否かを判定する。

ステップｓ４での判定の結果、ステップｓ５において、注目撮像ブロックに対応するコードブックＣＢに含まれる各コードワードＣＷ中の背景情報画像と、取得した画像情報とが一致しない場合には、つまり、注目撮像ブロックに対応するコードブックＣＢに含まれるコードワードＣＷにおいて、取得した画像情報と一致する背景画像情報を含むコードワードＣＷが存在しない場合には、ステップｓ６において、背景モデル生成部３０は、ステップｓ４で基準画像２００から取得した画像情報を背景画像情報として含むコードワードＣＷを生成する。このコードワードＣＷに含まれる最新一致時刻Ｔｅは、暫定的に、コードワード生成時刻Ｔｉと同じ時刻に設定される。そして、背景モデル生成部３０は、生成したコードワードＣＷを、背景モデル記憶部５が記憶する、注目撮像ブロックに対応するコードブックＣＢに追加する。これにより、注目撮像ブロックに対応するコードブックＣＢには新しい背景画像情報が追加される。

一方で、ステップｓ５において、注目撮像ブロックに対応するコードブックＣＢに含まれるコードワードＣＷ中の背景情報画像と、取得した画像情報とが一致する場合には、つまり、注目撮像ブロックに対応するコードブックＣＢに含まれるコードワードＣＷにおいて、取得した画像情報と一致する背景画像情報を含むコードワードＣＷが存在する場合には、ステップｓ６は実行されずに、ステップｓ７が実行される。ステップｓ７において、背景モデル生成部３０は、撮像領域１０における全ての撮像ブロックについて処理が行われた否か、つまり、全ての撮像ブロックを注目撮像ブロックに設定したか否かを判定する。ステップｓ７での判定の結果、処理が行われていない撮像ブロックが存在する場合には、背景モデル生成部３０は、未だ処理が行われていない撮像ブロックを新たな注目撮像ブロックとして、ステップｓ２以降を実行する。

一方で、ステップｓ７での判定の結果、撮像領域１０における全ての撮像ブロックについて処理が行われている場合には、背景モデル生成部３０は、ステップｓ８において、Ａ枚の基準画像２００に対して同様の処理が行われたか否かを判定する。背景モデル生成部３０は、ステップｓ８での判定の結果、処理を行った基準画像２００の枚数がＡ枚よりも少ない場合には、ステップｓ１において画像処理部３に対して新たに入力される基準画像２００に対して、ステップｓ２以下の処理を実行する。背景モデル生成部３０は、ステップｓ８での判定の結果、処理を行った基準画像２００の枚数がＡ枚である場合には、背景モデル生成処理を終了する。これにより、上述のような背景モデル５００が背景モデル記憶部５内に生成される。

＜実動作段階＞
次に検出装置１の実動作段階での動作について説明する。図８は、検出装置１の実動作段階での概略動作を示すフローチャートである。検出装置１では、背景モデル生成処理が終了すると、図８に示される処理が実行される。

図８に示されるように、ステップｓ１１において画像入力部２から入力画像２００が画像処理部３に入力されると、当該入力画像２００を処理対象として、ステップｓ１２〜ｓ１４までの一連の処理が実行される。

ステップｓ１２において、画像処理部３は、処理対象の入力画像２００に対して動体画像の検出を行う動体検出処理を行う。そして、ステップｓ１３において、画像処理部３は、ステップｓ１２での動体検出処理の結果に基づいて、登録判定期間を調整する判定期間調整処理を行う。その後、画像処理部３は、ステップｓ１４において、背景モデル記憶部５内の背景モデル５００を更新する背景モデル更新処理を行う。

その後、ステップｓ１１において、画像入力部２から画像処理部３に新たな入力画像２００（新たな検出対象画像２００）が入力されると、当該入力画像２００を新たな処理対象として、ステップｓ１２〜ｓ１４までの一連の処理が実行される。その後、画像処理部３は同様に動作する。

このように、本実施の形態に係る検出装置１では、入力画像２００が入力されるたびに、動体検出処理、判定期間調整処理及び背景モデル更新処理がこの順番で実行される。

＜動体検出処理＞
次にステップｓ１２での動体検出処理について詳しく説明する。図９は動体検出処理を示すフローチャートである。図９に示されるように、ステップｓ１２１において、動体検出部３１は、撮像領域１０のある撮像ブロック（例えば、撮像領域１０における左上の撮像ブロック）を注目撮像ブロックとし、上述のステップｓ１１で入力された処理対象の入力画像２００（検出対象画像２００）における、注目撮像ブロックの画像を示す画像ブロック（以後、「注目画像ブロック」と呼ぶことがある）に対して動体画像の検出を行う。つまり、動体検出部３１は、注目撮像ブロックに動体が存在するか否かを検出する。

本実施の形態に係る動体検出では、入力画像２００中の注目画像ブロックから取得される画像情報と、背景モデル５００における、注目撮像ブロックに対応するコードブックＣＢに含まれる各コードワードＣＷ中の背景画像情報とが一致するか否かが判定されることによって、注目画像ブロックが動体画像であるか否かが判定される。以後、注目撮像ブロックに対応するコードブックＣＢを「対応コードブックＣＢ」と呼ぶことがある。また、対応コードブックＣＢに含まれるコードワードＣＷを「対応コードワードＣＷ」と呼ぶことがある。動体検出の具体的手法については後述する。

ステップｓ１２１が実行されると、ステップｓ１２２において、動体検出部３１は、ステップｓ１２１での動体検出の結果を記憶する。そして、動体検出部３１は、ステップｓ１２３において、撮像領域１０における全ての撮像ブロックについて処理が行われた否か、つまり、全ての撮像ブロックを注目撮像ブロックに設定したか否かを判定する。ステップｓ１２３での判定の結果、処理が行われていない撮像ブロックが存在する場合には、動体検出部３１は、未だ処理が行われていない撮像ブロックを新たな注目撮像ブロックとして、ステップｓ１２１以降を実行する。一方で、ステップｓ１２３での判定の結果、撮像領域１０における全ての撮像ブロックについて処理が行われている場合には、つまり、入力画像２００の全領域に対して動体画像の検出が完了している場合には、動体検出部３１は動体検出処理を終了する。これにより、動体検出部３１には、入力画像２００を構成する複数の画像ブロックに対する動体画像の検出の結果が記憶される。つまり、動体検出部３１には、撮像領域１０を構成する複数の撮像ブロックに対する動体検出の結果が記憶される。この検出結果は、検出結果出力部４に入力される。

＜動体検出の詳細＞
次にステップｓ１２１での動体検出の具体的手法について図１０及び１１を用いて説明する。図１０は、入力画像２００の注目画像ブロック及び背景モデル５００の対応コードワードＣＷのそれぞれからベクトルを抽出する様子を表した図である。図１１は、入力画像２００の注目画像ブロックから抽出されたベクトルと、背景モデル５００の対応コードワードＣＷから抽出されたベクトルとの関係を示す図である。

本実施の形態では、入力画像２００中の注目画像ブロックの画像情報がベクトルとして扱われる。また、背景モデル５００中の各対応コードワードＣＷについて、当該対応コードワードＣＷに含まれる背景画像情報がベクトルとして扱われる。そして、注目画像ブロックの画像情報についてのベクトルと、各対応コードワードＣＷの背景画像情報についてのベクトルとが、同じ方向を向いているか否かに基づいて、注目画像ブロックが動体画像であるか否かが判定される。この２種類のベクトルが同じ方向を向いている場合には、注目画像ブロックの画像情報と、各対応コードワードＣＷの背景画像情報とは一致すると考えることができる。したがって、この場合には、入力画像２００中の注目画像ブロックは、背景を示す画像と変わらず、動体画像ではないと判定される。一方、２種類のベクトルが同じ方向を向いていない場合には、注目画像ブロックの画像情報と、各対応コードワードＣＷの背景画像情報とは一致しないと考えることができる。したがって、この場合には、入力画像２００中の注目画像ブロックは、背景を示す画像ではなく、動体画像であると判定される。

具体的には、動体検出部３１は、入力画像２００中の注目画像ブロックに含まれる複数の画素の画素値を成分とした画像ベクトルｘ_ｆを生成する。図１０には、９個の画素を有する注目画像ブロック２１０の各画素の画素値を成分とした画像ベクトルｘ_ｆが示されている。図１０の例では、各画素は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の画素値を有しているため、画像ベクトルｘ_ｆは、２７個の成分で構成されている。

同様に、動体検出部３１は、背景モデル５００の対応コードブックＣＢに含まれる対応コードワードＣＷ中の背景画像情報を用いて、背景画像情報に関するベクトルである背景ベクトルを生成する。図１０に示される対応コードワードの背景画像情報５１０には、９個の画素についての画素値が含まれている。したがって、当該９個の画素についての画素値を成分とした背景ベクトルｘ_ｂが生成される。背景ベクトルｘ_ｂについては、対応コードブックＣＢに含まれる複数のコードワードＣＷのそれぞれから生成される。したがって、一つの画像ベクトルｘ_ｆに対して複数の背景ベクトルｘ_ｂが生成される。

上述のように、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとが同じ方向を向いている場合、入力画像２００中の注目画像ブロックは、背景を示す画像と変わらないことになる。しかしながら、画像ベクトルｘ_ｆ及び各背景ベクトルｘ_ｂには、ある程度のノイズ成分が含まれていると考えられることから、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとが完全に同じ方向を向いていなくても、入力画像２００中の注目画像ブロックは背景を示す画像であると判定することができる。

そこで、本実施の形態では、画像ベクトルｘ_ｆ及び各背景ベクトルｘ_ｂに、ある程度のノイズ成分が含まれていることを考慮して、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとが完全に同じ方向を向いていない場合であっても、入力画像２００中の注目画像ブロックは背景を示す画像であると判定する。

画像ベクトルｘ_ｆ及び背景ベクトルｘ_ｂにノイズ成分が含まれていると仮定すると、真のベクトルｕに対する画像ベクトルｘ_ｆと背景ベクトルｘ_ｂとの関係は、図１１のように表すことができる。本実施の形態では、画像ベクトルｘ_ｆと背景ベクトルｘ_ｂとが、どの程度同じ方向を向いているかを示す評価値として、以下の（１）で表される評価値Ｄ^２を考える。

そして、行列Ｘを画像ベクトルｘ_ｆと背景ベクトルｘ_ｂとを用いて、式（２）のように表すと、評価値Ｄ^２は、２×２行列ＸＸ^Ｔの非ゼロの最小固有値となる。したがって、評価値Ｄ^２については解析的に求めることができる。なお、評価値Ｄ^２が２×２行列ＸＸ^Ｔの非ゼロの最小固有値となることについては、上記の非特許文献３に記載されている。

上述のように、一つの画像ベクトルｘ_ｆに対して複数の背景ベクトルｘ_ｂが生成されることから、画像ベクトルｘ_ｆと背景ベクトルｘ_ｂとを用いて表される評価値Ｄ^２の値も、背景ベクトルｘ_ｂの数と同じ数だけ得られることになる。

入力画像２００中の注目画像ブロックが動体画像であるか否かの判定は、評価値Ｄ^２の複数の値のうちの最小値Ｃと、評価値Ｄ^２の複数の値についての平均値μ及び標準偏差σとを用いて表される、以下の式（３）で示される動体判定式が用いられる。この動体判定式はチェビシェフ（Chebyshev）の不等式と呼ばれる。

ここで、式（３）のｋは定数であって、入力画像２００を撮像する撮像部の撮像環境（撮像部が設置される環境）等に基づいて定められる値である。定数ｋは実験等によって決定される。

動体検出部３１は、動体判定式（不等式）を満たす場合、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとが同じ方向を向いていないと考えて、注目画像ブロックは、背景を示す画像ではなく、動体画像であると判定する。一方で、動体検出部３１は、動体判定式を満たさない場合、画像ベクトルｘ_ｆと各背景ベクトルｘ_ｂとは同じ方向を向いていると考えて、注目画像ブロックは動体画像ではなく、背景を示す画像であると判定する。

このように、本実施の形態では、注目画像ブロックから得られた画像ベクトルの方向と、各対応コードワードＣＷから得られた背景ベクトルの方向とが、同じか否かに基づいて動体検出が行われているため、本実施の形態に係る動体検出手法は、日照変化あるいは照明変化などの撮像領域１０での明るさの変化に対して比較的頑健な動体検出手法である。

＜検出頻度マップ及び非検出頻度マップ＞
図１２，１３は検出頻度マップ６００及び非検出頻度マップ６１０の一例をそれぞれ示す図である。検出頻度マップ６００には、撮像領域１０を構成する複数の撮像ブロックＢＫのそれぞれについての動体（検出対象物）７００の検出頻度６０１が含まれている。一方で、非検出頻度マップ６１０には、撮像領域１０を構成する複数の撮像ブロックＢＫのそれぞれについての動体（検出対象物）７００の非検出頻度６１１が含まれている。

検出頻度マップ６００では、それに含まれる複数の検出頻度６０１が行列状に配置されている。ある撮像ブロックＢＫについての動体７００の検出頻度６０１は、検出頻度マップ６００において、撮像領域１０での当該撮像ブロックＢＫの位置と同じ位置に配置されている。同様に、非検出頻度マップ６１０では、それに含まれる複数の非検出頻度６１１が行列状に配置されている。ある撮像ブロックＢＫについての動体７００の非検出頻度６１１は、非検出頻度マップ６１０において、撮像領域１０での当該撮像ブロックＢＫの位置と同じ位置に配置されている。

特定部３３０は、入力画像２００に含まれるある画像ブロックが動体画像であると動体検出部３１で判定されると、つまり、当該画像ブロックに対応する撮像ブロックに動体７００が存在すると判定されると、検出頻度マップ６００における、当該画像ブロックに対応する撮像ブロックＢＫについての動体７００の検出頻度６０１を１つ増加する。

また特定部３３０は、入力画像２００に含まれるある画像ブロックが動体画像でないと動体検出部３１で判定されると、つまり、当該画像ブロックに対応する撮像ブロックに動体７００が存在しないと判定されると、非検出頻度マップ６１０における、当該画像ブロックに対応する撮像ブロックＢＫについての動体７００の非検出頻度６１１を１つ増加する。

図１２，１３には、撮像領域１０を構成する複数の撮像ブロックＢＫのうち、中央の下側の２つの撮像ブロックＢＫにおいて動体（人）７００が静止している場合に生成される検出頻度マップ６００及び非検出頻度マップ６１０の一例が示されている。図１２に示される検出頻度マップ６００では、動体７００が存在する２つの撮像ブロックＢＫについての動体７００の検出頻度６０１が大きくなっている。一方で、図１３に示される非検出頻度マップ６１０では、動体７００が存在する２つの撮像ブロックＢＫ以外の各撮像ブロックＢＫについての動体７００の非検出頻度６１１が大きくなっている。

このような検出頻度マップ６００では、動体７００が頻繁に検出される撮像ブロックＢＫについての検出頻度６０１は大きくなる。したがって、検出頻度マップ６００を参照することによって、撮像領域１０において動体７００が存在する可能性が高い領域を特定することができる。撮像領域１０において、例えば、人の通路が存在する場合には、当該通路に対応する撮像ブロックについての検出頻度が大きくなり、当該撮像ブロックに人が存在する可能性が高いことが理解できる。

また非検出頻度マップ６１０では、動体７００があまり検出されない撮像ブロックＢＫについての非検出頻度６１１は大きくなる。したがって、非検出頻度マップ６１０を参照することによって、撮像領域１０において動体７００が存在しない可能性が高い領域を特定することができる。

＜背景モデル更新処理＞
次にステップｓ１４での背景モデル更新処理について説明する。背景モデル更新処理では、キャッシュモデルを記憶するキャッシュモデル記憶部６が使用される。キャッシュモデルには、背景モデル５００に登録される背景画像情報の候補である背景画像情報候補が含められる。

ここで、撮像領域１０では、日照変化あるいは照明変化などによって、明るさが変化することがある。撮像領域１０での明るさが変化すると、入力画像２００の画像情報が変化することから、動体検出部３１は、入力画像２００に含まれる、背景を示す画像ブロックを誤って動体画像であると判定する可能性がある。したがって、動体検出部３１において動体画像あると判定された画像ブロックの画像情報が、実際には背景の画像情報である可能性がある。

そこで、本実施の形態では、背景モデル更新部３３は、動体検出部３１において動体画像であると判定された画像ブロックの画像情報を背景画像情報候補として、いったんキャッシュモデルに登録する。そして、背景モデル更新部３３は、登録判定期間に入力される複数枚の入力画像２００に基づいて、キャッシュモデルに登録した背景候補画像情報が、背景の画像情報であるか否かを判定する。背景モデル更新部３３は、キャッシュモデルに登録した背景画像情報候補が背景の画像情報であると判定すると、当該背景画像情報候補を背景画像情報として背景モデル５００に登録する。つまり、背景モデル更新部３３は、登録判定期間に入力される複数枚の入力画像２００に基づいて、キャッシュモデル記憶部６に記憶した背景画像情報候補を背景画像情報として背景モデル５００に登録するか否かを判定する。登録判定期間は、ステップｓ１３での判定期間調整処理で調整される。

図１４は背景モデル更新処理を示すフローチャートである。図１４に示されるように、ステップｓ１４１において、背景モデル更新部３３は、撮像領域１０のある撮像ブロックを注目撮像ブロックとし、上述のステップｓ１１で入力された処理対象の入力画像２００における、注目撮像ブロックの画像を示す画像ブロック（注目画像ブロック）が動体検出部３１において動体画像であると判定されたか否かを判定する。ステップｓ１４１において、注目画像ブロックが動体検出部３１において動体画像ではないと判定されたと判断されると、つまり、注目画像ブロックの画像情報が、背景モデル５００中の各対応コードワードＣＷの背景画像情報と一致すると判定されると、背景モデル更新部３３はステップｓ１４２を実行する。

ステップｓ１４２では、背景モデル更新部３３は、注目画像ブロックの画像情報と一致すると判定された背景画像情報を含む、背景モデル５００中のコードワードＣＷの最新一致時刻Ｔｅを現在時刻に変更する。ステップｓ１４２が実行されると、背景モデル更新部３３では、特定部３３０が、ステップｓ１４３において、非検出頻度マップ６１０における、注目画像ブロックに対応する注目撮像ブロックについての非検出頻度を１つ増加する。

一方で、ステップｓ１４１において、注目画像ブロックが動体検出部３１において動体画像であると判定されたと判断されると、背景モデル更新部３３はステップｓ１４４を実行する。ステップｓ１４４では、キャッシュモデルの更新が行われる。具体的には、背景モデル更新部３３は、注目画像ブロックの画像情報が、キャッシュモデル記憶部６内のキャッシュモデルに含まれる各対応コードワードＣＷに含まれていない場合には、当該画像情報を背景画像情報候補として含むコードワードＣＷを生成してキャッシュモデル内の対応コードブロックＣＢに登録する。このコードワードＣＷには、画像情報（背景画像情報候補）以外にも、最新一致時刻Ｔｅ及びコードワード生成時刻Ｔｉが含まれている。ステップｓ１４４で生成されたコードワードＣＷに含まれる最新一致時刻Ｔｅは、暫定的に、コードワード生成時刻Ｔｉと同じ時刻に設定される。また背景モデル更新部３３は、注目画像ブロックの画像情報が、キャッシュモデル記憶部６内のキャッシュモデルに含まれる対応コードワードＣＷに含まれている場合には、つまり、注目画像ブロックの画像情報と一致する背景画像情報候補を含む対応コードワードＣＷがキャッシュモデルに含まれている場合には、キャッシュモデルにおける、当該背景画像情報候補を含むコードワードＣＷ中の最新一致時刻Ｔｅを現在時刻に変更する。

このように、ステップｓ１４４では、不足している画像情報を含むコードワードＣＷのキャッシュモデルへの追加、あるいはキャッシュモデル中のコードワードＣＷの最新一致時刻Ｔｅの更新が行われる。

なお、ステップｓ１４４において、背景モデル更新部３３は、キャッシュモデル記憶部６内のキャッシュモデルに、注目撮像ブロックに対応するコードブックＣＢが登録されていない場合には、注目画像ブロックの画像情報を背景画像情報候補として含むコードワードＣＷを生成し、当該コードワードＣＷを含むコードブックＣＢを生成してキャッシュモデルに登録する。

ステップｓ１４４が実行されると、特定部３３０は、ステップｓ１４５において、検出頻度マップ６００における、注目画像ブロックに対応する注目撮像ブロックについての検出頻度を１つ増加する。

ステップｓ１４３あるいはステップｓ１４５が実行されると、ステップｓ１４６において、背景モデル更新部３３は、撮像領域１０における全ての撮像ブロックについて処理が行われた否か、つまり、全ての撮像ブロックを注目撮像ブロックに設定したか否かを判定する。ステップｓ１４６において、処理が行われていない撮像ブロックが存在すると判定された場合には、背景モデル更新部３３は、未だ処理が行われていない撮像ブロックを新たな注目撮像ブロックとして、ステップｓ１４１以降を実行する。一方で、ステップｓ１４６において、撮像領域１０における全ての撮像ブロックについて処理が行われたと判定されると、背景モデル更新部３３はステップｓ１４７を実行する。

ステップｓ１４７では、キャッシュモデルに含まれる、最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷが削除される。つまり、キャッシュモデル中のコードワードＣＷに含まれる画像情報が、ある程度の期間、入力画像２００から取得された画像情報と一致しない場合には、当該コードワードＣＷが削除される。コードワードＣＷに含まれる画像情報が、背景の画像情報である場合には、つまり入力画像２００に含まれる、背景を示す画像から取得された画像情報である場合には、当該コードワードＣＷ中の最新一致時刻Ｔｅは頻繁に更新されることから、最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷに含まれる画像情報については、入力画像２００に含まれる動体画像から取得された画像情報である可能性が高いと考えることができる。最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷがキャッシュモデルから削除されることによって、動体画像の画像情報がキャッシュモデルから削除される。以後、この所定期間を「削除判定用期間」と呼ぶことがある。削除判定用期間は、日照変化あるいは照明変化などの撮像領域１０での明るさの変化、及びポスターの設置あるいは机の配置変更などの環境の変化等による画像情報の変化と、検出対象とする人等の動体が動くときに生じる画像情報の変化とを区別するために予め設定される期間である。例えば、入力画像２００を撮像する撮像部の撮像フレームレートが３０ｆｐｓであり、撮像領域１０が会議室１００（図４参照）であるとすると、削除判定用期間は、数十フレーム分から数百フレーム分の入力画像２００が入力される期間に設定される。

ステップｓ１４７において、キャッシュモデルに含まれる、最新一致時刻Ｔｅが削除判定用期間更新されていないコードワードＣＷが削除されると、背景モデル更新部３３はステップｓ１４８を実行する。ステップｓ１４８では、背景モデル更新部３３は、キャッシュモデルに登録されているコードワードＣＷのうち、キャッシュモデルに登録されてから登録判定期間経過しているコードワードＣＷを特定する。ステップｓ１４４では、コードワードＣＷが生成されると、当該コードワードＣＷはすぐにキャッシュメモリに登録されることから、コードワードＣＷがキャッシュモデル内に登録された時刻として、当該コードワードＣＷに含まれるコードワード生成時刻Ｔｉを使用することができる。

登録判定期間は削除判定用期間よりも大きな値に設定される。登録判定期間は、削除判定用期間よりも例えば数倍程度大きな値に設定される。本実施の形態では、登録判定期間はフレーム数で表されるものとする。登録判定期間が例えば“５００”であるとすると、登録判定期間は、５００フレーム分の入力画像２００が入力される期間となる。

ステップｓ１４８が実行されると、ステップｓ１４９において、背景モデル更新部３３は、検出頻度マップ６００を用いた背景モデル登録判定処理を行う。背景モデル登録判定処理では、ステップｓ１４８で特定されたコードワードＣＷを、背景モデル記憶部５内の背景モデル５００に登録するか否かが決定される。以下に背景モデル登録判定処理について詳細に説明する。

背景モデル登録判定処理では、まず特定部３３０が、検出頻度マップ６００を用いて、撮像領域１０において動体が存在する可能性が高い領域を特定する。具体的には、特定部３３０は、検出頻度マップ６００において、第１のしきい値よりも大きい検出頻度を特定する。そして、特定部３３０は、第１のしきい値よりも大きい検出頻度に対応する撮像ブロックを、撮像領域１０において動体が存在する可能性が高い領域とする。つまり、特定部３３０は、撮像ブロックについて動体の検出頻度が第１のしきい値よりも大きい場合には、当該撮像ブロックには動体が存在する可能性が高いと判定する。

図１５は検出頻度マップ６００の一例を示す図である。第１のしきい値＝１００とすると、図１５に示される検出頻度マップ６００では、一番右の列の下から一行目と二行目の２つの検出頻度が第１のしきい値よりも大きくなっている。したがって、撮像領域１０において、一番右の列の下から一行目と二行目の撮像ブロックＢＫから成る領域（斜線で示された領域）が、撮像領域１０において動体が存在する可能性が高い領域１２０となる。

なお、特定部３３０は、検出頻度マップ６００において、第１のしきい値よりも大きい検出頻度が存在しない場合には、撮像領域１０において動体が存在する可能性が高い領域が存在しないと判定する。また、特定部３３０は、第１のしきい値以上の検出頻度に対応する撮像ブロックを、撮像領域１０において動体が存在する可能性が高い領域としても良い。

特定部３３０において、撮像領域１０において動体が存在する可能性が高い領域が特定されると、登録決定部３３１は、ステップｓ１４８で特定された各コードワードＣＷについて、当該コードワードＣＷを背景モデル５００に登録するか否かを、特定部３３０での特定結果に基づいて決定する。

具体的には、登録決定部３３１は、ステップｓ１４８で特定されたコードワードＣＷに含まれる画像情報が取得された画像ブロックに対応する撮像ブロックが、特定部３３０で特定された、撮像領域１０において動体が存在する可能性が高い領域に含まれる場合には、つまり、当該撮像ブロックに動体が存在する可能性が高い場合には、当該コードワードＣＷを背景モデル５００に登録しないと決定する。

一方で、登録決定部３３１は、ステップｓ１４８で特定されたコードワードＣＷに含まれる画像情報が取得された画像ブロックに対応する撮像ブロックが、特定部３３０で特定された、撮像領域１０において動体が存在する可能性が高い領域に含まれない場合には、つまり、当該撮像ブロックに動体が存在する可能性が高くない場合には、当該コードワードＣＷを背景モデル５００に登録すると決定する。

なお、特定部３３０において、撮像領域１０において動体が存在する可能性が高い領域が存在しないと判定された場合には、登録決定部３３１は、ステップｓ１４８で特定されたコードワードＣＷのすべてを背景モデル５００に登録すると決定する。

背景モデル更新部３３は、登録決定部３３１において背景モデル５００に登録すると決定されたコードワードＣＷを、背景モデル５００内の当該コードワードＣＷに対応するコードブロックＣＢに登録する。そして、背景モデル更新部３３は、背景モデル５００に登録したコードワードＣＷをキャッシュモデルから削除する。

上記の説明から理解できるように、本実施の形態では、背景モデル更新部３３は、キャッシュモデル内のコードワードＣＷを、キャッシュモデルに登録してから登録判定期間経過するまでに削除することがある。背景モデル更新部３３が、キャッシュモデル内のコードワードＣＷ（背景画像情報候補）を、キャッシュモデルに登録してから登録判定期間経過するまでに削除するということは、背景モデル更新部３３が、登録判定期間において入力される複数枚の入力画像２００に基づいて、キャッシュメモリに登録したコードワードＣＷ（背景画像情報候補）を背景モデル５００に登録しないと判定したことを意味している。

また、本実施の形態では、背景モデル更新部３３は、キャッシュモデル内のコードワードＣＷを、キャッシュモデルに登録してから登録判定期間経過するまでに削除せずに、背景モデル５００に登録することがある。背景モデル更新部３３が、キャッシュモデル内のコードワードＣＷ（背景画像情報候補）を、キャッシュモデルに登録してから登録判定期間経過するまで削除せずに背景モデル５００に登録するということは、背景モデル更新部３３が、登録判定期間において入力される複数枚の入力画像２００に基づいて、キャッシュメモリに登録したコードワードＣＷ（背景画像情報候補）を背景モデル５００に登録すると判定したことを意味している。

このように、背景モデル更新部３３は、登録判定期間において入力される複数枚の入力画像２００に基づいて、キャッシュモデルに登録された背景画像情報候補を背景画像情報として背景モデル５００に登録するか否かを判定していることから、動体検出部３１において動体画像であると誤って判定された画像ブロックの画像情報を、背景画像情報として背景モデル５００に登録することができる。よって、背景モデル５００を適切に更新することができ、動体検出部３１での動体検出の精度が向上する。

また、本実施の形態とは異なり、キャッシュモデルに登録されているコードワードＣＷのうち、キャッシュモデルに登録されてから登録判定期間経過しているコードワードＣＷを無条件で背景モデル５００に登録する場合には、キャッシュモデルに登録された、動体画像の画像情報を含むコードワードＣＷが背景モデル５００に登録される可能性がある。具体的には、撮像領域１０において動体が一時的に静止している場合には、撮像領域１０における、当該動体が存在する撮像ブロックの画像を示す画像ブロックの画像情報が変化しにくい。したがって、キャッシュモデルに登録された、当該動体を示す動体画像の画像情報を含むコードワードＣＷが、キャッシュモデルから長時間削除されずに、最終的には背景モデル５００に登録される可能性がある。これにより、動体検出部３１での動体検出の精度が劣化する可能性がある。特に、後述するように、登録判定期間が調整されて短くなった場合には、キャッシュモデルに登録された、動体画像の画像情報を含むコードワードＣＷが背景モデル５００に登録されやすく、その結果、動体検出部３１での動体検出の精度が劣化する可能性が大きくなる。

そこで、本実施の形態では、キャッシュモデルに登録されてから登録判定期間経過しているコードワードＣＷを無条件で背景モデル５００に登録するのではなく、上述のように、検出頻度マップ６００を用いて当該コードワードＣＷを背景モデル５００に登録するか否かを決定している。これにより、動体画像の画像情報を含むコードワードＣＷが誤って背景モデル５００に登録されることを抑制することができる。以下にこの点について詳細に説明する。

上述のように、特定部３３０は、検出頻度マップ６００を用いて、撮像領域１０において動体が存在する可能性が高い撮像ブロックを特定している。入力画像２００に含まれる、動体が存在する可能性が高い撮像ブロックの画像を示す画像ブロックの画像情報については、動体画像の画像情報である可能性が高い。したがって、キャッシュモデルに登録されてから登録判定期間経過しているコードワードＣＷであっても、当該コードワードＣＷに含まれる画像情報が取得された画像ブロックに対応する撮像ブロックが、動体が存在する可能性が高い撮像ブロックであれば、当該コードワードＣＷの画像情報は動体画像の画像情報である可能性が高い。よって、本実施の形態のように、キャッシュモデルに登録されてから登録判定期間経過しているコードワードＣＷであっても、当該コードワードＣＷに含まれる画像情報が取得された画像ブロックに対応する撮像ブロックが、動体が存在する可能性が高い撮像ブロックであれば、当該コードワードＣＷを背景モデル５００に追加しないことによって、動体画像の画像情報を含むコードワードＣＷが誤って背景モデル５００に追加されることを抑制することができる。

ステップｓ１４９が終了すると、ステップｓ１５０において、背景モデル更新部３３は検出頻度クリア処理を行う。この検出頻度クリア処理では、まず特定部３３０が、非検出頻度マップ６１０において第２のしきい値よりも大きい非検出頻度を特定する。そして、特定部３３０は、第２のしきい値よりも大きい非検出頻度に対応する撮像ブロックについての検出頻度マップ６００での検出頻度をクリアして零に設定する。さらに、特定部３３０は、非検出頻度マップ６１０において第２のしきい値よりも大きい非検出頻度をクリアして零に設定する。第２のしきい値は、例えば、第１のしきい値と同じ値に設定される。

ここで、検出頻度は、ステップｓ１２での動体検出処理において、当該検出頻度に対応する撮像ブロックでの動体の存在が検出されるたびに増加する。したがって、検出頻度をクリアしない場合には、撮像領域１０でのレイアウトの変更等によって現在は動体が存在する可能性は高くない撮像ブロックについての検出頻度が第１のしきい値よりも大きい状態が発生する可能性が高くなる。

一方で、ある撮像ブロックについて、動体が存在する可能性が高い状態からそうではない状態へ遷移すると、非検出頻度マップ６１０での当該撮像ブロックの非検出頻度が大きくなる。

そこで、本実施の形態では、上述のように、非検出頻度マップ６１０において第２のしきい値よりも大きい非検出頻度に対応する撮像ブロックについての検出頻度マップ６００での検出頻度をクリアしている。これにより、現在は動体が存在する可能性が高くない撮像ブロックについての検出頻度が第１のしきい値よりも大きい状態が発生することを抑制することができる。したがって、撮像領域１０において動体が存在する可能性が高い領域を正確に特定することができる。よって、動体画像の画像情報が背景モデル５００に登録されることをさらに抑制することができる。その結果、動体検出の精度がさらに向上する。なお、特定部３３０は、第２のしきい値以上の非検出頻度に対応する撮像ブロックについての検出頻度と非検出頻度をクリアしても良い。

ステップｓ１５０が終了すると、ステップｓ１５１において、背景モデル更新部３３は、背景モデル５００に含まれるコードワードＣＷにおいて、入力画像２００の画像情報と所定期間にわたって一致しなかった背景画像情報を含むコードワードＣＷを削除する。つまり、背景モデル更新部３３は、背景モデル５００に含まれる、最新一致時刻Ｔｅが所定期間更新されていないコードワードＣＷを削除する。これにより、撮像領域１０において、時系列的な撮像環境の変化により既に背景ではなくなった撮像ブロックの画像から取得された画像情報を含むコードワードＣＷを背景モデル５００から削除することができる。よって、背景モデル５００の情報量を低減することができる。

このような背景モデルの更新処理を行うことによって、撮像領域１０での明るさの変化等の撮像環境の変化が生じた場合であっても、撮像環境の変化に追従した背景モデル５００を用いて動体検出を行うことができる。よって、動体検出の精度が向上する。

なお、本実施の形態では、背景モデル更新処理において検出頻度マップ６００及び非検出頻度マップ６１０を更新しているが、この代わりに、ステップｓ１２での動体検出処理が終了した後であって、ステップｓ１４での背景モデル更新処理が開始する前に、動体検出部３１での各撮像ブロックについての動体検出の結果に基づいて、検出頻度マップ６００及び非検出頻度マップ６１０を更新しても良い。例えば、ステップｓ１２での動体検出処理とステップｓ１３での判定期間調整処理との間で検出頻度マップ６００及び非検出頻度マップ６１０を更新しても良い。

＜判定期間調整処理＞
日照変化あるいは照明変化などによって、撮像領域１０での明るさが急に変化すると、入力画像２００の画像情報が急に変化する。したがって、入力画像２００に含まれる、背景を示す画像が動体画像であると誤って判定されて、当該背景を示す画像の画像情報がキャッシュモデルに登録されることがある。このような場合、背景モデル更新処理で使用される登録判定期間が長いと、キャッシュモデル内の背景の画像情報が長時間背景モデル５００に反映されなくなる。その結果、動体検出の精度が劣化する可能性がある。

そこで、ステップｓ１３での判定期間調整処理において、登録判定期間の調整を行う。具体的には、判定期間調整部３２は、登録判定期間を、ステップｓ１１で入力された処理対象の入力画像２００中の動体領域（動体検出部３１で動体画像であると判定された領域）の割合が大きいほど小さくする。これにより、入力画像２００中の動体領域の割合が大きい場合には、ステップｓ１４での背景モデル更新処理で使用される登録判定期間が短くなる。撮像領域１０での明るさが急に変化すると、入力画像２００全体で画像情報が急に変化することから、入力画像２００での動体領域の割合が大きくなる。よって、撮像領域１０での明るさが急に変化すると、背景モデル更新処理で使用される登録判定期間が短くなる。その結果、キャッシュモデル内の背景の画像情報をすぐに背景モデルに反映することが可能となり、動体検出の精度が向上する。

本実施の形態では、登録判定期間Ｄｔは、入力画像２００中の動体領域の割合をＲｄとすると、以下の式（４）で表される。

ここで式（４）中のａはしきい値であって、Ｄｍｉｎ及びＤｍａｘは定数である。Ｄｍａｘ＞Ｄｍｉｎとなっている。

式（４）で表される、登録判定期間Ｄｔと入力画像２００中の動体領域の割合Ｒｄとの関係を図示すると図１６のようになる。図１６にも示されるように、式（４）によれば、入力画像２００中の動体領域の割合Ｒｄが大きくなるほど、登録判定期間Ｄｔが小さくなる。特に、入力画像２００中の動体領域の割合Ｒｄが固定のしきい値ａを超えた場合、登録判定期間Ｄｔが最小値（Ｄｍｉｎ）となる。

なお、しきい値ａは、入力画像２００の何パーセント以上の領域が動体画像であると判定されると異常と考えられるか（撮像領域１０での明るさが急に変化した状態と考えられるか）という基準に基づいて予め設定される値であり、撮像領域１０での被写体に応じて設定されることになる。

また、入力画像２００中の動体領域の割合Ｒｄは、動体領域の画素数をＰｄ、入力画像２００の全画素数をＰaとすると、以下の式（５）で表される。

動体領域の画素数Ｐｄは、動体画像である画像ブロックの数に、１つの画像ブロックに含まれる画素数を乗じることによって得ることができる。

＜登録判定期間と検出頻度マップに関する第１のしきい値との関係＞
登録判定期間を表すフレーム数が小さい場合には、撮像領域１０において動体が存在する可能性が高い撮像ブロックに関して、当該撮像ブロックについての検出頻度が第１のしきい値よりも大きくなる前に、キャッシュモデル内の、当該撮像ブロックの画像を示す画像ブロックから取得された画像情報を含むコードワードＣＷが背景モデル５００に登録される可能性が高くなる。したがって、登録判定期間を表すフレーム数が小さい場合には、キャッシュモデル内の、動体画像の画像情報を含むコードワードＣＷが、誤って背景モデル５００に追加されることがある。これを抑制するためには、登録判定期間の最小値を示すＤｍｉｎを第１のしきい値よりも大きくことが考えされる。

しかしながら、Ｄｍｉｎを大きくすると、上述の「キャッシュモデル内の背景の画像情報をすぐに背景モデルに反映することが可能となる」という効果が薄れてしまう。

そこで、本実施の形態では、第１のしきい値を、Ｄｍｉｎ＜第１のしきい値＜Ｄｍａｘに設定する。例えば、第１のしきい値を、ＤｍｉｎとＤｍａｘを足して得られる値の半分とする。これにより、入力画像２００中の動体領域の割合Ｒｄが小さい場合には、登録判定期間は第１のしきい値よりも大きくなる。したがって、入力画像２００中の動体領域の割合Ｒｄが小さい場合には、キャッシュモデル内の、動体画像の画像情報を含むコードワードＣＷが、誤って背景モデル５００に追加されることを抑制することができる。これに対して、入力画像２００中の動体領域の割合Ｒｄが大きい場合には、登録判定期間は第１のしきい値よりも小さくなる。したがって、キャッシュモデル内の背景の画像情報をすぐに登録することが可能となる。

以上のように、本実施の形態では、撮像領域１０での検出対象物が存在する可能性が高い領域の特定結果が用いられて、入力画像２００から得られる画像情報が背景画像情報として背景モデル５００に登録するか否かが決定される。したがって、撮像領域１０における、検出対象物が実際に存在する領域の画像から得られた画像情報が背景画像情報として背景モデル５００に登録されることを抑制することができる。よって、検出対象物の検出精度が向上する。

図１７は動体検出部３１での動体検出の結果の一例を示す図である。図１７には、動体検出部３１が入力画像２００から検出した動体領域８００が入力画像２００に重ねて示されている。図１７に示される入力画像２００には、被写体の画像として、床９１０に複数のダンボール９２０と複数の椅子９３０が配置された部屋９００の画像が含まれている。部屋９００の壁９４０には図示しない窓が設けられている。部屋９００には二人の人９９０ａ，９９０ｂが存在している。図１７の例では、部屋９００に存在する人９９０ａ，９９０ｂのそれぞれが、動体領域８００として適切に検出されている。

図１８は、部屋９００において、人９９０ａ，９９０ｂが図１７に示される位置で静止している場合の検出頻度マップ６００を示す図である。図１８では床９１０及び壁９４０が破線で示されている。図１８では、理解し易いように、検出頻度の大きさを例えば第１段階から第３段階の３段階に分けて検出頻度マップ６００を示している。図１８に示される検出頻度マップ６００においては、検出頻度が、最も大きい第３段階に属する領域については左上がりのハッチングが示されており、２番目に大きい第２段階に属する領域については右上がりのハッチングが示されている。そして、図１８に示される検出頻度マップ６００においては、検出頻度が、最も小さい第１段階に属する領域についてはハッチングが示されていない。図１８に示される検出頻度マップ６００においては、撮像領域１０における、人９９０ａ，９９０ｂが存在する領域についての検出頻度が大きくなっている。

図１９は、本実施の形態とは異なり、背景モデル５００の更新に検出頻度マップ６００が使用されない場合での動体検出部３１での動体検出の結果の一例を示す図である。図１９には、動体検出部３１が入力画像２００から検出した動体領域８００が入力画像２００に重ねて示されている。図１９に示される入力画像２００では、二人の人９９０ａ，９９０ｂが二つの椅子９３０にそれぞれ座っている。図１９に示される動体検出結果では、人９９０ａは動体領域８００として検出されているものの、人９９０ｂは動体領域８００として検出されていない。

図２０は、本実施の形態での動体検出結果、つまり、背景モデル５００の更新に検出頻度マップ６００が使用された場合での動体検出部３１での動体検出の結果の一例を示す図である。図２０に示されるように、背景モデル５００の更新に検出頻度マップ６００が使用された場合には、人９９０ａ，９９０ｂのそれぞれが動体領域８００として適切に検出されている。

なお、撮像領域１０の環境が、会議室などのように動体の動きが少ない環境である場合には、検出頻度マップ６００についての第１のしきい値は、非検出頻度マップ６１０についての第２のしきい値よりも大きい方が望ましい。動体の動きが少ない環境では、動体が同じ場所に留まる可能性が高いことから、動体が存在する可能性が高い撮像ブロックの検出頻度は大きくなりやすい。このような環境において、第１のしきい値を小さくすると、動体がたまたま少しだけ留まった撮像ブロックについて、動体が存在する可能性が高いと誤って判断する可能性がある。一方で、第２のしきい値を大きくすると、環境の変化により、撮像ブロックが、動体が存在する可能性が高くない領域に変化した場合であっても、当該撮像ブロックについての検出頻度がいつまでもクリアされない可能性がある。よって、撮像領域１０の環境が動体の動きが少ない環境である場合には、第１のしきい値は大きく、第２のしきい値は小さい方が望ましい。

また、撮像領域１０の環境が、人通りの多い場所など、動体の動きが多い環境である場合には、第１のしきい値は第２のしきい値よりも小さい方が望ましい。動体の動きが多い環境では、動体が同じ場所に留まる可能性は低い。したがって、動体が存在する可能性が高い撮像ブロックであっても、当該撮像ブロックの検出頻度は大きくなりにくい。このような環境において、第１のしきい値を大きくすると、動体が存在する可能性が高い領域を適切に特定できない可能性がある。一方で、第２のしきい値を小さくすると、動体が撮像ブロックから少し動いただけで、当該撮像ブロックについての検出頻度がクリアされる可能性がある。よって、撮像領域１０の環境が動体の動きが多い環境である場合には、第１のしきい値は小さく、第２のしきい値は大きい方が望ましい。

＜変形例＞
人等の動体は、静止しているといっても完全に静止していることはほとんど無く、微動することがある。例えば、机に座っている人や、通路で立ち止まって他の人と話をしている人は、その全体的な位置は変化しないものの（巨視的には静止しているものの）、手、頭、体、脚等が微動する。

図２１は、撮像領域１０で人９９０が微動する様子と、その場合の検出頻度マップ６００の一例を示す図である。図２１に示されるように、人９９０が微動する場合には、検出頻度マップ６００では、その人９９０が主に存在する撮像ブロックについての検出頻度は大きくなるものの、当該撮像ブロックの周辺の撮像ブロックについての検出頻度はあまり大きくならない。したがって、キャッシュモデル内の、当該撮像ブロックの周辺の撮像ブロックに対応する画像ブロックから取得された、動体画像の画像情報が、当該撮像ブロックの周辺の撮像ブロックの検出頻度が小さいために、背景モデル５００に登録される可能性がある。

そこで、本変形例では、図２２に示されるように、ステップｓ１４５において、特定部３３０が、検出頻度マップ６００における、注目画像ブロックに対応する注目撮像ブロックについての検出頻度６０１ａを１つ増加させるとともに、注目撮像ブロックの周辺の各撮像ブロックの検出頻度６０１ｂを１つ増加させる。つまり、特定部３３０は、複数の撮像ブロックにおいて、動体が検出された撮像ブロック（注目撮像ブロック）の検出頻度６０１ａを増加させるとともに、当該撮像ブロックの周辺の各撮像ブロックの検出頻度６０１ｂを増加させる。これにより、人等の動体が完全に静止していなくて微動している場合であっても、当該動体が主に存在する撮像ブロックについての検出頻度と、当該撮像ブロックの周辺の撮像ブロックについての検出頻度とを大きくすることができる。よって、キャッシュモデル内の、当該撮像ブロックの周辺の撮像ブロックに対応する画像ブロックから取得された、動体画像の画像情報が背景モデル５００に登録されることを抑制することができる。よって、動体検出の精度がさらに向上する。

また、本変形例では、図２３に示されるように、ステップｓ１４３において、特定部３３０が、非検出頻度マップ６１０における、注目画像ブロックに対応する注目撮像ブロックについての非検出頻度６１１ａを１つ増加させるとともに、注目撮像ブロックの周辺の各撮像ブロックの非検出頻度６１１ｂを１つ増加させる。つまり、特定部３３０は、複数の撮像ブロックにおいて、動体が検出されなかった撮像ブロック（注目撮像ブロック）の非検出頻度６１１ａを増加させるとともに、当該撮像ブロックの周辺の各撮像ブロックの非検出頻度６１１ｂを増加させる。これにより、動体が完全に静止していなくて微動する場合であっても、現在は動体が存在する可能性が高くない撮像ブロックについての検出頻度を適切にクリアすることができる。よって、動体検出の精度がさらに向上する。

なお、上述のように、ステップｓ１２での動体検出処理が終了した後であって、ステップｓ１４での背景モデル更新処理が開始する前に検出頻度マップ６００を更新する場合には、図２４に示されるように、ステップｓ１２において動体画像であると特定された複数の画像ブロックにそれぞれ対応する複数の撮像ブロックＢＫｃの検出頻度６０１ｃを１つ増加させるとともに、当該複数の撮像ブロックＢＫｃの周辺の各撮像ブロックＢＫｄの検出頻度６０１ｄを１つ増加させても良い。

同様に、ステップｓ１２での動体検出処理が終了した後であって、ステップｓ１４での背景モデル更新処理が開始する前に非検出頻度マップ６１０を更新する場合には、ステップｓ１２において動体画像ではないと特定された複数の画像ブロックにそれぞれ対応する複数の撮像ブロックの非検出頻度を１つ増加させるとともに、当該複数の撮像ブロックの周辺の各撮像ブロックの非検出頻度を１つ増加させても良い。

また、上記の例では、画像ブロックの大きさを、３画素×３画素としていたが、これに限定されず、画像ブロックの大きさは、４画素×４画素、または５画素×５画素としてもよい。

また、上記の例では、ある画像ブロックについてのコードワードＣＷには、当該ある画像ブロック内の全ての画素の画素値が画像情報として含まれている場合を例示したが、これに限定されず、コードワードＣＷには、画像情報として画像ブロック内の全ての画素の画素値が含まれていなくてもよい。具体的には、画像ブロックの大きさが、３画素×３画素であった場合、コードワードＣＷには、５画素分の画素値が画像情報として含まれていてもよい。このように、コードワードＣＷ内の情報量を減らすことによって、処理量を低減することができるので、動体検出処理を高速化することができる。

また、上記の例では、入力画像２００中の各画素が、Ｒ（赤）、Ｇ（緑）及びＢ（青）のそれぞれの画素値を有している場合を想定していたが、これに限定されない。具体的には、入力画像２００中の各画素の画素値は、ＲＧＢ以外の他の色空間を用いて表されていてもよい。例えば、入力画像２００がＹＵＶ形式の画像データである場合、輝度信号Ｙ並びに２つの色差信号Ｕ，Ｖが、各画素の画素値として用いられることになる。

以上のように、検出装置１は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この発明がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１ 検出装置
５ 背景モデル記憶部
３１ 動体検出部
３１１ 制御プログラム
３３０ 特定部
３３１ 登録決定部

Claims (6)

1. 背景画像情報を含む背景モデルを記憶する記憶部と、
   前記背景モデルと入力画像とを用いて、当該入力画像に写る撮像領域に存在する検出対象物を検出する検出部と、
   前記撮像領域において、検出対象物が存在する可能性が高い領域を、前記検出部での検出結果に基づいて特定する特定部と、
   入力画像から得られる画像情報を背景画像情報として前記背景モデルに登録するか否かを、前記特定部での特定結果を用いて決定する決定部と
   を備える、検出装置。
2. 請求項１に記載の検出装置であって、
   前記特定部は、前記検出部での検出結果に基づいて、前記撮像領域を構成する複数の部分撮像領域のそれぞれについての前記検出対象物の検出頻度を求め、当該複数の部分撮像領域のうち、当該検出頻度が第１のしきい値以上あるいは当該第１のしきい値よりも大きい部分撮像領域を、前記検出対象物が存在する可能性が高い領域とする、検出装置。
3. 請求項２に記載の検出装置であって、
   前記特定部は、前記検出部での検出結果に基づいて、前記複数の部分撮像領域のそれぞれについての前記検出対象物の非検出頻度を求め、
   前記特定部は、前記複数の部分撮像領域のうち、前記非検出頻度が第２のしきい値以上あるいは当該第２のしきい値よりも大きい部分撮像領域についての前記検出頻度及び前記非検出頻度をクリアする、検出装置。
4. 請求項２及び請求項３のいずれか一つに記載の検出装置であって、
   前記特定部は、前記複数の部分撮像領域において、前記検出対象物が検出された第１部分撮像領域の前記検出頻度を増加させるとともに、当該第１部分撮像領域の周辺の第２部分撮像領域の前記検出頻度を増加させる、検出装置。
5. （ａ）背景画像情報を含む背景モデルと入力画像とを用いて、当該入力画像に写る撮像領域に存在する検出対象物を検出する工程と、
   （ｂ）前記撮像領域において、検出対象物が存在する可能性が高い領域を、前記工程（ａ）での検出結果に基づいて特定する工程と、
   （ｃ）入力画像から得られる画像情報を背景画像情報として前記背景モデルに登録するか否かを、前記工程（ｂ）での特定結果を用いて決定する工程と
   を備える、検出対象物の検出方法。
6. 検出対象物の検出を行う検出装置を制御するための制御プログラムであって、
   前記検出装置に、
   （ａ）背景画像情報を含む背景モデルと入力画像とを用いて、当該入力画像に写る撮像領域に存在する検出対象物を検出する工程と、
   （ｂ）前記撮像領域において、検出対象物が存在する可能性が高い領域を、前記工程（ａ）での検出結果に基づいて特定する工程と、
   （ｃ）入力画像から得られる画像情報を背景画像情報として前記背景モデルに登録するか否かを、前記工程（ｂ）での特定結果を用いて決定する工程と
   を実行させるための制御プログラム。

Images