JP6638723B2 - 画像解析装置、画像解析方法、及び、画像解析プログラム - Google Patents

Description

本発明は、画像解析装置、画像解析方法、及び、画像解析プログラムに関する。

撮影装置により撮影した撮影画像内で移動物体を検出する方法として、背景差分法が一般的によく知られている。背景差分法は、事前に取得した背景画像と撮影画像（入力画像）との差分を算出することで、背景画像と相違する領域（前景領域）を撮影画像内において抽出する手法である。撮影画像内に移動物体が存在する場合には、移動物体の写る領域の画素値は背景画像から変化する。そのため、この背景差分法によれば、移動物体の写る領域をこの前景領域として抽出することができ、これによって、移動物体の存在を検出することができる。

近年、この背景差分法による移動物体の検出は、様々な分野で利用されている。例えば、特許文献１では、背景差分法を利用して見守り対象者の写る領域を検出する手法が提案されている。具体的には、背景差分法により抽出される前景領域が見守り対象者の行動に関連すると仮定して各推定条件が設定されており、この各推定条件が満たされるか否かを判定することによって当該見守り対象者の行動を推定する方法が提案されている。

特開２０１４−２３６８９６号公報

しかしながら、本件発明者らは、一般的な背景差分法に基づいて移動物体を検出する場合に、次のような問題点が生じることを見出した。すなわち、人間等の移動物体が、撮影装置の画角内に存在する家具等の静止物体を移動させたとする。例えば、撮影画像に写る対象人物が撮影装置の画角内に存在する椅子を引いて座る場合等がこれに該当する。

このような場合、移動物体が静止物体を移動させた後に、撮影装置により取得される撮影画像と背景画像との差分を算出すると、移動物体の写る領域の他、移動した静止物体の写る領域も前景領域として検出されてしまう。したがって、背景の一部である静止物体が移動させられる等、撮影装置の画角内で移動物体が何らかの作用を背景に及ぼした結果、一般的な背景差分法では移動物体を適正に検出できなくなるという問題点が生じることを本件発明者らは見出した。

本発明は、一側面では、このような点を考慮してなされたものであり、背景差分法において移動物体を適正に検出可能にする技術を提供することを目的とする。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る画像解析装置は、撮影装置により撮影された撮影画像を取得する画像取得部と、背景差分法に基づいて、前記撮影画像の背景に設定された背景画像と前記取得した撮影画像との差分を算出することで、前記取得した撮影画像の前景領域を抽出する背景差分算出部と、抽出された前記前景領域に写る対象物体のうち、前記撮影装置の画角内を移動する移動物体を前記前景領域から検出する移動物体検出部と、検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致するか否かを判定し、検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致しないと判定した場合に、前記移動物体の写る領域を除いた対象領域について、前記取得した撮影画像を用いて前記背景画像を更新する背景更新部と、を備える。

上記構成に係る画像解析装置は、背景差分法に基づいて撮影画像の前景領域を抽出し、抽出した当該前景領域から移動物体を検出する。そして、当該画像処理装置は、検出した移動物体の数が前景領域に写る対象物体の数と一致するか否かを判定し、検出した移動物体の数が前景領域に写る対象物体の数と一致しないと判定した場合には、移動物体の写る領域を除いた対象領域について、取得した撮影画像を用いて背景画像を更新する。

ここで、検出した移動物体の数が前景領域に写る対象物体の数と一致しない場合とは、換言すると、撮影装置の画角内で移動物体が何らかの作用を背景に及ぼした結果、背景に変化が生じた場合である。このような場合に、上記構成に係る画像解析装置は、変化が生じた背景の領域を含む対象領域について、背景に変化が生じた後に取得された撮影画像で背景差分法に利用する背景画像を更新する。

すなわち、上記構成によれば、背景に変化が生じた場合に、その領域について背景画像を更新することができる。そのため、背景差分法において、その変化の生じた背景の領域が前景領域として抽出されないようにすることができる。したがって、上記構成によれば、背景差分法において移動物体を適正に検出することが可能になる。

なお、移動物体は、撮影装置の画角内を移動する物体であればよく、例えば、人間等の生物である。また、前景領域に写る対象物体は、移動物体の他、当該移動物体によって移動させられた静止物体、背景に変化が生じるよう移動物体により塗布された塗布物等を含んでよい。静止物体とは、例えば、家具等である。また、塗布物とは、例えば、ペンキ等である。前景領域に写る対象物体は、背景差分法により差分として抽出されうるあらゆる対象物を含むことができる。更に、前景領域に写る対象物体には、撮影範囲内に移動物体が一時的又は恒久的に持ち込んだ物体も含まれる。例えば、一時的に持ち込まれる物体の一例として、移動物体である人物が帰宅直後に放置した荷物、取り込まれた直後の積まれた洗濯物等を挙げることができる。また、恒久的に持ち込まれる物体の一例として、家具、置物等を挙げることができる。

また、上記一側面に係る画像解析装置の別の形態として、前記画像取得部は、前記撮影装置により撮影された撮影画像を継続的に取得してもよく、前記移動物体検出部は、継続的に取得される前記撮影画像内において一度検出した前記移動物体を追跡することで、前記撮影画像内で前記移動物体を継続的に検出してもよい。そして、前記背景更新部は、前記移動物体が前記撮影装置の画角外に移動することで、前記撮影画像内に前記移動物体が検出されなくなった場合に、当該移動物体が検出されなくなった時点に取得した撮影画像で前記背景画像を更新してもよい。

当該構成によれば、撮影装置の画角内に移動物体が存在しなくなった場合に、その時点で取得される撮影画像によって背景画像を更新することができる。そのため、移動物体が背景に変化を生じさせても、その後に、移動物体の存在しない状態で、背景画像の全域を一括で更新することができる。すなわち、移動物体が撮影装置の画角外に移動した後に、当該撮影装置の画角内に再度移動物体が進入した場合に、背景差分法によって当該再度進入した移動物体を適正に検出することができる。したがって、当該構成によれば、背景差分法において移動物体を適正に検出することが可能になる。

また、上記一側面に係る画像解析装置の別の形態として、前記画像取得部は、前記撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得してもよい。そして、前記移動物体検出部は、前記深度データを参照することで得られる前記前景領域内の各画素の深度に基づいて、前記前景領域に写る前記対象物体の実空間上の状態を解析することで、前記前景領域から前記移動物体を検出してもよい。

取得される撮影画像が二次元画像の場合、撮影装置の視点によっては移動物体が移動しても取得される撮影画像に殆ど変化が生じない可能性がある。このような場合、取得される撮影画像において、前景領域に写る対象物体のうち移動物体を区別して検出するのが困難になる。移動物体を検出できない場合には、背景画像の更新ができなくなり、背景差分法による移動物体の検出を適正に行えない可能性が生じる。

これに対して、当該構成によれば、取得される撮影画像には、各画素の深度を示す深度データが含まれている。この各画素の深度は、撮影装置から被写体までの深さを示す。そのため、この深度データを利用すれば、当該被写体の実空間（三次元空間）上の状態を解析することができる。

したがって、当該構成によれば、撮影装置の視点に依らず、前景領域に写る各対象物体の実空間上の状態を解析し、当該各対象物体のうちから移動物体を区別して検出することができる。よって、当該構成によれば、撮影装置の視点に依らず、背景差分法による移動物体の検出を適正に行えるように、当該背景差分法に利用する背景画像を更新することが可能になる。すなわち、撮影装置の視点の相違に頑強な背景差分法を提供することができる。

なお、上記各形態に係る画像解析装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。

例えば、本発明の一側面に係る画像解析方法は、コンピュータが、撮影装置により撮影された撮影画像を取得するステップと、背景差分法に基づいて、前記撮影画像の背景に設定された背景画像と前記取得した撮影画像との差分を算出することで、前記取得した撮影画像の前景領域を抽出するステップと、抽出された前記前景領域に写る対象物体のうち、前記撮影装置の画角内を移動する移動物体を前記前景領域から検出するステップと、検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致するか否かを判定するステップと、検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致しないと判定した場合に、前記移動物体の写る領域を除いた対象領域について、前記取得した撮影画像を用いて前記背景画像を更新するステップと、を実行する情報処理方法である。

また、例えば、本発明の一側面に係る画像解析プログラムは、コンピュータに、撮影装置により撮影された撮影画像を取得するステップと、背景差分法に基づいて、前記撮影画像の背景に設定された背景画像と前記取得した撮影画像との差分を算出することで、前記取得した撮影画像の前景領域を抽出するステップと、抽出された前記前景領域に写る対象物体のうち、前記撮影装置の画角内を移動する移動物体を前記前景領域から検出するステップと、検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致するか否かを判定するステップと、検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致しないと判定した場合に、前記移動物体の写る領域を除いた対象領域について、前記取得した撮影画像を用いて前記背景画像を更新するステップと、を実行させるためのプログラムである。

本発明によれば、背景差分法において移動物体を適正に検出することが可能になる。

図１Ａは、本発明が適用される場面（カメラの画角内に人物が進入する前の時点）を模式的に例示する。 図１Ｂは、本発明が適用される場面（カメラの画角内に人物が進入した時点）を模式的に例示する。 図１Ｃは、本発明が適用される場面（人物が椅子に座った時点）を模式的に例示する。 図１Ｄは、本発明が適用される場面（人物が椅子から離れた時点）を模式的に例示する。 図２は、実施の形態に係る画像解析装置のハードウェア構成を例示する。 図３は、実施の形態に係るカメラにより取得される深度と被写体との関係を例示する。 図４は、実施の形態に係る画像解析装置の機能構成を例示する。 図５は、実施の形態に係る画像解析装置における背景画像の更新に関する処理手順を例示する。 図６Ａは、実施の形態に係るカメラにより取得される撮影画像（カメラの画角内に人物が進入した時点）を例示する。 図６Ｂは、実施の形態に係るカメラにより取得される撮影画像（人物が椅子に座った時点）を例示する。 図６Ｃは、実施の形態に係るカメラにより取得される撮影画像（人物が椅子から離れた時点）を例示する。 図７は、実施の形態に係る撮影画像内の座標関係を例示する。 図８は、実施の形態に係る撮影画像の任意の点（画素）とカメラとの実空間内での位置関係を例示する。 図９は、実施の形態に係る背景画像（更新前）を例示する。 図１０Ａは、図６Ａの撮影画像と背景画像との差分（前景領域）を例示する。 図１０Ｂは、図６Ｂの撮影画像と背景画像との差分（前景領域）を例示する。 図１０Ｃは、図６Ｃの撮影画像と背景画像との差分（前景領域）を例示する。 図１１は、実施の形態に係る背景画像（更新後）を例示する。 図１２は、実施の形態に係る画像解析装置が背景画像を更新するその他の場面を例示する。 図１３Ａは、実施の形態に係る撮影装置の画角内に複数の移動物体が進入する場面を例示する。 図１３Ｂは、実施の形態に係る撮影装置の画角内に複数の移動物体が進入する場面を例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

§１ 適用場面
まず、図１Ａ〜図１Ｄを用いて、本発明が適用される場面について説明する。図１Ａ〜図１Ｄは、本実施形態に係る画像解析装置１が用いられる場面の一例として、部屋に入ってきた人物が室内に配置された椅子を引いて座り、その後、その人物が部屋から出ていく場面を例示している。本実施形態に係る画像解析装置１は、背景差分法に基づいて撮影画像内の移動物体を検出する情報処理装置である。そのため、当該場面では、本実施形態に係る画像解析装置１は、部屋に入ってきた人物を移動物体として検出する。

具体的に、図１Ａは、カメラ２の画角内に人物が現れる前の場面を模式的に例示している。本実施形態に係る画像解析装置１は、カメラ２と接続しており、このカメラ２により撮影された撮影画像３を取得する。また、本実施形態では、カメラ２の画角内には、テーブルと椅子とが背景の一部として配置されている。このテーブル及び椅子はそれぞれ静止物体であり、移動物体以外の対象物体の一例である。画像解析装置１は、カメラ２の画角内に人物が現れる前のこの場面を撮影した撮影画像３を背景画像４として取得する。ただし、背景画像４はこのような例に限られなくてもよく、画像解析装置１は任意のタイミングで背景画像４を取得してもよい。

次に、図１Ｂは、図１Ａで例示される場面の後に、カメラ２の画角内に人物が進入した場面を模式的に例示している。この人物は、本発明の移動物体の一例である。本実施形態に係る画像解析装置１は、背景差分法に基づいて、背景に設定された背景画像４と取得した撮影画像３との差分を算出することで、取得した撮影画像３の前景領域を抽出する。この場面では、背景画像４と撮影画像３とで変化の生じている部分は人物の写る領域である。そのため、人物の写る領域が前景領域として抽出される。

続いて、図１Ｃは、図１Ｂで例示される場面の後に、カメラ２の画角内に存在する椅子を人物が引いて座った場面を模式的に例示している。図１Ｂの場面から図１Ｃの場面までの間、移動物体である人物は、撮影画像３の左端から椅子の写る領域まで移動する。この間に取得される撮影画像３それぞれにおいて、画像解析装置１は、背景差分法に基づいて、この人物の写る領域を前景領域として抽出する。

そして、図１Ｃに例示されるように、その人物が椅子を引いて座ろうとすると、椅子は、その人物と一体となって元の位置から移動する。そのため、この図１Ｃに例示される場面では、画像解析装置１は、その人物及び椅子の写る領域を一体的に前景領域として抽出する。

更に、図１Ｄは、図１Ｃで例示される場面の後に、対象人物が椅子から離れた場面を模式的に例示している。この場面では、人物は椅子から離れており、その椅子は元の位置からずれている。そのため、図１Ｄに例示される場面では、画像解析装置１は、人物の写る領域及び椅子の写る領域の２つの領域を前景領域として抽出する。

ここで、画像解析装置１は、抽出された前景領域に写る対象物体のうち、カメラ２の画角内を移動する移動物体を前景領域から検出し、検出された移動物体の数が前景領域に写る対象物体の数と一致するか否かを判定する。一例では、画像解析装置１は、閾値以上の大きさを有する一塊の領域を一物体として認識する。

そのため、画像解析装置１は、図１Ｃの場面では、人物及び椅子の写る領域を一物体として認識しつつ、この領域において移動物体である人物を検出する。すなわち、図１Ｃに例示される場面では、画像解析装置１は、検出された移動物体の数が前景領域に写る対象物体の数と一致すると判定する。

一方、画像解析装置１は、図１Ｄの場面では、人物の写る領域及び椅子の写る領域をそれぞれ別個の物体として認識しつつ、人物の写る領域において移動物体である人物を検出する。すなわち、図１Ｄに例示される場面では、画像解析装置１は、検出された移動物体の数が前景領域に写る対象物体の数とは一致しないと判定する。

図１Ｄに例示されるように、検出された移動物体の数が前景領域に写る対象物体の数とは一致しないと判定される場面とは、背景の少なくとも一部に改変が生じた場面である。すなわち、この場面では、背景の少なくとも一部に改変が生じた影響により、移動物体の写る領域の他に、当該改変の生じた領域が独立して前景領域として抽出される。

このような場合に、本実施形態に係る画像解析装置１は、移動物体の写る領域を除いた対象領域について、取得した撮影画像３を用いて背景画像４を更新する。つまり、画像解析装置１は、元の位置から移動したことで前景領域として抽出されるようになった椅子の写る領域に関して、その状態を撮影した撮影画像３を用いて背景画像４を更新する。

すなわち、本実施形態に係る画像解析装置１によれば、背景の少なくとも一部に変化が生じた場合に、その変化の生じた領域に関して、変化の生じた後に撮影された撮影画像３を用いて背景画像４を更新することができる。そのため、背景差分法において、その変化の生じた背景の領域が前景領域として抽出されないようにすることができる。したがって、本実施形態によれば、背景差分法において移動物体を適正に検出可能にする技術を提供することができる。

なお、本実施形態では、説明の便宜のため、部屋に入ってきた人物（移動物体）が椅子（静止物体）を引いて座り、その後、椅子から立ち上がって部屋から出ていく場面を例示する。ただし、本実施形態に係る画像解析装置１は、このような場面に限定して適用される訳ではなく、背景の少なくとも一部に改変の生じる可能性のある場面で移動物体を検出するのに広く適用可能である。

また、本実施形態では、移動物体の一例として、カメラ２の画角内を移動する人物が例示されている。しかしながら、移動物体は、このような例に限られなくてもよく、カメラ２の画角内を移動する物体であれば、人物以外であってもよい。

また、本実施形態では、前景領域に写る対象物体の一例として、人物の他に、それぞれ静止物体であるテーブル及び椅子が例示されている。しかしながら、前景領域に写る対象物体は、このような例に限られなくてもよく、背景差分法により前景領域として抽出されうるあらゆる対象物を含むことができる。

また、画像解析装置１の配置場所は、カメラ２から撮影画像３を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、画像解析装置１は、図１Ａ〜図１Ｄに例示されるように、カメラ２に近接するように配置されてもよい。また、画像解析装置１は、ネットワークを介してカメラ２と接続してもよく、当該カメラ２とは全く異なる場所に配置されてもよい。

§２ 構成例
＜ハードウェア構成＞
次に、図２を用いて、画像解析装置１のハードウェア構成を説明する。図２は、本実施形態に係る画像解析装置１のハードウェア構成を例示する。画像解析装置１は、図２に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。図２では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。

なお、画像解析装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、画像解析装置１の内部装置としてではなく、外部装置として画像解析装置１に接続されてもよい。また、画像解析装置１はカメラ２を内蔵してもよい。更に、画像解析装置１は、複数の外部インタフェース１５を備えてもよく、複数の外部装置と接続してもよい。

本実施形態に係るカメラ２は、外部インタフェース１５を介して画像解析装置１に接続しており、室内に入ってきた人物を撮影するために設置されている。ただし、このカメラ２の設置目的は、このような例に限られなくてもよく、実施の形態に応じて適宜選択可能である。このカメラ２は、本発明の撮影装置に相当する。

本実施形態では、カメラ２は、被写体の深度を測定するための深度センサ２１を備えている。この深度センサ２１の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ２１として、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。

ただし、カメラ２の構成は、このような例に限定されず、実施の形態に応じて適宜選択可能である。例えば、カメラ２は、深度を取得せずに、二次元画像（例えば、ＲＧＢ画像）を撮影する公知の撮影装置であってもよい。また、深度を測定可能なようにカメラ２を構成する場合には、カメラ２は、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ２は、深度センサ２１単体に置き換わってもよい。

なお、歩行者を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ２１は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、PrimeSense社のCARMINEを挙げることができる。

ここで、図３を用いて、本実施形態に係る深度センサ２１によって測定される深度を詳細に説明する。図３は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３で例示されるように、被写体の深さは、例えば、カメラ２と対象物との直線の距離Ａで表現されてもよいし、カメラ２の被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。

すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。このような深度を利用することで、本実施形態に係る画像解析装置１は、実空間上における被写体の位置を特定することができる。

また、本実施形態に係る画像解析装置１の記憶部１２は、背景差分法に利用する背景画像４を格納している。背景画像４は、撮影画像３の背景として設定された画像であり、実施の形態に応じて適宜取得可能である。例えば、記憶部１２は、上記のとおり、移動物体である人物がカメラ２の画角内に進入する前に取得した撮影画像３を背景画像４として保持してもよい。

なお、図２では、背景画像４は予め記憶部１２に格納されている。しかしながら、背景画像４の保存場所はこのような例に限定されなくてもよい。例えば、背景画像４は他の情報処理装置等に保持されてもよい。この場合、画像解析装置１は、この他の情報処理装置にネットワーク等を介してアクセスして、背景差分法の処理に利用する背景画像４を取得してもよい。

なお、記憶部１２は、更にプログラム５を格納する。このプログラム５は、画像解析装置１に後述する背景画像の更新に関する各処理を実行させるためのプログラムであり、本発明の「画像解析プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。

記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図２は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

また、このような画像解析装置１は、例えば、提供されるサービス専用に設計された装置であってもよいし、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置であってもよい。更に、画像解析装置１は、１又は複数のコンピュータにより実装されてもよい。

＜機能構成例＞
次に、図４を用いて、画像解析装置１の機能構成を説明する。図４は、本実施形態に係る画像解析装置１の機能構成を例示する。本実施形態では、画像解析装置１の制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、画像解析装置１は、画像取得部３１、背景差分算出部３２、移動物体検出部３３及び背景更新部３４を備えるコンピュータとして機能する。

画像取得部３１は、カメラ２によって撮影された撮影画像３を取得する。背景差分算出部３２は、背景差分法に基づいて、記憶部１２に記憶された背景画像４と取得した撮影画像３との差分を算出することで、当該取得した撮影画像３の前景領域を抽出する。この前景領域には、上記のとおり、移動物体である人物の他、背景の変化の生じた領域が含まれる可能性がある。

そこで、移動物体検出部３３は、抽出された前景領域に写る対象物体のうち、カメラ２の画角内を移動する移動物体を前景領域から検出し、背景更新部３４は、検出された移動物体の数が前景領域に写る対象物体の数と一致するか否かを判定する。そして、背景更新部３４は、検出された移動物体の数が前景領域に写る対象物体の数と一致しないと判定した場合に、移動物体の写る領域を除いた対象領域について、取得した撮影画像３を用いて背景画像４を更新する。

なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、画像解析装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。各機能に関しては後述する動作例で詳細に説明する。

§３ 動作例
次に、図５を用いて、画像解析装置１の動作例を説明する。図５は、画像解析装置１の背景画像の更新に関する処理手順を例示する。なお、以下で説明する背景画像の更新に関する処理手順は、本発明の「画像解析方法」に相当する。ただし、以下で説明する背景画像の更新に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部３１として機能し、カメラ２により撮影された撮影画像３を取得する。その後、制御部１１は、次のステップＳ１０２に処理を進める。

ここで、図６Ａ〜図６Ｃを用いて、本ステップＳ１０１において取得される撮影画像３を説明する。図６Ａ〜図６Ｃは、本ステップＳ１０１において取得される撮影画像３ａ〜３ｃを例示する。図６Ａ〜図６Ｃに例示されるように、本実施形態に係る制御部１１は、カメラ２により撮影された撮影画像３を、例えば、動画像として、継続的に取得する。

具体的には、図６Ａの撮影画像３ａは、カメラ２の画角内に人物が進入した時点に撮影された撮影画像３である。また、図６Ｂの撮影画像３ｂは、図６Ａの撮影画像３ａが撮影された後、カメラ２の画角内に存在する椅子を人物が引いて座った時点に撮影された撮影画像３である。更に、図６Ｃの撮影画像３ｃは、図６Ｂの撮影画像３ｂが撮影された後、対象人物が椅子から離れた時点に撮影された撮影画像３である。

制御部１１は、このような撮影画像３ａ〜３ｃを、カメラ２のビデオ信号に同期して取得してもよい。そして、１又は複数枚の撮影画像３を取得した段階で、制御部１１は、後述するステップＳ１０２〜Ｓ１０５までの処理を取得した１又は複数枚の撮影画像３に対して即座に実行してもよい。画像解析装置１は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、カメラ２の撮影範囲に存在する移動物体の検出をリアルタイムに行うことができる。

なお、本実施形態では、カメラ２は、深度センサ２１を備えている。そのため、本ステップＳ１０１において取得される撮影画像３ａ〜３ｃには、各画素の深度を示す深度データが含まれている。詳細には、図６Ａ〜図６Ｃで例示される撮影画像３ａ〜３ｃはそれぞれ、各画素の濃淡値が当該各画素の深度に応じて定められた撮影画像３である。

図６Ａ〜図６Ｃでは、黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。制御部１１は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の座標（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。以下、図７及び図８を用いて、制御部１１が各画素の実空間上での位置を特定する計算例を示す。

図７は、撮影画像３内の座標関係を例示する。また、図８は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を例示する。なお、図７の左右方向は、図８の紙面に垂直な方向に対応する。すなわち、図８で表れている撮影画像３の長さは、図７で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図７で例示される横方向の長さ（Ｗピクセル）は、図８で表れていない撮影画像３の紙面垂直方向の長さに対応する。

図７で例示されるように、撮影画像３の任意の画素（点ｓ）の座標は（ｘ_s，ｙ_s）であるとし、カメラ２の横方向の画角がＶ_x、縦方向の画角がＶ_yであるとする。また、撮影画像３の横方向のピクセル数がＷであるとし、縦方向のピクセル数がＨであるとし、撮影画像３の中心点（画素）の座標が（０，０）であるとする。

制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報をカメラ２から取得することができる。ただし、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を取得する方法はこのような例に限られず、制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部１１は、撮影画像３から、点ｓの座標（ｘ_s，ｙ_s）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、撮影画像３に含まれる深度データを参照することによって、点ｓの深度Ｄｓを取得することができる。

制御部１１は、これらの情報を利用することで、当該各画素（点ｓ）の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数１〜３で示される関係式に基づいて、図８に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓ_x，Ｓ_y，Ｓ_z，１）の各値を算出することができる。これにより、撮影画像３内の二次元座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。

ただし、上記ベクトルＳは、カメラ２を中心とした三次元座標系のベクトルである。このカメラ２は、図８に例示されるように、水平方向に対して傾いている場合がある。すなわち、カメラ座標系は、三次元空間（実空間）のワールド座標系から傾いている場合がある。そのため、制御部１１は、カメラ２のロール角、ピッチ角（図８のα）及びヨー角を用いた射影変換を上記ベクトルＳに適用することによって、上記カメラ座標系のベクトルＳをワールド座標系のベクトルに変換し、ワールド座標系における点ｓの位置を算出してもよい。

なお、深度データを含む撮影画像３のデータ形式は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。例えば、撮影画像３は、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、例えば、撮影画像３は、深度データとともに、ＲＧＢ画像を含んでもよい。このような撮影画像３は、動画像であってもよいし、１又は複数枚の静止画像であってもよい。

（ステップＳ１０２）
図５に戻り、次のステップＳ１０２では、制御部１１は、背景差分算出部３２として機能し、背景差分法に基づいて、記憶部１２に格納されている背景画像４とステップＳ１０１で取得した各撮影画像３ａ〜３ｃとの差分を算出する。これによって、制御部１１は、ステップＳ１０１で取得した各撮影画像３ａ〜３ｃの前景領域を抽出する。そして、各撮影画像３ａ〜３ｃの前景領域を抽出すると、制御部１１は、次のステップＳ１０３に処理を進める。

ここで、図９を用いて、記憶部１２に格納されている背景画像４について説明する。図９は、記憶部１２に格納されている背景画像４ａを例示する。背景画像４ａは、図６Ａの撮影画像３ａが撮影される前、すなわち、カメラ２の画角内に人物が進入する前の時点に取得された背景画像４である。制御部１１は、例えば、本動作例の処理を開始する前に、移動物体が存在しない時点の撮影画像３を背景画像４として取得する。そのため、本実施形態では、背景画像４も撮影画像３と同様に深度データを含む。ただし、このような背景画像４を取得する方法は、このような例に限られなくてもよく、実施の形態に応じて適宜設定可能である。

本ステップＳ１０２では、制御部１１は、ステップＳ１０１で取得した各撮影画像３ａ〜３ｃと背景画像４との差分を算出する。例えば、制御部１１は、各撮影画像３ａ〜３ｃ及び背景画像４の対応画素同士の画素値の差分を算出し、算出した差分が所定の閾値を超える場合に、各撮影画像３ａ〜３ｃの当該画素を前景領域の画素と認定する。ただし、前景領域を抽出する方法は、このような例に限られなくてもよく、種々の背景差分法に基づいて適宜設定可能である。

図１０Ａ〜図１０Ｃは、このような処理によって各撮影画像３ａ〜３ｃにおいて抽出される前景領域を例示する。図１０Ａは、図６Ａの撮影画像３ａと図９の背景画像４ａとの差分領域（前景領域）を例示する。図１０Ｂは、図６Ｂの撮影画像３ｂと図９の背景画像４ａとの差分領域（前景領域）を例示する。図１０Ｃは、図６Ｃの撮影画像３ｃと図９の背景画像４ａとの差分領域（前景領域）を例示する。図１０Ａ〜図１０Ｃは、カメラ２の撮影範囲を上から見た図である。すなわち、図１０Ａ〜図１０Ｃそれぞれの上下方向は、図６Ａ〜図６Ｃそれぞれの紙面に垂直な方向に相当する。

上記のとおり、各撮影画像３ａ〜３ｃ及び背景画像４ａの各画素の濃淡値は当該各画素の深度に応じて定められている。そのため、各撮影画像３ａ〜３ｃ及び背景画像４の対応画素同士の画素値の差分は、各画素の深度の差分に相当する。したがって、図１０Ａ〜図１０Ｃに例示するように、本実施形態では、背景差分法に基づいて、実空間上で背景に変化の生じた領域を前景領域として抽出することができる。

より詳細には、図６Ａの場面では、図１０Ａに例示されるように、人物の写る領域が前景領域として抽出される。次に、図６Ｂの場面では、図１０Ｂに例示されるように、人物及び椅子の写る領域が一体となって前景領域として抽出される。そして、図６Ｃの場面では、人物の写る領域と椅子の写る領域とがそれぞれ別個の前景領域として抽出される。各撮影画像３ａ〜３ｃ及び背景画像４ａがそれぞれ深度データを含んでいるため、本ステップＳ１０２では、このように実空間上で背景に変化の生じた領域を前景領域として抽出することができる。

（ステップＳ１０３）
図５に戻り、次のステップＳ１０３では、制御部１１は、移動物体検出部３３として機能し、ステップＳ１０２で抽出された前景領域に写る対象物体のうち、カメラ２の画角内を移動する移動物体を当該前景領域から検出する。そして、移動物体の検出が完了すると、制御部１１は、次のステップＳ１０４に処理を進める。

本実施形態では、例えば、制御部１１は、所定の閾値以上の大きさを有する一塊の前景領域を一つの対象物体として認識する。この場合、制御部１１は、図６Ａ及び図６Ｂの場面では、図１０Ａ及び図１０Ｂに例示されるように前景領域は一箇所に現れているため、前景領域に写る対象物体は１つであると認識する。一方、制御部１１は、図６Ｃの場面では、図１０Ｃに例示されるように前景領域は二箇所に離れて現れているため、前景領域に写る対象物体は２つであると認識する。ただし、前景領域に写る対象物体の数を認識する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。

そして、制御部１１は、この前景領域の写る対象物体が実空間上で移動する物体であると判定される場合に、当該対象物体は移動物体であると認識する。例えば、制御部１１は、図１０Ａ〜図１０Ｃに例示されるように、深度データを参照することで、前景領域内の各画素の深度を取得することができる。各画素の深度は、上記のとおり、各画素の実空間上の位置を示している。

そのため、制御部１１は、前景領域内の各画素の深度に基づいて、前景領域に写る対象物体の実空間上の状態を解析することができる。具体的に、制御部１１は、前景領域内の各画素の深度に基づいて、前景領域の位置が実空間上で変動しているか否かを判定することができる。

そこで、制御部１１は、前景領域の位置が実空間上で変動していると判定した場合に、当該前景領域に写る対象物体が実空間上で移動していると認定し、当該対象物体は移動物体であると認識してもよい。すなわち、この場合に、制御部１１は、前景領域から移動物体を検出することができる。一方、制御部１１は、前景領域の位置が実空間上で変動していない場合に、当該前景領域に写る対象物体は移動物体以外の物体（例えば、静止物体）であると認識してもよい。なお、このような前景領域の変動は、オプティカルフロー等に基づいて判定することもできる。

また、例えば、制御部１１は、次のように移動物体を認識してもよい。すなわち、カメラ２の画角内に移動物体が進入する際には、図６Ａ及び図１０Ａに例示されるように、撮影画像３の周縁に前景領域が現れる。そのため、制御部１１は、撮影画像３の周縁に前景領域が現れた場合に、当該前景領域に写る対象物体は移動物体であると認識し、移動物体の数をインクリメントしてもよい。

次に、制御部１１は、継続的に取得される撮影画像３内において一度検出した移動物体を追跡（トラッキング）することで、撮影画像３内で移動物体を継続的に検出してもよい。このような追跡は、オプティカルフロー等に基づいて行うことができる。すなわち、図１０Ａ〜図１０Ｃに例示されるように、人物の写る前景領域は、一連の撮影画像３内で変動する。そのため、制御部１１は、オプティカルフロー等に基づいてこの変動する前景領域を追跡することで、各撮影画像３内で表れる前景領域のうち人物の写る前景領域を特定してもよい。

そして、カメラ２の画角外に移動物体が退出する際には、図６Ｃ及び図１０Ｃに例示されるように、撮影画像３の周縁の方に前景領域が移動し、その後、当該前景領域が消滅する。そのため、制御部１１は、追跡している前景領域が撮影画像３の周縁に移動して消滅した場合に、移動物体が画角外に退出したと認識し、移動物体の数をデクリメントしてもよい。これによって、制御部１１は、一連で取得される撮影画像３内に写る移動物体の数を管理することができる。

制御部１１は、例えば、以上のようにして移動物体を検出することができる。具体的には、制御部１１は、図６Ａ及び図６Ｂの場面では、図１０Ａ及び図１０Ｂに例示される一塊の前景領域を移動物体であると認識する。また、制御部１１は、図６Ｃの場面では、図１０Ｃに例示される左側の前景領域を移動物体であると認識し、図１０Ｃに例示される右側の前景領域を移動物体以外の物体であると認識する。

なお、移動物体を認識する方法は、これらの例に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。また、画像解析装置１の内部における各状態の認識方法は、このような例に限られなくてもよく、移動物体を検出している状態を認識可能であれば、実施の形態に応じて適宜設定されてよい。

（ステップＳ１０４）
次のステップＳ１０４では、制御部１１は、背景更新部３４として機能し、ステップＳ１０３で検出された移動物体の数が前景領域に写る対象物体の数と一致するか否かを判定する。そして、制御部１１は、ステップＳ１０３で検出された移動物体の数が前景領域に写る対象物体の数と一致しないと判定した場合には、次のステップＳ１０５に処理を進める。一方、ステップＳ１０３で検出された移動物体の数が前景領域に写る対象物体の数と一致すると判定した場合には、制御部１１は、次のステップＳ１０５の処理を省略して、本動作例に係る処理を終了する。

ステップＳ１０３で検出された移動物体の数が前景領域に写る対象物体の数と一致するか否かを判定する方法は、実施の形態に応じて適宜設定されてもよい。例えば、制御部１１は、移動物体以外の対象物体に対応する前景領域が存在しない場合、換言すると、全ての前景領域がそれぞれ移動物体に対応している場合に、ステップＳ１０３で検出された移動物体の数が前景領域に写る対象物体の数と一致すると判定することができる。一方、移動物体以外の対象物体に対応する前景領域が一箇所でも存在する場合に、ステップＳ１０３で検出された移動物体の数が前景領域に写る対象物体の数と一致しないと判定することができる。

具体的には、制御部１１は、図６Ａ及び図６Ｂの場面では、対象物体の数及び移動物体の数をそれぞれ１つと認識しているため、ステップＳ１０３で検出された移動物体の数が前景領域に写る対象物体の数と一致すると判定し、本動作例に係る処理を終了する。一方、制御部１１は、図６Ｃの場面では、対象物体の数が２つであるのに対して移動物体の数は１つであると認識しているため、ステップＳ１０３で検出された移動物体の数が前景領域に写る対象物体の数と一致と一致しないと判定する。そして、制御部１１は、次のステップＳ１０５に処理を進める。

（ステップＳ１０５）
次のステップＳ１０５では、制御部１１は、背景更新部３４として機能し、移動物体の写る領域を除いた対象領域について、取得した撮影画像３を用いて背景画像４を更新する。そして、本ステップＳ１０５により背景画像４の更新が完了すると、制御部１１は、本動作例に係る処理を終了する。

ここで、上記のとおり、図６Ａ〜図６Ｃに例示される各場面のうちの図６Ｃに例示される場面で、本ステップＳ１０５の処理が実行される。そこで、図６Ｃで例示される撮影画像３ｃを用いて、本ステップＳ１０５の処理の一例を説明する。

まず、制御部１１は、撮影画像３ｃにおいて、移動物体である人物の写る領域３０１を除いた領域から、背景画像４ａの更新に利用する対象領域（以下、「更新領域」とも称する）を決定する。この更新領域を決定する方法は、実施の形態に応じて適宜選択可能である。ただし、更新領域は、移動物体以外の対象物体を写した前景領域（例えば、領域３０２）を含むように決定されるのが好ましい。

例えば、制御部１１は、移動物体の写る領域（例えば、領域３０１）を除く全ての領域を更新領域として決定してもよい。また、例えば、制御部１１は、移動物体の写る領域及びその領域の周囲所定の範囲を除く全ての領域を更新領域として決定してもよい。また、例えば、撮影画像３は、所定数のブロックに分割されていてもよい。そして、制御部１１は、その所定数のブロックのうち移動物体の写る領域を含まないブロックを更新領域として決定してもよい。これらの方法によって、撮影画像３ｃでは、例えば、領域３０１を含まず、領域３０２を含む領域３０３が更新領域として決定される。

次に、制御部１１は、決定した更新領域（領域３０３）について、撮影画像３ｃを用いて背景画像４ａを更新する。撮影画像３を用いて背景画像４を更新する方法は、実施の形態に応じて適宜設定可能である。例えば、制御部１１は、領域３０３について、背景画像４ａの各画素の画素値を撮影画像３ｃの各画素の画素値で置き換えることで、背景画像４ａを更新してもよい。また、例えば、制御部１１は、領域３０３について、背景画像４ａの各画素の画素値を、撮影画像３ｃを取得した時点を含む所定時間の間に取得された複数の撮影画像３から算出される各画素の平均値に置き換えることで、背景画像４ａを更新してもよい。これによって、制御部１１は、図１１に例示される新たな背景画像４ｂを生成する。

図１１は、本ステップＳ１０５の処理により更新された新たな背景画像４ｂを例示する。図１１に例示される背景画像４ｂでは、元の位置から移動した椅子の写る領域は、図６Ｃに例示される撮影画像３ｃの領域３０２に含まれる各画素を用いて、図９に例示される背景画像４ａから更新されている。そのため、これ以降に取得される撮影画像３では、本ステップＳ１０２の背景差分法に基づく前景領域の抽出処理を適用しても、当該椅子の写る領域は前景領域として抽出されなくなる。

本実施形態に係る画像解析装置１では、このようにして、ステップＳ１０３で検出された移動物体の数が前景領域に写る対象物体の数と一致しない場合に、移動物体の写る領域を除いた対象領域について、撮影画像３を用いて背景画像４が更新される。すなわち、移動物体以外の対象物体が写る前景領域が生じた場合に、その時点で取得された撮影画像３と元の背景画像４とを用いて、当該前景領域が抽出されないような新たな背景画像４が生成される。

なお、制御部１１は、新たに生成した背景画像４を記憶部１２に格納する。このとき、制御部１１は、元の背景画像４を記憶部１２から削除してもよい、すなわち、記憶部１２において元の背景画像４を新たな背景画像４に置き換えてもよい。また、制御部１１は、元の背景画像４をそのまま記憶部１２に残してもよい。元の背景画像４の処置は、実施の形態に応じて適宜選択可能である。

＜その他＞
（１）背景画像の更新
なお、制御部１１は、上記タイミングの他に、背景画像４を更新してもよい。例えば、制御部１１は、上記ステップＳ１０３において、継続的に取得される撮影画像３内において一度検出した移動物体を追跡することで、撮影画像３内で移動物体を継続的に検出してもよい。そして、制御部１１は、移動物体がカメラ２の画角外に移動することで、撮影画像３内に移動物体が検出されなくなった場合に、移動物体が検出されなくなった時点に取得した撮影画像３で背景画像４を更新してもよい。以下、図１２を用いて、本更新処理について説明する。

図１２は、カメラ２の画角内に移動物体が存在しなくなった場面を例示する。上記ステップＳ１０３において、制御部１１は、移動物体がカメラ２の画角内に進入した時に移動物体の数をインクリメントしてもよく、移動物体がカメラ２の画角外に退出した時に移動物体の数をデクリメントしてもよい。そして、図１２に例示されるように、このデクリメントの際に移動物体の数が０になった場合、制御部１１は、この時点で取得される撮影画像３で背景画像４全域を更新してもよい。

なお、背景画像４全域を更新する方法は実施の形態に応じて適宜選択可能である。例えば、制御部１１は、移動物体が存在しなくなった時点で取得される撮影画像３を新たな背景画像４として記憶部１２に格納してもよい。また、例えば、制御部１１は、移動物体が存在しなくなった後、所定時間内に取得される撮影画像３を平均化することで新たな背景画像４を生成してもよい。

当該方法によれば、カメラ２の画角内に移動物体が存在しなくなった場合に、その時点で取得される撮影画像３によって背景画像４を更新することができる。そのため、移動物体が背景に変化を生じさせても、その後に、移動物体の存在しない状態で、背景画像４の全域を一括で更新することができる。すなわち、移動物体がカメラ２の画角外に移動した後に、当該カメラ２の画角内に再度移動物体が進入した場合に、背景差分法によって当該再度進入した移動物体を適正に検出することができる。したがって、当該方法によれば、背景差分法において移動物体を適正に検出することが可能になる。

（２）複数の移動物体
また、上記実施形態では、カメラ２の画角内に１つの移動物体が進入する例を説明した。しかしながら、カメラ２の画角内に進入する移動物体の数は、１つに限られる訳ではなく、複数であってもよい。複数の移動物体が進入した場合も、上記実施形態とほぼ同様に説明可能である。以下、図１３Ａ及び図１３Ｂを用いて、複数の移動物体が進入した場合における制御部１１の処理を説明する。

図１３Ａは、カメラ２の画角内に二人の人物が固まって進入した場面を例示する。図１３Ｂは、図１３Ａで例示される場面の後に、カメラ２の画角内に進入した二人の人物が互いに離れた場面を例示する。上記実施形態では、制御部１１は、所定の閾値以上の大きさを有する一塊の前景領域を一つの対象物体として認識する。そのため、図１３Ａで例示される場面では、制御部１１は、撮影画像３内には一つの移動物体が存在すると認識する。その後、図１３Ｂで例示される場面において、制御部１１は、撮影画像３内には二つの移動物体が存在すると認識する。

すなわち、複数の移動物体がカメラ２の画角内に進入する場合には、制御部１１が認識する状況と撮影画像３内の実際の状況とは乖離しうる。しかしながら、上記実施形態における処理によれば、それぞれの場面において、人物の写る領域を除いた領域で背景から改変が生じていない限り、ステップＳ１０３で検出された移動物体の数は前景領域に写る対象物体の数と一致する。そのため、制御部１１が認識する状況と撮影画像３内の実際の状況とが乖離しても、制御部１１は、特に問題なく上記動作例に係る処理を実行することができる。

（作用・効果）
以上のように、本実施形態に係る画像解析装置１は、移動物体の写る領域を除いた対象領域について、取得した撮影画像３を用いて背景画像４を更新する。より詳細には、本実施形態に係る画像解析装置１は、抽出される前景領域の数が撮影画像３内に写る移動物体の数よりも多い場合に、その時点で取得された撮影画像３と元の背景画像４とを用いて、当該移動物体以外の物体を写す前景領域が抽出されないような新たな背景画像４を生成する。

そのため、本実施形態に係る画像解析装置１によれば、背景の少なくとも一部に変化が生じた場合に、その変化の生じた領域に関して、変化の生じた後に撮影された撮影画像３を用いて背景画像４を更新することができる。したがって、本実施形態によれば、背景差分法による処理において移動物体以外の物体を写す領域が前景領域として抽出されないようにすることができ、これによって、背景差分法に基づいて移動物体を適正に検出可能にすることができる。

また、上記実施形態では、取得される撮影画像３には、各画素の深度を示す深度データが含まれている。そのため、図１０Ａ〜図１０Ｃに例示されるように、この深度データを利用することで、前景領域の実空間上の位置を特定することができる。したがって、当該構成によれば、カメラ２の視点に依らず、前景領域に写る対象物体の実空間上の状態を解析し、当該解析の結果に基づいて、当該前景領域が移動物体に対応するか否かを判定することができる。よって、当該構成によれば、カメラ２の視点に依らず、背景差分法に基づく移動物体の検出を適正に行えるように、当該背景差分法に利用する背景画像を更新することができる。すなわち、カメラ２の視点の相違に頑強な背景差分法を提供することができる。

具体的には、カメラ２側に移動物体が近づく又は遠ざかる移動を行った場合には、二次元画像では、当該移動物体の写る領域に大きな変化が生じないため、当該移動物体の移動を検出するのが難しい。一方、本実施形態によれば、深度に基づいて当該移動物体の移動を検出することができる。また、撮影画像内で移動物体が静止物体と重なっている場合、二次元画像ではこれらの物体を分離することは困難である。一方、本実施形態によれば、深度に基づいてそれぞれの物体の位置を特定することができるため、移動物体と静止物体とが離れている場合には、これらの物体を分離することができる。したがって、当該構成によれば、カメラ２の視点に依らず、背景差分法に利用する背景画像を更新することができる。

なお、本実施形態に係る画像解析装置１はカメラ２により撮影された撮影画像３内で移動物体を検出することができる。そのため、本実施形態に係る画像解析装置１は、移動物体の検出を伴う様々なシステムに利用可能である。

例えば、本実施形態に係る画像解析装置１は、見守り対象者を移動物体として検出するシステムに利用することができる。ここで、本実施形態では、撮影画像３は深度データを含んでいるため、この深度データに基づいて、見守り対象者の実空間上の状態を解析することができる。そして制御部１１は、見守り対象者に危険が迫っている状態であると解析した場合には、スピーカ１４等を介して、見守り対象者に危険が迫っていることを知らせる報知を行ってもよい。

また、例えば、本実施形態に係る画像解析装置１は、建造物に進入する不審者を移動物体として検出するシステムに利用することができる。この場合、不審者の進入しうる経路にカメラ２が設置される。このとき、制御部１１は、タッチパネルディスプレイ１３上で、移動物体を他の対象物体と色分けして表示してもよい。これによって、当該建造物の管理者は、タッチパネルディスプレイ１３に表示される撮影画像３の中から移動物体を瞬時に見分けることができ、不審者を容易に発見することができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

例えば、上記実施形態では、カメラ２は、撮影画像３の各画素の深度を取得可能なように、深度センサ２１を含んでいる。しかしながら、カメラ２は、このような例に限られなくてもよく、深度を取得可能に構成されなくてもよい。例えば、カメラ２は、ＲＧＢ画像等の二次元画像を取得可能な公知の撮影装置であってもよい。この場合であっても、画像解析装置１は、上記と同様に、背景差分法に基づいて前景領域を抽出し、移動物体を検出し、背景画像４を更新することができる。

１…画像解析装置、
２…カメラ、２１…深度センサ、
３（３ａ〜３ｃ）…撮影画像、４（４ａ、４ｂ）…背景画像、
５…プログラム、６…記憶媒体、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、１６…通信インタフェース、
１７…ドライブ、
３１…画像取得部、３２…背景差分算出部、３３…移動物体検出部、
３４…背景更新部

Claims (5)

1. 撮影装置により撮影された撮影画像を取得する画像取得部と、
   背景差分法に基づいて、前記撮影画像の背景に設定された背景画像と前記取得した撮影画像との差分を算出することで、前記取得した撮影画像の前景領域を抽出する背景差分算出部と、
   抽出された前記前景領域に写る対象物体のうち、前記撮影装置の画角内を移動する移動物体を前記前景領域から検出する移動物体検出部と、
   検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致するか否かを判定し、検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致しないと判定した場合に、前記移動物体の写る領域を除いた対象領域について、前記取得した撮影画像を用いて前記背景画像を更新する背景更新部と、
   を備える、
   画像解析装置。
2. 前記画像取得部は、前記撮影装置により撮影された撮影画像を継続的に取得し、
   前記移動物体検出部は、継続的に取得される前記撮影画像内において一度検出した前記移動物体を追跡することで、前記撮影画像内で前記移動物体を継続的に検出し、
   前記背景更新部は、前記移動物体が前記撮影装置の画角外に移動することで、前記撮影画像内に前記移動物体が検出されなくなった場合に、当該移動物体が検出されなくなった時点に取得した撮影画像で前記背景画像を更新する、
   請求項１に記載の画像解析装置。
3. 前記画像取得部は、前記撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得し、
   前記移動物体検出部は、前記深度データを参照することで得られる前記前景領域内の各画素の深度に基づいて、前記前景領域に写る前記対象物体の実空間上の状態を解析することで、前記前景領域から前記移動物体を検出する、
   請求項１又は２に記載の画像解析装置。
4. コンピュータが、
   撮影装置により撮影された撮影画像を取得するステップと、
   背景差分法に基づいて、前記撮影画像の背景に設定された背景画像と前記取得した撮影画像との差分を算出することで、前記取得した撮影画像の前景領域を抽出するステップと、
   抽出された前記前景領域に写る対象物体のうち、前記撮影装置の画角内を移動する移動物体を前記前景領域から検出するステップと、
   検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致するか否かを判定するステップと、
   検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致しないと判定した場合に、前記移動物体の写る領域を除いた対象領域について、前記取得した撮影画像を用いて前記背景画像を更新するステップと、
   を実行する画像解析方法。
5. コンピュータに、
   撮影装置により撮影された撮影画像を取得するステップと、
   背景差分法に基づいて、前記撮影画像の背景に設定された背景画像と前記取得した撮影画像との差分を算出することで、前記取得した撮影画像の前景領域を抽出するステップと、
   抽出された前記前景領域に写る対象物体のうち、前記撮影装置の画角内を移動する移動物体を前記前景領域から検出するステップと、
   検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致するか否かを判定するステップと、
   検出された前記移動物体の数が前記前景領域に写る対象物体の数と一致しないと判定した場合に、前記移動物体の写る領域を除いた対象領域について、前記取得した撮影画像を用いて前記背景画像を更新するステップと、
   を実行させるための画像解析プログラム。