JPWO2016181672A1 - 画像解析装置、画像解析方法、及び、画像解析プログラム - Google Patents

Abstract

背景差分法において対象物体を適正に検出可能にする技術を提供することを目的とする。本発明の一側面に係る画像解析装置は、各画素の深度を示す深度データを含む撮影画像を継続的に取得する画像取得部と、撮影画像から対象物体を検出する処理を開始する際に、取得された撮影画像を撮影画像の背景である背景画像に設定する背景設定部と、背景差分法に基づいて、撮影画像と背景画像との差分を算出することで、撮影画像から対象物体を検出する検出部と、を備える。そして、背景設定部は、所定の画像解析によって、対象物体を検出する処理を開始する際に取得された撮影画像内に対象物体が写っているか否かを判定し、取得された撮影画像内に対象物体が写っていると判定した場合に、取得された撮影画像内において対象物体の写っている領域の各画素の深度を変更した上で、取得された撮影画像を背景画像に設定する。

Description

本発明は、画像解析装置、画像解析方法、及び、画像解析プログラムに関する。

撮影装置により撮影した撮影画像内で対象物体を検出する方法として、背景差分法が一般的によく知られている。背景差分法は、事前に設定した背景画像と撮影画像（入力画像）との差分を算出することで、背景画像と相違する領域（前景領域）を撮影画像内において抽出する手法である。背景画像内とは異なる状態の又は存在しない対象物体が撮影画像内に存在する場合には、当該対象物体の写る領域の画素値は背景画像から変化する。そのため、この背景差分法によれば、対象物体の写る領域を前景領域として抽出することができ、これによって、対象物体の存在を検出することができる。

近年、この背景差分法による対象物体の検出は、様々な分野で利用されている。例えば、特許文献１では、背景差分法を利用して見守り対象者の写る領域を検出する手法が提案されている。具体的には、背景差分法により抽出される前景領域が見守り対象者の行動に関連すると仮定して各推定条件が設定されており、この各推定条件が満たされるか否かを判定することによって当該見守り対象者の状態を推定する方法が提案されている。

特開２０１４−２３６８９６号公報

しかしながら、本件発明者は、一般的な背景差分法に基づいて対象物体を検出する場合に、次のような問題点が生じることを見出した。すなわち、背景差分法に利用する背景画像として、このような対象物体の検出処理を開始する際に取得された撮影画像を設定する場合がある。このような場合に、背景画像に設定した撮影画像に対象物体が写っていると、その時点の状態を対象物体が維持する間は、一般的な背景差分法で対象物体が検出できなくなってしまう。

つまり、対象物体の写っている撮影画像を背景画像に設定してしまうことによって、当該対象物体が動かない限りは、当該対象物体を適正に検出できなくなってしまう問題点が生じることを本件発明者は見出した。これによって、例えば、上記のような見守りシステムでは、見守り対象者の状態を適切に推定できなくなってしまう等の問題が生じてしまう。

本発明は、一側面では、このような点を考慮してなされたものであり、背景差分法において対象物体を適正に検出可能にする技術を提供することを目的とする。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る画像解析装置は、撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得する画像取得部と、前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定する背景設定部と、背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出する検出部と、を備える。そして、前記背景設定部は、所定の画像解析によって、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体が写っているか否かを判定し、取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定する。

上記構成に係る画像解析装置は、背景差分法に基づいて撮影画像の前景領域を抽出することによって当該撮影画像から対象物体を検出するところ、当該対象物体の検出処理を開始する際に取得された撮影画像によって背景差分法に用いる背景画像を設定する。このとき、上記構成に係る画像解析装置は、所定の画像解析によって、当該対象物体を検出する処理を開始する際に取得された撮影画像内に対象物体が写っているか否かを判定する。そして、上記構成に係る画像解析装置は、取得された撮影画像内に対象物体が写っていると判定した場合に、取得された撮影画像内において対象物体の写っている領域の各画素の深度を変更した上で、取得された撮影画像を背景画像に設定する。

すなわち、上記構成では、背景画像に設定する撮影画像に対象物体が写っている場合には、この対象物体の写る領域の各画素の深度は元の値から異なる値に変更され、これによって、当該各画素の深度の指し示す位置は対象物体からずれた位置に変更される。具体的には、各画素の深度は被写体表面に対して取得されるため、対象物体の写る領域の各画素の深度を変更すると、当該各画素の深度の指し示す位置は、当該対象物体の表面からずれる。

そのため、上記構成によれば、背景画像に設定する撮影画像に対象物体が写っていたとしても、対象物体の写る領域の各画素の深度を当該対象物体の表面を指し示さなくした上で、当該撮影画像を背景画像に設定することができる。したがって、背景画像に設定する撮影画像を取得した時点の状態を対象物体が維持していたとしても、対象物体の写る領域の各画素の深度は対象物体の表面を指し示していないため、この背景画像に基づいて当該対象物体を適正に検出することができる。よって、上記構成によれば、背景差分法において対象物体を適正に検出可能にする技術を提供することができる。

なお、検出する対象となる対象物体は、実施の形態に応じて適宜選択されてよい。対象物体は、例えば、見守りの対象となる見守り対象者である。この場合、上記画像解析装置は、例えば、見守り対象者の行動を推定することを目的として、背景差分法に基づいて撮影画像から当該見守り対象者を検出してもよい。

また、上記一側面に係る画像解析装置の別の形態として、前記背景設定部は、取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を、当該深度の元の値が示す位置よりも前記撮影装置からみて所定の距離だけ後方の位置を示すように変更した上で、取得された前記撮影画像を前記背景画像に設定してもよい。

背景画像に設定する撮影画像内に対象物体が写っている場合、この対象物体に隠れている本来の背景部分は、この対象物体よりも撮影装置からみて後方に存在する。そこで、当該構成では、背景設定部は、背景画像に設定する撮影画像内において、対象物体の写っている領域の各画素の深度を、当該深度の元の値が示す位置よりも撮影装置からみて所定の距離だけ後方の位置を示すように変更する。これによって、当該構成によれば、本来の背景により類似する背景画像を設定することができ、背景差分法において対象物体を適正に検出することが可能になる。

なお、各画素の深度を変更する量の基準となる所定の距離は、実施の形態に応じて適宜設定されてよい。例えば、当該所定の距離は、各画素の深度が本来の背景の位置よりも後方を指し示さないように、対象物体の厚みを考慮して設定されてもよい。この場合、対象物体として見守り対象者を検出するときには、当該所定の距離は、例えば、３０ｃｍ程度に設定されてよい。

また、上記一側面に係る画像解析装置の別の形態として、前記背景設定部は、前記対象物体を検出する処理を開始する際に取得された前記撮影画像にラベリング処理を適用することで、取得された前記撮影画像内で１又は複数の連結成分領域を抽出し、抽出された１又は複数の連結成分領域が前記対象物体の写っている領域に該当するか否かを解析することで、取得された前記撮影画像内に前記対象物体が写っているか否かを判定してもよい。当該構成によれば、ラベリング処理に基づいて対象物体を適切に抽出し、背景差分法において対象物体を適正に検出することが可能となるように背景画像を設定することができる。

また、上記一側面に係る画像解析装置の別の形態として、前記対象物体を検出する処理を開始した後に、取得された前記撮影画像により前記背景画像を更新する背景更新部を更に備えてもよい。そして、前記背景更新部は、取得された前記撮影画像から前記対象物体が検出された場合に、前記対象物体の写っている領域を除いて、取得された前記撮影画像に前記背景画像を置き換えることで、前記背景画像を更新してもよい。

当該構成によれば、背景画像を更新することで、背景の変化に対応した背景差分法を提供することができる。また、背景画像を更新する際に、背景画像に設定する撮影画像に対象物体が写っていると、上記と同様の問題が生じうる。これに対して、当該構成では、取得された撮影画像から対象物体が検出された場合には、対象物体の写っている領域を除いて、背景画像を更新する。そのため、当該構成によれば、撮影画像に対象物体が写っている状況であっても背景画像を適切に更新し、更新後の背景画像に基づいて撮影画像から対象物体を適正に検出することが可能である。

また、上記一側面に係る画像解析装置の別の形態として、前記検出部は、前記対象物体として見守り対象者を前記撮影画像から検出してもよい。そして、前記背景設定部は、取得された前記撮影画像内に前記見守り対象者が写っていると判定した場合に、当該見守り対象者が所定の状態にあるか否かを更に判定し、当該見守り対象者が当該所定の状態にあると判定した場合に、取得された前記撮影画像内において当該見守り対象者の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定してもよい。

当該構成では、背景差分法に基づいて撮影画像から見守り対象者を検出するところ、背景画像に設定する撮影画像に写る見守り対象者が所定の状態にある場合に限り、見守り対象者の写る領域の各画素の深度を変更する。したがって、例えば、見守り対象者がベッド上で正常に就寝している場面等、見守り対象者を積極的に検出することを要しない場面では、背景画像を設定する際の深度の変更処理を省略することができる。

よって、当該構成によれば、見守り対象者を積極的に検出することを要しない場面では当該見守り対象者を検出せず、かつ、見守り対象者を積極的に検出することを要する場面では当該見守り対象者を検出可能な背景画像を設定することができる。すなわち、見守り対象者の状態推定に適した背景画像を設定することができる。

なお、見守り対象者とは、見守りの対象となる人物であり、例えば、入院患者、施設入居者、要介護者である。また、深度を変更する対象とする見守り対象者の所定の状態は、実施の形態に応じて適宜設定されてよく、例えば、見守り対象者を積極的に検出することを要する状態である。このような例として、当該所定の状態には、例えば、ベッド上での端座位等が設定されてよい。

なお、上記各形態に係る画像解析装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。

例えば、本発明の一側面に係る画像解析方法は、コンピュータが、撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得するステップと、前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定するステップと、背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出するステップと、を実行し、前記背景画像を設定するステップでは、所定の画像解析によって、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体が写っているか否かを判定し、取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定する、情報処理方法である。

また、例えば、本発明の一側面に係る画像解析プログラムは、コンピュータに、撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得するステップと、前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定するステップと、背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出するステップと、を実行させ、前記背景画像を設定するステップでは、所定の画像解析によって、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体が写っているか否かを判定させ、取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定させる、ためのプログラムである。

本発明によれば、背景差分法において対象物体を適正に検出することが可能になる。

図１は、本発明が適用される場面の一例を模式的に例示する。 図２は、実施の形態に係る画像解析装置のハードウェア構成を例示する。 図３は、実施の形態に係るカメラにより取得される深度と被写体との関係を例示する。 図４は、実施の形態に係る画像解析装置の機能構成を例示する。 図５は、実施の形態に係る画像解析装置における背景画像の設定に関する処理手順を例示する。 図６は、実施の形態に係るカメラにより取得される撮影画像を例示する。 図７は、実施の形態に係る撮影画像内の座標関係を例示する。 図８は、実施の形態に係る撮影画像の任意の点（画素）とカメラとの実空間内での位置関係を例示する。 図９は、実施の形態に係る撮影画像にラベリング処理を適用した状態を例示する。 図１０は、実施の形態に係る背景画像設定の際の深度を変更する処理を模式的に例示する。 図１１は、実施の形態に係る背景画像の更新処理を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

§１ 適用場面
まず、図１を用いて、本発明が適用される場面について説明する。図１は、本実施形態に係る画像解析装置１が用いられる場面を模式的に例示する。本実施形態に係る画像解析装置１は、カメラ２によって見守り対象者を撮影し、それにより得られた撮影画像３から見守り対象者を検出することで、当該見守り対象者を見守る情報処理装置である。そのため、本実施形態に係る画像解析装置１は、見守り対象者の見守りを行う場面で広く利用可能である。

具体的には、図１で例示されるように、本実施形態に係る画像解析装置１は、カメラ２によって見守り対象者を撮影する。カメラ２は、本発明の「撮影装置」に相当し、見守り対象者は、本発明の「対象物体」に相当する。見守り対象者は、見守りの対象となる人物であり、例えば、入院患者、施設入居者、要介護者である。

この見守り対象者は、例えば、ベッド上で就寝しており、カメラ２は、そのような状態の見守り対象者を撮影するために設定されている。このカメラ２は、この見守り対象者の見守りを行う場面で当該見守り対象者を撮影可能であれば、いかなる場所に配置されてもよい。

当該カメラ２は、撮影画像３内の各画素に対応する深度を取得可能に構成される。本実施形態では、カメラ２は、各画素の深度を取得可能なように、被写体の深度を測定する深度センサ（後述する深度センサ２１）を含んでいる。本実施形態に係る画像解析装置１は、このようなカメラ２と接続しており、見守り対象者を撮影した撮影画像３を取得する。

この撮影画像３は、後述する図６に例示されるように、画素毎に得られる深度を示す深度データを含んでいる。撮影画像３は、撮影範囲（画角）内の被写体の深度を示すデータを含んでいればよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、撮影画像３は、深度データとともに、ＲＧＢ画像を含んでもよい。更に、撮影画像３は、動画像であってもよいし、１又は複数枚の静止画像であってもよい。

本実施形態に係る画像解析装置１は、このような撮影画像３を継続的に取得し、継続的に取得される撮影画像３の前景領域を背景差分法により抽出することで、当該継続的に取得される撮影画像３から見守り対象者を検出する。本実施形態では、この背景差分法に利用する背景画像を、当該見守り対象者の検出する処理を開始する際に取得された撮影画像３によって設定する。

すなわち、本実施形態に係る画像解析装置１は、この背景差分法による見守り対象者の検出処理を開始する際に取得された撮影画像３を、当該撮影画像３の背景である背景画像（後述する背景画像４）に設定する。換言すると、見守り対象者を検出する処理の初期動作の一つとして、画像解析装置１は、カメラ２により撮影した撮影画像３を、背景差分法に利用する背景画像に設定する。

ここで、背景画像に設定する撮影画像３に見守り対象者が写っている場合には、見守り対象者を含んだ背景画像が設定されてしまう。そうすると、見守り対象者が移動しない限りは、背景画像を設定した後に取得された撮影画像３と背景画像との間で、当該見守り対象者の写る領域に深度の差分が生じなくなってしまい、背景差分法では見守り対象者が検出できなくなってしまう。

そこで、本実施形態では、上記初期動作において背景画像を設定する際に、画像解析装置１は、所定の画像解析によって、見守り対象者の検出処理を開始する際に取得された撮影画像３内に見守り対象者が写っているか否かを判定する。当該所定の画像解析は、この時点で見守り対象者を検出可能であれば、実施の形態に応じて適宜選択されてよい。当該所定の画像解析は、例えば、後述するラベリング処理である。

そして、本実施形態に係る画像解析装置１は、取得された撮影画像３内に見守り対象者が写っていると判定した場合には、取得された撮影画像３内において見守り対象者の写っている領域の各画素の深度を変更した上で、取得された撮影画像３を背景画像に設定する。すなわち、本実施形態に係る画像解析装置１は、背景画像に設定する撮影画像３に見守り対象者が写っている場合には、この見守り対象者の写る領域の各画素の深度を元の値から異なる値に変更し、これによって、当該各画素の深度の指し示す位置を見守り対象者からずれた位置に変更する。詳細には、各画素の深度は被写体表面に対して取得されるため、本実施形態に係る画像解析装置１は、当該各画素の深度の指し示す位置を見守り対象者の表面からずれた位置に変更する。

そのため、本実施形態によれば、画像解析装置１は、背景画像に設定する撮影画像３に見守り対象者が写っていたとしても、見守り対象者の写る領域の各画素の深度を当該見守り対象者の表面を指し示さなくした上で、当該撮影画像３を背景画像に設定する。したがって、背景画像に設定する撮影画像３を取得した時点の状態を見守り対象者が維持したとしても、背景画像を設定した後に取得された撮影画像３と背景画像との間で当該見守り対象者の写る領域に深度の差分が生じる。すなわち、背景画像に設定する撮影画像３を取得した時点の状態を見守り対象者が維持したとしても、画像解析装置１は、この背景画像を利用した背景差分法に基づいて見守り対象者を適正に検出することができる。よって、本実施形態によれば、上記問題点を回避することができ、背景画像を設定した当初より背景差分法に基づいて対象物体を適正に検出可能にする技術を提供することができる。

なお、本実施形態では、背景差分法によって検出する対象物体として見守り対象者が例示されている。ただし、本実施形態に係る画像解析装置１は、このような場面に限定して適用される訳ではなく、見守り対象者以外の対象物体を検出する場面に利用されてもよい。対象物体は実施の形態に応じて適宜選択されてよく、本実施形態に係る画像解析装置１は、対象物体を検出する場面に広く適用可能である。加えて、本実施形態に係る画像解析装置１は、対象物体の状態を解析するよう構成されてもよい。例えば、画像解析装置１は、見守り対象者の状態（起き上がり、端座位、離床等）を解析するように構成されてよい。

また、画像解析装置１の配置場所は、カメラ２から撮影画像３を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、画像解析装置１は、図１に例示されるように、カメラ２に近接するように配置されてもよい。また、画像解析装置１は、ネットワークを介してカメラ２と接続してもよく、当該カメラ２とは全く異なる場所に配置されてもよい。

§２ 構成例
＜ハードウェア構成＞
次に、図２を用いて、画像解析装置１のハードウェア構成を説明する。図２は、本実施形態に係る画像解析装置１のハードウェア構成を例示する。画像解析装置１は、図２に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。図２では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。

なお、画像解析装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、画像解析装置１の内部装置としてではなく、外部装置として画像解析装置１に接続されてもよい。また、画像解析装置１はカメラ２を内蔵してもよい。更に、画像解析装置１は、複数の外部インタフェース１５を備えてもよく、複数の外部装置と接続してもよい。

本実施形態に係るカメラ２は、外部インタフェース１５を介して画像解析装置１に接続しており、見守り対象者を撮影するために設置されている。ただし、このカメラ２の設置目的は、このような例に限られなくてもよく、実施の形態に応じて適宜選択可能である。このカメラ２は、本発明の撮影装置に相当する。

本実施形態では、カメラ２は、被写体の深度を測定するための深度センサ２１を備えている。この深度センサ２１の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ２１として、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。

ただし、カメラ２の構成は、被写体の深度を取得可能であれば、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、カメラ２は、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ２は、深度センサ２１単体に置き換わってもよい。

なお、見守り対象者を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ２１は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、Occipital社のStucture Sensorを挙げることができる。

ここで、図３を用いて、本実施形態に係る深度センサ２１によって測定される深度を詳細に説明する。図３は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３で例示されるように、被写体の深さは、例えば、カメラ２と対象物との直線の距離Ａで表現されてもよいし、カメラ２の被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。

すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。このような深度を利用することで、本実施形態に係る画像解析装置１は、実空間上における被写体の位置を特定することができる。

なお、本実施形態に係る記憶部１２は、プログラム５を格納する。このプログラム５は、画像解析装置１に後述する背景画像の設定に関する各処理を実行させるためのプログラムであり、本発明の「画像解析プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。

記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図２は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

また、このような画像解析装置１は、例えば、提供されるサービス専用に設計された装置であってもよいし、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置であってもよい。更に、画像解析装置１は、１又は複数のコンピュータにより実装されてもよい。

＜機能構成例＞
次に、図４を用いて、画像解析装置１の機能構成を説明する。図４は、本実施形態に係る画像解析装置１の機能構成を例示する。本実施形態では、画像解析装置１の制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、画像解析装置１は、画像取得部１１１、背景設定部１１２、検出部１１３及び背景更新部１１４を備えるコンピュータとして機能する。

画像取得部１１１は、カメラ２によって撮影された撮影画像３を継続的に取得する。カメラ２には深度センサ２１が含まれているため、取得される撮影画像３には、当該撮影画像３内の各画素の深度を示す深度データが含まれる。背景設定部１１２は、継続的に取得される撮影画像３から対象物体を検出する処理を開始する際に、取得された撮影画像３を背景画像４に設定登録する。

ここで、背景画像４に設定する撮影画像３に対象物体が写っていることで生じる上記問題点を回避するため、背景設定部１１２は、所定の画像解析によって、対象物体を検出する処理を開始する際に取得された撮影画像３内に当該対象物体が写っているか否かを判定する。そして、背景設定部１１２は、取得された撮影画像３内に対象物体が写っていると判定した場合に、取得された撮影画像３内において対象物体の写っている領域の各画素の深度を変更した上で、取得された撮影画像３を背景画像４に設定する。

検出部１１３は、背景差分法に基づいて、撮影画像３と背景画像４との差分を算出することで、撮影画像３から対象物体を検出する。また、背景更新部１１４は、対象物体を検出する処理を開始した後に、取得された撮影画像３により背景画像を更新する。この背景更新部１１４は、取得された撮影画像３から対象物体が検出された場合に、対象物体の写っている領域を除いて、取得された撮影画像３に背景画像４を置き換えることで、背景画像４を更新する。なお、本実施形態では、対象物体は、見守り対象者である。ただし、対象物体は、見守り対象者に限られる訳ではなく、実施の形態に応じて適宜選択されてよい。

なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、画像解析装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。例えば、画像解析装置１が背景画像の更新を行わない場合には、背景更新部１１４は省略されてもよい。各機能に関しては後述する動作例で詳細に説明する。

§３ 動作例
次に、図５を用いて、画像解析装置１の動作例を説明する。図５は、画像解析装置１による背景画像４の設定に関する処理手順を例示する。画像解析装置１の制御部１１は、例えば、後述する背景差分法に基づく見守り対象者の検出する処理を開始する際に、本動作例に係る処理手順を実行する。

なお、以下で説明する背景画像の設定に関する処理手順は、本発明の「画像解析方法」に相当する。ただし、以下で説明する背景画像の設定に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、カメラ２により撮影された撮影画像３を取得する。本実施形態では、上記のとおり、カメラ２は、深度センサ２１を備えている。そのため、本ステップＳ１０１において取得される撮影画像３には、各画素の深度を示す深度データが含まれている。制御部１１は、この深度データを含む撮影画像３として、例えば、図６で例示される撮影画像３を取得する。

図６は、深度データを含む撮影画像３の一例を示す。図６で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。制御部１１は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の座標（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。以下、図７及び図８を用いて、制御部１１が各画素の実空間上での位置を特定する計算例を示す。

図７は、撮影画像３内の座標関係を例示する。また、図８は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を例示する。なお、図７の左右方向は、図８の紙面に垂直な方向に対応する。すなわち、図８で表れている撮影画像３の長さは、図７で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図７で例示される横方向の長さ（Ｗピクセル）は、図８で表れていない撮影画像３の紙面垂直方向の長さに対応する。

図７で例示されるように、撮影画像３の任意の画素（点ｓ）の座標が（ｘ_s，ｙ_s）であるとし、カメラ２の横方向の画角がＶ_x、縦方向の画角がＶ_yであるとする。また、撮影画像３の横方向のピクセル数がＷであるとし、縦方向のピクセル数がＨであるとし、撮影画像３の中心点（画素）の座標が（０，０）であるとする。

制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報をカメラ２から取得することができる。ただし、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を取得する方法はこのような例に限られず、制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部１１は、撮影画像３から、点ｓの座標（ｘ_s，ｙ_s）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、撮影画像３に含まれる深度データを参照することによって、点ｓの深度Ｄｓを取得することができる。

制御部１１は、これらの情報を利用することで、当該各画素（点ｓ）の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数１〜３で示される関係式に基づいて、図８に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓ_x，Ｓ_y，Ｓ_z，１）の各値を算出することができる。これにより、撮影画像３内の二次元座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。

ただし、上記ベクトルＳは、カメラ２を中心とした三次元座標系のベクトルである。このカメラ２は、図８に例示されるように、水平方向に対して傾いている場合がある。すなわち、カメラ座標系は、三次元空間（実空間）のワールド座標系から傾いている場合がある。そのため、制御部１１は、カメラ２のロール角、ピッチ角（図８のα）及びヨー角を用いた射影変換を上記ベクトルＳに適用することによって、上記カメラ座標系のベクトルＳをワールド座標系のベクトルに変換し、ワールド座標系における点ｓの位置を算出してもよい。

なお、深度データを含む撮影画像３のデータ形式は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。例えば、撮影画像３は、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、例えば、撮影画像３は、深度データとともに、ＲＧＢ画像を含んでもよい。更に、撮影画像３は、動画像であってもよいし、１又は複数枚の静止画像であってもよい。制御部１１は、このような撮影画像３を取得すると、次のステップＳ１０２に処理を進める。

（ステップＳ１０２）
図５に戻り、次のステップＳ１０２では、制御部１１は、背景設定部１１２として機能し、見守り対象者の検出する処理を開始する際にステップＳ１０１で取得された撮影画像３にラベリング処理を適用することで、取得された撮影画像３内で１又は複数の連結成分領域を抽出する。撮影画像３内で１又は複数の連結成分領域を抽出すると、制御部１１は、次のステップＳ１０３に処理を進める。

ここで、図９を用いて、このラベリング処理について説明する。図９は、図６で例示される撮影画像３にラベリング処理を適用した状態を例示する。ラベリング処理とは、画像内の連続した領域を抽出し、それぞれの領域にラベルを付す処理である。本実施形態では、この画像内の連続した領域を連結成分領域と称する。このラベリング処理によれば、連結成分領域を抽出することができ、これによって、一塊の領域（１つの連結成分領域）として見守り対象者の写る領域を検出することができる。

具体的には、制御部１１は、例えば、撮影画像３内の各画素の深度を参照し、隣接する画素間で深度が所定の閾値以上の差があるか否かを判定する。そして、この判定に基づいて、制御部１１は、隣接する画素間で深度が所定の閾値以上の差のない領域を一塊の連結成分領域として抽出し、隣接する画素間で深度が所定の閾値以上の差のある領域をそれ以外の境界領域に設定する。

図９の例では、この処理によって、２つの領域（３１、３２）が連結成分領域として抽出されている。領域３１は、見守り対象者の写る領域に対応し、領域３２は、室内の壁の写る領域に対応する。そして、制御部１１は、各領域（３１、３２）にラベルを付与する。例えば、面積の大きい順にラベルを付す場合には、制御部１１は、領域３２に１番のラベルを付与し、領域３１に２番のラベルを付与する。

なお、このような連結成分領域を抽出する指標となる上記所定の閾値は、実施の形態に応じて適宜設定されてよい。また、図９では、説明の便宜のため、連結成分領域が白色で表現されており、それ以外の境界領域が黒色で表現されている。しかしながら、各領域を表現する手法は、このような例に限定される訳ではなく、実施の形態に応じて適宜選択されてよい。

また、本実施形態では、見守り対象者のベッド上での起き上がり、端座位、ベッドからの離床等を見守ることが想定されている。そこで、本実施形態では、ベッドの位置（例えば、ベッド面の位置）が予め設定されており、制御部１１は、ベッド面から所定の高さ以下の部分はラベリング処理の対象から除外している。そのため、図９では、２つの領域（３１、３２）の下方側の部分が広く境界領域（黒色の領域）に設定されている。ただし、画像解析装置１は、このように構成されなくてもよく、撮影画像３全体をラベリング処理の対象としてもよい。

（ステップＳ１０３＆ステップＳ１０４）
図５に戻り、次のステップＳ１０３及びステップＳ１０４では、制御部１１は、背景設定部１１２として機能し、ステップＳ１０２で抽出された１又は複数の連結成分領域が見守り対象者の写っている領域に該当するか否かを解析することで、ステップＳ１０１で取得された撮影画像３内に見守り対象者が写っているか否かを判定する。

具体的には、まず、ステップＳ１０３では、制御部１１は、ステップＳ１０２で抽出された１又は複数の連結成分領域が見守り対象者の写っている領域に該当するか否かを解析する。ラベリング処理で抽出された連結成分領域が見守り対象者の写っている領域であるか否かを解析する手法は、実施の形態に応じて適宜選択されてよい。

例えば、制御部１１は、次のようにして、ラベリング処理で抽出された連結成分領域が見守り対象者の写っている領域であるか否かを解析してもよい。すなわち、見守り対象者の大きさ及び形状はある程度限定されるため、見守り対象者の写っている領域の面積及び分散はそれぞれある程度の範囲に収まる。そこで、制御部１１は、ステップＳ１０２で抽出された各連結成分領域の面積及び分散をそれぞれ算出し、算出した各連結成分領域の面積及び分散それぞれが所定の範囲に含まれるか否かを判定する。

そして、制御部１１は、面積及び分散それぞれが所定の範囲に含まれると判定された連結成分領域を見守り対象者の写っている領域と認識する。一方、制御部１１は、面積及び分散の少なくともいずれかが所定の範囲に含まれないと判定された連結成分領域を見守り対象者以外の写っている領域と認識する。制御部１１は、このようにして、ラベリング処理で抽出された連結成分領域が見守り対象者の写っている領域であるか否かを解析することができる。

なお、見守り対象者の写っている領域か否かを判定する基準となる面積の範囲及び分散の範囲はそれぞれ、実施の形態に応じて適宜設定されてよい。例えば、図９の例では、制御部１１は、各領域（３１、３２）に対して上記のような解析を行う。この場合、所定の面積の範囲及び分散の範囲は、領域３１の面積及び分散を含むように設定され、領域３２の面積及び分散のいずれか一方を含まないように設定される。これによって、制御部１１は、図９の例において、領域３１を見守り対象者の写っている領域と認識し、領域３２を見守り対象者以外の写っている領域と認識することができる。

次に、ステップＳ１０４では、制御部１１は、ステップＳ１０３の解析結果に基づいて、ステップＳ１０１で取得された撮影画像３内に見守り対象者が写っているか否かを判定する。そして、制御部１１は、ステップＳ１０１で取得された撮影画像３内に見守り対象者が写っていると判定した場合には、次のステップＳ１０５に処理を進める。一方、制御部１１は、ステップＳ１０１で取得された撮影画像３内に見守り対象者が写っていないと判定した場合には、ステップＳ１０５の処理を省略し、次のステップＳ１０６に処理を進める。

例えば、上記ステップＳ１０３では、制御部１１は、各連結成分領域の面積及び分散に基づいて、各連結成分領域が見守り対象者の写っている領域か否かを認識している。そのため、制御部１１は、ステップＳ１０３で見守り対象者の写っている領域と認識した連結成分領域が存在する場合には、撮影画像３内に見守り対象者が写っていると判定し、次のステップＳ１０５に処理を進める。一方、制御部１１は、ステップＳ１０３で見守り対象者の写っている領域と認識した連結成分領域が存在しない場合には、撮影画像３内に見守り対象者が写っていないと判定し、ステップＳ１０５の処理を省略し、次のステップＳ１０６に処理を進める。図９の例では、制御部１１は、領域３１を見守り対象者の写っている領域と認識し、次のステップＳ１０５に処理を進める。

すなわち、上記ステップＳ１０２〜Ｓ１０４の処理では、制御部１１は、背景設定部１１２として機能し、所定の画像解析によって、見守り対象者を検出する処理を開始する際にステップＳ１０１で取得された撮影画像３内に見守り対象者が写っているか否かを判定している。また、本実施形態に係る画像解析装置１は、見守り対象者が撮影画像３に写っているか否かを判定するこの所定の画像解析として、上記のラベリング処理を採用している。

なお、例えば、カメラ２から被写体が遠ざかるほど、撮影画像３内の被写体の像は小さくなり、カメラ２に被写体が近づくほど、撮影画像３内の被写体の像は大きくなる。撮影画像３内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像３の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。

そこで、制御部１１は、被写体の遠近による影響を除外するために、上記ステップＳ１０３において、各画素の深度を利用して、各連結成分領域の実空間における面積を算出してもよい。各連結成分領域の実空間における面積は、例えば、次のようにして算出することができる。すなわち、制御部１１は、まず、以下の数４及び数５の関係式に基づいて、図７及び図８に例示される任意の点ｓ（１画素）の実空間内における横方向の長さｗ及び縦方向の長さｈをそれぞれ算出する。

次に、制御部１１は、このように算出されるｗの２乗、ｈの２乗、又はｗとｈとの積によって、深度Ｄｓにおける１画素の実空間内での面積を算出する。そして、制御部１１は、各連結成分領域に含まれる各画素の実空間内での面積の総和を求めることで、各連結成分領域の実空間における面積を算出する。これにより、被写体の遠近の影響を除外し、各連結成分領域の解析精度を高めることができる。

なお、このような面積は、深度情報のノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部１１は、数フレーム分の面積の平均を利用してもよい。また、制御部１１は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。

（ステップＳ１０５）
次のステップＳ１０５では、制御部１１は、背景設定部１１２として機能し、ステップＳ１０１で取得された撮影画像３内に見守り対象者が写っているとステップＳ１０４において判定された場合に、当該撮影画像３内の見守り対象者の写っている領域の各画素の深度を変更する。各画素の深度を変更する方法は、実施の形態に応じて適宜選択可能である。例えば、図１０で例示されるように、制御部１１は、撮影画像３内の見守り対象者の写っている領域の各画素の深度を変更する。

図１０は、図９で例示した見守り対象者の写る領域３１の各画素を変更する処理を模式的に例示する。後述するステップＳ１０６において背景画像４に設定する撮影画像３内に見守り対象者が写っている場合には、見守り対象者は、カメラ２からみて背景よりも手前側に存在する。すなわち、図１０に例示されるように、見守り対象者に隠れている本来の背景部分は、この見守り対象者よりもカメラ２からみて後方に存在する。

そこで、制御部１１は、撮影画像３内の見守り対象者の写る領域の各画素の深度を次のように変更してもよい。すなわち、制御部１１は、撮影画像３内の見守り対象者の写る領域の各画素の深度を、当該深度の元の値が示す位置よりもカメラ２からみて所定の距離だけ後方の位置を示すように変更してもよい。例えば、制御部１１は、撮影画像３内の見守り対象者の写る領域の各画素の深度に所定の値を加算することで、このような変更を実施することができる。

図１０の例では、制御部１１は、見守り対象者の写る領域３１の各画素の深度を、当該深度の元の値が示す位置３１１よりもカメラ２からみて所定の距離だけ後方の位置３１２を示すように変更している。この変更によって、見守り対象者の写る領域の各画素の深度が本来の背景の近い位置を指し示すようにすることができ、この撮影画像３を本来の背景に類似する画像にすることができる。すなわち、後述するステップＳ１０６において、本来の背景により類似する背景画像４を設定することが可能になる。

なお、各画素の深度を変更する量の基準となる所定の距離は、実施の形態に応じて適宜設定されてよい。また、当該所定の距離は、画素毎に相違していてもよい。更に、各画素の深度が本来の背景の位置よりも後方を指し示さないように、見守り対象者の厚みを考慮して設定されてもよい。この場合、当該所定の距離は、例えば、３０ｃｍ程度に設定されてよい。

また、撮影画像３内の見守り対象者の写る領域の各画素の深度を変更する処理は、このような例に限定されなくてもよい。例えば、制御部１１は、撮影画像３内の見守り対象者の写る領域の各画素の深度を、当該深度の元の値が示す位置よりもカメラ２からみて所定の距離だけ前方の位置を示すように変更してもよい。各画素の深度を変更する方向は、実施の形態に応じて適宜選択可能である。ただし、上記の理由から、各画素の深度を変更する方向は、カメラ２からみて後方であるのが好ましい。このように、撮影画像３内の見守り対象者の写っている領域の各画素の深度を変更すると、制御部１１は、次のステップＳ１０６に処理を進める。

（ステップＳ１０６）
次のステップＳ１０６では、制御部１１は、背景設定部１１２として機能し、ステップＳ１０１で取得された撮影画像３を背景画像４に設定する。例えば、制御部１１は、ＲＡＭ又は記憶部１２に当該撮影画像３を背景画像４として登録することで、ステップＳ１０１で取得された撮影画像３を背景画像４に設定する。すなわち、ステップＳ１０２〜Ｓ１０６の処理では、制御部１１は、背景設定部１１２として機能し、見守り対象者を検出する処理を開始する際に取得された撮影画像３を背景画像４に設定する。

上記ステップＳ１０５の処理を経由している場合には、換言すると、ステップＳ１０１で取得された撮影画像３に見守り対象者が写っていると判定された場合には、当該見守り対象者の写る領域に含まれる各画素の深度が変更された上で、ステップＳ１０１で取得された撮影画像３が背景画像４に設定される。一方、上記ステップＳ１０５の処理を経由していない場合には、換言すると、ステップＳ１０１で取得された撮影画像３に見守り対象者が写っていないと判定された場合には、ステップＳ１０１で取得された撮影画像３がそのまま背景画像４に設定される。これによって、本動作例に係る処理手順は終了する。

なお、上記ステップＳ１０１において、制御部１１は、所定時間内に複数枚の撮影画像３を取得してもよい。また、制御部１１は、各撮影画像３に上記ステップＳ１０２〜Ｓ１０５の処理を適用してもよい。そして、本ステップＳ１０６では、制御部１１は、所定時間内に取得された複数枚の撮影画像３を平均化することで、設定する背景画像４を作成してもよい。また、制御部１１は、上記ステップＳ１０１で取得した１枚の撮影画像３に上記ステップＳ１０２〜Ｓ１０６の処理を適用することで、背景画像４を作成してもよい。背景画像４を作成するために用いる撮影画像３の枚数（フレーム数）は、実施の形態に応じて適宜選択可能である。

＜その他＞
（１）見守り対象者の検出
上記動作例により背景画像４が設定されると、画像解析装置１は、背景差分法に基づいて撮影画像３から見守り対象者を検出することが可能になる。そこで、画像解析装置１は、背景画像４を設定した後に取得される撮影画像３に背景差分法を適用することで、当該撮影画像３から見守り対象者を検出する。

具体的には、制御部１１は、背景画像４を設定した後も、画像取得部１１１として機能し、カメラ２から撮影画像３を取得する。次に、制御部１１は、検出部１１３として機能し、背景差分法に基づいて、取得した撮影画像３と背景画像４との差分を算出することで、撮影画像３内の前景領域を抽出する。そして、制御部１１は、パターンマッチング等で抽出した前景領域が見守り対象者の写る領域（以下、「人物領域」とも称する）か否かを判定し、これによって、撮影画像３から見守り対象者を検出する。

なお、制御部１１は、継続的に取得される撮影画像３内において一度検出した見守り対象者（対象物体）を追跡（トラッキング）することで、撮影画像３内で見守り対象者を継続的に検出してもよい。このような追跡は、オプティカルフロー等に基づいて行うことができる。これによって、撮影画像３内に見守り対象者が写っている限りは、制御部１１は、このトラッキングに基づいて、見守り対象者を検出し続けることができる。

（２）背景画像の更新
また、時間経過によって背景が変化する場合がある。この場合に、背景差分法に基づいて撮影画像３から見守り対象者を引き続き検出しようとすると、見守り対象者とは無関係な前景領域が多く抽出されてしまう。これによって、撮影画像３から見守り対象者を誤検出してしまう可能性が生じうる。そこで、本実施形態では、制御部１１は、このような事態に対応すべく、背景更新部１１４として機能し、上記の見守り対象者を検出する処理を開始した後に、取得された撮影画像３によって背景画像４を更新する。

この背景画像４を更新するトリガは、例えば、次のとおりである。すなわち、制御部１１は、背景差分法に基づいて撮影画像３の前景領域を抽出し、この前景領域が所定の面積を超えた場合に、背景画像４を更新する処理を実行してもよい。また、制御部１１は、見守り対象者がカメラ２の撮影範囲から離れることで、撮影画像３に見守り対象者が写らなくなり、撮影画像３内で見守り対象者が検出されなくなった場合に、背景画像４を更新する処理を実行してもよい。

ここで、図１１を用いて、本実施形態に係る背景画像４の更新処理を説明する。図１１は、本実施形態に係る背景画像４の更新処理を模式的に例示する。制御部１１は、上記のトリガの条件が満たされた場合に、先に設定された背景画像４を、その時点で取得された撮影画像３に置き換えることで、背景画像４を更新してもよい。ただし、背景画像４に設定する撮影画像３に見守り対象者が写っている場合には、上記と同様の問題点が生じうる。

そこで、本実施形態では、制御部１１は、上記検出部１１３等の処理によって、その時点で取得された撮影画像３から見守り対象者が検出される場合には、見守り対象者の写っている領域を除いて、当該撮影画像３により背景画像４を更新する。例えば、図１１の例では、領域３３が、見守り対象者の写っている領域に対応し、領域３４が、それ以外の領域に対応する。そのため、制御部１１は、見守り対象者の写っている領域３３を除き、撮影画像３の領域３４に含まれる各画素の値（深度等）に、背景画像４の対応する各画素の値を置き換えることで、背景画像４を更新する。一方、制御部１１は、その時点で取得された撮影画像３から見守り対象者が検出されない場合には、当該撮影画像３をそのまま背景画像４に設定する。

本実施形態では、このように背景画像４を更新することで、背景画像４を更新するトリガが発生した時点で取得された撮影画像３に見守り対象者（対象物体）が写っている状況であっても背景画像４を適切に更新することができる。そのため、本実施形態によれば、更新後の背景画像４に基づいて撮影画像３から見守り対象者（対象物体）を適正に検出することが可能である。

なお、背景画像４を更新する方法は実施の形態に応じて適宜選択可能である。例えば、制御部１１は、上記背景画像４の設定と同様に、複数枚の撮影画像３によって背景画像４を更新してもよいし、１枚の撮影画像３によって背景画像４を更新してもよい。背景画像４の更新に利用する撮影画像３の枚数（フレーム数）は、実施形態に応じて適宜選択可能である。

（作用・効果）
以上のように、本実施形態に係る画像解析装置１は、ステップＳ１０２〜Ｓ１０４において背景画像４に設定する撮影画像３内に見守り対象者が写っているか否かを判定する。そして、背景画像４に設定する撮影画像３内に見守り対象者が写っていると判定される場合には、画像解析装置１は、当該撮影画像３内における見守り対象者の写っている領域の各画素の深度をステップＳ１０５の処理で変更する。その上で、画像解析装置１は、ステップＳ１０６において、当該撮影画像３を背景画像４に設定する。すなわち、本実施形態に係る画像解析装置１は、背景画像に設定する撮影画像３に見守り対象者が写っている場合には、この見守り対象者の写る領域の各画素の深度を元の値から異なる値に変更する。これによって、当該見守り対象者の写る領域の各画素の深度の指し示す位置は、見守り対象者の表面からずれた位置に変更される。

そのため、本実施形態によれば、画像解析装置１は、背景画像４に設定する撮影画像３に見守り対象者が写っていたとしても、見守り対象者の写る領域の各画素の深度を当該見守り対象者の表面を指し示さなくした上で、当該撮影画像３を背景画像４に設定することができる。したがって、背景画像４に設定される撮影画像３を取得した時点の状態を見守り対象者が維持したとしても、背景画像４を設定した後に取得された撮影画像３と当該背景画像４との間で当該見守り対象者の写る領域に深度の差分が生じる。すなわち、背景画像４に設定する撮影画像３を取得した時点の状態を見守り対象者が維持したとしても、画像解析装置１は、この背景画像４を利用した背景差分法に基づいて見守り対象者を適正に検出することができる。よって、本実施形態によれば、背景画像を設定した当初より背景差分法に基づいて見守り対象者（対象物体）を適正に検出可能にする技術を提供することができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

例えば、上記実施形態では、ステップＳ１０２及びＳ１０３において、制御部１１は、ラベリング処理に基づいて撮影画像３から人物領域を抽出している。しかしながら、人物領域を抽出する方法は、このような方法に限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、Haar-like検出器を利用した顔検出方法のように、対象物の大きさと向きとを想定し、画像全体をラスタスキャンすることにより、人物領域を抽出する方法が利用されてもよい。ただし、上記ステップＳ１０２及びＳ１０３のようなラベリング処理によると、画像全体を複数回スキャンしなくても人物領域を識別することが可能であるため、人物領域を高速に抽出することができる。そのため、リアルタイム処理を行う場合には、人物領域の抽出に上記ラベリング処理を利用するのが好ましい。

また、例えば、上記実施形態では、画像解析装置１は、背景差分法に基づいて、撮影画像３から見守り対象者を検出している。当該画像解析装置１は、更に、検出した見守り対象者の状態を解析してもよい。見守り対象者の状態を解析する方法及び解析対象の状態の種類は、実施の形態に応じて適宜選択されてよい。例えば、次のような解析方法で、見守り対象者の起き上がり、端座位及び離床を検知することができる。

すなわち、見守り対象者がベッド上で起き上がった場合、抽出される人物領域はベッド面から所定の高さ以上の位置に現れる。そこで、制御部１１は、見守り対象者の起き上がりを検知するため、検出部１１３の処理によって抽出した人物領域がベッド面から所定の高さ以上の位置に現れているか否かを判定してもよい。ベッド面の位置は予め設定されてよく、起き上がりを検知する指標となる所定の高さ（閾値）は、実施の形態に応じて適宜設定されてよい。制御部１１は、ベッド面から所定の高さ以上の位置に人物領域が現れていると判定した場合に、見守り対象者が起き上がり状態にあることを検知することができる。

また、見守り対象者が端座位の状態にある場合、抽出される人物領域はベッドサイドの所定の範囲に現れる。そこで、制御部１１は、見守り対象者の端座位を検知するため、検出部１１３の処理によって抽出した人物領域がベッドサイドの所定の範囲に現れるか否かを判定してもよい。端座位を検知する指標となる所定の範囲（検知範囲）は、実施の形態に応じて適宜設定されてよい。制御部１１は、ベッドサイドの所定の範囲に人物領域が現れていると判定した場合に、見守り対象者が端座位の状態にあることを検知することができる。

更に、見守り対象者が離床の状態にある場合、抽出される人物領域は、ベッドから離れた位置に現れる。そこで、制御部１１は、見守り対象者の離床を検知するため、検出部１１３の処理によって抽出した人物領域がベッドから所定の距離以上離れた位置に現れているか否かを判定してもよい。離床を検知する指標となる所定の距離（閾値）は、実施の形態に応じて適宜設定されてよい。制御部１１は、ベッドから所定の距離以上離れた位置に人物領域が現れていると判定した場合に、見守り対象者が離床の状態にあることを検知することができる。

すなわち、制御部１１は、人物領域とベッドとの位置関係に基づいて、見守り対象者の状態を解析することができる。なお、このように、画像解析装置１が見守り対象者の状態を解析する場合には、見守り対象者が解析対象の状態にある場面以外では、画像解析装置１は、見守り対象者を撮影画像３から検出しなくてもよい。例えば、見守り対象者がベッド上で就寝している状態を検知しない場合には、画像解析装置１は、就寝している見守り対象者を撮影画像３から検出しなくてもよい。

そこで、制御部１１は、上記ステップＳ１０４において撮影画像３内に見守り対象者が写っていると判定した場合には、上記ステップＳ１０５の処理を実行する前に、背景設定部１１２として機能し、当該見守り対象者が所定の状態にあるか否かを更に判定してもよい。本処理の判定の対象とする所定の状態には、上記のような解析対象とする状態が含まれてよいし、解析対象以外の状態が含まれてもよい。例えば、本処理の判定の対象とする所定の状態には、見守り対象者の起き上がり、端座位及び離床が含まれてよい。なお、制御部１１は、上記見守り対象の状態を検知する方法と同様に、上記ステップＳ１０２〜Ｓ１０４の処理により抽出した見守り対象者の写っている連結成分領域とベッドとの位置関係に基づいて、見守り対象者が所定の状態にあるか否かを判定することができる。

そして、制御部１１は、見守り対象者が所定の状態にあると判定した場合に、上記ステップＳ１０５の処理を実行するように構成されてよい。一方、制御部１１は、見守り対象者が所定の状態にないと判定した場合には、上記ステップＳ１０５の処理を省略して、次のステップＳ１０６に処理を進めてもよい。

これによって、例えば、見守り対象者がベッド上で正常に就寝している場面等、見守り対象者を積極的に検出することを要しない場面では、背景画像を設定する際の深度の変更処理を省略することができる。すなわち、上記判定の対象とする所定の状態から見守り対象者の就寝状態を除外した場合には、上記ステップＳ１０６では、就寝状態にある見守り対象者が写る撮影画像３がそのまま背景画像４に設定され得る。そのため、このような背景画像４を設定した後には、就寝状態にある見守り対象者は背景として扱われ、検出部１１３による背景差分法の処理において、見守り対象者を検出しないようにすることができる。

一方、上記判定の対象とする所定の状態に見守り対象者の起き上がり等の状態が含まれている場合に、撮影画像３にこのような状態の見守り対象者が写っているときには、上記実施形態と同様に、撮影画像３にステップＳ１０５の処理が適用される。すなわち、上記ステップＳ１０６では、制御部１１は、上記実施形態と同様に、見守り対象者の写る領域に含まれる各画素の深度を変更した上で、撮影画像３を背景画像４に設定する。そのため、このような背景画像４を設定した後には、起き上がり等の状態にある見守り対象者は背景としては扱われず、検出部１１３による背景差分法の処理において、見守り対象者を撮影画像３から適正に検出することができる。

したがって、本変形例によれば、見守り対象者を積極的に検出することを要しない場面では当該見守り対象者を検出せず、かつ、見守り対象者を積極的に検出することを要する場面では当該見守り対象者を検出可能な背景画像４を設定することができる。すなわち、見守り対象者の状態推定に適した背景画像４を設定することができる。

１…画像解析装置、
２…カメラ、２１…深度センサ、
３…撮影画像、４…背景画像、
５…プログラム、６…記憶媒体、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、１６…通信インタフェース、
１７…ドライブ、
１１１…画像取得部、１１２…背景設定部、１１３…検出部、
１１４…背景更新部

Claims (7)

1. 撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得する画像取得部と、
   前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定する背景設定部と、
   背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出する検出部と、
   を備え、
   前記背景設定部は、
   所定の画像解析によって、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体が写っているか否かを判定し、
   取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定する、
   画像解析装置。
2. 前記背景設定部は、取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を、当該深度の元の値が示す位置よりも前記撮影装置からみて所定の距離だけ後方の位置を示すように変更した上で、取得された前記撮影画像を前記背景画像に設定する、
   請求項１に記載の画像解析装置。
3. 前記背景設定部は、前記対象物体を検出する処理を開始する際に取得された前記撮影画像にラベリング処理を適用することで、取得された前記撮影画像内で１又は複数の連結成分領域を抽出し、抽出された１又は複数の連結成分領域が前記対象物体の写っている領域に該当するか否かを解析することで、取得された前記撮影画像内に前記対象物体が写っているか否かを判定する、
   請求項１又は２に記載の画像解析装置。
4. 前記対象物体を検出する処理を開始した後に、取得された前記撮影画像により前記背景画像を更新する背景更新部を更に備え、
   前記背景更新部は、取得された前記撮影画像から前記対象物体が検出された場合に、前記対象物体の写っている領域を除いて、取得された前記撮影画像に前記背景画像を置き換えることで、前記背景画像を更新する、
   請求項１から３のいずれか１項に記載の画像解析装置。
5. 前記検出部は、前記対象物体として見守り対象者を前記撮影画像から検出し、
   前記背景設定部は、
   取得された前記撮影画像内に前記見守り対象者が写っていると判定した場合に、当該見守り対象者が所定の状態にあるか否かを更に判定し、
   当該見守り対象者が当該所定の状態にあると判定した場合に、取得された前記撮影画像内において当該見守り対象者の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定する、
   請求項１から４のいずれか１項に記載の画像解析装置。
6. コンピュータが、
   撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得するステップと、
   前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定するステップと、
   背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出するステップと、
   を実行し、
   前記背景画像を設定するステップでは、
   所定の画像解析によって、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体が写っているか否かを判定し、
   取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定する、
   画像解析方法。
7. コンピュータに、
   撮影装置によって撮影された撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を継続的に取得するステップと、
   前記撮影画像から対象物体を検出する処理を開始する際に、取得された前記撮影画像を前記撮影画像の背景である背景画像に設定するステップと、
   背景差分法に基づいて、前記撮影画像と前記背景画像との差分を算出することで、前記撮影画像から前記対象物体を検出するステップと、
   を実行させ、
   前記背景画像を設定するステップでは、
   所定の画像解析によって、前記対象物体を検出する処理を開始する際に取得された前記撮影画像内に前記対象物体が写っているか否かを判定させ、
   取得された前記撮影画像内に前記対象物体が写っていると判定した場合に、取得された前記撮影画像内において前記対象物体の写っている領域の各画素の深度を変更した上で、取得された前記撮影画像を前記背景画像に設定させる、
   ための画像解析プログラム。