JP6115335B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。

室内斜め上方から室内下方に向けて撮影された画像の境界辺を通過して、床面領域からベッド領域への人体移動を検知することで、入床事象を判断し、ベッド領域から床面領域への人体移動を検知することで、離床事象を判断する技術がある（特許文献１）。

また、ベッドに寝ている患者が起床挙動を行ったことを判定するための見守り領域を、ベッドに就寝している患者を含むベッドの直上の領域に設定して、ベッドの横方向から見守り領域を含む撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す変動値が、患者がベッドに寝ている状態でカメラから得られた撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す初期値未満である場合に、患者が起床挙動を行っていると判断する技術がある（特許文献２）。

特開２００２−２３０５３３号公報 特開２０１１−００５１７１号公報

近年、入院患者、施設入居者、要介護者等の見守り対象者がベッドから転倒、転落する事故、及び、認知症患者の徘徊による事故が年々増加する傾向にある。このような事故を防止する方法として、例えば、特許文献１及び２で例示されるような、室内に設置したカメラで見守り対象者を撮影し、撮影した画像を解析することで、起き上がり、端座位、離床等の見守り対象者の行動を検出する見守りシステムが開発されている。このような見守りシステムでは、カメラで撮影される２次元画像の解析結果に基づいて、見守り対象者の行動が推定される。そのため、現実の空間（以下、「実空間」と称する）での見守り対象者の状態に適合しない行動推定の結果が得られる場合があった。

本発明は、一側面では、このような点を考慮してなされたものであり、実空間での見守り対象者の状態に適合する行動推定を可能にする技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の第１形態は、行動を見守られる見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影した撮影画像であって、当該撮影画像内の画素毎に得られる深度を示す深度情報を含む撮影画像、を取得する画像取得部と、前記撮影画像の背景として当該背景の深度を含んで設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部と、前記深度情報に基づいて前記前景領域内の画素の深度を参照して、前記前景領域と前記対象物の領域との実空間内の位置関係が、抽出した前記前景領域が前記見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、前記見守り対象者の前記対象物に関する行動を推定する行動推定部と、を備える情報処理装置である。

上記構成によれば、見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影した撮影画像の各画素について深度が取得される。当該深度は、被写体の深さを表現する。そのため、当該深度を利用することで、見守り対象者及び対象物を含む被写体の実空間での位置関係を推定することが可能である。

そこで、上記構成では、まず、撮影画像の背景として当該背景の深度を含んで設定された背景画像と当該撮影画像との差分から、当該撮影画像の前景領域が抽出される。撮影画像と背景画像との差分に基づいて抽出される前景領域は、背景画像から変化が生じている領域である。そのため、見守り対象者が動いた場合、抽出される前景領域には、少なくとも、見守り対象者が動いたことで変化が生じた領域が含まれると想定される。本発明の第１形態は、このような前景領域を利用して、見守り対象者の行動を推定する。

具体的には、本発明の第１形態は、撮影画像に含まれる深度情報に基づいて抽出された前景領域内の画像の深度を参照して、当該前景領域と前記対象物の領域との実空間内の位置関係が、当該前景領域が見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、見守り対象者の行動を推定する。なお、見守り対象者とは、本発明によって行動を見守られる対象者であり、例えば、入院患者、施設入居者、要介護者等である。

したがって、上記構成によれば、被写体の深さを示す深度情報が用いられて、見守り対象者と対象物との実空間内の位置関係に応じて当該見守り対象者の行動が推定されるため、実空間での見守り対象者の状態に適合する行動推定が可能となる。

また、本発明の第２形態は、前記行動推定部が、抽出された前記前景領域のうち、前記対象物に対して設定された検知領域内に含まれる部分に基づいて、前記前景領域と前記対象物の領域との前記位置関係が前記条件を満たすか否かを判定する、第１形態の情報処理装置である。当該構成によれば、見守り対象者の行動推定の処理対象とする前景領域を検知領域により限定することが可能になるため、当該見守り対象者の行動推定を行う実空間内の範囲を調整することが可能になる。

また、本発明の第３形態は、前記撮影画像内で前記対象物が存在する領域の指定を受け付け、指定された領域に存在する前記対象物の深度を前記撮影画像から取得し、取得した前記対象物の深度に基づいて、前記対象物の実空間内での位置を特定して、特定した前記対象物の実空間内での位置に対応して前記検知領域を設定する、検知領域設定部を更に備える第２形態の情報処理装置である。当該構成によれば、見守り対象者の行動推定の対象とする領域を設定する検知領域の基準となる対象物の領域をユーザが指定できるようになる。そのため、当該構成によれば、カメラの向き、対象物の配置状態等に柔軟に対応した見守りシステムを提供することが可能になる。

また、本発明の第４形態は、前記検知領域設定部が、前記撮影画像に含まれる前記深度情報を参照せずに、前記撮影画像内における前記対象物の長さと所定の値として設定される前記対象物の実空間内での長さとを対応付けて、前記対象物の深度を算出することで、前記撮影画像から前記対象物の深度を取得する、第３形態の情報処理装置である。

被写体の境界では深度が大きく変化する場合がある。そのため、ユーザが、対象物の境界外にずれて、当該対象物の範囲を指定してしまった場合に、撮影画像に含まれる深度情報から当該対象物の深度を取得すると、本来の対象物の深度とは値の大きく異なる深度を取得してしまう事態が生じうる。当該構成によれば、撮影画像に含まれる深度情報には寄らずに当該対象物の深度を取得するため、このような事態を避けることが可能になり、当該対象物に基づいて精度よく実空間内で検知領域を設定することが可能になる。

また、本発明の第５形態は、前記見守り対象者が前記対象物に関する行動を行った場合に、前記実空間上の前記検知領域に存在する前記見守り対象者の所定の部位に関して前記深度が得られる領域の面積の範囲が、前記見守り対象者の行動を推定するための前記条件として、設定され、前記行動推定部が、前記前景領域のうちの前記検知領域に含まれる部分において、前記見守り対象者の前記所定の部位に対応する部位領域を推定し、前記深度情報により示される前記部位領域内の画素毎の深度に応じて、当該画素毎の実空間における面積を算出し、前記部位領域内の画素毎に算出した面積の総和が前記条件として設定された前記面積の範囲に含まれるか否かを判定することで、前記見守り対象者の前記対象物に関する行動を推定する、第２形態から第４形態のいずれかの形態の情報処理装置である。

当該構成によれば、検知領域に含まれる前景領域の部分において、見守り対象者の所定の部位に対応する部位領域が推定される。そして、当該部位領域の面積に応じて、当該見守り対象者の行動が推定される。なお、当該見守り対象者の所定の部位において深度が取得される領域は、当該所定の部位の撮影対象となる表面である。そのため、当該部位領域の面積は、当該所定の部位の撮影対象となる表面の面積に対応する。

ここで、撮影画像を撮影する機器から被写体が遠ざかるほど、当該撮影画像内における当該被写体の像は小さくなってしまう。そのため、部位領域内の画素数をそのまま当該部位領域の面積に対応付けると、被写体の遠近の影響を受けて、実空間の状態に即さない部位領域の面積が取得されてしまう。この問題点に対応するため、本発明の第５形態では、当該部位領域内の画素毎の深度に応じて当該画素毎の実空間における面積が算出され、前記部位領域内の画素毎に算出した面積の総和が当該部位領域の面積として求められる。これによって、被写体の遠近に影響を受けずに、見守り対象者の行動の推定基準となる部位領域の面積を求めることが可能になる。そのため、当該構成では、被写体の遠近の影響を受けずに、前記見守り対象者の行動を推定することが可能になる。

また、本発明の第６形態は、前記見守り対象者が前記対象物に関する行動を行った場合に、前記実空間上の前記検知領域に存在する前記見守り対象者の所定の部位に関して前記深度が得られる領域の広がり具合を示す分散の範囲が、前記見守り対象者の行動を推定するための前記条件として、更に設定され、前記行動推定部が、推定される前記部位領域の前記実空間における広がり具合を示す分散を算出し、前記条件として設定された前記範囲に算出した前記分散が含まれるか否かを更に判定することで、前記見守り対象者の前記対象物に関する行動を推定する、第５形態の情報処理装置である。

見守り対象者の所定の部位領域の面積だけでは、見守り対象者の部位を取り違えて認識してしまう可能性がある。例えば、頭部領域の面積と腕領域の面積とが同じになるような状態で見守り対象者が撮影された場合、腕を頭部と取り違えて認識してしまう可能性がある。そこで、当該構成では、身体の部位ごとに実空間における広がり具合が異なることに着目して、当該部位領域の実空間における広がり具合を示す分散を利用することで、上述のような誤認識を防止する。

また、本発明の第７形態は、前記対象物がベッドであり、前記検知領域が、前記見守り対象者が前記ベッド上で行動した時に前記見守り対象者の頭部を少なくとも含むように、前記ベッド上に設定され、前記見守り対象者の行動を推定するための前記条件となる前記面積の範囲及び前記分散の範囲が、それぞれ、少なくとも前記見守り対象者の頭部を対象に設定され、前記行動推定部が、前記前景領域のうちの前記検知領域に含まれる部分において、前記見守り対象者の頭部に対応する頭部領域を推定し、推定した前記頭部領域に関する前記面積の総和及び前記分散を算出し、算出した前記頭部領域に関する前記面積の総和及び前記分散がそれぞれを対象に設定された前記範囲に含まれるか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を推定する、第６形態の情報処理装置である。当該構成によれば、見守り対象者のベッドに関連する行動を推定することが可能になる。そのため、病院、介護施設等で入院患者、施設入居者、要介護者等を見守るための装置として、本発明を利用することが可能になる。

また、本発明の第８形態は、前記見守り対象者の行動を推定するための前記条件となる前記面積の範囲及び前記分散の範囲が、それぞれ、前記見守り対象者の肩部を対象に、更に設定され、前記行動推定部が、前記前景領域のうちの前記検知領域に含まれる部分において、前記頭部領域に隣接する領域から、前記見守り対象者の肩部に対応する肩部領域を更に推定し、推定した前記肩部領域に関する前記面積の総和及び前記分散を算出し、算出した前記肩部領域に関する前記面積の総和及び前記分散がそれぞれを対象に設定された前記範囲に含まれるか否かを更に判定することで、前記見守り対象者のベッドに関連する行動を推定する、第７形態の情報処理装置である。当該構成によれば、頭部だけではなく、肩部にも着目するため、見守り対象者の行動を推定する精度を高めることが可能である。

また、本発明の第９形態は、前記行動推定部が、前記頭部領域及び前記肩部領域と前記ベッドとの前記実空間内の位置関係に基づいて、前記ベッド上での起き上がり、前記ベッドにおける端座位、前記ベッドからの身体の乗り出し、前記ベッドからの落下、及び、前記ベッドからの離床、のうちの少なくともいずれかの前記見守り対象者の行動を推定する、第８形態の情報処理装置である。なお、端座位とは、見守り対象者がベッドの端に腰をかけている状態を指す。当該構成によれば、見守り対象者の、起き上がり、端座位、身体の乗り出し（柵越え）、落下、及び、離床のうちの少なくともいずれかの行動が推定可能になる。そのため、病院、介護施設等で入院患者、施設入居者、要介護者等を見守るための装置に更に適合した見守りシステムを提供することが可能になる。

また、本発明の第１０形態は、前記行動推定部が、前記見守り対象者の、前記ベッドにおける端座位、前記ベッドからの身体の乗り出し、前記ベッドからの落下、及び、前記ベッドからの離床、のいずれかの行動を推定した後に取得される撮影画像を用いて前記見守り対象者の行動を推定する場合、前記見守り対象者の前記いずれかの行動を推定した時の前記頭部領域及び前記肩部領域の位置を基準として、前記見守り対象者の頭部及び肩部が存在すると推定される範囲の領域となるように、前記検知領域の範囲を変更する、第９形態の情報処理装置である。

上記のように、検知領域は、ベッド上に設定されている場合がある。この場合、端座位、身体の乗り出し、落下、及び、離床のいずれかの行動を見守り対象者が行った後は、当該見守り対象者は検知領域の外に出てしまう可能性が高い。そのため、当該構成では、見守り対象者の上記いずれかの行動を検出した後に、当該見守り対象者の存在する位置に合わせて当該検知領域を修正することで、見守り対象者が利用した後も引き続き、当該見守り対象者の行動を推定可能にする。

また、本発明の第１１形態は、前記見守り対象者と前記ベッドとを撮影した前記撮影画像に含まれる前記深度情報が、赤外線の照射に基づいて深度を測定する深度センサによって、取得される、第７形態から第１０形態のいずれかの形態の情報処理装置である。

当該構成では、見守り対象者の見守りが行われる場所は、見守り対象者のベッドが置かれた場所、換言すると、当該見守り対象者が就寝する場所である。そのため、見守り対象者の見守りが行われる場所は暗い場合が多い。ここで、深度を測定する深度センサは多様な機種が存在するところ、当該構成では、赤外線の照射に基づいて深度を測定する深度センサが利用される。そのため、当該構成によれば、見守り対象者の見守りが行われる場所の明るさに影響を受けずに被写体の深度を取得し、見守り対象者の行動を推定することが可能となる。なお、比較的安価な赤外線深度センサとして、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、PrimeSense社のCARMINEを挙げることができる。

また、本発明の第１２形態は、前記撮影画像内の各画素の濃淡値が当該各画素の深度に応じて定められた前記撮影画像を表示装置に表示させる表示制御部を更に備え、当該表示制御部が、前記撮影画像内で特定の領域として識別される領域を色分けして、前記撮影画像を前記表示装置に表示させる、第１形態から第１２形態のいずれかの形態の情報処理装置である。当該構成によれば、深度に応じた濃淡で表現される撮影画像であっても、特定の領域は色分けされるため、当該撮影画像内の特定の領域をユーザが把握し易いようにすることができる。

本発明の第１３形態は、前記見守り対象者について推定した行動が前記見守り対象者に危険の迫る予兆を示す行動である場合に、前記見守り対象者を見守る見守り者に当該予兆を知らせるための通知を行う通知部を更に備える、第１形態から第１２形態のいずれかの形態の情報処理装置である。

当該構成によれば、見守り対象者に危険の迫る予兆があることを見守り者に知らせることが可能になる。また、見守り対象者にも危険の迫る予兆があることを知らせることが可能になる。なお、見守り者は、見守り対象者の行動を見守る者であり、見守り対象者が、入院患者、施設入居者、要介護者等である場合は、例えば、看護師、施設職員、介護者等である。また、見守り対象者に危険の迫る予兆を知らせるための通知は、ナースコール等の施設に設置された設備と連携して行われてもよい。

なお、上記各形態に係る情報処理装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。

例えば、本発明の第１４形態は、コンピュータが、行動を見守られる見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影した撮影画像であって、当該撮影画像内の画素毎に得られる深度を示す深度情報を含む撮影画像、を取得するステップと、前記撮影画像の背景として当該背景の深度を含んで設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出するステップと、前記深度情報に基づいて前記前景領域内の画素の深度を参照して、前記前景領域と前記対象物の領域との実空間内の位置関係が、抽出した前記前景領域が前記見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、前記見守り対象者の前記対象物に関する行動を推定するステップと、を実行する情報処理方法である。

また、例えば、本発明の第１５形態は、コンピュータに、行動を見守られる見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影した撮影画像であって、当該撮影画像内の画素毎に得られる深度を示す深度情報を含む撮影画像、を取得するステップと、前記撮影画像の背景として当該背景の深度を含んで設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出するステップと、前記深度情報に基づいて前記前景領域内の画素の深度を参照して、前記前景領域と前記対象物の領域との実空間内の位置関係が、抽出した前記前景領域が前記見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、前記見守り対象者の前記対象物に関する行動を推定するステップと、を実行させるためのプログラムである。

本発明の第１４形態及び第１５形態によれば、上記第１形態と同様に、見守り対象者と対象物との実空間内の位置関係に応じて当該見守り対象者の行動が推定されるため、実空間での見守り対象者の状態に適合する行動推定が可能となる。

本発明によれば、実空間での見守り対象者の状態に適合する行動推定を行う技術を提供することが可能になる。

図１は、本発明が適用される場面の一例を示す。 図２は、各画素の深度に応じて当該各画素の濃淡値が定められた撮影画像の一例を示す。 図３は、実施の形態に係る深度を例示する。 図４は、実施の形態に係る情報処理装置のハードウェア構成を例示する。 図５は、実施の形態に係る機能構成を例示する。 図６は、実施の形態に係る情報処理装置の処理手順を例示する。 図７は、実施の形態に係る情報処理装置が取得する撮影画像を例示する。 図８は、撮影画像に含まれる深度情報に基づいて特定される撮影範囲内の被写体の三次元分布を例示する。 図９は、撮影画像から抽出される前景領域の三次元分布を例示する。 図１０は、実空間内に設定される検知領域を例示する。 図１１は、撮影画像内で対象物の領域の指定を受け付ける画面を例示する。 図１２は、撮影画像内で指定された対象物の実空間での位置を特定する処理手順を例示する。 図１３は、カメラのピッチ角及び撮影画像の縦方向中央からずれて被写体が写ることで生じる、当該被写体における縦方向の長さの変形を例示する。 図１４は、撮影画像の横方向中央からずれて被写体が写ることで生じる、当該被写体における横方向の長さの変形を例示する。 図１５は、実空間での長さと撮影画像内の長さとの関係を例示する。 図１６は、領域の広がり具合と分散との関係を例示する。 図１７は、前景領域のうち検知領域に含まれる部分で推定された頭部領域及び肩部領域の関係を例示する。 図１８は、見守り対象者がベッドの端で行動した時の前景領域を例示する。 図１９は、特定の領域を色分けして表示された撮影画像を例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

§１ 適用場面例
まずは、図１を用いて、本発明が適用される場面について説明する。図１は、本発明が適用される場面の一例を示す。本実施形態では、医療施設又は介護施設において、入院患者又は施設入居者が見守り対象者として行動を見守られる場面が想定されている。見守り対象者は、ベッドの長手方向の前方に設置されたカメラ２により撮影されることで、行動を見守られている。

カメラ２は、行動を見守られる見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影する。見守り対象者の行動の基準となる対象物は、実施の形態に応じて、適宜、選択されてよい。図１で例示される適用場面では、病室又は施設内における入院患者又は施設入居者の行動を見守ることが想定されているため、見守り対象者の行動の基準となる対象物として、ベッドが例示されている。

ここで、本実施形態で用いられるカメラ２について説明する。本実施形態に係るカメラ２は、撮影画像内の各画素に対応する深度を取得できるように、被写体の深度を測定する深度センサを含んでもよい。深度センサの種類及び測定方式は、実施の形態に応じて、適宜、選択されてよい。ただし、撮影場所の明るさに影響されずに深度を取得するためには、赤外線の照射に基づいて深度を測定する深度センサが用いられるのが好ましい。

また、カメラ２は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。カメラ２は、撮影範囲内の被写体の深度を特定できれば、深度センサ単体に置き換わってもよいし、特に限定されなくてもよい。

本実施形態では、このようなカメラ２が用いられて、見守り対象者と対象物（ベッド）とを撮影した撮影画像３が取得される。撮影画像３は、図１で例示されるように、画素毎に得られる深度を示す深度情報を含む。撮影画像３は、撮影範囲内の被写体の深度を示すデータであればよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、撮影画像３は、深度情報とともに、ＲＧＢ画像を含んでもよい。更に、撮影画像３は、動画像であってもよいし、静止画像であってもよい。

図２は、当該撮影画像３の一例を示す。図２で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２から近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。当該深度情報によれば、撮影範囲内の被写体の実空間（三次元空間）内での位置を特定することができる。より詳細には、被写体の深度は、当該被写体の表面に対して取得される。そのため、撮影画像３に含まれる深度情報を用いることで、カメラ２に写る被写体表面の実空間内での位置を特定することができる。なお、カメラ２により撮影された撮影画像３は情報処理装置１に送信される。

本実施形態に係る情報処理装置１は、見守り対象者と対象物（ベッド）とを撮影した撮影画像３であって、当該撮影画像３内の画素毎に得られる深度を示す深度情報を含む撮影画像３、をカメラ２から取得する。そして、情報処理装置１は、当該撮影画像３の背景として当該背景の深度を含んで設定された背景画像と当該撮影画像３との差分から当該撮影画像３の前景領域を抽出する。更に、情報処理装置１は、深度情報に基づいて前景領域内の画素の深度を参照して、当該前景領域と対象物（ベッド）の領域との実空間内の位置関係が、抽出した前景領域が見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、当該見守り対象者の対象物（ベッド）に関する行動を推定する。

なお、見守り対象者の対象物に関する行動は、見守り対象者の行動のうち対象物に関連する行動であり、実施の形態に応じて、適宜、設定されてよい。本実施形態では、見守り対象者の行動の基準となる対象物は、当該見守り対象者が就寝するためのベッドである。そこで、本実施形態に係る情報処理装置１は、見守り対象者の対象物に関する行動として、ベッド上での起き上がり、ベッドにおける端座位、ベッドの柵越え（身体の乗り出し）、ベッドからの落下、及び、ベッドからの離床、のうち、少なくともいずれかの行動を推定する。これにより、病院、介護施設等で入院患者、施設入居者、要介護者等を見守るための装置として、当該情報処理装置１を利用することが可能になる。詳細は後述する。

このように、本実施形態によれば、被写体の深さを表現する深度を利用して、見守り対象者の行動を推定することが可能になる。そのため、本実施形態によれば、被写体の深さを示す深度情報が用いられて、見守り対象者と対象物との実空間内の位置関係に応じて当該見守り対象者の行動が推定されるため、実空間での見守り対象者の状態に適合する行動推定が可能となる。

ここで、図３を用いて、本実施形態に係る「深度」を説明する。図３は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３で例示されるように、被写体の深さは、例えば、カメラと対象物との直線の距離Ａで表現されてもよいし、カメラの被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。

§２ 構成例
＜ハードウェア構成例＞
次に、図４を用いて、情報処理装置１のハードウェア構成を説明する。図４は、本実施形態に係る情報処理装置１のハードウェア構成を例示する。情報処理装置１は、図４に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、ネットワークを介して通信を行うための通信インタフェース１３、記憶媒体６に記憶されたプログラムを読み込むためのドライブ１４、及び、外部装置と接続するための外部インタフェース１５が電気的に接続されたコンピュータである。

なお、情報処理装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び、追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、情報処理装置１は、ディスプレイ等の出力装置、及び、マウス、キーボード等の入力を行うための入力装置を備えてもよい。なお、図４では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。

また、情報処理装置１は、複数の外部インタフェース１５を備え、複数の外部装置と接続されてもよい。本実施形態では、情報処理装置１は、外部インタフェース１５を介して、深度センサを含むカメラ２と接続されてよい。更に、情報処理装置１は、外部インタフェース１５を介してナースコール等の施設に設置された設備と接続されることで、見守り対象者に危険の迫る予兆があることを知らせるための通知を当該設備と連携して行ってもよい。

また、プログラム５は、情報処理装置１に後述する動作に含まれるステップを実行させるプログラムであり、本発明の「プログラム」に相当する。また、プログラム５は記憶媒体６に記録されていてもよい。記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図４は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

また、情報処理装置１として、例えば、提供されるサービス専用に設計された装置の他、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置が用いられてよい。また、情報処理装置１は、１又は複数のコンピュータにより実装されてもよい。

＜機能構成例＞
次に、図５を用いて、情報処理装置１の機能構成を説明する。図５は、本実施形態に係る情報処理装置１の機能構成を例示する。本実施形態に係る情報処理装置１が備えるＣＰＵは、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、ＣＰＵは、ＲＡＭに展開されたプログラム５を解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係る情報処理装置１は、画像取得部２１、前景抽出部２２、行動推定部２３、及び、通知部２４を備えるコンピュータとして機能する。

画像取得部２１は、行動を見守られる見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影した撮影画像３であって、当該撮影画像内の画素毎に得られる深度を示す深度情報を含む撮影画像３、を取得する。本実施形態では、見守り対象者の行動の基準となる対象物として、当該見守り対象者が就寝するためのベッドが例示されている。

前景抽出部２２は、撮影画像３の背景として当該背景の深度を含んで設定された背景画像と撮影画像３との差分から当該撮影画像３の前景領域を抽出する。背景画像については後述する。撮影画像３と背景画像との差分である前景領域は、撮影画像３において背景画像から変化が生じている領域である。そのため、抽出される前景領域には、少なくとも、見守り対象者が動いたことで変化の生じた領域が含まれる。

行動推定部２３は、そのような前景領域を利用して、見守り対象者の行動を推定する。すなわち、行動推定部２３は、深度情報に基づいて前景領域内の画素の深度を参照して、当該前景領域と対象物の領域との実空間内の位置関係が、抽出した前景領域が見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、当該見守り対象者の対象物に関する行動を推定する。

ここで、前景領域には、見守り対象者の行動とは無関係に変化が生じている領域も含まれる可能性がある。そこで、行動推定部２３は、対象物の位置及び推定対象の行動に基づいて、見守り対象者に基づく変化が生じていると想定される領域を検知領域として実空間内に設定することで、見守り対象者の行動とは無関係に変化が生じている領域を無視するようにしてもよい。すなわち、行動推定部２３は、抽出された前景領域のうち、当該対象物に対して設定された検知領域内に含まれる部分に基づいて、当該前景領域と対象物の領域との位置関係が条件を満たすか否かを判定してもよい。

そのような検知領域は、予め設定されていてもよいし、ユーザによって設定されてもよい。ユーザによって検知領域が設定される場合、情報処理装置１は、例えば、検知領域設定部２５を備えてもよい。検知領域設定部２５は、撮影画像３内で対象物が存在する領域の指定を受け付け、指定された領域に存在する対象物の深度を当該撮影画像３から取得し、取得した対象物の深度に基づいて、対象物の実空間内での位置を特定して、特定した対象物の実空間内での位置に対応して検知領域を設定する。

なお、被写体の境界では深度が大きく変化する場合がある。そのため、ユーザが、対象物の境界外にずれて、当該対象物の範囲を指定してしまった場合に、撮影画像３に含まれる深度情報から当該対象物の深度を取得すると、本来の対象物の深度とは値の大きく異なる深度を取得してしまう事態が生じうる。これに対応するため、検知領域設定部２５は、撮影画像３に含まれる深度情報を参照せずに、撮影画像３内における対象物の長さと所定の値として設定される対象物の実空間内での長さとを対応付けて、当該対象物の深度を算出することで、当該撮影画像３から対象物の深度を取得してもよい。

また、見守り対象者の行動を推定するための条件は、実施の形態に応じて、適宜、設定されてよい。例えば、見守り対象者が対象物に関する行動を行った場合に、実空間上の検知領域に存在する見守り対象者の所定の部位に関して深度が得られる領域の面積の範囲が、見守り対象者の行動を推定するための条件として、設定されてもよい。上述のとおり、被写体の深度は、当該被写体の表面に対して取得される。そのため、見守り対象者の行動を推定するための上記条件は、見守り対象者の所定の部位に関して深度が得られる領域の面積について、設定されている。

この場合、行動推定部２３は、前景領域のうちの検知領域に含まれる部分において、見守り対象者の所定の部位に対応する部位領域を推定し、深度情報により示される当該部位領域内の画素毎の深度に応じて、当該画素毎の実空間における面積を算出し、当該部位領域内の画素毎に算出した面積の総和が上記条件として設定された面積の範囲に含まれるか否かを判定することで、見守り対象者の対象物に関する行動を推定してもよい。詳細は後述する。

なお、見守り対象者の所定の部位に関して深度が得られる領域の面積を利用して、見守り対象者の行動を推定するための条件を設定する場合、当該所定の部位は、推定対象の行動に関連した見守り対象者の身体部位である。つまり、この場合、行動推定部２３は、推定対象の行動に関連した見守り対象者の身体部位が検知領域に存在することに基づいて、見守り対象者の行動推定を行うことになる。

ただし、推定対象の行動に関連した所定の部位以外の部位が当該所定の部位と同じ面積を持つように撮影画像３内に写っている場合がある。この場合、行動推定部２３は、当該所定の部位と同じ面積で写る別の部位を当該所定の部位と取り違えて認識してしまい、見守り対象者の行動を誤認識してしまう可能性がある。そこで、本実施形態に係る情報処理装置１では、身体の部位ごとに実空間における広がり具合が異なることに着目して、当該誤認識を防止できるような条件が更に設定されてもよい。

例えば、見守り対象者が対象物に関する行動を行った場合に、実空間上の検知領域に存在する見守り対象者の所定の部位に関して深度が得られる領域の広がり具合を示す分散の範囲が、見守り対象者の行動を推定するための条件として、更に設定されてもよい。この場合、行動推定部２３は、推定される部位領域の実空間における広がり具合を示す分散を算出し、上記条件として設定された範囲に算出した分散が含まれるか否かを更に判定することで、見守り対象者の対象物に関する行動を推定してもよい。

本実施形態では、見守り対象者の行動の基準となる対象物はベッドである。そこで、検知領域は、当該見守り対象者がベッド上で行動した時に当該見守り対象者の頭部を少なくとも含むように、当該ベッド上に設定されてもよい。そして、見守り対象者の行動を推定するための条件となる上記面積の範囲及び上記分散の範囲は、それぞれ、少なくとも見守り対象者の頭部を対象に設定されてもよい。

この場合、行動推定部２３は、前景領域のうちの検知領域に含まれる部分において、見守り対象者の頭部に対応する頭部領域を推定し、推定した頭部領域に関する上記面積の総和及び上記分散を算出する。そして、行動推定部２３は、算出した頭部領域に関する上記面積の総和及び上記分散がそれぞれを対象に設定された上記範囲に含まれるか否かを判定することで、当該見守り対象者のベッドに関連する行動を推定してもよい。

ここで、ベッドに関連する見守り対象者の行動を推定するのに頭部領域だけを利用すると、行動推定部２３は、頭部と同じ表面形状を有する被写体を頭部と誤って認識してしまい、見守り対象者の行動を誤認識してしまう可能性がある。そこで、見守り対象者の行動の推定精度を高めるため、見守り対象者の行動を推定するための条件となる上記面積の範囲及び上記分散の範囲は、それぞれ、見守り対象者の肩部を対象に、更に設定されてもよい。

そして、行動推定部２３は、前景領域のうちの検知領域に含まれる部分において、頭部領域に隣接する領域から、見守り対象者の肩部に対応する肩部領域を更に推定し、推定した当該肩部領域に関する上記面積の総和及び上記分散を算出し、算出した当該肩部領域に関する上記面積の総和及び上記分散がそれぞれを対象に設定された上記範囲に含まれるか否かを更に判定することで、見守り対象者の起き上がりを推定してもよい。肩部領域は、頭部領域から連続して、頭部領域より広がりを持つ領域である。そのため、このような頭部領域と肩部領域との関係を考慮することで、行動推定部２３は、頭部領域の推定精度を高めることができる。

また、行動推定部２３は、当該頭部領域及び肩部領域を利用して、見守り対象者の起き上がり等の行動を推定してもよい。例えば、行動推定部２３は、頭部領域及び肩部領域とベッドとの実空間内の位置関係に基づいて、ベッド上での起き上がり、ベッドにおける端座位、ベッドからの身体の乗り出し、ベッドからの落下、及び、ベッドからの離床、のうちの少なくともいずれかの見守り対象者の行動を推定してもよい。

上述のとおり、検知領域は、見守り対象者がベッド上で行動した時に当該見守り対象者の頭部を少なくとも含むように、当該ベッド上に設定されている場合がある。この場合、見守り対象者が、ベッドにおける端座位、ベッドからの身体の乗り出し、ベッドからの落下、及び、ベッドからの離床、のいずれかを行った後は、当該見守り対象者は検知領域の外に出てしまう可能性が高い。これに対応するために、行動推定部２３は、見守り対象者の上記いずれかの行動を推定した後に取得される撮影画像３を用いて当該見守り対象者の行動を推定する場合、当該見守り対象者の上記いずれかの行動を推定した時の頭部領域及び肩部領域の位置を基準として、当該見守り対象者の頭部及び肩部が存在すると推定される範囲の領域となるように、前記検知領域の範囲を変更してもよい。

なお、見守り対象者の行動推定に利用される深度情報を取得する深度センサ又はカメラの種類及び測定方式は、実施の形態に応じて、適宜、選択されてもよい。ただし、本実施形態のように、見守り対象者が就寝する場所で見守りが行われると、深度の取得される撮影範囲が明るくない場合がある。そこで、本実施形態では、見守り対象者の見守りが行われる場所の明るさに影響を受けずに被写体の深度が取得できるように、カメラ２は、赤外線の照射に基づいて深度を測定する深度センサを含んでもよい。そして、当該赤外線の照射に基づいて深度を測定する深度センサによって、深度情報が取得されてもよい。

また、本実施形態に係る情報処理装置１は、当該情報処理装置１に接続されるディスプレイ等の表示装置に撮影画像３を出力してもよい。この場合、情報処理装置１は、撮影画像３内の各画素の濃淡値が当該各画素の深度に応じて定められた撮影画像３を表示させる表示制御部２６を備えてもよい。ただし、各画素の濃淡値が当該各画素の深度に応じて定められた撮影画像３は、図２で例示されるように、撮影画像３内の被写体をユーザが認識しにくい画像である。そこで、表示制御部２６は、撮影画像３内で特定の領域として識別される領域を色分けして、当該撮影画像３を表示装置に表示させることで、撮影画像３内の特定の領域をユーザが把握し易いようにしてもよい。

また、本実施形態に係る情報処理装置１は、見守り対象者について推定した行動が当該見守り対象者に危険の迫る予兆を示す行動である場合に、当該見守り対象者を見守る見守り者に当該予兆を知らせるための通知を行う通知部２４を備える。ここで、見守り者は、見守り対象者の行動を見守る者であり、見守り対象者が、入院患者、施設入居者、要介護者等である場合は、例えば、看護師、職員、介護者等である。また、見守り対象者に危険の迫る予兆を知らせるための通知は、ナースコール等の施設に設置された設備と連携して行われてもよい。

なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。例えば、見守り対象者に危険の迫る予兆があることを知らせるための通知を実施しない場合、通知部２４は省略されてよい。

§３ 動作例
図６は、本実施形態に係る情報処理装置１の動作例を示す。なお、以下で説明する動作例の処理手順は一例に過ぎず、各処理は、可能な限り入れ替えられてよい。また、以下で説明する動作例の処理手順について、実施の形態に応じて、適宜、処理の省略、置換、及び、追加が可能である。例えば、見守り対象者に危険の迫る予兆があることを知らせるための通知を実施しない場合、ステップＳ１０４及びＳ１０５は省略されてよい。

ステップＳ１０１では、制御部１１は、画像取得部２１として機能し、行動を見守られる見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影した撮影画像３であって、当該撮影画像内の画素毎に得られる深度を示す深度情報を含む撮影画像３、を取得する。本実施形態では、制御部１１は、入院患者又は施設入居者とベッドとを撮影した撮影画像３をカメラ２から取得する。

ここで、図７を用いて、制御部１１が取得する撮影画像３について説明する。図７は、制御部１１が取得する撮影画像３を例示する。図７で例示される撮影画像３の各画素の濃淡値は、図２と同様、当該各画素の深度に応じて定められている。すなわち、各画素の濃淡値（画素値）は、当該各画素に写る部分の深度に対応している。このように、撮影画像３に含まれる深度情報は、各画素の濃淡値（画素値）として表現されてもよい。

上記のように濃淡値で深度が表現されている場合を含め、画素毎に得られる深度を示す深度情報が撮影画像３には含まれているため、制御部１１は、当該深度情報に基づいて、各画素に写る部分の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の位置（二次元情報）と当該各画素の深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。当該実空間の状態は、次の図８で例示される。

図８は、撮影画像３に含まれる深度情報に基づいて特定される撮影範囲内の被写体の位置の三次元分布を例示する。撮影画像３内の位置と深度とで各画素を三次元空間内でプロットすることで、図８で例示されるような三次元分布を作成することができる。制御部１１は、撮影画像３内の深度情報を利用して、図８で例示される三次元分布のデータを作成することで、見守り対象者と対象物（ベッド）との実空間での位置関係を認識してもよい。また、制御部１１は、図８で例示される三次元分布のデータを作成せずに、撮影画像３内の深度情報を要求に応じて参照することで、図８で例示されるような状態で、見守り対象者と対象物（ベッド）との実空間での位置関係を認識してもよい。すなわち、制御部１１は、三次元分布で表現されるデータを用いずに、見守り対象者と対象物（ベッド）との実空間での位置関係を認識してもよい。

なお、図８では、見守り対象者及びベッドは、それぞれ、点線で示される領域に存在する。上述のとおり、被写体の深度は、当該被写体の表面に対して取得される。そのため、各画素がプロットされる位置は、具体的には、撮影画像３内に写る見守り対象者及びベッドの面の位置である。制御部１１は、このような面の位置で、見守り対象者及びベッドの実空間での位置関係を認識する。

ここで、本実施形態に係る情報処理装置１は、医療施設又は介護施設において、入院患者又は施設入居者を見守るために利用される。この場合、制御部１１は、カメラ２に対するビデオ信号に同期させて画像を取得してもよい。そして、制御部１１は、後述するステップＳ１０２〜Ｓ１０５までの処理を取得した画像に対して即座に実行してもよい。情報処理装置１は、当該動作を連続して絶え間なく実行することで、リアルタイム画像処理を実現し、リアルタイムに入院患者又は施設入居者の行動を見守ることを可能にする。

図６に戻り、ステップＳ１０２では、制御部１１は、前景抽出部２２として機能し、ステップＳ１０１で取得した撮影画像３の背景として当該背景の深度を含んで設定された背景画像と撮影画像３との差分から当該撮影画像３の前景領域を抽出する。ここで、背景画像は、当該前景領域を抽出するために利用されるデータであり、例えば、情報処理装置１が動作を開始した時（見守り対象者の見守りを開始した時）に得られる数フレーム分の撮影画像の平均を取ることで、作成される。このとき、背景画像は、深度情報も含んで、作成される。

図９は、図８で例示した被写体のうち撮影画像３から抽出される前景領域の三次元分布を例示する。より詳細には、図９は、見守り対象者がベッド上で起き上がった際に抽出される前景領域の三次元分布を例示する。上記のような背景画像を利用して抽出される前景領域は、背景画像で示される実空間内の状態から変化した位置に現れる。そのため、見守り対象者がベッド上で動いた場合、当該見守り対象者が動いた領域は、背景画像から変化し、前景領域として抽出される。例えば、図９の例では、見守り対象者がベッド上で起き上がる動作を行った時に動いた上半身の領域が前景領域として抽出されている。制御部１１は、このような前景領域を用いて、見守り対象者の動作を把握する。

なお、本ステップＳ１０２において、背景差分法が用いられて、背景と前景とが分離されてよい。背景差分法として、例えば、上記のような背景画像と入力画像（撮影画像３）との差分から背景と前景とを分離する方法、異なる３枚の画像を用いて背景と前景とを分離する方法、及び、統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。前景領域を抽出する方法は、特に限定されなくてよく、実施の形態に応じて、適宜、選択されてよい。

図６に戻り、ステップＳ１０３では、制御部１１は、行動推定部２３として機能し、ステップＳ１０２で抽出した前景領域内の画素の深度を参照して、当該前景領域と対象物の領域との実空間内の位置関係が、抽出した前景領域が見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、当該見守り対象者の対象物に関する行動を推定する。

上記のとおり、見守り対象者が動いた場合、上記ステップＳ１０２の処理において、当該見守り対象者が動いた領域は前景領域として抽出される。そこで、見守り対象者の行動を推定するための条件は、ステップＳ１０２で抽出される前景領域が見守り対象者の行動に関連すると仮定して設定される。ここで、見守り対象者の行動を推定するための当該条件は、推定対象とする行動に応じて、適宜、設定されてよい。

なお、本実施形態では、情報処理装置１は、入院患者又は施設入居者の行動を見守る装置（見守りシステム）として、活用されている。そのため、本実施形態では、制御部１１は、見守り対象者の行動として、ベッド上での起き上がり、ベッドにおける端座位、ベッドの柵越え（身体の乗り出し）、ベッドからの落下、及び、ベッドからの離床、のうちの少なくともいずれかの行動を推定する。

（１）推定条件の第１の例
例えば、見守り対象者の対象物に関する行動を推定するための条件として、対象物が存在する領域に対して所定の位置関係にある領域に閾値以上の画素数分の前景領域が現れるか否かを評価する条件が設定されてもよい。見守り対象者のベッド上での行動を例に当該条件を説明する。

（ａ）起き上がり
見守り対象者がベッド上で起き上がった場合、図９で例示されるように、ベッドの長手方向の上半分の領域、かつ、当該ベッドの上方に、前景領域が現れると想定される。そこで、制御部１１は、ベッドの長手方向の上半分の領域、かつ、当該ベッドの上方に、閾値以上の画素数分の前景領域が現れた場合に、見守り対象者のベッド上での起き上がりを推定してもよい。

（ｂ）端座位
見守り対象者がベッドにおいて端座位を行った場合、ベッドのサイドフレーム周辺の領域、かつ、ベッドの上方から下方にかけて、前景領域が現れると想定される。そこで、制御部１１は、ベッドのサイドフレーム周辺の領域、かつ、ベッドの上方から下方にかけて、閾値以上の画素数分の前景領域が現れた場合に、見守り対象者のベッドにおける端座位を推定してもよい。

（ｃ）柵越え（身体の乗り出し）
見守り対象者がベッドから身体を乗り出した（柵越え）場合、ベッドのサイドフレーム周辺の領域、かつ、ベッドよりも上方で、上記端座位を評価する位置よりも下方にかけて、前景領域が現れると想定される。そこで、制御部１１は、ベッドのサイドフレーム周辺の領域、かつ、ベッドよりも上方で、端座位を評価する位置よりも下方にかけて、閾値以上の画素数分の前景領域が現れた場合に、見守り対象者のベッドからの柵越えを推定してもよい。

（ｄ）落下
見守り対象者がベッドから落下した場合、ベッドのサイドフレーム周辺の領域、かつ、ベッドの下側で、前景領域が現れると想定される。そこで、制御部１１は、ベッドのサイドフレーム周辺の領域、かつ、ベッドの下側に、閾値以上の画素数分の前景領域が現れた場合に、見守り対象者のベッドからの落下を推定してもよい。

（ｅ）離床
見守り対象者がベッドから離床した場合、ベッドのサイドフレーム周辺の領域、かつ、上記端座位を評価する位置よりもベッドの上方で、前景領域が現れると想定される。そこで、制御部１１は、ベッドのサイドフレーム周辺の領域、かつ、上記端座位を評価する位置よりもベッドの上方で、閾値以上の画素数分の前景領域が現れた場合に、見守り対象者のベッドからの離床を推定してもよい。

（ｆ）その他
（ａ）〜（ｅ）で例示されるように、本条件では、見守り対象者がベッド上で所定の行動を行った場合に前景領域が現れると想定される範囲に、閾値以上の画素数分の前景領域が現れたときに、見守り対象者が当該所定の行動を行ったと推定される。当該条件が設定される行動は、上記（ａ）〜（ｅ）で例示される行動に限定されず、実施の形態に応じて、適宜、選択されてよい。また、各行動を推定する際の閾値は、当該各行動に応じて、適宜、決定されてよい。

（２）推定条件の第２の例
また、例えば、見守り対象者の対象物に関する行動を推定するための条件として、前景領域の実空間内での平均位置が活用されてもよい。具体的には、見守り対象者の対象物に関する行動を推定するための条件として、対象物が存在する領域に対して所定の位置関係にある領域に前景領域の当該平均位置が含まれるか否かを評価する条件が設定されてもよい。なお、当該前景領域の平均位置は、例えば、前景領域として抽出された各画素の撮影画像３内の位置及び深度の平均を取ることで、算出される。

（ｇ）起き上がり
見守り対象者がベッド上で起き上がった場合、上述のとおり、ベッドの長手方向の上半分の領域、かつ、当該ベッドの上方に、前景領域が現れると想定される。そこで、制御部１１は、ベッドの長手方向の上半分の略中央付近、かつ、当該ベッドの上方、の範囲にステップＳ１０２で抽出した前景領域の平均位置が含まれる場合、見守り対象者のベッド上での起き上がりを推定してもよい。

（ｈ）端座位
見守り対象者がベッドにおいて端座位を行った場合、ベッドのサイドフレーム周辺の領域、かつ、ベッドの上方から下方にかけて、前景領域が現れると想定される。そこで、制御部１１は、ベッドのサイドフレーム付近、かつ、ベッドのやや上方の範囲に、前景領域の平均位置が含まれるときに、見守り対象者のベッドにおける端座位を推定してもよい。

（ｉ）柵越え（身体の乗り出し）
見守り対象者がベッドから身体を乗り出した（柵越え）場合、ベッドのサイドフレーム周辺の領域、かつ、ベッドよりも上方で、上記端座位を評価する位置よりも下方にかけて、前景領域が現れると想定される。そこで、制御部１１は、ベッドのサイドフレーム付近、かつ、ベッドと略同じ高さの範囲に、前景領域の平均位置が含まれるときに、見守り対象者のベッドからの柵越えを推定してもよい。

（ｊ）落下
見守り対象者がベッドから落下した場合、ベッドのサイドフレーム周辺の領域、かつ、ベッドの下側で、前景領域が現れると想定される。そこで、制御部１１は、ベッドのサイドフレームの外側、かつ、ベッドの下側の範囲に、前景領域の平均位置が含まれるときに、見守り対象者のベッドからの落下を推定してもよい。

（ｋ）離床
見守り対象者がベッドから離床した場合、ベッドのサイドフレーム周辺の領域、かつ、上記端座位を評価する位置よりもベッドの上方で、前景領域が現れると想定される。そこで、制御部１１は、ベッドのサイドフレームの外側、かつ、ベッドの上方の範囲に、前景領域の平均位置が含まれるときに、見守り対象者のベッドからの離床を推定してもよい。

（ｌ）その他
（ｇ）〜（ｋ）で例示されるように、本条件では、行動推定の対象とする各行動に対して、見守り対象者がベッド上で当該各行動を行った場合に現れると想定される前景領域の平均位置の範囲が実空間内で設定される。当該条件が設定される行動は、上記（ｇ）〜（ｋ）で例示される行動に限定されず、実施の形態に応じて、適宜、選択されてよい。また、前景領域の平均位置と推定対象の行動との関係は、実施の形態に応じて、適宜、決定されてよい。

（３）補足
見守り対象者の対象物に関する行動を推定するための条件は、実施の形態に応じて、適宜、設定されてもよい。制御部１１は、例えば、推定対象の行動を行っているときの見守り対象者の身体形状の情報を予め保持し、当該身体形状と前景領域との相関係数を算出してもよい。そして、制御部１１は、算出した相関係数に基づいて、当該見守り対象者の行動を推定してもよい。また、制御部１１は、前景領域内の各画素の分布から特徴量を抽出し、抽出した特徴量に基づいて見守り対象者の行動を推定してもよい。更に、制御部１１は、例えば、見守り対象者の対象物に関する行動を推定するための条件として、上記（１）及び（２）を組み合わせた条件を利用してもよい。

また、上記例では、ベッドの実空間内での位置を基準として、それぞれの行動を推定するための条件が設定されている。ここで、対象物（ベッド）の実空間内での位置は、予め設定されていてもよいし、後述する方法で特定されることで設定されてもよい。また、画像認識等の処理に基づいて、対象物（ベッド）の実空間内での位置が特定されてもよい。

ステップＳ１０４では、制御部１１は、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する。ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動である場合、制御部１１は、ステップＳ１０５に処理を進める。一方、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動ではない場合、制御部１１は、本動作例に係る処理を終了する。

見守り対象者に危険の迫る予兆を示す行動であると設定される行動は、実施の形態に応じて、適宜、選択されてよい。例えば、転落又は転倒が生じる可能性のある行動として、見守り対象者に危険の迫る予兆を示す行動に端座位が設定されていると仮定する。この場合、制御部１１は、ステップＳ１０３において見守り対象者が端座位の状態にあると推定したとき、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であると判定する。

なお、見守り対象者に危険の迫る予兆があるか否かを判定する場合には、見守り対象者の行動の遷移を考慮した方がよい場合がある。例えば、離床から端座位の状態になるよりも、起き上がりから端座位の状態になった方が、見守り対象者が転落又は転倒する可能性が高いと想定することができる。そこで、制御部１１は、ステップＳ１０４において、見守り対象者の行動の遷移を踏まえて、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定してもよい。

例えば、制御部１１は、見守り対象者の行動を定期的に推定しているところ、ステップＳ１０３において、見守り対象者の起き上がりを推定した後に、見守り対象者が端座位の状態になったと推定したとする。このとき、制御部１１は、本ステップＳ１０４において、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であると判定してもよい。

ステップＳ１０５では、制御部１１は、通知部２４として機能し、見守り対象者に危険の迫る予兆があることを知らせるための通知を当該見守り対象者を見守る見守り者に対して行う。

制御部１１は、適当な方法を用いて当該通知を行う。例えば、制御部１１は、当該通知として、情報処理装置１に接続されるディスプレイに、見守り対象者に危険の迫る予兆があることを見守り者に知らせるための画面を表示させてもよい。また、例えば、制御部１１は、電子メールにより、見守り者のユーザ端末に当該通知を行ってもよい。この場合、例えば、通知先となるユーザ端末の電子メールアドレスは記憶部１２に予め登録されており、制御部１１は、当該予め登録されている電子メールアドレスを利用して、見守り対象者に危険の迫る予兆があることを知らせるための通知を見守り者に行う。

また、見守り対象者に危険の迫る予兆があることを知らせるための通知は、ナースコール等の施設に設置された設備と連携して行われてもよい。例えば、制御部１１は、外部インタフェース１５を介して接続されたナースコールを制御し、見守り対象者に危険の迫る予兆があることを知らせるための通知として、当該ナースコールによる呼び出しを行ってもよい。情報処理装置１に接続される施設の設備は、実施の形態に応じて、適宜、決定されてよい。

なお、情報処理装置１は、見守り対象者の行動を定期的に推定する場合、上述の動作例に示される処理を定期的にくり返してもよい。定期的に処理を繰り返す間隔は、適宜、設定されてよい。また、情報処理装置１は、ユーザ（見守り者）の要求に応じて、上述の動作例に示される処理を実行してもよい。

以上のように、本実施形態に係る情報処理装置１は、被写体の深さを表現する深度を利用して、見守り対象者と対象物との実空間内の位置関係を評価することで、見守り対象者の行動を推定する。そのため、本実施形態に係る情報処理装置１によれば、見守り対象者と対象物との実空間内の位置関係に応じて当該見守り対象者の行動が推定されるため、実空間での見守り対象者の状態に適合する行動推定が可能となる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

（１）検知領域の設定
上述のとおり、上記ステップＳ１０２で抽出される前景領域には、見守り対象者の行動とは無関係な領域も含まれる可能性がある。そこで、制御部１１が、行動推定部２３として機能して、見守り対象者の行動を推定する際に、当該行動推定の処理対象とする範囲を定める検知領域が設けられていてもよい。図１０を用いて、当該検知領域を説明する。

図１０は、見守り対象者の起き上がりを行動推定の対象とする際に実空間内に設定される検知領域の一例を示す。例えば、見守り対象者の起き上がりを推定する場合、ベッドの下端からカメラ側の範囲等のベッド上以外の範囲において、当該見守り対象者のベッド上での起き上がりに関連する前景領域が検出されることはない。当該起き上がりに関連する前景領域が検出されることのない領域を行動推定の処理対象とすると、制御部１１は、余分な処理を行うことになり、また、見守り対象者が行っていると推定する行動を誤ってしまう可能性がある。

そこで、当該行動推定の処理において、図１０で例示されるように、ベッド上に検知領域を設けて、検知領域以外の部分の処理を省略することで、余分な処理を削減し、見守り対象者の行動の誤った推定を防ぐことが可能になる。なお、このような検知領域は、予め設定されていてもよいし、ユーザによって設定されてもよい。また、情報処理装置１は、推定対象の行動及び対象物に応じて検知領域を設定することを可能にする情報を保持していてもよい。

（２）対象物が存在する領域の指定
また、上記実施形態では、前景領域と対象物の領域との実空間内での位置関係に応じて、見守り対象者の行動が推定されるところ、当該対象物が存在する領域は、ユーザによって、指定されてもよい。この場合、制御部１１は、撮影画像３内で対象物が存在する領域の指定を受け付けてもよい。

ここで、制御部１１は、対象物の存在する領域の指定を受け付ける際に撮影画像３を表示させるため、上記ステップＳ１０１で取得した撮影画像３を情報処理装置１に接続されるディスプレイ等の表示装置に表示させる表示制御部２６として機能してもよい。例えば、制御部１１は、表示制御部２６として機能し、図２等で例示されるように、撮影画像３内の各画素の濃淡値（画素値）が当該各画素の深度に応じて定められた撮影画像３を表示装置に表示させてもよい。ユーザは、例えば、このように表示される撮影画像３内で対象物（ベッド）が存在する領域を指定する。

図１１は、撮影画像３内で対象物（ベッド）の領域の指定を受け付ける画面を例示する。図１１で例示される操作画面では、ユーザは、情報処理装置１に接続される入力装置（マウス等）を操作して、表示装置に表示されている撮影画像３上でマーカーの位置を移動させることで、対象物（ベッド）が存在する範囲を指定する。

なお、図１１で例示される画面では、制御部１１は、４つのマーカーをユーザに操作させて、ベッドの範囲を指定させる。当該４つのマーカーは、ベッドのヘッドボード側の２つの角とベッドの２つのサイドフレームの中点とに対応している。矩形上のベッドの範囲を指定するのに、ベッド下端の２つの角ではなく、ベッドの２つのサイドフレームの中点を利用している理由は、撮影範囲内にベッドが収まらない可能性があるためである。

すなわち、カメラ２の配置及びベッドの大きさにより、カメラ２の撮影範囲内にベッドが収まらない場合がある。このような場合に、ベッドの上端及び下端の４つの角でベッドの範囲を指定させると、ユーザは、ベッドの下端の２つの角の位置を指定できなくなる。そこで、制御部１１は、図１１で例示されるように、指定する対象物の角ではなく、２つの角を結ぶ線上の点をユーザに指定させてもよい。なお、当該２つの角を結ぶ線上の点は、中点以外であってもよい。つまり、図１１の例では、ベッドの角の代わりに用いられる２つの点は、ベッドの長手方向のフレーム上の点であればよく、中点でなくてもよい。なお、以降では、ベッドのヘッドボード側の２つの角を「ベッドの頭側２点」と称し、ベッドの２つのサイドフレームの中点を「ベッドの足側２点」と称する。

このように対象物が存在する領域が指定されると、制御部１１は、指定された領域に存在する対象物の深度を当該撮影画像３から取得する。ここで、制御部１１は、撮影画像３に含まれる深度情報から当該対象物の深度を特定してもよいし、後述するように、当該深度情報を用いずに、当該対象物の深度を特定してもよい。

深度情報から当該対象物の深度を特定する場合、制御部１１は、撮影画像３内でユーザにより指定された範囲内の各画素の深度情報を参照することで、当該対象物の深度を特定することができる。深度情報を用いずに当該対象物の深度を特定する場合については後述する。対象物の深度が特定できると、当該対象物の撮影画像３内の位置は既に指定されているため、制御部１１は、当該対象物の実空間内の位置を特定することが可能となる。

（３）対象物の領域に応じて検知領域を設定
上述のようにユーザの指定により対象物の実空間内での位置が特定されると、制御部１１は、当該対象物の実空間内での位置に応じて、検知領域を設定することができる。すなわち、制御部１１は、撮影画像３内で対象物が存在する領域の指定を受け付け、指定された領域に存在する対象物の深度を当該撮影画像３から取得し、取得した対象物の深度に基づいて、対象物の実空間内での位置を特定して、特定した対象物の実空間内での位置に対応して検知領域を設定する検知領域設定部２５として機能してよい。

例えば、上述のとおり、見守り対象者のベッド上での起き上がりを推定する場合に、検知領域がベッド上に設定されてよい。この場合、検知領域は、ベッド上に設定されればよいため、ベッド（対象物）を基準に設定することができる。したがって、制御部１１は、例えば、対象物の実空間内の位置に応じて配置する検知領域の諸条件の情報を保持し、当該情報を利用して、当該対象物の実空間内の位置に応じて検知領域を設定してもよい。例えば、上記図１０の例では、制御部１１は、対象物（ベッド）の実空間内の位置を特定した後に、検知領域設定部２５として機能して、当該ベッドの上方に検知領域を配置してもよい。

（４）深度情報を用いずに対象物の実空間での位置を特定
被写体の境界では深度が大きく変化する場合がある。図１１の例で説明すると、ユーザが、ベッドの境界外にずれてマーカーの位置を指定した場合に、撮影画像３に含まれる深度情報から当該ベッドの深度を取得すると、本来のベッドの深度とは値の大きく異なる深度を取得してしまう事態が生じうる。これに対応するため、制御部１１は、対象物が存在する領域をユーザにより指定された場合、深度情報を用いずに、当該対象物の深度を特定してもよい。

この場合、制御部１１は、例えば、検知領域設定部２５として機能し、撮影画像３内における対象物の長さと所定の値として設定される対象物の実空間内での長さとを対応付けて、当該対象物の深度を算出することで、当該撮影画像３から対象物の深度を取得してもよい。

なお、所定の値が設定される当該対象物の部分は、実施の形態に応じて、適宜、選択されてよい。また、撮影画像３内における対象物の長さと対応付けられる、対象物の実空間内での長さは、予め与えられてもよいし、ユーザによって指定されてもよい。本変形例では、ベッドの横幅の長さが既知の値であり、制御部１１が、当該既知の値を用いて、図１１で例示したベッドの頭側２点の中点及びベッドの足側２点の中点における深度を算出する例を示す。

ここで、制御部１１は、撮影画像３内のベッドの頭側２点間のピクセル数又はベッドの足側２点間のピクセル数とベッド横幅の既知の長さとをそのまま対応付けることで、ベッドの頭側２点の中点又はベッドの足側２点の中点における深度を算出してもよい。しかしながら、後述する図１３及び図１４で説明するように、撮影画像３の中央からずれて対象物を撮影した場合、撮影画像３内における対象物は、撮影画像３の中央で対象物を撮影した場合の当該対象物の形状から変形した形状となることが分かった。そこで、制御部１１は、以下に示す方法により、撮影画像３内のベッドの頭側２点間及びベッドの足側２点間の長さ（ピクセル数）を補正してもよい。

図１２は、撮影画像３内のベッドの頭側２点間及びベッドの足側２点間の長さ（ピクセル数）を補正した後に、ベッドの頭側２点の中点又はベッドの足側２点の中点における深度を算出する処理手順を例示する。なお、以下で説明する処理手順は一例に過ぎず、各処理は、可能な限り入れ替えられてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、処理の省略、置換、及び、追加が可能である。

まず、ステップＳ２０１では、制御部１１は、カメラ２のロール角を利用して４つのマーカーの座標を回転させ、カメラ２がロールしていない状態（ロール角が０度）における４つのマーカーの撮影画像３内の位置を求める。当該回転の演算には、極座標、複素数平面、行列等が用いられてよい。また、カメラ２のロール角は、実施の形態に応じて、適宜、取得されてよい。例えば、カメラ２のロール角は、カメラ２が備えるモーションセンサから取得されてもよいし、ユーザによって指定されてもよい。

次のステップＳ２０２では、制御部１１は、ベッドの縦方向の変形を補正する。当該ベッドの縦方向の変形を図１３を用いて説明する。図１３は、カメラ２のピッチ角の影響と撮影画像３の縦方向中央からずれてベッドが写ることの影響とから生じるベッドにおける縦方向の長さの変形を例示する。

図１３は、カメラを横方向から見た場面を例示する。ベッドが床に水平な状態で配置されている場合、ベッドの頭側２点間の長さ及びベッドの足側２点間の長さは、それぞれ、カメラ２の深度方向の長さ成分と横方向の長さ成分とを有する。この場合、図１３で例示されるように、カメラ２の深度方向の長さ成分（図１３の点線）、カメラ２のピッチ角、及び、撮影画像３の縦方向中央からのずれは、それぞれが互いに影響を及ぼすことで、撮影画像３内で縦方向の長さを生じさせる（図１３の実線）。

制御部１１は、撮影画像３内で生じる縦方向の長さ（図１３の実線）を当該撮影画像３から特定することが可能である。そして、制御部１１は、図１３で例示されるカメラ２の深度方向の長さ成分（図１３の点線）及び撮影画像３内で生じる縦方向の長さ（図１３の実線）の角度関係を利用することで、撮影画像３内で生じる縦方向の長さ（図１３の実線）から、ベッドの頭側２点間の長さ及びベッドの足側２点間の長さそれぞれのカメラ２の深度方向の長さ成分（図１３の点線）を算出することができる。従って、制御部１１は、撮影画像３内で生じる縦方向の長さ（図１３の実線）からカメラ２の深度方向の長さ成分（図１３の点線）を算出することがで、ベッドの縦方向の変形を補正することができる。

なお、制御部１１は、本ステップＳ２０２において、三角比等を利用して、撮影画像３内で生じる縦方向の長さ（図１３の実線）からそれぞれのカメラ２の深度方向の長さ成分（図１３の点線）を算出してもよい。また、制御部１１は、カメラ２の深度方向の長さ成分（図１３の点線）、カメラ２のピッチ角、撮影画像３の縦方向中央からのずれ、及び、撮影画像３内で生じる縦方向の長さ（図１３の実線）の対応関係を示す情報を保持してもよい。この場合、制御部１１は、当該情報を参照することで、撮影画像３内で生じる縦方向の長さ（図１３の実線）から、ベッドの頭側２点間の長さ及びベッドの足側２点間の長さそれぞれのカメラ２の深度方向の長さ成分（図１３の点線）を取得することができる。

なお、カメラ２のピッチ角は、ロール角と同様、実施の形態に応じて、適宜、取得されてよく、例えば、カメラ２が備えるモーションセンサから取得されてもよいし、ユーザによって指定されてもよい。

図１２に戻り、次のステップＳ２０３では、制御部１１は、ベッドの横方向の変形を補正する。当該ベッドの横方向の変形を図１４を用いて説明する。図１４は、撮影画像３の横方向中央からずれてベッドが写ることの影響とから生じるベッドにおける横方向の長さの変形を例示する。

図１４は、カメラを上から見た場面を例示する。図１４で例示されるように、カメラ２の深度方向の長さ成分（図１４の点線、正確にはカメラ２のピッチ角方向の成分）、及び、撮影画像３の横方向中央からのずれは、互いに影響を及ぼして、撮影画像３内で横方向の長さを生じさせる（図１４の実線）。

ここで、ベッドの頭側２点間の長さ及びベッドの足側２点間の長さそれぞれのカメラ２の深度方向の長さ成分（図１４の点線）は、上記ステップＳ２０２の処理で取得済みであるため、本ステップＳ２０３の時点では既知の値である。よって、制御部１１は、図１４で例示されるカメラ２の深度方向の長さ成分（図１４の点線）及び撮影画像３内で生じる横方向の長さ（図１４の実線）の角度関係を利用することで、ステップＳ２０２で取得されているカメラ２の深度方向の長さ成分（図１４の点線）から、撮影画像３内で生じる横方向の長さ（図１４の実線）を算出することができる。そして、制御部１１は、算出した撮影画像３内で生じる横方向の長さ（図１４の実線）の影響を、ベッドの頭側２点間の長さ及びベッドの足側２点間の長さそれぞれのカメラ２の横方向の長さ成分から除去することで、ベッドの横方向の変形を補正することができる。

なお、制御部１１は、本ステップＳ２０３において、三角比等を利用して、それぞれのカメラ２の深度方向の長さ成分（図１４の点線）から撮影画像３内で生じる横方向の長さ（図１４の実線）を算出してもよい。また、制御部１１は、カメラ２の深度方向の長さ成分（図１４の点線）及び撮影画像３の横方向中央からのずれ、及び、撮影画像３内で生じる横方向の長さ（図１４の実線）の対応関係を示す情報を保持してもよい。この場合、制御部１１は、当該情報を参照することで、それぞれのカメラ２の深度方向の長さ成分（図１４の点線）から撮影画像３内で生じる横方向の長さ（図１４の実線）を取得することができる。

上記ステップＳ２０２及びステップＳ２０３の処理により、カメラ２が画像中央でベッドを捉えた場合における、ベッドの頭側２点間の長さ及びベッドの足側２点間の長さそれぞれのカメラ２の深度方向の長さ成分と横方向の長さ成分とが取得される。つまり、この時点で、撮影画像３の中央からずれことで生じる撮影画像３内のベッドの長さの変形が解消されている。そこで、制御部１１は、三平方の定理を用いて、取得されたそれぞれのカメラ２の深度方向の長さ成分と横方向の長さ成分とから、撮影画像３内における、ベッドの頭側２点間の長さ（ピクセル数）及びベッドの足側２点間の長さ（ピクセル数）をそれぞれ算出する。

図１２に戻り、最後のステップＳ２０４では、制御部１１は、ステップＳ２０３までで求めたベッドの頭側２点間の長さ（ピクセル数）及びベッドの足側２点間の長さ（ピクセル数）とそれぞれの実空間での長さとを対応付けることで、ベッドの頭側２点間の中点及び足側２点間の中点における深度をそれぞれ求める。当該処理を図１５を用いて説明する。

図１５は、実空間での長さ、撮影画像３内の長さ、及び、深度の相互関係を例示する。深度Ｄｏにおける実空間内での横方向の撮影範囲をＲｗとし、実空間内での被写体の横方向の長さをＢｗとする。また、撮影画像３の横方向の長さ（ピクセル数）をＲｐとし、撮影画像３内における被写体の横方向の長さをＢｐ（ピクセル数）とする。この場合、数１で示される関係が成立する。

Ｂｐには、ステップＳ２０３までで求められたベッドの頭側２点間の長さ（ピクセル数）及びベッドの足側２点間の長さ（ピクセル数）がそれぞれ代入される。また、Ｒｐは、撮影画像３の横方向の長さ（ピクセル数）であり、取得される撮影画像３に依存する既知の値である。また、カメラ２の視野角をθとすると、Ｒｗには、数２で示される関係が成立する。

カメラ２の視野角θは、カメラ２に依存する既知の値である。そのため、実空間内での被写体の横方向の長さＢｗが与えられたら、制御部１１は、数１及び数２を解くことで、対象物の深度Ｄｏを求めることができる。ここで、上述のとおり、実空間内でのベッドの頭側２点間の長さ及びベッドの足側２点間の長さは、ベッドの横幅に相当し、既知の値として設定されている。従って、制御部１１は、ベッドの頭側２点間の中点及び足側２点間の中点における深度をそれぞれ求めることができる。すなわち、制御部１１は、本ステップＳ２０１〜２０４の処理を実行することで、撮影画像３内における対象物の長さと所定の値として設定される対象物の実空間内での長さとを対応付けて、当該対象物の深度を算出することができる。

その後、制御部１１は、ベッドの頭側２点間の中点及び足側２点間の中点における深度から、実空間内でのベッドの位置を特定することができる。例えば、制御部１１は、ベッドの頭側２点間の中点における深度と足側２点間の中点における深度との差分から、ベッドの縦幅を特定することができる。また、例えば、制御部１１は、実空間上における、４つのマーカーの位置、並びに、ベッドの頭側２点間の中点及び足側２点間の中点の位置から、実空間内でのベッド（正確にはマットレス）の上面の領域を特定することができる。

なお、これまでの処理で、ベッドの頭側２点間の中点及び足側２点間の中点の実空間内での位置が特定される。そのため、制御部１１は、ベッドの頭側２点間の中点と側２点間の中点とを結ぶベクトルを利用して、カメラ２の位置を基準として表現される三次元空間（実空間）をベッドの位置を基準として表現される三次元空間に射影変換することができる。これにより、制御部１１は、カメラ２の位置に依存することなく、ベッドの位置を基準として、実空間を表現することが可能になる。本変形例では、見守り対象者のベッドに関連する行動を制御部１１は判定するため、ベッドの位置を基準とした座標系で実空間を表現することで、制御部１１の処理を簡単にすることができる。

（５）面積を利用した行動推定
見守り対象者の行動を推定するための条件として、上記実施形態では２つの例を説明した。その他の例として、例えば、見守り対象者が対象物に関する行動を行った場合に、実空間上の検知領域に存在する見守り対象者の所定の部位に関して深度が得られる領域の面積の範囲が、当該見守り対象者の行動を推定するための条件として、設定されてもよい。

この場合、制御部１１は、上記ステップＳ１０３において、前景領域のうちの検知領域に含まれる部分において、見守り対象者の当該所定の部位に対応する部位領域を推定してもよい。推定する部位は、実施の形態に応じて、適宜、設定されてよく、例えば、後述する頭部、肩部等である。また、所定の部位を推定する方法は、実施の形態に応じて、適宜、設定されてよい。頭部及び肩部の領域を推定する方法は、後述する。

ここで、図１５で例示されるように、カメラ２から被写体が遠ざかるほど、当該撮影画像３内における当該被写体の像は小さくなってしまう。そのため、制御部１１は、被写体の遠近に影響を受けないように、深度情報により示される部位領域内の画素毎の深度に応じて、当該画素毎の実空間における面積を算出してもよい。具体的には次のようにして求めることができる。図１５を用いて説明すると、深度Ｄｏにおける１画素の実空間内での長さｗは数３で示される。

撮影画像３に含まれる深度情報からＤｏは取得可能であり、上述のとおり、撮影画像３の横方向の長さＲｐ及びカメラ２の視野角θは既知の値である。そのため、制御部１１は、数２及び数３に基づいて、１画素の実空間内での長さｗを特定することができる。当該１画素の実空間における面積は当該ｗの２乗で算出されるため、制御部１１は、当該１画素の実空間内での長さｗを用いて、画素毎の実空間における面積を算出することができる。

そして、制御部１１は、当該部位領域内の画素毎に算出した面積の総和が当該条件として設定された面積の範囲内に含まれるか否かを判定することで、見守り対象者の対象物に関する行動を推定してもよい。なお、このような面積は、深度情報のノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部１１は、数フレーム分の面積の平均を利用してもよい。また、制御部１１は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。

（６）面積及び分散を利用した行動推定
ただし、見守り対象者の所定の部位領域の面積だけでは、制御部１１は、見守り対象者の部位を取り違えて認識してしまう可能性がある。そこで、制御部１１は、部位領域の実空間における広がり具合を示す分散を利用することで、当該誤認識を防止してもよい。

ここで、図１６を用いて当該分散を説明する。図１６は、領域の広がり具合と分散との関係を例示する。図１６で例示される領域Ｓ及び領域Ｔは、それぞれ、同じ面積であるとする。部位領域の面積だけで制御部１１が見守り対象者の部位を推定しようとすると、制御部１１は、領域Ｓと領域Ｔとは同じであると認識してしまうため、見守り対象者の部位を取り違えて認識してしまう可能性がある。しかしながら、図１６で例示されるように、領域Ｓと領域Ｔとは実空間における広がり具合が大きく異なる（図１６では水平方向の広がり具合）。そこで、制御部１１は、当該部位領域内の各画素の位置の分散を求め、当該分散を利用することで、上記誤認識を防止してもよい。

つまり、見守り対象者が対象物に関する行動を行った場合に、実空間上の検知領域に存在する当該見守り対象者の所定の部位に関して深度が得られる領域の広がり具合を示す分散の範囲が、当該見守り対象者の行動を推定するための条件として、更に、設定されてよい。そして、制御部１１は、上記ステップＳ１０３において、推定される部位領域の実空間における広がり具合を示す分散を算出し、見守り対象者の行動を推定するための条件として設定された範囲に算出した分散が含まれるか否かを更に判定することで、見守り対象者の対象物に関する行動を推定してもよい。

（７）頭部を利用した行動推定
上記実施形態では、見守り対象者の行動の基準となる対象物として、ベッドを例示した。そこで、行動推定の処理範囲を定める上記検知領域は、見守り対象者がベッド上で行動した時に見守り対象者の頭部を少なくとも含むように、当該ベッド上に設定されてよい。そして、見守り対象者の行動を推定するための条件となる上記面積の範囲及び上記分散の範囲は、それぞれ、少なくとも当該見守り対象者の頭部を対象に設定されてよい。

この場合、制御部１１は、上記ステップＳ１０３において、上記ステップＳ１０２で抽出した前景領域のうちの検知領域に含まれる部分において、見守り対象者の頭部に対応する頭部領域を推定し、推定した当該頭部領域に関する面積の総和及び分散を算出し、算出した頭部領域に関する面積の総和及び分散がそれぞれを対象に設定された条件の範囲に含まれるか否かを判定することで、見守り対象者のベッドに関連する行動を推定してもよい。

前景領域のうちの検知領域に含まれる部分において、見守り対象者の頭部に対応する頭部領域を推定する方法は、実施の形態の応じて、適宜、設定されてよい。制御部１１は、例えば、図１７で例示される方法で、頭部領域を推定する。図１７は、前景領域のうち検知領域に含まれる部分で推定された頭部領域と後述する肩部領域との関係を例示する。制御部１１は、例えば、前景領域のうち、検知領域に含まれる部分の最も高い位置を頭頂部の位置と仮定してもよい。そして、制御部１１は、当該位置から下方に所定の範囲内の前景領域の部分を頭部領域と推定してもよい。

（８）頭部及び肩部を利用した行動推定
ここで、ベッドに関連する見守り対象者の行動を推定するのに頭部領域だけを利用すると、制御部１１は、頭部と同じ表面形状を有する被写体を頭部と誤って認識してしまい、見守り対象者の行動を誤認識してしまう可能性がある。そのため、見守り対象者の行動を推定するための条件となる上記面積の範囲及び上記分散の範囲は、それぞれ、見守り対象者の肩部を対象に、更に設定されてもよい。

この場合、制御部１１は、上記ステップＳ１０３において、上記ステップＳ１０２で抽出した前景領域のうちの検知領域に含まれる部分において、上記頭部領域に隣接する領域から、見守り対象者の肩部に対応する肩部領域を更に推定し、推定した当該肩部領域に関する面積の総和及び分散を算出し、算出した肩部領域に関する面積の総和及び分散がそれぞれを対象に設定された条件の範囲に含まれるか否かを更に判定することで、見守り対象者のベッドに関連する行動を推定してもよい。

前景領域のうちの検知領域に含まれる部分において、見守り対象者の肩部に対応する肩部領域を推定する方法は、実施の形態の応じて、適宜、設定されてよい。制御部１１は、例えば、図１７で例示される方法で、頭部領域に続いて肩部領域を推定する。具体的には、制御部１１は、頭部領域から連続する領域において、頭部領域の下端から下方に所定の領域の範囲内の前景領域の部分を肩部領域と推定してもよい。肩部領域は、頭部領域に比べて、広がりを持つ領域になりやすい。そのため、頭部領域と肩部領域との広がり具合の状態を適切に上記条件に反映させることで、見守り対象者の行動推定の精度を高めることができる。

なお、見守り対象者のベッドに関連する行動の具体例として、見守り対象者の、ベッド上での起き上がり、ベッドにおける端座位、ベッドからの身体の乗り出し（柵越え）、ベッドからの落下、及び、ベッドからの離床を挙げることができる。制御部１１は、これらの行動のうちの少なくともいずれかの行動を推定対象としてよい。

ここで、制御部１１がこれらの行動のうちのいずれかの行動のみを推定対象とする場合、制御部１１は、頭部領域及び肩部領域の少なくともいずれかの領域が検知領域に現れたことに基づいて、当該見守り対象者の行動を推定してもよい。

一方、制御部１１がこれらの行動のうちの複数の行動を推定対象とする場合、制御部１１は、頭部領域及び肩部領域とベッドとの実空間内での位置関係に基づいて、それぞれの行動を判定してもよい。このとき、制御部１１は、例えば、頭部領域及び肩部領域それぞれに含まれる各画素の撮影画像３内の位置及び深度を用いて、頭部領域及び肩部領域それぞれの実空間内での平均位置を求めてもよい。そして、制御部１１は、頭部領域及び肩部領域の平均位置がそれぞれベッド中央付近と評価できる場合に、見守り対象者の起き上がりを推定してもよい。

一方、ベッドにおける端座位、ベッドからの身体の乗り出し（柵越え）、ベッドからの落下、及び、ベッドからの離床は、ベッドのサイドフレーム周辺での行動である。これらの行動は、頭部領域及び肩部領域の位置関係で識別することが可能である。例えば、頭部領域の位置は、離床、端座位、身体の乗り出し（柵越え）、落下の順に低くなっていく。これらの関係に基づいて、制御部１１は、端座位、身体の乗り出し（柵越え）、落下、及び、離床を識別してもよい。

なお、制御部１１は、頭部領域及び肩部領域の位置関係から、見守り対象者の身体の傾きを判定することができる。この点を図１８を用いて説明する。図１８は、見守り対象者が端座位を行った場合に現れる実空間内での前景領域を真上から見た状態を例示する。図１８で例示される状態では、頭部領域が肩部領域よりもベッドの外側に突き出ているため、見守り対象者の身体はベッドの外側に傾いていると想定される。制御部１１は、このような頭部領域と肩部領域との位置関係から見守り対象者の身体の傾きを判定してもよい。そして、制御部１１は、当該身体の傾きを更に考慮して、見守り対象者の行動を推定してもよい。例えば、頭部領域の平均位置がベッドの内側にあり、肩部領域の平均位置がベッドの外側にあれば、制御部１１は、見守り対象者以外の者（例えば、見守り対象者の行動を見守る者）がベッド外側から見守り対象者を覗き込んだ動作であると認識することができる。

（９）検知領域の修正
当該見守り対象者は、行動の基準となる対象物から離れてしまう場合がある。例えば、見守り対象者が、ベッドにおける端座位、ベッドからの身体の乗り出し（柵越え）、ベッドからの落下、及び、ベッドからの離床、のいずれかの行動を行った場合、見守り対象者はベッド（対象物）から離れてしまう場合がある。

これに対して、検知領域は、見守り対象者が当該行動を行った際に存在すると想定される領域であり、行動の基準となる対象物を基準に設定される場合がある。例えば、図１０で例示されるようにベッド上に検知領域が設定される場合がある。このような場合、見守り対象者が対象物から離れる行動を行った場合、当該検知領域の外に出てしまう可能性がある。

そこで、制御部１１は、このような対象物から離れる行動を推定した場合に、当該行動の推定に利用した前景領域の位置を基準として、検知領域の範囲を修正してもよい。例えば、制御部１１は、見守り対象者の、ベッドにおける端座位、ベッドからの身体の乗り出し、ベッドからの落下、及び、ベッドからの離床、のいずれかの行動を推定した後に取得される撮影画像３を用いて見守り対象者の行動を更に推定する場合、見守り対象者の当該いずれかの行動を推定した時の頭部領域及び肩部領域の位置を基準として、見守り対象者の頭部及び肩部が存在すると推定される範囲の領域となるように、検知領域の範囲を変更してもよい。

なお、検知領域の設定方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部１１は、見守り対象者の上記いずれかの行動を推定した時の頭部領域及び肩部領域それぞれの平均位置の中点を新たな検知領域の中心としてもよい。そして、制御部１１は、推定した行動に応じて、新たな検知領域の範囲を設定してもよい。例えば、制御部１１は、見守り対象者の離床を推定した場合と落下を推定した場合とで、異なる範囲に新たな検知領域を設定してもよい。

（１０）撮影画像の表示
上述のとおり、制御部１１は、表示制御部２６として機能し、図２等で例示されるように、撮影画像３内の各画素の濃淡値（画素値）が当該各画素の深度に応じて定められた撮影画像３を表示装置に表示させてもよい。ただし、各画素の濃淡値が当該各画素の深度に応じて定められた撮影画像３は、図２等で例示されるように、撮影画像３内の被写体をユーザが認識しにくい画像である。そこで、制御部１１は、図１１で例示されるように、撮影画像３内で特定の領域として識別される領域を色分けして、当該撮影画像３を表示装置に表示させることで、当該特定の領域をユーザが把握しやすいようにしてもよい。

図１９は、特定の領域を色分けして表示された撮影画像３を例示する。図１９で例示される画面では、見守り対象者の頭部領域、及び肩部領域、並びに、対象物（ベッド）の領域が色分けして表示されている。制御部１１は、ユーザが識別しやすいように、これらの領域に色を割り当てる。例えば、制御部１１は、頭部領域を赤色で、肩部領域を黄色で、ベッドの領域を青色で表示する。各領域に割り当てられる色は、予め設定されていてもよいし、ユーザによって設定されてもよい。

１…情報処理装置、２…カメラ、３…撮影画像、
５…プログラム、６…記憶媒体、
２１…画像取得部、２２…前景抽出部、２３…行動推定部、２４…通知部、
２５…検知領域設定部、２６…表示制御部

Claims (15)

1. 行動を見守られる見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影した撮影画像であって、当該撮影画像内の画素毎に得られる深度を示す深度情報を含む撮影画像、を取得する画像取得部と、
   前記撮影画像の背景として当該背景の深度を含んで設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部と、
   前記深度情報に基づいて前記前景領域内の画素の深度を参照して、前記前景領域と前記対象物の領域との実空間内の位置関係が、抽出した前記前景領域が前記見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、前記見守り対象者の前記対象物に関する行動を推定する行動推定部と、
   を備える、
   情報処理装置。
2. 前記行動推定部は、抽出された前記前景領域のうち、前記対象物に対して設定された検知領域内に含まれる部分に基づいて、前記前景領域と前記対象物の領域との前記位置関係が前記条件を満たすか否かを判定する、
   請求項１に記載の情報処理装置。
3. 前記撮影画像内で前記対象物が存在する領域の指定を受け付け、指定された領域に存在する前記対象物の深度を前記撮影画像から取得し、取得した前記対象物の深度に基づいて、前記対象物の実空間内での位置を特定して、特定した前記対象物の実空間内での位置に対応して前記検知領域を設定する、検知領域設定部、
   を更に備える、
   請求項２に記載の情報処理装置。
4. 前記検知領域設定部は、前記撮影画像に含まれる前記深度情報を参照せずに、前記撮影画像内における前記対象物の長さと所定の値として設定される前記対象物の実空間内での長さとを対応付けて、前記対象物の深度を算出することで、前記撮影画像から前記対象物の深度を取得する、
   請求項３に記載の情報処理装置。
5. 前記見守り対象者が前記対象物に関する行動を行った場合に、前記実空間上の前記検知領域に存在する前記見守り対象者の所定の部位に関して前記深度が得られる領域の面積の範囲が、前記見守り対象者の行動を推定するための前記条件として、設定され、
   前記行動推定部は、前記前景領域のうちの前記検知領域に含まれる部分において、前記見守り対象者の前記所定の部位に対応する部位領域を推定し、前記深度情報により示される前記部位領域内の画素毎の深度に応じて、当該画素毎の実空間における面積を算出し、前記部位領域内の画素毎に算出した面積の総和が前記条件として設定された前記面積の範囲に含まれるか否かを判定することで、前記見守り対象者の前記対象物に関する行動を推定する、
   請求項２から４のいずれか１項に記載の情報処理装置。
6. 前記見守り対象者が前記対象物に関する行動を行った場合に、前記実空間上の前記検知領域に存在する前記見守り対象者の所定の部位に関して前記深度が得られる領域の広がり具合を示す分散の範囲が、前記見守り対象者の行動を推定するための前記条件として、更に設定され、
   前記行動推定部は、推定される前記部位領域の前記実空間における広がり具合を示す分散を算出し、前記条件として設定された前記範囲に算出した前記分散が含まれるか否かを更に判定することで、前記見守り対象者の前記対象物に関する行動を推定する、
   請求項５に記載の情報処理装置。
7. 前記対象物はベッドであり、
   前記検知領域は、前記見守り対象者が前記ベッド上で行動した時に前記見守り対象者の頭部を少なくとも含むように、前記ベッド上に設定され、
   前記見守り対象者の行動を推定するための前記条件となる前記面積の範囲及び前記分散の範囲は、それぞれ、少なくとも前記見守り対象者の頭部を対象に設定され、
   前記行動推定部は、前記前景領域のうちの前記検知領域に含まれる部分において、前記見守り対象者の頭部に対応する頭部領域を推定し、推定した前記頭部領域に関する前記面積の総和及び前記分散を算出し、算出した前記頭部領域に関する前記面積の総和及び前記分散がそれぞれを対象に設定された前記範囲に含まれるか否かを判定することで、前記見守り対象者の前記ベッドに関連する行動を推定する、
   請求項６に記載の情報処理装置。
8. 前記見守り対象者の行動を推定するための前記条件となる前記面積の範囲及び前記分散の範囲は、それぞれ、前記見守り対象者の肩部を対象に、更に設定され、
   前記行動推定部は、前記前景領域のうちの前記検知領域に含まれる部分において、前記頭部領域に隣接する領域から、前記見守り対象者の肩部に対応する肩部領域を更に推定し、推定した前記肩部領域に関する前記面積の総和及び前記分散を算出し、算出した前記肩部領域に関する前記面積の総和及び前記分散がそれぞれを対象に設定された前記範囲に含まれるか否かを更に判定することで、前記見守り対象者の前記ベッドに関連する行動を推定する、
   請求項７に記載の情報処理装置。
9. 前記行動推定部は、前記頭部領域及び前記肩部領域と前記ベッドとの前記実空間内の位置関係に基づいて、前記ベッド上での起き上がり、前記ベッドにおける端座位、前記ベッドからの身体の乗り出し、前記ベッドからの落下、及び、前記ベッドからの離床、のうちの少なくともいずれかの前記見守り対象者の行動を推定する、
   請求項８に記載の情報処理装置。
10. 前記行動推定部は、前記見守り対象者の、前記ベッドにおける端座位、前記ベッドからの身体の乗り出し、前記ベッドからの落下、及び、前記ベッドからの離床、のいずれかの行動を推定した後に取得される撮影画像を用いて前記見守り対象者の行動を推定する場合、前記見守り対象者の前記いずれかの行動を推定した時の前記頭部領域及び前記肩部領域の位置を基準として、前記見守り対象者の頭部及び肩部が存在すると推定される範囲の領域となるように、前記検知領域の範囲を変更する、
    請求項９に記載の情報処理装置。
11. 前記見守り対象者と前記ベッドとを撮影した前記撮影画像に含まれる前記深度情報は、赤外線の照射に基づいて深度を測定する深度センサによって、取得される、
    請求項７から１０のいずれか１項に記載の情報処理装置。
12. 前記撮影画像内の各画素の濃淡値が当該各画素の深度に応じて定められた前記撮影画像を表示装置に表示させる表示制御部を更に備え、
    前記表示制御部は、前記撮影画像内で特定の領域として識別される領域を色分けして、前記撮影画像を前記表示装置に表示させる、
    請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記見守り対象者について推定した行動が前記見守り対象者に危険の迫る予兆を示す行動である場合に、前記見守り対象者を見守る見守り者に当該予兆を知らせるための通知を行う通知部を更に備える、
    請求項１から１２のいずれか１項に記載の情報処理装置。
14. コンピュータが、
    行動を見守られる見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影した撮影画像であって、当該撮影画像内の画素毎に得られる深度を示す深度情報を含む撮影画像、を取得するステップと、
    前記撮影画像の背景として当該背景の深度を含んで設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出するステップと、
    前記深度情報に基づいて前記前景領域内の画素の深度を参照して、前記前景領域と前記対象物の領域との実空間内の位置関係が、抽出した前記前景領域が前記見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、前記見守り対象者の前記対象物に関する行動を推定するステップと、
    を実行する情報処理方法。
15. コンピュータに、
    行動を見守られる見守り対象者と当該見守り対象者の行動の基準となる対象物とを撮影した撮影画像であって、当該撮影画像内の画素毎に得られる深度を示す深度情報を含む撮影画像、を取得するステップと、
    前記撮影画像の背景として当該背景の深度を含んで設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出するステップと、
    前記深度情報に基づいて前記前景領域内の画素の深度を参照して、前記前景領域と前記対象物の領域との実空間内の位置関係が、抽出した前記前景領域が前記見守り対象者の行動に関連すると仮定して設定された条件を満たすか否かを判定することで、前記見守り対象者の前記対象物に関する行動を推定するステップと、
    を実行させるためのプログラム。