JPWO2015125545A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

情報処理装置は、行動選択部（３２）により見守りの対象とする行動を選択すると、その選択に応じた撮影装置の配置位置の候補を画面（３０）に表示する。その後、見守り対象者とベッドとの位置関係が所定の条件を満たすか否かを判定することで、見守り対象として選択された行動を検知する。

Description

本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。

室内斜め上方から室内下方に向けて撮影された画像の境界辺を通過して、床面領域からベッド領域への人体移動を検知することで、入床事象を判断し、ベッド領域から床面領域への人体移動を検知することで、離床事象を判断する技術がある（特許文献１）。

また、ベッドに寝ている患者が起床挙動を行ったことを判定するための見守り領域を、ベッドに就寝している患者を含むベッドの直上の領域に設定して、ベッドの横方向から見守り領域を含む撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す変動値が、患者がベッドに寝ている状態でカメラから得られた撮影画像の見守り領域に占める患者と思われる画像領域の大きさを示す初期値未満である場合に、患者が起床挙動を行っていると判断する技術がある（特許文献２）。

特開２００２−２３０５３３号公報 特開２０１１−００５１７１号公報

近年、入院患者、施設入居者、要介護者等の見守り対象者がベッドから転倒、転落する事故、及び、認知症患者の徘徊による事故が年々増加する傾向にある。このような事故を防止する方法として、例えば、特許文献１及び２で例示されるような、室内に設置した撮影装置（カメラ）で見守り対象者を撮影し、撮影した画像を解析することで、起き上がり、端座位、離床等の見守り対象者の行動を検知する見守りシステムが開発されている。

このような見守りシステムによって見守り対象者のベッドにおける行動を見守る場合、見守りシステムは、例えば、見守り対象者とベッドとの相対的な位置関係に基づいて見守り対象者の各行動を検知する。そのため、見守りを行う環境（以下、「見守り環境」とも称する）が変化することにより、ベッドに対する撮影装置の配置が変わってしまうと、見守りシステムは、見守り対象者の行動を適切に検知できなくなってしまう可能性がある。

このような事態を避けるためには、見守りシステムのセッティングが適切に行われる必要がある。しかしながら、従来、このようなセッティングはシステムの管理者によって行われており、見守りシステムについての知識に乏しい利用者が見守りシステムのセッティングを容易に行うことはできなかった。

本発明は、一側面では、このような点を考慮してなされたものであり、見守りシステムのセッティングを容易に行うことを可能にする技術を提供することを目的とする。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る情報処理装置は、見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付ける行動選択部と、前記見守りの対象として選択された行動に応じて、前記見守り対象者のベッドにおける行動を見守るための撮影装置の前記ベッドに対する配置位置の候補を表示装置に表示させる表示制御部と、前記撮影装置によって撮影された撮影画像を取得する画像取得部と、前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知する行動検知部と、を備える。

上記構成によれば、見守り対象者のベッドでの行動が撮影装置によって撮影される。上記構成に係る情報処理装置は、この撮影装置によって取得される撮影画像を利用して、見守り対象者の行動を検知する。そのため、見守り環境が変化することでベッドに対する撮影装置の配置が変わってしまうと、上記構成に係る情報処理装置は、見守り対象者の行動を適切に検知できなくなってしまう可能性がある。

そこで、上記構成に係る情報処理装置は、見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付ける。そして、上記構成に係る情報処理装置は、見守りの対象として選択された行動に応じて、見守り対象者のベッドにおける行動を見守るための撮影装置のベッドに対する配置位置の候補を表示装置に表示させる。

これにより、利用者は、表示装置に表示される撮影装置の配置位置の候補に従って撮影装置を配置すれば、見守り対象者の行動を適切に検知できる位置に撮影装置を配置することができるようになる。つまり、見守りシステムについての知識に乏しい利用者であっても、表示装置に表示させる撮影装置の配置位置の候補に従って撮影装置を配置するだけで、少なくとも撮影装置の配置については、見守りシステムを適切にセッティングできるようになる。よって、上記構成によれば、見守りシステムのセッティングを容易に行うことが可能になる。なお、見守り対象者とは、本発明によりベッドでの行動を見守られる対象者であり、例えば、入院患者、施設入居者、要介護者等である。

また、上記一側面に係る情報処理装置の別の形態として、前記表示制御部は、前記ベッドに対する前記撮影装置の配置位置の候補の他に、予め設定された前記撮影装置の設置に推奨されない位置を更に表示装置に表示させてもよい。当該構成によれば、撮影装置の設置に推奨されない位置が示されることにより、撮影装置の配置位置の候補として示される撮影装置の配置可能な位置がより明確となる。これにより、利用者が撮影装置の配置を誤る可能性を低減することができる。

また、上記一側面に係る情報処理装置の別の形態として、前記表示制御部は、前記撮影装置の配置が完了したことを受け付けた後に、前記撮影装置の向きを前記ベッドに合わせる指示内容とともに、前記撮影装置により取得されている撮影画像を前記表示装置に表示させてもよい。当該構成では、利用者は、カメラの配置とカメラの向きの調節とを異なるステップで指示される。そのため、利用者は、カメラの配置とカメラの向きの調節とを順序に応じて適切に行うことが可能になる。したがって、当該構成によれば、見守りシステムについての知識に乏しい利用者であっても、見守りシステムのセッティングを容易に行うことができる。

また、上記一側面に係る情報処理装置の別の形態として、前記画像取得部は、前記撮影画像内の各画素の深度を示す深度情報を含む撮影画像を取得してもよい。そして、前記行動検知部は、前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かの判定として、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知してもよい。

当該構成によれば、撮影装置により取得される撮影画像には、各画素の深度を示す深度情報が含まれている。各画素の深度は、その各画素に写る対象の深さを示す。そのため、この深度情報を利用することで、ベッドに対する見守り対象者の実空間での位置関係を推定し、当該見守り対象者の行動を検知することができる。

そこで、上記構成に係る情報処理装置は、撮影画像内の各画素の深度に基づいて、見守り対象者とベッド領域との実空間内での位置関係が所定の条件を満たすか否かを判定する。そして、上記構成に係る情報処理装置は、この判定の結果に基づいて、見守り対象者とベッドとの実空間内での位置関係を推定し、見守り対象者のベッドに関連する行動を検知する。

これにより、実空間内での状態を考慮して見守り対象者の行動を検知することができるようになる。ただし、深度情報を利用して見守り対象者の実空間での状態を推定する上記構成では、取得される深度情報を考慮して撮影装置を配置しなければならないため、撮影装置を適切な位置に配置することは困難になる。そのため、深度情報を利用して見守り対象者の行動を推定する上記構成では、撮影装置の配置位置の候補を表示して利用者に撮影装置を適切な位置に配置するように促すことで見守りシステムのセッティングを容易にする本技術は重要になる。

また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記撮影装置の配置が完了したことを受け付けた後に、前記ベッドの基準面の高さの指定を受け付けて、当該指定された高さを前記ベッドの基準面の高さに設定する設定部を更に備えてもよい。そして、前記表示制御部は、前記ベッドの基準面の高さの指定を前記設定部が受け付けている際に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッドの基準面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するようにして、取得した前記撮影画像を表示装置に表示させ、前記行動検知部は、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された行動を検知してもよい。

上記構成では、実空間内でのベッドの位置を特定するためのベッドの位置に関する設定として、ベッドの基準面の高さの設定が行われる。このベッドの基準面の高さの設定が行われる間、上記構成に係る情報処理装置は、表示装置に表示させる撮影画像上で、利用者により指定されている高さに位置する対象を写した領域を明示する。したがって、この情報処理装置の利用者は、表示装置に表示される撮影画像上で、ベッドの基準面に指定する領域の高さを確認しながら、ベッドの基準面の高さを設定することができる。

よって、上記構成によれば、見守りシステムについての知識に乏しい利用者であっても、見守り対象者の行動を検知する基準となるベッドの位置に関する設定を容易に行うことが可能であり、見守りシステムのセッティングを容易に行うことが可能である。

また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備えてもよい。そして、前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域の写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された行動を検知してもよい。

当該構成によれば、背景画像と撮影画像との差分を抽出することで、撮影画像の前景領域が特定される。この前景領域は、背景画像から変化の生じている領域である。そのため、前景領域には、見守り対象者に関連する像として、見守り対象者が動くことで変化の生じた領域、換言すると、見守り対象者の身体部位のうち動いている部位（以下、「動作部位」とも称する）の存在する領域が含まれている。よって、深度情報により示される前景領域内の各画素の深度を参照することで、実空間内における見守り対象者の動作部位の位置を特定することが可能である。

そこで、上記構成に係る情報処理装置は、前景領域内の各画素の深度に基づいて特定される前景領域に写る対象の実空間内での位置を見守り対象者の位置として利用して、ベッドの基準面と見守り対象者との位置関係が所定の条件を満たすか否かを判定する。すなわち、見守り対象者の行動を検知するための所定条件は、前景領域が見守り対象者の行動に関連すると仮定して設定されている。上記構成に係る情報処理装置は、実空間内において、ベッドの基準面に対して見守り対象者の動作部位がどの高さに存在しているかに基づいて、見守り対象者の行動を検知する。

ここで、前景領域は、背景画像と撮影画像との差分で抽出することができるため、高度な画像処理を利用しなくても特定することができる。そのため、上記構成によれば、簡易な方法で見守り対象者の行動を検知することができるようになる。

また、上記一側面に係る情報処理装置の別の形態として、前記行動選択部は、ベッドの端部付近又は外側で行われる前記見守り対象者の所定行動を含む前記見守り対象者のベッドに関連する複数の行動から、前記見守り対象者について見守りの対象とする行動の選択を受け付けてもよい。また、前記設定部は、前記ベッドの基準面の高さとしてベッド上面の高さの指定を受け付けて、当該指定された高さを前記ベッド上面の高さに設定してもよく、かつ、前記見守りの対象として選択された行動に前記所定行動が含まれている場合、前記ベッド上面の高さを設定した後に、更に、前記ベッド上面の範囲を特定するために前記ベッド上面内に設定される基準点の位置と前記ベッドの向きとの指定を前記撮影画像内で受け付けて、指定された前記基準点の位置及び前記ベッドの向きに基づいて前記ベッド上面の実空間内での範囲を設定してもよい。そして、前記行動検知部は、設定された前記ベッドの上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知してもよい。

当該構成によれば、基準点の位置とベッドの向きとを指定するだけでベッド上面の範囲を指定することができるため、簡易なセッティングによりベッド上面の範囲を設定することができる。また、上記構成によれば、ベッド上面の範囲が設定されるため、ベッドの端部付近又は外側で行われる所定行動の検知精度を高めることができる。なお、ベッドの端部付近又は外側で行われる見守り対象者の所定行動とは、例えば、端座位、柵越え、離床等である。ここで、端座位とは、見守り対象者がベッドの端に腰をかけている状態を指す。また、柵越えとは、見守り対象者がベッドの柵から身を乗り出している状態を指す。

また、上記一側面に係る情報処理装置の別の形態として、前記行動選択部は、ベッドの端部付近又は外側で行われる前記見守り対象者の所定行動を含む前記見守り対象者のベッドに関連する複数の行動から、前記見守り対象者について見守りの対象とする行動の選択を受け付けてもよい。また、前記設定部は、前記ベッドの基準面の高さとしてベッド上面の高さの指定を受け付けて、当該指定された高さを前記ベッド上面の高さに設定し、かつ、前記見守りの対象として選択された行動に前記所定行動が含まれている場合、前記ベッド上面の高さを設定した後に、更に、ベッド上面の範囲を規定する４つの角のうち２つの角の位置の指定を前記撮影画像内で受け付けて、指定された当該２つの角の位置に基づいて前記ベッド上面の実空間内での範囲を設定してもよい。そして、前記行動検知部は、設定された前記ベッドの上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知してもよい。当該構成によれば、ベッド上面の２つの角の位置を指定するだけでベッド上面の範囲を指定することができるため、簡易なセッティングによりベッド上面の範囲を設定することができる。また、当該構成によれば、ベッド上面の範囲が設定されるため、ベッドの端部付近又は外側で行われる所定行動の検知精度を高めることができる。

また、上記一側面に係る情報処理装置の別の形態として、前記設定部は、設定する前記ベッド上面の範囲に対して、前記見守りの対象として選択された前記所定行動を検知するために設定された前記所定の条件に基づいて特定される検知領域が前記撮影画内に写るか否かを判定し、前記見守りの対象として選択された前記所定行動の検知領域が前記撮影画像内に写らないと判定した場合に、前記見守りの対象として選択された前記所定行動の検知が正常に行えない可能性のあることを示す警告メッセージを出力してもよい。当該構成によれば、見守りの対象として選択した行動に対して、見守りシステムの設定の誤りを防止することができる。

また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備えてもよい。そして、前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域の写る対象の実空間内での位置を前記見守り対象者の位置として利用して、前記ベッド上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知してもよい。当該構成によれば、簡易な方法で見守り対象者の行動を検知することができるようになる。

また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、前記設定部による設定が所定時間内に完了しない場合に、前記設定部による設定が完了していないことを知らせるための通知を行う未完了通知部を更に備えてもよい。当該構成によれば、ベッドの位置に関する設定の途中で見守りシステムが放置されてしまうことを防止することが可能になる。

なお、上記各形態に係る情報処理装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。

例えば、本発明の一側面に係る情報処理方法は、コンピュータが、見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付けるステップと、前記見守りの対象として選択された行動に応じて、前記見守り対象者のベッドにおける行動を見守るための撮影装置の前記ベッドに対する配置位置の候補を表示装置に表示させるステップと、前記撮影装置によって撮影された撮影画像を取得するステップと、前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知するステップと、を実行する情報処理方法である。

また、例えば、本発明の一側面に係るプログラムは、コンピュータに、見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付けるステップと、前記見守りの対象として選択された行動に応じて、前記見守り対象者のベッドにおける行動を見守るための撮影装置の前記ベッドに対する配置位置の候補を表示装置に表示させるステップと、前記撮影装置によって撮影された撮影画像を取得するステップと、前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知するステップと、を実行させるためのプログラムである。

本発明によれば、見守りシステムのセッティングを容易に行うことが可能になる。

図１は、本発明が適用される場面の一例を示す。 図２は、各画素の深度に応じて当該各画素の濃淡値が定められた撮影画像の一例を示す。 図３は、実施の形態に係る情報処理装置のハードウェア構成を例示する。 図４は、実施の形態に係る深度を例示する。 図５は、実施の形態に係る機能構成を例示する。 図６は、本実施形態においてベッドの位置に関する設定を行う際の情報処理装置による処理手順を例示する。 図７は、検知対象とする行動の選択を受け付ける画面を例示する。 図８は、検知対象とする行動として離床が選択された場合に表示装置に表示されるカメラの配置位置の候補を例示する。 図９は、ベッド上面の高さの指定を受け付ける画面を例示する。 図１０は、撮影画像内の座標関係を例示する。 図１１は、撮影画像の任意の点（画素）とカメラとの実空間内での位置関係を例示する。 図１２は、撮影画像内において異なる表示形態で表示される領域を模式的に例示する。 図１３は、ベッド上面の範囲の指定を受け付ける画面を例示する。 図１４は、撮影画像上の指定点とベッド上面の基準点との位置関係を例示する。 図１５は、カメラと基準点との位置関係を例示する。 図１６は、カメラと基準点との位置関係を例示する。 図１７は、カメラ座標系とベッド座標系との間の関係を例示する。 図１８は、本実施形態において見守り対象者の行動を検知する際の情報処理装置による処理手順を例示する。 図１９は、実施の形態に係る情報処理装置が取得する撮影画像を例示する。 図２０は、撮影画像に含まれる深度情報に基づいて特定される撮影範囲の被写体の三次元分布を例示する。 図２１は、撮影画像から抽出される前景領域の三次元分布を例示する。 図２２は、本実施形態において起き上がりを検知するための検知領域を模式的に例示する。 図２３は、本実施形態において離床を検知するための検知領域を模式的に例示する。 図２４は、本実施形態において端座位を検知するための検知領域を模式的に例示する。 図２５は、領域の広がり具合と分散との関係を例示する。 図２６は、ベッド上面の範囲の指定を受け付ける画面の他の例を示す。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

§１ 適用場面例
まず、図１を用いて、本発明が適用される場面について説明する。図１は、本発明が適用される場面の一例を模式的に示す。本実施形態では、医療施設又は介護施設において、入院患者又は施設入居者が見守り対象者として行動を見守られる場面が想定されている。見守り対象者の見守りを行う者（以下、「利用者」とも称する）は、情報処理装置１とカメラ２とを含む見守りシステムを利用して、見守り対象者のベッドでの行動の見守りを行う。

本実施形態に係る見守りシステムは、カメラ２によって見守り対象者の行動を撮影することで、見守り対象者とベッドとが写る撮影画像３を取得する。そして、当該見守りシステムは、カメラ２により取得される撮影画像３を情報処理装置１で解析することで、見守り対象者の行動を検知する。

カメラ２は、本発明の撮影装置に相当し、見守り対象者のベッドにおける行動を見守るために設置される。本実施形態に係るカメラ２は、被写体の深度を測定する深度センサを含んでおり、撮影画像内の各画素に対応する深度を取得できる。そのため、このカメラ２によって取得される撮影画像３は、図１で例示されるように、画素毎に得られる深度を示す深度情報を含む。

この深度情報を含む撮影画像３は、撮影範囲内の被写体の深度を示すデータであってもよく、例えば、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、撮影画像３は、深度情報とともに、ＲＧＢ画像を含んでもよい。更に、撮影画像３は、動画像であってもよいし、静止画像であってもよい。

図２は、このような撮影画像３の一例を示す。図２で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。当該深度情報によれば、撮影範囲内の被写体の実空間（三次元空間）内での位置を特定することができる。

より詳細には、被写体の深度は、当該被写体の表面に対して取得される。そして、撮影画像３に含まれる深度情報を用いることで、カメラ２に写る被写体表面の実空間内での位置を特定することができる。本実施形態では、カメラ２により撮影された撮影画像３は情報処理装置１に送信される。そして、情報処理装置１は、取得した撮影画像３に基づいて、見守り対象者の行動を推定する。

本実施形態に係る情報処理装置１は、取得される撮影画像３に基づいて見守り対象者の行動を推定するために、当該撮影画像３の背景として設定されている背景画像と撮影画像３との差分を抽出することで、撮影画像３内の前景領域を特定する。特定される前景領域は、背景画像から変化の生じている領域であるため、見守り対象者の動作部位の存在する領域を含んでいる。そこで、情報処理装置１は、見守り対象者に関連する像として前景領域を利用して、見守り対象者の行動を検知する。

例えば、見守り対象者がベッド上で起き上がる場合には、図１で例示されるように、起き上がりに関する部位（図１では上半身）の写る領域が前景領域として抽出される。このように抽出される前景領域内の各画素の深度を参照することで、実空間内における見守り対象者の動作部位の位置を特定することが可能である。

見守り対象者のベッドにおける行動は、このように特定される動作部位とベッドとの位置関係に基づいて推定することが可能である。例えば、図１で例示されるように、見守り対象者の動作部位がベッド上面の上方で検知された場合には、見守り対象者はベッド上で起き上がりの動作を行っていると推定することができる。また、例えば、見守り対象者の動作部位がベッドの側部付近で検知された場合には、見守り対象者は端座位の状態になろうとしていると推定することができる。

そこで、本実施形態に係る情報処理装置１は、前景領域に写る対象とベッドとの実空間内での位置関係に基づいて、見守り対象者の行動を検知する。つまり、情報処理装置１は、前景領域内の各画素の深度に基づいて特定される前景領域に写る対象の実空間内での位置を見守り対象者の位置として利用する。そして、情報処理装置１は、実空間内において、見守り対象者の動作部位がベッドに対してどこに存在しているかに基づいて、見守り対象者の行動を検知する。そのため、本実施形態に係る情報処理装置１は、見守り環境が変化することでベッドに対するカメラ２の配置が変わると、見守り対象者の行動を適切に検知できなくなってしまう可能性がある。

これに対応するため、本実施形態に係る情報処理装置１は、見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付ける。そして、情報処理装置１は、見守りの対象として選択された行動に応じて、ベッドに対するカメラ２の配置位置の候補を表示装置に表示させる。

これにより、利用者は、表示装置に表示されるカメラ２の配置位置の候補に従ってカメラ２を配置すれば、見守り対象者の行動を適切に検知できる位置にカメラ２を配置することができるようになる。つまり、見守りシステムについての知識に乏しい利用者であっても、表示装置に表示されるカメラ２の配置位置の候補に従ってカメラ２を配置するだけで、見守りシステムを適切にセッティングできるようになる。そのため、本実施形態によれば、見守りシステムのセッティングを容易に行うことが可能になる。

なお、図１では、カメラ２は、ベッドの長手方向の前方に配置されている。すなわち、図１はカメラ２を横から見た場面を例示しており、図１の上下方向がベッドの高さ方向に相当する。また、図１の左右方向がベッドの長手方向に相当し、図１の紙面に垂直な方向がベッドの幅方向に相当する。ただし、カメラ２の配置可能な位置は、このような位置に限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。利用者は、表示装置に表示内容に従ってカメラ２を配置することで、このように適宜選択されたカメラ２の配置可能な位置のうち、見守りの対象として選択した行動を検知するのに適切な位置にカメラ２を配置することができるようになる。

また、本実施形態に係る情報処理装置１では、動作部位とベッドとの位置関係を把握できるように、実空間内のベッドの位置を特定するための、ベッドの基準面の設定が行われる。本実施形態では、このベッドの基準面として、ベッドの上面が採用されている。ベッド上面は、ベッドの垂直方向上側の面であり、例えば、ベッドマットレスの上面である。ベッドの基準面は、このようなベッド上面であってもよいし、その他の面であってもよい。ベッドの基準面は、実施の形態に応じて、適宜、決定されてもよい。また、ベッドの基準面は、ベッドに存在する物理的な面に限らず、仮想的な面であってもよい。

§２ 構成例
＜ハードウェア構成例＞
次に、図３を用いて、情報処理装置１のハードウェア構成を説明する。図３は、本実施形態に係る情報処理装置１のハードウェア構成を例示する。情報処理装置１は、図３に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。ただし、図３では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。

なお、情報処理装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。

情報処理装置１は、複数の外部インタフェース１５を備え、複数の外部装置と接続されてもよい。本実施形態では、情報処理装置１は、外部インタフェース１５を介してカメラ２と接続されている。本実施形態に係るカメラ２は、上述のとおり、深度センサを含んでいる。この深度センサの種類及び測定方式は、実施の形態に応じて適宜選択されてよい。

ただし、見守り対象者の見守りが行われる場所（例えば、医療施設の病室）は、見守り対象者のベッドが置かれる場所、換言すると、見守り対象者の就寝する場所である。そのため、見守り対象者の見守りが行われる場所は暗い場合が多い。そこで、撮影場所の明るさに影響されずに深度を取得するためには、赤外線の照射に基づいて深度を測定する深度センサが用いられるのが好ましい。なお、赤外線深度センサを含む比較的安価な撮影装置として、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、PrimeSense社のCARMINEを挙げることができる。

また、カメラ２は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。カメラ２は、撮影範囲内の被写体の深度を特定できれば、深度センサ単体に置き換わってもよいし、特に限定されなくてもよい。

ここで、図４を用いて、本実施形態に係る深度センサによって測定される深度を詳細に説明する。図４は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図４で例示されるように、被写体の深さは、例えば、カメラと対象物との直線の距離Ａで表現されてもよいし、カメラの被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。

また、情報処理装置１は、図３で例示されるように、外部インタフェース１５を介してナースコールに接続している。このように、情報処理装置１は、外部インタフェース１５を介してナースコール等の施設に設置された設備と接続されることで、見守り対象者に危険の迫る予兆があることを知らせるための通知を当該設備と連携して行ってもよい。

なお、プログラム５は、情報処理装置１に後述する動作に含まれる処理を実行させるプログラムであり、本発明の「プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図３は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

また、情報処理装置１として、例えば、提供されるサービス専用に設計された装置の他、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置が用いられてよい。また、情報処理装置１は、１又は複数のコンピュータにより実装されてもよい。

＜機能構成例＞
次に、図５を用いて、情報処理装置１の機能構成を説明する。図５は、本実施形態に係る情報処理装置１の機能構成を例示する。本実施形態に係る情報処理装置１が備える制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係る情報処理装置１は、画像取得部２１、前景抽出部２２、行動検知部２３、設定部２４、表示制御部２５、行動選択部２６、危険予兆通知部２７、及び未完了通知部２８を備えるコンピュータとして機能する。

画像取得部２１は、見守り対象者のベッドにおける行動を見守るために設置されるカメラ２によって撮影された撮影画像３であって、各画素の深度を示す深度情報を含む撮影画像３、を取得する。前景抽出部２２は、撮影画像３の背景として設定された背景画像と当該撮影画像３との差分から撮影画像３の前景領域を抽出する。行動検知部２３は、深度情報により示される前景領域内の各画素の深度に基づいて、前景領域に写る対象とベッドとの実空間内での位置関係が所定の条件を満たすか否かを判定する。そして、行動検知部２３は、当該判定の結果に基づいて、見守り対象者のベッドに関連する行動を検知する。

また、設定部２４は、利用者からの入力を受け付けて、見守り対象者の行動を検知する基準となるベッドの基準面に関する設定を行う。具体的には、設定部２４は、ベッドの基準面の高さの指定を受け付けて、指定された高さをベッドの基準面の高さに設定する。表示制御部２５は、タッチパネルディスプレイ１３による画像の表示を制御する。タッチパネルディスプレイ１３は本発明の表示装置に相当する。

表示制御部２５は、タッチパネルディスプレイ１３の画面表示を制御する。表示制御部２５は、例えば、後述する行動選択部２６により見守りの対象として選択された行動に応じて、ベッドに対するカメラ２の配置位置の候補をタッチパネルディスプレイ１３に表示させる。また、表示制御部２５は、例えば、ベッドの基準面の高さの指定を設定部２４が受け付ける際に、深度情報により示される撮影画像３内の各画素の深度に基づいて、利用者が指定している高さに位置する対象を写した領域を撮影画像３上で明示するようにして、取得した撮影画像３をタッチパネルディスプレイ１３に表示させる。

行動選択部２６は、見守り対象者のベッドに関連する複数の行動から、見守り対象者について見守りの対象とする、すなわち、上記行動検知部２３が検知対象とする行動の選択を受け付ける。本実施形態では、ベッドに関連する複数の行動として、ベッド上での起き上がり、ベッドでの端座位、ベッドの柵からの身の乗り出し（柵越え）、及びベッドからの離床を例示する。

なお、見守り対象者のベッドに関連する複数の行動には、ベッドの端部付近又は外側で行われる見守り対象者の所定行動が含まれていてもよい。本実施形態では、ベッドでの端座位、ベッドの柵からの身の乗り出し（柵越え）、及びベッドからの離床が本発明の「所定行動」に相当する。

更に、危険予兆通知部２７は、見守り対象者について検知した行動が見守り対象者に危険の迫る予兆を示す行動である場合に、当該予兆を知らせるための通知を行う。未完了通知部２８は、設定部２４によるベッドの基準面に関する設定が所定時間内に完了しない場合に、設定部２４による設定が完了していないことを知らせるための通知を行う。なお、これらの通知は、例えば、見守り対象者を見守る見守り者に行われる。見守り者は、例えば、看護師、施設職員等である。本実施形態では、これらの通知は、ナースコールを通じて行われてもよいし、スピーカ１４によって行われてもよい。

なお、各機能に関しては後述する動作例で詳細に説明する。ここで、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、情報処理装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。例えば、設定部２４、危険予兆通知部２７、及び未完了通知部２８は省略されてもよい。

§３ 動作例
［見守りシステムのセッティング］
まず、図６を用いて、見守りシステムのセッティングに関する処理について説明する。図６は、ベッドの位置に関する設定を行う際における情報処理装置１の処理手順を例示する。このベッドの位置に関する設定の処理は、いかなるタイミングで実行されてもよく、例えば、見守り対象者の見守りを開始する前、プログラム５を立ち上げたときに実行される。なお、以下で説明する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び、追加が可能である。

（ステップＳ１０１及びステップＳ１０２）
ステップＳ１０１では、制御部１１は、行動選択部２６として機能し、見守り対象者がベッドにおいて行う複数の行動から検知対象とする行動の選択を受け付ける。そして、ステップＳ１０２では、制御部１１は、表示制御部２５として機能し、検知対象として選択された１又は複数の行動に応じて、ベッドに対するカメラ２の配置位置の候補をタッチパネルディスプレイ１３に表示する。図７及び図８を用いて、これらの処理を説明する。

図７は、検知対象とする行動の選択を受け付ける際に、タッチパネルディスプレイ１３に表示される画面３０を例示する。制御部１１は、ステップＳ１０１において検知対象とする行動の選択を受けるため、タッチパネルディスプレイ１３に画面３０を表示する。画面３０は、本処理に係る設定の処理段階を示す領域３１、検知対象とする行動の選択を受け付ける領域３２、及びカメラ２の配置位置の候補を示す領域３３を含んでいる。

本実施形態に係る画面３０では、検知対象とする行動の候補として、４つの行動が例示されている。具体的には、ベッド上での起き上がり、ベッドからの離床、ベッドでの端座位、及びベッドの柵からの身の乗り出し（柵越え）が検知対象とする行動の候補として例示されている。以下では、ベッド上での起き上がりを単に「起き上がり」、ベッドからの離床を単に「離床」、ベッド上での端座位を単に「端座位」、ベッドの柵からの身の乗り出しを「柵越え」とも称する。領域３２には、それぞれの行動に対応する４つのボタン３２１〜３２４が設けられている。利用者は、ボタン３２１〜３２４を操作することで、検知対象とする行動を１又は複数選択する。

ボタン３２１〜３２４のいずれかが操作されて検知対象とする行動が選択されると、制御部１１は、表示制御部２５として機能し、選択されている１又は複数の行動に応じたカメラ２の配置位置の候補を示すように、領域３３に表示する内容を更新する。カメラ２の配置位置の候補は、その位置に配置されたカメラ２の撮影する撮影画像３により情報処理装置１が対象の行動を検知できるか否かに基づいて、予め特定されている。このようなカメラ２の配置位置の候補を示す理由は次のとおりである。

本実施形態に係る情報処理装置１は、カメラ２により取得される撮影画像３を解析することで、見守り対象者とベッドとの位置関係を推定して、見守り対象者の行動を検知する。そのため、対象の行動の検知に関連する領域が撮影画像３に写っていない場合には、情報処理装置１は、その対象の行動を検知することができない。よって、見守りシステムの利用者は、検知対象とする行動毎にカメラ２の配置に適する位置を把握していることが望まれる。

しかしながら、見守りシステムの利用者がこのような位置を全て把握しているとは限らないため、対象の行動の検知に関連する領域の写らない位置にカメラ２が誤って配置されてしまう可能性がある。対象の行動の検知に関連する領域の写らない位置にカメラ２が誤って配置されてしまうと、情報処理装置１はその対象の行動を検知することができず、見守りシステムによる見守りに不備が生じてしまう。

そこで、本実施形態では、検知対象とする行動毎にカメラ２の配置に適する位置を予め特定し、そのようなカメラ位置の候補に関する情報を情報処理装置１に保持させておく。そして、情報処理装置１は、選択されている１又は複数の行動に応じて、対象の行動の検知に関連する領域を撮影可能なカメラ２の配置位置の候補を表示して、カメラ２の配置位置を利用者に指示する。

これにより、本実施形態では、見守りシステムについて知識の乏しい利用者であっても、タッチパネルディスプレイ１３に表示されるカメラ２の配置位置の候補に従ってカメラ２を配置するだけで、見守りシステムのセッティングを行うことが可能である。また、このようにカメラ２の配置位置を指示することで、利用者によるカメラ２の配置の誤りを抑止し、見守り対象者の見守りに不備が生じてしまう可能性を低減することができる。すなわち、本実施形態に係る見守りシステムによれば、見守りシステムについて知識の乏しい利用者であっても、容易に、カメラ２を適切な位置に配置することが可能である。

また、本実施形態では、後述する各種設定により、カメラ２の配置の自由度が高くなり、見守りを行う各環境に見守りシステムを適応させることができる。しかしながら、カメラ２の配置の自由度が高い分、利用者がカメラ２を誤った位置に配置してしまう可能性は高くなる。これに対して、本実施形態では、カメラ２の配置位置の候補を表示して利用者にカメラ２の配置を促すため、利用者がカメラ２を誤った位置に配置してしまうことを防止することができる。すなわち、本実施形態のようなカメラ２の配置の自由度が高い見守りシステムでは、カメラ２の配置位置の候補を表示することでの、利用者がカメラ２を誤った位置に配置してしまうことを防止する効果を特に期待することができる。

なお、本実施形態では、カメラ２の配置位置の候補として、対象の行動の検知に関連する領域をカメラ２により撮影容易な位置、換言すると、カメラ２の設置に推奨される位置が○印で示されている。これに対して、対象の行動の検知に関連する領域をカメラ２により撮影困難な位置、換言すると、カメラ２の設置に推奨されない位置が×印で示される。図８を用いて、カメラ２の設定に推奨されない位置を説明する。

図８は、検知対象の行動として「離床」が選択された場合における領域３３の表示内容を例示する。ベッドからの離床は、ベッドから離れる行為である。つまり、ベッドからの離床は、見守り対象者がベッドの外側、特に、ベッドから離間した場所で行う動作である。そのため、ベッドの外側を撮影しにくい位置にカメラ２が配置されると、離床の検知に関連する領域が撮影画像３に写らない可能性が高くなってしまう。

ここで、ベッド近傍にカメラ２を配置すると、そのカメラ２により撮影される撮影画像３では、ベッドの写る像が大部分を占めてしまい、ベッドから離間した場所が殆ど写らない可能性が高い。そのため、図８により例示される画面では、ベッド下辺近傍の位置は、ベッドからの離床を検知する際のカメラ２の配置に推奨されない位置として、×印で示されている。

このように、本実施形態では、カメラ２の配置位置の候補に加えて、カメラ２の配置に推奨されない位置がタッチパネルディスプレイ１３に表示される。これにより、利用者は、カメラ２の配置に推奨されない位置に基づいて、各候補の示すカメラ２の配置位置を的確に把握できるようになる。そのため、本実施形態によれば、利用者がカメラ２の配置を誤る可能性を低減することができる。

なお、選択された検知対象の行動に応じたカメラ２の配置位置の候補及びカメラ２の配置に推奨されない位置を特定するための情報（以下、「配置情報」とも称する）は適宜取得される。制御部１１は、例えば、記憶部１２からこの配置情報を記憶部１２から取得してもよいし、ネットワークを介して他の情報処理装置から取得してもよい。配置情報では、選択された検知対象の行動に応じて、カメラ２の配置位置の候補及びカメラ２の配置に推奨されない位置が予め設定されており、制御部１１は、配置情報を参照することで、これらの位置を特定することができる。

また、この配置情報のデータ形式は、実施の形態に応じて、適宜、選択されてもよい。例えば、配置情報は、カメラ２の配置位置の候補及びカメラ２の配置に推奨されない位置を検知対象の行動毎に定めたテーブル形式のデータであってもよい。また、例えば、配置情報は、本実施形態のように、検知対象の行動を選択するための各ボタン３２１〜３２４の動作として設定されたデータであってもよい。すなわち、配置情報を保持する態様として、各ボタン３２１〜３２４を操作したときにカメラ２を配置する候補の位置に○印又は×印の表示がなされるように、各ボタン３２１〜３２４の動作が設定されていてもよい。

また、カメラ２の配置位置の候補及びカメラ２の設置に推奨されない位置それぞれを表現する方法は、図７及び図８で例示される○印及び×印による方法に限られなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、制御部１１は、図７及び図８で例示される表示内容に代えて、カメラ２を配置可能な位置のベッドからの具体的な距離をタッチパネルディスプレイ１３に表示してもよい。

更に、カメラ２の配置位置の候補及びカメラ２の設置に推奨されない位置として提示する位置の数は、実施の形態に応じて、適宜、設定されてもよい。例えば、制御部１１は、カメラ２の配置位置の候補として、複数の位置を提示してもよいし、単一の位置を提示してもよい。

このように、本実施形態では、ステップＳ１０１において、利用者により検知対象に所望する行動が選択されると、ステップ１０２において、選択された検知対象の行動に応じて、カメラ２の配置位置の候補が領域３３に示される。この領域３３の内容に従って、利用者はカメラ２を配置する。すなわち、利用者は、領域３３に示される配置位置の候補からいずれかの位置を選択して、適宜、選択した位置にカメラ２を配置する。

画面３０には、更に、検知対象の行動の選択とカメラ２の配置とが完了したことを受け付けるために、「次へ」ボタン３４が設けられている。本実施形態に係る制御部１１は、検知対象の行動の選択とカメラ２の配置とが完了したことを受け付ける方法の一例として、「次へ」ボタン３４を画面３０に設けることで、検知対象の行動の選択とカメラ２の配置とが完了したことを受け付ける。検知対象の行動の選択とカメラ２の配置とが完了した後に、利用者が「次へ」ボタン３４を操作すると、情報処理装置１の制御部１１は次のステップＳ１０３に処理を進める。

（ステップＳ１０３）
図６に戻り、ステップＳ１０３では、制御部１１は、設定部２４として機能し、ベッド上面の高さの指定を受け付ける。制御部１１は、指定された高さをベッド上面の高さに設定する。また、制御部１１は、画像取得部２１として機能しており、深度情報を含む撮影画像３をカメラ２から取得している。そして、制御部１１は、ベッド上面の高さの指定を受け付けている際に、表示制御部２５として機能し、指定されている高さに位置する対象を写した領域を撮影画像３上で明示するようにして、取得される撮影画像３をタッチパネルディスプレイ１３に表示させる。

図９は、ベッド上面の高さの指定を受け付ける際にタッチパネルディスプレイ１３に表示される画面４０を例示する。制御部１１は、ステップＳ１０３においてベッド上面の高さの指定を受け付けるため、タッチパネルディスプレイ１３に画面４０を表示する。画面４０は、カメラ２から得られる撮影画像３を描画する領域４１、ベッド上面の高さを指定するためのスクロールバー４２、及びカメラ２の向きをベッドに合わせる指示内容を描画する領域４６を含んでいる。

ステップＳ１０２において、利用者は、画面に表示される内容に従ってカメラ２を配置した。そこで、本ステップＳ１０３では、制御部１１は、表示制御部２５として機能し、カメラ２の向きをベッドに合わせる指示内容を領域４６に描画するとともに、カメラ２により得られる撮影画像３を領域４１に描画する。これによって、本実施形態では、利用者は、カメラ２の向きの調節を行うように指示される。

すなわち、本実施形態によれば、カメラ２の配置を指示した後に、カメラの向きの調節を利用者に指示することができる。そのため、利用者は、カメラ２の配置とカメラ２の向きの調節とを順番に応じて適切に行うことが可能になる。したがって、本実施形態によれば、見守りシステムについての知識に乏しい利用者であっても、見守りシステムのセッティングを容易に行うことができる。なお、この指示内容の表現は、図９で例示される表現に限定されなくてもよく、実施の形態に応じて、適宜、設定されてもよい。

利用者が、領域４６に描画される指示内容に従って、領域４１に描画される撮影画像３を確認しながら、カメラ２の撮影範囲にベッドが含まれるようにカメラ２をベッドの方に向けると、領域４１に描画される撮影画像３にはベッドが写るようになる。撮影画像３内にベッドが写るようになると、当該撮影画像３内において、指定の高さとベッド上面の高さとを比較することができるようになる。そのため、利用者は、カメラ２の向きを調節した後に、スクロールバー４２のノブ４３を操作して、ベッド上面の高さを指定する。

ここで、制御部１１は、ノブ４３の位置に基づいて指定されている高さに位置する対象を写した領域を撮影画像３上で明示する。これにより、本実施形態に係る情報処理装置１は、ノブ４３の位置に基づいて指定されている実空間上の高さを利用者に把握し易いようにする。この処理について、図１０〜１２を用いて説明する。

まず、図１０及び図１１を用いて、撮影画像３内の各画素に写る対象の高さと当該各画素の深度との関係を説明する。図１０は、撮影画像３内の座標関係を例示する。また、図１１は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を例示する。なお、図１０の左右方向は、図１１の紙面に垂直な方向に対応する。すなわち、図１１で表れている撮影画像３の長さは、図１０で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図１０で例示される横方向の長さ（Ｗピクセル）は、図１１で表れていない撮影画像３の紙面垂直方向の長さに対応する。

ここで、図１０で例示されるように、撮影画像３の任意の画素（点ｓ）の座標を（ｘ_s，ｙ_s）とし、カメラ２の横方向の画角をＶ_x、縦方向の画角をＶ_yとする。撮影画像３の横方向のピクセル数をＷとし、縦方向のピクセル数をＨとし、撮影画像３の中心点（画素）の座標を（０，０）とする。

また、図１１で例示されるように、カメラ２のピッチ角をαとする。カメラ２及び点ｓを結ぶ線分と実空間の垂直方向を示す線分との間の角度をβ_sとし、カメラ２及び点ｓを結ぶ線分とカメラ２の撮影方向を示す線分との間の角度をγ_sとする。更に、カメラ２と点ｓとを結ぶ線分の横方向からみた場合の長さをＬ_sとし、カメラ２と点ｓとの垂直方向の距離をｈ_sとする。なお、本実施形態では、この距離ｈ_sが、点ｓに写る対象の実空間上の高さに相当する。ただし、点ｓに写る対象の実空間上の高さを表現する方法は、このような例に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。

制御部１１は、このカメラ２の画角（Ｖ_x、Ｖ_y）及びピッチ角αを示す情報を、カメラ２から取得することができる。ただし、これらの情報を取得する方法は、このような方法に限定されなくてもよく、制御部１１は、これらの情報を、利用者からの入力を受け付けることで取得してもよし、予め設定されている設定値として取得してもよい。

また、制御部１１は、撮影画像３から、点ｓの座標（ｘ_s，ｙ_s）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、深度情報を参照することにより、点ｓの深度Ｄｓを取得することができる。制御部１１は、これらの情報を利用することで、点ｓの角度γ_s及びβ_sを算出することができる。具体的には、撮影画像３の縦方向における１ピクセルあたりの角度は、以下の数１で示される値に近似することができる。これにより、制御部１１は、以下の数２及び数３で示される関形式に基づいて、点ｓの角度γ_s及びβ_sを算出することができる。

そして、制御部１１は、算出したγ_s及び点ｓの深度Ｄｓを以下の数４の関係式に当てはめることによって、Ｌｓの値を求めることができる。また、制御部１１は、算出したＬｓ及びβｓを以下の数５の関形式に当てはめることによって、実空間上での点ｓの高さｈｓを算出することができる。

したがって、制御部１１は、深度情報により示される各画素の深度を参照することで、当該各画素に写る対象の実空間上の高さを特定することができる。つまり、制御部１１は、深度情報により示される各画素の深度を参照することで、ノブ４３の位置に基づいて指定されている高さに位置する対象を写した領域を特定することができる。

なお、制御部１１は、深度情報により示される各画素の深度を参照することで、当該各画素に写る対象の実空間上の高さｈ_sだけではなく、当該各画素に写る対象の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数６〜数８で示される関形式に基づいて、図１１に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓ_x，Ｓ_y，Ｓ_z，１）の各値を算出することができる。これにより、撮影画像３内の座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。

次に、図１２を用いて、ノブ４３の位置に基づいて指定されている高さと撮影画像３上で明示する領域との関係を説明する。図１２は、ノブ４３の位置に基づいて指定されている高さの面（以下、「指定面」とも称する）ＤＦとカメラ２の撮影範囲との関係を模式的に例示する。なお、図１２は、図１と同様に、カメラ２を横から見た場面を例示しており、図１２の上下方向は、ベッドの高さ方向に相当し、かつ、実空間上での垂直方向に相当する。

図１２で例示される指定面ＤＦの高さｈは、利用者がスクロールバー４２を操作することで指定される。具体的には、スクロールバー４２におけるノブ４３の位置が指定面ＤＦの高さｈと対応しており、制御部１１は、スクロールバー４２におけるノブ４３の位置に基づいて指定面ＤＦの高さｈを決定する。これにより、例えば、利用者は、ノブ４３を上方に移動させることで、実空間上で指定面ＤＦが上方に移動するように、高さｈの値を小さくすることができる。一方、利用者は、ノブ４３を下方に移動させることで、実空間上で指定面ＤＦが下方に移動するように、高さｈの値を大きくすることができる。

ここで、上述のとおり、制御部１１は、深度情報に基づいて、撮影画像３内の各画素に写る対象の高さを特定することができる。そこで、制御部１１は、このようなスクロールバー４２による高さｈの指定を受け付けている際に、撮影画像３内において、この指定の高さｈに位置する対象を写した領域、換言すると、指定面ＤＦの位置する対象を写した領域を特定する。そして、制御部１１は、表示制御部２５として機能し、領域４１に描画する撮影画像３上において、指定面ＤＦの位置する対象を写した領域に該当する部分を明示する。例えば、制御部１１は、図９に例示されるように、撮影画像３内の他の領域とは異なる表示形態で描画することにより、指定面ＤＦの位置する対象を写した領域に該当する部分を明示する。

対象の領域を明示する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、制御部１１は、他の領域とは異なる表示形態で対象の領域を描画することにより、対象の領域を明示してもよい。ここで、対象の領域に利用される表示形態は、その対象の領域を識別できる態様であればよく、色彩、色調等によって特定される。一例を挙げると、制御部１１は、白黒の濃淡画像である撮影画像３を領域４１に描画する。これに対して、制御部１１は、指定面ＤＦの高さに位置する対象の写る領域を赤色で描画することにより、この指定面ＤＦの高さに位置する対象の写る領域を撮影画像３上で明示してもよい。なお、撮影画像３内に指定面ＤＦが表れやすいようにするため、指定面ＤＦは、垂直方向に所定の幅（厚み）を有してもよい。

このように、本ステップＳ１０３では、本実施形態に係る情報処理装置１は、スクロールバー４２による高さｈの指定を受け付けている際に、高さｈに位置する対象を写した領域を撮影画像３上で明示する。利用者は、このように明示される指定面ＤＦの高さに位置する領域を参考に、ベッド上面の高さを設定する。具体的には、利用者は、指定面ＤＦがベッド上面となるようにノブ４３の位置を調節することで、ベッド上面の高さを設定する。すなわち、利用者は、指定の高さｈを撮影画像３上で視覚的に把握しながら、ベッド上面の高さの設定を行うことができる。これによって、本実施形態では、見守りシステムについての知識に乏しい利用者であっても、ベッド上面の高さの設定を容易に行うことができる。

また、本実施形態では、ベッドの上面が、ベッドの基準面に採用されている。見守り対象者のベッドにおける行動をカメラ２で撮影する場合、カメラ２により取得される撮影画像３に、ベッドの上面は写り込みやすい場所である。そのため、撮影画像３のベッドの写る領域のうちベッド上面の占める割合は高くなりやすく、そのようなベッド上面の写る領域に指定面ＤＦを合わせることは容易に行うことができる。したがって、本実施形態のようにベッドの基準面にベッド上面を採用することで、ベッドの基準面の設定を容易にすることができる。

なお、制御部１１は、表示制御部２５として機能し、スクロールバー４２による高さｈの指定を受け付けている際に、領域４１に描画する撮影画像３上において、指定面ＤＦからベッドの高さ方向上方に所定の範囲ＡＦに位置する対象を写した領域を明示してもよい。範囲ＡＦの領域は、例えば、図９で例示されるように、指定面ＤＦの領域を含む他の領域と異なる表示形態で描画されることにより、他の領域と区別可能なように明示される。

ここで、指定面ＤＦの領域の表示形態が本発明の「第１の表示形態」に相当し、範囲ＡＦの領域の表示形態が本発明の「第２の表示形態」に相当する。また、範囲ＡＦを定めるベッドの高さ方向の距離は本発明の「第１所定距離」に相当する。例えば、制御部１１は、白黒の濃淡画像である撮影画像３上において、範囲ＡＦに位置する対象の写る領域を青色で明示してもよい。

これによって、利用者は、指定面ＤＦの高さに位置する領域の他、指定面ＤＦの上側に所定の範囲ＡＦに位置する対象の領域を撮影画像３上で視覚的に把握できるようになる。そのため、撮影画像３に写る被写体の実空間上での状態を把握し易くなる。また、利用者は、指定面ＤＦをベッド上面に合わせる際の指標として範囲ＡＦの領域を利用することができるため、ベッド上面の高さの設定が容易になる。

なお、範囲ＡＦを定めるベッドの高さ方向の距離はベッドの柵の高さに設定されてもよい。このベッドの柵の高さは、予め設定されている設定値として取得されてもよいし、利用者からの入力値として取得されてもよい。このように範囲ＡＦが設定された場合、範囲ＡＦの領域は、指定面ＤＦがベッド上面に適切に設定されたときに、ベッドの柵の領域を示す領域となる。つまり、利用者は、範囲ＡＦの領域をベッドの柵の領域に合わせることで、指定面ＤＦをベッド上面に合わせることが可能になる。したがって、撮影画像３上において、ベッド上面を指定する際に指標として、ベッドの柵の写る領域を利用することが可能になるため、ベッド上面の高さの設定が容易になる。

また、後述するとおり、情報処理装置１は、指定面ＤＦにより設定されたベッド上面に対して前景領域の写る対象が実空間上で所定距離ｈｆ以上に高い位置に存在するか否かを判定することで、見守り対象者のベッド上での起き上がりを検知する。そこで、制御部１１は、表示制御部２５として機能し、スクロールバー４２による高さｈの指定を受け付けている際に、領域４１で描画する撮影画像３上で、指定面ＤＦからベッドの高さ方向上方に距離ｈｆ以上の高さに位置する対象を写した領域を明示してもよい。

この指定面ＤＦからベッドの高さ方向上方に距離ｈｆ以上の高さの領域は、図１２で例示されるように、ベッドの高さ方向に範囲（範囲ＡＳ）が限定されていてもよい。この範囲ＡＳの領域は、たとえば、指定面ＤＦ及び範囲ＡＦの領域を含む他の領域とは異なる表示形態で描画されることにより、他の領域と区別可能なように明示される。

ここで、範囲ＡＳの領域の表示形態が本発明の「第３の表示形態」に相当する。また、起き上がりの検知に関する距離ｈｆは、本発明の「第２所定距離」に相当する。例えば、制御部１１は、白黒の濃淡画像である撮影画像３上において、範囲ＡＳに位置する対象の写る領域を黄色で明示してもよい。

これによって、利用者は、起き上がりの検知に関する領域を撮影画像３上で視覚的に把握できるようになる。そのため、起き上がりの検知に適するようにベッド上面の高さの設定を行うことが可能になる。

なお、図１２では、距離ｈｆは、範囲ＡＦを定めるベッドの高さ方向の距離よりも長くなっている。しかしながら、距離ｈｆは、このような長さに限定されなくてもよく、範囲ＡＦを定めるベッドの高さ方向の距離と同じであってもよいし、この距離よりも短くてもよい。範囲ＡＦを定めるベッドの高さ方向の距離よりも距離ｈｆが短い場合、範囲ＡＦの領域と範囲ＡＳの領域とが重なる領域が生じる。この重なる領域の表示形態として、範囲ＡＦ及び範囲ＡＳのいずれかの表示形態が採用されてもよいし、範囲ＡＦ及び範囲ＡＳのいずれの表示形態とも異なる表示形態が採用されてもよい。

また、制御部１１は、表示制御部２５として機能し、スクロールバー４２による高さｈの指定を受け付けている際に、領域４１で描画する撮影画像３上で、指定面ＤＦよりも実空間内で下方に位置する対象を写した領域と下方に位置する対象を写した領域とを異なる表示態様で明示してもよい。このように指定面ＤＦの上側の領域と下側の領域とをそれぞれ異なる表示態様で描画することにより、指定面ＤＦの高さに位置する領域を視覚的に把握し易くすることができる。よって、指定面ＤＦの高さに位置する対象を写した領域を撮影画像３上で認識し易くすることができ、ベッド上面の高さの指定が容易になる。

図９に戻り、画面４０には、更に、設定のやり直しを受け付けるための「戻る」ボタン４４と、指定面ＤＦの設定が完了したことを受け付けるための「次へ」ボタン４５とが設けられている。利用者が「戻る」ボタン４４を操作すると、情報処理装置１の制御部１１は、ステップＳ１０１に処理を戻す。一方、利用者が「次へ」ボタン４５を操作すると、制御部１１は、指定するベッド上面の高さを確定する。すなわち、制御部１１は、そのボタン４５の操作のときに指定している指定面ＤＦの高さを記憶し、記憶した指定面ＤＦの高さをベッド上面の高さに設定する。そして、制御部１１は、次のステップＳ１０４に処理を進める。

（ステップＳ１０４）
図６に戻り、ステップＳ１０４では、制御部１１は、ステップＳ１０１において選択された検知対象の１又は複数の行動にベッド上での起き上がり以外の行動が含まれているか否かを判定する。ステップＳ１０１で選択された１又は複数の行動に起き上がり以外の行動が含まれている場合、制御部１１は、次のステップＳ１０５に処理を進めて、ベッド上面の範囲の設定を受け付ける。一方、ステップＳ１０１で選択された１又は複数の行動に起き上がり以外の行動が含まれていない場合、換言すると、ステップＳ１０１で選択された行動が起き上がりのみである場合、制御部１１は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。

上述のとおり、本実施形態において、見守りシステムにより検知する対象となる行動は、起き上がり、離床、端座位、及び柵越えである。これらの行動のうちの「起き上がり」は、ベッド上面の広い範囲で行われる可能性のある行動である。そのため、制御部１１は、ベッド上面の範囲が設定されていなくても、見守り対象者とベッドとのベッドの高さ方向の位置関係に基づいて、比較的に精度よく見守り対象者の「起き上がり」を検知することが可能である。

一方、「離床」、「端座位」、及び「柵越え」は、本発明の「ベッドの端部付近又は外側で行われる所定行動」に相当し、比較的に限られた範囲で行われる行動である。そのため、制御部１１がこれらの行動を精度よく検知するためには、見守り対象者とベッドとのベッドの高さ方向の位置関係だけではなく、見守り対象者とベッドとの水平方向の位置関係が特定できるように、ベッド上面の範囲が設定されていたほうがよい。すなわち、ステップＳ１０１において「離床」、「端座位」、及び「柵越え」のいずれかが検知対象の行動に選択されている場合には、ベッド上面の範囲が設定されていたほうがよい。

そこで、本実施形態では、制御部１１は、ステップＳ１０１で選択された１又は複数の行動に、このような「所定行動」が含まれるか否かを判定する。そして、ステップＳ１０１で選択された１又は複数の行動に「所定行動」が含まれている場合には、制御部１１は、次のステップＳ１０５に処理を進め、ベッド上面の範囲の設定を受け付ける。一方、ステップＳ１０１で選択された１又は複数の行動に「所定行動」が含まれていない場合には、制御部１１は、ベッド上面の範囲の設定を省略し、本動作例に係るベッドの位置に関する設定を終了する。

すなわち、本実施形態に係る情報処理装置１は、全ての場合にベッド上面の範囲の設定を受け付けるのではなく、ベッド上面の範囲の設定が推奨される場合にのみにベッド上面の範囲の設定を受け付ける。これにより、一部の場合において、ベッド上面の範囲の設定を省略することができ、ベッドの位置に関する設定を簡略化することができる。また、ベッド上面の範囲の設定が推奨される場合には、ベッド上面の範囲の設定を受け付けるようにすることができる。そのため、見守りシステムについての知識に乏しい利用者であっても、検知対象に選択する行動に応じて、ベッドの位置に関する設定項目を適切に選択できるようになる。

具体的には、本実施形態では、「起き上がり」のみが検知対象の行動に選択されている場合に、ベッド上面の範囲の設定が省略される。一方で、「離床」、「端座位」、及び「柵越え」のうちの少なくともいずれかの行動が検知対象の行動に選択されている場合には、ベッド上面の範囲の設定（ステップＳ１０５）が受け付けられる。

なお、上述の「所定行動」に含まれる行動は、実施の形態に応じて、適宜、選択されてもよい。例えば、ベッド上面の範囲を設定することで「起き上がり」の検知精度を高められる可能性がある。そのため、「起き上がり」が、本発明の「所定行動」に含まれてもよい。また、例えば、「離床」、「端座位」、及び「柵越え」は、ベッド上面の範囲が設定されていなくても、精度よく検知できる可能性がある。そのため、「離床」、「端座位」、及び「柵越え」のいずれかの行動が「所定行動」から除外されてもよい。

（ステップＳ１０５）
ステップＳ１０５では、制御部１１は、設定部２４として機能し、ベッドの基準点の位置及びベッドの向きの指定を受け付ける。そして、制御部１１は、指定された基準点の位置及びベッドの向きに基づいて、ベッド上面の実空間内での範囲を設定する。

図１３は、ベッド上面の範囲の設定を受け付ける際にタッチパネルディスプレイ１３に表示される画面５０を例示する。制御部１１は、ステップＳ１０５においてベッド上面の範囲の指定を受け付けるために、タッチパネルディスプレイ１３に画面５０を表示する。画面５０は、カメラ２から得られる撮影画像３を描画する領域５１、基準点を指定するためのマーカー５２、及びベッドの向きを指定するためのスクロールバー５３を含んでいる。

本ステップＳ１０５では、利用者は、領域５１に描画される撮影画像３上でマーカー５２を操作することで、ベッド上面の基準点の位置を指定する。また、利用者は、スクロールバー５３のノブ５４を操作して、ベッドの向きを指定する。制御部１１は、このように指定される基準点の位置及びベッドの向きに基づいて、ベッド上面の範囲を特定する。図１４〜図１７を用いて、これらの処理を説明する。

まず、図１４を用いて、マーカー５２により指定される基準点ｐの位置について説明する。図１４は、撮影画像３上の指定点ｐ_sとベッド上面の基準点ｐとの位置関係を例示する。指定点ｐ_sは、マーカー５２の撮影画像３上の位置を示す。また、図１４で例示される指定面ＤＦは、ステップＳ１０３において設定したベッド上面の高さｈに位置する面を示す。この場合、制御部１１は、マーカー５２により指定される基準点ｐを、カメラ２及び指定点ｐ_sを結ぶ直線と指定面ＤＦとの交点として特定することができる。

ここで、指定点ｐ_sの撮影画像３上の座標を（ｘ_p，ｙ_p）とする。また、カメラ２及び指定点ｐ_sを結ぶ線分と実空間の垂直方向を示す線分との間の角度をβ_pとし、カメラ２及び指定点ｐ_sを結ぶ線分とカメラ２の撮影方向を示す線分との間の角度をγ_pとする。更に、カメラ２と基準点ｐとを結ぶ線分の横方向からみた場合の長さをＬ_pとし、カメラ２から基準点ｐまでの深度をＤ_pとする。

このとき、制御部１１は、ステップＳ１０３と同様に、カメラ２の画角（Ｖ_x、Ｖ_y）及びピッチ角αを示す情報を取得することができる。また、制御部１１は、指定点ｐ_sの撮影画像３上の座標（ｘ_p，ｙ_p）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、ステップＳ１０３で設定した高さｈを示す情報を取得することができる。制御部１１は、ステップＳ１０３と同様に、これらの値を以下の数９〜数１１で示される関係式に適用することで、カメラ２から基準点ｐまでの深度Ｄ_pを算出することができる。

そして、制御部１１は、算出した深度Ｄ_pを以下の数１２〜数１４で示される関係式に適用することによって、基準点ｐのカメラ座標系での座標Ｐ（Ｐ_x，Ｐ_y，Ｐ_z，１）を求めることができる。これにより、制御部１１は、マーカー５２により指定される基準点ｐの実空間上の位置を特定することが可能になる。

なお、図１４は、指定点ｐ_sに写る対象がステップＳ１０３で設定したベッド上面よりも高い位置に存在する場合における、撮影画像３上の指定点ｐ_sとベッド上面の基準点ｐとの位置関係を例示する。指定点ｐ_sに写る対象がステップＳ１０３で設定したベッド上面の高さに位置する場合には、指定点ｐ_sと基準点ｐとは実空間上で同じ位置になる。

次に、図１５〜及び図１６を用いて、スクロールバー５３により指定されるベッドの向きθと基準点ｐとに基づいて特定されるベッド上面の範囲について説明する。図１５は、カメラ２を横から見た場合におけるカメラ２と基準点ｐとの位置関係を例示する。また、図１６は、カメラ２を上方から見た場合におけるカメラ２と基準点ｐとの位置関係を例示する。

ベッド上面の基準点ｐは、ベッド上面の範囲を特定する基準となる点であり、ベッド上面の所定の位置に対応するように設定される。基準点ｐを対応させるこの所定の位置は、特に限定されなくてもよく、実施の形態に応じて、適宜、設定されてもよい。本実施形態では、基準点ｐは、ベッド上面の中央に対応するように設定されている。

これに対して、本実施形態に係るベッドの向きθは、図１６で例示されるように、カメラ２の撮影方向に対するベッドの長手方向の傾きで表され、スクロールバー５３におけるノブ５４の位置に基づいて指定される。図１６で例示されるベクトルＺはベッドの向きを示している。画面５０においてスクロールバー５３のノブ５４を利用者が左方向に移動させると、ベクトルＺは基準点ｐを中心に右回りに回転する、換言すると、ベッドの向きθの値が大きくなる方向に変化する。一方、スクロールバー５３のノブ５４を利用者が右方向に移動させると、ベクトルＺは基準点ｐを中心に左回りに回転する、換言すると、ベッドの向きθの値が小さくなる方向に変化する。

つまり、基準点ｐはベッド中央の位置を示し、ベッドの向きθは、ベッド中央を軸とした水平方向の回転度合を示す。そのため、ベッドの基準点ｐの位置及び向きθが指定されると、制御部１１は、指定された基準点ｐの位置及びベッドの向きθに基づいて、図１６で例示されるように、仮想的なベッド上面の範囲を示す枠ＦＤの実空間上の位置及び向きを特定することができる。

なお、ベッドの枠ＦＤの大きさは、ベッドのサイズに対応して設定される。ベッドのサイズは、例えば、ベッドの高さ（垂直方向の長さ）、横幅（短手方向の長さ）、及び縦幅（長手方向の長さ）で規定される。ベッドの横幅は、ヘッドボード及びフットボードの長さに対応する。また、ベッドの縦幅は、サイドフレームの長さに対応する。ベッドのサイズは、見守り環境に応じて予め定められている場合が多い。制御部１１は、このようなベッドのサイズを、予め設定された設定値として取得してもよく、利用者による入力値として取得してもよく、予め設定された複数の設定値から選択されることで取得してもよい。

仮想的なベッドの枠ＦＤは、指定している基準点ｐの位置及びベッドの向きθに基づいて設定されるベッド上面の範囲を示す。そこで、制御部１１は、表示制御部２５として機能し、指定された基準点ｐの位置及びベッドの向きθに基づいて特定される枠ＦＤを撮影画像３内で描画してもよい。これにより、利用者は、撮影画像３内に描画される仮想的なベッドの枠ＦＤで確認しながら、ベッド上面の範囲を設定できるようになる。そのため、ベッド上面の範囲の設定を利用者が誤ってしまう可能性を低減することができる。なお、この仮想的なベッドの枠ＦＤは、仮想的なベッドの柵を含んでもよい。これにより、更に、仮想的なベッドの枠ＦＤを利用者に把握し易いようにすることができる。

したがって、本実施形態では、利用者は、撮影画像３に写るベッド上面の中央にマーカー５２を合わせることで、基準点ｐを適切な位置に設定することができる。また、利用者は、撮影画像３に写るベッド上面の外周に仮想的なベッドの枠ＦＤが重なるようにノブ５４の位置を定めることで、ベッドの向きθを適切に設定することができる。なお、仮想的なベッドの枠ＦＤを撮影画像３内に描画する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、以下で説明する射影変換を利用する方法が用いられてもよい。

ここで、ベッドの枠ＦＤの位置及び後述する検知領域の位置を把握し易くするため、制御部１１は、ベッドを基準とするベッド座標系を利用してもよい。ベッド座標系は、例えば、ベッド上面の基準点ｐを原点とし、ベッドの幅方向をｘ軸、ベッドの高さ方向をｙ軸、及びベッドの長手方向をｚ軸とする座標系である。このような座標系では、制御部１１は、ベッドのサイズに基づいて、ベッドの枠ＦＤの位置を特定することが可能である。以下では、カメラ座標系の座標をこのベッド座標系の座標に変換する射影変換行列Ｍを算出する方法を説明する。

まず、水平方向を向いたカメラの撮影方向を角度α分ピッチさせる回転行列Ｒは、以下の数１５で表現される。制御部１１は、以下の数１６及び数１７で示される関係式にこの回転行列Ｒを適用することで、図１５で例示される、カメラ座標系でのベッドの向きを示すベクトルＺ、及びカメラ座標系でのベッドの高さ方向上方を示すベクトルＵをそれぞれ求めることができる。なお、数１６及び数１７で示される関係式に含まれる「＊」は行列の掛け算を意味する。

次に、ベクトルＵ及びＺを以下の数１８で示される関係式に適用することで、図１６で例示される、ベッドの幅方向に沿うベッド座標系の単位ベクトルＸを求めることができる。また、制御部１１は、ベクトルＺ及びＸを以下の数１９で示される関係式に適用することで、ベッドの高さ方向に沿うベッド座標系の単位ベクトルＹを求めることができる。そして、制御部１１は、カメラ座標系における基準点ｐの座標Ｐ、ベクトルＸ、Ｙ及びＺを以下の数２０で示される関係式に適用することで、カメラ座標系の座標をベッド座標系の座標に変換する射影変換行列Ｍを求めることができる。なお、数１８及び数１９で示される関係式に含まれる「×」はベクトルの外積を意味する。

図１７は、本実施形態に係るカメラ座標系とベッド座標系との間の関係を例示する。図１７に例示されるように、算出される射影変換行列Ｍは、カメラ座標系の座標をベッド座標系の座標に変換することができる。したがって、射影変換行列Ｍの逆行列を利用すれば、ベッド座標系の座標をカメラ座標系の座標に変換することができる。つまり、射影変換行列Ｍを利用することで、カメラ座標系の座標とベッド座標系の座標とは相互に変換可能になる。ここで、上述のとおり、カメラ座標系の座標と撮影画像３内の座標とは相互に変換可能である。そのため、この時点で、ベッド座標系の座標と撮影画像３内の座標とは相互に変換することができる。

ここで、上述のとおり、ベッドのサイズが特定されている場合、制御部１１は、ベッド座標系において、仮想的なベッドの枠ＦＤの位置を特定することができる。つまり、制御部１１は、ベッド座標系において、仮想的なベッドの枠ＦＤの座標を特定することができる。そこで、制御部１１は、射影変換行列Ｍを利用して、ベッド座標系における枠ＦＤの座標をカメラ座標系における枠ＦＤの座標に逆変換する。

また、カメラ座標系の座標と撮影画像内の座標との間の関係は、上記数６〜８で示される関係式によって表現される。そのため、制御部１１は、上記数６〜８で示される関係式に基づいて、カメラ座標系における枠ＦＤの座標から撮影画像３内に描画する枠ＦＤの位置を特定することができる。つまり、制御部１１は、射影変換行列Ｍとベッドのサイズを示す情報とに基づいて、仮想的なベッドの枠ＦＤの位置を各座標系で特定することができる。このようにして、制御部１１は、図１３に例示されるように、仮想的なベッドの枠ＦＤを撮影画像３内に描画してもよい。

図１３に戻り、画面５０には、更に、設定のやり直しを受け付けるための「戻る」ボタン５５と、設定を完了し見守りを開始するための「スタート」ボタン５６とが設けられている。利用者が「戻る」ボタン５５を操作すると、制御部１１は、ステップＳ１０３に処理を戻す。

一方、利用者が「スタート」ボタン５６を操作すると、制御部１１は、基準点ｐの位置及びベッドの向きθを確定する。すなわち、制御部１１は、そのボタン５６を操作したときに指定されている基準点ｐの位置及びベッドの向きθに基づいて特定されるベッドの枠ＦＤの範囲をベッド上面の範囲に設定する。そして、制御部１１は、次のステップＳ１０６に処理を進める。

このように、本実施形態では、基準点ｐの位置とベッドの向きθとを指定することで、ベッド上面の範囲を設定することができる。例えば、図１３で例示されるように、撮影画像３には、ベッド全体が含まれるとは限らない。そのため、ベッド上面の範囲を設定するために、例えば、ベッドの四角を指定しなければならないようなシステムでは、ベッド上面の範囲を設定できない可能性がある。しかしながら、本実施形態では、ベッド上面の範囲を設定するために位置を指定する点は１点（基準点ｐ）で済む。これによって、本実施形態では、カメラ２の設置位置の自由度を高めることができ、かつ、見守りシステムを見守り環境に適用しやすくすることができる。

また、本実施形態では、基準点ｐを対応させる所定の位置としてベッド上面の中央が採用されている。ベッド上面の中央は、ベッドをどの方向から撮影しても、撮影画像３に写りやすい場所である。そのため、基準点ｐを対応させる所定の位置としてベッド上面の中央を採用することで、カメラ２の設置位置の自由度を更に高めることができる。

ただし、カメラ２の設置位置の自由度が高まると、カメラ２を配置する選択幅が広がってしまい、利用者にとって却ってカメラ２の配置が困難になる可能性がある。これに対して、本実施形態は、上述のとおり、カメラ２の配置位置の候補をタッチパネルディスプレイ１３に表示しつつ、利用者にカメラ２の配置を指示することによって、カメラ２の配置を容易にし、このような問題を解決している。

なお、ベッド上面の範囲を記憶する方法は、実施の形態に応じて、適宜、設定されてもよい。上記のとおり、カメラ座標系からベッド座標系に変換する射影変換行列Ｍとベッドのサイズを示す情報とによって、制御部１１は、ベッドの枠ＦＤの位置を特定することができる。そのため、情報処理装置１は、ステップＳ１０５で設定したベッド上面の範囲を示す情報として、ボタン５６を操作したときに指定されている基準点ｐの位置及びベッドの向きθに基づいて算出される射影変換行列Ｍとベッドのサイズを示す情報とを記憶してもよい。

（ステップＳ１０６〜ステップＳ１０８）
ステップＳ１０６では、制御部１１は、設定部２４として機能し、ステップＳ１０１で選択された「所定行動」の検知領域が撮影画像３内に写るか否かを判定する。そして、ステップＳ１０１で選択された「所定行動」の検知領域が撮影画像３内に写らないと判定した場合には、制御部１１は、次のステップＳ１０７に処理を進める。一方、ステップＳ１０１で選択された「所定行動」の検知領域が撮影画像３内に写ると判定した場合には、制御部１１は、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。

ステップＳ１０７では、制御部１１は、設定部２４として機能し、ステップＳ１０１で選択された「所定行動」の検知が正常に行えない可能性のあることを示す警告メッセージをタッチパネルディスプレイ１３等に出力する。警告メッセージには、検知が正常に行えない可能性のある「所定行動」及び撮影画像３内に写っていない検知領域の場所を示す情報が含まれてもよい。

そして、制御部１１は、この警告メッセージと共に又は後に、見守り対象者の見守りを行う前に再設定を行うか否かの選択を受け付け、次のステップＳ１０８に処理を進める。ステップＳ１０８では、制御部１１は、利用者に選択に基づいて再設定を行うか否かを判定する。利用者が再設定を行うことを選択した場合には、制御部１１は、ステップＳ１０５に処理を戻す。一方、利用者が再設定を行わないことを選択した場合には、本動作例に係るベッドの位置に関する設定を終了し、後述する行動検知に係る処理を開始する。

なお、「所定行動」の検知領域は、後述するとおり、「所定行動」を検知するための所定の条件とステップＳ１０５で設定されたベッド上面の範囲とに基づいて特定される領域である。すなわち、この「所定行動」の検知領域は、見守り対象者が「所定行動」を行った場合に現れる前景領域の位置を規定する領域である。そのため、制御部１１は、前景領域に写る対象がこの検知領域に含まれるか否かを判定することで、見守り対象者の各行動を検知することができる。

そのため、検知領域が撮影画像３内に写らない場合には、本実施形態に係る見守りシステムは、見守り対象者の対象の行動を適切に検知できない可能性がある。そこで、本実施形態に係る情報処理装置１は、ステップＳ１０６により、このような見守り対象者の対象の行動を適切に検知できない可能性があるか否かを判定する。そして、情報処理装置１は、そのような可能性がある場合には、ステップＳ１０７により、警告メッセージを出力することで、対象の行動を適切に検知できない可能性があることを利用者に知らせることができる。そのため、本実施形態では、見守りシステムの設定を誤ってしまう可能性を低減することができる。

なお、検知領域が撮影画像３内に写るか否かを判定する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、制御部は、検知領域の所定の点が撮影画像３内に写るか否かを判定することで、検知領域が撮影画像３内に写るか否かを特定してもよい。

（その他）
なお、制御部１１は、未完了通知部２８として機能し、ステップＳ１０１の処理を開始してから所定時間内に本動作例に係るベッドの位置に関する設定が完了しない場合、ベッドの位置に関する設定が完了していないことを知らせるための通知を行ってもよい。これにより、ベッドの位置に関する設定の途中で見守りシステムが放置されてしまうことを防止することができる。

ここで、ベッドの位置に関する設定が未完了であることを通知する目安となる所定時間は、設定値として予め定められていてもよいし、利用者による入力値により定められてもよいし、複数の設定値から選択されることで定められてもよい。また、このような設定が未完了であることを知らせるための通知を行う方法は、実施の形態に応じて、適宜、設定されてもよい。

例えば、制御部１１は、情報処理装置１に接続されるナースコール等の施設に設置された設備と連携して、この設定未完了の通知を行ってもよい。例えば、制御部１１は、外部インタフェース１５を介して接続されたナースコールを制御して、ベッドの位置に関する設定が未完了であることを知らせるための通知として、当該ナースコールによる呼び出しを行ってもよい。これにより、見守りシステムの設定が未完了であることを見守り対象者の行動を見守る者に適切に知らせることが可能になる。

また、例えば、制御部１１は、情報処理装置１に接続されるスピーカ１４から音声を出力することにより、設定未完了の通知を行ってもよい。このスピーカ１４がベッドの周辺に配置されている場合、このような通知をスピーカ１４で行うことにより、見守りを行う場所周辺に居る者に、見守りシステムの設定が未完了であることを知らせることが可能になる。この見守りを行う場所周辺に居る者には、見守り対象者が含まれてもよい。これにより、見守りシステムの設定が未完了であることを見守り対象者自身にも通知することが可能になる。

また、例えば、制御部１１は、タッチパネルディスプレイ１３上に、設定が未完了であることを知らせるための画面を表示させてもよい。また、例えば、制御部１１は、電子メールを利用して、このような通知を行ってもよい。この場合、例えば、通知先となるユーザ端末の電子メールアドレスは記憶部１２に予め登録されており、制御部１１は、この予め登録されている電子メールアドレスを利用して、設定が未完了であることを知らせるための通知を行う。

［見守り対象者の行動検知］
次に、図１８を用いて、情報処理装置１による見守り対象者の行動検知の処理手順を説明する。図１８は、情報処理装置１による見守り対象者の行動検知の処理手順を例示する。この行動検知に関する処理手順は一例に過ぎず、各処理は、可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ２０１）
ステップＳ２０１では、制御部１１は、画像取得部２１として機能し、見守り対象者のベッドにおける行動を見守るために設置されるカメラ２によって撮影された撮影画像３を取得する。本実施形態では、カメラ２が深度センサを有するため、取得される撮影画像３には、各画素の深度を示す深度情報が含まれている。

ここで、図１９及び図２０を用いて、制御部１１が取得する撮影画像３について説明する。図１９は、制御部１１により取得される撮影画像３を例示する。図１９で例示される撮影画像３の各画素の濃淡値は、図２と同様、当該各画素の深度に応じて定められている。すなわち、各画素の濃淡値（画素値）は、当該各画素に写る対象の深度に対応している。

制御部１１は、上記のとおり、当該深度情報を基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の位置（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。例えば、図１９で例示される撮影画像３に写る被写体の実空間での状態は、次の図２０で例示される。

図２０は、撮影画像３に含まれる深度情報に基づいて特定される撮影範囲内の被写体の位置の三次元分布を例示する。撮影画像３内の位置と深度とで各画素を三次元空間内にプロットすることで、図２０で例示される三次元分布を作成することができる。つまり、制御部１１は、図２０で例示される三次元分布のように、撮影画像３内に写る被写体の実空間内での状態を認識することができる。

なお、本実施形態に係る情報処理装置１は、医療施設又は介護施設において、入院患者又は施設入居者を見守るために利用される。そこで、制御部１１は、リアルタイムに入院患者又は施設入居者の行動を見守ることができるように、カメラ２のビデオ信号に同期させて撮影画像３を取得してもよい。そして、制御部１１は、後述するステップＳ２０２〜Ｓ２０５までの処理を取得した撮影画像３に対して即座に実行してもよい。情報処理装置１は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、リアルタイムに入院患者又は施設入居者の行動を見守ることを可能にする。

（ステップＳ２０２）
図１８に戻り、ステップＳ２０２では、制御部１１は、前景抽出部２２として機能し、ステップＳ２０１で取得した撮影画像３の背景として設定された背景画像と撮影画像３との差分から、当該撮影画像３の前景領域を抽出する。ここで、背景画像は、前景領域を抽出するために利用されるデータであり、背景となる対象の深度を含んで設定される。背景画像を作成する方法は、実施の形態に応じて、適宜、設定されてよい。例えば、制御部１１は、見守り対象者の見守りを開始したときに得られる数フレーム分の撮影画像の平均を算出することで、背景画像を作成してもよい。このとき、深度情報も含んで撮影画像の平均が算出されることで、深度情報を含む背景画像が作成される。

図２１は、図１９及び図２０で例示した被写体のうち撮影画像３から抽出される前景領域の三次元分布を例示する。具体的には、図２１は、見守り対象者がベッド上で起き上がった際に抽出される前景領域の三次元分布を例示している。上記のような背景画像を利用して抽出される前景領域は、背景画像で示される実空間内の状態から変化した位置に現れる。そのため、見守り対象者がベッド上で動いた場合、見守り対象者の動作部位の写る領域は、この前景領域として抽出される。例えば、図２１では、見守り対象者がベッド上で上半身を起こす（起き上がり）動作を行っているため、見守り対象者の上半身の写る領域が前景領域として抽出されている。制御部１１は、このような前景領域を用いて、見守り対象者の動作を判定する。

なお、本ステップＳ２０２において、制御部１１が前景領域を抽出する方法は、以上のような方法に限定されなくてもよく、例えば、背景差分法を用いて背景と前景とを分離してもよい。背景差分法として、例えば、上記のような背景画像と入力画像（撮影画像３）との差分から背景と前景とを分離する方法、異なる３枚の画像を用いて背景と前景とを分離する方法、及び統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。前景領域を抽出する方法は、特に限定されなくてよく、実施の形態に応じて、適宜、選択されてよい。

（ステップＳ２０３）
図１８に戻り、ステップＳ２０３では、制御部１１は、行動検知部２３として機能し、ステップＳ２０２で抽出した前景領域内の画素の深度に基づいて、前景領域に写る対象とベッド上面との位置関係が所定の条件を満たすか否かを判定する。そして、制御部１１は、その判定結果に基づいて、見守りの対象として選択された行動のうち、見守り対象者の行っている行動を検知する。

ここで、「起き上がり」のみが検知対象の行動に選択されている場合、上記ベッドの位置に関する設定処理では、ベッド上面の範囲の設定は省略され、ベッド上面の高さのみが設定される。そこで、制御部１１は、設定されたベッド上面に対して前景領域に写る対象が実空間内で所定距離以上に高い位置に存在するか否かを判定することで、見守り対象者の起き上がりを検知する。

一方、「離床」、「端座位」及び「柵越え」のうちの少なくともいずれかが検知対象の行動に選択されている場合、見守り対象者の行動を検知する基準として、ベッド上面の実空間内での範囲が設定される。そこで、制御部１１は、設定されたベッド上面と前景領域に写る対象との実空間内での位置関係が所定の条件を満たすか否かを判定することで、見守りの対象に選択された行動を検知する。

すなわち、制御部１１は、いずれの場合であっても、前景領域に写る対象とベッド上面との実空間内での位置関係に基づいて、見守り対象者の行動を検知している。そのため、見守り対象者の行動を検知するための所定の条件は、ベッド上面を基準として設定される所定の領域に前景領域に写る対象が含まれるか否かを判定するための条件に相当しうる。この所定領域は、上述の検知領域に相当する。そこで、以下では、説明の便宜のため、この検知領域と前景領域との関係に基づいて、見守り対象者の行動を検知する方法を説明する。

ただし、見守り対象者の行動を検知する方法は、この検知領域に基づく方法に限られなくてもよく、実施の形態に応じて、適宜、設定されてもよい。また、前景領域に写る対象が検知領域に含まれるか否かを判定する方法は、実施の形態に応じて、適宜、設定されてもよい。例えば、閾値以上の画素数分の前景領域が検知領域に現れるか否かを評価することで、前景領域に写る対象が検知領域に含まれるか否かを判定してもよい。本実施形態では、検知対象の行動として、「起き上がり」、「離床」、「端座位」及び「柵越え」が例示されている。制御部１１は、次のようにしてこれらの行動を検知する。

（１）起き上がり
本実施形態では、ステップＳ１０１において「起き上がり」が検知対象の行動に選択された場合に、見守り対象者の「起き上がり」が本ステップＳ２０３の判定対象となる。起き上がりの検知には、ステップＳ１０３で設定されたベッド上面の高さが用いられる。ステップＳ１０３におけるベッド上面の高さの設定が完了すると、制御部１１は、設定されたベッド上面の高さに基づいて、起き上がりを検知するための検知領域を特定する。

図２２は、起き上がりを検知するための検知領域ＤＡを模式的に例示する。検知領域ＤＡは、例えば、図２２で例示されるように、ステップＳ１０３で指定される指定面（ベッド上面）ＤＦからベッドの高さ方向上方に距離ｈｆ以上高い位置に設定される。この距離ｈｆは、本発明の「第２所定距離」に相当する。検知領域ＤＡの範囲は、特に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象が検知領域ＤＡに含まれると判定した場合に、見守り対象者のベッド上での起き上がりを検知してもよい。

（２）離床
ステップＳ１０１において「離床」が検知対象の行動に選択された場合に、見守り対象者の「離床」が本ステップＳ２０３の判定対象となる。離床の検知には、ステップＳ１０５で設定されたベッド上面の範囲が用いられる。ステップＳ１０５におけるベッド上面の範囲の設定が完了すると、制御部１１は、設定されたベッド上面の範囲に基づいて、離床を検知するための検知領域を特定することができる。

図２３は、離床を検知するための検知領域ＤＢを模式的に例示する。見守り対象者がベッドから離床した場合、ベッドのサイドフレームから離れた位置に前景領域が現れると想定される。そこで、検知領域ＤＢは、図２３で例示されるように、ステップＳ１０５で特定されたベッド上面の範囲に基づいて、ベッドのサイドフレームから離れた位置に設定されてもよい。検知領域ＤＢの範囲は、上記検知領域ＤＡと同様に、実施の形態に応じて、適宜、設定されてよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象が検知領域ＤＢに含まれると判定した場合に、見守り対象者のベッドからの離床を検知してもよい。

（３）端座位
ステップＳ１０１において「端座位」が検知対象の行動に選択された場合に、見守り対象者の「端座位」が本ステップＳ２０３の判定対象となる。端座位の検知には、離床の検知と同様に、ステップＳ１０５で設定されたベッド上面の範囲が用いられる。ステップＳ１０５におけるベッド上面の範囲の設定が完了すると、制御部１１は、設定されたベッド上面の範囲に基づいて、端座位を検知するための検知領域を特定することができる。

図２４は、端座位を検知するための検知領域ＤＣを模式的に例示する。見守り対象者がベッドにおいて端座位を行った場合、ベッドのサイドフレーム周辺、かつ、ベッドの上方から下方にかけて、前景領域が現れると想定される。そこで、検知領域ＤＣは、図２４で例示されるように、ベッドのサイドフレーム周辺で、かつ、ベッドの上方から下方にかけて設定されてもよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象が検知領域ＤＣに含まれると判定した場合に、見守り対象者のベッドにおける端座位を検知してもよい。

（４）柵越え
ステップＳ１０１において「柵越え」が検知対象の行動に選択された場合に、見守り対象者の「柵越え」が本ステップＳ２０３の判定対象となる。柵越えの検知には、離床及び端座位の検知と同様に、ステップＳ１０５で設定されたベッド上面の範囲が用いられる。ステップＳ１０５におけるベッド上面の範囲の設定が完了すると、制御部１１は、設定されたベッド上面の範囲に基づいて、柵越えを検知するための検知領域を特定することができる。

ここで、見守り対象者が柵越えを行った場合、ベッドのサイドフレーム周辺で、かつ、ベッドの上方に、前景領域が現れると想定される。そこで、柵越えを検知するための検知領域は、ベッドのサイドフレーム周辺で、かつ、ベッドの上方に、設定されてもよい。制御部１１は、閾値以上の画素数分の前景領域に写る対象がこの検知領域に含まれると判定した場合に、見守り対象者の柵越えを検知してもよい。

（５）その他
本ステップ２０３では、制御部１１は、上記のようにして、ステップＳ１０１で選択された各行動の検知を行う。すなわち、制御部１１は、対象の行動の上記判定条件を満たすと判定した場合に、当該対象の行動を検知することができる。一方、ステップＳ１０１で選択された各行動の上記判定条件を満たさないと判定した場合には、制御部１１は、見守り対象者の行動を検知することなく、次のステップＳ２０４に処理を進める。

なお、上述のとおり、ステップＳ１０５では、制御部１１は、カメラ座標系のベクトルをベッド座標系のベクトルに変換する射影変換行列Ｍを算出することができる。また、制御部１１は、上記数６〜数８に基づいて、撮影画像３内の任意の点ｓのカメラ座標系での座標Ｓ（Ｓ_x，Ｓ_y，Ｓ_z，１）を特定することができる。そこで、制御部１１は、（２）〜（４）において各行動を検知する際に、この射影変換行列Ｍを利用して、前景領域内の各画素のベッド座標系における座標を算出してもよい。そして、制御部１１は、算出したベッド座標系の座標を利用して、前景領域内の各画素に写る対象が各検知領域に含まれるか否かを判定してもよい。

また、見守り対象者の行動を検知する方法は、上記の方法に限定されなくてもよく、実施の形態に応じて、適宜、設定されてよい。例えば、制御部１１は、前景領域として抽出された各画素の撮影画像３内の位置及び深度の平均を取ることで、前景領域の平均位置を算出してもよい。そして、制御部１１は、実空間内において各行動を検知する条件として設定された検知領域に当該前景領域の平均位置が含まれるか否かを判定することで、見守り対象者の行動を検知してもよい。

更に、制御部１１は、前景領域の形状に基づいて、前景領域に写る身体部位を特定してもよい。前景領域は、背景画像からの変化を示す。そのため、前景領域に写る身体部位は、見守り対象者の動作部位に対応する。これに基づいて、制御部１１は、特定した身体部位（動作部位）とベッド上面との位置関係に基づいて、見守り対象者の行動を検知してもよい。これと同様に、制御部１１は、各行動の検知領域に含まれる前景領域に写る身体部位が所定の身体部位であるか否かを判定することで、見守り対象者の行動を検知してもよい。

（ステップＳ２０４）
ステップＳ２０４では、制御部１１は、危険予兆通知部２７として機能し、ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する。ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動である場合、制御部１１は、ステップＳ２０５に処理を進める。一方、ステップＳ２０３において見守り対象者の行動を検知しなかった場合、又は、ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動ではなかった場合、制御部１１は、本動作例に係る処理を終了する。

見守り対象者に危険の迫る予兆を示す行動であると設定される行動は、実施の形態に応じて、適宜、選択されてよい。例えば、転落又は転倒が生じる可能性のある行動として、見守り対象者に危険の迫る予兆を示す行動に端座位が設定されていると仮定する。この場合、制御部１１は、ステップＳ２０３において見守り対象者が端座位の状態にあると検知したとき、ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であると判定する。

このステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する場合に、制御部１１は、見守り対象者の行動の遷移を考慮してもよい。例えば、離床から端座位の状態になるよりも、起き上がりから端座位の状態になった方が、見守り対象者が転落又は転倒する可能性が高いと想定される。そこで、制御部１１は、ステップＳ２０４において、見守り対象者の行動の遷移を踏まえて、ステップＳ２０３において検知した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定してもよい。

例えば、制御部１１は、見守り対象者の行動を定期的に検知しているところ、ステップＳ２０３において、見守り対象者の起き上がりを検知した後に、見守り対象者が端座位の状態になったと検知したとする。このとき、制御部１１は、本ステップＳ２０４において、ステップＳ２０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であると判定してもよい。

（ステップＳ２０５）
ステップＳ２０５では、制御部１１は、危険予兆通知部２７として機能し、見守り対象者に危険の迫る予兆があることを知らせるための通知を行う。制御部１１が当該通知を行う方法は、上記設定未完了の通知と同様に、実施の形態に応じて、適宜、設定されてよい。

例えば、制御部１１は、上記設定未完了の通知と同様に、見守り対象者に危険の迫る予兆があることを知らせるための通知を、ナースコールを利用して行ってもよいし、スピーカ１４を利用して行ってもよい。また、制御部１１は、見守り対象者に危険の迫る予兆があることを知らせるための通知を、タッチパネルディスプレイ１３上に表示してもよいし、電子メールを利用して行ってもよい。

この通知が完了すると、制御部１１は、本動作例に係る処理を終了する。ただし、情報処理装置１は、見守り対象者の行動を定期的に検知する場合、上述の動作例に示される処理を定期的に繰り返してもよい。定期的に処理を繰り返す間隔は、適宜、設定されてもよい。また、情報処理装置１は、利用者の要求に応じて、上述の動作例に示される処理を実行してもよい。

以上のように、本実施形態に係る情報処理装置１は、前景領域と被写体の深度とを利用して、見守り対象者の動作部位とベッドとの実空間内の位置関係を評価することで、見守り対象者の行動を検知する。そのため、本実施形態によれば、実空間での見守り対象者の状態に適合する行動推定が可能となる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

（１）面積の利用
例えば、カメラ２から被写体が遠ざかるほど、撮影画像３内の被写体の像は小さくなり、カメラ２に被写体が近づくほど、撮影画像３内の被写体の像は大きくなる。撮影画像３内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像３の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。

そこで、制御部１１は、被写体の遠近による影響を除外するために、上記ステップＳ２０３において、前置領域に写る被写体のうち検知領域に含まれる部分の実空間における面積を算出してもよい。そして、制御部１１は、算出した面積に基づいて、見守り対象者の行動を検知してもよい。

なお、撮影画像３内の各画素の実空間における面積は、その各画素の深度に基づいて、次のようにして求めることができる。制御部１１は、以下の数２１及び数２２の関係式に基づいて、図１０及び図１１で例示される任意の点ｓ（１画素）の実空間内における横方向の長さｗ及び縦方向の長さｈをそれぞれ算出することができる。

したがって、制御部１１は、このように算出されるｗの２乗、ｈの２乗、又はｗとｈとの積によって、深度Ｄｓにおける１画素の実空間内での面積を求めることができる。そこで、制御部１１は、上記ステップＳ２０３において、前置領域内の画素のうちの検知領域に含まれる対象を写した各画素の実空間内での面積の総和を算出する。そして、制御部１１は、算出した面積の総和が所定の範囲内に含まれるか否かを判定することで、見守り対象者のベッドにおける行動を検知してもよい。これにより、被写体の遠近の影響を除外し、見守り対象者の行動の検知精度を高めることができる。

なお、このような面積は、深度情報のノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部１１は、数フレーム分の面積の平均を利用してもよい。また、制御部１１は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。

（２）面積及び分散を利用した行動推定
上記のような面積を利用して見守り対象者の行動を検知する場合、行動を検知するための条件となる面積の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。この所定部位は、例えば、見守り対象者の頭部、肩部等である。すなわち、見守り対象者の所定部位の面積に基づいて、行動を検知するための条件となる面積の範囲が設定される。

ただし、前置領域に写る対象の実空間内における面積だけでは、制御部１１は、その前置領域に写る対象の形状を特定することはできない。そのため、制御部１１は、検知領域に含まれる見守り対象者の身体部位を取り違えて、見守り対象者の行動を誤検知してしまう可能性がある。そこで、制御部１１は、実空間における広がり具合を示す分散を利用して、このような誤検知を防止してもよい。

図２５を用いて、この分散を説明する。図２５は、領域の拡がり具合と分散との関係を例示する。図２５で例示される領域ＴＡ及び領域ＴＢは、それぞれ、同じ面積であるとする。上記のような面積だけで見守り対象者の行動を推定しようとすると、制御部１１は、制御部１１は、領域ＴＡと領域ＴＢとは同じであると認識してしまうため、見守り対象者の行動を誤検知してしまう可能性がある。

しかしながら、図２５で例示されるように、領域ＴＡと領域ＴＢとは実空間における広がりが大きく異なる（図２５では水平方向の広がり具合）。そこで、制御部１１は、上記ステップＳ２０３において、前置領域に含まれる画素のうち検知領域に含まれる対象を写した各画素の分散を算出してもよい。そして、制御部１１は、算出した分散が所定の範囲に含まれるか否かの判定に基づいて、見守り対象者の行動を検知してもよい。

なお、上記面積の例と同様に、行動の検知の条件となる分散の範囲は、検知領域に含まれると想定される見守り対象者の所定部位に基づいて設定される。例えば、検知領域に含まれる所定部位が頭部であると想定される場合には、行動の検知の条件となる分散の値は比較的に小さい値の範囲で設定される。一方、検知領域に含まれる所定部位が肩部であると想定される場合には、行動の検知の条件となる分散の値は比較的に大きな値の範囲で設定される。

（３）前景領域の不利用
上記実施形態では、制御部１１（情報処理装置１）は、ステップＳ２０２で抽出される前景領域を利用して見守り対象者の行動を検知する。しかしながら、見守り対象者の行動を検知する方法は、このような前景領域を利用した方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。

見守り対象者の行動を検知する際に前景領域を利用しない場合、制御部１１は、上記ステップＳ２０２の処理を省略してもよい。そして、制御部１１は、行動検知部２３として機能し、撮影画像３内の各画素の深度に基づいて、ベッド基準面と見守り対象者との実空間内での位置関係が所定の条件を満たすか否かを判定することで、見守り対象者のベッドに関連する行動を検知してもよい。この例として、例えば、制御部１１は、ステップＳ２０３の処理として、パターン検出、図形要素検出等によって撮影画像３を解析して見守り対象者に関連する像を特定してもよい。この見守り対象者に関連する像は、見守り対象者の全身の像であってもよいし、頭部、肩部等の１又は複数の身体部位の像であってもよい。そして、制御部１１は、特定した見守り対象者に関連する像とベッドとの実空間内での位置関係に基づいて、見守り対象者のベッドに関連する行動を検知してもよい。

なお、上記のとおり、前景領域を抽出するための処理は、撮影画像３と背景画像との差分を計算する処理に過ぎない。そのため、上記実施形態のように前景領域を利用して見守り対象者の行動を検知する場合、制御部１１（情報処理装置１）は、高度な画像処理を利用せずに、見守り対象者の行動を検知することができるようになる。これにより、見守り対象者の行動の検知に係る処理を高速化することが可能になる。

（４）深度情報の不利用
上記実施形態では、制御部１１（情報処理装置１）は、深度情報に基づいて実空間内での見守り対象者の状態を推定することで、見守り対象者の行動を検知している。しかしながら、見守り対象者の行動を検知する方法は、このような深度情報を利用した方法に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。

深度情報を利用しない場合、カメラ２は深度センサを含まなくてもよい。この場合、制御部１１は、行動検知部２３として機能し、撮影画像３内に写る見守り対象者とベッドとの位置関係が所定の条件を満たすか否かを判定することで、見守り対象者の行動を検知してもよい。例えば、制御部１１は、パターン検出、図形要素検出等によって撮影画像３を解析して見守り対象者に関連する像を特定してもよい。そして、制御部１１は、特定した見守り対象者に関連する像とベッドとの撮影画像３内の位置関係に基づいて、見守り対象者のベッドに関連する行動を検知してもよい。また、例えば、制御部１１は、前景領域に写る対象を見守り対象者と仮定して、前景領域の現れる位置が所定の条件を満たすか否かを判定することで、見守り対象者の行動を検知してもよい。

なお、上記のとおり、深度情報を利用すると、撮影画像３に写る被写体の実空間内の位置を特定することができる。そのため、上記実施形態のように深度情報を利用して見守り対象者の行動を検知する場合、情報処理装置１は、実空間内での状態を考慮して見守り対象者の行動を検知することができるようになる。

（５）ベッド上面の範囲の設定方法
上記実施形態のステップＳ１０５では、情報処理装置１（制御部１１）は、ベッドの基準点の位置及びベッドの向きの指定を受け付けることで、ベッド上面の実空間内での範囲を特定した。しかしながら、ベッド上面の実空間内での範囲を特定する方法は、このような例に限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、情報処理装置１は、ベッド上面の範囲を規定する４つの角のうち２つの角の指定を受け付けることで、ベッド上面の実空間内での範囲を特定してもよい。以下では、図２６を用いて、この方法を説明する。

図２６は、ベッド上面の範囲の設定を受け付ける際にタッチパネルディスプレイ１３に表示される画面６０を例示する。制御部１１は、上記ステップＳ１０５の処理に置き換えて、当該処理を実行する。すなわち、制御部１１は、ステップＳ１０５においてベッド上面の範囲の指定を受け付けるために、タッチパネルディスプレイ１３に画面６０を表示する。画面６０は、カメラ２から得られる撮影画像３を描画する領域６１、ベッド上面を規定する４つの角のうちの２つの角を指定するための２つのマーカー６２を含んでいる。

上記のとおり、ベッドのサイズは見守り環境に応じて予め定められている場合が多く、制御部１１は、予め定められた設定値又は利用者による入力値によって、ベッドのサイズを特定することができる。そして、ベッド上面の範囲を規定する４つの角のうち２つの角の実空間内での位置を特定することができれば、これら２つの角の位置にベッドのサイズを示す情報（以下、ベッドのサイズ情報とも称する）を適用することで、ベッド上面の実空間内での範囲を特定することができる。

そこで、制御部１１は、例えば、上記実施形態においてマーカー５２により指定される基準点ｐのカメラ座標系での座標Ｐを算出した方法と同様の方法で、２つのマーカー６２によりそれぞれ指定される２つの角のカメラ座標系での座標を算出する。これにより、制御部１１は、当該２つの角の実空間上の位置を特定できるようになる。図２６で例示される画面６０では、利用者は、ヘッドボード側の２つの角を指定する。そのため、制御部１１は、この実空間内での位置を特定した２つの角をヘッドボード側の２つの角として取り扱って、ベッド上面の範囲を推定することで、ベッド上面の実空間内での範囲を特定する。

例えば、制御部１１は、実空間内での位置を特定した２つの角の間を結ぶベクトルの向きをヘッドボードの向きとして特定する。この場合、制御部１１は、いずれの角をベクトルの始点として取り扱ってもよい。そして、制御部１１は、このベクトルと同じ高さで垂直な方向を向いたベクトルの向きをサイドフレームの方向として特定する。サイドフレームの方向として複数の候補がある場合には、制御部１１は、予め定められた設定に従ってサイドフレームの方向を特定してもよいし、利用者による選択に基づいてサイドフレームの方向を特定してもよい。

また、制御部１１は、ベッドのサイズ情報から特定されるベッドの横幅の長さを、実空間内での位置を特定した２つの角の間の距離に対応付ける。これにより、実空間を表現する座標系（例えば、カメラ座標系）での縮尺が実空間に対応付けられる。そして、制御部１１は、ベッドのサイズ情報から特定されるベッドの縦幅の長さに基づいて、ヘッドボード側の２つの角それぞれからサイドフレームの方向に存在するフットボード側の２つの角の実空間内での位置を特定する。これにより、制御部１１は、ベッド上面の実空間内での範囲を特定することができる。制御部１１は、このようにして特定される範囲をベッド上面の範囲に設定する。詳細には、制御部１１は、「スタート」ボタンが操作されたときに指定されているマーカー６２の位置に基づいて特定される範囲をベッド上面の範囲として設定する。

なお、図２６では、指定を受け付ける２つの角として、ヘッドボード側の２つの角が例示されている。しかしながら、指定を受け付ける２つの角は、このような例に限定されなくてもよく、ベッド上面の範囲を規定する４つの角から適宜選択されてもよい。

また、ベッド上面の範囲を規定する４つの角のうちのどの角の位置の指定を受け付けるかは、上述のように予め定められていてもよいし、利用者の選択によって決定されてもよい。この利用者によって位置を指定される対象となる角の選択は、位置を指定する前に行われてもよいし、位置を指定した後に行われてもよい。

更に、制御部１１は、上記実施形態と同様に、指定されている２つのマーカーの位置から特定されるベッドの枠ＦＤを撮影画像３内に描画してもよい。このようにベッドの枠ＦＤを撮影画像３内に描画することで、指定しているベッドの範囲を確認させるとともに、どの角の位置を指定すればよいかを利用者に視認させることが可能である。

（６）その他
なお、上記実施形態に係る情報処理装置１は、カメラ２のピッチ角αを考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出している。ただし、情報処理装置１が考慮するカメラ２の属性値は、このピッチ角αに限定されなくてもよく、実施の形態に応じて、適宜、選択されてもよい。例えば、上記情報処理装置１は、カメラ２のピッチ角αの他、カメラ２のロール角等を考慮した関係式に基づいて、ベッドの位置の設定に関する種々の値を算出してもよい。

また、見守り対象者の行動の基準となるベッドの基準面は、上記ステップＳ１０３〜ステップＳ１０８に依らず、予め設定されていてもよい。ベッドの基準面は、実施の形態に応じて、適宜、設定されてもよい。更に、上記実施形態に係る情報処理装置１は、ベッドの基準面に依らず、前景領域に写る対象とベッドとの位置関係を判定してもよい。前景領域に写る対象とベッドとの位置関係を判定する方法は、実施の形態に応じて、適宜、設定されてもよい。

また、上記実施形態では、カメラ２の向きをベッドに合わせる指示内容は、ベッド上面の高さを設定する画面４０内に表示される。しかしながら、カメラ２の向きをベッドに合わせる指示内容を表示する方法は、このような態様に限られなくてもよい。制御部１１は、ベッド上面の高さを設定する画面４０とは別個の画面において、カメラ２の向きをベッドに合わせる指示内容とカメラ２により取得されている撮影画像３とをタッチパネルディスプレイ１３に表示させてもよい。また、制御部１１は、その画面において、カメラ２の向きの調整が完了したことを受け付けてもよい。そして、制御部１１は、カメラ２の向きの調整が完了したことを受け付けた後に、ベッド上面の高さを設定する画面４０をタッチパネルディスプレイ１３に表示させてもよい。

１…情報処理装置、２…カメラ、３…撮影画像、
５…プログラム、６…記憶媒体、
２１…画像取得部、２２…前景抽出部、２３…行動検知部、２４…設定部、
２５…表示制御部、２６…行動選択部、
２７…危険予兆通知部、２８…未完了通知部

Claims (13)

1. 見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付ける行動選択部と、
   前記見守りの対象として選択された行動に応じて、前記見守り対象者のベッドにおける行動を見守るための撮影装置の前記ベッドに対する配置位置の候補を表示装置に表示させる表示制御部と、
   前記撮影装置によって撮影された撮影画像を取得する画像取得部と、
   前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知する行動検知部と、
   を備える、
   情報処理装置。
2. 前記表示制御部は、前記ベッドに対する前記撮影装置の配置位置の候補の他に、予め設定された前記撮影装置の設置に推奨されない位置を更に表示装置に表示させる、
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記撮影装置の配置が完了したことを受け付けた後に、前記撮影装置の向きを前記ベッドに合わせる指示内容とともに、前記撮影装置により取得されている撮影画像を前記表示装置に表示させる、
   請求項１又は２に記載の情報処理装置。
4. 前記画像取得部は、前記撮影画像内の各画素の深度を示す深度情報を含む撮影画像を取得し、
   前記行動検知部は、前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かの判定として、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記見守り対象者と前記ベッドの領域との実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知する、
   請求項１から３に記載の情報処理装置。
5. 前記撮影装置の配置が完了したことを受け付けた後に、前記ベッドの基準面の高さの指定を受け付けて、当該指定された高さを前記ベッドの基準面の高さに設定する設定部を更に備え、
   前記表示制御部は、前記ベッドの基準面の高さの指定を前記設定部が受け付けている際に、前記深度情報により示される前記撮影画像内の各画素の深度に基づいて、前記ベッドの基準面の高さとして指定されている高さに位置する対象を写した領域を前記撮影画像上で明示するようにして、取得した前記撮影画像を表示装置に表示させ、
   前記行動検知部は、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された行動を検知する、
   請求項４に記載の情報処理装置。
6. 前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
   前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域の写る対象の実空間内での位置を前記見守り対象者の位置として利用して、実空間内での前記ベッドの高さ方向における前記ベッドの基準面と前記見守り対象者との位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された行動を検知する、
   請求項５に記載の情報処理装置。
7. 前記行動選択部は、ベッドの端部付近又は外側で行われる前記見守り対象者の所定行動を含む前記見守り対象者のベッドに関連する複数の行動から、前記見守り対象者について見守りの対象とする行動の選択を受け付け、
   前記設定部は、
   前記ベッドの基準面の高さとしてベッド上面の高さの指定を受け付けて、当該指定された高さを前記ベッド上面の高さに設定し、かつ、
   前記見守りの対象として選択された行動に前記所定行動が含まれている場合、前記ベッド上面の高さを設定した後に、更に、前記ベッド上面の範囲を特定するために前記ベッド上面内に設定される基準点の位置と前記ベッドの向きとの指定を前記撮影画像内で受け付けて、指定された前記基準点の位置及び前記ベッドの向きに基づいて前記ベッド上面の実空間内での範囲を設定し、
   前記行動検知部は、設定された前記ベッドの上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知する、
   請求項５に記載の情報処理装置。
8. 前記行動選択部は、ベッドの端部付近又は外側で行われる前記見守り対象者の所定行動を含む前記見守り対象者のベッドに関連する複数の行動から、前記見守り対象者について見守りの対象とする行動の選択を受け付け、
   前記設定部は、
   前記ベッドの基準面の高さとしてベッド上面の高さの指定を受け付けて、当該指定された高さを前記ベッド上面の高さに設定し、かつ、
   前記見守りの対象として選択された行動に前記所定行動が含まれている場合、前記ベッド上面の高さを設定した後に、更に、ベッド上面の範囲を規定する４つの角のうち２つの角の位置の指定を前記撮影画像内で受け付けて、指定された当該２つの角の位置に基づいて前記ベッド上面の実空間内での範囲を設定し、
   前記行動検知部は、設定された前記ベッドの上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知する、
   請求項５に記載の情報処理装置。
9. 前記設定部は、設定する前記ベッド上面の範囲に対して、前記見守りの対象として選択された前記所定行動を検知するために設定された前記所定の条件に基づいて特定される検知領域が前記撮影画像内に写るか否かを判定し、前記見守りの対象として選択された前記所定行動の検知領域が前記撮影画像内に写らないと判定した場合に、前記見守りの対象として選択された前記所定行動の検知が正常に行えない可能性のあることを示す警告メッセージを出力する、
   請求項７又は８に記載の情報処理装置。
10. 前記撮影画像の背景として設定された背景画像と前記撮影画像との差分から前記撮影画像の前景領域を抽出する前景抽出部を更に備え、
    前記行動検知部は、前記前景領域内の各画素の深度に基づいて特定される前記前景領域の写る対象の実空間内での位置を前記見守り対象者の位置として利用して、前記ベッド上面と前記見守り対象者との前記実空間内での位置関係が所定の条件を満たすか否かを判定することで、前記見守りの対象として選択された前記所定行動を検知する、
    請求項７から９のいずれか１項に記載の情報処理装置。
11. 前記設定部による設定が所定時間内に完了しない場合に、前記設定部による設定が完了していないことを知らせるための通知を行う未完了通知部を更に備える、
    請求項５から１０のいずれか１項に記載の情報処理装置。
12. コンピュータが、
    見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付けるステップと、
    前記見守りの対象として選択された行動に応じて、前記見守り対象者のベッドにおける行動を見守るための撮影装置の前記ベッドに対する配置位置の候補を表示装置に表示させるステップと、
    前記撮影装置によって撮影された撮影画像を取得するステップと、
    前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知するステップと、
    を実行する情報処理方法。
13. コンピュータに、
    見守り対象者のベッドに関連する複数の行動から当該見守り対象者について見守りの対象とする行動の選択を受け付けるステップと、
    前記見守りの対象として選択された行動に応じて、前記見守り対象者のベッドにおける行動を見守るための撮影装置の前記ベッドに対する配置位置の候補を表示装置に表示させるステップと、
    前記撮影装置によって撮影された撮影画像を取得するステップと、
    前記撮影画像内に写る前記見守り対象者と前記ベッドとの位置関係が所定の条件を満たすか否かを判定することで、前記見守り対象として選択された行動を検知するステップと、を
    実行させるためのプログラム。