JP6171415B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。

室内斜め上方から室内下方に向けて撮影された画像の境界辺を通過して、床面領域からベッド領域への人体移動を検知することで、入床事象を判断し、ベッド領域から床面領域への人体移動を検知することで、離床事象を判断する技術がある（特許文献１）。

また、指示に従って調整された動きをユーザに実行させ、ユーザをビデオ記録することで、画像系列の形式でビデオ画像データを生成し、コンピュータビジョン技術を有するコンピュータシステムを使用して、画像系列において、左半身及び右半身のオプティカルフローの共時性の程度を判定し、共時性の程度に基づいてユーザの運動機能を評価する技術がある（特許文献２）。

また、ベッドに寝ている患者が起床挙動を行ったことを判定するための見守り領域を、ベッドに就寝している患者を含むベッドの直上の領域に設定して、ベッドの横方向から見守り領域を含む撮像画像の見守り領域に占める患者と思われる画像領域の大きさを示す変動値が、患者がベッドに寝ている状態でカメラから得られた撮像画像の見守り領域に占める患者と思われる画像領域の大きさを示す初期値未満である場合に、患者が起床挙動を行っていると判断する技術がある（特許文献３）。

特開２００２−２３０５３３号公報 特表２００９−５０４２９８号公報 特開２０１１−００５１７１号公報

近年、入院患者、施設入居者、要介護者等がベッドから転倒、転落する事故、及び、認知症患者の徘徊による事故が年々増加する傾向にある。このような事故を防止する方法として、例えば、病院、介護施設等で利用する見守りシステムとして、室内に設置したカメラで見守り対象者を撮影し、撮影した画像を解析することで、起き上がり、端座位、離床等の見守り対象者の行動を検出する見守りシステムが開発されている。このような見守りシステムでは、例えば、顔認識技術を用いて見守り対象者を認識する等、比較的に高度な画像処理技術が用いられており、現場に合わせてシステムの設定を調整して利用することが困難であるという問題点があった。

本発明は、一側面では、このような点を考慮してなされたものであり、簡易な方法で見守り対象者の行動を推定する技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る情報処理装置は、ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得する画像取得部と、取得した前記動画像内におけるオプティカルフローを求める画像処理部と、求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定する行動推定部と、を備える。

上記構成によれば、ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像からオプティカルフローが求められる。そして、求められたオプティカルフローに基づいて移動する動体が検出される場合に、検出される動体が見守り対象者に対応すると仮定され、検出される動体の位置と移動方向とに基づいて、見守り対象者のベッド上又はベッド付近での行動が推定される。なお、見守り対象者とは、当該情報処理装置によって行動を見守られる対象者であり、例えば、入院患者、施設入居者、要介護者等である。

したがって、上記構成によれば、オプティカルフローに基づいて検出される動体の位置と移動方向から見守り対象者の行動が推定されるため、画像認識等の高度な画像処理技術を導入しなくても、簡易な方法で見守り対象者の行動を推定することが可能となる。

また、上記一側面に係る情報処理装置の別の形態として、上記行動推定部は、ベッド上で寝ている状態の見守り対象者の上半身が存在しうる領域内から、当該見守り対象者の起き上がり方向に移動する動体が検出されるときに、見守り対象者の当該ベッド上での起き上がりを推定してもよい。なお、起き上がり方向とは、寝ている状態の見守り対象者が起き上がる際に上半身が移動する方向である。

当該構成によれば、見守り対象者のベッド上での起き上がりを推定する際の、オプティカルフローに基づいて検出される動体の起点及び移動方向の条件が定められるため、見守り対象者のベッド上での起き上がりを推定することが可能になる。

また、上記一側面に係る情報処理装置の別の形態として、上記行動推定部は、見守り対象者がベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域内において、当該ベッド上で寝ている状態の見守り対象者の上半身が存在しうる領域内から、当該見守り対象者の起き上がり方向に移動する動体が検出されるときに、見守り対象者の当該ベッド上での起き上がりを推定してもよい。

当該構成によれば、見守り対象者のベッド上での起き上がりを推定する際のオプティカルフローに基づいて検出される動体の存在する範囲が限定される。そのため、見守り対象者のベッド上での起き上がりを推定するときの精度を高めることができる。

また、上記一側面に係る情報処理装置の別の形態として、上記画像処理部は、取得される動画像中の動きを追跡することで、更に、動体の軌跡を検出してもよい。そして、上記行動推定部は、検出された軌跡に基づいて、見守り対象者のベッド上での寝返りと区別して、見守り対象者のベッド上での起き上がりを推定してもよい。

オプティカルフローは動画像内の隣接するフレーム間の動きを表わし、動体の一連の動きを表わさないため、ベッド上での寝返りを起き上がりと誤って推定してしまう可能性がある。当該構成によれば、動体の一連の動きを捉えることが可能な軌跡に基づいて、ベッド上での寝返りと区別して起き上がりを推定することが可能になるため、見守り対象者のベッド上での起き上がりを推定するときの精度を高めることができる。

また、上記一側面に係る情報処理装置の別の形態として、上記行動推定部は、ベッドに柵がセットされている際に、見守り対象者がベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側から外側へ移動する動体が検出されるときに、当該見守り対象者のベッドの柵越えを推定してもよい。

当該構成によれば、見守り対象者のベッドの柵越えを推定する際の、オプティカルフローに基づいて検出される動体の起点及び移動方向の条件が定められるため、見守り対象者のベッドの柵越えを推定することが可能になる。

また、上記一側面に係る情報処理装置の別の形態として、上記画像処理部は、更に、背景と前景とを分離する背景差分法によって、取得される動画像中の前景領域を検出してもよい。そして、行動推定部は、オプティカルフローに基づいて検出される動体が存在する動体領域内において検出された前景領域が占める領域が所定の大きさを超えるか否かを判定することで、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、見守り対象者のベッドの柵越えを推定してもよい。

身体の一部がベッドから飛び出した場合に、ベッド上での存在領域の内側から外側へ移動する動体が検出される可能性があり、上記ベッドの柵越えを推定するための条件を満たしてしまう可能性がある。ただし、その場合、身体全体で移動する柵越えの場合に比べて、背景差分法により抽出される前景領域の大きさは小さいと想定される。当該構成によれば、オプティカルフローに基づいて検出される動体が存在する動体領域内において検出された前景領域が占める領域が所定の大きさを超えるか否かを判定することで、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、見守り対象者のベッドの柵越えが推定される。そのため、見守り対象者のベッドの柵越えを推定するときの精度を高めることができる。

また、上記一側面に係る情報処理装置の別の形態として、上記行動推定部は、見守り対象者がベッド上で行動した場合に見守り対象者が存在しうる領域として設定された存在領域の内側から端へ移動する部分と、当該存在領域の内側から外側へ移動する部分と、を有する動体が検出されるときに、当該見守り対象者のベッドにおける端座位を推定してもよい。なお、端座位とは、見守り対象者がベッドの端に腰をかけている状態を指す。

当該構成によれば、見守り対象者のベッドにおける端座位を推定する際の、オプティカルフローに基づいて検出される動体の起点及び移動方向の条件が定められるため、見守り対象者のベッドにおける端座位を推定することが可能になる。

また、上記一側面に係る情報処理装置の別の形態として、上記画像処理部は、更に、背景と前景とを分離する背景差分法によって、取得される動画像中の前景領域を特定してもよい。そして、上記行動推定部は、オプティカルフローに基づいて検出される動体が存在する動体領域内において当該前景領域が占める領域が所定の大きさを超えるか否かを判定することで、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、当該見守り対象者のベッドにおける端座位を推定してもよい。

身体の一部がベッドから飛び出した場合に、ベッド上での存在領域の内側から端へ移動する部分と、当該存在領域の内側から外側へ移動する部分と、を有する動体が検出される可能性があり、上記ベッドにおける端座位を推定するための条件を満たしてしまう可能性がある。ただし、その場合、身体全体で移動する端座位の場合に比べて、背景差分法により抽出される前景領域の大きさは小さいと想定される。当該構成によれば、オプティカルフローに基づいて検出される動体が存在する動体領域内において検出された前景領域が占める領域が所定の大きさを超えるか否かを判定することで、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、見守り対象者のベッドにおける端座位が推定される。そのため、見守り対象者のベッドにおける端座位を推定するときの精度を高めることができる。

また、上記一側面に係る情報処理装置の別の形態として、上記行動推定部は、見守り対象者がベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の外側で移動する動体が検出されるときに、当該見守り対象者のベッドからの離床を推定してもよい。

当該構成によれば、見守り対象者のベッドからの離床を推定する際の、オプティカルフローに基づいて検出される動体の起点及び移動方向の条件が定められるため、見守り対象者のベッドからの離床を推定することが可能になる。

また、上記一側面に係る情報処理装置の別の形態として、上記画像処理部は、更に、背景と前景とを分離する背景差分法によって、取得される動画像中の前景領域を特定してもよい。そして、上記行動推定部は、見守り対象者がベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側からベッド下方に移動する動体が検出された後に、当該背景差分法によって検出される前景領域が時間の経過とともに消失するときに、当該見守り対象者のベッドからの落下を推定してもよい。

見守り対象者がベッドから落下し、落下した場所に留まっているとすると、見守り対象者は落下した位置で背景として扱われるようになると想定される。当該構成によれば、見守り対象者のベッドからの落下を推定する際の、オプティカルフローに基づいて検出される動体の起点及び移動方向の条件と、背景差分法により検出される前景領域の上記想定に即した条件と、が定められる。そのため、当該構成によれば、見守り対象者のベッドからの落下を推定することが可能になる。

また、上記一側面に係る情報処理装置の別の形態として、上記行動推定部は、深度センサにより得られる動体の深度に更に基づいて、見守り対象者のベッド上又はベッド付近での行動を推定してもよい。

検出される動体の実空間における位置を動画像から特定できるとは限らないため、検出される動体は、ベッド上又はベッド付近に存在する見守り対象者の動きではなく、カメラから見て当該見守り対象者の手前に存在する物体の動きに対応する場合がある。これに対して、当該構成によれば、深度センサにより動体の深度を得ることができるため、検出された動体が、ベッド上又はベッド付近に存在する見守り対象者の動きに対応するか否か、を判定することが可能になる。つまり、各行為を推定する際の動体が検出される領域の深度の条件を設定することが可能になる。したがって、当該構成によれば、見守り対象者のベッド上又はベッド付近での行動を推定するときの精度を高めることが可能になる。

また、上記一側面に係る情報処理装置の別の形態として、上記情報処理装置は、見守り対象者について推定した行動が当該見守り対象者に危険の迫る予兆を示す行動である場合に、当該見守り対象者を見守る見守り者に当該予兆を知らせるための通知を行う通知部を更に備えてもよい。

当該構成によれば、見守り対象者に危険の迫る予兆があることを見守り者に知らせることが可能になる。また、見守り対象者にも危険の迫る予兆があることを知らせることが可能になる。なお、見守り者は、見守り対象者の行動を見守る者であり、見守り対象者が、入院患者、施設入居者、要介護者等である場合は、例えば、看護師、施設職員、介護者等である。また、見守り対象者に危険の迫る予兆を知らせるための通知は、ナースコール等の施設に設置された設備と連携して行われてもよい。

なお、上記一側面に係る情報処理装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理システムによって実現されてもよい。

例えば、本発明の一側面に係る情報処理方法は、コンピュータが、ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得するステップと、取得した前記動画像内におけるオプティカルフローを求めるステップと、求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定するステップと、を実行する情報処理方法である。

また、例えば、本発明の一側面に係るプログラムは、コンピュータに、ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得するステップと、取得した前記動画像内におけるオプティカルフローを求めるステップと、求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定するステップと、を実行させるためのプログラムである。

本発明によれば、簡易な方法で見守り対象者の行動を推定する技術を提供することが可能になる。

図１は、本発明が適用される場面の一例を示す。 図２は、実施の形態に係る情報処理装置のハードウェア構成を例示する。 図３は、実施の形態に係る情報処理装置の機能構成を例示する。 図４は、実施の形態に係る情報処理装置の処理手順を例示する。 図５は、見守り対象者がベッド上で起き上がる際に検出されるオプティカルフローの一例を示す。 図６は、実施の形態に係る存在領域の設定例を示す。 図７は、見守り対象者がベッド上で起き上がる際に検出される軌跡の一例を示す。 図８は、見守り対象者がベッド上で寝返りをする際に検出される軌跡の一例を示す。 図９は、見守り対象者がベッドの柵越えする際に検出されるオプティカルフローの一例を示す。 図１０は、見守り対象者がベッド上で端座位の状態になる際に検出されるオプティカルフローの一例を示す。 図１１は、見守り対象者がベッドから離床する際に検出されるオプティカルフローの一例を示す。 図１２は、見守り対象者がベッドから落下する際に検出されるオプティカルフローの一例を示す。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

§１ 適用場面例
図１は、本発明が適用される場面の一例を示す。本実施形態では、医療施設又は介護施設において、入院患者又は施設入居者が見守り対象者として行動を見守られる場面が想定されている。見守り対象者は、ベッドの短手方向右側に設置されたカメラ２により撮影されることで、行動を見守られている。

カメラ２は、ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されており、ベッド上及びベッド付近の様子を撮影する。なお、カメラ２の種類及び配置される位置は、実施の形態に応じて、適宜、選択されてよい。カメラ２により撮影された動画像３は、情報処理装置１に送信される。

本実施形態に係る情報処理装置１は、カメラ２から動画像３を取得すると、取得した動画像３内におけるオプティカルフローを求める。オプティカルフローは、具体的には、異なる時間に撮影された２枚の画像間で対応付けられた同じ対象の移動量をベクトルデータとして表現する。そのため、オプティカルフローにより動画像３内に映る物体の移動量が表現されるため、当該オプティカルフローを用いることで、当該動画像３内において移動する動体を検出することが可能である。

そこで、本実施形態に係る情報処理装置１は、求めたオプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、当該見守り対象者のベッド上又はベッド付近での行動を推定する。

このように、本実施形態によれば、ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像３からオプティカルフローが求められる。そして、求められたオプティカルフローに基づいて移動する動体が検出される場合に、検出される動体が見守り対象者に対応すると仮定され、検出される動体の位置と移動方向とに基づいて、当該見守り対象者のベッド上又はベッド付近での行動が推定される。

したがって、本実施形態によれば、動画像３から得られるオプティカルフローに基づいて検出される動体の位置及び移動方向から見守り対象者の行動を推定することが可能になるため、画像認識等の高度な画像処理技術を導入しなくても、簡易な方法で見守り対象者の行動を推定することが可能になる。

なお、本実施形態に係る情報処理装置１は、見守り対象者のベッド上又はベッド付近での行動を推定するため、病院、介護施設等で入院患者、施設入居者、要介護者等を見守るための装置として、当該情報処理装置１を利用することが可能である。ここで、見守り対象者のベッド上又はベッド付近での行動は、実施の形態に応じて、適宜、設定されてよい。本実施形態では、見守り対象者のベッド上又はベッド付近での行動の一例として、ベッド上での起き上がり、ベッドの柵越え、ベッドにおける端座位、ベッドからの離床、及び、ベッドからの落下、が挙げられる。詳細は後述する。

また、オプティカルフローを求める方法は、実施の形態に応じて、適宜、選択されてよい。当該オプティカルフローを求める方法の一例として、例えば、テンプレートマッチングを用いてオプティカルフローを求めるブロックマッチング法、及び、時空間微分の拘束を利用してオプティカルフローを求める勾配法を挙げることができる。

§２ 構成例
＜ハードウェア構成例＞
図２は、本実施形態に係る情報処理装置１のハードウェア構成を例示する。情報処理装置１は、図２に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、ネットワークを介して通信を行うための通信インタフェース１３、記憶媒体６に記憶されたプログラムを読み込むためのドライブ１４、及び、外部装置と接続するための外部インタフェース１５が電気的に接続されたコンピュータである。

なお、情報処理装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び、追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、情報処理装置１は、ディスプレイ等の出力装置、及び、マウス、キーボード等の入力を行うための入力装置を備えてもよい。なお、図２では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載される。

また、情報処理装置１は、複数の外部インタフェース１５を備え、複数の外部装置と接続されてもよい。本実施形態では、情報処理装置１は、外部インタフェース１５を介して、見守り対象者とベッドとを撮影するカメラ２と接続されてよい。また、情報処理装置１は、外部インタフェース１５を介して、動画像３内の奥行きを測定するための深度センサ３１と接続されてよい。更に、情報処理装置１は、外部インタフェース１５を介してナースコール等の施設に設置された設備と接続されることで、見守り対象者に危険の迫る予兆があることを知らせるための通知を当該設備と連携して行ってもよい。

また、プログラム５は、情報処理装置１に後述する動作に含まれるステップを実行させるプログラムであり、本発明の「プログラム」に相当する。また、プログラム５は記憶媒体６に記録されていてもよい。記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図２は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

また、情報処理装置１として、例えば、提供されるサービス専用に設計された装置の他、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置が用いられてよい。また、情報処理装置１は、１又は複数のコンピュータにより実装されてもよい。

＜機能構成例＞
図３は、本実施形態に係る情報処理装置１の機能構成を例示する。本実施形態に係る情報処理装置１が備えるＣＰＵは、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、ＣＰＵは、ＲＡＭに展開されたプログラム５を解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係る情報処理装置１は、画像取得部２１、画像処理部２２、行動推定部２３、及び、通知部２４を備えるコンピュータとして機能する。

画像取得部２１は、ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラ２により撮影された動画像３を取得する。画像処理部２２は、取得した動画像３内におけるオプティカルフローを求める。そして、行動推定部２３は、求めたオプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は見守り対象者に対応すると仮定して、検出される動体の位置と移動方向とに基づいて、見守り対象者のベッド上又はベッド付近での行動を推定する。

なお、行動推定部２３は、ベッド上で寝ている状態の見守り対象者の上半身が存在しうる領域内から、当該見守り対象者の起き上がり方向に移動する動体が検出されるときに、見守り対象者の起き上がりを推定してもよい。起き上がり方向とは、寝ている状態の見守り対象者が起き上がる際に上半身が移動する方向である。ベッド上で寝ている状態の見守り対象者の上半身が存在しうる領域及び起き上がり方向は、例えば、予め設定されていてもよいし、情報処理装置１を利用するユーザ（例えば、見守り者）によって設定されてもよいし、所与のパターンからユーザによって選択されることで設定されてもよい。

また、行動推定部２３は、見守り対象者がベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域内において、当該ベッド上で寝ている状態の見守り対象者の上半身が存在しうる領域内から、当該見守り対象者の起き上がり方向に移動する動体が検出されるときに、見守り対象者の当該ベッド上での起き上がりを推定してもよい。

また、画像処理部２２は、取得される動画像３中の動きを追跡することで、更に、動体の軌跡を検出してもよい。そして、行動推定部２３は、検出された軌跡に基づいて、見守り対象者のベッド上での寝返りと区別して、見守り対象者のベッド上での起き上がりを推定してもよい。

また、行動推定部２３は、ベッドに柵がセットされている際に、見守り対象者がベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側から外側へ移動する動体が検出されるときに、当該見守り対象者のベッドの柵越えを推定してもよい。ここで、ベッドに柵がセットされているか否かは、実施の形態に応じて、適宜、設定されてよく、例えば、情報処理装置１を利用するユーザ（例えば、見守り者）によって設定されてもよい。

また、画像処理部２２は、更に、背景と前景とを分離する背景差分法によって、取得される動画像３中の前景領域を検出してもよい。そして、行動推定部２３は、オプティカルフローに基づいて検出される動体が存在する動体領域内において検出された前景領域が占める領域が所定の大きさを超えるか否かを判定することで、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、見守り対象者のベッドの柵越えを推定してもよい。

また、行動推定部２３は、見守り対象者がベッド上で行動した場合に見守り対象者が存在しうる領域として設定された存在領域の内側から端へ移動する部分と、当該存在領域の内側から外側へ移動する部分と、を有する動体が検出されるときに、当該見守り対象者のベッドにおける端座位を推定してもよい。なお、端座位とは、見守り対象者がベッドの端に腰をかけている状態を指す。

また、画像処理部２２は、更に、背景と前景とを分離する背景差分法によって、取得される動画像３中の前景領域を特定してもよい。そして、行動推定部２３は、オプティカルフローに基づいて検出される動体が存在する動体領域内において当該前景領域が占める領域が所定の大きさを超えるか否かを判定することで、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、当該見守り対象者のベッドにおける端座位を推定してもよい。

また、行動推定部２３は、見守り対象者がベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の外側で移動する動体が検出されるときに、当該見守り対象者のベッドからの離床を推定してもよい。

また、画像処理部２２は、更に、背景と前景とを分離する背景差分法によって、取得される動画像３中の前景領域を特定してもよい。そして、行動推定部２３は、見守り対象者がベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側からベッド下方に移動する動体が検出された後に、当該背景差分法によって検出される前景領域が時間の経過とともに消失するときに、当該見守り対象者のベッドからの落下を推定してもよい。

また、行動推定部２３は、深度センサ３１により得られる動体の深度に更に基づいて、見守り対象者のベッド上又はベッド付近での行動を推定してもよい。

また、本実施形態に係る情報処理装置１は、見守り対象者について推定した行動が当該見守り対象者に危険の迫る予兆を示す行動である場合に、当該見守り対象者を見守る見守り者に当該予兆を知らせるための通知を行う通知部を備える。ここで、見守り者は、見守り対象者の行動を見守る者であり、見守り対象者が、入院患者、施設入居者、要介護者等である場合は、例えば、看護師、職員、介護者等である。また、見守り対象者に危険の迫る予兆を知らせるための通知は、ナースコール等の施設に設置された設備と連携して行われてもよい。

なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。例えば、見守り対象者に危険の迫る予兆があることを知らせるための通知を実施しない場合、通知部２４は省略されてよい。

§３ 動作例
図４は、本実施形態に係る情報処理装置１の動作例を示す。なお、以下で説明する動作例の処理手順は一例に過ぎず、各処理は、可能な限り入れ替えられてよい。また、以下で説明する動作例の処理手順について、実施の形態に応じて、適宜、処理の省略、置換、及び、追加が可能である。例えば、見守り対象者に危険の迫る予兆があることを知らせるための通知を実施しない場合、ステップＳ１０４及びＳ１０５は省略されてよい。

＜ステップＳ１０１＞
ステップＳ１０１では、制御部１１は、画像取得部２１として機能し、ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラ２から動画像３を取得する。制御部１１がカメラ２から取得する動画像３には、ベッド上及びベッド付近の様子が撮影されている。

なお、本実施形態に係る情報処理装置１は、医療施設又は介護施設において、入院患者又は施設入居者を見守るために利用される。この場合、制御部１１は、カメラ２に対するビデオ信号に同期させて画像を取得してもよい。そして、制御部１１は、後述するステップＳ１０２〜Ｓ１０５までの処理を取得した画像に対して即座に実行してもよい。情報処理装置１が当該動作を連続して絶え間なく実行することで、リアルタイム画像処理が実現され、リアルタイムに入院患者又は施設入居者の行動を見守ることが可能になる。

＜ステップＳ１０２＞
ステップＳ１０２では、制御部１１は、画像処理部２２として機能し、ステップＳ１０１で取得した動画像３内におけるオプティカルフローを求める。オプティカルフローを求める方法は、上述のとおり、実施の形態に応じて、適宜、選択されてよい。オプティカルフローを求める方法の一例として、例えば、テンプレートマッチングを用いてオプティカルフローを求めるブロックマッチング法、及び、時空間微分の拘束を利用してオプティカルフローを求める勾配法を挙げることができる。

＜ステップＳ１０３＞
ステップＳ１０３では、制御部１１は、行動推定部２３として機能し、ステップＳ１０２で求めたオプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、見守り対象者のベッド上又はベッド付近での行動を推定する。本実施形態では、制御部１１は、見守り対象者のベッド上又はベッド付近での行動として、ベッド上での起き上がり、ベッドの柵越え、ベッドにおける端座位、ベッドからの離床、及び、ベッドからの落下、のうちの少なくともいずれかの行動を推定する。以下、各行動の推定について、図を用いて、具体例を挙げて説明する。

（ａ）起き上がり
図５は、見守り対象者がベッド上で起き上がる際に検出されるオプティカルフローの一例を示す。図５で例示されるように、見守り対象者がベッド上で仰向けに寝ている状態（仰臥位）から起き上がったとすると、ステップＳ１０１で取得される動画像３では、見守り対象者の上半身部分が映る領域に動きが生じると想定される。そのため、ステップＳ１０２では、見守り対象者の姿勢が仰臥位から起き上がりの状態に遷移している間、図５で例示されるようなオプティカルフローが検出されると想定することができる。

そこで、ステップＳ１０３では、制御部１１は、ベッド上で寝ている状態の見守り対象者の上半身が存在しうる所定領域内から、当該見守り対象者の起き上がり方向に移動する動体が検出されるときに、見守り対象者のベッド上での起き上がりを推定する。

具体例を挙げると、制御部１１は、起き上がり方向又は起き上がり方向に近似できる方向のオプティカルフローが当該所定領域内で検出された後に、当該所定領域内又は付近で所定の時間以上継続して、起き上がり方向又は起き上がり方向に近似できる方向のオプティカルフローが検出できた場合に、当該所定領域内から起き上がり方向に移動する動体が検出できると評価して、見守り対象者のベッド上での起き上がりを推定してもよい。

ここで、上記所定領域は、見守り対象者のベッド上での起き上がりを推定するために、ベッド上で寝ている状態の見守り対象者の上半身が存在しうる領域として設定される領域である。当該所定領域は、予め設定されてもよく、ユーザ（例えば、見守り者）により指定されることで設定されてもよいし、所与のパターンからユーザが選択することで設定されてもよい。当該所定領域は、実施の形態に応じて、適宜、設定される。ここで、図５では、当該所定領域の形状は楕円形で例示されている。しかしながら、当該所定領域の形状は、楕円形に限定されず、実施の形態に応じて、適宜、設定されてよい。

また、上記所定の時間は、見守り対象者の起き上がりを推定する際に、オプティカルフローが継続して検出されているか否かを評価するための指標となる。当該所定の時間は、予め設定されてもよいし、ユーザにより設定されてもよいし、所与の時間からユーザが選択することで設定されてもよいし、実施の形態に応じて、適宜、設定されてよい。

また、起き上がり方向は、寝ている状態の見守り対象者が起き上がる際に上半身が移動する方向である。当該起き上がり方向は、予め設定されてもよいし、ユーザにより設定されてもよいし、所与のパターンからユーザが選択することで設定されてもよいし、実施の形態に応じて、適宜、設定されてよい。

図６は、見守り対象者がベッド上で行動した場合に当該見守り対象者が存在しうる領域として存在領域が設定された場面を例示する。動画像３内において、見守り対象者の行動を推定する基準となるオプティカルフローの検出される領域が限定されていない場合、見守り対象者の動きとは無関係な動体に係るオプティカルフローに基づいて誤った推定を行ってしまう可能性がある。

そこで、制御部１１は、ステップＳ１０３において、当該存在領域内において、ベッド上で寝ている状態の見守り対象者の上半身が存在しうる所定領域内から、当該見守り対象者の起き上がり方向に移動する動体が検出されるときに、見守り対象者のベッド上での起き上がりを推定してもよい。換言すると、制御部１１は、見守り対象者のベッド上での起き上がりを推定するのに寄与するオプティカルフローの存在範囲を限定してもよい。

これにより、見守り対象者のベッド上での行動に無関係なオプティカルフローを除外し、見守り対象者のベッド上での行動に関連すると想定されるオプティカルフローに限定して、当該見守り対象者の行動を推定することが可能になる。そのため、このように制御部１１を動作させることで、見守り対象者のベッド上での起き上がりを推定するときの精度を高めることが可能になる。

なお、存在領域は、見守り対象者のベッド上での行動に無関係なオプティカルフローを除外し、見守り対象者のベッド上での行動に関連すると想定されるオプティカルフローを限定するために設定される領域である。当該存在領域は、予め設定されてもよいし、ユーザにより設定されてもよいし、所与のパターンからユーザが選択することで設定されてもよいし、実施の形態に応じて、適宜、設定されてよい。

図７は、見守り対象者がベッド上で起き上がる際に検出される軌跡の一例を示す。図８は、見守り対象者がベッド上で寝返りをする際に検出される軌跡の一例を示す。ベッド上での寝返りと起き上がりとは共に上半身の移動で共通する可能性がある。そのため、ベッド上での起き上がりの際に検出されるオプティカルフローと同様の傾向をもつオプティカルフローが寝返りの際に検出される可能性がある。そして、オプティカルフローは、動画像内の隣接するフレーム間の動きを表わし、動体の一連の動きを表さないため、制御部１１は、ベッド上での寝返りを起き上がりと誤って推定（認識）してしまう可能性がある。

そこで、制御部１１は、画像処理部２２として機能し、取得される動画像３中の動きを追跡（トラッキング）することで、更に、動体の軌跡を検出してもよい。そして、制御部１１は、行動推定部２３として機能し、検出された軌跡に基づいて、見守り対象者のベッド上での寝返りと区別して、見守り対象者のベッド上での起き上がりを推定してもよい。これにより、動体の一連の動きを補足することが可能な軌跡に基づいて、ベッド上での寝返りと区別して起き上がりを推定することが可能になるため、見守り対象者のベッド上での起き上がりを推定するときの精度を高めることが可能になる。

なお、当該動きの軌跡は、実施の形態に応じて、適宜、取得されてよい。制御部１１は、例えば、オプティカルフローを検出する際に求められた移動点を基準に、動きの軌跡を取得してもよい。具体的には、制御部１１は、当該移動点を中心とした一定枠の領域をトラッキングエリアとする。そして、制御部１１は、トラッキングエリアを設定したフレームの次のフレームにおいて、移動を考慮した一定の範囲内で、トラッキングエリアのテンプレートマッチングを行う。制御部１１は、当該テンプレートマッチングにより一定の適合率を超える領域が発見できた場合、トラッキングが成功できたと判定し、当該トラッキングを継続する。他方、制御部１１は、一定の適合率を超える領域が発見できなかった場合、トラッキングが失敗したと判定し、当該トラッキングを終了する。制御部１１は、このようなトラッキングを行うことで、トラッキングの開始から終了までの動きの軌跡を取得することができる。

また、取得される軌跡に基づいて、見守り対象者の寝返りと起き上がりとを区別するための条件は、実施の形態に応じて、適宜、設定されてよい。例えば、図７及び８で例示されるように、起き上がりは一方向に移動する動作であり、寝返りは必ずしも一方向に移動する動作ではないと想定することができる。この想定に基づいて、制御部１１は、検出された軌跡が一方向の移動を示すと評価できる場合、見守り対象者がベッド上で起き上がったと推定してもよい。他方、検出された軌跡が一方向の移動を示すと評価できない場合、見守り対象者はベッド上で寝返りをしていると推定してもよい。

（ｂ）柵越え
図９は、見守り対象者がベッドの柵越えをする際に検出されるオプティカルフローの一例を示す。図９で例示されるように、見守り対象者がベッドの柵を越えようとすると、ステップＳ１０１で取得される動画像３では、ベッドの端にセットされている柵付近において動きが生じると想定される。そのため、ステップＳ１０２では、見守り対象者がベッドの柵を越えようとする間、図９で例示されるようなオプティカルフローが検出されると想定することができる。なお、図９では、カメラ手前側の端にある柵を見守り対象者が越えようとしている場面を例示する。

そこで、ステップＳ１０３では、制御部１１は、ベッドに柵がセットされている際に、上述の存在領域の内側から外側へ移動する動体が検出されるときに、当該見守り対象者のベッドの柵越えを推定する。上述のとおり、存在領域は、見守り対象者のベッド上での行動に無関係なオプティカルフローを除外し、見守り対象者のベッド上での行動に関連すると想定されるオプティカルフローを限定するために設定される領域である。つまり、当該存在領域は、見守り対象者のベッド上での行動範囲を規定する。そのため、存在領域の内部から外部へ移動する動作は、ベッド上からベッド外で移動する動作であると想定することができる。したがって、ベッドに柵がセットされている際に当該条件を満たす場合には、見守り対象者はベッドの柵を越えようとしていると想定することができる。

当該処理の具体例を挙げると、制御部１１は、ベッドに柵がセットされている際に、存在領域の内側から外側の方向へのオプティカルフローが当該存在領域の端付近で検出された後に、所定の時間以上継続して当該方向にオプティカルフローが検出され、最終的に存在範囲外でオプティカルフローが検出できた場合に、存在領域の内側から外側へ移動する動体が検出できると評価して、見守り対象者のベッドの柵越えを推定してもよい。

なお、上記所定の時間は、見守り対象者の柵越えを推定する際に、オプティカルフローが継続して検出されているか否かを評価するための指標となる。当該所定の時間は、予め設定されてもよいし、ユーザにより設定されてもよいし、所与の時間からユーザが選択することで設定されてもよいし、実施の形態に応じて、適宜、設定されてよい。

なお、ベッドに柵がセットされているか否かは、実施の形態に応じて、適宜、設定されてよく、例えば、ユーザによって設定されてもよい。また、コンピュータによって当該ベッドが制御されている場合、情報処理装置１は、当該ベッドを制御するコンピュータから、当該ベッドに柵がセットされているか否かを示す情報を取得してもよい。

また、制御部１１は、このような動作を上述した軌跡に基づいて、判断してもよい。例えば、制御部１１は、柵越えを推定するための動作の軌跡に係るテンプレートを保持して、取得された軌跡と当該テンプレートとを適合することで、見守り対象者がベッドの柵越えを行っている状態にあるか否かを判定してもよい。なお、この点は、以下の端座位、離床、及び、落下についても同様である。

ここで、身体の一部がベッドから飛び出した場合に、ベッド上での存在領域の内側から外側へ移動する動体が検出される可能性があり、上記ベッドの柵越えを推定するための条件を満たしてしまう可能性がある。ただし、その場合、身体全体で移動する柵越えの場合に比べて、背景差分法により抽出される前景領域の大きさは小さいと想定される。

そこで、制御部１１は、画像処理部２２として機能して、背景と前景とを分離する背景差分法によって、取得される動画像３中の前景領域を検出してもよい。そして、制御部１１は、行動推定部２３として機能して、オプティカルフローに基づいて検出される動体が存在する動体領域内において検出された前景領域が占める領域が所定の大きさを超えるか否かを判定することで、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、見守り対象者のベッドの柵越えを推定してもよい。

具体的には、制御部１１は、動体領域内において前景領域が占める領域が所定の大きさを超えない場合に、見守り対象者の身体の一部がベッドから飛び出した状態であると推定してもよい。他方、制御部１１は、動体領域内において前景領域が占める領域が所定の大きさを超える場合に、見守り対象者の身体の一部がベッドから飛び出した状態ではなく、見守り対象者がベッドの柵を越えようとしている状態であると推定してもよい。

これにより、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、見守り対象者のベッドの柵越えを推定することが可能になる。そのため、見守り対象者のベッドの柵越えを推定するときの精度を高めることができる。

なお、背景差分法による背景と前景との分離方法は、実施の形態に応じて、適宜、選択されてよい。例えば、背景と前景との分離方法として、背景画像と入力画像との差分から背景と前景とを分離する方法、異なる３枚の画像を用いて背景と前景とを分離する方法、及び、統計的モデルを適用して背景と前景とを分離する方法を挙げることができる。

また、制御部１１は、ベッドに柵がセットされているか否かに依らず、見守り対象者のベッドの柵越えを推定してもよい。この場合、柵越えの状態と後述する端座位の状態とで、検出されるオプティカルフローが類似する可能性がある。ただし、端座位の状態では、柵越えの状態とは異なり、ベッド下部において所定の大きさを超える動体領域が検出されると想定される。そこで、制御部１１は、ベッド下部において検出される動体領域の大きさに応じて、柵越えの状態か端座位の状態かを判別してもよい。例えば、制御部１１は、存在領域の内側から外側に向かうオプティカルフローが存在領域の端付近で第１の所定の量以上検出された場合に、ベッド下部（本実施形態では、存在領域の下部）で検出される、所定の大きさを超える移動量を示すオプティカルフローの数が第２の所定の量を超えないときに、端座位の状態と区別して、見守り対象者は柵越えの状態にあると推定してもよい。

（ｃ）端座位
図１０は、見守り対象者がベッド上で端座位の状態になる際に検出されるオプティカルフローの一例を示す。図１０で例示されるように、見守り対象者がベッド上で端座位の状態になろうとすると、ステップＳ１０１で取得される動画像３では、ベッドの端及び下部付近で動きが生じると想定される。そのため、ステップＳ１０２では、見守り対象者が端座位の状態になろうとする間、図１０で例示されるようなオプティカルフローが検出されると想定することができる。

そこで、ステップＳ１０３では、制御部１１は、上述の存在領域の内側から端へ移動する部分と、当該存在領域の内側から外側へ移動する部分と、を有する動体が検出されるときに、当該見守り対象者のベッドにおける端座位を推定する。上述のとおり、当該存在領域は、見守り対象者のベッド上での行動範囲を規定する。そのため、このような動体が検出される場合には、見守り対象者はベッドの端に移動し、端座位の状態になろうとしていると想定することができる。

当該処理の具体例を挙げると、制御部１１は、存在領域の内部から外部の方向へのオプティカルフローが当該存在領域内部で検出された後に、所定の時間以上継続して当該方向にオプティカルフローが検出され、最終的に存在範囲外にベッドの下部の方向（本実施形態では、図１０の紙面上の下方向）に大きさを持つオプティカルフローが検出できた場合に、存在領域の内側から端へ移動する部分と、当該存在領域の内側から外側へ移動する部分と、を有する動体を検出できると評価して、見守り対象者のベッドにおける端座位を推定してもよい。

なお、上記所定の時間は、見守り対象者の端座位を推定する際に、オプティカルフローが継続して検出されているか否かを評価するための指標となる。当該所定の時間は、予め設定されてもよいし、ユーザにより設定されてもよいし、所与の時間からユーザが選択することで設定されてもよいし、実施の形態に応じて、適宜、設定されてよい。

ここで、上述の柵越えのケースと同様に、身体の一部がベッドから飛び出した場合に、ベッド上における端座位を推定するための条件を満たしてしまう可能性がある。ただし、その場合、体全体で移動する端座位の場合に比べて、背景差分法により抽出される前景領域の大きさは小さいと想定される。

そこで、上述の柵越えのケースと同様に、制御部１１は、画像処理部２２として機能して、背景と前景とを分離する背景差分法によって、取得される動画像３中の前景領域を検出してもよい。そして、制御部１１は、行動推定部２３として機能して、オプティカルフローに基づいて検出される動体が存在する動体領域内において検出された前景領域が占める領域が所定の大きさを超えるか否かを判定することで、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、見守り対象者のベッドにおける端座位を推定してもよい。

具体的には、制御部１１は、動体領域内において前景領域が占める領域が所定の大きさを超えない場合に、見守り対象者の身体の一部がベッドから飛び出した状態であると推定してもよい。他方、制御部１１は、動体領域内において前景領域が占める領域が所定の大きさを超える場合に、見守り対象者の身体の一部がベッドから飛び出した状態ではなく、見守り対象者が端座位の状態になろうとしていると推定してもよい。

これにより、見守り対象者の身体の一部がベッドから飛び出した状態と区別して、見守り対象者のベッドにおける端座位を推定することが可能になる。そのため、見守り対象者のベッドにおける端座位を推定するときの精度を高めることができる。

（ｄ）離床
図１１は、見守り対象者がベッドから離床する際に検出されるオプティカルフローの一例を示す。図１１で例示されるように、見守り対象者がベッドから離床すると、ステップＳ１０１で取得される動画像３では、ベッドから離れた位置で動きが生じると想定される。そのため、ステップＳ１０２では、見守り対象者が離床する際に、図１１で例示されるようなオプティカルフローが検出されると想定することができる。

そこで、ステップＳ１０３では、制御部１１は、上述の存在領域の外側で移動する動体が検出されるときに、当該見守り対象者のベッドからの離床を推定する。上述の通り、存在領域は、見守り対象者のベッド上での行動範囲を規定する。そのため、このような動体が検出される場合には、見守り対象者がベッドから離れたところで移動していると想定することができる。

当該処理の具体例を挙げると、制御部１１は、存在領域の外部で任意の方向の大きさを持つオプティカルフローが所定の時間以上継続して検出された場合に、存在領域の外側で移動する動体が検出できると評価して、見守り対象者のベッドからの離床を推定してもよい。

なお、上記所定の時間は、見守り対象者の離床を推定する際に、オプティカルフローが継続して検出されているか否かを評価するための指標となる。当該所定の時間は、予め設定されてもよいし、ユーザにより設定されてもよいし、所与の時間からユーザが選択することで設定されてもよいし、実施の形態に応じて、適宜、設定されてよい。

（ｅ）落下
図１２は、見守り対象者がベッドから落下する際に検出されるオプティカルフローの一例を示す。図１２で例示されるように、見守り対象者がベッドから落下すると、ステップＳ１０１で取得される動画像３では、ベッドの端から下部付近にかけて動きが生じると想定される。そのため、ステップＳ１０２では、見守り対象者がベッドから落下する際には、図１２で例示されるようなオプティカルフローが検出されると想定することができる。

また、見守り対象者がベッドから落下し、落下した場所に留まっているとすると、当該見守り対象者が落下した場所での動きはなくなり、当該見守り対象者は落下した位置で背景として扱われるようになると想定される。

そこで、制御部１１は、画像処理部２２として機能し、背景と前景とを分離する背景差分法によって、取得される動画像３中の前景領域を検出してもよい。そして、制御部１１は、ステップＳ１０３において、上述の存在領域の内側からベッド下方に移動する動体が検出された後に、背景差分法によって検出される前景領域が時間の経過とともに消失するときに、当該見守り対象者のベッドからの落下を推定する。上述のとおり、当該存在領域は、見守り対象者のベッド上での行動範囲を規定する。そのため、このような動体が検出される場合には、見守り対象者はベッドから落下し、落下した場所でとどまっていると想定することができる。

当該処理の具体例を挙げると、制御部１１は、存在領域の内部から外部の方向へのオプティカルフローが当該存在領域内部で検出された後に、当該存在領域の外部で所定の範囲にベッド下方の方向を有するオプティカルフローが検出される場合に、存在領域の内側からベッド下方に移動する動体が検出できたと評価する。そして、制御部１１は、ベッド下方の方向を有するオプティカルフローが検出されなくなった後に、当該ベッド下方の方向を有するオプティカルフローが検出されていた領域について、前記前景領域の大きさを判定する。制御部１１は、当該前景領域が所定の大きさよりも小さくなったときに、時間の経過とともに当該前景領域が消失したと評価して、見守り対象者のベッドからの落下を推定してもよい。

なお、上記所定の範囲は、ベッド下方に移動する動体が見守り対象者の移動に関するか否かを評価するための指標となる。また、上記所定の大きさは、前景領域が消失したか否かを評価するための指標となる。これらは、予め設定されてもよいし、ユーザにより設定されてもよいし、所与の時間からユーザが選択することで設定されてもよいし、実施の形態に応じて、適宜、設定されてよい。

（ｆ）その他
（ａ）〜（ｅ）では、ステップＳ１０２において検出されたオプティカルフローの位置と方向とに基づいて、制御部１１が見守り対象者の各行動を推定する場面を例示した。見守り対象者の行動のうち推定の対象とする行動は、実施の形態に応じて、適宜、選択されてよい。本実施形態では、制御部１１は、（ａ）〜（ｅ）において例示した起き上がり、柵越え、端座位、離床、及び、落下、のうちの少なくともいずれかの行動を推定する。ユーザ（例えば、見守り者）は、起き上がり、柵越え、端座位、離床、及び、落下から選択することで、推定の対象とする行動を決定してもよい。また、ユーザは、これら以外の行動を推定の対象に設定してもよい。

ここで、（ａ）〜（ｅ）は、ベッドの短手方向右側からベッドよりも高い位置に設置されたカメラ２を利用した場合の各行動を推定する条件を例示する。上述した起き上がり方向、所定領域、存在領域等の設定項目は、カメラ２の配置、ベッドの配置、推定する行動等で定めることができる。情報処理装置１は、カメラ２の配置、対象物の配置、及び、推定する行動に応じて、これらの設定上方を記憶部１２に保持していてもよい。そして、情報処理装置１は、カメラ２の配置、対象物の配置、及び、推定する行動の選択をユーザから受け付けて、見守り対象者の行動を推定するための設定項目を特定してもよい。これにより、情報処理装置１によって推定する見守り対象者の行動をユーザがカスタマイズすることが可能になる。

なお、（ａ）〜（ｅ）の各行動の条件を満たさないオプティカルフローが検出された場合、制御部１１は、直前に推定した行動が維持されていると推定してもよいし、（ａ）〜（ｅ）以外の行動状態にあると推定してもよい。

＜ステップＳ１０４＞
ステップＳ１０４では、制御部１１は、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定する。ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動である場合、制御部１１は、ステップＳ１０５に処理を進める。一方、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動ではない場合、制御部１１は、本動作例に係る処理を終了する。

見守り対象者に危険の迫る予兆を示す行動であると設定される行動は、実施の形態に応じて、適宜、選択されてよい。例えば、転落又は転倒が生じる可能性のある行動として、見守り対象者に危険の迫る予兆を示す行動に端座位が設定されていると仮定する。この場合、制御部１１は、ステップＳ１０３において見守り対象者が端座位の状態にあると推定したとき、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であると判定する。

なお、見守り対象者に危険の迫る予兆があるか否かを判定する場合には、見守り対象者の行動の遷移を考慮した方がよい場合がある。例えば、離床から端座位の状態になるよりも、起き上がりから端座位の状態になった方が、見守り対象者が転落又は転倒する可能性が高いと想定することができる。そこで、制御部１１は、ステップＳ１０４において、見守り対象者の行動の遷移を踏まえて、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であるか否かを判定してもよい。

例えば、制御部１１は、見守り対象者の行動を定期的に推定しているところ、ステップＳ１０３において、見守り対象者の起き上がりを推定した後に、見守り対象者が端座位の状態になったと推定したとする。このとき、制御部１１は、本ステップＳ１０４において、ステップＳ１０３において推定した行動が見守り対象者に危険の迫る予兆を示す行動であると判定してもよい。

＜ステップＳ１０５＞
ステップＳ１０５では、制御部１１は、通知部２４として機能し、見守り対象者に危険の迫る予兆があることを知らせるための通知を当該見守り対象者を見守る見守り者に対して行う。

制御部１１は、適当な方法を用いて当該通知を行う。例えば、制御部１１は、当該通知として、情報処理装置１に接続されるディスプレイに、見守り対象者に危険の迫る予兆があることを見守り者に知らせるための画面を表示させてもよい。また、例えば、制御部１１は、電子メールにより、見守り者のユーザ端末に当該通知を行ってもよい。この場合、例えば、通知先となるユーザ端末の電子メールアドレスは記憶部１２に予め登録されており、制御部１１は、当該予め登録されている電子メールアドレスを利用して、見守り対象者に危険の迫る予兆があることを知らせるための通知を見守り者に行う。

また、見守り対象者に危険の迫る予兆があることを知らせるための通知は、ナースコール等の施設に設置された設備と連携して行われてもよい。例えば、制御部１１は、外部インタフェース１５を介して接続されたナースコールを制御し、見守り対象者に危険の迫る予兆があることを知らせるための通知として、当該ナースコールによる呼び出しを行ってもよい。情報処理装置１に接続される施設の設備は、実施の形態に応じて、適宜、決定されてよい。

なお、情報処理装置１は、見守り対象者の行動を定期的に推定する場合、上述の動作例に示される処理を定期的にくり返す。定期的に処理を繰り返す間隔は、適宜、設定されてよい。また、情報処理装置１は、ユーザ（見守り者）の要求に応じて、上述の動作例に示される処理を実行してもよい。

本実施形態に係る情報処理装置１によれば、ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラ２により撮影された動画像３からオプティカルフローが求められる。そして、求められたオプティカルフローに基づいて移動する動体が検出される場合に、検出される動体が見守り対象者に対応すると仮定され、検出される動体の位置と移動方向とに基づいて、見守り対象者のベッド上又はベッド付近での行動が推定される。そのため、画像認識等の高度な画像処理技術を導入しなくても、簡易な方法で見守り対象者の行動を推定することが可能になる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

（深度センサの利用）
制御部１１は、ステップＳ１０３において見守り対象者の行動を推定する際に、動画像３内の奥行きを測定するための深度センサ３１により得られる深度情報を利用してもよい。すなわち、制御部１１は、深度センサ３１により得られる動体の深度に更に基づいて、見守り対象者のベッド上又はベッド付近での行動を推定してもよい。

オプティカルフローに基づいて特定可能な動体の実空間における位置は、ステップＳ１０１で取得される動画像３から特定できるとは限らない。そのため、オプティカルフローに基づいて特定可能な動体は、ベッド上又はベッド付近に存在する見守り対象者の動きではなく、カメラから見て当該見守り対象者の手前に存在する、当該見守り対象者とは無関係な物体の動きに対応する場合がある。

そこで、制御部１１は、深度センサ３１から得られる深度情報を利用することで、オプティカルフローに基づいて特定可能な動体が、ベッド上又はベッド付近に存在する見守り対象者の動きに対応するか否か、を判定することが可能になる。つまり、各行為を推定する際の動体が検出される領域の深度の条件を設定することが可能になる。そのため、このように処理することで、情報処理装置１は、見守り対象者のベッド上又はベッド付近での行動を推定するときの精度を高めることが可能になる。

１…情報処理装置、２…カメラ、３…動画像、
５…プログラム、６…記憶媒体、
２１…画像取得部、２２…画像処理部、２３…行動推定部、２４…通知部、
３１…深度センサ

Claims (14)

1. ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得する画像取得部と、
   取得した前記動画像内におけるオプティカルフローを求める画像処理部と、
   求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定する行動推定部と、
   を備え、
   前記画像処理部は、更に、背景と前景とを分離する背景差分法によって、前記動画像中の前景領域を検出し、
   前記行動推定部は、前記ベッドに柵がセットされている際に、前記見守り対象者が前記ベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側から外側へ移動する前記動体が検出されるときに、前記オプティカルフローに基づいて検出される前記動体が存在する動体領域内において前記前景領域が占める領域が所定の大きさを超える否かを判定することで、前記見守り対象者の身体の一部が前記ベッドから飛び出した状態と区別して、前記見守り対象者の前記ベッドの柵越えを推定する、
   情報処理装置。
2. ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得する画像取得部と、
   取得した前記動画像内におけるオプティカルフローを求める画像処理部と、
   求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定する行動推定部と、
   を備え、
   前記行動推定部は、前記見守り対象者が前記ベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側から端へ移動する部分と、当該存在領域の内側から外側へ移動する部分と、を有する前記動体が検出されるときに、前記見守り対象者の前記ベッドにおける端座位を推定する、
   情報処理装置。
3. 前記画像処理部は、更に、背景と前景とを分離する背景差分法によって、前記動画像中の前景領域を特定し、
   前記行動推定部は、前記オプティカルフローに基づいて検出される前記動体が存在する動体領域内において前記前景領域が占める領域が所定の大きさを超える否かを判定することで、前記見守り対象者の身体の一部が前記ベッドから飛び出した状態と区別して、前記見守り対象者の前記ベッドにおける端座位を推定する、
   請求項２に記載の情報処理装置。
4. ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得する画像取得部と、
   取得した前記動画像内におけるオプティカルフローを求める画像処理部と、
   求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定する行動推定部と、
   を備え、
   前記画像処理部は、更に、背景と前景とを分離する背景差分法によって、前記動画像中の前景領域を特定し、
   前記行動推定部は、前記見守り対象者が前記ベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側から前記ベッド下方に移動する前記動体が検出された後に、前記背景差分法によって検出される前記前景領域が時間の経過とともに消失するときに、前記見守り対象者の前記ベッドからの落下を推定する、
   情報処理装置。
5. 前記行動推定部は、前記ベッド上で寝ている状態の前記見守り対象者の上半身が存在しうる領域内から、前記見守り対象者の起き上がり方向に移動する前記動体が検出されるときに、前記見守り対象者の前記ベッド上での起き上がりを推定する、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記行動推定部は、前記見守り対象者が前記ベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域内において、前記ベッド上で寝ている状態の前記見守り対象者の上半身が存在しうる領域内から、前記見守り対象者の起き上がり方向に移動する前記動体が検出されるときに、前記見守り対象者の前記ベッド上での起き上がりを推定する、
   請求項５に記載の情報処理装置。
7. 前記画像処理部は、前記動画像中の動きを追跡することで、更に、前記動体の軌跡を検出し、
   前記行動推定部は、検出された前記軌跡に基づいて、前記見守り対象者の前記ベッド上での寝返りと区別して、前記起き上がりを推定する、
   請求項５又は６に記載の情報処理装置。
8. 前記行動推定部は、前記見守り対象者が前記ベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の外側で移動する前記動体が検出されるときに、前記見守り対象者の前記ベッドからの離床を推定する、
   請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記行動推定部は、深度センサにより得られる前記動体の深度に更に基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定する、
   請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記見守り対象者について推定した行動が前記見守り対象者に危険の迫る予兆を示す行動である場合に、前記見守り対象者を見守る見守り者に当該予兆を知らせるための通知を行う通知部を更に備える、
    請求項１から９のいずれか１項に記載の情報処理装置。
11. コンピュータが、
    ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得するステップと、
    取得した前記動画像内におけるオプティカルフローを求めるステップと、
    求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定するステップと、
    を実行し、
    前記コンピュータが、背景と前景とを分離する背景差分法によって、前記動画像中の前景領域を検出するステップを更に実行し、
    前記推定するステップでは、前記コンピュータは、前記ベッドに柵がセットされている際に、前記見守り対象者が前記ベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側から外側へ移動する前記動体が検出されるときに、前記オプティカルフローに基づいて検出される前記動体が存在する動体領域内において前記前景領域が占める領域が所定の大きさを超える否かを判定することで、前記見守り対象者の身体の一部が前記ベッドから飛び出した状態と区別して、前記見守り対象者の前記ベッドの柵越えを推定する、
    情報処理方法。
12. コンピュータに、
    ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得するステップと、
    取得した前記動画像内におけるオプティカルフローを求めるステップと、
    求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定するステップと、
    を実行させるためのプログラムであって、
    前記コンピュータに、背景と前景とを分離する背景差分法によって、前記動画像中の前景領域を検出するステップを更に実行させ、
    前記推定するステップでは、前記コンピュータに、前記ベッドに柵がセットされている際に、前記見守り対象者が前記ベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側から外側へ移動する前記動体が検出されるときに、前記オプティカルフローに基づいて検出される前記動体が存在する動体領域内において前記前景領域が占める領域が所定の大きさを超える否かを判定させることで、前記見守り対象者の身体の一部が前記ベッドから飛び出した状態と区別して、前記見守り対象者の前記ベッドの柵越えを推定させる、
    プログラム。
13. コンピュータに、
    ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得するステップと、
    取得した前記動画像内におけるオプティカルフローを求めるステップと、
    求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定するステップと、
    を実行させるためのプログラムであって、
    前記推定するステップでは、前記コンピュータに、前記見守り対象者が前記ベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側から端へ移動する部分と、当該存在領域の内側から外側へ移動する部分と、を有する前記動体が検出されるときに、前記見守り対象者の前記ベッドにおける端座位を推定させる、
    プログラム。
14. コンピュータに、
    ベッド上及びベッド付近での見守り対象者の行動を見守るために設置されたカメラにより撮影された動画像を取得するステップと、
    取得した前記動画像内におけるオプティカルフローを求めるステップと、
    求めた前記オプティカルフローに基づいて移動する動体が検出される場合に、検出される当該動体は前記見守り対象者に対応すると仮定して、検出される当該動体の位置と移動方向とに基づいて、前記見守り対象者のベッド上又はベッド付近での行動を推定するステップと、
    を実行させるためのプログラムであって、
    前記コンピュータに、背景と前景とを分離する背景差分法によって、前記動画像中の前景領域を検出するステップを更に実行させ、
    前記推定するステップでは、前記コンピュータに、前記見守り対象者が前記ベッド上で行動した場合に当該見守り対象者が存在しうる領域として設定された存在領域の内側から前記ベッド下方に移動する前記動体が検出された後に、前記背景差分法によって検出される前記前景領域が時間の経過とともに消失するときに、前記見守り対象者の前記ベッドからの落下を推定させる
    プログラム。
    
    

Images