JP6606912B2 - 浴室異常検知装置、浴室異常検知方法、及び浴室異常検知プログラム - Google Patents

Description

本発明は、浴室異常検知装置、浴室異常検知方法、及び浴室異常検知プログラムに関する。

近年、カメラ、センサ等で浴室内の情報を取得し、得られた情報を解析することで浴室内の入浴者が異常状態にあるか否かを監視して、当該入浴者を見守るシステムが開発されている。

例えば、特許文献１では、距離センサと水位センサとによって入浴者の状態を監視するシステムが提案されている。具体的には、当該システムでは、画像解析により入浴者の呼吸器の位置を特定する。そして、距離センサ及び水位センサによって入浴者の呼吸器に対する水位を測定し、これによって、入浴者の水没を検知することが提案されている。

また、例えば、特許文献２では、振動を検出するセンサユニットを浴槽内の湯水に浮かべることで、当該浴槽内の湯水の振動を検出し、検出した湯水の振動に基づいて入浴者の状態を監視するシステムが提案されている。具体例として、特許文献２では、振動が検出されない状態が所定時間継続した場合に、入浴者が活動していないとみなして警報を発することが提案されている。

また、例えば、特許文献３では、距離画像センサと水面位置検出手段とによって、入浴者の状態を監視するシステムが提案されている。具体的には、距離画像センサによって検出される入浴者の頭部の下縁位置が水面位置検出手段によって検出される水面位置よりも高いか否かを判定する。そして、頭部の下縁位置が水面位置よりも高い場合には、入浴者の動きの無い状態が一定時間継続するか否かによって、入浴者に異常状態が発生したか否かを検知する。一方、頭部の下縁位置が水面位置よりも低い場合には、入浴者の異常状態を即座に検知し、警報を発することが提案されている。

特開平１０−１５１０８７号公報 特開２００９−１２２９６７号公報 特開２０１４−１３８６３７号公報

従来、上記のように、入浴者の位置と水面の高さ（水位）とに基づいて、入浴者の異常状態を検知するシステムがある。このようなシステムでは、上記のように、入浴者の位置を距離画像センサによって特定している。しかしながら、この距離画像センサは、光源から照射した光の反射に基づいて対象物までの距離を測定するため、入浴者の位置と同時に、浴槽内の水位を特定するのは困難であった。

そこで、従来のシステムでは、浴槽内の水位を特定するために、浴槽内の水位を検知する補助センサが別途設けられていた。すなわち、入浴者の位置と水面の高さ（水位）とを特定するために、少なくとも距離画像センサと水位を検知する補助センサとを含む多種のセンサが利用されていた。そのため、従来のシステムでは、システム構成が複雑になってしまい、製作コストが高くなってしまうという問題点があった。

本発明は、一側面では、このような点を考慮してなされたものであり、その目的は、浴室内の異常を検知するシステムを比較的に簡易な構成で実現することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る浴室異常検知装置は、浴室内を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、取得した前記撮影画像内で、前記浴室内で入浴する入浴者の写る人物領域を抽出する人物領域抽出部と、抽出された前記人物領域に含まれる各画素の深度を参照することにより前記入浴者の実空間上の位置を特定し、前記実空間上に設定された仮想水面の位置と前記実空間上で特定した前記入浴者の位置との位置関係に基づいて、前記入浴者が異常状態にあるか否かを判定する状態判定部と、前記入浴者が異常状態にあると判定された場合に、前記浴室内における前記入浴者の異常状態を検知したことを知らせるための異常検知通知を行う通知部と、を備える。

上記構成では、浴室内の入浴者の位置を特定するために、各画素の深度を示す深度データを含む撮影画像が用いられる。この各画素の深度は、撮影装置から被写体までの深さを示す。より詳細には、被写体の深度は、当該被写体の表面に対して取得される。すなわち、深度データを利用すれば、実空間上における被写体表面の位置を特定することができる。そのため、この深度データを利用すれば、入浴者に対する撮影装置の視野方向（視点）に依存することなく、取得された撮影画像から浴室内の入浴者の実空間上の位置を特定することができる。

上記構成では、このように特定される入浴者の実空間上の位置と実空間上に設定された仮想水面の位置との位置関係に基づいて、入浴者が異常状態にあるか否かが判定される。すなわち、当該構成では、入浴者の異常状態を検知する指標となる水面は、補助センサ等によって現実に検出される訳ではなく、仮想水面としてシステム上で仮想的に設定される。したがって、上記構成によれば、浴槽内の水位を検知する補助センサが不要になるため、浴室内の異常を検知するシステムを比較的に簡易な構成で実現することができる。

なお、仮想水面の高さは、実施の形態に応じて適宜設定されてよい。近年では、浴槽に定量の湯水を自動で入れたり、定量の湯水を入れるのを利用者に促したりする給湯器システムが普及している。この給湯器システムによれば、浴槽内における実際の水面の高さは、浴槽のタイプと当該浴槽に入れる湯水の量とによって特定することができる。仮想水面の高さは、例えば、このような情報に基づいて設定されてよい。また、そのような条件を前提に、仮想水面の高さは、システム上で予め設定されてもよい。

ここで、浴室内で生じている事象を忠実に検知する観点からは、仮想水面の高さは浴槽内における実際の水面の高さと一致しているほうが好ましい。しかしながら、仮想水面は、浴室内の入浴者の状態を推定する指標に過ぎず、仮想水面の高さと実際の水面の高さとは必ずしも一致していなくてもよい。

例えば、異常状態の一例として入浴者の沈水を検知する場面を想定した場合、浴槽内における実際の水面の高さがあまりに低いと入浴者の沈水は生じ得ない。すなわち、入浴者の沈水が生じるような水面の高さの範囲は限られる。また、沈水したときの入浴者の姿勢も限られる。仮想水面は、このような沈水状態等の異常状態を検知する指標になりさえすればよく、想定される異常状態に応じて適宜設定することができる。

加えて、実際の水面は揺れており、また、入浴者の身体も動いている。つまり、異常事態が生じる際の浴槽内における実際の水面の高さ及び入浴者の身体の位置は、ある程度変動し得るものである。そのため、たとえ仮想水面の高さと実際の水面の高さとが多少ずれていたとしても、水面の高さの変動及び入浴者の位置の変動によってそのようなずれは無視することができ、その仮想水面に基づいて入浴者の異常状態を検知し得る。したがって、仮想水面の高さは、実際の水面の高さとは一致していなくてもよく、実施の形態に応じて適宜設定されてよい。

また、上記一側面に係る浴室異常検知装置の別の形態として、前記人物領域に写る前記入浴者の頭部が前記実空間上で前記仮想水面よりも下方である場合に、上記状態判定部は、前記入浴者が異常状態にあるとして、前記入浴者が沈水状態にあると判定してもよい。

当該構成では、入浴者の頭部が仮想水面よりも下方にあることに基づいて、当該入浴者が浴槽の湯水に沈んだ状態（沈水状態）に陥っていることを検知することができる。したがって、当該構成によれば、当該沈水状態を検知し、異常状態として通知することで、浴室内の事故を防止することができる。

また、上記一側面に係る浴室異常検知装置の別の形態として、前記人物領域に写る前記入浴者の顔面が前記仮想水面の方を向き、前記実空間上で前記入浴者の頭部が前記仮想水面の高さにある場合に、上記状態判定部は、前記入浴者が異常状態にあるとして、前記入浴者が沈水状態にあると判定してもよい。

当該構成によれば、入浴者の顔の向きと位置とに基づいて、当該入浴者が沈水状態に陥っていることを検知することができる。したがって、当該構成によれば、当該沈水状態を検知し、異常状態として通知することで、浴室内の事故を防止することができる。

また、上記一側面に係る浴室異常検知装置の別の形態として、上記実空間上において、前記入浴者が沈水する予兆を検知するための予兆検知領域が前記仮想水面の上方に更に設定されてもよい。そして、上記状態判定部は、前記実空間上において、前記人物領域に写る前記入浴者の頭部が前記予兆検知領域に進入したか否かによって、前記入浴者が沈水状態に陥る予兆があるか否かを判定してもよく、上記通知部は、前記入浴者が沈水状態に陥る予兆があると判定された場合に、当該予兆を検知したことを知らせるための予兆検知通知を行ってもよい。

当該構成では、仮想水面の上方に予兆検知領域が設けられ、この予兆検知領域に入浴者の頭部が進入したか否かによって、沈水の予兆があるか否かが判定される。そのため、入浴者の頭部が仮想水面に近接したことを検出することができ、これによって、上記沈水状態に陥る手前の段階で、当該沈水状態に陥る予兆を検知することができる。したがって、当該構成によれば、沈水状態に陥る手前の段階で、当該沈水状態に陥る予兆を検知し、当該予兆を検知したことを報知することができるため、浴室内における沈水事故を未然に防止することができる。

また、上記一側面に係る浴室異常検知装置の別の形態として、上記状態判定部は、前記実空間上において、前記入浴者の頭部が前記予兆検知領域に一定時間内に所定回数以上進入したか否かによって、前記入浴者が沈水状態に陥る予兆があるか否かを判定してもよい。

浴槽内で眠りに陥る入浴者は、頭部を含む上半身を繰り返し揺動させる傾向にある。当該構成によれば、仮想水面の上方に設けられた予兆検知領域に一定時間内に所定回数以上入浴者の頭部が進入したか否かによって、このような傾向を検知することができ、これによって、眠りに陥った入浴者が沈水するのを未然に防止することができる。

また、上記一側面に係る浴室異常検知装置の別の形態として、上記状態判定部は、前記人物領域に写る前記入浴者の頭部が前記仮想水面に一定時間内に所定回数以上接触したか否かによって、前記入浴者が沈水状態に陥る予兆があるか否かを判定してもよい。そして、上記通知部は、前記入浴者が沈水状態に陥る予兆があると判定された場合に、当該予兆を検知したことを知らせるための予兆検知通知を行ってもよい。

上記のとおり、浴槽内で眠りに陥る入浴者は、頭部を含む上半身を繰り返し揺動させる傾向にある。当該構成によれば、入浴者の頭部が仮想水面に一定時間内に所定回数以上接触したか否かによって、このような傾向を検知することができ、これによって、眠りに陥った入浴者が沈水するのを未然に防止することができる。

また、上記一側面に係る浴室異常検知装置の別の形態として、上記仮想水面の高さは、浴槽のタイプと該浴槽に入れる湯水の量とに応じて設定されてもよい。

浴槽内における実際の水面の高さは、当該浴槽のタイプと該浴槽に入れる湯水の量とによってほぼ決定される。当該構成によれば、浴槽のタイプと該浴槽に入れる湯水の量とに応じて仮想水面の高さを設定することで、仮想水面の高さを実際の水面の高さに適合させることができ、これによって、仮想水面による異常検知の精度を高めることができる。なお、浴槽の湯はりを自動で行う又は一定量の湯水を入れることを促す給湯器システムが併用されている場合、浴室異常検知装置は、当該給湯器システムから浴槽に入れる湯水の量の情報を取得してもよい。

また、上記一側面に係る浴室異常検知装置の別の形態として、前記実空間上において、前記人物領域に写る前記入浴者の身体の少なくとも一部が、前記仮想水面の上方から前記仮想水面の方に所定速度以上の速度で移動した場合に、上記状態判定部は、前記入浴者が異常状態にあるとして、前記入浴者が転倒状態にあると判定してもよい。

入浴者が浴槽内で転倒した場合には、入浴者の身体の少なくとも一部が浴槽内で落下する。当該構成によれば、このような入浴者の身体の動きを検出することで、入浴者の浴槽内での転倒を検知することができ、この状態を異常状態として通知することで、浴室内の事故を防止することができる。

なお、上記各形態に係る浴室異常検知装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。

例えば、本発明の一側面に係る浴室異常検知方法は、コンピュータが、浴室内を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記浴室内で入浴する入浴者の写る人物領域を抽出するステップと、抽出された前記人物領域に含まれる各画素の深度を参照することにより前記入浴者の実空間上の位置を特定し、前記実空間上に設定された仮想水面の位置と前記実空間上で特定した前記入浴者の位置との位置関係に基づいて、前記入浴者が異常状態にあるか否かを判定するステップと、前記入浴者が異常状態にあると判定された場合に、前記浴室内における前記入浴者の異常状態を検知したことを知らせるための異常検知通知を行うステップと、を実行する情報処理方法である。

また、例えば、本発明の一側面に係る浴室異常検知プログラムは、コンピュータに、浴室内を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記浴室内で入浴する入浴者の写る人物領域を抽出するステップと、抽出された前記人物領域に含まれる各画素の深度を参照することにより前記入浴者の実空間上の位置を特定し、前記実空間上に設定された仮想水面の位置と前記実空間上で特定した前記入浴者の位置との位置関係に基づいて、前記入浴者が異常状態にあるか否かを判定するステップと、前記入浴者が異常状態にあると判定された場合に、前記浴室内における前記入浴者の異常状態を検知したことを知らせるための異常検知通知を行うステップと、を実行させるためのプログラムである。

本発明によれば、浴室内の異常を検知するシステムを比較的に簡易な構成で実現することができる。

図１Ａは、本発明が適用される場面を浴槽の長手方向から見た様子を模式的に例示する。 図１Ｂは、本発明が適用される場面を浴槽の短手方向から見た様子を模式的に例示する。 図２は、実施の形態に係る浴室異常検知装置のハードウェア構成を例示する。 図３は、実施の形態に係るカメラにより取得される深度と被写体との関係を例示する。 図４は、実施の形態に係る浴室異常検知装置の機能構成を例示する。 図５は、実施の形態に係る浴室異常検知装置による入浴者の見守りに関する処理手順を例示する。 図６Ａは、実施の形態に係るカメラにより取得される撮影画像を例示する。 図６Ｂは、実施の形態に係るカメラにより取得される撮影画像を例示する。 図７は、実施の形態に係る撮影画像内の座標関係を例示する。 図８は、実施の形態に係る撮影画像の任意の点（画素）とカメラとの実空間内での位置関係を例示する。 図９Ａは、入浴者が浴槽内で仰向けに沈水した場面を模式的に例示する。 図９Ｂは、入浴者が浴槽内でうつむけに沈水した場面を模式的に例示する。 図９Ｃは、入浴者が浴槽内で転倒した場面を模式的に例示する。 図１０は、入浴者が眠りかけ沈水しそうになっている場面を模式的に例示する。 図１１Ａは、本発明の他の形態が適用される場面を浴槽の長手方向から見た様子を模式的に例示する。 図１１Ｂは、本発明の他の形態が適用される場面を浴槽の短手方向から見た様子を模式的に例示する。 図１２は、入浴者が眠りかけ沈水しそうになっている場面を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

§１ 適用場面
まず、図１Ａ及び図１Ｂを用いて、本発明が適用する場面について説明する。図１Ａ及び図１Ｂは、本発明が適用される場面の一例として、本実施形態に係る浴室異常検知装置１により浴室で入浴する入浴者を見守る場面を模式的に例示する。図１Ａは、浴槽の長手方向から浴室を見た様子を例示しており、図１Ｂは、浴槽の短手方向から浴室を見た様子を例示している。そのため、図１Ａの上下方向は図１Ｂの上下方向に対応しており、図１Ａの左右方向は図１Ｂの紙面に垂直な方向に対応しており、図１Ａの紙面に垂直な方向は図１Ｂの左右方向に対応している。

入浴者は、入口から浴室内に入る。そして、入浴者は、浴室内で、洗い場で身体を洗ったり、図１Ａ及び図１Ｂに例示されるように浴槽内で湯水に浸かったりする。本実施形態に係る浴室異常検知装置１は、このような入浴者の浴室内での行動をカメラ２によって撮影し、得られた撮影画像３を解析することで、浴室内の入浴者が異常状態にあるか否かを監視して、当該入浴者の見守りを行う情報処理装置である。そのため、本実施形態に係る浴室異常検知装置１は、入浴者を見守る場面で広く利用可能である。

具体的には、まず、本実施形態に係る浴室異常検知装置１は、浴室内を撮影した撮影画像３をカメラ２から取得する。図１Ａ及び図１Ｂでは、浴室内に居る入浴者を撮影可能なように、浴室の天井の略中央に設置されている。ただし、カメラ２の設置場所は、このような例に限定されなくてもよく、浴室内を撮影可能であれば、実施の形態に応じて適宜選択されてよい。

カメラ２は、撮影画像３内の各画素に対応する深度を示す深度データを取得可能に構成される。本実施形態では、カメラ２は、各画素の深度を取得可能なように、被写体の深度を測定する深度センサ（後述する深度センサ２１）を含んでいる。本実施形態に係る浴室異常検知装置１は、このようなカメラ２と接続し、状態を監視する対象となる入浴者を撮影した撮影画像３を取得する。

そのため、浴室異常検知装置１が取得する撮影画像３は、画素毎に得られる深度を示す深度データを含んでいる。このような撮影画像３は、撮影範囲内の被写体の深度を示すデータを含んでいればよく、そのデータ形式は実施の形態に応じて適宜選択可能である。

例えば、撮影画像３は、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、例えば、撮影画像３は、動画像で構成されてもよいし、１枚又は複数枚の静止画像で構成されてもよい。

深度データにより示される被写体の深度は、当該被写体の表面に対して取得される。そのため、深度データの示す各画素の深度を参照することで、実空間上における被写体表面の位置を特定することができる。

そこで、次に、浴室異常検知装置１は、取得した撮影画像３内において入浴者の写る人物領域を抽出する。そして、浴室異常検知装置１は、抽出された人物領域に含まれる各画素の深度を参照することにより、当該入浴者の実空間上の位置を特定する。

更に、本実施形態では、入浴者の異常状態を検知する指標として、仮想水面が実空間上に設定されている。当該仮想水面は、撮影画像３に写る実空間において、換言すると、カメラ２の撮影範囲内において、システム上で設定される仮想的な水面である。本実施形態に係る浴室異常検知装置１は、当該実空間上に設定された仮想水面の位置と実空間上で特定された入浴者の位置との位置関係に基づいて、入浴者が異常状態にあるか否かを判定する。

例えば、浴室異常検知装置１は、実空間上で入浴者の頭部が仮想水面より下方に位置するか否かに基づいて、入浴者が沈水状態にあるか否かを判定することができる。また、例えば、浴室異常検知装置１は、水平方向において入浴者が仮想水面の範囲内に居るか否かに基づいて、入浴者が浴槽内に居るか又は洗い場に居るかを判定することができる。

そして、浴室異常検知装置１は、入浴者が異常状態にあると判定された場合に、浴室内のおける入浴者の異常状態を検知したことを知らせるための異常検知通知を行う。これによって、浴室異常検知装置１は、浴室内で入浴者が異常状態にあることを検知した場合に、異常事態が発生していることを入浴者自身及び／又は入浴者以外の者に報知することができる。

このように、本実施形態に係る浴室異常検知装置１では、入浴者の異常状態を検知する指標として、補助センサ等によって検出される浴槽内における実際の水面を採用する訳ではなく、システムにより与えられる仮想的な水面（仮想水面）を採用する。したがって、本実施形態に係る浴室異常検知装置１は、浴槽内における実際の水面を検出することから解放されるため、システム構成を単純化し、また、その分だけ計算量を低減することができる。よって、本実施形態によれば、浴室内の異常を検知するシステムを比較的に簡易な構成で実現することができる。

なお、浴室異常検知装置１の配置場所は、カメラ２から撮影画像３を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、図１Ａ及び図１Ｂで例示されるように、浴室異常検知装置１は、浴室及びカメラ２に近接するように配置されてもよい。また、浴室異常検知装置１は、ネットワークを介してカメラ２と接続してもよく、浴室及びカメラ２とは全く異なる場所に配置されてもよい。

§２ 構成例
＜ハードウェア構成＞
次に、図２を用いて、浴室異常検知装置１のハードウェア構成を説明する。図２は、本実施形態に係る浴室異常検知装置１のハードウェア構成を例示する。浴室異常検知装置１は、図２に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。図２では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。

なお、浴室異常検知装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、浴室異常検知装置１の内部装置としてではなく、外部装置として浴室異常検知装置１に接続されてもよい。また、浴室異常検知装置１はカメラ２を内蔵してもよい。また、例えば、ドライブ１７は、外部インタフェース１５を介して接続されてもよいし、省略されてもよい。また、浴室異常検知装置１は、複数の外部インタフェース１５を備えてもよく、複数種類の外部装置と接続してもよい。

本実施形態に係るカメラ２は、外部インタフェース１５を介して浴室異常検知装置１に接続しており、浴室内で入浴する入浴者を撮影する。このカメラ２は、撮影装置と称されてもよい。カメラ２の設置場所は、浴室内で入浴する入浴者、特に、浴槽内の湯水に浸かる入浴者を撮影可能であれば、実施の形態に応じて適宜選択されてよい。例えば、図１Ａ及び図１Ｂに例示されるように、カメラ２は、浴室の天井中央付近に設置されてもよい。

このカメラ２は、深度データを含む撮影画像３を撮影可能なように、被写体の深度を測定するための深度センサ２１を備えている。この深度センサ２１の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ２１として、パターン照射方式、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。

ただし、カメラ２の構成は、深度を取得可能であれば、このような例に限定されず、実施の形態に応じて適宜選択可能である。例えば、カメラ２は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ２は、撮影範囲内の被写体の深度を特定可能であれば、深度センサ２１単体に置き換わってもよい。

なお、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ２１は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、Occipital社のStructure Sensorを挙げることができる。

ここで、図３を用いて、本実施形態に係る深度センサ２１によって測定される深度を詳細に説明する。図３は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３で例示されるように、被写体の深さは、例えば、カメラ２と対象物との直線の距離Ａで表現されてもよいし、カメラ２の被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。

すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａ及び距離Ｂは、例えば、三平方の定理等に基づいて、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。本実施形態に係る浴室異常検知装置１は、このような深度を利用して、入浴者の状態を判定する。

また、本実施形態では、記憶部１２には、仮想水面の設定を示す仮想水面設定情報１２１とプログラム５とが記憶されている。仮想水面設定情報１２１については後述する。プログラム５は、浴室異常検知装置１に後述する入浴者の見守りに関する処理手順を実行させるためのプログラムであり、本発明の「浴室異常検知プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。

記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。なお、図２では、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体が例示されている。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、以上の浴室異常検知装置１は、例えば、提供されるサービス専用に設計された装置であってもよいし、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置であってもよい。更に、浴室異常検知装置１は、１又は複数のコンピュータにより実装されてもよい。

＜機能構成例＞
次に、図４を用いて、浴室異常検知装置１の機能構成を説明する。図４は、本実施形態に係る浴室異常検知装置１の機能構成を例示する。本実施形態では、浴室異常検知装置１の制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、浴室異常検知装置１は、画像取得部１１１、人物領域抽出部１１２、状態判定部１１３、及び通知部１１４を備えるコンピュータとして機能する。

画像取得部１１１は、カメラ２によって撮影された撮影画像３を取得する。取得される撮影画像３は、各画素の深度を示す深度データが含まれている。上記のとおり、この深度データによれば、撮影画像３内に写る被写体の実空間上の位置、より詳細には、実空間上における被写体表面の位置を特定することができる。

人物領域抽出部１１２は、取得した撮影画像３内において、浴室内で入浴する入浴者の写る人物領域を抽出する。状態判定部１１３は、抽出された人物領域に含まれる各画素の深度を参照し、入浴者の実空間上の位置を特定する。そして、状態判定部１１３は、実空間上に設定された仮想水面の位置と実空間上で特定した入浴者の位置との位置関係に基づいて、入浴者が異常状態にあるか否かを判定する。

仮想水面は、上記のとおり、システム上で設定される仮想的な水面であり、入浴者の状態を検知する基準となる。この仮想水面の形状、高さ、傾き、範囲等は、実施の形態に応じて適宜設定されてよい。例えば、上記図１Ａ及び図１Ｂでは、仮想水面は、浴槽の上端付近に浴槽内を覆う水平面を構成するように設定されている。しかしながら、仮想水面の形状、高さ、傾き及び範囲は、このような例に限定されなくてもよい。

例えば、仮想水面は、浴槽内を完全には覆っていなくてもよい。また、仮想水面は、水平に配置されていなくてもよい。また、仮想水面は、湾曲していてもよいし、凹凸を有してもよい。また、仮想水面の高さ（浴槽内での位置）は、固定されていてもよいし、変動してもよい。仮想水面の形状、高さ、傾き、範囲等の設定は、ユーザによって適宜変更可能であってもよい。また、仮想水面の設定について、システム上で予め決められた複数の候補が用意されてもよい。この場合、用意された複数の候補から使用する設定をユーザが選択することで、仮想水面の設定が決定されてもよい。

ここで、近年では、浴槽に定量の湯水を自動で入れたり、定量の湯水を入れるのを利用者に促したりする給湯器システムが普及している。この給湯器システムによれば、浴槽内における実際の水面の高さは、浴槽のタイプと当該浴槽に入れる湯水の量とによって特定することができる。

そこで、仮想水面の高さは、例えば、このような情報に基づいて設定されてよい。すなわち、仮想水面の高さは、浴槽のタイプと浴槽に入れる湯水の量とに応じて設定されてよい。なお、浴槽のタイプの情報、及び浴槽に入れる湯水の量の情報を取得する方法は、実施の形態に応じて適宜選択されてよい。

例えば、記憶部１２等は、浴槽のタイプのリストを保持してもよい。そして、制御部１１は、タッチパネルディスプレイ１３を介してそのリストをユーザに提示し、利用される浴槽のタイプの指定を受け付けてよい。これにより、浴室異常検知装置１は、浴室内で利用される浴槽のタイプの情報を取得することができる。

また、例えば、浴室異常検知装置１は、タッチパネルディスプレイ１３を介してユーザによる湯水の量の指定・入力を受け付けてよい。これにより、浴室異常検知装置１は、浴槽に入れる湯水の量の情報を取得することができる。また、浴室異常検知装置１は、上記のような給湯器システムにアクセスすることで、浴槽に入れる湯水の量の情報を取得してもよい。

仮想水面の高さは、浴室内で生じている事象を忠実に検知する観点から、浴槽内における実際の水面の高さと一致しているほうが好ましい。しかしながら、仮想水面は、浴室内の入浴者の状態を推定する指標に過ぎず、仮想水面の高さと実際の水面の高さとは必ずしも一致していなくてもよい。

例えば、異常状態の一例として入浴者の沈水を検知する場面を想定した場合、浴槽内における実際の水面の高さがあまりに低いと入浴者の沈水は生じ得ない。すなわち、入浴者の沈水が生じるような水面の高さの範囲は限られる。また、後述する図９Ａ及び図９Ｂに例示されるように、沈水する際の入浴者の姿勢も限られる。仮想水面は、このような沈水状態等の異常状態を検知する指標になりさえすればよいため、想定される異常状態に応じて適宜位置決めすることができる。

加えて、実際の水面は揺れており、また、入浴者の身体も動いている。つまり、異常事態が生じる際の浴槽内における実際の水面の高さ及び入浴者の身体の位置は、ある程度変動し得るものである。そのため、たとえ仮想水面の高さと実際の水面の高さとが多少ずれていたとしても、水面の高さの変動及び入浴者の位置の変動によってそのようなずれは無視することができ、その仮想水面に基づいて入浴者の異常状態を検知し得る。

したがって、仮想水面の高さは、実際の水面の高さとは一致していなくてもよく、実施の形態に応じて適宜設定されてよい。例えば、仮想水面は、浴槽内の実際の水位の変動を考慮して、浴槽の上端から下方に数十センチ程度の幅で設定されてよい。また、例えば、仮想水面の高さは、上記のような浴槽のタイプ及び浴槽に入れる湯水の量の条件を前提に、システム上で予め固定的に設定されてもよい。

なお、本実施形態では、このような仮想水面の設定は、仮想水面設定情報１２１として記憶部１２に記憶されている。すなわち、仮想水面の設定が独立のデータで構成されている。しかしながら、仮想水面の設定を保持する方法はこのような例に限られなくてもよく、仮想水面の設定は、プログラム５の一部に組み込まれてもよい。

また、本実施形態では、仮想水面設定情報１２１は、自装置内の記憶部１２に格納されている。しかしながら、仮想水面設定情報１２１は、他の情報処理装置の記憶装置に格納されていてもよい。この場合、浴室異常検知装置１は、例えば、ネットワークを介して、当該他の情報処理装置から仮想水面設定情報１２１を取得してもよい。

通知部１１４は、入浴者が異常状態にあると判定された場合に、浴室内における入浴者の異常状態を検知したことを知らせるための異常検知通知を行う。すなわち、状態判定部１１３が入浴者の異常状態を検知した場合に、浴室内で異常事態が発生していることを、例えば、入浴者自身、入浴者以外の者等に報知する。これにより、本実施形態に係る浴室異常検知装置１は、浴室内での事故を防止することができる。

なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、浴室異常検知装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。各機能に関しては後述する動作例で詳細に説明する。

§３ 動作例
次に、図５を用いて、浴室異常検知装置１の動作例を説明する。図５は、浴室異常検知装置１による入浴者の見守りに関する処理手順を例示する。なお、以下で説明する入浴者の見守りに関する処理手順は、本発明の「浴室異常検知方法」に相当する。ただし、以下で説明する入浴者の見守りに関する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、カメラ２により浴室内を撮影した撮影画像３を取得する。撮影画像３を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。

本実施形態では、カメラ２は、深度センサ２１を備えている。そのため、本ステップＳ１０１において取得される撮影画像３には、当該深度センサ２１により測定された各画素の深度を示す深度データが含まれている。制御部１１は、この深度データを含む撮影画像３として、例えば、図６Ａ及び図６Ｂで例示される撮影画像３を取得する。

図６Ａ及び図６Ｂは、深度データを含む撮影画像３の一例を示す。図６Ａの撮影画像３は、浴槽内の湯水に入浴者がつかっている場面を撮影したものである。また、図６Ｂの撮影画像３は、入浴者が洗い場にいる場面を撮影したものである。図６Ａ及び図６Ｂで例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。この撮影画像３は、深度画像と称されてもよい。

制御部１１は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の座標（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。以下、図７及び図８を用いて、制御部１１が各画素の実空間上での位置を特定する計算例を示す。

図７は、撮影画像３内の座標関係を模式的に例示する。また、図８は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を模式的に例示する。なお、図７の左右方向は、図８の紙面に垂直な方向に対応する。すなわち、図８で表れている撮影画像３の長さは、図７で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図７で例示される横方向の長さ（Ｗピクセル）は、図８で表れていない撮影画像３の紙面垂直方向の長さに対応する。

ここで、図７で例示されるように、撮影画像３の任意の画素（点ｓ）の座標を（ｘ_s，ｙ_s）とし、カメラ２の横方向の画角をＶ_x、縦方向の画角をＶ_yとする。また、撮影画像３の横方向のピクセル数をＷとし、縦方向のピクセル数をＨとし、撮影画像３の中心点（画素）の座標を（０，０）とする。

制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報をカメラ２から取得することができる。また、制御部１１は、このカメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部１１は、点ｓの座標（ｘ_s，ｙ_s）及び撮影画像３のピクセル数（Ｗ×Ｈ）を撮影画像３から取得することができる。更に、制御部１１は、撮影画像３に含まれる深度データを参照することによって、点ｓの深度Ｄｓを取得することができる。

制御部１１は、これらの情報を利用することで、当該各画素（点ｓ）の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数１〜３で示される関係式に基づいて、図８に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓ_x，Ｓ_y，Ｓ_z，１）の各値を算出することができる。これにより、撮影画像３内の二次元座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。

ただし、上記ベクトルＳは、カメラ２を中心とした三次元座標系のベクトルである。このカメラ２は、図８に例示されるように、水平面（地面）に対して傾いている場合がある。すなわち、カメラ座標系は、水平面（地面）を基準とする三次元空間のワールド座標系から傾いている場合がある。そのため、制御部１１は、カメラ２のロール角、ピッチ角（図８のα）及びヨー角を用いた射影変換を上記ベクトルＳに適用することによって、上記カメラ座標系のベクトルＳをワールド座標系のベクトルに変換し、ワールド座標系における点ｓの位置を算出してもよい。このカメラ座標及びワールド座標はそれぞれ、実空間を表す座標系である。制御部１１は、このようにして、深度データを利用することで、撮影画像３に写る被写体の実空間上の位置を特定することができる。なお、この深度データにより特定される撮影範囲内の三次元空間が本発明の「実空間」に相当する。

なお、制御部１１は、所定時間分の動画像又は複数枚の静止画像を撮影画像３として取得してもよい。これにより、取得される撮影画像３には、所定時間分の動作が現れる。制御部１１は、このような撮影画像３を取得した段階で、取得した撮影画像３に対して、後述するステップＳ１０２〜Ｓ１０５までの処理を実行することで、所定時間内に現れる入浴者の動作を監視してもよい。このとき、制御部１１は、撮影画像３を構成する一部のフレームを取得した段階で、当該取得したフレームに対して、後述するステップＳ１０２〜Ｓ１０５までの処理の少なくとも一部を実行してもよい。

また、制御部１１は、入浴者の状態のモニタリングを行うため、カメラ２のビデオ信号に同期させて撮影画像３を取得してもよい。そして、制御部１１は、後述するステップＳ１０２〜Ｓ１０５までの処理を取得した撮影画像３に対して即座に実行してもよい。浴室異常検知装置１は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、カメラ２の撮影範囲に存在する入浴者の状態のモニタリングをリアルタイムに行うことができる。

（ステップＳ１０２）
図５に戻り、次のステップＳ１０２では、制御部１１は、人物領域抽出部１１２として機能し、ステップＳ１０１で取得した撮影画像３内において、浴室内で入浴する入浴者の写る人物領域を抽出する。そして、撮影画像３内で人物領域を抽出すると、制御部１１は、次のステップＳ１０３に処理を進める。

なお、人物領域を抽出する方法は、種々の公知の方法があり、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、上記のとおり、各画素の深度を参照することで、各画素の実空間上の位置を特定してもよい。これによって、制御部１１は、被写体の三次元形状を特定することができる。

そこで、制御部１１は、深度データの示す各画素の深度を用いた三次元パターンマッチングを実施してもよい。この場合、例えば、制御部１１は、記憶部１２等に人物の三次元形状のテンプレートを保持し、深度データを利用して、この三次元形状のテンプレートに適合するパターンを撮影画像３内で検索することで、人物領域を抽出することができる。また、撮影画像３が所定時間分の動画像又は複数枚の静止画像で構成される場合には、制御部１１は、上記のように抽出した人物領域をトラッキングすることで、一度抽出した人物領域を捕捉し続けることができる。

このとき、制御部１１は、入浴者の各身体部位の位置を特定するため、人物領域に写る入浴者の各身体部位を識別してもよい。特に、制御部１１は、後述するステップＳ１０３の処理に利用するため、頭部、肩部等の身体の上部にある身体部位を識別してもよい。なお、制御部１１は、例えば、各身体部位のパターンマッチングを行うことにより、人物領域に写る入浴者の各身体部位を識別することができる。

また、入浴者の頭部を識別した場合には、制御部１１は、顔面の向きを特定してもよい。顔面の向きを特定する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、パターンマッチングにより、目、鼻、口、耳等のパーツの位置を頭部の領域内で特定することで、入浴者の顔面の向きを特定することができる。

（ステップＳ１０３）
次のステップＳ１０３では、制御部１１は、状態判定部１１３として機能し、ステップＳ１０２で抽出した人物領域に含まれる各画素の深度を参照することで、入浴者の実空間上の位置を特定する。また、制御部１１は、仮想水面設定情報１２１を参照することで、実空間上に設定されている仮想水面の位置を特定する。そして、制御部１１は、実空間上に設定された仮想水面の位置と実空間上で特定された入浴者の位置との位置関係に基づいて、入浴者が異常状態にあるか否かを判定する。当該入浴者が異常状態にあるか否かを判定すると、制御部１１は、次のステップ１０４に処理を進める。

仮想水面の位置と入浴者の位置との位置関係に対応する入浴者の状態は、実施の形態に応じて適宜設定することができる。また、検知する対象とする入浴者の状態は、実施の形態に応じて適宜選択されてよい。検知する入浴者の状態の一例として、本実施形態では、制御部１１は、入浴者の異常状態として、入浴者の沈水状態及び転倒状態を検知する。以下、これらの状態を検知する方法について説明する。

（Ａ）第１の沈水状態
まず、図９Ａを用いて、第１の沈水状態を検知する方法について説明する。図９Ａは、入浴者が浴槽内で仰向けに沈水した場面を模式的に例示する。図９Ａで例示されるように、入浴者が仰向けになっている等、呼吸器が上方を向いている場面では、入浴者の頭部が仮想水面よりも下方に移動することで、入浴者の呼吸器を塞ぐような沈水状態が生じうる。

そこで、制御部１１は、人物領域に写る入浴者の頭部が実空間上で仮想水面よりも下方にあるか否かに基づいて、当該入浴者の沈水状態を検知してもよい。すなわち、本実施形態では、入浴者の頭部が実空間上で仮想水面よりも下方にある場合に、制御部１１は、入浴者が異常状態にあるとして、入浴者が沈水状態にあると判定する。

なお、制御部１１は、人物領域のうち頭部の写る頭部領域を、上記のとおり、パターンマッチング等により抽出することができる。このとき、制御部１１は、仮想水面との比較処理を行う際に、頭部領域に含まれるいずれの点の位置を頭部の位置として採用してもよい。例えば、制御部１１は、頭部領域に含まれる画素のうち実空間上で最も高い位置に存在する画素の位置を頭部の位置として採用してもよい。また、例えば、制御部１１は、頭部の写る頭部領域に含まれる各画素の実空間上における平均の位置を頭部の位置として採用してもよい。頭部の位置と仮想水面の位置との比較は、実施の形態に応じて適宜行うことができる。

（Ｂ）第２の沈水状態
次に、図９Ｂを用いて、第２の沈水状態を検知する方法について説明する。図９Ｂは、入浴者が浴槽内でうつむけに沈水した場面を模式的に例示する。図９Ｂに例示されるように、入浴者がうつむいている等、呼吸器が水面の方を向いている場面では、入浴者の頭部が完全に沈没していなくても、入浴者の呼吸器を塞ぐような沈水状態が生じうる。

そこで、制御部１１は、人物領域に写る入浴者の顔面が仮想水面の方を向き、実空間上で入浴者の頭部が仮想水面の高さにあるか否かに基づいて、当該入浴者の沈水状態を検知してもよい。すなわち、本実施形態では、入浴者の顔面が仮想水面の方を向き、かつ、実空間上で入浴者の頭部が仮想水面の高さにある場合に、制御部１１は、入浴者が異常状態にあるとして、入浴者が沈水状態にあると判定する。

なお、制御部１１は、上記のとおり、パターンマッチングにより、顔のパーツの位置を頭部の領域内で特定することで、入浴者の顔面が向いている方向を特定することができる。また、制御部１１は、頭部領域に含まれる各画素の深度から、実空間上における入浴者の頭部の位置を特定することができる。更に、制御部１１は、仮想水面設定情報１２１を参照することで、実空間上における仮想水面の位置を特定することができる。そのため、制御部１１は、これらの情報により、入浴者の顔面が仮想水面の方を向いているか否かを判定することができる。

また、制御部１１は、実空間上における入浴者の頭部の位置と仮想水面の位置とに基づいて、実空間上で入浴者の頭部が仮想水面の高さにあるか否かを適宜判定することができる。例えば、制御部１１は、実空間上で頭部が仮想水面に接触している場合に、入浴者の頭部が仮想水面の高さにあると判定してもよい。また、例えば、制御部１１は、実空間上で頭部が仮想水面から離間している場合に、入浴者の頭部が仮想水面の高さにないと判定してもよい。実空間上で入浴者の頭部が仮想水面の高さにあるか否かを判定する方法は実施の形態に応じて適宜選択されてよい。

（Ｃ）転倒状態
次に、図９Ｃを用いて、転倒状態を検知する方法について説明する。図９Ｃは、入浴者が浴槽内で転倒した場面を模式的に例示する。図９Ｃに例示されるように、入浴者が浴槽内で転倒した場合、入浴者の身体は下方向に急激に移動しうる。

そこで、制御部１１は、人物領域に写る入浴者の身体の少なくとも一部が仮想水面の上方から仮想水面の方に移動する速度が所定速度以上であるか否かに基づいて、当該入浴者の転倒状態を検知してもよい。すなわち、本実施形態では、入浴者の身体の少なくとも一部が仮想水面の上方から仮想水面の方に所定速度以上の速度で移動した場合に、制御部１１は、入浴者が異常状態にあるとして、入浴者が転倒状態にあると判定する。

なお、制御部１１は、上記のように、連続する動画像又は複数枚の静止画像で構成される撮影画像３内で人物領域をトラッキングすることで、当該人物領域に写る入浴者の身体の移動を捕捉することができる。そして、制御部１１は、当該人物領域に含まれる各画素の深度に基づいて、人物領域に含まれる各画素の実空間上における変位量を特定することができ、これによって、当該人物領域の移動量を特定することができる。

ここで、入浴者が転倒したか否かを判定する指標となる「入浴者の身体の少なくとも一部」は、実施の形態に応じて適宜選択されてよい。例えば、「入浴者の身体の少なくとも一部」は、頭部、肩部等の入浴者の身体部位であってもよいし、人物領域に含まれる任意の点であってもよい。例えば、制御部１１は、頭部領域に含まれる任意の画素の実空間上における移動量に基づいて、入浴者の身体の少なくとも一部が仮想水面の上方から仮想水面の方に所定速度以上の速度で移動したか否かを判定することができる。なお、転倒状態か否かを判定する指標となる速度の閾値は、転倒状態を適切に検知可能なように、実施の形態に応じて適宜設定されてよい。

（Ｄ）その他
以上により、制御部１１は、入浴者の異常状態として、入浴者が沈水状態又は転倒状態にあるか否かを検知することができる。ただし、仮想水面の位置と入浴者の位置との位置関係に基づいて入浴者の状態を検知する方法は、上記のような方法に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。沈水状態及び転倒状態は、上記以外の方法で検知されてもよい。また、上記沈水状態及び転倒状態以外の状態が検知されてもよい。

例えば、制御部１１は、実空間の水平方向において、仮想水面の範囲内に人物領域が含まれるか否かに基づいて、入浴者が浴槽内に居るか又は洗い場に居るかを検知することができる。すなわち、実空間の水平方向において、仮想水面の範囲内に人物領域が含まれる場合に、制御部１１は、入浴者が浴槽内に居ると判定することができる。また、実空間の水平方向において、仮想水面の範囲内に人物領域が含まれない場合に、制御部１１は、入浴者が洗い場に居ると判定することができる。

ここで、入浴者が浴槽内に居ることを検知する場合、制御部１１は、入浴者が浴槽内に留まっている時間が一定時間以上であるか否かに基づいて、入浴者が長湯していること（長湯状態）を検知してもよい。すなわち、入浴者が浴槽内に一定時間以上留まっている場合に、制御部１１は、入浴者が長湯状態にあると判定してもよい。この長湯状態は、異常状態として取り扱われてもよい。なお、入浴者の長湯を検知する指標となる時間の閾値は、実施の形態に応じて適宜設定されてよい。

また、入浴者が洗い場に居ることを検知する場合、制御部１１は、洗い場に居る入浴者の位置が仮想水面よりも鉛直方向に所定の距離以上下方であるか否かに基づいて、入浴者が洗い場で横たわっていること（横たわり状態）を検知してもよい。すなわち、実空間上において、洗い場に居る入浴者が仮想水面よりも鉛直方向に所定の距離以上下方に位置する場合に、入浴者が横たわり状態にあると判定してもよい。この横たわり状態は、以上状態として取り扱われてもよい。なお、入浴者の横たわりを検知する指標となる距離の閾値は、実施の形態に応じて適宜設定されてよい。

なお、本ステップＳ１０３で検知する対象とする入浴者の状態は、実施の形態に応じて適宜選択されてよい。また、検知対象の入浴者の状態のうちいずれの状態を異常状態と認識するかは、実施の形態に応じて適宜決定されてよい。そのため、上記各状態の検知処理は、適宜省略されてもよい。

（ステップＳ１０４）
図５に戻り、次のステップＳ１０５では、制御部１１は、ステップＳ１０３により、入浴者の異常状態が検知されたか否かを判定する。ステップＳ１０３において、入浴者が異常状態にあると判定した場合には、制御部１１は、次のステップＳ１０５に処理を進める。他方、そうでない場合には、制御部１１は、次のステップＳ１０５を省略して、本動作例に係る処理を終了する。

本実施形態では、上記のとおり、ステップＳ１０３において、入浴者の沈水状態又は転倒状態を検知した場合に、制御部１１は、入浴者が異常状態にあると判定されたとして、次のステップＳ１０５に処理を進める。一方、入浴者のその他の行動を検知した場合、及びいずれの行動も検知されなかった場合に、制御部１１は、次のステップＳ１０５を省略して、本動作例に係る処理を終了する。

（ステップＳ１０５）
次のステップＳ１０５では、制御部１１は、通知部１１４として機能し、浴室内における入浴者の異常状態を検知したことを知らせるための異常検知通知を行う。これによって、本動作例に係る処理は終了する。

なお、通知先及び通知方法は、実施の形態に応じて適宜選択することができる。制御部１１は、例えば、入浴者以外の第三者、特に、入浴者の行動を見守る見守り者に当該通知を行ってもよい。入浴者が、入院患者、施設入居者、要介護者等である場合、見守り者は、例えば、看護師、施設職員、介護者等である。また、制御部１１は、入浴者自身に当該通知を行ってもよい。

例えば、本実施形態に係る浴室異常検知装置１が病院等の施設で利用される場合、当該浴室異常検知装置１は、外部インタフェース１５を介して、ナースコールシステム等の設備と接続することができる。この場合、制御部１１は、当該ナースコールシステム等の設備と連携して、浴室内における入浴者の異常状態を検知したことを知らせるための異常検知通知を行ってもよい。すなわち、制御部１１は、外部インタフェース１５を介して、当該ナースコールシステムを制御してもよい。そして、制御部１１は、異常検知通知として、当該ナースコールシステムによる呼び出しを行ってもよい。これによって、入浴者が異常状態にあることを当該入浴者の見守りを行う看護師等に適切に知らせることができる。

また、例えば、制御部１１は、タッチパネルディスプレイ１３に所定のメッセージを画面表示させることで、異常検知通知を行ってもよい。また、例えば、制御部１１は、スピーカ１４から所定の音声を出力することにより、異常検知通知を行ってもよい。このタッチパネルディスプレイ１３及びスピーカ１４をそれぞれ見守り者の居室に設置することで、入浴者が異常状態にあることを当該見守り者に適切に知らせることができる。

また、スピーカ１４を浴室に設置することで、異常状態にあることを入浴者自身に知らせることができる。例えば、入浴者は、眠りに陥ることで、沈水状態、又は湯水に所定時間以上浸かっている状態になる場合がある。これに対して、スピーカ１４を浴室に設置し、異常状態にあることを入浴者自身に知らせることで、入浴者を眠りから覚まし、浴室内で事故が発生するのを防止することができる。

また、例えば、制御部１１は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、異常検知通知を行ってもよい。このような異常検知通知を行う場合には、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部１２に予め登録されていてもよい。そして、制御部１１は、この予め登録されている電子メールアドレス、電話番号等を利用して、入浴者の異常を検知したことを知らせるための異常検知通知を行ってもよい。

［作用・効果］
以上のように、本実施形態に係る浴室異常検知装置１は、上記ステップＳ１０１及びステップＳ１０２によって、深度データを含む撮影画像３取得し、取得した撮影画像３内で入浴者の写る人物領域を抽出する。そして、上記ステップＳ１０３では、浴室異常検知装置１は、撮影画像３により実空間上における入浴者の位置を特定し、特定した入浴者の位置と仮想水面設定情報１２１により示される仮想水面の位置とに基づいて、入浴者が異常状態にあるか否かを判定する。

したがって、本実施形態に係る浴室異常検知装置１は、入浴者の異常を検知する指標として、システムにより与えられる仮想水面を採用しているため、上記ステップＳ１０３において、浴槽内における実際の水面の位置を測定する処理を省略することができる。そのため、本実施形態によれば、浴槽内における実際の水面の位置を測定する補助センサ等を省略することができるため、その分だけシステム構成を単純化し、また、計算量を低減することができる。よって、本実施形態によれば、浴室内の異常を検知するシステムを比較的に簡易な構成で実現することができる。

また、本実施形態では、浴室異常検知装置１は、本ステップＳ１０３において、入浴者が沈水状態又は転倒状態に陥っているか否かを検知する。そして、沈水状態又は転倒状態を検知した場合には、浴室異常検知装置１は、本ステップＳ１０５において、異常検知通知を行う。したがって、本実施形態によれば、入浴者が浴槽内で沈水又は転倒した際には、入浴者が沈水状態又は転倒状態にあることを報知することができるため、浴室内で発生する事故、特に、浴室内で発生した異常事態が悪化するのを防止することができる。

また、本実施形態では、浴室異常検知装置１は、浴槽のタイプ及び浴槽に入れる湯水の量に応じて仮想水面の高さ（水位）を設定することができる。そのため、本実施形態によれば、仮想水面の高さを実際の水面の高さに適合させることができ、これによって、仮想水面による異常検知の精度を高めることができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

［沈水の予兆検知］
例えば、上記実施形態では、ステップＳ１０３において、制御部１１は、入浴者が沈水状態に陥っているか否かを判定している。入浴者が沈水状態に陥る原因は様々あるが、そのうちの一つとして、居眠りが挙げられる。

居眠りが原因で入浴者が沈水状態に陥る場合、浴槽内で眠りに陥りかけている入浴者は、湯水に完全に沈水する前に、頭部を含む上半身を繰り返し揺動させる傾向にある。そこで、上記浴室異常検知装置１は、本ステップＳ１０３において、このような傾向があるか否かを判定することによって、入浴者が沈水状態に陥る予兆があるか否かを検知してもよい。例えば、上記浴室異常検知装置１は、以下の２つの方法によって、当該予兆があるか否かを検知してもよい。

（第１の予兆検知方法）
まず、図１０を用いて、第１の予兆検知方法について説明する。図１０は、第１の予兆検知方法により入浴者が沈水状態に陥る予兆があるか否かを検知する場面を模式的に例示する。図１０に例示されるように、入浴者が頭部を含む上半身を繰り返し揺動させた場合、入浴者の頭部は、仮想水面に近接したり離間したりを繰り返しうる。

そこで、制御部１１は、上記ステップＳ１０３において、状態判定部１１３として機能し、人物領域に写る入浴者の頭部が仮想水面に一定時間内に所定回数以上接触したか否かによって、入浴者が沈水状態に陥る予兆があるか否かを判定してもよい。すなわち、制御部１１は、入浴者の頭部が一定時間内に仮想水面に接触した回数が所定回数以上である場合に、当該入浴者が沈水状態に陥る予兆があると判定してもよい。

入浴者の頭部が仮想水面に一定時間内に所定回数以上接触したか否かを判定する方法は実施の形態に応じて適宜選択可能である。ここで、制御部１１は、上記のように、連続する動画像又は複数枚の静止画像で構成される撮影画像３内で人物領域をトラッキングすることで、当該人物領域に写る入浴者の身体の動きを捕捉することができる。そのため、制御部１１は、例えば、人物領域に含まれる頭部領域のトラッキングを継続することで、入浴者の頭部が仮想水面の位置に移動し、仮想水面の位置から離れる一連の動作を、入浴者の頭部が仮想水面に接触する動作としてカウントすることができる。これにより、制御部１１は、入浴者の頭部が仮想水面に一定時間内に接触した回数をカウントすることができ、入浴者の頭部が仮想水面に一定時間内に所定回数以上接触したか否かを判定することができる。なお、入浴者の頭部が仮想水面に接触した回数をカウントする時間、及び予兆を検知する指標となる接触回数それぞれの閾値は、実施の形態に応じて適宜設定されてよい。

そして、制御部１１は、入浴者に沈水の予兆があると判定した場合には、上記ステップＳ１０４において、入浴者が沈水状態に陥る予兆があるとして、次のステップＳ１０５に処理を進める。更に、次のステップＳ１０５では、制御部１１は、通知部１１４として機能し、当該予兆を検知したことを知らせるための予兆検知通知を行う。なお、制御部１１は、予兆検知通知を、上記異常検知通知と同様の方法で行うことができる。

ここで、この第１の予兆検知方法では、入浴者の頭部が水面に繰り返し接触しているか否かに基づいて、入浴者の沈水の予兆を検知している。そのため、第１の予兆検知方法は、仮想水面ではなく、浴槽内における実際に水面にも適用可能である。したがって、制御部１１は、補助センサ等によって実際の水面の高さを測定し、測定した実際の水面の高さに基づいて、入浴者の頭部が水面に繰り返し接触しているか否かを判定してもよい。

（第２の予兆検知方法）
次に、図１１Ａ、図１１Ｂ及び図１２を用いて、第２の予兆検知方法について説明する。図１１Ａは、第２の予兆検知方法が適用される場面を浴槽の長手方向から見た様子を模式的に例示する。図１１Ｂは、第２の予兆検知方法が適用される場面を浴槽の短手方向から見た様子を模式的に例示する。図１２は、第２の予兆検知方法により入浴者が沈水状態に陥る予兆があるか否かを検知する場面を模式的に例示する。

図１１Ａ及び図１１Ｂに例示されるように、この第２の予兆検知方法では、実空間上において、入浴者が沈水する予兆を検知するための予兆検知領域が仮想水面の上方に設定される。この予兆検知領域は、上記仮想水面と同様に、沈水の予兆を検知するためにシステム上で設定される仮想的な領域である。

なお、予兆検知領域の形状、位置、傾き、範囲等は、実施の形態に応じて適宜設定されてよい。図１１Ａ及び図１１Ｂでは、予兆検知領域は、仮想水面の直上に、浴槽の上端を超えない直方体状の領域として設定されている。この予兆検知領域の上下方向の幅は、沈水の予兆以外の動作を検知しないように適宜設定されるのが好ましい。また、この予兆検知領域は、仮想水面に接するように設定されてもよいし、仮想水面からやや離間するように設定されてもよい。この予兆検知領域の設定は、上記仮想水面と同様に、記憶部１２又は他の情報処理装置の記憶装置に独立のデータとして保持されてもよいし、プログラム５の一部に組み込まれてもよい。

この予兆検知領域によれば、入浴者の頭部が仮想水面に近接したことを検出することができる。そのため、この予兆検知領域が設定される場合には、制御部１１は、上記ステップＳ１０３において、状態判定部１１３として機能し、実空間上において、人物領域に写る入浴者の頭部が予兆検知領域に進入したか否かによって、入浴者が沈水状態に陥る予兆があるか否かを判定してもよい。なお、制御部１１は、入浴者の頭部の位置と予兆検知領域の位置との位置関係を、上記仮想水面と同様の方法で判定することができる。

制御部１１は、入浴者の頭部が予兆検知領域に進入した場合に、当該入浴者に沈水の予兆があると即座に判定してもよい。ただし、このように沈水の予兆を検知する場合、入浴者が水面に一度顔を近づけただけで、制御部１１は、当該入浴者に沈水の予兆があると判定してしまう可能性がある。

そこで、図１２に例示されるように、制御部１１は、上記居眠りの際における入浴者の挙動の傾向に基づいて、沈水の予兆を判定してもよい。すなわち、制御部１１は、実空間上において、入浴者の頭部が予兆検知領域に一定時間内に所定回数以上侵入したか否かによって、入浴者が沈水状態に陥る予兆があるか否かを判定してもよい。すなわち、制御部１１は、入浴者の頭部が予兆検知領域に一定時間内に進入した回数が所定回数以上である場合に、当該入浴者が沈水状態に陥る予兆があると判定してもよい。このとき、入浴者の頭部が予兆検知領域に進入した回数をカウントする時間、及び予兆を検知する指標となる侵入回数それぞれの閾値は、実施の形態に応じて適宜設定されてよい。

そして、制御部１１は、上記第１の予兆検知方法と同様に、入浴者に沈水の予兆があると判定した場合には、上記ステップＳ１０４において、入浴者が沈水状態に陥る予兆があるとして、次のステップＳ１０５に処理を進める。更に、次のステップＳ１０５では、制御部１１は、通知部１１４として機能し、当該予兆を検知したことを知らせるための予兆検知通知を行う。なお、制御部１１は、予兆検知通知を、上記異常検知通知と同様の方法で行うことができる。

（作用・効果）
上記第１の予兆検知方法及び第２の予兆検知方法によれば、浴室異常検知装置１は、入浴者が沈水状態に陥る手前の段階で、当該入浴者が沈水状態に陥る予兆を検知することができる。したがって、当該変形例によれば、入浴者が沈水状態に陥る手前の段階で、当該入浴者が沈水状態に陥る予兆を検知し、当該予兆を検知したことを報知することができるため、浴室内における沈水事故を未然に防止することができる。

［撮影画像の出力］
また、例えば、制御部１１は、上記ステップＳ１０１で取得した撮影画像３をタッチパネルディスプレイ１３等の表示装置で表示してもよい。これによって、仮に、浴室異常検知装置１が入浴者の異常状態を誤検知したとしても、入浴者を見守る見守り者は、表示された撮影画像３で入浴者の状態を確認することができる。これにより、見守り者は、入浴者の状態を正しく認識することができる。

１…浴室異常検知装置、
２…カメラ、２１…深度センサ、
３…撮影画像、５…プログラム、６…記憶媒体、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、
１６…通信インタフェース、１７…ドライブ、
１１１…画像取得部、１１２…人物領域抽出部、
１１３…状態判定部、１１４…通知部、
１２１…仮想水面設定情報

Claims (9)

1. 浴室内を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、
   取得した前記撮影画像内で、前記浴室内で入浴する入浴者の写る人物領域を抽出する人物領域抽出部と、
   抽出された前記人物領域に含まれる各画素の深度を参照することにより前記入浴者の実空間上の位置を特定し、前記実空間上に設定された仮想水面の位置と前記実空間上で特定した前記入浴者の位置との位置関係に基づいて、前記入浴者が異常状態にあるか否かを判定する状態判定部と、
   前記入浴者が異常状態にあると判定された場合に、前記浴室内における前記入浴者の異常状態を検知したことを知らせるための異常検知通知を行う通知部と、
   を備え、
   前記実空間上において、前記入浴者が沈水する予兆を検知するための予兆検知領域が前記仮想水面の上方に更に設定され、
   前記状態判定部は、前記実空間上において、前記人物領域に写る前記入浴者の頭部が前記予兆検知領域に進入したか否かによって、前記入浴者が沈水状態に陥る予兆があるか否かを判定し、
   前記通知部は、前記入浴者が沈水状態に陥る予兆があると判定された場合に、当該予兆を検知したことを知らせるための予兆検知通知を行う、
   浴室異常検知装置。
2. 前記人物領域に写る前記入浴者の頭部が前記実空間上で前記仮想水面よりも下方である場合に、前記状態判定部は、前記入浴者が異常状態にあるとして、前記入浴者が沈水状態にあると判定する、
   請求項１に記載の浴室異常検知装置。
3. 前記人物領域に写る前記入浴者の顔面が前記仮想水面の方を向き、前記実空間上で前記入浴者の頭部が前記仮想水面の高さにある場合に、前記状態判定部は、前記入浴者が異常状態にあるとして、前記入浴者が沈水状態にあると判定する、
   請求項１又は２に記載の浴室異常検知装置。
4. 前記状態判定部は、前記実空間上において、前記入浴者の頭部が前記予兆検知領域に一定時間内に所定回数以上進入したか否かによって、前記入浴者が沈水状態に陥る予兆があるか否かを判定する、
   請求項１から３のいずれか１項に記載の浴室異常検知装置。
5. 前記状態判定部は、前記人物領域に写る前記入浴者の頭部が前記仮想水面に一定時間内に所定回数以上接触したか否かによって、前記入浴者が沈水状態に陥る予兆があるか否かを判定し、
   前記通知部は、前記入浴者が沈水状態に陥る予兆があると判定された場合に、当該予兆を検知したことを知らせるための予兆検知通知を行う、
   請求項１から４のいずれか１項に記載の浴室異常検知装置。
6. 前記仮想水面の高さは、浴槽のタイプと該浴槽に入れる湯水の量とに応じて設定される、
   請求項１から５のいずれか１項に記載の浴室異常検知装置。
7. 前記実空間上において、前記人物領域に写る前記入浴者の身体の少なくとも一部が、前記仮想水面の上方から前記仮想水面の方に所定速度以上の速度で移動した場合に、前記状態判定部は、前記入浴者が異常状態にあるとして、前記入浴者が転倒状態にあると判定する、
   請求項１から６のいずれか１項に記載の浴室異常検知装置。
8. コンピュータが、
   浴室内を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
   取得した前記撮影画像内で、前記浴室内で入浴する入浴者の写る人物領域を抽出するステップと、
   抽出された前記人物領域に含まれる各画素の深度を参照することにより前記入浴者の実空間上の位置を特定し、前記実空間上に設定された仮想水面の位置と前記実空間上で特定した前記入浴者の位置との位置関係に基づいて、前記入浴者が異常状態にあるか否かを判定するステップと、
   前記入浴者が異常状態にあると判定された場合に、前記浴室内における前記入浴者の異常状態を検知したことを知らせるための異常検知通知を行うステップと、
   を実行し、
   前記実空間上において、前記入浴者が沈水する予兆を検知するための予兆検知領域が前記仮想水面の上方に更に設定され、
   前記判定するステップでは、前記コンピュータは、前記実空間上において、前記人物領域に写る前記入浴者の頭部が前記予兆検知領域に進入したか否かによって、前記入浴者が沈水状態に陥る予兆があるか否かを判定し、
   前記異常検知通知を行うステップでは、前記コンピュータは、前記入浴者が沈水状態に陥る予兆があると判定された場合に、当該予兆を検知したことを知らせるための予兆検知通知を行う、
   浴室異常検知方法。
9. コンピュータに、
   浴室内を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
   取得した前記撮影画像内で、前記浴室内で入浴する入浴者の写る人物領域を抽出するステップと、
   抽出された前記人物領域に含まれる各画素の深度を参照することにより前記入浴者の実空間上の位置を特定し、前記実空間上に設定された仮想水面の位置と前記実空間上で特定した前記入浴者の位置との位置関係に基づいて、前記入浴者が異常状態にあるか否かを判定するステップと、
   前記入浴者が異常状態にあると判定された場合に、前記浴室内における前記入浴者の異常状態を検知したことを知らせるための異常検知通知を行うステップと、
   を実行させ、
   前記実空間上において、前記入浴者が沈水する予兆を検知するための予兆検知領域が前記仮想水面の上方に更に設定され、
   前記判定するステップでは、前記コンピュータに、前記実空間上において、前記人物領域に写る前記入浴者の頭部が前記予兆検知領域に進入したか否かによって、前記入浴者が沈水状態に陥る予兆があるか否かを判定させ、
   前記異常検知通知を行うステップでは、前記コンピュータに、前記入浴者が沈水状態に陥る予兆があると判定された場合に、当該予兆を検知したことを知らせるための予兆検知通知を行わせる、
   ための浴室異常検知プログラム。