JP6737262B2 - 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム - Google Patents

Description

本発明は、異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラムに関する。

近年、歩行動作を行う歩行者を撮影し、得られたが画像データを解析することで歩行者の状態を監視して、当該歩行者を見守るシステムが開発されている。例えば、特許文献１では、ステレオカメラによって歩行者を撮影し、得られた画像データを三次元的に解析することで歩行者の姿勢及び動作を検出し、検出した姿勢及び動作に基づいて歩行者の生活機能を測定するシステムが提案されている。このようなシステムによれば、歩行者に機具を装着させなくても、当該歩行者の状態を見守ることができる。

特開２００９−２８５０７７号公報

しかしながら、特許文献１に例示される従来のシステムでは、歩行者の全身の身体部位の推移を解析することで、換言すると、歩行者の全身の構造を解析することで、当該歩行者の姿勢又は動作を検出する。そのため、歩行者の状態を解析する処理の負荷が大きく、歩行者の状態を高速に解析することができなかった。また、観測対象の姿勢及び動作が多岐にわたるため、解析内容が煩雑になってしまい、歩行者の状態を精度よく解析することができなかった。したがって、従来のシステムでは、歩行者を適切に見守ることができなかった。

本発明は、一側面では、このような点を考慮してなされたものであり、歩行者を適切に見守ることのできるシステムを提供することを目的とする。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る異常状態検知装置は、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出する抽出部と、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定する挙動測定部と、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定する状態判定部と、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行う通知部と、を備える。

上記構成によれば、歩行者の異常状態を検知するために取得される撮影画像には各画素の深度を示す深度データが含まれている。この各画素の深度は、撮影装置から被写体までの深さを示す。より詳細には、被写体の深度は、当該被写体の表面に対して取得される。すなわち、深度データを利用すれば、実空間上における被写体表面の位置を特定することができる。そのため、この深度データを利用すれば、歩行者の実空間（三次元空間）上の状態を解析することができる。

ここで、上記構成では、歩行者の身体全体ではなく、歩行者の身体のうち観測の対象とする局所的な部位の実空間上の挙動を測定する。そして、当該局所的な部位の実空間上の挙動に基づいて、歩行者が異常状態にあるか否かを判定する。そのため、観測対象とする身体領域が限られるため、歩行者の状態を解析する処理の負荷が少なくて済み、歩行者の状態を高速に解析することができる。また、観測対象が絞られているため、解析内容がシンプルになり、歩行者の状態を精度よく解析することができる。したがって、上記構成によれば、歩行者を適切に見守ることのできるシステムを提供することができる。

また、上記一側面に係る異常状態検知装置の別の形態として、前記挙動測定部は、前記局所的な部位として前記歩行者の上部の実空間上の挙動を測定してもよい。そして、前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で一定時間内に所定距離以上下降したか否かを検知し、前記歩行者の上部が実空間上で一定時間内に所定距離以上下降したことを検知した場合に、前記歩行者は転倒したとして、前記歩行者が異常状態にあると判定してもよい。

歩行者が転倒した場合、歩行者の身体の位置が下方向に急激に移動すると想定される。そこで、当該構成では、歩行者の上部が一定時間内に所定距離以上下降したか否かを検知することによって、歩行者の転倒を監視する。これによって、当該構成によれば、歩行者が転倒した際に、歩行者が異常状態に陥ったことを検知することができる。

なお、歩行者の上部は、実空間における歩行者の上端を示すものであり、歩行者上端の一点であってもよいし、歩行者上端に設けられた任意の面積を有する領域であってもよい。歩行者の上部は、適宜設定可能である。また、歩行者の上端とは、撮影画像に写る歩行者の身体のうち実空間上で最も高い部分である。

また、上記一側面に係る異常状態検知装置の別の形態として、前記挙動測定部は、前記局所的な部位として前記歩行者の上部の実空間上の挙動を測定してもよい。そして、前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で所定の第一の高さよりも低い位置に移動したか否かを検知し、前記歩行者の上部が実空間上で前記所定の第一の高さよりも低い位置に移動したことを検知した場合に、前記歩行者はうずくまっているとして、前記歩行者が異常状態にあると判定してもよい。

歩行者がうずくまっている場合には、歩行者の身体全体は所定の高さ以下に存在すると想定される。そこで、当該構成では、歩行者の上部が実空間上で所定の第一の高さよりも低い位置に移動したか否かを検知することによって、歩行者がうずくまっているか否かを監視する。これによって、当該構成によれば、歩行者がうずくまった際に、歩行者が異常状態に陥ったことを検知することができる。なお、うずくまり状態を検知するための所定の第一の高さの値は、実施の形態に応じて適宜設定されてよい。

また、上記一側面に係る異常状態検知装置の別の形態として、前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で、前記第一の高さよりも更に低い所定の第二の高さより低い位置に移動したか否かを検知し、前記歩行者の上部が実空間上で前記所定の第二の高さよりも低い位置に移動したことを検知した場合に、前記歩行者は横たわっているとして、前記歩行者が異常状態にあると判定してもよい。

歩行者が横たわっている場合には、歩行者の身体全体は、上記うずくまり状態の場合よりも更に低い高さに存在すると想定される。そこで、当該構成では、歩行者の上部が実空間上で、上記第一の高さよりも更に低い所定の第二の高さより低い位置に移動したか否かを検知することによって、歩行者が横たわっているか否かを監視する。これによって、当該構成によれば、歩行者が横たわった際に、歩行者が異常状態に陥ったことを検知することができる。なお、横たわり状態を検知するための所定の第二の高さの値は、実施の形態に応じて適宜設定されてよい。

また、上記一側面に係る異常状態検知装置の別の形態として、前記通知部は、前記歩行者の異常状態が所定時間以上継続したときに、前記異常検知通知を行ってもよい。当該構成によれば、歩行者の異常状態が一定時間以上継続したときに限り異常検知通知を行うようにすることで、歩行者の状態が一瞬だけ異常状態の条件を満たしたような場面で発生する異常検知通知の誤報を防止することができる。したがって、当該構成によれば、異常検知通知の誤報を防止し、歩行者の異常状態を検知したことを適切に知らせることができる。

なお、上記各形態に係る異常状態検知装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。

例えば、本発明の一側面に係る異常状態検知方法は、コンピュータが、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出するステップと、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定するステップと、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定するステップと、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行うステップと、を実行する情報処理方法である。

また、例えば、本発明の一側面に係る異常状態検知プログラムは、コンピュータに、歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出するステップと、抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定するステップと、測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定するステップと、前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行うステップと、を実行させるためのプログラムである。

本発明によれば、歩行者を適切に見守ることのできるシステムを提供することが可能である。

図１は、本発明が適用される場面を模式的に例示する。 図２は、実施の形態に係る異常状態検知装置のハードウェア構成を例示する。 図３は、実施の形態に係るカメラにより取得される深度と被写体との関係を例示する。 図４は、実施の形態に係る異常状態検知装置の機能構成を例示する。 図５は、実施の形態に係る異常状態検知装置による歩行者の見守りに関する処理手順を例示する。 図６は、実施の形態に係るカメラにより取得される撮影画像を例示する。 図７は、実施の形態に係る撮影画像内の座標関係を例示する。 図８は、実施の形態に係る撮影画像の任意の点（画素）とカメラとの実空間内での位置関係を例示する。 図９は、歩行者が転倒した状態を模式的に例示する。 図１０は、歩行者がうずくまっている状態を模式的に例示する。 図１１は、歩行者が横たわっている状態を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。

§１ 適用場面
まず、図１を用いて、本発明が適用される場面について説明する。図１は、本実施形態に係る異常状態検知装置１が用いられる場面の一例を示す。本実施形態に係る異常状態検知装置１は、カメラ２によって歩行者を撮影し、それにより得られた撮影画像３を解析することで、撮影画像３に写る歩行者の状態を監視し、当該歩行者の見守りを行う情報処理装置である。そのため、本実施形態に係る異常状態検知装置１は、見守りの対象となる対象人物を見守る場面で広く利用可能である。

具体的には、まず、本実施形態に係る異常状態検知装置１は、歩行動作を行う歩行者を撮影した撮影画像３をカメラ２から取得する。図１で例示される場面では、対象人物（歩行者）はカメラ２の撮影範囲内を歩行しており、カメラ２はこのような対象人物を撮影するために設置されている。ただし、対象人物（歩行者）は、常に歩行動作を行っている必要はなく、特定の場所に留まっていてもよい。

カメラ２は、撮影画像３内の各画素に対応する深度を取得可能に構成される。本実施形態では、カメラ２は、各画素の深度を取得可能なように、被写体の深度を測定する深度センサ（後述する深度センサ２１）を含んでいる。本実施形態に係る異常状態検知装置１は、このようなカメラ２と接続し、状態を監視する対象となる歩行者を撮影した撮影画像３を取得する。

取得される撮影画像３は、後述する図６に例示されるように、画素毎に得られる深度を示す深度データを含んでいる。この撮影画像３は、撮影範囲内の被写体の深度を示すデータを含んでいればよく、そのデータ形式は実施の形態に応じて適宜選択可能である。例えば、撮影画像３は、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、例えば、撮影画像３は、深度データとともに、ＲＧＢ画像を含んでもよい。更に、例えば、撮影画像３は、歩行者の状態を解析可能であれば、動画像で構成されてもよいし、１又は複数枚の静止画像で構成されてもよい。

次に、異常状態検知装置１は、取得した撮影画像３内において歩行者の写る人物領域を抽出する。上記のとおり、各画素の深度を示す深度データを含んでいる。そのため、異常状態検知装置１は、この深度データを利用することで、撮影画像３内に写る被写体の実空間上の位置を特定することができる。より詳細には、被写体の深度は、当該被写体の表面に対して取得される。すなわち、異常状態検知装置１は、深度データの示す各画素の深度を参照することで、実空間上における被写体表面の位置を特定することができる。

そこで、異常状態検知装置１は、抽出した人物領域に含まれる各画素の深度を参照して、撮影画像３に写る歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、当該局所的な部位の実空間上の挙動を測定する。観測の対象とする局所的な部位は、実施の形態に応じて適宜設定可能である。局所的な部位は、例えば、頭部、肩部、胸部、脚部等、身体上の特定の部位であってもよい。また、局所的な部位は、そのような身体上の特定の部位ではなく、歩行者の上部等、撮影画像に写る歩行者の状態によって身体上の位置が変わりうる部位であってもよい。なお、当該局所的な部位は、歩行者の状態が反映されやすい部位に設定されるのが望ましい。例えば、歩行者が転倒、うずくまり、横たわり等の状態にある場合には、歩行者の身体全体が地面寄りの位置に存在する。そのため、これらの状態を検知するためには、観測対象とする局所的な部位は、歩行者の上部、頭部等、歩行者の上端の位置を示す部位であるのが好ましい。図１で例示される場面では、歩行者の上部３１が、観測の対象とする局所的な部位に設定されている。

そして、異常状態検知装置１は、測定された局所的な部位の挙動に基づいて、歩行者が異常状態にあるか否かを判定する。更に、異常状態検知装置１は、当該判定の結果、歩行者が異常状態にあると判定された場合に、歩行者が異常状態にあることを知らせるための異常状態通知を行う。すなわち、異常状態検知装置１は、歩行者が異常状態に陥った際には、当該異常状態を知らせるための警報を行う。これによって、本実施形態に係る異常状態検知装置１の利用者は、カメラ２の撮影範囲に存在する歩行者の異常状態を知ることができ、当該歩行者の見守りを行うことができる。

このように、本実施形態によれば、各画素の深度を示す深度データを含む撮影画像３に基づいて歩行者の状態が解析される。上記のとおり、各画素の深度は被写体表面に対して取得されるため、深度データを利用すれば、実空間上の被写体表面の位置を特定することができる。そのため、この深度データを利用すれば、歩行者に対するカメラ２の視野方向（視点）によらず、歩行者の実空間（三次元空間）上の状態を解析することができる。

ここで、本実施形態に係る異常状態検知装置１は、この深度データを利用して、歩行者の身体全体ではなく、歩行者の身体のうち観測の対象とする局所的な部位（例えば、歩行者の上部３１）の実空間上の挙動を測定する。そして、異常状態検知装置１は、当該局所的な部位の実空間上の挙動に基づいて、歩行者が異常状態にあるか否かを判定する。そのため、観測対象とする身体領域が限られるため、歩行者の状態を解析する処理の負荷が少なくて済み、歩行者の状態を高速に解析することができる。また、観測対象が絞られているため、解析内容がシンプルになり、歩行者の状態を精度よく解析することができる。したがって、本実施形態によれば、歩行者を適切に見守ることができる。

なお、異常状態検知装置１の配置場所は、カメラ２から撮影画像３を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、異常状態検知装置１は、図１に例示されるように、カメラ２に近接するように配置されてもよい。また、異常状態検知装置１は、ネットワークを介してカメラ２と接続してもよく、当該カメラ２とは全く異なる場所に配置されてもよい。

§２ 構成例
＜ハードウェア構成＞
次に、図２を用いて、異常状態検知装置１のハードウェア構成を説明する。図２は、本実施形態に係る異常状態検知装置１のハードウェア構成を例示する。異常状態検知装置１は、図２に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。図２では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。

なお、異常状態検知装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、異常状態検知装置１の内部装置としてではなく、外部装置として異常状態検知装置１に接続されてもよい。また、異常状態検知装置１はカメラ２を内蔵してもよい。更に、異常状態検知装置１は、複数の外部インタフェース１５を備えてもよく、複数の外部装置と接続してもよい。

本実施形態に係るカメラ２は、外部インタフェース１５を介して異常状態検知装置１に接続しており、状態を監視する対象の歩行者を撮影する。カメラ２の設置場所は、実施の形態に応じて適宜選択されてよい。カメラ２は、例えば、見守りの対象となる見守り対象者が歩行する場所を撮影可能なように配置されてよい。

このカメラ２は、深度データを含む撮影画像３を撮影するために、被写体の深度を測定するための深度センサ２１を備えている。この深度センサ２１の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ２１として、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。

ただし、カメラ２の構成は、深度を取得可能であれば、このような例に限定されず、実施の形態に応じて適宜選択可能である。例えば、カメラ２は、撮影範囲内の被写体の深度を特定することが可能なように、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ２は、撮影範囲内の被写体の深度を特定可能であれば、深度センサ２１単体に置き換わってもよい。

なお、対象人物を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ２１は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、PrimeSense社のCARMINEを挙げることができる。

ここで、図３を用いて、本実施形態に係る深度センサ２１によって測定される深度を詳細に説明する。図３は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３で例示されるように、被写体の深さは、例えば、カメラ２と対象物との直線の距離Ａで表現されてもよいし、カメラ２の被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。

すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａ及び距離Ｂは、例えば、三平方の定理等に基づいて、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。本実施形態に係る異常状態検知装置１は、このような深度を利用することで、歩行者の状態を解析することができる。

また、本実施形態では、記憶部１２は、プログラム５を格納する。このプログラム５は、異常状態検知装置１に後述する歩行者の異常状態検知に関する各処理を実行させるためのプログラムであり、本発明の「異常状態検知プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。

記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図２は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

また、このような異常状態検知装置１は、例えば、提供されるサービス専用に設計された装置であってもよいし、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置であってもよい。更に、異常状態検知装置１は、１又は複数のコンピュータにより実装されてもよい。

＜機能構成例＞
次に、図４を用いて、異常状態検知装置１の機能構成を説明する。図４は、本実施形態に係る異常状態検知装置１の機能構成を例示する。本実施形態では、異常状態検知装置１の制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、異常状態検知装置１は、画像取得部５１、抽出部５２、挙動測定部５３、状態判定部５４及び通知部５５を備えるコンピュータとして機能する。

画像取得部５１は、カメラ２によって撮影された撮影画像３を取得する。取得される撮影画像３には、各画素の深度を示す深度データが含まれている。上記のとおり、この深度データによれば、撮影画像３内に写る被写体の実空間上の位置、より詳細には、実空間上における被写体表面の位置を特定することができる。

そこで、抽出部５２は、取得した撮影画像３内で、歩行者の写る人物領域を抽出する。挙動測定部５３は、抽出した人物領域に含まれる各画素の深度を参照して、撮影画像３に写る歩行者の身体のうち観測対象とする局所的な部位の実空間上の位置を継続的に特定することで、当該局所的な部位の実空間上の挙動を測定する。

更に、状態判定部５４は、測定された局所的な部位の挙動に基づいて、撮影画像３に写る歩行者が異常状態にあるか否かを判定する。そして、当該判定の結果、歩行者が異常状態にあると判定された場合、通知部５５は、当該歩行者が異常状態にあることを知らせるための異常検知通知を行う。

なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、異常状態検知装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。各機能に関しては後述する動作例で詳細に説明する。

§３ 動作例
次に、図５を用いて、異常状態検知装置１の動作例を説明する。図５は、異常状態検知装置１による歩行者の見守りに関する処理手順を例示する。なお、以下で説明する歩行者の見守りに関する処理手順は、本発明の「異常状態検知方法」に相当する。ただし、以下で説明する歩行者の見守りに関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部５１として機能し、カメラ２により撮影された撮影画像３を取得する。そして、制御部１１は、撮影画像３を取得した後に、次のステップＳ１０２に処理を進める。

本実施形態では、カメラ２は、深度センサ２１を備えている。そのため、本ステップＳ１０１において取得される撮影画像３には、当該深度センサ２１により測定された各画素の深度を示す深度データが含まれる。制御部１１は、この深度データを含む撮影画像３として、例えば、図６で例示される撮影画像３を取得する。

図６は、深度データを含む撮影画像３の一例を示す。図６で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。制御部１１は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の座標（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。以下、図７及び図８を用いて、制御部１１が各画素の実空間上での位置を特定する計算例を示す。

図７は、撮影画像３内の座標関係を模式的に例示する。また、図８は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を模式的に例示する。なお、図７の左右方向は、図８の紙面に垂直な方向に対応する。すなわち、図８で表れている撮影画像３の長さは、図７で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図７で例示される横方向の長さ（Ｗピクセル）は、図１で表れていない撮影画像３の紙面垂直方向の長さに対応する。

ここで、図７で例示されるように、撮影画像３の任意の画素（点ｓ）の座標を（ｘ_s，ｙ_s）とし、カメラ２の横方向の画角をＶ_x、縦方向の画角をＶ_yとする。また、撮影画像３の横方向のピクセル数をＷとし、縦方向のピクセル数をＨとし、撮影画像３の中心点（画素）の座標を（０，０）とする。

制御部１１は、カメラ２の画角（Ｖ_x、Ｖ_y）を示す情報をカメラ２から取得することができる。また、制御部１１は、このカメラ２の画角（Ｖ_x、Ｖ_y）を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部１１は、点ｓの座標（ｘ_s，ｙ_s）及び撮影画像３のピクセル数（Ｗ×Ｈ）を撮影画像３から取得することができる。更に、制御部１１は、撮影画像３に含まれる深度データを参照することによって、点ｓの深度Ｄｓを取得することができる。

制御部１１は、これらの情報を利用することで、当該各画素（点ｓ）の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数１〜３で示される関係式に基づいて、図８に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓ_x，Ｓ_y，Ｓ_z，１）の各値を算出することができる。これにより、撮影画像３内の二次元座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。

ただし、上記ベクトルＳは、カメラ２を中心とした三次元座標系のベクトルである。このカメラ２は、図８に例示されるように、水平面（地面）に対して傾いている場合がある。すなわち、カメラ座標系は、水平面（地面）を基準とする三次元空間のワールド座標系から傾いている場合がある。そのため、制御部１１は、カメラ２のロール角、ピッチ角（図８のα）及びヨー角を用いた射影変換を上記ベクトルＳに適用することによって、上記カメラ座標系のベクトルＳをワールド座標系のベクトルに変換し、ワールド座標系における点ｓの位置を算出してもよい。このカメラ座標及びワールド座標はそれぞれ、実空間を表す座標系である。制御部１１は、このようにして、深度データを利用することで、撮影画像３に写る被写体の実空間上の位置を特定することができる。

なお、本実施形態では、制御部１１は、動画像又は静止画像を撮影画像３として取得してもよい。後述するステップＳ１０４で、歩行者の一時点の挙動から判定可能な異常状態を検知する場合、制御部１１は、１時点分の動画像又は１枚の静止画像を撮影画像３として取得してもよい。また、歩行者の連続的な挙動から判定可能な異常状態を検知する場合、制御部１１は、所定時間分の動画像又は複数枚の静止画像を撮影画像３として取得してもよい。制御部１１は、１時点分若しくは所定時間分の動画像又は１若しくは複数枚の静止画像を撮影画像３として取得した段階で、後述するステップＳ１０２〜Ｓ１０５までの処理を取得した撮影画像３に対して実行することで、当該撮影画像３に写る歩行者の状態を解析する。

また、制御部１１は、歩行者のモニタリングを行うため、カメラ２のビデオ信号に同期させて撮影画像３を取得してもよい。そして、制御部１１は、後述するステップＳ１０２〜Ｓ１０５までの処理を取得した撮影画像３に対して即座に実行してもよい。異常状態検知装置１は、このような動作を絶え間なく連続して実行することにより、リアルタイム画像処理を実現し、カメラ２の撮影範囲に存在する歩行者の見守りをリアルタイムに行うことができる。

（ステップＳ１０２）
図５に戻り、次のステップＳ１０２では、制御部１１は、抽出部５２として機能し、ステップＳ１０１で取得した撮影画像３内で、図６で例示されるような歩行者の写る人物領域を抽出する。そして、制御部１１は、撮影画像３内で人物領域を抽出した後に、次のステップＳ１０３に処理を進める。

なお、人物領域を抽出する方法は、種々の公知の方法があり、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、歩行者の形状に基づいて、パターン検出、図形要素検出等の画像解析を行うことによって、撮影画像３内で人物領域を抽出してもよい。この場合、制御部１１は、深度データを利用して、歩行者の三次元形状をパターン検出等することで、人物領域を抽出してもよい。また、制御部１１は、深度データを利用せずに、歩行者の二次元形状をパターン検出等することで、人物領域を抽出してもよい。

また、例えば、歩行者は、実空間上で動いている。そのため、撮影画像３内で、人物領域は移動する。このような移動する領域は、背景差分法によって抽出することができる。そこで、制御部１１は、背景差分法に基づいて、この移動する領域を人物領域として抽出してもよい。

より詳細には、まず、制御部１１は、背景差分法に用いる背景画像を取得する。この背景画像は、任意の方法で取得されてよく、実施の形態に応じて適宜設定される。例えば、制御部１１は、カメラ２の撮影範囲に歩行者が進入する前の撮影画像、換言すると、歩行者の写っていない撮影画像を背景画像として取得してもよい。そして、制御部１１は、上記ステップＳ１０１の時点で取得した撮影画像３と背景画像との差分を算出し、当該撮影画像３の前景領域を抽出する。この前景領域は、背景画像から変化の生じた領域であり、移動する物体（動体）の写る領域である。

そのため、制御部１１は、抽出した前景領域が閾値以上の面積を有する場合に、当該前景領域を人物領域として認識してもよい。又は、制御部１１は、当該前景領域からパターン検出等によって人物領域を抽出してもよい。この前景領域を抽出するための処理は、撮影画像３と背景画像との差分を計算する処理に過ぎない。そのため、当該処理によれば、制御部１１（異常状態検知装置１）は、高度な画像処理を利用せずに、人物領域を検出する範囲を絞ることができる。よって、当該処理によれば、本ステップＳ１０２における処理の負荷を低減することができる。

なお、背景差分法には様々な種類が存在し、本実施形態に適用可能な背景差分法は上記のような例に限られる訳ではない。その他の種類の背景差分法として、例えば、異なる３枚の画像を用いて背景と前景とを分離する方法、及び統計的モデルを適用することで背景と前景とを分離する方法を挙げることができる。これらの方法によって、制御部１１は、人物領域を抽出してもよい。

（ステップＳ１０３）
次のステップＳ１０３では、制御部１１は、挙動測定部５３として機能し、ステップＳ１０２で抽出した人物領域に含まれる各画素の深度を参照して、撮影画像３に写る歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、当該局所的な部位の実空間上の挙動を測定する。そして、制御部１１は、観測の対象とする局所的な部位の実空間上の挙動を測定した後、次のステップＳ１０４に処理を進める。

観測の対象とする局所的な部位は、実施の形態に応じて適宜設定可能である。局所的な部位は、例えば、頭部、肩部、胸部、脚部等、身体上の特定の部位であってもよい。また、局所的な部位は、そのような身体上の特定の部位ではなく、歩行者の上部等、撮影画像に写る歩行者の状態によって身体上の位置が変わりうる部位であってもよい。観測の対象とする局所的な部位は、後述するステップＳ１０４で検知する歩行者の異常状態の種別に応じて、選択されてもよい。

なお、当該局所的な部位は、歩行者の状態が反映されやすい部位に設定されるのが望ましい。例えば、後述するように、歩行者が転倒、うずくまり、横たわり等の状態にある場合には、歩行者の身体全体が地面寄りの位置に存在する。そのため、これらの状態を検知するためには、観測対象とする局所的な部位は、歩行者の上部、頭部等、歩行者の上端の位置を示す部位であるのが好ましい。

本実施形態では、図１及び図６で例示されるように、観測の対象とする局所的な部位として、歩行者の上部３１が採用される。この歩行者の上部３１は、実空間における歩行者の上端を示すものであり、歩行者の上端の一点であってもよいし、歩行者の上端に設けられた任意の面積を有する領域であってもよい。歩行者の上部３１は、適宜設定可能である。なお、歩行者の上端とは、撮影画像に写る歩行者の身体のうち実空間上で最も高い部分である。

制御部１１は、深度データを利用することで、この歩行者の上部３１の実空間上の位置を特定することができる。すなわち、制御部１１は、人物領域に含まれる各画素の深度を利用し、上記の方法で、人物領域に含まれる各画素の実空間上の位置を特定する。そして、制御部１１は、人物領域に含まれる各画素のうち実空間上で最も高い位置に存在する画素を歩行者の上端とし、この画素又はこの画素を含む所定領域を歩行者の上部３１として認識する。これによって、制御部１１は、歩行者の上部３１の実空間上の位置を特定することができる。

制御部１１は、このような実空間上における歩行者の上部３１の位置特定を継続的に行い、例えば、当該歩行者の上部３１の位置を実空間座標上でプロットすることで、当該歩行者の上部３１の実空間上の挙動を測定することができる。例えば、上記ステップＳ１０１で１時点分の動画像又は１枚の静止画像を撮影画像３として取得した場合、制御部１１は、この１時点分の動画像又は１枚の静止画像に現れる歩行者の上部３１の位置を実空間座標上でプロットする。これによって、１時点での当該歩行者の上部３１の挙動が測定される。一方、上記ステップＳ１０１で所定時間分の動画像又は複数枚の静止画像を撮影画像３として取得した場合、制御部１１は、この所定時間分の動画像又は複数枚の静止画像を撮影画像３に現れる歩行者の上部３１の位置を実空間座標上で連続的にプロットする。これによって、所定時間内における当該歩行者の上部３１の挙動が測定される。

なお、歩行者の上部３１の他、歩行者の下部等、歩行者の身体上の位置に関する部位を観測の対象とする局所的な部位に採用する場合も同様に処理することができる。すなわち、制御部１１は、人物領域に含まれる各画素の深度を利用することで、当該部位の実空間上の位置を特定することができる。そして、制御部１１は、実空間座標上で当該部位の位置をプロットすることで、当該部位の実空間上の挙動を測定することができる。

一方、観測対象とする局所的な部位として、例えば、頭部、肩部、胸部、脚部等、身体上の特定の部位を採用する場合には、制御部１１は、撮影画像３の人物領域内でパターン検出等を行うことで、観測の対象とする局所的な部位の領域を特定する。

ここで、撮影画像３には深度データが含まれているため、制御部１１は、人物領域に含まれる各画素の深度を利用して、当該局所的な部位の三次元形状をパターン検出等することで、局所的な部位の写る領域を人物領域内で特定してもよい。また、制御部１１は、深度データを利用せずに、局所的な部位の二次元形状をパターン検出等することで、局所的な部位の領域を人物領域内で特定してもよい。

そして、制御部１１は、このようにして特定した局所的な部位の写る領域に含まれる各画素の深度に基づいて、当該局所的な部位の実空間上の位置を特定することができる。更に、制御部１１は、このような実空間上における局所的な部位の位置特定を継続的に行い、例えば、当該局所的な部位の位置を実空間座標上でプロットすることで、当該局所的な部位の実空間上の挙動を測定することができる。

（ステップＳ１０４）
次のステップＳ１０４では、制御部１１は、状態判定部５４として機能し、ステップＳ１０３で測定された局所的な部位の挙動に基づいて、歩行者が異常状態にあるか否かを判定する。そして、当該判定の結果、歩行者が異常状態にあると判定した場合には、制御部１１は、次のステップＳ１０５に処理を進める。一方、歩行者が異常状態にはないと判定した場合には、制御部１１は、本動作例に係る処理を終了する。

歩行者が異常状態にあるか否かを判定するための画像解析方法は、実施の形態に応じて適宜選択されてよい。例えば、本実施形態では、観測の対象とする局所的な部位として、歩行者の上部３１が採用されている。そこで、制御部１１は、ステップＳ１０３で測定された歩行者の上部３１の挙動において当該歩行者の上部３１が所定の条件を満たす動きを行ったと評価可能なときに、歩行者の異常状態を検知してもよい。本実施形態では、歩行者の異常状態の一例として、制御部１１は、歩行者の転倒状態、うずくまり状態及び横たわり状態を検知する。以下、各種の異常状態を検知する方法の一例について説明する。

（Ａ）転倒状態
第一に、図９を用いて、歩行者の異常状態の一つである、歩行者が転倒した状態（転倒状態）を検知する方法の一例を説明する。図９は、歩行者が転倒状態にある場面を模式的に例示する。図９に例示されるように、歩行者が転倒した場合には、歩行者の身体の位置が急激に変化する、具体的には、地面に向けて鉛直下方向に急降下すると想定される。

そこで、制御部１１は、ステップＳ１０３により測定された歩行者の上部３１の挙動に基づいて、当該歩行者の上部３１が実空間上で一定時間内に所定距離以上下降したか否かを検知する。そして、制御部１１は、この歩行者の上部３１が実空間上で一定時間内に所定距離以上下降したことを検知した場合に、歩行者は転倒したとして、当該歩行者が異常状態（転倒状態）にあると判定してもよい。なお、転倒状態を検知するための時間及び距離の各閾値は、実施の形態に応じて適宜設定されてよい。また、転倒状態を検知する方法は、このような例に限られなくてもよく、制御部１１は、その他の方法によって歩行者の転倒状態を検知してもよい。

（Ｂ）うずくまり状態
第二に、図１０を用いて、歩行者の異常状態の一つである、歩行者がうずくまっている状態（うずくまり状態）を検知する方法の一例を説明する。図１０は、歩行者がうずくまり状態にある場面を模式的に例示する。図１０に例示されるように、歩行者がうずくまっている場合には、歩行者の身体全体は実空間上で所定の高さ以下に存在すると想定される。

そこで、制御部１１は、ステップＳ１０３により測定された歩行者の上部３１の挙動に基づいて、当該歩行者の上部３１が実空間上で所定の第一の高さＨ１よりも低い位置に移動したか否かを検知する。そして、制御部１１は、当該歩行者の上部３１が実空間上で所定の第一の高さＨ１よりも低い位置に移動したことを検知した場合に、歩行者はうずくまっているとして、歩行者が異常状態（うずくまり状態）にあると判定する。

具体的に、制御部１１は、歩行者の上部３１の実空間での高さｈと所定の第一の高さＨ１とを比較する。そして、当該比較の結果、歩行者の上部３１の高さｈが所定の第一の高さＨ１よりも低いと判定される場合に、制御部１１は、歩行者の上部３１が所定の第一の高さＨ１よりも低い位置に移動したことを検知し、歩行者はうずくまり状態にあると判定する。なお、この所定の第一の高さＨ１の値は、実施の形態に応じて適宜設定されてよい。また、うずくまり状態を検知する方法は、このような例に限られなくてもよく、制御部１１は、その他の方法によって歩行者のうずくまり状態を検知してもよい。

なお、図１０の例では、歩行者の上部３１の高さｈ及び所定の第一の高さＨ１は、地面を基準として表現されている。この地面の実空間での位置（高さ）は、任意の方法で与えることができる。例えば、制御部１１は、上記の方法によって、撮影画像３内で地面の写る領域に含まれる各画素の深度を利用することで、この地面の実空間での位置（高さ）を算出することができる。そのため、制御部１１は、歩行者の上部３１の高さｈを地面からの距離で表現することができる。ただし、歩行者の上部３１の高さｈ及び所定の第一の高さＨ１の表現形式は、このような例に限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、歩行者の上部３１の高さｈ及び所定の第一の高さＨ１は、カメラ２を基準として表現されてもよい。

（Ｃ）横たわり状態
第三に、図１１を用いて、歩行者の異常状態の一つである、歩行者が横たわっている状態（横たわり状態）を検知する方法の一例を説明する。図１１は、歩行者が横たわり状態にある場面を模式的に例示する。図１１に例示されるように、歩行者が横たわっている場合には、歩行者の身体全体は、実空間上で、上記うずくまり状態の場合よりも更に低い高さに存在すると想定される。

そこで、制御部１１は、図１１に例示されるように、ステップＳ１０３により測定された歩行者の上部３１の挙動に基づいて、当該歩行者の上部３１が実空間上で、上記所定の第一の高さＨ１よりも更に低い所定の第二の高さＨ２よりも低い位置に移動したか否かを検知する。そして、制御部１１は、当該歩行者の上部３１が実空間上で所定の第二の高さＨ２よりも低い位置に移動したことを検知した場合に、歩行者は横たわっているとして、歩行者の異常状態（横たわり状態）にあると判定する。

具体的に、制御部１１は、歩行者の上部３１の実空間での高さｈと所定の第二の高さＨ２とを比較する。そして、当該比較の結果、歩行者の上部３１の高さｈが所定の第二の高さＨ２よりも低いと判定される場合に、制御部１１は、歩行者の上部３１が所定の第二の高さＨ２よりも低い位置に移動したことを検知し、歩行者は横たわり状態にあると判定する。なお、この所定の第二の高さＨ２の値は、上記所定の第一の高さＨ１よりも低い値となるように、実施の形態に応じて適宜設定されてよい。また、横たわり状態を検知する方法は、このような例に限られなくてもよく、制御部１１は、その他の方法によって歩行者の横たわり状態を検知してもよい。更に、図１１の例では、上記図１０と同様に、所定の第二の高さＨ２は、地面を基準として表現されている。ただし、上記と同様に、所定の第二の高さＨ２の表現形式は、このような例に限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、所定の第二の高さＨ２は、カメラ２を基準として表現されてもよい。

（Ｄ）まとめ
以上のようにして、制御部１１は、歩行者の各種状態を検知することができる。制御部１１は、本ステップＳ１０４において、歩行者の状態が、歩行者の転倒状態、うずくまり状態及び横たわり状態のうちのいずれかの状態に該当すると判定した場合に、次のステップＳ１０５に処理を進める。一方、制御部１１は、本ステップＳ１０４において、歩行者の状態が、歩行者の転倒状態、うずくまり状態及び横たわり状態のいずれの状態にも該当しないと判定した場合には、本動作例に係る処理を終了する。

なお、歩行者の各種状態のうち検知対象とする状態は、実施の形態に応じて適宜選択されてよい。すなわち、転倒状態、うずくまり状態及び横たわり状態のうちの少なくともいずれかの状態は、検知対象から除外されてもよい。また、制御部１１は、上記各条件の他の条件に基づいて、上記以外の歩行者の状態を検知してもよい。更に、本ステップＳ１０４において検知の対象とする歩行者の状態の種別は、実施形態に応じて適宜選択さてもよく、利用者によって選択されてもよいし、予め設定されてもよい。

また、転倒状態、うずくまり状態及び横たわり状態のうちの少なくともいずれかの状態は、異常状態ではないと設定されてよい。例えば、うずくまり状態が異常状態ではないと設定された場合には、制御部１１は、歩行者がうずくまり状態にあることを検知したときに、歩行者が異常状態にあるとは判定せずに、歩行者は正常状態にあると判定する。そして、制御部１１は、次のステップＳ１０５の処理を省略して、本動作例に係る処理を終了する。

なお、本ステップＳ１０４において、転倒状態、うずくまり状態及び横たわり状態以外の状態の検知を実施しない場合、制御部１１は、歩行者の状態が、歩行者の転倒状態、うずくまり状態及び横たわり状態のいずれの状態にも該当しないと判定したときに、当該歩行者は正常状態にあると認識してもよい。そして、制御部１１は、当該歩行者が正常状態にあることを、異常状態検知装置１の利用者に報知してもよい。例えば、制御部１１は、タッチパネルディスプレイ１３上で当該歩行者が正常状態にあることを表示することで、当該報知を行ってもよい。

（ステップＳ１０５）
次のステップＳ１０５では、制御部１１は、通知部５５として機能し、上記ステップＳ１０４での判定の結果、歩行者が異常状態にあると判定された場合に、歩行者が異常状態にあることを知らせるための異常状態検知通知を行う。これによって、本動作例に係る処理が終了する。なお、制御部１１が、当該異常検知通知を行う手段は、実施の形態に応じて適宜選択可能である。

例えば、異常状態検知装置１が病院等の施設で利用される場合、当該異常状態検知装置１は、外部インタフェース１５を介して、ナースコールシステム等の設備と接続することができる。この場合、制御部１１は、当該ナースコールシステム等の設備と連携して、異常検知通知を行ってもよい。すなわち、制御部１１は、外部インタフェース１５を介して、当該ナースコールシステムを制御してもよい。そして、制御部１１は、異常検知通知として、当該ナースコールシステムによる呼び出しを行ってもよい。これによって、歩行者が異常状態にあることを当該歩行者の見守りを行う看護師等に適切に知らせることができる。

また、例えば、制御部１１は、異常状態検知装置１に接続されるスピーカ１４から所定の音声を出力することにより、異常検知通知を行ってもよい。また、例えば、制御部１１は、タッチパネルディスプレイ１３上に、異常検知通知として、歩行者の異常状態を検知したことを知らせるための画面を表示させてもよい。

また、例えば、制御部１１は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、このような異常検知通知を行ってもよい。このような異常検知通知を行う場合には、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部１２に予め登録されていてもよい。そして、制御部１１は、この予め登録されている電子メールアドレス、電話番号等を利用して、異常検知通知を行ってもよい。

（作用・効果）
以上のように、本実施形態に係る異常状態検知装置１は、各画素の深度を示す深度データを含む撮影画像３に基づいて歩行者の状態を解析する。上記のとおり、各画素の深度は被写体表面に対して取得されるため、深度データを利用すれば、実空間上の被写体表面の位置を特定することができる。そこで、本実施形態に係る異常状態検知装置１は、この深度データを利用して、歩行者の身体のうち観測対象とする歩行者の上部３１の実空間上の挙動を測定し、測定した歩行者の上部３１の挙動に基づいて、歩行者が異常状態にあるか否かを検知する。

すなわち、本実施形態によれば、歩行者の身体全体ではなく、歩行者の局所的な部位の挙動に基づいて、歩行者の異常状態を検知する。そのため、観測対象とする身体領域が歩行者の上部３１に限られるため、歩行者の状態を解析する処理の負荷が少なくて済み、歩行者の状態を高速に解析することができる。また、観測対象が絞られているため、解析内容がシンプルになる。例えば、上記実施形態では、異常状態検知装置１は、歩行者の上部３１の変動及び高さに基づいて、歩行者の転倒状態、うずくまり状態及び横たわり状態を検知している。この歩行者の上部３１の変動及び高さの計測はエラーが生じ難い。そのため、歩行者の状態を精度よく解析することができる。したがって、本実施形態によれば、歩行者を適切に見守ることができる。

また、本実施形態では、観測の対象とする局所的な部位として歩行者の上部３１を採用し、当該歩行者の上部３１の挙動に基づいて、歩行者の転倒状態、うずくまり状態及び横たわり状態を検知する。そのため、カメラ２の撮影範囲に存在する歩行者がこれらの状態に陥った際には、異常状態検知装置１は歩行者の異常状態を検知することができ、歩行者がこれらの状態に陥っていることを報知することができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

（１）通知処理のタイミング
一例を挙げると、上記実施形態では、制御部１１は、ステップＳ１０４において歩行者が異常状態にあると判定した場合に、直ちに異常検知通知を行っている。しかしながら、異常検知通知を行うタイミングはこのような例に限られなくてもよい。例えば、制御部１１は、通知部５５として機能して、歩行者の異常状態が一定時間以上継続した場合に、異常検知通知を行ってもよい。

この場合、制御部１１は、ステップＳ１０４において、歩行者の異常状態が一定時間以上継続しているか否かを判定する。そして、制御部１１は、歩行者の異常状態が一定時間以上継続していると判定したときに、ステップＳ１０５において異常検知通知を行う。他方、歩行者が異常状態にないとき又は歩行者の異常状態が一定時間以上継続しなかったときには、制御部１１は、ステップＳ１０５の処理を省略して、上記動作例に係る処理を終了する。なお、歩行者の異常状態が一定時間以上継続しているか否かを判定するための閾値は、実施の形態に応じて適宜設定されてよい。

このように、歩行者の異常状態が一定時間以上継続した場合に限り、異常検知通知を行うようにすることで、歩行者の状態が一瞬だけ異常状態の条件を満たしたような場面で発生する異常検知通知の誤報を防止することができる。例えば、歩行者が地面に落ちている物を拾おうとした場合、歩行者の状態は一瞬だけうずくまり状態になりえる。このような場合に、例えば、スピーカ１４等によって異常検知通知を行うと、歩行者の実際の状態とは異なった状態をスピーカ１４の周辺にいる人々に知らせることになり、当該の人々に誤った情報を伝達することになる。これに対して、当該変形例によれば、このような誤報を防止することで、歩行者の異常検知を適切に知らせることができる。

（２）検知の対象とする歩行者の異常状態の種別
また、上記実施形態では、異常状態検知装置１は、歩行者の異常状態として、歩行者の転倒状態、うずくまり状態及び横たわり状態を検知している。しかしながら、検知の対象とする歩行者の異常状態の種別は、これらに限られず、実施の形態に応じて適宜選択されてよい。

例えば、加齢、体力の低下等により、転倒のリスクが高くなる。上記異常状態検知装置１は、そのような転倒のリスクの高い歩行を異常状態として検知してもよい。具体的には、加齢、体力の低下等によって関節の可動域が少なくなることで、歩行者の下肢における関節の動作が少なくなる。例えば、つま先の歩行面（地面）に対する角度が小さくなり、歩行する足の最底部から歩行面（地面）までの距離が小さくなる。

そこで、制御部１１は、ステップＳ１０３において、脚部の挙動を測定する。例えば、制御部１１は、ステップＳ１０２で抽出した人物領域において、パターンマッチング等を行うことによって、脚部の写る範囲を特定する。次に、制御部１１は、脚部の写る範囲のうちつま先の写る部分の各画素の深度を利用して、当該つま先の形状を画像解析することで、つま先の歩行面（地面）に対する角度を算出する。つま先の歩行面（地面）に対する角度を算出する方法には、公知の画像解析方法が用いられてよい。また、制御部１１は、脚部の写る範囲の各画素の深度を利用して、脚部の最下点（最底部）と地面との間の距離を算出する。地面の実空間での位置（高さ）は、上記のとおり、任意の方法で与えられてよい。そして、制御部１１は、このつま先の歩行面（地面）に対する角度及び脚部の最下点（最底部）と地面との間の距離をそれぞれ継続的にプロットする。これによって、制御部１１は、実空間上の脚部の挙動を測定することができる。

また、制御部１１は、上記ステップＳ１０４において、継続的にプロットしたデータを参照し、つま先の歩行面（地面）に対する角度の最大値が所定値以下であるか否かを判定する。また、制御部１１は、脚部の最下点（最底部）と地面との間の距離の最大値が所定値以下であるか否かを判定する。そして、制御部１１は、つま先の歩行面（地面）に対する角度の最大値が所定値以下であり、かつ、脚部の最下点（最底部）と地面との間の距離の最大値が所定値以下であると判定した場合に、歩行者が異常状態にあるとして、次のステップＳ１０５に処理を進める。一方、制御部１１は、そのような条件を満たさない場合には、歩行者が異常状態にはないとして、上記動作例に係る処理を終了する。

このようにして、上記異常状態検知装置１は、転倒のリスクの高い歩行を異常状態として検知してもよい。なお、異常状態であるか否かを判定するための閾値となる上記角度及び距離それぞれの所定値は、実施の形態に応じて適宜設定されてよい。また、対象とする脚部は、右脚でもよく、左脚でもよく、両脚でもよい。

また、上記異常状態検知装置１は、予め測定された健常時における上記角度及び距離を保持してもよい。そして、上記異常状態検知装置１は、予め測定された健常時における上記角度及び距離それぞれと上記ステップＳ１０３で測定した角度及び距離それぞれとの差分により、当該角度及び距離それぞれの健常時からの低下量を算出してもよい。当該角度及び距離の低下量は、転倒のリスクを示す指標として活用することができる。そこで、制御部１１は、上記ステップＳ１０４において、角度及び距離の低下量がそれぞれ所定値を超えた場合に、歩行者が異常状態にあると判定してもよい。

１…浴室異常検知装置、
２…カメラ、３…撮影画像、３１…上部、
５…プログラム、６…記憶媒体、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、１６…通信インタフェース、
１７…ドライブ、
５１…画像取得部、５２…抽出部、５３…挙動測定部、
５４…状態判定部、５５…通知部

Claims (7)

1. 歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得する画像取得部と、
   取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出する抽出部と、
   抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定する挙動測定部と、
   測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定する状態判定部と、
   前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行う通知部と、を備え、
   前記局所的な部位は、前記歩行者の状態により身体上の位置が変わり得る部位である、
   異常状態検知装置。
2. 前記挙動測定部は、前記局所的な部位として前記歩行者の上部の実空間上の挙動を測定し、
   前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で一定時間内に所定距離以上下降したか否かを検知し、前記歩行者の上部が実空間上で一定時間内に所定距離以上下降したことを検知した場合に、前記歩行者は転倒したとして、前記歩行者が異常状態にあると判定する、
   請求項１に記載の異常状態検知装置。
3. 前記挙動測定部は、前記局所的な部位として前記歩行者の上部の実空間上の挙動を測定し、
   前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で所定の第一の高さよりも低い位置に移動したか否かを検知し、前記歩行者の上部が実空間上で前記所定の第一の高さよりも低い位置に移動したことを検知した場合に、前記歩行者はうずくまっているとして、前記歩行者が異常状態にあると判定する、
   請求項１又は２に記載の異常状態検知装置。
4. 前記状態判定部は、測定された前記歩行者の上部の挙動に基づいて、前記歩行者の上部が実空間上で、前記第一の高さよりも更に低い所定の第二の高さより低い位置に移動したか否かを検知し、前記歩行者の上部が実空間上で前記所定の第二の高さよりも低い位置に移動したことを検知した場合に、前記歩行者は横たわっているとして、前記歩行者が異常状態にあると判定する、
   請求項３に記載の異常状態検知装置。
5. 前記通知部は、前記歩行者の異常状態が所定時間以上継続したときに、前記異常検知通知を行う、
   請求項１から４のいずれか１項に記載の異常状態検知装置。
6. コンピュータが、
   歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
   取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出するステップと、
   抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定するステップと、
   測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定するステップと、
   前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行うステップと、
   を実行する異常状態検知方法であって、
   前記局所的な部位は、前記歩行者の状態により身体上の位置が変わり得る部位である、
   異常状態検知方法。
7. コンピュータに、
   歩行動作を行う歩行者を撮影した撮影画像であって、当該撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得するステップと、
   取得した前記撮影画像内で、前記歩行者の写る人物領域を抽出するステップと、
   抽出した前記人物領域に含まれる各画素の深度を参照して、前記撮影画像に写る前記歩行者の身体のうち観測の対象とする局所的な部位の実空間上の位置を継続的に特定することで、前記局所的な部位の実空間上の挙動を測定するステップと、
   測定された前記局所的な部位の挙動に基づいて、前記歩行者が異常状態にあるか否かを判定するステップと、
   前記判定の結果、前記歩行者が異常状態にあると判定された場合に、前記歩行者が異常状態にあることを知らせるための異常検知通知を行うステップと、
   を実行させるための異常状態検知プログラムであって、
   前記局所的な部位は、前記歩行者の状態により身体上の位置が変わり得る部位である、
   異常状態検知プログラム。