JP6557853B2 - 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置 - Google Patents

Description

この発明は、異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置に関し、特にたとえば人の状態が異常状態であることを通知する、異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置に関する。

背景技術の一例が特許文献１に開示されている。この特許文献におけるベッド上及び室内の見守りシステムでは、ベッド領域、ベッドサイド領域およびフロア領域において、対象者を撮影した高さと比較基準高さとの比較が行われ、各領域内でその比較結果による領域の比率演算が行われる。その結果をもとに、対象者がベッド上に起床しているか、あるいは離床したか、ベッドから転落という危機的状態にあるかがすぐに認識される。そして、認識された結果は、看護師、ヘルパーまたは家族に通報される。

特開２０１４−３８６６７号公報［G08B 21/02, G08B 25/04］

対象者がベッドから転落する以外に、対象者が体調を崩してその場で緩やかに体を折り曲げる状態となったり、壁面や家具にもたれかかる状態を経て、中腰やうずくまりの状態となったりする危機的状態などが考えられる。ところが、引用文献１の見守りシステムでは、上述したような、対象者の高さがあまり変化しない転落以外の危機的状態が認識されない可能性がある。そのため、引用文献１の見守りシステムでは、発生した危機的状態によっては認識されず、その状態が看護師などに通報されないことが考えられる。

それゆえに、この発明の主たる目的は、新規な、異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置を提供することである。

この発明の他の目的は、人の状態が異常状態であることを適切に通知することが出来る、異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、床および壁によって仕切られている空間内にいる人の形状を検出する検出手段、検出手段によって検出された人の形状から算出した人と床および壁との接触面積を含む特徴量を抽出する抽出手段、抽出手段によって抽出された特徴量から、人の状態が異常状態であるかを判定する判定手段、判定手段による判定結果を記憶する記憶手段、記憶手段によって記憶された所定時間分の判定結果に基づいて、人の状態が異常状態であるかを認識する認識手段、および認識手段によって人の状態が異常状態であると認識されたとき、人の状態が異常状態であることを通知する通知手段を備える、異常状態通知システムである。

第１の発明では、異常状態通知システム（１００：実施例において対応する部分を例示する参照符号。以下、同じ。）の検出手段（１２，８０）は、たとえば距離画像センサ（１２）を含み、たとえば距離画像センサから出力されたセンサ情報から人の形状を示す情報を算出する。たとえば、抽出手段（８０，Ｓ４５−Ｓ５１）は、身体の各部位の位置、床および壁との接触面積および人の姿勢などを、人の形状を示す情報から抽出して１つの特徴量とする。たとえば機械学習を利用して異常状態を判定する判定モデルが事前に作成され、判定手段（８０，Ｓ５３）はその判定モデルに特徴量を入力することで、人の状態が異常状態であるかを判定する。記憶手段（８０，Ｓ５５，Ｓ７５）は、たとえばメモリ（８４）のバッファ（３３４，３３６）に判定手段による判定結果を記憶する。認識手段（８０，Ｓ９７）は、たとえばバッファに記憶された所定時間（観測時間）分の判定結果に基づいて、人の状態が異常状態であるかを認識する。通知手段（８０，Ｓ９９）は、人の状態が異常状態であると認識されたとき、たとえば介護者などに対して人の状態が異常状態であることを通知する。

第１の発明によれば、人と床および壁との接触面積を含む特徴量を利用することで、様々な異常状態を認識することが可能である。そのため、人の状態が異常状態であることを適切に通知することが出来る。

第２の発明は、第１の発明に従属し、所定時間分の判定結果から、所定時間内において人の状態が異常状態であると判定された割合を算出する算出手段をさらに備え、認識手段は、算出手段によって算出された割合が閾値よりも大きいとき、人の状態が異常状態であると認識する。

第２の発明では、算出手段（８０，Ｓ９３）は、たとえばバッファに記憶された所定時間分の判定結果から、所定時間内において人の状態が異常状態であると判定された割合を算出する。そして、算出された割合が閾値よりも大きいとき、人の状態が異常状態であると認識される。

第２の発明によれば、所定時間分の判定結果を用いて人の状態が異常状態であるかを認識することで、認識の信頼性を向上させることが出来る。

第３の発明は、第１の発明または第２の発明に従属し、特徴量は、人の頭部および腰部の位置関係を含み、抽出手段は、人の形状から人の頭部および腰部の位置関係を抽出する第１抽出手段を含む。

第３の発明では、第１抽出手段（８０，Ｓ４５）は、たとえば、人の各部位の位置に含まれる、頭部および腰部の位置などを抽出する。

第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、特徴量は、人の姿勢をさらに含み、抽出手段は、人の形状から人の姿勢を抽出する第２抽出手段をさらに含む。

第４の発明では、たとえば人の形状を示す情報には、頭および胴体の方向を示す人の姿勢が含まれる。そして、第２抽出手段（８０，Ｓ４９）は、たとえば人の形状を示す情報から、頭および胴体の方向を抽出する。

第３の発明および第４の発明によれば、頭部および腰部の位置関係、接触面積および人の姿勢などを利用して人の状態が異常状態であるかを認識することで、誤認識される可能性を低くすることが出来る。

第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、検出手段が人の形状を検出する周期が所定値より短いかを判定する周期判定手段をさらに備え、認識手段は、人の形状を検出する周期が所定値より短いと判定されたとき、記憶手段によって記憶された所定時間分の判定結果に基づいて、人の状態が異常状態であるかを認識する。

第５の発明では、周期判定手段（８０，Ｓ９）は、人の形状が検出されている周期が所定値（たとえば、１秒）より短いかを判定する。たとえば、周期判定手段によって人の形状が検出されている周期が所定値より短いと判定された場合は、検出手段による人の形状の検出に異常が生じていないと考えられる。そのため、判定手段は、人の形状が検出されている周期が所定値より短いと判定されれば、人の状態が異常状態であるかを認識する。

第６の発明は、第５の発明に従属し、周期判定手段によって人の形状を検出する周期が所定値より短くないと判定されたとき、検出手段の異常を通知する検出異常通知手段をさらに備える。

第６の発明では、人の形状が検出されている時間が所定値より短くないと判定された場合、検出手段による人の形状の検出に異常が生じていると考えられる。そのため、検出異常通知手段（８０，Ｓ１７）は、人の形状が検出されている時間が所定値より短くないと判定されれば、検出手段の異常を人の介護者などに通知する。

第５の発明および第６の発明によれば、たとえば人の介護者などは、人の状態が異常状態であることを適切に認識できないことに気づくことが出来る。

第７の発明は、床および壁によって仕切られている空間内にいる人の形状を検出する検出手段（１２，８０）を有する、異常状態通知システム（１００）のプロセッサ（８０）を、検出手段によって検出された人の形状から算出した人と床および壁との接触面積を含む特徴量を抽出する抽出手段（Ｓ４５−Ｓ５１）、抽出手段によって抽出された特徴量から、人の状態が異常状態であるかを判定する判定手段（Ｓ５３）、判定手段による判定結果を記憶する記憶手段（Ｓ５５，Ｓ７５）、記憶手段によって記憶された所定時間（観測時間）分の判定結果に基づいて、人の状態が異常状態であるかを認識する認識手段（Ｓ９７）、および認識手段によって人の状態が異常状態であると認識されたとき、人の状態が異常状態であることを通知する通知手段（Ｓ９９）として機能させる、異常状態通知プログラムである。

第８の発明は、床および壁によって仕切られている空間内にいる人の形状を検出する検出手段（１２，８０）を有する、異常状態通知システム（１００）における異常状態通知方法であって、異常状態通知システムのプロセッサ（８０）が、検出手段によって検出された人の形状から算出した人と床および壁との接触面積を含む特徴量を抽出する抽出ステップ（Ｓ４５−Ｓ５１）、抽出ステップによって抽出された特徴量から、人の状態が異常状態であるかを判定する判定ステップ（Ｓ５３）、判定ステップによる判定結果を記憶する記憶ステップ（Ｓ５５，Ｓ７５）、記憶ステップによって記憶された所定時間（観測時間）分の判定結果に基づいて、人の状態が異常状態であるかを認識する認識ステップ（Ｓ９７）、および認識ステップによって人の状態が異常状態であると認識されたとき、人の状態が異常状態であることを通知する通知ステップ（Ｓ９９）を実行する、異常状態通知方法である。

第９の発明は、床および壁によって仕切られている空間内にいる人の形状を検出する検出手段（１２，８０）、検出手段によって検出された人の形状から算出した人と床および壁との接触面積を含む特徴量を抽出する抽出手段（８０，Ｓ４５−Ｓ５１）、抽出手段によって抽出された特徴量から、人の状態が異常状態であるかを判定する判定手段（８０，Ｓ５３）、判定手段による判定結果を記憶する記憶手段（８０，Ｓ５５，Ｓ７５）、記憶手段によって記憶された所定時間（観測時間）分の判定結果に基づいて、人の状態が異常状態であるかを認識する認識手段（８０，Ｓ９７）、および認識手段によって人の状態が異常状態であると認識されたとき、人の状態が異常状態であることを通知する通知手段（８０，Ｓ９９）を備える、異常状態通知装置である。

第７−９の発明でも、第１の発明と同様の効果を得ることが出来る。

この発明によれば、人の状態が異常状態であることを適切に通知することが出来る。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の異常状態通知システムの概要を示す図解図である。 図２は図１に示す異常状態通知システムの構成の一例を示す図解図である。 図３は図２に示す距離画像センサの電気的な構成の一例を示すブロック図である。 図４は図２に示す中央制御装置の電気的な構成の一例を示すブロック図である。 図５は図２に示す異常状態通知システムによって認識される異常状態の一例を示す図解図であり、図５（Ａ）は人が家具にもたれかかり緩やかにうずくまる状態に至った様子の一例を示し、図５（Ｂ）は人が壁にもたれかかり緩やかにうずくまる状態に至った様子の一例を示す。 図６は図２に示す異常状態通知システムによって異常状態を認識する際に利用される特徴量の一例を示す図解図である。 図７は図２に示す異常状態通知システムによって認識される異常状態の他の一例を示す図解図である。 図８は図４に示す中央制御装置のメモリのメモリマップの一例を示す図解図である。 図９は図４に示す中央制御装置のプロセッサの異常状態通知処理の一例を示すフロー図である。 図１０は図４に示す中央制御装置のプロセッサの記憶処理の一例を示すフロー図である。 図１１は図４に示す中央制御装置のプロセッサの保持処理の一例を示すフロー図である。 図１２は図４に示す中央制御装置のプロセッサの認識処理の一例を示すフロー図である。

図１および図２を参照して、この実施例の異常状態通知システム１００は、老人ホームなどの介護施設の介護居室などの空間（環境）で利用される。空間内にはベッドなどの家具が置いてあり、介護者や被介護者などの人は空間内を自由に移動することが可能である。また、空間は床および壁で仕切られており、人は空間の壁に設けられたドアなどの出入り口を通ることで、空間から他の介護居室や廊下などに移動したり、廊下などから空間（介護居室）に移動したりすることが可能である。また、空間内の天井には、中央制御装置１０と接続される複数の距離画像センサ１２（１２ａ，１２ｂ，…）が設けられている。そして、異常状態通知システム１００は、空間内にいる人の状態が異常状態であると認識した場合には、介護者などに認識結果を通知する。

異常状態通知システム１００の中央制御装置１０は、異常状態通知装置とも言われ、距離画像センサ１２などが接続される。中央制御装置１０は、一定周期（たとえば、０．１秒）毎に、距離画像センサ１２が出力するセンサ情報を取得する。中央制御装置１０は、距離画像センサ１２のセンサ情報から求めた人の位置や、センサ情報が示す人の形状の情報の履歴を記憶する。

また、空間内で位置が検出された人には、人ＩＤが付与される。人ＩＤは、検出された順番で付与される。

なお、本実施例の空間は介護施設の介護居室であるが、病院の病室や、家などの寝室などの空間でも、異常状態通知システム１００は利用可能である。

また、図１では簡単のため、人は１人しか示していないが、空間内にはさらに多くの人がいてもよい。

また、距離画像センサ１２ａ，１２ｂ，…を区別する必要がない場合、単に「距離画像センサ１２」と言う。

また、本実施例では、距離画像センサ１２がセンサ情報を出力する周期を、「経過時間」と言うことがある。

図３は距離画像センサ１２の電気的な構成を示すブロック図である。図３を参照して、距離画像センサ１２は制御ＩＣ６０などを含む。制御ＩＣ６０には、バス６２を介して、Ａ／Ｄ変換器６４、カメラ６８、深度センサ７０、深度カメラ７２およびＩ／Ｏ７４などが接続される。

制御ＩＣ６０は、キャッシュメモリなどを有し、距離画像センサ１２の動作を制御する。たとえば、制御ＩＣ６０は、中央制御装置１０からの命令に従って動作し、検出した結果を中央制御装置１０に送信する。

Ａ／Ｄ変換器６４にはマイク６６が接続され、マイク６６からの音声信号はＡ／Ｄ変換器６４でディジタル音声情報に変換され、制御ＩＣ６０に入力される。

カメラ６８は、距離画像センサ１２が設置された空間のＲＧＢ情報、つまりカラー画像を撮影するためのカメラである。また、カメラ６８は、後述する深度カメラ７２が撮影している空間と略同じ空間を撮影することが可能なように、距離画像センサ１２に設けられている。

深度センサ７０は、たとえば赤外線プロジェクタであり、深度カメラ７２は、たとえば赤外線カメラである。深度センサ７０は、たとえば赤外線によるレーザ光を距離画像センサ１２の正面に照射する。空間には照射されたレーザ光によって特殊なパターンが描画され、深度カメラ７２は描画されたパターンを撮影する。そして、撮影された画像は制御ＩＣ６０に入力され、制御ＩＣ６０はその画像を解析することで、レーザ光が照射された空間の奥行(depth)情報を計測する。

Ｉ／Ｏ７４は、入力／出力の制御が可能なディジタルポートであり、出力ポートからは音声情報、ＲＧＢ情報および奥行情報などを含むセンサ情報が出力され、中央制御装置１０に与えられる。一方、中央制御装置１０からは制御信号が出力され、入力ポートに与えられる。

なお、距離画像センサ１２は、ＲＧＢ情報および奥行情報を出力することからＲＧＢ−Ｄセンサと呼ばれることもある。

また、本実施例の距離画像センサ１２には、Ｍｉｃｒｏｓｏｆｔ（登録商標）社製のＫｉｎｅｃｔ（登録商標）センサと呼ばれる製品が採用されている。ただし、他の実施例では、ＡＳＵＳ（登録商標）社製のＸｔｉｏｎ、パナソニック（登録商標）社製の３次元距離画像センサであるＤ−ＩＭａｇｅｒ（登録商標）などが距離画像センサ１２として採用されてもよい。

図４は中央制御装置１０の電気的な構成を示すブロック図である。図４を参照して、中央制御装置１０は、距離画像センサ１２およびプロセッサ８０などを含む。プロセッサ８０は、マイクロコンピュータ或いはＣＰＵと呼ばれることもある。プロセッサ８０には、バス８２を介して、複数の距離画像センサ１２、メモリ８４、出力装置８６および入力装置８８などが接続される。

距離画像センサ１２は、上述したように奥行情報などを出力する。この奥行情報には、空間にいる人の形状および人までの距離が含まれている。たとえば、人が天井に設けられた距離画像センサ１２によってセンシングされると、人を上から見た状態の頭部および両肩の形状と、頭部および両肩までの距離が奥行情報として得られる。

また、空間の天井には３５個の距離画像センサ１２が所定の位置（既知）に設置されており、プロセッサ８０は、各々から奥行情報を含むセンサ情報を取得して、人の形状を示す情報を計算する。たとえば、人の形状を示す情報には、空間（ワールド座標系）における人の位置（たとえば、重心など特徴点の位置座標（ｘ，ｙ，ｚ））、身体の各部位の位置（頭、肩、肘、手、胸、腰、膝、足など）、人の姿勢（たとえば、頭の向き（θ_Ｈ）および両肩（胴体）の向き（θ_Ｂ））などが含まれる。

ここで、身体の各部位の位置は、人の頭および肩などの位置、人の姿勢などに基づいて、３次元の人型モデルを人の位置に適用することで求められる。ただし、他の実施例では、他の手法を用いて、身体の各部位の位置が算出されてもよい。

なお、他の実施例では、距離画像センサ１２ではなく、３次元のＬＲＦを利用して、人の位置および姿勢が検出されてもよい。また、距離画像センサ１２およびプロセッサ８０は、まとめて検出手段と言われることもある。

プロセッサ８０は中央制御装置１０の動作を制御し、日時情報を出力するＲＴＣを含む。メモリ８４は、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、中央制御装置１０の動作を制御するための制御プログラムなどが予め記憶される。また、ＲＡＭは、プロセッサ８０のワークメモリやバッファメモリとして用いられる。

出力装置８６は、たとえばディスプレイなどであり、入力装置８８は、たとえばマウスやキーボードである。たとえば、中央制御装置１０の管理者は、このシステムの状態を、出力装置８６および入力装置８８を利用して確認することが出来る。

図５（Ａ）および図５（Ｂ）は、緩やかにうずくまる転倒の一例を示す図解図である。図５（Ａ）では、たとえば人が家具（ベッド）にもたれかかり緩やかにうずくまる状態に至った様子が示されている。また、図５（Ｂ）では、たとえば人が壁にもたれかかり緩やかにうずくまる状態に至った様子が示されている。たとえば、人が貧血を起こすと、そのまま転倒する場合と、周囲のものにもたれかかり緩やかにうずくまる状態、つまり緩やかにうずくまるように転倒する場合とがある。そして、本実施例の異常状態通知システム１００では、緩やかにうずくまるような転倒などの異常状態を認識し、介護者などに通知する。

ここで、図６を参照して、異常状態を認識するために用いられる特徴量について説明する。この特徴量は人の状態を示し、上述した人の形状を示す情報から抽出される。

まず、特徴量の１つとして、人の形状を示す情報に含まれる、身体の各部位の位置関係が抽出される。たとえば、本実施例では、頭と腰との距離や、頭と足との距離などが身体の各部位の位置関係として算出される。ただし、他の実施例では、人の身体の各部位の位置が特徴量の１つとされてもよい。

次に、特徴量の１つとして、人の形状を示す情報から人が床に接している面積および人が壁に接している面積が算出される。本実施例では、床または壁から一定距離（約５ｃｍ）以内に人の身体が存在している場合は、床または壁から一定距離における身体の断面の形状を取得することが可能である。そして、実施例では、床または壁から一定距離における身体の断面の形状から面積を求め、その面積が、人が床と接している面積または人が壁と接している面積とされる。ただし、床または壁から一定距離に身体が存在していない場合、面積は「０」とされる。なお、２つの面積はまとめて接触面積と言われることがある。

そして、人の形状を示す情報に含まれる、頭の向きおよび胴体の向きが特徴量の１つとして抽出される。なお、頭の向きおよび胴体の向きは「人の姿勢」と言われることもある。

このように、人の状態を示す特徴量は、上述した身体の各部位の位置関係（１）、人が床と接している面積（２）、人が壁と接している面積（３）、頭の向き（４）および胴体の向き（５）を含む。なお、特徴量は、距離画像センサ１２からセンサ情報が出力される毎に抽出される。

続いて、人の状態が異常状態となったときの特徴量を複数用意し、複数の特徴量を教師データとし、その教師データをＳＶＭ(Support vector machine)などの機械学習手法によって学習する。これにより、緩やかにうずくまるような転倒などの異常状態を判定する判定モデルを作成することが出来る。この判定モデルに対して、未知の特徴量を入力すると、人の状態が異常状態であるかの判定結果が出力される。

判定モデルから判定結果が出力されると、時刻と対応付けて中央制御装置１０のメモリ８４に記憶（蓄積）される。本実施例では、センサ情報から人の形状を示す情報が算出され、その人の形状を示す情報から特徴量が抽出され、その特徴量が抽出される毎に人の状態が異常状態であるかが判定される。つまり、距離画像センサ１２が出力したセンサ情報が取得される毎に、判定モデルから判定結果が出力される。そのため、各判定結果には、センサ情報が取得された時刻（以下、取得時刻と言う。）が対応付けられる。なお、判定結果は「キュー」と言われることもある。

続いて、所定時間分の判定結果が蓄積されると、所定時間分の判定結果のうち異常状態と判定された割合（以下、異常判定割合と言う。）が求められる。そして、異常判定割合が閾値（たとえば、８０％）よりも大きい場合、人の状態が異常状態であると認識される。そして、異常状態と認識されると、人の状態が異常状態であることが介護者等に通知される。このように、所定時間分の判定結果を用いて人の状態が異常状態であるかを認識することで、認識の信頼性を向上させることが出来る。また、本実施例では、異常判定割合を算出することで、異常状態と判定された判定結果が連続していなくても、人の状態が異常状態であると認識するようにしている。

たとえば、異常状態と判定された判定結果が所定時間連続しているときに、人の状態が異常状態であると認識されるようにした場合、所定時間の中で異常状態ではないと一度でも判定されてしまうと、人の状態が異常状態であったとしても異常状態と認識されない可能性がある。そのため、異常判定割合を求めて異常状態を認識するようにすることで、上述した問題を事前に回避している。

以上のことから、人の状態を示す特徴量を利用することで、様々な異常状態を認識することが可能である。そのため、介護者などに対して、人の状態が異常状態であることを適切に通知することが出来る。

また、頭部および腰部の位置関係、接触面積および人の姿勢などを利用して人の状態が異常状態であるかを認識することで、誤認識される可能性を低くすることが出来る。

また、距離画像センサ１２がセンサ情報を出力する周期(経過時間)は、距離画像センサ１２の故障などによって遅延することがある。経過時間が遅延すると異常状態の認識が遅れ、異常状態であると認識されたことが適切に通知できなくなる。そこで本実施例では、センサ情報を取得する度に経過時間が遅延していないかを判断し、経過時間が遅延している場合にはセンサ異常を、介護者等に通知する。これにより、介護者などは、人の状態が異常状態であることを適切に認識できないことに気づくことが出来る。

なお、異常判定割合を求める際の所定時間は観測時間と言われることもある。また、本実施例の異常状態通知システム１００は、緩やかにうずくまるような転倒だけでなく、図７に示すような横たわる転倒などの異常状態も適切に認識することが出来る。

上述では本実施例の特徴を概説した。以下では、図８に示すメモリ８４のメモリマップおよび図９−図１２に示すフロー図を用いて本実施例について詳細に説明する。

図８は図４に示す中央制御装置１０のメモリ８４のメモリマップの一例を示す図解図である。図８に示すように、メモリ８４はプログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、中央制御装置１０を動作させるためのプログラムとして、人の異常状態を認識して通知するための異常状態通知プログラム３１０、判定モデルによる判定結果を記憶するための記憶プログラム３１２、所定時間分の判定結果を保持するための保持プログラム３１４および人の状態が異常状態であるかを認識するための認識プログラム３１６などが記憶される。また、記憶プログラム３１２、保持プログラム３１４および認識プログラム３１６は、異常状態通知プログラム３１０のサブルーチンとして実行される。

なお、図示は省略するが、中央制御装置１０を動作させるためのプログラムには、人の位置を検出するためのプログラムなども含まれる。

データ記憶領域３０４には、時刻バッファ３３０、センサバッファ３３２、判定結果バッファ３３４および保持バッファ３３６などが設けられる。

時刻バッファ３３０には、プロセッサ８０に含まれるＲＴＣが出力する時刻情報が一時的に記憶される。センサバッファ３３２には、距離画像センサ１２から出力されたセンサ情報が一時的に記憶される。また、センサバッファ３３２に記憶される各センサ情報には、時刻情報が対応付けられる。判定結果バッファ３３４には、判定モデルによって判定された判定結果が記憶（蓄積）される。保持バッファ３３６には、所定時間分の判定結果が一時的に記憶（保持）される。

なお、図示は省略するが、データ記憶領域３０４には、様々な計算の結果を一時的に格納するバッファや、中央制御装置１０の動作に必要な他のカウンタやフラグなども設けられる。

中央制御装置１０のプロセッサ８０は、Ｌｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図９に示す異常状態通知処理、図１０に示す記憶処理、図１１に示す保持処理および図１２に示す認識処理などを含む、複数のタスクを処理する。

図９は異常状態通知処理のフロー図である。距離画像センサ１２から出力されたセンサ情報を受け取り、センサ情報がセンサバッファ３３２に記憶されると、異常状態通知処理が実行される。

異常状態通知処理が実行されると、プロセッサ８０はステップＳ１で、センサ情報を取得する。つまり、センサバッファ３３２に記憶されているセンサ情報が取得される。続いて、ステップＳ３でプロセッサ８０は、センサ情報を初めて取得したか否かを判断する。つまり、センサバッファ３３２に複数のセンサ情報が記憶されていないかが判断される。ステップＳ３で“ＹＥＳ”であれば、つまりセンサバッファ３３２に記憶されているセンサ情報が１つであり、１つ目のセンサ情報が初めて取得されると、ステップＳ５でプロセッサ８０は、記憶処理を実行する。つまり、センサ情報に基づいて判定された異常状態の判定結果にセンサ情報の取得時刻を対応付けて、その判定結果が判定結果バッファ３３４に記憶される。この記憶処理については後述するため、ここでの詳細な説明は省略する。そして、ステップＳ５の処理が終了すると、プロセッサ８０は異常状態通知処理を終了する。

また、ステップＳ３で“ＮＯ”であれば、つまりセンサバッファ３３２に複数のセンサ情報が記憶されており、取得されたセンサ情報が１つ目でなければ、ステップＳ７でプロセッサ８０は、経過時間を算出する。つまり、距離画像センサ１２がセンサ情報を出力する周期が算出される具体的には、センサバッファ３３２に記憶されている、最新のセンサ情報に対応付けられている時刻とその一つ前のセンサ情報に対応付けられている時間とから、経過時間（周期）が算出される。続いて、ステップＳ９でプロセッサ８０は、経過時間が所定値よりも短いか否かを判断する。つまり、距離画像センサ１２がセンサ情報を出力する周期を示す経過時間を利用して、距離画像センサ１２に異常が生じているかが判断される。

なお、本実施例では所定値は、たとえば「１秒」である。また、ステップＳ９の処理を実行するプロセッサ８０は時間判定手段として機能する。

ステップＳ９で“ＹＥＳ”であれば、つまり距離画像センサ１２に異常が生じていなければ、ステップＳ１１でプロセッサ８０は、ステップＳ５と同様、記憶処理を実行する。続いて、プロセッサ８０は、ステップＳ１３で保持処理を実行し、ステップＳ１５で認識処理を実行する。つまり、保持処理では所定時間分の判定結果が保持バッファ３３６によって保持され、認識処理では保持された判定結果を利用して、人の状態が異常状態であるかを認識する。そして、ステップＳ１５の処理が終了すると、プロセッサ８０は異常状態通知処理を終了する。なお、保持処理および認識処理については後述するため、ここでの詳細な説明は省略する。

また、ステップＳ９で“ＮＯ”であれば、たとえば経過時間が所定値よりも長く、距離画像センサ１２に異常が発生している可能性があれば、ステップＳ１７でプロセッサ８０は、センサ異常を通知する。たとえば、中央制御装置１０の出力装置８６から、距離画像センサ１２に異常が生じている可能性があることを伝えるメッセージなどが出力される。なお、ステップＳ１７の処理を実行するプロセッサ８０は検出異常通知手段として機能する。

続いて、プロセッサ８０は、ステップＳ１９で記憶処理を実行し、ステップＳ２１で保持処理を実行する。つまり、距離画像センサ１２に異常が生じていると考えられる状態であっても、判定結果は判定結果バッファ３３４に記憶され、所定時間分の判定結果は保持バッファ３３６によって保持される。そして、ステップＳ１９の処理が終了すると、プロセッサ８０は異常通知処理を終了する。

図１０は記憶処理のフロー図である。たとえば図９に示す異常状態通知処理において、ステップＳ５、ステップＳ１１またはステップＳ１９のいずれかが実行されると、記憶処理が実行される。

記憶処理が実行されると、プロセッサ８０はステップＳ４１で、取得時刻を読み出す。つまり、時刻バッファ３３０に記憶される時刻情報が、取得時刻として読み出される。

続いて、ステップＳ４３でプロセッサ８０は、センサ情報から人の形状を算出する。たとえば、センサ情報に含まれる奥行情報から、人の位置、身体の各部位の位置および人の姿勢などを含む人の形状を示す情報が算出される。

続いて、ステップＳ４５でプロセッサ８０は、人の形状から身体の各部位の位置関係を抽出する。たとえば、頭と腰との距離や、頭と足との距離などが算出される。なお、ステップＳ４５の処理を実行するプロセッサ８０は第１抽出手段として機能する。

続いて、ステップＳ４７でプロセッサ８０は、人の形状から床および壁との接触面積を算出する。たとえば、床または壁から一定距離における身体の断面の形状から、人が床に接している面積および人が壁に接している面積がそれぞれ算出される。なお、ステップＳ４７の処理を実行するプロセッサ８０は面積算出手段として機能する。

続いて、ステップＳ４９でプロセッサ８０は、人の形状から人の姿勢が抽出される。たとえば本実施例では、人の形状を示す情報に含まれる、頭の向きおよび胴体の向きが抽出される。なお、ステップＳ４９の処理を実行するプロセッサ８０は第２抽出手段として機能する。

続いて、ステップＳ５１でプロセッサ８０は、特徴量を作成する。たとえば、身体の各部位の位置関係、人が床と接している面積、人が壁と接している面積、頭の向きおよび胴体の向きを含む、特徴量が作成される。なお、ステップＳ４５−Ｓ５１の処理を実行するプロセッサ８０は抽出手段として機能する。

続いて、ステップＳ５３でプロセッサ８０は、特徴量から異常状態であるかを判定する。たとえば、異常状態であることを判定する判定モデルに対して、特徴量が入力される。なお、ステップＳ５３の処理を実行するプロセッサ８０は判定手段として機能する。

続いて、ステップＳ５５でプロセッサ８０は、取得時刻に判定結果を対応付けて判定結果バッファ３３４に記憶する。たとえば、判定モデルから出力された異常状態の判定結果に対して、ステップＳ４１で取得された取得時刻が対応付けられる。そして、取得時刻が対応付けられた判定結果が判定結果バッファ３３４に記憶される。なお、ステップＳ５５の処理を実行するプロセッサ８０は記憶手段として機能する。

そして、ステップＳ５５の処理が終了すると、プロセッサ８０は記憶処理を終了して、異常状態通知処理に戻る。

図１１は保持処理のフロー図である。たとえば図９に示す異常状態通知処理において、ステップＳ１３またはステップＳ２１が実行されると、保持処理が実行される。

保持処理が実行されると、ステップＳ７１でプロセッサ８０は、判定結果の蓄積時間が算出される。つまり、判定結果バッファ３３４に判定結果を蓄積した時間が算出される。具体的には、判定結果バッファ３３４に記憶されている最も古い判定結果の取得時間と、最新の判定結果の取得時間との差分が蓄積時間として算出される。

続いて、ステップＳ７３でプロセッサ８０は、蓄積時間が観測時間よりも長いか否かを判断する。たとえば観測時間が「１分」であれば、判定結果バッファ３３４に判定結果を蓄積した蓄積時間が、「１分（観測時間）」よりも長いかが判断される。ステップＳ７３で“ＹＥＳ”であれば、つまり判定結果を蓄積した蓄積時間が観測時間よりも長ければ、ステップＳ７５でプロセッサ８０は、判定結果バッファ３３４の判定結果を保持バッファ３３６に記憶する。つまり、判定結果バッファ３３４に記憶されている観測時間（所定時間）分の判定結果が、保持バッファ３３６によって記憶（保持）される。なお、ステップＳ７５の処理を実行するプロセッサ８０は記憶手段として機能する。

続いて、ステップＳ７７でプロセッサ８０は、最も古い判定結果を削除する。つまり、判定結果バッファ３３４に記憶されている判定結果のうち、最も古い判定結果が削除される。

ここで、ステップＳ７５の処理を実行することで、認識に必要な所定時間分の判定結果を保持することが出来る。また、ステップＳ７７の処理を実行することで、不要な判定結果を削除することが出来る。なお、ステップＳ７５の処理を実行するプロセッサ８０は保持手段として機能し、ステップＳ７７の処理を実行するプロセッサ８０は削除手段として機能する。

そして、ステップＳ７７の処理が終了するか、ステップＳ７３で“ＮＯ”であれば、つまり蓄積時間が観測時間よりも短ければ、プロセッサ８０は保持処理を終了して、異常状態通知処理に戻る。

図１２は認識処理のフロー図である。たとえば図９に示す異常状態通知処理において、ステップＳ１５が実行されると、認識処理が実行される。

認識処理が実行されると、ステップＳ９１でプロセッサ８０は、保持バッファ３３６によって判定結果が保持されているかを判断する。つまり、保持バッファ３３６に判定結果が記憶されているかが判断される。ステップＳ９１で“ＮＯ”であれば、つまり保持バッファ３３６によって判定結果が保持されていなければ、プロセッサ８０は認識処理を終了して、異常状態通知処理に戻る。

一方、ステップＳ９１で“ＹＥＳ”であれば、つまり保持バッファ３３６によって判定結果が保持されていれば、ステップＳ９３でプロセッサ８０は、保持バッファ３３６によって保持されている判定結果から異常判定割合を算出する。つまり、保持バッファ３３６に記憶されている判定結果のうち、異常状態と判定された割合が算出される。なお、ステップＳ９３の処理を実行するプロセッサ８０は算出手段として機能する。

続いて、ステップＳ９５でプロセッサ８０は、異常判定割合が閾値よりも大きいかが判断される。つまり、異常状態であると認識するかが判断される。ステップＳ９５で“ＮＯ”であれば、つまり算出された異常判定割合が閾値よりも小さければ、プロセッサ８０はステップＳ１０１の処理に進む。

一方、ステップＳ９５で“ＹＥＳ”であれば、つまり異常判定割合が閾値よりも大きければ、プロセッサ８０は、ステップＳ９７で異常状態と認識し、ステップＳ９９で異常状態を通知する。つまり、人の状態が異常状態であるかが認識され、介護者等に異常状態と認識されたことが通知される。たとえば、介護者が携帯端末を有している場合は、メールなどによって人が異常状態であることが通知される。また、メールだけではなく、音声、光、振動およびこれらの組み合わせなどによって、介護者に人の異常状態が通知されてもよい。なお、ステップＳ９７の処理を実行するプロセッサ８０は認識手段として機能し、ステップＳ９９の処理を実行するプロセッサ８０は通知手段として機能する。

続いて、ステップＳ１０１でプロセッサ８０は、保持バッファ３３６を初期化する。つまり、保持バッファ３３６によって保持された判定結果を利用して異常状態であるかが認識されたため、保持バッファ３３６によって保持（記憶）されている判定結果が消去される。

そして、ステップＳ１０１の処理が終了すると、プロセッサ８０は認識処理を終了して、異常状態通知処理に戻る。

なお、他の実施例では、所定時間毎に、人の状態が異常状態であるかを認識するようにしてもよい。また、その他の実施例では、家具との接触面積も特徴量の１つとして算出されてもよい。

また、さらにその他の実施例では、判定モデルは、重回帰分析、ニューラルネットワークまたはＣ４．５などのアルゴリズムを利用する機械学習手法で作成されてもよい。

また、上述の実施例では、閾値（所定値）などに対して「より大きい」などの言葉を用いたが「閾値より大きい」とは「閾値以上」の意味も含まれる。同様に「閾値よりも小さい」とは「閾値以下」および「閾値未満」の意味も含まれる。

また、本実施例で説明した複数のプログラムは、データ配信用のサーバのHDDに記憶され、ネットワークを介して本実施例と同等の構成のシステムまたは中央制御装置１０に配信されてもよい。また、CD, DVD, BD (Blu-ray（登録商標） Disc)などの光学ディスク、USBメモリおよびメモリカードなどの記憶媒体にこれらのプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、上記複数のプログラムが、本実施例と同等の構成のシステムまたは中央制御装置１０に適用された場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ …中央制御装置
１２ …距離画像センサ
８０ …プロセッサ
８４ …メモリ
１００ …異常状態通知システム

Claims (9)

1. 床および壁によって仕切られている空間内にいる人の形状を検出する検出手段、
   前記検出手段によって検出された人の形状から算出した前記人と前記床および前記壁との接触面積を含む特徴量を抽出する抽出手段、
   前記抽出手段によって抽出された特徴量から、前記人の状態が異常状態であるかを判定する判定手段、
   前記判定手段による判定結果を記憶する記憶手段、
   前記記憶手段によって記憶された所定時間分の判定結果に基づいて、前記人の状態が異常状態であるかを認識する認識手段、および
   前記認識手段によって前記人の状態が異常状態であると認識されたとき、前記人の状態が異常状態であることを通知する通知手段を備える、異常状態通知システム。
2. 前記所定時間分の判定結果から、前記所定時間内において前記人の状態が異常状態であると判定された割合を算出する算出手段をさらに備え、
   前記認識手段は、前記算出手段によって算出された割合が閾値よりも大きいとき、前記人の状態が異常状態であると認識する、請求項１記載の異常状態通知システム。
3. 前記特徴量は、前記人の頭部および腰部の位置関係を含み、
   前記抽出手段は、前記人の形状から前記人の頭部および腰部の位置関係を抽出する第１抽出手段を含む、請求項１または２記載の異常状態通知システム。
4. 前記特徴量は、前記人の姿勢をさらに含み、
   前記抽出手段は、前記人の形状から前記人の姿勢を抽出する第２抽出手段をさらに含む、請求項１ないし３のいずれかに記載の異常状態通知システム。
5. 前記検出手段が前記人の形状を検出する周期が所定値より短いかを判定する周期判定手段をさらに備え、
   前記認識手段は、前記人の形状を検出する周期が所定値より短いと判定されたとき、前記記憶手段によって記憶された前記所定時間分の判定結果に基づいて、前記人の状態が異常状態であるかを認識する、請求項１ないし４のいずれかに記載の異常状態通知システム。
6. 前記周期判定手段によって前記人の形状を検出する周期が所定値より短くないと判定されたとき、前記検出手段の異常を通知する検出異常通知手段をさらに備える、請求項５記載の異常状態通知システム。
7. 床および壁によって仕切られている空間内にいる人の形状を検出する検出手段を有する、異常状態通知システムのプロセッサを、
   前記検出手段によって検出された人の形状から算出した前記人と前記床および前記壁との接触面積を含む特徴量を抽出する抽出手段、
   前記抽出手段によって抽出された特徴量から、前記人の状態が異常状態であるかを判定する判定手段、
   前記判定手段による判定結果を記憶する記憶手段、
   前記記憶手段によって記憶された所定時間分の判定結果に基づいて、前記人の状態が異常状態であるかを認識する認識手段、および
   前記認識手段によって前記人の状態が異常状態であると認識されたとき、前記人の状態が異常状態であることを通知する通知手段として機能させる、異常状態通知プログラム。
8. 床および壁によって仕切られている空間内にいる人の形状を検出する検出手段を有する、異常状態通知システムにおける異常状態通知方法であって、前記異常状態通知システムのプロセッサが、
   前記検出手段によって検出された人の形状から算出した前記人と前記床および前記壁との接触面積を含む特徴量を抽出する抽出ステップ、
   前記抽出ステップによって抽出された特徴量から、前記人の状態が異常状態であるかを判定する判定ステップ、
   前記判定ステップによる判定結果を記憶する記憶ステップ、
   前記記憶ステップによって記憶された所定時間分の判定結果に基づいて、前記人の状態が異常状態であるかを認識する認識ステップ、および
   前記認識ステップによって前記人の状態が異常状態であると認識されたとき、前記人の状態が異常状態であることを通知する通知ステップを実行する、異常状態通知方法。
9. 床および壁によって仕切られている空間内にいる人の形状を検出する検出手段、
   前記検出手段によって検出された人の形状から算出した前記人と前記床および前記壁との接触面積を含む特徴量を抽出する抽出手段、
   前記抽出手段によって抽出された特徴量から、前記人の状態が異常状態であるかを判定する判定手段、
   前記判定手段による判定結果を記憶する記憶手段、
   前記記憶手段によって記憶された所定時間分の判定結果に基づいて、前記人の状態が異常状態であるかを認識する認識手段、および
   前記認識手段によって前記人の状態が異常状態であると認識されたとき、前記人の状態が異常状態であることを通知する通知手段を備える、異常状態通知装置。

Images