JP5870230B1 - 見守り装置、見守り方法および見守りプログラム - Google Patents

Abstract

【課題】ベッド上の人物の状態を正確に判断することのできる見守り装置を提供する。【解決手段】被写体までの距離を複数の箇所で測定することにより、各画素の輝度値が被写体までの距離を示す距離画像を生成する距離測定部と、距離画像に基づいて、被写体の３次元座標を決定する３次元処理部と、３次元座標に基づいて、所定の距離範囲内にある３次元座標同士に同一のラベルを付けるラベリング処理を施すことで、３次元ブロックを生成する３次元ブロック生成部と、所定時間離れた２フレームの距離画像間で、画素毎に距離の差分を算出し、当該差分が所定の閾値以上の画素からなる領域を移動体領域として検出する移動体領域検出部と、移動体領域に対応する３次元ブロック内の領域を移動体ブロックとして抽出する移動体ブロック抽出部と、移動体ブロックに係る物理量に基づいて、人物の状況を判断し、判断結果を外部に通知する状況判断部とを備える。【選択図】図２

Description

本発明は、高齢者などの人物を見守る見守り装置、見守り方法および見守りプログラムに関し、特に、ベッド上の人物を見守る見守り装置、見守り方法および見守りプログラムに関する。

従来、介護施設等において、被介護者がベッドから離床する際の転倒による骨折や、ベッドからの転落による怪我を防ぐために、マットセンサーやビームセンサー等を用いて、ベッドからの離床やはみ出しなどを検知する技術が開発されている（例えば、特許文献１および２参照）。

特開２０１４−１０４１０８号公報 特開２０１５−１４６８５６号公報

しかしながら、マットセンサーを用いた場合には、ベッドから被介護者が転落等した後でないと異常を検出することができない。このため、事前にベッド上の人物の状況を察知し、危険を防止することが困難である。

ビームセンサーを用いた場合には、ベッド上に積み重ねられた布団に反応する場合がある。また、介護用ベッドは高さが変更可能であるため、ベッドの高さによっては被介護者の反応のしやすさに差が生じる場合がある。このため、ビームセンサーを用いた場合には誤検出が生じやすく、介護者の負担が増えるという課題がある。

本発明は、上述の課題に鑑みてなされたものであり、ベッド上の人物の状態を正確に判断することのできる見守り装置、見守り方法および見守りプログラムを提供することを目的とする。

上記目的を達成するために、本発明のある局面に係る見守り装置は、ベッド上の人物を見守る見守り装置であって、被写体までの距離を複数の箇所で測定することにより、各画素の輝度値が前記被写体までの距離を示す距離画像を生成する距離測定部と、前記距離測定部が生成した前記距離画像に基づいて、前記被写体の３次元座標を決定する３次元処理部と、前記３次元処理部が決定した前記３次元座標に基づいて、所定の距離範囲内にある３次元座標同士に同一のラベルを付けるラベリング処理を施すことで、３次元ブロックを生成する３次元ブロック生成部と、前記距離測定部が生成した所定時間離れた２フレームの前記距離画像間で、画素毎に時間的に前のフレームの距離から時間的に後のフレームの距離を減算することにより距離の差分を算出し、当該差分が所定の閾値以上の画素からなる領域を移動体領域として検出する移動体領域検出部と、前記移動体領域検出部が検出した前記移動体領域に対応する前記３次元ブロック内の領域を移動体ブロックとして抽出する移動体ブロック抽出部と、前記移動体ブロック抽出部が抽出した前記移動体ブロックに係る物理量に基づいて、前記人物の状況を判断し、判断結果を外部に通知する状況判断部とを備える。

この構成によると、距離画像のフレーム間差分により移動体領域を検出している。通常の画像のフレーム間差分では、輝度の変化領域を検出するため、例えば、カーテンの揺れのような輝度の変化が生じている領域を検出することがある。しかし、距離画像を用いることにより、人物が実際に移動している領域を移動体領域として検出することができる。よって、正確な移動体領域を検出することができる。また、このようにして検出された移動体領域を３次元ブロックに重ね合わせることにより、移動体ブロックを抽出している。このため、３次元空間における移動体ブロックを正確に抽出することができる。このようにして抽出された移動体ブロックに係る物理量に基づいて、人物の状況を判断することにより、ベッド上の人物の状態を正確に判断することができる。

また、上述の見守り装置は、さらに、前記３次元ブロックを追跡することにより、前記ベッドの外に位置する前記３次元ブロックの出現、消失、分離または統合を判定するトラッキング処理部を備え、前記状況判断部は、さらに、前記トラッキング処理部の判断結果に基づいて、前記人物の前記ベッドが設置してある部屋への入室もしくは退室、または前記ベッドからの離床もしくは前記ベッドへの入床を判断してもよい。

この構成によると、３次元ブロックを追跡することにより、ベッド外で生じる事象も検出することができる。このため、人物の部屋からの入退出や、離床または入床を、介護者に通知することができる。

また、前記状況判断部は、さらに、ベッド上の前記移動体ブロックを所定間隔でスライスした各スライス面における前記移動体ブロックの重心位置に基づいて、前記人物の体軸を検出し、当該体軸の角度に基づいて前記人物の起き上がりを判断してもよい。

この構成によると、移動体ブロックから人物の体軸を簡易な方法で求めることができる。このため、体軸の角度から人物が起き上がっているか否かを正確に判断することができる。

また、前記状況判断部は、前記体軸の角度と前記人物のベッド上での位置とに基づいて、前記人物の端座位を判断してもよい。

この構成によると、簡易かつ正確な方法で、人物がベッドの端に座っているか否かを判断することができる。

また、前記状況判断部は、前記移動体ブロック抽出部が抽出した前記移動体ブロックのベッドからはみ出した領域のサイズに基づいて、前記人物のベッドからのはみ出しを判断してもよい。

この構成によると、簡単かつ正確な方法で、人物がベッドからはみ出しているか否かを判断することができる。

また、前記状況判断部は、前記人物のベッドからのはみ出しを検出した場合であって、かつ、前記ベッドを含む領域であって、前記ベッドよりも大きいサイズの領域から、前記人物に対応する前記移動体ブロックがはみ出した場合に、前記はみ出しを外部に通知してもよい。

この構成によると、人物がベッドから少しはみ出したぐらいでは外部に通知されず、人物が大きくベッドからはみ出した場合に外部に通知される。このため、ベッドからの転落の恐れがない場合にまで外部に通知されるのを防止し、ベッドからの転落の恐れがある場合にのみ人物のはみ出しを通知することができる。

また、前記見守り装置は、さらに、前記３次元処理部が決定した前記３次元座標のうち、地面から所定範囲内の高さの前記３次元座標を除去する地面座標除去部を備え、前記３次元ブロック生成部は、前記地面座標除去部により除去された後の残りの前記３次元座標に基づいて、前記３次元ブロックを生成し、前記見守り装置は、さらに、前記３次元ブロック生成部が生成した前記３次元ブロックのうち、体積が最大の前記３次元ブロックを、前記ベッドを示す前記３次元ブロックであるベッドブロックとして特定するベッド特定部を備え、前記ベッド特定部は、さらに、前記ベッドブロックの水平面への投影領域に直線を当てはめることにより前記ベッドの領域を特定してもよい。

この構成によると地面の近くの３次元座標が除去された上で、３次元ブロックが生成される。なお、ベッドは地面からある程度離れているため、ベッドに対応する３次元ブロックは除去されない。このため、ベッド上の人物を見守り対象としている場合には、３次元ブロック生成部が生成した３次元ブロックのうち、ベッドに対応する３次元ブロックが最大の体積を有することになる。このため、ベッドの位置を正確に特定することができる。また、ベッドは、通常矩形であるため、ベッドブロックの水平面への投影領域に直線を当てはめることにより、正確にベッドの領域を特定することができる。

なお、本発明は、このような特徴的な処理部を備える見守り装置として実現することができるだけでなく、見守り装置に含まれる特徴的な処理部が実行する処理をステップとする見守り方法として実現することができる。また、見守り装置に含まれる特徴的な処理部としてコンピュータを機能させるための見守りプログラムまたは見守り方法に含まれる特徴的なステップをコンピュータに実行させる見守りプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本発明は、見守り装置の一部又は全部を実現する半導体集積回路として実現したり、見守り装置を含む見守りシステムとして実現したりすることもできる。

本発明によると、ベッド上の人物の状態を正確に判断することができる。

本発明の実施の形態に係る見守り装置の適用例について説明するための図である。 見守り装置の構成を示すブロック図である。 見守り装置の設置位置を説明するための図である。 見守り装置が実行する処理の流れを示すフローチャートである。 距離画像の一例を示す図である。 煽り角θの算出方法について説明するための図である。 ３次元ブロックの生成処理（図４のＳ４）を説明するための図である。 ベッドの３次元ブロックおよびベッドの領域を特定する処理（図４のＳ５）を説明するための図である。 移動体検出処理（図４のＳ６）を説明するための図である。 移動体検出処理（図４のＳ６）を説明するための他の図である。 抽出した移動体ブロックの一例を示す図である。 移動体ブロックをｘｙ平面に投影した領域を示す図である。 トラッキング処理部による判定処理（図４のＳ９）を説明するための図である。 トラッキング処理部による判定処理（図４のＳ９）を説明するための他の図である。

［本願発明の実施形態の詳細］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

図１は、本発明の実施の形態に係る見守り装置の適用例について説明するための図である。
見守り装置１０は、老人ホーム、介護施設または病院などの見守りの対象者２４が居住する部屋２０に設置され、対象者２４の状況を判断することにより、対象者２４を見守る。例えば、見守り装置１０は、部屋２０の壁などに設置され、部屋２０に設置されたベッド２２に寝ている対象者２４を見守り、対象者２４がベッド２２から起き上がった、または、対象者２４がベッド２２からはみ出したなどの、対象者２４の状況を判断する。見守り装置１０は、これらの判断結果を、外部の端末装置に通知する。例えば、見守り装置１０は、介護施設の管理事務所や病院のナースステーションに設置された管理用のコンピュータに、判断結果の情報を送信する。

図２は、見守り装置１０の構成を示すブロック図である。
見守り装置１０は、距離測定部１１と、３次元処理部１２と、地面座標除去部１３と、３次元ブロック生成部１４と、ベッド特定部１５と、トラッキング処理部１６と、移動体領域検出部１７と、移動体ブロック抽出部１８と、状況判断部１９とを備える。

距離測定部１１は、被写体までの距離を複数の箇所で測定することにより、各画素の輝度値が被写体までの距離を示す距離画像を生成する。つまり、距離測定部１１は、カメラの前面に規則的に配置された複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）と、レンズとを含むカメラであり、複数のＬＥＤから一斉に照射された光が、被写体で反射され、反射された光（例えば、近赤外光）がレンズによって集光される。この時、ＬＥＤが光を出射してからレンズに反射光が到達するまでの時間は被写体の位置により異なる。つまり、被写体がカメラに近いほど反射光の到達時間は短くなり、被写体がカメラから遠いほど反射光の到達時間は長くなる。距離測定部１１は、到達時間を画素毎に計測することにより、被写体までの距離を画素ごとに出力する。つまり、距離測定部１１は、被写体までの距離を画素における輝度値で表した距離画像を出力する。見守り装置１０の設置位置、つまり、見守り装置１０の地面からの高さおよび煽り角は、ベッド２２を含むエリアを被写体とするように決定されている。

図３は、見守り装置１０の設置位置を説明するための図である。見守り装置１０は、図３に示す３次元空間中に設置される。ｘｚ平面は水平面であり、ｙ軸は垂直軸である。また、距離測定部１１のレンズの中心軸はｙｚ平面と平行である。見守り装置１０の煽り角（水平面からの傾き）はθであり、見守り装置１０の地面からの高さはｈである。また、見守り装置１０の地面への投影点から所定距離（例えば、２．５ｍ）離れた地面上の点を原点Ｏ（０，０，０）とする。

３次元処理部１２は、距離測定部１１が生成した距離画像に基づいて、被写体の３次元座標を決定する。つまり、３次元処理部１２は、見守り装置１０の地面からの高さｈおよび煽り角θに基づいて、距離画像より得られる見守り装置１０から被写体までの距離データをアフィン変換することにより、図３で説明した３次元空間中での３次元座標を計算する。

地面座標除去部１３は、３次元処理部１２が決定した３次元座標のうち、地面から所定範囲内の高さの３次元座標を除去する。

３次元ブロック生成部１４は、３次元処理部１２が決定した３次元座標に基づいて、所定の距離範囲内にある３次元座標同士に同一のラベルを付けるラベリング処理を施すことで、同一のラベルの３次元座標を同一のブロックとする３次元ブロックを生成する。なお、地面座標除去部１３によって地面から所定範囲内の高さの３次元座標が除去された後の３次元座標を、処理対象の３次元座標とすることができる。

ベッド特定部１５は、３次元ブロック生成部１４が生成した３次元ブロックのうち、体積が最大の３次元ブロックを、ベッド２２を示す３次元ブロックであるベッドブロックとして特定する。また、ベッド特定部１５は、ベッドブロックの水平面（ｘｚ平面）への投影領域に直線を当てはめることによりベッド２２の領域を特定する。

トラッキング処理部１６は、３次元ブロック生成部１４が生成した３次元ブロックを追跡することにより、ベッド２２の外に位置する３次元ブロックの出現、消失、分離または統合を判定する。これらの判定方法については後述する。

移動体領域検出部１７は、距離測定部１１が生成した所定時間離れた２フレームの距離画像間で、画素毎に時間的に前のフレームの距離から時間的に後のフレームの距離を減算することにより距離の差分を算出し、当該差分が所定の閾値以上の画素からなる領域を移動体領域として検出する。

移動体ブロック抽出部１８は、移動体領域検出部１７が検出した移動体領域に対応する３次元ブロック内の領域を移動体ブロックとして抽出する。

状況判断部１９は、移動体ブロック抽出部１８が抽出した移動体ブロックに係る物理量に基づいて、対象者２４の状況を判断する。また、状況判断部１９は、トラッキング処理部１６の判断結果に基づいて、人物の部屋２０への入室もしくは退室、またはベッドからの離床もしくはベッドへの入床を判断する。ここでいう人物は、対象者２４の場合もあるし、対象者２４以外の人物である場合もある。なお、状況判断部１９は、さらに、判断結果を外部に通知する。

図４は、見守り装置１０が実行する処理の流れを示すフローチャートである。
距離測定部１１は、ベッド２２を含むエリアを被写体として、被写体までの距離を示す距離画像を生成する（Ｓ１）。図５は、距離画像の一例を示す図であり、図５（ａ）は、対象者２４がベッド２２に寝ている状況における距離画像を示している。図５（ａ）は、介護者が対象者２４をベッド２２から起こした状況における距離画像を示している。距離画像において、見守り装置１０からの距離が遠いほど輝度値が大きく（輝度が明るく）、見守り装置１０からの距離が近いほど輝度値が小さい（輝度が暗い）ものとする。図５（ｂ）に示すように前側の立っている人物の方が、後ろ側のベッド２２に座っている人物よりも輝度値が小さくなっていることが分かる。

３次元処理部１２は、距離測定部１１が生成した距離画像に基づいて、被写体の３次元座標を決定する（Ｓ２）。３次元座標の決定方法については上述した通りである。その際、見守り装置１０の煽り角θが未知の場合には、煽り角θを算出しながら３次元座標を決定してもよい。つまり、煽り角θを所定角度ずつ変化させながら３次元座標を決定し、後述する評価関数に従い煽り角θを算出してもよい。

図６を用いて、煽り角θの算出方法について説明する。なお、図６では、ベッド２２の代わりにソファーを被写体としている。図６（ａ）は、煽り角θ＝０°としたときにｘｙ平面に投影された被写体像と、その時の被写体のｙ座標のヒストグラムとを示す。３次元処理部１２は、煽り角θを所定角度ずつ変化させながら、それぞれの煽り角θにおける被写体の３次元座標について、被写体のｙ座標のヒストグラムを算出する。図６（ｂ）〜図６（ｄ）は、その一例を示す。図６（ｂ）、図６（ｃ）および図６（ｄ）の各々は、煽り角θを２３．４°、４６．６°および５０．０°としたときの、ｘｙ平面に投影された被写体像と、被写体のｙ座標のヒストグラムとを示す。ここで、ヒストグラムにおける最大度数と、最大度数に対応したｙ座標以外のｙ座標における度数の平均との差を評価関数とし、評価関数が最大になるときの煽り角θを見守り装置１０の煽り角と決定する。また、その時の３次元座標を、被写体の３次元座標と決定する。図６（ａ）のように、実際の煽り角θからずれた煽り角θに基づいてｙ座標のヒストグラムを作成すると、地面であってもｙ座標が一定の値にならないため、評価関数の値が小さくなる。その一方、図６（ｃ）のように、実際の煽り角θと算出した煽り角θとが一致した場合には、地面やソファーなどの面が水平面であることから、ｙ座標のヒストグラムにおいてピークが生じする。このため、評価関数の値が最大になる。なお、上述の評価関数は一例であり、見守り装置１０の煽り角θを求めることができる関数であれば、どのような関数であってもよい。

地面座標除去部１３は、ステップＳ２において３次元処理部１２が決定した３次元座標のうち、地面から所定範囲内の高さの３次元座標を除去する（Ｓ３）。例えば、煽り角θがθ＝４６．６°と決定されたとすると、図６（ｃ）に示す、その時のｙ座標のヒストグラムから、ｙ座標の最低位置３０を求め、最低位置３０から所定距離（例えば、５０ｃｍ）以内の高さを有する３次元座標を、地面の３次元座標とみなして除去する。

３次元ブロック生成部１４は、地面の３次元座標が除去された後の３次元座標に基づいて、所定の距離範囲内にある３次元座標同士に同一のラベルを付けるラベリング処理を施すことで、同一のラベルの３次元座標を同一のブロックとする３次元ブロックを生成する（Ｓ４）。

図７は、３次元ブロックの生成処理（図４のＳ４）を説明するための図である。図７（ａ）は、距離測定部１１が生成した距離画像の一例を示す図である。３次元ブロック生成部１４は、距離画像上で図７（ｂ）に示すマスクを走査する。図７（ｂ）では、注目画素をＩで示し、注目画素Ｉの隣接画素をＡ〜Ｄで示している。つまり、３次元ブロック生成部１４は、あるマスク位置において、注目画素Ｉに対応する３次元座標（ＸＩ，ＹＩ，ＺＩ）と隣接画素Ａに対応する３次元座標（ＸＡ，ＹＡ，ＺＡ）との３次元空間における距離を算出する。算出した距離が所定の距離範囲内（例えば、５ｃｍ以内）であれば、注目画素Ｉと隣接画素Ａとに同一のラベルを付す。同様の処理を注目画素Ｉと隣接画素Ｂ、注目画素Ｉと隣接画素Ｃ、注目画素Ｉと隣接画素Ｄとの間でも行う。３次元ブロック生成部１４は、すべての走査位置において、同様の距離算出とラベル付けとを実行する。図７（ｃ）は、ラベル付けの結果を示し、４つの３次元ブロック４１〜４４が生成されている。

ベッド特定部１５は、３次元ブロック生成部１４が生成した３次元ブロックのうち、体積が最大の３次元ブロックを、ベッド２２を示す３次元ブロックであるベッドブロックとして特定する。また、ベッド特定部１５は、ベッドブロックの水平面（ｘｚ平面）への投影領域に直線を当てはめることによりベッド２２の領域を特定する（Ｓ５）。

図８は、ベッド２２の３次元ブロックおよびベッド２２の領域を特定する処理（図４のＳ５）を説明するための図である。図８に示すように３次元ブロック４１〜４４のうち、最大の体積を有する３次元ブロック４２が、ベッド２２を示す３次元ブロックとして特定される。また、３次元ブロック４２の水平面（ｘｚ平面）への投影領域に直線を当てはめることによりベッド領域４５が特定される。

移動体領域検出部１７は、距離測定部１１が生成した所定時間（例えば、１０秒間）離れた２フレームの距離画像間で、画素毎に時間的に前のフレームの距離から時間的に後のフレームの距離を減算することにより距離の差分を算出し、当該差分が所定の閾値以上の画素からなる領域を移動体領域として検出する（Ｓ６）。

図９は、移動体検出処理（図４のＳ６）を説明するための図である。図９（ａ）は、（ｉ−１）フレームの距離画像の一例を示し、図９（ｂ）は、（ｉ−１）フレームから所定時間（例えば、１０秒間）離れたｉフレームの距離画像の一例を示す。移動体領域検出部１７は、（ｉ−１）フレームの距離画像とｉフレームの距離画像との距離の差分を画素毎に行う。つまり、移動体領域検出部１７は、画素ごとに、（ｉ−１）フレームの距離からｉフレームの距離を引いた値を算出する。移動体領域検出部１７は、算出した値（距離の差分）が所定の差分閾値（例えば、５ｃｍ）以上ある画素を抽出することにより、差分二値画像を生成する。これにより、見守り装置１０の方に差分閾値以上近づいてくる領域を抽出することができる。図９（ｃ）は、差分二値画像の一例を示す図であり、算出した値が所定の差分閾値以上の画素を、白色で示している。図９（ｃ）では、対象者２４がベッド２２から起き上がろうとする状況を示しており、主に対象者２４の上半身が移動体領域５１として検出されている。

図１０は、移動体検出処理（図４のＳ６）を説明するための他の図である。図１０（ａ）は、（ｉ−１）フレームの距離画像の一例を示し、図１０（ｂ）は、（ｉ−１）フレームから所定時間（例えば、１０秒間）離れたｉフレームの距離画像の一例を示す。図１０（ｃ）は、図９（ｃ）を参照して説明したのと同様の方法により生成した差分二値画像の一例を示す図である。図１０（ｃ）では、ベッド２２の布団の一部がまくられた状況を示しており、主に対象者２４の下半身の部分が移動体領域５２として検出されている。

移動体ブロック抽出部１８は、移動体領域検出部１７が検出した移動体領域に対応する３次元ブロック内の領域を移動体ブロックとして抽出する（Ｓ７）。例えば、図１０（ｃ）に示した移動体領域５２に対応する３次元ブロックを３次元ブロック生成部１４から抽出し、抽出した３次元ブロックのうち、移動体領域５２に対応する領域を移動体ブロックとして抽出する。図１１は、抽出した移動体ブロック５３の一例を示す図であり、移動体ブロック５３を周囲とは異なる色で示している。

状況判断部１９は、移動体ブロック抽出部１８が抽出した移動体ブロックに係る物理量に基づいて、人物の状況を判断する（Ｓ８）。つまり、状況判断部１９は、移動体ブロックに係る物理量に基づいて、対象者２４のベッド２２からの起き上がりと、対象者２４の端座位と、対象者２４のベッド２２からのはみ出しとを検出する。

図１２を用いて、状況判断部１９による対象者２４の起き上がりと端座位との検出方法を説明する。図１２は、移動体ブロック６１をｘｙ平面に投影した領域を示す図である。状況判断部１９は、移動体ブロック６１のｚ座標が最大の点を基準点として、当該基準点から所定間隔（例えば、５ｃｍ間隔）のｘｙ平面に平行な面で移動体ブロック６１をスライスする。図１２では、スライス面６２を破線で示している。状況判断部１９は、各スライス面６２において移動体ブロック６１の重心位置を求める。状況判断部１９は、重心位置の３次元空間中における回帰直線を最小二乗法により算出し、算出した回帰直線を対象者２４の体軸６３とする。状況判断部１９は、体軸６３とスライス面６２とのなす角αを算出する。また、状況判断部１９は、移動体ブロック６１のサイズ情報（例えば、各スライス面６２における移動体ブロック６１の面積および幅、ならびに移動体ブロック６１の高さ）を算出する。状況判断部１９は、移動体ブロック６１のサイズ情報に基づいて、移動体ブロック６１が人物の移動体ブロック６１か否かを判断する。例えば、移動体ブロック６１の面積が所定面積範囲内であり、移動体ブロック６１の幅が所定幅範囲内であり、かつ移動体ブロック６１の高さが３０ｃｍ以上である場合に、移動体ブロック６１は人物の移動体ブロック６１であると判断してもよい。これにより、例えば、布団のようなある程度、面積及び幅が大きく、高さが小さい物体を排除することができる。状況判断部１９は、人物の移動体ブロック６１について、上述の角αが第１角度閾値（例えば、４５°）以上であれば、対象者２４が起き上がっていると判断する。つまり、対象者２４の起き上がりを検出する。

また、状況判断部１９は、角αが第２角度閾値（例えば、７５°）以上であり、かつ、移動体ブロック６１がベッド端エリアにあれば、対象者２４が、ベッド端に座っていると判断する。つまり、対象者２４の端座位を検出する。ここで、ベッド端エリアとは、例えば、ベッド２２の端からベッドの中心に向かって、４０ｃｍ以内のエリアである。

また、状況判断部１９は、移動体ブロック６１のｘｚ平面への投影領域のうち、ベッド２２の領域からはみ出した領域のサイズに基づいて、はみ出した領域が足の領域か否かを判断する。例えば、はみ出した領域の時間変化量（２秒間におけるはみ出し領域の面積の変化量）が所定変化閾値（例えば、５００ｃｍ^２）以上であり、はみ出した領域の長手方向の長さが所定の第１長さ閾値（例えば、１００ｃｍ）以下であり、かつ、はみ出した領域の短手方向（長手方向に直交する方向）の長さが第２長さ閾値（例えば、３０ｃｍ以下）であれば、はみ出した領域が足の領域であると判断し、対象者２４のベッド２２からのはみ出しを検出する。なお、はみ出した領域が上記条件を満たさない場合には、状況判断部１９は、布団などがはみ出したと判断する。

トラッキング処理部１６は、３次元ブロック生成部１４が生成した３次元ブロックを追跡することにより、ベッド２２の外に位置する３次元ブロックの出現、消失、分離または統合を判定する（Ｓ９）。

図１３は、トラッキング処理部１６による判定処理（図４のＳ９）を説明するための図である。図１３（ａ）および図１３（ｂ）の左側に（ｎ−１）フレーム目の３次元ブロックの水平面（ｘｚ平面）へ投影した画像を示し、図１３（ａ）および図１３（ｂ）の右側にｎフレーム目の３次元ブロックの水平面（ｘｚ平面）へ投影した画像を示す。また、各画像のＡ〜Ｄは、３次元ブロックの投影領域を示す。ここで、３次元ブロックＢは、ベッド２２の３次元ブロックであるものとする。図１３（ａ）に示すように、（ｎ−１）フレームの画像には、３つの３次元ブロックＡ〜Ｃが含まれ、ｎフレームの画像には、４つの３次元ブロックＡ〜Ｄが含まれる。トラッキング処理部１６は、（ｎ−１）フレームの画像に含まれる３次元ブロックＡ〜Ｃを基準として、各３次元ブロックに最も距離が近い３次元ブロックをｎフレームの画像の中から探し、３次元ブロックの対応付けを行う。すると、（ｎ−１）フレームの３次元ブロックＡ〜Ｃは、ｎフレームの３次元ブロックＡ〜Ｃにそれぞれ対応付けられる。なお、対応関係にある３次元ブロックを矢印で示している。次に、図１３（ｂ）に示すように、トラッキング処理部１６は、ｎフレームの３次元ブロックＡ〜Ｄを基準として、各３次元ブロックに最も距離が近い３次元ブロックを（ｎ−１）フレームの画像の中から探し、３次元ブロックの対応付けを行う。すると、ｎフレームの３次元ブロックＡ〜Ｃは、（ｎ−１）フレームの３次元ブロックＡ〜Ｃに対応付けられ、ｎフレームの３次元ブロックＤは、（ｎ−１）フレームの３次元ブロックＢに対応付けられる。図１３（ａ）の判断結果によると、ｎフレームには、３次元ブロックＤが含まれるが、３次元ブロックＤは、いずれの３次元ブロックにも対応付けられていない。また、図１３（ｂ）の判断結果によると、３次元ブロックＤは、３次元ブロックＢに対応づけられている。このため、３次元ブロックＤは、３次元ブロックＢから分離したか、新たに出現したと考えられる。トラッキング処理部１６は、３次元ブロックＤが、ベッド２２の３次元ブロックＢに対応付けられていることより、３次元ブロックＤは、３次元ブロックＢから分離したと判断する。これは、ベッド２２上の人物がベッド２２外に移動したと判断することができるためである。なお、３次元ブロックＤがベッド２２以外の３次元ブロック（例えば、３次元ブロックＣ）と対応付けられた場合には、トラッキング処理部１６は、３次元ブロックＢが新たに出現したと判断する。

図１４は、トラッキング処理部１６による判定処理（図４のＳ９）を説明するための他の図である。図１４は、図１３と同様に、（ｎ−１）フレーム目およびｎフレーム目の３次元ブロックの水平面（ｘｚ平面）へ投影した画像を示している。図１４（ａ）に示すように、（ｎ−１）フレームの画像には、４つの３次元ブロックＡ〜Ｄが含まれ、ｎフレームの画像には、３つの３次元ブロックＡ〜Ｃが含まれる。トラッキング処理部１６は、（ｎ−１）フレームの画像に含まれる３次元ブロックＡ〜Ｄを基準として、各３次元ブロックに最も距離が近い３次元ブロックをｎフレームの画像の中から探し、３次元ブロックの対応付けを行う。すると、（ｎ−１）フレームの３次元ブロックＡ〜Ｃは、ｎフレームの３次元ブロックＡ〜Ｃにそれぞれ対応付けられる。また、（ｎ−１）フレームの３次元ブロックＤは、ｎフレームの３次元ブロックＢに対応付けられる。次に、図１４（ｂ）に示すように、トラッキング処理部１６は、ｎフレームの画像に含まれる３次元ブロックＡ〜Ｃを基準として、各３次元ブロックに最も距離が近い３次元ブロックを（ｎ−１）フレームの画像の中から探し、３次元ブロックの対応付けを行う。すると、ｎフレームの３次元ブロックＡ〜Ｃは、（ｎ−１）フレームの３次元ブロックＡ〜Ｃに対応付けられる。図１４（ａ）の判断結果によると、３次元ブロックＢおよびＤのいずれか一方が消失したか、３次元ブロックＢおよびＤが統合して、３次元ブロックＢになったかのいずれかと考えられる。これに加え、図１４（ｂ）の判断結果によると、（ｎ−１）フレームの３次元ブロックＢとｎフレームの３次元ブロックＢとが対応付けられているため、３次元ブロックＤが消失したか、３次元ブロックＤが３次元ブロックＢに統合されたかのいずれかと判断することができる。トラッキング処理部１６は、３次元ブロックＤがベッド２２の３次元ブロックＢに対応付けられていることより、３次元ブロックＤが３次元ブロックＢに統合したと判断する。これは、ベッド２２外の人物がベッド２２内に移動したと判断することができるためである。なお、３次元ブロックＤがベッド２２以外の３次元ブロック（例えば、３次元ブロックＣ）と対応付けられた場合には、トラッキング処理部１６は、３次元ブロックＤが消失したと判断する。

状況判断部は、トラッキング処理部１６の判断結果に基づいて、人物の状況を判断する（Ｓ１０）。つまり、状況判断部１９は、トラッキング処理部１６の判断結果に基づいて、人物の部屋２０への入室もしくは退室、またはベッド２２からの離床もしくはベッド２２への入床を検出する。トラッキング処理部１６が３次元ブロックが出現したと判断した場合には、状況判断部１９は、３次元ブロックに対応する人物の部屋２０への入出を検出する。また、トラッキング処理部１６が３次元ブロックが消失したと判断した場合には、状況判断部１９は、３次元ブロックに対応する人物の部屋２０からの退出を検出する。また、トラッキング処理部１６が３次元ブロックがベッド２２の３次元ブロックに統合したと判断した場合には、状況判断部１９は、３次元ブロックに対応する人物のベッド２２への入床を検出する。また、トラッキング処理部１６が３次元ブロックがベッド２２の３次元ブロックから分離したと判断した場合には、状況判断部１９は、３次元ブロックに対応する人物のベッド２２からの離床を検出する。

状況判断部１９は、ステップＳ８の処理で、対象者２４のベッド２２からの起き上がり、対象者２４の端座位または対象者２４のベッド２２からのはみ出しを検出した場合、または、ステップＳ１０の処理で、人物の入室、退室、入床もしくは離床を検出した場合には、これらの検出結果（状況判断結果）の情報を、管理用のコンピュータなどの外部の端末装置に送信する（Ｓ１１）。なお、ベッド２２からのはみ出しを検出した際には、すぐに端末装置に検出結果を送信するのではなく、一定の基準を満たした場合に、検出結果を送信するようにしてもよい。例えば、ベッド２２の領域を第１領域とし、第１領域をすべて含み、第１領域よりも面積の大きい第２領域を設定する。状況判断部１９が、対象者２４のベッド２２からのはみ出しを検出し、かつ、対象者２４が第２領域からはみ出した場合に、検出結果を端末装置に送信するようにしてもよい。

以上説明したように、本実施の形態によると、距離画像のフレーム間差分により移動体領域を検出している。通常の画像のフレーム間差分では、輝度の変化領域を検出するため、例えば、カーテンの揺れのような輝度の変化が生じている領域を検出することがある。しかし、距離画像を用いることにより、人物が実際に移動している領域を移動体領域として検出することができる。よって、正確な移動体領域を検出することができる。また、このようにして検出された移動体領域を３次元ブロックに重ね合わせることにより、移動体ブロックを抽出している。このため、３次元空間における移動体ブロックを正確に抽出することができる。このようにして抽出された移動体ブロックに係る物理量に基づいて、人物の状況を判断することにより、ベッド２２上の対象者２４の状態を正確に判断することができる。

また、３次元ブロックを追跡することにより、ベッド２２外で生じる事象も検出することができる。このため、人物の部屋からの入退出や、離床または入床を、介護者に通知することができる。

また、移動体ブロックのスライス面での重心位置に基づいて、対象者２４の体軸を最小二乗法を用いて求めている。よって、移動体ブロックから対象者２４の体軸を簡易な方法で求めることができる。このため、体軸の角度から対象者２４が起き上がっているか否かを正確に判断することができる。

また、体軸の角度と対象者２４のベッド２２上での位置とに基づいて対象者２４がベッド２２の端に座っているか否かを判断することができる。

また、対象者２４がベッド２２からはみ出した領域のサイズに基づいて、対象者２４のベッド２２からのはみ出しを判断している。このため、簡単かつ正確な方法で、対象者２４がベッド２２からはみ出しているか否かを判断することができる。

また、ベッド２２の領域よりも大きい第２領域から対象者２４がはみ出した際に、はみ出しを外部の端末装置に通知するようにしている。よって、対象者２４がベッド２２から少しはみ出したぐらいでは外部に通知されず、対象者２４が大きくベッド２２からはみ出した場合に外部に通知される。このため、ベッドからの転落の恐れがない場合にまで外部に通知されるのを防止し、ベッドからの転落の恐れがある場合にのみ対象者２４のはみ出しを通知することができる。

また、地面の近くの３次元座標が除去された上で、３次元ブロックが生成される。なお、ベッド２２は地面からある程度離れているため、ベッド２２に対応する３次元ブロックは除去されない。このため、ベッド２２上の対象者２４を見守り対象としている場合には、３次元ブロック生成部１４が生成した３次元ブロックのうち、ベッド２２に対応する３次元ブロックが最大の体積を有することになる。このため、ベッド２２の位置を正確に特定することができる。また、ベッド２２は、通常矩形であるため、ベッドブロックの水平面への投影領域に直線を当てはめることにより、正確にベッドの領域を特定することができる。

なお、上記の見守り装置１０は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、見守り装置１０は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の見守り装置１０を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の見守り装置１０を構成する構成要素の一部または全部は、見守り装置１０に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

また、本発明は、上記に示す方法であるとしてもよい。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読取可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスクドライブ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしてもよい。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。

また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、老人ホーム、介護施設または病院などの見守り対象者の行動を見守る見守り装置等に用いると有益である。

１０ 見守り装置
１１ 距離測定部
１２ ３次元処理部
１３ 地面座標除去部
１４ ３次元ブロック生成部
１５ ベッド特定部
１６ トラッキング処理部
１７ 移動体領域検出部
１８ 移動体ブロック抽出部
１９ 状況判断部
２０ 部屋
２２ ベッド
２４ 対象者
３０ 最低位置
４１〜４４ ３次元ブロック
４５ ベッド領域
５１、５２ 移動体領域
５３、６１ 移動体ブロック
６２ スライス面
６３ 体軸

Claims (8)

1. ベッド上の人物を見守る見守り装置であって、
   被写体までの距離を複数の箇所で測定することにより、各画素の輝度値が前記被写体までの距離を示す距離画像を生成する距離測定部と、
   前記距離測定部が生成した前記距離画像に基づいて、前記被写体の３次元座標を決定する３次元処理部と、
   前記３次元処理部が決定した前記３次元座標に基づいて、所定の距離範囲内にある３次元座標同士に同一のラベルを付けるラベリング処理を施すことで、３次元ブロックを生成する３次元ブロック生成部と、
   前記距離測定部が生成した所定時間離れた２フレームの前記距離画像間で、画素毎に時間的に前のフレームの距離から時間的に後のフレームの距離を減算することにより距離の差分を算出し、当該差分が所定の閾値以上の画素からなる領域を移動体領域として検出する移動体領域検出部と、
   前記移動体領域検出部が検出した前記移動体領域に対応する前記３次元ブロック内の領域を移動体ブロックとして抽出する移動体ブロック抽出部と、
   前記移動体ブロック抽出部が抽出した前記移動体ブロックに係る物理量に基づいて、前記人物の状況を判断し、判断結果を外部に通知する状況判断部と
   を備え、
   前記状況判断部は、さらに、ベッド上の前記移動体ブロックを所定間隔でスライスした各スライス面における前記移動体ブロックの重心位置に基づいて、前記人物の体軸を検出し、当該体軸の角度に基づいて前記人物の起き上がりを判断する見守り装置。
2. 前記見守り装置は、さらに、前記３次元ブロックを追跡することにより、前記ベッドの外に位置する前記３次元ブロックの出現、消失、分離または統合を判定するトラッキング処理部を備え、
   前記状況判断部は、さらに、前記トラッキング処理部の判断結果に基づいて、前記人物の前記ベッドが設置してある部屋への入室もしくは退室、または前記ベッドからの離床もしくは前記ベッドへの入床を判断する
   請求項１に記載の見守り装置。
3. 前記状況判断部は、前記体軸の角度と前記人物のベッド上での位置とに基づいて、前記人物の端座位を判断する
   請求項１または請求項２に記載の見守り装置。
4. 前記状況判断部は、前記移動体ブロック抽出部が抽出した前記移動体ブロックのベッドからはみ出した領域のサイズに基づいて、前記人物のベッドからのはみ出しを判断する
   請求項１〜請求項３のいずれか１項に記載の見守り装置。
5. 前記状況判断部は、前記人物のベッドからのはみ出しを検出した場合であって、かつ、前記ベッドを含む領域であって、前記ベッドよりも大きいサイズの領域から、前記人物に対応する前記移動体ブロックがはみ出した場合に、前記はみ出しを外部に通知する
   請求項４に記載の見守り装置。
6. ベッド上の人物を見守る見守り装置であって、
   被写体までの距離を複数の箇所で測定することにより、各画素の輝度値が前記被写体までの距離を示す距離画像を生成する距離測定部と、
   前記距離測定部が生成した前記距離画像に基づいて、前記被写体の３次元座標を決定する３次元処理部と、
   前記３次元処理部が決定した前記３次元座標に基づいて、所定の距離範囲内にある３次元座標同士に同一のラベルを付けるラベリング処理を施すことで、３次元ブロックを生成する３次元ブロック生成部と、
   前記距離測定部が生成した所定時間離れた２フレームの前記距離画像間で、画素毎に時間的に前のフレームの距離から時間的に後のフレームの距離を減算することにより距離の差分を算出し、当該差分が所定の閾値以上の画素からなる領域を移動体領域として検出する移動体領域検出部と、
   前記移動体領域検出部が検出した前記移動体領域に対応する前記３次元ブロック内の領域を移動体ブロックとして抽出する移動体ブロック抽出部と、
   前記移動体ブロック抽出部が抽出した前記移動体ブロックに係る物理量に基づいて、前記人物の状況を判断し、判断結果を外部に通知する状況判断部と
   を備え、
   前記見守り装置は、さらに、前記３次元処理部が決定した前記３次元座標のうち、地面から所定範囲内の高さの前記３次元座標を除去する地面座標除去部を備え、
   前記３次元ブロック生成部は、前記地面座標除去部により除去された後の残りの前記３次元座標に基づいて、前記３次元ブロックを生成し、
   前記見守り装置は、さらに、前記３次元ブロック生成部が生成した前記３次元ブロックのうち、体積が最大の前記３次元ブロックを、前記ベッドを示す前記３次元ブロックであるベッドブロックとして特定するベッド特定部を備え、
   前記ベッド特定部は、さらに、前記ベッドブロックの水平面への投影領域に直線を当てはめることにより前記ベッドの領域を特定する
   見守り装置。
7. ベッド上の人物を見守る見守り方法であって、
   被写体までの距離を複数の箇所で測定することにより、各画素の輝度値が前記被写体までの距離を示す距離画像を生成する距離測定ステップと、
   前記距離測定ステップにおいて生成された前記距離画像に基づいて、前記被写体の３次元座標を決定する３次元処理ステップと、
   前記３次元処理ステップにおいて決定された前記３次元座標に基づいて、所定の距離範囲内にある３次元座標同士に同一のラベルを付けるラベリング処理を施すことで、３次元ブロックを生成する３次元ブロック生成ステップと、
   前記距離測定ステップにおいて生成された所定時間離れた２フレームの前記距離画像間で、画素毎に時間的に前のフレームの距離から時間的に後のフレームの距離を減算することにより距離の差分を算出し、当該差分が所定の閾値以上の画素からなる領域を移動体領域として検出する移動体領域検出ステップと、
   前記移動体領域検出ステップにおいて検出された前記移動体領域に対応する前記３次元ブロック内の領域を移動体ブロックとして抽出する移動体ブロック抽出ステップと、
   前記移動体ブロック抽出ステップにおいて抽出された前記移動体ブロックに係る物理量に基づいて、前記人物の状況を判断し、判断結果を外部に通知する状況判断ステップと
   を含み、
   前記状況判断ステップでは、さらに、ベッド上の前記移動体ブロックを所定間隔でスライスした各スライス面における前記移動体ブロックの重心位置に基づいて、前記人物の体軸を検出し、当該体軸の角度に基づいて前記人物の起き上がりを判断する見守り方法。
8. ベッド上の人物を見守るための見守りプログラムであって、
   被写体までの距離を複数の箇所で測定することにより、各画素の輝度値が前記被写体までの距離を示す距離画像を生成する距離測定部と、
   前記距離測定部が生成した前記距離画像に基づいて、前記被写体の３次元座標を決定する３次元処理部と、
   前記３次元処理部が決定した前記３次元座標に基づいて、所定の距離範囲内にある３次元座標同士に同一のラベルを付けるラベリング処理を施すことで、３次元ブロックを生成する３次元ブロック生成部と、
   前記距離測定部が生成した所定時間離れた２フレームの前記距離画像間で、画素毎に時間的に前のフレームの距離から時間的に後のフレームの距離を減算することにより距離の差分を算出し、当該差分が所定の閾値以上の画素からなる領域を移動体領域として検出する移動体領域検出部と、
   前記移動体領域検出部が検出した前記移動体領域に対応する前記３次元ブロック内の領域を移動体ブロックとして抽出する移動体ブロック抽出部と、
   前記移動体ブロック抽出部が抽出した前記移動体ブロックに係る物理量に基づいて、前記人物の状況を判断し、判断結果を外部に通知する状況判断部と
   してコンピュータを機能させ、
   前記状況判断部は、さらに、ベッド上の前記移動体ブロックを所定間隔でスライスした各スライス面における前記移動体ブロックの重心位置に基づいて、前記人物の体軸を検出し、当該体軸の角度に基づいて前記人物の起き上がりを判断するための見守りプログラム。