JP7076281B2 - 危険度推定システム - Google Patents

Description

本発明は、医療現場においてベッド上の患者の転倒や転落等による事故のリスクを非接触・非拘束で取得する危険度推定システムに関する。

入院している患者や高齢者がベッドから転倒、転落する事故が問題となっていることから、このような事故に関連する様々な技術が知られている。その一例として、ベッドの横に荷重を検出するセンサを配置し、センサで荷重が検出されると患者等の転落が生じたとして通報する装置が知られている。

また、本願の発明者自身が開発した技術として、特許文献１にある患者に取り付けたセンサにより姿勢情報を取得して、その姿勢情報に基づいて転落の危険度を算出するシステムが知られている。

また、荷重センサを用いたり、患者自身にセンサを取り付けたりするのではなく、特許文献２にあるようにベッド上の患者の画像を取得して、その画像を基に姿勢を推定する装置が知られている。

特開２０１５－１０３０４２号公報 特開２０１４－２３６８９６号公報

しかしながら、ベッドの横に荷重センサを配置する装置は、誤報が多くまた荷重が検出された後で通報することから転落を未然に防ぐことは難しい等の難点がある。

また、特許文献１の患者自身にセンサを取り付ける方法は、患者自身が取り付けたセンサを不快に感じ、センサを勝手に取り外してしまったり、手術等の影響で適切な位置にセンサを取り付けることができなかったり等の難点がある。

また、特許文献２のように患者の画像を取得して姿勢判定をするような装置は、非接触、非拘束であることから、使用中に患者に不快感を与えたり、自身で解除することができなかったり等のメリットはあるが、判定の精度の問題等もありまだまだ実際の現場で使用するには十分と言えるものではなかった。特に、特許文献２では患者の画像を患者の頭部横に設置して画像を取得している。このような横方向からの画像は、例えばベッド周辺の状況も含めて危険度の推定を行いたい場合に、視野角の問題もあり、十分な推定を行うことが難しい。

そこで、本発明は、医療現場においてベッド上の患者の転倒や転落等による事故のリスクを、非接触、非拘束で取得することのできる危険度推定システムを提供することを目的とする。

上記課題を解決するため、本発明の危険度推定システムは、深度値により形成された深度値画像を基に形成される、危険度推定対象物の直上画像を取得する直上画像取得部と、前記直上画像を基に危険度を推定する危険度推定部と、前記危険度推定部による推定結果を出力する推定結果出力部と、を備えることを特徴とする。

また、本発明の危険度推定システムは、前記危険度推定部が、前記直上画像から前記深度値を用いて、危険度推定を行うための判定層に分割する判定層分割手段と、分割された前記判定層の中から着目する層を決定する着目層決定手段と、からなり、前記着目層決定手段により決定された着目層を基に危険度の推定を行うことを特徴とする。
また、本発明の危険度推定システムは、前記判定層分割手段が、複数の立方体領域に分割する立方体分割手段からなることを特徴とする

また、本発明の危険度推定システムは、前記危険度推定部が、更に、対象物の位置を特定するための位置特定手段と、前記位置特定手段により特定された位置を基に危険度を算出する危険度算出手段と、を備えていることを特徴とする。
また、本発明の危険度推定ステムは、前記直上画像取得部が、前記深度値画像を前記直上画像に変換する直上画像変換手段を備えることを特徴とする。

本発明の危険度推定システムは、深度値により形成された深度値画像を基に形成される危険度推定対象物の直上画像を取得して、この直上画像を基に危険度を推定する構成であることから、医療現場におけるベッド上の患者の転倒や転落等による事故のリスクを、非接触、非拘束で取得することができる。そして、深度値画像を基に形成される直上画像を用いて危険度の推定を行う危険度推定システムは、従来全くなかったものである。また、直上画像を用いることにより、ベッド周辺の状況も含めた危険度の推定を容易に行うことができる。

また、本発明の危険度推定システムは、危険度推定部が、危険度推定を行うための判定層に分割する判定層分割手段と、分割された判定層の中から着目する層を決定する着目層決定手段と、からなり、この着目層を基にして危険度の推定を行う構成となっている。このような方法によって、直上画像を用いて危険度の推定を行うことができる。

また、判定層分割手段が、複数の立方体領域に分割する立方体分割手段からなるため、深度方向（Ｚ軸方向）だけでなく、平面領域（Ｘ軸方向、Ｙ軸方向）においても領域を分割して、より精度良く危険度推定を行うことができる。

また、危険度推定部が、更に、対象物の位置を特定するための位置特定手段と、特定された位置を基に危険度を算出する危険度算出手段と、を備えているため、より精度良く危険度推定を行うことが可能である。

また、直上画像取得部が、深度値画像を直上画像に変換する直上画像変換手段を備えるため、危険度推定対象物を斜め方向から撮影して取得した深度値画像からでも直上画像を取得することができる。なお、斜め方向から撮影する場合には、直上画像に変換できる範囲であれば深度値画像を取得する入力部を設置できるので、入力部の設置位置の選択肢が非常に多くなる。

実施形態１の危険度推定システムのハードウェア構成を示すブロック図である。 実施形態１の危険度推定システムの機能構成を示すブロック図である。 実施形態１の危険度推定システムの使用例と危険度推定の概念を示した図である。 実施形態２の危険度推定システムの機能構成を示すブロック図である。 （Ａ）は実施形態２の危険度推定システムの使用例と危険度推定の概念を示した図であり、（Ｂ）は危険度推定において用いる記号を使用例にあわせて概念的に示した図である。 斜め方向の深度値画像を直上画像へ変換する座標変換のイメージ図である。 危険度推定においてＺ軸の各層毎に最大データ数を持つ区画を抽出した具体例を示した図である。 危険度推定において中層ＭＬと下層ＬＬを着目層として着目した場合の中層ＭＬと下層ＬＬのデータを足し合わせた具体例を示した図である。 危険度推定の検証における危険度の重みの設定例を示した図である。 危険度推定の検証における時系列データを示した図である。 危険度推定の検証における深度値画像を危険度が高い順に並べた図である。

以下、本発明の具体例について図面を用いて詳細に説明する。但し、以下に示す実施形態は、本発明の技術的思想を具体化するための例示であって、本発明をこの実施形態に特定することを意図するものではなく、本発明は、特許請求の範囲に含まれるその他の実施形態にも等しく適応し得るものである。

［実施形態１］
まず、図１、図２、図３を参照して、本実施形態の危険度推定システム１の基本的な構成を説明する。図１は、危険度推定システム１のハードウェア構成を示すブロック図である。図２は、危険度推定システム１の機能構成を示すブロック図である。図３は、危険度推定システム１の使用例と危険度推定の概念を示した図である。
危険度推定ステム１は、図１に示すように、入力部２、制御部３、記憶部４、出力部５、通信部６を備えている。

入力部２は、危険度推定システム１を用いて危険度推定を行う対象者Ｓが含まれる範囲について、深度値の情報により形成される深度値画像を取得するものであり、いわゆる距離画像センサと呼ばれるものである。本実施形態においては、具体的には、入力部２は、ベッドＢ上の対象者Ｓを含む画像を取得するためのカメラ２ａと、カメラ２ａで撮影する画像内の被写体までの深度に関する深度情報を取得する深度センサ２ｂと、を備えて構成されている。このような構成の距離画像センサとして、Ｍｉｃｒｏｓｏｆｔ社製のＫＩＮＥＣＴ（登録商標）が知られている。

なお、本実施形態において、このＫＩＮＥＣＴを用いて、深度値により形成さる画像を取得しているが、当然ながらこれ以外のものを用いても構わない。また、ＫＩＮＥＣＴには音情報を取得するためのマイクロフォンが備わっている。したがって、このマイクロフォンを入力部２として用い、音情報を取得しても構わない。また、危険度推定に音情報も活用できる場合には、ＫＩＮＥＣＴに限らず入力部２としてマイクロフォンを含むこともできる。また、入力部２は、図示していないが、カメラ２ａ、深度センサ２ｂの他に、例えば、危険度推定の対象者となる人の名前を入力する等、危険度推定システム１への情報を入力するためのキーボードやタッチパネル等の入力装置を含んでいても構わない。

制御部３は、ＣＰＵ、ＲＡＭ、ＲＯＭ等からなり、記憶されているプログラムに基づいて各部の制御や、危険度の推定に伴う各種の処理を実行する。記憶部４は、ＤＲＡＭやＨＤＤのような記憶装置であり、入力部２で取得した画像データを一時的に記憶しておく等、各種のデータ等を記憶しておく。出力部５は、表示装置やスピーカ等からなり、危険度推定による推定結果等を映像や音を用い出力する。

通信部６は、インターネットやＬＡＮ等を介して携帯端末等の他の機器と通信を行うものである。この通信部６を介することで、危険度推定システム１は危険度推定の結果等を他の機器にも出力することができる。なお、危険度推定システム１は、この通信部６により、既存のナースコールシステムへ接続可能とする構成としてもよい。
このような危険度推定システム１は、図２に示すように、直上画像取得部１０と、危険度推定部２０と、推定結果出力部３０を備えている。

直上画像取得部１０は、主に入力部２によって構成されており、危険度推定を行う対象者Ｓを俯瞰するように上方から観察した直上画像を、入力部２を用いて深度値による深度値画像を基に取得する。このような直上画像を取得するために、本実施形態における直上画像取得部１０は、入力部２からなる深度値画像取得手段１１のみを備えた構成となっている。従って、直上画像取得部１０は、対象者の上方に深度値画像取得手段１１である入力部２を設置し、この上方の入力部２から得た深度値画像そのものを直上画像として取得している。

危険度推定部２０は、主に制御部３や記憶部４によって構成されており、直上画像取得部１０を介して取得した直上画像を基に、直上画像に含まれる深度値を用いて対象者の危険度を推定する。そして、本実施形態における危険度推定部２０は、深度値を用いて直上画像を一定距離毎の画像に区分けし、この区分画像を用いて対象者の姿勢を判定することを特徴としている。このような危険度推定を実現するための一例として、危険度推定部２０は、判定層分割手段２１と、着目層決定手段２２を備えている。

詳細は具体例とともに後述するが、判定層分割手段２１は、直上画像から深度値を用いて、危険度推定を行うための判定層に分割する。着目層決定手段２２は、分割された判定層の中から着目する層を決定する。そして、危険度推定部２０は、着目層決定手段２２により決定された着目層を基に危険度の推定を行う。

つまり、本実施形態の危険度推定部２０は、直上画像の深度値の情報を基に、直上画像を深度方向（Ｚ軸方向）に沿って一定距離毎の画像に分割して、一定距離毎の各画像を判定層として形成する。そして、危険度推定部２０は、各判定層の中に対象者Ｓの一部が出現しているか否かにより、対象者Ｓの出現が見られた判定層を着目層として決定し、その着目層を基に対象者Ｓが転倒の危険にあるかどうかを推定する。

推定結果出力部３０は、主に出力部５によって構成されており、危険度推定部２０により推定された対象者Ｓの危険度についてモニタ等を用いて出力する。この推定結果の出力については、例えば、転倒の危険が高い場合に、危険度が高いことがわかるように、文字で表示したり、音声で出力したりする。

このような構成の危険度推定システム１について、次に実際の使用例を基に説明を行う。図３は、危険度推定システム１の使用例と共に、危険度推定の概念を示した図である。危険度推定システム１は、ベッドＢを使用する対象者ＳのベッドＢ上の様子を、直上画像取得部１０により取得した直上画像を用いて危険度の推定を行う。

直上画像取得部１０を構成する入力部２の距離画像センサとして、先にも説明したようにＭｉｃｒｏｓｏｆｔ社製のＫＩＮＥＣＴ（登録商標）を用いた。このＫＩＮＥＣＴには、５１２×４２４［pixel］の平面内に奥行の距離を取得する機能がある。また、この入力部２は、直上画像を得るために対象者Ｓを上方から撮影する必要があり、ベッドＢが置かれた部屋の天井Ｃに設置されている。

また、本実施形態においては、危険度推定部２０を構成するハードウェアについても、ベッドＢが設置されている部屋Ｒに配置されており、推定結果出力部３０を構成するハードウェアについては、部屋Ｒとは異なる部屋（例えば、ナースステーション）に配置されている。

なお、危険度推定システム１は、推定結果出力部３０を構成するハードウェアについても、ベッドＢが設置されている部屋Ｒに配置することもできる。この場合、推定結果出力部３０によって対象者Ｓが危険な状態であることを知らせる必要があるため、推定結果出力部３０は、警報音等、音声による出力が好ましい。また、部屋Ｒに設置することで、対象者Ｓ本人に対しても、危険であることを自覚させることもできる。

また、危険度推定システム１は、直上画像取得部１０を構成するハードウェアを部屋Ｒに配置し、危険度推定部２０や推定結果出力部３０を構成するハードウェアを部屋Ｒとは異なる部屋に配置するという構成を採用することもできる。

直上画像取得部１０で取得された直上画像のデータは、危険度推定システム１の危険度推定部２０へと送られる。そして、直上画像取得部１０で取得された直上画像を基に、危険度推定部２０により対象者Ｓの危険度推定が行われることになる。ここで、本実施形態における危険度推定部２０における危険度推定の具体例を説明する。

まず、直上画像取得部１０で取得された直上画像は、深度値による深度値画像で形成されたものである。このため直上画像には深度値の情報が含まれている。そこで、判定層分割手段２１は、この深度値を用いて、判定層に分割する。具体的には、直上画像を深度方向（Ｚ軸方向）において一定距離毎の画像に分割して、一定距離毎の各画像を判定層として形成する。

図３には、判定層として、下層ＬＬ、上層ＵＬの二つの層に分割した例を示している。下層ＬＬは、ベッドＢ表面を基準（０ｍ）として、０．１～０．９ｍの画像からなる判定層である。また、上層ＵＬは、０．９～１．４ｍの画像からなる判定層である。

なお、下層ＬＬの範囲について、ベッドＢ表面の基準０ｍからではなく０．１ｍからとした。この理由として、ベッドＢ表面（０ｍ）からとすると、掛け布団や、シーツのシワ、マットレスの沈み等の影響を受けてしまうためである。そして、特に掛け布団の厚みの影響が大きく、掛け布団の厚みが概ね０．１ｍ以下であったことから、下層ＬＬを０．１ｍからとした。従って、使用する掛け布団がより厚い物であれば、例えば、０．２ｍからとすることも可能である。ただし、あまり大きな値にしてしまうと、後述する臥位の姿勢を検出できなくなるため、対象者Ｓである人体の厚みを考慮すると、０．１ｍからとするのが好ましい。

そして、着目層決定手段２２は、下層ＬＬ、上層ＵＬに分割された判定層の中から着目層を決定する。この着目層の決定は、次のようにして決定することができる。まず、上層ＵＬに直上画像を形成するデータ数が所定値（閾値）以上あるか否かで決定する。そして、上層ＵＬに閾値以上のデータ数があれば、上層ＵＬを着目層として決定する。

上層ＵＬに閾値以上のデータ数がなければ、次に下層ＬＬに着目し、下層ＬＬに直上画像を形成するデータ数が閾値以上あるか否かで決定する。そして、下層ＬＬに閾値以上のデータ数があれば、下層ＬＬを着目層として決定する。

この点について、図３を用いて説明する。図３には、ベッドＢにて対象者Ｓにより想定される３つの代表的な姿勢を示している。この３つの姿勢は、Ｐ１と記した姿勢：ベッドＢ上での臥位、Ｐ２と記した姿勢：ベッドＢ上での座位、Ｐ３と記した姿勢：ベッドＢからの立位、である。なお、部屋Ｒの床からベッドＢ表面までの高さは、０．４７ｍとなっている。

例えば、対象者Ｓの姿勢が、姿勢Ｐ１やＰ２であれば、上層ＵＬにおける直上画像に対象者Ｓの画像データはないので、上層ＵＬには閾値以上のデータ数はない。一方、対象Ｓの姿勢が、姿勢Ｐ３であれば、上層ＵＬにおける直上画像に、対象者Ｓの頭や肩の画像が存在する。従って、上層ＵＬには閾値以上のデータ数があることになり、着目層決定手段２２は、上層ＵＬを着目層として決定する。

また、対象者Ｓの姿勢が、姿勢Ｐ１やＰ２であれば、上層ＵＬにおける直上画像に対象者Ｓの画像データはないが、下層ＬＬには、対象者Ｓの画像が存在するため、閾値以上のデータ数があることになる。従って、着目層決定手段２２は、下層ＬＬを着目層として決定する。

このように危険度推定部２０は、着目層を決定して危険度の推定を行う。この危険度の推定は、例えば着目層が上層ＵＬであれば対象者ＳがベッドＢから立ち上がって、立位の姿勢になっていることが考えられるので転倒する危険性が非常に高いと言える。このため、危険度推定部２０は、転倒する危険度が大と推定することができる。また、着目層が下層ＬＬであれば、対象者ＳがベッドＢ上で臥位、或は座位の姿勢になっていることが考えられるので転倒する危険性は低いと言える。このため、危険度推定部２０は、転倒する危険度が小と推定することができる。
そして、推定結果出力部３０は、危険度推定部２０により推定された対象者Ｓの危険度推定の結果を、推定結果出力部３０によってモニタ等を介して出力する。

以上のように、危険度推定システム１は、深度値により形成された深度値画像を基に形成される、危険度推定対象物であるベッド上の対象者Ｓの直上画像を取得する直上画像取得部１０と、この直上画像を基に危険度を推定する危険度推定部２０と、この推定結果を出力する推定結果出力部３０と、を備えた構成となっている。

このため、従来知られている特許文献２のように、ベッドＢの横方向（Ｙ軸方向）から撮影した深度値画像を用いる場合に比べ、より精度の高い危険度推定を行うことが可能となる。つまり、横方向からの深度値画像の場合、対象者Ｓの延長線上にあるものは深度値画像を得ることができない。例えば、看護師がベッドＢ周辺に居た場合には、通常危険度が非常に低いか、或は危険度の推定をする必要はない。しかしながら、横方向からの画像では、対象者Ｓの延長線上に居る看護師を認識できないため、危険度の推定が難しい。また、横方向からでは、ベッドＢ周辺の情報を知る際にも視野角の問題で完全には捉えることができない。また、並べて置いてある物体（例えば、棚と冷蔵庫）がある場合に、両方の情報や、その高さの情報を得ることが難しい。このように、横方向からの深度値画像だけでの危険度推定では、得られる情報が限られてしまうことから、精度の高い危険度推定を行うことが難しい。

そして更に、危険度推定システム１は、危険度推定部２０が直上画像から深度値を用いて、危険度推定を行うための下層ＬＬと上層ＵＬからなる判定層に分割する判定層分割手段２１と、判定層の中から着目する層を決定する着目層決定手段２２と、からなり、着目層決定手段２２により決定された着目層を基に危険度の推定を行う構成となっている。このため、危険度推定システム１は、ベッドＢでの対象者Ｓの事故のリスクを、非接触、非拘束で取得することができる。

なお、本実施形態の危険度推定システム１は、危険度推定部２０が判定層分割手段２１と、着目層決定手段２２と、からなる構成であるが、このような構成を備えていない場合には、例えば、直上画像から所定の距離における形状やベッドＢ上の位置を特定し、その情報から対象者Ｓの姿勢をパターンマッチング等で特定し、危険度推定を行うことが考えられる。

また、着目層決定手段２２において、下層ＬＬに直上画像を形成するデータ数が閾値以上ない場合には、対象者Ｓが不在状態であるとして危険度の推定（例えば、不在のため転倒する危険はなしと推定）を行うことができる。また、着目層決定手段２２において、判定層に直上画像を形成するデータ数が閾値以上あるか否かで決定しているのは、ベッドＢの布団やベッドＢ周りに設置された柵等、対象者Ｓ以外に様々な物が存在しているため、対象者Ｓ以外の物が直上画像に含まれる場合の影響を防ぐためである。例えば、入力部２で、５１２×４２４［pixel］のデータを取得するＫＩＮＥＣＴ（登録商標）を用いる場合に、データ数の閾値の一例として、１５００程度とすることができる。

［実施形態２］
次に他の実施形態である危険度推定システム１Ａについて説明する。図４は、危険度推定ステム１Ａの機能構成を示すブロック図である。図５は、危険度推定システム１Ａの使用例と危険度推定の概念を示した図である。

なお、本実施形態の危険度推定システム１Ａは、図１に示す実施形態１の危険度推定システム１と同様のハードウェア構成となっており、入力部２、制御部３、記憶部４、出力部５、通信部６を備えている。そして、危険度推定システム１Ａは、図４に示すように直上画像取得部１０Ａと、危険度推定部２０Ａと、推定結果出力部３０Ａを備えている。

直上画像取得部１０Ａは、主に入力部２によって構成されており、危険度推定を行う対象者Ｓを上方から観察したような直上画像を、入力部２を用いて深度値による深度値画像を基に取得する。

ここで、実施形態１の危険度推定システム１では、直上画像取得部１０は、深度値画像取得手段１１のみで構成し、対象者Ｓの上方である部屋Ｒの天井Ｃに設置した入力部２から得た深度値画像そのものを直上画像として取得していた。

ところで、直上画像を取得するには、入力部２の設置場所として、実施形態１のように、部屋Ｒの天井Ｃで、特にベッドＢの中心の直上が理想的である。しかしながら、部屋Ｒの天井Ｃに入力部２を設置することは、入力部２が対象者Ｓへ落下する危険性があること、入力部２が視界に入り対象者Ｓに不快感を与える可能性があること等からあまり好ましくはない。

そこで、本実施形態では、図５に示すように入力部２の設置場所として、対象者Ｓの視界に入り難いベッドＢの頭部側としている。このため、本実施形態危険度推定システム１Ａでは、直上画像取得部１０Ａの構成として、深度値画像取得手段１１Ａと、直上画像変換手段１２Ａを備えたものとなっている。

深度値画像取得手段１１Ａは、実施形態１の深度値画像取得手段１１と同様に、深度値による深度値画像を取得する。このとき、本実施形態では、深度値画像は、ベッドＢを斜め方向から撮影した画像となる。そこで、危険度を推定する直上画像を得るために、この斜め方向から撮影した深度値画像を用いて、対象者Ｓの真上から撮影したような画像に変換する必要がある。

そこで、直上画像変換手段１２Ａは、深度値画像取得手段１１Ａにより取得した深度値画像を直上画像へ変換する。深度値画像を直上画像に変換する具体的な方法については、具体例ともに後述する。

危険度推定部２０Ａは、主に制御部３や記憶部４によって構成されており、直上画像取得部１０Ａを介して取得した直上画像を基に、直上画像に含まれる深度値を用いて対象者Ｓの危険度を推定する。このような危険度推定を実現するための一例として、本実施形態においては、立方体分割手段２１Ａと、着目層決定手段２２Ａと、位置特定手段２３Ａと、危険度算出手段２４Ａを備えている。

立方体分割手段２１Ａは、直上画像から深度値を用いて、危険度推定を行うための格子状の領域に分割する。ここで、実施形態１の判定層分割手段２１は、深度の方向（Ｚ軸方向）に下層ＬＬ、上層ＵＬのように分割するのみであった。一方、本実施形態の立方体分割手段２１Ａは、Ｚ軸方向に分割するだけでなく、図５に示すようにベッドＢの横方向（Ｘ軸方向）、縦方向（Ｙ軸方向）にも分割することで、複数の立方体領域に分割を行う構成となっている。

このように、Ｚ軸方向だけでなくて、Ｘ軸方向とＹ軸方向についても分割を行うことで、対象者ＳがベッドＢ上のどこにいるのかを含めて危険度の推定を行うことができるので、危険度推定システム１Ａは、より精度の高い危険度推定を行うことが可能となる。
着目層決定手段２２Ａは、分割された立方体領域から、危険度推定を行うためのＺ軸方向における着目層を決定する。

位置特定手段２３Ａは、対象者Ｓが存在する位置を特定する。本実施形態においては、着目層決定手段２２Ａにより決定する着目層を基に、重心位置を利用して、対象者Ｓが存在する立方体領域の区画を推定することで対象者Ｓの位置を特定する。

危険度算出手段２４Ａは、対象者Ｓの危険度を算出する。本実施形態においては、位置特定手段２３Ａによる重心位置を利用して、危険度を算出する。このような危険度を算出することにより、実施形態１の危険度推定部２０に比べ、より精度の高い危険度推定を行うことが可能となる。

また、位置特定手段２３Ａによる重心位置を利用することで、ベッドＢの位置による危険度の違いを反映させた危険度推定を行うことができる。つまり、ベッドＢ上でも、ベッドＢ端は転倒の可能性が高く、また枕元では転倒の可能性が低い等、ベッドＢ上の位置によっても転倒の危険が異なっている。従って、各区画に危険性の重み付けを行うことで、対象者Ｓの位置と重みを基に危険度の算出を行うことが可能となる。
推定結果出力部３０Ａは、主に出力部５によって構成されており、危険度推定部２０Ａにより推定された対象者の危険度についてモニタ等を用いて出力する。

このように、本実施形態の危険度推定システム１Ａは、直上画像取得部１０Ａで、まず深度値画像取得手段１１Ａにより、ベッドＢを斜め方向から撮影した深度値画像を取得し、次に直上画像変換手段１２Ａにより直上画像に変換する。そして、危険度推定システム１Ａは、危険度推定部２０Ａで、立方体分割手段２１Ａにより深度値の情報を基にＸ、Ｙ、Ｚ軸方向に複数の区画に分割し、着目層決定手段２２ＡによりＺ軸方向における着目層を決定し、位置特定手段２３Ａにより対象者Ｓの位置を特定し、危険度算出手段２４Ａにより危険度の算出を行って、危険度推定を行い、推定結果の出力を推定結果出力部３０Ａで行う。

このような構成の危険度推定システム１Ａについて、次に図５の実際の使用例を基に説明を行う。なお、図５（Ｂ）には、以下で用いる記号を使用例にあわせて概念的に示している。上層ＵＬはＺ＝２、中層ＭＬはＺ＝１、下層ＬＬはＺ＝０であり、図５（Ｂ）は下層ＬＬ（Ｚ＝０）の例を示している。また、ｄは各画素の境界線、ｎは区画内のデータ数、ｗは転倒リスクの重みである。
危険度推定システム１Ａは、ベッドＢを使用する対象者ＳのベッドＢ上の様子を、直上画像取得部１０Ａにより取得した直上画像を用いて危険度の推定を行う。

直上画像取得部１０Ａを構成する入力部２の距離画像センサとして、実施形態１と同様に、Ｍｉｃｒｏｓｏｆｔ社製のＫＩＮＥＣＴ（登録商標）を用いた。また、この入力部２は、対象者Ｓの視界に入り難いよう、ベッド頭部側に設置されている。
なお、本実施形態における条件について、以下のようになっている。
ベッドＢのサイズ（Ｗ×Ｄ×Ｈ） ０．９×２．１×０．５［ｍ］
入力部２の傾き角度θ ３２．４［°］
地面から入力部２までの高さ １．９５［ｍ］
ベッドＢから入力部２までの高さ １．４５［ｍ］

直上画像取得部１０Ａの深度値画像取得手段１１Ａで取得された深度値画像は、斜め方向から撮影されたデータであるため、ベッドＢの中心の直上から見た直上画像への変換が必要となる。そこで、本実施形態においては、直上画像変換手段１２Ａによって、斜め方向から得た深度値画像が直上画像へと変換されることになる。直上画像への変換については、取得したデータを、式（１）を使い射影する。

ここで、θは地面に対する入力部２の傾きであり、本実施形態では３２．４°となっている。式（１）の変換は、深度値画像を構成する５１２×４２４［pixel］の距離情報全てに対して行う。この変換結果から直上画像を得る。

なお、直上画像への変換について補足する。図６に式（１）による座標変換のイメージ図を示す。入力部２から得られた深度情報を、真上から撮影した情報へ変換するためには、ＺＹ座標系をＺ´Ｙ´座標系に変換すればよい。Ｚ´Ｙ´座標はＺＹ座標から角度９０－θ［°］だけ傾いているため、座標データＰに対し回転行列を乗算すれば、Ｚ´Ｙ´座標軸データＰ´に変換できる。このことから、式（１）により直上画像への変換が可能となる。

直上画像取得部１０Ａによる直上画像のデータは、危険度推定部２０Ａへと送られる。そして、まず立方体分割手段２１Ａにより、深度値の情報を基にＸ、Ｙ、Ｚ軸方向に複数の立方体領域の区画に分割される。ところで、この直上画像のデータは、変換前の深度値画像と同様、５１２×４２４個という多くの距離情報を持つ。そのため全ての距離情報をそのまま使用すると危険度推定をリアルタイムに行うことが難しい。このため、直上画像のデータを立方体領域の区画に分割することは、データの低次元化にもなり、リアルタイムでの危険度推定の容易化にもつながる。
このようなデータの低次元化となる立方体分割手段２１Ａにおける立方体領域の区画に分割する具体的な方法について以下に説明する。
［１］直上画像のデータにおいて、ベッドＢの範囲を選択する。なお、ベッドＢの周りの人物の様子等も捉えたいときは、ベッドＢ外の範囲も設定する。

［２］選択した範囲内でデータを格子状に分割する。分割はＸ軸、Ｙ軸、Ｚ軸の全てに対して行う。なお、図５に示すように、Ｚ軸を下層ＬＬ、中層ＭＬ、上層ＵＬの３層としたのは、臥位Ｐ１、座位Ｐ２、立位Ｐ３の判定を可能にするためである。座位Ｐ２は、立位Ｐ３に遷移する前の姿勢であり、対象者Ｓの転倒時を未然に防ぐためには、臥位Ｐ１、立位Ｐ３以外に座位Ｐ２の姿勢も判定できる方がよいためである。

［３］各区画を分割する際の閾値をｄ^X _x，ｄ^Y _y，ｄ^Z _z、として、立方体領域の複数の区画に分割する。なお、本実施形態においては、３×３×３の２７区画に分割している。
［４］また、本実施形態においては、

の範囲内に存在しているデータ数をｎ（ｘ，ｙ，ｚ）とする。そして、全ての区画のデータ数ｎ（ｘ，ｙ，ｚ）を求める。

［５］Ｚ軸（上層ＵＬ、中層ＭＬ、下層ＬＬ）の各層毎に最大データ数を持つ区画を抽出する。図７には、Ｚ軸の各層毎に最大データ数を持つ区画を抽出した具体例を示している。なお、各層毎の最大データ数を持つ区画を、各層で灰色の区画で示している。
そして、
上層ＵＬの最大データ数をｎ_max（２）
中層ＭＬの最大データ数をｎ_max（１）
下層ＬＬの最大データ数をｎ_max（０）
とする。

次に、着目層決定手段２２Ａにより着目層の決定を行う。ここで、本実施形態においては、着目層決定手段２２Ａと、次の位置特定手段２３Ａによって、対象者Ｓが存在する立方体領域の区画を特定している。以下に、対象者Ｓの存在する区画の決定する方法について説明する。

［１］まず、対象者Ｓがどの層にいるかを判定するため、各層の最大データ数があらかじめ定義した閾値を上回っているか比較する。この時、下層ＬＬの閾値をｎ_th（０）、中層ＭＬの閾値をｎ_th（１）、上層ＵＬの閾値ｎ_th（２）とする。本実施例では、ｎ_th（０）＝ｎ_th（１）＝ｎ_th（２）＝１５００として設定する。この時、図７に示した具体例では中層ＭＬと下層ＬＬが、閾値を上回っている。
［２］この結果から、着目する層を以下にしたがって決定する。
［ａ］IF ｎ_max（２）≧ｎ_th（２） THEN 上層ＵＬに着目
ELSE ｂ）へ
［ｂ］IF ｎ_max（１）≧ｎ_th（１） THEN 中層ＭＬと下層ＬＬに着目
ELSE ｃ）へ
［ｃ］IF ｎ_max（０）≧ｎ_th（０） THEN 中層ＭＬと下層ＬＬに着目
ELSE 不在（どの層も見ない）

ここで、図７の具体例では、［ｂ］が選択されることになる。なお、中層ＭＬと下層ＬＬに関しては、上記のように中層ＭＬと下層ＬＬとを一緒に着目するのではなく、別々に着目することもできる。しかしながら、中層ＭＬと下層ＬＬを別々に着目すると、中層ＭＬ→下層ＬＬまたは下層ＬＬ→中層ＭＬへと着目する層を切り替える際にデータが不連続になるため、中層ＭＬと下層ＬＬとは合わせて着目するのが好ましい。ただし、中層ＭＬと下層ＬＬを合わせてから閾値の判定を行うと、ノイズが混じり正しい判定ができなくなる可能性が出てくるため、閾値の判定においては中層ＭＬと下層ＬＬの判定を上記のように分けて行うのが好ましい。

［３］［２］で中層ＭＬと下層ＬＬを着目層として着目する場合、図８に示すように、中層ＭＬと下層ＬＬのデータを足し合わせ、上層ＵＬに着目する場合は、ｎ（ｘ，ｙ，２）をそのまま使用する。これを式で表すと、式（３）のようになる。

［４］着目層において、ｎ´（ｘ，ｙ，ｚ）が最大数となる区画のｘ，ｙ，ｚをそれぞれｘ_max，ｙ_max，ｚ_maxとおく。
［５］そして、最大数の区画を基準として、Ｘ軸の重心座標ｇ^X、Ｙ軸の重心座標ｇ^Y、Ｚ軸の重心座標ｇ^Zを式（４）により求める。

そして、求めた重心座標を対象者Ｓの位置と定義する。

次に、危険度算出手段２４Ａでは、特定した対象者Ｓの位置を基に、対象者Ｓの危険度の算出を行う。具体的には、算出した重心座標ｇ^X、ｇ^Y、ｇ^Zを用い、以下の手順で行う。
［１］まず、立方体領域の各区画に転倒リスクの重みを各々設定する。各軸の転倒リスクの重みをそれぞれｗ_x、ｗ_y、ｗ_zとする。
［２］重心座標ｇ^Xと以下の式（５）から、使用する危険度（以下、転倒リスクと適宜記す）の重みを決める。

［３］そして、式（６）または式（７）により、Ｘ軸方向の転倒リスクｒ^Xを求める。またＹ軸、Ｚ軸の転倒リスクｒ^Y、ｒ^Zも同様に求める。

［４］そして、Ｘ軸、Ｙ軸、Ｚ軸の転倒リスクの合計ｒ（ｒ＝ｒ^X＋ｒ^Y＋ｒ^Z）が本実施形態における最終的な転倒リスクとなる。

ここで、危険度推定部２０Ａにおける上記方法による危険度推定の有用性を検証した結果について説明する。有用性を検証するため本発明者は、実際の病院で実患者による検証を行った。検証時の被験者には、入院中の成人男性を選定した。実験条件は、
ベッドＢのサイズ（Ｗ×Ｄ×Ｈ） ０．９×２．１×０．５［ｍ］
入力部２の傾き角度θ ３２．４［°］
地面から入力部２までの高さ １．９５［ｍ］
ベッドＢから入力部２までの高さ １．４５［ｍ］
サンプリング間隔 １．０［ｓ］
着目する層を決定する閾値 １５００（上層ＵＬ～下層ＬＬ全て）
である。また、各区画の重みを図９に示す。

今回は、ベッドＢ内に加え、ベッドＢ外の対象者Ｓの様子（立位の姿勢等）も捉えるため、上層ＵＬのＸ軸の計測範囲をベッドＢ外まで拡張した。そしてベッド外の転倒リスクの重みは３として危険度推定システム１Ａが算出したリスク値と、そのときの対象者Ｓの姿勢を比較して評価を行った。

そして、実験条件より導出された転倒リスクの時系列データを図１０に示す。また、点（ａ）～（ｌ）の時の深度値画像（対象者Ｓの様子を示した画像）を危険度が高い順に並べた結果を図１１に示す。なお、図１１の（ａ）～（ｌ）の各画像において、左上の数値は算出された危険度であり、右上の数値は図１０における各点での時間（ｓ）である。

この結果を見ると、計測範囲内に対象者Ｓが一人だけのときの転倒危険度は、「立位（６．０～６．３）」→「端座位（４．１～４．３）」→「臥位（２．２～２．６）」→「計測範囲外に存在（－２．０）」の順になっていることがわかる。この結果は「対象者Ｓが立ち上がっているときは転倒の危険性が高く、寝ているときや不在のときは転倒の危険性が低い」という性質を満たしているため妥当である。

なお、（ｆ）の危険度が７．６と高くなった原因としては、危険度推定システム１Ａが来訪者（Another Man）を患者と間違えたためである。このような現象については、計測範囲の調整や前後の時系列データを利用することで回避可能である。

また、（ｋ）は立位の姿勢であるように思われるが、危険度は－２．０と人物が不在のときの値になってしまっている。今回の危険度推定システム１Ａでは、危険度推定の際に、ベッドＢ外については上層ＵＬの動きしか見ていない。（ｋ）では対象者Ｓが机にもたれているため、対象者Ｓの背丈が実際よりも低く検出され、不在と判定されてしまったことによる。このような結果については、実際の立位の姿勢を不在と捉えたものではあるが、不在は立位の後の姿勢であることから、不在の前に立位が判定されることから、危険度を推定する上では実用上問題はないと考える。
そして、このように危険度推定部２０Ａの危険度算出手段２４Ａで算出された結果が、推定結果出力部３０Ａにより出力される。

以上にように危険度推定システム１Ａは、直上画像取得部１０Ａが深度値画像を直上画像に変換する直上画像変換手段１２Ａを備えた構成となっている。従って、対象者Ｓに不快感を与え難いベッドＢの頭部側から深度値画像を取得することができる。また、直上画像を用いた危険度推定は、実施形態１の説明でも記載したように、精度の高い危険度推定を行うことが可能となる。従って、斜め方向から深度値画像を取得し、この斜め方向からの深度値画像を直上画像に変換できることで、危険度推定システム１Ａは、斜め方向からの深度値画像を用いながら、より精度の高い危険度推定を行うことができる。なお、直上画像取得部１０Ａにより、斜め方向から深度値画像を取得する場合、直上画像に変換できる範囲であれば深度値画像取得手段１１Ａを構成する入力部２を設置できる。従って、入力部２の設置可能な範囲が非常に多くなる。

また、危険度推定システム１Ａは、危険度推定部２０Ａの判定層分割手段が複数の立方体領域に分割する立方体分割手段２１Ａからなる構成となっている。従って、深度方向（Ｚ軸方向）だけでなく、平面領域（Ｘ軸方向、Ｙ軸方向）においても領域を分割して、より精度良く危険度推定を行うことができる。

なお、立方体分割手段２１Ａにより複数の立方体領域に分割することで、位置特定手段２３Ａを用いることなく危険度推定を行うこともできる。例えば、対象者Ｓと対応する区画を判定し、その対応する区画の形状から、対象者Ｓの姿勢を推定することができる。このような姿勢の推定により対象者Ｓの危険度推定を行うことも可能である。

また、危険度推定システム１Ａは、危険度推定部２０Ａが更に、対象物Ｓの位置を特定する位置特定手段２３Ａと、特定された位置を基に危険度を算出する危険度算出手段２４Ａを備えた構成となっている。従って、より精度良く危険度推定を行うことが可能である。また、本実施形態においては、位置特定手段２３Ａとして対象者Ｓの重心位置を利用している。この重心位置と対象者Ｓの姿勢とを直接関連付けることも可能であることから、重心位置から対象者Ｓの姿勢を推定し、危険度推定を行うことも可能である。

また、危険度算出手段２４Ａを備えているため、例えば、前述した危険度算出の方法であれば、対象者Ｓによって危険度の重みを変えて危険度算出を行うこともできる。特に、実際には対象者Ｓの症状やベッドＢの形状、周辺環境等によっても、危険な体勢、危険な位置等を変わってくる。従って、危険度算出手段２４Ａにより危険度推定システム１Ａは、環境等に適した危険度推定を行うことができる。

また、本発明における危険度推定を行う危険度推定対象物とは、対象者Ｓのように人間に限られるということではなく、人以外の動物や物も広く含まれており、またベッド上に限られるということでもなく、本発明は適用範囲の非常に広いものである。

１、１Ａ…危険度推定システム
１０、１０Ａ…直上画像取得部
１１、１１Ａ…深度値画像取得手段
１２Ａ…直上画像変換手段
２０、２０Ａ…危険度推定部
２１…判定層分割手段
２１Ａ…立方体分割手段
２２、２２Ａ…着目層決定手段
２３Ａ…位置特定手段
２４Ａ…危険度算出手段
３０、３０Ａ…推定結果出力部

Claims (4)

1. 深度値により形成された深度値画像を基に形成される、少なくともベッド上における危険度推定対象物の直上画像を取得する直上画像取得部と、
   前記直上画像を基に危険度を推定する危険度推定部と、
   前記危険度推定部による推定結果を出力する推定結果出力部と、
   を備え、
   前記危険度推定部は、
   前記直上画像から前記深度値を用いて、深度方向となるＺ軸方向、ベッド横方向となるＸ軸方向、ベッド縦方向となるＹ軸方向にベッド上を分割してなる複数の立方体領域の区画に分割する立方体分割手段からなり、
   前記立方体分割手段からなる前記区画を基に危険度の推定を行うことを特徴とする危険度推定システム。
2. 深度値により形成された深度値画像を基に形成される、少なくともベッド上における危険度推定対象物の直上画像を取得する直上画像取得部と、
   前記直上画像を基に危険度を推定する危険度推定部と、
   前記危険度推定部による推定結果を出力する推定結果出力部と、
   を備え、
   前記危険度推定部は、
   前記直上画像から前記深度値を用いて、深度方向となるＺ軸方向、ベッド横方向となるＸ軸方向、ベッド縦方向となるＹ軸方向にベッド上を分割してなる複数の立方体領域に分割を行う立方体分割手段と、
   分割された前記立方体領域から前記Ｚ軸方向における着目する層を決定する着目層決定手段と、
   からなり、前記着目層決定手段により決定された着目層を基に危険度の推定を行うことを特徴とする危険度推定システム。
3. 前記危険度推定部は、更に、
   対象物の位置を特定するための位置特定手段と、
   前記位置特定手段により特定された位置を基に危険度を算出する危険度算出手段と、
   を備えていることを特徴とする請求項２に記載の危険度推定システム。
4. 前記直上画像取得部は、前記深度値画像を前記直上画像に変換する直上画像変換手段を備えることを特徴とする請求項１から３の何れか１項に記載の危険度推定システム。

Images