JP6822328B2 - 見守り支援システム及びその制御方法 - Google Patents

Description

本発明は、ベッド上の対象者の見守りを支援するための技術に関する。

ベッドからの転落事故などを未然に防ぐため、病院や介護施設などにおける患者の見守りを支援するシステムが知られている。特許文献１には、施設の各居室内に、非接触で入居者の状況が把握できるように人感センサ、呼吸センサ、体動センサ、ドアセンサなどが設置され、施設内に設置されたサーバに各センサからのセンサデータが収集され、施設内の複数の入居者の状況が瞬時に把握できるように、管理用ＰＣの現在状況表示画面に各入居者の呼吸回数や体動の振幅や人感センサの検知結果をグラフ表示する構成が開示されている。また、特許文献２には、体動や呼吸などをグラフ表示することが開示されている。また、特許文献３には、患者の転倒が発生したときにアラート用のアイコンを表示することが開示されている。

特開２０１７−０１６６１１号公報 特開２００９−０８２５１１号公報 特開２００８−２８９６７６号公報

特許文献１、２のように、センサにより計測された体動をグラフ表示することで、見守り側（看護師、医師、介護士など）は患者の動きの有無や大きさを監視することができる。しかしながら、動きの有無やその大きさだけでは、その動きが危険行動に因るものかどうかは判別できない。例えば、患者がベッドから離れたり転落しそうになっているのか、あるいは単にベッド上で伸びをしただけなのかは、体動センサの出力だけでは区別することはできない。言い換えると、体動センサの出力には、ノイズ（検知したい行動以外の動きに因る信号）が多く含まれるため、それだけでは患者の状態や行動を精度良く検知ないし予測することはできない。また、特許文献３のように転倒などが発生した場合にアラートを出力するだけでは、ベッドからの転落や転倒などの事故を未然に防ぐことはできない。

本発明は、上記実情に鑑みなされたものであって、ベッド上の対象者の状態ないし行動を高精度かつ高信頼に検知するための技術を提供することを目的とする。

上記目的を達成するために、本発明では、画像を基に対象者の状態を定量化したスコアを生成し、そのスコアの時間変化をグラフ表示する、という方法を採用する。

具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、前記対象者のベッドを含む監視領域を撮影するように設置された撮像装置から画像を取得する画像取得部と、前記画像取得部により得られた前記監視領域の画像に基づいて、前記対象者の状態を定量化したスコアを出力する状態定量化部と、前記状態定量化部から出力されるスコアの時間的な変化を示すグラフを表示装置に表示する状態表示部と、を有することを特徴とする見守り支援システムを提供する。

この構成によれば、対象者の状態を定量化したスコアの時間的な変化を示すグラフを出力するので、見守り側（看護師、介護者など）は対象者の状態の変化や傾向を簡単に確認することができる。そして、状態の変化や傾向がわかると、例えば、対象者の行動を予測し危険の発生を未然に防止できたり、対象者の毎日の行動パターンを把握し見守りに役立てたりすることができる。

前記状態定量化部は、ベッドと人が写る画像を入力とし前記ベッドに対する前記人の状態を示すスコアを出力するように機械学習された回帰器を有しており、前記監視領域の画像を前記回帰器に入力することにより、前記対象者の状態を定量化したスコアを取得するとよい。回帰器を用いて入力画像における対象者の状態を推定するので、未知の入力画像に対して高精度な状態推定を行うことができる。また、回帰器のスコアは連続値で出力されるので、対象者の状態が明確に分類できないものであったとしても、妥当な推定結果を得ることができる。さらに、対象者が布団を被っていたり、対象者の周囲にまぎらわしい人や物体が存在していたり、照明環境が通常と異なるなど、頭部検出が困難な画像であっても、妥当な推定結果を得ることが期待できる。

前記回帰器は、ニューラルネットワークであるとよい。ニューラルネットワークを用いることにより、高精度かつ頑健性の高い状態推定を行うことができる。

前記ベッドに対する前記人の状態があらかじめ複数の類型に分類され、かつ、前記複数の類型のそれぞれに異なるスコアが割り当てられており、前記回帰器は、前記人の状態が２つの類型のあいだの状態である場合に、前記２つの類型のスコアのあいだの値を出力するように構成されているとよい。このような設計とすることにより、人がとり得るさまざまな状態を一次元のスコアで表現できるようになるので、「人の状態」を数学的にあるいはプログラムにおいて取り扱うのが容易になり、例えば後段の処理（状態表示部によるグラフ出力など）を極めて簡易に構築できる。

例えば、前記複数の類型は、前記人が前記ベッドに寝ている状態０、前記人が前記ベッド上で起き上がっている状態１、および、前記人が前記ベッドから離れている状態２を含むとよい。少なくとも状態０〜状態２の３種類の状態が判別できれば、見守りのニーズが高い「起床」と「離床」の検知が可能になるからである。

前記対象者の状態を定量化したスコアは、前記対象者の状態の危険度合いを表すスコアであってもよい。対象者の状態の危険度合いをグラフ表示することにより、見守り側は、対象者の危険を予測することが容易にでき、事故等の発生を未然に防ぐことが可能となる。

前記監視領域の画像内のベッドの領域に基づき設定される複数の判定領域ごとに、危険な状態を判定するための判定基準があらかじめ設定されている判定基準記憶部を有し、前記状態定量化部は、前記監視領域の画像から前記対象者の頭部を検出する検出部を有しており、前記頭部が検出された位置に対応する判定領域の判定基準を用いて、前記対象者の状態の危険度合いを表すスコアを算出するとよい。この構成によれば、ベッド上の対象者が安全な状態にあるのか危険な状態にあるのかを、画像から簡単にかつ精度良く判定することが可能となる。

前記状態定量化部は、頭部の向き、頭部の移動速度、頭部の移動方向、頭部の移動ベクトルのうち少なくとも１つ以上の項目に基づいて、前記対象者の状態の危険度合いを表すスコアを算出するとよい。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システムと
して捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法又は見守り支援システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、ベッド上の対象者の状態ないし行動を高精度かつ高信頼に検知することができる。

図１は第１実施形態の見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図２は撮像装置の設置例を示す図である。 図３は画像に対し設定された監視領域の例である。 図４は人の状態の類型と画像の例である。 図５は回帰器の機械学習を模式的に示す図である。 図６は回帰器の能力を模式的に示す図である。 図７は状態監視処理のフローチャートである。 図８は状態表示例である。 図９は第２実施形態の見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図１０Ａ〜図１０Ｃは画像に対し設定された判定領域の例である。 図１１Ａは判定領域ごとの頭部向きの判定基準のデータ構造の一例であり、図１１Ｂは８方向を表す符号を説明する図である。 図１２は第２実施形態の実施例１の状態監視処理のフローチャートである。 図１３は第２実施形態の実施例１の危険度合い判定の例である。 図１４は第２実施形態の状態表示例である。 図１５は第２実施形態の実施例２の状態監視処理のフローチャートである。 図１６は第２実施形態の実施例２の危険度合い判定の例である。 図１７は第２実施形態の実施例３の状態監視処理のフローチャートである。 図１８は第２実施形態の実施例４の状態監視処理のフローチャートである。

本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。

以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

＜第１実施形態＞
（システム構成）
図１と図２を参照して、本発明の実施形態に係る見守り支援システムの構成を説明する。図１は、見守り支援システム１のハードウェア構成および機能構成を模式的に示すブロック図であり、図２は、撮像装置の設置例を示す図である。

見守り支援システム１は、主なハードウェア構成として、撮像装置１０と情報処理装置１１と表示装置１３を有している。撮像装置１０と情報処理装置１１の間は有線又は無線により接続されている。また、情報処理装置１１と表示装置１３の間も有線又は無線により接続されている。例えば、撮像装置１０と情報処理装置１１を含む子機ユニットを見守り対象者２１の部屋に設置し、表示装置１３を含む親機ユニットをナースセンターや集中監視室に設置し、子機ユニットと親機ユニットの間は有線ＬＡＮ又は無線ＬＡＮで通信する構成を採ることができる。あるいは、情報処理装置１１の全部又は一部を親機ユニット側に設けてもよい。また、一台の親機ユニットに複数台の子機ユニットを接続してもよい。

撮像装置１０は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置１０としては、モノクロ又はカラーの可視光カメラ、赤外線カメラ、三次元カメラなどを用いることができる。本実施形態では、夜間でも（部屋内が暗い場合でも）対象者の見守りを可能とするため、赤外線ＬＥＤ照明１００と近赤外線カメラ１０１で構成される撮像装置１０を採用する。撮像装置１０は、図２に示すように、ベッド２０の頭側上方から足側に向かって、ベッド２０の全体を俯瞰するように設置される。撮像装置１０は所定の時間間隔（例えば、３０ｆｐｓ）で撮影を行い、その画像データは情報処理装置１１に順次取り込まれる。

情報処理装置１１は、撮像装置１０から取り込まれる画像データをリアルタイムに分析して、ベッド２０上の対象者２１の状態および行動を検知し、表示装置１３に検知結果を出力する機能を備える装置である。情報処理装置１１は、具体的な機能モジュールとして、画像取得部１１０、領域設定部１１１、前処理部１１２、回帰器１１３、スコア安定化部１１４、判定部１１５、状態表示部１１６、記憶部１１７を有している。なお、本実施形態では、前処理部１１２と回帰器１１３とスコア安定化部１１４と判定部１１５とで、対象者２１の状態を定量化したスコアを出力する状態定量化部が構成されている。

本実施形態の情報処理装置１１は、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置１１の各モジュールは、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、情報処理装置１１の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記モジュールの一部をクラウドサーバにより実行してもよいし、上記モジュールの一部をＡＳＩＣやＦＰＧＡのような回路で構成してもよい。

画像取得部１１０は、撮像装置１０により撮影された画像を取得するためのモジュールである。画像取得部１１０より入力された画像データは一時的にメモリ又はストレージに記憶され、後述する領域設定処理や状態監視処理に供される。

領域設定部１１１は、撮像装置１０により撮影される画像に対し監視領域を設定するためのモジュールである。監視領域は、撮像装置１０の視野のうち状態監視処理の対象となる範囲（言い換えると、回帰器１１３の入力として用いられる画像範囲）である。領域設定処理の詳細は後述する。

前処理部１１２は、状態監視処理において、画像取得部１１０より入力された画像（以
後「オリジナル画像」と呼ぶ）に対し必要な前処理を施すためのモジュールである。例えば、前処理部１１２は、オリジナル画像から監視領域内の画像をクリップする処理を行う（クリップされた画像を以後「監視領域画像」と呼ぶ）。また、前処理部１１２は、監視領域画像に対して、リサイズ（縮小）、アフィン変換、輝度補正などの処理を施してもよい。リサイズ（縮小）は、回帰器１１３の演算時間を短縮する効果がある。リサイズには既存のどのような手法を用いてもよいが、演算コストと品質のバランスがよいバイリニア法が好ましい。アフィン変換は、例えば、画像において台形状に写るベッドを長方形状に変形するなど、必要な歪み補正を行うことで、回帰器１１３への入力画像を規格化し、推定精度を向上する効果が期待できる。輝度補正は、例えば、照明環境の影響を低減することで、推定精度を向上する効果が期待できる。なお、オリジナル画像をそのまま回帰器１１３に入力する場合には、前処理部１１２は省略してもよい。

回帰器１１３は、監視領域画像が与えられたときに、当該監視領域画像に写る対象者２１の状態（例えば、就床状態、起床状態、離床状態）を示すスコアを出力するためのモジュールである。回帰器１１３は、ベッドと人が写る画像を入力とし、ベッドに対する人の状態を定量的に示すスコアを出力するように、入力画像の特徴と人の状態との関係モデルを機械学習により構築したものである。回帰器１１３のトレーニングは、多数のトレーニング用画像を用いて、学習装置１２によって事前に（システムの出荷前ないし稼働前に）行われているものとする。なお、回帰器１１３の学習モデルとしては、ニューラルネットワーク、ランダムフォレスト、サポートベクターマシンなど、どのようなモデルを用いてもよい。本実施形態では、画像認識に好適な畳み込みニューラルネットワーク（ＣＮＮ）を用いる。なお、本実施形態のスコアは「状態スコア」ともよぶ。

スコア安定化部１１４は、回帰器１１３から出力されるスコアの急激な変化やばたつきを抑制するためのモジュールである。スコア安定化部１１４は、例えば、現在のフレームの画像から得られた現在スコアと、直前の２フレームの画像からそれぞれ得られた過去スコアの平均を計算し、安定化スコアとして出力する。この処理は、スコアの時系列データに時間的なローパスフィルタをかけることと等価である。なお、スコアの安定化が不要であれば、スコア安定化部１１４は省略してもよい。

判定部１１５は、回帰器１１３により得られたスコアに基づいて、対象者の行動を判定するためのモジュールである。具体的には、判定部１１５は、スコアの時間的な変化（つまり、スコアが示す「対象者の状態」の遷移）に基づいて、対象者がどのような行動（例えば、起床行動、離床行動など）をとったのかを推定する。判定部１１５の処理の詳細は後述する。

状態表示部１１６は、スコア安定化部１１４から出力されるスコアの時間的な変化を示すグラフ（以後「状態変化グラフ」という）を表示装置１３にリアルタイム表示するモジュールである。

記憶部１１７は、見守り支援システム１が処理に用いる各種のデータを記憶するモジュールである。記憶部１１７には、例えば、監視領域の設定情報、前処理で用いるパラメータ、スコア安定化処理で用いるパラメータ、スコアの時系列データ、判定処理で用いるパラメータなどが記憶される。

（監視領域の設定）
撮像装置１０の画角内にはベッド２０や対象者２１以外にさまざまな物が写り込んでいる。対象者２１の状態や行動を検知するにあたっては、ベッド２０と対象者２１以外の物はノイズとして作用する可能性があるため、出来る限り除外することが好ましい。また、回帰器１１３に入力する画像については、画像サイズ（幅、高さ）および画像内のベッド
の位置・範囲・大きさなどが規格化されているほうが、推定精度の向上が図りやすい。そこで、本実施形態では、ベッド２０を基準にした所定の範囲を監視領域に設定し、後述する状態監視処理では監視領域内の画像をクリッピングして回帰器１１３の入力画像とする。

監視領域の設定は、手動で行ってもよいし自動で行ってもよい。手動設定の場合、領域設定部１１１は、画像内のベッド２０の領域ないし監視領域そのものをユーザに入力させるためのユーザインタフェースを提供するとよい。自動設定の場合、領域設定部１１１は、物体認識処理により画像からベッド２０を検出し、検出したベッド２０の領域を包含するように監視領域を設定するとよい。なお、領域設定処理は、監視領域が未設定の場合（例えば、システムの設置時など）、ベッド２０や撮像装置１０の移動に伴い監視領域を更新する必要がある場合などに実行される。

図３Ａは、オリジナル画像に対し設定された監視領域の例である。本実施形態では、ベッド２０の領域の左側・右側・上側（足側）にそれぞれ所定幅のマージンを付加した範囲を、監視領域３０に設定する。マージンの幅は、ベッド２０上で起き上がっている人（図３Ｂ参照）の全身が監視領域３０内に入るように設定される。

（状態の類型と機械学習）
本システムでは、人の状態を回帰で取り扱うために、「ベッドに対する人の状態」をあらかじめ第０〜第２の３つの類型に分類する。「第０類型」は、人がベッドに寝ている状態（「就床状態」又は「状態０」と呼ぶ）、「第１類型」は、人がベッド上で起き上がっている状態（「起床状態」又は「状態１」と呼ぶ）、「第２類型」は、人がベッドから離れている（降りている）状態（「離床状態」又は「状態２」と呼ぶ）である。図４は、寝ていた人が起き上がり、ベッドから離れる、という一連の行動を表す時系列画像と、３つの類型との対応を示す例である。

図５は、回帰器１１３の機械学習を模式的に示している。まず、実際の病室等を撮影した画像を集め、各画像を第０類型〜第２類型に分類する。そして、各画像の監視領域に相当する部分をクリッピングし、類型の番号（０，１，２）をラベルとして割り当て、トレーニング用画像のセットを生成する。回帰の精度向上のため、十分な数の画像を用意することが好ましく、またそれぞれの類型についてさまざまなバリエーションの画像を用意することが好ましい。ただし、人の状態がどちらの類型に属するかあいまいな画像は、トレーニング用画像に適さないので、除外することが好ましい。

学習装置１２は、トレーニング用画像のセットを用い、各入力画像に対してそのラベルと同じスコア（つまり、第１類型に属する入力画像であればスコア＝１）を出力するように、畳み込みニューラルネットワークのトレーニングを行う。そして、学習装置１２は、学習結果であるニューラルネットワークのパラメータ群を、本システムの回帰器１１３に組み込む。なお、ニューラルネットワークの具体的な層構造、フィルタ、活性化関数、入力画像の仕様などは、実装や要求精度にあわせて適宜設計すればよい。

図６は、回帰器１１３の能力を模式的に示している。回帰器１１３は、画像の「特徴量」と人の状態を示す「スコア」との対応関係をモデル化したものである。回帰器１１３は、その関係モデルに従って、入力画像から特徴量を抽出し、特徴量に対応したスコアを計算し出力する。なお、図６では、説明の便宜のため関係モデルを２次元の線型モデルで示しているが、実際の特徴量空間は多次元であり、関係モデルは非線型となる。

回帰器１１３から出力されるスコアは０〜２の範囲の実数値（連続値）である。例えば、第１類型（起床状態）の入力画像が与えられた場合は、その出力スコアは１又は１に極
めて近い値となる。他の類型の場合も同様である。他方、入力画像のなかには、寝た姿勢から上半身を起こそうとしている状態や、ベッドから立ち上がろうとしている状態のように、どちらの類型に属するかあいまいな画像も存在する。そのような中間状態の画像の場合、抽出される特徴量は２つの類型のあいだの特徴量となるため、２つの類型の中間のスコアが出力されることとなる。例えば、寝た姿勢から上半身を起こそうとしている状態の画像であれば、第０類型と第１類型の中間状態ゆえ、０より大きく１より小さい値のスコアが得られる。

このように、本システムでは回帰器１１３を用いて、入力画像における人の状態を推定する。したがって、未知の入力画像に対して高精度な状態推定を行うことができる。また、中間状態の画像が入力された場合でも妥当な推定結果を得ることができる。さらに、対象者が布団を被っていたり、対象者の周囲にまぎらわしい人や物体が存在していたり、照明環境が通常と異なるなど、頭部検出が困難な画像であっても、妥当な推定結果を得ることができる。

（状態監視処理）
図７を参照して本システムの状態監視処理の一例を説明する。図７の処理フローは、撮像装置１０から１フレームの画像が取り込まれる度に実行される。

ステップＳ７０において、画像取得部１１０が、撮像装置１０から１フレームの画像を取り込む。取得されたオリジナル画像は記憶部１１７に一時的に記憶される。次に前処理部１１２が、オリジナル画像から監視領域画像をクリップし、必要に応じてリサイズ、アフィン変換、輝度補正などを実行する（ステップＳ７１）。次に回帰器１１３が、監視領域画像を入力し、対応するスコアを出力する（ステップＳ７２）。次にスコア安定化部１１４が、ステップＳ７２で得られたスコアの安定化処理を行い（ステップＳ７３）、得られたスコアを判定部１１５に引き渡す。

判定部１１５は、スコア（連続値）に基づいて、対象者２１の現在の状態を就床状態／起床状態／離床状態のいずれかに分類する。分類方法は問わないが、本実施形態では、スコア≦閾値ｔｈ１の場合は就床状態（ステップＳ７４，Ｓ７５）、閾値ｔｈ１＜スコア≦閾値ｔｈ２の場合は起床状態（ステップＳ７６，Ｓ７７）、閾値ｔｈ２＜スコアの場合は離床状態（ステップＳ７８）、と分類する。閾値ｔｈ１、ｔｈ２は、例えば、ｔｈ１＝０．５、ｔｈ２＝１．５のように設定される。閾値ｔｈ１、ｔｈ２を変更することで、検知感度を調整することができる。

続いて、状態表示部１１６が、検知結果であるスコアおよび対象者２１の状態を表示装置１３に出力する（ステップＳ７９）。以上のステップＳ７０〜Ｓ７９は、システムが終了するまでフレーム毎に実行される（ステップＳ８０）。

（表示例）
図８に、表示装置１３に出力される状態表示画面の一例を示す。画面左側には、見守りの対象者Ａ〜Ｄそれぞれの現在の状態をグラフィカルに示す状態画像８０が表示されている。図８の例では、対象者ＡとＣが就床状態であり、対象者Ｂが起床状態、対象者Ｄが離床状態であることが示されている。また、画面右側には、対象者Ａ〜Ｄそれぞれの状態変化グラフ８１が表示されている。状態変化グラフ８１の横軸は時間、縦軸は状態スコアである。また現時刻における各対象者Ａ〜Ｄの状態スコアがわかるよう、現時刻の時点を示すマーカー８２が表示されている。

以上述べた本実施形態によれば、回帰器１１３により対象者２１の状態推定を行うので、対象者２１の状態ないし行動を精度良く判定することができる。また、対象者２１の状
態を定量化した状態スコアの時間変化を示す状態変化グラフ８１を出力するので、見守り側（看護師、介護者など）は対象者２１の状態の変化や傾向を簡単に確認することができる。そして、状態の変化や傾向がわかると、例えば、対象者２１の行動を予測し危険の発生を未然に防止できたり、対象者２１の毎日の行動パターンを把握し見守りに役立てたりすることができる。

＜第２実施形態＞
次に本発明の第２実施形態について説明する。第１実施形態では回帰器により対象者２１の状態を推定したのに対し、本実施形態では対象者２１の頭部を検出し、頭部の位置や状態から対象者２の状態（危険度合い）を推定する。

図９は、第２実施形態の見守り支援システム１のハードウェア構成および機能構成を模式的に示すブロック図である。第１実施形態（図１）との構成上の違いは、状態定量化部が、検出部９０、状態認識部９１、および判定部９２により構成されている点、並びに、領域設定部９３および状態表示部９４の機能が異なる点である。以下、本実施形態に特有の構成を主に説明し、第１実施形態と重複する説明については省略する。

検出部９０は、画像取得部１１０により取得された画像を分析し、当該画像から、見守り対象者２１の人体又はその一部（頭部、顔、上半身など）を検出するモジュールである。画像から人体やその一部を検出する方法としてはいかなる方法を用いてもよい。例えば、古典的なＨａａｒ−ｌｉｋｅ特徴量やＨｏＧ特徴量を用いた識別器による手法や近年のＦａｓｔｅｒ Ｒ−ＣＮＮによる手法を用いた物体検出アルゴリズムを好ましく用いることができる。本実施形態の検出部９０は、Ｈａａｒ−ｌｉｋｅ特徴量を用いた識別器により対象者２１の頭部（首より上の部分）２２を検出し、検出結果として、頭部２２の位置（ｘ，ｙ）及びサイズ（縦横のピクセル数）を出力する。頭部２２の位置（ｘ，ｙ）は、例えば、頭部２２を囲む矩形枠の中心点の画像座標で表される。なお、本実施形態の検出部９０は検出結果を画像座標系の位置・サイズで出力するが、検出部９０が画像座標系を空間座標系に換算し、対象者２１の空間座標系における３次元位置や３次元的なサイズを出力してもよい。

状態認識部９１は、検出部９０により検出された対象者２１の状態を認識するモジュールである。本実施形態では、対象者２１の頭部２２の状態、具体的には、（１）頭部２２の向き、（２）頭部２２の移動速度、（３）頭部２２の移動方向の３つの少なくともいずれかを計算する。

頭部２２の向きは、例えば、頭部２２の画像における顔器官（目、鼻、口など）の位置関係に基づき認識してもよいし、頭部２２の向きごとに学習した複数種類の識別器を用いることで認識してもよいし、その他のアルゴリズムを用いてもよい。また、頭部２２の向きについては、連続値（角度）を計算してもよいし、例えば右向き・正面・左向きというように予め決められたＮ種類の向き（方向）のいずれに該当するかを判別してもよい。また、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌの３軸まわりの向きを計算してもよいし、単純に、画像座標系（ｘｙ面内）での向きを計算してもよい。

頭部２２の移動速度は、所定時間あたりの頭部２２の移動量である。例えば、複数フレーム前の画像における頭部２２の位置と最新の画像における頭部２２の位置との間の距離を計算することにより、移動速度を得ることができる。また、頭部２２の移動方向は、例えば、複数フレーム前の画像における頭部２２の位置と最新の画像における頭部２２の位置とを結ぶ線分の向き（角度）から計算できる。移動速度と移動方向を組み合わせて、頭部２２の移動ベクトルを求めてもよい。なお、この場合も、画像座標系を空間座標系に換算することで、実空間（３次元空間）での移動速度、移動方向、移動ベクトルを計算して
もよい。

判定部９２は、検出部９０及び状態認識部９１の結果に基づき、対象者２１の状態が安全な状態であるか危険な状態であるかを判定するモジュールである。具体的には、判定部９２は、危険な状態を評価・判定するための「判定基準」を用いて、状態認識部９１で認識された頭部２２の状態（向き、移動速度、移動方向、移動ベクトルの少なくともいずれか）の「危険度合い」を判定する処理を行う。危険度合いの判定は、安全／危険の２段階判定でもよいし、危険度合い＝０，１，２，・・・のような多段階判定でもよい。この危険度合いを危険度スコアともよぶ。本実施形態では、記憶部１１７内の判定基準記憶部に複数の判定基準があらかじめ設定されており、判定部９２が、対象者２１（の頭部２２）が検出された位置に応じて、用いる判定基準を切り替える。この特徴については後ほど詳しく説明する。

領域設定部９３は、画像に対し監視領域および判定領域を設定するためのモジュールである。状態表示部９４は、危険度スコアの時間的な変化を示すグラフを表示装置１３にリアルタイム表示するモジュールである。

（判定領域の設定）
図１０Ａ〜図１０Ｃを参照して、監視領域と判定領域の設定処理の一例について説明する。図１０Ａ〜図１０Ｃは、画像に対し設定された監視領域と判定領域の例である。

まず、画像取得部１１０が、撮像装置１０から画像を取得する（図１０Ａ）。次に、領域設定部９３が、監視領域３０とベッドの四隅の点４０〜４３をユーザに入力させ、その４点４０〜４３で囲まれた四角形をベッド領域４４に設定する（図１０Ｂ）。次に、領域設定部９３が、ベッド領域４４に基づき４つの判定領域Ａ１〜Ａ４の範囲を計算する（図４Ｃ）。そして、領域設定部９３が、監視領域３０とベッド領域４４の情報（ベッド領域４４の四隅の座標）及び４つの判定領域Ａ１〜Ａ４の情報（各判定領域の四隅の座標）を記憶部１１７に格納し、設定処理を終了する。

判定領域Ａ１はベッド２０の頭側に設定される領域であり、対象者２１がベッド２０に寝ている場合に頭部２２が存在し得る範囲に対応する。判定領域Ａ２はベッド２０の足側の中央に設定される領域であり、対象者２１が寝ている状態から上半身を起こした場合や、ベッド２０の足側から降りる又は落ちる場合に、頭部２２が存在し得る範囲に対応する。判定領域Ａ３はベッド２０の足側の左方に設定される領域であり、対象者２１がベッド２０の左の縁に腰かけている場合や、ベッド２０の左側から降りる又は落ちる場合に、頭部２２が存在し得る範囲に対応する。判定領域Ａ４はベッド２０の足側の右方に設定される領域であり、対象者２１がベッド２０の右の縁に腰かけている場合や、ベッド２０の右側から降りる又は落ちる場合に、頭部２２が存在し得る範囲に対応する。図１０Ｃに示すように、判定領域Ａ２〜Ａ４は、ベッド領域４４の外側まで拡張している。

このように複数の判定領域を設定した理由は、安全な状態か危険な状態かの評価が、対象者２１がベッド２０上のどこに存在するかに依存して、変化し得るからである。例えば、対象者２１の頭部２２が判定領域Ａ１内に存在する場合は、対象者２１は正常な姿勢でベッド２０に寝ていると考えられ、頭部２２が大きく移動もしくは向きを変えたとしても、対象者２１がベッド２０から転落する危険性は低いといえる。また、対象者２１の頭部２２が判定領域Ａ３内に存在する場合において、頭部２２が左側を向いていれば、対象者２１は自らの意思でベッド２０から降りようとしていると考えられ、危険度合いは低いと評価できるが、頭部２２が上や下あるいは右側を向いていたら、何らかの異常が発生しているか転落の危険性ありと判断すべきである。判定領域Ａ４については、判定領域Ａ３とは左右反対の判定となる。

図１１Ａは、記憶部１１７に設定されている判定基準のデータ構造の一例を示している。図１１Ａは頭部向きの判定基準の例である。「−１，−１」、「−１，０」・・・などの符号は図１１Ｂに示すように頭部向き（８方向）を表しており、判定基準の値が危険度合いを表している。値が大きいほど危険度合いが高いことを示し、１が最も危険度合いの低い頭部向き、５が最も危険度合いの高い頭部向きである。前述のように判定領域Ａ１〜Ａ４のそれぞれで安全な状態か危険な状態かの評価が変わるため、記憶部１１７内の判定基準記憶部には、判定領域ごとに異なる判定基準が対応付けられている。なお、図１１Ａの例は、頭部向きの判定基準であるが、頭部の移動速度、移動方向など、判定部９２で評価に用いる複数項目に対応する判定基準を設定してもよい。

次に、第２実施形態の見守り支援システム１による状態監視処理の具体的な実施例について説明する。

（実施例１）
図１２、図１３、図１４を参照して実施例１の状態監視処理の一例を説明する。図１２は、情報処理装置１１により実行される実施例１の状態監視処理のフローチャートであり、図１３は、危険度合い判定の例であり、図１４は、表示装置１３に表示される状態表示画面の一例である。

ステップＳ６０において、画像取得部１１０が、撮像装置１０から画像を取得する。取得された画像は記憶部１１７に一時的に記憶される。ステップＳ６１では、検出部９０が、ステップＳ６０で取得された画像における監視領域から対象者２１の頭部２２を検出する。ステップＳ６２では、状態認識部９１が、ステップＳ６１で検出された頭部の向きを推定する。図１３は、判定領域Ａ３内で頭部２２が検出され、頭部２２の向きが矢印７０の方向と推定された例を示している。

ステップＳ６３では、判定部９２が、判定領域Ａ３に対応する判定基準を記憶部１１７から読み出す。図１３の符号７１は、判定領域Ａ３に対応する判定基準を模式的に図示したものであり、８方向（矢印）それぞれに危険度合い（１〜５）が設定されている。そして、ステップＳ６４において、判定部９２は、判定領域Ａ３に対応する判定基準を用いて、頭部２２の向き（矢印７０）が安全な向きか危険な向きかを判定する。図１３の例では、安全な向き（危険度合い＝１）という判定結果が得られる。すなわち、頭部２２の向きがベッドの外側を向いていることから、対象者が自らの意思でベッドから降りようとしているとみなし、危険度合いは低いと判定するのである。判定部９２の判定結果（危険度スコア）は記憶部１１７に格納される。

続いて、状態表示部９４が、危険度スコアおよび対象者２１の状態を表示装置１３に出力する（ステップＳ６５）。以上のステップＳ６０〜Ｓ６５は、システムが終了するまでフレーム毎に実行される（ステップＳ６６）。

図１４に、表示装置１３に出力される状態表示画面の一例を示す。画面左側には、見守りの対象者Ａ〜Ｄそれぞれの現在の状態をグラフィカルに示す状態画像８３が表示されている。図１４の例では、対象者Ａの危険度スコアが１、対象者ＢとＤの危険度スコアが２、対象者Ｃの危険度スコアが５であることが示されている。例えば、危険度スコアが３以上の場合に点滅表示するなど、アラートを報知するようにしてもよい。また、画面右側には、対象者Ａ〜Ｄそれぞれの状態変化グラフ８４が表示されている。状態変化グラフ８４の横軸は時間、縦軸は危険度スコアである。また現時刻における各対象者Ａ〜Ｄの状態スコアがわかるよう、現時刻の時点を示すマーカー８５が表示されている。

以上述べた本実施形態によれば、対象者２１の状態（危険度合い）を定量化した危険度スコアの時間変化を示す状態変化グラフ８４を出力するので、見守り側（看護師、介護者など）は対象者２１の危険度合いの変化や傾向を簡単に確認することができる。したがって、第１実施形態と同様、対象者１の危険を予測することが容易にでき、事故等の発生を未然に防ぐことが可能となる。

（実施例２）
図１５と図１６を参照して第２実施形態の実施例２の状態監視処理の一例を説明する。図１５は、情報処理装置１１により実行される実施例２の状態監視処理のフローチャートであり、図１６は、危険度合い判定の例である。

ステップＳ１５０において、画像取得部１１０が、撮像装置１０から画像を取得する。取得された画像は記憶部１１７に一時的に記憶される。ステップＳ１５１では、検出部９０が、ステップＳ１５０で取得された画像から対象者２１の頭部２２を検出する。検出された頭部２２の位置の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部１１７に記憶される。次に、状態認識部９１が、所定時間前（例えば１秒前）の画像における頭部２２の位置の情報を記憶部１１７から読み出し（ステップＳ１５２）、所定時間前の頭部２２の位置とステップＳ１５１で検出した頭部２２の位置に基づき、頭部２２の移動速度（所定時間あたりの移動量）と移動方向とを算出し、頭部２２の移動ベクトルを求める（ステップＳ１５３）。図１６は、判定領域Ａ３内で頭部２２が検出され、頭部２２の移動ベクトルが矢印１５０のように計算された例を示している。

ステップＳ１５４では、判定部９２が、判定領域Ａ３に対応する判定基準を記憶部１１７から読み出す。図１６の符号１５１、１５２は、判定領域Ａ３に対応する判定基準を模式的に図示したものである。符号１５１は移動方向に関する判定基準の例である。また、符号１５２は移動速度（移動量）に関する判定基準の例であり、矢印が長いほど危険度合いが大きいことを示している。この例では、移動速度に応じて１〜４の４段階の危険度合いが割り当てられている。

ステップＳ１５５では、判定部９２が、判定基準１５１、１５２を用いて、頭部２２の移動ベクトル１５０の危険度合いを判定する。例えば、移動方向についての危険度合いと移動速度についての危険度合いの積（乗算値）又は和（加算値）などを、移動ベクトル１５０の危険度合いとすることができる。図１６の例では、移動方向は安全（危険度合い＝１）であるが、移動速度が大きい（危険度合い＝４）ため、移動ベクトル９０の危険度合いは４（乗算値の場合）という判定結果が得られる。すなわち、頭部２２の移動方向だけをみればベッドから降りる方向ではあるが、その移動速度（移動量）が非常に大きいので、通常のベッドから降りる動作ではなくベッドから転落ないし転倒する動きであるとみなし、危険度合が高いと判定するのである。判定部９２の判定結果（危険度スコア）は記憶部１１７に格納される。

続いて、状態表示部９４が、危険度スコアおよび対象者２１の状態を表示装置１３に出力する（ステップＳ１５６）。以上のステップＳ１５０〜Ｓ１５６は、システムが終了するまでフレーム毎に実行される（ステップＳ１５７）。状態表示画面は実施例１（図１４）と同様である。本実施例の方法によっても実施例１と同様の効果を得ることができる。

（実施例３）
図１７を参照して第２実施形態の実施例３の状態監視処理の一例を説明する。図１７は、情報処理装置１１により実行される実施例３の状態監視処理のフローチャートである。

ステップＳ１００において、画像取得部１１０が、撮像装置１０から画像を取得する。
取得された画像は記憶部１１７に一時的に記憶される。ステップＳ１０１では、検出部９０が、ステップＳ１００で取得された画像から対象者２１の頭部２２を検出する。検出された頭部２２の位置の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部１１７に記憶される。次に、状態認識部９１が、所定時間前（例えば１秒前）の画像における頭部２２の位置の情報を記憶部１１７から読み出し（ステップＳ１０２）、所定時間前の頭部２２の位置とステップＳ１０１で検出した頭部２２の位置に基づき、頭部２２の移動速度（所定時間あたりの移動量）を算出する（ステップＳ１０３）。

ステップＳ１０４では、判定部９２が、頭部２２が検出された判定領域に対応する判定基準を記憶部１１７から読み出す。本実施例では、移動速度と危険度合いとを対応付けた判定基準が、判定領域ごとに設定されている。例えば、判定領域Ａ１で頭部２２が検出される場合、対象者２１は寝ている状態にあるはずである。したがって、起き上がり動作（上半身を起こす動作）における頭部２２の一般的な速度（例えば２０ｃｍ／秒）に基づいて、判定領域Ａ１に対する判定基準を設定するとよい（例えば、移動速度が２０ｃｍ／秒以下の場合：危険度合い＝１、２０〜４０ｃｍ／秒の場合：危険度合い＝２、４０ｃｍ／秒より大きい場合：危険度合い＝３など）。また、判定領域Ａ３やＡ４で頭部２２が検出される場合、対象者２１が次にとり得る動作として、立ち上がり動作が想定される。したがって、立ち上がり動作における頭部２２の一般的な速度（例えば５０ｃｍ／秒）に基づいて、判定領域Ａ３やＡ４に対する判定基準を設定するとよい（例えば、移動速度が５０ｃｍ／秒以下の場合：危険度合い＝１、５０〜８０ｃｍ／秒の場合：危険度合い＝２、８０ｃｍ／秒より大きい場合：危険度合い＝３など）。

ステップＳ１０５では、判定部９２が、上述した判定基準を用いて、頭部２２の移動速度の危険度合いを判定する。続いて、状態表示部９４が、危険度スコアおよび対象者２１の状態を表示装置１３に出力する（ステップＳ１０６）。以上のステップＳ１００〜Ｓ１０６は、システムが終了するまでフレーム毎に実行される（ステップＳ１０７）。状態表示画面は実施例１（図１４）と同様である。本実施例の方法によっても実施例１と同様の効果を得ることができる。

（実施例４）
図１８を参照して第２実施形態の実施例４の状態監視処理の一例を説明する。図１８は、情報処理装置１１により実行される実施例４の状態監視処理のフローチャートである。

ステップＳ１１０において、画像取得部１１０が、撮像装置１０から画像を取得する。取得された画像は記憶部１１７に一時的に記憶される。ステップＳ１１１では、検出部９０が、ステップＳ１００で取得された画像から対象者２１の頭部２２を検出する。検出された頭部２２の位置の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部１１７に記憶される。ステップＳ１１２では、状態認識部９１が、頭部２２の向き、移動速度、移動方向を計算する。具体的な計算方法は、実施例１〜３で述べたものと同じでよい。

ステップＳ１１３では、判定部９２が、頭部２２が検出された判定領域に対応する判定基準を記憶部１１７から読み出す。そして、判定部９２は、頭部２２の向きに対する危険度合い（ステップＳ１１４）、頭部２２の移動ベクトルに対する危険度合い（ステップＳ１１５）、頭部２２の移動速度に対する危険度合い（ステップＳ１１６）をそれぞれ計算する。具体的な計算方法は、実施例１〜３で述べたものと同じでよい。次にステップＳ１１７において、判定部９２が、ステップＳ１１４〜Ｓ１１６で得られた危険度合いの３つの値を統合して、危険度合いの統合スコアを計算する。例えば、３つのうちの最大値を統合スコアに選んでもよいし、３つないし２つの値の平均値、乗算値、加算値などを統合スコアに選んでもよい。

続いて、状態表示部９４が、統合スコアおよび対象者２１の状態を表示装置１３に出力する（ステップＳ１１８）。以上のステップＳ１１０〜Ｓ１１８は、システムが終了するまでフレーム毎に実行される（ステップＳ１１９）。状態表示画面は実施例１（図１４）と同様である。本実施例の方法によっても実施例１と同様の効果を得ることができる。

＜その他＞
上記の各実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

上記実施形態では、画像から就床状態／起床状態／離床状態を推定するとともに、対象者の起床行動と離床行動を検知する例を説明した。ただし、推定対象の状態や、検知対象の行動はこれらに限られない。すなわち、画像に異なる特徴が現れるものであれば、さまざまな「人の状態」や「行動」を取り扱うことが可能である。例えば、食事、読書などの行動を検知することも可能である。

１：見守り支援システム
１０：撮像装置、１１：情報処理装置、１２：学習装置、１３：表示装置
１００：照明、１０１：近赤外線カメラ、１１０：画像取得部、１１１：領域設定部、１１２：前処理部、１１３：回帰器、１１４：スコア安定化部、１１５：判定部、１１６：状態表示部、１１７：記憶部
２０：ベッド、２１：対象者、２２：頭部
３０：監視領域、４０〜４３：ベッドの四隅の点、４４：ベッド領域、Ａ１〜Ａ４：判定領域
７０：頭部の向きを示す矢印、７１：判定基準
８０：状態画像、８１：状態変化グラフ、８２：マーカー、８３：状態画像、８４：状態変化グラフ、８５：マーカー
９０：検出部、９１：状態認識部、９２：判定部、９３：領域設定部、９４：状態表示部
１５０：頭部の移動ベクトル、１５１：移動方向に関する判定基準、１５２：移動速度に関する判定基準

Claims (7)

1. ベッド上の対象者の見守りを支援する見守り支援システムであって、
   前記対象者のベッドを含む監視領域を撮影するように設置された撮像装置から画像を取得する画像取得部と、
   前記画像取得部により得られた前記監視領域の画像に基づいて、前記対象者の状態を定量化したスコアを出力する状態定量化部と、
   前記状態定量化部から出力されるスコアの時間的な変化を示すグラフを表示装置に表示する状態表示部と、
   を有し、
   前記状態定量化部は、前記監視領域の画像を入力として与えると、前記監視領域内に存在する人の状態を示すスコアを出力するように機械学習されているニューラルネットワークで構成された回帰器を有しており、前記監視領域の画像を前記回帰器に入力することにより、前記対象者の状態を定量化したスコアを取得するものであり、
   前記人の状態があらかじめ複数の類型に分類され、かつ、前記複数の類型のそれぞれに異なるスコアが割り当てられており、
   前記回帰器は、前記人の状態を連続値のスコアで出力するものであって、前記人の状態が２つの類型のあいだの状態である場合に、前記２つの類型のスコアのあいだの値を出力するように構成されている
   ことを特徴とする見守り支援システム。
2. 前記複数の類型は、前記人が前記ベッドに寝ている状態０、前記人が前記ベッド上で起き上がっている状態１、および、前記人が前記ベッドから離れている状態２を含む
   ことを特徴とする請求項１に記載の見守り支援システム。
3. ベッド上の対象者の見守りを支援する見守り支援システムであって、
   前記対象者のベッドを含む監視領域を撮影するように設置された撮像装置から画像を取得する画像取得部と、
   前記画像取得部により得られた前記監視領域の画像に基づいて、前記対象者の状態を定量化したスコアを出力する状態定量化部と、
   前記状態定量化部から出力されるスコアの時間的な変化を示すグラフを表示装置に表示する状態表示部と、
   前記監視領域の画像内のベッドの領域に基づき設定される複数の判定領域ごとに、危険な状態を判定するための判定基準があらかじめ設定されている判定基準記憶部と、を有し、
   前記状態定量化部は、前記監視領域の画像から前記対象者の頭部を検出する検出部を有しており、前記頭部が検出された位置に対応する判定領域の判定基準を用いて、前記対象者の状態の危険度合いを表すスコアを算出する
   ことを特徴とする見守り支援システム。
4. 前記状態定量化部は、頭部の向き、頭部の移動速度、頭部の移動方向、頭部の移動ベクトルのうち少なくとも１つ以上の項目に基づいて、前記対象者の状態の危険度合いを表すスコアを算出する
   ことを特徴とする請求項３に記載の見守り支援システム。
5. ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
   前記対象者のベッドを含む監視領域を撮影するように設置された撮像装置から画像を取得するステップと、
   前記監視領域の画像に基づいて、前記対象者の状態を定量化したスコアを出力するステップと、
   前記スコアの時間的な変化を示すグラフを表示装置に表示するステップと、
   を有し、
   前記スコアを出力するステップでは、前記監視領域の画像を入力として与えると前記監視領域内に存在する人の状態を示すスコアを出力するように機械学習されているニューラルネットワークで構成された回帰器を用い、前記監視領域の画像を前記回帰器に入力することにより、前記対象者の状態を定量化したスコアを取得し、
   前記人の状態があらかじめ複数の類型に分類され、かつ、前記複数の類型のそれぞれに異なるスコアが割り当てられており、
   前記回帰器は、前記人の状態を連続値のスコアで出力するものであって、前記人の状態が２つの類型のあいだの状態である場合に、前記２つの類型のスコアのあいだの値を出力するように構成されている
   ことを特徴とする見守り支援システムの制御方法。
6. ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
   前記対象者のベッドを含む監視領域を撮影するように設置された撮像装置から画像を取得するステップと、
   前記監視領域の画像に基づいて、前記対象者の状態を定量化したスコアを出力するステップと、
   前記スコアの時間的な変化を示すグラフを表示装置に表示するステップと、
   を有し、
   前記監視領域の画像内のベッドの領域に基づき設定される複数の判定領域ごとに、危険な状態を判定するための判定基準があらかじめ設定されており、
   前記スコアを出力するステップでは、前記監視領域の画像から前記対象者の頭部を検出し、前記頭部が検出された位置に対応する判定領域の判定基準を用いて、前記対象者の状態の危険度合いを表すスコアを算出する
   ことを特徴とする見守り支援システムの制御方法。
7. 請求項５又は６に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。

Images