JP4633865B2 - 動作判別装置、動作判別モデルの構築方法、動作判別方法、及び動作判別コンピュータ・プログラム - Google Patents

Description

本発明は、動作判別技術に関する。より詳細には、本発明は、検知領域における対象の動作に応じて異なる信号を出力する最適化された検知手段と予め学習により最適化された動作判別モデルとを用いて、対象の動作を精度よく判別するための動作判別装置、動作判別方法、動作判別コンピュータ・プログラムに関する。また、本発明は、動作判別装置に用いられる最適化された動作判別モデルを構築する方法に関する。

今日、高齢化社会の到来や治安の悪化等を背景として、人間を含む対象の動作のような時間的な幅を持つ事象の判別を可能にする様々な動作判別技術が開発され、研究されている。人間を含む対象の動作を解析するために、対象の動作を何らかの手段で捉え、その動作に基づいて生成された情報又は信号をニューラルネットワークに入力して動作を判定する、いわゆるパターン認識技術の研究開発が進んでいる（例えば、特許文献１〜特許文献３を参照されたい）。

ところで、近年、核家族化及び高齢化によって、様々な高齢者受入施設や介護施設が増加している。こういった施設においては、少数の職員で多数の入所者を担当せざるを得ないことから、職員が入所者の動作や行動を常時監視することは困難である。そのため、職員の目の届かない状況で入所者が単独で行動しようとしたり、夜間に行動を起こしたりしようとした場合に、ベッドからの転落又は転倒等の事故が発生する可能性があるともに、事故が発生したときに職員が気付かないケースもある。このような事故を回避する方法として、例えば係止具を用いて入所者の行動範囲を強制的に抑制する方法が行われる場合もあるが、このような方法は、入所者にとっては大きな苦痛を伴うものである。また、こういった施設への入所が困難な高齢者や患者は、在宅で介護せざるを得ないが、この場合にも同様の問題が存在する。したがって、施設又は在宅にかかわらず、被介護者、患者、又は高齢者等（以下、患者等という）の対象者の行動範囲をできるだけ制限することなく、職員又は家族に代わって対象者の動作を常時監視し、事故の発生を防止するか又は事故が発生した場合でも迅速に職員又は適切な施設に通報するための技術が必要とされている。

このような技術として、感圧センサ、荷重検知センサ、重量検出センサ、圧電センサ、加速度センサ等を用いた技術が、例えば特許文献４〜特許文献６に開示されている。特許文献４は、被介護者が寝るベッドの脚に重量検知素子を設け、ベッド上の被介護者の重心位置に関連するデータ、例えば運動量、運動回数、及び運動速度等の組み合わせによって被介護者の活動パターンを演算し、そのパターンが通常の活動パターンではない場合に、被介護者が介護されるべき状態であると判断する技術である。

特許文献５は、ベッドのマットレス上に複数の感圧センサを設け、被介護者のベッド上での動作に応じて複数の感圧センサから出力される検出信号を利用して、被介護者がベッドから離れたことを介護者に通知する技術である。

特許文献６は、患者に作用する加速度並びに患者の脈拍、心電、及び血圧等を検出する、加速度センサを含む携帯型発信機を患者に装着し、該発信機からの信号に基づいて、患者の転倒やベッドからの転落を検出して、看護師等に異常を通知する技術である。

また、別の技術として、患者等をカメラ等によって撮影し別室で画像を監視する方法や、患者等をカメラで撮影した画像を処理した上でニューラルネットワークに入力し、ニューラルネットワークからの出力を用いて患者等の動作を判別する方法も存在する。例えば、特許文献７は、被観察者のベッド上での動作を一定時間ごとに撮影した画像をシルエット画像等に変換処理し、その画像データを用いて被観察者が起床状態又は就寝状態であるかを識別し、被観察者が離床するか否かをニューラルネットワークを用いて判定し、被観察者の離床を感知した際に予め特定した看護師等に自動的に通報する技術を開示する。

特開平５−２８２２７３号明細書 特許第３２３７０４８号明細書 特許第３６２７３２１号明細書 特開２０００−３１６９１５号明細書 特開２０００−２７１０９８号明細書 特開２００８−４７０９７号明細書 特開２００７−７２９６４号明細書 特開２００７−２２００５５号明細書

上述の通り、患者等を始めとする対象の動作を判別するための種々の従来技術が存在するが、これらの技術においては、以下のような問題がある。
感圧センサ、荷重検知センサ、重量検出センサ、圧電センサ、加速度センサ等のセンサを単独で、又は他の生体信号検出装置と併せて利用した従来技術は、これらのセンサが対象の動作等を直接検知するものである。したがって、少数のセンサしか用いられない場合には、例えば患者等がベッドから離床したかしないかという、いわゆるオンオフ情報しか得られず、動作の種類並びにその方向及び速度等を判断することは困難である。対象の動作の種類並びにその方向及び速度等を精度よく検出できるようにするためには多数のセンサを用いる必要があるが、コストの上昇及びシステムの複雑性が問題になる。また、これらの技術は、センサが対象の動作や動きを直接検知するものであるため、仮に対象が検知範囲を避けて動作した場合には検知できないおそれがある。赤外線アクティブセンサを用いた従来技術も存在するが、この技術においても同様に、一定の範囲における患者等の動作の種類並びにその方向及び速度等を精度よく検出するためには、赤外線ビームの発光部及び受光部を多数設ける必要があるため、コストがかかるとともにシステムが複雑になる。少数のセンサしか用いないシステムの場合には、患者等が検知範囲を避けて行動した場合には対応できない。

患者等を撮影した画像又は映像を利用する従来技術は、複雑で高価なシステムとなると同時に、画像又は映像を扱うため個人のプライバシーの問題がある。カメラによる撮影画像又は映像を遠隔監視するシステムは、監視者が画像又は映像を眼で見て判断することが必要であり、画像又は映像を監視する監視者の適切な判断があってはじめてシステムが有効となる。患者等の特異な動作が長時間に渡って生じる場合には画像又は映像を監視することによって問題となる動作を判別できることもあるが、短時間にしか生じない動作も見逃さないようにするためには、監視時間と同程度の時間が判断する側にも必要とされる。たった一度の異常動作といった、監視時間全体からみればわずかな時間における動作を確実に捉えるためには、監視者の精神的及び肉体的な負担が大きい。

カメラによる撮影画像とニューラルネットワークとを組み合わせて用いることによって患者等の離床を予測する従来技術は、患者等をカメラによって撮影し、撮影された画像データに基づいて患者等の動作を判別するものである。したがって、判別対象の患者等と背景との色彩やコントラストの差が小さい状況、例えば夜間や、患者等の服装の色と部屋の壁等の背景の色との差がないような場合には、その動作判別精度は低下すると考えられる。また、こうした技術は、対象の種類並びにその方向及び速度等の検出精度はセンサを単独で用いる他の技術と比べれば高まる可能性があるものの、コスト及びプライバシー侵害が問題になるおそれがある。

上述の従来技術についての課題を考慮すると、本出願の発明者らは、一定の範囲における患者等の対象の動作及びその方向等を、高精度で、安価に、プライバシーに配慮して検出するためには、受動センサ（パッシブセンサ）を用いた動作判別システムを構築することが好ましいと考えている。受動センサは、対象が発する熱量と背景の熱量との差分量によって、対象の動作に応じた特徴量が重畳されている電圧波形を出力することができるため、上述の従来技術が有する種々の課題を解決するものである。しかしながら、受動センサによって生成される電圧波形の変化は、複雑かつ微小である。そのため、受動センサから出力される電圧波形の変化から直接的に動作の種類を明確に判別することは極めて困難であり、受動センサによって取得される情報のみを用いて、個人差を超えた汎用性のある動作判別システムを構築することは難しい。そこで、本出願の発明者らは、受動センサによって取得された情報をニューラルネットワークに入力することによって、対象の動作の特徴を抽出し、パターン認識を行う方法を既に提案している（特許文献８）。

しかしながら、特許文献８に記載の技術は、受動センサとニューラルネットワークとを用いて対象の動作を識別することに関する基本的な原理ではあるものの、実際に動作判別システムを構築する際に用いるための技術としては、高い判別精度を得ることが実質的に不可能であるという課題があった。すなわち、特許文献８に記載の技術は、単にセンサから得られた対象の動作に関するデータをニューラルネットワークに入力し、ニューラルネットワークから判別結果を出力させることができるようにするための基本的な技術についての発明を開示したものであり、医療現場等を始めとする実際の現場で利用可能な実用的なシステムを構築するのに必要な判別精度を得るための技術は開示されていない。実用的なシステムを構築できるようにするためには、対象の動作を捉える受動センサと、その出力データを入力して判別結果を出力するニューラルネットワークとをいずれも最適化させなければならない。受動センサが、対象の動作に対応して得られる受動センサからの出力データに動作の特徴が現れるように最適な条件で設定されていない場合には、その出力をニューラルネットワークに入力したとしても、最適な判別結果を得ることはできない場合がある。同様に、ニューラルネットワークが対象の動作に最適な条件で設定されていない場合にも、最適な判別結果を得ることはできない場合がある。

したがって、本発明は、ニューラルネットワークを用いて条件が最適化された受動センサと、ニューラルネットワークを用いて最適化された動作判別モデルとを用いて、一定の範囲における対象の動作をリアルタイムかつ高精度に検出することができるとともに、安価に構成することができる、動作判別装置及び動作判別方法を提供することを目的とする。

本発明の１つの態様によれば、本発明は、対象の動作をリアルタイムで判別するための最適化された動作判別装置を提供する。本発明に係る動作判別装置は、複数の検知領域の各々における対象の動作に対応して異なるアナログ値を出力する検知手段と、複数の検知領域の各々における動作に対応して出力されたアナログ値を、量子化された時系列データに加工するデータ加工手段と、時系列データを入力ノードへの入力とし動作の種類を出力ノードからの出力とする予め最適化されたニューラルネットワークを用いた動作判別モデルによって、動作を判別した判別結果を出力する動作判別手段と、を含むことを特徴とする。検知手段は、検知手段から出力されるアナログ値の変化に対象の動作に対応した固有の特徴が現れるようにニューラルネットワークを用いて予め最適化されている。

本発明の別の態様によれば、本発明は、対象の動作をリアルタイムで判別する動作判別方法を提供する。本発明に係る動作判別方法は、複数の検知領域の各々における対象の動作に対応して異なるアナログ値を出力する検知手段を用いて、対象の動作に対応するアナログ値を取得する検知ステップと、複数の検知領域の各々における動作に対応して出力されたアナログ値を、量子化された時系列データに加工するデータ加工ステップと、時系列データを入力ノードへの入力とし動作の種類を出力ノードからの出力とする予め最適化されたニューラルネットワークを用いた動作判別モデルによって、動作を判別した判別結果を出力する動作判別ステップと、含むことを特徴とする。検知手段は、検知手段から出力されるアナログ値の変化に対象の動作に対応した固有の特徴が現れるようにニューラルネットワークを用いて予め最適化されている。

動作判別モデルは、検知手段を用いて対象の既知の動作に対応するアナログ値を取得する工程と、複数の検知領域の各々における既知の動作に対応して出力されたアナログ値を量子化された時系列データに加工する工程と、時系列データをニューラルネットワークの入力ノードに入力して動作の種類を出力ノードから出力することによって既知の動作に対応する判別結果を出力する工程と、判別結果と既知の動作との比較に基づいてニューラルネットワークのパラメータを調整する工程とを行うことによって最適化されることが好ましい。

検知手段としては、複数の検知素子と複数のレンズとを有する受動センサを含むものを用いることが好ましく、複数の検知素子は、デュアル素子、クワッド素子、又はそれらの組み合わせであることが好ましい。

検知手段は、最適化前の検知手段を用いて対象の既知の動作に対応するアナログ値を取得する工程と、複数の検知領域の各々における既知の動作に対応して出力されたアナログ値を量子化された時系列データに加工する工程と、時系列データを入力ノードへの入力とし既知の動作の種類を出力ノードからの出力とするニューラルネットワークを用いて既知の動作に対応する判別結果を出力する工程と、判別結果に基づいて最適化前の検知手段の条件を変更する工程とを繰り返すことによって予め最適化される。

検知手段の条件は、複数の検知素子の種類、個数、位置、感度、及び回転角度、複数の検知素子の各々に取り付けられる複数のレンズの種類及び回転角度、並びに、検知手段の設置角度のうちの１つ又は複数の組み合わせとすることができる。

好ましくは、動作判別手段が時系列分析モデルをさらに含み、時系列分析モデルは、動作判別モデルによって判別された複数の判別結果の時系列的な関係に基づいて動作を判別し、判別結果を出力する。この時系列的な関係は、順次出力される複数の判別結果のうちの所定の数について計算される、特定の動作として判別された判別結果の数とそれ以外の判別結果の数との割合、及び、特定の動作として判別された判別結果の連続個数とすることができる。

検知手段から出力されるアナログ値と所定の閾値とを比較する判定手段をさらに含み、アナログ値が所定の閾値より小さい場合には動作判別を行わないようにすることが好ましい。

本発明のさらに別の態様によれば、本発明は、対象の動作をリアルタイムで判別する動作判別装置において動作を判別するための最適化された動作判別モデルの構築方法を提供する。本方法は、複数の検知領域の各々における対象の動作に対応して異なるアナログ値を出力する検知手段を用いて、対象の既知の動作に対応するアナログ値を取得する検知ステップと、複数の検知領域の各々における既知の動作に対応して出力されたアナログ値を、量子化された時系列データに加工するデータ加工ステップと、時系列データを入力ノードへの入力とし、既知の動作の種類を出力ノードからの出力とするニューラルネットワークを用いて、既知の動作に対応する判別結果を出力する動作判別ステップと、判別結果と既知の動作との比較に基づいてニューラルネットワークのパラメータを調整する最適化ステップと、を含むことを特徴とする。検知手段は、検知手段から出力されるアナログ値の変化に対象の動作に対応した固有の特徴が現れるようにニューラルネットワークを用いて予め最適化されたものである。

本発明のさらに別の態様によれば、本発明は、本発明に係る動作判別方法及び動作判別モデル構築方法のステップをコンピュータに実行させるためのプログラム・コード命令を含むコンピュータ・プログラムを提供する。

本発明によれば、センサを用いて対象の動作を捉え、センサから出力される動作の種類に応じて異なる電圧波形データと、動作に応じた電圧波形データの特徴からその波形に現れている動作の種類を判別できるように最適化された動作判別モデルとを利用することによって、特定の動作を行う対象の動作の種類をリアルタイムで判別することができる。本発明においては、対象の動作を捉える手段としてカメラ等の撮影装置を用いることはないため、対象のプライバシーが侵害されるおそれはない。

本発明においては、既知の動作を利用したパラメータ調整工程を経て予め最適化されたニューラルネットワークを動作判別モデルとして用いるため、センサから出力されるデータに現れている、動作の種類によって異なるわずかな特徴から、対象の動作の種類を精度よく判別することができる。

本発明においては、対象と周囲（背景）との温度差（赤外線量の変化）を電圧波形に変換して出力する受動センサを対象の動作を捉えるセンサとして用いることによって、少数のセンサでも対象の動作の方向や速度等を適切に捉えることができるため、動作判別精度を高めることができるともに、少数のセンサしか用いないため装置コストを低減させることができる。また、受動センサを用いることによって、対象とその周囲との間の赤外線量の差から対象の動作を捉えるため、例えば対象と周囲とのコントラスト差が少ない場合や夜間等でも、動作判別精度が低下しない。

本発明において用いられる検知手段は、例えば素子の種類やレンズの種類等といったセンサ条件が既知の動作の測定を通じた最適化処理によって最適な状態に調整されているため、検知手段から出力される電圧波形には、動作の種類によって異なる特徴が適切に現れている。こうした最適化された検知手段を用いることによって、ニューラルネットワークにおいて動作の特徴を判別する精度を高めることができる。

本発明においては、最適化されたセンサ及び最適化された動作判別モデルを用いることによって、動作判別モデルから出力される判別結果は、精度の高いものとなっている。しかしながら、本発明においては、動作判別モデルから出力される複数の判別結果の時系列的な関係を分析する時系列分析モデルをさらに用いることによって、動作判別モデルから出力される結果を単独で用いる場合より、さらに精度の高い判別結果を得ることができる。

本発明の一実施形態に係る動作判別システムの基本的な構成を示すブロック図である。 本発明の一実施形態に係る最適化された動作判別装置による、未知の動作をリアルタイムで判別するための処理の概略的なフロー図である。 最適化された動作判別装置が、患者等が寝ているベッドの頭上に設置された状態を示す図である。 本発明の一実施形態に係る最適化された動作判別装置の外観（ａ）及び構成（ｂ）を示す概略図である。 本発明の一実施形態に係る最適化された動作判別装置の検知領域を示す概略的な斜視図である。 本発明の一実施形態に係る最適化された動作判別装置の検知領域を示す概略的な斜視図である。 本発明の一実施形態に係る最適化された動作判別装置の検知領域を示す概略的な斜視図である。 本発明の一実施形態に係る最適化された動作判別装置の検知領域を示す側面図である。 本発明の一実施形態に係る最適化された動作判別装置のセンサモジュール部によって出力された電圧波形の例を示す。 本発明の一実施形態に係る、電圧波形を加工するための概略的な処理フロー図（ａ）と、加工後のデータの概念図（ｂ）とを示す。 本発明の一実施形態に係る、最適化された動作判別モデル及び時系列分析モデルによって行われる動作判別処理の概略的なフロー図である。 本発明の一実施形態において最適化された動作判別モデルとして用いられる多層ニューラルネットワークの概念図である。 本発明の一実施形態に係る最適化された動作判別装置による、図１１の処理をより詳細に説明するフロー図である。 本発明の一実施形態に係る、センサ条件を最適化するための手順を示す概略的なフロー図である。 本発明の一実施形態係る、動作判別モデルを最適化するための手順を示す概略的なフロー図である。 本発明の一実施形態係る、閾値条件を決定するための処理を示す概略的なフロー図である。

以下、被介護者、患者、又は高齢者等（患者等）といった対象の動作を判別する装置及び方法を例として、図面を参照しながら、本発明の実施形態を詳細に説明する。

１．動作判別装置のブロック図と各ブロックの概要
図１は、本発明の一実施形態に係る動作判別装置１９０を含む動作判別システム１００の基本的な構成を示すブロック図である。動作判別システム１００は、焦電素子（検知素子）と焦電素子に取り付けられる又は被せられるレンズとを含むセンサモジュール部（検知手段）１１０と、センサモジュール部１１０から出力された連続的な電圧値すなわち電圧波形を受信し、受信した電圧波形を所定のレートでサンプリングするとともに、所定の時間幅で切り出したデータ（量子化された時系列データ）に加工するアナログ／デジタル変換部（データ加工手段）１２０と、加工されたデータを用いて動作判別を行う動作判別部（動作判別手段）１３１及び装置全体を制御する制御部１３２を含む解析・制御部１３０と、動作判別結果をデータサーバ１５０に送信する通信部１４０と、データサーバ１５０及びデータベース１５１と、データサーバ１５０から判別結果を受信する携帯端末等１６０とを含む。

本発明の一実施形態においては、センサモジュール部１１０は、３つの焦電素子１１５〜１１７と、３つの焦電素子の各々に取り付けられるレンズ１１１〜１１３と、増幅器等の回路を有する基板（図４参照）とを含む。本発明の一実施形態において用いられるセンサモジュール部１１０は、焦電素子の各々によって検知された複数の検知領域内における対象からの赤外線量の変化（対象と背景との間の赤外線エネルギーの差（すなわち、温度差））を電圧波形に変換して出力する機能を有する。一般に、１つの焦電素子と１つのレンズとの組み合わせによって、例えば４×４＝１６個のゾーンからなる検知領域が形成され、この１６個のゾーンからなる検知領域において検知された赤外線量の変化の平均値が１つの電圧波形として１つの焦電素子から出力される。したがって、例えばセンサモジュール部１１０が３つの焦電素子＋レンズの組み合わせを含む場合は、１６×３＝４８個のゾーンからなる検知領域（この全体を検知範囲という）における赤外線量の変化として３つの電圧波形がセンサモジュール部１１０から出力されることになる。検知領域の数、各々の検知領域の範囲は、検知素子とレンズの組み合わせによって異なる。焦電素子１１５〜１１７、レンズ１１１〜１１３、及び増幅器等の回路を有する基板は、周知の焦電型赤外線センサ（いわゆる受動センサ）に用いられるものと同等であり、これらの詳細な構造、製造方法等についてはここでは特に説明しない。

焦電素子１１５〜１１７の各々には、レンズ１１１〜１１３が取り付けられる。３つの焦電素子１１５〜１１７の配置、及びレンズ１１１〜１１３の各々の種類は、焦電素子１１５〜１１７によって形成される複数の検知領域によって必要な検知範囲全体が効率よくカバーできるように決定される。例えば、本発明の一実施形態においては、３つの焦電素子１１５〜１１７は、縦に一列に並べて配置される。それぞれの焦電素子１１５〜１１７に取り付けられるレンズ１１１〜１１３は、例えば、上部の焦電素子に取り付けられるレンズとして縦の領域を狭く横の領域を広く検知できるレンズを使用し、中央部の焦電素子に取り付けられるレンズとして横の領域がベッドサイドを検知できるレンズを使用し、下部の焦電素子に取り付けられるレンズとして縦横の領域を広く検知できるレンズを使用するというように、動作判別の対象や種類に応じて適切な領域を検知することができるように選択される。

本発明においては、各種のセンサ条件、例えば、焦電素子１１５〜１１７の種類、個数、回転角度、感度、位置、レンズ１１１〜１１３の種類、回転角度、センサモジュール部１１０の設置角度等は、患者等の動作に応じて電圧波形に特徴が現れるように、ニューラルネットワークを用いて予め最適化が行われる。センサモジュール部１１０の設置角度は、センサモジュール部１１０の複数のレンズ１１１〜１１３によって形成される平面の鉛直方向からの傾き角度であり、センサモジュール部１１０、アナログ／デジタル変換部１２０、解析・制御部１３０、及び通信部１４０を１つのケースに収めた動作判別装置１９０とする本発明の一実施形態においては、動作判別装置１９０自体の鉛直方向からの角度である。センサ条件の最適化については後述する。なお、センサモジュール部１１０の焦電素子及びレンズの数は３つに限定されるものではなく、１つ、２つ、又は４つ以上の焦電素子及びレンズを用いてもよい。

焦電素子１１５〜１１７によって検知された赤外線量の変化は、焦電素子１１５〜１１７の各々について１つの連続的な電圧値、すなわち電圧波形に変換され、センサモジュール部１１０から出力される。本発明の一実施形態においては３つの焦電素子１１５〜１１７が用いられているため、３つの連続的な電圧値（すなわち、３チャネルの電圧波形）がセンサモジュール部１１０から出力される。

アナログ／デジタル変換部１２０は、センサモジュール部１１０から出力された電圧波形を受信し、受信した電圧波形を所定のレートでサンプリングし、一定の時間幅のデータ（量子化された時系列データ）に加工する機能を有する。センサモジュール部１１０から出力される電圧値は、例えば０〜５Ｖの範囲で変化する連続的なアナログデータである。一方、解析・制御部１３０に含まれる動作判別部１３１の動作判別モデル１３５への入力は、デジタルデータとする必要がある。このため、アナログ／デジタル変換部１２０は、センサモジュール部１１０から出力されたアナログデータを、動作判別モデル１３５に入力するのに適したデジタルデータ（量子化されたデータ）に変換するように構成される。

アナログ／デジタル変換部１２０は、受信した３チャネルの電圧波形の各々を、例えば０．１秒のサンプリングレートで変換することにより、例えば４秒間に取得した電圧波形をチャネルごとに４０個のデジタルデータ（電圧値）に変換することができる。サンプリングレートは、本発明の実施形態においては、人の動作の特徴を十分に捕捉するのに必要な時間間隔として０．１秒としているが、これに限られるものではなく、０．１秒より細かくしても粗くしてもよい。しかしながら、サンプリングレートが細かすぎると計算負荷が大きくなってリアルタイムでの動作判別が困難になり、サンプリングレートが粗すぎると動作の特徴を十分に捕捉できないため、これらの要因を考慮してサンプリングレートを決める必要がある。

解析・制御部１３０は、量子化された時系列データを用いて動作判別を行う動作判別部１３１を含む。動作判別部１３１は、最適化された動作判別モデル１３５と時系列分析モデル１３６とを含み、アナログ／デジタル変換部１２０からのデータを受信して、最適化された動作判別モデル１３５にそのデータを入力し、動作判別モデル１３５による判別結果又は動作判別モデル１３５及び時系列分析モデル１３６による判別結果を、通信部１４０に出力する。本発明の一実施形態においては、動作判別モデル１３５はニューラルネットワークである。解析・制御部１３０は、動作判別モデル１３５、時系列分析モデル１３６、及び閾値判定手段１３７を記述したコンピュータ・プログラム、並びに、本発明に係る動作判別装置１９０の動作に必要な種々のコンピュータ・プログラム及びデータを格納する、記憶手段１３３と、本発明に係る動作判別装置の全体の動作を制御し種々の演算処理を行うＣＰＵ（中央処理装置）１３４を有する制御部１３２と、をさらに含む。解析・制御部１３０は、例えば、組み込み機器等に用いられるＡＲＭアーキテクチャを利用したコンピュータ・システムを用いて実現することが好ましいが、汎用のパーソナルコンピュータ・システムを用いて実現することもできる。

通信部１４０は、解析・制御部１３０から出力された動作判別結果をデータサーバ１５０に送信する。通信部１４０とデータサーバ１５０との間の通信は、無線通信とすることも有線通信とすることもできる。データサーバ１５０は、少なくとも受信した判別結果と、その受信時間と、複数の動作判別装置のいずれから判別結果を受信したかを判断するために用いられる動作判別装置ＩＤとをデータベース１５１に記録するとともに、受信した判別結果を、必要に応じて、例えばナースステーションなどの遠隔地にある携帯端末等１６０に送信する。データサーバ１５０は、メインフレーム又はサーバ等のコンピュータ・システムによって実現することができる。携帯端末等１６０によって判別結果が受信されることによって、例えば動作判別の対象がベッド上の患者の場合に、携帯端末等１６０を携帯した看護師等が、ベッドからの患者の離床、転落、又は離脱等をリアルタイムで把握することができる。本発明の別の実施形態においては、解析・制御部１３０から出力された動作判別結果を、通信部１４０を介して携帯端末等１６０に直接送信するようにしてもよい。

本明細書においては、上述のセンサモジュール部１１０、アナログ／デジタル変換部１２０、解析・制御部１３０、及び通信部１４０を１つのケースに収めて１つの動作判別装置１９０として構成した実施形態について説明する。しかしながら、本発明における装置及びシステムは、このような構成に限定されるものではなく、センサモジュール部１１０、アナログ／デジタル変換部１２０、解析・制御部１３０、及び通信部１４０をそれぞれ別個の装置として、又はこれらのいくつかを一体的な装置として、構成し、これらの装置の各々及びデータサーバ１５０を有線通信又は無線通信によって相互接続することもできる。この実施形態の場合には、センサモジュール部１１０が単独で、又はセンサモジュール部１１０と他のいくつかの部分とを１つのケースに収めた装置が、後述するように患者等が寝ているベッドの頭上に設置されるセンサ装置となり、残りの構成要素は、すべて一体として又はそれぞれ別個の要素として、例えばベッドの近くに設置される装置として構成されても、ベッドから離れた遠隔地に設置される装置として構成されてもよい。

２．最適化された動作判別装置における処理
（処理の概要）
図２は、本発明の一実施形態に係る最適化された動作判別装置１９０を含む動作判別システム１１０による、患者等によって行われた未知の動作をリアルタイムで判別するための処理の概略的なフロー図２００である。焦電素子の種類、個数、位置、回転角度、感度、レンズの回転角度、種類、センサモジュール部の設置角度等といった各種のセンサ条件がニューラルネットワークを用いて予め最適化された動作判別装置１９０が、患者等が寝ているベッドの頭上に設置される。図３は、患者等が寝ているベッド３０１の頭上に最適化された動作判別装置１９０が設置された状態を示す。このように設置された動作判別装置１９０のセンサモジュール部１１０によって、ベッド３０１上の患者等の動作が検知され、動作の種類に対応する特徴が現れた電圧波形データが出力される（ｓ２０１）。

センサモジュール部１１０から出力された電圧波形データは、アナログ／デジタル変換部１２０に入力され、そこで量子化された時系列データに加工される（ｓ２０２）。量子化された時系列データは、動作判別部１３１の最適化された動作判別モデル１３５に入力され、動作判別のための処理が行われる（ｓ２０３）。さらに高精度な判別結果を得るために、動作判別は、動作判別モデル１３５のみではなく、動作判別モデル１３５から出力された結果をさらに分析して判別結果を出力する時系列分析モデル１３６も用いて行うことができる。最適化された動作判別モデル１３５、又は、最適化された動作判別モデル１３５及び時系列分析モデル１３６による処理が終了すると、動作判別部１３１から患者等の動作の判別結果が出力される（ｓ２０４）。判別結果は、通信部１４０に送られ、通信部１４０は、有線又は無線通信によって判別結果をデータサーバ１５０に送信する（ｓ２０５）。データサーバ１５０は、判別結果を受信日時及び動作判別装置ＩＤと共にデータベース１５１に格納し（ｓ２０６）、判別結果を必要に応じて、例えば音声又はテキストで携帯端末等１６０に通知する（ｓ２０７）。

（最適化された動作判別装置）
図４は、本発明の一実施形態に係る最適化された動作判別装置１９０の外観（ａ）及び内部構成（ｂ）を示す概略図である。本発明の一実施形態においては、動作判別装置１９０は、３つの受動センサ４１０、４２０、及び４３０を有する。受動センサ４１０〜４３０の各々は、それぞれ、レンズ１１１、１１２、１１３と、焦電素子１１５、１１６、１１７と、基板４１１、４２１、４３１とを含む。受動センサ４１０〜４３０の各々の検知領域は、それぞれのレンズ１１１〜１１３を適切に選択することにより、例えば以下のように設定することができる。
・受動センサ４１０；縦の検知領域が狭く、横の検知領域が広くなるレンズを用いて、離床時に患者等の上半身が横切るような検知領域を設定する（図５及び図８）
・受動センサ４２０；横の検知領域がベッドサイドをカバーするレンズを用いて、患者等のベッドからの転落を検知する領域を設定する（図６及び図８）
・受動センサ４３０；縦横の領域を広く検知するレンズを用いて、患者等のベッドからの離脱を検知する領域を設定する（図７及び図８）
なお、本明細書においては、受動センサ４１０、４２０、４３０によって出力されるデータは、それぞれチャネル１（ｃｈ１）のデータ、チャネル２（ｃｈ２）のデータ、チャネル３（ｃｈ３）のデータということもある。

受動センサ４１０〜４３０は、受動センサ４１０〜４３０の各々の検知領域内における患者等からの赤外線量の変化を電圧値に変換して出力する。受動センサ４１０〜４３０の各々の検知領域は、当該技術分野において周知のように、複数の検知ゾーンで構成されており、受動センサ４１０〜４３０は、患者等又はその一部が複数の検知ゾーンの幾つかを横切ったときに、その横切った方向及び速度に応じて異なる電圧波形を生成することができる。

本発明の一実施形態において、最適化された動作判別装置１９０のセンサモジュール部１１０によって出力された電圧波形の例を図９に示す。図９（ａ）は、患者等がベッドから離床した瞬間を含む前後の数秒間に生成された電圧波形の例であり、図９（ｂ）は、患者等がベッドから転落した瞬間を含む前後の数秒間に生成された電圧波形の例であり、図９（ｃ）は、患者等がベッドから離脱して歩き出した瞬間を含む前後の数秒間に生成された電圧波形の例である。図９から、患者等の異なる動作に応じて、ｃｈ１〜ｃｈ３の各々から異なる電圧波形が出力されていることが分かる。センサから出力される電圧波形は、センサ条件によっては、動作の種類が異なった場合でもそれぞれの動作の固有の特徴が（図９の電圧波形のようには）良好に現れないこともあり、そのような電圧波形を動作判別モデルに入力しても正確な判別結果が得られないことになる。したがって、本発明は、既知の動作の種類に応じて生成される電圧波形にその動作の固有の特徴が良好に現れるようにニューラルネットワークを用いて予めセンサ条件を最適化し、そのように条件が最適化されたセンサモジュール部によって未知の動作に応じて異なる電圧波形が生成され、生成された電圧波形から、最適化された動作判別モデルを用いて当該未知の動作の特徴を抽出して動作の種類を判別できるようにしたことを特徴とする。

（データ加工処理）
受動センサ４１０〜４３０から出力された、動作の特徴が現れた３チャネルの電圧波形は、アナログ／デジタル変換部１２０に入力され、動作判別モデル１３５に入力するのに適した形態のデータに加工される（図２のｓ２０２）。図１０は、センサモジュール部１１０の受動センサ４１０〜４３０の各々から出力された電圧波形を加工するための概略的な処理フロー図（ａ）と、加工後のデータの概念図（ｂ）とを示す。図１０（ａ）を参照すると、まず、連続的な電圧値（すなわち、電圧波形）が、受動センサ４１０〜４３０の各々から出力され（ｓ１００１）、アナログ／デジタル変換部１２０に入力される（ｓ１００２）。

アナログ／デジタル変換部１２０に入力された電圧波形は、最終的な行動判別結果を精度よく得るのに必要な所定の時間幅、例えば４秒間ごとの時間幅で分割される（ｓ１００３）。なお、所定の時間幅は、４秒間に限られるものではないが、患者等の動作によって生じるセンサモジュール部１１０からの電圧波形変化の開始から終了までの時間幅として適切な幅が選択されることが好ましい。所定の時間幅が４秒間の場合、アナログ／デジタル変換部１２０では、入力された電圧波形が例えば０．１秒のレートでサンプリングされ、この場合には、４秒間で１ｃｈあたり４０個、すなわち３ｃｈで１２０個のデータを一単位とするデータ群が得られることになる（これ以降、連続的な電圧波形が所定のレートでサンプリングされ、所定の時間幅に含まれる複数のサンプリングデータが一単位としてまとめられたデータ群を「ケース」と呼ぶこともある）。動作判別モデル１３５による動作判別は、この０．１秒ごとに行われることになる。

すなわち、まず４０個／ｃｈのデータ（１２０個／３ｃｈのデータ＝１ケース）を用いて最初の動作判別が行われる。次いで、最初の４０個／ｃｈのデータのうち、チャネルの各々について最も古い０．１秒のデータを廃棄して３９個／ｃｈのデータとし、この３９個／ｃｈのデータに、チャネルの各々について最初の４秒間の次の０．１秒のデータを新たに付加して再び４０個／ｃｈのデータとする。この新たな４０個／ｃｈ（１２０個／３ｃｈ＝１ケース）のデータを用いて次の動作判別が行われる。このような処理が０．１秒ごとに繰り返されることによって、０．１秒ごとに動作判別が行われることになる（言い換えると、４秒間の波形データを保持しながら０．１秒ごとにデータを更新することによって、４秒間のデータを用いて０．１秒ごとに１つの動作判別が行われる。更新前の４秒間１２０個のデータと更新後の４秒間１２０個のデータとは、１１７個が共通している）。所定の時間幅で分割されて得られた３つのチャネルのデータは、ｃｈ１、ｃｈ２、ｃｈ３の順番で一列に結合され、図１０（ｂ）に示されるような量子化された時系列データとして再構成される（ｓ１００４）。再構成されたデータは、解析・制御部１３０に出力され（ｓ１００５）、データ加工処理は終了する。

（動作判別処理）
図１０（ａ）の処理によって得られた量子化された時系列データは、次いで、解析・制御部１３０の動作判別部１３１に入力される。図１１は、動作判別部１３１に含まれる最適化された動作判別モデル１３５及び時系列分析モデル１３６によって動作判別が行われる処理の概略的なフロー図である。処理が開始すると、まず、量子化された時系列データが、動作判別部１３１の最適化された動作判別モデル１３５に入力され（ｓ１１０１）、最適化された動作判別モデル１３５による動作判別処理が行われた後（ｓ１１０２）、判別結果が出力される（ｓ１１０３）。

（最適化された動作判別モデル）
本発明の一実施形態においては、好ましくは、動作判別モデル１３５としてニューラルネットワークが用いられる。図１２は、本発明の一実施形態において最適化された動作判別モデル１３５として用いられる多層ニューラルネットワークを概念的に示す。多層ニューラルネットワークは、２つ以上の層に配置されるニューロン又はノードと呼ばれる処理エレメント（図１２において「Ｎ」と表記されている要素）の組からなる。多層ニューラルネットワークは、通常、入力層と出力層に挟まれた少なくとも１つの隠れた中間層が存在する。入力層は、提示された入力パターンによって中間層への出力の値が決定されるニューロンを有し、中間層は、入力層から出力された値によって出力層への値が決定されるニューロンを有し、出力層は、中間層からの出力によって最終的に出力される値すなわち判別結果が決定されるニューロンを有する。各々の層におけるニューロンへの入力は、前の層のニューロンの出力に依存する。したがって、多層ニューラルネットワークにおける所定のニューロンの出力は、そのニューロンへの入力の関数となる。

一般に、ニューロンへの入力ベクトルをｘ＝（ｘ_１，・・・，ｘ_ｉ，・・・，ｘ_Ｍ）、出力をｙとすると、１つのニューロンの動作は以下の式で表される。
ここで、ｗ_ｉは入力要素ｘ_ｉに係る結合の重み、θはニューロンの閾値と呼ばれる。Ｈ［ ］は、閾関数、ステップ関数、ヘビサイド関数などと呼ばれる関数であり、［ ］内の値が正のときに１、負のときに０の値をとる。閾関数としてはシグモイド（Ｓｉｇｍｏｉｄ）関数が用いられることが多い。したがって、このニューロンは、入力を重み付けして足し合わせた和が、閾値より小さい場合には０を出力し、閾値を越える場合には１を出力する。精度の良い動作判別を行うためには、重みベクトルｗ＝（ｗ_１，・・・，ｗ_ｉ）及び／又は閾値θを適切に決める必要がある。ｗ及び／又はθを修正する手続きをニューラルネットワークの学習アルゴリズムといい、このときの修正の大きさを学習率という。代表的な学習アルゴリズムは、以下のようなものであり、誤り訂正学習法と呼ばれる。
（１）ｗの初期値を０でないランダムな値に定める。
（２）学習データから１つのデータｘをランダムに選んで入力し、現在のｗの値を用いてニューラルネットワークの出力を計算し、判別結果を示す。
（３）判別結果が誤りの場合のみ、結果が正しくなる方向にｗ及び／又はθの値を修正する。

本発明の一実施形態においては、入力層のニューロン数、中間層数、及び／又は学習率といった各種のパラメータを、判別しようとする動作を模擬した既知の動作に基づいて正しい判別結果が出力されるように調整することによって、最適化された動作判別モデル１３５が得られる。動作判別モデルの最適化については後述する。

本発明の一実施形態に係る動作判別モデル１３５は、好ましくは、判別しようとする複数の動作の各々について最適化された複数の動作判別モデルの集合体であることが好ましい。例えば、判別させたい動作が、患者等のベッドからの離床（ベッドから上半身を起こす動作）、転落（ベッドから落下する動作）、又は離脱（ベッドから離れる動作）の３種類の場合には、本実施形態の動作判別装置１９０は、離床動作と離床ではない動作（例えば、寝返り、手を挙げる、脚を上げる等）を判別するように最適化された離床判別モデルと、転落動作と転落ではない動作（例えば、ベッドから出て歩き去る等）を判別するように最適化された転落判別モデルと、離脱動作と離脱ではない動作（例えば、ベッドから出ることなくベッド上で体を動かす等）を判別するように最適化された離床判別モデルとの３つのモデルを組み合わせた動作判別モデル１３５を用いて、最終的な動作判別を行うことが好ましい。当然のことながら、本発明の別の実施形態において、３種類以上の動作を判別できる１つの動作判別モデル１３５のみを動作判別装置１９０に組み込み、この動作判別モデル１３５によって離床、転落、及び離脱の３種類の動作判別を行うようにすることもできる。しかしながら、このような実施形態は、動作の種類に応じた複数の判別モデルの集合体を動作判別モデル１３５として用いる実施形態と比較して、動作判別の精度が低下する可能性がある。

なお、複数の最適化された動作判別モデル１３５を用いる実施形態においては、それらの動作判別モデル１３５を直列的に連結させて用いても並列的に連結させて用いてもよい。例えば、ベッドからの離床、転落、離脱の３つの動作判別モデル１３５を直列的に連結させて用いる場合は、まず取得されたデータを離床判別モデルに入力し、その結果が離床と判断されたときには、同じデータを転落判別モデルに入力し、その結果が転落と判断されたときには、同じデータをさらに離脱判別モデルに入力することができる。３つのモデルを並列的に連結させて用いる場合は、取得されたデータを離床判別モデル、転落判別モデル、及び離脱判別モデルの各々に同時に入力し、その結果に基づいて離床、転落、又は離脱のいずれか又はそれらの組み合わせとしての最終的な判別結果を得るようにすることができる。いずれにしても、これらの複数の動作判別モデル１３５の各々における動作判別処理及びそれらの最適化方法は同じであるため、以下においては、離床と離床以外とを判別する１つの動作判別モデル１３５を用いて本発明の実施形態を説明する。

図１１に戻ると、このようにして、最適化された１つ又は複数の動作判別モデル１３５から判別結果が出力される(ｓ１１０３)。このようにして出力された判別結果は、最適化されたセンサモジュール部を用いて取得されたデータを、最適化された動作判別モデル１３５に入力することによって得られたものであり、患者等の動作を精度よく判別した結果を示すものである。しかしながら、本発明においては、このようにして得られた複数の判別結果の時系列関係を利用する時系列分析モデル１３６をさらに用いる（図１１のｓ１１０４〜ｓ１１０７）ことによって、さらに高精度な判別結果を得ることができる。

（最適化された時系列分析モデル）
本発明の一実施形態においては、時系列分析モデル１３６は、動作判別モデル１３５から出力された複数の判別結果、例えばＮ個の判別結果のうち、例えば離床と判別された回数がＭ回で、かつ、離床と連続的に判別された回数がＬ回のときに、離床と判断するように構成することができる。このＮ、Ｍ、及びＬの数値は、判別しようとする動作を模擬した既知の動作に基づいて正しい判別結果が出力されるように予め調整される。すなわち、動作判別装置１９０に用いられる時系列分析モデルは最適化された時系列分析モデル１３６である。本発明の一実施形態においては、最適化された時系列分析モデル１３６のＮ、Ｍ、及びＬの値は、Ｎ＝３０、Ｍ＝２０、Ｌ＝１０である。次いで、時系列分析モデル１３６から最終的な動作判別結果が出力され（ｓ１１０７）、さらに処理すべき時系列データがあれば（ｓ１１０８）、ステップはｓ１１０１に戻ってさらに動作判別が行われ、処理すべき時系列データがなければ動作判別処理は終了する。

（動作判別処理の詳細）
図１３は、図１１のｓ１１０１〜ｓ１１０８の処理をより詳細に説明するための本発明の一実施形態に係るフロー図である。この図に基づいて、例えば離床動作を判別する際の処理の詳細を説明する。まず、電圧波形から０．１秒ごとにサンプリングされた３．９秒間の３９個／ｃｈ（１１７個／３ｃｈ）の時系列データ（電圧値）が解析・制御部１３０によって取得され、例えば解析・制御部１３０に設けられた記憶手段（メモリ）１３３に蓄積される（ｓ１３０１）。次いで、解析・制御部１３０は、各々のチャネルの最新の０．１秒のデータを取得し、そのデータを３．９秒間の３９個／ｃｈデータの後に付加して、４０個／ｃｈ×３ｃｈ（すなわち、１ケース）のデータを生成する（ｓ１３０２）。これらのデータは、４０個（１ｃｈ）−４０個（２ｃｈ）−４０個（３ｃｈ）のようにチャネル順に並べられた時系列データ（図１０（ｂ）を参照）として構成され、動作判別モデル１３５に入力される。

１２０個のデータは、最適化された動作判別モデル１３５、すなわちニューラルネットワークの入力層に入力され、ニューラルネットワークによる処理が行われた後、出力層から動作判別結果が出力される（ｓ１３０３）。例えば、判別させようとする動作が離床の場合に、離床動作判別モデル１３５から出力されるフラグが１（ＴＲＵＥ）であれば離床予兆、出力されるフラグが０（ＦＡＬＳＥ）であれば離床予兆ではないと判断される（ｓ１３０４）。この１つの判別結果は、上述の４０個／ｃｈ×３ｃｈ＝１２０個のデータを１つの単位とするデータ群すなわち１ケースがニューラルネットワークによって処理された結果として得られる。本発明の一実施形態においては、０．１秒ごとに更新されるデータを用いて、すなわち０．１秒ずれた４秒間のデータを用いて、０．１秒ごとに１つの判別結果が出力される。

こうして連続的に出力される動作判別の結果は、時系列分析モデル１３６に順次入力され、離床予兆であると判別された結果とそれ以外の動作であると判別された結果との合計である動作判別回数Ｎと、離床予兆と判別された回数Ｍと、連続して離床予兆と判別された回数Ｌとがそれぞれカウントされる。時系列分析モデル１３６は、Ｎ、Ｍ、及びＬを用いて、最終的に離床と判別されるかどうかを判断する（ｓ１３０５）。本発明の一実施形態においては、判別回数３０回のうち、離床予兆と判別された回数が２０回以上であり、かつ、離床予兆と判別された連続回数が１０回以上の場合には、最終的に離床と判別される（ｓ１３０６）。これらのＮ、Ｍ、及びＬの値は、判別結果の精度に影響を与えるパラメータであり、例えばＮ、Ｍ、及びＬの組み合わせのうち最終的な判別結果の精度ができるだけ高くなる組み合わせを選択することによって、予め調整され最適化される。

（動作判別結果の記録及び通知）
上述の動作判別モデル１３５及び時系列分析モデル１３６によって離床であると判別された場合（ｓ１３０６）、並びに、ｓ１３０４において離床予兆ではないと判別された場合及びｓ１３０５において離床ではないと判別された場合には（ｓ１３０７）、その判別結果は通信部１４０に送られ、通信部１４０から有線又は無線通信を介してデータサーバ１５０に送信される（ｓ１３０８）。データサーバ１５０は、判別結果、その受信時刻、及び動作判別装置ＩＤをデータベース１５１に格納する（ｓ１３０９）とともに、判別結果を携帯端末等１６０に通知する（ｓ１３１０）。この通知は、離床と判別された場合にのみ行われるようにしても、判別の都度行われるようにしてもよい。

（次の動作判別処理）
次いで、解析・制御部１３０が、解析・制御部１３０の記憶手段１３３に蓄積され上述のように動作判別に用いられた各々のチャネルの４０個の電圧値のうち最も古い電圧値をチャネルごとに破棄した（ｓ１３１０）後、処理はステップｓ１３０２に戻る。解析・制御部１３０は、次の新たな０．１秒の電圧値を各々のチャネルのデータに加えて、新たな４０個／ｃｈ×３ｃｈのデータを生成し、再び記憶手段１３３に蓄積する。このように生成された新たなデータを用いて、ｓ１３０２〜ｓ１３１０の処理が再び行われる。

３．センサモジュール部の最適化
本発明は、患者等の異なる動作に応じた特徴が現れている、複数の受動センサから出力された電圧波形を動作判別モデルに入力し、動作を判別するものである。しかしながら、例えばセンサの個数やレンズの種類等といったセンサ条件が適切に設定されていない場合には、検知された動作の種類が異なってもそれぞれの動作の固有の特徴が電圧波形に良好に現れないこともあり、そのような電圧波形を動作判別モデルに入力しても正確な判別結果が得られないことになる。したがって、本発明に係る動作判別装置１９０においては、センサモジュール部１１０は、動作の種類に応じて生成される電圧波形にそれぞれの動作の固有の特徴が現れるように予め最適化される。本発明においては、このセンサモジュール部１１０の最適化には、ニューラルネットワークが用いられる。

図１４は、本発明の一実施形態による、センサモジュール部１１０を最適化するための手順を示す。ここでは、まず、例えば図３に示されるように設置された、センサモジュール部１１０が最適化される前の動作判別装置１９０によって、判別しようとする患者等の動作を模擬した被験者によって行われた既知の動作が検知され、既知の動作に対応する電圧波形データが出力される（ｓ１４０１）。センサモジュール部１１０が最適化される前の動作判別装置１９０は、例えば、センサモジュール部１１０に含まれる受動センサの個数、受動センサ４１０〜４３０に用いられる焦電素子１１５〜１１７の種類、焦電素子１１５〜１１７の回転角度、焦電素子１１５〜１１７の感度、焦電素子１１５〜１１７に被せられるレンズ１１１〜１１３の種類、レンズ１１１〜１１３の回転角度、受動センサ間の距離（すなわち受動センサの位置）、センサモジュール部１１０の鉛直方向からの傾き角度などといった各種のセンサ条件が、適当に設定される。この最初のセンサ条件の設定は、センサ条件の各々の性質と判別させようとする動作とに基づいて、理論的に予想される条件に設定されることが好ましい。

焦電素子１１５〜１１７は、例えば逆向きの極性を持つ２組の電極を有するデュアル素子、極性の異なる４組の電極を有するクワッド素子等といった種類があり、焦電素子１１５〜１１７の種類、焦電素子１１５〜１１７の回転角度、及び焦電素子１１５〜１１７の感度は、それらの条件によって検知対象すなわち熱源の移動方向に基づく検知精度に影響を与えることになるため、センサ条件として考慮されることが好ましい。受動センサ４１０〜４３０の個数、レンズ１１１〜１１３の種類、レンズ１１１〜１１３の回転角度、、センサ間の距離、及びセンサモジュール部１１０の鉛直方向からの傾き角度は、それらの条件によってカバーされる検知範囲が異なり検知精度に影響を与えることになるため、センサ条件として考慮されることが好ましい。

出力された電圧波形データは、アナログ／デジタル変換部１２０によって、上述の処理（図１０）と同様の処理により、量子化された時系列データに加工される（ｓ１４０２）。ただし、ここでは、アナログ／デジタル変換部１２０は、１ケースごとのデータにそのデータが表す動作の種類のデータ（このデータは、ニューラルネットワーク技術において用いられる「教師信号」となる）を加えたデータとして時系列データを作成する。これらのデータは、学習用データとも呼ばれる。学習用データは、センサモジュール部１１０から取得された電圧波形データから加工された１２０個の時系列データの末尾に、その電圧波形データを取得する際にカメラ又は人の観察等によって記録された被験者の動作の種類を表す情報（例えば、フラグ）を１つ付加することによって作成される（すなわち、本実施形態においては、１ケースの学習用データに含まれるデータ数は１２１個となる）。

こうして作成された学習用データは、図１２に示されるものと同様のセンサ最適化用ニューラルネットワークに入力され処理される（ｓ１４０３）。センサ最適化用ニューラルネットワークでは、以下のような学習処理が行われる。まず、学習用データがセンサ最適化用ニューラルネットワークの入力層に入力される。学習用データは、数百ケース（すなわち、４秒間における４０個／ｃｈのデータ（１２０個）に教師信号を加えたデータを一単位とするデータ群が数百個）以上用意されることが好ましい。用意された学習用データのうちの１つ（１ケース）が入力層に入力され、センサ最適化用ニューラルネットワークによってデータ処理が行われ、判別結果が出力層から出力される。出力された判別結果と、入力された学習用データに含まれる動作の種類のデータ（すなわち教師信号）とが比較され、判別結果と学習用データに含まれる動作の種類とが一致しない場合には、センサ最適化用ニューラルネットワークの係数、すなわち重みｗ及び／又は閾値θが修正される。

次いで、学習用データのうちの次のケースが入力層に入力され、同様に判別処理及び必要に応じて係数の修正が行われる。この処理は、正しい判別結果が得られるようになるまで（例えば、判別率の向上率が一定になるまで）繰り返され、最終的にセンサ最適化用ニューラルネットワークが形成される。ニューラルネットワークの学習処理は、例えば市販のソフトウェア（例えば、東京都所在のエス・ピー・エス・エス株式会社が販売する「Clementine」）を用いて行うことができ、正しい判別結果が得られたかどうかの判断は、当該ソフトウェアによって自動的に行われるようにすることができる。

次いで、上述のようにニューロンの重みｗ及び／又は閾値θが適切に調整されたセンサ最適化用ニューラルネットワークに、検証データが順次入力される。検証データとして、上述の学習用データに用いられた時系列データとは別の時系列データを用いることが好ましい。検証データの個数は、数百ケース程度であることが好ましい。センサ最適化用ニューラルネットワークからは、検証データの入力に応じて判別結果が出力される（ｓ１４０４）。

次いで、センサ最適化用ニューラルネットワークから出力された複数の判別結果から、判別させたい動作として正しく判別された結果の割合が計算される（ｓ１４０５）。すなわち、例えば判別させたい動作を離床とすると、検証データのうち離床動作に伴って生成されたデータ数をＮケース、離床以外の動作に伴って生成されたデータ数をＭケースとし、このＮ＋Ｍケースのデータがセンサ最適化用ニューラルネットワークに入力される。離床動作に伴って生成されたＮケースのデータが入力された結果として得られる出力のうち、離床と判別された個数（すなわち正判別）をＡ個、離床以外と判別された個数（すなわち誤判別）をＢ個とする。同様に、離床以外の動作に伴って生成されたＭケースのデータの判別結果のうち、離床と判別された個数（すなわち誤判別）をＣ個、離床以外と判別された個数（すなわち正判別）をＤ個とする。このとき、離床として正しく判別された結果の割合はＡ／Ｎ、離床以外として正しく判別された結果の割合はＤ／Ｍとなる。

次いで、センサモジュール部１１０のセンサ条件を、例えば波形に基づいて有望なセンサ条件となるように適宜変化させて、上記のステップｓ１４０１〜１４０５を繰り返す。センサ条件を変化させた場合の各々についてＡ／Ｎ及びＤ／Ｍの値を比較し（ｓ１４０６）、より大きいＡ／Ｎ及びＤ／Ｍが得られたセンサ条件が、最適化されたセンサモジュール部１１０のセンサ条件として採用される（ｓ１５０７）。この場合、センサ条件を採用する判断基準として、例えば、二つのセンサ条件ＰとＱを比較したとき、Ａ／ＮとＤ／ＭのいずれについてもＰの方が大きい場合は、センサ条件Ｐを採用するように設定することができる。別の方法として、Ａ／Ｎについてはセンサ条件Ｐの方が大きいが、Ｄ／Ｍについてはセンサ条件Ｑの方が大きい場合には、全体として正しく判別されたケースの割合、すなわち（Ａ＋Ｄ）／（Ｎ＋Ｍ）を基準としてＰ又はＱを採用するように設定することもできる。

以上のようにして、１つの動作の種類の判別について最適なセンサ条件を求めた後、他の種類の動作の判別についても最適なセンサ条件を求める必要がある。患者等のベッドからの離床、転落、及び離脱を判別する本発明の一実施形態においては、実際の動作の優先順位を考慮して、最初に、すべての動作の起点となる離床動作の判別についてセンサ条件の調整を行い、次いで、離床動作の判別に悪影響を与えない範囲で転落及び離脱の判別についてセンサ条件の調整を行うようにすることが好ましい。

４．動作判別モデルの最適化
本発明は、上述のように、患者等の異なる動作に応じた特徴が現れている、複数の受動センサ４１０〜４３０から出力された電圧波形を動作判別モデル１３５に入力し、その出力結果から動作を判別するものである。しかしながら、仮に最適化されたセンサモジュール部１１０によって検知され、患者等の異なる動作に応じた特徴が現れた電圧波形から生成されたデータが、動作判別モデル１３５に入力された場合であっても、動作判別モデル１３５のパラメータ条件が最適化されなければ、正確な判別結果が得られないことになる。したがって、本発明に係る動作判別装置１９０においては、動作の種類に応じてそれぞれの動作の固有の特徴が現れた電圧波形から生成された時系列データが入力された場合に、それぞれの動作の判別が高精度に可能となるように、予め最適化された動作判別モデル１３５を用いる。

図１５は、本発明の一実施形態においてはニューラルネットワークからなる動作判別モデル１３５を最適化するための手順を示す。ここでは、まず、例えば図３に示されるように設置された動作判別装置１９０のセンサモジュール部１１０によって、判別しようとする患者等の動作を模擬した被験者によって行われた既知の動作が検知され、既知の動作に対応する電圧波形データが出力される（ｓ１５０１）。ここで用いられる動作判別装置１９０のセンサモジュール部１１０は、上述のようにセンサ条件が最適化されたものであることが好ましいが、センサ条件が最適化されていないものであってもよい。最適化されていないセンサモジュール部１１０が用いられる場合には、ここで説明される動作判別モデル１３５の最適化とセンサ条件の最適化とが交互に行われることによって、最終的にセンサモジュール部１１０と動作判別モデル１３５とが最適化された動作判別装置１９０が得られることになる。最適化される前の動作判別モデル、すなわちニューラルネットワークは、例えば、入力層のニューロン数、中間層の数、及び学習率等といった各種のパラメータ条件が、適当に設定される。この最初のパラメータ条件の設定は、判別させようとする動作に基づいて理論的に予想される値に設定されることが好ましい。

出力された電圧波形データは、アナログ／デジタル変換部１２０によって、上述の処理（図１０）と同様の処理により、量子化された時系列データに加工される（ｓ１５０２）。ここでは、センサモジュール部１１０の最適化処理の際と同様に、アナログ／デジタル変換部１２０は、１ケースごとのデータにそのデータが表す動作の種類のデータ（教師信号）を加えた学習用データとして時系列データを作成する。学習用データは、数百ケース以上用意されることが好ましい。次いで、学習用データのうちの１つ（１ケース）が、ニューラルネットワークの入力層に入力され処理される（ｓ１５０３）。ニューラルネットワークによってデータ処理が行われ、判別結果が出力層から出力される（ｓ１５０４）。

ニューラルネットワークから出力された複数の判別結果から、判別させたい動作として正しく判別された結果の割合が計算される（ｓ１５０５）。すなわち、例えば判別させたい動作を離床とすると、検証データのうち離床動作に伴って生成されたデータ数をＮケース、離床以外の動作に伴って生成されたデータ数をＭケースとし、このＮ＋Ｍケースのデータがニューラルネットワークに入力される。離床動作に伴って生成されたＮケースのデータが入力された結果として得られる出力のうち、離床と判別された個数（すなわち正判別）をＡ個、離床以外と判別された個数（すなわち誤判別）をＢ個とする。同様に、離床以外の動作に伴って生成されたＭケースのデータの判別結果のうち、離床と判別された個数（すなわち誤判別）をＣ個、離床以外と判別された個数（すなわち正判別）をＤ個とする。このとき、離床として正しく判別された結果の割合はＡ／Ｎ、離床以外として正しく判別された結果の割合はＤ／Ｍとなる。

上記のステップｓ１５０１〜１５０５を、パラメータを変化させたニューラルネットワークの各々について行ってＡ／Ｎ及びＤ／Ｍの値を比較し（ｓ１５０６）、より大きいＡ／Ｎ及びＤ／Ｍが得られたニューラルネットワークが、最適化された動作判別モデル１３５として採用される（ｓ１５０７）。この場合、パラメータを採用する判断基準として、例えば、二つパラメータ条件ＰとＱを比較したとき、Ａ／ＮとＤ／ＭのいずれについてもＰの方が大きい場合は、パラメータ条件Ｐを採用するように設定することができる。別の方法として、Ａ／Ｎについてはパラメータ条件Ｐの方が大きいが、Ｄ／Ｍについてはパラメータ条件Ｑの方が大きい場合には、全体として正しく判別されたケースの割合、すなわち（Ａ＋Ｄ）／（Ｎ＋Ｍ）を基準としてＰ又はＱを採用するように設定することもできる。

５．センサ出力と閾値との比較を用いた動作判別の高精度化
本発明の一実施形態においては、解析・制御部１３０の閾値判定手段１３７が、動作判別装置１９０の受動センサ４１０〜４３０の各々から出力される電圧値の大きさと所定の閾値との比較を行い、電圧値が所定の閾値より小さい場合には動作判別を行わないようにすることによって、動作判別の精度をより高めることができる。動作判別装置１９０のセンサモジュール部１１０によってベッド３０１上の患者等の動作が検知されると、動作の種類に対応する電圧値がセンサモジュール部１１０から出力される。本発明の一実施形態においては、センサモジュール部１１０には３個の受動センサ４１０〜４３０が設けられているため、センサモジュール部１１０からは３チャネルの電圧値が出力される。これらの電圧値は、判別されるべき動作が行われた場合以外にも出力されるため、そうした電圧値が多くなると、本来判別されるべき動作に特徴的な微妙な電圧波形が不要な電圧波形に紛れ、判別精度に悪影響が与えられることになる。そこで、本発明の一実施形態においては、判別されるべき動作が正しく判別されるように電圧値に対する所定の閾値を決定し、センサモジュール部１１０から出力される電圧値がその閾値を上回る場合のみ、動作判別モデル１３５が動作判別を行うようにすることができる。

図１６は、閾値判定手段１３７に設定される閾値条件を決定するための処理のフロー図である。まず、動作判別モデル１３５の作動条件として、比較される２つの閾値条件を設定する。これらの閾値は、予め動作に応じてセンサモジュール部１１０から出力された電圧値を人が確認して、適宜決定することができる。動作判別モデル１３５は、解析・制御部１３０に設けられた閾値判定手段１３７を用いて、センサモジュール部１１０から出力される電圧値が設定された閾値条件より大きい場合には作動し、電圧値が設定された閾値条件より小さい場合には作動しないように設定される。閾値条件は、チャネルごとに異なる値を設定してもよく、すべてのチャネルで同一の値を設定してもよい。

次いで、例えば図３に示されるように設置された動作判別装置１９０のセンサモジュール部１１０によって、判別しようとする患者等の動作を模擬した被験者によって行われた既知の動作が検知され、既知の動作に対応する電圧波形データが出力される（ｓ１６０２）。出力された電圧波形データは、アナログ／デジタル変換部１２０によって、上述の処理（図１０）と同様の処理により、量子化された時系列データに加工される（ｓ１６０３）。加工されたデータは、動作判別モデル１３５に入力され、データ処理が行われる（ｓ１６０４）。動作判別モデル１３５からは、時系列データの入力応じて判別結果が出力される（ｓ１６０５）。

次いで、出力された複数の判別結果から、判別させたい動作として正しく判別された結果の割合が、各々の閾値条件ごとに計算され、比較される（ｓ１６０６）。すなわち、例えば判別させたい動作を離床とすると、検証データのうち離床動作に伴って生成されたデータ数をＮケース、離床以外の動作に伴って生成されたデータ数をＭケースとし、このＮ＋Ｍケースのデータが動作判別モデル１３５に入力される。離床動作に伴って生成されたＮケースのデータが入力された結果として得られる動作判別モデル１３５からの出力のうち、離床と判別された個数（すなわち正判別）をＡ個、離床以外と判別された個数（すなわち誤判別）をＢ個とする。同様に、離床以外の動作に伴って生成されたＭケースのデータの判別結果のうち、離床と判別された個数（すなわち誤判別）をＣ個、離床以外と判別された個数（すなわち正判別）をＤ個とする。このとき、離床として正しく判別された結果の割合はＡ／Ｎ、離床以外として正しく判別された結果の割合はＤ／Ｍとなる。

２つの閾値条件の各々の場合についてＡ／Ｎ及びＤ／Ｍの値を比較し（ｓ１６０６）、より大きいＡ／Ｎ及びＤ／Ｍが得られた閾値条件が採用される（ｓ１６０７）。この場合、閾値を採用する判断基準として、例えば、二つの閾値条件ＰとＱを比較したとき、Ａ／ＮとＤ／ＭのいずれについてもＰの方が大きい場合は、閾値条件Ｐを採用するように設定することができる。別の方法として、Ａ／Ｎについては閾値条件Ｐの方が大きいが、Ｄ／Ｍについては閾値条件Ｑの方が大きい場合には、全体として正しく判別されたケースの割合、すなわち（Ａ＋Ｄ）／（Ｎ＋Ｍ）を基準としてＰ又はＱを採用するように設定することもできる。解析・制御部１３０の閾値判定手段１３７は、このようにして決定された閾値とセンサモジュール部１１０から出力された電圧値とを比較して、電圧値が閾値より大きい場合には動作判別を行うように動作判別モデル１３５に指示し、電圧値が閾値より小さい場合には動作判別を行わないように動作判別モデル１３５に指示することができる。

Claims (24)

1. 対象の動作をリアルタイムで判別するための最適化された動作判別装置であって、
   複数の検知領域の各々における対象の動作に対応して異なるアナログ値を出力する検知手段であって、対象の既知の動作に対応して最適化前の検知手段から出力されたアナログ値を時系列データに加工し、前記時系列データを入力ノードへの入力とし前記既知の動作の種類を出力ノードからの出力とするニューラルネットワークを用いて前記既知の動作に対応する判別結果を出力し、その判別結果に基づいて前記最適化前の検知手段の条件を変更することを繰り返すことによって予め最適化された、検知手段と、
   前記複数の検知領域の各々における前記対象の動作に対応して出力された前記アナログ値を、量子化された時系列データに加工するデータ加工手段と、
   前記時系列データを入力ノードへの入力とし前記対象の動作の種類を出力ノードからの出力とする予め最適化されたニューラルネットワークを用いた動作判別モデルによって、前記対象の動作を判別した判別結果を出力する動作判別手段と、
   を含む動作判別装置。
2. 前記動作判別モデルは、前記検知手段を用いて対象の既知の動作に対応するアナログ値を取得する工程と、前記複数の検知領域の各々における前記既知の動作に対応して出力された前記アナログ値を量子化された時系列データに加工する工程と、前記時系列データを前記ニューラルネットワークの入力ノードに入力して前記動作の種類を出力ノードから出力することによって前記既知の動作に対応する判別結果を出力する工程と、前記判別結果と前記既知の動作との比較に基づいて前記ニューラルネットワークのパラメータを調整する工程とを繰り返すことによって最適化された、請求項１に記載の動作判別装置。
3. 前記検知手段は、複数の検知素子と複数のレンズとを有する受動センサを含む、請求項１に記載の動作判別装置。
4. 前記複数の検知素子は、デュアル素子、クワッド素子、又はそれらの組み合わせである、請求項３に記載の動作判別装置。
5. 前記検知手段の前記条件は、前記複数の検知素子の種類、個数、位置、感度、及び回転角度、前記複数の検知素子の各々に取り付けられる前記複数のレンズの種類及び回転角度、並びに、前記検知手段の設置角度のうちの１つ又は複数の組み合わせである、請求項４に記載の動作判別装置。
6. 前記動作判別手段は時系列分析モデルをさらに含み、該時系列分析モデルは、前記動作判別モデルによって判別された複数の判別結果の時系列的な関係に基づいて前記動作を判別し、判別結果を出力する、請求項１に記載の動作判別装置。
7. 前記複数の判別結果の前記時系列的な関係は、順次出力される前記複数の判別結果のうちの所定の数について計算される、特定の動作として判別された判別結果の数とそれ以外の判別結果の数との割合、及び、特定の動作として判別された判別結果の連続個数である、請求項６に記載の動作判別装置。
8. 前記動作判別手段によって出力された前記判別結果を携帯情報端末又は携帯情報端末に前記判別結果を通知するための装置に送信する通信手段をさらに含む、請求項１に記載の動作判別装置。
9. 前記検知手段から出力される前記アナログ値と所定の閾値とを比較する判定手段をさらに含み、前記アナログ値が前記所定の閾値より小さい場合には動作判別を行わないようにした、請求項１に記載の動作判別装置。
10. 前記対象は被介護者、患者、又は高齢者であり、前記対象の前記動作は、前記被介護者、前記患者、又は前記高齢者のベッドからの離床、転落、離脱、及びそれ以外のいずれかである、請求項１に記載の動作判別装置。
11. 対象の動作をリアルタイムで判別する動作判別装置において動作を判別するための最適化された動作判別モデルの構築方法であって、
    複数の検知領域の各々における対象の動作に対応して異なるアナログ値を出力する検知手段を用いて、対象の既知の動作に対応するアナログ値を取得する検知ステップであって、前記検知手段は、対象の既知の動作に対応して最適化前の検知手段から出力されたアナログ値を時系列データに加工し、前記時系列データを入力ノードへの入力とし前記既知の動作の種類を出力ノードからの出力とするニューラルネットワークを用いて前記既知の動作に対応する判別結果を出力し、その判別結果に基づいて前記最適化前の検知手段の条件を変更することを繰り返すことによって予め最適化された、検知ステップと、
    前記複数の検知領域の各々における前記既知の動作に対応して出力された前記アナログ値を、量子化された時系列データに加工するデータ加工ステップと、
    前記時系列データを入力ノードへの入力とし、前記既知の動作の種類を出力ノードからの出力とするニューラルネットワークを用いて、前記既知の動作に対応する判別結果を出力する動作判別ステップと
    前記判別結果と前記既知の動作との比較に基づいて前記ニューラルネットワークのパラメータを調整する最適化ステップと、
    を含む動作判別モデルの構築方法。
12. 前記検知手段は、複数の検知素子と複数のレンズとを有する受動センサを含む、請求項１１に記載の動作判別モデルの構築方法。
13. 前記複数の検知素子は、デュアル素子、クワッド素子、又はそれらの組み合わせである、請求項１２に記載の動作判別モデルの構築方法。
14. 対象の動作をリアルタイムで判別するように最適化された動作判別方法であって、
    複数の検知領域の各々における対象の動作に対応して異なるアナログ値を出力する検知手段を用いて、対象の動作に対応するアナログ値を取得する検知ステップであって、前記検知手段は、対象の既知の動作に対応して最適化前の検知手段から出力されたアナログ値を時系列データに加工し、前記時系列データを入力ノードへの入力とし前記既知の動作の種類を出力ノードからの出力とするニューラルネットワークを用いて前記既知の動作に対応する判別結果を出力し、その判別結果に基づいて前記最適化前の検知手段の条件を変更することを繰り返すことによって予め最適化された、検知ステップと、
    前記複数の検知領域の各々における前記対象の動作に対応して出力された前記アナログ値を、量子化された時系列データに加工するデータ加工ステップと、
    前記時系列データを入力ノードへの入力とし前記対象の動作の種類を出力ノードからの出力とする予め最適化されたニューラルネットワークを用いた動作判別モデルによって、前記対象の動作を判別した判別結果を出力する動作判別ステップと、
    を含む動作判別方法。
15. 前記動作判別モデルは、前記検知手段を用いて対象の既知の動作に対応するアナログ値を取得する工程と、前記複数の検知領域の各々における前記既知の動作に対応して出力された前記アナログ値を量子化された時系列データに加工する工程と、前記時系列データを前記ニューラルネットワークの入力ノードに入力して前記動作の種類を出力ノードから出力することによって前記既知の動作に対応する判別結果を出力する工程と、前記判別結果と前記既知の動作との比較に基づいて前記ニューラルネットワークのパラメータを調整する工程とを繰り返すことによって最適化される、請求項１４に記載の動作判別方法。
16. 前記検知手段は、複数の検知素子と複数のレンズとを有する受動センサを含む、請求項１４に記載の動作判別方法。
17. 前記複数の検知素子は、デュアル素子、クワッド素子、又はそれらの組み合わせである、請求項１６に記載の動作判別方法。
18. 前記検知手段の前記条件は、前記複数の検知素子の種類、個数、位置、及び角度、前記複数の検知素子の各々に取り付けられる前記複数のレンズの種類及び角度、並びに、前記検知手段の設置角度のうちの１つ又は複数の組み合わせである、請求項１７に記載の動作判別方法。
19. 前記動作判別ステップは、前記動作判別モデルによって判別された複数の判別結果の時系列的な関係に基づいて前記動作を判別し、判別結果を出力するステップをさらに含む、請求項１４に記載の動作判別方法。
20. 前記複数の判別結果の前記時系列的な関係は、順次出力される前記複数の判別結果のうちの所定の数について計算される、特定の動作として判別された判別結果の数とそれ以外の判別結果の数との割合、及び、特定の動作として判別された判別結果の連続個数である、請求項１９に記載の動作判別方法。
21. 前記動作判別ステップによって出力された前記判別結果を携帯情報端末又は携帯情報端末に前記判別結果を通知するための装置に送信する通信ステップをさらに含む、請求項１４に記載の動作判別方法。
22. 前記検知手段から出力される前記アナログ値と所定の閾値とを比較する判定ステップをさらに含み、前記アナログ値が前記所定の閾値より小さい場合には動作判別を行わないようにする、請求項１４に記載の動作判別方法。
23. 前記対象は被介護者、患者、又は高齢者であり、前記対象の前記動作は、前記被介護者、前記患者、又は前記高齢者のベッドからの離床、転落、離脱、及びそれ以外のいずれかである、請求項１４に記載の動作判別方法。
24. 請求項１４から請求項２３のいずれか１項に記載の方法のステップをコンピュータに実行させるためのプログラム・コード命令を含むコンピュータ・プログラム。