JP6829151B2 - 行動推定装置、及び行動推定方法 - Google Patents

Description

本発明は、行動推定装置、及び行動推定方法に関する。

心電図に示される心電の信号は、血液循環の状態や精神的緊張度などの様々な要因によって変動する生体信号である。心電の計測は、生体電極を用いて行われる。例えば、非特許文献１に示されるように、電極を縫い付けた衣服を着るだけで日常動作中の心電を計測することができるものが市販されている。心電図の解析によって、不整脈などの疾病の診断や自律神経機能の評価、健康状態や体調管理など様々な知見が得られる。

また、生体インピーダンスは、肺内の換気状態によって変動する生体信号である。例えば、非特許文献２に示されるように、生体インピーダンスの計測にも生体電極が用いられる。胸部に生体電極を取り付けて、微弱な電流を流し、生体インピーダンスを計測できる電気インピーダンストモグラフィ（ＥＩＴ(Electrical Impedance Tomography)）が市販されている。生体インピーダンスの解析によって、肺内のガス量変化などの知見が得られる。

心電図や生体インピーダンスの解析では、生体電極で電位差を計測した時点にとっていた行動が付加情報として得られると、解析精度を向上させることができる。例えば、心拍数が急変動した時点で激しい行動をとっていたか否かがわかると生体異常検出の精度を向上させることができる。

これまで、人に装着したデバイスを用いた人の行動の種類の推定は、例えば、非特許文献３に示されるように、加速度センサやマイクなどを用いて行われていた。つまり、心電や生体インピーダンスの計測とともに行動を推定するには、生体電極に加えて加速度センサやマイクを装着する必要があった。例えば、非特許文献３に示す技術では、加速度センサから得た加速度を用いて「歩行」、「作業」、「安静」の３状態を分類している。また、マイクから得た音データを用いて「歯磨き」、「電気シェーバーによる髭剃り」、「ドライヤーの使用」、「トイレ水洗/手洗い」、「掃除機がけ」、「皿洗い」、「アイロンがけ」の各作業を分類している。

小笠原 隆行、小野 一善、松浦 伸昭、山口 真澄、渡邊 淳司、塚田 信吾、"ウェアラブル電極インナー技術の応用展開"、ＮＴＴ技術ジャーナル、２０１４年１１月、pp16-20 恩田 亮、"人工呼吸管理における新しい技術"、麻酔・集中治療とテクノロジー２０１１、pp38-41 大内 一成、土井 美和子、"加速度と音で日々の生活行動を認識するActivity Analyzer"、情報処理学会 インタラクション２０１１

しかしながら、従来の技術では、日常生活でよく行われる静かに手を上げ下げする行動など、音が発生せず、体幹の動きが小さいゆっくりした行動を推定することができない。

また、生体電極を用いた心電や生体インピーダンスの計測においては、人体の動き、センサの振動、または浮き上がりによって、生体電極の位置が変わるために計測する信号に歪みや雑音が生じてしまう。そのため、生体電極が接する位置が固定されるように生体電極を縫い付けるなどの工夫が必要になるという問題があった。

上記事情に鑑み、本発明は、容易に様々な行動を推定することができる技術の提供を目的としている。

本発明の一態様は、人体に接する２つ以上の電極の各々が計測する電圧値に基づく電極間の電位差の経時変化のデータを取り込むデータ受付部と、予め定められる人の行動の種類を示す複数の行動ラベル情報と、前記複数の行動ラベル情報の各々に対応する行動が行われた際の前記電極間の電位差の経時変化のデータとに基づいて前記電極間の電位差の経時変化のデータに対応する前記行動ラベル情報を出力するように学習処理が行われることによって生成される学習データと、前記電極間の電位差の経時変化のデータとに基づいて得られる出力データを出力する分類器と、前記データ受付部が取り込んだ前記電極間の電位差の経時変化のデータを前記分類器に与えて、前記分類器が出力する前記出力データに対応する前記行動の種類を示す情報を出力する行動ラベル推定部と、を備える行動推定装置である。

本発明の一態様は、上記の行動推定装置であって、外部から供給される前記行動ラベル情報を取り込む行動ラベル受付部と、前記行動ラベル情報と、前記電極間の電位差の経時変化のデータとに基づいて、学習処理を行うことによって前記学習データを生成するモデル構築部をさらに備え、前記データ受付部は、前記行動ラベル受付部が前記行動ラベル情報を取り込んだ場合、前記電極から取り込んだ前記電極間の電位差の経時変化のデータと、前記行動ラベル受付部が取り込んだ前記行動ラベル情報とを前記モデル構築部に出力し、前記行動ラベル受付部が前記行動ラベル情報を取り込んでいない場合、前記電極から取り込んだ前記電極間の電位差の経時変化のデータを前記行動ラベル推定部に出力する。

本発明の一態様は、上記の行動推定装置であって、前記電極の少なくとも１つが、前記人の体が動くことにより前記人体に接する位置が変化するように配置されている。

本発明の一態様は、上記の行動推定装置であって、前記分類器は、前記電極間の電位差の経時変化のデータから前記人の心電成分を分離して除去する信号分離部を備える。

本発明の一態様は、人体に接する２つ以上の電極の各々が計測する電圧値に基づく電極間の電位差の経時変化のデータを取り込み、前記電極間の電位差の経時変化のデータを、予め定められる人の行動の種類を示す複数の行動ラベル情報と、前記複数の行動ラベル情報の各々に対応する行動が行われた際の前記電極間の電位差の経時変化のデータとに基づいて前記電極間の電位差の経時変化のデータに対応する前記行動ラベル情報を出力するように学習処理が行われることによって生成される学習データと、前記電極間の電位差の経時変化のデータとに基づいて得られる出力データを出力する分類器に与えて、前記分類器が出力する前記出力データに対応する前記行動の種類を示す情報を出力する行動推定方法である。

この発明によれば、容易に様々な行動を推定することが可能となる。

本発明の一実施形態における行動推定システムの構成を示すブロック図である。 同実施形態による人が着衣する衣服に縫い付けられる電極の位置を示す図である。 同実施形態の行動ラベルテーブル記憶部に記憶されるテーブルの構成を示す図である。 同実施形態の行動ラベル状態記憶部に記憶されるテーブルの構成を示す図である。 同実施形態の分類器の構成例を示す図である。 同実施形態の行動推定装置１０が行う処理の流れを示すフローチャートである。 同実施形態による人の行動の一例と当該行動による電極間の電位差の経時変化を示す図である。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の一実施形態における行動推定システム１の構成を示すブロック図である。行動推定システム１は、行動推定装置１０、複数の電極２０−１〜２０−Ｎ（Ｎは２以上の整数）、及び電位差算出装置３０を備えている。以下、電極２０−１〜２０−Ｎについて特に区別しない場合には単に電極２０と記載する。

電極２０は、例えば、衣服に縫い付けられているデバイスであり、当該衣服は、人体に密着するような衣服ではなく、人が行動して体を動かすことにより、人体と接する位置が変わるような少しゆとりのある一般的な衣服である。電極２０の各々が衣服に縫い付けられる位置は、人の行動によって衣服がずれて、電極２０の各々が人体と接する位置が大きく変化するような位置に縫い付けられる。例えば、図２に示すような人１００が当該衣服を着衣した際に、胴体、腕、足の箇所に対応する位置になるように縫い付けられている。電極２０の各々は、計測した電圧値を時系列で電位差算出装置３０に連続して出力する。

電位差算出装置３０は、電極２０の各々が出力する時系列の電圧値を取り込み、電極２０の各々の電極間の電位差を算出する。ここで、算出する電位差の系列数（個数）は、電極２０の個数の組み合わせの数となり、例えば、電極２０が、２つであれば１系列の電位差を、３つであれば３系列の電位差を、４つであれば６系列の電位差を、５つであれば１０系列の電位差を算出する。また、電位差算出装置３０は、算出した電極間の電位差に基づく電極間の電位差の経時変化のデータを行動推定装置１０のデータ受付部１４に出力する。

行動推定装置１０は、計時部１１、行動ラベル受付部１２、行動ラベル状態記憶部１３、データ受付部１４、モデル構築部１５、分類器１６、学習データ記憶部１７、行動ラベル推定部１８、及び行動ラベルテーブル記憶部１９を備える。計時部１１は、例えば、時計であり、他の機能部からの要求を受けると、要求を受けた際の時刻を示す情報（以下「時刻情報」という）を応答として要求元の機能部に出力する。

行動ラベル受付部１２は、外部から供給される行動ラベル情報を取り込む。例えば、具体的な構成としては、行動ラベル受付部１２は、利用者の操作を受けて行動ラベル情報を選択的に出力する入力装置に接続されており、当該入力装置が出力する行動ラベル情報を取り込む。当該利用者は、電極２０が縫い付けられた衣服を着用する計測対象の人であってもよく、その場合、当該人が、自ら行っている行動に対応する行動ラベル情報を入力装置により選択することになる。

また、行動ラベル受付部１２は、行動ラベル情報を取り込んだ際の時刻情報を計時部１１に要求して時刻情報を取得し、取り込んだ行動ラベル情報と、取得した時刻情報とを対応付けて行動ラベル状態記憶部１３に書き込む。ここで、行動ラベル情報とは、例えば、図３に示すように、予め定義された有限個の「仰向け寝」、「仰向けで腕上げ」等の行動の種類を示す情報に付与された行動ＩＤ（Identification）である。

また、行動ラベル受付部１２は、内部にタイマーを有しており、予め定められる時間、例えば、１分間が経過してタイマーが満了した際に、入力装置が行動ラベル情報を出力していない場合、計時部１１に要求して時刻情報を取得する。また、行動ラベル受付部１２は、取得した時刻情報と、行動が行われていないことを示す情報（例えば、「行動なし」という情報）とを対応付けて行動ラベル状態記憶部１３に書き込む。なお、予め定められる時間を、一例として１分間として説明しているが、図３に定義される行動の種類の行動のうち、最も長い時間必要となる行動にあわせて、少なくとも当該行動が開始されてから完了するまでの時間を当該タイマーに設定する予め定められる時間とするのが望ましい。

行動ラベル状態記憶部１３は、例えば、図４（ａ），（ｂ）に示すデータ構成を有しており、「時刻」と「行動ラベル」の項目を有する。「時刻」の項目には、時刻情報が行動ラベル受付部１２によって書き込まれ、「行動ラベル」の項目には、行動ラベル情報が行動ラベル受付部１２によって書き込まれる。図４（ａ）は、最先のレコードである「時刻」が「１１：１６」に対応する「行動ラベル」の項目が「８」となっており、「１１：１６」に「歩行」の行動が行われていたことを示している。これに対して、図４（ｂ）は、最先のレコードである「時刻」が「１１：１７」に対応する「行動ラベル」の項目が「行動なし」となっており、「１１：１７」に行動ラベル受付部１２に対して入力装置が行動ラベル情報を出力していなかったことを示している。

データ受付部１４は、電位差算出装置３０が出力する電極間の組み合わせごとの電位差の経時変化のデータを取り込む。また、データ受付部１４は、電極間の組み合わせごとの電位差の経時変化のデータを取り込んだ際、行動ラベル状態記憶部１３を参照し、最先のレコードとしていずれかの行動ラベル情報が記憶されているか否かを判定する。また、データ受付部１４は、最先のレコードとしていずれかの行動ラベル情報が記憶されている場合、行動ラベル状態記憶部１３に記憶されている行動ラベル情報と、電極間の組み合わせごとの電位差の経時変化のデータとをモデル構築部１５に出力する。また、データ受付部１４は、最先のレコードとして行動ラベル情報が記憶されていない、すなわち「行動なし」の情報が記憶されている場合、電極間の組み合わせごとの電位差の経時変化のデータを行動ラベル推定部１８に出力する。

モデル構築部１５は、データ受付部１４が出力する行動ラベル情報と、電極間の組み合わせごとの電位差の経時変化のデータとを取り込む。また、モデル構築部１５は、電極間の組み合わせごとの電位差の経時変化のデータを入力データとして分類器１６に与え、行動ラベル情報を訓練データとして学習処理を行い、分類器１６の各層の重み係数の情報で構成される学習データを生成する。

ここで、学習処理とは、例えば、入力データを与えることにより分類器１６が出力する出力データと、訓練データとの誤差に基づいて、例えば、誤差逆伝播法により、誤差が小さくなるように分類器１６の重み係数の値を変更することである。重み係数の値の変更は、予め定められた回数行うか、または、出力データと訓練データとの誤差が予め定められた閾値以下、または閾値未満となるまで繰り返し行われる。学習データ記憶部１７は、学習データを記憶し、当該学習データは、学習処理が行われて新たな学習データが生成されるごとにモデル構築部１５によって書き込まれる。

分類器１６は、例えば、多層パーセプトロンであり、モデル構築部１５または行動ラベル推定部１８から入力データが与えられると、入力データが与えられた際に学習データ記憶部１７に記憶されている学習データを学習データ記憶部１７から読み出す。また、分類器１６は、読み出した学習データに含まれる各層の重み係数と、入力データとに基づいて複数の出力ユニットごとの出力値からなる出力データを算出し、入力データの入力元の機能部に対して算出した出力データを出力する。行動ラベルテーブル記憶部１９は、例えば、図３に示す行動ＩＤと、行動の種類を示す情報が関連付けられたテーブルを予め記憶する。

行動ラベル推定部１８は、データ受付部１４から電極間の組み合わせごとの電位差の経時変化のデータを受けると、当該電極間の組み合わせごとの電位差の経時変化のデータをテスト用の入力データとして分類器１６に与えて、分類器１６からの出力データを取り込む。また、行動ラベル推定部１８は、行動ラベルテーブル記憶部１９に記憶されている図３のテーブルを参照し、出力データに対応する行動ＩＤに関連付けられている行動の種類を示す情報を読み出して出力する。

図５は、分類器１６の層の設計の一例である。分類器１６は、入力側から順に、信号分離部１６１、「Ｃｏｎｖｏｌｕｔｉｏｎ層」１６２、「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ（Rectified Liner Unit）関数」１６３、「Ｃｏｎｖｏｌｕｔｉｏｎ層」１６４、「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ関数」１６５、全結合層１６６、「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ関数」１６７、ＬＳＴＭ（Long short-term memory）層１６８、及び全結合層１６９が結合した多層構成となっている。

以下、各層の構成について説明する。なお、以下の説明において、ユニットとは、処理対象とするデータ系列から、直近のデータから順に予め定められる最小単位のデータ長で選択されるデータであり、各層ごとに予め定められる。また、チャネル（ｃｈ）とは、複数のユニットの組が存在する場合のユニットの組の個数である。例えば、図２に示す４つの電極２０−１〜２０−４の場合、電極間の組み合わせの個数は、６個となるため、６チャネルとなり、６チャネル分の入力データが分類器１６に与えられることになる。

図５において、信号分離部１６１は、入力チャネル数６、出力チャネル数６の構成を有しており、入力データとしてモデル構築部１５から与えられる６チャネル分の電極間の電位差の経時変化のデータから１チャネルごとに心電成分を分離して除去する。また、信号分離部１６１は、心電成分を除去した後の６チャネル分のデータを出力する。ここで、心電成分とは、人間の心電図波形であってＰ，Ｑ，Ｒ，Ｓ，Ｔ波の波形によって示される信号成分である。心電成分を分離する手法として、独立成分分析が適用される。なお、独立成分分析に限られるものではなく、状態空間モデルや周波数変換による分離手法が適用されてもよい。

「Ｃｏｎｖｏｌｕｔｉｏｎ層」１６２，１６４は、各々に与えられる入力データに対して、予め定められるフィルタを適用する間隔（以下「ストライド」という）で、予め定められる大きさの余白（以下「パディング」という）を適用して、予め定められる数のフィルタに基づいて畳み込み演算を行う。

「Ｃｏｎｖｏｌｕｔｉｏｎ層」１６２の構成は、入力ユニット数２５６×１、入力ｃｈ数６、出力ユニット数１２８×１、出力ｃｈ数３２、フィルタサイズ（４，１）、ストライドサイズ２、パディングサイズ（２，０）となっている。これにより、１チャネルごとに直近の２５６点の電極間の電位差の値が２５６×１の入力ユニットの各々に与えられる。２５６×１の入力ユニットに与えられる６チャネル分の入力データに対して、３２種類の４×１のフィルタを２×０の余白を加えた上で２点間隔ごとに適用して畳み込み演算を行い、１２８×１のユニットで構成された３２チャネルの出力情報を出力する。

「Ｃｏｎｖｏｌｕｔｉｏｎ層」１６４の構成は、入力ユニット数１２８×１、入力ｃｈ数３２、出力ユニット数６４×１、出力ｃｈ数６４、フィルタサイズ（４，１）、ストライドサイズ２、パディングサイズ（２，０）となっている。これにより、１２８×１のユニットで構成された３２チャネルの入力データのそれぞれに対して、６４種類の４×１のフィルタを２×０の余白を加えた上で２点間隔ごとに適用して畳み込み演算を行い、６４×１のユニットで構成された６４チャネルの出力信号を出力する。

「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ関数」１６３，１６５，１６７において、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層は、入力信号の平均値と分散値とを用いて正規化を行うことにより入力信号の分布の偏りを軽減する。ｒｅｌｕ関数は、活性化関数の１つであり、入力に対して非線形な出力を行う。Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層は、１つのユニットに入力と出力があり、出力に対してｒｅｌｕ関数が適用される。

「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ関数」１６３の構成は、ユニット数１２８×１、ｃｈ数３２となっている。「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ関数」１６５の構成は、ユニット数６４×１、ｃｈ数６４となっている。「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ関数」１６７は、ユニット数６４×６４となっている。

ＬＳＴＭ層１６８は、内部にメモリとゲートを備えた層を有しており、当該メモリを用いて長期にわたる記憶を行うことで、学習処理の過程において与えられる学習用の情報間の長期依存関係の維持を行う。ＬＳＴＭ層１６８の構成は、入力ユニット数６４×６４、出力ユニット数６４×６４となっている。

全結合層１６６，１６９は、入力層と出力層との間で入力ノードと出力ノードの全てが接続されており、適切な重み係数を適用することで、重要な入力ノードの出力信号を次の出力ノードに反映する。全結合層１６６の構成は、入力ユニット数６４×６４、出力ユニット数６４×６４となっており、４０９６個の入力ユニットが、４０９６個の出力ユニットの各々に結合している。全結合層１６９の構成は、入力ユニット数６４×６４、出力ユニット数１１となっており、４０９６個の入力ユニットが、１１個の出力ユニットの各々に結合している。

ここで、全結合層１６９の出力ユニット数が１１となっているのは、図３に示すテーブルにおいて１１個の行動ラベル情報を定義しているためであり、１１個の出力ユニット数の各々が、１１個の行動ラベル情報の各々に対応することになる。例えば、最初の出力ユニット数が、行動ＩＤが「１」の行動ラベル情報に対応している場合、当該出力ユニット数が「１」の値を出力し、他の出力ユニット数が「０」となる場合、行動ラベル情報が「１」、すなわち「仰向け寝」の行動をしていることを示すことになる。

実際には、出力ユニット数の出力値は、０から１の間の確率値となるため、ある１つの出力ユニットが「１」を出力し、他の全ての出力ユニットが「０」を出力するのではなく、ある１つの出力ユニットが「１」に近い、例えば、「０．９」等の確率値を出力し、他の出力ユニットが、「０」に近い確率値を出力することになる。

なお、全結合層１６６，１６９やＬＳＴＭ層１６８は、単一チャネルを対象とする構成である。そのため、分類器１６では、「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ関数」１６５から全結合層１６６の間において、６４チャネル構成を１チャネル構成に変換している。

６４チャネル構成を１チャネル構成に変換するとは、６４ユニット、６４チャネルの値を横に並べて４０９６個の１チャネルの信号とすることである。

分類器３１では、Ｃｏｎｖｏｌｕｔｉｏｎ層１６２，１６４と、「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ関数」１６３，１６５を繰り返して適用して電極間の電位差の経時変化のパターンを段階的に抽出した後、全結合層１６６と、「Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ層＋ｒｅｌｕ関数」１６７と、ＬＳＴＭ層１６８と、全結合層１６９とにより長期依存を含めた特徴抽出及び分類を行っている。

（行動推定システムによる処理）
次に、図６及び図７を参照しつつ行動推定システム１による処理について説明する。図６は、行動推定装置１０が行う処理の流れを示すフローチャートである。図７は、人１００が着衣する衣服の図２に示した箇所に電極２０−１〜２０−４が縫い付けられている場合に、人１００が左腕を上にあげる動作をした際の電位差算出装置３０が算出する各電極間の電位差の経時変化の一例を示す図である。

図７において、人１００ａは、時刻Ａでの人１００の姿勢であり、人１００ｂは、時刻Ｂでの人１００の姿勢であり、人１００ｃは、時刻Ｃでの人１００の姿勢である。また、図７に示すグラフにおいて、変化曲線２０１は、電極２０−３と電極２０−４との間の電位差を示しており、変化曲線２０２は、電極２０−１と電極２０−２との間の電位差を示しており、変化曲線２０３は、電極２０−２と電極２０−４との間の電位差を示しており、変化曲線２０４は、電極２０−１と電極２０−４との間の電位差を示しており、変化曲線２０５は、電極２０−２と電極２０−３との間の電位差を示しており、変化曲線２０６は、電極２０−１と電極２０−３との間の電位差を示している。

時刻Ａでは、人１００ａが示すように左腕を下げている状態であり、各電極間の電位差の値は図７のグラフの変化曲線２０１〜２０６で示される値となる。時刻Ａから時刻Ｂの間に左腕が少しずつあげられ人１００ｂが示す姿勢となる。左腕を上に上げる動作をすることで、左腕の衣服が肩の方向にずれて、左腕に接していた電極２０−３の位置が衣服とともにずれ、電極２０−３と他の電極２０−１，２０−２，２０−４の間の電位差が変化する。図７では、電極２０−３を一方の電極として含む変化曲線２０１，２０５，２０６が変化しており、その中でも破線で示す変化曲線２０６、すなわち電極２０−２と電極２０−３間の電位差が大きく変化していることが示されている。この例のように、人１００の体の動きと衣服の伸縮が完全に一致しないために生じる電極２０−１〜２０−４の位置のずれに伴う電極間の電位差の経時変化の情報が電位差算出装置３０によって算出される。

図６のフローチャートに示すように、データ受付部１４は、電位差算出装置３０が出力する電極の組み合わせごとの電極間の電位差の経時変化のデータを取り込む（ステップＳ１）。行動ラベル受付部１２は、上述したように、以下の処理を繰り返し行っている。すなわち、行動ラベル受付部１２は、行動ラベル情報を選択的に出力する入力装置から行動ラベル情報を受けた場合、計時部１１から時刻情報を取得し、取得した時刻情報と行動ラベル情報とを対応付けて行動ラベル状態記憶部１３に書き込む。行動ラベル受付部１２は、内部にタイマーを有しており、予め定められる時間（例えば、上述した１分間）経過してタイマーが満了した際に、入力装置が行動ラベル情報を出力していない場合、計時部１１に要求して時刻情報を取得し、行動が行われていないことを示す情報である「行動なし」という情報と、取得した時刻情報とを対応付けて行動ラベル状態記憶部１３に書き込む。

データ受付部１４は、電極間の組み合わせごとの電位差の経時変化のデータを取り込んだ際、行動ラベル状態記憶部１３を参照し、最先のレコードとしていずれかの行動ラベル情報が記憶されているか否かを判定する（ステップＳ２）。データ受付部１４は、最先のレコードとして行動ラベル情報が記憶されていると判定した場合（ステップＳ２−記憶されている）、行動ラベル状態記憶部１３に記憶されている行動ラベル情報と、電極間の組み合わせごとの電位差の経時変化のデータとをモデル構築部１５に出力する（ステップＳ３）。

モデル構築部１５は、データ受付部１４が出力する行動ラベル情報と、電極間の組み合わせごとの電位差の経時変化のデータとを取り込む。モデル構築部１５は、６チャンネル分の電極間の組み合わせごとの電位差の経時変化のデータを入力データとして分類器１６に与え、行動ラベル情報を訓練データとして学習処理を行い、分類器１６の各層の重み係数の情報からなる学習データを生成する。

例えば、行動ラベル情報が、図３の行動の種類の項目が「仰向け寝」に対応する行動ＩＤの「１」である場合、分類器１６の全結合層１６９の１１個の出力ユニットのうち行動ＩＤ「１」に対応する出力ユニットの訓練データとして「１」を与えて、他の出力ユニットの訓練データとして「０」を与える。モデル構築部１５は、ソフトマックス関数の交差エントロピーを誤差関数として入力データが与えられた際の分類器１６の全結合層１６９の各出力ユニットの出力値と、各出力ユニットに与えられた訓練データとの誤差を算出する。モデル構築部１５は、算出した誤差に基づいて、最適化手法のＡｄａｍを用いて誤差最小化するように、例えば、誤差逆伝播法により分類器１６の各層の重み係数の値を算出して新たな学習データを生成する。、学習データは、行動ラベル情報と、電極間の電位差の経時変化のデータとに基づいて、電極間の電位差の経時変化のデータに対応する行動ラベル情報を出力するように学習処理が行われることによって生成される。

モデル構築部１５は、学習処理を、予め定められた回数行うか、または、分類器１６の出力データ、すなわち全結合層１６９の出力ユニットの各々が出力する複数の出力値と、訓練データとの誤差が予め定められた閾値以下、または閾値未満となるまで繰り返し行う。モデル構築部１５は、新たな学習データを生成するごとに、生成した学習データを学習データ記憶部１７に書き込んで記憶させる（ステップＳ４）。

一方、データ受付部１４は、最先のレコードとして行動ラベル情報が記憶されていないと判定した場合、すなわち、図４（ｂ）に示すように最先のレコードとして「行動なし」が記憶されている場合（ステップＳ２−記憶されていない）、電極間の組み合わせごとの電位差の経時変化のデータを行動ラベル推定部１８に出力する（ステップＳ５）。

行動ラベル推定部１８は、データ受付部１４から電極間の組み合わせごとの電位差の経時変化のデータを受けると、当該電極間の組み合わせごとの電位差の経時変化のデータをテスト用の入力データとして分類器１６に与えて、分類器１６からの値を取り込む（ステップＳ６）。行動ラベル推定部１８は、行動ラベルテーブル記憶部１９に記憶されている図３のテーブルを参照し、１１個の出力ユニットの出力値の中で最も大きい値の出力ユニットに対応する行動ＩＤに関連付けられている行動の種類を示す情報を読み出して出力する（ステップＳ７）。

上記の実施形態の構成により、行動推定システム１における行動推定装置１０において、データ受付部１４は、人体に接する２つ以上の電極２０の各々が計測する電圧値に基づく電極間の電位差の経時変化のデータを取り込む。学習データ記憶部１７は、学習データを記憶する。分類器１６は、入力データとして与えられる電極間の電位差の経時変化のデータと、学習データ記憶部が記憶する学習データとに基づいて算出する出力データを出力する。モデル構築部１５は、予め定められる人１００の行動の種類を示す複数の行動ラベル情報と、複数の行動ラベル情報の各々に対応する行動が行われた際の電極間の電位差の経時変化のデータとに基づいて、分類器１６が電極間の電位差の経時変化のデータに対応する行動ラベル情報を出力するように学習処理を行い、当該学習処理により生成する学習データを学習データ記憶部に記憶させる。行動ラベル推定部１８は、データ受付部１４が取り込んだ電極間の電位差の経時変化のデータを入力データとして分類器１６に与えて、学習済みの学習データに基づいて分類器１６が出力する出力データに対応する行動の種類を示す情報を出力する。これにより、人体に接した２つ以上の電極２０が計測する電圧値に基づく電位差の経時変化から人１００の行動による体の動きの特徴を抽出し、行動の種類を推定することが可能となる。また、電極２０を用いることから、体幹の動きが小さいゆっくりした行動を含む様々な行動を容易に推定することが可能となる。

また、電極２０は、心電や生体インピーダンスの計測に用いる生体電極と同様のデバイスであり、心電や生体インピーダンスの計測とともに人１００の行動を推定することが可能となる。上述したように、これまで、人１００の行動の種類の推定には、加速度センサやマイク等を利用して行い、一方で、電極２０を用いた心電や生体インピーダンスの計測においては、人１００の体の動きなどによって電極２０の位置が変わるために計測する信号に歪みや雑音が生じることを防ぐ工夫を行っていた。これに対して、上記の実施形態の構成では、加速度センサやマイク等の別のデバイスを用いることなく、心電や生体インピーダンスの計測が可能な電極２０のみを用い、人１００の体の動きなどによって電極２０の位置が変わるために生じる信号の歪みや雑音を利用して、人１００の行動の種類を推定することが可能となっている。

また、上記の実施形態の構成において、図２に示す位置で電極２０が人体と接するようにしているが、図２に示す位置は、一例であり、推定対象とする行動によって電極２０が接する位置が大きく変化する衣服の位置に電極２０を縫い付けることにより、行動の種類の推定の精度を向上させることができる。

また、上記の実施形態の構成において、図３に示すような仰向け、座位、立位といった姿勢とＰＣ操作のような動作とを組み合わせた行動の種類を定義しているが、行動の種類は、図３に示すものに限られるものではない。例えば、姿勢のみの行動の種類や動作のみの行動の種類であってもよい。また、トイレでの排便動作といった血液循環の状態や精神的緊張度に大きく影響を与えうる動作に絞った行動の種類を定義するようにしてもよい。

また、上記の実施形態の構成では、分類器１６は、初段において心電成分を分離して除去する信号分離部１６１を備えている。信号分離部１６１によって、人１００が行う行動と関連性が弱い心電成分を分離して除去することにより、人１００が行う行動に関連が強い歪みや雑音成分を含む電極間の電位差の経時変化のデータを用いて学習処理を行うことができる。そのため、人１００の行動の種類の推定の精度を向上させることができる。一方、本発明の構成は、当該実施の形態に限られず、分類器１６は、信号分離部１６１を備えない構成であってもよい。心電成分を含む電極間の電位差の経時変化のデータを用いて学習処理を行わせる構成であってもよい。また、分類器１６の層の構成として図５に示す構成に対して、Ｐｏｏｌｉｎｇ層を加えてもよいし、ＬＳＴＭ層１６８を除いた構成であってもよい。

また、上記の実施形態の構成において、モデル構築部１５が行う学習処理における最適化手法としてＡｄａｍを適用するようにしているが、本発明の構成は、当該実施の形態に限られず、確率的勾配法などいずれの最適化手法を適用してもよい。

また、上記の実施形態の構成において、電位差算出装置３０によって電極２０間の電位差を算出するようにしているが、本発明の構成は、当該実施の形態に限られず、電位差算出装置３０をデータ受付部１４に含めるようにして、データ受付部１４が各電極２０から取り込んだ電圧値に基づいて、電極間の電位差を算出するようにしてもよい。

また、上記の実施形態の構成において、行動ラベル状態記憶部１３において、行動ラベル受付部１２が外部の入力装置から取り込んだ行動ラベル情報を記憶するようにしているが、本発明の構成は、当該実施の形態に限られない。行動ラベル状態記憶部１３を備えずに、入力装置が継続して行動ラベル情報を出力し、行動ラベル受付部１２が継続して取り込んだ行動ラベル情報をデータ受付部１４に出力するようにしてもよい。この場合、データ受付部１４は、継続して行動ラベル受付部１２から行動ラベル情報を受けている間は、受けている行動ラベル情報と、電極間の電位差の経時変化のデータをモデル構築部１５に出力する。入力装置が行動ラベル情報の出力を停止し、行動ラベル受付部１２が行動ラベル情報をデータ受付部１４に出力しない間は、データ受付部１４は、電極間の電位差の経時変化のデータを行動ラベル推定部１８に出力することになる。

上述した実施形態における行動推定装置１０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…行動推定システム，１０…行動推定装置，１１…計時部，１２…行動ラベル受付部，１３…行動ラベル状態記憶部，１４…データ受付部，１５…モデル構築部，１６…分類器，１７…学習データ記憶部，１８…行動ラベル推定部，１９…行動ラベルテーブル記憶部，２０−１、２０−２…電極，３０…電位差算出装置

Claims (4)

1. 人体に接する２つ以上の電極の各々が計測する電圧値に基づく電極間の電位差の経時変化のデータを取り込むデータ受付部と、
   予め定められる人の行動の種類を示す複数の行動ラベル情報と、前記複数の行動ラベル情報の各々に対応する行動が行われた際の前記電極間の電位差の経時変化のデータとに基づいて前記電極間の電位差の経時変化のデータに対応する前記行動ラベル情報を出力するように学習処理が行われることによって生成される学習データと、前記電極間の電位差の経時変化のデータとに基づいて得られる出力データを出力する分類器と、
   前記データ受付部が取り込んだ前記電極間の電位差の経時変化のデータを前記分類器に与えて、前記分類器が出力する前記出力データに対応する前記行動の種類を示す情報を出力する行動ラベル推定部と、
   を備え、
   外部から供給される前記行動ラベル情報を取り込む行動ラベル受付部と、
   前記行動ラベル情報と、前記電極間の電位差の経時変化のデータとに基づいて、学習処理を行うことによって前記学習データを生成するモデル構築部をさらに備え、
   前記データ受付部は、
   前記行動ラベル受付部が前記行動ラベル情報を取り込んだ場合、前記電極から取り込んだ前記電極間の電位差の経時変化のデータと、前記行動ラベル受付部が取り込んだ前記行動ラベル情報とを前記モデル構築部に出力し、
   前記行動ラベル受付部が前記行動ラベル情報を取り込んでいない場合、前記電極から取り込んだ前記電極間の電位差の経時変化のデータを前記行動ラベル推定部に出力する行動推定装置。
2. 前記電極の少なくとも１つが、前記人の体が動くことにより前記人体に接する位置が変化するように配置されている、請求項１に記載の行動推定装置。
3. 前記分類器は、
   前記電極間の電位差の経時変化のデータから前記人の心電成分を分離して除去する信号分離部を備える、請求項１又は２に記載の行動推定装置。
4. 人体に接する２つ以上の電極の各々が計測する電圧値に基づく電極間の電位差の経時変化のデータを取り込み、
   前記電極間の電位差の経時変化のデータを、予め定められる人の行動の種類を示す複数の行動ラベル情報と、前記複数の行動ラベル情報の各々に対応する行動が行われた際の前記電極間の電位差の経時変化のデータとに基づいて前記電極間の電位差の経時変化のデータに対応する前記行動ラベル情報を出力するように学習処理が行われることによって生成される学習データと、前記電極間の電位差の経時変化のデータとに基づいて得られる出力データを出力する分類器に与えて、前記分類器が出力する前記出力データに対応する前記行動の種類を示す情報を出力し、
   外部から供給される前記行動ラベル情報を取り込み、
   前記行動ラベル情報と、前記電極間の電位差の経時変化のデータとに基づいて、学習処理を行うことによって前記学習データを生成し、
   前記行動ラベル情報を取り込んだ場合、前記電極から取り込んだ前記電極間の電位差の経時変化のデータと、取り込んだ前記行動ラベル情報とをモデル構築部に出力し、
   前記行動ラベル情報を取り込んでいない場合、前記電極から取り込んだ前記電極間の電位差の経時変化のデータを行動ラベル推定部に出力する行動推定方法。

Images