JP6577324B2 - 行動判定装置及び行動判定方法 - Google Patents

Description

本発明の実施形態は、行動判定装置及び行動判定方法に関する。

従来より、加速度センサ、カメラなどを利用して人の行動を判定する技術が、種々提案されている。このような技術は、例えば一人暮らしの者の状況を把握するシステムに、応用可能である。

また、音情報を使用して対象者の行動を判定する技術が提案されている。例えば、入力された音情報の特徴量情報と、特定の行動と対応付けられている所定モデルの特徴量情報とを比較することにより、行動判定は行われる。

行動判定に使用されるモデルは、ユーザの指示により、入力された音情報から学習して、モデル情報を蓄積させる技術も提案されている。

しかしながら、予め登録されたプリセットモデル情報に近いモデルが学習によって新たに蓄積されると、プリセットモデル情報と新しいモデルとの区別がつきにくくなり、行動判定の精度を低下させることがある。

特開２０１０−１９０８６１号公報

そこで、本実施形態は、プリセットモデル情報に対する判定精度を低下させることなく、ユーザモデル情報を蓄積させることができる行動判定装置及び行動判定方法の提供を目的とする。

実施形態の行動判定装置は、プリセットモデル部と、ユーザモデル部と、情報取得部と、情報抽出部と、モデル作成部と、行動認識部とを有し、プリセットモデル部は、複数のプリセットモデル情報を記憶可能であり、ユーザモデル部は、複数のユーザモデル情報を記憶可能であり、情報取得部によって取得される所定の情報から特徴情報を抽出し、特徴情報と、プリセットモデル部に記憶される各プリセットモデル情報との類似度を含む類似度情報に基づいて特徴情報の使用可否を判定し、特徴情報が使用可能であるとき、特徴情報からユーザモデル情報を作成し、特徴情報と、少なくともユーザモデル情報とに基づいて行動認識する。プリセットモデル部は、認識対象行動のプリセットモデル情報を含む認識対象行動グループと、認識対象行動以外のプリセットモデル情報を含むその他行動グループとを含む。行動認識部は、特徴情報が、認識対象行動グループに属すると判定されるとき、プリセットモデル部を参照して行動認識をし、特徴情報が、その他行動グループに属すると判定されるとき、プリセットモデル部に加えてユーザモデル部を参照して行動認識をする。

第１の実施形態に関わる、行動判定装置の主要部の構成を説明するブロック図である。 第１の実施形態に関わる、行動判定装置のウェアラブル端末の構成を示すブロック図である。 第１の実施形態に関わる、行動判定装置のウェアラブル端末の外観図である。 第１の実施形態に関わる、行動判定装置のウェアラブル端末を腕に装着した状態を説明する説明図である。 第１の実施形態に関わる、行動判定装置の学習処理の流れを説明するフローチャートである。 第１の実施形態に関わる、行動判定装置の類似度の判定方法を説明する説明図である。 第１の実施形態に関わる、行動判定装置のウェアラブル端末における行動認識処理の流れを説明するフローチャートである。 第１の実施形態の変形例１に関わる、行動判定装置のウェアラブル端末における行動認識処理の流れを説明するフローチャートである。 第１の実施形態の変形例１に関わる、行動判定装置のユーザモデル使用判定処理の流れを説明するフローチャートである。 第１の実施形態の変形例２に関わる、行動判定装置のユーザモデル使用判定処理の流れを説明するフローチャートである。 第２の実施形態に関わる、行動判定装置の主要部の構成を説明するブロック図である。 第２の実施形態に関わる、姿勢と認識対象行動との対応関係を示すテーブルである。 第３の実施形態に関わる、行動判定装置の主要部の構成を説明するブロック図である。

以下、図面を参照して実施形態を説明する。

（第１の実施形態の構成）
図１は、第１の実施形態に関わる、行動判定装置１の主要部の構成を説明するブロック図である。図１において、実線は学習処理の流れを示し、破線は行動認識処理の流れを示す。

図１に示すように、行動判定装置１は、ウェアラブル端末１１と、携帯情報端末１０１とを有して構成される。

ウェアラブル端末１１の主要部は、情報取得部２１と、制御部３１と、プリセットモデル部４１と、ユーザモデル部５１と、無線通信部Ｃ１とを有して構成される。

情報取得部２１は、マイクロフォン２２と、デジタル・シグナル・プロセッサ（以下、ＤＳＰという）２４とを有して構成される。

マイクロフォン２２は、集音口２３（図３）の背面側に配置される。マイクロフォン２２は、外部の音を集音し、音信号をＤＳＰ２４に出力するように構成される。

ＤＳＰ２４は、マイクロフォン２２から出力される音信号に基づいて、音情報を生成し、制御部３１に出力するように構成される。

マイクロフォン２２とＤＳＰ２４は、電力消費量を抑えることができるように、制御部３１の制御のもと、例えば、１００ｍｓｅｃ動作して９００ｍｓｅｃ休止する等の所定周期の間欠動作を繰り返す。

制御部３１は、中央処理装置（以下「ＣＰＵ」という）３２と、ＲＯＭ、ＲＡＭ及び書き換え可能な不揮発性メモリを含むメモリ３３を有して構成される。

ＣＰＵ３２は、メモリ３３に記憶された各種プログラムを実行可能である。ＣＰＵ３２の機能は、メモリ３３に記憶された各種プログラムを実行することによって実現される。

また、ＣＰＵ３２は、ユーザの行動判定において、省電力化のためにマイクロフォン２２及びＤＳＰ２４を間欠動作させるように、マイクロフォン２２及びＤＳＰ２４のオン・オフ制御を行う。

メモリ３３には、ウェアラブル端末１１の制御に関する各種プログラムの他、特徴量抽出部３４及び行動認識部３５の各プログラムが記憶される。

情報抽出部である特徴量抽出部３４は、マイクロフォン２２及びＤＳＰ２４によって取得される所定の情報である音情報から、特徴情報である特徴量情報を抽出する処理部である。すなわち、情報抽出部は、情報取得部２１によって取得される所定の情報から特徴情報を抽出する処理部を構成する。

特徴量抽出部３４は、音情報が入力される度に、音情報から複数の特徴量情報を算出して抽出し、抽出された特徴量情報を正規化する。正規化された特徴量情報は、後述する行動認識処理において、行動認識部３５に出力される。また、正規化された特徴量情報は、後述する学習処理において、無線通信部Ｃ１、Ｃ２を介し、携帯情報端末１０１のモデル作成部１３４に出力される。

特徴量情報は、例えば、ＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、ＲＭＳ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ：二乗平均平方根）、及びＺＣＲ（Ｚｅｒｏ−Ｃｒｏｓｓｉｎｇ Ｒａｔｅ：ゼロ交差率）の３種類が複数抽出される。ＭＦＣＣでは、人間の聴覚上重要な周波数成分を強調した特徴量情報が用いられ、ＲＭＳでは、音の強度の特徴量情報が用いられ、ＺＣＲでは、音の高さ、すなわち、ピッチの特徴量情報が用いられる。なお、ここでは、ＭＦＣＣ、ＲＭＳ、ＺＣＲの３種類の特徴量情報を用いているが、これら以外の特徴量情報を用いてもよい。

行動認識部３５は、特徴情報である特徴量情報と、少なくともユーザモデル情報とに基づき、行動を認識する処理部である。より具体的には、行動認識部３５は、特徴量情報と、後述するプリセットモデル情報及びユーザモデル情報とに基づいて行動を認識する処理部である。

行動認識部３５は、特徴量抽出部３４によって抽出された複数の特徴量情報を、後述するプリセットモデル部４１及びユーザモデル部５１を参照してプリセットモデル部４１及びユーザモデル部５１に含まれるいずれか１つのモデル情報に分類してモデル情報に対する評価値を算出可能であり、所定期間に算出された複数の評価値に基づいて行動認識をし、無線通信部Ｃ１、Ｃ２を介し、後述する携帯情報端末１０１の認識結果出力部１３５に認識結果を送信する。

特徴量情報の分類処理は、プリセットモデル部４１及びユーザモデル部５１に含まれるプリセットモデル情報及びユーザモデル情報を参照し、例えば、サポート・ベクター・マシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）を利用し、入力された複数の特徴量情報がどのクラスすなわち行動に属するかの推定を行い、推定された行動と、その推定確率とを出力する。なお、特徴量情報の分類処理は、サポート・ベクター・マシン以外の方法も利用し、複数の特徴量情報から行動の推定を行うようにしてもよい。

プリセットモデル部４１及びユーザモデル部５１は、書き換え可能な不揮発性メモリによって構成され、行動認識部３５から参照できるように構成される。

プリセットモデル部４１は、工場出荷前等にプリセットされる複数のプリセットモデル情報を記憶可能である。

ユーザモデル部５１は、ユーザによって作成される複数のユーザモデル情報を記憶可能である。

プリセットモデル部４１及びユーザモデル部５１の各々は、認識対象行動のモデル情報を含む認識対象行動グループと、認識対象行動以外のプリセットモデル情報を含むその他行動グループとを含む。

認識対象行動グループは、１又は複数の認識対象行動と、認識対象行動に対応付けられた特徴量情報を有して構成される。

その他行動グループは、認識対象行動の判定精度を高めるため、プリセットモデル情報及びユーザモデル情報のいずれにも属さない、１又は複数のその他行動と、その他行動に対応付けられた特徴量情報を有して構成される。

無線通信部Ｃ１は、近距離無線通信により、携帯情報端末１０１の無線通信部Ｃ２と無線通信する回路である。

図２は、第１の実施形態に関わる、行動判定装置１のウェアラブル端末１１の構成を示すブロック図である。

ウェアラブル端末１１は、上述した情報取得部２１、制御部３１、プリセットモデル部４１、ユーザモデル部５１及び無線通信部Ｃ１に加え、図２に示すように、時計部６１と、表示部７１と、タッチパネル７２と、操作部８１と、バッテリー９１とを有して構成される。

時計部６１は、時刻情報を生成可能であり、時刻情報を制御部３１に送信可能である。

表示部７１は、制御部３１に接続され、制御部３１の出力により、各種情報を表示可能である。

タッチパネル７２は、表示部７１の表示面上に密着して配置される。タッチパネル７２は、タッチ操作やスワイプ操作（タッチパネル７２に手指をタッチしてそのまま滑らせる操作）による指示入力が可能である。タッチパネル７２は、制御部３１に接続され、ユーザの指示入力を電気信号として制御部３１に出力可能である。

操作部８１は、操作ボタンを有して構成される。操作部８１は、制御部３１に接続され、現在時刻又は各種設定等の各種指示の入力が可能である。

バッテリー９１は、ウェアラブル端末１１の各部に電力を供給できるように構成される。

図３は、第１の実施形態に関わる、行動判定装置１のウェアラブル端末１１の外観図である。図４は、第１の実施形態に関わる、行動判定装置１のウェアラブル端末１１を腕Ａに装着した状態を説明する説明図である。

ウェアラブル端末１１の外観構成について説明をする。

図３に示すように、ウェアラブル端末１１は、所謂リストバンド型の端末であり、本体部１２と装着部１３を有して構成される。

本体部１２は、表面に集音口２３と、表示部７１と、表示部７１の表示面上に密着して配置されたタッチパネル７２とを有して構成される。本体部１２は、側面に、操作部８１を有して構成される。なお、図３においては、操作部８１は、本体部１２の側面に設けられているが、本体部１２の表面に設けられても良い。

装着部１３は、本体部１２の長手方向両端部に取り付けられる２本のリストバンド１４を有して構成される。２本のリストバンド１４は、それぞれ細長帯状に形成され、先端に留め具１５を有して構成される。

図４に示すように、ユーザは、本体部１２をユーザの利き腕Ａである右の腕Ａの外側（手の甲側）に配置し、２本のリストバンド１４をそれぞれ腕Ａの内側（手のひら側）に回し、留め具１５を留め、ウェアラブル端末１１を腕Ａに装着可能である。

続いて、図１に戻り、携帯情報端末１０１の主要部について説明をする。

携帯情報端末１０１の主要部は、無線通信部Ｃ２と、制御部１３１と、表示部１７１と、タッチパネル１７２とを有して構成される。

携帯情報端末１０１の無線通信部Ｃ２は、近距離無線通信により、ウェアラブル端末１１と無線通信する回路である。

制御部１３１は、中央処理装置（以下「ＣＰＵ」という）１３２と、ＲＯＭ、ＲＡＭ及び書き換え可能な不揮発性メモリとを含むメモリ１３３とを有して構成される。

ＣＰＵ１３２の機能は、メモリ１３３に記憶された各種プログラムを実行することによって実現される。

メモリ１３３には、行動判定に関する各種プログラムの他、モデル作成部１３４及び認識結果出力部１３５の各プログラムが記憶される。

モデル作成部１３４は、無線通信部Ｃ１、Ｃ２を介してウェアラブル端末１１の特徴量抽出部３４から入力される特徴量情報と、プリセットモデル部４１及びユーザモデル部５１に記憶される各モデル情報との類似度情報に基づいて特徴量情報の使用可否を判定し、特徴量情報が使用可能であるとき、特徴量情報からユーザモデル情報を作成し、無線通信部Ｃ１、Ｃ２を介し、作成されたユーザモデル情報をユーザモデル部５１に出力する処理部である。

モデル作成部１３４は、新たなユーザモデル情報作成前において、類似度情報に基づいて、特徴量情報に類似するモデル情報がプリセットモデル部４１及びユーザモデル部５１にないとき、特徴情報を使用可能であると判定する。

認識結果出力部１３５は、ウェアラブル端末１１の行動認識部３５から入力される行動認識結果に基づいて、表示用データを生成し、表示部１７１に出力する処理部である。なお、認識結果出力部１３５は、ウェアラブル端末１１から入力される行動認識結果を記憶し、ユーザの指示によって行動認識結果を集計する機能を持たせても構わない。

表示部１７１は、本体部１２の表面に配置される。表示部１７１は、制御部１３１に接続され、制御部１３１から出力される表示用データにより、各種情報を表示可能である。

タッチパネル１７２は、表示部１７１の表示面上に密着して配置される。タッチパネル１７２は、制御部１３１に接続され、ユーザの指示入力を電気信号として制御部１３１に出力可能である。

上述の構成により、行動判定装置１は、情報取得部２１が音情報を取得可能であり、特徴量抽出部３４が取得された音情報から特徴量情報を抽出可能であり、モデル作成部１３４が抽出された特徴量情報からプリセットモデル部４１及びユーザモデル部５１に記憶されるモデル情報とは類似しないユーザモデル情報を作成可能であり、作成されたユーザモデル情報をユーザモデル部５１が蓄積可能であるように構成される。

（作用）
上述した行動判定装置１の作用について説明をする。

図５は、第１の実施形態に関わる、行動判定装置１の学習処理の流れを説明するフローチャートである。

ユーザは、図４に示すように、腕Ａにウェアラブル端末１１を装着する。ユーザは、ウェアラブル端末１１と携帯情報端末１０１との各々を起動させ、互いに無線通信部Ｃ１、Ｃ２を介して通信可能な状態にさせる。

ユーザ操作によって携帯情報端末１０１を学習モードに設定する（ステップ（以下Ｓと略す）１）。Ｓ１では、携帯情報端末１０１のタッチパネル１７２によって学習モードの指示入力があると、携帯情報端末１０１は、学習モードに設定される。さらに、制御部１３１は、無線通信部Ｃ２を介し、ウェアラブル端末１１の制御部３１に対し、学習モードに設定するコマンドを送信する。

制御部３１が当該コマンドを受信すると、ウェアラブル端末１１は、学習モードに設定される（Ｓ１Ｗ）。

ユーザ操作によって学習対象行動を選択する（Ｓ２）。Ｓ２では、制御部１３１は、表示部１７１に学習対象行動の一覧を表示させ、タッチパネル１７２を介して学習対象行動を入力可能な状態にする。ユーザは、表示部１７１に表示された学習対象行動の一覧を参照しながら、タッチパネル１７２を操作し、学習対象行動の入力指示を行う。また、ユーザは、タッチパネル１７２を介し、一覧にない学習対象行動を文字入力しても構わない。

ユーザ操作によって携帯情報端末１０１に対して録音開始の指示入力をする（Ｓ３）。ユーザからタッチパネル１７２を介して録音開始の入力指示があると、制御部１３１は、無線通信部Ｃ１、Ｃ２を介し、ウェアラブル端末１１の制御部３１に対し、録音開始のコマンドを送信する。

制御部３１が当該コマンドを受信すると、ウェアラブル端末１１は、録音を開始する（Ｓ３Ｗ）。Ｓ３Ｗでは、制御部３１は、マイクロフォン２２及びＤＳＰ２４に対し、制御信号を送信し、間欠動作を開始させる。マイクロフォン２２は外部の音を集音し、ＤＳＰ２４に音信号を出力する。ＤＳＰ２４は、音信号から音情報を生成し、制御部３１に対して出力する。

制御部３１は、ＤＳＰ２４から出力される音情報から特徴量情報を抽出する（Ｓ４Ｗ）。制御部３１は、無線通信部Ｃ１、Ｃ２を介し、携帯情報端末１０１の制御部１３１に抽出された特徴情報である特徴量情報を送信する。

制御部１３１は、特徴量情報を受信する（Ｓ４）。

制御部１３１は、データ検証をする（Ｓ５）。Ｓ５では、制御部１３１は、プリセットモデル部４１に記憶されるプリセットモデル情報及びユーザモデル部５１に記憶されるユーザモデル情報毎に、抽出された特徴量情報との類似度を算出する。類似度は、例えば、各モデルと、抽出された特徴量情報との各クラスの重心間の距離を演算して算出される。なお、これ以外の方法によって類似度が算出されても構わない。

制御部１３１は、データが利用可能であるか否かを判定する（Ｓ６）。Ｓ６では、抽出された特徴量情報に類似するプリセットモデル情報又はユーザモデル情報が既にあるか否かを判定する。より具体的には、Ｓ６では、Ｓ５で算出された類似度に基づき、抽出された特徴情報である特徴量情報に類似するプリセットモデル情報又はユーザモデル情報がないとき、制御部１３１は、抽出された特徴量情報を利用可能と判定し、処理は、Ｓ７に進む。一方、抽出された特徴量情報に類似するプリセットモデル情報又はユーザモデル情報が既にあるとき、制御部１３１は、抽出された特徴量情報を利用不可と判定し、処理は、Ｓ６Ｎに進む。

図６は、第１の実施形態に関わる、行動判定装置１の類似度の判定方法を説明する説明図である。

図６は、プリセットモデル部４１には、認識対象行動として行動１から行動Ｎのプリセットモデル情報が記憶され、ユーザモデル部５１には、認識対象行動として行動Ｎ＋１のユーザモデル情報が記憶され、プリセットモデル部４１及びユーザモデル部５１の各々には、その他行動としてその他１からその他Ｎのモデル情報が記憶される例である。

図６では、例えば、Ｓ２で入力された学習対象行動を行動Ｍとすると、行動Ｍに対応付けられる抽出された特徴量情報に対し、行動１から行動Ｎに対応付けられる各プリセットモデル情報の類似度と、行動Ｎ＋１に対応付けられるユーザモデル情報の類似度とが算出される。行動Ｍの特徴量情報に類似するモデルが行動１から行動Ｎ＋１にあるとき、抽出された特徴量情報は利用不可と判定される。一方、行動Ｍの特徴量情報に類似するモデルが行動１から行動Ｎ＋１にないとき、抽出された特徴量情報は利用可能と判定される。

Ｓ６Ｎでは、制御部１３１は、学習のやり直しを促すメッセージをユーザに通知し、処理をＳ２に戻す。

制御部１３１は、モデルを作成する（Ｓ７）。Ｓ７では、制御部１３１は、抽出された音情報に基づいて、ユーザモデル情報を作成する。

制御部１３１は、無線通信部Ｃ１、Ｃ２を介し、Ｓ７で作成されたユーザモデル情報をウェアラブル端末１１に送信する（Ｓ８）。

ウェアラブル端末１１は、携帯情報端末１０１からユーザモデル情報を受信し、ユーザモデル情報をユーザモデル部５１に記憶させる（Ｓ８Ｗ）。

ウェアラブル端末１１と、携帯情報端末１０１とは、学習モードを終了する（Ｓ９、Ｓ９Ｗ）。

上述のＳ１からＳ９Ｗの処理が学習処理を構成する。

上述のＳ４Ｗの処理が特徴量抽出部３４の処理を構成する。

上述のＳ５からＳ７の処理がモデル作成部１３４の処理を構成する。

次に、行動認識部３５における行動認識処理の流れを説明する。

図７は、第１の実施形態に関わる、行動判定装置１のウェアラブル端末１１における行動認識処理の流れを説明するフローチャートである。

ユーザが、ウェアラブル端末１１の操作部８１（又は携帯情報端末１０１のタッチパネル１７２）を介して行動認識処理開始の指示入力をすると、制御部３１（又は制御部１３１）は行動認識モードに設定される。

続いて、制御部３１は、マイクロフォン２２及びＤＳＰ２４の間欠動作を開始させる。マイクロフォン２２は外部の音を集音し、ＤＳＰ２４に音信号を出力する。ＤＳＰ２４は、音信号から音情報を生成し、制御部３１に出力する。

制御部３１は、特徴量情報を抽出する（Ｓ１１）。Ｓ１１では、特徴量抽出部３４の処理により、ＤＳＰ２４から出力される音情報から特徴量情報を抽出する。

制御部３１は、プリセットモデル部４１を使用した分類処理をする（Ｓ１２）。Ｓ１２では、制御部３１は、行動認識部３５の処理により、プリセットモデル部４１を参照しながら、抽出された特徴量情報を複数のプリセットモデル情報のいずれかに分類する。

行動認識部３５は、所定時間Ｔｓ毎に音情報に基づいて推定した行動の情報を認識結果とし、所定期間Ｔｍ分毎に、認識結果と認識結果の推定確率とを所定数Ｎ個だけ蓄積する。例えば、所定期間Ｔｓが１秒間であり、所定期間Ｔｍが１分間であるとき、所定Ｎは６０である。

行動認識部３５は、所定期間Ｔｍ毎に、プリセットモデル部４１に記憶される全てのプリセットモデル情報に対して認識結果の出現頻度をカウントする。例えば、プリセットモデル情報の「トイレに行く」という行動が、１分間（所定期間Ｔｍ）に３０回認識されていれば、その行動の出現頻度は３０である。

行動認識部３５は、プリセットモデル情報の中で出現頻度がカウントされた各行動に対し、出現頻度が頻度閾値Ｔｈ１より高いか否かを判定する。出現頻度が頻度閾値Ｔｈ１より高いとき、誤認識を防止できるように、後述する確率閾値Ｔｈ２と回数閾値Ｔｈ３は、所定数だけ引き上げられる。頻度閾値Ｔｈ１は、認識対象行動毎に異なる。

行動認識部３５は、推定確率が確率閾値Ｔｈ２以上である認識結果の連続回数が回数閾値Ｔｈ３以上であるか否かを判定する。確率閾値Ｔｈ２及び回数閾値Ｔｈ３は、経験的又は実験的に設定される値である。例えば、「トイレに行く」という行動は、１分間においてどの程度の推定確率で、どの程度の連続性を持って出現するかが経験的に又は実験的に判定され、確率閾値Ｔｈ２及び回数閾値Ｔｈ３が設定される。

行動認識部３５は、推定確率が確率閾値Ｔｈ２以上である認識結果の連続回数が回数閾値Ｔｈ３以上であるとき、抽出された特徴量情報を当該行動に分類する。当該行動への分類とともに、行動認識部３５は、当該行動のランクを算出する。ランクは評価値である。ランクの値は、例えば、推定確率が確率閾値Ｔｈ２以上である認識結果が連続したときの推定確率の和である。

制御部３１は、ユーザモデル部５１を使用した分類処理をする（Ｓ１３）。Ｓ１３では、制御部３１は、行動認識部３５の処理により、ユーザモデル部５１を参照しながら、抽出された特徴量情報を複数のユーザモデル情報のいずれかに分類する。ユーザモデル情報を使用した分類処理は、Ｓ１２と同様である。行動認識部３５は、Ｓ１２と同様に、抽出された特徴量情報をユーザモデル情報のいずれかの行動に分類し、当該行動のランクを算出する。

制御部３１は、最高ランクの認識結果を所定期間Ｔｍの行動として出力する（Ｓ１４）。Ｓ１４では、Ｓ１２及びＳ１３において、所定期間Ｔｍ内に分類された複数の行動及びランクに基づいて、最高ランクの認識結果を所定期間Ｔｍの行動として判定し、無線通信部Ｃ１、Ｃ２を介して携帯情報端末１０１の認識結果出力部１３５に、行動認識結果を出力する。

認識結果出力部１３５は、ウェアラブル端末１１から入力される行動認識結果を集計し、表示用データを生成し、表示部に表示させる。

上述のＳ１２〜Ｓ１４の処理が行動認識部３５の処理を構成する。

上述したように、行動判定装置１は、特徴量抽出部３４により、情報取得部２１によって取得される所定の情報から特徴情報を抽出し、モデル作成部１３４により、特徴情報に類似するモデル情報がプリセットモデル部４１及びユーザモデル部５１にないとき、特徴情報からユーザモデル情報を作成し、ユーザモデル情報をユーザモデル部５１に蓄積させ、行動認識部３５により、特徴情報に基づいて、プリセットモデル部４１と、ユーザモデル部５１とを参照して行動認識処理をする。

上述の第１の実施形態によれば、プリセットモデル部４１に記憶されたプリセットモデル情報に類似するユーザモデル情報の追加を防ぐことができ、プリセットモデル情報に対する認識精度を低下させることなく、ユーザモデル情報を蓄積させることができる。

（第１の実施形態の変形例１）
上述の第１の実施形態では、行動認識処理において、プリセットモデル部４１と、ユーザモデル部５１との両方が使用されるが、特徴量情報が、認識対象行動グループに属すると判定されるとき、プリセットモデル部４１を参照して行動認識をし、特徴量情報が、その他行動グループに属すると判定されるとき、プリセットモデル部４１に加えてユーザモデル部５１を使用して行動認識がされてもよい。

図８は、第１の実施形態の変形例１に関わる、行動判定装置１のウェアラブル端末１１における行動認識処理の流れを説明するフローチャートである。図９は、第１の実施形態の変形例１に関わる、行動判定装置１のユーザモデル使用判定処理の流れを説明するフローチャートである。

第１の実施形態の変形例１においては、第１の実施形態と同じ処理については説明を省略する。

制御部３１は、特徴量情報を抽出する（Ｓ２１）。Ｓ２１では、特徴量抽出部３４の処理により、ＤＳＰ２４から出力される音情報から特徴量情報を抽出する。

制御部３１は、プリセットモデル部４１を使用した分類処理をする（Ｓ２２）。Ｓ２２では、制御部３１は、行動認識部３５の処理により、プリセットモデル部４１を参照しながら、プリセットモデル情報の行動のいずれかに抽出された特徴量情報を分類し、ランクを算出する。

制御部３１は、ユーザモデル使用判定をする（Ｓ２３）。図９のユーザモデル使用判定処理に示すように、Ｓ２３では、Ｓ２２のプリセットモデル部５１を使用した分類処理において、その他行動に分類されているとき（Ｓ２３ａ：Ｙｅｓ）、制御部３１は、ユーザモデル使用変数にＴｒｕｅをセットする（Ｓ２３ｂ）。一方、Ｓ２２において、その他行動に分類されていないとき（Ｓ２３ａ：Ｎｏ）、制御部３１は、ユーザモデル使用変数にＦａｌｓｅをセットする（Ｓ２３ｃ）。ユーザモデル使用変数に判定結果の値がセットされた後、処理は、Ｓ２４に進む（Ｓ２３ｄ）。

制御部３１は、ユーザモデル使用変数の値を判定する（Ｓ２４）。ユーザモデル使用変数の値がＴｒｕｅのとき、Ｓ２５に進む。一方、ユーザモデル使用変数の値がＦａｌｓｅのとき、Ｓ２６に進む。

制御部３１は、ユーザモデル部５１を使用した分類処理をする（Ｓ２５）。Ｓ２５では、制御部３１は、行動認識部３５の処理により、ユーザモデル部５１を参照しながら、ユーザモデル情報の行動のいずれかに抽出された特徴量情報を分類し、ランクを算出する。

制御部３１は、最高ランクの認識結果を所定期間Ｔｍの行動として出力する（Ｓ２６）。Ｓ２６では、Ｓ２２、又は、Ｓ２２とＳ２５の処理において、所定期間Ｔｍ内に分類された複数の行動及びランクに基づいて、最高ランクの認識結果を所定期間Ｔｍの行動として判定し、無線通信部Ｃ１、Ｃ２を介して携帯情報端末１０１の認識結果出力部１３５に、行動認識結果を出力する。

上述の第１の実施形態の変形例１によれば、プリセットモデル部のみを参照して行動判定可能であるときには、プリセットモデル部のみを参照して行動認識処理をし、処理量を削減し、バッテリー消費量を抑え、ユーザモデル情報を蓄積させることができる。

（第１の実施形態の変形例２）
第１の実施形態の変形例１では、特徴量情報が、その他行動グループに属すると判定されるとき、プリセットモデル部４１に加えてユーザモデル部５１を使用して行動認識をするが、分類結果のプリセットモデル情報に類似するユーザモデル情報があるとき、プリセットモデル部４１に加えてユーザモデル部５１を使用した行動認識をしてもよい。

第１の実施形態の変形例２では、行動判定装置１は、類似度情報部Ｓを有して構成される（図１の２点鎖線）。類似度情報部Ｓは、学習処理におけるデータ検証（Ｓ５）の際に算出された類似度情報を記憶できるように構成される。すなわち、モデル作成部１３４は、学習処理の際、作成されたユーザモデル情報とともに、類似度情報をウェアラブル端末１１に送信し、類似度情報部Ｓに蓄積させる。行動認識部３５は、類似度情報部Ｓを参照可能であり、類似度情報部Ｓの類似度情報に基づいて、分類結果のプリセットモデル情報に類似するユーザモデル情報があるか否かを判定する。

図１０は、第１の実施形態の変形例２に関わる、行動判定装置１のユーザモデル使用判定処理の流れを説明するフローチャートである。図１０では、ユーザモデル使用判定処理のみを説明し、他の処理は第１の実施形態の変形例１と同じであるため、説明を省略する。

制御部３１は、特徴量情報を抽出する（図８のＳ２１）。

制御部３１は、プリセットモデル部４１を使用した分類処理を行う（図８のＳ２２）。

制御部３１は、プリセットモデル部４１を使用した分類結果がその他行動であるか否かを判定する（Ｓ３３ａ）。図１０のユーザモデル使用判定処理に示すように、Ｓ３３ａでは、Ｓ２２において抽出された特徴量情報がその他行動に分類されているとき（Ｓ３３ａ：Ｙｅｓ）、処理は、Ｓ３３ｃに進む。一方、Ｓ２２において抽出された特徴量情報がその他行動に分類されていないとき（Ｓ３３ａ：Ｎｏ）、処理は、Ｓ３３ｂに進む。

制御部３１は、プリセットモデル部４１を使用した分類結果と類似度の高い行動がユーザモデル部５１にあるか否かを判定する（Ｓ３３ｂ）。Ｓ３３ｂでは、類似度情報部Ｓに記憶された類似度情報を参照し、プリセットモデル部４１を使用した分類結果に対して所定閾値以上の類似度を有する行動がユーザモデル部５１にあるか否かを判定し、所定閾値以上の類似度を有する行動がユーザモデル部５１にあるとき（Ｓ３３ｂ：Ｙｅｓ）、ユーザモデル使用変数にＴｒｕｅをセットする（Ｓ３３ｃ）。一方、所定閾値以上の類似度を有する行動がユーザモデル部５１にないとき（Ｓ３３ｂ：Ｎｏ）、ユーザモデル使用変数にＦａｌｓｅをセットする（Ｓ３３ｄ）。所定閾値は、行動認識処理部の判定精度を高めることができるように、予め設定される。

ユーザモデル使用変数にＴｒｕｅ又はＦａｌｓｅがセットされた後、処理はＳ２４に進む（Ｓ３３ｅ）。

上述の第１の実施形態の変形例２によれば、ユーザモデル部５１を参照しなくても行動判定可能であるときには、プリセットモデル部４１のみを参照して行動認識処理をし、処理量を削減し、バッテリー９１の消費量を抑え、ユーザモデル情報を蓄積させることができる。

（第２の実施形態）
第１の実施形態、第１の実施形態の変形例１及び第１の実施形態の変形例２では、情報取得部２１は、マイクロフォン２２とＤＳＰ２４を有して構成されるが、情報取得部２１は、さらに生体センサである加速度センサ２５を有して構成されてもよい。

図１１は、第２の実施形態に関わる、行動判定装置１の主要部の構成を説明するブロック図である。図１２は、第２の実施形態に関わる、姿勢と認識対象行動との対応関係を示すテーブルＴＬ１である。第２の実施形態においては、第１の実施形態、第１の実施形態の変形例１及び第１の実施形態の変形例２と同じ構成については、同じ符号を付し、説明を省略する。

図１１に示すように、行動判定装置１ａは、ウェアラブル端末１１ａと、携帯情報端末１０１とを有して構成される。

ウェアラブル端末１１ａは、情報取得部２１として、生体センサである加速度センサ２５を有して構成される。

加速度センサ２５は、３軸加速度センサであり、互いに直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の加速度をそれぞれ検出することができるように、３つのセンサを有して構成される。加速度センサ２５から出力される加速度データには、Ｘ軸データ、Ｙ軸データ及びＺ軸データが含まれる。加速度センサ２５は、制御部３１に対し、所定時間毎に、Ｘ軸出データ、Ｙ軸データ及びＺ軸データにより構成される加速度データを出力する。

制御部３１のメモリ３３ａには、センサ情報抽出部３６のプログラムが記憶される。制御部３１は、メモリ３３ａに記憶されたセンサ情報抽出部３６のプログラムを実行し、センサ情報抽出処理を実現可能である。

情報抽出部であるセンサ情報抽出部３６は、加速度センサ２５から入力される加速度データから特徴情報である加速度情報を抽出する処理部である。

センサ情報抽出部３６は、加速度データから加速度情報を抽出し、無線通信部Ｃ１、Ｃ２を介し、抽出された加速度情報を携帯情報端末１０１のモデル作成部１３４ａに出力する。

モデル作成部１３４ａは、ウェアラブル端末１１ａから取得される音情報の特徴量情報に加え、加速度情報に基づいて、プリセットモデル情報及びユーザモデル情報との類似度を判定し、特徴量情報からユーザモデル情報を作成し、無線通信部Ｃ１、Ｃ２を介し、ウェアラブル端末１１ａのユーザモデル部５１に、作成されたユーザモデル情報を出力する。

モデル作成部１３４ａは、加速度情報に含まれる重力加速度に基づいて装着者の姿勢を検出する。装着者の姿勢検出の方法は種々あり、モデル作成部１３４ａは、例えば、ユーザが立っている（立位）、座っている（座位）、寝ている（臥位）、歩いている（歩行）、走っている（走行）等のユーザの姿勢検出が可能である。

図１２に示すように、モデル作成部１３４ａは、姿勢と認識対象行動の対応関係を示すテーブルＴＬ１を有して構成される。テーブルＴＬ１は、検出される姿勢が５つで、認識対象行動は６つである場合のテーブルＴＬ１である。テーブルＴＬ１は、制御部１３１内のメモリ１３３ａに記憶される。

「皿洗い」は、皿を洗う行動であり、「アイロン」はアイロン掛けの行動であり、「掃除機」は、掃除機を用いた掃除の行動であり、「歯磨き」は、歯を磨く行動であり、「ドライヤー」は、髪にドライヤーを当てる行動であり、「トイレ」は、トイレで用を足す行動である。

モデル作成部１３４ａは、検出された姿勢に応じて、プリセットモデル部４１及びユーザモデル部５１において参照するモデルを限定して分類処理を行う。

上述の第２の実施形態によれば、マイクロフォン及び生体センサを使用し、より確実に、プリセットモデル部に記憶されたモデル情報に類似するユーザモデル情報の追加を防ぐことができ、プリセットモデル情報に対する認識精度を低下させることなく、ユーザモデル情報を蓄積させることができる。

（第３の実施形態）
第１の実施形態、第１の実施形態の変形例１、第１の実施形態の変形例２及び第２の実施形態では、行動判定装置１、１ａは、ウェアラブル端末１１、１１ａ及び携帯情報端末１０１を有して構成されるが、行動判定装置１ｂは、ウェアラブル端末１１ａ、携帯情報端末１０１ａ及びサーバ２０１を有して構成されても構わない。

図１３は、第３の実施形態に関わる、行動判定装置１の主要部の構成を説明するブロック図である。第３の実施形態においては、第１の実施形態、第１の実施形態の変形例１、第１の実施形態の変形例２及び第２の実施形態と同じ構成については、同じ符号を付し、説明を省略する。

図１３に示すように、行動判定装置１ｂは、ウェアラブル端末１１ａと、携帯情報端末１０１ａと、サーバ２０１を有して構成される。

携帯情報端末１０１ａは、無線通信部Ｃ２と、ネットワーク接続部Ｃ３と、制御部２３１と、表示部１７１と、タッチパネル１７２とを有して構成される。

ネットワーク接続部Ｃ３は、サーバ２０１と無線又は有線により、例えば、３Ｇネットワーク、インターネット又はＬＡＮ等のネットワークに接続し、サーバ２０１と通信可能な回路である。

表示部１７１は、制御部１３１に接続され、制御部１３１から出力される表示用データにより、各種情報を表示可能である。

タッチパネル１７２は、制御部１３１に接続され、ユーザの指示入力を電気信号として制御部１３１に出力可能である。

サーバ２０１は、ネットワーク接続部Ｃ４と、制御部２３１と、認識結果データベース２３５を有して構成される。

ネットワーク接続部Ｃ４は、ネットワークを介し、携帯情報端末１０１ａと通信可能な回路である。

制御部２３１は、ＣＰＵ２３２と、記憶部２３３とを有して構成される。記憶部２３３には、モデル作成部２３４のプログラムが記憶される。モデル作成部２３４の処理は、ＣＰＵ２３２が記憶部２３３に記憶されたモデル作成部２３４のプログラムを実行することによって実現される。

記憶部２３３は、認識結果データベース２３５を有して構成される。認識結果データベース２３５は、行動認識処理の結果が蓄積される。

図１３の実線は、行動判定装置１ｂの学習処理の流れを示す。学習処理において、ウェアラブル端末１１は、抽出された特徴情報を、無線通信部Ｃ１、Ｃ２を介し、携帯情報端末１０１ａに送信する。続いて、携帯情報端末１０１ａは、ウェアラブル端末１１から受信される特徴情報を、ネットワーク接続部Ｃ３、Ｃ４を介し、サーバ２０１に送信する。続いて、サーバ２０１は、モデル作成部２３４により、携帯情報端末１０１ａから受信される特徴情報からユーザモデル情報と類似度情報を作成し、携帯情報端末１０１ａに送信する。続いて、携帯情報端末１０１ａは、サーバ２０１から受信されるユーザモデル情報と類似度情報を、無線通信部Ｃ１、Ｃ２を介し、ウェアラブル端末１１に送信する。ウェアラブル端末１１は、ユーザモデル情報をユーザモデル部５１に蓄積し、類似度情報を類似度情報部Ｓに蓄積する。

図１３の破線は、行動判定装置１ｂの行動認識処理の流れを示す。行動認識処理において、ウェアラブル端末１１は、行動認識結果を、無線通信部Ｃ１、Ｃ２を介し、携帯情報端末１０１ａに送信する。続いて、携帯情報端末１０１ａは、ウェアラブル端末１１から受信される行動認識結果に基づいて、認識結果出力部１３５の処理により、認識結果を表示部１７１に表示させる。また、ウェアラブル端末１１は、ネットワーク接続部Ｃ３、Ｃ４を介し、行動認識結果をサーバ２０１に送信して認識結果データベース２３５に蓄積させる。

上述の第３の実施形態によれば、認識結果情報を蓄積して利用することによって認識精度を高め、また、プリセットモデル部４１に記憶されたプリセットモデル情報に類似するユーザモデル情報の追加を防ぐことができ、プリセットモデル情報に対する認識精度を低下させることなく、ユーザモデル情報を蓄積させることができる。

なお、第１の実施形態、第１の実施形態の変形例１、第１の実施形態の変形例２、第２の実施形態及び第３の実施形態では、モデル作成部は、プリセットモデル部４１及びユーザモデル部５１に記憶されるプリセットモデル情報及びユーザモデル情報に類似しないユーザモデル情報を作成するが、ユーザの指示により、プリセットモデル情報及びユーザモデル情報に類似するユーザモデル情報を作成してもよい。この場合、作成されたユーザモデル情報は、既存のプリセットモデル情報又はユーザモデル情報に対応付けられたモデル情報として記憶される。この構成によれば、既存のプリセットモデル情報又はユーザモデル情報の認識精度を向上でさせるユーザモデル情報を蓄積可能である。

なお、第１の実施形態、第１の実施形態の変形例１、第１の実施形態の変形例２、第２の実施形態では、ウェアラブル端末１１、１１ａと、携帯情報端末１０１、１０１ａとを有して構成され、第３の実施形態では、さらにサーバ２０１を有して構成されるが、携帯情報端末１０１、１０１ａ及びサーバ２０１を有さず、モデル作成部３４、１３４又は認識結果出力部１３５、認識結果データベース２３５等の実施形態に係る各部をウェアラブル端末内に配置しても構わない。

なお、第２の実施形態及び第３の実施形態では、生体センサは、活動量計を例として説明をしたが、生体センサは、例えば、脈拍計、体温計又は血圧計等であっても構わない。

なお、実施形態では、制御部の各処理部の機能は、プログラムを実行することにより実現されるが、各処理部の一部又は全部の機能が、回路により実現されても構わない。

本発明の実施形態を説明したが、これらの実施形態は、例として示したものであり、本発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、１ａ、１ｂ…行動判定装置、１１、１１ａ…ウェアラブル端末、１２…本体部、１３…装着部、１４…リストバンド、１５…留め具、２１…情報取得部、２２…マイクロフォン、２３…集音口、２４…ＤＳＰ、２５…加速度センサ、３１…制御部、３２…ＣＰＵ、３３、３３ａ…メモリ、３４…特徴量抽出部、３５…行動認識部、３６…センサ情報抽出部、４１…プリセットモデル部、５１…ユーザモデル部、６１…時計部、７１…表示部、７２…タッチパネル、８１…操作部、９１…バッテリー、１０１、１０１ａ…携帯情報端末、１３１…制御部、１３２…ＣＰＵ、１３３、１３３ａ…メモリ、１３４、１３４ａ…モデル作成部、１３５…認識結果出力部、１７１…表示部、１７２…タッチパネル、２０１…サーバ、２３１…制御部、２３２…ＣＰＵ、２３３…記憶部、２３４…モデル作成部、２３５…認識結果データベース、Ｃ１、Ｃ２…無線通信部、Ｃ３、Ｃ４…ネットワーク接続部、Ａ…腕、Ｓ…類似度情報部

Claims (6)

1. 複数のプリセットモデル情報を記憶可能であるプリセットモデル部と、
   複数のユーザモデル情報を記憶可能であるユーザモデル部と、
   所定の情報を取得する情報取得部と、
   前記情報取得部によって取得される前記所定の情報から特徴情報を抽出する情報抽出部と、
   前記特徴情報と、前記プリセットモデル部に記憶される各プリセットモデル情報との類似度を含む類似度情報に基づいて前記特徴情報の使用可否を判定し、前記特徴情報が使用可能であるとき、前記特徴情報から前記ユーザモデル情報を作成するモデル作成部と、
   前記特徴情報と、少なくとも前記ユーザモデル情報とに基づいて行動認識をする行動認識部と、
   を有し、
   前記プリセットモデル部は、認識対象行動の前記プリセットモデル情報を含む認識対象行動グループと、認識対象行動以外の前記プリセットモデル情報を含むその他行動グループとを含み、
   前記行動認識部は、
   前記特徴情報が、前記認識対象行動グループに属すると判定されるとき、前記プリセットモデル部を参照して前記行動認識をし、
   前記特徴情報が、前記その他行動グループに属すると判定されるとき、前記プリセットモデル部に加えて前記ユーザモデル部を参照して前記行動認識をする、
   行動判定装置。
2. 複数のプリセットモデル情報を記憶可能であるプリセットモデル部と、
   複数のユーザモデル情報を記憶可能であるユーザモデル部と、
   所定の情報を取得する情報取得部と、
   前記情報取得部によって取得される前記所定の情報から特徴情報を抽出する情報抽出部と、
   前記特徴情報と、前記プリセットモデル部に記憶される各プリセットモデル情報との類似度を含む類似度情報に基づいて前記特徴情報の使用可否を判定し、前記特徴情報が使用可能であるとき、前記特徴情報から前記ユーザモデル情報を作成するモデル作成部と、
   前記特徴情報と、少なくとも前記ユーザモデル情報とに基づいて行動認識をする行動認識部と、
   を有し、
   前記行動認識部は、前記プリセットモデル部を参照して前記特徴情報を分類し、分類結果のプリセットモデル情報に類似する前記ユーザモデル情報があるとき、前記プリセットモデル部に加えて前記ユーザモデル部を参照して前記行動認識をする、
   行動判定装置。
3. 前記モデル作成部によって作成された前記類似度情報を記憶可能である類似度情報部を有し、
   前記行動認識部は、前記類似度情報部の前記類似度情報に基づいて、前記分類結果のプリセットモデル情報に類似する前記ユーザモデル情報があるか否かを判定する、
   請求項２に記載の行動判定装置。
4. 情報抽出部により、情報取得部によって取得される所定の情報から特徴情報を抽出し、
   モデル作成部により、プリセットモデル部に記憶される各プリセットモデル情報との類似度情報から前記特徴情報の使用可否を判定し、前記特徴情報が使用可能であるとき、前記特徴情報からユーザモデル情報を作成し、
   ユーザモデル部により、前記ユーザモデル情報を蓄積し、
   行動認識部により、前記特徴情報と、少なくとも前記ユーザモデル情報とに基づいて行動認識処理をし、
   前記プリセットモデル部は、認識対象行動の前記プリセットモデル情報を含む認識対象行動グループと、認識対象行動以外の前記プリセットモデル情報を含むその他行動グループとを含み、
   前記行動認識部により、
   前記特徴情報が、前記認識対象行動グループに属すると判定されるとき、前記プリセットモデル部を参照して前記行動認識処理をし、
   前記特徴情報が、前記その他行動グループに属すると判定されるとき、前記プリセットモデル部に加えて前記ユーザモデル部を参照して前記行動認識処理をする、
   行動判定方法。
5. 情報抽出部により、情報取得部によって取得される所定の情報から特徴情報を抽出し、
   モデル作成部により、プリセットモデル部に記憶される各プリセットモデル情報との類似度情報から前記特徴情報の使用可否を判定し、前記特徴情報が使用可能であるとき、前記特徴情報からユーザモデル情報を作成し、
   ユーザモデル部により、前記ユーザモデル情報を蓄積し、
   行動認識部により、前記特徴情報と、少なくとも前記ユーザモデル情報とに基づいて行動認識処理をし、
   前記行動認識部により、前記プリセットモデル部を参照して前記特徴情報を分類し、分類結果のプリセットモデル情報に類似する前記ユーザモデル情報があるとき、前記プリセットモデル部に加えて前記ユーザモデル部を参照して行動認識処理をする、
   行動判定方法。
6. 前記モデル作成部によって作成された前記類似度情報を記憶可能である類似度情報部を有し、
   前記行動認識部は、前記類似度情報に基づいて、前記分類結果のプリセットモデル情報に類似する前記ユーザモデル情報があるか否かを判定する、
   請求項５に記載の行動判定方法。

Images