JP6838259B2 - 学習用データの生成装置、判定装置及びプログラム - Google Patents

Description

本発明は、ニューラルネットワークを利用した判定装置、判定装置を学習するための学習用データの生成装置及びプログラムに関する。

非特許文献１は、人に装着したセンサが出力する信号に基づき、畳み込みニューラルネットワーク（ＣＮＮ）を使用して、当該人の行動を判定する判定装置を開示している。

Charissa Ann Ronao, Sung-Bae Cho, Human activity recognition with smartphone sensors using deep learning neural networks, In Expert Systems with Applications, Volume 59, 2016, Pages 235-244, ISSN0957-4174

判定精度の高い判定装置を構成するには、多数の学習用データを用いて学習を行う必要があり、多くの学習用データを効率的に集めることが望まれる。また、非特許文献１の構成は、精度の良い判定のため、多くの畳み込み層を設ける、所謂、"深い"ＣＮＮ構成を採用している。しかしながら、"深い"ＣＮＮ構成では、例えば、コップを持ち上げるといった、短時間に完結する非周期的な動作の判定精度が劣化する。さらに、非特許文献１の構成では、学習用データを取得するために使用したセンサとは異なる新たなセンサが取得したデータに基づき行動判定を行うには、当該新たなセンサが取得した学習用データに基づきＣＮＮ全体の再学習を行う必要がある。なお、学習用データを取得するために使用したセンサとは異なる新たなセンサとは、例えば、学習用データを取得するために使用したセンサとは異なる人体の位置に取り付けて使用するセンサや、学習用データを取得するために使用したセンサとは異なるメーカ又は形式のセンサを意味する。

本発明は、上記課題の少なくとも１つを解決できる技術を提供するものである。

本発明の一側面によると、収集した時系列データに基づきニューラルネットワークを用いた判定装置の学習用データを生成する生成装置は、前記時系列データのデータ値を変更する値変更手段と、前記時系列データの各データの時間間隔を変更する間隔変更手段と、前記時系列データに歪を付加する歪付加手段と、前記時系列データに雑音を付加する雑音付加手段と、を備え、前記歪付加手段は、前記時系列データの２番目以降のデータから処理対象データを選択し、選択した処理対象データのデータ値を、１つ前のデータ値と同じに変更することで、前記時系列データに歪を付加することを特徴とする。

本発明の生成装置によると、収集したデータから多くの学習用データを生成することができる。

一実施形態による判定装置の構成図。 一実施形態によるパイプラインの構成図。 一実施形態によるブロックの構成図。 一実施形態による畳み込み層の構成図。 一実施形態によるフィルタ処理の説明図。 一実施形態による学習用データの生成装置の構成図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

＜判定装置の構成＞
図１は、本実施形態による判定装置の構成図である。本実施形態による判定装置は、例えば、人が保持する加速度センサが出力する時系列データ（時間サンプル値列）に基づき、当該人の行動を判定する。例えば、加速度センサは、ウェアラブルデバイスに組み込まれ、人の手首に腕時計の様に装着される。また、例えば、加速度センサは、スマートフォン等に組み込まれ、人のポケット等に入れられて保持され、或いは、保持部材を用いて人の腕等に装着されて当該人に保持される。なお、本発明は、人の行動判定に限定されず、時間と共にその値（振幅値）が変化する時系列データに基づき何らかの判定を行うアプリケーションに適用することができる。

判定装置の事前処理部１０は、時系列データである入力データに事前処理を行う。具体的には、入力データを所定の時間区間に分割（Ｗｉｎｄｏｗｉｎｇ）し、各時間区間の時系列データを処理部２０及び処理部３０それぞれに出力する。例えば、事前処理は、入力データである、連続する時間サンプル値を、例えば、連続する１００個の時間サンプル値毎に区切って処理部２０及び処理部３０それぞれに出力する。処理部２０及び３０は、この所定の時間区間の時系列データ毎に処理を行う。なお、事前処理部１０は、ローパスフィルタによるフィルタ処理等の他の処理を更に行うものであって良い。

処理部２０及び３０の構成は、変換部で行う処理を除き、基本的に同様であるので、以下では、処理部２０について説明する。変換部は、時系列データから処理対象データを生成する。例えば、変換部は、時系列データを離散フーリエ変換して処理対象データを生成する。また、例えば、変換部は、時系列データのスペクトログラム（Ｓｐｅｃｔｒｏｇｒａｍ）を求めて、スペクトログラムを示すデータ列を処理対象データとして出力する。さらに、変換部は、入力される時系列データをそのまま処理対象データとして出力するものであっても良い。なお、処理部２０の変換部と処理部３０の変換部は、異なる処理を行うものとする。例えば、処理部２０の変換部が、入力される時系列データをそのまま処理対象データとして出力するものとすると、処理部３０の変換部は、それ以外の処理、例えば、入力される時系列データを離散フーリエ変換し、周波数成分を示すデータ列を処理対象データとして出力するものとする。変換部が出力する処理対象データは、パイプライン＃１及びパイプライン＃２にそれぞれ入力される。

パイプライン＃１及びパイプライン＃２の構成について図２を用いて説明する。１つのパイプラインは、複数のブロックを直列に接続したものである。図２においては、３つのブロック＃１〜＃３が直列に接続されている。図３は１つのブロックの構成図である。１つのブロックは、１つ以上の畳み込み層の出力を、プーリング層の入力として構成される。なお、複数の畳み込み層を使用する場合、それらを直列に接続し、最後の畳み込み層の出力を、プーリング層の入力とする。そして、プーリング層の出力が当該ブロックの出力となる。図３においては、３つの畳み込み層＃１〜＃３を、その番号順に接続し、畳み込み層＃３の出力をプーリング層の入力としている。なお、１つブロック内の畳み込み層の数は、判定装置の学習処理前に設計パラメータとして予め決定される。

図２に戻り、１つのパイプラインの最後のブロック（図２ではブロック＃３）の出力は、図１に示す様に、当該パイプラインの第２出力２２としてキャッピング部の入力となる。一方、１つのパイプラインの最後のブロック以外のブロックの出力は、当該パイプラインの第１出力２１として判定部４０の入力となる。なお、図２は、最後のブロック＃３以外のブロック＃１及びブロック＃２の出力を、それぞれ、第１出力２１として判定部４０に入力しているが、少なくとも１つのブロック＃１又は＃２の出力を第１出力２１として判定部４０に入力する構成であれば良い。

図１に戻り、各処理部２０、３０は、複数のパイプライン＃１及び＃２を有するが、パイプライン＃１及び＃２は、そのブロックの数を異ならせる。例えば、パイプライン＃１には、パイプライン＃２より多くのブロックを設ける。図３の構成より、多くのブロックを設けることは多くの畳み込み層を設けることと同じである。したがって、パイプライン＃１にパイプライン＃２より多くのブロックを設けることは、パイプライン＃１をパイプライン＃２より深いＣＮＮとし、パイプライン＃２をパイプライン＃１より浅いＣＮＮとすることと同じである。なお、図１では、１つの処理部に２つのパイプライン＃１及び＃２を設けているが、３つ以上のパイプラインを設ける構成とすることもできる。なお、１つの処理部に設けるパイプラインの数は、判定装置の学習処理前に設計パラメータとして予め決定される。そして、各パイプラインの深さ、つまり、ブロックの数を互いに異ならせる。なお、本実施形態において、処理部２０と処理部３０は、変換部で行う処理以外の構成、つまり、パイプラインの数や、対応するパイプライン（番号が同じパイプライン）のブロック数は同じとする。しかしながら、これらの数等は、異なるものであっても良い。

なお、図４に示す様に各畳み込み層は、１つ以上のフィルタ部を有する。図４は、各畳み込み層に２つのフィルタ部＃１及び＃２を設けた場合を示している。図４に示す様に、ブロックへの入力は、最初の畳み込み層＃１のフィルタ部＃１及び＃２にそれぞれ入力される。畳み込み層＃１のフィルタ部＃１は、フィルタ処理後のデータを、次の畳み込み層＃２の対応するフィルタ部＃１に入力する。フィルタ部＃２についても同様である。

図５は、各フィルタ部におけるフィルタ処理の説明図である。なお、各フィルタ部は、フィルタを保持している。図５においては、係数がＦ１〜Ｆ４であるフィルタが示されている。図５に示すＤ１〜Ｄ８の８個のデータ列が入力されると、フィルタ部は、フィルタの最初の係数Ｆ１と、最初のデータであるＤ１との位置を合わせる。そして、４つのデータと４つのフィルタ係数の対応する位置どうしの積を求め、４つの積の和をＯ１として求める。つまり、Ｄ１とＦ１との積、Ｄ２とＦ２との積、Ｄ３とＦ３との積、Ｄ４とＦ４との積を求め、４つの積の和をＯ１とする。続いて、フィルタ係数を、図の右側に１つだけずらして同様の計算を行ってＯ２を求める。つまり、Ｄ２とＦ１との積、Ｄ３とＦ２との積、Ｄ４とＦ３との積、Ｄ５とＦ４との積を求め、４つの積の和をＯ２とする。この処理を図５に示す様に、５回行い、５つのデータＯ１〜Ｏ５を求め、これを、フィルタ処理の出力とする。なお、図５の処理は、画像等に対して２次元で行うフィルタ処理を１次元にしたものであって、その処理は、通常のＣＮＮにおけるフィルタ処理と同様である。なお、上記例は、ストライド幅を１としたものであるが、ストライド幅を２以上とすることもできる。また、通常のＣＮＮにおけるフィルタ処理と同様に、パディングを行うこと、つまり、Ｄ１の前とＤ２の後ろに１つ以上の０を追加した上でフィルタ処理を行うこともできる。なお、フィルタ係数Ｆ１〜Ｆ４は、後述する学習処理において決定される。なお、プーリング層における処理も、通常のＣＮＮで行うプーリング処理と同様である。

図５は、サイズ（フィルタ係数の数）が４のフィルタを使用した例であるが、フィルタのサイズは、パイプライン毎に異ならせることができる。例えば、サイズの大きいフィルタを使用すると、サイズの小さなフィルタより出力するデータ数が少なくなる。したがって、深いＣＮＮを構成するパイプラインには、浅いＣＮＮを構成するパイプラインよりサイズの小さいフィルタを使用する構成とすることができる。

図１に戻り、各処理部において、各パイプラインが出力する第２出力２２は、キャッピング部に入力される。キャッピング部は、複数のニューロンで構成されるニューラルネットワークであり、各パイプラインからの第２出力２２のデータ数を絞り込むために設けられる。つまり、キャッピング部は、各パイプラインからの第２出力２２を入力とし、各パイプラインからの第２出力２２の合計データ数より少ない数の第３データ２３を判定部４０に出力する。なお、第３データ２３が出力するデータ数は、例えば、同じ処理部への入力データ数と同じとすることができる。例えば、事前処理部１０で、１００個の時間サンプル値毎に区切って各処理部への入力とすると、各キャッピング部は、１００個のデータ値を出力する構成とすることができる。なお、キャンピング部のニューラルネットワークの各重みは、後述する学習処理において決定される。

判定部４０には、各処理部から、第１データ２１及び第３データ２３が入力される。判定部４０は、所謂、全結合層（Ｆｕｓｉｎｇ Ｌａｙｅｒ）であり、各処理部からの第１データ２１及び第３データ２３の値と、人の行動との関係を示す判定情報を保持しており、判定情報に基づき人の行動を判定する。なお、判定情報も、後述する学習処理において決定される。

＜学習用データの生成＞
精度のよい判定を行うためには、非常に多数の学習用データを収集して判定装置の学習を行うことが重要である。しかしながら、非常に多数の学習用データを収集することは非常に手間のかかる作業である。したがって、本実施形態においては、実際に人にセンサを装着して収集した収集データに基づき、多くの学習用データを生成する。図６は、学習用データの生成装置の構成図である。

図６において、選択部＃１〜選択部＃３の３つの選択部は、収集データを、直後の機能ブロックにおける処理対象とするか否かを、例えば、ランダムに判定する。例えば、各選択部は、乱数を生成し、生成した乱数が所定の閾値より大きいと、収集データを直後の機能ブロックにおける処理の対象とし、生成した乱数が所定の閾値以下であると、収集データを直後の機能ブロックにおける処理の対象とせずに、当該機能ブロックをバイパスさせる。振幅変換部での処理対象となった収集データは、まず、全体変換部で振幅の変換が行われる。全体変換部は、収集データの総ての時間サンプル値に第１利得を乗じる。なお、全体変換部は第１利得を所定範囲に数字からランダムに選択する。或いは、全体変換部は、平均が１であり、分散が第１の値である正規分布に従う確率で第１利得を選択する。その後、局所変換部は、収集データの各時間サンプル値に第２利得を乗じる。なお、局所変換部は、第２利得を時間サンプル値毎に所定範囲の数字からランダムに選択する。或いは、局所変換部は、平均が１であり、分散が第２の値である正規分布に従う確率で、各時間サンプル値に対する第２利得を選択する。この様に、全体変換部は、総ての時間サンプル値を一様に増減させ、局所変換部は、時間サンプル値を個別に増減させる。

雑音付加部は、収集データにホワイトノイズを付加する。時間位置変換部も、全体変換部と局所変換部を有する。時間位置変換部の全体変換部は、所定範囲の数字からランダムに生成した拡縮係数に従い、収集データの各時間サンプル値の時間間隔を一様に拡縮させる。なお、振幅変換部と同様に、平均が１で、分散が第３の値である正規分布に従う確率で拡縮係数を生成する構成であっても良い。時間位置変換部の局所変換部は、収集データを所定数の時間区間に分割し、各時間区間それぞれに対して拡縮係数を所定範囲の数字からランダムに生成し、生成した拡縮係数に従い、対応する時間区間内の各時間サンプル値の時間間隔を一様に拡縮させる。なお、振幅変換部と同様に、平均が１で、分散が第４の値である正規分布に従う確率で、各時間区間に対する拡縮係数を生成する構成であっても良い。調整部は、変換後の各時間サンプルの中に、その振幅があらかじめ定めた閾値を超えているものがあると、当該時間サンプルの振幅を閾値に制限する。歪付与部は、収集データに歪を付加する。具体的には、２番目以降の時間サンプルからランダムに選んだ時間サンプルについて、その値（振幅）を、１つ前の時間サンプルと同じにする。歪付与部の出力、或いは、歪付与部での処理対象とはならなかった選択部＃３の出力は、学習用データとして保存される。なお、例えば、１つの収集データを複数回、生成装置の入力とすることで、１つの収集データから複数の学習用データを生成する。例えば、１万個の収集データを収集し、各収集データを１００回だけ生成装置の入力とするものとする。この場合において、選択部＃１〜選択部＃３の総てが後続の機能ブロックをバイパスさせることがなかったものとすると、１００万個の学習用データを得ることができる。

センサの感度は固体毎に異なることがある。振幅変換部の全体変換部は、あるセンサで収集したデータから、固体が異なるセンサで収集した場合に得られるデータを生成するものである。また、人の動作は、人によって同じではなく、動作のある一部分の動作強度は人によって異なる。さらに、同じ人であっても、動作の都度、動作のある一部分の動作強度は異なる。振幅変換部の局所変換部は、１つの動作のある一部分の強度が違う学習用データを生成するものである。また、ある動作の速度も、人により、或いは、同じ人であっても動作毎に異なる。時間位置変換部の全体変換部は、動作速度の異なるデータを生成するものである。同様に、ある動作の一部分の動作速度も、人により、或いは、同じ人であっても動作毎に異なる。時間位置変換部の局所変換部は、部分毎に動作速度を異ならせたデータを生成するものである。さらに、歪付与部は、センサによるデータ収集処理に変動が生じた場合に出力されるデータの歪を模擬する。なお、雑音付加部は、データに付加されるノイズを模擬する。

以上の様に収集データから学習用データを生成し、この学習用データで判定装置を学習させることで、精度のよい判定装置を構成することができる。

＜学習方法＞
本実施形態では、人に装着したセンサによりラベル無しの収集データと、ラベル付きの収集データを集める。そして、上述した学習用データの生成装置を使用して、ラベル無しの収集データと、ラベル付きの収集データそれぞれから、ラベル無しの学習用データと、ラベル付きの学習用データを生成する。なお、ラベル付きの収集データは、動作との関係を求める必要があるため、多くのラベル付き収集データを集めることは非常に手間がかかる作業である。したがって、本実施形態では、より簡易に収集でき、よって、多くのデータを収集できるラベル無しの収集データから生成したラベル無しの学習用データを使用してまず各パイプラインの学習を行う。この学習には、例えば、Ｓｈａｌｌｏｗ ｓｔａｃｋｅｄ ｄｅｎｏｉｓｉｎｇ ａｕｔｏｅｎｃｏｄｅｒを使用することができる。なお、正則化には、Ｌ２正則化を使用することができる。

パイプラインの学習後、キャッピング部を含む処理部全体の学習を行う。この学習は、まず、ラベル無しの学習用データで行い、その後、ラベル付きの学習用データで行う。この学習には、例えば、Ｄｅｅｐ ｄｅｎｏｉｓｉｎｇ ａｕｔｏｅｎｃｏｄｅｒを使用することができる。なお、正則化には、ドロップアウト（Ｄｒｏｐｏｕｔ）及びＬ２正則化を使用することができる。

最後にラベル付きの学習用データを使用し、判定部４０が使用する判定情報を求める。この学習には、ＡＤＡＭを使用することができる。なお、正則化には、ドロップアウト（Ｄｒｏｐｏｕｔ）及びＬ１正則化を使用することができる。

＜処理部の追加＞
図１の判定装置は、２つの処理部２０及び３０を有するものであったが、本実施形態の判定装置は、３つ以上の処理部を有する構成とすることができる。さらに、処理部を後から追加することもできる。例えば、図１の構成において、処理部２０の変換部は、そのまま時系列データを処理対象データとして出力し、処理部３０の変換部は、時系列データを離散フーリエ変換して処理対象データを出力するものとする。この場合において、行動判定に役に立つ時系列データの変換が後から見つかった場合、新たな処理部を設けて、事前処理部１０の出力を入力させれば良い。本実施形態による判定装置はモジュール構成であるため、既存の処理部２０及び３０については再学習する必要はなく、新たな処理部の学習と、判定部４０の再学習のみ行えばよい。

＜センサの追加＞
非特許文献１の構成では、学習用データを取得するために使用したセンサとは異なる新たなセンサが取得したデータに基づき行動判定を行うには、当該新たなセンサが取得した学習用データに基づきＣＮＮの全体の再学習を行う必要がある。なお、学習用データを取得するために使用したセンサとは異なる新たなセンサとは、例えば、学習用データを取得するために使用したセンサとは異なる人体の位置に取り付けて使用するセンサや、学習用データを取得するために使用したセンサとは異なるメーカ又は種別のセンサを意味する。本実施形態による判定装置はモジュール構成であるため、新たなセンサを使用する場合、既存のパイプラインを再学習する必要はない。

具体的には、図１の構成において、新たなセンサを使用したいものとする。この場合、処理部２０には、新たな変換部と、新たなパイプライン＃１及び＃２を設ける。新たなセンサを使用して取得したデータは、この新たな変換部に入力され、変換後のデータは、それぞれ、新たなパイプライン＃１及び＃２に入力される。なお、新たなパイプライン＃１及び＃２の出力は、処理部２０の既存のキャッピング部に入力される。また、新たなパイプライン＃１及び＃２からは、それぞれ、第１出力２１が判定部４０に出力される。なお、既存の変換部と新たな変換部が行う変換処理は同じである。また、処理部３０についても同様に追加を行う。この場合、新たなパイプライン＃１及び＃２の学習処理と、キャッピング部及び判定部４０の再学習のみを行えば良く、既存のパイプライン＃１及び＃２の学習処理を不要である。また、新たなパイプライン＃１及び＃２を、既存のパイプライン＃１及び＃２のコピーとしたうえで、新たなパイプライン＃１及び＃２の再学習を行うことで、新たなパイプライン＃１及び＃２の学習に要する時間も短くすることができる。なお、上記説明では、処理部２０には、新たな変換部を設けるとしたが、変換部における処理は同じであるため、既存の変換部を使用する構成とすることもできる。

以上、本実施形態による判定装置は、深さの異なる複数のパイプラインを使用する。さらに、判定部４０には、キャッピング部が出力する第３データ２３のみならず、各パイプラインのブロックから少なくとも１つの第１データ２１が入力される。そして、判定部４０は、フィルタ処理が適用された回数が異なる様々なデータに基づき判定を行う。これにより、固定的な回数だけフィルタ処理が適用されたＣＮＮと比較し、短時間に完結する非周期的な動作の判定精度を向上させることができる。本実施形態による判定装置は、モジュール構成であるため、処理部の追加や、判定に使用するセンサを追加する場合であっても、判定装置全体の再学習を行う必要はない。また、本実施形態による学習用データの生成装置により、収集データから多くの学習用データを効果的に生成することができ、判定装置に対する学習制度を向上させることができる。なお、本実施形態による学習用データの生成装置により生成した学習用データは、上記判定装置以外の判定装置の学習においても、学習制度を向上させることができる。

なお、本発明による判定装置及び学習用データの生成装置は、それぞれ、コンピュータを上記判定装置や、上記学習用データの生成装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１０：事前処理部、２０、３０：処理部、４０：判定部

Claims (8)

1. 収集した時系列データに基づきニューラルネットワークを用いた判定装置の学習用データを生成する生成装置であって、
   前記時系列データのデータ値を変更する値変更手段と、
   前記時系列データの各データの時間間隔を変更する間隔変更手段と、
   前記時系列データに歪を付加する歪付加手段と、
   前記時系列データに雑音を付加する雑音付加手段と、
   を備え、
   前記歪付加手段は、
   前記時系列データの２番目以降のデータから処理対象データを選択し、
   選択した処理対象データのデータ値を、１つ前のデータ値と同じに変更することで、前記時系列データに歪を付加することを特徴とする生成装置。
2. 前記時系列データを前記値変更手段による処理対象とするかをランダムに判定する第１判定手段をさらに備えており、
   前記値変更手段は、前記第１判定手段により処理対象として選択された前記時系列データのデータ値を変更することを特徴とする請求項１に記載の生成装置。
3. 前記時系列データを前記間隔変更手段による処理対象とするかをランダムに判定する第２判定手段をさらに備えており、
   前記間隔変更手段は、前記第２判定手段により処理対象として選択された前記時系列データの各データの時間間隔を変更することを特徴とする請求項１又は２に記載の生成装置。
4. 前記時系列データを前記歪付加手段による処理対象とするかをランダムに判定する第３判定手段をさらに備えており、
   前記歪付加手段は、前記第３判定手段により処理対象として選択された前記時系列データに歪を付加することを特徴とする請求項１から３のいずれか１項に記載の生成装置。
5. 前記値変更手段は、
   第１分布に基づき選択した第１の値を、前記時系列データの各データ値に乗ずる第１手段と、
   前記時系列データの各データ値それぞれについて、データ値に対して第２分布に基づき選択した第２の値を、当該データ値に乗ずる第２手段と、
   を、備えていることを特徴とする請求項１から４のいずれか１項に記載の生成装置。
6. 前記間隔変更手段は、
   第３分布に基づき選択した第３の値に応じて、前記時系列データの各データの時間間隔を変更する第３手段と、
   前記時系列データを複数の時間区間に分割し、前記複数の時間区間それぞれについて、時間区間に対して第４分布に基づき選択した第４の値に基づき、当該時間区間の各データの時間間隔を変更する第４手段と、
   を、備えていることを特徴とする請求項１から５のいずれか１項に記載の生成装置。
7. ニューラルネットワークにより判定を行う判定装置であって、
   請求項１から６のいずれか１項に記載の生成装置が生成した学習用データにより前記ニューラルネットワークの学習が行われていることを特徴とする判定装置。
8. 請求項１から６のいずれか１項に記載の生成装置としてコンピュータを機能させることを特徴とするプログラム。

Images