JP6915786B2 - 学習装置、認識装置、学習方法及びコンピュータプログラム - Google Patents

Description

本発明の技術は、学習装置、認識装置、学習方法及びコンピュータプログラムに関する。

従来、オンライン手書き文字認識やジェスチャー認識など、時系列パターンが表す文字やジェスチャーなどの対象を認識することが行われている。時系列パターンの認識における代表的な手法として、例えば、次のような手法がある。予め用意する標準パターン及びオンライン文字又はジェスチャーとして入力される入力パターンのいずれのパターンも、全ての文字ストロークや動作の軌跡を時刻順どおりに結合して表現した時系列パターンとして生成する。そして、これらのオンライン文字における筆点座標系列又はジェスチャーにおける各サンプリング時刻での動作の特徴点間でＤＰマッチング（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ（動的計画法）によるマッチング）を行うことにより認識するという手法である（例えば、非特許文献１参照）。近年、時系列パターンの認識に、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）又はそれを拡張したＬｏｎｇ−Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）などの手法により認識する方法が提案されている（例えば、非特許文献２参照）。

上記とは別に、近年、静止画の認識において、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）を用いた認識手法が提案されている（例えば、非特許文献３参照）。

佐藤幸男、足立秀綱、「走り書き文字のオンライン認識」電子情報通信学会論文誌（Ｄ），Ｖｏｌ．Ｊ６８−（Ｄ），Ｎｏｌ．１２，ｐｐ．２１１６−２１２２ Ａｌｅｘ Ｇｒａｖｅｓ， Ｓａｎｔｉａｇｏ Ｆｅｒｎａｎｄｅｚ， Ｍａｒｃｕｓ Ｌｉｗｉｃｋｉ， Ｈｏｒｓｔ Ｂｕｎｋｅ， Ｊｕｒｇｅｎ Ｓｃｈｍｉｄｈｕｂｅｒ， "Ｕｎｃｏｎｓｔｒａｉｎｅｄ ｏｎｌｉｎｅ ｈａｎｄｗｒｉｔｉｎｇ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，" Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ， ｐｐ．５７７−５８４， ２００７． Ｋａｒｅｎ Ｓｉｍｏｎｙａｎ， Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ， "Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ，" ＡｒＸｉｖ ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ １４０９．１５５６， ２０１４．

しかしながら、非特許文献１に記載の手法のように、各サンプリング時刻での特徴点を用いたＤＰマッチング法では、ＤＰマッチングにより部分的な座標のずれを吸収できるが、座標に大きな変動が生じた際には、そのずれを吸収できず、他のパターンに誤認識される場合がある、という問題がある。また、ＤＰマッチングでは、認識対象として入力された時系列の入力パターンと、標準パターンとの間での１対１での照合になる為、同じクラスの複数の標準パターンから得られる統計的な情報を利用しにくいという問題がある。

また、非特許文献２に記載の手法のように、ＲＮＮやＬＳＴＭを用いた手法では、時間軸方向への伸縮に対する統計的な情報が利用可能であり、伸縮に対する耐性が向上する。しかし、座標に大きな変動が生じた際には、変動によるずれを吸収できず、他のパターンに誤認識される場合がある、という問題がある。

また、非特許文献３に記載の手法のように、ＣＮＮを用いた手法では、静止画における２次元的な座標のずれに対して、統計的な情報を利用可能であり、より大きな座標の変動に対して耐性を向上させることが可能である。しかし、時系列の入力パターンという性質に依存した、時刻や位置が不定な特徴をそのまま入力又は処理することは出来ないため、時系列の入力パターンの認識に適用することができない、という問題がある。

本発明は上記問題点に鑑みてなされたものであり、時系列の入力パターンを精度よく認識するための多層ニューラルネットワークを学習することができる学習装置、学習方法、及びコンピュータプログラムを提供することを目的とする。

また、時系列の入力パターンを精度よく認識することができる認識装置及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明の学習装置は、各時刻の特徴点が時系列に表現された学習用の学習パターン、及び当該学習パターンが表すクラスを示すラベルデータを取得する取得部と、認識対象となる各クラスの各時刻の特徴点が時系列に表現された標準パターンを格納する標準パターン格納部と、前記学習パターンと前記標準パターンとの間で、前記特徴点の対応付けを求める特徴点対応付け部と、前記学習パターン及び前記標準パターンの間の前記特徴点の対応付けの各々から特徴値を抽出する特徴値抽出部と、前記特徴値抽出部により抽出された特徴値を多層ニューラルネットワークに入力したときの出力と、前記ラベルデータが示すクラスとが対応するように、前記多層ニューラルネットワークの重みパラメータを学習する学習処理部と、を含んで構成されている。

第２の発明の認識装置は、各時刻の特徴点が時系列に入力された入力パターンを取得する取得部と、認識対象となる各クラスの各時刻の特徴点が時系列に表現された標準パターンを格納する標準パターン格納部と、前記入力パターンと前記標準パターンとの間で、前記特徴点の対応付けを求める特徴点対応付け部と、前記入力パターン及び前記標準パターンの間の前記特徴点の対応付けの各々から特徴値を抽出する特徴値抽出部と、前記特徴点の対応付けの各々から抽出される特徴値から前記入力パターンが表すクラスを認識するための予め学習された多層ニューラルネットワークに、前記特徴値抽出部により抽出された前記特徴点の対応付けの各々の特徴値を入力して、前記取得部により取得された前記入力パターンが表すクラスを認識する認識処理部と、含んで構成されている。

第３の発明の学習方法は、取得部が、各時刻の特徴点が時系列に表現された学習用の学習パターン、及び当該学習パターンが表すクラスを示すラベルデータを取得する取得ステップと、特徴点対応付け部が、認識対象となる各クラスの各時刻の特徴点が時系列に表現された標準パターンと、前記学習パターンとの間で、前記特徴点を対応付ける特徴点対応付けを求めるステップと、特徴値抽出部が、前記学習パターン及び前記標準パターンの間の前記特徴点の対応付けの各々から特徴値を抽出する特徴値抽出ステップと、学習処理部が、前記特徴値抽出部により抽出された特徴値を多層ニューラルネットワークに入力したときの出力と、前記ラベルデータが示すクラスとが対応するように、前記多層ニューラルネットワークの重みパラメータを学習する学習処理ステップと、を含む。

第４の発明のコンピュータプログラムは、コンピュータに、上記の学習装置又は認識装置を構成する各部を実行させるためのプログラムである。

以上説明したように、学習装置、学習方法及びコンピュータプログラムによれば、時系列の入力パターンを精度よく認識するための多層ニューラルネットワークを学習することができる、という効果が得られる。

また、認識装置及びコンピュータプログラムによれば、時系列の入力パターンを精度よく認識することができる、という効果が得られる。

本実施の形態の認識装置の概略構成を示す図である。 時系列パターンの例を示す図である。 ＤＰマッチングの様子を示す図である。 多層ニューラルネットワークに入力されるテンソル形式のデータの概略図である。 多層ニューラルネットワークにおける畳み込み層の例を示す図である。 多層ニューラルネットワークにおける全結合層の例を示す図である。 本実施の形態の学習装置の概略構成を示す図である。 認識装置による認識処理の流れを示すフローチャートである。 学習装置による学習処理の流れを示すフローチャートである。

以下、本発明の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

本実施の形態では、時系列の入力パターンの一例として、オンライン文字を認識する認識装置に本発明を適用した例について説明する。なお、オンライン文字とは、文字の筆跡をストローク毎の筆点座標系列で表現したもの、すなわち、各サンプリング時刻の筆点座標値で表現された時系列パターンにより表される文字である。

図１は、本実施の形態の認識装置の概略構成を示す図である。図２は、時系列パターンの例を示す図である。図３は、ＤＰマッチングの様子を示す図である。図４は、多層ニューラルネットワークに入力されるテンソル形式のデータの概略図である。図５は、多層ニューラルネットワークにおける畳み込み層の例を示す図である。図６は、多層ニューラルネットワークにおける全結合層の例を示す図である。

図１に示すように、認識装置１は、標準パターン格納部１１、取得部１２、特徴点対応付け部１３、特徴値抽出部１４、認識処理部１５及び重みパラメータ格納部１６を有する。認識装置１は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びストレージ等を備えるコンピュータである。上記の各構成は、ＣＰＵが、ＲＯＭ又はストレージに記憶された認識プログラムを読み出して、ＲＡＭに展開して実行することにより実現される。

標準パターン格納部１１は、標準パターンを格納する。標準パターンは、各クラス（例えば、数字の場合は０〜９の各文字種）を代表する時系列パターンであり、１つの文字（時系列パターン）に設定する特徴点の数が予め決めされている。具体的には、標準パターンは、学習のための学習データに含まれる文字パターンの大きさを正規化し、Ｎ個の特徴点からなる時系列パターンにリサンプリングして得られる。ここで、リサンプリングとは、１つの文字に設定する特徴点の数を決めて、特徴点を時系列パターン上にサンプリング（設定）することである。例えば、リサンプリングは、１つの文字に設定する特徴点の数をＮとし、各特徴点の間隔が一定の距離になるように特徴点を時系列パターン上に設定することである。なお、Ｎの数としては、字形を十分に表現可能な点数とする必要がある。また、一つの文字に設定する特徴点が決まっていればよく、必ずしも上記リサンプリング手法を採用して特徴点を決定する必要はない。また、標準パターンは、各クラスにおいて１つのサンプルだけである必要はない。各クラスに複数の標準パターンが用意されてもよい。例えば、同じ文字（クラス）でも、違う書き順で書かれた時系列パターンが複数用意されてもよい。

取得部１２は、ユーザが入力したオンライン文字の文字ストロークまたはユーザのジェスチャーの軌跡等を表現する入力パターンを取得する。取得部１２は、例えば、タッチパネル又はマウス等のポインティングデバイスを備え、ポインティングデバイスを用いて記入されたユーザの文字ストロークを取得する。あるいは、取得部１２は、カメラ又はモーションセンサを備え、ユーザのジェスチャーを画像として取得する。

取得部１２は、リアルタイムで取得した文字ストローク又はジェスチャーの軌跡上に、例えば、一定間隔の時刻毎に特徴点を設定することにより、各時刻の特徴点が時系列に入力された入力パターン、すなわち時系列パターンを得る。時系列パターンの例は、図２の（Ａ）〜（Ｃ）に示す通りである。なお、図２の（Ａ）に示す時系列パターンは、（Ｂ）に示す時系列パターンよりも、描画スピードが遅いため、特徴点の数が多い。また、図２の（Ｃ）に示す時系列パターンでは、文字の最後でストロークの描画スピードが上がっているため、終盤の特徴点の間隔が広い。

入力パターンは、標準パターンと同様の手法（例えばリサンプリング）により、１つの文字に設定する特徴点数が予め決めた数（例えば標準パターンと同じ特徴点数であるＮ）となるように処理されても良い。または、入力パターンは、必ずしも標準パターンと同じ特徴点数を有する必要はない。

特徴点対応付け部１３は、入力パターンと標準パターンとの間で、認識処理部１５に特徴値が入力可能となるよう、入力パターンの時系列方向への変動を許容する対応付け処理を行う。対応付け処理の例として、ＤＰマッチングを行う例について説明する。なお、「時系列方向への変動を許容する対応付け処理」とは、入力パターン又は標準パターンのある点において時系列方向への伸縮が発生した場合でも、対応付けの評価が可能な処理のことである。

つまり、ある一定の時間間隔や一定の距離間隔でサンプリングした２つの時系列パターン（入力パターン及び標準パターン）を比較する場合、一方がＭ個の点からなる時系列パターン、他方がＭとは異なるＮ個の点からなる時系列パターンであっても適用可能な認識処理である。ＤＰマッチングによる特徴の最適対応付けのアルゴリズムにおいて、入力パターンの特徴点Ｐ_ｍの座標値を（ｘ_ｍ，ｙ_ｍ）、標準パターンの特徴点Ｑ_ｎの座標値を（ｘ’_ｎ，ｙ’_ｎ）とすると、目的関数は、対応する特徴点間の距離（例えば、ユークリッド距離若しくはシティブロック距離）の総和である。目的関数を最小化するべく各変数の値、すなわち対応関係を決定することになる。その際に、必ず標準パターンの各特徴点Ｑ_ｎ（ｎ＝１〜Ｎ）に対し、少なくとも一つの入力パターンの特徴点Ｐ_ｍ（ｍ＝１〜Ｍ）が対応付くようにする。また、入力パターンの特徴点においては、必ずしも標準パターンの特徴点に対応付けられない特徴点が存在しても良い。例えば、図３に示すように、入力パターンと標準パターンとの間において、特徴点が対応付けられる。

なお、標準パターンは、認識対象となる複数のクラスに対応する数分が用意され、また各クラスにおいて、必ずしも一つではなく、複数の標準パターンを用意することが可能である。したがって、同じクラスに複数の標準パターンが存在する場合、各標準パターンと入力パターンとの間で各々対応付けが行われることになる。

特徴値抽出部１４は、入力パターンと標準パターンとの間の特徴点の対応付けの各々から特徴値を抽出する。例えば、対応付けが行われた入力パターンの特徴点Ｐ_ｍの座標値を（ｘ_ｍ，ｙ_ｍ）、標準パターンの特徴点Ｑ_ｎの座標値を（ｘ’_ｎ，ｙ’_ｎ）とすると、この２点間から得られるベクトルＲ_ｎ（Ｐ_ｍ→Ｑ_ｎ）は、特徴点Ｑ_ｎに対する特徴点Ｐ_ｍのｘ軸方向の相対位置ｄ^ｘ _ｎ＝ｘ’_ｎ−ｘ_ｍ、ｙ軸方向の相対位置ｄ^ｙ _ｎ＝ｙ’_ｎ−ｙ_ｍで表され、それぞれを特徴値として抽出する。標準パターンの全ての特徴点Ｑ_１〜Ｑ_Ｎにおいて、同様の処理でベクトルＲ_１〜Ｒ_Ｎを算出し、特徴値を抽出する。上述の通り、標準パターンが複数ある場合、各々の標準パターンについて、当該標準パターンと入力パターンとの間の特徴点の対応付けから、各々の特徴値が算出される。また、一つの標準パターンの特徴点Ｑ_ｎ（ｎ＝１〜Ｎ）に対し、複数の入力パターンの特徴点Ｐ_ｍが対応付けられている場合は、例えば、２点間から得られるベクトルＲ_ｎ（Ｐ_ｍ→Ｑ_ｎ）の値（もしくは絶対値）が一番小さいものを特徴値として抽出する。

特徴値抽出部１４は、さらに、隣接特徴点間（Ｐ_ｍ−Ｐ_ｍ−１間及びＱ_ｎ−Ｑ_ｎ−１間）で定義される局所的な傾き情報を用い、対応付けされた特徴点（Ｐ_ｍ−Ｑ_ｎ）間の傾き情報の差分値を特徴値として抽出するようにしてもよい。局所的な傾きを特徴値とする場合も、例えば、入力パターンのｍ番目の特徴点とｍ−１番目の特徴点の座標間の差分としての傾き情報をＰ_{ｍ，ｍ−１}＝（Ｐ_{ｍ，ｍ−１，ｘ}，Ｐ_{ｍ，ｍ−１，ｙ}）＝（ｘ_ｍ−ｘ_ｍ−１，ｙ_ｍ−ｙ_ｍ−１）とし、特徴点Ｑ_ｎに対する特徴点Ｐ_ｍのｘ軸方向の傾きの差分ｅ^ｘ _ｎ＝（ｘ’_ｎ−ｘ’_ｎ−１）−（ｘ_ｍ−ｘ_ｍ−１）、ｙ軸方向の傾きの差分ｅ^ｙ _ｎ＝（ｙ’_ｎ−ｙ’_ｎ−１）−（ｙ_ｍ−ｙ_ｍ−１）のそれぞれを特徴値として抽出する。

認識処理部１５は、例えば多層ニューラルネットワーク（ＣＮＮ：畳み込みニューラルネットワーク）により構成され、上述した複数の対応付け結果から算出された特徴値が入力され、入力された特徴値から最終的な各クラスらしさに関する値や確率値を算出し、最も類似性が高い標準パターンが属するクラスを認識結果として出力する。ここで、特徴値抽出部１４により抽出された特徴値は、例えば、図４に示すような、標準パターン毎及び特徴点毎の種類別の特徴値を表すテンソル形式のデータとして、多層ニューラルネットワークに入力される。

図４に示すように、テンソル形式のデータは概念的には、ボクセルのように表される。図４のボクセルにおいて、幅方向には、対応付けに用いられた標準パターンの数のピクセルが並ぶ。標準パターンの数は、上述の通り、少なくとも認識の対象となるクラス（例えば、０〜９の文字）の数となる。但し、同じクラスに対しても複数の標準パターンが用意される場合もあるので、その場合、幅方向に並ぶピクセルの数は、クラスの数よりも多くなる。

ボクセルの縦方向には、特徴値抽出部１４で抽出された特徴値の種類の数だけピクセルが並ぶ。上記のように、標準パターンの特徴点に対する入力パターンの特徴点の座標値の差分及び傾きの差分が抽出される場合、例えば、図４に示すように、ｘ軸方向の座標値の差分、ｙ軸方向の座標値の差分、ｘ軸方向の傾きの差分及びｙ軸方向の傾きの差分が特徴値として抽出される。従って、図４に示すように、縦方向には、４つのピクセルが並ぶ。

ボクセルの奥行き方向には、標準パターンの特徴点の時系列順に、標準パターンの特徴点の数だけピクセルが並ぶ。

このように図４のボクセルは、時系列に並ぶ特徴点の特徴値を合算するなどしてピクセルを圧縮せずに、複数の標準パターンの特徴点毎に複数の特徴値を表す。したがって、このようなボクセルが多層ニューラルネットワークに入力されることにより、クラスの認識精度を向上できる。

ボクセルは、多層ニューラルネットワークの畳み込み層において、図５に示すように、任意のフィルタにより畳み込まれる。図５に示す例では、ボクセルは、まず、４×１のフィルタにより畳み込まれ、更に２×１のフィルタにより畳み込まれる。なお、畳み込み層における畳み込みの際には、重みパラメータ格納部１６に予め格納された重みパラメータが利用される。重みパラメータは、機械学習により得られる。

畳み込まれたボクセルが、１次元にされ（ｆｌａｔｔｅｎ）、図６に示すように、全結合層により、各クラスらしさに関する値が算出される。認識処理部１５は、最も類似性が高い標準パターンが属するクラスを、入力パターンのクラスとして認識し、認識結果を図示しないディスプレイに出力する。なお、全結合層において、各クラスらしさに関する値が算出される際には、重みパラメータ格納部１６に予め格納された重みパラメータが利用される。重みパラメータは、機械学習により得られる。

次に、上記の認識処理部１５が用いた多層ニューラルネットワークの機械学習について説明する。

図７は、本実施の形態の学習装置の概略構成を示す図である。

図７に示す学習装置２は、図１の認識装置１と構成を共有し、或いは、認識装置１と同じ装置として構成されても良い。以下では、学習装置２が認識装置１と構成を共有する場合について説明する。認識装置１と共有する構成については、図１と同様の参照番号を付し、説明を省略する。

図７に示すように、学習装置２は、標準パターン格納部１１、取得部１２、特徴点対応付け部１３、特徴値抽出部１４及び学習処理部２１を有する。

認識装置１においては、取得部１２は、ユーザが入力した入力パターンを取得している。学習装置２においては、取得部１２は、学習データを取得する。学習データには、各時刻の特徴点が時系列に表現された学習用の学習パターン、及び当該学習パターンが表すクラスを示すラベルデータが含まれる。入力パターンの代わりに取得された学習パターンと、標準パターンとの間で、特徴点対応付け部１３により特徴点の対応付けが行なわれ、特徴値抽出部１４により特徴値が抽出される。

学習処理部２１は、特徴値抽出部１４により抽出された特徴値を多層ニューラルネットワークに入力し、多層ニューラルネットワークからの出力とラベルデータが示すクラス（正解データ）とから、多層ニューラルネットワークの全体における重みパラメータを学習する。複数の学習データが取得部１２に取得され、複数の特徴値が多層ニューラルネットワークに入力されて、ラベルデータと照合されることが繰り返されることにより、重みパラメータが学習される。学習済の重みパラメータは、認識装置１の重みパラメータ格納部１６に格納される。

次に、認識装置１及び学習装置２の作用について説明する。

図８は、認識装置による認識処理の流れを示すフローチャートである。ＣＰＵがＲＯＭ又はストレージから認識処理を読み出して、ＲＡＭに展開して実行することにより認識処理が行なわれる。なお、図８に示す認識処理では、オンライン文字を認識する場合について説明する。上述の通り、認識処理は、オンライン文字に限定されず、ユーザのジェスチャー等の他の時系列パターンを認識するのにも適用できる。

認識装置１は、取得部１２により、ユーザによるオンライン文字の入力を受け付け、オンライン文字を取得する（ステップＳ１０１）。

認識装置１は、受け付けたオンライン文字の時系列パターンを入力パターンとしてリサンプリングする（ステップＳ１０２）。なお、ステップＳ１０２を省略して、オンライン文字受け付け時に、一定間隔の時刻毎に設定される特徴点をそのまま、以下の処理に用いてもよい。リサンプリングした場合の方が、比較的均等に標準パターンとの対応付けが可能となる。

認識装置１は、特徴点対応付け部１３により、標準パターン毎に、入力パターンと標準パターンとの間で、特徴点の対応付けを行なう（ステップＳ１０３）。

認識装置１は、特徴値抽出部１４により、標準パターン毎に、入力パターン及び標準パターンの間の特徴点の対応付けの各々から特徴値を抽出する（ステップＳ１０４）。これにより、標準パターンの全ての特徴点に対応する特徴値が抽出される。

認識装置１は、認識処理部１５により、標準パターン毎及び特徴点毎の種類別の特徴値を含むボクセルを多層ニューラルネットワークに入力する（ステップＳ１０５）。認識装置１は、多層ニューラルネットワークから出力されるクラスらしさに関する値又は確率値に基づいて、入力パターンのクラスを判定し（ステップＳ１０６）、判定結果を出力する（ステップＳ１０７）。

図９は、学習装置による学習処理の流れを示すフローチャートである。ＣＰＵがＲＯＭ又はストレージから認識処理を読み出して、ＲＡＭに展開して実行することにより学習処理が行なわれる。なお、図９に示す学習処理では、オンライン文字を認識する場合について説明する。上述の通り、学習処理は、オンライン文字に限定されず、ユーザのジェスチャー等の他の時系列パターンを認識するのにも適用できる。

学習装置２は、取得部１２により、学習データを受け付け、学習データに含まれる学習パターンを取得する（ステップＳ２０１）。学習装置２は、学習パターンと共に、当該学習パターンが表すクラスを示すラベルデータも取得する。

学習装置２は、受け付けた学習パターンとしてリサンプリングする（ステップＳ２０２）。なお、ステップＳ２０２は省略してもよい。

学習装置２は、特徴点対応付け部１３により、標準パターン毎に、学習パターンと標準パターンとの間で、特徴点の対応付けを行なう（ステップＳ２０３）。

学習装置２は、特徴値抽出部１４により、標準パターン毎に、学習パターン及び標準パターンの間の特徴点の対応付けの各々から特徴値を抽出する（ステップＳ２０４）。これにより、標準パターンの全ての特徴点に対応する特徴値が抽出される。

学習装置２は、特徴値抽出部１４により抽出された、標準パターン毎及び特徴点毎の種類別の特徴値を含むボクセルを多層ニューラルネットワークに入力する（ステップＳ２０５）。

学習装置２は、多層ニューラルネットワークから出力されるクラスらしさに関する値又は確率値の算出結果と、ラベルデータが示すクラスとを比較して、多層ニューラルネットワークにおける重みパラメータを補正する（ステップＳ２０６）。

学習装置２は、複数の学習データについて、ステップＳ２０１〜ステップＳ２０６を繰り返すことにより、重みパラメータの補正を繰り返し、最適な重みパラメータを学習する。

このように、本実施の形態の認識装置１及び学習装置２によれば、時系列パターンである入力パターンと標準パターンとの間で対応付けを行い、時刻順の整合性を保持するように選択した特徴を用い、認識処理を行う。したがって、認識装置１及び学習装置２は、各特徴点の時系列方向の変動を許容しつつ、座標値及び局所的な傾きの変化などの２次元的な変動も許容する認識手法を適用できる。換言すると、本実施の形態の認識装置１及び学習装置２によれば、時系列パターンの認識及び学習において、時系列パターンの時間系列方向の変動をＤＰマッチングで吸収し、また標準パターンの時系列に合わせた特徴値を畳み込みニューラルネットワーク（ＣＮＮ）に入力することが可能となる。したがって、時間系列方向の変動のみならず、２次元座標における変動に対する耐性を持つ畳み込みニューラルネットワークの認識を使用することができる、という効果が得られる。

以上、本実施の形態の認識装置１及び学習装置２について説明してきたが、本発明は、上記実施の形態に限定されない。発明の用紙を逸脱しない範囲内で、種々の改良、改変及び応用が可能である。

上記実施形態においては、特徴点対応付け部１３による対応付け処理において、ＤＰマッチングを用いる場合について説明した。しかし、ＤＰマッチングではなく、例えば、隠れマルコフモデルを用いた対応付け手法等の他の対応付け手法を適用しても良い。

また、上記実施形態では、認識装置１と学習装置２とが構成を共有する場合、すなわち同一のコンピュータで構成される場合について説明した。しかし、認識装置１及び学習装置２は、別々のコンピュータで構成しても良い。

また、上記実施の形態では、標準パターンの各特徴点の座標値は固定である前提で説明した。しかし、学習装置２によりＣＮＮ等の多層ニューラルネットワークを学習させる段階で、多層ニューラルネットワークの重みパラメータを更新させるのと同様に、標準パターンの各特徴点の座標値も更新してもよい。

上記の認識装置１及び学習装置２を動作させるコンピュータプログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、メモリ又はストレージ等に転送され記憶される。また、このコンピュータプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、認識装置１及び学習装置２の一機能としてその各装置のソフトウェアに組み込んでもよい。

１ 認識装置
２ 学習装置
１１ 標準パターン格納部
１２ 取得部
１３ 特徴点対応付け部
１４ 特徴値抽出部
１５ 認識処理部
１６ 重みパラメータ格納部
２１ 学習処理部

Claims (8)

1. 各時刻の特徴点が時系列に表現された学習用の学習パターン、及び当該学習パターンが表すクラスを示すラベルデータを取得する取得部と、
   認識対象となる各クラスの各時刻の特徴点が時系列に表現された標準パターンを格納する標準パターン格納部と、
   前記学習パターンと前記標準パターンとの間で、前記特徴点の対応付けを求める特徴点対応付け部と、
   前記学習パターン及び前記標準パターンの間の前記特徴点の対応付けの各々から特徴値を抽出する特徴値抽出部と、
   前記特徴値抽出部により抽出された特徴値を多層ニューラルネットワークに入力したときの出力と、前記ラベルデータが示すクラスとが対応するように、前記多層ニューラルネットワークの重みパラメータを学習する学習処理部と、
   を有する学習装置。
2. 前記特徴点対応付け部は、前記学習パターン及び前記標準パターンの間で対応付けられる特徴点間の距離の総和を目的関数として、前記標準パターンの各特徴点に対して、前記目的関数が最小となるように前記学習パターンの特徴点を対応付けることを特徴とする請求項１に記載の学習装置。
3. 前記特徴値抽出部は、前記学習パターン及び前記標準パターンの各特徴点を用いて、前記標準パターンの特徴点に対応付けられた前記学習パターンの特徴点の相対位置を特徴値として抽出することを特徴とする請求項１または請求項２に記載の学習装置。
4. 各時刻の特徴点が時系列に入力された入力パターンを取得する取得部と、
   認識対象となる各クラスの各時刻の特徴点が時系列に表現された標準パターンを格納する標準パターン格納部と、
   前記入力パターンと前記標準パターンとの間で、前記特徴点の対応付けを求める特徴点対応付け部と、
   前記入力パターン及び前記標準パターンの間の前記特徴点の対応付けの各々から特徴値を抽出する特徴値抽出部と、
   前記特徴点の対応付けの各々から抽出される特徴値から前記入力パターンが表すクラスを認識するための予め学習された多層ニューラルネットワークに、前記特徴値抽出部により抽出された前記特徴点の対応付けの各々の特徴値を入力して、前記取得部により取得された前記入力パターンが表すクラスを認識する認識処理部と、
   を有する認識装置。
5. 前記特徴点対応付け部は、前記入力パターン及び前記標準パターンの間で対応付けられる特徴点間の距離の総和を目的関数として、前記標準パターンの各特徴点に対して、前記目的関数が最小となるように前記入力パターンの特徴点を対応付けることを特徴とする請求項４に記載の認識装置。
6. 前記特徴値抽出部は、前記入力パターン及び前記標準パターンの各特徴点を用いて、前記標準パターンの特徴点に対応付けられた前記入力パターンの特徴点の相対位置を特徴値として抽出することを特徴とする請求項４または請求項５に記載の認識装置。
7. 取得部が、各時刻の特徴点が時系列に表現された学習用の学習パターン、及び当該学習パターンが表すクラスを示すラベルデータを取得する取得ステップと、
   特徴点対応付け部が、認識対象となる各クラスの各時刻の特徴点が時系列に表現された標準パターンと、前記学習パターンとの間で、前記特徴点を対応付ける特徴点対応付けを求めるステップと、
   特徴値抽出部が、前記学習パターン及び前記標準パターンの間の前記特徴点の対応付けの各々から特徴値を抽出する特徴値抽出ステップと、
   学習処理部が、前記特徴値抽出部により抽出された特徴値を多層ニューラルネットワークに入力したときの出力と、前記ラベルデータが示すクラスとが対応するように、前記多層ニューラルネットワークの重みパラメータを学習する学習処理ステップと、
   を有する学習方法。
8. コンピュータを、請求項１〜請求項３の何れか一項に記載の学習装置又は請求項４〜６の何れか一項に記載の認識装置が有する各部として機能させるためのコンピュータプログラム。

Images