JP6514305B1 - 認識辞書メンテナンス装置、パターン認識システム、認識辞書メンテナンス方法およびプログラム - Google Patents

Abstract

【課題】既存の認識辞書を新規の認識辞書で更新すべきか否かをより適切に判定することができる認識辞書メンテナンス装置、パターン認識システム、認識辞書メンテナンス方法およびプログラムを提供する。【解決手段】実施形態の認識辞書メンテナンス装置は、生成部と、評価部と、更新判定部と、を備える。生成部は、学習用データを用いて新規の認識辞書を生成する。評価部は、複数のグループに分類された評価用データのうち、第１グループの評価用データを用いて前記新規の認識辞書の性能を評価して第１性能評価値を算出し、第２グループの評価用データを用いて前記新規の認識辞書の性能を評価して第２性能評価値を算出する。更新判定部は、前記第１性能評価値と前記第２性能評価値とに基づいて、既存の認識辞書を前記新規の認識辞書で更新すべきか否かを判定する。【選択図】図４

Description

本発明の実施形態は、認識辞書メンテナンス装置、パターン認識システム、認識辞書メンテナンス方法およびプログラムに関する。

画像認識システムや音声認識システムに代表されるパターン認識システムは、画像や音声などの認識対象データを入力とし、認識辞書を用いて認識対象データのラベルを推定し、推定したラベルを認識結果として出力する。認識システムの認識辞書を新たに生成した認識辞書で更新する場合、一般的には、多数の評価用データ（評価用データセット）を用いて新規の認識辞書の性能を評価し、既存の認識辞書よりも高い性能評価値が得られた場合に、既存の認識辞書を新規の認識辞書で更新するようにしている。

しかし、単純な性能評価値の比較では、認識辞書の更新の妥当性を適切に判断できない場合がある。例えば、特定タイプのデータについては精度良く認識して欲しいというユーザの要望があった場合、認識辞書の更新によって特定タイプのデータに対する認識率が低下することは望ましくない。しかし、新規の認識辞書に対して得られた性能評価値が既存の認識辞書よりも高くなっていたとしても、特定タイプのデータに対する認識率は低下している場合もあり得る。このような場合、従来技術では既存の認識辞書を新規の認識辞書で更新してしまい、ユーザの要望に応えられなくなる。

特公平６−３２０８７号公報 特許第２８４３１６７号公報

本発明が解決しようとする課題は、既存の認識辞書を新規の認識辞書で更新すべきか否かをより適切に判定することができる認識辞書メンテナンス装置、パターン認識システム、認識辞書メンテナンス方法およびプログラムを提供することである。

実施形態の認識辞書メンテナンス装置は、認識対象データのラベル推定に用いる認識辞書のメンテナンスを行うものであり、生成部と、評価部と、更新判定部と、を備える。生成部は、学習用データを用いて新規の認識辞書を生成する。評価部は、複数のグループに分類された評価用データのうち、第１グループの評価用データを用いて前記新規の認識辞書の性能を評価して第１性能評価値を算出し、第２グループの評価用データを用いて前記新規の認識辞書の性能を評価して第２性能評価値を算出する。更新判定部は、前記第１性能評価値と前記第２性能評価値とに基づいて、既存の認識辞書を前記新規の認識辞書で更新すべきか否かを判定する。

図１は、従来の辞書更新判定の方法を説明する図である。 図２は、従来の方法の問題点を説明する図である。 図３は、実施形態の概要を説明する図である。 図４は、第１実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。 図５は、認識辞書の初期化の手順を示すフローチャートである。 図６は、パターン認識の手順を示すフローチャートである。 図７は、認識辞書のメンテナンスの手順を示すフローチャートである。 図８は、第２実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。 図９は、編集部の詳細を示すブロック図である。 図１０は、評価用データの編集の手順を示すフローチャートである。 図１１は、第３実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。 図１２は、ラベル付与部の詳細を示すブロック図である。 図１３は、ラベル付与の手順を示すフローチャートである。 図１４は、第４実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。 図１５は、第４実施形態における認識辞書の初期化の手順を示すフローチャートである。 図１６は、第８実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。 図１７は、第９実施形態における認識辞書の初期化の手順を示すフローチャートである。 図１８は、第９実施形態における認識辞書のメンテナンスの手順を示すフローチャートである。 図１９は、パターン認識システムのハードウェア構成例を示すブロック図である。 図２０は、端末とサーバを含むパターン認識システムの構成例を示すブロック図である。

以下、実施形態の認識辞書メンテナンス装置、パターン認識システム、認識辞書メンテナンス方法およびプログラムについて、図面を参照して詳細に説明する。

＜実施形態の概要＞
本実施形態は、認識辞書のメンテナンスに関する。認識辞書は、パターン認識システムにおいて認識対象データのラベルを推定するために使用される情報であり、多数の学習用データ（学習用データセット）を用いた統計的な学習により生成される。認識辞書の形式は、認識アルゴリズムによって異なる。認識辞書は、モデル、識別器などと呼ばれる場合もある。

認識対象データは、認識対象としてパターン認識システムに入力されるデータである。例えば、画像認識システムに入力される認識対象データは画像データであり、音声認識システムに入力される認識対象データは音声データである。ラベルは、パターン認識システムにおいて認識辞書を用いて推定され、出力されるデータである。例えば、文字認識を目的とした画像認識システムが出力するラベルは文字コードであり、顔認識を目的とした画像認識システムが出力するラベルは人物ＩＤなどである。

認識辞書の学習（生成）に用いられる学習用データとしては、主に、正解ラベルが付与された教師ありデータが用いられるが、正解ラベルが付与されない教師なしデータも学習用データに含め、半教師あり学習により認識辞書を学習（生成）することもできる。

認識辞書のメンテナンスとは、学習用データセットを用いて新規の認識辞書（以下、「新辞書」と呼ぶ）を生成し、必要に応じて、既存の認識辞書（以下、「現辞書」と呼ぶ）を新辞書で更新する一連の処理である。学習用データセットは、パターン認識システムによりラベルが推定された認識対象データを学習用データとして追加することで拡張することができる。現辞書を新辞書で更新すべきか否かを判定するために、多数の評価用データ（評価用データセット）を用いて新辞書の性能を評価する。評価用データは、正解ラベルが付与された教師ありデータである。評価用データは、バリデーションデータと呼ばれることもある。

評価用データは、教師ありデータを集めたデータ集合から選択して使用することができる。そして、このデータ集合の残りと、パターン認識システムによりラベルが推定された認識対象データとを学習用データとして使用することができる。なお、パターン認識システムによりラベルが推定された認識対象データに対し、ユーザの教示操作に応じて正解ラベルが付与された場合は、これを評価用データとして用いることもできる。

図１は、従来の辞書更新判定の方法を説明する図である。従来は、評価用データセットを用いて新辞書の性能を評価して、現辞書よりも高い性能評価値（ここでは評価用データセットに対する認識率）が得られれば、現辞書を新辞書で更新するようにしている。図１の例では、新辞書Ａの評価用データセットに対する認識率が９５％であり、現辞書の評価用データセットに対する認識率９０％よりも高くなっているので、現辞書が新辞書Ａで更新される。一方、新辞書Ｂのように、評価用データセットに対する認識率が現辞書よりも低下している場合（図１の例では新辞書Ｂの認識率が８５％であり、現辞書の認識率９０％より低下している）は、認識辞書の更新は行わない。

しかし、このような従来の方法では、特定タイプのデータに対する性能を保証できないという問題がある。すなわち、新辞書の評価用データセットに対する認識率が現辞書よりも高いとしても、特定タイプのデータに対する認識率が低下していない保証はなく、認識辞書の更新によって、特定タイプのデータが精度良く認識できなくなってしまう場合もある。特に、ラベルが推定された認識対象データを学習用データとして追加して学習用データセットを拡張するシステムの場合、学習用データのラベルが正解でない場合もあり、新辞書の性能が低下するリスクが高い。

図２は、従来の方法の問題点を説明する図である。例えば、画像認識においては、対象がぼやけた画像や対象の一部が欠損している画像のように認識の難しい画像よりも、対象が鮮明に映る画像を正しく認識できることが実用上重要とされることが多い。しかし、従来の方法では、実用上重要な画像の認識率が低下していても、全体として認識精度が向上していれば性能は向上していると判断されてしまう。例えば図２の例では、評価用データセットに含まれる画像Ｉｍ１は比較的文字が鮮明に映っているため、実用上重要な画像である。一方、画像Ｉｍ２，Ｉｍ３は、認識が比較的難しい画像である。ここで、現辞書は、画像Ｉｍ１を正しく認識できたが、画像Ｉｍ２，Ｉｍ３は正しく認識できなかったとする。一方、新辞書Ａは、画像Ｉｍ２，Ｉｍ３は正しく認識できたが、画像Ｉｍ１を正しく認識できなかったとする。この場合、新辞書Ａは実用上重要な画像Ｉｍ１を認識できないにも関わらず、評価用データセット全体に対する認識率が現辞書よりも高くなる場合もあり、現辞書が新辞書Ａで更新されることにより、実用上重要な画像の認識率が低下する懸念がある。また、上述したように、特定タイプのデータを精度良く認識して欲しいというユーザの要望がある場合も、同様の問題が生じる。

そこで、本実施形態では、評価用データセットに含まれる評価用データを複数のグループに分類し、第１グループの評価用データを用いて新辞書の性能を評価して第１性能評価値を算出するとともに、第２グループの評価用データを用いて新辞書の性能を評価して第２性能評価値を算出する。そして、第１性能評価値と第２性能評価値とに基づいて、現辞書を新辞書で更新すべきか否かを判定する。例えば、第１グループの評価用データを特定タイプのデータとし、第２グループの評価用データをそれ以外のデータとする。そして、新辞書の第１性能評価値が第１閾値以上であり、かつ、新辞書の第２性能評価値が第２閾値以上である場合に、現辞書を新辞書で更新すべきと判定する。

図３は、図１および図２に例示した事例に即して、本実施形態の概要を説明する図である。本実施形態では、評価用データセットに含まれる評価用データを、例えば、実用上重要なデータ、あるいは、ユーザから精度良い認識が要望されるデータなどの特定タイプのデータの第１グループと、それ以外のデータの第２グループとに分類する。例えば図２に示した画像Ｉｍ１は第１グループ、図２に示した画像Ｉｍ２，Ｉｍ３は第２グループに分類される。そして、新辞書の性能評価は、第１グループの評価用データを用いた新辞書の性能評価と、第２グループの評価用データを用いた新辞書の性能評価とを個別に行い、第１性能評価値（ここでは第１グループの評価用データに対する認識率）が第１閾値以上、かつ、第２性能評価値（ここでは第２グループの評価用データに対する認識率）が第２閾値以上の場合、現辞書を新辞書で更新すべきと判定する。ここで、第１閾値としては、例えば予め定めた固定閾値（例えば認識率１００％）を用いる。また、第２閾値としては、例えば、現辞書について算出された第２性能評価値を用いる。

図３の例では、新辞書Ａは、第２性能評価値（第２グループの評価用データに対する認識率）が第２閾値（現辞書の第２グループの評価用データに対する認識率）以上となっているが、第１性能評価値（第１グループの評価用データに対する認識率）が第１閾値（１００％）未満となっている。したがって、現辞書を新辞書Ａで更新すべきではないと判定される。また、新辞書Ｂは、第１性能評価値が第１閾値以上となっているが、第２性能評価値が第２閾値未満となっている。したがって、現辞書を新辞書Ａで更新すべきではないと判定される。一方、新辞書Ｃは、第１性能評価値が第１閾値以上であり、かつ、第２性能評価値が第２閾値以上となっている。したがって、現辞書を新辞書Ｃで更新すべきと判定される。

本実施形態では、以上の仕組みにより、認識辞書の更新によって特定タイプのデータに対する認識性能を低下させることなく全体としての認識性能が向上するように、現辞書を新辞書で更新すべきか否かを適切に判定することができる。これにより、特定タイプのデータに対する性能保証を可能とする最適な認識辞書のメンテナンスを実現することができる。以下では、本実施形態を適用したパターン認識システムの具体例について詳細に説明する。なお、以下の説明において、同様の機能を持つ構成要素については同一の符号を付して、重複した説明を適宜省略する。

＜第１実施形態＞
図４は、第１実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。本実施形態のパターン認識システムは、図４に示すように、認識部１０と、記憶部２０と、メンテナンス部３０とを備える。メンテナンス部３０は、認識辞書メンテナンス装置に相当する。

認識部１０は、記憶部２０が記憶する現辞書を用いて、パターン認識システムに入力された認識対象データのラベルを推定する。認識部１０により推定されたラベルは、認識結果としてパターン認識システムから出力される。

記憶部２０は、現辞書を記憶する辞書記憶部２１と、学習用データセットおよび評価用データセットを記憶するデータ記憶部２２とを含む。学習用データセットは、上述のように、認識辞書を生成するために用いられる学習用データの集合であり、正解ラベルが付与された教師ありデータだけでなく、正解ラベルが付与されていない教師なしデータが含まれていてもよい。評価用データセットは、上述のように、認識辞書の性能を評価するために用いられる評価用データの集合である。評価用データセットに含まれる評価用データは、複数のグループに分類されている。

学習用データと評価用データは形式が同等のデータである。したがって、このような形式のデータ集合の一部を選択して評価用データセットとし、残りを学習用データセットとすることができる。ただし、認識辞書の性能を正しく評価するために、評価用データは教師ありデータである必要がある。なお、辞書記憶部２１とデータ記憶部２２は物理的に単一の記憶装置を用いて実現してもよいし、複数の記憶装置を用いて実現してもよい。つまり、記憶部２０は、１つ以上の記憶装置を用いて構成される。

メンテナンス部３０は、認識辞書のメンテナンスを行う機能であり、生成部３１と、評価部３２と、更新判定部３３と、更新部３４とを備える。

生成部３１は、データ記憶部２２が記憶する学習用データを用いて、新辞書を生成する。なお、認識辞書の初期化を行う場合は、生成部３１は、初期辞書を生成する。初期辞書は、パターン認識システムの構築時に辞書記憶部２１に最初に保存される認識辞書である。目的の変化に応じてパターン認識システムをリニューアルする際に初期化を行い、初期辞書を生成して辞書記憶部２１に新たに保存してもよい。

評価部３２は、データ記憶部２２が記憶する評価用データを用いて、生成部３１により生成された新辞書の性能を評価する。特にこの評価部３２は、複数のグループに分類された評価用データのうち、第１グループの評価用データを用いて新辞書の性能を評価して第１性能評価値を算出し、第２グループの評価用データを用いて新辞書の性能を評価して第２性能評価値を算出する。第１性能評価値は、第１グループの評価用データに対する認識率であってもよいし、例えば、第１グループ内の特定の評価用データに重み付けして計算される値など、第１グループの評価用データに対する認識性能を表す他の値であってもよい。同様に、第２性能評価値は、第２グループの評価用データに対する認識率であってもよいし、例えば、第２グループ内の特定の評価用データに重み付けして計算される値など、第２グループの評価用データに対する認識性能を表す他の値であってもよい。なお、認識辞書の初期化を行う場合は、評価部３２は、初期辞書の性能を新辞書と同様に評価して、初期辞書の第１性能評価値と第２性能評価値とを算出する。

更新判定部３３は、新辞書の第１性能評価値と第２性能評価値とに基づいて、現辞書を新辞書で更新すべきか否かを判定する。例えば、更新判定部３３は、新辞書の第１性能評価値が第１閾値以上であり、かつ、新辞書の第２性能評価値が第２閾値以上である場合に、現辞書を新辞書で更新すべきと判定する。第１閾値は、例えば、事前に固定閾値として設定される。第１閾値をユーザの入力操作に応じて変更可能な構成としてもよい。第２閾値は、例えば、現辞書の第２性能評価値であり、現辞書の作成時に算出されて保存される。この第２閾値は、認識辞書の更新に伴って変化する相対閾値である。

更新部３４は、更新判定部３３が認識辞書を更新すべきと判定した場合に、辞書記憶部２１が記憶する現辞書を新辞書で更新する。つまり、更新部３４は、第１性能評価値が第１閾値以上であり、かつ、第２性能評価値が第２閾値以上である場合に、現辞書を新辞書で更新する。なお、更新部３４は、このように更新判定部３３の判定結果に応じて認識辞書の更新を自動で行うものに限らず、ユーザの更新指示に応じて認識辞書の更新を行う構成としてもよい。すなわち、更新部３４は、更新判定部３３が認識辞書を更新すべきと判定した場合に、現辞書を新辞書で更新するか否かをユーザに問い合わせ、ユーザから更新指示を受け付けた場合に、現辞書を新辞書で更新する構成であってもよい。

次に、本実施形態に係るパターン認識システムの動作について、認識辞書の初期化、認識辞書を用いたパターン認識、認識辞書のメンテナンスの順に、それぞれの処理の具体例を説明する。

まず、認識辞書の初期化について説明する。本実施形態では、認識辞書の初期化を行う前の事前準備として、評価用データの選択や分類、第１閾値の設定などが行われるものとする。すなわち、パターン認識システムの構築前に、多数の教師ありデータが用意される。そして、これら教師ありデータのデータ集合が、例えば所定の比率のランダム分割により評価用データと学習用データとに分割されて、データ記憶部２２に保存される。このとき評価用データが複数のグループに分類されてデータ記憶部２２に保存されるとともに、第１閾値が設定される。評価用データの分類および第１閾値の設定は、例えば管理者の判断に基づいて行われる。

図５は、認識辞書の初期化の手順を示すフローチャートである。認識辞書の初期化が開始されると、まず、生成部３１が、学習用データセットを用いて、所定の方法で初期辞書を生成する（ステップＳ１０１）。所定の方法とは、パターン認識システムの認識方式に応じた方法であり、例えば、サポートベクトルマシン、ニューラルネットワーク、部分空間法などである。

次に、評価部３２が、評価用データセットのうち第１グループの評価用データを用いて初期辞書の性能を評価し、第１性能評価値を算出する（ステップＳ１０２）。そして、第１性能評価値が第１閾値以上であるか否かが判定される（ステップＳ１０３）。ここで、第１性能評価値が第１閾値未満であれば（ステップＳ１０３：Ｎｏ）、さらに、初期辞書の生成回数が所定回数以上であるか否かが判定される（ステップＳ１０４）。そして、初期辞書の作成回数が所定回数未満の場合は（ステップＳ１０４：Ｎｏ）、誤認識された評価用データを正しく認識できるようにするための性能改善対策が行われた後（ステップＳ１０５）、ステップＳ１０１に戻って初期辞書が再度生成される。ここで、性能改善対策とは、例えば、誤認識された評価用データのコピー、あるいは、誤認識された評価用データに変形を加えたものを学習用データセットに追加したり、学習用データセットの中で、誤認識された評価用データに最も類似した学習用データの重みを上げたりといった処理である。

一方、初期辞書の生成回数が所定回数以上の場合（ステップＳ１０４：Ｙｅｓ）、すなわち、初期辞書の生成を所定回数繰り返しても第１性能評価値が第１閾値以上にならない場合は、第１グループの評価用データを正しく認識できる初期辞書が作成できないことを示す警告を出力し（ステップＳ１０６）、初期化の処理を終了する。この場合、例えば管理者により評価用データの分類や第１閾値が見直され、誤認識された評価用データを第１グループから第２グループに移動したり、第１閾値を下げたりといった操作が行われた後に、認識辞書の初期化が再度行われる。

初期辞書に対して算出した第１性能評価値が第１閾値以上である場合は（ステップＳ１０３：Ｙｅｓ）、評価部３２は、次に、評価用データセットのうち第２グループの評価用データを用いて初期辞書の性能を評価し、第２性能評価値を算出する（ステップＳ１０７）。そして、評価部３２により算出された第２性能評価値が第２閾値として保存されるとともに（ステップＳ１０８）、初期辞書が現辞書として辞書記憶部２１に保存され（ステップＳ１０９）、初期化の処理が終了する。

次に、認識辞書を用いたパターン認識について説明する。図６は、認識辞書を用いたパターン認識の手順を示すフローチャートである。この図６に示す一連の処理は、パターン認識システムに認識対象データが入力されるたびに繰り返し実施される。

パターン認識システムにより認識対象データの入力が受け付けられると（ステップＳ２０１）、認識部１０が、辞書記憶部２１に保存された現辞書を用いて、入力された認識対象データのラベルを推定する（ステップＳ２０２）。そして、認識部１０により推定された認識対象データのラベルが、パターン認識システムから認識結果として出力される（ステップＳ２０３）。また、認識部１０によりラベルが推定された認識対象データが学習用データとしてデータ記憶部２２に保存される（ステップＳ２０４）。

次に、認識辞書のメンテナンスについて説明する。図７は、認識辞書のメンテナンスの手順を示すフローチャートである。この図７に示す一連の処理は、例えば１日に１回など、所定のタイミングで実施される。

認識辞書のメンテナンスが開始されると、まず、生成部３１が、学習用データセットを用いて、初期辞書の作成時と同様の方法で新辞書を生成する（ステップＳ３０１）。新辞書の生成に用いる学習用データセットには、認識部１０が現辞書を用いてラベルを推定した認識対象データが、学習用データとして含まれる。この学習用データは正解ラベルが不明であるが、例えば、認識部１０により推定されたラベルを正解ラベルとして扱って新辞書の学習を行う。また、認識結果の確信度（推定されたラベルが正解ラベルである確信度）に応じて一部のみを学習用データとしてもよい。

次に、評価部３２が、評価用データセットのうち第１グループの評価用データを用いて新辞書の性能を評価し、第１性能評価値を算出する（ステップＳ３０２）。そして、第１性能評価値が第１閾値以上であるか否かが判定される（ステップＳ３０３）。ここで、第１性能評価値が第１閾値未満であれば（ステップＳ３０３：Ｎｏ）、更新判定部３３により現辞書を新辞書で更新すべきでないと判定される。この場合、新辞書が廃棄されて認識辞書のメンテナンスが終了する。

一方、第１性能評価値が第１閾値以上である場合は（ステップＳ３０３：Ｙｅｓ）、評価部３２は、次に、評価用データセットのうち第２グループの評価用データを用いて新辞書の性能を評価し、第２性能評価値を算出する（ステップＳ３０４）。そして、第２性能評価値が第２閾値以上であるか否かが判定される（ステップＳ３０５）。ここで、第２性能評価値が第２閾値未満であれば（ステップＳ３０５：Ｎｏ）、更新判定部３３により現辞書を新辞書で更新すべきでないと判定される。この場合、新辞書が廃棄されて認識辞書のメンテナンスが終了する。

一方、第２性能評価値が第２閾値以上である場合は（ステップＳ３０５：Ｙｅｓ）、更新判定部３３により現辞書を新辞書で更新すべきと判定される。この場合、更新部３４が、現辞書を新辞書で更新するとともに（ステップＳ３０６）、ステップＳ３０４で算出された第２性能評価値を第２閾値として保存し（ステップＳ３０７）、認識辞書のメンテナンスが終了する。

以上、具体的な例を挙げながら説明したように、本実施形態のパターン認識システムは、認識辞書のメンテナンスにおいて、複数のグループに分類された評価用データのうち、第１グループの評価用データを用いて新辞書を評価して第１性能評価値を算出するとともに、第２グループの評価用データを算出する。そして、第１性能評価値が第１閾値以上であり、かつ、第２性能評価値が第２閾値以上である場合に、現辞書を新辞書で更新すべきと判定し、認識辞書の更新を行うようにしている。したがって、認識辞書の更新によって特定タイプのデータに対する認識性能を低下させることなく全体としての認識性能が向上するように、現辞書を新辞書で更新すべきか否かを適切に判定することができる。

＜第２実施形態＞
次に、第２実施形態について説明する。本実施形態は、評価用データを編集する機能を追加したものである。図８は、第２実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。本実施形態のパターン認識システムは、図４に示した第１実施形態の構成と比較して、メンテナンス部３０に編集部４０が追加されている。

編集部４０は、ユーザの編集操作に応じて、評価用データの追加、削除、グループ移動を行う。編集部４０の詳細を図９に示す。編集部４０は、図９に示すように、表示部４１と、操作受付部４２と、編集実行部４３とを備える。

表示部４１は、ユーザが編集操作を行うための各種情報を表示装置に表示させる制御を行う。操作受付部４２は、ユーザの編集操作を受け付ける。編集実行部４３は、操作受付部４２が受け付けたユーザの編集操作に応じて、評価用データの追加、削除、グループ移動といった評価用データの編集を実行する。

図１０は、評価用データの編集の手順を示すフローチャートである。評価用データの編集は、例えば、パターン認識システムに入力される認識対象データの傾向が変化した場合などに、ユーザの要求に応じて実施される。

ユーザにより評価用データの編集が要求されると編集部４０が起動され、まず、表示部４１の制御により、編集タイプ一覧が表示される（ステップＳ４０１）。編集タイプは、「追加」、「削除」、「移動」を含む。そして、この編集タイプ一覧からユーザが編集タイプを選択する操作を行うと（ステップＳ４０２）、その操作が操作受付部４２により受け付けられて、選択された編集タイプに応じてその後の処理が分岐する。

編集タイプとして「追加」が選択された場合、ユーザの操作によって、追加する評価用データが入力される（ステップＳ４０３）。評価用データが入力されると、編集実行部４３が、入力された評価用データのグループを決定し（ステップＳ４０４）、決定したグループの評価用データとして、入力された評価用データを追加する（ステップＳ４０５）。追加する評価用データのグループは、ユーザの操作に応じて決定してもよいし、評価用データのラベルなどから評価用データのタイプを判別し、自動で決定してもよい。

編集タイプとして「削除」が選択された場合、表示部４１の制御により、評価用データの一覧が表示される（ステップＳ４０６）。そして、この評価用データ一覧からユーザが削除する評価用データを選択する操作を行うと（ステップＳ４０７）、その操作が操作受付部４２により受け付けられ、編集実行部４３が、ユーザにより選択された評価用データを削除する（ステップＳ４０８）。

編集タイプとして「移動」が選択された場合、表示部４１の制御により、評価用データのグループ一覧が表示される（ステップＳ４０９）。そして、このグループ一覧からユーザが移動元グループと移動先グループを選択する操作を行うと（ステップＳ４１０）、その操作が操作受付部４２により受け付けられ、表示部４１の制御により、移動元グループ内の評価用データ一覧が表示される（ステップＳ４１１）。そして、この評価用データ一覧からユーザが移動する評価用データを選択する操作を行うと（ステップＳ４１２）、その操作が操作受付部４２により受け付けられ、編集実行部４３が、ユーザにより選択された評価用データを移動元グループから移動先グループに移動する（ステップＳ４１３）。

評価用データの編集が行われた場合、編集された評価用データを用い、図５に示した初期化と同様の手順で、辞書記憶部２１が記憶する現辞書の性能を再評価することが望ましい。例えば、評価用データの編集により第１グループの評価用データが変化した場合は、図５のステップＳ１０２以降と同様の処理を行うことで、現辞書の第１性能評価値が第１閾値以上となる状態を維持する。また、評価用データの編集により第２グループの評価用データが変化した場合は、図５のステップＳ１０７およびステップＳ１０８と同様の処理を行うことで、第２閾値を更新する。

以上説明したように、本実施形態のパターン認識システムは、評価用データを編集する機能を持つことにより、上述の第１実施形態と同様に現辞書を新辞書で更新すべきか否かを適切に判定することができることに加え、例えば、パターン認識システムに入力される認識対象データの傾向が変化した場合など、認識性能を保証したいデータのタイプが変化した場合にも柔軟に対応可能となる。

＜第３実施形態＞
次に、第３実施形態について説明する。本実施形態は、学習データセットに含まれる教師なしデータ（ラベルが推定された認識対象データ）に対して正解ラベルを付与する機能を追加したものである。図１１は、第３実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。本実施形態のパターン認識システムは、図４に示した第１実施形態の構成と比較して、メンテナンス部３０にラベル付与部５０が追加されている。

ラベル付与部５０は、ユーザの教示操作に応じて、学習データセットに含まれる教師なしデータ（ラベルが推定された認識対象データ）に対し、正解ラベルを付与する。教示操作とは、正解ラベルをシステムに教示するための操作である。ラベル付与部５０の詳細を図１２に示す。ラベル付与部５０は、図１２に示すように、表示部５１と、操作受付部５２と、データ登録部５３とを備える。

表示部５１は、ユーザが教示操作を行うための各種情報を表示装置に表示させる制御を行う。操作受付部５２は、ユーザの教示操作を受け付ける。データ登録部５３は、操作受付部５２が受け付けたユーザの教示操作に応じて、正解ラベルが付与された認識対象データを教師ありデータとしてデータ記憶部２２に保存する。

図１３は、ラベル付与の手順を示すフローチャートである。ラベル付与は、例えば、辞書記憶部２１が記憶する現辞書が所定時間以上更新されない場合などに、ユーザの要求に応じて実施される。すなわち、本実施形態のパターン認識システムは、辞書記憶部２１が記憶する現辞書が更新されない状態が所定時間継続すると、ユーザに対して教示操作を促す警告を出力する。ユーザは、この警告に応じてシステムに対しラベル付与の実施を要求する。

ユーザによりラベル付与が要求されるとラベル付与部５０が起動され、まず、表示部５１が、学習データセットに含まれる教師なしデータのうち、ラベル付与の対象となる教師なしデータを選択し（ステップＳ５０１）、選択した教師なしデータをユーザが観測できる情報を表示させる（ステップＳ５０２）。教師なしデータを選択する際は、認識結果の確信度が小さいものを選ぶことで、その後に作成する新辞書の認識精度の向上が期待される。選択した教師なしデータをユーザが観測できる情報とは、教師なしデータが画像であればその画像、教師なしデータが音声であればその音声を再生するための音声再生ボタンなどである。これらの情報を表示することで、ラベル付与の対象となる教師なしデータをユーザが観測できる。なお、ラベル付与の対象となる教師なしデータの数は、予め定めた所定の数であってもよいし、ユーザの入力に応じて決定してもよい。

次に、ラベル付与の対象となる教師なしデータを観測したユーザが、その教師なしデータの正解ラベルを入力すると、操作受付部５２がその正解ラベルの入力を受け付ける（ステップＳ５０３）。そして、データ登録部５３が、ラベル付与の対象となる教師なしデータに対しユーザが入力した正解ラベルを対応付けて、教師ありデータとしてデータ記憶部２２に登録する（ステップＳ５０４）。

ラベル付与部５０による上述の処理は、ユーザの操作に応じて終了する。このとき、ラベル付与の対象として選択された全ての教師なしデータに対する教示操作が完了している必要はない。本実施形態のパターン認識システムは、ラベル付与部５０によるラベル付与の処理が終了したときに、続けて認識辞書のメンテナンスを行うようにしてもよいし、次のメンテナンスのタイミングで認識辞書のメンテナンスを行うようにしてもよい。

以上説明したように、本実施形態のパターン認識システムは、学習データセットに含まれる教師なしデータに対して正解ラベルを付与する機能を持つことにより、上述の第１実施形態と同様に現辞書を新辞書で更新すべきか否かを適切に判定することができることに加え、新辞書の性能が向上しない場合に適切な対策を行って、より性能のよい新辞書を生成することが可能となる。

＜第４実施形態＞
次に、第４実施形態について説明する。本実施形態は、評価用データセットを複数のグループに自動分類する機能を追加したものである。図１４は、第４実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。本実施形態のパターン認識システムは、図４に示した第１実施形態の構成と比較して、メンテナンス部３０に分類部６０が追加されている。

分類部６０は、所定の分類基準に基づいて、評価用データセットに含まれる評価用データを複数のグループに自動分類する。例えば、分類基準が認識の難易度である場合、分類部６０は、評価用データのそれぞれについて所定の手法を用いて認識の難易度を表す統計量を計算し、得られた値が所定の閾値以下の評価用データを第１グループ、それ以外を第２グループに分類する。認識の難易度を表す統計量を計算する手法とは、例えば汎用辞書を用いて認識したときの確信度、クラスタリング（X-means法、Word法など）を施した際のクラスタ中心からの距離などである。

また、画像認識を行うパターン認識システムにおいて、要求されるタスクが文字認識であれば、例えば、平仮名、片仮名、漢字、数字、記号などの文字種を分類基準としてもよい。また、要求されるタスクが顔認識であれば、例えば人種を分類基準としてもよい。この場合、分類部６０は、評価用データのラベルから文字種や人種などを判断して、それぞれ対応するグループに分類することができる。

本実施形態では、認識辞書の初期化を行う際に、分類部６０が評価用データを複数のグループに自動分類する。図１５は、第４実施形態における認識辞書の初期化の手順を示すフローチャートである。図５に示した第１実施形態における認識辞書の初期化との違いは、初期辞書の生成の前に、評価用データを自動分類する処理と第１閾値を設定する処理とが追加されている点である。

本実施形態では、認識辞書の初期化が開始されると、まず、分類部６０が、管理者などによる分類の条件指定を受け付ける（ステップＳ６０１）。分類の条件は、例えば上述の分類基準や第１閾値などを含む。分類基準は、例えば、難易度による分類、文字種による分類、人種による分類などの分類基準の候補を提示し、その候補のうちのいずれかを管理者が選択できるようにしてもよい。

次に、分類部６０は、ステップＳ６０１で指定された分類基準に従って、評価用データセットに含まれる評価用データを複数のグループに分類し（ステップＳ６０２）、ステップＳ６０１で指定された第１閾値を設定する（ステップＳ６０３）。その後のステップＳ６０４からステップＳ６１２の処理は、図５のステップＳ１０１からステップＳ１０９までの処理と同様であるため、説明を省略する。ただし、本実施形態では、ステップＳ６０９で警告を出力した後、ステップＳ６０１に戻って管理者などによる分類の条件指定を再度受け付ける。このとき、例えば管理者は、指定する分類基準を変更したり第１閾値を下げたりといった操作を行うことができる。

以上説明したように、本実施形態のパターン認識システムは、評価用データセットを複数のグループに自動分類する機能を持つことにより、上述の第１実施形態と同様に現辞書を新辞書で更新すべきか否かを適切に判定することができることに加え、評価用データを人手で分類する作業を不要として管理者などの負担を軽減することができる。

＜第５実施形態＞
次に、第５実施形態について説明する。本実施形態は、第１グループに分類される評価用データをさらに複数のサブグループに分類する例である。例えば顔認識において、人種を分類基準として評価用データを分類する場合に、アジア系人種を第１グループとし、それ以外を第２グループとする。さらに、第１グループを日本人、中国人、韓国人といったように、国別のサブグループに分ける。この場合、第１グループに分類される評価用データがさらに、国別のサブグループに分類される。

第１グループに分類される評価用データをさらに複数のサブグループに分類する場合は、第１グループのサブグループごとに第１閾値が設定される。そして、第１グループの評価用データを用いた認識辞書の性能評価がサブグループごとに行われ、サブグループごとの第１性能評価値が算出されて、サブグループごとに設定された第１閾値と比較される。そして、新辞書に対して算出されたサブグループごとの第１性能評価値がそれぞれ第１閾値以上であり、かつ、第２性能評価値が第２閾値以上である場合に、現辞書を新辞書で更新すべきと判定される。

また、第１グループに分類される評価用データだけでなく、第２グループに分類される評価用データを複数のサブグループに分類してもよい。例えば文字認識において、文字種を分類基準として評価用データを分類する場合に、平仮名を第１グループのサブグループＡ、数字を第１グループのサブグループＢ、片仮名を第２グループのサブグループＡ、アルファベットを第２グループのサブグループＢとする例が考えられる。また、第２グループに分類される評価用データのみを複数のサブグループに分類してもよい。

第２グループに分類される評価用データをさらに複数のサブグループに分類する場合は、第２グループの評価用データを用いた認識辞書の性能評価がサブグループごとに行われ、サブグループごとの第２性能評価値が算出されて、サブグループごとの第２閾値（現辞書についてサブグループごとに算出された第２性能評価値）と比較される。そして、新辞書に対して算出された第１性能評価値が第１閾値以上（第１グループに分類される評価用データを複数のサブグループに分類する場合は、サブグループごとに算出された第１性能評価値がサブグループごとに設定された第１閾値以上）であり、かつ、サブグループごとの第２性能評価値がそれぞれ第２閾値以上である場合に、現辞書を新辞書で更新すべきと判定される。

なお、本実施形態を適用可能な分類基準は上述の例に限らない。また、１つの評価用データが複数のサブグループに分類されるようにしてもよい。評価用データの分類は、第１実施形態と同様に人手で行ってもよいし、第４実施形態と同様に自動で行うようにしてもよい。

以上説明したように、本実施形態では、第１グループに分類される評価用データや第２グループに分類される評価用データをさらに複数のサブグループに分類し、サブグループごとに第１性能評価値や第２性能評価値を算出するようにしているので、現辞書を新辞書で更新すべきか否かを判定する条件としてより自由度の高い条件を設定することができ、環境に適合しやすいシステムを設計することが可能となる。

＜第６実施形態＞
次に、第６実施形態について説明する。本実施形態は、評価用データを複数の分類基準ごとに複数のグループに分類する例である。例えば文字認識において、数字を精度良く認識したいというユーザの要望があったとする。この場合、文字種を第１分類基準として、数字を第１分類基準に基づく第１グループ、それ以外を第１分類基準に基づく第２グループとする。さらに、実用上の重要性を考慮して認識の難易度を第２分類基準とし、認識の難易度が低いものを第１グループ、難易度が高いものを第２グループとする。この場合、評価用データは、第１分類基準に従って第１グループと第２グループに分類されるとともに、第２分類基準に従って第１グループと第２グループに分類される。なお、本実施形態を適用可能な分類基準はこの例に限らず、組み合わせが可能なあらゆる分類基準に対し適用できる。評価用データの分類は、第１実施形態と同様に人手で行ってもよいし、第４実施形態と同様に自動で行うようにしてもよい。また、分類基準は２つに限らず、３つ以上であってもよい。また、少なくとも１つの第１グループが、第５実施形態と同様に複数のサブグループを持つ構成であってもよい。

本実施形態では、認識辞書に対する第１性能評価値の算出と第２性能評価値の算出とを複数の分類基準ごとに行う。そして、新辞書に対して複数の分類基準ごとに算出した第１性能評価値がそれぞれ第１閾値以上であり、かつ、新辞書に対して複数の分類基準ごとに算出した第２性能評価値がそれぞれ第２閾値以上である場合に、現辞書を新辞書で更新すべきと判定される。なお、第１閾値は複数の分類基準ごとに個別の値を設定してもよいし、共通の値を設定してもよい。

以上説明したように、本実施形態では、評価用データを複数の分類基準ごとに複数のグループに分類するようにしているので、現辞書を新辞書で更新すべきか否かを判定する条件としてより自由度の高い条件を設定することができ、環境に適合しやすいシステムを設計することが可能となる。

＜第７実施形態＞
次に、第７実施形態について説明する。本実施形態は、グループがファジィ集合の場合の例である。ファジィ集合は、あるデータがあるグループに属するか属さないかの二値で考えるのではなく、連続的な数値として帰属度により表す表現方法である。すなわち、本実施形態では、評価用データの分類に用いる複数のグループが、各グループへの帰属度によって連続的に表現される。

本実施形態では、評価用データの第１グループに対する帰属度および第２グループに対する帰属度を定義する。例えば、評価用データに対する認識の難易度を分類基準とし、認識の難易度が低いものを第１グループ、難易度が高いものを第２グループとする場合は、例えば、０以上１以下に正規化された、汎用辞書を用いて評価用データを認識したときの確信度ｓを第１グループに対する帰属度とし、（１−ｓ）を第２グループに対する帰属度とすることができる。また、評価用データの優先度を分類基準とし、優先度が高いものを第１グループ、優先度が低いものを第２グループとする場合は、個々の評価用データに与えられた優先順位を示す数値が小さいほど大きな値となる０以上１以下の値ｐを第１グループに対する帰属度とし、（１−ｐ）を第２グループに対する帰属度とすることができる。

本実施形態では、評価用データセットに含まれる全ての評価用データを用いて、認識辞書に対する性能評価を行う。そして、所定の方式で、第１性能評価値と第２性能評価値とを算出する。例えば、各評価用データの認識可否を示す値（例えば、認識できたときは１、認識できなかったときは０）に対して、第１グループへの帰属度を乗じた重み付け和により第１性能評価値を算出し、第２グループへの帰属度を乗じた重み付け和により第２性能評価値を算出することができる。認識辞書の更新判定の方法は第１実施形態と同様である。

以上説明したように、評価用データの分類に用いる複数のグループが、各グループへの帰属度によって連続的に表現されるファジィ集合であっても、上述の第１実施形態と同様に、現辞書を新辞書で更新すべきか否かを適切に判定することができる。

＜第８実施形態＞
次に、第８実施形態について説明する。本実施形態は、ユーザが占有する認識辞書に加えて、複数ユーザが共有する認識辞書が存在する場合の例である。図１６は、第８実施形態に係るパターン認識システムの機能的な構成例を示すブロック図である。本実施形態に係るパターン認識システムは、図１６に示すように、認識部１０と、ユーザ記憶部２０Ａおよび共有記憶部２０Ｂと、メンテナンス部３０とを備える。図１６では認識部１０およびユーザ記憶部２０Ａをそれぞれ１つのみ図示しているが、認識部１０およびユーザ記憶部２０Ａはユーザごとに設けられる。

ユーザ記憶部２０Ａは、ユーザが占有する認識辞書を記憶するユーザ辞書記憶部２１Ａと、ユーザが占有する学習用データセットおよび評価用データセットを記憶するユーザデータ記憶部２２Ａとを含む。共有記憶部２０Ｂは、複数ユーザが共有する認識辞書を記憶する共有辞書記憶部２１Ｂと、複数ユーザが共有する学習用データセットおよび評価用データセットを記憶する共有データ記憶部２２Ｂとを含む。

本実施形態では、ユーザが占有する認識辞書の初期化と、複数ユーザが共有する認識辞書の初期化とが、上述の第１実施形態と同様の手順（図５参照）で個別に行われる。また、認識辞書を用いたパターン認識は、所定の方法で、ユーザが占有する認識辞書と複数ユーザが共有する認識辞書の双方を用いて行われる。ここで所定の方法とは、例えば、ユーザが占有する認識辞書を用いて認識対象データのラベルを推定した結果、リジェクトと判定された場合に、複数ユーザが共有する認識辞書を用いて認識対象データのラベルを再度推定するといった方法である。リジェクトとは、認識結果の確信度が低い場合に認識結果の出力を保留する処理である。

また、本実施形態では、メンテナンス部３０が、ユーザが占有する認識辞書のメンテナンスと、複数ユーザが共有する認識辞書のメンテナンスとを、上述の第１実施形態と同様の手順（図７参照）で個別に行う。ただし、ユーザが占有する認識辞書のメンテナンス時に、共有データ記憶部２２Ｂが記憶する学習用データセットの一部を新辞書の生成に利用することができる。

すなわち、本実施形態のメンテナンス部３０は、複数ユーザが共有する認識辞書のメンテナンスを行う際は、共有データ記憶部２２Ｂが記憶する学習用データセットを用いて新辞書を生成し、共有データ記憶部２２Ｂが記憶する評価用データセットを用いて新辞書の性能を評価して第１性能評価値および第２性能評価値を算出する。そして、第１性能評価値が第１閾値以上であり、かつ、第２性能評価値が第２閾値以上である場合に、共有辞書記憶部２１Ｂが記憶する現辞書を新辞書で更新する。

また、本実施形態のメンテナンス部３０は、ユーザが占有する認識辞書のメンテナンスを行う際は、ユーザデータ記憶部２２Ａが記憶する学習用データセットに加え、共有データ記憶部２２Ｂが記憶する学習データセットの中から、ユーザデータ記憶部２２Ａが記憶する学習用データセットの特徴に近いものを選択的に使用して、新辞書を生成する。例えば、共有データ記憶部２２Ｂが記憶する学習データセットの中から、ユーザデータ記憶部２２Ａが記憶する学習用データセットの特徴空間上で、学習用データを表す任意の点あるいは代表点からの距離（近さ）が所定範囲内のものを選択して使用する。そして、メンテナンス部３０は、ユーザデータ記憶部２２Ａが記憶する評価用データセットを用いて新辞書の性能を評価して第１性能評価値および第２性能評価値を算出し、第１性能評価値が第１閾値以上であり、かつ、第２性能評価値が第２閾値以上である場合に、ユーザ辞書記憶部２１Ａが記憶する現辞書を新辞書で更新する。

以上説明したように、本実施形態のパターン認識システムは、ユーザが占有する認識辞書のメンテナンスと複数ユーザが共有する認識辞書のメンテナンスとを上述の第１実施形態と同様の手順で行うようにしているので、ユーザが占有する認識辞書と複数ユーザが共有する認識辞書の双方について、現辞書を新辞書で更新すべきか否かを適切に判定することができる。また、本実施形態では、ユーザが占有する認識辞書のメンテナンス時に、共有データ記憶部２２Ｂが記憶する学習用データセットの一部を新辞書の生成に利用することで、より性能のよい新辞書を生成することが可能となる。

＜第９実施形態＞
次に、第９実施形態について説明する。本実施形態は、学習用データと評価用データとを入れ替えながら認識辞書の性能を評価するクロスバリデーションを適用した例である。本実施形態では、学習用データセットと評価用データセットが明確に区別されておらず、データ記憶部２２内の各教師ありデータは、学習用データとしても評価用データとしても用いられる。したがって、データ記憶部２２内の教師ありデータが複数のグループに分類される。

本実施形態では、認識辞書の初期化を行う前の事前準備として、教師ありデータ集合の分割と各教師ありデータの分類、第１閾値の設定などが行われる。すなわち、パターン認識システムの構築前に、多数の教師ありデータが用意される。各教師ありデータは、上述の各実施形態と同様の分類基準に従って複数のグループ（第１グループ、第２グループ）に分類される。そして、これら教師ありデータのデータ集合が、例えばランダムな均等分割によりＮ個のブロックに分割されてデータ記憶部２２に保存されるとともに、第１閾値が設定される。ここでの分割数Ｎが大きいほど認識辞書の性能評価の信頼度が向上するが、分割数Ｎに比例してクロスバリデーションの実行時間が増大する。教師ありデータの分類および第１閾値の設定は、例えば管理者の判断に基づいて行われる。

図１７は、第９実施形態における認識辞書の初期化の手順を示すフローチャートである。本実施形態では、認識辞書の初期化が開始されると、まず、生成部３１および評価部３２により、データ記憶部２２内の教師ありデータ集合を用いたクロスバリデーションが行われる。クロスバリデーションでは、Ｎ分割された教師ありデータ集合のうち、１ブロックを評価用データとし、残りの（Ｎ−１）ブロックを学習用データとして、学習用データを用いた評価用認識辞書の生成と評価用データを用いた評価用認識辞書の性能評価とが、評価用データに用いるブロックを順次切り替えながらＮ回繰り返される。本実施形態では、各評価用認識辞書の性能を評価する際に、第１グループの評価用データに対する認識率と、第２グループの評価用データに対する認識率とを個別に算出する（ステップＳ７０１）。

次に、評価部３２が、Ｎ個の評価用認識辞書それぞれの第１グループの評価用データに対する認識率の平均値を、第１性能評価値として算出する（ステップＳ７０２）。そして、第１性能評価値が第１閾値以上であるか否かが判定される（ステップＳ７０３）。ここで、第１性能評価値が第１閾値未満であれば（ステップＳ７０３：Ｎｏ）、さらに、クロスバリデーションの実施回数が所定回数以上であるか否かが判定される（ステップＳ７０４）。そして、クロスバリデーションの実施回数が所定回数未満の場合は（ステップＳ７０４：Ｎｏ）、第１実施形態と同様に性能改善対策が行われた後（ステップＳ７０５）、ステップＳ７０１に戻ってクロスバリデーションが再度実施される。一方、クロスバリデーションの実施回数が所定回数以上の場合は（ステップＳ７０４：Ｙｅｓ）、第１実施形態と同様に警告を出力し（ステップＳ７０６）、初期化の処理を終了する。

ステップＳ７０３で算出した第１性能評価値が第１閾値以上である場合は（ステップＳ７０３：Ｙｅｓ）、評価部３２は、次に、Ｎ個の評価用認識辞書それぞれの第２グループの評価用データに対する認識率の平均値を、第２性能評価値として算出する（ステップＳ７０７）。また、生成部３１は、Ｎブロック全ての教師ありデータを学習用データとして用いて初期辞書を生成する（ステップＳ７０８）。そして、ステップＳ７０７で算出された第２性能評価値が第２閾値として保存されるとともに（ステップＳ７０９）、ステップＳ７０８で生成された初期辞書が現辞書として辞書記憶部２１に保存され（ステップＳ７１０）、初期化の処理が終了する。

図１８は、第９実施形態における認識辞書のメンテナンスの手順を示すフローチャートである。認識辞書のメンテナンスが開始されると、初期化時と同様に、生成部３１および評価部３２により、データ記憶部２２内の教師ありデータ集合を用いたクロスバリデーションが行われ、Ｎ個の評価用認識辞書の生成と性能評価とが繰り返される（ステップＳ８０１）。クロスバリデーションでＮ個の評価用認識辞書を生成する際、上述のステップＳ３０１と同様の方法でデータ記憶部２２内の教師なしデータを学習に用いてもよい。

次に、評価部３２が、Ｎ個の評価用認識辞書それぞれの第１グループの評価用データに対する認識率の平均値を、第１性能評価値として算出する（ステップＳ８０２）。そして、第１性能評価値が第１閾値以上であるか否かが判定される（ステップＳ８０３）。ここで、第１性能評価値が第１閾値未満であれば（ステップＳ８０３：Ｎｏ）、更新判定部３３により現辞書を新辞書で更新すべきでないと判定され、認識辞書のメンテナンスが終了する。

一方、第１性能評価値が第１閾値以上である場合は（ステップＳ８０３：Ｙｅｓ）、評価部３２は、次に、Ｎ個の評価用認識辞書それぞれの第２グループの評価用データに対する認識率の平均値を、第２性能評価値として算出する（ステップＳ８０４）。そして、第２性能評価値が第２閾値以上であるか否かが判定される（ステップＳ８０５）。ここで、第２性能評価値が第２閾値未満であれば（ステップＳ８０５：Ｎｏ）、更新判定部３３により現辞書を新辞書で更新すべきでないと判定され、認識辞書のメンテナンスが終了する。

一方、第２性能評価値が第２閾値以上である場合は（ステップＳ８０５：Ｙｅｓ）、更新判定部３３により現辞書を新辞書で更新すべきと判定される。この場合、生成部３１が、Ｎブロック全ての教師ありデータを学習用データとして用いて新辞書を生成する（ステップＳ８０６）。そして、更新部３４が、現辞書をステップＳ８０６で生成された新辞書で更新するとともに（ステップＳ８０７）、ステップＳ８０４で算出された第２性能評価値を第２閾値として保存し（ステップＳ８０８）、認識辞書のメンテナンスが終了する。

以上説明したように、本実施形態のパターン認識システムは、クロスバリデーションにより認識辞書の性能を評価するようにしているので、上述の第１実施形態と同様に現辞書を新辞書で更新すべきか否かを適切に判定することができることに加え、学習の効果を高めて、より性能のよい新辞書を生成することが可能となる。

＜補足説明＞
上述した各実施形態のパターン認識システムは、例えば、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。すなわち、上述のパターン認識システムの各部の機能は、汎用のコンピュータに搭載された１以上のプロセッサにプログラムを実行させることにより実現することができる。このとき、パターン認識システムは、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、コンピュータ読み取り可能な記憶媒体に上記のプログラムを記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。

図１９は、上述した各実施形態のパターン認識システムのハードウェア構成例を示すブロック図である。パターン認識システムは、例えば図１９に示すように、ＣＰＵ（Central Processing Unit）などのプロセッサ１０１と、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリ１０２と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージデバイス１０３と、液晶パネルなどの表示装置１０６やキーボードやポインティングデバイスなどの入力装置１０７といった機器を接続するための機器Ｉ／Ｆ１０４と、装置外部と通信を行う通信Ｉ／Ｆ１０５と、これら各部を接続するバス１０８とを備えた一般的なコンピュータとしてのハードウェア構成を有する。

上述した各実施形態のパターン認識システムを図１９に示すハードウェア構成により実現する場合、例えば、プロセッサ１０１がメモリ１０２を利用して、ストレージデバイス１０３などに格納されたプログラムを読み出して実行することにより、上述の認識部１０やメンテナンス部３０（生成部３１、評価部３２、更新判定部３３、更新部３４など）の機能を実現することができる。また、例えばストレージデバイス１０３を用いて、上述の記憶部２０（辞書記憶部２１およびデータ記憶部２２）の機能を実現することができる。

なお、上述の各実施形態のパターン認識システムの各部の機能は、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェア（汎用のプロセッサではなく専用のプロセッサ）により実現することもできる。また、複数のプロセッサを用いて上述した各部の機能を実現する構成であってもよい。

また、上述の各実施形態のパターン認識システムは、単一のコンピュータにより実現する場合に限らず、複数のコンピュータに機能を分散して実現することもできる。例えば図２０に示すように、ユーザが使用する端末１１０とサーバ１２０とがネットワーク１３０を介して接続される構成のパターン認識システムとしてもよい。この場合、例えば、端末１１０に認識部１０と記憶部２０を設け、サーバ１２０にメンテナンス部３０を設ける構成や、端末１１０に認識部１０を設け、サーバ１２０に記憶部２０とメンテナンス部３０を設ける構成などが考えられる。また、上述の第８実施形態では、複数ユーザごとの端末１１０に認識部１０およびユーザ記憶部２０Ａを設け、サーバ１２０に共有記憶部２０Ｂおよびメンテナンス部３０を設ける構成などが考えられる。ただし、これらの場合は、サーバ１２０において評価部３２が認識辞書の性能を評価できるようにするために、認識部１０と同等の機能をサーバ１２０に持たせる必要がある。

以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 認識部
２０ 記憶部
２０Ａ ユーザ記憶部
２０Ｂ 共有記憶部
３０ メンテナンス部
３１ 生成部
３２ 評価部
３３ 更新判定部
３４ 更新部
４０ 編集部
５０ ラベル付与部
６０ 分類部
１１０ 端末
１２０ サーバ
１３０ ネットワーク

Claims (19)

1. 認識対象データのラベル推定に用いる認識辞書のメンテナンスを行う認識辞書メンテナンス装置であって、
   学習用データを用いて新規の認識辞書を生成する生成部と、
   複数のグループに分類された評価用データのうち、第１グループの評価用データを用いて前記新規の認識辞書の性能を評価して第１性能評価値を算出し、第２グループの評価用データを用いて前記新規の認識辞書の性能を評価して第２性能評価値を算出する評価部と、
   前記第１性能評価値と前記第２性能評価値とに基づいて、既存の認識辞書を前記新規の認識辞書で更新すべきか否かを判定する更新判定部と、
   を備える認識辞書メンテナンス装置。
2. 前記更新判定部が更新すべきと判定した場合に、前記既存の認識辞書を前記新規の認識辞書で更新する更新部をさらに備える
   請求項１に記載の認識辞書メンテナンス装置。
3. 前記更新判定部が更新すべきと判定した場合に、前記既存の認識辞書を前記新規の認識辞書で更新するか否かをユーザに問い合わせ、ユーザから更新指示を受け付けた場合に、前記既存の認識辞書を前記新規の認識辞書で更新する更新部をさらに備える
   請求項１に記載の認識辞書メンテナンス装置。
4. 前記生成部は、前記既存の認識辞書を用いてラベルが推定された認識対象データを含む前記学習用データを用いて、前記新規の認識辞書を生成する
   請求項１乃至３のいずれか一項に記載の認識辞書メンテナンス装置。
5. ユーザの教示操作に応じて、前記学習用データに含まれる前記認識対象データに正解ラベルを付与するラベル付与部をさらに備える
   請求項４に記載の認識辞書メンテナンス装置。
6. 前記更新判定部は、前記第１性能評価値が第１閾値以上であり、かつ、前記第２性能評価値が第２閾値以上である場合に、前記既存の認識辞書を前記新規の認識辞書で更新すべきと判定する
   請求項１乃至５のいずれか一項に記載の認識辞書メンテナンス装置。
7. 前記第１閾値は予め定めた固定閾値であり、前記第２閾値は、前記第２グループの評価用データを用いて前記既存の認識辞書の性能を評価して算出された第３性能評価値である
   請求項６に記載の認識辞書メンテナンス装置。
8. 前記第１グループに分類される評価用データがさらに複数のサブグループに分類され、
   前記評価部は、前記第１性能評価値をサブグループごとに算出し、
   前記更新判定部は、サブグループごとに算出した前記第１性能評価値をサブグループごとの前記第１閾値と比較する
   請求項６または７に記載の認識辞書メンテナンス装置。
9. 前記第２グループに分類される評価用データがさらに複数のサブグループに分類され、
   前記評価部は、前記第２性能評価値をサブグループごとに算出し、
   前記更新判定部は、サブグループごとに算出した前記第２性能評価値をサブグループごとの前記第２閾値と比較する
   請求項６乃至８のいずれか一項に記載の認識辞書メンテナンス装置。
10. ユーザの編集操作に応じて、前記評価用データの追加、削除、グループ移動を行う編集部をさらに備える
    請求項１乃至９のいずれか一項に記載の認識辞書メンテナンス装置。
11. 所定の分類基準に基づいて前記評価用データを前記複数のグループに分類する分類部をさらに備える
    請求項１乃至１０のいずれか一項に記載の認識辞書メンテナンス装置。
12. 前記評価用データは、複数の分類基準ごとに複数のグループに分類され、
    前記評価部は、前記複数の分類基準ごとに、前記第１性能評価値と前記第２性能評価値とを算出する
    請求項１乃至１１のいずれか一項に記載の認識辞書メンテナンス装置。
13. 前記複数のグループは、各グループへの帰属度によって連続的に表現される
    請求項１乃至１２のいずれか一項に記載の認識辞書メンテナンス装置。
14. データ集合のうち前記学習用データとして用いるデータと前記評価用データとして用いるデータとを切り替えながら、前記生成部による評価用認識辞書の生成および前記評価部による前記評価用認識辞書の性能評価を繰り返し、
    前記評価部は、前記評価用認識辞書の各々の性能を評価する際に前記第１グループの評価用データを用いた性能評価と前記第２グループの評価用データを用いた性能評価とを個別に行い、前記評価用認識辞書の各々の前記第１グループの評価用データに対する認識率をもとに前記第１性能評価値を算出するとともに、前記評価用認識辞書の各々の前記第２グループの評価用データに対する認識率をもとに前記第２性能評価値を算出し、
    前記生成部は、前記既存の認識辞書を前記新規の認識辞書で更新すべきと判定された場合に、前記データ集合を前記学習用データとして用いて前記新規の認識辞書を生成する
    請求項１乃至１３のいずれか一項に記載の認識辞書メンテナンス装置。
15. 認識辞書を記憶する記憶部と、
    前記認識辞書を用いて認識対象データのラベルを推定する認識部と、
    学習用データを用いて新規の認識辞書を生成する生成部と、
    複数のグループに分類された評価用データのうち、第１グループの評価用データを用いて前記新規の認識辞書の性能を評価して第１性能評価値を算出し、第２グループの評価用データを用いて前記新規の認識辞書の性能を評価して第２性能評価値を算出する評価部と、
    前記第１性能評価値と前記第２性能評価値とに基づいて、前記記憶部が記憶する認識辞書を前記新規の認識辞書で更新すべきか否かを判定する更新判定部と、
    を備えるパターン認識システム。
16. ネットワークを介して接続される端末とサーバとを含み、
    前記端末が、少なくとも前記認識部を備え、
    前記サーバが、少なくとも前記生成部と前記評価部と前記更新判定部とを備える
    請求項１５に記載のパターン認識システム。
17. 前記記憶部は、ユーザが占有する認識辞書、前記学習用データおよび前記評価用データを記憶するユーザ記憶部と、複数ユーザが共有する認識辞書、前記学習用データおよび前記評価用データを記憶する共有記憶部と、を有し、
    前記サーバが、前記共有記憶部をさらに備え、
    前記生成部は、前記ユーザ記憶部が記憶する学習用データと、前記共有記憶部が記憶する学習用データのうち所定の基準に従って選択された学習用データとを用いて、ユーザが占有する前記新規の認識辞書を生成する
    請求項１６に記載のパターン認識システム。
18. 認識対象データのラベル推定に用いる認識辞書のメンテナンスを行う認識辞書メンテナンス方法であって、
    学習用データを用いて新規の認識辞書を生成するステップと、
    複数のグループに分類された評価用データのうち、第１グループの評価用データを用いて前記新規の認識辞書の性能を評価して第１性能評価値を算出し、第２グループの評価用データを用いて前記新規の認識辞書の性能を評価して第２性能評価値を算出するステップと、
    前記第１性能評価値と前記第２性能評価値とに基づいて、既存の認識辞書を前記新規の認識辞書で更新すべきか否かを判定するステップと、
    を含む認識辞書メンテナンス方法。
19. コンピュータを、認識対象データのラベル推定に用いる認識辞書のメンテナンスを行う認識辞書メンテナンス装置として機能させるためのプログラムであって、
    前記コンピュータに、
    学習用データを用いて新規の認識辞書を生成する機能と、
    複数のグループに分類された評価用データのうち、第１グループの評価用データを用いて前記新規の認識辞書の性能を評価して第１性能評価値を算出し、第２グループの評価用データを用いて前記新規の認識辞書の性能を評価して第２性能評価値を算出する機能と、
    前記第１性能評価値と前記第２性能評価値とに基づいて、既存の認識辞書を前記新規の認識辞書で更新すべきか否かを判定する機能と、
    を実現させるためのプログラム。