JP6173972B2 - 検出装置、修正システム、検出方法およびプログラム - Google Patents

Description

本発明の実施形態は、検出装置、修正システム、検出方法およびプログラムに関する。

音声対話システム等で用いられる意図理解モデルが知られている。意図理解モデルは、ユーザが発話等により入力した情報の意図を分類し、分類した意図を識別するラベルを出力する分類器の一例である。

分類器は、予め収集された訓練データ（学習データ）を機械学習することにより生成される。訓練データは、一例として、インターネットを介して、不特定多数のユーザから情報を収集することにより生成される。

特開２０１４−３５６２５号公報 特開２０１１−２０３９９１号公報

ところで、元となる訓練データの信頼性は、分類器の精度に影響を与える。このため、精度の高い分類器を生成するためには、訓練データの誤りを修正して信頼性を向上させる必要がある。訓練データの誤りは、分類器に対してクローズドテストまたはクロスバリデーションテスト等をすれば検出することができる。

しかし、分類器に対してクローズドテストまたはクロスバリデーションテスト等をしても、実際には誤っているにも関わらず、テストでは合格（ＯＫ）となってしまう誤りを検出することは困難である。また、訓練データは、データ量が膨大である。このため、訓練データの全てを人手で確認して、このような誤りを検出することは困難である。

本実施形態に係る検出装置は、分類器を生成するための訓練データの誤りを検出する検出装置であって、前記訓練データを機械学習して生成した前記分類器をテストする第１テスト部と、前記訓練データから少なくとも１つの入力データを削除した縮小訓練データを生成する削除部と、前記縮小訓練データを機械学習して生成したテスト用分類器をテストする第２テスト部と、前記分類器のテストで不合格であり且つ前記テスト用分類器のテストで合格である入力データが存在する場合、前記縮小訓練データを生成するために前記訓練データから削除した前記少なくとも１つの入力データを誤りの候補として出力する出力部と、を備える。

図１は、実施形態に係る検出装置１０の構成を示す図である。 図２は、訓練データおよび分類器を示す図である。 図３は、実施形態に係る検出装置１０の処理フローを示す図である。 図４は、訓練データを機械学習して生成した分類器のテスト結果の一例を示す図である。 図５は、縮小訓練データを機械学習して生成したテスト用分類器のテスト結果の一例を示す図である。 図６は、変形例に係る検出装置１０の処理フローを示す図である。 図７は、実施形態に係る修正システム５０の構成を示す図である。 図８は、クローズドテストの処理内容を説明するための図である。 図９は、クロスバリデーションテストの処理内容を説明するための図である。 図１０は、実施形態に係る修正システム５０の処理フローを示す図である。 図１１は、ポテンシャルテスト部６４によるテストの結果の表示例を示す図である。 図１２は、クローズドテストおよびクロスバリデーションテストのテスト結果の表示例を示す図である。 図１３は、訓練データを修正するための操作例を示す図である。 図１４は、訓練データの修正例を示す図である。 図１５は、実施形態に係る検出装置１０および修正システム５０のハードウェア構成を示す図である。

以下、図面を参照しながら実施形態に係る検出装置１０および修正システム５０について詳細に説明する。本実施形態に係る検出装置１０は、分類器を機械学習により生成するための訓練データの誤りの候補を容易に且つ確実に検出することを目的とする。なお、分類器は、入力データを入力し、入力した入力データを分類し、分類結果を表す出力データを出力する。また、本実施形態に係る修正システム５０は、訓練データの誤りを効率良く修正することを目的とする。

図１は、実施形態に係る検出装置１０の構成を示す図である。検出装置１０は、入力部２１と、第１機械学習部２２と、第１テスト部２３と、保存部２４と、削除部２５と、第２機械学習部２６と、第２テスト部２７と、判定部２８と、出力部２９とを備える。

入力部２１は、ネットワーク上のサーバ等から訓練データを入力する。訓練データについては、図２において説明する。そして、入力部２１は、入力した訓練データを第１機械学習部２２および削除部２５へと与える。

第１機械学習部２２は、入力部２１が入力した訓練データを機械学習して分類器を生成する。第１機械学習部２２は、生成した分類器を第１テスト部２３へと与える。

第１テスト部２３は、訓練データを機械学習して生成した分類器をテストする。より具体的には、第１テスト部２３は、予め定められた入力データを分類器に入力し、分類器から出力された出力データが、予め定められた期待データと一致するか否かを判定する。第１テスト部２３は、分類器から出力された出力データが期待データと一致する場合には、その入力データを合格（ＯＫ）と判定し、一致しない場合には、その入力データを不合格（ＮＧ）と判定する。そして、第１テスト部２３は、テストにより不合格（ＮＧ）となった入力データを保存部２４へと与える。

第１テスト部２３は、一例として、クローズドテストまたはクロスバリデーションテストを実行する。なお、クローズドテストについては図８においてさらに説明する。また、クロスバリデーションテストについては図９においてさらに説明する。また、第１テスト部２３は、一例として、ランダムテストを実行してもよい。ランダムテストは、訓練データに含まれない未知の入力データを用いるテストである。ランダムテストは、未知の入力データに対する分類器の精度を検証することができる。

保存部２４は、テストにより不合格（ＮＧ）となった入力データを第１テスト部２３から受け取って保存する。

削除部２５は、訓練データから少なくとも１つの入力データを削除した縮小訓練データを生成する。削除部２５は、訓練データから１つの入力データを削除してもよいし、２以上の入力データを削除してもよい。削除部２５は、生成した縮小訓練データを第２機械学習部２６へと与える。また、削除部２５は、削除した入力データ、および、訓練データにおいて削除した入力データに関連付けられている出力データを出力部２９へ与える。

第２機械学習部２６は、削除部２５から与えられた縮小訓練データを機械学習してテスト用分類器を生成する。第２機械学習部２６は、生成したテスト用分類器を第２テスト部２７へと与える。

第２テスト部２７は、縮小訓練データを機械学習して生成したテスト用分類器をテストする。より具体的には、第２テスト部２７は、第１テスト部２３によるテストと同一のテストを実行する。第２テスト部２７は、一例として、第１テスト部２３と同一のクローズドテストまたはクロスバリデーションテストを実行する。また、第２テスト部２７は、一例として、第１テスト部２３と同一のランダムテストを実行してもよい。第２テスト部２７は、テストにより合格（ＯＫ）となった入力データを判定部２８へと与える。

判定部２８は、第２テスト部２７から受け取った入力データと、保存部２４に保存されている入力データとを比較して、一致するか否かを判断する。すなわち、判定部２８は、分類器のテスト（第１テスト部２３によるテスト）で不合格（ＮＧ）であり、且つ、テスト用分類器のテスト（第２テスト部２７によるテスト）で合格（ＯＫ）である入力データが存在するか否かを判断する。判定部２８は、このような入力データが存在する場合には、その旨を出力部２９に通知する。

出力部２９は、分類器のテストで不合格であり且つテスト用分類器のテストで合格である入力データが存在すると判定部２８により判定された場合、縮小訓練データを生成するために訓練データから削除した少なくとも１つの入力データを、誤りの候補として出力する。この場合において、出力部２９は、訓練データから削除した入力データと関連付けて出力データも出力する。

出力部２９は、一例として、訓練データから削除した入力データと出力データとを関連付けて、誤りの候補として表示装置等に出力する。そして、ユーザは、表示装置に表示された誤りの候補を参照して、実際に誤りが存在するか否かを確認し、誤りが存在していれば、訓練データにおける対応する入力データを修正する。

図２は、訓練データおよび分類器を示す図である。訓練データは、複数の出力データと、それぞれの何れかの出力データに関連付けられた複数の入力データとを含むデータ集合である。出力データは、分類器から出力される情報を特定するためのデータである。入力データは、分類器に対して入力されるデータ例である。

本実施形態において、分類器は、人が発話または入力したテキストを入力データとして入力し、入力したテキストの意図を分類するラベルを出力データとして出力する。また、本実施形態において、訓練データに含まれる出力データは、ラベルと、ＩＤと、問題文とを含む。ラベルは、出力データを特定するためのコードである。ＩＤは、出力データを識別するための番号である。問題文は、意図の内容をユーザに認識させるためのテキストである。また、本実施形態において、訓練データに含まれる入力データは、人が発話するテキストの一例（発話例）である。

なお、分類器は、訓練データに含まれていない未知のテキストを入力データとして入力することができる。ただし、分類器は、訓練データに含まれる何れか１つの出力データを、入力データを分類した分類結果として出力する。

訓練データは、予め出力データを登録しておき、それぞれの出力データに関連する入力データ例を不特定多数の人から収集することにより生成される。例えば、訓練データは、それぞれの出力データの問題文をユーザに提示し、問題文と同一の意図のテキストをユーザから収集することにより生成される。ユーザへの問題文の提示およびテキストの収集は、例えばネットワークを介してクラウドソーシング等により実行される。

また、訓練データは、一例として、取得元（例えば、取得したユーザ）毎に入力データを管理してもよい。例えば、訓練データは、表の同一の列に、同一の取得元（同一のユーザ）から収集した入力データが配置されるように、それぞれの入力データを管理してもよい。

分類器は、このような訓練データを機械学習することにより生成される。分類器は、一例として、コンピュータ等により実行されるプログラム、または、有限状態トランスデューサ（出力符号付きの有限状態オートマトン）等であってよい。本実施形態においては、分類器は、ユーザが発話または入力したテキストを入力し、入力したテキストの意図を識別するラベルを出力する。なお、テスト用分類器も同様である。

図３は、実施形態に係る検出装置１０の処理フローを示す図である。検出装置１０は、訓練データの誤りの候補を検出する場合、以下のステップＳ１１から処理を実行する。

まず、ステップＳ１１において、入力部２１は、訓練データを入力する。続いて、ステップＳ１２において、第１機械学習部２２は、入力した訓練データを機械学習して分類器を生成する。

続いて、ステップＳ１３において、第１テスト部２３は、分類器をテストする（第１のテスト）。第１テスト部２３は、一例として、クローズドテスト、クロスバリデーションテストまたはランダムテスト等を実行する。続いて、ステップＳ１４において、保存部２４は、分類器のテストにより不合格（ＮＧ）となった入力データを保存する。

続いて、ステップＳ１５において、削除部２５は、訓練データから少なくとも１つの入力データを選択する。続いて、ステップＳ１６において、削除部２５は、訓練データから、選択した入力データを削除し、縮小訓練データを生成する。

続いて、ステップＳ１７において、第２機械学習部２６は、縮小訓練データを機械学習してテスト用分類器を生成する。続いて、ステップＳ１８において、第２テスト部２７は、縮小訓練データを機械学習して生成したテスト用分類器をテストする（第２のテスト）。この場合において、第２テスト部２７は、ステップＳ１３の第１テスト部２３によるテスト（第１のテスト）と同一のテストを実行する。

続いて、ステップＳ１９において、判定部２８は、分類器のテスト（第１テスト部２３による第１のテスト）で不合格（ＮＧ）であり、且つ、テスト用分類器のテスト（第２テスト部２７による第２のテスト）で合格（ＯＫ）である入力データが存在するか否かを判断する。

分類器のテストで不合格（ＮＧ）であり且つテスト用分類器のテストで合格（ＯＫ）である入力データが存在しない場合（ステップＳ１９のＮｏ）、判定部２８は、ステップＳ２０に処理を進める。ステップＳ２０において、判定部２８は、ステップＳ１５の処理で訓練データの全ての入力データが選択されたか否かを判断する。全ての入力データが選択された場合には（ステップＳ２０のＹｅｓ）、判定部２８は、本フローを終了する。まだ全ての入力データは選択されていない場合には（ステップＳ２０のＮｏ）、判定部２８は、処理をステップＳ１５に戻して、処理を繰り返す。そして、ステップＳ１５において、削除部２５は、訓練データから、まだ選択されていない他の少なくとも１つの入力データを選択する。

分類器のテストで不合格（ＮＧ）であり且つテスト用分類器のテストで合格（ＯＫ）である入力データが存在する場合（ステップＳ１９のＹｅｓ）、判定部２８は、ステップＳ２１に処理を進める。

ステップＳ２１において、出力部２９は、ステップＳ１６で訓練データから削除した入力データを、訓練データの誤りの候補として出力する。そして、出力部２９は、ステップＳ２１の処理を終えると、本フローを終了する。このような処理を実行することにより、検出装置１０は、ユーザに対して訓練データの誤りの候補を提供することができる。

図４は、訓練データを機械学習して生成した分類器のテスト結果の一例を示す図である。検出装置１０は、第１のテストにおいて、訓練データを機械学習して生成した分類器に対して、複数の入力データ（テキスト）を入力する。そして、検出装置１０は、分類器から出力された出力データ（ラベル）と期待データとを比較し、ラベルと期待データとが一致すれば合格（ＯＫ）、一致しなければ不合格（ＮＧ）を出力する。

クローズドテストまたはクロスバリデーションテストでは、訓練データに含まれる入力データが入力され、期待データは、その入力データに関連付けられた出力データとなる。例えば、「ドアをあけないで」というテキストを入力した場合の期待データは、「ドアをしめる（ｓ．ｄｏｏｒ．ｃｌｏｓｅ）」である。

ここで、図４の例においては、「ドアをあけないで」というテキストを入力した場合に、分類器は「ドアをあける（ｓ．ｄｏｏｒ．ｏｐｅｎ）」というラベルを出力する。従って、図４の例においては、「ドアをあけないで」というテキストを入力した場合の分類器のテスト結果は、不合格（ＮＧ）である。

図５は、縮小訓練データを機械学習して生成したテスト用分類器のテスト結果の一例を示す図である。つぎに、検出装置１０は、訓練データの一部の入力データを削除して、縮小訓練データを生成する。図５の例においては、訓練データから「ドアをあけない」および「ドアとじましょう」という入力データ（テキスト）を削除して、縮小訓練データが生成されている。

検出装置１０は、第２のテストにおいて、縮小訓練データを機械学習して生成したテスト用分類器に対して、第１のテストと同一のテストを実行し、ラベルと期待データとが一致すれば合格（ＯＫ）、一致しなければ不合格（ＮＧ）を出力する。

ここで、図５の例においては、「ドアをあけないで」というテキストを入力した場合に、テスト用分類器は「ドアをしめる（ｓ．ｄｏｏｒ．ｃｌｏｓｅ）」というラベルを出力する。「ドアをあけないで」というテキストを入力した場合の期待データは、「ドアをしめる（ｓ．ｄｏｏｒ．ｃｌｏｓｅ）」である。従って、図５の例においては、「ドアをあけないで」というテキストを入力した場合のテスト用分類器のテスト結果は、合格（ＯＫ）である。

つまり、「ドアをあけないで」という入力データ（テキスト）は、第１のテスト（分類器のテスト）で不合格（ＮＧ）であったのに、第２のテスト（テスト用分類器のテスト）で合格（ＯＫ）となっている。このようなテスト結果の変化は、入力データの削除による影響であると推測される。すなわち、第１のテスト（分類器のテスト）において、「ドアをあけないで」というテキストを分類器に入力した場合に、テスト結果が不合格（ＮＧ）となる原因は、縮小訓練データを生成するために削除した入力データ（「ドアをあけない」および「ドアとじましょう」）に誤りが含まれるためであると推定される。

そこで、検出装置１０は、縮小訓練データを生成するために訓練データから削除した入力データを、誤りの候補として出力する。そして、ユーザは、誤りの候補を参照し、実際に誤りが存在するか否かを目視等で確認し、誤りが存在していれば、訓練データにおける対応する入力データを修正する。これにより、ユーザは、全ての訓練データを確認するのではなく、絞り込まれた一部の誤りの候補を確認すればよいので、入力データの誤りを容易に修正することができる。

以上のように、本実施形態に係る検出装置１０によれば、実際には誤っているにも関わらずテストでは合格（ＯＫ）となってしまうような、機械的には検出が困難な訓練データの誤りを、効率良く検出し、ユーザに容易に誤りを修正させることができる。

なお、削除部２５は、訓練データから、取得元が共通する複数の入力データを削除して縮小訓練データを生成してもよい。例えば、削除部２５は、表の同一の列に同一の取得元（同一のユーザ）から収集した入力データが配置されている場合には、訓練データを列単位で削除する。例えば、クラウドソーシングにより不特定多数の人から入力データを収集した場合、わざと誤りを含める人がいる可能性もある。従って、検出装置１０は、ユーザ単位で削除することにより、このような要因による誤りを候補として出力することができる。

図６は、変形例に係る検出装置１０の処理フローを示す図である。検出装置１０は、図３のステップＳ１９に続けて、図６に示すステップＳ３１からの処理を追加して実行してもよい。

まず、分類器のテストで不合格（ＮＧ）であり且つテスト用分類器のテストで合格（ＯＫ）である入力データが存在する場合（ステップＳ１９のＹｅｓ）、判定部２８は、ステップＳ３１に処理を進める。

続いて、ステップＳ３１において、削除部２５は、ステップＳ１５で選択した入力データ（実際に削除した入力データ）の中から、さらに一部の入力データを絞り込んで選択する。続いて、ステップＳ３２において、削除部２５は、訓練データから、絞り込んで選択した一部の入力データを削除し、新たな縮小訓練データを生成する。

続いて、ステップＳ３３において、第２機械学習部２６は、ステップＳ３２で生成した新たな縮小訓練データを機械学習して、新たなテスト用分類器を生成する。続いて、ステップＳ３４において、第２テスト部２７は、新たな縮小訓練データを機械学習して生成した、新たなテスト用分類器をテストする（第３のテスト）。この場合において、第２テスト部２７は、ステップＳ１３の第１テスト部２３によるテスト（第１のテスト）と同一のテストを実行する。

続いて、ステップＳ３５において、判定部２８は、分類器のテスト（第１テスト部２３による第１のテスト）で不合格（ＮＧ）であり、且つ、新たなテスト用分類器のテスト（第２テスト部２７による第３のテスト）で合格（ＯＫ）である入力データが存在するか否かを判断する。

分類器のテストで不合格（ＮＧ）であり且つ新たなテスト用分類器のテストで合格（ＯＫ）である入力データが存在しない場合（ステップＳ３５のＮｏ）、判定部２８は、ステップＳ３１に処理を戻して、処理を繰り返す。この場合、ステップＳ３１において、削除部２５は、ステップＳ１５で選択した入力データ（実際に削除した入力データ）の中から、まだ選択されていない他の少なくとも１つの入力データを選択する。

分類器のテストで不合格（ＮＧ）であり且つ新たなテスト用分類器のテストで合格（ＯＫ）である入力データが存在する場合（ステップＳ３５のＹｅｓ）、判定部２８は、ステップＳ３６に処理を進める。

続いて、ステップＳ３６において、出力部２９は、削除した入力データから、さらに絞り込んで選択した入力データを誤りの候補として出力する。そして、出力部２９は、ステップＳ３６の処理を終えると、本フローを終了する。

このような処理を実行することにより、検出装置１０は、ユーザに対して提供する誤りの候補の数を、より少なくすることができる。これにより、ユーザは、実際に誤りが存在するか否かを、容易に確認することができる。なお、検出装置１０は、ステップＳ３５のＹｅｓの後に、さらに、ステップＳ３１からステップＳ３６までと同様の処理を１回以上追加してもよい。これにより、検出装置１０は、誤りの候補をより少なくすることができ、より容易に誤りの修正をさせることができる。

図７は、実施形態に係る修正システム５０の構成を示す図である。修正システム５０は、訓練データ記憶部６０と、重複検出部６１と、クローズドテスト部６２と、クロスバリデーションテスト部６３と、ポテンシャルテスト部６４と、表示制御部６５と、修正部６６と、制御部６７とを備える。

訓練データ記憶部６０は、訓練データを記憶する。重複検出部６１は、訓練データ記憶部６０に記憶された訓練データに含まれる入力データの重複を検出する。

クローズドテスト部６２は、訓練データ記憶部６０に記憶された訓練データを機械学習して生成した分類器に対して、クローズドテストを実行する。クロスバリデーションテスト部６３は、訓練データ記憶部６０に記憶された訓練データを機械学習して生成した分類器に対して、クロスバリデーションテストを実行する。ポテンシャルテスト部６４は、訓練データ記憶部６０に記憶された訓練データを機械学習して生成した分類器に対して、図１から図６を参照して説明した検出装置１０によりテストを実行する。

表示制御部６５は、重複検出部６１による入力データの重複の検出結果を表示装置に表示させる。また、表示制御部６５は、クローズドテスト部６２、クロスバリデーションテスト部６３およびポテンシャルテスト部６４によるテストの結果を表示装置に表示させる。

修正部６６は、重複の検出結果の表示に応じたユーザの操作に従って、訓練データ記憶部６０に記憶されている訓練データの重複を修正する。修正部６６は、クローズドテスト部６２、クロスバリデーションテスト部６３およびポテンシャルテスト部６４によるテストの結果の表示に応じたユーザ操作に従って、訓練データ記憶部６０に記憶されている訓練データの誤りを修正する。

制御部６７は、重複検出部６１、クローズドテスト部６２、クロスバリデーションテスト部６３およびポテンシャルテスト部６４によるテストの実行順序を制御する。

より具体的には、制御部６７は、クローズドテスト部６２、クロスバリデーションテスト部６３およびポテンシャルテスト部６４によるテストの実行に先だって、重複検出部６１による重複の検出および訓練データの修正をさせる。

また、制御部６７は、クローズドテスト部６２によるクローズドテストおよび修正部６６による訓練データの修正を、１回以上実行させる。また、制御部６７は、クローズドテストの結果、分類器の精度が予め定められた第１の規定値以上である場合、クロスバリデーションテスト部６３によるクロスバリデーションテストおよび修正部６６による訓練データの修正を、１回以上実行させる。そして、制御部６７は、クロスバリデーションテストの結果、分類器の精度が予め定められた第２の規定値（第２の規定値は第１の規定値より小さい）以上である場合、処理を終了させる。

一方、制御部６７は、クローズドテストおよび訓練データの修正を予め定められた回数以上実行しても、分類器の精度が第１の規定値以上とならない場合、ポテンシャルテスト部６４によるテストおよび修正部６６による訓練データの修正を実行させる。そして、制御部６７は、ポテンシャルテスト部６４によるテストおよび訓練データの修正を実行した後、再度クローズドテストを実行して分類器の精度が第１の規定値以上となった場合には、クロスバリデーションテストおよび訓練データの修正を実行させる。

一方、制御部６７は、クロスバリデーションテストおよび訓練データの修正を予め定められた回数以上実行しても、分類器の精度が第２の規定値以上とならない場合、ポテンシャルテスト部６４によるテストおよび修正部６６による訓練データの修正を実行させる。そして、制御部６７は、ポテンシャルテスト部６４によるテストおよび訓練データの修正を実行した後、再度クロスバリデーションテストを実行して分類器の精度が第２の規定値以上となった場合には、処理を終了させる。

図８は、クローズドテストの処理内容を説明するための図である。クローズドテストは、訓練データに含まれる入力データを、分類器に入力するテストである。クローズドテストは、処理量が少なく処理時間が比較的に短い。従って、修正システム５０は、クローズドテストを、他のテストに先だって実行することにより、全体として効率良く訓練データの誤りを修正することができる。

図９は、クロスバリデーションテストの処理内容を説明するための図である。クロスバリデーションテストは、まず、訓練データを複数の分割訓練データに分割する。そして、それぞれの分割訓練データ毎に、他の全ての分割訓練データを機械学習してテスト用分類器を生成し、選択した分割訓練データに含まれる入力データをテスト用分類器に入力してテストする。

例えば、図９に示されるように、１つの訓練データを、第１の分割訓練データ、第２の分割訓練データおよび第３の分割訓練データの３つに分割したとする。この場合、最初に、第２、第３の分割訓練データを用いて第１のテスト用分類器を生成し、第１の分割訓練データを第１のテスト用分類器に入力してテストする。次に、第３、第１の分割訓練データを用いて第２のテスト用分類器を生成し、第２の分割訓練データを第２のテスト用分類器に入力してテストする。最後に、第１、第２の分割訓練データを用いて第３のテスト用分類器を生成し、第３の分割訓練データを第３のテスト用分類器に入力してテストする。

クロスバリデーションテストでは、未知の入力データに対する分類の精度を確認することができる。しかし、クロスバリデーションテストは、処理量が多く処理時間が比較的に長い。従って、修正システム５０は、クロスバリデーションテストを、クローズドテストにより訓練データがある程度修正された後に実行することにより、全体として効率良く訓練データの誤りを修正することができる。

図１０は、実施形態に係る修正システム５０の処理フローを示す図である。修正システム５０は、以下のステップＳ４１から処理を実行する。

まず、ステップＳ４１において、重複検出部６１は、訓練データ記憶部６０に記憶された訓練データに含まれる入力データの重複を検出する。続いて、ステップＳ４２において、表示制御部６５は、重複検出部６１により検出された入力データの重複を表示装置に表示させる。続いて、ステップＳ４３において、修正部６６は、重複結果の表示に応じたユーザの操作に従って、訓練データ記憶部６０に記憶されている訓練データの重複を修正する。これにより、修正部６６は、入力データの重複を無くした訓練データを生成することができる。そして、制御部６７は、ステップＳ４３が終了すると、処理をステップＳ４４に進める。

ステップＳ４４において、クローズドテスト部６２は、訓練データ記憶部６０に記憶された訓練データを機械学習して生成した分類器に対して、クローズドテストを実行する。続いて、ステップＳ４５において、クローズドテスト部６２は、ステップＳ４４のテスト結果に基づき分類器の精度を算出する。クローズドテスト部６２は、一例として、テストのために入力した入力データ数に対して、合格（ＯＫ）であった入力データの数の割合を精度として算出する。

続いて、ステップＳ４６において、制御部６７は、ステップＳ４５で算出した精度が、予め定められた第１の規定値以上であるか否かを判定する。例えば、制御部６７は、ステップＳ４５で算出した精度が、９５％以上であるか否かを判定する。

ステップＳ４５で算出した精度が第１の規定値以上ではない場合（ステップＳ４６のＮｏ）、制御部６７は、ステップＳ４７に処理を進める。ステップＳ４７において、制御部６７は、ステップＳ４４のクローズドテストを所定回以上実行したか否かを判定する。制御部６７は、一例として、クローズドテストを２回以上実行したか否かを判定する。

制御部６７は、クローズドテストを所定回以上実行した場合（ステップＳ４７のＹｅｓ）、処理をステップＳ５０に進める。制御部６７は、クローズドテストを所定回以上実行していない場合（ステップＳ４７のＮｏ）、処理をステップＳ４８に進める。

ステップＳ４８において、表示制御部６５は、クローズドテストにより検出されたテスト結果を表示装置に表示させる。続いて、ステップＳ４９において、修正部６６は、クローズドテストのテスト結果の表示に対するユーザの操作に従って、訓練データ記憶部６０に記憶されている訓練データの誤りを修正する。これにより、修正部６６は、訓練データにおけるクローズドテストにより検出された誤りを修正することができる。そして、制御部６７は、ステップＳ４９が終了すると、処理をステップＳ４４に戻す。

また、ステップＳ５０において、ポテンシャルテスト部６４は、訓練データ記憶部６０に記憶された訓練データを機械学習して生成した分類器に対して、図１から図６を参照して説明した検出装置１０によりテストを実行する。続いて、ステップＳ５１において、表示制御部６５は、検出装置１０によるテスト結果を表示装置に表示させる。続いて、ステップＳ５２において、修正部６６は、検出装置１０によるテスト結果の表示に対するユーザの操作に従って、訓練データ記憶部６０に記憶されている訓練データの誤りを修正する。これにより、修正部６６は、テストでは不合格（ＮＧ）とならない入力データの誤りを修正することができる。そして、制御部６７は、ステップＳ５２が終了すると、処理をステップＳ４４に戻す。

制御部６７は、ステップＳ４４からステップＳ５２までを繰り返し実行した結果、クローズドテストに基づく分類器の精度（ステップＳ４５で算出した精度）が第１の規定値以上となった場合（ステップＳ４６のＹｅｓ）、処理をステップＳ５３に進める。なお、制御部６７は、ステップＳ４４からステップＳ５２までを一定回数繰り返しても精度が第１の規定値以上とならなかった場合には、本フローを途中で中止してもよい。

ステップＳ５３において、クロスバリデーションテスト部６３は、訓練データ記憶部６０に記憶された訓練データを機械学習して生成した分類器に対して、クロスバリデーションテストを実行する。続いて、ステップＳ５４において、クロスバリデーションテスト部６３は、ステップＳ５３のテスト結果に基づき分類器の精度を算出する。

続いて、ステップＳ５５において、制御部６７は、ステップＳ５４で算出した精度が、予め定められた第２の規定値以上であるか否かを判定する。例えば、制御部６７は、ステップＳ５４で算出した精度が、８５％以上であるか否かを判定する。

ステップＳ５４で算出した精度が第２の規定値以上ではない場合（ステップＳ５５のＮｏ）、制御部６７は、ステップＳ５６に処理を進める。ステップＳ５６において、制御部６７は、ステップＳ５３のクロスバリデーションテストを所定回以上実行したか否かを判定する。制御部６７は、一例として、クロスバリデーションテストを２回以上実行したか否かを判定する。

制御部６７は、クロスバリデーションテストを所定回以上実行した場合（ステップＳ５６のＹｅｓ）、処理をステップＳ５９に進める。制御部６７は、クロスバリデーションテストを所定回以上実行していない場合（ステップＳ５６のＮｏ）、処理をステップＳ５７に進める。

ステップＳ５７において、表示制御部６５は、クロスバリデーションテストにより検出されたテスト結果を表示装置に表示させる。続いて、ステップＳ５８において、修正部６６は、クロスバリデーションテストのテスト結果の表示に対するユーザの操作に従って、訓練データ記憶部６０に記憶されている訓練データの誤りを修正する。これにより、修正部６６は、訓練データにおけるクロスバリデーションテストにより検出された誤りを修正することができる。そして、制御部６７は、ステップＳ５８が終了すると、処理をステップＳ５３に戻す。

また、ステップＳ５９において、ポテンシャルテスト部６４は、訓練データ記憶部６０に記憶された訓練データを機械学習して生成した分類器に対して、図１から図６を参照して説明した検出装置１０によりテストを実行する。続いて、ステップＳ６０において、表示制御部６５は、検出装置１０によるテスト結果を表示装置に表示させる。続いて、ステップＳ６１において、修正部６６は、検出装置１０によるテスト結果の表示に対するユーザの操作に従って、訓練データ記憶部６０に記憶されている訓練データの誤りを修正する。これにより、修正部６６は、テストでは不合格（ＮＧ）とならない入力データの誤りを修正することができる。そして、制御部６７は、ステップＳ６１が終了すると、処理をステップＳ５３に戻す。

制御部６７は、ステップＳ５３からステップＳ６１までを繰り返し実行した結果、クロスバリデーションテストに基づく分類器の精度（ステップＳ５４で算出した精度）が第２の規定値以上となった場合（ステップＳ５５のＹｅｓ）、本フローを終了する。なお、制御部６７は、ステップＳ５３からステップＳ６１までを一定回数繰り返しても精度が第２の規定値以上とならなかった場合には、本フローを途中で中止してもよい。

以上のように、本実施形態に係る修正システム５０によれば、クローズドテスト、クロスバリデーションテストおよびポテンシャルテスト部６４によるテストの３つの異なるテストを用いて、訓練データの誤りを検出して修正することができる。また、修正システム５０は、クローズドテスト、クロスバリデーションテストおよびポテンシャルテスト部６４によるテストを、効率の良い順番で実行するので、少ないコストで訓練データの精度を向上させることができる。

図１１は、ポテンシャルテスト部６４によるテストの結果の表示例を示す図である。表示制御部６５は、ポテンシャルテスト部６４によるテストの結果を受け取る。具体的には、表示制御部６５は、ポテンシャルテスト部６４によるテストで誤りの候補として検出された少なくとも１つの入力データと、訓練データ上で関連付けられている出力データとを受け取る。

本実施形態においては、表示制御部６５は、出力データとして、ラベル、ＩＤおよび問題文を受け取る。そして、表示制御部６５は、受け取った少なくとも１つの入力データと、関連付けられた出力データ（ラベル、ＩＤおよび問題文）を表形式で表示させる。これにより、表示制御部６５は、ユーザに対して、誤りの候補となっている入力データと、関連付けられた問題文との関係が誤っていないかどうかを容易に判断させることができる。

図１２は、クローズドテストおよびクロスバリデーションテストのテスト結果の表示例を示す図である。表示制御部６５は、クローズドテスト部６２およびクロスバリデーションテスト部６３から、テストの結果が不合格（ＮＧ）であった入力データを受け取る。さらに、表示制御部６５は、不合格（ＮＧ）であったそれぞれの入力データに関連付けられている訓練データに含まれる出力データ（ラベル、ＩＤ、問題文）、並びに、テストにより分類器から出力された出力データ（ラベル、ＩＤ、問題文）を受け取る。

そして、表示制御部６５は、不合格であった入力データと、訓練データに含まれる出力データと、テストにより分類器から出力された出力データとを、表の１つの行に表示させる。これにより、表示制御部６５は、ユーザに対して、訓練データに含まれる出力データが誤っているのか、テストにより分類器から出力された出力データが誤っているのか、または、両者が誤っているのか容易に判断させることができる。また、表示制御部６５は、ユーザに対して、入力データが誤っているのかも容易に判断させることができる。

例えば、図１２において、表示制御部６５は、「カギをする」という入力データについて、訓練データに含まれる出力データ（「ドアをしめる」）が誤っており、テストにより分類器から出力された出力データ（「カギをしめる」）が正しいと判断させることができる。

また、図１２において、表示制御部６５は、「ミラーヒータｗｏ停止する」という入力データが「ミラーヒータを停止する」の誤りであると判断させることができる。

また、図１２において、表示制御部６５は、「ミラーヒータｗｏ停止する」という入力データについて、訓練データに含まれる出力データ（「ミラーヒータを停止する」）が正しく、テストにより分類器から出力された出力データ（「ミラーヒータを作動させる」）が誤っていると判断させることができる。

また、図１２において、表示制御部６５は、「窓をあけて」という入力データについて、訓練データに含まれる出力データ（「パワーウィンドウを操作する」）、および、テストにより分類器から出力された出力データ（「パワーウィンドウを開ける」）の両者が誤っていると判断させることができる。

図１３は、訓練データを修正するための操作例を示す図である。修正部６６は、表示制御部６５により表示装置に表示された表に対する、ユーザの操作を受け付ける。

例えば、ある入力データについて、分類器から出力された出力データが正しく、訓練データに含まれる出力データが誤っている場合、ユーザは、表上において、訓練データに含まれる出力データの少なくとも一部（例えば、ＩＤ）を削除し、分類器から出力された出力データをそのまま残す操作をする。そして、修正部６６は、このような操作、すなわち、分類器から出力された出力データが正しいとする操作がされた場合には、不合格であった入力データを、訓練データにおける分類器から出力された出力データに関連付ける処理を実行する。

また、例えば、ある入力データについて、訓練データに含まれる出力データが正しく、分類器から出力された出力データが誤っている場合、ユーザは、表上において、分類器から出力された出力データの少なくとも一部（例えば、ＩＤ）を削除し、訓練データに含まれる出力データをそのまま残す操作をする。そして、修正部６６は、このような操作、すなわち、訓練データに含まれる出力データが正しいとする操作がされた場合には、不合格であった入力データを修正しない処理を実行する。

また、例えば、ある入力データについて、分類器から出力された出力データおよび訓練データに含まれる出力データの何れもが誤っている場合、ユーザは、表上において、分類器から出力された出力データの少なくとも一部（例えば、ＩＤ）、および、訓練データに含まれる出力データの少なくとも一部（例えば、ＩＤ）の両者を削除する操作をする。そして、修正部６６は、このような操作、すなわち、分類器から出力された出力データおよび訓練データに含まれる出力データの何れも誤っているとする操作がされた場合には、訓練データにおける不合格であった入力データを削除する処理を実行する。

また、例えば、ある入力データが誤っている場合、ユーザは、表上において、その入力データの内容を修正する操作をする。そして、修正部６６は、このような操作、すなわち、入力データを修正する操作がされた場合、訓練データにおけるその入力データの内容を修正する処理を実行する。

図１４は、訓練データの修正例を示す図である。修正部６６は、図１３に示したような修正をすることにより、誤っていた入力データを正しい出力データに関連付けることができる。例えば、図１４に示すように、「カギをする」という入力データを、「ドアをしめる」という出力データから「カギをしめる」という出力データへと関連付けを移動させることができる。このように、本実施形態に係る修正システム５０によれば、訓練データの誤りを容易に且つ効率良く修正することができる。

図１５は、実施形態に係る検出装置１０および修正システム５０のハードウェア構成を示す図である。検出装置１０および修正システム５０は、ＣＰＵ（Central Processing Unit）１０１と、操作部１０２と、表示部１０３と、ＲＯＭ（Read Only Memory）１０４と、ＲＡＭ（Random Access Memory）１０５と、記憶部１０６と、通信装置１０７とを備える。各部は、バス１０８により接続される。

ＣＰＵ１０１は、ＲＡＭ１０５の所定領域を作業領域としてＲＯＭ１０４または記憶部１０６に予め記憶された各種プログラムとの協働により各種処理を実行し、検出装置１０および修正システム５０を構成する各部の動作を統括的に制御する。また、ＣＰＵ１０１は、ＲＯＭ１０４または記憶部１０６に予め記憶されたプログラムとの協働により、操作部１０２、表示部１０３および通信装置１０７等を制御する。

操作部１０２は、マウスおよびキーボード等の入力デバイスであって、ユーザから操作入力された情報を指示信号として受け付け、その指示信号をＣＰＵ１０１に出力する。

表示部１０３は、ＬＣＤ（Liquid Crystal Display）等の表示装置である。表示部１０３は、ＣＰＵ１０１からの表示信号に基づいて、各種情報を表示する。例えば、表示部１０３は、検出装置１０が出力する誤りの候補および修正システム５０が出力するテスト結果等を表示する。

ＲＯＭ１０４は、検出装置１０および修正システム５０の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。ＲＡＭ１０５は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性の記憶媒体である。ＲＡＭ１０５は、ＣＰＵ１０１の作業領域として機能する。具体的には、検出装置１０および修正システム５０が用いる各種変数およびパラメータ等を一時記憶するバッファ等として機能する。

記憶部１０６は、フラッシュメモリ等の半導体による記憶媒体、磁気的または光学的に記録可能な記憶媒体等の書き換え可能な記録装置である。記憶部１０６は、検出装置１０および修正システム５０の制御に用いられるプログラムおよび各種設定情報等を記憶する。また、記憶部１０６は、訓練データおよび生成した分類器等に係る各種の情報等を記憶する。なお、検出装置１０が備える保存部２４および訓練データ記憶部６０は、ＲＡＭ１０５および記憶部１０６の何れにより実現されてもよい。

通信装置１０７は、外部の機器と通信して、データの入力および出力等に用いられる。

本実施形態の検出装置１０および修正システム５０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の検出装置１０および修正システム５０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の検出装置１０および修正システム５０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の検出装置１０および修正システム５０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の検出装置１０で実行されるプログラムは、上述した検出装置１０の各部（入力部２１、第１機械学習部２２、第１テスト部２３、保存部２４、削除部２５、第２機械学習部２６、第２テスト部２７、判定部２８および出力部２９）を含むモジュール構成となっており、ＣＰＵ１０１（プロセッサ）が記憶媒体等からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、検出装置１０（入力部２１、第１機械学習部２２、第１テスト部２３、保存部２４、削除部２５、第２機械学習部２６、第２テスト部２７、判定部２８および出力部２９）が主記憶装置上に生成されるようになっている。なお、検出装置１０の一部または全部は、ハードウェアにより構成されていてもよい。

本実施形態の修正システム５０で実行されるプログラムは、上述した修正システム５０の各部（訓練データ記憶部６０、重複検出部６１、クローズドテスト部６２、クロスバリデーションテスト部６３、ポテンシャルテスト部６４、表示制御部６５、修正部６６および制御部６７）を含むモジュール構成となっており、ＣＰＵ１０１（プロセッサ）が記憶媒体等からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、修正システム５０（訓練データ記憶部６０、重複検出部６１、クローズドテスト部６２、クロスバリデーションテスト部６３、ポテンシャルテスト部６４、表示制御部６５、修正部６６および制御部６７）が主記憶装置上に生成されるようになっている。なお、修正システム５０の一部または全部は、ハードウェアにより構成されていてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 検出装置
２１ 入力部
２２ 第１機械学習部
２３ 第１テスト部
２４ 保存部
２５ 削除部
２６ 第２機械学習部
２７ 第２テスト部
２８ 判定部
２９ 出力部
５０ 修正システム
６０ 訓練データ記憶部
６１ 重複検出部
６２ クローズドテスト部
６３ クロスバリデーションテスト部
６４ ポテンシャルテスト部
６５ 表示制御部
６６ 修正部
６７ 制御部
１０１ ＣＰＵ
１０２ 操作部
１０３ 表示部
１０４ ＲＯＭ
１０５ ＲＡＭ
１０６ 記憶部
１０７ 通信装置１
１０８ バス

Claims (16)

1. 分類器を生成するための訓練データの誤りを検出する検出装置であって、
   前記訓練データを機械学習して生成した分類器をテストする第１テスト部と、
   前記訓練データから少なくとも１つの入力データを削除した縮小訓練データを生成する削除部と、
   前記縮小訓練データを機械学習して生成したテスト用分類器をテストする第２テスト部と、
   前記分類器のテストで不合格であり且つ前記テスト用分類器のテストで合格である入力データが存在する場合、前記縮小訓練データを生成するために前記訓練データから削除した前記少なくとも１つの入力データを誤りの候補として出力する出力部と、
   を備える検出装置。
2. 前記第２テスト部は、前記第１テスト部によるテストと同一のテストを実行する
   請求項１に記載の検出装置。
3. 前記第１テスト部および前記第２テスト部は、クローズドテストを実行する
   請求項２に記載の検出装置。
4. 前記第１テスト部および前記第２テスト部は、クロスバリデーションテストを実行する
   請求項２に記載の検出装置。
5. 前記削除部は、前記訓練データから、取得元が共通する複数の入力データを削除して前記縮小訓練データを生成する
   請求項１から４の何れか１項に記載の検出装置。
6. 前記削除部は、前記分類器のテストで不合格であり且つ前記テスト用分類器のテストで合格である入力データが存在する場合、削除した複数の入力データの中からさらに一部の入力データを絞り込んで選択し、前記訓練データから、絞り込んで選択した一部の入力データを削除した新たな縮小訓練データを生成し、
   前記第２テスト部は、前記新たな縮小訓練データを機械学習して生成した新たなテスト用分類器をテストし、
   前記出力部は、前記分類器のテストで不合格となった入力データが、前記新たなテスト用分類器のテストで合格となった場合、絞り込んで選択した入力データを誤りの候補として出力する
   請求項１から５の何れか１項に記載の検出装置。
7. 前記訓練データに含まれる入力データは、人が発話または入力したテキストである
   請求項１から６の何れか１項に記載の検出装置。
8. 分類器を生成するための訓練データの誤りを修正する修正システムであって、
   前記分類器に対してクローズドテストを実行するクローズドテスト部と、
   前記分類器に対してクロスバリデーションテストを実行するクロスバリデーションテスト部と、
   前記分類器に対して請求項１から７の何れか１項に記載の検出装置によりテストを実行するポテンシャルテスト部と、
   前記クローズドテスト部、前記クロスバリデーションテスト部および前記ポテンシャルテスト部によるテスト結果の表示に対するユーザ操作に応じて、前記訓練データの誤りを修正する修正部と、
   テストの実行順序を制御する制御部と、
   を備え、
   前記制御部は、
   前記クローズドテスト部または前記クロスバリデーションテスト部によるテストを実行した後に、前記分類器の精度が予め定められた規定値より小さい場合に、前記修正部に前記訓練データの誤りを修正させ、
   前記クローズドテスト部または前記クロスバリデーションテスト部によるテストを予め定められた回数実行した後に、前記分類器の精度が前記規定値より小さい場合に、前記ポテンシャルテスト部によるテストを実行させる
   修正システム。
9. 前記制御部は、
   前記クローズドテスト部によるテストを実行した後に、前記訓練データの精度が前記規定値以上である場合に、前記クロスバリデーションテスト部によるテストを実行させ、
   前記クロスバリデーションテスト部によるテストを実行した後に、前記訓練データの精度が前記規定値以上である場合に、修正を終了させる
   請求項８に記載の修正システム。
10. 前記分類器をテストした結果が不合格であった場合、不合格であった入力データと、不合格であった入力データに関連付けられた前記訓練データに含まれる出力データと、テストにより前記分類器から出力された出力データとを関連付けて表示させる表示制御部をさらに備える
    請求項８または９に記載の修正システム。
11. 前記表示制御部は、不合格であった入力データと、不合格であった入力データに関連付けられた前記訓練データに含まれる出力データと、テストにより前記分類器から出力された出力データとを、表の１つの行に表示させる
    請求項１０に記載の修正システム。
12. 前記修正部は、前記分類器から出力された出力データが正しいとする操作がされた場合には、不合格であった入力データを、前記訓練データにおける前記分類器から出力された出力データに関連付ける
    請求項１０または１１に記載の修正システム。
13. 前記修正部は、前記訓練データに含まれる出力データが正しいとする操作がされた場合には、前記訓練データにおける、不合格であった入力データを修正しない
    請求項１０から１２の何れか１項に記載の修正システム。
14. 前記修正部は、前記分類器から出力された出力データおよび前記訓練データに含まれる出力データの何れも誤っているとする操作がされた場合には、前記訓練データにおける不合格であった前記訓練データを削除する
    請求項１０から１３の何れか１項に記載の修正システム。
15. 分類器を生成するための訓練データの誤りを検出する検出方法であって、
    前記訓練データを機械学習して生成した前記分類器をテストする第１テストステップと、
    前記訓練データから少なくとも１つの入力データを削除した縮小訓練データを生成する削除ステップと、
    前記縮小訓練データを機械学習して生成したテスト用分類器をテストする第２テストステップと、
    前記分類器のテストで不合格であり且つ前記テスト用分類器のテストで合格である入力データが存在する場合、前記縮小訓練データを生成するために前記訓練データから削除した前記少なくとも１つの入力データを誤りの候補として出力する出力ステップと、
    を備える検出方法。
16. コンピュータを、分類器を生成するための訓練データの誤りを検出する検出装置として機能させるためのプログラムであって、
    前記コンピュータを、
    前記訓練データを機械学習して生成した前記分類器をテストする第１テスト部と、
    前記訓練データから少なくとも１つの入力データを削除した縮小訓練データを生成する削除部と、
    前記縮小訓練データを機械学習して生成したテスト用分類器をテストする第２テスト部と、
    前記分類器のテストで不合格であり且つ前記テスト用分類器のテストで合格である入力データが存在する場合、前記縮小訓練データを生成するために前記訓練データから削除した前記少なくとも１つの入力データを誤りの候補として出力する出力部と、
    して機能させるプログラム。

Images