JP7456289B2

JP7456289B2 - 判定プログラム、判定方法および情報処理装置

Info

Publication number: JP7456289B2
Application number: JP2020093595A
Authority: JP
Inventors: 茉莉子加瀬; 裕司溝渕; 拓未赤▲崎▼
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2020-05-28
Filing date: 2020-05-28
Publication date: 2024-03-27
Anticipated expiration: 2040-05-28
Also published as: JP2021189685A

Description

本発明は、判定プログラム、判定方法および情報処理装置に関する。

機械学習の能力は、学習させるデータの質および量に寄与することが一般的に知られており、大量かつ質の高い正解タグ付きデータ（教師データ）を用意するために、データに対して正解タグを付与するアノテーション作業が行われている。質の高い教師データを生成するためには、MATTERと呼ばれるサイクルを実行することが行われている。例えば、MATTERサイクルは、Model、Annotate、Train、Test、Evaluate、Reviseの各フェーズを繰り返して実行する。ここで、Modelフェーズでは、タグの種類や判定基準などのルール作りが実行され、Annotateフェーズでは、アノテーション作業が実行され、Trainフェーズでは、学習が実行される。また、Testフェーズでは、学習器（モデル）の能力の確認が実行され、Evaluateフェーズでは、教師データの不備の対応付けが検討され、Reviseフェーズでは、学習器の修正が検討される。

そして、アノテーション作業としては、ルールベースの自動化手法や能動学習手法などが知られている。例えば、ルールベースの自動化手法は、専門家によるアノテーションをLabel Functionとして関数化することで、大量の教師データを生成する手法である。能動学習手法は、小数の専門家によるタグ付きデータと、大量の正解無しデータを用意し、正例と負例の境界付近にある正解無しのデータにのみタグを付与することで、判定に寄与するデータにタグ付けを行う手法である。

近年では、アノテーション作業により生成された教師データを修正する手法として、全教師データを学習用と評価用に分割し、学習と評価を複数回繰り返した中で、教師データ毎の誤判定の回数を記録することで、ミスタグしている可能性の高い教師データを抽出する技術が知られている。

特開２０１５－２３２８４７号公報特開２０１８－１５５５２２号公報米国特許出願公開第２０１６／０２７５４１７号明細書

"AIプロダクト品質保証ガイドライン"、AIプロダクト品質保証コンソーシアム、２０１９年５月１７日公開

しかしながら、上記技術では、アノテーション作業により生成された教師データの修正が必要か否かの判定が効率的ではなく、修正対象の教師データを特定することが難しい。例えば、上記特許文献３では、誤判定の回数を全教師データに対して取得する必要があるので、全ての教師データが最低１回でもモデル検証用データになるよう処理を繰り返す必要がある。例えば、全教師データ10,000件のうちテストデータを2,000件とした場合、少なくとも５回は学習させることになり、処理量が膨大となる。

一つの側面では、修正対象の教師データを効率的に特定することができる判定プログラム、判定方法および情報処理装置を提供することを目的とする。

第１の案では、判定プログラムは、コンピュータに、複数の学習データを含む学習データ群と複数のテストデータを含むテストデータ群とを含む教師データのうち、前記学習データ群を用いてモデルの機械学習を実行する処理を実行させる。判定プログラムは、コンピュータに、前記テストデータ群を用いて学習後の前記モデルから得られた推測結果に基づき、前記モデルによる推測結果が誤判定である特定のテストデータを選択する処理を実行させる。判定プログラムは、コンピュータに、前記特定のテストデータに対応する特定の学習データを、前記学習データ群から除外した更新後の学習データを用いて、前記モデルの再学習を実行する処理を実行させる。判定プログラムは、コンピュータに、前記モデルの再学習の結果に応じて、修正対象の教師データを特定する処理を実行させる。

一つの側面では、修正対象の教師データを効率的に特定することができる。

図１は、実施例１にかかる情報処理装置の動作を説明する図である。図２は、実施例１にかかる情報処理装置の動作を説明する図である。図３は、実施例１にかかる情報処理装置の動作を説明する図である。図４は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。図５は、ＢＩＯタグを説明する図である。図６Ａは、固有表現を抽出したいテキストの例を示す図である。図６Ｂは、アノテーション作業により作成された教師データを示す図である。図７は、教師データＤＢに保存された単語埋込表現の例を示す図である。図８は、推測結果の例を説明する図である。図９は、教師データのベクトル空間上に学習データとテストデータ及び推測結果を表示した二次元マップを説明する図である。図１０は、修正の要否判定を説明する図である。図１１は、ユーザに表示する修正画面例を説明する図である。図１２は、修正の要否判定を説明する図である。図１３は、教師データの修正処理の流れを示すフローチャートである。図１４は、修正候補の検討処理の流れを示すフローチャートである。図１５は、ハードウェア構成例を説明する図である。

以下に、本願の開示する判定プログラム、判定方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［情報処理装置１０の動作の説明］
機械学習により生成されるモデルの性能は、学習させるデータの質および量に寄与することから、多くの教師データを用いて機械学習を実行することが要求される。しかし、収集した教師データが、常に正しくアノテーションされているとは限らず、正解タグが間違って付与された教師データを用いたまま機械学習を実行すると、モデルの性能を上げることが難しい。

そこで、情報処理装置１０は、アノテーション作業により正解タグが付与された教師データについて、作成された教師データから修正対象の教師データを効率的に特定する。具体的には、情報処理装置１０は、教師データを何等かの埋め込み表現技術を用いてベクトル空間上に保持する。情報処理装置１０は、複数の学習データを含む学習データ群を用いてモデルの機械学習を実行する。情報処理装置１０は、複数のテストデータを含むテストデータ群を学習後のモデルに入力して得られた推測結果に基づき、推測結果が誤判定であるテストデータを含む上記ベクトル空間上の範囲を「修正候補範囲」とする。情報処理装置１０は、上記「修正候補範囲」に含まれる特定の学習データを除外した仮学習データ群を用いて、モデルの再学習を実行する。その後、情報処理装置１０は、モデルの再学習の結果に応じて、修正対象の教師データを特定する。

なお、情報処理装置１０は、アノテーション済みの教師データがあることを前提とする。また、実施例１では、テキストデータから固有表現を抽出するタスクを例にして説明する。

ここで、図１から図３を用いて、情報処理装置１０による、アノテーション作業により生成された教師データの修正要否の判定について説明する。図１、図２、図３は、実施例１にかかる情報処理装置１０の動作を説明する図である。

アノテーション作業により生成された教師データについて、Word2Vecなどの埋込表現（ベクトル表現）を用いて、埋込空間（ベクトル空間）上にプロットする。その際に、正例と負例のクラスタリングを行い、ベクトル空間上に境界線を設ける。

図１に示すように、情報処理装置１０は、アノテーション作業により生成された教師データのうち任意のデータ（例えば全体の９割）を学習データとし、この学習データを含む学習データ群を用いて、モデルの機械学習を実行する。

続いて、情報処理装置１０は、学習データを用いて機械学習された学習後のモデルに、アノテーション作業により生成された教師データのうち任意のデータ（例えば全体の１割）をテストデータとし、このテストデータを含むテストデータ群を入力して、モデルによる推測結果を取得する。そして、情報処理装置１０は、各テストデータの入力に応じたモデルの推測結果に基づき、教師データのベクトル空間上で、間違えた推測が行われたテストデータを特定する。さらに、情報処理装置１０は、各テストデータを入力したときのモデルのＦ値（第１のＦ値）を取得する。なお、Ｆ値とは、再現率と適合率の調和平均であり、０から１の範囲の値で示され、値が１に近いほうが「モデルの性能が良い」ことを示す。

次に、図２に示すように、情報処理装置１０は、教師データのベクトル空間上のテストデータのプロットに対して、テストデータの推測結果と、元のアノテーションが異なるデータを推測を間違えたデータとして特定し、正例、負例の境界付近でかつ推測結果が誤判定であるデータを含む範囲を「修正候補範囲」として選択する。そして、情報処理装置１０は、学習器側の問題と切り分けるために、テストデータ群から「修正候補範囲」に含まれるテストデータを削除した仮テストデータ群を生成する。

同様に、情報処理装置１０は、教師データのベクトル空間上の学習データのプロットに、前記「修正候補範囲」を対応付け、「修正候補範囲」に含まれる学習データを特定する。そして、情報処理装置１０は、学習データ群から「修正候補範囲」に含まれる学習データを削除した仮学習データ群を生成する。

その後、図３に示すように、情報処理装置１０は、仮学習データ群に含まれる各学習データを用いて、モデルの再学習を実行する。そして、情報処理装置１０は、仮学習データ群を用いて再学習された再学習後のモデルに、仮テストデータ群の各テストデータを入力し、モデルの推測結果を取得する。このとき、情報処理装置１０は、仮テストデータ群の各テストデータを入力したときのモデルのＦ値（第２のＦ値）を取得する。

そして、情報処理装置１０は、削除前の学習データ群を用いたときのＦ値（第１のＦ値）と、削除後の仮学習データ群を用いたときのＦ値（第２のＦ値）とを比較する。ここで、情報処理装置１０は、第２のＦ値が第１のＦ値よりも向上している場合、「修正候補範囲」に該当する学習データの正解タグの修正が必要と判定する。

このように、情報処理装置１０は、学習データとテストデータとが同じ教師データのベクトル空間上であることを利用して、テストデータのベクトル表現からアノテーションミス（正解タグの付与ミス、タグミスと同義）しやすい表現を探し出すことができるので、修正対象の教師データを効率的に特定することができる。

［機能構成］
図４は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図４に示すように、情報処理装置１０は、通信部１１、表示部１２、記憶部１３、制御部２０を有する。

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、管理者が利用する管理者端末などから処理開始の指示を受信し、管理者端末から教師データなどの入力を受け付ける。

表示部１２は、各種情報を表示する処理部であり、例えばディスプレイやタッチパネルなどにより実現される。例えば、表示部１２は、後述する制御部２０が生成する画面等を表示する。

記憶部１３は、データや制御部２０が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどにより実現される。この記憶部１３は、モデル１４、教師データＤＢ１５を記憶する。

モデル１４は、学習データを用いた機械学習により生成されるモデルである。例えば、モデル１４は、テキストデータの入力を受け付けて、テキストの分類結果を出力する学習モデルである。

教師データＤＢ１５は、予め用意された正解タグ付きデータを含むデータベースであり、学習データ群１６とテストデータ群１７とを記憶する。

学習データ群１６は、モデル１４の機械学習に利用される、正解タグが付与された複数の学習データから構成される。テストデータ群１７は、修正候補の生成及びモデル１４の性能検証に利用される、正解タグが付与された複数のテストデータから構成される。

図４に戻り、制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、埋込表現生成部２１、機械学習部２２、修正候補作成部２３、仮データ生成部２４、修正要否判定部２５を有する。なお、埋込表現生成部２１、機械学習部２２、修正候補作成部２３、仮データ生成部２４、修正要否判定部２５は、プロセッサなどの電子回路として実現することもでき、プロセッサが実行するプロセスとして実現することもできる。

埋込表現生成部２１は、教師データＤＢ１５に格納されている各データの埋込表現を生成する。なお、埋込表現生成部２１は、埋込表現を記憶部１３に格納する。その際に、教師データの正例と負例を分割する境界線を算出し、記憶部１３に格納する。例えば、図６ＢでＢＩタグを付与された名詞を抽出し、それぞれの名詞を二次元のベクトルとして埋込表現を生成したものを図７に示す。例えば、営業はベクトル［0.4，0.4］で表現される。

機械学習部２２は、モデル１４の機械学習を実行する処理部である。機械学習部２２は、学習データ群１６の各学習データを用いてモデル１４の学習を実行する。また、機械学習部２２は、後述する仮学習データを用いてモデル１４の再学習を実行する。機械学習部２２は、テストデータを用いてモデル１４のＦ値（第１のＦ値）を算出する。また、機械学習部２２は、後述する仮テストデータを用いて再学習済みのモデル１４のＦ値（第２のＦ値）を算出する。なお、機械学習部２２は、Ｆ値などの学習結果を記憶部１３に格納する。

修正候補作成部２３は、教師データのタグミスが疑われる修正候補を生成する処理部である。修正候補作成部２３は、テストデータ群１８の各テストデータをモデル１４で推測した結果から、正解データと異なる結果となったデータの埋込表現空間上の位置でかつ埋込表現生成部２１が生成した境界線近傍を修正候補範囲とする。

仮データ生成部２４は、タグミスと推定されるデータを削除した仮データを生成する処理部である。仮データ生成部２４は、テストデータ群１７から修正候補作成部２３が作成した修正候補範囲に含まれるテストデータを削除した仮テストデータ群を生成する。

また、仮データ生成部２４は、学習データ群１６から修正候補作成部２３が作成した修正候補範囲に含まれる学習データを削除した仮学習データ群を生成する。なお、仮データ生成部２４は、仮テストデータ群および仮学習データ群を記憶部１３に格納する。

修正要否判定部２５は、仮データ生成部２４によりタグミスの可能性が高いデータとして推定したデータが、修正するべきかどうかを判定する処理部である。また、修正要否判定部２５は、修正が必要と判定した場合、該当する教師データのタグの修正を受け付ける処理部である。

具体的には、修正要否判定部２５は、テストデータ群１７を用いて、学習データ群１６により学習されたモデル１４の性能を検証したときのＦ値（第１のＦ値）と、仮テストデータ群を用いて、仮学習データ群により再学習されたモデル１４の性能を検証したときのＦ値（第２のＦ値）とを比較する。そして、修正要否判定部２５は、Ｆ値が向上しており、さらにＦ値の差が任意の値（閾値）以上の場合、上記修正候補範囲に含まれる教師データに関して、修正が必要と判定する。なお、修正要否判定部２５は、Ｆ値の差が閾値未満の場合、その時点での教師データの修正は必要なく、モデル１４に問題があると判定する。

また、修正要否判定部２５は、上記特定の教師データの修正を許容する画面を表示部１２等に表示して上記修正候補範囲に含まれる教師データの修正を受け付ける。そして、修正要否判定部２５は、教師データＤＢ１５の更新を実行する。

［具体例］
次に、教師データの修正要否を判定する具体例を説明する。具体的には、情報処理装置１０は、学習データ群１６を用いたモデル１４の学習、Ｆ値の算出、仮テストデータおよび仮学習データの生成、仮学習データを用いたモデル１４の再学習、モデル１４のＦ値の変化を特定、修正すべき教師データの判定を順次実行する。

まず、埋込表現生成部２１は、学習データ群１６に含まれる各学習データ｛ｘ１，ｘ２，ｘ３，・・・ｘｍ｝に対して埋込処理を実行して単語のベクトル表現を生成し、単語のベクトル表現を記憶部１３等に保存する。同様に、埋込表現生成部ｘｘは、テストデータ群１７に含まれる各テストデータ｛ｘｍ，ｘｍ＋１，ｘｍ＋２，・・・ｘｎ｝に対して埋込処理を実行して単語のベクトル表現を生成し、単語のベクトル表現を記憶部１３に保存する。

例えば、図６Ａに示したような、固有表現を抽出したい自然言語で書かれたテキスト群｛Ｘ１，・・・，Ｘｎ｝に対して、ＢＩＯタグを付与することにより、教師データが生成される。固有表現抽出とは、自然言語で書かれた文章について、単語レベルに分割してその単語の属性を自動的に付与するタスクのことである。一般的な属性としては、組織名（ORGANIZATION）、人名（PERSON）、地名（LOCATION）、日付表現（DATE）、時間表現（TIME）、金額表現（MONEY）、割合表現（PERCENT）の７つがあり、この他にも、分野やタスク毎に任意で設計される。この属性のことをタグと呼ぶ。

ここで、ＢＩＯタグの付与について説明する。図５は、ＢＩＯタグを説明する図である。図５に示すように、テキストデータ「佐藤太郎は、明日鈴木太郎になる」にＢＩＯタグを付与する場合、「佐藤」に「B－PERSON」タグ、「太郎」に「I－PERSON」タグ、「は」に「O」タグ、「、」に「O」タグ、「明日」に「B－DATE」タグ、「鈴木」に「B－PERSON」タグ、「太郎」に「I－PERSON」タグ、「に」に「O」タグ、「なる」に「O」タグが付与される。

上述したＢＩＯタグの付与を図６Ａのテキスト群に対して行った結果を図６Ｂに示す。図６Ｂは、アノテーション作業により作成された教師データを説明する図である。ここでは、図６Ａのテキスト群｛Ｘ１，・・・，Ｘｎ｝を形態素解析によって分かち書きしたものに対してＢＩＯタグを付与することにより、教師データが生成される。例えば、アノテーション作業により、テキストデータＸ１「営業佐藤です。ｘｘｘの件についての問い合わせです。」から、学習データｘ１として、「営業：B－PERSON，佐藤：I－PERSON，です。：O、・・・」が生成される。

また、テキストデータＸ２「経理最上です。ｘｘｘの件について回答します。」から、学習データｘ２として、「経理：B－PERSON，最上：I－PERSON，です。：O、・・・」が生成される。また、テキストデータＸ３「営業の伊達政子です。ｘｘｘの件についての問い合わせです。」から、学習データｘ３として、「営業：B－DEPARTMENT，の：O，伊達：I－PERSON，政子：I－PERSON，です。：O、・・・」が生成される。

なお、図６Ｂの例では、学習データｘ１において、「営業」に「B－PERSON」タグがタグ付けされており、アノテーションミスが発生している。同様に、学習データｘ２において、「経理」に「B－PERSON」タグがタグ付けされており、アノテーションミスが発生している。また、テストデータｘｍ＋１、ｘｍ＋２でも同様のアノテーションミスが発生している。

次に、情報処理装置１０の機械学習部２２は、学習データを含む学習データ群１６を用いて、モデル１４の機械学習を実行し、学習済みのモデル１４を生成する。更に機械学習部２２は、テストデータ群１７に含まれるテストデータを用いて学習済みモデル１４の推測結果の一覧を生成する。図６Ｂに示したテストデータを使った推測結果の例を図８に示す。

例えば、機械学習部２２は、推測結果の一覧として「単語、アノテーション、推測結果」を生成する。ここで、「単語」は、テストデータに含まれる単語であり、「アノテーション」は、単語に設定されていた正解タグを示し、「推測結果」は、モデル１４が「単語」の入力に応じて出力した推測結果である。図８の例では、テストデータｘｍ＋２「営業の木下・・・」に対して、推測結果「営業、B-DEPARTMENT、B-PERSON」、「の、O、O」、「木下、B-PERSON、B-PERSON」などが生成されたことを示す。つまり、単語「営業」に対して誤判定が発生している。また、機械学習部２２は、推測結果を用いて、Ｆ値を算出して記憶部１３に保存する。

続いて、情報処理装置１０は、修正候補を作成し、仮テストデータおよび仮学習データの生成、仮学習データを用いたモデル１４の再学習、モデル１４のＦ値の変化を特定、修正すべき教師データの判定を実行する。

具体的には、情報処理装置１０の修正候補作成部２３は、ベクトル空間上にマッピングしたテストデータの単語のベクトル表現された点のうち、正解タグと推測結果が異なる点と、埋込表現生成部ｘｘで生成いた境界線と、から修正候補範囲を設定する。

図９は、図８の推測結果から修正候補範囲を設定する例を説明する図である。また、図９は図７に示した学習データ群１６及びテストデータ群１７の単語のベクトル表現を二次元マップ上に表現したものである。図９に示すように、修正候補作成部２３は、教師データDBに保存された学習データ群１６及びテストデータ群１７に含まれる単語のベクトル表現を二次元マップ上にマッピングする。また、図９では、図８の推測結果から推測を間違えた単語の二次元マップ上の位置を特定する。この推測を間違えた単語の位置と、埋込表現生成部２１で生成した正例と負例の境界線との位置関係から修正候補範囲を決定する。例えば図９では、境界線から最も近い推測を間違えた単語「営業」と、境界線の距離を修正候補範囲の片側の距離とし、境界線に対して線対称に広げた範囲を修正候補範囲と設定している。この図９では、修正候補範囲に含まれる単語は「北条」「伊達」「最上」「営業」「経理」である。

情報処理装置１０の仮データ生成部２４は、「修正候補範囲」に対応する学習データを削除した仮学習データ群を生成する。

例えば、仮データ生成部２４は、図９で設定した修正候補範囲に存在する単語を含む学習データ群のうちｘ１、ｘ２、ｘ３・・・を除外して仮学習データ群を生成する。

また、情報処理装置１０の仮データ生成部２４は、「修正候補範囲」に対応するテストデータを削除した仮テストデータ群を生成する。

例えば、仮データ生成部２４は、図９で設定した修正候補範囲に存在する単語を含むテストデータ群のうちｘｍ＋１、ｘｍ＋２、ｘｍ＋３、ｘｍ＋４・・・を除外して仮テストデータ群を生成する。

次に、情報処理装置１０は、仮学習データを生成してモデル１４の再学習を実行する。その後、機械学習部２２は、再学習後のモデル１４を記憶部１３に格納する。

次に、情報処理装置１０は、「修正候補範囲」に該当するテストデータを削除した仮テストデータ群を用いて、再学習後のモデル１４を評価する機械学習部２２は、再学習後のモデル１４による推測結果を用いて、再学習後のモデル１４のＦ値を算出して記憶部１３に保存する。

ここで、情報処理装置１０は、Ｆ値の変化により、「修正候補範囲」に該当する教師データ（学習データとテストデータ）の修正要否を判定する。図１０は、修正の要否判定を説明する図である。図１０に示すように、修正要否判定部２５は、再学習前のＦ値（０．３）と再学習後のＦ値（０．６）を比較し、再学習後のＦ値の方が大きな値であり、差分が閾値（例えば０．１）以上である場合、修正要と判定する。そして、修正要否判定部２５は、「修正候補範囲」に該当したために削除された学習データｘ１、ｘ２、ｘ３・・・およびテストデータｘｍ、ｘｍ＋１、ｘｍ＋２、ｘｍ＋３、ｘｍ＋４・・・をユーザに提示して、正解タグの修正を許容する。

図１１は、ユーザに表示する修正画面例を説明する図である。図１１に示すように、修正要否判定部２５は、修正画面５０を表示して、修正画面５０上で、「修正候補範囲」に該当する学習データとテストデータの正解タグの修正を受け付けると、受け付けた内容により学習データ群１６とテストデータ群１７を更新する。

例えば、修正画面５０は、モデルの学習、モデルのテスト、修正候補の表示をタグにより切り替えられる構成である。修正要否判定部２５は、「修正候補の表示」タグが選択されると、修正候補と候補に対するアクションの内容を表示する。具体的には、修正要否判定部２５は、教師データの一覧と、再学習前のＦ値と、再学習後のＦ値である修正候補を除外したＦ値とを表示する。また、教師データの一覧には、学習データとテストデータとが含まれるとともに、修正候補に該当する教師データは強調表示され、例えばプルダウンで表示されるタグ一覧から新たなタグを選択することにより、正解タグの修正が受け付けられる。

一方、修正要否判定部２５は、Ｆ値の変化が小さい場合は、修正不要と判定される。図１２は、修正の要否判定を説明する図である。図１２に示すように、修正要否判定部２５は、再学習前のＦ値（０．６）と再学習後のＦ値（０．６）を比較し、差分が閾値（例えば０．１）未満である場合、修正不要と判定する。なお、修正要否判定部２５は、再学習前のＦ値と再学習後のＦ値を比較し、再学習後のＦ値の方が小さい場合も、修正不要と判定する。

［処理の流れ］
図１３は、教師データの修正処理の流れを示すフローチャートである。図１３に示すように、管理者等により処理が開始されると（Ｓ１０１：Ｙｅｓ）、埋込表現生成部２１は、学習データ群１６及びテストデータ群１７の各データに含まれる単語のベクトル表現を生成する（Ｓ１０２）。続いて、機械学習部２２は、各学習データを用いてモデル１４の学習を実行する（Ｓ１０３）。

各テストデータのベクトル表現をモデル１４に入力して、モデル１４による推測結果とＦ値とを取得する（Ｓ１０４）。

ここで、前回よりもＦ値が向上していない場合（Ｓ１０５：Ｎｏ）、処理が終了する。一方、前回よりもＦ値が向上している場合（Ｓ１０５：Ｙｅｓ）、修正候補の検討処理を行う（Ｓ１０６）。

修正要否判定部２５は、修正候補の検討処理の結果、修正候補ありと判定した場合（Ｓ１０７：Ｙｅｓ）、修正候補をユーザに表示し（Ｓ１０８）、修正内容を受け付けて、修正した教師データを生成する（Ｓ１０９）。その後は、修正後の教師データに対してＳ１０３以降の処理が繰り返される。一方、修正要否判定部２５は、修正候補の検討処理の結果、修正候補なしと判定した場合（Ｓ１０７：Ｎｏ）、処理を終了する。

続いて、図１３のＳ１０６で実行される修正候補の検討処理について説明する。図１４は、修正候補の検討処理の流れを示すフローチャートである。図１４に示すように、修正候補作成部２３は、教師データの単語ベクトル空間において各テストデータの推測結果から推測を間違えた単語を特定し、特定した単語の位置及び正例と負例をクラス分けする境界線との位置関係から修正候補範囲を設定する（Ｓ２０１）。

続いて、仮データ生成部２４は、学習データ群１６から修正候補範囲に属する学習データを削除した仮学習データ群を生成する（Ｓ２０２）。また、仮データ生成部２４は、テストデータ群１７から修正候補範囲に属するテストデータを削除した仮テストデータ群を生成する（Ｓ２０３）。

そして、機械学習部２２は、仮学習データ群を用いてモデル１４の再学習を実行する（Ｓ２０４）。続いて、修正候補作成部２３は、テストデータ群１７を用いて、再学習後のモデル１４の推測結果とＦ値とを取得する（Ｓ２０５）。

その後、修正要否判定部２５は、再学習前のＦ値と再学習後のＦ値との差分を算出し、差分と閾値との比較により、Ｆ値が改善したと判定した場合（Ｓ２０６：Ｙｅｓ）、修正候補ありを設定し（Ｓ２０７）、Ｆ値が改善していないと判定した場合（Ｓ２０６：Ｎｏ）、修正候補なしを設定する（Ｓ２０８）。

［効果］
上述したように、情報処理装置１０は、教師データがモデル（学習器）の能力に与える影響を考慮しつつ、教師データの修正候補範囲を提示することで、効率的な教師データの修正を行うことができる。具体的には、特許文献３を例とすると、例えば全データ10,000件、その内テストデータ2,000件とした場合、最短５回は学習させることになる。これに対して、実施例１にかかる手法では、データ数に関係なく最短２回の学習で修正要否を判定することができ、一般技術の２／５の工数でデータ修正を行うことができる。したがって、情報処理装置１０は、教師データの修正要否を効率的に判定することができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［数値等］
上記実施例で用いた対象とする教師データの種類、教師データの数、教師データのベクトル表現、タグ、次元数等は、あくまで一例であり、任意に変更することができる。また、上記実施例では、テキストデータの単語や文書をベクトル化して、テキスト分類を行うモデルの機械学習を例にして説明したが、これに限定されるものではなく、音声や画像などの分類等にも適用することができる。また、モデル１４には、ニューラルネットワークを用いた畳み込みニューラルネットワークやオートエンコーダなどを採用することもでき、決定木やサポートベクタマシンなどを採用することもできる。

［モデル］
上記実施例では、未学習のモデル１４を用いて、教師データの修正を行う例を説明したが、これに限定されるものではない。例えば、学習済みのモデルでもよく、学習が完了しているが性能が悪いので再生成の対象となっているモデルなどを用いることもできる。この場合、モデルに問題があったのか、教師データに問題があったのかを迅速に判定することができる。

［教師データ］
上記実施例では、アノテーション作業により生成された教師データを含む複数の教師データから修正が必要な教師データを特定する例を説明したが、これに限定されるものではない。例えば、アノテーション作業により生成された教師データを含まない複数の教師データでもよく、アノテーション作業により生成された教師データを含んでいるのか不明である複数の教師データなど、アノテーション作業の有無に関わらず、様々な教師データを対象とすることができる。

また、上記実施例では、学習データもテストデータも修正する例を説明したが、これに限定されるものではなく、例えば学習データのみを修正することもできる。また、修正要否判定部２５は、修正画面５０を表示部１２に表示することもでき、管理者の端末など任意に指定された送信先に送信することもできる。

［修正候補範囲］
上記実施例では、テストデータのベクトル空間において、正例と負例との境界付近でかつ推測結果が誤判定であるデータを含む範囲を「修正候補範囲」として選択する例を説明したが、これに限定されるものではない。例えば、推測結果が誤判定であるデータのうち、正例と負例との境界からの距離が近い順に所定数のデータを「修正候補範囲」のデータとして選択することもできる。また、正例と負例との境界付近でかつ推測結果が誤判定であるデータが所定数含まれる最小の範囲を「修正候補範囲」として選択することもできる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。なお、機械学習部２２は、第１実行部と第２実行部の一例であり、埋込表現生成部２１、修正候補作成部２３と仮データ生成部２４は、選択部の一例であり、修正要否判定部２５は、特定部の一例である。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
次に、情報処理装置１０のハードウェア構成例を説明する。図１５は、ハードウェア構成例を説明する図である。図１５に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）（またはＳＳＤ：Solid State Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１５に示した各部は、バス等で相互に接続される。

通信装置１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図４等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、埋込表現生成部２１、機械学習部２２、修正候補作成部２３、仮データ生成部２４、修正要否判定部２５等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、埋込表現生成部２１、機械学習部２２、修正候補作成部２３、仮データ生成部２４、修正要否判定部２５等と同様の処理を実行するプロセスを実行する。

このように、情報処理装置１０は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

１０情報処理装置
１１通信部
１２表示部
１３記憶部
１４モデル
１５教師データＤＢ
１６学習データ群
１７テストデータ群
２０制御部
２１埋込表現生成部
２２機械学習部
２３修正候補作成部
２４仮データ生成部
２５修正要否判定部

Claims

コンピュータに、
複数の学習データを含む学習データ群と複数のテストデータを含むテストデータ群とを含む教師データのうち、前記学習データ群を用いてモデルの機械学習を実行し、
前記テストデータ群を用いて学習後の前記モデルから得られた推測結果に基づき、前記モデルによる推測結果が誤判定である特定のテストデータを選択し、
前記特定のテストデータに対応する特定の学習データを、前記学習データ群から除外した更新後の学習データを用いて、前記モデルの再学習を実行し、
前記モデルの再学習の結果に応じて、修正対象の教師データを特定する
処理を実行させることを特徴とする判定プログラム。
前記特定する処理は、前記特定のテストデータを前記テストデータ群から除外した更新後のテストデータ群を用いて、再学習後の前記モデルを評価した結果に基づき、前記修正対象の教師データを特定することを特徴とする請求項１に記載の判定プログラム。
前記実行する処理は、前記教師データのベクトル表現を生成し、前記複数の学習データそれぞれから生成された各ベクトル表現を用いて前記モデルの機械学習を実行し、
前記選択する処理は、前記複数のテストデータそれぞれから生成された各ベクトル表現から、前記特定のテストデータのベクトル表現を選択し、
前記実行する処理は、前記特定のテストデータのベクトル表現に対応する前記特定の学習データを除外した前記更新後の学習データ群を用いて、前記モデルの再学習を実行することを特徴とする請求項２に記載の判定プログラム。
前記選択する処理は、前記教師データのベクトル空間上の前記テストデータ群のプロットに対して、正例と負例との境界において前記特定のテストデータのベクトル表現を含む所定範囲を選択し、
前記実行する処理は、前記教師データのベクトル空間上の前記学習データ群のプロットに対して前記所定範囲に属する学習データを前記特定の学習データに選択し、選択した前記特定の学習データを除外した前記更新後の学習データ群を用いて、前記モデルの再学習を実行することを特徴とする請求項３に記載の判定プログラム。
前記特定する処理は、前記テストデータ群を用いて前記学習後のモデルを評価したときの第１のＦ値と、前記更新後のテストデータ群を用いて前記再学習後のモデルを評価したときの第２のＦ値とを比較して、前記特定の学習データまたは前記特定のテストデータの修正要否を特定することを特徴とする請求項２から４のいずれか一つに記載の判定プログラム。
前記特定する処理は、前記第２のＦ値が前記第１のＦ値よりも大きな値であり、前記第１のＦ値と前記第２のＦ値との差が閾値以上である場合に、前記特定の学習データまたは前記特定のテストデータを修正対象と特定し、前記特定の学習データまたは前記特定のテストデータに設定される正解タグの修正を許容する画面を表示することを特徴とする請求項５に記載の判定プログラム。
コンピュータが、
複数の学習データを含む学習データ群と複数のテストデータを含むテストデータ群とを含む教師データのうち、前記学習データ群を用いてモデルの機械学習を実行し、
前記テストデータ群を用いて学習後の前記モデルから得られた推測結果に基づき、前記モデルによる推測結果が誤判定である特定のテストデータを選択し、
前記特定のテストデータに対応する特定の学習データを、前記学習データ群から除外した更新後の学習データを用いて、前記モデルの再学習を実行し、
前記モデルの再学習の結果に応じて、修正対象の教師データを特定する
処理を実行することを特徴とする判定方法。
複数の学習データを含む学習データ群と複数のテストデータを含むテストデータ群とを含む教師データのうち、前記学習データ群を用いてモデルの機械学習を実行する第１実行部と、
前記テストデータ群を用いて学習後の前記モデルから得られた推測結果に基づき、前記モデルによる推測結果が誤判定である特定のテストデータを選択する選択部と、
前記特定のテストデータに対応する特定の学習データを、前記学習データ群から除外した更新後の学習データを用いて、前記モデルの再学習を実行する第２実行部と、
前記モデルの再学習の結果に応じて、修正対象の教師データを特定する特定部と
を有することを特徴とする情報処理装置。