JP6307822B2 - プログラム、コンピュータおよび訓練データ作成支援方法 - Google Patents

Description

本発明は、プログラム、コンピュータおよび訓練データ作成支援方法に関する。

例えば文書管理やインターネット等の分野において、文書の自動整理やスパム除去、検索等を行うために、各文書に対し、あらかじめ与えられたいくつかのカテゴリ（分類）を示すラベルを付与する、文書分類が行われている。

文書分類においては、文書内容に基づき付与する分類ラベル（以下、ラベルと呼称する）を決定する文書分類器が用いられる場合があり、文書分類器（以下、分類器と呼称する）の生成には、機械学習を用いる方法が知られている。機械学習を用いる場合、予めラベルが付与された文書を訓練データ（学習データまたは教師データとも呼ばれる）として、それらの文書が持つラベルを付与するための規則（分類規則）を自動で獲得する。分類器は、獲得した分類規則を用いて、新しい文書に対し、自動でラベルを付与することができる。

この訓練データの作成においては、作業者の人手によって文書にラベルが付与される。

特開２００９−２１７５２８号公報

機械学習により精度の良い分類器を生成するためには、訓練データの質と量が大きく影響する。よって、訓練データ作成の際には、適正なラベルが文書に付与された訓練データが作られるように、過去に同様の作業を行ったことがある経験者をなるべく作業者として選定することが行われる。しかしながら、ラベル付与対象の文書数が多いとその数に見合った経験者を作業者として確保できず、未経験者や経験の少ない者をしばしば作業者に選定せざるを得ない。未経験者であっても、ラベル付与作業において、期待される技能水準を満たしていることが好ましい。

そこで、作業者の作業技能を判定する方法が必要になる。そのために、例えば予め付与すべきラベル（正解ラベル）が分かっている技能判定用の文書を準備し、作業者にその文書を作業対象として渡し、作業者がその文書に付与したラベルと正解ラベルとの一致を見て作業者のラベル付与作業技能を判定する方法がある。

しかしながら、上述の方法によれば、正解ラベルの作成を含む技能判定用の文書を準備する工数や、技能判定用の文書にラベルを付与するための作業者の工数が発生するため、対象作業者の人数が多いほど非効率的になり得る。

本発明の１つの側面では、簡易な方法で、訓練データの作成に関する作業者の作業技能を判定することが可能なプログラム、コンピュータおよび訓練データ作成支援方法を提供することを目的とする。

発明の一観点によれば、コンピュータに、第１データを対象にして第１作業者の作業により作成された第１訓練データに付与された第１のラベルと、第２データを対象にして第２作業者の作業により作成された第２訓練データを用いた機械学習により生成された第１規則データに従って、前記第１データを対象にして生成された第１処理結果データに付与された第２のラベルとの一致度と、第３データを対象にして第３作業者の作業により作成された第３訓練データに付与された第３のラベルと、前記第３データを対象にして前記第１規則データに従って生成された第２処理結果データに付与された第４のラベルとの一致度との偏りに基づき、前記第２作業者の作業技能を判定する、ことを実行させるためのプログラムであって、前記第１訓練データ、前記第２訓練データ、前記第３訓練データのそれぞれは、機械学習による分類規則データの生成に用いられる複数の訓練データに含まれる、プログラムが提供される。

一実施態様によれば、技能判定用のラベル付与済み文書を予め準備する工数や、技能判定用の文書にラベルを付与するための作業者の工数が発生しない、簡易な方法で、訓練データの作成に関する作業者の作業技能を判定することが可能なプログラム、コンピュータおよび訓練データ作成支援方法を提供することができる。

図１は、訓練データ作成支援システムの一例を示す。 図２は、訓練データ作成支援装置のハードウェア構成の一例を示す。 図３は、訓練データ作成支援装置による訓練データ作成支援方法の一例を示すフローチャートである。 図４は、訓練データＤＢの一例を示す。 図５は、一致度の判定処理の一例を示すフローチャートである。 図６は、分類規則の一例を示す。 図７は、判定作業用ＤＢの一例を示す。 図８は、ラベル付与結果の一致度判定処理の一例を示すフローチャートである。 図９は、カウンタの一例を示す。 図１０は、判定結果ＤＢの一例を示す。 図１１は、模範作業者および確認対象者の抽出処理の一例を示すフローチャートである。 図１２は、確認対象者ＤＢの一例を示す。 図１３は、模範作業者ＤＢの一例を示す。 図１４は、確認対象者の技能判定処理の一例を示すフローチャートである。 図１５は、確認対象者判定用ＤＢの一例を示す。 図１６は、ラベル付与結果の一致判定処理の一例を示すフローチャートである。 図１７は、ラベル付与結果の一致度判定処理の一例を示すフローチャートである。 図１８は、他の実施形態における訓練データ作成支援システムの一例を示す。 図１９は、他の実施形態における訓練データ作成支援装置による訓練データ作成支援方法の一例を示すフローチャートである。 図２０は、模範作業者へのラベル付与指示処理の一例を示すフローチャートである。 図２１は、他の実施形態における訓練データ作成支援システムの一例を示す。 図２２は、他の実施形態における訓練データ作成支援装置による訓練データ作成支援方法の一例を示すフローチャートである。 図２３は、付与対象文書の送信処理の一例を示すフローチャートである。

以下、本発明の実施形態について、図１乃至図２３を参照して具体的に説明する。

図１は、訓練データ作成支援システムの一例を示す。図１に示すように、訓練データ作成支援システムは、訓練データ作成支援装置１０と複数の端末装置３０とを有する。訓練データ作成支援装置１０と複数の端末装置３０とは、ネットワーク５０を介して相互に通信可能に接続される。

訓練データ作成支援装置１０は、訓練データの作成を支援するコンピュータの一例である。訓練データ作成支援装置１０は、訓練データの作成を担う作業者の作業技能が所定の水準を満たしているか否かを判定する。前述のように、訓練データは、自動で文書分類を行う分類器を生成する際の機械学習に利用される。なお、訓練データ作成支援装置１０は、例えばパーソナルコンピュータ（ＰＣ）、またはサーバ等のコンピュータ・ハードウェアとそのハードウェアにて動作するソフトウェアによって実現される。訓練データ作成支援装置１０によって実行される処理は後述される。

端末装置３０は、訓練データを作成する各作業者が利用する端末装置である。端末装置３０は、例えばＰＣ、携帯電話、スマートフォンまたはタブレット端末等である。各作業者は、個別に与えられたラベル付与対象文書にラベルを付与し、ラベル付与済み文書を作成する。このラベル付与済み文書が訓練データである。そして、各作業者は、作成した訓練データを端末装置３０から訓練データ作成支援装置１０に送信する。

ラベルとは、文書の内容がどのようなカテゴリ（分類）に属するのかを示す分類名称である。食のカテゴリであることを示す「ＦＯＯＤ」などがラベルの一例である。ラベルが付与される文書は、例えば、ニュース記事、Ｔｗｉｔｔｅｒ（登録商標）やブログなどのソーシャルメディアに書き込まれた文章である。

図１では、ネットワーク５０にそれぞれ接続された複数の端末装置３０が示されているが、１台の装置（端末装置３０もしくはその他の管理端末）が訓練データ作成支援装置１０と相互に通信する形態をとり、その１台の装置が各作業者（各端末装置３０）からの訓練データを取りまとめて訓練データ作成支援装置１０に送信するようにしてもよい。

図１に示すように、訓練データ作成支援装置１０は、第１記憶部１１、第２記憶部１２、受信部１３、分類器生成部１４、判定部１５、分類処理部１６、送信部１７および出力部１８を備える。

第１記憶部１１は、訓練データ作成支援プログラムを記憶する。訓練データ作成支援プログラムは、作業者によって作成された訓練データを用い、訓練データ間の関係を基にして作業者の作業技能を判定する処理を実行するプログラムである。例えば、この作業者の作業技能を判定する処理は、作業技能が所定水準に達していない作業者を特定することである。

第２記憶部１２は、本発明の処理に用いる各種情報を記憶するためのデータベース（ＤＢ）を格納する。

受信部１３は、各端末装置３０から作業者によって作成された訓練データを受信する。受信部１３は、端末装置３０からの、Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｃｏｌ（ＨＴＴＰ）やＦｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｃｏｌ（ＦＴＰ）などのプロトコルを利用してのアップロードや、訓練データ作成支援装置１０を示すアドレスが宛先に設定された電子メールの送信によって、訓練データを受信することができる。そして、受信部１３は、受信した訓練データを訓練データＤＢに登録する。訓練データＤＢは、例えば第２記憶部１２に格納される。訓練データＤＢの詳細は後述される。

分類器生成部１４は、各作業者のラベル付与作業技能の判定に用いるために、受信部１３によって受信された訓練データを用いて作業者毎の分類器を生成する。ここでは、作業者毎の分類器の生成とは、作業者毎の分類規則を生成することと同意である。分類器の生成方法は後述される。

判定部１５は、第１作業者によって作成された第１訓練データ群と、第２作業者によって作成された第２訓練データ群を対象に機械学習を用いて生成された分類器とを用いて判定処理を行う。判定部１５は、第１訓練データ群を作成する際のラベル付与対象文書に対して、第１作業者が付与したラベルと、前述によって生成された分類器によって自動付与されたラベルとが一致するか否かを判定する。

また、例えば、判定部１５は、作業者の中から、作業技能が所定の水準に達していない疑いがあり、その作業技能を判定すべき作業者（以下、確認対象者と呼称する）と、模範とすべき作業者（以下、模範作業者と呼称する）とを抽出する。ここでの作業者は、例えば訓練データＤＢに登録されている訓練データの作成者である。そして、判定部１５は、抽出した確認対象者に対して作業技能判定処理を実施し、確認対象者の作業技能が所定の水準に達しているか否かを判定する。なお、確認対象者に対して作業技能の判定を行うのは、確認対象者（作業者）の作業技能が所定の水準に達していないのか、それとも、付与すべきラベルの判断が難しい付与対象文書を担当したために、その確認対象者（作業者）が一時的に適切なラベル付与を行えなかったのかを判断するためである。

分類処理部１６は、分類器を使用して（分類規則に基づいて）、対象文書にラベルを付与する。

送信部１７は、各端末装置３０に対してラベル付与対象文書等の情報を送信する。送信部１７は、端末装置３０に対し、端末装置３０によるＨＴＴＰやＦＴＰなどのプロトコルを利用してのダウンロードや、各端末装置３０を示すアドレス（端末装置３０を利用する作業者のメールアドレス等）が宛先に設定された電子メールの送信によって、ラベル付与対象文書等を送信することができる。

出力部１８は、判定部１５による判定結果を基に処理結果を出力する。例えば、出力部１８は、確認対象者の作業技能が所定の水準に達しているか否かを示す処理結果を出力する。出力部１８は、例えば液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬディスプレイ等の表示装置である。

なお、前述した各部は、他の部と統合またはそれをさらに細分して、それら各部の機能が実現されるものであってもよい。

次に、訓練データ作成支援装置１０のハードウェア構成について説明する。

図２は、訓練データ作成支援装置１０のハードウェア構成の一例を示す。図２に示すように、訓練データ作成支援装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６３、ストレージ装置６４、ネットワークインタフェース６５、及び可搬型記憶媒体用ドライブ６６等のハードウェア要素を備える。訓練データ作成支援装置１０は、これらハードウェア要素を備えるコンピュータの一例である。これらハードウェア要素は、バス６７に接続され、バス６７を介して相互にデータ通信可能である。

ＣＰＵ６１は、プロセッサの一例である。ＣＰＵ６１は、ＲＯＭ６２あるいはストレージ装置６４からリードしたプログラムをＲＡＭ６３にロードして実行する。このＣＰＵ６１は、それに替え、Ｍｉｃｒｏ−Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＭＰＵ）やＤｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、その他の処理回路であってもよい。

ＲＯＭ６２は、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＵＥＦＩ（Ｕｎｉｆｉｅｄ Ｅｘｔｅｎｓｉｂｌｅ Ｆｉｒｍｗａｒｅ Ｉｎｔｅｒｆａｃｅ）などの基本プログラムやそのプログラムの実行の際に使用される各種データを格納する。

ＲＡＭ６３は、プログラムや各種データを一時的に格納する揮発性メモリである。ＲＡＭ６３は、ＣＰＵ６１によるプログラムの実行の際にワークエリアとして利用される。

ストレージ装置６４は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）である。ストレージ装置６４は、不揮発性記憶装置であることが好ましい。

ネットワークインタフェース６５は、ネットワークを介して他の装置と通信可能とするために、訓練データ作成支援装置１０をネットワークに接続する通信回路である。ネットワーク・インタフェース・カード（ＮＩＣ）は、ネットワークインタフェース６５の一例である。

可搬型記憶媒体用ドライブ６６は、可搬型記憶媒体６８にアクセスするためのデバイスである。可搬型記憶媒体用ドライブ６６は、上位装置（例えばＣＰＵ６１）からのコマンドに基づき、可搬型記憶媒体６８へのデータライトや可搬型記憶媒体６８からのデータリードを行う。可搬型記憶媒体６８は、例えば、コンパクトディスク（ＣＤ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの光ディスク、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ、フレキシブル・ディスク（ＦＤ）、光磁気ディスク（ＭＯ）、磁気テープ、である。

ストレージ装置６４や可搬型記憶媒体６８は、コンピュータ読み取り可能な記憶媒体の一例である。

本発明の訓練データ作成支援プログラムは、例えばストレージ装置６４に格納される。ＣＰＵ６１（訓練データ作成支援装置１０の一例であるコンピュータ）は、ストレージ装置６４から訓練データ作成支援プログラムをリードしてＲＡＭ６３にロードし、訓練データ作成支援プログラムを実行する。これによって、訓練データ作成支援プログラムの各処理が実行され、訓練データ作成支援装置１０の各機能が実現される。なお、訓練データ作成支援プログラムは、ＲＯＭ６２や可搬型記憶媒体６８に格納されるものであってもよい。その場合、ＣＰＵ６１は、訓練データ作成支援プログラムが格納されている記憶媒体に適宜アクセスして訓練データ作成支援プログラムを取得し、実行すればよい。

図２における各ハードウェア要素と図１における各機能の対応関係の一例は次の通りである。

ＣＰＵ６１は、図１における分類器生成部１４、判定部１５および分類処理部１６の一例である。

また、ＲＯＭ６２、ストレージ装置６４、可搬型記憶媒体用ドライブ６６あるいは可搬型記憶媒体６８は、図１における第１記憶部１１の一例である。

また、ＲＯＭ６２、ＲＡＭ６３、ストレージ装置６４、可搬型記憶媒体用ドライブ６６あるいは可搬型記憶媒体６８は、図１における第２記憶部１２の一例である。

また、ネットワークインタフェース６５、ＣＰＵ６１は、図１における受信部１３、送信部１７の一例である。

また、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬディスプレイ等の図２において不図示の表示装置は、出力部１８の一例である。

次に、本実施形態における、訓練データ作成支援装置１０による訓練データ作成支援方法について説明する。

図３は、訓練データ作成支援装置による訓練データ作成支援方法の一例を示すフローチャートである。

まず、受信部１３は、各端末装置３０から各作業者によって作成された訓練データを受信する（Ｓ１０１）。受信部１３は、各作業者が端末装置３０から訓練データを訓練データ作成支援装置１０宛に送信することにより、作業者毎に作成された訓練データを受信できる。受信部１３は、受信した訓練データを第２記憶部１２の訓練データＤＢに格納する。

なお、事前に各作業者には、付与対象文書と、付与するラベルの候補が配布されている。付与対象文書は作業者毎に異なるものが配布され、付与するラベルの候補は作業者共通である。このとき、各作業者に配布される付与対象文書は、複数個であることが好ましい。その個数は、生成する訓練データの総数や作業者の総数、各作業者の希望などに応じて適宜決定されればよいが、いずれの作業者も一定数以上あることが好ましい。これらの事前配布は、訓練データ作成支援装置１０によって行われてもよいし、たとえば作業監督者が各作業者にメールで送信するなど他の手段で行われてもよい。

各作業者は、配布された付与対象文書に対し、定められたラベル候補のいずれかを付与して、訓練データを作成する。受信部１３は、各作業者によって作成されたこれらの訓練データを受信する。

図４は、訓練データＤＢの一例を示す。図４に示すように、訓練データＤＢは、作業者、ラベル、文書ＩＤ、および付与対象文書の各フィールドを有する。各訓練データは、レコードとして訓練データＤＢに登録される。

訓練データＤＢにおけるフィールド「作業者」は、付与対象文書にラベルを付与した作業者を示す。すなわち、フィールド「作業者」は、訓練データを作成した作業者を示す。このフィールドには、作業者を示す識別情報が登録される。

フィールド「ラベル」は、作業対象となる文書に付与されたラベルを示す。付与対象文書を作業者に配布する際にラベルの候補も通知されており、このフィールドの内容は、作業者が付与対象文書の内容を基に候補の中から該当すると判断したラベル（付与結果ラベル）である。

フィールド「文書ＩＤ」は、ラベル付与対象文書の識別情報を示す。この文書ＩＤによって、個々の文書が識別される。本実施形態では、互いに異なる付与対象文書が各作業者に配布される。つまり、訓練データＤＢ内にて各訓練データの文書ＩＤはユニークなものとなる。

フィールド「付与対象文書」は、フィールド「文書ＩＤ」の識別情報に対応する文書であり、作業者に作業対象として配布したラベル付与対象文書の内容を示す。

このような構造の訓練データＤＢについて、本実施形態の処理に伴い以下の処理が行われる。

例えば、作業者に付与対象文書を配布する際に、配布先の作業者、配布する付与対象文書に基づき訓練データＤＢのフィールド「作業者」、「文書ＩＤ」、「付与対象文書」に情報を登録する。また、作業者から受信した訓練データに含まれる文書ＩＤを基に、その文書ＩＤと一致する訓練データＤＢのレコードのフィールド「ラベル」に、付与結果であるラベル内容を登録するようにすればよい。

また、例えば、付与対象文書を作業者に配布する際には訓練データＤＢには何も登録せず、作業者からの訓練データを受信した際に訓練データに含まれる各情報を対応する各フィールドに登録するようにしてもよい。この場合に、付与対象文書に文書ＩＤを付与せずに配布し、訓練データＤＢへのレコードの追加に応じてフィールド「文書ＩＤ」の値を自動インクリメントして文書ＩＤを登録するようにしてもよい。訓練データＤＢへの情報登録手順は、適宜の方法が採用されればよい。

図４に示す訓練データＤＢは、ラベルの候補を「ＦＯＯＤ」と「Ｎｏｔ−ＦＯＯＤ」の２つとし、付与対象文書が食べ物に関連するかどうかを各作業者に判断させ、判断結果を基に候補のいずれかをラベル付与させたときの訓練データを例示している。なお、ラベル「ＦＯＯＤ」は付与対象文書が食べ物に関連する場合に付与すべきラベルとし、ラベル「Ｎｏｔ−ＦＯＯＤ」は付与対象文書が食べ物に関連しない場合に付与すべきラベルとしている。このように、訓練データＤＢを参照することにより、どの作業者がどのような付与対象文書に対してどのようなラベルを付与したのかを把握することができる。

受信部１３による訓練データの受信と訓練データＤＢへの訓練データの登録が完了した後、判定部１５は、ある作業者（以降、判定対象者と呼称する）が作成した訓練データを用いて機械学習により試験的に分類器（分類規則を含む）を生成し、他の作業者（以降、比較対象者と呼称する）に配布された付与対象文書を対象にしたその分類器によるラベル自動付与結果と、比較対象者によるその付与対象文書に対するラベル付与結果との一致度を判定する（図３のＳ１０２）。本例では、ある作業者を判定対象者にしたとき、他のすべての作業者を比較対象者とし、作業者の全組み合わせについて、ラベル自動付与結果と作業者によるラベル付与結果との一致度の判定が行われる。また、本例では、ある作業者を判定対象者にしたときに、その作業者を比較対象者ともしている。

判定対象者の訓練データを基に生成した分類器によるラベル付与結果と比較対象者によるラベル付与結果が著しく相違する場合、判定対象者の作業技能が低いために訓練データの質が悪く、分類器が適切なラベル付与を行えないか、もしくは、比較対象者の作業技能が低いために分類器が付与した適切なラベル付与結果と比較対象者によるラベル付与結果が相違することが考えられる。一方、それらラベル付与結果が一致またはある閾値以上に類似する場合、判定対象者と比較対象者ともに一定の技能水準を満たしていることが考えられる。作業者の全組み合わせについてラベル付与結果の一致度を判定することにより、結果の偏りから、確認対象者と模範作業者を発見することができる。確認対象者および模範作業者の説明は後述される。以下に、一致度の判定処理について説明する。

図５は、一致度の判定処理の一例を示すフローチャートである。

まず、判定部１５は、第２記憶部１２に格納されている訓練データＤＢを検索し、判定対象者を選択する（Ｓ２０１）。例えば、判定部１５は、訓練データＤＢのレコード順に従って、先頭レコードから最終レコードまでの各レコードにおけるフィールド「作業者」を基に、未だ選択されていない作業者を判定対象者として選択すればよい。

続いて、判定部１５は、訓練データＤＢに登録されている、判定対象者によって作成された訓練データを対象とし、分類器生成部１４を使用して分類規則を含む分類器を生成する（Ｓ２０２）。分類器生成部１４は、例えば決定木やＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓなど、種々の公知の学習手法を用いて分類器を生成すればよい。生成された分類器は、例えば、第２記憶部１２に格納される。

図６は、分類規則の一例を示す。図６に示すように、分類規則は、分類器による処理に使用されるものであり、例えば、条件とラベルの対応情報を含む規則データである。条件は、例えば文字列（キーワード）とその出現位置に関する情報を含む。ラベルは、条件に合致する内容を含む文書に対して付与するラベルを示す。分類器は、このような分類規則を使い、例えば対象文書の内容と条件を比較し、対象文書の内容が条件に合致する場合に、その条件に対応するラベルを対象文書に付与する。なお、図６は、図４に例示する作業者Ａによって作成された訓練データを基に生成された分類規則の例を示す。

判定部１５は、続いて、第２記憶部１２に格納されている訓練データＤＢの中から比較対象者を選択する（Ｓ２０３）。例えば、判定部１５は、訓練データＤＢのレコード順に従って、先頭レコードから最終レコードまでの各レコードにおけるフィールド「作業者」を基に、比較対象者として未だ選択されていない作業者を選択すればよい。なお、本例では、前述のように判定対象者と同一の作業者を比較対象者としても選定している。

そして、判定部１５は、分類処理部１６に対して、生成された分類器と比較対象者の通知と共にラベル付与を指示する。分類処理部１６は、通知された分類器を用いて、通知された比較対象者に作業対象として配布された付与対象文書の各々にラベルを自動付与する（Ｓ２０４）。分類処理部１６は、訓練データＤＢの中から、比較対象者として選択された作業者の識別情報がフィールド「作業者」に登録されたレコードを特定し、特定されたレコードにおけるフィールド「付与対象文書」に登録されている文書を対象に、分類器を用いてラベルを自動付与する。例えば、分類処理部１６は、訓練データＤＢのレコード順に従って、先頭レコードから最終レコードまでの各レコードの中から該当レコードを順次特定し、ラベルを自動付与する。この処理に関連して判定作業用ＤＢが利用され、判定対象者と分類器によるラベル付与結果、比較対象者と比較対象者によるラベル付与結果などが判定作業用ＤＢに登録される。また、分類器によるラベル付与結果と比較対象者によるラベル付与結果との比較判定結果も判定作業用ＤＢに登録される。この判定作業用ＤＢは、例えば第２記憶部１２に格納される。以下に、判定作業用ＤＢについて説明する。

図７は、判定作業用ＤＢの一例を示す。図７に示すように、判定作業用ＤＢは、判定結果、比較対象者、比較対象者によるラベル付与結果、判定対象者、分類器によるラベル付与結果、文書ＩＤおよび付与対象文書の各フィールドを有する。

判定作業用ＤＢにおけるフィールド「判定結果」は、フィールド「比較対象者によるラベル付与結果」とフィールド「分類器によるラベル付与結果」の比較結果を示す。例えば、フィールド「判定結果」の値が「１」の場合、フィールド「比較対象者によるラベル付与結果」とフィールド「分類器によるラベル付与結果」の内容が一致することを示す。また、例えば、その値が「０」の場合、フィールド「比較対象者によるラベル付与結果」とフィールド「分類器によるラベル付与結果」の内容が不一致であることを示す。

フィールド「比較対象者」は、図５のＳ２０３の処理において選択された比較対象者である作業者の識別情報を示す。このフィールドには、分類処理部１６によって特定された訓練データＤＢのレコードにおけるフィールド「作業者」の内容が登録される。

フィールド「比較対象者によるラベル付与結果」は、後述するフィールド「文書ＩＤ」で示される付与対象文書を対象にした比較対象者によるラベル付与結果を示す。このフィールドには、分類処理部１６によって特定された訓練データＤＢのレコードにおけるフィールド「ラベル」の内容が登録される。

フィールド「判定対象者」は、図５のＳ２０１の処理において選択され、図５のＳ２０２における分類器の生成に訓練データが利用された判定対象者である作業者の識別情報を示す。このフィールドには、図５のＳ２０４の処理である分類器を用いた分類処理部１６によるラベルの自動付与に伴い、判定対象者である作業者の識別情報が登録される。

フィールド「分類器によるラベル付与結果」は、図５のＳ２０４の処理において分類処理部１６によって生成された処理結果を示す。つまり、分類器を用いた分類処理部１６の処理によって、フィールド「文書ＩＤ」で示される付与対象文書に自動付与されたラベルを示す。

フィールド「文書ＩＤ」は、フィールド「比較対象者によるラベル付与結果」で示されるラベルが付与された付与対象文書の文書ＩＤを示す。このフィールドには、分類処理部１６によって特定された訓練データＤＢのレコードにおけるフィールド「文書ＩＤ」の内容が登録される。

フィールド「付与対象文書」は、フィールド「文書ＩＤ」で示される文書ＩＤに対応する付与対象文書の内容を示す。このフィールドには、分類処理部１６によって特定された訓練データＤＢのレコードにおけるフィールド「文書ＩＤ」に対応するフィールド「付与対象文書」の内容が登録される。

以上の各フィールドに、分類処理部１６によって、訓練データＤＢ内にて特定したレコードの内容および判定結果が登録される。

なお、図７に例示される判定作業用ＤＢ内の３つのレコードは次のことを示す。

この３つのレコードのうち先頭レコードおよび２番目のレコードは、判定対象者として作業者Ａが選択され、比較対象者として作業者Ｂが選択されたときの、作業者Ａが作成した訓練データを基に生成された分類器によるラベルの自動付与結果と、作業者Ｂが作成した訓練データに含まれる付与対象文書に作業者Ｂにより付与されたラベル付与結果との比較結果を示す。

作業者Ｂは、文書ＩＤが１０１および１０２の付与対象文書に対してそれぞれ「ＦＯＯＤ」のラベルを付与したことを示す。それに対し、それら文書に対し、作業者Ａが作成した訓練データを基に生成された分類器は、図６に例示する分類規則を用いて、それぞれ「ＦＯＯＤ」のラベルを自動付与したことを示す。

３番目のレコードは、判定対象者として作業者Ａが選択され、比較対象者として作業者Ｃが選択されたときの、作業者Ａが作成した訓練データを基に生成された分類器によるラベルの自動付与結果と、作業者Ｃが作成した訓練データに含まれる付与対象文書に作業者Ｃにより付与されたラベル付与結果との比較結果を示す。

作業者Ｃは文書ＩＤが２０１の付与対象文書に対して作業者Ｃは「ＦＯＯＤ」のラベルを付与したことを示す。それに対し、その文書に対し、作業者Ａが作成した訓練データを基に生成された分類器は、図６に例示する分類規則を用いて、「Ｎｏｔ−ＦＯＯＤ」のラベルを自動付与したことを示す。

以上の比較の結果、文書ＩＤが１０１および１０２の付与対象文書には同じラベルが付与されたことからフィールド「判定結果」に値「１」が登録され、文書ＩＤが１０３の付与対象文書には異なるラベルが付与されたことからフィールド「判定結果」に値「０」が登録されたことを示す。

判定部１５は、図５のＳ２０４の処理での分類処理部１６による処理の後、訓練データＤＢの中で比較対象者として未選択の作業者が存在するか否かを判定する（図５のＳ２０５）。

比較対象者として未選択の作業者が存在する場合（Ｓ２０５；肯定）、判定部１５は、Ｓ２０３に戻り、その作業者を比較対象者として選択し、Ｓ２０４の処理を実行する。判定部１５は、比較対象者として未選択の作業者が存在しなくなるまで、Ｓ２０３〜Ｓ２０５の処理を繰り返して実行する。一方、比較対象者として未選択の作業者が存在しない場合（Ｓ２０５；否定）、判定部１５は、訓練データＤＢの中で判定対象者として未選択の作業者が存在するか否かを判定する（Ｓ２０６）。

訓練データＤＢの中で判定対象者として未選択の作業者が存在する場合（Ｓ２０６；肯定）、判定部１５は、Ｓ２０１に戻り、その作業者を判定対象者として選択し、Ｓ２０２〜Ｓ２０５の処理を実行する。判定部１５は、未選択の作業者が存在しなくなるまで、Ｓ２０１〜Ｓ２０６の処理を繰り返して実行する。

一方、判定対象者として未選択の作業者が存在しない場合（Ｓ２０６；否定）、判定部１５は、分類処理部１６によって作成された判定作業用ＤＢを用い、判定対象者と比較対象者の組み合わせ毎に、分類器によるラベルの自動付与結果と、比較対象者によるその付与対象文書へのラベル付与結果との一致度を判定する（図５のＳ２０７）。判定部１５は、その判定結果である一致度を判定結果ＤＢに格納する。この判定結果ＤＢは、例えば第２記憶部１２に格納される。以下に、ラベル付与結果の一致度判定処理について説明する。

図８は、ラベル付与結果の一致度判定処理の一例を示すフローチャートである。

判定部１５は、前処理として、カウンタを生成する（Ｓ３０１）。例えば、判定部１５は、判定作業用ＤＢの先頭レコードから最終レコードまでの各レコードについて、フィールド「判定対象者」に登録されている作業者の識別情報を基に各判定対象者を特定し、各レコードにおけるフィールド「比較対象者」を基に、判定対象者ごとに各比較対象者を特定して、判定対象者と比較対象者の全組み合わせに対応するカウンタを生成する。

図９は、カウンタの一例を示す。同図は、判定対象者および比較対象者となる作業者が、作業者Ａ、作業者Ｂ、作業者Ｃであるときのカウンタの例を示している。

図９（ａ）は、判定作業用ＤＢの中で、フィールド「判定対象者」に登録された識別情報で示される各作業者とフィールド「比較対象者」に登録された識別情報で示される各作業者との組み合わせ毎に、該当するレコードの総数値を保持するカウンタである。同図（ａ）において、判定対象者と比較対象者の組み合わせ毎のカウンタはＴＣＮＴ（ｍ，ｎ）で示されており、例えば、ＴＣＮＴ（Ａ，Ｂ）は、判定作業用ＤＢの全レコードのうち、判定対象者が作業者Ａかつ比較対象者が作業者Ｂであるレコード総数を示す。

図９（ｂ）は、判定作業用ＤＢの中で、フィールド「判定対象者」に登録された識別情報で示される各作業者とフィールド「比較対象者」に登録された識別情報で示される各作業者との組み合わせ毎に、その組み合わせに該当するレコードのうちフィールド「判定結果」に値「１」が登録されたレコードの総数値を保持するカウンタである。つまり、同図（ｂ）のカウンタは、同図（ａ）の判定対象者と比較対象者の組み合わせに対応するカウンタで示される各レコード総数の中のフィールド「判定結果」に値「１」が登録されたレコードの総数を示す。同図（ｂ）において、例えば、ＭＣＮＴ（Ａ，Ｂ）は、判定対象者が作業者Ａかつ比較対象者が作業者Ｂである判定作業用ＤＢの全レコードの中でフィールド「判定結果」に値「１」が登録されたレコードの総数を示す。

なお、判定部１５は、Ｓ３０１の処理においてカウンタを生成する際に、生成した各カウンタの値を「０」に初期化する。

判定部１５は、カウンタを生成した後、一致度判定処理のメイン処理を行う。このメイン処理において、判定部１５は、判定作業用ＤＢ内のレコードを選択する（Ｓ３０２）。例えば、判定部１５は、判定作業用ＤＢのレコード順に従って、先頭レコードから最終レコードまでの各レコードの中からメイン処理において未だ選択されていないレコードを選択すればよい。本メイン処理においては、前処理において生成された各カウンタが利用される。

続いて、判定部１５は、選択されたレコードのフィールド「判定対象者」およびフィールド「比較対象者」にそれぞれ登録されている作業者の識別情報を基に、図９（ａ）に示されるカウンタの中で判定対象者と比較対象者の組み合わせに対応するカウンタ値（レコード総数値）をインクリメントする（Ｓ３０３）。つまり、現在のレコード総数値に「１」が加算された値が新たなレコード総数値となる。

続いて、判定部１５は、選択したレコードにおける判定結果が「１」であるか否か判定する（Ｓ３０４）。判定結果が「１」の場合（Ｓ３０４；肯定）、判定部１５は、選択したレコードにおけるフィールド「判定対象者」および「比較対象者」にそれぞれ登録されている作業者の識別情報を基に、図９（ｂ）に示されるカウンタの中で判定対象者と比較対象者の組み合わせに対応するカウンタ値（一致総数値）をインクリメントする（Ｓ３０５）。

判定部１５は、前述の処理の後、または、判定結果が「１」でない場合（Ｓ３０４；否定）、メイン処理において判定作業用ＤＢの中で未選択のレコードが存在するか否かを判定する（Ｓ３０６）。

未選択のレコードが存在する場合（Ｓ３０６；肯定）、判定部１５は、Ｓ３０２に戻り、そのレコードを選択し、Ｓ３０３〜Ｓ３０５の処理を実行する。判定部１５は、メイン処理において未選択のレコードが存在しなくなるまで、Ｓ３０２〜Ｓ３０６の処理を繰り返して実行する。一方、未選択のレコードが存在しない場合（Ｓ３０６；否定）、判定部１５は、前述処理で得られたレコード総数値と一致総数値を基に一致度を算出する。判定部１５は、例えば、図９（ｂ）で示される判定対象者と比較対象者の組み合わせ毎の各カウンタ値（一致総数値）を図９（ａ）で示される判定対象者と比較対象者の組み合わせ毎の各カウンタ値（レコード総数値）で除算して、レコード総数値に対する一致総数値の割合（パーセンテージ）を求め、それを一致度とすればよい。判定部１５は、その一致度に関連する判定対象者および比較対象者を基に、判定結果ＤＢのレコードおよびフィールドを特定し、算出した一致度を登録する（Ｓ３０７）。

図１０は、判定結果ＤＢの一例を示す。図１０に示すように、判定結果ＤＢは、各作業者対応のレコードを含む。また、各レコードは、各作業者対応のフィールドを有する。図１０の例においては、レコードを判定対象者対応とし、フィールドを比較対象者対応として示している。

例えば、図１０において、先頭レコードは、作業者Ａ、ＢおよびＣの作成した訓練データに含まれるそれぞれの付与対象文書を対象にして、作業者Ａが作成した訓練データを基に生成した分類器を用いてラベルの自動付与を行ったラベル付与結果と、各作業者Ａ、ＢおよびＣがそれぞれ付与したラベル付与結果との一致度を示す。この例では、作業者Ａの作成した訓練データに含まれる付与対象文書については、この分類器によるラベルの自動付与結果と作業者Ａによるラベルの付与結果の一致度が１００％であることを示す。また、作業者Ｂの作成した訓練データに含まれる付与対象文書については、この分類器によるラベルの自動付与結果と作業者Ｂによるラベルの付与結果の一致度が８５％であることを示す。また、作業者Ｃの作成した訓練データに含まれる付与対象文書については、この分類器によるラベルの自動付与結果と作業者Ｃによるラベルの付与結果の一致度が５０％であることを示す。

これらの処理を行った後、判定部１５は、図５に示すフローチャートの処理を終了する。以上により、一致度の判定処理が行われ、その判定結果を示す判定結果ＤＢが構築される。

次に、判定部１５は、確認対象者および模範作業者を抽出する（図３のＳ１０３）。以下に、確認対象者および模範作業者の抽出方法について説明する。

図１１は、模範作業者および確認対象者の抽出処理の一例を示すフローチャートである。

判定部１５は、図１０に示す判定結果ＤＢを参照し、判定対象者を選択する（Ｓ４０１）。例えば、判定部１５は、判定結果ＤＢのレコード順に従って、本処理において未だ選択されていない判定対象者を選択すればよい。

続いて、判定部１５は、Ｓ４０１の処理によって選択された判定対象者に対応する一致度のデータを判定結果ＤＢから取得する（Ｓ４０２）。例えば、判定部１５は、判定結果ＤＢから、選択された判定対象者に対する全比較対象者の一致度のデータを抽出する。

続いて、判定部１５は、抽出した一致度のデータをもとに、選択された判定対象者が確認対象者か否かを判定する（Ｓ４０３）。例えば、判定部１５は、Ｓ４０２によって抽出された全ての一致度データ数（比較対象者数）と、抽出された全ての一致度データの中の一致度の基準値以下の一致度データ数とをそれぞれ計数する。そして、判定部１５は、抽出された全ての一致度データ数に対する、一致度の基準値以下の一致度データ数の割合を算出する。判定部１５は、算出された割合が所定閾値を超えるか否かを判定し、所定閾値を超える場合は、選択された判定対象者を確認対象者と判定する。この一致度の基準値および所定閾値は、期待するラベル付与の確度に応じて適宜の値が予め設定されればよい。ここで、所定閾値は、基準値以下割合の判別に用いられる閾値である。

選択された判定対象者が確認対象者であると判定された場合（Ｓ４０３；肯定）、判定部１５は、その選択された判定対象者を確認対象者として確認対象者ＤＢに登録する（Ｓ４０４）。確認対象者ＤＢの詳細は後述される。

一方、選択された判定対象者が確認対象者であると判定されなかった場合（Ｓ４０３；否定）、判定部１５は、判定対象者が模範作業者ＤＢに登録されている作業者よりも高い作業技能を有するか否かを判定する（Ｓ４０５）。模範作業者ＤＢには、模範作業者である作業者と、その作業者のスコアが登録されている。模範作業者ＤＢの詳細は後述される。

判定部１５は、例えば、模範作業者の判定のために判定結果ＤＢの一致度のデータを用いる。判定部１５は、Ｓ４０２によって抽出された一致度の全データの数値を合算し、その合算値を選択された判定対象者のスコアとする。判定部１５は、選択された判定対象者のスコアと模範作業者ＤＢに登録されている模範作業者のスコアを比較する。選択された判定対象者のスコアが模範作業者のスコアよりも大きい場合、判定部１５は、選択された判定対象者が模範作業者ＤＢに登録されている作業者よりも高い作業技能を有すると判定する。

選択された判定対象者が模範作業者ＤＢに登録されている作業者よりも高い作業技能を有すると判定された場合（Ｓ４０５；肯定）、判定部１５は、模範作業者ＤＢを更新する（Ｓ４０６）。判定部１５は、現在の選択された判定対象者を示す識別情報とそのスコアとを用いて、模範作業者ＤＢの作業者情報とスコア情報を更新する。

一方、選択された判定対象者が模範作業者ＤＢに登録されている作業者よりも高い作業技能を有すると判定されなかった場合（Ｓ４０５；否定）、もしくは、Ｓ４０４にて選択された判定対象者を確認対象者ＤＢに登録した場合、判定部１５は、判定結果ＤＢの中で判定対象者として未選択の作業者が存在するか否かを判定する（Ｓ４０７）。

判定結果ＤＢの中で未選択の判定対象者が存在する場合（Ｓ４０７；肯定）、判定部１５は、Ｓ４０１に戻り、その判定対象者を選択し、Ｓ４０２〜Ｓ４０６の処理を実行する。判定部１５は、未選択の判定対象者が存在しなくなるまで、Ｓ４０１〜Ｓ４０７の処理を繰り返して実行する。

一方、未選択の判定対象者が存在しない場合（Ｓ４０７；否定）、判定部１５は図１１に示すフローチャートの処理を終了する。これらの処理の結果、確認対象者ＤＢには確認対象者となる作業者が登録され、模範作業者ＤＢには訓練データＤＢに登録されている作業者の中で最も高い作業技能を有すると判定された作業者が模範作業者として登録される。このようにして、確認対象者および模範作業者が抽出される。

図１２は、確認対象者ＤＢの一例を示す。図１２に示すように、確認対象者ＤＢは、確認対象者、一致度、判定結果の各フィールドを有する。確認対象者が複数人となる場合には、各確認対象者に対応するレコードが確認対象者ＤＢに登録される。

確認対象者ＤＢにおけるフィールド「確認対象者」は、図１１のＳ４０３によって確認対象者と判定され図１１のＳ４０４によって確認対象者ＤＢに登録された判定対象者である作業者の識別情報を示す。

フィールド「一致度」は、模範作業者と判定された作業者に対して配布し訓練データを取得した付与対象文書を対象に、模範作業者によるラベル付与結果と確認対象者と判定された判定作業者である作業者によるラベル付与結果との一致度を示す。

フィールド「判定結果」は、フィールド「一致度」の値が所定閾値以上であるか否かを示す。例えば、フィールド「一致度」の値が所定閾値以上であれば値「１」が登録される。また、例えば、フィールド「一致度」の値が所定閾値に達しない場合は値「０」が登録される。この値は、対応レコードのフィールド「確認対象者」に登録されている作業者が確認対象者と最終認定されるか否かも示す。例えば、値が「０」の場合は、対応レコードのフィールド「確認対象者」に登録されている作業者は確認対象者と最終認定される。

なお、フィールド「一致度」および「判定結果」は、後述する図１４の処理において利用される。これらフィールドについては、その処理説明において詳述される。

例えば、図１０に示す判定結果ＤＢの例では、前述のように、判定作業者として作業者Ａ、ＢおよびＣの一致度に関するレコードが登録されている。一致度の基準値を５０％とし、この図１０に示す判定結果ＤＢを例にすると、作業者Ａについては３個のデータ（１００％、８５％、５０％）のうち１個のデータが一致度の基準値以下であり、作業者Ｂについては３個のデータ（８５％、１００％、３０％）のうち１個のデータが一致度の基準値以下であり、作業者Ｃについては３個のデータ（１０％、１０％、９０％）のうち２個のデータが一致度の基準値以下である。

例えば、図１１のＳ４０３における判定の基準値以下割合の所定閾値を５０％とすると、作業者Ａについては３３％（全３個のうち１個のデータ）、作業者Ｂについては３３％（全３個のうち１個のデータ）、作業者Ｃについては６７％（全３個のうち２個のデータ）となり、図１１のＳ４０３の処理によって作業者Ｃが確認対象者と判定され、確認対象者ＤＢに登録される。

なお、図１０に示す判定結果ＤＢのなかのデータのうち比較対象者が判定対象者と同一の作業者の場合のデータを除外して確認対象者の判定を行ってもよい。また、図５のＳ２０３の比較対象者の選択処理の際に、判定対象者と同一の作業者を比較対象者として選択しないようにしてもよい。いずれの場合も、同様のデータが確認対象者の判定に使われることになり、図１０に示す判定結果ＤＢを例にすると、次のデータが確認対象者の判定処理に使われることになる。

作業者Ａについては２個のデータ（８５％（作業者Ｂ対応)、５０％（作業者Ｃ対応)）が使われる。一致度の基準値を前述と同様に５０％とすると、この場合、２個のデータのうち１個のデータが一致度の基準値以下である。また、作業者Ｂについては２個のデータ（８５％（作業者Ａ対応）、３０％（作業者Ｃ対応)）が使われる。この場合、２個のデータのうち１個のデータが一致度の基準値以下である。また、作業者Ｃについては２個のデータ（１０％（作業者Ａ対応)、１０％（作業者Ｂ対応)）が使われる。この場合、２個のデータのうち２個のデータが一致度の基準値以下である。

例えば、図１１のＳ４０３における判定の基準値以下割合の所定閾値を前述と同様に５０％とすると、作業者Ａについては５０％（全２個のうち１個のデータ）、作業者Ｂについては５０％（全２個のうち１個のデータ）、作業者Ｃについては１００％（全２個のうち２個のデータ）となり、図１１のＳ４０３の処理によって、基準値以下割合の所定閾値である５０％を超える作業者Ｃが確認対象者と判定され、確認対象者ＤＢに登録される。

図１３は、模範作業者ＤＢの一例を示す。図１３に示すように、模範作業者ＤＢは、模範作業者、スコアの各フィールドを有する。

模範作業者ＤＢにおけるフィールド「模範作業者」は、図１１のＳ４０５の処理によって、図１０に示す判定結果ＤＢに登録されている作業者（判定作業者）の中で最も高い作業技能を持っていると判定される作業者の識別情報を示す。

フィールド「スコア」は、図１１のＳ４０５の処理によって計算された、フィールド「模範作業者」に登録された作業者のスコアを示す。

例えば、図１０に示す判定結果ＤＢおよび図１２に示す確認対象者ＤＢを例にすると、判定結果ＤＢに判定作業者として登録されている作業者Ａ、ＢおよびＣのうち、作業者Ｃは図１１のＳ４０３の処理によって確認対象者と判定され、模範作業者候補から除外される。残った作業者ＡおよびＢについて、図１１のＳ４０５の処理では作業者Ａのスコアは２３５（１００＋８５＋５０）と計算され、作業者Ｂのスコアは２１５（８５＋１００＋３０）と計算される。これによって、図１１のＳ４０６の処理によって、作業者ＡとＢのうちスコアが大きい作業者Ａの識別情報とスコアが模範作業者ＤＢに登録される。

図３の処理の説明に戻る。判定部１５は、図３のＳ１０３の処理において確認対象者が抽出されたか否かを判定する（図３のＳ１０４）。判定部１５は、例えば、確認対象者ＤＢを検索し、確認対象者ＤＢに確認対象者となる作業者の情報が登録されているか否かを判定する。確認対象者ＤＢに作業者の情報が登録されている場合（Ｓ１０４；肯定）、判定部１５は、その作業者の作業技能が所定水準に達しているか否かを判定する（Ｓ１０５）。

前述の通り、確認対象者は、その作業技能が所定水準に達していない疑いがある作業者である。作業者の作業技能が所定の水準に達していないのか、それとも担当した付与対象文書側の難易度が高く、その作業者が一時的に適切なラベル付与を行えなかったのかを判断するために、別の付与対象文書を用いてその作業者の作業技能レベルを判定する。ここで、Ｓ１０３の処理において作業技能が最も優れていると判定された模範作業者は、付与対象文書に対し適切なラベルを付与している可能性が高いと考えられるので、Ｓ１０１で模範作業者から受信した訓練データ中の付与対象文書をここでの確認対象者の作業技能判定に用いる。以下に、確認対象者の作業技能が所定の水準に達しているか否かを判定する方法について説明する。

図１４は、確認対象者の技能判定処理の一例を示すフローチャートである。

まず、判定部１５は、模範作業者の作成した訓練データ中の付与対象文書を確認対象者に送信する（Ｓ５０１）。例えば、訓練データ作成支援装置１０の判定部１５は、模範作業者ＤＢにアクセスし模範作業者を特定する。そして、判定部１５は、訓練データＤＢに登録されたレコードの中からその模範作業者が作成した訓練データの付与対象文書を特定する。その後、判定部１５は、特定した付与対象文書を確認対象者（端末装置３０）宛に、送信部１７を利用して送信する。なお、この付与対象文書と共にラベルの候補も確認対象者に送信される。ラベルの候補は、確認対象者全員に同じものが配布され、確認対象者が以前作成した訓練データ（図３のＳ１０１の処理で受信される訓練データ）とも同一のラベル候補である。

判定部１５は、このように確認対象者に付与対象文書を送付することに伴い、模範作業者、送付した付与対象文書、確認対象者の各情報を確認対象者判定用ＤＢに登録する。また、判定部１５は、模範作業者に対して作業対象として配布した付与対象文書を特定した際に、その付与対象文書に対して模範作業者が付与したラベル付与結果を訓練データＤＢから取得し、確認対象者判定用ＤＢに登録する。

確認対象者は、上述のように配布された付与対象文書とラベルの候補を受け取り、受け取った各付与対象文書にラベルを付与し訓練データを作成する。そして、確認対象者は、作成した訓練データを端末装置３０から訓練データ作成支援装置１０宛に送信する。

訓練データ作成支援装置１０の受信部１３は、端末装置３０から送信された確認対象者の作成した訓練データを受信する（Ｓ５０２）。受信部１３は、受信した訓練データを第２記憶部１２の確認対象者判定用ＤＢに格納する。受信部１３は、確認対象者判定用ＤＢへ訓練データを格納する際に、訓練データの文書ＩＤ、確認対象者の情報を基に、確認対象者判定用ＤＢを検索して対応レコードを特定し、そのレコードに訓練データ内のラベル付与結果を登録する。なお、本訓練データは、確認対象者判定用のものであり、訓練データＤＢには追加しない。

続いて、判定部１５は、受信部１３による訓練データの受信と確認対象者判定用ＤＢへの訓練データの登録が完了した後、確認対象者判定用ＤＢ内の各レコードにおける確認対象者によるラベル付与結果と模範作業者によるラベル付与結果の一致判定を行う（Ｓ５０３）。以下に、確認対象者判定用ＤＢとラベル付与結果の一致判定処理について説明する。

図１５は確認対象者判定用ＤＢの一例を示す。図１５に示すように、確認対象者判定用ＤＢは、判定結果、模範作業者、模範作業者によるラベル付与結果、確認対象者、確認対象者によるラベル付与結果、文書ＩＤ、付与対象文書の各フィールドを有する。

確認対象者判定用ＤＢにおけるフィールド「判定結果」は、フィールド「模範作業者によるラベル付与結果」とフィールド「確認対象者によるラベル付与結果」の比較結果を示す。例えば、フィールド「判定結果」の値が「１」の場合、フィールド「模範作業者によるラベル付与結果」とフィールド「確認対象者によるラベル付与結果」の内容が一致することを示す。また、例えば、その値が「０」の場合、フィールド「模範作業者によるラベル付与結果」とフィールド「確認対象者によるラベル付与結果」の内容が不一致であることを示す。

フィールド「模範作業者」は、図３のＳ１０３の処理において決定された模範作業者である作業者の識別情報を示す。従って、この模範作業者は、図１３の模範作業者ＤＢに登録されている作業者でもある。

フィールド「模範作業者によるラベル付与結果」は、後述するフィールド「文書ＩＤ」で示される付与対象文書を対象にした模範作業者によるラベル付与結果を示す。

フィールド「確認対象者」は、図３のＳ１０３の処理において確認対象者ＤＢに登録された作業者の識別情報を示す。

フィールド「確認対象者によるラベル付与結果」は、図１４のＳ５０１の処理において後述するフィールド「文書ＩＤ」で示される付与対象文書を確認対象者に送信し、図１４のＳ５０２の処理によって受信された、確認対象者によって付与対象文書に対して付与されたラベルを示す。

フィールド「文書ＩＤ」は、図１４のＳ５０１の処理において作業対象として確認対象者に送信したラベル付与対象文書の識別情報を示し、図１４のＳ５０２の処理によって確認対象者から受信した、確認対象者によってラベル付与された対象文書を示す。

フィールド「付与対象文書」は、フィールド「文書ＩＤ」の識別情報に対応する文書であり、確認対象者に作業対象として配布したラベル付与対象文書の内容を示す。

この確認対象者判定用ＤＢにおいて、フィールド「模範作業者によるラベル付与結果」、「文書ＩＤ」および「付与対象文書」には、図４に示す訓練データＤＢにおいて、フィールド「作業者」の情報が模範作業者の識別情報であるレコードの、フィールド「ラベル」、「文書ＩＤ」および「付与対象文書」に登録されている内容が登録（転記）される。

図１６は、ラベル付与結果の一致判定処理の一例を示すフローチャートである。

判定部１５は、確認対象者判定用ＤＢ内のレコードを選択する（Ｓ６０１）。例えば、判定部１５は、確認対象者判定用ＤＢのレコード順に従って、未だ選択されていないレコードを選択すればよい。

続いて、判定部１５は、選択したレコードについて、フィールド「確認対象者によるラベル付与結果」とフィールド「模範作業者によるラベル付与結果」にそれぞれ登録されている内容を基に、確認対象者によるラベル付与結果と模範作業者によるラベル付与結果が一致するか否かを判定する（Ｓ６０２）。確認対象者によるラベル付与結果と模範作業者によるラベル付与結果が一致する場合（Ｓ６０２；肯定）、判定部１５は判定結果として選択レコードのフィールド「判定結果」に値「１」を格納する（Ｓ６０３）。一方、確認対象者によるラベル付与結果と模範作業者によるラベル付与結果が一致しない場合（Ｓ６０２；否定）、判定部１５は判定結果として選択レコードのフィールド「判定結果」に値「０」を格納する（Ｓ６０４）。

判定部１５は、前述のようにして確認対象者と模範作業者によるラベル付与結果の一致判定を行い、判定結果を確認対象者判定用ＤＢに格納した後、確認対象者判定用ＤＢの中で未だ選択されていないレコードが存在するか否かを判定する（Ｓ６０５）。

未選択のレコードが存在する場合（Ｓ６０５；肯定）、判定部１５は、Ｓ６０１に戻り、そのレコードを選択し、Ｓ６０２〜Ｓ６０４の処理を実行する。判定部１５は、未選択のレコードが存在しなくなるまで、Ｓ６０１〜Ｓ６０５の処理を繰り返して実行する。一方、未選択のレコードが存在しない場合（Ｓ６０５；否定）、判定部１５は、図１６に示すフローチャートの処理を終了する。

次に、判定部１５は、確認対象者ＤＢの中から、ある確認対象者を選択する（図１４のＳ５０４）。以降、このように確認対象者ＤＢの中から選択される確認対象者を、確認判定対象者と呼称する。例えば、判定部１５は、確認対象者ＤＢのレコード順に従って、未選択の確認対象者を確認判定対象者として選択すればよい。

そして、判定部１５は、確認判定対象者によるラベル付与結果と模範作業者によるラベル付与結果との一致度を算出する（Ｓ５０５）。以下に、ラベル付与結果の一致度判定処理について説明する。

図１７は、ラベル付与結果の一致度判定処理の一例を示すフローチャートである。

判定部１５は、確認対象者判定用ＤＢ内のレコードを選択する（Ｓ７０１）。例えば、判定部１５は、確認対象者判定用ＤＢのレコード順に従って、未だ選択されていないレコードを選択すればよい。なお、後述するレコード総数値および一致総数値はここで値「０」に初期化されればよい。

続いて、判定部１５は、選択したレコードに登録されている訓練データを作成した確認対象者が確認判定対象者か否かを判定する（Ｓ７０２）。確認対象者が確認判定対象者である場合（Ｓ７０２；肯定）、判定部１５は、レコード総数値をインクリメントする（Ｓ７０３）。つまり、現在のレコード総数値に１が加算された値が新たなレコード総数値となる。

続いて、判定部１５は、選択したレコードにおけるフィールド「判定結果」の値が「１」であるか否か判定する（Ｓ７０４）。フィールド「判定結果」の値が「１」の場合（Ｓ７０４；肯定）、判定部１５は、一致総数値をインクリメントする（Ｓ７０５）。

判定部１５は、前述の処理の後、または、確認対象者が確認判定対象者ではないと判定された場合（Ｓ７０２；否定）、または、フィールド「判定結果」の値が「１」ではない場合（Ｓ７０４；否定）、確認対象者判定用ＤＢの中で未選択のレコードが存在するか否かを判定する（Ｓ７０６）。

未選択のレコードが存在する場合（Ｓ７０６；肯定）、判定部１５は、Ｓ７０１に戻り、そのレコードを選択し、Ｓ７０２〜Ｓ７０５の処理を実行する。判定部１５は、未選択のレコードが存在しなくなるまで、Ｓ７０１〜Ｓ７０６の処理を繰り返して実行する。一方、未選択のレコードが存在しない場合（Ｓ７０６；否定）、判定部１５は、レコード総数値と一致総数値を基に一致度を算出する。判定部１５は、例えば、一致総数値をレコード総数値で除算して、レコード総数値に対する一致総数値の割合（パーセンテージ）を求め、それを一致度とすればよい。判定部１５は、算出した一致度を図１２の確認対象者ＤＢにおける確認判定対象者とされた確認対象者に対応するレコードのフィールド「一致度」に登録する（Ｓ７０７）。判定部１５は、確認対象者ＤＢにおけるフィールド「確認対象者」の内容が現在の確認判定対象者である作業者の識別情報と一致するレコードを求め、そのレコードのフィールド「一致度」に算出した一致度を登録する。

以上のようにして判定対象者によるラベル付与結果と模範作業者によるラベル付与結果の一致度が求められ、判定部１５は、その一致度が一致度の基準値を超えるか否かを判定する（図１４のＳ５０６）。一致度の基準値は、期待する作業技能水準に応じて適宜の値が設定されればよい。

一致度が一致度の基準値を超えると判定された場合（Ｓ５０６；肯定）、判定部１５は、確認対象者ＤＢにおける確認判定対象者とされた確認対象者に対応するレコードのフィールド「判定結果」に値「１」を格納する（Ｓ５０７）。一方、一致度が一致度の基準値以下の場合（Ｓ５０６；否定）、判定部１５は、確認対象者ＤＢにおける確認判定対象者とされた確認対象者に対応するレコードのフィールド「判定結果」に値「０」を格納する（Ｓ５０８）。このように確認対象者ＤＢにおいて、フィールド「判定結果」に値「１」が格納された確認対象者は、その作業技能が所定の水準を満たしていると判定されたことを示し、フィールド「判定結果」に「０」が格納された確認対象者は、その作業技能が所定の水準を満たしていないと判定されたことを示す。

判定部１５は、前述のようにして判定対象者として選択された各確認対象者の作業技能の判定を行い、判定結果を確認対象者ＤＢに格納した後、確認対象者ＤＢの中で確認判定対象者として未選択の確認対象者（レコード）が存在するか否かを判定する（Ｓ５０９）。

未選択の確認作業者が存在する場合（Ｓ５０９；肯定）、判定部１５は、Ｓ５０４に戻り、その確認作業者を確認判定対象者として選択し、Ｓ５０５〜Ｓ５０８の処理を実行する。判定部１５は、未選択の確認作業者が存在しなくなるまで、Ｓ５０４〜Ｓ５０９の処理を繰り返して実行する。一方、判定部１５は、未選択の確認対象者が存在しない場合（Ｓ５０９；否定）、判定部１５は、確認対象者の作業技能判定処理が完了したものと判定し、図３のＳ１０６の処理に移行する。判定部１５は、図３のＳ１０５による処理に基づき判定結果を出力する（Ｓ１０６）。また、確認対象者ＤＢに作業者の情報が登録されていない場合も（Ｓ１０４；否定）、判定部１５は、その結果をＳ１０６の処理において出力する。

例えば、判定部１５は、判定結果として、確認対象者ＤＢにおいてフィールド「判定結果」の値が「０」である作業者のリストを出力すればよい。このようにして出力されたリストは、作業技能が所定水準に達していないと判定される作業者を示す。また、判定部１５は、判定結果として、確認対象者ＤＢの内容そのものを出力してもよい。訓練データ作成支援装置１０のユーザは、この出力された確認対象者ＤＢの内容を基に、フィールド「判定結果」の値が「０」の作業者を作業技能が所定水準に達していない作業者として判断できる。さらに、判定部１５は、判定結果として、作業者のリストとあわせて、該当する作業者が作成した訓練データの内容を出力してもよい。訓練データＤＢから、フィールド「作業者」の内容が該当する作業者の識別情報であるレコードを出力すればよい。訓練データ作成支援装置１０のユーザは、出力された訓練データの内容を基に、実際に該当作業者がどのような付与対象文書にどのようなラベルを付与したのかを確認することができ、作業技能が所定水準に達していない作業者かどうかを判断できる。

本実施形態の処理によれば、訓練データを作成した作業技能が不明の各作業者の中から、その訓練データおよびその訓練データの作成のために配布済みの付与対象文書を使って、作業技能が所定水準に達していないと判定される作業者を特定することができる。そのようにして特定された作業者を除外することで、作業技能が高い作業者が特定され、そのような作業技能の高い作業者だけに訓練データの作成（付与対象文書へのラベル付与）を依頼することができる。そのようにして依頼した作業者からは品質の高い訓練データを入手でき、そのような訓練データを用いれば、文書分類を行うにあたって、分類精度の高い分類器（分類規則）を生成できる。

また、判定部１５は、判定結果として、作業者のリストを出力するのではなく、訓練データＤＢの中から、作業技能が所定水準に達していない作業者によって作成された訓練データを削除し（フィールド「作業者」の内容がそのような作業者の識別情報であるレコードを削除し）、削除後の訓練データＤＢを出力するようにしてもよい。そのように出力された訓練データＤＢを用いることで、品質の高い訓練データから分類精度の高い分類器（分類規則）を生成できる。

なお、判定部１５は、訓練データを削除するのではなく、作業技能が所定水準に達していないと判定される作業者によって作成された訓練データを使用不可とした訓練データＤＢを出力してもよい。例えば、訓練データＤＢに各訓練データの使用を制御可能とするフィールドを設け、そのフィールドの内容に基づいて使用する訓練データが決定され、決定された訓練データを基に分類器（分類規則）が生成されるようにしてもよい。このような形態でも、前述と同様に分類精度の高い分類器（分類規則）を生成できる。

以上のような本実施形態の処理によって特定された作業技能が所定水準に達していない作業者に、その作業者の作業技能を向上させるための教育を実施してもよい。それによって分類精度の高い分類器（分類規則）を生成のための作業者人数を確保できるようになる。

また、本実施形態においては、付与対象文書にラベル付与の作業を実施させる作業者の中から、その作業技能が所定水準に達していない作業者を特定するにあたり、技能判定用の文書を別途用意し各作業者が本来の訓練データ作成作業とは別に技能判定用の文書にラベル付与作業を行うことなく、その特定が可能となる。そのため、技能判定用の文書を準備する工数、および各作業者が技能判定用の文書にラベル付与作業を行う工数が発生することのない簡易な方法で、作業者の作業技能を判定することができる。

以上、本実施形態を示したがその変形例を以下に説明する。この変形例は、図３のＳ１０３の処理、つまり、図１１の処理である確認対象者と模範作業者の抽出処理に関し、そのなかの確認対象者の抽出処理に関する。

図１１の処理において、判定部１５は、Ｓ４０２およびＳ４０３の処理により、判定結果ＤＢの判定対象者対応のレコードにおける、全比較対象者のデータ数（比較対象者数）に対する、一致度の基準値以下のデータ数の割合を算出し、その割合と基準値以下割合の所定閾値とを比較して確認対象者を判定した。このとき、その割合が所定閾値を超える場合に、判定対象者は確認対象者と判定される。つまり、本実施形態の処理では、ある作業者の作業技能を判定する方法として、その作業者により作成された訓練データを基にして生成した分類器が他の作業により作成された訓練データを正しく分類できるか判定しているものである。

この処理に関し、変形例においては、ある作業者の作業技能を判定する方法として、その作業者により作成された訓練データの付与対象文書を対象とし、各作業者により作成された訓練データを基に生成された分類器が正しく分類できるかを判定してもよい。例えば、図１１のＳ４０２の処理における、判定対象者に対応する一致度のデータを取得する際に、判定部１５は、図１０に示す判定結果ＤＢから各レコードにおける判定対象者である作業者対応のフィールドのデータを抽出すればよい。

図１０に示す判定結果ＤＢの例では、前述のように、判定作業者として作業者Ａ、ＢおよびＣの一致度が登録されている。この図１０に示す判定結果ＤＢでは、作業者Ａにより作成された訓練データの付与対象文書を対象に、各作業者Ａ、ＢおよびＣにより作成された訓練データを基に生成された各分類器を用いたときの一致度のデータは、１００％（作業者Ａ対応）、８５％（作業者Ｂ対応）、１０％（作業者Ｃ対応）の３つである。また、作業者Ｂにより作成された訓練データの付与対象文書を対象に、各作業者Ａ、ＢおよびＣにより作成された訓練データを基に生成された各分類器を用いたときの一致度のデータは、８５％（作業者Ａ対応）、１００％（作業者Ｂ対応）、１０％（作業者Ｃ対応）の３つである。また、作業者Ｃにより作成された訓練データの付与対象文書を対象に、各作業者Ａ、ＢおよびＣにより作成された訓練データを基に生成された各分類器を用いたときの一致度のデータは、５０％（作業者Ａ対応）、３０％（作業者Ｂ対応）、９０％（作業者Ｃ対応）の３つである。

前述の実施形態でのＳ４０３の判定処理における一致度の基準値を５０％とし、基準値以下割合の所定閾値を５０％とすると、基準値以下割合は、作業者Ａについては３３％（全３個のうち１個が一致度の基準値以下）、作業者Ｂについては３３％（全３個のうち１個が一致度の基準値以下）、作業者Ｃについては６７％（全３個のうち２個が一致度の基準値以下）の各割合となる。この結果、作業者Ｃに関する割合が基準値以下割合の所定閾値を超えるため、この変形例における確認対象者の抽出処理においては、判定部１５は、作業者Ｃを確認対象者と判定し、確認対象者ＤＢに作業者Ｃを示す識別情報を登録する。

なお、この変形例における模範作業者を抽出するための作業者のスコア（図１１のＳ４０５の処理）も、この変形例における判定対象者に対応する一致度のデータの取得方法と同様にして、次のように計算すればよい。そして、スコアが最も高い作業者を模範作業者とすればよい。

上述のように作業者Ｃは確認対象者と判定されるため、作業者Ａと作業者Ｂのスコアを計算すればよい。図１０に示す判定結果ＤＢでは、作業者Ａについてスコアは１９５（１００＋８５＋１０）と計算され、作業者Ｂについてスコアは１９５（８５＋１００＋１０）と計算される。このように、スコアが同じ場合は、例えば、同じスコアとなる作業者のうち、先にスコア計算がされた作業者、もしくは最後にスコア計算がされた作業者を模範作業者とすればよい。

また、他の変形例として、前述の実施形態と前述の変形例を統合して、ある作業者の作業技能を判定するようにしてもよい。例えば、判定部１５が、判定結果ＤＢに登録されている、判定対象者として選択された作業者に関するすべての一致度のデータを用い、確認対象者か否かを判定してもよい。つまり、ある作業者対応のレコードの各フィールドのデータおよび各レコードにおけるある作業者対応のフィールドのデータをその判定に用いてもよい。

図１０に示す判定結果ＤＢの例では、前述のように、判定作業者として作業者Ａ、ＢおよびＣの一致度が登録されている。この図１０に示す判定結果ＤＢでは、作業者Ａに関連する一致度のデータは、１００％、８５％、５０％、８５％、１０％の５つが存在する。また、作業者Ｂに関連する一致度のデータは、８５％、１００％、３０％、８５％、１０％の５つが判定結果ＤＢに存在する。また、作業者Ｃに関連する一致度のデータは、１０％、１０％、９０％、５０％、３０％の５つが判定結果ＤＢに存在する。

前述の実施形態での判定における一致度の基準値を５０％とし、基準値以下割合の所定閾値を５０％とすると、基準値以下割合は、作業者Ａについては４０％（全５個のうち２個が一致度の基準値以下）、作業者Ｂについては４０％（全５個のうち２個が一致度の基準値以下）、作業者Ｃについては６０％（全５個のうち３個が一致度の基準値以下）の各割合となる。この結果、作業者Ｃに関する割合が所定閾値を超えるため、この変形例における確認対象者の抽出処理においては、判定部１５は、作業者Ｃを確認対象者と判定し、確認対象者ＤＢに作業者Ｃを示す識別情報を登録する。

この変形例においても、模範作業者を抽出するための作業者のスコア（図１１のＳ４０５の処理）を、この変形例における判定対象者に対応する一致度のデータの取得方法と同様にして、次のように計算すればよい。そして、スコアが最も高い作業者を模範作業者とすればよい。

上述のように作業者Ｃは確認対象者と判定されるため、作業者Ａと作業者Ｂのスコアを計算すればよい。図１０に示す判定結果ＤＢでは、作業者Ａについてスコアは３３０（１００＋８５＋５０＋８５＋１０）と計算され、作業者Ｂについてスコアは３１０（８５＋１００＋３０＋８５＋１０）と計算される。従って、この変形例においては、スコアが高い作業者Ａが模範作業者と判定される。

次に、他の実施形態を説明する。

図３のＳ１０５での確認対象者の作業技能を判定する処理において、確認対象者ＤＢに登録されている作業者の作業技能が所定の水準に達していると判定された場合、図３のＳ１０１で受信されたその作業者により作成された訓練データの付与対象文書のなかに、ラベルの付与が難しい文書が含まれていた可能性がある。そこで、本実施形態では、模範作業者に対してそのような付与対象文書へのラベル付与作業を指示する構成を設けている。

図１８は、他の実施形態における訓練データ作成支援システムの一例を示す。図１８に示すように、訓練データ作成支援システムは、訓練データ作成支援装置１００と複数の端末装置３０とを有する。訓練データ作成支援装置１００と複数の端末装置３０とは、ネットワーク５０を介して相互に通信可能に接続される。

訓練データ作成支援装置１００は、訓練データの作成を支援する装置である。また、端末装置３０は、訓練データを作成する各作業者が利用する端末装置である。端末装置３０は、図１と同様である。

訓練データ作成支援装置１００は、第１記憶部１１、第２記憶部１２、受信部１３、分類器生成部１４、分類処理部１６、送信部１７、出力部１８、判定部１９および付与指示部２０を備える。訓練データ作成支援装置１００において図１に示すデータ作成支援装置１０と同様の構成については同一の符号を付し、その機能や処理の各説明を割愛する。また、判定部１９は、後述する処理について判定部１５と異なり、その他については判定部１５と同様の処理を行う。判定部１９における判定部１５と同様の処理についてはその説明を割愛する。

また、訓練データ作成支援装置１００は、図２と同様のハードウェア構成であり、訓練データ作成支援装置１０と同様の前述の各部は、前述した訓練データ作成支援装置１０の各部と同様の各ハードウェア要素に対応する。図１８における判定部１９および付与指示部２０に対応するハードウェア要素は、図２のＣＰＵ６１がその一例となる。訓練データ作成支援装置１００を実現するための訓練データ作成支援プログラムは、前述の実施形態と同様にして実行され、訓練データ作成支援装置１００の各機能が実現されるものであればよい。以下に、他の実施形態における、訓練データ作成支援装置１００による訓練データ作成支援方法について説明する。

図１９は、他の実施形態における訓練データ作成支援装置による訓練データ作成支援方法の一例を示すフローチャートである。図１９中、図３と同様の処理については同一の符号を付し、その処理の説明を割愛する。なお、Ｓ１０５の処理の一例である図１４の処理終了後は、Ｓ１０６ではなく図１９のＳ８００の処理に移行する。

判定部１９は、Ｓ１０５の処理の後、模範作業者へのラベル付与を指示する（Ｓ８００）。判定部１９は、付与指示部２０にその指示を行う。

図２０は、模範作業者へのラベル付与指示処理の一例を示すフローチャートである。

付与指示部２０は、作業技能の判定が行われた確認対象者のなかで作業技能が所定水準を満たしている確認対象者が存在するか否かを判定する（Ｓ８０２）。例えば、付与指示部２０は、図１２に示す確認対象者ＤＢにおいてフィールド「判定結果」に値「１」が登録されたレコードが存在するか否かを判定すればよい。

作業技能が所定水準を満たしている確認対象者が存在しない場合（Ｓ８０２；否定）、図３のＳ１０６の処理に移行する。

一方、作業技能が所定水準を満たしている確認対象者が存在する場合（Ｓ８０２；肯定）、付与指示部２０は、その確認対象者である作業者により作成された訓練データの付与対象文書のなかから、模範作業者への送信対象とする付与対象文書を特定する（Ｓ８０４）。

例えば、付与指示部２０は、図７に示す判定作業用ＤＢの中から、フィールド「比較対象者」に確認対象者である作業者の識別情報、フィールド「判定対象者」に模範作業者である作業者の識別情報がそれぞれ登録され、かつフィールド「判定結果」の値が「０」のレコードを特定すればよい。これによって、確認対象者によるラベル付与結果と模範作業者により作成された訓練データを基に生成した分類器によるラベル付与結果が異なるレコードが特定される。付与指示部２０は、その特定されたレコードのフィールド「付与対象文書」に登録されている内容を送信対象の付与対象文書とすればよい。なお、判定作業用ＤＢの中に前述の条件に合致する複数個のレコードが存在する場合、付与指示部２０は、それらレコードのフィールド「付与対象文書」に登録されている内容を送信対象の付与対象文書とすればよい。また、作業技能が所定水準を満たす確認対象者が複数人存在する場合、付与指示部２０は、各確認対象者を対象にして判定作業用ＤＢ内の各レコードを特定すればよい。

そして、付与指示部２０は、特定した付与対象文書を模範作業者に送信してラベル付与を指示する（Ｓ８０６）。例えば、付与指示部２０は、前述のようにして特定されたレコードにおけるフィールド「付与対象文書」に登録されている内容を送信部１７により模範作業者（それに対応する端末装置３０宛）に送信すればよい。なお、付与対象文書を送信する際に文書ＩＤを含めておき、模範作業者により作成される訓練データにその文書ＩＤが含まれるようにすればよい。また、模範作業者への付与対象文書の送信の際には、付与対象候補となるラベル（図３のＳ１０１で受信した訓練データと同一のラベル）も通知される。

その後、受信部１３が、模範作業者によって作成された訓練データを端末装置３０から受信し（Ｓ８０８）、その訓練データを図４に示す訓練データＤＢに格納する（Ｓ８１０）。例えば、受信部１３は、訓練データＤＢの中から、フィールド「文書ＩＤ」に登録されている内容が受信された訓練データに含まれる文書ＩＤと一致するレコードを特定すればよい。そして、受信部１３は、特定したレコードにおけるフィールド「作業者」に模範作業者である作業者の識別情報を、同レコードにおけるフィールド「ラベル」に模範作業者によって付与されたラベル（訓練データに含まれるラベル）をそれぞれ登録すればよい。つまり、これによって訓練データＤＢの該当レコードは、模範作業者に関連する情報によって更新される。なお、訓練データＤＢの該当レコードについて、フィールド「ラベル」に既登録の内容と模範作業者によって付与されたラベルとを比較し、それらが一致する場合、受信部１３は該当レコードを更新しなくてもよい。

以上の他の実施形態によれば、確認対象者によって作成された訓練データが確認対象者よりも作業技能が高いと判定される模範作業者によって作成された訓練データに置き換えられることによって、正しくラベルが付与された訓練データが増加する。その結果、前述の実施形態によって生成される分類器（分類規則）よりもさらに分類精度の高い分類器（分類規則）を生成できる。

なお、前述の他の実施形態では、作業技能が所定の水準に達していると判定された確認対象者によって作成された訓練データの付与対象文書のなかから、ラベルの付与が難しいと判定される文書のみを模範作業者に送信した。このような文書のみを模範作業者に送信するのではなく、そのような確認対象者によって作成された訓練データの付与対象文書すべてを模範作業者に送信するようにしてもよい。このようにすることで、正しくラベルが付与された訓練データがさらに増加し、さらに分類精度の高い分類器（分類規則）を生成できる。

次に、さらに他の実施形態を説明する。

内容の偏った付与対象文書が特定の作業者に作業対象として割り当てられて各作業者に付与対象文書が配布された場合、各作業者から受信した訓練データが正しいラベル付与結果であったとしても、その訓練データから生成された分類器が適切なラベル付与を行えない可能性がある。例えば、訓練データの作成に使用された付与対象文書と、その訓練データを基にして生成された分類器によってラベル付与がされる付与対象文書との内容が著しく相違する場合に、その分類器で使用される分類規則が有効に働かない可能性がある。このような場合、図３のＳ１０２の処理においてラベル付与結果の一致度判定を行っても、各作業者の作業技能を正確かつ公平に判定できなくなる可能性がある。

そこで、他の実施形態においては、ある作業者に特定の内容の付与対象文書が集中しないようにしながら、各作業者へ作業対象として配布する付与対象文書を決定する。

図２１は、他の実施形態における訓練データ作成支援システムの一例を示す。図２１に示すように、訓練データ作成支援システムは、訓練データ作成支援装置２００と複数の端末装置３０とを有する。訓練データ作成支援装置２００と複数の端末装置３０とは、ネットワーク５０を介して相互に通信可能に接続される。

訓練データ作成支援装置２００は、訓練データの作成を支援する装置である。また、端末装置３０は、訓練データを作成する各作業者が利用する端末装置である。端末装置３０は、図１と同様である。

訓練データ作成支援装置２００は、第１記憶部１１、第２記憶部１２、受信部１３、分類器生成部１４、判定部１５、分類処理部１６、送信部１７、出力部１８、クラスタ生成部２１および割当部２２を備える。訓練データ作成支援装置２００において図１に示すデータ作成支援装置１０と同様の構成については同一の符号を付し、その機能や処理の各説明を割愛する。

クラスタ生成部２１は、作業対象となる複数の付与対象文書を対象にしてクラスタ処理を実行する。このクラスタ処理によって、複数の付与対象文書それぞれは、その内容によって複数のカテゴリに分類される。

割当部２２は、クラスタ生成部２１の処理結果に基づいて各作業者に配布する付与対象文書を決定する。

なお、訓練データ作成支援装置２００は、図２と同様のハードウェア構成であり、訓練データ作成支援装置１０と同様の前述の各部は、前述した訓練データ作成支援装置１０の各部と同様の各ハードウェア要素に対応する。図２１におけるクラスタ生成部２１および割当部２２に対応するハードウェア要素は、図２のＣＰＵ６１がその一例となる。訓練データ作成支援装置２００を実現するための訓練データ作成支援プログラムは、前述の実施形態と同様にして実行され、訓練データ作成支援装置２００の各機能が実現されるものであればよい。以下に、他の実施形態における、訓練データ作成支援装置２００による訓練データ作成支援方法について説明する。

図２２は、他の実施形態における訓練データ作成支援装置による訓練データ作成支援方法の一例を示すフローチャートである。図２２中、図３と同様の処理については同一の符号を付し、その処理の説明を割愛する。

送信部１７は、決定された付与対象文書を各作業者に送信する（Ｓ９００）。図２３は、付与対象文書の送信処理の一例を示すフローチャートである。

クラスタ生成部２１は、送信対象の付与対象文書を取得する（Ｓ９０２）。例えば、クラスタ生成部２１は、第２記憶部１２内に予め格納されている付与対象文書を順次取得する。付与対象文書は、例えば前述のように、図４に示す訓練データＤＢの形態で第２記憶部１２内に格納されていてもよい。その場合、訓練データＤＢの各フィールドのうち、フィールド「文書ＩＤ」およびフィールド「付与対象文書」に、各付与対象文書に関する情報が登録されればよい。

続いて、クラスタ生成部２１は、取得した各付与対象文書の内容を基に、内容が類似する付与対象文書をまとめあげた複数のクラスタを生成する（Ｓ９０４）。クラスタの生成においては、ｋ−ｍｅａｎｓなど種々の公知の手法が用いられればよい。また、例えば、付与対象文書が図４に示す訓練データＤＢの形態で第２記憶部１２内に格納されている場合、クラスタを識別するための情報を登録するフィールドを訓練データＤＢに追加してもよい。以下、このフィールドをフィールド「クラスタＩＤ」と呼称する。そして、クラスタ生成部２１は、訓練データＤＢにおける各付与対象文書対応のレコードのフィールド「クラスタＩＤ」に、生成したクラスタ識別情報を登録すればよい。内容が類似する付与対象文書には同じクラスタ識別情報が付与され、内容が相違する付与対象文書には異なるクラスタ識別情報が付与される。このようにすることで、付与対象文書とクラスタの関係情報が作成される。また、訓練データＤＢにフィールドを追加するのではなく、訓練データＤＢとは別に各付与対象文書（各文書ＩＤ）とクラスタの関係を示すテーブルなどの対応情報を作成し、それを利用するようにしてもよい。

割当部２２は、クラスタ生成部２１によって生成されたクラスタを基に、各作業者への割り当て付与対象文書を決定する（Ｓ９０６）。例えば、割当部２２は、前述のようにしてフィールド「クラスタＩＤ」が追加された訓練データＤＢにおいて、フィールド「クラスタＩＤ」に同一のクラスタ識別情報が登録された複数の付与対象文書が複数の作業者に分散して割り当てられるよう、各作業者への割り当て付与対象文書を決定すればよい。例えば、各作業者に、同一クラスタ識別情報が登録された付与対象文書が同じ個数ずつ（均等に）割り当てられるようにすればよい。このようにすることで、同一クラスタ内、つまり内容が類似する付与対象文書が別の作業者に割り当てられ、ある作業者に特定の内容の付与対象文書が集中することが防止される。なお、このようにして各作業者への割り当て付与対象文書を決定した場合、割当部２２は、訓練データＤＢのフィールド「作業者」に作業者を示す識別情報を登録すればよい。これにより、訓練データＤＢのレコード（各付与対象文書）ごとに付与対象文書の作業者が決定される。

割当部２２は、各作業者へ付与対象文書の割り当て決定後、送信部１７に付与対象文書の送信を指示する。

送信部１７は、割当部２２からの指示を受け、各作業者に前述のようにして決定された付与対象文書を送信する（Ｓ９０８）。例えば、送信部１７は、訓練データＤＢの各レコードのフィールド「付与対象文書」に登録されている内容を同じレコードのフィールド「作業者」に登録されている識別情報で示される作業者に送信する。送信部１７による作業者への付与対象文書の送信方法は前述の実施形態と同様であればよい。また、各作業者からの訓練データの受信およびその後の処理は前述の実施形態と同様であればよい。

以上の他の実施形態によれば、ある作業者に特定の内容の付与対象文書が集中しないように各作業者に付与対象文書を均等に割り当てることができるため、訓練データの偏りによる分類器の性能低下を防ぐことができ、作業者の作業技能を適正に判定することができる。なお、本実施形態における訓練データ作成支援装置２００における判定部１５は、図１８の訓練データ作成支援装置１００における判定部１９であってもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は特定の実施例に限定されるものではなく、種々の変形や変更を行ってもよい。

例えば、図４に例示した訓練データＤＢは、作業者、ラベル、文書ＩＤ、および付与対象文書の各フィールドを有するが、これら情報が異なるＤＢが分かれる形態であってもよい。例えば、訓練データＤＢが作業者、ラベルおよび文書ＩＤの各フィールドを有し、他のＤＢが文書ＩＤと付与対象文書の各フィールドを有する構成であってもよい。これらＤＢ間では、フィールド「文書ＩＤ」をキーにしてレコードが関連付けされる。または、訓練データＤＢがシリアル番号、作業者およびラベルの各フィールドを有し、他のＤＢがシリアル番号、文書ＩＤおよび付与対象文書の各フィールドを有する構成であってもよい。この場合には、これらＤＢ間では、フィールド「シリアル番号」をキーにしてレコードが関連付けされる。

また、本発明の実施形態は、ラベル付与対象を文書としたが、それに限られるものではない。例えば、画像や動画、音声データ、ユーザアカウント等、その他のデータをラベル付与対象にしてもよい。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
コンピュータに、
第１データを対象にして第１作業者の作業により作成された第１訓練データと、第２データを対象にして第２作業者の作業により作成された第２訓練データを用いた機械学習により生成された第１規則データに従って前記第１データを対象にして生成された第１処理結果データとに基づき、前記第１作業者または前記第２作業者の作業技能を判定する、
ことを実行させるためのプログラム。
（付記２）
前記コンピュータに、
前記第１訓練データと、前記第１処理結果データと、第３データを対象にして第３作業者の作業により作成された第３訓練データと、前記第３データを対象にして前記第１規則データに従って生成された第２処理結果データとに基づき、前記第２作業者の作業技能を判定する、
ことを実行させるための付記１記載のプログラム。
（付記３）
前記コンピュータに、
前記第１訓練データと、前記第１処理結果データと、第３データを対象にして第３作業者の作業により作成された第３訓練データを用いた機械学習により生成された第２規則データに従って前記第１データを対象にして生成された第２処理結果データとに基づき、前記第１作業者の作業技能を判定する、
ことを実行させるための付記１記載のプログラム。
（付記４）
前記コンピュータに、
前記第２訓練データと、前記第１訓練データを用いた機械学習により生成された第２規則データに従って前記第２データを対象にして生成された第２処理結果データとに基づき、前記第１作業者または前記第２作業者の作業技能を判定する、
ことを実行させるための付記１記載のプログラム。
（付記５）
前記コンピュータに、
前記第１訓練データと前記第１処理結果データとの一致度に基づき、前記第１作業者または前記第２作業者の作業技能を判定する、
ことを実行させるための付記１記載のプログラム。
（付記６）
前記コンピュータに、
前記第１訓練データと前記第１処理結果データとの第１の一致度および前記第３訓練データと前記第２処理結果データとの第２の一致度に基づき、前記第２作業者の作業技能を判定する、
ことを実行させるための付記２記載のプログラム。
（付記７）
前記コンピュータに、
前記第１の一致度および前記第２の一致度と基準値との関係に基づき、前記第２作業者の作業技能を判定する、
ことを実行させるための付記６記載のプログラム。
（付記８）
前記コンピュータに、
前記第１訓練データと前記第１処理結果データとの第１の一致度および前記第１訓練データと前記第２処理結果データとの第２の一致度に基づき、前記第１作業者の作業技能を判定する、
ことを実行させるための付記３記載のプログラム。
（付記９）
前記コンピュータに、
前記第１の一致度および前記第２の一致度と基準値との関係に基づき、前記第１作業者の作業技能を判定する、
ことを実行させるための付記８記載のプログラム。
（付記１０）
前記コンピュータに、
前記第１訓練データと前記第１処理結果データとの第１の一致度および前記第２訓練データと前記第２処理結果データとの第２の一致度に基づき、前記第１作業者または前記第２作業者の作業技能を判定する、
ことを実行させるための付記４記載のプログラム。
（付記１１）
前記コンピュータに、
前記第１の一致度および前記第２の一致度と基準値との関係に基づき、前記第１作業者または前記第２作業者の作業技能を判定する、
ことを実行させるための付記１０記載のプログラム。
（付記１２）
前記コンピュータに、
前記第１作業者の作業技能が前記第２作業者の作業技能より高いと判定される場合は前記第２データを対象にした作業を前記第１作業者に依頼し、一方、前記第２作業者の作業技能が前記第１作業者の作業技能より高いと判定される場合は前記第１データを対象にした作業を前記第２作業者に依頼する、
ことを実行させるための付記１乃至１１のいずれか１つに記載のプログラム。
（付記１３）
前記コンピュータに、
内容の類似性に基づいて複数のデータを対象にしてクラスタ処理を実行し、
異なるクラスタに分類されたデータをそれぞれが含むよう前記複数のデータのなかから前記第１データおよび前記第２データを決定し、
前記決定に基づいて、前記第１データを対象にした作業を前記第１作業者に依頼し、前記第２データを対象にした作業を前記第２作業者に依頼する、
ことを実行させるための付記１乃至１２のいずれか１つに記載のプログラム。
（付記１４）
前記作業は、対象データの内容に応じて前記対象データにラベルを付与することであり、
前記第１訓練データ、前記第２訓練データおよび前記第１処理結果データはラベル付与結果データである、
付記１乃至１３のいずれか１つに記載のプログラム。
（付記１５）
前記第１データと前記第２データは異なるデータである、付記１乃至１４のいずれか１つに記載のプログラム。
（付記１６）
前記第１作業者と前記第２作業者は異なる作業者である、付記１乃至１５のいずれか１つに記載のプログラム。
（付記１７）
前記第１作業者と前記第２作業者は同一の作業者である、付記１乃至１５のいずれか１つに記載のプログラム。
（付記１８）
第１データを対象にして第１作業者の作業により作成された第１訓練データと、第２データを対象にして第２作業者の作業により作成された第２訓練データとを受信する受信部と、
前記第２訓練データを用いた機械学習により規則データを生成する生成部と、
前記第１訓練データと、前記規則データに従って前記第１データを対象にして作成された処理結果データとに基づき、前記第１作業者または前記第２作業者の作業技能を判定する判定部と、
を有することを特徴とするコンピュータ。
（付記１９）
コンピュータで実行される訓練データ作成支援方法において、
第１データを対象にして第１作業者の作業により作成された第１訓練データと、第２データを対象にして第２作業者の作業により作成された第２訓練データを用いた機械学習により生成された第１規則データに従って前記第１データを対象にして生成された第１処理結果データとに基づき、前記第１作業者または前記第２作業者の作業技能を判定する、
ことを特徴とする訓練データ作成支援方法。

１０：訓練データ作成支援装置
１１：第１記憶部
１２：第２記憶部
１３：受信部
１４：分類器生成部
１５：判定部
１６：分類処理部
１７：送信部
１８：出力部
１００：訓練データ作成支援装置
１９：判定部
２０：付与指示部
２００：訓練データ作成支援装置
２１：クラスタ生成部
２２：割当部
３０：端末装置
５０：ネットワーク
６１：ＣＰＵ
６２：ＲＯＭ
６３：ＲＡＭ
６４：ストレージ装置
６５：ネットワークインタフェース
６６：可搬型記憶媒体用ドライブ
６７：バス
６８：可搬型記憶媒体

Claims (9)

1. コンピュータに、
   第１データを対象にして第１作業者の作業により作成された第１訓練データに付与された第１のラベルと、第２データを対象にして第２作業者の作業により作成された第２訓練データを用いた機械学習により生成された第１規則データに従って、前記第１データを対象にして生成された第１処理結果データに付与された第２のラベルとの一致度と、
   第３データを対象にして第３作業者の作業により作成された第３訓練データに付与された第３のラベルと、前記第３データを対象にして前記第１規則データに従って生成された第２処理結果データに付与された第４のラベルとの一致度と
   の偏りに基づき、前記第２作業者の作業技能を判定する、
   ことを実行させるためのプログラムであって、
   前記第１訓練データ、前記第２訓練データ、前記第３訓練データのそれぞれは、機械学習による分類規則データの生成に用いられる複数の訓練データに含まれる、
   プログラム。
2. 前記コンピュータに、
   前記第１のラベルと、前記第２のラベルとの一致度と、
   前記第１のラベルと、前記第３データを対象にして前記第３作業者の作業により作成された前記第３訓練データを用いた機械学習により生成された第２規則データに従って、前記第１データを対象にして生成された前記第２処理結果データに付与された第５のラベルとの一致度と
   の偏りに基づき、前記第１作業者の作業技能を判定する、
   ことを実行させるための請求項１記載のプログラム。
3. 前記コンピュータに、
   前記複数の訓練データから前記第１訓練データ、前記第２訓練データ、および前記第３訓練データの組み合わせを複数抽出し、
   複数の前記抽出した組み合わせを用いて、前記第１作業者または前記第２作業者の作業技能を判定する、
   ことを実行させるための請求項２記載のプログラム。
4. 前記コンピュータに、
   前記第１作業者の作業技能が前記第２作業者の作業技能より高いと判定される場合は前記第２データを対象にした作業を前記第１作業者に依頼し、一方、前記第２作業者の作業技能が前記第１作業者の作業技能より高いと判定される場合は前記第１データを対象にした作業を前記第２作業者に依頼する、
   ことを実行させるための請求項１乃至３のいずれか１項に記載のプログラム。
5. 前記コンピュータに、
   内容の類似性に基づいて、複数のデータを対象にして、前記複数のデータの各々にクラスタを識別する識別情報を付与するクラスタ処理を実行し、
   前記識別情報に基づいて、同一のクラスタに分類されたデータが複数の作業者に分散して割り当てられるよう、前記複数のデータの中から前記第１データおよび前記第２データを決定し、
   前記決定に基づいて、前記第１データを対象にした作業を前記複数の作業者の中の前記第１作業者に依頼し、前記第２データを対象にした作業を前記複数の作業者の中の前記第２作業者に依頼する、
   ことを実行させるための請求項１乃至４のいずれか１項に記載のプログラム。
6. 前記複数の訓練データを作成した複数の作業者の中から選定される前記第１作業者、前記第２作業者および前記第３作業者の全ての組み合わせについて、前記第１のラベルと前記第２のラベルとの一致度と、前記第３のラベルと前記第４のラベルとの一致度とを判定することを特徴とする、請求項１乃至５のいずれか１項に記載のプログラム。
7. 前記複数の訓練データは、分類器を生成する際に用いられるデータであることを特徴とする、請求項１乃至６のいずれか１項に記載のプログラム。
8. 第１データを対象にして第１作業者の作業により作成された第１訓練データと、第２データを対象にして第２作業者の作業により作成された第２訓練データと、第３データを対象にして第３作業者の作業により作成された第３訓練データとを受信する受信部と、
   前記第２訓練データを用いた機械学習により第１規則データを生成する生成部と、
   前記第１訓練データに付与された第１のラベルと、前記第１規則データに従って、前記第１データを対象にして生成された第１処理結果データに付与された第２のラベルとの一致度と、前記第３訓練データに付与された第３のラベルと、前記第３データを対象にして前記第１規則データに従って生成された第２処理結果データに付与された第４のラベルとの一致度との偏りに基づき、前記第２作業者の作業技能を判定する判定部と、
   を有し、
   前記第１訓練データ、前記第２訓練データ、前記第３訓練データのそれぞれは、機械学習による分類規則データの生成に用いられる複数の訓練データに含まれる、
   ことを特徴とするコンピュータ。
9. コンピュータによって実行される訓練データ作成支援方法において、
   第１データを対象にして第１作業者の作業により作成された第１訓練データに付与された第１のラベルと、第２データを対象にして第２作業者の作業により作成された第２訓練データを用いた機械学習により生成された第１規則データに従って、前記第１データを対象にして生成された第１処理結果データに付与された第２のラベルとの一致度と、
   第３データを対象にして第３作業者の作業により作成された第３訓練データに付与された第３のラベルと、前記第３データを対象にして前記第１規則データに従って生成された第２処理結果データに付与された第４のラベルとの一致度と
   の偏りに基づき、前記第２作業者の作業技能を判定し、
   前記第１訓練データ、前記第２訓練データ、前記第３訓練データのそれぞれは、機械学習による分類規則データの生成に用いられる複数の訓練データに含まれる、
   ことを特徴とする訓練データ作成支援方法。

Images