JP6608029B2 - データラベリング作業検査方法及びプログラム - Google Patents

Description

本発明は、データラベリング作業検査方法及びプログラムに関する。

機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）において、学習方法とアルゴリズム以上に重要なのは、学習のためのデータである。従って、良質な学習データを多く確保することは、機械学習分野において非常に重要である。

学習データを得るためには、一般にローデータ（ｒａｗ ｄａｔａ）と、ローデータに関するラベリング情報が必要である。ラベリング作業は人によって行われなければならないので、機械学習を研究開発する所では、ラベリング作業を行う労働力を保有する場合もある。

しかし、ラベリングは専門知識がなくても誰でも行える作業である場合が多いので、人件費の削減のために、インターネットを介して多数の作業者にデータを分配し、ラベリング作業に伴う報酬を支払う形のプラットフォームが登場するようになった。例えば、アマゾン（ａｍａｚｏｎ）（登録商標）のメカニカルターク（Ｍｅｃｈａｎｉｃａｌ Ｔｕｒｋ）が挙げられる。

しかし、既存のプラットフォームの場合、作業者が誠実にラベリングを行ったかを検査する過程がないため、学習データの信頼度を保証できないという問題がある。従って、既存のプラットフォームの長所を維持しながらも学習データの信頼度を向上させることができる技術の開発が要求される。

そこで、本発明は、上記事情に鑑みてなされたものであって、その目的は、データラベリング作業検査方法及びプログラムを提供することにある。

本発明が解決しようとする課題は、上記された課題に制限されず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。

上述した課題を解決するための本発明の一態様に係るデータラベリング作業検査方法は、サーバが交差検査水準を決定する段階と、前記サーバが前記決定された交差検査水準に応じて１つのデータを分配する作業者の数を決定する段階と、前記サーバが第１データを前記決定された数の作業者端末に分配する段階と、前記サーバが前記作業者端末の各々が提出した前記第１データに関するラベリング情報を獲得する段階と、前記サーバが前記作業者端末の各々から獲得した前記第１データに関するラベリング情報を比較する段階と、前記サーバが前記作業者端末の各々から獲得した前記第１データに関するラベリング情報が全て一致するものと判断されない場合、再作業を要請する段階とを含み、前記第１データは、特定オブジェクト又はテキストが含まれているイメージデータであり得る。

また、前記再作業を要請する段階は、検査者端末に前記ラベリング情報に対する検査要請を行い、前記検査者端末から前記ラベリング情報に対する検査結果を獲得する段階と、前記検査結果によって再作業を要請する作業者端末を決定する段階と、前記決定された作業者端末に再作業を要請する段階とを含むことができる。

更に、前記検査結果を獲得する段階は、前記作業者端末の各々から獲得した前記第１データに関するラベリング情報のうち不適合なラベリング情報を選択する情報を前記検査者端末から獲得する段階を含み、前記再作業を要請する段階は、前記作業者端末のうち不適合なラベリング情報と選択されたラベリング情報を提出した作業者端末に再作業を要請する段階を含むことができる。

また、前記検査結果を獲得する段階は、前記検査者端末から前記不適合なラベリング情報が不適合な理由を獲得する段階を含み、前記再作業を要請する段階は、前記獲得した理由を前記不適合なラベリング情報を提出した作業者端末に伝達する段階を更に含むことができる。

更に、作業者端末から獲得したラベリング情報及びラベリング情報に対する検査結果を含む学習データを獲得する段階と、前記学習データを用いてラベリング情報に対する検査結果を出力できるモデルを学習させる段階とを含むことができる。

また、前記検査結果を獲得する段階は、前記学習されたモデルに前記第１データに関するラベリング情報を入力する段階と、前記学習されたモデルから前記検査結果を獲得する段階とを含むことができる。

更に、前記再作業を要請する段階は、前記作業者端末の各々から獲得した前記第１データに関するラベリング情報が全て一致するものと判断されるまで前記全ての作業者端末に再作業を要請する段階を含むことができる。

また、前記サーバにより前記作業者端末の各々から獲得した前記第１データに関するラベリング情報が全て一致するものと判断される場合、前記サーバが前記作業者端末の各々に報酬を支払う段階を更に含むことができる。

更に、前記ラベリング情報を比較する段階は、前記獲得したラベリング情報のそれぞれを所定の基準に従って複数の部分ラベリング情報に分割する段階と、前記分割された部分ラベリング情報をそれぞれ比較する段階とを含み、前記再作業を要請する段階は、前記比較結果が全て一致しないものと判断される部分ラベリング情報に対する再作業を要請する段階とを含むことができる。

また、ハードウェアであるコンピュータと結合され、開示された実施形態に係るデータラベリング作業検査方法を行うことができるようにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムが提供される。

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

本発明によれば、交差検査を通じて実際の検査者による検査過程を最小化しながらも、学習データの信頼度を向上させることができるデータラベリング作業の検査方法を提供できるという効果を奏する。

本発明の効果は、上記された効果に制限されず、言及されていない他の効果は、以下の記載から通常の技術者が明確に理解できるはずである。

一実施形態に係るデータラベリング作業検査システムを示す概念図である。 一実施形態に係るデータラベリング作業検査方法を示すフローチャートである。 オブジェクトが含まれているイメージに対するラベリングを行う一例を示す図である。 テキストが含まれているイメージに対するラベリングを行う一例を示す図である。 ラベリング情報を分割する一例を示す図である。 一実施形態に係る報酬支払い方法を示す図である。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施形態を参照すれば明確になるはずである。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現できる。但し、本実施形態は、本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範囲を完全に理解させるために提供されるものであり、本発明は特許請求の範囲により定義されるに過ぎない。

本明細書で用いられる用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」、は言及された構成要素のそれぞれ及び１つ以上のあらゆる組み合わせを含む。たとえ「第１」「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素は、これらの用語により制限されないのは当然である。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いられるに過ぎない。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素でもあり得るのは当然である。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明の属する技術分野における通常の技術者が共通して理解できる意味として使用され得る。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

明細書で用いられる「部」又は「モジュール」という用語は、ソフトウェア、ＦＰＧＡ又はＡＳＩＣのようなハードウェア構成要素を意味し、「部」又は「モジュール」は特定の役割を果たす。ところが、「部」又は「モジュール」は、ソフトウェア又はハードウェアに限定される意味ではない。「部」又は「モジュール」は、アドレッシングできる格納媒体に存在するように構成されることもでき、１つ又はそれ以上のプロセッサを動作させるように構成されることもできる。従って、一例として、「部」又は「モジュール」は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、配列及び変数を含む。構成要素と「部」又は「モジュール」内で提供される機能は、より少数の構成要素及び「部」又は「モジュール」で結合されるか、追加の構成要素と「部」又は「モジュール」に更に分離できる。

以下、添付の図面を参照し、本発明の実施形態を詳細に説明する。

図１は、一実施形態に係るデータラベリング作業検査システムを示す概念図である。

図１を参照すれば、データラベリング作業検査システムは、サーバ１００、複数の作業者端末（１０ないし３０）及び１つ以上の検査者端末５０を含む。

図１に示すサーバ１００及び端末（１０ないし３０、及び、５０）は、少なくとも１つのプロセッサを含むコンピュータ装置を意味する。

本明細書において、「作業者」は、サーバ１００から提供されるデータに対するラベリングを行い、所定の報酬をもらう個人を意味する。例えば、サーバ１００は、作業者に特定オブジェクト又はテキストが含まれているイメージを提供し、作業者はイメージに含まれているオブジェクト又はテキストの範囲を指定し、指定された範囲に含まれているオブジェクト又はテキストが何であるかを入力するラベリング作業を行う。作業者がラベリング作業を行った結果は、サーバ１００に伝達される。

本明細書において、「検査者」は、作業者がアップロードしたラベリング結果に対する検査を行う個人を意味する。実施形態によっては、「検査者」は、人ではなく、自動的に検査を行える学習されたモデル、プログラム及び端末などを包括する意味としても理解できる。

作業者がアップロードしたラベリング結果のうち不適合なラベリング結果があれば、検査者は、不適合なラベリング結果を返却し、返却理由を入力する。サーバ１００は、不適合なラベリングを行った作業者にラベリング結果の返却理由を伝達し、再作業を要請する。

サーバ１００は、作業者が行ったラベリング結果が検査者の検査を通過すると、作業者にラベリング作業に対する補償を支払う。例えば、サーバ１００は、所定のポイントを作業者に支払うことができる。一実施形態において、一定水準以上累積されたポイントは、現金に交換されて作業者に入金できる。例えば、作業者は、１０００ポイント以上累積されたポイントを同等な価値を持つ現金として入金してもらうことができる。

一実施形態において、サーバ１００は、全てのラベリング結果に対して検査を行うことによって、信頼度の高い学習データを獲得することができる。

機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）において、速い学習とそれに伴うモデルの速い成長のためには、信頼度の高い学習データが必要である。開示された実施形態によれば、サーバ１００は信頼度の高い学習データを提供することによって、機械学習の効率を向上させることができる。

しかし、全てのラベリング結果に対して検査を行う場合、検査者の数によって、検査過程において学習データ生成のボトルネックが発生するおそれがあり、これを改善するための方法の開発が要求される。

従って、開示された実施形態によれば、サーバ１００は、同一のデータを複数の作業者に割り当て、複数の作業者のラベリング結果が全て一致する場合は、検査を省略することによって、検査回数を減らしながらも信頼度を維持できる。しかし、同一のデータを複数の作業者に割り当てる場合、１つのデータに対して複数回の補償を支払わなければならないので、コストが増大し得る。

反面、同一のデータをより多くの作業者に割り当て、全ての作業者のラベリング結果が全て一致すると、その結果が間違う確率が低くなる。従って、より多くのコストをかけ、より多くの作業者に同一のデータを割り当てるほど、生成される学習データの信頼度が高くなる。

図２は、一実施形態に係るデータラベリング作業検査方法を示すフローチャートである。

図２を参照すれば、開示された実施形態に係るデータラベリング作業検査方法は、図１に示すサーバ１００で時系列的に処理される段階で構成される。従って、図２の方法において省略された内容であっても、図１のサーバ１００に対して説明された内容は、図２の方法にも適用できる。

段階Ｓ１１０で、サーバ１００は、データラベリング作業の交差検査水準を決定する。例えば、交差検査水準は、同一のデータを割り当てる作業者の数を意味する。

交差検査水準が高くなるほど、同一のデータに対して支払うべき補償が比例して増加するので、データラベリング作業の交差検査水準は、学習データの生成コストに比例する。

また、交差検査水準が高くなるほど、学習データの信頼度が向上する。即ち、学習データの生成コストが増加するほど、学習データの信頼度が高くなり得る。

一実施形態において、サーバ１００は、学習データ生成の要請を受けるとき、コストに伴う学習データの信頼度に関する情報を提供し、要請者の選択によって交差検査水準を決定する。

段階Ｓ１２０で、サーバ１００は、段階Ｓ１１０で決定した交差検査水準に応じて、１つのデータを分配する作業者の数を決定する。

例えば、段階Ｓ１１０で決定された交差検査水準が１であれば、１つのデータを１つの作業者にのみ分配し、２であれば、１つのデータを２人の作業者に分配することができる。同様に、段階Ｓ１１０で決定された交差検査水準が３であれば、１つのデータを３人の作業者に分配することができる。

段階Ｓ１３０で、サーバ１００は、段階Ｓ１２０で決定された数の作業者にデータを分配する。

一実施形態において、交差検査水準が３である場合、３人の作業者が１つのチームに分類されて複数のデータを１つのチームに所属する３人の作業者に分配することができる。

他の実施形態において、交差検査水準が３である場合、それぞれのデータに対して任意に３人の作業者を選択してデータを分配することができる。

一実施形態において、作業者にデータを分配することは、データを各作業者の端末（１０ないし３０）に転送することであり得る。他の実施形態において、作業者にデータを分配することは、各データを各作業者のアカウントに割り当て、各作業者はネットワークを介して各作業者のアカウントに割り当てられたデータを獲得することであり得る。

段階Ｓ１４０で、サーバ１００は、段階Ｓ１３０で分配されたデータに対して、作業者の各々が提出したラベリング情報を獲得する。

一実施形態において、ラベリング情報を獲得することは、ラベリングが完了したデータを獲得することであり得る。他の実施形態において、ラベリング情報を獲得することは、分配されたデータの特定領域を選択する領域選択情報（例えば、座標情報）と、選択された領域に含まれているオブジェクト又はテキストに関する情報を獲得することであり得る。

図３を参照すれば、オブジェクトが含まれているイメージに対するラベリングを行う一例が示されている。

図３に示すイメージ２００は、少なくとも１つのオブジェクトを含む。作業者は、イメージ２００の特定領域２１０を選択し、選択された領域２１０に含まれているオブジェクトを説明する情報２２０を入力又は選択できる。

一実施形態において、１つのイメージ２００に複数のオブジェクトが含まれることができ、作業者は、イメージ２００に含まれている１つ以上のオブジェクトに対するラベリングを行うことができる。

図３に示す実施形態において、ラベリング情報は、特定領域２１０の座標と、特定領域２１０に含まれているオブジェクトに関する情報（例えば、特定領域２１０に含まれているオブジェクトがベッドという情報）を含む。

図４を参照すれば、テキストが含まれているイメージに対するラベリングを行う一例が示されている。

図４に示すイメージ３００は、少なくとも１つのテキストを含む。作業者は、イメージ３００の特定領域３１０を選択し、選択された領域３１０に含まれているテキスト３２０を入力できる。

一実施形態において、１つのイメージ３００に複数のテキストが含まれることができ、作業者はイメージ３００に含まれている１つ以上のテキストに対するラベリングを行うことができる。

図４に示す実施形態において、ラベリング情報は、特定領域３１０の座標と特定領域３１０に含まれているテキストを含む。

段階Ｓ１５０で、サーバ１００は、段階Ｓ１４０で作業者の各々から獲得した、データに関するラベリング情報を比較する。

例えば、サーバ１００は、段階Ｓ１４０で獲得したラベリング情報に含まれている座標を比較し、各座標が互いに所定の誤差範囲内に位置するか否かを判断する。領域の選択は人によって多少異なり得るので、選択された領域を比較する上で所定の誤差範囲を勘案しなければならない。

また、サーバ１００は、段階Ｓ１４０で獲得したラベリング情報に含まれている、各オブジェクト又はテキストに関する情報を比較する。サーバ１００は、各オブジェクト又はテキストに関する情報が互いに一致するか、同一性が認められるか否かを判断する。

例えば、互いに異なる作業者が１つのオブジェクトを互いに異なる名称で入力したとき、サーバ１００は、各名称に対する同一性が認められる場合、ラベリング情報が一致するものと判断することができる。しかし、サーバ１００は、各オブジェクトに対する代表名称を決定し、決定した代表名称を用いて学習データを生成できる。

段階Ｓ１６０で、サーバ１００は、段階Ｓ１５０の比較結果、作業者の各々から獲得したラベリング情報が全て一致するものと判断されない場合、再作業を要請する。

一実施形態において、サーバ１００は、作業者の各々から獲得したラベリング情報が全て一致するものと判断されない場合、検査者に検査を要請し、検査結果を獲得できる。

サーバ１００は、ラベリング情報に対する検査結果を獲得し、獲得した検査結果によって再作業を要請する作業者を決定できる。サーバ１００は、決定された作業者に再作業を要請できる。

一実施形態において、検査結果は、作業者の各々から獲得したデータに関するラベリング情報のうち、不適合なラベリング情報を選択する情報を含む。

例えば、検査者は互いに一致しないラベリング情報のうち、不適合なラベリング情報を選択し、サーバ１００は検査者の選択結果を獲得できる。

サーバ１００は、作業者のうち不適合なラベリング情報と選択されたラベリング情報を提出した作業者に、再作業を要請できる。作業者が再作業されたラベリング情報を提出すると、サーバ１００は、再び他の作業者のラベリング情報と再作業されたラベリング情報とを比較し、一致する場合、作業を終了し、一致しない場合、再作業を再び要請できる。

一実施形態において、検査結果は、前記不適合なラベリング情報が不適合な理由を含む。例えば、検査結果は、ラベリング情報で領域選択が間違っている、又は、領域に含まれているオブジェクト又はテキストを誤って入力した、などの検査者の評価情報を含むことができる。

サーバ１００は、再作業を要請するとき、検査者から獲得した理由を不適合なラベリング情報を提出した作業者に伝達できる。

一実施形態において、サーバ１００は、機械学習を用いて自動的に検査を行えるモデルを獲得できる。

例えば、サーバ１００は、開示された実施形態に係るデータラベリング作業検査方法を行う過程で獲得される、作業者から獲得したラベリング情報と、各ラベリング情報に対する検査結果を用いて学習データを獲得できる。

例えば、サーバ１００は、各ラベリング情報が適合しているか否かと、不適合なラベリング情報に対しては各ラベリング情報が不適合な理由を含む学習データを獲得できる。

サーバ１００は、学習データを用いて、ラベリング情報を入力とし、その検査結果を出力するモデルを学習させることができる。

一実施形態において、開示された実施形態に係る検査者は、人ではないサーバ１００によって学習され、利用されるモデルを意味する。この場合、検査は、学習済みモデルによって自動的に実行されることができる。

例えば、サーバ１００は、学習済みモデルにラベリング情報を入力し、その出力として入力されたラベリング情報に対する検査結果（例えば、適合しているか否かと、不適合な場合にその理由など）を獲得できる。

一実施形態において、サーバ１００は、別途の検査作業なしに、段階Ｓ１５０での比較結果が全て一致しない場合、作業者全員に再作業を要請できる。この場合、作業者は自らの作業結果を再検討し、問題がないと判断されると、そのまま再び提出し、問題が発見される場合、作業し直して提出できる。

一実施形態において、サーバ１００は、全ての作業者のラベリング情報が一致するまで全ての作業者に再作業を要請する方式による検査過程がなくても、学習データの信頼度を向上させることもできる。

一実施形態において、サーバ１００は、獲得したラベリング情報のそれぞれを所定の基準に従って複数の部分ラベリング情報に分割し、分割された部分ラベリング情報をそれぞれ比較できる。

サーバ１００は、前記比較結果が全て一致しないものと判断される部分ラベリング情報に対する再作業を要請できる。

図５には、ラベリング情報を分割する一例が示されている。

一実施形態において、開示された実施形態に係るサービスは、ガス検針器の検針数字をラベリングするために利用できる。

１つ以上の作業者にガス検針器のイメージ４００が分配され、作業者は、イメージ４００にて特定領域４１０を指定した後、領域４１０に含まれている数字を入力してラベリング情報を生成する。

一実施形態において、イメージ４００に含まれているオブジェクトやテキストが傾いている場合、作業者は、傾いている形状通りに領域を指定し、オブジェクトやテキストが傾いている方向に関する情報をラベリング情報に追加することができる。

例えば、図５に示すガス検針器の数字部分が反時計回りに３０°程度傾いている場合、作業者は、数字部分の領域を表示し、数字部分が傾いている程度を概略的な角度で入力するか、特定方位を選択するか、数字部分が傾いている方向に沿ってドラッグ・アンド・ドロップ動作で矢印を描くことによって数字部分が傾いている方向を表示できる。

一実施形態において、ラベリングのために作業者に提供されるデータには、既に入力されたラベリングガイドが含まれることができる。例えば、データの種類によって適切なラベリング方法があり得る。サーバ１００は、データの種類によるラベリング方法の例示又はラベリング方法に対する説明やラベリング基準を含むラベリングガイドを作業者に伝達し、作業者がより正確な結果を提出できるように補助できる。

サーバ１００は、作業者が領域４１０に含まれている数字を入力したラベリング情報４２０を獲得する。

一実施形態において、サーバ１００は、ラベリング情報４２０を複数の部分ラベリング情報（４２１ないし４２８）に分割することができる。例えば、サーバ１００は、ラベリング情報４２０に含まれている数字を、それぞれ互いに異なるラベリング情報に分割することができる。

サーバ１００は、分割された部分ラベリング情報（４２１ないし４２８）のそれぞれに対する交差検査を行う。例えば、複数の作業者が提出したラベリング情報で、最初の数字４２１をそれぞれ比較し、２番目の数字４２２ないし８番目の数字４２８をそれぞれ比較することができる。

サーバ１００は、分割された部分ラベリング情報（４２１ないし４２８）のそれぞれに含まれている８個の数字のうち、全ての作業者が提出した結果が一致しない部分ラベリング情報に対してのみ検査者による検査を行い、再検討を要請することができる。

従って、サーバ１００は、交差検査の通過確率を高め、再作業の量を減らすことができる。例えば、ラベリング情報４２０全体に対する交差検査を行うと、数字が１つでも間違っていても情報全体に対する再作業を要請しなければならない。反面、分割された部分ラベリング情報（４２１ないし４２８）のそれぞれに対する交差検査を行うと、間違っている数字のみ検査後の再作業を要請することができ、効率的である。

一実施形態において、分割された部分ラベリング情報は、それぞれの数字だけでなく、選択された領域と、領域が傾いている方向に関する情報をそれぞれ含むことができる。例えば、サーバ１００は、ラベリング情報に含まれている各数字と、選択された領域の座標と、領域が傾いている程度のそれぞれに対する交差検査を行い、その結果によってそれぞれの分割されたラベリング情報に対する検査及び再検討を要請することができる。

一実施形態において、サーバ１００は、分割されたラベリング情報のそれぞれに対する交差検査又は検査が完了すると、分割されたラベリングのそれぞれに対して分割されたポイントを作業者に支払うことができる。他の実施形態において、サーバ１００は、分割されたラベリング情報全体に対する交差検査又は検査が完了すると、ポイントを作業者に支払うことができる。

図６は、一実施形態に係る報酬支払い方法を示す図である。

段階Ｓ５１０は、作業者にデータが割り当てられた状態で、作業者がデータに対するラベリング作業を行う段階である。

作業が完了すると、作業者はラベリング情報をサーバ１００に提出し、対応するポイントを獲得する（段階Ｓ５２０）。

段階Ｓ５２０で、サーバ１００は交差検査を行う。サーバ１００は、交差検査を通過できない（即ち、全て一致しない）ラベリング情報に対する検査を行う（段階Ｓ５３０）。

検査結果、適合したラベリング情報を提出した作業者に対しては支払われたポイントを確定し、作業者の要請がある場合、ポイントに対する報酬を支払うことができる状態に転換される（段階Ｓ５４０）。

即ち、段階Ｓ５２０で作業の完了によって作業者にポイントが支払われるが、検査を通じてポイントが確定されるまでは、作業者は、ポイントに対する報酬を得ることができない。

検査結果、不適合なラベリング情報を提出した作業者に対しては、再作業を要請し、作業者は再びラベリング作業を行うようになる（段階Ｓ５１０）。

作業者が再びラベリング作業を行うと、適合したラベリング情報との交差検査又は検査者の検査を通じてポイントを確定するか否かを決定する。

本発明の実施形態と関連して説明された方法又はアルゴリズムは、ハードウェアで直接実現されるか、ハードウェアにより実行されるソフトウェアモジュールで実現されるか、又はこれらの結合により実現できる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、脱着型ディスク、ＣＤ-ＲＯＭ又は本発明が属する技術分野において周知されている任意の形態のコンピュータ読み取り可能な記録媒体に存在することもできる。

以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施され得ることが理解できるはずである。従って、以上で記述した実施形態はあらゆる面で例示的なものであり、制約的でないものとして理解すべきである。

１０ 作業者端末
２０ 作業者端末
３０ 作業者端末
５０ 検査者端末
１００ サーバ

Claims (10)

1. サーバが交差検査水準を決定する段階と、
   前記サーバが前記決定された交差検査水準に応じて１つのデータを分配する作業者の数を決定する段階と、
   前記サーバが第１データを前記決定された数の作業者端末に分配する段階と、
   前記サーバが前記作業者端末の各々が提出した前記第１データに関するラベリング情報を獲得する段階と、
   前記サーバが前記作業者端末の各々から獲得した前記第１データに関するラベリング情報を比較する段階と、
   前記サーバが前記作業者端末の各々から獲得した前記第１データに関するラベリング情報が全て一致するものと判断されない場合、再作業を要請する段階と、
   を含み、
   前記第１データは、
   特定オブジェクト又はテキストが含まれているイメージデータである、データラベリング作業検査方法。
2. 前記再作業を要請する段階は、
   検査者端末に前記ラベリング情報に対する検査要請を行い、前記検査者端末から前記ラベリング情報に対する検査結果を獲得する段階と、
   前記検査結果によって再作業を要請する作業者端末を決定する段階と、
   前記決定された作業者端末に再作業を要請する段階と、
   を含むことを特徴とする請求項１に記載のデータラベリング作業検査方法。
3. 前記検査結果を獲得する段階は、
   前記作業者端末の各々から獲得した前記第１データに関するラベリング情報のうち不適合なラベリング情報を選択する情報を前記検査者端末から獲得する段階を含み、
   前記再作業を要請する段階は、
   前記作業者端末のうち不適合なラベリング情報と選択されたラベリング情報を提出した作業者端末に再作業を要請する段階を含むことを特徴とする請求項２に記載のデータラベリング作業検査方法。
4. 前記検査結果を獲得する段階は、
   前記検査者端末から前記不適合なラベリング情報が不適合な理由を獲得する段階を含み、
   前記再作業を要請する段階は、
   前記獲得した理由を前記不適合なラベリング情報を提出した作業者端末に伝達する段階を更に含むことを特徴とする請求項３に記載のデータラベリング作業検査方法。
5. 作業者端末から獲得したラベリング情報及びラベリング情報に対する検査結果を含む学習データを獲得する段階と、
   前記学習データを用いてラベリング情報に対する検査結果を出力できるモデルを学習させる段階と、
   を含むことを特徴とする請求項２に記載のデータラベリング作業検査方法。
6. 前記検査結果を獲得する段階は、
   前記学習されたモデルに前記第１データに関するラベリング情報を入力する段階と、
   前記学習されたモデルから前記検査結果を獲得する段階と、
   を含むことを特徴とする請求項５に記載のデータラベリング作業検査方法。
7. 前記再作業を要請する段階は、
   前記作業者端末の各々から獲得した前記第１データに関するラベリング情報が全て一致するものと判断されるまで前記全ての作業者端末に再作業を要請する段階を含むことを特徴とする請求項１に記載のデータラベリング作業検査方法。
8. 前記サーバにより前記作業者端末の各々から獲得した前記第１データに関するラベリング情報が全て一致するものと判断される場合、前記サーバが前記作業者端末の各々に報酬を支払う段階を更に含むことを特徴とする請求項１に記載のデータラベリング作業検査方法。
9. 前記ラベリング情報を比較する段階は、
   前記獲得したラベリング情報のそれぞれを所定の基準に従って複数の部分ラベリング情報に分割する段階と、
   前記分割された部分ラベリング情報をそれぞれ比較する段階と、
   を含み、
   前記再作業を要請する段階は、
   前記比較結果が全て一致しないものと判断される部分ラベリング情報に対する再作業を要請する段階と、
   を含むことを特徴とする請求項１に記載のデータラベリング作業検査方法。
10. ハードウェアであるコンピュータと結合され、請求項１に記載の方法を行うことができるようにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラム。