JP6062384B2

JP6062384B2 - タスク割り当てサーバ、タスク割り当て方法およびプログラム

Info

Publication number: JP6062384B2
Application number: JP2014037186A
Authority: JP
Inventors: 誉宗巻口; 大地並河; 正造東; 下村　道夫; 道夫下村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-02-27
Filing date: 2014-02-27
Publication date: 2017-01-18
Anticipated expiration: 2034-02-27
Also published as: JP2015162109A

Description

本発明は、ネットワークを介してタスク（仕事）をワーカ（労働者）に依頼するクラウドソーシング等のシステムで使用されるタスク割り当てサーバ、タスク割り当て方法およびプログラムに関するものである。

近年、インターネット等のネットワークを通じて様々なタスクを複数のワーカに依頼して処理させる仕組み（例えばクラウドソーシング等）が普及している。

しかし、クラウドソーシングにおいては、ワーカに能力差があり、タスクの内容によって処理結果の品質に差がでることがある。そのため、品質の高い処理結果を得るためには、タスクごとに適切なワーカを抽出し、割り当てる手法（タスク割り当て手法）が重要となる。

例えば、非特許文献１は、ワーカの処理結果を元にワーカの能力を推定し、能力の高いワーカの答えの優先度を高めて多数決を取り正解を得ることが提案されている。

特開２０１１−１４１６６６号公報

梶野洸、他３名、"エキスパートによる訓練データとクラウドソーシングで作成した訓練データからの教師付き学習"、[online]、人工知能学会論文誌２８巻３号ＳＰ−Ａ（２０１３年）、[平成２６年２月６日検索]、インターネット<URL: https://www.jstage.jst.go.jp/article/tjsai/28/3/28_243/_pdf> 鹿島久嗣、他１名、"クラウドソーシングと機械学習"、[online]、人工知能学会論文誌２７巻４号（２０１２年）、[平成２６年２月６日検索]、インターネット<URL: http://www.geocities.jp/kashi_pong/publication/JSAI_crowds.pdf>

しかし、非特許文献１に記載の方法は、ワーカの能力を正しく比較するために「対象となる全てのワーカが同じタスクを処理」する必要がある。つまり、非特許文献１に記載の方法では、あるワーカが能力比較のためのタスクを処理していない場合には、そのワーカがエキスパート（熟練者）なのか否かを判断できない。また、「過去のタスクに対して高い能力を持つワーカが、新規タスクに対して同様に能力が高いとは限らない」ため、非特許文献１の方法ではエキスパートの推定の正確さが保証されない。

ここで、特許文献１には、ユーザーのログに含まれる興味情報を基にコンテンツのクラスタを作成し、そのクラスタに基づいて推薦リストを作成する技術が記載されている。この技術を用いれば、例えばワーカが過去に行ったタスク処理の種類や処理回数を元に、全てのワーカが同じタスクを処理していなくとも（スパース性、すなわちデータが疎である状態が存在しても）、ワーカの興味のあるタスクを推薦することができる。しかし、当該技術は、ワーカの「興味」を推定するものであり、ワーカの興味が新規タスクに対するワーカの能力と一致するとは限らないため、能力が高いワーカを抽出しきれない課題が残る。

また、非特許文献２には、事前に答えのわかっている一部の新規タスクをテストタスクとしてワーカに依頼し、新規タスクに対するワーカの能力を推定する手法が記載されている。非特許文献２の方法では、テストタスクをワーカに依頼することで、新規タスクに対しての能力についての推定の精度を高めることができる。しかし、「対象となる全てのワーカがテストタスクを処理」する必要があり、タスク依頼数の増加が新たな問題となり得る。

前記のような問題点に鑑みてなされた本発明の目的は、新規タスクに対する適切なワーカを抽出し、スパース性があっても対応可能なタスク割り当てサーバ、タスク割り当て方法およびプログラムを提供することにある。

前記課題を解決するため、本発明に係るタスク割り当てサーバは、ネットワークを介して、新規タスクを処理可能なワーカ群のうちエキスパートに前記新規タスクを割り当てるタスク割り当てサーバであって、前記ワーカ群の各ワーカが過去に処理したタスクの情報を少なくとも含むワーカ群情報を記憶するワーカＤＢと、前記ワーカ群情報に基づいて、前記ワーカ群の各ワーカを複数のクラスタのいずれかに分類するクラスタ作成機能部と、前記新規タスクの一部であるテストタスクの処理結果に基づいて、前記複数のクラスタのうちの１つに属するワーカを、前記エキスパートとする処理結果解析機能部と、前記エキスパートに前記新規タスクを依頼するタスク依頼機能部と、を備え、前記タスク依頼機能部は、前記新規タスクを依頼する前に、前記複数のクラスタのそれぞれの代表者に前記テストタスクを依頼して、受け取った前記テストタスクの処理結果を前記処理結果解析機能部へと出力する。

また、本発明に係るタスク割り当て方法は、サーバによって、ネットワークを介して、新規タスクを処理可能なワーカ群のうちエキスパートに前記新規タスクを割り当てるタスク割り当て方法であって、前記サーバが、前記ワーカ群の各ワーカが過去に処理したタスクの情報を少なくとも含むワーカ群情報を記憶するステップと、前記ワーカ群情報に基づいて、前記ワーカ群の各ワーカを複数のクラスタのいずれかに分類するステップと、前記新規タスクの一部であるテストタスクの処理結果に基づいて、前記複数のクラスタのうちの１つに属するワーカを、前記エキスパートとするステップと、前記エキスパートに前記新規タスクを依頼するステップと、前記新規タスクを依頼するステップの前に、前記複数のクラスタのそれぞれの代表者に前記テストタスクを依頼して、前記テストタスクの処理結果を受け取るステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、ネットワークを介して、新規タスクを処理可能なワーカ群のうちエキスパートに前記新規タスクを割り当てるタスク割り当てサーバとして機能するコンピュータに、前記ワーカ群の各ワーカが過去に処理したタスクの情報を少なくとも含むワーカ群情報を記憶するステップと、前記ワーカ群情報に基づいて、前記ワーカ群の各ワーカを複数のクラスタのいずれかに分類するステップと、前記新規タスクの一部であるテストタスクの処理結果に基づいて、前記複数のクラスタのうちの１つに属するワーカを、前記エキスパートとするステップと、前記エキスパートに前記新規タスクを依頼するステップと、前記新規タスクを依頼するステップの前に、前記複数のクラスタのそれぞれの代表者に前記テストタスクを依頼して、前記テストタスクの処理結果を受け取るステップと、を実行させることを特徴とする。

本発明に係るタスク割り当てサーバ、タスク割り当て方法およびプログラムによれば、新規タスクに対する適切なワーカを抽出し、スパース性があっても対応可能である。

第１実施形態のタスク割り当てサーバを備えるシステム構成を示す図である。第１実施形態のタスク割り当てサーバの処理を説明するフローチャートである。図３（Ａ）、図３（Ｂ）は第１実施形態におけるタスクＤＢのデータ構成を例示する図である。第１実施形態におけるワーカＤＢのデータ構成を例示する図である。第１実施形態におけるクラスタについて説明する図である。第１実施形態におけるシステムとしての処理結果を例示する図である。第２実施形態におけるクラスタについて説明する図である。第２実施形態のタスク割り当てサーバの処理を説明するフローチャートである。新規タスク（画像ラベリング）についての実験結果を例示する図である。別の新規タスク（固有表現ラベリング）についての実験結果を例示する図である。

（第１実施形態）
以下、本発明に係る第１実施形態について、図面を参照して説明する。図１は、本実施形態に係るタスク割り当てサーバ１０の構成、およびタスク割り当てサーバ１０を備えるタスク割り当てシステム１の構成を示す図である。まず、タスク割り当てシステム１について説明し、その後に、タスク割り当てサーバ１０の構成を説明する。

（タスク割り当てシステム）
図１のタスク割り当てシステム１では、リクエスタ（リクエスタ端末５０を操作する発注者）がタスク割り当てサーバ１０に新規タスクを発注し、タスク割り当てサーバ１０がインターネットを介してワーカ（ワーカ端末６０Ａ、６０Ｂ、…、６０Ｎを操作する労働者）に新規タスクを依頼して処理させる。つまり、タスク割り当てシステム１によってクラウドソーシングを実現できる。

リクエスタ端末５０は、タスク割り当てサーバ１０にアクセス可能でリクエスタが操作可能な機器であり、ワーカ端末６０Ａ、６０Ｂ、…、６０Ｎはインターネットに接続可能でワーカが操作可能な機器である。リクエスタ端末５０およびワーカ端末６０Ａ、６０Ｂ、…、６０Ｎは、例えばＰＣ、タブレット、スマートフォン、携帯電話等であってもよい。なお、ワーカ端末６０Ａ、６０Ｂ、…、６０Ｎの“Ａ”、“Ｂ”、…、“Ｎ”は特定の数を表すものではなく、ワーカ端末が複数であることを示すために便宜上に付されたものであり、以下では、ワーカ端末６０Ａ、６０Ｂ、…、６０Ｎをワーカ端末６０Ａ等とも表記する。また、新規タスクは、リクエスタ端末５０が依頼したタスク（仕事）であり、ワーカがワーカ端末６０Ａ等を用いて処理できる内容のタスクである。例えば画像ラベリング等が挙げられるが具体例については後述する。なお、新規タスクは、あるワーカが過去に処理したタスクと重複することもあり得るが、過去のタスクとは全く無関係にリクエスタ端末５０から依頼されるものである。

タスク割り当てシステム１では、タスク割り当てサーバ１０と複数のワーカ端末６０Ａ等とがインターネットを介して接続される。また、図１のタスク割り当てシステム１では、タスク割り当てサーバ１０とリクエスタ端末５０との接続はインターネット経由でないが、これらがインターネットを介して接続されてもよいし、タスク割り当てサーバ１０がリクエスタ端末５０を備える構成であってもよい。

ワーカ端末６０Ａ等は不特定多数のワーカが操作し、ワーカの数も変動し得る。ここで、タスク割り当てサーバ１０が新規タスクを依頼する（割り当てる）ことが可能なワーカの集団を以下においてワーカ群と呼ぶ。換言すれば、ワーカ群は新規タスクを処理可能なワーカの集団である。例えば、タスク割り当てサーバ１０にアクセス可能なワーカ端末を操作するワーカはワーカ群に含まれるが、電源がオフ状態でタスク割り当てサーバ１０にアクセスできないワーカ端末を操作するワーカはワーカ群に含まれない。

なお、タスク割り当てシステム１において、リクエスタからの発注は必ずリクエスタ端末５０を用いて実行され、ワーカへの新規タスクの依頼やワーカによる処理は必ずワーカ端末６０Ａ等を用いて実行される。そのため、以下の説明において特に必要がない場合には、リクエスタ端末５０とリクエスタとを、また、ワーカ端末６０Ａ等とその操作者であるワーカとを区別せずに用いる。例えば、リクエスタによるリクエスタ端末５０を用いての新規タスクの発注を、リクエスタ端末５０からの新規タスクの発注と表記することがある。また、例えば、インターネットを介してワーカＡが操作するワーカ端末６０Ａに新規タスクを割り当てることを、ワーカＡに新規タスクを依頼する（割り当てる）と表記することがある。

（タスク割り当てサーバの構成）
タスク割り当てサーバ１０は、タスク割り当てシステム１において、リクエスタ端末５０からの新規タスクの依頼を受けて、ワーカ群からエキスパートを抽出して、エキスパートに新規タスクを割り当てるサーバである。なお、タスク割り当てサーバ１０は、例えばワーカ端末６０Ａ等に比べて処理能力の高いコンピュータであり、このような処理をプログラムに従って実行してもよいし、一部または全部の処理をハードウェアで実行してもよい。ここで、エキスパートとは、ワーカ群に属するワーカであって、リクエスタの期待通りに新規タスクを処理すると推定されるワーカ、またはそのようなワーカの集団のことをいう。例えば、リクエスタが品質の高い処理結果を望む場合には、エキスパートは正解率が高いと推定されるワーカで構成されてもよい。また、例えばリクエスタが新規タスクに対する直感的な回答を求める場合には、エキスパートは早い処理時間で処理結果を返すと推定されるワーカ、または修正回数が少ないと推定されるワーカで構成されてもよい。なお、以下では、エキスパートは正解率が高いと推定されるワーカ、またはそのようなワーカの集団であるとして説明する。

タスク割り当てサーバ１０は、タスク登録機能部１２、クラスタ作成機能部１４、タスク依頼機能部１６、処理結果解析機能部１８、タスクデータベース（タスクＤＢ２２）、ワーカデータベース（ワーカＤＢ２４）を備える。

タスク登録機能部１２は、リクエスタ端末５０とのインターフェース部として機能する。タスク登録機能部１２は、リクエスタ端末５０からの新規タスクの依頼を受けた場合には新規タスクの情報をタスクＤＢ２２に書く。また、エキスパートのそれぞれの処理結果がタスクＤＢ２２に書かれた場合には、それらを集計し、新規タスクに対するシステムとしての処理結果をリクエスタ端末５０に出力する。

クラスタ作成機能部１４は、ワーカＤＢ２４に書かれたワーカ群情報に基づいて、各ワーカの過去のタスク処理結果を用いて、その特徴からワーカをクラスタリング（クラスタ、すなわちグループに分類）する。なお、ワーカ群情報とは、ワーカ群の各ワーカが過去に処理したタスクの情報を少なくとも含む情報である。例えば、クラスタ作成機能部１４は、後述するタスクカテゴリ等を考慮して、ワーカ群情報から過去のタスク処理結果を抽出し、その正解率等でワーカをクラスタリングしてもよい。クラスタリングの詳細については後述する。

タスク依頼機能部１６は、ワーカとのインターフェース部として機能する。タスク依頼機能部１６は、ワーカ群のうちの特定のワーカにタスクを依頼する。そして、タスクを依頼したワーカから処理結果を受け取る。なお、タスクを依頼するワーカは、クラスタ作成機能部１４が作成したクラスタ、処理結果解析機能部１８の解析結果に基づいて決定されるが、詳細は後述する。

処理結果解析機能部１８は、ワーカからの処理結果を集計して様々な解析を行う。処理結果解析機能部１８は、解析結果に基づいて、例えばエキスパートを判定し、依頼するタスクを選択できる。また、ワーカから得られた処理結果をワーカＤＢ２４、タスクＤＢ２２に書いて、データを更新する。

以上のように図１を参照しながらタスク割り当てサーバ１０の全体構成を説明したが、以下では、リクエスタ端末５０からの新規タスクの依頼を受けたタスク割り当てサーバ１０が、ワーカ群からエキスパートを抽出して、エキスパートに新規タスクを割り当て、エキスパートからの処理結果に基づいてシステムとしての処理結果をリクエスタ端末５０に返すまでの処理の流れを説明し、必要な場合には図を参照して特定の処理について詳細に説明する。また、以下で説明する処理は、プログラムによってコンピュータをタスク割り当てサーバ１０として機能させることで実現できる。このとき、プログラムは図１で図示しない着脱可能な記憶媒体に記憶されてもよいし、図示しないネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）、またはインターネットを介して接続された他のコンピュータに記憶されてもよい。

（タスク割り当てサーバの処理）
図２は本実施形態のタスク割り当てサーバ１０の処理を説明するフローチャートである。クラウドソーシングにおいては、ワーカに能力差があるため、タスクの内容によって処理結果の品質に差が生じ得る。タスク割り当てサーバ１０は、フローチャートに従った処理を行うことで、新規タスクをエキスパート、すなわち新規タスクを処理して品質の高い処理結果を返すと推定されるワーカに依頼することができる。

最初に、タスク割り当てサーバ１０は、リクエスタ端末５０から新規タスクの依頼を受ける（ステップＳ１）。このとき、タスク登録機能部１２は、過去のタスクと同じデータ構成で新規タスクの情報をタスクＤＢ２２に書く。そして、タスク割り当てサーバ１０は、クラスタの抽出を実行する（ステップＳ２）。クラスタの抽出とは、新規タスクに関して、類似するワーカでクラスタをつくること、すなわちクラスタリングである。タスク割り当てサーバ１０のクラスタ作成機能部１４は、ワーカＤＢ２４に書かれたワーカ群情報に基づいてクラスタリングを行う。

ここで、ステップＳ２のクラスタの抽出について説明する前に、タスクＤＢ２２に記録されるタスクの情報、ワーカＤＢ２４のワーカ群情報について図３（Ａ）、図３（Ｂ）、図４を参照して説明する。

図３（Ａ）に示されるように、タスクは“タスクＩＤ”、“指示文”、“回答形式”、“選択項目”、“タスクカテゴリＩＤ”に分けてタスクＤＢ２２に記憶される。また、図３（Ｂ）に示すように、“タスクカテゴリＩＤ”は“タスクカテゴリ”と対応する形で別途タスクＤＢ２２に記憶される。

“タスクＩＤ”はタスク毎に付されたＩＤ（identification）であって、タスク割り当てサーバ１０は、タスクＩＤが同じであれば同じタスクであると判定できる。図３（Ａ）では、図示の都合上、一部であるＴ００１、Ｔ００２、Ｔ００６の３つのタスクＩＤのみを示している。

“指示文”はワーカに提示するタスクの指示であり、ワーカ端末６０Ａ等に表示されるものである。“回答形式”はタスクの回答形式を指定するものである。図３（Ａ）のＣｈｅｃｋ＿ｂｏｘ、Ｒａｄｉｏ＿ｂｕｔｔｏｎ、Ｔｅｘｔは、それぞれ選択式のチェックボックス、選択式のラジオボタン、テキストでの自由記述を指定する。また、“選択項目”は選択式の場合の選択可能な項目である。図３（Ａ）の例では、タスクＩＤをＴ００２とするタスクがワーカに依頼された場合、そのワーカが操作する端末には「単語に当てはまるカテゴリを選択して下さい」との指示がラジオボタンとともに表示されて、ラジオボタンでｎａｍｅ、ｔｉｍｅ、ｏｔｈｅｒｓのいずれかが選択可能である。

“タスクカテゴリＩＤ”は、“タスクカテゴリ”、すなわちリクエスタが指定するタスクのカテゴリのそれぞれに付されたＩＤである。図３（Ａ）では、Ｃ００１、Ｃ００２、Ｃ００３の３つのタスクカテゴリＩＤが示されている。そして、図３（Ｂ）に示されるように、“タスクカテゴリ”もタスクＤＢ２２に記憶されている。図３（Ｂ）の例では、“タスクカテゴリＩＤ”のＣ００１、Ｃ００２、Ｃ００３には、それぞれ「画像ラベリング」、「固有表現ラベリング」、「音声データ書き起こし」の“タスクカテゴリ”が対応する。以上のような形式で、リクエスタ端末５０からの新規タスクもタスクＤＢ２２に記憶される。

また、図４に示されるように、ワーカ群情報は、それぞれのワーカについての“ワーカＩＤ”、“処理タスクリスト”、“回答内容リスト”、“処理時間リスト”、“修正回数リスト”、“年齢”の情報を含む。

“ワーカＩＤ”はワーカ群に属するワーカ毎に付されたＩＤである。図４では、図示の都合上、一部であるＷ００１、Ｗ００２、Ｗ００３の３つのワーカＩＤのみを示している。“処理タスクリスト”はそのワーカが過去に処理したタスクを、前記のタスクＩＤを用いて示すものである。“回答内容リスト”は、そのワーカが過去に処理したタスクへの回答内容を示すものであり、選択式の回答も自由入力の回答も含まれる。“処理時間リスト”は、そのワーカが過去にそれぞれのタスクを処理するのに要した時間を示すものであり、図４では秒（ｓｅｃ）単位で示されている。“修正回数リスト”は、そのワーカが過去にそれぞれのタスクの処理を完了するまでに修正した回数を示すものである。“年齢”はそのワーカの年齢を示す。なお、図４の例では、処理時間、修正回数として、それぞれ実時間、実際の回数を用いているが、相対的な数値が用いられてもよい。例えば、そのワーカのこれまでの平均値と比較した処理時間の長短や、修正回数の多少がワーカＤＢ２４に記録されてもよい。

図４の例では、ワーカＩＤをＷ００１とするワーカは、過去にタスクＩＤをＴ００３、Ｔ００４、Ｔ００６とするタスクの処理経験があり、それぞれ回答内容リストで示されるような回答をしている。また、これらのタスクをそれぞれ１０、２０、６０秒で完了し、タスクＩＤをＴ００３、Ｔ００６とするタスクについて、それぞれ１回、３回の修正を行って完了している。また、このワーカの年齢は２３才である。このように、タスク割り当てサーバ１０は、ワーカ群情報をワーカＤＢ２４に図４のようなデータ構成で記憶している。このように、タスク割り当てサーバ１０は、ワーカＤＢ２４に記憶されているワーカ群情報によって、ワーカ群に属する各ワーカの過去のタスク処理結果についても把握できる。

ここで、再び図２を参照して、ステップＳ２のクラスタの抽出について説明する。タスク割り当てサーバ１０のクラスタ作成機能部１４は、まず、タスクＤＢ２２から新規タスクの情報を取得する。通常、新規タスクは過去に処理されていないため、ワーカＤＢ２４のワーカ群情報の処理タスクリストには含まれていない。そのため、クラスタ作成機能部１４は、新規タスクに最も類似する各ワーカの過去のタスク（以下、「類似タスク」とする）を選択する。タスクの類似性の判定は、例えばタスクに含まれるテキスト情報（指示文）、ワーカ群情報から得られるワーカの処理結果、新規タスクのカテゴリ（タスクカテゴリＩＤ）等を用いて行うことができる。

そして、クラスタ作成機能部１４は、各ワーカの類似タスクに対する処理結果を、ワーカＤＢ２４のワーカ群情報から取得する。図４を参照して説明したように、クラスタ作成機能部１４は、この処理結果として、回答の選択または自由記述の内容（回答内容リスト）、処理時間、修正回数等の複数の要素を得ることができる。例えばクラスタ作成機能部１４は、この処理結果を特徴ベクトルに変換、抽象化した上で、ベクトル距離を類似度として類似ワーカを抽出する手法でクラスタリングをしてもよい。また、この手法に限らず、クラスタ作成機能部１４は、グラフベースの協調フィルタリング（特許文献１参照）、特徴ベクトルに基づくＫ−ｍｅａｎｓ、ワーカ群に属する全ワーカの特徴ベクトルを行列として行列分解する手法等を用いてもよい。

図５の左図は、クラスタ作成機能部１４が前記の手法によって、ワーカ群に属するワーカをクラスタ１、クラスタ２のいずれかに分類した様子を表す図である。なお、図５の左図におけるクラスタ１、クラスタ２は、図２の同名の要素に対応する。ここで、図５および図２では、説明の都合上、クラスタを２つにしているが、３つ以上のクラスタにワーカを分類してもよい。

ここで、再び図２を参照する。クラスタ１、クラスタ２は、類似タスクに対する処理結果に基づいて生成されているが、「過去のタスクに対して高い能力を持つワーカが、新規タスクに対して同様に能力が高いとは限らない」との問題がある。そこで、タスク割り当てサーバ１０は、それぞれのクラスタの少なくとも一人のワーカである代表者にテストタスクを依頼する（ステップＳ３）。テストタスクは、新規タスクの一部のタスクであって正答（真のラベル、真の値）がわかっているタスクである。そして、タスク割り当てサーバ１０は、テストタスク処理結果を取得し（ステップＳ４）、テストタスク処理結果から新規タスクを依頼するのに最適なクラスタ、すなわちエキスパートクラスタを選択する（ステップＳ５）。なお、代表者は、そのクラスタへの帰属度が高いものを選定することが好ましい。つまり、ランダムに抽出してもよいが、例えば、正解率がそのクラスタにおける平均値に近いワーカを選択する等の統計的な手法を用いることが好ましい。

ステップＳ３からステップＳ５について図１と対応させて説明すると以下のようになる。タスク依頼機能部１６は、クラスタ作成機能部１４からのクラスタと代表者の情報、および処理結果解析機能部１８からの命令に基づいて、クラスタ１の代表者およびクラスタ２の代表者にテストタスクを依頼する（ステップＳ３）。そして、処理結果解析機能部１８は、タスク依頼機能部１６経由で、クラスタ１の代表者およびクラスタ２の代表者からのテストタスクの処理結果を受け取る（ステップＳ４）。処理結果解析機能部１８は、処理時間や修正回数を考慮しつつ回答内容が正答か否かを判断し、クラスタ１、クラスタ２のいずれをエキスパートクラスタにすべきかの判定をする（ステップＳ５）。例えば、処理結果解析機能部１８は、処理時間や修正回数も考慮して算出される正解率に基づいてエキスパートクラスタを定めてもよい。以下の説明では、処理結果解析機能部１８は正解率の良かったクラスタ１をエキスパートクラスタに定めたとする。なお、図５の右図は、クラスタ１がエキスパートクラスタとして選ばれた様子を示すものである。

次に、タスク割り当てサーバ１０は、エキスパートクラスタに本タスク、すなわちテストタスクでない新規タスクの本体を依頼する（ステップＳ６）。エキスパートクラスタに属するワーカから本タスクの処理結果が返されると、タスク割り当てサーバ１０は、その全てを取得して（ステップＳ７）、処理結果を解析してデータベースに登録する（ステップＳ８）。そして、タスク割り当てサーバ１０は、全ての処理結果からシステムとしての処理結果を計算して、リクエスタ端末５０に返す（ステップＳ９）。

ステップＳ６からステップＳ９について図１と対応させて説明すると以下のようになる。タスク依頼機能部１６は、クラスタ作成機能部１４からのエキスパートクラスタに属するワーカの情報、および処理結果解析機能部１８からの命令に基づいて、エキスパートクラスタの全てのワーカに本タスク（テストタスクでない新規タスクの本体）を依頼する（ステップＳ６）。そして、処理結果解析機能部１８は、タスク依頼機能部１６経由で、エキスパートクラスタの全てのワーカから本タスクの処理結果を受け取る（ステップＳ７）。なお、この例では、処理結果解析機能部１８がエキスパートクラスタの全てのワーカを対象としているが、処理結果解析機能部１８はエキスパートクラスタの一部のワーカに本タスクを依頼して処理結果を受け取ってもよい。例えば、一部のワーカに本タスクを依頼する場合、処理結果解析機能部１８は、例えばエキスパートクラスタへの帰属度などに応じて、一部のワーカを選定してもよい。処理結果解析機能部１８は得られた処理結果をタスクＤＢ２２、ワーカＤＢ２４に登録する（ステップＳ８）、このとき、処理結果解析機能部１８は、その正解、不正解以外の処理結果を解析することで、ワーカが不真面目に処理したことが原因か、ワーカの能力不足が原因か、うっかり等のヒューマンエラーが原因か等を解析できる。このような解析により、今後のワーカのクラスタリングの精度（類似のワーカを適切に抽出できる精度）を高めることが可能である。そして、リクエスタ端末５０は、タスクＤＢ２２に登録された本タスクの処理結果から１つのシステムとしての処理結果を計算して、リクエスタ端末５０に返す（ステップＳ９）。例えば、リクエスタ端末５０は、図６のように多数決によってシステムとしての処理結果を求めてもよい。図６の例では、エキスパートクラスタに属するワーカＡ、Ｂ、Ｃの処理結果がそれぞれ「１」、「０」、「１」であるので、多数決によりシステムとしての処理結果を「１」としている。また、クラスタへの所属度等によって多数決の重みを変えてもよい。

以上のように、本実施形態に係るタスク割り当てサーバ１０、タスク割り当て方法およびプログラムによれば、ワーカを過去の処理結果によってクラスタリングすることでスパース性があっても対応可能であり、「対象となる全てのワーカが同じタスクを処理」する必要はない。また、「過去のタスクに対して高い能力を持つワーカが、新規タスクに対して同様に能力が高いとは限らない」ところ、タスク割り当てサーバ１０はテストタスクによって新規タスクに対するワーカの能力を正確に測定することができる。また、テストタスクはワーカ群の一部のワーカに対して行えばよく、「対象となる全てのワーカがテストタスクを処理」する必要はない。よって、前記の実施形態に係るタスク割り当てサーバ１０、タスク割り当て方法およびプログラムによれば、新規タスクに対する適切なワーカを抽出し、スパース性があっても対応可能である。

（第２実施形態）
以下、本発明に係る第２実施形態について、図面を参照して説明する。図７は、本実施形態に係るタスク割り当てサーバ１０のクラスタ作成機能部１４のクラスタリングについて第１実施形態と対比させて説明するための図である。第１実施形態では、エキスパートクラスタは、その前に分類したクラスタ（図５の例ではクラスタ１およびクラスタ２）の中から選択された（図２のステップＳ５）。しかし、本実施形態に係るタスク割り当てサーバ１０は、図７のように事前にクラスタが存在しない状態からエキスパートクラスタを生成する。同時に、ワーカ群のうち、エキスパートクラスタに分類されないワーカは非エキスパートクラスタを生成することになる。

以下に、本実施形態に係るタスク割り当てサーバ１０の処理の流れを、図８を参照して説明する。なお、タスク割り当てサーバ１０、タスク割り当てシステム１のブロック図、ワーカＤＢ２４、タスクＤＢ２２のデータ構造、システムとしての処理結果の生成方法等は第１実施形態と同じであるため説明を省略する。

最初に、タスク割り当てサーバ１０は、リクエスタ端末５０から新規タスクの依頼を受ける（ステップＳ１）。ステップＳ１については第１実施形態と同じである。そして、タスク割り当てサーバ１０は、ワーカ群からランダムにワーカを抽出してテストタスクを依頼する（ステップＳ１３）。ここで、ランダムとは例えば乱数を用いた手法であってもよいし、計算式や統計に基づいて一部のワーカを選択する手法であってもよい。そして、タスク割り当てサーバ１０は、テストタスク処理結果を取得し（ステップＳ１４）、テストタスク処理結果から新規タスクを依頼するのに最適なクラスタ、すなわちエキスパートクラスタを生成する（ステップＳ１５）。ここで、タスク割り当てサーバ１０が生成するエキスパートクラスタは、テストタスク処理結果で正解率の高いワーカを含むクラスタである。

ステップＳ１３からステップＳ１５について図１と対応させて説明すると以下のようになる。タスク依頼機能部１６は、処理結果解析機能部１８からの命令に基づいて、ランダムに選択されたワーカにテストタスクを依頼する（ステップＳ１３）。そして、処理結果解析機能部１８は、タスク依頼機能部１６経由で、ランダムに選択されたワーカからテストタスクの処理結果を受け取る（ステップＳ１４）。処理結果解析機能部１８は、処理時間や修正回数も考慮して算出される正解率に基づいて、正解率の高いワーカ（以下、初期エキスパートとする）の情報をワーカＤＢ２４に登録する。そして、クラスタ作成機能部１４は、初期エキスパートの過去のタスクに対する処理結果を特徴ベクトルに変換、抽象化した上で、ベクトル距離を類似度として類似ワーカを抽出する手法でクラスタリングする（ステップＳ１５）。なお、前記のように、グラフベースの協調フィルタリング等の別の手法が用いられてもよい。このようなクラスタ作成機能部１４のクラスタリングによって、ワーク群に属するワーカは、エキスパートクラスタと非エキスパートクラスタとに分類される。

その後、タスク割り当てサーバ１０は、エキスパートクラスタに本タスク、すなわちテストタスクでない新規タスクの本体を依頼する（ステップＳ１６）。エキスパートクラスタに属するワーカから本タスクの処理結果が返されると、タスク割り当てサーバ１０は、その全てを取得して（ステップＳ１７）、処理結果を解析してデータベースに登録する（ステップＳ１８）。そして、タスク割り当てサーバ１０は、全ての処理結果からシステムとしての処理結果を計算して、リクエスタ端末５０に返す（ステップＳ１９）。ここで、ステップＳ１６〜ステップＳ１９は、それぞれ第１実施形態におけるステップＳ６〜ステップＳ９に対応するため、詳細な説明を省略する。

以上のように、本実施形態に係るタスク割り当てサーバ１０、タスク割り当て方法およびプログラムによれば、第１実施形態と同様に、新規タスクに対する適切なワーカを抽出し、スパース性があっても対応可能である。さらに、本実施形態に係るタスク割り当てサーバ１０等では、テストタスクの処理結果から正解率の高いワーカ（初期エキスパート）を抽出した上で、そのワーカと類似するワーカとで構成される集団をエキスパートクラスタとする（図８のステップＳ１５）。本実施形態に係るタスク割り当てサーバ１０等は、エキスパートであるワーカを把握してからクラスタリングするので、効率的にエキスパートクラスタを生成することが可能である。

（実験例）
図９、図１０は、前記の実施形態のタスク割り当てサーバ１０を用いての実験結果の一例を示す図である。なお、図９は新規タスクとして画像ラベリング（画像について選択肢から正答を選択するもの）を行った場合、図１０は新規タスクとして固有表現ラベリング（画像以外の表現について選択肢から正答を選択するもの）を行った場合の実験結果である。

図９、図１０の横軸はワーカの数を表し、縦軸は正解率を表す。この実験では、ワーカ群として３３名のワーカがおり、２９名以下のワーカをランダムに抽出した場合（点線Ｒ）と、前記の実施形態のタスク割り当てサーバ１０でエキスパートを抽出した場合（実線Ｃ）とを比較している。なお、システムとしての処理結果は多数決によって決定している。

図９に示されるように、ランダムにワーカを抽出した場合には、ワーカの数が減少するにつれて正解率が低下しており、例えばワーカの数が５名の場合には、２９名の場合にくらべて１０％程度の正解率の低下がみられる。一方、前記の実施形態のタスク割り当てサーバ１０でエキスパートを抽出した場合には、ワーカ（すなわち、エキスパートと推定された者）の数が５名であっても、ほとんど正解率が低下していない。

また、図１０の実験結果では、ランダムにワーカを抽出した場合、その人数によらず正解率は約７８％であった。一方、前記の実施形態のタスク割り当てサーバ１０でエキスパートを抽出した場合には、ワーカ（すなわち、エキスパートと推定された者）の数が少なくても、８０％以上の正解率を得られた。いずれの実験でも前記の実施形態の手法によって能力の高いワーカを抽出しており、ランダムにワーカを抽出した場合には多くの人数が必要な正解率（処理結果の品質）をより少ない人数で保つまたは上回ることができている。

以上のように、前記の実施形態に係るタスク割り当てサーバ１０、タスク割り当て方法およびプログラムによれば、ワーカを過去の処理結果によってクラスタリングすることでスパース性があっても対応可能であり、「対象となる全てのワーカが同じタスクを処理」する必要はない。また、「過去のタスクに対して高い能力を持つワーカが、新規タスクに対して同様に能力が高いとは限らない」ところ、タスク割り当てサーバ１０はテストタスクによって新規タスクに対するワーカの能力を正確に測定することができる。また、テストタスクはワーカ群の一部のワーカに対して行えばよく、「対象となる全てのワーカがテストタスクを処理」する必要はない。よって、前記の実施形態に係るタスク割り当てサーバ１０、タスク割り当て方法およびプログラムによれば、新規タスクに対する適切なワーカを抽出し、スパース性があっても対応可能である。

ここで、従来のコンテンツ推薦アルゴリズムと比べると、前記の実施形態に係るタスク割り当てサーバ１０等のアルゴリズム（以下、「タスク割り当てアルゴリズム」とする）は以下のような利点がある。

従来のコンテンツ推薦アルゴリズムとして、例えば「協調フィルタリング」を挙げることができる。「協調フィルタリング」は、複数のユーザーの購入履歴から類似するユーザー同士を見つけ出し、あるユーザーに対して、類似するユーザーの購入履歴から算出した商品を推薦するアルゴリズムである。従来のコンテンツ推薦アルゴリズムとタスク割り当てアルゴリズムとでは、「ユーザー」と「ワーカ」、「コンテンツ」と「タスク」、「購入履歴」と「タスク処理の正解・不正解」とを対比して考えることが可能である。

タスク割り当てアルゴリズムは、情報の粒度を細分化することで類似のワーカを精度よく抽出することができる。コンテンツ推薦アルゴリズムでは、ユーザーがコンテンツを購入したか否かという２値情報で類似のユーザーを選出する。一方、タスク割り当てアルゴリズムは、問題への正解、不正解という２値情報以外にも、回答の入力結果（テキスト入力や選択結果）や、タスク処理に要した時間、処理結果の修正回数等、タスク処理に付随する様々な情報を取得できる。また、不正解の場合であっても、処理結果解析機能部１８が２値情報以外の処理結果を解析することで、ワーカが不真面目に処理したことが原因か、ワーカの能力不足が原因か、うっかり等のヒューマンエラーが原因かを判定することも可能である。そのため、タスク割り当てアルゴリズムは、コンテンツ推薦アルゴリズムと比べて、ワーカの情報をより細かく利用し、類似のワーカを精度よく抽出することができる。

また、タスク割り当てアルゴリズムは、抽出したエキスパートのフィードバック（処理結果）に基づいてアルゴリズムの調整も可能である。コンテンツ推薦アルゴリズムでは、ユーザーに推薦したコンテンツがユーザーにとって好ましいものであったかどうかのフィードバックはユーザーがそのコンテンツを購入したことでしか得られない。一方、タスク割り当てアルゴリズムは、抽出したエキスパートから新規タスクの処理結果を必ず得ることができ、その処理結果（正解、不正解や回答内容等）に基づいてエキスパートの抽出が適切であったかどうかを判定し、タスク割り当てアルゴリズムの調整（例えば内部パラメータの設定）に利用することができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。また、前記実施形態では、タスク割り当てサーバ１０としてコンピュータを例示したが、これらに限らずタブレット、スマートフォン、携帯電話等を用いることが可能である。また、前記実施形態では、インターネットを介してワーカにタスクを依頼するが、インターネットに代えてＬＡＮ、ＷＡＮ等のネットワークが用いられてもよい。

１タスク割り当てシステム
１０タスク割り当てサーバ
１２タスク登録機能部
１４クラスタ作成機能部
１６タスク依頼機能部
１８処理結果解析機能部
２２タスクＤＢ
２４ワーカＤＢ
５０リクエスタ端末
６０Ａ、６０Ｂ、６０Ｎワーカ端末

Claims

ネットワークを介して、新規タスクを処理可能なワーカ群のうちエキスパートに前記新規タスクを割り当てるタスク割り当てサーバであって、
前記ワーカ群の各ワーカが過去に処理したタスクの情報を少なくとも含むワーカ群情報を記憶するワーカＤＢと、
前記ワーカ群情報に基づいて、前記ワーカ群の各ワーカを複数のクラスタのいずれかに分類するクラスタ作成機能部と、
前記新規タスクの一部であるテストタスクの処理結果に基づいて、前記複数のクラスタのうちの１つに属するワーカを、前記エキスパートとする処理結果解析機能部と、
前記エキスパートに前記新規タスクを依頼するタスク依頼機能部と、
を備え、
前記タスク依頼機能部は、
前記新規タスクを依頼する前に、前記複数のクラスタのそれぞれの代表者に前記テストタスクを依頼して、
受け取った前記テストタスクの処理結果を前記処理結果解析機能部へと出力することを特徴とするタスク割り当てサーバ。
前記クラスタ作成機能部は、
前記新規タスクと類似する類似タスクを判定し、
前記ワーカ群の各ワーカを、過去に処理した前記類似タスクの処理結果に基づいて、前記複数のクラスタのいずれかに分類することを特徴とする、請求項１に記載のタスク割り当てサーバ。
サーバによって、ネットワークを介して、新規タスクを処理可能なワーカ群のうちエキスパートに前記新規タスクを割り当てるタスク割り当て方法であって、
前記サーバが、
前記ワーカ群の各ワーカが過去に処理したタスクの情報を少なくとも含むワーカ群情報を記憶するステップと、
前記ワーカ群情報に基づいて、前記ワーカ群の各ワーカを複数のクラスタのいずれかに分類するステップと、
前記新規タスクの一部であるテストタスクの処理結果に基づいて、前記複数のクラスタのうちの１つに属するワーカを、前記エキスパートとするステップと、
前記エキスパートに前記新規タスクを依頼するステップと、
前記新規タスクを依頼するステップの前に、前記複数のクラスタのそれぞれの代表者に前記テストタスクを依頼して、前記テストタスクの処理結果を受け取るステップと、
を含むことを特徴とするタスク割り当て方法。
ネットワークを介して、新規タスクを処理可能なワーカ群のうちエキスパートに前記新規タスクを割り当てるタスク割り当てサーバとして機能するコンピュータに、
前記ワーカ群の各ワーカが過去に処理したタスクの情報を少なくとも含むワーカ群情報を記憶するステップと、
前記ワーカ群情報に基づいて、前記ワーカ群の各ワーカを複数のクラスタのいずれかに分類するステップと、
前記新規タスクの一部であるテストタスクの処理結果に基づいて、前記複数のクラスタのうちの１つに属するワーカを、前記エキスパートとするステップと、
前記エキスパートに前記新規タスクを依頼するステップと、
前記新規タスクを依頼するステップの前に、前記複数のクラスタのそれぞれの代表者に前記テストタスクを依頼して、前記テストタスクの処理結果を受け取るステップと、
を実行させることを特徴とするプログラム。