JP6958552B2

JP6958552B2 - 情報処理装置、情報処理方法、及び、プログラム

Info

Publication number: JP6958552B2
Application number: JP2018522420A
Authority: JP
Inventors: 拓也藤田; 拓也成平; 章中村
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2016-06-09
Filing date: 2017-05-29
Publication date: 2021-11-02
Anticipated expiration: 2037-05-29
Also published as: EP3471049A4; EP3471049A1; JPWO2017212956A1; WO2017212956A1

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、タスクの難易度を推定する場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。

従来、過去に作業者が溶接に要した実績時間、及び、現時点の作業者の習熟度に基づいて、当該作業者が与えられた重量の部品を溶接するのに要する時間を推定する技術が提案されている（例えば、特許文献１参照）。

具体的には、特許文献１に記載の発明では、過去の作業者の各重量の部品の溶接に要した実績時間が、所定の習熟度情報を用いて、現時点での作業者の所要時間に補正される。そして、各重量の部品に対する補正後の所要時間に基づいて所要時間予測式が作成され、所要時間予測式に基づいて、現時点において作業者が与えられた重量の部品を溶接するのに必要な時間が推定される。

特開２０１０−８６９２８号公報

しかしながら、特許文献１に記載の発明では、例えば、溶接とは異なるタスクの所要時間や、過去の実績時間のデータがない作業者の所要時間を推定することは困難である。

そこで、本技術は、タスクの難易度を容易に推定できるようにするものである。

本技術の一側面の情報処理装置は、タスクの特徴量、前記タスクの処理対象となるサンプルの特徴量、及び、前記タスクを実行する作業者の特徴量に基づいて、前記タスクの難易度であるタスク難易度を推定する推定部と、前記タスクを実行する作業者を募集する場合に、前記タスクの内容とともに前記タスク難易度を提示するように制御する提示制御部とを備える。

前記タスクを、ラベル付け、比較、列挙、評価、検索、回答、解答、調査、整理、変換、要約、連想、類推、生成、推薦、計画、詳細化、相談、会話、運搬、製造、設計、及び、テストのうち１つ、又は、２つ以上の組み合わせとすることができる。

前記推定部には、種類の異なるタスクの前記タスク難易度を、少なくとも各タスクの特徴量に基づいて推定させることができる。

前記推定部は、前記タスクの特徴量、前記サンプルの特徴量、及び、前記作業者の特徴量に基づいて前記タスク難易度を推定する第１のモデルを用いることができる。

前記第１のモデルの学習を行う第１の学習部をさらに設けることができる。

前記第１の学習部には、各作業者の各タスクに対する前記タスク難易度の実績データから得られる各タスクの特徴量及び各作業者の特徴量を用いて、前記第１のモデルの学習を行わせることができる。

前記タスクの特徴量、前記サンプルの特徴量、及び、前記作業者の特徴量のうち少なくとも１つの抽出を行う特徴量抽出部をさらに設けることができる。

前記タスク難易度を、人にとっての前記タスクの難易度とすることができる。

前記タスク難易度を、前記タスクの客観的な基準及び主観的な基準のうち少なくとも１つに基づいて表すことができる。

前記提示制御部には、各作業者に対する前記タスク難易度を作業者毎に個別に提示するように制御させることができる。

前記推定部には、テキストに含まれる各問題に対する前記タスク難易度を推定し、推定結果に基づいて前記テキストの難易度を推定させることができる。

本技術の一側面の情報処理方法は、情報処理装置により実行される、タスクの特徴量、前記タスクの処理対象となるサンプルの特徴量、及び、前記タスクを実行する作業者の特徴量に基づいて、前記タスクの難易度であるタスク難易度を推定する推定ステップと、前記タスクを実行する作業者を募集する場合に、前記タスクの内容とともに前記タスク難易度を提示するように制御する提示制御ステップとを含む。

本技術の一側面のプログラムは、タスクの特徴量、前記タスクの処理対象となるサンプルの特徴量、及び、前記タスクを実行する作業者の特徴量に基づいて、前記タスクの難易度であるタスク難易度を推定する推定ステップと、前記タスクを実行する作業者を募集する場合に、前記タスクの内容とともに前記タスク難易度を提示するように制御する提示制御ステップとを含む処理をコンピュータに実行させる。

本技術の一側面においては、タスクの特徴量、前記タスクの処理対象となるサンプルの特徴量、及び、前記タスクを実行する作業者の特徴量に基づいて、前記タスクの難易度であるタスク難易度が推定され、前記タスクを実行する作業者を募集する場合に、前記タスクの内容とともに前記タスク難易度が提示される。

本技術の一側面によれば、タスクの難易度を容易に推定することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した情報処理システムの一実施の形態を示すブロック図である。サーバの構成例を示すブロック図である。サーバのＣＰＵにより実現される機能の構成例を示すブロック図である。タスクの第１の具体例を説明するための図である。タスクの第２の具体例を説明するための図である。タスクの第３の具体例を説明するための図である。タスクの第４の具体例を説明するための図である。難易度推定モデル学習処理を説明するためのフローチャートである。タスク難易度の具体例を説明するための図である。タスク難易度推定処理を説明するためのフローチャートである。学習データの選択方法について説明するための図である。学習データの選択方法について説明するための図である。クラウドソーシングにおける作業者の募集画面の例を示す図である。本技術を適用した場合のクラウドソーシングにおける発注画面の例を示す図である。本技術を適用した場合のクラウドソーシングにおける作業者の募集画面の例を示す図である。本技術を適用した場合のクラウドソーシングにおける作業者の募集画面の例を示す図である。発注画面におけるタスク指示の入力方法の変形例を説明するための図である。数学の問題の難易度の推定に用いる特徴量の抽出方法の例を示す図である。文章問題の例を示す図である。

以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．適用例
３．変形例等

＜＜１．実施の形態＞＞
＜１−１．情報処理システム１の構成例＞
図１は、本技術を適用した情報処理システム１の一実施の形態を示している。

情報処理システム１は、サーバ１１及びクライアント１２−１乃至１２−ｎを含むように構成される。サーバ１１及びクライアント１２−１乃至１２−ｎは、ネットワーク１３を介して相互に接続されており、互いに通信を行う。サーバ１１及びクライアント１２−１乃至１２−ｎの通信方式は、有線又は無線に関わらず、任意の通信方式を採用することが可能である。

サーバ１１は、クライアント１２−１乃至１２−ｎを使用するユーザに対して、各種のサービスを提供する。

例えば、サーバ１１は、クラウドソーシングサービスを提供する。ここで、クラウドソーシングサービスとは、インターネット等を利用してタスクを実行する作業者を募集し、タスクの発注及び受注ができるサービスのことである。例えば、タスクを依頼する発注者は、クライアント１２を介してクラウドソーシングサービスを利用して、タスクの発注を行ったり、タスクの実行結果である成果物を受信したりする。一方、作業者は、クライアント１２を介してクラウドソーシングのサービスを利用して、タスクを受注したり、成果物を送信したりする。

また、サーバ１１は、各種のタスクを実行するためのモデル（以下、タスク実行モデルと称する）の学習を行い、タスク実行モデルを生成する。さらに、サーバ１１は、タスク実行モデルを用いて各種のタスクを実行し、得られた成果物を提示したり、クライアント１２−１乃至１２−ｎを使用するユーザに成果物を提供したりする。

クライアント１２−１乃至１２−ｎは、例えば、スマートフォン、タブレット、携帯電話機、ノート型のパーソナルコンピュータ等の携帯情報端末、デスクトップ型のパーソナルコンピュータ、ゲーム機、動画再生装置、音楽再生装置等により構成される。また、クライアント１２−１乃至１２−ｎは、例えば、眼鏡型、腕時計型、ブレスレット型、ネックレス型、ネックバンド型、イヤフォン型、ヘッドセット型、ヘッドマウント型等の各種のウエアラブル機器により構成される。

クライアント１２−１乃至１２−ｎは、例えば、サーバ１１が提供するサービスやタスクの成果物を利用するのに用いられる。

なお、以下、クライアント１２−１乃至１２−ｎを個々に区別する必要がない場合、単にクライアント１２と称する。

＜１−２．サーバ１１の構成例＞
図２は、サーバ１１の構成例を示している。

サーバ１１においては、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３が、バス１０４により相互に接続されている。バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、例えば、キーボード、マウス、マイクロフォン等の入力デバイスにより構成される。

出力部１０７は、例えば、ディスプレイ、スピーカ等により構成される。

記憶部１０８は、例えば、ハードディスクや不揮発性のメモリ等により構成される。

通信部１０９は、例えば、有線又は無線の通信装置、ネットワークインタフェース等により構成される。通信部１０９には、任意の通信方式を適用することが可能であり、複数の通信方式を適用することも可能である。

ドライブ１１０は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。

サーバ１１では、例えば、ＣＰＵ１０１が、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、一連の処理が行われる。

サーバ１１（ＣＰＵ１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

サーバ１１では、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、以下、サーバ１１の各部がバス１０４や入出力インタフェース１０５を介して情報等の送受信を行う場合において、バス１０４及び入出力インタフェース１０５の記載を省略する。例えば、通信部１０９が、バス１０４及び入出力インタフェース１０５を介して、ＣＰＵ１０１に受信データを供給する場合、バス１０４及び入出力インタフェース１０５の記載を省略して、通信部１０９がＣＰＵ１０１に受信データを供給すると表現する。

＜１−３．サーバ１１の機能の構成例＞
図３は、サーバ１１のＣＰＵ１０１により実現される機能のうち、本技術に関連する機能の構成例を示すブロック図である。ＣＰＵ１０１が所定の制御プログラムを実行することにより、特徴量抽出部２０１、タスク関連処理部２０２、及び、提示制御部２０３を含む機能が実現される。また、タスク関連処理部２０２は、難易度推定モデル学習部２１１、難易度推定部２１２、タスク実行モデル学習部２１３、及び、タスク実行部２１４を含むように構成される。

特徴量抽出部２０１は、与えられたデータの特徴量を抽出する。例えば、特徴量抽出部２０１は、タスクの特徴量、タスクの処理対象となるサンプルの特徴量、及び、タスクを実行する作業者の特徴量を抽出する。特徴量抽出部２０１は、特徴量の抽出結果を示すデータを、タスク関連処理部２０２に供給したり、ＲＡＭ１０３又は記憶部１０８に記憶させたりする。

難易度推定モデル学習部２１１は、難易度推定モデルの学習を行う。ここで、難易度推定モデルとは、各種のタスクが人にとってどのくらい難しいかを示すタスク難易度を推定するモデルであり、タスク難易度を推定するというタスクを実行するタスク実行モデルの一種である。難易度推定モデル学習部２１１は、学習の結果得られた難易度推定モデルに関する情報を提示制御部２０３に供給したり、ＲＡＭ１０３又は記憶部１０８に記憶させたりする。

難易度推定部２１２は、難易度推定モデル学習部２１１により生成された難易度推定モデルを用い、タスクに関する情報に基づいて、タスク難易度の推定を行う。難易度推定部２１２は、タスク難易度の推定結果を、タスク関連処理部２０２の各部及び提示制御部２０３に供給したり、ＲＡＭ１０３又は記憶部１０８に記憶させたりする。

タスク実行モデル学習部２１３は、難易度推定モデルを除くタスク実行モデルの学習を行う。タスク実行モデル学習部２１３は、学習の結果得られたタスク実行モデルに関する情報を提示制御部２０３に供給したり、ＲＡＭ１０３又は記憶部１０８に記憶させたりする。

タスク実行部２１４は、タスク実行モデル学習部２１３により生成されたタスク実行モデルを用いて、各種のタスクを実行する。難易度推定部２１２は、タスクを実行することにより得られた成果物を、タスク関連処理部２０２の各部及び提示制御部２０３に供給したり、ＲＡＭ１０３又は記憶部１０８に記憶させたりする。

提示制御部２０３は、出力部１０７やクライアント１２における各種の情報の提示を制御する。例えば、提示制御部２０３は、タスクの実行結果である成果物の出力部１０７やクライアント１２における提示を制御する。

＜１−４．タスクの例＞
難易度推定モデルを用いてタスク難易度を推定することが可能なタスクは、人が実行可能なタスクであれば特に限定されるものではない。以下に、難易度推定モデルの適用が可能なタスクの類型を挙げる。

ａ）ラベル付け
「ラベル付け」は、例えば、所定の条件に従ってサンプルにラベルを付けるタスクである。例えば、以下のようなタスクが「ラベル付け」に該当する。

・「鳥」の画像であれば、「鳥」ラベルを付けて。
・画像内の「鳥」の領域にラベルを付けて。
・ウエブサイトにカテゴリを付けて。
・写真の良さを５段階で評価して。
・小説のアイディアを５段階で評価して。
・顧客からの質問又は要望に優先順位を付けて。
・個人情報に当たるか否かのラベルを付けて。
・画像内において閲覧に年齢制限が必要な領域にラベルを付けて。
・自然な日本語かどうかを評価して。

例えば、文章に付けるラベルには、以下のようなものがある。

・ポジティブ又はネガティブ
・トピック（例えば、政治、経済、スポーツ等）
・固有表現部分
・品詞
・形態素の切れ目

なお、固有表現部分、品詞、及び、形態素の切れ目のラベル付けは、系列ラベリングの一種である。

例えば、画像に付けるラベルには、以下のようなものがある。

・タイトル
・キャプション
・画像内のオブジェクトの種類

ｂ）比較
「比較」は、例えば、複数のサンプルを比較するタスクである。例えば、以下のようなタスクが「比較」に該当する。

・２枚の写真が同じ人物の写真か否かを判定して。
・２つの宣伝文句のうちより良い方を選択して。
・２つの楽曲のうち、よりリラックスできる方を選択して。

ｃ）列挙
「列挙」は、例えば、所定の条件を満たすサンプルを列挙するタスクである。例えば、以下のようなタスクが「列挙」に該当する。

・予定表を見たいときに音声エージェントに話しかける言葉をできる限り挙げて。
・妻又は夫への贈り物のアイディアを挙げて。
・ある商品の宣伝文句を挙げて。

ｄ）評価
「評価」は、タスクの出来栄え等を評価するタスクである。例えば、以下のようなタスクが、「評価」に該当する。

・画像からのテキスト書き起こしが、どの程度合っているかを評価して。

ｅ）検索
「検索」は、例えば、条件を満たすサンプルを検索するタスクである。例えば、以下のようなタスクが「検索」に該当する。

・ディープラーニングに関するＷｅｂページを集めて。
・一番安くカメラＡを買えるＥＣ（Electronic Commerce）サイトを探して。
・電子メール関連のベンチャー企業をリストアップして。
・ウエブ上で画像の加工ができるサービスを探して。

ｆ）回答／解答／調査
「回答／解答／調査」は、例えば、質問に対する回答を作成したり、問題に対する解答を作成したり、質問や問題の調査を行ったりするタスクである。例えば、以下のようなタスクが「回答／解答／調査」に該当する。

・ディープラーニングとは何ですか？
・数学、国語、英語、社会、理科等に関する問題を解いて。
・数学、国語、英語、社会、理科等に関する問題に適切なヒントを付けて。

ｇ）整理
「整理」は、例えば、サンプルを整理するタスクである。例えば、以下のようなタスクが「整理」に該当する。

・画像を整理して。
・ToDoを整理して。

ｈ）変換／要約
「変換／要約」は、例えば、情報を変換したり、要約したりするタスクである。例えば、以下のようなタスクが「変換／要約」に該当する。

・画像にタイトルを付けて。
・画像に写っている文字をテキスト化して。
・レシートに書かれている購入商品とその値段を書き起こして。
・日本語の文章を英語に翻訳して。
・この日本語の文章をより簡単な日本語の文章にして。
・この本を４００字で要約して。

ｉ）連想／類推
「連想／類推」は、例えば、与えられた条件から連想されるサンプルを挙げたり、複数のサンプル間の関係を求めたり、与えられた条件に対応するサンプルを他の関係に基づいて類推したりするタスクである。例えば、以下のようなタスクが「連想／類推」に該当する。

・アーティストＡの代表曲は？
・魚にとっての鱗は、鳥にとって何？
・魚と秋刀魚の関係は？

ｊ）生成
「生成」は、例えば、与えられた条件を満たすサンプルを生成するタスクである。例えば、以下のようなタスクが「生成」に該当する。

・鳥のイラストを描いて。
・打ち合わせへの招待に対して丁寧に断るメールを返信して。
・場所Ａの写真を撮ってきて。
・鳥の写真を撮ってきて。
・場所Ｂの音を録音してきて。

また、タスクの種類に関わらず、タスクを実行する作業者からタスクを指示した発注者に対して、タスクに関する相談が行われる場合がある。例えば、作業者が、「鳥のイラストを描いて」というタスクに対して情報が不足していると判断した場合、タスクの内容をより具体化するために発注者に相談する場合がある。この「タスクの内容を具体化したタスク指示を生成するタスク」も、「生成」のタスクの一種とみなすことができる。このタスクの成果物は、例えば、より具体化されたタスク指示である。

ｋ）推薦
「推薦」は、例えば、与えられた条件を満たすサンプルの推薦を行うタスクである。例えば、以下のようなタスクが「推薦」に該当する。

・北海道で行った方がよい観光地を教えて。
・作業するときに最適なＢＧＭを教えて。
・作業するときに最適なＢＧＭを再生して。

ｌ）計画／詳細化
「計画／詳細化」は、例えば、与えられた目的を実現するための具体的な手段を考えたり、詳細化したりするタスクである。例えば、以下のようなタスクが「計画／詳細化」に該当する。

・海に遊びに行きたいから、アイディアと計画を考えて。

ｍ）相談／会話
「相談／会話」は、例えば、悩み事等の相談を行ったり、他の人と会話したりするタスクである。例えば、以下のようなタスクが「相談／会話」に該当する。

・悩みを聞いて。

ｎ）運搬
「運搬」は、例えば、物（人等の生き物を含む）を運ぶタスクである。例えば、以下のようなタスクが「運搬」に該当する。

・荷物を場所Ａから場所Ｂまで運んで。

ｏ）製造／設計
「製造／設計」は、例えば、何かを作ったり、設計したりするタスクである。例えば、以下のようなタスクが「製造／設計」に該当する。

・ボールペンを組み立てて。
・この荷物（例えば、壊れやすいもの）を安全に運べる箱を設計して。

ｐ）テスト
「テスト」は、例えば、製品やサービス等のテストを実行するタスクである。例えば、以下のようなタスクが「テスト」に該当する。

・このカメラで場所Ａから場所Ｚまでの写真を撮ってきて。
・このサービスを１ヶ月間使ってみて。

ｑ）その他
以上のタスクの類型は、その一例であり、他にも以下のようなタスクが挙げられる。

・歯を治療して。
・会議室の予約をとって。
・道路を工事して。
・この製品を修理して。
・ビル内を掃除して。
・この商品を売ってきて。
・リスト内の商品を買ってきて。

なお、各タスクの類型は、必ずしも明確に分かれるものではなく、複数の類型に含まれるタスクや、複数の類型を組み合わせたタスクが存在する。

次に、タスクの表現方法の例について説明する。タスクの表現方法には、例えば、シングルラベル表現、マルチラベル表現、マイクロタスク表現、自然文表現等がある。

シングルラベル表現は、タスクを１つの定義されたラベルにより表現するものである。例えば、シングルラベル表現では、鳥のラベル付けをするタスクが、「鳥のラベル付け」という１つのラベルにより表現される。

マルチラベル表現は、タスクを構成する複数のラベルによりタスクを表現するものである。例えば、マルチラベル表現では、鳥のラベル付けをするタスクが、「ラベル付け」「鳥」という２つのラベルにより表現される。

マイクロタスク表現は、タスクをマイクロタスクに分解して表現するものである。例えば、マイクロタスク表現では、鳥の嘴の色をラベル付けするタスクに対して、DescribeColor（Find（鳥の嘴））という表現が用いられる。ここで、DescribeColor（）は、対象の色を表現するマイクロタスクであり、Find（）は、対象を見つけるマイクロタスクである。

自然文表現は、タスクを自然文で表現するものである。例えば、自然文表現では、鳥のラベル付けをするタスクに対して、「鳥であればラベルをつけて」という表現が用いられる。

なお、各表現方法は、相互に変換したり、組み合わせたりすることができる。

また、タスクの中には、処理対象となるサンプルを用いるものと、サンプルを用いないものが存在する。例えば、図４に示される「鳥がいたらTrueを付けて」というタスクは、サンプルを用いるタスクである。この場合、タスクは自然文で与えられ、画像がサンプルとして与えられる。そして、True又はFalseのラベルが、成果物として得られる。

また、図５に示される「画像にタイトルを付けて」というタスクも、サンプルを用いるタスクである。この場合、タスクは自然文で与えられ、画像がサンプルとして与えられる。そして、「小犬」等のテキストが、成果物として得られる。

一方、図６に示される「機器の音量を大きくしたいと考えたときに、何と発話するのか列挙して」というタスクは、サンプルを用いないタスクである。この場合、タスクは自然文で与えられ、サンプルは与えられない。そして、「音をもっと大きくして」、「音量をあげて」、「音大きくして」、「聞こえるようにして」、「もっと大きくして」等のテキストが、成果物として得られる。

また、図７に示される「花のイラストを描いて」というタスクも、サンプルを用いないタスクである。この場合、タスクは自然文で与えられ、サンプルは与えられない。そして、画像が、成果物として得られる。

＜１−５．難易度推定モデル学習処理＞
次に、図８のフローチャートを参照して、サーバ１１により実行される難易度推定モデル学習処理について説明する。

難易度推定モデルは、上述したように人にとってのタスクの難易度であるタスク難易度を推定するためのモデルである。例えば、難易度推定モデルは、次式（１）の関数ｆ１により表される。

ｙ＝ｆ１（ｘ１,ｘ２，ｘ３）・・・（１）

ここで、ｘ１は、タスクｘ１の特徴量を表すベクトル（以下、タスクベクトルと称する）である。ｘ２は、タスクｘ１の処理対象となるサンプルｘ２の特徴量を表すベクトル（以下、サンプルベクトルと称する）である。ｘ３は、タスクｘ１を実行する作業者ｘ３の特徴量を表すベクトル（以下、作業者ベクトルと称する）である。すなわち、関数ｆ１は、作業者ｘ３がサンプルｘ２を処理対象とするタスクｘ１を実行する場合のタスク難易度ｙを推定する難易度推定モデルである。また、この関数ｆ１を用いることにより、異なるタスク（任意のタスク）の難易度を１つの難易度推定モデルにより推定することができる。

ここで、タスク難易度は、客観的な基準又は主観的な基準に基づいて表される。

例えば、客観的な基準としては、タスクの所要時間、タスクの実行結果である成果物の正確性、成果物の完成度等が挙げられる。

タスクの所要時間を基準とする場合、例えば、各作業者の所要時間の平均値が短いタスクほどタスク難易度が低くなり、所要時間の平均値が長いタスクほどタスク難易度が高くなる。

成果物の正確性は、例えば、正解があるタスクの場合、成果物の正答率で表される。例えば、正答率が高いタスクほどタスク難易度が低くなり、正答率が低いタスクほどタスク難易度が高くなる。

成果物の完成度を基準とする場合、例えば、各作業者の成果物の完成度の平均値が高いタスクほどタスク難易度が低くなり、各作業者の成果物の完成度の平均値が低いタスクほどタスク難易度が高くなる。或いは、例えば、作業者間の成果物の完成度のばらつきが小さいタスクほどタスク難易度が低くなり、作業者間の成果物の完成度のばらつきが大きいタスクほどタスク難易度が高くなる。

主観的な基準としては、例えば、作業者のタスクに対する確信度、作業者のタスクに対する印象等が用いられる。

作業者のタスクに対する確信度は、例えば、タスクの成果物に対する作業者の自信により表される。例えば、成果物に対して自信を持つ作業者の割合が大きいタスクほどタスク難易度が低くなり、成果物に対して自信を持つ作業者の割合が小さいタスクほどタスク難易度が高くなる。

また、例えば、タスクを質問と見なすことができ、サンプルが画像に限定される場合、例えば、タスク難易度には、Visual Question Answering（VQA）によって得られるAnswerの確信度を用いることができる。

さらに、作業者のタスクに対する印象を基準とする場合、例えば、難しいと感じる作業者の割合が小さいタスクほどタスク難易度が低くなり、難しいと感じる作業者の割合が大きいタスクほどタスク難易度が高くなる。

なお、複数の基準を用いてタスク難易度を表すようにしてもよい。複数の基準を用いる場合、客観的な基準のみ又は主観的な基準のみを用いてタスク難易度を表すようにしてもよいし、客観的な基準と主観的な基準を組み合わせてタスク難易度を表すようにしてもよい。

また、上述した式（１）に示されるように、タスク難易度は、タスク、サンプル、及び、作業者に影響される。

例えば、タスク難易度は、タスク自身の難易度、及び、要求されるタスクの完成度や判定基準に影響される。例えば、画像に鳥が写っているか否かのラベルを付けるタスクと、画像内の鳥の種類のラベルを付けるタスクとでは、前者の方がタスク難易度は低くなり、後者の方がタスク難易度は高くなる。また、例えば、鳥の絵を描くタスクの場合、要求される絵の完成度が低いほどタスク難易度は低くなり、要求される絵の完成度が高いほどタスク難易度は高くなる。

また、例えば、タスク難易度は、タスクの処理対象となるサンプルに影響される。例えば、画像に鳥が写っているか否かのラベルを付けるタスクに対するサンプルとして、図９のＡの画像と図９のＢの画像が与えられた場合、図９のＡの画像に対するタスク難易度の方が、図９のＢの画像に対するタスク難易度より低くなる。

また、タスク難易度は、例えば、作業者の能力、知識、経験等に影響される。例えば、運動神経や反射神経が要求されるタスクのタスク難易度は、作業者の運動神経や反射神経により大きく影響される。また、例えば、画像内の鳥の種類を表すラベルを付けるタスクは、鳥の知識を有する作業者にとっては簡単であり、タスク難易度が低くなるが、鳥の知識を有していない作業者にとっては難しく、タスク難易度が高くなる。

なお、難易度推定モデルの入力データには、必ずしもタスクベクトル、サンプルベクトル、及び、作業者ベクトルを全て用いる必要はなく、必要に応じて１つ又は２つのベクトルのみが用いられる場合がある。次式（２）乃至（７）は、タスクベクトル、サンプルベクトル、及び、作業者ベクトルのうち１つ又は２つを入力データに用いた難易度推定モデルの例を示している。

ｙ＝ｆ２（ｘ１）・・・（２）

関数ｆ２は、入力データがタスクベクトルのみの難易度推定モデルである。例えば、関数ｆ２は、「イラストを描いて」、「悩みを聞いて」等のサンプルを用いないタイプの任意のタスクのタスク難易度を、作業者の違いを考慮せずに推定する場合に用いられる。或いは、例えば、関数ｆ２は、「サンプルｘ２のタイトルを付けて」等のサンプルを用いるタイプの任意のタスクのタスク難易度を、サンプル及び作業者の違いを考慮せずに推定する場合に用いられる。

ｙ＝ｆ３（ｘ２）・・・（３）

関数ｆ３は、対象となるタスクが予め決まっており（タスクが固定されており）、入力データがサンプルベクトルのみの難易度推定モデルである。関数ｆ３は、例えば、サンプルを用いるタイプの所定のタスクのサンプル毎のタスク難易度を、作業者の違いを考慮せずに推定する場合に用いられる。

ｙ＝ｆ４（ｘ３）・・・（４）

関数ｆ４は、タスクが固定されており、入力データが作業者ベクトルのみの難易度推定モデルである。関数ｆ４は、例えば、サンプルを用いないタイプの所定のタスクの作業者毎のタスク難易度を推定する場合に用いられる。或いは、関数ｆ４は、例えば、サンプルを用いるタイプの所定のタスクの作業者毎のタスク難易度を、サンプルの違いを考慮せずに推定する場合に用いられる。

ｙ＝ｆ５（ｘ１，ｘ２）・・・（５）

関数ｆ５は、入力データがタスクベクトル及びサンプルベクトルである難易度推定モデルである。例えば、関数ｆ５は、サンプルを用いるタイプの任意のタスクのサンプル毎のタスク難易度を、作業者の違いを考慮せずに推定する場合に用いられる。

ｙ＝ｆ６（ｘ１，ｘ３）・・・（６）

関数ｆ６は、入力データがタスクベクトル及び作業者ベクトルである難易度推定モデルである。例えば、関数ｆ６は、サンプルを用いないタイプの任意のタスクの作業者毎のタスク難易度を推定する場合に用いられる。或いは、例えば、関数ｆ６は、サンプルを用いるタイプの任意のタスクの作業者毎のタスク難易度を、サンプルの違いを考慮せずに推定する場合に用いられる。

ｙ＝ｆ７（ｘ２，ｘ３）・・・（７）

関数ｆ７は、タスクが固定されており、入力データがサンプルベクトル及び作業者ベクトルである難易度推定モデルである。関数ｆ７は、例えば、サンプルを用いるタイプの所定のタスクのサンプル毎及び作業者毎のタスク難易度を推定する場合に用いられる。

なお、以下、関数ｆ１乃至ｆ７を個々に区別する必要がない場合、単に関数ｆと称する。

図８の説明に戻り、ステップＳ１において、特徴量抽出部２０１は、学習データが入力されたか否かを判定する。学習データが入力されたと判定された場合、処理はステップＳ２に進む。

ここで、学習データとは、難易度推定モデルの学習用のデータであり、入力データ、及び、入力データに対するタスク難易度を示す正解データが含まれる。例えば、入力データには、タスク、サンプル、及び、作業者（を表すデータ）のうち１つ以上が含まれる。なお、入力データに含まれるデータの種類は、上述した関数ｆ１乃至ｆ７のいずれの難易度推定モデルを生成するかにより異なる。

ステップＳ２において、特徴量抽出部２０１は、学習データの入力データの特徴量を抽出する。

具体的には、入力データにタスクが含まれる場合、特徴量抽出部２０１は、例えば、以下の方法によりタスクの特徴量を抽出する。

タスクがテキストデータで表現されている場合、例えば、Bag-of-Words(BoWs)、N-gram、RNN(Recurrent Neural network)等の手法によりタスクの特徴量が抽出される。

また、タスクがラベルで表現されている場合、例えば、条件を満たすサンプルのみを選択するタスクで、対象が「鳥」といったラベルで表現されている場合、そのラベルが特徴量としてそのまま用いられる。この場合、例えば、1-hot encodingにより特徴量が表される。或いは、例えば、タスクの特徴量が埋め込み表現（embeddingした表現）を用いた特徴量に変換される。この場合、例えば、ｎ次元の実数変数にカテゴリ変数を変換した表現により特徴量が表される。

また、例えば、タスクが自然文で表現されている場合、そのタスクを入力データとし、１サンプルあたりの所要時間を正解とする回帰分析により得られるタスクの所要時間推定値をタスクの特徴量に用いてもよい。

そして、特徴量抽出部２０１は、タスクの特徴量をベクトル化したタスクベクトルを生成する。

また、入力データにサンプルが含まれる場合、特徴量抽出部２０１は、例えば、以下の方法によりサンプルの特徴量を抽出する。

サンプルにテキストデータが含まれる場合、例えば、BoWs、N-gram、NN（特にRNN）等の手法を用いて、テキストデータの特徴量が抽出される。

サンプルに画像データが含まれる場合、例えば、NN（特に、CNN(Convolutional Neural Network)）を用いた特徴量、HOG(Histograms of Oriented Gradients)、SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)、Haar-Like等の特徴量が画像データから抽出される。

サンプルに音声データが含まれる場合、例えば、NN（特に、MLP(Multi-Layer Perceptron)やCNN）による特徴量、メル周波数ケプストラム係数等の特徴量が音声データから抽出される。

サンプルから触覚による特徴量を抽出する場合、例えば、表面の粗さを示すパラメータが特徴量として抽出される。

サンプルから味覚による特徴量を抽出する場合、例えば、味に関する成分の濃度が特徴量として抽出される。

サンプルから嗅覚による特徴量を抽出する場合、例えば、においに関する成分の濃度が特徴量として抽出される。

そして、特徴量抽出部２０１は、サンプルの特徴量をベクトル化したサンプルベクトルを生成する。

また、学習データに作業者が含まれる場合、特徴量抽出部２０１は、作業者の特徴量を抽出する。例えば、特徴量抽出部２０１は、入力された作業者に関するデータや、事前に登録されている作業者に関するデータ（例えば、プロファイル等）から作業者の特徴量を抽出する。

そして、特徴量抽出部２０１は、作業者の特徴量をベクトル化した作業者ベクトルを生成する。

特徴量抽出部２０１は、生成した各特徴量ベクトルを含む学習データを難易度推定モデル学習部２１１に供給する。

ステップＳ３において、難易度推定モデル学習部２１１は、モデルを更新する。例えば、難易度推定モデル学習部２１１は、取得した学習データを用いて、所定の手法の機械学習を行うことにより、難易度推定モデルを更新する。

例えば、「画像に写っている物体の名称を列挙する」という固定されたタスクの難易度推定モデルを学習する場合、画像（サンプル）を入力データとし、１つの画像当たりの所要時間を正解データとする学習データを用いた回帰分析が行われる。

また、例えば、自然文で表現された任意のタスクの難易度推定モデルを学習する場合、少なくともタスクを含み、必要に応じて、サンプル、作業者を含む入力データ、及び、タスクの所要時間により表される正解データを含む学習データを用いた回帰分析が行われる。

難易度推定モデル学習部２１１は、更新した難易度推定モデルに関する情報を記憶部１０８に記憶させる。

その後、処理はステップＳ４に進む。

一方、ステップＳ１において、学習データが入力されていないと判定された場合、ステップＳ２及びステップＳ３の処理はスキップされ、処理はステップＳ４に進む。

ステップＳ４において、難易度推定モデル学習部２１１は、学習を継続するか否かを判定する。学習を継続すると判定された場合、処理はステップＳ１に戻る。

その後、ステップＳ４において、学習を終了すると判定されるまで、ステップＳ１乃至Ｓ４の処理が繰り返し実行され、難易度推定モデルの学習が行われる。

一方、ステップＳ４において、難易度推定モデル学習部２１１は、難易度推定モデルの学習を終了する条件を満たした場合、学習を終了すると判定し、難易度推定モデル学習処理は終了する。

難易度推定モデルの学習を終了する条件には、例えば、以下の条件のうちの１つ以上が設定される。

・所定の学習期間が経過したとき
・学習済みの学習データの量が所定の閾値を超えたとき
・過去の学習データを用いた場合の難易度推定モデルの推定精度が所定の閾値を超えたとき
・難易度推定モデルの内部パラメータの変化量が所定の閾値未満になったとき

なお、難易度推定モデルの学習において、例えば、各作業者の各タスクに対するタスク難易度の実績データに基づいて、各タスクのタスクベクトル及び各作業者の作業者ベクトルを求め、学習データに用いることも可能である。

具体的には、次式（８）の左辺は、各作業者の各タスクに対するタスク難易度（例えば、タスクの所要時間）の実績値を行列により表したものである。例えば、ｒ_ｎｍは、作業者ｎのタスクｍに対するタスク難易度を示している。また、Ｎは総作業者数を示し、Ｍは総タスク数を示している。なお、必ずしも全ての作業者とタスクの組み合わせに対するタスク難易度の実績値は必要ない。

ここで、例えば難易度推定モデル学習部２１１は、行列分解を用いて、式（８）の左辺の行列を、右辺に示されるように作業者の潜在ベクトル群とタスクの潜在ベクトル群とに分解する。

作業者の潜在ベクトル群は、各作業者の潜在ベクトルｕ_１乃至潜在ベクトルｕ_Ｎからなり、タスクの潜在ベクトル群は、各タスクの潜在ベクトルｖ_１乃至潜在ベクトルｖ_Ｎからなる。潜在ベクトルｕ_ｎは、ｕ_ｎ１からｕ_ｎｋまでのｋ個の要素からなり、潜在ベクトルｖ_ｍは、ｖ_ｎ１からｖ_ｎｋまでのｋ個の要素からなる。そして、作業者ｎのタスクｍに対するタスク難易度ｒ_ｎｍは、式（９）に示されるように、潜在ベクトルｕ_ｎと潜在ベクトルｖ_ｍの内積により近似される。

なお、この行列分解のアルゴリズムには、例えば、Probabilistic Matrix Factorization（PMF）等を用いることができる。

そして、難易度推定モデルの学習データのタスクベクトルに潜在ベクトルｖ_ｍを用い、作業者ベクトルに潜在ベクトルｕ_ｎを用いることが可能である。

このように、タスク難易度の実績データに基づいて、人手による特徴量の設計を必要とせずに、難易度推定モデルの学習データ用のタスクベクトル及び作業者ベクトルを得ることができる。

＜１−６．タスク難易度推定処理＞
次に、図１０のフローチャートを参照して、サーバ１１により実行されるタスク難易度推定処理について説明する。なお、この処理は、例えば、タスク難易度を推定する対象となる入力データがサーバ１１に入力されたとき開始される。入力データには、タスク、サンプル、及び、作業者（を表すデータ）のうち１つ以上が含まれる。

ステップＳ１０１において、特徴量抽出部２０１は、図８のステップＳ２の処理と同様に、入力データの特徴量を抽出する。そして、特徴量抽出部２０１は、抽出した特徴量からなる特徴量ベクトルを難易度推定部２１２に供給する。この特徴量ベクトルには、タスクベクトル、サンプルベクトル、及び、作業者ベクトルのうち１つ以上が含まれる。

ステップＳ１０２において、難易度推定部２１２は、タスク難易度を推定する。具体的には、難易度推定部２１２は、記憶部１０８に記憶されている難易度推定モデルに、特徴量抽出部２０１から供給された特徴量ベクトルを適用することにより、タスク難易度を推定する。難易度推定部２１２は、例えば、タスク難易度の推定結果を提示制御部２０３に供給したり、ＲＡＭ１０３又は記憶部１０８に記憶させたりする。

ステップＳ１０３において、サーバ１１は、タスク難易度を出力する。例えば、提示制御部２０３は、タスク難易度の推定結果を出力部１０７に供給し、出力部１０７のディスプレイに表示させる。また、例えば、提示制御部２０３は、タスク難易度の推定結果を、通信部１０９及びネットワーク１３を介してクライアント１２に送信し、クライアント１２においてタスク難易度の推定結果を提示させる。

その後、タスク難易度推定処理は終了する。

以上のようにして、タスクの難易度の推定方法の汎用性を高め、様々なタスクの難易度を容易に推定することが可能になる。

例えば、過去に実績のない未知のタスク、未知のサンプル、又は、未知の作業者に対するタスク難易度を容易に推定することが可能になる。具体的には、例えば、上述した特許文献１のように特定のタスクに限定されることなく、任意のタスクに対するタスク難易度を容易に推定することが可能になる。また、例えば、過去にタスクの実績がない作業者に対するタスク難易度を推定することが可能になる。

また、サンプルや作業者を考慮せずにタスク難易度を推定したり、サンプル毎又は作業者毎にタスク難易度を推定したりすることが可能になる。

さらに、後述する能動学習等を用いて難易度推定モデルの学習精度を高めることにより、タスク難易度の推定精度を向上させることができる。

＜＜２．適用例＞＞
以下、本技術の適用例について説明する。

＜２−１．能動学習（Active Learning）への適用例＞
例えば、タスク難易度を能動学習に適用することができる。

機械学習では、学習データの作成、特に学習データの正解データの作成（例えば、ラベル付け等）に多大な労力と時間を要する。そこで、学習効率の高い学習データを選択して用いることで、より少ない学習データで精度の高いモデルを生成する能動学習の研究が進められている。

ここで、学習効率の高い学習データとは、例えば、モデルの完成度を大きく向上させることができるデータのことである。例えば、”A. Burr, "Active learning literature survey," Technical Report 2010-09-14, University Wisconsin Madison, Computer Sciences Technical Report, 2010.”等によれば、学習データに用いるサンプルを選択する基準には、以下のようなものがある。

・Uncertainly Sampling：（機械にとって）最も不確かなサンプルを選ぶ。
・Query-By-Committee：多数決で票が割れたサンプルを選ぶ。
・Expected Model Change：モデルの変化が最も大きそうなサンプルを選ぶ。
・Expected Error Reduction：エラーを最も減少させそうなサンプルを選ぶ。
・Density-Weighted Methods：特徴量空間上で密度が高い部分のサンプルを優先する。
・Balance exploration and exploitation：学習されているモデルを利用した活用と、探索のバランスを取る（多腕バンディット問題として解く）。

以上の条件に従ってサンプルを選択し、学習データを作成することで、学習データの作成にかかるコストを削減し、学習効率を高めることができる。

ここで、例えば、機械学習においてコンピュータ等の機械にとって不確かなサンプルが、必ずしも人にとって不確かなサンプルであるとは限らない。例えば、機械にとってラベル付けの難易度が高いサンプルが、必ずしも人にとってラベル付けの難易度が高いサンプルであるとは限らない。換言すれば、機械にとって不確かなサンプルの中には、例えば、本当に不確かなサンプル（例えば、人が見てもラベル付けが困難なサンプル）と、本当は明確なサンプル（例えば、人が見れば確実なラベル付けができるサンプル）とがある。

例えば、図１１のＡ乃至図１１のＣのサンプル（画像）に対して「画像に鳥が写っているか否かを示すラベルを付ける」というタスクを実行する場合、機械にとっては、図１１のＡのサンプルに対する不確かさは低く、図１１のＢ及び図１１のＣのサンプルに対する不確かさは同程度に高い。すなわち、機械にとっては、図１１のＡのサンプルに対するラベル付けの難易度は低く、図１１のＢ及び図１１のＣのサンプルに対するラベル付けの難易度は同程度に高い。従って、図１１のＢ又は図１１のＣのサンプルを用いた場合の学習効果は、図１１のＡのサンプルを用いた場合の学習効果より高くなる。

一方、人にとっては、図１１のＡ及び図１１のＣのサンプルに対する不確かさは同程度に低く、図１１のＢのサンプルに対する不確かさは高い。すなわち、人にとっては、図１１のＡ及び図１１のＣのサンプルに対するラベル付けの難易度は同程度に低く、図１１のＢのサンプルに対するラベル付けの難易度は高い。

従って、図１１のＡ乃至図１１のＣのサンプルの中から学習に用いるサンプルを１つ選択する場合、図１１のＣのサンプルを選択することにより、学習データの作成（ラベル付け）に要するコストを抑制しつつ、学習効果を高めることができる。

また、図１２は、特徴量１及び特徴量２に基づいてサンプルにラベル付けする場合の特徴量空間の例を示している。図内の丸で示される点は、人が第１のクラスとラベル付けしたサンプルを表す。バツで表される点は、人が第２のクラスとラベル付けしたサンプルを表す。三角で表される点は、人がまだラベル付けしていないサンプルを表す。また、点線ｃは、これまでの学習処理により得られた、サンプルを分類するための識別平面を表す。

ここで、図内の三角で表されるサンプルｓ１及びサンプルｓ２の中から、次の学習データに用いるサンプルを選択する場合について説明する。なお、以下、サンプルｓをラベル付けする場合の人にとっての不確かさ（すなわち、タスク難易度）を推定する関数をｆ（ｓ）とし、サンプルｓを分類する場合の機械にとっての確かさ（以下、確信度と称する）を推定する関数をｇ（ｓ）とする。関数ｆ（ｓ）の値は、サンプルｓに対するタスク難易度が高くなるほど大きくなり、タスク難易度が低いほど小さくなる。関数ｇ（ｓ）の値は、サンプルｓに対する確信度が高くなるほど大きくなり、確信度が低くなるほど小さくなる。

また、ｆ（ｓ１）＝０．８、ｇ（ｓ１）＝０．５とし、ｆ（ｓ２）＝０．１、ｇ（ｓ１）＝０．７とする。すなわち、サンプルｓ１の方がサンプルｓ２よりタスク難易度が高く、確信度が低い。

例えば、タスク難易度を用いない場合、識別曲線ｃにより近く、確信度が低いサンプルｓ１が、すなわち、どのクラスにも属していなさそうなサンプルｓ１が、サンプルｓ２より優先して学習データに用いられる。

一方、タスク難易度を用いた場合、ｆ（ｓ）＋ｇ（ｓ）の値は、サンプルｓ１で１．３となり、サンプルｓ２で０．８となる。そこで、ｆ（ｓ）＋ｇ（ｓ）の値がより小さいサンプルｓ２が、サンプルｓ１より優先して学習データに用いられる。

このように、ｆ（ｓ）＋ｇ（ｓ）の値がより小さいサンプル、すなわち、人にとっての難易度が低く、機械にとっての確信度がより低いサンプルが優先して学習データに用いられる。例えば、本当に不確かなサンプルより、本当は明確なサンプルが優先して学習データに用いられる。これにより、学習データの作成（ラベル付け）に要するコストを抑制しつつ、学習効果を高めることができる。

そこで、例えば、難易度推定モデル学習部２１１は、あるタスクを実行するタスク実行モデルの学習を行う前に、上述した方法により、そのタスクに対する難易度推定モデルを学習する。次に、難易度推定部２１２は、得られた難易度推定モデルを用いて、学習データに用いる候補となるサンプルに対するタスク難易度を推定する。そして、例えば、タスク実行モデル学習部２１３は、学習データに用いるサンプルを選択する基準として、上述した基準に加えて、タスク難易度（人にとっての難易度）が低いサンプルを選択するという基準を追加する。

これにより、例えば、タスク実行モデル学習部２１３は、他の基準に基づく学習効果が同程度のサンプルが存在する場合、タスク難易度がより低く、正解データを作成しやすいサンプルを優先して学習データに用いる。

なお、タスク難易度以外の学習データのサンプルを選択する基準として、必ずしも上述した基準を全て用いる必要はない。ただし、（機械にとって）最も不確かなサンプルを選ぶという基準を少なくとも用いるようにすることが望ましい。

また、学習データに用いる入力データは、必ずしもサンプルだけとは限らず、例えば、タスクが含まれる場合がある。これに対して、例えば、機械にとって難易度が高いが、人にとって難易度が低いタスクを優先して学習データに用いることにより、学習データの作成に要するコストを抑制しつつ、学習効果を高めることができる。

このように、機械にとっての難易度が高く、人にとっての難易度（タスク難易度）が低い学習データを優先して選択することにより、学習データの作成に要するコストを抑制しつつ、学習効果を高めることができる。

＜２−２．クラウドソーシングへの適用例＞
また、例えば、タスク難易度はクラウドソーシングに適用することができる。

クラウドソーシングでは、作業者が事前にタスクの難易度を予測することが困難なことが多く、それ故、提示された報酬が適正であるか否かを判断することが難しい。

例えば、図１３は、状来のクラウドソーシングにおいて、作業者を募集する際にタスクの内容を提示する対象となる各作業者のクライアント１２において表示される募集画面の例を示している。この例では、「画像に花の種類をタグ付け」及び「画像に鳥の種類をタグ付け」というタスクに対して、１タグ当たり３円の報酬が提示されている。しかし、作業者は、画像に花の種類や鳥の種類をタグ付けするタスクがどの程度の難易度であるか予測することが困難であるため、提示された報酬が適正であるか否かを判断することが難しい。

このような事情もあり、クラウドソーシングでは作業者が安く酷使されているという問題が度々指摘されている。

これに対して、上述した技術を用いて、各タスクに対するタスク難易度を機械的に算出し、提示することにより、発注者が適正な報酬でタスクを発注し、作業者が適正な報酬でタスクを受注することが可能になる。

ここで、図１４乃至図１６を参照して、タスク難易度を用いた場合のタスクの発注から受注までの流れの例について説明する。

図１４は、サーバ１１の提示制御部２０３の制御の下に、発注者のクライアント１２において表示される発注画面の例を示している。

発注者は、この発注画面において、発注するタスクの内容を具体的に示すタスク指示、サンプルあたりのタスクの報酬、及び、処理対象となるサンプル数を、入力欄３０１乃至入力欄３０３に入力することができる。そして、発注者が、タスク指示、サンプルあたりの報酬、及び、サンプル数を入力欄３０１及び入力欄３０３に入力すると、入力したデータが、ネットワーク１３を介してサーバ１１に送信される。このとき、発注者は、必要に応じて、タスクの処理対象となるサンプルを、自分のクライアント１２からネットワーク１３を介してサーバ１１に送信する。

サーバ１１は、図１０を参照して上述した処理により、発注者により入力されたタスクのタスク難易度を推定する。例えば、サーバ１１の難易度推定部２１２は、上述した式（６）の関数ｆ６を用いて、クラウドソーシングサービスに登録されている作業者毎のサンプルあたりのタスクの所要時間をタスク難易度として推定する。また、難易度推定部２１２は、推定結果に基づいて、全作業者におけるサンプルあたりの推定所用時間の最小値（最短時間）、最大値（最長時間）、及び、平均値（平均時間）を算出する。

また、例えば、難易度推定部２１２は、全サンプルのタスク完了時刻を推定する。例えば、難易度推定部２１２は、サンプルあたりの推定所要時間の平均値、及び、サンプル数に基づいて、全サンプルのタスクの実行に必要な所要時間を推定し、その推定結果に基づいて、全サンプルのタスクの完了時刻を推定する。

なお、このとき、難易度推定部２１２は、サンプル当たりの報酬、他のタスクの発注状況、作業者の活動状況等に基づいて、どの程度の作業者が受注し、作業を行うかを推定し、その推定結果を加味して、全サンプルのタスクの所要時間及び完了時刻を推定するようにしてもよい。例えば、多くの作業者が活動する時間帯では、タスクを受注し、実行する作業者が多くなると予想されるため、タスク完了推定時刻が早くなる。また、例えば、他に類似するタスクの発注がある時間帯では、タスクを受注し、実行する作業者が少なくなると予想されるため、タスク完了推定時刻が遅くなる。

そして、サーバ１１は、サンプルあたりの推定所用時間の最小値、最大値、及び、平均値の算出結果、並びに、全サンプルのタスクの推定所用時間及び完了推定時刻を発注者のクライアント１２に送信する。

これにより、図１４に示されるように、発注画面において、サンプルあたりの推定所用時間の最小値（最短時間）、平均値（平均時間）、及び、最大値（最長時間）が表示される。また、全サンプルのタスク完了推定時刻、及び、全サンプルのタスクの推定所用時間が、発注画面に表示される。これにより、発注者は、所望の期限までにタスクが完了するか否かを容易に判断することが可能になる。

そして、発注者が発注ボタン３０５を押下することにより、タスクが発注され、タスクを実行する作業者の募集が開始される。一方、発注者は、キャンセルボタン３０４を押下することにより、タスクの発注をキャンセルすることができる。

図１５及び図１６は、タスクの発注後にサーバ１１の提示制御部２０３の制御の下に、各作業者のクライアント１２において表示される募集画面の例である。図１５は、作業者Ａのクライアント１２において表示される募集画面の例を示している。図１６は、作業者Ｂのクライアント１２において表示される募集画面の例を示している。

この例では、タスクの内容及び報酬は、上述した図１３の募集画面と同様に、全作業者において共通の情報として提示される。例えば、作業者Ａ及び作業者Ｂの募集画面において、「画像に花の種類をタグ付け」というタスクの報酬が１タグあたり３円、「画像に鳥の種類をタグ付け」というタスクの報酬が１タグあたり３円であることが提示されている。

一方、推定所用時間及び推定時給は、作業者毎に異なる。すなわち、サーバ１１において各作業者のタスク難易度として推定された推定所用時間が、各作業者の募集画面において個別に提示される。例えば、作業者Ａの募集画面において、「画像に花の種類をタグ付け」というタスクの推定所用時間が１５秒、「画像に鳥の種類をタグ付け」というタスクの推定所用時間が６０秒であることが提示されている。また、作業者Ｂの募集画面において、「画像に花の種類をタグ付け」というタスクの推定所用時間が３０秒、「画像に鳥の種類をタグ付け」というタスクの推定所用時間が２０秒であることが提示されている。

また、サーバ１１において推定所用時間及び１タグあたりの報酬に基づいて算出された推定時給が、各作業者の募集画面において個別に提示される。例えば、作業者Ａの募集画面において、「画像に花の種類をタグ付け」というタスクの推定時給が７２０円、「画像に鳥の種類をタグ付け」というタスクの推定時給が１８０円であることが提示されている。また、作業者Ｂの募集画面において、「画像に花の種類をタグ付け」というタスクの推定時給が３６０円、「画像に鳥の種類をタグ付け」というタスクの推定時給が５４０円であることが提示されている。

このように、各作業者の能力やスキル等に応じた推定所用時間（タスク難易度）及び推定時給が提示されるため、各作業者は、自分に適したタスクを見つけたり、タスクの報酬が適正であるかを判断したりすることが容易になる。

そして、各作業者は、募集画面を閲覧して、希望するタスクが見つかった場合、そのタスクに応募する。

その後、タスクの受注の確定プロセスは、任意に設定することができる。例えば、発注者が応募してきた作業者の中から発注する作業者を選定するようにしてもよいし、先着順にタスクの受注者を確定するようにしてもよい。

そして、受注が確定した作業者は、タスクを実行し、その成果物を、自分のクライアント１２から、ネットワーク１３を介してサーバ１１に送信する。サーバ１１は、ネットワーク１３を介して、受信した成果物を発注者のクライアント１２に送信し、発注者は成果物の検収を行う。

なお、以上の説明では、実際にタスクの処理対象となるサンプルを考慮せずにタスクの所用時間、完了時刻等を推定し、提示する例を示したが、サンプルを考慮して推定し、提示するようにしてもよい。

また、例えば、図１４の発注画面において、発注者が特定の作業者を選択し、選択した作業者のサンプルあたりの推定所用時間やタスク完了推定時刻を提示できるようにしてもよい。これにより、発注者は、客観的なデータに基づいて、適切な作業者を選択することが可能になる。

また、タスクをシングルラベル表現又はマルチラベル表現を用いて表現し、図１７に示されるように、発注画面において、階層的に選択肢を選ぶことによりタスク指示を生成するようにしてもよい。例えば、図１７の例では、第一階層において、「選択」、「比較」、「列挙」等のタスクの種類を選択可能である。第二階層では、「画像」、「テキスト」、「音声」等のサンプルの種類を選択可能である。第三階層では、「鳥」、「花」、「神社」等のサンプルの具体的な内容を選択可能である。

例えば、第一階層において「選択」を選択し、第二階層において「画像」を選択し、第三階層において「花」を選択することにより、「花」の「画像」を「選択」するというタスク指示が生成される。

なお、例えば、図１７の第三階層において自然文を入力可能にすることにより、シングルラベル表現又はマルチラベル表現と自然文表現とを組み合わせることも可能である。

＜２−３．テキストの難易度の推定＞
また、例えば、難易度推定部２１２は、難易度推定モデルを用いて、「問題を解く」というタスクのタスク難易度を推定することにより、問題の難易度を推定することができる。従って、個々の問題の難易度の推定結果に基づいて、教科書、問題集、参考書等のテキストの難易度を客観的に表すことができる。例えば、テキストに含まれる問題の難易度の平均、最大、合計等に基づいて、テキストの難易度を客観的に表すことができる。なお、対象となるテキストは、紙媒体のものだけでなく、オンラインの問題集等の電子データによるものも含む。

ここで、問題の難易度（タスク難易度）の推定に用いる特徴量の抽出方法の例について説明する。

図１８は、数学の問題の難易度の推定に用いる特徴量の抽出方法の例を示している。この例では、問題の種類、次数、最大桁数、項数が特徴量として抽出されている。これらの特徴量のうち、問題の種類は、「数学の問題を解く」というタスクの特徴量となり、次数、最大桁数、項数は、「数学の問題を解く」というタスクの対象となるサンプルの特徴量となる。

問題の種類は、方程式、式の変形、計算等の問題の種類を示す特徴量である。

次数は、問題に含まれる数式の次数を示す特徴量である。

最大桁数は、問題に含まれる数式内の各数字の桁のうち最大のものを示す特徴量である。

項数は、問題に含まれる数式内の項の数を示す特徴量である。

例えば、問題の種類を含むタスクベクトル、及び、次数、最大桁数、項数を含むサンプルベクトルを上述した式（５）の関数ｆ５に適用することにより、各問題のタスク難易度が推定される。

図１９は、文章問題の一例を示している。この問題は、問題の対象となる文章、及び、問１、問２の小問からなる。

例えば、問題の対象となる文章に対して、BoWs、N-gram、RNN等を用いて生成される特徴量や、文章長、語彙数等の特徴量（以下、文章特徴量と称する）が抽出される。

また、例えば、問１の文章、及び、問２の文章から問題の種類が特徴量として抽出される。例えば、問１の問題の種類は、「文章の内容と矛盾する選択肢の選択」であり、問２の問題の種類は、「文章の主旨のまとめ」である。

また、例えば、問１の選択肢の文章に対して、BoWs、N-gram、RNN等を用いて生成される特徴量や、文章長、語彙数等の特徴量（以下、問題特徴量と称する）が抽出される。また、問１の選択肢の数が、特徴量として抽出される。

例えば、問１の問題のタスク難易度を推定する場合、問１の問題の種類を含む特徴量ベクトルがタスクベクトルに用いられ、文章特徴量、問１の問題特徴量、選択肢の数を含む特徴量ベクトルがサンプルベクトルに用いられる。そして、タスクベクトル及びサンプルベクトルを上述した式（５）の関数ｆ５に適用することにより、問１のタスク難易度が推定される。

また、問２の問題のタスク難易度を推定する場合、問２の問題の種類を含む特徴量ベクトルがタスクベクトルに用いられ、文章特徴量を含む特徴量ベクトルがサンプルベクトルに用いられる。そして、タスクベクトル及びサンプルベクトルを上述した式（５）の関数ｆ５に適用することにより、問２のタスク難易度が推定される。

以上のようにして、テキストに含まれる問題のタスク難易度を推定し、各問題のタスク難易度の平均、最大、合計等により、テキストの難易度を客観的に表すことができる。

＜＜３．変形例等＞＞
以下、上述した本技術の実施の形態の変形例等について説明する。

例えば、サーバ１１の処理の全部又は一部をクライアント１２において実行するようにしてもよい。例えば、サーバ１１からクライアント１２に難易度推定モデルを提供し、クライアント１２においてタスク難易度を推定するようにしてもよい。

また、例えば、難易度推定モデルの学習又はタスク難易度の推定を行う場合に、タスクベクトル、サンプルベクトル、作業者ベクトルを含む入力データをサーバ１１に与えるようにして、サーバ１１において特徴量の抽出を行わないようにしてもよい。

さらに、上述した本技術の適用例は、その一例であり、本技術は、例えば、人にとってのタスクの難易度を推定したり利用したりする各種の装置やサービス等に適用することが可能である。

また、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。

なお、ソフトウエアにより実行する場合、コンピュータ（例えば、サーバ１１、クライアント１２）が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、例えば、本技術は以下のような構成も取ることができる。

（１）
タスクに関する情報に基づいて、前記タスクの難易度であるタスク難易度を推定する推定部を
備える情報処理装置。
（２）
前記タスクは、ラベル付け、比較、列挙、評価、検索、回答、解答、調査、整理、変換、要約、連想、類推、生成、推薦、計画、詳細化、相談、会話、運搬、製造、設計、及び、テストのうち１つ、又は、２つ以上の組み合わせからなる
前記（１）に記載の情報処理装置。
（３）
前記推定部は、前記タスクの特徴量、前記タスクの処理対象となるサンプルの特徴量、及び、前記タスクを実行する作業者の特徴量のうち少なくとも１つに基づいて、前記タスク難易度を推定する
前記（１）又は（２）に記載の情報処理装置。
（４）
前記推定部は、種類の異なるタスクの前記タスク難易度を、少なくとも各タスクの特徴量に基づいて推定する
前記（３）に記載の情報処理装置。
（５）
前記推定部は、前記タスクの特徴量、前記サンプルの特徴量、及び、前記作業者の特徴量のうち少なくとも１つに基づいて前記タスク難易度を推定する第１のモデルを用いる
前記（３）又は（４）に記載の情報処理装置。
（６）
前記第１のモデルの学習を行う第１の学習部を
さらに備える前記（５）に記載の情報処理装置。
（７）
前記第１の学習部は、各作業者の各タスクに対する前記タスク難易度の実績データから得られる各タスクの特徴量及び各作業者の特徴量を用いて、前記第１のモデルの学習を行う
前記（６）に記載の情報処理装置。
（８）
前記タスクの特徴量、前記サンプルの特徴量、及び、前記作業者の特徴量のうち少なくとも１つの抽出を行う特徴量抽出部を
さらに備える前記（３）に記載の情報処理装置。
（９）
前記タスク難易度は、人にとっての前記タスクの難易度である
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記タスク難易度は、前記タスクの客観的な基準及び主観的な基準のうち少なくとも１つに基づいて表される
前記（９）に記載の情報処理装置。
（１１）
前記タスクを実行する第２のモデルの学習用のデータを各データに対する前記タスク難易度に基づいて選択して前記第２のモデルの学習を行う第２の学習部を
さらに備える前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記第２の学習部は、さらに各データに対する機械にとっての不確かさに基づいて前記学習用のデータの選択を行う
前記（１１）に記載の情報処理装置。
（１３）
前記タスクを実行する作業者を募集する場合に、前記タスクの内容とともに前記タスク難易度を提示するように制御する提示制御部を
さらに備える前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記提示制御部は、各作業者に対する前記タスク難易度を作業者毎に個別に提示するように制御する
前記（１３）に記載の情報処理装置。
（１５）
前記推定部は、テキストに含まれる各問題に対する前記タスク難易度を推定し、推定結果に基づいて前記テキストの難易度を推定する
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
情報処理装置が、
タスクに関する情報に基づいて、前記タスクの難易度であるタスク難易度を推定する推定ステップを
含む情報処理方法。
（１７）
タスクに関する情報に基づいて、前記タスクの難易度であるタスク難易度を推定する推定ステップを
含む処理をコンピュータに実行させるためのプログラム。

１情報処理システム，１１サーバ，１２クライアント，１０１ＣＰＵ，２０１特徴量抽出部，２０２タスク関連処理部，２０３提示制御部，２１１難易度推定モデル学習部，２１２タスク難易度推定部，２１３タスク実行モデル学習部，２１４タスク実行部

Claims

タスクの特徴量、前記タスクの処理対象となるサンプルの特徴量、及び、前記タスクを実行する作業者の特徴量に基づいて、前記タスクの難易度であるタスク難易度を推定する推定部と、
前記タスクを実行する作業者を募集する場合に、前記タスクの内容とともに前記タスク難易度を提示するように制御する提示制御部と
を備える情報処理装置。
前記タスクは、ラベル付け、比較、列挙、評価、検索、回答、解答、調査、整理、変換、要約、連想、類推、生成、推薦、計画、詳細化、相談、会話、運搬、製造、設計、及び、テストのうち１つ、又は、２つ以上の組み合わせからなる
請求項１に記載の情報処理装置。
前記推定部は、種類の異なるタスクの前記タスク難易度を、少なくとも各タスクの特徴量に基づいて推定する
請求項２に記載の情報処理装置。
前記推定部は、前記タスクの特徴量、前記サンプルの特徴量、及び、前記作業者の特徴量に基づいて前記タスク難易度を推定する第１のモデルを用いる
請求項２に記載の情報処理装置。
前記第１のモデルの学習を行う第１の学習部を
さらに備える請求項４に記載の情報処理装置。
前記第１の学習部は、各作業者の各タスクに対する前記タスク難易度の実績データから得られる各タスクの特徴量及び各作業者の特徴量を用いて、前記第１のモデルの学習を行う
請求項５に記載の情報処理装置。
前記タスクの特徴量、前記サンプルの特徴量、及び、前記作業者の特徴量のうち少なくとも１つの抽出を行う特徴量抽出部を
さらに備える請求項２に記載の情報処理装置。
前記タスク難易度は、人にとっての前記タスクの難易度である
請求項１に記載の情報処理装置。
前記タスク難易度は、前記タスクの客観的な基準及び主観的な基準のうち少なくとも１つに基づいて表される
請求項８に記載の情報処理装置。
前記提示制御部は、各作業者に対する前記タスク難易度を作業者毎に個別に提示するように制御する
請求項１に記載の情報処理装置。
前記推定部は、テキストに含まれる各問題に対する前記タスク難易度を推定し、推定結果に基づいて前記テキストの難易度を推定する
請求項１に記載の情報処理装置。
情報処理装置により実行される、
タスクの特徴量、前記タスクの処理対象となるサンプルの特徴量、及び、前記タスクを実行する作業者の特徴量に基づいて、前記タスクの難易度であるタスク難易度を推定する推定ステップと、
前記タスクを実行する作業者を募集する場合に、前記タスクの内容とともに前記タスク難易度を提示するように制御する提示制御ステップと
を含む情報処理方法。
タスクの特徴量、前記タスクの処理対象となるサンプルの特徴量、及び、前記タスクを実行する作業者の特徴量に基づいて、前記タスクの難易度であるタスク難易度を推定する推定ステップと、
前記タスクを実行する作業者を募集する場合に、前記タスクの内容とともに前記タスク難易度を提示するように制御する提示制御ステップと
を含む処理をコンピュータに実行させるためのプログラム。