JP5845728B2 - コンテンツ・プライバシー保護のためのマイクロタスクを生成する技術 - Google Patents

コンテンツ・プライバシー保護のためのマイクロタスクを生成する技術 Download PDF

Info

Publication number
JP5845728B2
JP5845728B2 JP2011186443A JP2011186443A JP5845728B2 JP 5845728 B2 JP5845728 B2 JP 5845728B2 JP 2011186443 A JP2011186443 A JP 2011186443A JP 2011186443 A JP2011186443 A JP 2011186443A JP 5845728 B2 JP5845728 B2 JP 5845728B2
Authority
JP
Japan
Prior art keywords
task
microtask
segment
information
microtasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011186443A
Other languages
English (en)
Other versions
JP2012048723A (ja
Inventor
ゴーミッシュ マイケル
ゴーミッシュ マイケル
モラレダ ジョージ
モラレダ ジョージ
バヨール ティモシー
バヨール ティモシー
リィウ シュイ
リィウ シュイ
ジー ストーク デイヴィッド
ジー ストーク デイヴィッド
エロール ベルナ
エロール ベルナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2012048723A publication Critical patent/JP2012048723A/ja
Application granted granted Critical
Publication of JP5845728B2 publication Critical patent/JP5845728B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Storage Device Security (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

関連出願への相互参照 本願は、本願と同時に出願された米国仮特許出願（代理人整理番号015358-013000US）の全内容をあらゆる目的において参照により援用する。
本発明の諸実施形態は、データ処理システムに関し、より詳細には、タスクのために使われる情報のプライバシーを維持しながらタスク・アウトソーシングを実行するための技法に関する。
コンピュータおよび人工知能（AI: artificial intelligence）技術の発達にもかかわらず、実行されるには、あるいは効率的もしくは正確に実行されるには人間の知性によるしかないタスクがある。そのようなタスクの例は、写真やビデオにおけるオブジェクト認識、手書き文字認識、手書き文字からテキストへの変換、翻訳、転写などが含まれる。これらのタスクについては、自動化技法を使ってタスクを実行することから得られる正確さは、人間の知性を使って人間によってタスクが実行されるときに得られる正確さには遠く及ばない。
その性質上、そのようなタスクは典型的には、完成させるために人間に与えられる。タスクを実行する人間は通例、タスクの実行について何らかの対価を与えられる。タスクがその意図される人間の作業者に分配される種々の方法がある。インターネットのような通信ネットワークの到来により、タスクが電子的に人間の作業者に分配されることを可能にするいくつかのオンライン・コミュニティーが出てきている。インターネットの広範な到達範囲のため、そのようなタスクは今では、米国内の種々の地理的位置を含む多様な位置にいる人間の作業者に、またさらにはタスクを実行するための必要なスキルをもち、著しく低価格でタスクを実行できる作業者がいる外国の作業者にさえも、電子的にアウトソーシングできる。人間の知性を必要とするタスクを人間の作業者に送達し、タスクの実行の結果を回収するプロセスを指すのに、「マイクロ・アウトソーシング」の用語が使われることがある。たとえば、アマゾン（Amazon）は、人間の知性を必要とする作業（そのようなタスクは一般に人間知性タスク（human intelligence task）またはHITと称される）のためのオンライン市場を提供するアマゾン・メカニカル・ターク［機械仕掛けのトルコ人］（AMT: Amazon Mechanical Turk）と呼ばれるオンライン・コミュニティーを提供している。AMTは、人間の作業員〔ワーカー〕および作業要求者〔リクエスター〕の市場を提供する、ウェブ・ベースのマイクロ・アウトソーシング・サービスを提供する。AMTによって提供されるアプリケーション・プログラミング・インターフェース（API）を使って、作業要求者は、タスク明細、タスク実行についての価格、タスク完了のための時間枠、タスクについての所望される品質、タスクを実行する人間の作業者の所望される位置などのようなHITのためのパラメータを指定できる。AMTの最も一般的な使用は、音声文字起こし、ブログ項目執筆および画像のタグ付けを含む。AMTのようなサービスは、企業に、HITを実行するための多様な、オンデマンドの労働人口をもつ市場にプログラム的にアクセスすることを可能にする。
Berna Erol et al., "HOTPAPER: Multimedia Interaction with Paper using Mobile Phones," ACM Multimedia Conference, 2008, Vancouver, British Columbia, Canada, pp.399-408
AMTのようなオンライン・システムは人間の作業者へのHITの分配を簡単にしたものの、アウトソーシングに関わるいくつかの問題に対処するものではない。HITのアウトソーシングについての最大の問題の一つは、タスクを実行するためのインプットとして使われる情報の秘匿性およびプライバシーをいかにして保護するかということである。アウトソーシング・モデルの分散した性質のため、情報のプライバシーを維持するための伝統的な方法はもはや有効ではない。たとえば、タスクをアウトソーシングする企業は典型的にはタスクを行う作業者が誰であるかは知らず、作業者と直接的な契約はせず、プライバシーを維持しないことについてペナルティーを課すすべがない。結果として、AMTのようなコミュニティーが存在してはいるものの、特にHITを実行するために使われる情報が秘密またはプライベートなものであるときは、作業要求者はこれらのサービスを使うことに懸念を覚えている。
本発明の諸実施形態は、タスクの入力として使われる情報のプライバシーまたは秘匿性を保護しつつタスクを実行する技法を提供する。ある実施形態では、タスクはより小さなタスク（サブタスクまたはマイクロタスクと呼ばれる）に分解され、それがアウトソーシングされる。各マイクロタスクについての入力情報は、そのタスクについて受領された入力情報に基づき、一般にはその部分集合〔サブセット〕である。タスクについてのマイクロタスクの決定は、タスクに関連する制約条件が満足されるような仕方で実行される。たとえば、タスクについて、マイクロタスクは、リスク（たとえば、アウトソーシングの結果として入力情報のプライバシーまたは秘匿性が危殆化されることに関わるリスク）、品質制約条件（たとえば、タスクの実行から帰結する作業生成物の所望される品質）、コスト制約条件およびジョブに関連する他の制約条件に基づいて決定されてもよい。
ある実施形態では、実行されるべきタスクを同定する情報およびそのタスクのための入力情報が受領されてもよい。そのタスクについて、リスク閾値が決定されてもよい。次いで、そのタスクを実行するための複数のマイクロタスクが、リスク閾値に基づいて決定されてもよい。各マイクロタスクは入力情報の一部に関連していてもよい。次いで、前記複数のマイクロタスクが複数の作業者に分配されてもよい。前記複数の作業者による前記複数のマイクロタスクの実行から帰結する複数の作業生成物が受領されてもよい。次いで、タスクについての最終作業生成物が、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に基づいて生成されてもよい。
前記複数のマイクロタスクを実行する前記複数の作業者は、人間の作業者および／または機械（自動化プロセス）を含んでいてもよい。たとえば、最終生成物は、人間の作業者による第一のマイクロタスクの実行から帰結する第一の作業生成物と機械による第二のマイクロタスクの実行から帰結する第二の作業生成物とを組み合わせることによって生成されてもよい。
タスクについて複数のマイクロタスクを決定するためには、さまざまな異なる技法が使用されうる。これらの技法は、タスクについてのリスク閾値、タスクについての期待される品質閾値、タスクを実行するためのコストなどのような因子に依存してもよい。ある実施形態では、入力情報はリスク閾値に基づいて一組のセグメントに分割されてもよい。各セグメントは入力情報の一部を含む。さらに、リスク閾値に依存して、一つまたは複数の組み合わされたセグメントが前記一組のセグメントおよび前記リスク閾値に基づいて生成されてもよい。組み合わされたセグメントは、前記一組のセグメントからの少なくとも一つのセグメントからの情報と、入力情報に含まれない追加データとを含む組み合わされたセグメントを含んでいてもよい。別の組み合わされたセグメントは、前記一組のセグメントからの少なくとも二つの異なるセグメントからの情報を含んでいてもよい。複数のマイクロタスクは前記組み合わされたセグメントの集合に基づいて決定されてもよい。
タスクについて受領される入力情報は種々の形を取りうる。ある実施形態では、入力情報は、第一の文書および第二の文書を含む複数の文書を含んでいてもよい。そのようなシナリオでは、前記一組のセグメントは、前記第一の文書の一部を含む第一のセグメントと、前記第二の文書の一部を含む第二のセグメントとを含んでいてもよい。組み合わされたセグメントの前記集合は、前記第一のセグメントおよび前記第二のセグメントの内容を含む第一の組み合わされたセグメントを含んでいてもよい。前記複数のマイクロタスクは、第一の組み合わされたセグメントを入力として実行されるべき第一のマイクロタスクを含んでいてもよい。
ある実施形態では、タスクについての最終作業生成物について、品質推定が提供されてもよい。品質推定は、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に関連する品質推定に基づいていてもよい。ある実施形態では、品質推定に基づいて、そのタスクについて、第二の組のマイクロタスクが決定されてもよい。
ある実施形態では、タスクについて品質閾値が決定されてもよい。品質閾値は、タスク要求者によって提供される情報に基づいて、あるいは他の情報に基づいて決定されてもよい。複数のマイクロタスクは、リスク閾値および品質閾値の両方に基づいて決定されてもよい。
さまざまな異なるタスクおよび関連する入力情報が提供されてもよい。例としては、これに制約されるものではないが：入力情報は画像であり、タスクは画像中の単語またはオブジェクトの集合を認識することである；入力情報は画像であり、タスクは画像の記号的〔シンボリック〕表現を提供することである、などの場合がある。
以上のことは、他の特徴および実施形態とともに、以下の詳細な説明、請求項および付属の図面を参照すれば一層明白となるであろう。
本発明のある実施形態を組み込みうるシステムの概略図である。 本発明のある実施形態に基づく、タスクのために受領された入力情報の内容のプライバシーを保護しつつタスクを実行する高レベルの方法を記述する簡略化されたフローチャートである。 本発明のある実施形態に基づく、入力情報をセグメント分割するために実行される処理を記述する簡略化されたフローチャートである。 本発明のある実施形態に基づく、組み合わされたセグメントを生成するために実行される処理を記述する簡略化されたフローチャートである。 本発明のある実施形態に基づく、マイクロタスク生成器サブシステムによって実行される処理を示す簡略化されたフローチャートである。 本発明のある実施形態に基づく、分配システムによって処理を示す簡略化されたフローチャートである。 本発明のある実施形態に基づく、タスクに対応するマイクロタスクについて受領されたマイクロタスク生成物に基づいてタスクについての最終作業生成物を生成するために実行される処理を記述する簡略化されたフローチャートである。 本発明のある実施形態に基づくさまざまな側面を記述する例である。 本発明のある実施形態に基づくさまざまな側面を記述する例である。 本発明のある実施形態に基づく、マイクロタスクのための価格を決定するためのシステムのブロック図である。 本発明のある実施形態に基づく、タスクのための価格付けを決定するためのシステムのブロック図である。 本発明のある実施形態に基づく手書き文字認識アプリケーションを示す図である。 本発明のある実施形態に基づくレシート認識アプリケーションを示す図である。 本発明のある実施形態に基づく名刺認識アプリケーションを示す図である。 本発明のある実施形態に基づく描画変換アプリケーションを示す図である。 本発明のある実施形態に基づく描画変換アプリケーションを示す図である。 本発明のある実施形態を実施するために使用されうるコンピュータ・システムのブロック概略図である。
以下の記述では、説明の目的のために、本発明の実施形態の十全な理解を与えるために、個別的な詳細が述べられるが、本発明がこれらの個別的な詳細なしでも実施できることは明白であろう。
本発明の諸実施形態は、タスクのための入力として使われる情報のプライバシーまたは秘匿性を保持しつつタスクを実行するための技法を提供する。ある実施形態では、タスクはより小さなタスク（サブタスクまたはマイクロタスクと呼ばれる）に分解される。各マイクロタスクについての入力情報は、そのタスクについて受領された入力情報に基づき、一般にその部分集合である。タスクについてのマイクロタスクの決定は、タスクに関連する制約条件が満足されるような仕方で実行される。たとえば、タスクについて、マイクロタスクは、リスク（たとえば、アウトソーシングの結果として入力情報のプライバシーまたは秘匿性が危殆化されることに関わるリスク）、品質制約条件（たとえば、タスクの実行から帰結する作業生成物の所望される品質）、コスト制約条件およびジョブに関連する他の制約条件に基づいて決定されてもよい。
図１は、本発明のある実施形態を組み込んでもよいシステム１００の概略図である。システム１００は、一つまたは複数のタスク要求者システム１０２と、マイクロタスク管理システム（MMS: microtask management system）１０４と、分配システム１０６と、アウトソーシングされたマイクロタスクを実行するために使用されうる一つまたは複数のシステム１０８および１１０とを含む複数のシステムを有する。図１に描かれるさまざまなシステムは、一つまたは複数の通信ネットワーク（図１には示さず）を介して互いに結合されていてもよい。これらの通信ネットワークは、同じ型であっても異なる型であってもよく、インターネット、イントラネット、ローカル・エリア・ネットワーク（LAN）、広域ネットワーク（WAN）、イーサネット（登録商標）・ネットワークまたはシステム間通信を可能にする任意の通信ネットワーク／インフラストラクチャーを含んでいてもよい。これらの通信ネットワークは、通信のための有線または無線のプロトコルを含む異なる通信プロトコルを使っていてもよい。図１に描かれるシステム１００は単に、本発明の教示を組み込むある実施形態の一例であり、請求項に記載される本発明の範囲を限定することを意図したものではない。
高レベルでは、MMS １０４はタスク要求者からタスク要求を受領する。タスク要求は、実行されるべきタスクと、そのタスクを実行するための入力として使われる情報とを同定してもよい。MMS １０４は、タスクについての入力情報のプライバシーを保持するためのステップを講じつつ、タスクの実行を容易にするよう構成される。ある実施形態では、MMS １０４は、実行されるべきタスクに対応する、アウトソーシングされるべき一組のタスク（サブタスクまたはマイクロタスクと称される）を決定し、マイクロタスクについて入力として使われるべき前記入力情報の部分を決定するよう構成される。タスクのマイクロタスクへの分割は、そのタスクについて受領される入力情報のプライバシーを保護するために（換言すれば、マイクロタスクをアウトソーシングする結果として入力情報のプライバシーまたは秘匿性が破られるリスクを下げるために）実行される。ある実施形態では、タスク要求は、そのタスクについての受け容れ可能なリスク閾値を指定してもよい。このリスク閾値は、タスクをマイクロタスクに細分するために考慮に入れられる。タスク要求はまた、タスクを実行する受け容れ可能なコスト、タスクを実行する結果として生成される出力についての所望される品質などといったタスクに関係する他の因子を指定してもよい。これらのさまざまな因子も、どのようにタスクをマイクロタスクに細分するかを決定するときに考慮されてもよい。次いで、MMS １０４は、マイクロタスクを実行するプロバイダー１１４への分配またはアウトソーシングのために、マイクロタスクおよびそれぞれの入力情報を分配システムに転送する。
プロバイダー１１４は人間の作業者および／または自動化されたシステム（機械）１１０を含んでいてもよい。本願で使われるところの用語「作業者」は、タスクまたはマイクロタスクを実行する、人間の作業者または機械を指しうる。人間の作業者は、その作業者に割り当てられたマイクロタスクを実行するためにシステム１０８を使ってもよい。プロバイダー１１４は、種々の地理的位置に位置していてもよい。自動化システムまたは機械１１０はコンピュータ・システムおよびアプリケーションを含んでいてもよい。図１には分配システム１０６は一つしか描かれていないが、MMS １０４は複数の分配システムと協働するよう構成されていてもよい。
MMS １０４は、タスクについての一組のマイクロタスクに対応するマイクロタスク作業生成物を受け取るよう構成される。マイクロタスク作業生成物は、分配システム１０６から、あるいは一または複数の作業者から直接、受領されうる。MMS １０４は、受領されたマイクロタスク生成物に基づいて、タスク要求において要求されていたタスクについての最終生成物（最終出力）を構築するよう構成される。ある実施形態では、MMS １０４はマイクロタスク生成物を総合してそのタスクについての最終出力生成物を生成するよう構成される。タスクについての作業生成物は次いでタスク要求者に提供されうる。さらなる詳細は下記で与える。
先に論じたように、実行するには、あるいはより効率的もしくはより正確に実行するには、人間の知性を使って人間によるしかないタスクがある。結果として、これらのタスクは、人間の処理または人間と機械の処理の組み合わせを使って実行されるのが最善である。これらのタスクは典型的には、タスクについて提供される入力（入力情報）の解析、要約または処理に関わる。たとえば、文書の画像を与えられて、タスクは文書画像の記号表現を含む出力を生成することに関わるものでありうる。記号表現（symbolic representation）は、文書画像から抽出された単語および文書ページに描かれている何らかのオブジェクトの名称を含んでいてもよい。別の例としては、音声情報が与えられたとき、タスクはその音声情報の文字起こしを生成することに関わるものでありうる。さらにもう一つの例としては、入力情報は構造化されていない情報（たとえばテキスト・ファイル）を含んでいてもよく、タスクはその情報を構造化されたフォーマットにすること（たとえば情報をスプレッドシートに入力すること）であってもよい。
実行されるべき何らかのタスクについて、コスト、人間または機械作業者によってタスクを実行させることに関わるリスク、タスクの作業生成物の期待される品質などといったタスクに関連するいくつかの因子がある。たとえば、タスク入力に含まれる情報を人間または機械に与えることに関わるいくばくかのリスクがありうる。たとえば、入力情報が企業によって提供される名前、住所および電話番号の手書きのリストを含む場合、人間またさらには外部の機械に管理される処理システムに入力情報を与えることは、企業のプライバシー・ポリシーに反する、あるいは該情報を扱う機関に対する信用の欠如につながることがありうる。このリスクは、タスクを実行する人間または機械が典型的にタスク要求者に知られない、自動化されたオンライン・アウトソーシング・シナリオでは特に高まる。
ある実施形態では、MMS １０４は、タスクに関連しうるさまざまな因子を考慮に入れる仕方でタスクをアウトソーシングするよう構成される。たとえば、MMS １０４は、タスクおよびその入力情報をアウトソーシングすることに関わるリスク（すなわち、アウトソーシングの結果として入力情報のプライバシーまたは秘匿性が危殆化されるリスク）を減らすことに向けた、タスクのマイクロタスクへの分割を含む、アウトソーシングを実行するよう構成される。MMS １０４は、これを達成するためにさまざまな異なる技法を使ってもよい。たとえば、多くの場合において、MMS １０４は、各作業者に与えられる入力情報を制御してもよい。これは、各作業者に暴露される入力情報の量を制限することによって、またさらには作業者に与えられる情報を修正することによってなされてもよい。
作業者に与えられる入力情報を制限および／または修正するために、さまざまなセグメント分割および／または組み合わせ技法が使用されうる。ある実施形態では、マイクロタスクを実行する作業者に入力情報の部分集合しか与えられないようなセグメント分割技法が使われてもよい。作業者はそれでも、その作業者に与えられた入力情報の何らかの解析、要約または処理されたバージョンを提供することはできるが、入力情報全体はその作業者には利用可能でないため、タスクについて受領される入力情報の流布に関わる全体的なリスクは大幅に軽減される。たとえば、タスクについての入力情報が住所および電話番号に関わる名前の画像を含む場合、入力画像は三つの画像にセグメント分割されてもよい：第一の画像は名前だけを含み、第二の画像は電話番号だけを含み、第三の画像は住所だけを含む。次いで、各画像セグメントは別々の作業者に提供されてもよい。マイクロタスクは、各画像セグメントに対応するテキスト情報を生成することである。このようにして、どの単一の作業者もすべての入力情報へのアクセスはもたない。これは、作業者によって知られる名前およびその関連付けられた住所および電話番号の流出に関わるリスクを減らす。
リスクをさらに軽減するため、マクロタスクのために作業者に与えられる入力情報は、組み合わせ技法を使うなど多様な仕方で修正できる。たとえば、上述したような入力情報が住所および電話番号が関連付けられた名前の画像を含む状況では、電話番号の画像だけがある作業者に与えられてもよい。秘匿情報が知られるリスクをさらに軽減するため、電話番号の画像は他の電話番号の画像、さらには偽の電話番号と組み合わされてもよい。電話番号の修正された画像は次いで作業者に与えられてもよい――これは電話番号を作業者に開示することに関わるリスクを軽減する。作業者は、該作業者に与えられた入力情報がどのように修正されたかを全く知らないからである。それでも、作業者は、該作業者に割り当てられたマイクロタスク（これはたとえば画像をテキスト情報に変換することであってもよい）を実行できる。
一般に、タスクに関わるリスクは次のように表現されうる。Iをタスクについての完全な入力情報とする。Oを入力Iに対してタスクを実行することから生成される完全な出力（または作業生成物）とする。完全な出力Oは、入力情報全体を単一の作業者Wに与えることによって得ることができる。このことをO＝W(I)と書く。しかしながら、単一の作業者に入力情報全体を与えることに関わるリスクRがある。リスクは入力情報のプライバシー／内容が危殆化されることに関するものである。このリスクRは、作業者および与えられる入力情報に依存し、R(I,W)と表してもよい。R(I,W)は受け容れられないほど高いことがありうる。全体的なリスクを軽減するために、入力Iを修正することができる。たとえば、入力Iは部分集合I1,I2,…,Inに分割され、ある部分集合とそれに関連するマイクロタスクが作業者Wiに与えられることができる。各作業者（Wi）は、その作業者に割り当てられたマイクロタスクを実行し、受領された入力（Ii）に基づいて出力（Oi）を生成することができる。ここで、Oi＝Wi(Ii)である。最終出力Oは、作業者Wiからの出力Oiをまとめたバージョンである。したがって、O＝Assemble(O1,O2,…,On)である。そのような技法に関するリスクは、入力の部分集合を各作業者に与えることに関するリスクの組み合わせである。作業者間での情報交換のリスクが十分小さい場合、全体的なリスクRはほぼR＝ΣR(Ii,Wi)である。ここで、R(Ii,Wi)は、作業者Wiに入力の部分集合Iiを与えることに関わるリスクである。ある実施形態では、MMS １０４によってなされる入力情報修正は、ΣR(Ii,Wi)がR(I,W)より小さくなるようなものである。
タスクに関連しうるもう一つの因子は、タスク実行から帰結する出力の期待される品質である。したがって、作業者Wに入力Iを与えることによって得ることのできる、Q(I,W)で表せるある品質Qがある。一般に、品質は、「所望される」または「正しい」出力への近さと考えることができる。もちろん、多くの場合において、「正しい」出力は未知であり、推定することしかできない。タスクのアウトソーシングが、前記リスクを軽減するのみならず、タスク出力の品質を最大化もするような仕方で実行されることが望まれる。
タスクに関連しうるさらにもう一つの因子は、タスクを実行するためのコストである。作業者に入力に対して作業させて出力を生成させることに関わるコストがある。このコストは、C(Wi,Ii)と表してもよい。典型的には、機械実装されるプロセスによってタスクを実行するコストは、人間の作業者のコストより低いが、出力の品質も低くなることがある。
記号Wは作業者について使われ、作業者は自動化プロセス（機械）であっても人間の作業者であってもよい。さまざまな作業者におけるリスクの差もある。たとえば、自動化プロセスに関連するリスク（すなわち、入力情報のプライバシーまたは秘匿性が作業者にタスクまたはマイクロタスクをアウトソーシングする結果として危殆化されるリスク）は、人間作業者に関連するリスクよりもしばしば低い。これは部分的には、自動化プロセスは、そのタスクについてのもとの入力Iを与えるエンティティによってよりよく管理されうるためである。リスクは作業者および与えられる入力の両者とともに変わるので、ある作業者からの出力を別の作業者への入力として与える、あるいは入力のより大きな部分を機械作業者に与えより小さな部分を人間の作業者に与えることがリスクを軽減することがありうる。たとえば、機械作業者に与えられる入力の部分集合しか人間の作業者には与えられなくてもよい。たとえば、自動化プロセスは、入力画像におけるすべての単語に対して作用して、その多くについての記号出力を生成するが、入力画像中の単語のいくつかを、たとえば筆跡が汚いために処理できないことがありうる。この場合、自動化プロセスにとって困難だった入力画像の部分だけが人間の作業者に入力として渡されてもよい。
一般には特定の作業者に関するリスクは初期には未知であるが、リスクは、経験に基づいて推定することができ、作業者位置、作業者教育レベル、作業者収入、作業者評価レーティングおよび作業者の他の多くの特性に依存しうる。これらの特性のいくつかは、種々の状況における作業者との経験を収集することによって、MMS １０４によって時間がたつとともに推定されうる。いくつかの特性は、他の手段によって推定されうる。場合によっては、特定のタスク分配システムが作業者に関連付けられた契約、非開示協定または束縛を提供した場合にはリスクはより低いことがありうる。よって、特定の入力を特定の作業者に与えることに関するリスクR(I,W)は、複数の因子に基づいて推定されてもよい。
アウトソーシングの一環として作業者に与えられる入力情報は、入力情報に「ノイズ」を加えることによって修正されてもよい。たとえば、入力が人間の作業者に与えられる前に入力に「ノイズ」を加えることによって入力を修正するために自動化プロセスが使われてもよい。上述したように、本物の電話番号の画像が人間の作業者に与えられる前に、偽の電話番号の画像が追加されることができる。この場合、マイクロタスクに対応する出力は、O1＝Wmachine(I1)およびI2＝O1およびO2＝Whuman(I2)と表されうる。したがって、機械（machine）に与えられる第一のマイクロタスクは入力情報I1にノイズを加えて出力O1を生成する。第一のマイクロタスクの出力O1は次いで、人間（human）の作業者に割り当てられた別のマイクロタスクの入力（I2）として与えられる。この処理シーケンスでは、R(I2,Whuman)＜R(I1,Whuman)であり、R(I1,Wmachine)は自動化プロセスであるため非常に小さいので、リスクが軽減される。
リスクを軽減するために加えることのできるもう一つの型のノイズは、作業者に与えられる（入力される）画像に対するぼかしまたはその他の歪みである。たとえば、入力画像は人間および認識されるべきオブジェクトを含んでいてもよい。画像がそのまま与えられれば、人間が誰であるかは認識されうる。しかしながら、何らかのぼかしが適切な位置において入力画像に適用されれば、作業者はその人間を同定することはできないが、それでいて画像中のオブジェクト、たとえば自動車、空、建物などを同定することはできることがありうる。この場合、R(I,W)＞R(Distorted(I),W)である。この場合、同定タスクの品質は、画像を歪めることによって損なわれることがありうるので、この場合、Q(I,W)＞Q(Distorted(I),W)である。よって、タスク要求者の期待に依存して、リスクと品質のパラメータ間でバランスを取ってもよい。
「ノイズ」は、品質管理目的のために入力に加えられてもよい。たとえば、自動化プロセスによって注入される「ノイズ」は、所望される出力が既知である入力情報を含んでいてもよい。たとえば、記号的電話番号が既知である電話番号画像である。これは、出力の品質の評価を許容する。人間の作業者が既知部分について正しい答えを含まない出力を提供する場合、MMS １０４はそのタスクについてのその作業者によってなされた作業に対して、低い品質推定を割り当てることができる。低い品質推定が要求される品質を下回る場合、タスクは別の作業者に割り当てられてもよく、該別の作業者が品質要求を満たすかどうかを見るために再び新しいジョブの品質が推定されることができる。
作業者がすでに完遂した以前のタスクに関係した情報を、その同じ作業者に与えることに関わるリスクもある。これは、その作業者が情報を蓄積して潜在的にそれを流出させることを可能にするからである。たとえば、同じ作業者が社会保障カードおよび同じ人物からの申し込み書式の画像を与えられる場合、その作業者がその申込者についてもつ情報は多過ぎることになりうる。よって、一般に、R(I1+I2,W0)＞R(I1,W1)+R(I2,W2)である。
先述したように、リスクRを最小にしつつ、最終出力の品質を最大にすることも望ましい。コスト制約のため、場合によっては両方を同時に行うことは可能でないこともあり、よって、何らかの受け容れ可能な出力品質および何らかの受け容れ可能なリスクをもつ動作点〔オペレーティング・ポイント〕を選んでもよい。さらに、品質およびリスクは式で記述されうるものの、精密なリスクおよび品質は各入力に依存し、よってリスクおよび品質は推定することしかできないことがありうる。よって、入力の分割の影響が精密にはわからないときに、これらの目標を達成しようとして使われうる一組の指針または規則が使用されてもよい。たとえば、より高いプライバシー（すなわち、リスクを下げるべき）が所望される場合、タスクはより多くのマイクロタスクに分割されてもよい。各マイクロタスクは、その入力として、入力全体の部分集合をもつ。したがって、ある実施形態では、所望されるプライバシー・レベルが高い（すなわち、許容できるリスクが低い）ほど、タスクについてのマイクロタスクの数は大きくなり、これはそのタスクについて与えられる入力情報のより大規模な分割を含意する。たとえば、文書全体をマクロタスクについての入力として一作業者に送ることにおいて推定される一つのリスク・レベル、その文書を二つの半分に分割して一方の半分を位置の作業者に、他方の半分を別の作業者に送ることに関わるより低いリスク・レベル、入力文書を三つ以上の部分に分割して（たとえば文書を一行ごとに分割して）各部分（たとえば各行）を別々の作業者に送ることに関する最小リスク・レベル、などがあってもよい。このように、受け容れ可能なリスクのレベルは、タスクのマイクロタスクへの分割がどのように実行されるべきかを決定するための因子として使われてもよい。
多くの場合、複数の作業者の間での入力の分割はより低い品質につながる。たとえば、ΣQ(Ii,Wi)はQ(I,W)より低い。しかしながら、場合によっては、分割は品質を改善する（すなわち、ΣQ(Ii,Wi)＞Q(I,W)）。たとえば、一作業者が電話番号を認識することにとりわけ熟達しており、別の作業者は特定言語の文字を認識することにとりわけ熟達している場合、マイクロタスクが、該マイクロタスクを実行することに熟達している作業者に割り当てられるよう、タスクを分割すれば、リスクを下げつつ品質を上げることができる。
品質を上げるために複数の動作を使用できる。たとえば、複数の作業者が同じデータに対して同じマイクロタスクを実行するよう依頼され、その作業生成物が比較されて品質レベルを決定してもよい。別の状況では、ある作業者によってマイクロ作業実行の結果として生成された作業生成物が、別の作業者によって（別のマイクロタスクの一環として）検査されてもよい。追加的な作業者による追加的なマイクロタスクを使うことは、情報の分配を増すことになり、潜在的にはタスク完了に関する全体的なリスクを高めることになりうる。
入力の部分集合に対する作業の品質を改善するために人間の作業者が使用されることができる。たとえば、人間は、自動化プロセスの出力または作業生成物を与えられて、それをチェックするよう依頼されてもよい。まず、自動化プロセスがO1＝Wmachine(I1)を行い、次いで人間はO2＝Whuman(I1,O1)を生成する。ここで、第二の出力は、自動化プロセスの訂正された形である。自動化プロセス（機械）によって実行されるタスクまたはマイクロタスクは、自動化プロセスの以前の動作に基づく何らかの期待される品質Qmachineをもつことができる。あるいは場合によっては、自動化タスクは入力に基づく品質を自己報告することができる。たとえば、文字を認識する自動化タスクは「ｃ」である可能性が99%で「ｅ」である可能性が1%と報告してもよく、これは中程度の品質と考えられてもよい。しかしながら、自動化タスクが「ｃ」である可能性が90%で「ｅ」である可能性が10%と報告する場合、これは低品質と考えられ、おそらくは追加的な処理または訂正を必要とする。人間は訂正しか行わないので、全体的なタスクに関するコストは、もとの入力に対して人間に作業させるよりも低い。よって、C(Whuman,I1,O1)＋C(Wmachine,I1)＜C(Whuman,I1)である。
ある実施形態では、タスクまたはマイクロタスクの品質Qは自動化技法を使って測定されてもよい。一つのそのような自動化技法は、作業者Wiによって提出される単語数Niおよび対応するマイクロタスク（たとえばある文書画像）において自動単語境界検出アルゴリズムによって検出される単語数Mの関数であることができる。この場合、品質QはQ＝f(M,Ni)として測定される。別の関数はMとNの比Q＝M/Nを使ってもよく、別の関数はQ＝M−N／Mであってもよい。ある実施形態では、二以上の作業者が特定のジョブについての結果を提出する場合、自動化品質検出は、すべての出力に依存する関数Q＝f(N1,…,Ni)であることができる。ある場合、fは、1／累積編集距離(N1…Ni)であってもよい。もう一つの場合には、Q＝(min(N1…Ni)/max(N1…Ni))である。
ある実施形態では、入力および出力が画像である場合（または画像に変換できる場合）、ジョブ品質Qは、入力画像の規格化されたグレーレベルまたはカラー・ヒストグラムHiを、タスク出力の規格化されたグレーレベルまたはカラー・ヒストグラムHoと比較することによって測定できる。この場合、Q＝f(Hi,Ho)である。
同じ作業者が、すぐ連続して、あるいはある時間期間の間に、いくつかの同様の型のタスクを実行する場合、その作業生成物はその作業者によって生成される品質を推定するために使われることができる。最も単純なレベルでは、作業者品質は、タスクの以前の受入率（acceptance rate）に基づいていてもよい。作業者品質のより正確な推定は、先に論じたように、既知の入力に対する実績を考慮に入れてもよい。十分なデータがあれば、作業者品質推定は、作業者疲労（多くの連続したタスクの後の品質推定を下げる）または作業者が該作業者の時間帯〔タイムゾーン〕においてタスクを実行している時刻を考慮に入れることができる。特定の作業者についてその作業者の品質を推定するには不十分なデータしかない場合には、おおまかな初期推定は、他のタスクに対する実績、あるいはより多くのデータがある他の作業者との何らかの類似性、たとえば地理的位置、言語スキルに基づいていてもよい。タスクのさまざまな型についての品質推定を確立するために初期タスクを作業者に割り当てることも可能である。
ある実施形態では、システム１００のMMS １０４は上で論じた原理を具現する。さまざまな因子を考慮に入れつつタスクをいかにしてマイクロタスクに分割すべきかを制御する規則がMSS １０４のために構成されてもよい。該因子は、そのタスクについての受け容れ可能なリスク閾値、そのタスクについての所望される品質レベル、そのタスクについての受け容れ可能なコスト閾値、マイクロタスクが人間または自動化された作業者によって実行されるべきかどうか、および上で論じた他の因子といったものである。システム１００によって実行される処理に関係する詳細は後述する。
図１に描かれるシステム１００を参照するに、タスクまたは作業要求者は、システム１０２を使って、タスク要求１１２をMMS １０４に通信してもよい。タスク要求者は人間、機械、ソフトウェア・アプリケーション／プロセスなどであってもよい。ある実施形態では、タスク要求者はタスク要求を構成するためにMSS １０４と直接対話してもよい。MMS １０４は複数のタスク要求者から複数のタスク要求を受け取ってもよい。このようにして、MMS １０４はいつでも、複数の要求者にサービスし、複数のタスク要求を処理しうる。
MMS １０４によって受領されるタスク要求１１２は、実行されるべきタスクを同定するタスク記述を含んでいてもよい。タスクは、人間知性タスク（HIT）または他のタスクであってもよい。タスク要求は、実行されるべき一つまたは複数のタスクを指定してもよい。要求されうるHITの例としては、これに制約されるわけではないが、次のようなものが含まれる。
・手書き文字またはテキストを画像からタイプ・テキストに変換する（たとえば、一つまたは複数の名刺から連絡先情報をタイプする、顧客が記入した書式データをエクセル・スプレッドシートにタイプする、文書修正をタイプする、名刺からの情報をデータベースに格納されている連絡先情報にタイプする）。
・グラフィック（たとえば手書きのグラフィック、ロゴ）をコンピュータ描画に変換する（たとえば、画像からのグラフィックをVISIO描画データに変換する、ホワイトボード画像をパワーポイント・スライドに変換する）。
・オブジェクト、画像、文書に対して、メタデータによりタグ付けする／記述する（たとえば、写真に写っている人の名前を入力する）。
・オブジェクト、画像、文書を分類する（たとえば、文書が請求書か納税用紙か分類する）。
・デジタル貯蔵所においてオブジェクト、画像、文書をみつける（たとえば、文書Aのすべてのバージョンをみつける、人物Aについてのリンクトイン（Linked-in）のURLをみつける）。
・オブジェクト、画像、文書の間の関係を定義する（たとえば請求書Aが書類Bに関係する）。
MMS １０４によって受領されるタスク要求１１２はまた、要求されたタスクを実行するために使われるべき情報、すなわちそのタスクについての入力情報をも含んでいてもよい。入力情報は、実行されるべきタスクに依存してもよく、一つまたは複数の型の情報を含んでいてもよい。一つまたは複数の型の情報には、これに限られないが、テキスト情報、画像情報、オーディオ情報、ビデオ情報、グラフィック、手書き情報および他の型の情報ならびにそれらの組み合わせが含まれる。タスクについての入力情報は、さまざまな異なる形において与えられてもよい。ある実施形態では、入力情報は、一つまたは複数の文書の形で与えられ、各文書が一つまたは複数の型の情報を含んでいてもよい。入力文書は、テキスト・ファイル、スキャナによって生成されたファイル、ワードプロセシング・プログラムによって生成されたファイル、画像または写真、オーディオ・ファイル、ビデオ・ファイルなどであることができる。たとえば、入力文書は名刺、レシート、手紙のメモ、ラベル、標識、請求書、写真、書式または図、新聞記事、小切手、オブジェクトなどの画像であってもよい。
上に示したように、タスクについて与えられる入力情報は典型的には実行されるべきタスクに依存する。たとえば、実行されるべきタスクが音声文字起こしである場合、入力情報は、文字起こしされるべき一つまたは複数の音声ファイルを含んでいてもよい。もう一つの例として、タスクが第一の言語から第二の言語に翻訳することである場合、入力情報は、翻訳されるべき第一の言語における一つまたは複数の文書を含んでいてもよい。もう一つの例としては、タスクが画像中のオブジェクトを識別する／タグ付けすることである場合、入力文書は一つまたは複数の画像であってもよい。したがって、タスクについて与えられる入力情報の内容は、実行されるべきタスク（または入力情報が複数のタスクについて使用されるのであれば複数のタスク）の型に依存しうる。
図１を参照するに、タスク記述および入力情報に加えて、MMS １０４によって受領されるタスク要求１１２は、実行されるべきタスクに関係する他の情報をも任意的に含んでいてもよい。たとえば、タスク要求は、タスクを実行するために使用されるべき基準を指定してもよい。該基準は、タスクを実行するための所望される価格／コストに関係する情報、タスクに関連するリスクの所望されるまたは受け容れ可能なレベル、タスクを完了するための時間枠、タスク出力についての所望される品質、タスクを実行する作業者の所望される位置、使われる作業者のタイプ（たとえば人間か機械か）、分配制約条件およびその他の情報といったものである。すると、この追加的情報は、マイクロタスクを生成する、入力情報をセグメント分割する、マイクロタスクを分配するなどのためにMMS １０４によって使用される。
ある実施形態では、タスク要求１１２は、プライバシーが保護されるべき入力情報の一つまたは複数の部分を同定する情報をも含んでいてもよい。これは、タスク要求者が、要求者にとって重要であり、プライバシーが保護されるべきである入力情報の部分を具体的に特定することを可能にする。たとえば、スキャンされた画像（たとえば名刺の画像）の内容に対応するテキストを生成することに関わるタスクについては、タスク要求者は人物の名前、人物の雇用者および雇用者の住所のプライバシーが保護されるべきであることを指定してもよい。タスク要求１１２はまた、供給されるデータに関して取ることのできる受け容れ可能なリスクの全体的なレベルをも含んでいてもよい。この情報は、MMS １０４によって、そのタスクについて指定されたさまざまな因子（たとえば、リスク、品質、コストなど）を満足しつつ、タスクをどのようにしてマイクロタスクに分割するかを決定するために使われてもよい。
MMS １０４は、MMS １０４によって実行されるさまざまな機能を容易にするいくつかのサブシステムを含んでいてもよい。図１に描かれる実施形態では、MMS １０４は、ユーザー・インターフェース・サブシステム１１６、内容解析サブシステム１１７、セグメント分割器サブシステム１１８、組み合わせ器サブシステム１２０、マイクロタスク生成器サブシステム１２２、値付け〔費用評価〕サブシステム１２４、前置処理器サブシステム１２６およびタスク生成物管理サブシステム（TPMS: task product management subsystem）１２８を有する。MMS １０４のこれらさまざまなサブシステムはハードウェア、ソフトウェア（たとえばMMS １０４のプロセッサによって実行されるコード、プログラム、命令）またはそれらの組み合わせにおいて実装されてもよい。ソフトウェアはコンピュータ可読記憶媒体に記憶されていてもよい。各サブシステムによって実行される処理は、のちにさらに詳細に記述する。
MMS １０４によって実行される処理を制御する一組の規則が、MMS １０４について構成されてもよい。これらの規則は、リスク・レベル、品質、コストなどに関係するようなタスクについて指定されるさまざまな因子または制約条件が満たされるようにタスク・アウトソーシングを実行するために、MMS １０４によって実行されるさまざまな処理機能を制御する。たとえば、リスクに関し、これらの規則は、タスクについて指定されるリスク・レベルが満足されるように特定のタスクをどのようにマイクロタスクに細分するかを制御する。もう一つの例として、品質に関し、これらの規則は、タスク実行から生成される出力の全体的な品質が指定された品質閾値を満たすよう、どのように特定のタスクをマイクロタスクに細分するかを制御する。リスクを品質とバランスする必要がある状況では、これらの規則は、品質を最大にしつつリスク・レベルが満足されるよう、あるタスクについてのマイクロタスクを決定するために使用されてもよい。図１に描かれる実施形態については、一組の規則は、タスク規則１３０、セグメント分割規則１３２、組み合わせ規則１３８、マイクロタスク規則１４４、分配規則１４８および価格付けサブシステム１２４によって使われる規則を含む。
タスクに影響し、該タスクのマイクロタスクへの分割に影響する因子が指定されるさまざまな方法がある。上記のように、タスク要求者は、タスク要求においてこれらの因子の一つまたは複数を指定してもよい。あるいはまた、デフォルト因子がMMS １０４について構成されてもよい。MMS １０４は、実行されるべきタスクの性質に基づいて（たとえば、タスク自身、入力情報の性質などに基づいて）、タスクについて使われるべき因子の組を決定するよう構成されてもよい。
MMS １０４は任意的に、MMS １０４に情報を提供し、MMS １０４が情報を出力する（たとえばタスク要求者システム１０２またはタスク要求者に）ためのインターフェースを提供するよう構成されたユーザー・インターフェース・サブシステム１１６を有していてもよい。ある実施形態では、ユーザー・インターフェース・サブシステム１１６は、タスク要求者のようなユーザーがMMS １０４と対話できるようにするグラフィカル・ユーザー・インターフェース（GUI）の組を提供してもよい。たとえば、タスク要求者がタスク要求を構成設定できるようにする、タスク要求に関連した情報を与える、タスクについての最終作業生成物を閲覧するなどできるようにするGUIが設けられてもよい。タスク要求者がMMS １０４によって実行される処理を構成設定できるようにするGUIが設けられてもよい。たとえば、タスク要求者は、ユーザー・インターフェース１１６を使って、MMS １０４の一つまたは複数のコンポーネントによって実行される処理に影響する規則または基準を構成設定してもよい。
ユーザー・インターフェース・サブシステム１１６はまた、MMS １０４の動作を制御するためにMMS １０４のユーザーが使用しうる一組のアプリケーション・プログラミング・インターフェース（API）をも提供してもよい。たとえば、タスク要求者が、実行されるべきタスク、そのタスクについての入力情報およびそのタスクがどのように実行されるべきかに関する他の基準を指定できるようにするAPIが提供されてもよい。ある実施形態では、ユーザー・インターフェース・サブシステム１１６は、タスク要求１１２を受領し、タスク要求をさらなる処理のために内容解析サブシステム１１７に転送するよう構成される。
内容解析サブシステム１１７は、タスク要求および関連する情報を解析するよう構成される。解析の一環として、内容解析サブシステム１１７は、実行されるべきタスクの型を認識する、タスクについて受領された入力の型を判別する、実行されるべきタスクに対して課された制約条件があればこれを判別するなどするよう構成されてもよい。解析を実行することから内容解析サブシステム１１７によって探り出される情報は、次いで、MMS １０４の他のサブシステムによって使用されてもよい。たとえば、内容解析サブシステム１１７によって実行される解析は、MMS １０４の他のサブシステムによって、そのタスクについてのマイクロタスクを決定することに関係する処理について使用されるべき規則を選択するために使用されてもよい。たとえば、内容解析サブシステム１１７によって実行される解析は、そのタスクについてセグメント分割器１１８によって使用されるべきタスク規則および／またはセグメント分割規則を決定するために、セグメント分割器１１８によって使用されてもよい。たとえば、内容解析サブシステム１１７は、タスクについての入力が画像であることを判別し、次いで入力画像をホワイトボード画像、名刺、文書画像などとしてさらに分類するための一つまたは複数のアルゴリズムを実行してもよい。内容解析サブシステム１１７によって決定された分類情報は、次いで、入力画像をセグメント分割するための適切なセグメント分割規則を選択するために、セグメント分割器１１８によって使用されてもよい。
状況によっては、タスク要求は実行されるべきタスクすら同定せず、入力情報だけを指定してもよい。内容解析サブシステム１１７は、入力情報を解析し、実行すべきタスクを自動的に決定してもよい。内容解析サブシステム１１７は、実行すべきタスクを自動的に決定するためにタスク規則１３０を使ってもよい。
タスク要求は、タスクに関連付けられるべき一つまたは複数の因子または制約条件（たとえばリスク、品質など）を同定してもよい。内容解析サブシステム１１７は、これらの制約条件を認識し、その情報をMMS １０４の他のサブシステムに伝達するよう構成されていてもよい。ある実施形態では、内容解析サブシステム１１７は、解析に基づいて、そのタスクのために使われるべき一組の因子を決定するよう構成されていてもよい。たとえば、リスク・レベルがタスク要求において指定されていない場合、内容解析サブシステム１１７によって実行される解析が、そのタスクに関連付けられるべきリスク・レベルまたは閾値を決定するために使われてもよい。
上に示したように、内容解析サブシステム１１７は、タスク規則１３０を使って、実行すべきタスクを自動的に決定してもよい。ある実施形態では、タスク規則は、条件と、該条件が満たされるとき、あるいは該条件が満たされないときに実行されるべきタスクとを特定してもよい。タスク規則のための条件は、タスク要求者の素性〔識別情報〕、入力情報に含まれる情報の型および他の基準ならびにそれらの組み合わせといった一つまたは複数の基準に基づいていてもよい。タスク規則の例：
（１）入力情報＝音声情報のみであれば、タスク＝音声情報を文字起こしする；
（２）入力情報のソース＝ユーザーA かつ 入力情報＝一つまたは複数のスキャン画像であれば、タスク＝各入力画像のテキスト内容をタイプ・テキストに変換し、各画像のグラフィック内容をコンピュータ描画に変換する。
タスク規則１３０はユーザー構成設定可能である。たとえば、ユーザー・インターフェース・サブシステム１１６によって提供されるAPIまたはGUIが、タスク要求者によって、該要求者のためのタスク規則をカスタマイズするために使用されてもよい。
MMS １０４の機能の一つは、タスクについて受領される入力情報の秘匿性およびプライバシーを保護しつつ、タスクの実行をアウトソーシングすることである。上で論じたように、これを行う一つの方法は、タスクをマイクロタスクに分割して、各マイクロタスクには入力情報の部分集合が関連付けられるようにし、次いでマイクロタスクを複数の作業者にアウトソーシングすることである。タスクをマイクロタスクに分解することによって、入力情報は部分集合にセグメント分割され、各部分集合が、ある作業者に割り当てられるマイクロタスクについての入力となる。ある実施形態では、入力情報の、マイクロタスクに関連付けられるべき部分集合へのセグメント分割は、セグメント分割器サブシステム１１８によって実行される。セグメント分割器サブシステム１１８は、タスクについて受領される入力情報を一つまたは複数のセグメント１３６にセグメント分割するよう構成される。各セグメントは、入力情報の一部分を含む。
セグメント分割器サブシステム１１８は、実行されるべきタスクおよびそのタスクに関連付けられた制約条件に基づいて、入力情報をセグメント分割するために、種々の型のセグメント分割技法を使ってもよい。使用されうるセグメント分割技法の例は、これに制約されるものではないが、さまざまな内容ベースのセグメント分割技法、時間的データ（たとえばビデオまたはオーディオ）については時間的セグメント分割技法その他を含む。内容ベースのセグメント分割技法の例は、これに制約されるものではないが、単語境界セグメント分割、画像／グラフィック・ベースのセグメント分割、キャラクタ・セグメント分割、キャラクタ行セグメント分割、領域セグメント分割、フェース（face）・セグメント分割、描画領域セグメント分割、手書きセグメント分割、オブジェクト・セグメント分割、署名セグメント分割などを含む。入力情報がオーディオ・クリップまたはビデオ・クリップのような時間的情報を含む場合、セグメント分割は、時間次元に沿って実行されうる。たとえば、オーディオおよびビデオ・クリップは、固定時間間隔に基づいてセグメント分割されてもよい。内容ベースのセグメント分割も時間的入力情報に対して実行されてもよい。セグメント分割技法は、全自動化されていてもよいし、あるいは自動化および手動の入力セグメント分割技法の組み合わせを含んでいてもよい。さらに、入力情報が選択されたセグメント分割技法を使ってセグメント分割されうる種々の方法がある。
ある実施形態では、セグメント分割器サブシステム１１８は、セグメント分割規則１３２を使って、タスクについての入力情報をセグメント分割するために使われるべき一つまたは複数のセグメント分割技法を決定し、また、選択された一つまたは複数のセグメント分割技法を使って入力情報がセグメント分割される仕方を決定する。セグメント分割規則は、条件と、使用されるべき一つまたは複数のセグメント分割技法と、前記条件が満たされたとき（あるいは前記条件が満たされないときに）選択された一つまたは複数のセグメント分割技法を使って入力情報がセグメント分割される仕方とを特定してもよい。セグメント分割規則についての条件は、実行されるべきタスク、タスク要求者の素性、入力情報に含まれる情報の型（たとえばオーディオ情報、ビデオ情報、画像など）および他の基準ならびにそれらの組み合わせといった、一つまたは複数の基準に基づいていてもよい。セグメント分割規則の例：
（１）入力情報＝オーディオ情報のみであれば、セグメント分割技法＝時間的セグメント分割技法A；
（２）タスク＝テキストをタイプ・テキストに変換、かつ入力情報＝画像であれば、セグメント分割技法＝単語境界セグメント分割。
ある実施形態では、タスクに関連付けられた受け容れ可能なリスク・レベルが、タスクがどのようにマイクロタスクに分解されるべきか、および、入力情報がどのように部分集合にセグメント分割されるべきかを制御してもよい。たとえば、入力情報がセグメント分割されるセグメントの数は、ジョブに関連付けられたリスク閾値に反比例してもよい。低いリスク閾値だと、入力情報はX個のセグメントにセグメント分割され、中くらいのリスク閾値だと、入力情報はY個のセグメントにセグメント分割され、高いリスク閾値だと、入力情報はZ個のセグメントにセグメント分割され、X＞Y＞Zである。さまざまなリスク閾値と対応するセグメント数との間のこの相関は、セグメント分割規則１３２においてエンコードされていてもよく、セグメント分割を実行するためにセグメント分割器１１８によって使用されてもよい。
ある種の実施形態では、タスクに関連付けられる所望される品質レベルは、そのタスクについて受領された入力がどのようにして、それぞれがマイクロタスクへの入力として与えられる部分集合にセグメント分割されるかを決定するためにも使われてもよい。さまざまな品質閾値と、対応するセグメント数との間のこの相関は、セグメント分割規則１３２においてエンコードされていてもよく、セグメント分割を実行するためにセグメント分割器１１８によって使用されてもよい。
セグメント分割規則１３２はユーザー構成設定可能である。たとえば、ユーザー・インターフェース・サブシステム１１６によって提供されるAPIまたはGUIは、タスク要求者がセグメント分割規則を、該要求者のニーズに適合するようカスタマイズできるようにしてもよい。ある実施形態では、異なるタスク要求者について異なるセグメント分割規則が構成設定されてもよい。特定のタスクについて、セグメント分割器サブシステム１１８は、そのタスクについて使われるべき一つまたは複数のセグメント分割規則を決定し、選択されたセグメント分割規則に基づいて使用されるべき前記一つまたは複数のセグメント分割技法および選択された技法を使って入力情報がセグメント分割される仕方を決定するよう構成される。セグメント分割器サブシステム１１８は、次いで、選択されたセグメント分割規則によって指定される仕方で、選択された技法を使って、入力情報をセグメント分割するよう構成される。セグメント分割を実行することから生成されるセグメント１３６は次いで、セグメント分割器サブシステム１１８によって、さらなる処理のために組み合わせ器サブシステム１２０に提供されてもよい。
図８Ａおよび図８Ｂは、本発明のある実施形態のさまざまな側面を記述するために、本願を通じて使用される例を描いている。しかしながら、この例は、請求項に記載される本発明の実施形態の範囲を限定することを意図したものではない。図８Ａに描かれる例では、タスクは画像のテキスト内容をタイプ・テキスト〔テキスト・データ〕に変換し、画像のグラフィック内容があればそれをコンピュータ描画（たとえばVISIO描画データ）に変換することであると指定するタスク記述８００を含むタスク要求が受領されてもよい。そのようなタスクについて受領される入力情報８０２は、一つまたは複数の名刺のラスタ化された画像を含んでいてもよい。記述８００は、供給される入力情報に関して取ることのできるリスクのレベルおよび／または所望される品質のレベルといった、そのタスクに関連付けられる因子または制約条件を指定する情報を含んでいてもよい。図８Ａの例では、入力情報は、二つの名刺の二つのスキャンされた画像８０４および８０６を含む。ある実施形態では、スキャンされた画像は、タスク要求者システムからMSS １０４によって受領されるタスク要求に含まれていてもよい。別の実施形態では、MMS １０４は画像を生成するための機構を提供してもよい。たとえば、MMS １０４は、名刺を入力として取り、名刺をスキャンして画像８０４および８０６を生成し、次いでそれらの画像をタスクを実行するために利用可能にするスキャナを有していてもよい。
図８Ａの例では、各入力画像は単語境界セグメント分割技法およびグラフィック・セグメント分割技法を使ってセグメント分割される。グラフィック・セグメント分割技法は、各入力画像中のグラフィックの位置を判別し、グラフィック部分だけを含むセグメントを生成する。単語境界セグメント分割技法は、各入力画像中の単語境界を判別し、単語境界に対応するセグメントを生成する。ある実施形態では、単語セグメント分割技法は、各入力文書画像中に、セグメント分割された単語領域を含む一組の長方形を識別する。セグメント分割された各単語領域は次いで、入力画像から抽出され、新しい画像として保存される。これらの新しい画像は入力画像についてのセグメントを表している。図８Ａに示されるように、画像８０４は、画像セグメント８１０と、単語境界に基づく12個の単語セグメント８１２とを含む13個のセグメント８０８に分割される。画像８０６は、画像セグメント８１６と、単語境界に基づく11個の単語セグメント８１８を含む12個のセグメント８１４に分割される。セグメント８０８および８１４は、次いで、さらなる処理のために組み合わせサブシステム１２０に提供されてもよい。ある実施形態では、セグメント分割を実行するために、非特許文献１に記載される技法が使用されてもよい。非特許文献の内容全体はここにあらゆる目的について参照によって援用する。
セグメント分割器サブシステム１１８が入力情報をセグメント分割する仕方は異なるタスクについては異なることがあるので、セグメント分割器サブシステム１１８は、各タスクについて、そのタスクについて入力情報がセグメント分割された特定の仕方を同定するセグメント分割情報１３４を記憶する。ある実施形態では、タスクについて記憶されるセグメント分割情報１３４は：タスクを同定する情報、タスクの要求者を同定する情報、タスクについて受領された入力情報を同定する情報、生成されるセグメント数を含め入力情報がどのようにセグメント分割されたかを同定する情報およびセグメントが生成された仕方（たとえば使用されたセグメント分割技法（単数または複数））、もとの入力中でのセグメントの位置および他の情報を含んでいてもよい。タスクについて受領された入力情報は複数の入力文書を含むことができるので、セグメント分割情報１３４は、それらの文書を同定する情報および、各文書について、その文書の内容がどのようにセグメント分割されたかを同定する情報を含んでいてもよい。このようにして、セグメントが与えられたとき、セグメント分割情報１３４は、そのセグメントに対応する入力文書と、該入力文書が入力として受領された目的のタスクとを判別するために使用されることができる。後述するように、セグメント分割情報１３４は、タスク生成物管理サブシステム（TPMS）１２８によって、タスクについての最終作業生成物を構築するために使用される。
セグメント分割システムは、タスクをどのようにセグメント分割するかを決定するために、所望される入力リスクおよび品質を使ってもよい。たとえば、リスク要件がなければ、すべてのテキストは一つのセグメント内に留まってもよい。中くらいのレベルのリスクが許容されるならば、テキストは種々のセグメントにセグメント分割されることができる。非常に低いリスクが許容されるなら、入力は個々の単語にまでセグメント分割されることができる（図８Ａに示されるように）。きわめて低いリスクのためには、入力は文字にまでセグメント分割されることができる。セグメント分割の選択は、所望される品質レベルを考慮に入れてもよい。一つの場合には、すべてのテキストを単一のセグメントに残すことは、高い品質につながることができる。テキスト全体について同じフォントが使用されていることがあり、会社名のような情報が複数回、たとえば住所および電子メール・アドレスの両方に、現れることがあるからである。テキストを単語にセグメント分割することは、典型的には、文字に分割するよりは高い品質につながる。人間も機械も、単語のコンテキストにおいて文字を認識することの恩恵を受けるからである。
タスクについての入力情報がセグメント分割され、セグメント分割情報が記憶されると、セグメント分割器サブシステム１１８がセグメント１３６を、さらなる処理のために組み合わせ器サブシステム１２０に提供してもよい。たとえば、セグメント分割器サブシステム１１８は図８Ａに描かれるセグメント８０８および８１４を、さらなる処理のために組み合わせ器サブシステム１２０に提供してもよい。図８Ａでは、単語画像セグメントは、境界で区切られたボックス内の単語（これは、単語画像セグメントに対応する図８Ｂにおける記号的な単語（symbolic word）とは区別する必要がある――記号的な単語は境界で区切られたボックスなしに示されている）によって表されている。
組み合わせ器サブシステム１２０は、セグメント１３６から組み合わされたセグメント１４０を生成するよう構成される。ある実施形態では、組み合わせは、そのタスクについて受領された入力情報の内容のプライバシーを危殆化するリスクを軽減しようとするようになされる。セグメントが組み合わされる仕方は、実行されるべきタスクに関連付けられた受け容れ可能なリスクおよび／または品質のレベルといったさまざまな因子に依存してもよい。セグメント１３６の内容が、入力情報の内容のプライバシーを保護するよう（換言すれば、アウトソーシングの結果として入力情報のプライバシーまたは秘匿性が失われることに関連するリスクを軽減するよう）組み合わせ器サブシステム１２０によって組み合わされうる種々の方法がある。ある実施形態では、この組み合わせは、入力情報中の情報間のコンテキスト関係をぼかす方向でなされる（下記で例を与える）。別の実施形態では、入力情報の内容とともに「ノイズ」情報が組み合わされてもよい。たとえば、偽の名前、電話番号などが、入力情報から抽出された内容に加えられてもよい。組み合わせ器は、種々の組み合わせ規則に関連付けられたリスクの推定を行って、それをそのタスクについて指定されているリスクのレベルと比較してもよい。
ある実施形態では、組み合わせ器サブシステム１２０は、組み合わせ規則１３８を使って、どのように組み合わせが行われるかを決定する。組み合わせ規則は、条件と、該条件が満たされるときに（あるいは該条件が満たされないときに）使われるべき一つまたは複数の組み合わせ技法とを特定してもよい。組み合わせ規則についての条件は、一つまたは複数の基準に基づいていてもよい。下記の表Ａは、組み合わせ器サブシステム１２０によって組み合わせが実行される仕方に影響しうる例示的な基準と、各基準の組み合わせ処理に対する影響を挙げている。

表Ａ
〈基準〉組み合わせ処理に対する影響
〈プライバシー考慮〉組み合わされた諸セグメントは、プライベートな情報が別個の組み合わされたセグメントを横断してスクランブルされ、個々のどの組み合わされたセグメントの内容も全体的な入力情報のプライバシーを危殆化させないような仕方で形成されうる。
たとえば、入力情報のある部分がプライベートであるとタグ付けされている場合（たとえば、先述したように、タスク要求者が入力情報のある部分をプライベートであると指定してもよい）、組み合わせ器サブシステム１２０は、組み合わされたセグメントを生成するときにこれを考慮に入れてもよい。ある実施形態では、組み合わされた諸セグメントは、プライベートとタグ付けされた入力情報内容が複数の組み合わされたセグメントにまたがって分散され、単一の組み合わされたセグメントの内容が知られても入力情報のプライバシーが危殆化されないように形成されうる。
〈タスク要求または入力情報の源〉タスク要求者は、該タスク要求者に由来するタスクについて使用されるべきカスタマイズされた組み合わせ技法を指定することが許容されてもよい。
〈入力情報に含まれる内容の型〉ある特定の組み合わせ技法がある種の情報については好適であるが、別の種類の情報については好適でないことがありうる。
〈タスクに関連付けられた値付け情報〉値付け情報は、生成されるべき組み合わされたセグメントの数および組み合わされたセグメントの内容に対して、タスクを完了するための全体的なコストがそのタスクについて指定された受け容れ可能な値付け限界内になるよう、影響しうる。
後述するように、各組み合わされたセグメントについて一つまたは複数のマイクロタスクが決定される。次いで、各マイクロタスクを完了するための価格／費用が決定されてもよい。したがって、組み合わされたセグメントの数はマイクロタスクの数に影響し、マイクロタスクの数はタスク完遂の全体的なコストに影響する。いくつかの事例では、組み合わされたセグメントの数、よってマイクロタスクの数をある閾値を超えて増やすことは、そのタスクを実行するためのコストが受け容れ可能な値付けコストを超過することにつながることがある。
〈タスク完遂までの所望時間〉タスク完遂までの時間は生成されるべき組み合わされたセグメントの数および組み合わされたセグメントの内容に影響しうる。組み合わされたセグメントの数はそのタスクについてのマイクロタスクの数に影響し、マイクロタスクの数はそれらのマイクロタスクを実行するために必要とされる時間に影響しうる。いくつかの事例では、多数の組み合わされたセグメントを生成して各セグメントの内容を少なくすることは、全体的なタスクがより速く完了されることにつながりうる。だが、他の事例では、これは全体的なタスク完了に対して遅延を追加することがある。
〈作業者の利用可能性〉上述したように、組み合わされたセグメントの数はマイクロタスクの数に影響する。マイクロタスクは完了するために作業者にアウトソーシングされる。したがって、マイクロタスクの数はそれらのマイクロタスクを実行するために必要とされる作業者の数に影響する。したがって、組み合わされたセグメントの数は作業者の利用可能性に基づいて決定されてもよい。
〈作業者のスキル・レベル〉既知のスキル・セットをもつ作業者のために、組み合わされたセグメントが生成されてもよい。それにより、該組み合わされたセグメントに関連付けられるマイクロタスクがそれらの作業者によって実行されることができる。
〈人手／自動化〉ある実施形態では、人間によって実行される必要があるタスクに関係した内容が一組の組み合わされたセグメントにグループ化されてもよく、一方でコンピュータによって実行できるタスクが別個の組の組み合われたセグメントにグループ化されてもよい。このようにして、全体的なタスクは、人間の作業者および自動化されたコンピュータ技法のハイブリッドを使って実行できる。
〈タスクについての所望される精度〉タスクについての所望される正確さの度合いは、生成される組み合わされたセグメントの数および組み合わされたセグメントの内容に影響しうる。
セグメントが組み合わされる仕方は、タスクに関連付けられた受け容れ可能なリスク・レベルおよび／または品質レベルに依存してもよい。さまざまなリスクおよび／または品質閾値と使用されるべき組み合わせ技法との間のこの相関は、組み合わせ規則１３８においてエンコードされていてもよく、組み合わせを実行するために組み合わせ器１２０によって使用されてもよい。
図８Ａに描かれる例を参照するに、四つの組み合わされたセグメント８２０、８２２、８２４および８２６がセグメント８０８および８１４の内容に基づいて生成されている。（グラフィックを含む）セグメント８１０および８１６の内容は単一の組み合わされたセグメント８２０に組み合わされている。組み合わされたセグメント８２２、８２４および８２６は、入力画像から抽出された８１２および８１８における単語セグメントに基づいて生成されている。たとえば、セグメント８２２、８２４および８２６のそれぞれは、一つまたは複数のセグメント画像を含む新しい組み合わされた画像（たとえば８２２）を生成するよう、８１２および８１８からのセグメント画像の一つまたは複数を組み合わせるまたは融合することによって生成される。
組み合わされた画像は、複数の異なる文書からのセグメント画像を含んでいてもよい。たとえば、組み合わされたセグメント８２２は、文書８０４から抽出されたセグメント「Tom」〔トム〕を含み、文書８０６から抽出されたセグメント「Smith」〔スミス〕をも含む。同様に、組み合わされたセグメント８２０は文書８０４からのセグメント８１０および文書８０６からのセグメント８１６を含む。同様に、組み合わされたセグメント８２４および８２６も、文書８０４および８０６の両方からの内容を含む。代替的な実施形態（図８Ａには示さず）では、組み合わされたセグメントは、意図的に導入されたノイズ内容をも含む。
図８Ａにおいて見て取れるように、セグメントは、タスク要求者によってプライベートであるとタグ付けされた入力情報の部分（たとえば、人の名前、人の地位、人の雇用主および雇用主の住所）が三つの組み合わされたセグメント８２２、８２４および８２６にまたがって拡散されるように、組み合わされている。結果として、それぞれの組み合わされたセグメントは、どの一つの入力文書からの情報全部よりも少ない部分を含んでいる。たとえば、入力文書８０４からの単語「Tom」が組み合わされたセグメント８２２に含まれていたとしても、トムの名字「Jones」〔ジョーンズ〕は含まれない。組み合わされたセグメント８２２の内容を見ている誰かにとって、名前Tom Jonesを判別することは可能ではなく、それにより名前のプライバシーが保持される。これは、初期タスクのそれぞれについての推定されるリスクを下げる。こうして、単一の名刺からのフルネームの流出のリスク0.05があった場合、ファーストネームと名字が分離されているときにシステムがフルネームを開示するリスクは1000分の1、すなわち0.00005と推定されうる。これらの推定は経験的な結果に基づいていてもよい。
さらなるレベルのプライバシー保護が、入力文書から抽出された個々のセグメントが組み合わされて組み合わされたセグメントを形成する仕方によって可能にされる。たとえば、組み合わされたセグメント８２２は文書８０４からのファーストネーム「Tom」と入力文書８０６からの名字「Smith」を含むセグメントを含む。セグメントのそのようなスクランブルは、さらなる層のぼかし（obfuscation）、そしてプライバシーが保持されるべき情報についての追加的な保護を加える。組み合わされたセグメントの一つだけから実際の情報を見きわめることは、不可能ではないまでも、極めて困難だからである。
図８Ａに描かれた例から明らかなように、組み合わされたセグメントは複数の入力文書から抽出されたセグメントを含むことができる。たとえば、組み合わされたセグメント８２２は画像８０４からのセグメント「Tom」および画像８０６からのセグメント「Smith」を含む。したがって、二つ以上の異なる入力文書からの内容が単一の組み合わされたセグメント中に組み合わされてもよい。複数の入力文書にまたがる内容のこのようなスクランブルは、いずれか一つの文書からの内容のプライバシーが危殆化される可能性をさらに低下させる。
組み合わせ器サブシステム１２０は異なるタスクについて異なる組み合わせ技法を使ってもよいので、組み合わせ器サブシステム１２０は、各タスクについての、組み合わされたセグメントを生成するためにそのタスクについてセグメントが組み合わされた特定の仕方を同定する組み合わせ情報１４２を記憶する。ある実施形態では、タスクについて記憶されている組み合わせ情報１４２は、組み合わされた各セグメントについて記憶されている以下の情報を含んでいてもよい：組み合わされたセグメントを同定する情報、組み合わされたセグメントと、該組み合わされたセグメントに含められた諸セグメントとの間のマッピングを与える情報、組み合わされたセクション内の諸セグメントの位置およびその他の情報。したがって、組み合わされたセグメントを与えられたとき、組み合わせ情報１４２を使って、該組み合わされたセグメントに内容が含まれている一つまたは複数のセグメントを決定することができる。後述するように、組み合わせ情報１４２は、組み合わされたセグメントに関連付けられたマイクロタスクの実行から受領される結果に基づいて、そのタスクについての最終作業生成物を構築するために、TPMS １２８によって使用される。
組み合わされたセグメントが生成され、組み合わせ情報１４２が記憶されたのち、組み合わせ器サブシステム１２０は組み合わされたセグメント１４０をさらなる処理のためにマイクロタスク生成器サブシステム１２２に転送してもよい。たとえば、組み合わせ器サブシステム１２０は、図８Ａに描かれる組み合わされたセグメント８２０、８２２、８２４および８２６を、さらなる処理のためにマイクロタスク生成器サブシステム１２２に与えてもよい。
マイクロタスク生成器サブシステム１２２は、各組み合わされたセグメントについての一つまたは複数のマイクロタスクを決定するよう構成される。ある実施形態では、マイクロタスク生成器サブシステム１２２は、組み合わされたセグメントについて前記一つまたは複数のマイクロタスクを決定するために、マイクロタスク規則１４４を使ってもよい。マイクロタスク規則は、条件と、該条件が満たされたときに（あるいは該条件が満たされないときに）組み合わされたセグメントに関連付けられるべき一つまたは複数のマイクロタスクとを同定してもよい。マイクロタスク規則についての条件は、実行されるべきタスク、組み合わされたセグメントの内容、タスク要求者の素性およびその他の基準といった一つまたは複数の基準に基づいていてもよい。
図８Ａに描かれた例を参照するに、各組み合わされたセグメントについて一つずつ、四つのマイクロタスクが決定されている：（１）マイクロタスク「MT1：コンピュータ描画への変換」は組み合わされたセグメント８２０に関連付けられている；（２）マイクロタスク「MT2：タイプ・テキストへの変換」は組み合わされたセグメント８２２に関連付けられている；（３）マイクロタスク「MT3：タイプ・テキストへの変換」は組み合わされたセグメント８２４に関連付けられている；（４）マイクロタスク「MT4：タイプ・テキストへの変換」は組み合わされたセグメント８２６に関連付けられている。図８Ａに描かれている例では各組み合わされたセグメントに関連付けられているのは一つのマイクロタスクだけであるが、代替的な実施形態では、複数のマイクロタスクが単一の組み合わされたセグメントに関連付けられてもよい。
図１に戻って参照するに、ひとたび一組の組み合わされたセグメントについてのマイクロタスクが決定されたら、マイクロタスク生成器サブシステム１２２は、生成されたマイクロタスクについての価格／費用を決定するために値付けサブシステム１２４のサービスを使ってもよい。HITは典型的には、コンピュータまたは機械によって実行されるタスクよりも、単位時間当たりより高い価格点で値付けされる。値付けサブシステム１２４は、マイクロタスクについての入力における内容の量といったさまざまな基準に基づいて、マイクロタスクについての価格点を計算するよう構成されていてもよい。たとえば、マイクロタスクは、該マイクロタスクに対応する組み合わされたセグメント中の内容の量に基づいて値付けされてもよい。他の実施形態では、コンピュータによって実行できるマイクロタスクは人間によって実行できるマイクロタスクから区別されてもよい。たとえば、マイクロタスクの値付けに先立って、機械によって実行されるべきマイクロタスクと、人間によって実行されるべきマイクロタスクとの区別をするために前処理器１２６が使われる。ある実施形態では、前処理器サブシステム１２６は、組み合わされたセグメントの内容を前処理して、その組み合わされたセグメントに関連付けられたマイクロタスク（単数または複数）を実行するためにより助けとなる形にしてもよい。マイクロタスクの値付けおよび前処理器サブシステム１２６の使用に関するさらなる詳細は後述する。図８Ａに描かれた例を参照するに、価格P1がマイクロタスクMT1について決定され、価格P2がマイクロタスクMT2について決定され、価格P3がマイクロタスクMT3について決定され、価格P4がマイクロタスクMT4について決定される。
マイクロタスク生成器サブシステム１２２は、マイクロタスクおよび関連付けられた情報を、一つまたは複数のプロバイダー１１４に分配するために分配システム１０６に転送するよう構成される。マイクロタスク生成器サブシステム１２２はまた、分配システム１０６に転送されたマイクロタスクに関するマイクロタスク情報１４６を記憶してもよい。マイクロタスクについて、マイクロタスク情報１４６は、そのマイクロタスクを同定する情報、そのマイクロタスクのために関連付けられた値付け情報、そのマイクロタスクをその入力された組み合わされたセグメントにマッピングする情報、そのマイクロタスクが転送される先の分配システム（本質的にはMMS １０４が複数の分配システムを使用してもよい実施形態において）およびその他の情報を含んでいてもよい。
上述したように、マイクロタスク生成器サブシステム１２２は、マクロタスクおよび関連付けられた情報を、一つまたは複数のプロバイダー１１４に分配するために、分配システム１０６に転送するよう構成される。マイクロタスクに関連付けられた情報は、そのマイクロタスクを実行するための入力として使われる内容をもつ組み合わされたセグメント、そのマイクロタスクについての値付け情報およびその他の情報を含んでいてもよい。
マイクロタスクに関連付けられた情報はまた、そのマイクロタスクの実行のためのコンテキストを与えうるコンテキスト情報をも含んでいてもよい。このコンテキスト情報は、マイクロタスクの実行に関して助けとなるべくプロバイダーに提供されてもよい。たとえば、単語画像をテキスト・タイプに変換することに関わるマイクロタスクについて、マイクロタスクの精度を高めるために、そのマイクロタスクについて、入力単語画像が医療書式または名刺から抽出されたことを示すコンテキスト情報が提供されてもよい。もう一つの例として、マイクロタスクについてのコンテキスト情報は、作業者が数字、電子メール・アドレスなどをタイプする必要があるといった、そのマイクロタスクに関係するさらなる情報を提供してもよい。このように、マイクロタスクとともにプロバイダーに転送されるコンテキスト情報は、そのマイクロタスクを実行するためのコンテキストを与える情報を含んでいてもよい。
ある実施形態では、MMS １０４は、一組のマイクロタスクに関連付けられるべき一つまたは複数の制約条件１５０を決定するよう構成されていてもよい。制約条件１５０は、個々のマイクロタスクに関係した制約条件および／またはマイクロタスクがどのように分配されるべきかに関する制約条件を含んでいてもよい。制約条件は、マイクロタスクがどのように実行されるべきか、マイクロタスクを実行するために許容される作業者の特性、マイクロタスクについて完了までの時間の期待、どこでマイクロタスクが実行できるか（たとえば位置制約条件）、マイクロタスクについての所望される精度、分配制約条件などに関する制約条件を含んでいてもよい。作業者の特性に関係した制約条件は、たとえば、マイクロタスクが機械によって実行されるべきか人間の作業者によって実行されるべきか、作業者の専門技量のレベル、作業者の位置（たとえば米国内か国外か）、作業者の年齢などを含んでいてもよい。
タスクに関連付けられた受け容れ可能なリスクおよび／または品質レベルは、マイクロタスク生成器サブシステム１２２によって生成されるマイクロタスクに関連付けられる制約条件を制御してもよい。たとえば、受け容れ可能な限度内でリスクを下げるために、特定のマイクロタスク（または一組のマイクロタスク）を、人間の作業者の代わりに、一または複数の機械作業者にアウトソーシングするほうがよいことがありうる。他方、望ましい品質の出力を得るために、特定のマイクロタスク（または一組のマイクロタスク）を一または複数の人間の作業者にアウトソーシングするほうがよいことがありうる。したがって、制約条件１５０は、特定のマイクロタスクが人間のプロバイダーだけに分配されるべきか、機械のプロバイダーだけに分配されるべきか、そのタスクに関連付けられたリスクおよび品質レベルに基づいて人間または機械のプロバイダーのいずれにもソーシングできるかを指定してもよい。リスクおよび／または品質因子とマイクロタスク制約条件との間のこれらの相関は、マイクロタスク規則情報１４４においてエンコードされていてもよく、要求されるタスクに対応する一組のマイクロタスクおよびもしあれば該一組のマイクロタスクに関連付けられるべき制約条件を決定する際に、マイクロタスク生成器サブシステム１２２によって使用されてもよい。
制約条件１５０は、分配システム１０６が一組のマイクロタスクを個々のプロバイダーに分配またはアウトソーシングする仕方に関係した分配制約条件をも含んでいてもよい。たとえば、一組のマイクロタスクについての分配制約条件は、プロバイダーは該一組のマイクロタスクからの二つ以上のマイクロタスクを割り当てられることができないことを指定してもよい。そのような制約条件は、本質的に、プロバイダーが一組のマイクロタスクから一つのマイクロタスクのみを割り当てられることができることを保証する。このことは、プロバイダーがその一つのマイクロタスクに対応する高々一つの組み合わされたセグメントを開示されることを保証し、それによりそのプロバイダーに暴露されるのがそのタスクについて受領された入力情報の部分集合のみであることを保証するので、このことはプライバシーの保護のために重要である。
分配制約条件１５０はまた、マイクロタスク・アウトソーシングに対する地理的制約条件を課す制約条件のような他の制約条件をも含んでいてもよい。たとえば、一組のマイクロタスクについての分配制約条件は、その一組のマイクロタスクからの二つのマイクロタスクが同じ都市内のプロバイダーに割り当てられるべきではないことを指定してもよい。これは、プロバイダー間の地理的な距離を加え、それにより入力情報のプライバシーが危殆化される可能性をさらに減らす。そのような分配は、入力情報の内容のプライバシーが危殆化されるリスクをさらに減らす（またはほとんどなくす）。
いくつかの事例では、マイクロタスクについての入力情報の一つまたは複数の部分は、情報のプライバシーを保持するために編集（たとえば黒塗り〔ブラックアウト〕）されてもよい。編集されるべき領域は、タスク要求者から受領される情報に基づいてMMS １０４の人間のオペレーターによって手動でマークされてもよい。あるいはまた、編集されるべきセクションは、たとえば光学文字認識（OCR）技法、キーワード検索（タスク要求者によってプライベートであると同定された社会保障番号の検索など）などを使うことによって、自動的に決定されてもよい。
分配システム１０６は、MMS １０４から一組のマイクロタスク（およびもしあれば関連付けられた制約条件）を受領し、それらのマイクロタスクを実行するための一または複数の作業者またはプロバイダーを決定し、それらのマイクロタスクを決定されたプロバイダーに分配するよう構成される。アウトソーシングという用語は一般に、一または複数のプロバイダーへのタスクの分配を指すのに使われる。プロバイダーは、人間の作業者および／または自動化されたコンピュータ・システム（たとえば図１に描かれたシステム１１０）を含んでいてもよい。いくつかの実施形態では、分配システム１０６はマイクロタスクおよび関連付けられた情報を、作業者またはプロバイダーによって使用されるシステム１０８（たとえばコンピュータ）に転送してもよい。プロバイダーに提供されるマイクロタスクに関連付けられた情報は、該マイクロタスクを実行するための入力として使われる一つまたは複数の組み合わされたセグメントの内容、可能性としてはそのマイクロタスクについて決定された値付け情報、そのマイクロタスクについての期待される品質情報、そのマイクロタスクを完了するための時間枠およびその他の情報を含んでいてもよい。
マイクロタスクおよびその関連付けられた情報を送達するために種々の技法が使われてもよい。場合によっては、マイクロタスクおよび関連付けられた情報は、そのマイクロタスクを実行するために選択された人間の作業者のシステムに、あるいはそのマイクロタスクを実行するシステム／機械に提供されてもよい。たとえば、実行されるべきマイクロタスクを同定する電子メールがプロバイダーに送られてもよく、そのマイクロタスクについての入力情報（すなわち、そのマイクロタスクについての組み合わされたセグメント）がその電子メールに添付されてもよい。他の実施形態では、該情報は人間の作業者に直接与えられてもよい。ある実施形態では、分配システム１０６は、分配プロセスを容易にするために分配規則１４８を使ってもよい。ある実施形態では、アマゾン・メカニカル・タークのような分配システムは、分配システム１０６によって提供される機能を提供するよう向上されてもよい。
分配システム１０６は、マイクロタスクが、該マイクロタスクに関連付けられた制約条件があればそれに従って分配されることを保証するよう構成される。特に、所望されるリスクまたは品質を、マイクロタスクの分配に影響するために使うことができる。そのような制約条件の結果として、一組のマイクロタスクからのマイクロタスクは、異なる地理的位置、異なるIDをもつ作業者、異なる年齢グループの作業者、異なるタイム・ゾーンの作業者、異なるアウトソーシング会社に勤める作業者などにアウトソーシングまたは分配されてもよい。
分配システム１０６は、実行されるべきマイクロタスクについて一つまたは複数のプロバイダー１１４を選択するよう種々の技法を使ってもよい。ある実施形態では、最低入札値をもつプロバイダーにマイクロタスクが分配される入札システムを使ってもよい。ある実施形態では、入札システムにおいて情報のプライバシーを保護するために追加的施策が講じられてもよい。たとえば、特定のマイクロタスクについて、プロバイダーからの入札を得るために、分配システム１０６は自動的に「代表的」マイクロタスク（すなわち、たとえばタイプ・テキストへの変換のための同じ長さの語、同じ分類子信頼性（classifier confidence）など、目標の特定のマイクロタスクと同じ難しさだが架空の入力内容をもつマイクロタスク）を生成してもよい。分配システム１０６は、次いで、入札に基づいて特定のプロバイダーを選択し、次いで実際の特定のマイクロタスクおよびその関連付けられた入力された組み合わされたセグメント（単数または複数）を「落札した」入札者に分配してもよい。そのような技法を使えば、一の選択されたプロバイダーだけがマイクロタスクおよびその関連付けられた入力内容にアクセスをもつ。これは、分配プロセスのセキュリティを高める。代表的マイクロタスクを提供し、該代表的問題に対する入札に基づいてプロバイダーを選択するプロセスは、自動化されていてもよいし、あるいは何らかの人間の入力を含んでいてもよい。
もう一つの実施形態では、潜在的プロバイダーが、代表的マイクロタスクを解くよう求められてもよく、その問題を解くことができる、あるいはその問題を所望される品質で所望された時間枠内に解くことができる一のプロバイダーだけが、実行されるべき実際のマイクロタスク（単数または複数）へのアクセスを得ることが許容され、他のプロバイダーは閉め出される。そのようなアプローチも、プロバイダーの素性がわかるので、セキュリティを高める、あるいはリスクを減らし、トラッキング〔追跡性〕を高める。そのようなシナリオでは、マイクロタスクに関連付けられた内容が公に暴露される（または危殆化される）場合、その情報を漏洩したプロバイダーの素性が簡単に決定できる。
マイクロタスクが分配される作業者がそのマイクロタスクを受け容れないことが可能であってもよい。たとえば、作業者は、マイクロタスクに関連付けられたコスト／価格制約条件を受け容れないことがありうる。別のシナリオでは、マイクロタスクについて作業者を見出すことさえできないこともありうる。たとえば、マイクロタスクに関連付けられた作業者に関係した、地理に関係したなどの制約条件がある場合、そうした制約条件を満たす作業者を見出すことは常に可能ではないことがありうる。結果として、マイクロタスクは分配されないままとなりうる。そのようなシナリオをカバーするため、各マイクロタスクにタイムアウト値〔有効期限値〕が関連付けられていてもよい。マイクロタスクが、該マイクロタスクに関連付けられたタイムアウト値以内にアウトソーシングされることができない場合（これは作業者によってマイクロタスクが拒否された、適切な作業者がみつからなかった、その他の理由のためでありうる）、そのマイクロタスクに関係したさまざまな動作が、タイムアウトの期限切れに際してトリガーされうる。ある実施形態では、タイムアウトに際して、そのタスクが作業者によって拒否されたことが判別される場合、そのマイクロタスクは異なる作業者にアウトソーシングされてもよいし、あるいは、そのマイクロタスクは同じ作業者に、その作業者がそのマイクロタスクを受け容れる可能性を高めるような修正された制約条件をもって（たとえばより高いコスト／価格制約条件をもって）再び分配されてもよい。そのマイクロタスクについて作業者がみつからなかったために起こったタイムアウトのシナリオでは、そのタスクがより大きな、より手にはいりやすい作業者の集合に分配できるよう、そのマイクロタスクに関連付けられた制約条件が変更（典型的には低下）されてもよい。このようにして、マイクロタスクに関連付けられたタイムアウトに際して、そのマイクロタスクを再分配するためにさまざまな動作が実行されてもよい。
分配システム１０６はまた、プロバイダー１１４からマイクロタスク実行の結果または作業生成物（マイクロタスク生成物と称する）を受け取るよう構成される。マイクロタスク生成物は、一または複数の作業者システム１０８からおよび／または一または複数の自動化されたシステム１１０から受領されてもよい。分配システム１０６は、マイクロタスク生成物をMMS １０４に転送するよう構成される。いくつかの実施形態では、一または複数のプロバイダーは、マイクロタスク生成物をMMS １０４に直接提供してもよい。
ある実施形態では、分配システム１０６は、マイクロタスク生成物を受領するために、プロバイダー１１４のシステムをポーリングしてもよい。ある代替的な実施形態では、プロバイダー・システムが、マイクロタスク生成物を分配システム１０６にプッシュするよう構成されてもよい。さらに、ある実施形態では、MMS １０４は、マイクロタスク生成物を受領するために分配システム１０６にポーリングしてもよい。一方、他の実施形態では、分配システム１０６はマイクロタスク生成物をMMS １０４にプッシュするよう構成されていてもよい。
一または複数の分配システム１０６からMMS １０４によって受領されるマイクロタスク生成物は、タスク生成物管理サブシステム１２８（TPMS）に転送される。TPMS １２８は、そのタスクに対応する諸マイクロタスクについて受領されたマイクロタスク生成物に基づいて、そのタスクについての最終作業生成物を構築するよう構成される。ある実施形態では、そのタスクについての最終生成物は、マイクロタスクについて受領されたマイクロタスク作業生成物を総合することによって生成されてもよい。TPMS １２８は、総合を実行するためのアセンブラー・モジュール１２９を有していてもよい。次いで、最終生成物は、タスク要求者に提供されてもよい。
ある実施形態では、TPMS １２８は、タスクに対応するマイクロタスクについて受領されたマイクロタスク生成物に基づいて、そのタスクについての最終作業生成物を構築するために、マイクロタスク情報１４６、組み合わせ情報１４２およびセグメント分割情報１３４を使う。たとえば、分配システム１０６から受領されたマイクロタスク生成物について、TPMS １２８は、マイクロタスク生成物に対応するマイクロタスクおよびそのマイクロタスクに対応する組み合わされたセグメント（すなわち、そのマイクロタスクについて入力として使われた組み合わされたセグメント）を決定するためにマイクロタスク情報１４６を使ってもよい。このようにして、TPMSは、マイクロタスク情報１４６を使って、受領された各マイクロタスク生成物を組み合わされたセグメント（単数または複数）にマッピングしてもよい。TPMS １２８は、組み合わされたセグメントにマッピングされた一または複数のマイクロタスク生成物に基づいて、各組み合わされたセグメントについて作業生成物を生成してもよい。TPMS １２８は次いで、組み合わせ情報１４２を使って、組み合わされたセグメントに対応するセグメントを決定してもよい。TPMS １２８は次いで、各セグメントについて、該セグメントに対応する組み合わされたセグメントについての作業生成物に基づいて、作業生成物を構築してもよい。TPMS １０４は次いで、それらのセグメントを、そのタスクについて受領された入力情報における個々の入力文書にマッピングするために、セグメント分割情報１３４を使ってもよい。TPMS １２８は、セグメント分割情報１３４を、セグメントについて構築された作業生成物に基づいて各入力文書についての作業生成物を構築してもよい。入力文書について構築された作業生成物は、そのタスクについての最終作業生成物を表していてもよい。
先に論じたように、一つのマイクロタスク（またはその一部）についての作業生成物または出力は、別のマイクロタスクについての入力情報として使われてもよい。たとえば、機械が第一のマイクロタスクを実行することによって生成される作業生成物は、人間の作業者によって実行されるべき第二のマイクロタスクについての入力として使われてもよい。したがって、第一のマイクロタスク・タスクをある「作業者」に提出し、該マイクロタスクを実行することから得られた結果を受領し、第一のマイクロタスク実行から受領された結果（またはその一部）を入力とする新たなマイクロタスクを生成することが可能である。ある実施形態では、第一のマイクロタスクから受領された結果は、他の情報（たとえば、別のマイクロタスクから受領された結果）と組み合わされてもよく、組み合わされた情報が、別の作業者または自動化システムにソーシングされる新しいマイクロタスクについての入力として使われてもよい。別の実施形態では、第一のマイクロタスクから受領された結果は部分集合にセグメント分割され、各部分集合について新しいマイクロタスクが決定され、次いで新しい一組のマイクロタスクが実行されるために作業者に送られてもよい。
したがって、ある種の事例では、TPMS １２８は受領されたマイクロタスク生成物の一または複数をマイクロタスク生成器サブシステム１２２に転送してもよい。TPMS １２８からマイクロタスク生成物を受領するに際して、マイクロタスク生成器サブシステム１２２は、一または複数のマイクロタスクからなる新たな組を生成してもよい。ここで、受領されたマイクロタスク生成物が新しいマイクロタスクについての入力である。これらの新しいマイクロタスクは次いで、値付けサブシステム１２４を使って値付けされてもよく、次いで一または複数のプロバイダーへの分配のために分配システム１０６に送られてもよい。
ある実施形態では、マイクロタスクについてプロバイダーから受領されたマイクロタスク生成物の品質が検査されてもよく、必要な品質閾値を満たさないと判定された場合、マイクロタスクは別のプロバイダーへの分配のために分配システム１０６に再提出されてもよい。たとえば、TPMS １２８は、オーディオ・セグメントの文字起こしから帰結するマイクロタスク生成物を受領してもよい。TPMS １２８は次いで、そのマイクロタスク生成物に関連付けられた信頼性スコアを決定してもよい。信頼性スコアが何らかのユーザー構成設定可能な閾値を下回る場合、TPMS １２８は、文字起こしをやり直す必要があると判定してもよく、そのマイクロタスク生成物をマイクロタスク生成器サブシステム１２２に送ってもよい。マイクロタスク生成器サブシステム１２２は次いで、そのマイクロタスク生成物に対応する（オーディオ情報を含む）組み合わされたセグメントを決定し、その組み合わされたセグメントについての新たな文字起こしマイクロタスクを生成してもよい。新しいマイクロタスクは、最初にそのマイクロタスクを実行したプロバイダー以外のプロバイダーへの分配のために、分配システム１０６に送られてもよい。
図８Ｂは、図８Ａにおいて生成され複数のプロバイダーに分配されたマイクロタスクに対応する受領されたマイクロタスク生成物に基づいて、図８Ａにおいて受領されたタスクについて、いかにして最終作業生成物が構築されうるかの例を示している。図８Ｂに描かれているように、マイクロタスクMT1、MT2、MT3およびMT4に対応するマイクロタスク生成物（MTP: microtask product）がMMS １０４によって受領されてもよい。マクロタスクMT1に対応するマイクロタスク生成物８４０は作業者１から受領され、組み合わされたセグメント８２０に含まれるグラフィックに対応するコンピュータ描画を含む。マクロタスクMT2に対応するマイクロタスク生成物８４２は作業者２から受領され、組み合わされたセグメント８２２に含まれるさまざまなセグメントの内容に対応するタイプ・テキストを含む。マクロタスクMT3に対応するマイクロタスク生成物８４４は作業者３から受領され、組み合わされたセグメント８２４に含まれるさまざまなセグメントの内容に対応するタイプ・テキストを含む。マクロタスクMT4に対応するマイクロタスク生成物８４６は作業者４から受領され、組み合わされたセグメント８２６に含まれるさまざまなセグメントの内容に対応するタイプ・テキストを含む。
ある実施形態では、受領された各マイクロタスク生成物は、使用された作業者および訂正のシーケンスまたはマイクロタスクに対して実行された検査に依存する、関連付けられた品質推定値Q1、Q2、Q3、Q4を持っていてもよい。この品質は、認識されたカードの品質ではなく、マイクロタスクについての所望される結果への推定される近さである。
マイクロタスク情報１４６および組み合わせ情報１４２を使って、TPMS １２８は次いで、マイクロタスク生成物をその対応する組み合わされたセグメントに、最終的にはセグメント８０８および８１４にマッピングしてもよい。図８Ｂに描かれているように、マイクロタスク生成物８４０の内容の一部（XYZロゴのコンピュータ描画）がセグメント８１０にマッピングされる――これがセグメント８１０についての生成物を表す。マイクロタスク生成物８４０の内容の一部（ABCロゴのコンピュータ描画）がセグメント８１６にマッピングされる――これがセグメント８１６についての生成物を表す。同様にして、８１２および８１８におけるセグメントについての生成物が、マイクロタスク生成物８４２、８４４および８４６の内容から決定される。８１２、８１６および８１８における各セグメントについての生成物は、セグメント内容に対応するタイプ・テキスト部分のリストを含む。
TPMS １２８は次いで、それらのセグメントを、そのタスクについて受領された入力情報における個々の入力文書８０４および８０６にマッピングし、それらの入力文書についての作業生成物を構築する。TPMS １２８は、セグメントをタスクについての個々の入力文書にマッピングするためにセグメント分割情報１３４を使ってもよい。図８Ｂに描かれるように、文書８０４についての最終作業生成物は、文書８０４内のテキスト部分に対応するタイプ・テキストおよび文書８０４内のXYZロゴ・グラフィックに対応するコンピュータ描画を含む。文書８０６についての最終作業生成物は、文書８０６内のテキスト部分に対応するタイプ・テキストおよび文書８０６内のABCロゴ・グラフィックに対応するコンピュータ描画を含む。このように、タスク８００について最終作業生成物は、そのタスクについての入力情報の一部として受領された各入力文書について構築される作業生成物を含む。
ある実施形態では、最終作業生成物について品質推定値が与えられる。この品質推定値は、個々のマイクロタスク生成物に関連付けられた品質推定値に依存する。最も単純な場合では、最終作業生成物についての品質推定値は、その最終作業生成物を形成するために総合されたマイクロタスク作業生成物に関連付けられた品質推定値の平均であってもよい。あるいはまた、該品質推定値は、最終作業生成物における、各マイクロタスクの一部であった項目の数に依存して重み付けされてもよい。
図１に戻って参照すると、タスクについての最終作業生成物を構築すると、TPMS １２８は、タスク要求者に最終作業生成物を転送するよう構築されてもよい。最終作業生成物は、タスク要求者に、いくつかの異なる方法を使って転送されうる。ある実施形態では、作業生成物は、タスク要求者によって指定された、最終作業生成物を記憶するためのメモリ位置に記憶されてもよい。最終作業生成物はまた、タスク要求者に通信されてもよい。たとえば、図８Ｂに描かれる最終作業生成物はWORD〔ワード〕文書に書き込まれてもよく、そのWORD文書が次いでタスク要求者に通信されてもよい。最終作業生成物に対して、他のユーザー構成設定可能な動作がMMS １０４によって実行されてもよい。
ある実施形態では、マイクロタスク生成器サブシステム１２２によって決定された一組のマイクロタスクは、複製されたマイクロタスクを含んでいてもよい。たとえば、文字起こしされるべきオーディオ情報を含む組み合わされたセグメントについて、文字起こしの精度を高めるために、同じ組み合わされたセグメントに関連付けて、それぞれがそのオーディオ情報が文字起こしされるべきことを指定する複数の重複したマイクロタスクが生成されてもよい。それら複数の重複したマイクロタスクには、互いに異なるプロバイダーに分配されるという制約条件が関連付けられてもよい。すると、MMS １０４は、該異なるプロバイダーから重複したマイクロタスクに対応して受領されるマイクロタスク生成物どうしを比較して、文字起こしの精度を決定してもよい。
別のシナリオでは、マイクロタスクおよび関連付けられた入力情報は、同じプロバイダーに複数回アウトソーシングされ、それによりそのマイクロタスクが複数回実行されてもよい。そのマイクロタスクが複数回実行されることから帰結する複数のマイクロタスク生成物は、結果として得られる作業生成物の品質を向上させることがありうる。
たいていの場合は（たとえば90%の場合）コンピュータがうまく行うが、残りの場合についてはひどく失敗するタスクがたくさんある。この品質レベルはしばしば十分ではなく、通常、これらのタスクは人間に与えられる。そのようなシナリオにおいて、MMS １０４は、コンピュータ・システムによる実行のために第一の組のマイクロタスクを生成してもよい。第一の組のマイクロタスクについて得られた結果に基づいて、MMS １０４は、人間の作業者に分配される第二の組のマイクロタスクを生成してもよい。ここで、第一の組のマイクロタスクの実行から得られた結果が、第二の組のマイクロタスクへの入力として使われる。第二の組のマイクロタスクは、第一の組のマイクロタスクから得られる結果における誤りを訂正することを含んでいてもよい。このようにして、人間が、それ以外の点では自動化されたプロセスによってなされた誤りを訂正するために使われてもよい。全体的なタスクの品質およびその品質の推定値は、人間によってなされるおよび機械によってなされる作業の品質の複雑な組み合わせである。
もう一つの実施形態では、あるタスクについて二組のマイクロタスクが生成されてもよい。第一の組は機械による実行にとってより好適であり、第二の組は人間による実行にとってより好適である。人間により実行されるマイクロタスクとコンピュータにより実行されるマイクロタスクの組み合わせがこのようにして、半自動化された仕方でタスクを効率的に解くために使用されてもよい。このハイブリッド・モデルはいくつかの恩恵をもたらす。たとえば、人間は、プロセスの自動化された部分について、コンピュータによる誤りを少なくすることができるトレーニング・データを提供することができる。さらに、より平凡なマイクロタスクは機械／コンピュータにアウトソーシングされる一方、より高い認知要件をもつマイクロタスクは人間にアウトソーシングされてもよい。これにより、人間の作業者にとっての作業がより興味深いものとなり（そのことはよりよい品質につながりうる）、一方、タスク全体を完成させるために必要とする全体的な人間時間はより少なくなる。機械によって実行されるマイクロタスクに関連付けられるコストは人間によって実行されるマイクロタスクよりも概して安価なので、これは、全体的なタスクの費用を下げることもありうる。
品質管理は、どんなアウトソーシング・モデルでもきわめて重要である。プロバイダー、特に人間の作業者は、評価され、作業の品質についてのフィードバックを与えられる必要がある。伝統的に、これは、タスク（たとえばマイクロタスク）の出力を吟味し、フィードバックを提供する人間によってなされる。しかしながら、このプロセスは、特にタスクが複数のより小さなマイクロタスクに分解され、そのそれぞれが別個に評価される必要があるときには、タスク自身と同じくらい高価になることがある。ある実施形態では、MMS １０４は、タスクについての品質管理を自動化するよう構成される。それは、品質管理を、それ自身マイクロ・アウトソーシングされることのできる（よって人間によって実行されるものおよびコンピュータによって実行されるものを含むより小さなジョブに分解される）マイクロタスクとして成形することによる。マイクロタスクの該生成において品質を上げるいくつかの方法がある。一つの方法は、複数の作業者に同じタスクを実行させて、二の作業者が一致するときにのみ結果を受け容れることである。これは品質を高める。Q(I,W1,W2)＞Q(I,W)。そのような技法は、複数の作業者がタスク全体を行うことを要求するので、より高価となりうる。
もう一つの技法によれば、入力の何らかの部分集合が、何らかの重なりをもって、複数の作業者に送られることができる。たとえば、I＝I1＋I2＋I3であれば、W1はI1およびI2に対して作業でき、W2はI2およびI3に対して作業できる。よって、どの作業者も入力全体を見ることはなく、リスクを低下させ、それでいて各入力は二以上の作業者によって処理される。ある実施形態では、品質に関係した動作に関係するマイクロタスクを生成することによって、品質管理がタスクと統合されることができる。たとえば、書式における数値項目を認識することからなるタスクであって、書式には合計値も記入されており、これも認識すべきであり、転写〔認識〕された個々の値の和が前記合計値の転写になるべきである場合を考える。転写された値は自動化タスクによって簡単に合計でき、計算された和が転写された和と一致すれば、転写の品質は良好であると考えることができる。それらの値が一致しなければ、品質を検査するために追加的なマイクロタスクが必要となることがありうる。それはたとえば、作業者に、もとの書式の合計が正しく計算されていたことを検証させる、あるいはタスクの一部を異なる作業者をもって繰り返すことによる。
マイクロタスクの実行をより興味深いものとするとともに品質を改善するもう一つのアプローチは、作業者の実績を何らかのフォーマットで公開することを含む。たとえば、作業プロバイダーからのフィードバックを使って何らかのスコアを確立することができ、スコアが上位の作業者が、現在ゲームやソーシャル・ネットワークで行われているように、「高スコア」リスト上で公開されることができる。作業プロバイダー・フィードバックに加えて、作業者は、タスク完了のスピードまたは実行されたタスクの多様さについて認められることができる。何らかの品質尺度において上位の作業者にはボーナスが与えられてもよい。
品質管理に対するもう一つのアプローチは、自己報告品質に関わる。しばしば、人間の作業者は、該作業者によって実行されたマイクロタスクの結果に対する自信／信頼性を正確に報告できる。たとえば、文字起こし／転写のマイクロタスクについて、そのマイクロタスクを実行する人間の作業者は、そのマイクロタスクの実行に対するフィードバック（たとえば信頼性スコア）を与える能力を備えていることがある。このフィードバックは、そのマイクロタスクをやり直す必要があるかどうかを決定する際に、MMS １０４によって使用されてもよい。作業者（worker）による品質の推定値Qworker(I)は、所望される品質レベルと比較されることができ、所望される品質が達成されていれば、タスクは完了と考えられる。所望される品質が達成されていなければ、品質を改善するために訂正マイクロタスクが使われてもよいし、あるいはその作業が別のマイクロタスクを使って別の作業者によって繰り返されたり別の作業者からの出力と組み合わされたりしてもよい。作業者は、ある種のジョブをもっと得ること、あるいは何らかのジョブもしくは何らかの型のジョブについて追加的なトレーニングを得ることに関心があることを報告することができてもよい。これは、作業プロバイダーが追加的な指示を与え、品質を改善することを許容しうる。作業者からの、自らの作業に対する信頼性の報告は、自動的な統計とともに、特定のジョブについてのジョブ品質を推定し、新しいタスクの割り当てを決定するために使うことができる。
MMS １０４は図１に描かれている実施形態では単一のシステムとして示されているが、代替的な実施形態では、MMS １０４によって実行される機能は、互いと協働する複数のシステムによって実行されてもよい。さらに、MMS １０４および分配システム１０６が図１では別個のシステムとして示されているが、代替的な実施形態では、MMS １０４および分配システム１０６によって実行される機能は単一のシステムまたは複数のシステムによって実行されてもよい。したがって、図１に描かれている実施形態は、請求項に記載される本発明の範囲を限定することを意図したものではない。他の変形が可能である。
図２は、本発明のある実施形態に基づく、タスクについて受領される入力情報の内容のプライバシーを保持しつつ、該タスクを実行する高レベルの方法を記述する簡略化されたフローチャート２００を描いている。図２に描かれる処理は、プロセッサによって実行されるソフトウェア（たとえばプログラム、コード、命令）、ハードウェアまたはそれらの組み合わせによって実行されてもよい。ソフトウェアは、コンピュータ可読記憶媒体上に記憶されていてもよい。図２に描かれる処理ステップの具体的な系列は、請求項に記載される本発明の実施形態の範囲を限定することを意図したものではない。
図２に描かれるように、処理は、タスク要求を受領するに際して開始されてもよい（ステップ２０２）。タスク要求は、実行されるべきタスクを同定してもよく、そのタスクを実行するために使われるべき入力情報を指定してもよい。代替的な実施形態では、タスク要求は入力情報を含んでいてもよく、MMS １０４は、該入力情報の属性に基づいて実行されるべきタスクを自動的に決定してもよい。たとえば、MMS １０４は、実行されるべきタスクを決定するためにタスク規則１３０を使ってもよい。２０２において受領される情報はまた、受け容れ可能なリスク・レベル、所望される品質レベル、コスト閾値などといった、実行されるべきタスクについての一つまたは複数の因子または制約条件を含んでいてもよい。
タスクについての因子または制約条件が決定される（ステップ２０３）。これらの因子のうちの一つまたは複数は、２０２において受領されるタスク要求において指定されてもよい。たとえば、タスク要求者は、タスクについての受け容れ可能なリスク閾値、タスクについての期待される品質閾値、タスクを実行するためにコストなどの一つまたは複数を、タスク要求を介して指定してもよい。ある実施形態では、MMS １０４は、タスク要求の解析に基づいて、そのタスクについての因子を、もしあれば決定するよう構成されてもよい。たとえば、実行されるべきタスクの性質に基づいて、および／またはそのタスクについて与えられる入力情報の特性に基づいて、MMS １０４は、そのタスクに関連付けられるべき一つまたは複数の因子または制約条件の組を決定してもよい。さらにもう一つのシナリオでは、MMS １０４について構成設定されたいくつかのデフォルト制約条件が決定されてもよく、要求されたタスクについて使用されてもよい。２０３におけるタスクについて決定された因子または制約条件は、タスク要求がどのように処理されるかに影響しうる。たとえば、２０４、２０６、２０８、２１０、２１１、２１２、２１４、２１６および２１８に関して後述されるさまざまな処理は、２０３において決定された制約条件が満たされるまたは満足されるように実行されうる。
入力情報は次いで、一組のセグメントにセグメント分割され、ここで、各セグメントは、２０２において受領された入力情報の内容の一部または部分集合を含む（ステップ２０４）。セグメント分割は、そのタスクについて選択された一組のセグメント分割規則に基づいて実行されてもよい。受け容れ可能なリスク・レベル、所望される品質レベル、コスト閾値などといった、実行されるべきタスクに関連付けられる制約条件は、セグメント分割に影響してもよい。図１に描かれる実施形態では、２０４における処理はセグメント分割器サブシステム１１８によって実行されてもよい。
次いで、２０４において生成されたセグメントに基づいて、一組の組み合わされたセグメントが生成されてもよい（ステップ２０６）。２０６において生成される組み合わされたセグメントは、２０４において生成されたセグメントのうちの一つまたは複数またはその一部を含んでいてもよい。受け容れ可能なリスク・レベル、所望される品質レベル、コスト閾値などといった、実行されるべきタスクに関連付けられる制約条件は、セグメントが組み合わされる仕方に影響してもよい。たとえば、図１について先述したように、どの一つの組み合わされたセグメントに対応する情報も全体的な入力情報の内容を危殆化させないよう、複数の組み合わされたセグメントにまたがって情報が分配されてもよい。図１に描かれる実施形態では、２０６における処理は組み合わせ器サブシステム１２０によって実行されてもよい。
ある実施形態では、一組の組み合わされたセグメントの生成は、毎回実行されなくてもよい。そのような実施形態では、組み合わされたセグメントが生成されるかどうかは、実行されるべきタスクに関連付けられたリスク・レベルに依存してもよい。組み合わされたセグメントの生成はセグメント分割を超えて入力情報をさらにぼかし、よってアウトソーシングに関連するリスクを減らす助けになる。したがって、ある実施形態では、組み合わされたセグメントは、タスクに関連付けられたリスク・レベルが何らかの閾値を下回るときにのみ、生成されてもよい。たとえば、組み合わせは、タスクに関連付けられた受け容れ可能なリスク・レベルが「高」である場合には実行されなくてもよいが、前記リスク・レベルが「中」または「低」である場合には実行されてもよい。さらに、使用される組み合わせ技法の種別もさまざまな異なるリスク・レベルについて異なっていてもよい。たとえば、特定の受け容れ可能なリスク・レベルについて、組み合わされたセグメントの生成は、２０４において生成された複数のセグメントを組み合わせることを含んでいてもよい。しかしながら、より低い受け容れ可能なリスク・レベルについては、複数のセグメントを組み合わせることに加えて（あるいは複数のセグメントを組み合わせる代わりに）、組み合わされたセグメントの生成は、組み合わされたセグメントにノイズ情報を加えることをも含んでいてもよい。このようにして、タスクに関連付けられたリスク・レベルは、組み合わされたセグメントが生成されるべきか、またどのように生成されるべきかを決定しうる。組み合わされたセグメントを生成するためのリスク・レベル閾値およびそれらさまざまなリスク・レベルに対応した使われるべきさまざまな組み合わせ技法に関係した情報が、組み合わされたセグメントを生成するために組み合わせ器１２０によって使用される組み合わせ規則１３８にエンコードされていてもよい。
次いで、２０６において生成された各組み合わされたセグメントについて、一つまたは複数のタスク（マイクロタスク）が決定される（ステップ２０８）。図１に描かれた実施形態では、２０８の処理は、マイクロタスク生成器サブシステム１２２によって実行されてもよい。
２０８で決定されたマイクロタスクのうちの一つまたは複数について、値付け情報が決定されてもよい（ステップ２１０）。図１に描かれた実施形態では、２１０の処理は値付けサブシステム１２４によって実行されてもよい。２０８で決定された一組のマイクロタスクの分配に影響するさらなる制約条件がもしあれば決定される（ステップ２１１）。これらの制約条件は、２０８において決定された一組のマイクロタスクにおける個々のマイクロタスクに関係した制約条件および／またはマイクロタスクの組に適用可能な制約条件を含んでいてもよい。
次いで、一組のマイクロタスクは、一または複数のプロバイダーに分配（アウトソーシング）されてもよい（ステップ２１２）。マイクロタスクに関連付けられた情報が、２１２の一部として分配されてもよい。マイクロタスクに関連付けられた情報は、そのマイクロタスクについての入力として使われる情報およびそのマイクロタスクに関連付けられた値付け情報を含む組み合わされたセグメントを含んでいてもよい。いくつかの実施形態では、マイクロタスクの実行を容易にするためのツール／リソースもマイクロタスクとともに分配されてもよい。たとえば、マイクロタスクがグラフィックをコンピュータ描画に変換することに関わる場合、コンピュータ描画アプリケーション（たとえばVISIO）がマイクロタスクとともに分配／配送されてもよい。２１２における分配は、マイクロタスクに関連付けられており、２１１において決定された制約条件があればそれに従いつつ、実行されてもよい。プロバイダーは人間の作業者でも自動化されたシステムでもよい。
マイクロタスクの実行に際して、マイクロタスクに対応する作業生成物が受領されてもよい（ステップ２１４）。次いで、２０２において受領されたタスクについての最終作業生成物が、２１４において受領されたマイクロタスク生成物に基づいて構築されてもよい（ステップ２１６）。図１に描かれる実施形態では、２１６の処理はTPMS １２８によって実行されてもよい。次いで、２１６において構築されたタスクについての作業生成物に対して、動作が任意的に実行されてもよい（ステップ２１８）。たとえば、最終作業生成物がメモリに記憶される、タスク要求者に通信される、などしてもよい。
図３は、本発明のある実施形態に基づく入力情報をセグメント分割するために実行される処理を記述する簡略化されたフローチャート３００を描いている。図３に描かれた処理は、プロセッサによって実行されるソフトウェア（たとえばプログラム、コード、命令）、ハードウェアまたはそれらの組み合わせによって実行されてもよい。ソフトウェアは、コンピュータ可読記憶媒体上に記憶されていてもよい。図３に描かれる処理ステップの具体的な系列は、請求項に記載される本発明の実施形態の範囲を限定することを意図したものではない。ある実施形態では、図３に描かれる処理は、図２のステップ２０４の一部として実行されてもよく、図１のセグメント分割器サブシステム１１８によって実行されてもよい。
図３に描かれるように、処理は、実行されるべきタスクについての入力情報を受領するのに際して開始されてもよい（ステップ３０２）。そのタスクについて使用されるべき一組のセグメント分割規則が決定される（ステップ３０４）。タスク要求者の素性、タスク要求の源（たとえばタスク要求の受信元のコンピュータのIPアドレス、タスク要求の受信元の地理的領域など）、入力情報の内容およびその他の因子といった、さまざまな因子が、３０４でセグメント分割規則を選択するために使用されてもよい。受け容れ可能なリスク・レベル、所望される品質レベル、コスト閾値などといった、実行されるべきタスクに関連付けられる制約条件は、セグメント分割規則の選択に影響してもよい。３０２において受領された入力情報は次いで３０４において決定された一組のセグメント分割規則を使ってセグメント分割されて、一つまたは複数のセグメントの組を生成する（ステップ３０６）。３０６において実行されたセグメント分割について、セグメント分割情報が記憶される（ステップ３０８）。３０６において生成された一組のセグメントは、次いで、さらなる処理のために組み合わせ器サブシステム１２０に与えられる。
図４は、本発明のある実施形態に基づく組み合わされたセグメントを生成するために実行される処理を記述する簡略化されたフローチャート４００を描いている。図４に描かれた処理はプロセッサによって実行されるソフトウェア（たとえばプログラム、コード、命令）、ハードウェアまたはそれらの組み合わせによって実行されてもよい。ソフトウェアは、コンピュータ可読記憶媒体上に記憶されていてもよい。図４に描かれる処理ステップの具体的な系列は、請求項に記載される本発明の実施形態の範囲を限定することを意図したものではない。ある実施形態では、図４に描かれる処理は、図２のステップ２０６の一部として実行されてもよく、図１の組み合わせ器サブシステム１２０によって実行されてもよい。
図４に描かれるように、処理は、実行されるべきタスクについての入力情報から生成された一組のセグメントを受領するのに際して開始されてもよい（ステップ４０２）。組み合わされたセグメントを生成するために使用されるべき一組の組み合わせ規則が決定される（ステップ４０４）。タスク要求者の素性、タスク要求の源、セグメントの内容およびその他の因子といった、さまざまな因子が、４０４において組み合わせ規則を選択するために使用されてもよい。受け容れ可能なリスク・レベル、所望される品質レベル、コスト閾値などといった、実行されるべきタスクに関連付けられる制約条件も、４０４における組み合わせ規則の選択に影響してもよい。次いで、一つまたは複数の組み合わされたセグメントの組が、４０２において受領されたセグメントに基づいて、４０４において決定された組み合わせ規則を使って生成される（ステップ４０６）。各組み合わされたセグメントは、４０２において受領されたセグメントの一つまたは複数またはその一部を含んでいてもよい。組み合わせ情報が記憶されてもよい（ステップ４０８）。他の情報に加えて、４０８において記憶される組み合わせ情報は、各組み合わされたセグメントについて：組み合わされたセグメントを同定する情報、組み合わされたセグメントをその構成要素である一つまたは複数のセグメントにマッピングする情報（すなわち、組み合わされたセグメントに内容が含まれている諸セグメントの情報）、組み合わされたセグメント内の諸セグメントの位置およびその他の情報を含んでいてもよい。次いで、４０６において生成された一組の組み合わされたセグメントは、さらなる処理のためにマイクロタスク生成器サブシステム１２２に与えられる（ステップ４１０）。
先述したように、組み合わされたセグメントが生成されるかどうかは、実行されるべきタスクに関連付けられたリスク・レベルに依存してもよい。さらに、組み合わされたセグメントを生成するために使われる組み合わせ技法は、さまざまな異なるリスク・レベルについて異なっていてもよい。組み合わされたセグメントを生成するためのリスク・レベル閾値および該さまざまなリスク・レベルに対応する使用されるべきさまざまな組み合わせ技法に関係した情報が、組み合わされたセグメントを生成するために組み合わせ器１２０によって使用される組み合わせ規則１３８においてエンコードされてもよい。
図５は、本発明のある実施形態に基づく、マイクロタスク生成器サブシステムによって実行される処理を示す簡略化されたフローチャート５００を描いている。図５に描かれた処理はプロセッサによって実行されるソフトウェア（たとえばプログラム、コード、命令）、ハードウェアまたはそれらの組み合わせによって実行されてもよい。ソフトウェアは、コンピュータ可読記憶媒体上に記憶されていてもよい。図５に描かれる処理ステップの具体的な系列は、請求項に記載される本発明の実施形態の範囲を限定することを意図したものではない。
図５に描かれるように、処理は、タスクについての一組の組み合わされたセグメントを受領するのに際して開始されてもよい（ステップ５０２）。５０２において受領された一組の組み合わされたセグメントについて一組のマイクロタスク規則が決定されてもよい（ステップ５０４）。タスク要求者の素性、タスク要求の源、組み合わされたセグメントの内容およびその他の因子といったさまざまな因子が、マイクロタスク規則を選択するために使用されてもよい。受け容れ可能なリスク・レベル、所望される品質レベル、コスト閾値などといった、実行されるべきタスクに関連付けられる制約条件が、５０４におけるマイクロタスク規則の選択に影響してもよい。次いで、一つまたは複数のマイクロタスクが、５０２において受領された各組み合わされたセグメントについて、５０４において決定されたマイクロタスク規則の一つまたは複数を使って決定される（ステップ５０６）。５０６において決定されたマイクロタスクの一つまたは複数について、値付け情報が決定されてもよい（ステップ５０８）。マイクロタスクについての値付け情報を決定するための処理は、値付けサブシステム１２４によって提供されるサービスを使ってもよい。前記一組のマイクロタスクに関連付けられるべき制約条件があれば決定される（ステップ５１０）。これらの制約条件は、前記一組のマイクロタスクにおける個々のマイクロタスクに関係した制約条件および／または前記マイクロタスクのプロバイダーへの分配に関係した制約条件を含んでいてもよい。受け容れ可能なリスク・レベル、所望される品質レベル、コスト閾値などといった、実行されるべきタスクに関連付けられる制約条件が、５１０において前記一組のマイクロタスクについて決定される制約条件に影響してもよい。
次いで、前記一組のマイクロタスクは、関連付けられた情報とともに、一または複数のプロバイダーへの分配のために分配システムに転送される（ステップ５１２）。前記一組のマイクロタスクに関連付けられた情報は、各マイクロタスクについて、該マイクロタスクを実行するための入力として使われるべき内容を含む組み合わされたセグメント（単数または複数）、そのマイクロタスクについて決定された値付け情報、そのマイクロタスクについての制約条件（もしあれば）および前記一組のマイクロタスクに関連付けられた分配制約条件を含んでいてもよい。マイクロタスク生成器サブシステムはまた、前記一組のマイクロタスクについてのマイクロタスク情報を記憶してもよい（ステップ５１４）。マイクロタスク情報は、各マイクロタスクに関連付けられた値付け情報、マイクロタスクをその組み合わされたセグメントにマッピングする情報、マイクロタスクの転送先の分配システム（特にMMS １０４が複数の分配システムを使用しうる実施形態において）およびその他の情報を含む、マイクロタスクに関係した情報を含んでいてもよい。
図６は、本発明のある実施形態に基づく、分配システムによって実行される処理を示す簡略化されたフローチャート６００を描いている。図６に描かれた処理はプロセッサによって実行されるソフトウェア（たとえばプログラム、コード、命令）、ハードウェアまたはそれらの組み合わせによって実行されてもよい。ソフトウェアは、コンピュータ可読記憶媒体上に記憶されていてもよい。図６に描かれる処理ステップの具体的な系列は、請求項に記載される本発明の実施形態の範囲を限定することを意図したものではない。
図６に描かれるように、処理は、分配システムが一組のマイクロタスクおよび関連付けられた情報を受領するときに開始されてもよい（ステップ６０２）。関連付けられた情報は、マイクロタスクに対応する組み合わされたセグメントおよび可能性としてはまた、マイクロタスクに関連付けられた一つまたは複数の制約条件を含んでいてもよい。前記一組のマイクロタスクにおけるマイクロタスクは次いで分配システムによって分配される（ステップ６０４）。６０４における分配は、マイクロタスクに関連付けられた制約条件があればそれが満足されるように実行される。分配システムはまた、プロバイダーによるマイクロタスクの実行から帰結する作業生成物（マイクロタスク生成物と称される）を受領もする（ステップ６０６）。次いで、マイクロタスク生成物はさらなる処理のためにマイクロタスク管理システム（図１に描かれるMMS １０４のような）に転送されてもよい（ステップ６０８）。
図７は、本発明のある実施形態に基づく、あるタスクに対応する諸マイクロタスクについて受領されたマイクロタスク生成物に基づいて、該タスクについての最終作業生成物を生成するために実行される処理を示す簡略化されたフローチャート７００を描いている。図７に描かれた処理はプロセッサによって実行されるソフトウェア（たとえばプログラム、コード、命令）、ハードウェアまたはそれらの組み合わせによって実行されてもよい。ソフトウェアは、コンピュータ可読記憶媒体上に記憶されていてもよい。図７に描かれる処理ステップの具体的な系列は、請求項に記載される本発明の実施形態の範囲を限定することを意図したものではない。ある実施形態では、図７に描かれる処理は、図２のステップ２１６の一部として実行されてもよく、図１のTPMS １２８によって実行されてもよい。
図７に描かれるように、処理は、一組のマイクロタスク生成物の受領に際して開始されてもよい（ステップ７０２）。たとえば、図１に描かれたMMS １０４は、一組のマイクロタスク生成物を分配システム１０６から受領してもよく、それらのマイクロタスク生成物は処理のためにTPMS １２８に転送されてもよい。７０２において受領された各マイクロタスク生成物は、その対応するマイクロタスクおよび決定された関連付けられた組み合わされたセグメントにマッピングされる（ステップ７０４）。マイクロタスクは組み合わされたセグメントに関連付けられているので、７０４における処理は本質的には、７０２において受領された各マイクロタスク生成物を組み合わされたセグメントにマッピングしている。ある実施形態では、マイクロタスク生成物をマイクロタスクおよびその対応する組み合わされたセグメントにマッピングするために、マイクロタスク情報１４６が使用されてもよい。次いで、７０４において決定された各組み合わされたセグメントについて、その組み合わされたセグメントにマッピングするマイクロタスク生成物に基づいて、作業生成物が構築される（ステップ７０６）。７０４において決定された組み合わされたセグメントは次いでその対応するセグメントにマッピングされる（ステップ７０８）。ある実施形態では、組み合わされたセグメントをセグメントにマッピングするために、組み合わされたセグメントおよびその対応するセグメントに関係する情報を記憶する組み合わせ情報１４２が使用される。次いで、７０８において決定された各セグメントについて、そのセグメントにマッピングする組み合わされたセグメントについて７０６において構築された作業生成物に基づいて、作業生成物が構築される（ステップ７１０）。次いで、７０６において決定されたセグメントは、個々の入力文書にマッピングされる（ステップ７１２）。ある実施形態では、これは、セグメント分割情報１３４を使って実行される。次いで、７１２において決定された各入力文書について、その入力文書に対応する前記一つまたは複数のセグメントについて７１０において構築された作業生成物に基づいて、作業生成物が構築される。７１４において構築された作業生成物はそのタスクについての最終作業生成物を表す。７１４において構築されたそのタスクについての最終作業生成物に対して、任意的に一つまたは複数の動作が実行されてもよい（ステップ７１６）。７１６において実行される動作は、たとえば、最終作業生成物を記憶する、最終作業生成物をタスク要求者に通信する、などを含んでいてもよい。
本発明のある種の実施形態は、タスクを値付けするための技法を提供する。ある実施形態では、本方法は、実行されるべきタスクについての入力情報を受領し、該入力情報を解析して該入力情報の一つまたは複数の属性を決定することを含む。いくつかの実施形態では、前記一つまたは複数の属性は、テキスト文書中の単語の数、オーディオ／ビデオ・コンテンツの長さ、入力情報の複雑さを含んでいてもよい。本方法はさらに、タスクについての値付けを決定するための一つまたは複数の規則の集合を決定することと、前記入力情報の属性および前記規則の集合に基づいて前記タスクについての価格を決定することとを含む。
〈タスクの値付け〉
ひとたびタスクおよび／またはマイクロタスクがたとえばMMS １０４によって定義されると、そのタスク／マイクロタスクは、分配サブシステムがそのタスクを作業者システムまたはコンピュータ・システムに提供するのに先立って、値付けされてもよい。値付けのコンテキストにおいて使用されるタスクは、MMS １０４に関係して記述したタスクまたはマイクロタスク、あるいは値付けされる必要のある他の任意のタスクであってもよい。
本発明の諸実施形態は、タスクおよび／またはマイクロタスクについての価格を決定する方法を提供する。本方法は、それに基づいて／それを使ってタスクが実行されるところの入力情報を受領し、該入力情報に関連付けられたタスク記述を受領することを含む。その後、前記タスクおよび／または入力情報に関係する一つまたは複数の規則を使って、そのタスクについて価格が決定される。いくつかの実施形態では、同じタスクが、所望される結果または入力情報の型に基づいて異なる値付けをされることがありうる。
図９は、本発明のある実施形態に基づく、タスクについての価格を決定するためのシステム９００の簡略化された高レベルのブロック図を描いている。システム９００は、値付けサブシステム９０２、入力前処理器９０４および結果評価器９０６を有する。図９に描かれるシステム９００は、単に本発明の教示を組み込む実施形態の例であって、請求項に記載される本発明の範囲を限定することを意図したものではない。
値付けサブシステム９０２は、タスクに関係したタスク記述９６０を受領し、任意的に、該タスクがそれに基づいて／それを使って実行されるところの入力情報９５０を受領し、任意的に、該タスクに関連付けられた任意の制約条件を受領する。値付けサブシステム９０２は次いで、タスク記述９５０および任意的に入力情報９５０に基づいて、タスクを値付けするために適用されるべき、一つまたは複数の値付け規則９７０を決定してもよい。値付けサブシステム９０２は次いで、一つまたは複数の適用可能な規則に基づいてそのタスクについての価格を計算する。
いくつかの実施形態では、値付けサブシステム９０２はメモリ・デバイスを含んでいてもよい。いくつかの実施形態では、メモリ・デバイスはタスクについて価格を決定するためのプログラミング命令を記憶していてもよい。いくつかの実施形態では、メモリ９１０は、所与のタスクについて価格を決定するために使われるべきさまざまな値付け規則９７０をも記憶していてもよい。いくつかの実施形態では、メモリ９１０は、各作業者によるタスク実行に関係する統計的情報のデータベースを有していてもよい。この統計的情報は、価格と品質との間の受け容れ可能なトレードオフを達成するために、タスクに値付けし、タスクを作業者に分配するのに使われてもよい。
いくつかの事例では、入力前処理器９０４が、タスクについて価格を決定するための処理の一部として使われてもよい。ある実施形態では、前処理器９０４は、タスクについての値付けに影響するために、タスクについて受領された入力情報９５０を修正するために使われてもよい。たとえば、ある種の事例では、前処理器９０４は、タスクが値付けされるのに先立ってタスクについての入力情報を処理し、入力情報をそのタスクについて決定される価格を下げうる形に変換するよう構成されていてもよい。たとえば、入力情報がテキスト、グラフィックおよび画像を含む文書のラスタ化画像であり、タスクが文書をデータベースに入力するためのフォーマットに変換することである場合、テキスト、グラフィックおよび画像が個々のセグメントに分離され、個々に値付けされて、タスクの全体的なコストを下げることができる。
入力前処理器９０４はまた、結果評価器９０６および値付けサブシステム９０２からの入力をも受け取り、その情報を、入力情報９５０を修正するために使ってもよい。いくつかの実施形態では、タスクの完了からの結果は、結果評価器９６０に与えられる。すると、結果評価器９０６はその結果を、正確さ、完了のための時間およびその他の因子について検査し、その情報を入力前処理器９０４に与える。その結果に基づいて、入力前処理器９０４は、全体的な価格と正確さの間のバランスが達成されるよう、入力情報を修正してもよい。たとえば、入力文書の内容がデータベースのデジタル項目に変換されるべきであり、入力文書がタイプされたテキストおよび手書きの図を含むタスクを考える。低価格を維持することが主たる基準であれば、値付けサブシステムは、コンピュータによって実行されるタスクに基づいて価格を計算してもよい。しかしながら、コンピュータがそのタスクを実行し、結果を送り返した後、結果評価器がその結果を正確さについて検証し、テキストは正しく変換されたものの図の変換は非常に低い精度であったことを見出すことがありうる。この場合、結果評価器はこの情報を入力前処理器に与えてもよい。この情報に応答して、入力前処理器は、テキストおよび図を二つの異なるセグメントに分離することによって、元の文書を修正してもよい。テキストを含む第一のセグメントは、変換のタスクをコンピュータが実行することに基づいて値付けされ、一方、図を含む第二のセグメントは変換のタスクを人間が実行することに基づいて値付けされる。このようにして、人間が両方のタスクを実行した場合に比べてコストを低く保ちつつ、結果の精度が改善されてもよい。いくつかの実施形態では、入力前処理器９０６は上記のマイクロタスク管理システムの一部であってもよい。
結果評価器９０６は、タスクの完了後の結果を受領し、その結果を一つまたは複数の基準と突き合わせて測定するよう構成されていてもよい。いくつかの実施形態では、結果評価器９０６は、値付けサブシステム９０２からタスクについての価格情報を受領して、価格がそのタスクについて指定されている最大価格に一致するかどうかについてのフィードバックを与えてもよい。いくつかの実施形態では、顧客が、結果評価器９０６によって受領される結果を評価する際に使われるべき一つまたは複数の基準を指定してもよい。いくつかの実施形態では、結果評価器９０６は、タスクを実行する作業者の品質管理のために使用されてもよい。結果評価器９０６による評価に基づいて、各作業者についての品質履歴がメモリ９１０に記憶されてもよい。いくつかの実施形態では、品質情報は、特定のタスクについての価格を決定するために、値付けサブシステム９０２によって使用されてもよい。
値付けサブシステム９０２および結果評価器９０６は図９では別個のユニットとして図示されているが、いくつかの実施形態では、両者は同じ値付けサブシステム９０２の一部であってもよい。他の実施形態では、値付けサブシステム９０２、結果評価器９０６および前処理器９０４はより大きなタスク生成および分配システム、たとえば図１のマイクロタスク管理システム１００の相異なるコンポーネントとして実装されてもよい。
上記のように、値付けサブシステム９０２は、入力情報に加えて他の入力を受領する。値付けサブシステム９０２への入力の一つは、値付け規則９７０である。値付け規則９７０は、入力情報の属性および／または一つまたは複数の変数に基づいていてもよい。たとえば、規則は「入力情報がオーディオを含み、タスクがそのオーディオをテキストに転写することであれば、タスクは人間の作業者によって実行される」というものであってもよい。このように、値付けサブシステムがオーディオ入力情報についての価格を決定するとき、それは自動的に、人間の作業者がタスクを実行することに基づいてタスクを値付けすることを知る。いくつかの実施形態では、値付け規則９７０は、値付けサブシステム９０２にハード・コードされていてもよい。他の実施形態では、値付け規則９７０は動的であり、顧客が構成設定可能であってもよい。いくつかの実施形態では、いくつかの値付け規則がデフォルト規則として指定されていてもよく、ある型の入力情報に関連付けられていてもよい。
いくつかの実施形態では、値付け規則は、入力情報の属性に基づいていてもよい。入力情報の属性は、入力情報の型、入力情報の内容、入力情報の複雑さまたは入力情報のコンテキストを含んでいてもよい。もちろん、当業者は、これが網羅的なリストではなく、入力情報についてのもっと多くの属性が可能であることを認識するであろう。各属性には一つまたは複数の要素が関連付けられていてもよい。たとえば、入力情報の属性型は、テキスト、ラスタ化画像、グラフィック、オーディオ情報またはビデオ情報を含んでいてもよい。いくつかの実施形態では、入力情報の内容は単語、図、公式などであってもよい。上記の変数のリストは網羅的ではなく、単に例解の目的のために提供されていることは理解しておくものとする。
ここで、入力情報の属性に基づいて価格がどのようにして決定されうるかのいくつかの例を与えておく。以下に与えられる例は網羅的ではなく、単に上記の概念を明らかにするために示されることは理解しておくものとする。これらの例は一つの属性のみに基づいて価格を決定することを記述するが、実際には、価格決定は、さまざまな置換における複数の属性の相互作用に関わることを注意しておくべきである。
１．入力情報の型 いくつかの実施形態では、入力情報はオーディオ・ストリームであってもよく、タスクはオーディオ情報をテキストに文字起こしすることであってもよい。そのような事例では、値付けサブシステムは、タスクを、人間が実行することに基づいて値付けしてもよい。伝統的には、コンピュータの音声認識機能は貧弱だからである。さらに、人間の作業者は、特定の単語のコンテキストをコンピュータよりもよく理解できる。
２．入力情報の内容 いくつかの実施形態では、入力情報はテキストの画像だけを含んでいることがある。そのような事例では、単語の総数が決定されてもよく、値付けは単語毎ベースであってもよい。この状況では、コンピュータにタスク（たとえばOCRテキスト認識）を実行させることは、人間の作業者よりも低い価格につながりうる。他の実施形態では、顧客が、人間の作業者だけがこのタスクをオファーされうると指定することもありうる。そのような事例では、価格は、何らかのデフォルトではなく、顧客が与える制約条件を使って決定されてもよい。
３．入力情報の複雑さ いくつかの実施形態では、入力情報は、たとえば医師の手書きによる処方など、判読するのが難しい形であることがある。そのような筋書きでは、値付けサブシステムは、人間がタスクを実行することに基づいて価格を計算するよう指示されてもよい。コンピュータが意味のある結果を提供しうることはとてもありそうもないからである。他の実施形態では、入力情報はオーディオ情報、テキストおよびグラフィックの組み合わせを含むことがある。そのような事例では、入力情報は三つのセグメントにセグメント分割されてもよく、第一のセグメントがオーディオ情報を含み、第二のセグメントがテキストを含み、第三のセグメントがグラフィックを含む。各セグメントについての各タスクは、次いで、デフォルト規則または顧客固有の規則を使って個々に値付けされてもよい。
いくつかの実施形態では、タスクの値付けは、入力情報中のコンテンツの総量に依存してもよい。いくつかの実施形態では、入力情報は、単語、グラフィック、画像などといった多様な複雑さの複数の項目を含んでいてもよい。この事例では、マイクロタスクを生成する目的のために入力情報を適正に解析し、セグメントを生成するためには、複数のアルゴリズムが必要とされることがある。いくつかの実施形態では、入力情報がラスタ化された画像の形である場合、入力画像中の幅広い範囲のエッジを検出するために、エッジ検出アルゴリズム、たとえばキャニー（Canny）エッジ検出が使用されてもよい。エッジ検出は、画像処理およびコンピュータ・ビジョンにおいて、特徴検出および特徴抽出のために使用される。エッジ検出アルゴリズムは、デジタル画像中で、画像明るさが急に変わるまたは不連続をもつ点を同定できる。他の実施形態では、入力画像中の線数、文字数、色数などを検出できるアルゴリズムも使用できる。さらに、画像の規格化された輝度〔ルミナンス〕ヒストグラム、規格化されたエッジ・ヒストグラム、色ヒストグラムも、ラスタ化画像中の内容の複雑さを決定するために使用できる。
上記のように、タスクについての価格は、入力情報および一つまたは複数の値付け規則９７０の組に基づいていてもよい。いくつかの実施形態では、値付け規則９７０は一つまたは複数の変数に基づいていてもよい。たとえば、どの値付け規則が適用されるかを決定するのに使用されうる変数は、タスクの所望される結果、タスクを実行する作業者の地理的な位置、タスクを実行する作業者に利用可能なリソース、同じ入力情報についての他のタスクまたは任意の顧客固有の規則などを含んでいてもよい。各変数は、いくつかの要素を有していてもよい。たとえば、タスクの所望される結果変数は、所望される精度、所望される完了時間などを含んでいてもよい。
以下では、値付け規則を決定するために使用されうる変数のいくつかの例を述べる。変数のこの一覧は網羅的であることを意図したものではないことを注意しておくべきである。下記の例は、値付け規則がどのように決定されうるかを説明するために与えられる。当業者は、規則を決定するためのさらに多くの変数が可能であることを認識するであろう。
１．タスクの所望される結果 いくつかの実施形態では、値付けはタスクの所望される結果に依存してもよい。タスクの所望される結果は、タスク実行後に得られる結果の所望される精度およびタスクについての所望される完了時間を含んでいてもよい。たとえば、高レベルの精度（90%+）を要求するタスクについての値付けは、平均的な精度レベル（50%）しか要求しないタスクについての価格よりも高くなりうる。「タスクの所望される結果」変数のもう一つの要素は、タスクについての所望される完了時間であってもよい。たとえば、急ぎの仕事はしばしば標準的なリードタイムの仕事よりもしばしば費用が高くなる。いくつかの実施形態では、同じ仕事が複数の作業者に送られることがあり、それらの結果において統計的に有意な一致が達成されるまで、それらの結果が比較される。もう一つの実施形態では、何らかの英語のテキストが中国語に変換されることを考える。顧客が米国において昼間であるときに数時間以内にタスクの完了を望む場合、結果として得られる値付け規則は、完了時間制約条件のため、その仕事は米国内で実行されるべきであると示すであろう。この事例において、価格は、タスクが米国内で実行されることに基づいて計算される。しかしながら、顧客が翌日まで待つ用意がある場合には、同じタスクは、異なる規則を使って、たとえばタスクが中国で実行されることに基づいて、値付けされてもよい。タスクが中国で実行されれば、タスクについてのより低いコストにつながりうる。
いくつかの実施形態では、所与の金銭的制約条件、たとえば目標価格以内で最高の品質を得るために、タスクは、作業者によって課される価格および作業者の品質履歴を考慮に入れることによって、より小さなマイクロタスクに分割されてもよい。たとえば、タスクが英語の文書を中国語に変換することである場合を考える。作業者Aは翻訳のために１語当たり３セントかかり、95%の精度である一方、作業者Bは単語当たり１セントで70%の精度であるとする。両方の作業者が翻訳についてのそのジョブに対して入札し、高レベルの精度が必要とされる場合、顧客は作業者Aからの入札を受け容れてもよい。作業者Aの精度が作業者Bよりもずっと高いからである。他の実施形態では、顧客が費やす用意のある金額が固定されている場合、文書は、セグメント１は翻訳が難しい情報を含み、セグメント２は翻訳が簡単な情報を含むというように、二つのセグメントに分割されてもよい。マイクロタスクがセグメント１および２のそれぞれに割り当てられてもよい。セグメント１は作業者Aに送られてもよく、セグメント２は作業者Bに送られてもよい。これは、両方の作業者にそれぞれ文書の一部のみを翻訳させることにより、総コストを目標価格以内に保ちつつ、高い全体的な翻訳精度を達成する助けとなりうる。さらにもう一つの実施形態では、翻訳タスクは作業者Bに与えられてもよい。翻訳の結果は次いで、必要に応じた検証および訂正のために、作業者Aに与えられてもよい。この実施形態において、作業者Aがそのタスクのために費やす時間は短くなる可能性が高い。ゼロから翻訳をするのではなく、作業者Bによって実行された翻訳を検証するだけだからである。これは、翻訳タスクの全体的なコストを下げるとともに、かなり高いレベルの結果の精度を維持する助けとなりうる。
いくつかの実施形態では、作業者の選択は、タスクについての目標価格に基づくことができる。ある事例では、タスク要求者がタスクについての目標価格を与える場合、MMSシステムは、作業者の総量のうちから、その目標価格に基づいてそのタスクを実行する資格のある作業者の部分集合を決定できる。次いで、そのタスクは、作業者のその部分集合に対してのみオファーされることができる。たとえば、タスクについての目標価格が５ドルであるとする。その価格に基づいて、MMSは、５ドルという目標価格は米国内でそのタスクを実行するためにかかる費用より低いので、そのタスクは米国内では完了できないと決定できる。この事例では、MMSは、目標価格でそのタスクを実行できる地理的位置における作業者のみを選択し、それにより米国内の作業者を自動的に考慮から外す。
２．タスクを実行する作業者の地理的位置
いくつかの実施形態では、作業者の地理的位置が価格計算において使用されてもよい。賃金水準が低い国の作業者は、賃金水準が高い国の作業者よりも、低い価格で所与のタスクを実行する可能性が高い。いくつかの実施形態では、タスクの性質は、たとえば規制制約のため、そのタスクが発生国内で実行される必要があるというものでありうる。そのような事例では、結果として得られる規則は、そのタスクについての価格の計算を、タスクがある地理的領域内で実行されることに基づくよう制約してもよい。
３．作業者に必要とされるスキル いくつかの実施形態では、価格はタスクを実行するために作業者によって必要とされる特定のスキルに依存してもよい。たとえば、手書きの図をAutoCAD（商標）描画に変換するタスクは、よい製図スキルをもつ作業者を必要とすることがありうる。この状況において、タスクについての価格は、タスクを実行するために必要とされる作業者の特殊スキルに依存し、高くなる可能性が高い。
４．作業者に利用可能なリソース いくつかの実施形態では、タスクについて決定される価格は、タスクを実行する作業者に利用可能なリソースに依存してもよい。たとえば、タスクが作業者が特殊なハードウェアまたはソフトウェアを使うことを要求する場合、そのタスクの価格は高くなることがある。そのような事例では、タスクについての価格は、タスクをより簡単にする（たとえば、特殊なハードウェアおよび／またはソフトウェアの必要性をなくすまたは特殊なリソースを作業者に提供する）ことによって下げることができる。
上で論じたように、タスクについての値付けは、さまざまな値付け規則に依存しうる。いくつかの実施形態では、タスクを値付けするために使われる規則を顧客が指定してもよい。たとえば、顧客は、人間の作業者だけに自分のタスクを実行してもらいたいことがありうる。顧客は、この情報を値付けサブシステムに与え、値付けサブシステムは、その顧客によって指定されたタスクについての価格を計算するときは常にこの規則を使う。いくつかの実施形態では、デフォルト規則が価格決定のために使用されてもよい。たとえば、入力情報内容がテキストのみであり、タスクはテキストを電子フォーマットに変換することである場合、値付けサブシステムは、コンピュータ作業者を選び、それに応じてそのタスクを値付けするようプログラムされてもよい。もちろん、顧客または値付けサブシステム・オペレーターは、タスクの個別的な要求に基づき、いかなるデフォルト設定をもオーバーライドしてもよい。
いくつかの実施形態では、タスクについての値付けは、所与の入力情報に関連付けられたタスクの数に依存してもよい。たとえば、入力情報がテキストおよび画像を含むとする。その入力情報について定義された二つのタスクがあることがある。テキストをMSエクセル・ファイル・フォーマットに変換し、画像をMS Visioフォーマットに変換するといったものである。そのような状況では、各タスクについての値付けは、その入力情報に関連付けられた他方のタスクに依存してもよい。いくつかの実施形態では、タスクについての値付けは、その値付けサブシステムによって値付けされる他の入力情報についての他のタスクに依存してもよい。該他のタスクは前記タスクに関係していてもいなくてもよい。
いくつかの実施形態では、顧客は、タスクについての目標価格を指定してもよい。そのような事例では、値付けサブシステムは、上記の因子の一つまたは複数に基づいてタスクについての価格を計算してもよい。価格計算の結果は、次いで、目標価格と比較されてもよい。計算された価格が目標価格より低ければ、計算された価格は、適切な作業者への分配のために分配サブシステムに与えられる。いくつかの実施形態では、顧客は目標価格についての許容差限界を与えてもよい。たとえば、顧客は、目標価格１００ドルとともに、±5%の価格許容差を指定してもよい。この事例では、計算された価格が９５ドルから１０５ドルの間にある限り、その価格は承認される。しかしながら、計算された価格が目標価格より高い場合、その情報は入力前処理器に通信されてもよい。すると、入力前処理器は、セグメント分割サブシステムとの関連で、入力情報および／またはタスク属性を修正してもよい。次いで、目標価格に一致するまたは目標価格より低い価格を得るために、第二の価格を計算するために、修正された入力情報が値付けサブシステムに与えられる。たとえば、入力情報がラスタ化画像を含み、ラスタ化画像が図およびその図を作成した人物の名前を含んでいるとする。タスクは、この図を、人物の名前とともに、MS VISIOで再生成することであるとする。顧客はこのタスクについて５０ドルの目標価格を設定しているとする。第一のパスでは、画像全体がタスクの値付けのために単一の単位として呈示される。入力情報は主として図を含むので、値付けサブシステムは、上記の一つまたは複数の規則に基づいて、この図をVISIOで再生成するには人間の作業者が必要とされると決定し、したがってそのタスクを７５ドルと値付けしてもよい。この計算された価格が目標価格と比較される。この事例では計算された価格のほうが高いので、この情報は入力前処理器に通信されてもよい。入力前処理器は、セグメント分割器サブシステムとの関連で、入力情報を解析し、画像中にテキスト・コンポーネント（すなわち、人物の名前）があることを判別する。そこで、入力情報は二つのセグメントに分割される。一方のセグメントはテキスト情報を含み、他方のセグメントは図を含む。テキスト情報セグメントについてのタスクは、コンピュータが転写を実行することに基づいて値付けされ、図セグメントについてのタスクは人間が転写を実行することに基づいて値付けされる。転写の一部が人間の作業者よりも安価なコンピュータによって実行されるので、この状況における二つのセグメントについての総価格は５０ドルであってもよい。このように、入力情報および／またはタスク属性を修正することによってタスクについてより低い価格を得ることが可能となりうる。
いくつかの実施形態では、高い精度が必要とされる場合、同じタスクが複数の作業者に送られてもよい。しかしながら、これはタスクの価格を著しく高めることがある。いくつかの実施形態では、複数の人が同じタスクを実行する代わりに、価格を下げるために、タスクそのものが毎回修正されてもよい。たとえば、第一のパスの間に第一の作業者が非常に複雑な文書を転写することを求められてもよい。第一のパスから得られた結果が第二の作業者に送られてもよく、そのタスクは第一の作業者の作業を検証することである。第二の作業者は単に前のタスクの結果を検証するので、第二のパスについての価格はより安くなる。同様に、各パスからの結果は検証のために再提出されてもよい。前のタスクの結果を検証するための後の各タスクは、毎回必要とされる作業が少なくなるので、より安くなっていく。これは、高い精度レベルを達成しつつ、タスクについてのより低い全体的な価格につながりうる。
上記のように、システム９００はタスクについての価格を決定するために使われてもよい。図１０は、本発明のある実施形態に基づく、タスクについての価格を決定するプロセス１０００の流れ図である。プロセス１０００は、たとえば図９の値付けサブシステム９０２によって実行されてもよい。ステップ１００２において、値付けサブシステムは入力情報を受領する。いくつかの実施形態では、入力情報は上述したように修正される必要があることがある。そのような状況では、入力情報は、ステップ１００２で値付けサブシステムに通信される前に、ステップ１００４で前処理される。入力情報に加えて、値付けサブシステムはステップ１００６においてタスク記述をも受領する。タスク記述は、入力情報に対してまたは入力情報を使って実行されるべき処理についての詳細を与える。たとえば、タスク記述は、入力情報中の図がMS Visioの描画データに変換されるべきであることを指定していてもよい。ひとたび値付けサブシステムが入力情報およびタスク記述を受領すると、値付けサブシステムはステップ１００８において入力情報の属性を決定する。入力情報の属性は、入力情報の内容、入力情報の内容の型、入力情報の複雑さなどを含んでいてもよい。上記のように、入力情報のこれらの属性は、タスクについての価格を計算するために使われてもよい。
ステップ１０１０では、値付けサブシステムは、タスクを値付けするために適用されるべき規則を決定する。いくつかの実施形態では、入力情報の特定の型に適用されるある種のデフォルト規則がある。さらに、上記のように、価格決定の一部として使用されるべきある種の制約を顧客が与えてもよい。いくつかの実施形態では、一つまたは複数の規則が入力情報について適用可能であってもよい。ステップ１０１２では、値付けサブシステムは、決定された規則を適用し、入力情報の属性を使って、要求されたタスクについての価格を決定する。いくつかの実施形態では、ひとたび価格が決定されると、決定された価格は、タスクを作業者に分配するための分配サブシステムに通信されてもよい。いくつかの実施形態では、値付け情報は、目標価格との比較のために、上記のように結果評価器に通信されてもよい。
図１０に示される具体的な諸ステップは、本発明のある実施形態に基づく、タスクについての価格を決定するある個別的な方法を提供するものであることを理解しておくべきある。代替的な実施形態によれば、他のステップ・シーケンスが実行されてもよい。たとえば、本発明の代替的な実施形態は、上に概説したステップを異なる順序で実行してもよい。さらに、図１０に示される個別的なステップは、該個別的なステップに適切なさまざまなシーケンスで実行されてもよい複数のサブステップを含んでいてもよい。さらに、個別的な用途に依存して、追加的なステップが追加されてもよく、ステップが除去されてもよい。当業者は、多くの変形、修正および代替を認識するであろう。
本発明の実施形態は、多様な用途において使用されうる。以下のセクションは、上記のタスク生成および値付け技法を使用しうる用途のいくつかを開示する。しかしながら、ここに記載される用途のリストは網羅的ではなく、他の多くの用途が上記の実施形態を使用しうることは理解しておくべきである。
手書き文字認識
印刷および手書きのテキストの認識のためのコンピュータ・アルゴリズムは改善を続けているが、いまだ、そのようなアルゴリズムが評価される基準は人間の認識である。コンテキストを使うことでは人間のほうが優れており、人間はテキスト中の複数の異なる型の歪みを認識し、調整しうる。そのような事例では、上記のマイクロタスクの生成および値付けのための技法は、伝統的な手書きテキスト認識方法に対する利点を提供しうる。
図１１は、手書きテキストのタイプされたテキストへの変換を示している。図１１は、タイプされたテキスト１１０４に変換される必要のある手書きのアドレス帳項目１１０２を示している。いくつかの実施形態では、結果として得られるタイプされたテキスト１１０４はデータベース中に入力されてもよい。手書きテキストをタイプされたテキストに変換するサービスは、タスク毎ベースで顧客に提供されてもよい。いくつかの実施形態では、サービスは、タスクを提出するために顧客がアクセスしうるポータルを介して実装されてもよい。いくつかの実施形態では、ポータルはワールド・ワイド・ウェブを通じてアクセスされてもよい。ある実施形態では、いくつかのマイクロタスクが手書きテキストの変換のために生成されてもよい。ある実施形態では、顧客がたとえばカメラを使って手書きテキストのイメージを取り込んでもよい。次いで顧客は、顧客装置、たとえば図１に示されるタスク要求者システム１０２上のウェブ・ブラウザーを使ってウェブサイトにアクセスし、取り込まれたラスタ化画像を、取り込まれた画像に対して実行されるべき所望の動作を詳述するタスク記述（task description）およびタスク配置（task disposition）とともに、たとえば図１のマイクロタスク管理システム１００に提供してもよい。たとえば、タスク配置は、ジョブの結果を顧客によってアクセス可能なサーバーに通信するというものであってもよい。あるいはまた、配置は、結果を指定された電子メール・アドレスにメールで送ることを含んでいてもよい。
ある実施形態では、マイクロタスク管理システムはラスタ化画像およびタスク記述をタスク要求者システムから受領する。マイクロタスク管理システムは、顧客が十分なクレジットをもっているか、または請求可能なアカウントもしくは当該サービスを使う十分なパーミッションを持っているどうかを確認するために検査してもよい。次いで、マイクロタスク管理システムは、ラスタ化画像を、たとえば図１の分配システム１０６による分配のためにフォーマットしてもよい。いくつかの実施形態では、ラスタ化画像はいくつかのセグメントに分割されてもよく、上記のさまざまな規則および入力情報属性に基づいて、マイクロタスクが各セグメントに割り当てられてもよい。マイクロタスク管理システムはタスク記述および何らかのアカウント情報を作業者システムに送信する。いくつかの実施形態では、作業者システムに送信されるアカウント情報は、顧客によって提供されるアカウント情報とは異なっていてもよい。いくつかの実施形態では、顧客は、作業者システムにアカウントをもつことは要求されない。
マイクロタスク管理システムは、作業者システムによって提供されるタスク進捗をモニタリングし続ける。マイクロタスク管理システムはタスクを取り消して再発行したり、タスクについて作業者にオファーされる額を変えたり、またはさらにはタスクを変更して再提出したりしてもよい。マイクロタスク管理システムは、複数のタスク要求者装置からの入力情報を組み合わせて、組み合わされた入力情報について単一のタスクを割り当ててもよい。いくつかの実施形態では、マイクロタスク管理システムは、一つのタスクを複数のタスクに分割し、次いで作業者システムに分配してもよい。
ひとたびマイクロタスク管理システムが作業者システムから返された十分なタスク結果を受け取ったら、マイクロタスク管理システムは、タスク生成物管理サブシステムを介して、それらの結果を顧客のタスク要求者システムに、たとえば該結果を電子メールで送る、あるいは該結果を顧客がアクセス可能な位置に記憶することによって、提供してもよい。
いくつかの実施形態では、タスク要求者システムはカメラを有し、インターネット・アクセス機能をもつモバイル通信デバイスであってもよい。他の実施形態では、タスク要求者システムは、画像と取り込み、その情報をマイクロタスク管理システムに提供しうるスキャナまたは多機能デバイスであってもよい。いくつかの実施形態では、タスク要求者システムは複数の顧客によって共有されていてもよく、それら複数の顧客は同じクレデンシャルを使ってサービスへのアクセスを得てもよい。入力情報およびタスク記述を提供するために使用されうる他の型のデバイスは、タブレット、スレート（slate）、音楽プレーヤー、自動車などを含む。いくつかの実施形態では、タスク要求者システムは、顧客が、入力情報をタスク要求者システム上に直接手書きすることによって入力情報を提供しうる顧客へのインターフェースを提供してもよい。そのようなデバイスの例は、タッチ入力、たとえば指または何らかの接触に感応する領域を備えた装置、あるいはスタイラスに感応する領域を備えた装置を含む。この事例では、タスク要求者システムによって受領される入力は、タスク要求者システムにすでに利用可能な画像と組み合わされ、次いでマイクロタスク管理システムに提供されてもよい。もう一つの実施形態では、タスク要求者は、画像ではなく、「ストローク」情報を提供してもよい。ストローク情報は、タッチ入力上の接触点についての情報を含み、画像としてではなく、点のリストとして保存されうる。たとえば、InkML（http://www.w3.org/TR/InkML/）はストロークを記録するためにXMLを使う方法を規定している。このように、ある実施形態では、タスク要求者は、ラスタ化された画像ではなくInkMLをマイクロタスク管理システムに提供しうる。マイクロタスク管理システムはそのストローク情報を、作業者による認識のために、作業者システムおよび／または自動化されたシステムへの提出のために、画像フォーマットに変換してもよい。
レシート認識
購入または返品されるすべての品目について、何らかの形のレシート／領収証が購入者に対して発行される。各売り手は、レシートについて独自の書式をもつことがある。しかしながら、ある種の情報はあらゆるレシートに共通である。たとえば、総額および品目情報である。人は、そのようなレシートを大量に、非常に短い期間の間に集めることがありうる。たとえば、三日間の出張に行った人は、さまざまな売り手から１００を超えるレシートを受け取ることがありうる。そのようなレシートを追跡・管理することは、非常に面倒で時間がかかることがあり、レシートがのちに経費返還のために必要とされる場合は特にそうである。レシート中の関係する情報が、その人にとって非常に低コストで電子フォーマットに変換できれば有用であろう。
図１２は、レシート１２０２の内容が認識され、電子フォーマット１２０４、たとえばエクセルのワークシートの経費レポートに変換されうるアプリケーションを示している。顧客は、経費レポートを作成するために認識される必要のある一つまたは複数のレシートを持っていることがありうる。タスク要求者システムは、各レシートのラスタ化画像を得るために使用されてもよい。いくつかの実施形態では、各レシートは、異なる情報および／または異なる書式を含んでいることがある。各レシート中の情報の大きな部分は、経費レポートを作成するために必要とされないことがありうる。たとえば、顧客は、タスク記述が日付、店名および総額情報のみの認識を含むべきであることを指示してもよい。マイクロタスク管理システムは各レシートの画像と、日付、店名および総額のリストを生成するためのタスク記述とを受け取る。次いで、マイクロタスク管理システムは、いくつかのマイクロタスクを生成し、作業者サブシステムに提出してもよい。この事例では、作業者は、日付、店名および総額を含む各レシート画像の領域を同定するよう求められてもよい。作業者は、各レシートの画像を呈示するウェブサイトを訪問し、所望される各情報（たとえば、日付、店名および総額）についての画像部分を横断してドラッグすることによって、これを行ってもよい。この事例では、各レシート画像は複数の部分画像に分割されてもよい。ここで、各部分画像は要求される情報（すなわち、日付、店名または総額）の少なくとも一つを含む。各部分画像は、レシート画像によって占有される平面内の座標によって特徴付けられてもよい。各部分画像は、レシート画像内でのその位置を使って同定されてもよい。
この処理のためには人間の入力が特に貴重である。各レシートは金額としてフォーマットされた複数の数を含むことがありうるからである。したがって、コンピュータは重要な数字、たとえば総額を見きわめることができないことがありうる。さらに、日時はレシート上で種々の仕方でフォーマットされていることがあり、そのためコンピュータにとって日時を正確に判別することは難しくなることがある。人間の作業者が、レシート画像上の要求される情報の座標を指示するとき、指示された部分画像が自動化文字認識システムにさらなる処理のために送られてもよい。この場合、複数の部分画像からの結果が、タスク生成物管理サブシステムによって、顧客のための一つの結果に組み合わされてもよい。結果は、スプレッドシートまたは表の形であってもよいし、あるいはさらには何らかの会計システムへの直接入力であってもよい。あるいはまた、作業者システムはレシートの画像を最初は自動化された文字認識システムに提出し、次いで文字認識システムによって生成された記号テキストを人間の作業者に提供してもよい。人間の作業者が、日付、時刻および総額に対応する記号テキストを選択してもよい。さらにもう一つの実施形態では、人間の作業者は日時、店名および額を画像から、何らの自動認識処理もなしに、直接タイプするよう求められてもよい。
名刺認識
名刺は、ビジネス・パーソンの間で職業情報を交換するための最も一般に使われるツールである。人は、たとえば展示会などの短い期間の間でさえ、かなりの量の名刺を集めることがある。たいていの名刺は紙の書式なので、損傷したりなくなったりしがちである。これらの名刺の情報を、簡単な記憶および検索のために、電子フォーマットに変換することが有用であろう。図１３は、本発明のある実施形態に基づく、名刺の情報を電子フォーマットに変換する方法を示している。
図１３は、本発明のある実施形態に基づいて、電子フォーマット１３０４に変換されうる名刺１３０２の内容を示している。名刺には多様なフォーマットがあるが、共通の型の情報を含んでいる。名刺は典型的には人の名前、会社名、電話番号および電子メール・アドレスを含む。場合によっては、名刺はウェブサイト、肩書き、物理的な住所、ファクス番号、ツイッター・アカウントおよびグラフィック、たとえば会社のロゴのような追加的な情報をも含むことがある。名刺は、たとえばビジネス上の会合において、あるいはいくつかの営業訪問をした後に、しばしばグループをなして収集されることがある。
ある実施形態では、一つまたは複数の名刺のラスタ化された画像がタスク要求者システムによって取得されてもよい。それらの画像はマイクロタスク管理システムに与えられる。それらの画像に基づいて、マイクロタスク管理システムは、作業者に画像中の情報を同定し、可能性としては該情報を再生成するよう求める一つまたは複数のタスク記述を生成する。いくつかの実施形態では、名刺の画像が単語にセグメント分割され、次いでそれらの単語が異なる地理的位置にいる作業者に送られてもよい。いくつかの実施形態では、変換のためのマイクロタスクを生成するのに先立って、異なる名刺からの単語が互いに交ぜられることができる。セグメント分割された単語は、論理的な、だが名刺が属する人物のプライバシーを保持する仕方でグループ化されることができる。たとえば、電子メール・アドレスと人物の名前は一緒にグループ化されないことがありうる。もう一つの例では、異なる名刺からの電話／ファクス番号が同じサブセグメントにグループ化されることができる。そのサブセグメントに関連するマイクロタスクを実行する作業者にコンテキストを与えるためである。セグメント分割技法の例は非特許文献１に記載されており、その内容はあらゆる目的のためにその全体においてここに参照によって組み込まれる。
名刺のロゴはロゴ検出アルゴリズムを使って抽出されてもよい。いくつかの実施形態では、特定の名刺または名刺の集合について生成されたマイクロタスクは、人間および自動化処理の組み合わせを使って実行されてもよい。作業生成物管理サブシステムはマイクロタスクの結果を、vCards（連絡先情報を維持するための規格）、表、スプレッドシートまたは連絡先格納フォーマットの形で、受け取ってもよい。マイクロタスク管理システムは、その情報を、バックエンド・システム、たとえば会社のCRMシステム、個人の連絡先記憶またはソーシャル・ネットワーキング・ウェブサイトに直接入力してもよい。結果が直接、ソーシャル・ネットワーキング・システム、たとえばリンクトイン（LinkedIn）に入れられる場合において、マイクロタスク管理システムがソーシャル・ネットワーキング・システムについての顧客クレデンシャルを与えられれば、マイクロタスク管理システムは、名刺からの電子メール・アドレスを使ってソーシャル・ネットワーキング・システムにおける接続を要求しうる。図８Ａおよび８Ｂならびに関連する記述は、本発明のある実施形態を使って実装される名刺認識プロセスの詳細を記述している。
図８Ａおよび８Ｂならびに関連する記述は、一つまたは複数の名刺から情報を認識するためのマイクロタスクがどのようにして生成されうるかも記述している。ある実施形態では、名刺から抽出された複数の単語は、異なるidおよび／または異なる地理的位置をもつ作業者に送られることができる。ある名刺からの単語が異なる名刺からの単語と混合されてもよい。名刺の企業ロゴが抽出され、自動ロゴ検出アルゴリズムに送られてもよい。セグメント分割された単語は、論理的なセグメントに分類されることができる。ここで、電子メール・アドレスおよび人物の名前が名刺から同定され、プライバシーを保持するために、異なる組み合わされたセグメントにグループ化される（すなわち、同じセグメントにはグループ化されない）。ある実施形態では、異なる名刺から抽出された電話／ファクス番号が同じ組み合わされたセグメントにグループ化されてもよい。作業者にタスクにおけるコンテキスト（数字のコンテキスト）を与えることによって高品質出力の可能性を最大にするためである。
図の認識
しばしば、会議の間、人はアイデアを視覚的なフォーマット、すなわち手書きのスケッチで提示するためにホワイトボードを使う。そのような情報を取り込む一つの方法は、会議に参加している誰かがそのスケッチをコピーして、関係人員への分配のために、それを電子フォーマット、たとえばパワーポイント・スライドで再生成することである。しかしながら、そのようなタスクはしばしば関係する人物の貴重な時間をくってしまう。そのようなタスクを、上で論じた本発明の諸実施形態を使ってアウトソーシングすることが有用でありうる。
ある実施形態では、タスク要求者システムによって提供されたラスタ化画像が図または簡単なグラフィックを含むことがありうる。ラスタ化画像中の（線、ボックスのような）さまざまなグラフィック要素の位置は、入力ラスタ化画像に比べて異なることがありうる。このため、入力画像と出力結果を位置合わせし、グラフィックの初期レイアウトを保持することが難しくなることがある。この場合、マイクロタスクまたはいくつかのマイクロタスクが作業者に、図またはグラフィックを、特定のソフトウェア、たとえばパワーポイントまたはVisioを使った電子的な形に変換するよう指示してもよい。図１４Ａおよび１４Ｂは、描画コンポーネント、たとえば線、長方形などを含む手書きスケッチ１４０２およびテキストが、上記のマイクロタスク生成および値付けシステムを使って所望される電子フォーマットのスケッチ１４１２に変換される実施形態を示している。ある実施形態では、スケッチ１４０２は、会議の際に普通に使われるホワイトボード上に描かれてもよい。
スケッチ１４０２が完了されたのち、スケッチの画像がカメラのような通常の画像取り込み装置の任意のものを使って取り込まれることができる。ひとたび画像が取り込まれると、該画像は上述したマイクロタスク生成システムに入力として提出されてもよい。ひとたびスケッチ１４０２の画像がマイクロタスク生成器システムによって受領されると、画像が解析されて、スケッチのテキスト部分およびグラフィック／描画部分が決定される。ある実施形態では、システムは単語境界を認識してマークを付ける。たとえば、画像で黒で塗りつぶしてグラフィック／描画部分１４０４だけを残す。黒で塗りつぶされたセクションのそれぞれは、追跡目的のために番号付けされる。番号付けは、のちに、もとのスケッチを再構成するときに使われてもよい。次いでシステムはスケッチ１４０２に存在する一つまたは複数の単語１４０６を解析し、これを画像から分離する。次いで、システムは、塗りつぶされたセクションと単語との間の相関情報を生成し、該相関情報をデータベースに記憶する。
マイクロタスク管理システムは次いで二つのマイクロタスクを生成する。スケッチの第一の部分１４０４を電子フォーマットに変換するための第一のマイクロタスクと、一つまたは複数の単語１４０６を所望されるフォーマットに変換するための第二のマイクロタスクである。その後、第一および第二のマイクロタスクは、上記した所望される結果および規則に基づいて値付けされることができる。完了すると、第一のマイクロタスクは、もとのスケッチ１４０２において単語に対応する番号付けされたセグメントを含む描画１４０８を生じてもよい。第二のマイクロタスクは、それぞれ描画１４０８における番号付けされた各セグメントに対応する単語のリストを生じてもよい。いくつかの実施形態では、第二のマイクロタスクは、所望される結果に依存して、コンピュータに送られてもよく、あるいは人間によって実行されてもよい。ひとたびマイクロタスク管理システムがマイクロタスクの結果を受領すると、マイクロタスク管理システムは、たとえば図１のタスク生成物管理サブシステム１２８を使って、二つの結果を組み合わせ、描画１４０８における番号セグメントを単語のリスト１４１０からの対応する単語で置き換えることによって、最終的な描画１４１２を生成することができる。
いくつかの実施形態では、スケッチ中の単語を変換するためのマイクロタスクを生成する代わりに、単語１４０６が自動化文字認識エンジン、たとえばwww.abbyy.comに、解析および変換のために送られてもよい。
図１４Ａおよび１４Ｂにおいて与えられる例は単に例解目的のためであって、実施形態を手書きのスケッチ／グラフィックに限定すると解釈されるべきではないことを注意しておく。
チェックボックス認識
マイクロタスクを生成および値付けする方法は、書式データをデータ・マイニングのために解析されうるデータに変換するために効果的に使用されうる。ユーザーが書き込むことを求められるさまざまな形の書式がある。書式は、登録書式、アンケート書式、フィードバック書式などを含みうる。これらの書式の多くは、ユーザーが書き込むことが期待される何らかの形のチェックボックスを含む。しばしば、チェックボックスをどのように埋めるかについては定まった規則がない。ユーザーはしばしば、チェックボックスを埋めるために幅広い範囲のインジケータを与える。いくつかの実施形態では、インジケータは「×」マーク、チェック・マーク、完全に塗りつぶされたチェックボックスなどを含みうる。チェックボックス状態を同定するための多くの自動化されたプロセスは、明瞭な「×」マークや完全に塗りつぶされたボックスは簡単に検出しうるが、自動化システムの大半は、チェックボックスが部分的に塗りつぶされていたり、チェックボックス内にでたらめなマークが置かれていたりする場合には、チェックボックスの状態を適正に決定することができない。さらに、ユーザーがあるチェックボックスを線で消して別のチェックボックスを選択したりチェックボックスに注釈を付けたりする場合、自動化システムはユーザーの意図を適正に検出しないことがあり、チェックボックスを無効にしてしまうことがある。これらの事例において、人間の作業者はより正確な結果を提供できることがありうる。
ある実施形態では、チェックボックスの画像が作業者に与えられ、作業者がボックスがチェックされているか否かを指示してもよい。次いで、結果が、顧客への送達のために、タスク生成物管理サブシステムに与えられる。いくつかの実施形態では、作業者が同じユーザーからの複数のチェックボックスを呈示される。ユーザーは一貫した仕方でチェックボックスを埋めている可能性が高いからである。これは、チェックボックス状態決定を実行する作業者の精度およびスピードを向上させうる。いくつかの実施形態では、マイクロタスク管理システムは、マークされていると考えられるチェックボックスおよび空であると考えられるチェックボックスを自動的にグループ化してもよい。この事例では、作業者は、誤って分類されたチェックボックスがあればそれを同定することが求められてもよい。これは、すべてのボックスの状態を指示するよりも迅速になされうる。
上記のマイクロタスク生成および値付け技法から裨益しうるその他の用途のいくつかは、ａ）膨大な量のデータから特定の情報をみつける、ｂ）文書中の誤りを直す、ｃ）一致物をみつけるためにさまざまなデータ・セットを比較する、ｄ）誰かのために方向を決定する、ｅ）顧客が与えた基準を使ってデータをグループ化する、ｆ）所与のデータから固有名を抽出する、ｇ）単語／言葉を指定された言語およびフォーマットに翻訳／変換する、ｈ）音声認識および文字起こしならびにｉ）所与のデータからのロゴの検出を含む。当業者は、ここで具体的に挙げられていない他の多くの用途が上記の技術を使って実装されうることを認識するであろう。

図１５は、本発明の実施形態を実施するために使用されうるコンピュータ・システム１５００の簡略化されたブロック図である。さまざまな実施形態において、コンピュータ・システム１５００は図１に示され、上述したシステムのいずれかを実装するために使用されてもよい。たとえば、コンピュータ・システム１５００は、タスク要求者システム１０２、MMS １０４、分配システム１０６またはプロバイダー・システムを実装するために使われてもよい。図１５に示されるように、コンピュータ・システム１５００は、バス・サブシステム１５０４を介していくつかの周辺サブシステムと通信するプロセッサ１５０２を含む。これらの周辺サブシステムは、メモリ・サブシステム１５０８およびファイル記憶サブシステム１５１０を含む記憶サブシステム１５０６と、ユーザー・インターフェース入力装置１５１２と、ユーザー・インターフェース出力装置１５１４と、ネットワーク・インターフェース・サブシステム１５１６とを含んでいてもよい。
バス・サブシステム１５０４は、コンピュータ・システム１５００のさまざまなコンポーネントおよびサブシステムが意図されたように互いと通信することを可能にするための機構を提供する。バス・サブシステム１５０４は概略的に単一のバスとして示されているが、バス・サブシステムの代替的な実施形態は複数のバスを利用してもよい。
ネットワーク・インターフェース・サブシステム１５１６は、他のコンピュータ・システムおよびネットワークへのインターフェースを提供する。ネットワーク・インターフェース・サブシステム１５１６は、他のコンピュータ・システムからデータを受信し、コンピュータ・システム１５００から他のシステムにデータを送信するためのインターフェースとしてはたらく。たとえば、ネットワーク・インターフェース・サブシステム１５１６は、ユーザー・コンピュータがインターネットに接続できるようにし、インターネットを使った通信を容易にしてもよい。
ユーザー・インターフェース出力装置１５１２は、キーボード、マウス、トラックボール、タッチパッドまたはグラフィック・タブレットのようなポインティング・デバイス、スキャナ、バーコード・スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声認識システムのようなオーディオ入力装置、マイクロホンおよび他の型の入力装置を含んでいてもよい。一般に、用語「入力装置」の使用は、コンピュータ・システム１５００に情報を入力するための可能なあらゆる型の装置および機構を含むことが意図されている。
ユーザー・インターフェース出力装置１５１４は、ディスプレイ・サブシステム、プリンタ、ファクス機またはオーディオ出力装置のような非視覚的ディスプレイなどを含んでいてもよい。ディスプレイ・サブシステムは、陰極線管（CRT）、液晶ディスプレイ（LCD）のようなフラット・パネル・デバイスまたは投影〔プロジェクション〕デバイスをであってもよい。一般に、用語「出力装置」の使用は、コンピュータ・システム１５００から情報を出力するための可能なあらゆる型の装置および機構を含むことが意図されている。
記憶サブシステム１５０６は、本発明の機能を提供する基本的なプログラミングおよびデータ構造体を記憶するコンピュータ可読記憶媒体を提供する。プロセッサによって実行されたときに本発明の機能を提供するソフトウェア（プログラム、コード・モジュール、命令）が記憶サブシステム１５０６に記憶されていてもよい。これらのソフトウェア・モジュールまたは命令は、プロセッサ（単数または複数）１５０２によって実行されてもよい。記憶サブシステム１５０６はまた、本発明に従って使用されるデータを記憶するための貯蔵所をも提供してもよい。記憶サブシステム１５０６は、メモリ・サブシステム１５０８およびファイル／ディスク記憶サブシステム１５１０を有していてもよい。
メモリ・サブシステム１５０８は、プログラム実行の間に命令およびデータを記憶するためのメインのランダム・アクセス・メモリ（RAM）１５１８と、固定された命令が記憶されている読み出し専用メモリ（ROM）１５２０を含むいくつかのメモリを含んでいてもよい。ファイル／ディスク記憶サブシステム１５１０は、プログラムおよびデータ・ファイルについての持続的な（不揮発性の）記憶を提供し、ハードディスクドライブ、フロッピー(登録商標)ディスクドライブと関連するリムーバブル・メディア、コンパクトディスク読み出し専用メモリ（CD-ROM）ドライブ、光学式ドライブ、リムーバブル・メディア・カートリッジおよび他の同様の記憶媒体を含んでいてもよい。ファイル／ディスク記憶サブシステム１５１０は、タスクについての入力情報、マイクロタスクを実行することから受領される作業生成物、MMS １０４によって使われる規則、そのタスクについて生成される最終作業生成物、実行されるべきタスクに関連付けられた因子および制約条件に関係する情報（たとえばリスク、品質などに関係した情報）などのような情報を記憶してもよい。
コンピュータ・システム１５００は、パーソナル・コンピュータ、電話、ポータブル・コンピュータ、ワークステーション、ネットワーク・コンピュータ、メインフレーム、キオスク、サーバーまたは他の任意のデータ処理システムを含むさまざまな型であることができる。コンピュータおよびネットワークの絶えず変わりつつある性質のため、図１５に描かれるコンピュータ・システム１５００の記述は、コンピュータ・システムの好ましい実施形態を例解する目的のための個別的な例として意図されているに過ぎない。図１５に描かれたシステムより多数または少数のコンポーネントをもつ他の多くの構成が可能である。
本発明の個別的な実施形態について記載してきたが、さまざまな修正、変更、代替的な構造および等価物も本発明の範囲内に包含される。本発明の実施形態は、ある特定のデータ処理環境内での動作に制約されるものではなく、複数のデータ処理環境内で動作するのも自由である。さらに、本発明の実施形態について具体的な一連のトランザクションおよびステップを使って記述してきたが、これは本発明の実施形態の範囲を限定することを意図したものではない。
さらに、本発明の実施形態についてハードウェアおよびソフトウェアの特定の組み合わせを使って記述してきたが、ハードウェアおよびソフトウェアの他の組み合わせも本発明の範囲内であることは認識しておくべきである。本発明の諸実施形態は、ハードウェアのみ、ソフトウェアのみ、あるいは両者の組み合わせを使って実装されてもよい。
したがって、明細書および図面は、制約ではなく例解の意味で見なされるべきである。しかしながら、本発明の広義の精神および範囲から外れることなく、それに追加、除去、削除および他の修正および変更がなしうることは明白であろう。
いくつかの態様を記載しておく。
〔態様１〕
コンピュータシステムを制御して複数の命令を記憶する記憶媒体であって、前記複数の命令は：
前記コンピュータシステムに、タスクを同定する情報および該タスクの入力情報を受け取らせる命令と、
前記コンピュータシステムに、前記タスクのリスク閾値を決定させる命令と、
前記コンピュータシステムに、前記タスクを実行する複数のマイクロタスクを、前記リスク閾値に基づいて決定させる命令であって、各マイクロタスクは前記入力情報の一部に関連付けられる、命令と、
前記コンピュータシステムに、前記複数のマイクロタスクを複数の作業者に分配させる命令と、
前記コンピュータシステムに、前記複数の作業者による前記複数のマイクロタスクの実行から帰結する複数の作業生成物を受領させる命令と、
前記コンピュータシステムに、前記タスクについての最終作業生成物を、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に基づいて生成させる命令とを含む、
記憶媒体。
〔態様２〕
態様１記載の記憶媒体であって、前記コンピュータシステムに複数のマイクロタスクを決定させる前記命令が、前記コンピュータシステムに、前記入力情報を、前記リスク閾値に基づいて一組のセグメントにセグメント分割させる命令を含み、各セグメントは前記入力情報の一部を含む、記憶媒体。
〔態様３〕
態様２記載の記憶媒体であって、前記コンピュータシステムに複数のマイクロタスクを決定させる前記命令が、前記コンピュータシステムに、前記一組のセグメントおよび前記リスク閾値に基づいて、組み合わされたセグメントを生成させる命令であって、前記組み合わされたセグメントは、前記一組のセグメントからの少なくとも一つのセグメントからの情報と、前記入力情報に含まれない追加データとを含む、記憶媒体。
〔態様４〕
態様２記載の記憶媒体であって、前記コンピュータシステムに複数のマイクロタスクを決定させる前記命令が：
前記コンピュータシステムに、前記一組のセグメントに基づいて一組の組み合わされたセグメントを生成させる命令であって、前記一組の組み合わされたセグメントは、前記一組のセグメントからの少なくとも二つの異なるセグメントからの情報を含む少なくとも一つの組み合わされたセグメントを含む、命令と、
前記複数のマイクロタスクを前記一組の組み合わされたセグメントに基づいて決定させる命令とをさらに含む、
記憶媒体。
〔態様５〕
態様４記載の記憶媒体であって：
前記入力情報は第一の文書および第二の文書を含み、
前記一組のセグメントは、前記第一の文書の一部を含む第一のセグメントと、前記第二の文書の一部を含む第二のセグメントとを含み、
前記一組の組み合わされたセグメントは、前記第一のセグメントおよび前記第二のセグメントの内容を含む第一の組み合わされたセグメントを含み、
前記複数のマイクロタスクは、前記第一の組み合わされたセグメントを入力として使って実行されるべき第一のマイクロタスクを含む、
記憶媒体。
〔態様６〕
態様１記載の記憶媒体であって、前記複数の命令がさらに：
前記コンピュータシステムに、最終作業生成物について品質推定を出力させる命令を含み、前記品質推定は、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に関連する品質推定に基づく、
記憶媒体。
〔態様７〕
態様６記載の記憶媒体であって、前記複数の命令がさらに：
前記コンピュータシステムに、前記品質推定に基づいて、前記タスクについて、第二の組のマイクロタスクが決定されるべきかどうかを決定させる命令を含む、
記憶媒体。
〔態様８〕
態様１記載の記憶媒体であって、前記複数の作業者が少なくとも一の人間の作業者を含む、記憶媒体。
〔態様９〕
態様１記載の記憶媒体であって：
前記複数の命令がさらに、前記コンピュータシステムに前記タスクについて品質閾値を決定させる命令を含み、
前記コンピュータシステムに複数のマイクロタスクを決定させる前記命令が、前記コンピュータシステムに、前記リスク閾値および前記品質閾値に基づいて前記複数のマイクロタスクを決定させる命令を含む、
記憶媒体。
〔態様１０〕
態様１記載の記憶媒体であって、前記コンピュータシステムに最終作業生成物を生成させる前記命令が、前記コンピュータシステムに、人間の作業者による第一のマイクロタスクの実行から帰結する第一の作業生成物と機械の作業者による第二のマイクロタスクの実行から帰結する第二の作業生成物とを組み合わせさせる命令を含む、記憶媒体。
〔態様１１〕
態様１記載の記憶媒体であって、前記入力情報は画像であり、前記タスクは前記画像中の単語またはオブジェクトの集合を認識することである、記憶媒体。
〔態様１２〕
態様１記載の記憶媒体であって、前記入力情報は画像であり、前記タスクは前記画像の記号的表現を提供することである、記憶媒体。
〔態様１３〕
実行されるべきタスクの入力情報を記憶するよう構成されたメモリと、前記メモリに結合されたプロセッサとを有するシステムであって、前記プロセッサは：
前記タスクのリスク閾値が決定する段階と、
前記タスクを実行する複数のマイクロタスクを、前記リスク閾値に基づいて決定する段階であって、各マイクロタスクは前記入力情報の一部に関連付けられる、段階と、
前記複数のマイクロタスクを複数の作業者に分配させる段階と、
前記複数の作業者による前記複数のマイクロタスクの実行から帰結する複数の作業生成物を受領する段階と、
前記タスクについての最終作業生成物を、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に基づいて生成する段階とを実行するよう構成されている、
システム。
〔態様１４〕
態様１３記載のシステムであって、前記プロセッサは：
前記入力情報を、前記リスク閾値に基づいて一組のセグメントにセグメント分割する段階であって、各セグメントは前記入力情報の一部を含む、段階と、
前記一組のセグメントおよび前記リスク閾値に基づいて、組み合わされたセグメントを生成する段階であって、前記組み合わされたセグメントは、前記一組のセグメントからの少なくとも一つのセグメントからの情報と、前記入力情報に含まれない追加データとを含む、段階とを実行するよう構成されている、
システム。
〔態様１５〕
態様１３記載のシステムであって、前記プロセッサは：
前記入力情報を、前記リスク閾値に基づいて一組のセグメントにセグメント分割する段階であって、各セグメントは前記入力情報の一部を含む、段階と、
前記一組のセグメントに基づいて一組の組み合わされたセグメントを生成する段階であって、前記一組の組み合わされたセグメントは、前記一組のセグメントからの少なくとも二つの異なるセグメントからの情報を含む少なくとも一つの組み合わされたセグメントを含む、段階と、
前記複数のマイクロタスクを前記一組の組み合わされたセグメントに基づいて決定する段階とを実行するよう構成されている、
システム。
〔態様１６〕
態様１５記載のシステムであって：
前記入力情報は第一の文書および第二の文書を含み、
前記一組のセグメントは、前記第一の文書の一部を含む第一のセグメントと、前記第二の文書の一部を含む第二のセグメントとを含み、
前記一組の組み合わされたセグメントは、前記第一のセグメントおよび前記第二のセグメントの内容を含む第一の組み合わされたセグメントを含み、
前記複数のマイクロタスクは、前記第一の組み合わされたセグメントを入力として使って実行されるべき第一のマイクロタスクを含む、
システム。
〔態様１７〕
態様１３記載のシステムであって、前記プロセッサは、最終作業生成物について品質推定を出力するよう構成され、前記品質推定は、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に関連する品質推定に基づく、システム。
〔態様１８〕
態様１７記載のシステム、前記プロセッサは、前記品質推定に基づいて、前記タスクについて、第二の組のマイクロタスクが決定されるべきかどうかを決定するよう構成されている、システム。
〔態様１９〕
態様１３記載のシステムであって、前記複数の作業者が少なくとも一の人間の作業者を含む、システム。
〔態様２０〕
態様１３記載のシステムであって、前記プロセッサは、人間の作業者による第一のマイクロタスクの実行から帰結する第一の作業生成物と機械の作業者による第二のマイクロタスクの実行から帰結する第二の作業生成物とを組み合わせることによって前記最終作業生成物を生成するよう構成されている、システム。
〔態様２１〕
態様１３記載のシステムであって、前記入力情報は画像であり、前記タスクは前記画像中の単語またはオブジェクトの集合を認識することである、システム。
〔態様２２〕
処理システムによって、タスクを同定する情報および該タスクの入力情報を受け取る段階と、
前記処理システムによって、前記タスクのリスク閾値を決定する段階と、
前記処理システムによって、前記タスクを実行する複数のマイクロタスクを、前記リスク閾値に基づいて決定する段階であって、各マイクロタスクは前記入力情報の一部に関連付けられる、段階と、
前記複数のマイクロタスクを複数の作業者に分配させる段階と、
前記処理システムによって、前記複数の作業者による前記複数のマイクロタスクの実行から帰結する複数の作業生成物を受領する段階と、
前記処理システムによって、前記タスクについての最終作業生成物を、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に基づいて生成する段階とを含む、
方法。
１００ システム
１０２ タスク要求者システム
１０４ マイクロタスク管理システム
１０６ 分配システム
１０８ 作業者システム
１１０ 自動化システム
１１２ タスク要求
１１６ ユーザー・インターフェース
１１７ コンテンツ解析サブシステム
１１８ セグメント分割器サブシステム
１２０ 組み合わせ器サブシステム
１２２ マイクロタスク生成器サブシステム
１２４ 値付けサブシステム
１２６ 前処理器
１２８ タスク生成物管理サブシステム
１２９ アセンブラー
１３０ タスク規則
１３２ セグメント分割規則
１３４ セグメント分割情報
１３６ セグメント
１４０ 複合セグメント（組み合わされたセグメント）
１４２ 組み合わせ情報
１４４ マイクロタスク規則
１４６ マイクロタスク情報
１５０ 制約条件
１４８ 分配規則
１１４ プロバイダー
２００ 入力情報の内容のプライバシーを保持しつつタスクを実行する方法
２０２ タスク要求（要求されたタスクのための入力情報を含む）を受領
２０３ タスクについての制約条件（例：リスク、品質等）を決定
２０４ 入力情報を一組のセグメントに分割。ここで、各セグメントは２０２で受領された入力情報の内容の部分集合を含む
２０６ ２０４で生成されたセグメントに基づいて一組の複合セグメントを生成
２０８ ２０６で生成された各複合セグメントについて一つまたは複数のマイクロタスクの組を決定
２１０ ２０８で決定された一つまたは複数のマイクロタスクについて値付け情報を決定
２１１ ２０８で決定されたマイクロタスクの組の分配に影響する制約条件を決定
２１２ マイクロタスクの組を一または複数のプロバイダーに分配（２１１で決定された分配制約条件があればこれに従う）
２１４ 一または複数のプロバイダーから一組のマイクロタスクに対応する作業生成物を受領
２１６ ２１４で受領された作業生成物を処理して２０２で受領／決定されたタスクについての最終作業生成物を生成
２１８ ２１６で生成された最終作業生成物に対してアクションを実行
３００ 入力情報をセグメント分割するために実行される処理
３０２ タスクについて入力情報を受領
３０４ タスクについて使われるべき一組のセグメント分割規則を決定
３０６ ３０４で決定された一組のセグメント分割規則を適用して３０２で受領された入力情報をセグメント分割し、一組のセグメントを生成
３０８ セグメント分割情報を保存
３１０ ３０６で生成された一組のセグメントを組み合わせ器サブシステムに提供
４００ 複合セグメントを生成するために実行される処理
４０２ タスクについて生成された一組のセグメントを受領
４０４ 一組のセグメントについて使うべき一組の組み合わせ規則を決定
４０６ ４０４で決定された一組の組み合わせ規則を使って、４０２で受領された一組のセグメントに基づいて一組の複合セグメントを生成
４０８ 組み合わせ情報を保存
４１０ ４０６で生成された一組の複合セグメントをマイクロタスク生成器サブシステムに提供
５００ マイクロタスク生成器サブシステムによって実行される処理
５０２ タスクについて生成された一組の複合セグメントを受領
５０４ ５０２で受領された一組の複合セグメントについて使うべき一組のマイクロタスク規則を決定
５０６ ５０４で決定された一組のマイクロタスク規則を使って５０２で受領された各複合セグメントについて一つまたは複数のマイクロタスクの組を決定
５０８ ５０６で決定された一つまたは複数のマイクロタスクのそれぞれについて値付け情報を決定
５１０ 一組のマイクロタスクについて制約条件を決定
５１２ ５０４で決定された一組のマイクロタスクおよび関連情報を、一または複数のプロバイダーへの分配のために分配システムに提供
５１４ マイクロタスク情報を保存
６００ 分配システムによって実行される処理
６０２ 一組のマイクロタスクおよび関連情報を受領
６０４ ６０２で受領されたマイクロタスクの組に含まれるマイクロタスクを、該マイクロタスクの組に関連付けられた制約条件が満たされることを保証しつつ、分配
６０６ ６０４で分配された一組のマイクロタスクに対応する作業生成物を受領
６０８ ６０６で受領された作業生成物をマイクロタスク管理システムに転送
７００ あるタスクに対応する諸マイクロタスクについて受領されたマイクロタスク生成物に基づいて、該タスクについての最終作業生成物を生成するために実行される処理
７０２ マイクロタスク生成物を受領
７０４ ７０２で受領された各マイクロタスク生成物について、該マイクロタスク生成物が対応するマイクロタスクおよび対応する複合セグメントを決定
７０６ ７０４で決定された各複合セグメントについて、該複合セグメントにマッピングされるマイクロタスク生成物に基づいて、該複合セグメントについての作業生成物を構築
７０８ 組み合わせ情報を使って、７０６で決定された複合セグメントをその対応するセグメントにマッピング
７１０ ７０８で決定された各セグメントについて、そのセグメントに対応する複合セグメントについて７０６で構築された作業生成物に基づいて、そのセグメントについての作業生成物を構築
７１２ セグメント分割情報を使って、７０８で決定されたセグメントに対応する入力文書を決定
７１４ ７１２で決定された各入力文書について、該入力文書に対応する諸セグメントについて７１０で構築された作業生成物に基づいて、該入力文書についての作業生成物を構築
７１６ ７１４で生成された最終タスク生成物に対してアクションを実行
８００ タスク
８０２ 入力情報
８０８ セグメント
８１４ セグメント
８０４ スキャンされた画像
８０６ スキャンされた画像
８０８ セグメント
８１０ 画像セグメント
８１２ 単語セグメント
８１４ セグメント
８１６ 画像セグメント
８１８ 単語セグメント
８２０ 複合セグメント
８２２ 複合セグメント
８２４ 複合セグメント
８２６ 複合セグメント
８４０ 作業者１からのMTP（マイクロタスク生成物）
８４２ 作業者２からのMTP
８４４ 作業者３からのMTP
８４６ 作業者４からのMTP
９００ タスクについての価格を決定するためのシステム
９０２ 値付けサブシステム
９０４ 入力前処理器
９０６ 結果評価器
９５０ 入力情報
９６０ タスク記述
９７０ 値付け規則
１０００ タスクについての価格を決定するプロセス
１００２ 入力情報を受領
１００４ 前処理を実行
１００６ タスク記述を受領
１００８ 入力情報の属性を決定
１０１０ タスクを値付けするための一つまたは複数の規則を決定
１０１２ ２１０で決定された規則および２０８で決定された属性に基づいてタスクの価格を決定
１１０２ 手書きのアドレス帳項目
１１０４ タイプされたテキスト〔テキスト・データ〕
１２０２ レシート
１２０４ 電子フォーマット
１３０２ 名刺
１３０４ 電子フォーマット
１４０２ 手書きスケッチ
１４０４ グラフィック／描画部分
１４０６ 単語
１４０８ 描画データ
１４１０ 単語のリスト
１５００ コンピュータ・システム
１５０２ プロセッサ（単数または複数）
１５０４ バス・サブシステム
１５０６ 記憶サブシステム
１５０８ メモリ・サブシステム
１５１０ ファイル記憶サブシステム
１５１２ ユーザー・インターフェース：入力装置
１５１６ ネットワーク・インターフェース
１５１８ RAM
１５２０ ROM

Claims (22)

  1. 複数の命令を記憶するコンピュータ可読記憶媒体であって、前記複数の命令はコンピュータシステムに：
    受領手段によって、タスクを同定する情報、前記タスクの入力情報および前記タスクの受け容れ可能なリスク閾値を受け取る段階と、
    マイクロタスク決定手段によって、前記タスクを実行する複数のマイクロタスクを、前記リスク閾値に基づいて、記憶手段に記憶されている一組の規則に従って決定する段階であって、各マイクロタスクは前記入力情報の一部および前記入力情報に含まれない追加データに関連付けられる、段階と、
    分配手段によって、ネットワークを介して、前記複数のマイクロタスクを複数の作業者システムに分配する段階と、
    受領手段によって、ネットワークを介して、前記複数の作業者システムから、前記複数の作業者システムに分配された前記複数のマイクロタスクの実行から帰結する複数の作業生成物を受領する段階と、
    生成手段によって、前記タスクについての最終作業生成物を、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に基づいて生成する段階とを実行させるためのものである、
    コンピュータ可読記憶媒体。
  2. 請求項１記載のコンピュータ可読記憶媒体であって、複数のマイクロタスクを決定する前記段階が、前記入力情報を、前記リスク閾値に基づいて一組のセグメントにセグメント分割することを含み、各セグメントは前記入力情報の一部を含む、コンピュータ可読記憶媒体。
  3. 請求項２記載のコンピュータ可読記憶媒体であって、複数のマイクロタスクを決定する前記段階が、前記一組のセグメントおよび前記リスク閾値に基づいて、組み合わされたセグメントを生成することを含み、前記組み合わされたセグメントは、前記一組のセグメントからの少なくとも一つのセグメントからの情報と、前記入力情報に含まれない前記追加データとを含む、コンピュータ可読記憶媒体。
  4. 請求項２記載のコンピュータ可読記憶媒体であって、複数のマイクロタスクを決定する前記段階が：
    前記一組のセグメントに基づいて一組の組み合わされたセグメントを生成する段階であって、前記一組の組み合わされたセグメントは、前記一組のセグメントからの少なくとも二つの異なるセグメントからの情報を含む少なくとも一つの組み合わされたセグメントを含む、段階と、
    前記複数のマイクロタスクを前記一組の組み合わされたセグメントに基づいて決定する段階とをさらに含む、
    コンピュータ可読記憶媒体。
  5. 請求項４記載のコンピュータ可読記憶媒体であって：
    前記入力情報は第一の文書および第二の文書を含み、
    前記一組のセグメントは、前記第一の文書の一部を含む第一のセグメントと、前記第二の文書の一部を含む第二のセグメントとを含み、
    前記一組の組み合わされたセグメントは、前記第一のセグメントおよび前記第二のセグメントの内容を含む第一の組み合わされたセグメントを含み、
    前記複数のマイクロタスクは、前記第一の組み合わされたセグメントを入力として使って実行されるべき第一のマイクロタスクを含む、
    コンピュータ可読記憶媒体。
  6. 請求項１記載のコンピュータ可読記憶媒体であって、前記複数の命令がさらに前記コンピュータシステムに、出力手段によって、最終作業生成物について品質推定を出力させるものであり、前記品質推定は、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に関連する品質推定に基づく、
    コンピュータ可読記憶媒体。
  7. 請求項６記載のコンピュータ可読記憶媒体であって、前記複数の命令がさらに前記コンピュータシステムに、決定手段によって、前記品質推定に基づいて、前記タスクについて、第二の組のマイクロタスクが決定されるべきかどうかを決定させる命令を含む、
    コンピュータ可読記憶媒体。
  8. 請求項１記載のコンピュータ可読記憶媒体であって、前記複数のマイクロタスクを決定する段階および前記複数のマイクロタスクを複数の分配する段階のうちの少なくとも一方において、
    前記タスクと一緒に指定されている、前記タスクを実行するための所望される価格／コスト、前記タスクを完了するための時間枠、前記作業者システムの所望される位置、前記タスクが人間の作業者によって実行されるべきか機械によって実行されるべきかのうちの少なくとも一つが利用される、コンピュータ可読記憶媒体。
  9. 請求項１記載のコンピュータ可読記憶媒体であって：
    前記タスクについての品質閾値が前記リスク閾値と一緒に受領され、
    複数のマイクロタスクを一組の規則に従って決定する前記段階が、前記リスク閾値および前記品質閾値に基づいて前記複数のマイクロタスクを決定することを含む、
    コンピュータ可読記憶媒体。
  10. 請求項１記載のコンピュータ可読記憶媒体であって、最終作業生成物を生成する前記段階が、人間の作業者による第一のマイクロタスクの実行から帰結する第一の作業生成物と機械の作業者による第二のマイクロタスクの実行から帰結する第二の作業生成物とを組み合わせることを含む、コンピュータ可読記憶媒体。
  11. 請求項１記載のコンピュータ可読記憶媒体であって、前記入力情報は画像であり、前記タスクは前記画像中の単語またはオブジェクトの集合を認識することである、コンピュータ可読記憶媒体。
  12. 請求項１記載のコンピュータ可読記憶媒体であって、前記入力情報は画像であり、前記タスクは前記画像の記号的表現を提供することである、コンピュータ可読記憶媒体。
  13. 実行されるべきタスクの入力情報を記憶するよう構成されたメモリと、前記メモリに結合されたプロセッサとを有するシステムであって、前記プロセッサは：
    リスク閾値決定手段によって、前記タスクの前記入力情報と一緒に指定されている前記タスクの受け容れ可能なリスク閾値を決定する段階と、
    マイクロタスク決定手段によって、前記タスクを実行する複数のマイクロタスクを、前記リスク閾値に基づいて、前記メモリに記憶されている一組の閾値に従って決定する段階であって、各マイクロタスクは前記入力情報の一部および前記入力情報に含まれない追加データに関連付けられる、段階と、
    分配手段によって、ネットワークを介して、前記複数のマイクロタスクを複数の作業者システムに分配する段階と、
    受領手段によって、ネットワークを介して、前記複数の作業者システムから、前記複数の作業者システムに分配された前記複数のマイクロタスクの実行から帰結する複数の作業生成物を受領する段階と、
    生成手段によって、前記タスクについての最終作業生成物を、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に基づいて生成する段階とを実行するよう構成されている、
    システム。
  14. 請求項１３記載のシステムであって、前記プロセッサは：
    セグメント分割手段によって、前記入力情報を、前記リスク閾値に基づいて一組のセグメントにセグメント分割する段階であって、各セグメントは前記入力情報の一部を含む、段階と、
    生成手段によって、前記一組のセグメントおよび前記リスク閾値に基づいて、組み合わされたセグメントを生成する段階であって、前記組み合わされたセグメントは、前記一組のセグメントからの少なくとも一つのセグメントからの情報と、前記入力情報に含まれない追加データとを含む、段階とを実行するよう構成されている、
    システム。
  15. 請求項１３記載のシステムであって、前記プロセッサは：
    セグメント分割手段によって、前記入力情報を、前記リスク閾値に基づいて一組のセグメントにセグメント分割する段階であって、各セグメントは前記入力情報の一部を含む、段階と、
    生成手段によって、前記一組のセグメントに基づいて一組の組み合わされたセグメントを生成する段階であって、前記一組の組み合わされたセグメントは、前記一組のセグメントからの少なくとも二つの異なるセグメントからの情報を含む少なくとも一つの組み合わされたセグメントを含む、段階と、
    前記複数のマイクロタスクを前記一組の組み合わされたセグメントに基づいて決定する段階とを実行するよう構成されている、
    システム。
  16. 請求項１５記載のシステムであって：
    前記入力情報は第一の文書および第二の文書を含み、
    前記一組のセグメントは、前記第一の文書の一部を含む第一のセグメントと、前記第二の文書の一部を含む第二のセグメントとを含み、
    前記一組の組み合わされたセグメントは、前記第一のセグメントおよび前記第二のセグメントの内容を含む第一の組み合わされたセグメントを含み、
    前記複数のマイクロタスクは、前記第一の組み合わされたセグメントを入力として使って実行されるべき第一のマイクロタスクを含む、
    システム。
  17. 請求項１３記載のシステムであって、前記プロセッサは、出力手段によって、最終作業生成物について品質推定を出力するよう構成され、前記品質推定は、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に関連する品質推定に基づく、システム。
  18. 請求項１７記載のシステム、前記プロセッサは、決定手段によって、前記品質推定に基づいて、前記タスクについて、第二の組のマイクロタスクが決定されるべきかどうかを決定するよう構成されている、システム。
  19. 請求項１３記載のシステムであって、前記マイクロタスクのうちの少なくとも一つが人間の作業者によって実行されるべきものである、システム。
  20. 請求項１３記載のシステムであって、前記プロセッサは、人間の作業者による第一のマイクロタスクの実行から帰結する第一の作業生成物と機械の作業者による第二のマイクロタスクの実行から帰結する第二の作業生成物とを組み合わせることによって前記最終作業生成物を生成するよう構成されている、システム。
  21. 請求項１３記載のシステムであって、前記入力情報は画像であり、前記タスクは前記画像中の単語またはオブジェクトの集合を認識することである、システム。
  22. 処理システムが受領手段によって、タスクを同定する情報、前記タスクの入力情報および前記タスクの受け容れ可能なリスク閾値を受け取る段階と、
    前記処理システムがマイクロタスク決定手段によって、前記タスクを実行する複数のマイクロタスクを、記憶手段に記憶されている一組の規則に従って前記リスク閾値に基づいて決定する段階であって、各マイクロタスクは前記入力情報の一部および前記入力情報に含まれない追加データに関連付けられる、段階と、
    前記処理システムがネットワークを介して、前記複数のマイクロタスクを複数の作業者システムに分配する段階と、
    前記処理システムが受領手段によって前記複数の作業者システムから、前記複数の作業者に分配された前記複数のマイクロタスクの実行から帰結する複数の作業生成物を受領する段階と、
    前記処理システムが生成手段によって、前記タスクについての最終作業生成物を、前記複数のマイクロタスクの実行から帰結する前記複数の作業生成物に基づいて生成する段階とを含む、
    方法。
JP2011186443A 2010-08-30 2011-08-29 コンテンツ・プライバシー保護のためのマイクロタスクを生成する技術 Expired - Fee Related JP5845728B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/871,665 US20120054112A1 (en) 2010-08-30 2010-08-30 Techniques for creating microtasks for content privacy preservation
US12/871,665 2010-08-30

Publications (2)

Publication Number Publication Date
JP2012048723A JP2012048723A (ja) 2012-03-08
JP5845728B2 true JP5845728B2 (ja) 2016-01-20

Family

ID=45698464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011186443A Expired - Fee Related JP5845728B2 (ja) 2010-08-30 2011-08-29 コンテンツ・プライバシー保護のためのマイクロタスクを生成する技術

Country Status (2)

Country Link
US (1) US20120054112A1 (ja)
JP (1) JP5845728B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8959654B2 (en) 2011-05-23 2015-02-17 International Business Machines Corporation Minimizing sensitive data exposure during preparation of redacted documents
US20150178134A1 (en) * 2012-03-13 2015-06-25 Google Inc. Hybrid Crowdsourcing Platform
US20140025441A1 (en) * 2012-07-19 2014-01-23 Sap Ag Peer support gamification by application knowledge scoring in social networks
US10346877B1 (en) * 2012-12-03 2019-07-09 Maher Pedersoli Advertising and marketing platform
JP6364738B2 (ja) * 2013-01-11 2018-08-01 株式会社リコー 情報処理システム、情報処理装置、プログラム及び処理実行方法
US8744890B1 (en) 2013-02-14 2014-06-03 Aktana, Inc. System and method for managing system-level workflow strategy and individual workflow activity
US9842307B2 (en) * 2013-11-19 2017-12-12 Xerox Corporation Methods and systems for creating tasks
US10671947B2 (en) * 2014-03-07 2020-06-02 Netflix, Inc. Distributing tasks to workers in a crowd-sourcing workforce
WO2016032596A2 (en) * 2014-06-16 2016-03-03 Dst Technologies, Inc. Secure processing of secure information in a non-secure environment
JP6492622B2 (ja) * 2014-12-19 2019-04-03 コニカミノルタ株式会社 文字画像処理システム、情報処理装置、および情報処理装置の制御プログラム
US10755296B2 (en) * 2015-10-12 2020-08-25 Microsoft Technology Licensing, Llc Providing rewards and metrics for completion of microtasks
US20170103359A1 (en) * 2015-10-12 2017-04-13 Microsoft Technology Licensing, Llc Identifying and assigning microtasks
US9847974B2 (en) 2016-04-28 2017-12-19 Xerox Corporation Image document processing in a client-server system including privacy-preserving text recognition
US11436548B2 (en) * 2016-11-18 2022-09-06 DefinedCrowd Corporation Identifying workers in a crowdsourcing or microtasking platform who perform low-quality work and/or are really automated bots
US11436541B2 (en) 2017-02-02 2022-09-06 Microsoft Technology Licensing, Llc Macrotask execution for digital assistant devices
WO2018165279A1 (en) * 2017-03-07 2018-09-13 Mighty AI, Inc. Segmentation of images
US10951521B2 (en) * 2017-09-01 2021-03-16 Maxlinear, Inc. Method for scheduling a computational task, a method for processing a computational task, a computer readable storage medium, a computer program, a residential gateway, and a server
US20200210855A1 (en) * 2018-12-28 2020-07-02 Robert Bosch Gmbh Domain knowledge injection into semi-crowdsourced unstructured data summarization for diagnosis and repair

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11282612A (ja) * 1998-01-28 1999-10-15 Daiwa Computer Service Kk 情報入力方法及びシステム
JP2000036028A (ja) * 1998-07-16 2000-02-02 Ibm Japan Ltd イメージデータの送信方法、イメージデータの変換方法、作業制御装置、作業制御システム、イメージデータの送信の制御を行うプログラムを格納した記憶媒体及び、イメージデータの変換の制御を行うプログラムを格納した記憶媒体
US7457415B2 (en) * 1998-08-20 2008-11-25 Akikaze Technologies, Llc Secure information distribution system utilizing information segment scrambling
US6741737B1 (en) * 1999-03-18 2004-05-25 Choicepoint Asset Company System and method for the secure data entry from document images
US6859805B1 (en) * 1999-11-29 2005-02-22 Actuate Corporation Method and apparatus for generating page-level security in a computer generated report
JP2002352180A (ja) * 2001-05-29 2002-12-06 Hitachi Ltd 事務処理方法及び事務処理システム
JP2004102820A (ja) * 2002-09-11 2004-04-02 Pil Kk データ入力装置及びデータ入力方法
US7581094B1 (en) * 2003-07-09 2009-08-25 Hewlett-Packard Development Company, L.P. Cryptographic checksums enabling data manipulation and transcoding
JP2005050245A (ja) * 2003-07-31 2005-02-24 Nosu:Kk レセプトの作成・審査・支払い請求の支援システム及び方法
JP4848865B2 (ja) * 2006-07-10 2011-12-28 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
US7752020B2 (en) * 2006-08-11 2010-07-06 Vico Software Kft. System and method for modeling construction risk using location-based construction planning models
US7809525B2 (en) * 2007-07-31 2010-10-05 International Business Machines Corporation Automatic configuration of robotic transaction playback through analysis of previously collected traffic patterns
US8139495B2 (en) * 2007-09-13 2012-03-20 Microsoft Corporation Determining quality of communication
JP2009223594A (ja) * 2008-03-17 2009-10-01 Brother Ind Ltd 翻訳者選択方法、翻訳者選択プログラム、および翻訳者選択サーバ
US20090240549A1 (en) * 2008-03-21 2009-09-24 Microsoft Corporation Recommendation system for a task brokerage system
JP2009251918A (ja) * 2008-04-04 2009-10-29 Hiroaki Matsuda 文字認識装置、文字認識プログラム、及び、文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010086295A (ja) * 2008-09-30 2010-04-15 Mizuho Bank Ltd 業務管理システム、業務管理プログラム及び業務管理方法
US8601259B2 (en) * 2009-04-20 2013-12-03 Cleversafe, Inc. Securing data in a dispersed storage network using security sentinel value
US8583721B2 (en) * 2009-10-13 2013-11-12 Xerox Corporation Systems and methods for distributing work among a plurality of workers
US20120029978A1 (en) * 2010-07-31 2012-02-02 Txteagle Inc. Economic Rewards for the Performance of Tasks by a Distributed Workforce

Also Published As

Publication number Publication date
US20120054112A1 (en) 2012-03-01
JP2012048723A (ja) 2012-03-08

Similar Documents

Publication Publication Date Title
JP5845728B2 (ja) コンテンツ・プライバシー保護のためのマイクロタスクを生成する技術
JP5927809B2 (ja) タスク値付け技術
US11663654B2 (en) System and method for processing transaction records for users
US10108941B2 (en) Check data lift for online accounts
US11182757B2 (en) Trusted transaction system for digital asset licensing
US20170186099A1 (en) Systems and methods for identifying and explaining schema errors in the computerized preparation of a payroll tax form
AU2016380691A1 (en) Systems and methods for identifying and explaining errors in the preparation of a payroll tax form using error graphs
US9824270B1 (en) Self-learning receipt optical character recognition engine
US11928878B2 (en) System and method for domain aware document classification and information extraction from consumer documents
US20120265578A1 (en) Completing tasks involving confidential information by distributed people in an unsecure environment
US20200294130A1 (en) Loan matching system and method
KR102289514B1 (ko) 경영 컨설팅 시스템 및 이를 수행하기 위한 기록매체
US8972328B2 (en) Determining document classification probabilistically through classification rule analysis
US10643276B1 (en) Systems and computer-implemented processes for model-based underwriting
US20120278251A1 (en) System and method for compliant integrated paperless workflow
US20200193525A1 (en) System and method for automatic verification of expense note
Doultani et al. Smart Underwriting-A Personalised Virtual Agent
Maseke Enhancing Marketing Transparency and Trust through Blockchain Technology
US20230143430A1 (en) Image Localizability Classifier
KR102562186B1 (ko) 건물임대관리 기반 공문발송 서비스 제공 시스템
US9495333B2 (en) Contract authoring system and method
US9613105B1 (en) Streamlined data entry based on data relationships
US11854287B2 (en) Visual mode image comparison
US20230081511A1 (en) Systems and methods for improved payroll administration in a freelance workforce
CN118195536A (zh) 商户信息的审核方法、装置、电子设备和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151109

R151 Written notification of patent or utility model registration

Ref document number: 5845728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees