JP5646568B2 - 作業評価指標生成装置 - Google Patents

Description

本発明は、ネットワークを介して行う業務等の作業の質（受注者の質、成果物の質）を評価する技術に関する。

近年、業務委託形態の１つとして、不特定多数の人に業務を委託するクラウドソーシングと呼ばれるサービスが知られている。

このようなクラウドソーシングでは、成果物の品質を担保するための方策として、作業内容に予め正解が分かっているダミー問題を含ませ、ダミー問題についての正解状況から成果物の品質を判断することが行われている。すなわち、ダミー問題の○○問中△△問以上を正解した場合はダミー問題が含まれた業務（ダミー業務）を正解とし、ダミー業務の数に対する正解数（正解したダミー業務の数）の比率を正解率としていた。

一方、特許文献１には、発注者の依頼内容を受けて受注者が仕事の提案を行い、いわゆるコンペ方式にて発注者が最も気に入った提案を選択することで成果物の品質担保を図る技術が開示されている。

特開２０１０−９２４５１号公報

上述したダミー業務についての正解率から作業の質を判断する手法は、真面目に業務を行わない受注者を排除する上で有用なものではあるが、ダミー業務の数と正解したダミー業務の数の単純な比率で判断するものであるため、作業経験の多い受注者と作業経験の少ない受注者との質の違いが正確に評価できないという問題があった。例えば、数回の作業での１００％の正解率と、数百回の作業での１００％の正解率とでは、１００％という正解率に対する信頼度が大きく異なって然るべきであるが、上述した従来の手法では、その違いが正当に評価できなかった。

また、１つ目のダミー業務の実施で正解した場合に正解率は１００％になり、２つ目のダミー業務で失敗した場合は５０％に低下するが、アカウントを取り直してゼロから始めることで再び高い正解率を維持することができる。つまり、不正な受注者に高い正解率の維持を許容し、実質的に成果物の品質担保に繋がらないという問題もあった。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、作業経験の多い受注者と作業経験の少ない受注者との質の違いを正確に評価するとともに、不正を防止することにある。

上記の課題を解決するため、本発明にあっては、ダミー問題が含まれたダミー業務の数と、正解したダミー業務の数とを取得する手段と、ダミー業務の数に対する正解したダミー業務の数の比率である正解率を平均値とし、かつ、ダミー業務の数を試行回数とする所定の確率分布における所定の信頼度区間の下限もしくは上限を補正後の正解率として生成する手段と、生成した補正後の正解率を出力する手段とを備えるようにしている。

本発明にあっては、作業経験の多い受注者と作業経験の少ない受注者との質の違いを正確に評価するとともに、不正を防止することができる。

本発明の一実施形態に係るクラウドソーシングサービスシステムの構成を示す図である。 発注者データベースのデータ構造例を示す図である。 受注者データベースのデータ構造例を示す図である。 タスクデータベースのデータ構造例を示す図である。 実施形態におけるタスクが含まれるＷｅｂページの一例を示す図（その１）である。 実施形態におけるタスクが含まれるＷｅｂページの一例を示す図（その２）である。 実施形態におけるタスクが含まれるＷｅｂページの一例を示す図（その３）である。 実施形態におけるタスクが含まれるＷｅｂページの一例を示す図（その４）である。 成果物データベースのデータ構造例を示す図である。 実施形態におけるタスク仲介処理を示すフローチャートである。 正解率およびランクのスコアの計算の処理例を示す図である。 正解率の計算の処理例を示す図である。 信頼度を考慮した正解率の説明図である。 グッドワーカ作業の時間単価の計算の処理例を示す図である。 グッドワーカバッジの保有数の計算の処理例を示す図である。 全体作業の時間単価の計算の処理例を示す図である。 作業対価の総額の計算の処理例を示す図である。 ランクのスコアの計算の処理例を示す図である。

以下、本発明の一実施形態について、図面に基づいて説明する。

図１は、本実施形態に係る業務受発注仲介システムであるクラウドソーシングサービスシステム１の構成を示す図である。

本実施形態に係るクラウドソーシングサービスシステム（以下、ＣＳＳシステムと略す場合がある）１は、図１に示すように、発注者（リクエスター）が操作する少なくとも１台の発注者端末２と、受注者（ワーカ）が操作する少なくとも１台の受注者端末３と、発注者端末２および受注者端末３に双方向通信可能に接続された業務受発注仲介装置であるサーバ４とを備える。これら発注者端末２、受注者端末３およびサーバ４は、インターネット等のネットワークＮを介して情報を送受信可能に構成されている。

このようなＣＳＳシステム１では、発注者は、発注者端末２を操作して、サーバ４にタスクを発注（登録）できる。すなわち、サーバ４は、発注者端末２から送信されるタスク（業務の発注情報）を取得して管理する。

サーバ４に予め登録された受注者は、受注者端末３を操作して、サーバ４に登録されたタスクから任意のタスクを受注できる。

サーバ４は、上記タスクの登録処理を実行するとともに、受注者の受注者端末３にタスクを送信する。そして、サーバ４は、当該タスクを受注した受注者端末３から成果物を受信し、当該成果物を発注者端末２に納品するとともに、必要に応じて受注者に対価を支払う決済処理を実行する。この際、サーバ４は、成果物のチェック結果に基づいて受注者の正解率の算出やランク付け等を実行し、当該受注者の単価や受注可能なタスクに制限を付すこともできる。

なお、タスクとは、ネットワークを介して成果物を送受信できる仕事であり、例えば、ホームページやブログにおける投稿内容のチェック、ホームページからの情報の抽出、英文等の翻訳、英文等のスペルチェック、画像の分類、音声データからの文字の書き起こし、プログラム作成等の種別に分類される仕事が挙げられる。

＜発注者端末の構成＞
発注者端末２は、例えば、ネットワークＮを介してサーバ４にアクセス可能なＰＣ（Personal Computer）により構成される。そして、発注者は、当該発注者端末２を操作して、サーバ４に対してタスクの登録処理を行う。この他、発注者は、発注者端末２を介してサーバ４から、当該タスクの成果物を受信する。

なお、タスクの登録は、サーバ４により提供されるＷｅｂページに対する入力操作によって実施することができる。例えば、発注者は、サーバ４にログインした後に、当該Ｗｅｂページ上で、タスクの種別および当該タスクの内容を入力することで、当該タスクをサーバ４に登録できる。このタスク登録の際に、使用者は、タスクの処理費用を支払うための支払情報をサーバ４に登録する。この処理費用には、タスクの成果物に対する対価（報酬）と、サーバ４における仲介業務の手数料とが含まれる。

＜受注者端末の構成＞
受注者端末３は、発注者端末２と同様に、ネットワークＮを介してサーバ４にアクセス可能な端末装置により構成される。このような端末装置は、例えば、ＰＣやスマートフォン（多機能携帯電話）が挙げられる。

そして、受注者は、当該受注者端末３を操作して、サーバ４により提供されるＷｅｂページ等を閲覧し、上記発注者により登録されたタスクを受注できる。なお、受注者は、当該タスクを受注する前に、予め、サーバ４に受注者として登録する必要がある。この際、受注者は、当該受注者を示す識別情報や、前述の報酬を受けるための支払情報をサーバ４に登録する。支払情報は、受注者が現金振込を希望する場合には、振込先の情報（銀行の口座番号など）であり、ネットショッピングなどで利用可能なネットポイントを希望する場合には、受注者のユーザＩＤ等である。

＜サーバの構成＞
サーバ４は、発注者端末２と受注者端末３との間でタスクを仲介する業務受発注仲介装置である。すなわち、サーバ４は、発注者端末２により登録（送信）されたタスクを受注者端末３に提供（送信）する。また、サーバ４は、受注者端末３から当該タスクの成果物を受信して、当該成果物を発注者端末２に送信する。そして、サーバ４は、発注者からタスクの処理費用を得るとともに、当該成果物に対する報酬を受注者に付与する。

このようなサーバ４は、ネットワークＮ上に位置するコンピューターにより構成され、ＣＰＵ（Central Processing Unit）等を備えている。このサーバ４は、図１に示すように、ＨＤＤ（Hard Disk Drive）等により構成される記憶手段４１と、当該記憶手段４１に記憶されたプログラムをＣＰＵが実行することにより実現される発注者管理手段４２、受注者管理手段４３、タスク管理手段（発注情報管理手段）４４、決済管理手段４５、タスク送信手段（発注情報送信手段）４６、成果物管理手段４７、成果物チェック手段４８および成果物送信手段４９とを備える。

記憶手段４１は、サーバ４の動作に必要な各種プログラムおよびデータを記憶する。このようなプログラムとして、記憶手段４１は、ＯＳ（Operating System）や、後述するタスク管理処理を実行するためのタスク管理プログラムを記憶している。

また、記憶手段４１は、発注者についての情報が登録される発注者データベース、受注者についての情報が登録される受注者データベース、発注されたタスクについての情報が登録されるタスクデータベース、および、タスクの成果物が登録される成果物データベース等を記憶する。更に、記憶手段４１は、発注されたタスクの種別（業務分野）に応じたダミー問題、および、当該ダミー問題の正答を記憶している。

発注者管理手段４２は、発注者についての情報を、発注者端末２から取得し、図２に示すような発注者データベースを用いて管理する。具体的に、発注者管理手段４２は、発注者を識別するための発注者識別情報である発注者ＩＤおよび発注者名（個人名、団体名、企業名）、発注者端末２を識別するための発注者端末識別情報（ＩＰアドレス等）、および、手数料を支払うための支払情報（銀行の口座番号等）等の各種情報を、発注者データベースに登録する。本実施形態では、後述するように、タスクを登録する場合に、その処理費用も前払いで支払うため、支払情報として予め口座番号などを登録しておき、サーバ４側が口座引き落としなどで支払いを受けることができるように設定されている。

図１に戻り、受注者管理手段４３は、受注者についての情報を、受注者端末３から取得し、図３に示すような受注者データベースを用いて管理する。具体的に、受注者管理手段４３は、受注者を識別するための受注者識別情報である受注者ＩＤおよび受注者名、受注者端末３を識別するための受注者端末識別情報（ＩＰアドレス等）、前述の対価を受けるための支払情報、および、当該受注者の能力を示す業務分野やランクやスコア（ランクのスコア）や正解率等の各種情報を、受注者データベースに登録する。

図１に戻り、タスク管理手段４４は、上記タスクを、図４に示すようなタスクデータベースを用いて管理する。例えば、タスク管理手段４４は、発注されたタスクに対して個別に付与される識別情報（タスク番号等）、当該タスクを発注した発注者の識別情報（発注者ＩＤ）、タスクの種別（業務分野）、タスクの内容、タスクの難易度、タスクの受注条件（受注者のランク、スコア、正解率等の条件）、および、当該タスクの対価（受注者に対して支払う報酬）等の各種情報を、タスクデータベースに登録する。さらに、タスクデータベースには、これらの項目の他、当該タスクの成果物を発注者端末２に納品したか否かを示す納品情報が登録される項目、および、当該成果物を示す情報が登録される項目が含まれる。この成果物を示す情報は、成果物そのものや、後述する成果物データベースに登録される成果物の識別情報（成果物ＩＤ）が挙げられる。

また、タスク管理手段４４は、成果物が受信されたタスクの種別によっては、当該成果物をチェックするための新規のタスクを生成する。この成果物をチェックするための新規のタスクについては、後に詳述するが、これらのタスクを関連付けるために、タスクデータベースには、関連タスクの識別情報を登録する項目が設けられている。そして、タスク管理手段４４は、当該新規のタスクを生成した場合には、元のタスクのレコードにおける関連タスク情報の項目に、当該新規のタスクの識別情報（タスク番号）を登録する。

図１に戻り、決済管理手段４５は、タスクの発注および受注に伴う決済処理を実施する。例えば、決済管理手段４５は、タスクの発注が行われた際に、当該タスクの処理費用（報酬＋手数料）を発注者から事前に受け取る処理を実行する。また、決済管理手段４５は、タスクが受注されなかった場合には、発注者に対して処理費用の返還処理を実行する。一方、決済管理手段４５は、タスクが受注され、受注者端末３から送信された成果物をチェックし、チェックに合格して発注者端末２に納品した場合には、当該成果物を送信した受注者に対して報酬の支払処理を実行する。

タスク送信手段４６は、サーバ４に登録されたタスクの受注要求を受注者端末３から受信した場合に、当該受注者端末３に対して当該タスクの情報を送信する。この際、タスク送信手段４６は、当該タスクを受注者が受注可能であるか否かを判定する。

具体的に、タスク送信手段４６は、タスクデータベースを参照して、該当するタスクの難易度や受注条件を取得する。また、タスク送信手段４６は、前述の受注者ＩＤに基づいて、当該受注者端末３を操作する受注者のランクやスコアや正解率を受注者データベースから取得する。そして、タスク送信手段４６は、取得されたタスクの難易度や受注条件と、受注者のランクやスコアや正解率に基づいて、当該受注者が該当するタスクを受注可能であるか否かを判定する。そして、受注可能であると判定した場合には、タスク送信手段４６は、当該タスクの内容が含まれるＷｅｂページを受注者に送信し、また、受注可能でないと判定した場合には、タスク送信手段４６は、受注不可である旨の内容が含まれるＷｅｂページを受注者に送信する。

図５〜図８は、タスクが含まれるＷｅｂページの一例をそれぞれ示す図である。なお、各図において「納品する」と示されたボタンＢは、受注者端末３からサーバ４に対して成果物の送信処理を実行するためのボタンである。

タスク送信手段４６は、受注されたタスクの内容が含まれるＷｅｂページとして、図５〜図８に示すようなＷｅｂページを送信する。

例えば、タスクの種別が「投稿内容のチェック」であり、択一的に回答を選択するものである場合には、タスク送信手段４６は、図５に示すようなページＰ１を生成して、受注者端末３に送信する。このページＰ１には、発注者が発注したタスクである設問１および３の他に、タスク送信手段４６が付加したダミー問題である設問２（図５において破線で示す領域内の設問２）が含まれている。このダミー問題は、タスクの種別に応じて予め記憶手段４１に記憶されたものであり、タスク送信手段４６が、該当するタスクの種別に応じて記憶手段４１から取得し、送信されるページＰ１に設定されたものである。

また、タスクの種別が「製品データの補充」であり、商品名や型番等の文字列を入力させるものである場合には、タスク送信手段４６は、図６に示すようなページＰ２を生成して、受注者端末３に送信する。

更に、タスクの種別が「英文の翻訳」であり、翻訳文を入力させるものである場合には、タスク送信手段４６は、図７に示すようなページＰ３を生成して、受注者端末３に送信する。なお、このような種別のタスクの場合、成果物（すなわち翻訳文）の内容が正しいか否かを自動的に判定することは難しい。このため、当該種別のタスクの場合には、成果物（翻訳文）をチェックするための新規のタスク（品質チェック業務）がタスク管理手段４４により生成される。そして、タスク送信手段４６は、当該タスクの内容が含まれるＷｅｂページとして、図８に示すように、図７にて設問となっていた英文と、図７に示したタスクを受注した受注者による成果物である翻訳文（図８において破線で示す領域内の日本語文）とが含まれるページＰ４を生成する。

図１に戻り、成果物管理手段４７は、タスクの成果物を、当該タスクを受注した受注者の受注者端末３から受信する。そして、成果物管理手段４７は、受信した成果物を、当該タスクの識別情報とともに、図９に示すような成果物データベースに登録する。この成果物データベースに含まれる項目としては、成果物ごとに付与される識別情報（成果物ＩＤ等）、成果物の対象となるタスク番号、当該成果物を送信した受注者の識別情報（受注者ＩＤ）、受信された成果物、および、成果物チェック手段４８による当該成果物のチェック結果等が挙げられる。なお、成果物データベースに登録される成果物に、前述のダミー問題が含まれている場合には、当該ダミー問題に対する回答は削除された成果物が登録される。

図１に戻り、成果物チェック手段４８は、受注者端末３から受信された成果物をチェックし、当該成果物ごとにチェック結果を成果物データベースに登録する他、当該成果物が所定の基準を満たしているか、つまり当該成果物を発注者端末２に納品可能か否か、つまり納品処理を許可してよいか否かを判定する。

例えば、成果物チェック手段４８は、図５に示したタスク、すなわち、ダミー問題が含まれる択一的な設問に回答するタスクについては、当該ダミー問題が不正解であった場合には所定の基準を満たしていないと判定して納品処理を許可せず、当該ダミー問題が正解であった場合に所定の基準を満たしていると判定して納品処理を許可する。

ここで、択一的な設問に回答するタスクに対して、ダミー問題を付加するのは、以下の理由による。

すなわち、受注者には、タスクに対して細心の注意を払って取り組む受注者がいる一方で、タスクに対していい加減に取り組む受注者もいる。前者の受注者が多い場合には、タスクの品質は高いが、後者の受注者が多い場合には、当該品質が低下する。このため、成果物の品質を高めるためには、後者の受注者を排除する手段を講じる必要がある。

このため、ダミー問題として設けられた設問に対する回答が誤っている成果物を送信した受注者には、受注可能なタスクを制限するランクを下げたり、あるいは、連続してタスクの受注ができないようにしたりする措置を講じる。そして、当該成果物についてもサーバに送信できず、対価を受け取れない対応とする。すなわち、当該受注者は、受注したタスクを実施していないこととする。このように、タスクの内容が含まれるページにダミー問題を設けることで、優良な受注者を抽出できる他、成果物の品質を高めることができる。

なお、間違えたダミー問題を提示して回答が誤っている点を受注者に表示してもよい。このようにすれば、受注者は、納品が許可されない理由を把握できる。また、この際、成果物チェック手段４８の判断が誤っていると認識した受注者に、理由を記入して判定に対する抗議処理を許可してもよい。これにより、受注者の不満を把握でき、かつ、成果物チェック手段４８の認定が正しいかを確認することができる。

また、ダミー問題に対する回答が誤っていた場合、所定時間、他のタスクを受注できないように設定してもよい。このようにすれば、受注者は、タスクに対して慎重に回答するようになり、結果的に成果物の品質を向上できる。

また、図６に示したタスク、すなわち、受注者が商品名および型番等の文字列を入力する必要があり、特定の文字列の成果物が取得可能なタスクについては、成果物チェック手段４８は、複数の受注者による成果物の一致数（一致率）に基づいて、成果物が所定の基準を満たしているか、つまり成果物を納品可能か否かを判定する。そして、成果物チェック手段４８は、当該一致数（一致率）が所定値を超えている成果物を、所定の基準を満たして発注者に納品可能な成果物とする。

例えば、成果物チェック手段４８は、一致数として「３」が設定されている場合、３人以上の受注者からの成果物が一致すると、所定の基準を満たしている（納品可能）と判定する。また、成果物チェック手段４８は、一致率として７５％と設定されている場合、例えば４人の受注者からの成果物のうち、３つ以上が一致している場合には、３／４＝７５％となるため、所定の基準を満たしている（納品可能）と判定する。

なお、例えば、文章を入力する場合等、タスクの内容によっては、回答（成果物）が一致しにくい場合も考えられる。この場合は、繰り返し回数（成果物の一致に必要な試行錯誤の回数）を変化させて、チェックの合格のし易さ、つまり納品のし易さをコントロールしても良い。例えば、「James」の日本語表記を入力する作業を依頼した場合、回答として、「ジェームズ、ジェイムズ、ジェームス、ジェイムス」のように複数の答えがありえる。この場合、受注者に１つの回答しか認めないと、他の受注者の回答と表記が異なる場合も回答が一致しないと判定することになる。

そこで、受注者に複数回の回答を認めたり、あるいは一度に複数の回答入力を許可し、複数の回答のうちのどれかが他の受注者の回答と一致すればよいルールとすれば、一致の難易度が下がり、所定の基準を満たしていると判定しやすくなり、納品もしやすくなる。

更に、図７に示したタスク、すなわち、受注者が翻訳文等の文字列を入力する必要があり、複数の回答が得られてしまうタスク（一次タスク）については、成果物チェック手段４８は、図８に示したタスク、すなわち、図７に示したタスクの成果物を択一的な回答によりチェックする前述の新規のタスク（品質チェック業務＝二次タスク）の成果物に基づいて、図７に示したタスクの成果物が所定の基準を満たしている（納品可能）か否かを判定する。この新規のタスクは、不特定多数の受注者により受注可能であるが、当該新規のタスクを、先のタスク（一次タスク）の受注者は受注することはできない。また、品質チェック業務を受注できる受注者は、所定のランク以上の受注者に限定することが、チェック品質を担保するうえで好ましい。

そして、成果物チェック手段４８は、当該新規のタスクの成果物として「きちんと翻訳されている」旨の回答（つまり合格判定）が設定された成果物が所定値を超える一致率（一致数）で取得された場合には、評価対象となった成果物を所定の基準を満たしている、つまり発注者に納品可能な成果物と判定する。なお、この品質チェック作業を、所定ランク以上の受注者や、評価担当に認定されている受注者１名に担当させてもよい。

成果物送信手段４９は、成果物チェック手段４８により、所定の基準を満たしている（納品可能）と判定された成果物を、当該成果物のタスクを発注した発注者端末２に送信する。すなわち、成果物送信手段４９は、タスクデータベースから、該当するタスクに関連付けられた発注者の識別情報を取得し、当該識別情報に基づいて発注者データベースを参照して、当該タスクを発注した発注者端末２の識別情報（発注者端末識別情報）を特定する。そして、当該発注者端末識別情報に基づいて、該当するタスクの成果物を発注者端末２に送信する。また、成果物送信手段４９は、成果物を発注者端末２に送信すると、該当するタスクの成果物を納品した旨の情報、および、当該成果物を示す情報を、タスクデータベースに登録する。

＜タスク仲介処理＞
図１０は、サーバ４により実行されるタスク仲介処理（業務受発注仲介方法）を示すフローチャートである。

サーバ４は、上記構成により、以下のタスク仲介処理を実行する。なお、以下の説明では、１つのタスクについての処理を説明するが、複数のタスクを仲介する場合であっても同様である。

このタスク仲介処理では、図１０に示すように、まず、予め登録された発注者が操作する発注者端末２からタスクについての情報（受注条件を含む）および支払情報（対価）が送信されると（ステップＳＡ１）、サーバ４のタスク管理手段４４が、当該タスクについての情報および支払情報をタスクデータベースに登録する（ステップＳＢ１）。このようにして登録されたタスクの情報は、受注者により閲覧可能となる。

そして、受注者からタスクの受注要求が送信されると（ステップＳＣ１）、サーバ４のタスク送信手段４６は、当該受注者に該当するタスクの受注権限があるか否かを判定する（ステップＳＢ２）。

サーバ４は、ステップＳＢ２の判定処理で受注者に受注権限がないと判定すると、処理をステップＳＢ４に移行する。受注権限とは、例えば、タスクを受注する際に所定ランク以上などの条件が設定されている場合や、成果物が未納品の他のタスクを受注していないなど、タスクを受注するために設定された条件を満たしていることを意味する。

一方、サーバ４が、ステップＳＢ２の判定処理で、受注者に受注権限があると判定すると、タスク送信手段４６は、該当するタスクの内容が含まれるＷｅｂページを生成して、当該Ｗｅｂページを受注者端末３に送信する（ステップＳＢ３）。この後、サーバ４は、処理をステップＳＢ４に移行する。

ステップＳＢ４では、タスク管理手段４４が、発注されたタスクに対して、所定期間内に受注要求があったか否かを判定する（ステップＳＢ４）。

サーバ４は、このステップＳＢ４の判定処理で受注要求がなかったと判定すると、処理をステップＳＢ７に移行する。

一方、サーバ４が、ステップＳＢ４の判定処理で、受注要求があったと判定すると、成果物管理手段４７が、該当するタスクの成果物が所定期間内に受注者端末３から受信されたか否かを判定する（ステップＳＢ５）。

サーバ４は、ステップＳＢ５の判定処理で成果物を受信していないと判定すると、処理をステップＳＢ７に移行する。

一方、受注者端末３により成果物が含まれる成果物情報が送信され（ステップＳＣ２）、サーバ４がステップＳＢ５の判定処理で、成果物を受信したと判定すると、成果物管理手段４７が当該成果物についての情報を成果物データベースに登録し、成果物チェック手段４８が、前述のように、受信された成果物が所定の基準を満たしているか、つまり納品可能か否かを判定する（ステップＳＢ６）。

サーバ４は、ステップＳＢ６の判定処理で、成果物を所定の基準を満たしていない（納品可能でない）と判定すると、処理をステップＳＢ７に移行する。また、サーバ４は、ステップＳＢ６の判定処理で、成果物を所定の基準を満たしている（納品可能である）と判定すると、処理をステップＳＢ８に移行する。

ステップＳＢ７では、成果物送信手段４９による発注者端末２に対する成果物の納品を行うことができない。このため、当該ステップＳＢ７では、決済管理手段４５が、タスク登録時に受領した処理費用の支払処理（返還処理）を行い、当該支払処理の結果および処理費用返還の理由を示す支払処理情報を発注者端末２に送信する（ステップＳＢ７）。このステップＳＢ７が実施される場合には、当該ステップＳＢ７の実施により、タスク仲介処理は終了する。

ステップＳＢ８では、成果物の納品が可能であるので、成果物送信手段４９が、該当するタスクを発注した発注者の発注者端末２に対して当該成果物を納品（送信）する（ステップＳＢ８）。

そして、決済管理手段４５が、該当するタスクの納品可能な成果物を送信した受注者に対する対価の支払処理を実施し、当該支払処理の結果を示す支払処理情報を、当該受注者の受注者端末３に送信する（ステップＳＢ９）。

更に、受注者管理手段４３が、成果物のチェック結果に基づいて、受注者ごとに評価を行い、当該受注者の正解率およびランクのスコアを算出し、ランクを必要に応じて変更する（ステップＳＢ１０）。例えば、受注者管理手段４３は、前述のダミー問題に対して回答が誤っている成果物を送信した受注者のランクを下げる等の処理を実行する。

以上により、タスク仲介処理が終了する。なお、ステップＳＢ８〜ＳＢ１０の順序は、入れ替えてもよい。例えば、ステップＳＢ６の判定処理で、成果物が所定の基準を満たしていると判定した場合に、まず、支払処理情報の送信処理を行い、その後に、成果物の納品処理を行ってもよい。すなわち、ステップＳＢ６の判定処理は、受注者に対する支払処理を許可するための条件とし、支払処理が行われたことを条件に成果物の納品処理を行うようにしてもよい。

以上説明した本実施形態に係るクラウドソーシングサービスシステム１によれば、以下の利点がある。

タスクに対する成果物を、業務受発注仲介装置であるサーバ４の成果物チェック手段４８でチェックし、チェックに合格した場合（所定の基準を満たしている場合）のみ成果物を発注者端末２に納品（送信）しているので、発注者は一定以上の品質の成果物を得ることができる。この際、発注者自身が成果物の品質チェックを行って納品の可否を判断する必要がないため、発注者の負担も軽減できる。

また、受注者は、成果物チェック手段４８のチェックに合格すれば、成果物を納品できるので、発注者の恣意的な判断で納品を拒絶されることがない。このため、受注者は、適切な品質の成果物を作成すれば、その対価を確保できる。さらに、受注者は、受注のための提案などの事前作業が不要になるため、受注処理の負担も軽減できる。

成果物チェック手段４８は、タスクの内容つまり業務分野に応じて、図５に示すようなダミー問題による正解チェック、図６に示すような複数受注者からの成果物（回答）の一致チェック、図７、図８に示すような成果物の品質チェック業務を新たなタスクとする二重チェックを選択している。このため、タスク内容に応じた適切なチェック方式で成果物をチェックでき、納品される成果物の品質を向上できる。

成果物チェック手段４８は、図５に示すように択一的な回答を選択するものである場合、受注者端末３に対し、予め正答が設定されたダミー問題を送信し、受注者端末３から返信された回答が正答に一致している場合に、納品処理を許可している。このようなダミー問題を混在させてその結果で品質チェックを行えば、成果物チェック手段４８は、ダミー問題の回答が正答であるか否かのみをチェックすればよいため、チェック処理を容易に実行できる。

さらに、ダミー問題の難易度や内容を設定することで、受注者のレベル等も判定でき、発注者の望むレベルの受注者から成果物を得ることができる。

成果物チェック手段４８は、図６に示すようなタスクの場合、成果物（回答）が複数の受注者端末３から送信された際に、各成果物を比較し、成果物同士の一致数（一致率）が所定値以上の場合に、納品処理を許可している。このため、回答を選択するタイプのタスクではなく、テキストを入力するタスクであっても、複数の受注者の成果物の一致数や一致率でその品質を自動的に判定できる。従って、従来、チェック担当者が品質チェックを行っていたテキスト入力形式のタスクを、サーバ４が自動的に品質チェックすることができる。

成果物チェック手段４８は、図７、図８に示すようなタスクの場合、成果物が受注者から送信された際に、その成果物の品質チェック業務を新たなタスク（発注情報）としてタスク管理手段４４に登録し、成果物を送信した受注者端末３以外の受注者端末から送信される品質チェック結果が合格判定の場合に、納品処理を許可している。このため、ある受注者が作業した成果物を、他の受注者がチェックすることで、翻訳などの自動的な品質チェックが困難なタスクであっても品質を確保できる。さらに、サーバ４は、成果物の品質チェック作業を、新たなタスクとして登録し、かつ、その品質チェック結果は合格、不合格の二択の回答を確認するだけよいため、サーバ４が自動的に二重チェックの設定および評価を行うことができる。

さらに、成果物が受注者から送信された直後に、その成果物の品質チェック業務を新たなタスクとして登録しているので、成果物が受注者から送信された直後に、他の受注者がその品質チェック業務を行うことができる。この場合、リアルタイムに二重チェックを受けることもでき、二重チェックを受けながらも、迅速に納品することができる。

一方、上記の実施形態では、ダミー問題に対する回答が誤っている成果物を送信した受注者に対して、当該受注者のランクを下げたり、あるいは、連続してタスクの受注を実施できないようにする措置を講じるとしたが、これに限らない。例えば、操作間違いで誤答した可能性もあるため、当該ダミー問題の誤答が所定回数行われた場合に、前記ペナルティーの措置を講じてもよい。

また、品質チェック作業を新たなタスクとする場合、予め回答を設定したダミー問題を混ぜてチェックさせてもよい。例えば、翻訳のタスクの場合、翻訳結果が正しいダミー問題や、正しくないダミー問題を混ぜておき、そのダミー問題に正答しないと、品質チェック作業の成果物を納品できないようにしてもよい。このようにすれば、品質チェック作業を行っている受注者の質を担保できる。

さらに、品質チェック作業の結果、成果物が正解ではないと判定された場合に、成果物チェック手段４８は、再度、その成果物の品質チェック作業を作成し、別の受注者に品質チェック作業を行わせてもよい。特に、最初の品質チェック作業で正解ではないとの判定を、その成果物を作成した受注者にフィードバックし、その受注者から再チェックのボタン入力があった場合に、別の受注者の品質チェック作業を行わせれば、チェック結果に対する受注者の不満を確認できる。また、この複数の品質チェック作業結果を解析することで、各受注者によるチェック作業の質を分析でき、受注者のランクなどに反映できる。

上記の実施形態では、タスクを受注した受注者は、受信されたタスクの成果物をサーバ４に送信するとしたが、この際、サーバ４において、タスクを送信してから成果物が受信されるまでの間に制限時間を設けてもよい。この場合、サーバ４は、制限時間内に成果物が受信されなかった場合には、受注者による該当するタスクの受注を取り消してもよい。このようにすれば、特に、複数の受注者の成果物の一致数（一致率）で判定する場合に、受注者同士で連絡を取り合って、回答が正しくない成果物を複数送信することで一致数を確保しようとする不正行為が発生するリスクを軽減できる。

また、最初のタスクのみは、受注者に対して割当順に処理を許容し、次のタスクでは受注者をランダムに入れ替えることで、複数の受注者の成果物の一致チェックのリアルタイム性を確保しつつ、不正行為を防ぐことができる。

例えば、複数の受注者が作業を終わらせなれば一致率が計算できないとすると、できるだけ同じ作業を複数の受注者に同時に割り当てなければ、一番目の受注者は、二番目の受注者が答えて一致率の結果がでるまでに、待ち時間が生まれる。

この待ち時間を減らしてリアルタイム性を確保し、一致率の評価をして次の作業に移れるようにするためには、同じ作業を、受注のためにアクセスしてきた複数の受注者に対して順番に割り当てる（割り当て順に処理する）ことが有効である。

しかし、同時に作業をしようとする受注者は、同じ作業が当たる可能性が高くなる。このため、受注者が二人で相談して同じ答えを入力することで、誤った答えであっても回答が一致することで、一致チェックをすり抜けるという問題が生じる。

そのため、A,B,Cの各作業を渡す並び順が、元々AAABBBCCCであるものを、AABABCBCCなどと、順番をランダムに入れ替えればよい。この場合、同時に受注者がアクセスしても、AA、BBなど同じ作業が隣り合っている箇所が減るため、同じ作業に当たる可能性が低くなる。

また、リアルタイム性の確保には、さらに、一致率が出るまでの間にも、一定数の作業を先回りして提示するなどの処理を行えばよい。

さらに、複数の受注者の成果物の一致数（一致率）で判定する場合に、所定回数連続して一致しなかった場合には、そのタスクは一定期間処理できないように設定してもよいし、トライアルの回数でタスクの難易度（一致数や一致率の閾値）を調整してもよい。

例えば、不正な受注者がスクリプトなどで自動的に回答するようにしている場合、複数の成果物で所定回数連続して一致しない可能性が高い。この場合、そのタスクをしばらく受注できないようにすることで、不正な受注者の作業を排除できる。

また、同じタスクに対し、一致数などが所定値を超えずに、複数回、トライアルする場合、その回数が増えるに従って、判断の閾値を高めることで、不正な受注者の作業を排除できる。

上記の実施形態では、成果物の品質チェック作業は、受注者端末３から成果物が納品された場合に設定していたが、受注者端末３からの成果物を、ダミー問題を混入させた正解チェックや、複数の受注者の成果物の一致数などでチェックする一致チェックで合格した成果物を品質チェック作業に回すようにしてもよい。このようにすれば、成果物の品質をより一層向上できる。

上記の実施形態では、ダミー問題は、予め記憶手段４１に記憶されているとしたが、これに限らない。例えば、納品済みタスクから類似のタスクを抽出し、当該タスクに含まれる設問をダミー問題としてもよい。

上記の実施形態では、納品可能な成果物を送信した受注者に対して、対価を支払うとしたが、当該対価は現金に限らず、所定のサイトおよび店舗にて利用可能なポイントを付与してもよい。

さらに、上記の実施形態では、ダミー問題を用いた正解チェック、複数の成果物による一致チェック、品質チェック作業を行うことによる二重チェックの３種類のチェック方法をタスクの業務分野に応じて選択していたが、発注あるいは受注するタスクの種類が決まっている場合には、これらのチェック方式の１つのみ、または２つのみを設定してもよい。

上記の実施形態では、タスク送信手段４６を設け、タスク送信手段４６が、受注者端末３から送信される発注情報の受注要求を取得し、その受注要求に応じて発注情報を受注者端末３に対して送信していた。これに対し、タスク送信手段４６を設けずに、サーバ４が発注情報を公開し、どの受注者も自由に発注情報を取得してタスクに着手できるようにしてもよい。

＜正解率およびランクのスコアの計算＞
図１１は正解率およびランクのスコアの計算の処理例を示す図である。図１０の説明では受注者評価（ＳＢ１０）の一環として正解率およびランクのスコアを計算するものとしているが、計算に必要なデータが取得できれば、処理のタイミングは問わない。

図１１において、先ず、正解率ｐ'を計算する（ステップＳ１）。正解率ｐ'は、各受注者につき、従来の正解率（ダミー業務の数に対する正解数（ダミー問題の○○問中△△問以上を正解とした場合の正解したダミー業務の数）の比率）に補正を加え、作業経験の多い受注者と作業経験の少ない受注者との質の違いを正確に評価できるようにするとともに、作業数がゼロ（０）の場合にも妥当な値となるようにしたものである。正解率ｐ'は、作業の質、ひいては受注者や成果物の質を評価する指標となり得る。処理の詳細については後述する。

次いで、グッドワーカ作業の時間単価ｑ'を計算する（ステップＳ２）。グッドワーカ作業とは、ランク、スコア、正解率等により優秀な受注者を条件としたタスクについての作業である。グッドワーカ作業の時間単価ｑ'は、各受注者につき、グッドワーカ作業の時間単価について、正解率ｐ'と同様の信頼度を考慮した補正を加えたものである。時間単価ｑ'が高い受注者は能力が高いと判断できるため、作業の質、ひいては受注者や成果物の質を評価する指標となり得る。処理の詳細については後述する。

次いで、グッドワーカバッジの保有数 r'を計算する（ステップＳ３）。グッドワーカバッジとは、優秀な受注者に対して発注者もしくはサービス運用者から付与される記章である。グッドワーカバッジの保有数 r'は、各受注者につき、グッドワーカバッジの保有数について、正解率ｐ'と同様の信頼度を考慮した補正を加えたものである。グッドワーカバッジの保有数 r'が高い受注者は能力が高いと判断できるため、作業の質、ひいては受注者や成果物の質を評価する指標となり得る。処理の詳細については後述する。

次いで、全体作業の時間単価 s'を計算する（ステップＳ４）。全体作業とは、受注者の能力を条件としないタスクについての作業である。全体作業の時間単価 s'は、各受注者につき、全体作業の時間単価について、正解率ｐ'と同様の信頼度を考慮した補正を加えたものである。全体作業の時間単価 s'が高い受注者は能力が高いと判断できるため、作業の質、ひいては受注者や成果物の質を評価する指標となり得る。処理の詳細については後述する。

次いで、作業対価の総額 t'を計算する（ステップＳ５）。作業対価の総額 t'は、各受注者につき、作業対価の総額 について、正解率ｐ'と同様の信頼度を考慮した補正を加えたものである。作業対価の総額 t'が高い受注者は能力が高いと判断できるため、作業の質、ひいては受注者や成果物の質を評価する指標となり得る。処理の詳細については後述する。

次いで、ランクのスコアを計算する（ステップＳ６）。ランクのスコアは、信頼度を考慮した補正を加えた後の評価値である、正解率ｐ'、グッドワーカ作業の時間単価ｑ'、グッドワーカバッジの保有数 r'、全体作業の時間単価 s'、作業対価の総額 t'の平均値であり、受注者の総合的な質、ひいては成果物の質を表わす評価指標となり得る。処理の詳細については後述する。

図１２は正解率の計算（図１１のステップＳ１）の処理例を示す図である。

図１２において、入力データとして正解チェック数と正解チェックでの正解数を取得し、これらの入力データから正解率ｐ'を計算する（ステップＳ１１）。

ここで、先ず、初期の正解率ｐを、
ｐ＝（正解チェックでの正解数＋１）／（正解チェック数＋２）
とする。すなわち、分母の正解チェック数に「２」を加え、分子の正解チェックでの正解数に「１」を加えることで、正解チェック数と正解数が「０」の場合においても正解率ｐが１／２になるようにしている。なお、加える数値はこれらに限定されるものではなく、変更してもよい。

初期の正解率ｐを上記のようにすることは、数学的には、Binomial分布（結果が成功か失敗のいずれかであるｎ回の独立な試行を行ったときの成功数で表わされる離散確率分布）の事前分布としてBeta分布を利用し、ハイパーパラメータを１／２とおき（偶然でも半分当たる）、観測後にアップデートされた事後分布の期待値を周辺化などはせずそのままBinomial分布のパラメータとする、ということと同義である。

また、試行回数ｎを初期の正解率ｐの分母と同様に、
ｎ＝正解チェック数＋２
とする。

そして、初期の正解率ｐを平均値とし、かつ、試行回数をｎとするBinomial分布における例えば９５％の信頼度区間の下限を、信頼度を考慮した正解率ｐ'として求める。なお、Binomial分布の信頼度区間の下限を数式で表わすのは困難であるため、平均および分散が同じ正規分布による近似を用いている。

これにより、信頼度を考慮した正解率ｐ'を図１２に示した式により計算する。max（）は、括弧内の第１要素と第２要素の大きい方の値となることを示し、第２要素の値が負の値になった場合は、「０」となる。

図１３は信頼度を考慮した正解率ｐ'の説明図である。図１３（ａ）は試行回数ｎが少ない場合に、Binomial分布を正規分布で近似し、ｐが平均となるよう正規化したものを示しており、広がった分布となるため、初期の正解率ｐに対して信頼度を考慮した正解率ｐ'はかなり低い値となる。また、図１３（ｂ）は試行回数ｎが多い場合を同様に近似、正規化したものを示しており、狭い分布となるため、初期の正解率ｐに対して信頼度を考慮した正解率ｐ'はそれほど低い値とはならない。

これにより、作業経験の多い受注者と作業経験の少ない受注者とで、ダミー業務に対する正解率の違いをより正確に表わすことができる。また、アカウントを取り直しても高い正解率ｐ'を得ることはできないため、不正を防止することができる。

なお、図１２および図１３では正解率ｐ'を信頼度区間の下限により求める場合について説明したが、信頼度区間の上限により正解率を求めるようにしてもよい。この場合、信頼度区間の上限による正解率が低すぎる受注者をスパムと特定するために用いることができる。通常の受注者であれば信頼度区間の上限では少なくとも所定値を越え、これよりも低くならないと考えられるため、スパムを選別することができる。

次に、図１４はグッドワーカ作業の時間単価の計算（図１１のステップＳ２）の処理例を示す図である。

図１４において、入力データとしてグッドワーカ作業の総作業時間とグッドワーカ作業の作業回数とグッドワーカ作業の総支払額とを取得し、これらの入力データから時間単価ｑ'を計算する（ステップＳ２１）。

ここで、先ず、初期の平均作業時間λを、
λ＝（総作業時間＋３）／（作業回数＋１）
とする。すなわち、分母の作業回数に「１」を加え、分子の総作業時間に「３」を加えることで、作業回数と総作業時間が「０」の場合においても平均作業時間λが３（分）になるようにしている。なお、加える数値はこれらに限定されるものではなく、変更してもよい。

初期の平均作業時間λを上記のようにすることは、数学的には、Poisson分布（所与の時間間隔で発生する離散的な事象を数える特定の確率変数を持つ離散確率分布）の事前分布としてGamma分布を利用し、ハイパーパラメータを一般的と考えられるタスクあたりの時間とし、観測後にアップデートされた事後分布の期待値を周辺化などはせずそのままPoisson分布のパラメータとする、ということと同義である。

また、試行回数ｎを初期の平均作業時間λの分母と同様に、
ｎ＝作業回数＋１
とする。

そして、初期の平均作業時間λを平均値とし、かつ、試行回数をｎとするPoisson分布における例えば９５％の信頼度区間の上限を、信頼度を考慮した平均作業時間λ'として求める。上限を求めるのは、低めに評価するためである。なお、Poisson分布の信頼度区間の上限を数式で表わすのは困難であるため、平均および分散が同じ正規分布による近似を用いている。正解率の場合のようにmax（）を用いていないのは、上限であるため、負の値となることがないことによる。

同様に、初期の平均支払額μと試行回数ｎを定義し、信頼度を考慮した平均支払額μ'を求める。この場合、低めに評価するため、信頼度区間の下限を用いる。

そして、平均支払額μ'を平均作業時間λ'で割り、所定の係数（ここでは、６０）をかけることで、信頼度を考慮した時間単価ｑを求める。

更に、収入の分布であるといわれるPareto分布を用い、係数α、βを適当に定めることで、更に値の範囲を補正した時間単価ｑ'を求める。

次に、図１５はグッドワーカバッジの保有数の計算（図１１のステップＳ３）の処理例を示す図である。

図１５において、入力データとしてグッドワーカバッジの保有数を取得し、これらの入力データからグッドワーカバッジの保有数ｒ'を計算する（ステップＳ３１）。

この場合、図１４で時間単価ｑから値の範囲を補正した時間単価ｑ'を求めたのと同様に、Pareto分布を用い、係数α、βを適当に定めることで、グッドワーカバッジの保有数ｒから、補正したグッドワーカバッジの保有数ｒ'を求める。

次に、図１６は全体作業の時間単価の計算（図１１のステップＳ４）の処理例を示す図である。

図１６において、入力データとして全体作業の総作業時間と全体作業の作業回数と全体作業の総支払額とを取得し、これらの入力データから全体作業の時間単価ｓ'を計算する（ステップＳ４１）。

この場合、グッドワーカ作業が全体作業に変わるだけで、図１４と同様の処理となる。

次に、図１７は作業対価の総額の計算（図１１のステップＳ５）の処理例を示す図である。

図１７において、入力データとして作業対価の総額を取得し、これらの入力データから作業対価の総額ｔ'を計算する（ステップＳ５１）。

この場合、グッドワーカバッジの保有数が作業対価の総額に変わるだけで、図１５と同様の処理となる。

次に、図１８はランクのスコアの計算（図１１のステップＳ６）の処理例を示す図である。

図１８において、入力データとして正解率 p'とグッドワーカ作業の時間単価 q'とグッドワーカバッジの保有数 r'と全体作業の時間単価 s'と作業対価の総額 t'とを取得し、これらの入力データからランクのスコアを計算する（ステップＳ６１）。

この場合、要素が５つあるため、それぞれの要素に１／５を乗じて加算することで、平均を求めている。

上述した実施形態では、主にクラウドソーシングによる業務を対象とした作業評価指標について説明してきたが、業務の作業に限定されることなく、評価対象となり得る必要な事項の遂行（例えば、人が対象となる入試等の各種テストや、機械やシステムが対象となる性能評価等）に広く適用することが可能である。

＜総括＞
以上、本実施形態によれば、作業経験の多い受注者と作業経験の少ない受注者との質の違いを正確に評価するとともに、不正を防止することができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１ クラウドソーシングサービスシステム
２ 発注者端末
３ 受注者端末
４ サーバ（業務受発注仲介装置）
４１ 記憶手段
４２ 発注者管理手段
４３ 受注者管理手段
４４ タスク管理手段（発注情報管理手段）
４５ 決済管理手段
４６ タスク送信手段（発注情報送信手段）
４７ 成果物管理手段
４８ 成果物チェック手段
４９ 成果物送信手段
Ｎ ネットワーク

Claims (8)

1. ダミー問題が含まれたダミー業務の数と、正解したダミー業務の数とを取得する手段と、
   ダミー業務の数に対する正解したダミー業務の数の比率である正解率を平均値とし、かつ、ダミー業務の数を試行回数とする所定の確率分布における所定の信頼度区間の下限もしくは上限を補正後の正解率として生成する手段と、
   生成した補正後の正解率を出力する手段と
   を備えたことを特徴とする作業評価指標生成装置。
2. 請求項１に記載の作業評価指標生成装置において、
   前記ダミー業務の数および前記正解したダミー業務の数に対して補正値を加える
   ことを特徴とする作業評価指標生成装置。
3. 請求項１または２のいずれか一項に記載の作業評価指標生成装置において、
   前記確率分布として、Binomial分布を近似した正規分布を適用する
   ことを特徴とする作業評価指標生成装置。
4. 請求項１乃至３のいずれか一項に記載の作業評価指標生成装置において、
   前記信頼度区間の下限が負の値となる場合に０以上の値に補正する
   ことを特徴とする作業評価指標生成装置。
5. 請求項１乃至４のいずれか一項に記載の作業評価指標生成装置において、
   前記補正後の正解率と、所定の基準を満たす受注者に作業を限定したグッドワーカ作業の時間単価、当該受注者に付与されるグッドワーカバッジの保有数、受注者を指定しない全体作業の時間単価、もしくは、作業対価の総額のいずれかもしくは複数の評価値とに基づいて、ランクのスコアを生成する手段と、
   生成したランクのスコアを出力する手段と
   を備えたことを特徴とする作業評価指標生成装置。
6. 受注者が全ての受注業務を納品するまでにかかった作業時間と、前記全ての受注業務の納品に対する受注者への手数料の支給総額と、前記受注者の受注業務の数とを取得する手段と、
   前記作業時間および前記受注業務の数に基づく平均作業時間を平均値とし、かつ、前記受注業務の数を試行回数とする所定の確率分布における所定の信頼区間の上限を補正後の平均作業時間として生成する第１生成手段と、
   前記支給総額および前記受注業務の数に基づく平均支給額を平均値とし、かつ、前記受注業務の数を試行回数とする所定の確率分布における所定の信頼区間の下限を補正後の平均支給額として生成する第２生成手段と、
   前記第１生成手段が生成した平均作業時間と、前記第２生成手段が生成した平均支給額とに基づく補正後の時間単価を出力する手段と
   を備えたことを特徴とする作業評価指標生成装置。
7. 評価に必要な事項の遂行に関する情報を取得する手段と、
   前記情報から求めた評価値を平均値とし、かつ、前記情報のうち前記事項の遂行数を試行回数とする所定の確率分布における所定の信頼度区間の下限もしくは上限を補正後の評価値として生成する手段と、
   生成した補正後の評価値を出力する手段と
   を備えたことを特徴とする評価指標生成装置。
8. 作業評価指標生成装置が実行する方法であって、
   ダミー問題が含まれたダミー業務の数と、正解したダミー業務の数とを取得する工程と、
   ダミー業務の数に対する正解したダミー業務の数の比率である正解率を平均値とし、かつ、ダミー業務の数を試行回数とする所定の確率分布における所定の信頼度区間の下限もしくは上限を補正後の正解率として生成する工程と、
   生成した補正後の正解率を出力する工程と
   を備えたことを特徴とする作業評価指標生成方法。

Images