JP6906093B2 - ボット判別テストを活用したクラウドソーシング基盤のデータ収集方法 - Google Patents

Description

本発明は、ボット判別テストを活用したクラウドソーシング基盤のデータ収集方法に関する。

ユーザがオンラインサービスを利用するために、ウェブサイト又はアプリケーションに接続するとき、サーバは、キャプチャ（Ｃｏｍｐｌｅｔｅｌｙ Ａｕｔｏｍａｔｅｄ Ｐｕｂｌｉｃ Ｔｕｒｉｎｇ ｔｅｓｔ ｔｏ ｔｅｌｌ Ｃｏｍｐｕｔｅｒｓ ａｎｄ Ｈｕｍａｎｓ Ａｐａｒｔ、ＣＡＰＴＣＨＡ）認証を提供して、ユーザがボットであるか人間であるかについて判断する。

具体的に、ユーザが、オンラインサービスを利用するために、ウェブサイト又はアプリケーションに会員登録する際、又はＩＤ／パスワードを探す際、サーバは、ユーザにキャプチャ認証問題を提供して、ユーザがキャプチャ認証問題を解くようにする。ユーザがキャプチャ問題をパス（通過）すると、サーバは、ユーザが人間であると判断してサービスを利用できるようにする。

ユーザがボットか否かを判断するために、ユーザに提供するキャプチャ認証問題には、多様な種類がある。例えば、ユーザに、歪んだテキストをキャプチャ認証問題として提供して、該当テキストが示す内容を入力するようにすることができる。また、ユーザに、特定単語が雑音と混ざったオーディオをキャプチャ認証問題として提供して、ユーザに聞こえる単語を入力するようにすることができる。また、ユーザに、特定の事物のイメージが１つ以上提示されたイメージをキャプチャ認証問題として提供して、ユーザに事物の名前を入力するようにすることができる。

キャプチャは、上述した会員登録を行うか、又はＩＤ／パスワードを探す場合以外にも、多様な状況に適用される。例えば、広告目的の掲示物を防ぐためにキャプチャ認証が適用されうるのであり、メールアドレスを保護するためにキャプチャ認証が適用されうるのであり、オンライン投票時にキャプチャ認証が適用されうるのであり、アカウントのハッキングを防ぐためにキャプチャ認証が適用されうるのであり、また人工知能の開発のためにキャプチャ認証が適用されることもありうる。

しかし、キャプチャを用いたボットか否かの判断システムにおいて、ユーザがキャプチャ認証問題を通過しても、これに対する報償がないため、ユーザはキャプチャ認証問題の解決に煩わしさを感じ、意欲的に問題を解こうとしない。そのため、ユーザがオンラインサービスを利用する上で、キャプチャ認証が障壁として作用するという問題がある。

また、ユーザにより行われたキャプチャ認証問題の結果データは、単にユーザがボットか、人間かを判断するためにのみ用いられている。従って、キャプチャ認証を用いたボットか否かの判断システムは、数多くのユーザにより行われた数多くの結果データを、実用的かつ効率的に用いていないという問題がある。

一方、紙の本のデジタル化の過程で、ＯＣＲの適用が難しいテキストを解読するためにキャプチャ認証が適用されるが、これをリキャプチャ（ｒｅＣＡＰＴＣＨＡ）という。しかし、リキャプチャ方式において、キャプチャ認証問題を提供する企業側はデータの収集という利益を得ることができるが、キャプチャ認証問題を解くユーザには何の報償も提供されないという問題がある。

韓国公開特許公報第１０-２０１４-００９５９５６号（２０１４.０８.０４.）

本発明は上記事情に鑑みてなされたものであって、その目的は、ボット判別（区別）テストを活用したクラウドソーシング基盤のデータ収集方法を提供することにある。

本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるであろう。

上述した課題を解決するための本発明の一側面によるボット判別（区別）テストを活用したクラウドソーシング基盤のデータ収集方法は、スクリプトコードを提供する段階であって、前記スクリプトコードは、オンラインサービスサーバが提供する所定のオンラインサービスのボット区別テストが必要な、特定のウェブページのソースコードに挿入されてウィジェットがインストールされるようにするスクリプトコード提供段階と、前記オンラインサービスのユーザが前記特定のウェブページに接続する際、又は前記特定のウェブページにインストールされたウィジェットがローディングされる際、前記ユーザの固有キー値が付与された作業セットを前記ユーザに割り当て、前記ウィジェットを介して前記作業セットを露出（ユーザ画面への表示などによる提示）させ、前記ユーザの固有キー値を前記オンラインサービスサーバに伝達する作業セット割当段階と、前記ユーザにより行われた作業セットの作業結果を受信する段階と、前記作業結果に対する検証を行ってユーザがボットか否かを判別（区別）する段階と、検証結果を基に人工知能学習のためのデータを収集する段階と、前記検証結果を前記オンラインサービスサーバに伝達し、前記オンラインサービスサーバが前記ユーザの前記特定のウェブページに対する接続を承認するか否かを決定できるようにする段階と、前記オンラインサービスサーバから前記検証結果を基に収益金の要請を受ける段階とを含む。

本発明の一実施例において、前記ユーザの固有キー値は、前記作業セットが割り当てられたユーザの識別情報と連係されて前記オンラインサービスサーバにより格納されうる。

本発明の一実施例において、前記ユーザの固有キー値は、前記作業セットに相応する前記データの識別情報、及び前記作業セットに対する作業単価情報と連係されて前記コンピュータにより格納されうる。

本発明の一実施例において、前記作業セットは、ｎ個（ｎは５よりも大きい自然数）の作業で構成され、前記ｎ個の作業のうちのｍ個（ｍは２よりも大きい自然数）の作業は、正解のあるトラップ（trap; 落とし穴）作業として予め設定されるのでありうる。

また、前記作業結果に対する検証を行って、ユーザがボットか否かを判別（区別）する段階は、前記ユーザが前記ｍ個のトラップ作業のうちの少なくとも１つを所定回数以上失敗すると、前記ユーザをボットであると判別（区別）する段階を含み、前記検証結果を基にデータを収集する段階は、前記ユーザがボットであると判別（区別）されると、前記ユーザが行った作業結果を全て削除する段階を含むことができる。

更に、前記作業結果に対する検証を行ってユーザがボットか否かを判別（区別）する段階は、前記ユーザが前記ｍ個のトラップ作業を全てパス（通過）すると、前記ユーザを人間であると判別（区別）する段階を含み、前記検証結果を基にデータを収集する段階は、前記ユーザが人間であると判別（区別）されると、前記ユーザが行った（ｎ-ｍ）個の作業結果の検収を行わず、データとして収集する段階を含むことができる。

本発明の一実施例において、前記オンラインサービスサーバから前記検証結果を基に収益金の要請を受ける段階は、前記オンラインサービスサーバから特定ユーザの識別情報に相応する特定ユーザの固有キー値を受信する段階と、前記オンラインサービスサーバに、前記ユーザの固有キー値に相応する作業セットと関連するデータの識別情報、及び、前記ユーザの固有キー値に相応する作業セットと関連する作業単価情報を提供する段階とを含むことができる。

本発明の一実施例において、前記収益金のうち前記オンラインサービスサーバにより決定された所定割合の金額は、前記オンラインサービスサーバにより該当作業セットを行ったユーザに報償として提供できる。

本発明の一実施例において、特定ユーザに作業セットを割り当てた後、所定時間が経過した後にも作業結果が受信されない場合、前記ユーザに割り当てられた作業セットをキャンセルし、この後に、前記特定のウェブページに接続した他のユーザに該当作業セットを再び割り当てることができる。

上述した課題を解決するための本発明の他の側面によるコンピュータプログラムは、ハードウェアであるコンピュータと結合され、上述したボット判別（区別）テストを活用したクラウドソーシング基盤のデータ収集方法を実行させるために、コンピュータ読み取り可能な記録媒体に格納される。

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

前記のような本発明のボット区別テストを活用したクラウドソーシング基盤のデータ収集方法によれば、オンラインサービスユーザにクラウドソーシング基盤の作業を提供して作業を行うようにし、ユーザから入力を受けた作業結果を検証することによって、オンラインサービスユーザがボットであるか否かを判別（区別）するのと同時に、クラウドソーシング基盤の作業結果を通じて目的とするデータを収集できる。

また、ボットであるか否かのテストをパス（通過）したユーザに報償を与えることによって、キャプチャ認証問題を解決する上でユーザに動機付けることができ、会員登録などの障壁要素を除去できる。

更に、ボット区別テストを目的にクラウドソーシング基盤の作業を提供することによって、前記作業に参加可能な大衆の人数が顕著に増加して、目的とするデータの収集量を増加させ、品質を改善させることができる。

また、ボットであるか否かのテスト結果を、クラウドソーシング基盤のデータとして活用することによって、より実用的にボットか否かを判断し、より効率的にクラウドソーシング基盤のデータを収集できる。

本発明の効果は、以上で言及した効果に限らず、言及されていない他の効果は、以下の記載から通常の技術者が明確に理解できるであろう。

本発明の一実施例によるクラウドソーシングサービスの概念図である。 本発明の一実施例によるクラウドソーシング基盤のプロジェクトの進行プロセスを説明するフローチャートである。 本発明の一実施例によるボット判別テストを活用したクラウドソーシング基盤のデータ収集システムの構成図である。 本発明の一実施例によるボット判別テストを活用したクラウドソーシング基盤のデータ収集システムの全体的なプロセスを説明するフローチャートである。 本発明の一実施例によるボット判別テストを活用したクラウドソーシング基盤のデータ収集方法の概略的なフローチャートである。 本発明の一実施例によるキャプチャの代わりにウィジェット型の作業セットが提供される状況を説明する例示図である。 本発明の一実施例によるトラップ作業を含む作業セットを説明する例示図である。 本発明の一実施例による各ユーザの作業の成功による収益金の照会を説明する例示図である。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるに過ぎない。

本明細書で用いられる用語は実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上のあらゆる組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素は、これらの用語により制限されないのはもちろんのことである。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で、第２構成要素でもありうることは言うまでもない。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般的に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

以下、添付の図面を参照して本発明の実施例を詳細に説明する。

図１は、本発明の一実施例によるクラウドソーシングサービスの概念図である。

図１を参照すれば、クラウドソーシングサービスは、依頼者１０、サービス提供業者２０及び大衆３０で構成されて行われる。

依頼者１０は、クラウドソーシング基盤のプロジェクト（以下、プロジェクト）を依頼する企業や個人を意味する。

依頼者１０は、ソースデータの収集又はデータアノテーションなどを目的にプロジェクトを依頼する。ソースデータの収集は、録音された音声の収集、写真の収集など加工されないデータを収集することを意味する。データアノテーションは、テキスト、写真、ビデオなどのソースデータに関連の注釈データを入力することを意味する。例えば、データアノテーションは、与えられたテキストから個体を探すこと、類似する文章を探すことなどがあり得るが、これに制限されない。

サービス提供業者２０は、クラウドソーシングサービスを提供する企業を意味する。

サービス提供業者２０は、依頼者１０から製品又はサービスに対するプロジェクトの依頼を受けると、該当プロジェクトに対する作業を一般大衆３０に割り当てて大衆３０から作業結果の提供を受ける。その後、作業結果を基に抽出されたアウトプットを依頼者１０に提供する。

この際、サービス提供業者２０は、クラウドソーシングプラットホーム（以下、プラットホーム）を介して、依頼者１０及び大衆３０にクラウドソーシングサービスを提供する。即ち、サービス提供業者２０は、依頼者１０からプロジェクトの依頼を受けると、プラットホームにプロジェクトをオープンする。その後、大衆３０から、オープンされたプロジェクトに対する作業結果の提供を受けると、該当プロジェクトをプラットホーム上にて終了し、アウトプット（最終プロダクト）を抽出して依頼者１０に提供することができる。

大衆３０は、プラットホームにオープンされたプロジェクトに参加する一般の大衆を意味する。ここで、大衆３０は、サービス提供業者２０が提供するアプリケーション又はウェブサイトなどを介して、プラットホームにオープンされたプロジェクトに参加することができる。

大衆３０は、作業者３２及び検収者３４で構成される。

作業者３２は、プラットホームにオープンされた複数のプロジェクトのうちの、特定のプロジェクトへの参加を決定する。その後、作業者３２は、ソースデータの収集又はデータアノテーションなどの作業を行い、これをプラットホームに送る。

検収者３４は、プラットホームにオープンされた複数のプロジェクトのうちの、特定のプロジェクトへの参加を決定する。その後、検収者３４は、作業者３２が行った作業結果に対する検収を行う。検収者３４は、検収の遂行の結果として、作業の合格認定（通過）又は差戻しを行うことができ、作業を差し戻す際に差戻しの事由を入力できる。

図２は、本発明の一実施例に係るクラウドソーシング基盤のプロジェクトの進行プロセスを説明するフローチャートである。

まず、依頼者１０がサービス提供業者２０にプロジェクトを依頼する（Ｓ４１）。

その後、サービス提供業者２０は、依頼されたプロジェクトをプラットホーム上にオープンする（Ｓ４２）。この際、サービス提供業者２０は、プロジェクトのオープン前に、該当プロジェクトの難易度などを考慮して等級を決定する。即ち、難易度に応じて、どの等級以上の大衆３０に該当プロジェクトを露出させるかを決定する。これにより、プロジェクトの作業結果の信頼度を高めることができる。

その後、サービス提供業者２０は、プロジェクトの等級に応じて、該当等級以上の作業者３２に作業を割り当てる（Ｓ４３）。

その後、作業者３２は、割り当てられた作業を行う（Ｓ４４）。この際、作業者３２は、何らかの理由により作業自体が不可能な作業に対しては、作業を行わずに作業不可である事由を入力することができる。

その後、サービス提供業者２０は、作業者３２から作業の結果を受信し（Ｓ４５）、該当作業結果に対する検収作業を検収者３４に割り当てる（Ｓ４６）。

その後、検収者３４は、割り当てられた検収を行う（Ｓ４７）。この際、検収者３４は、作業が正常に行われたものと判断すれば、検収通過を決定し、検収作業が誤ったものと判断すれば、差戻しを決定する。差戻しの決定時、検収者３４は、如何なる理由により作業が誤ったものと判断したかについての、差戻しの事由を入力する。

その後、サービス提供業者２０は、検収者３４から検収結果を受信する（Ｓ４８）。

検収結果が合格認定（通過）である場合、サービス提供業者２０は、該当作業結果を有効なデータとして用い、これを基にして、プロジェクトの終了時にアウトプットを抽出する。

検収結果が差戻しである場合、サービス提供業者２０は、内部的に検収を再び行うか、作業者３２に再び作業を割り当てて作業を行うようにすることもできる。

その後、サービス提供業者２０は、プロジェクト期間が終了するか、十分な有効データを確保すると、該当プロジェクトを終了し（Ｓ４９）、確保された有効データに基づいて最終の結果物を算出して依頼者１０に提供する（Ｓ５０）。

このとき、プロジェクトの終了前に、サービス提供業者２０は、作業者３２及び検収者３４の遂行結果を評価し、評価に応じて作業コスト及び検収コストを算出して、作業者３２及び検収者３４に提供する。

図１及び図２では、単に依頼者、サービス提供業者、作業者、検収者と表現したが、これらは、各参加者によって運用される、スマートフォン、タブレット、ＰＤＡ、ラップトップ、デスクトップ、サーバなどといったコンピュータ装置又は電気通信装置を意味する。

以下、キャプチャ（ＣＡＰＴＣＨＡ）認証が提供されるべき状況で、キャプチャ認証の代わりにクラウドソーシング基盤の作業を提供して、作業者がボットであるか又は人間であるかを判断し、同時に、クラウドソーシング基盤の作業データを収集することができるシステム及び方法について説明する。

図３は、本発明の一実施例による、ボット判別テストを活用したクラウドソーシング基盤のデータ収集システムの構成図である。

図３を参照すれば、ボット区別テストを活用したクラウドソーシング基盤のデータ収集システムは、クラウドソーシングサーバ６０、オンラインサービスサーバ７０及びユーザ８０を含む。

クラウドソーシングサーバ６０は、サービス提供業者２０により運用されるサーバを意味する。

サービス提供業者２０がユーザのボット判別（区別）テストを必要とする企業とパートナーシップを結ぶと、クラウドソーシングサーバ６０はウィジェット型の作業セットをユーザ８０に提供して作業を行うようにする。

詳細には、ボット判別テスト目的の作業セットがウィジェットを介して提供される。ウィジェットは、クラウドソーシングサーバ６０からダウンロードしたスクリプトコードを、オンラインサービスサーバ７０が提供する（ボット判別テストを適用しようとする）特定のウェブページのソースコードに挿入することによってインストールされる。ユーザ８０が、ウィジェットがインストールされた特定のウェブページにアクセスする際、又は特定のウェブページにインストールされたウィジェットがローディングされる際に、上述した作業セットが割り当てられる。

サービス提供業者２０は、作業結果を用いて、パートナーシップを結んだ企業の代わりにユーザのボット判別（区別）テストを行い、これに対する結果を、パートナーシップを結んだ企業に提供する。

その後、クラウドソーシングサーバ６０は、オンラインサービスサーバ７０から、ユーザ８０が成功した作業に対する収益金の照会又は支払いの要請を受ける。

また、クラウドソーシングサーバ６０は、ボット判別（区別）テストの結果を基にしてデータを収集する。

クラウドソーシングサーバ６０は、データベース６２（以下、ＤＢという）を含んでおり、データ識別情報、ユーザの固有キー値、及び作業単価情報を格納して管理する。ここで、データ識別情報は、ボット判別テストを目的にして、ユーザ８０に割り当てられた作業セットを通じてユーザ８０から獲得したデータの識別情報である。ユーザの固有キー値は、ユーザ８０に作業セットを割り当てる際に該当作業セットに付与されるものであって、該当作業セットを行ったユーザを識別するための情報である。作業単価情報は、作業セットに含まれる各作業に対する単価を示す。作業セット毎に、作業単価は、プロジェクトの特性に応じて異なり得るためである。

オンラインサービスサーバ７０は、ボット判別テストが必要な所定のオンラインサービスを提供し、サービス提供業者２０とパートナーシップを結んでいる企業により運用されるサーバを意味する。オンラインサービスサーバ７０を運用する企業は、サービス提供業者２０が提供するサービスに登録することによって、サービス提供業者２０とパートナーシップを有することができる。そして、オンラインサービスサーバ７０の管理者は、クラウドソーシングサーバ６０から上述したスクリプトコードをダウンロードすることができる。

オンラインサービスサーバ７０は、クラウドソーシングサーバ６０が行ったボット判別テストの結果を基にして、ユーザに、オンラインサービスサーバ７０が提供する特定のウェブページ（モバイルページを含む）への接続を、承認するか又は遮断するかについて決定する。

オンラインサービスサーバ７０は、ボット判別テストの結果を基にして、成功した作業に対する収益金を確認してクラウドソーシングサーバ６０に収益金の支払いを要請するのであり、確認された収益金のうちの、所定金額は、成功した作業を行ったユーザ８０に報償として提供する。

オンラインサービスサーバ７０は、データベース７２（以下、ＤＢという）を含んでおり、ユーザ識別情報及びユーザの固有キー値を格納して管理する。ここで、ユーザ識別情報は、オンラインサービスサーバ７０が提供するオンラインサービスを用いるユーザを識別するための情報であって、ウェブページにログインするためのＩＤやメールアドレスでありうるのであり、又は、携帯電話番号、氏名、ＩＭＥＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｅｑｕｉｐｍｅｎｔ Ｉｄｅｎｔｉｔｙ）、ＤＵＩＤ、端末モデル情報、端末ＯＳ情報、ＭＡＣアドレス、接続ＩＰアドレス、端末シリアル情報など、任意の、ユーザを識別可能な情報を意味する。ユーザの固有キー値は、上述したように、作業セットを行ったユーザを作業セットごとに識別するための情報である。ユーザの固有キー値は、クラウドソーシングサーバ６０のＤＢ６２と、オンラインサービスサーバ７０のＤＢ７２との間で共有される。即ち、オンラインサービスサーバ７０は、ユーザの固有キー値を用いて、クラウドソーシングサーバ６０から該当ユーザが行った作業の収益金を確認できる。ユーザの固有キー値は、後述する作業セット割当過程でクラウドソーシングサーバ６０からオンラインサービスサーバ７０に伝達されうる。

ユーザ８０は、オンラインサービスサーバ７０のサービスを利用するユーザであって、ユーザ８０は、オンラインサービスサーバ７０のサービスを利用するために、クラウドソーシングサーバ６０から作業セットを受信して作業を行う。この際、ユーザ８０は、図１ないし図２を参照して説明した、作業者３２としての役割を果たすことになる。

詳細には、ユーザ８０が、オンラインサービスサーバ７０が提供する特定のウェブページに接続した際、例えば、会員登録のためのウェブページ又はＩＤ／パスワードを探すためのウェブページに接続した際に、キャプチャ（ＣＡＰＴＣＨＡ）認証の入力が要求されるような状況で、クラウドソーシングサーバ６０からキャプチャの代わりに作業セットを受信する。

ユーザ８０が、キャプチャ認証の代わりに作業セットの作業を行うと、クラウドソーシングサーバ６０は作業セットの作業結果を検証（ボットか否かのテスト）し、検証結果を基にしてデータを収集できる。ここで、データは、人工知能学習用として活用されうる。また、オンラインサービスサーバ７０は、検証結果を基にして、ユーザ８０の特定のウェブページへの接続を、承認するか、または遮断することができる。

図３では、単にユーザと表現したが、これは各ユーザによって運用される、スマートフォン、タブレット、ＰＤＡ、ラップトップ、デスクトップ、サーバなどといったコンピュータ装置又は電気通信装置を意味する。以下でも、便宜上、ユーザと表現するが、これは、同様に、各ユーザによって運用されるコンピュータ装置又は電気通信装置を意味する。

図４は、本発明の一実施例による、ボット判別テストを活用したクラウドソーシング基盤のデータ収集システムの全体的なプロセスを説明するフローチャートである。

図４を参照すれば、段階Ｓ９１で、クラウドソーシングサーバ６０がスクリプトコードを提供するのであり、段階Ｓ９２で、オンラインサービスサーバ７０の管理者は、クラウドソーシングサーバ６０から受信したスクリプトコードをダウンロードして、ウィジェットをインストールする。上述したように、ここで、スクリプトコードは、オンラインサービスサーバ７０が提供する特定のウェブページのソースコードに挿入されて、該当ウェブページにウィジェットがインストールされるようにする。

即ち、オンラインサービスサーバ７０は、ユーザのボット判別テストが必要なウェブページのソースコードに、スクリプトコードを挿入することによって、該当ウェブページにウィジェットをインストールする。

段階Ｓ９３で、ユーザ８０がウェブページに接続すると、ウィジェットがローディングされ、段階Ｓ９４で、クラウドソーシングサーバ６０は、ウィジェットを介してユーザ８０に作業セットを割り当てる。

即ち、オンラインサービスサーバ７０は、ボット判別テストが必要なウェブページに接続するユーザ８０に、ウィジェット型の作業セットを露出させる。

例えば、オンラインサービスサーバ７０は、オンラインサービスサーバ７０が提供するサービスに会員登録を要請するか、又はログインするために、ＩＤ／パスワードの検索を要請する場合、該当ユーザ８０がボットか人間かを判別しなければならない。このような場合、オンラインサービスサーバ７０は、会員登録ページ又はＩＤ／パスワード検索ページにユーザが接続する際、該当ページにウィジェット型の作業セットが露出(表示)されるようにする。

このとき、クラウドソーシングサーバ６０は、ユーザ８０がウェブページに接続する際、又は特定のウェブページにインストールされたウィジェットがローディングされる際、ユーザ８０に作業セットを割り当ててユーザ８０の画面にウィジェットの形式で作業セットが表示されるようにする。

段階Ｓ９５で、ユーザ８０は作業セットの作業を行い、段階Ｓ９６で、ユーザ８０により行われた作業結果が、クラウドソーシングサーバ６０に提供される。

段階Ｓ９７で、クラウドソーシングサーバ６０は、提供された作業結果に対する検証を行う。即ち、クラウドソーシングサーバ６０は、作業セットに対する作業結果について、検証を行うことを通じて、ユーザ８０がボットか否かを区別する。

後述するように、作業セットは複数の作業で構成され、複数の作業のうちの少なくとも２つは、クラウドソーシングサーバ６０により、トラップ作業に設定されている。

従って、クラウドソーシングサーバ６０は、複数の作業のうちの、トラップ作業の成否を通じて、該当ユーザ８０がボットか否かを判別できる。

ユーザ８０がトラップ作業を成功できなければ、クラウドソーシングサーバ６０は、該当ユーザ８０が行った作業結果を全て削除する。

反面、ユーザ８０がトラップ作業に成功すると、段階Ｓ９８で、クラウドソーシングサーバ６０は、該当ユーザ８０が行った作業結果のうちの、トラップ作業結果を除いた作業結果を、データとして収集する。上述したように、ここでのデータは、人工知能学習用として活用できるデータである。

段階Ｓ９９で、クラウドソーシングサーバ６０は、検証結果をオンラインサービスサーバ７０に提供する。即ち、クラウドソーシングサーバ６０は、検証結果を通じてユーザ８０がボットか人間かを判別した後、これをオンラインサービスサーバ７０に通知する。

これにより、段階Ｓ１００にて、オンラインサービスサーバ７０は、検証結果を基にして、該当ユーザ８０の特定のウェブページに対する接続を承認するか、接続を遮断する。即ち、クラウドソーシングサーバ６０から、ユーザ８０が人間であると判別されると、オンラインサービスサーバ７０は、該当ユーザ８０がウェブページに接続できるようにして、以後の手順を進行できるようにする。反面、クラウドソーシングサーバ６０から、ユーザ８０がボットであると判別されると、オンラインサービスサーバ７０は、該当ユーザ８０がウェブページに接続できないようにして、以後の手順を進行できなくする。

段階Ｓ１０１で、オンラインサービスサーバ７０は、成功した作業を行ったユーザ８０に報償を提供する。

明確に図示していないが、以前に、オンラインサービスサーバ７０は、クラウドソーシングサーバ６０が提供するパートナーシップ企業専用のページ（又は専用ＡＰＩなど）を通じて、ユーザ８０の作業結果情報を照会する。即ち、専用ページでＤＢ７２に格納されたユーザ８０の固有キー値を入力して、該当ユーザ８０の作業結果情報と成功した作業に対する収益金情報を確認できる。

オンラインサービスサーバ７０は、確認された収益金のうちの所定金額について、該当作業を成功させたユーザ８０に報償として提供できる。ここで、報償は、積立金、ポイント、電子マネー、クーポンなどの、任意のマイレージの形式で提供できる。企業は、収益金の１００％をユーザ８０の報償のために活用することもできるのであり、運用関連のコストを差し引いた残りの金額を報償として活用できる。

段階Ｓ１０２で、オンラインサービスサーバ７０は、該当収益金の支払いをクラウドソーシングサーバ６０に要請する。その後、サービス提供業者２０は、要請された収益金に対する精算を行って、オンラインサービスサーバ７０を運用する企業が収益を得ることができるようにする。図４には、事後精算の形式で示されているが、実施例によっては、事前精算が可能である。

図５は、本発明の一実施例によるボット区別テストを活用したクラウドソーシング基盤のデータ収集方法の概略的なフローチャートであり、図６は、本発明の一実施例によるキャプチャの代わりにウィジェット型の作業セットが提供される状況を説明する例示図であり、図７は、本発明の一実施例によるトラップ作業を含む作業セットを説明する例示図であり、図８は、本発明の一実施例による各ユーザの作業成功による収益金の照会を説明する例示図である。

図５を参照すれば、段階Ｓ２１０で、クラウドソーシングサーバ６０がウィジェットのインストールのためのスクリプトコードを提供し、オンラインサービスサーバ７０は、スクリプトコードを用いて特定のウェブページにウィジェットをインストールする。これは図４を参照して上述した通りである。

段階Ｓ２２０で、クラウドソーシングサーバ６０は、特定のウェブページに接続を要請するか、又はウェブページにインストールされたウィジェットがローディングされる際、ユーザ８０に該当ユーザの固有キー値が付与された作業セットを割り当てる。従って、ユーザ８０に割り当てられた作業セットが、ウィジェットで表示され得るようにする。

この際、固有キー値は、作業セットが割り当てられたユーザ８０の識別情報と連係させてオンラインサービスサーバ７０のＤＢ７２に格納される。これにより、後でオンラインサービスサーバ７０がユーザ８０に報償を提供するとき、固有キー値を用いて該当ユーザの作業収益金を確認することができ、これと連係して格納された識別情報を通じて該当ユーザ８０に収益金のうちの一部を報償として提供できる。

クラウドソーシングサーバ６０は、特定ユーザ８０に作業セットを割り当てた後、所定時間が経過した後にも作業結果が受信されない場合、ユーザ８０に割り当てられた作業セットをキャンセルする。

具体的に、ユーザ８０が割り当てられた作業セットを所定時間（例えば、１０分）が経過しても完了しない場合、クラウドソーシングサーバ６０は、ユーザ８０に「作業時間が超過しました。」などのメッセージウィンドウを表示する。そして、所定時間が経過した後に、ユーザ８０に新たな作業セットを割り当て、ユーザ８０が新たな作業セットを行うことができるようにする。仮に、時間超過により作業セットが反復的にキャンセルされると、クラウドソーシングサーバ６０は、該当ユーザ８０にサービスを利用する上での制限をすることができる。例えば、所定期間、該当ウェブページに接続できないようにすることができる。

そして、クラウドソーシングサーバ６０は、キャンセルされた作業セットに対して、同一のウェブサイトに接続した他のユーザに該当作業セットを再び割り当てて他のユーザが該当作業セットを行えるようにする。

これは作業セットと関連するプロジェクトの処理遅延を防止するためである。即ち、ボトルネック現象を防止するためである。

図６を参照すれば、ユーザ８０の端末装置にログイン画面が提供される。ユーザ８０は、サービスに加入するために会員登録３００をクリック又はタッチするか、又はＩＤやパスワードを探すためにＩＤ・パスワード検索３００をクリック又はタッチする。すると、ユーザ８０の端末装置には、キャプチャ画面の代わりに作業画面４００がウィジェットの形式で表示される。

作業セットは、複数の作業で構成されている。図６（ａ）に示されるように、ユーザ８０が「次へ」をクリック又はタッチすると、次の作業画面に切り替わる。図６（ｂ）に示されるように、ユーザ８０が最終の作業まで全て行うと、「完了」をクリック又はタッチして作業を終了できるのであり、これに代えて、「作業をさらに行う」をクリック又はタッチして割り当てられた作業セット以外の追加的な作業を行えることになる。

また、図５を参照すれば、段階Ｓ２３０で、クラウドソーシングサーバ６０はユーザ８０が行った作業結果を受信する。

そして、段階Ｓ２４０で、クラウドソーシングサーバ６０は、提供された作業結果に対する検証を行ってユーザ８０がボットか否かを区別し、段階Ｓ２５０で、クラウドソーシングサーバ６０は検証結果を基にデータを収集する。

クラウドソーシングサーバ６０がユーザ８０に提供する作業セットは、ｎ個（ｎは５よりも大きい自然数）の作業を含んでいる。クラウドソーシングサーバ６０は、ｎ個の作業のうちのｍ個（ｍは２よりも大きい自然数）の作業を、正解が決まっているトラップ作業に予め設定してアビュージング（ａｂｕｓｉｎｇ）を防止できるようにする。即ち、クラウドソーシングサーバ６０は、トラップ作業を予め設定してユーザ８０が作業を正常に行うかを確認することによって、不良なユーザ８０が作業を大まかに行って利益だけを取ろうとするのを防止できる。

ここで、ｍ個のトラップ作業は、連続的に提供されないように、またｎ個のうちの最初の作業として露出されないようにクラウドソーシングサーバ６０により予め設定及び配置される。

仮に、ユーザ８０が、ｍ個のトラップ作業のうちの少なくとも１つを所定回数以上失敗すると、クラウドソーシングサーバ６０は、ユーザ８０をボットであると判別して、該当ユーザ８０が行った作業結果を全て削除する。即ち、該当ユーザ８０に割り当てられた作業セットについて、全体として失敗の処理を行う。

例えば、図６に示された作業画面４００が、トラップ作業として設定された場合、「今日、私が愛していたマウミがこの世を去ったの。マウミに会いたい」に対する感情の正解は、「悲しみ」に定められている。ところが、ユーザ８０が該当問題に対する返答として「悲しみ」ではなく、他の選択肢を所定回数以上（例えば、３回以上）選択すると、ユーザ８０は作業を失敗したものと判断される。ここで、作業は、質問に対する返答を選択する類型として図示されたが、作業の類型には制限がない。

図７を参照すれば、５個の作業が提供され、そのうちトラップ作業が２番及び４番に配置されている。ここで、トラップ作業は、２番及び５番に提供されることもありうるのであり、３番及び５番に提供されることもありうる。

例えば、ユーザ８０が、４番に配置されたトラップ作業を、所定回数以上間違った場合、ユーザ８０が以前に行った１番、２番、及び３番に対する作業結果は全て削除される。そして、クラウドソーシングサーバ６０は該当作業セットを失敗処理する。

反面、ユーザ８０がｍ個のトラップ作業を全てパス（通過）すると、クラウドソーシングサーバ８０は、ユーザ８０を人間であると判別して、該当ユーザ８０が行った（ｎ-ｍ）個の作業結果の検収を行わず、データとして収集する。

即ち、ユーザ８０が５個の作業のうちの２個のトラップ作業を全てパス（通過）すると、クラウドソーシングサーバ８０は、ユーザ８０を人間として判別し、該当ユーザ８０が行った３個の作業結果を抽出して、データとして収集する。この際、クラウドソーシングサーバ８０は、３個の作業結果に対する検収を行わず、直ちにデータとして活用する。ユーザ８０が作業を行う際に、トラップ作業まで全て通過したのであるため、ユーザ８０が、該当作業を正しく理解して作業を完了したものと判断されて、検収が不要である。

ここで、クラウドソーシングサーバ６０は、ユーザ８０が行った作業結果に対する検証を行って、該当ユーザ８０が人間として判別されると、該当ユーザ８０に、割り当てられた作業セットに対して、成功であると判断する。

そして、クラウドソーシングサーバ６０は、成功と判断した作業セットについてのデータＩＤ、作業セットに付与されたユーザ８０の固有キー値、及び、作業セットに対する作業単価情報を、ＤＢ６２に格納する。

一方、クラウドソーシングサーバ６０は、成否と関係なく、データＩＤ、作業セットに付与されたユーザ８０の固有キー値、及び、作業セットに関する作業単価情報を、ＤＢ６２に格納し、追加的に作業の成否を併記して格納することができる。

また、図５を参照すれば、段階Ｓ２６０で、クラウドソーシングサーバ６０は、検証結果をオンラインサービスサーバ７０に提供する。

即ち、クラウドソーシングサーバ６０は、ユーザ８０がボットであるか人間であるかを判別してオンラインサービスサーバ７０に通知する。オンラインサービスサーバ７０は、ユーザ８０がボットであると判別されると、該当ユーザ８０が特定のウェブページにアクセスできないようにして、オンラインサービスを利用できないようにする。反面、オンラインサービスサーバ７０は、ユーザ８０が人間であると判別されると、該当ユーザ８０が、特定のウェブページにアクセスできるようにして、オンラインサービスを利用できるようにする。

段階Ｓ２７０で、クラウドソーシングサーバ６０は、オンラインサービスサーバ７０から、作業に成功した作業セットに対する収益金の支払いを要請される。

上述したように、オンラインサービスサーバ７０は、複数のユーザ８０が成功した作業に関する情報を、クラウドソーシングサーバ６０が提供する専用ページを通じて確認することができる。

オンラインサービスサーバ７０は、専用ページに接続して、例えば時間順に記録された複数の作業結果情報を確認できる。

オンラインサービスサーバ７０は、ＤＢ７２内に格納されたユーザの固有キー値を用いて、個別ユーザの作業結果情報を確認できる。

図８を参照すれば、オンラインサービスサーバ７０は、特定ユーザ８０の固有キー値を専用ページに入力すると、該当ユーザ８０が成功した作業セットのデータ識別情報、該当作業セットに付与されたユーザ固有キー値、及び、該当作業セットの作業単価を確認できる。これにより、オンラインサービスサーバ７０は、特定ユーザ８０が成功した作業セットに対する収益金を確認できる。

オンラインサービスサーバ７０は、収益金のうちの一部の金額を該当ユーザ８０に報償として提供できる。オンラインサービスサーバ７０は、該当ユーザ８０の固有キー値と連係されて格納されたユーザ識別情報を確認し、該当ユーザ８０に、自らのオンラインサービス内で報償を提供できる。ここで、報償は、積立金、ポイント、電子マネー、クーポンなどの、任意のマイレージの形式で提供されうる。

その後、オンラインサービスサーバ７０は、該当収益金をクラウドソーシングサーバ６０に要請する。即ち、オンラインサービスサーバ７０は、ユーザ８０に収益金のうちの一部を報償として提供した後に、クラウドソーシングサーバ６０に該当収益金の支払いを要請できる。

その後、サービス提供業者２０は、要請された収益金に対する精算を、週毎に、又は月毎に行って、オンラインサービスサーバ７０を運用する企業が実際に収益を得ることができるようにする。

以上で前述した本発明の一実施例による、ボット判別テストを活用したクラウドソーシング基盤のデータ収集方法は、ハードウェアであるコンピュータと結合されて実行されるためにプログラム（又はアプリケーション）で実現されて媒体に格納されることができる。

前記前述したプログラムは、前記コンピュータがプログラムを読み込んで、プログラムとして具現された前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が、前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ＋＋、ＪＡＶＡ（登録商標）、Ｒｕｂｙ、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する、機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記各機能を、前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な、実行手順関連の制御コードを含むことができる。また、このようなコードは、前記各機能を前記コンピュータのプロセッサが実行させるのに必要な、追加の情報やメディアが、前記コンピュータの内部又は外部のメモリのどの位置（アドレス）にて参照されるべきかに対する、メモリ参照関連のコードを更に含むことができる。また、前記コンピュータのプロセッサが前記各機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある何れか他のコンピュータやサーバなどと通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて、遠隔にある何れか他のコンピュータやサーバなどと、どのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する、通信関連のコードを更に含むことができる。

前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短い瞬間の間だけデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに制限されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されうる。また、前記媒体は、ネットワークでもって接続されているコンピュータシステムに分散されて、分散方式で、コンピュータが読み取れるコードが格納されうる。

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるであろう。従って、以上で記述した実施例は、あらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

上記の実施形態の説明において、トラップ作業は、自然言語理解（発言の意図を判断する能力、特に言葉通りの意味ではない場合など）に関するものであったが、例えば、画像中の物品やアイテムの名称、用途、他のものとの境界などを選択するものなど、多様に設定しうる。また、トラップ作業は、作業セット中の他の作業と同種のもの（例えば、いずれも自然言語理解）であってもよく、また、既に作業者による作業の後で検収者により検証されることで、正解が確かめられている作業であっても良い。さらには、トラップ作業は、作業セット中の他の作業とは異なる様式にて、正解が明確なものとして意図的に設定されたものであっても良い。一方、トラップ作業を通過したか、または、失敗したかの評価は、図４のようにクラウドソーシングサーバ中などで自動的に行うことができるが、図２のように検収者が、作業の全体の品質を評価して、作業を差し戻すかどうかの判定を行うのと同時に、またはその前に行うこともできる。

１０ 依頼者
２０ サービス提供業者
３０ 大衆
３２ 作業者
３４ 検収者
６０ クラウドソーシングサーバ
７０ オンラインサービスサーバ
８０ ユーザ

Claims (7)

1. コンピュータにより行われるボット判別テストを活用したクラウドソーシング基盤のデータ収集方法であって、
   スクリプトコードを提供するのであって、前記スクリプトコードは、オンラインサービスサーバが提供する、所定のオンラインサービスのボット判別テストが必要な、特定のウェブページのソースコードに挿入されて、ウィジェットがインストールされるようにするスクリプトコード提供段階と、
   前記オンラインサービスのユーザが前記特定のウェブページに接続する際、又は、前記特定のウェブページにインストールされたウィジェットがローディングされる際、前記ユーザの固有キー値が付与された作業セットを、前記ユーザに割り当て、前記ウィジェットを介して前記作業セットを露出させ、前記ユーザの固有キー値を前記オンラインサービスサーバに伝達する作業セット割当段階と、
   前記ユーザにより行われた作業セットの作業結果を受信する段階と、
   前記作業結果に対する検証を行って、ユーザがボットか否かを判別する段階と、
   検証結果を基にして、前記ユーザが行った作業結果を人工知能学習のためのデータとして収集する段階と、
   前記検証結果を前記オンラインサービスサーバに伝達し、前記オンラインサービスサーバが、前記ユーザの前記特定のウェブページに対する接続を、承認するか否かについて決定できるようにする段階と、
   前記オンラインサービスサーバから、前記検証結果を基にして、収益金の要請を受ける段階とを含み、
   前記作業セットはｎ個（ｎは５よりも大きい自然数）の作業で構成され、前記ｎ個の作業のうちのｍ個（ｍは２よりも大きい自然数）の作業は、正解のあるトラップ作業として予め設定され、
   前記作業結果に対する検証を行って、ユーザがボットか否かを判別する段階は、
   前記ユーザが前記ｍ個のトラップ作業のうちの少なくとも１つを所定回数以上失敗すると、前記ユーザをボットであると判別する段階と、
   前記ユーザが前記ｍ個のトラップ作業を全て通過すると、前記ユーザを人間であると判別する段階とを含み、
   前記検証結果を基にしてデータを収集する段階は、
   前記ユーザがボットであると判別されると、前記ユーザが行った作業結果を全て削除する段階と、
   前記ユーザが人間であると判別されると、前記ユーザが行った（ｎ-ｍ）個の作業結果について、検収を行わずに人工知能学習のためのデータとして収集する段階と、
   を含む、ボット判別テストを活用したクラウドソーシング基盤のデータ収集方法。
2. 前記ユーザの固有キー値は、前記作業セットが割り当てられたユーザの識別情報と連係されて、前記オンラインサービスサーバにより格納されることを特徴とする請求項１に記載のボット判別テストを活用したクラウドソーシング基盤のデータ収集方法。
3. 前記ユーザの固有キー値は、前記作業セットに相応する前記データの識別情報、及び、前記作業セットに対する作業単価情報と連係されて、前記コンピュータにより格納されることを特徴とする請求項１に記載のボット判別テストを活用したクラウドソーシング基盤のデータ収集方法。
4. 前記オンラインサービスサーバから、前記検証結果を基にして、収益金の要請を受ける段階は、
   前記オンラインサービスサーバから、特定ユーザの識別情報に相応する特定ユーザの固有キー値を受信する段階と、
   前記オンラインサービスサーバに、前記ユーザの固有キー値に相応する作業セットと関連するデータの識別情報、及び前記ユーザの固有キー値に相応する作業セットと関連する作業単価情報を提供する段階と、
   を含むことを特徴とする請求項１に記載のボット判別テストを活用したクラウドソーシング基盤のデータ収集方法。
5. 前記収益金のうち前記オンラインサービスサーバにより決定された所定割合の金額は、前記オンラインサービスサーバにより、該当作業セットを行ったユーザに報償として提供されることを特徴とする請求項１に記載のボット判別テストを活用したクラウドソーシング基盤のデータ収集方法。
6. 特定ユーザに作業セットを割り当てた後、所定時間が経過した後にも作業結果が受信されない場合、前記ユーザに割り当てられた作業セットをキャンセルし、後で前記特定のウェブページに接続した他のユーザに該当作業セットを再び割り当てることを特徴とする請求項１に記載のボット判別テストを活用したクラウドソーシング基盤のデータ収集方法。
7. ハードウェアであるコンピュータと結合され、請求項１〜６の何れか一項に記載のボット判別テストを活用したクラウドソーシング基盤のデータ収集方法を実行させるためにコンピュータ読み取り可能な記録媒体に格納された、コンピュータプログラム。
   

Images