JP5735492B2 - オンライン広告キャンペーンの効果の測定 - Google Patents

Description

本発明は、広告キャンペーンの有効性を評価するためのシステムおよび方法に関し、特に、ソーシャルネットワーキングサービスのメンバーに向けられたオンライン広告キャンペーンの効果を評価する技術に関する。

多くの企業は、広告キャンペーンを通して彼らの製品を広告することに重要なリソース(資源)を使用している。典型的な広告キャンペーンは、広告目的を満足させるために、潜在的な客に送られる1または複数の広告メッセージを含む。広告キャンペーンの1つの目的は、広告されている商品の認知度を高めることである。広告キャンペーンの他の目的は、人が広告されている商品を買うよう納得させるために前記製品についての有利な見解を発することである場合がある。広告主は、テレビ、新聞、ラジオ、映画、広告板、インターネット等の様々な形態の媒体を用いて広告メッセージを伝える。より従来型の広告手段に比べて、インターネットの使用は、広告主達の間でますますポピュラーになっている。

典型的には、広告主は、彼らの広告( “ＡＤ（アド）”ともいう)の目的を達成する上での有効性を測定することに関心をもっている。広告キャンペーンの有効性を正確に測定することによって、広告主は、彼らがその広告から得る投資収益を把握することができ、必要に応じてマーケティング戦略を調整することができる。しかしながら、広告キャンペーンの有効性を正確に測定するためには、実際には実現困難な制御された環境を必要とする。これは、制御グループを開発する試みは選択バイアスを受けることになるからである。例えば、広告主は、1つの市ではローカルのテレビ番組で広告キャンペーンを展開し、他の市では広告を行わないで、電話調査で該2つの市における認知度の差を測定することがある。しかしながら、調査結果に影響する広告(アド)露出とは独立した、これらの市の人々の間における基本的な差が存在することがある。例えば、これらの市の人々の間における人口統計学的な差により、一方の市の人々は、他方の市の人々に比べて、ある製品に対してバイアスされていることがある。

これに対処するために、広告主は、典型的には、明確に定義された制御およびテスト集団を設定するための限定的な設定で、フォーカスグループまたはマーケティングテストを使用する。これらのフォーカスグループは、年齢、性、および、社会経済状態等の変数について、前記2つのグループをバランスさせるよう構成される場合がある。しかしながら、これらの環境の高度に制御された性質は人々が通常これらのキャンペーンに触れる現実世界の状況とほとんど類似点が無いため、この調査には限度がある。

従来型の広告の有効性は、広告キャンペーンの全体的な効果を検討することによって(例えば、前記キャンペーンの終わりに売り上げ増加を測定することによって)、ある程度測定可能である。同じ方法を使用して、オンライン広告の有効性を測定することが可能である。オンライン広告に固有の付加的な測定基準は、有効性を測定する伝統的な方法を補足するために使用可能である。例えば、オンライン広告の場合、広告について示された感想の数、広告をクリックした人の数、および/または、広告キャンペーン中に当該広告主のウエブサイトに訪問した人の数等を評価することができる。しかしながら、広告キャンペーンの有効性を測定するための伝統的な方法およびオンライン固有の方法には、限界がある。伝統的な広告キャンペーンまたはオンライン広告キャンペーンの前後における売り上げを単純に測定するのは、高い信頼度を持つ有効性指標を提供するものではない。なぜならば、この方法は、売り上げに影響した可能性がある付帯的な要素を説明できないからである。オンライン広告の有効性に対してより多くの洞察を提供しながらも、既存のオンラインに固有の測定規準は、キャンペーンの有効性の表示のみを提供するので、依然として十分なものではない。実際の有効性は推測のみされ得る。例えば、メッセージを伝えることに高い有効性を有するオンラインアドは、それにも関わらず、非有効なＡＤ（アド）と同じ数のクリックを記録することがある。従って、オンライン広告の有効性を測定する既存の伝統的な測定基準およびオンラインに固有の測定規準は、実際の有効性を判定することに関して、改善の余地がある。

本発明の実施の形態は、オンラインシステム内において、広告主に対して、オンライン広告キャンペーンおよび技術の有効性を測定するための客観的な基礎を提供する。前記実施の形態により、広告は、前記システムの特定組のメンバーに対して選択的にターゲット設定されおよび/または提供され、他の組のメンバーには差し控えられ、その他の、追加的な組のメンバーのためにカスタマイズされ得る。そして、特定のキャンペーン、広告方法または技術の有効性指標を求めるために比較、対比および分析されるべき組からのフィードバックを求めることができる。メンバーは前記オンラインシステムにアクセスし、前記オンラインシステムは、前記メンバーに対する提示候補となる広告を選択する。一実施の形態において、これらの広告は、人口統計学的規準、メンバープロフィールにおける該メンバーについての情報、または、前記オンラインシステムの内または外における前記メンバーの挙動活動に基づいて、前記メンバーと関連付けられる。

広告キャンペーンは、典型的には、特定の製品またはサービスについての1または複数の広告で構成される。オンラインシステムのユーザは、メンバーの組に入れられる。ある組における会員としての身分(資格)は、前記メンバーが特定の広告キャンペーンからどの広告を見るのかを決定する。前記メンバーがサンプル組と称する所定のメンバー組に属する場合、該メンバーには、前記広告キャンペーンの広告が提示される。一方、前記メンバーが制御組と称するサンプル組とは異なるメンバー組に属する場合、該メンバーには、広告が提示されない。これにより、少なくとも2つのメンバーの組、すなわち、キャンペーンの広告が提示される前記サンプル組、および、広告の提示が差し控えられる前記制御組が提供される。このように、前記2つのメンバーの組間の唯一の識別要素は、前記キャンペーンの広告の提示であるので、前記広告が好ましい効果を有するか否かを分析するために、前記2つのメンバーの組が比較され得る。他の実施の形態において、特定の広告キャンペーンのどの特徴(呼び物)が最も効果的であるのかについての追加的な情報を提供するために、1または複数の追加的なメンバーの組が、設定され、標準的な広告キャンペーンの変形が提示される。メンバーのサンプルサブセット(サンプル組)は、各前記組から選択され、前記広告キャンペーンまたはその特定の呼び物(目玉)についての有効性を測定するために評価される。

一実施の形態において、メンバーは、彼らのメンバーIDに基づいて、特定の組に割り当てられる。一実施の形態において、この割り当ては、前記メンバーに関連したメンバーIDに基づいてハッシュ値を算出し、該ハッシュ値に基づいてメンバーを前記組のうちの1つの組に割り当てることからなる。前記ハッシュ関数から出力されたハッシュ値は、各範囲がメンバーのサブセットに対応する複数の範囲に分割されることができ、これにより、多数の異なるメンバーのサンプル組、制御組および追加的な組についての能力が実現される。前記メンバーの様々な組は、該様々な組に提供される複数の異なる広告または該広告の組合せの有効性を測定するために使用され得る。

2または複数のメンバーの組に選択的に広告が提示(表示)されると、前記広告の有効性が評価され得る。一実施の形態において、前記広告の有効性は、前記サンプル組に属する1または複数のメンバーに前記広告の有効性を尋ねる1または複数の質問を送ることによって評価される。前記メンバーから与えられる回答は、前記広告の有効性を評価するために使用される。ある特定の組のメンバーに提示される質問は、広告主または広告される製品に対する前記メンバーの認知度、印象について尋ねるものであってよく、または、広告主が特定の広告キャンペーンの有効性を判定するのに適切であると信じる任意の情報を尋ねるものであってよい。前記広告キャンペーンまたはそのうちのある特定の呼び物の有効性を判定するために、メンバーの回答について分析がなされる。

この発明の概要部および以下の詳細説明に記載された特徴および利点が、本発明の特徴および利点のすべてではない。多くの他の特徴および利点は、図面、詳細な説明および特許請求の範囲から、当業者に明白であろう。

本発明の一実施の形態に従って、ウェブサイトのメンバーからの情報を使用して、広告の効果の測定を可能にするシステムのアーキテクチャを示す図。

メンバーに表示されるオンライン広告を示す図。

本発明の一実施の形態に従って、メンバーに対してポール質問を提示するグラフィカルユーザインターフェースを示す図。

本発明の一実施の形態に従って、広告がメンバーに表示されるか、または、表示が差し控えられるかを決定するための全体的な処理のフローチャート図。

ある1つのメンバーIDが特定のメンバーID組に属しているかを判定するためにハッシュ関数が使用される例を示す図。

本発明の一実施の形態に従って、メンバーのサンプル組についてポールを実行し、ポール結果を分析して、広告キャンペーンの有効性指標を求めるための処理のフローチャート図。

広告キャンペーンの有効性指標を分析した結果を示す図。

図は、例示目的でのみ本発明の実施の形態を図示するものである。当業者に容易に理解されるように、以下の説明から、ここに例示する構成および方法の他の実施の形態が本発明の原理を逸脱することなく使用可能である。

広告キャンペーンの影響測定
オンラインシステムにおけるオンライン広告キャンペーンは、広告を受けるよう選択された一組の人々に該広告を表示する。一実施の形態において、オンラインシステムのメンバーは該オンラインシステムに登録し、これにより、前記システムは、後の訪問時に、前記メンバーを確実に特定できる。例えば、前記メンバーは、ユーザ名およびパスワードを使用してアカウント登録を行うことができる。他の実施の形態において、メンバーは前記システムに登録する必要はないが、該システムは、該システムに対する該メンバーのアクセスパターンを分析するなど、後に該メンバーを確実に特定するための他の手段を使用する。

両前記実施の形態において、前記オンラインシステムは、メンバープロフィールの一部として該メンバーに関する情報を記憶し、該メンバーについての情報は、該メンバーを選択的に様々な広告キャンペーンのターゲットとして設定するために使用可能である。前記プロフィールは、性、年齢、地理的な領域、明記された興味または好み、職業的、個人的または教育的な所属、または、収入を含む該メンバーの人口統計学的データとしての情報を記憶することができる。前記プロフィールは、前記オンラインシステムの内部および外部におけるメンバーの活動に関する歴史的な情報を記憶することもできる。前記プロフィールは、前記メンバーが該プロフィール内の情報を編集し変更することができる形態のような明示的なもの、または、該メンバーの活動について前記オンラインシステムによって累積された情報のような黙示的なものであってよい。これらの活動は、どのページ、記事、ツール、サービス等の、前記オンラインシステムに対する前記メンバーのアクセスパターンを含む。追跡される活動の種類は、オンラインシステムのシステムに応じて決まる。

前記オンラインシステムは、さらに、メンバーIDを生成し、例えば、姓名および生年月日等の、前記メンバーを特定する属性を使用して前記メンバーの情報を特定するためのメカニズムを有していてよい。

オンラインシステムの一例は、メンバーの人口統計学的情報、および/または、メンバーのオンライン活動についての情報を含むメンバープロフィール情報を記憶するソーシャルネットワーキングシステムである。オンラインシステムの他の例は、ユーザのアカウント情報および使用履歴(例えば、該ユーザによって購入された製品、批評された製品、見られた製品)を記憶するeコマースである。オンラインシステムの他の例は、ユーザがプロフィールならびにコメントおよび投稿の履歴を有するフォーラムまたはブログサイトである。他の実施の形態において、前記オンラインシステムは、各メンバー毎のアクセスまたはユーザプロフィールを維持するが、メンバーは明示的なアカウントを作成しない。例えば、ニュースウェブサイトのようなオンラインシステムは、各メンバー毎のアクセス情報を記憶するが、メンバーがアカウントを作成することを要求しない。

ある実施の形態において、広告は、メンバーの属性に基づいて、1組のメンバーに対して向けられて(ターゲット設定されて)良い。これらの属性は、記述的なもの、または、行動に関するものであってよい。例えば、記述的な属性は、メンバーに関する人口統計学的情報、または、メンバーのプロフィールに含まれる該メンバーに関する他の情報を含む。行動属性は、前記オンラインシステムの内または外での行動活動を含む。広告キャンペーンの有効性の測定は、広告キャンペーンを評価しその有効性を向上させることを望む広告主にとって望ましい。広告キャンペーンの有効性を評価するための方法およびシステムは、該キャンペーンによる広告が表示されたメンバーのサンプル組を該キャンペーンによる広告が表示されないメンバーの制御組と比較する。これら2組のメンバーの他のすべての要素は、前記広告以外のものの影響を軽減するために、相互に一定に保たれる。従って、誰が前記広告を見ることができるのか、誰が前記広告を見ないようにされるのかを確かにするために、精密な制御が行われる。他の実施の形態において、追加的なメンバーの組が、設定され、前記標準的な広告キャンペーンの変形が提示されてよい。例えば、追加的な1組のメンバーが、前記広告キャンペーンについて前記システムの他のメンバーに関連した、または、該他のメンバーによって生成された情報を含む広告、または、前記キャンペーンの広告のサブセットのみ等を、異なる順序で異なる時間長にわたって、受け取ってよい。これらの追加的なメンバー組は、広告主に対して、特定の広告キャンペーンのどの技術または特徴(呼び物)が最も効果的であるかについての付加的な情報を提供することができる。

前記2組以上のメンバーの比較は、前記メンバーに対して、前記広告キャンペーンの有効性を測定することを目的とした質問を提示することによって行われる。例えば、前記広告が製品に関する特定の事実を提示すると、1組のポール（poll：世論調査）質問によって前記特定の事実に対する前記メンバーの認知度について問い合わせることができる。これは、前記広告が製品の認知度をどの程度効果的に上昇させているのかを測定するために前記広告を評価することを可能にする。変更例として、前記質問は、例えば、前記メンバーの購入意志またはブランド好感度のような、前記広告キャンペーンの有効性を示す他の要素について尋ねることができる。従って、有効性についての1または複数の測定値(指標)によって、広告キャンペーンまたはその技術もしくは特徴(呼び物)が公衆の購入意志またはブランド好感度を上昇させているか否かを判定することができる。

広告または広告キャンペーンの有効性指標を定量化する能力により、広告主は、どの広告を促進すべきか、どの広告を変更しまたは除去すべきかを決定することによって、彼らの広告キャンペーンを改善することができる。有効性指標を使用して、前記広告主は、最も効果的な広告および最も効果的ではない広告、ならびに、広告キャンペーンの様々異なる要素の効果的な組合せを特定することができる。さらに、広告キャンペーンに属する広告がメンバーに表示される順、または、広告が最適な有効性を得るために表示されるべき時間長を含む様々な他の要素が、改善のために分析され得る。1つの広告を表示する効果は、広告の組合せを同じ1組のメンバーに表示する効果と比較され得る。例えば、ある1つの広告キャンペーンが3つの異なる広告を有する場合、一度にただ1つの広告を表示する効果をメンバーに2つまたは3つ以上の広告を表示する効果と比較することができる。これにより、広告主は、彼らの広告資源を効果的に使用することができる。
システムアーキテキチャー

図1は、広告キャンペーンの効果の測定を可能にするシステム環境を示す高レベルブロック図である。前記システム環境は、1または複数のクライアント装置110と、ネットワーク115と、本発明に従って広告の効果を測定することを可能にするよう構成されたオンラインシステム100とからなる。変更例として、異なるおよび／または追加的なモジュールが前記システムに含まれてもよい。一実施の形態において、前記オンラインシステム100はソーシャルネットワーキングである。他の実施の形態において、前記オンラインシステム100はeコマースシステムである。

前記クライアント装置110は、メンバー入力を受信し(受け取り)、ネットワーク115を介してデータを送受信することができる。前記クライアント装置110は、前記システム100とインタラクトして該システム100によって提供される機能を利用するために、前記システム100のメンバーによって使用され得る。前記クライアント装置110は、広告キャンペーンを定義し前記システム100に該広告キャンペーンの属性を提供するために、広告主によっても使用可能である。前記クライアント装置110の例としては、デスクトップコンピュータ、ラップトップコンピュータ、スマートホン、パーソナルディジタルアシスタント(PDA)、または、コンピューティング機能およびデータ通信能力を含むその他の装置を含む。前記クライアント装置110は、有線および無線の通信システムの両方を使用して、ローカルエリアおよび／またはワイドエリアネットワークの組合せからなるネットワークを含む(しかし、これらに限らない)ネットワーク115を介して通信を行うよう構成されている。

図1は、前記システム100によって使用されるコンポーネントモジュールを示す。この明細書において、"モジュール"という用語は、指定された機能を提供するためのコンピューティング論理を意味する。モジュールは、ハードウエアおよびソフトウエアの組合せで実現される。なお、ここで説明されるモジュールは本発明の一実施の形態を示すものであり、他の実施の形態は他のモジュールを含んでいてよい。さらに、他の実施の形態は、ここで説明するモジュールを欠いていてよく、および／または、ここで説明する機能を前記複数のモジュール間で異なる態様で分配してもよい。さらに、2つ以上のモジュールに起因する機能は、1つのモジュールに組み込まれていてよい。モジュールのソフトウエア的特徴は、ハードウエア要素を制御する独立型プログラムとして実現されることができるが、例えば、より大きなプログラムの一部として、複数の異なるプログラムとして、または、1または複数の静的または動的にリンクされたライブラリとして、他の手段によって実現されることができる。前記モジュールのソフトウエア的特徴は、コンピュータによって読み取り可能な記憶媒体（または、ハードディスク）に記憶され、メモリに（コンピュータによって読み取り可能な記憶媒体にも）ロードされ、前記システム100の一部として含まれた1または複数のプロセッサによって実行され、これにより、ここで説明する機能およびステップを実行するためにハードウエア的特徴を制御する。さらに、前記システム100は、コンピュータによって読み取り可能な記憶媒体上で動作するデータベースである様々な記憶装置を使用する。このような記憶装置は、基本的なハードウエア要素および関連するデータベース管理システムの両方を含む。以下の説明で明らかになるように、本発明を実施するためには、ここで説明する様々なデータ処理は、前記システム100のようなコンピュータシステムの処理を必ず必要とする程度に十分に複雑であり時間がかかる。

前記システム100のモジュールは、広告キャンペーン記憶部120と、メンバープロフィール記憶部125と、広告セレクタ130と、広告キュー記憶部135、広告サーバ140と、イベントログ150と、ポール(poll)マネージャ155と、ポール結果記憶部160と、ポールアナライザ（世論調査結果分析器）165とを含む。他の実施の形態において、前記システム100は、様々なアプリケーションのために上記のものに対して追加的な、または、より少ない、または、異なるモジュールを含んでいてよい。前記システムの詳細を曖昧にしないために、ネットワークインターフェース、セキュリティメカニズム、ロードバランサー、フェイルオーバサーバ、管理およびネットワーク処理コンソール等の通常の構成要素は図示されていない。

前記広告キャンペーン記憶部120は、広告キャンペーンを記述するのに適したフィールドを有する構造を記憶する。広告キャンペーン構造は、広告主、広告キャンペーン、1組の1または複数の広告、前記広告の効果を測定するための1組の1または複数の質問、前記メンバーが前記サンプル組、制御組および任意の追加的な組に含まれるためのパラメータ、および、前記質問に対する所望の数の回答を特定する情報を記憶する。広告または広告キャンペーンの効果を測定するための質問は、前記システム100のメンバーをターゲットとしている。広告の効果を測定するための質問の一例は、広告されている製品についてのメンバーの認知度について尋ねる。前記広告キャンペーン情報は、その広告のターゲットとなるメンバーを選択するための規準を含む該キャンペーンの範囲を特定する。一実施の形態において、メンバーを選択するための規準は、前記キャンペーンに関連した特定の広告に関連づけられてよく、これにより、同一のキャンペーンについて異なる広告を選択するための異なる規準が可能になる。広告は、前記メンバープロフィール記憶部に記憶されている性、年齢、地域、明示された興味または好み、職業的、個人的もしくは教育的な所属、収入等の人口統計学的データ等のメンバーの属性に基づいて、前記メンバーにターゲット設定されてよい。前記所属は、ソーシャルネットワーク内の特定のネットワークにおける会員としての身分または資格のような、オンラインシステム内のグループ、リスト、ネットワーク、フォーラムにおける会員としての資格を含む。例えば、広告は、30歳より若く、サンフランシスコ湾エリアに住んでおり、特定のカレッジまたは総合大学のリストに記載されているものの卒業生であり、前記オンラインシステムのユーザグループのメンバーである女性をターゲットとしてよい。前記規準は、さらに、メンバーの前記オンラインシステムの使用頻度、前記システム上での時間長、および、前記システムまたは該システム外の目的地の特徴(呼び物)へのアクセスまたは使用等の、前記オンラインシステム内または外(またはその両方)における当該メンバーの挙動に関する属性を指定することもできる。例えば、広告は、過去1カ月の間に週に少なくとも5回前記システムを使用し、且つ、最近3日以内に贈答アプリケーションを使用したメンバーをターゲットとしてよい。前記ターゲット設定用規準は、前記オンラインシステムに利用可能なデータからなってよく、任意の態様で組み合わせてよい。

広告は、広告キャンペーンの有効性を決めるパラメータ、例えば、(a)前記広告キャンペーンに関連した広告が前記メンバーに表示される期間、(b) 広告が表示される順序、または、(c)前記キャンペーンが異なる広告が複数の異なる場所に表示されることを可能にするまたは必要とする場合、該広告の場所のようなパラメータに関連付けられることができる。広告キャンペーンにおける変更は、前記キャンペーンを構成する広告に関連付けられたパラメータを変更する効果を分析することによって検討され得る。例えば、前記広告キャンペーンについて、メンバーに対する広告の最適な表示期間が検討され得る。

前記メンバープロフィール記憶部125は、メンバーのプロフィールを記憶する。前記システム100内のユーザーアカウントは、メンバーが該システムにログインして該システムによって提供される特定の機能を使用することを可能にする。メンバーは、例えば、性、年齢、地理的場所、教育または職業的な所属、グループ会員としての身分、興味、活動、収入、国籍、人種等、メンバーに関連した人口統計学的およびその他の情報を含むプロフィールを設定してよい。

いずれかのメンバーが、1または複数の広告キャンペーンの有効性の分析における参加者として選択されてよい。前記広告セレクタ130は、各メンバーに提示(表示)すべき広告を決定する。１つの広告が、広告キャンペーンおよび／または前記オンラインシステムによって指定される規準に従って、１メンバーに関連付けられてよい。１メンバーについて選択された広告は、広告キュー（queue）記憶部135内に記憶される。該広告キュー記憶部135は、各メンバーに関連付けられた広告にメンバーをマッピングする構造を記憶する。一般的に、各メンバーは、固有の広告キューに関連付けられる。各広告は、さらに、前記広告キャンペーン記憶部120に記憶された1または複数の広告キャンペーンにマッピングされることができる。一実施の形態において、前記マッピングを示す構造は、前記キューの要素が前記メンバーに表示すべき広告であるよう、各メンバーに対応するキュー構造からなる。

前記広告サーバ140は、ある特定のメンバーに関連した広告キューを処理し、該キューにある広告が特定の時に前記メンバーに表示されるべき（これにより、前記メンバーを実験組とも言うサンプル組に含めるべき）か、前記メンバーに表示されるのを控えるべき(これにより前記メンバーを制御セットに含めるべき)かを判定する。前記広告を制御組に提示することを差し控えることにより、前記広告が表示されるメンバーと前記広告が表示されないメンバーとの比較が可能になる。前記広告サーバ140がメンバーに広告を表示すべきと判定すると、前記広告は、表示用に構成され、前記メンバーに関連するクライアント装置110に送られる。要するに、前記広告セレクタ130がどのメンバーが広告キャンペーンのためのキャンペーン規準を満たすかを判定し、これにより、前記広告を見る資格を与える場合、前記広告サーバ140は、ある特定のメンバーが前記サンプル組にあり実際に前記広告が表示されるのか、または、前記制御組にあり前記広告が表示されないのかを判定する。

一般的に、前記広告サーバ140は、前記メンバーに表示される広告のある特定の特性を変更することによって、多数の実験組を生成することができる。一般的に、キャンペーンのサンプル組は、サンプル組内のメンバーに表示される広告の選択、表示の順序、表示の態様(例えば、ページの場所、サイズ等)、またはその他の技術もしくは変形に基づいて、変化し得る。例えば、前記広告キャンペーンのいずれの広告も表示されない1つの制御組が生成可能であり、第1のサンプル組が3つの指定された広告A,B,Cに触れることが可能であり、第2のサンプル組には広告A,Cのみが表示可能であり、第3のサンプル組には逆順序C,B,Aで上記広告が表示可能である。前記広告の他の特性、例えば、前記広告を表示するために使用されるブラウザまたは任意のユーザインターフェースに表示されるウェブページ内における前記広告の位置、または、前記広告が前記メンバーに表示される期間を変更することによって、他の実験組が生成可能である。前記制御組および前記実験組は、互いに独立した状態に維持される。前記広告の複数のバージョンの効果を評価するために使用される質問または調査に基づく比較は、前記広告の1つのバージョンの効果を前記制御組と比較すること、または、前記広告の2つの異なるバージョンの効果を比較するために使用可能である。

前記広告サーバ140の行動は、前記イベントロガー145によってイベントログ150に記録(ログ)される。例えば、広告がメンバーに表示される毎に、該イベントが前記イベントロガー145によってイベントログ150に記録される。同様に、前記広告サーバ140によって広告が前記メンバーに提示されることが差し控えられる場合、該イベントが、前記イベントロガー145によってイベントログ150に記録される。追加的なユーザ組に対するキャンペーンにおける変更も、前記広告サーバ140によって記録される。前記イベントロガーは、さらに、前記システム100に発生するその他の様々なイベント、例えば、情報をリクエストするメンバーから受け取ったメッセージ、前記システム100に対してログインまたしログアウトするメンバー、彼らのプロフィールをアップデートするメンバー、または、記録目的で重要と考えられる同様なイベントを記録してもよい。前記広告サーバ140が特定の特性に基づく広告を表示する場合、前記イベントロガーは、広告が表示される時にテストされている特性を記録する。前記イベントログ150は、情報のバッチ処理を可能な構造を使用して記録される情報を記憶する。前記イベントログのバッチ処理は、処理のために役立つのに十分な数のログを蓄積する間隔で定期的に実行されてよい。ログは、イベントに関連したメンバーの特定を可能にする情報を記憶し、もし関連性がある場合、前記イベントに関連した広告または広告キャンペーンの特定を可能にする。この情報は、ポストプロセッサがメンバーIDの設定された会員資格、および、必要に応じて後に前記メンバーIDが関連付けられる実験組を抽出することを可能にする。

前記ポールマネージャ155は、メンバーに対する広告の提示、メンバーに対する広告の提示の差し控えに関連するイベント、および、各組のメンバーについて行われる他の様々なイベントを処理する。さらに、前記ポールマネージャ155は、各組のメンバーについてどのような動作が行われたかを特定する。前記ポールマネージャは、上記情報を使用して、広告キャンペーンに関連した質問が送られるメンバー組を決定する。前記ポールマネージャによって前記メンバーに送られる質問は、当該広告キャンペーンによって広告される特定の製品の認知度を測定することによって前記広告の効果について尋ねるものであってよい。メンバーが前記質問に対する回答を提供すると、前記ポールマネージャは、その結果を前記ポール結果記憶部160に記憶する。前記ポール結果記憶部160に記憶された情報は、メンバーに対する質問を特定する情報、前記メンバーによって提供された回答、前記質問を特定する情報、関連した広告キャンペーンおよび/またはその関連部分を特定する情報を含む。前記ポール結果記憶部160の構造は、ポール結果の分析、例えば、前記ポール結果の分析に関連したメトリクス（測定値）を算出するための統計的分析を可能にする。前記ポールアナライザは、広告キャンペーン(または、その部分、技術および/または特徴(呼び物))の効果を定量化するために、前記ポールアナライザによって収集されたポール結果を分析する。前記ポールの分析は、前記クライアント装置110に表示されるよう構成され、前記システム100のメンバーまたは広告主によって見られることができる。

ある実施の形態においては、図1の前記システム100の一部として示されている様々なモジュールは、情報を交換するために相互に通信する個々のコンピュータ上で動作している複数の異なるシステムの一部として利用可能である。例えば、前記ポールマネージャ155、ポール結果記憶部160およびポールアナライザ165は、ポールの実行および分析を専門的に行う第三者によって維持されるコンピュータ上で実行され、一方、その他のモジュールは、広告を表示するウェブサイトによって実行される。一実施の形態において、前記メンバープロフィール記憶部は、例えばソーシャルネットワーク等のメンバーに関連した人口統計学的情報およびプロフィール情報を収集するシステム内で利用可能であり、一方、前記広告キャンペーン記憶部120、広告セレクタ130、広告キュー記憶部135および広告セレクタ140のモジュールは、広告を管理し表示するウェブサイト上で実行される。一実施の形態において、前記ソーシャルネットワークのメンバーは前記広告を表示しているウェブサイトのメンバーでもあり、または、少なくとも、前記2つのシステムのメンバー間で重複がある。他の実施の形態において、広告は、図1に示したモジュールを実行するシステム100とは異なるウェブサイト上で表示される。前記広告を表示するウェブサイトは、前記システム100に該ウェブサイトに現在ログインしているメンバーを特定する情報を提供してよく、前記システム100は、前記メンバーに表示すべき1または複数の広告を特定する情報を返す。

図2は、前記オンラインシステム100の枠内においてメンバーに表示される広告の一例を示す。例えば、前記メンバーが、前記システム100にアクセスし、そこで前記広告が表示される該メンバーのアカウントまたはホームページのような1または複数の特徴項目を使用していると仮定する。前記広告は、広告主が普及促進しようとするブランド名210に言及してよい。さらに、前記広告は、テキスト220の形態で情報を表示してよい。前記テキスト220または画像230は、広告されている前記ブランドに関する追加的な情報を提供するウェブサイトへのハイパーリンクを含んでいてよい。さらに、前記広告は、当該広告キャンペーンに関する前記システムの他のメンバーに関連した情報、例えば、前記広告についての前記メンバーのコメント、または、前記広告の対象である製品/サービスを含んでいてよい。前記広告は、前記メンバーに表示されるユーザインターフェース、例えば、インターネットを探索するために使用されるブラウザ内におかれる。前記広告が前記メンバーに表示されことが阻止される場合、前記広告によって占められたであろうユーザインターフェース上のスペースは、他の目的、例えば、前記システム100に関する情報を表示するため、または、前記メンバーに表示可能な異なる広告を表示するために使用される。

図3は、メンバーに対してポール用の質問(ポール質問)310を表示するグラフィカルユーザインターフェースを示す図である。前記ユーザインターフェースのポール質問310を表示する部分は、当該詳細内容320をより明確に示すために拡大されている。前記ポール質問310は、広告主が含めたい広告キャンペーンの特徴(呼び物)部分に関するフィードバック(反応)、例えば、広告されている製品/サービスに対する前記メンバーの認知度を得ようとするものである。例えば、前記ポール質問310は、特定のウェブサイトの期間を前記メンバーが認知しているかを尋ねる。前記ウェブサイトの期間を表示する広告が前記メンバーによって多数回見られた場合には、前記メンバーが前記ポール質問310に対して正しい回答を知っている可能性は高い。前記ウェブサイトの期間を表示している広告の前記メンバーに対する表示が差し控えられた(許可されなかった)場合、前記メンバーは、正しい答えを知っている可能性が低い。前記ポール質問310に対する回答候補は、前記メンバーが該回答候補のうちの1つを選択するのを可能にするラジオボタン330として表示される。他の実施の形態によると、前記メンバーがドロップダウンリストを使用して回答を選択すること、または、テキストボックスを使用して回答を入力することを可能にすることができる。

図4は、広告がメンバーに表示されるか、または、表示が阻止されたかを決定するための全体的な処理のフローチャート図である。前記広告セレクタ130は、各メンバー毎に表示すべき広告を算出し、該広告を前記広告キュー記憶部135に記憶する。初期状態として、前記メンバーは、既に前記システム100にアクセスしており、前記広告が掲載される該メンバーのホームページのような前記システムの目玉または部分を使用している。どの時点においても、広告が選択されるべき多数の異なるメンバーが存在する。従って、前記広告サーバ140は、ステップ400においてメンバーを選択し、さらに、ステップ410において該メンバーの広告キューから広告を選択する。前記広告サーバ140は、ステップ420において、前記広告キャンペーン記憶部120に記憶された広告の情報をチェックし、前記広告が前記メンバーの認知度に対する影響を測定するためにテストされているのかを判定する。前記広告が考査されていない場合、該広告はステップ460において前記メンバーに表示される。換言すれば、評価されていない広告は、関連する規準を満たすすべてのメンバーに表示される。

前記広告がテストされている場合、前記広告サーバ140は、ステップ430において、前記メンバーが前記メンバーに対する前記広告の表示が差し控えられるべき制御組にあるのか、または、前記メンバーが前記メンバーに対して前記広告が表示されるサンプル組にあるのかを判定する。この実施の形態において、前記広告サーバ140は、前記メンバーのIDまたはメンバーを特定可能な他の情報、および、広告キャンペーンIDに基づいてハッシュ値を算出する。前記ハッシュ関数の出力は、ステップ450において、前記広告が前記メンバーに対して表示されないようにすべきか、または、ステップ460において前記メンバーに表示されるべきかを判定する。前記ハッシュ関数は、前記メンバーについて前もって算出され前記メンバープロフィールに記憶されることができ、または、広告が前記メンバーに表示されるべき時毎に算出されることができる。この処理は、特定のキャンペーンの複数の異なる変形を受ける追加的なユーザの組に適用されることができる。

図5は、ある1つのメンバーIDが特定のメンバーID組に属しているかを判定するためにハッシュ関数がどのように使用され得るかを示す図である。前記ID組は、前記システム100の前記メンバープロフィール記憶部125に記録されているすべてのメンバーIDの組である。例えば、前記組500は、100万のメンバーを含むことができる。ハッシュ関数は、各メンバーID毎のハッシュ値を作成するために、メンバーIDおよび広告キャンペーンIDを、軸510によって示される範囲の数値にマッピングする。前記広告キャンペーンに関連した組510(例えば、サンプル組)に属するすべてのメンバーIDは、前記軸510に沿う範囲Aによって示される値範囲に対応する。同様に、前記広告キャンペーンマップに関連した組B(例えば、制御組)に属するすべてのメンバーIDは、前記軸510に沿う範囲Bによって示される値範囲に対応する。従って、メンバーIDおよび広告キャンペーンIDが与えられると、前記ハッシュ関数出力が算出される。前記ハッシュ関数出力が前記範囲Aに収まる場合、前記メンバーIDは前記組Aに属し、前記ハッシュ関数出力が前記範囲Bに収まる場合、前記メンバーIDは前記組Bに属する。同様に、メンバーIDの他の組は、ハッシュ関数出力値の他の範囲にマッピングされ、更なるメンバー組を設定する。ハッシュ関数の一実施例は、例えば、md5(x)%Kであるモジュロ演算子と組み合わされるMD5ハッシュングアルゴリズムを使用する。ここで、md5はMD5ハッシュ関数であり、xは前記MD5ハッシュ関数に対する入力であり、Kは所定の定数である。各範囲の広がりは、各範囲に収まるメンバーの数を制御するために前記広告主またはシステム管理者によって設定可能である。

図5に説明したように前記ハッシュ関数を使用して算出されたメンバーIDの組は、様々な方法で広告の効果を調査するために使用可能なメンバーIDの組を算出するために使用可能である。例えば、メンバーIDの1つの組は特定の広告およびメンバーにマッピングされ、前記組に属するメンバーIDには前記特定の広告のみが表示される。変更例として、広告または他の広告技術の組合せを表示する効果を調査するために、1つの組に属するメンバーには、2つ以上の種類の広告が表示されてもよい。広告の表示が許可されない1組のメンバーIDが、該組内のメンバーIDを有するメンバーが選択されたアドまたはキャンペーン全体を見ることがないよう、選択されてよい。

図1に示すように、広告表示および表示阻止に関するデータは、イベントログ150に収集される。図6は、本発明の一実施の形態に従って、メンバーのサンプル組についてポールを実行し、ポール結果を分析して、広告キャンペーンの有効性指標を求めるための処理のフローチャート図である。前記ポール(poll)マネージャ155は、ステップ600において、連続的またはサンプルされた日であってよい1組の日についてイベントログ150に収集されたログを読み出す。前記ポールマネージャ155は、前記ログを分析して、ステップ610において実験組における各メンバーに表示された、または、制御組における各メンバーに対する表示が差し控えられた広告の印象の数を算出する。前記ポールマネージャ155は、メンバーに表示された広告の印象の数を示す数m..nの範囲を算出し、ステップ620において、各範囲に対応するメンバーの組を選択する。例えば、1つのテスト組のメンバーには1 _ 5の印象が表示されまたは該印象の表示が差し控えられてよく、他の1つのテスト組のメンバーには1 _ 6の印象が表示されまたは該印象の表示が差し控えられてよい。前記テスト組は、該テスト組について収集されたデータが統計的に意味をなすよう、所定の濃度を有する。例えば、前記キャンペーン規準は、少なくとも100,000人のメンバーがサンプル組および制御組に含められるべきことを指定することができる。前記ポールマネージャ155は、広告の印象の範囲に基づいてテスト組に属するメンバーについてポールのスケジュールを決め、ステップ640において、各テスト組についてポールを行う。例えば、固定された数のポールが毎日行われ、このようなポールが数日にわたって行われてよい。ポールが提示されたすべての人が該ポールに回答するわけではない。例えば、ポールが提示された人の1〜2%が前記ポール質問に回答するかもしれない。従って、前記ポールから500〜1000の回答が所望の場合、前記ポール質問が提示されるメンバーの数が40,000〜80,000程度に高い場合がある。得られた回答の数が測定され、所定の回答数が得られた時にポールが停止される。他の実施の形態は、制御組および実験組における固定数のメンバーに対するポールを表示する。収集されたポール結果は、前記ポール結果記憶部160に記憶される。前記ポール結果記憶部160に記憶されたポール結果は、ステップ650において、当該広告の有効性を判定するために前記ポールアナライザ165によって分析され。

広告の有効性指標を算出するために、様々な統計技術を使用してよい。例えば、有効性の1つの測定値(指標)は、上昇(リフト)規準である。上昇(リフト)は、広告による製品に対する認知度または好感度におけるパーセンテージ変化として算出される。例えば、広告表示が阻止されたメンバーの好感度がx1 %として算出され、前記広告が表示されたメンバーの好感度がx2 %として算出されると仮定すると、上昇値Lは、
Ｌ＝｛（ｘ２−ｘ１）／ｘ１｝×１００％ (1)
として算出される。

上記のごとく、前記上昇Lは、前記メンバーに対して広告を表示した結果として製品に対する好感度の上昇の測定値を示す。他の種類の統計的分析が実行可能であり、例えば、質問について得られた応答の統計的重要性がz-テストを使用して算出可能である。
ある広告について得られたサンプル結果が次のテーブルに示されている。

印象の数 ｜ 製品認知度向上 ｜ ブランド好感度
１〜５ ｜ ａ１％ ｜ ｂ１％
６〜１０ ｜ ａ２％ ｜ ｂ２％

上記表で、「印象の数」の欄は、前記メンバーに表示された印象の数についての異なる範囲を示す。この場合、製品認知度向上は、“あなたはこの製品を知っていますか?”という質問に基づいて測定され、該広告の対応する印象の数を示すことによって製品認知度の向上を示す。同様に、この場合、ブランド好感度は、“あなたはどれくらいブランドxが好きですか?”という質問に基づいて測定され、当該広告の対応する印象の数を示す結果としてのブランド好感度の向上を示す。前記ａ１，ａ２，ｂ１，ｂ２は、数値である。評価されている質問は質的なものであり、質的な測定値に変換可能な応答を得るために回答候補が前記メンバーに提示される。例えば、ブランドに対する好感度を測定する質問に対する回答としては、“大変好ましい”、“好ましい”、“好ましくない”および“大変好ましくない”が考えられる。前記ブランドに対する好感度は、ある特定の質問に対する各回答についての上昇値の統計的な重要度に基づいて推測される。

ある実施の形態において、広告の有効性指標は、前記テスト組の人口統計学的データに基づいて調整され得る。これは、前記メンバーの人口統計学的情報が利用可能なオンラインシステムにおいて可能である。例えば、前記メンバーの地理的領域に基づく広告の効果における差を求めることができる。同様に、前記メンバーの年齢または性に基づく前記広告における効果の差を求めることができる。このような分析の正確さは、前記システム100のメンバーについて前記メンバープロフィール記憶部125において利用可能な人口統計学的情報の正確さによって決まる。

図7は、広告キャンペーンの有効性を測定した結果の一例を示す図である。各ポールは、広告キャンペーンID(“ASP ID”)715および特定のポールID720によって特定される。各ポール毎に、応答725の数、該ポールが完了したか否かを示す表示730、および、前記ポールがメンバーの制御組またはサンプル組(“実験”と図示)についてのものかを示すポールタイプ735が示されている。様々なポールについての特定の詳細も示されている。例えば、第1のポール結果740は、広告の1〜1000個の範囲の印象が表示され/表示が差し控えられるメンバーに向けられる。前記ポールに示される質問710は、“Facebook Lexiconについて聞いたことがありますか?"であった。前記制御組は、前記質問に対して1819個の“NO”回答、165個の“YES”回答をしたが、前記制御組は、前記質問に対して1647個の“NO”回答、331個の“YES”回答をした。前記YES”回答の上昇は8.4176である。各ポールに関する回答に関連する他の統計的測定基準、例えば、標準的な仮説検定技術を使用して算出されたz値745も示されている。前記z値がある特定の閾値を超えると、当該広告が統計的に重要な上昇をもたらしたと結論づけることができる。この結論は、(前記メンバーには前記広告の効果はなかった)という帰無仮説を退けることに対応する。

高度に制御された態様で広告の効果を正確に測定する能力により、広告主は、かれらの広告キャンペーンをシステマチックに開発し改善することが可能になる。例えば、メンバーにほとんど好ましい効果を与えない広告は、除去され、新たな広告に入れ替えられることができる。高い効果の広告の組合せを促進され得る。人口統計学的データに基づく分析は、特定のメンバー組に対する特定の広告を促進するために使用されてよい。広告の印象の数の効果が、印象の数の増加は収穫逓減点に達したか否かを判定するために分析されることができる。従って、最適な印象の数が、前記メンバーに対する表示スケジュールに入れられることができ、これにより、所望の広告効果レベルを実現するために広告主によって費やされる金額を最適化できる。

いくつかのオンラインシステムは、広告主からの有料広告の外で製品およびブランド名を促進するためのメカニズムを有する。例えば、ソーシャルネットワーキングシステムは、メンバーの活動に関するまたは該メンバーの活動によって生成された製品またはサービスについて他のメンバーに情報を提供することがある。ソーシャルネットワーキングシステムは、1人のメンバーから他のメンバーに対する活動に関する情報を提供するニュースフィードのようなメカニズムを提供する。メンバーはオンライン広告を見た結果として製品を購入することがあり、この事実は、前記メンバーの、前記ソーシャルネットワークシステムのメンバーである友達にメッセージという形態で広く送信(同報)され得る。同様に、メンバーはオンライン広告についてコメントすることができ、該メンバーは、前記ソーシャルネットワークシステムによってサポートされるニュースフィードまたはその他のメカニズムを使用して、該メンバーの友達にメッセージという形態で広く同報され得る。メンバーは、オンラインフォーラム上で特定の製品または製品の広告について議論でき、該議論は、前記ソーシャルネットワークシステム上で前記メンバーの友達に利用される。このようにして、ソーシャルネットワークシステムは、メンバーの広告、製品もしくはサービスとのインタラクション、または、広告、製品もしくはサービスに関するインタラクションに基づいてコンテンツ(ここでは"二次的コンテンツ"という)を生成し、この二次的コンテンツ自体は、二次的レベルのブランド促進として機能する。その結果、前記ソーシャルネットワークシステムは、該ソーシャルネットワークシステムで実現される通信メカニズムにより、広告された製品に対するメンバーの好感度のみならず前記広告の有効性について影響を有する。この有効性は、ネットワーク有効性または二次的有効性と呼ばれることができる。

ソーシャルネットワーキングまたはその他のオンラインシステムは広告、製品またはサービスに基づくコンテンツを生成し、配信する通信メカニズムを制御するので、前記ソーシャルネットワーキングシステムは、前記二次的コンテンツに触れるメンバーから実験組および制御組(ならびに他の実験組)を作成することによって、広告のネットワーク有効性に対するこれらの通信メカニズムの影響を評価することができる。制御組のメンバーは前記二次的コンテンツを見ることが阻止され、前記実験組のメンバーには前記二次的コンテンツが表示される。前記広告自体は、前記制御組および実験組の両方のメンバーに表示される。その結果、前記２つの組を評価するために行われるポールは、メンバーの製品またはブランドに対する好感度または認知度への、前記通信メカニズムの影響の比較を実現する。これは、前記ソーシャルネットワークシステムが、広告自体以上に、製品の好感度または認知度のみならずオンライン広告の効果を向上させる能力を効果的に測定する。さらに、広告主は、有料広告キャンペーンの有効性、対、該有料広告から生じる前記二次的コンテンツ(または両者の組合せ)の有効性を判定することができる。

広告の有効性に対する、ソーシャルネットワークシステムで利用可能な呼び物の影響を測定する能力は、広告主および消費者に有利である。というのは、該能力は、オンライン広告に基づいて生成されたコンテンツの生成、配信および妥当性を改善するために、複数の異なる戦略で実験する能力を提供するからである。さらに、オンライン広告はソーシャルネットワーキングシステムに対して収入源を提供し、効果的なオンライン広告のためのより効果的なツールおよび測定基準を明示することができるソーシャルネットワーキングシステムは、他のウェブサイトおよび広告出力先に比べてより多くの広告収入を招くことができる。
変更例

本発明の実施の形態についての上述の説明は、例示的な説明であり、本発明の全て網羅するものではなく、本発明を開示内容のみに限定するものでもない。当業者に理解されるように、上記開示内容に照らして多くの変更が可能である。

以上の詳細な説明のいくつかの部分は、本発明の特徴を情報についての処理のアルゴリズムおよび記号表現について説明している。これらのアルゴリズムおよび記号表現は、当業者がかれらの作業内容を他の当業者に最も効果的に伝えるために一般的に使用される手段である。上記の処理は、ここでは機能的、計算的または論理的に説明されているが、コンピュータプログラムまたは等価電気回路、マイクロコード等によって実現されてよい。これらの処理は、普遍性を喪失することなく、モジュールとして言及することは、折にふれて便利であることが知られている。上述した処理および該処理に関連したモジュールは、ソフトウエア、ファームウエアもしくはハードウエア、またはこれらの組合せで実施されてよい。

上記ステップまたは処理、1または複数のハードウエアまたはソフトウエアモジュールを単独で使用することによって、または、他の装置と組み合わせて使用することによって実行可能である。一実施の形態において、ソフトウエアモジュールが、上述したステップまたは処理のすべてを実行するコンピュータプロセッサによって実行可能なコンピュータプログラムコードを含むコンピュータによって読み取り可能な媒体からなるコンピュータプログラム製品で実現される。

本発明の実施の形態は、さらに、上記処理を実行する装置に関する。この発明は前記要求される目的に特化して構成されてもよく、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的に作動または再構成される汎用コンピューテイング装置からなっていてよい。このようなコンピュータプログラムは、コンピュータシステムバスに接続された、電子命令を記憶するのに適した有形のコンピュータによって読み取り可能な記憶媒体またはその他任意タイプの媒体に記憶されてよい。さらに、この明細書に言及されているコンピューティングシステムは、単一のプロセッサを備えるものでよく、または、向上した計算能力を実現するためのマルチプロセッサ設計を使用するアーキテクチャであってもよい。

本発明の実施の形態は搬送波に実現されたコンピュータデータ信号に関するもとのであってもよく、この場合、前記コンピュータデータ信号は、ここに説明されたコンピュータプログラムまたはその他のデータの組合せの実施の形態を含む。前記コンピュータデータ信号は、有形の媒体または搬送波という形で提示され、前記搬送波において変調されまたはその他の方法でエンコードされる製品であり、有形のものであり、任意の適当な伝送方法に従って伝送される。

最後に、この明細書に使用された言語が主に読み易さおよび教示目的で選択されたものであり、本発明の主題を限定し、その境界を規定するために選択されたものではない。従って、ここでの本発明の開示は、以下の特許請求の範囲に記載した本発明の範囲を例示的に説明するものであって限定的なものではない。

Claims (46)

1. コンピュータによって実行される方法であって、
   オンラインシステムの複数のユーザの各々についてのアカウントを維持するステップと、
   前記複数のユーザの第１のサブセットをサンプル組に割り当てるステップと、
   前記複数のユーザの第２のサブセットを制御組に割り当てるステップと、
   前記複数のユーザ中の対象ユーザに対して、表示のために、オンライン広告キャンペーンに関連付けられた広告を送るステップと、
   前記対象ユーザに対する前記広告の表示に続いて起こる該対象ユーザからのインタラクションを受信するステップと、ここで、前記インタラクションは、前記広告に対して若しくは前記広告の対象に関連してなされるものであり、
   前記対象ユーザの前記インタラクションを記述する二次的コンテンツを生成するステップと、
   前記対象ユーザ以外の複数のユーザの各々について、該ユーザに関連するユーザアカウントを介して前記オンラインシステムにアクセスしているユーザを検出することに応じて、
   該ユーザが前記サンプル組に属しているのか、または、前記制御組に属しているのかを判定し、
   該ユーザが前記制御組に属していることに応じて該ユーザに対する前記二次的コンテンツの提示を差し控え、
   該ユーザが前記サンプル組に属していることに応じて該ユーザに対して前記二次的コンテンツを提示する、ことを行うステップと、
   前記制御組の複数ユーザおよび前記サンプル組の複数ユーザから受け取った情報に基づいて、前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求めるステップと、
   を具備した方法。
2. 前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求める前記ステップが、
   前記サンプル組又は前記制御組に属している１ユーザが前記オンラインシステムにアクセスしている間に、前記サンプル組又は前記制御組に属している該１ユーザに質問を提示するステップと、
   前記質問に対する回答を含む応答を該１ユーザから受け取るステップとを含み、前記回答は前記二次的コンテンツの有効性を示す、
   ことを特徴とする請求項１に記載の方法。
3. 前記質問に対する回答は、前記二次的コンテンツの対象に対する認知度を示すものである請求項２に記載の方法。
4. 前記質問に対する回答は、前記二次的コンテンツの対象に対する好感度を示すものである請求項２に記載の方法。
5. 前記ユーザが前記サンプル組に属しているのか、または、ユーザ前記制御組に属しているのかを判定することが、少なくとも該ユーザに関連付けられたユーザＩＤに基づいてハッシュ値を算出することからなる請求項１乃至４のいずれかに記載の方法。
6. 所定の時間インターバル内において、所定回数、前記制御組の１ユーザに対して或る広告が差し控えられ、かつ、該或る広告が、前記所定の時間インターバル内において、前記所定回数、前記サンプル組および前記制御組の一方の複数ユーザに提示される請求項１乃至５のいずれかに記載の方法。
7. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの属性に基づいて決定される請求項１乃至６のいずれかに記載の方法。
8. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの人口統計学的情報に基づいて決定される請求項１乃至６のいずれかに記載の方法。
9. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの興味に基づいて決定される請求項１乃至６のいずれかに記載の方法。
10. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの所属に基づいて決定される請求項１乃至６のいずれかに記載の方法。
11. 前記広告が提示されるべき前記対象ユーザが、前記オンラインシステム内における該対象ユーザの活動に基づいて決定される請求項１乃至６のいずれかに記載の方法。
12. 前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求める前記ステップが、前記二次的コンテンツの対象に対する複数ユーザの好感度の上昇を算出することからなる請求項１に記載の方法。
13. 各ユーザは、該ユーザが登録されたアカウントと、該ユーザの属性を記憶したプロフィールとを有し、前記属性は該ユーザの人口統計学的情報を含む請求項１乃至１２のいずれかに記載の方法。
14. 各ユーザは、該ユーザの属性を記憶したプロフィールと関連付けられており、前記属性は、該ユーザの前記オンラインシステム内における活動の履歴情報を含む請求項１乃至１２のいずれかに記載の方法。
15. コンピュータプロセッサと、
    前記コンピュータプロセッサで実行されるコンピュータプログラムモジュールを記憶したコンピュータによって読み取り可能な記憶媒体であって、前記コンピュータプログラムモジュールは、
    オンラインシステムの複数のユーザの各々についてのアカウントを維持するよう構成されたプロフィール記憶モジュールと、
    前記複数のユーザ中の対象ユーザに対して、表示のために、オンライン広告キャンペーンに関連付けられた広告を送るよう構成された広告セレクタモジュールと、
    二次的コンテンツモジュールであって、
    前記対象ユーザに対する前記広告の表示に続いて起こる該対象ユーザからのインタラクションを受信し、ここで、前記インタラクションは、前記広告に対して若しくは前記広告の対象に関連してなされるものであり、
    前記対象ユーザの前記インタラクションを記述する二次的コンテンツを生成する、よう構成された前記二次的コンテンツモジュールと、
    広告サーバモジュールであって、
    前記複数のユーザの第１のサブセットをサンプル組に割り当て、
    前記複数のユーザの第２のサブセットを制御組に割り当て、
    前記ユーザが前記サンプル組に属しているのか、または、前記制御組に属しているのかを判定し、
    前記ユーザが前記制御組に属していることに応じて、前記二次的コンテンツを前記ユーザに提示することを差し控え、
    前記ユーザが前記サンプル組に属していることに応じて、前記二次的コンテンツを前記ユーザに提示する、よう構成された前記広告サーバモジュールと、
    前記制御組の複数ユーザおよび前記サンプル組の複数ユーザから受け取った情報に基づいて、前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求めるよう構成されたポールアナライザモジュールと、
    を具備したシステム。
16. 前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求めることが、
    前記サンプル組又は前記制御組に属している１ユーザが前記オンラインシステムにアクセスしている間に、前記サンプル組又は前記制御組に属している該１ユーザに質問を提示することと、
    前記質問に対する回答を含む応答を該１ユーザから受け取ることであって、前記回答は前記二次的コンテンツの有効性を示すものと、
    を含む請求項１５に記載のシステム。
17. 前記質問に対する回答は、前記二次的コンテンツの対象に対する認知度を示すものである請求項１６に記載のシステム。
18. 前記質問に対する回答は、前記二次的コンテンツの対象に対する好感度を示すものである請求項１６に記載のシステム。
19. 前記ユーザが前記サンプル組に属しているのか、または、前記制御組に属しているのかを判定することが、少なくとも該ユーザに関連付けられたユーザＩＤに基づいてハッシュ値を算出することからなる請求項１５乃至１８のいずれかに記載のシステム。
20. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの人口統計学的情報に基づいて決定される請求項１５乃至１８のいずれかに記載のシステム。
21. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの属性に基づいて決定される請求項１５乃至１８のいずれかに記載のシステム。
22. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの興味に基づいて決定される請求項１５乃至１８のいずれかに記載のシステム。
23. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの所属に基づいて決定される請求項１５乃至１８のいずれかに記載のシステム。
24. 前記広告が提示されるべき前記対象ユーザが、前記オンラインシステム内における該対象ユーザの活動に基づいて決定される請求項１５乃至１８のいずれかに記載のシステム。
25. 前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求めることが、前記二次的コンテンツの対象に対する複数ユーザの好感度の上昇を算出することからなる請求項１５に記載のシステム。
26. コンピュータによって実行される方法であって、
    オンラインシステムの複数のユーザの各々についてのアカウントを維持するステップと、
    前記複数のユーザの第１のサブセットをサンプル組に割り当てるステップと、
    前記複数のユーザの第２のサブセットを制御組に割り当てるステップと、
    ウェブサイトとインタラクトしている複数のユーザ中の対象ユーザに対して提示すべき広告を決めるためのリクエストを受け取るステップと、
    前記対象ユーザのために広告を選択するステップと、
    前記対象ユーザに対して、表示のために、オンライン広告キャンペーンに関連付けられた広告を送るステップと、
    前記対象ユーザに対する前記広告の表示に続いて起こる該対象ユーザからのインタラクションを受信するステップと、ここで、前記インタラクションは、前記広告に対して若しくは前記広告の対象に関連してなされるものであり、
    前記対象ユーザの前記インタラクションを記述する二次的コンテンツを生成するステップと、
    前記ユーザが前記サンプル組に属しているのか、または、前記制御組に属しているのかを判定するステップと、
    前記ユーザーが前記制御組に属していることに応じて、該ユーザに対する前記二次的コンテンツの提示を差し控えるステップと、
    前記ユーザが前記サンプル組に属していることに応じて、該ユーザ前記メンバーに対して前記二次的コンテンツを提示するステップと、
    前記制御組の複数ユーザおよび前記サンプル組の複数ユーザから受け取った情報に基づいて、前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求めるステップと、
    を具備した方法。
27. コンピュータによって実行される方法であって、
    オンラインシステムの複数のユーザの各々についてのアカウントを維持するステップと、
    前記複数のユーザの第１のサブセットを第１の実験組に割り当てるステップと、
    前記複数のユーザの第２のサブセットを第２の実験組に割り当てるステップと、
    前記複数のユーザの第３のサブセットを制御組に割り当てるステップと、
    オンライン広告キャンペーンの広告の提示に関連したパラメータ、および、該パラメータの第１のパラメータ値と第２のパラメータ値を決定するステップと、
    前記複数のユーザ中の対象ユーザに対して、表示のために、オンライン広告キャンペーンに関連付けられた広告を送るステップと、
    前記対象ユーザに対する前記広告の表示に続いて起こる該対象ユーザからのインタラクションを受信するステップと、ここで、前記インタラクションは、前記広告に対して若しくは前記広告の対象に関連してなされるものであり、
    前記対象ユーザの前記インタラクションを記述する二次的コンテンツを生成するステップと、
    前記対象ユーザ以外の複数のユーザの各々について、該ユーザに関連するユーザアカウントを介して前記オンラインシステムにアクセスしているユーザを検出することに応じて、
    該ユーザが、前記第１の実験組、前記第２の実験組および前記制御組のうちいずれかに属しているかを判定し、
    該ユーザが前記第１の実験組に属していることに応じて前記第１のパラメータ値に基づいて該ユーザに前記二次的コンテンツを提示し、
    該ユーザが前記第２の実験組に属していることに応じて前記第２のパラメータ値に基づいて該ユーザに前記二次的コンテンツを提示し、
    該ユーザが前記制御組に属していることに応じて前記二次的コンテンツの該ユーザに対する提示を差し控える、ことを行うステップと、
    前記第１の実験組、前記第２の実験組および制御組のいずれかに属する複数ユーザから受け取った情報に基づいて、前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求めるステップと、
    を具備した方法。
28. 前記パラメータは、前記広告が前記対象ユーザに提示される期間を決定するものである請求項２７に記載の方法。
29. 前記パラメータは、複数の異なる広告が前記対象ユーザに提示される順序を決定するものである請求項２７に記載の方法。
30. 前記パラメータは、前記対象ユーザに前記広告を表示するために使用されるユーザインターフェースにおける前記広告の位置を決定するものである請求項２７に記載の方法。
31. 前記パラメータは、前記広告について複数ユーザによって提供されたコメントが該広告と共に提示されるか否かを決定する請求項２７に記載の方法。
32. 前記パラメータは、前記広告に関して複数ユーザによって生成されたコンテンツが該広告と共に提示されるか否かを決定する請求項２７に記載の方法。
33. 前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求める前記ステップが、
    前記第１及び第２の実験組及び前記制御組のいずれかに属している１ユーザが前記オンラインシステムにアクセスしている間に、前記第１及び第２の実験組及び前記制御組のいずれかに属している該１ユーザに質問を提示するステップと、
    前記質問に対する回答を含む応答を該１ユーザから受け取るステップとを含み、前記回答は前記二次的コンテンツの有効性を示す、
    ことを特徴とする請求項２７乃至３２のいずれかに記載の方法。
34. 前記質問に対する回答は、前記二次的コンテンツの対象に対する認知度を示すものである請求項３３に記載の方法。
35. 前記質問に対する回答は、前記二次的コンテンツの対象に対する好感度を示すものである請求項３３に記載の方法。
36. 前記ユーザが、前記第１の実験組、前記第２の実験組および前記制御組のうちいずれかに属しているかを判定することが、少なくとも該ユーザに関連付けられたユーザＩＤに基づいてハッシュ値を算出することからなる請求項２７乃至３５のいずれかに記載の方法。
37. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの属性に基づいて決定される請求項２７乃至３６のいずれかに記載の方法。
38. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの人口統計学的情報に基づいて決定される請求項２７乃至３６のいずれかに記載の方法。
39. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの興味に基づいて決定される請求項２７乃至３６のいずれかに記載の方法。
40. 前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性測定値を求める前記ステップが、前記二次的コンテンツの対象に対する複数ユーザの好感度の上昇を算出することからなる請求項２７に記載の方法。
41. 前記広告が提示されるべき前記対象ユーザが、該対象ユーザの所属に基づいて決定される請求項２７乃至３６のいずれかに記載の方法。
42. 前記広告が提示されるべき前記対象ユーザが、前記オンラインシステム内における該対象ユーザの活動に基づいて決定される請求項２７乃至３６のいずれかに記載の方法。
    
43. 前記二次的コンテンツは、前記広告に関連する製品が前記対象ユーザによって購入されたことを記述するものである、請求項１乃至１４及び２６乃至４２のいずれかに記載の方法。
44. 前記二次的コンテンツは、前記オンラインシステム上で前記対象ユーザによって提供された前記広告についてのコメントを記述するものである、請求項１乃至１４及び２６乃至４２のいずれかに記載の方法。
45. 前記二次的コンテンツは、前記対象ユーザと前記オンラインシステムを介して該対象ユーザに接続した他のユーザとの間でなされた、前記広告に関連する製品若しくはサービスについての議論を記述するものである、請求項１乃至１４及び２６乃至４２のいずれかに記載の方法。
46. 前記オンライン広告キャンペーンに関連する前記二次的コンテンツの有効性とは、前記広告に関連する製品若しくはサービスを奨励するに際しての前記二次的コンテンツの有効性である、請求項１乃至１４及び２６乃至４２のいずれかに記載の方法。

Images