JP6788667B2 - 広告リフトの測定 - Google Patents

Description

本発明は一般に、広告キャンペーンのパフォーマンスの評価に関する。

広告キャンペーンのパフォーマンスを評価する上で重要な指標は、広告リフト指標（advertisement lift metric）である。リフト指標は、所与の広告について、広告キャンペーンに帰すことのできるコンバージョンの増加を測定することにより、その効果を評価する。この指標で、広告主は、所与の広告コンテンツの効果および広告コンテンツを提示する広告プラットフォームの効果の両方または一方を判断することが可能になる。

広告キャンペーンのリフト指標を測定することは、ユーザの群を試験群（test group）と対照群（control group）とに分けて、試験群だけに広告を提示するようにすることに関わる。この２つの群間のコンバージョンの差がリフト指標の尺度になる。リフト指標を測定する代表的な実施態様は、ユーザの群をどのように試験群と対照群とに分けるのか、また、広告を対照群への提示から除外するのが広告選択プロセスのいつの時点か、を考慮しない。このため、２つの群間の全体的な消費者体験が最終的に一致しないので、不正確で偏りのある結果になる。例えば、広告インプレッション直前に広告の受信から対照群を除外することは、試験群および対照群に影響を及ぼし、それによってリフト調査を偏らせかねない。

広告システムは、広告のリフトまたはリフト指標の尺度を計算する。インテリジェントなユーザ１人あたりのクリック数予測を有する複雑な広告システムでは、インプレッション直前に対照群のユーザから広告を除外することは（例えば、広告が、ユーザに表示する広告を最終的に選択した広告選択プロセスを経た後）、試験群および対照群に影響を及ぼしかねない。このことは、そのときに対照群のユーザは試験群のユーザよりもターゲットにされる頻度が低いので、調査を偏らせかねない。さらに、広告を受信して対話した試験群のユーザに関する情報は、学習される可能性があり、この情報は、さらにその試験群のユーザに対する将来の広告選択で使用することができるが、この同じ情報は、広告と対話する機会のなかった対照群については学習されない。

この偏りを制限するために、広告システムは、広告スタックまたは広告選択プロセスのより上位レベルで、広告を対照群から除外する。広告スタックまたは広告選択プロセスは、ユーザがターゲティング基準を満たす多数の広告候補を選択すること、ユーザとの関連度および他の要因に基づき広告候補をランク付けすること、広告を広告オークションに回して、選択において広告への入札を考慮すること、候補の中から最終的に表示する広告を選択することなど、最終的にユーザに対する広告の選択に至るまでの様々な工程を含む広告フローである。インプレッションの直前または最終選択を行った後に広告を対照群から除外するのではなく、広告選択プロセスのもっと早い時点で（例えば、ランク付けまたは広告オークションの前に）広告を除外して、対照群のユーザに対して別の広告を選択することがさらに可能になるようにすることができる。

さらに、ユーザは、調査の前に試験群と対照群とに分けられるのではなく、代わりに、広告選択プロセスの時点で決定される。ユーザに対するインプレッション機会があると、ユーザを試験群または対照群に無作為に割り当てるための計算が実行される（例えば、ハッシュ・アルゴリズムを使用する）。すると、ユーザは、広告選択プロセスを完了することを許される。しかし、対照群のユーザについては、リフト調査の広告は、プロセスのある時点で除外される。試験群のユーザについては、広告は除外されない。試験群のユーザは、広告選択プロセスをまだ終えていないので、リフト調査の広告は、試験群のユーザの一部については最終的に選択されないかもしれない。したがって、試験群に登録された一部のユーザは、リフト調査の広告を受信しない。広告を受信する試験群のユーザが、試験群の一部分または接触ターゲット群を構成する。リフトは、試験群のユーザ全員を用いて、試験群と対照群との唯一の違いは試験群の一部がインプレッションを受けたことである、との仮定を用いて計算することができる。システムは、完全な（接触と非接触の）試験群と対照群とのコンバージョン率の差を測定する。例えば、リフト指標は、（１）試験群のアクション実行者（converter）から対照群のアクション実行者を引いて求める、アクション実行者の増分数（広告に直接帰せられるアクション実行者数）を求め、（２）接触ターゲット群内のアクション実行者から増分アクション実行者を引いて求める、アクション実行者の暗黙的ベースライン数（広告を受信しなかったとしてもアクションを実行したであろう人）を求め、（３）増分アクション実行者数をアクション実行者の暗黙的ベースライン数で割って、計算することができる。

本発明の一実施形態による、広告システムが動作するシステム環境のブロック図である。 本発明の一実施形態による、広告システムのブロック図である。 本発明の一実施形態による、ソーシャル・ネットワーキング・システムのブロック図である。 本発明の一実施形態による、広告システムのブロック図である。 本発明の一実施形態による、所与の広告キャンペーンについての広告リフト調査を実行する様々な段階を示す図である。 本発明の一実施形態による、所与の広告キャンペーンについての広告リフト調査のために選択された試験群および対照群を示す図である。 本発明の一実施形態による、所与のユーザに対してリフト調査を実行するための、広告要求部と広告選択部との間の対話を示す相関図である。 本発明の一実施形態による、広告キャンペーンに関連付けられているリフト指標を計算するプロセスのフロー図である。

図面は、本発明の様々な実施形態を例示目的でのみ図示している。当業者は、以下の考察から、本明細書において説明される本発明の原理から逸脱することなく、本明細書において例示される構造および方法の代替実施形態が採用できることを容易に認識するであろう。

システム・アーキテクチャ
図１は、広告システム１４０のためのシステム環境１００のブロック図である。図１に図示するシステム環境は、１つまたは複数のクライアント・デバイス１１０と、ネットワーク１２０と、１つまたは複数のサードパーティ・システム１３０と、広告システム１４０とを備える。代替構成においては、システム環境１００に、異なるコンポーネントおよび追加のコンポーネントの両方または一方を含んでもよい。例えば、いくつかの実施形態では、広告システム１４０は、ソーシャル・ネットワーキング・システムであるか、または、図２に図示するように、ソーシャル・ネットワーキング・システムのコンポーネントを含む。他の実施形態では、ソーシャル・ネットワーキング・システムは、広告システム１４０と対話するシステム環境の別個のコンポーネントである。図３Ａ〜図３Ｂは、ソーシャル・ネットワーキング・システム１５０が広告システム１６０とは別個のシステムである実施形態を示す。さらに別の実施形態では、ソーシャル・ネットワーキング・システムが存在せず、広告システム１６０が単独で動作する。本明細書において説明する実施形態は、ソーシャル・ネットワーキング・システムまたは広告システムではないオンライン・システムにも適応することができる。

クライアント・デバイス１１０は、ユーザ入力の受信ならびにネットワーク１２０経由でのデータの送信および受信の両方または一方が可能な１つまたは複数のコンピューティング・デバイスである。一実施形態において、クライアント・デバイス１１０は、デスクトップまたはラップトップ・コンピュータなどの従来のコンピュータ・システムである。あるいは、クライアント・デバイス１１０は、携帯情報端末（ＰＤＡ）、携帯電話、スマートフォンまたは別の適切なデバイスなど、コンピュータ機能を有するデバイスであってもよい。クライアント・デバイス１１０は、ネットワーク１２０経由で通信するように構成される。一実施形態において、クライアント・デバイス１１０は、クライアント・デバイス１１０のユーザが広告システム１４０と対話できるようにするアプリケーションを実行する。例えば、クライアント・デバイス１１０は、クライアント・デバイス１１０と広告システム１４０との間の対話をネットワーク１２０経由で可能にするブラウザ・アプリケーションを実行する。別の実施形態では、クライアント・デバイス１１０は、ＩＯＳ（登録商標）またはＡＮＤＲＯＩＤ（商標）など、クライアント・デバイス１１０のネイティブ・オペレーティング・システム上で稼働するアプリケーション・プログラミング・インタフェース（ＡＰＩ）を通じて、広告システム１４０と対話する。

クライアント・デバイス１１０は、有線および／または無線両方の通信システムを使用して、ネットワーク１２０経由で通信するように構成され、該ネットワークは、ローカル・エリア・ネットワークおよび広域ネットワークの両方または一方の任意の組み合わせを備えることができる。一実施形態において、ネットワーク１２０は、標準的な通信技術およびプロトコルの両方または一方を使用する。例えば、ネットワーク１２０は、イーサネット、８０２．１１、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（WiMAX : worldwide interoperability for microwave access）、３Ｇ、４Ｇ、符号分割多元接続（CDMA:code division multiple access）、デジタル加入者線（DSL:digital subscriber line）等の技術を使用する通信リンクを含む。ネットワーク１２０経由で通信するために使用されるネットワーキング・プロトコルの例は、マルチプロトコル・ラベル・スイッチング（ＭＰＬＳ）、トランスミッション・コントロール・プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）、ハイパーテキスト転送プロトコル（HTTP:hypertext transport protocol）、簡易メール転送プロトコル（SMTP : simple mail transfer protocol）、およびファイル転送プロトコル（FTP : file transfer protocol）を含む。ネットワーク１２０で交換されるデータは、ハイパーテキスト・マークアップ言語（HTML:hypertextmarkup language）または拡張マークアップ言語（XML : extensible markup language）など、任意の適切なフォーマットを使用して表すことができる。いくつかの実施形態では、ネットワーク１２０の通信リンクの全部または一部は、１つまたは複数の任意の適切な手法を使用して暗号化することができる。

１つまたは複数のサードパーティ・システム１３０は、広告システム１４０と通信するためにネットワーク１２０に連結することができ、このことを、図２に関連して以下詳細に説明する。一実施形態において、サードパーティ・システム１３０は、クライアント・デバイス１１０が実行するためのアプリケーションを記述する情報を通信するか、または、クライアント・デバイス上で実行するアプリケーションが使用するためにクライアント・デバイス１１０にデータを通信するアプリケーション・プロバイダである。他の実施形態では、サードパーティ・システム１３０は、クライアント・デバイス１１０を通じて提示するためのコンテンツまたは他の情報を提供する。サードパーティ・ウェブサイト１３０は、サードパーティ・ウェブサイト１３０が提供するアプリケーションに関する広告、コンテンツ、または情報などの情報を、広告システム１４０に通信することもできる。

図２は、広告システム１４０のアーキテクチャのブロック図である。図２に図示する広告システム１４０は、ユーザ・プロフィール・ストア２０５と、コンテンツ・ストア２１０と、アクション・ロガー２１５と、アクション・ログ２２０と、エッジ・ストア２２５と、広告要求部２３０と、ウェブ・サーバ２３５と、広告ストア３０５と、広告選択部３１０と、広告主調査ストア３１５と、広告接触ロガー３２０と、広告接触ログ３２５と、コンバージョン・ストア（conversion store）３３５と、リフト計算部３３０と、リフト指標ストア３４０とを含む。他の実施形態では、広告システム１４０は、様々なアプリケーションのために、追加のコンポーネント、より少ないコンポーネント、または異なるコンポーネントを含むことができる。例えば、広告システム１４０は、一定のソーシャル・ネットワーキング・コンポーネントを含まなくてもよい。図３Ｂは、広告システムのこの実施形態の一例を示す。ネットワーク・インタフェース、セキュリティ機能、ロード・バランサ（load balancer）、フェイルオーバ・サーバ（failover server）、管理およびネットワーク・オペレーション・コンソール等の従来のコンポーネントは、システム・アーキテクチャの細部を理解しやすいように図示していない。

広告システム１４０の各ユーザは、ユーザ・プロフィールに関連付けられ、該ユーザ・プロフィールは、ユーザ・プロフィール・ストア２０５に記憶されている。ユーザ・プロフィールは、ユーザに関連付けられている一意の識別子、ユーザが明示的に共有した、ユーザに関する宣言的情報（declarative information）を含み、また、広告システム１４０が推測するプロフィール情報も含むことができる。一実施形態においては、ユーザ・プロフィールは、複数のデータ・フィールドを含み、それぞれが、広告システム１４０の対応するユーザの１つまたは複数の属性を記述する。ユーザ・プロフィールに記憶される情報の例は、経歴、人口統計学的情報、および、職歴、学歴、性別、趣味または好み、ロケーション等の他のタイプの説明情報を含む。ユーザ・プロフィールは、ユーザが提供する他の情報、例えば、画像または動画を記憶することもできる。一定の実施形態では、ユーザの画像は、画像に表示される広告システム１４０のユーザの識別情報でタグ付けされてもよい。ユーザ・プロフィール・ストア２０５内のユーザ・プロフィールは、対応するユーザがコンテンツ・ストア２１０内のコンテンツ・アイテムに対して行い、アクション・ログ２２０に記憶されるアクションへの参照も維持することができる。

ユーザ・プロフィール・ストア２０５内のユーザ・プロフィールは個人に関連付けられることが多く、個人は、広告システム１４０経由で互いに対話でき、ユーザ・プロフィールは企業や組織などのエンティティについても記憶することができる。これにより、エンティティは、他のユーザとつながって、コンテンツを交換するために、広告システム１４０上にプレゼンス（presence）を確立できる。エンティティは、自社、自社製品に関する情報を投稿するか、または、エンティティのユーザ・プロフィールに関連付けられているブランド・ページを使って、広告システムのユーザに他の情報を提供することができる。広告システムの他のユーザは、ブランド・ページにつながって、ブランド・ページに投稿された情報を受信するか、またはブランド・ページから情報を受信することができる。ブランド・ページに関連付けられるユーザ・プロフィールは、エンティティ自体に関する情報を含むことができ、該エンティティに関するバックグラウンドまたは情報データをユーザに提供する。

コンテンツ・ストア２１０は、様々なタイプのコンテンツをそれぞれが表すオブジェクトを記憶する。オブジェクトが表すコンテンツの例は、ページ投稿、ステータス更新、写真、動画、リンク、共有コンテンツ・アイテム、ゲーミング・アプリケーションの成績、地元企業のチェックイン・イベント、ブランド・ページ、または任意の他のタイプのコンテンツを含む。ユーザは、ステータス更新、ユーザがシステム内の他のオブジェクトに関連付けるためにタグ付けする写真、イベント、グループまたはアプリケーションなど、コンテンツ・ストア２１０に記憶されるオブジェクトを作成することができる。いくつかの実施形態では、オブジェクトは、サードパーティ・アプリケーションから、または、広告システム１４０とは別個のサードパーティ・アプリケーションから受信される。一実施形態において、コンテンツ・ストア２１０内のオブジェクトは、１つのコンテンツ、またはコンテンツ「アイテム」を表す。そのため、広告システム１４０のユーザは、様々な通信チャネルを通して、様々なタイプのメディアのテキストおよびコンテンツ・アイテムを投稿することによって、互いにコミュニケーションをとることを促される。こうしてユーザ同士の対話量が増加し、ユーザが広告システム１４０内で対話する頻度が高まる。

アクション・ロガー２１５は、広告システム１４０の内部および外部または内部もしくは外部のユーザ・アクションに関する通信を受信し、アクション・ログ２２０にユーザ・アクションに関する情報を移入する。アクションの例は、特に、別のユーザとのつながりを追加すること、別のユーザにメッセージを送ること、画像をアップロードすること、別のユーザからのメッセージを読むこと、別のユーザに関連付けられているコンテンツを閲覧すること、別のユーザが投稿したイベントに参加することを含む。さらに、多数のアクションが１つのオブジェクトおよび１つまたは複数の特定のユーザに関わることがあるので、これらのアクションはそのユーザにも同様に関連付けられ、アクション・ログ２２０に記憶される。

アクション・ログ２２０は、広告システム１４０が、広告システム１４０上のユーザ・アクション、および広告システム１４０に情報を通信するサードパーティ・システム１３０上のアクションを追跡するために使用することができる。ユーザは、広告システム１４０上の様々なオブジェクトと対話することができ、これらの対話を記述する情報がアクション・ログ２１０に記憶される。オブジェクトとの対話の例は、投稿に対してコメントすること、リンクを共有すること、モバイル・デバイスによって物理的なロケーションにチェックインすること、コンテンツ・アイテムにアクセスすること、および任意の他の対話を含む。アクション・ログ２２０に含まれる広告システム１４０上のオブジェクトとの対話の追加の例は、フォトアルバムに対してコメントすること、ユーザとコミュニケーションをとること、オブジェクトとのつながりを確立すること、カレンダーにイベントを加えること、グループに加入すること、イベントを作成すること、アプリケーションを認可すること、アプリケーションを使用すること、オブジェクトに対して好みを表明すること（オブジェクトに「いいね！」を表明すること）、およびトランザクションに関与することを含む。さらに、アクション・ログ２２０は、広告システム１４０上の広告との、および、広告システム１４０上で動作する他のアプリケーションとの、ユーザの対話を記録することができる。いくつかの実施形態では、アクション・ログ２２０のデータを使用して、ユーザの関心または好みを推測し、ユーザのユーザ・プロフィールに含まれる関心を増大させ、ユーザの好みをより完全に把握できるようにする。

アクション・ログ２２０は、外部のウェブサイトなど、サードパーティ・システム１３０で行われて、広告システム１４０に通信されたユーザ・アクションも記憶することができる。例えば、主にスポーツ用品を特価で販売するＥコマース用ウェブサイトは、Ｅコマース用ウェブサイトが広告システム１４０のユーザを識別することを可能にするソーシャル・プラグインを通じて、広告システム１４０のユーザを認識することができる。広告システム１４０のユーザは一意に識別可能であるため、このスポーツ用品店などのＥコマース用ウェブサイトは、広告システム１４０の外部のユーザのアクションに関する情報を、ユーザに関連付けるために広告システム１４０に通信することができる。したがって、アクション・ログ２２０は、ウェブ・ページ閲覧履歴、エンゲージされた広告、行われた購入、ならびにショッピングおよび購買からの他のパターンを含め、サードパーティ・システム１３０でユーザが行うアクションに関する情報を記録することができる。

一実施形態において、エッジ・ストア２２５は、広告システム１４０上のユーザと他のオブジェクトとの間のつながりを記述する情報をエッジとして記憶する。いくつかのエッジは、ユーザが他のユーザとの関係を指定することができるように、ユーザによって定義されてもよい。例えば、ユーザは、友達、同僚、配偶者など、ユーザの実生活の関係に即した他のユーザとのエッジを生成してもよい。他のエッジは、システム上のページに関心を表明する、システムの他のユーザとリンクをシェアする、およびシステムの他のユーザが行った投稿に対してコメントするなど、ユーザが広告システム１４０内のオブジェクトと対話するときに生成される。

一実施形態において、エッジは、ユーザ同士の対話、ユーザとオブジェクトとの間の対話、またはオブジェクト間の対話の特性をそれぞれ表す様々な特徴を含むことができる。例えば、エッジに含まれる特徴は、２人のユーザ間の対話の割合、２人のユーザが互いに対話したのがどれくらい最近であったか、あるユーザがオブジェクトに関して検索した情報の割合もしくは量、またはユーザがオブジェクトに関して投稿したコメントの数とタイプを記述する。この特徴は、特定のオブジェクトまたはユーザを記述する情報も表すことができる。例えば、特徴は、ユーザが特定の話題に対して抱く関心のレベル、ユーザが広告システム１４０にログインする割合、またはユーザに関する人口統計学的情報を記述する情報を表すことができる。各特徴は、ソース・オブジェクトまたはユーザ、ターゲット・オブジェクトまたはユーザ、および特徴値に関連付けることができる。特徴は、ソース・オブジェクトもしくはユーザ、ターゲット・オブジェクトもしくはユーザ、またはソース・オブジェクトもしくはユーザとターゲット・オブジェクトもしくはユーザとの対話を記述する値に基づいた式として指定されることができる。したがって、エッジは、１つまたは複数の特徴式として表すことができる。

エッジ・ストア２２５は、オブジェクト、関心および他のユーザに対するアフィニティ・スコア（affinity score）など、エッジに関する情報も記憶する。広告システム１４０によって経時的にアフィニティ・スコア、すなわち「アフィニティ」が計算されて、ユーザが行うアクションに基づいて、広告システム１４０内のオブジェクト、関心、および他のユーザに対するユーザのアフィニティを概算することができる。ユーザのアフィニティは、広告システム１４０によって経時的に、ユーザが行うアクションに基づいて、広告システム１４０内のオブジェクト、関心、および他のユーザに対するユーザのアフィニティを概算することができる。一実施形態では、ユーザと特定のオブジェクトとの間の複数の対話を、１つのエッジとしてエッジ・ストア２２５に記憶することができる。あるいは、ユーザと特定のオブジェクトとの間のそれぞれの対話が、個々のエッジとして記憶される。いくつかの実施形態では、ユーザ同士のつながりをユーザ・プロフィール・ストア２０５に記憶することができ、または、ユーザ・プロフィール・ストア２０５がエッジ・ストア２２５にアクセスして、ユーザ同士のつながりを判別することができる。

別個のソーシャル・ネットワーキング・システムがあるいくつかの事例では（図３Ａおよび図３Ｂを参照）、ユーザがソーシャル・ネットワーキング・システム１５０でコンテンツを操作および消費または操作もしくは消費すると、広告要求部２３０は、図３Ａおよび図３Ｂに関連して詳細に説明する広告システム１６０と連動して、広告コンテンツをユーザに提示する。特に、広告を提示するためのユーザが選択されるとき、広告要求部２３０は、ユーザに提示してもよい１つまたは複数の広告の要求を広告システム１６０に送信する。要求に応答して、広告要求部２３０は、広告システム１６０から１つまたは複数の広告に関連付けられるコンテンツを受信し、その広告コンテンツをユーザに提示する。いくつかの実施形態では、広告要求部２３０は、広告システム１６０から受信するすべての広告をユーザに提示するわけではなくてもよい。ユーザに提示する各広告について、広告要求部２３０は、広告が実際にユーザに提示されたことを示すインプレッション・イベント（impression event）をアクション・ログ２２０に記憶する。広告システム１４０は、同様に、広告コンテンツをユーザに提示するように動作することができる。

ウェブ・サーバ２３５は、ネットワーク１２０経由で広告システム１４０を１つまたは複数のクライアント・デバイス１１０および１つまたは複数のサードパーティ・システム１３０にリンクさせる。ウェブ・サーバ１４０は、ウェブ・ページ、および他のウェブ関連コンテンツ、例えば、ＪＡＶＡ（登録商標）、ＦＬＡＳＨ（登録商標）、ＸＭＬなどを提供する。ウェブ・サーバ２３５は、広告システム１４０とクライアント・デバイス１１０との間で、メッセージ、例えば、インスタント・メッセージ、キューに入れられるメッセージ（例えば、Ｅメール）、テキスト・メッセージ、ショート・メッセージ・サービス（ＳＭＳ）メッセージ、または任意の他の適切なメッセージング手法を使用して送信されるメッセージを受信し、ルーティングすることができる。ユーザは、コンテンツ・ストア２１０に記憶されている情報（例えば、画像または動画）をアップロードする要求を、ウェブ・サーバ２３５に送信することができる。さらに、ウェブ・サーバ２３５は、ネイティブのクライアント・デバイスのオペレーティング・システム、例えば、ＩＯＳ（登録商標）、ＡＮＤＲＯＩＤ（商標）、ＷＥＢＯＳ（登録商標）、またはＲＩＭ（登録商標）に直接データを送信するために、アプリケーション・プログラミング・インタフェース（ＡＰＩ）機能を提供することができる。

広告システム１４０の残りのコンポーネントを、図３Ａおよび図３Ｂに関係して以下説明し、図３Ａおよび図３Ｂは、別個のソーシャル・ネットワーキング・システムおよび広告システムがある実施形態を示す。これらのコンポーネントは、概して、広告システム１６０およびソーシャル・ネットワーキング・システム１５０が別々である場合と同じように、広告システム１４０内で機能する。

図３Ａおよび図３Ｂは、それぞれソーシャル・ネットワーキング・システム１５０および広告システム１６０のブロック図である。図３Ａのソーシャル・ネットワーキング・システム１５０は、ユーザ・プロフィール・ストア２０５、コンテンツ・ストア２１０、アクション・ロガー２１５、アクション・ログ２２０、エッジ・ストア２２５、広告要求部２３０、ウェブ・サーバ２３５を含み、これらは上記図２について説明したのと概ね同じように動作する。図３Ｂに図示する広告システム１６０は、図２で広告システム１４０について示したものと同様に、広告ストア３０５、広告選択部３１０、広告主調査ストア３１５、広告接触ロガー（ad exposure logger）３２０、広告接触ログ（ad exposure log）３２５、コンバージョン・ストア３３５、リフト計算部３３０およびリフト指標ストア３４０を含む。他の実施形態では、ソーシャル・ネットワーキング・システム１５０および広告システム１６０は、様々なアプリケーションのために、追加のコンポーネント、より少ないコンポーネント、または異なるコンポーネントを含むことができる。ネットワーク・インタフェース、セキュリティ機能、ロード・バランサ、フェイルオーバ・サーバ、管理およびネットワーク・オペレーション・コンソール等の従来のコンポーネントは、システム・アーキテクチャの細部を理解しやすいように図示していない。

広告ストア３０５は、様々な広告主が提供する１つまたは複数の広告キャンペーン（advertisement campaign）（「広告キャンペーン」）を記憶する。広告キャンペーンまたは単一の広告は、一意の広告識別子（「広告ＩＤ」）に関連付けることができ、広告コンテンツおよび入札額を含む。広告コンテンツは、テキスト、画像、音声、動画またはユーザに提示される任意の他の適切なデータである。様々な実施形態において、広告コンテンツは、広告がアクセスされたときにユーザが誘導されるネットワーク・アドレスを指定するランディング・ページ（landing page）も含む。入札額は、広告主による広告に関連付けられ、広告がユーザに提示される場合、広告がユーザの対話を受ける場合、または任意の他の適切な条件に基づいて、広告主が広告システム１４０に提供する、金銭的報酬などの予想価値を決定するために使用される。例えば、入札額は、広告が表示される場合に広告システム１５０が広告主から受け取る金額を指定し、予想価値は、広告がアクセスされる確率を入札額に乗じて決定される。

さらに、広告キャンペーンは、広告主が指定する１つまたは複数のターゲティング基準（targeting criteria）を含むことができる。広告キャンペーンに含まれるターゲティング基準は、広告キャンペーンにおいてコンテンツの提示を受けるのに適格なユーザの１つまたは複数の特徴を指定する。例えば、ターゲティング基準は、ターゲティング基準のうちの少なくとも１つを満たす、ユーザ・プロフィール情報、エッジまたはアクションを有するユーザを識別するために、ユーザに関連付けられているユーザ・プロフィール、エッジおよび／またはアクションのフィールドに適用するフィルタである。したがって、ターゲティング基準は、具体的なターゲティング基準に合致するユーザ群を広告主が識別できるようにし、その後、ユーザ群にコンテンツを配信するのを簡単にする。ターゲティング基準は、広告または広告キャンペーンに対するターゲット母集団を定義するために使用することができる。例えば、ある広告に対するターゲット母集団は、米国在住で年齢１８歳から３４歳までの料理好きな男性にすることができる。

一実施形態において、ターゲティング基準は、アクション、または、広告システム１４０、１６０のユーザと別のユーザもしくはオブジェクトとの間のつながり（connection）のタイプを指定することができる。ターゲティング基準は、サードパーティ・システム１３０上など、広告システム１４０、１６０の外部で行われるユーザとオブジェクトとの間の対話も指定することができる。例えば、ターゲティング基準は、特定のアクション、例えば、別のユーザにメッセージを送ること、アプリケーションを使用すること、グループに参加すること、グループを離脱すること、イベントに参加すること、イベント説明を生成すること、オンライン・マーケットプレイスを使用して製品もしくはサービスを購入もしくはレビューすること、サードパーティ・システム１３０に対して情報を要求すること、または任意の他の適切なアクションを行ったことのあるユーザを識別する。ターゲティング基準にアクションを含むことで、広告主は、広告キャンペーンからのコンテンツの提示を受けるのに適格なユーザをさらに絞り込むことができる。別の例として、ターゲティング基準は、別のユーザもしくはオブジェクトとつながりを有しているユーザ、または別のユーザもしくはオブジェクトとの特定のタイプのつながりを有しているユーザを識別することができる。

広告選択部３１０は、広告システム１４０または１６０にアクセスするユーザに提示する広告の要求を受信する。別個のソーシャル・ネットワーキング・システム１５０がある実施形態においては、要求は、そのシステム１５０から受信することができる。受信される各要求は、広告を提示するべきユーザに関連付けられている一意のユーザ識別子（「ユーザＩＤ」）を少なくとも含む。例えば、所与のユーザに対するインプレッション機会が利用できるようになる場合、広告選択部３１０は、そのユーザのユーザＩＤを受信することができる。このような要求に応答して、広告選択部３１０は、インプレッション機会があるユーザのための広告を選択する選択プロセスを実行または実施する。広告選択部３１０は、広告ストア３０５の中で、広告の提示を受けることになるユーザに関連付けられる情報によってターゲティング基準が満たされる広告キャンペーン候補を選択する。いくつかの実施形態では、広告選択部３１０は、ソーシャル・ネットワーキング・システム１５０から、ユーザに関連付けられる情報を要求する。このような情報は、ユーザ・プロフィール・ストア２０５に記憶されているユーザのユーザ・プロフィールからの、またはソーシャル・ネットワーキング・システム１５０内でユーザが行い、アクション・ログ２２０に記憶されているアクションからの情報を含むことができる。

広告キャンペーン候補から、広告選択部３１０は、広告選択プロセスを通じて広告キャンペーンを選択する。広告候補は、他の因子の中でも特に、ユーザとの広告コンテンツの関連度、広告コンテンツもしくは製品もしくはブランドに対するユーザのアフィニティ、ユーザの好み、ユーザのプロフィール、広告システムもしくはこのシステムの外部でユーザが行った過去のアクション（例えば、広告にクリックしたか否か、広告を非表示にすることなど）、ユーザによるコンバージョン（conversion）の可能性を含め、多様な要因に基づいて、ユーザについてランク付けすることができる。さらに、広告候補または潜在的にランク付けられる広告候補は、広告オークションに含めることができる。例えば、広告選択部３１０は、広告キャンペーン候補の入札額に基づいて、オークションプロセスを行うことができる。オークションプロセスから、ユーザに対して１つまたは複数の広告を選び出すことができる。広告または広告キャンペーンが最終的に選択されると、広告選択部３１０は、ユーザに提示するために広告コンテンツを広告要求部２３０に送信する。広告選択プロセスの広告候補のうちの１つまたは複数は、リフト調査のタグが付けられた広告にすることができ、これは、広告の扱い方に影響するとともに、リフト調査の実施に関係する広告については、一定の工程を実行させる。これは、より詳細に以下のセクションで説明する。

広告リフトの測定
広告キャンペーンの目標は、広告コンテンツが提示されるユーザによるコンバージョンを増やすことにすることが可能である。所与の広告キャンペーンの広告リフト指標は、広告キャンペーンに帰することのできるコンバージョンの実際の増加を数値化する。広告リフトを測定することは、広告主と広告プラットフォームの双方にとって有益である。具体的には、測定により、広告のパフォーマンスがどのようなものか、異なる広告プラットフォーム間に広告予算をどのように割り振るかについてのインサイト（insight）を与えてくれる。また、コンバージョン前に、アクションを実行するユーザに対して同じプラットフォームまたは異なるプラットフォームで複数の広告が提示された場合、広告のリフト測定を使用して、コンバージョン（ひいては、消費した広告）のうちのどの程度がその広告に帰せられるべきかを決定することができる。

提示する広告コンテンツの選択の他に、広告システム１５０は、広告キャンペーンの広告リフト指標も測定する。具体的には、広告選択プロセスでユーザに対する候補として含めるために、広告キャンペーンの広告コンテンツを広告選択部３１０が選択すると、広告選択部３１０は、広告選択のある時点で、候補のいずれかが、現在、リフト調査の一部であるかどうかも判別する。リフト調査は、広告主または広告システムが「リフト」、つまり、１つまたは複数の広告キャンペーンに帰すことのできるコンバージョンの増加を判断するためにセットアップするものである。システムは、リフト調査に広告を含むという指示を受信する。広告主調査ストア３１５は、広告主がセットアップしたリフト調査を記憶する。広告主調査ストア３１５に記憶される各リフト調査は、（ａ）調査に含める広告ＩＤ、（ｂ）調査に参加するべきターゲット母集団またはユーザ数、および（ｃ）試験群に対し、対照群を構成するべき参加ユーザの割合、を含む１つまたは複数のパラメータによって定義される。広告主は、関心のあるコンバージョンタイプ、例えば、広告の製品の購入、アカウントの登録、イベントへの参加等を示すこともできる。対照群は、調査中の広告キャンペーンに関連付けられている広告を提示されないユーザを含む。試験群は、調査中の広告キャンペーンに関連付けられている広告を提示するために選ばれたユーザを含むが、試験群のユーザ全員に広告が提示されるわけではなくてもよい。いくつかの実施形態では、広告主は、調査内の広告キャンペーンに、対照群がそのキャンペーンの広告を全く受信しない複数の広告を含めることができる。

広告キャンペーンがリフト調査の一部である場合、広告選択部３１０は、ユーザがリフト調査の参加者であるかどうかを判別するか、またはターゲティング基準を満たすユーザ全員を含める予定の場合、ターゲット基準との合致が判別されるとそのユーザを自動的に含むことができる。広告選択部３１０は、ユーザが調査の対照群に参加するかまたは試験群に参加するかも判別する。広告選択部３１０は、これを、ユーザに対するインプレッション機会があるときにリアルタイムで判別または計算するので、判別は、広告選択プロセス中またはその直前になされる。一実施形態において、広告選択部３１０は、ハッシュ・アルゴリズム、ＭＤ５チェックサム、またはユーザを試験もしくは対照に無作為に割り振る他のメカニズムを使用する。例えば、システムは、ユーザのユーザＩＤのハッシュを使用することができる。広告主または広告システムは、試験群に対して、どのくらいの割合のユーザを対照群に含めるかを事前に設定している場合があるため、ユーザを試験群と対照群とに割り振るために使用される方法は、概ね正しい割合のユーザを各群に割り振ることを確実にするように、この割合を考慮する。試験群または対照群に関する計算結果は、広告接触ロガー３２０によって広告接触ログ３２５に記録される。このように、ロガー３２０は、試験群と対照群の双方について、リアルタイムでユーザの母集団を構築し始める。広告接触ログ３２５は、各ユーザについて、ユーザＩＤ、リフト調査の広告に関連付けられている広告ＩＤ、およびユーザが試験に入れられたか対象に入れられたかを含むことができる。

対照群に入れられたユーザについては、広告選択プロセスのある時点でリフト調査の広告は除外され（例えば、広告選択プロセスで広告候補としての考慮から除かれる）、最終的に広告がユーザに対して絶対に選択されないようにするが、これは、ユーザに対して広告が選択されてから、間際になって表示から削除されるという問題を防ぐのに役立つ。広告は、広告スタックの他のレベルの中でも特に、他の様々な広告の中から候補として当初選択された後、広告のランク付けを行っている最中またはその後、広告オークションプロセスの直前またはその最中に、除外することができる。いくつかの実施形態においては、システムは、ユーザが対照群のユーザであると判別されるとすぐに、広告を除外する。対照群へのユーザの割り振りは、ユーザに対して最終的な広告選択が行われる前の、広告選択プロセスの任意の時点で行うこともできる。いくつかの実施形態においては、システムは、調査が偏らないこと、および試験群と対照群とが本当に無作為に選択されることをなお確保しながら、可能な限り広告スタックの後期で広告を除外する。システムは、無作為性をなお維持しながら、広告を除外することのできる広告スタックの最低位レベルが何かをテストするために、オフラインで実行することもできる。例えば、広告スタックのあるレベルで広告を除外することにより、所与のユーザが入るかもしれない群をシステムが予測できる場合、ユーザの割り振りは無作為とは見なされず、広告スタックでの除外のレベルが低すぎる可能性がある（例えば、広告の最終選択に近すぎる）。

試験群に入れられたユーザについては、リフト調査の広告は、広告選択プロセスを通じて続行が許され、最終的にリフト調査の広告が選択されて試験群のユーザに提示されることも、またはされないこともある。したがって、試験群のユーザを宣言されて、システムによって試験群に属すると記録されている一部のユーザは、実際には広告に接触しない。試験群で接触するユーザが、接触ターゲット群（exposed target group）と呼ばれる試験群の一部分を構成する。広告を受信しない、試験群の残りのユーザは、やはり広告を受信しなかった対照群のユーザとともに、未接触ターゲット群となる。

リフト調査における、広告への接触に関する情報は、広告接触ログ３２５に記憶される。具体的には、調査の一部である各広告キャンペーンについて、広告接触ロガー３２０は、最終的に広告に接触することになった試験群のユーザのリストを維持する（例えば、広告選択プロセスが続行し、リフト調査の広告はユーザに対して最終的に選ばれて提示されたものである）。広告接触ロガー３２０は、例えば、リフト調査の広告が最終的に選択されなかった試験群のユーザ、およびリフト調査の広告が保留された対照群のユーザなど、接触しなかったユーザも記録することができる。

このリフト調査の設計は、ユーザを対照群もしくは試験群に予め割り振ることから生じかねない、またはユーザに対して最終的に広告を選択した後に対照群から広告を除外することから生じかねない、調査の偏りの問題を防ぐのに役立つ。間際になって広告を除外する結果、対照群が空いた広告スロットを有するか、またはターゲットになる頻度が低くなる可能性があり、試験群に対して対照群の体験が変わりかねず、２つの群が調査の目的上統計的に同じでなくなる。２つの群が統計的に同じでない場合、ユーザへの広告の提示に起因してユーザが製品を購入したためにリフトが生じたのか、または他の何か無関係の要因によってリフトが生じたのかが明確でなくなるため、リフトの計算に問題が生じる。一例として、試験群のユーザがリフト調査の広告を１日目に受信してそれをクリックする場合、システムは、ユーザがその広告に関心があると学習することができるので、これにより、システムが２日目にランクを高く付け、そのユーザに対して同じ広告を選択する可能性を高めることができる。しかし、代わりに、そのユーザが対照群に入れられた場合は、システムは、ユーザに関するこの情報を１日目に学習することはないので、このユーザに対する２日目のその広告のランキングは異なる。したがって、ユーザを対照群に入れることから、リフト調査に偏りが生じかねず、この偏りは、対照群に対して広告を除外するために待機する広告スタックの下にいくほど大きくなりかねないので、ここで説明する広告システムは、広告スタックのより高位で広告を除外することによってこの問題を制限する。

広告システム１４０または１６０のユーザがアクションを実行する、つまり、広告主が指定する所望のアクションを実行する場合、広告主または広告主に関連付けられているシステム／ウェブサイトは、ユーザがアクションを実行したことを示す通知を（例えば、広告主のウェブサイトの１つまたは複数のページ上のトラッキング・ピクセル（tracking pixel）を通じて）広告システムに送信する。通知は、アクションを実行したユーザのユーザＩＤを含む。通知は、アクションを実行した各ユーザについて、コンバージョンに関する具体的な明細も含むことができる。例えば、通知は、広告主のウェブサイト上でユーザがショッピングに費やした金額を含むことができる。広告システム１５０は、広告主から受信したコンバージョンの通知をコンバージョン・ストア３３５に記憶する。

リフト調査における各広告キャンペーンについて、リフト計算部３３０は、広告接触ログ３２５に記憶されている調査参加者およびコンバージョン・ストア３３５に記憶されているコンバージョン通知に関する情報に基づいて、キャンペーンのリフト指標を生成する。リフト計算部３３０は、生成した指標をリフト指標ストア３４０に記憶し、場合によっては、リフト指標に関係する１つまたは複数のレポートを、キャンペーンに関連付けられている広告主に提供する。リフト指標は様々な方法で計算することができる。一実施形態において、リフト計算部３３０は、試験群のアクション実行者数と対照群のアクション実行者数との差に基づいてリフト指標を計算する。以下に述べるように、試験群の一部が最終的に試験調査広告に接触しないことがあっても、試験群および対照群全体に基づいてリフト指標を計算すると、結果的に、各群のユーザが広告選択プロセスの同じ段階で識別されたことになるため、より正確なリフト指標が出る。

残りの説明は、広告ストア３０５に記憶されている所与の広告キャンペーン、キャンペーンＡＢＣ、の広告リフトを測定することの詳細についてである。説明のために、キャンペーンＡＢＣは、広告ストア３０５に定義された通りのターゲット母集団に関連付けられ、調査ストア３１５に記憶されているリフト調査の一部でもあると仮定する。リフト調査は、調査に参加するべきユーザの数と、試験群に対して対照群を構成するべき参加ユーザの割合とを特定する。

図４Ａは、キャンペーンＡＢＣについての広告リフト調査を実行する様々な段階を示す図である。段階４０５は、キャンペーンＡＢＣのターゲット母集団を示す。ターゲット母集団は、広告主が提供するキャンペーンＡＢＣについてのターゲティング基準（例えば、米国在住で年齢１８〜２４歳の料理好きの男性）を満たす、広告システムのユーザ全員を含む。ターゲティング基準は、広告キャンペーンにおいてコンテンツの提示を受けるのに適格なユーザの１つまたは複数の特性を指定する。図４の例では、ターゲット母集団全体が、リフト調査を実行する様々な段階を経て絞り込まれているところを示す。動作時、広告選択部３１０は、広告要求部２３０から広告コンテンツの要求を受信すると、ユーザを、試験または対照の調査参加者として選択する。

段階４１０は、段階４０５のターゲット母集団の中の、キャンペーンＡＢＣについてのリフト調査が継続している期間中に広告システムにアクセスしたかまたはシステム上で広告インプレッションが利用できるようになった、広告選択部がキャンペーンＡＢＣと合致させた部分集合を示す。

段階４１５は、段階４１０の母集団の中の、広告選択プロセスに入った部分集合、またはその他の形で広告に適格であると判別されたかもしくは広告の合理的な候補であった部分集合を示す。この群４１５は、４１０のメンバー全員を含むかもしれないし（もしくは段階４１０がないことがある）、または４１０の部分集合であるかもしれない。例えば、群４１０の中に、広告システムにアクセスするが、何らかの理由で広告を受信するのに適格ではない人がいることがある。ユーザが部分集合４１５に加わり、広告選択プロセスに入ると、広告システムはある時点で、ユーザを試験群または対照群に含めるべきかどうかを判別し、このデータを記録する。試験ユーザの場合、リフト調査の広告は、広告選択プロセスを通じて続行し、ユーザに対して選択することができる。対照ユーザの場合、リフト調査の広告は、広告選択プロセスのある時点で除外される。この段階で参加者を選択することで、対照群および試験群の双方にとってのコンテンツ消費体験はほぼ同じであり、リフト調査による影響を受けていないため、より正確なリフトの計算が提供される。具体的には、この段階で、広告システム１５０は、異なる広告コンテンツまたは何か他のコンテンツを対照群に提示することによって、広告コンテンツの受信から除外されている対照群を補正することができる。対照群が広告選択および提示プロセスのこれより後で選択される場合、場合によっては、対照群は、試験群とは異なる体験を受けることがある。この体験の相違は、リフト計算に対して影響を与えることになるであろうが、段階４１５に図示される選択プロセスによって防がれる。

段階４２０は、リフト調査の広告に接触した試験群および対照群の部分集合を示す。広告は、対照群のユーザについては除外されたため、対照群のユーザの誰も広告に接触していない。試験群のユーザについては、広告選択プロセスで試験群のユーザに対して最終的に広告が選択されることも、またはされないこともあるため、試験群のうちの一部のみが広告を受信する。

段階４２５は、試験群の中の、アクションを実行した（converted）接触ターゲット部分集合４２０と、４１５の対照群の中の、アクションを実行した部分集合とを示す。試験群と対照群とのコンバージョンの差は、試験群と対照群とのコンバージョン率（conversion rates）の差を示す。そのため、コンバージョンの差は、キャンペーンＡＢＣがもたらすリフトに帰することができる。

図４Ｂは、キャンペーンＡＢＣについての広告リフト調査のために選択された試験群および対照群を示す図である。母集団４３０は、広告主が提供するキャンペーンＡＢＣについてのターゲティング基準を満たす広告システムのユーザを含む。対照群４４０は、キャンペーンＡＢＣについてのリフト調査に参加するために選択され、リフト調査の広告が広告選択プロセスのある時点で除外されるユーザを含む。試験群４３５は、キャンペーンＡＢＣについてのリフト調査に参加するために選択されたユーザを含み、このユーザに対するリフト調査の広告は、広告選択を通じて続行する。試験接触群４４５は、試験群４３５の中の、最終的にリフト調査の広告に接触したユーザを含む。試験接触アクション実行者４５０は、群４４５の中の、接触の結果としてアクションを実行したユーザを含む。試験未接触アクション実行者４５５は、群４３５の中の、広告に接触しなかったが、それでもアクションを実行したユーザを含む。対照アクション実行者４６０は、群４４０の中の、アクションを実行したユーザを含む。

キャンペーンＡＢＣについてのリフト指標を計算するために、リフト計算部３３０は、試験群４３５の中の、アクションを実行したユーザ数（４５０および４５５）と、対照群４４０の中の、アクションを実行したユーザ数（４６０）とを決定する。一般に、試験群および対照群のユーザの総数は同じか、または互いの許容誤差、例えば、プラス／マイナス５０人の範囲内である。試験群のユーザ数が対照群のユーザ数よりもはるかに多い（例えば、２倍である）場合、リフト計算部３３０は、スケール調整した数が試験群のユーザ数と等しくなるように、対照群のユーザ数をスケール調整する。このようなシナリオにおいては、対照群の中の、アクションを実行したユーザ数もスケール調整する必要がある。このスケール調整のために、リフト計算部３３０は、まず、スケール調整前の対照群のコンバージョン率を決定する。リフト計算部３３０は、次いで、計算したコンバージョン率に対照群のスケール調整済みユーザ数を乗じて、アクションを実行したスケール調整済みユーザ数を計算する。

スケール調整が有益であるようなシナリオを例示するために、試験群には１０００人のユーザがいて、そのうちの２２０人のユーザがアクションを実行し、対照群には５００人のユーザがいて、そのうちの４０人のユーザがアクションを実行したと仮定する。リフト指標の計算の間、リフト計算部は、対照群のコンバージョン率を８パーセントと決定する（４０割る５００）。リフト計算部３３０は、また、試験群のユーザ数と一致させるために、対照群のユーザ数を２倍してスケール調整する。リフト計算部３３０は、次いで、対照群のコンバージョン率が１０００の８パーセントで８０になることに基づいて、スケール調整した対照群の中の、アクションを実行したであろうユーザ数を決定する。

リフト指数計算に戻ると、試験群４３５および対照群４４０のそれぞれの中の、アクションを実行したユーザ数が決定されたら、リフト計算部３３０は、この２つの数値の差として増分リフトを計算する。増分リフトは、広告キャンペーンに帰すことのできるコンバージョン数の正確な尺度である。リフト計算部３３０は、アクション実行者のベースライン数、つまり、ユーザがリフト調査の広告に接触しなかったとしてもアクションを実行したであろうユーザ数も計算する。ベースライン数を計算するために、リフト計算部３３０は、試験接触アクション実行群４４５に含まれるユーザ数から増分リフトを引く。この結果得られた数は、リフト調査の広告に接触しなくてもアクションを実行したであろうユーザ数を数値化する。ベースライン数は、試験群および対照群の中で測定可能なコンバージョンのリフトがあれば、ユーザが接触するリフト調査の広告に確実に帰すことができるという仮定に基づいて、試験群４３５と対比した試験接触アクション実行群４４５を用いて計算する。

次に、リフト計算部３３０は、アクション実行者のベースライン数に対する、リフト調査の広告によって生じたコンバージョンの増加率として、リフト指標を計算する。具体的には、リフト計算部は、増分リフトをアクション実行者のベースライン数で割って、コンバージョンの増加率を数値化する。このリフト指標は、リフト指標ストア３４０に記憶される。

表１は、試験母集団と対照母集団の構築の別の例示を記載する。

この例では、ターゲット・オーディエンスは合計３０万人のユーザを含み、広告選択プロセスに参加するユーザは約１６万人である。この広告スタックレベルのある時点で、１６万人のユーザは、８万人の試験群と８万人の対照群とに分けられる。また、このレベルのある時点で、リフト調査の広告は、８万人のユーザから除外される。８万人の試験群について、リフト調査の広告は、広告選択を通じて続行し、最終的に、８万人のうちの６．７万人に接触させるので、試験群のうちの１．３万人は未接触のままである。８万人の試験ユーザのうちコンバージョン・イベントが起こったユーザは８千人で、８万人の対照群のうちコンバージョンが起こったユーザは１．８千人である。コンバージョン率は、試験群の中の、アクションを実行した人を、試験群の人で割って計算し、対照群の人についても同じである。試験群のユーザについては１０％のコンバージョンが、対照群のユーザについては２．２５％のコンバージョンがあったので、広告は、追加で７．７５パーセントポイント（「増分リフト」）の価値があったことになり、大幅に金額が増えた（８０万＄対１５万＄）。

ここで説明するリフト調査の設計を使うと、試験ユーザ全員に接触するわけではないので、システムは、アクションを実行した接触ターゲット群と全体的なコンバージョン率との差に基づいて、ベースライン・コンバージョン率（baseline conversion rate）を計算する。具体的には、アクションを実行した８千人の試験群の人のうち、一部は６．７万人の接触者であり、一部は１．３万人の非接触者であった。試験群と対照群が同一であるというバランスをシステムが信用する場合、試験群または対照群間の唯一の差は、試験群が広告を見たかもしれないことになるはずである。このように、システムは、リフト調査の広告によるコンバージョンに対する何らかの影響が、接触した６．７万人の試験ユーザに及び、接触しなかった１．３万人の試験ユーザには及ばなかったと仮定することができる。そのため、ベースライン・コンバージョン率、つまり、広告に接触しなくてもユーザがアクションを実行する率は、接触ターゲット群のコンバージョン率と増分リフトとの差として計算される。この例では、ベースライン・コンバージョン率は、１２％（接触ターゲット群のコンバージョン率）から７．７５％（増分リフト）を引いて、４．２５％になるであろう。さらに、リフト指標、つまり、広告に帰せられるコンバージョンの増加率は、増分リフトをベースライン・コンバージョン率で割って計算する。そのため、この例では、リフト指標パーセントは、７．７５％を４．２５％で割って、１８２％のコンバージョンの増加率になる。

図５は、所与のユーザに対してリフト調査を実行するための、広告要求部２３０と広告選択部３１０との間の対話を示す相関図である。ユーザが広告システム上のコンテンツを操作および消費または操作もしくは消費するとき、広告要求部２３０は、広告を受信する候補としてユーザを選択することができる。広告要求部２３０は、ユーザに提示してもよい広告候補の要求を広告システム１５０の広告選択部３１０に送信する（５０５）。ユーザがターゲティング基準に合致して適格である広告は、数百または数千あるかもしれない。応答して、広告選択部３１０は、広告ストア３０５から、閲覧ユーザついての選択プロセスで検討するために、所与の広告キャンペーン、キャンペーンＡＢＣ、を含め、ユーザが適格である可能性がある広告を選択する（５１０）。広告選択プロセスは、ユーザに対して最善の広告（例えば、他の要因の中でも特に、関連度、ユーザが広告をクリックするかまたは広告に基づいてアクションを実行する可能性）に最高のランクが付けられるように、様々な要因に基づいて広告候補のランキングを含むことができる。広告候補は、広告の選択において特定のユーザが検討される前に、広告主が広告を出すために入札するオークションを経ることもできる。広告キャンペーンで利用できる予算も検討することができる。広告選択プロセスは、最終的に、閲覧ユーザに提示する広告の選択に至る。

広告選択プロセスの一部として、広告選択部３１０は、現在広告主調査ストア３１５に記憶されているリフト調査の一部であるキャンペーンＡＢＣなど、任意の広告がリフト調査に含まれるかどうかも判別する（５１５）。ここでも、広告主調査ストア３１５に記憶されている各リフト調査は、１つまたは複数のパラメータ、例えば（ａ）調査に含める広告ＩＤ、（ｂ）調査に参加するべきユーザ数（または全ユーザを参加させるように選択することができる）、および（ｃ）試験群に対して対照群を構成するべき参加ユーザの割合によって定義される。

広告選択部３１０は、試験群または対照群に閲覧ユーザを含めるかどうかを、リフト調査パラメータに基づいて計算する（５２０）。一実施形態では、広告選択部３１０は、ハッシュ関数などの、閲覧ユーザがリフト調査の試験群または対照群の参加者になるべきかどうかを判別するために閲覧ユーザに関連付けられているユーザＩＤを処理する関数を用いて構成される。広告選択部３１０は、その決定を広告接触ログ３２５に記憶する。ユーザが調査の対照群に参加する場合、広告コンテンツは、ユーザに対して保留される（５２５）。対して、ユーザが調査の試験群に参加する場合、広告コンテンツは、ユーザに対して保留されずに、広告選択プロセスを通じて続行することが許される（５２５）。

試験群のユーザに対して広告が選択されると、その広告がキャンペーンＡＢＣ用の広告である場合、広告選択部３１０は、広告接触を広告接触ログ３２５に記録し（５３０）、広告コンテンツをユーザに提示するために広告要求部２３０に送信する（５３５）。記録および送信は同時に行ってもよいし、または、送信の前もしくは後に記録を行ってもよい。

図６は、広告キャンペーンに関連付けられているリフト指標を計算するプロセスのフロー図である。リフト調査の所与の広告キャンペーンについて、リフト計算部３３０は、広告キャンペーンに関連付けられている広告主からコンバージョン・データを受信する（６０５）。コンバージョン・データは、アクションを実行した、つまり、広告主が指定する所望のアクションを行ったユーザのユーザＩＤ、または他の識別情報を含むことができる。コンバージョン・データは、アクションを実行した各ユーザについて、コンバージョンに関する具体的な詳細も含んでもよい。例えば、通知は、ユーザが広告主のウェブサイトでショッピングに費やした金額を含んでもよい。リフト計算部３３０は、コンバージョン・ストア３３５にコンバージョン・データを記憶する。

リフト計算部３３０は、また、広告キャンペーンに関連付けられて、広告接触ログ３３５に記憶されている接触ログを引き出す。上述したように、広告接触ログ３３５は、広告キャンペーンに関連付けられているリフト調査の参加者のリストを維持し、所与の参加者が調査の対照群または試験群に属するかどうか、また、試験群のメンバーが広告に接触したかどうかも示す。ログ３５５のユーザのユーザＩＤと広告主からのコンバージョン・データのユーザのユーザＩＤとを照合して、具体的にどのユーザがアクションを実行したか（また、広告に接触したかどうかの他にどちらの群にいたか）を判別することができる。

コンバージョン・データおよび接触ログに基づいて、リフト計算部３３０は、対照群の調査参加者のコンバージョン率を決定する（６１５）。この対照のコンバージョン率は、対照群の参加者の総数に対する、対照群の中の、アクションを実行した参加者数を示す。リフト計算部３３０は、試験群の調査参加者のコンバージョン率も決定する（６２０）が、特に、接触ターゲット群に的を絞ることができる。この試験のコンバージョン率は、試験群の参加者の総数に対する、試験群の中の、アクションを実行した参加者数を示す。

リフト計算部３３０は、広告キャンペーンの対照群と試験群との差に基づいて、広告キャンペーンについてのリフト指標を計算する（６２５）。リフト指標は、所与の広告キャンペーンがコンバージョンに対して与えた影響を示す。具体的には、リフト指標は、広告キャンペーンに関係する広告が、対照群（広告が提示されるように選択されなかったユーザ）に比べて高い率で、試験群（広告が提示されるように選択されたユーザ）にアクションを実行させたかどうかを示す。リフト計算部３３０は、生成された指標をリフト指標ストア３４０に記憶し、場合によっては、リフト指標に関係する１つまたは複数のレポートを、キャンペーンに関連付けられている広告主に提供する。

結論
以上の本発明の実施形態の説明は、例示のために提示されており、網羅的なものであることも、または開示されている厳密な形態に本発明を限定することも意図されていない。当業者は、上記の開示に鑑みて、多くの変更および変型が可能であることを理解できる。

この説明のいくつかの部分では、本発明の実施形態を、情報に関するオペレーションのアルゴリズムおよび記号表現によって記述している。これらのアルゴリズムによる記述および表現は、データ処理業界の当業者がその作業の内容を他の当業者に効果的に伝えるために一般に使用されるものである。これらのオペレーションは、機能的、計算処理的または論理的に記述されるが、コンピュータ・プログラムまたは同等の電気回路、マイクロコードなどによって具体化されると理解される。また、一般性を損なうことなく、これらのオペレーションの構成をモジュールと呼ぶのが、ときに好都合であることも証明されている。記述されるオペレーションおよびその関連モジュールは、ソフトウェア、ファームウェア、ハードウェアまたはその任意の組み合わせで具現化することができる。

本明細書において説明される工程、オペレーションまたはプロセスのいずれも、１つもしくは複数のハードウェアもしくはソフトウェア・モジュールを用いて、単独で、または他のデバイスと組み合わせて実行または具体化することができる。一実施形態では、ソフトウェア・モジュールは、コンピュータ・プログラム・コードを含むコンピュータ可読媒体を備えるコンピュータ・プログラム製品を用いて実装され、そのコンピュータ・プログラム・コードは、説明される工程、オペレーションまたはプロセスのいずれかもしくは全部を実行するために、コンピュータ・プロセッサによって実行することができる。

本発明の実施形態は、本明細書のオペレーションを実行する装置にも関することが可能である。この装置は、必要な目的のために特別に構築されてもよいとともにコンピュータに記憶されているコンピュータ・プログラムによって選択的に起動もしくは再構成される汎用コンピューティング・デバイスを備えてもよく、または、必要な目的のために特別に構築されてもよいかもしくはコンピュータに記憶されているコンピュータ・プログラムによって選択的に起動もしくは再構成される汎用コンピューティング・デバイスを備えてもよい。そのようなコンピュータ・プログラムは、コンピュータ・システム・バスに連結することのできる非一時的な有形のコンピュータ可読記憶媒体、または電子的な命令を記憶するのに適した任意のタイプの媒体に記憶することができる。さらに、本明細書において参照される任意のコンピューティング・システムは、シングル・プロセッサを含んでもよく、または、コンピューティング能力を高めるためにマルチ・プロセッサ構成を採用するアーキテクチャであってもよい。

本発明の実施形態は、本明細書において説明するコンピューティング・プロセスによって製造される製品にも関することが可能である。そのような製品は、コンピューティング・プロセスから得られた情報を含むことができ、その情報は非一時的な有形のコンピュータ可読記憶媒体に記憶され、本明細書において説明するコンピュータ・プログラム製品または他のデータの組み合わせの任意の実施形態を含むことができる。

最後に、本明細書において使用されている言葉は、主に読みやすさと教示上の目的で選択されており、本発明の主題の範囲の線引きまたは画定のために選択されていない場合がある。そのため、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づく出願に関して生じるあらゆる請求項によって限定されるということが意図されている。したがって、本発明の実施形態の開示は、本発明の範囲を限定するのではなく、例示的なものであることが意図されており、本発明の範囲は、以下の請求項に記載される。

Claims (19)

1. 方法であって、該方法は、
   複数のユーザのターゲット母集団に関連付けられる広告をリフト調査に含めるための指示を受信する工程と、
   複数のユーザに対するインプレッション機会が利用できるようになると、前記ターゲット母集団のユーザに対する広告を選択する広告選択プロセスを行う工程と、
   前記広告選択プロセスが行われる各ユーザについて、
   前記リフト調査の広告が前記ユーザに対する広告候補であることを決定し、
   前記ユーザを前記リフト調査の試験群または対照群に含めるべきかどうかを計算し、
   前記ユーザが前記対照群に属すると示す計算に基づいて、前記ユーザに対して別の広告が選択されるように、前記ユーザについての前記広告選択プロセスの完了から前記広告を除外し、
   前記ユーザが前記試験群に属すると示す計算に基づいて、前記ユーザが前記リフト調査の広告か、または別の広告のいずれかを受信するように、前記広告を前記広告選択プロセスを通じて続行させる工程と、
   前記試験群の中から、前記試験群の一部分である接触ターゲット群として前記広告を受信する複数のユーザを記録する工程と、
   前記試験群の複数のユーザと前記対照群の複数のユーザとのコンバージョン率の差に基づいて、前記広告のリフトを計算する工程と、を備え、
   前記リフトを計算する工程はさらに、
   前記試験群と前記対照群とのアクション実行者数の差である増分アクション実行者数を決定する工程と、
   前記接触ターゲット群のアクション実行者数から前記増分アクション実行者数を引いたベースライン・アクション実行者数を決定する工程と、
   前記増分アクション実行者数を前記ベースライン・アクション実行者数で割る工程と、
   を含む、方法。
2. 前記ユーザについての前記広告選択プロセスの完了から前記広告を除外する工程は、
   前記広告が広告オークションを完了しないように、最終的な広告が選択される前に前記広告を除外する工程を含む、請求項１に記載の方法。
3. 前記ユーザについての前記広告選択プロセスの完了から前記広告を除外する工程は、
   広告オークションに広告を提出する前に、前記広告を除外する工程を含む、請求項１に記載の方法。
4. 前記ユーザについての前記広告選択プロセスの完了から前記広告を除外する工程は、
   前記ユーザに対する他の広告候補とともに前記広告をランク付けする前に、前記広告を除外する工程を含む、請求項１に記載の方法。
5. 前記ユーザについての前記広告選択プロセスの完了から前記広告を除外する工程は、
   無作為に選択される試験群と対照群とを実現しながら、可能な限り前記広告選択プロセスの後期で前記広告を除外する工程を含む、請求項１に記載の方法。
6. 前記広告が前記広告選択プロセスに含まれるユーザのユーザ識別子を記録する工程と、
   前記ユーザが前記試験群または前記対照群に入ると計算されるかどうかを記録することによって、ユーザの試験母集団およびユーザの対照母集団を構築する工程と、をさらに備える請求項１に記載の方法。
7. 前記広告に関連付けられている広告主からアクションを実行したユーザのリストを受け取る工程と、
   そのリストを前記試験群のユーザおよび前記対照群のユーザと照合して、前記広告のリフトを計算する工程と、をさらに備える請求項１に記載の方法。
8. 前記ユーザを前記リフト調査の試験群または対照群に含めるかどうかを計算する工程は、
   前記広告選択プロセスが進行しているときにリアルタイムで、ユーザを前記対照群の前記試験群に無作為に割り振るハッシュ・アルゴリズムを適用する工程を含む、請求項１に記載の方法。
9. コンピュータ・プログラム・コードを含む非一時的なコンピュータ可読記憶媒体を備えるコンピュータ・プログラム製品であって、前記コンピュータ・プログラム・コードは、
   複数のユーザのターゲット母集団に関連付けられる広告をリフト調査に含めるための指示を受信する工程と、
   複数のユーザに対するインプレッション機会が利用できるようになると、前記ターゲット母集団の複数のユーザに対する広告を選択する広告選択プロセスを行う工程と、
   前記広告選択プロセスが行われる各ユーザについて、
   前記リフト調査の広告がユーザに対する広告候補であることを決定し、
   前記ユーザを前記リフト調査の試験群または対照群に含めるべきかどうかを計算し、
   前記ユーザが前記対照群に属すると示す計算に基づいて、前記ユーザに対して別の広告が選択されるように、前記ユーザについての前記広告選択プロセスの完了から前記広告を除外し、
   前記ユーザが前記試験群に属すると示す計算に基づいて、前記ユーザが前記リフト調査の広告か、または別の広告のいずれかを受信するように、前記広告を前記広告選択プロセスを通じて続行させる工程と、
   前記試験群の中から、前記試験群の一部分である接触ターゲット群として前記広告を受信する複数のユーザを記録する工程と、
   前記ターゲット母集団の複数のユーザと前記対照群の複数のユーザとのコンバージョン率の差に基づいて、前記広告のリフトを計算する工程と、を行わせ、
   前記リフトを計算する工程はさらに、
   前記試験群と前記対照群とのアクション実行者数の差である増分アクション実行者数を決定する工程と、
   前記接触ターゲット群のアクション実行者数から前記増分アクション実行者数を引いたベースライン・アクション実行者数を決定する工程と、
   前記増分アクション実行者数を前記ベースライン・アクション実行者数で割る工程と、
   を含む、コンピュータ・プログラム製品。
10. 前記ユーザについての前記広告選択プロセスの完了から前記広告を除外する工程は、
    前記広告が広告オークションを完了しないように、最終的な広告が選択される前に前記広告を除外する工程を含む、請求項９に記載のコンピュータ・プログラム製品。
11. 前記広告が前記広告選択プロセスに含まれるユーザのユーザ識別子を記録する工程と、
    前記ユーザが前記試験群または前記対照群に入ると計算されるかどうかを記録することによって、ユーザの試験母集団およびユーザの対照母集団を構築する工程と、をさらに備える請求項９に記載のコンピュータ・プログラム製品。
12. 前記試験群の中から、前記試験群の一部分である接触ターゲット群として前記広告を受信するユーザを記録する工程をさらに備える請求項９に記載のコンピュータ・プログラム製品。
13. 前記リフトを計算する工程は、
    前記試験群のユーザの総数の中から、前記試験群でアクションを実行したユーザ数として前記試験群のコンバージョン率を計算する工程と、
    前記対照群のユーザの総数の中から、前記対照群でアクションを実行したユーザ数として前記対照群のコンバージョン率を計算する工程と、
    前記試験群のコンバージョン率と前記対照群のコンバージョン率との差として、増分リフトを計算する工程と、
    前記接触ターゲット群のコンバージョン率と前記増分リフトとの差として、ベースライン・コンバージョン率を計算する工程と、
    前記増分リフトをベースライン・コンバージョン率で割ってリフトを計算する工程と、をさらに含む、請求項１２に記載のコンピュータ・プログラム製品。
14. 広告をリフト調査に含めるための指示を受信する工程は、
    広告主から、前記広告、前記広告についてのターゲティング基準、前記試験群に対して前記対照群に入れるべき前記ターゲット母集団の割合、およびコンバージョンに関する前記広告の目標を受信する工程を含む、請求項９に記載のコンピュータ・プログラム製品。
15. コンピュータ・システムであって、該コンピュータ・システムは、
    プロセッサと、
    前記プロセッサによって複数の工程を行わせるように実行可能なソフトウェア・モジュールを記憶する非一時的なコンピュータ可読記憶媒体とを備え、
    前記複数の工程は、
    複数のユーザのターゲット母集団に関連付けられる広告をリフト調査に含めるための指示を受信する工程と、
    複数のユーザに対するインプレッション機会が利用できるようになると、前記ターゲット母集団の複数のユーザに対する広告を選択する広告選択プロセスを行う工程と、
    前記広告選択プロセスが行われる各ユーザについて、
    前記リフト調査の前記広告が前記ユーザに対する広告候補であることを決定し、
    前記ユーザを前記リフト調査の試験群または対照群に含めるべきかどうかを計算し、
    前記ユーザが前記対照群に属すると示す計算に基づいて、前記ユーザに対して別の広告が選択されるように、前記ユーザについての前記広告選択プロセスの完了から前記広告を除外し、
    前記ユーザが前記試験群に属すると示す計算に基づいて、前記ユーザが前記リフト調査の広告か、または別の広告のいずれかを受信するように、前記広告を前記広告選択プロセスを通じて続行させる工程と、
    前記試験群の中から、前記試験群の一部分である接触ターゲット群として前記広告を受信する複数のユーザを記録する工程と、
    前記ターゲット母集団の複数のユーザと前記対照群の複数のユーザとのコンバージョン率の差に基づいて、前記広告のリフトを計算する工程と、を含み、
    前記リフトを計算する工程はさらに、
    前記試験群と前記対照群とのアクション実行者数の差である増分アクション実行者数を決定する工程と、
    前記接触ターゲット群のアクション実行者数から前記増分アクション実行者数を引いたベースライン・アクション実行者数を決定する工程と、
    前記増分アクション実行者数を前記ベースライン・アクション実行者数で割る工程と、
    を含む、コンピュータ・システム。
16. 前記ユーザについての前記広告選択プロセスの完了から前記広告を除外する工程は、
    前記広告が広告オークションを完了しないように、最終的な広告が選択される前に前記広告を除外する工程を含む、請求項１５に記載のコンピュータ・システム。
17. 前記広告が前記広告選択プロセスに含まれるユーザのユーザ識別子を記録する工程と、
    前記ユーザが前記試験群または前記対照群に入ると計算されるかどうかを記録することによって、ユーザの試験母集団およびユーザの対照母集団を構築する工程と、をさらに備える請求項１５に記載のコンピュータ・システム。
18. 前記広告に関連付けられている広告主からアクションを実行したユーザのリストを受け取る工程と、
    そのリストを前記試験群のユーザおよび前記対照群のユーザと照合して、前記広告の前記リフトを計算する工程と、をさらに備える請求項１５に記載のコンピュータ・システム。
19. ユーザが前記対照群または前記試験群に割り振られるかどうかを予測することが可能かどうかを判別するために、前記リフト調査についてオフライン調査を実行する工程をさらに備え、
    否定的な結果は、ユーザが実質的に無作為に前記試験群および前記対照群に割り振られていることを示す、請求項１５に記載のコンピュータ・システム。