JP5583696B2

JP5583696B2 - コンバージョン信頼度評価

Info

Publication number: JP5583696B2
Application number: JP2011548338A
Authority: JP
Inventors: シェン・マ; サラ・マスターズ; ファン・チャン
Original assignee: グーグル・インコーポレーテッド
Priority date: 2009-01-30
Filing date: 2010-01-29
Publication date: 2014-09-03
Anticipated expiration: 2030-01-29
Also published as: US20100198680A1; US8527350B2; JP2014207011A; KR101731009B1; US10438233B2; KR20110116150A; AU2010208097A1; WO2010088508A2; US20130325593A1; JP5838445B2; WO2010088508A3; KR20160103154A; AU2010208097B2; KR101651245B1; CA2751177A1; JP2012516520A

Description

関連出願の相互参照
本出願は、参照により本明細書に組み込まれている、2009年1月30日に出願した「Conversion Crediting」と題した米国特許出願第61/148669号の合衆国法典第35編(米国特許法)第119条(e)項の下での利益を主張するものである。

本明細書は、表示されるコンテンツに関連するイベントを処理することに関する。

一部の消費者に関して、インターネットは、それらの消費者の情報および娯楽の主なソースとして、新聞およびラジオなどの従来のメディアに取って代わった。さらに、広告主は、それらの広告主の商品およびサービスをオンラインでプロモーションするためにますます多くの時間および費用を費やすようになった。例えば、広告主は、消費者にアピールするためのさまざまな形態のオンライン広告、いくつか例を挙げるとすれば、ウェブブラウザでウェブページを訪れたときに別個のウィンドウに現れることがあるポップアップ広告、ユーザが例えば広告に関連する画像をクリックしたときにウェブブラウザを広告サイトに導くことができるバナー広告、および検索結果とともに表示される検索広告を生み出した。

広告主は、広告に関連するさまざまな属性(すなわち、データ)を追跡することができる。広告主にとって特に関心があるのは、広告に関連するインプレッション(すなわち、表示)またはクリックの数である。インプレッション、クリック、およびその他の種類の広告に関連するデータは、通常、広告イベントと呼ばれる。広告主は、広告に起因するビジネス活動にも関心がある。コンバージョンと呼ばれるこれらのビジネス活動は、広告主が消費者に行ってほしい行為、例えば、製品の購入またはウェブサイトへの登録を含み得る。ビジネス活動に関連するデータは、概して、コンバージョンイベントと呼ばれる。

自らの広告費に対する利益を増やすために、広告主は、どのくらい広告がコンバージョンをもたらしそうかを判定しようとする。例えば、消費者は、製品を購入しようと決心するまでに、当該製品をプロモーションする非常に多くの検索広告およびバナー広告を目にしている可能性がある。それぞれの広告が消費者の購入の決断にどれぐらい多くの影響を与えたのか、広告主にはよく分からない可能性がある。

概して、本明細書は、広告がビジネス活動の発生にどれぐらい寄与したかを決定するためのシステムおよび技術を記載する。一部の実装において、1つまたは複数の区間が選択される可能性があり、選択された区間内の広告イベントの数が決定され得る。結果として得られる数は、広告とビジネス活動の間の因果関係または関わり合いの度合いを決めるために使用され得る。例えば、一連の時間枠(time window)が、広告がコンバージョンにつながる確率の経時的な変化にある程度基づいて決定され得る。1つまたは複数の時間枠カウントが、各枠内の広告イベントの数をカウントすることによって決定され得る。時間枠カウントは、場合によっては、時間とともに大きさが急激に小さくなる重み係数を生成する重み付けモデルによって調整され得る。結果として得られる重み付けされた時間枠カウントは、合計されて、ビジネス活動に対する広告の寄与を表す信頼度を生成することができる。信頼度は、1つまたは複数の広告に関する信頼度の数値が、1つまたは複数の広告に関連するコンバージョンの数に等しくなり得るように正規化される可能性がある。

概して、本明細書に記載の対象の一態様は、コンバージョンイベントの前の少なくとも1つの時間枠の間の、広告に関連する広告イベントの数を決定することによって、少なくとも1つの時間枠カウントを決定するアクションと、少なくとも1つの時間枠カウントに重み係数を掛けて、少なくとも1つの重み付けされた時間枠カウントを生成するアクションと、少なくとも1つの重み付けされた時間枠カウントを合計して、広告とコンバージョンイベントの間の関わりの強さを表す信頼度を決定するアクションとを含む方法で実施され得る。この態様のその他の実施形態は、対応するシステム、装置、およびコンピュータプログラム製品を含む。

本明細書に記載の対象の別の態様は、コンバージョンイベントの前の少なくとも1つの時間枠の間の、広告に関連する広告イベントの数を決定することによって、少なくとも1つの時間枠カウントを決定する統計モジュールと、少なくとも1つの時間枠カウントに重み係数を掛けて、少なくとも1つの重み付けされた時間枠カウントを生成し、少なくとも1つの重み付けされた時間枠カウントを合計して、広告とコンバージョンイベントの間の関わりの強さを表す信頼度を決定するモデリングモジュールとを含むシステムで実施され得る。この態様のその他の実施形態は、対応するシステム、装置、およびコンピュータプログラム製品を含む。

本明細書に記載の対象の別の態様は、コンバージョンイベントの前の少なくとも1つの時間枠の間の、広告に関連する広告イベントの数の時間枠カウントを決定するアクションと、広告とコンバージョンイベントの間の関わりの強さを表す信頼度を決定するアクションとを含み、信頼度を決定するアクションは、少なくとも1つの時間枠カウントに対する重み付けモデルを選択するステップを含む方法で実施され得る。この態様のその他の実施形態は、対応するシステム、装置、およびコンピュータプログラム製品を含む。

本明細書に記載のシステムおよび方法は、以下の利点のうちの1つまたは複数を提供することができる。第1に、システムは、広告の有効性を決定する計算の複雑性を低減することができる。第2に、システムは、容易に理解および解釈し得るフォーマットで、広告の有効性に関する情報を示すことができる。第3に、システムは、重み付けモデルをリアルタイムで変更することを可能にすることができる。

本発明の1つまたは複数の実施形態の詳細が、添付の図面および以下の説明に記載されている。本発明のその他の特徴および利点は、それらの説明、図面、および特許請求の範囲から明らかになるであろう。

コンバージョン信頼度評価の概念図である。例示的な時間-コンバージョンの推移を示すグラフである。広告に関する例示的なコンバージョン信頼度評価の統計を示す表である。広告に関する例示的なコンバージョン信頼度評価の統計を示す表である。イベントマッピングの概念図である。例示的なコンバージョン信頼度評価システムの構成図である。コンバージョン信頼度評価の例示的なプロセスの図である。時間枠カウントの決定の例示的なプロセスの図である。時間枠カウントの決定のプロセスの代替的な例の図である。コンバージョン信頼度評価のためのコンピュータシステムの例示的な概略図である。

さまざまな図面における同様の参照符号は、同様の要素を示す。

本明細書は、広告がコンバージョンの発生にどれぐらい寄与したかを決定するためのシステムおよび技術を記載する。一部の実装において、コンバージョンの前の1つまたは複数の期間が、特定され得る。選択された期間内の広告イベントの数が、集計され、重み付けされ得る。これらの重み付けされた量は、広告に関する属性値を計算するために合計および正規化され得る。属性値は、広告がコンバージョンに寄与した度合い、すなわち、広告とコンバージョンの間の関わりの強さである可能性がある。

図1は、コンバージョン信頼度評価(conversion crediting)の概念図100である。例示的な図100は、広告およびコンバージョンに関連するイベント - 図100においては丸、三角形、六角形、および正方形の記号で表される - を示す。例えば、丸は、ディスプレイ広告(例えば、バナー広告)のクリックを表す可能性があり、三角形は、指定されたキーワードを含む検索の結果として表示された広告のクリック(「検索クリック」と呼ばれる)を表す可能性があり、六角形は、インプレッションを表す可能性があり、正方形は、コンバージョンイベント(例えば、チケットの購入)を表す可能性がある。例示的な図100は、イベントキー(以下で検討されるように1つまたは複数のイベント属性にマッピングされ得る)に従ってグループ分けされ、それらのそれぞれのグループ内で発生順に配置されたイベントを示す。以下でより詳細に検討されるように、例示的なイベントモデルが、コンバージョン信頼度評価システムがさまざまなイベントの種類を組み入れ、さまざまな種類の分析を実行することを可能にすることができる。

場合によっては、イベントデータ構造と呼ばれるデータ構造が、図1に示されたイベントを処理することを容易にするために定義され得る。イベントデータ構造は、イベントおよびイベントをモデル化することに関連するデータを記憶するために使用され得る。イベントデータ構造は、タイムスタンプ、イベント識別子、およびキーを含み得る。タイムスタンプは、イベントがいつ行われたかを示すことができ、一方、イベント識別子は、イベントの種類を示すことができる。例えば、イベント識別子は、広告プレースメント(advertisement placement)(例えば、ウェブページ上の広告プレースメント)、広告クリエイティブ(advertisement creative)(すなわち、画像などの、広告のコンテンツ)、広告に関連する広告主、またはイベントがコンバージョンである場合にはコンバージョンの種類を特定することができる。場合によっては、イベント識別子は、複数のイベント属性を含み得る。例えば、イベント識別子は、広告に関連付けられた広告プレースメントおよび広告主の両方を特定することができる。

イベントデータ構造に対するキーは、イベントをグループに分けるために使用され得る1つまたは複数のイベント属性を含み得る。図100に示された例において、示されたイベントに対するキーは、ユーザ識別子および関連するコンバージョンの種類の両方を表す可能性がある。例示的な識別子は、広告とのユーザのインタラクション(例えば、広告をクリックすること)、または広告がユーザの要求したウェブページ上に表示されたことを示す可能性がある。この例において、キーは、イベントが、同じユーザによって表示されたかまたはクリックされたかのいずれかである広告のグループに分けられることを可能にする。場合によっては、イベントデータ構造は、複数のキーを有する可能性がある。例えば、複数のユーザによりクリックされたオンライン広告は、それぞれのユーザについての異なるキーを含む可能性がある。

示されたイベントは、広告の種類、広告がいつ表示されたか、または誰が広告を見たかなどの、広告に関連する情報を特定することができる広告イベントを含み得る。広告イベントは、その他の広告属性、例えば、とりわけ、広告のサイズ、広告に関連するキーワード、またはコンテキスト(例えば、広告のための、ウェブページ内の表示位置)も特定し得る。示されたイベントは、とりわけ、ビジネス活動に関連するデータを含み得るコンバージョンイベントも含む可能性がある。例えば、コンバージョンイベントは、誰が製品を購入したか、または誰がウェブサイトに登録したかを示し得る。

例示的な図100は、いくつかのトランザクションも示す。概して、トランザクションは、キーを共有する1つまたは複数の広告イベントを含む可能性があり、トランザクションの終わりを示すコンバージョンイベントを含み得る。例えば、図100の一番上の長方形105は、例示的なトランザクションを包含する。例示的なトランザクションは、キー1を共有する広告イベントおよびコンバージョンイベントを含む。同様に、キー2に関連する長方形110および115は、キー2キーを共有するイベントを含むトランザクションを明示する。残りの長方形120は、キー3を共有するイベントを含む第4のトランザクションを示す。この例において、キー4に関連する一連のイベントはコンバージョンを含まないので、キー4のグループにはトランザクションが存在しない。

概念図100は、ユーザのオンラインの活動を表す可能性がある。この例において、図100は、4人のユーザの広告との接触およびインタラクションを表す。広告は、「ディスプレイ」広告または「検索」広告のいずれかである可能性がある。ディスプレイ広告は、ユーザがウェブページを訪れたときにユーザに対して表示される広告である。例えば、ユーザがニュースウェブサイトまたはウェブポータルを訪れたときに表示されるバナー広告は、ディスプレイ広告である。一方、検索広告は、検索結果とともに表示される広告である。

この例において、ユーザは、来るべき旅行のためのフライトに関連する情報に興味を持っている可能性がある。ユーザは、例えば、ニュースウェブサイトにナビゲートし、ZZ航空による有料広告を見る可能性がある。これらの広告のインプレッションは、図100において丸で表される。また、ユーザは、検索モジュールに「航空会社」という語を入力することによってフライト情報を検索する可能性がある。検索モジュールから返される結果は、ZZ航空による有料の、検索語に関連する広告を含み得る。そのようなスポンサーの付いた検索広告は、図100において六角形によって表される。

検索結果を吟味した後、ユーザの一部は、それらのユーザの検索クエリを調整することを決断する可能性がある。例えば、一部のユーザは、それらのユーザのそれぞれの検索モジュールに「ZZ航空」という語を入力する可能性がある。続いて得られる検索結果は、ユーザをZZ航空のウェブサイトに導き得る広告を含む可能性がある。これらのインプレッションは、図100において三角形の記号で表される。一部のユーザは、ZZ航空のウェブサイトへのリンクをクリックすることを選ぶ可能性があり、これらのコンバージョンは、図100において正方形で表される。

上で検討したシナリオは、例示的なコンバージョン信頼度評価システムを用いて示され得る多くのシナリオのうちの1つである。例えば、場合によっては、図1に示された形状は、検索クリックまたは検索に関連するインプレッション(すなわち、「検索インプレッション」)を表す可能性がある。例えば、丸は、「航空会社」に関連する検索クリックを表す可能性があり、六角形は、「ZZ航空」に関連する検索クリックを表す可能性があり、一方、三角形は、「航空会社」に関連するインプレッションを表す可能性がある。その他の状況において、それらの形状は、検索に関連付けられていないインプレッションおよびクリックを表す可能性がある(例えば、ディスプレイ広告)。例えば、ウェブポータル上に表示されるZZ航空がスポンサーの広告は、このカテゴリに入る可能性がある。場合によっては、それらの形状は、検索インプレッション、検索クリック、ならびに非検索インプレッションおよび非検索クリックの組み合わせを表す可能性がある。

インターネット広告のこれらの例は、例示的であるに過ぎず、さまざまな種類のメディアの中でもとりわけ、電子メール、ビデオ、ラジオ、またはテレビなどのその他のメディアチャンネルに関連するデータが、例示的なコンバージョン信頼度評価システムによって表現され得る。例えば、図4に関して以下で検討されるマッピングメカニズムが、同じ分析においてさまざまなメディアソースからのデータを表現し、それによってチャンネルをまたいだメディア分析を可能にするために使用され得る。

上述の広告イベントおよびコンバージョンイベントの一部は、図100において実線および破線の長方形によって表される1つまたは複数の時間枠内に入る可能性がある。以下でさらに検討されるように、時間枠は、広告に関する属性値(信頼度と呼ばれる)を決定するために使用され得る。

一部の実装において、時間枠は、コンバージョンの前の時間区間を含み得る。場合によっては、時間枠は、固定のサイズであってよい。例えば、時間枠は、長さが1時間、12時間、1日、2日、5日、10日、20日などであってよい。その他の場合、時間枠の時間区間の長さは、動的に選択されてもよい。例えば、時間区間の長さは、時間-コンバージョンの推移(time-to-conversion profile)の変化率に基づくことができる。場合によっては、時間-コンバージョンの推移は、広告イベントがコンバージョンにつながる確率を示す曲線によって表され得る。例えば、この曲線が特定の期間に非常に急激に変化する場合、比較的短い長さを有する時間枠が使用される可能性がある。対照的に、曲線が所与の期間に比較的一定している場合、選択される時間枠は、比較的長い長さを有する可能性がある。時間-コンバージョンの推移が、図2に関してさらに詳細に検討される。

この例において、破線の長方形は、5分の長さの時間枠を表し、一方、同様に、トランザクションに関して上で述べた実線の長方形は、10分の長さの時間枠を表す。

この例示的な例において、枠カウントが、示された枠内の広告イベントの数をカウントすることによって決定され得る。場合によっては、複数の枠カウントの方法のうちの1つが、使用される可能性がある。例えば、図100において丸で表される広告イベントについて考える。これらの広告イベントのうちの1つが5分の時間枠内に現れ、これらのイベントのうちの5つが10分の枠内に現れ、この例においては、5分の枠に対する時間枠カウント1、および10分の枠に対する時間枠カウント5をもたらす。

場合によっては、2つ以上の時間枠に入るイベントが、2回以上カウントされてよい。例えば、図1に示された丸のうちの1つは、10分の時間枠および5分の時間枠の両方に含まれる。上記の例において、丸は、5分の時間枠カウントおよび10分の時間枠カウントの両方でカウントされた。枠カウントを決定する第2の方法において、複数の枠内に入るイベントは、一度だけカウントされる可能性がある。場合によっては、前の(またはより小さな)時間枠でカウントされたイベントは、後続の(またはより大きな)時間枠ではカウントされない可能性がある。例えば、10分の枠内のイベントの数を決定するときに、5分の枠内にも入るイベントは、無視され、この例においては、10分の枠カウント4および5分のカウント1をもたらす可能性がある。

その他の時間枠が使用されてもよい。例えば、コンバージョンの前の最後の広告イベントとみなされる広告イベントの数をカウントするために、「ラストカウント」時間枠が使用され得る。この例において、もっとも上の枠105のみが、コンバージョンの前の最後の広告イベントである丸を含むので、丸によって表されるイベントに関するラストカウントは1である。

場合によっては、重み付けモデルが、枠カウントに適用されてよい。この例示的な例において、5分の枠カウントおよび10分の枠カウントは、場合によっては時間とともに急激に小さくなる重み付けモデルで乗算される可能性がある。その他の場合、重みモデルは、一様であり、指定の時間に0になる可能性がある。場合によっては、重み付けモデルは、ユーザによって作成されたカスタムの重み付けモデルであってよい。例えば、重み付けモデルは、ユーザによって生成された区分的曲線に従うことができる。重みは、開始値1を有する可能性があり、その開始値は1日目の終わりまでに0.5まで次第に減少する。次に、重みは、0.5から週の終わりの0.3まで徐々に変化し、続いて、2週間の終わりの0までやはり次第に減少する。場合によっては、曲線は、階段関数であってよい。例えば、重みの値は、1日目は0.5であり、次の週は0.3に落ち、そして、2週間で0まで下落する可能性がある。

結果として得られる重み付けされた時間枠カウントは、広告に関する信頼度を生成するために合計され、正規化され得る。例えば、集計および重み付けされた枠カウントは、1つまたは複数の広告に関する信頼度の合計の数値が、それらの広告に関連するコンバージョンの総数に等しくなることを可能にし得る正規化係数で乗算されてよい。

図2は、例示的な時間-コンバージョンの推移200を示す。一部の実装において、例示的な推移200は、経時的な広告の有効性を示し得る。例えば、時間-コンバージョンの推移は、広告イベントの後のコンバージョンイベントの確率の経時的な変化を表すことができる。場合によっては、この確率は、特定の時間枠内の、コンバージョンの前の広告イベントの総数を、それらの時間枠内の広告イベントの平均の数で割ることによって計算され得る。すなわち、確率は、以下の式で表され得る。

ここで、count (conv, ad, τ)は、コンバージョン(convで表される)の前の時間枠τ内に起こる広告イベント(すなわち、イベント識別子がイベントが広告であることを示すイベント)の数に等しく、count (ad, τ)は、時間枠τ内の広告イベントの平均の数を表す。

例示的な推移は、広告が性質として直接的であるかまたはブランド認知的であるとみなされ得るかどうかを広告主が判定することを可能にすることができる。直接的広告(例えば、クーポン)とは、広告イベントの比較的すぐ後、例えば数時間後のコンバージョンにつながる広告である。直接的広告に関する例示的な時間-コンバージョンの推移が、検索語「ZZ航空」に結び付けられた広告に関する推移205によって示される。ブランド認知広告は、ブランドメッセージを伝える。したがって、ブランド認知広告は、比較的長い期間、例えば、数日またはときには1から3ヶ月もの期間の後でコンバージョンにつながる可能性がある。例えば、ブランド認知広告の推移は、検索クエリ「航空会社」に関連する広告に関する一番右の推移210によって示される。

場合によっては、広告主は、広告に関する時間-コンバージョンの推移に基づいて広告を選択することができる。例えば、広告主が、比較的短い期間でコンバージョンの数を増やそうとしている場合、広告主は、直接的広告を選択することができる。しかし、広告主が、コンバージョンを生じるまでにより長い時間を要する可能性があるブランド認知の向上を目標としている場合は、広告主は、ブランド認知広告を選択することができる。

図3Aは、広告に関する例示的なコンバージョン信頼度評価の統計を示す表300である。例示的な表300は、「航空会社」および「ZZ航空」の検索広告に関する例示的な統計を含む。表300は、各広告に対するクリック数およびクリック単価を含む。表300は、各広告に関するラストカウントも含む。上で検討されたように、ラストカウントとは、ある広告がその広告に関連するコンバージョンの前に表示された最後の広告であった回数である。したがって、この例において、ラストカウント枠は、コンバージョンの数も表す。さらに、表300は、ラストアクション単価に関するデータ、および5分の時間枠および1日の時間枠に対する枠カウントに関連する情報も含む。最後に、例示的な表300は、各広告に関する信頼度および信頼度単価(すなわち、費用対効果)に関する情報を含む。

表300にまとめられた例において、両方の語に対するクリック単価は、50セントで同じである。しかし、この例において、「ZZ航空」の広告に関するラストカウントは、「航空会社」の広告に関するラストカウントの20倍であり、それぞれ$30および$1.75のラストカウント単価をもたらす。この例において、ラストアクション単価は、広告に対するコンバージョン単価を表し得る。これらのラストカウント単価を前提として、広告主は、それらの広告主の広告予算のすべてではないとしても多くの部分を「ZZ航空」の検索広告に費やすことが、それらの広告主の広告投資に対して最大の利益をもたらし得ると考える可能性がある。例えば、広告主の予算は、広告主がコンバージョンにつき$5ほどを費やすことを許す可能性がある。この例において、「航空会社」の検索広告に対するラストカウント単価はコンバージョンにつき$30であるので、広告主は、「ZZ航空」の検索広告が、コンバージョンにつき$1.75で、広告主の予算内に収まるという理由で、この広告を購入することを選択する可能性がある。

場合によっては、広告に関するラストカウントは、コンバージョンに対する広告の寄与を正確に反映しない可能性がある。例えば、図2に関して述べられたように、直接的広告が、かなり早くコンバージョンにつながる可能性がある一方、ブランド認知広告の効果は、はっきりするまでにより長い時間を要する可能性がある。例示的なコンバージョン信頼度評価システムによって生成された信頼度は、場合によっては、信頼度が、コンバージョンの前に表示された最後の広告以外の広告も反映することができるので、これらのブランド認知広告のコンバージョンをもたらす効果をより正確に反映する可能性がある。

例えば、上述のラストカウントの方法論は、「航空会社」の検索広告を、それがユーザの意志決定プロセスの早い段階で使われたために無視する可能性がある。例えば、「航空会社」の広告は、ユーザがZZ航空を選択し、最終的にZZ航空からチケットを購入するのに役立った。各広告に関するラストカウントの数だけを考慮することは、最終的なコンバージョンに対して「航空会社」の検索広告がなした寄与を反映しない。

例えば、表300は、例示的な検索広告の両方に関する5分の枠カウントおよび1日の枠カウントを示す。表に示されるように、「ZZ航空」の広告は「航空会社」の広告よりも多くのラストカウントをもたらすが、「ZZ航空」の広告は、どのコンバージョンの1日以内にも表示されなかった。対照的に、「航空会社」の広告は、コンバージョンの1日以内に70回表示され、コンバージョンの5分以内に20回表示された。この例において、これらの広告に関する信頼度は、各広告に関するラストカウント、5分のカウント、および1日のカウントに重み係数を掛け、結果として得られる重み付けされた時間枠カウントを合計することによって生成され得る。例えば、重み係数は、次の重み付けモデルを用いて生成され得る。

この式において、cは重み付け関数の減衰率を制御でき、eは自然対数の底であってよく、τは枠カウントjに関する時間であってよい。

この例において、時間枠カウントは、2つ以上の時間枠に入るイベントを無視してよい。例えば、ラストカウントのカラム、5分のカウントのカラム、および1日のカウントのカラムは、互いに重なり合う時間枠を表す可能性がある。この例示的な例において、前のカラム(ここでは、当該カラム左のカラム)でカウントされたイベントは、再度カウントされない。したがって、ラストカウントのカラムでカウントされたイベントは、5分のカウントのカラムではカウントされず、これらのカラムのうちのいずれかでカウントされたイベントは、1日のカウントのカラムではカウントされない。

この例において、重みスキームは「均等重み」であってよく、すなわち、各枠カウントに対する重みは同じであってよい。この例において、各枠カウントに対する重みは1である。各検索語に対する時間枠カウントを合計し、時間枠カウントにそれらの時間枠カウントの重み係数を掛けることによって、検索広告「航空会社」および「ZZ航空」に対して、それぞれ時間枠カウント100および200が得られる。

これらのカウントは、正規化係数を決定するために使用される可能性があり、そして今度は、その正規化係数が、信頼度を計算するために使用される可能性がある。例えば、ラストカウントの総数(ここでは210)と、語「航空会社」および「ZZ航空」に対するカウントの合計(この例においては300)との比が、正規化係数に等しい。したがって、ここでは、正規化係数は、0.7(210/300)である。重み付けされた枠カウントにこの正規化係数を掛けることによって、「航空会社」および「ZZ航空」の検索広告に対して、それぞれ信頼度70および140が得られる。重み付けされた枠カウントに正規化係数を掛けることは、広告に関する信頼度の合計(この例においては210)を、広告に関連するコンバージョンの総数(ここでは210)に等しくする。

信頼度単価は、総コスト(ここでは、クリックの総数にクリック単価を掛けた額)を信頼度の合計で割った額に等しい。この例では、計算された信頼度は、「航空会社」および「ZZ航空」の検索広告に対して、それぞれおよそ$4.3 ((600×.5)/70)および$2.5 ((700×.5)/140)の信頼度単価をもたらす可能性がある。これらの広告に対する信頼度単価は、コンバージョンにつき$5の予算を有する広告主に、その広告主の広告予算を「航空会社」および「ZZ航空」の検索広告の間に比例配分させることができる。

上記の例において、2つ以上の時間枠に入ったイベントは、一度だけカウントされた。しかし、同じプロセスが、2つ以上の時間枠内にあるイベントが2回以上カウントされるときの広告に関する信頼度を計算するために使用されてもよい。例えば、図3Bについて考える。図は、「航空会社」および「ZZ航空」の検索広告に関する例示的な統計情報を含む別の表350を示す。この例においては、1つの時間枠に入るイベントが、その他の時間枠でもカウントされてよい。例えば、図3Bの「航空会社」と名前を振られた行について考える。ラストカウント時間枠に入る10個のイベントは、5分のカウント枠および1日のカウント枠でもカウントされてよい。

正規化された信頼度を決定するためのプロセスは、図3Aに関して説明されたプロセスと同じである。ラストカウント枠、5分の枠、および1日の枠を合計して、「航空会社」および「ZZ航空」に対して、それぞれ時間枠カウント140および600を得ることによって、検索広告に対する枠カウントが生成される。時間枠カウントは、例えば、ラストカウントの総数を枠カウントの総数で割って、およそ0.284 (210/740)の正規化係数を得ることによって正規化係数を決定するために使用され得る。

これらの時間枠カウントは、重み付けされた時間枠カウントを決定するために重み係数で乗算されてよい。前の例のように、重み付けスキームは均等重みであってよく、各時間枠に対する重みは1であってよい。この結果、時間枠カウントに等しい重み付けされた時間枠カウントが得られる。重み付けされた時間枠カウントは、正規化係数で乗算されて、「航空会社」の検索広告に関する信頼度42、および「ZZ航空」の検索広告に関する信頼度180を生じる可能性がある。信頼度単価も、上述のように、すなわち、総コスト(ここでは、クリックの総数にクリック単価を掛けた額)を信頼度で割ることによって決定され得る。そのようにすることで、「航空会社」および「ZZ航空」の検索広告に対して、それぞれおよそ$7.14および$1.94の信頼度単価が得られる。

図4は、イベントマッピングの概念図400である。場合によっては、イベントに関連するアプリケーションに固有の情報は、上述のイベントデータ構造ではモデル化されない可能性がある。一部の実装において、このアプリケーションに固有の情報が、イベントモデルにマッピングされ得る。イベントモデルは、コンバージョン信頼度評価システムが多数のイベントの種類を処理することを可能にすることができるマッピングプロセスを定義する。例えば、表405は、場合によってはイベントデータ構造に含まれない可能性がある情報、例えば、いくつか例を挙げるとすれば、ネットワーク識別子、ユーザ識別子、広告主識別子、およびプレースメント識別子を含むイベントを示す。アプリケーションに固有のイベント情報は、図4の一番右の表410に示されるイベントデータ構造の要素にマッピングされ得る。例えば、アプリケーションに固有のイベントに関するタイムスタンプおよびユーザ識別子が、それぞれ、対応するイベントデータ構造のタイムスタンプおよびキーにマッピングされ得る。アプリケーションに固有のイベントに関するイベントの種類も、イベントデータ構造のイベント識別子にマッピングされ得る。

場合によっては、使用されるマッピングスキームは、コンバージョン信頼度評価の分析の目的に応じて決まる。例えば、ユーザが、広告主による各広告プレースメントに関する信頼度を決定したい可能性がある。この種の分析の結果、表405に示されたイベントの種類、プレースメント識別子、コンバージョン識別子、および広告主識別子が表410のイベント識別子にマッピングされる可能性があり、一方、表405のユーザ識別子および広告主識別子は、表410のキーにマッピングされる。

ユーザが広告主のための各広告クリエイティブに関する信頼度を決定したい場合、表405に示されたイベントの種類、クリエイティブ識別子、コンバージョン識別子、および広告主識別子が、表410のイベント識別子のカラムにマッピングされ得る。同時に、表405のユーザ識別子および広告主識別子は、表410のキーにマッピングされ得る。

図5は、例示的なコンバージョン信頼度評価システム505の構成図500である。例示的なシステム505は、メモリ515に記憶された命令を実行するためのプロセッサ510を含み得る。例えば、メモリ515は、プロセッサ510によって実行されたときにシステム505を制御する命令を含み得る。メモリ515は、さまざまな種類のデータの中でもとりわけ、時間枠、重み、イベント、表、時間-コンバージョンの推移、重み付けモデル、重み付けされた時間枠カウント、およびトランザクションに関連する情報などの、システム505に関連するその他のデータも記憶することができる。

システム505は、その他のデータリポジトリも含み得る。例えば、システム505は、時間枠に関するデータを含むことができる枠データベース520を含み得る。例えば、枠データベース520は、とりわけ、時間枠のサイズ(すなわち、時間枠の長さ)、特定のイベントモデルに関する枠の数、および枠カウントに関する情報を含み得る。

システム505は、イベントリポジトリ525も含み得る。例示的なイベントリポジトリ525は、上述の広告イベントおよびコンバージョンイベントなどのイベントを含み得る。一部の応用において、イベントリポジトリ525は、イベントを共通のフォーマット、例えば、イベントデータ構造のフォーマットにマッピングするために使用され得るイベントモデルも含む可能性がある。場合によっては、イベントリポジトリ525は、図6に関して以下で説明されるようにイベントをリアルタイムで処理するために使用され得るイベントキャッシュを含んでよい。

上に挙げたデータベースおよびリポジトリに加えて、システム505は、表データベースおよびモデルデータベースも含み得る。表データベース530は、一部の実装において、コンバージョンイベントおよび広告イベントを含む表を含むことができる。モデルデータベース535は、広告に関する信頼度を計算するために使用され得る重み付けモデルおよび重み係数を含むことができる。例えば、モデルデータベース535は、上記式(1)に対応する一連の重み付け関数を含み得る。

例示的なシステム505は、ソートモジュール540も含み得る。ソートモジュールは、場合によっては、受信されたイベントを分類し、それらを表にロードすることができる。例えば、広告サーバなどのコンピューティングシステム565が、イベント570の集合をシステム505に送信することができる。ソートモジュールは、受信されたイベントを表にロードし、例えば、キーまたはイベント識別子でイベントを分類することができる。場合によっては、イベントは、1つまたは複数のトランザクションに分類され得る。ソートモジュールは、タイムスタンプでイベントをさらにソートすることができる。例えば、ソートモジュールは、イベントのタイムスタンプを使用して、イベントを発生順にソートすることができる。結果として得られる表は、表リポジトリ530に記憶されてよい。

ソートモジュール540に加えて、システム505は、統計モジュール545を含むことができる。統計モジュール545は、イベント情報を分析して、信頼度を決定するために使用され得るデータを計算することができる。例えば、統計モジュール545は、時間枠カウントおよび時間-コンバージョンの推移などの時間的な統計を決定することができる。例えば、統計モジュール545は、関連する広告イベントが特定の区間内でコンバージョンイベントの前に起こった回数を、その特定の時間区間内の広告イベントの平均発生数で割ることによって、広告に関する時間-コンバージョンの推移を生成することができる。一部の実装において、統計モジュール545は、総クリックもしくは総インプレッション、クリック単価もしくはインプレッション単価などの、広告に関連するその他の統計を計算することができる。モジュール545は、信頼度に関連する統計も計算することができる。例えば、モジュール545は、信頼度単価、および経時的な信頼度または信頼度単価の変化を計算することができる。場合によっては、統計モジュール545は、広告のコストを広告に関する正規化された信頼度で割ることによって、広告の信頼度単価を決定することができる。統計モジュール545は、この情報の一部またはすべてを任意の適切なデータベース、例えば、枠データベース520、イベントデータベース525、またはメモリ515に記憶することができる。

一部の実装において、統計モジュール545は、これらの時間的な統計の一部またはすべてをモデリングモジュール550に送信することができ、モデリングモジュール550は、それらの統計を使用して信頼度を生成することができる。場合によっては、モデリングモジュール550は、式(1)で上述したモデルのような、広告に関する重み付けモデルを生成することができるか、またはモデリングモジュール550は、モデルリポジトリ535からモデルを取得することができる。また、モデリングモジュール550は、例えば、重み付けモデルを使用して、次の式にしたがって、正規化された信頼度を計算することができる。

この式において、c_jは、j番目の枠カウントであってよく、w_jは、上記式(1)にしたがって計算され得る、j番目の枠カウントに対する重み係数であってよく、Nは、場合によっては、1つまたは複数の広告に関する信頼度の合計の数値を、それらの広告に関連するコンバージョンの総数に等しくすることができる正規化係数であってよい。モデリングモジュール550は、結果として得られる信頼度をメモリ515に記憶するか、その信頼度をレポートモジュール555に送信するか、または、場合によっては、その両方を行うことができる。

レポートモジュール555は、とりわけ、広告の有効性を詳述するレポート575を生成することができる。場合によっては、レポートは、例えば、広告に関するネットワーク識別子、広告主識別子、ならびに広告識別子、広告イベントおよびコンバージョンの数、時間枠カウント、重み係数、および信頼度などの情報を含み得る。レポートは、広告に関する前の信頼度、および所与の期間にわたる広告の信頼度の百分率で表した変化も含み得る。レポートは、広告に関する値付け、クリック、インプレッション1回あたりのクリック、クリック単価、信頼度単価なども記載し得る。レポートは、リモートコンピュータに送信されるか、またはメモリ515に記憶される可能性がある。

システム505は、I/Oインターフェース560も含み得る。I/Oインターフェース560は、インターネットなどの通信ネットワークを介してその他のデバイスおよびシステムと通信することができる。また、I/Oインターフェース560は、システム505が、システム505に接続されたキーボードおよびディスプレイなどの周辺機器と通信するか、または広告サーバ565などのリモートデバイスと通信することを可能にすることができる。これらの周辺機器は、ユーザが、さまざまなイベントに対する重み付けモデルおよび重みなどのパラメータを見て、修正することを可能にすることができる。ユーザは、グラフィカルユーザインターフェースを使用して、そのようなデータを、メモリ515、枠データベース520、またはモデルデータベース535などの適切なリポジトリに入力および記憶することができる。

図6、7、および8は、それぞれ、コンバージョン信頼度評価のための例示的なプロセス600、700、および800の流れ図である。プロセス600、700、および800は、例えば、システム505などのシステムよって実行される可能性があり、明快に示すために、以下の説明は、プロセスを説明するための例の基礎としてシステム505および概念図100を用いる。しかし、別のシステム、またはシステムの組み合わせが、プロセス600、700、および800を実行するために使用されてもよい。

図6は、コンバージョン信頼度評価の例示的なプロセス600である。プロセス600は、図6に示されるように、1つまたは複数の段階(すなわち、プロセスステップの群)を含み得る。段階は、前処理、時間枠カウント計算(図6において段階1と呼ばれる)、および信頼度決定段階(図6において段階2として示される)を含み得る。プロセス600を段階に分けることによって、コンバージョン信頼度評価プロセスにより高い柔軟性およびスケーラビリティを与えることができる。例えば、時間枠カウントは、重み付けモデルの選択などの、プロセスのその他の部分とは別々に計算され得る。この分割は、ユーザが、時間枠カウントを再計算する必要なしに重み付けモデルを変更することを可能にすることができる。したがって、ユーザは、もしかすると大きいかもしれないデータセットを再度処理する必要なしに、複数のコンバージョン信頼度評価シナリオを生成し、比較することができる。図6に示された段階は例示的であるに過ぎないことに留意されたい。追加的な段階またはより少ない段階が使用されてよく、または段階が全く使用されなくてもよい。

プロセス600は、イベントを特定することによって始まる(605)。例えば、イベントは、システム505のさまざまな要素の中でもとりわけ、ソート/フィルタリングモジュール540によってイベントリポジトリ525から得られる可能性がある。場合によっては、イベントは、リモートサーバ565などのリモートコンピュータから受信される可能性がある。

プロセス600は、特定されたイベントを分類する(610)。例えば、ソートモジュール540が、イベントをキーにしたがってグループに分けることができる。場合によっては、イベントは、さらに発生順にソートされる可能性がある。

プロセスは、1つまたは複数の時間枠を特定する(615)。例えば、モデリングモジュール550が、広告がコンバージョンをもたらす見込みの変化率に基づいて時間枠を選択することができる。場合によっては、時間枠は、広告に関する時間-コンバージョンの推移に基づいて選択され得る。例えば、モデリングモジュール550が、時間枠が時間-コンバージョンの推移を十分にサンプリングできるように1つまたは複数の時間枠を選択し得る。例えば、時間-コンバージョンの推移の傾斜が比較的急な領域においては、選択される時間枠は、比較的短い長さを有する可能性がある。しかし、時間-コンバージョンの推移の傾斜がより緩やかに変化する場合、選択される時間枠は、より長い可能性がある。

プロセス600は、枠カウントを決定する(620)。一部の実装において、統計モジュール545が、特定の時間枠内の、広告に関連するイベントの数をカウントし、この数を枠データベース520に記憶することができる。

プロセスは、重み付けモデルを選択する(625)。例えば、モデリングモジュール550が、式(1)に示されたモデルなどの重み付けモデルを選択することができる。さらに、プロセスは、信頼度を計算する(630)。例えば、モデリングモジュール550が、上記式(2)にしたがって広告に関する信頼度を計算することができる。

図7は、時間枠カウントの決定の例示的なプロセス700である。場合によっては、プロセス700は、時間枠カウントをリアルタイムで決定するために使用され得る。プロセス700は、次のイベントを読み出す(705)。例えば、ソートモジュール540が、イベントリポジトリ525、メモリ515からイベントを読み出してよく、またはイベントが、リモートコンピューティングデバイス565から送信されてよい。

プロセス700は、イベントがコンバージョンイベントであるかどうかを判定する(710)。例えば、ソートモジュール540が、イベントに関するイベント識別子を調べて、イベントがコンバージョンかどうかを判定することができる。プロセス700は、コンバージョンでないイベントをイベントキャッシュに追加する(715)。ある場合には、ソートモジュール540が、コンバージョンでないイベントを、メモリ515またはその他のデータリポジトリに記憶されたイベントキャッシュ(例えば、配列などのデータ構造)に追加することができる。コンバージョンではないイベントをイベントキャッシュに追加した(715)後、プロセス700は、(745)において何らかのイベントが残っている場合は次のイベントを読み出し(705)、またはプロセス700は、イベントが残っていなければ終了する。例えば、上述のように、ソートモジュール540が、イベントリポジトリから次のイベントを読み出すことができるか、またはイベントが残っていないならば、プロセス700は終了してよい。

イベントがコンバージョンである場合、プロセス700は、コンバージョンの時間を設定し(720)、コンバージョンの種類を設定する(725)。例えば、ソートモジュール540が、コンバージョンイベントのタイムスタンプを読み、コンバージョンに関連するトランザクションの時間をそのタイムスタンプと等しくすることができる。同様に、ソートモジュール540は、コンバージョンイベントのイベント識別子を読み、コンバージョンに関連するトランザクションの種類をそのイベント識別子と等しくすることができる。

プロセス700は、コンバージョンイベントと同じキーを持つイベントを取得し(730)、場合によっては、取得したイベントをイベントキャッシュから削除する(735)。例えば、ソートモジュール540が、イベントリポジトリ525、メモリ515に記憶されたイベントキャッシュ、またはリモートコンピューティングデバイス565から同じキーを持つイベントを取得することができる。取得されたイベントは、コンバージョンイベントと同じトランザクション内にあるとみなされ得る。ソートモジュール540は、取得されたイベントをイベントキャッシュから削除してもよい。

プロセス700は、関連する時間枠を取得する(750)。例えば、モデリングモジュール550が、枠リポジトリ520から、コンバージョンイベントの前の時間枠を取得することができる。プロセス700が、何らかの関連する時間枠が残っていると判定する場合(755)、プロセス700は、時間枠内のイベントをカウントする(760)。例えば、統計モジュール545が、何らかのイベントが残っているかどうかを判定し、特定の時間枠内のイベントをカウントすることができる。場合によっては、プロセス700は、イベント識別子および枠のサイズの各組のためのカウンターを保有する。

プロセス700は、何らかのイベントが残っているかどうかを判定する(745)。イベントが残っている場合、プロセス700は次のイベント読み出すことができ(705)、イベントが残っていない場合、プロセス700は終了してよい。例えば、ソートモジュール540が、イベントが残っているかどうかを判定し、利用できるものがある場合には次のイベントを読み出すことができる。利用できるイベントがない場合、プロセスは終了してよい。

図8は、時間枠カウントの決定のプロセス800の代替的な例である。一部の実装において、例示的なプロセス800は、時間枠カウントをオフラインで決定するために使用され得る。プロセス800は、イベントを取得する(805)。例えば、ソートモジュール540が、イベントリポジトリ525、メモリ515、またはリモートコンピュータ565からイベントを取得する。プロセス800は、イベントをキーでグループ分けし(810)、イベントを時間でソートする(815)。例えば、場合によっては、ソートモジュール540が、イベントをキーでグループ分けし、イベントを時間でソートすることができる。プロセスは、次のグループを取得することができる(820)。例えば、ソートモジュール540が、イベントリポジトリ525などのリポジトリもしくはデータベース、メモリ515、またはリモートコンピュータ565からグループを取得することができる。プロセス800は、イベントグループ内の次のイベントを取得する(825)。例えば、ソートモジュール540が、イベントリポジトリ525からのイベントグループ内の次のイベントを取得することができる。

プロセス800は、イベントがコンバージョンイベントであるかどうかを判定する(830)。例えば、ソートモジュール540が、イベントに関するイベント識別子を読み、識別子がコンバージョン識別子かどうかを判定することができる。識別子がコンバージョン識別子ではない場合、プロセス800は、イベントをイベントキャッシュに追加する(835)。例えば、ソートモジュール540が、イベントを、メモリ515または別のデータベースに記憶されたイベントキャッシュに追加することができる。プロセス800が別のイベントが残っていると判定するかどうか(840)によって、プロセス800は、イベントグループ内の次のイベントを取得するか(825)、またはプロセスは、別のグループが残っているかどうかを判定する(845)。例えば、ソートモジュール540が、別のイベントが残っているかどうかを判定し、イベントグループ内の次のイベントを取得することができる。あるいは、その他のイベントが残っていない場合は、ソートモジュール540は、例えば、イベントリポジトリ525またはその他のベータベースを調べることによって別のグループが残っているかどうかを判定することができる。

イベントがコンバージョンイベントである場合、プロセス800は、コンバージョンの種類を設定し(850)、コンバージョンの時間を設定する(855)。例えば、ソートモジュール540が、コンバージョンイベントのイベント識別子を読み、コンバージョンに関連するトランザクションの種類をそのイベント識別子と等しくすることができる。同様に、ソートモジュール540は、コンバージョンイベントのタイムスタンプを読み、コンバージョンイベントに関連するトランザクションの時間をそのタイムスタンプと等しくすることができる。

プロセス800は、イベントキャッシュからコンバージョンイベントと同じキーを持つイベントを取得する(860)。例えば、ソートモジュール540が、イベントキャッシュからコンバージョンイベントと同じキーを持つイベントを取得することができる。プロセス800は、関連する時間枠を取得することができる(865)。例えば、モデリングモジュール550が、枠リポジトリ520またはメモリ515から、コンバージョンイベントの前の時間枠を取得することができる。プロセス800が、何らかの関連する時間枠が残っていると判定する場合(870)、プロセスは、時間枠内のイベントをカウントすることができる(875)。例えば、統計モジュール545が、時間枠内のイベントをカウントすることができる。関連する時間枠が残っていない場合、プロセス800は、処理すべき何らかのイベントが残っているかどうかを判定することができる(840)。例えば、ソートモジュール540が、何らかのイベントが残っているかどうかを判定することができる。イベントが残っている場合、プロセス800は、上述のように、イベントグループ内の次のイベントを取得する(825)。イベントが残っていない場合、プロセス800は、上述のようにして、何らかのグループが残っているかどうかを判定する(840)。上で検討したように、何らかのグループが残っている場合、プロセス800は次のグループを取得し(820)、グループが残っていない場合、プロセス800は終了する。

図9は、コンバージョン信頼度評価のためのコンピュータシステムの例示的な概略図である。システム900は、さまざまな実装にしたがって、上述のコンピュータで実装される技術およびシステムのうちのいずれかと関連して説明されたオペレーションのために使用され得る。例えば、システム900は、図6〜8に示されたプロセスを実装するために使用され得る。システム900は、1つまたは複数のプロセッサ910、メモリ920、記憶装置930、および入力/出力デバイス940を含む。コンポーネント910、920、930、および940のそれぞれは、システムバス950を用いて相互接続される。プロセッサ910は、システム900内で実行するための命令を処理することができる。プロセッサ910は、1つまたは複数のプロセッサコアを有するシングルスレッドプロセッサまたはマルチスレッドプロセッサである。プロセッサ910は、入力/出力デバイス940上にユーザインターフェースのためのグラフィカルな情報を表示するための、メモリ920または記憶装置930に記憶された命令を処理することができる。

メモリ920は、システム900内でデータを記憶する。例えば、メモリ920は、重み付けモデル、イベント、枠のサイズなどを記憶するために使用され得る。記憶装置930は、システム900にストレージを提供することができる。1つの実装において、記憶装置930は、コンピュータ可読媒体である。さまざまな異なる実装において、記憶装置930は、フロッピー(登録商標)ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイスである可能性がある。

入力/出力デバイス940は、システム900に入力/出力操作を与える。1つの実装において、入力/出力デバイス940は、キーボードおよび/またはポインティングデバイスを含む。別の実装において、入力/出力デバイス940は、グラフィカルユーザインターフェースを表示するためのディスプレイユニットを含む。

本明細書に記載の対象の実施形態および機能的動作は、本明細書で開示された構造およびそれらの構造的均等物含む、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェア、またはそれらのうちの1つもしくは複数の組み合わせで実装され得る。本明細書に記載の対象の実施形態は、1つまたは複数のコンピュータプログラム製品、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するために有形のプログラム媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。有形のプログラム媒体は、コンピュータ可読媒体であってよい。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、またはそれらのうちの1つもしくは複数の組み合わせである可能性がある。

用語「データ処理装置」は、例として、1つのプログラム可能なプロセッサ、1台のコンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するための全ての装置、デバイス、およびマシンを包含する。装置は、ハードウェアに加えて、問題にしているコンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサのファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、またはそれらのうちの1つもしくは複数の組み合わせを構成するコードを含み得る。さらに、装置は、ウェブサービスインフラストラクチャ、分散コンピューティングインフラストラクチャ、およびグリッドコンピューティングインフラストラクチャなどの、さまざまな異なるコンピューティングモデルインフラストラクチャを使用することができる。

コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイラ型言語もしくはインタープリタ型言語、宣言型言語もしくは手続き型言語を含む任意の形態のプログラミング言語で記述可能であり、独立型プログラムとしての形態、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適したその他の単位としての形態を含む任意の形態で配置され得る。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応しない。プログラムは、その他のプログラムもしくはデータを保持するファイルの一部(例えば、マークアップ言語のドキュメントに記憶された1つもしくは複数のスクリプト)、問題にしているプログラムに専用の単一のファイル、または複数の組織されたファイル(例えば、1つまたは複数のモジュール、サブプログラム、もしくはコードの一部を記憶するファイル)に記憶され得る。コンピュータプログラムは、1つのコンピュータ上で、または1つの場所に置かれるか、もしくは複数の場所に渡って分散され、通信ネットワークによって相互接続されている複数のコンピュータ上で実行されるように配置され得る。

本明細書に記載のプロセスおよび論理フローは、入力データに対して演算を行い、出力を生成することによって機能を果たす1つまたは複数のコンピュータプログラムを1つまたは複数のプログラム可能なプロセッサが実行することによって行われ得る。さまざまな実装において、プロセスおよび論理フローは、専用の論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行される可能性があり、さまざまな実装において、装置は、それらの専用の論理回路として実装される可能性がある。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサおよび専用マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。概して、プロセッサは、読み出し専用メモリ、またはランダムアクセスメモリ、またはそれらの両方から命令およびデータを受け取る。コンピュータの必須の要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。また、概してコンピュータは、データを記憶するための1つまたは複数の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、もしくは光ディスクを含むか、またはそれらの大容量記憶装置からデータを受信するか、もしくはそれらの大容量記憶装置にデータを転送するか、もしくはその両方を行うためにそれらの大容量記憶装置に動作可能に結合される。しかし、コンピュータは、そのようなデバイスを備えていなくてもよい。

コンピュータプログラム命令およびデータを記憶するのに適したデバイスは、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD ROMディスクおよびDVD-ROMディスクを含む、全ての形態の不揮発性メモリ、メディア、およびメモリデバイスを含む。プロセッサおよびメモリは、専用の論理回路によって補完されるか、または専用の論理回路に組み込まれる可能性がある。

本明細書に記載の対象の実施形態は、バックエンドコンポーネントを、例えば、データサーバとして含むか、またはミドルウェアコンポーネントを含むか、またはフロントエンドコンポーネント、例えば、それによってユーザが本明細書に記載の対象の実装とインタラクションすることができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータを含むか、または1つまたは複数のそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、もしくはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実装され得る。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続され得る。通信ネットワークの例には、ローカルエリアネットワーク(「LAN」)および広域ネットワーク(「WAN」)、インターネットワーク(例えば、インターネット)、ならびにピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)が挙げられる。

コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、概して互いに離れており、通常は通信ネットワークを介してインタラクションする。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行されており、互いにクライアント-サーバの関係を有するコンピュータプログラムによって生じる。

本明細書は多くの実装の詳細を含むが、これらは、本発明の範囲、または特許請求され得るものの範囲に対する限定と見なされるべきではなく、むしろ、本発明の特定の実施形態に特有の特徴の説明とみなされるべきである。別個の実施形態の文脈で本明細書に記載されているある特徴が、さまざまな実装で、単一の実施形態に組み合わせて実装されてもよい。反対に、単一の実施形態の文脈で説明されているさまざまな特徴が、さまざまな実装で、複数の実施形態に別々に、または任意の適切な部分的組み合わせで実装されてもよい。さらに、特徴は、ある組み合わせで機能するように上で説明されている可能性があり、最初にそのように主張されてさえいる可能性があるが、主張された組み合わせの1つまたは複数の特徴は、場合によってはその組み合わせから削除されてよく、主張された組み合わせは、部分的組み合わせ、または部分的組み合わせの変形を対象とする可能性がある。

同様に、オペレーションが図中に特定の順序で示されているが、これは、そのようなオペレーションが、示された特定の順序で、もしくは逐次的順序で実行されること、または所望の結果を達成するために、示された全てのオペレーションが実行されることを必要とすると理解されるべきでない。ある状況において、マルチタスクおよび並列処理が、有利である可能性がある。さらに、上述の実施形態におけるさまざまなシステムコンポーネントの分割は、全ての実施形態においてそのような分割を必要とすると理解されるべきでなく、説明されたプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品に一緒に統合されるか、または複数のソフトウェア製品にパッケージングされる可能性があることを理解されたい。このように、本発明の特定の実施形態が説明された。その他の実施形態は、添付の特許請求の範囲の範囲内にある。例えば、特許請求の範囲に挙げられた動作は、異なる順序で実行されてよく、それでも所望の結果を達成することができる。

100 概念図
105 長方形
110 長方形
115 長方形
120 長方形
200 時間-コンバージョンの推移、推移
205 推移
210 推移
300 表
350 表
400 概念図
405 表
410 表
500 構成図
505 コンバージョン信頼度評価システム、システム
510 プロセッサ
515 メモリ
520 枠データベース、枠リポジトリ
525 イベントリポジトリ、イベントデータベース
530 表データベース、表リポジトリ
535 モデルデータベース、モデルリポジトリ
540 ソートモジュール、ソート/フィルタリングモジュール
545 統計モジュール
550 モデリングモジュール
555 レポートモジュール
560 I/Oインターフェース
565 コンピューティングシステム、広告サーバ、リモートサーバ、リモートコンピュータ
570 イベント
575 レポート
600 プロセス
700 プロセス
800 プロセス
900 システム
910 プロセッサ
920 メモリ
930 記憶装置
940 入力/出力デバイス
950 システムバス

Claims

コンピュータによって、広告に関連する１又は複数の広告イベントを特定するステップであって、特定された各広告イベントは、コンバージョンイベントの前に発生する広告とのユーザのインタラクションであり、前記コンバージョンイベントは、ウェブサイトとの所定のユーザインタラクションである、ステップと、
コンピュータによって、コンバージョンイベントの前の期間をそれぞれ含む２つ以上の時間枠を選択するステップと、
コンピュータによって、選択された各時間枠について、選択された時間枠内で、かつコンバージョンイベントの前に発生した特定された広告イベントの数を決定することによって、対応する時間枠カウントを決定するステップと、
コンピュータによって、選択された各時間枠に対する重み係数を選択するステップと、
コンピュータによって、選択された各時間枠について、対応する時間枠カウント、および、選択された時間枠に対する重み係数のそれぞれの関数に基づき、重み付けされた時間枠カウントを生成するステップと、
コンピュータによって、選択された各時間枠に対する重み付けされた時間枠カウントに少なくとも部分的に基づき、広告のための広告信頼度を決定するステップであって、前記広告信頼度は、前記広告と前記コンバージョンイベントとの間の関わりの強さを表す、ステップと
を含む、コンピュータにより実装される方法。
前記信頼度に正規化係数を掛けることによって正規化された信頼度を生成するステップをさらに含み、
前記正規化係数は、正規化された信頼度の合計がコンバージョンイベントの総数に等しくなるようなものである請求項1に記載の方法。
前記広告のコストを前記広告に関する前記正規化された信頼度で割ることによって、前記広告の費用対効果を決定するステップをさらに含む請求項2に記載の方法。
前記各時間枠の長さは、前記広告の時間-コンバージョンの推移に基づく請求項1に記載の方法。
前記各時間枠内の、コンバージョンイベントの前の、前記広告に関連する広告イベントの数を、前記時間枠内の、前記広告に関連する前記広告イベントの平均の数で割ることによって、前記広告に関する時間-コンバージョンの推移を生成するステップをさらに含む請求項1に記載の方法。
前記重み係数は、時間の増加につれて指数関数的に小さくなる請求項1に記載の方法。
広告イベントは、前記広告のクリックである請求項1に記載の方法。
広告イベントは、ユーザに対する前記広告の表示である請求項1に記載の方法。
前記コンバージョンイベントは、ウェブサイトへのユーザ登録である請求項1に記載の方法。
前記コンバージョンイベントは、前記広告に関連する製品の購入である請求項1に記載の方法。
データ処理装置と、
データ処理装置によって実行されたとき、データ処理装置に、
広告に関連する１又は複数の広告イベントを特定するステップであって、特定された各広告イベントは、コンバージョンイベントの前に発生する広告とのユーザのインタラクションであり、前記コンバージョンイベントは、ウェブサイトとの所定のユーザインタラクションである、ステップと、
コンバージョンイベントの前の期間をそれぞれ含む２つ以上の時間枠を選択するステップと、
選択された各時間枠について、選択された時間枠内で、かつコンバージョンイベントの前に発生した特定された広告イベントの数を決定することによって、対応する時間枠カウントを決定するステップと、
選択された各時間枠に対する重み係数を選択するステップと、
選択された各時間枠について、対応する時間枠カウント、および、選択された時間枠に対する重み係数のそれぞれの関数に基づき、重み付けされた時間枠カウントを生成するステップと、
選択された各時間枠に対する重み付けされた時間枠カウントに少なくとも部分的に基づき、広告のための広告信頼度を決定するステップであって、前記広告信頼度は、前記広告と前記コンバージョンイベントとの間の関わりの強さを表す、ステップと
を含むオペレーションを実行させる命令を記憶したデータ記憶装置と
を含むシステム。
前記オペレーションは、さらに、前記信頼度に正規化係数を掛けることによって正規化された信頼度を決定するステップを含み、
正規化された信頼度の合計は、コンバージョンイベントの総数に等しい請求項11に記載のシステム。
前記オペレーションは、さらに、前記広告のコストを前記広告に関する前記正規化された信頼度で割ることによって、前記広告の費用対効果を決定するステップを含む請求項12に記載のシステム。
前記オペレーションは、さらに、前記各時間枠内の、コンバージョンイベントの前の、広告に関連する広告イベントの数を、前記時間枠内の、前記広告に関連する前記広告イベントの平均の数で割ることによって、前記広告に関する時間-コンバージョンの推移を生成するステップを含む請求項11に記載のシステム。
前記重み係数は、時間の増加とともに指数関数的に小さくなる請求項11に記載のシステム。
データ処理装置によって実行されたとき、データ処理装置に、
広告に関連する１又は複数の広告イベントを特定するステップであって、特定された各広告イベントは、コンバージョンイベントの前に発生する広告とのユーザのインタラクションであり、前記コンバージョンイベントは、ウェブサイトとの所定のユーザインタラクションである、ステップと、
コンバージョンイベントの前の期間をそれぞれ含む２つ以上の時間枠を選択するステップと、
選択された各時間枠について、選択された時間枠内で、かつコンバージョンイベントの前に発生した特定された広告イベントの数を決定することによって、対応する時間枠カウントを決定するステップと、
選択された各時間枠に対する重み係数を選択するステップと、
選択された各時間枠について、対応する時間枠カウント、および、選択された時間枠に対する重み係数のそれぞれの関数に基づき、重み付けされた時間枠カウントを生成するステップと、
選択された各時間枠に対する重み付けされた時間枠カウントに少なくとも部分的に基づき、広告のための広告信頼度を決定するステップであって、前記広告信頼度は、前記広告と前記コンバージョンイベントとの間の関わりの強さを表す、ステップと
を含むオペレーションを実行させる命令を記録したコンピュータ読み取り可能な記録媒体。
前記オペレーションは、前記信頼度に正規化係数を掛けることによって正規化された信頼度を生成するステップをさらに含み、
前記正規化係数は、正規化された信頼度の合計がコンバージョンイベントの総数に等しくなるようなものである請求項16に記載のコンピュータ読み取り可能な記録媒体。
前記各時間枠の長さは、前記広告の時間-コンバージョンの推移に基づく請求項16に記載のコンピュータ読み取り可能な記録媒体。
前記オペレーションは、前記各時間枠内の、コンバージョンイベントの前の、前記広告に関連する広告イベントの数を、前記時間枠内の、前記広告に関連する前記広告イベントの平均の数で割ることによって、前記広告に関する時間-コンバージョンの推移を生成するステップをさらに含む請求項16に記載のコンピュータ読み取り可能な記録媒体。
広告に関連する１又は複数の広告イベントを特定するステップであって、特定された各広告イベントは、コンバージョンイベントの前に発生する広告とのユーザのインタラクションである、ステップと、
コンバージョンイベントの前の期間をそれぞれ含む１又は複数の時間枠を選択するステップと、
選択された各時間枠について、選択された時間枠内で、かつコンバージョンイベントの前に発生した特定された広告イベントの数を決定することによって、対応する時間枠カウントを決定するステップと、
選択された各時間枠に対する重み係数を選択するステップと、
選択された各時間枠について、対応する時間枠カウント、および、選択された時間枠に対する重み係数のそれぞれの関数に基づき、重み付けされた時間枠カウントを生成するステップと、
選択された各時間枠に対する重み付けされた時間枠カウントに少なくとも部分的に基づき、広告のための広告信頼度を決定するステップであって、前記広告信頼度は、前記広告と前記コンバージョンイベントとの間の関わりの強さを表す、ステップと
を含む、コンピュータにより実装される方法。