JP4994394B2 - 推定した広告品質を用いた広告の選別、ランク付けおよび奨励 - Google Patents

Description

背景
発明の分野
ここで説明する実現化例は、包括的にはオンライン広告に関し、より特定的には推定した広告品質を用いてオンライン広告を選別、ランク付けおよび奨励することに関する。

関連技術の説明
オンライン広告システムは、さまざまなサービスおよび／または製品を宣伝し得る広告をホストする。このような広告は、広告システムがホストする文書にアクセスしたユーザ、または文書資料の検索のために検索クエリを発行したユーザに対して示され得る。広告は「創作物」を含んでもよく、この創作物には、宣伝するサービスおよび／または製品に関連する文章、図形および／または画像が含まれる。広告はさらに、宣伝するサービスおよび／または製品に関するより詳しい内容を含む、広告「ランディング文書（landing document）」へのリンクを含み得る。特定の創作物がユーザにとって興味深いと思われる場合、ユーザはこの創作物を選択（またはクリック）することができ、関連するリンクによって、ユーザのウェブブラウザは、上記創作物および関連するリンクに関連付けられた「ランディング文書」を訪れる。ユーザが広告創作物およびこれに関連するリンクを選択することを、以下「クリック」と呼ぶ。

オンライン広告システムは大抵、課金およびそれ以外の目的で広告のクリックを追跡する。広告クリック追跡の、課金以外の目的の１つは、広告品質を確かめようとすることである。クリック率（ＣＴＲ（click through rate））は、広告品質の判断に使用される１つの基準である。ＣＴＲは、所与の広告がユーザに対して示されたときに所与の広告が「クリックされる」回数の割合を表わす。しかしながら、広告のＣＴＲは、広告品質の不完全な基準である。なぜなら、ＣＴＲは、ランディング文書という広告の目的ではなく、広告の創作物に注目するからである。ユーザは、ある広告が良いか悪いか判断するためには広告をクリックする必要があるので、クリックが発生した／発生しないというのは、広告の品質を判断するには不十分である。創作物が良いために数多くのクリックを受けるものの、ランディング文書がユーザにとって全く不十分であるかまたは無関係である広告がある。（たとえば広告創作物が貧弱であるが故に）クリックはほとんど受けないものの、クリック毎にユーザを満足させる広告もある。したがって、オンライン広告に関連するＣＴＲについて現在行なわれている判断は、広告品質の基準としては不十分である。

さらに、既存のオンライン広告システムでは、ユーザに対して表示される広告およびユーザに対して表示される広告の順序は、広告のＣＴＲ、および、広告主がその広告を見せるために自ら値を付ける上限「１クリック単価」（ＣＰＣ（cost per click））のみに基づいている。ＣＰＣは、広告主が広告掲載業者に対して自ら支払う金額であり、特定の広告が受けた選択（たとえばクリック）の数に基づく。ＣＴＲは、広告品質に代わるものとして利用される限り、先に述べた理由で不十分である。したがって、表示する広告を決定するためおよび広告をランク付けするための既存のメカニズムは、最高品質の広告をユーザに提供しないかもしれない、広告品質の不完全な基準を用いているのである。

概要
ある局面に従うと、方法は、複数の広告の中のある広告の品質に関連する第１のパラメータを取得することを含むことができ、この第１の品質パラメータはクリック率を含まない。上記方法はさらに、第１の品質パラメータを少なくとも１つの他のパラメータと機能的に組合せ、この機能的組合せを用いて、複数の広告の中のある広告を選別、ランク付け、または奨励することを含み得る。

別の局面に従うと、方法は、第１グループの広告に関連する評価を取得することを含んでもよく、この評価は第１グループの広告の品質を示す。上記方法はさらに、第１グループの広告の中の広告のユーザによる選択に関連する複数の異なるユーザ動作を観察し、観察したユーザ動作および取得した評価を用いて統計モデルを導出することを含む。上記方法はまた、統計モデルを用いて第２グループの広告に関連する品質スコアを推定し、推定した品質スコアに基づいて第２グループの広告のサブセットの広告をユーザに与えることを含み得る。

さらに他の局面に従うと、方法は、統計モデルを用いて１組の広告に関連する品質スコアを求めることを含んでもよく、この品質スコアはクリック率（ＣＴＲ）を含まない。上記方法はまた、求めた品質スコアに基づいて上記１組の広告のうち第１のサブセットの広告を無効にし、上記１組の広告のうち第２のサブセットをユーザに与えることを含んでもよく、この１組の広告の中の第２のサブセットは、第１の組の広告から第１のサブセットの広告を差し引いたものを含む。

他の局面に従うと、方法は、統計モデルを用いて１組の広告に関連する品質スコアを求めることを含んでもよく、この品質スコアはクリック率（ＣＴＲ）を含まない。上記方法はさらに、求めた品質スコアに基づいて、上記１組の広告の中の広告をランク付けしてランク付けの順位を求めることを含み得る。

別の局面に従うと、方法は、統計モデルを用いて１グループの広告に関連する品質スコアを求めることを含んでもよく、この品質スコアはクリック率（ＣＴＲ）を含まない。上記方法はさらに、求めた品質スコアに基づいて上記グループの広告のうち１つ以上の広告を奨励し、上記グループの広告のうち奨励する１つ以上の広告を、ある文書上の目立つ位置に置き、上記グループの広告のうち奨励しない広告を、奨励する１つ以上の広告と比較して目立たない、文書上の位置に置くことを含み得る。

この明細書に組込まれてその一部をなす添付の図面は、本発明の１つ以上の実施例を示し、明細書の記載とともに本発明を説明する。

詳細な説明
以下の本発明の詳細な説明は、添付の図面を参照する。異なる図面における同一の参照番号は、同一または同様の構成要素を示す。また、以下の詳細な説明は、本発明を限定するものではない。

本発明の局面に従うシステムおよび方法は、オンライン広告のユーザによる選択に関連するユーザ行動の複数の観察結果（たとえば実時間での観察結果または記録されたユーザログからの観察結果）を用いて、ＣＴＲのみに基づく従来の判断と比較して、より正確に広告品質を推定し得る。既知の評価された広告に関連する品質評価と、これに対応する、これら既知の評価された広告の選択（たとえば「クリック」）に関連する測定され観察されたユーザ行動とを用いて、統計モデルを構築し得る。次に、この統計モデルを用い、広告の選択に関連する、観察されたユーザ行動および／または選択された広告の特徴もしくは広告検索に使用されたクエリに基づいて、広告に関連する品質を推定し得る。広告に関
連する、推定した品質を用いて、どの広告をユーザに提供するべきか判断し、広告をランク付けし、および／または選択された広告を、ユーザに提供される文書上の目立つ位置に置いて奨励する。

ここで使用する用語「文書」は、機械で読取可能かつ機械で格納可能な作業生産物を含むものであると広く解釈されるべきである。ある文書は、たとえば電子メール、ウェブページまたはサイト、ビジネスリスト、ファイル、ファイルの組合せ、他のファイルへのリンクが埋込まれた１つ以上のファイル、ニュースグループポスティング、ブログ、オンライン広告などを含み得る。文書は、大抵はテキスト情報を含み得、埋込まれた情報（メタ情報、画像、ハイパーリンクなど）および／または埋込まれた命令（たとえばジャバスクリプトなど）を含むこともある。ここで使用する用語「リンク」は、ある文書から別の文書へ、別の文書からある文書へ、または同じ文書の別の部分への参照を含むものであると広く解釈されるべきである。

概要
図１および図２は、本発明のある実現化例の代表的な概要を示し、この例では、観察したユーザの行動を利用してオンライン広告の品質を推定し、次に推定した品質を利用して、選択された広告を選別、ランク付けおよび／または奨励する。

図１に示されるように、複数の評価された広告１００−１〜１００−Ｎ（ここではまとめて広告１００と呼ぶ）はそれぞれ、対応する文書１０５−１〜１０５−Ｎ（ここではまとめて文書１０５と呼ぶ）に関連付けられ得る。各文書１０５は、ユーザが与えた検索クエリに基づき検索エンジンが実行した検索の結果得られた１組の検索結果を含んでもよく、さらに、評価された広告１００に加えて１つ以上の広告を含み得る。各広告１００は、評価された各広告１００の品質を評価した人間の評価者によって与えられた評価データ１２０に関連付けられ得る。各広告１００は、さまざまな製品またはサービスを宣伝し得る。

広告１００を受信すると、受信したユーザは、広告上に表示された「創作物」に基づいて広告を選択し得る１１０（例として、たとえばマウスを用いて表示された広告上を「クリックする」）。広告選択１１０の後、広告ランディング文書１１５が、広告をホストするサーバにより、広告１００に埋込まれたリンクを用いて、選択したユーザに提供され得る。広告ランディング文書１１５は、対応する広告１００で宣伝された製品および／またはサービスの詳細を提供し得る。

ユーザによる各広告選択１１０の前に、その間に、および／またはその後、「セッション」中の各広告選択１１０に関連するセッション特徴１２５を、実時間で測定し得る、または、メモリにもしくはディスク上に記録し得る。１つのセッションは、特定期間よりも長い中断なしで生じる一群のユーザ動作を含み得る（たとえば３時間を超える中断なしで生じる一群のユーザ動作）。

測定したセッション特徴１２５は、何らかの種類の、観察したユーザの行動または動作を含むことができる。たとえば、セッション特徴１２５は、広告選択１１０の継続時間（たとえば広告１００上の「クリック」の継続時間）、所与の広告選択前および／または後の他の広告の選択の数、所与の広告選択の前および／または後の検索結果の選択の数、所与の広告選択の前および／または後の他の種類の結果（たとえば画像、ニュース、製品など）の選択の数、所与の広告選択の前および／または後で文書を見た回数（たとえばページビューの数）（たとえば広告選択の前および／または後の検索結果のページビュー）、所与の広告選択の前および／または後の検索クエリの数、広告を示す、ユーザセッションに関連するクエリの数、所与の同一の広告が繰返し選択された回数、または、所与の広告
選択がセッションにおける最後の選択であるか、セッションにおける最後の広告選択であるか、所与の検索クエリについての最後の選択であるか、もしくは所与の検索クエリについての最後の広告選択であるかの表示を含み得る。上記以外の、広告選択に関連する他の種類の観察されたユーザの行動を、本発明の局面に従い用いてもよい。

対応する評価された広告１００の各広告選択１１０に関連する、測定したセッション特徴１２５および広告評価データ１２０を用い、統計モデル１３０が構築されてもよい（以下で詳述する）。この統計モデルは、統計技術を用いて導出した確率モデルを含み得る。このような技術は、たとえば、ロジスティック回帰、回帰ツリー、ブーストスタンプ（boosted stump）、または他の統計モデル化技術を含み得る。統計モデル１３０は、所与の広告が良い広告である尤度を推定する予測値を、その広告のユーザによる選択に関連するセッション特徴を考慮して、提供し得る。（たとえばＰ（良い広告│広告選択）＝ｆ_g（セッション特徴））。

統計モデル１３０の構築に続いて、一人以上のユーザによって選択された広告の広告品質値が予測され得る。文書１４０に関連付けられネットワーク内のサーバによってホストされる広告１３５が、アクセスしたユーザに与えられ得る。広告１３５のユーザ選択１４５に関連するセッション特徴１５５は、測定され、またはメモリ内もしくはディスク上に記録されてもよく、測定結果は、統計モデル１３０への入力として与えられ得る。統計モデル１３０は、測定されたセッション特徴を考慮して広告１３５が良い広告である尤度を求めることができ、広告１３５の広告品質値１６０を予測し得る。図１は１つの広告１３５に関連する品質値の予測を示しているが、広告品質値１６０は、複数のユーザが選択した各広告１３５について推定されて複数の予測された広告品質値１６０を生成してもよい。

図２に示されるように、複数の広告選択の結果として得られた、予測された品質値１６０は、集約および処理されてもよく２００（図１４−図２０との関連で以下で説明する）、各広告が良い広告であるか悪い広告であるかを示す広告品質パラメータ２１０をさらに与える。広告品質パラメータ２１０を用いて、広告品質パラメータ２１０に関連する広告のうち選択された広告を選別、ランク付および／または奨励する。まず、ユーザが発行した検索クエリ２２４に関する１組の広告２２０が求められてもよい。たとえば広告の内容と検索クエリ２２４の言葉の比較に基づいて、その広告は検索クエリ２２４に関連があると判断し得る。次に、この１組の広告２２０を、各広告に関連する広告品質パラメータ２１０のみまたはこれとＣＴＲとの組合せに基づいて、選別してもよい２３０。１組の広告２２０を選別することによって、広告のうち選択された広告が検索クエリ２２４を発行したユーザに提供されないように、その選別された広告を無効にしてもよい。推定された広告品質を用いるさまざまな技術が、以下でさらに説明するように、１組の関連する広告２１０のうち選択された広告の選別に使用され得る。

次に、１組の関連する広告２２０は、広告品質パラメータ２１０に基づいてランク付けされてもよい２４０。１組の関連する広告２２０は、選別２３０に続いて（または選別の前に）、または選別２３０を行なわずに、ランク付けされてもよい２４０。１組の関連する広告２２０をランク付けすること２４０により、検索クエリ２２４を発行したユーザに対して関連する広告２２０各々を提供する、選択された順序を決定する。

１組の関連する広告２２０のうち１つ以上の広告は、さらに、広告品質パラメータ２１０に基づいて奨励されてもよい２５０。広告の奨励は、奨励する広告を、奨励しない広告とは異なる文書上の位置に置くことを含み得る。たとえば、奨励する広告を、文書上の強調された（より目立つ）位置に置いてもよく（たとえば文書の最上部または文書の最下部）、奨励しない広告は、文書上の、これとは異なる強調されないまたはあまり目立たない
場所に置かれてもよい。１組の関連する広告２２０は、選別２３０およびランク付け２４０に続いて、ランク付け２４０のみに続いて、または選別２３０もしくはランク付け２４０を行なわずに、奨励されてもよい２５０。

選別、ランク付けおよび／または奨励した広告を、検索クエリ２２４を発行したユーザに与えてもよい。実現化例によっては、選別、ランク付けおよび／または奨励した広告を、ユーザに提供する１つ以上の文書であって、ユーザが発行した検索クエリ２２４の検索エンジンによる実行の結果得られた検索結果を含む文書に、含めてもよい。

代表的なネットワーク構成
図３は、本発明の原理に従うシステムおよび方法を実現し得るネットワーク３００の代表的な図である。ネットワーク３００は、ネットワーク３４０を介して１つ以上のサーバ３２０−３３０に接続された複数のクライアント３１０を含み得る。単純にするために、ネットワーク３４０に接続された２つのクライアント３１０および２つのサーバ３２０−３３０を示す。実際、クライアントおよびサーバはこれより多くても少なくてもよい。また、場合によっては、クライアントがサーバの機能を果たし、サーバがクライアントの機能を果たしてもよい。

クライアント３１０は、クライアントエンティティを含み得る。エンティティは、パーソナルコンピュータ、無線電話、個人情報端末（ＰＤＡ）、ラップトップまたは別の種類の計算または通信装置などの装置、これらの装置のうち１つの上で実行されるスレッドまたはプロセス、および／またはこれらの装置のうち１つによって実行可能なオブジェクトであると定義され得る。１人以上のユーザが各クライアント３１０に関連付けられ得る。サーバ３２０および３３０は、本発明の原理に従うやり方で、文書にアクセスし、文書を取出し、文書を集約し、文書を処理し、文書を検索し、および／または文書を保存するサーバエンティティを含み得る。クライアント３１０およびサーバ３２０、３３０は、有線、無線、および／または光接続によってネットワーク３４０に接続され得る。

本発明の原理に従うある実現化例において、サーバ３２０は、クライアント３１０のユーザが利用できる検索エンジンシステム３２５を含み得る。サーバ３２０は、文書資料（たとえばウェブ文書）を巡回し、文書に索引付けを行ない、文書に関連する情報を文書の保存場所に格納することにより、データ集約サービスを実現し得る。このデータ集約サービスは、データサーバ３３０のオペレータとの合意によりこれがホストする文書をデータ集約サービスを介して分配するなどの、他の方法で実現してもよい。実現化例によっては、サーバ３２０が、クライアント３１０のユーザに提供できる広告（たとえば創作物、広告ランディング文書）をホストし得る。検索エンジンシステム３２５は、文書の保存場所に格納した文書資料に対し、クライアント３１０のユーザから受けたクエリを実行することができ、実行したクエリに関する１組の検索結果をユーザに提供し得る。この１組の検索結果に加えて、サーバ３２０は、クライアント３１０のユーザに、実行した検索結果に関連する１つ以上の広告創作物を提供し得る。

サーバ３３０は、サーバ３２０によって巡回され得る文書を格納または保存し得る。このような文書は、公表されたニュース記事、製品、画像、ユーザグループ、地理的領域に関連するデータ、または他の種類のデータを含み得る。例として、サーバ３３０は、たとえばワシントンポスト、ニューヨークタイムズ、タイムマガジンまたはニューズウィークといった何らかの種類のニュースソースからのニュース記事を格納または保存し得る。別の例として、サーバ３３０は、１つ以上の製品製造業者から提供された製品データといった特定の製品に関連するデータを格納または保存し得る。さらに別の例として、サーバ３３０は、ウェブサイトのページといった他の種類のウェブ文書に関連するデータを格納または保存し得る。サーバ３３０はさらに、広告創作物および広告ランディング文書といっ
た広告をホストし得る。

ネットワーク３４０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、公衆交換電話網（ＰＴＳＮ）もしくは公衆陸上移動通信網（ＰＬＭＮ）といった電話網、イントラネット、インターネット、記憶装置、またはネットワークの組合せを含む、何らかの種類の１つ以上のネットワークを含み得る。ＰＬＭＮはさらに、たとえば汎用パケット無線サービス（ＧＰＲＳ）、セルラーデジタルパケットデータ（ＣＤＰＤ）、またはモバイルＩＰサブネットワークといったパケット交換サブネットワークを含み得る。

サーバ３２０−３３０は別々のエンティティとして示されているが、サーバ３２０−３３０のうち一方のサーバが、サーバ３２０−３３０のうち他方のサーバの機能の１つ以上を実行してもよい。たとえば、サーバ３２０および３３０を単一のサーバとして実現することが可能である。サーバ３２０および３３０のうち一方を２つ以上の別々の（おそらく分散型の）装置として実現することも可能である。

代表的なクライアント／サーバアーキテクチャ
図４は、本発明の原理に従う実現化例による、１つ以上のクライアント３１０および／またはサーバ３２０−３３０に対応し得る、クライアントまたはサーバエンティティ（以降「クライアント／サーバエンティティ」と呼ぶ）の代表的な図である。クライアント／サーバエンティティは、バス４１０、プロセッサ４２０、メインメモリ４３０、読出専用メモリ（ＲＯＭ）４４０、記憶装置４５０、入力装置４６０、出力装置４７０、および通信インターフェイス４８０を含み得る。バス４１０は、クライアント／サーバエンティティの要素間の通信を許可する経路を含み得る。

プロセッサ４２０は、命令を解釈し実行することができるプロセッサ、マイクロプロセッサまたは処理論理を含み得る。メインメモリ４３０は、情報およびプロセッサ４２０が実行する命令を格納するランダムアクセスメモリ（ＲＡＭ）または別の種類の動的記憶装置を含み得る。ＲＯＭ４４０は、プロセッサ４２０が使用する静的情報および命令を格納することができるＲＯＭ装置または別の種類の静的記憶装置を含み得る。記憶装置４５０は、磁気および／または光記録媒体およびこれに対応するドライブを含み得る。

入力装置４６０は、オペレータが情報をクライアント／サーバエンティティに入力できるようにする、キーボード、マウス、ペン、音声認識および／または生体認証メカニズム等のメカニズムを含み得る。出力装置４７０は、ディスプレイ、プリンタ、スピーカ等を含む、情報をオペレータに出力するメカニズムを含み得る。通信インターフェイス４８０は、クライアント／サーバエンティティが他の装置および／またはシステムと通信できるようにするトランシーバのようなメカニズムを含み得る。たとえば、通信インターフェイス４８０は、ネットワーク３４０といったネットワークを介して別の装置またはシステムと通信するためのメカニズムを含み得る。

本発明の原理に従うクライアント／サーバエンティティは、以下で詳細に説明するように、ある動作またはプロセスを実行することができる。クライアント／サーバエンティティは、これらの動作を、プロセッサ４２０による、メモリ４３０といったコンピュータ可読媒体に含まれるソフトウェア命令の実行に応答して実行することができる。コンピュータ可読媒体は、物理もしくは論理記憶装置および／または搬送波として定義され得る。

ソフトウェア命令は、データ記憶装置４５０といった別のコンピュータ可能媒体から、または通信インターフェイス４８０を介して別の装置から、メモリ４３０に読込まれ得る。メモリ４３０に含まれるソフトウェア命令によって、プロセッサ４２０は、以下で説明
する動作またはプロセスを実行することができる。これに代えて、ハードワイヤード回路を、ソフトウェア命令の代わりにまたはこれと組合せて用いて、本発明の原理に従うプロセスを実現してもよい。このように、本発明の原理に従う実現化例は、ハードウェア回路およびソフトウェアの特定の組合せに限定されない。

広告選択に関連するユーザ行動の統計モデルを構築するための代表的なプロセス
図５は、複数のオンライン広告の選択に関連するユーザ行動の統計モデルを構築するための代表的なプロセスのフローチャートである。当業者であれば理解するように、図５で代表的に示すプロセスを、ソフトウェアで実現することができ、かつサーバ３２０、サーバ３３０またはクライアント３１０の、メインメモリ４３０、ＲＯＭ４４０または記憶装置４５０といったコンピュータ可読メモリに適宜保存することができる。

この代表的なプロセスは、評価された広告に関連する評価データを取得することで始まり得る（ブロック５００）。この評価データは、評価された広告各々の品質を評価する、人間が生成したデータを含み得る（たとえばある広告を評価する１つの方法は、その広告が、発行されたクエリにどの程度関連性があるか評価することである）。次に、評価された広告の各選択に関連するセッション特徴を取得し得る（ブロック５１０）。このセッション特徴は、ユーザに対する各広告インプレッション提示の前、その間およびその後に生じる、所与のユーザセッション中の実際のユーザ行動を観察することにより実時間で得られ、または、ユーザに対する各広告インプレッション提示の前、その間およびその後に、データベースに格納されたセッション特徴（すなわちユーザ行動および動作）の記録されたログから得られる。取得したセッション特徴１２５は、何らかの種類の、観察されたユーザ行動を含むことができる。セッション特徴１２５は各々、所与の広告に対するユーザの満足度の間接的な基準に相当し得る。セッション特徴１２５のうちいくつかは、それ以外のセッション特徴１２５に対し、異なるユーザがどのように異なる価値を認めるか判断する際の要素である（たとえばダイヤルアップ接続を利用するユーザは、高速インターネット接続を利用するユーザよりも広告選択時間が長くなり得る）。

セッション特徴１２５は、広告選択の継続時間（たとえば広告上を「クリックする」継続時間）、所与の広告選択の前および／または後の他の広告の選択の数、所与の広告選択の前および／または後の検索結果の選択の数、所与の広告選択の前および／または後の他の結果の選択の数、所与の広告選択の前および／または後で文書を見た（たとえばページビューの）回数、所与の広告の選択の前および／または後の検索クエリの数、広告を示す、ユーザセッションに関連する検索クエリの数、所与の同一広告に対する繰返し選択の数、または、所与の広告選択が、セッション中の最後の選択か、セッション中の最後の広告選択か、所与の検索クエリに対する最後の選択か、もしくは所与の検索クエリに対する最後の広告選択かの表示を含み得るが、これに限定されるものではない。以下図６−図１３は、セッション特徴として測定される、本発明の局面に従う代表的なさまざまな種類のユーザ行動を示す。

図６は、セッション特徴６００として広告選択の継続時間を測定することを示す。図６に示されるように、文書６１０に関連する広告６０５がユーザに与えられ得る。広告６０５を受け、ユーザは広告６０５を選択してもよく６１５、広告ランディング文書６２０がユーザに与えられ得る。この広告選択の継続時間６２５（たとえば広告の選択から、別の広告のクリック、新たなクエリの入力といったユーザの次の動作までの時間の長さ）が、セッション特徴６００として測定され得る。

図７は、セッション特徴７００として、特定の広告選択の前および／または後の、他の広告選択の数を測定することを示す。広告Ｎ７１０の特定の選択７０５および広告選択７０５に応じた広告ランディング文書７１５の提供があると、以前の広告ランディング文書
７３０の提供に対応する広告Ｎ−ｘ７２５の１回以上の過去の広告選択７２０の数が測定され得る。加えてまたはこれに代えて、広告Ｎ７１０の特定の選択７０５があると、後続の広告ランディング文書７４５の提供に対応する広告Ｎ＋ｘ７４０の１回以上の後続の広告選択７３５の数が測定され得る。特定の広告選択の前および／または後の、他の広告選択の回数が、セッション特徴７００として測定され得る。

図８は、セッション特徴８００として、特定の広告選択の前および／または後の、検索結果選択の数を測定することを示す。広告Ｎ８１０の特定の選択８０５および広告選択８０５に応じた広告ランディング文書８１５の提供があると、広告選択８０５の前にユーザが見た検索結果文書８２０の数が、セッション特徴８００として測定され得る。この検索結果文書は、ユーザが発行した検索クエリを用いた検索の実行に基づいてユーザに与えられ得る。加えてまたはこれに代えて、広告選択８０５の後にユーザが見た検索結果文書８２５の数を、セッション特徴８００として測定してもよい。

図９は、セッション特徴９００として、特定の広告選択の前および／または後でユーザが見た文書の数を測定することを示す。広告９１０の特定の選択９０５および広告選択９０５に応じた広告ランディング文書９１５の提供があると、広告選択９０５の前にユーザが見た文書９２０（たとえばページビュー）の数が、セッション特徴９００として測定され得る。加えてまたはこれに代えて、広告選択９０５の後でユーザが見た文書９２５（たとえばページビュー）の数を、セッション特徴９００として測定してもよい。

図１０は、セッション特徴１０００として、特定の広告選択の前および／または後でユーザが発行した検索クエリの数を測定することを示す。広告１０１０の特定の選択１００５および広告選択１００５に応じた広告ランディング文書１０１５の提供があると、ユーザが広告選択１００５の前に発行した検索クエリ１０２０の数がセッション特徴１０００として測定され得る。加えてまたはこれに代えて、広告選択１００５の後でユーザが発行した検索クエリ１０２５の数を、セッション特徴１０００として測定してもよい。

図１１は、セッション特徴１１００として、結果として広告の表示に繋がる、特定の広告選択を含むセッションにおける検索クエリの数を測定することを示す。特定の広告選択を含むセッションがあると、対応する広告１１１０−１〜１１１０−Ｎの表示に繋がる検索クエリ１１０５の数が測定され得る。この検索クエリの数がセッション特徴１１００として測定され得る。結果として広告の表示に繋がる検索クエリ１１０５の数は、所与のユーザセッションの実用的特徴を示し得る。

図１２は、セッション特徴１２００として、ユーザによる同一広告の繰返し選択の数を測定することを示す。図１２に示されるように、複数の文書１２１０−１〜１２１０−Ｎに関連する広告１２０５が、１回以上ユーザに与えられ得る。広告１２０５の受信のたびに、ユーザは広告１２０５を選択してもよく１２１５、広告ランディング文書１２２０が、繰返されるユーザ選択のたびに与えられ得る。ユーザによる同一広告の繰返し選択の数がセッション特徴１２００として測定され得る。

図１３は、セッション特徴１３００として、ある広告選択が所与の検索クエリに対する最後の広告選択なのか、または、その広告選択がユーザセッションに対する最後の広告選択なのか判断することを示す。図１３に示されるように、ユーザは所与のセッション１３１０中に検索クエリ１３０５を発行することができ、１つ以上の広告１３１５が、検索クエリ１３０５の発行に続いてユーザに与えられ得る。広告１３１５を受けるたびに、ユーザは広告１３１５を選択することができ１３２０、広告ランディング文書１３２５がユーザに与えられ得る。広告選択１３２０が検索クエリ１３０５に対する最後の広告選択であるか否かが判断され得る。したがって、検索クエリ１３０５を発行したユーザが複数の広
告を選択した場合、検索クエリ１３０５に対する最後の広告選択のみが識別され得る。広告選択１３２０がセッション１３１０に対する最後の広告選択か否かも判断され得る。したがって、所与のセッション中にユーザが複数の広告選択を行なった場合、このセッションの最後の広告選択のみが識別され得る。

図６−図１３に示されていない他の種類のユーザ行動を、本発明の原理に従うセッション特徴として用いてもよい。以下に、他の代表的なセッション特徴の多数の例を列挙する。

１） 広告選択継続時間の代わりに、所与のユーザについての平均広告選択継続時間に対する所与の広告選択継続時間の比率を、セッション特徴として用いてもよい。

２） すべての選択（たとえば検索結果選択または広告選択）に対する所与の広告選択継続時間の比率。

３） ユーザが所与の広告を所与のセッションにおいて選択した回数。
４） 広告結果選択からユーザが別の検索クエリを発行するまでの時間の長さ。これは、所与の広告クリックに続いて（検索結果クリックまたは広告クリックを介して到達する）他のページで費やされた時間を含み得る。

５） 所与の広告結果選択からユーザが別の検索クエリを発行するまでの時間の、広告結果選択からユーザが別の検索クエリを発行するまでの他のすべての時間に対する比率。

６） 広告結果選択が行なわれたとして、所与の広告結果ではなく、検索クエリに対する他の結果を見ることに費やされた時間。

７） 上記６）で費やされた時間の（すなわちクリック継続時間ではなく他の結果に対して費やされた期間）、すべてのクエリを通して６）で費やされた時間の平均に対する比率。

８） 所与の検索結果または広告選択の前に所与のセッションにおいて生じた検索の数（すなわち固有発行検索クエリ）。

９） 所与の検索結果または広告選択の後で所与のセッションにおいて生じた検索の数。

１０） 検索ではなく、所与の検索クエリに対し、所与の選択の前に生じた結果ページビューの数。これは、そのクエリ内で（すなわち固有クエリについてのみ）または全体のセッションについて計算できる。

１１） 検索ではなく、所与の検索クエリに対し、この選択の後で生じた検索結果ページビューの数。これは、そのクエリ内で（すなわち固有クエリについてのみ）または全体のセッションについて計算できる。

１２） セッション内で生じたページビューの総数。
１３） セッションにおいて広告を示すページビューの数。

１４） セッションにおいて広告を示すページビューの数の、セッション内で生じたページビューの総数に対する比率。

１５） セッション内で示される広告インプレッションの総数。
１６） 広告を示すクエリごとに示される広告の平均数であり、これはセッションの営利性のもう１つの基準である。

１７） クエリスキャン時間、すなわち、ユーザがクエリの結果を見てからユーザが別のことを行なう（広告、検索結果、次のページ、新たなクエリ等の上をクリック）までの時間の長さ。

１８） 所与のクエリスキャン時間と他のすべてのクエリスキャン時間との間の比率。
１９） 所与の検索に対して生じた選択（たとえばクリック）の総数。これら選択は、広告選択だけではなくすべての種類の選択（たとえば検索、ワンボックス、広告）を含む。

２０） 所与の広告選択の前に、検索に対して生じた選択の総数。
２１） 所与の広告選択の後で、検索に対して生じた選択の総数。

２２） 検索に対して生じた広告選択の総数。これはページ上の広告数によって正規化される必要があってもよい。

２３） 所与の広告選択の前に、検索に対して生じた広告選択の総数。
２４） 所与の広告選択の後で、検索に対して生じた広告選択の総数。

２５） 文書上での広告位置が、文書上での所与の広告の位置よりも上にある、検索に対して生じた広告選択の総数。

２６） 文書上での広告位置が、文書上での所与の広告の位置よりも下にある、検索に対して生じた広告選択の総数。

２７） 所与の広告上にない、検索に対して生じた広告選択の総数。
２８） 検索に対して生じた検索結果選択の総数。

２９） 所与の広告選択の前に、検索に対して生じた検索選択の総数。
３０） 所与の広告選択の後で、検索に対して生じた検索結果選択の総数。

３１） セッションにおいて生じた長期間の検索結果選択の総数。
３２） セッションにおいて生じた短期間の検索結果選択の総数。

３３） セッションにおいて最後に生じた検索結果選択の総数。所与のユーザは、後続の動作なしで、検索結果をクリックすることによってセッションを終了することができる、または、ユーザは別のやり方でセッションを終了してもよい（たとえば広告結果クリック、クエリを発行しクリックしないなど）。

３４） 検索に対して生じた非検索結果および非広告選択の総数。
３５） この広告選択から変換があったか否かの表示。

３６） ユーザの接続速度の表示（たとえばダイヤルアップ、ケーブル、ＤＳＬ）。
３７） ユーザが存在するのはどの国かの表示。文化が異なれば、ユーザは同じ広告に対して異なる反応をする、または異なる文化的反応をする、またはサイトでの留まり方が異なる。

３８） ユーザが存在するのは世界のどの地域かの表示（たとえばＡＰＡＣ＝アジア太平洋地域）。

３９） 所与の広告に対するキーワードが検索クエリに正確に一致するか（すなわちすべての用語がクエリの用語と同一か）、または１語もしくは２語以上欠けているか、または用語を書換えたか。広告の品質が変化することは多く（より正確に一致するほど品質は高い）、キーワード一致は、広告をセグメント化するとともに、種類の異なる一致について別々に、広告が良いか悪いか予測するための妥当な方法である。

４０） 所与の広告に対する、推定されるクリック率（ＣＴＲ）の表示。
４１） 所与の広告選択に対して広告主が支払った１クリック単価（ＣＰＣ）はいくらか？広告が良い広告である尤度は、広告主が支払った料金に依存し得る（多いほど高品質）。

４２） 広告主はどのようなＣＰＣを進んで支払おうとしたか？広告オークションでは、広告主の入札を用いて広告のランクを設定し、所与の広告／広告主よりも低いランクが与えられた広告／広告主は、次に高ランクの広告／広告主が実際に支払う価格を設定する。

４３） 有効ＣＰＣ＊予測ＣＴＲ、または
４４） 入札ＣＰＣ＊予測ＣＴＲ。

上では、統計モデルに使用し得るセッション特徴の数多くの例を説明している。しかしながら、当業者は、他のセッション特徴を、上記のセッション特徴に代えてまたは上記のセッション特徴と関連付けて使用できることを理解するであろう。

再び図５を参照して、次に、広告選択に関連する測定されたセッション特徴を考慮して、選択された各広告が良品質の広告である確率を求める統計モデルを導出し得る（ブロック５２０）。たとえばロジスティック回帰といった既存の統計技術を用いて、本発明の原理に従う統計モデルを導出する。回帰は、結果因子（従属変数ｙ）を１つ以上の予測因子（独立変数ｘ₁、ｘ₂など）に関連付ける関数を発見することを含む。簡単な線形回帰は、以下の形式の関数を想定し、ｃ₀、ｃ₁、ｃ₂など（ｃ₀は「インタセプト」または「定数項」と呼ばれる）の値を発見する。

本発明の文脈においては、各予測変数ｘ₁、ｘ₂、ｘ₃などは、広告選択中に測定される、異なるセッション特徴に相当する。ロジスティック回帰は、通常回帰の変形であり、観察された結果が２つの値に限定されるときには有用であり、これは通常、本発明の文脈における良い広告か悪い広告かといったような、ある結果イベントが生じるか生じないかを表わす（通常それぞれ１または０として符号化される）。

ロジスティック回帰により、独立予測変数の関数として発生の確率を予測する式が生成される。ロジスティック回帰は、特別なＳ字型の曲線を、線形回帰（上記の式（１））を取ることによって適合させ、これは、マイナスの無限大とプラスの無限大との間のｙ値を生成し、それを次の関数で変形する。

これにより、０（ｙがマイナスの無限大に近づく）と１（ｙがプラスの無限大に近づく）との間のＰの値を生成する。式（１）を式（２）代入すると、良い広告である確率は次のようになる。

式中、ｃ_g0は、この式の定数であり、ｃ_gnは、セッション特徴予測変数ｘ_nの係数である。悪い広告である確率は、同様に次のようにして求められ得る。

式中、ｃ_b0は、この式の定数であり、ｃ_bnは、セッション特徴予測変数ｘ_nの係数である。

統計モデルの適合度をテストし、どのセッション特徴が、良いまたは悪い品質の広告と相関関係があるのか判断する。ロジスティック回帰技術を用いて統計モデルを求める場合、ロジスティック回帰の目的は、最も費用がかからないモデルを用いて個々の場合の結果を正確に予測することである。この目的を達成するために、従属ｙ変数の結果を予測するのに役立つすべての予測変数（たとえばセッション特徴）を含むモデルを作成する。この統計モデルを構築するために、ロジスティック回帰は、段階的回帰と呼ばれる、各係数（ｃ_n）の追加または削除後のモデルの適合度をテストすることができる。たとえば、後方段階回帰を用いることができ、この場合、モデル構築は、完全または飽和モデルおよび予測変数で始まり、それらの係数は、反復プロセスにおいてモデルから除去される。各変数を除去した後、モデルの適合度をテストし、このモデルが依然としてデータに十分に適合していることを保証する。モデルから削除する予測変数がなくなると、このモデル構築は完了する。各々が測定されたセッション特徴に対応する、モデル内に残された予測変数は、良いまたは悪い広告と相関関係があるセッション特徴を識別する。したがって、ロジスティック回帰は、異なる予測変数間の関係および強度に関する知識を与えることができる。係数およびそれに対応する予測変数を、モデルに含めることまたはモデルから削除することの重要性についてテストするプロセスは、異なるいくつかの既知の技術を含み得る。このような技術は、ワルド（Wald）検定、尤度比検定、またはHosmer-Lemshow適合度検定を含む。これらの係数テスト技術は当該技術では既知であり、ここではこれ以上説明しない。他の実現化例では、既存のクロス確認および独立トレーニング技術を、上記の回帰係
数の伝統的な推定およびテストの技術の代わりに用いてもよい。

ロジスティック回帰に代えてまたはこれに加えて、他の既存の統計技術を用いて本発明の原理に従う統計モデルを導出してもよい。たとえば、「ブースト(boosting）」技術を用いる「スタンプ（stumps）」モデルを用いて統計モデルを得てもよい。当業者が理解するように、「ブースト」は、さもなければ弱い統計モデルを順次改善することにより統計モデルを構築するための機械学習技術である。基本的な考え方は、同じアルゴリズムをトレーニングデータセット全体に繰返し適用するが、各段階でトレーニングデータに異なる重み付けをすることである。重みとは、段階ｋを通してモデルの適合度が良い場合は段階ｋ＋１で比較的小さな重みを受け、段階ｋを通してモデルの適合度が悪い場合は段階ｋ＋１で比較的大きな重みを得るというようなものである。

スタンプは、各段階で適用可能な弱い統計モデルである。スタンプは、リーフが２つの分類ツリーであり、このツリーは、ルートノードと、事例を、互いに排他的な２つのサブセット（すなわちリーフノード）に分割するバイナリ規則からなる。規則は「ClickDuration（クリック継続時間）＜１２０秒」の形を取ることができ、この規則を満たすClickDurationを有するすべての事例は一方のリーフノードに入り、この規則を満たさないものは他方のリーフノードに入る。別の規則は「AdSelection was the last ad selection （広告選択は最後の広告選択）」の形を取ることができ、この規則を満たすAdSelectionを有するすべての事例は一方のリーフノードに入り、この規則を満たさないものは他方のリーフノードに入る。

さまざまなアルゴリズムを用い、たとえば傾斜に基づく方法を含む、「ブーストスタンプ」モデルを適合させることができる。このようなアルゴリズムは次のように進行する。１組の重みが与えられ、事例を２つのリーフに分割するセッション特徴から導き出された可能なすべてのバイナリ決定規則の中から、アルゴリズムに関連する（重み付けされた）損失関数を最小にするものを選択する。損失関数の例としては、最尤法に相当する「ベルヌーイ損失」および周知のADABoost法に相当する「指数損失」がある。この段階で最良のバイナリ決定規則を選択した後、重みは再計算されることができ、このプロセスを繰返すことにより、新たな（重み付けされた）損失関数を最小にする最良のバイナリ規則を選択する。このプロセスは何度も繰返されてもよく（たとえば数百回から数千回）、リサンプリング技術（たとえばクロス確認）を用いて、過剰適合を防止するために停止規則を規定する。

示されたブーストスタンプは、追加のロジスティック回帰モデルを近似し、それにより、各特徴は、適合させたモデルに対し、追加の非線形的寄与を（ロジスティックスケールで）する。スタンプのシーケンスは、セッション特徴と、広告が「良い」と評価される確率との関係を規定する。このシーケンスは以下の統計モデルによって表わすことができる。

式中、セッション特徴ｘがｋ番目のバイナリ規則を満たす場合Ｂｋ（ｘ）＝１であり、または、セッション特徴ｘがｋ番目のバイナリ規則を満たさない場合Ｂｋ（ｘ）＝０であ
る。係数ｃ_k、ｋ＝１、…は、アルゴリズムの副生成物であり、ｋ番目のバイナリ規則での良い広告の見込みに関する。実際、所与のセッション特徴ｘを考慮して、各バイナリ規則を評価し、対応する係数を累積し、良い広告の、予測された確率を得る。上記式（５）に類似し、セッション特徴と広告が「悪い」と評価される確率との関係を規定する統計モデルは、同様にして導き出され得る。

統計モデルを構築するための代表的な技術として、ロジスティック回帰およびブーストスタンプについて述べてきたが、当業者であれば、たとえば回帰ツリーといった他の既存の統計技術を用いて、本発明の原理に従う統計モデルを導き出すことができることを理解するであろう。

広告品質に関する予測値を求めるための代表的なプロセス
図１４は、本発明の原理に従う実現化例による、広告の品質に関する予測値を求めるための代表的なプロセスのフローチャートである。当業者が理解するように、図１４が代表的に示すプロセスは、ソフトウェアで実現することができ、サーバ３２０またはサーバ３３０またはクライアント３１０の、メインメモリ４３０、ＲＯＭ４４０または記憶装置４５０といったコンピュータ可読メモリに、適宜格納させることができる。

この代表的なプロセスは、検索クエリの受信で始まり得る（ブロック１４００）。ユーザは、検索エンジンシステム３２５が実行する検索クエリをサーバ３２０に対して発行することができる。受信した検索クエリに一致する１組の広告を、検索エンジンシステム３２５が取得し得る（ブロック１４０５）。検索エンジンシステム３２５は、受信した検索クエリに基づいて検索を実行することができ、検索クエリに一致する１組の広告およびその他の文書を確認する。検索エンジンシステム３２５は、検索クエリを発行したユーザに対し、１組の広告およびその他の文書のリストを提供し得る。

１組の広告からある広告を選択することに関連付けられたセッション特徴が取得され得る（ブロック１４１０）。このセッション特徴は、ユーザによる広告選択中に実時間で測定され得る、または、広告選択に関連して記録されたユーザ行動のログから取得され得る。図１５に示されるように、ユーザは、文書１５１０（たとえば検索結果および関連する広告を含む文書）に関連付けられる広告１５０５を選択し得る１５００。広告１５０５の選択に応じ、ユーザに対して広告ランディング文書１５１５が提供され得る。図１５に示されるように、広告１５０５の選択１５００に関連付けられたセッション特徴１５２０が測定され得る。測定されたセッション特徴は、ブロック５１０（図５）に関連して先に述べたような、広告の選択に関連する何らかの種類のユーザ行動を含み得る。

上記ブロック５２０で得た統計モデルおよび取得したセッション特徴を用いて、広告が良い広告であるおよび／または悪い広告である予測値１５３０を求める（ブロック１４１５）。予測値は、その広告のユーザによる選択に関連するセッション特徴を考慮して、良い広告である確率を示す確率値（上記式（３）または（５）を用いて導出される）を含み得る。予測値はまた、その広告のユーザによる選択に関連する測定されたセッション特徴を考慮して、悪い広告である確率を示す確率値（上記式（４））を含み得る。したがって、セッション特徴値を、式（３）、（４）および／または（５）に入力して、選択された広告が良いか悪いかを示す予測値を取得する。たとえば、セッション特徴の値ｘ₁、ｘ₂、ｘ₃およびｘ₄を式（３）に入力して、Ｐ（良い広告│セッション特徴ｘ₁、ｘ₂、ｘ₃、ｘ₄）についての確率値を取得する。図１５に示されるように、測定されたセッション特徴１５２０を統計モデル１３０に入力することができ、統計モデル１３０は広告１５０５についての予測値１５３０を出力し得る。

広告の選択に関連する広告／クエリ特徴を取得し得る（ブロック１４２０）。図１５に
示されるように、広告／クエリ特徴１５３５は、広告１５０５の選択１５００と関連して得られる。広告／クエリ特徴１５３５は、広告１５０５の広告主と関連する識別子（たとえば広告主の目に見える統一資源ロケータ（ＵＲＬ））、広告１５０５が対象とするキーワード、ユーザが発行した検索クエリ中の、広告１５０５が対象としない語、および／またはユーザが発行した検索クエリ中の、広告の対象ではないが広告１５０５が対象とする語に似た語を含み得る。上記以外の他の種類の広告またはクエリ特徴を、本発明の原理に従い使用してもよい。たとえば、組合せて観察された上記広告／クエリ特徴のいずれか（たとえば２つの広告／クエリ特徴の対）を、単一の広告クエリ／特徴として用いてもよい。

取得した各広告／クエリ特徴（すなわち上記ブロック１４２０で取得したもの）について、求められた予測値は、広告／クエリ特徴に対応する、格納された値と合算され得る（ブロック１４２５）。求められた予測値は、たとえば図１６に示されるデータ構造１６００といったデータ構造に格納された値と合算し得る。図１６に示されるように、データ構造１６００は、複数の広告／クエリ特徴１６１０−１〜１６１０−Ｎ、各広告／クエリ特徴１６１０に関連付けられた、「広告選択の総数」１６２０、「良い」予測値の総計１６３０および「悪い」予測値の総計１６４０を含む。ブロック１４０５で求めた各予測値を、対象となっている広告およびクエリとさらに関連付けられる各広告／クエリ特徴１６１０に対応するエントリ１６３０または１６４０に格納された現在の値と合算する。例として、「母の日の花」という検索クエリに応じて、「1800flowers.com」の広告が提供されたとする。広告の選択に関連するセッション特徴は、確率Ｐ（良い広告│広告選択）として０．９を返す。３つの広告／クエリ特徴が、この広告およびクエリに関連する。すなわち、クエリの長さ（クエリ中の用語の数）、広告の目に見えるＵＲＬ、および、クエリ中にはあるが広告に関連するキーワード中にはない単語の数である。３つの広告／クエリ特徴の各々について、エントリ１６２０中の対応する「広告選択の総数」が１だけインクリメントされ、０．９が、各広告／クエリ特徴に対応する良い予測値の総数１６３０に格納された各値に加算される。

図１５に示されるように、求められた予測値１５３０各々が、データ構造１６００中の現在の値と合算され得る。ブロック１４００〜１４２５は、１人以上のユーザにより、広告の選択ごとに選択的に繰返されることができ、１つ以上の広告／クエリ特徴に関連する、多数の合算された予測値がデータ構造１６００に格納される。

代表的な見込み推定プロセス
図１７および図１８は、図１４のブロック１４２５で求めた予測値の総数１６３０または１６４０を用いて、広告に関連する良いまたは悪い品質の見込みを推定するための代表的なプロセスのフローチャートである。当業者が理解するように、図１７および図１８が代表的に示すプロセスは、ソフトウェアで実現することができ、サーバ３２０またはサーバ３３０またはクライアント３１０の、メインメモリ４３０、ＲＯＭ４４０または記憶装置４５０といったコンピュータ可読メモリに、適宜格納させることができる。

推定された、所与の広告が良い広告または悪い広告である見込みは、過去の、所与の広告が良い広告または悪い広告である見込み、および、所与の広告の選択に関連する広告／クエリ特徴に関連する１つ以上のモデルパラメータの関数である。このモデルパラメータは、トレーニングに使用される実際の履歴データに予測された広告が良いまたは悪い広告である見込みを最も良く適合させるパラメータ値を求めようとする反復プロセスを用いて、計算され得る。

各広告／クエリ特徴に関連するモデルパラメータは、良い広告または悪い広告である確率または見込みに対する乗数といった、単一のパラメータからなっていてもよい。これに
代えて、各広告／クエリ特徴が、予測された良い広告または悪い広告である確率に、より複雑に影響し得る、関連するいくつかのモデルパラメータを含んでもよい。

以下の説明では、さまざまな見込みおよび確率を使用する。イベントが発生する見込みおよびイベントが発生する確率は、確率＝見込み／（見込み＋１）という式によって、関連付けられる。たとえば、イベントが発生する見込みが１／２（すなわち見込みが、よくある表記「１：２」）の場合、これに対応する、イベントが発生する確率は１／３である。この取決めに従うと、見込みおよび確率は交換できると考えられる。確率よりも見込みで計算を表現する方が便利である。なぜなら、見込みは負でない値を取り得るのに対し、確率は０と１との間になければならないからである。しかしながら、以下の実現化例は、確率のみを用いて実施されるか、または、ログ（見込み）といった他の類似する表現を用い、以下の説明に最小限の変更を行なって実施されることが理解されるはずである。

図１７は、広告の選択に関連する広告／クエリ特徴に基づいて、所与の広告が良いまたは悪い広告である見込みを推定するための予測モデルの１つの実現化例を示すフロー図である。本発明の原理の１つの実現化例に従い、良い広告または悪い広告である見込みを、過去の、良い広告または悪い広告である見込み（ｑ₀）を、以下見込み乗数と呼ぶ、各広告／クエリ特徴（ｋ_j）に関連するモデルパラメータ（ｍ_j）で乗じることにより、算出することができる。このような解は次のように表現され得る。
ｑ＝ｑ₀．ｍ₁．ｍ₂．ｍ₃…ｍ_m
実際、各広告／クエリ特徴ｋに対する見込み乗数ｍは、広告が良いか悪いか判断する際の、この広告／クエリ特徴の予測力の統計的表現である。

本発明の原理に従う１つの実現化例では、上記モデルパラメータを、継続的に変形し、各広告／クエリ特徴ｋの、推定されたある広告が良いまたは悪い広告である見込みに対する、相対的影響を反映する。このような変形は、このクエリ／広告特徴を有する広告が良いまたは悪い広告であると予測された見込みの平均を、所与の広告／クエリ特徴は無視して、この広告／クエリ特徴を有する広告の履歴の品質の推定と比較する。このようにして、分析された広告／クエリ特徴ｋの相対的な値は、識別されさらに正確にされ得る。

具体的には図１７を参照して、選択された各広告／クエリ特徴（ｋ_i）について、平均自己除外確率（Ｐ_i）は、最初に算出され、または識別され得る（動作１７００）。１つの実現化例において、自己除外確率（Ｐ_i）は、選択された広告／クエリ特徴の関連度を表わす値であり、選択された広告／クエリ特徴のモデルパラメータ（ｍ_ｉ）が推定された見込み計算から削除されたとき、結果として広告が良いまたは悪い広告である見込みを測定し得る。広告／クエリ特徴３について、たとえば、これは次のように表わすことができる。

１つの実施例では、各広告／クエリ特徴についての自己除外確率を移動平均として保存することができ、識別した自己除外確率が、選択された各広告／クエリ特徴のモデルパラメータの識別に続いて確実により迅速に収束するようにする。このような移動平均は次のように表わすことができる。

式中、αは、移動平均の半減期を管理するのに使用される、１に非常に近い、統計的に規定された変数（たとえば０．９９９）である。上記式に示されるように、広告選択（ｎ）の現在の数についてのＰ_iの値（たとえば広告／クエリ特徴ｋ_iについての「広告選択の総数」１６２０）に対する現在の値を、重み付けし、その平均値を、前回の広告選択（たとえばｎ−１）で求めたＰ_iの値によって、求める。

次に、平均自己除外確率（Ｐ_i（平均））は、観察された広告選択の数および観察された選択について観察された良い広告または悪い広告である見込みに関連する履歴情報と、比較され得る（動作１７１０）。選択された広告／クエリ特徴ｋ_iに関連するモデルパラメータｍ_iは、動作１７１０の比較に基づいて生成または変形され得る（動作１７２０）（これについては図１８のブロック１８２０および１８３０に関連してより詳細に説明する）。

図１８は、図１７のブロック１７１０−１７２０の１つの代表的な実現化例を示すフロー図である。最初に、良い広告または悪い広告である見込みに関する信頼区間が求められる（動作１８００）。信頼区間技術を用いることにより、履歴データの量が少ない広告／クエリ特徴ｋを使用するときに、より正確で安定した推定が可能になる。１つの実現化例では、信頼区間は、下の値Ｌ_iおよび上の値Ｕ_iを有し、広告選択の数（ｎ_i）（たとえば広告／クエリ特徴ｋ_iについてのデータ構造１６００内の「広告選択の総数」１６２０内の現在の値）、および、選択された広告／クエリ特徴について観察された良い／悪い値の総数（ｊ_i）に基づく（たとえば広告／クエリ特徴ｋ_iについてのデータ構造１６００内の現在の「良い」予測値の総数１６３０または「悪い」予測値の総数１６４０）。たとえば、信頼区間は、広告選択の数（たとえば広告／クエリ特徴ｋ_iについてのデータ構造１６００内の「広告選択の総数」１６２０内の現在の値）、および、観察された良いまたは悪い値の総数（たとえば広告／クエリ特徴ｋ_iに付いてのデータ構造１６００内の現在の「良い」予測値の総数１６３０または「悪い」予測値の総数１６４０）に基づいて、従来のやり方で算出される８０％信頼区間［Ｌ_i、Ｕ_i］でもよい。信頼区間の算出の次に、平均自己除外確率（Ｐ_i（平均））が、この間隔の中にあるか否か判断され得る（動作１８１０）。そうであれば、選択された広告／クエリ特徴（ｋ_i）が、良い広告または悪い広告である見込みに影響しないと判断し、そのモデルパラメータ（ｍ_i）を１にセットし、推定見込み計算からこれを効果的に削除する（動作１８２０）。しかしながら、Ｐ_i（平均）が信頼区間外にあると判断した場合、選択された広告／クエリ特徴ｋ_iに対するモデルパラメータｍ_iを、平均自己除外確率（Ｐ_i（平均））を信頼区間の中に入れるのに必要な最小調整値に設定する（動作１８３０）。この計算は数学的には次のように表わされ得る。

次に図１７に戻って、選択された広告／クエリ特徴ｋ_iに対するモデルパラメータｍ_iが計算されると、追加の広告／クエリ特徴（たとえば図１６の広告／クエリ特徴１６１０−１〜１６１０−Ｎの）がこれから処理されるのか否か判断され得る（すなわちｋ_i＜ｋ_ｍか否か。ｍはデータ構造１６００内の広告／クエリ特徴の総数に等しい）（動作１７３０
）。これから処理する追加の広告／クエリ特徴があれば、カウンタ変数ｉをインクリメントすることができ（動作１７４０）、このプロセスは動作１７００に戻ってもよく、次の広告／クエリ特徴ｋ_iを処理する。すべての広告／クエリ特徴についてのモデルパラメータが計算または変形されると、良い広告または悪い広告である見込みを、式ｑ＝ｑ₀．ｍ₁．ｍ₂．ｍ₃…ｍ_mを用いて算出する（動作１７５０）。推定された、良い広告である見込み（たとえば見込み（良い広告│広告クエリ特徴））は、広告／クエリ特徴１６１０に対応するデータ構造１６００の「良い」広告見込みエントリ１６５０に格納され得る。推定された、悪い広告である見込み（たとえば見込み（悪い広告│広告／クエリ特徴））は、広告／クエリ特徴１６１０に対応するデータ構造１６００の「悪い」広告見込みエントリ１６６０に格納され得る。

本発明の原理に従う１つの実現化例において、見込み予測モデルが、届いたログデータを処理するとともに、上記統計（たとえば広告選択、良いまたは悪いの総数、自己包含確率など）を累算することより、トレーニングされ得る。追加の広告選択が生じると、各広告／クエリ特徴に関連する信頼区間が小さくなるかもしれず、パラメータの推定値はより正確になり得る。追加の実現化例では、トレーニングを、古いログデータを再処理することによって加速し得る。ログデータを再処理する際、推定された、良い広告または悪い広告である見込みは、最新パラメータまたは見込み乗数値を用いて再計算され得る。これにより、予測モデルをより迅速に収束させることができる。

代表的な広告品質予測プロセス
図１９は、本発明の原理に従う実現化例による、広告の品質を予測するための代表的なプロセスのフローチャートである。当業者が理解するように、図１９が代表的に示すプロセスは、ソフトウェアで実現することができ、サーバ３２０またはサーバ３３０またはクライアント３１０の、メインメモリ４３０、ＲＯＭ４４０または記憶装置４５０といったコンピュータ可読メモリに、適宜格納させることができる。

この代表的なプロセスは、ユーザから検索クエリを受信することで始まり得る（ブロック１９００）。ユーザは、検索エンジンシステム３２５が実行する検索クエリをサーバ３２０に対して発行することができる。受信した検索クエリに一致する１組の広告を、検索エンジンシステム３２５が取得し得る（ブロック１９１０）。検索エンジンシステム３２５は、受信した検索クエリに基づいて検索を行ない、検索クエリに一致する１組の広告および他の文書を確認する。この１組の広告中の各広告について、受信した検索クエリおよびその広告に対応するすべての広告／クエリ特徴を求め得る（ブロック１９２０）。各検索クエリおよび広告対についての広告／クエリ特徴は、広告主に関連する識別子（たとえば広告主の、目に見える統一資源ロケータ（ＵＲＬ））、広告が対象とするキーワード、ユーザが発行し広告が対象としなかった検索クエリ中の語、および／または広告の対象ではなかったが広告の対象である語に似ている、ユーザが発行した検索クエリ中の語を含む。上記以外の他の種類の広告またはクエリ特徴を、本発明の原理に従い使用してもよい。たとえば、組合せて観察された上記広告／クエリ特徴のうちいずれか（たとえば２つの広告／クエリ特徴を対にしたもの）を、単一の広告／クエリ特徴として用いてもよい。

この１組の広告中の各広告について、求めた広告／クエリ特徴ｉすべてに対して格納されたＯＤＤＳ（見込み）_ｉ（たとえばＯＤＤＳ（良い広告│広告／クエリ特徴）１６５０、ＯＤＤＳ（悪い広告│広告／クエリ特徴）１６６０が、データ構造１６００から引き出され得る（ブロック１９３０）。図２０に示されるように、データ構造１６００は、各広告／クエリ特徴に関連する１つ以上のＯＤＤＳ_ｉを引き出すための検索クエリおよび広告に対応する、広告／クエリ特徴２０００で索引が付され得る。たとえば、図１６に示されるように、各広告／クエリ特徴１６１０に対応する、「良い」広告見込み値１６５０が引き出され得る。別の例としては、図１６に示されるように、各広告／クエリ特徴１６１０
に対応する、「悪い」広告見込み値１６６０が引き出され得る。

１組の広告中の各広告について、各広告／クエリ特徴ｉに関して引き出されたＯＤＤＳ_iをともに乗算し（ブロック１９４０）、ＯＤＤＳ値の総数（ＯＤＤＳ_t）を生成する。

たとえば、各広告／クエリ特徴についての「良い」広告見込み値１６５０をともに乗算し、良い広告見込み値の総数ＯＤＤＳ_{ｔ ＧＯＯＤ ＡＤ}を生成してもよい。別の例として、各広告／クエリ特徴についての「悪い」広告見込み値１６６０をともに乗算し、悪い広告見込み値の総数ＯＤＤＳ_{ｔ ＢＡＤ ＡＤ}を生成してもよい。図２０に示されるように、データ構造１６００から引き出されたＯＤＤＳ２０１０を、ともに乗算して見込み値の総数ＯＤＤＳ_t ２０２０を生成してもよい。

１組の広告中の各広告について、広告が良い広告である確率（Ｐ_{ＧＯＯＤ ＡＤ}）および／または広告が悪い広告である確率（Ｐ_{ＢＡＤ ＡＤ}）を含み得る品質パラメータを求めてもよい（ブロック１９５０）。

図２０に示されるように、見込みの値の総数ＯＤＤＳ_t１８２０、および式（７）または（８）を用いて品質パラメータ（Ｐ）２０３０を導き出してもよい。

代表的な広告選別、ランク付けおよび奨励プロセス
図２１は、本発明の原理に従う実現化例よる、広告の選別、ランク付け、および／または奨励のための代表的なプロセスのフローチャートである。当業者が理解するように、図２１が代表的に示すプロセスは、ソフトウェアで実現することができ、サーバ３２０またはサーバ３３０またはクライアント３１０の、メインメモリ４３０、ＲＯＭ４４０または記憶装置４５０といったコンピュータ可読メモリに、適宜格納させることができる。

この代表的なプロセスは、検索クエリに関する広告を求めることで始まり得る（ブロック２１００）。ユーザは、検索クエリ文書内に検索クエリを入力してもよく、広告掲載業者がホストする広告の内容が、入力した検索クエリと比較されてもよく、どの広告がその検索クエリに関連するか判断される。たとえば、「ＳＵＶ」という用語を含む内容の広告は、検索クエリ「ＳＵＶ」に関連するとみなされ得る。

関連性のある広告に関連付けられた１つ以上の品質パラメータを取得し得る（ブロック２１１０）。この品質パラメータは、たとえば、上記ブロック１９５０で求めた品質パラメータを含み得る。しかしながら、品質パラメータは、クリック率（ＣＴＲ）以外の、広告の品質を示す他の種類のパラメータを含んでいてもよい。

関連性があると判断された広告を、取得した品質パラメータに基づいて選別し得る（任
意のブロック２１２０）。選別により、関連性のある広告から選択されたものは、無効にされ（たとえば除外され）、そのため検索クエリを発行した、または特定の文書またはサイトの内容にアクセスしたユーザには提供されない（すなわち、表示されない）。関連性のある広告は、上記ブロック２１１０で取得した１つ以上の品質パラメータに基づいて、または、ＣＴＲに加えて他の種類の品質パラメータに基づいて、選別され得る。関連性のある広告は、取得した品質パラメータと他のパラメータ（たとえばＣＴＲ）との機能的組合せに基づき、選別され得る。たとえば、取得した品質パラメータ（ＱＰ）を、ＣＴＲで乗算して（すなわちＱＰ＊ＣＴＲ）、関連性のある広告を選別してもよい。ＣＴＲは、結果として広告のクリックにつながる広告インプレッションの割合を測定する。たとえば、１００の広告インプレッションのうち１つが広告のクリックにつながるならば、その広告のＣＴＲは１／１００すなわち１％である。「広告パフォーマンスの正確な推定（Accurately Estimating Advertisement Performance）」と題され、本明細書に引用により援用する、米国同時係属出願１１／１６７，５８１（代理人文書番号００２６−０１４５）に記載のように、ＣＴＲを推定してもよい。１つの実現化例において、品質パラメータＱＰは、上記ブロック１９５０で求めたＰ_{ＧＯＯＤ ＡＤ}を含み得る。

一例として、機能的組合せＰ_{ＧＯＯＤ ＡＤ}＊ＣＴＲを無効化規則として用いてもよい。たとえば、Ｐ_{ＧＯＯＤ ＡＤ}＊ＣＴＲが低い（たとえばしきい値より小さい）場合、広告は無効にされるのでユーザに提供されない。図２２は、本発明のある局面に従う複数の広告２２００−１〜２２００−Ｎの選別の例を示す。各広告２２００について、Ｐ_{ＧＯＯＤ ＡＤ}＊ＣＴＲの値２２１０を求め、これをしきい値（Ｔ）２２２０と比較してもよい。しきい値Ｔ２２２０より小さな値２２１０を有する広告は無効にされてもよく２２３０、しきい値Ｔ２２２０に等しいかまたはそれよりも大きい値２２１０を有する広告はユーザに提供され得る２２４０（例、表示される）。

別の実現化例では、品質パラメータＱＰは上記ブロック１９５０で求めた値Ｐ_{ＢＡＤ ＡＤ}を含んでもよく、Ｐ_{ＢＡＤ ＡＤ}をＣＴＲで乗算し得る。たとえば、Ｐ_{ＢＡＤ ＡＤ}＊ＣＴＲが高い（たとえばしきい値より大きい）場合、広告は無効にされるのでユーザに提供されない。図２３は、複数の広告２３００−１〜２３００−Ｎの選別の例を示す。各広告２３００について、Ｐ_{ＢＡＤ ＡＤ}＊ＣＴＲの値２３１０を求め、これをしきい値（Ｔ）２３２０と比較してもよい。しきい値Ｔ２０２０より大きいかまたはこれに等しい値２３１０を有する広告は無効にされてもよく２１３０、しきい値Ｔ２３２０より小さな値２３１０を有する広告はユーザに提供され得る２３４０（例、表示される）。

さらに他の実現化例では、比率Ｐ_{ＧＯＯＤ ＡＤ}／Ｐ_{ＢＡＤ ＡＤ}を無効化規則として使用し得る。たとえば、Ｐ_{ＧＯＯＤ ＡＤ}／Ｐ_{ＢＡＤ ＡＤ}がしきい値より小さい場合、これは、広告が良い広告である確率が、その広告が悪い広告である確率より低いことを示し、その広告は無効にされ、このためユーザには提供されない。図２４は、複数の広告２４００−１〜２４００−Ｎの選別の例を示す。各広告２４００について、Ｐ_{ＧＯＯＤ ＡＤ}／Ｐ_{ＢＡＤ ＡＤ}の値２４１０を求め、これをしきい値（Ｔ）２４２０と比較してもよい。しきい値Ｔ２４２０より小さい値２４１０を有する広告は無効にされ２４３０、しきい値Ｔ２４２０より大きいかまたはこれに等しい値２４１０を有する広告はユーザに提供され得る２４４０（例、表示される）。

関連性があると判断された広告を、取得した品質パラメータに基づいてランク付けしてもよい（任意のブロック２１３０）。関連性がある広告を、上記ブロック２１１０で取得した１つ以上の品質パラメータに基づき、または、ＣＴＲ以外のもしくはＣＴＲに加えて、他の種類の広告品質パラメータに基づき、ランク付けしてもよい。関連性のある広告を、取得した品質パラメータと他のパラメータ（たとえばＣＴＲ）との機能的組合せに基づいてランク付けしてもよい。１つの実現化例において、品質パラメータＱＰは、上記ブロ
ック１９５０で求めた値Ｐ_{ＧＯＯＤ ＡＤ}を含み得る。他の実現化例では、品質パラメータＱＰは、値Ｐ_{ＢＡＤ ＡＤ}を含み得る。

取得した品質パラメータＱＰと他のパラメータとの機能的組合せは、広告掲載業者、広告主およびユーザに対して、価値を最大にしようとしてもよい。１つの実現化例では、広告を以下の関数を用いてランク付けし得る。

式中、ＣＴＲはクリック率であり、ＣＰＣはその広告の「１クリック単価」である。ＣＰＣは、広告クリックの、所与の広告主にとっての価値を表わす。図２５は、複数の広告２５００−１〜２５００−Ｎのランク付けの例を示す。各広告２５００について、Ｐ_{ＧＯＯＤ ＡＤ}＊ＣＴＲ＊ＣＰＣの値２５１０を求めてもよい。１組の広告中の各広告の値２５１０を比較して、ランク付けの順序２５２０に従って広告の順位を決定し直してもよい。ランク付けの順序２５２０は、たとえば図２５に示されるように、広告２５００を昇順でランク付けし、広告２５００−１は最も高い値２５１０−１を有して先頭にランク付けし、値２５１０−１より小さな値２５１０を有する広告２５００−２〜２５００−Ｎは降順でランク付けし得る。

別の実現化例では、広告を以下の関数を用いてランク付けし得る。

式中、ＣＴＲはクリック率であり、ＣＰＣはその広告の１クリック単価であり、ValueOfGoodAdToUser（ユーザにとって良い広告の価値）は、広告掲載業者が良い広告を示したことから受けることができる収入の増分利得であり、CostOfBadAdToUser（ユーザにとって悪い広告のコスト）は、広告掲載業者がユーザに悪い広告を提供したことから被り得る、長期にわたる収入の増分損失である。値ＣＴＲ＊ＣＰＣは、広告が受け得る短期間の収入を表わす。

これらの値ValueOfGoodAdToUserおよびCostOfBadAdToUserは、異なる多数の方法で推定できる。ある技術では、人的要因実験を行ない、ユーザに対し、良い広告のみを有する一連の文書を示し、次にユーザに対し、ユーザがその広告を使用する頻度を確かめるための行動タスクを与える。別の１組のユーザには、悪い広告のみを有する一連の文書を示し、次にこのユーザの組に対しては、ユーザがその広告を使用しない頻度を確かめるための行動タスクを与える。次にこれをさらに正確にし、行動タスクにおいて広告をクリックする尤度を変えるにはいくつの文書が必要かを確かめるとともに、混合されたもの（たとえば良い広告と悪い広告との混合）がどの程度尤度を変えるかを確かめる。別の技術では、セッションデータを用い、１つのセッション内でユーザが実行する一連のクリックを観察し、悪い広告を見た後でさらに広告をクリックする確率を（経験的測定によって）求め得る（良い広告についても同じ）。

上記の技術いずれにおいても、ユーザが広告をクリックする尤度の増加（ユーザが良い広告を見せられた場合）またはユーザが広告をクリックする尤度の減少（ユーザが悪い広告を見せられた場合）を、推定できる。値ValueOfGoodAdToUserを導出するために、増分増加をクリックの平均値で乗算し、値CostOfBadAdToUserを、増分減少をクリックの平均値で乗算することにより求めることができる。実現化例によっては、ValueOfGoodAdToUserおよびCostOfBadAdToUserの値を調整し、国ごとまたはビジネスごと（たとえば旅行、金融、消費財など）のクリックのコストをカスタマイズすることにより、ValueOfGoodAdToUserおよびCostOfBadAdToUserの値が、国、言語および／またはビジネスに応じて異なるクリック単価を有するようにしてもよい。

図２６は、複数の広告２６００−１〜２６００−Ｎをランク付けする例を示す。各広告２６００について、上記式（９）を用いて値２６１０を求め得る。関連性のある１組の広告の中の各広告の値２６１０を比較してもよく、ランク付け順序２６２０で広告の順序を決め直してもよい。ランク付け順序２６２０は、たとえば図２６に示されるように広告２６００を昇順でランク付けし、最も高い値２６１０−１を有する２６００−１を、先頭にランク付けしてもよく、値２６１０−１より小さい値２６１０を有する２６００−２〜２６００−Ｎは降順でランク付けしてもよい。

関連性があると判断された広告のうち、選択されたものを奨励してもよい（任意のブロック２１４０）。奨励する広告の選択は、上記ブロック２１１０で取得した１つ以上の品質パラメータに基づいてもよく、または、ＣＴＲに加えて他の種類の広告品質パラメータに基づいてもよい。広告を、取得した品質パラメータと他のパラメータ（たとえばＣＴＲ）との機能的組合せに基づいて奨励し得る。１つの実現化例では、品質パラメータＱＰは、上記ブロック１９５０で求めた値Ｐ_{ＧＯＯＤ ＡＤ}を含み得る。他の実現化例では、品質パラメータＱＰは、上記ブロック１９５０で求めた値Ｐ_{ＢＡＤ ＡＤ}を含み得る。１つの実現化例では、たとえば、Ｐ_{ＧＯＯＤ ＡＤ}＊ＣＴＲが高い（たとえばしきい値より大きい）場合、またはＰ_{ＧＯＯＤ ＡＤ}／Ｐ_{ＢＡＤ ＡＤ}が高い（たとえばしきい値より大きい）場合、広告を奨励し得る。

図２７は、複数の広告２７００−１〜２７００−Ｎの中の広告を奨励する例を示す。各広告２７００について、Ｐ_{ＧＯＯＤ ＡＤ}＊ＣＴＲの値２７１０を求め、これをしきい値（Ｔ）２７２０と比較してもよい。しきい値Ｔ２７２０よりも大きいかまたはこれに等しい値２７１０を有する広告を奨励してもよく２７３０、しきい値Ｔ２７２０より小さい値２７１０を有する広告は奨励しなくてもよい２７４０。

図２８は、複数の広告２８００−１〜２８００−Ｎの中の広告の奨励の別の例を示す。各広告２８００について、Ｐ_{ＧＯＯＤ ＡＤ}／Ｐ_{ＢＡＤ ＡＤ}の値２８１０を求め、これをしきい値（Ｔ）２８２０と比較してもよい。しきい値Ｔ２８２０より大きいかまたはこれに等しい値２８１０を有する広告を奨励してもよく２８３０、しきい値Ｔ２８２０より小さい値２８１０を有する広告は奨励しなくてもよい２８４０。

別の実現化例では、代わりに、上記式（９）について述べた関数を用い、広告をランク付けするために上記式（９）で用いた値よりも高い値にCostOfBadAdToUserの値が設定され得る。このCostOfBadAdToUserの値を上記式（９）で用いた値より高い値に設定するということは、悪い広告を単に示すだけよりも悪い広告を奨励する方がコストがかかることを示す。図２９は、複数の広告２９００−１〜２９００−Ｎの中の広告を奨励するさらに他の例を示す。各広告２９００について、上記式（９）の値２９１０を求め、これをしきい値（Ｔ）２９２０と比較してもよい。しきい値Ｔ２９２０に等しいかまたはそれより大きな値２９１０を有する広告を奨励してもよく２９３０、しきい値Ｔ２９２０より小さい値２９１０を有する広告は奨励しなくてもよい２９４０。

関連性があると判断された広告のうちいくつかを、選択的に、ブロック２１２０、２１３０および／または２１４０において行なわれた、選別、ランク付け、および／または奨励に基づいてユーザに提供してもよい（ブロック２１５０）。ブロック２１２０で無効にされなかった関連性のある広告を、ユーザに提供してもよい。無効にされた広告を含まない関連性のある広告をさらに、ブロック２１３０でランク付け関数によって決定した順序で、ユーザに提供してもよい。無効にされた広告を含まない、関連性がある広告のうち１つ以上を、ブロック２１４０で決定したように奨励してもよい。図３０は、検索結果文書３０００を示し、この文書中の検索結果３０１０が、検索クエリを発行したユーザに提供される。ランク付け順序で列挙されたランク付け広告３０２０がさらに、検索結果文書３０００に含まれ得る。ランク付け広告３０２０はたとえば、宣伝される製品またはサービスについてさらに詳細事項を提供する広告ランディング文書へのリンクを含み得る。目立つまたは強調表示された位置に置かれた奨励される広告３０３０がさらに検索結果文書３０００に含まれ得る。

結論
上記本発明の好ましい実施例についての説明は例示であり、包括的に説明すること、または本発明を開示されたそのままの形態に限定することを意図していない。変形および変更は、上記教示に照らして可能であり、または、本発明を実施することにより得られる。たとえば、一連の動作について図５、１４、１７、１８、１９および２１と関連付けて説明しているが、この動作の順序は、本発明の原理に従う他の実現化例において変更してもよい。さらに、依存しない動作は並行して行なわれてもよい。

図５に関連して説明した上記セッション特徴に加え、実現化例によっては、任意で変換追跡を用いて、予測値とユーザ満足度との間の直接較正を導き出してもよい。変換が生じるのは、広告の選択が直接的に、広告主が価値があると考えるユーザの行動（たとえばユーザ購入）に至ったときである。広告主、または広告主の広告をホストするサービスは、各広告選択について変換が生じたか否か追跡し得る。たとえば、ユーザがある広告主の広告を選択し次にその広告の選択に応じてユーザに提供された広告ランディング文書に示された製品をオンラインで購入した場合、その広告主またはその広告をホストするサービスは、その広告選択についての変換に注目し得る。変換追跡データは、識別された広告選択に関連付けられ得る。たとえばロジスティック回帰、回帰ツリー、ブーストスタンプなどの統計技術を用いて、予測値と、変換により測定されるユーザの満足度との間の直接較正を導き出してもよい。

当業者にとって、上記本発明の局面が、図面に示された実現化例において、ソフトウェア、ファームウェアおよびハードウェアの、数多くの異なる形態で実現できることは、明らかであろう。本発明の原理に従う局面を実現するのに使用される実際のソフトウェアコードまたは特定の制御ハードウェアは本発明を限定しない。したがって、これら局面の動作および行動は、特定のソフトウェアコードを参照せずに説明されており、当業者はソフトウェアおよび制御ハードウェアを設計して本明細書での説明に基づく局面を実現できることが理解される。

本願において使用されるどの要素、動作または命令も、明言されない限り本発明に必須のものでも本質的なものでもないと理解されねばならない。また、本明細書で使用する冠詞「ａ」は、１つ以上のアイテムを含むことが意図されている。アイテムが１つのみであることが意図されている場合、「１つの」またはこれに類似する表現が用いられる。また、「基づく」という表現は、明言しない限り「少なくとも一部基づく」を意味することが意図されている。

ある実現化例の概要の代表的な図であり、この例では、観察されたユーザの行動および１組の広告に関連する既知の品質評価を用い、広告品質を推定するのに利用可能な統計モデルを構築し、次に、広告を、推定した広告品質に基づいて選別、ランク付けおよび奨励することができる。 ある実現化例の概要の代表的な図であり、この例では、観察されたユーザの行動および１組の広告に関連する既知の品質評価を用い、広告品質を推定するのに利用可能な統計モデルを構築し、次に、広告を、推定した広告品質に基づいて選別、ランク付けおよび奨励することができる。 本発明の原理に従うシステムおよび方法が実現されるネットワークの代表的な図である。 本発明の原理に従う実現化例による図３のクライアントまたはサーバの代表的な図である。 本発明の原理に従う実現化例による、複数のオンライン広告の選択に関連するユーザの行動のモデルを構築するための代表的なプロセスのフローチャートである。 広告品質を予測するために統計モデルを構築するのに使用される、観察または記録されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。 広告品質を予測するために統計モデルを構築するのに使用される、観察または記録されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。 広告品質を予測するために統計モデルを構築するのに使用される、観察または記録されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。 広告品質を予測するために統計モデルを構築するのに使用される、観察または記録されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。 広告品質を予測するために統計モデルを構築するのに使用される、観察または記録されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。 広告品質を予測するために統計モデルを構築するのに使用される、観察または記録されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。 広告品質を予測するために統計モデルを構築するのに使用される、観察または記録されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。 広告品質を予測するために統計モデルを構築するのに使用される、観察または記録されたユーザ動作に対応するさまざまな代表的なセッション特徴を示す。 本発明の原理に従う実現化例による、広告の品質に関する予測値を求めるための代表的なプロセスのフローチャートである。 本発明のある局面に従う、図１４の代表的なプロセスを図解して示す図である。 図１４で求めた予測値を格納するための代表的なデータ構造の図である。 本発明の原理に従う、図１４の代表的なプロセスで求めた予測値を用いて、広告に関連する良質または悪質である見込みを推定するための代表的なプロセスのフローチャートである。 本発明の原理に従う、図１４の代表的なプロセスで求めた予測値を用いて、広告に関連する良質または悪質である見込みを推定するための代表的なプロセスのフローチャートである。 本発明の原理に従う実現化例による、広告の品質を予測するための代表的なプロセスのフローチャートである。 本発明のある局面に従う、図１９の代表的なプロセスを図解して示す図である。 本発明の原理に従う実現化例よる、広告を選別、ランク付け、および／または奨励するための代表的なプロセスのフローチャートである。 本発明の局面に従う広告選別のさまざまな例を示す。 本発明の局面に従う広告選別のさまざまな例を示す。 本発明の局面に従う広告選別のさまざまな例を示す。 本発明の局面に従う広告のランク付けの例を示す。 本発明の局面に従う広告のランク付けの例を示す。 本発明の局面に従う広告奨励の例を示す。 本発明の局面に従う広告奨励の例を示す。 本発明の局面に従う広告奨励の例を示す。 本発明のある局面に従う、選別、ランク付け、および／または奨励された広告を含む代表的な検索結果文書を示す。

Claims (12)

1. １つ以上のサーバ装置によって実現される方法であって、
   前記１つ以上のサーバ装置のプロセッサを用いて、広告の第１グループの品質を示し、広告の前記第１グループに関連する評価を取得するステップと、
   前記１つ以上のサーバ装置のプロセッサを用いて、広告の前記第１グループの広告のユーザによる選択に関連する複数の異なるユーザ動作を観察するステップと、
   前記１つ以上のサーバ装置のプロセッサを用いて、前記第１グループとは異なる広告の第２グループに関連する品質スコアを、前記観察された複数の異なるユーザ動作および前記取得された評価から導出され、広告の前記第２グループの広告が所定の品質である確率を特定する、複数の異なる種類のユーザ動作の関数としての確率モデルを用いて推定するステップと、
   前記１つ以上のサーバ装置のプロセッサを用いて、前記推定された品質スコア、および広告の前記第２グループの広告に関連するクリック率の組合せを算出するステップと、
   前記１つ以上のサーバ装置のプロセッサを用いて、前記推定された品質スコアおよびクリック率の組合せとしきい値との比較に基づいて広告の前記第２グループを選別し、広告の前記第２グループから広告のサブセットを生成するステップと、
   前記１つ以上のサーバ装置のプロセッサを用いて、広告の前記第２グループからの広告の前記サブセットをユーザに提供するステップとを含む、方法。
2. 前記推定された品質スコアおよびクリック率の組合せを算出するステップは、前記推定された品質スコア、前記クリック率、および広告の前記第２グループの広告に関連する１クリック単価（ＣＰＣ）の組合せを算出するステップをさらに含み、
   前記方法は、前記推定された品質スコア、前記クリック率および前記ＣＰＣの前記算出された組合せに基づいて広告の前記サブセットの広告をランク付けし、広告の前記サブセットを順序付けるステップをさらに含む、請求項１に記載の方法。
3. 広告の前記サブセットを前記ランク付けの順序でユーザに提供するステップをさらに含む、請求項２に記載の方法。
4. 前記推定された品質スコアおよび前記クリック率の前記算出された組合せに基づいて、広告の前記サブセットのうち１つ以上の広告を奨励するステップをさらに含む、請求項２に記載の方法。
5. 広告の前記サブセットのうち前記奨励する１つ以上の広告を、文書内の目立つ位置に置くステップと、
   広告の前記第２グループのうち奨励しない広告を、前記奨励する１つ以上の広告よりも目立たない前記文書内の位置に置くステップとをさらに含む、請求項４に記載の方法。
6. 広告の前記サブセットをユーザに提供するステップは、前記文書をユーザに提供するステップを含む、請求項５に記載の方法。
7. システムであって、
   広告の第１グループの品質を示し、広告の前記第１グループに関連する評価を取得し、
   広告の前記第１グループの広告のユーザによる選択に関連する、複数の異なるユーザ動作を観察し、
   前記第１グループとは異なる広告の第２グループに関連する品質スコアを、前記観察された複数の異なるユーザ動作および前記取得された評価から導出され、広告の前記第２グループの広告が所定の品質である確率を特定する、複数の異なる種類のユーザ動作の関数としての確率モデルを用いて推定し、
   前記推定された品質スコア、および広告の前記第２グループの広告に関連するクリック率の組合せを算出し、
   前記推定された品質スコアおよび前記クリック率の組合せとしきい値との比較に基づいて広告の前記第２グループを選別し、広告の前記第２グループから広告のサブセットを生成し、
   広告の前記第２グループからの広告の前記サブセットをユーザに提供するための少なくとも１つのプロセッサを含む、システム。
8. 前記少なくとも１つのプロセッサが前記推定された品質スコアおよび前記クリック率の組合せを算出する際、前記１つ以上のプロセッサは、さらに、
   前記推定された品質スコア、前記クリック率、および広告の前記第２グループの広告に関連する１クリック単価（ＣＰＣ）の組合せを算出し、
   前記推定された品質スコア、前記クリック率および前記ＣＰＣの前記算出された組合せに基づいて広告の前記サブセットの広告をランク付けする、請求項７に記載のシステム。
9. 前記１つ以上のプロセッサは、さらに、広告の前記サブセットを前記ランク付けの順序でユーザに提供する、請求項８に記載のシステム。
10. 前記１つ以上のプロセッサは、さらに、前記推定された品質スコアおよび前記クリック率の前記算出された組合せに基づいて、広告の前記サブセットのうち１つ以上の広告を奨励する請求項７に記載のシステム。
11. 前記１つ以上のプロセッサは、さらに、
    広告の前記サブセットのうち前記奨励する１つ以上の広告を、文書内の目立つ位置に置き、
    広告の前記第２グループのうち奨励しない広告を、前記奨励する１つ以上の広告よりも目立たない前記文書内の位置に置く、請求項１０に記載のシステム。
12. 広告の第１グループの品質を示し、広告の前記第１グループに関連する評価を取得するための１つ以上の命令と、
    広告の前記第１グループの広告のユーザによる選択に関連する、複数の異なるユーザ動作を観察するための１つ以上の命令と、
    前記第１グループとは異なる広告の第２グループに関連する品質スコアを、前記観察された複数の異なるユーザ動作および前記取得された評価に基づいて推定するための１つ以上の命令と、
    前記推定された品質スコア、および広告の前記第２グループの広告に関連するクリック率の組合せを算出するための１つ以上の命令と、
    前記推定された品質スコアおよび前記クリック率の組合せとしきい値との比較に基づいて、広告の前記第２グループを選別して広告の前記第２グループから広告のサブセットを生成するための１つ以上の命令と、
    広告の前記第２グループからの広告の前記サブセットをユーザに提供するための１つ以上の命令とを含む、コンピュータプログラム。

Images