JP4977624B2

JP4977624B2 - ウェブサーチ技術及びウェブコンテンツを組み入れたスポンサー提供サーチリスティングのマッチング及びランキング

Info

Publication number: JP4977624B2
Application number: JP2007552253A
Authority: JP
Inventors: チャールズシージュニアカーソン; デヴィカチョウラ; ジェイムズビーハーヴェイ; マトヴェイネメンマン; モヒートサバルワル; マルコジェイザガ
Original assignee: ヤフー！インコーポレイテッド
Priority date: 2005-01-18
Filing date: 2006-01-18
Publication date: 2012-07-18
Anticipated expiration: 2026-01-18
Also published as: US20100174710A1; WO2006078794A2; KR100932318B1; WO2006078794A3; US7698331B2; JP2008533553A; CN101601032A; KR20070092763A; US20060161534A1; EP1839124A2; EP1839124A4

Description

本発明は、コンピュータネットワークを使用するサーチャーからのサーチ要求に応答してサーチ結果リストを発生するシステムに係る。

関連出願：本出願は、２００５年１月１８日に出願された米国プロビジョナル特許出願第６０／６４５，０５４号の利益を請求するものであり、その全内容を参考としてここに援用する。

版権通告：この特許文書の開示の一部分は、版権保護を受ける資料を含んでいる。版権所有者は、誰かが特許文書又は特許開示を特許商標庁の特許ファイル又は記録に現れるように複写再現することに異議を唱えるものではなく、全ての版権は、何であれ、保有されるものとする。

コンピュータネットワークを経て情報を転送することは、団体、会社及び個人がビジネスを遂行する上で重要である。コンピュータネットワークは、単一グループのニーズにサービスするために確立された独立及び分離したエンティティから、異種の物理的ネットワークを相互接続し且つそれらが整合したシステムとして機能するのを許す広大なインターネットへと年々成長してきた。現在、最大のコンピュータネットワークは、共通のプロトコルを使用して通信するコンピュータネットワークのワールドワイドな相互接続であるインターネットである。

インターネットは、情報システムであるワールドワイドウェブ（“ウェブ”）の導入により主として駆動される商品及びサービスのグローバル市場へと変化した。インターネットに接続されたコンピュータは、パワフルな学習容易なグラフィックユーザインターフェイスを有するブラウザプログラムを経てウェブページにアクセスすることができる。インターネットサーチエンジンにおけるウェブベースサーチでは、ユーザが１つ以上のキーワードのサーチ用語を入力し、サーチエンジンは、それを使用して、ユーザがハイパーリンクを経てアクセスできるウェブページのリストを発生する。

インターネットのサーチエンジン機能は、消費者にターゲットを向けるコスト効率のよいやり方をインターネットネットワーク情報プロバイダーに与えながら、迅速に、容易に、関連サーチ結果をサーチャーにオファーするオンライン市場を促進するように焦点を合わせねばならない。このオンライン市場を促進するサーチエンジンを利用する消費者は、サーチャーが求めている製品、サービス又は情報をオファーする会社又は企業を見つける。オンライン市場において、製品、サービス又は情報を提供する会社は、公開オークションベースのランキング環境において、インターネットサーチエンジンにより発生されるサーチ結果リストのランクに対して入札することができる。

あるオークションベースのサーチエンジンのオペレータは、例えば、あるサーチ用語に対して充分なスポンサー提供の結果を示せないことで、潜在的収入を失うことがある。更に、無関係な結果及び／又は結果からの低効率収入が生じることもある。あるオペレータは、結果の関連性とカバレージとの間の兼ね合いを厳密に制御することができない。同様に、ユーザのニーズが、商業的意図のサーチ結果に対して満足されないことがある。あるユーザ問合せ用語のみに基づいてスポンサー提供の結果が示される場合には、無関係な結果が示されることがある。更に、広告主は、あるオークションベースのサーチエンジンでは低いトラフィックを経験することがある。又、広告主は、彼等のサイトへの関連サーチトラフィックを最大にするよう試みるために、彼等のウェブページに対応する入札用語(bidded terms)を発生するという負担を負うことがある。特定の問合せに対して高クオリティの一致を与える機会を失うことが起こり得る。同様に、多数のユーザが広告主のサイトにアクセスするが、出された結果が無関係なものであるために、何も購入しないことがある。従って、広告主は、品目を購入する確率の低いユーザからのクリックスルーに対して支払することになる。

システムは、コンピュータネットワークを使用するサーチャーからのサーチ要求に応答してサーチ結果リストを発生する。第１の複数のサーチリスティングを含む第１データベースを維持することができ、各サーチリスティングには、１つ以上のサーチ用語が関連付けられる。一般的なウェブコンテンツを有するドキュメントを備えた第２データベースを維持することができる。サーチャーからサーチ要求が受け取られる。そのサーチ要求との一致を発生するドキュメントを有する第１セットのサーチリスティングが第１データベースから識別され、そしてそのサーチ要求との一致を発生するドキュメントを有する第２セットのサーチリスティングが第２データベースから識別される。第１セットのサーチリスティングからの各リスティングに対して信頼性スコアが決定され、この信頼性スコアは、両セットのサーチリスティングのリスティングに対して比較したときに各リスティングの関連性に基づいて決定される。第１セットのサーチリスティングからの識別されたサーチリスティングは、各サーチリスティングに対する信頼性スコアに少なくとも一部分基づいて順序付けされる。

当業者であれば、添付図面を参照した以下の詳細な説明を検討したときに、本発明の他のシステム、方法、特徴及び効果が明らかとなろう。この説明に含まれるこのような付加的なシステム、方法、特徴及び効果は、本発明の範囲内に包含され、特許請求の範囲により保護されるものとする。

本発明は、添付図面及び以下の説明から良く理解できよう。図中の要素は、必ずしも正しいスケールではなく、むしろ、本発明の原理を例示するところでは、誇張がなされている。更に、多数の図面全体にわたり、対応する部分は、同じ参照番号で示されている。

システムは、広告主のスポンサー提供のリスティング、広告主のウェブサイトコンテンツ、ワールドワイドウェブコンテンツ、問合せの意図、及び／又はユーザの振舞いの統計データの分析を合成して、関連性一致、例えば、スポンサー提供された一致と、問合せ及び結果の関連プロパティとを与えることができる。ここで使用する関連性(relevant)という語は、サーチプロバイダーのための収入を発生する結果、結果の深さ又は広さ範囲、及び／又はサーチャーに関連する結果を含む。システムは、２つ以上のサーバーにより与えられるサーチ問合せの結果を組み合せて分析することができる。第１サーチ問合せからの結果の関連性又はクオリティは、個別の異なるサーチ問合せの結果に基づいて決定することができる。

図１は、サーチ問合せに対する結果を与えるためのシステム１００を示す。ユーザ１１０のようなサーチャーは、ＹＡＨＯＯ！又はＯＶＥＲＴＵＲＥのようなフロントエンドサーバー１２０にアクセスするためにウェブブラウザを使用してサーチ問合せを提示する。この問合せは、１つ以上の用語を含んでもよい。フロントエンドサーバー１２０は、スポンサー提供のリスティングサーバー又は他の形式のサーバーのような第１バックエンドサーバー１３０へサーチ問合せを送信することができる。スポンサー提供のリスティングサーバーは、結果に含まれるべき支払する広告主を含むサーチ問合せに対する結果を与えることができる。第１サーバー１３０は、スポンサー提供のリスティングマッチングエンジン１４０にアクセスすることができる。スポンサー提供のリスティングサーバー１３０は、ＩＤＰプロキシー１５０に接続して、到来するサーチ問合せを取り扱うことができる。ＩＤＰプロキシー１５０は、スポンサー提供のリスティングサーチクラスター１６０及びフリーウェブクロール(crawl)サーチクラスター１７０のような異なるサーチクラスターに接続することができる。

図２は、問合せ及びデータベースコンテンツを管理するためのシステムを示す。スポンサー提供のリスティングサーバー１３０は、スポンサー提供のリスティングサーチクラスター１６０及びフリーウェブクロールサーチクラスター１７０からの結果を利用することができる。スポンサー提供のリスティングサーチクラスター１６０は、スポンサー提供のリスティングデータベース２００からリスティングを得ることができる。スポンサー提供のリスティングデータベース２００は、スポンサー提供のリスティングサーバー１３０がフリーウェブクロールサーチクラスター１７０のオペレータとは異なるエンティティにより動作されるときに使用することができる。スポンサー提供のリスティングサーバー１３０及びフリーウェブクロールサーチクラスター１７０のオペレータは、同じエンティティでもよい。

スポンサー提供のリスティングデータベース２００からリスティングを得るために、システム１００は、コンテクストインデクシングを行うことができる。コンテクストインデクシングは、スポンサー提供のリスティングデータベース２００のスナップショットを捕獲して、進歩した一致に対して適格なリスティングを決定することを含む。適格なリスティングは、その広告主が、システム１００のアルゴリズムを使用して、それらのリスティングを表示することに合意したリスティングを含む。リスティングデータベースからの情報は、例えば、スポンサー提供のリスティング更新サーバー２２０を経てスポンサー提供のリスティングクロール(crawl)クラスター２１０へ転送される。スポンサー提供のリスティングマーシャラー(marshaler)２３０を使用して、コンテンツのインデックスを生成することができる。ＩＤＰＤタグデーモン２４０を使用して、例えば、除去スパムリスティング、機能しないリスティングへのリンク、及びクリックスルーレートの低いリンクのような編集上の事柄に基づいて、インデックスされたページのクオリティをマークすることができる。ＩＤＰＤタグデーモン２４０は、編集データベース２５０から編集コンテンツを得ることができる。リスティングは、関連アノテーション、クロール(crawl)型コンテンツ、ターゲットページへのインバウンドリンクに関連したテキストのようなアンカーテキスト、或いはアルゴリズムで発生されるサマリー及びキーワードでインデックスすることができる。

フリーウェブクロールサーチクラスター１７０に対するドキュメントを得るために、ウェブ２５０からフリーウェブクロールクラスター２６０及びフリーウェブクロールマーシャラー(marshaler)２７０を経てコンテンツが収集される。編集データベース２５０からフリーウェブクロールマーシャラー(marshaler)２８０のドキュメントへ編集資料を与えることができる。又、編集データベース２５０からＩＤＰＤタグデーモン２９０を経てフリーウェブクロールサーチクラスター１７０に編集資料を与えることもできる。ウェブマップ３００を使用して、スポンサー提供のリスティングクロールクラスター２１０、フリーウェブクロールクラスター２７０、編集データベース２５０、スポンサー提供のリスティングマーシャラー２３０、及びフリーウェブクロールマーシャラー２８０へ情報を与え、そしてそれらから情報を受け取ることができる。ウェブマップ３００は、ウェブにおけるホスト及びハイパーリンクに関する情報であって、ハイパーリンクに関連したアンカーテキストを含む情報を与えることができる。

マーシャラー２３０及び２８０は、サーチ問合せに応答するためにサーチクラスター１６０及び１７０により使用されるインデックス又はサーチデータベースを発生する。フリーウェブコンテンツ又は一般的ウェブコンテンツのサーチデータベースを使用して、スポンサー提供のリスティングのサーチデータベースからの結果のクオリティを決定することができる。

ウェブクロール(crawl)／インデックスシステムへのスポンサー提供のリスティングの転送は、ＸＭＬエンコードのような転送プロトコルを使用して達成することができる。サーチプロバイダーからウェブサーチシステムへの要求及び応答は、ＩＤＰ（ＩＮＫＴＯＭＩデータプロトコル）２．０のようなプロトコルで達成することができ、そして転送は、ハイパーテキスト転送プロトコル（ｈｔｔｐ）により達成することができる。最後の転送以来変化したリスティングのみを転送することにより、増分的更新プロトコルを使用して、スポンサー提供のリスティングを効率的に転送することができる。リスティングのプロパティは、ウェブサーチデータベースに対する適切な表現へと変換することができる。インデックス可能なウェブコンテンツへの変換は、ＸＳＬＴ変換を使用して達成することができる。

スポンサー提供のリスティングは、表示タイトル、表示アブストラクト、表示ホスト名、行先ＵＲＬ、クロール(crawl)ＵＲＬ、入札用語、アカウントｉｄ、ａｄグループ、経歴的ＣＴＲ、等と共に提出される。簡単化のために、広告主は、タイトル、アブストラクト、及び入札用語を指定せずに、ウェブページのツリーを指すクロールＵＲＬ又はルートＵＲＬのセットを提出することができる。それとは別に、又はそれに加えて、広告主がリスティングのためのタイトル、アブストラクト、表示ホスト名、及び行先ＵＲＬを与える場合には、広告主は、リスティングに対してクロール(crawl)されるべきコンテンツがないことを指定できる。多数のリスティングが同じクロールＵＲＬを使用してもよい。広告主は、同じＵＲＬ及び入札用語に対する多数のタイトル及びアブストラクトの組み合せを、同様のタイトル及びアブストラクトの中からいかに選択するかの任意の仕様と共に提出することができ、これは、例えば、相対的表示周波数を指定するか、又は改善されたクリックスルー及び／又は変換のためにシステムが最適な選択をすることを要求することにより、行なわれる。

多数のリスティングは、スポンサー提供のリスティングデータベースにおいて、例えば、アカウント、ＵＲＬ、ＵＲＬの関係グループ、及び／又は入札用語によってグループ分けされ、インデクシング、検索及び／又はアカウンティングの性能を改善することができる。効率のために、多数のリスティングにより共有されるクロールＵＲＬは、一度クロールされるだけでよい。他の量のクロールを使用することもできる。

リスティングに関連した非インデックスプロパティ、例えば、ユーザ１１０がリスティングをクリックするときの広告主に対するコスト、アカウント／リスティングＩＤ、及び否定的キーワードが、リスティングに含まれてもよい。否定的キーワードは、広告主により選択された用語を含み、その用語がサーチ問合せの一部分である場合には、広告主のリスティングが現れない。リスティングの変換プロパティに加えて、ドキュメントは、インデックスされるべきヘルパーワードで注釈付けされ、これは、例えば、入札用語、タイトル、アブストラクト、ＵＲＬ、及び／又はリスティングのためのクロールされたコンテンツに基づいて、ステム変形、同意語、及び／又は関係用語を追加することにより行われる。例えば、「シュー(shoe)」及び「シューズ(shoes)」、「ランニング(running)」及び「ラン(run)」、又は用語の他の変形、等を追加することにより、リスティングに別の用語を追加するために、ドキュメントの新たなセクションを生成することができる。

システム１００は、結果関連性スコア付け、例えば、信頼性スコア、及び／又はランキング基準に少なくとも一部分基づいて、サーチ問合せに対して結果を与えることにより、ユーザ１１０からのサーチ問合せを取り扱うことができる。スポンサー提供のリスティングサーチクラスター１６０及びフリーウェブクロール(crawl)サーチクラスター１７０、又は他のデータベースからのサーチ結果が得られ、そしてそれら結果を比較して、ユーザに表示されるべき結果を決定する。

ユーザ１１０が問合せを入力すると、その問合せがプロキシー１５０により処理される。プロキシー１５０において、システム１００は、スペルの間違った問合せに対して自己相関を行い、問合せをワード及びフレーズへとセグメント化し、大文字小文字を切り換え、コンセプト拡張を使用し、そして経歴的問合せログ及び／又はウェブページにおける発生頻度に基づいて重要性の低いワードを除去するようにして、問合せを編集することができる。システム１００は、ユーザの問合せを、バックエンド問合せサーチエンジンのための好ましい形態へと変換することができる。実施に基づき、問合せ又は変換された問合せが不愉快な用語のリスト上の用語に一致する場合には、結果が返送されない。例えば、問合せが、斬首、アダルトコンテンツ、等に関係のあるビデオに関連した用語のような不愉快な用語を含む場合には、結果が返送されない。不愉快な用語は、ポリシーや、その他、広告主又は自動アダルト選別器の問題として、サーチエンジンのエディタにより判断することができる。必要とされる問合せフレーズのリストをエディタ又は広告主により設けるか又はアルゴリズムで発生することができ、そしてこれらフレーズは、アカウント又はドメインからのリスティング、多数のリスティング又は全てのリスティングに関連付けることができる。スポンサー提供のリスティングに関連した１つ以上のサーチ用語が、ユーザ問合せに含まれない必要なフレーズを含む場合には、そのリスティングを、その問合せに対する結果のセットから除外することができる。

変更された問合せが、スポンサー提供のリスティングサーチクラスター１６０及び少なくとも１つの他のサーチクラスター、例えば、一般的ウェブコンテンツをサーチするフリーウェブクロール(crawl)サーチクラスター１７０へ発生される。フリーウェブクロールサーチクラスター１７０は、決定されたパラメータに基づいて選択されたフルスケールウェブインデックス又はそのフルスケールウェブインデックスの一部分をサーチすることができる。フルスケールウェブインデックスは、例えば、１００億の結果を含み、一方、インデックスのサンプル部分は、簡単な処理、速度に対して、及び／又はユーザ１１０と結果の関連性を高めるために、２億の結果を含むことができる。ウェブコンテンツは、例えば、他のものより頻繁にアクセスされるリンクを使用し、ウェブリンクの特性に基づいてドキュメントを含ませることにより、サンプリングすることができる。

情報は、例えば、スポンサー提供のリスティングサーチプロバイダー３３０から、システムモニタ／実行装置３１０を経て、スポンサー提供のリスティングサーチクラスタ１６０に与えることができる。スポンサー提供のリスティングサーチプロバイダーは、契約及びクリックデータ倉庫３４０を使用して、スポンサーに関するデータ及びスポンサーのウェブサイトへと生じるクリックを維持することができる。データ倉庫３４０は、データクオリティ再検討モジュール３５０から、例えば、アカウント管理及び報告モジュール３６０を経て、リスティングに関する情報を受け取ることができる。ウェブサイトへのユーザクリックに関する情報は、例えば、クリックログ処理及び不正検出モジュール３８０により処理された後に、リダイレクトサーバー３７０を経て受け取ることができる。又、データ倉庫３４０は、ユーザにより発せられた問合せに関する情報及びユーザに示される結果を、スポンサー提供のリスティングサーバー１３０及び／又はＩＤＰプロキシー１５０から問合せ及び印象処理モジュール３９０を経て受け取ることができる。

スポンサー提供のリスティングサーチクラスター１６０は、結果を第１のやり方で与えることができ、例えば、スポンサー提供のリスティングデータベースに含まれるべき支払する広告主の結果を、例えば、その結果がサーチプロバイダーにもたらす収入によりランク付けして与えることができる。フリーウェブクロールサーチクラスター１７０は、結果を別のやり方で与えることができ、例えば、考えられる全ての結果、又は考えられる全ての結果の一部分を、広告主に関係するかどうかに関わらず、例えば、人気でランク付けして与えることができる。スポンサー提供のリスティングデータベースのサーチの結果は、一般的ウェブコンテンツデータベースの結果と比較され、そしてスポンサー提供のリスティングデータベースからのトップランクの結果は、それが一般的ウェブコンテンツデータベースに対する結果のトップランク内にも生じる場合に、表示することができる。又、ドキュメントの関連性についての関連性又は信頼性スコアを使用して、例えば、リスティングがユーザ１１０に示されるのがページの頂部であるか、側部であるか又は底部であるかに関わらず、結果ページにおける配置を最適なものにすることができる。又、スポンサー提供された結果は、ランク付けし直すこともできるし、或いはスポンサー提供のリスティングとウェブ結果の比較に基づいて複製であるとして除去することもできる。

又、システム１００は、スポンサー提供のリスティングデータベース問合せに対して種々のスコア決めパラメータを使用することができる。例えば、サーチ結果ドキュメントの異なる部分に対して、変更された重みを使用することができる。例えば、ドキュメントのタイトルに発生するサーチ用語は、そのサーチ用語がドキュメントの本文にしか発生しない場合より重要性が高いと考えられる。

各データベースに対して関連結果を決定することができ、そして関連性又は信頼性スコアにより合成結果を分類することができる。関連性スコアは、問合せ用語の存在、問合せ用語の互いの接近性、問合せ用語とドキュメントのアンカーテキストとの一致性、ドキュメントのカテゴリー、及びドキュメントのクオリティの決定された尺度を含む多数のファクタに基づくことができる。分類されたトップ結果のセットに生じるスポンサー提供のリスティングデータベース結果は、否定的キーワードが問合せ発生に一致するような結果を破棄するように、更に変更することができる。更に、問合せが、指定のトレードマーク付き用語のリスト上の用語を含む場合には、結果の目に見える部分に全てのトレードマーク付き用語を、又はリスティングに対する入札用語を含まない結果をいずれも破棄することができる。

どの結果を表示すべきか決定する上で助けとなるように、スポンサー提供のリスティングデータベースからの結果に対する特徴を計算することができる。この特徴は、例えば、入札ランキングに基づき、ユーザ１１０が結果をクリックするために広告主にかかる実際のコストを含む。又、特徴は、クリックスルーの履歴データ及び変換データのような他のファクタに基づいて決定されてもよい。クリックスルーの履歴データは、広告主のサイトが結果として与えられたときにユーザ１１０がそのサイトへクリックスルーする回数に関する情報を含む。変換データは、例えば、ユーザ１１０が広告主のサイトを訪れたときに購入を行なう等、広告主が希望するアクションをユーザ１１０が遂行したかどうかに関する広告主からの情報を含む。他の特徴は、スポンサー提供のリスティングデータベース及び一般的ウェブコンテンツデータベースの組み合せからのトップ結果の完全分類セットにおける結果のランクと、一般的ウェブコンテンツデータベースのトップ結果からの関連性スコアの差及び比とを含む。結果の他の特徴は、問合せワード／フレーズが、タイトル、アブストラクト、ＵＲＬ、表示ホスト、入札キーフレーズ、及び／又は結果のアルゴリズム発生キーワード又はサマリーに現れるかどうかを含む。

個々の特徴を単独で分析するか又は組み合せて分析して、結果が問合せに良好に一致するという複合信頼性を高めることができる。又、この特徴を使用して、各結果に対する信頼性スコアを生成することができ、そしてスポンサー提供のリスティングサーバー１３０又は他のサーバーは、スコアに基づいて結果を分類し、高いスコアを受ける結果が、ユーザに表示されるサーチ結果のリストに最初に表示されるようにする。スポンサー提供のリスティングサーバー１３０は、入力された問合せのプロパティ、例えば、問合せのカテゴリーを返送すると共に、各リスティングのプロパティ、例えば、各リスティングに関連したキーワードを返送することができる。関連性スコア決め及び再ランク付けの機能は、機械学習方法、例えば、一次式の係数を見出す方法、判断ツリーを構成する方法、サポートベクトルマシン、神経ネットワーク、ベイズネットワークを構成する方法、又は他の方法により、全体的に又は部分的に構成することができる。特徴、特徴の組み合せ、スコア決め、及び再ランク付け機能は、経歴的クリック及び印象データ及び／又は編集表示関連性判断の助けで構成することができる。

信頼性スコア、及び他のファクタ、例えば、サーチプロバイダーが、より関連性のある結果及び／又はより収入を生じる結果の表示を希望するかどうか、に基づいて、表示すべき結果を決定することができる。マッチング統計学的データのリアルタイムレポートを与えて、信頼性スコアを決定する特徴を、特定のサーチプロバイダーに対して変更することができる。リスティングＩＤは、各ウェブサーチデータベース結果に対して信頼性スコアと共にサーチプロバイダーへ返送することができる。ウェブサーチデータベース結果に対するリスティングＩＤを使用して、現在タイトル、アブストラクト、表示ホスト名、クリックスルーに対して広告主にかかるコスト、及びリスティング／アカウント状態をルックアップすることができる。リスティングのマッチングは、現在タイトル、アブストラクト、ＵＲＬ、ＣＰＣ、及びリスティング／アカウント状態の検索から、数時間又は数日前のものであるクロール(crawl)及びインデックスされたコンテンツに基づいて、デカップルされてもよい。

上述した特徴の組み合せに鑑み最も関連性があると決定された結果が表示される。広告主がリスティングのために多数の別々のタイトル及びアブストラクトを供給している場合には、表示されるべきタイトル及びアブストラクトの選択は、問合せに対する関連性、クリックスルー統計学的データ、及び／又は各タイトル及びアブストラクトの希望の表示頻度の仕様に基づいて行うことができる。問合せ及び変換された問合せに基づくリスティングにおける用語は、ユーザに対してハイライト状態にすることができる。適格な結果は、各クリックスルーに対して広告主にかかるコスト、関連性スコア、及び／又は好みについてのルールの組み合せに基づいて、厳密なマッチング及び他のアルゴリズムで混合することができる。他のシステムからの一致でシステム１００により発生される積み重ね又は混合結果に対して、柔軟性のあるポリシーを実施することができる。冗長な結果は、アカウントｉｄ、ドメイン名、クロール(crawl)ＵＲＬから抽出されたホスト名、表示ＵＲＬ、表示ホスト名、等の組み合せに基づいて除去することができる。

図３は、サーチパイプライン４００を例示するブロック図である。ブロック４１０において、ユーザ１１０から生の問合せ(raw query)が受け取られる。生の問合せは、ブロック４２０においてサブフレーズマッチ（ＳＰＭ）マッチドライバ（ＭＤ）規範的（ｃａｎｏｎ）問合せモジュールで処理され、及び／又はブロック４３０においてＭＤ規範的問合せモジュールで処理されて、問合せにおける用語の他の変化を決定し、余計な用語又は語尾、例えば、複数の語尾又は“ｉｎｇ”語尾を除去し、そして生の問合せに対する同意語を決定する。生の問合せは、ブロック４４０において、ＩＤＰプロキシーへ送信することができる。ＭＤ規範的問合せは、ブロック４５０において、タイトル及び／又は記述マッチサーバーへ送信されてもよい。又、ＭＤ規範的問合せ４３０は、ブロック４６０において、厳密マッチ又は正射投影マッチドライバ（ＯＭＤ）マッチへ送信されてもよい。厳密マッチ又はＯＭＤマッチの結果は、ブロック４７０において、ＳＰＭＭＤ規範的問合せからの結果と共に、フレーズマッチ又はブロード(broad)マッチサーバーへ送信される。又、ＳＰＭＭＤ規範的問合せ結果は、ブロック４８０において、ローカルマッチサーバーへ送信することもできる。全てのサーバー４４０、４５０、４７０及び４８０からの結果は、ブロック４９０において、サーバーリスティングモジュールへ送信することができる。各リスティングを分析し、そのリスティングに関連したリスティングの信頼性格付けを決定する。

システム１００の例示的コアマッチングアルゴリズムは、次の通りである。

「全結果セット」は、関連性スコアでランク付けされたスポンサー提供のリスティングデータベース及び他のデータベースからのtop num_candidate結果の混合セットである。全結果セット内のスポンサー提供のリスティングデータベースからの各結果は、結果の非理想的特性を捕獲しようと試みる「デモーション(demotion)」用語の数を計算することにより、再スコア決め及び再ランク付けすることができる。

Using each item's rank”and normalized“score”in the full result set:
rank_demotion = log2(rank)
rawscore_demotion = 1 score / top_score
where top_score is the score of #1 result in full result set.

各問合せワードの重みは、デフォールトにより１．０としてセットされるが、０と１との間の任意の値にオーバーライドされる。ワードの重みに基づいて、max_query_scoreは、各独特の問合せワードの重みの和である。

各“section(セクション)”に対して３つのメトリックを別々に計算することができ、ここで、“section”は、リスティングのタイトル、アブストラクト、入札用語、又はリスティングに対するキートピックスのリストである。“editorial_switch”パラメータが１である場合には、入札用語は、編集上再検討されていないリスティングに対して空であると考えられる。absence_demotion、edit_distance_demotion、及びoder_distance_demotionは、次のように決定することができる。

absence_demotion = (max_query_score − match_weight)/max_query_score

但し、match_weightは、セクションにおける独特の問合せワードの重み付けされた和である。

edit_distance_demotion = (max_query_score − max)/max_query_score,

但し、maxは、全部問合せワードであるセクションにおいて連続するセクションワードのシーケンスの中の独特の問合せワードの最大重み付け和である。

order_distance_demotion =
１ワード問合せの場合０
セクションに問合せワードが現れない場合１
さもなければ、1 − (ordered_words − 1)/(nunique_query_words − 1)として計算される

但し、ordered_wordsは、セクションにおいて非問合せワードを無視し、そして独特の順序の問合せワードの最大数を見出すことにより決定できる。

例えば、計算により、セクションのリストに対するセクションデモーションを決定するときに、３つのデモーション形式の各々に対してセクションの最小デモーションを使用することができる。

section_demotion (section_list) =
edit_distance_demotion_weight*
min_of_sections (edit_distance_demotion)
+order_distance_demotion_weight*
min_of_sections (order_distance_demotion)
+absent_words_demotion_weight*
min_of_sections (absence_demotion)

“editorial demotion”は、編集上再検討されなかったリスティングを示すために１であり、さもなければ、０である。他の表示法を使用してもよい。

最終的な関連性スコアは、次のように決定することができる。

relevance_confidence =
base_confidence
- rawscore_demotion*rawscore_weight
- rank_demotion*rank_weight
- section_demotion(title, abstract)*title_abstract_weight
- section_demotion(bidded_term)*bidded_term_weight
- section_demotion(title, abstraction, bidded_term)*
title_abstract_bidded_term_weight
- section_demotion(topics)*topics_weight
- editorial_demotion.*editorial_weight

各スポンサー提供された結果に対してactual_cpc（ここで、ｃｐｃは、クリック当たりのコストである）を決定するために、スポンサー提供の結果は、各結果に関連したbid_cpcにより分類される。min_bid_cpcより小さいbid_cpcをもつ結果には、そのbid_cpcに等しいactual_cpcが指定される。さもなければ、最下位の結果には、そのbid_cpcのactual_cpcが指定され、そして他の結果の各々には、次の結果のbid_cpcのactual_cpc及びcpc_incrementが指定され、これは、actual_cpcがbid_cpcを越えないという制約を受ける。

relevance_confidenceがmin_relevance_confidenceより低い結果は、拒絶される。残りの結果は、次のように決定されたranking_scoreにより再ランク付けすることができる。

if actual_cpc≦cpc_knee, then cpc = actual_cpc
otherwise, cpc = (cpc_knee+cpc_slope*log2(actual_cpc+1))/100)
ranking_score = relevance_confidence+cpc_weight*cpc

或いは又、ranking_scoreは、次のように決定されてもよい。

if actual_cpc≦cpc_knee, then cpc = actual_cpc
otherwise, cpc = cpc_knee
ranking_score = relevance_confidence+cpc_weight*cpc

米国市場に対する調整可能な入力パラメータの設定の例示的組み合せ：

0.05 rank_weight
0.24 rawscore_weight
0.45 title_abstract_weight
0.0 bidded_term_weight
0.1 title_abstract_bidded_term_weight
0.01 topics_weight
0.2 edit_distance_demotion_weight
0.3 order_distance_demotion_weight
0.5 abstract_words_demotion_weight
0.95 base_confidence
0.01 editorial_weight
1 editorial switch
2.0 cpc_weight
100 num_candidates
0.35 min_relevance_confidence
$0.10 min_bid_cpc
$0.01 cpc_increment
$0.20 cpc_knee
$1.00 cpc_slope

図４は、種々のサーバーのリスティングからリスティングの合成セットを提示するためのアーキテクチャー５００を示すブロック図である。ブロック５１０において、ユーザ問合せが受け取られる。ブロック５２０において、問合せが異なるサーチサーバーへ送信される。問合せの変形を異なるサーバーへ送信することができる。確実性スコアを、問合せの各変形に、その変形が関連性結果を返送する確率としてアタッチすることができる。ブロック５３０において、サーチサーバーは、リスティングを問合せにマッチングさせる。確実性スコアは、リスティングが関連性マッチであるリスティングにアタッチすることができる。ブロック５４０において、リスティングは、確実性スコア及び他のファクタ、例えば、コスト／クリック（ブロック５５０）、クリックスルーレート（ブロック５６０）に基づいて、且つ編集事項（ブロック５７０）に基づいて、ランク付けされる。ブロック５８０において、リスティングは、ランキング及び他のファクタに基づいて提示される。リスティングは、信頼性の順に示すことができ、例えば、最も高い信頼性格付けのリスティングが、最初に、及び／又は表示されたブラウザページの特定エリアに、示される。

図５は、ユーザへ返送できるウェブページのスクリーンショット６００を例示する。ユーザ１１０が“deboning chicken”という用語を入力した場合に、その用語をもつスポンサー提供の結果はない。システム１００は、ウェブサーチデータベース及び一般的ウェブコンテンツデータベースからの結果を比較するので、“Chicken Shears at Shopping.com'”のような結果が発見されることがある。リンクに接続するときには、ユーザ１１０は、用語“deboning”も“chicken”もタイトルに含まない“Diamond Cut Multi-purpose Kitchen Shears”のような結果を観察することになる。

システム１００は、異なるサーチプロバイダーの変化するニーズに対処するようにカスタマイズされる。スポンサー提供のリスティングは、例えば、スポンサー提供のリスティングに若干の強調をおくために、一般的ウェブドキュメントとは異なるやり方でスコアが決められる。ウェブサーチデータベースを更新するためのクロール(crawl)頻度は、データベースの内容の希望のフレッシュ性に基づき、数週間から数日へ変更することができる。個々のマッチング基準のために調整可能なパラメータが設けられる。結果は、タイトルやアブストラクトのような結果の所定部分に全ての問合せ用語が存在するものに限定される。“a”、“the”及び“and”のようなストップワードは、除外されるか、小さな重みしか与えられない。ある問合せ用語は、他の用語より重要性が高いものとして重み付けされる。システム１００は、問合せ用語が異なるサーチプロバイダーに対して異なる重みをもつように調整可能である。例えば、用語“picture”は、他のワードの重要性の半分として重み付けされる。結果は、タイトル及びアブストラクトのように、全ウェブコンテンツリスティングの検索を必要とせずに、ウェブコンテンツに対してランク付けすることができる。待ち時間及び低サービスを減少するために、結果セットはキャッシュ記憶することができる。

又、システム１００は、広告主のサイトにアクセスしたユーザ１１０の人数に関するクリックスルーの履歴データと、広告主のサイトから品目を購入したユーザ１１０の人数に関する変換データとを使用することにより、関連性及び／又は収入を改善するのを助ける上で他の特徴を含んでもよい。データは、ＵＲＬ、ドメイン、又は全問合せに対する契約ごとに集計されてもよいし、或いは特定の問合せ及び問合せ用語に対して集計されてもよい。

ユーザ１１０からの問合せは、特定の問合せ又は問合せ用語に対するリライトを編集上決定するか、又はリライトをアルゴリズムで決定することにより、変更することができる。ある問合せ用語は、削除されてもよいし、又は重みを下げてもよい。関係用語、及び用語の同意語拡張を問合せに追加しそして適宜に重み付けしてもよい。又、システム１００は、“s”や“ing”を用語に追加したり除去したりすることにより、問合せ用語を拡張し、ステム変形を追加することもでき、そして用語の省略変形を問合せに追加することもできる。問合せは、用語の良好な接近性スコア付けのためにフレーズにセグメント化することができる。例えば、用語“New”及び“Mexico”を一緒にグループ編成して、州“New Mexico”に対する結果を得ることができる。中国語の問合せのようにワードを分離するスペースをもたずに書かれた問合せは、ワードにセグメント化することができる。韓国語やドイツ語の問合せのような複合ワードは、成分ワードにセグメント化することができる。中国語言語の変形のようなアジアの言語の場合に、スクリプト変形が許される。用語のリライトに基づいてヒットをハイライトするのに使用するために用語のリストが作成される。例えば、結果が表示されるときに、ユーザの助けとしてサーチ用語をハイライトすぅることができると共に、サーチ用語の変形もハイライトすることができる。サーチ用語“S. F. opera”の場合には、結果が表示されるときに、その変形“San Francisco opera”もハイライトすることができる。

又、システム１００は、ウェブサーチデータベース及び／又は一般的ウェブコンテンツデータベースに記憶されたウェブページ結果のコンテンツを変更することもできる。ページコンテンツは、例えば、契約、供給又はサイトに関連したドキュメントの集合、並びに問合せ又は問合せ用語当たりのクリック及び変換統計学的データに適用されるページ構造、ページテンプレート抽出を含む多数のファクタに基づいて、希薄化又は増加することができる。無関係のマッチングを回避するためにウェブページ記述に価格を追加することができる。又、同意語、別のスペル、ステム変形、省略変形、及び関係用語を、ウェブページ記述に追加することもできる。

又、システム１００は、他の特徴も受け入れるように構成できる。問合せ分類、スペル修正、及び問合せリライトのような開発を要求するコンポーネントをシステム１００に追加することができる。領域及び言語の好みに対して関連性調整が許される。領域特有のスコア決めが実施され、特定の領域に結び付いた問合せ結果は、その特定の領域からのユーザ１１０に対してより高く重み付けされる。コンテンツの好み、ユーザ位置、ユーザの人口統計データ、及び問合せ経歴のような多数のファクタを使用して、個人化データを関連性スコアに合体することができる。サーチプロバイダーは、結果をより関連性があるように見えるものに向けて重み付けしなければならないかどうか、或いは結果の大きなカバレージ／深さが好ましいかどうかを制御することが許される。編集上の判断、即ち肯定又は否定を、ＵＲＬ、ドメイン又は契約に基づきスポンサー提供のリスティングデータに対して合体することができる。スポンサー提供のリスティング供給を使用して、関係リスティングに対する入札用語及び入札金額を自動的に発生することができる。システム１００は、入札用語への厳密な一致を実施して、サービスコストを下げると共に、ウェブコンテンツのような非厳密一致に対して使用されるファクタに基づく厳密一致リスティングの関連性ランク付けを合体するように、使用することができる。

システム１００の他の特徴は、包含、除外、促進又は降格(demote)すべき完全な結果セット又は特定の結果を指定することにより結果セットを編集上決定する能力を含む。システム１００は、現在の広告主予算を結果の選択及びランキングに合体させることができる。例えば、広告主がその予算の所定パーセンテージを使い切った場合には、その広告主についての結果は、結果のランクがあるランクより高くない限り、そうでない場合にはその結果が表示されるとしても、示されないことがある。ローカル／地理的問合せ、ドメイン問合せ、及び製品番号問合せは、異なるやり方でスコアが決められる。例えば、ローカルな問合せが生じたために、そうでない場合には表示されない結果に余分な重みが与えられて、それが示される。

編集上再検討されるべきリスティング又は問合せ−リスティング対の待ち行列は、クリックデータ、変換データ、問合せ又は問合せ用語の頻度、リスティング表示頻度、リスティング入札金額、以前の編集上の再検討（もしあれば）の結果、及びユーザ苦情の頻度を含む多数のファクタに基づいて自動的に発生され、そしてアカウント、ドメイン、問合せ又は問合せ用語により集計される。例えば、言語、領域、コンテンツ形式、インターネットドメイン、トピックス、及び使用する語彙によりカバレージを最適化することを含んで、選択の頻度以外のファクタを使用して、ウェブサーチデータベースコンテンツの相対的ランクを発生するために、代表的なウェブコンテンツを選択して使用することができる。

システム１００は、スポンサー提供のリスティング以外のオファー、例えば、オークションリスティング、ジョブオファー、等を示し、そして一般的ウェブコンテンツ以外のコンテンツデータベース、例えば、旅行やショッピング等の垂直サーチ又はディレクトリを駆動するデータベースに対するこれらオファーの関連性を評価するように適応される。関連性評価における他のコンテンツ属性、例えば、価格、入手性、オファーの期間、人気、売主格付け、及び製品の詳細、例えば、サイズ、色、飾りを組み込むことができる。システム１００は、優先的なコンテンツへのリンクをいつそしてページ上のどこに示すか決定するように使用でき、例えば、“ＹＡＨＯＯ！Ｓｈｏｒｔｃｕｔ”リスティングで行なわれるように、問合せが“HONDA CIVIC”を含む場合に、ＹＡＨＯＯ！Ａｕｔｏサイトへのリンクが設けられるようにする。他の特徴は、広告主が、入札用語、タイトル、アブストラクトを完全に指定せずにウェブページを提出できることを含む。又、リスティングアブストラクトは、ウェブページコンテンツにおける問合せ用語への一致に基づいて変更することができる。

図６は、問合せ用語及びスポンサー提供のリスティングを任意のウェブページにマッチングさせるためのシステム１００の使用を示すブロック図である。ウェブページプロバイダーは、ウェブページ、又はウェブページのツリーを指すルートページを各々指定する１つ以上のＵＲＬを提出する。ＵＲＬは、ウェブページ所有者により、ＵＲＬに関連付けられるべき任意のキーワード又はテキストで注釈付けされる。各ウェブページは、システム１００によりクロール(crawl)、マーシャル、タグ付け及び検索されるべきスポンサー提供のリスティングデータベースに入れられる。このように、システム１００を使用して、ページ上に表示するのにどんな広告が該当するか決定することができる。

ウェブページ所有者は、注釈付きＵＲＬ要求をコンテクストベクトルプロセッサ７００へ送信することによりウェブページに関連したリスティングを要求することができる。この要求は、ウェブページに対するＵＲＬを含み、そしてウェブページ及び関連サイトについての付加的な注釈、及び／又はウェブページを見ているユーザについての注釈、例えば、ユーザの位置及び最近のアクション、を含むことができる。注釈付きＵＲＬ要求のような要求があると、コンテクストベクトルプロセッサ７００を使用して、ＵＲＬ、サイト又はアカウントに関連した結果と共に以前のサーチのセットを問合せデータ倉庫７２０から要求することができる。この問合せデータ倉庫は、それらのサーチ用語に関連した結果のセットの関連経歴的サーチ用語及び属性を与えることで応答する。コンテクストベクトルプロセッサは、問合せデータ倉庫７２０からの結果を分析して、おそらく、付加的な候補サーチ用語を発生し、そしてスポンサー提供のリスティングサーバー７１０へ提出されるべき選択されたサーチ用語のセットも発生する。スポンサー提供のリスティングサーバー７１０は、候補リスティング及びこれらリスティングの属性のリストで応答する。コンテクストベクトルプロセッサ７００は、候補リスティングのセットを分析し、どのリスティングを返送すべきか決定し、リスティングを任意に再ランク付けし、そしてリスティング及び関連属性と共に注釈付けされたＵＲＬ要求に対する応答を発生し、これは、ウェブページに対する各リスティングの一致の信頼性を含む。

コンテクストベクトルプロセッサにより返送されるリスティングの有効性は、注釈付きＵＲＬ要求の流れとは非同期で動作するフレッシュ性最適化装置７３０を使用することにより最適化される。フレッシュ性最適化装置は、以前にサーチされたが、最近は、新たに再提出されるサーチが同じ結果を生じることを保証するに充分なほどサーチされていないサーチ用語を問合せデータ倉庫７２０から要求する。フレッシュ性最適化装置は、スポンサー提供のリスティングデータベースに最近追加されたサーチ用語のリストをスポンサー提供のリスティング更新サーバー７４０から要求する。フレッシュ性最適化装置は、問合せデータ倉庫及び／又はスポンサー提供のリスティング更新サーバーからサーチ用語を収集し、そしてサーチ用語のセットをスポンサー提供のリスティングサーバー７１０へ提出し、このサーバーは、次いで、問合せデータ倉庫７２０に記憶されるべきフレッシュなサーチ結果を発生する。

本発明の種々の実施形態を説明したが、当業者であれば、本発明の範囲内でより多くの実施形態及び実施例が考えられることが明らかであろう。従って、本発明は、特許請求の範囲及びその等効物により限定されるものとする。

サーチ問合せに対する結果を与えるためのシステムを示す図である。問合せ及びデータベースコンテンツを管理するシステムを示す図である。サーチパイプラインのブロック図である。種々のサーバーのリスティングからのリスティングの合成セットを提示するためのアーキテクチャーを示すブロック図である。ユーザに返送できるウェブページのスクリーンショットを例示する図である。問合せ用語及びスポンサー提供のリスティングを任意のウェブページに対してマッチングするためのシステムの使用を示すブロック図である。

Claims

コンピュータネットワークを使用するサーチャー（情報検索者）からのサーチクエリーに応答してサーチ結果リストをコンピュータのプロセッサにより生成する方法であって、
(a)スポンサー提供のコンテンツを有するスポンサー付きサーチリスティングを含んだ複数の第１サーチリスティングを記憶した第１データベースを維持するステップと、
(b)一般的ウェブコンテンツを有するドキュメントを記憶した第２データベースを維持するステップと、
(c)前記プロセッサが、前記サーチャーからサーチクエリーを受信するステップと、
(d)前記プロセッサが、前記サーチクエリーとの一致を生じるドキュメントを有するスポンサー付きサーチリスティングを含んだ第１のサーチリスティングセットを前記第１データベースから識別し、且つ当該第１のサーチリスティングセットを識別するのに使用された同一のサーチクエリーとの一致を生じるドキュメントを有する一般的ウェブリスティングを含む第２のサーチリスティングセットを前記第２データベースから識別するステップと、
(e)前記ステップ（ｄ）の実行後、前記プロセッサが、前記第１のサーチリスティングセットからの各リスティングに対する信頼性スコアを決定するステップであって、前記第２のサーチリスティングセットのリスティングと比較したときの各リスティングの関連性に基づいて前記信頼性スコアを決定する当該ステップと、
(f)前記プロセッサが、スポンサー付きサーチリスティングを含んだ前記第１のサーチリスティングセットを、各サーチリスティングに対する前記信頼性スコアに少なくとも一部分基づいてランキングするステップと、
(g)前記プロセッサは、スポンサー付きサーチリスティングを含んだ前記第１のサーチリスティングセットを前記第２のサーチリスティングセットと比較したときに、スポンサー付きサーチリスティングを含んだ前記第１のサーチリスティングセットを各サーチリスティングの関連性とは異なる少なくとも１つの特徴と対応づけ、そして、(i)サーチリスティングのホスト表示の中に、或いは(ii)前記第２のサーチリスティングセットに関してアルゴリズム生成したサマリーの中に、前記サーチクエリーがあらわれるか否かを含む前記少なくとも１つの特徴に基づき、スポンサー付きサーチリスティングを含んだ前記第１のサーチリスティングセットを順序づけするステップと、
を含む方法。
各サーチリスティングは１つ以上のサーチ用語に関連付けられ、少なくとも１つのサーチリスティングに関連付けられた前記１つ以上のサーチ用語の少なくとも１つは、前記少なくとも１つのサーチリスティングに関係する第１アドレスで検索される情報に基づいて生成される、請求項１に記載の方法。
前記ステップ（ｄ）におけるサーチリスティングの第１セット及び第２セットを識別する前に前記クエリーを変更するステップを更に備えた、請求項１に記載の方法。
前記第１のサーチリスティングセットの各リスティングは、第１の属性セットに関連付けられ、当該第１の属性セットの各属性は、属性重みに関連付けられ、そして
前記信頼性スコアは、各リスティングに対する少なくとも１つの属性をその関連付けられた属性重みで重み付けすることにより決定される、請求項１に記載の方法。
前記サーチャーは、地理的領域(geographical region)に関連付けられ、そして
前記信頼性スコアは、各リスティングに対する少なくとも１つの属性を、前記地理的領域に関連付けられた属性重み(attribute weights)の第２セットで重み付けすることにより決定される、請求項４に記載の方法。
否定的キーワードのリストに基づき、スポンサー付きサーチリスティングを含む前記第１のサーチリスティングセットの少なくとも１つが破棄されるステップを含む、請求項１に記載の方法。
トップランクづけされたスポンサー付きサーチリスティングを含む前記第１のサーチリスティングセットに関連する、非理想的特性をキャプチャーする複数のデモーション用語を算出するステップと、
トップランクづけされたスポンサー付き前記第１のサーチリスティングセット内の各サーチリスティングの信頼性スコアを、前記複数のデモーション用語に基づき更新するステップと、
更新された前記信頼性スコアに従い、トップランク付けされたスポンサー付きサーチリスティングを含む前記第１のサーチリスティングセットを再ランキングするステップと、を更に含む請求項１に記載の方法。
前記デモーション用語は、(i)アブストラクト、入札用語、キートピックスのリストからなるグループから選択されたドキュメントセクション、及び(ii)前記リストが編集上レビューされたか否かを含む１以上のグループについて算出したデモーションメトリックを含む、請求項７に記載の方法。
前記信頼性スコアは、機械学習手法を使用して決定される、請求項１に記載の方法。
前記信頼性スコアに基づき、サーチ結果ページのトップ、サイド、又はボトムを含むロケーション上における前記サーチリスティングの配置を最適化するステップとを更に含む、請求項１に記載の方法。
前記少なくとも１つの特徴は、スポンサー付きサーチリスティングを含む前記第１のサーチリスティングセット及び前記第２のサーチリスティングセットの組み合わせからの、前記第１のサーチリスティングセットに記憶されたトップサーチリスティング間でのランクを含む、請求項１に記載の方法。
コンピュータネットワークを使用するサーチャーからのサーチクエリーに応答してサーチ結果リストを生成するサーバーであって、
(a)データ及びインストラクションを記憶するのに使用するためのメモリと、
(b)前記メモリと通信し、記憶されたインストラクションに基づいてアクションを有効にするためのプロセッサであって、前記記憶されたインストラクションは、
(i)スポンサー付きコンテンツをもつスポンサー付きサーチリスティングを含む複数の第１サーチリスティングを記憶した第１データベースと通信し、
(ii)一般的ウェブコンテンツを有するドキュメントを含む第２データベースと通信し、
(iii)前記サーチャーからサーチクエリーを受け取り、
(iv)第２のサーチクエリーを生成するため、第１の方法で前記サーチクエリーを修正し、
(v)異なるサーチプロバイダーに対するサーチクエリー重みのクエリー用語を新た得ることを含む第３のサーチクエリーを生成するため、第２の方法で前記サーチクエリーを修正し、
(vi)前記第２のサーチクエリーとの一致を生じるドキュメントを有する、スポンサー付きサーチリスティングを含んだ第１のサーチリスティングセットを前記第１データベースから識別し、且つ前記第３のサーチクエリーとの一致を生じるドキュメントを有する、一般的ウェブリスティングを含む第２のサーチリスティングセットを前記第２データベースから識別し、
(vii)前記ステップ(b)(vi)の後に、前記第１のサーチリスティングセットから各リスティングに対する信頼性スコアを決定し、この信頼性スコアは、前記第２のサーチリスティングセットのリスティングと比較したときの各リスティングの関連性に基づいて決定され、そして
(viii)前記第１のサーチリスティングセットからの識別された前記スポンサー付きサーチリスティングを、各サーチリスティングに対する前記信頼性スコアに少なくとも一部分基づいて順序付けする、
ためのインストラクションを含む前記プロセッサと、を備え、
前記スポンサー付きサーチリスティングを含んだ前記第１のサーチリスティングセットは、前記第２のサーチリスティングセットのリスティングと比較されるとき、各サーチリスティングの関連性と異なる少なくとも１つの特徴と関連づけられ、
前記スポンサー付きサーチリスティングを含んだ前記第１のサーチリスティングセットは、クリック、クリックスルーレート、並びに過去のクリックスルーから得られる変換レート及びスポンサー付きの前記第１のサーチリスティングセットに関するユーザアクティビティからの変換データを含む少なくとも１つの特徴に従い順序づけられる、ことを特徴とする前記サーバー。
前記プロセッサは、
トップランクづけされたスポンサー付きサーチリスティングを含む前記第１のサーチリスティングセットに関連する複数のデモーション用語を算出するステップと、
トップランクづけされたスポンサー付き前記第１のサーチリスティングセット内の各サーチリスティングそれぞれの信頼性スコアを、前記複数のデモーション用語に基づき更新するステップと、
更新された前記信頼性スコアに従い、トップランク付けされたスポンサー付きサーチリスティングを含む前記第１のサーチリスティングセットを再ランキングするステップと、を更に含む請求項１２に記載のサーバー。
前記デモーション用語は、(i)アブストラクト、入札用語、キートピックスのリストからなるグループから選択されたドキュメントセクション、及び(ii)前記リストが編集上レビューされたか否かを含む１以上のグループについて算出したデモーションメトリックを含む、請求項１３に記載のサーバー。
前記第１のサーチリスティングセットからの各リスティングは、第１の属性セットに関連付けられ、当該第１の属性セットの各属性は、属性重みに関連付けられ、そして
前記信頼性スコアは、各リスティングに対する少なくとも１つの属性をその関連属性重みで重み付けすることにより決定される、請求項１２に記載のサーバー。
前記第１データベースは、第１エンティティにより維持され、そして前記第２データベースは、第２の詳細なエンティティにより維持される、請求項１２に記載のサーバー。
前記プロセッサは、否定的キーワードのリストに従い、スポンサー付きサーチリスティングを含む前記第１のサーチリスティングセット内の少なくとも１つのサーチリスティングを破棄する命令を実行する、請求項１２に記載のサーバー。
各サーチリスティングは、１つ以上のサーチ用語に関連付けられる、請求項１２に記載のサーバー。
前記少なくとも１つの特徴は、スポンサー付きサーチリスティングを含む前記第１のサーチリスティングセット及び前記第２のサーチリスティングセットの組み合わせからの、前記第１のサーチリスティングセットに記憶されたトップサーチリスティング間でのランクを含む、請求項１２に記載のサーバー。
前記少なくとも１つの特徴は、前記サーチクエリーが、ホスト表示、アルゴリズム生成のサマリーキーワード、及びその組み合わせを含むグループからの少なくとも１つにあらわれるかどうかを含む、請求項１２に記載のサーバー。
コンピュータネットワークを使用するサーチャーからのサーチクエリーに応答してサーチ結果リストを生成するオペレーションを有効にして遂行するプロセッサ実行可能なコードを記録したプロセッサ読み取り可能な媒体であって、前記オペレーションは、
(a)スポンサー提供のコンテンツを有するスポンサー付きサーチリスティングを含んだ複数の第１サーチリスティングを記憶した第１データベースを維持し、
(b)一般的ウェブコンテンツを有するドキュメントを記憶した第２データベースを維持し、
(c)前記サーチャーからサーチクエリーを受信し、
(d)前記サーチクエリーとの一致を生じるドキュメントを有するスポンサー付きサーチリスティングを含んだ第１のサーチリスティングセットを前記第１データベースから識別し、且つ当該第１のサーチリスティングセットを識別するのに使用された同一のサーチクエリーとの一致を生じるドキュメントを有する一般的ウェブリスティングを含む第２のサーチリスティングセットを前記第２データベースから識別し、
(e)前記ステップ（ｄ）の実行後、前記第１のサーチリスティングセットからの各リスティングに対する信頼性スコアを決定し、当該信頼性スコアは、前記第２のサーチリスティングセットのリスティングと比較したときの各リスティングの関連性に基づいて決定されるものであり、そして
(f)スポンサー付きサーチリスティングを含んだ前記第１のサーチリスティングセットを、各サーチリスティングに対する前記信頼性スコアに少なくとも一部分基づいてランキングし、
(g)スポンサー付きサーチリスティングを含んだ前記第１のサーチリスティングセットは、前記第２のサーチリスティングセットと比較されたときに各サーチリスティングの関連性とは異なる少なくとも１つの特徴と対応づけられ、そしてアブストラクトにあらわれる一致、ホストの表示にあらわれる一致、アルゴリズム生成されたサマリー又はその組み合わせにあらわれる一致か否か含む少なくとも１つの特徴に基づき、スポンサー付きサーチリスティングを含んだ前記第１のサーチリスティングセットの順序付けがされる、ことを含むプロセッサ読み取り可能な媒体。
前記識別されたサーチリスティングは、更に、トレードマークキーワードのリストに基づいて順序付けされる、請求項２１に記載のプロセッサ読み取り可能な媒体。
前記オペレーションは、更に、
トップランクづけされたスポンサー付きサーチリスティングを含む前記第１のサーチリスティングセットに関連する、非理想的特性をキャプチャーする複数のデモーション用語を算出すること、
トップランク付けされたスポンサー付き前記第１のサーチリスティングセット内の各サーチリスティングの信頼性スコアを、前記複数のデモーション用語に基づき更新すること、
更新された前記信頼性スコアに従い、トップランク付けされたスポンサー付きサーチリスティングを含む第１のサーチリスティングセットを再ランキングすること、
を含む、請求項２１に記載のプロセッサ読み取り可能な媒体。
前記デモーション用語は、(i)アブストラクト、入札用語、キートピックスのリストからなるグループから選択されたドキュメントセクション、及び(ii)前記リストが編集上レビューされたか否かを含む１以上のグループについて算出したデモーションメトリックを含む、請求項２３に記載のプロセッサ読み取り可能な媒体。