JP4907561B2 - ユーザへのコンテンツソースの履歴情報およびトランザクションボリューム情報の提供 - Google Patents

Description

本発明は、広告のような文書と関係付けられるコンテンツソースの、正当性の格付けを提供するためのシステムおよび方法に関する。

インターネットの出現により、一見したところ際限ない種類のコンテンツがユーザに利用可能となっている。無数のウェブサイトが、無数の主題に関する情報を提供し、数え切れないほどの製品を最終ユーザへ販売している。ユーザがアクセス可能な情報量や消費者向け商品の量は、ユーザのダウンロード速度、時間、財布、および想像力によって制限されているにすぎないと考えられる。インターネット上でコンテンツ発行する自由、ユーザに到達する自由は、かつてない量のコンテンツを生み出しているが、多岐に亘るこのようなコンテンツは、相応して幅広い品質や信頼性を有する。多くのウェブサイトは、信頼性の高い情報を提供するか、品質の高い製品を競争力のある価格で販売しているが、その他の多くは、不正確な情報を提供し、意図的にユーザをだまし、あるいは非合法の商品を販売している。

ユーザに害を与えることに加えて、いかがわしいコンテンツプロバイダが、関連ウェブサイトを参照する他の真面目なサイトに悪影響を与えることもある。例えば、あるウェブサイトが、ユーザに有害ないかがわしいサイトをユーザに参照させた場合、その嫌な経験は、サイトを参照する他の真面目なサイトにおけるユーザの信用を、低下させることになる。特に、大規模な数のウェブサイトへリンクする（例えば、多くの広告主のウェブサイトの内の一つへリンクする、キーワードトリガー型広告の発行による）検索エンジンにとっては、そのようなリンク先サイトの品質を監視することは、残念ながら現実には不可能である。

同様に、まともな実績をもつ正当なビジネス運営によるウェブサイトや広告と、ユーザのクレジットカード番号を不法取得するのが目的の、信頼できない運営によるものとを識別するのは、ユーザには困難であるし、不可能である。有能なグラフィックデザイナは、信頼のおける見え掛かりの文書を制作できるが、その違いをユーザに訴えるサードパーティリソースはほとんどない。インターネット上には多くのウェブサイトが存在し過ぎるので、再評価を行う何らかの独立事業者が、僅かな既存ウェブサイトを評価するのですら困難であり、そのような事業に関わる人件費も、同様にひどく高くつくことになろう。コンシューマーレポートのような幾つかの格付け事業者は、インターネットで広告する企業とは独立して格付けを提供するが、その格付けは、辛うじて僅かなインターネット販売業者をカバーするにすぎない。多くのコンテンツプロバイダの格付けが、サイバー空間のどこかに存在するが、集中処理化が欠如しているので、それらを見付けることが困難であり、それぞれの雑多な格付け事業者の信頼性は、別の独立格付け事業者に、更に別に要請して検証するしかない。

www.resellerrating.comのような他の格付けウェブサイトは、様々なＥテイラー（インターネット販売業者）についてのユーザ格付けを提供する。しかし、ユーザ格付けは、一人以上のユーザがたまたま格付けしたＥテイラーのサイトに対して存在するにすぎず、格付けの品質は、格付けに投稿する匿名ユーザと同程度の信用度や信頼性しかない。ほとんどのユーザ格付けに伴うもう一つの危険性は、いかがわしいサイトは、ユーザを偽って高ランクの偽の格付けを提供することにより、格付けをかさ上げできることである。

これらの欠点や他の欠点が、現行システムおよび方法には存在する。

従って、本発明の多様な実施の形態は、コンテンツソースの正当性の格付けを提供するための、コンピュータ実装システムおよび方法を指向する。文書リクエストを受信する。リクエストに応じてコンテンツソースと関係付けられた電子文書が、文書プロバイダにより渡される。コンテンツソースの正当性格付けが渡される。正当性格付け情報の例としては、例えば、当該コンテンツソースと関係付けられた文書を文書プロバイダが発行している期間の長さに基づく当該コンテンツソースの履歴格付けが含まれ、また、文書プロバイダによって渡された、当該コンテンツソースと関係付けられた電子文書の数に基づく、当該コンテンツソースのトランザクションボリューム（処理量）格付けが含まれる。

別の実施の形態によれば、コンテンツソースの正当性格付けを提供するための、コンピュータにより実行されるシステムが提供される。入力装置が文書リクエストを受信する。リクエストに応じて、出力装置が、コンテンツソースと関係する電子文書を文書プロバイダ経由で渡す。出力装置はコンテンツソースの正当性格付けも提供する。正当性格付け情報の例としては、例えば、コンテンツソースと関係付けられた文書を文書プロバイダが発行している期間の長さに基づく、コンテンツソースの履歴格付け、およびコンテンツソースと関係し、文書プロバイダが渡す電子文書の数に基づく、コンテンツソースのトランザクションボリューム格付けが含まれる。プロセッサが、コンテンツソースと関係付けられたトランザクション情報および履歴情報の少なくとも何れかに基づいて、コンテンツソースの正当性格付けを決定する。

別の実施の形態によれば、コンテンツソースの正当性格付けを提供するための、コンピュータによって実行される方法が提供される。或る基準と関係付けられた文書のリクエストをユーザから受け付ける。該基準との関連に基づいて広告主と関係付けられた電子広告を選択する。文書プロバイダが、リクエストに応じて電子広告をユーザへ渡す。広告主の正当性格付けがユーザへ提供される。正当性格付けは、広告主と関係付けられた電子広告を文書プロバイダが発行している期間の長さに基づく、広告主の履歴格付け、および文書プロバイダがユーザへ渡す広告主と関係付けられた電子広告の数に基づく、広告主のトランザクションボリューム格付け、の少なくとも何れかを含む。

別の実施の形態によれば、コンテンツソースの正当性格付けを提供するためのシステムが提供される。入力装置が、或る基準と関係付けられた文書のリクエストをユーザから受け付ける。プロセッサが、該基準との関連に基づいて広告主と関係付けられた電子広告を選択する。出力装置が、リクエストに応じて文書プロバイダからユーザへ電子広告を渡す。出力装置は広告主の正当性格付けもユーザへ提供する。正当性格付けは、広告主と関係する電子広告を文書プロバイダが発行している期間の長さに基づく、広告主の履歴格付けと、文書プロバイダがユーザへ渡す広告主と関係する電子広告の数に基づく、広告主のトランザクションボリューム格付け、の少なくとも何れかを含む。

別の実施の形態によれば、コンテンツソースの正当性格付けを提供するための、コンピュータによつて実行される方法が提供される。或る概念と関係する文書のリクエストをユーザから受け付ける。コンテンツソースと関係する電子文書を概念との関連に基づいて選択する。コンテンツソースの正当性格付けを決定する。正当性格付けは、コンテンツソースと関係付けられた文書を文書プロバイダが発行した期間の長さに基づく、コンテンツソースの履歴格付けと、コンテンツソースと関係付けられた、文書プロバイダがユーザへ渡す電子文書の数に基づく、コンテンツソースのトランザクションボリューム格付け、の少なくとも何れかを含む。電子文書および正当性格付けは、リクエストに応じて単一の送信で共にユーザへ渡される。

別の実施の形態によれば、コンテンツソースの正当性格付けを提供するためのシステムが提供される。入力装置が、概念と関係する文書のリクエストをユーザから受け付ける。文書プロバイダの選択プロセッサが、或る概念との関連に基づいてコンテンツソースと関係付けられた電子文書を選択する。正当性格付けプロセッサが、コンテンツソースの正当性格付けを決定する。正当性格付けは、コンテンツソースと関係付けられた文書を文書プロバイダが発行した期間の長さに基づく、コンテンツソースの履歴格付けと、コンテンツソースと関係付けられた、文書プロバイダがユーザへ渡す電子文書の数に基づく、コンテンツソースのトランザクションボリューム格付け、の少なくとも何れかを含む。出力装置がリクエストに応じて、電子文書および正当性格付けを単一の送信で共にユーザへ渡す。

他の実施の形態も本発明の範囲内にある。

本明細書で説明する実施の形態は、既存のシステムおよび方法により、多くの問題を解決する。一つの問題は、ネットワークサイト上で発行されるコンテンツを提供する、コンテンツプロバイダ（コンテンツソースとも称する）に関する信頼性の高い情報の欠如である。広告主のようなコンテンツプロバイダは、ユーザに欠陥製品を販売したり、クレジットカード情報を盗んだりして、ユーザに害を与える可能性がある。従って、ユーザは、このようなコンテンツプロバイダの正当性に関する、アクセスが容易で信頼性の高い情報を必要としている。

本発明の多様な実施の形態によれば、サーバや他のコンテンツプロバイダのような発行者が、様々な他のコンテンツソースに関して、コンテンツソースそれぞれの履歴およびトランザクションボリュームに関する発行者による情報のような、正当性情報を提供できる。実施の形態によっては、発行者は、コンテンツソースと関係付けられた広告のような文書を発行するときはいつでも、この情報を提供できる。例えば、インターネット検索結果および関連広告の発行者は、各広告の下部に、各広告主に関する正当性情報を含めることができる

このようにして、ユーザは、広告ビジネスのようなコンテンツソースに関する偏たりのない実情報を容易に取得できる。この情報により、彼らの製品を購入するか、発行情報に頼ることによる等の、コンテンツプロバイダに関わるかどうかの決定にユーザは前もって備えることができる。例えば、自動車部品を広告する様々な企業の広告を見るユーザは、発行者と最も長く関係している企業からの購入を選択することができる。

本明細書で説明する多様な実施の形態の別の利点は、正当性情報が、購入決定のようなユーザの行動に影響する限り、広告主や他のコンテンツソースは、高ランクの正当性格付けを達成し、維持する特別な動機をもつことになるということである。例えば、広告主は、発行者と長期の関係を保つ（強固な履歴格付けを達成することになる）とともに、トランザクションボリュームを増加させる、例えば、インターネット検索キーワードにもっと入札して、ユーザが広告を表示して選択する可能性を高めることにより、トランザクションボリュームを増加させるよう努めることになる。実施の形態によっては、発行者は、ユーザがコンテンツプロバイダとの体験を格付けし、正当性情報の一部としてユーザの格付け情報を発行するできるようにする。

本明細書で用いる時、用語「文書」および「電子文書」は、一つ以上の広告、コンテンツページ（例えばウェブページ）、検索結果、電子メール、アプリケーション、ＩＭメッセージ、オーディオコンテンツやファイル、ビデオコンテンツやファイル、一台か数台（例えばネットワーク）のコンピュータシステムに常駐する他のファイル、他のデータもしくはアプリケーション、または他の定義可能な概念やコンテンツを含めることができる。本明細書では例示の文書として広告を使用することが多いが、言うまでもなく任意の文書を用いることができる。

本出願は、米国特許出願第１０／８４１，８３４号、発明の名称「画像を含む格付け文書のためのシステムおよび方法」に記載の技術に関連し、その全開示を引用して本明細書に組み込む。

概観およびシステム説明

図１および図２は、本発明の実施の形態による、コンテンツソース１２の正当性格付けを提供するための例示のシステム１００を示す。本システムは、サーバ２、一つ以上のプロバイダ８、一つ以上のコンテンツソース１２、一人以上の最終ユーザ１０、およびサーバ２へ接続して動作する一つ以上のデータベース５０を備える。

コンテンツソース１２、プロバイダ８、および最終ユーザ１０は、インターネット通信を含む電子通信を経由して一台以上のサーバ２と通信できる。コンテンツソース１２、プロバイダ８、および最終ユーザ１０は、電子文書と関係付けられた機能性を提供するための、一台以上のサーバ２へのアクセスを含むか、またはアクセス権を有する。サーバ２、プロバイダ８、コンテンツソース１２、および最終ユーザ１０間で通信される情報は、以下の内の一つ以上を含むことができる：文書情報、コンテンツ格付け情報、ボリューム情報、履歴情報、プロバイダ情報等の情報。

システム１００は、サーバ２が、コンテンツソース１２および／または文書（例えばコンテンツソース１２と関係する文書）と関係付けられた格付け情報をリクエストし、受信し、および／または処理できるようにする。

図１に示すように、一つ以上のコンテンツソース１２は、一つ以上の文書のようなコンテンツをサーバ２に提供する。サーバ２は、例えばコンテンツソース１２から受信したコンテンツに基づいて、文書を創出することもできる。

プロバイダ８は、一人以上のユーザ１０ａ〜１０ｎへ文書を提供できる。プロバイダ８は、コンテンツプロバイダ、検索エンジン、またはインターネットのような電子ネットワーク上で情報、サービスおよび／または製品を利用可能にする他のエンティティ（事業体、構成体、要素または人）、を含むことができる。プロバイダ８は、以下の内の一つ以上を含むことができ、例えば：広告リストプロバイダ、コンテンツプロバイダ、ウェブサイトホスト、サーバ２、ユーザか他のエンティティへ電子文書を提供する何らかの他のエンティティ、またはコンテンツを提供する何らかの他のプロバイダ、の内の一つ以上を含むことができる。プロバイダ８は、コンテンツソース１２のこともある。

サーバ２が受信（または創出）する文書は、プロバイダ８を経由して直接または間接的にユーザ１０へ／から渡される。例えば、プロバイダ８および／または最終ユーザ１０が、文書をリクエストする。リクエストする者は、ウェブページのような文書をリクエストするサーバ２へ信号を送信でき、その信号は文書のリクエストとして解釈される。例えば、ユーザ１０はキーワードを含む検索クエリーを提出できる。サーバ２は、キーワードまたは他の基準に基づいて、ユーザ１０（またはプロバイダ８）へ一つ以上の文書を渡すことができる。ユーザ１０は文書を受信して、文書と関係付けられたコンテンツソース１２（および／または文書自体）に関する、格付け情報をサーバ２に提供できる。

コンテンツソース１２は、サーバ、プロバイダ、文書リストプロバイダ、または文書を創出するか、または別の関係者に渡す任意の他のエンティティのような、コンテンツの何らかのソースを含むことができる。例えば、ある関係者が、第２の関係者からの命令のもとに（または第２の関係者との関係の直接的結果として）、広告のような文書をユーザ１０に配布するためにサーバ２へ提供できるが、第１および第２の関係者はともに、多様な実施の形態に対するコンテンツソースと考えることができる。実施の形態によっては、コンテンツソース１２が広告リストプロバイダを含むこともある。

言うまでもなく、以下のエンティティ（企業体）は、異なるエンティティである：広告（または他の文書）を創出するエンティティ；創出した広告をサーバ２へ送信するエンティティ；ユーザに広告を提供するようサーバ２に命令するエンティティ；広告にリンクするかまたは広告で特徴付けられる、企業またはウェブサイトを管理するエンティティ（さもなければ広告の主題であるかまたは広告の主題を管理するエンティティ）；広告の製品をユーザに販売するエンティティ；広告の製品に対してユーザから金銭を受領するエンティティ；および広告をユーザへ提供するためにサーバ２に費用を支払うエンティティ（またはサーバ２と関係するエンティティ）。しかしながら、言うまでもなく、実施の形態を多様なものとするために、これらのエンティティは、まとめて単一のコンテンツソースと見なすことができる。

コンテンツソース１２は、文書をサーバ２に提供でき、またはサーバ２は、コンテンツソース１２から文書または他のコンテンツを「取ってくる（pull）」かまたは検索できる。例えば、コンテンツソース１２は広告をサーバ２へ提供し、それによりサーバ２がその後、一人以上の最終ユーザ１０へ広告を提供する一つ以上のコンテンツプロバイダ８へ、広告を提供できる。（言うまでもなく、実施の形態によっては、サーバ２またはコンテンツソース１２は、最終ユーザ１０へ広告を直接提供してもよい）。コンテンツソース１２は、広告リストプロバイダまたはサーバ２のような、任意のコンテンツ創出者またはプロバイダ８を含むことができる。

サーバ２は、任意のサーバ、ハブ、中央処理装置、プロバイダ、検索エンジン、またはネットワーク内の他のエンティティを備えることができる。単一のサーバ２を図示するが、言うまでもなく、多数のサーバ２を設けてもよく、そのような多数のサーバは、データおよび運営タスクを共有して、効率および本明細書で説明する機能動作を達成できる。

サーバ２は、コンテンツ、正当性情報（例えば格付け）等のデータを処理する一つ以上のモジュール２０〜３６を、備えることができる。

ボリュームモジュール２０は、広告リストプロバイダのようなコンテンツソース１２と関係する、文書（または他のコンテンツ）の数または量と関連する何らかの情報を含むボリューム情報を、受信し、処理できる。ボリュームモジュール２０は、以下の内の一つ以上の情報を受信し、処理でき、例えば：例えばサーバ２による、コンテンツソース１２と関係付けられた文書の発行；サーバ２が発行する文書のような、コンテンツソース１２と関係付けられた文書のユーザ１０による選択；コンテンツソース１２（コンテンツソース１２と関係するエンティティを含む）と関係付けられた文書を選択してから購入するような、コンテンツソース１２からのユーザ１０による購入；特定のコンテンツソース１２と関係付けられたサーバ２で受信する（またはサーバ２が創出する）文書の数、の内の一つ以上の情報を受信し、処理できる。例えば、ボリュームモジュール２０は計数機能または集計機能を用いて、特定の広告が選択される回数を監視し、それが選択される合計回数を決定できる。

ボリュームモジュール２０は、プロバイダ８、ユーザ１０、およびコンテンツソース１２と通信して、上記のような情報を取得できる。ボリューム情報はボリュームデータベース５８に格納できる。

履歴モジュール２２は履歴情報を受信し、処理できる。履歴情報は、以下の内の一つ以上と関連する任意の情報を含むことができ、例えば：コンテンツソース１２が、サーバ２へコンテンツを提供している期間の長さ（またはコンテンツソース１２がコンテンツを提供している期間の長さ）；サーバ２がコンテンツソース１２と関連するコンテンツを配布している期間の長さ；コンテンツソース１２が事業をしている期間の長さ；コンテンツソース１２が特定の国または地理的場所と関係している期間の長さ；コンテンツソース１２と関係する特定の文書（または特定の種類の文書）が、特定の回数だけ、発行されるか、またはユーザに選択されるまでに要した時間の長さ（例えば、広告主の広告または広告キャンペーンが、初めて１０００クリックされるのに要した時間）；またはコンテンツソース１２およびその関係文書と関連する他の履歴情報、の内の一つ以上と関連する任意の情報を含むことができる。履歴モジュール２２は、プロバイダ８、コンテンツソース１２、ユーザ１０、および第３者エンティティと通信して、このような情報を取得できる。

フィードバックモジュール２４は、ユーザのフィードバック情報、例えば、広告のような文書内のフィードバックリンクを経由して受信した情報、を受信し、処理できる（例えば図５Ａおよび図５Ｂに示すように）。

ユーザ格付けモジュール２６は、最終ユーザおよび他の評価者から受信したコンテンツ格付けを受信し、処理できる。ユーザ格付けおよびユーザ格付けリクエストは、従来の郵便、電子メール、または他の方法を介して通信できる。例えば、コンテンツソース１２と関係付けられた文書には、ユーザ格付けを提供するためのフィードバックリンクを含めることができる。フィードバックリンクは、文書またはその関係コンテンツソース１２の特定の特徴の評価を要求するフィードバック文書へユーザをリンクでき、その特徴としては例えば：コンテンツソース１２のユーザ体験の品質、コンテンツソース１２の信用度および信頼性、コンテンツソース１２のコンテンツの妥当性、コンテンツソース１２が提供する製品にユーザ１０が費やした金額、ユーザが、コンテンツソース１２について知識があるか、またはそれと関与している時間の長さ等の基準がある。次いで、コンテンツソースの最終ユーザ１０または他の評価者は、ユーザの格付け情報を、例えば、サーバ２のサイト上でホストされるフィードバック文書に記入して、サーバ２へ渡すことができる。ユーザ格付けモジュール２６は、その格付け情報を電子的に処理する。

サーバ２は他の方法も用いて、広告のような特定文書と関係する、広告主（または他のコンテンツソース１２）に関する情報を提供するよう、ユーザ１０にリクエストする。

ソース比較モジュール２８は、一つ以上のコンテンツソース１２を一つ以上の他のコンテンツソース１２と関係付けるために、コンテンツソース１２の情報を処理できる。関係付けは、コンテンツソース１２間の類似性に基づくことができる。

例えば、キーワードをインターネット検索エンジンに提示すると、最高額入札者が検索結果のページの最上位に彼らの広告を表示するような、そんな特定キーワードに入札する広告主である複数のコンテンツソース１２に対して、ソース比較モジュール２８は、セマンティック空間で関連付けられる（例えば密接して関連付けられる）同一キーワードまたはキーワードに入札するコンテンツソース１２同士を互いに関係付けることができる。言いかえると、ソース比較モジュール２８は、フレーズ「携帯電話」に入札する全ての広告主同士１２を互いに関係付けることができ、同様に、ワード「移動電話」、「無線」、「無線ハンドセット」に入札する広告主全てを、そのような関係に含めることができる。

ソース比較モジュール２８は、複数のコンテンツソース１２間の関係度を決定することもできる。例えば、正確なフレーズ「携帯電話」に入札している二つの広告主は、１．０の相関係数をもつことになり、一方、これらの広告主は、「無線ハンドセット」だけに入札するこれらの広告主とは０．８５の相関係数、「携帯電話」および「無線」の両方に入札する者とは相関係数０．９５、そして「無線」および「電話アンテナ」に入札する広告主とは０．５の相関係数をもつことになる。従って、関係度（または相関係数または他の指標）は、セマンティック空間におけるキーワード（キーワード入札による）同士の関係度に基づくことができる。

相関指標は、キーワードへの広告主の実際の入札額（または相対的入札額）に基づくこともできる。例えば、キーワード「無線」に０．５ドルで入札する広告主同士は、高い相関係数をもつことになる。実施の形態によっては、それぞれが、幾つかの異なるキーワードに入札した広告主は、彼らの最高入札額が、同一または類似のワードに対してである限り、より高い関係度を有することになる（および／または２位の入札額が類似のワードに対して、および／または第３位のキーワード入札額が類似のワードに対して等）。

言うまでもなく、広告主のような単一のコンテンツソース１２は、事実上、幾つかの異なる格付けおよび相関を有する。実施の形態によっては、彼らの入札金額および彼らのキーワードと、ユーザの検索クエリーとの間の関係度に基づいて、広告が、検索結果ページ上で選択されユーザへ表示されるように、広告主１２または他のコンテンツソース１２はキーワードに入札できる。各種の完全に別々な製品（それぞれが異なる概念またはキーワードの金銭価値入札額を有する）の広告を有する広告主は、それぞれのキーワード入札セットに対する別々の格付けを有することになる。従って、実施の形態によっては、単一のコンテンツソース１２を、それぞれが別々の格付けをもつ幾つかの異なるコンテンツソース１２として、事実上処理できる。例えば、単一のコンテンツソース１２の、それぞれの異なる「エンティティ」に対するボリューム格付けが、完全に異なっていてもよく、それぞれの「エンティティ」は他のコンテンツソース１２の異なるセットと関係付けることができる。しかしながら、留意すべきは、単一のコンテンツソース１２の、各種の「エンティティ」に対する履歴情報の幾つかは、同一であってもよい、ということであり、なぜなら、幾つかの時間測定は、サーバ２がコンテンツソース１２と関連している期間の長さに基づく、ことになるからである（全ての異なる「エンティティ」について同一（または異なる）と見なせる）。

異なるコンテンツソース１２の間の関係を決定する際に、考慮できる他の要因は、例えば、それぞれのコンテンツソース１２に関する以下の要因の内の一つ以上を含む：地理（例えば広告主の本部所在地）；産業（例えば広告主が規定するその広告主の産業）；言語（例えば英語のコンテンツはスペイン語と区別してもよい）；広告の数；履歴情報（例えば、広告主がビジネスをしている期間の長さ、またはサーバ２がコンテンツプロバイダのコンテンツを発行している期間の長さ）；ボリューム情報（例えば、サーバ２が発行する広告の数）；コンテンツソースが供給するコンテンツの種類（例えば、画像広告プロバイダは、テキスト広告プロバイダおよびポップアッププロバイダとは異なる扱いをしてもよい）；コンテンツ（例えば、類似言語をもつテキスト広告、または類似言語をもつ画像広告を有するコンテンツプロバイダ１２が、高い相関を有するような、広告に含まれるワードおよび画像）；および他の要因である。

コンテンツソース間の関係度に基づく、相関係数または他の指標を格付け集計モジュール３０で用いて、特定のコンテンツソース１２を「関連」コンテンツソースと比較できる。

格付け集計モジュール３０は、一つ以上のコンテンツソース１２に対する格付け情報を集計または処理し、各コンテンツソース１２に対する集計したボリューム、履歴、およびユーザ格付けを決定できる。

言うまでもなく、格付けは、絶対格付けおよび正規化格付けに基づいてもよい。例えば、トランザクションボリュームのような特定カテゴリでは、最高得点は７５０，２７１ドルであるが、この金額を１００％、１０または１．０として標準化できる（とりわけ正規化）。同様に言うまでもなく、集計格付けは、平均値、最頻値、中央値、標準偏差、およびその他の統計的比較化のツールおよび測定値を用いることができる。

特定コンテンツソース１２に対する集計格付けは、その特定コンテンツソース１２に対する格付け情報、およびその特定コンテンツソース１２に関連する他のコンテンツソース１２（例えば、ソース比較モジュール２８が関連付けるべきと決定するコンテンツソース）の格付け、に基づいてもよい。例えば、コンテンツソース格付けは、関連するコンテンツソースの平均コンテンツソース格付けに基づいてもよい。関連コンテンツソースとの何らかの比較は、対象コンテンツソース１２ａと、比較コンテンツソース１２ｂ〜１２ｎのそれぞれとの間の相関度に基づいて計算した重み付け平均値に基づいてもよい。

格付け集計モジュール３０は、格付けモジュール２４、２６、３０が創出する格付けを処理することにより、コンテンツプロバイダに対する集計格付けを決定できる。格付け集計モジュール３０は、任意の集計アルゴリズムまたは方法論を用いて、集計格付けを決定できる。例えば、集計は、合計得点、平均値、最頻値、中央値、ステップ関数、７５％（または他の）パーセンタイル点（７５％分位点）、または考慮しているデータと関連する何らかの他の尺度とすることができる。アルゴリズムは、以下の内の一つ以上、例えば：ボリューム情報、履歴情報、ユーザ格付け、文書性能データ（クリック率および表示頻度）、および最終ユーザ（またはコンテンツもしくはコンテンツプロバイダの他の評価者）、文書、文書コンテンツ、または集計と関連する他の情報、を考慮することができる。

集計格付けは、一つ以上の異なる数値の得点（例えば、ボリュームおよび履歴のような異なる主題領域に対する）を含んでもよい。格付けは、一つ以上の二進法の得点（ＹＥＳ／ＮＯまたはフラグあり／なしのような）を含んでもよい。数値得点は、特定領域内の合計格付けの一つ以上の尺度を含んでもよく、数値得点は、集計した各種の格付けに関する他の情報を表すこともできる。例えば、点数は、平均値の標準偏差に加えて、平均値を含んでもよい。集計格付けは、多次元ベクトルを含んでも（またはそれを用いて計算しても）よい。

コンテンツモジュール３２は、コンテンツソース１２から受信するコンテンツを受信して処理できる。コンテンツモジュール３２は、コンテンツソース１２から受信するコンテンツに基づいて文書を創出することもできる。例えば、コンテンツモジュールは、広告主から広告を受信し、および／または広告主から受信するコンテンツに基づいて、広告を創出することができる。

コンテンツモジュール３２は、そのように受信および／または創出した文書および他のコンテンツを、コンテンツデータベース５２に格納できる。コンテンツモジュール３２が受信または創出した、広告または他の文書は、プロバイダ８および最終ユーザ１０へ渡される。

文書選択モジュール３４は、一つ以上の文書を選択し、それをプロバイダ８および／またはユーザ１０へ渡すことができる。文書選択モジュール３４は、プロバイダ８、最終ユーザ１０、または他のエンティティからのリクエストに応じて、そのような文書を選択して提供できる。例えば、文書選択モジュール３４は、ユーザ１０からのキーワード検索クエリーに応じて文書を選択できる。

文書選択モジュール３４は、コンテンツデータベース５２から文書を選択できる。例えば、文書選択モジュール３４は、コンテンツソース１２が提供するか、サーバ２が創出する文書を選択でき、および／またはそれぞれがウェブサイトのようなコンテンツソースと関係付けられる検索結果を、一つ以上選択（および／または創出）することができる。文書は、以下の内の一つ以上に基づいて選択でき、例えば：検索クエリーで提供されるキーワードのような基準との関連性；一つ以上のキーワードの入札金額；ユーザ格付け情報；正当性情報；または他の基準、の内の一つ以上に基づいて選択できる。例えば、文書選択モジュール３４は、ユーザ１０からの検索クエリーを受信し、ウェブサイト文書上で、複数の検索結果および広告文書を提供してユーザ１０へ渡すことができる。

文書選択モジュール３４は、モジュール３４が創出するかまたは選択する文書を、ユーザ１０およびプロバイダ８へ渡すことができる。文書選択モジュール３４は、文書と関係する（および／または文書と関係付けられたコンテンツプロバイダと関係する）ボリュームモジュール２０、履歴モジュール２２、ユーザ格付けモジュール２６、および格付け集計モジュール３０が創出する情報のような、正当性情報を渡すこともできる。正当性情報は文書とともに渡してもよい。例えば、正当性情報は文書に追加してもよい（例えば、文書の最下部に、または見えるように文書に添付して）。正当性情報は、その情報が文書とともに表示されはしないが、文書（またはその文書と関係するアイコン）の上を右クリックするか、または文書の上にマウスを当てる（さもなくば文書またはリンクまたはその文書と関係付けられた他のエンティティを選択する）ような代替の方法でユーザがアクセスできるように、文書と関係付けられたコードで組み込んでもよい。

言うまでもなく、文書選択モジュール３４は、検索結果文書と関係するリンクに基づいて、検索結果文書に対する正当性情報を確認できる。例えば、クエリー「２００４年の最良映画」に対する検索結果がwww.movies.comである場合、文書選択モジュール３４は、データベース５０にアクセスして何らかの正当性情報がwww.movies.comに対して存在するかどうかを決定できる。存在していれば、本明細書の説明に従って正当性情報をユーザへ提供する。

他のモジュール３６は、ボリュームおよび履歴情報の提供に関連する他の機能を達成できる。

サーバ２へ接続されるデータベース５０は、一つ以上のデータベース５０〜６６を含むことができる。サーバ２およびそのモジュール２０〜３６は、データベース５０〜６６内に格納される情報を格納し、アクセスできる。データベース５２〜６６は、単一のデータベース５０の部分を構成してもよい。言うまでもなく、データベース５０〜６６は、物理的に異なっていても同一でもよい。

コンテンツデータベース５２は、コンテンツソース１２から受信する文書および他のコンテンツ、ならびにサーバ２が創出する文書のような、コンテンツを格納できる。例えば、ユーザ１０が検索エンジンにキーワードを入力することにより文書をリクエストすると、サーバ２がユーザ１０およびプロバイダ８へそのコンテンツを提供できる。文書は、例えば、その文書を提供したか、またはその文書を生み出す命令もしくはコンテンツを提供した、元のコンテンツソース１２と関係付けることができる。例えば、コンテンツソース１２は、文書を創出するようサーバ２へ命令を提供できる。これらの命令に応じてサーバ２が創出する文書は、コンテンツソース１２と関係付けることができる。

ソース比較データベース５４は、コンテンツソース１２の相関および関係情報を含む、一つ以上のコンテンツソース１２に関する情報を格納できる。例えば、コンテンツソースデータベースは、どのコンテンツソース１２ｂ〜１２ｎが、特定のコンテンツソース１２ａと類似しているか、および複数の指標に沿うコンテンツソース１２ａ〜１２ｎ間の類似度を示す情報を格納できる。特に、ソース比較データベース５４は、ソース比較モジュール２８が使用または創出する情報を格納できる。

ボリュームデータベース５６は、ボリュームモジュール２０から受信するボリューム情報を含む、一つ以上のコンテンツソース１２に対するボリューム情報を格納できる。ボリューム格付け情報は、ボリューム格付け情報を決定する際にボリューム格付けモジュール２４が用いる何らかのトランザクション情報、または他の情報、を含むことができる。例えば、ボリュームデータベース５６は、特定イベントの発生回数に関連する数値情報、例えば：コンテンツソース１２の文書のユーザ選択；特定コンテンツソースが、１年または生涯の関わり合いの経過全体にわたるサーバ２（またはサーバ２と関係するエンティティ）への支払金額のような累計金額；または他の量を格納できる。

履歴データベース５８は、履歴モジュール２２から受信する履歴情報を含む、一つ以上のコンテンツソース１２の履歴情報を格納できる。履歴情報は、時間または期間の長さを決定するのに用いることができる任意の情報、または履歴格付け情報を決定する際に履歴格付けモジュール２６が用いることができる他の情報を含む。例えば、特定のコンテンツソース１２が提供する文書をユーザ１０が最初に選択した時に、このイベントに関する情報を履歴データベース５８に記録することができる。この情報は：コンテンツソースの識別；選択した文書の識別；文書と関係するキーワード（コンテンツソースによるキーワード入札、およびもしあれば、ユーザが入力した検索クエリーのキーワードを含む）；選択の日付および時間；および選択に関する他の情報を含む。他のイベントについて同様な情報を格納してもよい。

ユーザ格付けデータベース６０は、コンテンツソース１２の品質に関する格付けのようなユーザ格付け情報、およびユーザ格付けモジュール２６および格付け集計モジュール３０が、使用し、または創出する他の格付け情報、を格納できる。例えば、コンテンツソース１２の格付けをサーバ２が受信すると、格付けのコンテンツをここに格納できる。

ボリューム格付けデータベース６２は、ボリューム格付けモジュール２４および格付け集計モジュール３０が、使用し、創出する情報を含むボリューム格付け情報を格納できる。

履歴格付けデータベース６４は、履歴格付けモジュール２６および格付け集計モジュール３０が、使用し、創出する情報を含む履歴格付け情報を格納できる。

集計格付けデータベース４８は、集計格付けを格納できる。各集計格付けは、各種基準全体にわたる格付けを含むことができる。

他のデータベース５４は、プロバイダ８、最終ユーザ１０、コンテンツソース１２、サーバ２、ボリューム情報、履歴情報、格付けおよび集計格付け、ならびに他のコンテンツ、に関連する他の情報を格納できる。

システムネットワーク環境の実例

図２は、本発明の実施の形態による正当性格付けを提供するシステムを運営するためのネットワーク環境を示す。このような環境では、コンテンツソース１２およびプロバイダ８は、ネットワーク１４、１５上でサーバ２へ（例えば、安全なｈｔｔｐｓ接続を用いて）接続して、サーバ２へ文書および格付け情報（例えば、正当性格付け情報）を提供し、サーバ２から文書および格付けリクエストを受信できる。サーバ２は、データベース５０内に文書および格付け情報を格納できる。サーバ２は、各種のフォーラムまたは印刷媒体での直接配布を含む配送を通じて文書を配布でき、サーバ２と提携する一つ以上のウェブサイト上で、プロバイダ８を通じて文書を提供する。留意すべきは、プロバイダは、サーバ２のシンジゲートパートナ（例えば、所望する安全性に応じてネットワーク１４または１５で接続される）、コンテンツシステム（例えば関係するコンテンツデータベースを有する）、およびサーバ２またはプロバイダ８が運営する検索エンジンシステムを含むことができるということである。

これらの各種フォーラムを通じて、プロバイダ８へ提供される文書は、最終ユーザ１０に表示されるページ（または他の文書）内に含めることができる（インプレッションと呼ぶことも多い）。

サーバ２、プロバイダ８、およびコンテンツソース１２はそれぞれ、以下のシステムの内の一つ以上を含むコンピュータシステムを備えることができ、例えば：ウェブサーバ２、データベースサーバ２、プロキシサーバ２、ネットワークバランスメカニズムおよびシステム、およびシステムがインターネットまたは他のネットワーク型システム上で運営できるようにする各種ソフトウエア構成体、の内の一つ以上を含むコンピュータシステムを備えることができる。更に、ネットワーク１４および１５は、ｈｔｔｐネットワークとして図示しているが、プライベート回線、イントラネット、または任意の他のネットワークのような他のネットワークを含んでいてもよい。例示の実施の形態では、広告プロバイダのようなコンテンツソース１２とサーバ２との間の接続（およびプロバイダ８とサーバ２との間のような他の接続）は、安全なネットワーク接続を備えて、データが如何なるハッカーまたは他の第３者機関による攻撃または変造も確実に受けないようにできる。更に、二つのコンテンツソース１２が図示されているが、言うまでもなく、一つ以上のコンテンツソース１２をネットワークに備えることができる。同様に、一つのデータベース５０が図示されているが、言うまでもなく、多数のデータベース５０を備えることができ、このようなデータベース５０は、任意の種類のネットワーク接続を経由して、分散型データベースサーバ２のアーキテクチャを含むサーバ２へ接続できる。

同様に、プロバイダ８ａは、ｈｔｔｐまたはｈｔｔｐｓネットワークを含む任意の種類のネットワークを経由して、サーバ２へ接続される任意の数のこのようなシステムを含むことができる。プロバイダ８は、インターネットまたは他のネットワークプロトコルに接続できる機能を提供するサーバ２のようなシステムを備えることができる。プロバイダ８は、広告のようなコンテンツを最終ユーザ１０へ配布する任意のシステムを備えることができる。

最終ユーザ１０は、任意のユーザを含んでもよく（インターネットに接続するユーザのような）、インターネットサービスプロバイダ、ケーブル会社、およびインターネット上のデータにアクセスする他の方法による経由等を含む、任意の各種ネットワークを通じて、その接続を可能とするコンピュータシステムを備えることができる。

プロセスの実例

図３は、本発明の実施の形態による、正当性格付けを開示するための例示方法を図解するフロー図を示す。本明細書で説明する方法は図１および図２で説明したシステムで実装できる。

ブロック３００では、コンテンツプロバイダからコンテンツを受信できる。コンテンツは、サーバのような文書プロバイダから受信することができる。例えば、広告または広告を作成するリクエストは、広告主または広告代理店から受信できる。代替として、または追加として、サーバ２が一つ以上の文書を生成してもよい。例えば、コンテンツソースが、コンテンツソースのために広告を生成するようサーバ２へ命令を提供してもよい。

ブロック３１０では、コンテンツプロバイダと関係する一つ以上の文書が、ユーザへ提供される。その文書は、サーバのような文書プロバイダがユーザへ提供する。例えば、特定の広告主と関係する複数の別々の広告を、複数の異なるユーザへその都度、渡すことができる。

ブロック３２０では、コンテンツプロバイダと関係するトランザクションおよび／または履歴情報を、例えばサーバにより、追跡できる。例えば、サーバは、コンテンツプロバイダが、コンテンツプロバイダと関係する文書を何回発行するかを監視できる。サーバは、ユーザが、広告主のようなコンテンツプロバイダと関係する文書を、例えば、広告主の広告をクリックすることにより、何回選択するかを監視することもできる。サーバは、これらが発生する日付を格納することもできる。

例えば、サーバは、広告主と関係付けられた特定の広告が、何回、ユーザに提供されているか（またはユーザに選択されているか）を測定できる。また、広告主と関係付けられたどの広告が、ユーザに提供（または選択）されているかの合計回数を測定することもできる。クッキーを用いて、特定文書を選択した後、これらのユーザが購入した回数を監視することもできる。

ブロック３３０では、コンテンツプロバイダ（符号３２０のコンテンツプロバイダのような）と関係付けられた一つ以上のユーザ格付けが、例えばサーバにより、受信される。例えば、最終ユーザまたは他の評価者は、例えば文書内のフィードバックリンク（例えば、図５Ａおよび図５Ｂに示すような）をクリックすることにより、格付け情報を提供すると決心する。フィードバックリンクは、評価者が格付け情報を提供できるサイト（またはサイバー空間内の他の場所）へ、評価者を導くことができる。例えば、フィードバックリンクは、各種の格付け情報に対して評価者に記入を促すサイトへ、評価者を導くことができる（例えば図７を参照）。格付け情報は、プロンプトに従って入力できる。

例えば、ユーザは、サーバが提供する広告または他の文書と関係付けられた、特定のコンテンツプロバイダとの体験に関する、フィードバックを残すことができる。ユーザによってはコンテンツプロバイダに関する不満を述べるかもしれない。例えば、ユーザによっては、特定の広告主が広告でだまして製品を販売した、および／または購入に対して過大料金を請求したことを指摘するかもしれない。本明細書では、どの様な種類の消費者の不満も想定されている。

他のユーザは、コンテンツプロバイダが提供する情報が正確で信頼性が高かったこと、または広告主が迅速に注文を処理し、申し分のない顧客サーバを有していたという指摘のような、コンテンツプロバイダとの好意的な体験を指摘するフィードバックを残すこともあろう。

フィードバック情報およびそれを得る方法は、開示全体を引用して本明細書に組み込んだ、米国特許出願第１０／８４１，８３４号、発明の名称「画像を含む文書の格付けのためのシステムおよび方法」に記載されているような、ユーザまたは他の機関からの任意のフィードバック情報を含むことができる。

ブロック３４０では、正当性格付け情報および／またはユーザ格付け情報が、例えばサーバにより、集計か、さもなければ処理される。

例えば、サーバは、特定の広告主または他のコンテンツプロバイダに対する、集計したユーザ格付けおよび／または正当性格付けを測定できる。例えば、特定のコンテンツプロバイダの平均、中央値、および最頻値の格付け値を、サーバへコンテンツを提供する全ての、またはサブセットのコンテンツプロバイダのような、他のコンテンツプロバイダと比較して、そのコンテンツプロバイダに対する集計格付けを測定することができる。

比較のための関連する一サブセットのコンテンツプロバイダは、その特定コンテンツプロバイダと関連性または類似性を有するコンテンツプロバイダを含むことができる。例えば、自動車を広告する広告主は、自動車を広告する他の広告主、または自動車業界の他の広告主と比較することができる。サーバと２年間関連しているコンテンツプロバイダは、そのサーバと２年間（またはそれ以上か未満）、関連している他のコンテンツプロバイダと比較することができる。広告主は、類似のトランザクションボリュームをもつ他の広告主と比較することができる。他の実施の形態では、一つ以上の同一または類似のキーワードに入札する広告主を、互いに比較することができる。

例えば、サーバは、ある特定の広告主の広告が、１年間にわたってユーザに３００回選択され、一方、複数の他の比較広告主の広告は、それぞれの広告主に対して、ユーザに平均５００回選択され、標準偏差は１００回で、最大値は１５００回であると測定できる。サーバは統計的方法を用いて、それぞれの広告主の選択得点を測定するための指標を１〜１０点の尺度で決定することができ、特定の広告主が格付け２．８点を得たことを測定できる。

同様の方法を用いて、サーバは、その文書プロバイダと５年間の関連性を有する広告主が（類似の位置にある広告主では平均８年と比較して）、１０点中６．５点の履歴格付けを有すると測定することができる。

同様に、サーバは、ユーザへその広告を発行するためにサーバ（または関係エンティティ）に７５，０００ドル支払った広告主が（平均４０，０００ドルと比較して）、１０点中９．１点の広告支払い格付けを有すると測定することができる。

ブロック３５０では、任意の概念と関係付けられた文書に対するリクエストは、例えば発行者が、ユーザから受信できる。例えば、ユーザは「２００４年の最良映画」のような検索クエリーを、Ｇｏｏｇｌｅョのような検索エンジンウェブサイトで入力して、そのクエリーと関係する文書をリクエストできる。

ブロック３６０では、概念と関係付けられた一つ以上の文書が、ユーザに渡される。例えば、検索結果および広告のリストが、検索結果ページ上に（例えば図４に示すように）提供され、それぞれの検索結果および広告が、ユーザ提供の検索クエリーと関連付けられる。各文書をコンテンツソースと関係付けることができ、例えば：販売代理店を各広告と関係付け、企業を検索結果内でリンクされる各ウェブサイトと関係付けることができる。

文書は、正当性情報およびユーザ格付け情報を含むことができる。例えば、文書は、図５Ａおよび図５Ｂに示す文書を含むことができる。従って、言うまでもなく、正当性情報を文書内に含む場合、ブロック３６０のアクション（文書をユーザに渡す）は、ブロック３８０のアクション（正当性格付けをユーザに渡す）と組み合わせることになる。

ブロック３７０では、文書（またはコンテンツプロバイダ）と関係する正当性情報（または追加の正当性情報）のリクエストを、ユーザが要求できる。提供された文書が既に正当性情報を含むか、または示す場合、このアクションは、詳細な正当性情報へのリンクをクリックする等による、追加正当性情報のリクエストを含むことができる。言うまでもなく、任意の種類のアクションを正当性格付けのリクエストと見なすことができる。実施の形態によっては、ユーザは特定文書の上にマウスを置くかまたは選択することにより、文書内にまたは別の文書内に正当性情報を表示させることができる。

ブロック３８０では、文書プロバイダ（または他のコンテンツソース）の正当性格付けを、例えばサーバにより、ユーザに提供できる。提供される正当性情報は、正当性情報が既にユーザへ表示されている場合、追加の正当性情報を含んでもよい。正当性格付けは、コンテンツプロバイダがサーバ２へ文書を提供している期間の長さ、またはユーザがコンテンツソースの文書をこれまでに選択した回数、に関連する情報のような上記説明の任意の正当性情報を含むことができる。正当性情報は、集計ユーザ格付け、集計履歴格付け情報、および集計ボリューム格付け情報のような、本明細書で説明した任意のユーザ格付けおよび集計格付けを含むこともできる。集計格付けは、その情報に基づく一般承認または非承認を含んでもよい。正当性情報はユーザ格付け情報を含んでもよい。

正当性情報は、自動的にまたはユーザからのリクエストに応じて（例えばブロック３７０に示すように）提供できる。例えば、それぞれの文書は、広告４３０内等に文書の一部として正当性格付けを含むことができる。他の実施の形態では、正当性格付け文書６００へのリンク５４０のユーザ選択に応じて、文書に対する正当性情報をダウンロードして、ユーザのコンピュータ上で表示することができる。他の実施の形態では、図５Ａに示す文書のユーザ選択により、図５Ｂに示す正当性情報をサーバに提供させることができる。

言うまでもなく、ユーザのコンピュータに正当性情報を提供してから、それをユーザに表示することができる。例えば、実施の形態によっては、正当性情報は一時的インターネットファイル（またはクッキー等）に格納でき、次いで、ユーザがその上にマウスを置くかまたはクリックして文書を選択したときに、正当性情報を表示できる。実施の形態によっては、正当性情報は、４１０および５００Ｂ内のような文書自体の一部としてもよい。

当該分野の技術者には言うまでもなく、上記説明の作用は、人が介在しようがすまいが、プロバイダおよび最終ユーザのようなエンティティに接続されるサーバ２システムのような、一つ以上のコンピュータシステムに統合できるような、ハードウエア、ソフトウエアまたはそれらの組み合わせにより実行できる。更に、言うまでもなく、必ずしもブロックを全て達成しなくてもよい。例えば、一実施の形態では、本方法をブロック３４０で開始し、ブロック３８０で終了してもよい。また、必ずしも、それぞれのブロックのアクションを図３に示す順序で実行する必要はない。任意の実行順序を考慮することができる。

ユーザーインターフェースおよび結果の実例

図４は、本発明の実施の形態による例示の文書４００、４３０、４４０を示す。図４は、検索クエリー４１０、検索結果４２０（例えば正当性情報４２０Ａを含む）、正当性情報４３０Ａを含む広告４３０、および他の広告４４０を含む、インターネット検索エンジンによる例示のウェブページ４００の検索結果を示す。広告４３０、４４０は、バナー広告、ウェブページ上で表示できる別の広告、または電子手段を介して表示できる別のグラフィックまたはテキストの広告を含むことができる。

留意すべきは、ウェブページ４００自体は文書でよく、広告４３０、４４０、検索結果４２０、およびページ４００上の他のコンテンツも、実施の形態を多様にするために文書とすることができる。広告４３０、４４０および検索結果４２０を図４に示すが、ポップアップ、ファイル、プログラム、および他の情報のような、他の種類の文書を考えることができる。文書４００、４３０は、各種のコンテンツを有してもよい。例えば、文書は、ワード、画像、音、および他の情報、ならびにワード、画像、音、および他の情報を動的に生み出すことができる機能またはプログラムを有してもよい。

ここで、キーワード検索クエリー４１０「２００４年の最良映画」は、検索結果４２０および検索クエリー４１０と関連する広告４３０、４４０を返すことになる。例えば、サーバ２は、検索結果４２０および検索クエリー４１０と関連する（例えば、主題により）広告４３０、４４０を返す検索エンジンを含むことができる。広告は、検索クエリーおよび特定キーワード入札額との関連性に基づいて文書の右側に順に並べられる。広告４３０は、www.StockUpFilms.bizという企業のためとすることができ、その関係コンテンツソース（例えば、企業www.StockUpFilms.biz）がキーワード「映画２００４年」に高額で入札しているので、広告４３０は上部の広告位置に置くことができる。

正当性情報４３０Ａは、広告のソース（例えば、文書を創出したエンティティ、発行文書を有するよう命令されたエンティティ、または文書と関係するエンティティ）と関連するボリューム情報および／または履歴情報を含むことができる。例えば、正当性情報４３０Ａは、以下の内の一つ以上を表示でき、例えば：広告主（または他の関係コンテンツソース）が２００２年１２月７日以来、その検索エンジンと関連性を有していること；この広告（またはこの広告主による他の広告）が合計３２１回、ユーザにより選択されていること；および合計２１５７ドルの商品が、その広告をクリックしたユーザに販売されていること、の内の一つ以上を表示できる。

正当性情報は、他の方法で文書内に表してもよい。例えば、正当性情報４３０Ａ（または金額のような正当性情報自体）を示す文書の底部を金色として、広告主が高位格付けの「ゴールド」メンバーであることを表し、一方、他の広告主は、ブロンズまたはプラチナのような他の関係色を持たせて、より低位またはより高位の格付けをそれぞれ表してもよい。正当性情報の異なる一片に、異なる関係色を持たせてもよい。例えば、高いユーザートランザクションボリュームをもつ新参の広告主を、このような情報と関係する色またはラベルにより表して、履歴情報「ブロンズ」（例えば比較的弱い）、ボリューム情報「プラチナ」（最高位）とすることができる。他の実施の形態では、ボイスクリップのような音声ファイルが、「ユーザ選択は３２１回です」または「www.StockUpFilms.bizはブロンズ広告主です」のように話すことにより、正当性情報のオーディオ表現を提供できる。

ここで、正当性情報４３０Ａは、ユーザが広告または広告主（または文書または他のコンテンツソース）に関するフィードバックを提供するためのリンクを含むことができる。図４には示されていないが、他の広告４４０が、それぞれのコンテンツソースについての類似の正当性情報を含むこともできる。

図５Ａおよび図５Ｂは、本発明の実施の形態により、その正当性格付け情報が提供される例示の文書５００Ａおよび５００Ｂを示す。文書５００Ａおよび５００Ｂは、フィードバックリンク５１０および広告主リンク５５０を含む。文書５００Ｂは、正当性情報５２０、５３０および追加のボリュームおよび／または履歴情報へリンクする正当性リンク５４０（例えば、図６に示す文書へのリンク）を含むこともできる。文書５００Ａおよび５００Ｂは、図４に示す検索結果ページ内のようにウェブページ内に含めてもよい。

ここで、文書５００Ａおよび５００Ｂは、広告であるが、文書５００Ａおよび５００Ｂは、電子メール、ウェブページ、ポップアップ、グラフィック、検索結果、または他の文書のような任意の種類の文書でもよい。図５Ａは、正当性格付け情報を明示せずに表示している文書５００Ａを示し、図５Ｂは、履歴情報５２０およびボリューム情報５３０を含む正当性格付け情報を明示的に示す。

図５Ａの文書５００Ａは、ユーザが文書５００Ａの上にマウスを置く、文書上で右クリックする、または文書を選択する等して、ユーザが文書を選択すると表示される、組み込み型のボリュームおよび履歴情報を含むことができる。

本明細書の別のところで説明するように、フィードバックリンク５１０により、文書または関係コンテンツソースに関するフィードバック情報をユーザは提供できる。

広告主リンク５５０は、広告主（例えば、またはコンテンツプロバイダまたはコンテンツソース）のウェブページＵＲＬのような、別の文書へのリンクを含むことができる。例えば、広告主リンク５５０は、組み込み型のハイパーテキストリンクを含むことができ、組み込み型リンクを、文書５００Ａ、５００Ｂの画像内に表示される広告主リンク５５０と関係付けることができる。実施の形態によっては、文書５００Ａ、５００Ｂを（例えばウェブブラウザ内で）見ながら表示されるＵＲＬまたは他のリンク５５０を選択すると（例えばその上をクリックすると）、文書を見るためのビューアメカニズム（例えばウェブブラウザ）を、リンクと関係するコンテンツ（例えば広告主のウェブページ）へ導くことができる。

文書５００Ａ、５００Ｂは、広告主のリンク５５０を明示的に表示できる。また、広告主リンク５５０を文書内に（例えば文書のプログラム内に）、またはリンク５５０が見えないようにその部分に組み込むこともできる。ここで、文書５００Ａ、５００Ｂを選択すると（例えばその上をクリックすると）、文書を見るユーザのメカニズムをリンクした文書へ導くことができる。文書５００Ａ、５００Ｂは、一つ以上の追加リンクを含むこともできる。例えば、複数の製品を宣伝する広告が、それぞれの製品についてのリンクを含むことができ、特定の製品（または他のコンテンツ）に関連する文書５００Ａまたは５００Ｂ内の画像、アイコン、またはテキストを選択すると（例えばその上をクリックすると）、ウェブブラウザ（または他の文書を見るメカニズム）を、その特定の製品と関係する代理店のサイトのページへ（または別の文書へ）導くことができる。言うまでもなく、このような実施の形態では、文書は、それぞれ別々の製品またはリンクに対して、別々の（または組み合わされた）正当性情報を表示してもよい（または表示できる）。

図６は、本発明の実施の形態による正当性格付けの、例示の詳細な一覧を含む文書６００を示す。文書５００Ｂ内の正当性リンク５４０のような、別の文書内のリンクを選択することにより、文書６００にアクセスできる。文書６００は、ユーザが選択している別の文書に応答して、例えば、文書５００Ａまたは５００Ｂ上にマウスを置く（またはその上を右クリックするか、またはそれを選択する）ことにより、ユーザへ渡すこともできる。

正当性情報は、集計格付け情報のような、ボリューム情報、履歴情報、およびユーザ格付け情報を含むことができる。正当性情報は、ボリュームモジュール２０、履歴モジュール２２、ユーザ格付けモジュール２６、ソース比較モジュール２８、および格付け集計モジュール３０により測定し、集計することができる。

図６に示すように、正当性情報は、例示の広告主および／または広告文書に関する以下の情報の内の一つ以上を含むことができ、例えば：比較広告主のトランザクションボリュームと比較したトランザクションボリュームの格付け（例えば、同一産業の広告主、同一または類似のキーワードに入札する広告主、または類似の位置にある広告主であると決定された他の広告主）；全ての広告主（または特定種類の全てのコンテンツソース）と比較したトランザクションボリュームの格付け；ユーザが文書を選択した回数；文書を選択した後、そのコンテンツソースからユーザが購入した回数；ユーザクリック回数とユーザ購入の比率；比較広告主（または特定種類の全てのコンテンツソース）と比較したこの比率の格付け；購入者が購入した平均金額；広告を選択した結果として広告主から購入した商品の合計値；広告をユーザに渡した広告配布業者へ広告主が支払った金額；文書プロバイダが最初にユーザに広告（または広告主からの任意の広告）を提供した日付または期間の長さ（または広告主が最初に文書プロバイダとの関連性を締結した日付）；比較広告主（または全ての広告主）と比較した期間の長さの格付け；広告（または一般的には広告主の広告）が特定回数選択された日付（または期間の長さ）；格付けするユーザの人数；広告主を承認する格付けユーザの割合のようなユーザの承認得点（例えば、特定期間内の）；広告主の産業（または、キーワード入札の識別のような広告主に関する他の識別情報）；ユーザが広告主を承認した産業；広告主と関係する地理的領域（例えば、ユーザに広告が発行されている区域、または広告主の本部のある場所）；ユーザクレームの数または割合；文書プロバイダによる状態（例えば、コンテンツソースが文書プロバイダにより承認されるかどうか）；および／または各種の基準に沿う妥当性格付け、の内の一つ以上を含むことができる。

言うまでもなく、本明細書で説明したサーバ、プロセッサ、およびモジュールが、それらの機能（例えば、光情報を読み取り、または格付け情報を決定する）を自動的に、または自動システムを介して実行できる。本明細書で用いる場合、用語「自動的に」は、任意のマシン実行可能プロセス、例えば人の介在または入力を必要としないプロセス、により実行されるアクションを指す。

本発明の実施の形態は、本明細書で説明した特定の実施の形態の範囲内に限定されない。例えば、本明細書で開示した多くの実施の形態は、広告に関連させて説明してきたが、本明細書の原理は、他の文書およびコンテンツに等しく応用可能である。事実、本明細書で説明したものに加えて、本発明の実施の形態の様々な改変は、上記説明および付帯の図面から当該分野の技術者には明らかであろう。従って、このような改変は、以下に付帯の特許請求の範囲内にあるよう意図されている。更に、本発明の実施の形態の幾つかは、特定目的に対する特定環境における特定実施の文脈により、本明細書で説明してきたが、従来技術に習熟するものには言うまでもなく、この有用性はそれだけに限定されず、本発明の実施の形態は、如何なる目的の如何なる環境でも、実施すると恩恵がある。従って、以下に説明する特許請求の範囲は、本明細書で開示した本発明の実施の形態の、あふれる生命力および精神の観点から解釈すべきである。

本発明の実施の形態による、コンテンツソースの正当性格付けを提供するためのシステムを示す。 本発明の実施の形態による、正当性格付けを提供するシステムを運営するためのネットワーク環境を示す。 本発明の実施の形態による、正当性格付けを提供するための例示の方法を説明するフロー図を示す。 本発明の実施の形態による正当性格付け情報を含む文書が掲載されている例示のウェブページを示す。 本発明の実施の形態により、正当性格付け情報が提供される例示の文書を示す。 本発明の実施の形態により、正当性格付け情報が提供される例示の文書を示す。 本発明の実施の形態による、正当性格付けの詳細な例示画面を示す。

Claims (22)

1. 文書に関係付けられたコンテンツソースの正当性の格付けを提供するために、コンピュータによって実行される方法であって、
   検索クエリーを受け付けるステップと、ここで、該検索クエリーは或る基準又は概念の１つと関係付けられており、
   前記検索クエリーに応じて文書プロバイダから１組の文書を検索して取り出すステップと、ここで、前記１組の文書中の各文書はそれぞれ１つのコンテンツソースと関係付けられており、
   前記各コンテンツソースに対応付けて、トランザクション情報および履歴情報の少なくとも一方をデータベースに蓄積するステップと、
   前記データベースに蓄積された前記トランザクション情報および履歴情報の少なくとも一方に基づき、前記１組の文書中の各文書毎に、それに関係付けられている前記コンテンツソースの正当性格付けを決定するステップと、
   前記１組の文書を提供し、かつ、該各文書に関係付けられた前記コンテンツソースの前記正当性格付けを提供するステップと、
   を具備する方法。
2. 前記履歴情報は、前記コンテンツソースの履歴格付けを含み、この履歴格付けは、前記文書プロバイダが当該コンテンツソースと関係付けられた文書を発行している期間の長さに基づくものである、請求項１の方法。
3. 前記文書が前記概念又は前記基準との関連に基づいて選択される、請求項１の方法。
4. 前記正当性格付けを提供する前記ステップは、前記正当性格付けをユーザの操作に応じて提供する、請求項１の方法。
5. 前記履歴情報が、前記文書プロバイダによって提供されてきた、前記コンテンツソースと関係付けられた文書の数に基づく指標を更に含む、請求項１の方法。
6. 少なくとも１つの前記文書が広告であり、前記コンテンツソースが広告主である、請求項１の方法。
7. 少なくとも１つの前記文書が検索結果であり、前記コンテンツソースが前記検索結果内でリンクされるウェブサイトである、請求項１の方法。
8. 少なくとも１つの前記文書が正当性格付け文書へのリンクを含み、前記正当性格付け文書が追加の正当性格付け情報を含む、請求項１の方法。
9. 前記追加の正当性格付け情報が、前記コンテンツソースと関係付けられた文書を発行するために、前記コンテンツソースにより前記文書プロバイダへ支払われた金額と対応する指標を含む、請求項８の方法。
10. 前記追加の正当性格付け情報が、前記コンテンツソースに関する否定的フィードバックを提供した、ユーザの人数と対応する指標を含む、請求項８の方法。
11. 前記追加の正当性格付け情報が、前記コンテンツソースのユーザ承認格付けに対応する指標を含む、請求項８の方法。
12. 前記追加の正当性格付け情報が、前記コンテンツソースの前記文書プロバイダの承認格付けに対応する指標を含む、請求項８の方法。
13. 前記履歴格付けが、前記文書プロバイダへ文書を提供する複数のコンテンツソースの履歴格付けに基づいて正規化される指標を含む、請求項２の方法。
14. 前記コンテンツソースの履歴格付けが、前記文書プロバイダへ文書を提供する複数コンテンツソースの集合の履歴格付けに基づいて正規化される指標を含んでおり、前記複数コンテンツソースの前記集合は、前記コンテンツソースと類似性を持つコンテンツソースからなっていることを特徴とする請求項２の方法。
15. 前記正当性格付けが、前記文書プロバイダの集計ユーザ格付けを更に含む、請求項１の方法。
16. 文書に関係付けられたコンテンツソースの正当性の格付けを提供するためのシステムであって、
    検索クエリーを受信するための入力装置と、ここで、該検索クエリーは或る基準又は概念の１つと関係付けられており、
    前記検索クエリーに応じて文書プロバイダからコンテンツソースと関係付けられた１組の文書を検索して取り出す手段と、ここで、前記１組の文書中の各文書はそれぞれ１つのコンテンツソースと関係付けられており、
    前記各コンテンツソースに対応付けて、トランザクション情報および履歴情報の少なくとも一方を蓄積するデータベースと、
    前記データベースに蓄積された前記トランザクション情報および履歴情報の少なくとも一方に基づいて、前記１組の文書中の各文書毎に、それに関係付けられている前記コンテンツソースの前記正当性格付けを決定するためのプロセッサと
    前記１組の文書を提供すると共に該各文書に関係付けられた前記コンテンツソースの前記正当性格付けを提供する出力装置と、
    を備えるシステム。
17. 文書に関係付けられたコンテンツソースの正当性の格付けを提供するために、コンピュータによって実行される方法であって、
    或る基準と関係付けられた検索クエリーをユーザから受け付けるステップと、
    前記基準との関連に基づいて広告を選択するステップと、ここで、前記広告は広告主と関係付けられており、
    前記検索クエリーに応じて文書プロバイダにより前記広告をユーザに提供するステップと、
    前記広告主に対応付けて、前記文書プロバイダが該広告主に関係する広告を発行している期間の長さに関係する該広告主の履歴情報、および、前記文書プロバイダがユーザへ渡す該広告主と関係する電子広告の数に関係する該広告主のトランザクション情報、の少なくとも一方をデータベースに蓄積するステップと、
    前記広告主の正当性格付けをユーザへ提供するステップであって、前記正当性格付けは、前記データベースに蓄積された該広告主の前記履歴情報に基づく該広告主の履歴格付け、および、前記データベースに蓄積された該広告主の前記トランザクション情報に基づく該広告主の取引量格付け、の少なくとも何れかを含む、前記ステップと、
    を具備する方法。
18. 文書に関係付けられたコンテンツソースの正当性の格付けを提供するためのシステムであって、
    或る基準と関係付けられた検索クエリーをユーザから受け付けるための入力装置と、
    前記基準との関連に基づいて広告を選択するためのプロセッサと、ここで、前記広告は広告主と関係付けられており、
    前記広告主に対応付けて、前記文書プロバイダが該広告主に関係する広告を発行している期間の長さに関係する該広告主の履歴情報、および、前記文書プロバイダがユーザへ渡す該広告主と関係する電子広告の数に関係する該広告主のトランザクション情報、の少なくとも一方を蓄積するデータベースと、
    前記検索クエリーに応じてユーザへ前記広告を提供し、かつ、前記広告主の正当性格付けをユーザへ提供するための文書プロバイダの出力装置であって、ここで、前記正当性格付けは、前記データベースに蓄積された該広告主の前記履歴情報に基づく該広告主の履歴格付け、および、前記データベースに蓄積された該広告主の前記トランザクション情報に基づく該広告主の取引量格付け、の少なくとも何れかを含む、前記出力装置と、
    を備えるシステム。
19. 文書に関係付けられたコンテンツソースの正当性の格付けを提供するために、コンピュータによって実行される方法であって、
    或る概念と関係付けられた検索クエリーをユーザから受け付けるステップと、
    前記概念との関連に基づいてコンテンツソースと関係付けられた文書を選択するステップと、
    前記コンテンツソースに対応付けて、前記文書プロバイダが該コンテンツソースと関係付けられた文書を発行している期間の長さに関係する該コンテンツソースの履歴情報、および、前記文書プロバイダがユーザへ渡す該コンテンツソースと関係する文書の数に関係する該コンテンツソースのトランザクション情報、の少なくとも一方をデータベースに蓄積するステップと、
    前記コンテンツソースの正当性格付けを決定するステップであって、前記正当性格付けは、前記データベースに蓄積された該コンテンツソースの前記履歴情報に基づく該コンテンツソースの履歴格付け、および、前記データベースに蓄積された該コンテンツソースの前記トランザクション情報に基づく該コンテンツソースの取引量格付け、の少なくとも何れかを含む、前記ステップと、
    前記検索クエリーに応じて、前記文書および前記正当性格付けをユーザに提供するステップと、
    を具備する方法。
20. 前記文書および前記正当性格付けが単一の送信で一緒にユーザに提供される請求項１９に記載の方法。
21. 文書に関係付けられたコンテンツソースの正当性格付けを提供するためのシステムであって、
    或る概念と関係付けられた検索クエリーをユーザから受け付けるための入力装置と、
    前記概念との関連に基づいてコンテンツソースと関係付けられた文書を選択するための文書プロバイダの選択プロセッサと、
    前記コンテンツソースに対応付けて、前記文書プロバイダが該コンテンツソースと関係付けられた文書を発行している期間の長さに関係する該コンテンツソースの履歴情報、および、前記文書プロバイダがユーザへ渡す該コンテンツソースと関係する文書の数に関係する該コンテンツソースのトランザクション情報、の少なくとも一方を蓄積するデータベースと、
    前記コンテンツソースの正当性格付けを測定するための、正当性格付けプロセッサであって、前記正当性格付けは、前記データベースに蓄積された該コンテンツソースの前記履歴情報に基づく該コンテンツソースの履歴格付け、および、前記データベースに蓄積された該コンテンツソースの前記トランザクション情報に基づく該コンテンツソースの取引量格付け、の少なくとも何れかを含む、前記正当性格付けプロセッサと、
    前記検索クエリーに応じて、前記文書および前記正当性格付けをユーザに提供するための出力装置と、
    を備えるシステム。
22. 前記出力装置が前記文書および前記正当性格付けを単一の送信で一緒にユーザに提供する請求項２１に記載のシステム。

Images