JP4647666B2 - 削除予想を使用して多用語サーチ問合せにおける用語の相対値をランク付けするシステム及び方法 - Google Patents

Description

本発明は、コンピュータサーチ問合せに係る。より詳細には、本発明は、ワールドワイドウェブサーチエンジンへ提出される２つ以上のワード、フレーズ、数字及び記号を含むサーチ問合せにおける種々の用語の相対値を決定するための方法及び装置に係る。

長さの異なる数十億のページにわたって分散した非常に多種多様なコマーシャル及び非コマーシャルの両コンテンツをもつ益々多数のウェブサイトに位置する情報を見つけるために、非常に大勢の人々が毎日インターネットサーチエンジンを使用している。多数のウェブの中でどのサイトにとってもその基本的な課題は、その存在をできるだけ大勢のウェブユーザに知られるようにする注目度にある。これは、コマーシャルサイトにとって特に重要なもので、他のメディアと同様に、潜在的な顧客に会社や商品や場所を気付かせるための中心的手段は、広告である。

ウェブは、最新のメディア形態を保っている。ウェブに広告を出すのは、非常に競争の激しい会社で、広告を伝える手段は依然進化している。この進化の一部分は、ディスプレイスクリーンの「リアル・エステート(real estate)」を予め空けることによりユーザの注意をそらし且つしばしば苛立たせる広告又はサイトリンクを排除するためにポップアップブロッカーのような技術的対抗策により誘導されている。又、その一部分は、広告を潜在的なユーザに適切にターゲットを定めるよう試みることにより誘導されている。ウェブページに予約されたスペースに落とし込まれるバナー広告は、しばしば単純な「一般的広告」で、通常、コマーシャルサイトへのリンクを与えるが、ハイウェイの広告掲示板以下の顧客をしばしばターゲットとするものである。

ウェブページ上に予約されたスペースに１つ以上の、通常は短い、文章が入れられたものであるライン広告は、コマーシャルサイトへのリンクを与えるが、特にサーチ用語が２つ以上のワードで構成される場合には、しばしばターゲットが充分に定められない。サーチエンジンにより充分にターゲットが定められないことは、２つ以上のワードのどちらを最も意義のあるサーチ用語と考えるべきか、又は幾つかの隣接するワードを単一の用語と考えるべきかどうか分からないときに生じる。広告のターゲットが充分に定められないとは、そのような広告の買い入れ及び広告の価格についての関心に否定的な影響を及ぼす広告の有効性減少を意味する。既存の方法では、多用語問合せにおける意義のある用語を約３０％の時間だけで予想することができる。この問題についてのこの結果の一例が図３、４及び５に見られる。図３では、サーチ用語が、３０２で示された単一ワード“Ｈｏｎｄａ”である。このページは、３０４で示された右側の欄に複数の広告を有している。同様に、図４では、サーチ用語が、４０２で示された単一ワード“ｔｅｓｔ”であり、４０４で示された右側の欄に複数の広告がある。しかし、サーチ用語が５０２で示された“Ｈｏｎｄａ ｔｅｓｔ”である図５では、５０４で示された右側の欄には広告が何もない。

問合せにおける２つ以上の用語の相対値を理解する良好な手段は、広告の機会をうまく集中させ、サーチエンジンの会社及び広告クライアントの両方の収入を増加させる。例えば、２ワードの問合せは、アメリカの全サーチ問合せのほぼ３０％に達し、サーチ者の意図に対する各ワードの相対的重要性を知ることが、サーチ結果の関連性及び広告の機会の両方について明らかに貴重であるとしても、サーチに対する各ワードの比較関連性の確率を予想する方法は、まだない。

本発明によれば、２つ以上の用語のサーチエンジン問合せの有望な関連性は、その用語の削除確率スコアの関数である。２つ以上の用語のサーチエンジン問合せの関連性スコアが所定の数値スレッシュホールドより大きいときには、サーチエンジン問合せの一方の用語が、サーチに最も関連した用語であることが分かる。個々の用語の関連性は、サーチ結果に影響するだけでなく、広告のターゲットにも影響する。

２つ以上の用語のサーチ問合せの個々の用語の削除確率スコアは、１つ以上の用語が削除された後に同じユーザにより連続する問合せが提出されるような２つ以上の用語のサーチ問合せの経歴レコードから決定される。サーチ問合せの特定用語に対する削除確率スコアは、同じユーザによる連続するサーチの前に特定の用語がそれ自身削除された回数を、その所与の用語を含む任意の用語（１つ又は複数）が連続するサーチの前に同じユーザにより削除されるようにして同じユーザにより連続するサーチ問合せが出される回数で除算した比として計算される。

次いで、サーチエンジンに提出されたサーチ問合せ用語に対する削除確率スコアを使用して、サーチ問合せの関連性がターゲットスレッシュホールドを越えるかどうか決定すると共に、サーチ問合せの関連性がそのスレッシュホールドを越える場合には、どの結果がサーチに最も関連し且つどの広告がサーチ結果と共に返送するのに最も適しているかに関するサーチエンジンの判断に影響を及ぼすためにどの用語がサーチ問合せの最も重要な用語であるかを決定することができる。

従って、削除確率スコアは、広告のターゲットを定めると共に、サーチ問合せ結果を改善するために、サーチ問合せ用語の価値を著しく改善することができる。

本発明は、添付図面に示された幾つかの好ましい実施形態を参照して、以下に詳細に説明する。以下の説明において、本発明の完全な理解を与えるために、多数の特定の細部について述べる。しかしながら、当業者であれば、これらの特定の細部幾つか又は全部を伴わずに本発明を実施できることが明らかであろう。他の例において、本発明を不必要に不明瞭にしないために、良く知られたプロセスステップ及び／又は構造は、詳細に説明しない。本発明の特徴及び硬化は、添付図面及びそれを参照した以下の説明から良く理解できるであろう。

サーチ問合せ用語
サーチ問合せは、１つ以上の「用語(term)」で構成される。サーチ問合せ用語は、例えば、個々のアルファベットワード、アルファベットワード断片、非アルファベットワード、非アルファベットワード断片、頭字語、略語、個々の記号、アルファベット文字、非アルファベットワード成分、及び数字を含む。又、用語は、例えば、２つ以上の隣接するアルファベットワード又はワード断片、２つ以上の隣接する非アルファベットワード又はワード断片、２つ以上の隣接する記号、２つ以上の隣接する数字、２つ以上の隣接する頭字語、並びにアルファベット及び／又は非アルファベットワード及び／又はワード断片及び／又は記号及び／又は頭字語及び／又は数字、及び／又は略語の種々の組み合せを含む種々の関係のいずれかにおけるそれらのグループも含む。

本発明は、ここでは、アルファベット言語に関連して説明するが、ＡＳＣＩＩ又はユニコードナンバーの１つ以上のストリング、或いは何らかの適当なコードを含む２つ以上の用語で構成されるサーチ問合せにも適用できる。

削除確率の計算
２つ以上の用語のサーチエンジン問合せに使用される複数の用語の相対値を決定することは、２つ以上の用語の複数のサーチ問合せを、広告リンクとして使用し且つサーチ結果を改善するのに役立つものとすることができる。同じ問合せにおける用語それ自体又は別の用語が同じサーチエンジンユーザによる実際の連続するサーチにおいて削除される前に、その用語が実際の手前のサーチに現われた頻度を知ることで、その用語に対する削除確率を与えることができ、これを使用して、２つ以上の用語のサーチエンジン問合せの相対値を計算することができる。

図１及び６には、多用語サーチ問合せにおける用語に対する削除確率スコアを計算するための方法及びシステムが例示されている。図６に示すコンピュータシステムは、入力／出力手段６０２と、システムバス６０４と、中央処理ユニット６０６と、記憶手段６１４とを備え、この記憶手段は、経歴インターネットサーチ問合せレコード６０８と、このインターネットサーチ問合せレコード６０８に含まれた用語の削除確率スコアを決定するための計算器６１０と、この計算器６１０により決定された全ての削除確率スコアを含む手段６１２とを有している。削除確率スコアを計算する方法は、図１には、複数ワードサーチ問合せに含まれるワードについて示されており、ここでは、２ワード問合せの１ワードが削除されそして同じユーザによる連続するサーチが行なわれる。この例は、各ワードが１つの用語である２ワードサーチ問合せを使用して示されているが、削除予想スコアを計算するための方法に使用される技術は、３つ以上の用語のサーチ問合せ及びアルファベットワード以外の用語を伴うサーチ問合せを含む３ワード以上のサーチ問合せにも適用できる。

ステップ１０６では、ステップ１０４で収集された２ワードサーチ問合せのレコードから、例えば、Ｈｏｎｄａのようなサーチ問合せ用語を選択する。２ワードサーチ問合せの他のワードが、他の単一ワードであることが許される。ステップ１０８では、同じユーザによる連続するサーチの前に、２ワード問合せにおけるＨｏｎｄａ又は他のワードの１つのワード削除があることが分かる。ステップ１１６においてＨｏｎｄａに対する削除確率スコアを計算するために、先ず、Ｈｏｎｄａを含む２ワードサーチ問合せから同じユーザによる連続するサーチにおいてワードが削除される回数を作表する。Ｈｏｎｄａは、同じユーザによる連続するサーチの前にワードが２ワードサーチ問合せからのものであるデータのサンプルにおいて６０５９回であることが分かった。これら６０５９回の中で、ワードＨｏｎｄａは、１８７４回削除された。Ｈｏｎｄａが削除された回数を、Ｈｏｎｄａを含む２ワードサーチ問合せにおける任意のワードが削除された合計回数で除算した比は、１８７４／６０５９、即ち約０．３１であり、これが確率削除スコアである。「平滑化」として知られている技術を含む他の統計学的方法を使用して、削除確率スコアを計算することもできる。Ｈｏｎｄａに対する削除確率スコアがステップ１１６において計算された後に、それがステップ１１８において削除確率スコアのリストに加えられる。

この計算は、Ｈｏｎｄａの削除確率を、２ワード問合せにおいてＨｏｎｄａと共に共有される他の用語の削除と比較する。これは、Ｈｏｎｄａの削除確率スコア・対・２ワード問合せの「他の何か」の削除確率スコアである。

より一般的な表現では、削除される個々のワードである２つの用語の一方の見込みについての「最大見込み推定」を計算するのに使用される比は、用語が削除される回数を、同じユーザによる連続するサーチの前にワードが削除されたサーチ問合せにおいて用語が生じた回数で除算したもので、これは、削除確率スコアを推定するこの解決策では、次のように表わされる。

式１は、ｗ_iを第１ワード、ｗ_jを第２ワードとすれば、個々のワードで構成された２サーチ用語の問合せ（ｂｉｇｒａｍｓ）に対する「最大見込み推定」を与える。ｂｉｇｒａｍｓサーチ問合せに対するこのような削除確率スコアを使用して、図２に示す方法により問合せの用語の関連性を決定することができる。

問合せ用語の相対値を決定するためのリスト
同じユーザによる実際の連続するサーチにおいて同じ問合せにおける用語それ自体又は別の用語が削除される前に用語が現れた実際の手前のサーチから引き出された削除確率スコアのリストは、多用語問合せに対するサーチ結果と共に広告を表示するのに多用語問合せのいずれかの用語を使用すべきかどうか判断するために、多用語問合せにおける用語の相対値を決定する努力にとって重要である。サーチ問合せで見つかった用語に対して同じ問合せにおける用語それ自体又は別の用語が削除される前に用語が現れた実際の手前のサーチから引き出された削除確率スコアのこのリストに加えて、サーチ結果と共に広告を表示するために多用語問合せのいずれかの用語が使用されるかどうか判断するには、他の２つのリストが必要となる。必要な第２のリストは、例えば、サーチウインドウに現れる順序で一緒に所属すると期待できる２つのワードである「フレーズ」のリストである。
第３のリストは、利用可能な広告における用語と厳密に一致する用語のリストである。

削除確率リスト
一実施形態は、２つのアルファベットワードで構成されるサーチ問合せに係る。

サーチ問合せが２つのアルファベットワードで構成される実施形態により使用される１つのリストは、同じユーザによる連続するサーチにおいて１つのワードが削除されるような２ワードサーチ問合せで見つかったワードの大きなグループの各々に対する削除確率スコアのリストである。同じユーザによる連続するサーチにおいて１つのワードが削除されるような２ワードサーチ問合せのこのリストは、サーチエンジン問合せレコードを検査することにより発生される。２ワードサーチ問合せの集合体がステップ１０４において集められる。１つの問合せがステップ１０６において選択され、その問合せレコードがステップ１０８において検査されて、２ワードサーチ問合せにおける２つのワードの一方が削除されそして同じユーザによる連続するサーチが行なわれたかどうか調べる。もしそうでなければ、ステップ１０６において別の問合せが選択される。しかしながら、２ワードサーチ問合せにおける２つのワードの一方が削除されそして同じユーザによる連続するサーチが行なわれた場合には、ステップ１１０において問合せの数が１だけ増加され、問合せの用語がステップ１１１において２つの単一ワードであると決定され、そして選択されたワードがステップ１１２において削除リストに加えられる。ステップ１１４において、検査されるべき問合せがそれ以上ないことが分かると、同じユーザによる連続するサーチにおいて１つのワードが削除されるような２ワードサーチ問合せにおける全てのワードの削除確率が、ステップ１１６において、各ワードが削除される回数を、２つのワードのいずれかが削除される合計回数で除算することにより、計算される。削除確率スコアを伴う全てのこれらワードのリストがステップ１１８において形成され、次いで、プロセスは、ステップ１２０で停止となる。

フレーズのリスト
サーチ用語が２つのアルファベットワードである実施形態において必要な第２のリストは、２ワードフレーズのリストである。記述子「用語」は、フレーズ及び個々のワードの両方に対する参照を含むことができる。サーチウインドウに現れる順序で一緒に所属することを期待できる２つのワードは、例えば、“Tom Cruise（トム・クルーズ）”のような名前と、“fighter aircraft（戦闘機）”、“middle ages（中年）”のようなフレーズと、“bad attitude（悪い態度）”という名前の音楽グループを含む。特定の順序で一緒に所属すると期待できるこのような２つのワードのケースは、ここでは、「フレーズ」と称される。明らかに、ワードが、サーチウインドウに現れる順序で一緒に所属することを期待できる場合に、各ワードを個々にサーチするのは、不適切であると共に、問合せを開始するサーチエンジンユーザにとっておそらく役立つものではない。

広告のリスト
サーチ用語が２つのアルファベットワードである実施形態において必要な第３のリストは、利用可能な広告における用語に厳密に一致する用語のリストである。

従って、２ワードサーチ問合せを検査するプロセスを開始する前に、サーチエンジンには、種々のソースから累積されてデータ記憶装置７２６に位置する７２０に記憶された非常に多い２ワード組み合せ−フレーズ−のリスト、２ワードサーチ問合せで見つけられ且つデータ記憶装置７２６に位置する７２２で見つけられたワードの削除確率スコアのリスト、及びデータ記憶装置７２６に位置する７２４にあって利用可能な広告内の用語に厳密に一致する用語のリスト、へのアクセスが与えられる。

２つのサーチ用語を使用する実施形態をここに例示するが、２つより多い用語のサーチ問合せにおける各用語の関連性を決定するための他の実施形態も、ここに例示する技術で考えられることを理解されたい。従って、最も関連性のある用語のみに焦点を合わせるのではなく、必要に応じて、３つ以上の用語の関連性をランク付けすることもできる。

削除予想を使用してサーチエンジン問合せにおける用語の関連性を決定する
広告目的及びサーチ結果に対する多用語サーチエンジン問合せの有望な関連性は、用語の削除確率スコアの関数である。２つの用語をもつ問合せに適した削除確率の関数として多用語サーチエンジン問合せの有望な関連性を定量化するのに有用な計算は、次の式で与えられる。
−0.0448(Ｎ_WD)＋1.1639(ＤＰ用語１)＋1.2635(１−ＤＰ用語２)＝問合せ関連性値
（式２）
但し、Ｎ_WD＝削除された用語中のワードの数、ＤＰ用語１＝削除される用語の削除確率、そしてＤＰ用語２＝保持される用語の削除確率、である。

従って、サーチエンジンは、２用語問合せを受け取ると、式２を使用して、２つの用語のサーチ問合せの関連性を判断し、これは、先ず、用語の１つを削除し、そしてその削除された用語におけるワードの数、削除された用語の削除確率、及び「保持される用語」（削除されない用語）の削除確率を使用して問合せの関連性を計算することにより行われる。どの用語が削除されるかについてのこれらの仮定でサーチ問合せ関連性を計算した後に、反対の仮定を使用してサーチ問合せ関連性値を再び計算する。即ち、前に削除された用語は、今度は、保持される用語であり、前に保持された用語は、今度は、削除される用語であり、そして式２を再計算し、第２のサーチ問合せ関連性値を得る。これらの計算された関連性値のいずれかがサーチ問合せ関連性スレッシュホールドを越える場合には、その問合せは、サーチ結果と共に広告を返送するのに適した用語を有するとみなされる。関連性スレッシュホールドを越える関連性値を生じさせた保持される用語は、広告を返送するのに最も関連性のあるものとして選択される用語である。

広告目的及びサーチ結果に対する多用語サーチ問合せの関連性を決定するのに、削除確率のこのような他の関数も有用である。式２の低い汎用性は、２つの用語のサーチ問合せの有望な関連性を、ここに述べる実施形態に見られる削除確率の関数として決定できる１つの仕方を示しており、ここでは、用語の削除確率スコア間の絶対的な差がサーチ問合せの関連性のスコアとして計算され、そしてその値が関連性スレッシュホールドを越える場合には、最低の削除確率スコアをもつ用語が、広告を返送するための最も関連性のあるものとして選択される用語となる。

アルファベットワードの２つの用語でサーチ問合せが構成される実施形態
図２及び７には、削除確率スコアを使用してサーチ問合せ用語の関連性を決定し、サーチエンジン問合せに応答して広告を選択して表示するための方法及びシステムが例示されている。図７は、ユーザが、多用語サーチ問合せを、クライアントウェブブラウザディスプレイ７０４に表示されるサーチ問合せウインドウ７０８に入力するシステムを示している。問合せは、インターネット７０２を経てサーチエンジンサーバー７１０へ送信される。サーチエンジンサーバー７１０のドキュメントリンク検索器７１２は、データ記憶装置７１６に記憶されたワールドワイドウェブドキュメントリンク７１８にアクセスし、インターネット７０２を経てクライアントウェブブラウザディスプレイ７０４へそれらを返送し、そこで、ドキュメントリンクがサーチ結果７０６に表示される。又、同じインターネットサーチ問合せに応答して、サーチエンジンサーバー７１０の広告検索器７１４は、フレーズリスト７２０、問合せにおける用語に対する削除確率スコア７２２、及び広告リスト７２４（これらは全てデータ記憶装置７２６に記憶されている）にアクセスし、次いで、図２の方法を使用して、どの広告がサーチ問合せに適しているか決定し、そしてもしあれば、広告を、インターネット７０２を経てクライアントブラウザディスプレイ７０４へ返送し、そこで、それらは、検索されたワールドワイドウェブドキュメントリンクと共にサーチ結果７０６に表示される。

図２の方法は、２ワードサーチ問合せの一例として説明することができる。２つのワード、及びそれらがサーチウインドウに現れる順序が１つのユニットであるかどうかの決定がステップ２０４において行なわれ、これは、サーチエンジンユーザによりサーチウインドウに入れられるワード及びそれらがサーチウインドウに現れるワード順序を、特定の順序で一緒に所属することを期待できる２つのワードのフレーズのリストであって、データ記憶装置７２６に位置する７２０にあるリストと比較することにより行われる。サーチエンジンユーザによりサーチウインドウに入れられた２つのワードが、サーチウインドウに現れるワード順序でフレーズのリストにあり、そしてこの実施形態では、ステップ２０８において、これら２つのワード以外のワードが問合せにないことが分かった場合には、ステップ２１２において、問合せにそれ以上の用語がないことが分かり、プロセスは、ステップ２２６へ進む。ステップ２２６では、そのユニットが広告のリストに存在するフレーズと比較され、厳密な一致が求められる。そのユニットが、データ記憶装置７２６に位置する広告リスト７２４内にある広告のリストの中で厳密に一致する場合には、サーチ問合せに応答するサーチエンジンがその広告をサーチ結果と共に返送し、広告は、以前に指定されたエリアに表示される。プロセスは、次いで、ステップ２３０へ進み、そこで、終了となる。広告のリストの中にユニットの厳密な一致が見つからない場合には、プロセスは、ステップ２３０へ直接進み、終了となる。

しかしながら、ステップ２０４において、２ワード問合せが１つのユニットでないことが分かると、ステップ２１０において、各ワードが用語として分類され、そしてステップ２１２において、その問合せが２つの用語で構成されることが分かる。ステップ２１４では、用語の１つに対して削除確率スコアがあるかどうか尋ねられる。データ記憶装置７２６に位置された削除確率スコアのリスト７２２にその用語に対する削除確率スコアがない場合には、ステップ２１６においてその用語にデフォールトの削除確率スコアが指定され、プロセスはステップ２２０へ進む。ステップ２１６においてゼロのデフォールト削除確率スコアを仮定することは、実際的なことで且つ数学的に受け容れられることが分かっている。むしろ、用語が削除確率スコアを有する場合には、用語には、ステップ２１８においてその削除確率スコアが指定される。いずれの場合にも、削除確率スコアが指定され、そしてプロセスはステップ２２０へ進み、そこで、問合せに第２の用語があるので、プロセスはステップ２１４へ復帰し、第２の用語が、データ記憶装置７２６の位置した削除確率リスト７２２に削除確率スコアを有するかどうか見つける。ここでも、用語が削除確率スコアをもたない場合には、ステップ２１６においてデフォールト削除確率スコアが指定され、そしてプロセスは再びステップ２２０へ進み、更に用語があるかどうか尋ねる。しかし、そうではなくて、第２の用語が削除確率スコアを有する場合には、その削除確率スコアがステップ２１８において指定され、そしてプロセスはステップ２２０へ進み、そこで、問合せにそれ以上用語がないことが決定され、従って、プロセスはステップ２２２へ進む。ステップ２２２では、問合せの２つの用語の削除確率スコアが比較される。次いで、ステップ２２４において、問合せの２つの用語の削除確率スコアの絶対的な差が、既に固定されているスレッシュホールド差以上であるかどうか決定される。数学的な分析、実験及びマーケッティングのニーズにより、スレッシュホールド０．５０がスレッシュホールド差として適した値であることが分かっている。０．５０のスレッシュホールド値以上であるために、一方の用語は、削除されないよりも削除される見込みが高くなければならず（削除確率０．５以上）、一方、他方の用語は、削除されるよりも保持される見込みが高くなければならない（削除確率ゼロ以下）。削除確率スコアが、既に固定されたスレッシュホールド差より大きい絶対量だけ相違しない場合には、プロセスはステップ２３０へ進んで終了となる。しかしながら、削除確率スコアが、既に固定されたスレッシュホールド差より大きい量だけ相違する場合には、ステップ２２６において、その用語に対する厳密な一致が広告のリストの中で探される。用語が、データ記憶装置７２６において広告リスト７２４と示された広告のリストの中で厳密な一致をもつ場合には、サーチエンジン問合せに応答するサーチエンジンがステップ２２８において広告をサーチ結果と共に返送し、そこでは、ページの予め指定されたエリアに広告を表示することができる。次いで、プロセスは、ステップ２３０へ進み、終了となる。広告のリストの中に用語の厳密な一致が見つからない場合には、プロセスはステップ２３０へ直接進み、終了となる。

この実施形態の説明において、２ワード問合せＨＯＮＤＡ ＴＥＳＴに応答するサーチエンジンは、これがステップ２０２において問合せを受け取ることで動作を開始する。ステップ２０４では、ＨＯＮＤＡ ＴＥＳＴが１つのユニットであるかどうか尋ねられる。データ記憶装置７２６に位置するフレーズリスト７２０がサーチされ、そしてＨＯＮＤＡ ＴＥＳＴが１つのユニットでないことが分かると、ステップ２１０において、２つのワードＨＯＮＤＡ及びＴＥＳＴの各々が個別の用語として分類される。ステップ２１２では、２つ以上の用語があることが見出されるので、ステップ２１４では、データ記憶装置７２６に位置するＤＰリスト７２２がサーチされて、ＨＯＮＤＡが削除確率スコアを有するかどうか決定される。ＨＯＮＤＡの削除確率スコアは、約０．３１であり、これは、ステップ２１８において用語ＨＯＮＤＡに指定される。問合せにおいて更に用語があるかどうか尋ねるステップ２２０に応答して、プロセスはステップ２１４へ復帰し、データ記憶装置７２６に位置する７２２内のリストに、ＴＥＳＴの削除確率スコアについて尋ねる。ＴＥＳＴの削除確率スコアは、約０．８９であり、これは、ステップ２１８においてＴＥＳＴに指定される。ここで、問合せに更に用語があるかどうか尋ねるステップ２２０に応答して、その答えはノーであり、用語ＨＯＮＤＡ及びＴＥＳＴの削除確率スコアの絶対差がステップ２２２において計算される。問合せにおける２つの用語の削除確率スコアの絶対差は、これがスレッシュホールドを越える場合に、この問合せではＨＯＮＤＡである削除確率スコアの低い用語に対する厳密な一致がステップ２２６において見つかった場合に、ステップ２２８において、広告をサーチ結果ページに表示させることができる。ＨＯＮＤＡの厳密な一致に対してステップ２２６においてサーチをトリガーする２つの用語間の削除確率スコアの適当なスレッシュホールド差は、既に０．５０に固定されている。ステップ２２４では、ＨＯＮＤＡが約０．３１の削除確率スコアを有することが分かり、一方、ＴＥＳＴが約０．８９の削除確率スコアを有し、その絶対差は、約０．５８であり、０．５０のスレッシュホールド差より大きい。ＨＯＮＤＡが低いスコアを有するので、データ記憶装置７２６に位置する広告リスト７２４の検討が、ステップ２２６において、ＨＯＮＤＡに対する厳密な一致について行なわれる。厳密な一致が見つかり、そしてステップ２２８において、ＨＯＮＤＡ広告が、サーチ結果と共にクライアントブラウザへ返送され、ページの既に指定されたエリアに表示され、そしてプロセスは、ステップ２３０において終了となる。

図３、４及び５は、ページの右側欄のライン広告空間に広告を完全に発生するための従来の方法の欠陥を示している。単一用語３０２としてのＨＯＮＤＡは、３０４で示されたエリアに複数のライン広告を発生している。同様に、単一用語４０２としてのＴＥＳＴは、４０４で示されたエリアに複数のライン広告を発生している。しかし、２つの用語がサーチ問合せ５０２として一緒に使用される場合には、５０４で示されたライン広告空間に広告を全く生じさせない。

別の実施形態では、例示的サーチ問合せが３つのワードを有し、その２つがユニットである。これは、３ワードの例示的サーチ問合せが２つの用語を有することを意味する。ユニットである用語は、ステップ２０６において用語として分類され、用語の部分でないワードは、ステップ２１０において用語として分類される。ステップ２１２では、２つの用語があることが決定され、そしてステップ２１４では、一方の用語が削除確率スコアを有するかどうか尋ねられる。もしそうであれば、２１８において、用語にそのスコアが指定される。もしそうでなければ、ステップ２１６において、用語にデフォールトスコアが指定される。次いで、第２の用語が削除確率スコアを有する場合には、ステップ２１８において、第２の用語にその削除確率スコアが指定され、そしてもしそうでない場合には、デフォールト削除確率スコアが指定される。これらスコア間の絶対差がステップ２２２において計算され、そしてステップ２２４において、絶対差がスレッシュホールドより大きい場合には、広告リストの中で用語に対する厳密な一致がステップ２２６において探され、それが見つかると、広告がサーチ結果と共に返送されて、ページ上の指定空間に入れられ、プロセスは終了となる。しかしながら、ステップ２２６において厳密な一致が見つからないか、又は削除確率スコアの絶対差がスレッシュホールド未満である場合には、プロセスが終了となる。

削除確率スコアは、ここに示す実施例で述べる以上の用語をもつものを含む他の実施形態についても計算することができる。同じユーザによる連続するサーチにおいて用語が削除される場合にｎ個の用語のサーチ問合せ、即ちｎｇｒａｍｓ、のより一般的なケースについて削除確率スコアを計算するための１つの解決策が、次の式で表わされる。

（式３）

式３は、ｗ₁を第１ワード、ｗ_nを第ｎワードとすれば、個々のワードである任意の数の用語の問合せ（ｎｇｒａｍｓ）に対する「最大見込み推定」を与える。

任意の数の用語のサーチ問合せに対して図１及び６に示すシステム及び方法で決定される削除確率スコアを使用して、ｎｇｒａｍｓのサーチ問合せの用語の関連性を決定し、ひいては、図２及び７に示す方法及びシステムによりターゲット広告を選択し表示することができる。

削除確率を使用して、２つ以上の用語のサーチ問合せのより関連性のあるワードを見つけるための値の一例は、２用語サーチ問合せの例で明確に明らかである。２用語問合せの一方の用語の関連性は、本発明以前から明らかな、時間の３０％ではなく、我々の実験の計算により、時間の６１％と推定することができる。我々の経歴データにおけるサーチ問合せの３０％が２用語の問合せであることが分かっているので、削除予想は、これらの問合せのみで顕著に適用することができる。又、削除予想技術は、ｎ用語（ｎｔｅｒｍｓ）のサーチ問合せに適用されるので、広告ターゲットに対する削除予想の影響が極めて広範囲なものとなる。

しかし、サーチ問合せ用語の関連性の改善は、広告のターゲット決め及び広告の機会を改善するだけではない。サーチエンジンユーザにとって明らかに重要な利益は、多用語サーチ問合せにおける種々の用語の関連性の決定を頻繁に助けることにより、削除確率スコアがサーチ結果の適切さも改善することである。

例外リスト
削除予想の別の効果は、２つ以上の用語のサーチ問合せにおいて高関連性用語を識別する努力を更に向上させるようにこれを使用できることである。これは、「例外」リストの使用で行うことができる。各ワードが用語である２ワード問合せの一方のワードがＨｏｎｄａであるこの例示においてＨｏｎｄａの削除確率スコアのような削除確率スコアは、同じユーザによる連続するサーチの前にＨｏｎｄａ又は他のワードが削除されたサーチ問合せレコードを分析し、そして削除確率スコアの計算を行なうためにいずれかのワードが削除された回数及びその削除されたワードがＨｏｎｄａであった回数を作表した後に行われた計算の結果である。削除確率スコアは、実際の経歴データに基づくもので、Ｈｏｎｄａは、＜何か＞と比較され、即ち同じユーザによる連続するサーチの前に１つのワードが削除される２ワードサーチ問合せのサーチ問合せレコードにおける１つおきのワードと比較される。同じ解決策を使用して、Ｈｏｎｄａ以外のワードに対する削除確率スコアが得られる。又、ここで明らかなように、Ｈｏｎｄａとの相違が０．５０のスレッシュホールドを越えることのない削除予想スコアをもつワードは、２ワードサーチ問合せにおけるＨｏｎｄａと特に対にされたときに、サーチ結果と共にユーザへ広告を返送することにならない。更に、Ｈｏｎｄａと特に対にされたときに、Ｈｏｎｄａとの相違がスレッシュホールド量未満である削除スコアを有するワードがあると決定されたことを経歴データが示す場合には、そのワードは、同じユーザにより行なわれる連続する２ワードサーチ問合せにおいて通常削除されるワードである。もしそうであれば、このようなケースにおいて、２つの単一ワード用語の削除確率スコアにおいてスレッシュホールド差がないにも関わらず、Ｈｏｎｄａの広告を示す機会がある。このようなケースの多くは、あまり重要でなく、又、価値もないが、幾つかはそうでない。Ｈｏｎｄａのような特定の関心事の幾つかの広告主が識別される場合には、Ｈｏｎｄａの＜何か＞のプロセスを使用して、削除予想スコアがＨｏｎｄａからスレッシュホールド差だけ相違しないワードであって、同じユーザによりなされる連続するサーチの前に削除が行なわれるようにしてＨｏｎｄａと対にされたときに削除されるワードである見込みが極めて高いワードを引き出すことができる。このようなワードが見つかり、そして対にすることが、ある既存の又は潜在的な広告クライアントにとって特に関心事である場合には、このようなワード対のリストが作成されて、「例外フィルタ」として使用され、従って、このようなケースにおける広告ターゲットは、削除確率スコアの比較により影響されない。このようなフィルタは、削除予想を使用して広告ターゲット決めを改善するよう試みるプロセスに使用される他のリストと共にデータ記憶装置７２０に記憶することができる。又、この例外フィルタは、３つ以上の用語のサーチ問合せに対して価値がある。

発明の範囲
本発明は、複数の好ましい実施形態について説明したが、本発明の範囲内で変更や修正や並び替えや置き換えが可能である。又、本発明の方法及び装置を実施する複数の別の仕方があることにも注意されたい。本発明の説明を助けるためにサブタイトルを設けたが、これらは単なる例示に過ぎず、本発明の範囲を限定するものではない。加えて、本発明の前記説明は、ウェブベースのページ分類に関するものであったが、当業者であれば、他の分類用途において本発明を実施することもできよう。

それ故、特許請求の範囲は、本発明の真の精神及び範囲内に入るこのような全ての変更や修正や並び替えや置き換えを包含すると解釈されることが意図される。

多用語をもつサーチ問合せに対して削除確率スコアを発生する方法を示す論理フローチャートである。 サーチ問合せ用語に対する削除確率を使用して、用語の１つに適した広告をサーチ結果ページに配置するプロセスを示す論理フローチャートである。 単一用語のサーチ問合せに適したライン広告を右側の欄に示すワールドワイドウェブサーチ結果ページである。 別の単一用語のサーチ問合せに適したライン広告を右側の欄に示すワールドワイドウェブサーチ結果ページである。 図３及び４の２つの単一用語サーチ問合せを２用語問合せとして結合し、その結果、ライン広告が表示されないことを示すワールドワイドウェブサーチ結果ページである。 本発明により多用語をもつサーチ問合せに対して削除確率スコアを発生するシステムを示すブロック図である。 本発明により多用語のインターネットサーチ問合せに応答してサーチエンジンが広告を返送するシステムを示すブロック図である。

Claims (5)

1. 連続する多用語サーチ問合せにおける関連用語を識別するためのコンピュータによって実施されるシステムにおいて、
   キーワードに関連するコンテンツを記憶するための推薦されるコンテンツの記憶部と、
   複数の多用語サーチ問合せにおける各特定用語の削除数を追跡し、前記複数の多用語サーチ問合せの各々は各特定用語を含むものであり、更に、前記複数の多用語サーチ問合せにおける合計削除数を追跡すると共に、特定用語の前記削除数を、前記特定用語を含む前記複数の多用語サーチ問合わせの選択された１つにおける削除の合計数で除することによって前記各特定用語の削除数及び前記合計削除数から各特定用語の削除確率を決定するように構成された削除予想装置と、
   前記連続する多用語サーチのそれぞれの特定用語の前記削除確率に基づいて前記連続する多用語サーチ問合わせの関連性値を決定し、前記関連性値がしきい値を超えているかどうかを決定し、前記関連性値が前記しきい値を超えていると判断すると前記連続する多用語サーチ問合せにおける関連用語を特定するように構成された関連性識別装置であって、前記関連用語は、連続する多用語サーチ問合せからの残りの用語の削除確率より小さな削除確率を有するものである関連性識別装置と、
   前記関連用語を受信し、複数の推薦されるコンテンツを前記推薦されるコンテンツの記憶装置から選択するためのコンテンツサーバであって、前記選択は前記関連用語に基づいて実行され、前記複数の推薦されるコンテンツは前記関連用語に関係し、前記複数の推薦されるコンテンツは、広告リンク及びサーチ結果の少なくとも一つを含むものであるコンテンツサーバと、
   前記複数の推薦されるコンテンツをクライアントのブラウザ上の所定の領域でユーザに対して表示するディスプレイと、
   を備えたシステム。
2. 削除確率スコアのリストを記憶するための削除確率記憶部を含み、それぞれの削除確率スコアはそれぞれの特定用語の削除確率である請求項１に記載のコンピュータによって実施されるシステム
3. 前記関連性識別装置は、前記削除確率記憶部に記憶された前記削除確率スコアの前記リストから前記連続する多用語問合わせのそれぞれの特定用語の前記削除確率を検索することによって、前記連続する多用語サーチ問合わせのそれぞれの特定用語の前記削除確率に基づいて前記連続する多用語サーチ問合わせの関連性値を決定するように構成されている請求項２に記載のコンピュータによって実施されるシステム。
4. 前記関連性識別装置は、前記連続する多用語問合わせのそれぞれの特定用語の前記削除確率の間の絶対的な差を決定することによって、前記連続する多用語サーチ問合わせのそれぞれの特定用語の前記削除確率に基づいて前記連続する多用語サーチ問合わせの関連性値を決定するように構成されている請求項１に記載のコンピュータによって実施されるシステム。
5. 前記連続する多用語問合わせのそれぞれの特定用語の前記削除確率の間の絶対的な差を決定するように構成されている前記関連性識別装置は、調整因子を適用するようにさらに構成されている請求項４に記載のコンピュータによって実施されるシステム。

Images