JP6211605B2 - クリックスルー率に基づく検索結果の順位付け - Google Patents

Description

関連特許出願の相互参照
この出願は、２０１２年６月１８日に出願され「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｏｆ Ｒａｎｋｉｎｇ Ｓｅａｒｃｈ Ｒｅｓｕｌｔｓ Ｂａｓｅｄ ｏｎ Ｃｌｉｃｋ Ｔｈｒｏｕｇｈ Ｒａｔｅｓ」と題された中国特許出願第２０１２１０２０６５０２．０号に対する外国優先権を主張するものであり、その出願は、その全体が参照によって本明細書に組み込まれる。

本開示は、検索技術の分野に関するものであり、より詳細には、クリックスルー率に基づく検索順位付け方法および装置に関するものである。

インターネットの絶え間ない開発で、ますます多くのユーザが、ネットワーク経由で情報を取得し、ユーザは、対応する検索結果を取得するためにクエリを入力することによって検索を行うことができる。一般に、クエリに対応する１つ以上のクエリ対象に関して、クエリとクエリ対象との間の一致度合いが、一定の順位付けルールに従って測定され得、クエリ対象は、一致度合いに基づいて順位付けられ、順位付けられたクエリ対象は、ユーザに表示されることになる検索結果を成し、それによって、ユーザが必要とされた結果を迅速に取得することを可能にする。

しかしながら、そのような従来の技法は、一定の欠点を有する。順位付けルールは、適用シナリオの変化に従って変化し得る。換言すれば、クエリ対象が異なる場合、対応する順位付けルールもまた異なることになる。その結果、従来の技法は、各適用シナリオについて対応する順位付けルールを必要とし、それは、再使用可能性をほとんど有さない。

例えば、クエリ対象は、企業クエリにおける企業であり得る。それ故、クエリに一致する企業は、企業のサイズなどの順位付けルールに従って順位付けられる。別の例の場合、製品クエリにおいて、クエリに一致する製品は、価格または発売時期に従って順位付けられ得る。それ故、従来の技法の再使用可能性は非常に低い。

その上、ユーザ要求が変化する場合、適用シナリオもまた変化する。順位付けルールは、順位付けルールが適用シナリオまたはユーザ要求の変化に従って変化されるとき、再構成される。例えば、ユーザは、冬と夏に異なる製品を必要とする。それ故、順位付けルールは再構成されなければならないし、検索順位付け方法は書き換えられなければならず、それは、非常に面倒である。

要約すれば、従来の技法が検索結果を順位付けるために適用されるとき、再使用可能性は低く、方法は面倒なものである。

この概要は、発明を実施するための形態において以下に更に記載される簡単化された形態で概念の選択を導入するために提供される。この概要は、特許請求された主題の全ての重要な特徴または必須の特徴を識別することを意図されず、また、特許請求された主題の範囲を決定するのを助けるものとして単独で使用されることも意図されない。用語「技法」は、例えば、上記文脈によっておよび本開示の全体にわたって許容されるような、（複数の）装置、（複数の）システム、（複数の）方法および／またはコンピュータで読み取り可能な命令のことを言い得る。

本開示は、再使用可能性を改善し順位付け工程を簡単化するためのクリックスルー率（ＣＴＲ）に基づく検索順位付け方法および装置を提供する。

本開示は、ＣＴＲに基づく検索順位付け方法を提供する。検索順位付けの前に、事前設定した期間内のユーザのクリックデータが取得され、各特性のそれぞれの重みは、クリックデータに基づいて決定される。

検索順位付けは、以下の動作を含み得る。

クエリおよびクエリに一致する１つ以上のクエリ対象が取得される。各クエリおよびクエリ対象のそれぞれの特性が抽出される。各クエリ対象に関して、クエリおよびクエリ対象の特性ならびに各特性に対応するそれぞれの重みに基づいて、それぞれのＣＴＲは、回帰モデルなどの１つ以上のモデルに基づいて取得される。

クエリ対象は、各クエリ対象のそれぞれのＣＴＲに基づいて順位付けられ、ユーザに表示される。

例えば、クエリおよびクエリ対象のそれぞれの特性が抽出された後、以下の動作があり得る。クエリおよびクエリ対象のそれぞれの特性は、特性値に定量化される。

例えば、各クエリ対象に関して、クエリおよびクエリ対象の特性ならびに各特性に対応するそれぞれの重みに基づいて、それぞれのＣＴＲは、以下の動作によって回帰モデルに基づいて取得される。各特性に対応するそれぞれの重みが取得される。それぞれの特性値および重みは、各クエリ対象について重み付け結果を計算するために使用される。重み付け結果は、それぞれのクエリ対象のそれぞれのＣＴＲを予測するために回帰モデルに使用される。

例えば、検索順位付けの前に、事前設定した期間内のユーザのクリックデータが取得され得、各特性のそれぞれの重みは、以下の動作によってクリックデータに基づいて決定され得る。事前設定した期間内のユーザのクリックデータが取得される。それぞれの後のＣＴＲが、クリックデータに基づいて計算される。クエリおよびクエリ対象の特性値が取得される。各特性のそれぞれの重みが、後のＣＴＲおよび特性値に基づいて計算される。

例えば、各クエリ対象についての事前設定した期間内のユーザのクリックデータが取得された後および後のＣＴＲがクリックデータに基づいて計算される前に、クリックデータにおける異常データが、フィルタリングされたクリックデータを取得するためにフィルタリングされる動作があり得る。

例えば、それぞれの後のＣＴＲは、以下の動作によってクリックデータに基づいて計算され得る。フィルタリングされたクリックデータは、ページの各位置でクエリ対象のＣＴＲを取得するための統計のために使用される。各位置でのＣＴＲは、対応する後のＣＴＲを取得するための重み付け計算のために使用される。

例えば、各クエリおよびクエリ対象のそれぞれの特性が抽出された後、以下の動作があり得る。

クエリを入力するユーザに関して、ユーザの１つ以上の挙動特性が抽出される。ユーザの１つ以上の挙動特性は、以下の、期間内のユーザのクリックデータ、期間内のユーザのカテゴリデータ、および期間内のユーザの地理データの少なくとも１つを含み得る。カテゴリデータは、例えば、クリックのカテゴリデータおよび／または検索のカテゴリデータを含み得る。

検索順位付け方法例はまた、以下の動作を更に含み得る。クエリ、クエリ対象、およびユーザの相関特性が抽出される。例えば、クエリ対象は、製品、企業、または産業を含み得る。

本開示はまた、ＣＴＲに基づく検索順位付け装置を提供する。装置は、重み決定モジュール、取得および抽出モジュール、ＣＴＲ予測モジュール、ならびに順位付けおよび表示モジュールを含み得る。

重み決定モジュールは、検索順位付けの前に、事前設定した期間内のユーザのクリックデータを取得し、クリックデータに基づいて各特性のそれぞれの重みを決定する。

取得および抽出モジュールは、クエリおよびクエリに一致する１つ以上のクエリ対象を取得し、各クエリおよびクエリ対象のそれぞれの特性が抽出される。

ＣＴＲ予測モジュールは、各クエリ対象に関して、クエリおよびクエリ対象の特性ならびに各特性に対応するそれぞれの重みに基づいて、回帰モデルなどの１つ以上のモデルに基づくそれぞれのＣＴＲを取得する。

順位付けおよび表示モジュールは、各クエリ対象のそれぞれのＣＴＲに基づいてクエリ対象を順位付け、順位付けられたクエリ対象をユーザに表示する。

従来の技法と比較して、本技法は、以下の利点を有し得る。

第１に、従来の技法では、クエリと各クエリ対象との間の一致度合いが、一定の順位付けルールに従って測定される。しかしながら、順位付けルールは、適用シナリオの変化に従って変化する。換言すれば、クエリ対象が異なる場合、対応する順位付けルールもまた異なることになる。例えば、クエリ対象は、会社クエリにおける会社であり、それ故、クエリに一致する会社は、会社のサイズなどの順位付けルールにだけ従って順位付けられることになる。別の例の場合、製品クエリにおいて、クエリに一致する製品は、価格または発売時期にだけ従って順位付けられ得、それ故、再使用可能性は非常に低い。

しかしながら、本技法は、検索順位付けの前に事前設定した期間内のユーザのクリックデータを取得することによって各特性の重みを決定する。特定の検索順位付けが実行されるとき、適用シナリオやクエリ対象に関わらず、クエリおよびクエリ対象の対応する特性は、それらが取得された後に抽出され、検索順位付けにおけるクエリ対象のＣＴＲは、特性および特性に対応する重みに基づいて回帰モデルなどの１つ以上のモデルによって予測される。

本技法は、異なるクエリ対象の異なる特性および異なる特性に対応する重みに基づいて様々な適用シナリオにおける様々なクエリ対象のＣＴＲを予測する。それ故、本技法は、様々な適用シナリオに適用可能であり得、高い再使用可能性を有する。

加えて、従来の技法では、ユーザが冬と夏に異なる製品を必要とするようにユーザ要求が変化すると、順位付けルールは再構成されなければならず、検索順位付け方法は書き換えられなければならない。本技法は、検索順位付けを実行する前に事前設定した期間内のクリックデータに基づいて各特性の重みを決定し、各特性の重みは、別個の手動構成無しに、少なくともほぼ実時間にユーザ要求の変化で調整される。本技法は簡単化された方法を適用し、それ故、重みに基づいて予測されたクエリ対象のＣＴＲはまた、少なくともほぼ実時間に調整されることになり、高い精度を有する。

第２に、本技法は、事前設定した期間内のクリックデータを取得し、クリックデータをフィルタリングし、次いで、統計によって後のＣＴＲを取得する。次いで、各特性の重みが、後のＣＴＲおよび各特性の特性値に基づいて計算される。従って、本技法は、クリックデータに基づいて重みを更新する。検索するとき、同じクエリに関してさえ、ユーザは異なる時間に検索するので、対応する検索結果はまた、異なり得る。

第３に、本技法は、重み計算やＣＴＲ予測が、多次元的特性を抽出することによって正確に行われるように、クエリおよびクエリ対象の特性のみならずユーザの特性もまた抽出し、それによって、合理的な予測モデルを確立し、合理的な誘導をユーザに提供し、挙動の不正行為によってもたらされる不利点を削減する。その一方で、同じクエリに関して、対応する検索結果は、異なるユーザの場合には異なり得る。それ故、本技法はまた、ユーザの個々のニーズをかなえる。

本開示の実施形態をより良く例示するために、以下は、実施形態の記載に使用されることになる図面の簡単な導入である。以下の図面は、本開示のいくつかの実施形態にだけ関連することは、明白である。当業者は、創造的な努力無しで、本開示における図面に従って他の図面を得ることができる。

本開示に従うＣＴＲに基づく検索順位付け方法例のフローチャートを示す。 本開示に従うＣＴＲに基づく検索順位付け方法例において後のＣＴＲを計算するための方法例のフローチャートを示す。 本開示に従うＣＴＲに基づく別の検索順位付け方法例のフローチャートを示す。 本開示に従うＣＴＲに基づく検索順位付け装置例の図を示す。

以下の記載は、図面といくつかの実施形態例を参照にして説明される。

一般に、クエリに対応する検索結果について、クエリと検索結果との間の一致度合いは、一定の順位付けルールに従って測定され得る。次いで、検索結果は、一致度合いに基づいて順位付けられ、順位付けられた検索結果はユーザに表示され、それによって、ユーザが、最も求めた結果を迅速に取得することを可能にする。しかしながら、検索結果を順位付けるために順位付けルールを適用する場合、再使用可能性は低く、従来の技法は面倒である。

本開示は、ＣＴＲに基づく検索順位付け方法を提供する。本技法は、検索順位付けを実行する前に事前設定した期間内のクリックデータに基づいて各特性の重みを決定し、次いで、クエリ対象を順位付けるときに重みを用いる。それ故、本技法は、再構成無しで、ユーザのクリックデータに基づいて少なくともほぼ実時間に重みを調整する。その上、本技法は、回帰モデルによってＣＴＲを予測し得、様々な適用シナリオに適しており、高い再使用可能性を有する。

図１は、本開示に従うＣＴＲに基づく検索順位付け方法例のフローチャートを示す。

１０２で、事前設定した期間内のユーザのクリックデータは、検索順位付けの前に取得され、各特性の重みは、クリックデータに基づいて決定される。

従来の技法では、ユーザ要求の変化は、順位付けルールの変化を導くことになる。例えば、ユーザは、冬と夏に異なる製品を必要とし、それ故、順位付けルールは再構成されなければならず、検索順位付け方法は、異なる時間に書き換えられなければならない。それ故、従来の技法は非常に面倒である。

事前設定した期間内のユーザのクリックデータは、検索順位付けの前に取得される。例えば、事前設定した期間が２４時間である場合、２４時間以内のユーザのクリックデータが取得され、各特性の重みは、クエリ対象のＣＴＲの後続の予測を準備するためにクリックデータに基づいて決定される。

本技法では、各特性の重みは、別個の手動構成無しで、ユーザ要求の変化と少なくともほぼ実時間に調整されることになり、方法は簡単化される。それ故、重みに基づいて予測されたクエリ対象のＣＴＲはまた、高い精度で少なくともほぼ実時間に調整されることになる。

例えば、検索順位付けは、以下の動作を含み得る。

１０４で、クエリおよびクエリに一致する１つ以上のクエリ対象が取得され、クエリおよびクエリ対象の特性がそれぞれ抽出される。

まず、ユーザによって入力されたクエリが取得され、クエリに一致するクエリ対象は、事前設定した一致方法によって取得される。その後、クエリの特性およびクエリ対象の特性が抽出される。特性は、クエリのキーワードおよびクエリのカテゴリを含み得る。例えば、クエリがｉＰｈｏｎｅである場合、クエリの特性は移動電話である。本開示は、本明細書において何の制限も課さない。

クエリ対象の特性は、特定の対象に依存する。例えば、クエリ対象が製品である場合、クエリ対象の特性は、製品のカテゴリであり得る。別の例の場合、クエリ対象が企業である場合、クエリ対象の特性は企業の主製品であり得る。

１０６で、各クエリ対象に関して、クエリおよびクエリ対象の特性ならびに各特性に対応するそれぞれの重みに基づいて、それぞれのＣＴＲが、回帰モデルなどの１つ以上のモデルに基づいて取得される。

クエリに一致するクエリ対象が取得された後、各クエリ対象に関して、クエリおよびクエリ対象の特性ならびに各特性に対応するそれぞれの重みに基づいて、それぞれのＣＴＲは、回帰モデルに基づいて取得される。

ＣＴＲは、ウェブページにおけるそれぞれのコンテンツの表示回数に対するクリック回数の比率を表す。ＣＴＲは、ウェブページにおけるそれぞれのコンテンツの人気の度合いを反映する。クリック回数と非クリック回数の合計が、表示回数である。

本技法では、異なるクエリ対象は異なる特性に対応し、一方、異なる特性は異なる重みに対応する。しかしながら、本技法では、適用シナリオおよびクエリ対象に関係なく、検索順位付けにおけるクエリ対象のＣＰＲは、クエリおよびクエリ対象の対応する特性ならびに各特性に対応する重みに基づいて回帰モデルによって予測され得る。それ故、本技法は、様々な適用シナリオに適しており、より高い再使用可能性を有する。

１０８で、クエリ対象は、それらのそれぞれのＣＴＲに基づいて順位付けられ、ユーザに表示される。

各クエリ対象のそれぞれのＣＴＲが予測された後、クエリ対象は、それらのそれぞれのＣＴＲに基づいて順位付けられ、次いで、順位付けられた結果は、ユーザに表示される。

従来の技法では、クエリおよび各クエリ対象のそれぞれの一致度合いは、一定の順位付けルールに従って測定される。しかしながら、順位付けルールは、適用シナリオの変化に従って変化される必要がある。換言すれば、クエリ対象が異なる場合、対応する順位付けルールもまた異なることになる。例えば、クエリ対象は、会社クエリにおける会社であり、それ故、クエリに一致する会社は、会社のサイズなどの順位付けルールにだけ従って順位付けられることになる。別の例の場合、製品クエリにおいて、クエリに一致する製品は、価格または発売時期にだけ従って順位付けられ得、それ故、再使用可能性は非常に低い。

しかしながら、本技法は、検索順位付けの前に事前設定した期間内のユーザのクリックデータを取得することによって各特性の重みを決定する。特定の検索順位付けが実行されるとき、適用シナリオやクエリ対象に関わらず、クエリおよびクエリ対象の対応する特性は、それらが取得された後に抽出され、検索順位付けにおけるクエリ対象のＣＴＲは、特性および特性に対応する重みに基づいて回帰モデルなどの１つ以上のモデルによって予測される。

本開示では、クエリ対象は、製品、企業、産業などを含み得る。

電子商取引ウェブサイトで、ユーザが検索を行うとき、クエリ対象は、電子商取引ウェブサイトにおける販売元によって販売された衣類および電子製品などの製品情報であり得る。クエリ対象はまた、電子商取引ウェブサイトにおける販売元の企業情報であり得る。例えば、クエリが移動電話であるとき、クエリ対象は、移動電話の販売元である。クエリ対象はまた、電子商取引ウェブサイトにおける様々な産業の関連情報であり得る。

本技法はまた、広告の検索順位付けに適用可能であり得る。それぞれの重みは、表示された広告のクリックデータに基づいて決定される。次いで、ユーザが検索するときにクエリに一致する広告クエリ対象が取得され、それらのＣＴＲは、特性および重みに基づいて予測される。広告クエリ対象は、順位付けられ、表示される。

例えば、広告は、電子商取引ウェブサイトでの検索の間に見付けられる販売元によって発売された製品情報であり得る。広告はまた、クエリに一致するクエリ対象の広告であり得、ユーザが検索を行うと検索結果ページの端に表示される。例えば、ユーザがスカートの画像を検索すると、スカートに関連した製品またはスカートの販売元が、検索結果ページの端に表示され得る。

例えば、クエリの特性は、キーワード、クエリのカテゴリなどを含み得る。クエリ対象はまた、それぞれの特性を含み得る。例えば、クエリ対象が製品である場合、対応する特性は、製品名におけるキーワード、カテゴリ、製造企業などを含み得る。クエリ対象が企業である場合、対応する特性は、企業名におけるキーワード、企業の一次製品のキーワード、企業の一次産業などを含み得る。

特性はまた、クエリおよびクエリ対象の相関特性を含み得る。企業を例に取ると、相関特性は、クエリのカテゴリが、企業の一次産業、企業名に一致するクエリにおける多数のキーワードまたは企業名に一致するクエリにおけるキーワード割合、企業の一次製品に一致するクエリにおける多数のキーワードまたは企業の一次製品に一致するクエリにおけるキーワードの割合などに一致するかどうかを含み得る。

例えば、クエリおよびクエリ対象の特性が抽出された後、検索順位付け方法例は、以下の動作を更に含み得る。

クエリおよびクエリ対象の特性は、それぞれ、特性値に定量化される。例えば、クエリおよびクエリ対象のそれぞれの特性が抽出された後、クエリおよびクエリ対象の特性は定量化され、定量化された特性値が取得される。

各クエリ対象に関して、クエリおよびクエリ対象の特性ならびに各特性に対応するそれぞれの重みに基づいて、それぞれのＣＴＲは、以下の動作による回帰モデルに基づいて取得される。

第１のステップで、各特性に対応するそれぞれの重みが取得される。各特性に対応する重みは、検索順位付けの前にクリックデータに基づいて決定され得る。それ故、各特性に対応する重みは、ＣＴＲの予測前に取得され得る。

第２のステップで、それぞれの特性値および重みは、各クエリ対象についての重み付け結果を計算するために使用される。各特性の特性値および各特性に対応する重みは、各クエリ対象について取得される。それ故、特性値およびそれらのそれぞれの重みは、重み付け演算のために使用され得る。

第３のステップで、重み付け結果は、それぞれのクエリ対象のそれぞれのＣＴＲを予測するために回帰モデルにおいて使用される。

重み付け結果は回帰モデルに代入され、次いで、クエリ対象のＣＴＲが予測される。

例えば、ＣＴＲは、ロジスティック回帰モデルを使用してフィッティングされ得、

は、予測されたＣＴＲを表し、

は、ｋ番目の特性の特性値を表し、

は、ｋ番目の特性の重みを表す。式の例は以下のようなものである。

例えば、検索順位付けの前に、事前設定した期間内のユーザのクリックデータが取得され、各特性の重みは、以下の動作によってクリックデータに基づいて決定される。

第１のステップで、事前設定した期間内のユーザのクリックデータが取得され、後のＣＴＲは、クリックデータに基づいて計算される。

事前設定した期間内のユーザのクリックデータが取得される。例えば、事前設定した期間が２４時間である場合、２４時間以内のユーザのクリックデータが取得される。その後、クリックデータは統計のために使用され、後のＣＴＲは、統計を通して取得される。

図２は、本開示に従うＣＴＲに基づく検索順位付け方法例において、後のＣＴＲを計算するための方法例のフローチャートを示す。

２０２で、事前設定した期間内のユーザのクリックデータが取得される。

例えば、各クエリ対象について事前設定した期間内のユーザのクリックデータが取得された後および後のＣＴＲがクリックデータに基づいて計算される前に、後のＣＴＲを計算するための方法例はまた、以下の動作を含み得る。

２０４で、クリックデータにおける異常データは、フィルタリングされたクリックデータを取得するためにフィルタリングされる。

事前設定した期間内のユーザのクリックデータが取得された後および後のＣＴＲがクリックデータに基づいて計算される前に、クリックデータにおける異常データは、フィルタリングされたクリックデータを取得するためにフィルタリングされる。

実際的な処理では、様々なウェブサイトで異なるフローボリュームの不正行為やクリックの不正行為があり得る。不正行為からのクリックデータは、異常データとして取り扱われる。例えば、一部のユーザは、それぞれのクエリ対象が高いＣＴＲを取得するように、いくつかの不正行為ツールを使用することによってそれぞれのクエリ対象を連続的に検索する。従って、不正行為からのクリックデータなどの異常データは、フィルタリングされたクリックデータを取得するためにフィルタリングされなければならない。

例えば、クリックデータに基づく後のＣＴＲの計算は、以下の動作を含み得る。

２０６で、フィルタリングされたクリックデータは、ページの各位置でクエリ対象のＣＴＲを取得するための統計のために使用される。

例えば、現実の適用シナリオにおいてクエリ対象について多くの位置があり得る。それ故、各クエリ対象について事前設定した期間内に取得されたクリックデータに関して、クリックデータは、異なる位置でクエリ対象のクリックを含み得る。例えば、クエリ対象は、第１の位置で１００回表示され５回クリックされ得、第３の位置で５０回表示され３回クリックされ得る。

従って、フィルタリングされたクリックデータは、ページにおける各位置でのクエリ対象のＣＴＲを取得するための統計のために使用される。上記例では、クエリ対象は、ページにおける第１の位置で０．０５のＣＴＲと、第３の位置で０．０６のＣＴＲと、を有する。

２０８で、各位置の事前設定した重みに従って、各位置でのＣＴＲは、対応する後のＣＴＲを取得するために重み付けられる。

クエリ対象は、ページにおける異なる位置に表示され得、それは、クエリ対象のＣＴＲに影響を及ぼし得る。例えば、第１の位置に表示されたクエリ対象は、一般に、ユーザによって最も容易に見られ、ユーザによって最も容易にクリックされる。その結果、本技法は、各位置についてそれぞれの重みを事前設定し得、クエリ対象の後のＣＴＲを取得するために各位置で上記取得されたＣＴＲおよび各位置についてのそれぞれの重みを使用することによって重み付け演算を行い得る。

例えば、各位置についての重みは、第１の位置について重みを正規化することによって決定され得る。例えば、第１の位置についての重みは１であり、第２の位置についての重みは１．５であり、第３の位置についての重みは２である、などである。従って、上記例では、クエリ対象の後のＣＴＲは０．０５×１＋０．０６×２＝０．１７である。

第２のステップで、クエリおよびクエリ対象のそれぞれの特性値が取得される。

例えば、クエリおよびクエリ対象の特性値

が抽出され得る。

第３のステップで、各特性の重みは、後のＣＴＲおよびそれらのそれぞれの特性値に基づいて計算される。

後のＣＴＲおよび特性値に基づいて、各特性の重みは取得される。例えば、各特性の重みは、以下のような最小二乗法によって計算され得る。

数式において、ｎは訓練サンプルの数を表し、ｍは特性の数を表し、Ｃはペナルティ項の係数を表し、ペナルティ項は、モデルの尺度を定義するために使用され、ｅｃｔｒは、各訓練サンプルの後のＣＴＲを表し、それは、履歴曝露クリックデータの統計によって取得され、ｅｃｔｒ＝クリック回数／曝露回数である。

数式において、サンプルはｉとラベル付けられ、特性はｊとラベル付けられ、ω_ｊは、ｊ番目の特性の重みであり、ｘ_ｊは、ｊ番目の特性の値である。

本技法は、事前設定した期間内のクリックデータを取得し、クリックデータをフィルタリングし、次いで、統計によって後のＣＴＲを取得する。各特性の重みは、次いで、後のＣＴＲおよび各特性の特性値に基づいて計算される。従って、本技法は、クリックデータに基づいて重みを更新する。検索するとき、ユーザは、同じクエリについて異なる検索時間を有し得、それ故、異なる対応する検索結果を有し得る。

クエリおよびクエリ対象の特性がそれぞれ抽出された後、本技法はまた、以下の動作を含み得る。

クエリを入力するユーザに関して、ユーザの１つ以上の挙動特性が抽出される。ユーザの挙動特性は、以下の少なくとも１つを含み得る。

（１）ある期間内のユーザのクリックデータ
すなわち、ユーザの履歴ＣＴＲが取得される。ＣＴＲは、ユーザの履歴データから直接的に計算される。

例えば、広告のＣＴＲに適用されるとき、この特性は、買い手が広告をクリックすることを好むかどうかを測定し得る。それ故、広告をクリックすることを好む買い手に関して、いくつかのより多くの広告が、ユーザの要求をかなえるために表示され得る。しかしながら、広告をクリックすることを嫌う買い手に関して、広告は、ユーザの検索経験を改善するために出来る限り少なく表示され得る。

（２）期間内のユーザのカテゴリデータ
カテゴリデータは、クリックされたカテゴリデータおよび／または検索されたカテゴリデータを含み得る。例えば、ユーザのカテゴリデータを取り出すために２つのアプローチがあり得る。

１.ユーザによって検索されたカテゴリデータ
期間内にユーザによって検索された１つ以上のクエリは、統計による検索ログなどのログから取得される。クエリは、ユーザの検索のカテゴリ分布を取得するためにカテゴリにマップ化される。トップのｎ個のカテゴリは、ユーザの検索されたカテゴリデータの特性として使用され得、ｎは、任意の正の整数であり得る。

２.ユーザによってクリックされたカテゴリデータ
期間内にユーザによってクリックされた１つ以上のクエリ対象は、統計によるログから取得される。例えば、企業の一次ビジネスカテゴリの分布は、クエリ対象の例として、ユーザによってクリックされたカテゴリ分布を取得するために取得され得る。トップのｍ個のカテゴリは、ユーザのクリックされたカテゴリデータの特性として使用され得、ｍは、任意の正の整数であり得る。

ユーザによって検索されたカテゴリデータおよびユーザによってクリックされたカテゴリデータは、ユーザのカテゴリデータを取得するために組み合わされ得る。例えば、ユーザによって検索されたカテゴリデータおよびユーザによってクリックされたカテゴリデータからの冗長データは、除去され得る。

（３）期間内のユーザの地理データ
ユーザの地理データを取り出すために２つのアプローチがあり得る。

１.クリックされた地理範囲
期間内にユーザによってクリックされたクエリ対象の地理分布は、ログからの統計によって取得される。地理範囲は、それらの発生頻度に基づいて順位付けられ、トップのｐ個の地理範囲が、買い手によって好まれた範囲として使用される。

２.位置する地理範囲
例えば、ログ内に記録されたＩＰアドレスが取得され、ＩＰアドレスは特定の範囲にマップ化される。それ故、ユーザが位置する都市や州などの地理データが取得される。

上述のように、クエリおよびクエリ対象の相関特性が抽出され得る。それ故、例えば、クエリ、クエリ対象、およびユーザの相関特性が、抽出され得る。

相関特性は、ユーザが位置する地理範囲がクエリ対象に一致するかどうか、ユーザのカテゴリデータがクエリ対象のカテゴリに一致するかどうかなどを含み得る。

本技法は、クエリおよびクエリ対象の特性のみならず、ユーザの特性もまた抽出する。重み計算およびＣＴＲ予測は、多次元的特性を抽出することによってより正確に行われ、それによって、より合理的な予測モデルを確立し、より合理的な誘導をユーザに提供し、挙動の不正行為によってもたらされる不利点を削減する。その一方で、同じクエリについてでさえ異なるユーザについて異なる検索結果があり得、それによって、ユーザの個々のニーズをかなえる。

図３は、本開示に従うＣＴＲに基づく別の検索順位付け方法例のフローチャートを示す。

３０２で、ユーザによって入力されたクエリが取得される。３０４で、１つ以上の対応する特性が抽出される。特性は、クエリの特性、クエリ対象の特性、ユーザの特性などを含み得る。３０６で、ＣＴＲは、重みに基づいて予測され、順位付けられる。３０８で、検索結果ページがユーザに表示される。３１０で、ユーザフィードバックが取得され、クリックデータが統計のために取得される。３１２で、重みがクリックデータに基づいて決定され、それは、その後、ＣＴＲを予測するために３０６における演算に代入される。

図４は、本開示に従うＣＴＲに基づく検索順位付け装置例４００の図を示す。

ＣＴＲに基づく装置４００は、１つ以上の（複数の）プロセッサ４０２およびメモリ４０４を含み得る。メモリ４０４は、コンピュータで読み取り可能な媒体の例である。本明細書において使用される際、「コンピュータで読み取り可能な媒体」は、コンピュータ記憶媒体および通信媒体を含む。

コンピュータ記憶媒体は、コンピュータで実行可能な命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法あるいは技術に実装される、揮発性や不揮発性の、取り外し可能および取り外し不可能な媒体を含む。対照的に、通信媒体は、コンピュータで読み取り可能な命令、データ構造、プログラムモジュール、または搬送波などの変調データ信号における他のデータを具体化し得る。本明細書において定義されるように、コンピュータ記憶媒体は、通信媒体を含まない。メモリ４０４は、その中にプログラム単位またはモジュールおよびプログラムデータを記憶し得る。

図４の例では、メモリ４０４は、その中に重み決定モジュール４０６、取得および抽出モジュール４０８、ＣＴＲ予測モジュール４１０、ならびに順位付けおよび表示モジュール４１２を記憶し得る。

重み決定モジュール４０６は、検索順位付けの前に、事前設定した期間内にユーザのクリックデータを取得し、クリックデータに基づいて各特性のそれぞれの重みを決定する。

検索順位付けは、以下のモジュールおよび動作によって行われ得る。

取得および抽出モジュール４０８は、クエリおよびクエリに一致する１つ以上のクエリ対象を取得し、各クエリおよびクエリ対象のそれぞれの特性を抽出する。

ＣＴＲ予測モジュール４１０は、各クエリ対象に関して、クエリおよびクエリ対象の特性ならびに各特性に対応するそれぞれの重みに基づいて、回帰モデルなどの１つ以上のモデルに基づいてそれぞれのＣＴＲを取得する。

順位付けおよび表示モジュール４１２は、各クエリ対象のそれぞれのＣＴＲに基づいてクエリ対象を順位付け、順位付けられたクエリ対象をユーザに表示する。

例えば、重み決定モジュール４０６はまた、それぞれ、クエリおよびクエリ対象の特性を特性値に定量化し得る。

例えば、ＣＴＲ予測モジュール４１０はまた、取得サブモジュール、重み付けサブモジュール、および予測サブモジュールを含み得る。取得サブモジュールは、各特性に対応する重みを取得する。重み付けサブモジュールは、各クエリ対象について重み付け結果を取得するために特性値および重みに基づいて重み付け演算を行う。予測サブモジュールは、重み付け結果を回帰モデルに代入し、クエリ対象のＣＴＲを予測する。

例えば、重み決定モジュール４０６はまた、第１の取得サブモジュール、第２の取得サブモジュール、および重み付け計算サブモジュールを含み得る。第１の取得サブモジュールは、事前設定した期間内のユーザのクリックデータを取得し、クリックデータに基づいて後のＣＴＲを計算する。

第２の取得サブモジュールは、クエリおよびクエリ対象の特性値を取得する。重み付け計算サブモジュールは、後のＣＴＲおよび特性値に基づいて各特性の重みを計算する。

例えば、第１の取得サブモジュールは、フィルタリング部、統計部、および後のＣＴＲ決定部を更に含み得る。フィルタリング部は、フィルタリングされたクリックデータを取得するためにクリックデータから異常データをフィルタリングする。統計部は、ページの各位置でクエリ対象のＣＴＲを取得するためにフィルタリングされたクリックデータの統計を取る。後のＣＴＲ決定部は、対応する後のＣＴＲを取得するために各位置の事前設定した重みに基づいて各位置でＣＴＲの重み付け演算を行う。

例えば、装置４００は、挙動特性抽出モジュールおよび相関特性抽出モジュールを更に含み得る。挙動特性抽出モジュールは、クエリを入力するユーザの１つ以上の挙動特性を抽出する。ユーザの挙動特性は、以下の、ある期間内のユーザのクリックデータおよびその期間内のユーザのカテゴリデータの少なくとも１つを含み得る。カテゴリデータは、期間内のクリックされたカテゴリデータ、検索されたカテゴリデータ、および／またはユーザの地理データを含み得る。

相関特性抽出モジュールは、クエリ、クエリ対象、およびユーザの相関特性を抽出する。例えば、クエリ対象は、製品、企業、産業などを含み得る。

装置例の実施形態における本技法は、方法例の実施形態におけるものに類似し、それ故、簡潔に記載される。装置例の実施形態における関連部分は、方法例の実施形態における対応する部分に参照され得る。

本開示の様々な実施形態は、様々な実施形態間の同じまたは類似の部分が互いに参照され得るように、漸進的なやり方で記載され、実施形態のそれぞれは、他の実施形態からの差異に焦点を合わせる。

本開示は、コンピュータで実行可能な命令、例えば、１つ以上のプロセッサを含むコンピュータによって実行される、プログラムモジュールとの一般的な関連において記載され得る。一般に、プログラムモジュールは、特定のタスクを実行するか特定の抽象データ種類を実現化するルーチン、プログラム、オブジェクト、アセンブリ、データ構造および同様のものを含む。本開示はまた、分散型のコンピューティング環境において実装され得る。分散型のコンピューティング環境において、タスクは、通信ネットワーク経由で接続された１つ以上の遠隔処理デバイスによって実行される。分散型のコンピューティング環境において、プログラムモジュールは、記憶デバイスを含むローカルおよび遠隔のコンピュータ記憶媒体に記憶され得る。

当業者は、本開示の実施形態が、方法、システム、またはコンピュータのプログラミング製品であり得ることを理解するべきである。従って、本開示は、ハードウェア、ソフトウェアによって、または両方を組み合わせて、実装され得る。加えて、本開示は、コンピュータで実行可能なコードを含有する１つ以上のコンピュータプログラムの形態にあり得、それは、（限定されるものではないが、ディスク、ＣＤ−ＲＯＭ、光ディスクなどを含む）コンピュータで実行可能な記憶媒体に実装され得る。

本開示は、本開示の実施形態の方法、デバイス（システム）およびコンピュータプログラムのフローチャートならびに／あるいはブロック図を参照することによって記載される。フローチャートならびに／あるいはブロック図の各フローおよび／またはブロックとフローおよび／またはブロックの組み合わせは、コンピュータプログラム命令によって実装され得ることが理解されるべきである。これらのコンピュータプログラム命令は、フローチャートの１つ以上のフローおよび／またはブロック図の１つ以上のブロックを実装するデバイスが、コンピュータまたは他のプログラム可能なデータプロセッサによって操作される命令を通して生成され得るように、マシンを生成するために、汎用コンピュータ、特殊コンピュータ、埋め込み型プロセッサまたは他のプログラム可能なデータプロセッサに提供され得る。

この文書における「第１の」および「第２の」などの任意の相関的な用語は、１つの実体を別の実体からまたは１つの動作を別の動作から区別することだけを意味するが、これらの実体もしくは動作間の任意の現実世界の関係または順序の存在を必ずしも要求するか暗示するものではないことに留意する。その上、「含む」、「有する」または任意の他の変形などの用語は、非排他的に「備える」ことを意味することが意図される。従って、特徴の集合を個々に含む工程、方法、物品またはデバイスは、それらの特徴のみを含み得るのではなく、リスト化されていない他の特徴、あるいはこれらの工程、方法、物品またはデバイスの任意の固有の特徴もまた含み得る。任意の更なる限定無しに、文言「（１つの）〜を含む」において定義される特徴は、その特徴を規定する工程、方法、物品またはデバイスが他の等価の特徴を有し得る可能性を排除しない。

実施形態例の上記は、ＣＴＲに基づく検索順位付け方法および装置の例を例示する。実施形態例は、本開示に従って原理およびそれらの実施態様を例示する。実施形態は、本開示の方法および核心の概念を単に例示するためのものであり、本開示の範囲を限定することを意図されない。一定の修正、置き換え、および改善が、行われ得、本開示の原理から逸脱すること無く、本開示の保護の下で考えられるべきであることは、当業者によって理解されるべきである。本明細書における記載は、本開示を制限するものと理解されないものとする。

Claims (19)

1. 事前設定した期間内にユーザのクリックデータを取得することと、前記クリックデータに基づいてそれぞれの特性のそれぞれの重みを決定することと、
   クエリおよび前記クエリに一致する１つ以上のクエリ対象を取得することと、
   前記クエリおよび前記１つ以上のクエリ対象のそれぞれのクエリ対象から１つ以上の特性を抽出することと、
   前記それぞれのクエリ対象に関して、前記クエリおよび前記それぞれのクエリ対象の前記１つ以上の特性ならびに前記それぞれの特性に対応する前記それぞれの重みに基づいて、前記それぞれのクエリ対象のクリックスルー率（ＣＴＲ）を計算することと、を含む、方法。
2. 前記クエリ対象のそれぞれのＣＴＲに基づいて前記１つ以上のクエリ対象を順位付けることを更に含む、請求項１に記載の方法。
3. 前記順位付けられた１つ以上のクエリ対象を前記ユーザに表示することを更に含む、請求項２に記載の方法。
4. 前記それぞれのクエリ対象の前記ＣＴＲを前記計算することは、前記ＣＴＲを予測するための回帰モデルを使用することを含む、請求項１に記載の方法。
5. 前記クエリおよび前記それぞれのクエリ対象から前記特性を抽出した後に、前記それぞれの特性をそれぞれの特性値に定量化することを更に含む、請求項１に記載の方法。
6. 前記それぞれのクエリ対象の前記ＣＴＲを前記計算することは、
   前記それぞれの特性の前記それぞれの重みを取得することと、
   前記それぞれのクエリ対象に関して、重み付け結果を取得するために前記それぞれの特性値および前記それぞれの特性の前記それぞれの重みに基づいて重み付け演算を行うことと、
   前記それぞれのクエリ対象の前記ＣＴＲを予測するために前記重み付け結果を回帰モデルに代入することと、を含む、請求項５に記載の方法。
7. 前記事前設定した期間内に前記ユーザの前記クリックデータを取得することと、前記クリックデータに基づいて前記それぞれの特性の前記それぞれの重みを決定することとは、
   前記事前設定した期間内に前記ユーザの前記クリックデータを取得することと、
   前記クリックデータに基づいて後のＣＴＲを計算することと、
   前記クエリおよび前記クエリ対象の特性値を取得することと、
   前記後のＣＴＲおよび前記特性値に基づいて、前記それぞれの特性の前記それぞれの重みを計算することと、を含む、請求項６に記載の方法。
8. 前記事前設定した期間内に前記ユーザの前記クリックデータを取得した後および前記クリックデータに基づいて前記後のＣＴＲを計算する前に、フィルタリングされたクリックデータを取得するために前記クリックデータから異常データをフィルタリングすることを更に含む、請求項７に記載の方法。
9. 前記クリックデータに基づいて前記後のＣＴＲを前記計算することは、
   ページにおける各位置で前記クエリ対象のＣＴＲを取得するために前記フィルタリングされたクリックデータの統計を取ることと、
   それぞれの位置の事前設定した重みに従って、前記対応する後のＣＴＲを取得するために各位置で前記ＣＴＲの重み付け演算を行うことと、を含む、請求項８に記載の方法。
10. 前記クエリを入力する前記ユーザに関して、前記ユーザの１つ以上の挙動特性を抽出することを更に含む、請求項１に記載の方法。
11. 前記ユーザの前記１つ以上の挙動特性は、以下の、
    前記事前設定した期間内の前記ユーザのクリックデータ、
    前記事前設定した期間内の前記ユーザのカテゴリデータ、および
    前記事前設定した期間内の前記ユーザの地理データの少なくとも１つを含む、請求項１０に記載の方法。
12. 前記カテゴリデータは、前記事前設定した期間内に前記ユーザによって検索されたカテゴリデータを含む、請求項１１に記載の方法。
13. 前記カテゴリデータは、前記事前設定した期間内に前記ユーザによってクリックされたカテゴリデータを含む、請求項１１に記載の方法。
14. 前記ユーザの特性が、前記クエリまたは前記それぞれのクエリ対象の特性に一致することを決定するために、前記クエリ、前記それぞれのクエリ対象、および前記ユーザの１つ以上の相関特性を抽出することを更に含む、請求項１に記載の方法。
15. 前記クエリ、前記クエリ対象、および前記ユーザの前記１つ以上の相関特性を抽出することは、
    前記ユーザが位置する地理範囲または前記ユーザの好ましい地理範囲を決定することと、
    前記ユーザが位置する前記地理範囲または前記ユーザの前記好ましい地理範囲が、前記クエリ対象に一致するかどうかを決定することと、を含む、請求項１４に記載の方法。
16. 前記それぞれのクエリ対象は、製品、企業、または産業を含む、請求項１に記載の方法。
17. 事前設定した期間内にユーザのクリックデータを取得することと、
    前記クリックデータに基づいて後のクリックスルー率（ＣＴＲ）を計算することであって、
    フィルタリングされたクリックデータを取得するために前記クリックデータから異常データをフィルタリングすることと、
    ページのそれぞれの位置でクエリ対象のそれぞれのＣＴＲを取得するために、前記フィルタリングされたデータの統計を取ることと、
    前記後のＣＴＲを取得するために、前記それぞれの位置のそれぞれの事前設定した重みおよび前記それぞれの位置における前記クエリ対象の前記それぞれのＣＴＲに基づいて重み付け演算を行うことと、を含む、計算することと、
    クエリおよび前記クエリ対象の特性値を取得することと、
    前記後のＣＴＲおよび前記特性値に基づいてそれぞれの特性の重みを計算することと、を含む、方法。
18. 前記後のＣＴＲおよび前記特性値に基づいて前記それぞれの特性の前記重みを前記計算することは、最小二乗法を使用することを含む、請求項１７に記載の方法。
19. 事前設定した期間内にユーザのクリックデータを取得し、前記クリックデータに基づいて各特性のそれぞれの重みを決定する、重み決定モジュールと、
    クエリおよび前記クエリに一致する１つ以上のクエリ対象を取得し、各前記クエリおよび前記クエリ対象のそれぞれの特性を抽出する、取得および抽出モジュールと、
    各クエリ対象に関して、前記クエリおよび前記クエリ対象の前記特性ならびに各特性に対応する前記それぞれの重みに基づいて、回帰モデルを含む１つ以上のモデルに基づいてそれぞれのＣＴＲを取得するクリックスルー率（ＣＴＲ）予測モジュールと、
    各クエリ対象の前記それぞれのＣＴＲに基づいて前記クエリ対象を順位付け、前記順位付けられたクエリ対象を前記ユーザに表示する、順位付けおよび表示モジュールと、を備える、装置。