JP5638031B2 - 格付け方法、検索結果分類方法、格付けシステム及び検索結果分類システム - Google Patents

Description

関連出願

本出願は、米国特許法第１１９条（ｅ）項に基づき、２００５年３月１８日に出願された係属中の米国仮特許出願番号第６０／６６３，３６１号、発明の名称「ユーザからのフィードバックを適用して検索結果を向上させる検索エンジン（Search Engine that Applies Feedback from Users to Improve Search Results）」の優先権を主張する。この文献は、引用によって本願に援用される。

本発明は、インターネット検索を行う検索アプリケーションに関し、詳しくは、検索アプリケーションを使用するユーザからのフィードバックをインターネット検索を行う検索アプリケーションに適用して検索結果の質を高める技術に関する。

インターネット検索エンジンは、インターネットに含まれている膨大な情報から、所望の情報を見つけるように設計されている。ユーザは、自らが探している検索タームを含むクエリを入力することによって、情報を記述する。検索エンジンは、ユーザが探している情報に関連する可能性が高いウェブページを識別する目的で、様々な関連性に関する演算を用いて、ウェブページのインデックスに対して検索タームを照合する。そして、検索エンジンは、これらのウェブページへのハイパーリンクの格付けされたリストを返し、このリストでは、関連性が高いと判定されたリンクが上位に格付けされている。

検索エンジンの目的は、所定のクエリに最も関連性が高いウェブページを供給することである。初期の検索エンジンは、各ページ内に含まれている情報、例えば、ドキュメント内における検索タームの存在、密度、類義語を用いて、ウェブページの関連性を判定していた。より高度な検索エンジンは、関連性を判定する際、ウェブページ間のリンクに関する情報を考慮している。

インターネットのウェブページの数は膨大であり、増加し続けており、多くの場合、ユーザのクエリを表面上満足させるウェブページが多数あるので、どのウェブページが関連性が高いかを判定する処理は非常に難しい。同じ又は類似するタームが多くの異なる概念を参照することもある。殆どのユーザは、高度に定義されたクエリを作成して、入力することに慣れていないので、ユーザが探している情報の種類は、曖昧となることも多い。

また、検索エンジンによって返される結果を操作することもできる。ウェブサイトのオペレータは、検索エンジンに、彼らのウェブページを結果リストの上位に表示するリンクを返させる目的で、コンテンツ、メタデータ、又は他のウェブサイトから自らのウェブサイトへのハイパーリンクを追加することができる。この結果、ユーザが探している情報を含まない幾つかのウェブページが、結果リストにおいて高く格付けされ、したがって、検索結果の総合的な精度が低下することがある。この手法は、多くの場合、検索エンジン最適化（Search Engine Optimization：ＳＥＯ）と呼ばれる。検索エンジンは、ＳＥＯに拘わらず、関連性を競合がないレベルに維持するためだけに、常に努力をし続けなくてはならない。検索エンジンは、どのウェブページがユーザのクエリを満たすか、又は満たさないかを判定し、同じ又は異なるユーザによる後のクエリに対して、より関連性が高い結果を提供するために、ユーザからフィードバックを直接収集することが望ましい。

検索エンジンのオペレータは、時間の経過に伴い、検索エンジンの精度を維持又は高めるために、関連性を判定するために用いられる方法及びこれらの方法に適用される重みを調整する。通常、この処理は、例えば、異なるクエリに対して検索エンジンが提供した結果に対するユーザのスコアを検査するような実験を含む。そして、どのような方法を用いるか及びどのような重みを適用するかを決定するために、スコアを集め、分析することができる。しかしながら、この処理は、時間が掛かり、不正確であり、普遍的ではなく、柔軟性に欠ける。検索エンジンの精度を向上させるためには、実際のユーザから直接入力された情報を用いるフィードバックメカニズムを用いて、検索関連性方法及び重みを調整することが望ましい。

更に、検索タームへの理解がユーザにより異なり、ユーザの嗜好及び関心が異なり、又は検索の「モード」が異なるために、複数のユーザがクエリを入力する場合、各ユーザの意図が異なる場合もある。例えば、３人の異なるユーザがクエリ「ｉＰｏｄ（商標）」を入力した場合、第１のユーザは、ｉＰｏｄの購買を意図し、第２のユーザは、ｉＰｏｄに関するニュースの検索を意図し、第３のユーザは、ｉＰｏｄに関する情報又はレビューを検索することを意図していることがある。ユーザは、検索を行うとき、自らの興味及び目的に関してある種の指示を与えることもできる。したがって、どの結果がユーザクエリに関連性が高いかを判定するとき、異なる検索モード及びユーザの興味の違いを考慮できる検索エンジンの開発が望まれる。

本発明は、検索クエリに対するドキュメントの関連性を予測し、検索を実行するユーザに対して、より関連性が高い結果を返す方法及びシステムを提供する。好ましい実施の形態では、本発明に基づく格付け方法は、検索クエリに対する複数のドキュメントの関連性を予測する式を用いて、それぞれの関連性に基づいてドキュメントを格付けし、検索クエリに応じて格付けされたリストをユーザに返す。好ましくは、ユーザ入力を用いて、式のパラメータを調整し、返されるドキュメントが検索クエリに関連している可能性を高める。

本発明の第１の実施の形態においては、コンピュータで実行され、検索クエリに応じた結果リスト内のドキュメントを格付けする格付け方法は、検索クエリに応じて返されるドキュメントの結果リストを提示するステップと、検索エンジンによって、ドキュメントの結果リスト内のドキュメントのユーザに対する関連性を示すユーザからの入力を受信するステップと、ドキュメントのユーザに対する関連性を示すユーザからの前の入力の重さを変更するステップと、検索エンジンによって、結果リスト内のドキュメントのユーザに対する関連性を示すユーザ入力を、検索クエリ及び上記ドキュメントに関連させるステップと、機械学習サーバによって、上記ユーザ入力を上記クエリ、上記ドキュメント、及び上記ユーザに関連させるクエリ-ドキュメント特徴ベクトルとして、上記ユーザ入力を保存するステップと、機械学習サーバによって、クエリ-ドキュメント特徴ベクトルから、変数とパラメータとを有し、ドキュメントと検索クエリの関連性スコアを計算する関連式を決定するステップと、検索エンジンによって、関連性スコアに基づいてドキュメントを格付けするステップと、格付けされたドキュメントの結果リストを表示するステップとを有する。そして、変数は複数の特徴を含み、複数の特徴のうちの１つの特徴は、ドキュメント内のタームと、ドキュメント内のタームを含むハイパーリンクと、ドキュメントの抜粋内のタームとのうちの１つを含み、パラメータは、複数の特徴の各々に対応する複数の重み係数を含み、関連性スコアは、ドキュメント及び検索クエリに関連したユーザ入力に依存する。格付け方法において、好ましくは、結果リストは、上記関連性スコアに基づいて格付けされたドキュメントへのリンクを含む結果リストは、関連性スコアに基づいて格付けされた結果リスト内のドキュメントへのリンクを含む。

他の実施の形態においては、関連式を決定するステップは、機械学習サーバによって、パラメータをユーザ入力に基づいて調整するステップを有する。複数の特徴のうちの少なくとも１つは、ドキュメントにおけるタームの出現頻度と、ドキュメントのリンクテキストにおけるタームの出現頻度と、ドキュメントの抜粋（abstract）におけるタームの出現度数と、ドキュメントの要約（summary）におけるタームの出現度数と、ドキュメントのアンカテキストにおけるタームの出現度数と、ドキュメントにおけるタームの位置と、ドキュメントの構成と、ドキュメントの長さと、ドキュメントの種類と、ドキュメントの作成の日時と、ドキュメントへのリンクと、検索結果リスト内のドキュメントの位置と、検索結果リストからドキュメントがアクセスされた回数と、タームスコアと、セクション情報と、リンク構造とからなるグループから選択される。これに代えて又はこれに加えて、複数の特徴のうちの少なくとも１つは、ユーザ表現と、ユーザ入力の時刻と、ドキュメントのユーザブロッキングと、ドキュメントのユーザ識別子と、ドキュメントのユーザ保存と、ドキュメントのユーザブックマーキングと、ドキュメントのユーザタグ付けと、ドキュメントのユーザ格付けとからなるグループから選択される。

一実施の形態においては、関連式は、ユーザモデル及びグループモデルに対応する。ユーザモデルは、ドキュメントとユーザの検索クエリとの関連性スコアを決定するためのものである。グループモデルは、ドキュメントとユーザのグループの検索クエリとの関連性スコアを決定するためのものである。格付け方法は、更に、機械学習サーバによって、ユーザモデルをグループモデルと比較して、ドキュメントに対するバイアスを判定するステップと、ユーザモデルに反映された上記ドキュメントに対するバイアスが、上記グループモデルに反映された上記ドキュメントに対するバイアスと相違する場合、ユーザモデルの重みを減らすステップとを有する。

パラメータは、好ましくは、機械学習技術を用いて決定される。一実施の形態において、機械学習技術は、統計的分類の形式、例えばロジスティック回帰分析と、サポートベクトルマシンと、ニューラルネットワークと、ブーステッド決定木（boosted trees）と、ランダムフォレスト（random forests）と、単純ベイズ（naive Bayes）と、グラフィックモデルとのうちの１つである。他の実施の形態においては、機械学習技術は、共役勾配降下法（conjugate gradient descent）を用いる。

一実施の形態においては、関連性スコアは、検索エンジンサイトに登録されたユーザのためのものであり、ドキュメントと検索エンジンサイトに登録されていないユーザの検索クエリとの関連性スコアを決定するために使用される。

本発明の第２の側面である、検索クエリに応じて返された検索結果リストを分離する検索結果分類方法は、（ａ）ユーザクライアントによって、検索クエリに応じた検索結果リストをユーザに提示するステップと、（ｂ）ウェブサーバによって、検索結果リスト内の複数の結果のそれぞれのユーザに対する関連性であるユーザからの入力を、受信して保存するとともに、複数の結果のそれぞれに関連したユーザによる前の入力と、検索結果リスト内の複数の結果のそれぞれのユーザに対する関連性に関する検索クエリとを廃棄するステップと、ウェブサーバによって、ユーザ入力をその結果及びドキュメントに関連させるステップと、（ｄ）ウェブサーバによって、複数の特徴からなる変数と、複数の特徴のそれぞれに対応した複数の重み係数からなるパラメータとを含み、複数の結果毎の関連性スコアを決定する関連式を、複数の結果毎のユーザ入力を用いて更新するステップと、（ｅ）ウェブサーバによって、複数の結果を含む検索結果リストを並び替えるステップとを有する。複数の結果は、複数の結果毎の関連性スコアを用いて格付けされる。一実施の形態においては、関連式を更新するステップは、上記パラメータ、及びタグと、ドキュメントにおけるタームの出現頻度と、ドキュメントのリンクテキストにおけるタームの出現頻度と、ドキュメントの抜粋におけるタームの出現度数と、ドキュメントの要約におけるタームの出現度数と、ドキュメントのアンカテキストにおけるタームの出現度数と、ドキュメントの要約情報におけるタームの出現度数と、ドキュメントにおけるタームの位置と、ドキュメントの構成と、ドキュメントの長さと、ドキュメントの種類と、ドキュメントの作成の日時と、ドキュメントへのリンクと、検索結果リスト内のドキュメントの位置と、検索結果リストからドキュメントがアクセスされた回数と、タームスコアと、リンク構造と、ユーザ表現と、ユーザ入力の時刻と、ドキュメントのユーザブロッキングと、ドキュメントのユーザ識別子と、ドキュメントのユーザ保存と、ドキュメントのユーザブックマーキングと、ドキュメントのユーザタグ付けと、ドキュメントのユーザ格付けとからなるグループから選択される少なくとも２つを含む複数の特徴を、更新するステップを含む。ウェブサーバによって、パラメータは、複数の結果毎のユーザ入力を用いて更新される。ユーザ入力は、ドキュメントのタグ付けと、ドキュメントの関連性の格付けと、ドキュメントのブロッキングとのうちの１つである。

関連式は、例えば、統計的分類の形式を含む機械学習技術を用いて導出される。好ましくは、統計的分類は、ロジスティック回帰分析、サポートベクトルマシン、ニューラルネットワーク、ブーステッド決定木、ランダムフォレスト、単純ベイズ又はグラフィックモデルである。他の実施の形態においては、機械学習技術は、共役勾配降下法を用いる。

一実施の形態においては、式は、第１の結果リストにおけるドキュメントのランクと、第２の結果リストにおけるドキュメントのランクとを用いて決定される。パラメータは、統計的分類の形式を含む機械学習技術を用いて決定される。他の実施の形態においては、統計的分類は、ロジスティック回帰分析、サポートベクトルマシン、ニューラルネットワーク、ブーステッド決定木、ランダムフォレスト、単純ベイズ又はグラフィックモデルである。

本発明の第４の側面である格付けシステムは、検索クエリに応じて返されるドキュメントの結果リストで返されるドキュメントを格付けする格付けシステムである。検索クエリに応じて返されるドキュメントの結果リストを表示する表示装置と、ドキュメントの結果リストで返されるドキュメントのユーザに対する関連性を示すユーザからの入力を受信する入力装置と、ドキュメントのユーザに対する関連性を示すユーザ入力を保存する記憶媒体と、プロセッサ実行命令がプログラムされたメモリに接続されたプロセッサとを備える。そして、プロセッサは、ユーザに対するドキュメントの関連性を示すユーザからの前の入力の重さを変更し、ユーザに対するドキュメントの関連性を示すユーザ入力を、検索クエリ及びドキュメントに関連させ、ユーザ入力を検索クエリ、ドキュメント、及びユーザに関連さけるクエリ-ドキュメント特徴ベクトルとして、ユーザ入力を保存し、クエリ-ドキュメント特徴ベクトルから、変数とパラメータとを有し、ドキュエントと検索クエリの関連性スコアを計算する関連性モデルを決定し、関連性スコアに基づいてドキュメントを格付けし、変数は複数の特徴を有し、パラメータは、特徴の各々に対応する複数の重み係数を含み、複数の特徴のうちの１つの特徴は、ドキュメントの１つにおけるタームの出現頻度と、ドキュメントのリンクテキストと、ドキュメントの抜粋と、ドキュメントの要約と、ドキュメントのアンカテキストとのうちの１つからなり、関連性スコアは、ドキュメント及び検索クエリに関連したユーザ入力に依存し、表示装置は、ドキュメントの格付けされた結果リストをユーザに表示する。

一実施の形態においては、格付けシステムは、第１のデータベースに接続された検索エンジンを備える。検索エンジンは、検索クエリを受信し、複数の結果を、各結果の関連性スコアに基づいて格付けし、格付けされた複数の結果を含む検索結果リストを返す。好ましくは、関連性モデルは、複数の特徴からなる変数と、複数の重み係数からなるパラメータとを含み、ユーザ入力を用いて更新される。他の実施の形態においては、関連性モデルは、統計的分類の形式を含む機械学習技術を用いる。他の実施の形態においては、統計的分類は、ロジスティック回帰分析、サポートベクトルマシン、ニューラルネットワーク、ブーステッド決定木、ランダムフォレスト、単純ベイズ又はグラフィックモデルである。他の実施の形態においては、機械学習技術は、共役勾配降下法を用いる。

一実施の形態においては、関連性モデルは、特定のユーザの検索クエリとドキュメントとの関連性スコアを決定するユーザ固有のパラメータのセットを決定する。他の実施の形態においては、関連性モデルは、ユーザのグループの検索クエリとドキュメントとの関連性スコアを決定するグループモデルのパラメータを決定する。

一実施の形態においては、格付けシステムは、関連性モデルを更新する１つ以上の特徴を保存する第２のデータベースを更に備える。特徴は、タグと、ドキュメントにおける内のタームの出現言頻度と、ドキュメントのリンクテキストにおけるタームの出現頻度と、ドキュメントの抜粋におけるタームの出現度数と、ドキュメントの要約におけるタームの出現度数と、ドキュメントのアンカテキストにおけるタームの出現度数と、ドキュメントの要約情報におけるタームの出現度数と、ドキュメントの構成と、ドキュメントの長さと、ドキュメントの種類と、ドキュメントへのリンクと、検索結果リスト内のドキュメントの位置と、検索結果リストからドキュメントがアクセスされた回数と、タームスコアと、リンク構造と、ユーザ表現と、ユーザ入力の時刻と、ドキュメントのユーザブロッキングと、ドキュメントのユーザ識別子と、ドキュメントのユーザタグ付けと、ドキュメントのユーザ格付けとからなるグループから選択される。

本発明の第５の側面である検索結果分類システムは、検索クエリに応じて返された検索結果リスト内の複数の結果を分類（organizing）する検索結果分類システムにおいて、検索エンジンに接続された関連性モデルと、検索エンジン及び関連性モデルに接続されたデータベースとを備える。関連性モデルは、複数の結果におけるドキュメントのユーザに対する関連性を示す、ユーザによるユーザ入力を用いて、ドキュメントと検索クエリとの関連性スコアを決定する。検索エンジンは、関連性モデルに接続され、検索クエリを受信し、ドキュメントと検索クエリとの関連性スコアに基づいて格付けされた結果を含む検索結果リストを返す。データベースは、ドキュメントと検索クエリとの関連性スコアを決定する関連性モデルによって用いられる特徴のセットを保存する。ユーザ入力は、保存されるとともに、ドキュメント及び検索クエリに関連され、ドキュメント及び検索クエリに関連したユーザによる前の入力は、廃棄される。

検索結果分類システムは、好ましくは、データベースに接続されたウェブサーバと、関連性モデルと検索エンジンの両方に接続されたドキュメントインデックス付与器とを更に備える。

本発明の実施の形態は、従来の検索エンジンとは異なり、ユーザフィードバックを用いて、インターネットを検索するユーザに、より関連性が高い情報を提供する。例えば、本発明では、検索を実行する第１のユーザは、その検索の結果を格付けすることができる。第１のユーザは、自らの検索、その検索の結果との関連性、結果リストで返された特定のウェブページに含まれている情報の豊富さ、又は他の何らかの基準に基づいて結果を格付けすることができる。そして、同様の又は関連した検索を実行する第２のユーザは、第１のユーザの格付けに基づく又は第１のユーザの格付けに影響を受けた結果リストを見ることができ、したがって、自らの検索に対して関連性が高い検索結果を表示させることができる。また、この第２のユーザも検索結果を格付けすることができる。このように、ユーザのコミュニティは、探し求める情報に可能な限り関連性が高い検索結果を受信できるようにユーザを補助するフィードバックを提供することができる。ユーザフィードバックを用いるシステム及び方法は、２００６年２月２７日に出願された米国特許出願番号未定、代理人整理番号ＭＰＳ−００１０１、発明の名称「ユーザ入力情報を組み込むことにより検索を行うシステム及び方法（Methods of and Systems for Searching by Incorporating User-Entered Information）」に開示されており、この出願は、引用により本願に援用される。

本発明の他の実施の形態では、検索結果を格付けする方法は、例えば、以下に限定されるものではないが、（１）結果リストのリンクの関連性に関してフィードバックを提供するメカニズムと、（２）個人的な検索ページ上に表示できるリンクを削減し、又は関連したリンクに投票するメカニズムと、（３）検索結果に関係ない又は本質的に不快なウェブページへのリンクを「ブロックする」メカニズムとが含まれる。他の実施の形態では、関連した検索ターム及びスポンサリンクへの表示及びリンクを含む。

本発明の他の実施の形態では、検索結果ページは、以下に限定されるわけではないが、（１）検索に関連しているウェブページからのテキストと、（２）クエリタームに関連した異なる概念の説明と、（３）提案クエリターム（suggested queries）と、（４）他の概念への「ここも参照（see also）」リンクと、（５）スポンサリンクとを表示する選択された項目を含む。

以下の説明では、「検索エンジン」という用語は、クエリが入力され、電子文書又はウェブページへのハイパーリンクの結果リストを返す装置（又は汎用コンピュータで実行されるプログラム）を指すのに用いられる。検索エンジンは、そのコーパス内のドキュメントのインデックスと、各ドキュメントの関連性を決定するコード及びアルゴリズムと、結果リストをユーザに提供するグラフィカルユーザインタフェースとを含む。

以下の説明において、「クエリ」という用語は、タイピングされ、発話され、既に検索タームのセットを埋め込んだ「リンク」を介して提供され、又は他の何らかのインタフェースによって、検索エンジンに提供されるタームのセットを指す。クエリは、単一の単語、複数の単語又は語句を含むことができる。クエリは、質問（例えば「自然言語」によるクエリ）、タームの曖昧なセット、又は体系化された論理式として表すことができる。実際には、クエリは、検索文字を含み又は検索文字に関連した電子文書又はウェブページを検索するために、検索エンジンで用いられるシンボル又は他の如何なる文字を含んでいてもよい。

以下の説明では、「ウェブサイト」という用語は、互いにリンクされ、ワールドワイドウェブで閲覧可能なウェブページの集合を指すのに用いられる。「ウェブページ」という用語は、任意の数のホストからワールドワイドウェブを介してアクセス可能な公開された情報を指し、これらの情報は、以下に限定されるわけではないが、テキスト、ビデオ、画像、音楽及びグラフィクスを含む。

以下の説明において、「結果リスト」という用語は、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol：ＨＴＴＰ）、又は以下に限定されるわけではないが、ドキュメントのタイトルと、ドキュメントの要約と、ドキュメントのキャッシュコピーへのリンクと、ドキュメントが最後にインデックスを付され又は最後に更新された日時と、ドキュメントに関連し又はドキュメントに含まれる画像と、ドキュメントから抽出された情報とを含む各リンクの他の関連した情報と共に、ウェブページ又は他の電子文書にアクセスするための他のプロトコルを用いてアクセス可能なドキュメント又はウェブページを参照するハイパーリンクのリストを指す。

本明細書で用いるように、「ドキュメント」という用語は、広義に定義され、通常の意味に加えて、実際に保存されているか、表示の要求に応じて動的に生成されるかにかかわらず、コンピュータファイルと、ウェブページとを含む。「ドキュメント」という用語は、テキストを含むコンピュータファイルに限定されず、グラフィクス、オーディオ、ビデオ及び他のマルチメディアデータを含むコンピュータファイルも含んでいる。

また、本明細書において、「機械学習」という用語は、処理と、ソフトウェアシステムが、それ自体の動作を、ある事象を観測することによって又はある情報を分析することによって、最適な結果を生成するように適応化するアルゴリズムとを意味する。

また、本明細書において、「統計モデル」という用語は、入力のセットのスコアを計算する数学的（例えば数値的又は解析的）式を意味する。式のパラメータは、機械学習処理を用いて得ることができる。本発明においては、統計モデルは、ユーザフィードバック、検索イベントからの他の情報又はこれらの組合せに基づいていてもよく、様々な数学的手法の何れを用いて生成してもよい。

後に詳細に説明するように、検索エンジンは、ユーザによって入力されたクエリを受信し、ユーザが探している情報に関連する可能性が高いウェブページを識別する目的で、様々な関連性に関する演算を用いて、ウェブページのインデックスに対して検索タームを照合する。そして、検索エンジンは、これらのウェブページへのハイパーリンクの格付けされたリストを返し、このリストでは、関連性が高いと考えられるリンクがリストの最上部に近いところにある。本発明に基づく検索エンジンは、ユーザ入力に基づいて結果リストを返し、ユーザは、例えば、ドキュメント又は結果リストに示されたリンクの順序に影響を与える結果を格付けする資格（ability）を有する。本発明では、ユーザが関連性が高いと考えるサイトにユーザ自身がタグ付けすることによって、検索結果を格付けすることができ、この格付けは、ユーザが、検索の理由がなく、サイトを訪問したときでも行ってもよく、又は検索結果を生成するために用いたタームとは異なるタームによって、タグを付けるときでも行ってよい。

後に詳細に説明するように、検索エンジンは、ユーザによって入力されたクエリを受信し、ユーザが探している情報に関連する可能性が高いウェブページを識別する目的で、様々な関連性に関する演算を用いて、ウェブページのインデックスに対して検索タームを照合する。そして、検索エンジンは、これらのウェブページへのハイパーリンクの格付けされたリストを返し、このリストでは、関連性が高いと考えられるリンクがリストの最上部に近いところにある。一般的な検索では、検索エンジンは、主に結果リストを返し、ユーザは、システムに情報を入力する資格を有しない。

本発明に基づいて、結果リストを含むページがユーザに供給されたとき、ユーザは、ページ上の結果に対してフィードバックを提供することを選択することができ、このフィードバックは、フィードバックを解析して、ユーザに供給される結果の関連性を高める関連性方法（relevance methods）及び重みを調整するモデルに提供され、ユーザは、その後に、同じ又は異なるクエリを入力することによって、検索エンジンにアクセスする。

図１は、本発明に基づいて、クエリに応じて返された結果ページ１００を表示する例示的なグラフィカルユーザインタフェース（graphical user interface：ＧＵＩ）の画面を示している。このＧＵＩによって、ユーザは、個々の検索結果を格付け、ブロック又は保存することができる。更に、このＧＵＩによって、ユーザは、クエリタームに関連した１つ以上の概念に関する説明を追加、編集及び見ることができ、概念に関する情報をどのように検索したらよいかを示すアドバイスを追加、編集及び見ることができる。

結果ページ１００は、クエリタームを挿入するボックス１１０と、検索エンジンによって返された結果リストを含む領域１６０とを備える。また、領域１６０は、ユーザフィードバックを入力するユーザフィードバックメカニズム１７０と、検索エンジンによって返された各結果に関連したリンクを保存する保存メカニズム１９０とを含む。また、結果ページ１００は、クエリタームに関連した概念の説明を表示する領域１２０と、クエリタームに関連した異なる概念の説明を含む領域１３０と、他のクエリタームに関連した概念への「ここも参照（see also）」リンクを含む領域（以下、「ここも参照」リンクとも言う。）１４０と、関連したクエリタームを実行するリンクのリストを含む領域１５０と、スポンサリンクの領域１８０とを備える。後に詳細に説明するように、好ましい実施の形態では、領域１６０の結果は、他のユーザによる後のクエリに対して、格付け又はブロックするユーザフィードバックメカニズム１７０、又は後の表示のための保存メカニズム１９０に基づいて、変更することができる。

図１の具体例に示すように、ユーザがボックス１１０内にクエリターム「Ｕ２」を入力し、検索を要求したとき、結果ページ１００がユーザに返される。領域１２０は、ユーザによって入力されたクエリターム「Ｕ２」に関連した１つの概念の説明、この具体例では、バンド「Ｕ２（商標）」の説明を表示する。領域１３０は、ユーザによって入力されたクエリターム「Ｕ２」の異なる概念の説明、この具体例では、Ｕ２偵察機（U2 spy plane）の説明を表示する。領域１５０は、ユーザによって入力され又はアルゴリズムによって導出されるような、ユーザが検索エンジンに実行させる興味がある関連した検索のためのクエリターム、例えば「Ｕ２コンサートチケット」又は「Ｕ２ｉＰｏｄ（商標）」を表示する。領域１４０は、ユーザによって入力され又はアルゴリズムによって導出されるような他のクエリターム、例えば「バンドＵ２」の概念のための「ボノ（Bono）」又は「偵察機Ｕ２」の概念のための「ドラゴンレディ（Dragon Lady）」に関連した概念への「ここも参照」ハイパーリンクを含んでいる。

領域１６０は、ユーザフィードバックメカニズム１７０だけではなく、検索の結果を含んでいる。ユーザは、ユーザフィードバックメカニズム１７０を用いて、対応するウェブページが、探している情報にどれ程一致しているかを格付けすることができる。換言すれば、領域１６０にリストされた第１のウェブページが、ユーザが検索したロックバンドＵ２に関する関連情報を含んでいる場合、ユーザは、ユーザフィードバックメカニズム１７０を用いて、このリンクを高いスコア（例えば５つ星）で格付けすることができる。一方、領域１６０にリストされている「Ｕ２」と呼ばれる洋服のライン（clothing line）の名前を専門とする第２のウェブページは、ユーザが探している概念とは無関係であり、低いスコア（例えば１つ星）で格付けすることができる。本発明に基づいて、またバンド「Ｕ２」に興味を有する後のユーザが、クエリターム「Ｕ２」で検索を行ったとき、このユーザに返される結果リストは、第１のウェブページ（５つ星で格付けされている。）を結果リストの最上部の近くに、第２のウェブページ（１つ星で格付けされている。）を結果リストの最下部の近くに含み、又は全く表示しない。このように、ユーザには、最初に一覧表示された関連性が高い結果だけを有する結果リストが提供される。結果リスト内のサイトを順次訪問するユーザは、自らが検索している概念に関連性が高いサイトを見る可能性が高くなる。したがって、結果リストにおける項目の順序は、ユーザが入力しないメタデータ及び他の情報に加えて、ユーザフィードバックに基づいている。

ユーザは、クエリタームに関連した１つ以上の概念に関する説明を領域１２０、１３０に追加し、これらの説明は、クエリによって調べられる概念に関する幾つかの背景情報、あるいはその概念に関してどのように情報を検索するかに関するアドバイスを提供することができる。また、ユーザは、自らが又は他のユーザが以前に追加又は変更したクエリタームに関連した概念に関する説明を変更、強調又は削除することができる。ユーザは、ハイパーリンク、すなわち異なるクエリタームに関連した概念にリンクする「ここも参照」リンク１４０を変更、追加又は削除することができる。ユーザは、クリックされたときに検索エンジンに提出される、概念に対する提案クエリ（suggested queries）を、領域１５０に追加することができる。また、検索エンジンは、コンピュータアルゴリズムを用いて、提案クエリタームを生成することができる。

ユーザは、概念に非常に関連すると思われるドキュメントへのリンクを追加又は保存することができる。ユーザは、概念に非常に関連すると思われるドキュメントへのリンクを保存することができる。これは、ハイパーリンク、すなわち保存メカニズム１９０の「保存（Save）」のマークが付されたアイコンをクリックすることによって行われ、あるいは他のターム、例えば「ブックマーク（Bookmark）」、「タグ（Tag）」又は「お気に入りに追加（Add to Favorites）」を指すことによって行うことができる。ユーザが異なれば、どのサイトが最も関連するかに関する考えも異なるので、本発明に基づくアルゴリズムは、一覧表示するサイトの順序を決定する。一実施の形態においては、アルゴリズムは、多数決処理を用いて、最も多くの「票」が投票された（例えば最も多くのユーザによって「保存」された）ドキュメントを結果リストの上位に表示する。

また、「保存」されたドキュメントへのリンクが、検索エンジンによって生成された結果リストに現れる場合、アイコン１６５を用いて、このリンクも、また、ユーザによって投票されたリンクであることを示すことができる。また、各検索結果の下には、結果リストの一部としてリンクを追加したユーザ名を示す「Ｂｙ」エントリ１６７と、ユーザがリンクにタグを付け、又は以前の検索で生成されたタームを示す「タグ」エントリ１６８とが表示される。

本発明に基づくウェブサイトへのリンクは、２つの方法で、結果リスト（アルゴリズムによって生成される。）及びユーザ入力リンクと、あるいは上述したようにアイコンが付けられたユーザ入力リンクを有する１つのリストに統合されたリストとの２つの独立したリストのいずれかで一覧表示することができる。

なお、本発明に基づいて、多くの変更ができることは言うまでもない。例えば、ユーザが生成したフィードバックは、端末装置からユーザが直接入力するのではなく、ファイルから読み込むことができる。更に、結果ページ１００は、領域、例えば「ここも参照」リンク１４０を表示しているが、本発明に基づき、ユーザ入力情報を含む結果ページは、図１に示す領域を含む又はこれらの領域以外の領域の如何なる組合せと共に、表示できることは言うまでもない。この情報は、検索結果をより包括的に、正確に及び有意義にするために用いられる。

図２は、本発明に基づくインターネット検索アプリケーション２００の動作を示すフローチャートである。インターネット検索アプリケーション２００によって、ユーザは、システムにフィードバックを入力する資格を有し、それによって、他のユーザは、ユーザフィードバックの分析に基づくより関連した検索結果を受信することができる。この情報は、特定のクエリに応じて生成される結果リストにおけるドキュメントを格付けするために、検索エンジンによって用いられる方法及び重みを調整するのに用いられる。したがって、検索エンジンは、より関連した結果が返されるように、ユーザフィードバックに応じて「調整」することができる。

ステップ２１０において、ユーザは、クエリを検索エンジンに提出する。そして、処理は、ステップ２２０に進み、ここにおいて、検索エンジンは、クエリを照合し、最も関連した結果のリストを組み立てる。処理は、ステップ２２０からステップ２３０に進み、ここにおいて、結果ページ（例えば図１の結果ページ１００）がユーザに送信される。処理は、ステップ２３０から、ステップ２４０又はステップ２５０のうちのいずれか１つに進む。

ステップ２４０において、ユーザは、１つ以上のリンクに従って、結果リストのウェブページを訪問する。あるいは、ステップ２５０において、ユーザは、検索エンジンにフィードバックを提供するために、フィードバックメカニズム（例えば図１のフィードバックメカニズム１７０）とインタラクトすることができる。また、ユーザは、ステップ２５０において、検索エンジンによってリンクを記録するために、リンクを保存するメカニズム（例えば図１の保存メカニズム１９０）をクリックすることができる。処理が、ウェブサイトを訪問するステップ２４０から、ステップ２５０に進み、ユーザは、フィードバックを行い、或いは、処理は、ステップ２５０からステップ２４０に進むこともできる。ステップ２４０及びステップ２５０の両方から、処理は、ステップ２６０に進み、ここにおいて、検索エンジンは、ユーザからのフィードバックを記録する。ステップ２６０に続くステップ２７０において、関連性を検索するモデルは、その後の検索で使用するために更新される。処理は、ステップ２７０からステップ２２０に戻り、ここにおいて、検索エンジンは、更新モデルによって提供される値を用いる後のクエリに対して、どのリンクが関連しているかを判定する。

なお、本発明の実施の形態は、１つの検索エンジンよりも、１つ以上の検索エンジンによって用いることができることは言うまでもない。一具体例として、第１の検索エンジンは、第１の検索エンジンによって採用された適合率（relevance factors）に基づいて、ドキュメントのリストを返す。そして、第２の検索エンジンは、これらの結果だけを格付けしてもよく、或いは、これらの結果と、本発明に基づいて、第２の検索エンジンが生成した結果とを組み合わせて格付けしてもよい。そして、結果の全て又は一部の組合せを用いて、本発明に基づく関連性モデルを更新することができる。このように、本発明に基づく検索は、メタ検索エンジン上で実行することができる。

一実施の形態に基づくシステムは、登録ユーザ及び未登録ビジタの両方を有するインターネット検索エンジンのポータルサイトに基づいている。全ての検索エンジンと同様に、各ユーザクエリ毎のドキュメントのユニフォームリソースロケータ（Uniform Resource Locator：ＵＲＬ）は、最高の関連性スコアから最低の関連性スコアまでに格付けされ、この順序でユーザに提供される。関連性スコアは、Ｘに含まれている特徴（又は、観測された証拠（observed evidence））が与えられたクエリｑにドキュメントｄが関連している確率ｐ（Ｒ｜Ｘ）として表される。なお、ここでは、説明を明瞭にするために、後に説明する添字を省略している。確率ｐ（Ｒ｜Ｘ）は、関数μ（Ｘ）＝１／［１＋ｅ−θ＊Ｘ］によって近似され、ここで、Ｘは、特徴のベクトルであり、θは、一定の入力１．０が乗算される切片項を含むパラメータのベクトルであり、正の係数が、関連性の肯定的な証拠（positive evident）を示すように、負のθが用いられる。この確率は、ロジスティック回帰（logistic regression）を用いてモデル化されるとみなされ、ベクトルＸは、ドキュメント固有の特徴（例えばドキュメントの長さ等）と、クエリ−ドキュメント特徴、例えばドキュメントタイトルにおけるクエリの出現との両方からなり、ドキュメントは、検索エンジンＥ等から格付けＫを獲得し、後に、ユーザがクエリ及びドキュメントに亘って格付けする指標変数（indicator variables）の疎集合Ｕによって、拡大（augmented）される。

ユーザは、検索エンジンによるクエリの結果を見た後、クエリに関連したドキュメントに対して、最低の格付け（例えば１つ星）が完全に偽の関連性を意味し、最高の格付け（例えば５つ星）が完全な又は略完全な関連性を示す何らかの順序の形式で、フィードバックを行うことができる。そして、このフィードバックは、ユーザｕによって指定された星の数をｓとして、新たなクエリ−ドキュメント特徴（ｑ，ｄ，ｕ）＝ｓとして記録される。如何なる時点においても、この値は、ドキュメントｄ及びクエリｑに対するユーザｕの現在の格付けである。重要なことは、この特徴は、ユーザがクエリを実行した回数に依存せず、ユーザによる最後の格付けだけを保存する。所定のクエリ−ドキュメント対に対する全てのユーザフィードバックを収集することによって、ユーザｕが、所定のクエリｑに対するドキュメントｄに、５つ星を与えた場合、指標変数の新たな疎集合Ｕ（ｑ，ｄ）ｕ，ｓ＝１が得られる。そして、特徴のセットは、疎集合Ｕの特徴によって拡大され、完全なモデルは、ベクトルθによってパラメータ化される。ユーザフィードバックを収集する前は、星の数は、未知であり、あるいはユーザが未だドキュメントの関連性を明確に評価していないことを示すように、クリアにされている。これは、データセットが、純粋に、ユーザによって格付けされたドキュメントのみから構成されるという意味で重要である。

システムは、ユーザフィードバックを用いて、３つの基本機能を実行する。第１に、システムは、ユーザフィードバックを用いて、パラメータのユーザ固有のベクトルψを、グローバルモデルパラメータにベクトルθを加える形式に展開する。第２に、システムは、ユーザ固有のベクトルψの母集団の空間上にユーザをクラスタ化させることができる。次元が、非常にきれいな数値的属性、例えば同一のスケール、独立性等を有する回帰係数であるので、うまく働くことが期待される単純な手法、例えばＫ平均クラスタリングを用いる。これを用いて、パラメータのクラスタ固有のベクトルのセット、例えば、ユーザ固有のベクトルψと同様な方法で、ベクトルθに加えることができるγを構築することができる。第３に、システムは、ユーザフィードバックイベントをデータポイントとして、ベクトルθ及びユーザ固有のベクトルψの属性を推定するモデリング処理に組み込み、特定のイベントの重要性を重くすることができる。

ユーザが、クエリ−ドキュメント対に対して星の数を提示（posts）したとき、ユーザ固有のデータセットにデータポイントが生成される。１．０の値は、非常に関連した格付けに対応し、０．０の値は、偽の、すなわち関連していない格付けに対応する。最大５個の星で格付けを行う方式では、５つ星は、非常に関連性が高いことを示し、１つ星は、関連性がないことを示すために使用される。システムは、他のユーザパラメータ及びグローバルパラメータの特徴として、他の格付けを用いる。技術的には、完全な分布をモデル化することが望まれている場合、出力変数は、多項分布から得られるように処理する必要がある。そして、データポイントは、ある設定された期間又はある最大データセットサイズに戻るシステムの全ての格付けイベントのデータポイントを含む更新データベースに追加される。疎ロジスティック回帰（sparse logistic regression）は、数百万個のデータポイントに対して実行することができる。この限界に達した後、最後のＮ個のデータポイントに対して、回帰が実行される。ここで、Ｎは、数百万以内の数と予測することができる。推定されるモデルは、以下の式に基づき、所定のクエリ−ドキュメント対のユーザ格付けイベント毎に指定される。

ここで、θは、一定であり、回帰は、ベクトルψのユーザパラメータに対して実行される。また、疎集合Ｕのユーザ格付け指標は、ψ_ｕが疎集合Ｖの他のユーザの指標Ｕ（ｑ，ｄ）ｖ，ｓ＝１の係数を潜在的に含むように、組み込まれる。例えば、ユーザｕが、クエリｑに対するドキュメントを５つ星で格付けした場合、これは、５つ星がドキュメントがユーザｕに非常に関連する直接証拠（positive evidence）であることを示す正の係数を有する可能性がある。拡大特徴のセットは、このインスタンスをデータセットに含ませたメカニズムであるので、高い関連性の自己指標変数Ｕ（ｑ，ｄ）_ｕ，５を含んでいる。非常に疎な自己指標のこの包含によって、回帰は、過去の潜在的競合（past potential contradictions）に移動し、このクエリ及びユーザに対してドキュメントが高いスコアを獲得することを保証するように、モデルで進行する。一方、ユーザｕが一般的な効果を見つけた場合、この疎な自己指標は、大きく重み付けされない。処理の終了後、格付けイベントを提出した各ユーザｕは、閲覧し、クラスタリングに用いる等ができ、そのユーザｕに対して関連性スコアモデルを個人化する固有のψ_ｕを有する。

システムの識別された各ユーザ毎にベクトルψが一旦得られると、これらのベクトルψを座標空間に設定することができ、クラスタリングが実行される。検索エンジンの最適化プログラム又はスパマ（optimizers or spammers）は、それら自信の又は関連したコンテンツに向かうそれらの任意のバイアス（bias）を反映した、それらのパラメータにおける偏心を有し、検索エンジンの最適化プログラム又はスパマは、分離することが望ましいので、これは、役立つ。更に、識別されたユーザのハードクラスタは、未確認のユーザ（すなわち未登録の「訪問者（visitors）」）に、より良好なデフォルトパラメータを提供するために、用いることができる。例えば、未確認のユーザが発行したクエリｑに基づいて、Ｃをユーザクラスタの集合とし、ベイズ規則を用いて、以下の演算によって、ユーザがクラスタｃによって表される確率を算出することができる。

そして、関連性スコアｐ（Ｒ｜Ｘ）は、各クラスタメンバシップの確率に関連性スコア、すなわち所定のクラスタメンバシップｐ_ｃ（Ｒ｜Ｘ）を乗算した値の加重和に等しくなる。

ここで、各クラスタ毎のパラメータγ_ｃは、グローバルパラメータθに対する加算として、計算される。この処理を、以下に説明する。

ユーザ固有のパラメータγ_ｃの推定の後、ベクトルθによってパラメータ化された元のモデルが更新される。これは、ψ_ｕを推定するために算出された（developed）同じユーザ格付けデータの集合を用いて実行されるが、このとき、ベクトルψのパラメータは、固定されている。したがって、全てのユーザから収集された経験から、第１のユーザ固有の効果、そしてグローバル効果といった交互の方法によって、一般的な効果を推定することが試みられる。各ユーザ毎のベクトルψのパラメータの推定においては、各ケースの重みの過不足が適切に区別して学習される（１つの大規模な回帰によって実行される）。例えば、ベクトルψの係数は独立していると見なすと、各データポイントの値は、以下の式に示すように、ユーザｕによって提出されたデータでカーネル関数を用いた、ユーザの母集団の平均に対するユーザの類似性として、計算することができる。

この値の最大値は、１．０であり、全てのユーザのベクトルψの重心（centroid）から離れたベクトルψのユーザに対しては、減衰率αで減衰する。この手法によって、回帰の形式は、以下に示すように、所定のベクトルθにおけるデータの対数尤度の合計を最大にすることである。

ここで、ベクトルθに対する最大値が得られ、データセットＤのデータポイントの数をＮとし、ｉ＝１〜Ｎの総和が算出され、ｙｉは、データポイントが非常に関連していると格付けされた場合１．０であり、関連していないと格付けされた場合０．０であり、ω_ｉは、提出者のψ_ｕのパラメータの属性に基づくデータセットの各観測ｉの重みであり、データＤに対する依存は、明瞭化のために省いている。

これに代えて、上述したハードクラスタリング処理の結果を用いて、パラメータγ_ｃは、適応化することができ、パラメータγ_ｃは、ベクトルθを、格付けデータポイントを提出したユーザに割り当てられたクラスタに基づいて変更する。ハードクラスタリングとは、各ユーザを単一のクラスタに割り当てることを意味し、対照的に、ソフトクラスタリングとは、ユーザを、それぞれある程度のメンバシップを有する複数のクラスタに割り当てることを意味する。この場合、回帰は、式（３）用いて実行されるが、最適化は、以下に示すように、μを指定して、ベクトルθ及びパラメータγ_ｃの両方に対して実行される。

パラメータγ_ｃは、特徴のベクトルＸを生成し、μ（θ，γ）_ｉを算出するために用いられた特定のデータポイントを提出したユーザのクラスタメンバシップに基づいて割り当てられる。ユーザ固有のψ回帰について上述したように、格付け動作におけるあらゆる競合（conflicts）は、パラメータγ_ｃに含まれる各パラメータ毎のクラスタ固有の修飾子に吸収することができる。

γを用いる具体例として、数個〜数百個の格付けイベントを提出する２００人のユーザからのデータセットにおいて、各ユーザ毎に、クラスタＣの集合からクラスタ割当ｃが生成されるとする。θの推定（例えばθ（EngineRank_E,4））のとき、ユーザがクラスタｋに属していたとすることによって、対応するγ_ｃ、例えばγ_ｋ（Enginerank_E,4）の推定も行われる。他のデータポイントにおいて、θ（EngineRank_E,4）が推定されるが、今度は、ドキュメントがクエリに対してEngineRank_E,4を有しており、２人のユーザがそれぞれクラスタｋ、ｍに由来していたとすることによって、クラスタｍに対するγ_ｍ（Enginerank_E,4）が決定される。この結果、θ（EngineRank_E,4）は、現在、変数の平均効果となり、γ（Enginerank_E,4）は、クラスタ固有の変数の効果を含む（例えば、ＳＥＯクラスタは、γ（Enginerank_E,4）が良好な変数に対する平均よりも感度が低い可能性があるが、これらの悪い影響は、グローバルモデルから効果的に除外されるので、負の係数を有していてもよい）。モデル適合処理において、特徴ベクトルをユーザのクラスタ割当に基づいて入れたときから、それは、常に同じである。

グローバル更新について説明した両方の方式において、ユーザによる格付けは、グローバルパラメータの適合に対する各ユーザの影響を決定する。何れの場合も、ユーザの格付け動作に基づくユーザ入力の効果は、自動的に規制される。

パラメータの最初の１つのセットをユーザに対して最適化し、そして、他のセットをグローバル及び／又はクラスタ効果に対して最適化することによって、適合処理は、２つの異なるレベルの分析にフォーカスを切り換える。最適化を、モデリングの実行又は交互の最適化の個々の反復によって順番に実行するべきかは完全には明らかではない。

図３は、本発明に基づくシステム３００の構成を示している。システム３００は、ウェブサーバ３１０に接続されたユーザクライアント３０５を備える。ウェブサーバ３１０は、検索エンジン３２０と、ユーザデータベース３３０と、フィードバックデータベース３４０とに接続されている。検索エンジン３２０は、ドキュメントインデックスを含むデータレポジトリ（以下、ドキュメントインデックスとも言う。）３５０に接続されている。また、ユーザデータベース３３０は、検索エンジン３２０に接続されている。フィードバックデータベース３４０は、新たな適合率を計算する機械学習モデル３６０に接続されている。また、機械学習モデル３６０は、ドキュメントインデックスを含むデータレポジトリ３５０に接続され、次に、データレポジトリ３５０は、インデックス生成器３７０に接続されている。インデックス生成器３７０は、ウェブコンテンツデータベース３８０に接続され、ウェブコンテンツデータベース３８０は、ウェブクローラ３９０に接続されている。ウェブクローラ３９０は、インターネット３９５上の１つ以上のウェブサイト３９９に接続されている。

動作において、ウェブクローラ３９０は、インターネット３９５上をナビゲートし、ウェブサイト３９９を訪問し、それがアクセスするウェブページのコンテンツをウェブコンテンツデータベース３８０に入れる。インデックス生成器３７０は、ウェブコンテンツデータベース３８０を用いて、ドキュメントインデックス３５０を生成する。ユーザがユーザクライアント３０５上でクエリを生成したとき、ウェブサーバ３１０は、検索要求を検索エンジン３２０に送信する。検索エンジン３２０は、上述したユーザフィードバックから導出された関連性アルゴリズム及び適合率を用いて、どのウェブページがクエリに最も関連しているかを判定して、結果リストを生成し、結果リストは、ウェブサーバ３１０に送信される。そして、ウェブサーバ３１０は、表示のために、結果ページをユーザクライアント３０５に配信する。

また、ユーザが検索を行うとき、ユーザは、ユーザクライアント３０５を用いてクエリを入力し、クエリは、ウェブサーバ３１０に送信される。ウェブサーバ３１０は、クエリを検索エンジン３２０に送信し、検索エンジン３２０は、クエリをドキュメントインデックス３５０に対して照合し、最も関連したドキュメントを判定し、結果リストをウェブサーバ３１０に返す。また、ユーザデータベース３３０は、クエリに応じて、ユーザの検索に関する情報、例えば、保存リンクメカニズム（例えば図１の領域１９０）を用いて保存されたリンクと、伴うリンク（例えば図１の領域１６０）と、フィードバックメカニズム（例えば図１の領域１７０）を用いて行われたフィードバックとを記録する。この情報は、ウェブサーバ３１０及び検索エンジン３２０によって、そのユーザのための後の検索結果をカスタマイズするのに用いられる。また、クエリに応じて、フィードバックメカニズム（例えば図１の領域１７０）からのフィードバックもフィードバックデータベース３４０に記録される。本発明の実施の形態においては、ユーザデータベース３３０及びフィードバックデータベース３４０に保存されるフィードバック情報は、２つの独立したデータベースとして実装してもよく、同じデータベース内に実装してもよい。

あるタイミングで、必ずしもクエリが実行されたときとは限らないが、フィードバックデータベース３４０に保存されているフィードバック情報は、機械学習モデル３６０に送信され、ここで処理されて、クエリに対して最も関連したウェブページを判定するために検索エンジンで用いられる方法及び重みが生成される。機械学習モデル３６０は、後の検索で使用するために、このフィードバック情報をドキュメントインデックス３５０に記録する。

フィードバックデータベース３４０は、以下に限定されるわけではないが、クエリタームと、ユーザ識別子情報と、ドキュメントＩＤと、ドキュメントリンクと、結果リスト内の位置と、ユーザによる格付けと、ユーザによるクリックとを含む特徴を機械学習モデル３６０に送信する。また、機械学習モデル３６０は、以下に限定されるわけではないが、タームスコアと、セクション情報と、リンク構造と、アンカテキストと、要約と、タグと、ドキュメント内のタームと、ドキュメントにおけるタームの位置と、ドキュメントの構成と、検索結果リストからドキュメントがアクセスされた回数と、タームスコアと、セクション情報と、リンク構造と、ユーザ表現と、ユーザ入力の時刻と、ブロッキングとを含む所定のドキュメントの他の特徴を検索することができる。

機械学習モデル３６０は、これらの特徴を用いて、グローバルモデルパラメータに追加される形式で、パラメータのユーザ固有の集合を生成する。これらのパラメータは、以下のように導出される：各フィードバックイベントは、データポイントを構成し、このデータポイントは、フィードバックデータベース３４０内の全てのデータポイントのデータベースに加えられる。モデルを用いて、上述した式（１）に基づき、所定のクエリ−ドキュメント対対して、ユーザ格付けイベント単位で推定を行う。

以前に参照された入力データに対して、回帰が実行される。最良のパラメータが一旦見つかると、これらのパラメータを用いて、グローバルモデル及びユーザ固有のモデルが更新される。通常、最良のパラメータは、最良の予測力を有するパラメータであり、これは、未知のデータに対して最良の結果が得られるパラメータと解釈される。本発明の一実施の形態において、共役勾配降下法（conjugate gradient descent）を用いるロジスティック回帰が、モデリング処理の一部として実行される。なお、本発明に基づくモデリング処理は、他の方法と同様に、他の形式の回帰を用いて実行ことができることは、言うまでもない。

なお、本発明では、統計的分類（statistical classification）の形式を用いる機械学習技術を含む多くの種類の機械学習技術を用いることができることは、言うまでもない。統計的分類には、以下に限定されるものではないが、ロジスティック回帰分析と、サポートベクトルマシンと、ニューラルネットワークと、ブーステッド決定木（boosted trees）と、ランダムフォレスト（random forests）と、単純ベイズと、グラフィックモデルと、事後確率最大推定（maximum a posteriori）とが含まれる。他の実施の形態では、機械学習
技術は、共役勾配降下法を用いる。

図４は、本発明の一実施の形態に基づき、ユーザフィードバックデータを用いて結果を算出するステップ４００を示すフローチャートである。図４に示す式番号及び図４の説明にいて用いる式番号は、上述した式に対応する。

図４に示すように、ステップ４１０において、ユーザは、フィードバックデータを入力し、ステップ４２０において、入力データを正規化する。この処理は、グローバルなユーザデータ及びユーザデータ毎のデータの抽出及び正規化を含む。ステップ４３０において、式（１）を用いてデータポイントにスコアを付け、ステップ４４０において、式（３）を用いて、目的関数を算出する。式（１）は、クラスタリングを用いたスコア付けを含む多くの形式を含むことができる。ステップ４５０において、共役勾配を算出し、ステップ４６０において、新たな勾配を用いて、パラメータを更新する。ステップ４７０において、１つ以上の停止基準が満たされたかを判定する。１つ以上の停止基準が満たされていない場合、処理は、ステップ４３０に戻り、他の場合、処理は、ステップ４８０に進み、グローバルモデル及びユーザモデルが更新される。

ステップ４７０における停止基準として如何なる数及び種類の基準を用いてもよい。停止基準としては、例えば、以下に限定されるものではないが、（１）反復が所定の最大回数実行された場合、（２）交差検定に失敗した場合（例えば、テストデータがトライアルデータと異なっていた場合）、（３）解が収束した場合、すなわち、前の実行におけるパラメータと、次の実行におけるパラメータとの間の差分が、所定の値未満の場合がある。

図５は、ユーザ５１０が使用する、本発明に基づくインターネット検索アプリケーションシステム５００のハードウェア構成を示している。インターネット検索アプリケーションシステム５００は、インターネット５３０を介してウェブサーバ５４０に接続されるクライアント機器５２０を備えている。クライアント機器５２０は、以下に限定されるわけではないが、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol：ＨＴＴＰ）、ワイヤレスアプリケーションプロトコル（Wireless Application Protocol：ＷＡＰ）を含むインターネットプロトコルを用いて、ウェブサーバ５４０にアクセスし、通信するように構成されたあらゆる機器である。クライアント機器５２０は、好ましくは、パーソナルコンピュータであるが、また、クライアント機器５２０は、以下に限定されるわけではないが、携帯型機器、例えば携帯電話機又は携帯情報端末（personal digital assistant：ＰＤＡ）を含む他の機器とすることができ、規格、例えばハイパーテキストマークアップランゲージ（Hypertext Markup Language：ＨＴＭＬ）、ハンドヘルドデバイスマークアップランゲージ（Handheld Device Markup Language：ＨＤＭＬ）、ワイヤレスマークアップランゲージ（wireless markup language：ＷＭＬ）等を用いて、情報を提供することができる。

ウェブサーバ５４０は、検索サーバ５５０とフィードバックデータ格納装置５６０との両方に接続されている。フィードバックデータ格納装置５６０は、機械学習サーバ５７０に接続され、検索サーバ５５０は、インデックスデータ格納装置５８０に接続されている。更に、機械学習サーバ５７０は、インデックスデータ格納装置５８０に接続されている。

添付の特許請求の範囲によって定義されている本発明の精神及び範囲から逸脱することなく、実施の形態を変更できることは、当業者にとって明らかである。

ユーザフィードバック及びユーザがフィードバックを提供するメカニズムを組み込んだ、検索結果リストを表示する例示的なグラフィカルユーザインタフェースを示す図である。 ドキュメント格付け処理にユーザフィードバックを適用できる例示的なインターネット検索アプリケーションの動作を示すフローチャートである。 本発明に基づく例示的なインターネット検索システムの構成を示す図である。 本発明に基づき、ユーザフィードバックデータを用いて、結果リストに含まれる結果を算出するステップを示すフローチャートである。 本発明に基づく例示的なインターネット検索アプリケーションシステムのハードウェア構成を示す図である。

Claims (35)

1. コンピュータで実行され、検索クエリに応じた結果リスト内のドキュメントを格付けする格付け方法において、
   上記検索クエリに応じて返されるドキュメントの結果リストを提示するステップと、
   検索エンジンによって、上記ドキュメントの結果リスト内のドキュメントのユーザに対する関連性を示す該ユーザからの入力を受信するステップと、
   上記ドキュメントのユーザに対する関連性を示すユーザからの前の入力の重さを変更するステップと、
   上記検索エンジンによって、上記結果リスト内のドキュメントのユーザに対する関連性を示すユーザ入力を、上記検索クエリ及び上記ドキュメントに関連させるステップと、
   機械学習サーバによって、上記ユーザ入力を上記クエリ、上記ドキュメント、及び上記ユーザに関連させるクエリ-ドキュメント特徴ベクトルとして、上記ユーザ入力を保存するステップと、
   上記機械学習サーバによって、上記クエリ-ドキュメント特徴ベクトルから、変数とパラメータとを有し、上記ドキュメントと上記検索クエリの関連性スコアを計算する関連式を決定するステップとを有し、
   上記検索エンジンによって、上記関連性スコアに基づいてドキュメントを格付けするステップと、
   上記格付けされたドキュメントの結果リストを表示するステップとを有し、
   上記変数は複数の特徴からなり、上記複数の特徴のうちの１つの特徴は、上記ドキュメント内のタームと、上記ドキュメント内のタームを含むハイパーリンクと、上記ドキュメントの抜粋内のタームとのうちの１つを含み、上記パラメータは、上記複数の特徴の各々に対応する複数の重み係数からなり、
   上記関連性スコアは、上記ドキュメント及び検索クエリに関連したユーザ入力に依存することを特徴する格付け方法。
2. 上記結果リストは、上記関連性スコアに基づいて格付けされたドキュメントへのリンクを含むことを特徴とする請求項１記載の格付け方法。
3. 上記関連式を決定するステップは、上記機械学習サーバによって、上記パラメータをユーザ入力に基づいて調整するステップを含むことを特徴とする請求項１記載の格付け方法。
4. 上記複数の特徴のうちの少なくとも１つは、タグと、ドキュメントの要約情報内のタームと、ドキュメントの構成と、ドキュメントの長さと、ドキュメントの種類と、ドキュメントの作成の日時と、ドキュメントへのリンクと、検索結果リスト内のドキュメントの位置と、検索結果リストからドキュメントがアクセスされた回数と、タームスコアと、リンク構造とからなるグループから選択されることを特徴とする請求項１記載の格付け方法。
5. 上記複数の特徴のうちの少なくとも１つは、ユーザ表現と、ユーザ入力の時刻と、ドキュメントのユーザブロッキングと、ドキュメントのユーザ識別子と、ドキュメントのユーザ保存と、ドキュメントのユーザブックマーキングと、ドキュメントのユーザタグ付けと、ドキュメントのユーザ格付けと、ユーザ及び検索クエリに対するドキュメントの正及び負の関連性のうちの１つのユーザ指示とからなるグループから選択されることを特徴とする請求項１記載の格付け方法。
6. 上記関連式は、ドキュメントとユーザの検索クエリとの関連性スコアを決定するユーザモデルと、ドキュメントとユーザのグループの検索クエリとの関連性スコアを決定するグループモデルとに対応することを特徴とする請求項３記載の格付け方法。
7. 上記機械学習サーバによって、上記ユーザモデルを上記グループモデルと比較して、上記ドキュメントに対するバイアスを判定するステップと、上記ユーザモデルに反映された上記ドキュメントに対するバイアスが、上記グループモデルに反映された上記ドキュメントに対するバイアスと相違する場合、該ユーザモデルの重みを減らすステップとを更に有する請求項６記載の格付け方法。
8. 上記パラメータは、機械学習技術を用いて決定されることを特徴とする請求項３記載の格付け方法。
9. 上記機械学習技術は、統計的分類の形式を含むことを特徴とする請求項８記載の格付け方法。
10. 上記統計的分類は、ロジスティック回帰分析と、サポートベクトルマシンと、ニューラルネットワークと、ブーステッド決定木と、ランダムフォレストと、単純ベイズと、グラフィックモデルとのうちの１つであることを特徴とする請求項９記載の格付け方法。
11. 上記機械学習技術は、共役勾配降下法を用いることを特徴とする請求項８記載の格付け方法。
12. 上記関連性スコアは、検索エンジンサイトに登録されたユーザのためのものであり、ドキュメントと該検索エンジンサイトに登録されていないユーザの検索クエリとの関連性スコアを決定するのに用いられることを特徴とする請求項１記載の格付け方法。
13. 上記関連式を決定するステップは、上記パラメータ、及びタグと、ドキュメントにおけるタームの出現頻度と、ドキュメントのリンクテキストにおけるタームの出現頻度と、ドキュメントの抜粋におけるタームの出現頻度と、ドキュメントの要約におけるタームの出現頻度と、ドキュメントのアンカテキストにおけるタームの出現頻度と、ドキュメントの要約情報におけるタームの出現頻度と、ドキュメントにおけるタームの位置と、ドキュメントの構成と、ドキュメントの長さと、ドキュメントの種類と、ドキュメントの作成の日時と、ドキュメントへのリンクと、検索結果リスト内のドキュメントの位置と、検索結果リストからドキュメントがアクセスされた回数と、タームスコアと、リンク構造と、ユーザ表現と、ユーザ入力の時刻と、ドキュメントのユーザブロッキングと、ドキュメントのユーザ識別子と、ドキュメントのユーザ保存と、ドキュメントのユーザブックマーキングと、ドキュメントのユーザタグ付けと、ドキュメントのユーザ格付けとからなるグループから選択される少なくとも２つを含む複数の特徴を、更新するステップを含むことを特徴とする請求項１記載の格付け方法。
14. 上記機械学習サーバによって、上記パラメータは、上記結果リスト内のドキュメント毎のユーザ入力を用いて更新されることを特徴とする請求項１記載の格付け方法。
15. 上記ユーザ入力は、ドキュメントのタグ付けと、検索クエリに応じたドキュメントの関連性の格付けと、ドキュメントのブロッキングとのうちの１つであることを特徴とする請求項１４記載の格付け方法。
16. 上記ユーザ入力が、ドキュメントをブロッキングしているときは、上記関連性スコアは、下げられることを特徴とする請求項１記載の格付け方法。
17. 上記ドキュメントの関連性に関するユーザ入力は、投票であり、該投票が、ドキュメントのお気に入りである場合、該ドキュメントの関連性は、上げられ、該投票が、ドキュメントのお気に入りでない場合、該ドキュメントの関連性は下げられることを特徴する請求項１記載の格付け方法。
18. 上記ユーザ入力が、前のユーザ入力の反復の場合、ユーザ入力の重さは減らされることを特徴とする請求項１記載の格付け方法。
19. ユーザ入力の重さは、他のユーザによって、前に保存された入力からの上記ユーザ入力の偏差との関連で減らされることを特徴とする請求項１記載の格付け方法。
20. ユーザからの前に保存された入力が検索された後、上記検索クエリは開始されることを特徴とする請求項１記載の格付け方法。
21. 上記関連式を決定するステップは、上記ユーザ入力を用いて、上記関連式を更新し、上記重み係数のうちの少なくとも１つを変更するステップを含むことを特徴とする請求項１記載の格付け方法。
22. 上記関連式は、特定のユーザの検索クエリとドキュメントとの関連性スコアを決定するユーザ固有のパラメータのセットを決定することを特徴とする請求項１記載の格付け方法。
23. 上記関連式は、ユーザのグループの検索クエリとドキュメントとの関連性スコアを決定するグループモデルのパラメータを決定することを特徴とする請求項１記載の格付け方法。
24. 上記複数の特徴は、ドキュメントの上記抜粋におけるタームの出現頻度を含むことを特徴とする請求項１記載の格付け方法。
25. 検索クエリに応じて返されるドキュメントの結果リストで返されるドキュメントを格付けする格付けシステムにおいて、
    上記検索クエリに応じて返されるドキュメントの結果リストを表示する表示装置と、
    上記ドキュメントの結果リストで返されるドキュメントのユーザに対する関連性を示すユーザからの入力を受信する入力装置と、
    上記ドキュメントのユーザに対する関連性を示すユーザ入力を保存する記憶媒体と、
    プロセッサ実行命令がプログラムされたメモリに接続されたプロセッサとを備え、
    上記プロセッサは、
    上記ユーザに対するドキュメントの関連性を示す該ユーザからの前の入力の重さを変更し、
    上記ユーザに対するドキュメントの関連性を示すユーザ入力を、上記検索クエリ及びドキュメントに関連させ、
    上記ユーザ入力を上記検索クエリ、上記ドキュメント、及び上記ユーザに関連さけるクエリ-ドキュメント特徴ベクトルとして、上記ユーザ入力を保存し、
    上記クエリ-ドキュメント特徴ベクトルから、変数とパラメータとを有し、上記ドキュエントと上記検索クエリの関連性スコアを計算する関連性モデルを決定し、
    上記関連性スコアに基づいてドキュメントを格付けし、
    上記変数は複数の特徴からなり、上記パラメータは、上記特徴の各々に対応する複数の重み係数からなり、上記複数の特徴のうちの１つの特徴は、上記ドキュメントの１つにおけるタームの出現頻度と、ドキュメントのリンクテキストと、上記ドキュメントの抜粋と、上記ドキュメントの要約と、上記ドキュメントのアンカテキストとのうちの１つからなり、
    上記関連性スコアは、上記ドキュメント及び検索クエリに関連したユーザ入力に依存し、
    上記表示装置は、上記ドキュメントの格付けされた結果リストを上記ユーザに表示することを特徴とする格付けシステム。
26. 上記関連性モデルは、機械学習技術を用いることを特徴とする請求項２５記載の格付けシステム。
27. 上記機械学習技術は、統計的分類の形式を含むことを特徴とする請求項２６記載の格付けシステム。
28. 上記統計的分類は、ロジスティック回帰分析と、サポートベクトルマシンと、ニューラルネットワークと、ブーステッド決定木と、ランダムフォレストと、単純ベイズと、グラフィックモデルとのうちの１つであることを特徴とする請求項２７記載の格付けシステム。
29. 上記機械学習技術は、共役勾配降下法を用いることを特徴とする請求項２６記載の格付けシステム。
30. 上記関連性モデルは、特定のユーザの検索クエリとドキュメントとの関連性スコアを決定するユーザ固有のパラメータのセットを決定することを特徴とする請求項２５記載の格付けシステム。
31. 上記関連性モデルは、ユーザのグループの検索クエリとドキュメントとの関連性スコアを決定するグループモデルのパラメータを決定することを特徴とする請求項３０記載の格付けシステム。
32. 上記関連性モデルを更新する１つ以上の特徴を保存するデータベースを更に備える請求項２５記載の格付けシステム。
33. 上記特徴は、タグと、ドキュメントにおけるタームの出現頻度と、ドキュメントのリンクテキストにおけるタームの出現頻度と、ドキュメントの抜粋におけるタームの出現頻度と、ドキュメントの要約におけるタームの出現頻度と、ドキュメントのアンカテキストにおけるタームの出現頻度と、ドキュメントの要約情報におけるタームの出現頻度と、ドキュメントの構成と、ドキュメントの長さと、ドキュメントの種類と、ドキュメントへのリンクと、検索結果リスト内のドキュメントの位置と、検索結果リストからドキュメントがアクセスされた回数と、タームスコアと、リンク構造とからなるグループから選択されることを特徴とする請求項３２記載の格付けシステム。
34. 上記特徴は、ユーザ表現と、ユーザ入力の時刻と、ドキュメントのユーザブロッキングと、ドキュメントのユーザ識別子と、ドキュメントのユーザ保存と、ドキュメントのユーザブックマーキングと、ドキュメントのユーザタグ付けと、ドキュメントのユーザ格付けとからなるグループから選択されることを特徴とする請求項３２記載の格付けシステム。
35. 上記特徴は、ドキュメントへのハイパーリンクと、検索結果リスト内のドキュメントの位置と、ドキュメントのユーザ格付けと、検索結果リストからドキュメントがアクセスされた回数とのうちの１つ以上を含むことを特徴とする請求項３２記載の格付けシステム。

Images