JP6521931B2 - モデル生成装置、クリックログ正解尤度算出装置、文書検索装置、方法、及びプログラム - Google Patents

Description

本発明は、モデル生成装置、クリックログ正解尤度算出装置、文書検索装置、方法、及びプログラムに関する。

概念検索は、検索対象の文書の集合から、ユーザが入力したクエリに概念的に適合する文書を検索するというものである。

以下の非特許文献１では、コーパスから、単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベースを生成する。各文書に対し、該文書中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該文書の概念ベクトルを生成する。クエリに対し、クエリ中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該クエリの概念ベクトルを生成し、各文書に対し、該クエリの概念ベクトルと、該文書の概念ベクトルとの類似度を算出する。検索結果として、類似度の降順にランキングした文書を表示する。あるいは、ある閾値以上の類似度をもつ文書を表示する。

別所克人, 内山俊郎, 内山匡, 片岡良治, 奥雅博,"単語・意味属性間共起に基づくコーパス概念ベースの生成方式,"情報処理学会論文誌, Vol.49, No.12, pp.3997-4006, Dec. 2008.

文書が、クエリの検索結果として正解であっても、文書の意味内容とクエリの意味内容に乖離がある場合、上記従来手法では類似度が低くなってしまうという課題がある。

これを解決する手法として、文書の方を、それに対応するクエリを含むように拡張するという手法がある。しかし、対応するクエリを人手で作成するのは多大なコストがかかるという課題がある。

検索システムにおいて、一般にユーザは、入力したクエリに対する検索結果文書群の中で、クエリに関連すると思った文書をクリックする。それ故、ユーザがクリックした文書は、クエリの検索結果として妥当である可能性が高い。このようなユーザが入力したクエリとクリックした文書との対の集合であるクリックログがある場合、クリックした文書を、対応するクエリで拡張すれば、上記の人手作成のコストを無くすことができる。

しかしながら、クリックした文書が、クエリの検索結果として不正解である場合も多い。そのような場合、文書を、無関係なクエリで拡張することとなり、拡張した文書の概念ベクトルが妥当なものとならず、その結果、検索精度に問題がある。

本発明の目的は、この課題を解決して検索精度を向上させるモデル生成装置、クリックログ正解尤度算出装置、文書検索装置、方法、及びプログラムを提供することにある。

上記課題を解決するため、第１の発明に係るモデル生成装置は、クエリと文書との対の集合であるクリックログであって、所属する各対に正解であるか否かのラベルが付与されているクリックログを入力とし、単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベースと、クリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成する概念ベクトル生成手段と、クリックログ中の任意の対に対し、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成する素性ベクトル生成手段と、クリックログ中の任意の対の素性ベクトルとラベルとの組の集合から、任意の素性ベクトルの正解尤度を算出するための分類モデルを生成する分類モデル生成手段と、を含んで構成されている。

第２の発明に係るクリックログ正解尤度算出装置は、文書検索システムにおいて、ユーザが入力したクエリと、該クエリに対する検索結果文書群の中でユーザがクリックした文書との対の集合であるクリックログを対象とし、該クリックログ中の対に対し、該対の文書が、該対のクエリの検索結果として正解である度合いである正解尤度を算出するためのクリックログ正解尤度算出装置であって、クリックログを入力とし、単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベースと、任意の素性ベクトルの正解尤度を算出するための分類モデルと、クリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成する概念ベクトル生成手段と、クリックログ中の任意の対に対し、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成する素性ベクトル生成手段と、クリックログ中の任意の対に対し、該対の素性ベクトルと、該分類モデルにより、該対の正解尤度を推定する正解尤度推定手段と、を含んで構成されている。

第３の発明に係るクリックログ正解尤度算出装置は、検索対象の各文書に対し、該文書のテキストの重みを１とし、クリックログ中の該文書に対応する各クエリのテキストの重みを、該文書と該クエリの対の正解尤度とし、重みがある閾値以下のクエリのテキストは除外した上で、各テキストに含まれる単語の前記単語概念ベース中の概念ベクトルに、該単語の所属するテキストの重みを乗じた概念ベクトルを、各テキストの各単語にわたって加算し正規化した概念ベクトルを生成し、文書と該文書の概念ベクトルとの組の集合である文書概念ベースを生成する文書概念ベース生成手段をさらに含むようにすることができる。

第４の発明に係る文書検索装置は、クエリを入力とし、単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベースと、クリックログ正解尤度算出装置によって生成された、文書と、該文書の概念を表す概念ベクトルとの組の集合である文書概念ベースと、該クエリ中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該クエリの概念ベクトルを生成する概念ベクトル生成手段と、文書概念ベース中の各文書に対し、該クエリの概念ベクトルと、該文書の概念ベクトルとの類似度を算出する類似度算出手段と、を含んで構成されている。

第５の発明に係るモデル生成方法は、単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベース、概念ベクトル生成手段、素性ベクトル生成手段、及び分類モデル生成手段を含むモデル生成装置におけるモデル生成方法であって、クエリと文書との対の集合であるクリックログであって、所属する各対に正解であるか否かのラベルが付与されているクリックログを入力とし、概念ベクトル生成手段が、クリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成するステップと、素性ベクトル生成手段が、クリックログ中の任意の対に対し、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成するステップと、分類モデル生成手段が、クリックログ中の任意の対の素性ベクトルとラベルとの組の集合から、任意の素性ベクトルの正解尤度を算出するための分類モデルを生成するステップと、を含んで構成されている。

第６の発明に係るクリックログ正解尤度算出方法は、単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベース、任意の素性ベクトルの正解尤度を算出するための分類モデル、概念ベクトル生成手段、素性ベクトル生成手段、及び正解尤度推定手段を含み、文書検索システムにおいて、ユーザが入力したクエリと、該クエリに対する検索結果文書群の中でユーザがクリックした文書との対の集合であるクリックログを対象とし、該クリックログ中の対に対し、該対の文書が、該対のクエリの検索結果として正解である度合いである正解尤度を算出するためのクリックログ正解尤度算出装置におけるクリックログ正解尤度算出方法であって、クリックログを入力とし、概念ベクトル生成手段が、クリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成するステップと、素性ベクトル生成手段が、クリックログ中の任意の対に対し、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成するステップと、正解尤度推定手段が、クリックログ中の任意の対に対し、該対の素性ベクトルと、該分類モデルにより、該対の正解尤度を推定するステップと、を含んで構成されている。

第７の発明に係るクリックログ正解尤度算出方法は、文書概念ベース生成手段が、検索対象の各文書に対し、該文書のテキストの重みを１とし、クリックログ中の該文書に対応する各クエリのテキストの重みを、該文書と該クエリの対の正解尤度とし、重みがある閾値以下のクエリのテキストは除外した上で、各テキストに含まれる単語の前記単語概念ベース中の概念ベクトルに、該単語の所属するテキストの重みを乗じた概念ベクトルを、各テキストの各単語にわたって加算し正規化した概念ベクトルを生成し、文書と該文書の概念ベクトルとの組の集合である文書概念ベースを生成するステップをさらに含むようにすることができる。

第８の発明に係るプログラムは、コンピュータを、上記モデル生成装置、上記クリックログ正解尤度算出装置、又は上記文書検索装置の各手段として機能させるためのプログラムである。

本発明のモデル生成装置、クリックログ正解尤度算出装置、文書検索装置、方法、及びプログラムによれば、検索精度を向上させることができる、という効果を有する。

検索システムの画面例を示す図である。 検索結果である文書の詳細情報の展開表示例を示す図である。 対象対を構成する対象クエリ及び対象文書の概念ベクトル空間内の位置関係を説明するための説明図である。 対象対を構成する対象クエリ及び対象文書の概念ベクトル空間内の位置関係を説明するための説明図である。 本発明の実施の形態に係るモデル生成装置の機能的構成を示すブロック図である。 検索対象文書群の例を示す図である。 クリックログの例を示す図である。 正解であるか否かのラベルが付与されたクリックログの例を示す図である。 単語概念ベースの例を示す図である。 クエリＩＤと該クエリＩＤの概念ベクトルとの組の集合の例を示す図である。 文書ＩＤと該文書ＩＤの概念ベクトルとの組の集合の例を示す図である。 クリックログ中の対と該対に対応する素性ベクトルとの組の集合の例を示す図である。 本発明の実施の形態に係るクリックログ正解尤度算出装置の機能的構成を示すブロック図である。 クリックログ中の対と該対に対応する正解尤度の例を示す図である。 検索対象の文書の概念ベクトルにクエリを反映する処理を説明するための説明図である。 本発明の実施の形態に係る文書検索装置の機能的構成を示すブロック図である。 本発明の実施の形態に係るモデル生成装置におけるモデル生成処理ルーチンを示すフローチャート図である。 本発明の実施の形態に係るクリックログ正解尤度算出装置におけるクリックログ正解尤度算出処理ルーチンを示すフローチャート図である。 本発明の実施の形態に係る文書検索装置における文書検索処理ルーチンを示すフローチャート図である。

以下、図面とともに本発明の実施の形態を説明する。

＜本発明の実施の形態の概要＞
本発明の実施の形態で対象とするクリックログは、検索システムにおいて蓄積されるものである。図１は、検索システムの画面例であり、検索窓にクエリを入力すると、検索結果の文書群が提示される。一般にユーザは、クエリに関連すると思った文書をクリックする。図１で、Ｄ５の文書をクリックすると、その後のシステムの挙動として、例えば図２のように、文書Ｄ５の詳細情報が展開表示される。システムによっては、文書の内容が役に立ったか、あるいは、役に立たなかったかを選択するボタンが提示される。ユーザは、そのボタンを押さない場合もあれば、いずれかのボタンを押す場合もある。図２では、Ｄ５の詳細情報が、同一画面上に展開されているが、システムによっては、別ウィンドウが出現して、その中にＤ５の詳細情報が表示される。

このような入力クエリと、その検索結果文書群、検索結果文書群の中でユーザがどの文書をクリックしたか、ユーザが「役に立った」ボタンを押したか、あるいは、「役に立たなかった」ボタンを押したか、といったログ情報が蓄積される。本発明の実施の形態では、ユーザが入力したクエリと、該クエリに対する検索結果文書群の中でユーザがクリックした文書との対の集合を、クリックログと呼ぶ。

クリックログ中の対に対し、該対の文書が、該対のクエリの検索結果として正解である度合いを正解尤度と呼ぶ。以下、本発明の実施の形態の正解尤度算出のベースとなる考えを述べる。

本発明の実施の形態では、検索対象の文書も、入力クエリも、全て概念ベクトルに変換する。図３のように、対象対を構成する対象クエリと対象文書は、概念ベクトル空間内の点として表現される。対象クエリ、対象文書のそれぞれに対し、点線で囲んだ近傍をとる。クリックログ中の対で、そのクエリが対象クエリの近傍内にあり、その文書が対象文書の近傍内にある対を、対象対の近傍内の対と呼ぶ。

本発明の実施の形態では、以下の仮説１を置いている。

（仮説１）
・対象対が正解である場合、近傍内の他の対の数が多い。
・対象対が不正解である場合、近傍内の他の対の数が少ない。

この仮説は、対象対を支持する他の対の数が多ければ、対象対の正解尤度は高いという考えに基づいている。すなわち、対象クエリと意味の近い入力クエリに対し、対象文書と意味の近い文書をクリックした事例の数が多ければ、対象対の正解尤度は高いという考えである。

実際にクリックログデータをとり、統計をとると、近傍内の他の対の数は、正解対象対の方が、不正解対象対よりも多い傾向があり、仮説1は正しい傾向がある。したがって、近傍内の他の対の数が多ければ、対象対の正解尤度は高く、近傍内の他の対の数が少なければ、対象対の正解尤度は低いということがいえる。

図３の対象対は、近傍内の他の対が１個であり、図４の対象対は、近傍内の他の対が４個であるため、図４の対象対の正解尤度は、図３の対象対の正解尤度より高いということがいえる。

また、各対象対には、該対のクエリを入力し、該対の文書をクリックしたユーザが紐づいている。

本発明の実施の形態では、以下の仮説２を置いている。

（仮説２）
・対象対が正解である場合、近傍内の他の対に紐づくユーザの異なりの数が多い。
・対象対が不正解である場合、近傍内の他の対に紐づくユーザの異なりの数が少ない。

この仮説は、対象対を支持するユーザの数が多ければ、対象対の正解尤度は高いという考えに基づいている。すなわち、近傍内の他の対の数がＮ個のとき、紐づくユーザの異なりの数が少数の場合（例えば１人がＮ回、入力とクリックを行ったような場合）は、少数のユーザが恣意的にクリックしている可能性もあり、そのような場合は対象対の信頼性は低く、逆に、紐づくユーザの異なりの数が多数の場合（例えばＮ人が１回ずつ、入力とクリックを行ったような場合）は、対象対の信頼性は高いという考えである。

実際にクリックログデータをとり、統計をとると、近傍内の他の対に紐づくユーザの異なりの数は、正解対象対の方が、不正解対象対よりも多い傾向があり、仮説２は正しい傾向がある。したがって、近傍内の他の対に紐づくユーザの異なりの数が多ければ、対象対の正解尤度は高く、近傍内の他の対に紐づくユーザの異なりの数が少なければ、対象対の正解尤度は低いということがいえる。

また、「役に立った」ボタン、「役に立たなかった」ボタンがある場合、対象対について、ユーザが「役に立った」ボタンあるいは「役に立たなかった」ボタンを押したということは、ユーザが対象対に対し明確に支持あるいは不支持をしたことを意味する。本発明の実施の形態は、対象対が「役に立った」（あるいは「役に立たなかった」）に該当する場合や、対象対の近傍内の他の「役に立った」（あるいは「役に立たなかった」）に該当する対の数が多い場合に、対象対の正解尤度は高い（あるいは低い）と捉える。

以上述べた、対象対の近傍内の他の対の数などの、正解尤度の各種決定因子に対し、正解尤度を算出するための決定因子の重み係数を、本発明の実施の形態では、機械学習により獲得する。以下で説明する、第１の発明の実施の形態に係るモデル生成装置は、機械学習における学習処理を規定したものである。モデル生成装置は、所属する各対に正解であるか否かのラベルが付与されているクリックログを入力とし、クリックログ中の任意の対に対し、各種決定因子に相当する素性を抽出することにより、該対の素性ベクトルを生成し、素性ベクトルとラベルとの組の集合から分類モデルを生成する。

また、第２の発明の実施の形態に係るクリックログ正解尤度算出装置は、機械学習における推定処理を規定したものである。クリックログ正解尤度算出装置は、学習処理で用いたクリックログとは別の、所属する各対に正解であるか否かのラベルが付与されていないクリックログを入力とし、クリックログ中の任意の対に対し、学習処理で抽出した素性と同一の素性を抽出することにより、該対の素性ベクトルを生成し、該素性ベクトルと分類モデルとから、該対の正解尤度を推定する。

また、第３の発明の実施の形態に係るクリックログ正解尤度算出装置は、推定した正解尤度を考慮して、検索対象の各文書の概念ベクトルを生成する処理を規定したものである。クリックログ正解尤度算出装置は、文書を、推定処理で用いたクリックログ中の該文書に対応する各クエリを追加することにより拡張する。但し、該クエリの意味内容は、該文書と該クエリとの対の正解尤度分だけ反映させるようにする。このため、該文書の概念ベクトルを生成するにあたり、該クエリ中の各単語の概念ベクトルに、該正解尤度を乗じた概念ベクトルを加算していく。正解尤度の低い対のクエリは、該文書に無関係であるため、上記の処理から除外する。このように、追加クエリの意味内容を正解尤度の分だけ、文書の概念ベクトルに反映させるため、不正解の対のクエリの影響が無くなり、文書の概念ベクトルが、より適切なものとなる。

また、第４の発明の実施の形態に係る文書検索装置は、第３の発明の実施の形態に係るクリックログ正解尤度算出装置で生成した検索対象文書の概念ベクトルの集合を対象とした概念検索を規定している。ある文書の概念ベクトル生成において追加したクエリと意味内容の近い新規のクエリが入力されたとき、該文書は該新規クエリの正解の検索結果である。拡張後の該文書の意味内容は、該新規クエリの意味内容を包含しているため、該新規クエリの概念ベクトルと、該文書の概念ベクトルとの類似度は、拡張前よりも、拡張後の方が、より高くなる。これにより、検索精度が従来手法と比べ高くなる。

なお、学習処理の入力となるクリックログの各対には、正解であるか否かのラベルが付与されており、このラベル付与には人手によるコストがかかる。しかしながら、一旦、あるクリックログデータに対し、このラベル付与の作業をして学習処理にかけ、分類モデルを生成しておけば、全くの別の検索対象文書及びそれを用いた文書検索システムのクリックログデータに対しても、該分類モデルを用いて推定処理を行い、適確な正解尤度を推定できる。このため、人手によるラベル付与作業のコストは、最初の１回分で済む。

以上述べたように、本発明の実施の形態では、クリックログ中の対に対し、該対の文書が、該対のクエリの検索結果として正解である度合いである正解尤度を推定し、正解尤度を考慮して、検索対象の文書の概念ベクトルを生成するので、不正解の対のクエリの影響が無くなり、その結果、検索精度が向上するという効果がある。

＜モデル生成装置の構成＞
本発明の実施の形態に係るモデル生成装置の構成について説明する。図５は、第１の発明の実施の形態に係るモデル生成装置の構成例である。図５に示すように、本発明の実施の形態に係るモデル生成装置１００は、ＣＰＵと、ＲＡＭと、後述する各処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このモデル生成装置１００は、機能的には図５に示すように入力手段１０と、演算手段２０とを備えている。

図６に、検索対象文書群の例を示す。各文書は、文書ＩＤと文書テキストとからなり、文書ＩＤによって一意に識別される。

図７は、図６の検索対象文書群を検索対象とした文書検索システムにおいて蓄積されたクリックログの例を示す表である。各レコードは、クリックログ中のクエリと該クエリに対応するクリック文書のリストからなる。

クエリは、クエリＩＤとクエリテキストからなり、クエリＩＤは、入力したユーザのＩＤであるユーザＩＤと、該ユーザの何番目の入力かを表す入力ＩＤからなる。クエリは、クエリＩＤによって一意に識別され、異なるクエリＩＤのテキストが同一の場合もありえる。クエリＩＤによっては、クリック文書リストが空の場合もある。

クリックログ中の対は、クエリＩＤと該クエリＩＤに対応するクリック文書ＩＤとの対であるともいえる。

クリック文書は、「役に立った」ボタンを押された文書（表中の「役に立った」のカラム）、「役に立たなかった」ボタンを押された文書（表中の「役に立たなかった」のカラム）、いずれのボタンも押されなかった文書（表中の「−」のカラム）からなる。検索システムに「役に立った」ボタン、「役に立たなかった」ボタンがない場合は、表中の「役に立った」カラム、「役に立たなかった」カラムは無い。

入力手段１０は、所属する各対に正解であるか否かのラベルが付与されているラベル付クリックログを入力として受け付ける。図８は、クリックログ中の各対に対し、正解であるか否かのラベルを付与したデータの例である。正解の対には１が付与され、不正解の対には０が付与されている。

演算手段２０は、単語概念ベース２２と、概念ベクトル生成手段２４と、素性ベクトル生成手段２６と、分類モデル生成手段２８と、分類モデル記憶部３０とを含んで構成されている。

単語概念ベース２２は、単語と、該単語の概念を表す概念ベクトルとの組の集合である。図９は、単語概念ベース２２の例である。単語概念ベース２２は、例えば、非特許文献１の手法によって生成される。単語概念ベース２２には、名詞、動詞、形容詞等の内容語のみを登録するというようにしてもよい。単語概念ベース２２において単語は、該単語の終止形で登録されており、単語概念ベース２２を検索する際は、単語の終止形で検索する。各単語の概念ベクトルは長さ１に正規化されたｄ次元ベクトルであり、概念的に近い単語の概念ベクトルは、近くに配置されている。

概念ベクトル生成手段２４は、クリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の単語概念ベース２２中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成する。以下、具体的に説明する。

概念ベクトル生成手段２４は、クリックログ中の各クエリＩＤに対し、該クエリＩＤのテキスト中の単語の単語概念ベース２２中の概念ベクトルを加算し長さ１に正規化することにより、該クエリＩＤの概念ベクトルを生成する。図１０は、クエリＩＤと該クエリＩＤの概念ベクトルとの組の集合の例である。

また、概念ベクトル生成手段２４は、図６に示すデータ、あるいは、クリックログ中の文書ＩＤの異なりのみから作成した図６相当のデータを使用し、該データ中の各文書ＩＤに対し、該文書ＩＤのテキスト中の単語の単語概念ベース２２中の概念ベクトルを加算し長さ１に正規化することにより、該文書ＩＤの概念ベクトルを生成する。図１１は、文書ＩＤと該文書ＩＤの概念ベクトルとの組の集合の例である。

素性ベクトル生成手段２６は、クリックログ中の任意の対に対し、概念ベクトル生成手段２４によって生成された、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成する。以下、具体的に説明する。

素性ベクトル生成手段２６は、対象対を構成する対象クエリＩＤの概念ベクトルを中心とする、あらかじめ定めた半径ｒの円の内部を近傍としてとる。また、素性ベクトル生成手段２６は、対象対を構成する対象文書ＩＤの概念ベクトルを中心とする、あらかじめ定めた半径ｒ’の円の内部を近傍としてとる。クリックログ中の対で、そのクエリＩＤの概念ベクトルが対象クエリＩＤの近傍内にあり、その文書ＩＤの概念ベクトルが対象文書ＩＤの近傍内にある対を、対象対の近傍内の対と呼ぶ。

素性ベクトル生成手段２６によって生成される素性の例として、以下が挙げられる。

（１）近傍内の他の対の数
（２）近傍内の他の対のクエリＩＤを構成するユーザＩＤの異なりの数

また、（１）、（２）の数の割合としての以下の素性も挙げられる。

（３）（１）の数の、［クリックログ中のクエリＩＤの異なりの数］×［検索対象の文書ＩＤの数］に占める割合
（４）（２）の数の、［クリックログ中のクエリＩＤを構成するユーザＩＤの異なりの数］に占める割合

なお、検索対象文書数や入力クエリ数が増大するにつれ、一般に、近傍内の（１）、（２）の数も比例して増大するため、（３）、（４）の素性は、データ量に依存しない特徴量となる。

また、検索システムに「役に立った」ボタン、「役に立たなかった」ボタンがある場合、素性の例として以下も挙げられる。

（５）対象対が「役に立った」に該当するか否か
（６）対象対が「役に立たなかった」に該当するか否か
（７）近傍内の他の対で、「役に立った」に該当する対の数
（８）近傍内の他の対で、「役に立たなかった」に該当する対の数
（９）近傍内の他の対で、「役に立った」に該当する対のクエリＩＤを構成するユーザＩＤの異なりの数
（１０）近傍内の他の対で、「役に立たなかった」に該当する対のクエリＩＤを構成するユーザＩＤの異なりの数
（１１）（７）の数の、［クリックログ中のクエリＩＤの異なりの数］×［検索対象の文書ＩＤの数］に占める割合
（１２）（８）の数の、［クリックログ中のクエリＩＤの異なりの数］×［検索対象の文書ＩＤの数］に占める割合
（１３）（９）の数の、［クリックログ中のクエリＩＤを構成するユーザＩＤの異なりの数］に占める割合
（１４）（１０）の数の、［クリックログ中のクエリＩＤを構成するユーザＩＤの異なりの数］に占める割合

他に、近傍内の他の対を、以下のように分け、そのそれぞれに関する素性を設定することもできる。

・クエリＩＤが対象クエリＩＤと同一で、文書ＩＤが対象文書ＩＤと異なる対
・クエリＩＤが対象クエリＩＤと異なり、文書ＩＤが対象文書ＩＤと同一の対
・クエリＩＤが対象クエリＩＤと異なり、文書ＩＤが対象文書ＩＤと異なる対

素性ベクトル生成手段２６は、対象対に対し、上記各素性の値を求め、素性ベクトルを生成する。図１２は、クリックログ中の対と、該対に対応する素性ベクトルとの組の集合の例である。

分類モデル生成手段２８は、素性ベクトル生成手段２６によって生成された、クリックログ中の任意の対の素性ベクトルとラベルとの組の集合から、任意の素性ベクトルの正解尤度を算出するための分類モデルを生成する。以下、具体的に説明する。

クリックログ中の各対に対し、図１２中の対応する素性ベクトルと、図８中の対応するラベルがあり、素性ベクトルとラベルとの組ができる。分類モデル生成手段２８は、この組の集合を入力として、サポートベクタマシン等の機械学習器にかけ、ラベルが１か０かの２値分類を解くための分類モデルを生成する。なお、分類モデルは０〜１の間の値を正解尤度として出力しても良い。

分類モデル記憶部３０には、分類モデル生成手段２８によって生成された分類モデルが記憶される。

＜クリックログ正解尤度算出装置の構成＞
次に、本発明の実施の形態に係るクリックログ正解尤度算出装置の構成について説明する。図１３は、第２又は第３の発明の実施の形態に係るクリックログ正解尤度算出装置の構成例である。図１３に示すように、本発明の実施の形態に係るクリックログ正解尤度算出装置２００は、ＣＰＵと、ＲＡＭと、後述する各処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。クリックログ正解尤度算出装置２００は、モデル生成装置１００の検索対象文書群とは必ずしも同一とは限らない検索対象文書群を検索対象とした文書検索システムにおいて、ユーザが入力したクエリと、該クエリに対する検索結果文書群の中でユーザがクリックした文書との対の集合であるクリックログを対象とし、該クリックログ中の対に対し、該対の文書が、該対のクエリの検索結果として正解である度合いである正解尤度を算出する。このクリックログ正解尤度算出装置２００は、機能的には図１３に示すように入力手段４０と、演算手段５０とを備えている。

入力手段４０は、モデル生成装置１００の処理で用いたクリックログとは別の、所属する各対に正解であるか否かのラベルが付与されていないクリックログを入力として受け付ける。クリックログ中の対も、クエリＩＤと該クエリＩＤに対応するクリック文書ＩＤとの対である。クリックログのデータ形式は、図７の形式、及び、図８からラベルのカラムを除いた形式となる。

演算手段５０は、単語概念ベース５２と、概念ベクトル生成手段５４と、素性ベクトル生成手段５６と、分類モデル記憶部６０と、正解尤度推定手段６２と、検索対象文書群記憶部６４と、文書概念ベース生成手段６６と、文書概念ベース６８とを含んで構成されている。

単語概念ベース５２は、単語と、該単語の概念を表す概念ベクトルとの組の集合である。単語概念ベース５２のデータ形式は、図９のデータ形式と同様である。単語概念ベース５２の内容は、モデル生成装置１００の単語概念ベース２２と異なっている場合もありえる。

概念ベクトル生成手段５４は、入力手段４０によって受け付けたクリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成する。概念ベクトル生成手段５４の処理内容は、モデル生成装置１００の概念ベクトル生成手段２４の処理内容と同じである。検索対象文書群及び単語概念ベース５２が、モデル生成装置１００のものと同一であり、かつ、モデル生成装置１００の概念ベクトル生成手段２４で、全検索対象文書ＩＤの概念ベクトルを生成していたならば、各文書ＩＤの概念ベクトルを生成する処理はせず、モデル生成装置１００の概念ベクトル生成手段２４で生成した各文書ＩＤの概念ベクトルをそのまま採用してもよい。

素性ベクトル生成手段５６は、入力手段４０によって受け付けたクリックログ中の任意の対に対し、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成する。素性ベクトル生成手段５６の処理内容は、モデル生成装置１００の素性ベクトル生成手段２６の処理内容と同じである。クリックログ中の各対に対し、モデル生成装置１００の素性ベクトル生成手段２６の処理で抽出した素性と同一の素性の値を抽出し、素性ベクトルを生成する。

分類モデル記憶部６０に記憶された分類モデルは、モデル生成装置１００の処理で生成した分類モデルと同一である。

正解尤度推定手段６２は、クリックログ中の任意の対に対し、素性ベクトル生成手段５６によって生成された該対の素性ベクトルと、分類モデル記憶部６０に記憶された分類モデルにより、該対の正解尤度を推定する。以下、具体的に説明する。クリックログ中の各対に対し、対応する素性ベクトルと分類モデルとから、分類先ラベルが１である尤度を算出する。なお、分類モデルは０〜１の間の値を正解尤度として出力しても良い。この尤度を、該対の推定された正解尤度とする。図１４は、クリックログ中の対と、該対に対応する正解尤度の例である。

検索対象文書群記憶部６４には検索対象文書群が格納される。検索対象文書群記憶部６４のデータ形式は、図６のデータ形式である。検索対象文書群の内容は、モデル生成装置１００の検索対象文書群と異なっている場合もありえる。

文書概念ベース生成手段６６は、検索対象文書群記憶部６４の検索対象の各文書に対し、該文書のテキストの重みを１とし、クリックログ中の該文書に対応する各クエリのテキストの重みを、該文書と該クエリの対の正解尤度とし、重みがある閾値以下のクエリのテキストは除外した上で、各テキストに含まれる単語の前記単語概念ベース５２中の概念ベクトルに、該単語の所属するテキストの重みを乗じた概念ベクトルを、各テキストの各単語にわたって加算し正規化した概念ベクトルを生成し、文書と該文書の概念ベクトルとの組の集合である文書概念ベース６８を生成する。以下、具体的に説明する。

図１５のように、検索対象の文書ＩＤに対し、該文書ＩＤのテキストの重みを１とし、クリックログ中の該文書ＩＤに対応する各クエリＩＤのテキスト（クエリ１，クエリ２，クエリ３）の重みを、該文書ＩＤと該クエリＩＤの対の正解尤度（０．９，０．６，０．３）とする。重みの閾値αをあらかじめ定めておく。α＝０．４とすると、クエリ３の重みは０．３でα以下となるので、クエリ３は、以降の処理で除外する。各テキストに含まれる単語の前記単語概念ベース５２中の概念ベクトルに、該単語の所属するテキストの重みを乗じた概念ベクトルを、各テキストの各単語にわたって加算し正規化した概念ベクトルを生成する。この例の場合、該文書ＩＤの概念ベクトルは以下のものとなる。

（１×単語１概念ベクトル＋１×単語２概念ベクトル＋０．９×単語３概念ベクトル＋０．９×単語４概念ベクトル＋０．６×単語５概念ベクトル＋０．６×単語６概念ベクトル）

そして、該文書ＩＤの概念ベクトルは、長さ１に正規化される。

そして、文書概念ベース生成手段６６は、検索対象の各文書ＩＤと該文書ＩＤの概念ベクトルとの組の集合である文書概念ベース６８を生成する。

文書概念ベース６８には、文書概念ベース生成手段６６によって生成された、検索対象の各文書ＩＤと該文書ＩＤの概念ベクトルとの組の集合が格納される。文書概念ベース６８のデータ形式は、図１１のデータ形式である。

＜文書検索装置の構成＞
次に、本発明の実施の形態に係る文書検索装置の構成について説明する。図１６は、第４の発明の実施の形態に係る文書検索装置の構成例である。図１６に示すように、本発明の実施の形態に係る文書検索装置３００は、ＣＰＵと、ＲＡＭと、後述する各処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この文書検索装置３００は、機能的には図１６に示すように入力手段７０と、演算手段８０と、出力手段９０とを備えている。

入力手段７０は、新規のクエリを入力として受け付ける。

演算手段８０は、単語概念ベース８２と、概念ベクトル生成手段８４と、文書概念ベース８６と、類似度算出手段８８とを含んで構成されている。

単語概念ベース８２は、単語と、該単語の概念を表す概念ベクトルとの組の集合である。単語概念ベース８２は、クリックログ正解尤度算出装置２００の処理で用いた単語概念ベース５２と同一である。

概念ベクトル生成手段８４は、入力手段７０によって受け付けた該クエリ中の単語の単語概念ベース８２中の概念ベクトルを合成することにより、該クエリの概念ベクトルを生成する。具体的には、概念ベクトル生成手段８４は、該クエリ中の単語の単語概念ベース８２中の概念ベクトルを加算し長さ１に正規化することにより、該クエリの概念ベクトルを生成する。概念ベクトル生成手段８４の処理内容は、モデル生成装置１００の概念ベクトル生成手段２４及びクリックログ正解尤度算出装置２００の概念ベクトル生成手段５４の処理内容と、入力がクエリであるということを除いて同じである。

文書概念ベース８６は、文書と、該文書の概念を表す概念ベクトルとの組の集合である。文書概念ベース８６は、クリックログ正解尤度算出装置２００の処理で生成した文書概念ベース６８と同一である。

類似度算出手段８８は、文書概念ベース８６中の各文書ＩＤに対し、概念ベクトル生成手段８４によって生成された該クエリの概念ベクトルと、該文書ＩＤの概念ベクトルとの類似度を算出する。類似度として、例えば内積をとってもよい。検索結果として、類似度の降順にランキングした文書を表示する。あるいは、ある閾値以上の類似度をもつ文書を表示する。

図１７は、モデル生成装置１００で実行される処理フローの一例である。モデル生成装置１００に、所属する各対に正解であるか否かのラベルが付与されているクリックログが入力されると、図１７に示すモデル生成処理ルーチンが実行される。

まず、ステップＳ１００において、入力手段１０は、所属する各対に正解であるか否かのラベルが付与されているクリックログを取得する。

そして、ステップＳ１０２において、概念ベクトル生成手段２４は、上記ステップＳ１００で取得したクリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の単語概念ベース２２中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成する。

ステップＳ１０４において、素性ベクトル生成手段２６は、上記ステップＳ１００で取得したクリックログ中の任意の対に対し、上記ステップＳ１０２で生成された該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成する。

ステップＳ１０６において、分類モデル生成手段２８は、上記ステップＳ１０４で生成されたクリックログ中の任意の対の素性ベクトルとラベルとの組の集合から、任意の素性ベクトルの正解尤度を算出するための分類モデルを生成する。

ステップＳ１０８において、分類モデル生成手段２８は、ステップＳ１０６で生成された分類モデルを分類モデル記憶部３０に格納して、モデル生成処理ルーチンを終了する。

図１８は、クリックログ正解尤度算出装置２００で実行される処理フローの一例である。クリックログ正解尤度算出装置２００に、クリックログが入力されると、図１８に示す正解尤度算出処理ルーチンが実行される。

まず、ステップＳ２００において、入力手段４０は、所属する各対に正解であるか否かのラベルが付与されていないクリックログを入力として取得する。

次に、ステップＳ２０２において、概念ベクトル生成手段５４は、上記ステップＳ２００で取得したクリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成する。

次に、ステップＳ２０４において、素性ベクトル生成手段５６は、上記ステップＳ２００で取得したクリックログ中の任意の対に対し、上記ステップＳ２０２で生成された該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成する。

そして、ステップＳ２０６において、正解尤度推定手段６２は、上記ステップＳ２００で取得したクリックログ中の任意の対に対し、上記ステップＳ２０４で生成された該対の素性ベクトルと、分類モデル記憶部６０に記憶された分類モデルにより、該対の正解尤度を推定する。

そして、ステップＳ２０８において、文書概念ベース生成手段６６は、検索対象文書群記憶部６４の検索対象の各文書に対し、該文書のテキストの重みを１とし、クリックログ中の該文書に対応する各クエリのテキストの重みを、上記ステップＳ２０６で推定された該文書と該クエリの対の正解尤度とし、重みがある閾値以下のクエリのテキストは除外した上で、各テキストに含まれる単語の前記単語概念ベース５２中の概念ベクトルに、該単語の所属するテキストの重みを乗じた概念ベクトルを、各テキストの各単語にわたって加算し正規化した概念ベクトルを生成し、文書と該文書の概念ベクトルとの組の集合である文書概念ベース６８を生成して、正解尤度算出処理ルーチンを終了する。

図１９は、文書検索装置３００で実行される処理フローの一例である。文書検索装置３００に、新規のクエリが入力されると、図１９に示す文書検索処理ルーチンが実行される。

ステップＳ３００において、入力手段７０は、新規のクエリを入力として取得する。

ステップＳ３０２において、概念ベクトル生成手段８４は、上記ステップＳ３００で取得した該クエリ中の単語の単語概念ベース８２中の概念ベクトルを合成することにより、該クエリの概念ベクトルを生成する。

ステップＳ３０４において、類似度算出手段８８は、文書概念ベース８６中の各文書ＩＤに対し、上記ステップＳ３０２で生成された該クエリの概念ベクトルと、該文書ＩＤの概念ベクトルとの類似度を算出する。

ステップＳ３０６において、出力手段９０は、検索結果として、上記ステップＳ３０４で算出された類似度の降順にランキングした文書を表示して、文書検索処理ルーチンを終了する。

これまで述べた処理をプログラムとして構築し、当該プログラムを通信回線または記録媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。

なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明は、検索対象の文書の集合から、ユーザが入力したクエリに概念的に適合する文書を検索する概念検索技術に適用可能である。

１０，４０，７０ 入力手段
２０，５０，８０ 演算手段
２２，５２，８２ 単語概念ベース
２４，５４，８４ 概念ベクトル生成手段
２６，５６ 素性ベクトル生成手段
２８ 分類モデル生成手段
３０，６０ 分類モデル記憶部
６２ 正解尤度推定手段
６４ 検索対象文書群記憶部
６６ 文書概念ベース生成手段
６８，８６ 文書概念ベース
８８ 類似度算出手段
９０ 出力手段
１００ モデル生成装置
２００ クリックログ正解尤度算出装置
３００ 文書検索装置

Claims (8)

1. クエリと文書との対の集合であるクリックログであって、所属する各対に正解であるか否かのラベルが付与されているクリックログを入力とし、
   単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベースと、
   クリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成する概念ベクトル生成手段と、
   クリックログ中の任意の対に対し、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成する素性ベクトル生成手段と、
   クリックログ中の任意の対の素性ベクトルとラベルとの組の集合から、任意の素性ベクトルの正解尤度を算出するための分類モデルを生成する分類モデル生成手段と、
   を含むことを特徴とするモデル生成装置。
2. 文書検索システムにおいて、ユーザが入力したクエリと、該クエリに対する検索結果文書群の中でユーザがクリックした文書との対の集合であるクリックログを対象とし、該クリックログ中の対に対し、該対の文書が、該対のクエリの検索結果として正解である度合いである正解尤度を算出するためのクリックログ正解尤度算出装置であって、
   クリックログを入力とし、
   単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベースと、
   任意の素性ベクトルの正解尤度を算出するための分類モデルと、
   クリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成する概念ベクトル生成手段と、
   クリックログ中の任意の対に対し、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成する素性ベクトル生成手段と、
   クリックログ中の任意の対に対し、該対の素性ベクトルと、該分類モデルにより、該対の正解尤度を推定する正解尤度推定手段と、
   を含むことを特徴とするクリックログ正解尤度算出装置。
3. 検索対象の各文書に対し、該文書のテキストの重みを１とし、クリックログ中の該文書に対応する各クエリのテキストの重みを、該文書と該クエリの対の正解尤度とし、重みがある閾値以下のクエリのテキストは除外した上で、各テキストに含まれる単語の前記単語概念ベース中の概念ベクトルに、該単語の所属するテキストの重みを乗じた概念ベクトルを、各テキストの各単語にわたって加算し正規化した概念ベクトルを生成し、文書と該文書の概念ベクトルとの組の集合である文書概念ベースを生成する文書概念ベース生成手段をさらに含むことを特徴とする請求項２記載のクリックログ正解尤度算出装置。
4. クエリを入力とし、
   単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベースと、
   請求項３に記載のクリックログ正解尤度算出装置によって生成された、文書と、該文書の概念を表す概念ベクトルとの組の集合である文書概念ベースと、
   該クエリ中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該クエリの概念ベクトルを生成する概念ベクトル生成手段と、
   文書概念ベース中の各文書に対し、該クエリの概念ベクトルと、該文書の概念ベクトルとの類似度を算出する類似度算出手段と、
   を含むことを特徴とする文書検索装置。
5. 単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベース、概念ベクトル生成手段、素性ベクトル生成手段、及び分類モデル生成手段を含むモデル生成装置におけるモデル生成方法であって、
   クエリと文書との対の集合であるクリックログであって、所属する各対に正解であるか否かのラベルが付与されているクリックログを入力とし、
   概念ベクトル生成手段が、クリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成するステップと、
   素性ベクトル生成手段が、クリックログ中の任意の対に対し、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成するステップと、
   分類モデル生成手段が、クリックログ中の任意の対の素性ベクトルとラベルとの組の集合から、任意の素性ベクトルの正解尤度を算出するための分類モデルを生成するステップと、
   を含むことを特徴とするモデル生成方法。
6. 単語と、該単語の概念を表す概念ベクトルとの組の集合である単語概念ベース、任意の素性ベクトルの正解尤度を算出するための分類モデル、概念ベクトル生成手段、素性ベクトル生成手段、及び正解尤度推定手段を含み、文書検索システムにおいて、ユーザが入力したクエリと、該クエリに対する検索結果文書群の中でユーザがクリックした文書との対の集合であるクリックログを対象とし、該クリックログ中の対に対し、該対の文書が、該対のクエリの検索結果として正解である度合いである正解尤度を算出するためのクリックログ正解尤度算出装置におけるクリックログ正解尤度算出方法であって、
   クリックログを入力とし、
   概念ベクトル生成手段が、クリックログ中の各クエリ及び各文書のテキストに対し、該テキスト中の単語の該単語概念ベース中の概念ベクトルを合成することにより、該テキストの概念ベクトルを生成するステップと、
   素性ベクトル生成手段が、クリックログ中の任意の対に対し、該対のクエリの概念ベクトルの近傍内に、クエリの概念ベクトルが存在し、該対の文書の概念ベクトルの近傍内に、文書の概念ベクトルが存在するような、クリックログ中の対を近傍内対としたとき、近傍内対の数あるいは近傍内対に紐づく異なりユーザ数を含む素性を抽出することにより、該対の素性ベクトルを生成するステップと、
   正解尤度推定手段が、クリックログ中の任意の対に対し、該対の素性ベクトルと、該分類モデルにより、該対の正解尤度を推定するステップと、
   を含むことを特徴とするクリックログ正解尤度算出方法。
7. 文書概念ベース生成手段が、検索対象の各文書に対し、該文書のテキストの重みを１とし、クリックログ中の該文書に対応する各クエリのテキストの重みを、該文書と該クエリの対の正解尤度とし、重みがある閾値以下のクエリのテキストは除外した上で、各テキストに含まれる単語の前記単語概念ベース中の概念ベクトルに、該単語の所属するテキストの重みを乗じた概念ベクトルを、各テキストの各単語にわたって加算し正規化した概念ベクトルを生成し、文書と該文書の概念ベクトルとの組の集合である文書概念ベースを生成するステップをさらに含むことを特徴とする請求項６記載のクリックログ正解尤度算出方法。
8. コンピュータを、請求項１記載のモデル生成装置、請求項２若しくは請求項３記載のクリックログ正解尤度算出装置、又は請求項４記載の文書検索装置の各手段として機能させるためのプログラム。