JP5416552B2

JP5416552B2 - ランキング関数生成装置、ランキング関数生成方法、ランキング関数生成プログラム

Info

Publication number: JP5416552B2
Application number: JP2009254517A
Authority: JP
Inventors: 良彦数原; 浩之戸田; 良治片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2009-11-06
Filing date: 2009-11-06
Publication date: 2014-02-12
Anticipated expiration: 2029-11-06
Also published as: JP2011100302A

Description

本発明は、Ｗｅｂ検索システムにおいて，検索結果のランキングを実現するためのスコアを算出するランキング関数の生成技術に関する。

現在、インターネットの普及によって、インターネット上の膨大なＷｅｂページの集合からユーザが必要とする情報を、的確に検索するＷｅｂ検索システムの重要性が高まっている。このウェブ検索システムでは、検索結果のランキングを行うためのスコアを算出する。このスコア算出のためのランキング関数の生成には非特許文献１の技術が公知となっている。ここでは図２に示すように、ＷｅｂページＤＢ１０．特徴抽出機能部２０．人手正解ＤＢ３０．特徴ＤＢ４０．ランキング関数生成機能部９０を通じてランキング関数１００を生成している。

概略を説明すれば、ＷｅｂページＤＢ１０には、検索対象となる各Ｗｅｂページの情報が格納されている。また、人手正解ＤＢ３０には、人手によって付与された各クエリに対する各Ｗｅｂページのランキング情報、即ち各Ｗｅｂページの検索クエリに対する評価点数が格納されている。この人手正解ＤＢ３０の格納情報は、図示省略のクリックログを用いて作成される。ここでクリックログとは、Ｗｅｂ検索システムのログを意味し、ユーザが入力した検索クエリの検索結果に対するユーザのクリック情報の記録である。このクリック情報には、例えばある検索クエリにおいてＷｅｂページが何回クリックされたかというクリック数の情報が記録されている。

特徴抽出機能２０は、ＷｅｂページＤＢ１０の格納情報と人手正解ＤＢ３０の格納情報とを入力として、特徴ＤＢ４０の格納情報を生成する。例えば、ＷｅｂページＤＢ１０に格納されているＷｅｂページの本文情報を解析し，ページ内に人手正解ＤＢ３０に格納されたクエリが何回出現するかという特徴を抽出し、抽出された特徴を特徴ＤＢ４０に格納する。抽出する特徴は、クエリが当該Ｗｅｂページに何回出現するかという単語頻度（ＴｅｒｍＦｒｅｑｕｅｎｃｙ：ＴＦ）の他に、当該Ｗｅｂページの重要度などが用いられる。

ランキング関数生成機能部９０は、人手正解ＤＢ３０の格納情報と特徴ＤＢ４０の格納情報とをベースにランキング関数１００を生成する。このランキング関数生成の手法は、人手正解ＤＢ３０に格納されている評価点数に従ったランキングを再現するような関数を生成する。具体的には非特許文献１では「ＲａｎｋｉｎｇＳＶＭ」などのランキング関数生成手法が用いられ、その実装としては「ｓｖｍ＿ｒａｎｋ」などがある。

Ｔ．Ｊｏａｃｈｉｍｓ "ＯｐｔｉｍｉｚｉｎｇＳｅａｒｃｈＥｎｇｉｎｅｓＵｓｉｎｇＣｌｉｃｋｔｈｒｏｕｇｈＤａｔａ" ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡＣＭＣｏｎｆｅｒｅｎｃｅｏｎＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙａｎｄＤａｔａＭｉｎｉｎｇ（ＫＤＤ），ＡＣＭ，２００２

しかしながら、例えば新規追加されたＷｅｂページなどには、クリックログが記録されていないため、非特許文献１などの従来技術では、各Ｗｅｂページの検索クエリに対する評価点数が得られず、クリックログのクリック数を特徴として用いて学習したランキング関数を生成することができない。

このようにＷｅｂページ集合のすべてから抽出不可能な特徴を用いてランキング学習を行うと、当該特徴が付与されていないページに対して正しくランキング学習できない問題が生じる。

本発明は、上述のような従来技術の問題点を解決するためになされたものであり、特徴が付与されていないＷｅｂページの特徴値を推定し、Ｗｅｂページ集合のすべてから取得不可能な特徴を用いたランキング関数の生成を可能にすることを解決課題としている。

そこで、本発明は、Ｗｅｂページ集合のすべてから取得可能な特徴値をもとに、未知の特徴値を推定する推定器をあらかじめ生成する。この推定器を利用して特徴が付与されていないＷｅｂページの特徴値を推定する。

本発明の一態様は、検索クエリに基づきＷｅｂページの集合を検索した検索結果をランキングするためのランキング関数を生成する装置であって、
検索対象の各Ｗｅｂページのページ識別子と該ページの本文とを対応付けて格納するＷｅｂページデータベースと、検索ログに基づき検索クエリに対する検索対象のＷｅｂページのランクを前記ページ識別子と対応付けて格納する評価データベースと、Ｗｅｂページデータベースのページ識別子ごとに評価データベースの格納情報を取得し、該識別子に対応する検索クエリの前記ページ本文への関連度と、評価データベースの該識別子に応じたクエリとページ識別子とのペアについて特徴値を算出し、該特徴値を前記ページ識別子と前記クエリに対応付けて特徴データベースに格納する特徴抽出手段と、前記ページ識別子、検索クエリ、Ｗｅｂページのクリック情報をそれぞれ対応付けて格納するクリックログデータベースと、前記特徴データベースと前記クリックログデータベースのいずれにも格納されているページ識別子と検索クエリのペアを使って、該クリックログデータベースのクリック情報と特徴データベースの特徴値との関係を示す関数を持つ推定器を生成する推定器生成手段と、クリックログデータベースのページ識別子と検索クエリごとに推定器の関数に特徴データベースの特徴値を入力して算出した推定クリック情報を、前記ページ識別子と前記検索クエリとに対応付けて格納する推定クリックログデータベースと、評価データベースのページ識別子と検索クエリごとに、それぞれ対応する評価データベースのランクと特徴データベースの特徴値と推定クリックログデータベースの推定クリック情報とから順序付き学習を行ってランキング関数を生成するランキング関数生成手段と、を備える。

検索対象の各Ｗｅｂページのページ識別子と該ページの本文とを対応付けて格納するＷｅｂページデータベースと、検索ログに基づき検索クエリに対する検索対象のＷｅｂページのランクを前記ページ識別子と対応付けて格納する評価データベースと、前記ページ識別子、検索クエリ、Ｗｅｂページのクリック情報をそれぞれ対応付けて格納するクリックログデータベースと、を備えたランキング関数生成装置を通じて、検索クエリに基づきＷｅｂページの集合を検索した検索結果をランキングするためのランキング関数を生成する方法であって、特徴抽出手段が、Ｗｅｂページデータベースのページ識別子ごとに評価データベースの格納情報を取得し、該識別子に対応する検索クエリの前記ページ本文への関連度と、評価データベースの該識別子に応じたクエリとページ識別子とのペアについて特徴値を算出し、該特徴値を前記ページ識別子と前記クエリとに対応付けて特徴データベースに格納するステップと、推定器生成手段が、前記特徴データベースと前記クリックログデータベースのいずれにも格納されているページ識別子と検索クエリのペアを使って、該クリックログデータベースのクリック情報と特徴データベースの特徴値との関係を示す関数を持つ推定器を生成するステップと、クリックログデータベースのページ識別子と検索クエリごとに推定器の関数に特徴データベースの特徴値を入力して算出した推定クリック情報を、前記ページ識別子と前記検索クエリとに対応付けて推定クリックログデータベースに格納するステップと、ランキング関数生成手段が、評価データベースのページ識別子と検索クエリごとに、それぞれ対応する評価データベースのランクと特徴データベースの特徴値と推定クリックログデータベースの推定クリック情報とから順序付き学習を行ってランキング関数を生成するステップと、を有する。

なお、本発明は、前記装置としてコンピュータを機能させるためのランキング関数生成プログラムの態様としてもよく、また該プログラムを記録した記録媒体の態様で提供してもよい。

本発明によれば、特徴が付与されていないＷｅｂページの特徴値を推定できるため、ランキング関数生成に用いる特徴が増加し、精度の高いより適切なランキング関数が生成される。

本発明の実施形態に係るランキング関数生成装置の構成図。従来のランキング関数生成装置の構成図。

以下、本発明の好ましい実施形態を説明する。ここでは従来の装置構成にＷｅｂページの利用情報、例えばクリックログのクリック数などの特徴を推定する機能部が追加されている。すなわち、従来技術によれば、前記クリック数などすべてのＷｅｂページについて取得不可能な特徴を用いてランキング関数を生成することは困難であった。

そこで、Ｗｅｂページ集合のすべてから取得可能な特徴を用いて、前記クリック数などを推定する特徴推定機能手段を追加し、クリックログなどのような特徴値を推定することで、すべてのＷｅｂページについて取得不可能な特徴を用いたランキング関数の生成を可能にさせている。

≪装置構成例≫
図１に基づき本発明の実施形態に係るランキング関数生成装置を説明する。このランキング関数生成装置１は、図示省略のユーザ端末からの検索命令に従ってＷｅｂページ集合を検索するＷｅｂ検索システム（いわゆる検索エンジン）を構成する。

具体的にはランキング関数生成装置１は、通常のコンピュータのハードウェアリソース、例えばＣＰＵ，メモリ（ＲＡＭ），ハードディスクドライブ装置，通信インタフェースなどを備えている。このハードウェアリソースとソフトウェアリソース（ＯＳ，アプリケーションなど）との協働の結果、ランキング関数生成装置１は、ＷｅｂページＤＢ１０，特徴抽出機能部２０，人手正解ＤＢ３０，特徴ＤＢ４０，ランキング関数生成機能部９０，特徴推定機能手段２を実装する。ここでは特徴推定機能手段２が追加されている点で図２の従来装置と相違している。

特徴推定機能手段２は、Ｗｅｂ検索システムのログ、即ちユーザが入力した検索クエリの検索結果に対するユーザのクリック情報（クリック数など）を格納するクリックログＤＢ５０と、特徴ＤＢ４０の格納情報とクリックログＤＢ５０の記録情報とを入力として１変数関数／多変数関数を持つ特徴推定器７０を生成・出力する推定器生成機能部６０と、特徴ＤＢ４０の格納情報を特徴推定器７０に入力して算出された推定クリック数を格納する推定クリックログＤＢ８０と、を有している。なお、各ＤＢ１０．３０．４０．５０．８０は、いずれもハードディスクドライブ装置上に構築されているものとする。以下、各部１０〜９０の詳細を説明する。

≪各部１０〜４０の詳細≫

表１は、ＷｅｂページＤＢ１０に格納されたデータ構造例を示している。ここでは検索対象の各Ｗｅｂページに対して一意に付与されるページ識別子と、該各ＷｅｂページのＵＲＬと、該各Ｗｅｂページの本文情報とがそれぞれペアに対応付けられて格納されている。

表２は、人手正確ＤＢ３０に格納されたデータ構造例を示し、ページ識別子ごとに検索クエリに対するＷｅｂページの評価値がランクという値で格納されている。ここでは「検索装置」というクエリにおいてＷｅｂページＡが１０点．ＷｅｂページＢが８点という評価点数が格納されている。なお、表２では評価点数が高ければより適切な検索結果として示されている。

特徴抽出機能部２０は，特徴量抽出ステップを実施する。すなわち、特徴値抽出処理を用いて、ＷｅｂページＤＢ１０の格納データと人手正解ＤＢ３０の格納データとを入力として、人手正解ＤＢ３０に含まれる＜クエリ，ページ識別子＞のペアについて特徴を抽出し、抽出した特徴を出力する。ここで出力された特徴の値は特徴ＤＢ４０に格納される。

特徴値抽出処理によってＷｅｂページから特徴を抽出する方法としては、例えば非特許文献１記載のクエリとＵＲＬのコサイン類似度、クエリとタイトルのコサイン類似度、クエリが当該ＵＲＬのドメイン名を含むか否か、ＵＲＬ長、ドメインの国名、ＵＲＬがチルダ記号を含むか否かなどが挙げられる。使用される特徴の種類はあらかじめ設定されているものとする。ここでは一例としてクエリがページに出現する回数を用いるものとする。

特徴抽出機能部２０は、クリックログＤＢ５０に格納されていないＷｅｂページの＜クエリ，ページ識別子＞ペアについても、他のＷｅｂページと同様にＷｅｂページＤＢ１０の格納情報と人手正解ＤＢ３０の格納情報とから特徴値を抽出し、特徴ＤＢ４０に格納しておくものとする。

表３は、特徴ＤＢ４０に格納されるデータ構造例を示している。ここでは検索ランキングに用いられるウェブページの特徴は、例えばクエリのＷｅｂページ内に含まれる頻度（単語頻度）のように、検索クエリによって値が変化する場合があるため、＜クエリ，ページ識別子＞のペアと、各ペアのそれぞれの特徴値を対応付けて格納されている。

表３のデータ構造例によれば、ＷｅｂページＡが検索クエリ「検索装置」で検索された場合における特徴１の値「１０．７」、特徴２の値「５．２」、特徴Ｋの値「１０」が格納されている。また、ＷｅｂページＢが検索クエリ「検索装置」で検索された場合における特徴１の値「９．５」、特徴２の値「８．３」、特徴Ｋの値「８」も格納されている。

≪特徴推定機能手段２の詳細≫
（１）クリックログＤＢ５０

表４は、クリックログＤＢ５０に格納されるデータ構造例を示している。ここでは検索クエリに対してあるＷｅｂページが何回クリックされたかというクリック情報が＜クエリ，ページ識別子＞のペアに対応付けて格納されている。

表４のデータ構造例によれば、「検索装置」というクエリによってＷｅｂページＡが３００回、ＷｅｂページＢが２５０回クリックされているという情報がそれぞれ前記ペアに対応付けて格納されている。

（２）推定器生成機能部６０
推定器生成機能部６０は、クリックログＤＢ５０の格納データと特徴ＤＢ４０の格納データとを入力として推定器生成ステップを実施し、クリック数を推定するための特徴推定器７０を生成する。特徴推定器７０の生成は以下のように行う。

すなわち、クリックログがクリックログＤＢ５０に記録された後に追加された新規Ｗｅｂページなどについては、クリックログＤＢ５０には該Ｗｅｂページに関する情報が格納されていない。その一方で、特徴ＤＢ４０には、前述のようにクリックログＤＢ５０には格納されていない＜クエリ，ページ識別子＞ペアに対応するＷｅｂページの情報が、他のＷｅｂページと同様に格納されている。

そこで、特徴ＤＢ４０とクリックログＤＢ５０のいずれにも格納されている＜クエリ、ページ識別子＞ペアを使って特徴ＤＢ４０に格納された１つ以上の特徴値とクリック数の関係を示す１変数関数／多変数関数を生成し、その１変数関数／多変関数を用いて特徴ＤＢ４０に格納された１つ以上の特徴値からクリック数を推定する特徴推定器７０を生成する。

すなわち、推定器生成機能部６０は，関数生成処理を用いてＷｅｂページの１つ以上の特徴値を入力として推定クリック数を出力する１変数関数／多変数関数を持つ特徴推定器７０の生成機能部である。ここで関数生成処理における当該１変数関数／多変数関数の生成には、例えば回帰分析手法である最小二乗法による線形回帰やロジスティック回帰、順序付き学習手法である非特許文献１の「ＲａｎｋｉｎｇＳＶＭ」のような手法を用いることができる。

（３）特徴推定器７０
推定器生成機能部６０により生成された特徴推定器７０は、特徴ＤＢ４０の格納情報、即ちＷｅｂページの特徴値を入力として、推定クリック数算出ステップを実施し、１変数関数あるいは多変数関数を用いて推定クリック数を算出する。

例えば、一つの特徴値を入力とする場合には１変数関数「ｙ＝ｆ（ｘ）」を用いて推定クリック数を算出する。一方、複数の特徴値を入力とする場合には多変数関数「ｙ＝ｆ（ｘ₁，ｘ₂，ｘ₃．．．，ｘ_n）」を用いて推定クリック数を算出する。ここでは「ｙ＝推定クリック数」、「ｘ＝特徴値」とする。なお、多変数関数を用いる場合は算出のベースとなる特徴値が多く、推定クリック数の精度向上が期待できる。

算出された推定クリック数は、推定クリックログＤＢ８０に出力され、該ＤＢ８０に格納される。表５は、推定クリックログＤＢ８０に格納されるデータ構造例を示している。ここでは「インデクス」というクエリで検索されたページＡについて、特徴ＤＢ４０における＜インデクス，ページＡ＞の各特徴値を特徴推定器７０に入力し、出力された推定クリック数を検索クエリとページ識別子に対応付けて格納されている。また、ページＢについても同様に推定クリック数が格納されている。

なお、クリッログＤＢ５０にクリック数が≪クエリ，ページ識別子≫のペアに対応付けて格納されているＷｅｂページについては、クリックログＤＢ５０に格納されたクリック数を推定クリック数として推定クリックログＤＢ８０に格納してもよい。

≪ランキング関数生成機能部９０の詳細≫
ランキング関数生成機能部９０は、ランキング関数生成ステップを実施し、人手正解ＤＢ３０の格納データと、特徴ＤＢ４０の格納データと、推定クリックログＤＢ８０の格納データとを入力として、ランキング関数１００を生成する。通常は、＜クエリ，ページ識別子＞ペアに対して表２の評価点数（ランク）および表３の特徴値が付与されていれば、非特許文献１のようなランキング関数生成手法を用いて、ランキング関数１００を生成できる。

ここではランキング関数生成機能部９０は、特徴ＤＢ４０に含まれているＫ個の特徴値に加え、推定クリックログＤＢ８０に格納された推定クリック数という特徴値を＜クエリ，ページ識別子＞ペアの特徴値として追加する。具体的には、Ｋ＋１個の特徴値と、人手正解ＤＢ３０に格納された評価値（ランク）を入力とし、ある２つの＜クエリ，ページ識別子＞ペアに注目した際にランクがより高い＜クエリ，ページ識別子＞ペアが、ランクがより低い＜クエリ，ページ識別子＞ペアよりも高い値を出力するような関数を生成する順序付き学習を行うことで、ランキング関数１００を生成する。順序付き学習には例えば「ＲａｎｋｉｎｇＳＶＭ」のようなランキング関数生成手法を用いる。

したがって、ランキング関数生成装置１によれば、図２のランキング関数生成装置では利用不可能な特徴が推定され、従来から利用可能な特徴に追加してランキング関数が生成される。すなわち、検索対象のＷｅｂページのすべてに対して抽出不可能な特徴、例えば新規追加のＷｅｂページのクリック数が特徴推定器７０を通じて推定され、推定結果が推定クリックログＤＢ８０に格納される。

この推定クリックログＤＢ８０の格納データが、ランキング関数生成の特徴値に追加されるため、ランキング関数生成に使用可能な特徴が従来よりも増加し、従来技術に比べて精度の高い適切なランキング関数を生成することが可能となる。

生成されたランキング関数１００は、Ｗｅｂ検索システム（いわゆる検索エンジン）において、ユーザ端末から送信された検索クエリに基づく検索結果をランキングするためのスコア算出に利用される。ここでは検索結果がスコアに従ってソートされ、ユーザ端末に返信されるため、検索結果がより適正にランキングされ、これによりユーザの必要とする順序で検索結果がユーザ端末に表示することができる。

なお、本発明は、上記実施形態に限定されるものではなく、各請求項に記載された範囲内で各種の変形利用が可能である。例えば、特徴推定器７０で算出する特徴（Ｗｅｂページの利用情報）の値はクリック回数のみならず、ソーシャルブックマーク（ＳｏｃｉａｌＢｏｏｋｍａｒｋ：ＳＢＭ）のブックマーク数などとすることもできる。

≪プログラムなど≫
本発明は、ランキング関数生成装置１の各部１０〜９０の一部もしくは全部として、コンピュータを機能させるプログラムとして構成することもできる。このプログラムによれば、前記各ステップの全てあるいは一部がコンピュータにより実行される。

このプログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙＤｉｓｋ（登録商標）などの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。

１…ランキング関数生成装置
２…特徴推定機能手段
１０…ＷｅｂページＤＢ（第１データベース）
２０…特徴抽出機能部（特徴推定手段）
３０…人手正解ＤＢ（第２データベース、評価データベース）
４０…特徴ＤＢ
５０…クリックログＤＢ（第３データベース）
６０…推定器生成機能部（推定器生成手段）
７０…特徴推定器（推定器）
８０…推定クリックログＤＢ
９０…ランキング関数生成機能部（ランキング関数生成手段）
１００…ランキング関数

Claims

検索クエリに基づきＷｅｂページの集合を検索した検索結果をランキングするためのランキング関数を生成する装置であって、
検索対象の各Ｗｅｂページのページ識別子と該ページの本文とを対応付けて格納するＷｅｂページデータベースと、
検索ログに基づき検索クエリに対する検索対象のＷｅｂページのランクを前記ページ識別子と対応付けて格納する評価データベースと、
Ｗｅｂページデータベースのページ識別子ごとに評価データベースの格納情報を取得し、該識別子に対応する検索クエリの前記ページ本文への関連度と、評価データベースの該識別子に応じたクエリとページ識別子とのペアについて特徴値を算出し、該特徴値を前記ページ識別子と前記クエリに対応付けて特徴データベースに格納する特徴抽出手段と、
前記ページ識別子、検索クエリ、Ｗｅｂページのクリック情報をそれぞれ対応付けて格納するクリックログデータベースと、
前記特徴データベースと前記クリックログデータベースのいずれにも格納されているページ識別子と検索クエリのペアを使って、該クリックログデータベースのクリック情報と特徴データベースの特徴値との関係を示す関数を持つ推定器を生成する推定器生成手段と、
クリックログデータベースのページ識別子と検索クエリごとに推定器の関数に特徴データベースの特徴値を入力して算出した推定クリック情報を、前記ページ識別子と前記検索クエリとに対応付けて格納する推定クリックログデータベースと、
評価データベースのページ識別子と検索クエリごとに、それぞれ対応する評価データベースのランクと特徴データベースの特徴値と推定クリックログデータベースの推定クリック情報とから順序付き学習を行ってランキング関数を生成するランキング関数生成手段と、
を備えることを特徴とするランキング関数生成装置。
検索対象の各Ｗｅｂページのページ識別子と該ページの本文とを対応付けて格納するＷｅｂページデータベースと、
検索ログに基づき検索クエリに対する検索対象のＷｅｂページのランクを前記ページ識別子と対応付けて格納する評価データベースと、
前記ページ識別子、検索クエリ、Ｗｅｂページのクリック情報をそれぞれ対応付けて格納するクリックログデータベースと、を備えたランキング関数生成装置を通じて、検索クエリに基づきＷｅｂページの集合を検索した検索結果をランキングするためのランキング関数を生成する方法であって、
特徴抽出手段が、Ｗｅｂページデータベースのページ識別子ごとに評価データベースの格納情報を取得し、該識別子に対応する検索クエリの前記ページ本文への関連度と、評価データベースの該識別子に応じたクエリとページ識別子とのペアについて特徴値を算出し、該特徴値を前記ページ識別子と前記クエリとに対応付けて特徴データベースに格納するステップと、
推定器生成手段が、前記特徴データベースと前記クリックログデータベースのいずれにも格納されているページ識別子と検索クエリのペアを使って、該クリックログデータベースのクリック情報と特徴データベースの特徴値との関係を示す関数を持つ推定器を生成するステップと、
クリックログデータベースのページ識別子と検索クエリごとに推定器の関数に特徴データベースの特徴値を入力して算出した推定クリック情報を、前記ページ識別子と前記検索クエリとに対応付けて推定クリックログデータベースに格納するステップと、
ランキング関数生成手段が、評価データベースのページ識別子と検索クエリごとに、それぞれ対応する評価データベースのランクと特徴データベースの特徴値と推定クリックログデータベースの推定クリック情報とから順序付き学習を行ってランキング関数を生成するステップと、
を有することを特徴とするランキング関数生成方法。
請求項１記載のランキング関数生成装置としてコンピュータを機能させるためのランキング関数生成プログラム。