JP7530931B2 - ランキング決定システム、ランキング決定方法、及びプログラム - Google Patents

Description

本開示は、ランキング決定システム、ランキング決定方法、及びプログラムに関する。

従来、機械学習を利用したモデルに基づいて、データを分類する技術が知られている。マルチラベルに対応したモデルであれば、複数の分類を推定可能である。モデルは、最適な推定結果を出力するとは限らないので、モデルの推定結果が有効であるか否かを評価することは重要である。モデルの推定結果を評価する方法の１つとして、複数の分類に関するランキングを利用することが考えられる。

ユーザが入力したクエリを分類して検索に利用する場合を例に挙げると、クエリの分類を推定するモデルは、推定結果の有効性に関するスコアを計算する。このスコアに応じたランキングが上位であることは、モデルの推定結果が相対的に有効であることを意味するので、ランキングが上位の分類だけを利用して検索を実行すれば、あまり有効ではない推定結果が検索で利用されることを防止できる。このため、データを分類する技術において、推定結果の有効性に関するランキングを正確に決定することは重要である。

例えば、特許文献１及び特許文献２には、ユーザが入力したクエリと、インターネットサービスにおける検索エンジンと、に基づいて検索を実行し、検索エンジンから出力された検索結果が最適なランキングになるように、検索結果のリランキングを実行する技術が記載されている。

米国特許出願公開第２０１０／０１８５６１１号明細書 米国特許出願公開第２０１４／０２８９２１０号明細書

しかしながら、特許文献１及び特許文献２の技術は、検索エンジンから出力された検索結果のリランキングを実行するものにすぎないので、モデルが推定した複数の分類に関するランキングを決定するものではない。このため、従来の技術では、モデルが推定した複数の分類に関するランキングを正確に決定することはできなかった。

本開示の目的の１つは、モデルが推定した複数の分類に関するランキングを正確に決定することである。

本開示に係るランキング決定システムは、第１データと、当該第１データに関する第１分類と、の関係が学習された第１モデルに基づいて、第２データに関する複数の第２分類を取得する第２分類取得部と、第３データと、当該第３データに関する第３分類と、の組み合わせの有効性が学習された第２モデルに基づいて、前記第２分類ごとに、前記第２データ及び当該第２分類の組み合わせの有効性に関する第２スコアを取得する第２スコア取得部と、前記第２分類ごとの前記第２スコアに基づいて、前記複数の第２分類に関する第２ランキングを決定する第２ランキング決定部と、を含む。

本開示によれば、モデルが推定した複数の分類に関するランキングを正確に決定できる。

ランキング決定システムの全体構成の一例を示す図である。 ユーザが検索サービスを利用する様子の一例を示す図である。 第１モデルの一例を示す図である。 第２モデルの一例を示す図である。 ランキング決定システムで実現される機能の一例を示す機能ブロック図である。 ページデータベースの一例を示す図である。 訓練データベースの一例を示す図である。 クエリデータベースの一例を示す図である。 選択ログデータベースの一例を示す図である。 第１モデル及び第２モデルの学習方法の一例を示す図である。 ランキング決定システムで実行される処理の一例を示すフロー図である。 第２実施形態の機能ブロックの一例を示す図である。 第２実施形態で訓練データが生成される流れの一例を示す図である。 第１実施形態に関する変形例の機能ブロックの一例を示す図である。 第１実施形態及び第２実施形態に共通する変形例の機能ブロックの一例を示す図である。 第１実施形態及び第２実施形態に共通する変形例の処理の流れの一例を示す図である。

［１．第１実施形態］
本開示に係るランキング決定システムの実施形態の一例である第１実施形態を説明する。第１実施形態では、検索サービスにランキング決定システムを適用する場面を例に挙げる。ランキング決定システムは、種々の場面に適用可能である。他の場面への適用例は、後述の第２実施形態及び変形例で説明する。

［１－１．ランキング決定システムの全体構成］
図１は、ランキング決定システムの全体構成の一例を示す図である。例えば、ランキング決定システム１は、検索サーバ１０、ユーザ端末２０、及び学習端末３０を含む。ネットワークＮは、インターネット又はＬＡＮ等の任意のネットワークである。ランキング決定システム１は、少なくとも１つのコンピュータを含めばよく、図１の例に限られない。例えば、ランキング決定システム１は、検索サーバ１０だけを含んでもよい。

検索サーバ１０は、サーバコンピュータである。制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。

ユーザ端末２０は、検索サービスを利用するユーザのコンピュータである。例えば、ユーザ端末２０は、パーソナルコンピュータ、スマートフォン、タブレット端末、又はウェアラブル端末である。制御部２１、記憶部２２、及び通信部２３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様である。操作部２４は、タッチパネル又はマウス等の入力デバイスである。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイである。

学習端末３０は、後述の学習処理を実行するコンピュータである。例えば、学習端末３０は、パーソナルコンピュータ、サーバコンピュータ、又はタブレット端末である。制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５の物理的構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部２４、及び表示部２５と同様である。

なお、記憶部１２，２２，３２に記憶されるプログラムは、ネットワークＮを介して供給されてもよい。また、各コンピュータには、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、メモリカードスロット）と、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）と、の少なくとも一方が含まれてもよい。例えば、情報記憶媒体に記憶されたプログラムが、読取部及び入出力部の少なくとも一方を介して供給されてもよい。

［１－２．ランキング決定システムの概要］
図２は、ユーザが検索サービスを利用する様子の一例を示す図である。例えば、ユーザが検索サーバ１０にアクセスすると、検索サービスのトップページＰ１が表示部２５に表示される。ユーザは、トップページＰ１の入力フォームＦ１０に、クエリを入力する。ユーザがボタンＢ１１を選択すると、検索サーバ１０は、ユーザが入力したクエリに基づいて、ウェブページの検索処理を実行する。ユーザ端末２０が検索サーバ１０から検索処理の実行結果を受信すると、検索結果ページＰ２が表示部２５に表示される。

図２の例では、「ｗｈｉｔｅ ｗｉｎｄ ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」といったクエリが入力されている。「ｗｈｉｔｅ ｗｉｎｄ」は、架空のアパレルブランドの名前である。「ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」は、靴の種類である。ユーザは、「Ｗｈｉｔｅ ｗｉｎｄ」社が販売する「Ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」のウェブページを検索したい、といった意図で、図２のクエリを入力したと考えられる。

しかしながら、クエリに含まれる単語には、種々の意味が存在する。このため、検索サーバ１０が、クエリだけを利用して検索処理を実行しても、ユーザの意図に沿った検索結果ページＰ２を表示できない可能性がある。例えば、クエリ内の単語「ｗｈｉｔｅ」は、色の名前でもある。「Ｅｎｇｉｎｅｅｒ」といった架空のアパレルブランドが存在したとすると、クエリ内の単語「ｅｎｇｉｎｅｅｒ」は、他のアパレルブランドの名前でもある。これらの意味により、ユーザが意図しないウェブページが検索される可能性がある。

そこで、第１実施形態では、クエリから推定されたユーザの意図が検索処理で利用されるようになっている。例えば、ユーザの意図は、機械学習を利用したモデルにより推定される。以降、ユーザの意図を推定するモデルを、第１モデルという。第１モデルは、種々の機械学習手法を利用可能である。第１モデルは、教師有り学習、半教師有り学習、又は教師無し学習の何れであってもよい。例えば、第１モデルは、ニューラルネットワークを利用したモデル、又は、Ｔｒａｎｓｆｏｒｍｅｒと呼ばれるモデルであってもよい。第１モデルは、自然言語処理の分野で利用される機械学習手法のモデルであればよい。また、例えば、第１モデルは、ＤｉＳＭＥＣ、ＰｒｏＸＭＬ、ＰＰＤＳｐａｒｓｅ等のＳｐａｒｓｅ Ｌｉｎｅａｒ ＯＶＲ（ｏｎｅ－ｖｅｒｓｕｓ－ｒｅｓｅｔ）モデルであってよく、ｅＸｔｒｅｍｅ－Ｔｅｘｔ、Ｂｏｎｓａｉ、ＮＡＰＫＩＮＸＣ、Ｐａｒａｂｅｌ等のＰａｒｔｉｔｉｏｎｉｎｇモデルであってよく、ＳＬＩＣＥ、ＡｎｎｅｘＭＬ等のＥｍｂｅｄｄｉｎｇモデル（グラフベースモデル）であってよく、ＸＲ－Ｔｒａｎｓｆｏｒｍｅｒ、ＬｉｇｈｔＸＭＬ等のＴｒａｎｓｆｏｒｍｅｒベースのモデルであってよい。

図３は、第１モデルの一例を示す図である。例えば、第１モデルＭ１にクエリが入力されると、第１モデルＭ１は、ユーザの意図として、ユーザが検索したいと思われるウェブページの属性及び属性値を出力する。詳細は後述するが、属性及び属性値は、所定の観点でウェブページを分類可能な情報である。図３の１～３２の数値は、属性及び属性値のランキングである。第１モデルＭ１が計算した第１スコアの降順となるように、ランキングが決定される。詳細は後述するが、第１スコアは、第１モデルＭ１の推定結果の有効性（正しさ）に関する情報である。

以降、第１モデルＭ１から得られるランキングを、第１ランキングという。例えば、第１ランキングの上位５位の属性及び属性値のみを、検索処理で利用したとする。第１モデルＭ１に十分に学習させた単語だけがクエリに含まれる場合、第１モデルＭ１の推定結果の精度は高くなる。この場合、ユーザの意図が正確に表現された属性及び属性値が上位になるので、検索処理の精度が高まる。

一方で、第１モデルＭ１にあまり学習されていない単語がクエリに含まれる場合、第１モデルＭ１の推定結果の精度は低くなる可能性がある。例えば、架空のアパレルブランドの名前である「Ｗｈｉｔｅ ｗｉｎｄ」が第１モデルＭ１にあまり学習されていなかったとすると、図３のように、第１モデルＭ１は、クエリ中の単語「ｗｈｉｔｅ」を、色の名前として認識する可能性がある。第１モデルＭ１は、クエリ中の単語「ｅｎｇｉｎｅｅｒ」を、他のアパレルブランドの名前として認識する可能性がある。

図３の例では、属性「Ｂｒａｎｄ」及び属性値「Ｗｈｉｔｅ ｗｉｎｄ」は、ユーザの意図を適切に表現しているが、上記の理由により、第１ランキングが下位になる可能性がある。同様に、属性「Ｓｈｏｅｓ」及び属性値「Ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」は、ユーザの意図を適切に表現しているが、第１モデルＭ１にあまり学習されていなければ、第１ランキングが下位になる可能性がある。ユーザの意図を適切に表現した属性及び属性値の組み合わせは、上位であることが好ましい。

そこで、第１実施形態では、クエリと、第１モデルＭ１が推定した属性及び属性値と、の組み合わせの有効性を推定する第２モデルによって、第１ランキングのリランキングが実行される。以降、第２モデルの推定結果から得られたランキングを、第２ランキングという。第１実施形態では、第２ランキングは、リランキングが実行された後のランキングである。

第２モデルは、種々の機械学習手法を利用可能である。第２モデルは、教師有り学習、半教師有り学習、又は教師無し学習の何れであってもよい。例えば、第２モデルは、ニューラルネットワークを利用したモデル、又は、Ｔｒａｎｓｆｏｒｍｅｒと呼ばれるモデルであってもよい。第２モデルは、自然言語処理の分野で利用される機械学習手法のモデルであればよい。第２モデルは、クエリ間の距離（例えばテキストに基づくベクトル表現間の距離）の学習を行う距離学習モデル（Ｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇモデル）であってよく、テキスト等のクエリに対し別のクエリを所定の基準に基づいてスコアリングし学習を行うランキング学習モデル（ＬＴＲ：Ｌｅａｒｎｉｎｇ Ｔｏ Ｒａｎｋモデル）であってよい。ここで、第２モデルは、ランキング学習モデルとして、ポイントワイズアプローチに基づくモデルを採用してよく、ペアワイズアプローチに基づくモデルを採用してよく、リストワイズアプローチに基づくモデルを採用してよく、各種アプローチの組み合わせに基づくモデルを採用してよい。

図４は、第２モデルの一例を示す図である。例えば、クエリと、第１モデルＭ１が推定した属性及び属性値と、の組み合わせが第２モデルＭ２に入力されると、第２モデルＭ２は、これらの組み合わせの第２スコアを出力する。詳細は後述するが、第２スコアは、これらの組み合わせの有効性（正しさ）に関する情報である。第２スコアの降順となるように、第２ランキングが決定される。

第１実施形態では、第２モデルＭ２には、第１モデルＭ１とは異なる観点で作成された訓練データが学習されている。このため、図４のように、第１ランキングでは順位が低かった属性「Ｂｒａｎｄ」及び属性値「Ｗｈｉｔｅ ｗｉｎｄ」の順位が、第２ランキングでは高くなる可能性がある。同様に、第１ランキングでは順位が低かった属性「Ｓｈｏｅｓ」及び属性値「Ｅｎｇｉｎｅｅｒ Ｂｏｏｔｓ」の順位が、第２ランキングでは高くなる可能性がある。

以上のように、ランキング決定システム１は、第２モデルＭ２を利用して、第１ランキングのリランキングを実行することによって、ユーザの意図を正確に表す属性及び属性値の順位を上位にすることができるようになっている。以降、ランキング決定システム１の詳細を説明する。

［１－３．ランキング決定システムで実現される機能］
図５は、ランキング決定システム１で実現される機能の一例を示す機能ブロック図である。

［１－３－１．検索サーバで実現される機能］
データ記憶部１００は、記憶部１２により実現される。第２分類取得部１０１、第１ランキング決定部１０２、第２スコア取得部１０３、第２ランキング決定部１０４、及び検索部１０５は、制御部１１により実現される。

［データ記憶部］
データ記憶部１００は、ユーザに検索サービスを提供するために必要なデータを記憶する。例えば、データ記憶部１００は、ページデータベースＤＢ１を記憶する。

図６は、ページデータベースＤＢ１の一例を示す図である。ページデータベースＤＢ１は、検索サービスで検索可能なウェブページに関するデータベースである。例えば、ページデータベースＤＢ１には、ウェブページのインデックスと、ウェブページのＵＲＬと、が関連付けられて格納される。ページデータベースＤＢ１に格納されるデータは、任意のデータであってよく、図６の例に限られない。例えば、ウェブページの実データ（例えば、ＨＴＭＬデータ）が格納されてもよい。

インデックスは、クエリとの比較対象となる情報である。インデックスは、任意の情報を利用可能である。例えば、ウェブページのタイトル、ウェブページの属性及び属性値、ウェブページに含まれる任意のキーワード、又はこれらの組み合わせがインデックスとして利用される。以降、ページデータベースＤＢ１にインデックスとして格納された属性及び属性値を、第１属性及び第１属性値という。

第１属性は、ウェブページを分類可能な情報である。第１属性は、ウェブページの種類、カテゴリ、又はジャンルということもできる。第１属性は、文字、数字、その他の記号、又はこれらの組み合わせによって表現される。第１属性は、所定の観点でウェブページを分類可能なものであればよく、任意の観点で第１属性を設定可能である。例えば、アパレルブランドのウェブページには、第１属性「Ｂｒａｎｄ」が関連付けられる。例えば、靴のウェブページには、第１属性「Ｓｈｏｅｓ」が関連付けられる。

第１属性値は、第１属性の具体的な値である。第１属性には、少なくとも１つの第１属性値が関連付けられる。ウェブページには、ある第１属性に関連付けられた複数の第１属性値のうちの少なくとも１つが関連付けられる。第１属性値は、文字、数字、その他の記号、又はこれらの組み合わせによって表現される。第１属性値は、所定の観点で属性の詳細を定義するものであればよく、任意の観点で第１属性値を設定可能である。

例えば、第１属性「Ｂｒａｎｄ」には、種々のアパレルブランドの名前が第１属性値として関連付けられる。「Ｗｈｉｔｅ ｗｉｎｄ」社のウェブページには、第１属性「Ｂｒａｎｄ」及び第１属性値「Ｗｈｉｔｅ ｗｉｎｄ」が関連付けられる。「Ｗｈｉｔｅ ｗｉｎｄ」社が複数の種類の靴を販売していたとすると、「Ｗｈｉｔｅ ｗｉｎｄ」社のウェブページには、第１属性「Ｓｈｏｅｓ」に関連付けられた複数の第１属性値のうち、この靴の種類を示す第１属性値が関連付けられる。

例えば、第１属性「Ｓｈｏｅｓ」に、エンジニアブーツを示す第１属性値「Ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」、ビジネスシューズを示す第１属性値「Ｂｕｓｉｎｅｓｓ Ｓｈｏｅｓ」、及びスニーカーを示す第１属性値「Ｓｎｅａｋｅｒ」が関連付けられていたとする。この場合、エンジニアブーツのウェブページには、第１属性「Ｓｈｏｅｓ」及び第１属性値「Ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」が関連付けられる。ビジネスシューズのウェブページには、第１属性「Ｓｈｏｅｓ」及び第１属性値「Ｂｕｓｉｎｅｓｓ Ｓｈｏｅｓ」が関連付けられる。スニーカーのウェブページには、第１属性「Ｓｈｏｅｓ」及び第１属性値「Ｓｎｅａｋｅｒ」が関連付けられる。

第１実施形態では、ウェブページの作成者が、第１属性及び第１属性値を指定するものとする。例えば、「Ｗｈｉｔｅ ｗｉｎｄ」社の社員である作成者は、自社のウェブページに関連付けられる第１属性及び第１属性値を指定する。第１属性及び第１属性値は、ウェブページのタイトル等から自動的に抽出されてもよいし、検索サービスの管理者によりしていされてもよい。

データ記憶部１００は、学習済みの第１モデルＭ１を記憶する。第１モデルＭ１は、特徴量の計算等の処理を実行するためのプログラム部分と、重み等のパラメータ部分と、を含む。学習済みの第１モデルＭ１は、後述の第１学習部３０１により学習処理が実行された第１モデルＭ１である。

データ記憶部１００は、学習済みの第２モデルＭ２を記憶する。第２モデルＭ２は、特徴量の計算等の処理を実行するためのプログラム部分と、重み等のパラメータ部分と、を含む。学習済みの第２モデルＭ２は、後述の第２学習部３０２により学習処理が実行された第２モデルＭ２である。

なお、データ記憶部１００に記憶されるデータは、上記の例に限られない。データ記憶部１００は、任意のデータを記憶可能である。例えば、データ記憶部１００は、トップページＰ１及び検索結果ページＰ２を表示させるためのデータを記憶してもよい。例えば、データ記憶部１００は、後述のクエリデータベースＤＢ３又は選択ログデータベースＤＢ４を記憶してもよい。

［第２分類取得部］
第２分類取得部１０１は、第１データと、当該ウェブページに関する第１分類と、の関係が学習された第１モデルＭ１に基づいて、第２データに関する複数の第２分類を取得する。この関係を第１モデルＭ１に学習させる学習処理は、後述の第１学習部３０１の箇所で説明する。

第１実施形態では、ウェブページが第１データに相当する。このため、ウェブページについて説明している箇所は、第１データと読み替えることができる。第１データは、第１モデルＭ１の訓練データのうちの入力部分である。第１実施形態では、ウェブページに関するデータのうち、ウェブページのタイトルが第１データに相当する場合を説明するが、第１データは、第１モデルＭ１の学習に利用可能なデータであればよく、ウェブページのタイトルに限られない。例えば、第１データは、ウェブページから取得されたキーワード、ウェブページに含まれるタイトル以外の文字列、又はウェブページから作成された要約であってもよい。

第１実施形態では、第１データは、検索処理で利用可能なインデックスである場合を説明するが、第１データは、特にインデックスとしては利用されないデータであってもよい。例えば、第１データは、ウェブページに含まれる文字列のうち、インデックスにはならない文字列であってもよい。第１データは、文字列そのものではなく、文字列の何らかの特徴を示す特徴量であってもよい。第１データは、任意の形式であってよく、文字列に限られない。例えば、第１データは、画像データ、動画データ、文書データ、音声データ、又はその他の任意のデータであってもよく、画像データ、動画データ、文書データ、音声データ、又はその他の任意のデータを含むデータ群から選択される１以上のデータの少なくとも一部に基づく特徴量、ベクトル表現、埋め込み表現であってよい。

第１実施形態では、ウェブページに関連付けられた第１属性及び第１属性値の組み合わせが第１分類に相当する。このため、第１属性及び第１属性値の組み合わせについて説明している箇所は、第１分類と読み替えることができる。第１分類は、第１データを分類可能な情報である。第１分類は、第１モデルＭ１の訓練データのうちの出力部分である。

第１実施形態では、第１分類は、検索処理で利用可能なインデックスである場合を説明するが、第１分類は、第１モデルＭ１の学習に利用可能な情報であればよく、特にインデックスとしては利用されないデータであってもよい。例えば、第１分類は、第１属性又は第１属性値の何れか一方のみであってもよい。第１分類は、任意の形式であってよく、文字列に限られない。例えば、第１分類は、分類を一意に識別可能なＩＤ又は番号のような情報であってもよい。複数の第１属性及び第１属性値の組み合わせが１つの第１分類として扱われてもよい。

第１実施形態では、ユーザが入力したクエリが第２データに相当する。このため、ユーザが入力したクエリについて説明している箇所は、第２データと読み替えることができる。第２データは、第１モデルＭ１に入力されるデータである。第２データは、第１モデルＭ１による推定対象となるデータである。第２データは、第１データと同じ形式である。

第２データは、第１モデルＭ１による推定対象となるデータであればよく、クエリに限られない。例えば、ユーザの意図ではなく、ウェブページを作成した作成者の意図を推定する場合には、第２データは、ウェブページのタイトル、ウェブページに含まれるタイトル以外の文字列、ウェブページのインデックスとして利用されるキーワード、又はウェブページから作成された要約であってもよい。第２データは、文字列そのものではなく、文字列の何らかの特徴を示す特徴量であってもよい。第２データは、任意の形式であってよく、文字列に限られない。例えば、第２データは、画像データ、動画データ、文書データ、音声データ、又はその他の任意のデータであってもよく、画像データ、動画データ、文書データ、音声データ、又はその他の任意のデータを含むデータ群から選択される１以上のデータの少なくとも一部に基づく特徴量、ベクトル表現、埋め込み表現であってよい。

クエリに対して推定された属性及び属性値は、第２分類の一例である。以降、この属性及び属性値を、第２属性及び第２属性値という。このため、クエリに対して推定される第２属性及び第２属性値について説明している箇所は、第２分類と読み替えることができる。第２分類は、第２データを分類可能な情報である。第１実施形態では、第２データがクエリなので、第２分類は、ユーザがクエリを入力した意図である。第１実施形態では、第２モデルＭ２により有効性が推定されるので、第２モデルＭ２により有効性が推定される第２属性及び第２属性値は、第２分類に相当する。

第２分類は、第１モデルＭ１の推定結果であればよく、クエリの第２属性及び第２属性値に限られない。例えば、第２分類は、クエリの第２属性又は第２属性値の何れかのみを示してもよい。第２分類は、任意の形式であってよく、文字列に限られない。例えば、第２分類は、分類を一意に識別可能なＩＤ又は番号のような情報であってもよい。複数の第２属性及び第２属性値の組み合わせが１つの第２分類として扱われてもよい。

以降、第２属性及び第２属性値の組み合わせを説明する時は、単に第２分類という。第１実施形態では、第２分類取得部１０１は、ユーザがクエリを入力した場合に、クエリに関する複数の第２分類を取得する。第２分類取得部１０１は、ユーザが入力したクエリを第１モデルＭ１に入力する。第１モデルＭ１は、クエリの特徴量を計算する。第１モデルＭ１は、自身が推定可能な第２分類ごとに、第１スコアを出力する。

第１スコアは、蓋然性、確度、又は尤度と呼ばれることもある。第１スコアが高いことは、推定結果が有効である（正しい）ことを意味する。第１スコアの計算方法自体は、種々の方法であってよい。例えば、ニューラルネットワークを利用する場合には、出力層により、第１スコアが計算される。第１スコア取得部は、第１モデルＭ１により出力された第１スコアを取得する。他の機械学習手法が利用される場合には、他の機械学習手法に応じた計算方法で第１スコアが計算されるようにすればよい。

第１実施形態では、第２分類取得部１０１は、第２分類ごとに、第１モデルＭ１の推定結果の有効性に関する第１スコアを取得する。図３及び図４の例であれば、３２通りの第２分類が存在する。第２分類取得部１０１は、３２通りの第１スコアを取得する。第２分類は、任意の数であってよく、例えば、３１通り以下又は３３通り以上であってもよい。第１実施形態のように、検索サービスにランキング決定システム１を適用する場合、多数の第２分類が存在するので、実際には、数百～数千又はそれ以上の第１スコアが取得される。

なお、第２分類取得部１０１は、第１スコアを取得しなくてもよい。例えば、第１ランキングを特に利用しない場合には、第２分類取得部１０１は、第１スコアを取得せずに、第２分類の組み合わせを取得してもよい。この場合、第１モデルＭ１は、第１スコアが閾値以上の第２分類の組み合わせだけを出力したり、第１スコアが高い順に所定数の第２分類だけを出力したりしてもよい。第１スコアは、第１モデルＭ１の内部的に計算されるだけであってもよい。第１スコアを利用せずに第２分類を出力可能とする場合には、第１スコアは計算されなくてもよい。

［第１ランキング決定部］
第１ランキング決定部１０２は、ユーザがクエリを入力した場合に、第２分類ごとの第１スコアに基づいて、複数の第２分類に関する第１ランキングを決定する。第１ランキングは、第１モデルＭ１による推定結果に関するランキングである。例えば、第１ランキング決定部１０２は、第１スコアの降順となるように、第２分類取得部１０１が取得した複数の第２分類をソートすることによって、第１ランキングを決定する。

図３及び図４の例であれば、第２属性「Ｃｏｌｏｒ」及び第２属性値「Ｗｈｉｔｅ」の組み合わせを示す第２分類の第１スコアが最も高いので、第１ランキング決定部１０２は、この第２分類が１位であると決定する。第１ランキング決定部１０２は、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｅｎｇｉｎｅｅｒ」の組み合わせを示す第２分類の第１スコアが２番目に高いので、第１ランキング決定部１０２は、この第２分類が２位であると決定する。以降同様に、第１ランキング決定部１０２は、第１スコアが３番目以降の順位も決定する。

第１実施形態では、第１モデルＭ１が推定可能な全ての第２分類が第１ランキングの集計対象になる場合を説明するが、一部の第２分類だけが第１ランキングの集計対象になってもよい。例えば、第１ランキング決定部１０２は、第１スコアが閾値以上の第２分類の中だけで、第１ランキングを決定してもよい。例えば、第１ランキング決定部１０２は、第１スコアが高い順に所定数の第２分類を選択し、当該選択された第２分類の中だけで、第１ランキングを決定してもよい。

例えば、「Ｗｈｉｔｅ ｗｉｎｄ」といった架空のアパレルブランドのウェブページと、エンジニアブーツのウェブページと、が第１モデルＭ１に十分に学習されていなかったとする。この場合、図３及び図４のように、第１モデルＭ１の推定結果を第１スコア順にランキング付けしたとすると、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｗｈｉｔｅ ｗｉｎｄ」の組み合わせを示す第２分類の順位が低くなる。第２属性「Ｓｈｏｅｓ」及び第２属性値「Ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」の組み合わせを示す第２分類の順位が低くなる。

なお、第１モデルＭ１が第１ランキングを出力してもよい。この場合、第１ランキング決定部１０２は、第１モデルＭ１に第１ランキングを決定させるようにすればよい。例えば、第１スコアの降順に第２分類を並べて第１ランキングとして出力するように、第１モデルＭ１の出力層を設定すれば、第１モデルＭ１に第１ランキングを出力させることができる。この場合、第１ランキングの決定が第１モデルＭ１内で完結するので、第１ランキング決定部１０２は、第１モデルＭ１から出力された第１ランキングを取得すればよい。

［第２スコア取得部］
第２スコア取得部１０３は、第３データと、当該第３データに関する第３分類と、の組み合わせの有効性が学習された第２モデルＭ２に基づいて、第２分類ごとに、第２データ及び当該第２分類の組み合わせの有効性に関する第２スコアを取得する。この有効性を第２モデルＭ２に学習させる学習処理は、後述の第１学習部３０１の箇所で説明する。

第１実施形態では、過去の検索で入力された過去クエリが第３データに相当する。このため、過去クエリについて説明している箇所は、第３データと読み替えることができる。第３データは、第２モデルＭ２の訓練データのうちの入力部分である。第３データは、第２モデルＭ２の学習に利用可能なデータであればよく、過去クエリに限られない。例えば、第３データは、ウェブページのタイトル、ウェブページに含まれるタイトル以外の文字列、ウェブページのインデックスとして利用されるキーワード、又はウェブページから作成された要約であってもよい。

第１実施形態では、インデックスになりうるウェブページのタイトルも第３データに相当する場合を説明するが、第３データは、特にインデックスとしては利用されないデータであってもよい。例えば、第３データは、ウェブページに含まれる文字列のうち、インデックスにはならない文字列であってもよい。第３データは、文字列そのものではなく、文字列の何らかの特徴を示す特徴量であってもよい。第３データは、任意の形式であってよく、文字列に限られない。例えば、第３データは、画像データ、動画データ、文書データ、音声データ、又はその他の任意のデータであってもよく、画像データ、動画データ、文書データ、音声データ、又はその他の任意のデータを含むデータ群から選択される１以上のデータの少なくとも一部に基づく特徴量、ベクトル表現、埋め込み表現であってよい。

第１実施形態では、過去の検索結果に対する選択結果に関する分類が第３分類に相当する。例えば、過去の検索結果の中から選択されたウェブページに関連付けられた属性及び属性値の組み合わせが第３分類に相当する。以降、この属性を、第３属性という。この属性値を、第３属性値という。このため、第３属性及び第３属性値の組み合わせについて説明している箇所は、第３分類と読み替えることができる。第３分類は、第３データを分類可能な情報である。第３分類は、第２モデルＭ２の訓練データのうちの出力部分である。

第１実施形態では、第３分類は、検索処理で利用可能なインデックスである場合を説明するが、第３分類は、第２モデルＭ２の学習に利用可能な情報であればよく、特にインデックスとしては利用されないデータであってもよい。例えば、第３分類は、第３属性又は第３属性値の何れか一方のみであってもよい。第３分類は、任意の形式であってよく、文字列に限られない。例えば、第３分類は、分類を一意に識別可能なＩＤ又は番号のような情報であってもよい。複数の第３属性及び第３属性値の組み合わせが１つの第３分類として扱われてもよい。以降、第３属性及び第３属性値の組み合わせを説明する時は、単に第３分類という。

第１実施形態では、第２スコア取得部１０３は、ユーザがクエリを入力した場合に、第２分類ごとに第２スコアを取得する。第２スコア取得部１０３は、ユーザが入力したクエリと、第１モデルＭ１により推定された第２分類と、の組み合わせを、第２モデルＭ２に入力する。第２モデルＭ２は、この組み合わせの特徴量を計算する。第２モデルＭ２は、この組み合わせごとに、第２スコアを出力する。

第２スコアは、蓋然性、確度、又は尤度と呼ばれることもある。第２スコアが高いことは、組み合わせが有効である（正しい）ことを意味する。第２スコアの計算方法自体は、種々の方法であってよい。例えば、ニューラルネットワークを利用する場合には、出力層により、第２スコアが計算される。第２スコア取得部１０３は、第２モデルＭ２により出力された第２スコアを取得する。他の機械学習手法が利用される場合には、他の機械学習手法に応じた計算方法で第２スコアが計算されるようにすればよい。

図３及び図４の例であれば、クエリ及び第２分類の組み合わせが３２通り存在する。第２スコア取得部１０３は、３２通りの第２スコアを取得する。クエリ及び第２分類の組み合わせは、任意の数であってよく、例えば、３１通り以下又は３３通り以上であってもよい。第２スコアは、第２モデルＭ２から出力されるのではなく、第２モデルＭ２の内部的に計算されるだけであってもよい。この場合、第２モデルＭ２からの出力は、第２スコアではなく、第２ランキングであってもよい。

第１実施形態のように、検索サービスにランキング決定システム１を適用する場合、多数の第２分類が存在するので、実際には、数百～数千又はそれ以上の第２スコアが取得される。第２分類取得部１０１により取得された全ての第２分類に対して第２スコアが取得されてもよいし、一部の第２分類に対してのみ第２スコアが取得されてもよい。例えば、第２スコアは、第１ランキングが所定順位以上の第２分類についてのみ取得されてもよい。

［第２ランキング決定部］
第２ランキング決定部１０４は、第２分類ごとの第２スコアに基づいて、複数の第２分類に関する第２ランキングを決定する。第１実施形態では、第２ランキング決定部１０４は、ユーザがクエリを入力した場合に、第２ランキングを決定する。第２ランキングは、第２モデルＭ２による推定結果に関するランキングである。第２ランキング決定部１０４は、第２スコアの降順となるように、第２分類取得部１０１が取得した複数の第２分類をソートすることによって、第２ランキングを決定する。

図４の例であれば、クエリ「ｗｈｉｔｅ ｗｉｎｄ ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」と、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｗｈｉｔｅ ｗｉｎｄ」の組み合わせを示す第２分類と、の第２スコアが最も高いので、第２ランキング決定部１０４は、この組み合わせが１位であると決定する。第２ランキング決定部１０４は、クエリ「ｗｈｉｔｅ ｗｉｎｄ ｅｎｇｉｎｅｅｒ ｂｏｏｔｓ」と、第２属性「Ｓｈｏｅｓ」及び第２属性値「Ｅｎｇｉｎｅｅｒ Ｂｏｏｔｓ」の組み合わせを示す第２分類と、の第２スコアが２番目に高いので、この組み合わせが２位であると決定する。以降同様に、第２ランキング決定部１０４は、第２スコアが３番目以降の順位を決定する。

第１実施形態では、第１モデルＭ１が推定可能な全ての第２分類が第２ランキングの集計対象になる場合を説明するが、一部の第２分類だけが第２ランキングの集計対象になってもよい。例えば、第２ランキング決定部１０４は、第１スコア又は第２スコアが閾値以上の第２分類の中だけで、第２ランキングを決定してもよい。例えば、第２ランキング決定部１０４は、第１スコア又は第２スコアが高い順に所定数の第２分類を選択し、当該選択された第２分類の中だけで、第２ランキングを決定してもよい。

なお、第２モデルＭ２が第２ランキングを出力してもよい。この場合、第２ランキング決定部１０４は、第２モデルＭ２に第２ランキングを決定させるようにすればよい。例えば、第２スコアの降順に第２分類を並べて第２ランキングとして出力するように、第２モデルＭ２の出力層を設定すれば、第２モデルＭ２に第２ランキングを出力させることができる。この場合、第２ランキングの決定が第２モデルＭ２内で完結するので、第２ランキング決定部１０４は、第２モデルＭ２から出力された第２ランキングを取得すればよい。

［検索部］
検索部１０５は、ユーザがクエリを入力した場合に、当該クエリと、第２ランキング決定部１０４により決定された第２ランキングと、に基づいて、検索処理を実行する。第１実施形態では、検索部１０５は、ユーザがクエリを入力した場合に、クエリ、第１ランキング、及び第２ランキングに基づいて、検索処理を実行する。即ち、第２ランキングだけではなく、第１ランキングも検索処理で利用される。

第１実施形態では、検索部１０５は、第１ランキング及び第２ランキングに基づいて、検索処理で利用する第２分類を選択する。例えば、検索部１０５は、第１ランキングが相対的に上位の第２分類と、第２ランキングが相対的に上位の第２分類と、を選択する。検索部１０５は、第１ランキング及び第２ランキングの両方が相対的に上位の第２分類を選択してもよい。相対的に上位とは、順位が所定順位以上のことである。この所定順位は、任意の順位であってよく、例えば、５位程度であってもよい。この所定順位は、固定値であってもよいし、ランキングが集計された第２分類の数に応じて、上位１０％程度といったように動的に定まってもよい。

検索部１０５は、ユーザが入力したクエリ及び当該選択された第２分類と、ページデータベースＤＢ１に格納されたインデックスと、に基づいて、ウェブページの検索スコアを計算する。検索スコアは、クエリとインデックスとの一致度を示す。検索スコアの計算方法自体は、種々の検索エンジンで採用されている計算方法を適用可能である。検索部１０５は、検索スコアが高い順に所定数のウェブページを選択し、当該選択されたウェブページへのリンクを含む検索結果ページＰ２を生成する。

検索部１０５は、ユーザ端末２０に、検索結果ページＰ２のデータを送信する。検索部１０５は、ユーザ端末２０からユーザによる選択結果を受信すると、ユーザが選択したリンクに対応するウェブページにユーザ端末２０をアクセスさせる。検索部１０５は、ユーザが入力したクエリと、ユーザが選択したリンクに対応するウェブページと、の関係をデータ記憶部１００に記録する。この関係は、後述の選択ログデータベースＤＢ４に相当する。

なお、検索部１０５は、第１ランキングを利用せずに、第２ランキングに基づいて、検索処理を実行してもよい。この場合、検索サーバ１０は、第１ランキング決定部１０２を含まない。例えば、検索部１０５は、第１ランキングを利用せずに、第２ランキングに基づいて、検索処理で利用する第２分類を選択する。例えば、検索部１０５は、第２ランキングが相対的に上位の第２分類を選択する。以降の検索処理は、第１ランキングを利用する場合と同様である。

［１－３－２．ユーザ端末で実現される機能］
データ記憶部２００は、記憶部２２により実現される。表示制御部２０１及び受付部２０２は、制御部２１により実現される。

［データ記憶部］
データ記憶部２００は、ユーザに検索サービスを提供するために必要なデータを記憶する。例えば、データ記憶部２００は、トップページＰ１及び検索結果ページＰ２を表示させるためのブラウザを記憶する。ユーザ端末２０に表示される画面は、ブラウザではなく、検索サービス専用のアプリケーションが利用されてもよい。この場合、データ記憶部２００は、当該アプリケーションを記憶する。

［表示制御部］
表示制御部２０１は、種々の画面を表示部２５に表示させる。例えば、表示制御部２０１は、検索サーバ１０からトップページＰ１のデータを受信すると、トップページＰ１を表示部２５に表示させる。表示制御部２０１は、検索サーバ１０から検索結果ページＰ２のデータを受信すると、検索結果ページＰ２を表示部２５に表示させる。

［受付部］
受付部２０２は、操作部２４から種々の操作を受け付ける。例えば、受付部２０２は、トップページＰ１の入力フォームＦ１０に対するクエリの入力を受け付ける。ユーザ端末２０は、当該入力されたクエリを検索サーバ１０に送信する。例えば、受付部２０２は、検索結果ページＰ２が示す検索結果に含まれるリンクの選択を受け付ける。ユーザ端末２０は、当該選択されたリンクを検索サーバ１０に送信する。

［１－３－３．学習端末で実現される機能］
データ記憶部３００は、記憶部３２により実現される。第１学習部３０１及び第２学習部３０２は、制御部３１により実現される。

［データ記憶部］
データ記憶部３００は、第１モデルＭ１及び第２モデルＭ２の学習処理に必要なデータを記憶する。例えば、データ記憶部２００は、訓練データベースＤＢ２、クエリデータベースＤＢ３、及び選択ログデータベースＤＢ４を記憶する。

図７は、訓練データベースＤＢ２の一例を示す図である。訓練データベースＤＢ２は、第１モデルＭ１の訓練データが格納されたデータベースである。第１モデルＭ１の訓練データは、入力部分と出力部分のペアを含む。第１モデルＭ１の訓練データの入力部分は、実際に第１モデルＭ１に入力されるデータと同じ形式である。本実施形態では、クエリを示す文字列が第１モデルＭ１に入力されるので、第１モデルＭ１の訓練データの入力部分は文字列である。

第１モデルＭ１の訓練データの出力部分は、実際に第１モデルＭ１から出力されるデータと同じ形式である。本実施形態では、第２属性を示す文字列と、第２属性値を示す文字列と、の組み合わせが第１モデルＭ１から出力されるので、第１モデルＭ１の訓練データの出力部分は、第１属性を示す文字列と、第１属性値を示す文字列と、の組み合わせを含む。

第１実施形態では、ページデータベースＤＢ１に基づいて、第１モデルＭ１の訓練データが作成される。例えば、学習端末３０は、ページデータベースＤＢ１に格納されたウェブページのタイトルを、訓練データの入力部分として取得する。学習端末３０は、このタイトルに関連付けられた第１属性及び第１属性値を、訓練データの出力部分として取得する。学習端末３０は、これらのペアを、訓練データとして訓練データベースＤＢ２に格納する。

図８は、クエリデータベースＤＢ３の一例を示す図である。クエリデータベースＤＢ３は、不特定多数のユーザにより過去に入力された過去クエリが格納されたデータベースである。例えば、検索サーバ１０は、検索処理を実行するたびに、この検索処理で利用されたクエリを、過去クエリとしてデータ記憶部１００に蓄積する。学習端末３０は、データ記憶部１００に蓄積された過去クエリを取得し、クエリデータベースＤＢ３に格納する。

図９は、選択ログデータベースＤＢ４の一例を示す図である。選択ログデータベースＤＢ４は、選択ログデータが格納されたデータベースである。選択ログデータは、過去クエリに対する選択結果を示すデータである。選択ログデータは、クエリクリックログと呼ばれることもある。例えば、選択ログデータベースＤＢ４には、過去クエリと、ページ情報と、が関連付けられて格納される。また、選択ログデータの過去クエリは、過去クエリの検索結果においてユーザにより選択されたウェブページのページ情報のうち、ユーザにより購入や契約などの取引が行われた商品を示すページ情報と関連付けられてよい。ここで、選択ログデータの過去クエリと関連付けられるページ情報は、ユーザによるウェブページの選択から所定時間以内に購入や契約などの取引が行われた商品を示すページ情報であってよい。また、選択ログデータの過去クエリは、過去クエリの検索結果においてユーザにより選択されたウェブページのページ情報のうち、ユーザによりお気に入りリストや買い物かご（バスケット）などの所定のリストに登録された商品を示すページ情報と関連付けられてよい。ここで、選択ログデータの過去クエリと関連付けられるページ情報は、ユーザによるウェブページの選択に次いでユーザによるお気に入りリストや買い物かご（バスケット）などの所定のリストへの登録が行われた商品を示すページ情報であってよい。また、選択ログデータの過去クエリは、共通する過去クエリの検索結果において複数または所定数以上のユーザにより選択されたウェブページのページ情報と関連付けられてよく、共通する過去クエリの検索結果において所定期間内で１又は複数のユーザにより所定回数以上、選択されたウェブページのページ情報と関連付けられてよい。

ページ情報は、ウェブページに関する情報である。このウェブページは、過去クエリを入力したユーザが検索結果ページＰ２で選択したリンクが示すウェブページである。このウェブページは、ユーザにより実際に選択されているので、ユーザの意図に沿ったウェブページといえる。例えば、ページ情報は、ウェブページのタイトル、第３属性、及び第３属性値を含む。あるウェブページのタイトルに関連付けられる第３属性及び第３属性値は、ページデータベースＤＢ１又は訓練データベースＤＢ２に格納された、このウェブページのタイトルに関連付けられた第１属性及び第１属性値と同じである。ページ情報は、任意の情報を含んでよく、例えば、ウェブページのＵＲＬや閲覧日時を含んでもよい。

データ記憶部２００は、学習前の第１モデルＭ１及び第２モデルＭ２を記憶する。例えば、学習前の第１モデルＭ１及び第２モデルＭ２は、パラメータが初期値の第１モデルＭ１及び第２モデルＭ２である。学習処理の途中であれば、データ記憶部２００は、学習途中の第１モデルＭ１及び第２モデルＭ２を記憶する。学習処理が実行された後であれば、データ記憶部２００は、学習済みの第１モデルＭ１及び第２モデルＭ２を記憶する。これらの一連の第１モデルＭ１及び第２モデルＭ２は、データとしては同じものであるが、パラメータが徐々に更新される。

［第１学習部］
図１０は、第１モデルＭ１及び第２モデルＭ２の学習方法の一例を示す図である。第１学習部３０１は、第１モデルＭ１の学習処理を実行する。本実施形態では、訓練データベースＤＢ２に格納されたデータが第１モデルＭ１の訓練データとして用いられる。第１学習部３０１は、この訓練データに基づいて、第１モデルＭ１の学習処理を実行する。例えば、第１学習部３０１は、訓練データの入力部分であるウェブページのタイトルが入力された場合に、訓練データの出力部分である第１属性及び第１属性値が出力されるように、第１モデルＭ１の学習処理を実行する。第１モデルＭ１の学習処理自体は、種々のアルゴリズムを利用可能であり、例えば、誤差逆伝播法又は勾配降下法を利用可能である。

なお、第１モデルＭ１の学習処理は、上記の例に限られない。例えば、第１学習部３０１は、訓練データベースＤＢ２を利用して学習処理を実行した第１モデルＭ１に対し、追加の訓練データを学習させてもよい。追加の訓練データの生成方法自体は、種々の方法を利用可能である。例えば、第１学習部３０１は、クエリデータベースＤＢ３に格納された過去クエリを入力し、所定の推定方法に基づいて、第１モデルＭ１の推定結果の有効性を推定する。第１学習部３０１は、当該推定結果に基づいて、追加の訓練データを生成してもよい。

［第２学習部］
第２学習部３０２は、第２モデルＭ２の学習処理を実行する。本実施形態では、選択ログデータベースＤＢ４に格納されたデータが第２モデルＭ２の訓練データとして用いられる。第２学習部３０２は、この訓練データに基づいて、第２モデルＭ２の学習処理を実行する。例えば、第２学習部３０２は、訓練データの入力部分であるクエリと第３属性及び第３属性値との組み合わせが入力された場合に、当該組み合わせに関する有効性が出力されるように、第２モデルＭ２の学習処理を実行する。第１実施形態では、選択ログデータベースＤＢ４に格納された組み合わせは、全て有効であるとの推定結果が得られるように、第２モデルＭ２の学習処理が実行されるものとする。

図１０の例であれば、第１モデルＭ１の出力も、第２モデルＭ２の訓練データとして利用される。第２学習部３０２は、クエリデータベースＤＢ３に格納された過去クエリを、学習済みの第１モデルＭ１に入力する。第２学習部３０２は、第１モデルＭ１からの推定結果を取得する。図１０の例では、第１スコアが閾値以上の推定結果だけが、第３属性及び第３属性値として利用されるものとする。第２学習部３０２は、過去クエリと、第１スコアが閾値以上の推定結果である第３属性及び第３属性値と、を訓練データの候補Ｃ１として取得する。

第２学習部３０２は、選択ログデータベースＤＢ４のうちの全部又は一部を、訓練データの候補Ｃ２として取得する。第２学習部３０２は、候補Ｃ１及び候補Ｃ２の共通集合を、第２モデルＭ２の訓練データ群Ｔ１として取得する。共通集合は、候補Ｃ１及び候補Ｃ２のＡＮＤである。第２学習部３０２は、当該取得された訓練データ群Ｔ１に基づいて、第２モデルＭ２の学習処理を実行する。例えば、第２学習部３０２は、図１０の訓練データ群Ｔ１に含まれる過去クエリと、第３属性及び第３属性値と、の組み合わせが第２モデルＭ２に入力された場合に、有効であることを示す出力（高い第２スコア）が得られるように、第２モデルＭ２の学習処理を実行する。第２モデルＭ２の学習処理自体は、種々のアルゴリズムを利用可能であり、例えば、誤差逆伝播法又は勾配降下法を利用可能である。

なお、第２モデルＭ２の学習処理は、上記の例に限られない。例えば、第２学習部３０２は、候補Ｃ２だけを利用して、第２モデルＭ２の学習処理を実行してもよい。例えば、第２学習部３０２は、候補Ｃ１だけを利用して、第２モデルＭ２の学習処理を実行してもよい。他にも例えば、第２学習部３０２は、候補Ｃ１でも候補Ｃ２でもない訓練データのデータベースを利用して、第２モデルＭ２の学習処理を実行してもよい。

［１－４．ランキング決定システムで実行される処理］
図１１は、ランキング決定システム１で実行される処理の一例を示すフロー図である。この処理は、制御部１１，２１，３１が記憶部１２，２２，３２に記憶されたプログラムに従って動作することによって実行される。

図１１のように、学習端末３０は、訓練データベースＤＢ２に基づいて、第１モデルＭ１の学習処理を実行する（Ｓ１）。学習端末３０は、クエリデータベースＤＢ３と、Ｓ１で学習処理が実行された第１モデルＭ１と、に基づいて、第１モデルＭ１からの出力を取得する（Ｓ２）。学習端末３０は、選択ログデータベースＤＢ４と、Ｓ２で取得された第１モデルＭ１からの出力と、の共通集合を取得する（Ｓ３）。

学習端末３０は、Ｓ３で取得した共通集合に基づいて、第２モデルＭ２の学習処理を実行する（Ｓ４）。Ｓ１～Ｓ４の処理は、図１０を参照して説明した学習処理である。Ｓ１～Ｓ４の処理により、学習済みの第１モデルＭ１及び第２モデルＭ２の作成が完了する。学習端末３０は、検索サーバ１０に対し、Ｓ１で学習処理が実行された第１モデルＭ１と、Ｓ４で学習処理が実行された第２モデルＭ２と、を送信する（Ｓ５）。

検索サーバ１０は、学習端末３０から第１モデルＭ１及び第２モデルＭ２を受信すると、記憶部１２に記録する（Ｓ６）。以降、第１モデルＭ１及び第２モデルＭ２が検索サービスで利用可能になる。ユーザ端末２０は、検索サーバ１０にアクセスし、トップページＰ１を表示部２５に表示させる（Ｓ７）。ユーザ端末２０は、検索サーバ１０に対し、ユーザが入力フォームＦ１０に入力されたクエリを送信する（Ｓ８）。

検索サーバ１０は、ユーザが入力したクエリを受信し（Ｓ９）、このクエリと、第１モデルＭ１と、に基づいて、第２分類ごとの第１スコアを取得する（Ｓ１０）。検索サーバ１０は、Ｓ１０で取得された第１スコアに基づいて、第１ランキングを決定する（Ｓ１１）。Ｓ１１では、検索サーバ１０は、第１スコアの降順となるように第２分類を並び替えることによって、第１ランキングを決定する。

検索サーバ１０は、ユーザが入力したクエリ、第１モデルＭ１により推定された第２分類、及び第２モデルＭ２に基づいて、当該クエリと当該第２分類の組み合わせごとに、第２スコアを取得する（Ｓ１２）。検索サーバ１０は、Ｓ１２で取得された第２スコアに基づいて、第２ランキングを決定する（Ｓ１３）。Ｓ１３では、検索サーバ１０は、第２スコアの降順となるように第２分類を並び替えることによって、第２ランキングを決定する。

検索サーバ１０は、Ｓ９で受信されたクエリ、Ｓ１１で決定された第１ランキング、及びＳ１３で決定された第２ランキングに基づいて、ページデータベースＤＢ１の検索処理を実行する（Ｓ１４）。Ｓ１４では、検索サーバ１０は、ユーザが入力したクエリと、第１ランキング又は第２ランキングが相対的に上位の第２分類と、を最終的なクエリとして、ページデータベースＤＢ１の検索処理を実行する。ユーザ端末２０は、検索サーバ１０から検索結果を受信して検索結果ページＰ２を表示部２５に表示させ（Ｓ１５）、本処理は終了する。

第１実施形態のランキング決定システム１は、第１モデルＭ１に基づいて、複数の第２分類を取得する。ランキング決定システム１は、第２モデルＭ２に基づいて、第２分類ごとに第２スコアを取得する。ランキング決定システム１は、第２分類ごとの第２スコアに基づいて、複数の第２分類に関する第２ランキングを決定する。これにより、第１モデルＭ１とは異なる観点で学習処理を実行した第２モデルＭ２を利用して、第１モデルＭ１の推定結果を評価することができるので、第２分類のランキングを正確に決定できる。

また、ランキング決定システム１は、ユーザがクエリを入力した場合に、第２分類の取得、第２スコアの取得、及び第２ランキングの決定を実行する。ランキング決定システム１は、ユーザがクエリを入力した場合に、クエリと、第２ランキングと、に基づいて、検索処理を実行する。これにより、ユーザが入力したクエリに対し、ユーザの意図の推定結果である第２分類を付加したうえで検索処理を実行できるので、検索処理の精度が高まる。例えば、第２ランキングが相対的に上位の第２分類が付加されることによって、ユーザの意図をより正確に推定して検索処理を実行できるので、ユーザの意図を反映した検索結果をユーザに提示できる。

また、ランキング決定システム１は、ユーザがクエリを入力した場合に、第２分類ごとの第１スコアを取得する処理と、第２分類ごとの第１スコアに基づいて第１ランキングを決定する処理と、を実行する。ランキング決定システム１は、ユーザがクエリを入力した場合に、クエリ、第１ランキング、及び第２ランキングに基づいて、検索処理を実行する。これにより、第２ランキングだけではなく第１ランキングも検索処理に反映できるので、検索処理の精度がより高まる。例えば、第１ランキングもある程度は信頼できることもあるので、第１ランキング及び第２ランキングの両方を検索処理に利用することによって、ユーザの意図をより反映した検索結果をユーザに提示できる。

また、第１データは、検索処理で利用可能なインデックスである。第１分類は、インデックスに関する分類である。第３データは、過去の検索で入力された過去クエリである。第３分類は、過去の検索結果に対する選択結果に関する分類である。これにより、実際に検索処理で利用されるインデックスや実際に入力された過去クエリを利用して、第１モデルＭ１及び第２モデルＭ２を作成できるので、訓練データを用意する手間を省くことができる。更に、実際に検索サービスで利用されたデータを利用できるので、検索サービスの実情に合った精度の高い第１モデルＭ１及び第２モデルＭ２を作成できる。

［２．第２実施形態］
ランキング決定システム１が適用される場面は、第１実施形態の例に限られない。ランキング決定システム１は、任意の場面に適用可能である。第２実施形態では、第１モデルＭ１の訓練データを生成するためにランキング決定システム１を適用する場合を例に挙げる。第２実施形態では、第１実施形態と同様の点については、説明を省略する。

第２実施形態では、第２モデルＭ２は、第１モデルＭ１の訓練データを生成するために利用される。このため、検索処理の実行時には、第２モデルＭ２は利用されないものとする。検索サーバ１０は、第２モデルＭ２を記憶しない。例えば、ユーザがトップページＰ１でクエリを入力すると、検索サーバ１０は、このクエリと、第１モデルＭ１と、に基づいて、第２分類を取得する。

例えば、検索サーバ１０は、ユーザが入力したクエリと、第１スコアが相対的に高い第２分類と、に基づいて、検索処理を実行する。第１スコアが相対的に高い第２分類は、第１ランキングが所定順位以上の第２分類である。第１モデルＭ１の精度が十分に高ければ、第２実施形態のように検索処理を実行しても、精度の高い検索処理を実行可能である。第２実施形態では、第１モデルＭ１の精度を高めるために、第２モデルＭ２を利用して訓練データが生成される。

図１２は、第２実施形態の機能ブロックの一例を示す図である。ランキング決定システム１は、訓練データ生成部３０７を含む。第２実施形態では、第２分類取得部３０３、第１ランキング決定部３０４、第２スコア取得部３０５、及び第２ランキング決定部３０６が学習端末３０で実現される。これらの各機能は、制御部３１により実現される。第２実施形態では、検索サーバ１０は、第２スコア取得部１０３及び第２ランキング決定部１０４は含まないものとする。

図１３は、第２実施形態で訓練データが生成される流れの一例を示す図である。以降、図１３を参照しつつ、図１２の各機能を説明する。例えば、訓練データ生成部３０７は、第２データと、第２ランキングと、に基づいて、第１モデルＭ１に学習させる訓練データを生成する。第２実施形態では、訓練データ生成部３０７は、第１ランキングと、第２ランキングと、に基づいて、訓練データを生成する。即ち、第２ランキングだけではなく、第１ランキングも訓練データの生成で利用される。

第２実施形態では、第１実施形態と同様に、第１学習部３０１は、訓練データベースＤＢ２に基づいて、第１モデルＭ１の学習処理を実行するものとする。この学習処理は、第１実施形態と同様である。第２実施形態では、この学習処理により作成された第１モデルＭ１が検索サーバ１０に記憶されるわけではない。第１モデルＭ１は、以降説明する処理によって精度が高められたうえで、検索サーバ１０に記憶される。なお、第２モデルＭ２の学習方法は、第１実施形態と同様であってよい。

第２データの意味は、第１実施形態で説明した通りであるが、第２実施形態では、第２データが過去クエリであるものとする。このため、第２実施形態で過去クエリについて説明している箇所は、第２データと読み替えることができる。第２分類取得部３０３は、第１モデルＭ１と、過去クエリと、に基づいて、過去クエリの第２分類を取得する。例えば、図１３のように、第２分類取得部３０３は、クエリデータベースに格納された過去クエリを、第１モデルＭ１に入力する。第２分類取得部３０３は、第１モデルＭ１から出力された第２分類を取得する。

第２実施形態では、第２分類は、過去クエリの第２属性及び第２属性値である。第１モデルＭ１は、第１実施形態と同様にして、第２分類ごとに第１スコアを計算する。第１ランキング決定部３０４は、第１実施形態と同様にして、第１ランキングを決定する。例えば、訓練データ生成部３０７は、図１３のように、第１ランキングが相対的に高い過去クエリと第２分類の組み合わせ（例えば、順位が５位以上の組み合わせ）を、訓練データ群Ｔ２として取得する。

第２スコア取得部３０５は、第１実施形態と同様にして、過去クエリ及び第２分類の組み合わせの有効性に関する第２スコアを取得する。第２ランキング決定部３０６は、第１実施形態と同様にして、第２ランキングを決定する。図１３の例では、第２スコア取得部３０５は、第１モデルＭ１に入力された過去クエリと、第１モデルＭ１から出力された第２分類と、の組み合わせである候補Ｃ３に含まれる個々の組み合わせを、第２モデルＭ２に入力する。訓練データ生成部３０７は、図１３のように、第２ランキングが相対的に高い過去クエリと第２分類の組み合わせ（例えば、順位が５位以上の組み合わせ）を、訓練データ群Ｔ３として取得する。

例えば、訓練データ生成部３０７は、訓練データ群Ｔ２及び訓練データ群Ｔ３に基づいて、第１モデルＭ１に追加で学習させる訓練データ群Ｔ４を取得する。図１３の例では、訓練データ生成部３０７は、第１ランキングが相対的に高い過去クエリ及び第２分類の組み合わせと、第２ランキングが相対的に高い過去クエリ及び第２分類の組み合わせと、の両方を訓練データ群Ｔ４として取得する。訓練データ生成部３０７は、これらの共通集合を訓練データ群Ｔ４として取得してもよい。第１学習部３０１は、第１モデルＭ１に訓練データ群Ｔ４を学習させる。訓練データ群Ｔ４の学習処理自体は、訓練データベースＤＢ２に格納された訓練データの学習処理と同様である。

なお、訓練データ生成部３０７は、第１ランキングを利用せずに、第２ランキングに基づいて、訓練データを生成してもよい。この場合、学習端末３０は、第１ランキング決定部３０４を含まない。例えば、訓練データ生成部３０７は、第１ランキングを利用せずに、第２ランキングに基づいて、訓練データとして利用する第２分類を選択する。例えば、訓練データ生成部３０７は、第２ランキングが相対的に高い過去クエリ及び第２分類の組み合わせを、そのまま訓練データ群Ｔ４として選択してもよい。以降の学習処理は、第１ランキングを利用する場合と同様である。

第２実施形態のランキング決定システム１は、第２データと、第２ランキングと、に基づいて、第１モデルＭ１に学習させる訓練データを生成する。これにより、第２ランキングが相対的に高いものが第１モデルＭ１に学習されるので、第１モデルＭ１の精度が高まる。第１モデルＭ１に学習させる訓練データの作成を自動化できるので、第１モデルＭ１の訓練データを作成する手間を省くこともできる。

また、ランキング決定システム１は、第１ランキングと、第２ランキングと、に基づいて、訓練データを生成する。これにより、第２ランキングだけではなく第１ランキングも考慮して第１モデルＭ１の訓練データを作成できるので、より精度の高い訓練データを第１モデルＭ１に学習させることができる。その結果、第１モデルＭ１の精度が高まる。

［３．変形例］
本開示は、以上に説明した第１実施形態及び第２実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。

［３－１．第１実施形態に関する変形例］
図１４は、第１実施形態に関する変形例の機能ブロックの一例を示す図である。第１実施形態に関する変形例では、第３学習部３０８が実現される。第３学習部３０８は、制御部３１により実現される。第１実施形態に関する変形例では、第１実施形態と同様に、検索処理の実行時に、第１ランキング及び第２ランキングが決定される。

［変形例１－１］
例えば、検索部１０５は、第１ランキング、第２ランキング、及び第３モデルＭ３に基づいて、複数の第２分類に関する第３ランキングを決定し、ユーザが入力したクエリと、当該決定された第３ランキングと、に基づいて、検索処理を実行してもよい。第３モデルＭ３は、第１モデルＭ１及び第２モデルＭ２と同様、種々の機械学習手法を利用可能である。第３モデルＭ３は、機械学習以外の手法を利用したモデルであってもよい。例えば、第３モデルＭ３は、第１ランキング及び第２ランキングと、第３ランキングと、の関係が定義されたテーブル形式のデータであってもよい。

第３モデルＭ３には、第１ランキング及び第２ランキングと、第３ランキングと、の関係が学習されている。この関係は、第３モデルＭ３の訓練データに定義されている。第３モデルＭ３の訓練データは、データ記憶部３００に記憶されているものとする。第３学習部３０８は、ある訓練データに含まれる第１ランキング及び第２ランキングが入力された場合に、この訓練データに含まれる第３ランキングが出力されるように、第３モデルＭ３の学習処理を実行する。第３モデルＭ３の学習処理自体は、第１モデルＭ１及び第２モデルＭ２と同様、種々の機械学習手法の学習処理を利用可能である。

例えば、検索部１０５は、第１ランキング及び第２ランキングのペアを、学習済みの第３モデルＭ３に入力する。第３モデルＭ３は、第１ランキング及び第２ランキングのペアに応じた第３ランキングを出力する。第３モデルＭ３には、第１ランキング及び第２ランキングのペアだけではなく、第２分類も入力されてもよい。この場合、第３モデルＭ３には、第２分類も学習されているものとする。検索部１０５は、第２分類も考慮された第３ランキングを取得する。

例えば、検索部１０５は、ユーザが入力したクエリと、第３ランキングが相対的に高い第２分類（例えば、第３ランキングが所定順位以上の第２分類）と、に基づいて検索処理を実行する。第３ランキングが利用される点で第１実施形態とは異なるが、検索処理における他の点は、第１実施形態と同様である。

変形例１－１のランキング決定システム１は、第１ランキング、第２ランキング、及び第３モデルＭ３に基づいて、複数の第２分類に関する第３ランキングを決定する。ランキング決定システム１は、クエリと、当該決定された第３ランキングと、に基づいて、検索処理を実行する。例えば、第１ランキングが相対的に高い第２分類と、第２ランキングが相対的に高い第２分類と、の両方を検索処理で利用する場合には、第２分類が多数になってしまい、検索処理で何もヒットしないといったことが起こり得るが、第３ランキングといった１つのランキングにまとめたうえで検索処理が実行されるので、必要最低限の第２分類を検索処理で利用できるので、検索処理の精度が高まる。不要な第２分類が検索処理で利用されるといったことを防止できるので、検索処理を高速化できる。

［変形例１－２］
例えば、検索部１０５は、第２分類ごとの第１スコア、第２分類ごとの第２スコア、第１ランキング、第２ランキング、及び第３モデルＭ３に基づいて、第３ランキングを決定してもよい。この場合、第３モデルＭ３には、第１スコア、第２スコア、第１ランキング、及び第２ランキングと、第３ランキングと、の関係が学習されている。この関係は、第３モデルＭ３の訓練データに定義されている。第３モデルＭ３の学習処理自体は、変形例１－１で説明した通りである。

検索部１０５は、第２分類ごとの第１スコア、第２分類ごとの第２スコア、第１ランキング、第２ランキングを、学習済みの第３モデルＭ３に入力する。第３モデルＭ３は、第２分類ごとの第１スコア、第２分類ごとの第２スコア、第１ランキング、第２ランキングの組み合わせに応じた第３ランキングを出力する。検索部１０５は、第１スコア及び第２スコアも考慮された第３ランキングを取得する。第３ランキングが取得された後の検索部１０５による検索処理は、変形例１－１と同様である。

変形例１－２のランキング決定システム１は、第２分類ごとの第１スコア、第２分類ごとの第２スコア、第１ランキング、第２ランキング、及び第３モデルＭ３に基づいて、第３ランキングを決定する。これにより、第３ランキングを正確に決定できるので、検索処理の精度がより高まる。

［変形例１－３］
例えば、検索部１０５は、第１ランキングと、第２ランキングと、の違いに基づいて、検索処理を実行してもよい。この違いは、第１ランキングにおける順位と、第２ランキングにおける順位と、の差である。図３の例であれば、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｗｈｉｔｅ ｗｉｎｄ」の組み合わせを示す第２分類であれば、第１ランキングは３２位であり、第２ランキングは１位なので、これらの違いは３１となる。他の第２分類についても同様に、検索部１０５は、第２分類ごとに、第１ランキングと、第２ランキングと、の違いを取得する。

例えば、検索部１０５は、第２ランキングにおいて第１ランキングから所定順位以上上がった第２分類に基づいて、検索処理を実行する。図３の例であれば、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｗｈｉｔｅ ｗｉｎｄ」の組み合わせを示す第２分類が３１位上がっているので、検索部１０５は、この第２分類に基づいて、検索処理を実行する。検索処理で利用される第２分類の選択方法が第１実施形態と異なるが、検索処理の実行方法自体は、第１実施形態と同様である。

変形例１－３のランキング決定システム１は、第１ランキングと、第２ランキングと、の違いに基づいて、検索処理を実行する。これにより、例えば、第１モデルＭ１の推定結果と、第２モデルＭ２の推定結果と、の違いが大きく異なる第２分類を検索処理で利用することによって、第１ランキングだけを利用する場合に比べて、第１モデルＭ１では推定しきれないユーザの意図を推定したうえで検索処理を実行できるので、検索処理の精度が高まる。

［変形例１－４］
例えば、第１実施形態で説明したように、第２属性と、第２属性値と、の組み合わせが第２分類に相当する場合、第１ランキング決定部１０２は、第２分類の第２属性ごとに、当該第２分類の属性値の第１ランキングを決定してもよい。図３及び図４の例では、全ての第２属性の中での第１ランキングが決定される場合を説明したが、第２属性ごとの第１ランキングが決定されてもよい。

例えば、第２属性「Ｂｒａｎｄ」に関連付けられた第２属性値（具体的なブランド名を示す文字列）が１００個存在したとする。この場合、第１ランキング決定部１０２は、この１００個の中で、第１ランキングを決定する。第１ランキング決定部１０２は、他の第２属性についても同様に、この第２属性の第２属性値となりうるｎ（ｎは２以上の整数）個の中で、第１ランキングを決定する。

第２ランキング決定部１０４は、第２分類の第２属性ごとに、当該第２分類の属性値の第２ランキングを決定する。第２ランキング決定部１０４は、第２属性ごとの第２ランキングを決定する。上記の例における第２属性「Ｂｒａｎｄ」の場合、第２ランキング決定部１０４は、１００個の中で、第２ランキングを決定する。第２ランキング決定部１０４は、他の第２属性についても同様に、この第２属性の第２属性値となりうるｎ個の中で、第２ランキングを決定する。

検索部１０５は、第２属性ごとの第２属性値の第１ランキング及び第２ランキングに基づいて、検索処理を実行する。例えば、検索部１０５は、第２属性ごとに、第１ランキング及び第２ランキングが相対的に上位の第２属性値を選択する。検索部１０５は、第２属性ごとに選択された第２属性値に基づいて、検索処理を実行する。検索処理で利用される第２分類の選択方法が異なるが、検索処理自体は、第１実施形態で説明した通りである。

変形例１－４のランキング決定システム１は、第２属性ごとの第２属性値の第１ランキング及び第２ランキングに基づいて、検索処理を実行する。これにより、ある特定の第２属性ばかりが検索処理で利用されるといったことを防止できるので、検索処理の精度が高まる。図３及び図４の例であれば、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｅｎｇｉｎｅｅｒ」の組み合わせを示す第２分類は、誤った第２分類である。この第２分類の第１スコア又は第２スコアが高かったとしても、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｅｎｇｉｎｅｅｒ」の組み合わせを示す第２分類の第１スコア又は第２スコアよりも低ければ検索処理で利用されないので、誤った第２分類が検索処理で利用されにくくなる。

［変形例１－５］
例えば、検索部１０５は、第１スコア及び第２スコアの少なくとも一方が相対的に高い第２属性値だったとしても、当該第２属性値の第２属性の中で第１ランキング及び第２ランキングが相対的に低い場合には、当該第２属性及び当該第２属性値に基づいては、検索処理を実行しない。検索部１０５は、第１スコア及び第２スコアの少なくとも一方が相対的に低い第２属性値だったとしても、当該第２属性値の第２属性の中で第１ランキング及び第２ランキングが相対的に高い場合には、当該第２属性及び当該第２属性値に基づいて、検索処理を実行してもよい。

図３及び図４の例であれば、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｅｎｇｉｎｅｅｒ」の第１スコア及び第２スコアの少なくとも一方が、他の第２属性の第２属性値（例えば、図３及び図４には示さない第２属性「Ｃｏｌｏｒ」及び第２属性値「Ｂｌａｃｋ」）の第１スコア及び第２スコアの少なくとも一方よりも相対的高かったとしても、同じ第２属性「Ｂｒａｎｄ」及び第２属性値「Ｗｈｉｔｅ ｗｉｎｄ」の第１スコア及び第２スコアの少なくとも一方よりも低ければ、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｅｎｇｉｎｅｅｒ」は、検索処理で利用されない。

例えば、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｗｈｉｔｅ ｗｉｎｄ」の第１スコア及び第２スコアの少なくとも一方が、他の第２属性の第２属性値（例えば、第２属性「Ｃｏｌｏｒ」及び第２属性値「Ｗｈｉｔｅ」）の第１スコア及び第２スコアの少なくとも一方よりも相対的低かったとしても、第２属性「Ｂｒａｎｄ」の中で第１スコア及び第２スコアの少なくとも一方が相対的に高ければ、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｗｈｉｔｅ ｗｉｎｄ」は、検索処理で利用される。

変形例１－５のランキング決定システム１は、ある特定の第２属性ばかりが検索処理で利用されるといったことを防止できるので、検索処理の精度が高まる。例えば、検索処理で利用したい第２属性値が全体的に第１スコア又は第２スコアが低かったとしても、この第２属性値が属する第２属性の中で上位であれば検索処理で利用できるようになるので、検索処理の精度が高まる。

［３－２．第２実施形態に関する変形例］
第２実施形態に関する変形例を説明する。第２実施形態に関する変形例では、第２実施形態と同様に、第１モデルＭ１の訓練データを生成するために、第１ランキング及び第２ランキングが決定される。

［変形例２－１］
例えば、訓練データ生成部３０７は、第１ランキングよりも第２ランキングの方が高い第２分類が第１モデルＭ１に学習されるように、訓練データを生成してもよい。訓練データ生成部３０７は、第２分類ごとに、第１ランキングにおける順位と、第２ランキングにおける順位と、を比較する。訓練データ生成部３０７は、第２ランキングにおける順位の方が高い第２分類を選択し、過去クエリと、当該選択された第２分類と、のペアを訓練データとして生成する。

変形例２－１のランキング決定システム１は、訓練データ生成部３０７は、第１ランキングよりも第２ランキングの方が高い第２分類が第１モデルＭ１に学習されるように、訓練データを生成する。これにより、第１モデルＭ１が十分に学習できていないが、第２モデルＭ２はある程度学習できている過去クエリ及び第２分類を、第１モデルＭ１に学習させることができるので、第１モデルＭ１の精度が高まる。

［変形例２－２］
例えば、変形例２－１とは逆に、訓練データ生成部３０７は、第１ランキングよりも第２ランキングの方が低い第２分類が第１モデルＭ１に学習されないように、訓練データを生成してもよい。訓練データ生成部３０７は、第２分類ごとに、第１ランキングにおける順位と、第２ランキングにおける順位と、を比較する。訓練データ生成部３０７は、第２ランキングにおける順位の方が低い第２分類を選択せずに、訓練データを生成する。

変形例２－２のランキング決定システム１は、第１ランキングよりも第２ランキングの方が低い第２分類が第１モデルＭ１に学習されないように、訓練データを生成する。これにより、第１モデルＭ１がある程度学習できている過去クエリ及び第２分類が第１モデルＭ１に更に学習されることを防止できるので、第１モデルＭ１の過学習を防止して第１モデルＭ１の精度が高まる。

［３－３．第１実施形態及び第２実施形態に共通する変形例］
第１実施形態及び第２実施形態に共通する変形例を説明する。図１５は、第１実施形態及び第２実施形態に共通する変形例の機能ブロックの一例を示す図である。第３データ選択部３０９及び第１データ選択部３１０は、制御部３１により実現される。図１６は、第１実施形態及び第２実施形態に共通する変形例の処理の流れの一例を示す図である。以降では、第１実施形態の検索サービスを例に挙げるが、第２実施形態の検索サービスにも以降説明する処理を適用可能である。

［変形例３－１］
例えば、ランダムサンプリングを利用して、複数の第２モデルＭ２が作成されてもよい。変形例３－１のランキング決定システム１は、第３データ選択部３０９を含む。第３データ選択部３０９は、複数の第３データが格納された第３データベースのうちの一部を、ランダムに繰り返し選択する。第３データベースは、第３データの候補が格納されたデータベースである。変形例３－１では、図１０で説明した共通集合の訓練データ群Ｔ１が第３データベースに相当する場合を説明する。

図１６の例では、ｋ（ｋは２以上の整数）の第２モデルＭ２が作成される。ここでは、ｋを５とする第２モデルＭ２の数は、２つ以上であればよく、５つに限られない。例えば、第２モデルＭ２は、２つ、３つ、４つ、又は６つ以上であってもよい。例えば、第３データ選択部３０９は、図１０で説明した共通集合の訓練データ群Ｔ１の中から、１つ目の第２モデルＭ２－１に学習させる１つ目の訓練データ群Ｔ１－１を、ランダムに所定数だけ選択する。

例えば、第３データ選択部３０９は、共通集合の訓練データ群Ｔ５の中から、２つ目の第２モデルＭ２－２に学習させる２つ目の訓練データ群Ｔ５－２を、ランダムに所定数だけ選択する。２つ目の訓練データ群Ｔ５－２は、１つ目の訓練データ群Ｔ５－１と完全同一にはならない。２つ目の訓練データ群Ｔ５－２は、１つ目の訓練データ群Ｔ５－１と部分一致する。以降同様に、第３データ選択部３０９は、３つ目以降の第２モデルＭ２－ｍ（ｍは３以上ｋ以下の整数）に学習させる３つ目以降の訓練データ群Ｔ１－ｍを選択する。

第２学習部３０２は、ランダムに繰り返し選択された一部の第３データに基づいて、複数の第２モデルＭ２に関する学習処理を実行する。図１６の例では、第２学習部３０２は、１つ目の訓練データ群Ｔ１－１に基づいて、１つ目の第２モデルＭ２－１の学習処理を実行する。第２学習部３０２は、２つ目の訓練データ群Ｔ１－２に基づいて、２つ目の第２モデルＭ２－２の学習処理を実行する。以降同様に、第２学習部３０２は、３つ目以降の訓練データ群Ｔ１－ｍに基づいて、３つ目以降の第２モデルＭ２－ｍの学習処理を実行する。個々の学習処理は、第１実施形態で説明した通りである。

第２スコア取得部１０３は、第２モデルＭ２ごとに、第２スコアを取得する。変形例３－１では、クエリ及び第２分類の組み合わせが複数の第２モデルＭ２の各々に入力される。ｋが５だとすると、第２スコア取得部１０３は、あるクエリ及び第２分類に対して、５つの第２スコアを取得する。第２ランキング決定部１０４は、第２モデルＭ２ごとに取得された第２スコアに基づいて、第２ランキングを決定する。例えば、第２ランキング決定部１０４は、第２分類ごとに第２スコアの平均値を計算する。第２ランキング決定部１０４は、平均値の降順となるように、第２ランキングを決定する。平均値は、単純平均であってもよいし、加重平均であってもよい。

なお、第２ランキング決定部１０４は、第２スコアの平均値を計算するのではなく、第２モデルＭ２ごとに、第２ランキングを決定してもよい。ｋが５だとすると、５通りの第２ランキングが決定される。第２ランキング決定部１０４は、５通りの第２ランキングの平均順位を、最終的な第２ランキングとして決定してもよい。第２ランキングが決定された後の検索処理は、第１実施形態で説明した通りである。

変形例３－１のランキング決定システム１は、ランダムサンプリングを利用して第２モデルＭ２の学習処理を実行する。ランキング決定システム１は、第２モデルＭ２ごとに取得された第２スコアに基づいて、第２ランキングを決定する。これにより、複数の第２モデルＭ２を利用できるので、１つの第２モデルＭ２だけを利用する場合よりも第２ランキングの精度が高まる。

［変形例３－２］
例えば、変形例３－１のようなランダムサンプリングが実行される場合に、第３データ選択部３０９は、第２ランキングを上げる第２分類と同じ第３分類が関連付けられた第３データが優先的に選択されるように、共通集合の訓練データ群Ｔ１のうちの一部を、ランダムに繰り返し選択してもよい。変形例３－１では、第２ランキングを上げる第２分類は、検索サービスの管理者により指定されるものとする。第３データ選択部３０９は、ｋ個の第２モデルＭ２のうちの所定数（例えば、ｋの７割程度）以上の第２モデルＭ２に、第２ランキングを上げる第２分類と同じ第３分類が関連付けられた第３データが選択されるように、訓練データ群Ｔ１のうちの一部をランダムに選択する。

例えば、第２属性「Ｂｒａｎｄ」及び第２属性値「Ｗｈｉｔｅ ｗｉｎｄ」の組み合わせを示す第２分類が、第２ランキングを上げる第２分類だったとする。この場合、第３データ選択部は、ｋ個の第２モデルＭ２のうちの所定数以上の第２モデルＭ２に、この第２分類が学習されるように、訓練データ群Ｔ１のうちの一部をランダムに選択する。この第２分類は、検索サービスの管理者が手動で指定するのではなく、現状の第１モデルＭ１にあまり学習させていない第２分類が自動的に指定されてもよい。例えば、選択ログデータベースＤＢ４の中であまり登場しない第２分類が自動的に指定されてもよい。

変形例３－２のランキング決定システム１は、第２ランキングを上げる第２分類と同じ第３分類が関連付けられた第３データが優先的に選択されるように、第３データベースのうちの一部を、ランダムに繰り返し選択する。これにより、所定の第２分類の第２ランキングが上がりやすいように第２モデルＭ２の学習処理を実行できる。例えば、ユーザの意図を正確に表す第２分類であるが、選択ログデータベースＤＢ４にあまり登場しない第２分類が存在したとしても、このような第２分類を第２モデルＭ２に優先的に学習させることができる。

［変形例３－３］
例えば、ランダムサンプリングを利用して第１モデルＭ１が作成されてもよい。変形例３－３のランキング決定システム１は、第１データ選択部３１０を含む。第１データ選択部３１０は、複数の第１データが格納された訓練データベースＤＢ２のうちの一部を、ランダムに繰り返し選択する。訓練データベースＤＢ２は、第１データベースの一例である。このため、訓練データベースＤＢ２と記載した箇所は、第１データベースと読み替えることができる。変形例３－３では、変形例３－１の第２モデルＭ２と同様、５つの第１モデルＭ１が作成される場合を例に挙げる。第１モデルＭ１の数は、２つ以上であればよく、５つに限られない。例えば、第１モデルＭ１は、２つ、３つ、４つ、又は６つ以上であってもよい。

例えば、第１データ選択部３１０は、訓練データベースＤＢ２の中から、１つ目の第１モデルＭ１に学習させる１つ目の訓練データ群を、ランダムに選択する。第１データ選択部３１０は、訓練データベースＤＢ２の中から、２つ目の第１モデルＭ１に学習させる２つ目の訓練データ群を、ランダムに選択する。２つ目の訓練データ群は、１つ目の訓練データ群と完全同一にはならない。２つ目の訓練データ群は、１つ目の訓練データ群と部分一致する。以降同様に、第１データ選択部３１０は、３つ目～５つ目の第１モデルＭ１に学習させる３つ目～５つ目の訓練データ群を、ランダムに選択する。

第１学習部３０１は、ランダムに繰り返し選択された一部の第１データに基づいて、複数の第１モデルＭ１に関する学習処理を実行する。第１学習部３０１は、１つ目の訓練データ群に基づいて、１つ目の第１モデルＭ１の学習処理を実行する。第１学習部３０１は、２つ目の訓練データ群に基づいて、２つ目の第１モデルＭ１の学習処理を実行する。以降同様に、第１学習部３０１は、３つ目～５つ目の訓練データ群に基づいて、３つ目～５つ目の第１モデルＭ１の学習処理を実行する。個々の学習処理は、第１実施形態で説明した通りである。

第２分類取得部１０１は、第１モデルＭ１ごとに、複数の第２分類を取得する。変形例３－３では、クエリが複数の第１モデルＭ１の各々に入力される。例えば、第２分類取得部１０１は、第１モデルＭ１ごとに第１スコアを取得する。上記の例であれば、５つの第１モデルＭ１存在するので、第２分類取得部１０１は、ある１つの第２分類に対し、５つの第１スコアを取得する。第１ランキング決定部１０２は、第１モデルＭ１ごとに取得された第１スコアに基づいて、第１ランキングを決定してもよい。この場合、変形例３－１で説明した第２ランキングの決定方法と同様に、第１スコアの平均値が利用されてもよいし、５通りの第１ランキングを計算した平均順位が利用されてもよい。

変形例３－３のランキング決定システム１は、ランダムサンプリングを利用して第１モデルＭ１の学習処理を実行する。ランキング決定システム１は、第１モデルＭ１ごとに取得された第１スコアに基づいて、第１ランキングを決定する。これにより、複数の第１モデルＭ１を利用できるので、１つの第１モデルＭ１だけを利用する場合よりも第１ランキングの精度が高まる。

［３－４．その他の変形例］
例えば、上記説明した変形例を組み合わせてもよい。

例えば、ランキング決定システム１は、検索サービス以外の他のサービスに適用してもよい。他のサービスは、任意のサービスであってよく、例えば、電子商取引サービス、ＳＮＳ、百科事典サービス、旅行予約サービス、金融サービス、通信サービス、又は決済サービスであってよい。電子商取引サービスに適用される場合には、第１実施形態、第２実施形態、及び上記変形例で説明した検索サービスは、電子商取引サービスの中で提供されてもよい。この場合、電子商取引サービスで販売される商品のページがウェブページに相当する。各属性及び各属性値は、商品の属性及び属性値になる。

例えば、ランキング決定システム１がＳＮＳに適用される場合には、第１データ、第２データ、及び第３データは、ユーザの投稿である。各属性及び各属性値は、ユーザの投稿を分類するためのタグ及びタグの値になる。例えば、ランキング決定システム１がオンライン上の百科事典サービスに適用される場合には、第１データ、第２データ、及び第３データは、用語の意味を示すコンテンツである。各属性及び各属性値は、このコンテンツを分類するための属性及び属性値になる。他のサービスについても同様に、何らかのデータが分類される場面でランキング決定システム１を適用可能である。

例えば、第１モデルＭ１及び第２モデルＭ２の機械学習手法として、マルチラベル（多クラス分類）に対応したモデルを例に挙げたが、１種類のラベルのラベリングだけが可能なモデルであってもよい。第１モデルＭ１及び第２モデルＭ２は、機械学習手法に分類されない他の学習手法を利用したモデルであってもよい。例えば、第１モデルＭ１及び第２モデルＭ２は、辞書又はルールを利用したモデルであってもよい。

例えば、検索サーバ１０で実現されるものとして説明した機能は、他のコンピュータで実現されてもよいし、複数のコンピュータで分担されてもよい。学習端末３０で実現されるものとして説明した機能は、他のコンピュータで実現されてもよいし、複数のコンピュータで分担されてもよい。例えば、データ記憶部１００，３００に記憶されるものとしたデータは、データベースサーバに記憶されていてもよい。

１ ランキング決定システム、Ｎ ネットワーク、１０ 検索サーバ、１１，２１，３１ 制御部、１２，２２，３２ 記憶部、１３，２３，３３ 通信部、２０ ユーザ端末、２４，３４ 操作部、２５，３５ 表示部、３０ 学習端末、Ｐ１ トップページ、Ｐ２ 検索結果ページ、１００ データ記憶部、１０１，３０３ 第２分類取得部、１０２，３０４ 第１ランキング決定部、１０３，３０５ 第２スコア取得部、１０４，３０６ 第２ランキング決定部、１０５ 検索部、２００ データ記憶部、２０１ 表示制御部、２０２ 受付部、３００ データ記憶部、３０１ 第１学習部、３０２ 第２学習部、３０７ 訓練データ生成部、３０８ 第３学習部、３０９ 第３データ選択部、３１０ 第１データ選択部、ＤＢ１ ページデータベース、ＤＢ２ 訓練データベース、ＤＢ３ クエリデータベース、ＤＢ４ 選択ログデータベース。

Claims (18)

1. 第１データと、当該第１データに関する第１分類と、の関係が学習された第１モデルに基づいて、第２データに関する複数の第２分類を取得する第２分類取得部と、
   第３データと、当該第３データに関する第３分類と、の組み合わせの有効性が学習された第２モデルに基づいて、前記第２分類ごとに、前記第２データ及び当該第２分類の組み合わせの有効性に関する第２スコアを取得する第２スコア取得部と、
   前記第２分類ごとの前記第２スコアに基づいて、前記複数の第２分類に関する第２ランキングを決定する第２ランキング決定部と、
   を含むランキング決定システム。
2. 前記第２データは、ユーザが入力したクエリであり、
   前記第２分類取得部は、前記ユーザが前記クエリを入力した場合に、前記クエリに関する前記複数の第２分類を取得し、
   前記第２スコア取得部は、前記ユーザが前記クエリを入力した場合に、前記第２分類ごとに前記第２スコアを取得し、
   前記第２ランキング決定部は、前記ユーザが前記クエリを入力した場合に、前記第２ランキングを決定し、
   前記ランキング決定システムは、前記ユーザが前記クエリを入力した場合に、前記クエリと、前記第２ランキングと、に基づいて、検索処理を実行する検索部を更に含む、
   請求項１に記載のランキング決定システム。
3. 前記第２分類取得部は、前記第２分類ごとに、前記第１モデルの推定結果の有効性に関する第１スコアを取得し、
   前記ランキング決定システムは、前記ユーザが前記クエリを入力した場合に、前記第２分類ごとの前記第１スコアに基づいて、前記複数の第２分類に関する第１ランキングを決定する第１ランキング決定部を更に含み、
   前記検索部は、前記ユーザが前記クエリを入力した場合に、前記クエリ、前記第１ランキング、及び前記第２ランキングに基づいて、前記検索処理を実行する、
   請求項２に記載のランキング決定システム。
4. 前記検索部は、
   前記第１ランキング、前記第２ランキング、及び第３モデルに基づいて、前記複数の第２分類に関する第３ランキングを決定し、
   前記クエリと、当該決定された第３ランキングと、に基づいて、前記検索処理を実行する、
   請求項３に記載のランキング決定システム。
5. 前記検索部は、前記第２分類ごとの前記第１スコア、前記第２分類ごとの第２スコア、前記第１ランキング、前記第２ランキング、及び前記第３モデルに基づいて、前記第３ランキングを決定する、
   請求項４に記載のランキング決定システム。
6. 前記検索部は、前記第１ランキングと、前記第２ランキングと、の違いに基づいて、前記検索処理を実行する、
   請求項３～５の何れかに記載のランキング決定システム。
7. 前記第２分類は、属性と、属性値と、の組み合わせであり、
   前記第１ランキング決定部は、前記第２分類の前記属性ごとに、当該第２分類の前記属性値の前記第１ランキングを決定し、
   前記第２ランキング決定部は、前記第２分類の前記属性ごとに、当該第２分類の前記属性値の前記第２ランキングを決定し、
   前記検索部は、前記属性ごとの前記属性値の前記第１ランキング及び前記第２ランキングに基づいて、前記検索処理を実行する、
   請求項３～６の何れかに記載のランキング決定システム。
8. 前記検索部は、前記第１スコア及び前記第２スコアの少なくとも一方が相対的に高い前記属性値だったとしても、当該属性値の前記属性の中で前記第１ランキング及び前記第２ランキングが相対的に低い場合には、当該属性及び当該属性値に基づいては、前記検索処理を実行せず、
   前記第１スコア及び前記第２スコアの少なくとも一方が相対的に低い前記属性値だったとしても、当該属性値の前記属性の中で前記第１ランキング及び前記第２ランキングが相対的に高い場合には、当該属性及び当該属性値に基づいて、前記検索処理を実行する、
   請求項７に記載のランキング決定システム。
9. 前記第１データは、前記検索処理で利用可能なインデックスであり、
   前記第１分類は、前記インデックスに関する分類であり、
   前記第３データは、過去の検索で入力された過去クエリであり、
   前記第３分類は、前記過去の検索結果に対する選択結果に関する分類である、
   請求項２～８の何れかに記載のランキング決定システム。
10. 前記ランキング決定システムは、前記第２データと、前記第２ランキングと、に基づいて、前記第１モデルに学習させる訓練データを生成する訓練データ生成部を更に含む、
    請求項１に記載のランキング決定システム。
11. 前記第２分類取得部は、前記第２分類ごとに、前記第１モデルの推定結果の有効性に関する第１スコアを取得し、
    前記ランキング決定システムは、前記第２分類ごとの前記第１スコアに基づいて、前記複数の第２分類に関する第１ランキングを決定する第１ランキング決定部を更に含み、
    前記訓練データ生成部は、前記第１ランキングと、前記第２ランキングと、に基づいて、前記訓練データを生成する、
    請求項１０に記載のランキング決定システム。
12. 前記訓練データ生成部は、前記第１ランキングよりも前記第２ランキングの方が高い前記第２分類が前記第１モデルに学習されるように、前記訓練データを生成する、
    請求項１１に記載のランキング決定システム。
13. 前記訓練データ生成部は、前記第１ランキングよりも前記第２ランキングの方が低い前記第２分類が前記第１モデルに学習されないように、前記訓練データを生成する、
    請求項１１又は１２に記載のランキング決定システム。
14. 前記ランキング決定システムは、
    複数の前記第３データが格納された第３データベースのうちの一部を、ランダムに繰り返し選択する第３データ選択部と、
    前記ランダムに繰り返し選択された前記一部の第３データに基づいて、複数の前記第２モデルに関する学習処理を実行する第２学習部と、
    を更に含み、
    前記第２スコア取得部は、前記第２モデルごとに、前記第２スコアを取得し、
    前記第２ランキング決定部は、前記第２モデルごとに取得された前記第２スコアに基づいて、前記第２ランキングを決定する、
    請求項１～１３の何れかに記載のランキング決定システム。
15. 前記第３データ選択部は、前記第２ランキングを上げる前記第２分類と同じ前記第３分類が関連付けられた前記第３データが優先的に選択されるように、前記第３データベースのうちの前記一部を、ランダムに繰り返し選択する、
    請求項１４に記載のランキング決定システム。
16. 前記ランキング決定システムは、
    複数の前記第１データが格納された第１データベースのうちの一部を、ランダムに繰り返し選択する第１データ選択部と、
    前記ランダムに繰り返し選択された前記一部の第１データに基づいて、複数の前記第１モデルに関する学習処理を実行する第１学習部と、
    を更に含み、
    前記第２分類取得部は、前記第１モデルごとに、前記複数の第２分類を取得する、
    請求項１～１５の何れかに記載のランキング決定システム。
17. コンピュータが、
    第１データと、当該第１データに関する第１分類と、の関係が学習された第１モデルに基づいて、第２データに関する複数の第２分類を取得する第２分類取得ステップと、
    第３データと、当該第３データに関する第３分類と、の組み合わせの有効性が学習された第２モデルに基づいて、前記第２分類ごとに、前記第２データ及び当該第２分類の組み合わせの有効性に関する第２スコアを取得する第２スコア取得ステップと、
    前記第２分類ごとの前記第２スコアに基づいて、前記複数の第２分類に関する第２ランキングを決定する第２ランキング決定ステップと、
    を実行するランキング決定方法。
18. 第１データと、当該第１データに関する第１分類と、の関係が学習された第１モデルに基づいて、第２データに関する複数の第２分類を取得する第２分類取得部、
    第３データと、当該第３データに関する第３分類と、の組み合わせの有効性が学習された第２モデルに基づいて、前記第２分類ごとに、前記第２データ及び当該第２分類の組み合わせの有効性に関する第２スコアを取得する第２スコア取得部、
    前記第２分類ごとの前記第２スコアに基づいて、前記複数の第２分類に関する第２ランキングを決定する第２ランキング決定部、
    としてコンピュータを機能させるためのプログラム。

Images