JPWO2015155820A1 - 情報処理装置、情報処理方法、プログラム、記憶媒体 - Google Patents

Abstract

検索エンジンのバージョンアップに関して、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切且つ簡易に行われるようにする。予備環境において、現行アルゴリズムと新アルゴリズムによるテスト検索を実行させ、それらの結果に基づいて計算された検索の順位付けに係る評価値に基づき現行アルゴリズムについての第一評価値と新アルゴリズムについての第二評価値とを取得し、これら第一評価値と第二評価値とに基づき、現行アルゴリズムに対する新アルゴリズムの相対的評価情報が提示されるように制御を行う。順位付けに係る評価値の計算は、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報に基づいて行われる。

Description

本発明は、文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムについて、第一検索アルゴリズムと第二検索アルゴリズムとの比較テストに用いられる情報処理装置とその情報処理方法、情報処理装置を実現するプログラム、及びプログラムを記憶した記憶媒体に関する。

特開２０１２−１２８８０２号公報

例えばインターネット上に存在するウェブページからユーザが入力したキーワード（クエリ）に関連するウェブページを検索するなど、文字情報を含む複数のコンテンツデータを対象としてクエリに関連するコンテンツデータを検索する技術が広く知られている。
このような検索技術としては、検索ヒットしたコンテンツデータを所定のアルゴリズムに従ってスコアリングして順位付けするものもある。この場合、検索結果画面においては、当該順位に従った表示順序で検索ヒットしたコンテンツデータが表示される。

ここで、検索エンジンについては、新バージョンへのバージョンアップが行われる場合がある。
検索エンジンのバージョンアップを行う場合は、新バージョンの検索アルゴリズム（以下「新アルゴリズム」と表記）を即座に現行バージョンの検索アルゴリズム（以下「現行アルゴリズム」と表記）と置き換えるのではなく、事前のテストを経て合格した新アルゴリズムを現行アルゴリズムと置き換えることが望ましい。

このような新アルゴリズムについての事前のテストは、より実践的なテストとするべく、実際に一般ユーザによる利用が行われる本番環境において行うことができる。本番環境におけるテストは、例えば、現行アルゴリズム：新アルゴリズムの利用割合を９：１にするなど新アルゴリズムの利用割合の方が大幅に少なくなるように配慮した上で行われる。また、現行アルゴリズムからの改善度合いの確認を容易とするべく、現行アルゴリズムとの比較テストとして行われる。
本番環境におけるテストでは、検索アルゴリズムの性能評価指標として、例えばＣＴＲ（Click Through Rate）やＣＶＲ（ConVersion Rate）などの売上への寄与に係る評価指標が用いられる。

上記のような本番環境での比較テストは、実践的で望ましいものであるが、一般ユーザによる利用が行われることからテストの施行回数はできる限り少なくすべきである。
しかし、仮に、新アルゴリズムとして上記の順付け性能等の基本的な性能面で不備のあるアルゴリズムが用いられてしまうと、本番環境のテストで本来確かめたい売り上げ寄与の面での性能とは異なる性能に関してアルゴリズムの修正及び再度のテスト施行を要してしまい、望ましくない。

そこで、本発明は上記の問題点に鑑み、検索エンジンのバージョンアップに関して、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切且つ簡易に行われるようにすることを目的とする。

第１に、本発明に係る情報処理装置は、文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理装置であって、文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御部と、前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得部と、前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御部とを備えるものである。

これにより、新アルゴリズムとしての第二検索アルゴリズムの評価は、現行アルゴリズムとしての第一検索アルゴリズムについての評価値を基準とした相対評価により行われると共に、該評価は、本番環境とは異なる予備環境において、本番環境と異なる順位付けに係る評価値に基づき行われる。
また、順位付けに係る評価値の計算は、予めテスト用クエリとこれに関連するテスト用コンテンツデータの組み合わせごとに関連度スコアが対応づけられた関連度対応情報を用いて行われるので、例えば関連度スコアを都度計算する場合等と比較して処理が簡易化される。

第２に、上記した本発明に係る情報処理装置においては、前記検索実行制御部は、複数の前記選択テスト用クエリの個々についての前記第一テスト検索及び前記第二テスト検索が実行されるように制御を行い、前記評価値取得部は、前記検索実行制御部による前記制御に伴い前記選択テスト用クエリごとに計算された前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づき、前記第一評価値及び前記第二評価値を取得することが望ましい。
このように複数の選択テスト用クエリの個々についての第一テスト検索及び第二テスト検索を実行させ、それに応じて選択テスト用クエリごとに計算された第一評価値、第二評価値を取得することで、様々なテスト用クエリを用いた多面的な評価を行うことを可能としている。

第３に、上記した本発明に係る情報処理装置においては、前記評価値取得部は、前記選択テスト用クエリごとに計算された前記第一テスト検索についての前記順位付けに係る評価値を一つに統合した値を前記第一評価値として取得し、前記選択テスト用クエリごとに計算された前記第二テスト検索についての前記順位付けに係る評価値を一つに統合した値を前記第二評価値として取得することが望ましい。
これにより、選択テスト用クエリごとに得られた複数の評価値同士の相対的評価情報ではなく、統合した一つの評価値についての相対的評価情報が提示される。

第４に、上記した本発明に係る情報処理装置においては、前記評価値取得部は、前記テスト用クエリの個々の重要度を表すクエリ重要度が前記テスト用クエリごとに対応づけられた重要度対応情報に基づき、前記選択テスト用クエリに対応した前記クエリ重要度を取得し、取得したクエリ重要度に基づき、前記第一テスト検索、前記第二テスト検索について計算された前記順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて前記第一評価値、前記第二評価値を取得することが望ましい。
あまり重要でないクエリを用いた検索結果の評価値が高くてもその検索アルゴリズムの検索性能が高いとは言えない。このため、テスト検索に用いたクエリの重要度に応じて、第一評価値、第二評価値が調整されるようにしている。

第５に、上記した本発明に係る情報処理装置においては、前記重要度対応情報は、前記テスト用クエリの個々に対し、前記第二検索アルゴリズムの適用先環境の別に応じた複数の前記クエリ重要度が対応づけられており、前記評価値取得部は、前記重要度対応情報において前記選択テスト用クエリと同一のテスト用クエリに対応づけられている複数の前記クエリ重要度のうち、指示された適用先識別情報に基づいて１つの前記クエリ重要度を取得し、取得したクエリ重要度に基づき前記第一テスト検索、前記第二テスト検索について計算された前記順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて前記第一評価値、前記第二評価値を取得することが望ましい。
検索アルゴリズムの適用先環境が異なれば、同じクエリであってもその環境に対する重要度が異なることが想定される。これに対応するため、適用先環境の別に応じて異なるクエリ重要度を用いた新アルゴリズムの評価が可能となるようにしている。

また、本発明に係る情報処理方法は、文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理方法であって、文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御手順と、前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得手順と、前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御手順とを有する情報処理方法である。

さらに、本発明に係るプログラムは、上記情報処理方法として実行する処理を情報処理装置に実行させるプログラムである。
さらにまた、本発明に係る記憶媒体は、上記プログラムを記憶したプログラムである。これらのプログラムや記憶媒体により上記の情報処理装置を実現する。

本発明によれば、検索エンジンのバージョンアップに関して、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切且つ簡易に行われるようにすることができる。

本番環境に形成されたネットワークシステムの例を示した図である。 本番環境における現行アルゴリズムと新アルゴリズムの比較テストについて説明するための図である。 第１の実施の形態の情報処理装置を備えた予備環境評価システムの概要構成を示したブロック図である。 関連度対応情報の説明図である。 第１の実施の形態の情報処理装置が有する機能を機能ブロックとして示したブロック図である。 実施の形態のコンピュータ装置のブロック図である。 第１の実施の形態の情報処理装置の機能を実現するための処理として、検索実行制御部に対応した処理を示したフローチャートである。 第１の実施の形態の情報処理装置の機能を実現するための処理として、評価値取得部及び提示制御部に対応した処理を示したフローチャートである。 第２の実施の形態の情報処理装置を備えた予備環境評価システムの概要構成を示したブロック図である。 重要度対応情報の説明図である。 第２の実施の形態の情報処理装置が有する機能を機能ブロックとして示したブロック図である。 第２の実施の形態の情報処理装置の機能を実現するための処理を示したフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．第１の実施の形態＞
［1-1．本番環境］
［1-2．本番環境における比較テスト］
［1-3．予備環境における評価システム］
［1-4．ハードウェア構成］
［1-5．処理手順］
［1-6．第１の実施の形態のまとめ＞
＜２．第２の実施の形態＞
［2-1．評価システム及び制御装置の機能］
［2-2．処理手順］
［2-3．第２の実施の形態のまとめ］
＜３．プログラム及び記憶媒体＞
＜４．変形例＞

＜１．第１の実施の形態＞
［1-1．本番環境］

図１に、本番環境に形成されたネットワークシステム５０の例を示す。このネットワークシステム５０はＥＣ（ＥＣ：electronic commerce（電子商取引））システムとして機能する。本番環境は、後述するユーザ端末５４を介した一般ユーザによる利用が行われる環境を意味する。

ネットワークシステム５０は、例えばインターネット等のネットワーク５２を介して、ショッピングサイト運営システム５３、複数のユーザ端末５４，５４…、複数の店舗端末５５，５５…が互いに通信可能に構成されている。

ユーザ端末５４は、ウェブブラウザを備えたコンピュータ装置である。ユーザ端末５４としては、例えば高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）、携帯型又は据置型のパーソナルコンピュータ（ＰＣ）などが挙げられるが、ユーザ端末５４の種類はこれらに限定されない。
ユーザ端末５４は、ＨＴＴＰ（Hypertext Transfer Protocol）リクエストをショッピングサイト運営システム５３に送信することでウェブページや所定の処理を要求する。またユーザ端末５４は、ＨＴＴＰリクエストに応じて送られてきたウェブページを受信してウェブブラウザ上に表示する。これにより、ユーザは所望のウェブページを閲覧したり操作したりすることができる。

ショッピングサイト運営システム５３は、それぞれコンピュータ装置で構成されたショッピングサーバ５３ａ、検索装置５３ｂ、及び商品ＤＢ（データベース）５３ｃを備えている。これらの各装置は、例えばＬＡＮ（Local Area Network）等のネットワークを介して互いに通信可能とされている。

ショッピングサーバ５３ａは、ユーザ端末５４から送られてきたＨＴＴＰリクエストに基づいて様々な処理を行う。例えば、各種ウェブページ（例えば商品ウェブページ、買い物かごウェブページ、注文ウェブページなど）の生成及び送信や、ユーザによる注文確定操作に応じた購入処理等を実行する。

ネットワークシステム５０では、ショッピングサーバ５３ａにより仮想商店街のウェブサイト（ＥＣサイト）がユーザ（ユーザ端末５４のユーザ）に提供される。ＥＣサイト内には複数の店舗（仮想商店街の加盟店）が存在する。各店舗のスタッフが自店舗の商品を店舗端末５５としてのコンピュータ装置を介して登録することで、様々な店舗の様々な商品がＥＣサイト上にアップロードされる。ユーザはユーザ端末５４からＥＣサイトにアクセスして所望の商品を購入することができる。

ショッピングサーバ５３ａにより提供されるウェブページには商品検索のための検索バーが設けられており、ユーザは該検索バーに対して検索のためのキーワードを入力できる。検索バーの近傍には検索ボタンが配置され、ユーザは該検索ボタンを操作することで検索バーへの入力キーワードに基づく検索の実行指示を行うことができる。
この実行指示に応じて、入力キーワードが検索のクエリとしてユーザ端末５４からショッピングサーバ５３ａに送信される。

ショッピングサーバ５３ａがユーザ端末５４から受信したクエリは検索装置５３ｂに転送される。検索装置５３ｂは、いわゆる検索エンジンとして機能し、ショッピングサーバ５３ａから受信したクエリに基づき商品ＤＢ５３ｃに記憶されている商品ウェブページのうちからクエリに関連する商品ウェブページを検索し、検索結果をショッピングサーバ５３ａに送信する。
商品ＤＢ５３ｃには、商品を識別するための識別子である商品ＩＤに対応づけられて、商品名、種類、商品の画像、スペック、商品紹介の要約文等の商品情報や、広告情報等が記憶されている。また、商品ＤＢ５３ｃには、ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語等により記述された商品ウェブページのファイル等が記憶されている。
検索装置５３ｂは、商品ＤＢ５３ｃに記憶されている上記の商品情報や商品ウェブページのファイルに含まれる文字情報（テキスト情報）等に基づき、受信したクエリに関連する商品ウェブページ、例えばクエリと一致する文字情報を含む商品ウェブページを検索する。また、検索装置５３ｂは、検索ヒットした商品ウェブページを所定のアルゴリズムに従ってスコアリングして順位付けする。検索装置５３ｂによる検索結果には、検索ヒットした商品ウェブページのそれぞれの順位情報が含まれる。
検索装置５３ｂによる検索結果に基づきユーザに提示される検索結果画面上には、検索ヒットした商品ウェブページが上記の順位情報に従った表示順序で表示される。

［1-2．本番環境における比較テスト］

ここで、上記のような本番環境においては、検索装置５３ｂにおける検索アルゴリズムをバージョンアップする際に、現行バージョンの検索アルゴリズム（以下「新アルゴリズム」と表記）と新バーションの検索アルゴリズム（以下「新アルゴリズム」と表記）の比較テストが行われる。

以下、このような本番環境における現行アルゴリズムと新アルゴリズムの比較テストについて図２を参照して説明する。
なお図２において、既に図１で説明した部分と同様となる部分については同一符号を付して説明を省略する。

本番環境における比較テストでは、ネットワークシステム５０において、ショッピングサーバ５３ａ、第一検索装置５３ｂ１、第二検索装置５３ｂ２、及び商品ＤＢ５３ｃを有するショッピングサイト運営システム５３’と、本番環境検索評価装置５６が設けられる。
ショッピングサイト運営システム５３’において、第一検索装置５３ｂ１は、現行アルゴリズムによる検索を行う検索装置５３ｂであり、第二検索装置５３ｂ２は新アルゴリズムによる検索を行う検索装置５３ｂである。

この場合のショッピングサーバ５３ａは、ユーザ端末５４，５４…から受信される複数のクエリについて、一部を第一検索装置５３ｂ１に、残りを第二検索装置５３ｂ２に送信し、それぞれ検索を実行させる。これにより、比較テストの施行中には、ユーザ端末５４，５４…から実行指示のあった検索のうちの一部が第一検索装置５３ｂ１により、残りが第二検索装置５３ｂ２により実行される。
なお、この場合における現行アルゴリズム：新アルゴリズムの利用割合は、例えば９：１にするなど、新アルゴリズムの利用割合の方が大幅に少なくなるように調整されている。すなわち、このような利用割合が実現されるように、ショッピングサーバ５３ａによる第一検索装置５３ｂ１、第二検索装置５３ｂ２に対するクエリの割り振り率が調整されている。

本番環境検索評価装置５６はコンピュータ装置とされ、ショッピングサイト運営システム５３’のショッピングサーバ５３ａと互いに通信可能とされている。
本番環境検索評価装置５６は、第一検索装置５３ｂ１で用いられている現行アルゴリズム、第二検索装置５３ｂ２で用いられている新アルゴリズムのそれぞれについて、所定の評価値を計算する。具体的には、ＣＴＲ（Click Through Rate）、ＣＶＲ（ConVersion Rate）、総売上など、ＥＣサイトでの販売商品の売上への寄与に係る評価値を計算する。
ここで言うＣＴＲは、第一検索装置５３ｂ１、第二検索装置５３ｂ２による検索結果として提示された商品ウェブページ（ＵＲＬ（Uniform Resource Locator）リンク）に対して行われたクリックについてのＣＴＲである。
また、ここで言うＣＶＲは、第一検索装置５３ｂ１、第二検索装置５３ｂ２による単位検索回数を基準として、第一検索装置５３ｂ１、第二検索装置５３ｂ２による検索結果として提示された商品ウェブページがクリックされ該商品ウェブページの掲載商品が購入された割合を意味する。
さらに、上記の総売上は、第一検索装置５３ｂ１、第二検索装置５３ｂ２による検索結果として提示された商品ウェブページを経由して購入された商品を対象として、それらの総売上を計算したものである。

このような本番環境検索評価装置５６により第一検索装置５３ｂ１、第二検索装置５３ｂ２のそれぞれについて計算される評価値に基づき、本番環境における比較テストでは、新アルゴリズムの合否が判定される。例えば、現行アルゴリズムよりも新アルゴリズムにの方が評価値が良好であるか否かにより合否判定が行われる。

［1-3．予備環境における評価システム］

上記のような本番環境での比較テストは、実践的で望ましいものであるが、一般ユーザによる利用が行われることからテストの施行回数はできる限り少なくすべきである。
しかし、仮に、新アルゴリズムとして上記の順付け性能等の基本的な性能面で不備のあるアルゴリズムが用いられてしまうと、本番環境のテストで本来確かめたい売り上げ寄与の面での性能とは異なる性能に関してアルゴリズムの修正及び再度のテスト施行を要してしまい、望ましくない。

そこで、本実施の形態では、本番環境とは別の予備環境において、予め新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かをテストし、当該本番環境でのテストで合格判定された新アルゴリズムを本番環境での比較テストに用いるという手法を採る。

図３は、予備環境において新アルゴリズムのテストを行うための予備環境評価システム１の概要構成を示したブロック図である。
予備環境評価システム１は、予備環境評価用ＤＢ２、予備環境評価用ＤＢ２、第一予備環境検索装置３−１、第二予備環境検索装置３−２、順位付け評価値計算装置４、順位付け評価値計算装置４、及び制御装置５を備えている。
これらの各装置はコンピュータ装置で構成され、例えばＬＡＮなどのネットワーク又は所定の無線若しくは有線通信方式により互いに通信可能とされている。

各予備環境評価用ＤＢ２には、後述する順位付け評価値Ｖｒの計算に用いられる関連度対応情報２ａが記憶されていると共に、第一予備環境検索装置３−１、第二予備環境検索装置３−２が検索対象とする複数のテスト用コンテンツデータが記憶されている。これら複数のテスト用コンテンツデータの個数及び個々の内容は、各予備環境評価用ＤＢ２で同一とされている。テスト用コンテンツデータとしては、本番環境での検索対象が文字情報を含んだウェブページデータであることから、文字情報を含むコンテンツデータが用いられている。本例では、データ容量の削減等の観点から、ウェブページデータをそのまま用いるのではなくテキストによるドキュメントデータが用いられている。
なお、予備環境評価用ＤＢ２に記憶されているテスト用コンテンツデータの個数は、例えば１００万個程度とされている。

図４は、関連度対応情報２ａの説明図である。
関連度対応情報２ａは、予めテスト用として選出された複数のテスト用クエリ（図中Ｑ１〜Ｑｎ）と、予備環境評価用ＤＢ２に記憶されている複数のテスト用コンテンツデータ（図中Ｄ１〜Ｄｍ）とについて、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組ごとに関連度スコアＲが対応づけられた情報とされている。
図４の例において、「Ｑ１」のテスト用クエリについては、Ｄ１〜Ｄｍの複数のテスト用コンテンツデータのうち「Ｄ１」と「Ｄｍ」が関連するテスト用コンテンツデータとされている。すなわち、「Ｑ１」をクエリとした検索が行われた場合、「Ｄ１」と「Ｄｍ」のテスト用コンテンツデータが検索ヒットする。
関連度対応情報２ａでは、このようなテスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組ごとに、関連度スコアＲ、すなわちテスト用コンテンツデータのテスト用クエリに対する関連度を表すスコアが対応づけられている。図４の例では、「Ｑ１」のテスト用クエリと「Ｄ１」のテスト用コンテンツデータの組に対し、「Ｄ１」の「Ｑ１」に対する関連度スコアＲとして「３」が対応づけられ、「Ｑ１」のテスト用クエリと「Ｄｍ」のテスト用コンテンツデータの組に対しては「Ｄｍ」の「Ｑ１」に対する関連度スコアＲとして「７」が対応づけられている。
関連度スコアＲは、例えばテスト用コンテンツデータの文書内容から人手により求めた値とされている。

図３に戻り、第一予備環境検索装置３−１は、一方の予備環境評価用ＤＢ２に記憶されている複数のテスト用コンテンツデータを検索対象として、現行アルゴリズムによる検索を行う検索装置とされている。
第二予備環境検索装置３−２は、他方の予備環境評価用ＤＢ２に記憶されている複数のテスト用コンテンツデータを検索対象として、新アルゴリズムによる検索を行う検索装置とされている。
これら第一予備環境検索装置３−１、第二予備環境検索装置３−２は、それぞれ現行アルゴリズム、新アルゴリズムを用いていることからも理解されるように、前述した第一検索装置５３ｂ１、第二検索装置５３ｂ２と同様に検索ヒットしたコンテンツデータの順位付けも行う。

第一予備環境検索装置３−１、第二予備環境検索装置３−２は、制御装置５から入力されたテスト用クエリに基づいて検索を実行する。第一予備環境検索装置３−１は、検索結果の情報（検索ヒットしたテスト用コンテンツデータの順位情報を含む）を順位付け評価値計算装置４，４のうち対応する一方の順位付け評価値計算装置４に対して送信し、第二予備環境検索装置３−２は、検索結果の情報を順位付け評価値計算装置４，４のうち対応する他方の順位付け評価値計算装置４に対して送信する。また、第一予備環境検索装置３−１、第二予備環境検索装置３−２は、順位付け評価値計算装置４，４での順位付け評価値の計算を可能とするべく、検索結果の情報と共に、関連度対応情報２ａから該当する関連度スコアＲを取得して順位付け評価値計算装置４，４のうち対応する方の順位付け評価値計算装置４に対して送信する。すなわち、関連度対応情報２ａに記憶されている関連度スコアＲのうち、当該検索でヒットしたテスト用コンテンツデータと当該検索で用いたテスト用クエリの組に対応づけられている関連度スコアＲを送信する。

順位付け評価値計算装置４，４は、それぞれ第一予備環境検索装置３−１、第二予備環境検索装置３−２のうち対応する方より受信した検索結果の情報と関連度スコアＲとに基づいて順位付け評価値Ｖｒを計算する。
順位付け評価値Ｖｒは、検索ヒットしたテスト用コンテンツデータの順位付けに係る評価値である。例えば、順位付けが理想の順位付けに対してどの程度近いかを表す評価値である。
本例において、順位付け評価値計算装置４は、順位付け評価値ＶｒとしてｎＤＣＧ（Normalized Discounted Cumulative Gain）を計算する。周知のようにｎＤＣＧは、あるクエリに対して行った検索でヒットしたコンテンツデータの順位付けが、そのクエリについて予め定めた理想の順位付けに対してどの程度近いかを表す評価指標である。具体的に、ｎＤＣＧは、検索ヒットした各コンテンツデータの関連度スコアＲをそのコンテンツデータの順位に応じてディスカウントしてそれらを足し込んだ値としてのＤＣＧを、理想のＤＣＧにより除して正規化したものである。
なお、順位付け評価値ＶｒとしてはＤＣＧを計算してもよく、検索結果として求まった順位付けが理想の順位付けに対してどの程度近いかを表すものであればｎＤＣＧに限定されるものではない。

制御装置５は、本発明の情報処理装置の一実施形態であり、予備環境での比較テストを施行する際にテスト施行者が操作入力を行う装置とされている。
本実施の形態の制御装置５は、図５に示す各機能ブロックで表される機能を有している。

図５において、制御装置５は、検索実行制御部５ａ、評価値取得部５ｂ、及び提示制御部５ｃとしての各種機能を有している。
検索実行制御部５ａは、例えばテスト施行者等による操作入力に基づき、第一予備環境検索装置３−１、第二予備環境検索装置３−２に検索の実行指示を行う。本実施の形態の場合、比較テストでは、ｎ（ｎは２以上の自然数）個のテスト用クエリの個々について第一予備環境検索装置３−１、第二予備環境検索装置３−２による検索を順次実行させる。このため、検索実行制御部５ａは、テスト施行者等によるテスト開始を指示する操作入力に基づき、ｎ個のテスト用クエリのうちから順次１つのテスト用クエリを選択し、選択した同一のテスト用クエリを第一予備環境検索装置３−１、第二予備環境検索装置３−２に順次送信してそれぞれ検索を実行させる。

この場合、順位付け評価値計算装置４，４には、第一予備環境検索装置３−１、第二予備環境検索装置３−２から検索完了ごとに順次検索結果の情報と関連度スコアＲの情報が送信される。順位付け評価値計算装置４，４では、このように検索完了ごとに送信される検索結果の情報と関連度スコアＲの情報とに基づいて順位付け評価値Ｖｒが順次計算され、これによりテスト用クエリごとの順位付け評価値Ｖｒが現行アルゴリズムと新アルゴリズムの双方について得られる。

評価値取得部５ｂは、上記のように順位付け評価値計算装置４，４で計算された順位付け評価値Ｖｒに基づき、現行アルゴリズムについての評価値である第一評価値と、新アルゴリズムについての評価値である第二評価値を取得する。
本例では、現行アルゴリズム、新アルゴリズムについての順位付け評価値Ｖｒがそれぞれ複数得られることに対応して、第一評価値、第二評価値としては、それぞれ複数の順位付け評価値Ｖｒを１つに統合した値に変換する。具体的に、本例における評価値取得部５ｂは、一方の順位付け評価値計算装置４によって現行アルゴリズムについて計算された複数の順位付け評価値Ｖｒの合計値を第一評価値として取得し、他方の順位付け評価値計算装置４によって新アルゴリズムについて計算された複数の順位付け評価値Ｖｒの合計値を第二評価値として取得する。
このように第一評価値、第二評価値としてそれぞれ一値に統合した値を取得することで、現行アルゴリズム、新アルゴリズムについての評価値の把握が容易となる。
なお、このような統合評価値としては、例えば複数の順位付け評価値Ｖｒの平均値などでもよく、一値に統合した値であれば特に限定されない。

提示制御部５ｃは、評価値取得部５ｂが取得した第一評価値と第二評価値とに基づき、現行アルゴリズムに対する新アルゴリズムの相対的評価情報が所要の提示装置により提示されるように制御を行う。
具体的に、本例における提示制御部５ｃは、評価値取得部５ｂが取得した第一評価値と第二評価値が制御装置５に接続された表示装置、或いは制御装置５が備えるディスプレイ上に対比可能に表示されるように制御を行う。

ここで、相対的評価情報とは、第一評価値に対する第二評価値の相対的な関係を表す情報である。従って、相対的評価情報としては、上記のように第一評価値と第二評価値を対比可能に表す情報に限らず、例えば第二評価値から第一評価値を減算した値とするなど、他の情報とすることもできる。
また、相対的評価情報の提示としては、視覚的な提示に限らず、例えばスピーカ等を用いた聴覚的な提示など他の手法による提示とすることもできる。

［1-4．ハードウェア構成］

図６に、図３で示した制御装置５をはじめとした各装置（予備環境評価用ＤＢ２、第一予備環境検索装置３−１、第二予備環境検索装置３−２、順位付け評価値計算装置４）を構成するコンピュータ装置のハードウエア構成を示す。
なお、図１や図２で説明した各装置（ユーザ端末５４、店舗端末５５、ショッピングサーバ５３ａ、検索装置５３ｂ、商品ＤＢ５３ｃ、第一検索装置５３ｂ１、第二検索装置５３ｂ２、本番環境検索評価装置５６）を構成するコンピュータ装置についても、同様のハードウェア構成である。

図６において、コンピュータ装置のＣＰＵ（Central Processing Unit）１０１は、ＲＯＭ( Read Only Memory)１０２に記憶されているプログラム、または記憶部１０８からＲＡＭ( Random Access Memory )１０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ１０１、ＲＯＭ１０２、及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、入出力インターフェース１０５も接続されている。
入出力インターフェース１０５には、キーボード、マウス、タッチパネルなどよりなる入力装置１０６、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ（表示装置）、並びにスピーカなどよりなる出力装置１０７、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ装置などより構成される記憶部１０８、外部装置との間で相互通信を行うための通信部１０９が接続されている。
入出力インターフェース１０５にはまた、必要に応じてメディアドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が適宜装着され、リムーバブルメディア１１１に対する情報の書込や読出が行われる。

このようなコンピュータ装置では、通信部１０９による通信によりデータやプログラムのアップロード、ダウンロードが行われたり、リムーバブルメディア１１１を介したデータやプログラムの受け渡しが可能である。
ＣＰＵ１０１が各種のプログラムに基づいて処理動作を行うことで、特に制御装置５としてのコンピュータ装置において以下で説明する情報処理や通信が実行される。

［1-5．処理手順］

上記で説明した制御装置５の各機能を実現するための具体的な処理手順を図７及び図８のフローチャートを参照して説明する。
図７は、検索実行制御部５ａに対応する処理を示している。
なお、図７に示す処理は、例えばテスト施行者等による比較テストの開始を指示する操作入力が行われたことに応じて開始される。
また、図７に示す処理は、現行アルゴリズム側（第一予備環境検索装置３−１及び一方の順位付け評価値計算装置４）、新アルゴリズム側（第二予備環境検索装置３−２及び他方の順位付け評価値計算装置４）の一方について実行される処理を示している。制御装置５は、図７に示す処理を現行アルゴリズム側、新アルゴリズム側の双方について例えば並行して行う。

図７において、制御装置５は、ステップＳ１０１でクエリ識別子ｉを０リセットする。クエリ識別子ｉは、検索に用いるテスト用クエリを識別するための値である。
続くステップＳ１０２で制御装置５は、ｉ番目のテスト用クエリでの検索を第一予備環境検索装置３−１、第二予備環境検索装置３−２の何れか対応する一方に指示する処理を実行する。すなわち、ｎ個のテスト用クエリのうちから選択したｉ番目のテスト用クエリを第一予備環境検索装置３−１、第二予備環境検索装置３−２の何れか対応する一方に指示して、該テスト用クエリでの検索を実行させる。

次いで、制御装置５は、ステップＳ１０３で検索が完了するまで待機し、検索が完了したことに応じて、ステップＳ１０４で順位付け評価値Ｖｒの計算指示を行う。すなわち、ステップＳ１０２の指示に応じて実行された検索に係る検索結果情報が受信される側の順位付け評価値計算装置４に対して、順位付け評価値Ｖｒの計算指示を行う。

該計算指示を行ったことに応じ、制御装置５はステップＳ１０５で計算が終了するまで待機し、計算が終了したことに応じてステップＳ１０６で計算された順位付け評価値Ｖｒを取得する。

続くステップＳ１０７で制御装置５は、クエリ識別子ｉが上限値ｎ以上であるか否かを判別し、上限値ｎ以上ではないと判別した場合は、ステップＳ１０８に進んでクエリ識別子ｉをインクリメント（ｉ←ｉ＋１）した上で、ステップＳ１０２に戻る。これにより、ｎ個の全てのテスト用クエリについて検索及び順位付け評価値Ｖｒの計算が行われるまでステップＳ１０２〜Ｓ１０７の処理が繰り返し実行される。

一方、制御装置５は、ステップＳ１０７でクエリ識別子ｉが上限値ｎ以上であると判別した場合は、この図に示す処理を終了する。

図８は、評価値取得部５ｂ及び提示制御部５ｃに対応した処理を示している。
図８において、制御装置５は、ステップＳ２０１で現行アルゴリズム側、新アルゴリズム側の双方で全クエリの順位付け評価値Ｖｒが得られるまで待機する。すなわち、図７に示した処理を現行アルゴリズム側、新アルゴリズム側の双方について行ったことに伴い、現行アルゴリズム側でのｎ個、新アルゴリズム側でのｎ個の計２ｎ個の順位付け評価値Ｖｒが順位付け評価値計算装置４，４から取得されるまで待機する。

現行アルゴリズム側、新アルゴリズム側の双方で全クエリの順位付け評価値Ｖｒが得られた場合、制御装置５はステップＳ２０２で双方の統合評価値を計算する。すなわち、本例においては、現行アルゴリズム側について計算されたｎ個の順位付け評価値Ｖｒの合計値を第一評価値、新アルゴリズム側について計算されたｎ個の順位付け評価値Ｖｒの合計値を第二評価値としてそれぞれ計算により取得する。

続くステップＳ２０３で制御装置５は、相対的評価情報の提示制御を行う。すなわち、本例においては、ステップＳ２０２の計算処理により取得した第一評価値と第二評価値が図６の出力装置１０７として説明したディスプレイ上に対比可能に提示されるように制御を行う。

［1-6．第１の実施の形態のまとめ＞

上記のように第１の実施の形態の情報処理装置（制御装置５）は、文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の検索アルゴリズムを第一検索アルゴリズム（現行アルゴリズム）、本番環境における第一検索アルゴリズムとの比較テストに用いられる検索アルゴリズムを第二検索アルゴリズム（新アルゴリズム）としたときに、本番環境とは異なる予備環境にて本番環境とは異なる評価指標に基づき行われる第一検索アルゴリズムと第二検索アルゴリズムとの比較テストに用いられる情報処理装置とされている。
そして、第１の実施の形態の情報処理装置は、文字情報を含む複数のテスト用コンテンツデータを検索対象として第一検索アルゴリズムを用いて行われる第一テスト検索（第一予備環境検索装置３−１による検索）、及び複数のテスト用コンテンツデータを検索対象として第二検索アルゴリズムを用いて行われる第二テスト検索（第２予備環境検索装置３−２による検索）として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御部５ａを備える。
また、第一テスト検索、第二テスト検索のそれぞれにより得られた、検索ヒットしたテスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアＲが対応づけられている関連度対応情報２ａとに基づいて計算された、第一テスト検索、第二テスト検索についての順位付けに係る評価値（順位付け評価値Ｖｒ）に基づいて、第一検索アルゴリズムについての第一評価値、第二検索アルゴリズムについての第二評価値を取得する評価値取得部５ｂを備える。
さらに、第一評価値と第二評価値とに基づき、第一検索アルゴリズムに対する第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御部５ｃを備えるものである。

これにより、新アルゴリズムとしての第二検索アルゴリズムの評価は、現行アルゴリズムとしての第一検索アルゴリズムについての評価値を基準とした相対評価により行われると共に、該評価は、本番環境とは異なる予備環境において、本番環境と異なる順位付け評価値Ｖｒに基づき行われる。
従って、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切に行われるようにできる。
また、順位付け評価値Ｖｒの計算は、予めテスト用クエリとこれに関連するテスト用コンテンツデータの組み合わせごとに関連度スコアＲが対応づけられた関連度対応情報２ａを用いて行われるので、例えば関連度スコアＲを都度計算する場合等と比較して処理が簡易化される。

以上より、本実施の形態の制御装置５によれば、検索エンジンのバージョンアップに関して、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切且つ簡易に行われるようにすることができる。

また、第１の実施の形態の情報処理装置においては、検索実行制御部５ａは、複数の選択テスト用クエリの個々についての第一テスト検索及び第二テスト検索が実行されるように制御を行い、評価値取得部５ｂは、検索実行制御部５ａによる制御に伴い選択テスト用クエリごとに計算された第一テスト検索、第二テスト検索についての順位付けに係る評価値に基づき、第一評価値及び第二評価値を取得している。

このように複数の選択テスト用クエリの個々についての第一テスト検索及び第二テスト検索を実行させ、それに応じて選択テスト用クエリごとに計算された第一評価値、第二評価値を取得することで、様々なテスト用クエリを用いた多面的な評価を行うことを可能としている。
従って、新アルゴリズムの合否判定がより適正に行われるようにすることができる。

さらに、第１の実施の形態の情報処理装置においては、評価値取得部５ｂは、選択テスト用クエリごとに計算された第一テスト検索についての順位付けに係る評価値を一つに統合した値を第一評価値として取得し、選択テスト用クエリごとに計算された第二テスト検索についての順位付けに係る評価値を一つに統合した値を第二評価値として取得している。

これにより、選択テスト用クエリごとに得られた複数の評価値同士の相対的評価情報ではなく、統合した一つの評価値についての相対的評価情報が提示される。
従って、相対的評価情報の把握が容易となり、新アルゴリズムについての合否判定が容易に行われるようにできる。

＜２．第２の実施の形態＞
［2-1．評価システム及び制御装置の機能］

続いて、第２の実施の形態について説明する。
第２の実施の形態は、テスト用クエリの個々の重要度を表すクエリ重要度αに基づき、順位付け評価値Ｖｒの調整を行うものである。

図９は、第２の実施の形態としての予備環境評価システム１’の概要構成を示したブロック図である。
なお、以下の説明において、既に第１の実施の形態で説明した部分と同様となる部分については同一符号を付して説明を省略する。
予備環境評価システム１’は、制御装置５に替えて制御装置５’が設けられた点が予備環境評価システム１と異なる。
制御装置５’には、個々のテスト用クエリとクエリ重要度αとの対応関係を表す重要度対応情報５’ｄが記憶されている。

図１０は、重要度対応情報５’ｄの説明図である。
ここで、クエリには重要度がある。例えば、クエリが著名な商品名、書籍タイトル等である場合には、そのクエリの重要度は高いと言える。クエリ重要度αは、このようなクエリ自体がもつ重要度を表す指標である。クエリ重要度αは、例えばテスト用クエリごとに人手により求められる。

また、クエリ重要度αは、そのクエリを用いた検索がどのような種別の商品を対象として行われるかにより異なる。換言すれば、クエリ重要度αは、新アルゴリズムを用いた検索がどのような種別の商品を販売するショッピングサイトにて行われる予定であるか（つまり新アルゴリズムをどのようなショッピングサイトでの検索に適用する予定であるか）により変更されるべきものである。
例えば、クエリが「ワンピース」のように著名な書籍のタイトルと衣服の種類の名称の双方に該当するものであって、書籍のタイトルとしての重要度の方が高いものであった場合には、新アルゴリズムの適用先環境が書籍類を主に販売するショップピングサイトとされる場合とそれ以外の商品を主に扱うショッピングサイトとされる場合とでクエリ重要度αは変更すべきである。具体的に、この場合におけるクエリ重要度αは、適用先環境が書籍類を主に販売するショップピングサイトとされる場合の方が、それ以外の商品を主に販売するショッピングサイトとされる場合よりも高くされるべきである。

この点に鑑み、本例における重要度対応情報５’ｄは、図９に示すようにテスト用クエリの個々に対し、新アルゴリズムの適用先環境として想定され得るショッピングサイトの別に応じた複数のクエリ重要度αが対応づけられた情報とされている。
具体的に、本例の重要度対応情報５’ｄにおいては、テスト用クエリの個々に対し、一般商品ショッピングサイト、書籍類ショッピングサイト、旅行商品ショッピングサイトの別に応じた複数のクエリ重要度αが対応づけられている。
一般商品ショッピングサイトは、例えば食品、飲料、日用雑貨、家具、電子機器等の一般商品を主に販売するショッピングサイトであり、書籍類ショッピングサイトは、紙媒体による書籍、電子書籍、音楽や映像等のコンテンツを収録したパッケージメディア等を主に販売するショッピングサイトである。また、旅行商品ショッピングサイトは、ホテルや旅館等での宿泊サービスを受けるための宿泊サービス商品、電車、バス、飛行機等の各種交通機関サービスを利用するための交通機関チケット商品、宿泊サービス商品や交通機関チケット商品がパックとなったパック旅行商品等を主に販売するショッピングサイトである。

図１１は、制御装置５’が有する機能を機能ブロックとして示したブロック図である。
先の図５と比較して分かるように、制御装置５’は、評価値取得部５ｂに替えて評価値取得部５ｂ’が設けられた点が制御装置５と異なる。

評価値取得部５ｂ’は、順位付け評価値計算装置４，４で計算された順位付け評価値Ｖｒを、指示された適用先識別情報に基づいて重要度対応情報５’ｄから取得したクエリ重要度αに基づいて調整する。
本例の場合、制御装置５’に対しては、テスト施行者等による操作入力により、比較テストの開始の指示と併せて新アルゴリズムの適用先環境の別を表す適用先識別情報の指示が為される。評価値取得部５ｂ’は、このように指示された適用先識別情報に基づき、重要度対応情報５’ｄにおいて第一予備環境検索装置３−１、第二予備環境検索装置３−２の検索で用いられたテスト用クエリと同一のテスト用クエリに対応づけられた複数のクエリ重要度αのうちから１つのクエリ重要度αを取得し、取得したクエリ重要度αに基づき順位付け評価値計算装置４，４で計算された順位付け評価値Ｖｒを調整する。
評価値取得部５ｂ’は、このような重要度対応情報５’ｄからのクエリ重要度αの取得、及び取得したクエリ重要度αに基づく順位付け評価値Ｖｒの調整を、順位付け評価値計算装置４，４から順次受信されるテスト用クエリごとの順位付け評価値Ｖｒのそれぞれについて行う。
この場合の調整は、順位付け評価値Ｖｒに対しクエリ重要度αを乗じることで行う。

この場合の評価値取得部５ｂ’においては、現行アルゴリズム側、新アルゴリズム側のそれぞれで上記のクエリ重要度αによる調整を経た複数の評価値が得られる。評価値取得部５ｂ’は、このように現行アルゴリズム側で複数得られた調整後の評価値の統合評価値を第一評価値として取得し、新アルゴリズム側で複数得られた調整後の評価値の統合評価値を第二評価値として取得する。
なお、この場合も統合評価値は、第１の実施の形態で例示したように例えば合計値や平均値等を計算する。

評価値取得部５ｂ’で取得された第一評価値、第二評価値は、第１の実施の形態の場合と同様に、提示制御部５ｃにより相対的評価情報としてディスプレイ等に提示される。

上記のような制御装置５’により、新アルゴリズムの適用先環境の別に応じて異なるクエリ重要度αを用いた新アルゴリズムの評価を行うことが可能となる。

なお、新アルゴリズムの適用先環境の別に応じたクエリ重要度αを用いることは必須ではなく、重要度対応情報５’ｄとしては、テスト用クエリごとに一つのクエリ重要度αのみを対応づけた情報とすることもできる。この場合、評価値取得部５ｂ’においては、適用先識別情報に基づくクエリ重要度αを選択的に取得することは不要であり、重要度対応情報５’ｄにおけるクエリ重要度αのうち検索に用いたテスト用クエリと同一のテスト用クエリに対応づけられた１つのクエリ重要度αを取得し、取得したクエリ重要度αに基づき順位付け評価値Ｖｒの調整を行う。

［2-2．処理手順］

図１２は、上記により説明した制御装置５’の機能を実現するための具体的な処理手順を示したフローチャートである。
なお、図１２に示す処理としても、例えばテスト施行者等による比較テストの開始を指示する操作入力が行われたことに応じて開始される。前述のように、第２の実施の形態の制御装置５’には、比較テストの開始の指示と併せて適用先識別情報の指示も行われる。
また、図１２に示す処理は、先の図７と同様に現行アルゴリズム側、新アルゴリズム側の一方について実行される処理を示しており、制御装置５’は、図１２に示す処理を現行アルゴリズム側、新アルゴリズム側の双方について例えば並行して行う。

図１２において、ステップＳ１０１〜Ｓ１０６、及びステップＳ１０７，Ｓ１０８の各処理については、図７で説明した処理と同様となるため重複説明は避ける。
制御装置５’は、ステップＳ１０６で順位付け評価値Ｖｒを取得したことに応じ、ステップＳ３０１でｉ番目のテスト用クエリに対応するクエリ重要度αに基づいて順位付け評価値Ｖｒを調整する。すなわち、本例においては、重要度対応情報５’ｄにおいてｉ番目のテスト用クエリと対応づけられている複数のクエリ重要度αのうちから、指示された適用先識別情報に基づく１つのクエリ重要度αを取得し、取得したクエリ重要度αに基づきステップＳ１０６で取得した順位付け評価値Ｖｒを調整する。

制御装置５’は、ステップＳ３０１の調整処理を実行したことに応じ、ステップＳ１０７に処理を進める。これにより、ｎ個のテスト用クエリについてクエリ重要度αにより調整された順位付け評価値Ｖｒが取得される。

ここで、先の説明からも理解されるように、制御装置５’の評価値取得部５ｂ’によっては、図１２の処理が現行アルゴリズム側、新アルゴリズム側について実行されることで現行アルゴリズム側、新アルゴリズム側のそれぞれで複数得られた評価値（クエリ重要度αによる調整後の評価値）に基づき、統合評価値としての第一評価値、第二評価値が取得される。また、制御装置５’の提示制御部５ｃによっては、このように得られた第一評価値と第二評価値とに基づく相対的評価情報の提示制御が行われる。
これら評価値取得部５ｂ’及び提示制御部５ｃの機能を実現するための処理手順については、先の図８に示したものと同様となるため重複説明は避ける。

［2-3．第２の実施の形態のまとめ＞

上記のように第２の実施の形態の情報処理装置（制御装置５’）においては、評価値取得部５ｂ’は、テスト用クエリの個々の重要度を表すクエリ重要度αがテスト用クエリごとに対応づけられた重要度対応情報５’ｄに基づき、選択テスト用クエリに対応したクエリ重要度を取得し、取得したクエリ重要度に基づき、第一テスト検索、第二テスト検索について計算された順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて第一評価値、第二評価値を取得している。

あまり重要でないクエリを用いた検索結果の評価値が高くてもその検索アルゴリズムの検索性能が高いとは言えない。このため、テスト検索に用いたクエリの重要度に応じて、第一評価値、第二評価値が調整されるようにしている。
これにより、重要なクエリを用いたテスト検索の評価値が高くなり、重要でないクエリを用いたテスト検索の評価値が低くなるように調整することが可能となるため、テスト検索についての評価がより適切に行われるようにできる。
この結果、新アルゴリズムの合否判定がテスト検索に用いたクエリの重要度を加味してより適正に行われるようにすることができる。

また、第２の実施の形態の情報処理装置においては、重要度対応情報５’ｄは、テスト用クエリの個々に対し、第二検索アルゴリズムの適用先環境の別に応じた複数のクエリ重要度αが対応づけられており、評価値取得部５ｂ’は、重要度対応情報５’ｄにおいて選択テスト用クエリと同一のテスト用クエリに対応づけられている複数のクエリ重要度αのうち、指示された適用先識別情報に基づいて１つのクエリ重要度αを取得し、取得したクエリ重要度αに基づき第一テスト検索、第二テスト検索について計算された順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて第一評価値、第二評価値を取得している。

検索アルゴリズムの適用先環境が異なれば、同じクエリであってもその環境に対する重要度が異なることが想定される。これに対応するため、適用先環境の別に応じて異なるクエリ重要度αを用いた新アルゴリズムの評価が可能となるようにしている。
従って、新アルゴリズムの評価がより適正に行われるようにでき、新アルゴリズムについての合否判定が該新アルゴリズムの適用先環境を加味してより適切に行われるようにすることができる。

＜３．プログラム及び記憶媒体＞

以上、本発明に係る情報処理装置の実施の形態としての制御装置５，５’を説明してきたが、実施の形態のプログラムは、制御装置５，５’の処理を情報処理装置（ＣＰＵ等）に実行させるプログラムである。

実施の形態のプログラムは、文字情報を含む複数のテスト用コンテンツデータを検索対象として第一検索アルゴリズムを用いて行われる第一テスト検索、及び複数のテスト用コンテンツデータを検索対象として第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御処理と、第一テスト検索、第二テスト検索のそれぞれにより得られた、検索ヒットしたテスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアＲが対応づけられている関連度対応情報とに基づいて計算された、第一テスト検索、第二テスト検索についての順位付けに係る評価値に基づいて、第一検索アルゴリズムについての第一評価値、第二検索アルゴリズムについての第二評価値を取得する評価値取得処理と、第一評価値と第二評価値とに基づき、第一検索アルゴリズムに対する第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御処理と、を情報処理装置に実行させる。
すなわち、このプログラムは、情報処理装置（制御装置５，５’）に図７や図８で説明した処理を実行させるプログラムに相当する。

このようなプログラムにより、上述した制御装置５，５’としての情報処理装置を実現できる。
そして、このようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。

＜４．変形例＞

本発明は上記により説明した具体例に限定されず、各種の変形例が考えられる。
例えば上記では、本発明が商品ウェブページの検索を前提としたシステムに適用される場合を例示したが、本発明は、文字情報を含むコンテンツデータの検索を行うシステムに広く好適に適用できる。

また、上記では、新アルゴリズムの適用先環境に応じたクエリ重要度αを、適用先環境ごとにクエリ重要度αを格納した重要度対応情報５’ｄを用いて行う場合を例示したが、本発明における重要度対応情報としては、テスト用クエリごとに基準となる１つのクエリ重要度αのみを対応づけておき、そのクエリ重要度αを指示された適用先環境情報に応じた係数により調整した上で、調整後のクエリ重要度αを順位付け評価値Ｖｒの調整に用いるようにしてもよい。

また、予備環境評価用ＤＢ２としては、第一テスト検索、第二テスト検索に共通の１つのみを備えるようにすることもできる。
さらに、第一テスト検索、第二テスト検索は、例えば時分割処理や並行処理などにより一つの装置によって行うこともでき、同様に、現行アルゴリズム側と新アルゴリズム側の順位付け評価値Ｖｒの計算についても時分割処理や並行処理などにより一つの装置によって行うこともできる。

１，１’ 予備環境評価システム、２ 予備環境評価用ＤＢ、２ａ 関連度対応情報、３−１ 第一予備環境検索装置、３−２ 第二予備環境検索装置、４ 順位付け評価値計算装置、５，５’ 制御装置、５ａ 検索実行制御部、５ｂ，５ｂ’ 評価値取得部、５ｃ 提示制御部、５’ｄ 重要度対応情報

また、本発明に係る情報処理方法は、文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理装置が実行する情報処理方法であって、文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御手順と、前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得手順と、前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御手順とを有する情報処理方法である。

Claims (8)

1. 文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理装置であって、
   文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御部と、
   前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得部と、
   前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御部とを備える
   情報処理装置。
2. 前記検索実行制御部は、
   複数の前記選択テスト用クエリの個々についての前記第一テスト検索及び前記第二テスト検索が実行されるように制御を行い、
   前記評価値取得部は、
   前記検索実行制御部による前記制御に伴い前記選択テスト用クエリごとに計算された前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づき、前記第一評価値及び前記第二評価値を取得する
   請求項１に記載の情報処理装置。
3. 前記評価値取得部は、
   前記選択テスト用クエリごとに計算された前記第一テスト検索についての前記順位付けに係る評価値を一つに統合した値を前記第一評価値として取得し、前記選択テスト用クエリごとに計算された前記第二テスト検索についての前記順位付けに係る評価値を一つに統合した値を前記第二評価値として取得する
   請求項２に記載の情報処理装置。
4. 前記評価値取得部は、
   前記テスト用クエリの個々の重要度を表すクエリ重要度が前記テスト用クエリごとに対応づけられた重要度対応情報に基づき、前記選択テスト用クエリに対応した前記クエリ重要度を取得し、取得したクエリ重要度に基づき、前記第一テスト検索、前記第二テスト検索について計算された前記順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて前記第一評価値、前記第二評価値を取得する
   請求項１に記載の情報処理装置。
5. 前記重要度対応情報は、
   前記テスト用クエリの個々に対し、前記第二検索アルゴリズムの適用先環境の別に応じた複数の前記クエリ重要度が対応づけられており、
   前記評価値取得部は、
   前記重要度対応情報において前記選択テスト用クエリと同一のテスト用クエリに対応づけられている複数の前記クエリ重要度のうち、指示された適用先識別情報に基づいて１つの前記クエリ重要度を取得し、取得したクエリ重要度に基づき前記第一テスト検索、前記第二テスト検索について計算された前記順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて前記第一評価値、前記第二評価値を取得する
   請求項４に記載の情報処理装置。
6. 文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理方法であって、
   文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御手順と、
   前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得手順と、
   前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御手順とを有する
   情報処理方法。
7. 文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理装置に処理を実行させるプログラムであって、
   文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御処理と、
   前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得処理と、
   前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御処理と
   を前記情報処理装置に実行させる
   プログラム。
8. 文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理装置に処理を実行させるプログラムを記憶した記憶媒体であって、
   文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御処理と、
   前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得処理と、
   前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御処理と
   を前記情報処理装置に実行させるプログラムを記憶した
   記憶媒体。

Images