WO2015155820A1 - 情報処理装置、情報処理方法、プログラム、記憶媒体 - Google Patents

情報処理装置、情報処理方法、プログラム、記憶媒体 Download PDF

Info

Publication number
WO2015155820A1
WO2015155820A1 PCT/JP2014/060092 JP2014060092W WO2015155820A1 WO 2015155820 A1 WO2015155820 A1 WO 2015155820A1 JP 2014060092 W JP2014060092 W JP 2014060092W WO 2015155820 A1 WO2015155820 A1 WO 2015155820A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
test
evaluation value
query
algorithm
Prior art date
Application number
PCT/JP2014/060092
Other languages
English (en)
French (fr)
Inventor
大志 鵜飼
一昭 平賀
恒太郎 荻野
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to EP14888998.3A priority Critical patent/EP3131019A1/en
Priority to US15/022,040 priority patent/US10430475B2/en
Priority to PCT/JP2014/060092 priority patent/WO2015155820A1/ja
Priority to JP2014536463A priority patent/JP5639319B1/ja
Publication of WO2015155820A1 publication Critical patent/WO2015155820A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking

Definitions

  • the present invention relates to a search algorithm for searching for content data related to an input query from among a plurality of content data including character information, and scoring and ranking the content data hit by the search.
  • the present invention relates to an information processing apparatus and an information processing method used in a comparison test with a second search algorithm, a program for realizing the information processing apparatus, and a storage medium storing the program.
  • a technique for searching content data related to a query for a plurality of content data including character information such as searching a web page related to a keyword (query) input by a user from a web page existing on the Internet.
  • search technique there is a technique in which content data hit by a search is scored and ranked according to a predetermined algorithm. In this case, on the search result screen, the content data hit by the search is displayed in the display order according to the order.
  • the search engine may be upgraded to a new version.
  • new algorithm new version of the search algorithm
  • current algorithm current version of the search algorithm
  • Such a pre-test for the new algorithm can be performed in a production environment in which a general user actually uses it to make it a more practical test.
  • the test in the production environment is performed in consideration that the usage rate of the new algorithm is significantly reduced, for example, the usage rate of the current algorithm: new algorithm is 9: 1.
  • it is performed as a comparison test with the current algorithm.
  • an evaluation index relating to contribution to sales such as CTR (Click Through Rate) or CVR (ConVersion Rate) is used as a performance evaluation index of the search algorithm.
  • the present invention appropriately and easily determines whether or not the new algorithm has the minimum search performance that can be used in the comparison test in the production environment with respect to the upgrade of the search engine.
  • the purpose is to make it.
  • an information processing apparatus searches content data related to a query input from among a plurality of content data including character information, and scores and ranks the content data hit by the search.
  • a search algorithm when the search algorithm used in a production environment is a first search algorithm, and the search algorithm used for a comparison test with the first search algorithm in the production environment is a second search algorithm, An information processing apparatus used for a comparison test between the first search algorithm and the second search algorithm performed based on an evaluation index different from the production environment in a standby environment different from the production environment, and includes character information
  • the first search algorithm with a plurality of test content data as search targets Among a plurality of test queries selected in advance as a first test search performed using a program and a second test search performed using the second search algorithm with the plurality of test content data as search targets
  • a search execution control unit that executes a search for the same selected test query selected from the above, and the ranking of the test content data obtained by the search by the first test search and the second test search Information, and relevance correspondence information in
  • an evaluation value acquisition unit for acquiring a second evaluation value for the second search algorithm, the first evaluation value, and the second evaluation value
  • a presentation control unit that performs control so that relative evaluation information of the second search algorithm with respect to the first search algorithm is presented.
  • the evaluation of the second search algorithm as the new algorithm is performed by a relative evaluation based on the evaluation value for the first search algorithm as the current algorithm, and the evaluation is performed in a standby environment different from the production environment. This is performed based on an evaluation value relating to ranking different from the production environment.
  • the evaluation value related to the ranking is calculated using the relevance degree correspondence information in which the relevance degree score is associated in advance for each combination of the test query and the related test content data. Compared with the case where the degree score is calculated each time, the processing is simplified.
  • the search execution control unit executes the first test search and the second test search for each of the plurality of selection test queries.
  • the evaluation value acquisition unit relates to the ranking of the first test search and the second test search calculated for each of the selection test queries in accordance with the control by the search execution control unit. It is desirable to obtain the first evaluation value and the second evaluation value based on the evaluation value. In this way, the first test search and the second test search for each of the plurality of selection test queries are executed, and the first evaluation value and the second evaluation value calculated for each selection test query are acquired accordingly. This makes it possible to perform multifaceted evaluation using various test queries.
  • the evaluation value acquisition unit has one evaluation value related to the ranking of the first test search calculated for each of the selection test queries.
  • a value obtained by integrating the evaluation values related to the ranking of the second test search calculated for each of the selected test queries into one value is acquired as the first evaluation value. It is desirable to obtain it as a value.
  • relative evaluation information about one integrated evaluation value is presented instead of relative evaluation information between a plurality of evaluation values obtained for each selection test query.
  • the evaluation value acquisition unit is configured so that the importance of the query that represents the individual importance of the test query is associated with each test query. Obtaining the query importance corresponding to the selected test query based on correspondence information, and evaluating the ranking calculated for the first test search and the second test search based on the obtained query importance It is desirable to adjust the values and acquire the first evaluation value and the second evaluation value based on the adjusted evaluation values. Even if the evaluation value of a search result using a less important query is high, it cannot be said that the search performance of the search algorithm is high. For this reason, the first evaluation value and the second evaluation value are adjusted according to the importance of the query used for the test search.
  • the importance correspondence information includes, for each of the test queries, a plurality of the query importance corresponding to different application destination environments of the second search algorithm.
  • the evaluation value acquisition unit is instructed from among the plurality of query importance levels that are associated with the same test query as the selected test query in the importance level correspondence information.
  • One of the query importance levels is acquired based on application destination identification information, and the evaluation values related to the ranking calculated for the first test search and the second test search are adjusted based on the acquired query importance levels, respectively. It is desirable to acquire the first evaluation value and the second evaluation value based on the adjusted evaluation values. If the environment to which the search algorithm is applied is different, it is assumed that the importance for the environment is different even for the same query. In order to cope with this, it is possible to evaluate a new algorithm using different query importance levels depending on the application environment.
  • the information processing method searches for content data related to a query input from among a plurality of content data including character information, and scores and ranks the content data hit by the search.
  • the search algorithm used in the production environment is the first search algorithm
  • the search algorithm used for the comparison test with the first search algorithm in the production environment is the second search algorithm
  • the production environment Is an information processing method used for a comparison test between the first search algorithm and the second search algorithm performed based on an evaluation index different from the production environment in a preliminary environment different from a plurality of character strings including character information
  • the first search algorithm with test content data as a search target Among a plurality of test queries selected in advance as a first test search performed using a search method and a second test search performed using the second search algorithm with the plurality of test content data as search targets
  • a program according to the present invention is a program that causes an information processing apparatus to execute processing executed as the information processing method.
  • a storage medium according to the present invention is a program storing the above program. The above information processing apparatus is realized by these programs and storage media.
  • the upgrade of the search engine it is possible to appropriately and easily determine whether or not the new algorithm has the minimum search performance that can be used in the comparison test in the production environment. it can.
  • First Embodiment> [1-1. Production environment] [1-2. Comparison test in production environment] [1-3. Evaluation system in preliminary environment] [1-4. Hardware configuration] [1-5. Processing procedure] [1-6. Summary of First Embodiment> ⁇ 2. Second Embodiment> [2-1. Functions of evaluation system and control device] [2-2. Processing procedure] [2-3. Summary of Second Embodiment] ⁇ 3. Program and Storage Medium> ⁇ 4. Modification>
  • FIG. 1 shows an example of a network system 50 formed in a production environment.
  • the network system 50 functions as an EC (EC: electronic commerce) system.
  • the production environment means an environment in which a general user uses the user terminal 54 described later.
  • the network system 50 is configured such that a shopping site management system 53, a plurality of user terminals 54, 54,... And a plurality of store terminals 55, 55,.
  • the user terminal 54 is a computer device provided with a web browser.
  • Examples of the user terminal 54 include a high-function mobile phone (smart phone), a mobile phone, a personal digital assistant (PDA), and a portable or stationary personal computer (PC). It is not limited.
  • the user terminal 54 requests a web page or predetermined processing by transmitting an HTTP (Hypertext Transfer Protocol) request to the shopping site management system 53.
  • the user terminal 54 receives the web page sent in response to the HTTP request and displays it on the web browser. Thereby, the user can browse and operate a desired web page.
  • HTTP Hypertext Transfer Protocol
  • the shopping site management system 53 includes a shopping server 53a, a search device 53b, and a product DB (database) 53c each constituted by a computer device. Each of these devices can communicate with each other via a network such as a LAN (Local Area Network).
  • a network such as a LAN (Local Area Network).
  • the shopping server 53a performs various processes based on the HTTP request sent from the user terminal 54. For example, various web pages (for example, a product web page, a shopping cart web page, an order web page, etc.) are generated and transmitted, and a purchase process according to an order confirmation operation by the user is executed.
  • various web pages for example, a product web page, a shopping cart web page, an order web page, etc.
  • the shopping server 53a provides a virtual shopping street website (EC site) to the user (user of the user terminal 54).
  • EC site virtual shopping street website
  • stores members of a virtual shopping street
  • the staff of each store registers the product of the store through the computer device as the store terminal 55
  • various products of various stores are uploaded onto the EC site.
  • the user can purchase a desired product by accessing the EC site from the user terminal 54.
  • the web page provided by the shopping server 53a is provided with a search bar for product search, and the user can input a search keyword to the search bar.
  • a search button is arranged in the vicinity of the search bar, and the user can issue a search execution instruction based on an input keyword to the search bar by operating the search button. In response to this execution instruction, the input keyword is transmitted from the user terminal 54 to the shopping server 53a as a search query.
  • the query received by the shopping server 53a from the user terminal 54 is transferred to the search device 53b.
  • the search device 53b functions as a so-called search engine, searches a product web page related to the query from product web pages stored in the product DB 53c based on the query received from the shopping server 53a, and stores the search result as a shopping server. 53a.
  • the product DB 53c stores product information such as product name, type, product image, specification, product introduction summary, advertisement information, etc., in association with the product ID that is an identifier for identifying the product. ing.
  • the product DB 53c stores a product web page file described in a markup language such as HTML (HyperText Markup Language) or XML (Extensible Markup Language).
  • the search device 53b matches the product web page related to the received query, for example, the query, based on the product information stored in the product DB 53c and the character information (text information) included in the product web page file. Search for product web pages that contain textual information. Further, the search device 53b scores and ranks the product web pages that have been searched for hit according to a predetermined algorithm.
  • the search result by the search device 53b includes the rank information of each product web page that has been searched for. On the search result screen presented to the user based on the search result obtained by the search device 53b, the product web pages that have been searched for hit are displayed in the display order according to the above-described rank information.
  • the network system 50 is provided with a shopping site management system 53 ′ having a shopping server 53a, a first search device 53b1, a second search device 53b2, and a product DB 53c, and a production environment search evaluation device 56.
  • the first search device 53b1 is a search device 53b that performs a search using a current algorithm
  • the second search device 53b2 is a search device 53b that performs a search using a new algorithm.
  • the shopping server 53a transmits a part of the plurality of queries received from the user terminals 54, 54... To the first search device 53b1 and the rest to the second search device 53b2 to execute the search.
  • a part of the search instructed to be executed from the user terminals 54, 54... Is executed by the first search device 53b1 and the rest is executed by the second search device 53b2.
  • the usage ratio of the current algorithm: new algorithm is adjusted to 9: 1, for example, so that the usage ratio of the new algorithm is significantly reduced. That is, the allocation rate of queries to the first search device 53b1 and the second search device 53b2 by the shopping server 53a is adjusted so that such a use ratio is realized.
  • the production environment search / evaluation device 56 is a computer device, and can communicate with the shopping server 53a of the shopping site management system 53 ′.
  • the production environment search evaluation device 56 calculates a predetermined evaluation value for each of the current algorithm used in the first search device 53b1 and the new algorithm used in the second search device 53b2. Specifically, an evaluation value related to the contribution to sales of the merchandise sold on the EC site, such as CTR (Click Through Rate), CVR (ConVersion Rate), and total sales, is calculated.
  • CTR Click Through Rate
  • CVR ConVersion Rate
  • the CTR here is a CTR for a click performed on a product web page (URL (Uniform Resource Locator) link) presented as a search result by the first search device 53b1 and the second search device 53b2.
  • the CVR referred to here is a click on a product web page presented as a search result by the first search device 53b1 and the second search device 53b2 based on the number of unit searches by the first search device 53b1 and the second search device 53b2. It means the rate at which the product posted on the product web page is purchased. Furthermore, the total sales described above are calculated for the products purchased via the product web page presented as the search results by the first search device 53b1 and the second search device 53b2, and the total sales are calculated. is there.
  • the pass / fail of the new algorithm is determined in the comparison test in the production environment. For example, the pass / fail determination is performed based on whether or not the evaluation value of the new algorithm is better than that of the current algorithm.
  • the new algorithm in a spare environment different from the production environment, is tested beforehand to determine whether it has the minimum search performance that can be used in the comparison test in the production environment.
  • a new algorithm that has passed the test is used for the comparison test in the production environment.
  • FIG. 3 is a block diagram showing a schematic configuration of the backup environment evaluation system 1 for testing a new algorithm in the backup environment.
  • the preliminary environment evaluation system 1 includes a preliminary environment evaluation DB 2, a preliminary environment evaluation DB 2, a first preliminary environment search device 3-1, a second preliminary environment search device 3-2, a ranking evaluation value calculation device 4, a ranking evaluation.
  • a value calculation device 4 and a control device 5 are provided.
  • Each of these devices is configured by a computer device, and can communicate with each other by a network such as a LAN or a predetermined wireless or wired communication system.
  • Each preliminary environment evaluation DB 2 stores association degree correspondence information 2a used for calculation of a ranking evaluation value Vr, which will be described later, and the first preliminary environment search device 3-1, the second preliminary environment search device 3 -2 stores a plurality of test content data to be searched.
  • the number and content of the plurality of test content data are the same in each preliminary environment evaluation DB 2.
  • As the test content data content data including character information is used because the search target in the production environment is web page data including character information. In this example, from the viewpoint of reducing the data capacity, document data by text is used instead of using web page data as it is.
  • the number of test content data stored in the preliminary environment evaluation DB 2 is, for example, about 1 million.
  • FIG. 4 is an explanatory diagram of the association degree correspondence information 2a.
  • the association degree correspondence information 2a includes a plurality of test queries (Q1 to Qn in the figure) selected in advance for testing and a plurality of test content data (D1 to Dm in the figure) stored in the preliminary environment evaluation DB2. ),
  • the relevance score R is associated with each test data set associated with the test query and the test content data.
  • the test query “Q1” is the test content data related to “D1” and “Dm” among the plurality of test content data D1 to Dm. That is, when a search using “Q1” as a query is performed, the test content data “D1” and “Dm” have a search hit.
  • a relevance score R that is, a score representing the relevance level of the test content data to the test query.
  • “3” is associated as a relevance score R for “Q1” of “D1” with the set of the test query of “Q1” and the test content data of “D1”.
  • “7” is associated with the combination of the test query of “Dm” and the test content data of “Dm” as the relevance score R for “Q1” of “Dm”.
  • the relevance score R is, for example, a value obtained manually from the document content of the test content data.
  • the first preliminary environment search device 3-1 is a search device that performs a search by the current algorithm using a plurality of test content data stored in one preliminary environment evaluation DB 2 as a search target.
  • the second preliminary environment search device 3-2 is a search device that performs a search by a new algorithm using a plurality of test content data stored in the other preliminary environment evaluation DB 2 as search targets.
  • the first search device 53b1 and the second preliminary environment search device 3-2 use the current algorithm and the new algorithm, respectively, the first search device 53b1, Similar to the second search device 53b2, the search hit content data is also ranked.
  • the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2 execute a search based on the test query input from the control device 5.
  • the first preliminary environment search device 3-1 calculates the search result information (including the rank information of the test content data that has been searched for) one of the ranking evaluation value calculation devices 4, 4.
  • the second preliminary environment search device 3-2 transmits the search result information to the corresponding ranking evaluation value calculation device 4 among the ranking evaluation value calculation devices 4 and 4. To do.
  • the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2 are information on search results so that the ranking evaluation value calculation devices 4 and 4 can calculate the ranking evaluation value.
  • the relevant relevance score R is acquired from the relevance degree correspondence information 2 a and is transmitted to the corresponding ranking evaluation value calculation apparatus 4 among the ranking evaluation value calculation apparatuses 4 and 4. That is, among the relevance scores R stored in the relevance correspondence information 2a, the relevance score R associated with the test content data hit in the search and the test query used in the search is calculated. Send.
  • the ranking evaluation value calculation devices 4 and 4 respectively obtain the search result information and the relevance score R received from the corresponding one of the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2. Based on this, a ranking evaluation value Vr is calculated.
  • the ranking evaluation value Vr is an evaluation value related to ranking of test content data that has been hit by a search. For example, the evaluation value represents how close the ranking is to the ideal ranking.
  • the ranking evaluation value calculation device 4 calculates nDCG (Normalized Discounted Cumulative Gain) as the ranking evaluation value Vr.
  • nDCG is an evaluation index that indicates how close the ranking of content data hit in a search performed for a query is to an ideal ranking predetermined for the query.
  • the nDCG normalizes the DCG as a value obtained by discounting the relevance score R of each content data hit by the search according to the ranking of the content data and adding them to the ideal DCG. It is a thing. Note that DCG may be calculated as the ranking evaluation value Vr, and is not limited to nDCG as long as it indicates how close the ranking obtained as a search result is to the ideal ranking. .
  • the control device 5 is an embodiment of the information processing device of the present invention, and is a device in which a test enforcer inputs an operation when performing a comparison test in a preliminary environment.
  • the control apparatus 5 of this Embodiment has the function represented by each functional block shown in FIG.
  • the control device 5 has various functions as a search execution control unit 5a, an evaluation value acquisition unit 5b, and a presentation control unit 5c.
  • the search execution control unit 5a issues a search execution instruction to the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2 based on, for example, an operation input by a tester or the like.
  • a search by the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2 is performed for each of n (n is a natural number of 2 or more) test queries. Run sequentially.
  • the search execution control unit 5a sequentially selects one test query from the n test queries based on the operation input instructing the test start by the test performer or the like, and selects the same test query.
  • the queries are sequentially transmitted to the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2 to execute the search.
  • the ranking evaluation value calculation devices 4 and 4 sequentially receive the search result information and the relevance score R from the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2 each time the search is completed. Information is sent.
  • the ranking evaluation value calculation devices 4 and 4 the ranking evaluation value Vr is sequentially calculated based on the search result information and the relevance score R information transmitted each time the search is completed. A ranking evaluation value Vr for each query is obtained for both the current algorithm and the new algorithm.
  • the evaluation value acquisition unit 5b uses the first evaluation value, which is the evaluation value for the current algorithm, and the new algorithm.
  • a second evaluation value that is an evaluation value is acquired.
  • each of the first evaluation value and the second evaluation value has a plurality of ranking evaluation values Vr. Convert to the value integrated into.
  • the evaluation value acquisition unit 5b in this example acquires a total value of a plurality of ranking evaluation values Vr calculated for the current algorithm by one ranking evaluation value calculation device 4 as a first evaluation value
  • the total value of the plurality of ranking evaluation values Vr calculated for the new algorithm by the ranking evaluation value calculation device 4 is acquired as the second evaluation value.
  • Such an integrated evaluation value may be, for example, an average value of a plurality of ranking evaluation values Vr, and is not particularly limited as long as it is a value integrated into one value.
  • the presentation control unit 5c performs control based on the first evaluation value and the second evaluation value acquired by the evaluation value acquisition unit 5b so that the relative evaluation information of the new algorithm with respect to the current algorithm is presented by the required presentation device.
  • the presentation control unit 5c in the present example is a display device in which the first evaluation value and the second evaluation value acquired by the evaluation value acquisition unit 5b are connected to the control device 5, or a display provided in the control device 5. Control is performed so that the display is possible.
  • the relative evaluation information is information representing a relative relationship between the second evaluation value and the first evaluation value. Accordingly, the relative evaluation information is not limited to the information that can be used to compare the first evaluation value and the second evaluation value as described above. For example, the first evaluation value is subtracted from the second evaluation value. Other information can also be used.
  • the presentation of relative evaluation information is not limited to visual presentation, and may be presented by other methods such as auditory presentation using a speaker or the like.
  • FIG. 6 shows devices including the control device 5 shown in FIG. 3 (preliminary environment evaluation DB 2, first preliminary environment search device 3-1, second preliminary environment search device 3-2, ranking evaluation value calculation).
  • the hardware constitutions of the computer apparatus which comprises the apparatus 4) are shown. 1 and 2 (the user terminal 54, the store terminal 55, the shopping server 53a, the search device 53b, the product DB 53c, the first search device 53b1, the second search device 53b2, and the production environment search evaluation device 56).
  • the same hardware configuration is also applied to the computer device that constitutes ().
  • a CPU (Central Processing Unit) 101 of a computer apparatus performs various processes according to a program stored in a ROM (Read Only Memory) 102 or a program loaded from a storage unit 108 to a RAM (Random Access Memory) 103. Execute the process.
  • the RAM 103 also appropriately stores data necessary for the CPU 101 to execute various processes.
  • the CPU 101, ROM 102, and RAM 103 are connected to each other via a bus 104.
  • An input / output interface 105 is also connected to the bus 104.
  • the input / output interface 105 includes an input device 106 made up of a keyboard, mouse, touch panel, etc., a display (display device) made up of an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube), an organic EL (Electroluminescence) panel, etc., and a speaker.
  • a storage unit 108 configured by an HDD (Hard Disk Drive) or a flash memory device, and a communication unit 109 for mutual communication with an external device.
  • HDD Hard Disk Drive
  • flash memory device a communication unit 109 for mutual communication with an external device.
  • a media drive 110 is also connected to the input / output interface 105 as necessary, and a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and information can be written to the removable medium 111. Reading is performed.
  • a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and information can be written to the removable medium 111. Reading is performed.
  • data and programs can be uploaded and downloaded through communication by the communication unit 109, and data and programs can be transferred via the removable medium 111.
  • the CPU 101 performs processing operations based on various programs, information processing and communication described below are executed particularly in the computer device as the control device 5.
  • FIG. 7 shows processing corresponding to the search execution control unit 5a. Note that the processing shown in FIG. 7 is started in response to, for example, an operation input instructing the start of a comparison test by a tester or the like. Further, the processing shown in FIG. 7 includes the current algorithm side (first preliminary environment search device 3-1 and one ranking evaluation value calculation device 4), and the new algorithm side (second preliminary environment search device 3-2 and the other side. The processing executed for one of the ranking evaluation value calculation devices 4) is shown. The control device 5 performs, for example, the processes shown in FIG. 7 in parallel on both the current algorithm side and the new algorithm side.
  • the control device 5 resets the query identifier i to 0 in step S101.
  • the query identifier i is a value for identifying a test query used for search.
  • the control device 5 executes a process for instructing one of the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2 to perform a search using the i-th test query. To do. That is, the i-th test query selected from the n test queries is instructed to one of the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2, and A search with the test query is executed.
  • control device 5 waits until the search is completed in step S103, and in response to the completion of the search, issues an instruction to calculate the ranking evaluation value Vr in step S104. That is, an instruction to calculate the ranking evaluation value Vr is given to the ranking evaluation value calculation device 4 on the side where the search result information related to the search executed according to the instruction in step S102 is received.
  • the control device 5 waits until the calculation is completed in step S105 in response to the calculation instruction, and acquires the ranking evaluation value Vr calculated in step S106 in response to the completion of the calculation.
  • step S107 the control device 5 determines whether or not the query identifier i is greater than or equal to the upper limit value n.
  • the control device 5 proceeds to step S108 and increments the query identifier i (i After ⁇ i + 1), the process returns to step S102.
  • the processing of steps S102 to S107 is repeatedly executed until the search and ranking evaluation value Vr are calculated for all n test queries.
  • control device 5 determines in step S107 that the query identifier i is greater than or equal to the upper limit value n, the control device 5 ends the processing shown in FIG.
  • FIG. 8 shows processing corresponding to the evaluation value acquisition unit 5b and the presentation control unit 5c.
  • the control device 5 waits until the ranking evaluation values Vr of all queries are obtained on both the current algorithm side and the new algorithm side in step S201. That is, as a result of performing the processing shown in FIG. 7 on both the current algorithm side and the new algorithm side, a total of 2n ranking evaluation values Vr, n on the current algorithm side and n on the new algorithm side, are obtained. Is obtained from the ranking evaluation value calculation devices 4 and 4.
  • the control device 5 calculates both integrated evaluation values in step S202. That is, in this example, the total value of the n ranking evaluation values Vr calculated for the current algorithm side is the first evaluation value, and the total value of the n ranking evaluation values Vr calculated for the new algorithm side. Each is obtained by calculation as a second evaluation value.
  • control device 5 performs presentation control of relative evaluation information. That is, in this example, control is performed so that the first evaluation value and the second evaluation value acquired by the calculation process of step S202 are presented on the display described as the output device 107 of FIG.
  • the information processing apparatus searches for content data related to an input query from among a plurality of pieces of content data including character information, and the content data hit by the search
  • the search algorithm for scoring and ranking the search algorithm the search algorithm in use in the production environment is the first search algorithm (current algorithm), and the search algorithm used for the comparison test with the first search algorithm in the production environment is the second
  • the information processing apparatus performs a first test search (first preliminary environment search apparatus 3-3) performed using a first search algorithm with a plurality of test content data including character information as search targets. 1) and a second test search (search by the second preliminary environment search device 3-2) performed by using the second search algorithm with a plurality of test content data as search targets.
  • a search execution control unit 5a for executing a search for the same selected test query selected from the test queries is provided.
  • the test information obtained by each of the first test search and the second test search is tested for each combination of the ranking information of the test content data hit and the test query and the test content data related to the test query.
  • Evaluation value (ranking) for ranking for the first test search and the second test search calculated based on the relevance level correspondence information 2a associated with the relevance score R for the test query of the content data
  • An evaluation value acquisition unit 5b that acquires a first evaluation value for the first search algorithm and a second evaluation value for the second search algorithm based on the attached evaluation value Vr).
  • a presentation control unit 5c that performs control so that the relative evaluation information of the second search algorithm with respect to the first search algorithm is presented based on the first evaluation value and the second evaluation value is provided.
  • the evaluation of the second search algorithm as the new algorithm is performed by a relative evaluation based on the evaluation value for the first search algorithm as the current algorithm, and the evaluation is performed in a standby environment different from the production environment. This is performed based on a ranking evaluation value Vr different from the production environment. Therefore, it is possible to appropriately determine whether or not the new algorithm has the minimum search performance that can be used in the comparison test in the production environment.
  • the ranking evaluation value Vr is calculated using the association degree correspondence information 2a in which the association degree score R is associated with each combination of the test query and the related test content data in advance, for example, Compared with the case where the relevance score R is calculated each time, the processing is simplified.
  • whether or not the new algorithm has the minimum search performance that can be used in the comparison test in the production environment is appropriate for the upgrade of the search engine. It can be made simple.
  • the search execution control unit 5a performs control so that the first test search and the second test search for each of the plurality of selection test queries are executed.
  • the evaluation value acquisition unit 5b is configured to determine the first evaluation value based on the evaluation values related to the ranking of the first test search and the second test search calculated for each selection test query in accordance with the control by the search execution control unit 5a. And the second evaluation value is acquired.
  • the first test search and the second test search for each of the plurality of selection test queries are executed, and the first evaluation value and the second evaluation value calculated for each selection test query are acquired accordingly.
  • the evaluation value acquisition unit 5b is a value obtained by integrating the evaluation values related to the ranking for the first test search calculated for each selection test query. Is obtained as a first evaluation value, and a value obtained by integrating evaluation values related to ranking for the second test search calculated for each selected test query is obtained as a second evaluation value.
  • relative evaluation information about one integrated evaluation value is presented instead of relative evaluation information between a plurality of evaluation values obtained for each selection test query. Accordingly, it is easy to grasp the relative evaluation information, and it is possible to easily perform pass / fail determination for the new algorithm.
  • Second Embodiment> [2-1. Functions of evaluation system and control device] Next, a second embodiment will be described. In the second embodiment, the ranking evaluation value Vr is adjusted based on the query importance ⁇ representing the individual importance of the test query.
  • FIG. 9 is a block diagram showing a schematic configuration of a spare environment evaluation system 1 ′ as the second embodiment.
  • the preliminary environment evaluation system 1 ′ is different from the preliminary environment evaluation system 1 in that a control device 5 ′ is provided instead of the control device 5.
  • the control device 5 ′ stores importance level correspondence information 5′d representing a correspondence relationship between individual test queries and the query importance level ⁇ .
  • FIG. 10 is an explanatory diagram of the importance correspondence information 5′d.
  • the query has importance. For example, if the query is a prominent product name, book title, or the like, it can be said that the importance of the query is high.
  • the query importance ⁇ is an index representing the importance of such a query itself.
  • the query importance ⁇ is manually determined for each test query, for example.
  • the query importance ⁇ differs depending on the type of product for which the search using the query is performed.
  • the query importance degree ⁇ is determined based on what type of product the search using the new algorithm is planned to be performed (that is, the new algorithm is used for the search on which shopping site. To be applied). For example, if the query applies to both the title of a prominent book, such as “One Piece”, and the name of the type of clothing, and the book ’s title is more important,
  • the query importance ⁇ should be changed depending on whether the environment to which the new algorithm is applied is a shopping site that mainly sells books or a shopping site that mainly handles other products.
  • the query importance ⁇ in this case is a case where the application environment is a shopping site that mainly sells books, and a shopping site that mainly sells other products. Should be higher than.
  • the importance correspondence information 5′d in this example includes a plurality of queries according to different shopping sites that can be assumed as environments to which the new algorithm is applied, for each test query as shown in FIG.
  • the importance ⁇ is associated with the information.
  • the importance level correspondence information 5′d in this example for each test query, there are a plurality of query importance levels ⁇ corresponding to the general product shopping site, the books shopping site, and the travel product shopping site. It is associated.
  • the general merchandise shopping site is a shopping site that mainly sells general merchandise such as food, beverages, daily goods, furniture, electronic devices, etc.
  • the books shopping site is books, electronic books, music and video on paper media. It is a shopping site that mainly sells package media that contains such content.
  • Travel product shopping sites also include accommodation service products for receiving accommodation services at hotels and inns, transportation ticket products for using various transportation services such as trains, buses, and airplanes, accommodation service products and transportation. It is a shopping site that mainly sells packed travel products, etc. that are packed with institutional ticket products.
  • FIG. 11 is a block diagram showing the functions of the control device 5 ′ as functional blocks. As can be seen from comparison with FIG. 5, the control device 5 ′ is different from the control device 5 in that an evaluation value acquisition unit 5b ′ is provided instead of the evaluation value acquisition unit 5b.
  • the evaluation value acquisition unit 5b ′ obtains the ranking evaluation value Vr calculated by the ranking evaluation value calculation devices 4 and 4 from the importance correspondence information 5′d based on the instructed application destination identification information. Adjust based on degree ⁇ .
  • the control device 5 ′ is instructed by the application of operation by the test performer and the like, together with an instruction for starting the comparison test, and application destination identification information indicating the different application environment of the new algorithm. Is done.
  • the evaluation value acquisition unit 5b ′ searches the first preliminary environment search device 3-1 and the second preliminary environment search device 3-2 in the importance correspondence information 5′d based on the application destination identification information instructed in this way.
  • One query importance ⁇ is acquired from a plurality of query importance ⁇ s associated with the same test query as the test query used in the above, and ranking evaluation value calculation is performed based on the acquired query importance ⁇
  • the ranking evaluation value Vr calculated by the devices 4 and 4 is adjusted.
  • the evaluation value acquisition unit 5b ′ calculates the ranking evaluation value by acquiring the query importance ⁇ from the importance correspondence information 5′d and adjusting the ranking evaluation value Vr based on the acquired query importance ⁇ . This is performed for each ranking evaluation value Vr for each test query sequentially received from the devices 4 and 4. The adjustment in this case is performed by multiplying the ranking evaluation value Vr by the query importance ⁇ .
  • the evaluation value acquisition unit 5b ′ obtains a plurality of evaluation values that have been adjusted by the query importance ⁇ on the current algorithm side and the new algorithm side.
  • the evaluation value acquisition unit 5b ′ acquires the integrated evaluation value of the adjusted evaluation values obtained on the current algorithm side as the first evaluation value in this way, and the adjusted evaluation values obtained on the new algorithm side. Is obtained as the second evaluation value.
  • the integrated evaluation value as exemplified in the first embodiment, for example, a total value, an average value, or the like is calculated.
  • the first evaluation value and the second evaluation value acquired by the evaluation value acquisition unit 5b ' are presented on the display or the like as relative evaluation information by the presentation control unit 5c, as in the case of the first embodiment.
  • the control device 5 ′ as described above makes it possible to evaluate a new algorithm using different query importance ⁇ depending on the environment to which the new algorithm is applied.
  • the query importance ⁇ is not essential to use the query importance ⁇ according to the application environment of the new algorithm.
  • the importance correspondence information 5′d only one query importance ⁇ is associated with each test query. It can also be information. In this case, it is not necessary for the evaluation value acquisition unit 5b ′ to selectively acquire the query importance ⁇ based on the application destination identification information, and for the search among the query importance ⁇ in the importance correspondence information 5′d.
  • One query importance ⁇ associated with the same test query as the used test query is acquired, and the ranking evaluation value Vr is adjusted based on the acquired query importance ⁇ .
  • FIG. 12 is a flowchart showing a specific processing procedure for realizing the function of the control device 5 ′ described above. Note that the processing shown in FIG. 12 is also started in response to an operation input instructing the start of a comparison test by a tester or the like, for example. As described above, the control device 5 ′ of the second embodiment is also instructed to apply destination identification information together with an instruction to start a comparison test. Further, the process shown in FIG. 12 shows the process executed on one of the current algorithm side and the new algorithm side as in FIG. 7, and the control device 5 ′ performs the process shown in FIG. For example, both are performed in parallel on the new algorithm side.
  • steps S101 to S106 and steps S107 and S108 are the same as those described with reference to FIG.
  • the control device 5 ′ adjusts the ranking evaluation value Vr based on the query importance ⁇ corresponding to the i-th test query in step S301. That is, in this example, one query importance based on the instructed application destination identification information is selected from the plurality of query importance degrees ⁇ associated with the i-th test query in the importance degree correspondence information 5′d. The degree ⁇ is obtained, and the ranking evaluation value Vr obtained in step S106 is adjusted based on the obtained query importance degree ⁇ .
  • the control device 5 'advances the process to step S107 in response to the execution of the adjustment process of step S301. Thereby, the ranking evaluation value Vr adjusted by the query importance ⁇ is obtained for n test queries.
  • the process of FIG. 12 is performed on the current algorithm side and the new algorithm side, whereby the current algorithm side, A first evaluation value and a second evaluation value as an integrated evaluation value are acquired based on a plurality of evaluation values (evaluation values after adjustment based on the query importance ⁇ ) obtained on each of the new algorithms. Further, depending on the presentation control unit 5c of the control device 5 ′, presentation control of relative evaluation information based on the first evaluation value and the second evaluation value obtained as described above is performed.
  • the processing procedures for realizing the functions of the evaluation value acquisition unit 5b ′ and the presentation control unit 5c are the same as those shown in FIG.
  • the evaluation value acquisition unit 5b ′ has a query importance ⁇ representing each importance of the test query for each test query. Based on the importance correspondence information 5′d associated with the query importance corresponding to the selection test query, the first test search and the second test search are calculated based on the obtained query importance. The evaluation values related to ranking are adjusted, and the first evaluation value and the second evaluation value are acquired based on the adjusted evaluation values.
  • the first evaluation value and the second evaluation value are adjusted according to the importance of the query used for the test search. As a result, it is possible to adjust so that the evaluation value of the test search using the important query becomes high and the evaluation value of the test search using the non-important query becomes low. It can be done properly. As a result, the pass / fail judgment of the new algorithm can be performed more appropriately in consideration of the importance of the query used for the test search.
  • the importance level correspondence information 5′d includes, for each test query, a plurality of query importance levels ⁇ corresponding to different application destination environments of the second search algorithm. Are associated with each other, and the evaluation value acquisition unit 5b ′ is instructed from among the plurality of query importance ⁇ associated with the same test query as the selected test query in the importance correspondence information 5′d.
  • One query importance ⁇ is obtained based on the applied destination identification information, and the evaluation values related to the rankings calculated for the first test search and the second test search are adjusted based on the obtained query importance ⁇ , respectively.
  • the first evaluation value and the second evaluation value are acquired based on the adjusted evaluation values.
  • the new algorithm can be evaluated more appropriately, and the pass / fail judgment for the new algorithm can be performed more appropriately in consideration of the environment to which the new algorithm is applied.
  • control devices 5 and 5 ′ as the embodiment of the information processing apparatus according to the present invention have been described above. However, the program according to the embodiment controls the processing of the control devices 5 and 5 ′ as an information processing device (CPU or the like). This is a program to be executed.
  • the program according to the embodiment includes a first test search performed using a first search algorithm with a plurality of test content data including character information as a search target, and a second search algorithm with the plurality of test content data as a search target
  • a second test search performed using the search execution control process for executing a search for the same selected test query selected from a plurality of test queries selected in advance, a first test search, For each combination of the test content data rank information obtained by each of the two test searches, and the test content data test query for each combination of the test query and the test content data related to the test query.
  • Relevance level correspondence information with which the relevance score R is associated with The first evaluation value for the first search algorithm and the second evaluation value for the second search algorithm are obtained based on the evaluation values related to the ranking for the first test search and the second test search calculated based on Information indicating the evaluation value acquisition process to be performed and the presentation control process for performing control so that the relative evaluation information of the second search algorithm with respect to the first search algorithm is presented based on the first evaluation value and the second evaluation value.
  • This program corresponds to a program that causes the information processing device (the control devices 5 and 5 ′) to execute the processing described with reference to FIGS.
  • Such a program can be stored in advance in an HDD as a storage medium built in a device such as a computer device, a ROM in a microcomputer having a CPU, or the like. Alternatively, it can be stored (stored) temporarily or permanently in a removable storage medium such as a semiconductor memory, memory card, optical disk, magneto-optical disk, or magnetic disk. Such a removable storage medium can be provided as so-called package software. Further, such a program can be installed from a removable storage medium to a personal computer or the like, or can be downloaded from a download site via a network such as a LAN or the Internet.
  • the query importance ⁇ corresponding to the application environment of the new algorithm is exemplified using the importance correspondence information 5′d storing the query importance ⁇ for each application environment.
  • the importance correspondence information in the invention only one reference query importance ⁇ as a reference is associated with each test query, and the query importance ⁇ is adjusted by a coefficient according to the instructed application environment information.
  • the adjusted query importance ⁇ may be used for adjusting the ranking evaluation value Vr.
  • the preliminary environment evaluation DB 2 only one common to the first test search and the second test search can be provided.
  • the first test search and the second test search can be performed by one apparatus by, for example, time division processing or parallel processing.
  • the ranking evaluation value Vr on the current algorithm side and the new algorithm side is calculated. Alternatively, it can be performed by one apparatus by time-sharing processing or parallel processing.
  • 1, 1 'preliminary environment evaluation system 2 preliminary environment evaluation DB, 2a relevance information, 3-1, first preliminary environment search device, 3-2 second preliminary environment search device, 4 ranking evaluation value calculation device, 5, 5 'control device, 5a search execution control unit, 5b, 5b' evaluation value acquisition unit, 5c presentation control unit, 5'd importance correspondence information

Abstract

　検索エンジンのバージョンアップに関して、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切且つ簡易に行われるようにする。　予備環境において、現行アルゴリズムと新アルゴリズムによるテスト検索を実行させ、それらの結果に基づいて計算された検索の順位付けに係る評価値に基づき現行アルゴリズムについての第一評価値と新アルゴリズムについての第二評価値とを取得し、これら第一評価値と第二評価値とに基づき、現行アルゴリズムに対する新アルゴリズムの相対的評価情報が提示されるように制御を行う。順位付けに係る評価値の計算は、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報に基づいて行われる。

Description

情報処理装置、情報処理方法、プログラム、記憶媒体
　本発明は、文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムについて、第一検索アルゴリズムと第二検索アルゴリズムとの比較テストに用いられる情報処理装置とその情報処理方法、情報処理装置を実現するプログラム、及びプログラムを記憶した記憶媒体に関する。
特開２０１２－１２８８０２号公報
　例えばインターネット上に存在するウェブページからユーザが入力したキーワード（クエリ）に関連するウェブページを検索するなど、文字情報を含む複数のコンテンツデータを対象としてクエリに関連するコンテンツデータを検索する技術が広く知られている。
　このような検索技術としては、検索ヒットしたコンテンツデータを所定のアルゴリズムに従ってスコアリングして順位付けするものもある。この場合、検索結果画面においては、当該順位に従った表示順序で検索ヒットしたコンテンツデータが表示される。
　ここで、検索エンジンについては、新バージョンへのバージョンアップが行われる場合がある。
　検索エンジンのバージョンアップを行う場合は、新バージョンの検索アルゴリズム（以下「新アルゴリズム」と表記）を即座に現行バージョンの検索アルゴリズム（以下「現行アルゴリズム」と表記）と置き換えるのではなく、事前のテストを経て合格した新アルゴリズムを現行アルゴリズムと置き換えることが望ましい。
　このような新アルゴリズムについての事前のテストは、より実践的なテストとするべく、実際に一般ユーザによる利用が行われる本番環境において行うことができる。本番環境におけるテストは、例えば、現行アルゴリズム：新アルゴリズムの利用割合を９：１にするなど新アルゴリズムの利用割合の方が大幅に少なくなるように配慮した上で行われる。また、現行アルゴリズムからの改善度合いの確認を容易とするべく、現行アルゴリズムとの比較テストとして行われる。
　本番環境におけるテストでは、検索アルゴリズムの性能評価指標として、例えばＣＴＲ（Click Through Rate）やＣＶＲ（ConVersion Rate）などの売上への寄与に係る評価指標が用いられる。
　上記のような本番環境での比較テストは、実践的で望ましいものであるが、一般ユーザによる利用が行われることからテストの施行回数はできる限り少なくすべきである。
　しかし、仮に、新アルゴリズムとして上記の順付け性能等の基本的な性能面で不備のあるアルゴリズムが用いられてしまうと、本番環境のテストで本来確かめたい売り上げ寄与の面での性能とは異なる性能に関してアルゴリズムの修正及び再度のテスト施行を要してしまい、望ましくない。
　そこで、本発明は上記の問題点に鑑み、検索エンジンのバージョンアップに関して、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切且つ簡易に行われるようにすることを目的とする。
　第１に、本発明に係る情報処理装置は、文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理装置であって、文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御部と、前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得部と、前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御部とを備えるものである。
　これにより、新アルゴリズムとしての第二検索アルゴリズムの評価は、現行アルゴリズムとしての第一検索アルゴリズムについての評価値を基準とした相対評価により行われると共に、該評価は、本番環境とは異なる予備環境において、本番環境と異なる順位付けに係る評価値に基づき行われる。
　また、順位付けに係る評価値の計算は、予めテスト用クエリとこれに関連するテスト用コンテンツデータの組み合わせごとに関連度スコアが対応づけられた関連度対応情報を用いて行われるので、例えば関連度スコアを都度計算する場合等と比較して処理が簡易化される。
　第２に、上記した本発明に係る情報処理装置においては、前記検索実行制御部は、複数の前記選択テスト用クエリの個々についての前記第一テスト検索及び前記第二テスト検索が実行されるように制御を行い、前記評価値取得部は、前記検索実行制御部による前記制御に伴い前記選択テスト用クエリごとに計算された前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づき、前記第一評価値及び前記第二評価値を取得することが望ましい。
　このように複数の選択テスト用クエリの個々についての第一テスト検索及び第二テスト検索を実行させ、それに応じて選択テスト用クエリごとに計算された第一評価値、第二評価値を取得することで、様々なテスト用クエリを用いた多面的な評価を行うことを可能としている。
　第３に、上記した本発明に係る情報処理装置においては、前記評価値取得部は、前記選択テスト用クエリごとに計算された前記第一テスト検索についての前記順位付けに係る評価値を一つに統合した値を前記第一評価値として取得し、前記選択テスト用クエリごとに計算された前記第二テスト検索についての前記順位付けに係る評価値を一つに統合した値を前記第二評価値として取得することが望ましい。
　これにより、選択テスト用クエリごとに得られた複数の評価値同士の相対的評価情報ではなく、統合した一つの評価値についての相対的評価情報が提示される。
　第４に、上記した本発明に係る情報処理装置においては、前記評価値取得部は、前記テスト用クエリの個々の重要度を表すクエリ重要度が前記テスト用クエリごとに対応づけられた重要度対応情報に基づき、前記選択テスト用クエリに対応した前記クエリ重要度を取得し、取得したクエリ重要度に基づき、前記第一テスト検索、前記第二テスト検索について計算された前記順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて前記第一評価値、前記第二評価値を取得することが望ましい。
　あまり重要でないクエリを用いた検索結果の評価値が高くてもその検索アルゴリズムの検索性能が高いとは言えない。このため、テスト検索に用いたクエリの重要度に応じて、第一評価値、第二評価値が調整されるようにしている。
　第５に、上記した本発明に係る情報処理装置においては、前記重要度対応情報は、前記テスト用クエリの個々に対し、前記第二検索アルゴリズムの適用先環境の別に応じた複数の前記クエリ重要度が対応づけられており、前記評価値取得部は、前記重要度対応情報において前記選択テスト用クエリと同一のテスト用クエリに対応づけられている複数の前記クエリ重要度のうち、指示された適用先識別情報に基づいて１つの前記クエリ重要度を取得し、取得したクエリ重要度に基づき前記第一テスト検索、前記第二テスト検索について計算された前記順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて前記第一評価値、前記第二評価値を取得することが望ましい。
　検索アルゴリズムの適用先環境が異なれば、同じクエリであってもその環境に対する重要度が異なることが想定される。これに対応するため、適用先環境の別に応じて異なるクエリ重要度を用いた新アルゴリズムの評価が可能となるようにしている。
　また、本発明に係る情報処理方法は、文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理方法であって、文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御手順と、前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得手順と、前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御手順とを有する情報処理方法である。
　さらに、本発明に係るプログラムは、上記情報処理方法として実行する処理を情報処理装置に実行させるプログラムである。
　さらにまた、本発明に係る記憶媒体は、上記プログラムを記憶したプログラムである。これらのプログラムや記憶媒体により上記の情報処理装置を実現する。
　本発明によれば、検索エンジンのバージョンアップに関して、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切且つ簡易に行われるようにすることができる。
本番環境に形成されたネットワークシステムの例を示した図である。 本番環境における現行アルゴリズムと新アルゴリズムの比較テストについて説明するための図である。 第１の実施の形態の情報処理装置を備えた予備環境評価システムの概要構成を示したブロック図である。 関連度対応情報の説明図である。 第１の実施の形態の情報処理装置が有する機能を機能ブロックとして示したブロック図である。 実施の形態のコンピュータ装置のブロック図である。 第１の実施の形態の情報処理装置の機能を実現するための処理として、検索実行制御部に対応した処理を示したフローチャートである。 第１の実施の形態の情報処理装置の機能を実現するための処理として、評価値取得部及び提示制御部に対応した処理を示したフローチャートである。 第２の実施の形態の情報処理装置を備えた予備環境評価システムの概要構成を示したブロック図である。 重要度対応情報の説明図である。 第２の実施の形態の情報処理装置が有する機能を機能ブロックとして示したブロック図である。 第２の実施の形態の情報処理装置の機能を実現するための処理を示したフローチャートである。
　以下、実施の形態を次の順序で説明する。
＜１．第１の実施の形態＞
　［1-1．本番環境］
　［1-2．本番環境における比較テスト］
　［1-3．予備環境における評価システム］
　［1-4．ハードウェア構成］
　［1-5．処理手順］
　［1-6．第１の実施の形態のまとめ＞
＜２．第２の実施の形態＞
　［2-1．評価システム及び制御装置の機能］
　［2-2．処理手順］
　［2-3．第２の実施の形態のまとめ］
＜３．プログラム及び記憶媒体＞
＜４．変形例＞
＜１．第１の実施の形態＞
　［1-1．本番環境］

　図１に、本番環境に形成されたネットワークシステム５０の例を示す。このネットワークシステム５０はＥＣ（ＥＣ：electronic commerce（電子商取引））システムとして機能する。本番環境は、後述するユーザ端末５４を介した一般ユーザによる利用が行われる環境を意味する。
　ネットワークシステム５０は、例えばインターネット等のネットワーク５２を介して、ショッピングサイト運営システム５３、複数のユーザ端末５４，５４…、複数の店舗端末５５，５５…が互いに通信可能に構成されている。
　ユーザ端末５４は、ウェブブラウザを備えたコンピュータ装置である。ユーザ端末５４としては、例えば高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）、携帯型又は据置型のパーソナルコンピュータ（ＰＣ）などが挙げられるが、ユーザ端末５４の種類はこれらに限定されない。
　ユーザ端末５４は、ＨＴＴＰ（Hypertext Transfer Protocol）リクエストをショッピングサイト運営システム５３に送信することでウェブページや所定の処理を要求する。またユーザ端末５４は、ＨＴＴＰリクエストに応じて送られてきたウェブページを受信してウェブブラウザ上に表示する。これにより、ユーザは所望のウェブページを閲覧したり操作したりすることができる。
　ショッピングサイト運営システム５３は、それぞれコンピュータ装置で構成されたショッピングサーバ５３ａ、検索装置５３ｂ、及び商品ＤＢ（データベース）５３ｃを備えている。これらの各装置は、例えばＬＡＮ（Local Area Network）等のネットワークを介して互いに通信可能とされている。
　ショッピングサーバ５３ａは、ユーザ端末５４から送られてきたＨＴＴＰリクエストに基づいて様々な処理を行う。例えば、各種ウェブページ（例えば商品ウェブページ、買い物かごウェブページ、注文ウェブページなど）の生成及び送信や、ユーザによる注文確定操作に応じた購入処理等を実行する。
　ネットワークシステム５０では、ショッピングサーバ５３ａにより仮想商店街のウェブサイト（ＥＣサイト）がユーザ（ユーザ端末５４のユーザ）に提供される。ＥＣサイト内には複数の店舗（仮想商店街の加盟店）が存在する。各店舗のスタッフが自店舗の商品を店舗端末５５としてのコンピュータ装置を介して登録することで、様々な店舗の様々な商品がＥＣサイト上にアップロードされる。ユーザはユーザ端末５４からＥＣサイトにアクセスして所望の商品を購入することができる。
　ショッピングサーバ５３ａにより提供されるウェブページには商品検索のための検索バーが設けられており、ユーザは該検索バーに対して検索のためのキーワードを入力できる。検索バーの近傍には検索ボタンが配置され、ユーザは該検索ボタンを操作することで検索バーへの入力キーワードに基づく検索の実行指示を行うことができる。
　この実行指示に応じて、入力キーワードが検索のクエリとしてユーザ端末５４からショッピングサーバ５３ａに送信される。
　ショッピングサーバ５３ａがユーザ端末５４から受信したクエリは検索装置５３ｂに転送される。検索装置５３ｂは、いわゆる検索エンジンとして機能し、ショッピングサーバ５３ａから受信したクエリに基づき商品ＤＢ５３ｃに記憶されている商品ウェブページのうちからクエリに関連する商品ウェブページを検索し、検索結果をショッピングサーバ５３ａに送信する。
　商品ＤＢ５３ｃには、商品を識別するための識別子である商品ＩＤに対応づけられて、商品名、種類、商品の画像、スペック、商品紹介の要約文等の商品情報や、広告情報等が記憶されている。また、商品ＤＢ５３ｃには、ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語等により記述された商品ウェブページのファイル等が記憶されている。
　検索装置５３ｂは、商品ＤＢ５３ｃに記憶されている上記の商品情報や商品ウェブページのファイルに含まれる文字情報（テキスト情報）等に基づき、受信したクエリに関連する商品ウェブページ、例えばクエリと一致する文字情報を含む商品ウェブページを検索する。また、検索装置５３ｂは、検索ヒットした商品ウェブページを所定のアルゴリズムに従ってスコアリングして順位付けする。検索装置５３ｂによる検索結果には、検索ヒットした商品ウェブページのそれぞれの順位情報が含まれる。
　検索装置５３ｂによる検索結果に基づきユーザに提示される検索結果画面上には、検索ヒットした商品ウェブページが上記の順位情報に従った表示順序で表示される。
　［1-2．本番環境における比較テスト］

　ここで、上記のような本番環境においては、検索装置５３ｂにおける検索アルゴリズムをバージョンアップする際に、現行バージョンの検索アルゴリズム（以下「新アルゴリズム」と表記）と新バーションの検索アルゴリズム（以下「新アルゴリズム」と表記）の比較テストが行われる。
　以下、このような本番環境における現行アルゴリズムと新アルゴリズムの比較テストについて図２を参照して説明する。
　なお図２において、既に図１で説明した部分と同様となる部分については同一符号を付して説明を省略する。
　本番環境における比較テストでは、ネットワークシステム５０において、ショッピングサーバ５３ａ、第一検索装置５３ｂ１、第二検索装置５３ｂ２、及び商品ＤＢ５３ｃを有するショッピングサイト運営システム５３’と、本番環境検索評価装置５６が設けられる。
　ショッピングサイト運営システム５３’において、第一検索装置５３ｂ１は、現行アルゴリズムによる検索を行う検索装置５３ｂであり、第二検索装置５３ｂ２は新アルゴリズムによる検索を行う検索装置５３ｂである。
　この場合のショッピングサーバ５３ａは、ユーザ端末５４，５４…から受信される複数のクエリについて、一部を第一検索装置５３ｂ１に、残りを第二検索装置５３ｂ２に送信し、それぞれ検索を実行させる。これにより、比較テストの施行中には、ユーザ端末５４，５４…から実行指示のあった検索のうちの一部が第一検索装置５３ｂ１により、残りが第二検索装置５３ｂ２により実行される。
　なお、この場合における現行アルゴリズム：新アルゴリズムの利用割合は、例えば９：１にするなど、新アルゴリズムの利用割合の方が大幅に少なくなるように調整されている。すなわち、このような利用割合が実現されるように、ショッピングサーバ５３ａによる第一検索装置５３ｂ１、第二検索装置５３ｂ２に対するクエリの割り振り率が調整されている。
　本番環境検索評価装置５６はコンピュータ装置とされ、ショッピングサイト運営システム５３’のショッピングサーバ５３ａと互いに通信可能とされている。
　本番環境検索評価装置５６は、第一検索装置５３ｂ１で用いられている現行アルゴリズム、第二検索装置５３ｂ２で用いられている新アルゴリズムのそれぞれについて、所定の評価値を計算する。具体的には、ＣＴＲ（Click Through Rate）、ＣＶＲ（ConVersion Rate）、総売上など、ＥＣサイトでの販売商品の売上への寄与に係る評価値を計算する。
　ここで言うＣＴＲは、第一検索装置５３ｂ１、第二検索装置５３ｂ２による検索結果として提示された商品ウェブページ（ＵＲＬ（Uniform Resource Locator）リンク）に対して行われたクリックについてのＣＴＲである。
　また、ここで言うＣＶＲは、第一検索装置５３ｂ１、第二検索装置５３ｂ２による単位検索回数を基準として、第一検索装置５３ｂ１、第二検索装置５３ｂ２による検索結果として提示された商品ウェブページがクリックされ該商品ウェブページの掲載商品が購入された割合を意味する。
　さらに、上記の総売上は、第一検索装置５３ｂ１、第二検索装置５３ｂ２による検索結果として提示された商品ウェブページを経由して購入された商品を対象として、それらの総売上を計算したものである。
　このような本番環境検索評価装置５６により第一検索装置５３ｂ１、第二検索装置５３ｂ２のそれぞれについて計算される評価値に基づき、本番環境における比較テストでは、新アルゴリズムの合否が判定される。例えば、現行アルゴリズムよりも新アルゴリズムにの方が評価値が良好であるか否かにより合否判定が行われる。
　［1-3．予備環境における評価システム］

　上記のような本番環境での比較テストは、実践的で望ましいものであるが、一般ユーザによる利用が行われることからテストの施行回数はできる限り少なくすべきである。
　しかし、仮に、新アルゴリズムとして上記の順付け性能等の基本的な性能面で不備のあるアルゴリズムが用いられてしまうと、本番環境のテストで本来確かめたい売り上げ寄与の面での性能とは異なる性能に関してアルゴリズムの修正及び再度のテスト施行を要してしまい、望ましくない。
　そこで、本実施の形態では、本番環境とは別の予備環境において、予め新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かをテストし、当該本番環境でのテストで合格判定された新アルゴリズムを本番環境での比較テストに用いるという手法を採る。
　図３は、予備環境において新アルゴリズムのテストを行うための予備環境評価システム１の概要構成を示したブロック図である。
　予備環境評価システム１は、予備環境評価用ＤＢ２、予備環境評価用ＤＢ２、第一予備環境検索装置３－１、第二予備環境検索装置３－２、順位付け評価値計算装置４、順位付け評価値計算装置４、及び制御装置５を備えている。
　これらの各装置はコンピュータ装置で構成され、例えばＬＡＮなどのネットワーク又は所定の無線若しくは有線通信方式により互いに通信可能とされている。
　各予備環境評価用ＤＢ２には、後述する順位付け評価値Ｖｒの計算に用いられる関連度対応情報２ａが記憶されていると共に、第一予備環境検索装置３－１、第二予備環境検索装置３－２が検索対象とする複数のテスト用コンテンツデータが記憶されている。これら複数のテスト用コンテンツデータの個数及び個々の内容は、各予備環境評価用ＤＢ２で同一とされている。テスト用コンテンツデータとしては、本番環境での検索対象が文字情報を含んだウェブページデータであることから、文字情報を含むコンテンツデータが用いられている。本例では、データ容量の削減等の観点から、ウェブページデータをそのまま用いるのではなくテキストによるドキュメントデータが用いられている。
　なお、予備環境評価用ＤＢ２に記憶されているテスト用コンテンツデータの個数は、例えば１００万個程度とされている。
　図４は、関連度対応情報２ａの説明図である。
　関連度対応情報２ａは、予めテスト用として選出された複数のテスト用クエリ（図中Ｑ１～Ｑｎ）と、予備環境評価用ＤＢ２に記憶されている複数のテスト用コンテンツデータ（図中Ｄ１～Ｄｍ）とについて、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組ごとに関連度スコアＲが対応づけられた情報とされている。
　図４の例において、「Ｑ１」のテスト用クエリについては、Ｄ１～Ｄｍの複数のテスト用コンテンツデータのうち「Ｄ１」と「Ｄｍ」が関連するテスト用コンテンツデータとされている。すなわち、「Ｑ１」をクエリとした検索が行われた場合、「Ｄ１」と「Ｄｍ」のテスト用コンテンツデータが検索ヒットする。
　関連度対応情報２ａでは、このようなテスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組ごとに、関連度スコアＲ、すなわちテスト用コンテンツデータのテスト用クエリに対する関連度を表すスコアが対応づけられている。図４の例では、「Ｑ１」のテスト用クエリと「Ｄ１」のテスト用コンテンツデータの組に対し、「Ｄ１」の「Ｑ１」に対する関連度スコアＲとして「３」が対応づけられ、「Ｑ１」のテスト用クエリと「Ｄｍ」のテスト用コンテンツデータの組に対しては「Ｄｍ」の「Ｑ１」に対する関連度スコアＲとして「７」が対応づけられている。
　関連度スコアＲは、例えばテスト用コンテンツデータの文書内容から人手により求めた値とされている。
　図３に戻り、第一予備環境検索装置３－１は、一方の予備環境評価用ＤＢ２に記憶されている複数のテスト用コンテンツデータを検索対象として、現行アルゴリズムによる検索を行う検索装置とされている。
　第二予備環境検索装置３－２は、他方の予備環境評価用ＤＢ２に記憶されている複数のテスト用コンテンツデータを検索対象として、新アルゴリズムによる検索を行う検索装置とされている。
　これら第一予備環境検索装置３－１、第二予備環境検索装置３－２は、それぞれ現行アルゴリズム、新アルゴリズムを用いていることからも理解されるように、前述した第一検索装置５３ｂ１、第二検索装置５３ｂ２と同様に検索ヒットしたコンテンツデータの順位付けも行う。
　第一予備環境検索装置３－１、第二予備環境検索装置３－２は、制御装置５から入力されたテスト用クエリに基づいて検索を実行する。第一予備環境検索装置３－１は、検索結果の情報（検索ヒットしたテスト用コンテンツデータの順位情報を含む）を順位付け評価値計算装置４，４のうち対応する一方の順位付け評価値計算装置４に対して送信し、第二予備環境検索装置３－２は、検索結果の情報を順位付け評価値計算装置４，４のうち対応する他方の順位付け評価値計算装置４に対して送信する。また、第一予備環境検索装置３－１、第二予備環境検索装置３－２は、順位付け評価値計算装置４，４での順位付け評価値の計算を可能とするべく、検索結果の情報と共に、関連度対応情報２ａから該当する関連度スコアＲを取得して順位付け評価値計算装置４，４のうち対応する方の順位付け評価値計算装置４に対して送信する。すなわち、関連度対応情報２ａに記憶されている関連度スコアＲのうち、当該検索でヒットしたテスト用コンテンツデータと当該検索で用いたテスト用クエリの組に対応づけられている関連度スコアＲを送信する。
　順位付け評価値計算装置４，４は、それぞれ第一予備環境検索装置３－１、第二予備環境検索装置３－２のうち対応する方より受信した検索結果の情報と関連度スコアＲとに基づいて順位付け評価値Ｖｒを計算する。
　順位付け評価値Ｖｒは、検索ヒットしたテスト用コンテンツデータの順位付けに係る評価値である。例えば、順位付けが理想の順位付けに対してどの程度近いかを表す評価値である。
　本例において、順位付け評価値計算装置４は、順位付け評価値ＶｒとしてｎＤＣＧ（Normalized Discounted Cumulative Gain）を計算する。周知のようにｎＤＣＧは、あるクエリに対して行った検索でヒットしたコンテンツデータの順位付けが、そのクエリについて予め定めた理想の順位付けに対してどの程度近いかを表す評価指標である。具体的に、ｎＤＣＧは、検索ヒットした各コンテンツデータの関連度スコアＲをそのコンテンツデータの順位に応じてディスカウントしてそれらを足し込んだ値としてのＤＣＧを、理想のＤＣＧにより除して正規化したものである。
　なお、順位付け評価値ＶｒとしてはＤＣＧを計算してもよく、検索結果として求まった順位付けが理想の順位付けに対してどの程度近いかを表すものであればｎＤＣＧに限定されるものではない。
　制御装置５は、本発明の情報処理装置の一実施形態であり、予備環境での比較テストを施行する際にテスト施行者が操作入力を行う装置とされている。
　本実施の形態の制御装置５は、図５に示す各機能ブロックで表される機能を有している。
　図５において、制御装置５は、検索実行制御部５ａ、評価値取得部５ｂ、及び提示制御部５ｃとしての各種機能を有している。
　検索実行制御部５ａは、例えばテスト施行者等による操作入力に基づき、第一予備環境検索装置３－１、第二予備環境検索装置３－２に検索の実行指示を行う。本実施の形態の場合、比較テストでは、ｎ（ｎは２以上の自然数）個のテスト用クエリの個々について第一予備環境検索装置３－１、第二予備環境検索装置３－２による検索を順次実行させる。このため、検索実行制御部５ａは、テスト施行者等によるテスト開始を指示する操作入力に基づき、ｎ個のテスト用クエリのうちから順次１つのテスト用クエリを選択し、選択した同一のテスト用クエリを第一予備環境検索装置３－１、第二予備環境検索装置３－２に順次送信してそれぞれ検索を実行させる。
　この場合、順位付け評価値計算装置４，４には、第一予備環境検索装置３－１、第二予備環境検索装置３－２から検索完了ごとに順次検索結果の情報と関連度スコアＲの情報が送信される。順位付け評価値計算装置４，４では、このように検索完了ごとに送信される検索結果の情報と関連度スコアＲの情報とに基づいて順位付け評価値Ｖｒが順次計算され、これによりテスト用クエリごとの順位付け評価値Ｖｒが現行アルゴリズムと新アルゴリズムの双方について得られる。
　評価値取得部５ｂは、上記のように順位付け評価値計算装置４，４で計算された順位付け評価値Ｖｒに基づき、現行アルゴリズムについての評価値である第一評価値と、新アルゴリズムについての評価値である第二評価値を取得する。
　本例では、現行アルゴリズム、新アルゴリズムについての順位付け評価値Ｖｒがそれぞれ複数得られることに対応して、第一評価値、第二評価値としては、それぞれ複数の順位付け評価値Ｖｒを１つに統合した値に変換する。具体的に、本例における評価値取得部５ｂは、一方の順位付け評価値計算装置４によって現行アルゴリズムについて計算された複数の順位付け評価値Ｖｒの合計値を第一評価値として取得し、他方の順位付け評価値計算装置４によって新アルゴリズムについて計算された複数の順位付け評価値Ｖｒの合計値を第二評価値として取得する。
　このように第一評価値、第二評価値としてそれぞれ一値に統合した値を取得することで、現行アルゴリズム、新アルゴリズムについての評価値の把握が容易となる。
　なお、このような統合評価値としては、例えば複数の順位付け評価値Ｖｒの平均値などでもよく、一値に統合した値であれば特に限定されない。
　提示制御部５ｃは、評価値取得部５ｂが取得した第一評価値と第二評価値とに基づき、現行アルゴリズムに対する新アルゴリズムの相対的評価情報が所要の提示装置により提示されるように制御を行う。
　具体的に、本例における提示制御部５ｃは、評価値取得部５ｂが取得した第一評価値と第二評価値が制御装置５に接続された表示装置、或いは制御装置５が備えるディスプレイ上に対比可能に表示されるように制御を行う。
　ここで、相対的評価情報とは、第一評価値に対する第二評価値の相対的な関係を表す情報である。従って、相対的評価情報としては、上記のように第一評価値と第二評価値を対比可能に表す情報に限らず、例えば第二評価値から第一評価値を減算した値とするなど、他の情報とすることもできる。
　また、相対的評価情報の提示としては、視覚的な提示に限らず、例えばスピーカ等を用いた聴覚的な提示など他の手法による提示とすることもできる。
　［1-4．ハードウェア構成］

　図６に、図３で示した制御装置５をはじめとした各装置（予備環境評価用ＤＢ２、第一予備環境検索装置３－１、第二予備環境検索装置３－２、順位付け評価値計算装置４）を構成するコンピュータ装置のハードウエア構成を示す。
　なお、図１や図２で説明した各装置（ユーザ端末５４、店舗端末５５、ショッピングサーバ５３ａ、検索装置５３ｂ、商品ＤＢ５３ｃ、第一検索装置５３ｂ１、第二検索装置５３ｂ２、本番環境検索評価装置５６）を構成するコンピュータ装置についても、同様のハードウェア構成である。
　図６において、コンピュータ装置のＣＰＵ（Central Processing Unit）１０１は、ＲＯＭ( Read Only Memory)１０２に記憶されているプログラム、または記憶部１０８からＲＡＭ( Random Access Memory )１０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ１０１、ＲＯＭ１０２、及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、入出力インターフェース１０５も接続されている。
　入出力インターフェース１０５には、キーボード、マウス、タッチパネルなどよりなる入力装置１０６、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ（表示装置）、並びにスピーカなどよりなる出力装置１０７、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ装置などより構成される記憶部１０８、外部装置との間で相互通信を行うための通信部１０９が接続されている。
　入出力インターフェース１０５にはまた、必要に応じてメディアドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が適宜装着され、リムーバブルメディア１１１に対する情報の書込や読出が行われる。
　このようなコンピュータ装置では、通信部１０９による通信によりデータやプログラムのアップロード、ダウンロードが行われたり、リムーバブルメディア１１１を介したデータやプログラムの受け渡しが可能である。
　ＣＰＵ１０１が各種のプログラムに基づいて処理動作を行うことで、特に制御装置５としてのコンピュータ装置において以下で説明する情報処理や通信が実行される。
　［1-5．処理手順］

　上記で説明した制御装置５の各機能を実現するための具体的な処理手順を図７及び図８のフローチャートを参照して説明する。
　図７は、検索実行制御部５ａに対応する処理を示している。
　なお、図７に示す処理は、例えばテスト施行者等による比較テストの開始を指示する操作入力が行われたことに応じて開始される。
　また、図７に示す処理は、現行アルゴリズム側（第一予備環境検索装置３－１及び一方の順位付け評価値計算装置４）、新アルゴリズム側（第二予備環境検索装置３－２及び他方の順位付け評価値計算装置４）の一方について実行される処理を示している。制御装置５は、図７に示す処理を現行アルゴリズム側、新アルゴリズム側の双方について例えば並行して行う。
　図７において、制御装置５は、ステップＳ１０１でクエリ識別子ｉを０リセットする。クエリ識別子ｉは、検索に用いるテスト用クエリを識別するための値である。
　続くステップＳ１０２で制御装置５は、ｉ番目のテスト用クエリでの検索を第一予備環境検索装置３－１、第二予備環境検索装置３－２の何れか対応する一方に指示する処理を実行する。すなわち、ｎ個のテスト用クエリのうちから選択したｉ番目のテスト用クエリを第一予備環境検索装置３－１、第二予備環境検索装置３－２の何れか対応する一方に指示して、該テスト用クエリでの検索を実行させる。
　次いで、制御装置５は、ステップＳ１０３で検索が完了するまで待機し、検索が完了したことに応じて、ステップＳ１０４で順位付け評価値Ｖｒの計算指示を行う。すなわち、ステップＳ１０２の指示に応じて実行された検索に係る検索結果情報が受信される側の順位付け評価値計算装置４に対して、順位付け評価値Ｖｒの計算指示を行う。
　該計算指示を行ったことに応じ、制御装置５はステップＳ１０５で計算が終了するまで待機し、計算が終了したことに応じてステップＳ１０６で計算された順位付け評価値Ｖｒを取得する。
　続くステップＳ１０７で制御装置５は、クエリ識別子ｉが上限値ｎ以上であるか否かを判別し、上限値ｎ以上ではないと判別した場合は、ステップＳ１０８に進んでクエリ識別子ｉをインクリメント（ｉ←ｉ＋１）した上で、ステップＳ１０２に戻る。これにより、ｎ個の全てのテスト用クエリについて検索及び順位付け評価値Ｖｒの計算が行われるまでステップＳ１０２～Ｓ１０７の処理が繰り返し実行される。
　一方、制御装置５は、ステップＳ１０７でクエリ識別子ｉが上限値ｎ以上であると判別した場合は、この図に示す処理を終了する。
　図８は、評価値取得部５ｂ及び提示制御部５ｃに対応した処理を示している。
　図８において、制御装置５は、ステップＳ２０１で現行アルゴリズム側、新アルゴリズム側の双方で全クエリの順位付け評価値Ｖｒが得られるまで待機する。すなわち、図７に示した処理を現行アルゴリズム側、新アルゴリズム側の双方について行ったことに伴い、現行アルゴリズム側でのｎ個、新アルゴリズム側でのｎ個の計２ｎ個の順位付け評価値Ｖｒが順位付け評価値計算装置４，４から取得されるまで待機する。
　現行アルゴリズム側、新アルゴリズム側の双方で全クエリの順位付け評価値Ｖｒが得られた場合、制御装置５はステップＳ２０２で双方の統合評価値を計算する。すなわち、本例においては、現行アルゴリズム側について計算されたｎ個の順位付け評価値Ｖｒの合計値を第一評価値、新アルゴリズム側について計算されたｎ個の順位付け評価値Ｖｒの合計値を第二評価値としてそれぞれ計算により取得する。
　続くステップＳ２０３で制御装置５は、相対的評価情報の提示制御を行う。すなわち、本例においては、ステップＳ２０２の計算処理により取得した第一評価値と第二評価値が図６の出力装置１０７として説明したディスプレイ上に対比可能に提示されるように制御を行う。
　［1-6．第１の実施の形態のまとめ＞

　上記のように第１の実施の形態の情報処理装置（制御装置５）は、文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の検索アルゴリズムを第一検索アルゴリズム（現行アルゴリズム）、本番環境における第一検索アルゴリズムとの比較テストに用いられる検索アルゴリズムを第二検索アルゴリズム（新アルゴリズム）としたときに、本番環境とは異なる予備環境にて本番環境とは異なる評価指標に基づき行われる第一検索アルゴリズムと第二検索アルゴリズムとの比較テストに用いられる情報処理装置とされている。
　そして、第１の実施の形態の情報処理装置は、文字情報を含む複数のテスト用コンテンツデータを検索対象として第一検索アルゴリズムを用いて行われる第一テスト検索（第一予備環境検索装置３－１による検索）、及び複数のテスト用コンテンツデータを検索対象として第二検索アルゴリズムを用いて行われる第二テスト検索（第２予備環境検索装置３－２による検索）として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御部５ａを備える。
　また、第一テスト検索、第二テスト検索のそれぞれにより得られた、検索ヒットしたテスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアＲが対応づけられている関連度対応情報２ａとに基づいて計算された、第一テスト検索、第二テスト検索についての順位付けに係る評価値（順位付け評価値Ｖｒ）に基づいて、第一検索アルゴリズムについての第一評価値、第二検索アルゴリズムについての第二評価値を取得する評価値取得部５ｂを備える。
　さらに、第一評価値と第二評価値とに基づき、第一検索アルゴリズムに対する第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御部５ｃを備えるものである。
　これにより、新アルゴリズムとしての第二検索アルゴリズムの評価は、現行アルゴリズムとしての第一検索アルゴリズムについての評価値を基準とした相対評価により行われると共に、該評価は、本番環境とは異なる予備環境において、本番環境と異なる順位付け評価値Ｖｒに基づき行われる。
　従って、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切に行われるようにできる。
　また、順位付け評価値Ｖｒの計算は、予めテスト用クエリとこれに関連するテスト用コンテンツデータの組み合わせごとに関連度スコアＲが対応づけられた関連度対応情報２ａを用いて行われるので、例えば関連度スコアＲを都度計算する場合等と比較して処理が簡易化される。
　以上より、本実施の形態の制御装置５によれば、検索エンジンのバージョンアップに関して、新アルゴリズムが本番環境での比較テストで使用できる最低限の検索性能を有するか否かの合否判定が適切且つ簡易に行われるようにすることができる。
　また、第１の実施の形態の情報処理装置においては、検索実行制御部５ａは、複数の選択テスト用クエリの個々についての第一テスト検索及び第二テスト検索が実行されるように制御を行い、評価値取得部５ｂは、検索実行制御部５ａによる制御に伴い選択テスト用クエリごとに計算された第一テスト検索、第二テスト検索についての順位付けに係る評価値に基づき、第一評価値及び第二評価値を取得している。
　このように複数の選択テスト用クエリの個々についての第一テスト検索及び第二テスト検索を実行させ、それに応じて選択テスト用クエリごとに計算された第一評価値、第二評価値を取得することで、様々なテスト用クエリを用いた多面的な評価を行うことを可能としている。
　従って、新アルゴリズムの合否判定がより適正に行われるようにすることができる。
　さらに、第１の実施の形態の情報処理装置においては、評価値取得部５ｂは、選択テスト用クエリごとに計算された第一テスト検索についての順位付けに係る評価値を一つに統合した値を第一評価値として取得し、選択テスト用クエリごとに計算された第二テスト検索についての順位付けに係る評価値を一つに統合した値を第二評価値として取得している。
　これにより、選択テスト用クエリごとに得られた複数の評価値同士の相対的評価情報ではなく、統合した一つの評価値についての相対的評価情報が提示される。
　従って、相対的評価情報の把握が容易となり、新アルゴリズムについての合否判定が容易に行われるようにできる。
＜２．第２の実施の形態＞
　［2-1．評価システム及び制御装置の機能］

　続いて、第２の実施の形態について説明する。
　第２の実施の形態は、テスト用クエリの個々の重要度を表すクエリ重要度αに基づき、順位付け評価値Ｖｒの調整を行うものである。
　図９は、第２の実施の形態としての予備環境評価システム１’の概要構成を示したブロック図である。
　なお、以下の説明において、既に第１の実施の形態で説明した部分と同様となる部分については同一符号を付して説明を省略する。
　予備環境評価システム１’は、制御装置５に替えて制御装置５’が設けられた点が予備環境評価システム１と異なる。
　制御装置５’には、個々のテスト用クエリとクエリ重要度αとの対応関係を表す重要度対応情報５’ｄが記憶されている。
　図１０は、重要度対応情報５’ｄの説明図である。
　ここで、クエリには重要度がある。例えば、クエリが著名な商品名、書籍タイトル等である場合には、そのクエリの重要度は高いと言える。クエリ重要度αは、このようなクエリ自体がもつ重要度を表す指標である。クエリ重要度αは、例えばテスト用クエリごとに人手により求められる。
　また、クエリ重要度αは、そのクエリを用いた検索がどのような種別の商品を対象として行われるかにより異なる。換言すれば、クエリ重要度αは、新アルゴリズムを用いた検索がどのような種別の商品を販売するショッピングサイトにて行われる予定であるか（つまり新アルゴリズムをどのようなショッピングサイトでの検索に適用する予定であるか）により変更されるべきものである。
　例えば、クエリが「ワンピース」のように著名な書籍のタイトルと衣服の種類の名称の双方に該当するものであって、書籍のタイトルとしての重要度の方が高いものであった場合には、新アルゴリズムの適用先環境が書籍類を主に販売するショップピングサイトとされる場合とそれ以外の商品を主に扱うショッピングサイトとされる場合とでクエリ重要度αは変更すべきである。具体的に、この場合におけるクエリ重要度αは、適用先環境が書籍類を主に販売するショップピングサイトとされる場合の方が、それ以外の商品を主に販売するショッピングサイトとされる場合よりも高くされるべきである。
　この点に鑑み、本例における重要度対応情報５’ｄは、図９に示すようにテスト用クエリの個々に対し、新アルゴリズムの適用先環境として想定され得るショッピングサイトの別に応じた複数のクエリ重要度αが対応づけられた情報とされている。
　具体的に、本例の重要度対応情報５’ｄにおいては、テスト用クエリの個々に対し、一般商品ショッピングサイト、書籍類ショッピングサイト、旅行商品ショッピングサイトの別に応じた複数のクエリ重要度αが対応づけられている。
　一般商品ショッピングサイトは、例えば食品、飲料、日用雑貨、家具、電子機器等の一般商品を主に販売するショッピングサイトであり、書籍類ショッピングサイトは、紙媒体による書籍、電子書籍、音楽や映像等のコンテンツを収録したパッケージメディア等を主に販売するショッピングサイトである。また、旅行商品ショッピングサイトは、ホテルや旅館等での宿泊サービスを受けるための宿泊サービス商品、電車、バス、飛行機等の各種交通機関サービスを利用するための交通機関チケット商品、宿泊サービス商品や交通機関チケット商品がパックとなったパック旅行商品等を主に販売するショッピングサイトである。
　図１１は、制御装置５’が有する機能を機能ブロックとして示したブロック図である。
　先の図５と比較して分かるように、制御装置５’は、評価値取得部５ｂに替えて評価値取得部５ｂ’が設けられた点が制御装置５と異なる。
　評価値取得部５ｂ’は、順位付け評価値計算装置４，４で計算された順位付け評価値Ｖｒを、指示された適用先識別情報に基づいて重要度対応情報５’ｄから取得したクエリ重要度αに基づいて調整する。
　本例の場合、制御装置５’に対しては、テスト施行者等による操作入力により、比較テストの開始の指示と併せて新アルゴリズムの適用先環境の別を表す適用先識別情報の指示が為される。評価値取得部５ｂ’は、このように指示された適用先識別情報に基づき、重要度対応情報５’ｄにおいて第一予備環境検索装置３－１、第二予備環境検索装置３－２の検索で用いられたテスト用クエリと同一のテスト用クエリに対応づけられた複数のクエリ重要度αのうちから１つのクエリ重要度αを取得し、取得したクエリ重要度αに基づき順位付け評価値計算装置４，４で計算された順位付け評価値Ｖｒを調整する。
　評価値取得部５ｂ’は、このような重要度対応情報５’ｄからのクエリ重要度αの取得、及び取得したクエリ重要度αに基づく順位付け評価値Ｖｒの調整を、順位付け評価値計算装置４，４から順次受信されるテスト用クエリごとの順位付け評価値Ｖｒのそれぞれについて行う。
　この場合の調整は、順位付け評価値Ｖｒに対しクエリ重要度αを乗じることで行う。
　この場合の評価値取得部５ｂ’においては、現行アルゴリズム側、新アルゴリズム側のそれぞれで上記のクエリ重要度αによる調整を経た複数の評価値が得られる。評価値取得部５ｂ’は、このように現行アルゴリズム側で複数得られた調整後の評価値の統合評価値を第一評価値として取得し、新アルゴリズム側で複数得られた調整後の評価値の統合評価値を第二評価値として取得する。
　なお、この場合も統合評価値は、第１の実施の形態で例示したように例えば合計値や平均値等を計算する。
　評価値取得部５ｂ’で取得された第一評価値、第二評価値は、第１の実施の形態の場合と同様に、提示制御部５ｃにより相対的評価情報としてディスプレイ等に提示される。
　上記のような制御装置５’により、新アルゴリズムの適用先環境の別に応じて異なるクエリ重要度αを用いた新アルゴリズムの評価を行うことが可能となる。
　なお、新アルゴリズムの適用先環境の別に応じたクエリ重要度αを用いることは必須ではなく、重要度対応情報５’ｄとしては、テスト用クエリごとに一つのクエリ重要度αのみを対応づけた情報とすることもできる。この場合、評価値取得部５ｂ’においては、適用先識別情報に基づくクエリ重要度αを選択的に取得することは不要であり、重要度対応情報５’ｄにおけるクエリ重要度αのうち検索に用いたテスト用クエリと同一のテスト用クエリに対応づけられた１つのクエリ重要度αを取得し、取得したクエリ重要度αに基づき順位付け評価値Ｖｒの調整を行う。
　［2-2．処理手順］

　図１２は、上記により説明した制御装置５’の機能を実現するための具体的な処理手順を示したフローチャートである。
　なお、図１２に示す処理としても、例えばテスト施行者等による比較テストの開始を指示する操作入力が行われたことに応じて開始される。前述のように、第２の実施の形態の制御装置５’には、比較テストの開始の指示と併せて適用先識別情報の指示も行われる。
　また、図１２に示す処理は、先の図７と同様に現行アルゴリズム側、新アルゴリズム側の一方について実行される処理を示しており、制御装置５’は、図１２に示す処理を現行アルゴリズム側、新アルゴリズム側の双方について例えば並行して行う。
　図１２において、ステップＳ１０１～Ｓ１０６、及びステップＳ１０７，Ｓ１０８の各処理については、図７で説明した処理と同様となるため重複説明は避ける。
　制御装置５’は、ステップＳ１０６で順位付け評価値Ｖｒを取得したことに応じ、ステップＳ３０１でｉ番目のテスト用クエリに対応するクエリ重要度αに基づいて順位付け評価値Ｖｒを調整する。すなわち、本例においては、重要度対応情報５’ｄにおいてｉ番目のテスト用クエリと対応づけられている複数のクエリ重要度αのうちから、指示された適用先識別情報に基づく１つのクエリ重要度αを取得し、取得したクエリ重要度αに基づきステップＳ１０６で取得した順位付け評価値Ｖｒを調整する。
　制御装置５’は、ステップＳ３０１の調整処理を実行したことに応じ、ステップＳ１０７に処理を進める。これにより、ｎ個のテスト用クエリについてクエリ重要度αにより調整された順位付け評価値Ｖｒが取得される。
　ここで、先の説明からも理解されるように、制御装置５’の評価値取得部５ｂ’によっては、図１２の処理が現行アルゴリズム側、新アルゴリズム側について実行されることで現行アルゴリズム側、新アルゴリズム側のそれぞれで複数得られた評価値（クエリ重要度αによる調整後の評価値）に基づき、統合評価値としての第一評価値、第二評価値が取得される。また、制御装置５’の提示制御部５ｃによっては、このように得られた第一評価値と第二評価値とに基づく相対的評価情報の提示制御が行われる。
　これら評価値取得部５ｂ’及び提示制御部５ｃの機能を実現するための処理手順については、先の図８に示したものと同様となるため重複説明は避ける。
　［2-3．第２の実施の形態のまとめ＞

　上記のように第２の実施の形態の情報処理装置（制御装置５’）においては、評価値取得部５ｂ’は、テスト用クエリの個々の重要度を表すクエリ重要度αがテスト用クエリごとに対応づけられた重要度対応情報５’ｄに基づき、選択テスト用クエリに対応したクエリ重要度を取得し、取得したクエリ重要度に基づき、第一テスト検索、第二テスト検索について計算された順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて第一評価値、第二評価値を取得している。
　あまり重要でないクエリを用いた検索結果の評価値が高くてもその検索アルゴリズムの検索性能が高いとは言えない。このため、テスト検索に用いたクエリの重要度に応じて、第一評価値、第二評価値が調整されるようにしている。
　これにより、重要なクエリを用いたテスト検索の評価値が高くなり、重要でないクエリを用いたテスト検索の評価値が低くなるように調整することが可能となるため、テスト検索についての評価がより適切に行われるようにできる。
　この結果、新アルゴリズムの合否判定がテスト検索に用いたクエリの重要度を加味してより適正に行われるようにすることができる。
　また、第２の実施の形態の情報処理装置においては、重要度対応情報５’ｄは、テスト用クエリの個々に対し、第二検索アルゴリズムの適用先環境の別に応じた複数のクエリ重要度αが対応づけられており、評価値取得部５ｂ’は、重要度対応情報５’ｄにおいて選択テスト用クエリと同一のテスト用クエリに対応づけられている複数のクエリ重要度αのうち、指示された適用先識別情報に基づいて１つのクエリ重要度αを取得し、取得したクエリ重要度αに基づき第一テスト検索、第二テスト検索について計算された順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて第一評価値、第二評価値を取得している。
　検索アルゴリズムの適用先環境が異なれば、同じクエリであってもその環境に対する重要度が異なることが想定される。これに対応するため、適用先環境の別に応じて異なるクエリ重要度αを用いた新アルゴリズムの評価が可能となるようにしている。
　従って、新アルゴリズムの評価がより適正に行われるようにでき、新アルゴリズムについての合否判定が該新アルゴリズムの適用先環境を加味してより適切に行われるようにすることができる。
　＜３．プログラム及び記憶媒体＞

　以上、本発明に係る情報処理装置の実施の形態としての制御装置５，５’を説明してきたが、実施の形態のプログラムは、制御装置５，５’の処理を情報処理装置（ＣＰＵ等）に実行させるプログラムである。
　実施の形態のプログラムは、文字情報を含む複数のテスト用コンテンツデータを検索対象として第一検索アルゴリズムを用いて行われる第一テスト検索、及び複数のテスト用コンテンツデータを検索対象として第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御処理と、第一テスト検索、第二テスト検索のそれぞれにより得られた、検索ヒットしたテスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアＲが対応づけられている関連度対応情報とに基づいて計算された、第一テスト検索、第二テスト検索についての順位付けに係る評価値に基づいて、第一検索アルゴリズムについての第一評価値、第二検索アルゴリズムについての第二評価値を取得する評価値取得処理と、第一評価値と第二評価値とに基づき、第一検索アルゴリズムに対する第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御処理と、を情報処理装置に実行させる。
　すなわち、このプログラムは、情報処理装置（制御装置５，５’）に図７や図８で説明した処理を実行させるプログラムに相当する。
　このようなプログラムにより、上述した制御装置５，５’としての情報処理装置を実現できる。
　そして、このようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
　＜４．変形例＞

　本発明は上記により説明した具体例に限定されず、各種の変形例が考えられる。
　例えば上記では、本発明が商品ウェブページの検索を前提としたシステムに適用される場合を例示したが、本発明は、文字情報を含むコンテンツデータの検索を行うシステムに広く好適に適用できる。
　また、上記では、新アルゴリズムの適用先環境に応じたクエリ重要度αを、適用先環境ごとにクエリ重要度αを格納した重要度対応情報５’ｄを用いて行う場合を例示したが、本発明における重要度対応情報としては、テスト用クエリごとに基準となる１つのクエリ重要度αのみを対応づけておき、そのクエリ重要度αを指示された適用先環境情報に応じた係数により調整した上で、調整後のクエリ重要度αを順位付け評価値Ｖｒの調整に用いるようにしてもよい。
　また、予備環境評価用ＤＢ２としては、第一テスト検索、第二テスト検索に共通の１つのみを備えるようにすることもできる。
　さらに、第一テスト検索、第二テスト検索は、例えば時分割処理や並行処理などにより一つの装置によって行うこともでき、同様に、現行アルゴリズム側と新アルゴリズム側の順位付け評価値Ｖｒの計算についても時分割処理や並行処理などにより一つの装置によって行うこともできる。
　１，１’　予備環境評価システム、２　予備環境評価用ＤＢ、２ａ　関連度対応情報、３－１　第一予備環境検索装置、３－２　第二予備環境検索装置、４　順位付け評価値計算装置、５，５’　制御装置、５ａ　検索実行制御部、５ｂ，５ｂ’　評価値取得部、５ｃ　提示制御部、５’ｄ　重要度対応情報

Claims (8)

  1. 　文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理装置であって、
    　文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御部と、
    　前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得部と、
    　前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御部とを備える
    　情報処理装置。
  2. 　前記検索実行制御部は、
    　複数の前記選択テスト用クエリの個々についての前記第一テスト検索及び前記第二テスト検索が実行されるように制御を行い、
    　前記評価値取得部は、
    　前記検索実行制御部による前記制御に伴い前記選択テスト用クエリごとに計算された前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づき、前記第一評価値及び前記第二評価値を取得する
    　請求項１に記載の情報処理装置。
  3. 　前記評価値取得部は、
    　前記選択テスト用クエリごとに計算された前記第一テスト検索についての前記順位付けに係る評価値を一つに統合した値を前記第一評価値として取得し、前記選択テスト用クエリごとに計算された前記第二テスト検索についての前記順位付けに係る評価値を一つに統合した値を前記第二評価値として取得する
    　請求項２に記載の情報処理装置。
  4. 　前記評価値取得部は、
    　前記テスト用クエリの個々の重要度を表すクエリ重要度が前記テスト用クエリごとに対応づけられた重要度対応情報に基づき、前記選択テスト用クエリに対応した前記クエリ重要度を取得し、取得したクエリ重要度に基づき、前記第一テスト検索、前記第二テスト検索について計算された前記順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて前記第一評価値、前記第二評価値を取得する
    　請求項１に記載の情報処理装置。
  5. 　前記重要度対応情報は、
    　前記テスト用クエリの個々に対し、前記第二検索アルゴリズムの適用先環境の別に応じた複数の前記クエリ重要度が対応づけられており、
    　前記評価値取得部は、
    　前記重要度対応情報において前記選択テスト用クエリと同一のテスト用クエリに対応づけられている複数の前記クエリ重要度のうち、指示された適用先識別情報に基づいて１つの前記クエリ重要度を取得し、取得したクエリ重要度に基づき前記第一テスト検索、前記第二テスト検索について計算された前記順位付けに係る評価値をそれぞれ調整し、調整したそれぞれの評価値に基づいて前記第一評価値、前記第二評価値を取得する
    　請求項４に記載の情報処理装置。
  6. 　文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理方法であって、
    　文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御手順と、
    　前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得手順と、
    　前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御手順とを有する
    　情報処理方法。
  7. 　文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理装置に処理を実行させるプログラムであって、
    　文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御処理と、
    　前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得処理と、
    　前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御処理と
    　を前記情報処理装置に実行させる
    　プログラム。
  8. 　文字情報を含む複数のコンテンツデータのうちから入力されたクエリに関連するコンテンツデータを検索し、検索ヒットしたコンテンツデータをスコアリングして順位付けする検索アルゴリズムとして、本番環境にて使用中の前記検索アルゴリズムを第一検索アルゴリズム、前記本番環境における前記第一検索アルゴリズムとの比較テストに用いられる前記検索アルゴリズムを第二検索アルゴリズムとしたときに、前記本番環境とは異なる予備環境にて前記本番環境とは異なる評価指標に基づき行われる前記第一検索アルゴリズムと前記第二検索アルゴリズムとの比較テストに用いられる情報処理装置に処理を実行させるプログラムを記憶した記憶媒体であって、
    　文字情報を含む複数のテスト用コンテンツデータを検索対象として前記第一検索アルゴリズムを用いて行われる第一テスト検索、及び前記複数のテスト用コンテンツデータを検索対象として前記第二検索アルゴリズムを用いて行われる第二テスト検索として、予め選出された複数のテスト用クエリのうちから選択した同一の選択テスト用クエリについての検索をそれぞれ実行させる検索実行制御処理と、
    　前記第一テスト検索、前記第二テスト検索のそれぞれにより得られた、検索ヒットした前記テスト用コンテンツデータの順位情報と、テスト用クエリと該テスト用クエリに関連するテスト用コンテンツデータの組み合わせごとにテスト用コンテンツデータのテスト用クエリに対する関連度スコアが対応づけられている関連度対応情報とに基づいて計算された、前記第一テスト検索、前記第二テスト検索についての前記順位付けに係る評価値に基づいて、前記第一検索アルゴリズムについての第一評価値、前記第二検索アルゴリズムについての第二評価値を取得する評価値取得処理と、
    　前記第一評価値と前記第二評価値とに基づき、前記第一検索アルゴリズムに対する前記第二検索アルゴリズムの相対的評価情報が提示されるように制御を行う提示制御処理と
    　を前記情報処理装置に実行させるプログラムを記憶した
    　記憶媒体。
PCT/JP2014/060092 2014-04-07 2014-04-07 情報処理装置、情報処理方法、プログラム、記憶媒体 WO2015155820A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14888998.3A EP3131019A1 (en) 2014-04-07 2014-04-07 Information processing device, information processing method, program, and storage medium
US15/022,040 US10430475B2 (en) 2014-04-07 2014-04-07 Information processing device, information processing method, program and storage medium
PCT/JP2014/060092 WO2015155820A1 (ja) 2014-04-07 2014-04-07 情報処理装置、情報処理方法、プログラム、記憶媒体
JP2014536463A JP5639319B1 (ja) 2014-04-07 2014-04-07 情報処理装置、情報処理方法、プログラム、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/060092 WO2015155820A1 (ja) 2014-04-07 2014-04-07 情報処理装置、情報処理方法、プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
WO2015155820A1 true WO2015155820A1 (ja) 2015-10-15

Family

ID=52145691

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/060092 WO2015155820A1 (ja) 2014-04-07 2014-04-07 情報処理装置、情報処理方法、プログラム、記憶媒体

Country Status (4)

Country Link
US (1) US10430475B2 (ja)
EP (1) EP3131019A1 (ja)
JP (1) JP5639319B1 (ja)
WO (1) WO2015155820A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291607A (zh) * 2016-03-31 2017-10-24 高德信息技术有限公司 一种针对搜索引擎的评测方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3131019A1 (en) 2014-04-07 2017-02-15 Rakuten, Inc. Information processing device, information processing method, program, and storage medium
CN111339394B (zh) * 2020-02-19 2023-08-22 北京百度网讯科技有限公司 用于获取信息的方法及装置
CN111475409B (zh) * 2020-03-30 2023-06-30 深圳追一科技有限公司 系统测试方法、装置、电子设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271798A (ja) * 1994-03-30 1995-10-20 Nippon Telegr & Teleph Corp <Ntt> 情報検索手法評価方法及びその装置
JP2001084271A (ja) * 1999-09-16 2001-03-30 Canon Inc 情報検索装置及びそのアルゴリズム更新方法及びコンピュータ読み取り可能な記憶媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0212184D0 (en) * 2002-05-27 2002-07-03 Rontech Ltd Service assessment system
US7483877B2 (en) * 2003-04-11 2009-01-27 International Business Machines Corporation Dynamic comparison of search systems in a controlled environment
US7444327B2 (en) * 2004-01-09 2008-10-28 Microsoft Corporation System and method for automated optimization of search result relevance
US7761448B2 (en) * 2004-09-30 2010-07-20 Microsoft Corporation System and method for ranking search results using click distance
US20060212265A1 (en) * 2005-03-17 2006-09-21 International Business Machines Corporation Method and system for assessing quality of search engines
US7599917B2 (en) * 2005-08-15 2009-10-06 Microsoft Corporation Ranking search results using biased click distance
US20070094250A1 (en) * 2005-10-20 2007-04-26 Yahoo! Inc. Using matrix representations of search engine operations to make inferences about documents in a search engine corpus
US20070260601A1 (en) * 2006-05-08 2007-11-08 Thompson Henry S Distributed human improvement of search engine results
US20080027913A1 (en) * 2006-07-25 2008-01-31 Yahoo! Inc. System and method of information retrieval engine evaluation using human judgment input
US20090037402A1 (en) * 2007-07-31 2009-02-05 Rosie Jones System and method for predicting clickthrough rates and relevance
US20110004588A1 (en) * 2009-05-11 2011-01-06 iMedix Inc. Method for enhancing the performance of a medical search engine based on semantic analysis and user feedback
JP2012128802A (ja) 2010-12-17 2012-07-05 Kansai Electric Power Co Inc:The 検索アルゴリズム評価システム
EP3131019A1 (en) 2014-04-07 2017-02-15 Rakuten, Inc. Information processing device, information processing method, program, and storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271798A (ja) * 1994-03-30 1995-10-20 Nippon Telegr & Teleph Corp <Ntt> 情報検索手法評価方法及びその装置
JP2001084271A (ja) * 1999-09-16 2001-03-30 Canon Inc 情報検索装置及びそのアルゴリズム更新方法及びコンピュータ読み取り可能な記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3131019A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291607A (zh) * 2016-03-31 2017-10-24 高德信息技术有限公司 一种针对搜索引擎的评测方法及装置

Also Published As

Publication number Publication date
US20160232249A1 (en) 2016-08-11
US10430475B2 (en) 2019-10-01
JPWO2015155820A1 (ja) 2017-04-13
EP3131019A4 (en) 2017-02-15
JP5639319B1 (ja) 2014-12-10
EP3131019A1 (en) 2017-02-15

Similar Documents

Publication Publication Date Title
JP4962970B2 (ja) プロフィールを利用した商品情報提供サーバ、システム及び方法
JP5639319B1 (ja) 情報処理装置、情報処理方法、プログラム、記憶媒体
EP2784701A1 (en) Method and system for re-ranking search results in a product search engine
JP2009282600A5 (ja)
EP2755181B1 (en) Information processing device, information processing method, information processing program, and recording medium
WO2016016994A1 (ja) 情報処理装置、情報処理方法、プログラム、記憶媒体
JP5119085B2 (ja) 共同購入支援装置
JP2020064471A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2017173915A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5749876B1 (ja) 情報処理装置、情報処理方法、プログラム、記憶媒体
JP5293970B2 (ja) 商品推奨方法及び商品推奨システム
JP2009129393A (ja) サーバ装置、およびプログラム
JP5356485B2 (ja) コンテンツを媒介としたユーザ属性情報拡張装置、ユーザ属性情報拡張方法及びユーザ属性情報拡張システム
JP4937336B2 (ja) 検索連動スタンプサービス提供装置、方法及びプログラム
JP2009129066A (ja) 商品流通システム
JP5890079B1 (ja) 情報処理装置、情報処理方法、プログラム、記憶媒体
JP6027468B2 (ja) レコメンド情報取得装置、レコメンド情報取得方法、及びレコメンド情報提供システム
JP2015185098A (ja) 流通管理システム
JP5735191B1 (ja) 検索装置、検索方法、記録媒体、ならびに、プログラム
US11494391B2 (en) Methods and apparatus for automatically providing a ranking of items in response to a search request
JP6483734B2 (ja) 生成装置、生成方法及び生成プログラム
JP5506969B1 (ja) データ記録方法、データ検索方法、データ記録装置、およびデータ検索装置
US20100169978A1 (en) Content usage managing apparatus, content usage managing method and program
US20180060923A1 (en) Server device, processing method of server device, and program
JP5877584B2 (ja) 消費者の分析のための方法、サーバ装置、プログラムおよびシステム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014536463

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14888998

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15022040

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014888998

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE