WO2018028099A1 - 搜索质量评估方法及装置 - Google Patents

搜索质量评估方法及装置 Download PDF

Info

Publication number
WO2018028099A1
WO2018028099A1 PCT/CN2016/108422 CN2016108422W WO2018028099A1 WO 2018028099 A1 WO2018028099 A1 WO 2018028099A1 CN 2016108422 W CN2016108422 W CN 2016108422W WO 2018028099 A1 WO2018028099 A1 WO 2018028099A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
result
search result
sort
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/108422
Other languages
English (en)
French (fr)
Inventor
曹皓
张亮
齐志宏
贾晋康
覃安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of WO2018028099A1 publication Critical patent/WO2018028099A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Definitions

  • the embodiments of the present invention relate to the field of information search technologies, and in particular, to a search quality evaluation method and apparatus.
  • search engines can help people get the information they need from massive network data accurately and quickly. Optimize the sorting effect of search engines, let users quickly find the mission of the search engine. Therefore, how to quickly evaluate the search quality of search engines has become a hot research field and plays an important role in the research and development of search technology.
  • the quality of search engine results is reflected in the industry's so-called Relevance.
  • the narrow interpretation is: the degree to which the search results are related to the user's query.
  • offline evaluations commonly used in the industry include manual labeling calculation recall rate, recall accuracy rate, discounted Cumulative Gain (DCG), and normalized discounted Cumulative Gain (NDCG). Since these indicators are evaluated based on manual annotated data, subjective factors and data volume, the evaluation results are far from the actual online results, and the labor costs are high.
  • the embodiment of the invention provides a search quality evaluation method and device, which fully automates the entire evaluation process, thereby reducing the labor cost and the degree of manual interference, and improving the accuracy of the search quality evaluation.
  • an embodiment of the present invention provides a search quality evaluation method, including:
  • search quality evaluation database Constructing a search quality evaluation database based on user history search record data, the search quality evaluation database including at least one query keyword, corresponding at least one search result item, and user operation feature data for the search result item;
  • Sort result For each of the at least one query keyword, sorting the corresponding search result items in the search quality evaluation database to obtain a first sorting result and a second, respectively, based on the baseline search strategy and the search strategy to be evaluated Sort result
  • the embodiment of the present invention further provides a search quality evaluation apparatus, including:
  • An evaluation database construction module for constructing a search quality assessment database based on user history search record data, the search quality assessment database including at least one query keyword, corresponding at least one search result item, and user operation characteristics for the search result item data;
  • a sorting module configured to sort the corresponding search result items in the search quality evaluation database by using a baseline search strategy and a search strategy to be evaluated for each of the at least one query keyword Sorting result and second sorting result;
  • an evaluation module configured to evaluate a search quality of the search strategy to be evaluated based on the user historical operation feature data, the first sorting result, and the second sorting result.
  • an embodiment of the present invention further provides an apparatus, including: one or more processors; and a memory, where the memory is stored in the one or more Computer readable instructions executed by the processor, when the computer readable instructions are executed, the one or more processors perform a search quality assessment method as described above.
  • an embodiment of the present invention further provides a non-volatile computer storage medium storing computer readable instructions executable by a processor, wherein the computer readable instructions are executed by a processor
  • the processor executes the search quality evaluation method as described above.
  • the embodiment of the present invention constructs a search quality evaluation database including at least one query keyword, corresponding at least one search result item, and user operation feature data for the search result item, based on the user history search record data, and for the at least one Querying each query keyword in the keyword, and ranking the corresponding search result items in the search quality evaluation database to obtain a first sorting result and a second sorting result, respectively, based on the baseline search strategy and the search strategy to be evaluated, based on the The user history operation feature data, the first sort result, and the second sort result evaluate the search quality of the search strategy to be evaluated, so that the entire evaluation process is completely automated to reduce the labor cost and the degree of manual interference, and Improve the accuracy of search quality assessment.
  • Embodiment 1 is a flowchart of a search quality evaluation method in Embodiment 1 of the present invention.
  • Embodiment 2 is a flowchart of a search quality evaluation method in Embodiment 2 of the present invention.
  • Embodiment 3 is a flowchart of a search quality evaluation method in Embodiment 3 of the present invention.
  • Embodiment 4 is a flowchart of a search quality evaluation method in Embodiment 4 of the present invention.
  • FIG. 5 is a structural diagram of a search quality evaluation apparatus according to Embodiment 5 of the present invention.
  • FIG. 1 is a flowchart of a search quality evaluation method according to Embodiment 1 of the present invention.
  • the present embodiment is applicable to a method for evaluating a search quality of an evaluation search strategy when developing a search engine, and the method may be implemented by the embodiment of the present invention.
  • the device Provided by the provided search quality evaluation device, the device can be integrated into a fixed terminal (for example, a desktop computer or a notebook computer) or a server, as shown in FIG.
  • S101 Construct a search quality evaluation database based on user history search record data, where the search quality evaluation database includes at least one query keyword, corresponding at least one search result item, and user operation feature data for the search result item.
  • the user history search record data includes but is not limited to a user click log.
  • the user click log records the click status of the search result item for each query keyword, including but not limited to the number of clicks.
  • the user operation feature data includes, but is not limited to, user click data (eg, number of clicks) for the search result item.
  • the search result item may be, but is not limited to, any one of the following: a connection address URL extracted from a webpage, a browsing webpage, or other webpage features extracted from a webpage.
  • the crawling worm technology may be used to extract a webpage from the Internet, and based on the user history search behavior, obtain a historical click log of the extracted webpage by the user, and randomly select a preset traffic (for example, 2%) from the user click log. And the user operation feature data of the search result item included in the webpage corresponding to the query keyword is recalled, and the feature information of the search result item is extracted based on the webpage.
  • a search quality evaluation database is constructed based on the correspondence between the extracted query keywords, the search result items, the feature information of the search result items, and the user operation feature data.
  • the feature information of the search result item may be obtained by machine learning in advance as one of reference factors when the search result item is sorted.
  • the baseline search strategy is an existing online running search strategy
  • the to-be-evaluated search strategy is a search strategy to be evaluated based on an existing online running search strategy.
  • searching is performed in a search engine based on each of the at least one query keyword, and search result items and search result items corresponding to each query keyword are obtained from the search quality evaluation database.
  • Feature information and then sorting the search result items based on the feature information of the search result item and the baseline search strategy to obtain a first sort result, and based on the feature information of the search result item and the search result item to be searched Sorting results in a second sorting result.
  • the search quality of the search strategy to be evaluated is evaluated based on the user history operation feature data, the first sort result, and the second sort result.
  • the search quality of the to-be-evaluated search strategy is not improved.
  • the search quality of the to-be-evaluated search strategy is further evaluated according to the user historical operation feature data.
  • the present embodiment constructs a search quality evaluation database including at least one query keyword, corresponding at least one search result item, and user operation feature data for the search result item, based on the user history search record data, and for the at least one query
  • Each query keyword in the keyword based on the baseline search strategy and the search strategy to be evaluated, respectively sorting the corresponding search result items in the search quality evaluation database to obtain a first sort result and a second sort result, based on the User history operation feature data, the first sort result, and the second sort result evaluate the search quality of the search strategy to be evaluated, so that the entire evaluation process is completely automated, thereby reducing labor cost and artificial interference, and improving Search quality assessment accuracy.
  • constructing a search quality evaluation database based on user history search record data includes:
  • the at least one query keyword, the corresponding search result item, and the user operation feature data of the search result item are used as the search quality evaluation data.
  • the user history search record data includes, but is not limited to, a user click log, and the user operation feature data includes, but is not limited to, user history click data.
  • the user browsing behavior is extracted to construct a search quality evaluation database. For example, randomly selecting a query keyword of 2% traffic, filtering out a user click log corresponding to the query keyword, recalling at least one search result item under each query keyword and user operation feature data of the search result item, The query keyword and its corresponding search result item, and the user operation feature data of the search result item are used as a search quality evaluation database.
  • the method further includes:
  • the search result item is subjected to a screening process based on a predetermined search result item screening policy, wherein the search result item screening policy is associated with user operation feature data.
  • the predetermined search result item screening policy is preferably a recall strategy.
  • the historical click data of the position difference search result pair is statistically obtained.
  • the recalling strategy includes but is not limited to at least one of the following: (1) when only the first item is clicked, u1>u2, u1>u3 is recalled; (2) the nth is a bit, and the n+1th is not.
  • At least one search result item corresponding to the query keyword is obtained, and the click behavior and the click count of each search result item are sequentially counted.
  • the above url has not been clicked, how many times it has been clicked, and so on.
  • a position difference search result pair is constructed based on the number of clicks of each of the search result items described above. For example, if the search result item 1 is clicked 10 times and the search result item 2 is clicked 20 times, the constructed position difference search result pair is: the search result item 2 is clicked 10 times more than the search result item 1.
  • the final constructed search quality assessment database is shown in Table 1 below:
  • the corresponding search result items in the search quality evaluation database are respectively sorted based on the baseline search strategy and the search strategy to be evaluated.
  • the first sort result and the second sort result are obtained:
  • the evaluation of the search quality of the search strategy to be evaluated based on the user history operation feature data, the first sort result, and the second sort result includes:
  • the search result items at all the same sort positions are the same in the first sort result and the second sort result, it is determined that the search quality of the search strategy to be evaluated is not improved. If there is a difference in the corresponding search result items in the at least one same sorting position in the first sorting result and the second sorting result, the different search result items in the sorting position are grouped into the position difference search result pair, And searching the to-be-evaluated search strategy based on the location difference search result pair and the corresponding user operation feature data.
  • the search result item 1 and the The search result item 2 constitutes a position difference search result pair, and separately counts the user's historical click behaviors of the search result item 1 and the search result item 2, and if the search result item 1 has more historical click behavior than the search result item 2, the description
  • the search quality of the search strategy to be evaluated is improved, otherwise the search quality of the search strategy to be evaluated is not improved.
  • the evaluating the to-be-evaluated search strategy based on the difference search result pair and the corresponding user operation feature data includes:
  • the search strategy to be evaluated is evaluated based on the counted click results.
  • One implementation manner of this embodiment is that, in the statistical simulation search environment, the number of clicks of each search result in each location difference search result pair is under the same sorting position, such as If the number of clicks of the search result item in the first sort result is less than the click count of the search result item in the second sort result, the search quality of the search strategy to be evaluated is improved, otherwise The search quality of the search strategy to be evaluated has not improved.
  • Another implementation manner of this embodiment is: counting the number of times the search result item in the first sort result is clicked is more than the total number of times of clicking the search result item in the second sort result; the statistics click on the first sort result.
  • the number of search result items is less than the total number of times the number of search result items in the second sort result is clicked; the number of times the search result item in the first sort result is counted is equal to the search result item in the second sort result
  • the total number of times S The evaluation coefficients of the search strategy to be evaluated are calculated based on the counted times G, B, and S.
  • the total number of times G, the total number of times S, and the total number of times B of the same position difference search result under all the query keywords are respectively added, based on the total number of times G after the addition.
  • the total number of times S after the summation and the total number of times B after the addition are obtained by the evaluation coefficient P, and the search quality of the search strategy to be evaluated is evaluated based on the obtained evaluation coefficient P.
  • the total number of times G, the total number of times S, and the total number of times B of the position difference search results on all sorting positions are respectively added, based on the total number of times after the summation G.
  • the total number of times S after the summation and the total number of times B after the summation are obtained by the evaluation coefficient P, and the search quality of the search strategy to be evaluated is evaluated based on the obtained evaluation coefficient P.
  • the user history clicks of one of the search result items in the position difference search result are more than, less than, and equal to another search result item.
  • the method further includes:
  • the search result item 1 is located in the second sorting position in the first sorting result
  • the search result item 2 is located in the second sorting position in the second sorting result
  • awin, bwin, and sum are 50, 150, and 200, respectively
  • the generated random numbers are 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, then according to the click probability of 12.5% and The random probability is grouped by a click probability of 37.5%. Since the ratio of 12.5% to 37.5% is 1:3, 1, 2, and 3 are classified as the corresponding random numbers of the search result item 1, 4, 5, 6, and 7.
  • the search result item 2 is classified as the corresponding random number of the search result item 2, and then randomly extracts a random number from the set of random numbers 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, if The random number is the corresponding random number of the search result item 1, and the click result is the search result item in the first sort result of the click, that is, the search result item 1, if the random number is the corresponding one of the search result item 2 If the number of machines is clicked, the search result item in the second sort result of the click is the search result item 2. Finally, the total number of clicks of the first sorting result and the second sorting result is counted, and the search quality of the search strategy to be evaluated is evaluated according to the total number of clicks. For example, if the total number of clicks of the second sorting result is greater than the first sorting result, it is determined that the search quality of the search strategy to be evaluated is improved, otherwise it is not improved.
  • the above embodiment constructs a search quality evaluation database including at least one query keyword, corresponding at least one search result item, and user operation feature data for the search result item, based on user history search record data, and for the at least one query
  • Each query keyword in the keyword based on the baseline search strategy and the search strategy to be evaluated, respectively sorting the corresponding search result items in the search quality evaluation database to obtain a first sort result and a second sort result, based on the User history operation feature data, the first sort result, and the second sort result evaluate the search quality of the search strategy to be evaluated, so that the entire evaluation process is completely automated, thereby reducing labor cost and artificial interference, and improving Search quality assessment accuracy.
  • the search quality evaluation database is constructed based on user history search record data, preferably from a user history search record. Extracting the at least one query keyword from the data; extracting, from the user history search record data, user operation feature data of the search result item corresponding to the extracted query keyword; and the at least one query keyword, the corresponding search The result item and the user operation feature data of the search result item are used as the search quality evaluation data.
  • the method further preferably: filtering the search result based on the predetermined search result item
  • the item performs a filtering process in which the search result item screening policy is associated with user operation feature data. As shown in picture 2, Specifically include:
  • the user history search record data includes, but is not limited to, a user click log, and the user operation feature data includes, but is not limited to, user history click data.
  • S202 Perform a screening process on the search result item based on a predetermined search result item screening policy, and use the at least one query keyword, the corresponding search result item, and the user operation feature data of the search result item as the search. Quality assessment data.
  • the search result item screening policy is associated with user operation feature data.
  • the search quality of the search strategy to be evaluated is evaluated based on the user history operation feature data, the first sort result, and the second sort result.
  • the embodiment constructs a search quality evaluation database based on the user history search record data, and sorts the corresponding search result items in the search quality evaluation database respectively based on the search quality evaluation database, the baseline search strategy, and the search strategy to be evaluated. Obtaining a first sorting result and a second sorting result, and evaluating a search quality of the to-be-evaluated search strategy based on the user historical operation feature data, the first sorting result, and the second sorting result, so that the entire evaluation is performed
  • the process is fully automated to reduce labor costs and manual interference, and to improve search quality assessment accuracy.
  • FIG. 3 is a flowchart of a search quality evaluation method according to Embodiment 3 of the present invention.
  • this embodiment will be directed to each of the at least one query keyword.
  • Query keywords based on the baseline search strategy and the search strategy to be evaluated, respectively sorting the corresponding search result items in the search quality evaluation database to obtain the first sort result and the second sort result are preferably: for the at least one query
  • Each query keyword in the keyword extracts a page feature corresponding to the search result item; and obtains a baseline policy feature and a policy feature to be evaluated from the extracted page feature; based on the baseline policy feature and the to-be-evaluated policy feature and corresponding
  • the baseline policy model and the policy model to be evaluated, the search result items are sorted to obtain the first sort result and the second sort result.
  • the specific includes:
  • S301 Construct a search quality evaluation database based on user history search record data, where the search quality evaluation database includes at least one query keyword, corresponding at least one search result item, and user operation feature data for the search result item.
  • the search quality of the search strategy to be evaluated is evaluated based on the user history operation feature data, the first sort result, and the second sort result.
  • the page feature corresponding to the search result item is extracted, and the baseline policy feature and the to-be-evaluated strategy are obtained from the extracted page feature.
  • Embodiment 4 is a flowchart of a search quality evaluation method according to Embodiment 4 of the present invention. Based on the foregoing embodiment, this embodiment is based on the user history operation feature data, the first sort result, and the The second ranking result is used to evaluate the search quality of the search strategy to be evaluated, and preferably, based on the first sorting result and the second sorting result, determining that there is a sorting position in which the same sorting position corresponds to different search result item situations; The different search result items in the sorting position constitute a position difference search result pair; and the search evaluation strategy to be evaluated is evaluated based on the position difference search result pair and the corresponding user operation feature data.
  • the evaluation of the to-be-evaluated search strategy based on the difference search result pair and the corresponding user operation feature data is preferably: determining a simulated search based on each location difference search result pair and corresponding user operation feature data.
  • the search strategy to be evaluated is evaluated. As shown in FIG. 4, the specific includes:
  • S401 Construct a search quality evaluation database based on user history search record data, where the search quality evaluation database includes at least one query keyword, corresponding at least one search result item, and user operation feature data for the search result item.
  • the total number of user history clicks of one of the search result items in the position difference search result is more than, less than, and equal to the user history click count of another search result item.
  • the number of awin, bwin, and sum calculating a probability of clicking the search result in the first sort result and a probability of clicking the search result in the second sort result based on the awin, bwin, and sum; The probability of the search result in the result and the probability of clicking the search result in the second sort result, using the random number generation method to determine the search result of the position difference in the search result pair in each click in the simulated search environment .
  • the search strategy to be evaluated is evaluated based on the calculated click result.
  • the number of times the search result item in the first sort result is clicked may be counted more than the total number of times the click result item in the second sort result is clicked; the number of times the search result item in the first sort result is counted is less The total number of times B of the number of search result items in the second sort result is clicked; the number of times the number of search result items in the first sort result is counted is equal to the total number of times S of the number of search result items in the second sort result.
  • the evaluation coefficients of the search strategy to be evaluated are calculated based on the counted times G, B, and S.
  • the search strategy to be evaluated is evaluated according to the evaluation coefficient.
  • the search result is simulated, and the click result of each search result in each location difference search result pair in the simulated search environment is counted.
  • the search strategy to be evaluated is evaluated based on the counted click results. Not only does the entire evaluation process be fully automated, it reduces labor and manual interference, and improves search quality assessment accuracy.
  • FIG. 5 is a schematic structural diagram of a search quality evaluation apparatus according to Embodiment 5 of the present invention.
  • the apparatus may be implemented by using software or hardware, and the apparatus may be integrated into a fixed terminal.
  • the server as shown in FIG. 5, the specific structure of the device is as follows: evaluation database construction module 51, ranking module 52, evaluation module 53;
  • the evaluation database construction module 51 is configured to construct a search quality evaluation database based on user history search record data, the search quality evaluation database including at least one query keyword, corresponding at least one search result item, and a user for the search result item Operational feature data;
  • the sorting module 52 is configured to sort, respectively, the corresponding search result items in the search quality evaluation database based on the baseline search strategy and the search strategy to be evaluated for each of the at least one query keyword. First sorting result and second sorting result;
  • the evaluation module 53 is configured to evaluate the search quality of the search strategy to be evaluated based on the user history operation feature data, the first sort result, and the second sort result.
  • the search quality evaluation apparatus described in this embodiment is used to perform the search quality evaluation method described in the above embodiments, and the technical principle and the generated technical effects are similar, and are not described herein again.
  • the evaluation database construction module 51 is specifically configured to: extract the at least one query keyword from the user history search record data; extract and extract the selected query key from the user history search record data.
  • the device further includes: a screening module 54;
  • the screening module 54 is configured to: after the user operation feature data of the search result item corresponding to the extracted query keyword is extracted from the user history search record data, the evaluation database construction module 51 filters the predetermined search result item based on the predetermined search result item. a policy of performing a screening process on the search result item, wherein the search result item screening policy is associated with user operation feature data.
  • the user history search record data includes a user click log
  • the user operation feature data includes user history click data
  • the sorting module 52 is specifically configured to: extract, for each query keyword in the at least one query keyword, a page feature corresponding to the search result item; from the extracted page feature, Obtaining a baseline strategy feature and a policy feature to be evaluated; sorting the search result items to obtain the first ranking result and based on the baseline policy feature and the to-be-evaluated policy feature and the corresponding baseline policy model and the to-be-evaluated policy model The second sorting result.
  • the evaluation module 53 includes: a location determining unit 531, a pairing unit 532, and an evaluation unit 533;
  • the location determining unit 531 is configured to determine, according to the first sorting result and the second sorting result, that there is a sorting position that the same sorting position corresponds to a different search result item situation;
  • the pairing unit 532 is configured to form different search result items on the sorting position into a position difference search result pair
  • the evaluation unit 533 is configured to evaluate the to-be-evaluated search strategy based on the location difference search result pair and the corresponding user operation feature data.
  • the evaluation unit 533 includes: hit determination sub-unit 5331, statistical sub-unit 5332 and evaluation sub-unit 5333;
  • the hit determination sub-unit 5331 is configured to determine, according to each location difference search result pair and the corresponding user operation feature data, a search result that is hit in the difference search result pair in each click in the simulated search environment;
  • the statistical sub-unit 5332 is configured to statistically calculate a click result of each search result in each location difference search result pair in the simulated search environment;
  • the evaluation sub-unit 5333 is configured to evaluate the to-be-evaluated search strategy based on the counted click results.
  • the statistical sub-unit 5332 is specifically used for counting clicks.
  • the number of search result items in the first sort result is more than the total number of times of clicking the search result item in the second sort result; the number of times the result of clicking the search result item in the first sort result is less than the click second sort result
  • the total number of times of the number of search result items in B; the number of times the number of search result items in the first sort result is counted is equal to the total number of times S of the number of search result items in the second sort result.
  • the statistics sub-unit 5332 is specifically configured to calculate an evaluation coefficient of the search strategy to be evaluated based on the counted times G, B, and S.
  • the hit determination sub-unit 5331 is specifically configured to separately count, according to the user operation feature data, the number of user history clicks of one of the search result items in the location difference search result pair is more or less than And a total number of occurrences awin, bwin, and sum that are equal to the number of user history clicks of another search result item; calculating a probability of clicking the search result in the first sort result based on the awin, bwin, and sum and clicking the first The probability of the search result in the second sorting result; determining the per-simulation in the simulated search environment by using the random number generating method based on the probability of clicking the search result in the first sorting result and the probability of clicking the search result in the second sorting result
  • the position difference is the result of the hit in the search result in the click.
  • the device further includes: a click determination module 55;
  • the click determining module 55 is configured to determine, according to each location difference search result pair and the corresponding user operation feature data, the hit difference determination result pair for each click in the simulated search environment. Before the search result hit in the middle, based on the preset position click probability, using the random number generation method, determining whether the position difference search result has a click behavior, and when the click behavior occurs, the search result is based on each position difference And corresponding user operation feature data, determining a search result that is hit in the position difference search result pair in each click in the simulated search environment.
  • the search quality evaluation apparatus described in the above embodiments is used to perform the search quality evaluation method described in the above embodiments, and the technical principle and the generated technical effects are similar, and are not described herein again.
  • the present invention also provides an apparatus comprising: one or more processors; and a memory having stored therein computer readable instructions executable by the one or more processors, When the readable instructions are executed, the one or more processors perform the search quality evaluation methods described in the above embodiments.
  • each block of the flowchart or block diagrams can represent a module, a program segment, or a portion of code that includes one or more logic for implementing the specified.
  • Functional executable instructions can also occur in a different order than that illustrated in the drawings. For example, two successively represented blocks may in fact be executed substantially in parallel, and they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts can be implemented in a dedicated hardware-based system that performs the specified function or operation. Or it can be implemented by a combination of dedicated hardware and computer instructions.
  • the present application further provides a non-volatile computer storage medium, which may be a non-volatile computer storage medium included in the device described in the above embodiments; It may be a non-volatile computer storage medium that exists alone and is not assembled into the terminal.
  • the above non-volatile computer storage medium stores one or more programs that, when executed by a device, cause the device to perform the search quality evaluation method described in the above embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种搜索质量评估方法及装置，所述方法包括：基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据（101）；针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果（102）；基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估（103）。整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。

Description

搜索质量评估方法及装置
相关申请的交叉引用
本申请要求于2016年8月9日提交的中国专利申请号为“201610645103.2”、发明名称为“搜索质量评估方法及装置”的中国专利申请的优先权，其全部内容作为整体并入本申请中。
技术领域
本发明实施例涉及信息搜索技术领域，尤其涉及一种搜索质量评估方法及装置。
背景技术
在当今互联网时代，网络上的信息量急速膨胀增长，用户想直接找到所需基本上是大海捞针；搜索引擎的出现，可以准确、快速地帮助人们从海量网络数据中获取所需信息。优化搜索引擎的排序效果，让用户快捷找到所需是搜索引擎的使命。因此如何快速对搜索引擎的搜索质量进行离线评估成为了一个热门研究领域，在搜索技术研发中扮演着重要角色。
搜索引擎结果的好坏与否，体现在业界所称的在相关性(Relevance)上。狭义的解释是：检索结果和用户查询的相关程度。目前，业界常用的离线评估有人工标注计算召回率、召回准确率、衡量搜索引擎质量指标(Discounted Cumulative Gain，DCG)、衡量排序质量的指标(Normalized Discounted Cumulative Gain，NDCG)等指标。由于这些指标都是基于人工标注数据来评价，受主观因素、数据量的影响，致使评价结果和线上实际效果相差甚远，且人工成本较高。
发明内容
本发明实施例提供一种搜索质量评估方法及装置，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
第一方面，本发明实施例提供了一种搜索质量评估方法，包括：
基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
第二方面，本发明实施例还提供了一种搜索质量评估装置，包括：
评估数据库构造模块，用于基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
排序模块，用于针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
评估模块，用于基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
第三方面，本发明实施例还提供了一种设备，该设备包括：一个或多个处理器；和存储器，所述存储器中存储有能够被所述一个或多个处 理器执行的计算机可读指令，在所述计算机可读指令被执行时，所述一个或多个处理器执行如上所述的搜索质量评估方法。
第四方面，本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有能够被处理器执行的计算机可读指令，当所述计算机可读指令被处理器执行时，所述处理器执行如上所述的搜索质量评估方法。
本发明实施例通过基于用户历史搜索记录数据构造包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据的搜索质量评估数据库，并针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
附图说明
图1是本发明实施例一中的一种搜索质量评估方法的流程图；
图2是本发明实施例二中的一种搜索质量评估方法的流程图；
图3是本发明实施例三中的一种搜索质量评估方法的流程图；
图4是本发明实施例四中的一种搜索质量评估方法的流程图；
图5是本发明实施例五中的一种搜索质量评估装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限 定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种搜索质量评估方法的流程图，本实施例可适用于在开发搜索引擎时对待评估搜索策略的搜索质量进行评估的情况，该方法可以由本发明实施例提供的搜索质量评估装置来执行，该装置可集成于固定终端(例如，台式电脑或笔记本电脑)或服务器中，如图1所示，具体包括：
S101、基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据。
其中，用户历史搜索记录数据包括但不限于用户点击日志。所述用户点击日志中记录了用户针对每个查询关键词下的搜索结果项的点击情况，包括但不限于点击次数。所述用户操作特征数据包括但不限于用户针对所述搜索结果项的点击数据(例如，点击次数)。所述搜索结果项可以为但不限于以下任意一种：从网页中提取的连接地址URL、浏览网页或从网页中提取的其它网页特征。
具体的，可采用爬虫技术从互联网上提取网页，并基于用户历史搜索行为，获取用户对提取的网页的历史点击日志，从所述用户点击日志中随机抽取预设流量(例如2％)的查询关键词，召回所述查询关键词对应的网页中包含的搜索结果项的用户操作特征数据，并基于网页提取搜索结果项的特征信息。基于抽取的查询关键词、搜索结果项、搜索结果项的特征信息和用户操作特征数据三者之间的对应关系，构造搜索质量评估数据库。其中，所述搜索结果项的特征信息可预先通过机器学习得到，作为所述搜索结果项排序时的参考因素之一。
S102、针对所述至少一个查询关键词中的每个查询关键词，基于基 线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果。
其中，所述基线搜索策略为现有的线上运行的搜索策略，所述待评估搜索策略为在现有的线上运行的搜索策略的基础上待评估搜索策略。
具体的，首先基于所述至少一个查询关键词中的每个查询关键词在搜索引擎中进行搜索，从所述搜索质量评估数据库中得到与每个查询关键词对应的搜索结果项和搜索结果项的特征信息，然后基于搜索结果项的特征信息和所述基线搜索策略对搜索结果项进行排序则得到第一排序结果，并基于搜索结果项的特征信息和所述待评估搜索策略对搜索结果项进行排序则得到第二排序结果。
S103、基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
具体的，当所述第一排序结果和所述第二排序结果一致时，则说明所述待评估搜索策略的搜索质量并没有得到提升。当所述第一排序结果和所述第二排序结果不一致时，则进一步根据所述用户历史操作特征数据对所述待评估搜索策略的搜索质量进行评估。
本实施例通过基于用户历史搜索记录数据构造包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据的搜索质量评估数据库，并针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
在上述实施例的基础上，基于用户历史搜索记录数据构造搜索质量评估数据库包括：
从用户历史搜索记录数据中抽取所述至少一个查询关键词；
从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；
将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
其中，所述用户历史搜索记录数据包括但不限于用户点击日志，所述用户操作特征数据包括但不限于用户历史点击数据。
具体的，通过挖掘用户历史搜索记录数据，从中抽取出用户浏览行为构造搜索质量评估数据库。例如，随机抽取2％流量的查询关键词，过滤出所述查询关键词对应的用户点击日志，召回每个查询关键词下的至少一个搜索结果项及搜索结果项的用户操作特征数据，将所述查询关键词及其对应的搜索结果项、及搜索结果项的用户操作特征数据作为搜索质量评估数据库。在进行搜索质量评估时，首先基于查询关键词在搜索引擎中进行搜索，并从所述搜索质量评估数据库中得到与所述查询关键词对应的至少一个搜索结果项，然后基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果。
在上述实施例的基础上，在从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，所述方法还包括：
基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。
其中，所述预定的搜索结果项筛选策略优选为召回策略。
具体的，以所述用户操作特征数据为用户历史点击数据为例对本实 施例进行说明。在用户历史搜索记录数据中抽取预设比例(例如2％)的查询关键词，获取用户点击日志，例如，在所述点击日志中记录了用户历史点击行为如下所示：
查询关键词query-搜索结果项url-是否有点
query-url1-click
query-url2-no_click
query-url3-click
query-url4-click
query-url5-no_click
query-url6-no_click
根据上述记录的用户点击行为和召回策略，统计得到位置差异搜索结果对的历史点击数据。其中，所述召回策略包括但不限于以下至少一种：(1)仅点击第一条时，召回u1>u2，u1>u3；(2)第n条有点，第n+1条没点时，召回un>un+1；(3)点击比跳过好，第n条有点，第n-1条没点时，召回1条un>un-1；第n条有点，第n+1条没点，第n+2条有点，召回1条un+2>un+1；(4)连续点击或跳过为打平，第n条有点，第n-1条没点，第n-2条没点，召回un-2＝un+1，第n条有点，第n+1条没点，第n+2条没点，召回un＝un+1,un+1＝un+2。根据上述召回策略得到查询关键词对应的至少一个搜索结果项，依次对每个搜索结果项的点击行为及点击次数进行统计。例如，上述url有没有被点击，被点击了多少次等。根据上述各搜索结果项的点击次数构造位置差异搜索结果对。例如，搜索结果项1被点击10次，搜索结果项2被点击20次，则构造的位置差异搜索结果对为：搜索结果项2比搜索结果项1多点击10次。
或者，构造位置差异搜索结果对，针对所述每一个位置差异搜索结果对中，分别统计其中一个搜索结果项的多于另一个搜索结果项的用户 历史点击次数的情况出现的总次数awin；统计其中一个搜索结果项的少于另一个搜索结果项的用户历史点击次数的情况出现的总次数bwin；统计其中一个搜索结果项的等于另一个搜索结果项的用户历史点击次数的情况出现的总次数sum。
例如，最终构造的搜索质量评估数据库如下表一所示：
表一
查询关键词 位置差异搜索结果对 [awin bwin sum]
查询关键词1 搜索结果项1-搜索结果项2 [0 0 1]
查询关键词1 搜索结果项2-搜索结果项3 [1 0 0]
查询关键词1 搜索结果项3-搜索结果项4 [0 1 0]
查询关键词1 搜索结果项4-搜索结果项5 [0 0 1]
…… …… ……
在上述实施例的基础上，针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果包括：
针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；
从所提取的页面特征中，获取基线策略特征和待评估策略特征；
基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
在上述实施例的基础上，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估包括：
基于所述第一排序结果和第二排序结果，确定出存在同一排序位置 对应不同搜索结果项情形的排序位置；
将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；
基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
具体的，若在所述第一排序结果和所述第二排序结果中，所有相同排序位置处的搜索结果项均相同，则确定所述待评估搜索策略的搜索质量没有得到提升。若在所述第一排序结果和所述第二排序结果中，存在至少一个相同排序位置中对应的搜索结果项不同，则将所述排序位置上的不同搜索结果项组成位置差异搜索结果对，基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
例如，如果所述第一排序结果中的某一排序位置处为搜索结果项1，所述第二排序结果中同一排序位置处为搜索结果项2，则将所述搜索结果项1和所述搜索结果项2组成位置差异搜索结果对，分别统计用户对所述搜索结果项1和搜索结果项2历史点击行为，如果搜索结果项1的历史点击行为多于搜索结果项2，则说明所述待评估搜索策略的搜索质量得到提升，否则说明所述待评估搜索策略的搜索质量没有得到提升。
在上述实施例的基础上，基于所述差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估包括：
基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；
统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；
基于所统计的点击结果，对所述待评估搜索策略进行评估。
本实施例的其中的一种实现方式为，统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击次数，在相同排序位置下，如 果所述第一排序结果中的搜索结果项的点击次数少于所述第二排序结果中的搜索结果项的点击次数，则说明所述待评估搜索策略的搜索质量得到提升，否则说明所述待评估搜索策略的搜索质量没有提升。
本实施例的另一种实现方式为，统计点击第一排序结果中的搜索结果项的次数多于点击第二排序结果中的搜索结果项的次数的总次数G；统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。
具体的，可通过公式P＝0.5*(G-B)/(G+S+B)计算得到评估系数P，如果P为正数，则说明所述待评估搜索策略的搜索质量有所提升，否则没有提升。
当所述查询关键词为多个时，将所有查询关键词下同一位置差异搜索结果对下的总次数G、总次数S和总次数B分别进行加和，基于加和后的总次数G、加和后的总次数S和加和后的总次数B得到评估系数P，基于得到的评估系数P对所述待评估搜索策略的搜索质量进行评估。
当包含不同搜索结果项的排序位置为多个时，将所有排序位置上的位置差异搜索结果对下的总次数G、总次数S和总次数B分别进行加和，基于加和后的总次数G、加和后的总次数S和加和后的总次数B得到评估系数P，基于得到的评估系数P对所述待评估搜索策略的搜索质量进行评估。
在上述实施例的基础上，若在基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果包括：
基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项 的用户历史点击次数的情况出现的总次数awin、bwin和sum；
基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；
基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
在上述实施例的基础上，在基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果之前，所述方法还包括：
基于预设位置点击概率，利用随机数生成方法，确定所述位置差异搜索结果对是否发生点击行为，以及在发生点击行为时，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
具体的，如果在第一排序结果中位于第二排序位置的为搜索结果项1，在第二排序结果中位于第二排序位置的为搜索结果项2，则基于搜索结果项1和搜索结果项2构成位置差异搜索结果对，基于上述搜索质量评估数据分别统计该位置差异搜索结果对的awin、bwin和sum。假如，awin、bwin和sum分别为50、150和200，则得到搜索结果项1的点击概率为50/(50+150+200)＝12.5％，搜索结果项2的点击概率为150/(50+150+200)＝37.5％，则生成一组随机数，假如，生成的随机数为1,2,3,4,5,6,7,8,9,10；则根据点击概率12.5％和点击概率37.5％对随机数进行分组，由于12.5％与37.5％的比值为1:3，则将1,2,3归为搜索结果项1的对应的随机数，4,5,6,7,8,9,10归为搜索结果项2的对应的随机数，然后随机从该组随机数1,2,3,4,5,6,7,8,9,10中抽取一个随机数，如果该随机数为搜索结果项1的对应的随机数，则点击结果为点击的第一排序结果中的搜索结果项即搜索结果项1，如果该随机数为搜索结果项2的对应的随 机数，则点击结果为点击的第二排序结果中的搜索结果项即搜索结果项2。最后统计第一排序结果和第二排序结果的点击总数，根据点击总数对所述待评估搜索策略的搜索质量进行评估。例如，如果第二排序结果的点击总数多于第一排序结果，则确定所述待评估搜索策略的搜索质量有所提升，否则没有得到提升。
上述实施例通过基于用户历史搜索记录数据构造包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据的搜索质量评估数据库，并针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
实施例二
图2为本发明实施例二提供的一种搜索质量评估方法的流程图，本实施例在上述实施例的基础上，基于用户历史搜索记录数据构造搜索质量评估数据库优选为，从用户历史搜索记录数据中抽取所述至少一个查询关键词；从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。在从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，所述方法还优选包括：基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。如图2所示， 具体包括：
S201、从用户历史搜索记录数据中抽取所述至少一个查询关键词，并提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据。
其中，所述用户历史搜索记录数据包括但不限于用户点击日志，所述用户操作特征数据包括但不限于用户历史点击数据。
S202、基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
其中，所述搜索结果项筛选策略与用户操作特征数据相关联。
S203、针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果。
S204、基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
关于本实施例的各步骤的详细描述参见上述实施例，这里不再赘述。
本实施例通过基于用户历史搜索记录数据构造搜索质量评估数据库，并基于所述搜索质量评估数据库、基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果，并基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
实施例三
图3为本发明实施例三提供的一种搜索质量评估方法的流程图，本实施例在上述实施例的基础上，将针对所述至少一个查询关键词中的每 个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果优选为：针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；从所提取的页面特征中，获取基线策略特征和待评估策略特征；基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。如图3所示，具体包括：
S301、基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据。
S302、针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征，从所提取的页面特征中，获取基线策略特征和待评估策略特征。
S303、基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
S304、基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
本实施例基于所述搜索质量评估数据库针对至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征，并从所提取的页面特征中，获取基线策略特征和待评估策略特征，并基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
实施例四
图4为本发明实施例四提供的一种搜索质量评估方法的流程图，本实施例在上述实施例的基础上，将基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，优选为基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置；将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。进一步的，将基于所述差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估优选为：基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；基于所统计的点击结果，对所述待评估搜索策略进行评估。如图4所示，具体包括：
S401、基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据。
S402、针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果。
S403、基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置，将所述排序位置上的不同搜索结果项组成位置差异搜索结果对。
S404、基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果。
具体的，基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin、bwin和sum；基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
S405、统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果。
S406、基于所统计的点击结果，对所述待评估搜索策略进行评估。
具体的，可统计点击第一排序结果中的搜索结果项的次数多于点击第二排序结果中的搜索结果项的次数的总次数G；统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。根据所述评估系数对所述待评估搜索策略进行评估。
本实施例通过模拟搜索环境，并统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果。基于所统计的点击结果，对所述待评估搜索策略进行评估。不仅使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并且提高了搜索质量评估准确度。
实施例五
图5所示为本发明实施例五提供的一种搜索质量评估装置的结构示意图，该装置可采用软件或硬件的方式实现，该装置可集成于固定终端 或服务器中，如图5所示，该装置的具体结构如下：评估数据库构造模块51、排序模块52、评估模块53；
所述评估数据库构造模块51用于基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
所述排序模块52用于针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
所述评估模块53用于基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
本实施例所述的搜索质量评估装置用于执行上述各实施例所述的搜索质量评估方法，其技术原理和产生的技术效果类似，这里不再赘述。
在上述实施例的基础上，所述评估数据库构造模块51具体用于，从用户历史搜索记录数据中抽取所述至少一个查询关键词；从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
在上述实施例的基础上，所述装置还包括：筛选模块54；
所述筛选模块54用于在所述评估数据库构造模块51从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。
在上述实施例的基础上，所述用户历史搜索记录数据包括用户点击日志，以及所述用户操作特征数据包括用户历史点击数据。
在上述实施例的基础上，所述排序模块52具体用于，针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；从所提取的页面特征中，获取基线策略特征和待评估策略特征；基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
在上述实施例的基础上，所述评估模块53包括：位置确定单元531、配对单元532和评估单元533；
所述位置确定单元531用于基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置；
所述配对单元532用于将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；
所述评估单元533用于基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
在上述实施例的基础上，所述评估单元533包括：击中确定子单元5331、统计子单元5332和评估子单元5333；
所述击中确定子单元5331用于基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；
所述统计子单元5332用于统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；
所述评估子单元5333用于基于所统计的点击结果，对所述待评估搜索策略进行评估。
在上述实施例的基础上，所述统计子单元5332具体用于，统计点击 第一排序结果中的搜索结果项的次数多于点击第二排序结果中的搜索结果项的次数的总次数G；统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。
在上述实施例的基础上，所述统计子单元5332具体用于，基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。
在上述实施例的基础上，所述击中确定子单元5331具体用于，基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin、bwin和sum；基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
在上述实施例的基础上，所述装置还包括：点击确定模块55；
所述点击确定模块55用于在所述击中确定子单元5331基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果之前，基于预设位置点击概率，利用随机数生成方法，确定所述位置差异搜索结果对是否发生点击行为，以及在发生点击行为时，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
上述各实施例所述搜索质量评估装置用于执行上述各实施例所述的搜索质量评估方法，其技术原理和产生的技术效果类似，这里不再赘述。
本发明还提供了一种设备，该设备包括：一个或多个处理器；和存储器，所述存储器中存储有能够被所述一个或多个处理器执行的计算机可读指令，在所述计算机可读指令被执行时，所述一个或多个处理器执行上述各实施例所述的搜索质量评估方法。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述设备中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备执行上述各实施例所述的搜索质量评估方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还 可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (24)

  1. 一种搜索质量评估方法，其特征在于，包括：
    基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
    针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
    基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
  2. 根据权利要求1所述的方法，其特征在于，基于用户历史搜索记录数据构造搜索质量评估数据库包括：
    从用户历史搜索记录数据中抽取所述至少一个查询关键词；
    从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；
    将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
  3. 根据权利要求2所述的方法，其特征在于，在从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，所述方法还包括：
    基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。
  4. 根据权利要求1-3中任一所述的方法，其特征在于，所述用户历史搜索记录数据包括用户点击日志，以及所述用户操作特征数据包括用户历史点击数据。
  5. 根据权利要求1所述的方法，其特征在于，针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果包括：
    针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；
    从所提取的页面特征中，获取基线策略特征和待评估策略特征；
    基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
  6. 根据权利要求1所述的方法，其特征在于，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估包括：
    基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置；
    将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；
    基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
  7. 根据权利要求6所述的方法，其特征在于，基于所述差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估包括：
    基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；
    统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；
    基于所统计的点击结果，对所述待评估搜索策略进行评估。
  8. 根据权利要求7所述的方法，其特征在于，统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果包括：
    统计点击第一排序结果中的搜索结果项的次数多于点击第二排序结果中的搜索结果项的次数的总次数G；
    统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；
    统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。
  9. 根据权利要求8所述的方法，其特征在于，基于所统计的点击结果，对所述待评估搜索策略进行评估包括：
    基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。
  10. 根据权利要求7所述的方法，其特征在于，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果包括：
    基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin、bwin和sum；
    基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；
    基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
  11. 根据权利要求7所述的方法，其特征在于，在基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果之前，所述方法 还包括：
    基于预设位置点击概率，利用随机数生成方法，确定所述位置差异搜索结果对是否发生点击行为，以及在发生点击行为时，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
  12. 一种搜索质量评估装置，其特征在于，包括：
    评估数据库构造模块，用于基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
    排序模块，用于针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
    评估模块，用于基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
  13. 根据权利要求12所述的装置，其特征在于，所述评估数据库构造模块具体用于，从用户历史搜索记录数据中抽取所述至少一个查询关键词；从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
  14. 根据权利要求13所述的装置，其特征在于，所述装置还包括：
    筛选模块，用于在所述评估数据库构造模块从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。
  15. 根据权利要求12-14中任一所述的装置，其特征在于，所述用户历史搜索记录数据包括用户点击日志，以及所述用户操作特征数据包括用户历史点击数据。
  16. 根据权利要求12所述的装置，其特征在于，所述排序模块具体用于，针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；从所提取的页面特征中，获取基线策略特征和待评估策略特征；基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
  17. 根据权利要求12所述的装置，其特征在于，所述评估模块包括：
    位置确定单元，用于基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置；
    配对单元，用于将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；
    评估单元，用于基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
  18. 根据权利要求17所述的装置，其特征在于，所述评估单元包括：
    击中确定子单元，用于基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；
    统计子单元，用于统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；
    评估子单元，用于基于所统计的点击结果，对所述待评估搜索策略进行评估。
  19. 根据权利要求18所述的装置，其特征在于，所述统计子单元具体用于，统计点击第一排序结果中的搜索结果项的次数多于点击第二排 序结果中的搜索结果项的次数的总次数G；统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。
  20. 根据权利要求19所述的装置，其特征在于，所述统计子单元具体用于，基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。
  21. 根据权利要求18所述的装置，其特征在于，所述击中确定子单元具体用于，基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin、bwin和sum；基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
  22. 根据权利要求18所述的装置，其特征在于，所述装置还包括：
    点击确定模块，用于在所述击中确定子单元基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果之前，基于预设位置点击概率，利用随机数生成方法，确定所述位置差异搜索结果对是否发生点击行为，以及在发生点击行为时，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
  23. 一种设备，包括：
    一个或多个处理器；和
    存储器，
    所述存储器中存储有能够被所述一个或多个处理器执行的计算机可读指令，在所述计算机可读指令被执行时，所述一个或多个处理器执行如权利要求1到11中任一所述的方法。
  24. 一种非易失性计算机存储介质，所述计算机存储介质存储有能够被处理器执行的计算机可读指令，当所述计算机可读指令被处理器执行时，所述处理器执行如权利要求1到11中任一所述的方法。
PCT/CN2016/108422 2016-08-09 2016-12-02 搜索质量评估方法及装置 Ceased WO2018028099A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610645103.2 2016-08-09
CN201610645103.2A CN107704467B (zh) 2016-08-09 2016-08-09 搜索质量评估方法及装置

Publications (1)

Publication Number Publication Date
WO2018028099A1 true WO2018028099A1 (zh) 2018-02-15

Family

ID=61161645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/108422 Ceased WO2018028099A1 (zh) 2016-08-09 2016-12-02 搜索质量评估方法及装置

Country Status (2)

Country Link
CN (1) CN107704467B (zh)
WO (1) WO2018028099A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543940A (zh) * 2018-10-12 2019-03-29 中国平安人寿保险股份有限公司 活动评估方法、装置、电子设备及存储介质
CN111367778A (zh) * 2020-03-13 2020-07-03 百度在线网络技术（北京）有限公司 评估搜索策略的数据分析方法和装置
CN113781146A (zh) * 2020-11-17 2021-12-10 北京沃东天骏信息技术有限公司 产品信息的推荐方法、装置、设备和存储介质
CN114461892A (zh) * 2022-02-18 2022-05-10 北京百度网讯科技有限公司 地点检索输入提示服务的评价方法、电子设备及程序产品

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897685B (zh) * 2018-06-28 2022-02-25 百度在线网络技术（北京）有限公司 搜索结果的质量评估方法、装置、服务器和介质
CN109582751B (zh) * 2018-11-29 2021-01-01 百度在线网络技术（北京）有限公司 一种检索效果的度量方法及服务器
CN110020209B (zh) * 2019-04-18 2022-03-22 北京奇艺世纪科技有限公司 内容和搜索词的相关性确定方法及系统、展示方法及系统
CN112115344B (zh) * 2019-06-20 2024-07-09 百度(中国)有限公司 搜索结果的自动评估方法、装置、系统及存储介质
CN110727865A (zh) * 2019-10-09 2020-01-24 北京百度网讯科技有限公司 检索策略的问题定位方法、装置、电子设备及存储介质
CN112784141B (zh) * 2019-10-23 2023-10-31 腾讯科技（深圳）有限公司 搜索结果质量确定方法、装置、存储介质和计算机设备
CN112115340A (zh) * 2020-09-14 2020-12-22 深圳市欢太科技有限公司 搜索策略的选择方法、移动终端以及可读存储介质
CN113626715A (zh) * 2021-08-26 2021-11-09 北京字跳网络技术有限公司 查询结果显示方法、装置、介质和电子设备
CN113849417B (zh) * 2021-11-08 2025-03-25 杭州网易云音乐科技有限公司 测试方法、介质、装置和计算设备
CN116257672A (zh) * 2021-12-09 2023-06-13 北京奇虎科技有限公司 数据查询方法、装置、设备及存储介质
CN116401457A (zh) * 2023-04-14 2023-07-07 政采云有限公司 一种搜索质量实时评估方法、装置、设备及存储介质
CN117093875B (zh) * 2023-08-22 2025-12-19 企查查科技股份有限公司 筛选项的搜索质量验证方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020143759A1 (en) * 2001-03-27 2002-10-03 Yu Allen Kai-Lang Computer searches with results prioritized using histories restricted by query context and user community
CN1963816A (zh) * 2006-12-01 2007-05-16 清华大学 一种搜索引擎性能评价的自动化处理方法
CN102760138A (zh) * 2011-04-26 2012-10-31 北京百度网讯科技有限公司 用户网络行为的分类方法和装置及对应的搜索方法和装置
US20140059062A1 (en) * 2012-08-24 2014-02-27 Google Inc. Incremental updating of query-to-resource mapping
CN103870607A (zh) * 2014-04-08 2014-06-18 北京奇虎科技有限公司 多搜索引擎搜索结果的排序方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627565B2 (en) * 2006-01-31 2009-12-01 Northwestern University Organizing context-sensitive search results
CN103593411A (zh) * 2013-10-23 2014-02-19 江苏大学 一种测试搜索引擎评价指标的综合性能的方法和测试装置
CN103544307B (zh) * 2013-11-04 2017-08-08 北京中搜云商网络技术有限公司 一种不依赖文档库的多搜索引擎自动化对比评测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020143759A1 (en) * 2001-03-27 2002-10-03 Yu Allen Kai-Lang Computer searches with results prioritized using histories restricted by query context and user community
CN1963816A (zh) * 2006-12-01 2007-05-16 清华大学 一种搜索引擎性能评价的自动化处理方法
CN102760138A (zh) * 2011-04-26 2012-10-31 北京百度网讯科技有限公司 用户网络行为的分类方法和装置及对应的搜索方法和装置
US20140059062A1 (en) * 2012-08-24 2014-02-27 Google Inc. Incremental updating of query-to-resource mapping
CN103870607A (zh) * 2014-04-08 2014-06-18 北京奇虎科技有限公司 多搜索引擎搜索结果的排序方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543940A (zh) * 2018-10-12 2019-03-29 中国平安人寿保险股份有限公司 活动评估方法、装置、电子设备及存储介质
CN109543940B (zh) * 2018-10-12 2024-04-09 中国平安人寿保险股份有限公司 活动评估方法、装置、电子设备及存储介质
CN111367778A (zh) * 2020-03-13 2020-07-03 百度在线网络技术（北京）有限公司 评估搜索策略的数据分析方法和装置
CN111367778B (zh) * 2020-03-13 2023-07-07 百度在线网络技术（北京）有限公司 评估搜索策略的数据分析方法和装置
CN113781146A (zh) * 2020-11-17 2021-12-10 北京沃东天骏信息技术有限公司 产品信息的推荐方法、装置、设备和存储介质
CN114461892A (zh) * 2022-02-18 2022-05-10 北京百度网讯科技有限公司 地点检索输入提示服务的评价方法、电子设备及程序产品

Also Published As

Publication number Publication date
CN107704467A (zh) 2018-02-16
CN107704467B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN107704467B (zh) 搜索质量评估方法及装置
CN111159564B (zh) 信息推荐方法、装置、存储介质及计算机设备
KR101999471B1 (ko) 정보 추천 방법 및 장치
JP5736469B2 (ja) ユーザ意図の有無に基づく検索キーワードの推薦
US9317591B2 (en) Ranking search results based on word weight
CN102760138B (zh) 用户网络行为的分类方法和装置及对应的搜索方法和装置
JP6646931B2 (ja) 推薦情報を提供するための方法および装置
CN101266620B (zh) 向用户提供目标信息的方法及设备
CN110457595B (zh) 突发事件报警方法、装置、系统、电子设备及存储介质
Liu et al. Identifying indicators of fake reviews based on spammer's behavior features
US20120143895A1 (en) Query pattern generation for answers coverage expansion
CN112559895A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN111723260B (zh) 推荐内容的获取方法、装置、电子设备及可读存储介质
US12147485B2 (en) Managing search engines based on search perform metrics
CN111159563A (zh) 用户兴趣点信息的确定方法、装置、设备及存储介质
CN106776937B (zh) 一种确定内链关键词的方法和装置
JP6678666B2 (ja) ランキング関数のオフライン評価
CN110716950A (zh) 一种口径系统建立方法、装置、设备及计算机存储介质
CN108319628A (zh) 一种用户兴趣确定方法及装置
CN110930106A (zh) 线上面试系统的信息处理方法、装置和系统
CN106815277B (zh) 搜索引擎优化的评估方法及装置
CN105389330A (zh) 一种跨社区开源资源匹配关联方法
CN107577707B (zh) 一种目标数据集生成方法、装置及电子设备
CN107590176B (zh) 一种评价指标的获得方法、装置及电子设备
CN104750692A (zh) 一种信息处理方法、信息检索方法及其对应的装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16912553

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16912553

Country of ref document: EP

Kind code of ref document: A1