RU2014126774A - Ранжиратор результатов поиска - Google Patents

Ранжиратор результатов поиска Download PDF

Info

Publication number
RU2014126774A
RU2014126774A RU2014126774A RU2014126774A RU2014126774A RU 2014126774 A RU2014126774 A RU 2014126774A RU 2014126774 A RU2014126774 A RU 2014126774A RU 2014126774 A RU2014126774 A RU 2014126774A RU 2014126774 A RU2014126774 A RU 2014126774A
Authority
RU
Russia
Prior art keywords
parameter
search results
document
objective function
ranger
Prior art date
Application number
RU2014126774A
Other languages
English (en)
Other versions
RU2608886C2 (ru
Inventor
Павел Викторович СЕРДЮКОВ
Юрий Михайлович УСТИНОВСКИЙ
Глеб Геннадьевич Гусев
Original Assignee
Общество С Ограниченной Ответственностью "Яндекс"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Яндекс" filed Critical Общество С Ограниченной Ответственностью "Яндекс"
Priority to RU2014126774A priority Critical patent/RU2608886C2/ru
Priority to EP14890458.4A priority patent/EP3005144A4/en
Priority to PCT/IB2014/066704 priority patent/WO2016001724A1/en
Priority to US14/866,380 priority patent/US9501575B2/en
Publication of RU2014126774A publication Critical patent/RU2014126774A/ru
Application granted granted Critical
Publication of RU2608886C2 publication Critical patent/RU2608886C2/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3325Reformulation based on results of preceding query
    • G06F16/3326Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • G06F16/3328Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages using graphical result space presentation or visualisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3347Query execution using vector based model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9038Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Abstract

1. Способ, реализованный на компьютере для оптимизации рейтинга результатов поиска, полученных от ранжиратора результатов поиска, включающий:получение первого набора пар запрос-документ, каждой из которых соответствует вектор параметров постпросмотра;генерирование весового вектора, который имеет количество весовых значений, соответствующее количеству параметров постпросмотра в каждом из векторов параметра постпросмотра первого набора;генерирование целевой функции путем использования весового вектора и векторов параметров постпросмотра из первого набора;оптимизацию весовых значений весового вектора путем использования первого набора пар запрос-документ для получения оптимизированной целевой функции с использованием метрики производительности, связанной с целевой функцией;оптимизацию ранжиратора результатов поиска с помощью оптимизированной целевой функции; ииспользование оптимизированного ранжиратора результатов поиска для ранжирования результатов поиска.2. Способ по п. 1, дополнительно включающий выбор метрики производительности на основе параметров целевой функции.3. Способ по п. 1, отличающийся тем, что оптимизация ранжиратора результатов поиска с использованием оптимизированной целевой функции включает оптимизацию ранжиратора результатов поиска с использованием оптимизированной целевой функции, примененной ко второму набору пар запрос-документ.4. Способ по п. 3, который после оптимизации ранжиратора результатов поиска и перед использованием ранжиратора результатов поиска дополнительно включает:оценку оптимизированного ранжиратора результатов поиска с использованием третьего �

Claims (17)

1. Способ, реализованный на компьютере для оптимизации рейтинга результатов поиска, полученных от ранжиратора результатов поиска, включающий:
получение первого набора пар запрос-документ, каждой из которых соответствует вектор параметров постпросмотра;
генерирование весового вектора, который имеет количество весовых значений, соответствующее количеству параметров постпросмотра в каждом из векторов параметра постпросмотра первого набора;
генерирование целевой функции путем использования весового вектора и векторов параметров постпросмотра из первого набора;
оптимизацию весовых значений весового вектора путем использования первого набора пар запрос-документ для получения оптимизированной целевой функции с использованием метрики производительности, связанной с целевой функцией;
оптимизацию ранжиратора результатов поиска с помощью оптимизированной целевой функции; и
использование оптимизированного ранжиратора результатов поиска для ранжирования результатов поиска.
2. Способ по п. 1, дополнительно включающий выбор метрики производительности на основе параметров целевой функции.
3. Способ по п. 1, отличающийся тем, что оптимизация ранжиратора результатов поиска с использованием оптимизированной целевой функции включает оптимизацию ранжиратора результатов поиска с использованием оптимизированной целевой функции, примененной ко второму набору пар запрос-документ.
4. Способ по п. 3, который после оптимизации ранжиратора результатов поиска и перед использованием ранжиратора результатов поиска дополнительно включает:
оценку оптимизированного ранжиратора результатов поиска с использованием третьего набора пар запрос-документ.
5. Способ по п. 1, отличающийся тем, что параметры постпросмотра содержат по меньшей мере один параметр уровня документа и по меньшей мере один параметр уровня страницы результатов поиска (SERP).
6. Способ по п. 5, отличающийся тем, что по меньшей мере один параметр уровня документа содержит по меньшей мере одно из:
параметр клика, отображаемый в случае, если документ был выбран;
параметр просмотра, отображающий время просмотра документа;
параметр длительного просмотра, отображаемый в случае, если время просмотра документа превышает заранее определенную величину;
параметр последнего клика, отображаемый в случае, если документ был выбран последним;
параметр первого клика, отображаемый в случае, если документ был выбран первым;
параметр удовлетворяющего клика, отображаемый в случае, если документ был выбран последним, или если время ожидания превышает заданную величину;
параметр положения, отображающий исходное положение документа в SERP;
параметр пропуска, отображаемый в случае, если документ был пропущен;
параметр предыдущего пропуска, отображаемый в случае, если был пропущен другой предыдущий по рейтингу документ; и
параметр пропуска выше, отображающий количество предыдущих в рейтинге пропущенных документов.
7. Способ по п. 5, отличающийся тем, что по меньшей мере один параметр уровня SERP содержит по меньшей мере один из следующих параметров:
параметр клика вверху, отображающий наибольший рейтинг выбранных в рейтинге документов;
параметр клика внизу, отображающий наименьший рейтинг выбранных в рейтинге документов;
параметр количества кликов, отображающий количество кликов на SERP;
параметр количества кликов на первую тройку, отображающий количество кликов на три документа на SERP с наибольшим рейтингом;
параметр количества пропусков, отображающий количество пропущенных на SERP документов;
параметр последнего запроса, отображающий последний запрос в поисковой сессии; и
параметр времени просмотра, отображающий время до первого клика на SERP.
8. Способ по п. 1, отличающийся тем, что параметры постпросмотра содержат по меньшей мере один из следующих параметров:
параметр клика, отображаемый в случае, если документ был выбран;
параметр просмотра, отображающий время просмотра документа;
параметр длительного просмотра, отображаемый в случае, если время просмотра документа превышает заранее определенную величину;
параметр последнего клика, отображаемый в случае, если документ был выбран последним;
параметр первого клика, отображаемый в случае, если документ был выбран первым;
параметр удовлетворяющего клика, отображаемый в случае, если документ был выбран последним, или если время ожидания превышает заданную величину;
параметр положения, отображающий исходное положение документа в SERP;
параметр пропуска, отображаемый в случае, если документ был пропущен;
параметр предыдущего пропуска, отображаемый в случае, если был пропущен другой документ, находящийся выше по рейтингу;
параметр пропуска выше, отображающий количество пропущенных документов, предыдущих в рейтинге;
параметр клика вверху, отображающий наибольший рейтинг выбранных в рейтинге документов;
параметр клика внизу, отображающий наименьший рейтинг выбранных в рейтинге документов;
параметр количества кликов, отображающий количество кликов на SERP;
параметр количества кликов на первую тройку, отображающий количество кликов на три документа на SERP с наибольшим рейтингом;
параметр количества пропусков, отображающий количество пропущенных на SERP документов;
параметр последнего запроса, отображающий последний запрос в поисковой сессии; и
параметр времени просмотра, отображающий время до первого клика на SERP.
9. Способ по п. 1, отличающийся тем, что используемый ранжиратор результатов поиска, включает:
получение поискового запроса от клиентского устройства по меньшей мере одним сервером с помощью сети передачи данных;
выполнение по меньшей мере одним сервером поиска в соответствии с поисковым запросом;
ранжирование по меньшей мере одним сервером, документов, найденных в результате поиска, с использованием ранжиратора результатов поиска, включающего оптимизированную целевую функцию;
отправку на клиентское устройство посредством сети передачи данных по меньшей мере одним сервером команд для инициализации отображения пользователю с помощью пользовательского интерфейса клиентского устройства страницы результатов поиска (SERP), включая ссылки на документы, найденные с помощью поиска, ранжированные ссылки на SERP, согласно рейтингу документов, найденных в результате поиска.
10. Способ по п. 1, отличающийся тем, что оптимизация весовых значений весового вектора включает оптимизацию весовых значений весового вектора с использованием алгоритма градиентного спуска.
11. Способ по п. 1, отличающийся тем, что метрика производительности является или значением усредненной ценности ответов (MRR) или средним значением средней точности (MAP).
12. Система для оптимизации ранжирования результатов поиска, полученных от ранжиратора результатов поиска, содержащая:
процессор; и
машиночитаемое средство для хранения информации, обменивающиеся данными с процессором и хранящее команды, инициирующие выполнение системой следующих этапов:
получение первого набора пар запрос-документ, каждой из которых соответствует вектор параметров постпросмотра;
генерирование весового вектора, который имеет количество весовых коэффициентов, соответствующее количеству параметров постпросмотра в каждом из векторов параметра постпросмотра первого набора;
генерирование целевой функции путем использования весового вектора и векторов параметров постпросмотра из первого набора;
оптимизация весовых значений весового вектора путем использования первого набора пар запрос-документ для получения оптимизированной целевой функции с использованием метрики производительности, связанной с целевой функцией;
оптимизация ранжиратора результатов поиска с помощью оптимизированной целевой функции; и
использование оптимизированного ранжиратора результатов поиска для ранжирования результатов поиска.
13. Система по п. 12, отличающаяся тем, что на материальном машиночитаемом средстве для хранения информации также хранятся команды, инициирующие выполнение системой этапа выбора метрики производительности, в зависимости от параметров целевой функции.
14. Система по п. 12, отличающаяся тем, что оптимизация ранжиратора результатов поиска с использованием оптимизированной целевой функции включает оптимизацию ранжиратора результатов поиска с использованием оптимизированной целевой функции, примененной ко второму набору пар запрос-документ.
15. Машиночитаемое средство для хранения информации, на котором хранятся команды для оптимизации ранжирования результатов поиска, полученных от ранжиратора результатов поиска, причем в случае выполнения инструкций компьютером, компьютер инициализирует выполнение операций, включающих:
получение первого набора пар запрос-документ, каждой из которых соответствует вектор параметров постпросмотра;
генерирование весового вектора, который имеет количество весовых коэффициентов, соответствующее количеству параметров постпросмотра в каждом из векторов параметра постпросмотра первого набора;
генерирование целевой функции путем использования весового вектора и векторов параметров постпросмотра из первого набора;
оптимизацию весовых значений весового вектора путем использования первого набора пар запрос-документ для получения оптимизированной целевой функции с использованием метрики производительности, связанной с целевой функцией;
оптимизацию ранжиратора результатов поиска с помощью оптимизированной целевой функции; и
использование оптимизированного ранжиратора результатов поиска для ранжирования результатов поиска.
16. Средство для хранения информации по п. 15, отличающееся тем, что дополнительно содержит команды для выбора метрики производительности, в зависимости от параметров целевой функции.
17. Средство для хранения информации по п. 15, отличающееся тем, что оптимизация ранжиратора результатов поиска с помощью оптимизированной целевой функции включает оптимизацию ранжиратора результатов поиска с помощью оптимизированной целевой функции, примененной ко второму набору пар запрос-документ.
RU2014126774A 2014-06-30 2014-06-30 Ранжиратор результатов поиска RU2608886C2 (ru)

Priority Applications (4)

Application Number Priority Date Filing Date Title
RU2014126774A RU2608886C2 (ru) 2014-06-30 2014-06-30 Ранжиратор результатов поиска
EP14890458.4A EP3005144A4 (en) 2014-06-30 2014-12-08 SEARCH RESULTS HERON
PCT/IB2014/066704 WO2016001724A1 (en) 2014-06-30 2014-12-08 Search result ranker
US14/866,380 US9501575B2 (en) 2014-06-30 2015-09-25 Search result ranker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2014126774A RU2608886C2 (ru) 2014-06-30 2014-06-30 Ранжиратор результатов поиска

Publications (2)

Publication Number Publication Date
RU2014126774A true RU2014126774A (ru) 2016-01-27
RU2608886C2 RU2608886C2 (ru) 2017-01-25

Family

ID=55018506

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014126774A RU2608886C2 (ru) 2014-06-30 2014-06-30 Ранжиратор результатов поиска

Country Status (4)

Country Link
US (1) US9501575B2 (ru)
EP (1) EP3005144A4 (ru)
RU (1) RU2608886C2 (ru)
WO (1) WO2016001724A1 (ru)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762091B2 (en) * 2014-09-08 2020-09-01 Salesforce.Com, Inc. Interactive feedback for changes in search relevancy parameters
US11636120B2 (en) * 2014-11-21 2023-04-25 Microsoft Technology Licensing, Llc Offline evaluation of ranking functions
RU2656469C1 (ru) * 2017-02-20 2018-06-05 Дарья Игоревна Лапшина Способ структурирования результатов поиска по текстам, содержащим информацию о научной и исследовательской деятельности
RU2666331C1 (ru) * 2017-04-04 2018-09-06 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для создания оффлайн страницы результатов поиска
RU2664481C1 (ru) 2017-04-04 2018-08-17 Общество С Ограниченной Ответственностью "Яндекс" Способ и система выбора потенциально ошибочно ранжированных документов с помощью алгоритма машинного обучения
RU2677380C2 (ru) * 2017-04-05 2019-01-16 Общество С Ограниченной Ответственностью "Яндекс" Способ и система ранжирования множества документов на странице результатов поиска
CN107688595B (zh) * 2017-05-10 2019-03-15 平安科技(深圳)有限公司 信息检索准确性评估方法、装置及计算机可读存储介质
US11698936B2 (en) 2017-10-09 2023-07-11 Home Depot Product Authority, Llc System and methods for search engine parameter tuning using genetic algorithm
US20190132274A1 (en) * 2017-10-31 2019-05-02 Microsoft Technology Licensing, Llc Techniques for ranking posts in community forums
US11093512B2 (en) * 2018-04-30 2021-08-17 International Business Machines Corporation Automated selection of search ranker
RU2718216C2 (ru) * 2018-07-03 2020-03-31 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер для ранжирования документов на странице результатов поиска
RU2720905C2 (ru) * 2018-09-17 2020-05-14 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для расширения поисковых запросов с целью ранжирования результатов поиска
RU2721159C1 (ru) * 2018-12-13 2020-05-18 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер генерирования мета-признака для ранжирования документов
RU2744028C2 (ru) * 2018-12-26 2021-03-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для хранения множества документов
RU2019128026A (ru) 2019-09-05 2021-03-05 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для ранжирования множества цифровых документов
US11334559B2 (en) 2019-09-09 2022-05-17 Yandex Europe Ag Method of and system for identifying abnormal rating activity
WO2023234865A1 (en) * 2022-06-01 2023-12-07 Grabtaxi Holdings Pte. Ltd. A communication server, a method, a user device, and a system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7562068B2 (en) * 2004-06-30 2009-07-14 Microsoft Corporation System and method for ranking search results based on tracked user preferences
US8620915B1 (en) * 2007-03-13 2013-12-31 Google Inc. Systems and methods for promoting personalized search results based on personal information
US7546294B2 (en) * 2005-03-31 2009-06-09 Microsoft Corporation Automated relevance tuning
US20070208730A1 (en) * 2006-03-02 2007-09-06 Microsoft Corporation Mining web search user behavior to enhance web search relevance
US7647314B2 (en) * 2006-04-28 2010-01-12 Yahoo! Inc. System and method for indexing web content using click-through features
US7805438B2 (en) * 2006-07-31 2010-09-28 Microsoft Corporation Learning a document ranking function using fidelity-based error measurements
US7620634B2 (en) * 2006-07-31 2009-11-17 Microsoft Corporation Ranking functions using an incrementally-updatable, modified naïve bayesian query classifier
US8458165B2 (en) * 2007-06-28 2013-06-04 Oracle International Corporation System and method for applying ranking SVM in query relaxation
US8645390B1 (en) * 2007-08-31 2014-02-04 Google Inc. Reordering search query results in accordance with search context specific predicted performance functions
US7895198B2 (en) * 2007-09-28 2011-02-22 Yahoo! Inc. Gradient based optimization of a ranking measure
US8108374B2 (en) * 2008-09-16 2012-01-31 Yahoo! Inc. Optimization framework for tuning ranking engine
US8060456B2 (en) * 2008-10-01 2011-11-15 Microsoft Corporation Training a search result ranker with automatically-generated samples
US8515950B2 (en) * 2008-10-01 2013-08-20 Microsoft Corporation Combining log-based rankers and document-based rankers for searching
US8676827B2 (en) * 2009-02-04 2014-03-18 Yahoo! Inc. Rare query expansion by web feature matching
US20100250523A1 (en) * 2009-03-31 2010-09-30 Yahoo! Inc. System and method for learning a ranking model that optimizes a ranking evaluation metric for ranking search results of a search query
US8935258B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Identification of sample data items for re-judging
US8280829B2 (en) * 2009-07-16 2012-10-02 Yahoo! Inc. Efficient algorithm for pairwise preference learning
US8498974B1 (en) * 2009-08-31 2013-07-30 Google Inc. Refining search results
US10140339B2 (en) * 2010-01-26 2018-11-27 Paypal, Inc. Methods and systems for simulating a search to generate an optimized scoring function
US8615514B1 (en) * 2010-02-03 2013-12-24 Google Inc. Evaluating website properties by partitioning user feedback
US20120022937A1 (en) * 2010-07-22 2012-01-26 Yahoo! Inc. Advertisement brand engagement value
US20120143790A1 (en) * 2010-12-01 2012-06-07 Microsoft Corporation Relevance of search results determined from user clicks and post-click user behavior obtained from click logs
US9104733B2 (en) * 2012-11-29 2015-08-11 Microsoft Technology Licensing, Llc Web search ranking

Also Published As

Publication number Publication date
WO2016001724A1 (en) 2016-01-07
EP3005144A1 (en) 2016-04-13
EP3005144A4 (en) 2016-04-13
US9501575B2 (en) 2016-11-22
US20160019219A1 (en) 2016-01-21
RU2608886C2 (ru) 2017-01-25

Similar Documents

Publication Publication Date Title
RU2014126774A (ru) Ранжиратор результатов поиска
KR102109995B1 (ko) 검색 결과를 랭킹하는 방법과 시스템 및 검색 결과 랭킹을 최적화하는 방법과 시스템
JP5984917B2 (ja) 提案される語を提供するための方法および装置
JP2016024807A5 (ru)
EP2950226A1 (en) New heuristic for optimizing non-convex function for learning to rank
RU2017111480A (ru) Способ и система ранжирования множества документов на странице результатов поиска
JP2013535729A5 (ru)
RU2015141110A (ru) Способ и сервер создания рекомендованного набора элементов
RU2016108020A (ru) Способ и устройство для представления мультимедийной информации
US10346453B2 (en) Multi-tiered information retrieval training
US20150169633A1 (en) Ranking over hashes
RU2014118338A (ru) Способ обработки поискового запроса, сервер и машиночитаемый носитель для его осуществления
WO2016202214A2 (zh) 一种关键词的展示方法和装置
US11455552B2 (en) Intelligent design platform using industrialized experience in product designs
JP6924571B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
RU2014126469A (ru) Реализуемый компьютером способ (варианты) обеспечения графического пользовательского интерфейса на экране дисплея электронного устройства браузерным контекстным помощником, сервер и электронное устройство, используемые в нем
RU2014131311A (ru) Способ (варианты) генерации страницы результатов поиска, сервер, используемый в нем, и способ определения позиции веб-страницы в списке веб-страниц
KR101334096B1 (ko) 높은 연관성을 가지는 아이템을 추천하는 아이템 기반의 추천 엔진
KR20150128238A (ko) 서버, 이의 제어 방법 및 급상승 검색어 순위 생성 시스템
US8676812B1 (en) Dynamic weighting of indicator values for item scoring
CN103366003B (zh) 基于用户反馈优化搜索结果的方法和设备
US9152714B1 (en) Selecting score improvements
JP5820784B2 (ja) 検索結果出力装置、検索結果出力方法及びプログラム
JP5528388B2 (ja) 情報推薦装置及び方法及びプログラム
CN112182382B (zh) 数据处理方法、电子设备及介质

Legal Events

Date Code Title Description
HE9A Changing address for correspondence with an applicant
MM4A The patent is invalid due to non-payment of fees

Effective date: 20160802

NF4A Reinstatement of patent

Effective date: 20171004