RU2632143C1 - Способ обучения модуля ранжирования с использованием обучающей выборки с зашумленными ярлыками - Google Patents

Abstract

Изобретение относится к области компьютерных технологий. Технический результат заключается в оптимизации качества ранжирования. Технический результат достигается за счет извлечения обучающей выборки, включающей в себя множество обучающих объектов, причем каждому обучающему объекту в обучающей выборке назначен ярлык, и каждый обучающий объект связан с вектором характеристик объекта, определения весового параметра для каждого обучающего объекта, причем весовой параметр указывает на качество ярлыка, которое представляет собой уровень достоверности назначения ярлыка обучающему объекту, определения параметра релевантности, выполненное на основе переназначения сервером параметра релевантности, относительно других ярлыков в обучающей выборке, обучения средства ранжирования с использованием множества обучающих объектов из обучающей выборки, определенного параметра релевантности для каждого обучающего объекта из множества обучающих объектов обучающей выборки и определенного весового параметра для каждого объекта из множества обучающих объектов обучающей выборки, ранжировать новый документ. 2 н. и 15 з.п. ф-лы, 4 ил.

Description

ОБЛАСТЬ ТЕХНИКИ

[001] Настоящее техническое решение относится к способам и системам обучения модуля ранжирования в общем и, более конкретно, к способу и системе обучения модуля ранжирования с использованием обучающей выборки с зашумленными ярлыками.

УРОВЕНЬ ТЕХНИКИ

[002] С повышающимся количеством данных, хранящихся на различных серверах, задача эффективного поиска становится еще более важной. Например, в Интернете есть миллионы доступных ресурсов, и целью нескольких поисковых систем (например, GOOGLE™, YAHOO!™, YANDEX™, BAIDU™ и им подобных) является предоставление пользователям удобного инструмента для обнаружения релевантной информации, которая отвечает на пользовательский поисковой запрос.

[003] Типичный сервер поисковой системы выполняет функцию сбора данных (кроулинг, от англ. crawling). Более конкретно, поисковая система исполняет программу-робот, которая «посещает» различные ресурсы, доступные в Интернете, и индексирует их содержимое. Конкретные алгоритмы и режим программ-роботов для сбора данных разнятся, но, в общем, главной целью процесса сбора данных является (i) идентификация конкретного ресурса в Интернете, (ii) идентификация ключевых тем, связанных с конкретным ресурсом (темы представлены ключевыми словами и тому подобное), (iii) индексирование ключевых тем с конкретным ресурсом.

[004] После того, как поисковой системой получен поисковый запрос, поисковая система идентифицирует все посещенные ресурсы, которые потенциально относятся к поисковому запросу пользователя. Поисковая система затем исполняет поисковой ранкер для ранжирования таким образом идентифицированных потенциально релевантных ресурсов. Основная цель поискового ранкера - организация идентифицированных результатов поиска с помощью размещения потенциально наиболее релевантных результатов поиска сверху списка результатов поиска. Поисковые ранкеры реализованы по-разному, некоторые из них применяют алгоритмы машинного обучения (Machine Learning Algorithms, MLAs) для ранжирования поисковых результатов.

[005] Типичный MLA, используемый поисковыми ранкерами, обучен с использованием обучающих выборок пар «запрос-документ», где каждая пара «запрос-документ» связана с параметром релевантности. Данная пара «запрос-документ» включает в себя обучающий поисковый запрос и данный документ (например, веб-ресурс) потенциально релевантный обучающему поисковому запросу (или отвечающий на него). Ярлык релевантности указывает на то, как точно данный документ показывает поисковое намерение обучающего поискового запроса (т.е. насколько содержимое данного документа отвечает на обучающий поисковый запрос или, другими словами, с какой вероятностью содержимое данного документа удовлетворит поисковое намерение пользователя, связанное с обучающим поисковым запросом).

[006] Обычно обучающие выборки оцениваются «экспертами», которые назначают ярлыки релевантности парам «запрос-документ», с использованием оценки человеком. Эксперты обучаются назначать ярлыки паре «запрос-документ» для обеспечения единообразия ярлыков среди различных экспертов. Экспертам представляются очень строгие указания о том, как назначать значения ярлыков данной паре «запрос-документ» (например, подробное описание каждого ярлыка, о том, что представляет собой высокорелевантный документ, что представляет собой документ с низкой релевантностью, и так далее).

[007] Несмотря на тщательный контроль присвоения ярлыков парам «запрос-документ», ярлыки, назначенные профессиональными экспертами, могут быть «зашумлены» - в том смысле, что ярлыки, назначенные данной паре «запрос-документ» различными экспертами, могут существенно различаться. Некоторые эксперты очень консервативны в оценках (т.е. они назначают высокие показатели только очень релевантным документам), а другие эксперты могут быть более «гибкими» в оценках.

[008] Недавно стали набирать популярность в обучении поисковых ранкеров обучающие краудсорсинговые (от англ. "crowd-sourced") выборки, которые, как считается, предоставляют быструю и малозатратную альтернативу обучающим выборкам, которым ярлыки присвоены вручную профессиональными экспертами. Однако, параметры релевантности, полученные с помощью краудсорсинга (краусорсинговые ярлыки) могут быть «зашумлены» из-за различных факторов, например, различиях в качестве работы краудсорсера, неточности инструкций для задачи присвоения ярлыков, предоставленной участнику краудсорсинга и так далее.

[009] Вне зависимости от типа шума, шум при присвоении ярлыков выборке может повлиять на качество ранжирования поискового ранкера. Для того, чтобы бороться с шумом в обучающих выборках (а именно, без введения ограничений, в краудсорсинговых обучающих выборках), вместе с краудсорсинговыми обучающими выборками для обучения алгоритмов ранжирования применяются различные модели консенсуса для краудсорсинга.

РАСКРЫТИЕ

[0010] Задачей предлагаемого изобретения является устранение по меньшей мере некоторых недостатков, присущих известному уровню техники.

[0011] Варианты осуществления настоящего технического решения были разработаны с учетом изобретательского понимания по меньшей мере одной проблемы, связанной с известным уровнем техники. Разработчики определили, в результате чего профессионально назначенные ярлыки могут быть зашумленными, причем уровень шума в краудсорсинговых обучающих выборках больше, чем в обучающих выборках с профессионально назначенными ярлыками.

[0012] Без желания ограничиваться какой-либо конкретной теорией, разработчики настоящего технического решения считают, что краудсорсинговые обучающие выборки могут обладать повышенным уровнем шума по меньшей мере из-за следующего (без введения ограничений): (1) участникам краудсорсинга обычно не предоставляют подробные инструкции, подобные тем, которые составляются для профессиональных экспертов, поскольку считается, что большинство участников краудсорсинга либо откажется следовать более сложным указаниям, либо не сможет им следовать; (2) частично из-за этого оценки отдельных участников краудсорсинга сильно отличаются по качеству; (3) большое число участников краудсорсинга - спамеры, отвечают случайным образом или используют простые качественные агностические эвристики.

[0013] Разработчики также считают, что традиционные подходы к снижению шума в обучающей выборке с ярлыками могут быть неэффективными для краудсорсинговых обучающих выборок с ярлыками. Например, общие подходы к снижению шума включают в себя техники чистки и взвешивания. Техники чистки шума аналогичны «обнаружению выбросов», это отфильтровывание образцов, которые по какой-то причине выглядят как «похожие» на отмеченные неправильным ярлыком. При применении подхода взвешивания ни один из образцов полностью не отбрасывается, в то время как их влияние на алгоритм машинного обучения контролируется по весам, представляя достоверность конкретного ярлыка.

[0014] Устраивая процесс краудсорсингового присвоения ярлыков, можно модифицировать процесс присвоения ярлыков для того, чтобы собрать доказательства того, что каждый ярлык верен. А именно, наблюдатели за участниками краудсорсинга обычно: (1) предоставляют упрощенные инструкции по присвоению ярлыков, гораздо проще, чем в случае профессиональных экспертов (например, по шкале от 1 до 2, а не по шкале от 1 до 5); (2) размещают проверочные задачи, т.е. задачи с известным истинным ярлыком; (3) назначают каждую задачу множеству работников для оценки и агрегирования их ответов.

[0015] Наличие проверочных задач и множества ярлыков для каждой пары «запрос-документ» в выборке позволяет использовать определенные модели консенсуса для краудсорсинга. Эти модели обобщают единственный консенсусный ярлык для каждой задачи, предоставляя более точные ярлыки, чем те, что созданы индивидуальными участниками краудсорсинга. Консенсусные модели делают дополнительные заключения о распределении ошибок среди ярлыков и краудсорсинговых участников (экспертов), и получают определенные показатели, которые оценивают вероятность точности ярлыков. Самый простой пример консенсусных моделей - это «голосование большинством голосов» и «средняя оценка», которые назначают наиболее частые/средние показатели каждой паре «запрос-документ».

[0016] Хотя краудсорсинговые консенсусные модели могут использоваться для чистки обучения с ранжированием баз данных с помощью замещения краудсорсинговых ярлыков консенсусными ярлыками или с помощью отбрасывания конкретных краудсорсинговых ярлыков с низкой достоверностью качества, разработчики настоящего технического решения считают, что такой подход обладает определенными недостатками. Поскольку целью консенсусной модели является точность ярлыков на выходе и оптимизация точности ярлыков, нет необходимости в оптимизации качества ранкера, обученного на выборке, «почищенной» консенсусной моделью. Определенные эксперименты, проведенные разработчиками, дали основания полагать, что непосредственное использование консенсусных ярлыков при обучении алгоритма ранжирования приводит к суб-оптимальным ранкерам.

[0017] Существует и другой аспект, обычно не покрываемый существующими консенсусными моделями. Часто инструкции эксперта упрощены (например, 5-балльная шкала сводится к 2-балльной), чтобы можно было легче привлекать непрофессиональных экспертов с краудсорсинговых платформ. К сожалению, хотя такие упрощения и позволяют привлечь больше участников краудсорсинга, они привносят систематическую ошибку в их оценки, поскольку участники краудсорсинга становятся гораздо менее точными и выразительными в своих оценках. Например, некоторые участники краудсорсинга более консервативны в оценках, чем другие, и поэтому подразумевается, что их положительные ярлыки более высоко релевантны, чем положительные ярлыки участников краудсорсинга, которые оценивают их менее осторожно.

[0018] Разработчики настоящего технического решения устраняют указанные выше недостатки, связанные с краудсорсинговыми обучающими выборками, с помощью разработки процедуры предварительной обработки краудсорсинговых ярлыков. В общем случае процедура предварительной обработки включает в себя: (i) нормирование релевантности ярлыков и (ii) взвешивание ярлыков с нормированной релевантностью.

[0019] Более конкретно, варианты осуществления настоящего технического решения, в общем случае, направлены на алгоритм на основе машинного обучения, которые назначает каждой части выборки (1) значение ее релевантности (которое, в определенной мере, нормирует ярлык), и (2) ее вес (который, в определенной мере, показывает достоверность ее значения). Эти два параметра моделируются как соответствующие функции характеристик ярлыка, которые могут включать в себя выводы различных консенсусных моделей, статистики по данной задаче, сам по себе краудсорсинговый ярлык и т.д. Варианты осуществления настоящего технического решения включают в себя обучение обеих функций (одной - для значения релевантности, и одной - для веса).

[0020] Варианты осуществления настоящего технического решения могут быть использованы с любым типом обучения алгоритма ранжирования. Технический эффект настоящего технического решения заключается в том, что варианты осуществления настоящего технического решения напрямую оптимизируют качество ранжирования, достигнутое связанным обученным ранжированию алгоритмом.

[0021] Одним объектом настоящего технического решения является компьютерный способ обучения поискового ранкера, причем поисковой ранкер выполнен с возможностью ранжировать поисковые результаты. Способ выполняется на сервере, связанном с поисковым ранкером. Способ включает в себя: извлечение сервером обучающей выборки, включающей в себя множество обучающих объектов, причем каждому обучающему объекту в обучающей выборке был назначен ярлык, и каждый обучающий объект связан с вектором характеристик объекта; для каждого обучающего объекта на основе соответствующего связанного вектора характеристик объекта осуществляется: определение весового параметра, причем весовой параметр указывает на качество ярлыка; определение параметра релевантности, причем параметр релевантности указывает на модерированное значение ярлыка относительно других ярлыков в обучающей выборке; обучение поискового ранкера, с использованием множества обучающих объектов из обучающей выборки, определенного параметра релевантности для каждого обучающего объекта из множества обучающих объектов обучающей выборки и определенного весового параметра для каждого объекта из множества обучающих объектов обучающей выборки, ранжировать новый документ.

[0022] В некоторых вариантах осуществления способа обучающая выборка является краудсорсинговой обучающей выборкой.

[0023] В некоторых вариантах осуществления способа обучающая выборка является краудсорсинговой обучающей выборкой, и каждому обучающему объекту в обучающей выборке участником краудсорсинга был назначен ярлык.

[0024] В некоторых вариантах осуществления способа вектор характеристик объекта по меньшей мере частично основан на данных, связанных с участниками краудсорсинга, назначающими ярлык данному обучающему объекту.

[0025] В некоторых вариантах осуществления способа данные представляют по меньшей мере одно из: активности просмотра участника краудсорсинга; временной интервал, проведенный за просмотром данного обучающего объекта; уровень опыта, связанный с участником краудсорсинга, параметр скрупулезности, связанный с участником краудсорсинга.

[0026] В некоторых вариантах осуществления способа вектор характеристик объекта по меньшей мере частично основан на данных, связанных с характеристиками ранжирования данного обучающего объекта.

[0027] В некоторых вариантах осуществления способа способ в дальнейшем включает в себя обучение функции параметра релевантности определению параметра релевантности для каждого обучающего объекта с использованием соответствующего связанного вектора характеристик объекта с помощью оптимизации качества ранжирования поискового ранкера.

[0028] В некоторых вариантах осуществления способа способ дополнительно включает в себя обучение весовой функции определению весового ярлыка для каждого обучающего объекта на основе соответствующего связанного вектора характеристик объекта с помощью оптимизации качества ранжирования поискового ранкера.

[0029] В некоторых вариантах осуществления способа параметр релевантности определяется с помощью функции параметра релевантности; весовой ярлык определяется весовой функцией; функция параметра релевантности и весовая функция были обучены независимо.

[0030] В некоторых вариантах осуществления способа поисковый ранкер выполнен с возможностью выполнять алгоритм машинного обучения, и обучение поискового ранкера включает в себя обучение алгоритма машинного обучения.

[0031] В некоторых вариантах осуществления способа алгоритм машинного обучения основан либо на обучении с учителем, либо на обучении с частичным привлечением учителя.

[0032] В некоторых вариантах осуществления способа алгоритм машинного обучения является одним из: алгоритм на основе нейронной сети, алгоритм на основе деревьев принятия решений, MLA на основе обучения ассоциативным правилам, MLA на основе глубинного обучения, MLA индуктивно логически запрограммированный MLA, MLA на основе метода опорных векторов, MLA на основе кластеризации, Байесова сеть, MLA на основе обучения с подкреплением, MLA на основе репрезентативного обучения, MLA на основе метрик схожести, MLA на основе разреженного словаря и MLA на основе генетического алгоритма.

[0033] В некоторых вариантах осуществления способа обучение основано на цели прямой оптимизации качества поискового ранкера.

[0034] В некоторых вариантах осуществления способа способ дополнительно включает в себя определение вектора характеристик объекта на основе множества характеристик объекта.

[0035] В некоторых вариантах осуществления способа множество характеристик объекта включают в себя по меньшей мере характеристики ранжирования и характеристики ярлыка, и способ дополнительно включает в себя организацию характеристик объекта в матрицу, причем строки матрицы представляют собой характеристики ранжирования, а столбцы матрицы представляют собой характеристики ярлыка.

[0036] В некоторых вариантах осуществления способа определение вектора характеристик объекта включает в себя определение объектной характеристики на основе матрицы.

[0037] Другим объектом настоящего технического решения является обучающий сервер для обучения поискового ранкера, причем сервер поискового ранкера ранжирует результаты поиска. Обучающий сервер включает в себя: сетевой интерфейс для функционального подключения к сети передачи данных; процессор, соединенный с сетевым интерфейсом, процессор выполнен с возможностью осуществлять: извлечение обучающей выборки, включающей в себя множество обучающих объектов, причем каждому обучающему объекту в обучающей выборке был назначен ярлык, и каждый обучающий объект связан с вектором характеристик объекта; для каждого обучающего объекта на основе соответствующего связанного вектора характеристик объекта осуществляется: определение весового параметра, причем весовой параметр указывает на качество ярлыка; определение параметра релевантности, причем параметр релевантности указывает на модерированное значение ярлыка относительно других ярлыков в обучающей выборке; обучение поискового ранкера, с использованием множества обучающих объектов из обучающей выборки, определенного параметра релевантности для каждого обучающего объекта из множества обучающих объектов обучающей выборки и определенного весового параметра для каждого объекта из множества обучающих объектов обучающей выборки, ранжировать новый документ.

[0038] В некоторых вариантах осуществления обучающего сервера обучающий сервер и поисковый ранкер могут быть выполнены как единый сервер.

[0039] В контексте настоящего описания, если четко не указано иное, «электронное устройство», «пользовательское устройство», «сервер», «компьютерная система» подразумевают под собой аппаратное и/или системное обеспечение, подходящее к решению соответствующей задачи. Таким образом, некоторые неограничивающие примеры аппаратного и/или программного обеспечения включают в себя компьютеры (серверы, настольные компьютеры, ноутбуки, нетбуки и так далее), смартфоны, планшеты, сетевое оборудование (маршрутизаторы, коммутаторы, шлюзы и так далее) и/или их комбинацию.

[0040] В контексте настоящего описания, если четко не указано иное, «машиночитаемый носитель» и «хранилище» подразумевает под собой носитель абсолютно любого типа и характера, не ограничивающие примеры включают в себя ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB-ключи, флеш-карты, твердотельные накопители и накопители на магнитной ленте.

[0041] В контексте настоящего описания, если конкретно не указано иное, слова «первый», «второй», «третий» и т.д. используются в виде прилагательных исключительно для того, чтобы отличать существительные, к которым они относятся, друг от друга, а не для целей описания какой-либо конкретной взаимосвязи между этими существительными. Так, например, следует иметь в виду, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо порядка, отнесения к определенному типу, хронологии, иерархии или ранжирования (например) серверов/между серверами, равно как и их использование (само по себе) не предполагает, что некий «второй сервер» обязательно должен существовать в той или иной ситуации. В дальнейшем, как указано здесь в других контекстах, упоминание «первого» элемента и «второго» элемента не исключает возможности того, что это один и тот же фактический реальный элемент. Так, например, в некоторых случаях, «первый» сервер и «второй» сервер могут являться одним и тем же программным и/или аппаратным обеспечением, а в других случаях они могут являться разным программным и/или аппаратным обеспечением.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0042] Для лучшего понимания настоящего технического решения, а также других ее аспектов и характерных черт, сделана ссылка на следующее описание, которое должно использоваться в сочетании с прилагаемыми чертежами, где:

[0043] На Фигуре 1 показана система, подходящая для реализации неограничивающих вариантов осуществления настоящего технического решения.

[0044] На Фигуре 2 показано схематическое представление фаз обучения (фаза обучения, фаза применения, суб-фаза валидации) алгоритма машинного обучения, применяемого приложением ранжирования системы, изображенной на Фигуре 1.

[0045] На Фигуре 3 представлен данный обучающий объект из обучающей выборки, хранящейся на обучающем сервере системы, изображенной на Фигуре 1.

[0046] На Фиг. 4 представлена блок-схема способа обучения приложения ранжирования, способ выполняется обучающим сервером, изображенным на Фигуре 1, способ выполняется в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем.

ОСУЩЕСТВЛЕНИЕ

[0047] На Фиг. 1 представлена система 100, реализованная в соответствии с вариантами осуществления настоящего технического решения. Важно иметь в виду, что нижеследующее описание системы 100 представляет собой описание показательных вариантов осуществления настоящего технического решения. Таким образом, все последующее описание представлено только как описание показательного примера настоящего технического решения. Это описание не предназначено для определения объема или установления границ настоящего технического решения. Некоторые полезные примеры модификаций системы 100 также могут быть охвачены нижеследующим описанием. Целью этого является также исключительно помощь в понимании, а не определение объема и границ настоящего технического решения. Эти модификации не представляют собой исчерпывающий список, и специалистам в данной области техники будет понятно, что возможны и другие модификации. Кроме того, это не должно интерпретироваться так, что там, где это еще не было сделано, т.е. там, где не были изложены примеры модификаций, никакие модификации невозможны, и/или что то, что описано, является единственным вариантом осуществления этого элемента настоящего технического решения. Как будет понятно специалисту в данной области техники, это, скорее всего, не так. Кроме того, следует иметь в виду, что система 100 представляет собой в некоторых конкретных проявлениях достаточно простой вариант осуществления настоящего технического решения, и в подобных случаях этот вариант представлен здесь с целью облегчения понимания. Как будет понятно специалисту в данной области техники, многие варианты осуществления настоящего технического решения будут обладать гораздо большей сложностью.

[0048] Система 100 включает в себя сеть 102 передачи данных для осуществления обмена данными между различными компонентами системы 100, функционально подключенной к этой сети. В некоторых вариантах осуществления настоящего технического решения, не ограничивающих его объем, сеть 102 передачи данных может представлять собой Интернет. В других вариантах осуществления настоящего технического решения сеть 102 передачи данных может быть реализована иначе - в виде глобальной сети передачи данных, локальной сети передачи данных, частной сети передачи данных и т.п. Сеть 102 передачи данных может поддерживать обмен сообщениями и данными в открытом формате или в зашифрованном виде с использованием различных стандартов шифрования.

[0049] Система 100 включает в себя множество электронных устройств 104, причем множество электронных устройств 104 функционально соединено с сетью 102 передачи данных. В изображенных вариантах осуществления настоящего технического решения множество электронных устройств включает в себя первое электронное устройство 106, второе электронное устройство 108, третье электронное устройство 110 и ряд дополнительных электронных устройств 112. Следует отметить, что точное число устройств во множестве электронных устройств 104 никак конкретно не ограничивается и, в общем случае, можно сказать, что множество электронных устройств 104 включает в себя по меньшей мере два электронных устройства, такие как те, что изображены (т.е. первое электронное устройство 106, второе электронное устройство 108, третье электронное устройство 110 и ряд дополнительных электронных устройств 112).

[0050] Первое электронное устройство 106 связано с первым пользователем 114 и, таким образом, иногда может упоминаться как «первое клиентское устройство». Следует отметить, что тот факт, что первое электронное устройство 106 связано с первым пользователем 114, не подразумевает какого-либо конкретного режима работы, равно как и необходимости входа в систему, регистрации, или чего-либо подобного. Варианты первого электронного устройства 106 конкретно не ограничены, но в качестве примера перового электронного устройства 106 могут использоваться персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.), беспроводные электронные устройства (мобильные телефоны, смартфоны, планшеты и т.п.), а также сетевое оборудование (маршрутизаторы, коммутаторы или шлюзы). На Фиг. 1 первое электронное устройство 106 реализовано в виде персонального компьютера (ноутбука).

[0051] Второе электронное устройство 108 связано со вторым пользователем 116 и, таким образом, иногда может упоминаться как «второе клиентское устройство». Следует отметить, что тот факт, что второе электронное устройство 108 связано со вторым пользователем 116, не подразумевает какого-либо конкретного режима работы, равно как и необходимости входа в систему, регистрации, или чего-либо подобного. Варианты второго электронного устройства 108 конкретно не ограничены, но в качестве примера второго электронного устройства 108 могут использоваться персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.), устройства беспроводной связи (мобильные телефоны, смартфоны, планшеты и т.п.), а также сетевое оборудование (маршрутизаторы, коммутаторы или шлюзы). На Фиг. 1 второе электронное устройство 108 реализовано в виде планшетного компьютерного устройства.

[0052] Третье электронное устройство 110 связано с третьим пользователем 118 и, таким образом, иногда может упоминаться как «третье клиентское устройство». Следует отметить, что тот факт, что третье электронное устройство 110 связано с третьим пользователем 118, не подразумевает какого-либо конкретного режима работы, равно как и необходимости входа в систему, регистрации, или чего-либо подобного. Варианты третьего электронного устройства 110 конкретно не ограничены, но в качестве примера третьего электронного устройства 110 могут использоваться персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.), устройства беспроводной связи (мобильные телефоны, смартфоны, планшеты и т.п.), а также сетевое оборудование (маршрутизаторы, коммутаторы или шлюзы). На Фиг. 1 третье электронное устройство 110 реализовано в виде смартфона.

[0053] Данное устройство из ряда дополнительных электронных устройств 112 связано с соответствующим дополнительным пользователем 120 и, таким образом, может иногда упоминаться как «дополнительное клиентское устройство». Следует отметить, что тот факт, что данное устройство из ряда дополнительных электронных устройств 112 связано с соответствующим дополнительным пользователем 120, не подразумевает какого-либо конкретного режима работы, равно как и необходимости входа в систему, регистрации, или чего-либо подобного. Варианты данного устройства из ряда дополнительных электронных устройств 112 конкретно не ограничены, но в качестве примера данное устройство из ряда дополнительных электронных устройств 112 могут использоваться персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.), беспроводные устройства передачи данных (мобильные телефоны, смартфоны, планшеты и т.п.), а также сетевое оборудование (маршрутизаторы, коммутаторы или шлюзы).

[0054] К сети передачи данных также присоединены обучающий сервер 130 и сервер 132 поискового ранкера. Сервер 132 поискового ранкера также упоминается здесь как сервер 132 поискового ранкера. Хотя в изображенных вариантах осуществления обучающий сервер и сервер 132 поискового ранкера изображены как отдельные серверы, их функции могут быть выполнены единственным сервером.

[0055] В примере варианта осуществления настоящего технического решения обучающий сервер 130 может представлять собой сервер Dell™ PowerEdge™, на котором используется операционная система Microsoft™ Windows Server™. Излишне говорить, что обучающий сервер 130 может представлять собой любое другое подходящее аппаратное и/или прикладное программное, и/или системное программное обеспечение или их комбинацию. В представленном варианте осуществления настоящего технического решения, не ограничивающем его объем, обучающий сервер 130 является одиночным сервером. В других вариантах осуществления настоящего технического решения, не ограничивающих его объем, функциональность обучающего сервера 130 может быть разделена и может выполняться с помощью нескольких серверов.

[0056] В примере варианта осуществления настоящего технического решения сервер 132 поискового ранкера может представлять собой сервер Dell™ PowerEdge™, на котором используется операционная система Microsoft™ Windows Server™. Излишне говорить, что сервер 132 поискового ранкера может представлять собой любое другое подходящее аппаратное и/или прикладное программное, и/или системное программное обеспечение или их комбинацию. В представленном варианте осуществления настоящего технического решения, не ограничивающем его объем, сервер 132 поискового ранкера является одиночным сервером. В других вариантах осуществления настоящего технического решения, не ограничивающих его объем, функциональность сервера 132 поискового ранкера может быть разделена и может выполняться с помощью нескольких серверов.

[0057] Хотя обучающий сервер 130 и сервер 132 поискового ранкера были описаны с использованием примера того же самого аппаратного обеспечения, эти серверы не обязательно должны быть реализованы сходным образом.

[0058] В некоторых вариантах осуществления нестоящего технического решения сервер 132 поискового ранкера контролируется и/или управляется поисковой системой, например, поисковой системой YANDEX, предоставленной ООО «Яндекс», Россия, 119021, Москва, улица Льва Толстого, 16. Однако сервер 132 поискового ранкера может быть реализован по-иному (например, как локальный поисковик и так далее), Сервер 132 поискового ранкера выполнен с возможностью хранить поисковую базу данных 134, которая включает в себя указание различных ресурсов, доступных и открытых для сети 102 передачи данных.

[0059] Процесс заполнения и сохранения поисковой базы данных 134 в общем случае известен как «сбор данных» (кроулинг, от англ. "crawling"), причем приложение 140 сбора данных, реализованное сервером 132 поискового ранкера, выполнено с возможностью «посещать» различные веб-сайты и веб-страницы, доступные по сети 102 передачи данных, и индексировать их содержимое (например, связывать данный веб-ресурс с одним или несколькими ключевыми словами). В некоторых вариантах осуществления настоящего технического решения приложение 140 сбора данных хранит поисковую системы данных 134 как «инвертированный индекс». Приложение 140 сбора данных сервера 132 поискового ранкера выполнено с возможностью хранить информацию о таких проиндексированных веб-ресурсах в поисковой базе данных 134.

[0060] Когда сервер 132 поискового ранкера получает поисковой запрос от пользователя (например, "Cheap Hotels in Munich" («дешевые отели в Мюнхене»)), сервер 132 поискового ранкера выполнен с возможностью реализовать приложение 160 ранжирования. Приложение 160 ранжирования выполнено с возможностью получать доступ к поисковой базе данных 134, чтобы извлекать указание множества ресурсов, которые потенциально релевантны введенному пользователем поисковому запросу (в этом примере). Приложение 160 ранжирования дополнительно выполнено с возможностью ранжировать таким образом извлеченные потенциально релевантные ресурсы так, что они могут быть представлены в порядке ранжирования на странице результатов поиска (SERP), причем SERP представляет ранжированные более релевантные ресурсы вверху списка.

[0061] Для этого приложение 160 ранжирования выполнено с возможностью выполнять алгоритм ранжирования. В некоторых вариантах осуществления настоящего технического решения алгоритм ранжирования является алгоритмом машинного обучения (Machine Learning Algorithm, MLA). В некоторых вариантах осуществления настоящего технического решения приложение 160 ранжирования реализует алгоритм на основе нейронной сети, алгоритм на основе деревьев принятия решений, MLA на основе обучения ассоциативным правилам, MLA на основе глубинного обучения, MLA индуктивно логически запрограммированный MLA, MLA на основе метода опорных векторов, MLA на основе кластеризации, Байесову сеть, MLA на основе обучения с подкреплением, MLA на основе репрезентативного обучения, MLA на основе метрик схожести, MLA на основе разреженного словаря и MLA на основе генетического алгоритма и так далее.

[0062] В некоторых вариантах осуществления настоящего технического решения приложение 160 ранжирования применяет MLA на основе машинного обучения с учителем. В других вариантах осуществления настоящего технического решения приложение 160 ранжирования применяет алгоритм машинного обучения на основе обучения с частичным привлечением учителя.

[0063] В этих вариантах осуществления настоящего технического решения приложение 160 ранжирования может быть использовано в двух фазах - фазе обучения, на которой приложение 160 ранжирования «обучается» выводить формулу MLA и фазе применения, на которой приложение 160 ранжирования используется для ранжирования документов и использованием формулы MLA. Фаза обучения также включает в себя «суб-фазу» валидации, на которой формула MLA проверяется и калибруется.

[0064] На Фигуре 2 схематически изображены упомянутые фазы: фаза обучения 280, фаза 282 применения и суб-фаза 284 валидации.

[0065] В течение фазы 280 обучения приложению 160 ранжирования представляется обучающий набор данных 202, причем обучающий набор данных 202 включает в себя множество обучающих объектов - а именно, первый обучающий объект 204, второй обучающий объект 206, третий обучающий объект 208, а также другие обучающие объекты, потенциально присутствующие в обучающем наборе данных 202. Следует отметить, что обучающий набор данных 202 не ограничивается первым обучающим объектом 204, вторым обучающим объектом 206 и третьим обучающим объектов 208, изображенными на Фигуре 2. И, таким образом, обучающий набор данных 202 будет включать в себя ряд дополнительных обучающих объектов (например, сотни, тысячи, или сотни тысяч обучающих объектов, аналогичных изображенным первому обучающему объекту 204, второму обучающему объекту 206 и третьему обучающему объекту 208).

[0066] На Фигуре 3 схематически изображен данный обучающий объект из обучающего набора данных 202 (в данном случае, первый обучающий объект 204). Аналогично примеру первого обучающего объекта, каждый обучающий объект 204, 206, 208 в обучающей выборке 202 включает в себя пару «запрос-документ» (которая включает в себя указание обучающего запроса 302 и связанного обучающего документа 304, потенциально отвечающего на поисковой запрос 302) и назначенный ярлык 306.

[0067] В общем случае, ярлык 306 указывает на то, насколько отвечает обучающий документ 304 на обучающий запрос 302 (чем выше значение ярлыка 306, тем более вероятно, что пользователь, проводящий поисковые запросы, аналогичные обучающему запросу 302, найдет обучающий документ 304 полезным для ответа на обучающий запрос 302). То, как назначается ярлык 306, будет описано подробнее ниже.

[0068] Каждый обучающий объект 204, 206, 208 может также быть связан с соответствующим вектором 308 характеристик объекта. Вектор 308 характеристик объекта может быть создан обучающим сервером 130 в течение фазы 280 обучения. Вектор 308 характеристик объекта представляет одну или несколько характеристик связанного обучающего объекта 204, 206, 208. Процесс создания и использования вектора 308 характеристик объекта будет описан более подробно ниже.

[0069] Как часть фазы 280 обучения, MLA, выполняемый приложением 160 ранжирования, анализирует обучающий набор данных, чтобы вывести формулу 210 MLA, которая, в определенной мере, основана на скрытых взаимоотношениях между различными компонентами обучающих объектов (т.е. пара обучающий запрос 302 - обучающий документ 304) в обучающем наборе данных 202 и связанным ярлыком 306.

[0070] В течение суб-фазы 284 валидации приложению 160 ранжирования предоставляется валидационный набор документов (не изображен), которые аналогичны обучающей выборке 202, кроме тех, которые приложение 160 ранжирования еще не «видело». Каждая пара «запрос-документ» в валидационном наборе документов связана с «реальным» ярлыком (т.е. показывающим, насколько хорошо документ подходит для запроса), и «реальный» ярлык сравнивается с прогнозом, сделанным приложением 160 ранжирования. Если приложение 160 ранжирования ошиблось с прогнозом, эта информация отправляется обратно в приложение 160 ранжирования для калибровки формулы 210 MLA.

[0071] В фазе 282 применения приложение 160 ранжирования применяет обученную таким образом формулу 210 MLA к поисковым запросам пользователей в реальном времени. Приложение 160 ранжирования получает указание пользовательского поискового запроса 212 и набор потенциально релевантных документов 211. Приложение 160 ранжирования затем применяет формулу 210 MLA для создания списка 214 ранжированных поисковых результатов, которые включают в себя набор потенциально релевантных документов 211, конкретно ранжированных по релевантности пользовательскому поисковому запросу 212.

[0072] Возвращаясь к описанию Фигуры 1, множество электронных устройств 104 могут быть частью обучающего набора электронных устройств, используемых для компиляции обучающей выборки 202. В некоторых вариантах осуществления настоящего технического решения обучающий набор электронных устройств (т.е. множество электронных устройств 104) может быть частью объединения профессиональных экспертов и, таким образом, пользователи (первый пользователь 114, второй пользователь 116, третий пользователь 118 и соответствующие дополнительные пользователи 120) все могут быть профессиональными экспертами. Альтернативно, обучающий набор электронных устройств (т.е. множество электронных устройств 104) может быть частью объединения краудсорсинговых экспертов, и, таким образом, пользователи (первый пользователь 114, второй пользователь 116, третий пользователь 118 и соответствующие дополнительные пользователи 120) все могут быть участниками краудсорсинга.

[0073] В дополнительных вариантах осуществления настоящего технического решения обучающий набор электронных устройств (т.е. множество электронных устройств 104) может быть частично разделен - некоторые из множества электронных устройств 104 могут быть принадлежать профессиональным экспертам, а некоторые из обучающего набора электронных устройств (т.е. множества электронных устройств 104) могут принадлежать краудсорсинговым экспертам. Таким образом, некоторые из пользователей (первого пользователя 114, второго пользователя 116, третьего пользователя 118 и соответствующих дополнительных пользователей 120) могут профессиональными экспертами, в то время как другие пользователи (из первого пользователя 114, второго пользователя 116, третьего пользователя 118 и соответствующих дополнительных пользователей 120) могут быть участниками краудсорсинга.

[0074] В некоторых вариантах осуществления настоящего технического решения участники краудсорсинга могут работать на базе платформы YANDEXTOLOKA™ (toloka.yandex.com). Однако может использовать любая коммерческая или собственная краудсорсинговая платформа.

[0075] Каждому пользователю (каждому из пользователей: первому пользователю 114, второму пользователю 116, третьему пользователю 118 и соответствующим дополнительным пользователям 120) предоставляют данный обучающий объект 204, 206, 208 и пользователь присваивает ярлык 306. Ярлык 306 представляет степень релевантности данного обучающего документа 304 данному обучающему запросу 302. В зависимости от конкретного варианта осуществления технического решения пользователям (первому пользователю 114, второму пользователю 116, третьему пользователю 118 и соответствующим дополнительным пользователям 120) предоставляют инструкции по присвоению ярлыков, например, без введения ограничений:

- шкала от «1» до «5»,

- шкала от «1» до «2»,

- шкала от «1» до «10»,

- шкала «хорошо» и «плохо»,

- шкала «низкая релевантность», «средняя релевантность» и «высокая релевантность»,

- шкала «идеально-превосходно-хорошо-нормально-плохо»,

- и так далее.

[0076] В некоторых вариантах осуществления настоящего технического решения обучающий сервер 130 может хранить указание данного обучающего объекта 204, 206, 208 и связанного назначенного ярлыка 306 в базе данных 136 обучающих объектов, соединенной с обучающим сервером 130 или иным способом доступная для обучающего сервера 130.

[0077] В соответствии с вариантами осуществления настоящего технического решения обучающий сервер 130 выполнен с дополнительной возможностью предварительно обрабатывать обучающие объекты 204, 206, 208 обучающей выборки 202 и соответствующие назначенные им ярлыки 306.

[0078] Обучающий сервер 130 выполнен с возможностью создавать для данных обучающих объектов 204, 206, 208 весовой параметр и параметр релевантности. В соответствии с вариантами осуществления настоящего технического решения весовой параметр указывает качество данного ярлыка 306, а параметр релевантности указывает модерированное значение данных ярлыков 306 по отношению к другим ярлыкам 306 в обучающей выборке 202.

[0079] Варианты осуществления настоящего технического решения основаны на предположении разработчиков о том, что данный ярлык 306 в общем случае основывается по меньшей мере на двух качествах: реальном качестве данного обучающего документа 304 (т.е. насколько он релевантен обучающему запросу 302) и параметру скрупулезности, связанном с данным экспертом/участником краудсорсинга.

[0080] Например, наиболее консервативный эксперт/участник краудсорсинга (обладающий высоким значением параметра скрупулезности) назначает положительную версию ярлыка 306 только идеальным результатам (т.е. данному обучающему объекту 304, который оценивается данным экспертом/участником краудсорсинга как высокорелевантный обучающему запросу 302). Другой эксперт/участник краудсорсинга, который является менее скрупулезным в оценках (имеет относительно низкое значение параметра скрупулезности) назначает положительную версию ярлыка 306 и хорошим, и идеальным документам (т.е. данному обучающему объекту 304, который оценивается данным экспертом/участником краудсорсинга как высокорелевантный или релевантный обучающему запросу 302).

[0081] Без ограничения какой-то конкретной теорией варианты осуществления настоящего технического решения основываются на предположении о том, что чем больше параметр скрупулезности, связанный с данным экспертом/участником краудсорсинга, тем больший весовой параметр должен быть назначен ярлыку 306, созданному данным экспертом/участником краудсорсинга.

[0082] Варианты осуществления настоящего технического решения дополнительно основываются на дополнительном предположении о том, что качество назначения ярлыков объектам различается у различных экспертов/участников краудсорсинга и в разных задачах. Например, достоверность конкретного ярлыка 306 может быть низкой (например, из-за некоторых или всех пунктов: эксперты/участники краудсорсинга, которые присваивали ярлыки данным обучающим объектам 204, 206, 208 делают много ошибок в проверочных задачах, данный ярлык 306 противоречит другим ярлыкам, назначенным другими экспертами/участниками краудсорсинга, работающими над теми же самыми данными объектами 204, 206, 208 обучения и т.д.)

[0083] В соответствии с вариантами осуществления настоящего технического решения такой данный ярлык 306 должен иметь меньший вклад в приложение 160 ранжирования. Варианты осуществления настоящего технического решения определяют этот вклад по весовому параметру. Чем больше достоверность ярлыка 306, тем больше должен быть его соответствующий вес.

[0084] В соответствии с различными вариантами осуществления настоящего технического решения обучающий сервер 130 назначает весовой параметр данному ярлыку 306 (и, таким образом, данному обучающему объекту 204, 206, 208) по меньшей на основе одного пункта из: параметра скрупулезности, связанного с экспертом/участником краудсорсинга, параметра качества, связанного с экспертом/участником краудсорсинга, и других параметров, представленных в векторе 308 характеристик объекта.

[0085] С другой стороны, конкретный эксперт/участник краудсорсинга может быть более консервативным, чем другой эксперт/участник краудсорсинга. Например, данный эксперт/участник краудсорсинга может назначать положительный ярлык 306 только «идеальным» парам «запрос-документ», а другой эксперт/участник краудсорсинга назначает положительный ярлык каждой паре «запрос-документ», если она не является полностью нерелевантной.

[0086] В этом случае варианты осуществления настоящего технического решения придадут больше значения ярлыку 306, назначенному первым экспертом/участником краудсорсинга, чем ярлыку 306, назначенному вторым экспертом/участником краудсорсинга. Это отражается на параметре релевантности, назначенном данному ярлыку 306, причем параметр релевантности представляет собой переназначенное (или «модерированое») значение данного ярлыка 306. Таким образом, варианты осуществления настоящего технического решения.

[0087] В некоторых вариантах осуществления настоящего технического решения обучающий сервер 130 может преобразовывать весовой параметр и параметр релевантности с использованием сигмоидального преобразования, которое обеспечивает попадание всех весовых параметров и параметров релевантности в интервал [0, 1].

[0088] Пример обучающей выборки 202

[0089] В качестве примера неограничивающего варианта осуществления настоящего технического решения данная обучающая выборка 202 может быть реализована следующим образом.

[0090] Пример обучающей выборки 202 может включать в себя 7200 обучающих объектов 204, 206, 208. В примере обучающей выборки 202 может быть 132000 пар запрос-документ для оценки участниками краудсорсинга и/или профессиональными экспертами. Ярлыки 306 могут быть оценены 1720 участниками краудсорсинга и/или профессиональными экспертами. Среднее число задач на участника краудсорсинга и/или профессионального эксперта может составлять примерно 200. Для проверки качества оценок могут быть представлены проверочные задачи, причем число проверочных задач может составлять около 1900.

[0091] Создание вектора 308 характеристик объекта

[0092] Вектор 308 характеристик объекта может основываться на стандартных характеристиках ранжирования, например, без введения ограничений: релевантность текста и ссылок, характеристики запроса, качество документа, характеристики пользовательского поведения и так далее.

[0093] В дополнение к характеристикам ранжирования вектор 308 характеристик объекта может основываться на характеристиках ярлыка, связанных с данным ярлыком 306 - численная информация, связанная с экспертом/участником краудсорсинга, который назначил ярлык 306, численное значение, представляющее задачу; численное значение, связанное с самим по себе ярлыком 306 и так далее.

[0094] Конкретный выбор характеристик ярлыка никак конкретно не ограничивается, общей целью характеристик ярлыка является приближение данного ярлыка 306 к истине. Чтобы создать характеристики для ярлыков 306, обучающий сервер 130 может применять классические консенсусные модели.

[0095] Переназначение и перевешивание функций; обучение MLA

[0096] В некоторых вариантах осуществления настоящего технического решения определение весового параметра и параметра релевантности выполняется соответственно функцией перевешивания и функцией переназначения.

[0097] В соответствии с вариантами осуществления настоящего технического решения обучающий сервер 130 выполняет функцию перевешивания и функцию переназначения следующим образом.

[0098] Ниже используются следующие условные обозначения.

• X - обучающая выборка 202 с ярлыками, присвоенными с помощью краудсорсинговой платформы (т.е. с привлечением участников краудсорсинга) или профессиональных экспертов, где:

X^TARGET - часть обучающей выборки 202, которой присвоены точные ярлыки с целью обучения (например, та часть обучающей выборки 202, которой присвоены ярлыки с помощью профессиональных экспертов во время суб-фазы 284).

X^SOURCE - часть обучающей выборки 202 с предварительными вариантами ярлыков 306.

X^TRAIN - часть обучающей выборки 202, обладающая обработанным весовым параметром и параметром релевантности, т.е. включающая в себя вывод Р (ниже).

• N - число характеристик запрос-документ для обучающих объектов 204, 206, 208 в обучающей базе данных 202.

• М - число характеристик ярлыка для обучающих объектов 204, 206, 208 в обучающей базе данных 202.

• S - число обучающих объектов 204, 206, 208 в обучающей базе данных 202.

• X₁ - вектор ранжирования характеристик «запрос-документ» для данных обучающих объектов 204, 206, 208 (т.е. i X обучающей выборки 202).

• y₁ - вектор характеристик ярлыка данных обучающих объектов 204, 206, 208 (т.е. i X обучающей выборки 202).

• Р - алгоритм для предварительной обработки предварительных обучающих объектов 204, 206, 208 с преобразованием их в обработанные объекты 204, 206, 208 (т.е. перевешенные и переназначенные обучающие объекты).

• R - MLA, используемый приложением 160 ранжирования.

• μ - параметр L₂-регуляризации функций перевешивания и переназначения.

• F_A - ранкер, обученный с использованием алгоритма R.

• α - М-мерный вектор-столбец весового параметра.

•

- М-мерный вектор-столбец параметров ярлыка, используемых в Р.

• w_i - весовой параметр данного обучающего объекта 204, 206, 208 (т.е. i X).

•

- переназначенный ярлык данного обучающего объекта 204, 206, 208 (т.е. i X).

• Х - матрица S×N характеристик ранжирования для X.

• Y - матрица S×M характеристик значений релевантности ярлыков для X.

• W - диагональная матрица S×S с весами w_i.

•

- S-мерный вектор-столбец ярлыков l_i.

• b - N-мерный вектор-столбец параметров линейного ранкера.

[0099] Пусть S - число обучающих объектов 204, 206, 208 в обучающей выборке 202 (X), а обучающая выборка 202 (X) - матрица S×N c i-й строкой x₁, представляющей характеристики «запрос-документ» i-го обучающего объекта 204, 206, 208. Пусть Y - матрица S×N с i-й строкой y₁, представляющей характеристики i-го обучающего объекта 204, 206, 208. Пусть

- вектор-столбец ярлыков

в обучающей выборке 202 (X), a W - диагональная матрица S×S с

.

[00100] В соответствии с вариантами осуществления настоящего технического решения обучающий сервер 130 выполнен с возможностью осуществления следующих процедур определения.

[00101] Обучение приложения 160 ранжирования может быть выражено следующим образом:

[00102] Пусть:

и пусть

будет вектором - столбцом значений ранкера.

[00103] F_A в обучающей выборке 202. Дифференцирование уравнения

по α_i дает следующее:

[00104] Преобразование Формулы 2 дает:

[00105] Определение производной b по β из Формулы 1 может быть выполнено следующим образом:

[00106] С учетом этих выражений можно определить производные объектной функции μ по параметрам этапа обработки α (α1…, α_М) и аналогично β (1…, β_М):

[00107]

- градиент LambdaRank, и сумма взята по всем обучающим объектам 204, 206, 208 i в обучающей выборке 202,

[00108] Неограничивающий пример алгоритма для обучения этапа Р обработки приведен ниже в виде псевдокода. Начальные значения параметров α° соответствуют весам всего блока, а начальные значения β° соответствуют значениям I_i релевантности, совпадая с ярлыками.

[00109] В соответствии с вариантами осуществления настоящего технического решения таким образом полученная перевешенная и переназначенная обучающая выборка 202 с соответствующими весовыми параметрами и связанными параметрами релевантности могут быть использованы напрямую для обучения приложения 160 ранжирования.

[00110] С учетом архитектуры и примеров, приведенных выше, возможно выполнить компьютерный способ обучения поискового ранкера (а именно приложения 160 ранжирования), причем поисковый ранкер выполнен с возможностью ранжировать поисковые результаты. На Фиг. 4 представлена блок-схема способа 400, который может быть реализован в соответствии с вариантами осуществления настоящего технического решения, не ограничивающими его объем. Способ 400 может выполняться обучающим сервером 130.

[00111] Этап 402 - извлечение сервером обучающей выборки, включающей в себя множество обучающих объектов, причем каждому обучающему объекту в обучающей выборке был назначен ярлык и каждый обучающий объект был связан с вектором характеристик объекта

[00112] Способ 400 начинается на этапе 402, на котором обучающий сервер 130 извлекает обучающую выборку, включающую в себя множество обучающих объектов, причем каждому обучающему объекту в обучающей выборке был назначен ярлык и каждый обучающий объект был связан с вектором характеристик объекта.

[00113] В некоторых вариантах осуществления способа 400 обучающая выборка 202 является краудсорсинговой обучающей выборкой.

[00114] В некоторых вариантах осуществления способа 400 обучающая выборка 202 является краудсорсинговой обучающей выборкой и каждому обучающему объекту 204, 206, 208 в обучающей выборке 202 был назначен ярлык участником краудсорсинга.

[00115] В некоторых вариантах осуществления способа 400 вектор характеристик объекта по меньшей мере частично основан на данных, связанных с участником краудсорсинга, назначающим ярлык данному обучающему объекту 204, 206, 208. В некоторых вариантах осуществления способа 400 данные представляют по меньшей мере одно из: активности просмотра участника краудсорсинга; временной интервал, проведенный за просмотром данного обучающего объекта; уровень опыта, связанный с участником краудсорсинга, параметр скрупулезности, связанный с участником краудсорсинга.

[00116] В некоторых вариантах осуществления способа 400 вектор характеристик объекта по меньшей мере частично основан на данных, связанных с характеристиками ранжирования данного обучающего объекта 204, 206, 208. В некоторых вариантах осуществления настоящего технического решения способ 400 дополнительно включает в себя определение вектора характеристик объекта.

[00117] В некоторых вариантах осуществления способа 400 способ 400 также включает в себя определение вектора характеристик объекта на основе множества характеристик объекта. Множество характеристик объекта может включать в себя по меньшей мере характеристики ранжирования и характеристики ярлыков, и способ 400 может дополнительно включать в себя этап организации характеристики объектов в виде матрицы со строками, которые представляют собой характеристики ранжирования и столбцами, которые представляют собой характеристики ярлыков. В этих вариантах осуществления настоящего технического решения, не ограничивающих его объем, этап определения вектора характеристик объекта может включать в себя определение объектной характеристики на основе матрицы (см. выше Формулу 5).

[00118] Этап 404 - для каждого обучающего объекта на основе соответствующего связанного вектора характеристик объекта осуществляется: определение весового параметра, причем весовой параметр указывает на качество ярлыка; определение параметра релевантности, причем параметр релевантности указывает на модерированное значение ярлыка относительно других ярлыков в обучающей выборке

[00119] На этапе 404 для каждого обучающего объекта на основе соответствующего связанного вектора характеристик объекта обучающий сервер 130 осуществляет: определение весового параметра, причем весовой параметр указывает на качество ярлыка; определение параметра релевантности, причем параметр релевантности указывает на модерированное значение ярлыка относительно других ярлыков в обучающей выборке.

[00120] В некоторых вариантах осуществления способа 400 способ 400 дополнительно включает в себя обучение функции параметра релевантности для определения параметра релевантности для каждого обучающего объекта 204, 206, 208 с использованием соответствующего связанного вектора характеристик объекта с помощью оптимизации качества ранжирования поискового ранкера.

[00121] В некоторых вариантах осуществления способа 400 способ 400 дополнительно включает в себя обучение весовой функции для определения весового ярлыка для каждого обучающего объекта 204, 206, 208 на основе соответствующего связанного вектора характеристик объекта с помощью оптимизации качества ранжирования поискового ранкера.

[00122] В некоторых вариантах осуществления способа 400 параметр релевантности определяется функцией параметра релевантности; весовой ярлык определяется весовой функцией; функция параметра релевантности и весовая функция были обучены независимо.

[00123] Этап 406 - обучение поискового ранкера, с использованием множества обучающих объектов из обучающей выборки, определенного параметра релевантности для каждого обучающего объекта из множества обучающих объектов обучающей выборки и определенного весового параметра для каждого объекта из множества обучающих объектов обучающей выборки, ранжировать новый документ.

[00124] На этапе 406 обучающий сервер 130 выполняет обучение поискового ранкера, с использованием множества обучающих объектов из обучающей выборки, определенного параметра релевантности для каждого обучающего объекта из множества обучающих объектов обучающей выборки и определенного весового параметра для каждого объекта из множества обучающих объектов обучающей выборки, ранжировать новый документ.

[00125] В некоторых вариантах осуществления способа 400 поисковый ранкер выполнен с возможностью выполнять алгоритм машинного обучения, и обучение поискового ранкера включает в себя обучение алгоритма машинного обучения.

[00126] В некоторых вариантах осуществления способа 400 алгоритм машинного обучения основан либо на обучении с учителем, либо на обучении с частичным привлечением учителя. В некоторых вариантах осуществления способа 400 алгоритм машинного обучения является одним из: алгоритм на основе нейронной сети, алгоритм на основе деревьев принятия решений, MLA на основе обучения ассоциативным правилам, MLA на основе глубинного обучения, MLA индуктивно логически запрограммированный MLA, MLA на основе метода опорных векторов, MLA на основе кластеризации, Байесова сеть, MLA на основе обучения с подкреплением, MLA на основе репрезентативного обучения, MLA на основе метрик схожести, MLA на основе разреженного словаря и MLA на основе генетического алгоритма.

[00127] В некоторых вариантах осуществления способа 400 обучение основано на цели прямой оптимизации качества поискового ранкера.

[00128] В вышеописанных вариантах осуществления технического решения, показанных с учетом конкретных этапов, выполненных в определенном порядке, следует иметь в виду, что эти этапы могут быть совмещены, разделены, могут обладать другим порядком выполнения - все это не выходит за границы настоящего технического решения. Соответственно, порядок и группировка этапов не являются ограничением для настоящего технического решения.

[00129] Варианты осуществления настоящего технического решения дают возможность обучить функции перевешивания и переназначения, которые выводят уточненные весовые параметры и параметры релевантности с помощью сбора и анализа информации об эксперте (будь то участник краудсорсинга или профессиональный эксперт). Использование весового параметра и параметра релевантности в обучении алгоритма машинного обучения, который применяется в приложении 160 ранжирования, повышает качество функции ранжирования, определенной таким алгоритмом машинного обучения. Варианты осуществления настоящего технического решения напрямую оптимизируют качество функции ранжирования приложения 160 ранжирования (в отличие от подходов известного уровня техники к консенсусному моделированию и снижению шума), поскольку варианты осуществления настоящего технического решения используют характеристики ярлыка (такие как выводы различных консенсусных моделей, информацию о ранкерах, информацию о задаче и так далее).

[00130] Исходя из вышеизложенного, по меньшей мере некоторые варианты осуществления настоящего технического решения, описанные выше, можно изложить следующим образом, структурированно, пронумерованными пунктами.

[00131] ПУНКТ 1. Компьютерный способ (400) обучения поискового ранкера (132), причем поисковой ранкер выполнен с возможностью ранжировать поисковые результаты, способ выполняется на сервере (130, 132), связанном с поисковым ранкером, и включает в себя:

[00132] извлечение (402) сервером обучающей выборки (202), включающей в себя множество обучающих объектов (204 206, 208), причем каждому обучающему объекту в обучающей выборке был назначен ярлык (306), и каждый обучающий объект связан с вектором (308) характеристик объекта;

[00133] для каждого обучающего объекта на основе соответствующего связанного вектора характеристик объекта осуществляется (404):

[00134] определение весового параметра, причем весовой параметр указывает на качество ярлыка;

[00135] определение параметра релевантности, причем параметр релевантности указывает на модерированное значение ярлыка относительно других ярлыков в обучающей выборке;

[00136] обучение (406) поискового ранкера, с использованием множества обучающих объектов из обучающей выборки, определенного параметра релевантности для каждого обучающего объекта из множества обучающих объектов обучающей выборки и определенного весового параметра для каждого объекта из множества обучающих объектов обучающей выборки, ранжировать новый документ.

[00137] ПУНКТ 2. Способ (400) по п. 1, в котором обучающая выборка (202) поиска является краудсорсинговой обучающей выборкой.

[00138] ПУНКТ 3. Способ (400) по п. 1, в котором обучающая выборка (202) является краудсорсинговой обучающей выборкой, и каждому обучающему объекту (204, 206, 208) в обучающей выборке участником краудсорсинга был назначен ярлык.

[00139] ПУНКТ 4. Способ (400) по любому из пп. 2-3, в котором вектор (308) характеристик объекта по меньшей мере частично основан на данных, связанных с участниками краудсорсинга, назначающими ярлык данному обучающему объекту (204, 206, 208).

[00140] ПУНКТ 5. Способ (400) по п. 4, в котором данные представляют по меньшей мере одно из: активности просмотра участника краудсорсинга; временной интервал, проведенный за просмотром данного обучающего объекта; уровень опыта, связанный с участником краудсорсинга, параметр скрупулезности, связанный с участником краудсорсинга.

[00141] ПУНКТ 6. Способ (400) по любому из пп. 1-5, в котором вектор (308) характеристик объекта по меньшей мере частично основан на данных, связанных с характеристиками ранжирования данного обучающего объекта (204, 206, 208).

[00142] ПУНКТ 7. Способ (400) по любому из пп. 1-6, в котором способ в дальнейшем включает в себя обучение функции параметра релевантности определению параметра релевантности для каждого обучающего объекта (204, 206, 208) с использованием соответствующего связанного вектора (308) характеристик объекта с помощью оптимизации качества ранжирования поискового ранкера.

[00143] ПУНКТ 8. Способ (400) по любому из пп. 1-6, в котором способ дополнительно включает в себя обучение весовой функции определению весового ярлыка для каждого обучающего объекта (204, 206, 208) на основе соответствующего связанного вектора (308) характеристик объекта с помощью оптимизации качества ранжирования поискового ранкера.

[00144] ПУНКТ 9. Способ (400) по любому из пп. 1-6, в котором:

[00145] параметр релевантности определяется с помощью функции параметра релевантности;

[00146] весовой ярлык определяется весовой функцией;

[00147] функция параметра релевантности и весовая функция были обучены независимо.

[00148] ПУНКТ 10. Способ (400) по любому из пп. 1-9, в котором поисковый ранкер выполнен с возможностью выполнять алгоритм машинного обучения, и обучение поискового ранкера включает в себя обучение алгоритма машинного обучения.

[00149] ПУНКТ 11. Способ (400) по п. 10, в котором алгоритм машинного обучения основан либо на обучении с учителем, либо на обучении с частичным привлечением учителя.

[00150] ПУНКТ 12. Способ (400) по п. 10, в котором алгоритм машинного обучения является одним из: алгоритм на основе нейронной сети, алгоритм на основе деревьев принятия решений, MLA на основе обучения ассоциативным правилам, MLA на основе глубинного обучения, MLA индуктивно логически запрограммированный MLA, MLA на основе метода опорных векторов, MLA на основе кластеризации, Байесова сеть, MLA на основе обучения с подкреплением, MLA на основе репрезентативного обучения, MLA на основе метрик схожести, MLA на основе разреженного словаря и MLA на основе генетического алгоритма.

[00151] ПУНКТ 13. Способ по любому из пп. 1-12, в котором обучение основано на цели прямой оптимизации качества поискового ранкера.

[00152] ПУНКТ 14. Способ (400) по п. 1, в котором способ дополнительно включает в себя определение вектора (308) характеристик объекта на основе множества характеристик объекта.

[00153] ПУНКТ 15. Способ (400) по п. 14, в котором множество характеристик объекта включают в себя по меньшей мере характеристики ранжирования и характеристики ярлыка, и способ дополнительно включает в себя организацию характеристик объекта в матрицу, причем строки матрицы представляют собой характеристики ранжирования, а столбцы матрицы представляют собой характеристики ярлыка.

[00154] ПУНКТ 16. Способ (400) по п. 15, в котором определение вектора (308) характеристик объекта включает в себя определение объектной характеристики на основе матрицы.

[00155] ПУНКТ 17. Обучающий сервер (130, 132) для обучения поискового ранкера (132), причем сервер поискового ранкера ранжирует результаты поиска, обучающий сервер включает в себя:

[00156] сетевой интерфейс для функционального подключения к сети передачи данных;

[00157] процессор, соединенный с сетевым интерфейсом, процессор выполнен с возможностью осуществлять способ по любому из пп. 1-16.

[00158] Важно иметь в виду, что не все упомянутые здесь технические результаты могут проявляться в каждом из вариантов осуществления настоящего технического решения. Например, варианты осуществления настоящего технического решения могут быть реализованы без проявления некоторых технических результатов, а другие варианты могут быть реализованы с проявлением других технических результатов или вовсе без них.

[00159] Некоторые из этих этапов, а также передача-получение сигнала хорошо известны в данной области техники и поэтому для упрощения были опущены в конкретных частях данного описания. Сигналы могут быть переданы-получены с помощью оптических средств (например, оптоволоконного соединения), электронных средств (например, проводного или беспроводного соединения) и механических средств (например, на основе давления, температуры или другого подходящего параметра).

[00160] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений. Таким образом, объем настоящего технического решения ограничен только объемом прилагаемой формулы изобретения.

Claims (32)

1. Компьютерный способ обучения средства ранжирования, причем средство ранжирования выполнено с возможностью ранжировать поисковые результаты, способ выполняется на сервере, связанном со средством ранжирования, и включает в себя:

извлечение сервером обучающей выборки, включающей в себя множество обучающих объектов, причем каждому обучающему объекту в обучающей выборке назначен ярлык, и каждый обучающий объект связан с вектором характеристик объекта;

для каждого обучающего объекта на основе соответствующего связанного вектора характеристик объекта осуществляется:

определение весового параметра, причем весовой параметр указывает на качество ярлыка, которое представляет собой уровень достоверности назначения ярлыка обучающему объекту;

определение параметра релевантности, причем параметр релевантности указывает на модерированное значение ярлыка, выполненное на основе переназначения сервером параметра релевантности, относительно других ярлыков в обучающей выборке;

обучение средства ранжирования, с использованием множества обучающих объектов из обучающей выборки, определенного параметра релевантности для каждого обучающего объекта из множества обучающих объектов обучающей выборки и определенного весового параметра для каждого объекта из множества обучающих объектов обучающей выборки, ранжировать новый документ.

2. Способ по п. 1, в котором обучающая выборка поиска является краудсорсинговой обучающей выборкой.

3. Способ по п. 1, в котором обучающая выборка является краудсорсинговой обучающей выборкой, и каждому обучающему объекту в обучающей выборке участником краудсорсинга был назначен ярлык.

4. Способ по п. 3, в котором вектор характеристик объекта по меньшей мере частично основан на данных, связанных с участниками краудсорсинга, назначающими ярлык данному обучающему объекту.

5. Способ по п. 4, в котором данные представляют по меньшей мере одно из: активности просмотра участника краудсорсинга; временной интервал, проведенный за просмотром данного обучающего объекта; уровень опыта, связанный с участником краудсорсинга, параметр скрупулезности, связанный с участником краудсорсинга.

6. Способ по п. 1, в котором вектор характеристик объекта по меньшей мере частично основан на данных, связанных с характеристиками ранжирования данного обучающего объекта.

7. Способ по п. 1, в котором дополнительно выполняют обучение средства ранжирования с использованием определенного параметра релевантности для каждого обучающего объекта с использованием соответствующего связанного вектора характеристик объекта с помощью оптимизации качества ранжирования средства ранжирования.

8. Способ по п. 1, в котором дополнительно выполняют обучение средства ранжирования с использованием определенного весового параметра для определения весового ярлыка для каждого обучающего объекта на основе соответствующего связанного вектора характеристик объекта с помощью оптимизации качества ранжирования средства ранжирования.

9. Способ по п. 1, в котором:

параметр релевантности определяется с помощью функции параметра релевантности;

весовой ярлык определяется весовой функцией;

а функция параметра релевантности и весовая функция обучены независимо.

10. Способ по п. 1, в котором средство ранжирования выполнено с возможностью выполнять алгоритм машинного обучения, и обучение средства ранжирования включает в себя обучение алгоритма машинного обучения.

11. Способ по п. 10, в котором алгоритм машинного обучения основан либо на обучении с учителем, либо на обучении с частичным привлечением учителя.

12. Способ по п. 10, в котором алгоритм машинного обучения является одним из: алгоритм на основе нейронной сети, алгоритм на основе деревьев принятия решений, MLA на основе обучения ассоциативным правилам, MLA на основе глубинного обучения, MLA индуктивно логически запрограммированный MLA, MLA на основе метода опорных векторов, MLA на основе кластеризации, Байесова сеть, MLA на основе обучения с подкреплением, MLA на основе репрезентативного обучения, MLA на основе метрик схожести, MLA на основе разреженного словаря и MLA на основе генетического алгоритма.

13. Способ по п. 1, в котором обучение основано на цели прямой оптимизации качества средства ранжирования.

14. Способ по п. 1, в котором дополнительно выполняют определение вектора характеристик объекта на основе множества характеристик объекта.

15. Способ по п. 14, в котором множество характеристик объекта включает в себя по меньшей мере характеристики ранжирования и характеристики ярлыка, и в котором дополнительно выполняют организацию характеристик объекта в матрицу, причем строки матрицы представляют собой характеристики ранжирования, а столбцы матрицы представляют собой характеристики ярлыка.

16. Способ по п. 15, в котором определение вектора характеристик объекта включает в себя определение объектной характеристики на основе матрицы.

17. Обучающий сервер для обучения средства ранжирования, причем сервер средства ранжирования ранжирует результаты поиска, обучающий сервер включает в себя:

сетевой интерфейс для функционального подключения к сети передачи данных;

процессор, соединенный с сетевым интерфейсом и выполненный с возможностью осуществлять:

извлечение обучающей выборки, включающей в себя множество обучающих объектов, причем каждому обучающему объекту в обучающей выборке назначен ярлык, и каждый обучающий объект связан с вектором характеристик объекта;

для каждого обучающего объекта на основе соответствующего связанного вектора характеристик объекта:

определение весового параметра, причем весовой параметр указывает на качество ярлыка, которое представляет собой уровень достоверности назначения ярлыка обучающему объекту;

определение параметра релевантности, причем параметр релевантности указывает на модерированное значение ярлыка, выполненное на основе переназначения сервером параметра релевантности, относительно других ярлыков в обучающей выборке;

обучение средства ранжирования с использованием множества обучающих объектов из обучающей выборки, определенного параметра релевантности для каждого обучающего объекта из множества обучающих объектов обучающей выборки и определенного весового параметра для каждого объекта из множества обучающих объектов обучающей выборки, ранжировать новый документ.

Images