RU2435212C2 - Сбор данных о пользовательском поведении при веб-поиске для повышения релевантности веб-поиска - Google Patents
Сбор данных о пользовательском поведении при веб-поиске для повышения релевантности веб-поиска Download PDFInfo
- Publication number
- RU2435212C2 RU2435212C2 RU2008135459/08A RU2008135459A RU2435212C2 RU 2435212 C2 RU2435212 C2 RU 2435212C2 RU 2008135459/08 A RU2008135459/08 A RU 2008135459/08A RU 2008135459 A RU2008135459 A RU 2008135459A RU 2435212 C2 RU2435212 C2 RU 2435212C2
- Authority
- RU
- Russia
- Prior art keywords
- user
- computer
- search results
- search
- behavior
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
- G06F16/337—Profile generation, learning or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Изобретение относится к системам и способам поиска информации в сети Интернет. Техническим результатом является расширение функциональных возможностей поиска в информационно-поисковой системе путем применения компонента пользовательского поведения. Компонент пользовательского поведения, связанный с поисковой машиной, может автоматически интерпретировать коллективное поведение пользователей (например, пользователей, производящих веб-поиск). Подобный компонент обратной связи может содержать поведенческие признаки пользователей и прогнозирующие модели (например, на основе компонента пользовательского поведения), которые устойчивы к шуму, который может присутствовать в наблюдаемых пользовательских взаимодействиях с результатами поиска (например, злонамеренные и/или иррациональные действия пользователя). 4 н. и 15 з.п. ф-лы, 10 ил.
Description
Уровень техники
При существующей распространенности «Всемирной паутины» и сети Internet пользователи могут получать информацию почти по любой теме из большого числа источников информации. Для поиска информации пользователи обычно применяют различные поисковые машины для решения информационно-поисковой задачи. Поисковые машины дают пользователям возможность нахождения веб-страниц, содержащих информацию или другой материал в сети Internet, который содержит конкретные слова или фразы.
В общем, поиск по ключевым словам может находить, в полную меру возможностей компьютера, все веб-сайты, которые содержат любую информацию, связанную с любыми ключевыми словами и фразами, которые заданы. Сайт поисковой машины будет содержать окно для ввода пользователями ключевых слов и кнопку для нажатия, чтобы начать поиск. Многие поисковые машины содержат рекомендации относительно того, как пользоваться ключевыми словами для эффективного поиска. Обычно упомянутые рекомендации помогают пользователям задавать узкие поисковые условия, чтобы не получать обратно постороннюю и нерелевантную информацию, и чтобы процесс поиска информации не становился беспорядочным. Подобное ручное сужение условий может подавить получение нескольких тысяч сайтов путем сортировки при просмотре определенной информации.
В некоторых случаях темы поиска предварительно организуют на тематические области и подтематические области. Например, поисковая машина «Yahoo» обеспечивает иерархически организованный заданный список возможных тем (например, бизнес, государственное управление, наука и т.п.), из которых пользователь будет выбирать в списке тему и затем дополнительно выбирать подтему. Другой пример заданных списков тем широко применяется в справочных утилитах настольных персональных компьютеров, в которых пользователю предлагается список справочных тем и относящихся к ним подтем. Хотя упомянутые заданные иерархические структуры могут быть полезны в некоторых контекстах, пользователи часто нуждаются в поиске/запросе информации, находящейся за пределами упомянутых заданных списков и/или не содержащейся в них. Следовательно, часто используют поисковые машины или другие поисковые системы для предоставления пользователям возможности прямых запросов, чтобы находить требуемую информацию. Тем не менее, во время производимого пользователями поиска получают много нерелевантных результатов, поскольку пользователи не могут быть уверены в том, как создать или построить конкретный запрос. Более того, упомянутые системы обычно требуют от пользователей неоднократного видоизменения запросов и уточнения найденных результатов поиска для получения разумного числа результатов для изучения.
Нередко случается, что в поле ввода запроса поисковой системы вводят слово или фразу и затем получают несколько миллионов результатов в качестве возможных подходящих вариантов. Чтобы разобраться с большим числом полученных подходящих вариантов, пользователю часто потребуется попробовать другие комбинации слов для дополнительного сужения списка.
В общем, поисковая система будет ранжировать результаты в соответствии с прогнозируемой релевантностью результатов относительно запроса. Ранжирование обычно основано на функции, которая объединяет много параметров, включая сходство веб-страницы с запросом, а также собственное качество документа, часто логически выводимое из информации о веб-топологии. Качество впечатлений пользователя от поиска прямо зависит от качества функции ранжирования, так как пользователь обычно не просматривает результаты низкого ранга.
В общем, поисковая система будет пробовать подбирать или находить все темы, связанные с введенным пользовательским запросом, независимо от того, имеют ли «искомые» темы какую-либо контекстную связь с тематической(ким) областью или классом, которые фактически интересуют пользователя. Например, если пользователь, который проявил интерес к астрономии, собрался ввести запрос «Сатурн» в обычную поисковую машину, то, вероятно, должны быть получены все типы нерелевантных результатов, включая результаты, относящиеся к автомобилям, автомобильным дилерам, компьютерным играм и другим сайтам, содержащим слово «Сатурн». Другая проблема реализаций обычного поиска состоит в том, что поисковые машины работают одинаковым образом для всех пользователей, независимо от различия потребностей и обстоятельств пользователей. Следовательно, если два пользователя вводят одинаковый поисковый запрос, они обычно получают одинаковые результаты, независимо от их интересов или характеристик, предыстории поиска, текущего контекста вычислений (например, открытых файлов) или контекста среды (например, местоположения, применяемой машины, времени суток, дня недели).
Настройка функций ранжирования поиска для получения релевантных результатов во главе обычно требует значительных усилий. Общий подход к современным поисковым машинам заключается в том, чтобы обучать функции ранжирования и настраивать параметры и весовые коэффициенты функций автоматически, на основе примеров результатов поиска, оцениваемых ручным способом. Ручные аннотаторы могут в явном виде оценивать набор страниц для запроса в соответствии с ощущаемой релевантностью и создавать «золотой стандарт», по которому можно настраивать и оценивать разные алгоритмы ранжирования. Однако явные ручные оценки являются дорогостоящими и сложными для получения, часто приводящими к недостаточно обученным и неоптимальным функциям ранжирования.
Сущность изобретения
Ниже представлена упрощенная сущность изобретения, чтобы обеспечить понимание основ некоторых аспектов заявленного предмета изобретения. Упомянутая сущность изобретения не дает всестороннего общего представления. Сущность изобретения не предназначена для обозначения ключевых/критических элементов или определения объема заявленного предмета изобретения. Единственной целью является представление некоторых концепций в упрощенной форме в качестве вводной части к более подробному описанию, которое приведено в дальнейшем.
Настоящее изобретение улучшает ранжирование поиска в информационно-поисковой системе путем применения компонента пользовательского поведения, который облегчает автоматическую интерпретацию коллективного пользовательского поведения, чтобы оценивать пользовательские предпочтения в отношении одной позиции по сравнению с другой позицией. Затем упомянутые предпочтения можно использовать для различных целей, например для совершенствования ранжирования результатов. Компонент пользовательского поведения может взаимодействовать с поисковой(выми) машиной(нами) и содержать возможности обратной связи, которые ослабляют шум, который обычно сопутствует пользовательскому поведению (например, злонамеренной и/или иррациональной деятельности пользователя). При использовании совокупного пользовательского поведения (например, без рассмотрения каждого пользователя как отдельного эксперта) настоящее изобретение может ослаблять шум и формировать релевантные оценки на основе обратной связи с пользователями. Компонент пользовательского поведения может использовать неявную или явную обратную связь с пользователями и их взаимодействие с результатами предшествующих запросов. Ключевые поведенческие признаки содержат презентационные признаки, которые могут помогать пользователю при определении того, является ли результат релевантным, путем просмотра заголовка и описания результата; признаки поиска и просмотра, например время, проводимое на странице, способ получения доступа к результатам поиска (например, посредством других ссылок), отклонение от среднего времени на домене и т.п.; признаки щелчка мышью, например число щелчков мышью на конкретном результате по запросу. Для данной пары запрос-результат изобретение обеспечивает несколько наблюдаемых и производных значений признаков для каждого типа признака.
Компонент пользовательского поведения может использовать управляемую данными модель пользовательского поведения. Например, компонент пользовательского поведения может моделировать пользовательское поведение при веб-поиске, как если бы оно формировалось двумя компонентами: «фоновым» компонентом (например, пользовательских беспорядочных щелчков мышью) и компонентом «релевантности», (например, поведением, обусловленным запросом, которое направляется релевантностью результата по отношению к запросу).
В соответствии с дополнительным аспектом настоящего изобретения, компонент пользовательского поведения может формировать и/или моделировать отклонения от ожидаемого пользовательского поведения. Следовательно, возможно вычисление производных признаков, при этом такие производные признаки в явном виде отражают отклонение наблюдаемого значения признака для данного результата поиска от ожидаемых значений для результата без информации, зависящей от запроса.
Кроме того, компонент пользовательского поведения в соответствии с настоящим изобретением может использовать модели, содержащие два типа признаков для описания пользовательского поведения, а именно прямой и девиационный, при этом первый тип относится к непосредственно измеренным значениям, и второй тип относится к отклонению от ожидаемых значений, оцениваемых на основе общих (не зависящих от запроса) распределений для соответствующих непосредственно наблюдаемых признаков. Соответственно, наблюдаемое значение o признака f для запроса q и результата r может быть выражено как сумма двух компонентов:
где C(r, f) означает предшествующее «фоновое» распределение для значений f, собранных по всем запросам, соответствующим r, и rel(q, r, f) означает компонент «релевантности» поведения, на который влияет релевантность результата по отношению к запросу. Например, оценка релевантности пользовательского поведения может быть получена с помощью признака щелчка мышью путем вычитания фонового распределения из наблюдаемой частоты щелчка мышью в данном положении. Для ослабления эффекта индивидуальных вариаций пользовательского поведения, в соответствии с настоящим изобретением, можно усреднять значения признаков по всем пользователям и поисковым сеансам для каждой пары запрос-результат. Такое объединение может обеспечить дополнительную надежность, при этом не полагаются на сопряженные «с шумом» индивидуальные пользовательские взаимодействия.
Соответственно, пользовательское поведение применительно к паре запрос-ответ можно представить вектором признаков, который содержит значения как непосредственно наблюдаемых признаков, так и производных, «скорректированных», признаков. Различные методы обучения машины можно также применять в сочетании с обучением алгоритмов ранжирования для информационно-поисковых систем. Например, сначала могут обеспечиваться явные ручные оценки релевантности для различных поисковых запросов и затем применяться для последующего обучения алгоритмов ранжирования.
В соответствии со связанным аспектом, коллективное поведение пользователей, взаимодействующих с поисковой машиной для веб-сайтов, можно автоматически интерпретировать для прогнозирования будущих пользовательских приоритетов; следовательно, система может адаптироваться к изменению характеров поведения пользователей и разным параметрам настройки поиска посредством автоматического переобучения системы с помощью самых последних данных о пользовательском поведении.
Для достижения вышеописанных и связанных целей некоторые наглядные аспекты заявленного предмета изобретения поясняются в настоящей заявке в связи с нижеследующим описанием и прилагаемыми чертежами. Упомянутые аспекты характеризуют различные способы, с помощью которых можно практически реализовать предмет настоящего изобретения и которые считаются находящимися в пределах объема заявленного изобретения. Другие преимущества и элементы новизны могут стать очевидными из нижеследующего подробного описания при его изучении в связи с чертежами.
Краткое описание чертежей
Фиг.1 - блок-схема компонента пользовательского поведения в соответствии с примерным аспектом настоящего изобретения.
Фиг.2 - блок-схема системы, которая включает в себя компонент пользовательского поведения и взаимодействует с моделью обучения поисковой машины, в соответствии с аспектом настоящего изобретения.
Фиг.3 - блок-схема системы, которая включает в себя компонент ранжирования, функционально соединенный с компонентом пользовательского поведения, и поисковую машину, в соответствии с примерным аспектом настоящего изобретения.
Фиг.4 - таблица признаков, которые отражают операции пользователя по поиску и просмотру, в соответствии с аспектом настоящего изобретения.
Фиг.5 - изображение автоматизированной информационно-поисковой системы, которая использует компонент обучения машины, в соответствии с аспектом настоящего изобретения.
Фиг.6 - изображение компонента пользовательского поведения, который взаимодействует с множеством системных признаков, которые отражают действия пользователя, в соответствии с конкретным аспектом настоящего изобретения.
Фиг.7 - примерная методология интерпретации пользовательского поведения для оценки пользовательских предпочтений в соответствии с аспектом настоящего изобретения.
Фиг.8 - методология реализации пользовательского поведения как части ранжирования значений в соответствии с аспектом настоящего изобретения.
Фиг.9 - примерная среда для реализации различных аспектов изобретения.
Фиг.10 - структурная схема дополнительной вычислительной среды, которую можно использовать для реализации различных аспектов изобретения.
Подробное описание
Различные аспекты изобретения описаны ниже со ссылкой на прилагаемые чертежи, на которых одинаковые позиции служат сквозными обозначениями сходных или соответствующих элементов. Однако следует понимать, что чертежи и подробное описание, относящееся к ним, не предназначены для ограничения заявленного предмета изобретения конкретным предложенным вариантом. Наоборот, изобретение должно охватывать все модификации, эквиваленты и альтернативные варианты, не выходящие за пределы сущности и объема заявленного предмета изобретения.
В целях настоящего описания, термины «компонент», «система», «признак» и т.п. предназначены также для обозначения объекта, имеющего отношение к компьютерам, либо аппаратного обеспечения, комбинации из аппаратного обеспечения и программного обеспечения, программного обеспечения или программного обеспечения в процессе исполнения. Например, компонент может быть, но не в качестве ограничения, процессом, выполняемым в процессоре, процессором, объектом, исполняемым файлом, потоком выполнения, программой и/или компьютером. В качестве иллюстрации, как приложение, выполняемое в компьютере, так и компьютер могут быть компонентом. По меньшей мере, один компонент может постоянно находиться в процессе и/или потоке выполнения, и компонент может быть локализован в одном компьютере и/или распределен между двумя или более компьютерами.
Термин «примерный» применяется в настоящей заявке для обозначения примера, отдельного случая или пояснения. Любой аспект или схему, описанные в настоящей заявке в качестве «примерных», не обязательно следует толковать как предпочтительные или выигрышные по сравнению с другими аспектами или схемами.
Кроме того, предлагаемый предмет изобретения можно реализовать в виде системы, способа, устройства или изделия, использующего стандартное программирование и/или технические методы для создания программного обеспечения, встроенных программ, аппаратного обеспечения или любой их комбинации для управления компьютером или процессорным устройством, чтобы реализовать аспекты, подробно описанные в настоящей заявке. Термин компьютерная программа, в целях настоящей заявки, предназначен для охвата компьютерной программы, которую можно выбрать из любого компьютерночитаемого устройства, носителя или среды. Например, машиночитаемые носители могут содержать, но не в качестве ограничения, магнитные запоминающие устройства (например, жесткий диск, гибкий диск, магнитные ленты…), оптические диски (например, компакт-диск (CD), цифровой универсальный диск (DVD) …), смарт-карты и устройства флэш-памяти (например, плату, карту). Кроме того, следует понимать, что можно использовать электромагнитный сигнал передачи модулированной информации для передачи машиночитаемых электронных данных, например данных, применяемых при передаче и приеме электронной почты или при доступе к сети, например сети Internet или локальной сети (LAN). Разумеется, специалисты в данной области техники смогут понять, что возможно создание множества модификаций представленной конфигурации без выхода за пределы объема или сущности заявленного предмета изобретения.
На фиг.1 представлена блок-схема системы 100, которая включает в себя компонент пользовательского поведения, который взаимодействует с поисковой машиной, в соответствии с примерным аспектом настоящего изобретения. Компонент 104 пользовательского поведения, связанный с поисковой машиной 102, может автоматически интерпретировать коллективное поведение пользователей 101, 103, 105 (1-N, где N является целым числом). Такой компонент 104 пользовательского поведения может содержать возможности обратной связи, которые ослабляют шум, который обычно сопутствует пользовательскому поведению (например, злонамеренные и/или иррациональные действия пользователя). При использовании совокупного пользовательского поведения пользователей 101, 103, 105 (например, без рассмотрения каждого пользователя как отдельного эксперта) система 100 может ослаблять шум и формировать релевантные оценки на основе обратной связи с пользователями.
Компонент 104 пользовательского поведения может взаимодействовать с компонентом ранжирования. Для данного запроса компонент 104 пользовательского поведения выбирает прогнозные данные, полученные на основе ранее обученной поведенческой модели для данного запроса, и изменяет порядок результатов для запроса так, что результаты, которые представляются релевантными для предшествующих пользователей, получают более высокий ранг. Например, для данного запроса q неявную оценку IS r можно вычислить для каждого результата r по имеющимся признакам пользовательского взаимодействия, что имеет следствием неявный ранг I r для каждого результата. Объединенную оценку SM(r) можно вычислить для r посредством объединения рангов, полученных на основе неявной обратной связи, Ir, с исходным рангом r, O r.
Весовой коэффициент 
является эвристически настраиваемым масштабным коэффициентом, который отражает относительную «значимость» неявной обратной связи. Результаты запроса могут упорядочиваться по уменьшающимся значениям SM(r) для получения окончательного ранжирования. Один конкретный случай подобной модели возникает при установке очень большого значения , фактически предписывающего присваивать результатам, на которых производился щелчок мышью, более высокий ранг, чем результатам, на которых не производился щелчок мышью, что является интуитивной и эффективной эвристической процедурой, которую можно применять в качестве базовой. В общем, вышеописанный подход предполагает, что не существует никаких взаимодействий между базовыми признаками, формирующими исходное ранжирование веб-поиска, и признаками неявной обратной связи. Другие аспекты настоящего изобретения смягчают упомянутое предположение путем включения признаков неявной обратной связи непосредственно в процесс ранжирования, как подробно поясняется ниже. Кроме того, следует понимать, что применимы более сложное пользовательское поведение и алгоритмы объединения средств ранжирования, и они не выходят за пределы настоящего изобретения.
На фиг.2 представлен дополнительный аспект настоящего изобретения, в котором поисковая машина 202 дополнительно содержит обучающую модель 204 в соответствии с аспектом настоящего изобретения. Обучающая модель 204 может дополнительно содержать модели дополнительных типов для описания пользовательского поведения, а именно наблюдаемый поведенческий признак 201 и производный поведенческий признак 203. Наблюдаемый поведенческий признак 201 представляет собой непосредственно измеряемые значения, и производный поведенческий признак 203 представляет собой отклонение от ожидаемых значений, оцениваемых на основе общих (не зависящих от запроса) распределений для соответствующих непосредственно наблюдаемых признаков. Соответственно, наблюдаемое значение o признака f для запроса q и результата r может быть выражено как сумма двух компонентов:
где C(r, f) означает предшествующее «фоновое» распределение для значений f, собранных по всем запросам, соответствующим r, и rel(q, r, f) означает компонент поведения, на которое влияет релевантность результатов. Например, оценку релевантности пользовательского поведения можно получить с помощью признака щелчка мышью путем вычитания фонового распределения (например, шума) из наблюдаемой частоты щелчка мышью в данном положении. Для ослабления эффекта индивидуальных вариаций пользовательского поведения, в соответствии с настоящим изобретением, возможно усреднение значений прямых признаков по всем пользователям и поисковым сеансам для каждой пары запрос-URL. Такое объединение может обеспечить дополнительную надежность, при этом не полагаются на сопряженные «с шумом» индивидуальные пользовательские взаимодействия. Соответственно, пользовательское поведение для пары запрос-URL можно отразить вектором признаков, который содержит значения как непосредственно наблюдаемых признаков, так и производных, «скорректированных», признаков.
На фиг.3 представлена блок-схема системы 300, которая включает в себя компонент 310 ранжирования, функционально соединенный с компонентом 315 пользовательского поведения, и поисковую машину 340, в соответствии с примерным аспектом настоящего изобретения. Обычно поисковая машина 340 может ранжировать результаты 350 поиска с учетом большого числа признаков, включая признаки на основе контента (например, насколько близко запрос соответствует тексту или заголовку, или тексту ссылки документа) и признаки качества страницы, не зависимые от запроса (например, PageRank (ранг страницы) документа или домена), как подробно описано ниже. Кроме того, поисковая машина 340 может применять автоматические (или полуавтоматические) способы для настройки конкретной функции ранжирования, которая объединяет значения таких признаков. Например, можно предположить, что пользователь, который подает запрос 360, будет выполнять конкретные действия. Такие действия могут содержать щелчки мышью, навигацию, введение уточнений запроса, пока не найден релевантный документ и т.п. После нахождения релевантного документа пользователь может решить, что его требование удовлетворено, и изменить поведение (например, читать документ). Настоящее изобретение позволяет разрабатывать достаточно богатый набор признаков, которые позволяли бы обнаруживать, когда пользователь удовлетворен найденным результатом. Упомянутые признаки зависят от представленных запросов и, следовательно, обусловлены запросом. Например, признаки/действия пользователя можно классифицировать на презентационные признаки, признаки поиска и просмотра и признаки щелчка мышью, что поясняется со ссылкой на фиг.4.
На фиг.4 приведена таблица признаков 400, которые представляют поисковые и просмотровые действия пользователя. Презентационные признаки 410 обычно предназначены для отражения квалификации пользователя, так как они влияют на некоторые или все аспекты поведения (например, пользователь может решиться на щелчок мышью на результате, исходя из презентационных признаков). Для моделирования такого аспекта квалификации пользователя настоящее изобретение может использовать такие признаки, как совпадение слов в заголовке и слов в запросе (TitleOverlap) и части слов, совместно используемых заголовком и резюме результата, так как упомянутые слова часто принимаются во внимание пользователями при принятии решения о том, щелкать ли мышью на резюме результата, чтобы просмотреть весь документ.
Аналогично, признак 420 поиска и просмотра может собирать и количественно выражать аспекты пользовательских взаимодействий с веб-страницей. Например, настоящее изобретение может вычислять отклонение времени выполнения операции от ожидаемого времени выполнения операции на страницу для запроса, что позволяет моделировать разброс поведения при поиске и просмотре страницы внутри запроса. Упомянутый признак может дополнительно содержать как прямые признаки, так и производные признаки, как подробно изложено выше. Аналогично, признаки 430 щелчка мышью являются примером пользовательского взаимодействия с результатами поисковой машины. Например, признаки щелчка мышью могут содержать число щелчков для пары запрос-результат или отклонение от ожидаемой вероятности щелчка.
Как показано на фиг.4, признак щелчка мышью поясняет один аспект пользовательских взаимодействий с поисковой машиной для веб-сайтов. Настоящее изобретение может использовать автоматически получаемые прогнозирующие модели пользовательского поведения. Соответственно, для данного запроса каждый результат можно представить с признаками, сведенными в таблицу на фиг.4. Затем относительные пользовательские предпочтения можно оценить с использованием обученной модели пользовательского поведения, как подробно изложено выше. Применение таких моделей пользовательского поведения позволяет поисковой машине выгодно использовать здравый смысл множества людей, взаимодействующих с результатами поиска, а также более сложные признаки, характеризующие поведение при поиске и просмотре за пределами страницы результатов поиска.
На фиг.5 представлена автоматизированная информационно-поисковая система 500, которая использует компонент 535 обучения машины, в соответствии с аспектом настоящего изобретения. Для автоматического обучения модели пользовательских приоритетов можно применить общую стратегию интерпретации с неявной обратной связью (например, вместо опоры на эвристическую процедуру или интуитивные решения). Система 500 содержит компонент 510 ранжирования, который можно обучать, например, на основе журнала 520 данных или взаимодействий с компонентом 515 пользовательского поведения. Данные в журнале 520 могут быть собраны из локальных или удаленных источников данных и содержать информацию, связанную с данными предшествующего поиска или действиями 530 множества пользователей. После обучения компонент 510 ранжирования может взаимодействовать с поисковой машиной 540 для облегчения или улучшения будущих результатов поиска, которые показаны как релевантные результаты 550. Например, один или более новый поисковый запрос 560 может быть обработан поисковой машиной 540, частично, на основе обучения по данным 530 предшествующего поиска и/или информации из компонента 515 пользовательского поведения. В общем, система 500 может использовать различные методы сбора данных для совершенствования релевантности поисковой машины. Упомянутые методы могут заключаться в использовании классификаторов релевантности в компоненте 510 ранжирования для формирования высококачественных обучающих данных для классификаторов времени выполнения, которые применяются с поисковой машиной 540 для генерации результатов 550 поиска. На фиг.6 представлен компонент 610 пользовательского поведения, который взаимодействует с множеством системных признаков, которые отражают действия пользователя. В соответствии с одним аспектом, настоящее изобретение рассматривает особенности поведения при веб-поиске как сочетание «фонового» компонента (например, шум, независимый от запроса и релевантности, в поведении пользователя и т.п.) и компонента «релевантности» (например, обусловленного запросом поведения, характеризующего релевантность результата запросу). Подобная схема может использовать преимущества совокупного пользовательского поведения, когда набор признаков состоит из непосредственно наблюдаемых признаков (вычисляемых непосредственно по наблюдениям для каждого запроса), а также зависимых от запроса, производных признаков, вычисленных как отклонение от общего, независимого от запроса распределения значений, для соответствующих значений непосредственно наблюдаемых признаков. Как показано на фиг.6, примерные системные признаки, например признак(и) 612 щелчка мышью, признак(и) 614 поиска и просмотра и презентационные признаки 616, которые можно использовать для представления пользовательских взаимодействий с результатами веб-поиска через посредство компонента 610 пользовательского поведения. Кроме того, могут также рассматриваться такие признаки, как отклонение наблюдаемого числа щелчков мышью для данной пары запрос-URL от ожидаемого числа щелчков на результате в данном положении. Кроме того, поведение при поиске и просмотре можно моделировать, например, после того, как сделан щелчок на результате, и затем среднее время выполнения операции на страницу для данной пары запрос-URL, а также его отклонение от ожидаемого (среднего) времени выполнения операции используют для такой модели. Кроме того, например, пользователи веб-поиска часто могут определять, является ли результат релевантным на основе просмотра заголовка результата, URL и резюме, при этом, во многих случаях, просмотр исходного документа обычно не обязателен. Для моделирования упомянутого аспекта квалификации пользователя можно также использовать такие признаки, как совпадение слов в заголовке и слов в запросе.
На фиг.7 представлена примерная методология 700 интерпретации пользовательского поведения для оценки пользовательских предпочтений в соответствии с аспектом настоящего изобретения. Хотя в настоящей заявке представлен и описан примерный способ в виде последовательности этапов, характеризующих различные события и/или операции, настоящее изобретение не ограничено представленным порядком упомянутых этапов. Например, некоторые операции или события могут происходить в различном порядке и/или параллельно с другими операциями или событиями, отдельно от порядка, изображенного в настоящей заявке, в соответствии с изобретением. Кроме того, не все изображенные этапы, события или операции могут потребоваться для реализации методологии в соответствии с настоящим изобретением. Кроме того, следует понимать, что примерный способ и другие способы в соответствии с изобретением могут быть реализованы в связи со способом, представленным и описанным в настоящей заявке, а также в связи с другими, не показанными и не описанными системами и устройствами. Сначала, на этапе 710, могут быть собраны данные, относящиеся к пользовательскому взаимодействию с поисковой машиной, например пользовательскому поведению после поиска. Затем, на этапе 720, пользовательское поведение может быть суммировано, например, с применением методов статистического анализа. Затем, на этапе 730, может применяться обучение машины для обучения модели пользовательских приоритетов. И затем, на этапе 740, прогнозы пользовательских предпочтений могут поставляться для результата будущих запросов.
На фиг.8 представлена методология 800 реализации пользовательского поведения как составной части ранжирования в соответствии с аспектом настоящего изобретения. Сначала, на этапе 810, могут быть собраны данные, относящиеся к пользовательскому поведению. Упомянутое пользовательское поведение можно затем использовать для обучения и/или автоматического формирования поведенческой модели на этапе 820. Затем подобную модель (например, прогнозирующую поведенческую модель) можно включать в состав поисковой машины для ранжирования результатов и/или формирования неявных оценок релевантности на основе обратной связи с пользователями, на этапе 830. Затем, на этапе 840, частично на основе сформированной и/или обученной поведенческой модели может быть ранжирована информация, найденная поисковой машиной.
Чтобы обеспечить контекст для различных аспектов предложенного предмета изобретения, фиг.9 и 10, а также нижеследующее пояснение предназначены для представления краткого общего описания подходящей среды, в которой могут быть реализованы различные аспекты предложенного предмета изобретения. Хотя предмет изобретения описан выше в общем контексте машиноисполняемых инструкций компьютерной программы, которая работает на компьютере и/или компьютерах, специалистам в данной области техники будет очевидно, что изобретение можно также реализовать в комбинации с другими программными модулями. В общем, программные модули содержат подпрограммы, программы, компоненты, структуры данных и т.п., которые выполняют конкретные задачи и/или реализуют определенные абстрактные типы данных. Кроме того, специалистам в данной области техники будет очевидно, что новые способы можно практически реализовать в компьютерных системах других конфигураций, включая однопроцессорные или многопроцессорные компьютерные системы, миникомпьютерные устройства, основные компьютеры, а также персональные компьютеры, ручные вычислительные устройства (например, персональный цифровой секретарь (PDA), телефон, часы …), микропроцессорные или программируемые бытовые или промышленные электронные устройства и т.п. Изложенные аспекты можно также практически реализовать в распределенных вычислительных средах, в которых задачи выполняются удаленными устройствами обработки, которые связаны по сетям связи. Однако некоторые, если не все, аспекты изобретения можно практически реализовать на отдельно установленных компьютерах. В распределенной вычислительной среде программные модули могут находиться как в локальных, так и в удаленных запоминающих устройствах.
Со ссылкой на фиг.9 описана примерная среда 910 для реализации различных аспектов настоящего изобретения, которая содержит компьютер 912. Компьютер 912 содержит блок 914 обработки, системную память 916 и системную шину 918. Системная шина 918 связывает системные компоненты, включая, но не в качестве ограничения, системную память 916 с блоком 914 обработки. Блок 914 обработки может быть любым из различных доступных процессоров. В качестве блока 914 обработки можно также применять сдвоенные микропроцессоры и другие мультипроцессорные архитектуры.
Системная шина 918 может относиться к любому из нескольких типов шинных структур, включая шину памяти или контроллер памяти, периферийную шину или внешнюю шину и/или локальную шину, использующих любое число разнообразных доступных шинных архитектур, включая, но не в качестве ограничения, 11-разрядную шину, архитектуру шины промышленного стандарта (ISA), микроканальную архитектуру (MSA), расширенную ISA (EISA), интеллектуальное электронное оборудование дисковых накопителей (IDE), локальную шину VESA (VLB), межсоединение периферийных компонентов (шину PCI), универсальную последовательную шину (USB), универсальный графический порт (AGP), шину по спецификации PCMCIA (Международной ассоциации производителей карт памяти для персональных компьютеров и интерфейс малых вычислительных систем (SCSI).
Системная память 916 содержит энергозависимую память 920 и энергонезависимую память 922. Базовая система ввода/вывода (BIOS), содержащая основные подпрограммы для передачи информации между элементами внутри компьютера 912, например, во время запуска, хранится в энергонезависимой памяти 922. К примеру, а не в качестве ограничения, энергонезависимая память 922 может содержать постоянную память (ROM), программируемую ROM (PROM), электрически программируемую ROM (EPROM), электрически стираемую ROM (EEPROM) или флэш-память. Энергозависимая память 920 содержит оперативную память (RAM), которая выполняет функцию внешней кэш-памяти. К примеру, а не в качестве ограничения, RAM выпускается в многочисленных формах, например синхронной RAM (SRAM), динамической RAM (DRAM), синхронной DRAM (SDRAM), SDRAM с двойной скоростью (DDR SDRAM), усовершенствованной SDRAM (ESDRAM), Synchlink DRAM (SLDRAM) и RAM с шиной прямого резидентного доступа (DRRAM).
Компьютер 912 содержит также съемные/несъемные, энергозависимые/энергонезависимые компьютерные носители данных. На фиг.9 представлено, например, дисковое запоминающее устройство 924. Дисковое запоминающее устройство 924 содержит, но не в качестве ограничения, устройства типа магнитного дискового накопителя, накопителя на гибких дисках, накопителя на магнитной ленте, Jaz-дисковода, Zip-дисковода, дисковода LS-60, карты флэш-памяти или карты памяти. Кроме того, дисковое запоминающее устройство 924 может содержать носители данных по отдельности или в комбинации с другими носителями данных, включая, но не в качестве ограничения, оптический диск, устройство ROM на компакт-диске (CD-ROM), накопитель на записываемом CD (накопитель CD-R), накопитель на CD многократной перезаписи (накопитель CD-RW) или накопитель ROM на универсальном цифровом диске (DVD-ROM). Для облегчения подключения дисковых запоминающих устройств 924 к системной шине 918 обычно применяется съемный или несъемный интерфейс, например интерфейс 926.
Следует понимать, что на фиг.9 показано программное обеспечение, которое выполняет функцию промежуточного звена между пользователями и основными компьютерными ресурсами, описанными в подходящей операционной среде 910. Упомянутое программное обеспечение содержит операционную систему 928. Операционная система 928, которая может храниться в дисковом запоминающем устройстве 924, служит для управления и распределения ресурсов компьютерной системы 912. Системные приложения 930 используют возможности управления ресурсами операционной системы 928 посредством программных модулей 932 и данных 934 по программе, хранящихся либо в системной памяти 916, либо в дисковом запоминающем устройстве 924. Следует понимать, что различные компоненты, описанные в настоящей заявке, могут быть реализованы в различных операционных системах или комбинациях операционных систем.
Пользователь вводит команды или информацию в компьютер 912 через устройство(а) 936 ввода. Устройства 936 ввода содержат, но не в качестве ограничения, координатно-указательное устройство, например мышь, трекбол, перо, сенсорную клавиатуру, клавиатуру, микрофон, джойстик, игровой пульт, спутниковую тарелку, сканер, плату телевизионного тюнера, цифровую камеру, цифровую видеокамеру, веб-камеру и т.п. Перечисленные и другие устройства ввода соединяются с блоком 914 обработки по системной шине 918 через порт(ы) 938 интерфейса. Порт(ы) 938 интерфейса содержат, например, последовательный порт, параллельный порт, игровой порт и универсальную последовательную шину (USB). Устройство(а) 940 вывода используют некоторые из портов такого же типа, что и устройство(а) 936 ввода. Следовательно, например, порт USB можно применять для обеспечения ввода в компьютер 912 и для вывода информации из компьютера 912 в устройство 940 вывода. Выходной адаптер 942 обеспечен для демонстрации, что, кроме других устройств 940 вывода, существуют некоторые устройства 940 вывода типа мониторов, громкоговорителей и принтеров, которые нуждаются в специальных адаптерах. Выходной адаптер 942 содержит, к примеру, и не в качестве ограничения, видео и аудиоплаты, которые обеспечивают средство связи между устройством 940 вывода и системной шиной 918. Следует отметить, что возможности как ввода, так и вывода обеспечиваются другими устройствами и/или системами устройств, например удаленным(и) компьютером(ами) 944.
Компьютер 912 может работать в сетевой среде с использованием логических соединений с, по меньшей мере, одним удаленным компьютером, например удаленным(и) компьютером(ами) 944. Удаленный(е) компьютер(ы) 944 может быть персональным компьютером, сервером, маршрутизатором, сетевым PC, рабочей станцией, микропроцессорным аппаратом, равноправным устройством или другим распространенным сетевым узлом и т.п. и обычно содержит многие или все элементы, описанные в связи с компьютером 912. Для краткости, с удаленным(и) компьютером(ами) 944 показано только запоминающее устройство 946. Удаленный(е) компьютер(ы) 944 логически соединяется с компьютером 912 посредством сетевого интерфейса 948 и затем физически соединяется посредством соединений 950 связи. Сетевой интерфейс 948 охватывает сети связи, например локальные сети (LAN) и глобальные сети (WAN). Технологии LAN содержат интерфейс для доступа к распределенным данным по оптоволокну (FDDI), распределенный интерфейс передачи данных по кабельным линиям (CDDI), сеть стандарта Ethernet/IEEE 802.3, кольцевую сеть с маркерным доступом Token Ring/IEEE 802.5 и т.п. Технологии WAN содержат, но не в качестве ограничения, линии прямой связи, сети с коммутацией каналов типа цифровых сетей с интеграцией служб (ISDN) и их вариантов, сети коммутации пакетов и цифровые абонентские линии (DSL).
Соединение(ия) 950 связи означает аппаратное/программное обеспечение, применяемое для подключения сетевого интерфейса 948 к шине 918. Хотя соединение связи 950 показано, для ясности, внутри компьютера 912, оно может быть также внешним относительно компьютера 912. Аппаратное/программное обеспечение, необходимое для подключения к сетевому интерфейсу 948, содержит, только для примера, внутренние и внешние технические средства, например модемы, содержащие обычные телефонные модемы, кабельные модемы и модемы DSL, адаптеры ISDN и сетевые карты Ethernet.
В целях настоящего описания, термины «компонент», «система» и т.п. предназначены для обозначения объекта, имеющего отношение к компьютерам, либо аппаратного обеспечения, комбинации из аппаратного обеспечения и программного обеспечения, программного обеспечения или программного обеспечения в процессе исполнения. Например, компонент может быть, но не в качестве ограничения, процессом, выполняемым в процессоре, процессором, объектом, исполняемым файлом, потоком выполнения, программой и/или компьютером. В качестве иллюстрации, как приложение, выполняемое в компьютере, так и компьютер могут быть компонентом. По меньшей мере, один компонент может постоянно находиться в процессе и/или потоке выполнения, и компонент может быть локализован в одном компьютере и/или распределен между двумя или более компьютерами. Термин «примерный» применяется в настоящей заявке для обозначения примера, отдельного случая или пояснения. Любой аспект или схему, описанные в настоящей заявке в качестве «примерных», не обязательно следует толковать как предпочтительные или выигрышные по сравнению с другими аспектами или схемами.
Кроме того, предлагаемый предмет изобретения можно реализовать в виде системы, способа, устройства или изделия, использующего стандартное программирование и/или технические методы для создания программного обеспечения, встроенных программ, аппаратного обеспечения или любой их комбинации для управления компьютером или процессорным устройством, чтобы реализовать аспекты, подробно описанные в настоящей заявке. Термин компьютерная программа, в целях настоящей заявки, предназначен для охвата компьютерной программы, которую можно выбрать из любого машиночитаемого устройства, носителя или среды. Например, машиночитаемые носители могут содержать, но не в качестве ограничения, магнитные запоминающие устройства (например, жесткий диск, гибкий диск, магнитные ленты…), оптические диски (например, компакт-диск (CD), цифровой универсальный диск (DVD) …), смарт-карты и устройства флэш-памяти (например, плату, карту). Кроме того, следует понимать, что можно использовать электромагнитный сигнал передачи модулированной информации для передачи машиночитаемых электронных данных, например данных, применяемых при передаче и приеме электронной почты или при доступе к сети, например сети Internet или локальной сети (LAN). Разумеется, специалисты в данной области техники смогут понять, что возможно создание множества модификаций представленной конфигурации без выхода за пределы объема или сущности заявленного предмета изобретения.
На фиг.10 представлена структурная схема примерной вычислительной среды 1000, которую можно использовать для оценки пользовательского приоритета при посредстве компонента пользовательского поведения в соответствии с аспектом настоящего изобретения. Система 1000 содержит, по меньшей мере, одного клиента 1010. Клиент 1010 может быть аппаратным и/или программным обеспечением (например, потоками, процессами, вычислительными устройствами). Система 1000 содержит также, по меньшей мере, один сервер 1030. Сервер 1030 может быть также аппаратным и/или программным обеспечением (например, потоками, процессами, вычислительными устройствами). Серверы 1030 могут содержать потоки для выполнения преобразований, например, с использованием компонентов, описанных в настоящей заявке. Одна возможная связь между клиентом 1010 и сервером 1030 может быть в форме пакета данных, предназначенного для передачи между, по меньшей мере, двумя компьютерными процессами. Система 1000 содержит инфраструктуру 1050 связи, которую можно использовать для облегчения связи между клиентом(ами) 1010 и сервером(ами) 1030. Клиент(ы) 1010 функционально подключены к, по меньшей мере, одному или более информационному хранилищу 1060 клиента, которое можно использовать для хранения информации, локальной для клиента(ов) 1010. Аналогично, сервер(ы) 1030 функционально подключены к одному или более информационному хранилищу 1040 сервера, которое можно использовать для хранения информации, локальной для серверов 1030.
Вышеприведенное описание содержит различные примерные аспекты. Разумеется, невозможно описать каждую возможную комбинацию компонентов или способов в целях описания упомянутых аспектов, но специалист со средним уровнем компетентности в данной области сможет понять, что возможны многочисленные дополнительные комбинации и перестановки. Соответственно, аспекты, описанные в настоящей заявке, предполагают охват всех изменений, модификаций и вариантов, которые находятся в пределах сущности и объема прилагаемой формулы изобретения.
Кроме того, в том смысле, в котором термин «содержит» применяется либо в подробном описании, либо в формуле изобретения, данный термин следует понимать как включающий, аналогично термину «содержащий», когда «содержащий» истолковывается при его использовании в качестве переходного слова в пункте формулы изобретения.
Claims (19)
1. Компьютерно-реализованная система для ранжирования результатов поиска, содержащая следующие машиноисполняемые компоненты:
компонент пользовательского поведения, который оценивает пользовательские предпочтения по отношению к результатам поиска на основе непосредственно наблюдаемых признаков пользователя и производных признаков, причем производные признаки основываются на отклонении непосредственно наблюдаемых признаков пользователя для результатов поиска от ожидаемого поведения, определенного из общего распределения множества дополнительных пользователей для результатов поиска, при этом компонент пользовательского поведения дополнительно ослабляет эффект, связанный со злонамеренными или иррациональными просмотровыми действиями, сопровождающими индивидуальное поведение при просмотре, посредством интерпретации коллективного поведения при просмотре, соответствующего упомянутому множеству дополнительных пользователей;
набор признаков, содержащий по меньшей мере одно из презентационных признаков, просмотровых признаков и признаков щелчка мышью, которыми собираются и количественно выражаются взаимодействия при просмотре Web со стороны упомянутого пользователя и упомянутого множества дополнительных пользователей, причем данный набор признаков включает в себя упомянутые непосредственно наблюдаемые признаки и производные признаки; и
поисковую машину, которая учитывает пользовательские предпочтения для определения релевантности и ранжирования полученных в ответ результатов поиска, при этом результаты поиска, связанные с ожидаемым поведением упомянутого множества дополнительных пользователей, располагаются выше при ранжировании по сравнению с результатами поиска, связанными с упомянутыми непосредственно наблюдаемыми признаками.
компонент пользовательского поведения, который оценивает пользовательские предпочтения по отношению к результатам поиска на основе непосредственно наблюдаемых признаков пользователя и производных признаков, причем производные признаки основываются на отклонении непосредственно наблюдаемых признаков пользователя для результатов поиска от ожидаемого поведения, определенного из общего распределения множества дополнительных пользователей для результатов поиска, при этом компонент пользовательского поведения дополнительно ослабляет эффект, связанный со злонамеренными или иррациональными просмотровыми действиями, сопровождающими индивидуальное поведение при просмотре, посредством интерпретации коллективного поведения при просмотре, соответствующего упомянутому множеству дополнительных пользователей;
набор признаков, содержащий по меньшей мере одно из презентационных признаков, просмотровых признаков и признаков щелчка мышью, которыми собираются и количественно выражаются взаимодействия при просмотре Web со стороны упомянутого пользователя и упомянутого множества дополнительных пользователей, причем данный набор признаков включает в себя упомянутые непосредственно наблюдаемые признаки и производные признаки; и
поисковую машину, которая учитывает пользовательские предпочтения для определения релевантности и ранжирования полученных в ответ результатов поиска, при этом результаты поиска, связанные с ожидаемым поведением упомянутого множества дополнительных пользователей, располагаются выше при ранжировании по сравнению с результатами поиска, связанными с упомянутыми непосредственно наблюдаемыми признаками.
2. Компьютерно-реализованная система по п.1, в которой компонент пользовательского поведения дополнительно содержит фоновый компонент и компонент релевантности.
3. Компьютерно-реализованная система по п.1, дополнительно содержащая компонент обучения машины.
4. Компьютерно-реализованная система по п.1, в которой компонент пользовательского поведения дополнительно содержит управляемую данными модель пользовательского поведения.
5. Компьютерно-реализованная система по п.4, дополнительно содержащая журнал данных, который содержит данные о предшествующих поисках.
6. Компьютерно-реализованная система по п.1, в которой поисковая машина дополнительно содержит компонент ранжирования, который ранжирует результаты поиска.
7. Компьютерно-реализованная система по п.4, дополнительно содержащая компонент обучения машины, который обучает модель пользовательского поведения.
8. Компьютерно-реализуемый способ ранжирования результатов поиска, согласно которому процессор исполняет машиноисполняемые инструкции, хранящиеся на машиночитаемом носителе, для выполнения этапов способа, на которых
получают пользовательское поведение пользователя во время взаимодействия с поисковой машиной, где пользователь представляет запрос в поисковую машину;
объединяют пользовательское поведение для его анализа, при этом пользовательское поведение включает в себя непосредственно наблюдаемые признаки пользовательского поведения и производные признаки пользовательского поведения, причем производные признаки основываются на отклонении явных результатов поиска, связанных с непосредственно наблюдаемыми признаками пользовательского поведения для результата поиска, от неявных результатов поиска, связанных с ожидаемым поведением, определенным из общего распределения множества дополнительных предшествующих пользователей для этого результата поиска;
ослабляют шум, связанный с пользовательским поведением, посредством интерпретации объединенного пользовательского поведения и посредством усреднения наблюдаемых признаков взаимодействия, причем этот шум соответствует злонамеренным или иррациональным просмотровым действиям;
оценивают пользовательские предпочтения в отношении найденных результатов на основе упомянутых объединения и ослабления;
определяют ранжирование результатов на основе пользовательских предпочтений, так что при имеющихся неявных результатах поиска ранжирование представляет комбинацию явных и неявных результатов поиска, в противном случае, ранжирование представляет явные результаты поиска.
получают пользовательское поведение пользователя во время взаимодействия с поисковой машиной, где пользователь представляет запрос в поисковую машину;
объединяют пользовательское поведение для его анализа, при этом пользовательское поведение включает в себя непосредственно наблюдаемые признаки пользовательского поведения и производные признаки пользовательского поведения, причем производные признаки основываются на отклонении явных результатов поиска, связанных с непосредственно наблюдаемыми признаками пользовательского поведения для результата поиска, от неявных результатов поиска, связанных с ожидаемым поведением, определенным из общего распределения множества дополнительных предшествующих пользователей для этого результата поиска;
ослабляют шум, связанный с пользовательским поведением, посредством интерпретации объединенного пользовательского поведения и посредством усреднения наблюдаемых признаков взаимодействия, причем этот шум соответствует злонамеренным или иррациональным просмотровым действиям;
оценивают пользовательские предпочтения в отношении найденных результатов на основе упомянутых объединения и ослабления;
определяют ранжирование результатов на основе пользовательских предпочтений, так что при имеющихся неявных результатах поиска ранжирование представляет комбинацию явных и неявных результатов поиска, в противном случае, ранжирование представляет явные результаты поиска.
9. Компьютерно-реализуемый способ по п.8, дополнительно содержащий этап обучения модели для ранжирования найденных результатов.
10. Компьютерно-реализуемый способ по п.8, дополнительно содержащий этап автоматического формирования модели на основе пользовательского поведения.
11. Компьютерно-реализуемый способ по п.8, дополнительно содержащий этап разработки набора признаков, относящихся к пользовательскому взаимодействию с найденными результатами.
12. Компьютерно-реализуемый способ по п.8, дополнительно содержащий этап использования обучения машины для учета пользовательского поведения.
13. Компьютерно-реализуемый способ по п.8, дополнительно содержащий этап прогнозирования пользовательского поведения.
14. Компьютерно-реализуемый способ по п.8, дополнительно содержащий этап сбора данных об объединенном пользовательском поведении для ранжирования найденных результатов.
15. Компьютерно-реализуемый способ по п.8, дополнительно содержащий этап применения непосредственно наблюдаемых признаков из взаимодействий с найденными результатами для оценки пользовательских предпочтений.
16. Компьютерно-реализованная система для ранжирования результатов поиска, содержащая следующие машиноисполняемые компоненты:
средство для сбора неявной обратной связи от множества пользователей;
средство для построения набора признаков на основе этой неявной обратной связи, при этом набор признаков включает в себя наблюдаемые пользовательские поведения при просмотре и производные признаки, причем производные признаки основываются на отклонении явных результатов поиска, связанных с этими наблюдаемыми пользовательскими поведениями при просмотре для результата поиска, от неявных результатов поиска, связанных с ожидаемыми пользовательскими поведениями при просмотре, определенными из общего распределения множества дополнительных пользователей для этого результата поиска;
средство для ослабления шума, сопровождающего индивидуальное поведение при просмотре, причем данный шум соответствует злонамеренным или иррациональным просмотровым действиям; и
средство для оценки пользовательских предпочтений на основе набора признаков; и
средство для определения ранжирования результатов на основе пользовательских предпочтений, так что при имеющихся неявных результатах поиска ранжирование представляет комбинацию явных и неявных результатов поиска, к которым применены весовые коэффициенты, в противном случае, ранжирование представляет явные результаты поиска, при этом весовыми коэффициентами устанавливается то, что те результаты из неявных результатов поиска, по которым был выполнен щелчок мышью, имеют более высокий ранг, чем те результаты из неявных результатов поиска, по которым щелчок мышью выполнен не был.
средство для сбора неявной обратной связи от множества пользователей;
средство для построения набора признаков на основе этой неявной обратной связи, при этом набор признаков включает в себя наблюдаемые пользовательские поведения при просмотре и производные признаки, причем производные признаки основываются на отклонении явных результатов поиска, связанных с этими наблюдаемыми пользовательскими поведениями при просмотре для результата поиска, от неявных результатов поиска, связанных с ожидаемыми пользовательскими поведениями при просмотре, определенными из общего распределения множества дополнительных пользователей для этого результата поиска;
средство для ослабления шума, сопровождающего индивидуальное поведение при просмотре, причем данный шум соответствует злонамеренным или иррациональным просмотровым действиям; и
средство для оценки пользовательских предпочтений на основе набора признаков; и
средство для определения ранжирования результатов на основе пользовательских предпочтений, так что при имеющихся неявных результатах поиска ранжирование представляет комбинацию явных и неявных результатов поиска, к которым применены весовые коэффициенты, в противном случае, ранжирование представляет явные результаты поиска, при этом весовыми коэффициентами устанавливается то, что те результаты из неявных результатов поиска, по которым был выполнен щелчок мышью, имеют более высокий ранг, чем те результаты из неявных результатов поиска, по которым щелчок мышью выполнен не был.
17. Автоматизированный способ обеспечения улучшенного поиска и просмотра Web, согласно которому один или более процессоров исполняют машиноисполняемые инструкции, хранящиеся на машиночитаемом носителе, для выполнения этапов способа, на которых:
получают данные касаемо поведения при просмотре Web со стороны множества пользователей;
формируют модель для прогнозирования пользовательских предпочтений на основе этих данных, причем модель использует набор признаков, включающий в себя наблюдаемые признаки и производные признаки, при этом наблюдаемые признаки формируются из наблюдаемых пользовательских поведений при просмотре, а производные признаки выводятся из отклонения этих наблюдаемых признаков для результата поиска от ожидаемого поведения, определенного из общего распределения упомянутого множества пользователей для этого результата поиска, причем набор признаков содержит по меньшей мере одно из презентационных признаков, просмотровых признаков и признаков щелчка мышью, которыми собираются и количественно выражаются взаимодействия при просмотре Web со стороны пользователей, при этом при прогнозировании выполняют усреднение по признакам набора признаков для ослабления эффектов, обусловленных вариациями в поведении среди отдельных пользователей, причем презентационные признаки включают в себя долю слов, общих между запросом и по меньшей мере одним из заголовка, резюме, универсального указателя информационного ресурса (URL) и домена; и
взаимодействуют с моделью, чтобы на основе пользовательских предпочтений задать ранжирование для результатов поиска по Web, при этом результаты поиска, связанные с ожидаемым поведением упомянутого множества пользователей, располагаются выше при ранжировании по сравнению с результатами поиска, связанными с наблюдаемыми признаками.
получают данные касаемо поведения при просмотре Web со стороны множества пользователей;
формируют модель для прогнозирования пользовательских предпочтений на основе этих данных, причем модель использует набор признаков, включающий в себя наблюдаемые признаки и производные признаки, при этом наблюдаемые признаки формируются из наблюдаемых пользовательских поведений при просмотре, а производные признаки выводятся из отклонения этих наблюдаемых признаков для результата поиска от ожидаемого поведения, определенного из общего распределения упомянутого множества пользователей для этого результата поиска, причем набор признаков содержит по меньшей мере одно из презентационных признаков, просмотровых признаков и признаков щелчка мышью, которыми собираются и количественно выражаются взаимодействия при просмотре Web со стороны пользователей, при этом при прогнозировании выполняют усреднение по признакам набора признаков для ослабления эффектов, обусловленных вариациями в поведении среди отдельных пользователей, причем презентационные признаки включают в себя долю слов, общих между запросом и по меньшей мере одним из заголовка, резюме, универсального указателя информационного ресурса (URL) и домена; и
взаимодействуют с моделью, чтобы на основе пользовательских предпочтений задать ранжирование для результатов поиска по Web, при этом результаты поиска, связанные с ожидаемым поведением упомянутого множества пользователей, располагаются выше при ранжировании по сравнению с результатами поиска, связанными с наблюдаемыми признаками.
18. Способ по п.17, дополнительно содержащий этап моделирования пользовательского поведения, соответствующего паре поисковый запрос-результат поиска, используя как наблюдаемый признак, так и производный признак.
19. Способ по п.17, дополнительно содержащий этап ранжирования результатов поиска как на основе зависящих от запроса признаков, включая то, насколько близко запрос соответствует тексту Web-документа, так и не зависящих от запроса признаков, включая ранг страницы Web-документа.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US77865006P | 2006-03-02 | 2006-03-02 | |
| US60/778,650 | 2006-03-02 | ||
| US60/788,650 | 2006-04-03 | ||
| US11/457,733 | 2006-07-14 | ||
| US11/457,733 US20070208730A1 (en) | 2006-03-02 | 2006-07-14 | Mining web search user behavior to enhance web search relevance |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2008135459A RU2008135459A (ru) | 2010-03-10 |
| RU2435212C2 true RU2435212C2 (ru) | 2011-11-27 |
Family
ID=38472589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2008135459/08A RU2435212C2 (ru) | 2006-03-02 | 2007-02-08 | Сбор данных о пользовательском поведении при веб-поиске для повышения релевантности веб-поиска |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20070208730A1 (ru) |
| EP (1) | EP1997065A4 (ru) |
| JP (1) | JP5247475B2 (ru) |
| KR (1) | KR101366408B1 (ru) |
| BR (1) | BRPI0708397A2 (ru) |
| CA (1) | CA2644440A1 (ru) |
| MX (1) | MX2008011223A (ru) |
| RU (1) | RU2435212C2 (ru) |
| WO (1) | WO2007106269A1 (ru) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013090946A1 (en) * | 2011-12-15 | 2013-06-20 | Qwiki, Inc. | Systems and methods involving features of seach and/or search integration |
| WO2013149220A1 (en) * | 2012-03-30 | 2013-10-03 | Xen, Inc. | Centralized tracking of user interest information from distributed information sources |
| WO2015038881A1 (en) * | 2013-09-13 | 2015-03-19 | ClickTale, Ltd. | A method and system for generating comparable visual maps for browsing activity analysis |
| RU2601138C2 (ru) * | 2012-07-10 | 2016-10-27 | Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед | Способ предоставления рекомендуемой информации для браузера мобильного терминала и система, применяющая данный способ |
| RU2608886C2 (ru) * | 2014-06-30 | 2017-01-25 | Общество С Ограниченной Ответственностью "Яндекс" | Ранжиратор результатов поиска |
| RU2621962C1 (ru) * | 2016-08-16 | 2017-06-08 | Игорь Юрьевич Скворцов | Самонастраивающаяся интерактивная система, способ и считываемый компьютером носитель данных обмена комментариями между пользователями |
| RU2630741C1 (ru) * | 2016-12-20 | 2017-09-12 | Игорь Юрьевич Скворцов | Самонастраивающаяся интерактивная система, способ и считываемый компьютером носитель данных обмена комментариями между пользователями |
| RU2632133C2 (ru) * | 2015-09-29 | 2017-10-02 | Общество С Ограниченной Ответственностью "Яндекс" | Способ (варианты) и система (варианты) создания модели прогнозирования и определения точности модели прогнозирования |
| RU2632138C2 (ru) * | 2015-09-14 | 2017-10-02 | Общество С Ограниченной Ответственностью "Яндекс" | Способ (варианты) и сервер ранжирования поисковых результатов на основе параметра полезности |
| RU2632423C2 (ru) * | 2015-09-30 | 2017-10-04 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и поисковая система предоставления поисковых результатов на множество клиентских устройств |
| RU2639953C2 (ru) * | 2014-12-09 | 2017-12-25 | Сяоми Инк. | Способ и устройство для предоставления контактных данных |
| RU2654145C2 (ru) * | 2012-12-14 | 2018-05-16 | Самсунг Электроникс Ко., Лтд | Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого |
| RU2663706C1 (ru) * | 2017-07-20 | 2018-08-08 | Общество С Ограниченной Ответственностью "Центр Разработки И Внедрения Инновационных Технологий" | Самонастраивающаяся интерактивная система, способ и считываемый компьютером носитель данных оценки доверия контенту |
| US10275418B2 (en) | 2013-03-22 | 2019-04-30 | National Research University Higher School of Economics (HSE) | Method for selecting valid variants in search and recommendation systems (variants) |
| RU2689812C2 (ru) * | 2017-07-25 | 2019-05-29 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для определения ранжированных позиций ненативных элементов с помощью системы ранжирования |
| US10552505B2 (en) | 2017-07-25 | 2020-02-04 | Yandex Europe Ag | Method and system for generating a user-personalization interest parameter for identifying personalized targeted content item |
| US11256991B2 (en) | 2017-11-24 | 2022-02-22 | Yandex Europe Ag | Method of and server for converting a categorical feature value into a numeric representation thereof |
| US11995519B2 (en) | 2017-11-24 | 2024-05-28 | Direct Cursus Technology L.L.C | Method of and server for converting categorical feature value into a numeric representation thereof and for generating a split value for the categorical feature |
Families Citing this family (101)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7461059B2 (en) | 2005-02-23 | 2008-12-02 | Microsoft Corporation | Dynamically updated search results based upon continuously-evolving search query that is based at least in part upon phrase suggestion, search engine uses previous result sets performing additional search tasks |
| US7860886B2 (en) * | 2006-09-29 | 2010-12-28 | A9.Com, Inc. | Strategy for providing query results based on analysis of user intent |
| US9747349B2 (en) * | 2006-10-30 | 2017-08-29 | Execue, Inc. | System and method for distributing queries to a group of databases and expediting data access |
| US9110975B1 (en) * | 2006-11-02 | 2015-08-18 | Google Inc. | Search result inputs using variant generalized queries |
| US8661029B1 (en) | 2006-11-02 | 2014-02-25 | Google Inc. | Modifying search result ranking based on implicit user feedback |
| US9305088B1 (en) * | 2006-11-30 | 2016-04-05 | Google Inc. | Personalized search results |
| KR100898456B1 (ko) * | 2007-01-12 | 2009-05-21 | 엔에이치엔(주) | 검색 결과를 제공하는 방법 및 상기 방법을 수행하는시스템 |
| US8938463B1 (en) | 2007-03-12 | 2015-01-20 | Google Inc. | Modifying search result ranking based on implicit user feedback and a model of presentation bias |
| US9092510B1 (en) | 2007-04-30 | 2015-07-28 | Google Inc. | Modifying search result ranking based on a temporal element of user feedback |
| US8005643B2 (en) * | 2007-06-26 | 2011-08-23 | Endeca Technologies, Inc. | System and method for measuring the quality of document sets |
| US8935249B2 (en) | 2007-06-26 | 2015-01-13 | Oracle Otc Subsidiary Llc | Visualization of concepts within a collection of information |
| US8458165B2 (en) * | 2007-06-28 | 2013-06-04 | Oracle International Corporation | System and method for applying ranking SVM in query relaxation |
| US7783630B1 (en) * | 2007-06-29 | 2010-08-24 | Emc Corporation | Tuning of relevancy ranking for federated search |
| US7783620B1 (en) * | 2007-06-29 | 2010-08-24 | Emc Corporation | Relevancy scoring using query structure and data structure for federated search |
| US8694511B1 (en) | 2007-08-20 | 2014-04-08 | Google Inc. | Modifying search result ranking based on populations |
| US20090089311A1 (en) * | 2007-09-28 | 2009-04-02 | Yahoo! Inc. | System and method for inclusion of history in a search results page |
| US8909655B1 (en) | 2007-10-11 | 2014-12-09 | Google Inc. | Time based ranking |
| US7984000B2 (en) | 2007-10-31 | 2011-07-19 | Microsoft Corporation | Predicting and using search engine switching behavior |
| US9152699B2 (en) * | 2007-11-02 | 2015-10-06 | Ebay Inc. | Search based on diversity |
| US20090119254A1 (en) * | 2007-11-07 | 2009-05-07 | Cross Tiffany B | Storing Accessible Histories of Search Results Reordered to Reflect User Interest in the Search Results |
| US20090119278A1 (en) * | 2007-11-07 | 2009-05-07 | Cross Tiffany B | Continual Reorganization of Ordered Search Results Based on Current User Interaction |
| US7797260B2 (en) * | 2008-02-11 | 2010-09-14 | Yahoo! Inc. | Automated document classifier tuning including training set adaptive to user browsing behavior |
| US7836058B2 (en) | 2008-03-27 | 2010-11-16 | Microsoft Corporation | Web searching |
| US8069179B2 (en) * | 2008-04-24 | 2011-11-29 | Microsoft Corporation | Preference judgements for relevance |
| US20090299964A1 (en) * | 2008-05-30 | 2009-12-03 | Microsoft Corporation | Presenting search queries related to navigational search queries |
| US8543592B2 (en) * | 2008-05-30 | 2013-09-24 | Microsoft Corporation | Related URLs for task-oriented query results |
| US8639636B2 (en) * | 2008-08-15 | 2014-01-28 | At&T Intellectual Property I, L.P. | System and method for user behavior modeling |
| US7979415B2 (en) * | 2008-09-04 | 2011-07-12 | Microsoft Corporation | Predicting future queries from log data |
| US8037043B2 (en) | 2008-09-09 | 2011-10-11 | Microsoft Corporation | Information retrieval system |
| US8515950B2 (en) * | 2008-10-01 | 2013-08-20 | Microsoft Corporation | Combining log-based rankers and document-based rankers for searching |
| US8060456B2 (en) * | 2008-10-01 | 2011-11-15 | Microsoft Corporation | Training a search result ranker with automatically-generated samples |
| US9449078B2 (en) * | 2008-10-01 | 2016-09-20 | Microsoft Technology Licensing, Llc | Evaluating the ranking quality of a ranked list |
| US8122021B2 (en) * | 2008-10-06 | 2012-02-21 | Microsoft Corporation | Domain expertise determination |
| US8126894B2 (en) * | 2008-12-03 | 2012-02-28 | Microsoft Corporation | Click chain model |
| US8396865B1 (en) | 2008-12-10 | 2013-03-12 | Google Inc. | Sharing search engine relevance data between corpora |
| US8341167B1 (en) | 2009-01-30 | 2012-12-25 | Intuit Inc. | Context based interactive search |
| US8577875B2 (en) * | 2009-03-20 | 2013-11-05 | Microsoft Corporation | Presenting search results ordered using user preferences |
| US9009146B1 (en) | 2009-04-08 | 2015-04-14 | Google Inc. | Ranking search results based on similar queries |
| US8073832B2 (en) | 2009-05-04 | 2011-12-06 | Microsoft Corporation | Estimating rank on graph streams |
| US9495460B2 (en) * | 2009-05-27 | 2016-11-15 | Microsoft Technology Licensing, Llc | Merging search results |
| US20100306224A1 (en) * | 2009-06-02 | 2010-12-02 | Yahoo! Inc. | Online Measurement of User Satisfaction Using Long Duration Clicks |
| US20100332531A1 (en) * | 2009-06-26 | 2010-12-30 | Microsoft Corporation | Batched Transfer of Arbitrarily Distributed Data |
| US20100332550A1 (en) * | 2009-06-26 | 2010-12-30 | Microsoft Corporation | Platform For Configurable Logging Instrumentation |
| US8447760B1 (en) | 2009-07-20 | 2013-05-21 | Google Inc. | Generating a related set of documents for an initial set of documents |
| US8082247B2 (en) * | 2009-07-30 | 2011-12-20 | Microsoft Corporation | Best-bet recommendations |
| US8135753B2 (en) * | 2009-07-30 | 2012-03-13 | Microsoft Corporation | Dynamic information hierarchies |
| US20110029516A1 (en) * | 2009-07-30 | 2011-02-03 | Microsoft Corporation | Web-Used Pattern Insight Platform |
| US8392380B2 (en) * | 2009-07-30 | 2013-03-05 | Microsoft Corporation | Load-balancing and scaling for analytics data |
| US9020936B2 (en) * | 2009-08-14 | 2015-04-28 | Microsoft Technology Licensing, Llc | Using categorical metadata to rank search results |
| US8498974B1 (en) | 2009-08-31 | 2013-07-30 | Google Inc. | Refining search results |
| US8972391B1 (en) | 2009-10-02 | 2015-03-03 | Google Inc. | Recent interest based relevance scoring |
| US9576251B2 (en) * | 2009-11-13 | 2017-02-21 | Hewlett Packard Enterprise Development Lp | Method and system for processing web activity data |
| US8874555B1 (en) | 2009-11-20 | 2014-10-28 | Google Inc. | Modifying scoring data based on historical changes |
| US8615514B1 (en) | 2010-02-03 | 2013-12-24 | Google Inc. | Evaluating website properties by partitioning user feedback |
| US8924379B1 (en) | 2010-03-05 | 2014-12-30 | Google Inc. | Temporal-based score adjustments |
| US8959093B1 (en) | 2010-03-15 | 2015-02-17 | Google Inc. | Ranking search results based on anchors |
| US9009134B2 (en) * | 2010-03-16 | 2015-04-14 | Microsoft Technology Licensing, Llc | Named entity recognition in query |
| US9665648B2 (en) * | 2010-03-29 | 2017-05-30 | Nokia Technologies Oy | Method and apparatus for a user interest topology based on seeded user interest modeling |
| KR101098871B1 (ko) | 2010-04-13 | 2011-12-26 | 건국대학교 산학협력단 | 랭크된 사용자의 피드백 정보에 기반한 컨텐츠 유사도 측정 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체 |
| US20110258032A1 (en) * | 2010-04-14 | 2011-10-20 | Microsoft Corporation | Search advertisement selection based on user actions |
| US10204163B2 (en) | 2010-04-19 | 2019-02-12 | Microsoft Technology Licensing, Llc | Active prediction of diverse search intent based upon user browsing behavior |
| US8799280B2 (en) | 2010-05-21 | 2014-08-05 | Microsoft Corporation | Personalized navigation using a search engine |
| US20110295897A1 (en) * | 2010-06-01 | 2011-12-01 | Microsoft Corporation | Query correction probability based on query-correction pairs |
| US8612432B2 (en) | 2010-06-16 | 2013-12-17 | Microsoft Corporation | Determining query intent |
| US9623119B1 (en) | 2010-06-29 | 2017-04-18 | Google Inc. | Accentuating search results |
| US8825649B2 (en) | 2010-07-21 | 2014-09-02 | Microsoft Corporation | Smart defaults for data visualizations |
| US8832083B1 (en) | 2010-07-23 | 2014-09-09 | Google Inc. | Combining user feedback |
| WO2012034069A1 (en) * | 2010-09-10 | 2012-03-15 | Veveo, Inc. | Method of and system for conducting personalized federated search and presentation of results therefrom |
| US8560484B2 (en) * | 2010-12-17 | 2013-10-15 | Intel Corporation | User model creation |
| US9002867B1 (en) | 2010-12-30 | 2015-04-07 | Google Inc. | Modifying ranking data based on document changes |
| US9449093B2 (en) * | 2011-02-10 | 2016-09-20 | Sri International | System and method for improved search experience through implicit user interaction |
| US9053208B2 (en) | 2011-03-02 | 2015-06-09 | Microsoft Technology Licensing, Llc | Fulfilling queries using specified and unspecified attributes |
| US9507861B2 (en) * | 2011-04-01 | 2016-11-29 | Microsoft Technolgy Licensing, LLC | Enhanced query rewriting through click log analysis |
| US8732151B2 (en) | 2011-04-01 | 2014-05-20 | Microsoft Corporation | Enhanced query rewriting through statistical machine translation |
| JP2013037624A (ja) * | 2011-08-10 | 2013-02-21 | Sony Computer Entertainment Inc | 情報処理システム、情報処理方法、プログラム及び情報記憶媒体 |
| US9355095B2 (en) | 2011-12-30 | 2016-05-31 | Microsoft Technology Licensing, Llc | Click noise characterization model |
| US9460237B2 (en) | 2012-05-08 | 2016-10-04 | 24/7 Customer, Inc. | Predictive 411 |
| US8996513B2 (en) * | 2012-07-24 | 2015-03-31 | Microsoft Technology Licensing, Llc | Providing an interface to access website actions |
| CN103631794B (zh) * | 2012-08-22 | 2019-05-07 | 百度在线网络技术（北京）有限公司 | 一种用于对搜索结果进行排序的方法、装置与设备 |
| US10108720B2 (en) * | 2012-11-28 | 2018-10-23 | International Business Machines Corporation | Automatically providing relevant search results based on user behavior |
| US9589149B2 (en) | 2012-11-30 | 2017-03-07 | Microsoft Technology Licensing, Llc | Combining personalization and privacy locally on devices |
| US9824151B2 (en) * | 2012-12-27 | 2017-11-21 | Google Inc. | Providing a portion of requested data based upon historical user interaction with the data |
| US20140188889A1 (en) * | 2012-12-31 | 2014-07-03 | Motorola Mobility Llc | Predictive Selection and Parallel Execution of Applications and Services |
| US9594837B2 (en) | 2013-02-26 | 2017-03-14 | Microsoft Technology Licensing, Llc | Prediction and information retrieval for intrinsically diverse sessions |
| CN104679771B (zh) * | 2013-11-29 | 2018-09-18 | 阿里巴巴集团控股有限公司 | 一种个性化数据搜索方法和装置 |
| US10042936B1 (en) * | 2014-07-11 | 2018-08-07 | Google Llc | Frequency-based content analysis |
| CN104268212A (zh) * | 2014-09-23 | 2015-01-07 | 北京奇虎科技有限公司 | 一种互联网产品的发放方法和装置 |
| US10430473B2 (en) | 2015-03-09 | 2019-10-01 | Microsoft Technology Licensing, Llc | Deep mining of network resource references |
| US9697286B2 (en) * | 2015-03-16 | 2017-07-04 | International Business Machines Corporation | Shared URL content update to improve search engine optimization |
| CN105095357A (zh) * | 2015-06-24 | 2015-11-25 | 百度在线网络技术（北京）有限公司 | 一种用于咨询数据处理的方法和装置 |
| RU2637899C2 (ru) | 2015-07-16 | 2017-12-07 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и сервер определения изменений в пользовательском интерактивном взаимодействии со страницей результатов поиска |
| CN109074292B (zh) * | 2016-04-18 | 2021-12-14 | 谷歌有限责任公司 | 适当的代理的自动化助理调用 |
| US10055481B2 (en) * | 2016-07-20 | 2018-08-21 | LogsHero Ltd. | Method and system for automatic event classification |
| US10803070B2 (en) * | 2016-07-29 | 2020-10-13 | International Business Machines Corporation | Selecting a content summary based on relevancy |
| CN107133290B (zh) * | 2017-04-19 | 2019-10-29 | 中国人民解放军国防科学技术大学 | 一种个性化信息检索方法与装置 |
| US11842533B2 (en) * | 2017-04-26 | 2023-12-12 | Chia-Lin Simmons | Predictive search techniques based on image analysis and group feedback |
| EP3729248A4 (en) * | 2017-12-21 | 2021-12-15 | Commonwealth Scientific and Industrial Research Organisation | CREATION OF A USER-SPECIFIC USER INTERFACE |
| JP6560843B1 (ja) * | 2018-03-16 | 2019-08-14 | 楽天株式会社 | 検索システム、検索方法、及びプログラム |
| CN110971659A (zh) * | 2019-10-11 | 2020-04-07 | 贝壳技术有限公司 | 推荐消息的推送方法、装置及存储介质 |
| KR102144370B1 (ko) * | 2019-11-18 | 2020-08-13 | 주식회사 오투오 | 대화형 정보 검색장치 |
| CN113127614A (zh) * | 2020-01-16 | 2021-07-16 | 微软技术许可有限责任公司 | 基于隐式相关性反馈来提供qa训练数据以及训练qa模型 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6272507B1 (en) * | 1997-04-09 | 2001-08-07 | Xerox Corporation | System for ranking search results from a collection of documents using spreading activation techniques |
| US6493702B1 (en) * | 1999-05-05 | 2002-12-10 | Xerox Corporation | System and method for searching and recommending documents in a collection using share bookmarks |
| US6321228B1 (en) * | 1999-08-31 | 2001-11-20 | Powercast Media, Inc. | Internet search system for retrieving selected results from a previous search |
| US6546388B1 (en) * | 2000-01-14 | 2003-04-08 | International Business Machines Corporation | Metadata search results ranking system |
| US6701362B1 (en) * | 2000-02-23 | 2004-03-02 | Purpleyogi.Com Inc. | Method for creating user profiles |
| JP2002032401A (ja) * | 2000-07-18 | 2002-01-31 | Mitsubishi Electric Corp | 文書検索方法及び文書検索装置及び文書検索方法をコンピュータに実現させるためのプログラムを記録したコンピュータで読取可能な記録媒体 |
| US6792434B2 (en) * | 2001-04-20 | 2004-09-14 | Mitsubishi Electric Research Laboratories, Inc. | Content-based visualization and user-modeling for interactive browsing and retrieval in multimedia databases |
| US20030018621A1 (en) * | 2001-06-29 | 2003-01-23 | Donald Steiner | Distributed information search in a networked environment |
| KR100438857B1 (ko) * | 2001-09-26 | 2004-07-05 | 엘지전자 주식회사 | 사용자 선호도 기반 멀티미디어 검색 시스템 |
| US8117072B2 (en) * | 2001-11-13 | 2012-02-14 | International Business Machines Corporation | Promoting strategic documents by bias ranking of search results on a web browser |
| US7814043B2 (en) * | 2001-11-26 | 2010-10-12 | Fujitsu Limited | Content information analyzing method and apparatus |
| US7024404B1 (en) * | 2002-05-28 | 2006-04-04 | The State University Rutgers | Retrieval and display of data objects using a cross-group ranking metric |
| CA2397424A1 (en) * | 2002-08-09 | 2004-02-09 | Mohammed Lamine Kherfi | Content-based image retrieval using positive and negative examples |
| EP1586058A1 (en) * | 2003-01-24 | 2005-10-19 | BRITISH TELECOMMUNICATIONS public limited company | Searching apparatus and methods |
| US20050071328A1 (en) * | 2003-09-30 | 2005-03-31 | Lawrence Stephen R. | Personalization of web search |
| US20050120003A1 (en) * | 2003-10-08 | 2005-06-02 | Drury William J. | Method for maintaining a record of searches and results |
| JP2005208943A (ja) * | 2004-01-22 | 2005-08-04 | Denso It Laboratory Inc | サービス候補提供システム及びユーザ側通信装置並びにサービス候補提供サーバ |
| US7457823B2 (en) * | 2004-05-02 | 2008-11-25 | Markmonitor Inc. | Methods and systems for analyzing data related to possible online fraud |
| US7257577B2 (en) * | 2004-05-07 | 2007-08-14 | International Business Machines Corporation | System, method and service for ranking search results using a modular scoring system |
| WO2006023765A2 (en) * | 2004-08-19 | 2006-03-02 | Claria, Corporation | Method and apparatus for responding to end-user request for information |
| WO2006036781A2 (en) * | 2004-09-22 | 2006-04-06 | Perfect Market Technologies, Inc. | Search engine using user intent |
| WO2006042265A2 (en) * | 2004-10-11 | 2006-04-20 | Nextumi, Inc. | System and method for facilitating network connectivity based on user characteristics |
-
2006
- 2006-07-14 US US11/457,733 patent/US20070208730A1/en not_active Abandoned
-
2007
- 2007-02-08 EP EP07750372A patent/EP1997065A4/en not_active Ceased
- 2007-02-08 MX MX2008011223A patent/MX2008011223A/es active IP Right Grant
- 2007-02-08 WO PCT/US2007/003530 patent/WO2007106269A1/en active Application Filing
- 2007-02-08 BR BRPI0708397-1A patent/BRPI0708397A2/pt not_active IP Right Cessation
- 2007-02-08 RU RU2008135459/08A patent/RU2435212C2/ru not_active IP Right Cessation
- 2007-02-08 CA CA002644440A patent/CA2644440A1/en not_active Abandoned
- 2007-02-08 JP JP2008557273A patent/JP5247475B2/ja not_active Expired - Fee Related
- 2007-02-08 KR KR1020087021426A patent/KR101366408B1/ko not_active IP Right Cessation
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013090946A1 (en) * | 2011-12-15 | 2013-06-20 | Qwiki, Inc. | Systems and methods involving features of seach and/or search integration |
| WO2013149220A1 (en) * | 2012-03-30 | 2013-10-03 | Xen, Inc. | Centralized tracking of user interest information from distributed information sources |
| RU2601138C2 (ru) * | 2012-07-10 | 2016-10-27 | Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед | Способ предоставления рекомендуемой информации для браузера мобильного терминала и система, применяющая данный способ |
| US10614120B2 (en) | 2012-12-14 | 2020-04-07 | Samsung Electronics Co., Ltd. | Information search method and device and computer readable recording medium thereof |
| US11314804B2 (en) | 2012-12-14 | 2022-04-26 | Samsung Electronics Co., Ltd. | Information search method and device and computer readable recording medium thereof |
| RU2654145C2 (ru) * | 2012-12-14 | 2018-05-16 | Самсунг Электроникс Ко., Лтд | Способ и устройство поиска информации и компьютерно-читаемый носитель записи для этого |
| US10275418B2 (en) | 2013-03-22 | 2019-04-30 | National Research University Higher School of Economics (HSE) | Method for selecting valid variants in search and recommendation systems (variants) |
| WO2015038881A1 (en) * | 2013-09-13 | 2015-03-19 | ClickTale, Ltd. | A method and system for generating comparable visual maps for browsing activity analysis |
| US10079737B2 (en) | 2013-09-13 | 2018-09-18 | Clicktale Ltd. | Method and system for generating comparable visual maps for browsing activity analysis |
| RU2608886C2 (ru) * | 2014-06-30 | 2017-01-25 | Общество С Ограниченной Ответственностью "Яндекс" | Ранжиратор результатов поиска |
| RU2639953C2 (ru) * | 2014-12-09 | 2017-12-25 | Сяоми Инк. | Способ и устройство для предоставления контактных данных |
| RU2632138C2 (ru) * | 2015-09-14 | 2017-10-02 | Общество С Ограниченной Ответственностью "Яндекс" | Способ (варианты) и сервер ранжирования поисковых результатов на основе параметра полезности |
| US10275406B2 (en) | 2015-09-14 | 2019-04-30 | Yandex Europe Ag | System and method for ranking search results based on usefulness parameter |
| RU2632133C2 (ru) * | 2015-09-29 | 2017-10-02 | Общество С Ограниченной Ответственностью "Яндекс" | Способ (варианты) и система (варианты) создания модели прогнозирования и определения точности модели прогнозирования |
| US11341419B2 (en) | 2015-09-29 | 2022-05-24 | Yandex Europe Ag | Method of and system for generating a prediction model and determining an accuracy of a prediction model |
| US10387801B2 (en) | 2015-09-29 | 2019-08-20 | Yandex Europe Ag | Method of and system for generating a prediction model and determining an accuracy of a prediction model |
| RU2632423C2 (ru) * | 2015-09-30 | 2017-10-04 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и поисковая система предоставления поисковых результатов на множество клиентских устройств |
| US10282358B2 (en) | 2015-09-30 | 2019-05-07 | Yandex Europe Ag | Methods of furnishing search results to a plurality of client devices via a search engine system |
| RU2621962C1 (ru) * | 2016-08-16 | 2017-06-08 | Игорь Юрьевич Скворцов | Самонастраивающаяся интерактивная система, способ и считываемый компьютером носитель данных обмена комментариями между пользователями |
| RU2630741C1 (ru) * | 2016-12-20 | 2017-09-12 | Игорь Юрьевич Скворцов | Самонастраивающаяся интерактивная система, способ и считываемый компьютером носитель данных обмена комментариями между пользователями |
| RU2663706C1 (ru) * | 2017-07-20 | 2018-08-08 | Общество С Ограниченной Ответственностью "Центр Разработки И Внедрения Инновационных Технологий" | Самонастраивающаяся интерактивная система, способ и считываемый компьютером носитель данных оценки доверия контенту |
| WO2019017820A1 (ru) * | 2017-07-20 | 2019-01-24 | Общество С Ограниченной Ответственностью "Центр Разработки И Внедрения Инновационных Технологий" | Самонастраивающаяся интерактивная система оценки доверия контенту |
| US10552505B2 (en) | 2017-07-25 | 2020-02-04 | Yandex Europe Ag | Method and system for generating a user-personalization interest parameter for identifying personalized targeted content item |
| RU2757546C2 (ru) * | 2017-07-25 | 2021-10-18 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для создания персонализированного пользовательского параметра интереса для идентификации персонализированного целевого элемента содержимого |
| RU2689812C2 (ru) * | 2017-07-25 | 2019-05-29 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для определения ранжированных позиций ненативных элементов с помощью системы ранжирования |
| US11256991B2 (en) | 2017-11-24 | 2022-02-22 | Yandex Europe Ag | Method of and server for converting a categorical feature value into a numeric representation thereof |
| US11995519B2 (en) | 2017-11-24 | 2024-05-28 | Direct Cursus Technology L.L.C | Method of and server for converting categorical feature value into a numeric representation thereof and for generating a split value for the categorical feature |
Also Published As
| Publication number | Publication date |
|---|---|
| BRPI0708397A2 (pt) | 2011-05-31 |
| KR20080114708A (ko) | 2008-12-31 |
| US20070208730A1 (en) | 2007-09-06 |
| EP1997065A1 (en) | 2008-12-03 |
| RU2008135459A (ru) | 2010-03-10 |
| KR101366408B1 (ko) | 2014-03-03 |
| CA2644440A1 (en) | 2007-09-20 |
| JP5247475B2 (ja) | 2013-07-24 |
| EP1997065A4 (en) | 2011-04-13 |
| JP2009528619A (ja) | 2009-08-06 |
| WO2007106269A1 (en) | 2007-09-20 |
| MX2008011223A (es) | 2008-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2435212C2 (ru) | Сбор данных о пользовательском поведении при веб-поиске для повышения релевантности веб-поиска | |
| US10942905B2 (en) | Systems and methods for cleansing automated robotic traffic | |
| Middleton et al. | Capturing knowledge of user preferences: ontologies in recommender systems | |
| RU2701110C2 (ru) | Изучение и использование контекстных правил извлечения контента для устранения неоднозначности запросов | |
| US7152057B2 (en) | Utilizing information redundancy to improve text searches | |
| US8886623B2 (en) | Large scale concept discovery for webpage augmentation using search engine indexers | |
| Teevan et al. | Slow search: Information retrieval without time constraints | |
| US11113291B2 (en) | Method of and system for enriching search queries for ranking search results | |
| RU2419858C2 (ru) | Система, способ и интерфейс для обеспечения персонализированного поиска и доступа к информации | |
| RU2677380C2 (ru) | Способ и система ранжирования множества документов на странице результатов поиска | |
| RU2744029C1 (ru) | Система и способ формирования обучающего набора для алгоритма машинного обучения | |
| US20160335603A1 (en) | Evaluating service providers using a social network | |
| Bedi et al. | A framework for personalizing atypical web search sessions with concept-based user profiles using selective machine learning techniques | |
| US20060224579A1 (en) | Data mining techniques for improving search engine relevance | |
| WO2008140943A1 (en) | Accounting for behavioral variability in web search | |
| US10740420B2 (en) | Computer-implemented platform for generating query-answer pairs | |
| RU2733481C2 (ru) | Способ и система генерирования признака для ранжирования документа | |
| US20170199939A1 (en) | Method of and a system for website ranking using an appeal factor | |
| US20210075809A1 (en) | Method of and system for identifying abnormal site visits | |
| US11334559B2 (en) | Method of and system for identifying abnormal rating activity | |
| Dorn | Web Information Retrieval and Search | |
| Broccolo | Query log based techniques to improve the performance of a web search engine | |
| Gupta et al. | Disambiguation of User Search Query | |
| Bhojawala et al. | Search Logs Mining: Survey | |
| Lieberam-Schmidt et al. | Web Search |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20130209 |