RU2549121C2 - Объдинение результатов поиска - Google Patents
Объдинение результатов поиска Download PDFInfo
- Publication number
- RU2549121C2 RU2549121C2 RU2011148231/08A RU2011148231A RU2549121C2 RU 2549121 C2 RU2549121 C2 RU 2549121C2 RU 2011148231/08 A RU2011148231/08 A RU 2011148231/08A RU 2011148231 A RU2011148231 A RU 2011148231A RU 2549121 C2 RU2549121 C2 RU 2549121C2
- Authority
- RU
- Russia
- Prior art keywords
- results
- user
- model
- list
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims 7
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 230000000737 periodic effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000007246 mechanism Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 9
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 241000287486 Spheniscidae Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Изобретение относится к средствам извлечения информации. Технический результат заключается в повышении релевантности результатов. На входе, принимают запрос. На выходе, выдают этот запрос в совокупность различных источников, по меньшей мере один из которых является поисковым механизмом публичного домена и по меньшей мере один из которых является поисковым механизмом частного домена. На входе, принимают список результатов от каждого из этой совокупности различных источников. Определяют, объединять ли эти списки результатов, на основе определения релевантности с использованием модели объединения. Формируют посредством процессора полный список результатов из принятых списков результатов с использованием модели объединения. Обеспечивают представление посредством пользовательского интерфейса полного списка результатов. Наблюдают поведение пользователя в ответ на представленный полный список результатов. Используют наблюдаемое поведение пользователя для обновления модели объединения. 3 н. и 18 з.п. ф-лы, 12 ил.
Description
Область техники, к которой относится изобретение
Настоящее изобретение относится к объединению результатов поиска, которое необходимо, например, когда система извлечения информации выдает запрос множественным источникам и получает множественные списки результатов.
Предшествующий уровень техники
При осуществлении федеративного поиска обычно требуется объединять результаты поиска, принятые от разных поисковых механизмов, которые могут извлекать информацию из разных источников. Например, федеративный поиск может осуществляться на поисковом портале, который принимает поисковый запрос и посылает его на совокупность разных поисковых механизмов. Он собирает результаты и обычно обеспечивает пользовательский интерфейс, позволяющий осуществлять доступ к собранным результатам. Процесс отправки запроса на разные поисковые механизмы и приема результатов осуществляется автоматически без необходимости пользовательского ввода и может осуществляться "за кадром", так что пользователь может не знать о его существовании.
Таким образом, порталы федеративного поиска используются в настоящее время для поиска по многим разным публичным источникам информации, например, с использованием механизмов Интернет-поиска, публичных баз данных и других публичных собраний данных. Однако многие предприятия, образовательные учреждения и другие объекты имеют доступ к источникам информации, которые не являются публичными. В этом случае встает вопрос, как правильно обеспечить федеративный поиск, где, по меньшей мере, некоторые из источников информации являются публичными и, по меньшей мере, некоторые - нет.
Существующие системы федеративного поиска часто просто собирают списки результатов, полученные из разных источников информации, не обеспечивая никакого дополнительного “интеллекта” для представления результатов. Например, в некоторых системах федеративного поиска портал обеспечивает средство пользовательского интерфейса, пользуясь которым конечный пользователь должен вручную объединять, устранять дублирование и сортировать списки результатов из разных источников информации. Это занимает много времени и трудно, из-за чего на конечного пользователя возлагается ненужная нагрузка. Эта проблема особенно актуальна, когда конечным пользователем является новичок или ребенок, который даже не знает о существовании отдельных источников данных, по которым осуществляется поиск.
Известны другие системы извлечения информации, дающие пользователю возможность манипулировать пользовательским интерфейсом для указания, что запрос адресован совокупности разных источников, заданных пользователем. Необработанные результаты принимаются на пользовательском интерфейсе и представляются, часто совместно, чтобы пользователь мог распоряжаться ими с использованием инструментов, предусмотренных в составе пользовательского интерфейса. Такого рода поиск не столь автоматизирован, как федеративный поиск, поскольку функции управления обеспечены, в основном, на пользовательском интерфейсе, а не отдельном механизме федерального поиска. Кроме того, такого рода поисковая система подходит только для опытных пользователей, располагающих обширными знаниями о разных доступных источниках информации.
Описанные ниже варианты осуществления не ограничиваются реализациями, которые устраняют какие-либо или все недостатки известных систем извлечения информации.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Ниже в упрощенной форме представлена сущность раскрытия, позволяющая читателю понять ее основные идеи. Эта сущность не является исчерпывающим обзором раскрытия и не выявляет ключевые/критические элементы изобретения и не ограничивает объем изобретения. Ее единственной целью является представление в упрощенной форме некоторых раскрытых здесь концепций, предваряющее более подробное описание, приведенное ниже.
Объединение результатов поиска необходимо, например, когда система извлечения информации выдает запрос множественным источникам и получает множественные списки результатов. Согласно варианту осуществления поисковый механизм в корпоративном домене посылает запрос на корпоративный поисковый механизм, а также на поисковый механизм для публичного интернета. Согласно вариантам осуществления списки результатов, полученные из разных источников, объединяются с использованием модели объединения, которая обучается с использованием процесса машинного обучения и обновляется, например, при наблюдении кликовых данных. В примерах пользовательская информация, доступная в корпоративном домене, используется для внесения изменений в процесс объединения для повышения релевантности результатов. В некоторых примерах пользовательская информация используется для изменения запроса. Согласно варианту осуществления пользователь имеет возможность подменять пользователя указанной группа для улучшения конкретных результатов.
Многие дополнительные признаки станут более очевидными по ознакомлении с нижеследующим подробным описанием, проиллюстрированным прилагаемыми чертежами.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
Для более углубленного понимания настоящего описания следует обратиться к нижеследующему подробному описанию, проиллюстрированному прилагаемыми чертежами, в которых:
фиг. 1 - схема системы извлечения информации на предприятии, подключенной через брандмауэр к интернету;
фиг. 2 - схема системы извлечения информации, имеющей поисковый механизм одновременного охвата, на предприятии, которая подключена к интернету через брандмауэр;
фиг. 3 - логическая блок-схема способа объединения результатов в системе извлечения информации;
фиг. 4 - схема модели объединения;
фиг. 5 - схема типов ввода, предусмотренных в модели объединения;
фиг. 6 - логическая блок-схема способа, выполняемого на механизме объединения;
фиг. 7 - логическая блок-схема другого способа, выполняемого на механизме объединения;
фиг. 8-схема пользовательского интерфейса, обеспечиваемого системой извлечения информации;
фиг. 9 - логическая блок-схема способа, выполняемого в системе извлечения информации при изменении объемов поиска;
фиг. 10 - логическая блок-схема способа, выполняемого в системе извлечения информации при осуществлении выбора подменяющего пользователя;
фиг. 11 - логическая блок-схема способа, выполняемого в системе извлечения информации для изменения запроса;
фиг. 12 - иллюстративное вычислительное устройство, в котором можно реализовать варианты осуществления системы извлечения информации.
Прилагаемые чертежи снабжены сквозной системой обозначений.
ПОДРОБНОЕ ОПИСАНИЕ
Подробное описание, приведенное ниже совместно с прилагаемыми чертежами, призвано служить описанием настоящих примеров и не призвано представлять только те формы, в которых можно построить или использовать настоящий пример. В описании изложены функции примера и последовательность этапов для построения и эксплуатации примера. Однако такие же или эквивалентные функции и последовательности могут осуществляться в других примерах.
Термин “поиск одновременного охвата” используется здесь в отношении использования единичного поискового механизма для автоматического поиска по совокупности источников информации, по меньшей мере, один из которых находится в частном домене, к которому единичный поисковый механизм имеет доступ, и, по меньшей мере, другой из которых находится в публичном домене.
Хотя настоящие примеры описаны и проиллюстрированы здесь как реализуемые в системе извлечения информации для поиска одновременного охвата, описанная система обеспечена в порядке примера, но не ограничения. Специалистам в данной области техники очевидно, что, по меньшей мере, некоторые из настоящих примеров пригодны для применения в системах извлечения информации различных других типов, включая системы для поиска по совокупности разных источников информации.
На фиг. 1 показана схема системы извлечения информации на предприятии (или в другом частном домене), подключенной через брандмауэр 101 к интернету 100. Сущности слева от пунктирной линии на фиг. 1 рассматриваются здесь как часть корпоративного домена, а сущности справа от пунктирной линии находятся в публичном домене. В публичном домене обеспечен поисковый механизм 112, подключенный к интернету 100 и выполненный с возможностью обеспечивать пользовательский интерфейс 113, допускающий навигацию конечного пользователя на клиентском терминале, например, на клиентском терминале 107 в корпоративном домене. Поисковый механизм 112 имеет доступ к индексу 111 документов 110. Он выполнен с возможностью приема условий запроса 108 от конечного пользователя на клиентском терминале 107 (в публичном или частном домене) и возвращения ранжированного списка документов 109 с использованием индекса 111, как известно в технике.
Внутрисетевой поисковый механизм 105 также обеспечен в корпоративном домене и подключен к внутренней сети 102, к которой также подключен клиентский терминал 107. Внутрисетевой поисковый механизм 105 имеет доступ к индексу 104 документов 103, доступных пользователям на предприятии, но, в общем случае, не доступных вне корпоративного домена. Например, внутренняя сеть для образовательных учреждений может иметь свободный доступ к премиальному контенту, который не доступен в публичном интернете. Кроме того, внутренняя сеть государственной службы здравоохранения может иметь доступ к конфиденциальной и/или другой дорогостоящей информации, которая не подлежит свободному доступу. В другом примере группа пользователей может иметь доступ к сайту частой социальной сети, где хранится информация, которая не подлежит свободному доступу. В этом случае документы 103 и индекс 104, указанные на фиг. 1, представляют, по меньшей мере, некоторую информацию, которая, в общем случае, не подлежит свободному доступу. Внутрисетевой поисковый механизм 105 также обеспечивает пользовательский интерфейс 106, доступный клиентскому терминалу 107. Конечный пользователь на клиентском терминале 107 способен вводить условия пользовательского запроса 108 в внутрисетевой поисковый механизм пользовательский интерфейс 106 для получения ранжированного списка документов 109 из индекса 104. Таким образом, конечный пользователь может вручную направлять запросы либо на механизм интернет-поиска 112, либо на внутрисетевой поисковый механизм 105. Однако конечный пользователь часто не знает, из какого источника он, скорее всего, получит наилучшие результаты. Часто получается утомительный процесс проб и ошибок, в котором конечный пользователь посылает запрос на механизм интернет-поиска (например) и просматривает результаты, прежде чем послать тот же запрос на внутрисетевой поисковый механизм.
Другое отличие между внутрисетевым поисковым механизмом 105 и поисковым механизмом для публичного интернета 112, показанными на фиг. 1, состоит в том, что внутрисетевой поисковый механизм 105 может иметь доступ к личной пользовательской информации о пользователях внутренней сети, которая не доступна для поискового механизма для публичного интернета 112. Например, такой информацией может быть демографическая информация и/или информация, содержащая конфиденциальные детали, например, возраст пользователя, должность пользователя на предприятии (например, медсестра, врач, ученик, учитель, менеджер, разнорабочий), рабочий адрес пользователя и другие подобные детали.
Можно обеспечить поисковую систему одновременного охвата, изображенную на фиг. 2. Поисковый механизм одновременного охвата 202 подключен к внутренней сети и объединен или связан с внутрисетевым поисковым механизмом. С поисковым механизмом одновременного охвата 202 объединены или связаны механизм объединения 203 и блок оценивания 204. Внутрисетевой поисковый механизм имеет пользовательский интерфейс для поиска одновременного охвата 205.
Пользователь на клиентском терминале 107 способен вводить условия пользовательского запроса 108 в пользовательский интерфейс для поиска одновременного охвата 205 и получать ранжированный список объединенных документов 200. Поисковый механизм одновременного охвата выполнен с возможностью передачи условий запроса 108 на внутрисетевой поисковый механизм 105 и механизм интернет-поиска 112 и для приема результатов. Он выполнен с возможностью объединения результатов с использованием механизма объединения 203 и отображения ранжированного, объединенного списка результатов конечному пользователю на пользовательском интерфейсе 205. Неявная и/или явная обратная связь 201 наблюдается на пользовательском интерфейсе 205 и возвращается на поисковый механизм одновременного охвата. Эта обратная связь используется для обновления механизма объединения. Таким образом, система машинного обучения на механизме объединения позволяет ему учиться наилучшим образом объединять результаты. Блок оценивания 204 предусмотрен для периодического контроля производительности механизма объединения 203, чтобы гарантировать, что процесс обучения действует правильно. Можно использовать любой подходящий блок оценивания. Например, можно использовать процесс оценивания с перемежением, описанный в Radlinski, et al., “How does clickthrough data reflect retrieval quality” Proceedings of 17th ACM conference on Information and Knowledge management, pp 43-52, 2008, которая включена сюда в полном объеме посредством ссылки.
На фиг. 3 представлен способ, выполняющийся на поисковом механизме одновременного охвата 202. (Этот способ также применим к механизмам федеративного поиска, где множественные объемы поиска строятся на основе источников публичного домена.) Запрос принимается 300, например, от школьника на клиентском терминале 107. Школьник ищет информацию о пингвинах для выполнения домашнего задания. Школьник не знает, производить ли поиск с использованием внутрисетевого поискового механизма или с использованием веб-поиска. Поисковый механизм одновременного охвата 202 посылает 301 запрос на внутрисетевой поисковый механизм, а также на публичный поисковый механизм (см. блок 303). Это иногда может осуществляться автоматически в режиме, прозрачном для школьника, так что школьнику не требуется специальных знаний при выборе источников информации для поиска. В некоторых вариантах осуществления осуществляется процесс изменения запроса 313, в котором запрос расширяется или видоизменяется в зависимости от источника, на который он должен быть направлен, и, в необязательном порядке, с использованием информации обратной связи, поступающей из предыдущих поисков (что более подробно объяснено ниже). Это изменение запроса осуществляется автоматически и, в некоторых вариантах осуществления, в режиме, прозрачном для школьника или другого пользователя. Это облегчает работу с системой для начинающих пользователей, которые еще не научились формулировать подходящие запросы для конкретных типов объема поиска.
В некоторых вариантах осуществления можно производить поиск по более чем двум источникам информации, что обозначено блоками 305 и 306 на фиг. 3. Первый список результатов принимается 302 от внутрисетевого поискового механизма, и второй список результатов принимается 304 от механизма веб-поиска. В случае поиска по более чем двум источникам информации принимается по одному списку результатов для каждого источника информации. Списки результатов объединяются 308 с использованием модели объединения (которая хранится 307), и объединенный список результатов представляется конечному пользователю. Модель объединения также может использовать историческую информацию (например, хранилища журналов кликов) 312 и другие вводы, описанные более подробно ниже со ссылкой на фиг. 5. Обратная связь принимается 309, например, если пользователь пропускает или кликает по одному или нескольким из элементов в объединенном списке результатов, и эта обратная связь используется для обновления 310 модели объединения. Обратная связь может быть неявной обратной связью или явной обратной связью. Кроме того, обратную связь можно, в необязательном порядке, использовать для внесения изменений в процесс изменения запроса 313.
Термин “явная обратная связь” используется для обозначения проактивной обратной связи от пользователя в отношении релевантности документа, извлеченного системой извлечения информации. Например, это может быть метка, присвоенная документу пользователем-человеком, подавшим указанный запрос. Метка может предназначаться для отнесения документа к одному из совокупности классов в зависимости от того, как пользователь оценивает документ в отношении релевантности запросу. Явную обратную связь также можно рассматривать как оценивание одного или нескольких документов в ранжированном списке с учетом условий запроса, использованных для получения этого ранжированного списка. Явную обратную связь также можно именовать явной информацией релевантности.
Чтобы обратная связь была явной, требуется активный пользовательский ввод или действие пользователя в ответ на запрос или предложение к этому пользователю принять решение. Напротив, для “неявной обратной связи” (также именуемой неявной информацией релевантности) активный пользовательский ввод в ответ на предложение принять решение не требуется. Ее также можно рассматривать как пассивную обратную связь. Примеры неявной обратной связи включают в себя кликовые данные, например, пары запрос-документ. Пара запрос-документ это запрос, введенный пользователем в поисковый механизм совместно со ссылкой или другим идентификатором документа. Документ указан в ранжированном списке документов, представленном поисковым механизмом в ответ на запрос, и кликнут пользователем. Другие примеры неявной обратной связи включают в себя отсутствие активности на пользовательском интерфейсе. Например, предполагается, что событие, состоящее в том, что пользователь не обращается к документу из списка результатов, связано с нерелевантностью документа. Существует много других возможных типов неявной обратной связи. Например, время пребывания в системе (сколько времени пользователь тратит на наведение указателя пользовательского интерфейса на ссылку в списке документов). Можно предусмотреть разные степени неявной обратной связи. Например, если пользователь копирует и вставляет ссылку из списка результатов или создает закладку на ссылку, это можно считать высококачественной неявной обратной связью.
Отсюда следует, что такие разные типы информации обратной связи можно выгодно использовать для улучшения объединения результатов поиска, принятых из разных источников, чтобы сделать объединенные результаты поиска более релевантными. Например, это достигается на межзапростной основе. Таким образом, обратная связь от предыдущих запросов пользователя и/или решений блока оценивания используется для улучшения будущего объединения результатов поиска, произведенного тем же или другими пользователями.
Модель объединения, в необязательном порядке, периодически оценивается 311 и регулируется или заменяется по мере необходимости в соответствии с результатами этих оценок.
Например, модель объединения представляет собой модель событий представления результатов поиска и используется для предсказания, будет ли результат выбран (или кликнут) пользователем, а также какому источнику или объему поиска будет отдано предпочтение (посредством клика). Таким образом, наблюдаемую информацию о событии представления объединенных результатов поиска можно использовать для обновления модели объединения, и этот процесс может продолжаться, пока наблюдаются события представления объединенных результатов поиска. Таким образом, объединение является адаптивным и учится объединять результаты так, чтобы в будущем с большей вероятностью приводить к “кликам”. Можно использовать любую подходящую модель объединения, которая моделирует события представления результатов поиска и которую можно использовать для предсказания, будет ли результат выбран пользователем. Ее также можно рассматривать как модель, которая предсказывает, насколько релевантным будет результат для данного пользователя.
Например, модель объединения 400 может храниться в памяти с использованием структуры данных и может содержать совокупность переменных 401 события представления результатов поиска, каждая из которых может иметь вес с соответствующим распределением вероятности. Каждое распределение вероятности может представлять достоверность того, что вес, связанный с моделью, верен. Для данного результата в списке результатов модель можно использовать для обеспечения вероятности того, что данный результат будет кликнут (здесь это называется вероятностью клика) путем объединения переменных с учетом весов и достоверностей весов. Затем результаты можно объединять на основании этих значений вероятности клика. Например, результаты можно представлять в списке, упорядоченном по значению вероятности клика.
По мере обновления модели объединения (этап 310 на фиг. 3) веса изучаются, и достоверности этих весов уточняются. Пример подходящей модели объединения описана в US 2009/0043539A1, опубликованной 12 февраля 2009 г. от имени Microsoft Corporation и включенной сюда в полном объеме посредством ссылки.
Переменные события, используемые в модели объединения 400, описывают события представления объединенных результатов поиска, при которых пользовательский интерфейс 205 поискового механизма одновременного охвата 202 представляет конечному пользователю объединенный список результатов. Можно использовать любое подходящее количество переменных события, хотя с увеличением количества переменных возрастает потребление вычислительных ресурсов. Переменные события можно обеспечивать как значения указателя, а не как переменные с действительными значениями, для снижения требований к вычислительной мощности, и процессы отсечения можно использовать для снижения требований к памяти для модели объединения, описанной в вышеупомянутой US 2009/0043539A1.
На фиг. 5 приведен неполный список примеров переменных события, подаваемых на механизм объединения 203 для объединения конкретного результата. Можно использовать любую комбинацию одной или нескольких таких переменных события. Они включают в себя ранг или счет 500 внутрисетевого поиска для результата, текстовые признаки 501, которые внутрисетевой поисковый механизм использовал для ранжирования результата, ранг или счет 502 интернет-поиска, текстовые признаки 503, извлеченные из любого фрагмента, предоставленного для использования с результатом механизмом интернет-поиска, установил ли пользователь выбор подменяющего пользователя 504 (описанный более подробно ниже), частотность запроса 505 для запроса, который привел к результату, количество результатов 506, полученных из каждого источника для данного поиска, пользовательскую информацию 507, историю кликов 508 для результата, входящего в объединенный список и/или в необъединенный список. Другая переменная события может просто указывать, является ли результат внутрисетевым или интернет-результатом; другой вариант состоит в выводе этой информации из значений других переменных события. Например, ранг внутрисетевого поиска приравнивается нулю, если результат получен из интернета. Еще одной переменной события может быть ссылочный признак, например, ранг страницы в алгоритме анализа ссылок PageRank.
Модель объединения инициализируется стандартными весами и обучается с использованием наблюдаемых данных события с использованием любого подходящего процесса обучения. Иллюстративные процессы обучения описаны в вышеупомянутой US 2009/0043539A1. Процесс обучения может осуществляться автономно и может продолжаться в ходе использования механизма объединения в реальном времени. Таким образом, автономное обучение не является необходимым. Процесс обучения может осуществляться в порядке использования системы объединения в реальном времени.
Используя модель объединения 400, механизм объединения может формировать единый ранжированный список результатов из совокупности принятых списков результатов, что описано со ссылкой на фиг. 3. Механизм объединения, в необязательном порядке, удаляет повторы 600 из списков и, для каждого из оставшихся результатов, определяет 601 вероятность клика по этому результату с использованием модели объединения. Для данного результата, механизм объединения берет значения переменных события, принятые согласно описанному выше со ссылкой на фиг. 5. Согласно примеру, он комбинирует эти значения переменных события с учетом весов и применяет функцию связи для отображения комбинированных значений переменных в значение вероятности, описанное в вышеупомянутой US 2009/0043539A1. Механизм объединения выполнен с возможностью формирования 602 единого ранжированного списка результатов на основании определенных значений вероятности.
В некоторых вариантах осуществления механизм объединения 203 также выполнен с возможностью принятия решения, объединять ли списки результатов. Например, в ряде случаев нецелесообразно объединять список результатов, поскольку все результаты интернет-поиска (например) имеют более низкую релевантность по сравнению с результатами внутрисетевого поиска. Опишем, со ссылкой на фиг. 7, иллюстративный способ, выполняющийся на поисковом механизме одновременного охвата.
Поисковый механизм одновременного охвата принимает 700 список результатов первого объема от внутрисетевого поискового механизма (например). Он также принимает список результатов второго объема от механизма интернет-поиска (например). Он использует механизм объединения для получения 702 вероятностей кликов для результатов в обоих списках результатов согласно описанному выше. Затем он выполнен с возможностью переходить к процессу 703 принятия решения для принятия решения, представлять ли результаты в виде объединенного списка. Это решение принимается на основе правил, порогов или других критериев, заданных на поисковом механизме одновременного охвата. Например, если среднее значение вероятности клика для результатов интернет-поиска составляет в пределах 10% от соответствующего значения для результатов внутрисетевого поиска, то результаты объединяются 704. В противном случае результаты не объединяются. При этом поисковый механизм одновременного охвата переходит к выбору 705 одного из списков результатов для представления в главной части дисплея пользовательского интерфейса. Для осуществления этого выбора используются правила, пороги или другие критерии, и также принимается решение 706, использовать ли боковую панель дисплея для представления списка результатов 707 другого объема.
На фиг. 8 показан пример дисплея пользовательского интерфейса для использования пользовательским интерфейсом 205 одновременного охвата в образовательном домене. Это конкретный пример, описанный со ссылкой на применение в сфере образования. Технология также подходит для использования в других областях при соответствующей изменения дисплея пользовательского интерфейса. Он содержит главную область отображения 801 и боковую панель 802. Главная область отображения 801 содержит текстовое поле 800, позволяющее пользователю вводить запрос и направлять этот запрос на поисковый механизм одновременного охвата. Под текстовым полем 800 находятся флажки объема 803, 804, 805, позволяющие пользователю указывать, следует ли искать в внутренней сети и в интернете (флажок 803), только в внутренней сети (флажок 804) или только в интернете (флажок 805). Еще один флажок 806 позволяет пользователю подменять другого пользователя, который в этом примере является “пятилетним ребенком”, будучи школьником 10 лет отроду. Под флажками объема отображаются результаты в виде ранжированного списка 807. Совместно с каждым результатом можно обеспечить индикацию, указывающую источник, откуда был получен результат. Однако это не является необходимым. Результаты также могут отображаться в вышеупомянутой боковой панели 802.
Опишем, со ссылкой на фиг. 9, иллюстративный способ, выполняющийся на поисковом механизме одновременного охвата. Поисковый запрос принимается 900 с первым указанным объемом поиска. Например, можно указать, что поисковые механизмы должны искать как в внутренней сети, так и в интернете (в примере на фиг. 8 отмечен флажок объема 803). Поисковый механизм одновременного охвата осуществляет поиск и объединение списков результатов согласно описанному выше. Объединенный список результатов представляется 901 пользователю на пользовательском интерфейсе. При этом поисковый механизм одновременного охвата может принимать 902 пользовательский ввод, изменяющий указанный объем поиска. Например, теперь требуются только результаты внутрисетевого поиска. В примере на фиг. 8 это соответствует очистке флажка 803 и отмечанию флажка 804. Механизм объединения выполнен с возможностью обновления 903 объединенного списка результатов согласно новому указанному объему и представления обновленного списка в реальном времени, в ходе работы пользователя с поисковым механизмом. Для этого можно использовать значения вероятности клика, уже определенные, например, на этапе 601 способа, представленного на фиг. 6. Результаты, удаленные из списка, например, результаты поиска в интернете в рассматриваемом случае, можно представлять 904 в боковой панели дисплея.
В некоторых вариантах осуществления пользователь имеет возможность подменять другого пользователя для внесения изменений в обучение механизма объединения. Например, учитель может пожелать подменить ребенка для данного запроса, для продвижения выбранных результатов для последующего поиска, осуществляемого ребенком. Переменная события, именуемая “подменяющий пользователь” 504 на фиг. 5, используется совместно с флажком 806 пользовательского интерфейса или другим средством пользовательского ввода. Если переменная события подменяющего пользователя 504 задана, механизм объединения выполнен с возможностью внесения изменения в процесс обновления, показанный на фиг. 3 (этап 310), чтобы присвоить больший вес соответствующему событию представления результатов поиска по сравнению с другими событиями.
Например, согласно фиг. 10 поисковый запрос принимается 1000 совместно с пользовательским вводом, указывающим условие подменяющего пользователя. Событие представления результатов поиска наблюдается 1001, и модель объединения обновляется 1002 до более высокой степени, чем для наблюдаемых событий, не имеющих условия подменяющего пользователя.
Помимо вышеописанного примера учителя и ученика, существует много областей применения, где может быть полезен асимметричный механизм обновления, показанный на фиг. 10. Например, в медицине, инженерии, фармакологии или других областях, где может потребоваться корректировать или направлять результаты поиска для конкретных групп пользователей.
Как упомянуто выше, в внутрисетевом домене, сущностям в этом домене доступна информация, которая не подлежит свободному доступу. Например, она может включать в себя информацию об отдельных пользователях или группах пользователей в внутрисетевом или корпоративном домене. Эту информацию поисковый механизм одновременного охвата может использовать для внесения изменений в объединение результатов. Например, одна или несколько переменных события, описывающие пользовательскую информацию 507, используются механизмом объединения 203 (см. фиг. 5). Предположим, что конечным пользователем является школьник, ищущий информацию о пингвинах для выполнения своего домашнего задания. Механизм объединения может принимать переменную события, указывающую возраст этого ученика, и веса в модели объединения могут устанавливаться в ходе обучения, чтобы процесс объединения мог смещать результаты от внутрисетевого поискового механизма в этом сценарии. Кроме того, различным результатам интернет-поиска могут присваиваться разные веса в соответствии с возрастом ученика. Например, премиальный контент в виде природных видеосъемок пингвинов может быть бесплатно доступен от внутрисетевого поискового механизма. Хотя ученику неизвестно о разных поисковых механизмах и/или существовании бесплатного высококачественного контента, он может быстро, просто и эффективно осуществлять доступ к этой информации. Хотя пользовательская информация доступна только в внутрисетевом домене, она используется поисковым механизмом одновременного охвата для оказания влияния на объединение результатов из источников внутрисетевого и публичного домена.
В некоторых вариантах осуществления пользовательскую информацию можно использовать для осуществления изменения запроса, которая также может зависеть от искомого источника информации. Опишем это со ссылкой на фиг. 11. Запрос вводится пользователем (например, десятилетним ребенком, ищущим информацию о пингвинах). Запрос принимается 1101 поисковым механизмом одновременного охвата, который также принимает 1102 информацию о применимой группе для пользователя (например, десятилетнего школьника). Поисковый механизм одновременного охвата выполнен с возможностью изменения запроса на основании группы пользователей и объема поиска. Объем поиска может явно указываться пользователем путем выбора флажков, показанных на фиг. 8, или может устанавливаться по умолчанию на все доступные источники. Например, информацию о предыдущих поисках, выполненных пользователями в одной и той же группе пользователей, можно использовать для изменения запроса путем автоматического добавления, удаления или редактирования условий запроса.
Измененный запрос выдается на соответствующий поисковый механизм, и принимаются 1104 списки результатов. Списки результатов объединяются 1105 вышеописанным образом. Обратная связь также принимается 1106 вышеописанным образом и используется для обновления модели объединения 1107.
Запрос также можно изменять по-разному для каждого источника информации. Например, запрос, выдаваемый на механизм интернет-поиска, может отличаться от запроса, выдаваемого на внутрисетевой поисковый механизм.
На фиг. 12 показаны различные компоненты иллюстративного вычислительного устройства 1200, которое может быть реализовано в любой форме вычислительного и/или электронного устройства и в котором можно реализовать варианты осуществления системы извлечения информации.
Вычислительное устройство 1200 содержит один или несколько входов 1206 любого подходящего типа для приема медиаконтента, ввода интернет-протокола (IP), запросов, пользовательской информации или другого ввода. Устройство также содержит интерфейс связи 1207, позволяющий устройству осуществлять связь с другими сущностями в сети связи. Например, с механизмом интернет-поиска и интернетом, показанными на фиг. 1 и фиг. 2.
Вычислительное устройство 1200 также содержит один или несколько процессоров 1201, в качестве которых могут выступать микропроцессоры, контроллеры или процессоры любого другого подходящего типа для обработки исполняемых вычислительных инструкций для управления работой устройства для обеспечения системы извлечения информации, которая осуществляет поиск по совокупности источников информации. На вычислительном устройстве можно обеспечить программную платформу, содержащую операционную систему 1204, или любую другую подходящую программную платформу, позволяющую прикладному программному обеспечению 1203 выполняться на устройстве.
Компьютерно-выполняемые инструкции можно обеспечить с использованием любых компьютерно-считываемых носителей, например, памяти 1202. Памятью может служить запоминающее устройство любого подходящего типа, например, оперативная память (ОЗУ), дисковое запоминающее устройство любого типа, например, магнитное или оптическое запоминающее устройство, жесткий диск или привод CD, DVD или другой дисковод. Также можно использовать флэш-память, ЭППЗУ или ЭСППЗУ.
Также обеспечивается выход, например, аудио-и/или видеовыход на систему отображения, объединенную или связанную с вычислительным устройством. Дисплейный интерфейс 1205 может обеспечивать графический пользовательский интерфейс или другой пользовательский интерфейс любого подходящего типа, хотя это не является необходимым.
Термин 'компьютер' используется здесь для обозначения любого устройства с возможностями обработки, которые позволяют ему выполнять инструкции. Специалистам в данной области техники очевидно, что такими возможностями обработки обладают многие разные устройства, и поэтому термин 'компьютер' включает в себя ПК, серверы, мобильные телефоны, карманные персональные компьютеры и многие другие устройства.
Описанные здесь способы могут осуществляться программным обеспечением, размещенным в машинно-считываемой форме на материальном носителе. Программное обеспечение может быть пригодно для выполнения на параллельном процессоре или последовательном процессоре, благодаря чему этапы способа могут осуществляться в любом подходящем порядке или одновременно.
Это подтверждает, что программное обеспечение может быть ценным, отдельно продаваемым товаром. Оно призвано охватывать программное обеспечение, которое выполняется на “немом” или стандартном оборудовании или управляет им, для осуществления нужных функций. Оно также призвано охватывать программное обеспечение, которое “описывает” или задает конфигурацию оборудования, например, программное обеспечение HDL (языка описания оборудования), используемое для проектирования кремниевых чипов или для конфигурирования универсальных программируемых чипов, для осуществления нужных функций.
Специалистам в данной области техники очевидно, что запоминающие устройства, используемые для хранения программных инструкций, могут быть распределены по сети. Например, на удаленном компьютере может храниться иллюстративный процесс, описанный как программное обеспечение. Локальный или оконечный компьютер может обращаться к удаленному компьютеру и загружать частично или полностью программное обеспечение для выполнения программы. Альтернативно, локальный компьютер может загружать фрагменты программного обеспечения по мере необходимости или выполнять некоторые программные инструкции на локальном терминале, а некоторые-на удаленном компьютере (или в компьютерной сети). Специалистам в данной области техники также очевидно, что благодаря применению традиционных подходов, известных специалистам в данной области техники, программные инструкции, полностью или частично, могут осуществляться специализированной схемой, например, ЦСП, программируемой логической матрицей и т.п.
Любой приведенный здесь диапазон или значение устройства можно расширить или изменить без потери искомого эффекта, что очевидно специалисту.
Следует понимать, что вышеописанные выгоды и преимущества могут относиться к одному варианту осуществления или могут относиться к нескольким вариантам осуществления. Варианты осуществления не ограничиваются теми, которые решают какую-либо или все из поставленных задач, или теми, которые имеют какую-либо или все из указанных выгод и преимуществ. Следует также понимать, что употребление названия элемента в единственном числе подразумевает наличие одного или нескольких таких элементов.
Описанные здесь этапы способов могут осуществляться в любом подходящем порядке или одновременно, когда это целесообразно. Дополнительно, отдельные блоки можно исключить из любого способа, без отхода от сущности и объема описанного здесь изобретения. Аспекты любого из вышеописанных примеров можно комбинировать с аспектами любых других описанных примеров для формирования дополнительных примеров без потери искомого эффекта.
Термин 'содержащий' используется здесь в смысле «включающий в себя указанные блоки способа или элементы», но следует понимать, что такие блоки или элементы не образуют исчерпывающий список, и способ или устройство может содержать дополнительные блоки или элементы.
Следует понимать, что описание предпочтительного варианта осуществления приведено выше исключительно в порядке примера и что специалисты в данной области техники могут предложить различные изменения. Вышеприведенные описание изобретения, примеры и данные обеспечивают полное описание структуры и использования иллюстративных вариантов осуществления изобретения. Хотя различные варианты осуществления изобретения описаны выше с определенной степенью конкретизации или со ссылкой на один или несколько отдельных вариантов осуществления, специалисты в данной области техники могут предложить многочисленные изменения раскрытых вариантов осуществления, не выходя за рамки сущности или объема этого изобретения.
Claims (21)
1. Способ извлечения информации, реализуемый в системе извлечения информации, выполненной с возможностью извлечения результатов из совокупности различных источников, содержащий этапы, на которых:
на входе, принимают запрос;
на выходе, выдают этот запрос в совокупность различных источников, по меньшей мере один из которых является поисковым механизмом публичного домена и по меньшей мере один из которых является поисковым механизмом частного домена;
на входе, принимают список результатов от каждого из этой совокупности различных источников;
определяют, объединять ли эти списки результатов на основе определения релевантности с использованием модели объединения;
формируют посредством процессора полный список результатов из принятых списков результатов с использованием модели объединения;
обеспечивают представление посредством пользовательского интерфейса полного списка результатов;
наблюдают поведение пользователя в ответ на представленный полный список результатов; и
используют наблюдаемое поведение пользователя для обновления модели объединения.
на входе, принимают запрос;
на выходе, выдают этот запрос в совокупность различных источников, по меньшей мере один из которых является поисковым механизмом публичного домена и по меньшей мере один из которых является поисковым механизмом частного домена;
на входе, принимают список результатов от каждого из этой совокупности различных источников;
определяют, объединять ли эти списки результатов на основе определения релевантности с использованием модели объединения;
формируют посредством процессора полный список результатов из принятых списков результатов с использованием модели объединения;
обеспечивают представление посредством пользовательского интерфейса полного списка результатов;
наблюдают поведение пользователя в ответ на представленный полный список результатов; и
используют наблюдаемое поведение пользователя для обновления модели объединения.
2. Способ по п. 1, в котором упомянутый запрос принимают от пользователя, и способ дополнительно содержит этап, на котором принимают пользовательскую информацию для этого пользователя, причем модель объединения учитывает эту пользовательскую информацию.
3. Способ по п. 1, дополнительно содержащий этап, на котором сохраняют модель объединения с использованием структуры данных, содержащей совокупность взвешенных переменных события, описывающих событие представления объединенного списка результатов.
4. Способ по п. 1, в котором при формировании полного списка результатов из принятых списков результатов используют модель объединения для определения значения вероятности для каждого результата, которое является вероятностью того, что по данному результату пользователем будет выполнен клик, и используют значения вероятности для формирования объединенного списка результатов.
5. Способ по п. 1, дополнительно содержащий этап, на котором сохраняют модель объединения с использованием структуры данных, содержащей совокупность переменных события, выбранных из любого из: ранга поискового механизма, текстовых признаков, текстовых признаков, полученных из фрагмента, назначения подменяющего пользователя, частотности запроса, количества результатов из каждого источника, пользовательской информации, предыстории кликов.
6. Способ по п. 1, дополнительно содержащий этап, на котором выполняют выбор подмножества принятых списков результатов для формирования из них полного списка результатов, причем это подмножество содержит не все из принятых списков результатов.
7. Способ по п. 6, в котором упомянутый выбор выполняют, по меньшей мере, на основе значений вероятности, полученных из модели объединения.
8. Способ по п. 1, дополнительно содержащий этапы, на которых:
принимают пользовательский ввод, задающий изменение упомянутой совокупности различных источников;
обновляют полный список результатов в соответствии с этим изменением; и
обеспечивают представление посредством пользовательского интерфейса обновленного полного списка результатов.
принимают пользовательский ввод, задающий изменение упомянутой совокупности различных источников;
обновляют полный список результатов в соответствии с этим изменением; и
обеспечивают представление посредством пользовательского интерфейса обновленного полного списка результатов.
9. Способ по п. 1, дополнительно содержащий этапы, на которых:
принимают пользовательский ввод, задающий условие подменяющего пользователя;
сохраняют модель объединения с использованием структуры данных, содержащей совокупность переменных события, включающую в себя переменную события подменяющего пользователя; и
обновляют модель объединения до более высокой степени, чем для наблюдаемого поведения пользователя, когда условие подменяющего пользователя не применяется.
принимают пользовательский ввод, задающий условие подменяющего пользователя;
сохраняют модель объединения с использованием структуры данных, содержащей совокупность переменных события, включающую в себя переменную события подменяющего пользователя; и
обновляют модель объединения до более высокой степени, чем для наблюдаемого поведения пользователя, когда условие подменяющего пользователя не применяется.
10. Способ по п. 1, в котором упомянутый запрос принимают от пользователя, и способ дополнительно содержит этапы, на которых:
принимают пользовательскую информацию для этого пользователя; и
изменяют принятый запрос, по меньшей мере, на основе этой пользовательской информации до выдачи измененного запроса в упомянутую совокупность источников.
принимают пользовательскую информацию для этого пользователя; и
изменяют принятый запрос, по меньшей мере, на основе этой пользовательской информации до выдачи измененного запроса в упомянутую совокупность источников.
11. Способ по п. 1, дополнительно содержащий этап, на котором изменяют принятый запрос до выдачи его в упомянутую совокупность источников, причем данное изменение производится в зависимости от источника.
12. Способ по п. 1, дополнительно содержащий этапы, на которых:
обеспечивают выполнение блоком оценивания периодической оценки модели объединения; и
изменяют модель объединения на основе этой оценки.
обеспечивают выполнение блоком оценивания периодической оценки модели объединения; и
изменяют модель объединения на основе этой оценки.
13. Способ по п. 1, дополнительно содержащий этап, на котором сохраняют модель объединения с использованием структуры данных, содержащей переменную события предыстории кликов.
14. Способ извлечения информации, реализуемый в системе извлечения информации, выполненной с возможностью извлечения результатов из совокупности различных источников, содержащий этапы, на которых:
принимают запрос от пользователя в частном домене;
принимают информацию о пользователе, включая пользовательский ввод, задающий условие подменяющего пользователя;
выдают упомянутый запрос в совокупность источников, по меньшей мере один из которых находится в публичном домене и по меньшей мере один из которых находится в частном домене, к которому система извлечения информации имеет доступ;
принимают список результатов от каждого из совокупности источников;
формируют посредством процессора объединенный список результатов из принятых списков результатов с использованием,
модели объединения, которая учитывает упомянутую информацию о пользователе, причем при данном формировании используют модель объединения для определения значения вероятности для каждого результата, которое является вероятностью того, что по данному результату пользователем будет выполнен клик, и используют значения вероятности для формирования объединенного списка результатов;
обеспечивают представление посредством пользовательского интерфейса объединенного списка результатов;
наблюдают поведение пользователя в ответ на представленный объединенный список результатов; и
используют наблюдаемое поведение пользователя для обновления модели объединения.
принимают запрос от пользователя в частном домене;
принимают информацию о пользователе, включая пользовательский ввод, задающий условие подменяющего пользователя;
выдают упомянутый запрос в совокупность источников, по меньшей мере один из которых находится в публичном домене и по меньшей мере один из которых находится в частном домене, к которому система извлечения информации имеет доступ;
принимают список результатов от каждого из совокупности источников;
формируют посредством процессора объединенный список результатов из принятых списков результатов с использованием,
модели объединения, которая учитывает упомянутую информацию о пользователе, причем при данном формировании используют модель объединения для определения значения вероятности для каждого результата, которое является вероятностью того, что по данному результату пользователем будет выполнен клик, и используют значения вероятности для формирования объединенного списка результатов;
обеспечивают представление посредством пользовательского интерфейса объединенного списка результатов;
наблюдают поведение пользователя в ответ на представленный объединенный список результатов; и
используют наблюдаемое поведение пользователя для обновления модели объединения.
15. Способ по п. 14, дополнительно содержащий этап, на котором сохраняют модель объединения с использованием структуры данных, содержащей совокупность взвешенных переменных события, описывающих событие представления объединенного списка результатов.
16. Способ по п. 14, в котором при использовании модели объединения дополнительно:
определяют, объединять ли списки результатов на основе, по меньшей мере, модели объединения; и
формируют посредством процессора полный список результатов из принятых списков результатов с использованием модели объединения.
определяют, объединять ли списки результатов на основе, по меньшей мере, модели объединения; и
формируют посредством процессора полный список результатов из принятых списков результатов с использованием модели объединения.
17. Система извлечения информации, содержащая: вход, выполненный с возможностью приема запроса;
выход, выполненный с возможностью выдачи этого запроса в совокупность источников,
причем вход выполнен с возможностью приема списка результатов от каждого из совокупности источников;
память, в которой хранится модель объединения в виде структуры данных, содержащей совокупность взвешенных переменных события, описывающих событие представления объединенного списка результатов, при этом модель объединения содержит процесс принятия решения, которым определяется, объединять ли результаты на основе релевантности этих результатов, при этом процессом принятия решения принимается решение не объединять результаты, когда разность между первым показателем релевантности, соответствующим первому набору результатов, и вторым показателем релевантности, соответствующим второму набору результатов, удовлетворяет пороговому условию;
процессор, выполненный с возможностью формирования полного списка результатов из принятых списков результатов с использованием модели объединения;
пользовательский интерфейс, выполненный с возможностью представления полного списка результатов,
причем процессор также выполнен с возможностью наблюдать поведение пользователя в ответ на представленный полный список результатов и использовать наблюдаемое поведение пользователя для обновления модели объединения.
выход, выполненный с возможностью выдачи этого запроса в совокупность источников,
причем вход выполнен с возможностью приема списка результатов от каждого из совокупности источников;
память, в которой хранится модель объединения в виде структуры данных, содержащей совокупность взвешенных переменных события, описывающих событие представления объединенного списка результатов, при этом модель объединения содержит процесс принятия решения, которым определяется, объединять ли результаты на основе релевантности этих результатов, при этом процессом принятия решения принимается решение не объединять результаты, когда разность между первым показателем релевантности, соответствующим первому набору результатов, и вторым показателем релевантности, соответствующим второму набору результатов, удовлетворяет пороговому условию;
процессор, выполненный с возможностью формирования полного списка результатов из принятых списков результатов с использованием модели объединения;
пользовательский интерфейс, выполненный с возможностью представления полного списка результатов,
причем процессор также выполнен с возможностью наблюдать поведение пользователя в ответ на представленный полный список результатов и использовать наблюдаемое поведение пользователя для обновления модели объединения.
18. Система извлечения информации по п. 17, в которой процессор выполнен с возможностью наблюдать как явную, так и неявную обратную связь.
19. Система извлечения информации по п. 17, в которой источники являются независимыми друг от друга, при этом по меньшей мере один из источников находится в публичном домене и по меньшей мере один из источников находится в частном домене.
20. Система извлечения информации по п. 17, в которой вход выполнен с возможностью приема пользовательской информации, при этом модель объединения хранится в памяти так, что она учитывает эту пользовательскую информацию.
21. Система извлечения информации по п. 17, в которой процессор выполнен с возможностью изменять принятый запрос до того, как он будет выдан в упомянутую совокупность источников, причем данное изменение основывается на пользовательской информации.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/473,158 | 2009-05-27 | ||
| US12/473,158 US9495460B2 (en) | 2009-05-27 | 2009-05-27 | Merging search results |
| PCT/US2010/036487 WO2010138772A2 (en) | 2009-05-27 | 2010-05-27 | Merging search results |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2011148231A RU2011148231A (ru) | 2013-07-10 |
| RU2549121C2 true RU2549121C2 (ru) | 2015-04-20 |
Family
ID=43221402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2011148231/08A RU2549121C2 (ru) | 2009-05-27 | 2010-05-27 | Объдинение результатов поиска |
Country Status (13)
| Country | Link |
|---|---|
| US (1) | US9495460B2 (ru) |
| EP (1) | EP2435936A4 (ru) |
| JP (1) | JP5801291B2 (ru) |
| KR (1) | KR101691243B1 (ru) |
| CN (1) | CN102449630A (ru) |
| AU (1) | AU2010253866B2 (ru) |
| BR (1) | BRPI1010545A2 (ru) |
| CA (1) | CA2758813A1 (ru) |
| CL (1) | CL2011002944A1 (ru) |
| IL (1) | IL215753A (ru) |
| MX (1) | MX2011012280A (ru) |
| RU (1) | RU2549121C2 (ru) |
| WO (1) | WO2010138772A2 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2632143C1 (ru) * | 2016-04-11 | 2017-10-02 | Общество С Ограниченной Ответственностью "Яндекс" | Способ обучения модуля ранжирования с использованием обучающей выборки с зашумленными ярлыками |
| RU2632148C2 (ru) * | 2015-12-28 | 2017-10-02 | Общество С Ограниченной Ответственностью "Яндекс" | Система и способ ранжирования результатов поиска |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306985B2 (en) * | 2009-11-13 | 2012-11-06 | Roblox Corporation | System and method for increasing search ranking of a community website |
| US8732222B2 (en) * | 2010-06-30 | 2014-05-20 | Microsoft Corporation | Integrating specialized knowledge sources into a general search service |
| US8606739B2 (en) | 2010-06-30 | 2013-12-10 | Microsoft Corporation | Using computational engines to improve search relevance |
| US9043358B2 (en) * | 2011-03-09 | 2015-05-26 | Microsoft Technology Licensing, Llc | Enterprise search over private and public data |
| US8930340B1 (en) | 2011-09-20 | 2015-01-06 | Google Inc. | Blending content in an output |
| US9053087B2 (en) * | 2011-09-23 | 2015-06-09 | Microsoft Technology Licensing, Llc | Automatic semantic evaluation of speech recognition results |
| US9104769B2 (en) * | 2011-11-10 | 2015-08-11 | Room 77, Inc. | Metasearch infrastructure with incremental updates |
| US9355095B2 (en) * | 2011-12-30 | 2016-05-31 | Microsoft Technology Licensing, Llc | Click noise characterization model |
| US8645361B2 (en) * | 2012-01-20 | 2014-02-04 | Microsoft Corporation | Using popular queries to decide when to federate queries |
| CN103389989B (zh) * | 2012-05-10 | 2016-03-09 | 腾讯科技（深圳）有限公司 | 一种跨社区搜索方法和装置 |
| US8799276B1 (en) * | 2012-05-30 | 2014-08-05 | Google Inc. | Displaying social content in search results |
| US9922120B2 (en) | 2012-08-24 | 2018-03-20 | Microsoft Technology Licensing, Llc | Online learning of click-through rates on federated search results |
| JP2014194608A (ja) * | 2013-03-28 | 2014-10-09 | Hitachi Systems Ltd | 検索システム、検索方法、および検索プログラム |
| US9336312B2 (en) * | 2013-04-08 | 2016-05-10 | Facebook, Inc. | Vertical-based query optionalizing |
| US20140330821A1 (en) * | 2013-05-06 | 2014-11-06 | Microsoft Corporation | Recommending context based actions for data visualizations |
| CN103870607A (zh) * | 2014-04-08 | 2014-06-18 | 北京奇虎科技有限公司 | 多搜索引擎搜索结果的排序方法及装置 |
| US9436744B2 (en) | 2014-05-08 | 2016-09-06 | Accenture Global Services Limited | Combining internal and external search results |
| US10642845B2 (en) * | 2014-05-30 | 2020-05-05 | Apple Inc. | Multi-domain search on a computing device |
| US9836452B2 (en) | 2014-12-30 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discriminating ambiguous expressions to enhance user experience |
| KR101649146B1 (ko) * | 2015-01-15 | 2016-08-19 | 주식회사 카카오 | 검색 방법 및 검색 서버 |
| US10007719B2 (en) * | 2015-01-30 | 2018-06-26 | Microsoft Technology Licensing, Llc | Compensating for individualized bias of search users |
| US10007730B2 (en) | 2015-01-30 | 2018-06-26 | Microsoft Technology Licensing, Llc | Compensating for bias in search results |
| CN105989073B (zh) * | 2015-02-10 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 一种信息选定方法及装置 |
| US10755032B2 (en) | 2015-06-05 | 2020-08-25 | Apple Inc. | Indexing web pages with deep links |
| US10621189B2 (en) | 2015-06-05 | 2020-04-14 | Apple Inc. | In-application history search |
| US10592572B2 (en) | 2015-06-05 | 2020-03-17 | Apple Inc. | Application view index and search |
| US10509833B2 (en) | 2015-06-05 | 2019-12-17 | Apple Inc. | Proximity search scoring |
| US10509834B2 (en) * | 2015-06-05 | 2019-12-17 | Apple Inc. | Federated search results scoring |
| AU2016340043A1 (en) * | 2015-10-15 | 2018-05-24 | Big Ip Pty Ltd | A system, method, computer program and data signal for conducting an electronic search of a database |
| AU2016340042A1 (en) * | 2015-10-15 | 2018-05-24 | Big Ip Pty Ltd | A system, method, computer program and data signal for the provision of a database of information for lead generating purposes |
| CN105488522B (zh) * | 2015-11-23 | 2018-09-07 | 浙江鸿程计算机系统有限公司 | 融合多视图和半监督学习的搜索引擎用户信息需求满意度评估方法 |
| US10176232B2 (en) * | 2016-03-01 | 2019-01-08 | Microsoft Technology Licensing, Llc | Blending enterprise content and web results |
| US20190266194A1 (en) * | 2016-06-21 | 2019-08-29 | Nec Corporation | Information analysis system, information analysis method, and recording medium |
| CN107423355B (zh) * | 2017-05-26 | 2019-03-15 | 北京三快在线科技有限公司 | 信息推荐方法及装置、电子设备 |
| US11645277B2 (en) * | 2017-12-11 | 2023-05-09 | Google Llc | Generating and/or utilizing a machine learning model in response to a search request |
| CN108090208A (zh) | 2017-12-29 | 2018-05-29 | 广东欧珀移动通信有限公司 | 融合数据处理方法及装置 |
| US10896232B2 (en) | 2018-02-23 | 2021-01-19 | Fujitsu Limited | Generating recommendations based on human-curated lists |
| CN108664561A (zh) * | 2018-04-09 | 2018-10-16 | 博光系统有限公司 | 搜索对比系统及其搜索方法 |
| CN108573067A (zh) * | 2018-04-27 | 2018-09-25 | 福建江夏学院 | 一种商品信息的匹配搜索系统与方法 |
| US11275749B2 (en) * | 2018-12-31 | 2022-03-15 | International Business Machines Corporation | Enhanced query performance prediction for information retrieval systems |
| US10902003B2 (en) | 2019-02-05 | 2021-01-26 | International Business Machines Corporation | Generating context aware consumable instructions |
| US10853434B2 (en) * | 2019-03-11 | 2020-12-01 | Vladimir Prelovac | User interface for presenting search results |
| US11281640B2 (en) * | 2019-07-02 | 2022-03-22 | Walmart Apollo, Llc | Systems and methods for interleaving search results |
| CN113672314A (zh) * | 2020-05-13 | 2021-11-19 | 百度在线网络技术（北京）有限公司 | 内容的获取方法、装置以及电子设备 |
| US11310563B1 (en) * | 2021-01-07 | 2022-04-19 | Dish Network L.L.C. | Searching for and prioritizing audiovisual content using the viewer's age |
| US20220358176A1 (en) * | 2021-05-08 | 2022-11-10 | Greenburger Noah | System and method of merging online search and consolidation |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2343537C2 (ru) * | 2003-03-31 | 2009-01-10 | Майкрософт Корпорейшн | Компьютерный поиск с помощью ассоциативных связей |
Family Cites Families (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0756948A (ja) | 1993-08-09 | 1995-03-03 | Fuji Xerox Co Ltd | 情報検索装置 |
| JPH11110406A (ja) | 1997-10-06 | 1999-04-23 | Sony Corp | 情報処理装置および情報処理方法、並びに記録媒体 |
| US6260061B1 (en) * | 1997-11-25 | 2001-07-10 | Lucent Technologies Inc. | Technique for effectively managing proxy servers in intranets |
| JP3506892B2 (ja) | 1997-12-18 | 2004-03-15 | 日本電信電話株式会社 | グループ適応型情報検索装置 |
| US6185534B1 (en) * | 1998-03-23 | 2001-02-06 | Microsoft Corporation | Modeling emotion and personality in a computer user interface |
| US6665653B1 (en) * | 1999-07-03 | 2003-12-16 | Microsoft Corporation | Noise reduction for a cluster-based approach for targeted item delivery with inventory management |
| EP1076304A1 (en) * | 1999-08-13 | 2001-02-14 | Mindpass A/S | A method and an apparatus for searching and presenting electronic information from one or more information sources |
| US7386599B1 (en) | 1999-09-30 | 2008-06-10 | Ricoh Co., Ltd. | Methods and apparatuses for searching both external public documents and internal private documents in response to single search request |
| US6489968B1 (en) * | 1999-11-18 | 2002-12-03 | Amazon.Com, Inc. | System and method for exposing popular categories of browse tree |
| JP2003532195A (ja) * | 2000-04-27 | 2003-10-28 | ウエブフイート・インコーポレイテツド | 複数の別個のデータベースからサーチ結果を検索する方法およびシステム |
| JP2002032401A (ja) | 2000-07-18 | 2002-01-31 | Mitsubishi Electric Corp | 文書検索方法及び文書検索装置及び文書検索方法をコンピュータに実現させるためのプログラムを記録したコンピュータで読取可能な記録媒体 |
| US20020143961A1 (en) | 2001-03-14 | 2002-10-03 | Siegel Eric Victor | Access control protocol for user profile management |
| US20020165856A1 (en) * | 2001-05-04 | 2002-11-07 | Gilfillan Lynne E. | Collaborative research systems |
| US6728704B2 (en) | 2001-08-27 | 2004-04-27 | Verity, Inc. | Method and apparatus for merging result lists from multiple search engines |
| US7330846B1 (en) * | 2002-02-08 | 2008-02-12 | Oracle International Corporation | System and method for facilitating a distributed search of local and remote systems |
| US20060004732A1 (en) * | 2002-02-26 | 2006-01-05 | Odom Paul S | Search engine methods and systems for generating relevant search results and advertisements |
| US7567953B2 (en) * | 2002-03-01 | 2009-07-28 | Business Objects Americas | System and method for retrieving and organizing information from disparate computer network information sources |
| US7660705B1 (en) * | 2002-03-19 | 2010-02-09 | Microsoft Corporation | Bayesian approach for learning regression decision graph models and regression models for time series analysis |
| JP4225757B2 (ja) | 2002-09-03 | 2009-02-18 | 株式会社リコー | 検索支援装置、検索支援方法、プログラムおよび記録媒体 |
| EP1543448A2 (en) * | 2002-09-16 | 2005-06-22 | Koninklijke Philips Electronics N.V. | System and method for adapting an interest profile on a media system |
| US7219090B2 (en) | 2003-04-25 | 2007-05-15 | Overture Services, Inc. | Method and system for blending search engine results from disparate sources into one search result |
| JP2005032193A (ja) | 2003-07-11 | 2005-02-03 | Nippon Telegr & Teleph Corp <Ntt> | 単語間意味関係測定装置、単語間意味関係測定方法、単語間意味関係測定プログラム及びプログラム記録媒体 |
| US7225184B2 (en) * | 2003-07-18 | 2007-05-29 | Overture Services, Inc. | Disambiguation of search phrases using interpretation clusters |
| US7617203B2 (en) * | 2003-08-01 | 2009-11-10 | Yahoo! Inc | Listings optimization using a plurality of data sources |
| US7584181B2 (en) * | 2003-09-30 | 2009-09-01 | Microsoft Corporation | Implicit links search enhancement system and method for search engines using implicit links generated by mining user access patterns |
| US7523096B2 (en) * | 2003-12-03 | 2009-04-21 | Google Inc. | Methods and systems for personalized network searching |
| US20050149496A1 (en) * | 2003-12-22 | 2005-07-07 | Verity, Inc. | System and method for dynamic context-sensitive federated search of multiple information repositories |
| US20050163302A1 (en) * | 2004-01-22 | 2005-07-28 | Mock Von A. | Customer service system and method using physiological data |
| US7346613B2 (en) * | 2004-01-26 | 2008-03-18 | Microsoft Corporation | System and method for a unified and blended search |
| US9009153B2 (en) * | 2004-03-31 | 2015-04-14 | Google Inc. | Systems and methods for identifying a named entity |
| US8041713B2 (en) * | 2004-03-31 | 2011-10-18 | Google Inc. | Systems and methods for analyzing boilerplate |
| US7664734B2 (en) | 2004-03-31 | 2010-02-16 | Google Inc. | Systems and methods for generating multiple implicit search queries |
| US7827176B2 (en) * | 2004-06-30 | 2010-11-02 | Google Inc. | Methods and systems for endorsing local search results |
| US8825639B2 (en) * | 2004-06-30 | 2014-09-02 | Google Inc. | Endorsing search results |
| WO2006036781A2 (en) * | 2004-09-22 | 2006-04-06 | Perfect Market Technologies, Inc. | Search engine using user intent |
| JP2006155043A (ja) | 2004-11-26 | 2006-06-15 | Sharp Corp | 情報検索システム |
| US8200687B2 (en) | 2005-06-20 | 2012-06-12 | Ebay Inc. | System to generate related search queries |
| US8417693B2 (en) * | 2005-07-14 | 2013-04-09 | International Business Machines Corporation | Enforcing native access control to indexed documents |
| US20070106688A1 (en) * | 2005-10-25 | 2007-05-10 | Inventec Corporation | Network-based data feedback processing method and system |
| US8386469B2 (en) * | 2006-02-16 | 2013-02-26 | Mobile Content Networks, Inc. | Method and system for determining relevant sources, querying and merging results from multiple content sources |
| US20070208730A1 (en) * | 2006-03-02 | 2007-09-06 | Microsoft Corporation | Mining web search user behavior to enhance web search relevance |
| US20070276812A1 (en) * | 2006-05-23 | 2007-11-29 | Joshua Rosen | Search Result Ranking Based on Usage of Search Listing Collections |
| US8126983B2 (en) * | 2006-09-28 | 2012-02-28 | Broadcom Corporation | Method and system for distributed infrastructure for streaming data via multiple access points |
| US8201107B2 (en) * | 2006-09-15 | 2012-06-12 | Emc Corporation | User readability improvement for dynamic updating of search results |
| US7577644B2 (en) * | 2006-10-11 | 2009-08-18 | Yahoo! Inc. | Augmented search with error detection and replacement |
| CA2565847A1 (en) * | 2006-10-27 | 2008-04-27 | Cognos Incorporated | System and method for controlling model editing and merging |
| JP2008217600A (ja) | 2007-03-06 | 2008-09-18 | Fujitsu Ltd | 情報検索装置、情報検索方法、情報検索プログラム、及び記録媒体 |
| US8352454B2 (en) * | 2007-04-11 | 2013-01-08 | Travelport Development Llc | System and method for performing data searches using multiple data search providers |
| GB2449501A (en) * | 2007-05-25 | 2008-11-26 | Univ Sheffield | Searching method and system |
| JP4550087B2 (ja) | 2007-07-04 | 2010-09-22 | 大日本印刷株式会社 | 検索仲介システム |
| US20090043593A1 (en) | 2007-08-08 | 2009-02-12 | Microsoft Corporation | Event Prediction |
| US8145643B2 (en) * | 2007-12-04 | 2012-03-27 | Yahoo! Inc. | Time based ordering of provided mobile content |
| WO2009085336A1 (en) * | 2007-12-27 | 2009-07-09 | Inc. Arbor Labs | System and method for advertisement delivery optimization |
| US8145632B2 (en) * | 2008-02-22 | 2012-03-27 | Tigerlogic Corporation | Systems and methods of identifying chunks within multiple documents |
| US20100228804A1 (en) * | 2009-03-04 | 2010-09-09 | Yahoo! Inc. | Constructing image captchas utilizing private information of the images |
| US20090287645A1 (en) * | 2008-05-15 | 2009-11-19 | Yahoo! Inc. | Search results with most clicked next objects |
| CN101661474B (zh) * | 2008-08-26 | 2012-07-04 | 华为技术有限公司 | 一种搜索方法和系统 |
| US8818992B2 (en) * | 2008-09-12 | 2014-08-26 | Nokia Corporation | Method, system, and apparatus for arranging content search results |
| US8032535B2 (en) * | 2009-04-21 | 2011-10-04 | Yahoo! Inc. | Personalized web search ranking |
| US20100299367A1 (en) * | 2009-05-20 | 2010-11-25 | Microsoft Corporation | Keyword Searching On Database Views |
-
2009
- 2009-05-27 US US12/473,158 patent/US9495460B2/en active Active
-
2010
- 2010-05-27 EP EP10781247A patent/EP2435936A4/en not_active Ceased
- 2010-05-27 BR BRPI1010545A patent/BRPI1010545A2/pt not_active Application Discontinuation
- 2010-05-27 AU AU2010253866A patent/AU2010253866B2/en active Active
- 2010-05-27 CA CA2758813A patent/CA2758813A1/en not_active Abandoned
- 2010-05-27 CN CN2010800238537A patent/CN102449630A/zh active Pending
- 2010-05-27 KR KR1020117028082A patent/KR101691243B1/ko active IP Right Grant
- 2010-05-27 RU RU2011148231/08A patent/RU2549121C2/ru active
- 2010-05-27 MX MX2011012280A patent/MX2011012280A/es active IP Right Grant
- 2010-05-27 JP JP2012513274A patent/JP5801291B2/ja active Active
- 2010-05-27 WO PCT/US2010/036487 patent/WO2010138772A2/en active Application Filing
-
2011
- 2011-10-23 IL IL215753A patent/IL215753A/en active IP Right Grant
- 2011-11-22 CL CL2011002944A patent/CL2011002944A1/es unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2343537C2 (ru) * | 2003-03-31 | 2009-01-10 | Майкрософт Корпорейшн | Компьютерный поиск с помощью ассоциативных связей |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2632148C2 (ru) * | 2015-12-28 | 2017-10-02 | Общество С Ограниченной Ответственностью "Яндекс" | Система и способ ранжирования результатов поиска |
| US10642905B2 (en) | 2015-12-28 | 2020-05-05 | Yandex Europe Ag | System and method for ranking search engine results |
| RU2632143C1 (ru) * | 2016-04-11 | 2017-10-02 | Общество С Ограниченной Ответственностью "Яндекс" | Способ обучения модуля ранжирования с использованием обучающей выборки с зашумленными ярлыками |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101691243B1 (ko) | 2016-12-29 |
| BRPI1010545A2 (pt) | 2016-03-15 |
| IL215753A (en) | 2017-08-31 |
| CA2758813A1 (en) | 2010-12-02 |
| WO2010138772A2 (en) | 2010-12-02 |
| JP2012528406A (ja) | 2012-11-12 |
| EP2435936A4 (en) | 2013-01-09 |
| AU2010253866B2 (en) | 2014-06-19 |
| IL215753A0 (en) | 2012-01-31 |
| AU2010253866A1 (en) | 2011-10-27 |
| WO2010138772A3 (en) | 2011-03-03 |
| EP2435936A2 (en) | 2012-04-04 |
| RU2011148231A (ru) | 2013-07-10 |
| CN102449630A (zh) | 2012-05-09 |
| US20100306213A1 (en) | 2010-12-02 |
| MX2011012280A (es) | 2011-12-14 |
| KR20120030389A (ko) | 2012-03-28 |
| JP5801291B2 (ja) | 2015-10-28 |
| CL2011002944A1 (es) | 2012-05-11 |
| US9495460B2 (en) | 2016-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2549121C2 (ru) | Объдинение результатов поиска | |
| JP5247475B2 (ja) | ウェブ検索の適合性を高めるためにウェブ検索のユーザの振舞いをマイニングすること | |
| Baeza-Yates et al. | Next generation Web search | |
| Menczer | Complementing search engines with online web mining agents | |
| Baeza-Yates et al. | Modeling user search behavior | |
| US8799280B2 (en) | Personalized navigation using a search engine | |
| US8086605B2 (en) | Search engine with augmented relevance ranking by community participation | |
| US20100241624A1 (en) | Presenting search results ordered using user preferences | |
| CN103488681A (zh) | 斜线标签 | |
| US20150074101A1 (en) | Smart search refinement | |
| US7788284B2 (en) | System and method for knowledge based search system | |
| CN107025261B (zh) | 主题网络语料库 | |
| Barla et al. | Rule-based user characteristics acquisition from logs with semantics for personalized web-based systems | |
| US20060149606A1 (en) | System and method for agent assisted information retrieval | |
| Fathalla et al. | A hybrid method for user query reformation and classification | |
| Lu | Scalable distributed architectures for information retrieval | |
| Verberne | Explainable IR for Personalizing Professional Search. | |
| Khurana et al. | Survey of techniques for deep web source selection and surfacing the hidden web content | |
| An et al. | Assessment for ontology-supported deep web search | |
| Agrawal et al. | Web information recuperation from strewn text resource systems | |
| US20210374606A1 (en) | Method of and system for generating a training set for a machine learning algorithm (mla) | |
| KR100594180B1 (ko) | 온라인을 이용한 통합 검색 방법 | |
| Rawat | Focused crawling: an approach for URL queue optimization using link score | |
| Hama et al. | Ranking system for image database using special type of Markov chain | |
| Tamine et al. | Inferring document utility via a decision-making based retrieval model |