KR101503864B1

KR101503864B1 - 검색 결과들의 개재 방법

Info

Publication number: KR101503864B1
Application number: KR1020097014156A
Authority: KR
Inventors: 데이비드 알. 베일리; 조나단 제이. 에프래트; 아미트 싱할
Original assignee: 구글 인코포레이티드
Priority date: 2006-12-07
Filing date: 2007-12-07
Publication date: 2015-03-18
Also published as: WO2008070866A3; US20120089599A1; US20140365458A1; US8738597B2; WO2008070866A2; US20120089601A1; CA2671768A1; CN101627381A; EP2092445A2; CN101627381B; US20080140647A1; EP2092445A4; US9002817B2; US8086600B2; KR20090084974A; EP3422216A1

Abstract

검색 결과들을 개재(interleaving)시키는 방법들, 시스템들 및 컴퓨터 프로그램 제품이 제공된다. 일 방법은 제1 검색 엔진으로부터 수신되는 다수의 제1 검색 결과들을 표시하는 단계를 포함한다. 제1 검색 결과들은 제1 검색 엔진을 향하는 검색 쿼리를 충족시키고, 순서대로 표시된다. 제2 검색 엔진으로부터의 제2 검색 결과는 인접한 두 개의 제1 검색 결과들 사이의 위치에 삽입된다. 제2 검색 결과는 검색 쿼리에 응답하여 제2 검색 엔진으로부터 수신된다.

Description

검색 결과들의 개재 방법{INTERLEAVING SEARCH RESULTS}

본 명세서는 사용자에 의해 검색 서비스(search service)에 제시되는 검색 요청에 대한 응답으로, 검색 결과들의 표시(presentation)에 관한 것이다.

일반적으로, 검색 서비스, 예를 들면, 웹-기반 검색 서비스는 개인 컴퓨팅 장치상의 웹브라우저를 통해 상기 서비스가 사용자에게 표시하는 검색 페이지를 통해 사용자로부터 검색 요청을 수신할 것이다. 검색을 요청할 때, 일반적으로 사용자는 일종의 검색될 자원들－예를 들면, 일반 웹페이지들, 이미지들, 뉴스 등－을 선택하며, 명시적인 선택이 없는 경우, 통상적으로 일반 웹페이지들인 디폴트 선택이 사용될 것이다. 예를 들면, 뉴스 자원으로 카테고리가 정해진 웹페이지들인 뉴스 자원들(news resources)과 대조적으로, 일반 웹페이지들은 카테고리가 정해지지 않은 웹페이지들이다. 어떤 검색 서비스들은 상이한 유형의 자원들을 검색하는데 관련된 검색 요청들을 수신하기 위해 상이한 검색 페이지들을 사용자 인터페이스로서 표시한다.

일반적으로, 검색 서비스는 검색 쿼리(search query)를 수신하면, 자원들의 특정한 집합체(corpus)에 대한 검색 엔진에게 상기 검색 쿼리를 전송한다. 검색 엔진은 일종의 자원과 연관되며, 쿼리 및 연관된 일종의 자원에 기초하여 검색 결과들을 산출한다. 검색 엔진은 쿼리가 전송된 집합체의 맥락하에서 쿼리에 대한 관련성(relevance)에 기초하여 상기 검색 결과들의 순위를 산정한다.

검색 엔진들이 검색하거나 연관될 수 있는 집합체들의 예들에는, 일반 웹페이지들, 뉴스, 이미지들, 서적들 및 비디오들이 포함된다.

일반 웹페이지들을 검색하는 검색 엔진은 웹페이지 검색 결과들을 산출한다. 각각의 일반 웹페이지 검색 결과는 다음과 같은 속성(attributes)을 하나 이상 포함할 수 있다: 웹페이지의 제목, 웹페이지로의 하이퍼링크, 검색어를 굵게 보여주는 텍스트의 스니펫(snippet), 웹페이지의 크기, 유사한 웹페이지들로의 하이퍼링크, 및 웹페이지의 임시저장 버전(cached version)으로의 하이퍼링크.

뉴스를 검색하는 검색 엔진은 뉴스 검색 결과들을 산출한다. 각각의 뉴스 검색 결과는 다음과 같은 속성을 하나 이상 포함할 수 있다: 뉴스 자원의 제목, 뉴스 자원으로의 하이퍼링크, 검색어를 굵게 보여주는 텍스트의 스니펫, 뉴스 자원의 발행일자와 시간, 이미지, 및 유사한 뉴스 자원들로의 링크.

이미지들을 검색하는 검색 엔진은 이미지 검색 결과들을 산출한다. 각각의 이미지 검색 결과는 다음과 같은 속성을 하나 이상 포함할 수 있다: 이미지, 이미지의 간략한 설명, 이미지의 크기, 이미지의 해상도, 이미지 유형, 이미지의 소스, 및 이미지 소스로의 하이퍼링크.

서적을 검색하는 검색 엔진은 서적 검색 결과들을 산출한다. 일 구현예에 있어서, 검색되는 것은 서적의 스캔 복사본이다. 즉, 집합체는 스캔되고(scanned) 분철된(parsed) 물리적인 서적들(physical books)로부터의 텍스트를 포함하며, 이것 은 상기 서적 검색 결과들로부터 참조된다. 각각의 서적 검색 결과는 다음과 같은 속성들을 하나 이상 포함할 수 있다: 서적의 제목, 서적으로의 하이퍼링크, 이미지, 목차로의 하이퍼링크, 서적의 첫 번째 페이지로의 하이퍼링크, 저자, 발행일, 및 서적의 색인으로의 하이퍼링크.

비디오들을 검색하는 검색 엔진은 비디오 검색 결과들을 산출한다. 각각의 비디오 검색 결과는 다음과 같은 속성들을 하나 이상 포함할 수 있다: 비디오의 제목, 비디오로의 하이퍼링크, 이미지, 비디오에 대한 등급(rating), 비디오에 적합한 등급 번호, 발행일, 비디오의 간략한 설명, 및 비디오의 소스.

검색 엔진이 검색 결과들을 산출한 이후, 검색 서비스는 사용자에게 그 결과들을 표시한다. 검색 서비스가 결과들을 표시하는 형식(format)은 검색 결과들의 속성에 따라 통상적으로 달라진다. 예를 들면, 뉴스 검색 결과들의 형식은 일반 웹페이지 검색 결과들의 형식과는 통상적으로 상이하다.

사용자가 일반 웹페이지들의 검색을 선택할 경우, 검색 서비스는 뉴스 검색 결과가 사용자의 요청과 관련될 가능성이 있는지 여부를 결정하기 위해, 사용자의 검색 요청을 평가할 수 있다. 만일, 뉴스 검색 결과가 사용자의 요청과 관련된 경우, 검색 서비스는 일반 웹페이지들을 검색하기 위해 하나의 검색 엔진을 사용하고, 뉴스를 검색하기 위해 다른 검색 엔진을 사용할 수 있다. 검색 서비스는 두 개의 검색 엔진들에 의해 산출되는 결과들을 이용하여, 사용자에게 뉴스 검색 결과를 표시한 다음, 일반 웹페이지 검색 결과를 표시한다.

본 명세서는 상이한 검색 엔진들 또는 검색된 자원들의 본문(body)으로부터 파생되는 검색 쿼리(search query)에 대한 결과들을 표시하는 것과 관련된 기술들을 개시한다.

일반적으로, 본 명세서 내에 기재된 주제(subject matter)의 일 양태는, 제1 검색 엔진으로부터 수신된 복수의 제1 검색 결과들－여기서, 제1 검색 결과들은 제1 검색 엔진을 향한 검색 쿼리를 충족시키며, 제1 검색 결과들은 순서대로 표시됨－을 표시하는 단계; 및 순서에서 인접한 두 개의 제1 검색 결과들 사이의 위치에 삽입되는 제2 검색 결과－여기서, 제2 검색 결과는 검색 쿼리에 응답하여 제2 검색 엔진으로부터 수신되며, 제1 검색 엔진은 제1 자원들의 제1 집합체를 검색하고, 제2 검색 엔진은 제2 자원들의 제2 집합체를 검색하며, 제1 검색 엔진 및 제2 검색 엔진은 서로 상이함－를 표시하는 단계를 포함하는 방법들로 실시될 수 있다. 이러한 양태의 다른 실시예들은 상응하는 시스템들, 장치들, 및 컴퓨터 프로그램 제품들을 포함한다.

일반적으로, 본 명세서 내에 기재된 주제의 다른 양태는, 제1 검색 엔진으로부터 수신되는 복수의 제1 검색 결과들－여기서, 제1 검색 결과들은 제1 자원들의 집합체를 향하는 검색 쿼리를 충족시키고, 제1 검색 결과들은 순서대로 표시됨－을 표시하는 단계; 및 순서에서 인접한 두 개의 제1 검색 결과들 사이의 위치에 삽입되는 제1 그룹의 두 개 이상의 제2 검색 결과들－여기서, 제2 검색 결과들은 별개의 제2 검색 엔진으로부터 수신됨－을 표시하는 단계를 포함하는 방법들로 실시될 수 있다. 이러한 양태의 다른 실시예들은 상응하는 시스템들, 장치들, 및 컴퓨터 프로그램 제품들을 포함한다.

일반적으로, 본 명세서 내에 기재된 주제의 또 다른 양태는, 제1 검색 엔진을 향하고 별개의 제2 검색 엔진을 향하지 않는 검색 쿼리에 응답하여, 제1 검색 엔진으로부터 복수의 제1 검색 결과들－여기서, 복수의 제1 검색 결과들 각각은 각자의 제1 점수(score)를 포함함－을 수신하는 단계; 제2 검색 엔진으로부터 제2 검색 결과－여기서, 제2 검색 결과는 제2 점수를 포함함－를 수신하도록 상기 검색 쿼리를 적용하는 단계; 및 제2 검색 결과를 표시할지 여부를 제2 점수로부터 결정하고, 만일 결정된 경우, 제1 검색 결과들을 각각의 점수들에 따라 순서대로 표시하며, 제2 검색 결과를 순서에 따른 하나의 위치－여기서, 위치는 제1 점수들 및 제2 점수를 이용하여 결정됨－에 표시하는 단계를 포함하는 방법들로 실시될 수 있다. 이러한 양태의 다른 실시예들은 상응하는 시스템들, 장치들, 및 컴퓨터 프로그램 제품들을 포함한다.

일반적으로, 본 명세서 내에 기재된 주제의 또 다른 양태는, 제1 검색 엔진을 향하고 별개의 제2 검색 엔진을 향하지 않는 검색 쿼리에 응답하여, 제1 검색 엔진으로부터 복수의 제1 검색 결과들－여기서, 복수의 제1 검색 결과들 각각은 각자의 제1 점수를 포함함－을 수신하는 단계; 제2 검색 엔진으로부터 제2 검색 결과－여기서, 제2 검색 결과는 제2 점수를 포함함－를 수신하도록 상기 검색 쿼리를 적용하는 단계; 및 제1 검색 결과들을 각각의 제1 점수들에 따라 순서대로 표시하고, 제2 검색 결과를 순서에 따른 하나의 위치－여기서, 위치는 제1 점수들 및 제2 점수를 이용하여 결정됨－에 표시하는 단계를 포함하는 방법들로 실시될 수 있다. 이러한 양태의 다른 실시예들은 상응하는 시스템들, 장치들, 및 컴퓨터 프로그램 제품들을 포함한다.

일반적으로, 본 명세서 내에 기재된 주제의 또 다른 양태는, 하나 이상의 컴퓨터들을 포함하는 데이터 처리 플랫폼(data processing platform) 상에 구현되는 검색 서비스를 포함하는 시스템으로 실시될 수 있다. 검색 서비스는 복수의 제1 웹페이지 검색 결과들－여기서, 제1 웹페이지 검색 결과들 각각은 웹페이지 결과 형식(web page results format)으로 표시됨－로 일반 웹페이지들에 대한 검색 요청에 응답하고; 복수의 제1 뉴스 검색 결과들－여기서, 제1 뉴스 검색 결과들 각각은 뉴스 결과 형식으로 표시됨－로 뉴스에 대한 검색 요청에 응답하고; 및 복수의 제2 웹페이지 검색 결과들 및 이 제2 웹페이지 검색 결과들 사이에 삽입되는 제2 뉴스 검색 결과로 웹페이지들에 대한 검색 요청에 응답하도록 동작할 수 있다. 이러한 양태의 다른 실시예들은 상응하는 방법들, 장치들, 및 컴퓨터 프로그램 제품들을 포함한다.

본 명세서 내에 기재된 주제의 특정 실시예들은 다음과 같은 장점들을 하나 이상 실현하도록 구현될 수 있다. 뉴스와 관련된 것으로 인식될 검색 요청을 필요로 하지 않고, 뉴스 결과들은 뉴스 결과들의 순위 점수(rank scoring)에 기초하여, 웹페이지들의 검색에 대한 결과로서 반환될 수 있다.

본 명세서 내에 기재된 주제의 하나 이상의 실시예들의 세부사항들은 첨부되는 도면들 및 이하의 본 발명의 상세한 설명에서 상세하게 설명된다. 이러한 주제의 다른 특징들, 양태들 및 장점들은 본 발명의 상세한 설명과 도면들, 및 청구범위로부터 명백해질 것이다.

도 1은 검색 서비스를 예시하는 도면이다.

도 2는 예시된 서비스의 동작 및 사용을 나타내는 흐름도이다.

도 3은 일반적인 웹 검색 결과들 사이에 삽입되는 뉴스 검색 결과의 스크린샷(screenshot)을 나타내는 도면이다.

도 4는 일반적인 웹페이지 검색 결과들 사이에 삽입되는 서적(book) 검색 결과를 나타내는 도면이다.

도 5는 일반적인 웹 검색 결과들 사이에 삽입되는 뉴스 검색 결과의 스크린샷을 나타내는 도면이다.

여러 도면에서 유사한 도면부호는 유사한 구성요소를 나타낸다.

도 1은 검색 서비스 프론트엔드(search service front-end; 110), 결과 혼합기(results mixer; 120), 일반 웹페이지(140)를 검색하기 위한 일반 검색 엔진(130), 및 뉴스(160)를 검색하기 위한 뉴스 검색 엔진(150)을 포함하는 검색 서비스의 일례를 나타내는 도면이다.

검색 서비스 프론트엔드는 사용자의 쿼리를 수신한다(205 단계). 일 구현예에 있어서, 검색 서비스 프론트엔드는 사용자 메타데이터(metadata), 예를 들면, 사용자의 검색 히스토리 파일도 수신한다.

검색 서비스는 일반 검색 엔진에게 사용자의 쿼리를 전송한다(210 단계). 일반 검색 엔진은 검색을 수행하고, 일반 웹페이지 검색 결과들을 산출한다(215 단계).

일반 검색 엔진은 각각의 검색 결과에 대한 검색 결과 품질점수(search result quality score)를 계산한다(220 단계). 일반 검색 엔진은 최종적으로는 검색 결과 품질점수를 이용하여 검색 결과들의 순위를 산정한다. 일 구현예에 있어서, 일반 검색 엔진이 아닌 결과 혼합기가 검색 결과 품질점수를 계산한다.

검색 결과 품질점수는 다양한 별개의 점수 지표들(scoring features)에 기초한다. 상기 점수 지표들은 점수 계산을 위한 파라미터 값들을 결정하는데 사용된다. 점수 지표들은 예를 들면, 해당 자원들의 속성에 기초한 지표들, 자원들로의 접속 또는 자원들의 사용, 또는 둘 모두를 나타내는 히스토리 데이터에 기초한 지표들을 포함할 수 있다. 일부 점수 지표들에 있어서, 검색 결과는 미리 계산된 점수를 가질 수 있다. 다른 점수 지표들에 있어서, 일반 검색 엔진은 상기 검색 서비스 프론트엔드로부터의 임의의 연관된 메타데이터, 사용자의 쿼리 및 검색 결과에 기초하여 점수를 동적으로 계산한다. 일반적인 경우에 있어서, 일반 검색 엔진은 일부 점수 지표들에 대해 미리 계산된 점수를 사용하고, 다른 지표들에 대한 점수를 사용자 쿼리 및 기타 사용자 메타데이터에 기초하여 계산한다.

일반 검색 엔진은 별개의 점수 지표들과 연관된 모든 점수들을 합산한다. 그 합계가 특정 검색 결과에 대한 검색 결과 품질점수가 된다. 일 구현예에 있어서, 결과 혼합기가 점수들을 서로 합산한다. 다른 구현예에 있어서, 점수들은 서로 더 해지는 것이 아니라 서로 곱해진다.

일반 검색 엔진은 검색 결과 품질점수를 이용하여, 일반 웹페이지 검색 결과들의 순위를 산정한다(225 단계). 일 구현예에 있어서, 결과 혼합기가 일반 웹페이지 검색 결과들의 순위를 산정한다.

또한, 검색 서비스는 뉴스 검색 엔진에게 상기 쿼리를 전송한다(230 단계). 뉴스 검색 엔진은 검색을 수행하고, 하나 이상의 뉴스 검색 결과들을 산출한다(235 단계).

뉴스 검색 엔진은 각각의 검색 결과들에 대한 검색 결과 품질점수를 계산한다(240 단계). 뉴스 검색 엔진은 최종적으로 검색 결과 품질점수를 사용하여 뉴스 검색 결과들의 순위를 산정한다. 일 구현예에 있어서, 일반 검색 엔진이 아닌 결과 혼합기가 검색 결과 품질점수를 계산한다.

검색 결과 품질점수는, 일반 검색 엔진에 대해서 전술한 바와 같이, 다양한 별개의 점수 지표들에 기초한다. 하지만, 뉴스 검색 엔진에 의해 이용된 일부 점수 지표들은 고유(unique)하다. 즉, 이들은 예를 들면 뉴스 신선도(news freshness)와 같이 일반 검색 엔진이 사용하는 임의의 점수 지표와 구별된다. 마찬가지로, 일반 검색 엔진에 의해 이용되는 일부 점수 지표들은 뉴스 검색 엔진과 관련하여 고유하다. 대안적인 구현예에 있어서, 점수 지표들은 상이한데, 이들이 고유하기 때문이 아니라, 검색 결과 품질점수의 계산에서 점수 지표들의 중요성이 상이한 검색 엔진들에서 서로 다르기 때문이다.

일반 검색 엔진의 경우와 같이, 뉴스 검색 결과들의 일부 점수 지표들과 연 관된 점수들이 미리 계산되고, 반면에 다른 점수들은 뉴스 검색 엔진들에 의해 동적으로 계산된다.

뉴스 검색 엔진은 개별적인 점수 지표들과 연관된 모든 점수들을 합산한다. 그 합계가 특정 검색 결과에 대한 검색 결과 품질점수이다. 일 구현예에 있어서, 결과 혼합기가 점수들을 서로 합산한다. 다른 구현예에 있어서, 점수들은 서로 더해지는 것이 아니라 서로 곱해진다.

뉴스 검색 엔진은 검색 결과 품질점수들을 이용하여, 뉴스 검색 결과들의 순위를 산정한다(245 단계). 일 구현예에 있어서, 결과 혼합기가 뉴스 검색 결과들의 순위를 산정한다.

결과 혼합기는 합성(composite) 검색 결과들이 검색 쿼리에 응답하여 표시될 수 있도록, 뉴스 및 일반 웹페이지 검색 결과들을 조합한다(blend). 이것은 사용자에게 표시되는 검색 결과들의 다양성(diversity)을 증가시킨다.

순위 산정된 일반 웹페이지 검색 결과들 및 순위 산정된 뉴스 검색 결과들을 이용하여, 결과 혼합기는 임의의 검색 결과들의 검색 결과 품질점수들을 재계산할지 여부를 결정한다(250 단계). 주어진 검색 엔진으로부터 하나 이상의 검색 결과이 가용한 경우, 결과 혼합기는 점수들을 재계산한다. 예를 들면, 결과 혼합기는 두 번째 순위보다 낮게 순위가 산정된 모든 일반 웹페이지 검색 결과들의 검색 결과 품질점수를 재계산하도록 결정할 수 있다. 검색 결과 품질점수를 재계산하기 위해, 결과 혼합기는 고유한 점수 지표들에 기초한 점수들을 감소시킨다(고유의 점수 지표들의 기여도(contribution)가 감소하면, 전체 점수가 감소한다). 예를 들면, 결과 혼합기가 두 번째 및 세 번째로 높게 순위가 산정된 일반 웹페이지 검색 결과들의 검색 결과 품질점수를 재계산하도록 결정하였다면, 고유 점수 지표들의 기여도를 각각 10% 및 20%씩 감소시킴으로써 검색 결과 품질점수를 재계산할 수 있다.

그 결정에 기초하여, 결과 혼합기는 검색 결과 품질점수들을 재계산한다(255 단계).

이후 결과 혼합기는 재계산된 검색 결과 품질점수들을 사용하여 뉴스 검색 결과 및 일반 웹페이지 검색 결과의 순위를 단일 순위(single ranking)로 산정한다(260 단계).

신규 순위에 기초하여, 결과 혼합기는 일반 웹페이지 검색 결과들 사이의 위치에 하나 이상의 뉴스 검색 결과들을 삽입함으로써 검색 결과들을 서로 조합한다(265 단계). 예를 들면, 결과 혼합기는 10개의 일반 웹페이지 검색 결과들 목록 내의 임의의 다양한 위치들에 적어도 하나의 뉴스 검색 결과를 삽입할 수 있다. 일 구현예에 있어서, 결과 혼합기는 가장 높은 순위가 산정된 뉴스 검색 결과만을 일반 웹페이지 검색 결과들 중에 삽입한다. 다른 구현예에 있어서, 결과 혼합기는 충분히 높은 순위를 가진 뉴스 검색 결과들이 없기 때문에, 어떠한 뉴스 검색 결과도 일반 웹페이지 검색 결과들 중에 삽입하지 않기로 결정할 수 있다. 또 다른 구현예에 있어서, 뉴스 검색 엔진은 그룹화된 뉴스 검색 결과들을 결과 혼합기에 제공하고, 결과 혼합기는 순위들을 사용하여 일반 웹페이지 검색 결과들 중 하나의 위치에 하나의 그룹을 삽입한다. 대안적으로, 이 그룹은 고정된 위치, 예를 들면, 일반 웹페이지 검색 결과들의 목록 중 상부, 하부 또는 중간에 삽입될 수 있다.

선택적으로, 결과 혼합기는 뉴스 검색 결과들이 삽입될 수 있는 곳에 제한사항을 부과한다. 예를 들면, 뉴스 검색 결과는 세 번째 순위의 결과 또는 그보다 낮은 순위의 결과에 대응하는 순서의 위치들로 제한될 수 있다. 또는, 예를 들면, 뉴스 검색 결과는 다른 뉴스 검색 결과로부터 두 개(또는 어떤 다른 숫자) 이상 떨어진 순서의 위치로 제한될 수 있다.

검색 서비스 프론트엔드는 조합된 결과들을 사용자에게 표시한다(270 단계). 순위의 순서는 결과들이 표시될 순서를 나타낸다.

도 3에 도시된 바와 같이, 검색 서비스 프론트엔드는 뉴스 검색 결과 및 일반 웹페이지 검색 결과에 대해 상이한 표시 형식들을 사용할 수 있다. 예를 들면, 일 구현예에 있어서, 검색 서비스 프론트엔드는 뉴스 검색 결과(320)에 대한 발행일(publication date; 310)을 항상 표시하지만, 일반 웹페이지 검색 결과(330)에 대해서는 가끔 표시하거나 또는 전혀 표시하지 않는다.

도 4에 도시된 바와 같이, 서적 검색 결과(410)가 일반 웹페이지 검색 결과들(420) 중에 삽입되는 일 구현예에 있어서, 검색 서비스 프론트엔드는 발행일(430), 페이지 수(440), 및 서적의 저자(450)를 표시한다.

검색 결과들이 서로 그룹화되는 구현예들에 있어서, 검색 서비스 프론트엔드는 그룹에 특유한 사용자 인터페이스 요소들(user interface elements)을 표시한다. 예를 들면, 도 5에 도시된 바와 같이, 검색 서비스 프론트엔드는 뉴스 검색 결과들의 그룹(520)에 인접하게 이미지(510)를 표시할 수 있고, 여기서, 뉴스 검색 결과들의 그룹(520)은 일반 웹페이지 검색 결과들(540) 중에 삽입된다. 일 구현예 에 있어서, 도 5에 도시된 바와 같이, 뉴스 검색 결과(530)는 다른 뉴스 검색 결과들에 인접하게 표시될 수 있다.

일 구현예들은 점수 시스템에 대한 통상적인 사용자 피드백 메커니즘(user feedback mechanism)을 포함한다. 사용자 피드백 메커니즘은 사용자-클릭-데이터를 사용하여 고품질 클릭들과 상관된 쿼리들의 특성 또는 쿼리 결과들의 특성을 파악한다. 예를 들면, 메커니즘은 "how to…"으로 시작하는 쿼리들이 서적 검색 결과들상에서 클릭을 자주 유도하는 것을 파악할 수 있다. 이러한 경우, 메커니즘은 서적 검색 결과들이 "how to…"로 시작하는 향후 쿼리들에 대해 선호됨을 인식하고, 이러한 결과들이 개선된 검색 결과 품질점수를 갖도록 한다.

일 구현예에 있어서, 사용자 피드백 메커니즘은 개별 사용자들을 또는 공통적인 일부 특성들을 갖는 사용자 집단들(cluster)을 위해 개인화된 피드백을 또한 제공할 수 있다. 예를 들면, 사용자가 뉴스 검색 결과들을 선호하는 것으로 인식될 수 있고, 이에 따라서 피드백 메커니즘은 그러한 결과들이 개선된 검색 결과 품질점수를 갖게 할 수 있다.

본 명세서에 기재된 주제 및 기능 동작들의 실시예들은, 본 명세서에 기재된 구조들 및 그 구조적 등가물, 또는 이들 중에서 하나 이상의 조합들을 포함하는 디지털 전자회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있다. 본 명세서에 기재된 주제의 실시예들은 하나 이상의 컴퓨터 프로그램 제품들로 구현될 수 있다. 즉, 데이터 처리 장치에 의한 실행을 위해, 또는 데이터 처리 장치의 동작을 제어하도록 실행하기 위해 유형의 프로그램 캐리어(tangible program carrier) 상에서 인코딩되는 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다. 유형의 프로그램 캐리어는 반송 신호(propagated signal) 또는 컴퓨터-판독가능한 매체(computer-readable medium)일 수 있다. 반송 신호는 인위적으로 생성된 신호, 예를 들면, 기계장치에 의해 생성된 전기적, 광학적, 또는 전자기적 신호이며, 이 신호는 적당한 수신 장치에 전송하고 컴퓨터로 실행하는 정보를 인코딩하도록 생성된다. 컴퓨터-판독가능한 매체는 기계-판독가능한 저장 디바이스, 기계-판독가능한 저장 기판, 메모리 디바이스, 기계-판독가능한 반송 신호를 유효하게 하는 물체의 조합, 또는 이들 중에서 하나 이상의 조합일 수 있다.

"데이터 처리 장치"라는 용어는 데이터를 처리하기 위한 모든 장치들, 디바이스들 및 기계장치들을 망라하며, 예를 들면, 프로그래머블 프로세서, 컴퓨터, 또는 다중 프로세서들이나 컴퓨터들을 포함한다. 장치들은 하드웨어뿐만 아니라 해당 컴퓨터 프로그램을 위한 실행 환경(execution environment)을 생성하는 코드(code), 예를 들면, 프로세서 펌웨어, 프로토콜 스택(protocol stack), 데이터베이스 관리 시스템, 운영체제, 또는 이들 중에서 하나 이상의 조합을 구성하는 코드를 포함할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드로도 알려짐)은 컴파일된 또는 번역된 언어들, 또는 선언적이거나 절차적 언어들을 포함하는 임의 형식의 프로그래밍 언어로 작성될 수 있고, 이러한 컴퓨터 프로그램은 독립형 프로그램(stand-alone program)으로서 또는 모듈로서, 구성요소, 서브루틴, 또는 기타 컴퓨팅 환경에서 사용하는데 적합한 유닛을 포함하 는 임의의 형식으로 사용될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 반드시 대응하는 것은 아니다. 프로그램은 다른 프로그램들 또는 데이터(예를 들면, 마크업 언어(markup language) 문서 내에 저장된 하나 이상의 스크립트)를 구비한 파일의 일부에, 해당 프로그램 전용의 단독 파일에, 또는 여러 동등한 파일들(예를 들면, 하나 이상의 모듈들, 서브-프로그램들, 또는 코드의 일부분들을 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터상에서 실행되도록 사용되거나, 또는 하나의 사이트에 위치하고, 다양한 사이트들을 통해 분산되며, 통신 네트워크에 의해 상호 연결된 여러 컴퓨터들 상에서 실행되도록 사용될 수 있다.

본 명세서에 기재된 프로세스들 및 논리 흐름들은, 입력 데이터에 작용하여 출력을 생성함으로써 기능들(functions)을 수행하도록 하나 이상의 컴퓨터 프로그램들을 실행시키는 하나 이상의 프로그래머블 프로세서들에 의해 수행될 수 있다. 또한 프로세스들 및 논리 흐름들은 전용 논리회로, 예를 들면, FPGA(필드 프로그래머블 게이트어레이) 또는 ASIC(애플리케이션-특정 집적회로)에 의해 수행될 수 있고, 또한 장치가 이러한 전용 논리회로로서 구현될 수 있다.
일례로서, 컴퓨터 프로그램의 실행에 적합한 프로세서들은 범용 및 전용 마이크로프로세서, 및 임의 유형의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 모두 포함한다. 일반적으로, 프로세서는 읽기전용 메모리(ROM) 또는 랜덤 액세스 메모리(RAM) 또는 둘 모두로부터 명령들 및 데이터를 수신한다. 컴퓨터의 필수적인 구성요소들로서, 명령들을 실행하기 위한 프로세서, 및 명령들과 데이터를 저장하는 하나 이상의 메모리 디바이스들이 있다. 일반적으로, 컴퓨터는 데이터를 저장하기 위해 하나 이상의 대량 저장 디바이스들(mass storage devices), 예를 들면, 자기식, 자기-광학식 디스크, 또는 광디스크를 또한 포함하고, 이들로부터 데이터를 수신하고 이들에게 데이터를 송신하며, 또는 송수신 모두를 위해 동작가능하게 서로 결합된다. 하지만, 컴퓨터는 이러한 디바이스들을 구비할 필요는 없다. 더욱이, 컴퓨터는 다른 디바이스 내에, 예를 들면, 모바일 전화, 개인 휴대용 단말(PDA), 모바일 오디오 또는 비디오 플레이어, 게임기(game console), 위성항법장치(Global Positioning System: GPS) 수신기 등에 내장될 수 있다.

컴퓨터 프로그램 명령들 및 데이터를 저장하는데 적합한 컴퓨터 판독가능 매체는, 비휘발성 메모리, 매체 및 메모리 디바이스들의 모든 형태를 포함하며, 일례로서 반도체 메모리 디바이스들, 예를 들면, EPROM, EEPROM, 및 플래시 메모리 디바이스들; 자기 디스크, 예를 들면, 내장형 하드디스크 또는 분리형 디스크; 자기-광학식 디스크; 및 CD-ROM과 DVD-ROM 디스크를 포함한다. 프로세서 및 메모리는 전용 논리회로에 의해 보완되거나 전용 논리회로 내에 통합될 수 있다.

사용자와의 상호작용을 제공하기 위해서, 본 명세서에 기재된 주제의 실시예들은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스, 예를 들면, CRT(음극선관) 또는 LCD(액정 디스플레이), 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 장치, 예를 들면, 마우스 또는 트랙볼을 구비한 컴퓨터상에 구현될 수 있다. 다른 유형의 디바이스들이 사용자와의 상호작용을 제공하는데 또한 사용될 수 있다; 예를 들면, 사용자에게 제공되는 피드백은 임의 형식의 지각 피드백(sensory feedback), 예를 들면, 시각 피드백, 청각 피드백, 또는 촉각 피드백일 수 있다; 그리고 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형식으로 수신될 수 있다.

본 명세서에 기재된 주제의 실시예들은 예를 들면, 데이터 서버와 같은 백엔드 구성요소(back-end component)를 포함하는 컴퓨팅 시스템 내에, 또는 미들웨어 구성요소, 예를 들면, 애플리케이션 서버를 포함하는 컴퓨팅 시스템 내에, 또는 프론트엔드 구성요소, 예를 들면, 사용자가 본 명세서에 기재된 주제의 구현예와 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹브라우저를 구비한 클라이언트 컴퓨터를 포함하는 컴퓨팅 시스템 내에, 또는 이러한 하나 이상의 백엔드, 미들웨어 또는 프론트엔드 구성요소들의 조합을 포함하는 컴퓨팅 시스템 내에 구현될 수 있다. 이 시스템의 구성요소들은 디지털 데이터 통신, 예를 들면, 통신 네트워크의 임의 형식 또는 매체에 의해 상호 연결될 수 있다. 통신 네트워크들의 예들로서, "랜(LAN)" 및 "광역 네트워크(WAN)", 예를 들면 인터넷을 포함한다.

컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 이격되어 있고 통상적으로 통신 네트워크를 통해 상호작용한다. 클라이언트 및 서버의 관계는 각각의 컴퓨터들에서 운영되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 비롯된다.

본 명세서가 많은 특정사항들을 포함하지만, 이들은 임의의 발명이나 청구될 범위를 제한하는 것으로 해석되지 않아야 하고, 오히려 특정 발명들의 특정 실시예들에 한정된 특징의 설명들로 해석되어야 한다. 또한, 별개의 실시예들의 배경하에 서 본 명세서에 기재된 소정 특징들은 단일 실시예에서 조합으로 구현될 수 있다. 이와는 반대로, 단일 실시예의 배경하에서 기재된 다양한 특징들은 또한 개별적인 다양한 실시예들로 또는 임의의 적합한 서브조합(subcombination)으로 구현될 수 있다. 더욱이, 특징들이 임의의 조합들로 작용하는 것으로 위에 기재하고 이와 같이 청구되었지만, 청구된 조합으로부터 하나 이상의 특징들이 어떤 경우에 그 조합으로부터 분리될 수 있고, 청구된 조합은 하나의 서브조합 또는 서브조합의 변형으로 될 수 있다.

마찬가지로, 동작들이 도면들에서 특정 순서로 설명되었지만, 이것은 바람직한 결과를 달성하기 위해서 이러한 동작들이 도시된 특정 순서로 또는 연속적인 순서로 수행되는 것을 요구하는 것으로 이해되지 않아야 하며, 또는 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되지 않아야 한다. 어떤 환경에서는, 멀티태스킹 및 병렬 처리가 유리할 수 있다. 또한, 전술한 실시예들에서 여러 시스템 구성요소들의 분리가 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되지 않아야 하며, 일반적으로 전술한 프로그램 구성요소들 및 시스템들은 단일 소프트웨어 제품에서 서로 결합될 수 있거나 또는 다양한 소프트웨어 제품들로 패키지화될 수 있는 것으로 이해되어야 한다.

본 명세서에 기재된 주제의 특정 실시예들이 개시된다. 기타 실시예들은 후속되는 청구항들의 범위 내에 있다. 예를 들면, 청구항들에서 인용되는 작용들은 상이한 순서로 수행될 수 있고, 또한 여전히 바람직한 결과들을 달성할 수 있다. 일례로서, 첨부된 도면들에서 기재된 프로세스들은 바람직한 결과들을 달성하기 위 해서 도시된 특정 순서, 또는 연속적인 순서를 반드시 필요로 하는 것은 아니다. 어떤 구현예에서, 멀티태스킹 및 병렬 처리가 유리할 수 있다. 또한, 뉴스를 검색하기 위한 뉴스 검색 엔진 대신에 기타 검색 엔진들이 사용될 수 있다. 서적들을 검색하기 위한 서적 검색 엔진, 비디오를 검색하기 위한 비디오 검색 엔진, 및 이미지들을 검색하기 위한 이미지 검색 엔진들이 예로서 포함될 수 있다. 게다가, 일반 웹페이지를 검색하기 위한 일반 검색 엔진 대신에 기타 검색 엔진들이 사용될 수 있다. 서적들을 검색하기 위한 서적 검색 엔진, 비디오를 검색하기 위한 비디오 검색 엔진, 이미지들을 검색하기 위한 이미지 검색 엔진, 및 뉴스를 검색하기 위한 뉴스 검색 엔진이 예로서 포함될 수 있다. 두 개 이상의 검색 엔진들이 사용될 수 있다. 예를 들면, 뉴스 검색 엔진 및 일반 검색 엔진으로부터 결과들을 혼합하는 것뿐만 아니라, 다음과 같은 하나 이상의 유형의 검색 엔진들이 사용될 수 있다: 서적들을 검색하기 위한 서적 검색 엔진, 비디오들을 검색하기 위한 비디오 검색 엔진, 또는 이미지들을 검색하기 위한 이미지 검색 엔진. 그리고 그 결과들은 서로 혼합될 수 있거나 일반 웹 검색 결과들과 혼합될 수 있거나 또는 둘 모두와 혼합될 수 있다. 따라서 기타 실시예들은 후속되는 청구항들의 범위 내에 있게 된다.

Claims

컴퓨터로 구현되는 방법으로서,

제1 표시 포맷(presentation format)으로 된 복수의 제1 검색 결과들을 수신하는 단계 - 상기 제1 검색 결과들은 제1 검색 엔진으로부터 수신되고, 상기 제1 검색 결과들은 상기 제1 검색 엔진에 전달된(directed) 검색 쿼리에 대해 식별되고, 상기 제1 검색 결과들은 제1 검색 결과들의 순위를 산정(rank)하는데 사용되는 각각의 제1 품질점수를 나타내는 관련 순서(associated order)를 가진다 - 와;

상기 제1 표시 포맷과는 다른 제2 표시 포맷으로 된 하나 이상의 제2 검색 결과들을 수신하는 단계 ― 상기 제2 검색 결과들은 제2 검색 엔진으로부터 수신되고, 상기 제2 검색 결과들은 상기 제2 검색 엔진에 전달된 검색 쿼리에 대해 식별되고, 상기 제1 검색 엔진은 제1 자원들의 제1 집합체(corpus)를 검색하고, 상기 제2 검색 엔진은 제2 자원들의 제2 집합체를 검색한다 - 와;

상기 복수의 제1 검색 결과들 각자에 대한 각각의 제1 품질점수를 획득함과 아울러 상기 복수의 제2 검색 결과들 각자에 대한 각각의 제2 품질점수를 획득하는 단계 - 상기 각각의 제1 품질점수는 상기 제1 자원들의 집합체와 관련하여 결정되고, 상기 각각의 제2 품질점수는 상기 제2 자원들의 집합체와 관련하여 결정된다 - 와; 그리고

상기 관련 순서에 상기 하나 이상의 제2 검색 결과들을 삽입하는 단계를 포함하며,

상기 삽입된 제2 검색 결과들이 상기 관련 순서에서 최상위로 순위산정된(top-ranked) 검색 결과들의 개수 내에 있도록, 상기 제1 검색 결과들에 고유하며, 상기 제2 검색 결과들의 점수 지표들로부터 구별되는 점수 지표(scoring feature)의 기여도를 감소시킴으로써 상기 하나 이상의 품질 점수 각각을 낮추는 것을 특징으로 하는 방법.
청구항 1에 있어서,

상기 복수의 제1 검색 결과들은 검색 결과들의 순서화된 목록(ordered list)을 포함하고, 상기 복수의 제1 검색 결과들은 상기 검색 쿼리에 대한 응답으로서 식별되는, 상기 제1 검색 엔진에 의해 제공된 검색 결과들 중 품질 점수가 가장 높은 검색 결과들의 개수인 방법.
청구항 1에 있어서,

상기 관련 순서에 상기 하나 이상의 제2 검색 결과들을 삽입하는 단계 후,

제3 검색 결과를 수신하는 단계 - 상기 제3 검색 결과는 제3 검색 엔진으로부터 수신되고, 상기 제3 검색 엔진은 제3 자원들의 집합체를 검색하며, 상기 제3 검색 엔진은 상기 제1 검색 엔진 및 상기 제2 검색 엔진과 상이함 ― 와; 그리고

상기 제3 검색 결과를 상기 하나 이상의 제2 검색 결과들이 삽입된 관련 순서에 삽입하는 단계를 더 포함하는 방법.
청구항 1에 있어서,

상기 제1 자원들은 일반적인 웹페이지들(generic web pages)이고, 상기 제2 자원들은 비디오 자원들인 방법.
청구항 1에 있어서,

상기 제1 자원들은 일반적인 웹페이지들이고, 상기 제2 자원들은 뉴스 자원들인 방법.
청구항 4에 있어서,

상기 관련 순서에 상기 하나 이상의 제2 검색 결과들을 삽입하는 동작 후,

상기 제2 검색 엔진으로부터 제3 검색 결과를 수신하는 단계; 및

상기 관련 순서에 있는 2개의 인접한 제1 검색 결과들 사이의 위치에 상기 제3 검색 결과를 삽입하는 단계를 더 포함하며,

상기 위치는 상기 삽입된 하나 이상의 제2 검색 결과에는 인접하지 않는 것인 방법.
청구항 1에 있어서,

상기 개수는 최상위-랭크된 결과들의 미리 결정된 개수인 방법.
청구항 1에 있어서,

상기 제2 품질점수들 내의 제2 품질점수는 상기 제2 품질점수들 중 하나에 각각 대응하는 자원의 발행일에 기초하는 방법.
청구항 1에 있어서,

상기 제1 자원들은 일반적인 웹페이지들이고, 상기 제2 자원들은 이미지 자원들인 방법.
청구항 1에 있어서,

둘 이상의 제2 검색 결과들을 그룹으로 제공하는 단계를 더 포함하는 방법.
청구항 10에 있어서,

둘 이상의 제2 검색 결과들의 상기 그룹에 인접한 이미지를 제공하는 단계를 더 포함하는 방법.
청구항 1에 있어서,

상기 검색 쿼리를 수신하는 단계; 및

상기 수신된 검색 쿼리에 대한 응답으로, 최상위로 순위산정된 제1 검색 결과들의 개수 및 상기 삽입된 하나 이상의 제2 검색 결과들을 제공하는 단계를 더 포함하는 방법.
하나 이상의 컴퓨터들; 및

상기 하나 이상의 컴퓨터들에 의한 실행 시, 상기 하나 이상의 컴퓨터들로 하여금 동작들을 수행하도록 하는 명령들이 저장된 컴퓨터-판독가능한 저장 장치를 포함하는 시스템으로서,

상기 동작들은:

제1 표시 포맷(presentation format)으로 된 복수의 제1 검색 결과들을 수신하는 동작 - 상기 제1 검색 결과들은 제1 검색 엔진으로부터 수신되고, 상기 제1 검색 결과들은 상기 제1 검색 엔진에 전달된(directed) 검색 쿼리에 대해 식별되고, 상기 제1 검색 결과들은 제1 검색 결과들의 순위를 산정(rank)하는데 사용되는 각각의 제1 품질점수를 나타내는 관련 순서(associated order)를 가진다 - 과;

상기 제1 표시 포맷과는 다른 제2 표시 포맷으로 된 하나 이상의 제2 검색 결과들을 수신하는 동작 ― 상기 제2 검색 결과들은 제2 검색 엔진으로부터 수신되고, 상기 제2 검색 결과들은 상기 제2 검색 엔진에 전달된 검색 쿼리에 대해 식별되고, 상기 제1 검색 엔진은 제1 자원들의 제1 집합체(corpus)를 검색하고, 상기 제2 검색 엔진은 제2 자원들의 제2 집합체를 검색한다 - 과;

상기 복수의 제1 검색 결과들 각자에 대한 각각의 제1 품질점수를 획득함과 아울러 상기 복수의 제2 검색 결과들 각자에 대한 각각의 제2 품질점수를 획득하는 동작 - 상기 각각의 제1 품질점수는 상기 제1 자원들의 집합체와 관련하여 결정되고, 상기 각각의 제2 품질점수는 상기 제2 자원들의 집합체와 관련하여 결정된다 - 과; 그리고

상기 관련 순서에 상기 하나 이상의 제2 검색 결과들을 삽입하는 동작을 포함하며,

상기 삽입된 제2 검색 결과들이 상기 관련 순서에서 최상위로 순위산정된(top-ranked) 검색 결과들의 개수 내에 있도록, 상기 제1 검색 결과들에 고유하며, 상기 제2 검색 결과들의 점수 지표들로부터 구별되는 점수 지표(scoring feature)의 기여도를 감소시킴으로써 상기 하나 이상의 품질 점수 각각을 낮추는 것을 특징으로 하는 시스템.
청구항 13에 있어서,

상기 복수의 제1 검색 결과들은, 검색 결과들의 순서화된 목록을 포함하고, 상기 복수의 제1 검색 결과들은 상기 검색 쿼리에 대한 응답으로서 식별된, 상기 제1 검색 엔진에 의해 제공된 검색 결과들 중 품질 점수가 가장 높은 검색 결과들의 개수인 시스템.
청구항 13에 있어서,

상기 관련 순서에 상기 하나 이상의 제2 검색 결과들을 삽입하는 동작 후,

제3 검색 결과를 수신하는 동작 - 상기 제3 검색 결과는 제3 검색 엔진으로부터 수신되고, 상기 제3 검색 엔진은 제3 자원들의 집합체를 검색하며, 상기 제3 검색 엔진은 상기 제1 검색 엔진 및 상기 제2 검색 엔진과 상이함 ― 과; 그리고

상기 제3 검색 결과를 상기 하나 이상의 제2 검색 결과들이 삽입된 관련 순서에 삽입하는 동작을 더 포함하는 시스템.
청구항 13에 있어서,

상기 제1 자원들은 일반적인 웹페이지들(generic web pages)이고, 상기 제2 자원들은 비디오 자원들인 시스템.
청구항 13에 있어서,

상기 제1 자원들은 일반적인 웹페이지들이고, 상기 제2 자원들은 뉴스 자원들인 시스템.
청구항 16에 있어서,

상기 관련 순서에 상기 하나 이상의 제2 검색 결과들을 삽입하는 동작 후,

상기 제2 검색 엔진으로부터 제3 검색 결과를 수신하는 동작; 및

상기 관련 순서에 있는 2개의 인접한 제1 검색 결과들 사이의 위치에 상기 제3 검색 결과를 삽입하는 동작을 더 포함하며,

상기 위치는 상기 삽입된 하나 이상의 제2 검색 결과에는 인접하지 않는 것인 시스템.
청구항 13에 있어서,

상기 개수는 최상위-랭크된 결과들의 미리 결정된 개수인 시스템.
청구항 13에 있어서,

상기 제2 품질점수들 내의 제2 품질점수는 상기 제2 품질점수들 중 하나에 각각 대응하는 자원의 발행일에 기초하는 시스템.
청구항 13에 있어서,

상기 제1 자원들은 일반적인 웹페이지들이고, 상기 제2 자원들은 이미지 자원들인 시스템.
청구항 13에 있어서,

둘 이상의 제2 검색 결과들을 그룹으로 제공하는 동작을 더 포함하는 시스템.
청구항 22에 있어서,

둘 이상의 제2 검색 결과들의 상기 그룹에 인접한 이미지를 제공하는 동작을 더 포함하는 시스템.
청구항 13에 있어서,

상기 검색 쿼리를 수신하는 동작; 및

상기 수신된 검색 쿼리에 대한 응답으로, 최상위로 순위산정된 제1 검색 결과들의 개수 및 상기 삽입된 하나 이상의 제2 검색 결과들을 제공하는 동작을 더 포함하는 시스템.