KR20070118142A

KR20070118142A - 공지의 상위 랭크 질의를 이용한 질의 정정

Info

Publication number: KR20070118142A
Application number: KR1020077024804A
Authority: KR
Inventors: 데이비드 알. 베일리; 알렉시스 제이. 배틀; 데이비드 아리엘 콘; 바바라 엥글하트; 판두랑 피. 나약
Original assignee: 구글 인코포레이티드
Priority date: 2005-03-29
Filing date: 2006-03-13
Publication date: 2007-12-13
Also published as: AU2011201142B2; EP1869586A4; KR101269105B1; WO2006104683A2; JP2008535090A; US20110060736A1; JP4950174B2; AU2006229761B2; US20060224554A1; AU2006229761A1; CA2603718C; EP1869586A2; US8375049B2; AR052956A1; WO2006104683A3; CA2603718A1; AU2011201142A1; US7870147B2

Abstract

정보 검색 시스템은 하나 이상의 질의 정정부(reviser)를 제공하며 각각은 자체 질의 정정 전략을 실시하는 질의 정정 아키텍처를 포함한다. 질의 랭크 정정부는, 모든 질의에 대하여 질의를 초기에 할당하고 공지의 상위 랭크 질의(KHRQ) 세트를 식별함으로써, 제 1 질의로 될 정정으로서 공지의 상위 랭크 질의를 제시한다. KHRQ로 정정될 가능성이 강한 질의들은 근접 질의(NQ)로서 식별된다. KHRQ인 대체 질의가 주어진 질의에 대한 정정 후보로서 제공된다. NQ인 대체 질의에 대하여, 해당하는 공지의 상위 랭크 질의들이 정정 후보로서 제공된다.

질의, 정정 스코어, 정정 가능성, 질의 랭크, 정정 질의 후보

Description

공지의 상위 랭크 질의를 이용한 질의 정정{QUERY REVISION USING KNOWN HIGHLY-RANKED QUERIES}

본 발명은 일반적으로 정보 검색 시스템에 관한 것으로, 보다 구체적으로는 사용자 질의를 정정하기 위한 시스템 및 방법에 관한 것이다.

인터넷 검색 엔진으로 예시되는 바와 같이, 정보 검색 시스템은 사용자의 질의와 일반적으로 관련되는 문서들을 일반적으로 신속히 제공할 수 있다. 질의에 대한 문서의 관련성을 판단하기 위하여, 검색 엔진은 문서들 사이와 용어들 사이에 연계와 더불어, 용어 및 문서 빈도의 다양한 통계적 수단을 이용할 수도 있다. 대부분의 검색 엔진 설계에 기초가 되는 주요한 기술적 전제로는 사용자 질의는 사용자가 원하는 정보 목표를 정확히 나타낸다는 것이다.

실제로, 전형적으로 사용자는 양질의 질의를 명확하게 나타내는데 어려움을 갖는다. 종종, 단일 질의는 원하는 결과를 제공하지 않으며, 사용자는 동일한 주제어에 관해 다른 많은 질의들을 빈번하게 입력하게 된다. 이들 복수의 질의들은 질의 용어의 폭 또는 특이성에서의 변화, 대상을 추측한 이름, 낱말들의 순서에서의 변화, 낱말들의 개수에서의 변화 등을 포함하고, 때로 길게 연이은 질의들을 만들어낸 후에야 원하는 결과 세트에 도달하게 된다. 다른 사용자들은 그들의 질의 를 성공적으로 정정할 수 있는 폭넓은 변경 능력들을 가지고 있기 때문에, 질의 정정에 있어서의 다양한 자동화된 방법들이 제안되어 왔다.

가장 통상적으로, 질의 최적화(query refinement)는 보다 더 많은 일반적 질의로부터 더욱 정확한(즉, 더욱 좁혀진) 질의들을 자동으로 생성하는데 사용된다. 상위 결과들이 사용자의 정보 요구사항과 관련된 문서의 수퍼세트(superset)를 포함하는 과도하게 광범위한 질의가 사용자에 의해 입력되었을 경우, 주로 질의 최적화가 유용하다. 예를 들어, 미쓰비시 갈란트 자동차에 관한 정보를 원하는 사용자는 "Mitsubishi" 질의를 입력할 수도 있으며, 이는 지나치게 광범위하여, 그 결과 자동차 회사뿐만 아니라 다른 많은 미쓰비시 회사들까지 포함하게 된다. 그러므로, 질의를 최적화하는 것이 바람직할 것이다(사용자의 구체적인 정보 요구사항을 판단하는데 부가적인 문맥이 부족하기 때문에 여기에서는 곤란함).

그러나, 사용자가 지나치게 구체적인 질의들을 입력하는 경우, 올바른 정정이 질의를 넓히게 되는 경우, 또는 상위 결과들이 사용자의 정보 요구사항과 관련없는 경우에 질의 최적화는 유용하지 않다. 예를 들어, "Mitsubishi Galant information" 질의는 "information" 용어 때문에 부족한 결과(이 경우, 미쓰비시 갈란트 자동차에 관한 너무 적은 결과들)를 초래하게 될 수도 있다. 이 경우, 올바른 정정은 "Mitsubishi Galant"로 질의를 넓히는 것이다. 그러므로, 어떤 상황에서는 질의 최적화가 효과가 있는 반면, 그 밖의 질의 정정 기법을 이용하여서 사용자의 정보 요구사항이 최상으로 적합하게 되는 많은 상황들이 있다.

다른 질의 정정 전략에서는 사용자의 잠재적인 정보 요구사항을 포착하기 위 해 질의를 확장할 수 있도록 동의어 리스트 또는 백과 사전을 이용한다. 그러나, 질의 최적화에서와 같이, 질의 확장이 질의를 정정하기 위한 항상 적절한 방식인 것은 아니며, 결과 품질이 질의 용어의 문맥에 매우 의존한다.

정보 검색 시스템은, 하나 이상의 질의 정정부(reviser)를 제공하며 각각이 자체 질의 정정 전략을 실시하는 질의 정정 아키텍처를 포함한다. 각 질의 정정부는 사용자 질의의 하나 이상의 잠재적인 정정된 질의들을 판단하기 위해 사용자 질의를 평가한다. 정정 서버는 잠재적인 정정된 질의들을 획득하기 위해 질의 정정부와 상호 작용한다. 또한, 각각의 잠재적인 정정된 질의에 대하여 검색 결과 세트를 획득하기 위해, 정정 서버는 정보 검색 시스템 내의 검색 엔진과 상호 작용한다. 정정 서버는 선택된 정정된 질의 각각에 대한 검색 결과 서브세트와 더불어, 사용자에게 프레젠테이션하기 위해 하나 이상의 정정된 질의들을 선택한다. 그러므로, 일 실시예에 따르면, 사용자는 정정된 질의들에 대한 검색 결과의 품질을 관찰한 후, 정정 질의에 대한 검색 결과 전체 세트를 획득하기 위해 정정된 질의들 중 하나를 선택할 수 있다.

사용자의 잠재적인 정보 요구사항을 보다 정확하게 포착하기 위하여, 다른 사용자들이 과거에 형성하였던 질의들의 문자열 분석에 근거하여 시스템 및 방법에서는 세션 기반의 사용자 데이터를 이용한다. 이를 수행하기 위하여, 많은 개별 사용자 세션으로부터 수집된 데이터에 근거하여 정정된 질의들이 제공된다. 예를 들어, 이러한 데이터는 클릭 데이터, 명시적 사용자 데이터, 또는 배회 데이터를 포함할 수도 있다. 배회 데이터를 이용하는 사용자 피드백에 대한 설명에 대해서는, 2003년 12월 3일 출원된 미국 출원 일련번호 제10/749,440호의 "Methods and Systems for Assisted Network Browsing"을 참조하고, 본 명세서에 참조로 포함되어 있다.

일 실시예에서, 질의 랭크 정정부는 공지의 하나 이상의 상위 랭크 질의들을 제 1 질의에 대한 정정으로서 제시한다. 먼저, 질의 랭크가 모든 질의에 대해 할당된다. 질의 랭크 정정부는 질의들 및 각 질의 랭크들의 테이블을 생성하고, 최상위 랭크 질의들을 공지의 상위 랭크 질의(KHRQ)들로서 식별한다. KHRQ로 정정될 높은 가능성을 갖는 질의들을 근접 질의(NQ)들로서 식별하고, 각 NG로부터 해당 KHRQ로의 포인터가 저장되며, KHRQ와 NQ 질의들이 인덱싱된다.

주어진 질의에 대하여, 질의 랭크 정정부는 이 인덱싱된 질의들에 대한 정정 가능성을 판단한다. 다음으로, 정정 가능성 및 인덱싱된 질의에 대한 질의 랭크를 이용하여 각 인덱싱된 질의에 대하여 정정 스코어(RS)가 산출된다. 그런 다음, 최상위 정정 스코어를 갖는 인덱싱된 질의들을 대체 질의들로서 정정한다. 인덱스에 저장된 포인터를 이용하여, KHRQ인 대체 질의들은 정정 후보로서 제공되고, NQ인 대체 질의들에 대해서는, 해당 공지의 상위 랭크 질의들이 정정 후보로서 제공된다.

이하, 본 발명의 다양한 도면, 다이어그램, 및 기술 정보에 대하여 설명한다. 도면들은 도시만을 목적으로 본 발명의 다양한 실시예를 나타낸다. 이하의 논의로부터, 본 발명의 원리에서 벗어나지 않고, 도시되고 설명되는 구조, 방법, 및 기능들의 대체 실시예가 채용될 수 있음을 이 기술분야의 당업자는 쉽게 이해할 것이다.

도 1a 및 도 1b는 본 발명의 일 실시예에 따른 질의 정정을 제공하는 정보 검색 시스템의 실시예를 나타내는 시스템도.

도 2는 본 발명의 일 실시예에 따른 최초 사용자 질의에 대한 결과 페이지 샘플을 나타내는 도면.

도 3은 본 발명의 일 실시예에 따른 정정된 질의 페이지 샘플을 나타내는 도면.

도 4는 본 발명의 일 실시예에 따른 도시화된 질의 토폴로지를 나타내는 도면.

도 5는 본 발명의 다른 실시예에 따른 도시화된 질의 토폴로지를 나타내는 도면.

시스템 개요

도 1a는 본 발명의 일 실시예에 따른 시스템(100)을 나타낸다. 시스템(100)은 프런트-엔드 서버(102), 검색 엔진(104)과 해당 콘텐츠 서버(106), 정정 서버(107), 및 하나 이상의 질의 정정부(108)를 포함한다. 운용 중에, 사용자는 임의 형태의 클라이언트 컴퓨팅 장치에서 동작하는, 예를 들어, 브라우저 애플리케이션이나 인터넷 관련 프로토콜(예를 들어, TCP/IP와 HTTP)을 통하여 통신하기 위해 채택된 다른 애플리케이션을 실행하는, 네트워크(인터넷 등, 도시 생략) 상의 종래의 클라이언트(118)를 경유하여 시스템(100)에 액세스한다. 단일의 클라이언트(118) 만을 나타내었지만, 시스템(100)은 많은 클라이언트를 갖는 상당히 많은 공동 세션을 지원할 수 있다. 일 실시예에서, 시스템(100)은 고성능 서버급 컴퓨터상에서 운용되고, 클라이언트 장치(118)는 임의 형태의 컴퓨팅 장치가 될 수 있다. 서버와 클라이언트 컴퓨터의 하드웨어적인 측면의 상세는 이 기술분야에서의 당업자에게 잘 알려져 있으므로, 여기서는 더 이상 설명하지 않는다.

프런트-엔드 서버(102)는 클라이언트(118)에 의해 제출된 검색 질의의 수신을 담당한다. 프런트-엔드 서버(102)는 검색 엔진(104)에 질의를 제공하여, 이 검색 질의에 따른 검색 결과 세트를 검색하기 위해 이 질의를 평가하고, 프런트-엔드 서버(102)에 이 결과를 반송한다. 검색 엔진(104)은 하나 이상의 콘텐츠 서버(106)와 통신하여 사용자의 검색 질의에 적합한 복수의 문서를 선택한다. 콘텐츠 서버(106)는 다른 웹사이트로부터 인덱싱된(및/또는 검색된) 상당수의 문서들을 저장한다. 선택적, 또는 부가적으로는, 콘텐츠 서버(106)는 다양한 웹사이트 상에 저장된 문서들의 인덱스를 저장한다. 여기서 "문서"란 임의 텍스트 또는 그래픽 포맷, 이미지, 비디오, 오디오, 멀티미디어, 프레젠테이션, 웹 페이지(이는 내장된 하이퍼링크 및 그 밖의 메타데이터, 및/또는 프로그램, 예를 들어, 자바스크립트 형식을 포함할 수 있음) 등의 원문을 포함하여, 임의 형태의 인덱싱 가능한 콘텐츠가 될 수 있는 것으로 이해한다. 일 실시예에서, 각 인덱싱된 문서에는 문서의 링크 구조에 따른 페이지 랭크가 할당된다. 페이지 랭크는 문서 중요도에 대한 질의 독립적인 값으로서 기능을 한다. 페이지 랭크의 예시적인 형태가 미국 특허 제6,285,999호에 기재되어 있으며, 본 명세서에 참고로 포함한다. 검색 엔진(104)은 문서의 페이지 랭크(및/또는 그 밖의 질의에 무관한 문서 중요도)에 근거하여 각 문서뿐만 아니라, 문서 중요도에 대한 하나 이상의 질의 의존적 신호(예를 들어, 문서에서의 검색 용어의 위치 및 빈도)에 대하여 스코어를 할당한다.

프런트-엔드 서버(102)는 또한 정정 서버(107)에 이 질의를 제공한다. 정정 서버(107)는 하나 이상의 질의 정정부(108)와 상호 작용하며, 이들 정정부 각각은 다른 질의 정정 전략 또는 전략 세트를 실시한다. 일 실시예에서, 질의 정정부(108)는 질의 랭크 정정부(108a)를 포함한다. 정정 서버(107)는 각 정정부(108)에 질의를 제공하고, 하나 이상의 잠재적인 정정된 질의(여기서 "잠재적인"으로 불리는 이유는, 이 시점에서 이들이 정정 서버(107)에 의해 채용되어 있지 않기 때문임)인 각 정정부(108)로부터의 응답을 획득한다. 질의 정정부(108)의 열등한 실행을 제거하고, 이후에 임의로 추가될 새로운 질의 정정부(108)를 위해서, 시스템 아키텍처는 사용될 임의의 수의 다른 질의 정정부(108)(일반 정정부(108n)로 표시)를 허용하도록 구체적으로 설계된다. 이는 시스템(100)이 특정한 유연성을 갖게 하고, 또한 구체적인 주제 도메인(예를 들어, 의약, 법률 등과 같은 도메인에서 사용하기 위한 정정부), 기업(내부 정보 검색 시스템을 위한 특정한 상업 분야 또는 법인 도메인에 특정한 정정부), 또는 다른 언어(예를 들어, 특정한 언어나 방언을 위한 정정부)에 대해 고객 맞춤 및 채택될 수 있도록 한다.

바람직하게는, 각 정정된 질의는 정정이 양질의 정정이 되는, 즉 정정된 질 의가 원래의 질의보다 사용자의 정보 요구사항에 더 적합한 결과가 생성될 가능성을 나타내는 신뢰도와 관련된다. 그러므로, 각 잠재적인 정정된 질의는 튜플(Ri, Ci)에 의해 나타내어질 수 있으며, 여기서 R은 잠재적인 정정된 질의이고, C는 정정된 질의와 관련된 신뢰도이다. 일 실시예에서, 이들 신뢰도는 각각의 정정부(108)의 각 정정 전략에 대해 사전에 수동으로 추정된다. 이 값들은 테스트 하의 샘플 질의와 정정된 질의의 결과 분석으로부터 도출될 수 있다. 그 밖의 실시예에서, 하나 이상의 정정부(108)가 하나 이상의 그것의 잠재적인 정정된 질의에 대하여 신뢰도(예를 들어, 런 타임에서)를 동적으로 생성할 수도 있다. 신뢰도의 할당은 그 밖의 컴포넌트(예를 들어, 정정 서버(107))에 의해 실행될 수도 있으며, 질의 종속적 및 질의 독립적 데이터 모두를 고려할 수도 있다.

정정 서버(107)는 하나 이상(또는 전체)의 잠재적인 정정된 질의를 선택할 수 있으며, 이들을 검색 엔진(104)에 제공할 수 있다. 검색 엔진(104)은 통상의 질의와 동일한 방법으로 정정된 질의를 처리하고, 제출된 각 정정된 질의의 결과를 정정 서버(107)에 제공한다. 정정 서버(107)는 각 정정된 질의의 결과를 평가하고, 동시에 정정된 질의에 대한 결과를 원래 질의에 대한 결과와 비교하는 것을 포함한다. 정정 서버(107)는 그런 다음, 이하에 설명하는 바와 같이, 최적의 정정된 질의일 것 같은 하나 이상의 정정된 질의(또는, 적어도 원래 질의에 적합한 정정된 질의)를 선택할 수 있다.

정정 서버(107)는 모든 잠재적인 정정된 질의 R을 수신하고, 이들의 관련 신뢰도 C에 의해 가장 높은 신뢰도로부터 가장 낮은 신뢰도로 이들을 정렬시킨다. 정정 서버(107)는 잠재적인 정정된 질의의 정렬된 리스트를 처음부터 끝까지 반복하고, 각 잠재적인 정정된 질의를 검색 엔진(104)에 보내어 검색 결과 세트를 획득한다(또는, 정정 서버(107)는 먼저, 예를 들어, 임계값 레벨 이상의 신뢰도를 갖는 잠재적인 정정된 질의의 서브세트를 선택할 수도 있음). 몇몇 경우에, 최상의 검색 결과는 정정 전략을 실행하면서 또는 신뢰도 평가할 때 이미 패치 되었을 수도 있으며(예를 들어, 정정부(108) 또는 정정 서버(107)에 의해), 이 경우 정정 서버(107)는 이렇게 획득된 검색 결과를 이용할 수 있다.

각 잠재적인 정정된 질의에 대하여, 정정 서버(107)는 잠재적인 정정된 질의를 선택할지 또는 무시할지를 결정한다. 선택은 정정된 질의에 대한 상위 N개의 검색 결과를 독립적으로 및 원래 질의의 검색 결과 모두 대한 평가에 따라 결정된다. 일반적으로, 정정된 질의는 원래 질의보다 사용자의 정보 요구사항을 더 정확하게 반영할 것 같은 검색 결과를 생성해야 한다. 원할 경우 많거나 적은 결과를 처리할 수 있지만, 전형적으로 상위 10개의 결과가 평가된다.

일 실시예에서, 이하의 조건이 유지되면 잠재적인 정정된 질의가 선택된다.

i) 정정된 질의는 적어도 최소 개의 검색 결과를 생성한다. 예를 들어, 이 파라미터를 1로 설정하는 것은 검색 결과가 없는 모든(및 유일한) 정정을 무시하게 된다. 허용가능한 최소 개의 결과의 일반적인 범위는 1에서 100이다.

ii) 정정된 질의는 최소 개의 "신규" 결과를 정정의 상위 결과 내에 생성한다. 원래 질의 또는 이전에 선택된 정정된 질의의 상위 결과에 발생하지도 않은 경우의 결과를 "신규"라 한다. 예를 들어, 이 파라미터를 2로 설정하는 것은 이전 에 선택한 임의의 정정된 질의의 상위 결과 또는 원래 질의의 상위 결과에 발생하지 않은 적어도 두 개의 상위 결과를 갖도록 각각의 선택된 정정을 요구하게 될 것이다. 이러한 제약은, 선택된 정정에서 다양한 결과가 존재하며, 적어도 하나의 정정이 유용하다고 판명될 기회를 최대화하는 것을 보장한다. 예를 들어, 도 3에서 알 수 있는 바와 같이, 각 정정된 질의에 대한 상위 3개의 결과(304)는 그 밖의 결과 세트와 구별된다. 이는 사용자가 정정된 질의에 매우 적합한 검색 결과를 폭넓게 조사하게 한다.

iii) 최대 개의 정정된 질의는 아직 선택되지 않았다. 즉, 최대 개의 정정된 질의가 이미 선택되었을 경우, 그러면 남아있는 모든 정정된 질의는 무시된다. 일 실시예에서, 최대 개의 정정된 질의는 4에 설정되어 있다. 다른 실시예에서, 최대 개의 정정된 질의는 2와 10 사이에서 설정된다.

상술한 선택 파라미터의 결과는 정정된 질의 페이지(300)에 포함될 선택된 정정된 질의 세트이다. 이전에 논의된 바와 같이, 정정 서버(107)는 이 페이지에 링크를 형성하고, 이 링크를 프런트-엔드 서버(102)에 제공한다. 정정 서버(107)는 정정된 질의 페이지(300) 상에 정정된 질의의 순서 및 레이아웃을 결정한다. 정정된 질의는 그들의 신뢰도의 순서(가장 높은 것에서 가장 낮은 것으로)로 리스팅 되는 것이 바람직하다.

프런트-엔드 서버(102)는 제공된 링크를 검색 결과 페이지에 포함시키고, 그런 다음 이를 클라이언트(118)에 전송한다. 그러면 사용자는 원래 질의에 대하여 검색 결과를 재검토할 수 있거나, 정정된 질의 페이지에 대한 링크를 선택할 수 있 으며, 이로써 선택된 정정된 질의와 이들의 관련 결과를 볼 수 있다.

정정된 질의의 프레젠테이션

도 2는 클라이언트(118)에 제공되는 결과 페이지(200) 샘플을 나타낸다. 이 간단한 실시예에서, 검색 결과 페이지(200)는 [sheets]의 원래 질의(202)를 이 질의에 대한 결과(204)와 함께 포함한다. 정정된 질의 세트에 대한 링크(206)는 페이지(200) 아랫부분에 포함된다. 그러면 사용자는 링크(206)를 클릭하여 정정된 질의 페이지를 액세스할 수 있다. 도 3은 페이지(300) 예를 나타낸다. 여기서, 정정된 질의 [linens], [bedding], 및 [bed sheets] 각각에 대해 정정된 질의 링크(302.1, 302.2, 302.3)로 나타낸 바와 같이, 상위 3개의 정정된 질의가 제시된다. 각 정정된 질의 링크(302) 아래에는 그 질의에 대한 상위 3개의 검색 결과(304)가 있다.

정정된 질의를 원래 결과 페이지(200)로부터 별개의 페이지(300)에 제공하는 것은 다양한 이점이 있다. 먼저, 화면 영역은 제한된 자원이므로 정정된 질의는 이들 스스로 리스팅(이들의 결과와 관련된 미리 보기 없이)되는 것은 가능은 하지만, 사용자가 이들의 결과 문맥 내에 정정된 질의를 알지 못하므로 바람직하지는 않다. 정정된 질의를 별개의 페이지(300) 상에 배치함으로써, 사용자는 최적의 정정된 질의와 이들의 관련 상위 결과를 알 수 있게 되며, 사용자는 어떤 정정된 질의가 그들의 정보 요구사항에 최적으로 맞도록 나타내는지를 선택하는 것이 가능하게 되고, 그 후에 정정된 질의 자체를 선택한다. 원래의 질의와 정정된 질의 모두를 단일(길지만) 페이지 상에 포함시키는 것이 가능하지만, 이러한 접근법은 사용 자가 모든 정정된 질의를 검토하기 위해 페이지를 스크롤 다운할 필요가 있거나, 페이지의 초기 가시 부분이 흐트러지게 된다. 그 대신에, 도 2 및 도 3에 도시된 바람직한 실시예에서, 사용자는 질의 정정과 관련된 결과들을 보고, 각 정정된 질의 링크(302)를 클릭하여, 선택된 정정된 질의에 대한 전체 검색 결과 세트를 액세스할 수 있다. 많은 경우에 있어서, 이러한 접근법은 검색 결과를 획득하기 위해 정정된 질의를 자동으로 이용하고 사용자에게 이들을 자동으로 나타내는 것이 또한 바람직하다(예를 들어, 사용자의 선택 또는 상호 작용 없이). 질의 랭크 정정부와 연계하여 설명된 질의 정정 예에서, 이 방법의 이점은 분명하다: [Britney Spears]가 상위 질의 랭크이기 때문에 제시된 질의로 되겠지만, 사용자에게 원하는 정보를 주지 못한다. 그러므로, 사용자가 선택할 수 있도록 결과와 질의를 표시하는 것이 유용하다. 또한, 이 접근법은 최적의 잠재적인 정정을 보이게 함으로써, 사용자에게 더 낫은 질의를 생성하는 방법을 간접적으로 교시하는 부가적인 이점을 갖는다. 다른 실시예에서, 정정 서버(107)는 질의 정정이 원래 결과 페이지(200) 상, 예를 들어, 별개의 윈도 또는 원래 결과 페이지(200) 내에 보이도록 강제할 수 있다.

사용자가 정정을 잘 이해할 수 있도록 질의 정정에 대한 부가 정보(예를 들어, 검색 결과(304))를 표시하는 방법이 메인 결과 페이지(200) 상에 이용될 수도 있다. 이는 철자를 고치는 정정의 경우와 같은 매우 고품질의 단일 정정된 질의(또는 소수의 매우 고품질의 정정)가 있는 경우에 특히 유용하다. 철자 교정 제시가 양호한 것인지의 여부를 사용자가 판단할 수 있도록, 철자가 고쳐진 정정된 질의는 제목, URL, 및 상위 결과 중 단편과 같은 부가 정보와 함께, 결과 페이 지(200) 상에 나타낼 수 있다.

다른 실시예에서, 정정 서버(107)는 질의 정정을 나타낼 지의 여부를 어떻게든 결정하기 위해 신뢰도를 이용하며, 나타내는 것으로 판단될 경우, 정정 또는 그곳으로의 링크를 배치하여 어떻게 눈에 띄게 할지를 결정한다. 이하에 이 실시예를 설명한다.

질의 정정

도 1a를 다시 참조하여, 질의 랭크 정정부(108a)의 일 실시예를 설명한다. 랭크 정정부(108a)는, 과거의 다른 사용자들에 의해 이루어진 질의에 대한 일련의 정정 분석에 근거하여 사용자의 정보 요구사항을 더 잘 포착할 것 같은 공지의 상위 랭크 질의를 제시하기 위해 임의의 적합한 방법을 사용할 수 있다. 일반적으로, 상위 랭크 질의는 그 밖의 질의에 대해 상대적으로 빈번히 발생하는 것이지만, 이것의 발생에 대해 상대적으로 드물게 정정되는 것이다. 사용자들이 이러한 질의를 드물게 정정한다는 것은 이러한 질의에 의해 제공된 결과가 사용자의 정보 요구사항에 적합하게 일치한다는 것을 나타낸다.

일 실시예에서, 상위 랭크 질의들은 다음과 같이 식별된다. 처음에, 질의 랭크 정정부(108a)는 질의 랭크를 로그 파일(110)에 저장된 모든 질의에 할당한다. 여기에서 사용된 질의 랭크는 질의의 발생 빈도(QF)와 이 질의에 대한 사용자 만족도(US)를 이용하여, 예를 들어, QF와 US의 곱, 즉, (QR = QF × US)로 규정한다. 일 실시예에서, 사용자 만족도는 역정정 빈도(IRF)로 측정된다. 즉, 사용자 만족도는 정정 빈도 감소에 따라 증가한다. 일 실시예에서의 정정 빈도는 질의가 정정 된 횟수를 질의의 전체 발생 수로 나눈 것으로서 규정된다. 그러므로, 이 실시예에서, 질의 랭크는 질의 발생 빈도-역정정 빈도(QF-IRF)로서 규정되며; 게다가, 상위 랭크 질의가 빈번하게 발생하지만 드물게 정정된다는 것을 반영하고 있다.

다른 실시예에서, 사용자 만족도는 질의의 품질에 의해 규정된다. 일 실시예에서, 질의에 대한 품질 스코어는 검색 결과에 대한 클릭 길이를 추정하는 사용자 클릭 거동 데이터로부터 추정된다. 품질 스코어를 결정하기 위한 이러한 방법 중 하나로는 미국 출원 일련번호 제10/878,926호("Systems and Methods for Deriving and Using an Interaction Profile", 2004년 6월 28일 출원)에 기재되어 있는 바와 같이, 상호 작용 프로파일의 사용을 들 수 있으며, 참고로 여기에 포함한다. 품질 스코어 산출은 예를 들어, 로그 파일(110) 내에 저장된다. 품질 스코어는 검색 결과의 제1선택, 예를 들어, 검색 결과의 제1클릭의 추정 기간에 근거한다. 주어진 클릭의 기간은 제1 및 그 다음 이어지는 선택이 검색 결과에서 발생한 횟수로부터 추정되며, 이 횟수는 그 밖의 사용자 세션 질의 데이터와 함께 예를 들어, 로그 파일(110)에 저장될 수도 있다. 스코어링(scoring)하는 단계는 사용자가 검색 결과에 선택/클릭하지 않은 검색 결과들을 제로(zero) 스코어로 할당하는 단계를 포함하고, 제1클릭과 이어지는 다음 클릭 사이의 기간에 인가된 S-커브를 따라 진행하며, 더 긴 클릭은 품질 스코어 1에 접근한다. 일 실시예에서, 이 커브에 대한 공식은 1/(1+e^-(x-40s)/10s)이며, 여기서 x는 클릭들 사이의 기간이고, 변곡점은 품질 스코어 0.1에 해당하는 20초, 품질 스코어 0.5에 해당하는 40초, 및 품질 스 코어 0.9에 해당하는 60초이다. 그 밖의 실시예에서, 사용자의 만족도를 나타낼 것으로 여겨지는 클릭 기간에 따라서 다른 커브들이 사용된다. 예를 들어, 커브를 오른쪽으로 잡아당겨 늘이면, 단기간의 클릭과 클릭이 전혀 없음 사이의 구분이 감소된 대가로 매우 긴 기간을 갖는 클릭들을 보상이 더 잘 된다. 관련없는 콘텐츠에 대한 클릭은, 예를 들어, 배너 광고는 클릭 분석에서 제외된다. 다른 실시예에서, 질의에 대하여, 첫 번째 클릭 결과보다는, 모든 클릭 결과들이 수집된다. 그러므로, 이 실시예에서, 질의 랭크는 질의 발생 빈도(QF)와 품질(Q)의 곱으로 규정된다.

질의 발생 빈도(QF)는 단위 시간당 빈도로서 규정되며, 예를 들어, 일 실시예에 따르면 시간당 빈도이다. 그러므로, 질의 발생 빈도 및 역의 문서 빈도 또는 품질이 증가함에 따라, 질의 랭크는 1을 향하여 증가한다.

다음으로, 질의 랭크 정정부(108a)는 질의와 각 질의 랭크 테이블을 생성한다. 이 데이터로부터, 질의 랭크 정정부(108a)는 모든 질의의 서브세트를 공지의 상위 랭크 질의(KHRQ)로 식별한다. 공지의 상위 랭크 질의는 상술한 바와 같이 높은 질의 랭크를 갖는 것으로 알려진 질의이며, 질의 테이블 내에 리스팅된다. 다른 실시예에서, 공지의 상위 랭크 질의들은 상위 X 개의 질의, 예를 들어, 상위 5,000 개의 질의로 규정된다.

그런 다음, 질의 랭크 정정자(108a)는 근접 질의(NQ)들을 식별하며, NQ와 KHRQ사이의 유사도에 의해 측정되는 KHRQ로 될 강한 정정 가능성을 갖는 질의들이다. 유사도는 의미적 유사도, 통사적 유사도, 거동 유사도, 또는 이들의 임의 조 합에 근거하여 결정될 수 있다. 일 실시예에서, 유사도는 거동 유사도이다. 다른 실시예에서, 유사도는 질의들 사이의 의미적 유사도, 예를 들어, 각각의 질의에 대하여 어절 내에서의 어휘적 유사도 및/또는 중복과 같은 고려 요소들을 포함한다. 또 다른 실시예에서, 유사도는 질의들 사이에 통사적 유사도, 예를 들어, 편집 거리, 용어 중복, 또는 정보 검색에서 일반적으로 사용되는 그 밖의 기법들과 같은 고려 요소들을 포함한다. 또 다른 실시예에서, 유사도는 의미적 및 통사적 유사도를 모두 포함한다. 일 실시예에서, 유사도를 스코어링하는 단계는 유사도 스코어를 0과 1 사이에 할당하는 단계를 포함하며, 더 유사한 질의들은 스코어 1에 접근한다. 예를 들어, 단어가 한 문자에 의해 잘못 철자 된 질의(예를 들어, [Brittney Spears] 대 [Britney Spears])는 높은 유사도 스코어(예를 들어, 0.95)를 갖는 반면, 용어가 중복이 작은 질의(예를 들어, [When Harry Met Sally] 대 [Metropolitan Life])는 낮은 유사도 스코어(예를 들어, 0.15)를 갖는다. 한 형태의 유사도보다 큰 것이 사용되는 실시예에서는, 파라미터화된 조합 함수, 예를 들어, 가중 합이 사용되어, 파라미터들이 시스템의 예상 정확도를 최대화한다.

그러므로, 일 실시예에서, 근접 질의가 공지의 상위 랭크 질의로 될 정정 가능성(PR)은 NQ와 KHRQ의 거동 유사도(BS), 즉, 근접 질의의 질의 발생 빈도에 대하여 근접 질의가 공지의 상위 랭크 질의로 정정되었던 횟수(R(NQ, KHRQ))이며, 이들 각각은 로그 파일(110) 데이터, 즉, PR(NQ, KHRQ)=BS(NQ, KHRQ)=R(NQ, LHRQ)/QF(NQ)로부터 결정된다. 근접 질의가 복수의 KHRQ로 정정되는 것에 대한 기록을 가질 수도 있기 때문에, 이 계산은 각 KHRQ에 대하여 개별적으로 이루어진다. 일단 PR이 결정되면, 통계적으로 현저한 PR을 갖는 질의들은 그들의 분류를 근접 질의로서 유지하고, 더 낮은 PR을 갖는 질의들은 그 밖의 질의(OQ)들로 분류된다. 모든 KHRQ와 NQ는 인덱스에 저장되고, 각 NQ로부터 그것의 각각의 KHRQ로의 포인터를 갖는다. 인덱스 내의 KHRQ와 NQ는 인덱싱된 질의(IQ)로서 통칭된다. 각각의 인덱싱된 질의에 대한 PR이 또한 인덱스에 저장된다.

도 4는 공지의 상위 랭크 질의(KHRQ), 근접 질의(NQ), 및 그 밖의 질의(OQ)들의 도시화한 예시적 토폴로지를 나타낸다. 나타낸 바와 같이, 통상 공지의 상위 랭크 질의로부터 하나의 링크 떨어진 질의들을 근접 질의로 분류한다. 그러나, 공지의 상위 랭크 질의로부터 더 멀리 떨어진 질의들은 그 밖의 질의, 즉, 무시 가능한 PR(KHRQ)을 가질 가능성이 있는 것으로 분류되기 더 쉽다. 나타낸 바와 같이, KHRQ로부터의 거리가 증가할수록 PR은 감소한다. 일 실시예에서, 공지의 상위 랭크 질의와 다른 질의 사이의 경로 길이는 가능성 값을 직접적으로 나타낸다.

다음으로, 상술한 백 엔드 프로세스의 연속으로서, 또는 런 타임에서, GQ와 IQ사이의 유사도에 의해 측정되는 바와 같이, 질의 랭크 정정부(108a)는 주어진 질의(GQ)가 각 인덱싱된 질의(IQ)로 될 정정 가능성(RP)을 측정한다. PR에 대해 상술한 바와 같이, RP는 의미적 유사도, 통사적 유사도, 거동 유사도, 또는 이들의 임의 조합에 근거하여 결정될 수 있다. 몇몇 경우에서 RP는 PR과 동일한 방법으로 산출되며, 몇몇 경우에서 RP는 다른 계산을 사용하기 때문에, 여기서 RP는 GQ가 KHRQ로 될 정정 가능성을 평가하기 위해 사용되며, PR은 NQ가 KHRQ로 될 정정 가능성을 산출하기 위해 사용된다. 백 엔드 프로세스에 있어서, RP는 로그 파일(110) 에 저장되는 각 질의에 대하여 산출된다. 프런트 엔드 프로세스에 있어서, 사용자가 예를 들어, 클라이언트(118)를 경유하여 입력한 질의에 대해 RP가 산출된다.

일 실시예에서, 주어진 질의가 NQ(RP(GQ, NQ))로 될 RP는 GQ가 NQ로 될 거동, 의미적, 및 통사적 유사도이다. 주어진 질의가 공지의 상위 랭크 질의(RP(GQ, KHRQ))로 될 RP는 직접 및 간접적으로 산출된다. 직접적인 부분은 표준 RP 계산(RP(GQ, KHRQ))을 사용한다. 간접적인 부분은, KHRQ로의 포인터를 갖는 모든 NQ에 대하여, 상술한 바와 같은 RP(GQ, NQ)와, NQ가 KHRQ(RP(NQ, KHRQ))로 될 PR의 곱의 합으로서 산출된다. 그러므로, GQ가 KHRQ로 될 RP는, KHRQ에 대한 모든 NQ사이의 관계, 즉 아래 식에 대하여 직접 및 간접적으로 산출된다.

결과적으로, 정정되는 NQ가 KHRQ로 될 가능성이 적어질수록, RP는 낮아진다. RP(GQ, KHRQ)의 간접적인 측면이 상기 수식을 필요하게 될 상황의 예는 도 5를 참조하여 알 수 있다. 예를 들어, GQ(505)가 KHRQ(510)로 될 RP에 대하여, 상기 수식의 후반은 NQ1(515), NQ2(520), NQ3(525), 및 NQ4(530)에 대한 계산의 합이 된다.

다음으로, 질의 랭크 정정부(108a)는 각 인덱싱된 질의에 대하여, 인덱싱된 질의에 대한 RP(주어진 질의에 대해)와 인덱싱된 질의에 대한 질의 랭크의 곱, 즉, RS(IQ)=(GQ, IQ)×QR(IQ)로서, 정정 스코어(RS)를 산출한다. 최상위 정정 스코어를 갖는 인덱싱된 질의는 대체 질의(AQ)로서 검색된다. 일 실시예에서, 상위 10개 의 정정 스코어를 갖는 인덱싱된 질의가 검색된다. 다른 실시예에서, 상위 100 개의 정정 스코어를 갖는 인덱싱된 질의가 검색된다. 일단 대체 질의 리스트가 검색되면, 공지의 상위 랭크 질의가 되는 대체 질의가 정정 후보로서 제공된다. 근접 질의가 되는 대체 질의에 있어서, 인덱스에 저장된 포인터를 이용하여, 해당 공지의 상위 랭크 질의가 정정 후보로서 제공된다.

상술한 바와 같이, 각 정정 후보는 정정이 양질의 정정이라는 가능성을 나타내는 신뢰도와 관련될 수 있다. 질의 랭크 정정자(108a)의 경우에, 정정 후보에 대한 대체 질의의 정정 스코어가 그 질의에 대한 신뢰도로서 사용된다.

또한, 이 또는 다른 정정부(108)에 의해 이미 정정되었던 질의들은 질의 랭크 정정부(108a)에 의해 더 정정될 수 있다.

질의 랭크 정정부(108a)를 이용하여 공지의 상위 랭크 질의를 제시하는 예는 다음과 같다. 사용자에 의해 입력된 제 1 질의는 [BBQ skewers](405)이다. 이 예에서, 사용자는 바비큐 꼬치에 관한 정보에 관심이 있다. 질의 랭크 정정부(108a)는 인덱싱된 질의에 대하여 질의 정정 가능성을 산출 또는 검색한다. 이 예에 대하여, 도 4를 다시 참조하면, 4개의 인덱싱된 질의가 인덱싱된 질의로서 사용된다: KHRQ이고 그것의 NQ 중 하나인 [Britney Spears](410), [B Spears](420), KHRQ이고 그것의 NQ 중 하나인 [Williams-Sonoma](430), [wooden skewers](440). NQ에 대하여, 그것의 각 KHRQ(PR)로 정정되는 각각의 가능성이 또한 인덱스로부터 검색된다. 인덱싱된 질의(410 내지 440)에 대한 정정 가능성은 다음과 같다:

RP([BBQ skewers], [Britney Spears]) = 0.11

RP([BBQ skewers], [B Spears]) = 0.3(S) × 0.8(PR) = 0.24

RP([BBQ skewers], [Williams-Sonoma]) = 0.05

RP([BBQ skewers], [wooden skewers]) = 0.95(S) × 0.3(PR) = 0.285

그러므로, 두 개의 KHRQ는 [BBQ skewers]에 대해 상당히 낮은 정정 가능성(RP)을 갖는다. [B Spears] 또한 [BBQ skewers]에 비해 상대적으로 낮은 RP를 갖지만, [Britney Spears]에 비해 높은 PR를 갖는다. [wooden skewers]는 [BBQ skewers]에 비해 높은 RP를 갖지만, KHRQ[Williams-Sonoma]에 대하여 낮은 PR을 갖는다.

다음으로 질의 랭크 정정부(108a)는 각 인덱싱된 질의에 대하여, 상술한 정정 가능성과 각 인덱싱된 질의(410 내지 440)에 대한 질의 랭크의 함수, 즉, RS(IQ)=S(GQ, IQ)×QR(IQ)로서, 정정 스코어(RS)를 찾는다. 정정 스코어는 다음과 같이 산출된다:

RS([Britney Spears]) = 0.11 × 0.93QR([Britney Spears])=0.1023

RS([B Spears]) = 0.24 × 0.35QR([B Spears]) = 0.084

RS([Williams-Sonoma]) = 0.05 × 0.75QR([Williams-Sonoma]) = 0.0375

RS([wooden skewers]) = 0.285 × 0.36QR([wooden skewers]) = 0.1026

그러므로, [B Spears]가 [BBQ skewers]에 두 번째로 가장 유사하지만, 낮은 질의 랭크를 가지므로, 낮은 RS로 된다. 부가적으로, [Williams-Sonoma]는 높은 질의 랭크를 갖지만, RP가 매우 낮아서 그룹에서 가장 낮은 RS를 갖는다. 인덱싱된 질의(410 내지 440) 중에서 가장 높은 두 개의 RS는 매우 높은 질의 랭크와 낮 은 RP를 갖는 [Britney Spears]와, 중간 정도로 낮은 질의 랭크를 갖지만 그룹에 대해 높은 RP를 갖는 [wooden skewers]이다. 이 예에 있어서, 정정 스코어의 상위 50%는 대체 질의(AQ)로서 검색된다고 가정한다. 그러므로, [Britney Spears]와 [wooden skewers]는 대체 질의로서 검색된다.

KHRQ인 [Britney Spears]는 정정 질의 후보로서 반환된다. 또한, 대체 질의 [wooden skewers]에 대한 KHRQ인 [Williams-Sonoma]는 정정 질의 후보로서 반환된다. 또한, 정정 질의 후보에 대한 신뢰도, 즉, 관련 대체 질의의 정정 스코어는 정정 후보를 사용자에게 제공할 지의 여부를 결정하는데 이용되기 때문에, 사용자는 결국 [Williams-Sonoma]만을 볼 수도 있다. 결과적으로, 사용자는 사용자가 찾고 있었던 아이템(바비큐 나무 꼬치)을 넘겨주는 [Williams-Sonoma] 질의를 제시받게 된다.

런 타임에서 정정 신뢰도 생성

도 1b를 참조하여, 본 발명에 따른 정보 검색 시스템의 다른 실시예를 나타낸다. 상술한 도 1a의 요소에 부가적으로, 세션 트랙커(114)와 정정부 신뢰도 추정부(112)가 있다. 상기 논의된 바와 같이, 질의 정정부(108)가 정정 서버(107)에 제공하는 하나 이상의 정정된 질의와 함께 신뢰도를 제공할 수도 있다. 정정 서버(107)는 어떤 질의가 정정된 질의 페이지(300)에 포함될 수 있는 정정된 질의를 선택하기 위해 판단하는데 신뢰도를 사용한다. 일 실시예에서, 주어진 원래 질의에 대해 정정된 질의를 선택하는 사용자 활동 이력의 적어도 일부에 근거하여, 런 타임에서 신뢰도가 도출될 수 있다.

도 1b의 실시예에서, 프런트-엔드 서버(102)는 원래의 질의와 정정된 질의 정보와 함께 사용자 클릭을 통한 거동(user click-through behavior)을 세션 크랙커(114)에 제공한다. 세션 크랙커(114)는 정정된 질의의 품질을 모델링하기 위하여 원래 질의와 정정된 질의의 다양한 특징과 함께, 어떤 질의 정정 링크(302)가 사용자에 의해 액세스 되었는지와 관련된 각 사용자 질의, 각 정정된 질의와 관련된 결과를 저장하는 로그 파일(110)을 유지한다. 저장된 정보는 예를 들어, 다음을 포함할 수 있다:

원래 질의에 대하여:

● 원래 질의 자체;

● 원래 질의 내의 각 단어;

● 원래 질의의 길이;

● 원래 질의의 토픽 클러스터;

● 원래 질의에 대한 정보 검색 스코어; 및

● 원래 질의에 대한 결과 수.

정정된 질의에 대하여:

● 정정된 질의 자체;

● 정정된 질의 내의 각 단어;

● 이것을 생성한 정정 기술의 식별;

● 정정 질의의 길이;

● 정정 질의와 관련된 토픽 클러스터;

● 상위 검색 결과에 대한 정보 검색 스코어(예를 들어, 페이지 랭크);

● 정정 질의에 대해 발견된 결과 수

● 정정 질의 링크(302) 상에 클릭 길이; 및

● 정정된 질의 결과(304) 상에 클릭 길이.

질의들에 대한 토픽 클러스터는 적합한 임의의 토픽 식별 방법을 이용하여 식별된다. 적합한 하나의 방법으로는 미국 출원 일련번호 제10/676,571호("Method and Apparatus for Characterizing Documents Based on Clusters of Related Words", 2003년 9월 30일 출원)에 기재되어 있으며, 참고용으로 본원에 포함되어 있다.

정정부 신뢰도 추정부(112)는, 주어진 질의에 대하여 정정된 질의가 성공적인 정정으로 될 우도를 추정하는데 이용될 수 있는 질의 및 정정된 질의의 특징들에 근거하여 룰 세트를 생성하기 위하여, 예측 모델, 예를 들어, 복수의 지수형 회귀 모델을 이용하여 로그 파일(110)을 분석한다. 적합한 하나의 회귀 모델로는 미국 출원 일련번호 제10/734,584호("Large Scale Machine Learning Systems and Methods", 2003년 12월 15일 출원)에 기재되어 있으며, 참고용으로 본원에 포함되어 있다. 어떤 거동은 예를 들어, 정정된 질의 링크(302)에 대한 사용자의 긴 클릭이 사용자의 원래 정보 요구사항의 정확한 표현이 되는 것으로서 사용자가 이 정정을 만족하는 것을 나타낸다는 가정으로 정정부 신뢰도 추정부(112)는 동작한다. 긴 클릭은 사용자가 클릭을 통해 페이지 상에 최소 어느 시간 동안, 예를 들어, 최소 60초 동안 머무를 경우 발생하는 것으로 여겨질 수 있다. 정정된 질의 링 크(302) 상의 클릭 길이로부터, 정정부 신뢰도 추정부(112)는 정정된 질의 및 원래 질의의 다양한 특징들이 주어진 긴 클릭의 우도를 예측하기 위해 예측 모델을 훈련할 수 있다. 긴 클릭의 예측된 높은 우도를 갖는 정정된 질의들은 이들이 관련된 원래 질의에 대한 더 양호한(즉, 더 성공적인) 정정이 되는 것으로 간주된다.

예측 모델에 대한 일 실시예에 있어서, 신뢰도 추정부(112)는 정정된 질의와 관련된 특징들을 선택하고, 클릭 데이터와 같은 사용자 데이터를 로그 파일로부터 수집하며, 특징들과 사용자 데이터를 이용하여 룰을 공식화하고, 이 룰을 예측 모델에 추가한다. 부가적으로, 신뢰도 추정부(112)는 사용자 데이터를 이용하여 부가적인 룰들을 공식화하여 이 부가적인 룰들을 모델에 선택적으로 추가할 수 있다.

런 타임에서, 정정 서버(107)는 정정부 신뢰도 추정부(112)에 원래 질의, 및 다양한 질의 정정부(108)로부터 수신한 각각의 정정된 질의를 제공한다. 정정부 신뢰도 추정부(112)는 예측도를 획득하기 위하여 원래 질의와 정정된 질의를 예측 모델에 적용하고, 이는 상술한 신뢰도로서 기능한다. 또한, 각 질의 정정부(108)는 예측도를 획득하기 위해 정정부 신뢰도 추정부(112)를 직접 호출하고, 그런 다음 정정 서버(107)에 이들 값을 되돌려 보낼 수 있다. 상술한 실시예는 정정부 신뢰도 추정부(112)를 개별 모듈로서 나타내지만, 정정 서버(107)는 대신에 신뢰도 추정의 기능성을 제공할 수도 있다. 어느 경우에도, 정정 서버(107)는 신뢰도를 이용하며, 상술한 바와 같이, 어떤 정정된 질의를 사용자에게 보이게 할지를 선택하여 순서를 정한다.

일 실시예에서, 정정 서버(107)는 질의 정정들을 모두 나타낼지를 결정하기 위해 신뢰도를 사용하고, 모두 나타낼 경우, 정정들 또는 이것으로의 링크를 어떻게 눈에 띄게 배치할지를 결정하기 위해 신뢰도를 사용한다. 이렇게 하기 위해서, 정정 서버(107)는 상술한 초기 신뢰도 또는 상기 논의된 동적으로 생성된 신뢰도를 이용할 수도 있다. 예를 들어, 최적의 신뢰도가 임계값 이하로 떨어질 경우, 어떠한 잠재적인 정정 후보도 매우 좋은 것이 아니라는 것을 나타낼 수 있으며, 이러한 경우 어떠한 변경도 원래 결과 페이지(200)에 이루어지지 않는다. 한편, 하나 이상의 정정 질의가 다른 임계값보다 매우 높은 신뢰도를 가질 경우, 정정 서버(107)는 질의 정정이나, 또는 정정된 질의 페이지(300)로의 링크를 원래 결과 페이지(200) 상에, 예를 들어, 페이지의 상단부 근처에 폰트를 구별하여, 또는 몇몇 다른 눈에 띄는 위치에 눈에 잘 띄게 나타내도록 강제할 수 있다. 신뢰도가 두 개의 임계값 사이에 있을 경우, 그러면 정정된 질의 페이지(300)로의 링크는 덜 눈에 띄는 위치, 예를 들어, 링크(206)에 대해 나타낸 바와 같이 검색 결과 페이지(200)의 하단에 배치될 수 있다. 일 실시예에서, 사용자에게 표시할 지의 여부 또는 어디에 표시할지는 원래 질의에 대한 사용자 불만족에 어느 정도 근거하며, 예를 들어, 제로 또는 거의 결과가 없거나 낮은 정보 검색 스코어에 근거한다.

상술한 프로세스 단계는 병렬(예를 들어, 질의 정정에 대한 결과를 획득하면서 질의 정정에 대한 신뢰도를 산출) 및/또는 교호(예를 들어, 모든 질의 정정을 수신하고 나서 질의 정정 리스트를 정렬하기보다, 복수의 질의 정정을 질의 정정부로부터 수신하면서 도중에 정렬된 질의 정정 리스트를 작성)로 실행될 수 있다. 부가적으로, 상기 실시예들은 클라이언트/서버 검색 시스템과 관련하여 기술되었지 만, 본 발명은 독립형 장비(예를 들어, 독립형 PC)의 일부로서 실시될 수도 있다. 이는, 예를 들어, 구글 데스크탑 검색(Google Desktop Search)와 같은 데스크탑 검색 애플리케이션과 관련하여 유용할 수 있다.

본 발명은 하나의 가능한 실시예에 관하여 특히 상세하게 기술되었다. 본 발명이 그 밖의 실시예의 형태로 실행될 수 있음을 당업자는 잘 주지할 것이다. 우선, 컴포넌트, 대문자 표기된 용어, 특성, 데이터 구조의 특정 명명이나, 또는 그 밖의 다른 프로그래밍 또는 구조적인 측면은 의무적이거나 중요한 것이 아니며, 본 발명 또는 그 특징을 실시하는 메커니즘에서는 다른 명명, 포맷, 또는 프로토콜을 가질 수도 있다. 또한, 시스템은 상술한 바와 같이 하드웨어와 소프트웨어의 조합, 또는 전적으로 하드웨어 요소로 실시될 수도 있다. 또한, 본 명세서에 기재된 다양한 시스템 컴포넌트들 사이의 기능성의 특정 분야는 단지 예에 지나지 않으며, 의무적인 것은 아니다. 단일 시스템 컴포넌트에 의해 실행된 기능들은 복수의 컴포넌트에 의해 대신 실행될 수도 있고, 복수의 컴포넌트에 의해 실행된 기능들이 단일의 컴포넌트에 의해 대신 실행될 수도 있다.

정보에 대한 조작에 있어서의 알고리즘 및 기호적 표현의 관점에서, 상술한 특징 중 몇몇 부분은 본 발명의 특징을 나타낸다. 이들 알고리즘 설명 및 표현은 이 기술분야에서의 그 밖의 당업자들에게 그들의 작업 내용을 가장 효과적으로 전달하기 위해 데이터 처리 기술분야의 당업자들에 의해 사용되는 수단이다. 이러한 조작은 기능적 또는 논리적으로 설명되었지만, 컴퓨터 프로그램에 의해 실시되는 것으로 이해한다. 또한, 보편성을 잃지 않으면서, 이들 조작의 배치를 모듈로서 또는 기능적 명명에 의해 참조하여 종종 편의를 도모하였다.

상기 논의로부터 명확히 알 수 있는 바와 같이, 특별한 언급이 없는 한, 명세서 전반에 걸쳐서 설명한 동작 및 프로세스는, 컴퓨터 시스템 메모리나 레지스터, 또는 그 밖의 이러한 정보를 저장, 전송, 또는 표시하는 장치 내의 물리적(전자적) 양으로 표현되는 데이터를 조작하고 변형시키는 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 장치에서 행해지는 것으로 이해한다. 이러한 컴퓨터 시스템의 기본적인 하드웨어에 대한 상세한 설명은, 컴퓨터 공학 분야의 당업자에게 일반적으로 공지된 것이므로 본 명세서에는 생략한다.

본 발명의 어떤 측면에서는 본 명세서에 기재된 프로세스 단계 및 인스트럭션을 알고리즘의 형태로 포함한다. 본 발명의 프로세스 단계 및 인스트럭션은 소프트웨어, 펌웨어, 또는 하드웨어로 구현될 수 있으며, 소프트웨어로 구현될 경우, 탑재하기 위해 다운로드할 수 있으며 실시간 네트워크 운영 시스템에 의해 사용되는 다른 플랫폼으로부터 동작될 수 있다.

본 발명의 어떤 측면은 개별 또는 단일의 예에 관하여 설명되었지만, 본 발명은 이러한 점에 한정되지 않는다. 따라서, 단일의 요소 또는 컴포넌트에 대한 모든 참조들은 그러한 복수의 컴포넌트들을 또한 참조하는 것으로 해석되어야 한다. 마찬가지로, "a", "an", 또는 "the"에 대한 참조는, 표현된 것이 다르게 언급되지 않은 한, 복수에 대한 참조를 포함하는 것으로 해석되어야 한다. 마지막으로, "plurality" 용어 사용은, 본 발명의 논의되는 부분에 해당되는, 두 개 또는 그 이상의 대상, 데이터 아이템 등을 참조하는 것을 의미하고, 유한한 것 또는 다 르게는 아이템의 과대한 수를 포함한다.

본 발명은 또한 본 명세서에서의 동작을 실행하는 기기에 관한 것이다. 이 기기는 필요한 목적을 위해 특별하게 제조될 수도 있고, 또는 컴퓨터에 의해 액세스가능한 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성될 수 있는 범용 컴퓨터를 구비할 수도 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광학 디스크, CD-ROM, 자기 광학 디스크, ROM, RAM, EPROM, EEPROM, 자기 또는 광학 디스크를 포함하는 임의 형태의 디스크, 또는 전자 인스트럭션을 저장하고 각각이 컴퓨터 시스템 버스에 결합하기에 적합한 임의 형태의 미디어와 같은 컴퓨터 판독가능한 저장 매체에 저장될 수도 있지만, 이에 한정되지는 않는다. 상기 기능적 및 구조적 설명에 근거하여 본 발명은 주문형 반도체(ASIC)를 포함하여 다양한 형태의 집적 회로로 용이하게 제조될 수 있음을 집적 회로 설계 및 비디오 코덱 기술 분야의 당업자는 이해할 것이다. 부가적으로, 본 발명은 다양한 형태의 비디오 코딩 장치 내에 일체로 구성될 수도 있다.

본 명세서에 제시된 알고리즘 및 연산은 본질적으로 임의의 특정한 컴퓨터나 다른 장치와 관련되지 않는다. 다양한 범용 시스템이 본 명세서에서의 교시에 따라서 프로그램과 함께 사용될 수도 있으며, 필요한 방법 단계들을 실행하기 위한 보다 특화된 기기를 제조하여 편의를 도모할 수도 있다. 다양한 이들 시스템을 위한 필요한 구조는, 균등물 변경과 더불어, 이 기술 분야에서의 당업자에게 이해될 것이다. 부가적으로, 본 발명은 특정한 임의의 프로그래밍 언어를 참조하여 기술된 것이 아니다. 본 명세서에 기재된 바와 같이 본 발명을 교시하는데 다양한 프 로그래밍 언어가 이용될 수 있으며, 특정 언어에 대한 모든 언급은 본 발명의 가능성과 최적 모드를 개시하기 위해 제공된 것임을 알아야 한다.

마지막으로, 본 명세서에서 사용된 언어는 주로 가독성 및 교육적인 목적으로 선택된 것이며, 본 발명의 주제를 대략적으로 기술하거나 제한하는 것이 아님을 알아야 한다. 따라서, 본 발명의 개시는 예시적인 것이며, 본 발명의 범위를 제한하는 것이 아니다.

Claims

제 1 질의에 대응하여 공지의 상위 랭크 질의를 자동으로 제시하는 방법으로서,

인덱싱된 질의의 정정 스코어를 상기 인덱싱된 질의에 관한 상기 제 1 질의의 정정 가능성 및 상기 인덱싱된 질의의 질의 랭크의 함수로써 산출하는 단계;

상기 정정 스코어에 대응하여, 상기 인덱싱된 질의를 상기 제 1 질의의 대체 질의로서 선택적으로 검색하는 단계; 및

공지의 상위 랭크 질의가 되는 상기 대체 질의에 대응하여, 상기 대체 질의를 정정 질의 후보로서 반환하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

공지의 상위 랭크 질의로 될 통계적으로 현저한 정정 가능성을 갖는 상기 대체 질의에 대응하여, 상기 공지의 상위 랭크 질의를 정정 질의 후보로서 반환하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 제 1 질의는 질의 정정인 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 함수는 상기 인덱싱된 질의에 관한 상기 제 1 질의의 정정 가능성과 상기 인덱싱된 질의의 질의 랭크의 곱인 것을 특징으로 하는 방법.
제 1 항에 있어서,

질의를 상기 공지의 상위 랭크 질의로서 식별하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 5 항에 있어서,

상기 질의의 질의 발생 빈도를 산출하는 단계;

상기 질의의 사용자 만족도 스코어를 산출하는 단계; 및

상기 질의의 랭크를 상기 질의 발생 빈도와 사용자 만족도 스코어의 함수로써 계산하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 6 항에 있어서,

상기 사용자 만족도 스코어는 검색 결과에 관한 클릭 길이를 추정하는 사용자 클릭 거동 데이터에 의해 결정되는 것을 특징으로 하는 방법.
제 6 항에 있어서,

상기 사용자 만족도 스코어는 역정정 빈도(inverse revision frequency)에 의해 결정되는 것을 특징으로 하는 방법.
제 8 항에 있어서,

상기 역정정 빈도는 상기 질의가 정정된 횟수를 상기 질의의 상기 질의 발생 빈도로 나눈 수의 역인 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 인덱싱된 질의를 포함하는 질의 인덱스를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 10 항에 있어서,

상기 인덱스는 상기 인덱스 내의 각 질의로부터 하나 이상의 공지의 상위 랭크 질의로의 포인터를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 정정 가능성은 상기 제 1 질의에 관한 상기 인덱싱된 질의의 거동 유사도(behavioral similarity)를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 정정 가능성은 상기 제 1 질의에 관한 상기 인덱싱된 질의의 의미적 유사도(semantic similarity)를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 정정 가능성은 상기 제 1 질의에 관한 상기 인덱싱된 질의의 통사적 유사도(syntactical similarity)를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

사용자 세션으로부터 생성된 질의 데이터를 로깅(logging)하는 단계; 및

상기 질의 인덱스를 생성하기 위해 상기 질의 데이터를 이용하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 정정 질의 후보의 상기 정정 스코어를 신뢰도로서 이용하여 상기 정정 질의 후보를 랭킹하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,

상기 정정 질의 후보를 상기 제 1 질의에 대하여 제시된 정정으로서 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 17 항에 있어서,

상기 제시된 정정은 상기 신뢰도의 상대적 길이에 따른 위치에서 사용자에게 표시되는 것을 특징으로 하는 방법.
제 1 질의에 대응하여 공지의 상위 랭크 질의를 자동으로 제시하는 방법으로서,

사용자 세션으로부터 생성된 질의 데이터를 로깅하는 단계;

상기 사용자 세션 동안 질의 인덱스를 생성하는 단계;

인덱싱된 질의의 정정 스코어를 상기 인덱싱된 질의에 관한 상기 제 1 질의의 정정 가능성 및 상기 인덱싱된 질의의 질의 랭크의 함수로써 산출하는 단계(여기서, 상기 정정 가능성은 상기 제 1 질의에 대한 상기 인덱싱된 질의의 유사도를 포함);

상기 정정 스코어에 대응하여, 상기 인덱싱된 질의를 상기 제 1 질의에 대한 대체 질의로서 선택적으로 검색하는 단계;

공지의 상위 랭크 질의로 되는 상기 대체 질의에 대응하여, 상기 대체 질의를 정정 질의 후보로서 반환하는 단계(여기서, 공지의 상위 랭크 질의를 식별하는 단계는, 질의의 질의 발생 빈도를 산출하는 단계, 검색 결과에 관한 클릭 길이를 추정하는 사용자 클릭 거동 데이터에 의해 결정되는 상기 질의의 사용자 만족도 스코어를 산출하는 단계, 및 상기 질의의 랭크를 상기 질의 발생 빈도와 상기 사용자 만족도 스코어의 곱으로써 계산하는 단계를 포함);

공지의 상위 랭크 질의로 될 통계적으로 현저한 정정 가능성을 갖는 상기 대체 질의에 대응하여, 상기 공지의 상위 랭크 질의를 정정 질의 후보로서 반환하는 단계;

상기 정정 질의 후보의 상기 정정 스코어를 신뢰도로서 사용하여 상기 정정 질의 후보를 랭킹하는 단계; 및

상기 신뢰도의 상대적 길이에 따른 위치에서 사용자에게 표시되는, 상기 제 1 질의의 제시된 정정으로서 상기 정정 질의 후보를 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
질의를 공지의 상위 랭크 질의로서 식별하는 방법으로서,

상기 질의의 질의 발생 빈도를 산출하는 단계;

상기 질의의 사용자 만족도 스코어를 산출하는 단계; 및

상기 질의의 질의 랭크를 상기 질의 발생 빈도와 상기 사용자 만족도 스코어를 사용하여 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
제 20 항에 있어서,

상기 질의 랭크가 다른 질의 랭크보다 더 높은지의 여부를 결정하기 위하여, 상기 질의의 질의 랭크를, 다른 질의와 관련된 다른 질의 랭크와 비교하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 20 항에 있어서,

상기 질의 발생 빈도는 단위 시간당 상기 질의의 빈도로서 산출되는 것을 특 징으로 하는 방법.
제 20 항에 있어서,

상기 사용자 만족도 스코어는 역정정 빈도에 근거하는 것을 특징으로 하는 것을 특징으로 하는 방법.
제 23 항에 있어서,

상기 역정정 빈도는 상기 질의가 정정된 횟수를 상기 질의의 상기 질의 발생 빈도로 나눈 수의 역인 것을 특징으로 하는 방법.
제 20 항에 있어서,

상기 사용자 만족도 스코어는 품질 스코어의 함수인 것을 특징으로 하는 방법.
제 25 항에 있어서,

상기 질의의 상기 품질 스코어는 검색 결과에 관한 클릭 길이를 추정하는 사용자 거동 데이터로부터 추정되는 것을 특징으로 하는 방법.
제 20 항에 있어서,

상기 질의 랭크는 상기 질의 발생 빈도와 상기 사용자 만족도 스코어의 함수 인 것을 특징으로 하는 방법.
제 20 항에 있어서,

상기 공지의 상위 랭크 질의는 정정 질의 후보로서 반환되는 것을 특징으로 하는 방법.
제 1 질의에 대응하여 공지의 상위 랭크 질의를 자동으로 제시하는 컴퓨터 프로그램 제품으로서,

컴퓨터 판독가능한 매체; 및

인덱싱된 질의의 정정 스코어를 상기 인덱싱된 질의에 관한 상기 제 1 질의의 정정 가능성과 상기 인덱싱된 질의의 질의 랭크의 함수로써 산출하는 단계, 상기 정정 스코어에 대응하여, 상기 제 1 질의에 대한 대체 질의로서 상기 인덱싱된 질의를 선택적으로 검색하는 단계, 및 공지의 상위 랭크 질의러 되는 상기 대체 질의에 대응하여, 상기 대체 질의를 정정 질의 후보로서 반환하는 단계를 실행하도록 상기 매체 상에 코딩되어 있는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
제 29 항에 있어서,

공지의 상위 랭크 질의로 될 통계적으로 현저한 정정 가능성을 갖는 상기 대체 질에 대응하여 상기 공지의 상위 랭크 질의를 정정 질의 후보로서 반환하는 단 계를 실행하도록 상기 매체 상에 코딩되어 있는 컴퓨터 프로그램 코드를 더 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
제 29 항에 있어서,

상기 정정 질의 후보의 상기 정정 스코어를 신뢰도로서 이용하여 상기 정정 질의 후보를 랭킹하는 단계를 실행하도록 상기 매체 상에 코딩되어 있는 컴퓨터 프로그램 코드를 더 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
질의를 공지의 상위 랭크 질의로서 식별하기 위한 컴퓨터 프로그램 제품으로서,

컴퓨터 판독가능한 매체; 및

상기 질의의 질의 발생 빈도를 산출하는 단계, 상기 질의의 사용자 만족도 스코어를 산출하는 단계, 및 상기 질의 발생 빈도와 상기 사용자 만족도 스코어를 이용하여 질의 랭크를 계산하는 단계를 실행하도록 상기 매체 상에 코딩되어 있는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
제 32 항에 있어서,

상기 사용자 만족도 스코어는 품질 스코어의 함수인 것을 특징으로 하는 컴퓨터 프로그램 제품.
제 32 항에 있어서,

상기 질의의 상기 질의 스코어는 검색 결과에 관한 클릭 길이를 추정하는 사용자 거동 데이터로부터 추정되는 것을 특징으로 하는 컴퓨터 프로그램 제품.
제 32 항에 있어서,

상기 질의 랭크는 상기 질의 발생 빈도와 상기 사용자 만족도 스코어의 함수인 것을 특징으로 하는 컴퓨터 프로그램 제품.
질의의 정정된 질의를 공지의 상위 랭크 질의로서 제공하는 시스템으로서,

인덱싱된 질의의 정정 스코어를, 상기 인덱싱된 질의에 관한 상기 제 1 질의의 정정 가능성과 상기 인덱싱된 질의의 질의 랭크의 함수로써 산출하는 수단;

상기 정정 스코어에 대응하여, 상기 인덱싱된 질의를 상기 제 1 질의에 대한 대체 질의로서 선택적으로 검색하는 수단; 및

공지의 상위 랭크 질의로 되는 상기 대체 질의에 대응하여, 상기 대체 질의를 정정 질의 후보로서 반환하는 수단을 포함하는 것을 특징으로 하는 시스템.
제 36 항에 있어서,

상기 공지의 상위 랭크 질의를, 공지의 상위 랭크 질의로 될 통계적으로 현저한 정정 가능성을 갖는 상기 대체 질의에 대응하여 정정 질의 후보로서 반환하는 수단을 더 포함하는 것을 특징으로 하는 시스템.
제 36 항에 있어서,

상기 정정 질의 후보의 상기 정정 스코어를 신뢰도로서 이용하여 상기 정정 질의 후보를 랭킹하는 수단을 더 포함하는 것을 특징으로 하는 시스템.
질의를 공지의 상위 랭크 질의로서 식별하기 위하여 정정된 질의를 제공하는 시스템으로서,

상기 질의의 질의 발생 빈도를 산출하는 수단;

상기 질의의 사용자 만족도 스코어를 산출하는 수단; 및

상기 질의 발생 빈도와 상기 사용자 만족도 스코어를 이용하여 질의 랭크를 계산하는 수단을 포함하는 것을 특징으로 하는 시스템.
제 39 항에 있어서,

상기 사용자 만족도 스코어는 품질 스코어의 함수인 것을 특징으로 하는 시스템.
제 39 항에 있어서,

상기 질의의 품질 스코어는 검색 결과에 관한 클릭 길이를 추정하는 사용자 거동 데이터로부터 추정되는 것을 특징으로 하는 시스템.
제 39 항에 있어서,

상기 질의 랭크는 상기 질의 발생 빈도와 상기 사용자 만족도 스코어의 함수인 것을 특징으로 하는 시스템.