KR101043640B1 - 복수의 질의 정정 모델의 통합 - Google Patents

Abstract

하나 이상의 질의 정정 전략을 각각 구현하는 복수의 다른 질의 정정부가 통합된 질의 정정 아키텍처를 포함하는 정보 검색 시스템을 개시한다. 정정 서버는 사용자의 질의를 수신하고, 또한 각각이 하나 이상의 잠재적인 정정된 질의를 생성하는 다양한 질의 정정부와 인터페이스 통신한다. 정정 서버는 잠재적인 정정된 질의를 평가하고, 이들 중 하나 이상을 선택하여 사용자에게 제공한다.

질의 정정 전략, 질의 정정부, 정보 검색 시스템, 잠재적인 정정된 질의, 갱신, 평가

Description

복수의 질의 정정 모델의 통합{INTEGRATION OF MULTIPLE QUERY REVISION MODELS}

본 발명은 일반적으로 정보 검색 시스템에 관한 것으로, 보다 구체적으로는 사용자 질의를 정정하기 위한 시스템 아키텍처에 관한 것이다.

인터넷 검색 엔진으로 예시되는 바와 같이, 정보 검색 시스템은 사용자의 질의와 일반적으로 관련되는 문서들을 일반적으로 신속히 제공할 수 있다. 질의에 대한 문서의 관련성을 판단하기 위하여, 검색 엔진은 문서들 사이와 용어들 사이에 연계와 더불어, 용어 및 문서 빈도의 다양한 통계적 수단을 이용할 수도 있다. 거의 대부분의 검색 엔진의 설계에 깔려있는 기본적인 기술적 가정은 사용자가 원하는 정보 목표를 사용자 질의가 정확하게 표현하고 있다는 것이다.

실제로, 전형적으로 사용자는 양질의 질의를 명확하게 나타내는데 어려움을 갖는다. 종종, 단일 질의는 원하는 결과를 제공하지 않으며, 사용자는 동일한 주제어에 관해 다른 많은 질의들을 빈번하게 입력하게 된다. 이들 복수의 질의들은 질의 용어의 폭 또는 특이성에서의 변화, 대상을 추측한 이름, 낱말들의 순서에서의 변화, 낱말들의 개수에서의 변화 등을 통상적으로 포함할 것이다. 다른 사용자들은 그들의 질의를 성공적으로 정정할 수 있는 폭넓은 변경 능력들을 가지고 있기 때문에, 질의 정정에 있어서의 다양한 자동화된 방법들이 제안되어 왔다.

가장 통상적으로, 질의 최적화(query refinement)는 보다 더 많은 일반적 질의로부터 더욱 정확한(즉, 더욱 좁혀진) 질의들을 자동으로 생성하는데 사용된다. 상위 결과들이 사용자의 정보 요구 사항과 관련된 문서의 수퍼세트(superset)를 포함하는 과도하게 광범위한 질의가 사용자에 의해 입력되었을 경우, 주로 질의 최적화가 유용하다. 예를 들어, 미쓰비시 갈란트 자동차에 관한 정보를 원하는 사용자는 "Mitsubishi" 질의를 입력할 수도 있으며, 이는 지나치게 광범위하여, 그 결과 자동차 회사뿐만 아니라 다른 많은 미쓰비시 회사들까지 포함하게 된다. 그러므로, 질의를 최적화하는 것이 바람직할 것이다(사용자의 구체적인 정보 요구 사항을 판단하는데 부가적인 문맥이 부족하기 때문에 여기에서는 곤란함).

그러나, 사용자가 지나치게 구체적인 질의들을 입력하는 경우, 올바른 정정이 질의를 넓히게 되는 경우, 또는 상위 결과들이 사용자의 정보 요구 사항과 관련없는 경우에 질의 최적화는 유용하지 않다. 예를 들어, "Mitsubishi Galant information" 질의는 "information"라는 용어 때문에 부족한 결과(이 경우, 미쓰비시 갈란트 자동차에 관한 너무 적은 결과들)를 초래하게 될 수도 있다. 이 경우, 올바른 정정은 "Mitsubishi Galant"로 질의를 넓히는 것이다. 그러므로, 어떤 상황에서는 질의 최적화가 효과가 있는 반면, 그 밖의 질의 정정 기법을 이용하여서 사용자의 정보 요구 사항이 최상으로 적합하게 되는 많은 상황들이 있다.

다른 질의 정정 전략에서는 사용자의 잠재적인 정보 요구 사항을 포착하기 위해 질의를 확장할 수 있도록 동의어 리스트 또는 백과 사전을 이용한다. 그러나, 질의 최적화에서와 같이, 질의 확장이 질의를 정정하기 위한 항상 적절한 방식인 것은 아니며, 결과 품질이 질의 용어의 문맥에 매우 의존한다.

모든 경우에 하나의 질의 정정 기법이 원하는 결과를 제공할 수는 없기 때문에, 다수의 서로 다른 질의 정정 방법(또는 전략)을 제공하는 방법론을 구비하는 것이 바람직하다.

정보 검색 시스템은, 하나 이상의 질의 정정부(reviser)를 제공하며 각각이 자체 질의 정정 전략을 실시하는 질의 정정 아키텍처를 포함한다. 각 질의 정정부는 사용자 질의의 하나 이상의 잠재적인 정정된 질의들을 판단하기 위해 사용자 질의를 평가한다. 정정 서버는 잠재적인 정정된 질의들을 획득하기 위해 질의 정정부와 상호 작용한다. 또한, 각각의 잠재적인 정정된 질의에 대하여 검색 결과 세트를 획득하기 위해, 정정 서버는 정보 검색 시스템 내의 검색 엔진과 상호 작용한다. 정정 서버는 선택된 정정된 질의 각각에 대한 검색 결과 서브세트와 더불어, 사용자에게 프레젠테이션하기 위해 하나 이상의 정정된 질의들을 선택한다. 그러므로, 사용자는 정정된 질의들에 대한 검색 결과의 품질을 관찰한 후, 정정 질의에 대한 검색 결과 전체 세트를 획득하기 위해 정정된 질의들 중 하나를 선택할 수 있다.

이하, 본 발명의 다양한 도면, 다이어그램, 및 기술 정보에 대하여 설명한다. 도면들은 도시만을 목적으로 본 발명의 다양한 실시예를 나타낸다. 이하의 논의로부터, 본 발명의 원리에서 벗어나지 않고, 도시되고 설명되는 구조, 방법, 및 기능들의 대체 실시예가 채용될 수 있음을 이 기술분야의 당업자는 쉽게 이해할 것이다.

도 1a는 질의 정정을 제공하는 정보 검색 시스템의 일 실시예의 전체 시스템의 다이아그램.

도 1b는 다른 정보 검색 시스템의 전체 시스템 다이아그램.

도 2는 원래의 사용자 질의에 대한 표본으로서의 결과 페이지를 나타낸 도면.

도 3은 표본으로서의 정정된 질의의 페이지를 나타낸 도면.

시스템 개요

도 1a는 본 발명의 일 실시예에 따른 시스템(100)을 나타낸다. 시스템(100)은 프런트-엔드 서버(102), 검색 엔진(104)과 해당 콘텐츠 서버(106), 정정 서버(107), 및 하나 이상의 질의 정정부(108)를 포함한다. 운용 중에, 사용자는 임의 형태의 클라이언트 컴퓨팅 장치에서 동작하는, 예를 들어, 브라우저 애플리케이션이나 인터넷 관련 프로토콜(예를 들어, TCP/IP와 HTTP)을 통하여 통신하기 위해 채택된 다른 애플리케이션을 실행하는, 네트워크(인터넷 등, 도시 생략) 상의 종래의 클라이언트(118)를 경유하여 시스템(100)에 액세스한다. 단일의 클라이언트(118) 만을 나타내었지만, 시스템(100)은 많은 클라이언트를 갖는 상당히 많은 공동 세션을 지원할 수 있다. 일 실시예에서, 시스템(100)은 고성능 서버급 컴퓨터상에서 운용되고, 클라이언트 장치(118)는 임의 형태의 컴퓨팅 장치가 될 수 있다. 서버와 클라이언트 컴퓨터의 하드웨어적인 측면의 상세는 이 기술분야에서의 당업자에게 잘 알려져 있으므로, 여기서는 더 이상 설명하지 않는다.

프런트-엔드 서버(102)는 클라이언트(118)에 의해 제출된 검색 질의의 수신을 담당한다. 프런트-엔드 서버(102)는 검색 엔진(104)에 질의를 제공하여, 이 검색 질의에 따른 검색 결과 세트를 검색하기 위해 이 질의를 평가하고, 프런트-엔드 서버(102)에 이 결과를 반송한다. 검색 엔진(104)은 하나 이상의 콘텐츠 서버(106)와 통신하여 사용자의 검색 질의에 적합한 복수의 문서를 선택한다. 콘텐츠 서버(106)는 다른 웹사이트로부터 인덱싱된(및/또는 검색된) 상당수의 문서들을 저장한다. 콘텐츠 서버(106)는 다양한 웹사이트 상에 저장된 문서들의 인덱스를 선택적, 또는 부가적으로 저장한다. 여기서 "문서"란 임의 텍스트 또는 그래픽 포맷, 이미지, 비디오, 오디오, 멀티미디어, 프레젠테이션, 웹 페이지(이는 내장된 하이퍼링크 및 그 밖의 메타 데이터, 및/또는 프로그램, 예를 들어, 자바스크립트 형식을 포함할 수 있음) 등의 원문을 포함하여, 임의 형태의 인덱싱 가능한 콘텐츠가 될 수 있는 것으로 이해한다. 일 실시예에서, 각 인덱싱된 문서에는 문서의 링크 구조에 따른 페이지 랭크가 할당된다. 페이지 랭크는 문서 중요도에 대한 질의 독립적인 값으로서 기능을 한다. 페이지 랭크의 예시적인 형태가 미국 특허 제6,285,999호에 기재되어 있으며, 본 명세서에 참고로 포함한다. 검색 엔진(104)은 문서의 페이지 랭크(및/또는 그 밖의 질의에 무관한 문서 중요도)에 근거하여 각 문서뿐만 아니라, 문서 중요도에 대한 하나 이상의 질의 의존적 신호(예를 들어, 문서에서의 검색 용어의 위치 및 빈도)에 대하여 스코어(score)를 할당한다.

프런트-엔드 서버(102)는 또한 정정 서버(107)에 이 질의를 제공한다. 정정 서버(107)는 하나 이상의 질의 정정부(108)와 상호 작용하며, 이들 정정부 각각은 다른 질의 정정 전략 또는 전략 세트를 실시한다. 일 실시예에서, 질의 정정부(108)는 확대 정정부(108.1)와, 구문적 정정부(108.2)와, 최적화 정정부(108.3), 및 세션 기반 정정부(108.4)를 포함한다. 정정 서버(107)는 각 정정부(108)에 질의를 제공하고, 하나 이상의 잠재적인 정정된 질의(여기서 "잠재적인(potential)"으로 불리는 이유는, 이 시점에서 이들이 정정 서버(107)에 의해 채용되어 있지 않기 때문임)인 각 정정부(108)로부터의 응답을 획득한다. 질의 정정부(108)의 열등한 실행을 제거하고, 이후에 임의로 추가될 새로운 질의 정정부(108)를 위해서, 시스템 아키텍처는 사용될 임의의 수의 다른 질의 정정부(108)(포괄적 정정부(108.n)으로 표시)를 허용하도록 구체적으로 설계된다. 이는 시스템(100)이 특정한 유연성을 갖게 하고, 또한 구체적인 주제 도메인(예를 들어, 의약, 법률 등과 같은 도메인에서 사용하기 위한 정정부), 기업(내부 정보 검색 시스템을 위한 특정한 상업 분야 또는 법인 도메인에 특정한 정정부), 또는 다른 언어(예를 들어, 특정한 언어나 방언을 위한 정정부)에 대해 커스터마이징(customize) 및 채택될 수 있도록 한다.

바람직하게는, 각 정정된 질의는 정정이 양질의 정정이 되는, 즉 정정된 질의가 원래의 질의보다 사용자의 정보 요구 사항에 더 적합한 결과가 생성될 가능성을 나타내는 신뢰도와 관련된다. 그러므로, 각 잠재적인 정정된 질의는 튜플(Ri, Ci)에 의해 나타내어질 수 있으며, 여기서 R은 잠재적인 정정된 질의이고, C는 정정된 질의와 관련된 신뢰도이다. 일 실시예에서, 이들 신뢰도는 각각의 정정부(108)의 각 정정 전략에 대해 사전에 수동으로 추정된다. 이 값들은 테스트 하의 샘플 질의와 정정된 질의의 결과 분석으로부터 도출될 수 있다. 예를 들어, 최적화 정정부(108.3)는 원래의 짧은 질의(예를 들면, 세 개 이하의 용어)로부터의 정정된 질의에 대해서는 높은 신뢰도를 할당하고, 원래의 긴 질의(네 개 이상의 용어)로부터의 정정된 질의에 대해서는 낮은 신뢰도를 할당할 수 있다. 이들 할당은, 짧은 질의에 용어를 추가하는 것이 기초가 되는 정보 요구에 대한 질의의 관련도를 현저하게 향상시키는 경향을 나타낸다는 실험적인 평가에 기초하고 있다(즉, 짧은 질의는 지나치게 넓어질 가능성이 있고, 이와 같은 질의에 대한 최적화는 더 좁고 더 관련이 있는 결과 세트에 수렴할 가능성이 있다). 반대로, 확대 정정부(108.1)는 긴 질의로부터 하나 이상의 용어를 잘라 낸, 또는 동의어를 덧붙인 정정된 질의에 대해서 높은 신뢰도를 할당할 수도 있다. 그 밖의 실시예에서, 하나 이상의 정정부(108)가 하나 이상의 그것의 잠재적인 정정된 질의에 대하여 신뢰도(예를 들어, 런 타임에서)를 동적으로 생성할 수도 있다. 이와 같은 실시예는 도 1b와 관련하여 이하에서 더욱 상세하게 설명된다. 신뢰도의 할당은 그 밖의 컴포넌트(예를 들어, 정정 서버(107))에 의해 실행될 수도 있으며, 질의 종속적 및 질의 독립적 데이터 모두를 고려할 수도 있다.

정정 서버(107)는 하나 이상(또는 전체)의 잠재적인 정정된 질의를 선택할 수 있으며, 이들을 검색 엔진(104)에 제공할 수 있다. 검색 엔진(104)은 통상의 질의와 동일한 방법으로 정정된 질의를 처리하고, 제출된 각 정정된 질의의 결과를 정정 서버(107)에 제공한다. 정정 서버(107)는 각 정정된 질의의 결과를 평가하고, 동시에 정정된 질의에 대한 결과를 원래의 질의에 대한 결과와 비교하는 것을 포함한다. 정정 서버(107)는 그런 다음, 이하에 설명하는 바와 같이, 최적의 정정된 질의일 것 같은 하나 이상의 정정된 질의(또는, 적어도 원래의 질의에 적합한 정정된 질의)를 선택할 수 있다.

정정 서버(107)는 모든 잠재적인 정정된 질의 R을 수신하고, 이들의 관련 신뢰도 C에 의해 가장 높은 신뢰도로부터 가장 낮은 신뢰도로 이들을 정렬시킨다. 정정 서버(107)는 잠재적인 정정된 질의의 정렬된 리스트를 처음부터 끝까지 반복하고, 각 잠재적인 정정된 질의를 검색 엔진(104)에 보내어 검색 결과 세트를 획득한다(또는, 정정 서버(107)는 먼저, 예를 들어, 임계값 레벨 이상의 신뢰도를 갖는 잠재적인 정정된 질의의 서브세트를 선택할 수도 있음). 몇몇 경우에, 최상의 검색 결과는 정정 전략을 실행하면서 또는 신뢰도 평가할 때 이미 패치 되었을 수도 있으며(예를 들어, 정정부(108) 또는 정정 서버(107)에 의해), 이 경우 정정 서버(107)는 이렇게 획득된 검색 결과를 이용할 수 있다.

각 잠재적인 정정된 질의에 대하여, 정정 서버(107)는 잠재적인 정정된 질의를 선택할지 또는 무시할지를 결정한다. 선택은 정정된 질의에 대한 상위 N개의 검색 결과를 독립적으로 및 원래의 질의의 검색 결과 모두 대한 평가에 따라 결정된다. 일반적으로, 정정된 질의는 원래의 질의보다 사용자의 정보 요구 사항을 더 정확하게 반영할 것 같은 검색 결과를 생성해야 한다. 원할 경우 많거나 적은 결과를 처리할 수 있지만, 전형적으로 상위 10개의 결과가 평가된다.

일 실시예에서, 이하의 조건이 유지되면 잠재적인 정정된 질의가 선택된다.

i) 정정된 질의는 적어도 최소수의 검색 결과를 생성한다. 예를 들어, 이 파라미터를 1로 설정하는 것은 검색 결과가 없는 모든(및 유일한) 정정을 무시하게 된다. 허용가능한 최소수의 결과의 일반적인 범위는 1에서 100이다.

ii) 정정된 질의는 최소수의 "신규" 결과를 정정의 상위 결과 내에 생성한다. 원래의 질의 또는 이전에 선택된 정정된 질의의 상위 결과에 발생하지도 않은 경우의 결과를 "신규"라 한다. 예를 들어, 이 파라미터를 2로 설정하는 것은 이전에 선택한 임의의 정정된 질의의 상위 결과 또는 원래의 질의의 상위 결과에 발생하지 않은 적어도 두 개의 상위 결과를 갖도록 각각의 선택된 정정을 요구하게 될 것이다. 이러한 제약은, 선택된 정정에서 다양한 결과가 존재하며, 적어도 하나의 정정이 유용하다고 판명될 기회를 최대화하는 것을 보장한다. 예를 들어, 도 3에서 알 수 있는 바와 같이, 각 정정된 질의에 대한 상위 3개의 결과(304)는 그 밖의 결과 세트와 구별된다. 이는 사용자가 정정된 질의에 매우 적합한 검색 결과를 폭넓게 조사하게 한다.

iii) 최대수의 정정된 질의는 아직 선택되지 않았다. 즉, 최대수의 정정된 질의가 이미 선택되었을 경우, 그러면 남아있는 모든 정정된 질의는 무시된다. 일 실시예에서, 최대수의 정정된 질의는 4에 설정되어 있다. 다른 실시예에서, 최대수의 정정된 질의는 2와 10 사이에서 설정된다.

상술한 선택 파라미터의 결과는 정정된 질의 페이지(300)에 포함될 선택된 정정된 질의 세트이다. 이전에 논의된 바와 같이, 정정 서버(107)는 이 페이지로의 링크를 형성하고, 이 링크를 프런트-엔드 서버(102)에 제공한다. 정정 서버(107)는 정정된 질의 페이지(300) 상에 정정된 질의의 순서 및 레이아웃을 결정한다. 정정된 질의는 그들의 신뢰도의 순서(가장 높은 것에서 가장 낮은 것으로)로 리스팅 되는 것이 바람직하다.

프런트-엔드 서버(102)는 제공된 링크를 검색 결과 페이지에 포함시키고, 그런 다음 이를 클라이언트(118)에 전송한다. 그러면 사용자는 원래의 질의에 대하여 검색 결과를 재검토할 수 있거나, 정정된 질의 페이지에 대한 링크를 선택할 수 있으며, 이로써 선택된 정정된 질의와 이들의 관련 결과를 볼 수 있다.

정정된 질의의 프레젠테이션

도 2는 클라이언트(118)에 제공되는 결과 페이지(200) 샘플을 나타낸다. 이 간단한 실시예에서, 검색 결과 페이지(200)는 [sheets]의 원래의 질의(202)를 이 질의에 대한 결과(204)와 함께 포함한다. 정정된 질의 세트에 대한 링크(206)는 페이지(200) 아랫부분에 포함된다. 그러면 사용자는 링크(206)를 클릭하여 정정된 질의 페이지를 액세스할 수 있다. 도 3은 페이지(300) 예를 나타낸다. 여기서, 정정된 질의 [linens], [bedding], 및 [bed sheets] 각각에 대해 정정된 질의 링크(302.1, 302.2, 302.3)로 나타낸 바와 같이, 상위 3개의 정정된 질의가 제시된다. 각 정정된 질의 링크(302) 아래에는 그 질의에 대한 상위 3개의 검색 결과(304)가 있다.

정정된 질의를 원래 결과 페이지(200)로부터 별개의 페이지(300)에 제공하는 것은 다양한 이점이 있다. 먼저, 화면 영역은 제한된 자원이므로 정정된 질의는 이들만으로 리스팅(이들의 결과와 관련된 미리 보기 없이)되는 것은 가능은 하지만, 사용자가 이들의 결과 문맥 내에서 정정된 질의를 알지 못하므로 바람직하지는 않다. 정정된 질의를 별개의 페이지(300) 상에 배치함으로써, 사용자는 최적의 정정된 질의와 이들의 관련 상위 결과를 알 수 있게 되며, 사용자는 어떤 정정된 질의가 그들의 정보 요구 사항에 최적으로 맞도록 나타내는지를 선택하는 것이 가능하게 되고, 그 후에 정정된 질의 자체를 선택한다. 원래의 질의와 정정된 질의 모두를 단일(길지만) 페이지 상에 포함시키는 것이 가능하지만, 이러한 접근법은 사용자가 모든 정정된 질의를 검토하기 위해 페이지를 스크롤 다운할 필요가 있거나, 페이지의 초기 가시 부분이 흐트러지게 된다. 그 대신에, 도 2 및 도 3에 도시된 바람직한 실시예에서, 사용자는 질의 정정과 관련된 결과들을 보고, 각 정정된 질의 링크(302)를 클릭하여, 선택된 정정된 질의에 대한 전체 검색 결과 세트를 액세스할 수 있다. 많은 경우에 있어서, 이러한 접근법은 검색 결과를 획득하기 위해 정정된 질의를 자동으로 이용하고 사용자에게 이들을 자동으로 나타내는 것이 또한 바람직하다(예를 들어, 사용자의 선택 또는 상호 작용 없이). 또한, 이 접근법은 최적의 잠재적인 정정을 보이게 함으로써, 사용자에게 더 나은 질의를 생성하는 방법을 간접적으로 교시하는 부가적인 이점을 갖는다. 다른 실시예에서, 정정 서버(107)는 질의 정정이 원래 결과 페이지(200) 상, 예를 들어, 별개의 윈도 또는 원래 결과 페이지(200) 내에 보이도록 강제할 수 있다.

사용자가 정정을 잘 이해할 수 있도록 질의 정정에 대한 부가 정보(예를 들어, 검색 결과(304))를 표시하는 방법이 메인 결과 페이지(200) 상에 이용될 수도 있다. 이는 철자를 고치는 정정의 경우와 같은 매우 고품질의 단일 정정된 질의(또는 소수의 매우 고품질의 정정)가 있는 경우에 특히 유용하다. 철자 교정 제시가 양호한 것인지의 여부를 사용자가 판단할 수 있도록, 철자가 고쳐진 정정된 질의는 제목, URL, 및 상위 결과 중 단편(snippet)과 같은 부가 정보와 함께, 결과 페이지(200) 상에 나타낼 수 있다.

다른 실시예에서, 정정 서버(107)는 질의 정정을 나타낼 지의 여부를 어떻게든 결정하기 위해 신뢰도를 이용하며, 나타내는 것으로 판단될 경우, 정정 또는 그곳으로의 링크를 배치하여 어떻게 눈에 띄게 할지를 결정한다. 이 실시예에 대해서 이하 설명한다.

질의 정정부

도 1a를 다시 참조하여, 다양한 질의 정정부(108a)를 설명한다. 확대 정정부(108.1)는 원래의 질의의 범위를 효과적으로 확대하는 하나 이상의 정정된 질의를 생성한다. 이들 정정은 원래의 질의가 지나치게 좁은 경우에 특히 유용하다. 확대 정정부(108.1)에서 사용될 수 있는 몇 가지 다른 전략이 있다.

첫번째로, 본 정정부(108.1)는 동의어 및 관련된 용어를 분리어(disjunct)로서 추가함으로써, 질의를 확대할 수 있다. 질의는 종종 지나치게 구체적인데, 그 이유는 사용자가 일반적인 개념을 설명하는데 특정한 단어를 선택하는 경향이 있기 때문이다. 관심이 있는 문서가 상기 단어를 포함하지 않는 경우에, 사용자의 정보 요구 사항은 이행되지 않은 채로 남아있게 된다. 동의어를 분리어로서 덧붙이는 질의 정정은 질의를 넓힐 수 있고, 또한 원하는 문서를 결과 세트에 가져올 수 있다. 마찬가지로, 가끔은, 실제의 동의어가 아니라, 관련된 단어를 분리어로서 덧붙이는 것이 유용하다. 본 발명에서는 관련된 용어, 동의어, 동의어 사전 또는 사전 등과 같은 질의를 확대하는 어떠한 적절한 방법도 사용할 수 있다. 질의를 확대하기 위한 하나의 방법은, 참조에 의해서 본원에 합체되며, 2005 년 3 월 30 일자로 출원한 발명의 명칭이 "질의 문맥 내에서의 질의 용어의 동의어의 결정"("Determining Query Term Synonyms Within Query Context")인 미국 특허 출원 일련 번호 11/xxx,xxx 호에 개시되어 있다.

두번째로, 본 정정부(108.1)는 하나 이상의 질의 용어를 잘라내는 것에 의해서 질의를 확대할 수 있다. 상술한 예에서 나타낸 바와 같이, 가끔 질의 용어("Mitsubishi Gallant information"이라는 예시적인 질의에서의 "information"과 같은)를 잘라내는 것에 의해서, 양호한 질의 정정을 얻을 수 있다. 이 접근법에서, 확대 정정부(108.1)는, 질의 중의 어떤 용어가 존재하는 경우에 이들이 존재하지 않는 경우에 비해서 검색 결과를 현저하게 향상시키지 못하는 질의를 중요하지 않은 질의로 판정한다. 검색 목적에 중요하지 않는 용어를 식별하기 위한 기법은, 참조에 의해서 본원에 합체되며, 2005 년 3 월 28 일자로 출원한 발명의 명칭이 "관련성이 거의 없는 질의 용어의 결정"("Determining Query Terms of Little Significance")인 미국 특허 출원 일련 번호 11/xxx,xxx 호에 개시되어 있다. 이와 같은 기법의 결과는 중요하지 않은 용어를 잘라냄으로써 질의를 정정하는데 사용될 수 있다.

구문적 정정부(108.2)는 원래의 질의에 대해 다양한 종류의 구문적 변경을 행함으로써 질의를 정정할 수 있다. 이들 다양한 종류에는 다음과 같은 정정 전략이 포함된다.

원래의 질의 내의 모든 인용 부호는, 있다면 제거한다. 인용 부호 내의 질의는 검색 엔진(104)에 의해서 단일 리터럴(literal)로서 처리되며, 이때 검색 엔진은 전체 질의 스트링(string)을 갖는 문서만을 반환한다. 이 정정은, 검색 엔진(104)으로 하여금 임의의 질의 용어에 대한 문서의 전체적인 관련성에 기초하여 문서들을 반환하도록 함으로써 검색 결과의 개수를 증가시킨다.

전체 질의의 주위에 인용 부호를 덧붙인다. 일부의 경우에 있어서, 질의를 완전한 구문(phrase)으로 처리할 때 더욱 바람직하다.

실제 구문일 가능성이 있는 질의 n-gram(질의 내의 연속적인 용어의 일부 개수) 주위에 인용 부호를 덧붙인다. 질의 내의 n-gram의 식별은 다음과 같은 다양한 소스를 사용하여 이루어질 수 있다.

A) 공통적인 구문을 수작업으로 작성한 사전.

B) 빈도 데이터로부터 구축된 구문 목록. 여기에서, 구문은 통계적으로 상당한 빈도를 갖고 함께 발생하는 연쇄적인 용어에 기초하여 식별된다. 예를 들면, 양호한 bi-gram[t1 t2]은 [t1]가 [t2] 모두 함께 하나의 문서 내에 있는 경우에, 무작위적인 가능성보다는 더 높은 가능성으로, 이들은 bi-gram[t1 t2]으로 나타나는 속성을 가진다. 구문 목록을 구축하기 위한 하나의 방법은, 참조에 의해서 본원에 합체되며, 2004 년 7 월 26 일자로 출원한 발명의 명칭이 "정보 검색 시스템에서의 구문의 식별"("Phrase Identification in an Information Retrieval System")인 미국 특허 출원 일련 번호 10/900,021 호에 개시되어 있다.

C) 공통적인 성(姓)과 이름[名]의 목록(예를 들면, 인구 통계 조사 데이터 또는 다른 임의의 소스로부터 입수된 것). 구문적 정정부(108.2)는 연속적으로 짝을 이루는 각각의 질의 용어 [t1 t2]에 대해서, [t1]이 공통적인 이름(first name) 목록 내에 포함되어 있는지, 및 [t2]가 공통적인 이름(last name) 목록 내에 포함되어 있는지를 판별한다. 포함되어 있다면, 질의 [t1 t2] 내의 일부분(subportion)은 인용 부호 표시 내에 위치하여, 잠재적인 정정된 질의를 형성한다.

공통적인 문제는 정지어(stopword)를 질의 중에 사용하는 것이다. 랭킹(ranking) 알고리즘은 빈번하게 나타나는 용어, 예를 들면, "the", "a", "an", "to" 등의 용어를 일반적으로 무시한다. 일부의 경우에 있어서, 이들은 질의 내에서 실제로는 중요한 용어이다("to be or not to be"와 같은 질의를 고려해 볼 것). 따라서, 구문적 정정부(108.2)는 "+" 연산자(또는 유사한 연산자)를 사용하여 질의 중에 이들이 존재할 때마다 이와 같은 용어를 강제로 포함하도록 하는 다수의 정정된 질의를 생성하기도 한다. 예를 들면, 질의 [the link]에 대해서, [+the link]를 제안할 수 있다.

구두점 및 다른 기호를 잘라낸다. 사용자들은 종종 구두점 또는 다른 통사(기호(symbon)와 같은)를 덧붙여서 질의의 의미를 변경한다. 이렇게 하는 대부 분의 사용자는 비의도적이기 때문에, 구문적 정정부(108.2)는 구두점 및 다른 유사한 통사가 존재할 때마다 이들을 잘라냄으로써 정정된 질의도 생성한다. 예를 들면, 질의 [rear window+ movie]에 대해서, 구문적 정정부는 질의 [rear window movie]를 생성하며, 이는 검색 엔진(104)이 어떠한 결과도 만들어낼 것 같지 않은 연쇄적인 문자인 "window+"에 대해 검색하는 것을 방지한다.

최적화 정정부(108.3)는 사용자의 잠재적인 정보 요구 사항을 더욱 구체적으로 설명하도록 질의를, 최적화하는, 즉 좁히는 임의의 적절한 방법을 사용할 수 있다. 일 실시예에서, 최적화 정정부(108.3)는 검색 질의의 용어 벡터 표현과, 이들 각각의 검색 결과와 이미 연관되어 있고 또한 가중치가 부여된 공지의 검색 질의의 용어 벡터(term vector)를 비교함으로써 질의 정정을 생성한다. 가장 가까운 벡터를 갖는 공지의 검색 질의(또는 질의들)는 잠재적인 정정된 질의로 선택된다.

더욱 구체적으로, 일 실시예에서, 최적화 정정부(108.3)는 다음과 같이 동작한다. 최적화 정정부(108.3)는 사용자의 원래의 질의를 사용하여 검색 엔진(104)으로부터 선택된 숫자의 검색 결과(예를 들면, 상위 100 개의 결과)를 획득한다. 최적화 정정부(108.3)는 기존의 데이터베이스에 접근하여 검색 결과 내의 문서에 포함되어 있는 하나 이상의 이미 사용된 검색 질의와 함께 이들 문서 각각과 일치시킨다. 기존의 데이터베이스는 검색 질의와 관련된 문서를 저장하고 있으며, 여기에서 질의와 문서의 관련은 특정 문서에 대한 질의의 관련도 스코어(score)에 의해서 가중치가 부여되어 있다.

두번째로, 최적화 정정부(108.3)는, 일치된 저장된 질의의 용어 및 대응하는 가중치로부터 형성된 용어 벡터에 기초하여, 클러스터링 알고리즘을 사용하여 검색 결과 문서의 클러스터(cluster)를 형성한다. 용어 벡터는,각각의 차원이 용어에 대응하고 있는 단위 길이의 정규화된 다차원 벡터로서, 개별적인 단어 또는 단어 조합일 수 있다. 클러스터는 일치된 저장된 문서에 대응하는 원래의 검색 문서의 관련도 스코어 및 각각의 클러스터 내에서 나타나는 저장된 문서의 수에 기초하여 랭크(rank)된다. 잠재적인 최적화 클러스터로서는 가장 높게 랭크된 클러스터가 선택된다. 클러스터는, 참조에 의해서 본원에 합체되며, 이. 라스무센(E. Rasmussen)이 "Information Retrieval"(W. Frakes & R. Baeza-Yates eds. 92)에서 "Clustering Algorithm"으로 기술한 바와 같이, 계층적 집괴성 클러스터링 알고리즘(hierarchical agglomerative clustering algorithm)과 같은 다양한 클러스터링 알고리즘을 사용하여 형성될 수 있다.

세번째로, 최적화 정정부(108.3)는 잠재적인 최적화 클러스터의 각각에 대한 클러스터 중심(centroid)을 계산한다. 최적화 정정부(108.3)는 이후에 각각의 클러스터가 잠재적인 정정된 질의인지를 판단한다. 주어진 최적화 클러스터에 있어서, 클러스터 내의 문서와 관련되어 이미 저장된 검색 질의의 각각에 대해서, 최적화 정정부(108.3)는 클러스터 중심에 대한 용어 벡터 거리 및 검색 질의가 관련되어 있는 저장된 문서의 수에 기초하여 저장된 검색 질의의 스코어(score)를 매긴다. 잠재적인 최적화 클러스터의 각각에 있어서, 가장 높은 스코어가 매겨진 이전에 저장된 질의가 잠재적인 정정된 질의로 선택된다.

최종적으로, 최적화 정정부(108.3)는 정정 서버(107)에 선택된 정정된 최적화된 질의를 제공한다. 적절한 하나의 최적화 정정부에 대한 상세는, 참조에 의해서 본원에 합체되며, 2003 년 9 월 22 일자로 출원한 발명의 명칭이 "검색 질의의 최적화를 제공하기 위한 시스템 및 방법"("System and Method for Providing Search Query Refinements")인 미국 특허 출원 일련 번호 10/668,721 호에 구체적으로 기술되어 있다.

세션(session) 기반 정정부(108.4)는 다른 사용자가 과거에 한 변동을 분석한 것에 기초하여 사용자의 잠재적인 정보 요구 사항을 더욱 정확하게 잡아내도록 세션 기반의 사용자 데이터를 사용하는 임의의 적절한 방법을 사용할 수 있다. 일 실시예에서, 세션 기반 정정부(108.4)는 다양한 개별적인 사용자 세션으로부터 수집된 클릭 데이터(click data)에 기초하여 하나 이상의 정정된 질의를 제공한다. 먼저, 세션 기반 정정부(108.4)에 의해서 생성된 두 개의 표(table)를 사용하여 짝을 이루는 질의에 대한 발생 빈도를 계산한다. 짝을 이루는 질의는 단일한 사용자 세션에서 발생하는 연쇄적인 두 개의, 예를 들면, 제 1 질의가 [sheets]이고, 이어서 제 2 질의가 [linens] 또는 제 2 질의가 [silk sheet]인 질의이다. 반복하여 나타나는 개별적인 질의의 제 1 표는, 예를 들면, 도 1b의 로그 파일(110)에 저장된 사용자의 세션 질의 데이터로부터 생성된다. 일 실시예에서, 반복하여 나타나는 질의는 최소 빈도로, 예를 들면, 하루에 일회 출현한다. 반복하여 나타나는 짝을 이루는 질의의 제 2 표는 마찬가지로 도 1b의 로그 파일(110)로부터 생성되며, 각각의 짝을 이루는 질의는 제 1 질의와 이에 뒤따르는 제 2 질의를 포함하고 있다. 이들 두 개의 표로부터, 짝을 이루는 질의의 각각의 발생 빈도는 제 1 표 내의 제 1 질의에 대한 출현 개수(count)의 분수로 계산된다. 예를 들면, 제 1 질의 [sheets]가 100 번 출현하고, 이어서, 제 2 질의 [linens]가 100 번 중 30 번 출현한다면, 이 짝을 이루는 질의 [sheets, linens]의 발생 빈도는, 제 1 질의에 대한 출현 개수의 분수로서, 30/100, 또는 30 %가 된다. 임의의 주어진 제 1 질의에 대해서, 발생 빈도가 특정한 임계값을 넘는 경우에, 제 1 질의에 대해서 정정 후보(candidate revision)로서 제 2 질의와 함께, 짝을 이루는 질의가 유지된다. 일 실시예에서, 임계값은 1 %이다.

정정된 질의의 후보에 대해서, 짝(pair) 내의 제 1 질의에 대해서 짝을 이루는 질의 내의 제 2 질의의 품질의 향상은 사용자의 클릭 데이터로부터 세션 기반 정정부(108.4)에 의해서 생성된 두 개의 추가적인 표를 사용하여 계산된다. 품질 스코어(quality score) 표는 짝 내의 질의의 각각에 대해서 생성된다. 이 표로부터, 짝 내의 제 1 질의에 대해서 짝을 이루는 제 2 질의의 품질에서의, 향상이 있다면, 향상이 계산된다.

일 실시예에서, 품질 스코어는 클릭 거동 데이터(click behavior data)로부터 사용자의 만족도를 추정하는 것에 의해서 판정된다. 품질 스코어를 판정하기 위한 이와 같은 방법 중의 하나는, 참조에 의해서 본원에 합체되며, 2004 년 6 월 28 일자로 출원한 발명의 명칭이 "상호 작용 프로파일을 유도하고 사용하는 시스템 및 방법"("Systems and Methods for Deriving and Using an Interaction Profile")인 미국 특허 출원 일련 번호 10/878,926 호에서 설명되어 있는 바와 같이, 상호 작용 프로파일(interaction profile)을 사용하는 것이다.

일 실시예에서, 품질 스코어 계산은, 예를 들면, 로그 파일(110) 내에 저장된 사용자의 클릭 데이터에 기초한다. 품질 스코어는 검색 결과 중의 제 1 클릭의 추정된 지속(estimated duration)에 기초한다. 일 실시예에서, 특정한 클릭의 지속은 제 1 및 후속하는 클릭이 발생한 시간으로부터 추정되며, 이는 다른 사용자의 세션 질의 데이터와 함께, 예를 들면, 도 1b의 로그 파일(110) 내에 저장될 수 있다. 스코어를 매기는 것은 클릭이 없는 검색 결과에는 0의 스코어를 할당하고, 이어서 제 1 클릭과 후속하는 클릭 사이에서의 지속에 적용되는 S 곡선(S-curve)을 따라서 진행하며, 더 긴 클릭은 1의 품질 스코어에 접근한다. 일 실시예에서, 20 초는 0.1에 대응하고, 40 초는 0.5에 대응하며, 60 초는 0.9에 대응한다. 무관한 콘텐츠, 예를 들면, 배너 광고(banner ad)를 클릭하는 것은 데이터로부터 제외된다. 다른 실시예에서, 어떤 질의에 대해서, 제 1 클릭에 대한 것 뿐만 아니라, 모든 클릭 결과가 수집된다.

이후에, 세션 기반 정정부(108.4)는 상술한 발생 빈도 및 품질 스코어 데이터를 사용하여 제 1 질의에 대해서 정정된 질의의 후보로서 제 2 질의에 대한 예측 효율(utility)을 계산할 수 있다. 일 실시예에서, 예측 효율은 짝을 이루는 질의의 발생 빈도 및 짝 내의 제 1 질의에 대하여 제 2 질의의 품질의 향상의 곱(product)이다. 이 예에서, 품질에서의 향상은, 제 2 질의에 대한 품질 스코어가 제 1 질의에 대한 품질 스코어보다 더 높은 경우에 발생한다. 제 2 질의에 대한 예측 효율이 임계값을 초과하는 경우에, 제 2 질의는 잠재적인 정정된 질의로 표시(mark)된다. 일 실시예에서, 상기 임계값은 0.02이며, 이는, 예를 들면, 10 %의 빈도 및 품질에서는 0.2 증가, 또는 20 % 빈도 및 품질에서는 0.1 증가에 대응한다. 예측 효율 계산에서의 다른 변형 또한 사용 가능하다.

상술한 바와 같이, 정정된 질의의 각각은, 정정이 양호한 정정인 가능성을 나타내는 신뢰도와 연관되어 있을 수 있다. 세션 기반 정정부(108.4)의 경우에서는, 정정된 질의의 예측 효율은 이 정정된 질의에 대한 신뢰도로서 사용될 수 있다.

세션 기반 정정부(108.4)를 사용하는 질의 정정의 일례는 다음과 같다. 제 1 사용자 질의는 [sheets]이다. 저장된 데이터는, 사용자가 입력하는, [sheets]에 뒤따르는 일반적인 (제 2) 질의의 하나는 [linens]이며, 다른 일반적으로 입력되는 제 2 질의는 [silk sheets] 임을 나타내고 있다. 로그 파일(110) 내에 저장된 데이터에 기초하여, 제 1 질의 [sheets]의 출현에 대한 백분율로서, 짝을 이루는 질의 [sheets, linens]의 빈도는 30 %이고, 짝을 이루는 질의 [sheets, silk sheets]의 빈도는 1 %이다. 예를 들면, 질의 [sheets]는 표에서 100 번 출현하고, [sheets, linens]는 30 번 출현하고, 또한 [sheets, silk sheets]는 한번 출현한다고 하자. 정정의 후보로서 제 2 질의에 대해 1 %의 임계값을 가정하면, 이들 질의는 모두 유지되어진다.

다음으로, 데이터는 [sheets]에 대한 품질 스코어는 0.1을 나타내고 있는 반면에, 제 2 질의 [lines] 및 [silk sheets]에 대한 품질 스코어는, 각각, 0.7 및 0.8을 나타내고 있다. 따라서, [sheets]에 대한 [lines]의 품질에서의 향상은 0.6 (0.7 - 0.1)이고, 또한 [sheets]에 대한 [silk sheets]의 품질에서의 향상은 0.7 (0.8 - 0.1)이다.

이후에, 세션 기반 정정부(108.4)는 빈도 스코어 및 품질에서의 향상의 곱으로서 각각의 정정의 예측 효율을 계산한다. [sheets, lines]에 대해서, 빈도(30 %)와 품질에서의 증가(0.6)의 곱은 0.18의 예측 효율을 나타낸다. [sheets, silk sheets]에 대해서, 빈도(1 %)와 품질에서의 증가(0.7)의 곱은 0.007의 예측 효율을 나타낸다. 따라서, 제 2 질의 [lines]는, 제 1 질의로 [sheets]를 입력하는 사용자에 대해서, 질의 [silk sheets]보다 더 높은 예측 효율을 가지고 있으며, 따라서 [lines]가 정정 질의의 제안으로서 더 낫다. 이들 예측 효율은, 상술한 바와 같이, 정정된 질의에 대한 신뢰도로서 사용될 수 있다.

런 타임에서 정정 신뢰도의 생성

도 1b를 참조하여, 본 발명에 따른 정보 검색 시스템의 다른 실시예를 나타낸다. 상술한 도 1a의 요소에 부가적으로, 세션 트랙커(114)와 정정부 신뢰도 추정부(112)가 있다. 상기 논의된 바와 같이, 질의 정정부(108)가 정정 서버(107)에 제공하는 하나 이상의 정정된 질의와 함께 신뢰도를 제공할 수도 있다. 정정 서버(107)는 어떤 질의가 정정된 질의 페이지(300)에 포함될 수 있는 정정된 질의를 선택하기 위해 판단하는데 신뢰도를 사용한다. 일 실시예에서, 주어진 원래의 질의에 대해 정정된 질의를 선택하는 사용자 활동 이력의 적어도 일부에 근거하여, 런 타임에서 신뢰도가 도출될 수 있다.

도 1b의 실시예에서, 프런트-엔드 서버(102)는 원래의 질의와 정정된 질의 정보와 함께 사용자 클릭을 통한 거동(user click-through behavior)을 세션 트랙커(114)에 제공한다. 세션 트랙커(114)는 정정된 질의의 품질을 모델링하기 위하여 원래의 질의와 정정된 질의의 다양한 특징과 함께, 어떤 질의 정정 링크(302)가 사용자에 의해 액세스되었는지와 관련된 각 사용자 질의, 각 정정된 질의와 관련된 결과를 저장하는 로그 파일(110)을 유지한다. 저장된 정보는 예를 들어, 다음을 포함할 수 있다:

원래의 질의에 대하여:

원래의 질의 자체;

원래의 질의 내의 각 단어;

원래의 질의의 길이;

원래의 질의의 토픽 클러스터;

원래의 질의에 대한 정보 검색 스코어; 및

원래의 질의에 대한 결과 수.

정정된 질의에 대하여:

정정된 질의 자체;

정정된 질의 내의 각 단어;

이것을 생성한 정정 기술의 식별;

정정 질의의 길이;

정정 질의와 관련된 토픽 클러스터;

상위 검색 결과에 대한 정보 검색 스코어(예를 들어, 페이지 랭크);

정정 질의에 대해 발견된 결과 수;

정정 질의 링크(302) 상의 클릭 길이; 및

정정된 질의 결과(304) 상의 클릭 길이.

질의들에 대한 토픽 클러스터는 적합한 임의의 토픽 식별 방법을 이용하여 식별된다. 적합한 하나의 방법으로는 미국 출원 일련번호 제10/676,571호("Method and Apparatus for Characterizing Documents Based on Clusters of Related Words", 2003년 9월 30일 출원)에 기재되어 있으며, 참고용으로 본원에 포함되어 있다.

정정부 신뢰도 추정부(112)는, 주어진 질의에 대하여 정정된 질의가 성공적인 정정으로 될 가능성을 추정하는데 이용될 수 있는 질의 및 정정된 질의의 특징들에 근거하여 룰 세트를 생성하기 위하여, 예측 모델, 예를 들어, 복수의 지수형 회귀 모델을 이용하여 로그 파일(110)을 분석한다. 적합한 하나의 회귀 모델로는 미국 출원 일련번호 제10/734,584호("Large Scale Machine Learning Systems and Methods", 2003년 12월 15일 출원)에 기재되어 있으며, 참고용으로 본원에 포함되어 있다. 어떤 거동은 예를 들어, 정정된 질의 링크(302)에 대한 사용자의 긴 클릭이 사용자의 원래 정보 요구 사항의 정확한 표현이 되는 것으로서 사용자가 이 정정을 만족하는 것을 나타낸다는 가정으로 정정부 신뢰도 추정부(112)는 동작한다. 긴 클릭은 사용자가 클릭을 통해 페이지 상에 최소 어느 시간 동안, 예를 들어, 최소 60초 동안 머무를 경우 발생하는 것으로 여겨질 수 있다. 정정된 질의 링크(302) 상의 클릭 길이로부터, 정정부 신뢰도 추정부(112)는 정정된 질의 및 원래의 질의의 다양한 특징들이 주어진 긴 클릭의 가능성을 예측하기 위해 예측 모델을 훈련할 수 있다. 긴 클릭의 예측된 높은 가능성을 갖는 정정된 질의들은 이들이 관련된 원래의 질의에 대한 더 양호한(즉, 더 성공적인) 정정이 되는 것으로 간주된다.

예측 모델에 대한 일 실시예에서, 신뢰도 추정부(112)는 정정된 질의와 관련된 특징들을 선택하고, 클릭 데이터를 로그 파일로부터 수집하며, 특징들과 클릭 데이터를 이용하여 룰을 공식화하고, 이 룰을 예측 모델에 추가한다. 부가적으로, 신뢰도 추정부(112)는 클릭 데이터를 이용하여 부가적인 룰들을 공식화하여 이 부가적인 룰들을 모델에 선택적으로 추가할 수 있다.

런 타임에서, 정정 서버(107)는 정정부 신뢰도 추정부(112)에 원래의 질의, 및 다양한 질의 정정부(108)로부터 수신한 각각의 정정된 질의를 제공한다. 정정부 신뢰도 추정부(112)는 예측도를 획득하기 위하여 원래의 질의와 정정된 질의를 예측 모델에 적용하고, 이는 상술한 신뢰도로서 기능한다. 또한, 각 질의 정정부(108)는 예측도를 획득하기 위해 정정부 신뢰도 추정부(112)를 직접 호출하고, 그런 다음 정정 서버(107)에 이들 값을 되돌려 보낼 수 있다. 상술한 실시예는 정정부 신뢰도 추정부(112)를 개별 모듈로서 나타내지만, 정정 서버(107)는 대신에 신뢰도 추정의 기능성을 제공할 수도 있다. 어느 경우에도, 정정 서버(107)는 신뢰도를 이용하며, 상술한 바와 같이, 어떤 정정된 질의를 사용자에게 보이게 할지를 선택하여 순서를 정한다.

일 실시예에서, 정정 서버(107)는 질의 정정들을 모두 나타낼지를 결정하기 위해 신뢰도를 사용하고, 모두 나타낼 경우, 정정들 또는 이것으로의 링크를 어떻 게 눈에 띄게 배치할지를 결정하기 위해 신뢰도를 사용한다. 이렇게 하기 위해서, 정정 서버(107)는 상술한 초기 신뢰도 또는 상기 논의된 동적으로 생성된 신뢰도를 이용할 수도 있다. 예를 들어, 최적의 신뢰도가 임계값 이하로 떨어질 경우, 어떠한 잠재적인 정정 후보도 매우 좋은 것이 아니라는 것을 나타낼 수 있으며, 이러한 경우 어떠한 변경도 원래 결과 페이지(200)에 이루어지지 않는다. 한편, 하나 이상의 정정 질의가 다른 임계값보다 매우 높은 신뢰도를 가질 경우, 정정 서버(107)는 질의 정정이나, 또는 정정된 질의 페이지(300)로의 링크를 원래 결과 페이지(200) 상에, 예를 들어, 페이지의 상단부 근처에 폰트를 구별하여, 또는 몇몇 다른 눈에 띄는 위치에 눈에 잘 띄게 나타내도록 강제할 수 있다. 신뢰도가 두 개의 임계값 사이에 있을 경우, 그러면 정정된 질의 페이지(300)로의 링크는 덜 눈에 띄는 위치, 예를 들어, 링크(206)에 대해 나타낸 바와 같이 검색 결과 페이지(200)의 하단에 배치될 수 있다.

상술한 프로세스 단계는 병렬(예를 들어, 질의 정정에 대한 결과를 획득하면서 질의 정정에 대한 신뢰도를 산출) 및/또는 교호(예를 들어, 모든 질의 정정을 수신하고 나서 질의 정정 리스트를 정렬하기보다, 복수의 질의 정정을 질의 정정부로부터 수신하면서 도중에 정렬된 질의 정정 리스트를 작성)로 실행될 수 있다. 부가적으로, 상기 실시예들은 클라이언트/서버 검색 시스템과 관련하여 기술되었지만, 본 발명은 독립형 장비(예를 들어, 독립형 PC)의 일부로서 실시될 수도 있다. 이는, 예를 들어, 구글 데스크탑 검색(Google Desktop Search)와 같은 데스크탑 검색 애플리케이션과 관련하여 유용할 수 있다.

본 발명은 하나의 가능한 실시예에 관하여 특히 상세하게 기술되었다. 본 발명이 그 밖의 실시예의 형태로 실행될 수 있음을 당업자는 잘 주지할 것이다. 우선, 컴포넌트, 대문자 표기된 용어, 특성, 데이터 구조의 특정 명명이나, 또는 그 밖의 다른 프로그래밍 또는 구조적인 측면은 의무적이거나 중요한 것이 아니며, 본 발명 또는 그 특징을 실시하는 메커니즘에서는 다른 명명, 포맷, 또는 프로토콜을 가질 수도 있다. 또한, 시스템은 상술한 바와 같이 하드웨어와 소프트웨어의 조합, 또는 전적으로 하드웨어 요소로 실시될 수도 있다. 또한, 본 명세서에 기재된 다양한 시스템 컴포넌트들 사이의 기능성의 특정 분야는 단지 예에 지나지 않으며, 의무적인 것은 아니다. 단일 시스템 컴포넌트에 의해 실행된 기능들은 복수의 컴포넌트에 의해 대신 실행될 수도 있고, 복수의 컴포넌트에 의해 실행된 기능들이 단일의 컴포넌트에 의해 대신 실행될 수도 있다.

정보에 대한 조작에 있어서의 알고리즘 및 기호적 표현의 관점에서, 상술한 특징 중 몇몇 부분은 본 발명의 특징을 나타낸다. 이들 알고리즘 설명 및 표현은 이 기술분야에서의 그 밖의 당업자들에게 그들의 작업 내용을 가장 효과적으로 전달하기 위해 데이터 처리 기술분야의 당업자들에 의해 사용되는 수단이다. 이러한 조작은 기능적 또는 논리적으로 설명되었지만, 컴퓨터 프로그램에 의해 실시되는 것으로 이해한다. 또한, 보편성을 잃지 않으면서, 이들 조작의 배치를 모듈로서 또는 기능적 명명에 의해 참조하여 종종 편의를 도모하였다.

상기 논의로부터 명확히 알 수 있는 바와 같이, 특별한 언급이 없는 한, 명세서 전반에 걸쳐서 설명한 동작 및 프로세스는, 컴퓨터 시스템 메모리나 레지스 터, 또는 그 밖의 이러한 정보를 저장, 전송, 또는 표시하는 장치 내의 물리적(전자적) 양으로 표현되는 데이터를 조작하고 변형시키는 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 장치에서 행해지는 것으로 이해한다. 이러한 컴퓨터 시스템의 기본적인 하드웨어에 대한 상세한 설명은, 컴퓨터 공학 분야의 당업자에게 일반적으로 공지된 것이므로 본 명세서에는 생략한다.

본 발명의 어떤 측면에서는 본 명세서에 기재된 프로세스 단계 및 인스트럭션을 알고리즘의 형태로 포함한다. 본 발명의 프로세스 단계 및 인스트럭션은 소프트웨어, 펌웨어, 또는 하드웨어로 구현될 수 있으며, 소프트웨어로 구현될 경우, 탑재하기 위해 다운로드할 수 있으며 실시간 네트워크 운영 시스템에 의해 사용되는 다른 플랫폼으로부터 동작될 수 있다.

본 발명의 어떤 측면은 개별 또는 단일의 예에 관하여 설명되었지만, 본 발명은 이러한 점에 한정되지 않는다. 따라서, 단일의 요소 또는 컴포넌트에 대한 모든 참조들은 그러한 복수의 컴포넌트들을 또한 참조하는 것으로 해석되어야 한다. 마찬가지로, "a", "an", 또는 "the"에 대한 참조는, 표현된 것이 다르게 언급되지 않은 한, 복수에 대한 참조를 포함하는 것으로 해석되어야 한다. 마지막으로, "plurality" 용어 사용은, 본 발명의 논의되는 부분에 해당되는, 두 개 또는 그 이상의 대상, 데이터 아이템 등을 참조하는 것을 의미하고, 유한한 것 또는 다르게는 아이템의 과대한 수를 포함한다.

본 발명은 또한 본 명세서에서의 동작을 실행하는 기기에 관한 것이다. 이 기기는 필요한 목적을 위해 특별하게 제조될 수도 있고, 또는 컴퓨터에 의해 액세 스가능한 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성될 수 있는 범용 컴퓨터를 구비할 수도 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광학 디스크, CD-ROM, 자기 광학 디스크, ROM, RAM, EPROM, EEPROM, 자기 또는 광학 디스크를 포함하는 임의 형태의 디스크, 또는 전자 인스트럭션을 저장하고 각각이 컴퓨터 시스템 버스에 결합하기에 적합한 임의 형태의 미디어와 같은 컴퓨터 판독가능한 저장 매체에 저장될 수도 있지만, 이에 한정되지는 않는다. 상기 기능적 및 구조적 설명에 근거하여 본 발명은 주문형 반도체(ASIC)를 포함하여 다양한 형태의 집적 회로로 용이하게 제조될 수 있음을 집적 회로 설계 및 비디오 코덱 기술 분야의 당업자는 이해할 것이다. 부가적으로, 본 발명은 다양한 형태의 비디오 코딩 장치 내에 일체로 구성될 수도 있다.

본 명세서에 제시된 알고리즘 및 연산은 본질적으로 임의의 특정한 컴퓨터나 다른 장치와 관련되지 않는다. 다양한 범용 시스템이 본 명세서에서의 교시에 따라서 프로그램과 함께 사용될 수도 있으며, 필요한 방법 단계들을 실행하기 위한 보다 특화된 기기를 제조하여 편의를 도모할 수도 있다. 다양한 이들 시스템을 위한 필요한 구조는, 균등물 변경과 더불어, 이 기술 분야에서의 당업자에게 이해될 것이다. 부가적으로, 본 발명은 특정한 임의의 프로그래밍 언어를 참조하여 기술된 것이 아니다. 본 명세서에 기재된 바와 같이 본 발명을 교시하는데 다양한 프로그래밍 언어가 이용될 수 있으며, 특정 언어에 대한 모든 언급은 본 발명의 가능성과 최적 모드를 개시하기 위해 제공된 것임을 알아야 한다.

마지막으로, 본 명세서에서 사용된 언어는 주로 가독성 및 교육적인 목적으 로 선택된 것이며, 본 발명의 주제를 대략적으로 기술하거나 제한하는 것이 아님을 알아야 한다. 따라서, 본 발명의 개시는 예시적인 것이며, 본 발명의 범위를 제한하는 것이 아니다.

Claims (37)

1. 원래의 질의를 수신하는 단계;

   서로 다른 질의 정정 전략을 이용하여 상기 원래의 질의에 대한 정정된 질의를 생성하는 단계;

   연산된 신뢰도에 의거하여 상기 정정된 질의의 서브세트(subset)를 선택하는 단계 - 상기 정정된 질의의 서브세트는 모든 상기 정정된 질의보다 적은 정정된 질의를 포함 - ;

   상기 정정된 질의의 서브세트의 각각의 정정된 질의와 관련된 검색 결과를 평가하는 단계;

   상기 정정된 질의의 서브세트의 각각의 정정된 질의와 관련된 상기 평가된 검색 결과의 서브세트를 선택하는 단계 - 상기 평가된 검색 결과의 서브세트는, 각각의 상기 정정된 질의에 대해 모든 상기 평가된 검색 결과보다 적은 평가된 검색 결과를 포함 - ;

   상기 원래의 질의와 관련된 최초의 검색 결과를 제 1 웹 페이지에 제공하는 단계; 및

   복수의 정정된 질의와, 상기 복수의 정정된 질의 중 하나 이상과 그 각각의 질의와 관련된 하나 이상의 평가된 검색 결과의 표시를 제 2 웹 페이지에 제공하는 단계를 포함하는 컴퓨터로 구현된 방법.
2. 제 1 항에 있어서,

   상기 정정된 질의의 서브세트에 대한 검색 결과를 획득하는 단계를 더 포함하고,

   상기 검색 결과를 획득하는 단계는,

   상기 정정된 질의의 서브세트를 검색 엔진에 제공하는 단계; 및

   상기 검색 엔진으로부터 상기 정정된 질의의 서브세트의 결과를 수신하는 단계를 포함하는 컴퓨터로 구현된 방법.
3. 제 1 항에 있어서,

   상기 서로 다른 질의 정정 전략은, 적어도 하나의 질의 용어를 확대하는 전략, 적어도 하나의 질의 용어를 최적화하는 전략, 적어도 하나의 질의 용어를 구문적으로 정정하는 전략, 및 적어도 하나의 질의 용어를 세션 기반으로 정정하는 전략을 포함하는 컴퓨터로 구현된 방법.
4. 실행시 컴퓨터가 연산을 수행하게 하는 명령을 포함하는 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능한 저장 매체로서,

   상기 연산은,

   원래의 질의를 수신하는 단계;

   서로 다른 질의 정정 전략을 이용하여 상기 원래의 질의에 대한 정정된 질의를 생성하는 단계;

   연산된 신뢰도에 의거하여 상기 정정된 질의의 서브세트(subset)를 선택하는 단계 - 상기 정정된 질의의 서브세트는 모든 상기 정정된 질의보다 적은 정정된 질의를 포함 - ;

   상기 정정된 질의의 서브세트의 각각의 정정된 질의와 관련된 검색 결과를 평가하는 단계;

   상기 정정된 질의의 서브세트의 각각의 정정된 질의와 관련된 상기 평가된 검색 결과의 서브세트를 선택하는 단계 - 상기 평가된 검색 결과의 서브세트는, 각각의 상기 정정된 질의에 대해 모든 상기 평가된 검색 결과보다 적은 평가된 검색 결과를 포함 - ;

   상기 원래의 질의와 관련된 최초의 검색 결과를 제 1 웹 페이지에 제공하는 단계; 및

   복수의 정정된 질의와, 상기 복수의 정정된 질의 중 하나 이상과 그 각각의 질의와 관련된 하나 이상의 평가된 검색 결과의 표시를 제 2 웹 페이지에 제공하는 단계를 포함하는 컴퓨터 판독가능한 저장 매체.
5. 하나 이상의 컴퓨터, 및

   연산을 수행하도록 구성된 하나 이상의 프로세서를 포함하는 시스템으로서,

   상기 연산은,

   원래의 질의를 수신하는 단계;

   서로 다른 질의 정정 전략을 이용하여 상기 원래의 질의에 대한 정정된 질의를 생성하는 단계;

   연산된 신뢰도에 의거하여 상기 정정된 질의의 서브세트(subset)를 선택하는 단계 - 상기 정정된 질의의 서브세트는 모든 상기 정정된 질의보다 적은 정정된 질의를 포함 - ;

   상기 정정된 질의의 서브세트의 각각의 정정된 질의와 관련된 검색 결과를 평가하는 단계;

   상기 정정된 질의의 서브세트의 각각의 정정된 질의와 관련된 상기 평가된 검색 결과의 서브세트를 선택하는 단계 - 상기 평가된 검색 결과의 서브세트는, 각각의 상기 정정된 질의에 대해 모든 상기 평가된 검색 결과보다 적은 평가된 검색 결과를 포함 - ;

   상기 원래의 질의와 관련된 최초의 검색 결과를 제 1 웹 페이지에 제공하는 단계; 및

   복수의 정정된 질의와, 상기 복수의 정정된 질의 중 하나 이상과 그 각각의 질의와 관련된 하나 이상의 평가된 검색 결과의 표시를 제 2 웹 페이지에 제공하는 단계를 포함하는 시스템.
6. 제 5 항에 있어서,

   상기 시스템은 특정 주제 도메인(domain)에 대해서 커스터마이징(customizing)이 가능한 시스템.
7. 제 1 항에 있어서,

   상기 정정된 질의의 서브세트를 선택하는 단계는 상기 생성된 정정된 질의 중 적어도 하나를 배제하는 단계를 더 포함하는 컴퓨터로 구현된 방법.
8. 제 1 항에 있어서,

   사용자 세션 질의 데이터로부터 반복하여 나타나는 개별적인 질의의 제 1 테이블을 생성하는 단계 - 상기 반복하여 나타나는 개별적인 질의는 제 1 질의를 포함 - ;

   상기 사용자 세션 질의 데이터로부터 반복하여 나타나는 쌍을 이루는 질의의 제 2 테이블을 생성하는 단계 - 상기 반복하여 나타나는 쌍을 이루는 질의는 상기 제 1 질의 및 이에 뒤따르는 제 2 질의를 포함 - ;

   상기 제 1 테이블에서 상기 원래의 질의의 제 1 발생 개수를 판정하는 단계;

   상기 제 2 테이블에서 상기 쌍을 이루는 질의의 제 2 발생 개수를 판정하는 단계;

   상기 제 2 발생 개수를 상기 제 1 발생 개수로 나누는 것에 의거하여 발생 빈도를 계산하는 단계를 더 포함하는 컴퓨터로 구현된 방법.
9. 제 4 항에 있어서,

   상기 정정된 질의의 서브세트를 선택하는 단계는 상기 생성된 정정된 질의 중 적어도 하나를 배제하는 단계를 더 포함하는 컴퓨터 판독가능한 저장 매체.
10. 제 4 항에 있어서,

    상기 정정된 질의를 생성하는 단계는,

    상기 원래의 질의를 상기 서로 다른 질의 정정 전략을 실시하는 정정부에 제공하는 단계; 및

    적어도 하나의 상기 정정부로부터 두 개 이상의 정정된 질의를 수신하는 단계를 포함하는 컴퓨터 판독가능한 저장 매체.
11. 제 5 항에 있어서,

    상기 정정된 질의를 생성하는 단계는,

    상기 원래의 질의를 상기 서로 다른 질의 정정 전략을 실시하는 정정부에 제공하는 단계; 및

    적어도 하나의 상기 정정부로부터 두 개 이상의 정정된 질의를 수신하는 단계를 포함하는 시스템.
12. 제 1 항에 있어서,

    상기 최초의 검색 결과와 함께, 상기 제 2 웹 페이지로의 링크를 제공하는 단계; 및

    상기 링크의 사용자 선택의 지시를 수신하는 단계를 더 포함하는 컴퓨터로 구현된 방법.
13. 제 4 항에 있어서,

    상기 연산은,

    상기 최초의 검색 결과와 함께, 상기 제 2 웹 페이지로의 링크를 제공하는 단계; 및

    상기 링크의 사용자 선택의 지시를 수신하는 단계를 더 포함하는 컴퓨터 판독가능한 저장 매체.
14. 제 5 항에 있어서,

    상기 연산은,

    상기 최초의 검색 결과와 함께, 상기 제 2 웹 페이지로의 링크를 제공하는 단계; 및

    상기 링크의 사용자 선택의 지시를 수신하는 단계를 더 포함하는 시스템.
15. 제 1 항에 있어서,

    상기 평가된 검색 결과의 서브세트는 상기 정정된 질의의 서브세트 각각의 아래에 표시되는 컴퓨터로 구현된 방법.
16. 제 4 항에 있어서,

    상기 평가된 검색 결과의 서브세트는 상기 정정된 질의의 서브세트 각각의 아래에 표시되는 컴퓨터 판독가능한 저장 매체.
17. 제 5 항에 있어서,

    상기 평가된 검색 결과의 서브세트는 상기 정정된 질의의 서브세트 각각의 아래에 표시되는 시스템.
18. 제 1 항에 있어서,

    상기 정정된 질의의 서브세트의 각각의 정정된 질의를 랭크(rank)시키는 단계;

    상기 랭크에 의거하여 상위 복수의 랭크된 정정된 질의를 선택하는 단계;

    상기 상위 복수의 랭크된 정정된 질의 각각에 대해,

    상기 각각의 상위 복수의 랭크된 질의와 관련된 상기 평가된 검색 결과의 서브세트 중 하나 이상의 평가된 검색 결과 각각을 랭크시키는 단계; 및

    상기 랭크에 의거하여 상위 복수의 랭크된 평가된 검색 결과를 선택하는 단계를 더 포함하는 컴퓨터로 구현된 방법.
19. 제 4 항에 있어서,

    상기 연산은,

    상기 정정된 질의의 서브세트의 각각의 정정된 질의를 랭크시키는 단계;

    상기 랭크에 의거하여 상위 복수의 랭크된 정정된 질의를 선택하는 단계;

    상기 상위 복수의 랭크된 정정된 질의 각각에 대해,

    상기 각각의 상위 복수의 랭크된 질의와 관련된 상기 평가된 검색 결과의 서브세트 중 하나 이상의 평가된 검색 결과 각각을 랭크시키는 단계; 및

    상기 랭크에 의거하여 상위 복수의 랭크된 평가된 검색 결과를 선택하는 단계를 더 포함하는 컴퓨터 판독가능한 저장 매체.
20. 제 5 항에 있어서,

    상기 연산은,

    상기 정정된 질의의 서브세트의 각각의 정정된 질의를 랭크시키는 단계;

    상기 랭크에 의거하여 상위 복수의 랭크된 정정된 질의를 선택하는 단계;

    상기 상위 복수의 랭크된 정정된 질의 각각에 대해,

    상기 각각의 상위 복수의 랭크된 질의와 관련된 상기 평가된 검색 결과의 서브세트 중 하나 이상의 평가된 검색 결과 각각을 랭크시키는 단계; 및

    상기 랭크에 의거하여 상위 복수의 랭크된 평가된 검색 결과를 선택하는 단계를 더 포함하는 시스템.
21. 제 1 항에 있어서,

    상기 원래의 질의는 이전의 정정된 질의를 나타내는 컴퓨터로 구현된 방법.
22. 제 4 항에 있어서,

    상기 원래의 질의는 이전의 정정된 질의를 나타내는 컴퓨터로 판독가능한 매체.
23. 제 5 항에 있어서,

    상기 원래의 질의는 이전의 정정된 질의를 나타내는 시스템.
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제

Images