KR20120089560A

KR20120089560A - 검색 결과 순위 지정을 위한 정적 관련성 특징으로서의 문서 길이

Info

Publication number: KR20120089560A
Application number: KR1020117005588A
Authority: KR
Inventors: 블라디미르 탄코비치; 드미트리 메예르존; 마이클 제임스 테일러
Original assignee: 마이크로소프트 코포레이션
Priority date: 2008-09-10
Filing date: 2009-11-05
Publication date: 2012-08-13
Also published as: WO2010031085A2; RU2517271C2; EP2329411A4; BRPI0916924A2; KR101683311B1; US9348912B2; JP5620913B2; US20090106235A1; RU2011108842A; JP2013510343A; IL210591A; AU2009290574B2; EP2329411A2; AU2009290574A1; IL210591A0; ZA201100293B; WO2010031085A3

Abstract

실시예가 사용자 쿼리에 기초하여 정보를 제공하도록 구성되어 있다. 일 실시예에서, 시스템은 쿼리 응답의 일부로서 검색 결과의 순위를 지정하는 데 사용될 수 있는 순위 지정 구성요소를 가지는 검색 구성요소를 포함한다. 일 실시예에서, 순위 지정 구성요소는 검색 쿼리에 응답하여 반환된 문서의 길이를 사용하여 검색 결과의 순위를 지정할 수 있는 순위 지정 알고리즘을 포함한다.

Description

검색 결과 순위 지정을 위한 정적 관련성 특징으로서의 문서 길이{DOCUMENT LENGTH AS A STATIC RELEVANCE FEATURE FOR RANKING SEARCH RESULTS}

컴퓨터 사용자는 로컬적으로 또는 원격적으로 저장될 수 있는 정보를 찾아내는 서로 다른 방식을 가지고 있다. 예를 들어, 키워드를 사용하여 문서 및 기타 파일을 찾아내는 데 검색 엔진이 사용될 수 있다. 웹-기반 쿼리를 수행하는 데도 검색 엔진이 사용될 수 있다. 검색 엔진은 쿼리에 기초하여 관련성있는 결과를 반환하려고 시도한다.

<발명의 요약>

이 요약은 이하에서 상세한 설명에 더 기술되는 일련의 개념을 간략화된 형태로 소개하기 위해 제공된 것이다. 이 요약은 청구된 발명 대상의 주요 특징 또는 필수적인 특징을 확인하기 위한 것이 아니며, 청구된 발명 대상의 범위를 정하는 데 보조 수단으로 사용되기 위한 것도 아니다.

실시예는 검색 결과를 제공할 때 하나 이상의 순위 지정 특징을 사용하는 것을 포함하여 정보를 제공하도록 구성되어 있다. 일 실시예에서, 시스템은 쿼리에 기초한 검색 결과를 순위 지정하여 제공하기 위해 하나 이상의 순위 지정 특징을 사용하도록 구성될 수 있는 순위 지정 알고리즘을 포함하는 검색 엔진을 포함한다. 일 실시예에 따르면, 문서 관련성의 순위 지정 특징 또는 척도로서 문서 길이가 사용될 수 있다.

이들 및 다른 특징 및 이점이 이하의 상세한 설명을 읽어보고 또 관련 도면을 살펴보면 명백하게 될 것이다. 이상의 개괄적인 설명 및 이하의 상세한 설명 둘다가 단지 설명을 위한 것이며 청구된 발명을 제한하는 것이 아니라는 것을 잘 알 것이다.

도 1은 정보를 관리하도록 구성된 예시적인 시스템의 블록도.
도 2는 순위 지정 및 쿼리 프로세스의 일례를 나타낸 흐름도.
도 3은 순위 지정 및 쿼리 프로세스의 일례를 나타낸 흐름도.
도 4는 본 명세서에 기술된 다양한 실시예를 구현하는 컴퓨팅 환경을 나타낸 블록도.

실시예는 검색 결과를 제공할 때 하나 이상의 순위 지정 특징을 사용하는 것을 포함하여 정보를 제공하도록 구성되어 있다. 일 실시예에서, 시스템은 쿼리에 기초한 검색 결과를 순위 지정하여 제공하기 위해 하나 이상의 클릭 방문(click-through) 순위 지정 특징을 사용하도록 구성될 수 있는 순위 지정 알고리즘을 포함하는 검색 엔진을 포함한다. 일 실시예에서, 시스템은 검색 결과를 순위 지정하여 제공하기 위해 클릭 매개변수, 건너뛰기 매개변수, 하나 이상의 스트림 매개변수, 및 문서 길이를 사용할 수 있는 순위 지정 구성요소를 포함한다.

일 실시예에서, 시스템은 컴퓨터-판독가능 저장 매체의 일부로서 포함될 수 있는 검색 응용 프로그램을 포함하는 검색 구성요소를 포함한다. 사용자 쿼리 및/또는 기타 사용자 동작(action) 및/또는 무동작(inaction)에 일부 기초하여, 검색 결과를 제공하기 위해 검색 응용 프로그램이 사용될 수 있다. 예를 들어, 사용자는 검색 응용 프로그램에 키워드를 입력할 수 있고, 검색 응용 프로그램은 키워드를 사용하여 관련성있는 검색 결과를 반환할 수 있다. 사용자는 추가의 정보를 얻기 위해 검색 결과를 클릭하거나 클릭하지 않을 수 있다. 이하에 기술하는 바와 같이, 검색 응용 프로그램은, 검색 결과를 순위 지정하여 반환할 때, 이전의 동작 및 이전의 무동작-기반 정보를 사용할 수 있다. 그에 대응하여, 검색 응용 프로그램은, 관련성있는 검색 결과를 반환할 때, 검색 결과에 기초한 사용자 상호작용을 사용하여 부가의 포커스를 제공할 수 있다. 예를 들어, 검색 응용 프로그램은, 사용자 쿼리에 기초하여 검색 결과를 순위 지정하고 순위 지정된 검색 결과를 반환할 때, 클릭 방문 정보를 사용할 수 있다.

도 1은 인덱싱, 검색 및 기타 기능을 포함하는 시스템(100)의 블록도이다. 예를 들어, 시스템(100)은 인덱싱된 데이터 구조의 일부로서 정보를 인덱싱하고 인덱싱된 데이터 구조를 사용하여 관련성있는 데이터를 검색하는 데 사용될 수 있는 인덱싱, 검색 및 기타 응용 프로그램을 포함할 수 있다. 이하에 기술하는 바와 같이, 쿼리에 적어도 일부 기초하여 검색 결과를 순위 지정하여 반환하기 위해 시스템(100)의 구성요소가 사용될 수 있다. 예를 들어, 시스템(100)의 구성요소는, 하나 이상의 키워드, 구문 및 기타 검색 항목으로 이루어질 수 있는 전송된 쿼리에 일부 기초하여, 사용자 브라우저로 검색 결과를 반환하는 데 사용될 수 있는 웹-기반 검색 엔진 기능을 제공하도록 구성될 수 있다. 사용자는, 예를 들어, 브라우저 또는 검색 창 등의 사용자 인터페이스(103)를 사용하여 쿼리를 검색 구성요소(102)로 전송할 수 있다.

도 1에 도시된 바와 같이, 시스템(100)은 쿼리 입력에 일부 기초하여 결과를 반환하도록 구성될 수 있는 검색 구성요소(102)(예를 들어, 검색 엔진 등)를 포함한다. 예를 들어, 검색 구성요소(102)는 단어, 단어들, 구문, 개념 및 기타 데이터를 사용하여 관련성있는 파일, 문서, 웹 페이지 및 기타 정보를 찾아내는 동작을 할 수 있다. 검색 구성요소(102)는 정보를 찾아내는 동작을 할 수 있고, 운영 체제(OS), 파일 시스템, 웹-기반 시스템, 또는 기타 시스템에 의해 사용될 수 있다. 검색 구성요소(102)는 또한 추가 구성요소로서 포함될 수 있으며, 여기서 검색 기능은 호스트 시스템 또는 응용 프로그램에 의해 사용될 수 있다.

검색 구성요소(102)는 파일(예를 들어, 문서 등), 파일 콘텐츠, 가상 콘텐츠, 웹-기반 콘텐츠, 및 기타 정보와 연관될 수 있는 검색 결과[예를 들어, URL(uniform resource locater)]를 제공하도록 구성될 수 있다. 예를 들어, 검색 구성요소(102)는, 로컬 파일, 원격 네트워크 파일(remotely networked file), 로컬 파일과 원격 파일의 조합, 기타와 연관된 검색 결과를 반환할 때, 텍스트, 속성 정보 및/또는 메타데이터를 사용할 수 있다. 일 실시예에서, 검색 결과를 제공할 때, 검색 구성요소(102)는 파일 시스템, 가상 웹, 네트워크, 또는 기타 정보 소스와 상호작용할 수 있다.

검색 구성요소(102)는 순위 지정 알고리즘(106) 및 하나 이상의 순위 지정 특징(108)에 적어도 일부 기초하여 검색 결과의 순위를 지정하도록 구성될 수 있는 순위 지정 구성요소(104)를 포함한다. 일 실시예에서, 순위 지정 알고리즘(106)은 검색 구성요소(102)에 의해 정렬을 위해 사용될 수 있는 숫자 또는 기타 변수를 제공하도록 구성될 수 있다. 순위 지정 특징(108)은 검색 결과의 관련성을 식별할 때 사용될 수 있는 기본 입력 또는 원시 숫자(raw number)로서 기술될 수 있다. 순위 지정 특징(108)이 수집되고, 데이터베이스 구성요소(110)에 저장 및 유지될 수 있다.

예를 들어, 클릭 방문 순위 지정 특징이 다수의 쿼리 로깅 테이블(query logging table)을 사용하여 저장 및 유지될 수 있으며, 쿼리 로깅 테이블은 또한 사용자 쿼리와 연관된 쿼리 정보도 포함할 수 있다. 대안의 실시예에서, 순위 지정 특징(108)은 로컬, 원격 및 기타 저장 매체를 비롯한 전용 저장소에 저장 및 유지될 수 있다. 하나 이상의 순위 지정 특징(108)이 순위 지정 알고리즘(106)에 입력될 수 있고, 순위 지정 알고리즘(106)은 순위 결정(ranking determination)의 일부로서 검색 결과의 순위를 지정하는 동작을 할 수 있다. 이하에서 기술하는 바와 같이, 일 실시예에서, 순위 지정 구성요소(104)는 순위 결정의 일부로서 하나 이상의 순위 지정 특징(108)을 조작할 수 있다.

그에 대응하여, 순위 결정의 일부로서 하나 이상의 순위 지정 특징(108)을 사용하여 검색 결과를 제공할 때, 검색 구성요소(102)는 순위 지정 구성요소(104) 및 관련 순위 지정 알고리즘(106)을 사용할 수 있다. 관련성 순위 또는 어떤 다른 순위에 기초하여 검색 결과가 제공될 수 있다. 예를 들어, 검색 구성요소(102)는 하나 이상의 순위 지정 특징(108)을 사용하여 순위 지정 구성요소(104)에 의해 제공되는 관련성 결정(relevance determination)에 적어도 일부 기초하여 가장 관련이 많은 것부터 가장 관련이 적은 것까지 검색 결과를 렌더링할 수 있다.

계속하여 도 1을 참조하면, 시스템(100)은 또한 정보를 인덱싱하는 데 사용될 수 있는 인덱스 구성요소(112)를 포함한다. 인덱스 구성요소(112)는 데이터베이스 구성요소(110)에 저장될 정보를 인덱싱 및 분류하는 데 사용될 수 있다. 게다가, 다수의 인덱스 구성요소(102)는, 다수의 상이한 정보 소스에 대해 인덱싱할 때, 메타데이터, 콘텐츠, 및/또는 기타 정보를 사용할 수 있다. 예를 들어, 인덱스 구성요소(112)는, 문서와 연관된 URL을 비롯하여, 키워드를 문서에 매핑하는 반전된 인덱스 데이터 구조(inverted index data structure)를 구축하는 데 사용될 수 있다.

검색 구성요소(102)는, 순위 지정 구성요소(104)에 의해 제공되는 순위에 따라 관련성있는 검색 결과를 반환할 때, 인덱싱된 정보를 사용할 수 있다. 일 실시예에서, 검색의 일부로서, 검색 구성요소(102)는 사용자의 쿼리 정보(예를 들어, 키워드 및 구문 등)의 일부 또는 전부를 포함하는 일련의 후보 결과(예를 들어, 다수의 후보 문서 등)를 식별하도록 구성될 수 있다. 예를 들어, 쿼리 정보는 문서의 본문 또는 메타데이터, 또는 다른 문서 또는 데이터 저장소에 저장될 수 있는 문서와 연관된 부가의 메타데이터(예를 들어, 앵커 텍스트 등)에 위치될 수 있다. 이하에서 기술하는 바와 같이, 검색 결과의 전체 집합이 큰 경우 전체 집합을 반환하기 보다는, 검색 구성요소(102)는 순위 지정 구성요소(104)를 사용하여, 관련성 또는 어떤 다른 기준에 따라 후보의 순위를 지정하고 순위 결정에 적어도 일부 기초하여 전체 집합의 부분 집합을 반환할 수 있다. 그렇지만, 후보의 집합이 그다지 크지 않은 경우, 검색 구성요소(102)는 전체 집합을 반환하도록 동작할 수 있다.

일 실시예에서, 순위 지정 구성요소(104)는 순위 지정 알고리즘(106)을 사용하여 특정의 쿼리와 연관된 후보의 관련성의 정도를 예측할 수 있다. 예를 들어, 순위 지정 알고리즘(106)은 후보 검색 결과와 연관된 순위 값(rank value)을 계산할 수 있으며, 여기서 상위 순위 값은 관련성이 많은 후보에 대응한다. 하나 이상의 순위 지정 특징(108)을 비롯한 다수의 특징이 순위 지정 알고리즘(106)에 입력될 수 있고, 순위 지정 알고리즘(106)은 이어서 검색 구성요소(102)가 순위 또는 어떤 다른 기준에 의해 후보를 정렬할 수 있게 해주는 출력을 계산할 수 있다. 검색 구성요소(102)는, 순위에 따라 후보의 집합을 제한함으로써 사용자가 후보의 전체 집합(예를 들어, 방대한 인터넷 후보 및 기업 URL 모음 등)을 조사해야만 하는 것을 방지하기 위해, 순위 지정 알고리즘(106)을 사용할 수 있다.

일 실시예에서, 검색 구성요소(102)는 동작-기반 및/또는 무동작-기반 순위 지정 특징을 모니터링 및 수집할 수 있다. 동작-기반 및 무동작-기반 순위 지정 특징이 데이터베이스 구성요소(110)에 저장되고 필요에 따라 업데이트될 수 있다. 예를 들어, 사용자가, 클릭하는 등에 의해, 검색 결과와 상호작용할 때, 클릭 방문 정보가 모니터링되고 데이터베이스 구성요소(110)에 하나 이상의 순위 지정 특징(108)으로서 저장될 수 있다. 이 정보는 또한 사용자가 검색 결과와 상호작용하지 않을 때를 추적하는 데도 사용될 수 있다. 예를 들어, 사용자는 하나 이상의 검색 결과를 건너뛰어 클릭하지 않을지도 모른다. 대안의 실시예에서, 별도의 구성요소(예를 들어, 입력 검출기 또는 다른 기록 구성요소 등)가 검색 결과 또는 결과들과 연관된 사용자 상호작용을 모니터링하는 데 사용될 수 있다.

검색 구성요소(102)는, 검색 결과를 반환할 때, 관련성 결정의 일부로서 선택된 수의 수집된 동작-기반 및 무동작-기반 순위 지정 특징을 사용할 수 있다. 일 실시예에서, 검색 구성요소(102)는, 쿼리에 기초한 검색 결과를 반환할 때, 관련성 결정의 일부로서 다수의 클릭-기반 상호작용 매개변수를 수집하고 사용할 수 있다. 예를 들어, 사용자가 어떤 이유로 결과의 상단에 반환되지 않았던 검색 결과(예를 들어, 문서)를 클릭하는 것으로 가정하자. 이하에서 기술하는 바와 같이, 검색 구성요소(102)는, 다음에 어떤 사용자가 동일하거나 유사한 쿼리를 발행할 때, 클릭된 결과의 순위를 높이기 위해 클릭 특징을 기록하고 사용할 수 있다. 검색 구성요소(102)는 또한 다른 상호작용적 특징 및/또는 매개변수(터치 입력, 펜 입력 및 기타 긍정 사용자 입력 등)를 수집하고 사용할 수 있다.

일 실시예에서, 검색 구성요소(102)는 하나 이상의 클릭 방문 순위 지정 특징을 사용할 수 있고, 여기서 하나 이상의 클릭 방문 순위 지정 특징은 암시적인 사용자 의견으로부터 도출될 수 있다. 업데이트된 특징을 비롯하여 클릭 방문 순위 지정 특징이 수집되고 데이터베이스 구성요소(110)의 다수의 쿼리 로깅 테이블에 저장될 수 있다. 예를 들어, 검색 구성요소(102)는 MICROSOFT OFFICE SHAREPOINT SERVER® 시스템 등의 통합 서버 플랫폼의 기능을 사용하여, 순위 결정의 일부로서 사용될 수 있는 상호작용-기반 특징을 수집, 저장 및 업데이트할 수 있다. 서버 플랫폼의 기능은 웹 콘텐츠 관리, 엔터프라이즈 콘텐츠 서비스, 엔터프라이즈 검색, 공유 비즈니스 프로세스, 비즈니스 인텔리전스 서비스, 및 기타 서비스를 포함할 수 있다.

이 실시예에 따르면, 검색 구성요소(102)는 검색 결과를 반환할 때 순위 결정의 일부로서 하나 이상의 클릭 방문 순위 지정 특징을 사용할 수 있다. 검색 구성요소(102)는, 관련성 결정의 일부로서 순위 순서(ranking ordering)를 조정하기 위해 사용할 수 있는 클릭 방문 순위 지정 특징을 컴파일할 때, 이전의 클릭 방문 정보를 사용할 수 있다. 이하에서 기술하는 바와 같이, 사용자가 검색 결과와 상호작용하거나 상호작용하지 않을 때 검색 결과가 받는 암시적 사용자 의견을 이용함으로써 자기-조정형(self-tunable) 순위 지정 기능을 제공하기 위해 하나 이상의 클릭 방문 순위 지정 특징이 사용될 수 있다. 예를 들어, 다수의 검색 결과가 검색 구성요소(102)에 의해 제공되어 검색 결과 페이지 상에 관련성에 따라 열거될 수 있고, 사용자가 검색 결과를 클릭하는지 검색 결과를 건너뛰는지에 기초하여 매개변수가 수집될 수 있다.

검색 구성요소(102)는, 검색 결과를 순위 지정하여 제공할 때, 저장된 동작 및/또는 무동작-기반 특징을 비롯한 데이터베이스 구성요소(110) 내의 정보를 사용할 수 있다. 검색 구성요소(102)는, 현재의 관련성있는 결과 목록을 요청자에게 제공할 때, 쿼리 결과와 연관된 이전의 사용자 동작 또는 무동작과 연관된 쿼리 기록 및 정보를 사용할 수 있다. 예를 들어, 검색 구성요소(102)는, 발행된 사용자 쿼리에 기초하여 현재의 참조 목록을 제공할 때, 동일하거나 유사한 쿼리에 응답하여 다른 사용자들이 이전의 검색 결과(예를 들어, 파일, 문서, 피드 등)에 어떻게 응답했는지와 연관된 정보를 사용할 수 있다.

일 실시예에서, 검색 구성요소(102)는 쿼리 및/또는 쿼리 문자열을 기록하고 사용하며, 검색 결과와 연관된 사용자 동작 및/또는 무동작을 기록하고 사용하며, 그리고 관련성 결정과 연관된 다른 정보를 기록하고 사용하는 동작을 하는 MICROSOFT OFFICE SHAREPOINT SERVER® 시스템 등의 서비스 제공 시스템의 기능과 관련하여 사용될 수 있다. 예를 들어, 검색 구성요소(102)는 특정의 쿼리에 대해 클릭되었을 수 있는 검색 결과 URL과 함께 발행된 쿼리를 기록하고 사용하기 위해 MICROSOFT OFFICE SHAREPOINT SERVER® 시스템의 기능과 관련하여 사용될 수 있다. MICROSOFT OFFICE SHAREPOINT SERVER® 시스템은 또한 클릭된 URL과 함께 보여지거나 제시된 URL 목록(예를 들어, 클릭된 URL 위에 보여진 다수의 URL 등)을 기록할 수 있다. 그에 부가하여, MICROSOFT OFFICE SHAREPOINT SERVER® 시스템은 특정의 쿼리에 기초하여 클릭되지 않았던 검색 결과 URL을 기록하는 동작을 할 수 있다. 클릭 방문 순위 지정 특징이 집계되고 관련성 결정을 할 때 사용될 수 있으며, 이에 대해서는 이하에서 기술한다.

일 실시예에서, 다수의 클릭 방문 순위 지정 특징이 집계되고 다음과 같이 정의될 수 있다:

1) (모든 쿼리에 걸쳐) 검색 결과(예를 들어, 문서, 파일, URL 등)가 클릭된 횟수에 대응하는 클릭 매개변수 Nc.

2) (모든 쿼리에 걸쳐) 검색 결과가 건너뛰기된 횟수에 대응하는 건너뛰기 매개변수 Ns. 즉, 검색 결과가 다른 검색 결과와 함께 포함되었고, 사용자에 의해 관찰되었을 수 있지만 클릭되지 않았다. 예를 들어, 관찰되거나 건너뛰기된 검색 결과는 클릭된 결과보다 상위 순위를 가지는 검색 결과를 말하는 것일 수 있다. 일 실시예에서, 검색 구성요소(102)는 사용자가 검색 결과와 상호작용할 때 검색 결과를 위에서 아래로 스캔한다는 가정을 사용할 수 있다.

3) 클릭된 검색 결과와 연관된 모든 쿼리 문자열의 합집합에 대응하는 텍스트 스트림으로 표현될 수 있는 제1 스트림 매개변수 Pc. 일 실시예에서, 합집합은 결과가 반환되고 클릭된 모든 쿼리 문자열을 포함한다. 똑같은 쿼리 문자열이 있을 수 있다(즉, 모든 개별 쿼리가 합집합 연산에서 사용될 수 있다).

4) 건너뛰기된 검색 결과와 연관된 모든 쿼리 문자열의 합집합에 대응하는 텍스트 스트림으로 표현될 수 있는 제2 스트림 매개변수 Ps. 일 실시예에서, 합집합은 결과가 반환되고 건너뛰기된 모든 쿼리 문자열을 포함한다. 똑같은 쿼리 문자열이 있을 수 있다(즉, 모든 개별 쿼리가 합집합 연산에서 사용될 수 있다).

이상에 열거한 클릭 방문 순위 지정 특징은, 예를 들어, 어떤 주기로 하나 이상의 크롤링 시스템 등에 의해, 원하는 때에 수집되고 각각의 검색 결과와 연관될 수 있다. 예를 들어, 하나 이상의 클릭 방문 순위 지정 특징이 사용자 쿼리에 기초하여 검색 구성요소(102)에 의해 반환된 문서와 연관될 수 있다. 그 후에, 하나 이상의 클릭 방문 순위 지정 특징이 순위 지정 구성요소(104)에 입력되고 순위 지정 및 관련성 결정의 일부로서 순위 지정 알고리즘(106)에서 사용될 수 있다. 어떤 경우에, 일부 검색 결과(예를 들어, 문서, URL 등)가 클릭 방문 정보를 포함하지 않을 수 있다. 클릭 방문 정보가 없는 검색 결과의 경우, 특정의 텍스트 속성(예를 들어, Pc 및/또는 Ps 스트림)이 비어 있는 채로 있을 수 있고, 특정의 정적 매개변수(예를 들어, Nc 및 Ns)가 0 값을 가질 수 있다.

일 실시예에서, 전체 크롤링 및/또는 증분 크롤링을 비롯한 크롤링 동안에 먼저 하나 이상의 클릭 방문 집계를 수집할 필요가 있는 순위 지정 알고리즘(106)에서 하나 이상의 클릭 방문 순위 지정 특징이 사용될 수 있다. 예를 들어, 검색 구성요소(102)는 클릭 방문 순위 지정 특징 및 기타 데이터와 연관된 정보를 수집할 때 파일 시스템, 웹-기반 컬렉션 또는 기타 리포지토리를 크롤링하는 동작을 할 수 있는 크롤러를 이용할 수 있다. 크롤링 대상 또는 대상들 및 특정의 구현에 따라 크롤링 또는 크롤링들을 위해 하나 이상의 크롤러가 구현될 수 있다.

검색 구성요소(102)는 임의의 클릭 방문 순위 지정 특징을 비롯한 수집된 정보를 사용하여, 검색 결과의 순위를 지정할 때 사용될 수 있는 하나 이상의 특징으로 쿼리 독립적인 저장소(예를 들어, 다수의 쿼리 로깅 테이블 등)를 업데이트할 수 있다. 예를 들어, 검색 구성요소(102)는 업데이트된 클릭 방문 정보를 포함하는 각각의 검색 결과에 대한 클릭(Nc) 매개변수 및/또는 건너뛰기(Ns) 매개변수로 다수의 쿼리 로깅 테이블을 업데이트할 수 있다. 업데이트된 쿼리 독립적인 저장소와 연관된 정보는 또한 인덱싱 동작을 수행할 때 인덱스 구성요소(102)를 비롯한 다양한 구성요소에 의해 사용될 수 있다.

따라서, 인덱스 구성요소(112)는 하나 이상의 독립적인 저장소로부터 임의의 변경 또는 업데이트를 주기적으로 획득할 수 있다. 게다가, 인덱스 구성요소(112)는 하나 이상의 동적 및 기타 특징을 포함할 수 있는 하나 이상의 인덱스를 주기적으로 업데이트할 수 있다. 일 실시예에서, 시스템(100)은 검색 구성요소(102)가 쿼리를 서비스하는 데 사용할 수 있는 2개의 인덱스(예를 들어, 주 인덱스 및 보조 인덱스)를 포함할 수 있다. 제1 인덱스(주 인덱스)는 웹 사이트, 파일 서버, 및 기타 정보 리포지토리와 연관된 메타데이터 및/또는 문서 본문으로부터의 키워드를 인덱싱하는 데 사용될 수 있다. 보조 인덱스는 문서로부터 직접 획득될 수 없는 부가의 텍스트 및 정적 특징을 인덱싱하는 데 사용될 수 있다. 예를 들어, 부가의 텍스트 및 정적 특징은 앵커 텍스트, 클릭 간격(click distance), 클릭 데이터 등을 포함할 수 있다.

보조 인덱스는 또한 개별적인 업데이트 스케줄을 가능하게 해준다. 예를 들어, 새 문서가 클릭될 때, 연관된 데이터를 인덱싱하는 것은 단지 보조 인덱스를 부분적으로 재구축하는 것만을 필요로 한다. 따라서, 주 인덱스는 그대로 있을 수 있고, 전체 문서가 재크롤링(re-crawling)을 필요로 하지 않는다. 주 인덱스 구조는 반전된 인덱스로서 구조화될 수 있고 키워드를 문서 ID에 매핑하는 데 사용될 수 있지만, 그것으로 제한되지 않는다. 예를 들어, 인덱스 구성요소(112)는 업데이트된 클릭 방문 정보를 포함하는 각각의 검색 결과에 대한 제1 스트림 매개변수 Pc 및/또는 제2 스트림 매개변수 Ps를 사용하여 보조 인덱스를 업데이트할 수 있다. 그 후에, 쿼리 실행과 연관된 관련성 결정의 일부로서 순위 지정 알고리즘(106)에 대한 하나 이상의 입력 등의 하나 이상의 클릭 방문 순위 지정 특징 및 연관된 매개변수가 검색 구성요소(102)에 의해 적용되고 사용될 수 있다.

이하에 기술되는 바와 같이, 관련성 결정의 일부로서 2층 신경망(two layer neural network)이 사용될 수 있다. 일 실시예에서, 2층 신경망의 구현은 2층 신경망을 사용하는 순방향 전파 프로세스의 일부로서 학습 단계 및 순위 지정 단계를 포함한다. 람다 순위 지정 모델(lambda ranking model)이 학습 단계 동안에 학습 알고리즘으로서 사용될 수 있고[C. Burges, R. Ragno, Q. V. Le, "Learning To Rank With Nonsmooth Cost Functions" in Scholkopf, Platt and Hofmann (Ed.) Advances in Neural Information Processing Systems 19, Proceedings of the 2006 Conference, (MIT Press, 2006) 참조] 및 신경망 순방향 전파 모델이 순위 결정의 일부로서 사용될 수 있다. 예를 들어, 표준의 신경망 순방향 전파 모델은 순위 지정 단계의 일부로서 사용될 수 있다. 하나 이상의 클릭 방문 순위 지정 특징이, 사용자 쿼리에 기초하여 쿼리 결과를 반환할 때, 2층 신경망과 관련하여 관련성 결정의 일부로서 사용될 수 있다.

일 실시예에서, 순위 지정 구성요소(104)는 2층 신경망 평가 함수(이후부터 "평가 함수"라고 함)를 포함하는 순위 지정 알고리즘(106)을 이용하며, 이 평가 함수는 하기 식을 포함하며,

여기서

이고,

여기서

h_j는 숨겨진 노드 j의 출력이고,

x_i는 입력 노드 i로부터의 입력값(하나 이상의 순위 지정 특징 입력 등)이며,

w2_j는 숨겨진 노드 출력에 적용되는 가중치이고,

w_ij는 숨겨진 노드 j에 의해 입력 값 x_i에 적용되는 가중치이며,

t_j는 숨겨진 노드 j에 대한 임계값이고,

tanh는 하기의 쌍곡선 탄젠트 함수(hyperbolic tangent function)이다:

대안의 실시예에서, tanh 함수와 유사한 속성 및 특성을 가지는 다른 함수가 이상에서 사용될 수 있다. 일 실시예에서, 변수 x_i는 하나 이상의 클릭 방문 매개변수를 나타낼 수 있다. 관련성 결정의 일부로서 순위 지정 이전에 2층 신경망 평가 함수를 학습시키기 위해 λ-순위 학습 알고리즘이 사용될 수 있다. 게다가, 학습 정확도 또는 학습 속도에 그다지 영향을 주는 일 없이 새로운 특징 및 매개변수가 평가 함수에 추가될 수 있다.

사용자 쿼리에 기초하여 검색 결과를 반환할 때 관련성 결정을 할 때, 하나 이상의 순위 지정 특징(108)이 입력되고 순위 지정 알고리즘(106)(이 실시예의 경우, 2층 신경망 평가 함수)에 의해 사용될 수 있다. 일 실시예에서, 사용자 쿼리에 기초하여 검색 결과를 반환하는 것의 일부로서 관련성 결정을 할 때 하나 이상의 클릭 방문 순위 지정 매개변수(Nc, Ns, Pc, 및/또는 Ps)가 입력되고 순위 지정 알고리즘(106)에 의해 사용될 수 있다.

2층 신경망 평가 함수에 대한 부가의 입력을 생성하기 위해 Nc 매개변수가 사용될 수 있다. 일 실시예에서, Nc 매개변수와 연관된 입력값은 하기 식에 따라 계산될 수 있다:

입력 =

여기서

일 실시예에서, Nc 매개변수는 (모든 쿼리 및 모든 사용자에 걸쳐) 검색 결과가 클릭된 횟수와 연관된 원시 매개변수 값(raw parameter value)에 대응하고,

K_Nc는 조정가능 매개변수(tunable parameter)(예를 들어, 0 이상)이며,

M_Nc 및 S_Nc는 학습 데이터와 연관된 평균 및 표준 편차 매개변수 또는 정규화 상수이고,

iN_c는 입력 노드의 인덱스에 대응한다.

2층 신경망 평가 함수에 대한 부가의 입력을 생성하기 위해 Ns 매개변수가 사용될 수 있다. 일 실시예에서, Ns 매개변수와 연관된 입력값은 하기 식에 따라 계산될 수 있다:

입력 =

여기서

일 실시예에서, Ns 매개변수는 (모든 쿼리 및 모든 사용자에 걸쳐) 검색 결과가 건너뛰기된 횟수와 연관된 원시 매개변수 값에 대응하고,

K_Ns는 조정가능 매개변수(예를 들어, 0 이상)이며,

M_Ns 및 S_Ns는 학습 데이터와 연관된 평균 및 표준 편차 매개변수 또는 정규화 상수이고,

iN_s는 입력 노드의 인덱스에 대응한다.

Pc 매개변수는 2층 신경망 평가 함수에 대한 콘텐츠 의존적인 입력을 생성하는 데 사용될 수 있는 이하의 수학식 6에 포함될 수 있다:

입력 =

TF'_t에 대한 식은 다음과 같이 계산될 수 있고:

여기서

Q는 쿼리 문자열이고,

t는 개별 쿼리 용어(예를 들어, 단어)이며,

D는 평가되는 결과(예를 들어, 문서)이고,

p는 결과(예를 들어, 문서)의 개별 속성(예를 들어, 제목, 본문, 앵커 텍스트, 제작자 등) 및 순위 지정에 사용될 임의의 다른 텍스트 속성이며,

N은 검색 도메인 내의 결과(예를 들어, 문서)의 총수이고,

n_t는 용어 t를 포함하는 결과(예를 들어, 문서)의 수이며,

DL_p는 속성 p의 길이이고,

AVDL_p는 속성 p의 평균 길이이고,

TF_t,p는 속성 p에서의 용어 t 빈도수이며,

TF_t,pc는 주어진 용어가 매개변수 Pc에서 나타나는 횟수에 대응하고,

DL_pc는 매개변수 Pc의 길이(예를 들어, 포함된 용어의 수)에 대응하며

AVDL_pc는 매개변수 Pc의 평균 길이에 대응하고,

w_pc 및 b_pc는 조정가능 매개변수에 대응하며,

D＼Pc는 속성 Pc를 포함하지 않는 문서 D의 속성 집합에 대응하고(Pc에 대한 항목이 단지 명확함을 위해 합산 기호 밖에서 얻어짐),

iBM25main은 입력 노드의 인덱스이며,

M 및 S는 평균 및 표준 편차 정규화 상수를 나타낸다.

Ps 매개변수는 2층 신경망 평가 함수에 대한 부가의 입력을 생성하는 데 사용될 수 있는 이하의 수학식 8에 포함될 수 있다: 입력 =

여기서

이고,

TF_t,ps는 주어진 용어가 Ps 매개변수와 연관되는 횟수를 나타내고,

DL_ps는 Ps 매개변수의 길이(예를 들어, 용어의 수)를 나타내며

AVDL_ps는 Ps 매개변수의 평균 길이를 나타내고,

N은 코퍼스(corpus) 내의 검색 결과(예를 들어, 문서)의 수를 나타내며,

n_t는 주어진 쿼리 용어를 포함하는 검색 결과(예를 들어, 문서)의 수를 나타내고,

k"_l, w_ps , b_ps는 조정가능 매개변수를 나타내며,

M 및 S는 평균 및 표준 편차 정규화 상수를 나타낸다.

상기한 바와 같이 하나 이상의 입력이 계산되었으면, 하나 이상의 입력이 수학식 1에 입력될 수 있고, 점수 또는 순위가 출력될 수 있고, 이 점수 또는 순위는 이어서 관련성 결정의 일부로서 검색 결과의 순위를 지정할 때 사용될 수 있다. 일례로서, x₁은 Nc 매개변수와 연관된 계산된 입력을 나타내는 데 사용될 수 있고, x₂는 Ns 매개변수와 연관된 계산된 입력을 나타내는 데 사용될 수 있으며, x₃은 Pc 매개변수와 연관된 계산된 입력을 나타내는 데 사용될 수 있고, x₄는 Ps 매개변수와 연관된 계산된 입력을 나타내는 데 사용될 수 있다. 이상에서 기술한 바와 같이, 스트림은 또한 본문, 제목, 제작자, URL, 앵커 텍스트, 발생된 제목, 및/또는 Pc를 포함할 수 있다. 따라서, 관련성 결정의 일부로서 검색 결과의 순위를 지정할 때 하나 이상의 입력(예를 들어, x₁, x₂, x₃, 및/또는 x₄)이 평가 함수(수학식 1)에 입력될 수 있다. 그에 대응하여, 검색 구성요소(102)는 발행된 쿼리 및 하나 이상의 순위 지정 입력에 기초하여 순위 지정된 검색 결과를 사용자에게 제공할 수 있다. 예를 들어, 검색 구성요소(102)는 URL의 집합을 반환할 수 있으며, 여기서 이 집합 내의 URL은 순위 지정 순서에 기초하여 (예를 들어, 높은 관련성 값부터 낮은 관련성 값으로) 사용자에게 제시될 수 있다.

검색 결과를 순위 지정하여 제공할 때 다른 특징들도 사용될 수 있다. 일 실시예에서, 검색 결과를 순위 지정하여 제공하기 위해, 클릭 간격(CD), URL 깊이(UD), 파일 형식 또는 이전의 형식(T), 언어 또는 이전의 언어(L), 및/또는 기타 순위 지정 특징이 사용될 수 있다. 선형 순위 결정, 신경망 결정, 또는 기타 순위 결정의 일부로서 하나 이상의 부가의 순위 지정 특징이 사용될 수 있다. 예를 들어, 선형 순위 결정, 신경망 결정, 또는 기타 순위 결정의 일부로서 하나 이상의 동적 순위 지정 특징과 관련하여 하나 이상의 정적 순위 지정 특징이 사용될 수 있다.

따라서, CD는 클릭 간격을 나타내고, 여기서 CD는 기준 위치로부터 주어진 대상(예를 들어, 페이지 또는 문서 등)에 도달하기 위해 필요한 "클릭"의 횟수를 측정하는 쿼리-독립적인 순위 지정 특징으로서 기술될 수 있다. CD는 트리 구조를 따를 수 있는 시스템의 계층적 구조를 이용하며, 루트 노드(예를 들어, 홈 페이지) 및 후속하는 분기는 그 루트로부터 다른 노드로 뻗어 있다. 트리를 그래프로서 볼 때, CD는 기준 위치인 루트와 주어진 페이지 사이의 최단 경로로서 표현될 수 있다. UD는 URL 깊이를 나타내며, 여기서 UD는 URL에서의 슬래시("/")의 수의 카운트를 표현하는 데 사용될 수 있다. T는 이전의 형식을 나타내고, L은 이전의 언어를 나타낸다.

T 및 L 특징은 열거된 데이터 형식을 표현하는 데 사용될 수 있다. 이러한 데이터 형식의 일례는 파일 형식 및 언어 유형을 포함한다. 일례로서, 임의의 주어진 검색 도메인에 대해, 파일 형식의 유한 집합이 존재하고 및/또는 연관된 검색 엔진에 의해 지원될 수 있다. 예를 들어, 엔터프라이즈 인트라넷은 워드 프로세싱 문서, 스프레드시트, HTML 웹 페이지, 및 기타 문서를 포함할 수 있다. 이들 파일 형식 각각은 연관된 문서의 관련성에 각기 다른 영향을 미칠 수 있다. 예시적인 변환은, 각각의 지원되는 파일 형식에 대해 하나씩, 파일 형식 값을 일련의 이진 플래그로 변환할 수 있다. 이들 플래그 각각은, 각각이 개별 가중치를 부여받고 개별적으로 처리될 수 있도록, 신경망에 의해 개별적으로 사용될 수 있다. 언어(문서 작성에 이용된 언어)도 유사한 방식으로 처리될 수 있으며, 하나의 개별 이진 플래그가 문서가 특정 언어로 작성되어 있는지 여부를 나타내는 데 사용된다. 용어 빈도수의 합은 또한 본문, 제목, 제작자, 앵커 텍스트, URL 디스플레이 이름, 추출된 제목 등을 포함할 수 있다.

궁극적으로, 사용자 만족은 검색 구성요소(102)의 동작의 가장 확실한 척도 중 하나이다. 사용자가 얻어진 후보 집합을 조사하는 데 많은 시간을 투자할 필요가 없도록, 사용자는 검색 구성요소(102)가 가장 관련성있는 결과를 신속하게 반환하기를 원할 것이다. 예를 들어, 사용자 만족 수준을 결정하기 위해 메트릭 평가(metric evaluation)가 사용될 수 있다. 일 실시예에서, 순위 지정 알고리즘(106)에 대한 입력 또는 순위 지정 알고리즘(106)의 관점을 변화시킴으로써 메트릭 평가가 향상될 수 있다. 일부 대표적인 또는 랜덤한 쿼리 집합에 걸쳐 메트릭 평가가 계산될 수 있다. 예를 들어, 데이터베이스 구성요소(110)에 저장된 쿼리 로그에 포함된 쿼리의 랜덤한 샘플링에 기초하여 대표적인 쿼리 집합이 선택될 수 있다. 관련성 라벨이 메트릭 평가 쿼리 각각에 대해 검색 구성요소(102)에 의해 반환된 각각의 결과에 할당되거나 그와 연관될 수 있다.

예를 들어, 메트릭 평가는 상위 N개(1개, 5개, 10개 등)의 결과(1, 5, 10 등에서의 정밀도라고도 함)에서 쿼리에서의 관련성있는 문서의 평균 카운트를 포함할 수 있다. 다른 일례로서, 검색 결과를 평가하기 위해 평균 정밀도 또는 NDCG(Normalized Discounted Cumulative Gain) 등의 보다 복잡한 척도가 사용될 수 있다. NDCG는 다중-레벨 판단을 가능하게 해주고 관련성이 적은 문서를 상위 순위로, 관련성이 많은 문서를 하위 순위로 반환하는 것에 대해 검색 구성요소(102)에 불이익을 주는 누적 메트릭(cumulative metric)으로서 기술될 수 있다. 전체적인 정확도 정량화(accuracy quantification)를 결정하기 위해 쿼리 집합에 걸쳐 메트릭이 평균될 수 있다.

계속하여 NDCG 일례에서, 주어진 쿼리 "Q_i"에 대해, NDCG가 다음과 같이 계산될 수 있으며:

N은 통상적으로 3 또는 10이다. 전체적인 정확도 수(accuracy number)를 결정하기 위해 쿼리 집합에 걸쳐 메트릭이 평균될 수 있다.

이하는 평가 함수(수학식 1)에서 Nc, Ns 및 Pc 클릭 방문 매개변수를 사용하는 것에 기초하여 얻어지는 일부 실험 결과이다. 10-분할(split) 쿼리 집합(744개 쿼리, ~130K 문서)에 대해 실험이 수행되었고, 5-폴드 교차-유효성 검사(5-fold cross-validation run)가 실행되었다. 각각의 폴드에 대해, 학습을 위해 6개의 분할이 사용되었고, 유효성 검사를 위해 2개의 분할이 사용되었으며, 테스트를 위해 2개의 분할이 사용되었다. 표준 버전의 λ-순위 알고리즘이 사용되었다(상기 참조).

따라서, 4개의 숨겨진 노드를 갖는 2층 신경망 평가 함수를 사용하여 집계된 결과로부터 이하의 표 1에 나타낸 것이 얻어진다:

특징 집합	NDCG@1	NDCG@3	NDCG@10
기준선(클릭 방문 특징 없음)	62.841	60.646	62.452
포함된 Nc, Ns 및 Pc	64.598(+2.8%)	62.237(+2.6%)	63.164(+1.1%)

6개의 숨겨진 노드를 갖는 2층 신경망 평가 함수를 사용하여 집계된 결과로부터 이하의 표 2에 나타낸 것이 얻어진다:

특징 집합	NDCG@1	NDCG@3	NDCG@10
기준선(클릭 방문 없음)	62.661	60.899	62.373
포함된 Nc, Ns 및 Pc	65.447(+4.4%)	62.515(+2.7%)	63.296(+1.5%)

문서 관련성의 척도로서 사용될 수 있는 하나의 부가의 순위 지정 특징(108)은 문서 길이이다. 문서 길이는 효과적인 순위 지정 도구일 수 있는데, 그 이유는 짧은 문서가 통상적으로 사용자에게 유용하게 될 충분한 정보를 포함하고 있지 않기 때문이다. 즉, 짧은 문서는 통상적으로 검색 쿼리에 대한 답변을 제공하지 않는다. 한편, 긴 문서는 통상적으로 문서 내의 어떤 정보가 검색 쿼리에 관계되어 있는지를 결정하는 것이 때로는 어려울 정도로 많은 정보를 포함하고 있다.

많은 각기 다른 유형의 문서가 검색 쿼리의 결과로서 반환될 수 있기 때문에, 문서 순위를 결정하는 데 있어서의 첫번째 단계는 문서 길이의 정규화된 값을 계산하는 것이다. 문서 길이를 순위 지정되는 문서의 유형과 무관하게 만들기 위해 이것이 행해진다. 문서의 정규화된 길이는 문서의 길이(단위: 단어)를 순위 지정되는 문서 집합(예를 들어, 검색 쿼리의 결과로서 반환되는 문서들)의 평균 길이로 나눈 것으로 정의된다. 이것은 하기의 식으로 표현될 수 있다:

여기서 D는 정규화된 문서 길이를 나타내고, L_D는 순위 지정되는 문서의 길이를 나타내며, L_AVG는 문서 집합 내의 문서의 평균 길이를 나타낸다.

이어서, 정규화된 문서 길이에 대한 순위 값(0부터 1까지)을 제공하기 위해 변환 함수가 사용되며, 상위 순위 값은 관련성이 많은 문서를 나타낸다. 일 실시예에서, 변환 함수는 다음과 같이 표현될 수 있다:

이 예시적인 변환 함수는 문서가 너무 길거나 너무 짧은 것에 대해서는 불이익을 준다. 평균 길이의 문서에 대해, 즉 정규화된 길이 1을 가지는 문서에 대해 최고 순위 값 1이 계산된다. 이와 달리, 정규화된 길이 0.5(즉, 평균 길이의 1/2)를 갖는 문서는 순위 값 0.5를 가지며, 정규화된 길이 7(즉, 평균 길이의 7배)을 갖는 문서는 순위 값 0.25를 가진다.

문서 길이 순위 값이 데이터베이스 구성요소(110)에 저장되고 필요에 따라 업데이트될 수 있다. 검색 구성요소(102)는 검색 결과를 순위 지정하여 제공할 때 데이터베이스 구성요소(110) 내의 문서 길이 정보를 사용할 수 있다.

도 2는 일 실시예에 따른, 사용자 쿼리에 일부 기초하여 정보를 제공하는 프로세스를 나타낸 흐름도이다. 도 1의 구성요소가 도 2의 설명에서 사용되지만, 본 실시예가 그것으로 제한되지 않는다. 200에서, 검색 구성요소(102)는 사용자 쿼리와 연관된 쿼리 데이터를 수신한다. 예를 들어, 웹-기반 브라우저를 사용하는 사용자는 사용자 쿼리를 정의하는 다수의 키워드로 이루어지는 텍스트 문자열을 전송할 수 있다. 202에서, 검색 구성요소(102)는 사용자 쿼리와 연관된 임의의 순위 지정 특징(108)을 검색하기 위해 데이터베이스 구성요소(110)와 통신할 수 있다. 예를 들어, 검색 구성요소(102)는 다수의 쿼리 테이블로부터 하나 이상의 클릭 방문 순위 지정 특징을 검색할 수 있으며, 여기서 하나 이상의 클릭 방문 순위 지정 특징은 유사하거나 동일한 키워드를 가지는 이전에 발행된 쿼리와 연관된다.

204에서, 검색 구성요소(102)는 사용자 쿼리를 사용하여 하나 이상의 검색 결과를 찾아낼 수 있다. 예를 들어, 검색 구성요소(102)는 텍스트 문자열을 사용하여 파일 시스템, 데이터베이스, 웹-기반 컬렉션, 또는 어떤 다른 정보 리포지토리와 연관된 문서, 파일, 및 기타 데이터 구조를 찾아낼 수 있다. 206에서, 검색 구성요소(102)는 하나 이상의 순위 지정 특징(108)을 사용하여 검색 결과의 순위를 지정할 수 있다. 예를 들어, 검색 구성요소(102)는 각각의 검색 결과에 대한 순위와 연관된 출력을 제공할 수 있는 평가 함수(수학식 1)에 하나 이상의 클릭 방문 순위 지정 매개변수를 입력할 수 있다.

208에서, 검색 구성요소(102)는 순위를 사용하여 순위 지정된 순서로 검색 결과를 사용자에게 제공할 수 있다. 예를 들어, 검색 구성요소(102)는 다수의 검색된 문서를 사용자에게 제공할 수 있고, 여기서 검색된 문서는 숫자 순위 순서(예를 들어, 내림차순, 오름차순, 기타)에 따라 사용자에게 제시될 수 있다. 210에서, 검색 구성요소(102)는 검색 결과와 연관된 사용자 동작 또는 무동작을 사용하여, 데이터베이스 구성요소(110)에 저장될 수 있는 하나 이상의 순위 지정 특징(108)을 업데이트할 수 있다. 예를 들어, 사용자가 URL 검색 결과을 클릭하거나 건너뛰기한 경우, 검색 구성요소(102)는 클릭 방문 데이터(클릭 데이터 또는 건너뛰기 데이터)를 데이터베이스 구성요소(110)의 다수의 쿼리 로깅 테이블에 넣을 수 있다. 그 후에, 인덱스 구성요소(112)는 인덱싱된 정보 카탈로그를 업데이트하는 것과 연관된 인덱싱 동작을 비롯한 다양한 인덱싱 동작을 위해 업데이트된 순위 지정 특징을 사용하도록 동작할 수 있다.

도 3은 일 실시예에 따른, 사용자 쿼리에 일부 기초하여 정보를 제공하는 프로세스를 나타낸 흐름도이다. 다시 말하지만, 도 1의 구성요소가 도 3의 설명에서 사용되지만, 본 실시예가 그것으로 제한되지 않는다. 도 3의 프로세스는 검색 구성요소(102)가 사용자 인터페이스(103)로부터 발행된 사용자 쿼리를 수신한 이후이며, 여기서 검색 구성요소(102)는 사용자 쿼리를 만족시키는 다수의 문서를 찾아내었다. 예를 들어, 검색 구성요소(102)는 웹-기반 검색의 일부로서 다수의 전송된 키워드를 사용하여 문서를 찾아낼 수 있다.

300에서, 검색 구성요소(102)는 사용자 쿼리를 만족시킨 그 다음 문서를 획득한다. 302에서, 검색 구성요소(102)가 모든 문서를 찾아낸 경우, 흐름은 316으로 진행하여, 검색 구성요소(102)는 찾아낸 문서를 순위에 따라 정렬할 수 있다. 302에서, 모든 문서를 찾아내지 않은 경우, 흐름은 304로 진행하여, 검색 구성요소(102)는 데이터베이스 구성요소(110)로부터 임의의 클릭 방문 특징을 검색하고, 검색된 클릭 방문 특징이 검색 구성요소(102)가 찾아낸 현재의 문서와 연관된다.

306에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 Pc 매개변수와 연관된 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 Pc 매개변수를 수학식 6에 입력하여 Pc 매개변수와 연관된 입력을 계산할 수 있다. 308에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 Nc 매개변수와 연관된 제2 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 Nc 매개변수를 수학식 4에 입력하여 Nc 매개변수와 연관된 입력을 계산할 수 있다.

310에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 Ns 매개변수와 연관된 제3 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 Ns 매개변수를 수학식 5에 입력하여 Ns 매개변수와 연관된 입력을 계산할 수 있다. 312에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 Ps 매개변수와 연관된 제4 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 Ps 매개변수를 수학식 8에 입력하여 Ps 매개변수와 연관된 입력을 계산할 수 있다.

313에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 문서 길이와 연관된 제5 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 사용자 쿼리의 결과로서 획득된 각각의 문서 내의 단어의 수를 계산할 수 있고, 각각의 문서 내의 단어의 수는 그 문서의 길이를 나타낸다. 각각의 문서의 정규화된 길이는 수학식 11를 사용하여 각각의 문서의 길이를 쿼리의 결과로서 획득된 모든 문서의 평균 길이로 나눔으로써 얻어질 수 있다. 이어서, 수학식 12, 수학식 13 및 수학식 14에 의해 정의된 변환 함수를 사용하여 0 내지 1의 범위를 가지는 순위 값을 계산함으로써 문서 길이에 기초한 순위 값이 얻어질 수 있다.

314에서, 검색 구성요소(102)는 하나 이상의 계산된 입력을 평가 함수(수학식 1)에 입력하여 현재의 문서에 대한 순위를 계산하는 동작을 한다. 대안의 실시예에서, 검색 구성요소(102)는 그 대신에 각각의 클릭 방문 매개변수에 대한 입력을 계산하기 보다는 선택된 매개변수와 연관된 입력값을 계산할 수 있다. 순위 지정할 문서가 남아 있지 않은 경우, 316에서, 검색 구성요소(102)는 순위에 의해 문서를 정렬한다. 예를 들어, 검색 구성요소(102)는 내림차순 순위 순서에 따라 문서를 정렬할 수 있다(최고 순위 값을 가지는 문서에서 시작하여 최저 순위 값을 가지는 문서에서 끝남). 검색 구성요소(102)는 또한 순위를 경계(cutoff)로서 사용하여 사용자에게 제시되는 결과의 수를 제한할 수 있다. 예를 들어, 검색 구성요소(102)는 검색 결과를 제공할 때 X보다 큰 순위를 가지는 문서만을 제공할 수 있다. 그 후에, 검색 구성요소(102)는 추가의 동작 또는 무동작을 위해 정렬된 문서를 사용자에게 제공할 수 있다. 도 2 및 도 3과 관련하여 특정 순서가 기술되어 있지만, 원하는 구현에 따라 순서가 변경될 수 있다.

본 명세서에 기술된 실시예 및 일례가 제한하기 위한 것이 아니며, 다른 실시예가 이용가능하다. 게다가, 이상에서 기술된 구성요소는 네트워크 환경, 분산 환경, 또는 기타 컴퓨터-구현 환경의 일부로서 구현될 수 있다. 구성요소는 유선 네트워크, 무선 네트워크, 및/또는 통신 네트워크의 조합을 통해 통신할 수 있다. 데스크톱 컴퓨터, 랩톱, 핸드헬드, 또는 기타 스마트 장치를 비롯한 다수의 클라이언트 컴퓨팅 장치가 시스템(100)과 상호작용할 수 있고 및/또는 시스템(100)의 일부로서 포함되어 있을 수 있다.

대안의 실시예에서, 다양한 구성요소가 원하는 구현에 따라 결합 및/또는 구성될 수 있다. 예를 들어, 인덱스 구성요소(112)가 인덱싱 및 검색 기능을 제공하는 하나의 구성요소로서 검색 구성요소(102)에 포함될 수 있다. 부가의 예시적인 신경망이 하드웨어로 또는 소프트웨어로 구현될 수 있다. 특정 실시예가 소프트웨어 구현을 포함하지만, 그것으로 제한되지 않으며, 하드웨어 또는 하드웨어/소프트웨어 혼합 솔루션을 포함한다. 다른 실시예 및 구성이 이용가능하다.

예시적인 운영 환경

이제 도 4를 참조하면, 이하의 설명은 본 발명의 실시예가 구현될 수 있는 적당한 컴퓨팅 환경에 대한 간략하고 전반적인 설명을 제공하기 위한 것이다. 본 발명이 일반적으로 개인용 컴퓨터에서 운영 체제 상에서 실행되는 프로그램 모듈과 관련하여 실행되는 프로그램 모듈과 관련하여 기술될 것이지만, 당업자라면 본 발명이 또한 다른 유형의 컴퓨터 시스템 및 프로그램 모듈과 관련하여 구현될 수 있다는 것을 잘 알 것이다.

일반적으로, 프로그램 모듈은 특정의 작업을 수행하거나 특정의 추상 데이터 형식을 구현하는 루틴, 프로그램, 구성요소, 데이터 구조, 및 기타 유형의 구조체를 포함한다. 게다가, 당업자라면 본 발명이 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 미니컴퓨터, 메인프레임 컴퓨터, 기타 등등을 비롯한 기타 컴퓨터 시스템 구성에서 실시될 수 있다는 것을 잘 알 것이다. 본 발명은 또한 작업이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치에 의해 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다. 분산 컴퓨팅 환경에서는, 프로그램 모듈이 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.

이제부터 도 4를 참조하여, 본 발명의 실시예에 대한 예시적인 운영 환경에 대해 기술할 것이다. 도 4에 도시된 바와 같이, 컴퓨터(2)는 하나 이상의 응용 프로그램을 실행할 수 있는 범용 데스크톱, 랩톱, 핸드헬드, 또는 기타 유형의 컴퓨터를 포함한다. 컴퓨터(2)는 적어도 하나의 중앙 처리 장치("CPU")(8), 랜덤 액세스 메모리("RAM")(18) 및 판독 전용 메모리("ROM")(20)를 포함하는 시스템 메모리(12), 및 메모리를 CPU(8)에 결합시키는 시스템 버스(10)를 포함하고 있다. 시동 중과 같은 때에 컴퓨터 내의 구성요소들 간의 정보 전송을 돕는 기본 루틴이 들어 있는 기본 입/출력 시스템은 ROM(20)에 저장되어 있다. 컴퓨터(2)는 또한 운영 체제(32), 응용 프로그램, 및 기타 프로그램 모듈을 저장하는 대용량 저장 장치(14)도 포함하고 있다.

대용량 저장 장치(14)는 버스(10)에 연결된 대용량 저장장치 제어기(도시 생략)를 통해 CPU(8)에 연결되어 있다. 대용량 저장 장치(14) 및 그와 연관된 컴퓨터-판독가능 매체는 컴퓨터(2)에 비휘발성 저장을 제공한다. 본 명세서에 포함된 컴퓨터-판독가능 매체에 대한 설명이 하드 디스크 또는 CD-ROM 드라이브 등의 대용량 저장 장치를 언급하고 있지만, 당업자라면 컴퓨터-판독가능 매체가 컴퓨터(2)에 의해 액세스되거나 이용될 수 있는 이용가능한 매체라면 어느 것이라도 될 수 있다는 것을 잘 알 것이다.

제한이 아닌 예로서, 컴퓨터-판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등의 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체로는 RAM, ROM, EPROM, EEPROM, 플래쉬 메모리 또는 기타 고상 메모리(solid state memory) 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 또 컴퓨터(2)에 의해 액세스될 수 있는 임의의 다른 매체가 있지만, 이들로 제한되지 않는다.

본 발명의 다양한 실시예에 따르면, 컴퓨터(2)는, 예를 들어, 로컬 네트워크, 인터넷, 기타 등등의 네트워크(4)를 통한 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 컴퓨터(2)는 버스(10)에 연결된 네트워크 인터페이스 유닛(16)을 통해 네트워크(4)에 연결할 수 있다. 네트워크 인터페이스 유닛(16)이 또한 기타 유형의 네트워크 및 원격 컴퓨팅 시스템에 연결하는 데도 이용될 수 있다는 것을 잘 알 것이다. 컴퓨터(2)는 또한 키보드, 마우스 등(도시 생략)을 비롯한 다수의 다른 장치로부터 입력을 수신하여 처리하는 입/출력 제어기(22)도 포함할 수 있다. 이와 유사하게, 입/출력 제어기(22)는 디스플레이 화면, 프린터, 또는 기타 유형의 출력 장치에 출력을 제공할 수 있다.

앞서 간단히 언급한 바와 같이, 미국 워싱턴주 레드몬드 소재의 MICROSOFT CORPORATION의 WINDOWS 운영 체제 등의, 네트워크화된 개인용 컴퓨터의 동작을 제어하는 데 적합한 운영 체제(32)를 비롯한 다수의 프로그램 모듈 및 데이터 파일이 컴퓨터(2)의 대용량 저장 장치(14) 및 RAM(18)에 저장될 수 있다. 대용량 저장 장치(14) 및 RAM(18)은 또한 하나 이상의 프로그램 모듈도 저장할 수 있다. 상세하게는, 대용량 저장 장치(14) 및 RAM(18)은 검색 응용 프로그램(24), 워드 프로세싱 응용 프로그램(28), 스프레드시트 응용 프로그램(30), 이메일 응용 프로그램(34), 드로잉(drawing) 응용 프로그램, 기타 등등의 응용 프로그램을 저장할 수 있다.

본 발명의 다양한 실시예들이 (1) 컴퓨팅 시스템 상에서 실행되는 일련의 컴퓨터 구현 동작들 또는 프로그램 모듈들로서 및/또는 (2) 컴퓨팅 시스템 내의 상호연결된 기계 논리 회로들 또는 회로 모듈들로서 구현될 수 있다는 것을 잘 알 것이다. 이 구현은 본 발명을 구현하는 컴퓨팅 시스템의 성능 요건에 따른 선택의 문제이다. 그에 따라, 관련 알고리즘을 포함하는 논리 연산이 연산, 구조적 장치, 동작 또는 모듈 등 여러가지로 지칭될 수 있다. 당업자라면 이들 연산, 구조적 장치, 동작 및 모듈이, 본 명세서에 기재된 청구항들에 기재된 본 발명의 사상 및 범위를 벗어나지 않고, 소프트웨어, 펌웨어, 특수 목적의 디지털 논리, 및 이들의 임의의 조합으로 구현될 수 있다는 것을 잘 알 것이다.

본 발명이 다양한 예시적인 실시예와 관련하여 기술되어 있지만, 당업자라면 이하의 특허청구범위의 범위 내에서 본 발명에 많은 수정이 행해질 수 있다는 것을 잘 알 것이다. 따라서, 본 발명의 범위가 이상의 설명에 의해서 결코 제한되어서는 안되며, 그 대신에 전적으로 이하의 특허청구범위를 참조하여 결정되어야 한다.

Claims

정보를 제공하는 시스템(100)으로서,
쿼리 입력에 기초하여 검색 결과를 찾아내도록 구성된 검색 구성요소(102);
하나 이상의 순위 지정 특징(108)을 포함하는 상기 쿼리 입력과 연관된 정보를 저장하도록 구성된 데이터베이스 구성요소(110) - 상기 하나 이상의 순위 지정 특징(108)은 이전의 사용자에 의해 수행된 동일한 쿼리 또는 유사한 쿼리에 대한 상기 검색 결과와 관련하여 수집될 수 있는 검색 결과와 연관된 사용자 동작 또는 사용자 무동작과 연관될 수 있고, 상기 하나 이상의 순위 지정 특징(108) 중 하나의 순위 지정 특징은 문서 길이와 연관될 수 있음 - ; 및
동작-기반 특징, 무동작-기반 특징 및 문서 길이 특징을 포함하는 상기 하나 이상의 순위 지정 특징(108) 및 순위 지정 함수에 적어도 일부 기초하여 상기 검색 결과의 순위를 지정하도록 구성된 순위 지정 구성요소(104)를 포함하며, 상기 검색 구성요소(102)가 순위 순서에 따라 검색 결과를 제공할 때 상기 검색 결과의 순위를 사용할 수 있는 것인 시스템.
제1항에 있어서, 문서 길이가 순위 지정될 문서의 길이를 문서 집합의 평균 길이로 나눔으로써 정규화되고, 상기 순위 지정될 문서는 상기 문서 집합 내에 포함되어 있으며, 상기 문서의 길이는 상기 문서 내의 단어의 수에 대응하는 것인 시스템.
제2항에 있어서, 변환 함수가 정규화된 문서 길이를 0과 1 사이의 순위 값으로 변환하는 것인 시스템.
제3항에 있어서, 상기 변환 함수가 하기의 수식으로 정의되고:

여기서 D는 상기 정규화된 문서 길이를 나타내고, F(D)는 상기 순위 값을 나타내는 것인 시스템.
제1항에 있어서, 상기 순위 지정 함수가 하기의 식으로 정의된 평가 함수(scoring function)를 추가로 포함하고:

여기서

이고,
x_i는 상기 평가 함수에 대한 하나 이상의 입력을 나타내고,
w2_j는 숨겨진 노드의 가중치를 나타내며,
w_ij는 상기 입력의 가중치를 나타내고,
t_j는 다수의 임계값을 나타내며,
tanh는 쌍곡선 탄젠트 함수인 것인 시스템.
제1항에 있어서, 상기 순위 지정 구성요소(104)는, 상기 검색 결과의 순위를 지정할 때, 하나 이상의 클릭 방문 매개변수를 사용할 수 있고, 상기 하나 이상의 클릭 방문 매개변수는
상기 검색 결과가 클릭된 횟수와 연관된 클릭 매개변수;
상기 검색 결과가 건너뛰기된 횟수와 연관된 건너뛰기 매개변수;
클릭된 검색 결과와 연관된 쿼리 문자열의 합집합에 대응하는 제1 스트림 매개변수; 및
건너뛰기된 검색 결과와 연관된 쿼리 문자열의 합집합에 대응하는 제2 스트림 매개변수 중 하나 이상을 더 포함하는 것인 시스템.
제1항에 있어서, 상기 하나 이상의 순위 지정 특징(108)이 본문, 제목, 제작자, 발생된 제목, 앵커 텍스트, 및 URL로 이루어지는 그룹 중에서 선택된 하나 이상의 동적 순위 지정 특징, 및 클릭 간격(click distance), URL 깊이, 파일 형식, 및 언어로 이루어지는 그룹 중에서 선택된 하나 이상의 정적 순위 지정 특징을 포함하는 것인 시스템.
제6항에 있어서, 상기 순위 지정 구성요소(104)는 클릭 매개변수와 연관된 입력값을 계산하도록 더 구성되어 있고, 계산된 입력은

으로서 정의되는 것인 시스템.
제6항에 있어서, 상기 검색 구성요소(102)는 건너뛰기 매개변수와 연관된 입력값을 계산하도록 더 구성되어 있고, 계산된 입력은

으로서 정의되는 것인 시스템.
제6항에 있어서, 상기 검색 구성요소(102)는 상기 제1 스트림 매개변수와 연관된 입력값을 계산하도록 더 구성되어 있고, 계산된 입력은

, 및

으로서 정의되는 것인 시스템.
제6항에 있어서, 상기 검색 구성요소(102)는 상기 제2 스트림 매개변수와 연관된 입력값을 계산하도록 더 구성되어 있고, 계산된 입력은

, 및

으로서 정의되는 것인 시스템.
검색 엔진(102)으로서,
쿼리와 연관된 정보를 수신하고,
쿼리와 연관된 검색 결과를 찾아내며,
상기 검색 결과 및 클릭 매개변수와 연관된 제1 입력을 계산하고,
상기 검색 결과 및 건너뛰기 매개변수와 연관된 제2 입력을 계산하며,
상기 검색 결과 및 문서 길이 매개변수와 연관된 제3 입력을 계산하고,
상기 제1 입력, 제2 입력 및 제3 입력을 사용하여 검색 결과의 순위를 지정하도록 구성되어 있는 검색 엔진.
제12항에 있어서, 상기 검색 결과 및 제1 스트림 매개변수와 연관된 제4 입력을 계산하고,
상기 검색 결과 및 제2 스트림 매개변수와 연관된 제5 입력을 계산하며,
상기 제1 입력, 제2 입력, 제3 입력, 제4 입력 및 제5 입력 중 적어도 4개의 입력을 사용하여 검색 결과의 순위를 지정하도록 더 구성되어 있는 검색 엔진.
정보를 제공하는 방법으로서,
하나 이상의 키워드를 포함하는 쿼리를 수신하는 단계,
상기 하나 이상의 키워드에 일부 기초하여 후보를 검색하는 단계,
상기 하나 이상의 키워드에 일부 기초하여 쿼리 후보들을 찾아내는 단계,
상기 쿼리 후보들 중 적어도 하나 및 이전의 사용자 동작과 연관된 제1 입력값을 결정하는 단계,
상기 쿼리 후보들 중 적어도 하나 및 이전의 사용자 무동작과 연관된 제2 입력값을 결정하는 단계,
상기 쿼리 후보들의 문서 길이와 연관된 제3 입력값을 결정하는 단계, 및
상기 제1 입력값, 제2 입력값 및 제3 입력값 중 하나 이상의 입력값 및 평가 함수를 사용하는 평가 결정에 일부 기초하여 한 세트의 상기 쿼리 후보들의 순위를 지정하는 단계를 포함하는 방법.
제14항에 있어서, 상기 쿼리 후보들 중 적어도 하나의 사용자 선택 및 텍스트 스트림과 연관된 제4 입력값을 결정하는 단계, 및
상기 제1 입력값, 제2 입력값, 제3 입력값 및 제4 입력값 중 하나 이상의 입력값 및 평가 함수를 사용하는 평가 결정에 일부 기초하여 한 세트의 상기 쿼리 후보들의 순위를 지정하는 단계를 더 포함하는 방법.