KR101683311B1 - 검색 결과 순위 지정을 위한 정적 관련성 특징으로서 문서 길이를 이용한 정보 제공 방법, 시스템 및 컴퓨터 판독가능 저장 매체 - Google Patents

검색 결과 순위 지정을 위한 정적 관련성 특징으로서 문서 길이를 이용한 정보 제공 방법, 시스템 및 컴퓨터 판독가능 저장 매체 Download PDF

Info

Publication number
KR101683311B1
KR101683311B1 KR1020117005588A KR20117005588A KR101683311B1 KR 101683311 B1 KR101683311 B1 KR 101683311B1 KR 1020117005588 A KR1020117005588 A KR 1020117005588A KR 20117005588 A KR20117005588 A KR 20117005588A KR 101683311 B1 KR101683311 B1 KR 101683311B1
Authority
KR
South Korea
Prior art keywords
ranking
search
search result
document
query
Prior art date
Application number
KR1020117005588A
Other languages
English (en)
Other versions
KR20120089560A (ko
Inventor
블라디미르 탄코비치
드미트리 메예르존
마이클 제임스 테일러
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20120089560A publication Critical patent/KR20120089560A/ko
Application granted granted Critical
Publication of KR101683311B1 publication Critical patent/KR101683311B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/638—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor

Abstract

실시예가 사용자 쿼리에 기초하여 정보를 제공하도록 구성되어 있다. 일 실시예에서, 시스템은 쿼리 응답의 일부로서 검색 결과의 순위를 지정하는 데 사용될 수 있는 순위 지정 구성요소를 가지는 검색 구성요소를 포함한다. 일 실시예에서, 순위 지정 구성요소는 검색 쿼리에 응답하여 반환된 문서의 길이를 사용하여 검색 결과의 순위를 지정할 수 있는 순위 지정 알고리즘을 포함한다.

Description

검색 결과 순위 지정을 위한 정적 관련성 특징으로서 문서 길이를 이용한 정보 제공 방법, 시스템 및 컴퓨터 판독가능 저장 매체{A METHOD, SYSTEM AND COMPUTER-READABLE STORAGE MEDIUM FOR PROVIDING INFORMATION BY USING DOCUMENT LENGTH AS A STATIC RELEVANCE FEATURE FOR RANKING SEARCH RESULTS}
컴퓨터 사용자는 로컬적으로 또는 원격적으로 저장될 수 있는 정보를 찾아내는 서로 다른 방식을 가지고 있다. 예를 들어, 키워드를 사용하여 문서 및 기타 파일을 찾아내는 데 검색 엔진이 사용될 수 있다. 웹-기반 쿼리를 수행하는 데도 검색 엔진이 사용될 수 있다. 검색 엔진은 쿼리에 기초하여 관련성있는 결과를 반환하려고 시도한다.
<발명의 요약>
이 요약은 이하에서 상세한 설명에 더 기술되는 일련의 개념을 간략화된 형태로 소개하기 위해 제공된 것이다. 이 요약은 청구된 발명 대상의 주요 특징 또는 필수적인 특징을 확인하기 위한 것이 아니며, 청구된 발명 대상의 범위를 정하는 데 보조 수단으로 사용되기 위한 것도 아니다.
실시예는 검색 결과를 제공할 때 하나 이상의 순위 지정 특징을 사용하는 것을 포함하여 정보를 제공하도록 구성되어 있다. 일 실시예에서, 시스템은 쿼리에 기초한 검색 결과를 순위 지정하여 제공하기 위해 하나 이상의 순위 지정 특징을 사용하도록 구성될 수 있는 순위 지정 알고리즘을 포함하는 검색 엔진을 포함한다. 일 실시예에 따르면, 문서 관련성의 순위 지정 특징 또는 척도로서 문서 길이가 사용될 수 있다.
이들 및 다른 특징 및 이점이 이하의 상세한 설명을 읽어보고 또 관련 도면을 살펴보면 명백하게 될 것이다. 이상의 개괄적인 설명 및 이하의 상세한 설명 둘다가 단지 설명을 위한 것이며 청구된 발명을 제한하는 것이 아니라는 것을 잘 알 것이다.
도 1은 정보를 관리하도록 구성된 예시적인 시스템의 블록도.
도 2는 순위 지정 및 쿼리 프로세스의 일례를 나타낸 흐름도.
도 3은 순위 지정 및 쿼리 프로세스의 일례를 나타낸 흐름도.
도 4는 본 명세서에 기술된 다양한 실시예를 구현하는 컴퓨팅 환경을 나타낸 블록도.
실시예는 검색 결과를 제공할 때 하나 이상의 순위 지정 특징을 사용하는 것을 포함하여 정보를 제공하도록 구성되어 있다. 일 실시예에서, 시스템은 쿼리에 기초한 검색 결과를 순위 지정하여 제공하기 위해 하나 이상의 클릭 방문(click-through) 순위 지정 특징을 사용하도록 구성될 수 있는 순위 지정 알고리즘을 포함하는 검색 엔진을 포함한다. 일 실시예에서, 시스템은 검색 결과를 순위 지정하여 제공하기 위해 클릭 매개변수, 건너뛰기 매개변수, 하나 이상의 스트림 매개변수, 및 문서 길이를 사용할 수 있는 순위 지정 구성요소를 포함한다.
일 실시예에서, 시스템은 컴퓨터-판독가능 저장 매체의 일부로서 포함될 수 있는 검색 응용 프로그램을 포함하는 검색 구성요소를 포함한다. 사용자 쿼리 및/또는 기타 사용자 동작(action) 및/또는 무동작(inaction)에 일부 기초하여, 검색 결과를 제공하기 위해 검색 응용 프로그램이 사용될 수 있다. 예를 들어, 사용자는 검색 응용 프로그램에 키워드를 입력할 수 있고, 검색 응용 프로그램은 키워드를 사용하여 관련성있는 검색 결과를 반환할 수 있다. 사용자는 추가의 정보를 얻기 위해 검색 결과를 클릭하거나 클릭하지 않을 수 있다. 이하에 기술하는 바와 같이, 검색 응용 프로그램은, 검색 결과를 순위 지정하여 반환할 때, 이전의 동작 및 이전의 무동작-기반 정보를 사용할 수 있다. 그에 대응하여, 검색 응용 프로그램은, 관련성있는 검색 결과를 반환할 때, 검색 결과에 기초한 사용자 상호작용을 사용하여 부가의 포커스를 제공할 수 있다. 예를 들어, 검색 응용 프로그램은, 사용자 쿼리에 기초하여 검색 결과를 순위 지정하고 순위 지정된 검색 결과를 반환할 때, 클릭 방문 정보를 사용할 수 있다.
도 1은 인덱싱, 검색 및 기타 기능을 포함하는 시스템(100)의 블록도이다. 예를 들어, 시스템(100)은 인덱싱된 데이터 구조의 일부로서 정보를 인덱싱하고 인덱싱된 데이터 구조를 사용하여 관련성있는 데이터를 검색하는 데 사용될 수 있는 인덱싱, 검색 및 기타 응용 프로그램을 포함할 수 있다. 이하에 기술하는 바와 같이, 쿼리에 적어도 일부 기초하여 검색 결과를 순위 지정하여 반환하기 위해 시스템(100)의 구성요소가 사용될 수 있다. 예를 들어, 시스템(100)의 구성요소는, 하나 이상의 키워드, 구문 및 기타 검색 항목으로 이루어질 수 있는 전송된 쿼리에 일부 기초하여, 사용자 브라우저로 검색 결과를 반환하는 데 사용될 수 있는 웹-기반 검색 엔진 기능을 제공하도록 구성될 수 있다. 사용자는, 예를 들어, 브라우저 또는 검색 창 등의 사용자 인터페이스(103)를 사용하여 쿼리를 검색 구성요소(102)로 전송할 수 있다.
도 1에 도시된 바와 같이, 시스템(100)은 쿼리 입력에 일부 기초하여 결과를 반환하도록 구성될 수 있는 검색 구성요소(102)(예를 들어, 검색 엔진 등)를 포함한다. 예를 들어, 검색 구성요소(102)는 단어, 단어들, 구문, 개념 및 기타 데이터를 사용하여 관련성있는 파일, 문서, 웹 페이지 및 기타 정보를 찾아내는 동작을 할 수 있다. 검색 구성요소(102)는 정보를 찾아내는 동작을 할 수 있고, 운영 체제(OS), 파일 시스템, 웹-기반 시스템, 또는 기타 시스템에 의해 사용될 수 있다. 검색 구성요소(102)는 또한 추가 구성요소로서 포함될 수 있으며, 여기서 검색 기능은 호스트 시스템 또는 응용 프로그램에 의해 사용될 수 있다.
검색 구성요소(102)는 파일(예를 들어, 문서 등), 파일 콘텐츠, 가상 콘텐츠, 웹-기반 콘텐츠, 및 기타 정보와 연관될 수 있는 검색 결과[예를 들어, URL(uniform resource locater)]를 제공하도록 구성될 수 있다. 예를 들어, 검색 구성요소(102)는, 로컬 파일, 원격 네트워크 파일(remotely networked file), 로컬 파일과 원격 파일의 조합, 기타와 연관된 검색 결과를 반환할 때, 텍스트, 속성 정보 및/또는 메타데이터를 사용할 수 있다. 일 실시예에서, 검색 결과를 제공할 때, 검색 구성요소(102)는 파일 시스템, 가상 웹, 네트워크, 또는 기타 정보 소스와 상호작용할 수 있다.
검색 구성요소(102)는 순위 지정 알고리즘(106) 및 하나 이상의 순위 지정 특징(108)에 적어도 일부 기초하여 검색 결과의 순위를 지정하도록 구성될 수 있는 순위 지정 구성요소(104)를 포함한다. 일 실시예에서, 순위 지정 알고리즘(106)은 검색 구성요소(102)에 의해 정렬을 위해 사용될 수 있는 숫자 또는 기타 변수를 제공하도록 구성될 수 있다. 순위 지정 특징(108)은 검색 결과의 관련성을 식별할 때 사용될 수 있는 기본 입력 또는 원시 숫자(raw number)로서 기술될 수 있다. 순위 지정 특징(108)이 수집되고, 데이터베이스 구성요소(110)에 저장 및 유지될 수 있다.
예를 들어, 클릭 방문 순위 지정 특징이 다수의 쿼리 로깅 테이블(query logging table)을 사용하여 저장 및 유지될 수 있으며, 쿼리 로깅 테이블은 또한 사용자 쿼리와 연관된 쿼리 정보도 포함할 수 있다. 대안의 실시예에서, 순위 지정 특징(108)은 로컬, 원격 및 기타 저장 매체를 비롯한 전용 저장소에 저장 및 유지될 수 있다. 하나 이상의 순위 지정 특징(108)이 순위 지정 알고리즘(106)에 입력될 수 있고, 순위 지정 알고리즘(106)은 순위 결정(ranking determination)의 일부로서 검색 결과의 순위를 지정하는 동작을 할 수 있다. 이하에서 기술하는 바와 같이, 일 실시예에서, 순위 지정 구성요소(104)는 순위 결정의 일부로서 하나 이상의 순위 지정 특징(108)을 조작할 수 있다.
그에 대응하여, 순위 결정의 일부로서 하나 이상의 순위 지정 특징(108)을 사용하여 검색 결과를 제공할 때, 검색 구성요소(102)는 순위 지정 구성요소(104) 및 관련 순위 지정 알고리즘(106)을 사용할 수 있다. 관련성 순위 또는 어떤 다른 순위에 기초하여 검색 결과가 제공될 수 있다. 예를 들어, 검색 구성요소(102)는 하나 이상의 순위 지정 특징(108)을 사용하여 순위 지정 구성요소(104)에 의해 제공되는 관련성 결정(relevance determination)에 적어도 일부 기초하여 가장 관련이 많은 것부터 가장 관련이 적은 것까지 검색 결과를 렌더링할 수 있다.
계속하여 도 1을 참조하면, 시스템(100)은 또한 정보를 인덱싱하는 데 사용될 수 있는 인덱스 구성요소(112)를 포함한다. 인덱스 구성요소(112)는 데이터베이스 구성요소(110)에 저장될 정보를 인덱싱 및 분류하는 데 사용될 수 있다. 게다가, 다수의 인덱스 구성요소(102)는, 다수의 상이한 정보 소스에 대해 인덱싱할 때, 메타데이터, 콘텐츠, 및/또는 기타 정보를 사용할 수 있다. 예를 들어, 인덱스 구성요소(112)는, 문서와 연관된 URL을 비롯하여, 키워드를 문서에 매핑하는 반전된 인덱스 데이터 구조(inverted index data structure)를 구축하는 데 사용될 수 있다.
검색 구성요소(102)는, 순위 지정 구성요소(104)에 의해 제공되는 순위에 따라 관련성있는 검색 결과를 반환할 때, 인덱싱된 정보를 사용할 수 있다. 일 실시예에서, 검색의 일부로서, 검색 구성요소(102)는 사용자의 쿼리 정보(예를 들어, 키워드 및 구문 등)의 일부 또는 전부를 포함하는 일련의 후보 결과(예를 들어, 다수의 후보 문서 등)를 식별하도록 구성될 수 있다. 예를 들어, 쿼리 정보는 문서의 본문 또는 메타데이터, 또는 다른 문서 또는 데이터 저장소에 저장될 수 있는 문서와 연관된 부가의 메타데이터(예를 들어, 앵커 텍스트 등)에 위치될 수 있다. 이하에서 기술하는 바와 같이, 검색 결과의 전체 집합이 큰 경우 전체 집합을 반환하기 보다는, 검색 구성요소(102)는 순위 지정 구성요소(104)를 사용하여, 관련성 또는 어떤 다른 기준에 따라 후보의 순위를 지정하고 순위 결정에 적어도 일부 기초하여 전체 집합의 부분 집합을 반환할 수 있다. 그렇지만, 후보의 집합이 그다지 크지 않은 경우, 검색 구성요소(102)는 전체 집합을 반환하도록 동작할 수 있다.
일 실시예에서, 순위 지정 구성요소(104)는 순위 지정 알고리즘(106)을 사용하여 특정의 쿼리와 연관된 후보의 관련성의 정도를 예측할 수 있다. 예를 들어, 순위 지정 알고리즘(106)은 후보 검색 결과와 연관된 순위 값(rank value)을 계산할 수 있으며, 여기서 상위 순위 값은 관련성이 많은 후보에 대응한다. 하나 이상의 순위 지정 특징(108)을 비롯한 다수의 특징이 순위 지정 알고리즘(106)에 입력될 수 있고, 순위 지정 알고리즘(106)은 이어서 검색 구성요소(102)가 순위 또는 어떤 다른 기준에 의해 후보를 정렬할 수 있게 해주는 출력을 계산할 수 있다. 검색 구성요소(102)는, 순위에 따라 후보의 집합을 제한함으로써 사용자가 후보의 전체 집합(예를 들어, 방대한 인터넷 후보 및 기업 URL 모음 등)을 조사해야만 하는 것을 방지하기 위해, 순위 지정 알고리즘(106)을 사용할 수 있다.
일 실시예에서, 검색 구성요소(102)는 동작-기반 및/또는 무동작-기반 순위 지정 특징을 모니터링 및 수집할 수 있다. 동작-기반 및 무동작-기반 순위 지정 특징이 데이터베이스 구성요소(110)에 저장되고 필요에 따라 업데이트될 수 있다. 예를 들어, 사용자가, 클릭하는 등에 의해, 검색 결과와 상호작용할 때, 클릭 방문 정보가 모니터링되고 데이터베이스 구성요소(110)에 하나 이상의 순위 지정 특징(108)으로서 저장될 수 있다. 이 정보는 또한 사용자가 검색 결과와 상호작용하지 않을 때를 추적하는 데도 사용될 수 있다. 예를 들어, 사용자는 하나 이상의 검색 결과를 건너뛰어 클릭하지 않을지도 모른다. 대안의 실시예에서, 별도의 구성요소(예를 들어, 입력 검출기 또는 다른 기록 구성요소 등)가 검색 결과 또는 결과들과 연관된 사용자 상호작용을 모니터링하는 데 사용될 수 있다.
검색 구성요소(102)는, 검색 결과를 반환할 때, 관련성 결정의 일부로서 선택된 수의 수집된 동작-기반 및 무동작-기반 순위 지정 특징을 사용할 수 있다. 일 실시예에서, 검색 구성요소(102)는, 쿼리에 기초한 검색 결과를 반환할 때, 관련성 결정의 일부로서 다수의 클릭-기반 상호작용 매개변수를 수집하고 사용할 수 있다. 예를 들어, 사용자가 어떤 이유로 결과의 상단에 반환되지 않았던 검색 결과(예를 들어, 문서)를 클릭하는 것으로 가정하자. 이하에서 기술하는 바와 같이, 검색 구성요소(102)는, 다음에 어떤 사용자가 동일하거나 유사한 쿼리를 발행할 때, 클릭된 결과의 순위를 높이기 위해 클릭 특징을 기록하고 사용할 수 있다. 검색 구성요소(102)는 또한 다른 상호작용적 특징 및/또는 매개변수(터치 입력, 펜 입력 및 기타 긍정 사용자 입력 등)를 수집하고 사용할 수 있다.
일 실시예에서, 검색 구성요소(102)는 하나 이상의 클릭 방문 순위 지정 특징을 사용할 수 있고, 여기서 하나 이상의 클릭 방문 순위 지정 특징은 암시적인 사용자 의견으로부터 도출될 수 있다. 업데이트된 특징을 비롯하여 클릭 방문 순위 지정 특징이 수집되고 데이터베이스 구성요소(110)의 다수의 쿼리 로깅 테이블에 저장될 수 있다. 예를 들어, 검색 구성요소(102)는 MICROSOFT OFFICE SHAREPOINT SERVER® 시스템 등의 통합 서버 플랫폼의 기능을 사용하여, 순위 결정의 일부로서 사용될 수 있는 상호작용-기반 특징을 수집, 저장 및 업데이트할 수 있다. 서버 플랫폼의 기능은 웹 콘텐츠 관리, 엔터프라이즈 콘텐츠 서비스, 엔터프라이즈 검색, 공유 비즈니스 프로세스, 비즈니스 인텔리전스 서비스, 및 기타 서비스를 포함할 수 있다.
이 실시예에 따르면, 검색 구성요소(102)는 검색 결과를 반환할 때 순위 결정의 일부로서 하나 이상의 클릭 방문 순위 지정 특징을 사용할 수 있다. 검색 구성요소(102)는, 관련성 결정의 일부로서 순위 순서(ranking ordering)를 조정하기 위해 사용할 수 있는 클릭 방문 순위 지정 특징을 컴파일할 때, 이전의 클릭 방문 정보를 사용할 수 있다. 이하에서 기술하는 바와 같이, 사용자가 검색 결과와 상호작용하거나 상호작용하지 않을 때 검색 결과가 받는 암시적 사용자 의견을 이용함으로써 자기-조정형(self-tunable) 순위 지정 기능을 제공하기 위해 하나 이상의 클릭 방문 순위 지정 특징이 사용될 수 있다. 예를 들어, 다수의 검색 결과가 검색 구성요소(102)에 의해 제공되어 검색 결과 페이지 상에 관련성에 따라 열거될 수 있고, 사용자가 검색 결과를 클릭하는지 검색 결과를 건너뛰는지에 기초하여 매개변수가 수집될 수 있다.
검색 구성요소(102)는, 검색 결과를 순위 지정하여 제공할 때, 저장된 동작 및/또는 무동작-기반 특징을 비롯한 데이터베이스 구성요소(110) 내의 정보를 사용할 수 있다. 검색 구성요소(102)는, 현재의 관련성있는 결과 목록을 요청자에게 제공할 때, 쿼리 결과와 연관된 이전의 사용자 동작 또는 무동작과 연관된 쿼리 기록 및 정보를 사용할 수 있다. 예를 들어, 검색 구성요소(102)는, 발행된 사용자 쿼리에 기초하여 현재의 참조 목록을 제공할 때, 동일하거나 유사한 쿼리에 응답하여 다른 사용자들이 이전의 검색 결과(예를 들어, 파일, 문서, 피드 등)에 어떻게 응답했는지와 연관된 정보를 사용할 수 있다.
일 실시예에서, 검색 구성요소(102)는 쿼리 및/또는 쿼리 문자열을 기록하고 사용하며, 검색 결과와 연관된 사용자 동작 및/또는 무동작을 기록하고 사용하며, 그리고 관련성 결정과 연관된 다른 정보를 기록하고 사용하는 동작을 하는 MICROSOFT OFFICE SHAREPOINT SERVER® 시스템 등의 서비스 제공 시스템의 기능과 관련하여 사용될 수 있다. 예를 들어, 검색 구성요소(102)는 특정의 쿼리에 대해 클릭되었을 수 있는 검색 결과 URL과 함께 발행된 쿼리를 기록하고 사용하기 위해 MICROSOFT OFFICE SHAREPOINT SERVER® 시스템의 기능과 관련하여 사용될 수 있다. MICROSOFT OFFICE SHAREPOINT SERVER® 시스템은 또한 클릭된 URL과 함께 보여지거나 제시된 URL 목록(예를 들어, 클릭된 URL 위에 보여진 다수의 URL 등)을 기록할 수 있다. 그에 부가하여, MICROSOFT OFFICE SHAREPOINT SERVER® 시스템은 특정의 쿼리에 기초하여 클릭되지 않았던 검색 결과 URL을 기록하는 동작을 할 수 있다. 클릭 방문 순위 지정 특징이 집계되고 관련성 결정을 할 때 사용될 수 있으며, 이에 대해서는 이하에서 기술한다.
일 실시예에서, 다수의 클릭 방문 순위 지정 특징이 집계되고 다음과 같이 정의될 수 있다:
1) (모든 쿼리에 걸쳐) 검색 결과(예를 들어, 문서, 파일, URL 등)가 클릭된 횟수에 대응하는 클릭 매개변수 Nc.
2) (모든 쿼리에 걸쳐) 검색 결과가 건너뛰기된 횟수에 대응하는 건너뛰기 매개변수 Ns. 즉, 검색 결과가 다른 검색 결과와 함께 포함되었고, 사용자에 의해 관찰되었을 수 있지만 클릭되지 않았다. 예를 들어, 관찰되거나 건너뛰기된 검색 결과는 클릭된 결과보다 상위 순위를 가지는 검색 결과를 말하는 것일 수 있다. 일 실시예에서, 검색 구성요소(102)는 사용자가 검색 결과와 상호작용할 때 검색 결과를 위에서 아래로 스캔한다는 가정을 사용할 수 있다.
3) 클릭된 검색 결과와 연관된 모든 쿼리 문자열의 합집합에 대응하는 텍스트 스트림으로 표현될 수 있는 제1 스트림 매개변수 Pc. 일 실시예에서, 합집합은 결과가 반환되고 클릭된 모든 쿼리 문자열을 포함한다. 똑같은 쿼리 문자열이 있을 수 있다(즉, 모든 개별 쿼리가 합집합 연산에서 사용될 수 있다).
4) 건너뛰기된 검색 결과와 연관된 모든 쿼리 문자열의 합집합에 대응하는 텍스트 스트림으로 표현될 수 있는 제2 스트림 매개변수 Ps. 일 실시예에서, 합집합은 결과가 반환되고 건너뛰기된 모든 쿼리 문자열을 포함한다. 똑같은 쿼리 문자열이 있을 수 있다(즉, 모든 개별 쿼리가 합집합 연산에서 사용될 수 있다).
이상에 열거한 클릭 방문 순위 지정 특징은, 예를 들어, 어떤 주기로 하나 이상의 크롤링 시스템 등에 의해, 원하는 때에 수집되고 각각의 검색 결과와 연관될 수 있다. 예를 들어, 하나 이상의 클릭 방문 순위 지정 특징이 사용자 쿼리에 기초하여 검색 구성요소(102)에 의해 반환된 문서와 연관될 수 있다. 그 후에, 하나 이상의 클릭 방문 순위 지정 특징이 순위 지정 구성요소(104)에 입력되고 순위 지정 및 관련성 결정의 일부로서 순위 지정 알고리즘(106)에서 사용될 수 있다. 어떤 경우에, 일부 검색 결과(예를 들어, 문서, URL 등)가 클릭 방문 정보를 포함하지 않을 수 있다. 클릭 방문 정보가 없는 검색 결과의 경우, 특정의 텍스트 속성(예를 들어, Pc 및/또는 Ps 스트림)이 비어 있는 채로 있을 수 있고, 특정의 정적 매개변수(예를 들어, Nc 및 Ns)가 0 값을 가질 수 있다.
일 실시예에서, 전체 크롤링 및/또는 증분 크롤링을 비롯한 크롤링 동안에 먼저 하나 이상의 클릭 방문 집계를 수집할 필요가 있는 순위 지정 알고리즘(106)에서 하나 이상의 클릭 방문 순위 지정 특징이 사용될 수 있다. 예를 들어, 검색 구성요소(102)는 클릭 방문 순위 지정 특징 및 기타 데이터와 연관된 정보를 수집할 때 파일 시스템, 웹-기반 컬렉션 또는 기타 리포지토리를 크롤링하는 동작을 할 수 있는 크롤러를 이용할 수 있다. 크롤링 대상 또는 대상들 및 특정의 구현에 따라 크롤링 또는 크롤링들을 위해 하나 이상의 크롤러가 구현될 수 있다.
검색 구성요소(102)는 임의의 클릭 방문 순위 지정 특징을 비롯한 수집된 정보를 사용하여, 검색 결과의 순위를 지정할 때 사용될 수 있는 하나 이상의 특징으로 쿼리 독립적인 저장소(예를 들어, 다수의 쿼리 로깅 테이블 등)를 업데이트할 수 있다. 예를 들어, 검색 구성요소(102)는 업데이트된 클릭 방문 정보를 포함하는 각각의 검색 결과에 대한 클릭(Nc) 매개변수 및/또는 건너뛰기(Ns) 매개변수로 다수의 쿼리 로깅 테이블을 업데이트할 수 있다. 업데이트된 쿼리 독립적인 저장소와 연관된 정보는 또한 인덱싱 동작을 수행할 때 인덱스 구성요소(102)를 비롯한 다양한 구성요소에 의해 사용될 수 있다.
따라서, 인덱스 구성요소(112)는 하나 이상의 독립적인 저장소로부터 임의의 변경 또는 업데이트를 주기적으로 획득할 수 있다. 게다가, 인덱스 구성요소(112)는 하나 이상의 동적 및 기타 특징을 포함할 수 있는 하나 이상의 인덱스를 주기적으로 업데이트할 수 있다. 일 실시예에서, 시스템(100)은 검색 구성요소(102)가 쿼리를 서비스하는 데 사용할 수 있는 2개의 인덱스(예를 들어, 주 인덱스 및 보조 인덱스)를 포함할 수 있다. 제1 인덱스(주 인덱스)는 웹 사이트, 파일 서버, 및 기타 정보 리포지토리와 연관된 메타데이터 및/또는 문서 본문으로부터의 키워드를 인덱싱하는 데 사용될 수 있다. 보조 인덱스는 문서로부터 직접 획득될 수 없는 부가의 텍스트 및 정적 특징을 인덱싱하는 데 사용될 수 있다. 예를 들어, 부가의 텍스트 및 정적 특징은 앵커 텍스트, 클릭 간격(click distance), 클릭 데이터 등을 포함할 수 있다.
보조 인덱스는 또한 개별적인 업데이트 스케줄을 가능하게 해준다. 예를 들어, 새 문서가 클릭될 때, 연관된 데이터를 인덱싱하는 것은 단지 보조 인덱스를 부분적으로 재구축하는 것만을 필요로 한다. 따라서, 주 인덱스는 그대로 있을 수 있고, 전체 문서가 재크롤링(re-crawling)을 필요로 하지 않는다. 주 인덱스 구조는 반전된 인덱스로서 구조화될 수 있고 키워드를 문서 ID에 매핑하는 데 사용될 수 있지만, 그것으로 제한되지 않는다. 예를 들어, 인덱스 구성요소(112)는 업데이트된 클릭 방문 정보를 포함하는 각각의 검색 결과에 대한 제1 스트림 매개변수 Pc 및/또는 제2 스트림 매개변수 Ps를 사용하여 보조 인덱스를 업데이트할 수 있다. 그 후에, 쿼리 실행과 연관된 관련성 결정의 일부로서 순위 지정 알고리즘(106)에 대한 하나 이상의 입력 등의 하나 이상의 클릭 방문 순위 지정 특징 및 연관된 매개변수가 검색 구성요소(102)에 의해 적용되고 사용될 수 있다.
이하에 기술되는 바와 같이, 관련성 결정의 일부로서 2층 신경망(two layer neural network)이 사용될 수 있다. 일 실시예에서, 2층 신경망의 구현은 2층 신경망을 사용하는 순방향 전파 프로세스의 일부로서 학습 단계 및 순위 지정 단계를 포함한다. 람다 순위 지정 모델(lambda ranking model)이 학습 단계 동안에 학습 알고리즘으로서 사용될 수 있고[C. Burges, R. Ragno, Q. V. Le, "Learning To Rank With Nonsmooth Cost Functions" in Scholkopf, Platt and Hofmann (Ed.) Advances in Neural Information Processing Systems 19, Proceedings of the 2006 Conference, (MIT Press, 2006) 참조] 및 신경망 순방향 전파 모델이 순위 결정의 일부로서 사용될 수 있다. 예를 들어, 표준의 신경망 순방향 전파 모델은 순위 지정 단계의 일부로서 사용될 수 있다. 하나 이상의 클릭 방문 순위 지정 특징이, 사용자 쿼리에 기초하여 쿼리 결과를 반환할 때, 2층 신경망과 관련하여 관련성 결정의 일부로서 사용될 수 있다.
일 실시예에서, 순위 지정 구성요소(104)는 2층 신경망 평가 함수(이후부터 "평가 함수"라고 함)를 포함하는 순위 지정 알고리즘(106)을 이용하며, 이 평가 함수는 하기 식을 포함하며,
Figure 112011017166951-pct00001
여기서
Figure 112011017166951-pct00002
이고,
여기서
hj는 숨겨진 노드 j의 출력이고,
xi는 입력 노드 i로부터의 입력값(하나 이상의 순위 지정 특징 입력 등)이며,
w2j는 숨겨진 노드 출력에 적용되는 가중치이고,
wij는 숨겨진 노드 j에 의해 입력 값 xi에 적용되는 가중치이며,
tj는 숨겨진 노드 j에 대한 임계값이고,
tanh는 하기의 쌍곡선 탄젠트 함수(hyperbolic tangent function)이다:
Figure 112011017166951-pct00003
대안의 실시예에서, tanh 함수와 유사한 속성 및 특성을 가지는 다른 함수가 이상에서 사용될 수 있다. 일 실시예에서, 변수 xi는 하나 이상의 클릭 방문 매개변수를 나타낼 수 있다. 관련성 결정의 일부로서 순위 지정 이전에 2층 신경망 평가 함수를 학습시키기 위해 λ-순위 학습 알고리즘이 사용될 수 있다. 게다가, 학습 정확도 또는 학습 속도에 그다지 영향을 주는 일 없이 새로운 특징 및 매개변수가 평가 함수에 추가될 수 있다.
사용자 쿼리에 기초하여 검색 결과를 반환할 때 관련성 결정을 할 때, 하나 이상의 순위 지정 특징(108)이 입력되고 순위 지정 알고리즘(106)(이 실시예의 경우, 2층 신경망 평가 함수)에 의해 사용될 수 있다. 일 실시예에서, 사용자 쿼리에 기초하여 검색 결과를 반환하는 것의 일부로서 관련성 결정을 할 때 하나 이상의 클릭 방문 순위 지정 매개변수(Nc, Ns, Pc, 및/또는 Ps)가 입력되고 순위 지정 알고리즘(106)에 의해 사용될 수 있다.
2층 신경망 평가 함수에 대한 부가의 입력을 생성하기 위해 Nc 매개변수가 사용될 수 있다. 일 실시예에서, Nc 매개변수와 연관된 입력값은 하기 식에 따라 계산될 수 있다:
입력 =
Figure 112011017166951-pct00004
여기서
일 실시예에서, Nc 매개변수는 (모든 쿼리 및 모든 사용자에 걸쳐) 검색 결과가 클릭된 횟수와 연관된 원시 매개변수 값(raw parameter value)에 대응하고,
KNc는 조정가능 매개변수(tunable parameter)(예를 들어, 0 이상)이며,
MNc 및 SNc는 학습 데이터와 연관된 평균 및 표준 편차 매개변수 또는 정규화 상수이고,
iNc는 입력 노드의 인덱스에 대응한다.
2층 신경망 평가 함수에 대한 부가의 입력을 생성하기 위해 Ns 매개변수가 사용될 수 있다. 일 실시예에서, Ns 매개변수와 연관된 입력값은 하기 식에 따라 계산될 수 있다:
입력 =
Figure 112011017166951-pct00005
여기서
일 실시예에서, Ns 매개변수는 (모든 쿼리 및 모든 사용자에 걸쳐) 검색 결과가 건너뛰기된 횟수와 연관된 원시 매개변수 값에 대응하고,
KNs는 조정가능 매개변수(예를 들어, 0 이상)이며,
MNs 및 SNs는 학습 데이터와 연관된 평균 및 표준 편차 매개변수 또는 정규화 상수이고,
iNs는 입력 노드의 인덱스에 대응한다.
Pc 매개변수는 2층 신경망 평가 함수에 대한 콘텐츠 의존적인 입력을 생성하는 데 사용될 수 있는 이하의 수학식 6에 포함될 수 있다:
입력 =
Figure 112011017166951-pct00006
TF't에 대한 식은 다음과 같이 계산될 수 있고:
Figure 112011017166951-pct00007
여기서
Q는 쿼리 문자열이고,
t는 개별 쿼리 용어(예를 들어, 단어)이며,
D는 평가되는 결과(예를 들어, 문서)이고,
p는 결과(예를 들어, 문서)의 개별 속성(예를 들어, 제목, 본문, 앵커 텍스트, 제작자 등) 및 순위 지정에 사용될 임의의 다른 텍스트 속성이며,
N은 검색 도메인 내의 결과(예를 들어, 문서)의 총수이고,
nt는 용어 t를 포함하는 결과(예를 들어, 문서)의 수이며,
DLp는 속성 p의 길이이고,
AVDLp는 속성 p의 평균 길이이고,
TFt,p는 속성 p에서의 용어 t 빈도수이며,
TFt,pc는 주어진 용어가 매개변수 Pc에서 나타나는 횟수에 대응하고,
DLpc는 매개변수 Pc의 길이(예를 들어, 포함된 용어의 수)에 대응하며
AVDLpc는 매개변수 Pc의 평균 길이에 대응하고,
wpc 및 bpc는 조정가능 매개변수에 대응하며,
D＼Pc는 속성 Pc를 포함하지 않는 문서 D의 속성 집합에 대응하고(Pc에 대한 항목이 단지 명확함을 위해 합산 기호 밖에서 얻어짐),
iBM25main은 입력 노드의 인덱스이며,
M 및 S는 평균 및 표준 편차 정규화 상수를 나타낸다.
Ps 매개변수는 2층 신경망 평가 함수에 대한 부가의 입력을 생성하는 데 사용될 수 있는 이하의 수학식 8에 포함될 수 있다: 입력 =
Figure 112011017166951-pct00008
여기서
Figure 112011017166951-pct00009
이고,
TFt,ps는 주어진 용어가 Ps 매개변수와 연관되는 횟수를 나타내고,
DLps는 Ps 매개변수의 길이(예를 들어, 용어의 수)를 나타내며
AVDLps는 Ps 매개변수의 평균 길이를 나타내고,
N은 코퍼스(corpus) 내의 검색 결과(예를 들어, 문서)의 수를 나타내며,
nt는 주어진 쿼리 용어를 포함하는 검색 결과(예를 들어, 문서)의 수를 나타내고,
k"l, wps , bps는 조정가능 매개변수를 나타내며,
M 및 S는 평균 및 표준 편차 정규화 상수를 나타낸다.
상기한 바와 같이 하나 이상의 입력이 계산되었으면, 하나 이상의 입력이 수학식 1에 입력될 수 있고, 점수 또는 순위가 출력될 수 있고, 이 점수 또는 순위는 이어서 관련성 결정의 일부로서 검색 결과의 순위를 지정할 때 사용될 수 있다. 일례로서, x1은 Nc 매개변수와 연관된 계산된 입력을 나타내는 데 사용될 수 있고, x2는 Ns 매개변수와 연관된 계산된 입력을 나타내는 데 사용될 수 있으며, x3은 Pc 매개변수와 연관된 계산된 입력을 나타내는 데 사용될 수 있고, x4는 Ps 매개변수와 연관된 계산된 입력을 나타내는 데 사용될 수 있다. 이상에서 기술한 바와 같이, 스트림은 또한 본문, 제목, 제작자, URL, 앵커 텍스트, 발생된 제목, 및/또는 Pc를 포함할 수 있다. 따라서, 관련성 결정의 일부로서 검색 결과의 순위를 지정할 때 하나 이상의 입력(예를 들어, x1, x2, x3, 및/또는 x4)이 평가 함수(수학식 1)에 입력될 수 있다. 그에 대응하여, 검색 구성요소(102)는 발행된 쿼리 및 하나 이상의 순위 지정 입력에 기초하여 순위 지정된 검색 결과를 사용자에게 제공할 수 있다. 예를 들어, 검색 구성요소(102)는 URL의 집합을 반환할 수 있으며, 여기서 이 집합 내의 URL은 순위 지정 순서에 기초하여 (예를 들어, 높은 관련성 값부터 낮은 관련성 값으로) 사용자에게 제시될 수 있다.
검색 결과를 순위 지정하여 제공할 때 다른 특징들도 사용될 수 있다. 일 실시예에서, 검색 결과를 순위 지정하여 제공하기 위해, 클릭 간격(CD), URL 깊이(UD), 파일 형식 또는 이전의 형식(T), 언어 또는 이전의 언어(L), 및/또는 기타 순위 지정 특징이 사용될 수 있다. 선형 순위 결정, 신경망 결정, 또는 기타 순위 결정의 일부로서 하나 이상의 부가의 순위 지정 특징이 사용될 수 있다. 예를 들어, 선형 순위 결정, 신경망 결정, 또는 기타 순위 결정의 일부로서 하나 이상의 동적 순위 지정 특징과 관련하여 하나 이상의 정적 순위 지정 특징이 사용될 수 있다.
따라서, CD는 클릭 간격을 나타내고, 여기서 CD는 기준 위치로부터 주어진 대상(예를 들어, 페이지 또는 문서 등)에 도달하기 위해 필요한 "클릭"의 횟수를 측정하는 쿼리-독립적인 순위 지정 특징으로서 기술될 수 있다. CD는 트리 구조를 따를 수 있는 시스템의 계층적 구조를 이용하며, 루트 노드(예를 들어, 홈 페이지) 및 후속하는 분기는 그 루트로부터 다른 노드로 뻗어 있다. 트리를 그래프로서 볼 때, CD는 기준 위치인 루트와 주어진 페이지 사이의 최단 경로로서 표현될 수 있다. UD는 URL 깊이를 나타내며, 여기서 UD는 URL에서의 슬래시("/")의 수의 카운트를 표현하는 데 사용될 수 있다. T는 이전의 형식을 나타내고, L은 이전의 언어를 나타낸다.
T 및 L 특징은 열거된 데이터 형식을 표현하는 데 사용될 수 있다. 이러한 데이터 형식의 일례는 파일 형식 및 언어 유형을 포함한다. 일례로서, 임의의 주어진 검색 도메인에 대해, 파일 형식의 유한 집합이 존재하고 및/또는 연관된 검색 엔진에 의해 지원될 수 있다. 예를 들어, 엔터프라이즈 인트라넷은 워드 프로세싱 문서, 스프레드시트, HTML 웹 페이지, 및 기타 문서를 포함할 수 있다. 이들 파일 형식 각각은 연관된 문서의 관련성에 각기 다른 영향을 미칠 수 있다. 예시적인 변환은, 각각의 지원되는 파일 형식에 대해 하나씩, 파일 형식 값을 일련의 이진 플래그로 변환할 수 있다. 이들 플래그 각각은, 각각이 개별 가중치를 부여받고 개별적으로 처리될 수 있도록, 신경망에 의해 개별적으로 사용될 수 있다. 언어(문서 작성에 이용된 언어)도 유사한 방식으로 처리될 수 있으며, 하나의 개별 이진 플래그가 문서가 특정 언어로 작성되어 있는지 여부를 나타내는 데 사용된다. 용어 빈도수의 합은 또한 본문, 제목, 제작자, 앵커 텍스트, URL 디스플레이 이름, 추출된 제목 등을 포함할 수 있다.
궁극적으로, 사용자 만족은 검색 구성요소(102)의 동작의 가장 확실한 척도 중 하나이다. 사용자가 얻어진 후보 집합을 조사하는 데 많은 시간을 투자할 필요가 없도록, 사용자는 검색 구성요소(102)가 가장 관련성있는 결과를 신속하게 반환하기를 원할 것이다. 예를 들어, 사용자 만족 수준을 결정하기 위해 메트릭 평가(metric evaluation)가 사용될 수 있다. 일 실시예에서, 순위 지정 알고리즘(106)에 대한 입력 또는 순위 지정 알고리즘(106)의 관점을 변화시킴으로써 메트릭 평가가 향상될 수 있다. 일부 대표적인 또는 랜덤한 쿼리 집합에 걸쳐 메트릭 평가가 계산될 수 있다. 예를 들어, 데이터베이스 구성요소(110)에 저장된 쿼리 로그에 포함된 쿼리의 랜덤한 샘플링에 기초하여 대표적인 쿼리 집합이 선택될 수 있다. 관련성 라벨이 메트릭 평가 쿼리 각각에 대해 검색 구성요소(102)에 의해 반환된 각각의 결과에 할당되거나 그와 연관될 수 있다.
예를 들어, 메트릭 평가는 상위 N개(1개, 5개, 10개 등)의 결과(1, 5, 10 등에서의 정밀도라고도 함)에서 쿼리에서의 관련성있는 문서의 평균 카운트를 포함할 수 있다. 다른 일례로서, 검색 결과를 평가하기 위해 평균 정밀도 또는 NDCG(Normalized Discounted Cumulative Gain) 등의 보다 복잡한 척도가 사용될 수 있다. NDCG는 다중-레벨 판단을 가능하게 해주고 관련성이 적은 문서를 상위 순위로, 관련성이 많은 문서를 하위 순위로 반환하는 것에 대해 검색 구성요소(102)에 불이익을 주는 누적 메트릭(cumulative metric)으로서 기술될 수 있다. 전체적인 정확도 정량화(accuracy quantification)를 결정하기 위해 쿼리 집합에 걸쳐 메트릭이 평균될 수 있다.
계속하여 NDCG 일례에서, 주어진 쿼리 "Qi"에 대해, NDCG가 다음과 같이 계산될 수 있으며:
Figure 112011017166951-pct00010
N은 통상적으로 3 또는 10이다. 전체적인 정확도 수(accuracy number)를 결정하기 위해 쿼리 집합에 걸쳐 메트릭이 평균될 수 있다.
이하는 평가 함수(수학식 1)에서 Nc, Ns 및 Pc 클릭 방문 매개변수를 사용하는 것에 기초하여 얻어지는 일부 실험 결과이다. 10-분할(split) 쿼리 집합(744개 쿼리, ~130K 문서)에 대해 실험이 수행되었고, 5-폴드 교차-유효성 검사(5-fold cross-validation run)가 실행되었다. 각각의 폴드에 대해, 학습을 위해 6개의 분할이 사용되었고, 유효성 검사를 위해 2개의 분할이 사용되었으며, 테스트를 위해 2개의 분할이 사용되었다. 표준 버전의 λ-순위 알고리즘이 사용되었다(상기 참조).
따라서, 4개의 숨겨진 노드를 갖는 2층 신경망 평가 함수를 사용하여 집계된 결과로부터 이하의 표 1에 나타낸 것이 얻어진다:
특징 집합 NDCG@1 NDCG@3 NDCG@10
기준선(클릭 방문 특징 없음) 62.841 60.646 62.452
포함된 Nc, Ns 및 Pc 64.598(+2.8%) 62.237(+2.6%) 63.164(+1.1%)
6개의 숨겨진 노드를 갖는 2층 신경망 평가 함수를 사용하여 집계된 결과로부터 이하의 표 2에 나타낸 것이 얻어진다:
특징 집합 NDCG@1 NDCG@3 NDCG@10
기준선(클릭 방문 없음) 62.661 60.899 62.373
포함된 Nc, Ns 및 Pc 65.447(+4.4%) 62.515(+2.7%) 63.296(+1.5%)
문서 관련성의 척도로서 사용될 수 있는 하나의 부가의 순위 지정 특징(108)은 문서 길이이다. 문서 길이는 효과적인 순위 지정 도구일 수 있는데, 그 이유는 짧은 문서가 통상적으로 사용자에게 유용하게 될 충분한 정보를 포함하고 있지 않기 때문이다. 즉, 짧은 문서는 통상적으로 검색 쿼리에 대한 답변을 제공하지 않는다. 한편, 긴 문서는 통상적으로 문서 내의 어떤 정보가 검색 쿼리에 관계되어 있는지를 결정하는 것이 때로는 어려울 정도로 많은 정보를 포함하고 있다.
많은 각기 다른 유형의 문서가 검색 쿼리의 결과로서 반환될 수 있기 때문에, 문서 순위를 결정하는 데 있어서의 첫번째 단계는 문서 길이의 정규화된 값을 계산하는 것이다. 문서 길이를 순위 지정되는 문서의 유형과 무관하게 만들기 위해 이것이 행해진다. 문서의 정규화된 길이는 문서의 길이(단위: 단어)를 순위 지정되는 문서 집합(예를 들어, 검색 쿼리의 결과로서 반환되는 문서들)의 평균 길이로 나눈 것으로 정의된다. 이것은 하기의 식으로 표현될 수 있다:
Figure 112011017166951-pct00011
여기서 D는 정규화된 문서 길이를 나타내고, LD는 순위 지정되는 문서의 길이를 나타내며, LAVG는 문서 집합 내의 문서의 평균 길이를 나타낸다.
이어서, 정규화된 문서 길이에 대한 순위 값(0부터 1까지)을 제공하기 위해 변환 함수가 사용되며, 상위 순위 값은 관련성이 많은 문서를 나타낸다. 일 실시예에서, 변환 함수는 다음과 같이 표현될 수 있다:
Figure 112011017166951-pct00012
Figure 112011017166951-pct00013
Figure 112011017166951-pct00014
이 예시적인 변환 함수는 문서가 너무 길거나 너무 짧은 것에 대해서는 불이익을 준다. 평균 길이의 문서에 대해, 즉 정규화된 길이 1을 가지는 문서에 대해 최고 순위 값 1이 계산된다. 이와 달리, 정규화된 길이 0.5(즉, 평균 길이의 1/2)를 갖는 문서는 순위 값 0.5를 가지며, 정규화된 길이 7(즉, 평균 길이의 7배)을 갖는 문서는 순위 값 0.25를 가진다.
문서 길이 순위 값이 데이터베이스 구성요소(110)에 저장되고 필요에 따라 업데이트될 수 있다. 검색 구성요소(102)는 검색 결과를 순위 지정하여 제공할 때 데이터베이스 구성요소(110) 내의 문서 길이 정보를 사용할 수 있다.
도 2는 일 실시예에 따른, 사용자 쿼리에 일부 기초하여 정보를 제공하는 프로세스를 나타낸 흐름도이다. 도 1의 구성요소가 도 2의 설명에서 사용되지만, 본 실시예가 그것으로 제한되지 않는다. 200에서, 검색 구성요소(102)는 사용자 쿼리와 연관된 쿼리 데이터를 수신한다. 예를 들어, 웹-기반 브라우저를 사용하는 사용자는 사용자 쿼리를 정의하는 다수의 키워드로 이루어지는 텍스트 문자열을 전송할 수 있다. 202에서, 검색 구성요소(102)는 사용자 쿼리와 연관된 임의의 순위 지정 특징(108)을 검색하기 위해 데이터베이스 구성요소(110)와 통신할 수 있다. 예를 들어, 검색 구성요소(102)는 다수의 쿼리 테이블로부터 하나 이상의 클릭 방문 순위 지정 특징을 검색할 수 있으며, 여기서 하나 이상의 클릭 방문 순위 지정 특징은 유사하거나 동일한 키워드를 가지는 이전에 발행된 쿼리와 연관된다.
204에서, 검색 구성요소(102)는 사용자 쿼리를 사용하여 하나 이상의 검색 결과를 찾아낼 수 있다. 예를 들어, 검색 구성요소(102)는 텍스트 문자열을 사용하여 파일 시스템, 데이터베이스, 웹-기반 컬렉션, 또는 어떤 다른 정보 리포지토리와 연관된 문서, 파일, 및 기타 데이터 구조를 찾아낼 수 있다. 206에서, 검색 구성요소(102)는 하나 이상의 순위 지정 특징(108)을 사용하여 검색 결과의 순위를 지정할 수 있다. 예를 들어, 검색 구성요소(102)는 각각의 검색 결과에 대한 순위와 연관된 출력을 제공할 수 있는 평가 함수(수학식 1)에 하나 이상의 클릭 방문 순위 지정 매개변수를 입력할 수 있다.
208에서, 검색 구성요소(102)는 순위를 사용하여 순위 지정된 순서로 검색 결과를 사용자에게 제공할 수 있다. 예를 들어, 검색 구성요소(102)는 다수의 검색된 문서를 사용자에게 제공할 수 있고, 여기서 검색된 문서는 숫자 순위 순서(예를 들어, 내림차순, 오름차순, 기타)에 따라 사용자에게 제시될 수 있다. 210에서, 검색 구성요소(102)는 검색 결과와 연관된 사용자 동작 또는 무동작을 사용하여, 데이터베이스 구성요소(110)에 저장될 수 있는 하나 이상의 순위 지정 특징(108)을 업데이트할 수 있다. 예를 들어, 사용자가 URL 검색 결과을 클릭하거나 건너뛰기한 경우, 검색 구성요소(102)는 클릭 방문 데이터(클릭 데이터 또는 건너뛰기 데이터)를 데이터베이스 구성요소(110)의 다수의 쿼리 로깅 테이블에 넣을 수 있다. 그 후에, 인덱스 구성요소(112)는 인덱싱된 정보 카탈로그를 업데이트하는 것과 연관된 인덱싱 동작을 비롯한 다양한 인덱싱 동작을 위해 업데이트된 순위 지정 특징을 사용하도록 동작할 수 있다.
도 3은 일 실시예에 따른, 사용자 쿼리에 일부 기초하여 정보를 제공하는 프로세스를 나타낸 흐름도이다. 다시 말하지만, 도 1의 구성요소가 도 3의 설명에서 사용되지만, 본 실시예가 그것으로 제한되지 않는다. 도 3의 프로세스는 검색 구성요소(102)가 사용자 인터페이스(103)로부터 발행된 사용자 쿼리를 수신한 이후이며, 여기서 검색 구성요소(102)는 사용자 쿼리를 만족시키는 다수의 문서를 찾아내었다. 예를 들어, 검색 구성요소(102)는 웹-기반 검색의 일부로서 다수의 전송된 키워드를 사용하여 문서를 찾아낼 수 있다.
300에서, 검색 구성요소(102)는 사용자 쿼리를 만족시킨 그 다음 문서를 획득한다. 302에서, 검색 구성요소(102)가 모든 문서를 찾아낸 경우, 흐름은 316으로 진행하여, 검색 구성요소(102)는 찾아낸 문서를 순위에 따라 정렬할 수 있다. 302에서, 모든 문서를 찾아내지 않은 경우, 흐름은 304로 진행하여, 검색 구성요소(102)는 데이터베이스 구성요소(110)로부터 임의의 클릭 방문 특징을 검색하고, 검색된 클릭 방문 특징이 검색 구성요소(102)가 찾아낸 현재의 문서와 연관된다.
306에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 Pc 매개변수와 연관된 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 Pc 매개변수를 수학식 6에 입력하여 Pc 매개변수와 연관된 입력을 계산할 수 있다. 308에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 Nc 매개변수와 연관된 제2 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 Nc 매개변수를 수학식 4에 입력하여 Nc 매개변수와 연관된 입력을 계산할 수 있다.
310에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 Ns 매개변수와 연관된 제3 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 Ns 매개변수를 수학식 5에 입력하여 Ns 매개변수와 연관된 입력을 계산할 수 있다. 312에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 Ps 매개변수와 연관된 제4 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 Ps 매개변수를 수학식 8에 입력하여 Ps 매개변수와 연관된 입력을 계산할 수 있다.
313에서, 검색 구성요소(102)는 순위 결정의 일부로서 평가 함수(수학식 1)에서 사용되는 문서 길이와 연관된 제5 입력을 계산할 수 있다. 예를 들어, 검색 구성요소(102)는 사용자 쿼리의 결과로서 획득된 각각의 문서 내의 단어의 수를 계산할 수 있고, 각각의 문서 내의 단어의 수는 그 문서의 길이를 나타낸다. 각각의 문서의 정규화된 길이는 수학식 11를 사용하여 각각의 문서의 길이를 쿼리의 결과로서 획득된 모든 문서의 평균 길이로 나눔으로써 얻어질 수 있다. 이어서, 수학식 12, 수학식 13 및 수학식 14에 의해 정의된 변환 함수를 사용하여 0 내지 1의 범위를 가지는 순위 값을 계산함으로써 문서 길이에 기초한 순위 값이 얻어질 수 있다.
314에서, 검색 구성요소(102)는 하나 이상의 계산된 입력을 평가 함수(수학식 1)에 입력하여 현재의 문서에 대한 순위를 계산하는 동작을 한다. 대안의 실시예에서, 검색 구성요소(102)는 그 대신에 각각의 클릭 방문 매개변수에 대한 입력을 계산하기 보다는 선택된 매개변수와 연관된 입력값을 계산할 수 있다. 순위 지정할 문서가 남아 있지 않은 경우, 316에서, 검색 구성요소(102)는 순위에 의해 문서를 정렬한다. 예를 들어, 검색 구성요소(102)는 내림차순 순위 순서에 따라 문서를 정렬할 수 있다(최고 순위 값을 가지는 문서에서 시작하여 최저 순위 값을 가지는 문서에서 끝남). 검색 구성요소(102)는 또한 순위를 경계(cutoff)로서 사용하여 사용자에게 제시되는 결과의 수를 제한할 수 있다. 예를 들어, 검색 구성요소(102)는 검색 결과를 제공할 때 X보다 큰 순위를 가지는 문서만을 제공할 수 있다. 그 후에, 검색 구성요소(102)는 추가의 동작 또는 무동작을 위해 정렬된 문서를 사용자에게 제공할 수 있다. 도 2 및 도 3과 관련하여 특정 순서가 기술되어 있지만, 원하는 구현에 따라 순서가 변경될 수 있다.
본 명세서에 기술된 실시예 및 일례가 제한하기 위한 것이 아니며, 다른 실시예가 이용가능하다. 게다가, 이상에서 기술된 구성요소는 네트워크 환경, 분산 환경, 또는 기타 컴퓨터-구현 환경의 일부로서 구현될 수 있다. 구성요소는 유선 네트워크, 무선 네트워크, 및/또는 통신 네트워크의 조합을 통해 통신할 수 있다. 데스크톱 컴퓨터, 랩톱, 핸드헬드, 또는 기타 스마트 장치를 비롯한 다수의 클라이언트 컴퓨팅 장치가 시스템(100)과 상호작용할 수 있고 및/또는 시스템(100)의 일부로서 포함되어 있을 수 있다.
대안의 실시예에서, 다양한 구성요소가 원하는 구현에 따라 결합 및/또는 구성될 수 있다. 예를 들어, 인덱스 구성요소(112)가 인덱싱 및 검색 기능을 제공하는 하나의 구성요소로서 검색 구성요소(102)에 포함될 수 있다. 부가의 예시적인 신경망이 하드웨어로 또는 소프트웨어로 구현될 수 있다. 특정 실시예가 소프트웨어 구현을 포함하지만, 그것으로 제한되지 않으며, 하드웨어 또는 하드웨어/소프트웨어 혼합 솔루션을 포함한다. 다른 실시예 및 구성이 이용가능하다.
예시적인 운영 환경
이제 도 4를 참조하면, 이하의 설명은 본 발명의 실시예가 구현될 수 있는 적당한 컴퓨팅 환경에 대한 간략하고 전반적인 설명을 제공하기 위한 것이다. 본 발명이 일반적으로 개인용 컴퓨터에서 운영 체제 상에서 실행되는 프로그램 모듈과 관련하여 실행되는 프로그램 모듈과 관련하여 기술될 것이지만, 당업자라면 본 발명이 또한 다른 유형의 컴퓨터 시스템 및 프로그램 모듈과 관련하여 구현될 수 있다는 것을 잘 알 것이다.
일반적으로, 프로그램 모듈은 특정의 작업을 수행하거나 특정의 추상 데이터 형식을 구현하는 루틴, 프로그램, 구성요소, 데이터 구조, 및 기타 유형의 구조체를 포함한다. 게다가, 당업자라면 본 발명이 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 미니컴퓨터, 메인프레임 컴퓨터, 기타 등등을 비롯한 기타 컴퓨터 시스템 구성에서 실시될 수 있다는 것을 잘 알 것이다. 본 발명은 또한 작업이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치에 의해 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다. 분산 컴퓨팅 환경에서는, 프로그램 모듈이 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.
이제부터 도 4를 참조하여, 본 발명의 실시예에 대한 예시적인 운영 환경에 대해 기술할 것이다. 도 4에 도시된 바와 같이, 컴퓨터(2)는 하나 이상의 응용 프로그램을 실행할 수 있는 범용 데스크톱, 랩톱, 핸드헬드, 또는 기타 유형의 컴퓨터를 포함한다. 컴퓨터(2)는 적어도 하나의 중앙 처리 장치("CPU")(8), 랜덤 액세스 메모리("RAM")(18) 및 판독 전용 메모리("ROM")(20)를 포함하는 시스템 메모리(12), 및 메모리를 CPU(8)에 결합시키는 시스템 버스(10)를 포함하고 있다. 시동 중과 같은 때에 컴퓨터 내의 구성요소들 간의 정보 전송을 돕는 기본 루틴이 들어 있는 기본 입/출력 시스템은 ROM(20)에 저장되어 있다. 컴퓨터(2)는 또한 운영 체제(32), 응용 프로그램, 및 기타 프로그램 모듈을 저장하는 대용량 저장 장치(14)도 포함하고 있다.
대용량 저장 장치(14)는 버스(10)에 연결된 대용량 저장장치 제어기(도시 생략)를 통해 CPU(8)에 연결되어 있다. 대용량 저장 장치(14) 및 그와 연관된 컴퓨터-판독가능 매체는 컴퓨터(2)에 비휘발성 저장을 제공한다. 본 명세서에 포함된 컴퓨터-판독가능 매체에 대한 설명이 하드 디스크 또는 CD-ROM 드라이브 등의 대용량 저장 장치를 언급하고 있지만, 당업자라면 컴퓨터-판독가능 매체가 컴퓨터(2)에 의해 액세스되거나 이용될 수 있는 이용가능한 매체라면 어느 것이라도 될 수 있다는 것을 잘 알 것이다.
제한이 아닌 예로서, 컴퓨터-판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등의 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체로는 RAM, ROM, EPROM, EEPROM, 플래쉬 메모리 또는 기타 고상 메모리(solid state memory) 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 또 컴퓨터(2)에 의해 액세스될 수 있는 임의의 다른 매체가 있지만, 이들로 제한되지 않는다.
본 발명의 다양한 실시예에 따르면, 컴퓨터(2)는, 예를 들어, 로컬 네트워크, 인터넷, 기타 등등의 네트워크(4)를 통한 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 컴퓨터(2)는 버스(10)에 연결된 네트워크 인터페이스 유닛(16)을 통해 네트워크(4)에 연결할 수 있다. 네트워크 인터페이스 유닛(16)이 또한 기타 유형의 네트워크 및 원격 컴퓨팅 시스템에 연결하는 데도 이용될 수 있다는 것을 잘 알 것이다. 컴퓨터(2)는 또한 키보드, 마우스 등(도시 생략)을 비롯한 다수의 다른 장치로부터 입력을 수신하여 처리하는 입/출력 제어기(22)도 포함할 수 있다. 이와 유사하게, 입/출력 제어기(22)는 디스플레이 화면, 프린터, 또는 기타 유형의 출력 장치에 출력을 제공할 수 있다.
앞서 간단히 언급한 바와 같이, 미국 워싱턴주 레드몬드 소재의 MICROSOFT CORPORATION의 WINDOWS 운영 체제 등의, 네트워크화된 개인용 컴퓨터의 동작을 제어하는 데 적합한 운영 체제(32)를 비롯한 다수의 프로그램 모듈 및 데이터 파일이 컴퓨터(2)의 대용량 저장 장치(14) 및 RAM(18)에 저장될 수 있다. 대용량 저장 장치(14) 및 RAM(18)은 또한 하나 이상의 프로그램 모듈도 저장할 수 있다. 상세하게는, 대용량 저장 장치(14) 및 RAM(18)은 검색 응용 프로그램(24), 워드 프로세싱 응용 프로그램(28), 스프레드시트 응용 프로그램(30), 이메일 응용 프로그램(34), 드로잉(drawing) 응용 프로그램, 기타 등등의 응용 프로그램을 저장할 수 있다.
본 발명의 다양한 실시예들이 (1) 컴퓨팅 시스템 상에서 실행되는 일련의 컴퓨터 구현 동작들 또는 프로그램 모듈들로서 및/또는 (2) 컴퓨팅 시스템 내의 상호연결된 기계 논리 회로들 또는 회로 모듈들로서 구현될 수 있다는 것을 잘 알 것이다. 이 구현은 본 발명을 구현하는 컴퓨팅 시스템의 성능 요건에 따른 선택의 문제이다. 그에 따라, 관련 알고리즘을 포함하는 논리 연산이 연산, 구조적 장치, 동작 또는 모듈 등 여러가지로 지칭될 수 있다. 당업자라면 이들 연산, 구조적 장치, 동작 및 모듈이, 본 명세서에 기재된 청구항들에 기재된 본 발명의 사상 및 범위를 벗어나지 않고, 소프트웨어, 펌웨어, 특수 목적의 디지털 논리, 및 이들의 임의의 조합으로 구현될 수 있다는 것을 잘 알 것이다.
본 발명이 다양한 예시적인 실시예와 관련하여 기술되어 있지만, 당업자라면 이하의 특허청구범위의 범위 내에서 본 발명에 많은 수정이 행해질 수 있다는 것을 잘 알 것이다. 따라서, 본 발명의 범위가 이상의 설명에 의해서 결코 제한되어서는 안되며, 그 대신에 전적으로 이하의 특허청구범위를 참조하여 결정되어야 한다.

Claims (20)

  1. 정보를 제공하는 시스템으로서,
    하나 이상의 프로세서,
    컴퓨터 실행가능 명령어를 저장하는 하나 이상의 컴퓨터 저장 매체
    를 포함하되,
    상기 컴퓨터 실행가능 명령어는 상기 하나 이상의 프로세서에 의해 실행되는 경우,
    쿼리 입력에 기초하여 검색 결과를 찾아내도록 구성된 검색 구성요소,
    하나 이상의 순위 지정 특징(ranking features)을 포함하는 상기 쿼리 입력과 연관된 정보를 저장하도록 구성된 데이터베이스 구성요소 - 상기 하나 이상의 순위 지정 특징은 이전에 수신된 동일한 쿼리 또는 유사한 쿼리에 대한 상기 검색 결과와 관련하여 수집되는 검색 결과와 연관된 사용자 동작(user action) 또는 사용자 무동작(user inaction)과 연관되고, 상기 하나 이상의 순위 지정 특징 중 하나의 순위 지정 특징은 정규화된(normalized) 문서 길이와 연관되고, 상기 정규화된 문서 길이는 순위 지정될 문서의 길이를 상기 검색 결과에 포함된 문서 집합의 평균 길이로 나눔으로써 결정되고, 상기 순위 지정될 문서는 상기 문서 집합에 포함되며, 상기 문서의 길이는 상기 문서 내의 단어의 수에 대응함 - , 및
    동작-기반 특징, 무동작-기반 특징 및 정규화된 문서 길이 특징을 포함하는 상기 하나 이상의 순위 지정 특징 및 순위 지정 함수에 적어도 부분적으로 기초하여 상기 검색 결과의 순위를 지정하도록 구성된 순위 지정 구성요소
    를 제공하고,
    상기 검색 구성요소는 순위 순서(ranking order)에 따라 검색 결과를 제공할 때 상기 검색 결과의 순위를 사용하는
    정보 제공 시스템.
  2. 삭제
  3. 제1항에 있어서,
    변환 함수가 상기 정규화된 문서 길이를 0과 1 사이의 순위 값(ranking value)으로 변환하는
    정보 제공 시스템.
  4. 제3항에 있어서,
    상기 변환 함수는
    Figure 112014095621079-pct00028

    으로 정의되고,
    여기서 D는 상기 정규화된 문서 길이를 나타내고, F(D)는 상기 순위 값을 나타내는
    정보 제공 시스템.
  5. 제1항에 있어서,
    상기 순위 지정 구성요소는, 상기 검색 결과의 순위를 지정할 때, 하나 이상의 클릭 방문 매개변수(click-through parameters)를 사용하고,
    상기 하나 이상의 클릭 방문 매개변수는
    상기 검색 결과가 클릭된 횟수와 연관된 클릭 매개변수,
    상기 검색 결과가 건너뛰기된 횟수와 연관된 건너뛰기 매개변수,
    클릭된 검색 결과와 연관된 쿼리 문자열의 합집합에 대응하는 제1 스트림 매개변수, 및
    건너뛰기된 검색 결과와 연관된 쿼리 문자열의 합집합에 대응하는 제2 스트림 매개변수
    중 하나 이상을 더 포함하는 정보 제공 시스템.
  6. 제5항에 있어서,
    상기 검색 구성요소는 상기 하나 이상의 클릭 방문 매개변수를 업데이트할 때 상기 검색 결과와 어떻게 상호작용하였는지에 연관된 정보를 사용하는 것을 포함하여 상기 하나 이상의 클릭 방문 매개변수를 업데이트하도록 추가로 구성되는
    정보 제공 시스템.
  7. 제6항에 있어서,
    상기 검색 구성요소는 상기 하나 이상의 클릭 방문 매개변수를 업데이트하도록 추가로 구성되고,
    상기 하나 이상의 클릭 방문 매개변수의 업데이트는 선택된 검색 결과 또는 건너뛰기된 검색 결과에 대응하는
    정보 제공 시스템.
  8. 제1항에 있어서,
    상기 하나 이상의 순위 지정 특징은 본문, 제목, 작성자(author), 생성된 제목, 앵커 텍스트, 및 URL로 이루어지는 그룹 중에서 선택된 하나 이상의 동적 순위 지정 특징, 및 클릭 간격(click distance), URL 깊이, 파일 형식, 및 언어로 이루어지는 그룹 중에서 선택된 하나 이상의 정적 순위 지정 특징을 포함하는
    정보 제공 시스템.
  9. 하나 이상의 프로세서에 의해 실행되는 경우에 검색 엔진을 제공하는 컴퓨터 실행가능 명령어를 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 검색 엔진은,
    쿼리와 연관된 정보를 수신하고,
    상기 쿼리와 연관된 검색 결과를 찾아내며 - 상기 검색 결과는 하나 이상의 문서를 포함함 -,
    상기 검색 결과 및 클릭 매개변수와 연관된 제1 입력을 계산하고,
    상기 검색 결과 및 건너뛰기 매개변수와 연관된 제2 입력을 계산하며,
    상기 검색 결과에 포함된 상기 하나 이상의 문서의 정규화된 문서 길이와 연관된 제3 입력을 계산하고- 상기 하나 이상의 문서의 정규화된 문서 길이는 상기 하나 이상의 문서 중 각 문서의 길이를 상기 검색 결과에 포함된 상기 하나 이상의 문서 중 각 문서의 평균 길이로 나눔으로써 획득되고, 상기 문서의 길이는 상기 문서 내의 단어의 수에 대응함 -,
    하나 이상의 순위 지정 특징을 포함하는 상기 쿼리 입력과 연관된 정보를 저장하고 - 상기 하나 이상의 순위 지정 특징은 이전에 수신된 동일한 쿼리 또는 유사한 쿼리에 대한 상기 검색 결과와 관련하여 수집되는 검색 결과와 연관된 사용자 동작 또는 사용자 무동작과 연관되고, 상기 하나 이상의 순위 지정 특징 중 하나의 순위 지정 특징은 정규화된 문서 길이와 연관되고, 순위 지정될 문서는 상기 하나 이상의 문서에 포함됨 -, 및
    상기 순위 지정 특징, 상기 제1 입력, 상기 제2 입력 및 상기 제3 입력을 사용하는 순위 지정 결정에 기초하여 상기 검색 결과의 순위를 지정하며,
    상기 순위 지정 결정에 따라 상기 검색 결과를 제공하도록 구성된
    컴퓨터 판독가능 저장 매체.
  10. 제9항에 있어서,
    상기 검색 엔진은,
    상기 검색 결과 및 제1 스트림 매개변수와 연관된 제4 입력을 계산하고,
    상기 검색 결과 및 제2 스트림 매개변수와 연관된 제5 입력을 계산하며,
    상기 제1 입력, 상기 제2 입력, 상기 제3 입력, 상기 제4 입력 및 상기 제5 입력 중 적어도 넷을 이용하여 상기 검색 결과 내에 포함된 상기 하나 이상의 문서의 순위를 지정하도록 추가로 구성되는
    컴퓨터 판독가능 저장 매체.
  11. 제9항에 있어서,
    상기 검색 엔진은, 상기 검색 결과에 포함된 상기 하나 이상의 문서와의 수신된 상호작용에 연관된 클릭 매개변수 및 건너뛰기 매개변수 업데이트(click prameter and skip parameter updates)로 저장소(store)를 업데이트하도록 추가로 구성되는
    컴퓨터 판독가능 저장 매체.
  12. 제9항에 있어서,
    상기 검색 엔진은, 상기 검색 결과에 포함된 상기 하나 이상의 문서와의 수신된 상호작용에 연관된 스트림 매개변수 업데이트로 저장소를 업데이트하도록 추가로 구성되는
    컴퓨터 판독가능 저장 매체.
  13. 정보를 제공하는 방법으로서,
    쿼리 입력에 기초하여 검색 결과를 찾아내는 검색 단계,
    하나 이상의 순위 지정 특징을 포함하는 상기 쿼리 입력과 연관된 정보를 저장하는 단계 - 상기 하나 이상의 순위 지정 특징은 이전에 수신된 동일한 쿼리 또는 유사한 쿼리에 대한 상기 검색 결과와 관련하여 수집되는 검색 결과와 연관된 사용자 동작 또는 사용자 무동작과 연관되고, 상기 하나 이상의 순위 지정 특징 중 하나의 순위 지정 특징은 정규화된 문서 길이와 연관되고, 상기 정규화된 문서 길이는 순위 지정될 문서의 길이를 상기 검색 결과에 포함된 문서 집합의 평균 길이로 나눔으로써 결정되고, 상기 순위 지정될 문서는 상기 문서 집합에 포함되며, 상기 문서의 길이는 상기 문서 내의 단어의 수에 대응함 - , 및
    동작-기반 특징, 무동작-기반 특징 및 정규화된 문서 길이 특징을 포함하는 상기 하나 이상의 순위 지정 특징 및 순위 지정 함수에 적어도 부분적으로 기초하여 상기 검색 결과의 순위를 지정하는 단계
    를 포함하되,
    상기 검색 단계는 순위 순서에 따라 검색 결과를 제공할 때 상기 검색 결과의 순위를 사용하는 단계를 포함하는
    정보 제공 방법.
  14. 삭제
  15. 삭제
  16. 제1항에 있어서,
    상기 정규화된 문서 길이는 상기 검색 결과에 포함된 하나 이상의 문서의 파일 형식(file type)에 독립적으로 결정되는
    정보 제공 시스템.
  17. 제9항에 있어서,
    상기 검색 결과에 포함된 상기 하나 이상의 문서의 상기 정규화된 문서 길이는 상기 검색 결과에 포함된 상기 하나 이상의 문서의 파일 형식에 독립적으로 결정되는
    컴퓨터 판독가능 저장 매체.
  18. 삭제
  19. 제13항에 있어서,
    상기 정규화된 문서 길이는 상기 검색 결과에 포함된 하나 이상의 문서의 파일 형식에 독립적으로 결정되는
    정보 제공 방법.
  20. 삭제
KR1020117005588A 2008-09-10 2009-11-05 검색 결과 순위 지정을 위한 정적 관련성 특징으로서 문서 길이를 이용한 정보 제공 방법, 시스템 및 컴퓨터 판독가능 저장 매체 KR101683311B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/207,910 US9348912B2 (en) 2007-10-18 2008-09-10 Document length as a static relevance feature for ranking search results
PCT/US2009/063333 WO2010031085A2 (en) 2008-09-10 2009-11-05 Document length as a static relevance feature for ranking search results

Publications (2)

Publication Number Publication Date
KR20120089560A KR20120089560A (ko) 2012-08-13
KR101683311B1 true KR101683311B1 (ko) 2016-12-06

Family

ID=42005833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117005588A KR101683311B1 (ko) 2008-09-10 2009-11-05 검색 결과 순위 지정을 위한 정적 관련성 특징으로서 문서 길이를 이용한 정보 제공 방법, 시스템 및 컴퓨터 판독가능 저장 매체

Country Status (10)

Country Link
US (1) US9348912B2 (ko)
EP (1) EP2329411A4 (ko)
JP (1) JP5620913B2 (ko)
KR (1) KR101683311B1 (ko)
AU (1) AU2009290574B2 (ko)
BR (1) BRPI0916924A2 (ko)
IL (1) IL210591A (ko)
RU (1) RU2517271C2 (ko)
WO (1) WO2010031085A2 (ko)
ZA (1) ZA201100293B (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606793B2 (en) 2004-09-27 2009-10-20 Microsoft Corporation System and method for scoping searches using index keys
US7827181B2 (en) * 2004-09-30 2010-11-02 Microsoft Corporation Click distance determination
US7761448B2 (en) 2004-09-30 2010-07-20 Microsoft Corporation System and method for ranking search results using click distance
US7716198B2 (en) * 2004-12-21 2010-05-11 Microsoft Corporation Ranking search results using feature extraction
US20060200460A1 (en) * 2005-03-03 2006-09-07 Microsoft Corporation System and method for ranking search results using file types
US7792833B2 (en) * 2005-03-03 2010-09-07 Microsoft Corporation Ranking search results using language types
US20120130814A1 (en) * 2007-11-14 2012-05-24 Paul Vincent Hayes System and method for search engine result ranking
US20170032044A1 (en) * 2006-11-14 2017-02-02 Paul Vincent Hayes System and Method for Personalized Search While Maintaining Searcher Privacy
US9348912B2 (en) 2007-10-18 2016-05-24 Microsoft Technology Licensing, Llc Document length as a static relevance feature for ranking search results
CN101855631B (zh) * 2007-11-08 2016-06-29 上海惠普有限公司 用于聚焦爬行的导航排名
US7917503B2 (en) * 2008-01-17 2011-03-29 Microsoft Corporation Specifying relevance ranking preferences utilizing search scopes
US8812493B2 (en) 2008-04-11 2014-08-19 Microsoft Corporation Search results ranking using editing distance and document information
US8041710B2 (en) * 2008-11-13 2011-10-18 Microsoft Corporation Automatic diagnosis of search relevance failures
US20110137886A1 (en) * 2009-12-08 2011-06-09 Microsoft Corporation Data-Centric Search Engine Architecture
US8738635B2 (en) 2010-06-01 2014-05-27 Microsoft Corporation Detection of junk in search result ranking
US9098569B1 (en) * 2010-12-10 2015-08-04 Amazon Technologies, Inc. Generating suggested search queries
US8694507B2 (en) 2011-11-02 2014-04-08 Microsoft Corporation Tenantization of search result ranking
US9495462B2 (en) 2012-01-27 2016-11-15 Microsoft Technology Licensing, Llc Re-ranking search results
TWI475412B (zh) * 2012-04-02 2015-03-01 Ind Tech Res Inst 數位內容次序調整方法和數位內容匯流器
US8972399B2 (en) * 2012-06-22 2015-03-03 Microsoft Technology Licensing, Llc Ranking based on social activity data
US9237386B2 (en) 2012-08-31 2016-01-12 Google Inc. Aiding discovery of program content by providing deeplinks into most interesting moments via social media
US9401947B1 (en) 2013-02-08 2016-07-26 Google Inc. Methods, systems, and media for presenting comments based on correlation with content
CN105765559B (zh) * 2013-09-09 2019-03-05 尤奈特戴克斯公司 交互式案件管理系统
US9965549B2 (en) * 2013-10-09 2018-05-08 Foxwordy Inc. Excerpted content
JP5735191B1 (ja) * 2014-07-31 2015-06-17 楽天株式会社 検索装置、検索方法、記録媒体、ならびに、プログラム
US20160162467A1 (en) * 2014-12-09 2016-06-09 Idibon, Inc. Methods and systems for language-agnostic machine learning in natural language processing using feature extraction
US9720774B2 (en) * 2015-06-29 2017-08-01 Sap Se Adaptive recovery for SCM-enabled databases
US10691688B2 (en) * 2016-06-17 2020-06-23 Sap Se Cracking page-loadable columns for in-memory data management
US20180096067A1 (en) * 2016-10-04 2018-04-05 Searchmetrics Gmbh Creation and optimization of resource contents
US10325033B2 (en) 2016-10-28 2019-06-18 Searchmetrics Gmbh Determination of content score
US10872088B2 (en) * 2017-01-30 2020-12-22 Apple Inc. Domain based influence scoring
US10496319B2 (en) 2017-02-28 2019-12-03 Sap Se Lifecycle management for data in non-volatile memory including blocking creation of a database savepoint and associating non-volatile memory block identifiers with database column fragments
JP7009911B2 (ja) * 2017-10-26 2022-01-26 富士通株式会社 回答出力プログラム、回答出力方法および情報処理装置
KR102142986B1 (ko) * 2018-01-24 2020-08-10 충북대학교 산학협력단 학습에 기반한 검색결과 표시 방법 및 장치
JP6840293B1 (ja) * 2019-11-28 2021-03-10 三菱電機株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN112989164B (zh) * 2021-03-26 2023-11-03 北京金堤征信服务有限公司 搜索结果处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070260597A1 (en) * 2006-05-02 2007-11-08 Mark Cramer Dynamic search engine results employing user behavior
US20080140641A1 (en) * 2006-12-07 2008-06-12 Yahoo! Inc. Knowledge and interests based search term ranking for search results validation

Family Cites Families (383)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819156A (en) 1986-06-13 1989-04-04 International Business Machines Corporation Database index journaling for enhanced recovery
US5226161A (en) 1987-08-21 1993-07-06 Wang Laboratories, Inc. Integration of data between typed data structures by mutual direct invocation between data managers corresponding to data types
US5369778A (en) 1987-08-21 1994-11-29 Wang Laboratories, Inc. Data processor that customizes program behavior by using a resource retrieval capability
US5222236A (en) 1988-04-29 1993-06-22 Overdrive Systems, Inc. Multiple integrated document assembly data processing system
US5321833A (en) 1990-08-29 1994-06-14 Gte Laboratories Incorporated Adaptive ranking system for information retrieval
US5257577A (en) 1991-04-01 1993-11-02 Clark Melvin D Apparatus for assist in recycling of refuse
WO1994012944A1 (en) 1992-11-23 1994-06-09 Paragon Concepts, Inc. Computer filing system with user selected categories to provide file access
US6202058B1 (en) 1994-04-25 2001-03-13 Apple Computer, Inc. System for ranking the relevance of information objects accessed by computer users
US5606609A (en) 1994-09-19 1997-02-25 Scientific-Atlanta Electronic document verification system and method
US5594660A (en) 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
US5642502A (en) 1994-12-06 1997-06-24 University Of Central Florida Method and system for searching for relevant documents from a text database collection, using statistical ranking, relevancy feedback and small pieces of text
US5729730A (en) 1995-03-28 1998-03-17 Dex Information Systems, Inc. Method and apparatus for improved information storage and retrieval system
US5826269A (en) 1995-06-21 1998-10-20 Microsoft Corporation Electronic mail interface for a network server
US5933851A (en) 1995-09-29 1999-08-03 Sony Corporation Time-stamp and hash-based file modification monitor with multi-user notification and method thereof
US5974455A (en) 1995-12-13 1999-10-26 Digital Equipment Corporation System for adding new entry to web page table upon receiving web page including link to another web page not having corresponding entry in web page table
US5855020A (en) 1996-02-21 1998-12-29 Infoseek Corporation Web scan process
US6314420B1 (en) 1996-04-04 2001-11-06 Lycos, Inc. Collaborative/adaptive search engine
JP3113814B2 (ja) * 1996-04-17 2000-12-04 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 情報検索方法及び情報検索装置
US5905866A (en) 1996-04-30 1999-05-18 A.I. Soft Corporation Data-update monitoring in communications network
US5828999A (en) * 1996-05-06 1998-10-27 Apple Computer, Inc. Method and system for deriving a large-span semantic language model for large-vocabulary recognition systems
US5920859A (en) 1997-02-05 1999-07-06 Idd Enterprises, L.P. Hypertext document retrieval system and method
US6038610A (en) 1996-07-17 2000-03-14 Microsoft Corporation Storage of sitemaps at server sites for holding information regarding content
EP0822502A1 (en) 1996-07-31 1998-02-04 BRITISH TELECOMMUNICATIONS public limited company Data access system
US5745890A (en) 1996-08-09 1998-04-28 Digital Equipment Corporation Sequential searching of a database index using constraints on word-location pairs
US5765150A (en) 1996-08-09 1998-06-09 Digital Equipment Corporation Method for statistically projecting the ranking of information
US5920854A (en) 1996-08-14 1999-07-06 Infoseek Corporation Real-time document collection search engine with phrase indexing
JP4025379B2 (ja) 1996-09-17 2007-12-19 株式会社ニューズウオッチ 検索システム
US5870739A (en) 1996-09-20 1999-02-09 Novell, Inc. Hybrid query apparatus and method
US5893116A (en) 1996-09-30 1999-04-06 Novell, Inc. Accessing network resources using network resource replicator and captured login script for use when the computer is disconnected from the network
US5870740A (en) 1996-09-30 1999-02-09 Apple Computer, Inc. System and method for improving the ranking of information retrieval results for short queries
US6222559B1 (en) 1996-10-02 2001-04-24 Nippon Telegraph And Telephone Corporation Method and apparatus for display of hierarchical structures
GB2331166B (en) 1997-11-06 2002-09-11 Ibm Database search engine
US5966126A (en) 1996-12-23 1999-10-12 Szabo; Andrew J. Graphic user interface for database system
US6285999B1 (en) * 1997-01-10 2001-09-04 The Board Of Trustees Of The Leland Stanford Junior University Method for node ranking in a linked database
US6415319B1 (en) 1997-02-07 2002-07-02 Sun Microsystems, Inc. Intelligent network browser using incremental conceptual indexer
US5960383A (en) 1997-02-25 1999-09-28 Digital Equipment Corporation Extraction of key sections from texts using automatic indexing techniques
JPH10240757A (ja) 1997-02-27 1998-09-11 Hitachi Ltd 協調分散検索システム
US5890147A (en) 1997-03-07 1999-03-30 Microsoft Corporation Scope testing of documents in a search engine using document to folder mapping
US5848404A (en) 1997-03-24 1998-12-08 International Business Machines Corporation Fast query search in large dimension database
US6272507B1 (en) 1997-04-09 2001-08-07 Xerox Corporation System for ranking search results from a collection of documents using spreading activation techniques
US6256675B1 (en) 1997-05-06 2001-07-03 At&T Corp. System and method for allocating requests for objects and managing replicas of objects on a network
AUPO710597A0 (en) 1997-06-02 1997-06-26 Knowledge Horizons Pty. Ltd. Methods and systems for knowledge management
US6029164A (en) 1997-06-16 2000-02-22 Digital Equipment Corporation Method and apparatus for organizing and accessing electronic mail messages using labels and full text and label indexing
US6012053A (en) 1997-06-23 2000-01-04 Lycos, Inc. Computer system with user-controlled relevance ranking of search results
JPH1125119A (ja) 1997-06-30 1999-01-29 Canon Inc ハイパーテキスト閲覧システム
JPH1125104A (ja) 1997-06-30 1999-01-29 Canon Inc 情報処理装置および方法
US5933822A (en) 1997-07-22 1999-08-03 Microsoft Corporation Apparatus and methods for an information retrieval system that employs natural language processing of search results to improve overall precision
US5983216A (en) 1997-09-12 1999-11-09 Infoseek Corporation Performing automated document collection and selection by providing a meta-index with meta-index values indentifying corresponding document collections
US6182113B1 (en) 1997-09-16 2001-01-30 International Business Machines Corporation Dynamic multiplexing of hyperlinks and bookmarks
US5956722A (en) 1997-09-23 1999-09-21 At&T Corp. Method for effective indexing of partially dynamic documents
US6999959B1 (en) 1997-10-10 2006-02-14 Nec Laboratories America, Inc. Meta search engine
US6026398A (en) 1997-10-16 2000-02-15 Imarket, Incorporated System and methods for searching and matching databases
US6070191A (en) 1997-10-17 2000-05-30 Lucent Technologies Inc. Data distribution techniques for load-balanced fault-tolerant web access
US6351467B1 (en) 1997-10-27 2002-02-26 Hughes Electronics Corporation System and method for multicasting multimedia content
US6128701A (en) 1997-10-28 2000-10-03 Cache Flow, Inc. Adaptive and predictive cache refresh policy
US6594682B2 (en) 1997-10-28 2003-07-15 Microsoft Corporation Client-side system for scheduling delivery of web content and locally managing the web content
US5991756A (en) 1997-11-03 1999-11-23 Yahoo, Inc. Information retrieval from hierarchical compound documents
US5943670A (en) 1997-11-21 1999-08-24 International Business Machines Corporation System and method for categorizing objects in combined categories
US5987457A (en) 1997-11-25 1999-11-16 Acceleration Software International Corporation Query refinement method for searching documents
US6473752B1 (en) 1997-12-04 2002-10-29 Micron Technology, Inc. Method and system for locating documents based on previously accessed documents
US6389436B1 (en) 1997-12-15 2002-05-14 International Business Machines Corporation Enhanced hypertext categorization using hyperlinks
US6145003A (en) 1997-12-17 2000-11-07 Microsoft Corporation Method of web crawling utilizing address mapping
US7010532B1 (en) 1997-12-31 2006-03-07 International Business Machines Corporation Low overhead methods and apparatus for shared access storage devices
US6151624A (en) 1998-02-03 2000-11-21 Realnames Corporation Navigating network resources based on metadata
JP3998794B2 (ja) 1998-02-18 2007-10-31 株式会社野村総合研究所 ブラウジングクライアントサーバーシステム
KR100285265B1 (ko) 1998-02-25 2001-04-02 윤덕용 데이터 베이스 관리 시스템과 정보 검색의 밀결합을 위하여 서브 인덱스와 대용량 객체를 이용한 역 인덱스 저장 구조
US6185558B1 (en) 1998-03-03 2001-02-06 Amazon.Com, Inc. Identifying the items most relevant to a current query based on items selected in connection with similar queries
US5913210A (en) 1998-03-27 1999-06-15 Call; Charles G. Methods and apparatus for disseminating product information via the internet
US6125361A (en) 1998-04-10 2000-09-26 International Business Machines Corporation Feature diffusion across hyperlinks
US6151595A (en) 1998-04-17 2000-11-21 Xerox Corporation Methods for interactive visualization of spreading activation using time tubes and disk trees
US6167402A (en) 1998-04-27 2000-12-26 Sun Microsystems, Inc. High performance message store
US6314421B1 (en) 1998-05-12 2001-11-06 David M. Sharnoff Method and apparatus for indexing documents for message filtering
JPH11328191A (ja) 1998-05-13 1999-11-30 Nec Corp Ｗｗｗロボット検索システム
US6098064A (en) 1998-05-22 2000-08-01 Xerox Corporation Prefetching and caching documents according to probability ranked need S list
US6285367B1 (en) 1998-05-26 2001-09-04 International Business Machines Corporation Method and apparatus for displaying and navigating a graph
US6182085B1 (en) 1998-05-28 2001-01-30 International Business Machines Corporation Collaborative team crawling:Large scale information gathering over the internet
US6208988B1 (en) 1998-06-01 2001-03-27 Bigchalk.Com, Inc. Method for identifying themes associated with a search query using metadata and for organizing documents responsive to the search query in accordance with the themes
JP2002517860A (ja) 1998-06-08 2002-06-18 ケイシーエスエル インク． データベースから関連情報を検索する方法およびシステム
US6006225A (en) 1998-06-15 1999-12-21 Amazon.Com Refining search queries by the suggestion of correlated terms from prior searches
JP3665480B2 (ja) 1998-06-24 2005-06-29 富士通株式会社 文書整理装置および方法
US6216123B1 (en) 1998-06-24 2001-04-10 Novell, Inc. Method and system for rapid retrieval in a full text indexing system
US6638314B1 (en) 1998-06-26 2003-10-28 Microsoft Corporation Method of web crawling utilizing crawl numbers
US6424966B1 (en) 1998-06-30 2002-07-23 Microsoft Corporation Synchronizing crawler with notification source
US6199081B1 (en) 1998-06-30 2001-03-06 Microsoft Corporation Automatic tagging of documents and exclusion by content
CN1324464A (zh) 1998-08-26 2001-11-28 西姆泰克有限公司 映射数据文件的方法和设备
US6324551B1 (en) 1998-08-31 2001-11-27 Xerox Corporation Self-contained document management based on document properties
RU2138076C1 (ru) 1998-09-14 1999-09-20 Закрытое акционерное общество "МедиаЛингва" Система поиска информации в компьютерной сети
US6115709A (en) 1998-09-18 2000-09-05 Tacit Knowledge Systems, Inc. Method and system for constructing a knowledge profile of a user having unrestricted and restricted access portions according to respective levels of confidence of content of the portions
US6549897B1 (en) 1998-10-09 2003-04-15 Microsoft Corporation Method and system for calculating phrase-document importance
US6385602B1 (en) 1998-11-03 2002-05-07 E-Centives, Inc. Presentation of search results using dynamic categorization
US6360215B1 (en) 1998-11-03 2002-03-19 Inktomi Corporation Method and apparatus for retrieving documents based on information other than document content
US20030069873A1 (en) 1998-11-18 2003-04-10 Kevin L. Fox Multiple engine information retrieval and visualization system
US6628304B2 (en) 1998-12-09 2003-09-30 Cisco Technology, Inc. Method and apparatus providing a graphical user interface for representing and navigating hierarchical networks
US6167369A (en) 1998-12-23 2000-12-26 Xerox Company Automatic language identification using both N-gram and word information
JP2000194713A (ja) 1998-12-25 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> 文字列検索方法及び装置及び文字列検索プログラムを格納した記憶媒体
US6922699B2 (en) 1999-01-26 2005-07-26 Xerox Corporation System and method for quantitatively representing data objects in vector space
US6418433B1 (en) 1999-01-28 2002-07-09 International Business Machines Corporation System and method for focussed web crawling
JP3347088B2 (ja) 1999-02-12 2002-11-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 関連情報検索方法およびシステム
US6510406B1 (en) 1999-03-23 2003-01-21 Mathsoft, Inc. Inverse inference engine for high performance web search
US6862710B1 (en) 1999-03-23 2005-03-01 Insightful Corporation Internet navigation using soft hyperlinks
US6763496B1 (en) 1999-03-31 2004-07-13 Microsoft Corporation Method for promoting contextual information to display pages containing hyperlinks
US6304864B1 (en) 1999-04-20 2001-10-16 Textwise Llc System for retrieving multimedia information from the internet using multiple evolving intelligent agents
US6336117B1 (en) 1999-04-30 2002-01-01 International Business Machines Corporation Content-indexing search system and method providing search results consistent with content filtering and blocking policies implemented in a blocking engine
US6327590B1 (en) 1999-05-05 2001-12-04 Xerox Corporation System and method for collaborative ranking of search results employing user and group profiles derived from document collection content analysis
US7835943B2 (en) 1999-05-28 2010-11-16 Yahoo! Inc. System and method for providing place and price protection in a search result list generated by a computer network search engine
US6990628B1 (en) 1999-06-14 2006-01-24 Yahoo! Inc. Method and apparatus for measuring similarity among electronic documents
US7072888B1 (en) 1999-06-16 2006-07-04 Triogo, Inc. Process for improving search engine efficiency using feedback
US6973490B1 (en) 1999-06-23 2005-12-06 Savvis Communications Corp. Method and system for object-level web performance and analysis
US6547829B1 (en) 1999-06-30 2003-04-15 Microsoft Corporation Method and system for detecting duplicate documents in web crawls
US6631369B1 (en) 1999-06-30 2003-10-07 Microsoft Corporation Method and system for incremental web crawling
US6873982B1 (en) 1999-07-16 2005-03-29 International Business Machines Corporation Ordering of database search results based on user feedback
US6557036B1 (en) 1999-07-20 2003-04-29 Sun Microsystems, Inc. Methods and apparatus for site wide monitoring of electronic mail systems
US7181438B1 (en) 1999-07-21 2007-02-20 Alberti Anemometer, Llc Database access system
US6598047B1 (en) 1999-07-26 2003-07-22 David W. Russell Method and system for searching text
CA2279119C (en) 1999-07-29 2004-10-19 Ibm Canada Limited-Ibm Canada Limitee Heuristic-based conditional data indexing
JP3931496B2 (ja) 1999-08-11 2007-06-13 富士ゼロックス株式会社 ハイパーテキスト解析装置
US6442606B1 (en) 1999-08-12 2002-08-27 Inktomi Corporation Method and apparatus for identifying spoof documents
US6636853B1 (en) 1999-08-30 2003-10-21 Morphism, Llc Method and apparatus for representing and navigating search results
US6381597B1 (en) 1999-10-07 2002-04-30 U-Know Software Corporation Electronic shopping agent which is capable of operating with vendor sites which have disparate formats
US6516337B1 (en) 1999-10-14 2003-02-04 Arcessa, Inc. Sending to a central indexing site meta data or signatures from objects on a computer network
US7346604B1 (en) 1999-10-15 2008-03-18 Hewlett-Packard Development Company, L.P. Method for ranking hypertext search results by analysis of hyperlinks from expert documents and keyword scope
US6687698B1 (en) 1999-10-18 2004-02-03 Fisher Rosemount Systems, Inc. Accessing and updating a configuration database from distributed physical locations within a process control system
JP3772606B2 (ja) 1999-10-19 2006-05-10 株式会社日立製作所 電子文書管理方法及びシステム並びに記録媒体
AU1039301A (en) 1999-10-29 2001-05-08 British Telecommunications Public Limited Company Method and apparatus for processing queries
US6351755B1 (en) 1999-11-02 2002-02-26 Alta Vista Company System and method for associating an extensible set of data with documents downloaded by a web crawler
US6263364B1 (en) 1999-11-02 2001-07-17 Alta Vista Company Web crawler system using plurality of parallel priority level queues having distinct associated download priority levels for prioritizing document downloading and maintaining document freshness
US6418453B1 (en) 1999-11-03 2002-07-09 International Business Machines Corporation Network repository service for efficient web crawling
US6418452B1 (en) 1999-11-03 2002-07-09 International Business Machines Corporation Network repository service directory for efficient web crawling
US6539376B1 (en) 1999-11-15 2003-03-25 International Business Machines Corporation System and method for the automatic mining of new relationships
US6886129B1 (en) 1999-11-24 2005-04-26 International Business Machines Corporation Method and system for trawling the World-wide Web to identify implicitly-defined communities of web pages
US7016540B1 (en) 1999-11-24 2006-03-21 Nec Corporation Method and system for segmentation, classification, and summarization of video images
US6772141B1 (en) 1999-12-14 2004-08-03 Novell, Inc. Method and apparatus for organizing and using indexes utilizing a search decision table
US6366907B1 (en) 1999-12-15 2002-04-02 Napster, Inc. Real-time search engine
US6546388B1 (en) 2000-01-14 2003-04-08 International Business Machines Corporation Metadata search results ranking system
US6883135B1 (en) 2000-01-28 2005-04-19 Microsoft Corporation Proxy server using a statistical model
US7240067B2 (en) 2000-02-08 2007-07-03 Sybase, Inc. System and methodology for extraction and aggregation of data from dynamic content
US6931397B1 (en) 2000-02-11 2005-08-16 International Business Machines Corporation System and method for automatic generation of dynamic search abstracts contain metadata by crawler
US6910029B1 (en) 2000-02-22 2005-06-21 International Business Machines Corporation System for weighted indexing of hierarchical documents
JP2001265774A (ja) 2000-03-16 2001-09-28 Nippon Telegr & Teleph Corp <Ntt> 情報検索方法、装置、および情報検索プログラムを記録した記録媒体、ハイパーテキスト情報検索システム
US6516312B1 (en) 2000-04-04 2003-02-04 International Business Machine Corporation System and method for dynamically associating keywords with domain-specific search engine queries
US6633867B1 (en) 2000-04-05 2003-10-14 International Business Machines Corporation System and method for providing a session query within the context of a dynamic search result set
US6549896B1 (en) 2000-04-07 2003-04-15 Nec Usa, Inc. System and method employing random walks for mining web page associations and usage to optimize user-oriented web page refresh and pre-fetch scheduling
US6718365B1 (en) 2000-04-13 2004-04-06 International Business Machines Corporation Method, system, and program for ordering search results using an importance weighting
US6859800B1 (en) 2000-04-26 2005-02-22 Global Information Research And Technologies Llc System for fulfilling an information need
US6772160B2 (en) 2000-06-08 2004-08-03 Ingenuity Systems, Inc. Techniques for facilitating information acquisition and storage
US6741986B2 (en) 2000-12-08 2004-05-25 Ingenuity Systems, Inc. Method and system for performing information extraction and quality control for a knowledgebase
DE10029644B4 (de) 2000-06-16 2008-02-07 Deutsche Telekom Ag Verfahren zur Relevanzbewertung bei der Indexierung von Hypertext-Dokumenten mittels Suchmaschine
JP3573688B2 (ja) * 2000-06-28 2004-10-06 松下電器産業株式会社 類似文書検索装置及び関連キーワード抽出装置
US6678692B1 (en) 2000-07-10 2004-01-13 Northrop Grumman Corporation Hierarchy statistical analysis system and method
JP2002024015A (ja) 2000-07-11 2002-01-25 Misawa Van Corp クライアントサーバシステム構築方法
US6601075B1 (en) 2000-07-27 2003-07-29 International Business Machines Corporation System and method of ranking and retrieving documents based on authority scores of schemas and documents
US6633868B1 (en) 2000-07-28 2003-10-14 Shermann Loyall Min System and method for context-based document retrieval
US6598040B1 (en) 2000-08-14 2003-07-22 International Business Machines Corporation Method and system for processing electronic search expressions
US7080073B1 (en) 2000-08-18 2006-07-18 Firstrain, Inc. Method and apparatus for focused crawling
US7278105B1 (en) 2000-08-21 2007-10-02 Vignette Corporation Visualization and analysis of user clickpaths
KR100378240B1 (ko) 2000-08-23 2003-03-29 학교법인 통진학원 엔트로피와 사용자 프로파일을 적용한 문서순위 조정방법
US20030217052A1 (en) 2000-08-24 2003-11-20 Celebros Ltd. Search engine method and apparatus
US6959326B1 (en) 2000-08-24 2005-10-25 International Business Machines Corporation Method, system, and program for gathering indexable metadata on content at a data repository
US7072847B2 (en) 2000-08-25 2006-07-04 Jonas Ulenas Method and apparatus for obtaining consumer product preferences through product selection and evaluation
JP3472540B2 (ja) 2000-09-11 2003-12-02 日本電信電話株式会社 サーバ選択装置、サーバ選択方法、及びサーバ選択プログラムを記録した記録媒体
NO313399B1 (no) 2000-09-14 2002-09-23 Fast Search & Transfer Asa Fremgangsmate til soking og analyse av informasjon i datanettverk
US6598051B1 (en) 2000-09-19 2003-07-22 Altavista Company Web page connectivity server
JP3525885B2 (ja) 2000-10-25 2004-05-10 日本電信電話株式会社 多角的検索サービス方法およびそのプログラムを記録した記録媒体
US6560600B1 (en) 2000-10-25 2003-05-06 Alta Vista Company Method and apparatus for ranking Web page search results
JP2002140365A (ja) 2000-11-01 2002-05-17 Mitsubishi Electric Corp データ検索方法
US7200606B2 (en) 2000-11-07 2007-04-03 The Regents Of The University Of California Method and system for selecting documents by measuring document quality
US6622140B1 (en) 2000-11-15 2003-09-16 Justsystem Corporation Method and apparatus for analyzing affect and emotion in text
JP2002157271A (ja) 2000-11-20 2002-05-31 Yozan Inc ブラウザ装置、サーバ装置、記録媒体、検索システムおよび検索方法
US7925967B2 (en) 2000-11-21 2011-04-12 Aol Inc. Metadata quality improvement
US8402068B2 (en) 2000-12-07 2013-03-19 Half.Com, Inc. System and method for collecting, associating, normalizing and presenting product and vendor information on a distributed network
US20020078045A1 (en) 2000-12-14 2002-06-20 Rabindranath Dutta System, method, and program for ranking search results using user category weighting
US6898592B2 (en) 2000-12-27 2005-05-24 Microsoft Corporation Scoping queries in a search engine
JP2002202992A (ja) 2000-12-28 2002-07-19 Speed System:Kk ホームページ検索システム
US6778997B2 (en) 2001-01-05 2004-08-17 International Business Machines Corporation XML: finding authoritative pages for mining communities based on page structure criteria
US7356530B2 (en) 2001-01-10 2008-04-08 Looksmart, Ltd. Systems and methods of retrieving relevant information
US6766316B2 (en) 2001-01-18 2004-07-20 Science Applications International Corporation Method and system of ranking and clustering for document indexing and retrieval
US6526440B1 (en) 2001-01-30 2003-02-25 Google, Inc. Ranking search results by reranking the results based on local inter-connectivity
US20020103798A1 (en) 2001-02-01 2002-08-01 Abrol Mani S. Adaptive document ranking method based on user behavior
US20020107886A1 (en) 2001-02-07 2002-08-08 Gentner Donald R. Method and apparatus for automatic document electronic versioning system
US7571177B2 (en) 2001-02-08 2009-08-04 2028, Inc. Methods and systems for automated semantic knowledge leveraging graph theoretic analysis and the inherent structure of communication
US20040003028A1 (en) 2002-05-08 2004-01-01 David Emmett Automatic display of web content to smaller display devices: improved summarization and navigation
JP2002245089A (ja) 2001-02-19 2002-08-30 Hitachi Eng Co Ltd ウェブページ検索システム、二次情報収集装置、インターフェース装置
US7627596B2 (en) * 2001-02-22 2009-12-01 International Business Machines Corporation Retrieving handwritten documents using multiple document recognizers and techniques allowing both typed and handwritten queries
US8001118B2 (en) 2001-03-02 2011-08-16 Google Inc. Methods and apparatus for employing usage statistics in document retrieval
US7269545B2 (en) 2001-03-30 2007-09-11 Nec Laboratories America, Inc. Method for retrieving answers from an information retrieval system
US20020169770A1 (en) 2001-04-27 2002-11-14 Kim Brian Seong-Gon Apparatus and method that categorize a collection of documents into a hierarchy of categories that are defined by the collection of documents
US7188106B2 (en) 2001-05-01 2007-03-06 International Business Machines Corporation System and method for aggregating ranking results from various sources to improve the results of web searching
US20020165860A1 (en) 2001-05-07 2002-11-07 Nec Research Insititute, Inc. Selective retrieval metasearch engine
US6738764B2 (en) 2001-05-08 2004-05-18 Verity, Inc. Apparatus and method for adaptively ranking search results
AU2002256868B2 (en) 2001-05-10 2007-08-16 Amdocs Software Systems Limited Intelligent internet website with hierarchical menu
US6865295B2 (en) 2001-05-11 2005-03-08 Koninklijke Philips Electronics N.V. Palette-based histogram matching with recursive histogram vector generation
US6782383B2 (en) 2001-06-18 2004-08-24 Siebel Systems, Inc. System and method to implement a persistent and dismissible search center frame
US6947920B2 (en) 2001-06-20 2005-09-20 Oracle International Corporation Method and system for response time optimization of data query rankings and retrieval
US7519529B1 (en) 2001-06-29 2009-04-14 Microsoft Corporation System and methods for inferring informational goals and preferred level of detail of results in response to questions posed to an automated information-retrieval or question-answering service
CA2453174A1 (en) 2001-07-19 2003-01-30 Computer Associates Think, Inc. Method and system for reorganizing a tablespace in a database
US7039234B2 (en) 2001-07-19 2006-05-02 Microsoft Corporation Electronic ink as a software object
US6928425B2 (en) 2001-08-13 2005-08-09 Xerox Corporation System for propagating enrichment between documents
US6868411B2 (en) 2001-08-13 2005-03-15 Xerox Corporation Fuzzy text categorizer
KR100509276B1 (ko) 2001-08-20 2005-08-22 엔에이치엔(주) 웹페이지별 방문인기도에 기반한 웹페이지 검색방법 및 그장치
JP3895955B2 (ja) 2001-08-24 2007-03-22 株式会社東芝 情報検索方法および情報検索システム
US7076483B2 (en) 2001-08-27 2006-07-11 Xyleme Sa Ranking nodes in a graph
US20030046389A1 (en) 2001-09-04 2003-03-06 Thieme Laura M. Method for monitoring a web site's keyword visibility in search engines and directories and resulting traffic from such keyword visibility
US6970863B2 (en) 2001-09-18 2005-11-29 International Business Machines Corporation Front-end weight factor search criteria
US6766422B2 (en) 2001-09-27 2004-07-20 Siemens Information And Communication Networks, Inc. Method and system for web caching based on predictive usage
US6944609B2 (en) 2001-10-18 2005-09-13 Lycos, Inc. Search results using editor feedback
US7428695B2 (en) 2001-10-22 2008-09-23 Hewlett-Packard Development Company, L.P. System for automatic generation of arbitrarily indexed hyperlinked text
JP2003208434A (ja) 2001-11-07 2003-07-25 Nec Corp 情報検索システム及びそれに用いる情報検索方法
US20030101183A1 (en) 2001-11-26 2003-05-29 Navin Kabra Information retrieval index allowing updating while in use
US6763362B2 (en) 2001-11-30 2004-07-13 Micron Technology, Inc. Method and system for updating a search engine
TW530224B (en) 2001-12-07 2003-05-01 Inst Information Industry Relation establishment system and method for key words in search engine
US7565367B2 (en) 2002-01-15 2009-07-21 Iac Search & Media, Inc. Enhanced popularity ranking
JP3871201B2 (ja) 2002-01-29 2007-01-24 ソニー株式会社 コンテンツ提供取得システム
US6829606B2 (en) 2002-02-14 2004-12-07 Infoglide Software Corporation Similarity search engine for use with relational databases
JP4021681B2 (ja) 2002-02-22 2007-12-12 日本電信電話株式会社 ページレイティング／フィルタリング方法および装置とページレイティング／フィルタリングプログラムおよび該プログラムを記録したコンピュータ読取り可能な記録媒体
US20060004732A1 (en) 2002-02-26 2006-01-05 Odom Paul S Search engine methods and systems for generating relevant search results and advertisements
US6934714B2 (en) 2002-03-04 2005-08-23 Intelesis Engineering, Inc. Method and system for identification and maintenance of families of data records
US7693830B2 (en) 2005-08-10 2010-04-06 Google Inc. Programmable search engine
KR100490748B1 (ko) 2002-04-11 2005-05-24 한국전자통신연구원 유,알,엘 포함관계에 기반한 유사도 재계산을 통한효과적인 홈페이지 검색 방법
KR20030082109A (ko) 2002-04-16 2003-10-22 (주)메타웨이브 앤드 연산자를 이용한 색인어 검색 및 정보 제공 시스템및 방법
US7039631B1 (en) 2002-05-24 2006-05-02 Microsoft Corporation System and method for providing search results with configurable scoring formula
RU2273879C2 (ru) 2002-05-28 2006-04-10 Владимир Владимирович Насыпный Способ синтеза самообучающейся системы извлечения знаний из текстовых документов для поисковых систем
US20040006559A1 (en) 2002-05-29 2004-01-08 Gange David M. System, apparatus, and method for user tunable and selectable searching of a database using a weigthted quantized feature vector
JP2005530250A (ja) 2002-06-12 2005-10-06 ジェナ ジョーダル， 複数階層視座を実現するデータ格納、取り出し、操作、及び表示ツール
JP3922693B2 (ja) 2002-06-17 2007-05-30 Ｎｅｃシステムテクノロジー株式会社 インターネット情報検索システム
JP2004054588A (ja) 2002-07-19 2004-02-19 Just Syst Corp 文書検索装置、文書検索方法およびその方法をコンピュータに実行させるプログラム
CA2395905A1 (en) 2002-07-26 2004-01-26 Teraxion Inc. Multi-grating tunable chromatic dispersion compensator
US7599911B2 (en) 2002-08-05 2009-10-06 Yahoo! Inc. Method and apparatus for search ranking using human input and automated ranking
US7152059B2 (en) 2002-08-30 2006-12-19 Emergency24, Inc. System and method for predicting additional search results of a computerized database search user based on an initial search query
US7013458B2 (en) 2002-09-09 2006-03-14 Sun Microsystems, Inc. Method and apparatus for associating metadata attributes with program elements
JP2004164555A (ja) 2002-09-17 2004-06-10 Fuji Xerox Co Ltd 検索装置および方法ならびにそのインデクス構築装置および方法
US20040064442A1 (en) 2002-09-27 2004-04-01 Popovitch Steven Gregory Incremental search engine
US6886010B2 (en) 2002-09-30 2005-04-26 The United States Of America As Represented By The Secretary Of The Navy Method for data and text mining and literature-based discovery
TW575813B (en) 2002-10-11 2004-02-11 Intumit Inc System and method using external search engine as foundation for segmentation of word
US7085755B2 (en) 2002-11-07 2006-08-01 Thomson Global Resources Ag Electronic document repository management and access system
US7231379B2 (en) 2002-11-19 2007-06-12 Noema, Inc. Navigation in a hierarchical structured transaction processing system
US7386527B2 (en) 2002-12-06 2008-06-10 Kofax, Inc. Effective multi-class support vector machine classification
US7020648B2 (en) 2002-12-14 2006-03-28 International Business Machines Corporation System and method for identifying and utilizing a secondary index to access a database using a management system without an internal catalogue of online metadata
US7734565B2 (en) 2003-01-18 2010-06-08 Yahoo! Inc. Query string matching method and apparatus
US20040148278A1 (en) 2003-01-22 2004-07-29 Amir Milo System and method for providing content warehouse
RU2236699C1 (ru) 2003-02-25 2004-09-20 Открытое акционерное общество "Телепортал. Ру" Способ поиска и выборки информации с повышенной релевантностью
JP4299022B2 (ja) 2003-02-28 2009-07-22 トヨタ自動車株式会社 コンテンツ検索用インデックス生成装置
US20040181515A1 (en) 2003-03-13 2004-09-16 International Business Machines Corporation Group administration of universal resource identifiers with members identified in search result
US6947930B2 (en) 2003-03-21 2005-09-20 Overture Services, Inc. Systems and methods for interactive search query refinement
DE60315947T2 (de) 2003-03-27 2008-05-21 Sony Deutschland Gmbh Verfahren zur Sprachmodellierung
US7216123B2 (en) 2003-03-28 2007-05-08 Board Of Trustees Of The Leland Stanford Junior University Methods for ranking nodes in large directed graphs
US7028029B2 (en) 2003-03-28 2006-04-11 Google Inc. Adaptive computation of ranking
US7451130B2 (en) 2003-06-16 2008-11-11 Google Inc. System and method for providing preferred country biasing of search results
US7451129B2 (en) 2003-03-31 2008-11-11 Google Inc. System and method for providing preferred language ordering of search results
US7051023B2 (en) 2003-04-04 2006-05-23 Yahoo! Inc. Systems and methods for generating concept units from search queries
US7197497B2 (en) 2003-04-25 2007-03-27 Overture Services, Inc. Method and apparatus for machine learning a document relevance function
US7283997B1 (en) 2003-05-14 2007-10-16 Apple Inc. System and method for ranking the relevance of documents retrieved by a query
US7502779B2 (en) 2003-06-05 2009-03-10 International Business Machines Corporation Semantics-based searching for information in a distributed data processing system
US7836391B2 (en) 2003-06-10 2010-11-16 Google Inc. Document search engine including highlighting of confident results
US8239380B2 (en) 2003-06-20 2012-08-07 Microsoft Corporation Systems and methods to tune a general-purpose search engine for a search entry point
US7228301B2 (en) 2003-06-27 2007-06-05 Microsoft Corporation Method for normalizing document metadata to improve search results using an alias relationship directory service
US7630963B2 (en) 2003-06-30 2009-12-08 Microsoft Corporation Fast ranked full-text searching
US7308643B1 (en) 2003-07-03 2007-12-11 Google Inc. Anchor tag indexing in a web crawler system
US20050060186A1 (en) 2003-08-28 2005-03-17 Blowers Paul A. Prioritized presentation of medical device events
US7505964B2 (en) 2003-09-12 2009-03-17 Google Inc. Methods and systems for improving a search ranking using related queries
US7454417B2 (en) 2003-09-12 2008-11-18 Google Inc. Methods and systems for improving a search ranking using population information
US8589373B2 (en) 2003-09-14 2013-11-19 Yaron Mayer System and method for improved searching on the internet or similar networks and especially improved MetaNews and/or improved automatically generated newspapers
US7693827B2 (en) 2003-09-30 2010-04-06 Google Inc. Personalization of placed content ordering in search results
US20050071328A1 (en) 2003-09-30 2005-03-31 Lawrence Stephen R. Personalization of web search
US7346839B2 (en) 2003-09-30 2008-03-18 Google Inc. Information retrieval based on historical data
US7552109B2 (en) 2003-10-15 2009-06-23 International Business Machines Corporation System, method, and service for collaborative focused crawling of documents on a network
US20050086192A1 (en) 2003-10-16 2005-04-21 Hitach, Ltd. Method and apparatus for improving the integration between a search engine and one or more file servers
US7346208B2 (en) 2003-10-25 2008-03-18 Hewlett-Packard Development Company, L.P. Image artifact reduction using a neural network
US7231399B1 (en) 2003-11-14 2007-06-12 Google Inc. Ranking documents based on large data sets
US7844589B2 (en) 2003-11-18 2010-11-30 Yahoo! Inc. Method and apparatus for performing a search
US7181447B2 (en) 2003-12-08 2007-02-20 Iac Search And Media, Inc. Methods and systems for conceptually organizing and presenting information
US20060047649A1 (en) 2003-12-29 2006-03-02 Ping Liang Internet and computer information retrieval and mining with intelligent conceptual filtering, visualization and automation
US20050154723A1 (en) 2003-12-29 2005-07-14 Ping Liang Advanced search, file system, and intelligent assistant agent
US7685104B2 (en) 2004-01-08 2010-03-23 International Business Machines Corporation Dynamic bitmap processing, identification and reusability
US7483891B2 (en) 2004-01-09 2009-01-27 Yahoo, Inc. Content presentation and management system associating base content and relevant additional content
US7392278B2 (en) 2004-01-23 2008-06-24 Microsoft Corporation Building and using subwebs for focused search
US7293005B2 (en) 2004-01-26 2007-11-06 International Business Machines Corporation Pipelined architecture for global analysis and index building
US7499913B2 (en) 2004-01-26 2009-03-03 International Business Machines Corporation Method for handling anchor text
JP2004192657A (ja) 2004-02-09 2004-07-08 Nec Corp 情報検索システム、情報検索方法および情報検索用プログラムを記録した記録媒体
US7310632B2 (en) 2004-02-12 2007-12-18 Microsoft Corporation Decision-theoretic web-crawling and predicting web-page change
US7281002B2 (en) 2004-03-01 2007-10-09 International Business Machine Corporation Organizing related search results
US9104689B2 (en) 2004-03-17 2015-08-11 International Business Machines Corporation Method for synchronizing documents for disconnected operation
US7584221B2 (en) 2004-03-18 2009-09-01 Microsoft Corporation Field weighting in text searching
JP2005277445A (ja) 2004-03-22 2005-10-06 Fuji Xerox Co Ltd 会議映像処理装置、会議映像処理方法およびプログラム
US7343374B2 (en) 2004-03-29 2008-03-11 Yahoo! Inc. Computation of page authority weights using personalized bookmarks
US7693825B2 (en) 2004-03-31 2010-04-06 Google Inc. Systems and methods for ranking implicit search results
US7580568B1 (en) 2004-03-31 2009-08-25 Google Inc. Methods and systems for identifying an image as a representative image for an article
US20050251499A1 (en) 2004-05-04 2005-11-10 Zezhen Huang Method and system for searching documents using readers valuation
US7257577B2 (en) 2004-05-07 2007-08-14 International Business Machines Corporation System, method and service for ranking search results using a modular scoring system
US7136851B2 (en) 2004-05-14 2006-11-14 Microsoft Corporation Method and system for indexing and searching databases
US7260573B1 (en) 2004-05-17 2007-08-21 Google Inc. Personalizing anchor text scores in a search engine
US7716225B1 (en) 2004-06-17 2010-05-11 Google Inc. Ranking documents based on user behavior and/or feature data
US20050283473A1 (en) 2004-06-17 2005-12-22 Armand Rousso Apparatus, method and system of artificial intelligence for data searching applications
US8131674B2 (en) 2004-06-25 2012-03-06 Apple Inc. Methods and systems for managing data
US7730012B2 (en) 2004-06-25 2010-06-01 Apple Inc. Methods and systems for managing data
US7562068B2 (en) 2004-06-30 2009-07-14 Microsoft Corporation System and method for ranking search results based on tracked user preferences
US7428530B2 (en) 2004-07-01 2008-09-23 Microsoft Corporation Dispersing search engine results by using page category information
US7363296B1 (en) 2004-07-01 2008-04-22 Microsoft Corporation Generating a subindex with relevant attributes to improve querying
US7634461B2 (en) 2004-08-04 2009-12-15 International Business Machines Corporation System and method for enhancing keyword relevance by user's interest on the search result documents
US7395260B2 (en) 2004-08-04 2008-07-01 International Business Machines Corporation Method for providing graphical representations of search results in multiple related histograms
US20060036598A1 (en) 2004-08-09 2006-02-16 Jie Wu Computerized method for ranking linked information items in distributed sources
US20060047643A1 (en) 2004-08-31 2006-03-02 Chirag Chaman Method and system for a personalized search engine
JP2008513881A (ja) 2004-09-16 2008-05-01 テレノール アーアスアー パーソナルウェブのドキュメントを検索し、ドキュメント間でナビゲートし、ドキュメントをランク付けするための方法、システムおよびコンピュータプログラムプロダクト
WO2006036781A2 (en) 2004-09-22 2006-04-06 Perfect Market Technologies, Inc. Search engine using user intent
US7606793B2 (en) 2004-09-27 2009-10-20 Microsoft Corporation System and method for scoping searches using index keys
US7827181B2 (en) 2004-09-30 2010-11-02 Microsoft Corporation Click distance determination
US7761448B2 (en) 2004-09-30 2010-07-20 Microsoft Corporation System and method for ranking search results using click distance
US7644107B2 (en) 2004-09-30 2010-01-05 Microsoft Corporation System and method for batched indexing of network documents
US7739277B2 (en) 2004-09-30 2010-06-15 Microsoft Corporation System and method for incorporating anchor text into ranking search results
US20060074883A1 (en) 2004-10-05 2006-04-06 Microsoft Corporation Systems, methods, and interfaces for providing personalized search and information access
US7702599B2 (en) 2004-10-07 2010-04-20 Bernard Widrow System and method for cognitive memory and auto-associative neural network based pattern recognition
US7533092B2 (en) 2004-10-28 2009-05-12 Yahoo! Inc. Link-based spam detection
US7716198B2 (en) * 2004-12-21 2010-05-11 Microsoft Corporation Ranking search results using feature extraction
US7698331B2 (en) 2005-01-18 2010-04-13 Yahoo! Inc. Matching and ranking of sponsored search listings incorporating web search technology and web content
US20060173828A1 (en) 2005-02-01 2006-08-03 Outland Research, Llc Methods and apparatus for using personal background data to improve the organization of documents retrieved in response to a search query
US7689615B2 (en) 2005-02-25 2010-03-30 Microsoft Corporation Ranking results using multiple nested ranking
US20060200460A1 (en) 2005-03-03 2006-09-07 Microsoft Corporation System and method for ranking search results using file types
US7792833B2 (en) 2005-03-03 2010-09-07 Microsoft Corporation Ranking search results using language types
US7574436B2 (en) 2005-03-10 2009-08-11 Yahoo! Inc. Reranking and increasing the relevance of the results of Internet searches
US20060206460A1 (en) 2005-03-14 2006-09-14 Sanjay Gadkari Biasing search results
US8095487B2 (en) * 2005-03-16 2012-01-10 Yahoo! Inc. System and method for biasing search results based on topic familiarity
JP5632124B2 (ja) 2005-03-18 2014-11-26 サーチ エンジン テクノロジーズ リミテッド ライアビリティ カンパニー 格付け方法、検索結果並び替え方法、格付けシステム及び検索結果並び替えシステム
US7870147B2 (en) 2005-03-29 2011-01-11 Google Inc. Query revision using known highly-ranked queries
US7693829B1 (en) 2005-04-25 2010-04-06 Google Inc. Search engine with fill-the-blanks capability
US7401073B2 (en) 2005-04-28 2008-07-15 International Business Machines Corporation Term-statistics modification for category-based search
KR100672277B1 (ko) 2005-05-09 2007-01-24 엔에이치엔(주) 개인화 검색 방법 및 검색 서버
US7933917B2 (en) 2005-05-06 2011-04-26 Nhn Corporation Personalized search method and system for enabling the method
US7451124B2 (en) 2005-05-12 2008-11-11 Xerox Corporation Method of analyzing documents
US7962462B1 (en) 2005-05-31 2011-06-14 Google Inc. Deriving and using document and site quality signals from search query streams
CA2544324A1 (en) 2005-06-10 2006-12-10 Unicru, Inc. Employee selection via adaptive assessment
US20060282455A1 (en) 2005-06-13 2006-12-14 It Interactive Services Inc. System and method for ranking web content
US7627564B2 (en) 2005-06-21 2009-12-01 Microsoft Corporation High scale adaptive search systems and methods
TWI284818B (en) 2005-07-21 2007-08-01 Bridgewell Inc Database searching engine system
US7599917B2 (en) 2005-08-15 2009-10-06 Microsoft Corporation Ranking search results using biased click distance
US7653617B2 (en) 2005-08-29 2010-01-26 Google Inc. Mobile sitemaps
US7499919B2 (en) 2005-09-21 2009-03-03 Microsoft Corporation Ranking functions using document usage statistics
US7716226B2 (en) 2005-09-27 2010-05-11 Patentratings, Llc Method and system for probabilistically quantifying and visualizing relevance between two or more citationally or contextually related data objects
US7689531B1 (en) 2005-09-28 2010-03-30 Trend Micro Incorporated Automatic charset detection using support vector machines with charset grouping
US20070085716A1 (en) 2005-09-30 2007-04-19 International Business Machines Corporation System and method for detecting matches of small edit distance
US7873624B2 (en) 2005-10-21 2011-01-18 Microsoft Corporation Question answering over structured content on the web
US20070150473A1 (en) 2005-12-22 2007-06-28 Microsoft Corporation Search By Document Type And Relevance
US7814099B2 (en) 2006-01-31 2010-10-12 Louis S. Wang Method for ranking and sorting electronic documents in a search result list based on relevance
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7685091B2 (en) 2006-02-14 2010-03-23 Accenture Global Services Gmbh System and method for online information analysis
WO2007123416A1 (en) 2006-04-24 2007-11-01 Telenor Asa Method and device for efficiently ranking documents in a similarity graph
WO2007149623A2 (en) 2006-04-25 2007-12-27 Infovell, Inc. Full text query and search systems and method of use
EP1862916A1 (en) 2006-06-01 2007-12-05 Microsoft Corporation Indexing Documents for Information Retrieval based on additional feedback fields
US20080005068A1 (en) 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
US20080016053A1 (en) 2006-07-14 2008-01-17 Bea Systems, Inc. Administration Console to Select Rank Factors
US8595245B2 (en) 2006-07-26 2013-11-26 Xerox Corporation Reference resolution for text enrichment and normalization in mining mixed data
US7720830B2 (en) * 2006-07-31 2010-05-18 Microsoft Corporation Hierarchical conditional random fields for web extraction
KR100818553B1 (ko) 2006-08-22 2008-04-01 에스케이커뮤니케이션즈 주식회사 문서랭킹 부여방법 및 이를 수행할 수 있는 프로그램이수록된 컴퓨터로 읽을 수 있는 기록 매체
KR100867081B1 (ko) 2006-09-14 2008-11-04 엔에이치엔(주) 도서 검색에 이용되는 문서 스코어를 생성하는 방법 및상기 방법을 수행하는 시스템
US7792883B2 (en) 2006-12-11 2010-09-07 Google Inc. Viewport-relative scoring for location search queries
JP4839195B2 (ja) 2006-12-12 2011-12-21 日本電信電話株式会社 Ｘｍｌ文書の適合度の算出方法およびそのプログラムと、情報処理装置
US7685084B2 (en) 2007-02-09 2010-03-23 Yahoo! Inc. Term expansion using associative matching of labeled term pairs
US7996392B2 (en) 2007-06-27 2011-08-09 Oracle International Corporation Changing ranking algorithms based on customer settings
US20090006358A1 (en) 2007-06-27 2009-01-01 Microsoft Corporation Search results
US8122032B2 (en) 2007-07-20 2012-02-21 Google Inc. Identifying and linking similar passages in a digital text corpus
US8201081B2 (en) 2007-09-07 2012-06-12 Google Inc. Systems and methods for processing inoperative document links
US8909655B1 (en) 2007-10-11 2014-12-09 Google Inc. Time based ranking
US7840569B2 (en) 2007-10-18 2010-11-23 Microsoft Corporation Enterprise relevancy ranking using a neural network
US9348912B2 (en) 2007-10-18 2016-05-24 Microsoft Technology Licensing, Llc Document length as a static relevance feature for ranking search results
US7836048B2 (en) 2007-11-19 2010-11-16 Red Hat, Inc. Socially-derived relevance in search engine results
US8135733B2 (en) 2007-12-03 2012-03-13 Pioneer Corporation Information retrieval apparatus, information retrieval method and information retrieval processing program
US7707229B2 (en) 2007-12-12 2010-04-27 Yahoo! Inc. Unsupervised detection of web pages corresponding to a similarity class
US8165406B2 (en) 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
JP2009146248A (ja) 2007-12-17 2009-07-02 Fujifilm Corp コンテンツ提示システム及びプログラム
US20090164929A1 (en) 2007-12-20 2009-06-25 Microsoft Corporation Customizing Search Results
JP2009204442A (ja) 2008-02-28 2009-09-10 Athlete Fa Kk 粒状物質の計量装置
US8412702B2 (en) 2008-03-12 2013-04-02 Yahoo! Inc. System, method, and/or apparatus for reordering search results
US7974974B2 (en) * 2008-03-20 2011-07-05 Microsoft Corporation Techniques to perform relative ranking for search results
JP5328212B2 (ja) 2008-04-10 2013-10-30 株式会社エヌ・ティ・ティ・ドコモ レコメンド情報評価装置およびレコメンド情報評価方法
US8812493B2 (en) 2008-04-11 2014-08-19 Microsoft Corporation Search results ranking using editing distance and document information
CN101359331B (zh) 2008-05-04 2014-03-19 索意互动（北京）信息技术有限公司 对搜索结果重新排序的方法和系统
US20090307209A1 (en) 2008-06-10 2009-12-10 David Carmel Term-statistics modification for category-based search
CN101360074B (zh) 2008-09-27 2011-09-21 腾讯科技（深圳）有限公司 一种确定可疑垃圾邮件范围的方法和系统
US8326829B2 (en) 2008-10-17 2012-12-04 Centurylink Intellectual Property Llc System and method for displaying publication dates for search results
US8224847B2 (en) 2009-10-29 2012-07-17 Microsoft Corporation Relevant individual searching using managed property and ranking features
US8527507B2 (en) 2009-12-04 2013-09-03 Microsoft Corporation Custom ranking model schema
US8422786B2 (en) 2010-03-26 2013-04-16 International Business Machines Corporation Analyzing documents using stored templates
US8738635B2 (en) 2010-06-01 2014-05-27 Microsoft Corporation Detection of junk in search result ranking
US8370331B2 (en) 2010-07-02 2013-02-05 Business Objects Software Limited Dynamic visualization of search results on a graphical user interface
US9495462B2 (en) 2012-01-27 2016-11-15 Microsoft Technology Licensing, Llc Re-ranking search results

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070260597A1 (en) * 2006-05-02 2007-11-08 Mark Cramer Dynamic search engine results employing user behavior
US20080140641A1 (en) * 2006-12-07 2008-06-12 Yahoo! Inc. Knowledge and interests based search term ranking for search results validation

Also Published As

Publication number Publication date
RU2517271C2 (ru) 2014-05-27
JP2013510343A (ja) 2013-03-21
AU2009290574B2 (en) 2015-01-29
IL210591A (en) 2017-05-29
WO2010031085A2 (en) 2010-03-18
EP2329411A4 (en) 2016-04-06
US20090106235A1 (en) 2009-04-23
IL210591A0 (en) 2011-03-31
EP2329411A2 (en) 2011-06-08
US9348912B2 (en) 2016-05-24
JP5620913B2 (ja) 2014-11-05
RU2011108842A (ru) 2012-09-20
BRPI0916924A2 (pt) 2019-09-24
KR20120089560A (ko) 2012-08-13
WO2010031085A3 (en) 2010-07-08
AU2009290574A1 (en) 2010-03-18
ZA201100293B (en) 2012-04-25

Similar Documents

Publication Publication Date Title
KR101683311B1 (ko) 검색 결과 순위 지정을 위한 정적 관련성 특징으로서 문서 길이를 이용한 정보 제공 방법, 시스템 및 컴퓨터 판독가능 저장 매체
US20090106221A1 (en) Ranking and Providing Search Results Based In Part On A Number Of Click-Through Features
US8239372B2 (en) Using link structure for suggesting related queries
US7809716B2 (en) Method and apparatus for establishing relationship between documents
Xue et al. Optimizing web search using web click-through data
JP4950444B2 (ja) クリックディスタンスを用いて検索結果をランク付けするシステムおよび方法
US8099417B2 (en) Semi-supervised part-of-speech tagging
EP1934823B1 (en) Click distance determination
Yan et al. Fast business process similarity search
KR101557294B1 (ko) 편집 거리 및 문서 정보를 이용한 검색 결과 랭킹
US7698294B2 (en) Content object indexing using domain knowledge
JP2006127529A (ja) 階層を考慮したウェブページのランク付け
KR20060017765A (ko) 개념 네트워크
US20110238653A1 (en) Parsing and indexing dynamic reports
US20110131536A1 (en) Generating and ranking information units including documents associated with document environments
Singh et al. Web page recommendation system based on partially ordered sequential rules
Agarwal et al. Semantic methods and tools for information portals
Al-Akashi Using Wikipedia Knowledge and Query Types in a New Indexing Approach for Web Search Engines
Bokhari et al. Retrieval effectiveness of news search engines: a theoretical framework
Ahamed et al. State of the art process in query processing ranking system
Jung An application of collaborative web browsing based on ontology learning from user activities on the web
Modi et al. A Comparative Study of Various Page Ranking Algorithms
Sobh MSSE: Med-Scale Search Engine Local Development and Distributed Deployment
Ahuja et al. Development of expert search engine for web environment
Zhang et al. Collective intelligence-based web page search: Combining folksonomy and link-based ranking strategy

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right