KR101366408B1 - 컴퓨터 실행 가능 컴포넌트를 포함하는 컴퓨터 구현된 시스템 - Google Patents

컴퓨터 실행 가능 컴포넌트를 포함하는 컴퓨터 구현된 시스템 Download PDF

Info

Publication number
KR101366408B1
KR101366408B1 KR1020087021426A KR20087021426A KR101366408B1 KR 101366408 B1 KR101366408 B1 KR 101366408B1 KR 1020087021426 A KR1020087021426 A KR 1020087021426A KR 20087021426 A KR20087021426 A KR 20087021426A KR 101366408 B1 KR101366408 B1 KR 101366408B1
Authority
KR
South Korea
Prior art keywords
query
feature
user
computer
search
Prior art date
Application number
KR1020087021426A
Other languages
English (en)
Other versions
KR20080114708A (ko
Inventor
예브게니 이. 아기츠테인
에릭 디. 브릴
수잔 티. 두마이스
로버트 제이. 라그노
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20080114708A publication Critical patent/KR20080114708A/ko
Application granted granted Critical
Publication of KR101366408B1 publication Critical patent/KR101366408B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G06F16/337—Profile generation, learning or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

사용자 행위의 자동적인 해석을 통하여, 사용자의 선호를 추정하는 시스템들 및 방법들이 개시된다. 검색 엔진과 연관된 사용자 행위 컴포넌트는 사용자들(예를 들면, 웹 검색 사용자들)의 집합적 행위를 자동적으로 해석할 수 있다. 이러한 피드백 컴포넌트는, 검색 결과들과의 관측된 사용자 상호작용들(예를 들면, 악의적이고/거나 비이성적인 사용자 활동)에 존재할 수 있는 노이즈에 강한(robust)사용자 행위 특징들 및 예측 모델들(예를 들면, 사용자 행위 컴포넌트로부터의)을 포함할 수 있다.
검색 엔진, 사용자 행위 컴포넌트, 훈련 모델, 검색 결과, 기계 학습 컴포넌트, 브라우징 특징

Description

컴퓨터 실행 가능 컴포넌트를 포함하는 컴퓨터 구현된 시스템{MINING WEB SEARCH USER BEHAVIOR TO ENHANCE WEB SEARCH RELEVANCE}
월드 와이드 웹 및 인터넷의 대중성을 고려해볼 때, 사용자들은 많은 양의 정보 소스들로부터 거의 어떠한 주제와도 관련이 있는 정보를 획득할 수 있다. 정보를 찾기 위해, 사용자들은 일반적으로는 정보 검색(information retrieval)의 태스크에 각종 검색 엔진들을 적용한다. 검색 엔진들은 사용자들이 특정 단어나 어구를 포함하는 인터넷 상의 정보 또는 다른 자료를 포함하는 웹 페이지들을 찾도록 해준다.
일반적으로, 키워드 검색은, 컴퓨터의 능력이 미치는 한, 지정되는 임의의 키워드들 및 어구들과 관련 있는 정보를 갖고 있는 모든 웹 사이트들을 검색할 수 있다. 검색 엔진 사이트는 사용자들이 키워드를 입력하기 위한 박스 및 검색을 시작하도록 누르기 위한 버튼을 가질 것이다. 많은 검색 엔진들은 효과적으로 검색하기 위하여 키워드를 사용하는 방법에 관한 팁들(tips)을 갖는다. 전형적으로, 그러한 팁들은 사용자들이 검색 용어들(search terms)을 한정되게 정의하는 데에 도움을 주어, 이질적이고 관련 없는 정보가 반환되지 않으며 정보 검색 프로세스가 혼란스럽지 않게 된다. 그러한 용어의 수동적인 한정(manual narrowing)은 특정 정보를 찾는 경우 소팅할 수 천개의 사이트들을 수신하는 것을 경감시킬 수 있다.
어떤 경우, 검색 주제들이 주제 및 하위주제(topic and subtopic) 영역들로 사전 정렬(pre-arranged)된다. 예를 들어, "Yahoo"는 가능성이 있는 주제들의 미리 정해진 계층 정렬된 리스트(예를 들면, 비즈니스, 정부, 과학 등)를 제공하며, 여기에서 사용자는 하나의 주제를 선택하고 리스트 내에서 하나의 하위 주제를 추가로 선택할 것이다. 주제들의 미리 정해진 리스트들의 다른 예는 데스크탑 퍼스널 컴퓨터 도움 유틸리티들(desktop personal computer help utilities)에서 통상적인 것으로서, 여기에서는 도움 주제들의 리스트 및 관련된 하위 주제들이 사용자에게 제공된다. 미리 정해진 이 계층들은 어떤 환경(context)에서는 유용할 수 있지만, 사용자들은 이러한 미리 정해진 리스트들에 속하지 않고/거나 그 안에 포함되어 있지 않은 정보를 종종 검색 및/또는 문의할 필요가 있다. 따라서, 사용자들이 질의들(queries)을 지시하여 원하는 정보를 찾을 수 있도록 하기 위한 검색 엔진들이나 다른 검색 시스템들이 종종 이용된다. 그럼에도 불구하고, 사용자들은 특정의 질의를 작성 또는 구성하는 방법에 대하여 확신이 없을 수 있기 때문에, 사용자 검색 동안 많은 관련 없는 결과들이 검색된다. 더욱이, 그러한 시스템들은 조사해야 할 적절한 수의 결과들을 획득하기 위해서는 사용자들에게 지속적으로 질의들을 수정하고, 검색된 검색 결과들을 정련(refine)할 것을 요구하는 것이 보통이다.
검색 시스템의 입력 질의 필드에 단어나 어구를 타이핑 입력하고, 그 후 잠재적인 후보들로서 수백만 개의 결과들을 검색하는 것은 비정상적인 것이 아니다. 많은 수의 검색된 후보들이 의미를 갖도록 하기 위해, 사용자는 종종 다른 단어 조 합들로 시험하여 리스트를 더욱 한정할 것이다.
일반적으로, 검색 시스템은 질의에 대한 결과들의 예측된 관련성에 따라 결과들을 랭킹할 것이다. 이러한 랭킹은 전형적으로는 질의에 대한 웹 페이지의 유사도뿐만 아니라 종종 웹 토폴로지 정보로부터 추론된 문서의 고유 품질을 포함하는를 포함하는 많은 파라미터들을 조합하는 함수에 기초한다. 사용자들은 하위 랭킹된 결과들을 주목하지 않으므로, 사용자의 검색 경험의 품질은 랭킹 함수(ranking function)의 품질에 직접 관련된다.
일반적으로, 검색 시스템은 "검색된(searched for)" 주제들이 사용자가 실제로 관심이 있는 것의 주제 영역이나 카테고리와 어떠한 문맥적 관계(contextual relationship)를 갖는 지와는 무관하게 사용자의 질의 입력에 관한 모든 주제들을 매칭 또는 검색하려고 시도할 것이다. 일례로서, 천문학에 관심이 있는 사용자가 종래의 검색 시스템에 질의 "토성"을 입력한다면, 자동차, 자동차 판매상, 컴퓨터 게임, 및 단어 "토성(Saturn)"을 포함하는 다른 사이트들과 관련 있는 것들을 포함하는 모든 종류의 관련없는 결과들이 반환될 가능성이 있다. 종래의 검색 구현들(search implementations)의 다른 문제점은 검색 엔진들은 서로 다른 사용자 요구들 및 환경들과는 무관하게 모든 사용자들에 대하여 동일하게 동작한다는 것이다. 따라서, 만일 두 사용자가 동일한 검색 질의를 입력하면 그들은, 그들의 관심사나 특성, 이전의 검색 이력, 현재의 컴퓨팅 환경(예를 들면, 오픈된 파일들), 또는 환경적 맥락(예를 들면, 위치, 사용중인 기계, 시각, 요일)과는 무관하게, 동일한 결과들을 획득하는 것이 전형적이다.
적절한 결과들을 최상위로 반환하도록 검색 랭킹 함수들을 조정하는 것은 많은 노력이 필요한 것이 일반적이다. 현대의 검색 엔진들에 대한 일반적인 접근은 수동으로 평가된(manually rated) 검색 결과들의 예들에 기초하여 랭킹 함수들을 훈련하고 함수 파라미터들 및 가중치들(weights)을 자동적으로 설정하는 것이다. 인간 주석자들(human annotators)은 인식된 관련성에 따라 질의에 대한 페이지들의 집합을 명확하게 평가하고, 다른 랭킹 알고리즘들에 대비되어 조정되고 평가될 수 있는 "황금 기준(gold standard)"을 생성할 수 있다. 그러나 명확한 인간 평가는 비용이 많이 들고 획득하기 어려워서, 종종 불완전하게 훈련된 차선의 랭킹 함수들을 야기시킨다.
발명의 개요
이하에서는 본 발명의 어떤 양태들의 기본적인 이해를 제공하기 위하여 간략화된 개요를 제공한다. 이 개요는 광범위한 개요는 아니다. 본 발명의 주요/임계적 구성요소들을 식별하거나 본 발명의 범위를 한정하려는 것이 아니다. 이 개요의 유일한 목적은 후술되는 더욱 상세한 설명에 대한 전제로서 간략화된 형태로 일부 개념들을 제공하려는 것이다.
본 발명은, 한 항목에 대한 사용자 선호들(user preferences)을 다른 항목에 대해 추정하기 위하여, 사용자들의 집합적 행위에 대한 자동적인 해석을 용이하게 하는 사용자 행위 컴포넌트를 이용하여, 정보 검색 시스템에서의 검색 랭킹들을 강화한다. 따라서, 그러한 선호들은 결과들의 랭킹을 향상시키는 것과 같이, 다양한 목적들을 위해 이용될 수 있다. 사용자 행위 컴포넌트는 검색 엔진(들)과 상호작용하고 사용자 행위(예를 들면, 악의적이고/거나 비이성적인 사용자 활동)에 동반하는 것이 전형적인 노이즈를 경감시키는 피드백 특징들을 포함할 수 있다. 사용자들의 결집 행위(aggregate behavior)를 이용함으로써(예를 들면, 각각의 사용자를 개별 전문가로서 취급하지 않음) 본 발명은 노이즈를 경감시키고 사용자들의 피드백으로부터 관련성 판정들(relevance judgments)을 생성할 수 있다. 사용자 행위 컴포넌트는 사용자들로부터의 암시적 또는 명시적(implicit or explicit) 피드백 및 이전의 질의들로부터의 결과들과의 그들의 상호작용들을 이용할 수 있다. 주요 행위 특징들은 사용자가 결과 타이틀 및 설명을 보고 결과가 관련있는 것인지 여부에 대하여 결정하는 데에 도움이 될 수 있는 프리젠테이션 특징들(presentation features); 페이지 상의 체류 시간(dwell time on a page), 검색 결과들에 도달하는 방식(예를 들면, 다른 링크들을 통해), 도메인 상의 평균 시간과의 편차 등과 같은 브라우징 특징들; 질의에 대한 특정 결과의 클릭수와 같은 클릭스루 특징들(clickthrough features)을 포함한다. 질의-결과 쌍이 주어지면, 본 발명은 각각의 특징 유형에 대하여 복수의 관측되고 도출된 특징 값들을 제공한다.
사용자 행위 컴포넌트는 사용자 행위의 데이터 구동된(data-driven) 모델을 이용할 수 있다. 예를 들어, 사용자 행위 컴포넌트는, 마치 두 개의 컴포넌트들, 즉 "배경(background)" 컴포넌트(예를 들면, 무차별적으로 클릭하는 사용자들), 및 "관련성(relevance)" 컴포넌트(예를 들면, 질의에 대한 결과의 관련성에 의해 영향을 받는 질의 별정(query specific) 행위)에 의해 생성된 것처럼, 사용자 웹 검색 행위를 모델링할 수 있다.
본 발명의 다른 양태에 따르면, 사용자 행위 컴포넌트는 예측된 사용자 행위로부터의 편차들을 생성 및/또는 모델링할 수 있다. 따라서, 도출된 특징들이 계산될 수 있으며, 이 경우 그와 같이 도출된 특징들은, 질의-종속적(query-dependent) 정보 없이, 어떤 결과에 대하여 예측된 값들로부터 주어진 검색 결과에 대하여 관측된 특징값의 편차를 명확히 취급한다.
더욱이, 본 발명의 사용자 행위 컴포넌트는 사용자 행위를 기술하기 위한 두 가지 특징 유형들(즉, 직접적인(direct) 및 편차가 있는(deviational))을 갖는 모델들을 이용할 수 있으며, 이 경우 전자는 직접적으로 측정된 값들이고, 후자는 대응하는 직접 관찰된 특징들에 대한 전체적인(질의-독립적(query-independent)) 분포들로부터 추정된 예측 값들로부터의 편차이다. 따라서, 질의 q 및 결과r에 대한 특징 f의 관측된 값 o는 두 컴포넌트들이 혼합되어 표현될 수 있다.
Figure 112008062216717-pct00001
여기에서
Figure 112008062216717-pct00002
는 r에 대응하는 모든 질의들에 걸쳐 결집된 f의 값들에 대한 이전의 "배경" 분포이고,
Figure 112008062216717-pct00003
는 질의에 대한 결과의 관련성에 의해 영향을 받은 행위의 "관련성" 컴포넌트이다. 예를 들어, 사용자 행위의 관련성의 추정은 클릭스루 특징을 이용하여 즉, 주어진 위치에서 관측된 클릭스루 빈도(clickthrough frequency)로부터 배경 분포를 감산하는 것을 통해, 획득될 수 있다. 개별 사용자 행위 변화의 영향을 경감시키기 위하여, 본 발명은 각각의 질의-결과 쌍에 대하여 모든 사용자들 및 검색 세션들에 걸친 특징 값들을 평균화할 수 있다. 이러한 결집(aggregation)은 개별적인 "노이지(noisy)" 사용자 상호작용들이 의존되지 않는 추가적인 강인성(robustness)을 제공할 수 있다.
따라서, 질의-결과 쌍에 대한 사용자 행위는 직접 관측된 특징들 및 도출된 "정정된(corrected)" 특징 값들을 모두 포함하는 특징 벡터에 의해 표현될 수 있다. 정보 검색 시스템들에서 랭킹 알고리즘들의 훈련(training ranking algorithm)에 관련된 각종 기계 학습(machine learning) 기술들도 이용될 수 있다. 예를 들어, 명백한 인간 관련성 판정들은 초기에 각종 검색 질의들에 제공되고 후속하는 랭킹 알고리즘들의 훈련에 이용될 수 있다.
관련된 일 양태에서, 장래의 사용자 선호들을 예측하기 위해 웹 검색 엔진과 상호작용하는 사용자들의 집합적 행위(collective behavior)가 자동으로 해석될 수 있으므로, 시스템은 가장 최근의 사용자 행위 데이터로 시스템을 자동적으로 재훈련(retraining)시킴으로써 변화하는 사용자 행위 패턴들 및 다른 검색 설정들에 적응할 수 있다.
이전의 및 관련된 목적들을 달성하기 위하여, 본 발명의 양태들이 이하의 상세한 설명 및 첨부도면들과 연계하여 설명된다. 이 양태들은 본 발명이 실시될 수 있는 각종 방법들을 나타내는 것으로서, 그들 모두는 본 발명의 범위 내에 있는 것이 의도된다. 다른 장점들 및 신규의 특징들은 첨부도면들과 연계하여 고려되는 경우 이하의 상세한 설명부로부터 자명해질 수 있다.
도 1은 본 발명의 예시적인 일 양태에 따른 사용자 행위 컴포넌트의 블럭도.
도 2는 본 발명의 예시적인 일 양태에 따라 사용자 행위 컴포넌트를 통합하고 검색 엔진의 훈련 모델과 상호작용하는 시스템의 블럭도.
도 3은 본 발명의 예시적인 일 양태에 따라 사용자 행위 컴포넌트에 작용적으로 연결된 랭커 컴포넌트, 및 검색 엔진을 통합한 시스템의 블럭도.
도 4는 본 발명의 일 양태에 따라 사용자 브라우징 활동들을 나타내는 특징들의 테이블을 도시하는 도면.
도 5는 본 발명의 일 양태에 따라 기계 학습 컴포넌트를 이용할 수 있는 자동화된 정보 검색 시스템을 도시하는 도면.
도 6은 본 발명의 특정의 양태에 따라 사용자 동작을 나타내는 복수의 시스템 특징들과 상호작용하는 사용자 행위 컴포넌트를 도시하는 도면.
도 7은 본 발명의 일 양태에 따라 사용자 선호들을 추정하기 위해 사용자 행위를 해석하는 예시적인 방법을 도시하는 도면.
도 8은 본 발명의 일 양태에 따라 값을 랭킹하는 것의 일부로서 사용자 행위를 구현하는 방법을 도시하는 도면.
도 9는 본 발명의 각종 양태들을 구현하기 위한 예시적인 환경을 도시하는 도면.
도 10은 본 발명의 각종 양태들을 구현하기 위하여 이용될 수 있는 추가적인 계산 환경의 개략적 블럭도.
이제 본 발명의 다양한 양태들이 첨부도면들을 참조하여 설명되는데, 여기에서 동일한 참조부호들은 도면 전반에 걸쳐 동일하거나 대응하는 구성요소들을 의미한다. 그러나, 도면 및 그와 관련된 상세한 설명은 본 발명을 개시된 특정 형태로 제한하려는 것이 아니라는 점이 이해되어야 한다. 오히려, 본 발명의 취지 및 범위 내에 있는 모든 수정들, 균등물들, 및 대안들을 포함하는 것이 의도된다.
여기에서 사용된 용어들 "컴포넌트", "시스템", 특징" 등은 또한, 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어, 또는 실행중의 소프트웨어 중 하나인, 컴퓨터 관련된 실체(entity)를 의미하기 위한 것이다. 예를 들어, 컴포넌트는 프로세서에서 실행하는 프로세스, 프로세서, 개체, 실행파일(executable), 실행의 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이에 제한되는 것은 아니다. 예로서, 컴퓨터에서 실행하는 애플리케이션 및 컴퓨터는 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트들이 프로세스 및/또는 실행의 스레드 내에 있을 수 있고 컴포넌트는 하나의 컴퓨터 상에 위치되고/거나 둘 이상의 컴퓨터들 사이에 분산될 수 있다.
여기에서 단어 "예시적인"은 예시, 실례 또는 예증으로서 기능하는 것을 의미하기 위해 사용된다. "예시적인" 것으로 여기에서 기술된 임의의 양태 또는 설계는 반드시 다른 양태들 또는 설계들에 대하여 바람직하거나 유리한 것으로 해석될 필요는 없다.
더욱이, 개시된 본 발명은 여기에 상술된 양태들을 구현하는 컴퓨터 또는 프로세서 기반의 장치를 제어하기 위한 소프트웨어, 펌웨어, 하드웨어, 또는 그들의 임의의 조합을 생성하기 위해 표준 프로그래밍 및/또는 엔지니어링 기술들을 이용하는 시스템, 방법, 장치, 또는 제품으로서 구현될 수 있다. 여기에서 사용된 용어 컴퓨터 프로그램은 임의의 컴퓨터 판독 가능 장치, 반송파, 또는 매체가 액세스 가능한 컴퓨터 프로그램을 포함하기 위한 것이다. 예를 들어, 컴퓨터 판독 가능 매체는 자기 저장 장치들(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립들...), 광 디스크들(예를 들면, CD, DVD...), 스마트 카드들, 및 플래시 메모리 장치들(예를 들면, 카드, 스틱)을 포함할 수 있지만 이들에 제한되는 것은 아니다. 또한 전자메일을 송수신하거나 인터넷 또는 LAN과 같은 네트워크에 엑세스하는 경우 이용되는 것들과 같은 컴퓨터 판독 가능 전자 데이터를 운반하기 위해 반송파가 이용될 수 있음이 이해되어야 한다. 물론, 당업자는 본 발명의 범위 또는 취지로부터 벗어나지 않고 이 구성에 대하여 많은 변형들이 가능하다는 것을 인식할 것이다.
처음에 도 1을 참조하여, 본 발명의 예시적인 일 양태에 따라 검색 엔진과 상호작용하는 사용자 행위 컴포넌트를 통합한 시스템(100)의 블럭도가 예시된다. 검색 엔진(102)과 연관된 사용자 행위 컴포넌트(104)는 사용자들(101, 103, 105(1 내지 N, 여기서 N은 정수))의 집합적 행위를 자동으로 해석할 수 있다. 이러한 사용자 행위 컴포넌트(104)는 사용자 행위(예를 들면, 악의적이고/거나 비이성적인 사용자 활동)에 동반하는 것이 전형적인 노이즈를 경감시키는 피드백 특징들을 포함할 수 있다. 사용자들(101, 103, 105)의 결집 행위를 이용함으로써(예를 들면, 각각의 사용자를 개별 전문가로서 취급하지 않음), 시스템(100)은 노이즈를 경감시 키고, 사용자들의 피드백으로부터 관련성 판정들을 생성할 수 있다.
사용자 행위 컴포넌트(104)는 랭킹 컴포넌트와 상호작용할 수 있다. 질의가 주어지는 경우, 사용자 행위 컴포넌트(104)는 이 질의에 대하여 이전에 훈련된 행위 모델로부터 도출된 예측들을 검색하고, 이전 사용자들에 대해 관련있는 것으로 나타난 결과들이 더 상위에 랭킹되도록 질의에 대한 결과들을 재정렬한다. 예를 들어, 주어진 질의 q에 대하여, 이용 가능한 사용자 상호작용 특징들로부터 각각의 결과 r에 대하여 암시적 스코어(implicit score) ISr이 계산되어, 각각의 결과에 대한 암시적 랭크 Ir을 발생시킬 수 있다. 암시적 피드백으로부터 획득된 랭크들 Ir을 r의 원래의 랭크 Or과 조합함으로써 r에 대하여 병합된 스코어 SM(r)이 계산될 수 있다.
Figure 112008062216717-pct00004
가중치
Figure 112013077313852-pct00005
는 암시적 피드백의 상대적인 "중요도"를 나타내는 발견적으로 조정된(heuristically tuned) 스케일링 인자이다. SM(r)의 값들을 감소시켜 최종 랭킹을 생성함으로써 질의 결과들이 정렬될 수 있다. 그러한 모델의 특정한 한 경우는
Figure 112013077313852-pct00006
를 매우 큰 값으로 설정하여, 클릭된 결과들이 클릭되지 않은 결과들보다 상위에 랭킹되도록 효과적으로 강제하는 경우에 발생한다 - 기준(baseline)으로 이용될 수 있는 직관적이고 효과적인 발견 - . 일반적으로 상기 접근법은 원래의 웹 검색 랭킹을 생성하는 기초의 특징들과 암시적 피드백 특징들 간에 상호작용들이 없다고 가정한다. 본 발명의 다른 양태들은, 후술되는 바와 같이, 암시적 피드백 특징들을 랭킹 프로세스에 직접 통합시킴으로써 이러한 가정들을 완화시킨다. 더욱이, 더욱 정교한 사용자 행위 및 랭커 조합 알고리즘들이 이용될 수 있고, 이들은 본 발명의 범위 내에 있다는 점이 이해된다.
도 2는 검색 엔진(202)이 본 발명의 일 양태에 따른 훈련 모델(204)을 더 포함하는 본 발명의 다른 양태를 예시한다. 훈련 모델(204)은 사용자 행위를 기술하기 위한 추가적인 모델 유형들, 즉 관측된 행위 특징(201) 및 도출된 행위 특징(203)을 더 포함할 수 있다. 관측된 행위 특징들(201)은 직접 측정된 값들이고, 도출된 행위 특징(203)은 대응하는 직접 관측된 특징들에 대한 전체(질의-독립적) 분포들로부터 추정된 예측 값들로부터의 편차이다. 따라서, 질의 q 및 결과 r에 대한 특징 f의 관측된 값 o는 두 컴포넌트가 혼합되어 표현될 수 있다.
Figure 112008062216717-pct00007
여기에서
Figure 112008062216717-pct00008
는 r에 대응하는 모든 질의들에 걸쳐 결집된 f의 값들에 대한 이전의 "배경" 분포이고,
Figure 112008062216717-pct00009
는 결과들의 관련성에 의해 영향을 받는 행위의 컴포넌트이다. 예를 들어, 사용자 행위의 관련성의 추정은, 주어진 위치에서 관측된 클릭스루 빈도(clickthrough frequency)로부터 배경 분포(background distribution)(예를 들면, 노이즈)를 감산하는 것을 통해, 클릭스루 특징으로 획득 될 수 있다. 개별 사용자 행위 변화들의 효과를 경감시키기 위하여, 본 발명은 모든 사용자들에 걸쳐 직접 특징 값들을 평균화하고 각각의 질의-URL 쌍에 대한 세션들을 검색할 수 있다. 이러한 결집은 추가적인 강인성(robustness)을 제공할 수 있는데, 여기에서 개별 "노이지(noisy)" 사용자 상호작용들은 의존되지 않는다. 따라서, 질의-URL 쌍에 대한 사용자 행위는 직접 관측된 특징들 및, 도출된 "정정된(corrected)" 특징 값들을 모두 포함하는 특징 벡터에 의해 표현될 수 있다.
도 3은 본 발명의 예시적인 일 양태에 따라 사용자 행위 컴포넌트(315)에 작용적으로 연결된(operatively connected) 랭커 컴포넌트(310) 및 검색 엔진(340)을 통합한 시스템(300)의 블럭도를 도시한다. 전형적으로는, 검색 엔진(340)은, 상세하게 후술되는 바와 같이, 내용 기반(content-based) 특징들(예를 들면, 질의가 문서의 텍스트 또는 타이틀 또는 앵커 텍스트(anchor text)와 얼마나 잘 매칭하는지), 및 질의 독립적 페이지 품질 특징들(예를 들면, 문서 또는 도메인의 PageRank)을 포함하는 많은 수의 특징들에 기초하여 검색 결과들(350)을 랭킹할 수 있다. 더욱이, 검색 엔진(340)은 그러한 특징 값들을 조합하는 특정 랭킹 함수를 조정하기 위한 자동적(또는 반자동적) 방법들을 이용할 수 있다. 예를 들면, 질의(360)를 제시하는 사용자가 특정의 동작들을 수행할 것을 가정할 수 있다. 이러한 동작들은 클릭킹, 네비게이팅, 관련된 문서를 찾을 때까지 질의 한정들(query refinements)을 제시하기 등을 포함할 수 있다. 관련있는 문서를 찾자마자, 사용자는 만족하여 행위를 변경(예를 들면, 문서를 읽는 것으로)할 수 있다. 본 발명은 검색된 결과에 사용자가 만족하는 시기를 검출하게 하는 충분히 풍부 한(sufficiently rich) 특징 집합을 고안하는 것을 가능하게 한다. 이러한 특징들은 제시된 질의들에 종속적이므로, 질의 특정적(query specific)이다. 예를 들어, 사용자 특징들/활동들은, 도 4를 참조하여 설명된 바와 같이, 프리젠테이션 특징들, 브라우징 특징들, 및 클릭스루 특징들로 분류될 수 있다.
도 4는 사용자 브라우징 활동들을 나타내는 특징들의 테이블(400)이다. 프리젠테이션 특징들(410)은 행위의 일부 또는 전부의 양태들에 영향을 미치기 때문에(예를 들어, 사용자는 프리젠테이션 특징들에 기초한 결과를 클릭할 것을 결정할 수 있음), 사용자의 경험을 나타내도록 설계되는 것이 전형적이다. 사용자 경험의 이러한 양태를 모델링하기 위하여 본 발명은 타이틀 내의 단어 및 질의 내의 단어에서의 오버랩(TitleOverlap) 및 질의와 결과 요약에 의해 공유된 단어의 일부와 같은 특징들을 이용할 수 있는데, 왜냐하면 이들은 사용자가 결과 요약을 클릭하여 완전한 문서를 볼 것인지 여부를 결정할 때 종종 고려되기 때문이다.
유사하게, 브라우징 특징(420)은 사용자 웹 페이지 상호작용들의 양태들을 캡처 및 정량화할 수 있다. 예를 들어, 본 발명은 질의에 대하여 예측된 페이지 체류 시간으로부터 체류 시간의 편차를 계산할 수 있는데, 이는 페이지 브라우징 행위의 질의 내 다이버시티(intra-query diversity)를 모델링하는 것을 가능하게 한다. 이것은 상기에서 상술된 바와 같이, 직접 특징들 및 도출된 특징들 모두를 더 포함할 수 있다. 유사하게, 클릭스루 특징들(430)은 검색 엔진 결과들과의 사용자 상호작용의 일 예이다. 예를 들어, 클릭스루 특징들은 질의-결과 쌍에 대한 클릭 수, 또는 예측된 클릭 확률로부터의 편차를 포함할 수 있다.
도 4에 예시된 바와 같이, 클릭스루는 웹 검색 엔진과의 사용자 상호작용들의 일 양태를 예시한다. 본 발명은 자동적으로 도출된 예측적 사용자 행위 모델들을 이용할 수 있다. 따라서, 주어진 질의에 대하여, 각각의 결과는 도 4의 테이블 내의 특징들로 표현될 수 있다. 따라서, 상기에서 상술된 바와 같이, 상대적 사용자 선호들(relative user preferences)은 학습된 사용자 행위 모델을 이용하여 추정될 수 있다. 이러한 사용자 행위 모델들을 사용함으로써, 검색 엔진은, 검색 결과들과 상호작용하는 크라우드들(crowds)의 지식뿐만 아니라 검색 결과 페이지를 초과하는 브라우징 행위를 특징화하는 더욱 풍부한 특징들로부터으로 이득을 얻을을 수 있다.
도 5는 본 발명의 일 양태에 따른 기계 학습 컴포넌트(535)를 이용할 수 있는 자동화된 정보 검색 시스템(500)을 예시한다. 일반적인 암시적 피드백 해석 전략(implicit feedback interpretation strategy)이 이용되어 사용자 선호들의 모델을 자동으로 학습할 수 있다(예를 들면, 발견 또는 통찰에 의존하는 것 대신). 시스템(500)은 예를 들어, 사용자 행위 컴포넌트(515)와의 상호작용들 또는 데이터 로그(520)로부터 훈련될 수 있는 랭커 컴포넌트(510)를 포함한다. 로그(520) 내의 데이터는 근거리 또는 원거리 데이터 소스들로부터 수집될 수 있으며 복수의 사용자들로부터의 이전의 검색 데이터 또는 활동들(530)과 관련 있는 정보를 포함한다. 훈련 후, 랭커 컴포넌트(510)는 검색 엔진(540)과 상호작용하여 관련 있는 결과들(550)로 나타내어지는 장래의 검색 결과들을 용이하게 하거나 향상시킬 수 있다. 예를 들어, 하나 이상의 새로운 검색 질의들(560)은 이전의 검색 데이터(530)로부터의 훈련, 및/또는 사용자 행위 컴포넌트(515)로부터의 정보에 적어도 부분적으로 기초하여, 검색 엔진(540)에 의해 처리될 수 있다. 일반적으로, 시스템(500)은 검색 엔진 관련성을 향상시키기 위하여 다양한 데이터 마이닝 기술들을 이용할 수 있다. 이것은 검색 결과들(550)을 생성하기 위해 검색 엔진(540)에서 이용되는, 런타임 분류기들에 대한 고품질 훈련 데이터를 생성하기 위한 랭커 컴포넌트(510) 내의 관련성 분류기들을 이용하는 것을 포함할 수 있다. 도 6은 사용자 동작을 나타내는 복수의 시스템 특징들과 상호작용하는 사용자 행위 컴포넌트(610)를 예시한다. 일 양태에서, 본 발명은 웹 검색 행위들을, "배경" 컴포넌트(예를 들어, 사용자 행위에서의 질의- 및 관련성-독립적 노이즈 등)과, "관련성" 컴포넌트(예를 들어, 질의에 대한 결과의 관련성을 나타내는 질의 특정 행위)의 조합으로서 간주한다. 이러한 구성은 결집된 사용자 행위를 이용할 수 있으며, 이 경우 특징 집합은, 직접 관측된 특징들(각각의 질의에 대한 관측들로부터 직접 계산됨)뿐만 아니라, 대응하는 직접 관측된 특징 값들에 대한 값들의 전체적인 질의 독립적 분포로부터의 편차로서 계산된 질의 별정 도출된 특징들로 구성된다. 도 6에 예시된 바와 같이, 웹 검색 결과들과의 사용자 상호작용들을 나타내기 위해 이용될 수 있는 클릭스루 특징(들)(612), 브라우징 특징(들)(614), 및 프리젠테이션 특징들(616)과 같은 예시적인 시스템 특징들은 사용자 행위 컴포넌트(610)를 통한다. 더욱이, 주어진 위치에서의 결과에 대한 예측된 클릭 수로부터 주어진 질의-URL 쌍에 대하여 관측된 클릭스루 수의 편차와 같은 특징들도 고려될 수 있다. 또한, 브라우징 행위는, 예를 들면 결과가 클릭된 후에, 모델링될 수 있고, 그 후에 그러한 모델에 대하여 주어진 질의-URL 쌍에 대한 평균 페이지 체류 시간뿐 아니라 예측된(평균) 체류 시간으로부터의 편차가 이용된다. 또한, 예를 들어, 웹 검색 사용자들은 종종, 결과 타이틀, URL, 및 요약을 봄으로써 - 많은 경우, 원래의 문서를 보는 것이 반드시 필요한 것은 아닌 것이 전형적임 - 결과가 관련 있는 것인지 여부를 결정할 수 있다. 사용자 경험의 이 양태를 모델링하기 위하여, 질의 내의 단어 및 타이틀 내의 단어에서의 중첩과 같은 특징들이 이용될 수도 있다.
도 7은 본 발명의 일 양태에 따라 사용자의 선호들을 추정하기 위하여 사용자 행위를 해석하는 예시적인 방법(700)을 예시한다. 상기 예시적인 방법은 각종 이벤트들 및/또는 동작들을 나타내는 일련의 블럭들로서 예시되고 설명되지만, 본 발명은 그러한 블럭들의 예시된 배열에 의해 제한되지 않는다. 예를 들어, 어떤 동작들 또는 이벤트들은 본 발명에 따라서 여기에 예시된 배열과는 별도로, 다른 배열들로 및/또는 다른 동작들 또는 이벤트들과 동시에 발생할 수 있다. 또한, 본 발명에 따른 방법을 구현하기 위하여 모든 예시된 블럭들, 이벤트들 또는 동작들이 요구되는 것은 아닐 수도 있다. 더욱이, 본 발명에 따른 예시적인 방법 및 다른 방법들은 여기에서 예시되고 설명된 방법과 함께 뿐만 아니라, 예시되거나 설명되지 않은 다른 시스템 및 장치와 함께 구현될 수 있는 점이 이해될 것이다. 처음에 단계(710)에서, 포스트 검색 사용자 행위(post search user behavior)와 같이, 검색 엔진과의 사용자 상호작용에 연관된 데이터가 획득될 수 있다. 이어서 단계(720)에서, 예를 들어 통계 분석 기술들을 이용함으로써 사용자 행위가 결집될 수 있다. 그 후, 단계(730)에서, 사용자 선호 모델을 훈련하기 위하여 기계 학습 이 이용될 수 있다. 이어서 단계(740)에서, 사용자 선호 예측들이 장래 질의들의 결과를 위해 제공될 수 있다.
도 8은 본 발명의 일 양태에 따라 사용자 행위를 랭킹의 일부로서 구현하는 방법(800)을 도시한다. 처음에 단계(810)에서, 사용자 행위에 관련된 데이터가 수집될 수 있다. 그 후, 이러한 사용자 행위는 단계(820)에서 행위 모델을 훈련하고/거나 자동으로 생성하기 위하여 이용될 수 있다. 그 후, 이러한 모델(예를 들어, 예측된 행위 모델)은, 단계(830)에서,결과들을 랭킹하고/거나 사용자들의 피드백으로부터 암시적 관련성 판정들을 생성하기 위하여 검색 엔진의 일부로서 통합될 수 있다. 이어서, 단계(840)에서, 상기 생성되고/거나 훈련된 행위 모델에 부분적으로 기초하여, 검색 엔진에 의해 검색된 정보가 랭킹될 수 있다.
개시된 본 발명의 다양한 양태들에 대한 환경을 제공하기 위하여, 도 9 및 10 뿐만 아니라 이하의 설명은 개시된 본 발명의 다양한 양태들이 구현될 수 있는 적절한 환경의 간단하고, 일반적인 설명을 제공하기 위한 것이다. 본 발명은 일반적으로 컴퓨터 및/또는 컴퓨터들에서 실행하는 컴퓨터 프로그램의 컴퓨터 실행 가능 명령어들과 관련하여 상기 설명되었지만, 당업자는 본 발명은 다른 프로그램 모듈들과 조합하여 구현될 수도 있음을 인식할 것이다. 일반적으로, 프로그램 모듈들은 특정 태스크들을 수행하고/거나 특정 추상 데이터 유형들을 구현하는 루틴들, 프로그램들, 컴포넌트들, 데이터 구조들을 포함한다. 더욱이, 당업자는 본 발명의 방법들은 단일 프로세서나 멀티프로세서 컴퓨터 시스템들, 미니 컴퓨팅 장치들, 메인프레임 컴퓨터들, 및 커스널 컴퓨터들, 핸드-헬드 컴퓨팅 장치들(예를 들면, PDA, 전화기, 시계...), 마이크로프로세서 기반 또는 프로그램 가능한 가전 또는 산업용 전자제품들 등을 포함하는 다른 컴퓨터 시스템 구성들로 실시될 수 있는 점을 이해할 것이다. 상기 예시된 양태들은 또한 통신 네트워크를 통하여 연결되어 있는 원격 처리 장치들에 의해 태스크들이 수행되는 분산 컴퓨팅 환경들에서 실시될 수 있다. 그러나 본 발명의 전부는 아닐지라도 일부의 양태들은 독립형 컴퓨터들에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 로컬 및 원격 메모리 저장 장치 둘 다에 위치할 수 있다.
도 9를 참조하여, 컴퓨터(912)를 포함하며 본 발명의 각종 양태들을 구현하기 위한 예시적인 환경(910)이 설명된다. 컴퓨터(912)는 처리 장치(914), 시스템 메모리(916), 및 시스템 버스(918)를 포함한다. 시스템 버스(918)는 시스템 메모리(916)를 포함하지만 이에 제한되는 것은 아닌 시스템 컴포넌트들을 처리 장치(914)에 연결한다. 처리 장치(914)는 각종 이용 가능한 프로세서들 중 임의의 것일 수 있다. 처리 장치(914)로서 듀얼 마이크로프로세서들 및 다른 마이크로프로세서 아키텍쳐들도 이용될 수 있다.
시스템 버스(918)는 메모리 버스 또는 메모리 컨트롤러, 주변 장치 버스 또는 외부 버스, 및/또는 11-비트 버스, ISA(Industrial Standard Architecture), MSA(Micro-Channel Architecture), EISA(Extended ISA), IDE(Intelligent Drive Electronics), VLB(VESA Local Bus), PCI(Peripheral Component Interconnect), USB(Universal Serial Bus), AGP(Advanced Graphics Port), PCMCIA(Personal Computer Memory Card International Association bus), 및 SCSI(Small Computer Systems Interface)를 포함하지만 이에 제한되는 것은 아닌 각종 이용 가능한 버스 아키텍쳐들 중 임의의 것을 이용하는 로컬 버스를 비롯한 몇몇 유형의 버스 구조(들) 중 어느 것이라도 될 수 있다.
시스템 메모리(916)는 휘발성 메모리(920) 및 비휘발성 메모리(922)를 포함한다. 시동 중과 같은 때에, 컴퓨터(912) 내의 구성요소들 사이의 정보 전송을 위한 기본 루틴을 포함하는 기본 입/출력 시스템(BIOS)는 비휘발성 메모리(922)에 저장되어 있다. 예로서, 비휘발성 메모리(922)는 ROM(read only memory), PROM(programmable ROM), EPROM(electrically programmable ROM), EEPROM(electrically erasable ROM), 또는 플래시 메모리를 포함할 수 있지만, 이들에 제한되는 것은 아니다. 휘발성 메모리(920)는 외부 캐시 메모리 역할을 하는 RAM(random access memory)을 포함한다. 제한이 아닌 예로서, RAM은 SRAM(synchronous RAM), DRAM(dynamic RAM), SDRAM(synchronous DRAM), DDR SDRAM(double data rate SDRAM), ESDRAM(enhanced SDRAM), SLDRAM(Synchlink DRAM), 및 DRRAM(direct Rambus RAM) 등의 많은 형태로 이용 가능하다.
컴퓨터(912)는 또한 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체를 포함한다. 도 9는, 예로서 디스크 저장 장치(924)를 예시한다. 디스크 저장 장치(924)는 자기 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, Jaz 드라이브, Zip 드라이브, LS-60 드라이브, 플래시 메모리 카드, 또는 메모리 스틱과 같은 장치들을 포함하지만, 이에 제한되는 것은 아니다. 또한, 디스크 저장 장치(924)는 CD-ROM(compact disk ROM device), CD-R Drive(CD recordable drive), CD-RW Drive(CD rewritable drive) 또는 DVD-ROM(digital versatile disk ROM drive)과 같은 광 디스크 드라이브를 포함하지만 이에 제한되는 것은 아닌 다른 저장 매체와 조합되거나 또는 별도의 저장 매체를 포함할 수 있다. 시스템 버스(918)로의 디스크 저장 장치들(924)의 연결을 용이하게 하기 위해, 인터페이스(926)와 같은 이동식 또는 비이동식 인터페이스가 이용되는 것이 전형적이다.
도 9는 적절한 운영 환경(910)에서 설명된 기본 컴퓨터 리소스들과 사용자들 간의 매개체(intermediary) 역할을 하는 소프트웨어를 설명하는 것이 이해된다. 그러한 소프트웨어는 운영 체제(928)를 포함한다. 디스크 저장 장치(924)에 저장될 수 있는 운영 체제(928)는 컴퓨터 시스템(912)의 리소스들을 제어 및 할당하는 역할을 한다. 시스템 애플리케이션들(930)은 시스템 메모리(916) 또는 디스크 저장 장치(924)에 저장되어 있는 프로그램 모듈들(932) 및 프로그램 데이터(934)를 통해 운영 체제(928)에 의한 리소스들의 관리를 이용한다. 여기에 설명된 각종 컴포넌트들은 각종 운영 체제들 또는 운영 체제들의 조합들로 구현될 수 있는 점이 이해된다.
사용자는 입력 장치(들)을 통해 컴퓨터(912)에 커맨드들이나 정보를 입력한다. 입력 장치들(936)은 마우스와 같은 포인팅 장치, 트랙볼, 스타일러스, 터치 패드, 키보드, 마이크, 조이스틱, 게임 패드, 위성 안테나, 스캐너, TV 튜너 카드, 디지털 카메라, 디지털 비디오 카메라, 웹 카메라 등을 포함하지만 이에 제한되는 것은 아니다. 이들 및 다른 입력장치들은 인터페이스 포트(들)(938)를 경유하여 시스템 버스(918)를 통해 처리장치(914)에 연결된다. 인터페이스 포트(들)(938)는 예를 들어, 시리얼 포트, 패러렐 포트, 게임 포트, 및 USB를 포함한다. 출력 장치(들)(940)는 입력 장치(들)(936)로서 동일한 유형의 포트들 중 일부를 이용한다. 따라서, 예를 들어, USB 포트는 컴퓨터(912)에 입력을 제공하고, 컴퓨터(912)로부터의 정보를 출력 장치(940)에 출력하기 위해 이용될 수 있다. 특별한 어댑터들을 필요로 하는 다른 출력 장치들(940) 중에, 모니터들, 스피커들, 및 프린터들과 같은 어떤 출력 장치들(940)이 존재하는 것을 예시하기 위하여 출력 어댑터(942)가 제공된다. 출력 어댑터들(942)은 제한이 아닌 예로서, 출력 장치(940)와 시스템 버스(918) 간에 연결 수단을 제공하는 비디오 및 사운드 카드들을 포함한다. 다른 장치들 및/또는 장치들의 시스템들은 원격 컴퓨터(들)(944)와 같은 입력 및 출력 기능 모두를 제공하는 것을 주목해야 한다.
컴퓨터(912)는 원격 컴퓨터(들)(944)와 같은 하나 이상의 원격 컴퓨터들로의 논리 연결들을 이용하는 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(들)(944)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 워크스테이션, 마이크로프로세서 기반 어플라이언스, 피어 장치 또는 다른 공통 네트워크 노드 등일 수 있으며 컴퓨터(912)와 관련하여 설명된 요소들의 다수 또는 전부를 포함하는 것이 전형적이다. 간략화를 위하여, 원격 컴퓨터(들)(944)에는 메모리 저장 장치(946)만 도시된다. 원격 컴퓨터(들)(944)는 네트워크 인터페이스(948)를 통해 컴퓨터(912)에 논리적으로 연결되고 그 후 통신 연결(950)을 통해 물리적으로 연결된다. 네트워크 인터페이스(948)는 LAN 및 WAN과 같은 통신 네트워크들을 포함한다. LAN 기술들은 FDDI(Fiber Distributed Data Interface), CDDI(Copper Distributed Data Interface), 이더넷/IEEE 802.3, 토큰 링/IEEE 802.5 등을 포함한다. WAN 기술들은, 포인트-투-포인트 링크들, ISDN(Integrated Services Digital Networks)와 같은 회로 스위칭 네트워크들 및 그 변종들(variations), 패킷 스위칭 네트워크들, 및 DSL(Digital Subscriber Lines)을 포함하지만, 이들에 제한되는 것은 아니다.
통신 연결(들)(950)은 네트워크 인터페이스(948)를 버스(918)에 연결시키기 위해 이용된 하드웨어/소프트웨어를 의미한다. 컴퓨터(912) 내부에는 예시의 명료성을 위해 통신 연결(950)이 도시되어 있지만, 이것은 컴퓨터(912)의 외부에 있을 수도 있다. 네트워크 인터페이스(948)로의 연결에 필요한 하드웨어/소프트웨어는, 단지 예시적인 목적으로, 통상적인 전화 등급 모뎀들, 케이블 모뎀들 및 DSL 모뎀들을 비롯한 모뎀들, ISDN 어댑터들, 및 이더넷 카드들과 같은 내부 및 외부 기술들을 포함한다.
여기에서 사용된 용어들 "컴포넌트", "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중의 소프트웨어 중 어느 하나인, 컴퓨터 관련 실체를 의미하기 위한 것이다. 예를 들어, 컴포넌트는 프로세서에서 실행 중인 프로세스, 프로세서, 개체, 실행파일, 실행의 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들에 제한되는 것은 아니다. 예로서, 컴퓨터 상에 실행 중인 애플리케이션 및 컴퓨터는 컴포넌트일 수 있다. 하나 이상의 컴포넌트들이 하나의 프로세스 및/또는 실행의 스레드에 존재할 수 있고 컴포넌트는 컴퓨터 상에 위치되고/거나 둘 이상의 컴퓨터들 간에 분산될 수 있다. 단어 "예시적인"은 예시, 실례 또는 예증으로서 기능하는 것을 의미하기 위해 사용된다. "예시적인" 것으로 여기 에서 기술된 임의의 양태 또는 설계는 반드시 다른 양태들 또는 설계들에 대하여 바람직하거나 유리한 것으로 해석될 필요는 없다.
더욱이, 개시된 본 발명은 여기에 상술된 양태들을 구현하기 위한 컴퓨터 또는 프로세서 기반 장치를 제어하는 소프트웨어, 펌웨어, 하드웨어, 또는 그들의 임의의 조합을 생성하기 위하여 표준 프로그래밍 및/또는 엔지니어링 기술들을 이용하는 시스템, 방법, 장치, 또는 제품으로서 구현될 수 있다. 여기에 사용된 용어 컴퓨터 프로그램은 임의의 컴퓨터 판독 가능 장치, 반송파, 또는 매체가 액세스 가능한 컴퓨터 프로그램을 포함하려는 것이다. 예를 들어, 컴퓨터 판독 가능 매체는 자기 저장 장치들(예를 들어, 하드 디스크, 플로피 디스크, 자기 스트립...), 광 디스크들(예를 들어, CD, DVD...), 스마트 카드들, 및 플래시 메모리 장치들(예를 들어, 카드, 스틱)을 포함할 수 있지만 이들에 제한되는 것은 아니다. 또한, 반송파는 전자 메일을 송수신하거나 인터넷 또는 LAN과 같은 네트워크에 액세스하는 경우 이용되는 것들과 같은 컴퓨터 판독 가능 전자 데이터를 운반하기 위해 이용될 수 있다는 점이 이해되어야 한다. 물론, 당업자는 본 발명의 범위 또는 취지로부터 벗어나지 않고 이 구성에 대하여 많은 수정들이 이루어질 수 있다는 것을 이해할 것이다.
도 10은 본 발명의 일 양태에 따라 사용자 행위 컴포넌트를 통해 사용자 선호를 추정하기 위하여 이용될 수 있는 샘플-계산 환경(1000)의 개략적 블럭도이다. 시스템(1000)은 하나 이상의 클라이언트(들)(1010)를 포함한다. 클라이언트(들)(1010)는 하드웨어 및/또는 소프트웨어(예를 들어, 스레드들, 프로세스들, 계 산 장치들)일 수 있다. 시스템(1000)은 또한 하나 이상의 서버(들)(1030)를 포함한다. 서버(들)(1030)는 또한 하드웨어 및/또는 소프트웨어(예를 들어, 스레드들, 프로세스들, 계산 장치들)일 수 있다. 서버들(1030)은, 예를 들어, 여기에 설명된 컴포넌트들을 이용함으로써 변환을 수행하기 위한 스레드를 수용할 수 있다. 클라이언트(1010)와 서버(1030) 사이의 한 가지 가능한 통신은 둘 이상의 컴퓨터 프로세스들 간에 송신되도록 적응된 데이터 패킷의 형태일 수 있다. 시스템(100)은 클라이언트(들)(1010)와 서버(들)(1030) 간의 통신을 용이하게 하기 위하여 이용될 수 있는 통신 프레임워크(1050)를 포함한다. 클라이언트(들)(1010)는 클라이언트(들)(1010)에 국소적인 정보를 저장하기 위해 이용될 수 있는 하나 이상의 클라이언트 데이터 저장소(들)(1060)에 작용적으로 연결되어 있다. 유사하게, 서버(들)(1030)는 서버들(1030)에 국소적인 정보를 저장하기 위하여 이용될 수 있는 하나 이상의 서버 데이터 저장소(들)(1040)에 작용적으로 연결되어 있다.
상기 설명된 것은 다양한 예시적인 양태들을 포함한다. 물론, 이 양태들을 설명하기 위하여 컴포넌트들 또는 방법들의 모든 가능한 조합을 설명하는 것은 불가능하지만, 당업자는 다른 많은 조합들 및 치환들(permutations)이 가능하다는 점을 인식할 수 있다. 따라서, 여기에 설명된 양태들은 청구범위의 취지 및 범위 내의 모든 개조들, 수정들 및 변형들을 채택하는 것이 의도된다.
더욱이 용어 "포함한다(include)"가 상세한 설명부 또는 청구범위에서 사용되는 한, 그 용어는 청구항에서 과도적인 단어(transitional word)로 이용될 때 용어 "포함하는(comprising)"이 해석되는 것과 유사하게 포괄적인 것을 의도한다.

Claims (21)

  1. 컴퓨터 구현된 시스템으로서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되었을 때 복수의 컴퓨터 실행 가능 컴포넌트들을 구현하는 컴퓨터 실행 가능 명령어들을 포함하는 메모리
    를 포함하고,
    상기 복수의 컴퓨터 실행 가능 컴포넌트들은,
    복수의 사용자들의 직접 관측된 행위 특징(directly observed behavior features) 및 도출된 행위 특징(derived behavior features)에 기초하여 질의에 대한 검색 결과들에 대한 사용자의 사용자 선호를 추정하는 사용자 행위 컴포넌트 - 상기 직접 관측된 행위 특징은 상기 복수의 사용자의 웹 페이지 상호 작용을 정량화(quantify)한 값에 의해 측정되고 상기 도출된 행위 특징은 상기 직접 관측된 행위 특징의 상기 값과 상기 직접 관측된 특징에 대한 질의-독립 분포(query-independent distribution)로부터 추정된 예측 값의 편차를 나타내며, 상기 사용자 행위 컴포넌트는 질의-URL 쌍(query-URL pair) 각각에 따라서 상기 복수의 사용자 및 검색 세션에 걸쳐 상기 직접 관측된 행위 특징에 대한 상기 값들에 대해 평균을 냄으로써 상기 복수의 사용자의 사용자 행위의 변화(variation)를 경감시키되, 상기 질의-URL 쌍 각각은 상기 질의와 상기 질의로부터 획득된 상기 검색 결과들 내의 대응하는 웹 페이지의 URL(Uniform Resource Locator)의 쌍임 - 와,
    상기 사용자와 복수의 추가적인 사용자들의 웹 브라우징 상호작용(web browsing interaction)을 캡처하고 정량화하는 프레젠테이션 특징, 브라우징 특징, 또는 클릭스루(clickthrough) 특징 중 적어도 하나를 포함하는 특징 집합 - 상기 특징 집합은 상기 직접 관측된 특징 및 상기 도출된 행위 특징을 포함함 - 와,
    상기 사용자 선호를 통합하여 상기 검색 결과들의 관련성 및 랭킹을 결정하는 검색 엔진
    을 포함하는 컴퓨터 구현된 시스템.
  2. 제1항에 있어서, 상기 사용자 행위 컴포넌트는 질의에 대해 독립적인 검색 결과에 대한 배경 컴포넌트 및 질의와 관련성을 가지는 검색 결과에 대한 관련성 컴포넌트를 더 포함하는 컴퓨터 구현된 시스템.
  3. 제1항에 있어서, 상기 복수의 컴퓨터 실행 가능 컴포넌트들은, 암시적 피드백(implicit feedback) 해석 전략을 이용하여 사용자 선호들의 모델을 자동으로 학습하는 기계 학습 컴포넌트를 더 포함하는 컴퓨터 구현된 시스템.
  4. 제1항에 있어서, 상기 사용자 행위 컴포넌트는 사용자 행위에 관련된 데이터를 수집하고 수집된 데이터를 기초로 생성한 모델을 포함하는 컴퓨터 구현된 시스템.
  5. 삭제
  6. 제4항에 있어서, 상기 복수의 컴퓨터 실행 가능 컴포넌트들은, 이전의 검색 결과와 관련된 데이터를 포함하는 데이터 로그를 더 포함하는 컴퓨터 구현된 시스템.
  7. 제1항에 있어서, 상기 검색 엔진은 상기 검색 결과들을 랭킹하는 랭커 컴포넌트를 더 포함하는 컴퓨터 구현된 시스템.
  8. 제4항에 있어서, 상기 복수의 컴퓨터 실행 가능 컴포넌트들은, 상기 모델을 훈련하는 기계 학습 컴포넌트를 더 포함하는 컴퓨터 구현된 시스템.
  9. 삭제
  10. 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 실행 가능 명령어들이 프로세서에 의해 실행되어 구현되는 컴퓨터 구현된 방법으로서, 상기 방법은,
    검색 엔진과의 상호 작용 중 복수의 사용자의 사용자 행위를 획득하는 단계 - 상기 사용자는 상기 검색 엔진에 질의를 제출함 - 와,
    상기 질의로부터 획득된 검색 결과들에 대한 사용자의 사용자 선호를 추정하기 위해, 상기 사용자 행위에 대한 직접 관측된 특징 및 도출된 특징의 분석을 위한 상기 사용자 행위를 결집하는 단계 - 상기 직접 관측된 특징은 상기 질의와 상기 검색 결과들 내의 단어들 사이의 중첩(overlap)을 적어도 측정함으로써 상기 복수의 사용자의 상호 작용을 정량화하는 값에 의해 측정되고, 상기 도출된 특징은 상기 직접 관측된 특징에 대한 상기 값과 상기 복수의 사용자의 상기 직접 관측된 특징의 질의-독립 분포로부터 추정되는 예측 값 사이의 편차를 나타냄 - 와,
    질의-URL 쌍 각각에 따라서 상기 복수의 사용자 및 검색 세션에 걸친 상호 작용의 상기 직접 관측된 특징에 대한 상기 값들에 대해 평균을 냄으로써 상기 복수의 사용자의 사용자 행위와 연관된 노이즈를 경감시키는 단계 - 상기 질의-URL 쌍 각각은 상기 질의와 상기 질의로부터 획득된 상기 검색 결과들 내의 대응하는 웹 페이지의 URL의 쌍이고, 상기 노이즈는 악의적이거나 비이성적인 브라우징 동작에 대응함 - 와,
    상기 결집하는 단계 및 상기 경감시키는 단계에 기초하여 검색 결과들에 대한 사용자 선호를 추정하는 단계와,
    상기 사용자 선호에 기초하여 검색 결과들의 랭킹을 결정하는 단계
    를 포함하는 컴퓨터 구현된 방법.
  11. 삭제
  12. 제10항에 있어서, 상기 검색 결과들을 랭킹하기 위한 모델을 훈련하는 단계를 더 포함하는 컴퓨터 구현된 방법.
  13. 제10항에 있어서, 사용자 행위에 관련된 데이터를 수집하고 수집된 데이터로부터 모델을 자동으로 생성하는 단계를 더 포함하는 컴퓨터 구현된 방법.
  14. 제10항에 있어서, 상기 결집된 사용자 행위를 이용하여 상기 검색 결과들과 사용자 행위의 상호작용에 관련된 특징의 집합을 고안하는 단계를 더 포함하는 컴퓨터 구현된 방법.
  15. 삭제
  16. 제10항에 있어서, 상기 질의에 대한 이전의 검색 결과들로부터 상기 사용자 행위를 예측하는 단계를 더 포함하는 컴퓨터 구현된 방법.
  17. 삭제
  18. 제10항에 있어서, 상기 사용자 선호를 추정하기 위하여 상기 직접 관측된 특징들을 이용하는 단계를 더 포함하는 컴퓨터 구현된 방법.
  19. 컴퓨터 실행 가능 명령어들을 저장하는 컴퓨터 판독 가능 기록 매체로서, 상기 컴퓨터 실행 가능 명령어들은 하나 이상의 프로세서에 의해 실행되어,
    복수의 사용자의 웹 브라우징 행위에 대한 데이터를 획득하는 단계와,
    상기 데이터로부터 사용자 선호를 예측하는 모델을 형성하는 단계 - 상기 모델은 관측된 특징과 도출된 특징을 포함하는 특징 집합을 사용하고, 상기 관측된 특징은 관측된 사용자 브라우징 행위들을 정량화하는 값들에 의해 측정되고, 상기 관측된 특징의 값은 검색 질의에 대한 검색 결과의 관련성 및 상기 검색 결과에 대응하는 복수의 검색 질의에 대한 상기 관측된 특징의 복수의 이전의 값의 배경 분포(background distribution)에 기초하여 정량화되고, 상기 도출된 특징은 상기 관측된 특징의 값과 상기 관측된 특징에 대한 질의-독립 분포로부터 추정된 예측 값의 편차를 나타내며, 상기 특징 집합은 사용자들의 웹 브라우징 상호 작용을 캡처 및 정량화하기 위한 프레젠테이션 특징, 브라우징 특징, 또는 클릭스루 특징 중 적어도 하나를 포함함 - 와,
    상기 사용자 선호에 기초하여, 상기 검색 질의의 상기 검색 결과에 랭킹을 할당하기 위해 상기 모델과 상호 작용하는 단계
    를 포함하는 방법을 수행하는 컴퓨터 판독 가능 기록 매체.
  20. 제19항에 있어서, 상기 방법은 관측된 특징 및 도출된 특징 모두를 사용하여 검색 질의-결과 쌍(search query-result pair)에 대응하는 사용자 행위를 모델링하는 단계를 더 포함하는, 컴퓨터 판독 가능 기록 매체.
  21. 제19항에 있어서, 상기 방법은 질의-의존적 특징(query-dependent features) 및 질의-독립적 특징(query-independent features) 모두에 기초하여 상기 검색 결과를 랭킹하는 단계를 더 포함하되, 상기 질의-의존적 특징은 웹 문서의 텍스트가 질의에 얼마나 매칭되는지를 포함하고, 상기 질의-독립적 특징은 웹 문서의 페이지랭크(PageRank)를 포함하는, 컴퓨터 판독 가능 기록 매체.
KR1020087021426A 2006-03-02 2007-02-08 컴퓨터 실행 가능 컴포넌트를 포함하는 컴퓨터 구현된 시스템 KR101366408B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US77865006P 2006-03-02 2006-03-02
US60/778,650 2006-03-02
US11/457,733 US20070208730A1 (en) 2006-03-02 2006-07-14 Mining web search user behavior to enhance web search relevance
US11/457,733 2006-07-14
PCT/US2007/003530 WO2007106269A1 (en) 2006-03-02 2007-02-08 Mining web search user behavior to enhance web search relevance

Publications (2)

Publication Number Publication Date
KR20080114708A KR20080114708A (ko) 2008-12-31
KR101366408B1 true KR101366408B1 (ko) 2014-03-03

Family

ID=38472589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087021426A KR101366408B1 (ko) 2006-03-02 2007-02-08 컴퓨터 실행 가능 컴포넌트를 포함하는 컴퓨터 구현된 시스템

Country Status (9)

Country Link
US (1) US20070208730A1 (ko)
EP (1) EP1997065A4 (ko)
JP (1) JP5247475B2 (ko)
KR (1) KR101366408B1 (ko)
BR (1) BRPI0708397A2 (ko)
CA (1) CA2644440A1 (ko)
MX (1) MX2008011223A (ko)
RU (1) RU2435212C2 (ko)
WO (1) WO2007106269A1 (ko)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7461059B2 (en) 2005-02-23 2008-12-02 Microsoft Corporation Dynamically updated search results based upon continuously-evolving search query that is based at least in part upon phrase suggestion, search engine uses previous result sets performing additional search tasks
US7860886B2 (en) * 2006-09-29 2010-12-28 A9.Com, Inc. Strategy for providing query results based on analysis of user intent
US9747349B2 (en) * 2006-10-30 2017-08-29 Execue, Inc. System and method for distributing queries to a group of databases and expediting data access
US8661029B1 (en) 2006-11-02 2014-02-25 Google Inc. Modifying search result ranking based on implicit user feedback
US9110975B1 (en) * 2006-11-02 2015-08-18 Google Inc. Search result inputs using variant generalized queries
US9305088B1 (en) * 2006-11-30 2016-04-05 Google Inc. Personalized search results
KR100898456B1 (ko) * 2007-01-12 2009-05-21 엔에이치엔(주) 검색 결과를 제공하는 방법 및 상기 방법을 수행하는시스템
US8938463B1 (en) 2007-03-12 2015-01-20 Google Inc. Modifying search result ranking based on implicit user feedback and a model of presentation bias
US9092510B1 (en) 2007-04-30 2015-07-28 Google Inc. Modifying search result ranking based on a temporal element of user feedback
CA2690947C (en) * 2007-06-26 2019-05-14 Endeca Technologies, Inc. System and method for measuring the quality of document sets
US8935249B2 (en) 2007-06-26 2015-01-13 Oracle Otc Subsidiary Llc Visualization of concepts within a collection of information
US8458165B2 (en) * 2007-06-28 2013-06-04 Oracle International Corporation System and method for applying ranking SVM in query relaxation
US7783630B1 (en) * 2007-06-29 2010-08-24 Emc Corporation Tuning of relevancy ranking for federated search
US7783620B1 (en) * 2007-06-29 2010-08-24 Emc Corporation Relevancy scoring using query structure and data structure for federated search
US8694511B1 (en) 2007-08-20 2014-04-08 Google Inc. Modifying search result ranking based on populations
US20090089311A1 (en) * 2007-09-28 2009-04-02 Yahoo! Inc. System and method for inclusion of history in a search results page
US8909655B1 (en) 2007-10-11 2014-12-09 Google Inc. Time based ranking
US7984000B2 (en) 2007-10-31 2011-07-19 Microsoft Corporation Predicting and using search engine switching behavior
US9152699B2 (en) * 2007-11-02 2015-10-06 Ebay Inc. Search based on diversity
US20090119254A1 (en) * 2007-11-07 2009-05-07 Cross Tiffany B Storing Accessible Histories of Search Results Reordered to Reflect User Interest in the Search Results
US20090119278A1 (en) * 2007-11-07 2009-05-07 Cross Tiffany B Continual Reorganization of Ordered Search Results Based on Current User Interaction
US7797260B2 (en) * 2008-02-11 2010-09-14 Yahoo! Inc. Automated document classifier tuning including training set adaptive to user browsing behavior
US7836058B2 (en) 2008-03-27 2010-11-16 Microsoft Corporation Web searching
US8069179B2 (en) * 2008-04-24 2011-11-29 Microsoft Corporation Preference judgements for relevance
US8543592B2 (en) * 2008-05-30 2013-09-24 Microsoft Corporation Related URLs for task-oriented query results
US20090299964A1 (en) * 2008-05-30 2009-12-03 Microsoft Corporation Presenting search queries related to navigational search queries
US8639636B2 (en) * 2008-08-15 2014-01-28 At&T Intellectual Property I, L.P. System and method for user behavior modeling
US7979415B2 (en) 2008-09-04 2011-07-12 Microsoft Corporation Predicting future queries from log data
US8037043B2 (en) 2008-09-09 2011-10-11 Microsoft Corporation Information retrieval system
US8515950B2 (en) * 2008-10-01 2013-08-20 Microsoft Corporation Combining log-based rankers and document-based rankers for searching
US8060456B2 (en) * 2008-10-01 2011-11-15 Microsoft Corporation Training a search result ranker with automatically-generated samples
US9449078B2 (en) * 2008-10-01 2016-09-20 Microsoft Technology Licensing, Llc Evaluating the ranking quality of a ranked list
US8122021B2 (en) * 2008-10-06 2012-02-21 Microsoft Corporation Domain expertise determination
US8126894B2 (en) * 2008-12-03 2012-02-28 Microsoft Corporation Click chain model
US8396865B1 (en) 2008-12-10 2013-03-12 Google Inc. Sharing search engine relevance data between corpora
US8341167B1 (en) 2009-01-30 2012-12-25 Intuit Inc. Context based interactive search
US8577875B2 (en) * 2009-03-20 2013-11-05 Microsoft Corporation Presenting search results ordered using user preferences
US9009146B1 (en) 2009-04-08 2015-04-14 Google Inc. Ranking search results based on similar queries
US8073832B2 (en) 2009-05-04 2011-12-06 Microsoft Corporation Estimating rank on graph streams
US9495460B2 (en) * 2009-05-27 2016-11-15 Microsoft Technology Licensing, Llc Merging search results
US20100306224A1 (en) * 2009-06-02 2010-12-02 Yahoo! Inc. Online Measurement of User Satisfaction Using Long Duration Clicks
US20100332531A1 (en) * 2009-06-26 2010-12-30 Microsoft Corporation Batched Transfer of Arbitrarily Distributed Data
US20100332550A1 (en) * 2009-06-26 2010-12-30 Microsoft Corporation Platform For Configurable Logging Instrumentation
US8447760B1 (en) 2009-07-20 2013-05-21 Google Inc. Generating a related set of documents for an initial set of documents
US8135753B2 (en) * 2009-07-30 2012-03-13 Microsoft Corporation Dynamic information hierarchies
US8392380B2 (en) * 2009-07-30 2013-03-05 Microsoft Corporation Load-balancing and scaling for analytics data
US20110029516A1 (en) * 2009-07-30 2011-02-03 Microsoft Corporation Web-Used Pattern Insight Platform
US8082247B2 (en) * 2009-07-30 2011-12-20 Microsoft Corporation Best-bet recommendations
US9020936B2 (en) * 2009-08-14 2015-04-28 Microsoft Technology Licensing, Llc Using categorical metadata to rank search results
US8498974B1 (en) 2009-08-31 2013-07-30 Google Inc. Refining search results
US8972391B1 (en) 2009-10-02 2015-03-03 Google Inc. Recent interest based relevance scoring
US9576251B2 (en) * 2009-11-13 2017-02-21 Hewlett Packard Enterprise Development Lp Method and system for processing web activity data
US8874555B1 (en) 2009-11-20 2014-10-28 Google Inc. Modifying scoring data based on historical changes
US8615514B1 (en) 2010-02-03 2013-12-24 Google Inc. Evaluating website properties by partitioning user feedback
US8924379B1 (en) 2010-03-05 2014-12-30 Google Inc. Temporal-based score adjustments
US8959093B1 (en) 2010-03-15 2015-02-17 Google Inc. Ranking search results based on anchors
US9009134B2 (en) * 2010-03-16 2015-04-14 Microsoft Technology Licensing, Llc Named entity recognition in query
EP2553603A4 (en) * 2010-03-29 2014-03-05 Nokia Corp METHOD AND APPARATUS FOR MODELING IMPLANT USER INTEREST
KR101098871B1 (ko) 2010-04-13 2011-12-26 건국대학교 산학협력단 랭크된 사용자의 피드백 정보에 기반한 컨텐츠 유사도 측정 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체
US20110258032A1 (en) * 2010-04-14 2011-10-20 Microsoft Corporation Search advertisement selection based on user actions
US10204163B2 (en) 2010-04-19 2019-02-12 Microsoft Technology Licensing, Llc Active prediction of diverse search intent based upon user browsing behavior
US8799280B2 (en) 2010-05-21 2014-08-05 Microsoft Corporation Personalized navigation using a search engine
US20110295897A1 (en) * 2010-06-01 2011-12-01 Microsoft Corporation Query correction probability based on query-correction pairs
US8612432B2 (en) 2010-06-16 2013-12-17 Microsoft Corporation Determining query intent
US9623119B1 (en) 2010-06-29 2017-04-18 Google Inc. Accentuating search results
US8825649B2 (en) 2010-07-21 2014-09-02 Microsoft Corporation Smart defaults for data visualizations
US8832083B1 (en) 2010-07-23 2014-09-09 Google Inc. Combining user feedback
WO2012034069A1 (en) 2010-09-10 2012-03-15 Veveo, Inc. Method of and system for conducting personalized federated search and presentation of results therefrom
US8560484B2 (en) * 2010-12-17 2013-10-15 Intel Corporation User model creation
US9002867B1 (en) 2010-12-30 2015-04-07 Google Inc. Modifying ranking data based on document changes
US9449093B2 (en) * 2011-02-10 2016-09-20 Sri International System and method for improved search experience through implicit user interaction
US9053208B2 (en) 2011-03-02 2015-06-09 Microsoft Technology Licensing, Llc Fulfilling queries using specified and unspecified attributes
US8732151B2 (en) 2011-04-01 2014-05-20 Microsoft Corporation Enhanced query rewriting through statistical machine translation
US9507861B2 (en) * 2011-04-01 2016-11-29 Microsoft Technolgy Licensing, LLC Enhanced query rewriting through click log analysis
JP2013037624A (ja) * 2011-08-10 2013-02-21 Sony Computer Entertainment Inc 情報処理システム、情報処理方法、プログラム及び情報記憶媒体
CA2857517A1 (en) * 2011-12-15 2013-06-20 Yahoo! Inc. Systems and methods involving features of search and/or search integration
US9355095B2 (en) 2011-12-30 2016-05-31 Microsoft Technology Licensing, Llc Click noise characterization model
WO2013149220A1 (en) * 2012-03-30 2013-10-03 Xen, Inc. Centralized tracking of user interest information from distributed information sources
US9460237B2 (en) 2012-05-08 2016-10-04 24/7 Customer, Inc. Predictive 411
CN103544150B (zh) * 2012-07-10 2016-03-09 腾讯科技（深圳）有限公司 为移动终端浏览器提供推荐信息的方法及系统
US8996513B2 (en) * 2012-07-24 2015-03-31 Microsoft Technology Licensing, Llc Providing an interface to access website actions
CN103631794B (zh) * 2012-08-22 2019-05-07 百度在线网络技术（北京）有限公司 一种用于对搜索结果进行排序的方法、装置与设备
US10108720B2 (en) * 2012-11-28 2018-10-23 International Business Machines Corporation Automatically providing relevant search results based on user behavior
US9589149B2 (en) 2012-11-30 2017-03-07 Microsoft Technology Licensing, Llc Combining personalization and privacy locally on devices
KR102090269B1 (ko) * 2012-12-14 2020-03-17 삼성전자주식회사 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
US9824151B2 (en) * 2012-12-27 2017-11-21 Google Inc. Providing a portion of requested data based upon historical user interaction with the data
US20140188889A1 (en) * 2012-12-31 2014-07-03 Motorola Mobility Llc Predictive Selection and Parallel Execution of Applications and Services
US9594837B2 (en) 2013-02-26 2017-03-14 Microsoft Technology Licensing, Llc Prediction and information retrieval for intrinsically diverse sessions
RU2543315C2 (ru) 2013-03-22 2015-02-27 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "Высшая школа экономики" Способ отбора эффективных вариантов в поисковых и рекомендательных системах (варианты)
US10079737B2 (en) 2013-09-13 2018-09-18 Clicktale Ltd. Method and system for generating comparable visual maps for browsing activity analysis
CN104679771B (zh) * 2013-11-29 2018-09-18 阿里巴巴集团控股有限公司 一种个性化数据搜索方法和装置
RU2608886C2 (ru) * 2014-06-30 2017-01-25 Общество С Ограниченной Ответственностью "Яндекс" Ранжиратор результатов поиска
US10042936B1 (en) * 2014-07-11 2018-08-07 Google Llc Frequency-based content analysis
CN104268212A (zh) * 2014-09-23 2015-01-07 北京奇虎科技有限公司 一种互联网产品的发放方法和装置
CN104462377A (zh) * 2014-12-09 2015-03-25 小米科技有限责任公司 提供联系人信息的方法及装置
US10430473B2 (en) 2015-03-09 2019-10-01 Microsoft Technology Licensing, Llc Deep mining of network resource references
US9697286B2 (en) 2015-03-16 2017-07-04 International Business Machines Corporation Shared URL content update to improve search engine optimization
CN105095357A (zh) * 2015-06-24 2015-11-25 百度在线网络技术（北京）有限公司 一种用于咨询数据处理的方法和装置
RU2637899C2 (ru) 2015-07-16 2017-12-07 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер определения изменений в пользовательском интерактивном взаимодействии со страницей результатов поиска
RU2632138C2 (ru) 2015-09-14 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Способ (варианты) и сервер ранжирования поисковых результатов на основе параметра полезности
RU2632133C2 (ru) 2015-09-29 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Способ (варианты) и система (варианты) создания модели прогнозирования и определения точности модели прогнозирования
RU2632423C2 (ru) 2015-09-30 2017-10-04 Общество С Ограниченной Ответственностью "Яндекс" Способ и поисковая система предоставления поисковых результатов на множество клиентских устройств
KR102297394B1 (ko) * 2016-04-18 2021-09-02 구글 엘엘씨 적절한 에이전트의 자동화된 어시스턴트 호출
US10055481B2 (en) * 2016-07-20 2018-08-21 LogsHero Ltd. Method and system for automatic event classification
US10803070B2 (en) * 2016-07-29 2020-10-13 International Business Machines Corporation Selecting a content summary based on relevancy
RU2621962C1 (ru) * 2016-08-16 2017-06-08 Игорь Юрьевич Скворцов Самонастраивающаяся интерактивная система, способ и считываемый компьютером носитель данных обмена комментариями между пользователями
RU2630741C1 (ru) * 2016-12-20 2017-09-12 Игорь Юрьевич Скворцов Самонастраивающаяся интерактивная система, способ и считываемый компьютером носитель данных обмена комментариями между пользователями
CN107133290B (zh) * 2017-04-19 2019-10-29 中国人民解放军国防科学技术大学 一种个性化信息检索方法与装置
US11842533B2 (en) * 2017-04-26 2023-12-12 Chia-Lin Simmons Predictive search techniques based on image analysis and group feedback
RU2663706C1 (ru) * 2017-07-20 2018-08-08 Общество С Ограниченной Ответственностью "Центр Разработки И Внедрения Инновационных Технологий" Самонастраивающаяся интерактивная система, способ и считываемый компьютером носитель данных оценки доверия контенту
RU2757546C2 (ru) * 2017-07-25 2021-10-18 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для создания персонализированного пользовательского параметра интереса для идентификации персонализированного целевого элемента содержимого
RU2689812C2 (ru) * 2017-07-25 2019-05-29 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для определения ранжированных позиций ненативных элементов с помощью системы ранжирования
RU2692048C2 (ru) 2017-11-24 2019-06-19 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер для преобразования значения категориального фактора в его числовое представление и для создания разделяющего значения категориального фактора
RU2693324C2 (ru) 2017-11-24 2019-07-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер преобразования значения категориального фактора в его числовое представление
JP7343504B2 (ja) * 2017-12-21 2023-09-12 コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション ユーザ固有ユーザインターフェースの生成
EP3731108A4 (en) * 2018-03-16 2020-11-18 Rakuten, Inc. RESEARCH SYSTEM, RESEARCH PROCESS AND PROGRAM
CN110971659A (zh) * 2019-10-11 2020-04-07 贝壳技术有限公司 推荐消息的推送方法、装置及存储介质
KR102144370B1 (ko) * 2019-11-18 2020-08-13 주식회사 오투오 대화형 정보 검색장치
CN113127614A (zh) * 2020-01-16 2021-07-16 微软技术许可有限责任公司 基于隐式相关性反馈来提供qa训练数据以及训练qa模型

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030026527A (ko) * 2001-09-26 2003-04-03 엘지전자 주식회사 사용자 선호도 기반 멀티미디어 검색 시스템
WO2004066163A1 (en) 2003-01-24 2004-08-05 British Telecommunications Public Limited Company Searching apparatus and methods
US20050071328A1 (en) 2003-09-30 2005-03-31 Lawrence Stephen R. Personalization of web search

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272507B1 (en) * 1997-04-09 2001-08-07 Xerox Corporation System for ranking search results from a collection of documents using spreading activation techniques
US6493702B1 (en) * 1999-05-05 2002-12-10 Xerox Corporation System and method for searching and recommending documents in a collection using share bookmarks
US6321228B1 (en) * 1999-08-31 2001-11-20 Powercast Media, Inc. Internet search system for retrieving selected results from a previous search
US6546388B1 (en) * 2000-01-14 2003-04-08 International Business Machines Corporation Metadata search results ranking system
US6701362B1 (en) * 2000-02-23 2004-03-02 Purpleyogi.Com Inc. Method for creating user profiles
JP2002032401A (ja) * 2000-07-18 2002-01-31 Mitsubishi Electric Corp 文書検索方法及び文書検索装置及び文書検索方法をコンピュータに実現させるためのプログラムを記録したコンピュータで読取可能な記録媒体
US6792434B2 (en) * 2001-04-20 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Content-based visualization and user-modeling for interactive browsing and retrieval in multimedia databases
US20030018621A1 (en) * 2001-06-29 2003-01-23 Donald Steiner Distributed information search in a networked environment
US8117072B2 (en) * 2001-11-13 2012-02-14 International Business Machines Corporation Promoting strategic documents by bias ranking of search results on a web browser
US7814043B2 (en) * 2001-11-26 2010-10-12 Fujitsu Limited Content information analyzing method and apparatus
US7024404B1 (en) * 2002-05-28 2006-04-04 The State University Rutgers Retrieval and display of data objects using a cross-group ranking metric
CA2397424A1 (en) * 2002-08-09 2004-02-09 Mohammed Lamine Kherfi Content-based image retrieval using positive and negative examples
US20050120003A1 (en) * 2003-10-08 2005-06-02 Drury William J. Method for maintaining a record of searches and results
JP2005208943A (ja) * 2004-01-22 2005-08-04 Denso It Laboratory Inc サービス候補提供システム及びユーザ側通信装置並びにサービス候補提供サーバ
US7457823B2 (en) * 2004-05-02 2008-11-25 Markmonitor Inc. Methods and systems for analyzing data related to possible online fraud
US7257577B2 (en) * 2004-05-07 2007-08-14 International Business Machines Corporation System, method and service for ranking search results using a modular scoring system
JP2008511057A (ja) * 2004-08-19 2008-04-10 クラリア コーポレイション エンドユーザの情報要求に応答するための方法及び装置
US20060064411A1 (en) * 2004-09-22 2006-03-23 William Gross Search engine using user intent
US8095408B2 (en) * 2004-10-11 2012-01-10 Sharethis, Inc. System and method for facilitating network connectivity based on user characteristics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030026527A (ko) * 2001-09-26 2003-04-03 엘지전자 주식회사 사용자 선호도 기반 멀티미디어 검색 시스템
WO2004066163A1 (en) 2003-01-24 2004-08-05 British Telecommunications Public Limited Company Searching apparatus and methods
US20050071328A1 (en) 2003-09-30 2005-03-31 Lawrence Stephen R. Personalization of web search

Also Published As

Publication number Publication date
BRPI0708397A2 (pt) 2011-05-31
EP1997065A1 (en) 2008-12-03
RU2435212C2 (ru) 2011-11-27
RU2008135459A (ru) 2010-03-10
JP5247475B2 (ja) 2013-07-24
EP1997065A4 (en) 2011-04-13
CA2644440A1 (en) 2007-09-20
KR20080114708A (ko) 2008-12-31
WO2007106269A1 (en) 2007-09-20
US20070208730A1 (en) 2007-09-06
JP2009528619A (ja) 2009-08-06
MX2008011223A (es) 2008-11-04

Similar Documents

Publication Publication Date Title
KR101366408B1 (ko) 컴퓨터 실행 가능 컴포넌트를 포함하는 컴퓨터 구현된 시스템
US10942905B2 (en) Systems and methods for cleansing automated robotic traffic
Menczer Complementing search engines with online web mining agents
CA2603718C (en) Query revision using known highly-ranked queries
CA2490594C (en) Building and using subwebs for focused search
US20070266025A1 (en) Implicit tokenized result ranking
KR20060106642A (ko) 검색 엔진의 관련성을 향상시키기 위한 데이터 마이닝 기술
US20090193007A1 (en) Systems and methods for ranking search engine results
Costa et al. Learning temporal-dependent ranking models
JP5315726B2 (ja) 情報提供方法、情報提供装置、および情報提供プログラム
O'Brien et al. Modeling user behavior using a search-engine
Bhowmick et al. Ontology Based User Modeling for Personalized Information Access.
Khelghati Deep web content monitoring
Rashmi et al. Deep web crawler: exploring and re-ranking of web forms
Song et al. Examining personalization heuristics by topical analysis of query log
Hoeber et al. Automatic topic learning for personalized re-ordering of web search results
Bokhari et al. Retrieval effectiveness of news search engines: a theoretical framework
Sreeja et al. An effective forum crawler
Huang et al. A user behavior based study on search engine ranking
Zhuang ihits: Extending hits for personal interests profiling
Broccolo Query log based techniques to improve the performance of a web search engine
Pemmasani et al. Challenges in Web search engines
Chen et al. A web recommender system based on dynamic sampling of user information access behaviors
Sibuyi et al. Optimization and effectiveness of search engine results
WEB ACCUMULATIVE SEARCH ENGINE EFFECTIVENESS USING SUPPORTIVE WEB

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee