KR101700352B1

KR101700352B1 - 이력적 검색 결과들을 사용한 향상된 문서 분류 데이터 생성

Info

Publication number: KR101700352B1
Application number: KR1020117026619A
Authority: KR
Inventors: 빌게한 우이가르 오즈테킨; 페이-웬 앤디 치우
Original assignee: 구글 인코포레이티드
Priority date: 2009-04-08
Filing date: 2010-04-07
Publication date: 2017-02-13
Also published as: AU2010234452B2; CN102859516B; WO2010118162A1; US8185544B2; US20100262615A1; AU2010234452A1; US20120233178A1; US8719293B2; EP2417540A1; CA2757926A1; CN102859516A; KR20120022893A

Abstract

서버 시스템은 제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보 및 상기 제1 정보 아이템들의 분류 데이터에 각각 액세스한다. 처음에, 상기 제1 정보 아이템들은 분류되고 상기 제2 정보 아이템들은 분류되지 않는다. 상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 상기 서버 시스템은 상기 제2 정보 아이템들에 대한 분류 데이터를 생성하고 상기 생성된 분류 데이터를 서버 시스템에 저장한다. 클라이언트 디바이스들로부터의 서비스에 대한 요청들에 응답하여, 상기 서버 시스템은 상기 제2 정보 아이템들 및 상기 제2 정보 아이템들에 대해 생성된 상기 대응하는 분류 데이터를 사용하여 상기 클라이언트 디바이스들에게 커스터마이징된 서비스들을 제공한다.

Description

이력적 검색 결과들을 사용한 향상된 문서 분류 데이터 생성{GENERATING IMPROVED DOCUMENT CLASSIFICATION DATA USING HISTORICAL SEARCH RESULTS}

제시된 실시예들은 일반적으로 클라이언트-서버 환경에서 제공되는 온라인 서비스들에 관한 것으로, 특히, 정보를 분류하고, 분류된 정보를 사용하여 커스터마이징된(customized) 온라인 서비스들을 제공하는 시스템 및 방법에 관한 것이다.

구글과 같은 검색 엔진의 도움으로, 인터넷은 사람들이 정보를 수신하는 주요한 장소가 되어 왔다. 그러나, 특정 개인의 요구 및 검색 관심사에 가장 잘 맞는 정보를 찾고 제공하는 것은 검색 엔진에 대해 진행중인 해결 과제이다. 첫째, 상이한 개인들은 정보에 대해 확연히 상이한 선호도를 가지며, 개인의 검색 관심사를 정확히 식별하는 것은 쉽지 않다. 이 이슈는 사람의 관심사는 종종 동적이고 시간에 따라 변한다는 사실에 의해 더 복잡해 진다. 둘째, 인터넷 상의 많은 웹 페이지들은 분류되어 있지 않거나 잘못 분류되어 있다. 웹 페이지들에 의해 제공되는 정보를 프로파일(profile)하기 위해 필요한 분류 데이터가 없다면, 검색 결과에 더 관련된 웹 페이지들을 놓치면서 덜 관련된 웹 페이지들을 포함하기 때문에 검색 엔진의 서비스 품질은 악영향을 받는다.

몇몇 실시예들에서, 클라이언트 디바이스로부터 멀리 떨어진 서버 시스템에서, 서버 시스템은 제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보 및 상기 제1 정보 아이템들의 분류 데이터에 각각 액세스한다. 처음에, 상기 제1 정보 아이템들은 분류되고 상기 제2 정보 아이템들은 분류되지 않는다. 상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 상기 서버 시스템은 상기 제2 정보 아이템들에 대한 분류 데이터를 생성하고 상기 생성된 분류 데이터를 서버 시스템에 저장한다. 클라이언트 디바이스들로부터의 서비스에 대한 요청들에 응답하여, 상기 서버 시스템은 상기 제2 정보 아이템들 및 상기 제2 정보 아이템들에 대해 생성된 상기 대응하는 분류 데이터를 사용하여 상기 클라이언트 디바이스들에게 커스터마이징된 서비스들을 제공한다.

몇몇 실시예들에서, 클라이언트 디바이스로부터 멀리 떨어진 서버 시스템은 하나 이상의 프로세서들, 메모리, 및 하나 이상의 프로그램들을 포함한다. 상기 프로그램들은 상기 메모리에 저장되고 상기 프로세서들에 의해 실행되도록 구성된다. 상기 프로그램들은 제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보 및 상기 제1 정보 아이템들의 분류 데이터에 각각 액세스하기 위한 명령을 포함한다. 상기 제1 정보 아이템들은 처음에 분류되고 상기 제2 정보 아이템들은 처음에 분류되지 않는다. 상기 프로그램들은 또한 상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 상기 제2 정보 아이템들에 대한 분류 데이터를 생성하기 위한 명령; 상기 생성된 분류 데이터를 상기 서버 시스템에 저장하기 위한 명령; 및 상기 서버 시스템에 저장된 상기 대응하는 분류 데이터를 사용하여 복수의 클라이언트 디바이스들에게 상기 제2 정보 아이템들에 관련된 커스터마이징된 서비스들을 제공하기 위한 명령을 포함한다.

몇몇 실시예들에서, 컴퓨터 판독 가능 매체는 서버 시스템의 하나 이상의 프로세서들에 의해 실행될 때, 상기 서버 시스템으로 하여금 제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보 및 상기 제1 정보 아이템들의 분류 데이터에 각각 액세스하게 하는 명령들을 저장한다. 상기 제1 정보 아이템들은 처음에 분류되고 상기 제2 정보 아이템들은 처음에 분류되지 않는다.

상기 명령들은 상기 서버 시스템의 상기 하나 이상의 프로세서들에 의해 실행될 때, 또한 상기 서버 시스템으로 하여금 상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 상기 제2 정보 아이템들에 대한 분류 데이터를 생성하고, 상기 생성된 분류 데이터를 상기 서버 시스템에 저장하고, 상기 서버 시스템에 저장된 상기 대응하는 분류 데이터를 사용하여 복수의 클라이언트 디바이스들에게 상기 제2 정보 아이템들에 관련된 커스터마이징된 서비스들을 제공하게 한다.

도 1은 본 발명의 몇몇 실시예들에 따른 정보 서버 시스템을 포함하는 분산된 클라이언트-서버 시스템의 블록도이다.
도 2A는 몇몇 실시예들에 따른 한 세트의 사용자들에 대한 이력적 쿼리(query) 정보를 저장하는 쿼리 로그(log) 데이터베이스에 의해 사용되는 데이터 구조의 블록도이다.
도 2B는 몇몇 실시예들에 따라 한 세트의 쿼리 프로파일들에 대한 정보를 저장하기 위한 쿼리 프로파일 데이터베이스에 의해 사용되는 데이터 구조의 블록도이다.
도 2C는 몇몇 실시예들에 따른 한 세트의 정보 아이템들에 대한 정보를 저장하기 위해 정보 분류 데이터베이스 및 정보 분류 시드(seed) 데이터베이스에 의해 사용되는 데이터 구조의 블록도이다.
도 2D는 몇몇 실시예들에 따라 한 세트의 사용자 프로파일들에 대한 정보를 저장하기 위해 사용자 프로파일 데이터베이스에 의해 사용되는 데이터 구조의 블록도이다.
도 3A는 몇몇 실시예들에 따른 쿼리 프로파일 데이터베이스를 구축하기 위한 예시적인 프로세스를 도시한 순서도이다.
도 3B는 몇몇 실시예들에 따라 정보 분류 데이터베이스를 구축하기 위한 예시적인 프로세스를 도시한 순서도이다.
도 3C는 몇몇 실시예들에 따라 사용자 프로파일 데이터베이스를 구축하기 위한 예시적인 프로세스를 도시한 순서도이다.
도 3D는 몇몇 실시예들에 따라 다른 정보 아이템들의 분류 데이터를 사용하여 정보 아이템을 분류하는 예를 도시한 블록도이다.
도 4는 몇몇 실시예들에 따라 사용자 프로파일 및 정보 분류 데이터를 사용하여 쿼리를 프로세스하고 대응하는 쿼리 결과들을 정렬(ordering)하는 예시적인 프로세스를 도시한 블록도이다.
도 5A는 몇몇 실시예들에 따라 분류 데이터를 사용하여 분류 데이터를 생성하고 커스터마이징된 서비스들을 제공하는 예시적인 프로세스를 도시한 순서도이다.
도 5B는 몇몇 실시예들에 따라 사용자의 사용자 프로파일 및 분류 데이터를 사용하여 원격 클라이언트 디바이스의 사용자를 위한 개인화된 검색 결과들을 제공하는 예시적인 프로세스를 도시한 순서도이다.
도 6은 몇몇 실시예들에 따른 예시적인 클라이언트 디바이스의 블록도이다.
도 7은 몇몇 실시예들에 따른 예시적인 서버 시스템의 블록도이다.

첨부한 도면에 예시가 도시된 실시예들에 대해 상세하게 언급할 것이다. 본 발명은 실시예들과 함께 설명될 것이나, 본 발명이 이러한 특정 실시예들에 제한되지 않는다는 것은 이해될 것이다. 반면, 본 발명은 첨부된 청구항들의 사상 및 범위 내에 있는 대안들, 변형들 및 등가물들을 포함한다. 많은 특정 세부사항들이 여기 제시된 발명의 요지의 완전한 이해를 제공하기 위해 설명된다. 그러나, 발명의 요지는 이 특정한 사항들 없이 실행될 수 있다는 것이 당업자에게 명백할 것이다. 다른 예들에서, 잘 알려진 방법들, 프로시져들, 구성요소들 및 회로들은 실시예들의 양상들을 불필요하게 불명료하게 하지 않기 위해 자세히 설명되지 않았다.

도 1은 본 발명의 몇몇 실시예들에 따른 정보 서버 시스템(130)을 포함하는 분산된 클라이언트-서버 컴퓨팅 시스템(100)의 블록도이다. 정보 서버 시스템(130)은 하나 이상의 통신 네트워크들(120)을 통해 복수의 클라이언트(104)들 및 웹사이트들(102)에 연결된다.

웹사이트(102)는 엔터넷에서 도메인 네임에 관련된 웹페이지들(114)의 집합을 포함할 수 있다. 각각의 웹사이트(또는 웹 페이지)는 인터넷 상의 웹사이트의 위치를 고유하게 식별하는 컨텐츠 위치 식별자, 예를 들어 URL(universal resource locator)을 갖는다.

클라이언트(104)(종종 "클라이언트 시스템", 또는 "클라이언트 디바이스" 또는 "클라이언트 컴퓨터"라고 불림)는 임의의 컴퓨터 또는 유사한 디바이스일 수 있으며, 이를 통해 클라이언트(104)의 사용자가 정보 서버 시스템(130)으로 서비스 요청들을 제출하고 정보 서버 시스템(130)으로부터 검색 결과들 또는 다른 서비스들을 수신한다. 예들은 제한 없이 데스크탑 컴퓨터들, 랩탑 컴퓨터들, 테블릿 컴퓨터들, 모바일 폰들과 같은 모바일 디바이스들, PDA(personal digital assistant)들, 셋탑 박스들, 또는 이상의 임의의 결함을 포함한다. 각각의 클라이언트(104)는 정보 서버 시스템(130)으로 요청들을 제출하기 위한 적어도 하나의 클라이언트 어플리케이션(106)을 포함할 수 있다. 예를 들어, 클라이언트 어플리케이션(106)은, 사용자가 웹사이트(102)에서 정보(예를 들어, 웹 페이지들 및 웹 서비스들)를 검색하고, 브라우징(browse)하고, 그리고/또는 사용하게 하는 웹 브라우저 또는 다른 타임의 어플리케이션일 수 있다. 몇몇 실시예들에서, 클라이언트(104)는 하나 이상의 클라이언트 어시스턴트(assistant)들(108)을 포함한다. 클라이언트 어시스턴트(108)는 클라이언트 어플리케이션(106) 및/또는 다른 어플리케이션들에 관해서 사용자의 활동들을 돕는 것과 관련된 하나 이상의 태스크(task)를 수행하는 소프트웨어 어플리케이션일 수 있다. 예를 들어, 클라이언트 어시스턴트(108)는 웹사이트(102)에 의해 호스트(host)된 정보(예를 들어, 파일들)를 브라우징하고, 정보 서버 시스템(130)으로부터 수신된 정보(예를 들어, 검색 결과들)를 프로세싱하고 검색 결과에 대한 사용자 활동을 모니터링하여 클라이언트(104)의 사용자를 도울 수 있다. 몇몇 실시예들에서, 클라이언트 어시스턴트(108)는 하나 이상의 웹페이지들(예를 들어, 검색 결과 웹 페이지) 또는 정보 서버 시스템(130)으로부터 다운로드된 다른 문서들에 포함된다. 몇몇 실시예들에서, 클라이언트 어시스턴트(108)는 클라이언트 어플리케이션(106)(예를 들어, 웹 브라우저의 플러그-인)의 일부이다.

통신 네트워크(들)(120)는 인트라넷, 익스트라넷, 인터넷 또는 그런 네트워크들의 결합과 같은 유선 또는 무선 LAN(local area network) 및/또는 WAN(wide area network)일 수 있다. 몇몇 실시예들에서, 통신 네트워크(120)는 상이한 네트워크들 사이에서 정보를 전달하기 위해 HTTP(HyperText Transport Protocol) 및 TCP/IP(Transmission Control Protocol/Internet Protocol)을 사용한다. HTTP는 클라이언트 디바이스가 통신 네트워크(120)를 통해 인터넷 상의 사용가능한 다양한 정보 아이템들에 액세스하는 것을 허용한다. 그러나, 본 발명의 다양한 실시예들은 임의의 특정 프로토콜의 사용에 제한되지 않는다. 이 명세서 전체에 사용되는 "정보 아이템"이라는 용어는 컨텐츠 위치 식별자(예를 들어, URL)를 통해 액세스할 수 있는 임의의 정보 또는 서비스를 지칭하고 예를 들어, 웹 페이지, 복수의 웹 페이지를 포함하는 웹사이트, 문서(예를 들어, 그림, 이미지, 도면, 책, XML 문서, 워드 프로세싱 문서, 스프레드시트 문서, 프리젠테이션 문서 또는 인덱스될 수 있고 검색 엔진을 사용하여 검색에 사용될 수 있는 임의의 다른 문서), 비디오/오디오 스트림, 데이터베이스 또는 데이터베이스 기록, 계산 객체, 검색 엔진, 또는 다른 온라인 정보 서비스일 수 있다.

몇몇 실시예들에서, 정보 서버 시스템(130)은 프론트 엔드(front end) 서버(122), 쿼리 프로세서(124), 검색 엔진(126), 프로파일 관리자(128), 정보 분류기(136), 쿼리 로그 데이터베이스(140), 사용자 프로파일 데이터베이스(132), 정보 분류 시드 데이터베이스(138), 및 정보 분류 데이터베이스(134)를 포함한다. 몇몇 실시예에서, 정보 서버 시스템(130)은 또한 쿼리 프로파일 데이터베이스(142)를 포함하는 한편, 몇몇 다른 실시예들에서는 쿼리 프로파일들이 대응하는 쿼리들의 검색 결과들에 걸쳐 분류 정보를 "스프레드(spread)"하도록 사용된 후 유지되지 않기 때문에 이러한 데이터베이스(142)는 필요하지 않다. 정보 서버 시스템(130)은 클라이언트들(104)로부터 쿼리들을 수신하고, 검색 결과들을 생성하기 위해 쿼리들을 프로세스하고, 요청 클라이언트들(104)에게 검색 결과들을 리턴한다. (요청하는 클라이언트(104), 또는 클라이언트(104)의 각각의 요청자에 의해 전송된) 각각의 쿼리에 대한 검색 결과들은 요청하는 클라이언트(104)에게 리턴될 검색 결과들의 정렬된 세트를 생성하기 위해 정보 분류 데이터베이스(134)로부터의 정보 분류 데이터 및 사용자 프로파일 데이터베이스(132)로부터 획득된 쿼리 요청자의 사용자 프로파일에 적어도 부분적으로 기반하여 추가로 프로세싱된다.

프론트 엔드 서버(122)는 클라이언트(104)로부터 쿼리를 수신하도록 구성된다. 쿼리는 한 세트의 검색 결과들을 생성하기 위해 검색 엔진(126) 및 쿼리 프로세서(124)에 의해 프로세스된다. 쿼리 프로세서(124)는 검색 결과들의 디스플레이 순서를 결정하기 위해 정보 분류 데이터베이스(124)에 저장된 분류 데이터 및 사용자 프로파일 데이터베이스(132)에 저장된 사용자 프로파일 정보를 사용하도록 구성된다. 선택적으로, 쿼리 프로세서(124)는 검색 엔지(126)의 일부로서 구현되고; 대안적으로, 쿼리 프로세서(124)는 별개의 서버 또는 서버들의 세트로서 구현된다.

정보 서버 시스템(130)으로부터 검색 결과들을 수신한 후, 클라이언트(104)는 사용자에게 검색 결과들을 디스플레이한다. 몇몇 실시예들에서, 클라이언트 어시스턴트(108)는 검색 결과들에 대한 사용자의 활동들을 모니터하고 대응하는 검색 결과 사용 데이터를 생성한다. 검색 결과 사용 데이터는 다음 중 하나 이상을 포함할 수 있다: 하나 이상의 검색 결과 중 사용자 선택(들)("클릭 데이터"라고도 알려짐), 선택 기간(검색 결과들에서 URL 링크의 사용자 선택과 사용자의 검색 결과 문서 종료 또는 검색 결과에서 다른 URL 링크의 선택 사이의 시간의 양), 및 검색 결과들에 관한 포인터 활동. 몇몇 실시예들에서, 검색 결과 사용 데이터는 정보 서버 시스템(130)으로 전송되고, 사용자 프로파일 데이터베이스(132) 및 정보 분류 데이터베이스(134)를 업데이트하기 위해 임프레션(impression) 데이터와 함께 쿼리 로그 데이터베이스(140)에 저장된다. 이력적 검색 쿼리에 대한 임프레션 데이터는 일반적으로 각각의 나열된 검색 결과에 대한 정보 리트리브 스코어와 같은 하나 이상의 스코어들 및 검색 쿼리에 대한 검색 결과들의 순서 또는 동등하게 검색 쿼리에 대한 검색 결과들의 세트의 각각의 검색의 위치를 지시하는 위치 데이터를 포함한다.

쿼리 로그 데이터베이스(140)는 각각의 쿼리에 대해 쿼리의 쿼리 용어들(206, 도 2A), 검색 결과들(210-1, 도 2A), 임프레션 데이터(예를 들어, 검색 결과들의 하나 이상의 정보 리트리브(information retrieval, IR) 스코어, 및 (디스플레이된 검색 결과들의 순서를 지시하는) 검색 결과들의 위치 데이터), 및 검색 결과들의 클릭 데이터(검색 결과들의 사용자 선택)를 포함하는 이력 쿼리 정보를 저장한다. 몇몇 실시예들에서, 각각의 쿼리에 대해 쿼리 로그 데이터베이스(140)에 저장된 이력적 쿼리 정보는 또한 검색 결과들에 대한 사용자 네비게이션 통계 데이터를 포함한다. 선택적으로, 각각의 쿼리에 대한 이력적 쿼리 정보는 검색 요청자의 위치 정보(예를 들어, 시, 주, 국가 또는 지역) 및 쿼리의 언어와 같은 다른 정보를 더 포함한다. 쿼리 로그 데이터베이스(140)에 정보가 저장되는 쿼리들은 대응하는 검색 엔진(126)의 모든 사용자들과 같은 사용자들의 커뮤니티로부터의 쿼리들이다. 몇몇 실시예들에서, 시스템은 복수의 쿼리 로그 데이터베이스들을 포함하거나, 쿼리 로그 데이터베이스(140)는 분할되는데, 각각의 쿼리 로그 데이터베이스 또는 분할은 특정 언어(예를 들어, 영어, 일본어, 중국어, 프랑스어, 독일어, 등)로의 쿼리들을 제출하는 모든 사용자들, 특정 국가 또는 다른 관할로부터 또는 IP 주소의 특정 영역으로부터 쿼리들을 제출한 모든 사용자들, 이런 기준의 임의의 적절한 결합과 같은 사용자들 각각의 커뮤니티로부터 수신된 쿼리들에 대응하는 레코드들을 저장한다.

사용자 프로파일 데이터베이스(132)는 복수의 사용자 프로파일들을 저장하고, 각각의 사용자 프로파일은 각각의 사용자에 대응한다. 몇몇 실시예들에서, 사용자 프로파일은 복수의 서브-프로파일들을 포함하고, 각각은 미리 정의된 기준에 따라 사용자의 각각의 양상을 분류한다. 몇몇 실시예들에서, 사용자 프로파일은 사용자들의 그룹(예를 들어, 특정 클라이언트(104)를 공유하는 사용자들, 또는 특정 웹사이트 또는 웹 페이지로부터 검색 엔진을 액세스하는 모든 사용자들)에 대응한다. 사용자 프로파일 데이터베이스(132)는 적어도 쿼리 프로세서(124) 및 프로파일 관리자(128)에 액세스할 수 있다. 프로파일 관리자(128)는 정보 서버 시스템(130)의 사용자들에 대한 적어도 몇몇 사용자 프로파일들을 생성하고 유지한다. 아래에서 더 자세히 설명되는 바와 같이, 프로파일 관리자(128)는 사용자의 검색 관심사를 결정하기 위해 쿼리 로그 데이터베이스(140)에 저장된 사용자의 검색 이력을 사용한다.

정보 분류 데이터베이스(134)는 인터넷 상의 다양한 정보 아이템들의 분류 데이터를 저장하고 적어도 쿼리 프로세서(124) 및 정보 분류기(136)로 액세스할 수 있다. 아래에서 도 5A와 함께 설명될 바와 같이, 정보 분류기(136)는 정보 아이템들을 분류하거나 카테고리화하고 분류 데이터를 정보 분류 데이터베이스(134)에 저장하도록 구성된다. 몇몇 실시예들에서, 정보 분류기(136)는 쿼리 로그 데이터베이스(140)에 저장된 이력적 쿼리 정보(예를 들어, 임프레션 데이터 및 결과 사용 데이터) 및 정보 분류 시드 데이터베이스(138)에 저장된 몇몇 분류된 정보 아이템들의 분류 시드 데이터를 이용하여 아직 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성한다.

정보 분류기(136)는 쿼리 로그 데이터베이스(140)의 이력적 쿼리 정보에 의존하여 정보 분류 데이터베이스(134)를 구축하고 유지한다. 아래에서 도 3C를 참조하여 설명될 바와 같이, 정보 분류기(136)는 또한 이력적 쿼리 정보 및 정보 분류 데이터베이스(134)의 분류 데이터를 사용하여 사용자 프로파일 정보를 생성하도록 구성된다.

도 2A는 몇몇 실시예들에 따라 한 세트의 사용자들에 관한 이력적 쿼리 정보를 저장하기 위한 데이터 구조(200)를 도시한다. 데이터 구조(200)는 복수의 쿼리 레코드들(202-1 ~ 202-N)을 포함하는데, 각각은 정보 서버 시스템(130)이 쿼리-관련 정보를 유지하는, 각각의 위치로부터 각각의 시각에 각각의 사용자에 의해 제출된 쿼리에 대응한다. 몇몇 실시예들에서, 쿼리 레코드 202는 다음 중 하나 이상을 포함할 수 있다: (레코드 202에 대응하는 쿼리를 제출한 사용자를 식별하는) 사용자 ID 및 세션 ID(204); 쿼리의 쿼리 용어들(206); 및 쿼리에 대한 검색 결과들을 나타내는 복수의 URL ID들(예를 들어, 210-1...210-Q)을 포함하는 쿼리 이력 정보(208), 및 검색 결과들의 URL ID들에 대한 추가적인 정보(212-1...212-Q). 몇몇 실시예들에서, 쿼리가 훨씬 더 많은 수의 검색 결과를 생성할 수 있을지라도 각각의 쿼리에 대한 쿼리 레코드(202)는 단지 상위 Q(예를 들어, 40 또는 50)개의 검색 결과들에 관한 정보만 저장한다.

몇몇 실시예들에서, 쿼리 이력 정보의 각각의 URL ID에 대한 추가적인 정보는 임프레션 데이터(예를 들어, 쿼리에 대한 URL의 관련성의 척도인 URL의 IR(information retrieval: 정보 리트리브) 스코어) 및 검색 결과들에서 URL의 위치; URL의 네비게이션 레이트(URL의 사용자 선택 대 쿼리의 제출에 선행하는 주 또는 달과 같은 특정 시간 기간 동안 동일한 쿼리에 대한 검색 결과들에서 모든 URL들의 사용자 선택의 비율); 및 URL이 사용자에 의해 모든 URL들 중에서 선택되었는지 여부를 지시하는 클릭 데이터를 포함한다. URL의 네비게이션 레이트는 동일한 쿼리를 제출한 사용자들 중에서 다른 URL들에 대한 URL의 인기도를 나타낸다. 선택적으로, URL과 관련된 추가적인 정보는 다른 웹 페이지들, 이미지들, 비디오들, 책들 등과 같은 URL을 포함하는 정보 아이템들을 식별한다. 몇몇 실시예들에서, 쿼리 레코드(202)는 또한 쿼리가 제출된 국가/지역 및 쿼리의 언어와 같은 쿼리의 지역적 및 인구학적 정보를 포함한다. 예를 들어, 상이한 국가들부터 또는 상이한 시간에 제출된 쿼리 용어들의 동일한 세트에 대해서 검색 결과가 다를 수 있다. 아래에서 설명될 바와 같이, 쿼리 로그 데이터베이스의 정보는 많은 수의 URL들에 대해 정확한 분류 데이터를 생성하도록 사용될 수 있다.

사용자 ID(204)는 쿼리를 제출한 사용자(종종, 클라이언트)를 식별하기 위한 고유한 식별자이다. 많은 실시예들에서, 시스템의 사용자의 프라이버시를 보호하기 위해, 사용자 ID(204)는 고유하게 사용자 또는 클라이언트를 식별하지만 사용자의 이름 또는 다른 식별 정보를 식별하는데 사용될 수는 없다. 도 2D에 관해 아래에서 논의되는 사용자 프로파일 레코드(242)의 사용자 ID(244)에도 동일하게 적용된다. 몇몇 실시예들에서, 사용자가 처음으로 정보 서버 시스템에 로그인하거나 이전 세션을 종료한 후 시스템에 다시 로그인할 때 네트워크 통신 세션이 클라이언트(104)와 정보 서버 시스템(130) 사이에 설정된다. 둘 모두의 경우에, 고유한 세션 ID(204)가 세션에 대해 생성되고 이는 쿼리 레코드(202)의 일부가 된다. 쿼리 용어들(206)은 사용자에 의해 원래 제출된 용어들이거나 서버 시스템에 의해 채택된 포맷으로 정규화될 수 있다.

각각의 쿼리에 대해, 정보 서버 시스템(130)은 쿼리에 대응하는 한 세트의 검색 결과를 식별한다. 검색 결과는 일반적으로 URL(또는 IP 주소), URL에 의해 식별된 웹 페이지로부터의 텍스트 단편, 및 다른 보조 아이템들로 구성된다. 한 세트의 검색 결과들은 쿼리에 대한 결과들 각각의 관련성에 따라 정렬되어 더 관련된 결과들이 덜 관련된 결과들에 앞서 디스플레이된다. 예를 들어, 페이지당 10개 이내의 결과들을 디스플레이한다는 제한이 있으면 세트의 45 개의 검색 결과들은 5 개의 결과 페이지들로 나눠진다. 첫 번째 결과에 디스플레이된 결과들은 두 번째 페이지의 결과들보다 쿼리에 더 관련 있는 것으로 여겨지고 따라서 첫 번째로 디스플레이된다. 몇몇 실시예들에서, 디스플레이된 검색 결과 페이지는 또한 검색 결과들의 임프레션으로 불린다. 하나의 결과 페이지 또는 검색 결과들의 하나의 임프레션 내에서 브라우저 윈도우의 상단 또는 상단 근처 위치가 더 관련 있는 결과들을 위해 예약되는데, 왜냐하면 상단이 주로 윈도우의 다른 위치보다 더 많은 주목을 받기 때문이다.

클라이언트(104)에서, 클라이언트 어시스턴트(108)는 사용자에 의해 방문된 임프레션들과 같이 디스플레이된 검색 결과들에 대한 사용자의 활동들, (예를 들어, 검색 결과들 위의 사용자의 커서의 위치를 추적함에 의한) 사용자가 상이한 검색 결과들에서 쓰는 시간의 양, 및 사용자에 의해 클릭된 URL 링크들을 모니터링한다. 이러한 사용자 상호작용 정보 및 검색 결과의 사용을 특징짓는 다른 데이터는 정보 서버 시스템(130)으로 전송되고 대응하는 URL ID(210)와 함께 (쿼리 이력 정보(208)의)데이터 구조(200)에 저장된다.

도 2B는 몇몇 실시예들에 따른 쿼리 프로파일들을 저장하기 위한 예시적인 데이터 구조(220)의 블록도를 설명한다. 도 2A의 데이터 구조(200)와 유사하게, 데이터 구조(220)는 복수의 쿼리 프로파일 레코드들(214-1 내지 214-P)을 포함하고, 레코드들 각각은 사용자 제출된 쿼리에 대응한다. 동일한 쿼리가 많은 사용자들에 의해 제출될 때, 단일 쿼리 프로파일(214)은 쿼리에 대한 프로파일 정보를 저장한다. 몇몇 실시예들에서, 각각의 쿼리 프로파일 레코드(214)는 특정 쿼리를 식별하는 쿼리 ID(215), 쿼리의 대응하는 쿼리 용어들의 세트(216), 및 쿼리를 분류하기 위한 카테고리 리스트(217)를 포함한다. 선택적으로, 쿼리 프로파일(214)에는 전체 쿼리 가중치(weight)(221)가 할당될 수 있는데, 이는 카테고리 리스트(217)의 카테고리들의 가중치들의 합뿐만 아니라 하나 이상의 추가적인 요소들 또는 쿼리 프로파일이 검색 결과들의 프로파일들과 얼마나 신뢰가능하게 또는 얼마나 깊이 관련되었는지를 지시하는 메트릭(metric)들을 반영한다. 이것은 아래에서 더 자세히 논의된다.

몇몇 실시예들에서, 카테고리 리스트(217)는 (카테고리 ID(218), 가중치(219))의 하나 이상의 쌍을 포함한다. 카테고리 ID(218)는 뉴스, 스포츠, 여행, 금융 등과 같은 특정 타입의 정보에 대응할 수 있고, 가중치(219)는, 쿼리와 대응하는 타입의 정보 사이의 관련성을 측정하는 숫자이다. 예를 들어, 쿼리 용어 "골프"는 스포츠 및 스포츠 물품의 카테고리들에 대해서는 비교적 높은 가중치들을 가질 수 있으나 정보 기술(information technology, IT)의 카테고리에 대해서는 낮은 가중치를 가질 수 있다. 몇몇 실시예들에서, 카테고리 ID(218)는 "개념 클러스터"에 대응하는데, 이는 예를 들어 카테고리 이름으로 쉽게 라벨링될 수 있거나 또는 라벨링될 수 없는 클러스터링 프로세스에 의해 생성될 수 있다. 도 3A와 함께 아래에서 더 설명되는 바와 같이, 정보 분류기(136)는 쿼리 로그 데이터베이스(140)의 이력적 쿼리 정보로부터 쿼리 프로파일들을 그리고 정보 분류 시드 데이터베이스(138)로부터 분류 데이터를 생성한다.

아래에서 설명되는 몇몇 실시예들에서, 개개의 쿼리 프로파일들(214)이 생성되고, 사용되고, 그 다음에 데이터베이스 또는 다른 집합적 데이터 구조(220)에 쿼리 프로파일들을 저장하지 않고 처리된다.

도 2C는 몇몇 실시예들에 따른 한 세트의 정보 아이템들의 분류 데이터를 저장하기 위한 예시적인 데이터 구조(240)의 블록도이다. 이 데이터 구조(240)의 일례는 정보 분류 시드 데이터베이스(138)에 대한 분류 데이터를 저장하는데 사용될 수 있고, 이 데이터 구조(240)의 다른 예는 정보 분류 데이터베이스(134)에 대한 분류 데이터를 저장하는데 사용될 수 있다.

데이터 구조(240)는 복수의 분류 데이터 레코드들 222-1 내지 222-N(여기서 URL 프로파일 레코드들 또는 문서 프로파일 레코드들이라고도 불림)을 포함하며, 이들 각각은 인터넷(예를 들어, 웹 페이지 또는 웹사이트) 상의 정보 아이템에 대응한다. 몇몇 실시예들에서, 각각의 분류 데이터 레코드(222)는 URL ID(224)와 같은 정보 아이템 로케이터, 하나 이상의 속성들(예를 들어, URL 텍스트, 앵커(anchor) 태그, 페이지 랭크 등), 정보 아이템을 분류하기 위한 카테고리 리스트(228), 및 선택적으로 정보 아이템을 분류하기 위한 다른 프로파일들(230)을 포함한다. 카테고리 리스트(228)는 (카테고리 ID(228), 가중치(229)의 하나 이상의 쌍들을 포함한다. 도 3B와 관련하여 아래에서 더 설명되는 정보 분류기(136)는 쿼리 로그 데이터베이스(140)로부터의 이력적 쿼리 정보 및 쿼리 프로파일 데이터베이스(142)로부터의 쿼리 프로파일을 사용하여 정보 아이템들에 대한 분류 데이터를 생성한다.

도 2D는 몇몇 실시예들에 따른 한 세트의 사용자들에 대한 사용자 프로파일들을 저장하기 위한 예시적인 데이터 구조(260)의 블록도이다. 데이터 구조(260)는 복수의 사용자 프로파일 레코드들(242-1 내지 242-P)을 포함하며, 이들의 각각은 정보 서버 시스템(130)의 특정 사용자(또는 아래에서 논의되는 바와 같이, 사용자들의 그룹)에 대응한다. 몇몇 실시예들에서, 각각의 사용자 프로파일 레코드(242)는 사용자 ID(244), 및 사용자의 검색 관심사들을 나타내는 하나 이상의 (카테고리 ID(249), 가중치(250)) 쌍들을 포함하는 카테고리 리스트(248)를 포함한다. 선택적으로, 사용자 프로파일 레코드(242)는 하나 이상의 습관 선호도들(264)(예를 들어, 좋아하는 토픽들, 검색 결과들의 선호하는 순서)을 포함하는데, 이들은 (예를 들어, 이러한 목적을 위해 구성된 웹 폼을 사용하여) 사용자에 의해 수동으로 지정될 수 있다. 추가로, 사용자 프로파일 레코드(242)는 상이한 관점에서 사용자의 검색 관심사를 분류한 다른 타입의 사용자 프로파일들을 선택적으로 포함할 수 있다. 이러한 사용자 프로파일들은 프로파일 관리자(128)에 의해 생성되어 필요할 때 카테고리 리스트(248)를 보충하거나 대체할 수 있다.

하나의 웹 페이지 또는 쿼리 또는 사용자의 카테고리 리스트는 다른 것들의 카테고리 리스트와 다를 수 있다는 점에 주목하라. 예를 들어, 하나의 웹 페이지는 스포츠의 카테고리 및 대응하는 가중치를 가질 수 있는 반면, 다른 웹 페이지는 스포츠와 전혀 관련이 없고 따라서 각각의 카테고리 리스트에서 완전히 다른 세트의 카테고리들을 가질 수 있다. 몇몇 실시예들에서, 상이한 웹 페이지들, 쿼리들 및 사용자들의 분류 데이터는 표준화되어 상이한 엔트리들의 카테고리 리스트들에서 나타나는 동일한 카테고리에 대해 그들 각각의 가중치들은 비슷하다. 따라서, 제1 사용자의 프로파일이 제2 사용자의 프로파일보다 각각의 카테고리에 대해 더 높은 가중치를 가질 때, 이는 각각의 카테고리에서 제2 사용자보다 제1 사용자에 의한 더 높은 레벨의 관심들을 지시한다.

일반적으로, 웹사이트 또는 웹 페이지와 같은 정보 아이템 또는 사용자가 복수의 프로파일들(230, 252) 및/또는 카테고리 리스트들(228, 248)에 의해 분류되는 것이 가능하다. 상이한 프로파일들 및 카테고리 리스트들은 동일한 주제를 다른 관점에서 특징지을 수 있고, 따라서 상이한 용도를 갖는다. 단순함과 설명을 위해, 본 발명의 실시예들은 정보 아이템이 URL에 의해 고유하게 식별되는 웹 페이지에 대응한다고 가정한다. 명세서 전체에서, "분류 데이터", "프로파일", "카테고리 리스트", "클러스터" 등과 같은 용어들은 상호 교환적으로 사용되고, 그들 각각은 수학적으로 희소(sparse) 벡터로 표현된다. 웹 페이지의 분류는 웹 페이지에 대한 카테고리 리스트를 생성하는 것을 의미한다. 그러나, 배경기술 섹션에서 언급된 바와 같이, 많은 웹 페이지들은 분류되지 않거나 잘못 분류된다. 따라서, 발명의 일 양상은 분류되지 않은 웹 페이지들 또는 웹사이트들에 대해 정확한 분류 데이터를 생성하기 위해 분류된 웹 페이지들(예를 들어, 정보 분류 시드 데이터베이스(138)에 저장된 데이터)의 분류 데이터를 분류되지 않는 웹 페이지들 또는 웹사이트들로 "스프레드(spread)"하는 방법이다. 분류 데이터를 스프레드하는 이 프로세스는 분류되지 않은 웹 페이지들의 컨텐츠의 연역적 지식을 요구하지 않으며, 따라서 계산적으로 효율적이다.

몇몇 실시예들에서, 분류된 웹 페이지들로부터 분류되지 않은 웹 페이지들로 분류 데이터를 스프레딩하는 프로세스는 두 단계들: (ⅰ) 분류된 웹 페이지들로부터의 분류 데이터를 분류된 웹 페이지 및 분류되지 않은 웹 페이지 모두와 관련된 쿼리들에 스프레딩하는 단계; 및 (ⅱ) 쿼리들로부터 분류되지 않은 웹 페이지들로 분류 데이터를 스프레딩하는 단계를 포함한다. 용어 "스프레딩"은 분류 데이터 제공자들, 즉, 초기에 분류된 정보 아이템들의 관점에서 프로세스를 설명함을 주목하라. 그러나, 분류 데이터 수신자, 즉, 초기에 분류되지 않은 정보 아이템들의 관점에서, 프로세스는 두 단계의 애그리게이팅 동작: (ⅰ) 동일한 쿼리에 대한 상이한 분류된 웹 페이지들로부터의 분류 데이터의 가중된 기여(contribution)들을 쿼리의 분류 데이터로서 애그리게이팅하는 단계, (ⅱ) 동일한 분류되지 않은 웹 페이지에 대한 상이한 쿼리들로부터 분류 데이터의 가중된 기여들을 웹 페이지의 분류 데이터로서 애그리게이팅하는 단계이다. 도 3A 및 3B는 두 단계 프로세스를 더 자세하게 설명하는 순서도이다.

특히, 도 3A는 몇몇 실시예들에 따라 쿼리 프로파일 데이터베이스(142)를 구축하기 위한 예시적인 방법(300)을 설명하는 순서도이다. 방법은 시간 기간(예를 들어, 지난 6 개월) 동안 복수의 사용자들에 의해 제출된 한 세트의 쿼리들을 프로파일하기 위해 쿼리 로그 데이터베이스(140)로부터의 이력적 쿼리 정보 및 시드 데이터베이스(138)로부터의 분류 데이터를 사용한다. 여기 설명된 각각의 방법들은 컴퓨터 판독 가능 저장 매체에 저장되고 하나 이상의 서버들 또는 클라이언트들의 하나 이상의 프로세서들에 의해 실행되는 명령들에 의해 지배될 수 있다. 더욱이, 도 3A-3C에 도시된 각각의 동작은 컴퓨터 메모리 또는 컴퓨터 판독가능 저장 매체에 저장된 명령들에 대응할 수 있다.

몇몇 실시예들에서, 이력적 쿼리 정보는 쿼리 용어들, 쿼리 용어들에 대응하는 검색 결과들, 검색 결과들에 대한 임프레션 데이터(예를 들어, 스코어들, 위치 데이터), 및 (클릭 데이터와 같은) 검색 결과들과의 사용자 상호작용을 추적한 정보를 포함한다. 분류 시드 데이터는 복수의 희소 벡터들을 포함하며, 이들 각각은 특정 웹 페이지(또는 웹 사이트)의 클러스터링 정보를 제공한다. 이러한 희소 벡터들은 다양한 주제들, 토픽들 또는 개념 클러스터들에 대한 웹 페이지의 관련성의 초기 추정치이다. 관련 분야에서 알려진 많은 방식들(예를 들어, 웹 페이지의 컨텐츠, 핵심 용어들, 및/또는 링크들의 분석)이 이러한 희소 벡터들을 생성하기 위해 사용될 수 있다. 초기 추정치로서, 이러한 희소 벡터들은 완전히 정확하거나 완벽하지 않을 수 있다. 아래에서 설명될 바와 같이, 분류 데이터를 생성하는 두-단계 프로세스는 몇몇 실시예들에서 반복 프로세스일 수 있다. 분류 데이터의 반복 스프레딩은 분류되지 않은 웹 페이지들에 대해 분류 데이터를 생성할 수 있을 뿐만 아니라 시드 데이터로서 데이터가 사용되는 초기에 분류된 웹 페이지들을 포함하여 이전에 분류된 웹 페이지들에 대한 분류 데이터를 업데이트할 수 있다.

한 세트의 URL들에 대한 분류 데이터를 생성하는데 사용되는 쿼리 로그 데이터베이스(140)로부터의 이력적 쿼리 정보는 사용자들의 커뮤니티로부터의 이력적 쿼리들에 대응한다. 사용자들의 커뮤니티는 쿼리 로그 데이터베이스(140)와 관련된 검색 엔진의 모든 사용자들일 수 있거나 특정 언어로 쿼리들을 제출한 사용자들, 특정 관할구 또는 지역적 영역으로부터의 사용자들, IP 주소의 특정 영역으로부터 쿼리들을 제출한 사용자들, 또는 이런 기준의 임의의 적절한 조합과 같은 검색 엔진의 모든 사용자들의 서브셋(subset)일 수 있다.

쿼리 로그 데이터베이스(140)로부터 리트리브된 쿼리 로그 정보(302) 및 시드 데이터베이스(138)로부터 리트리브된 분류 데이터를 입력으로 사용하여, 정보 분류기(136)는 사용자-제출 쿼리들에 대한 쿼리 프로파일들을 생성한다(306). 설명을 위해, 이 명세서는 시드 데이터베이스(138)의 분류 데이터가 복수의 URL들에 대한 분류 데이터인 실시예들을 설명한다. 그러나, 다른 실시예들에서, 시드 분류 데이터는 URL들에 대한 분류 데이터로 제한되지 않는다. 예를 들어, 데이터베이스(138)의 시드 분류 데이터는 웹사이트에 대한 분류 데이터(URL-레벨 분류 데이터와 달리, 웹사이트-레벨 분류 데이터라고 불림)를 포함할 수 있다. 시드 분류 데이터가 상당히 정확하고 충분한 양의 쿼리 로그 데이터가 있는 한, 정보 분류기(136)는 시드 분류 데이터를 정확하고 광범위하게 스프레드하며 기존 방식들에 의해 정확히 프로파일되지 않았던 많은 수의 URL들에 대한 분류 데이터를 생성할 수 있다.

먼저, 정보 분류기(136)는 쿼리 로그 데이터베이스(140)의 (한 세트의 쿼리 용어들을 갖는) 쿼리 로그 레코드를 선택한다. 각각의 쿼리에 대해, 정보 분류기는 검색 결과들 및 검색 결과들에 대응하는 URL들을 식별(308-1)한다. 동일한 쿼리가 상이한 시간에 상이한 사용자들로부터의 상이한 검색 요청들을 나타내는 복수의 쿼리 로그 레코드들에서 나타나면, 대응하는 검색 결과들 사이에는 차이가 있을 수 있다. 몇몇 실시예들에서, 검색 결과들을 함께 그룹핑하고 대응하는 쿼리 로그들을 분석함으로써, 정보 분류기는 쿼리에 관련있는 것으로 여겨지는 웹 페이지들이 관련되는 한 세트의 URL들을 선택한다. 용어들 "URL", "웹 페이지" 및 "검색 결과"는 세 용어들 사이의 일대일 맵핑 때문에 명세서 전체에서 종종 상호교환적으로 사용된다.

프로세싱되고 있는 쿼리 로그 레코드에 대한 한 세트의 URL들을 식별(308-1)한 후, 정보 분류기(136)는 가중치 기준을 식별된 URL들의 분류에 적용한다(308-2). 가중치 기준은 쿼리에 대한 각각의 URL들의 관련성을 추정하기 위해 사용된다. 몇몇 실시예들에서, 가중치 기준은 IR 스코어, 네이게이션 레이트, 임프레션, URL에 대한 위치 및 클릭 데이터를 포함한다. 이러한 가중치 기준은 쿼리에 대한 URL의 관련성에 대응하는 가중치(또는 스코어)를 결정하기 위해 사용된다. 예를 들어, 특정 쿼리에 대응하는 검색 결과들의 상단 또는 상단 근처에 나타나는 URL은 검색 결과들에서 더 낮게 나타나는 다른 검색 결과들보다 쿼리에 대해 더 관련성이 있는 것으로 여겨진다. 유사하게, 높은 네비게이션 레이트를 갖는, 즉, 동일한 쿼리를 제출한 사용자들에 의해 높은 레이트로 이력적으로 선택된 URL은 또한 쿼리에 대한 URL의 관련성을 고려할 때 더 낮은 네비게이션 레이트를 갖는 (검색 결과에서 유사한 위치의) URL보다 더 많이 가중된다. 따라서, URL의 시드 분류 데이터는 쿼리에 높게 관련된 것으로 고려되고 따라서 쿼리 프로파일을 생성할 때 더 많이 가중된다. 몇몇 실시예들에서, 작은 수의 가장 관련된 URL들(예를 들어, 검색 결과들의 첫 번째 페이지의 상단 두 개, 세 개 또는 네 개의 URL들)에 1의 최대 가중치가 주어지고, 덜 관련된 URL들의 가중치들은 URL들 각각의 검색 결과 위치들, IR 스코어들, 네비게이션 레이트들, 클릭 데이터, 및 더욱이 잠재적으로 다른 URL-특정 파라미터들의 함수로서 점진적으로 감소한다.

위에서 언급된 바와 같이, 클릭 데이터는 검색 결과 위치에 기반하여 URL들에 할당된 가중치들을 변경하는데 사용될 수 있다. 예를 들어, 사용자가 보기 위해 선택한 검색 결과들에는 가장 높은 가능한 가중치(예를 들어, 가장 높게 랭크된 검색 결과와 동일한 가중치)가 할당될 수 있다. 대안적으로, 사용자가 보기 위해 선택한 검색 결과들의 가중치들에는 미리 결정된 부스트(boost)(예를 들어, 고정, 증가 또는 비율(percentage) 증가)가 주어질 수 있고, 선택적으로, 미리 결정된 최대 가중치를 넘지 않기 위해 상한이 결과 가중치를 제한하기 위해 적용될 수 있다.

다음, 정보 분류기는 URL들의 가중된 분류 데이터를 쿼리 자신의 분류 데이터, 즉, 쿼리의 프로파일로서 애그리게이팅한다(308-3). 이전 가중 단계 때문에, 쿼리의 프로파일은 더 높은 가중치를 가진 URL들의 분류 데이터와 더 유사해야 한다. 시드 분류 데이터가 없는 (검색 결과의) URL들은 쿼리의 프로파일에 영향이 없다는 점이 주목된다. URL들로부터의 분류 데이터를 쿼리들로 스프레딩하는 이 과정은 URL들에 의해 식별된 웹 페이지들의 컨텐츠 및 쿼리에 대한 그것의 관련성을 명백히 고려하지 않을 수 있을지라도, 임프레션 데이트(예를 들어, IR 스코어, 위치 데이터) 및 검색 결과들의 클릭 데이터와 같은 이력적 쿼리 정보는 이미 웹 페이지의 컨텐츠의 영향을 포함한다.

위에서 설명된 바와 같이, 애그리케이팅 동작(308-3)은 분류된 URL들로부터의 분류만을 사용하고, 따라서 쿼리 프로파일들을 생성할 때 시드 데이터베이스(138)의 분류 데이터를 갖는다. 그러나, 몇몇 실시예들에서, 쿼리 프로파일 분류 프로세스(300)의 다음 반복 동안, 쿼리 분류 프로세스에 대한 "시드 데이터"는 URL 분류 프로세스(320)(아래 설명됨)의 이른 반복 동안 분류된 URL들에 대한 분류 데이터일 수 있다. 다시 말해서, 쿼리 분류 프로세스(300)의 다음 반복들 동안, 시드 데이터베이스(138)는 URL 분류 프로세스(320)의 이른 반복 동안 생성된 정보 분류 데이터베이스(134)(또는 정보 분류 데이터베이스의 서브셋)에 의해 대체될 수 있다.

마지막으로, 몇몇 실시예들에서, 정보 분류기는 생성된 쿼리 프로파일들을 쿼리 프로파일 데이터베이스(142)에 저장한다(310). 이 실시예들에서, 스프레딩 프로세스는 도 3A와 관련하여 위에서 설명된 바와 같이 분류된 URL들의 분류 데이터로부터 쿼리 프로파일들을 먼저 생성하고, 그 다음, 도 3B와 관련하여 아래에서 설명되는 바와 같이 쿼리 프로파일들로부터의 분류되지 않은 URL들의 분류 데이터를 생성한다.

다른 실시예들에서, 각각의 쿼리 프로파일이 생성된 후, 쿼리 프로파일의 가중된 사본들(예를 들어, 쿼리 프로파일에 대응하는 쿼리 로그 레코드에 나열된 각각의 검색 결과에 대한 사본)이 중간 결과 테이블(720, 도 7)의 엔트리들에 기록된다. 선택적으로, 쿼리 프로파일은 정보를 대응하는 쿼리 로그 레코드들과 관련된 URL들로 스프레딩하기 위해 더 이상 필요하지 않기 때문에 쿼리 프로파일 데이터베이스에 저장되지 않는다. 이 실시예들에서, 모든 쿼리 로그 레코드들이 프로세싱된 후, 중간 결과 테이블의 각각의 URL에 대한 엔트리들은 충분한 분류 정보가 중간 결과 테이블에 기록되어 있는 각각의 URL에 대한 각각의 프로파일을 생성하기 위해 애그리게이팅된다. 이러한 실시예들의 제어 흐름 전형이 테이블 1에서 제공된다. 특히, 제1 단계에서, 각각의 쿼리 로그 레코드가 쿼리 프로파일을 생성하기 위해 프로세싱되고, 그 다음 쿼리 프로파일은 쿼리 로그 레코드에 나열된 각각의 URL(또는, 대안적으로, 쿼리 로그 레코드에 나열된 URL들의 식별된 주제의 각각의 URL)에 대한 중간 결과 테이블의 엔트리들을 생성함으로써 "스프레드" 된다. (프로세싱되고 있는 쿼리 로그 레코드에 대한) 중간 결과 테이블에 저장된 각각의 엔트리는 쿼리 레코드에 나열된 검색 결과들의 특정 URL에 대응하고, 쿼리 프로파일의 가중된 버전을 포함한다. 특정 URL 및 특정 쿼리에 대응하는 엔트리에서, 위에서 더 자세히 설명된 바와 같이, 쿼리 프로파일에 주어진 가중치는 쿼리에 대한 URL의 관련성에 기반한다. 제2 단계에서, 중간 결과 테이블이 쿼리 로그 레코드들의 프로세싱으로부터의 엔트리들로 덧붙여진 후, 각각의 URL에 대한 엔트리들은 그 URL에 대한 분류 데이터를 생성하기 위해 애그리케이팅되고, 각각의 URL에 대한 결과 분류 데이터는 분류 데이터베이스에 저장된다. 다른 곳에서 더 자세히 설명된 바와 같이, URL에 대한 엔트리들의 개수가 임계값보다 작거나 다른 품질 기준이 만족되지 않으면, URL에 대한 분류 데이터가 생성되지 않거나 분류 데이터베이스에 저장되지 않는다.

테이블 1

//제1 단계//

각각의 쿼리 로그 레코드에 대해{

쿼리 로그 레코드에 나열된 URL들에 대한 시드 분류 데이터를 애그리케이팅함으로써 쿼리 프로파일을 생성(도 3A의 설명을 참조);

선택적으로, 쿼리 프로파일이 쿼리 프로파일 데이터베이스에 저장되지 않음;

쿼리 로그 레코드에 나열된 각각의 URL에 대해(대안적으로: 쿼리 로그 레코드에 나열된 URL들의 식별된 서브셋의 각각의 URL에 대해){

중간 결과 테이블에 (URL에 의해 입력된) 엔트리를 생성, 이는 쿼리 로그 레코드에 대한 쿼리 프로파일의 가중된 버전임(도3B의 동작 328-5의 설명 참조);

}

//제2 단계//

중간 결과 테이블의 각각의 개별 URL에 대해{

URL에 대한 분류 데이터를 생성하기 위해 그 URL에 대한 가중된 쿼리 프로파일들을 애그리케이팅한다(도3B의 동작 328-6 참조);

정보 분류 데이터베이스에 URL에 대한 분류 데이터를 저장(도3B의 동작 330의 설명 참조);

}

임의의 이 실시예들에서, URL들에 대한 분류 데이터를 생성하는 프로세스는 분류된 URL 및 분류되지 않은 URL 모두를 포함하여 쿼리 로그 레코드들에 나열된 모든 URL들에 대해 수행될 수 있거나, 대안적으로, 프로세스는 분류되지 않은 URL들에 대해서만 분류 데이터를 생성할 수 있다(이 경우 분류된 URL들에 대한 시드 분류 데이터는 여전히 그 URL들에 대한 분류 데이터이다). 대안적으로, 분류 데이터는 다양한 선택 기준에 기반하여 쿼리 로그 레코드들에 나열된 URL들의 다른 서브셋들에 대해 생성될 수 있다.

이제 도 3B를 참조하면, 쿼리 로그 데이터베이스(140)로부터 리트리브된(322) 쿼리 로그 정보 및 쿼리 프로파일 데이터베이스(142)로부터 리트리브된(324) 쿼리 프로파일들에 적어도 부분적으로 기반하여, 정보 분류기(136)는 검색 결과들에서 찾아진 URL들에 의해 식별된 웹 페이지들에 대한 분류 데이터를 생성/업데이트한다(326). 먼저, 정보 분류기(136)는 한 세트의 쿼리들 및 쿼리 로그 데이터베이스(140)로부터의 대응하는 쿼리 이력들을 식별한다(328-1). 쿼리들의 이 세트는 정보 분류기(136)가 이전에 식별한 쿼리들의 세트와 동일한 세트일 수 있고 각각의 쿼리는 쿼리 프로파일 데이터베이스(142)에 관련된 쿼리 프로파일을 가진다. 쿼리들 각각은 복수의 검색 결과들과 관련되는데, 이들 중 일부는 분류되고(예를 들어, 시드 데이터베이스(138)에 분류 데이터를 가짐), 일부는 분류되지 않는다.

그 다음, 정보 분류기(136)는 쿼리 프로파일 데이터베이스(142)로부터 쿼리들의 세트에 대응하는 쿼리 프로파일들을 식별한다(328-2). 이 쿼리 프로파일들은 검색 결과들에서 찾아진 적어도 몇몇 URL들의 분류 데이터를 생성/업데이트하기 위해 사용된다. 위에서 언급된 바와 같이, 쿼리의 프로파일은 적어도 부분적으로 동일한 쿼리에 대응하는 검색 결과들의 상이한 세트들의 상이한 URL들의 분류 데이터에 대해 만들어진다. 그러나 이들의 기여들은 검색 결과들의 특정 세트에서 쿼리에 대한 각각의 URL의 관련성에 따라 달라질 수 있다. 위에서 언급된 바와 같이, 쿼리 프로파일을 생성하기 위한 URL 분류 데이터의 애그리케이팅은 IR 스코어들, 네비게이션 레이트들, 검색 결과 위치들 및 쿼리의 검색 결과들에서 URL들의 클릭 데이터에 따라 가중된다.

상반되게, URL의 분류 데이터는 적어도 부분적으로 URL이 검색 결과로서 나열되는 쿼리들의 프로파일들로부터 유도될 수 있다. 몇몇 실시예들에서, URL의 분류 데이터에 대한 이러한 쿼리 프로파일들로부터의 기여들은 쿼리들에 대한 클릭 데이터 및 검색 결과 위치 데이터에 의해 지시되는 바와 같이, 각각의 쿼리들에 대한 URL의 관련성에 의존한다. 예를 들어, URL이 두 개의 상이한 쿼리들 A 및 B에 대응하는 검색 결과들에 나타난다고 가정한다. 쿼리 A의 경우, URL이 검색 결과들의 상단에 나타나고 또한 사용자에 의해 선택되고; 쿼리 B의 경우 동일한 URL이 검색 결과들의 5 번째 페이지에 있고 사용자에 의해 선택되거나 사용자가 보지 않는다. 이런 가중치 정보는 식별되거나(328-3) 대응하는 쿼리 로그 정보로부터 유도된다. URL의 분류 데이터에 대한 두 개의 쿼리 프로파일들의 기여들을 결정할 때, 두 개의 쿼리들과 관련된 임의의 다른 가중치 요소들이 실질적으로 동일하다는 전제로 정보 분류기(136)는 가중치 기준을 두 개의 쿼리 프로파일들에 적용하여 쿼리 B의 프로파일보다 더 많은 가중치가 쿼리 A의 프로파일에 주어진다.

몇몇 실시예들에서, 정보 분류기(136)는 중간 결과 테이블에 가중된 쿼리 프로파일들을 저장한다(328-5). 중간 결과 테이블의 각각의 엔트리는 주어진 URL에 대해 그 URL에 관한 분류 데이터에 대한 하나의 가중된 쿼리 프로파일의 기여를 나타낸다. 쿼리 ID들과 테이블의 URL ID들 사이에는 다-대-다 맵핑이 존재한다. 주어진 쿼리 ID에 대해, 한 세트의 URL ID들은 테이블에서 발견될 수 있고, 각각의 URL ID는 쿼리 프로파일의 가중된 버전에 대응한다. 주어진 URL ID에 대해, 한 세트의 엔트리들은 테이블에서 발견될 수 있고, 하나의 엔트리는 URL ID가 검색 결과들에서 나타나는 각각의 쿼리에 대한 것이다. 다른 방식으로 설명되면, 동작(328-5)은 로그의 각각의 쿼리에 대해 검색 결과들의 각각의 URL에 대한 엔트리를 중간 결과 테이블에 저장함으로써 수행되고; 엔트리는 쿼리의 쿼리 프로파일의 카테고리 리스트의 가중된 버전을 포함한다. 이것은 쿼리 로그의 각각의 쿼리에 대해 반복되고, 따라서 중간 결과 테이블에 많은 수의 엔트리들을 생성한다. 그 다음, 애그리케이팅 동작(328-6)이 중간 결과 테이블의 각각의 개별 URL에 대해 중간 결과 테이블의 모든 엔트리들을 애그리케이팅함으로써 수행된다.

몇몇 실시예들에서, 1) 상이한 URL들의 카테고리 리스트들에서 나타나는 동일한 카테고리에 대해, URL들 각각의 가중치들이 비교될 수 있고; 2) URL이 검색 결과들에 나타난 쿼리들의 총 수는 해당 URL에 대한 분류 데이터(카테고리 리스트)의 카테고리 가중치들의 크기에 거의 영향을 미치지 않거나 영향을 미치도록 URL들에 대해 애그리케이팅된 분류 데이터가 정규화된다. 예를 들어, 정규화의 결과로서, 쿼리 로그의 100 개의 쿼리들의 결과에서 나타나는 URL에 대한 카테고리 가중치들의 합은 쿼리 로그의 500 개의 쿼리들의 결과들에서 나타나는 URL에 대한 카테고리 가중치들의 합보다 작지 않다. 몇몇 실시예들에서, URL이 나타나는 쿼리들의 총 수가 미리 결정된 임계치 미만이면, 충분히 믿을 만한 URL을 생성하기에 충분한 데이터가 존재하지 않기 때문에 해당 URL에 대한 프로파일은 생성되지 않는다. 쿼리 가중치 또는 가중 요소는 중간 결과 테이블의 각각의 엔트리와 관련되며, 이는 쿼리 프로파일들의 총 가중치 및 엔트리에 대한 URL과 쿼리 사이의 연결의 세기 둘 모두에 기반한다는 것이 주목된다. 각각의 URL에 대한 분류 데이터를 애그리케이팅할 때(328-6), URL에 대응하는 테이블 엔트리들에 대한 쿼리 가중치들의 합은 URL의 프로파일(222)의 카테고리들의 최종 가중치들(229)(도 2C)을 결정할 때 정규화 요소(예를 들어, 제수)로서 사용된다.

추가로, 몇몇 실시예들에서 애그리케이팅 동작(328-6)에 의해 생성된 각각의 URL에 대한 카테고리(228)(도 2C) 리스트는, 리스트가 개별적인 카테고리들의 미리 정의된 수보다 더 많이 포함할 때, 일부가 잘라지거나 필터링되어, 가장 낮게 가중된 카테고리 ID들을 제외시키는 한편, 필터링되지 않은 카테고리 리스트의 카테고리들의 총 가중치들의 적어도 미리 결정된 비율(예를 들어, 90%)을 갖는 가장 높게 가중된 카테고리 ID들을 유지한다.

애그리케이팅 동작(328-6)이 완료되면, 각각의 URL에 대한 분류 데이터가 정보 분류 데이터베이스(134)에 저장된다(330).

위에서 설명된 바와 같이(테이블 1 및 테이블 1에 도시된 제어 흐름의 설명을 참조), 몇몇 실시예들에서, 분류된 URL들로부터의 분류 데이터를 분류되지 않은 URL들로 스프레딩하는 전술한 프로세스는 쿼리 프로파일 데이터베이스를 생성하지 않고, 쿼리 레코드별로 구현된다.

몇몇 실시예들에서, 쿼리 레코드와 관련된 쿼리 용어들의 개수는 또한 쿼리 프로파일로부터의 분류 데이터를 가중하고 이를 대응하는 쿼리 레코드의 검색 결과에 나열된 URL들에 스프레딩하는데 반영된다. 일반적으로, 쿼리가 많은 용어들을 가질수록 쿼리는 더 특정적이고 검색 결과는 관심사에 관해 더 집중될 것이다. 역으로, 쿼리 가 더 적은 용어들을 가질수록 쿼리는 더 모호해지고 검색 결과는 상이한 토픽에 대한 결과들을 더 많이 포함할 가능성이 높다. 예를 들어, "재규어"라는 하나의 용어 쿼리에 대응하는 검색 결과들은 재규어-브랜드 고급차의 공식적 웹사이트인http://www.jaguar.com/glrobal/default.htm, 재규어라고 알려진 큰 고양잇과 동물에 관한 위키피디아 웹 페이지인 http://en.wikipedia.org/wiki/Jaguar를 포함한다. 반면, "재규어 자동차"라는 두-용어 쿼리에 대응하는 검색 결과들은 재규어-브랜드 고급차의 공식 웹사이트를 여전히 포함한다. 그러나 이 검색 결과들은 재규어라고 알려진 큰 고양잇과 동물들에 관한 웹 페이지는 포함하지 않을 것이고, 대신 재규어 자동차 브랜드의 역사에 관한 위키피디아 웹 페이지인 http://en/wikipedia.org/wiki/Jaguar_Cars와 같은 자동차에 대한 재규어 브랜드와 관련된 다른 검색 결과를 포함할 것이다.

몇몇 실시예들에서, 쿼리의 검색 결과들에 나열된 URL들의 분류 데이터에 대한 쿼리의 분류 데이터(쿼리 프로파일이라고도 불림)의 기여는 쿼리의 쿼리 용어들의 개수에 따라 가중된다. 예를 들어, 한-단어(또는 몇몇 아시아 언어들에서는 한 글자) 쿼리의 임시적인 분류 데이터는 가장 적게 가중된다. 쿼리가 더 많은 단어들 또는 글자들을 가질수록 더 많은 가중치가 쿼리의 분류 데이터에 할당된다. 따라서, 특정 쿼리에 대해서, 특정 URL에 대한 중간 결과 테이블의 엔트리는 쿼리가 복수의 용어들을 포함할 때 쿼리의 분류 데이터의 더 많이 가중된 사본을 가질 것이고, 쿼리가 단지 하나의 용어를 포함할 때 쿼리의 분류 데이터의 가장 적게 가중된 사본을 가질 것이다. 특정 언어에 따라, 분류 데이터를 가중할 때 쿼리 길이의 역할은, 분류 데이터가 최소 임계치(예를 들어, 영어 또는 다른 언어들에서 2 또는 3 개의 단어들)에 도달할 때, 덜 중요해진다.

쿼리의 모호성 또는 특이성의 다른 측정은 대응하는 분류 데이터의 분산을 포함한다. 특정 쿼리, 예를 들어, "재규어 자동차"에 대해, 검색 결과들의, 전부는 아니더라도, 대부분은 하나의 주제, 즉, 명품 자동차 브랜드로 제한되어야 한다. 결과로서, 대응하는 검색 결과들의 분류 데이터로부터 유도된 쿼리의 임시적인 분류 데이터는 동일한 토픽에 집중할 것이다. 대조적으로, "재규어"와 같은 덜 특정한 쿼리의 경우 적어도 두 개의 토픽들, 고급차 및 큰 고양잇과 동물에 걸쳐 분류 데이터가 분포할 것이다. 쿼리의 모호성 및 특정성을 측정하는 다른 방법은 예를 들어, URL들의 쌍별 코사인 유사성(pair wise cosine similarities)들을 평균함으로써 검색 결과들에서 URL들의 분류 데이터의 상관성을 조사하는 것이다. 다른 방법으로 설명하면, 검색 결과들의 평균 코사인 유사성은 검색 쿼리의 특정성의 레벨에 대응한다(또는 검색 쿼리의 특정성의 레벨의 메트릭임). 예를 들어, 검색 결과들의 평균 코사인 유사성은 검색 결과들이 서로 유사할 때(예를 들어, 대부분의 결과들이 하나의 주요 토픽에 관련됨) 높고, 검색 쿼리가 높은 특이성을 갖는다는 것을 나타낸다. 검색 결과가 더 다양할수록 평균 코사인 유사성은 더 적고, 검색 쿼리는 낮은 특이성을 갖는 것을 나타낸다.

사용자의 브라우징 이력처럼, (사용자에 의해 제출된 쿼리들 및 사용자에 의해 선택된 검색 결과들과 같은) 사용자의 검색 이력은 또한 사용자의 검색 관심사들을 프로파일링하기 위한 좋은 소스이다. 도 3C는 사용자에 의해 선택된 검색 결과 URL들의 분류 데이터에 기반하여 사용자 프로파일을 생성하기 위한 예시적인 프로세스(340)를 설명한 순서도이다.

쿼리 로그 데이터베이스(140)로부터 리트리브된 쿼리 로그 정보 및 정보 분류 데이터베이스(134)로부터 리트리브된 분류 데이터(344)에 적어도 부분적으로 기반하여, 정보 분류기(136)는 각각의 사용자에 의해 제출된 한 세트의 쿼리들 및 쿼리 로그 데이터베이스(140)로부터의 대응하는 쿼리 이력들을 식별한다(348-1). 쿼리 이력들로부터, 정보 분류기(136)는 사용자에 의해 선택된 검색 결과들 및 대응하는 URL들을 식별한다(348-2). 각각의 URL들에 대해, 정보 분류기는 데이터베이스(134)로부터 URL의 분류 데이터를 식별한다(348-4).

몇몇 실시예들에서, 정보 분류기(136)는 사용자-선택 검색 결과 URL들의 분류 데이터를 사용자 프로파일로 애그리케이팅한다(348-5). 상이한 가중치 또는 필터링 기준이 URL들의 분류 데이터를 애그리케이팅할 때 사용될 수 있다는 것을 주목해라. 예를 들어, 몇몇 실시예들에서 사용자에 의해 선택된 URL의 빈도는 URL의 분류 데이터의 가중에 반영된다. 몇몇 실시예들에서, 두 개의 URL들이 유사한 횟수의 사용자 클릭들을 가질 때, 사용자가 지속적 흥미를 보인 URL의 분류 데이터(예를 들어, 한 달 동안 거의 고르게 분산된 N회의 사용자 클릭들)에는, 사용자의 프로파일을 결정할 때, 유사한 회수의 사용자 클릭들이 짧은 시간 구간(예를 들어, 한 시간 또는 두 시간)에 집중된 URL보다 더 크게 가중된다. 몇몇 실시예들에서, 쿼리의 시간적 최근성이 또한 고려되어, 더 최근 쿼리와 관련된 URL의 분류 데이터에는 더 오래된 쿼리와 관련된 URL의 분류 데이터보다 더 많이 가중된다. 몇몇 실시예들에서, 특정 클러스터 또는 카테고리의 중요성이 또한 사용자를 프로파일링할 때 고려된다. 예를 들어, 사용자를 포함하는 개인들의 그룹에 대한 공통의 클러스터 또는 카테고리는 사용자의 관심사를 결정할 때 덜 도움이 되고, 더 개별적인 클러스터들 또는 카테고리들보다 더 적게 가중되어야 한다.

그 다음, 결과적인 사용자 프로파일은 그리고는 사용자에 대해 개인화된 서비스를 제공하기 위해 정보 서버 시스템(130)에 의해 사용된다. 예를 들어, 사용자로부터의 쿼리에 응답하여, 검색 엔진(126)은 한 세트의 검색 결과들을 식별하고 검색 결과들은 쿼리에 대한 그들의 관련성에 의해 처음에 정렬된다. 요청 사용자에 대한 검색 결과들을 리턴하기 전에, 쿼리 프로세서(124)는 각각의 검색 결과의 분류 데이터를 사용자 프로파일과 비교함으로써 검색 결과들을 다시 정렬할 수 있다. 분류 데이터 및 프로파일이 희소 벡터로 표현되면, 비교는 두 벡터들의 코사인 또는 내적(dot product)을 계산함으로써 결정될 수 있다. 그 다음, 검색 결과는 이들의 내적들에 적어도 부분적으로 기반하여 다시 정렬되고, 클라이언트 디바이스(104)에서 요청 사용자에게 디스플레이를 위해 요청 사용자의 클라이언트 디바이스(104)로 전송된다.

몇몇 실시예들에서, 정보 분류기(136)는 또한 사용자에 의해 제출된 쿼리들의 쿼리 프로파일들을 식별하고(348-3), 쿼리 프로파일들 및 사용자-선택 URL들의 분류 데이터 모두를 사용자 프로파일로 애그리케이팅하고(348-5), 결과적인 사용자 프로파일을 데이터베이스(132)에 저장한다(350).

도 3A, 3B 및 3C를 참조하여 위에서 설명된 임의의 세 개의 방법들 중 어느 방법이든 반복적 프로세스일 수 있다는 점을 주목하라. 정보 분류기는 시드 데이터베이스(138)에서 제한된 개수의 URL들의 분류 데이터로부터 시작하고 분류 데이터를 한 세트의 쿼리 프로파일들, 분류되지 않은 URL들의 분류 데이터, 및 한 세트의 사용자 프로파일들로 스프레딩한다. 도 3A-3C에 도시된 바와 같이, 이력적 쿼리 정보는 쿼리, URL 또는 사용자를 프로파일하는데 중요한 역할을 한다. 쿼리 로그 데이터베이스가 새로운 쿼리 로그 정보를 계속 축적하기 때문에, 분류 데이터를 스프레딩하는 프로세스는 진행중인 프로세스이고, 시간에 걸쳐 반복되거나 업데이트된다. 새로운 쿼리 이력들은 URL의 분류 데이터를 세분하기 위해 많은 데이터 포인트들을 제공할 뿐만 아니라 많은 사용자의 검색 관심사의 동적 양상을 추적한다.

몇몇 실시예들에서, 정보 분류기(136)는 쿼리 프로파일 데이터베이스(142), 정보 분류 데이터베이스(134), 및 사용자 프로파일 데이터베이스(132) 중 하나 이상을 업데이트하기 위해 위에서 설명된 프로세스들을 반복한다. 몇몇 실시예들에서, 정보 분류 데이터베이스(134)의 서브셋은 분류 데이터를 스프레드하기 위해 새로운 시드 데이터베이스(138)로서 선택된다. 몇몇 실시예들에서, 정보 분류 시드 데이터베이스(138)는 다른 클러스터링 방법에 의해 생성된다.

몇몇 실시예들에서, 분류 데이터 스프레딩의 새로운 라운들를 시작하기 전에, 정보 분류기(136)는 쿼리 프로파일 데이터베이스(142), 정보 분류 데이터베이스(134), 또는 사용자 프로파일 데이터베이스(132)를 리프레쉬하여 어떠한 레거시 분류 데이터도 보존되지 않게 한다. 몇몇 다른 실시예들에서, 데이터 레코드들이 여전히 신뢰성이 있고 유용하다고 간주되면 정보 분류기(136)는 적어도 데이터 레코드들의 서브셋을 쿼리 프로파일 데이터베이스(142), 정보 분류 데이터베이스(134) 또는 사용자 프로파일 데이터베이스(132)에 유지할 수 있다.

몇몇 실시예들에서, 웹사이트와 관련된 적어도 웹 페이지들의 서브셋의 분류 데이터가 알려져 있으면, 전술한 방법은 웹사이트를 프로파일하기 위해 사용될 수 있다. 이는 상이한 웹 페이지들의 분류 데이터의 간단한 애그리게이팅에 의해 구현될 수 있다. 대안적으로 또는 추가적으로, 상이한 웹 페이지들의 분류 데이터는 웹사이트의 계층에서 웹 페이지들 각각의 위치들뿐만 아니라 특정 시간 기간 동안 대응하는 웹 페이지들의 사용자 사용 데이터 또는 인기에 따라 가중된다. 다른 방식으로 설명하면, 웹사이트에 대한 프로파일을 생성하기 위해 웹 페이지 분류 데이터를 애그리케이팅할 때, 가중치들은 1) 웹사이트의 웹 페이지들에 대한 사용자 클릭들의 횟수, 또는 2) 웹 페이지와 웹사이트의 홈 페이지 사이의 디렉터(director) 레벨의 수, 또는 둘 다에 따라 웹사이트 내의 웹 페이지들의 분류에 주어진다.

몇몇 실시예들에서, 웹 사이트의 웹 페이지들의 많은 부분과 관련된 클러스터들 또는 카테고리들은 웹사이트의 웹 페이지들의 적은 부분과 관련된 클러스터들 또는 카테고리들보다 비교적 더 높은 가중치들이 주어진다. 몇몇 다른 실시예들에서, 웹사이트(예를 들어, en.wikipedia.com)의 적어도 최소 수의 웹 페이지들 간의 적어도 하나의 공통 클러스터 또는 카테고리의 결여는 웹사이트가 분류되는 것을 방지할 수 있다.

도 3D는 몇몇 실시예들에 따라 다른 정보 아이템들의 분류 데이터를 사용하여 정보 아이템을 분류하는 예를 설명한 블록도이다.

예시적인 목적으로, 이력적 쿼리 정보(350)는 두 개의 사용자-제출 쿼리들(Q1 및 Q2)을 포함한다. 그러나, 실제로는, 많 수의 쿼리 로그 엔트리들은 쿼리 로그 데이터베이스(140)에 저장되고, 각각의 쿼리 로그 엔트리는 특정 세션 동안 사용자에 의해 제출된 쿼리에 대응한다. 하나 이상의 쿼리 용어들을 포함하는 쿼리는 검색 결과들 및 사용자 사용 데이터의 대응하는 세트를 갖는다.

간단함을 위해, 두 개의 쿼리들(Q1 및 Q2) 각각은 세 개의 웹 페이지들(A, B, 및 C)과 관련되고, 각각의 웹 페이지는 대응하는 쿼리에 대한 웹 페이지의 관련성을 나타내는 가중치 요소(W)를 갖는다. 위에서 설명된 바와 같이, 가중치 요소는 대응하는 웹 페이지의 컨텐츠, 인터넷 상에서 웹 페이지의 인기, 및 임프레션, 위치 및 클릭-쓰로우(through)와 같은 관련된 사용자 사용 데이터에 의해 영향을 받을 수 있다. 이 예에서, 세 개의 웹 페이지들 중 두 개(A 및 B)가 이미 분류되고 이들의 대응하는 분류 데이터가 시드 분류 데이터(360)에서 발견될 수 있다는 것이 가정된다. 웹 페이지 C는 검색 결과들의 일부일지라도, 시드 분류 데이터(360)에 관련된 분류 데이터를 갖지 않는다. 그러나, 웹 페이지 C가 Q1 및 Q2에 대응하는 검색 결과에서 웹 페이지들(A 및 B)과 함께 나타난다는 사실은 웹 페이지들 A 및 B의 적어도 시드 분류 데이터에 기반하여 웹 페이지 C의 분류 데이터를 예측하는 것이 가능하다는 것을 시사한다.

몇몇 실시예들에서, 종종 여기서는 시드 분류 데이터의 스프레딩이라 불리는이 예측의 첫 번째 단계는 Q1 및 Q2에 대한 분류 데이터 또는 프로파일을 형성하는 것이다. 도 3D에 도시된 바와 같이, 두 개의 쿼리 프로파일들(370)(QP_1 및 QP_2)은 대응하는 가중 요소들에 의해 조절되는 두 개의 웹 페이지들의 분류의 함수로서 정의된다. 예측의 두 번째 단계는 두 개의 쿼리 프로파일들을 웹 페이지 C의 분류 데이터의 영역으로 프로젝팅(project)함으로써 분류되지 않은 웹 페이지 C에 대한 분류 데이터를 형성하는 것이다. 두 개의 가중 요소들(W₁(C) 및 W₂(C))은 적어도 몇몇 양상들에서, 두 개의 쿼리들에 대한 웹 페이지 C의 관련성을 나타내기 때문에, 이 가중하는 요소들은 웹 페이지 C의 분류 데이터에 대한 각각의 쿼리 프로파일들의 기여를 결정하기 위해 사용된다. 도면 또는 명세서의 임의의 부분의 수학적 표현들은 단지 예시적인 목적을 위한 것임을 주목해야 한다. 도 3A와 관련하여 위에서 설명된 바와 같이, 쿼리 프로파일들의 구성에 대한 웹 페이지들(A 및 B) 각각의 기여에 있어서 이들의 분류 데이터를 애그리케이팅하고 가중하는 다른 방법들이 존재하고, 웹 페이지 C에 대한 분류 데이터에 대한 쿼리 프로파일들(QP_1 및 QP_2) 각각의 기여에 있어서 이들의 분류 데이터를 애그리케이팅하고 가중하는 다른 방법들이 존재한다.

전형적인 쿼리의 검색 결과들은 수 백의 또는 심지어 수 천의 웹 페이지들에 대응하고, 상이한 시간에 상이한 사용자들에 의해 또는 심지어 동일한 사용자에 의해 제출될 때, 동일한 쿼리가 조금씩 상이한 검색 결과들의 세트들을 가질 수 있다. 동일한 토큰(token)에 의해, 동일한 웹 페이지가 상이한 사용자-제출 쿼리들에 대응하는 상이한 세트의 검색 결과들에서 나타날 수 있고, 상이한 사용자 반응을 끌어낼 수 있다. 도 3D에 도시된 예, 즉, 두 개의 쿼리 프로파일들 각각이 두 개의 웹 페이지들의 분류 데이터로부터 생성되고 웹 페이지 C의 분류 데이터가 두 개의 쿼리 프로파일들로부터 생성되는 것은 단지 예시를 위함이다.

몇몇 실시예들에서, 쿼리들 및 웹 페이지들 사이의 다-대-다 관계의 특성을 가정하면, 정보 분류기는 쿼리 프로파일들을 만들기 위해 웹 페이지들의 서브셋의 분류 데이터만을 사용하거나 다른 서브셋에 비해 하나의 서브셋을 우선 순위화하기 위해 가중 인자들을 사용한다. 예를 들어, 대응하는 검색 결과들에 웹 페이지가 나타나는 쿼리들의 개수가 미리 정해진 한도 미만이면, 이 웹 페이지는 분류 데이터의 스프레딩에서 생략될 수 있다. 유사하게, 정보 분류기는 분류되지 않은 웹 페이지의 분류 데이터를 추정하기 위해 쿼리들의 서브셋의 프로파일들만을 고려할 수 있거나, 미리 정의된 발견적 교수법(heuristics)에 따라 다른 서브셋에 비해 하나의 서브셋을 가중할 수 있다. 예를 들어, 분류 데이터를 분류된 웹 페이지들로부터 분류되지 않은 웹 페이지로 스프레딩하는 것은 특정 쿼리에 국한될 수 있다. 몇몇 다른 실시예들에서, 스프레딩의 범위는 예를 들어, 동일한 세션 내의 상이한 쿼리들, 또는 동일한 사용자에 의한 상이한 세션들, 또는 사용자들의 동일한 그룹에 의한 상이한 쿼리들을 커버하기 위해 확장될 수 있다.

도 4는 몇몇 실시예들에 따라 사용자 프로파일 및 분류 데이터를 사용하여 쿼리를 프로세스하고 대응하는 쿼리 결과를 정렬(order)하기 위한 예시적인 프로세스(400)를 도시한 블록도이다. 웹 포털 서버(402)는 쿼리 입력 인터페이스 또는 프로세스(404)를 통해 쿼리들을 수신하고 클라이언트(104)에서의 디스플레이를 위해 요청 클라이언트(104)에 (예를 들어, 결과 페이지 구성 프로세스 또는 모듈(406)에 의해 웹 페이지로서 포맷될 수 있는) 결과 정보를 전송한다. 수신된 요청은 쿼리(420)에 매치하거나 그렇지 않으면 만족시키는 한 세트의 검색 결과들(422)을 생성하기 위해 검색 엔진(405)에 의해 프로세스된다. 검색 엔진(405)은 쿼리(420)에 매칭하는 문서들 또는 다른 검색 결과들에 대한 한 세트의 검색 인덱스 부분들(412)의 검색을 제어하거나 감독하는 하나 이상의 쿼리 프로세싱 모듈들 또는 프로세스들(408)을 포함할 수 있다. 검색 결과들의 리스트는 검색 엔진에 의해 리턴되고(422), 그 다음 리스트의 검색 결과들은 요청 사용자의 (사용자 프로파일 데이터베이스(132)로부터의) 대응하는 사용자 프로파일 및 검색 결과들의 (정보 분류 데이터베이스(134)로부터의) 분류 데이터에 따라 정렬된다(410). 정렬된 검색 결과들을 포함하는 결과 정보는 요청 클라이언트로 전송하기에 적절한 포맷(예를 들어, 웹 페이지 또는 XML 문서)으로의 전환을 위해 결과 페이지 구성 모듈(406)로 포워딩된다. 몇몇 실시예들에서, 검색 엔진(405)은 프로세스(400)를 수행하기 위한 모든 시스템 구성요소들을 포함한다.

도 5A는 몇몇 실시예들에 따라 분류 데이터를 생성하고 분류 데이터를 사용하여 커스터마이징된 서비스들을 제공하는 예시적인 프로세스(500)를 도시한 순서도이다. 어느 정도까지, 이 프로세스(500)는 도 3A-3C와 관련하여 위에서 개별적으로 설명된 세 개의 프로세스들의 요약이다.

서버 시스템에서, 프로세스는 쿼리들에 대한 이력적 쿼리 정보 및 쿼리들의 관련된 검색 결과들에 액세스한다(502). 예를 들어, 이력적 쿼리 정보는 쿼리 로그 데이터베이스에 저장된 쿼리 이력들에 대응한다. 일부 검색 결과들은 초기에 분류된 정보 아이템들에 대응하고 다른 검색 결과들은 초기에 분류되지 않은 정보 아이템들에 대응한다. 명확화를 위해, 초기에 분류된 정보 아이템들은 "제1 정보 아이템들"이라 불리고 초기에 분류되지 않은 정보 아이템들은 "제2 정보 아이템들"이라 불린다. 정보 분류 시드 데이터베이스로부터, 프로세스는 제1 정보 아이템들의 분류 데이터로 액세스한다. 이력적 쿼리 정보 및 시드 분류 데이터를 사용하여, 프로세스는 제2 정보 아이템들에 대한 분류 데이터를 생성하고(504) 생성된 분류 데이터를 도 1의 정보 분류 데이터베이스(134)와 같은 서버 시스템의 생성된 분류 데이터를 저장한다(506).

몇몇 실시예들에서, 초기에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하기 위해, 프로세스는 이력적 쿼리 정보에서 한 세트의 쿼리들을 식별한다(504-1). 쿼리들의 적어도 하나의 서브셋 각각은 초기에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 갖는다. 그 다음 프로세스는 제1 정보 아이템들의 분류 데이터 및 쿼리들의 세트에 대한 이력적 쿼리 정보에 기반하여 쿼리들의 각각에 대한 분류 데이터 또는 쿼리 프로파일을 생성한다(504-2).

몇몇 실시예들에서, 각각의 쿼리들에 대해, 프로세스는 쿼리에 대응하는 한 세트의 검색 결과들 및 한 세트의 검색 결과들에 대응하는 한 세트의 제1 정보 아이템들을 식별한다(예를 들어, 도 3A의 308-1). 다음으로, 프로세스는 아이템들 각각의 미리 정의된 정보 리트리브 스코어들, 검색 결과들의 세트에서 아이템들의 대응하는 검색 결과들의 위치, 및 대응하는 검색 결과들과의 사용자 상호 작용을 나타내는 정보와 같은 정보에 따라 식별된 제1 정보 아이템들의 분류 데이터를 가중한다(예를 들어, 도3A의 308-2). 마지막으로, 프로세스는 쿼리의 쿼리 프로파일이라고도 불리는 쿼리의 분류 데이터를 생성하기 위해 식별된 제1 정보 아이템들의 가중된 분류 데이터를 애그리케이팅한다(예를 들어, 도 3A의 308-3).

식별된 쿼리들의 쿼리 프로파일들 및 쿼리들에 대한 이력적 쿼리 정보를 사용하여, 프로세스는 초기에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성한다(504-3). 몇몇 실시예들에서, 이는 한 세트의 쿼리들을 식별하는 단계(예를 들어, 도 3B의 328-1) 및 쿼리 프로파일 데이터베이스로부터 대응하는 쿼리 프로파일들을 리트리브하는 단계(예를 들어, 도 3B의 328-2)를 포함한다. 각각의 쿼리들에 대해서, 프로세스는 쿼리에 대응하는 한 세트의 검색 결과들을 식별한다(예를 들어, 도 3B의 328-3). 검색 결과들의 세트는 초기에 분류되지 않은 정보 아이템에 대응하는 적어도 하나의 검색 결과를 포함한다. 다음으로, 프로세스는 (검색 결과들을 생성하기 위해 쿼리를 프로세싱할 때 검색 엔진(126)에 의해 생성된) 초기에 분류되지 않은 정보 아이템의 정보 리트리브 스코어, 검색 결과들의 세트에서 쿼리의 대응하는 검색 결과의 위치, 및 (만약 있다면) 대응하는 검색 결과와의 사용자 상호작용과 같은 정보에 따라 쿼리의 쿼리 프로파일 또는 분류 데이터를 가중한다(예를 들어, 도 3B의 328-4). 마지막으로, 프로세스는 초기에 분류되지 않은 (제2) 정보 아이템들에 대한 분류 데이터(종종 URL 프로파일이라 불림)를 생성하기 위해 쿼리들의 가중된 분류 데이터를 애그리케이팅한다(예를 들어, 도3B의 328-6). 동일한 프로세스가 또한 초기에 분류된 (제1) 정보 아이템들에 대한 새로운 분류 정보를 생성하기 위해 수행될 수 있다.

제1 및 제2 정보 아이템들에 대한 분류 데이터를 생성한 후, 프로세스는 서버 시스템에 저장된 대응하는 분류 데이터를 사용하여 복수의 클라이언트 디바이스들에 대해 제1 및/또는 제2 정보 아이템들과 관련된 커스터마이징된 서비스들을 제공할 수 있다(508).

몇몇 실시예들에서, 프로세스는 제1 및 제2 정보 아이템들의 분류 데이터를 사용하여 사용자 프로파일들을 생성한다(508-1). 클라이언트 디바이스에서 사용자로부터의 서비스에 대한 요청에 응답하여, 프로세스는 사용자 프로파일들 및 대응하는 분류 데이터를 사용하여 요구되는 서비스들을 커스터마이징한다(508-2). 사용자 프로파일을 생성하기 위해, 프로세스는 이력적 쿼리 정보 및 대응하는 검색 결과들에서 사용자에 의해 제출된 한 세트의 쿼리들을 우선 식별한다(예를 들어, 도 3C의 348-1, 348-2). 검색 결과들은 제1 및 제2 정보 아이템들 중 하나 이상에 대응한다. 그 다음 프로세스는 사용자-선택 정보 아이템들의 분류 데이터를 식별하고 사용자-선택 정보 아이템들의 분류 데이터를 애그리케이팅한다(예를 들어, 도 3C의 348-4, 348-5).

몇몇 실시예들에서, 프로세스는 서비스 요청에 응답하여 사용자-독립적 서비스를 수행한다. 사용자-독립적 서비스는 제1 및 제2 정보 아이템들 중 하나 이상을 포함하는 초기 결과를 생성한다. 초기 결과의 각각의 정보 아이템들에 대해, 프로세스는 정보 아이템의 분류 데이터를 사용자 프로파일과 비교함으로써 스코어를 결정하고 아이템들 각각의 스코어들에 따라 초기 결과의 정보 아이템들을 다시 정렬하여 커스터마이징된 결과를 생성한다. 커스터마이징될 수 있는 예시적인 서비스들은 개인화된 검색, 타겟-지향적인 광고 또는 캠페인, 및 온라인 소셜 네트워크에서 개인적인 매칭 등을 포함하나 이에 한정되지 않는다.

도 5B는 몇몇 실시예들에 따라 사용자의 사용자 프로파일 및 분류 데이터를 사용하여 (정보 서버 시스템으로부터 멀리 위치한) 원격 클라이언트 디바이스의 사용자에 대한 개인화된 검색 결과들을 제공하기 위한 예시적인 프로세스를 도시한 순서도이다. 각각의 클라이언트 디바이스에서 사용자로부터 쿼리를 수신(532)한 후, 프로세스는 먼저 쿼리에 대응하는 한 세트의 검색 결과들을 식별한다(534). 검색 결과들 중 적어도 하나는 제2 정보 아이템들 중 하나와 관련된다. 프로세스는 검색 결과들에 대한 분류 데이터를 얻기 위해 정보 분류 데이터베이스에 액세스한다(536). 각각의 검색 결과에 대한 분류 데이터는 각각의 검색 결과와 관련된 하나 이상의 카테고리들을 식별한다(536-1). 다음으로, 프로세스는 검색 결과의 분류 데이터를 사용자 프로파일과 비교함으로써 검색 결과에 대한 스코어를 결정하고(538-1), 결정된 스코어에 따라 다른 검색 결과들에 관한 검색 결과를 정렬한다(538). 마지막으로, 프로세스는 클라이언트 디바이스에서의 디스플레이를 위해, 정렬된 검색 결과들의 적어도 서브셋을 나타내는 정보를 클라이언트 디바이스로 전송한다(540).

도 6은 몇몇 실시예들에 따른 클라이언트 디바이스(600)의 블록도이다. 디바이스(600)는 일반적으로 하나 이상의 프로세싱 유닛들(CPU's)(602), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(610), 메모리(612), 및 이러한 구성요소들을 연결하기 위한 하나 이상의 통신 버스들(614)을 포함한다. 통신 버스들(614)은 시스템 구성요소들 사이의 통신을 서로 연결하고 제어하는 (종종 칩셋이라 불리는) 회로를 포함할 수 있다. 클라이언트 디바이스(600)는 선택적으로 사용자 인터페이스(605), 예를 들어, 디스플레이 및 키보드를 포함할 수 있다. 메모리(612)는 DRAM, SRAM, DDR RAM과 같은 높은 속도의 랜덤 액세스 메모리 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들을 포함할 수 있고; 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들과 같은 비휘발성 메모리, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스들을 포함할 수 있다. 메모리(612)는 중앙처리 장치(들)(602)로부터 멀리 위치하는 대용량 저장소를 포함할 수 있다. 메모리(612), 또는 대안적으로 메모리(612) 내의 비휘발성 메모리 디바이스(들)은 컴퓨터 판독 가능 저장 매체를 포함한다. 메모리(612) 또는 메모리(612)의 컴퓨터 판독 가능 저장 매체는 다음 요소들, 또는 이 요소들의 서브셋을 포함하고, 추가적인 요소들을 또한 포함할 수 있다:

ㆍ 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 프로시져들을 포함하는 운영 체제(616);

ㆍ 인터넷, 다른 WAN(wide area network), LAN(local area network), 및 MAN(Metropolitan Area Network) 등과 같은 하나 이상의 통신 네트워크들(유선 또는 무선)을 통해 다른 서버들 또는 컴퓨터들로 클라이언트(104)를 연결하기 위해 사용되는 네트워크 통신 모듈(618);

ㆍ 브라우저와 같은 클라이언트 어플리케이션(620); 및

ㆍ 사용자의 활동들을 모니터링하기 위한 클라이언트 어시스턴트(108)(예를 들어, 툴바, 브라우저 플러그인); 몇몇 실시예들에서, 클라이언트 어시스턴트 또는 이들의 일부는 쿼리에 응답하여 클라이언트로 리턴되는 각각의 검색 결과 웹 페이지에 포함될 수 있다.

도 7은 몇몇 실시예들에 따른 정보 서버 시스템(700)을 도시한 블록도이다. 시스템(700)은 일반적으로 하나 이상의 프로세싱 유닛들(CPU's)(702), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(710), 메모리(712), 및 이러한 구성 요소들을 서로 연결하기 위한 하나 이상의 통신 버스들(714)을 포함한다. 시스템(700)은 선택적으로 디스플레이 디바이스 및 키보드를 포함하는 사용자 인터페이스를 포함할 수 있다. 메모리(712)는 DRAM, SRAM, DDR RAM과 같은 고속 랜덤 액세스 메모리 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들을 포함하고, 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들과 같은 비휘발성 메모리, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스들을 포함할 수 있다. 메모리(712)는 선택적으로 CPU(들)(702)로부터 멀리 위치한 하나 이상의 저장 디바이스들을 포함할 수 있다. 메모리(712), 또는 선택적으로 메모리(712) 내의 비휘발성 메모리 디바이스(들)는 컴퓨터 판독 가능 저장 매체를 포함한다. 메모리(712) 또는 메모리(712)의 컴퓨터 판독 가능 저장 매체는 다음 요소들, 또는 이러한 요소들의 서브셋을 저장하고 추가적인 요소들을 또한 포함할 수 있다:

ㆍ 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존적 태스크들을 수행하기 위한 프로시져들을 포함하는 운영 체제(716);

ㆍ 인터넷, 다른 WAN(wide area network), LAN(local area network), 및 MAN(Metropolitan Area Network) 등과 같은 하나 이상의 통신 네트워크들 및 하나 이상의 통신 네트워크 인터페이스들(710)(유선 또는 무선)을 통해 다른 컴퓨터들로 정보 서버 시스템(130)을 연결하기 위해 사용되는 네트워크 통신 모듈(718);

ㆍ 쿼리들을 프로세싱하기 위한 검색 엔진(126);

ㆍ 사용자 프로파일들에 관련된 데이터를 프로세싱하고, 선택적으로 사용자 프로파일들을 생성 및/또는 업데이트하기 위한 사용자 프로파일 관리자(128);

ㆍ 분류 데이터를 생성하고 유지하기 위한 정보 분류기(136);

ㆍ 검색 결과들의 분류 데이터 및 사용자 프로파일 정보에 따라 검색 결과들을 정렬하기 위한 쿼리 프로세서(124);

ㆍ 사용자 프로파일 정보를 저장하기 위한 사용자 프로파일 데이터베이스(132)

ㆍ 사용자 이력적 쿼리 정보를 저장하기 위한 쿼리 로그 데이터베이스(140);

ㆍ 분류 데이터를 저장하기 위한 정보 분류 데이터베이스(134); 일부 실시예들에서, 데이터베이스(134)는 또한 시드 분류 데이터베이스를 포함하는 한편, 다른 실시예들에서는 별개의 시드 분류 데이터베이스(138)가 서버 시스템(700)의 메모리에 저장;

ㆍ 사용자-제출 쿼리들의 분류 데이터(또는 프로파일들)를 저장하기 위한 쿼리 프로파일 데이터베이스(142); 및

ㆍ 중간 결과 테이블(720).

위에서 식별된 요소들 각각은 하나 이상의 이전에 언급된 메모리 디바이스들에서 저장되고, 위에서 설명된 기능들을 수행하기 위한 한 세트의 명령들에 대응한다. 위에서 식별된 모듈들 또는 프로그램들(즉, 명령들의 세트들)은 별개의 소프트웨어 프로그램들, 프로시져들 또는 모듈들로 구현될 필요가 없고, 따라서, 다양한 실시예들에서 이러한 모듈들의 다양한 서브셋들은 결합되거나 그렇지 않으면 재배열될 수 있다. 예를 들어, 도 7에 도시된 모듈들 및/또는 데이터베이스 중 일부는 검색 엔진(126) 내에 포함될 수 있다. 몇몇 실시예들에서, 메모리(612 및 712)는 위에서 데이터 구조들 및 식별된 모듈들의 서브셋을 저장할 수 있다. 더욱이, 메모리(612 및 712)는 위에서 설명되지 않은 추가적인 모듈들 및 데이터 구조들을 저장할 수 있다.

도 6 및 7은 여기서 설명된 실시예들의 구조적인 개요보다는 클라이언트 및 서버 시스템의 다양한 특징의 기능적인 설명을 목적으로 한다. 실제로, 당업자에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 결합될 수 있고, 몇몇 아이템들은 분리될 수 있다. 예를 들어, 도 7에 별개로 도시된 몇몇 아이템들은 단일 서버들에서 구현될 수 있고, 단일 아이템들은 하나 이상의 서버들에 의해 구현될 수 있다. 예를 들어, 정보 분류기(136)는 서버 시스템(700)의 다른 구성요소들보다 서버들의 상이한 세트에서 구현될 수 있다. 서버 시스템(700)을 구현하기 위해 사용되는 서버들의 실제 개수, 및 특징들이 그들 사이에 할당되는 방법은 구현예마다 변할 것이고, 피크(peak) 사용 기간들뿐만 아니라 평균 사용 기간들 동안 시스템이 처리해야 하는 데이터 트래픽의 양에 부분적으로 의존할 수 있다.

설명의 목적으로, 전술한 기재는 특정 실시예들을 참조하여 설명되었다. 그러나, 위의 예시적인 논의는 제시된 정확한 형태들로 발명을 망라하거나 제한하려는 것은 아니다. 많은 수정들 및 변형들이 위의 제시된 교지의 관점에서 가능하다. 실시예들은 발명 및 실제적인 적용 원리를 가장 잘 설명하기 위해 선택되고 설명되며, 그로 인해, 당업자로 하여금 발명 및 다양한 실시예들을 고려되는 특정 사용에 적절하도록 다양하게 변형하여 가장 잘 사용하게 한다.

Claims

컴퓨터 구현 방법으로서,
하나 이상의 프로세스들 및 메모리를 가진 서버 시스템에서,
제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보에 각각 액세스하는 단계 ― 상기 제1 정보 아이템들은 처음에 분류되고 상기 제2 정보 아이템들은 처음에 분류되지 않음 ―;
상기 제1 정보 아이템들의 분류 데이터에 액세스하는 단계;
상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하는 단계;
상기 생성된 분류 데이터를 상기 서버 시스템에 저장하는 단계; 및
상기 서버 시스템에 저장된 상기 대응하는 분류 데이터를 사용하여 상기 제2 정보 아이템들에 관련된 커스터마이징된(customized) 서비스들을 복수의 클라이언트 디바이스들에게 제공하는 단계를 포함하고,
상기 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하는 단계는,
상기 이력적 쿼리 정보에서 한 세트의 쿼리들을 식별하는 단계 ― 상기 쿼리들의 적어도 하나의 서브셋(subset) 각각은 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 가짐 ―;
상기 한 세트의 쿼리들에 대한 상기 이력적 쿼리 정보와 상기 제1 정보 아이템들의 상기 분류 데이터에 기반하여 상기 한 세트의 쿼리들에 대한 분류 데이터를 생성하는 단계; 및
각각이 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 갖는 상기 쿼리들의 서브셋의 상기 생성된 분류 데이터를 결합함으로써 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하는 단계를 포함하고,
상기 한 세트의 쿼리들에 대한 분류 데이터를 생성하는 단계는,
상기 쿼리들의 적어도 하나의 서브셋 각각에 대해,
상기 쿼리에 대응하는 한 세트의 검색 결과들과 상기 한 세트의 검색 결과들에 대응하는 한 세트의 상기 제1 정보 아이템들을 식별하는 단계;
상기 한 세트의 검색 결과들에서 그들의 대응하는 검색 결과들의 위치들 및 상기 대응하는 검색 결과들과의 사용자 상호작용(interaction) 중 적어도 하나에 따라서 상기 식별된 제1 정보 아이템들의 분류 데이터를 가중(weight)하는 단계; 및
상기 식별된 제1 정보 아이템들의 가중된 분류 데이터를 상기 쿼리의 분류 데이터로서 애그리게이팅(aggregate)하는 단계를 포함하는,
컴퓨터 구현 방법.
삭제
제1항에 있어서,
상기 이력적 쿼리 정보를 업데이트하는 단계; 및
상기 이력적 쿼리 정보에서 쿼리들의 식별, 상기 쿼리들에 대한 분류 데이터의 생성, 및 상기 업데이트된 이력적 쿼리 정보를 사용하여 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터의 생성을 반복하는 단계를 더 포함하는, 컴퓨터 구현 방법.
컴퓨터 구현 방법으로서,
하나 이상의 프로세스들 및 메모리를 가진 서버 시스템에서,
제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보에 각각 액세스하는 단계 ― 상기 제1 정보 아이템들은 처음에 분류되고 상기 제2 정보 아이템들은 처음에 분류되지 않음 ―;
상기 제1 정보 아이템들의 분류 데이터에 액세스하는 단계;
상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하는 단계;
상기 생성된 분류 데이터를 상기 서버 시스템에 저장하는 단계; 및
상기 서버 시스템에 저장된 상기 대응하는 분류 데이터를 사용하여 상기 제2 정보 아이템들에 관련된 커스터마이징된(customized) 서비스들을 복수의 클라이언트 디바이스들에게 제공하는 단계를 포함하고,
상기 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하는 단계는,
상기 이력적 쿼리 정보에서 한 세트의 쿼리들을 식별하는 단계 ― 상기 쿼리들의 적어도 하나의 서브셋(subset) 각각은 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 가짐 ―;
상기 한 세트의 쿼리들에 대한 상기 이력적 쿼리 정보와 상기 제1 정보 아이템들의 상기 분류 데이터에 기반하여 상기 한 세트의 쿼리들에 대한 분류 데이터를 생성하는 단계; 및
각각이 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 갖는 상기 쿼리들의 서브셋의 상기 생성된 분류 데이터를 결합함으로써 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하는 단계를 포함하고,
상기 쿼리들의 서브셋의 상기 생성된 분류 데이터를 결합함으로써 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하는 단계는,
상기 쿼리들의 서브셋의 각각의 쿼리에 대해,
상기 쿼리에 대한 한 세트의 검색 결과들에서 상기 처음에 분류되지 않은 정보 아이템에 대응하는 검색 결과의 검색 결과 위치 및 상기 대응하는 검색 결과들과의 사용자 상호작용 중 적어도 하나에 따라 상기 쿼리의 분류 데이터를 가중하는 단계; 및
상기 쿼리들의 서브셋의 가중된 분류 데이터를 상기 처음에 분류되지 않은 정보 아이템의 분류 데이터로서 애그리케이팅하는 단계를 포함하는,
컴퓨터 구현 방법.
삭제
제1항에 있어서,
상기 이력적 쿼리 정보는 사용자들의 커뮤니티에 의해 제출된 쿼리들에 대한 이력적 쿼리 정보를 포함하는, 컴퓨터 구현 방법.
제1항에 있어서,
상기 커스터마이징된 서비스들을 제공하는 단계는,
각각의 클라이언트 디바이스에서 사용자로부터 쿼리를 수신하는 단계 ― 상기 사용자는 관련된 사용자 프로파일을 가짐 ―; 및
상기 쿼리에 대응하는 한 세트의 검색 결과들을 식별하는 단계 ― 상기 검색 결과들 중 하나는 상기 제2 정보 아이템들 중 하나와 관련됨 ―;
상기 제2 정보 아이템의 상기 저장된 분류 데이터를 상기 사용자 프로파일과 비교함으로써 상기 검색 결과에 대한 스코어를 결정하는 단계;
상기 결정된 스코어에 따라 상기 다른 검색 결과들에 관해 상기 검색 결과를 정렬(order)하는 단계; 및
상기 클라이언트 디바이스로 적어도 상기 정렬된 검색 결과를 나타내는 데이터를 제공하는 단계에 의해
상기 쿼리에 응답하는 단계를 포함하는, 컴퓨터 구현 방법.
제1항에 있어서,
상기 커스터마이징된 서비스들을 제공하는 단계는,
상기 이력적 쿼리 정보에서 사용자에 의해 제출된 한 세트의 쿼리들 및 대응하는 검색 결과들을 식별하는 단계 ― 상기 검색 결과들은 상기 제1 및 제2 정보 아이템들 중 하나 이상에 대응함 ―;
상기 하나 이상의 정보 아이템들의 상기 분류 데이터를 애그리케이팅함으로써 상기 사용자에 대한 사용자 프로파일을 생성하는 단계;
상기 생성된 사용자 프로파일을 상기 서버 시스템에 저장하는 단계; 및
클라이언트 디바이스의 상기 사용자로부터의 서비스에 대한 요청에 응답하여, 상기 저장된 사용자 프로파일을 이용하여 상기 요청된 서비스를 커스터마이징하는 단계를 포함하는, 컴퓨터 구현 방법.
제8항에 있어서,
상기 요청된 서비스를 커스터마이징하는 단계는,
상기 서비스 요청에 응답하여 사용자-독립적 서비스를 준비하는 단계 ― 상기 사용자-독립적 서비스는 상기 제1 및 제2 정보 아이템들 중 하나 이상을 포함함 ―;
상기 정보 아이템의 분류 데이터를 상기 저장된 사용자 프로파일과 비교함으로써 상기 하나 이상의 정보 아이템들 각각에 대한 스코어를 결정하는 단계; 및
상기 하나 이상의 정보 아이템들 각각의 스코어들에 따라 상기 서비스에서 상기 하나 이상의 정보 아이템들을 재배열하는 단계를 포함하는, 컴퓨터 구현 방법.
제1항에 있어서,
상기 정보 아이템들 중 적어도 하나는 웹페이지인, 컴퓨터 구현 방법.
제1항에 있어서,
상기 정보 아이템들 중 적어도 하나는 복수의 웹 페이지들을 포함하는 웹사이트인, 컴퓨터 구현 방법.
컴퓨터 시스템으로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보에 각각 액세스하기 위한 명령 ― 상기 제1 정보 아이템들은 처음에 분류되고 상기 제2 정보 아이템들은 처음에 분류되지 않음 ―;
상기 제1 정보 아이템들의 분류 데이터에 액세스하기 위한 명령;
상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하기 위한 명령;
상기 생성된 분류 데이터를 서버 시스템에 저장하기 위한 명령; 및
상기 서버 시스템에 저장된 상기 대응하는 분류 데이터를 사용하여 상기 제2 정보 아이템들에 관련된 커스터마이징된 서비스들을 복수의 클라이언트 디바이스들에게 제공하기 위한 명령을 포함하고,
상기 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하기 위한 명령은,
상기 이력적 쿼리 정보에서 한 세트의 쿼리들을 식별하기 위한 명령 ― 상기 쿼리들의 적어도 하나의 서브셋(subset) 각각은 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 가짐 ―;
상기 한 세트의 쿼리들에 대한 상기 이력적 쿼리 정보와 상기 제1 정보 아이템들의 상기 분류 데이터에 기반하여 상기 한 세트의 쿼리들에 대한 분류 데이터를 생성하기 위한 명령; 및
각각이 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 갖는 상기 쿼리들의 서브셋의 상기 생성된 분류 데이터를 결합함으로써 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하기 위한 명령을 포함하고,
상기 한 세트의 쿼리들에 대한 분류 데이터를 생성하기 위한 명령은,
상기 쿼리들의 적어도 하나의 서브셋 각각에 대해,
상기 쿼리들의 적어도 하나의 서브셋 각각에 대응하는 한 세트의 검색 결과들과 상기 한 세트의 검색 결과들에 대응하는 한 세트의 상기 제1 정보 아이템들을 식별하기 위한 명령;
상기 한 세트의 검색 결과들에서 그들의 대응하는 검색 결과들의 위치들 및 상기 대응하는 검색 결과들과의 사용자 상호작용(interaction) 중 적어도 하나에 따라서 상기 식별된 제1 정보 아이템들의 분류 데이터를 가중(weight)하기 위한 명령; 및
상기 식별된 제1 정보 아이템들의 가중된 분류 데이터를 상기 쿼리의 분류 데이터로서 애그리게이팅(aggregate)하기 위한 명령을 포함하는,
컴퓨터 시스템.
삭제
제12항에 있어서,
상기 하나 이상의 프로그램들은,
상기 이력적 쿼리 정보를 업데이트하기 위한 명령; 및
상기 이력적 쿼리 정보에서 쿼리들의 식별, 상기 쿼리들에 대한 분류 데이터의 생성, 및 상기 업데이트된 이력적 쿼리 정보를 사용하여 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터의 생성을 반복하기 위한 명령을 더 포함하는, 컴퓨터 시스템.
컴퓨터 시스템으로서,
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보에 각각 액세스하고 ― 상기 제1 정보 아이템들은 처음에 분류되고 상기 제2 정보 아이템들은 처음에 분류되지 않음 ―;
상기 제1 정보 아이템들의 분류 데이터에 액세스하고;
상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 상기 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하고;
상기 생성된 분류 데이터를 서버 시스템에 저장하고;
상기 서버 시스템에 저장된 상기 대응하는 분류 데이터를 사용하여 상기 제2 정보 아이템들에 관련된 커스터마이징된 서비스들을 복수의 클라이언트 디바이스들에게 제공하기 위한 명령을 포함하고,
상기 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하기 위한 명령은,
상기 이력적 쿼리 정보에서 한 세트의 쿼리들을 식별하고 ― 상기 쿼리들의 적어도 하나의 서브셋(subset) 각각은 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 가짐 ―;
상기 한 세트의 쿼리들에 대한 상기 이력적 쿼리 정보와 상기 제1 정보 아이템들의 상기 분류 데이터에 기반하여 상기 한 세트의 쿼리들에 대한 분류 데이터를 생성하고;
각각이 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 갖는 상기 쿼리들의 서브셋의 상기 생성된 분류 데이터를 결합함으로써 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하기 위한 명령을 포함하고,
상기 쿼리들의 서브셋의 상기 생성된 분류 데이터를 결합함으로써 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하기 위한 명령은,
상기 쿼리들의 서브셋의 각각의 쿼리에 대해,
상기 쿼리에 대한 한 세트의 검색 결과들에서 상기 처음에 분류되지 않은 정보 아이템에 대응하는 검색 결과의 검색 결과 위치 및 상기 대응하는 검색 결과들과의 사용자 상호작용 중 적어도 하나에 따라 상기 쿼리의 분류 데이터를 가중하고;
상기 쿼리들의 서브셋의 가중된 분류 데이터를 상기 처음에 분류되지 않은 정보 아이템의 분류 데이터로서 애그리케이팅하기 위한 명령을 포함하는,
컴퓨터 시스템.
삭제
제12항에 있어서,
상기 커스터마이징된 서비스들을 제공하기 위한 명령은,
각각의 클라이언트 디바이스에서 사용자로부터 쿼리를 수신하기 위한 명령 ― 상기 사용자는 관련된 사용자 프로파일을 가짐 ―;
상기 쿼리에 대응하는 한 세트의 검색 결과들을 식별하기 위한 명령 ― 상기 검색 결과들 중 하나는 상기 제2 정보 아이템들 중 하나와 관련됨 ―;
상기 제2 정보 아이템의 상기 저장된 분류 데이터를 상기 사용자 프로파일과 비교함으로써 상기 검색 결과에 대한 스코어를 결정하기 위한 명령;
상기 결정된 스코어에 따라 상기 다른 검색 결과들에 관해 상기 검색 결과를 정렬하기 위한 명령; 및
상기 클라이언트 디바이스로 적어도 상기 정렬된 검색 결과를 나타내는 데이터를 제공하기 위한 명령을 포함하는, 컴퓨터 시스템.
제12항에 있어서,
상기 커스터마이징된 서비스들을 제공하기 위한 명령은,
상기 이력적 쿼리 정보에서 사용자에 의해 제출된 한 세트의 쿼리들 및 대응하는 검색 결과들을 식별하기 위한 명령 ― 상기 검색 결과들은 상기 제1 및 제2 정보 아이템들 중 하나 이상에 대응함 ―;
상기 하나 이상의 정보 아이템들의 상기 분류 데이터를 애그리케이팅함으로써 상기 사용자에 대한 사용자 프로파일을 생성하기 위한 명령;
상기 생성된 사용자 프로파일을 상기 서버 시스템에 저장하기 위한 명령; 및
클라이언트 디바이스의 상기 사용자로부터의 서비스에 대한 요청에 응답하여, 상기 저장된 사용자 프로파일을 이용하여 상기 요청된 서비스를 커스터마이징하기 위한 명령을 포함하는, 컴퓨터 시스템.
제18항에 있어서,
상기 요청된 서비스를 커스터마이징하기 위한 명령은,
상기 서비스 요청에 응답하여 사용자-독립적 서비스를 준비하기 위한 명령 ― 상기 사용자-독립적 서비스는 상기 제1 및 제2 정보 아이템들 중 하나 이상을 포함함 ―;
상기 정보 아이템의 분류 데이터를 상기 저장된 사용자 프로파일과 비교함으로써 상기 하나 이상의 정보 아이템들 각각에 대한 스코어를 결정하기 위한 명령; 및
상기 하나 이상의 정보 아이템들 각각의 스코어들에 따라 상기 서비스에서 상기 하나 이상의 정보 아이템들을 재배열하기 위한 명령을 포함하는, 컴퓨터 시스템.
삭제
삭제
내부에 하나 이상의 컴퓨터 프로그램들을 저장하는 비일시적인 컴퓨터 판독 가능 저장 매체로서, 상기 하나 이상의 컴퓨터 프로그램들은 컴퓨터 시스템에 의해 실행될 때 상기 컴퓨터 시스템으로 하여금,
제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보에 각각 액세스하게 하고 ― 상기 제1 정보 아이템들은 처음에 분류되고 상기 제2 정보 아이템들은 처음에 분류되지 않음 ―;
상기 제1 정보 아이템들의 분류 데이터에 액세스하게 하고;
상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 상기 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하게 하고;
상기 생성된 분류 데이터를 서버 시스템에 저장하게 하고;
상기 서버 시스템에 저장된 상기 대응하는 분류 데이터를 사용하여 복수의 클라이언트 디바이스들에게 상기 제2 정보 아이템들에 관련된 커스터마이징된 서비스들을 제공하게 하기 위한 명령을 포함하고,
상기 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하게 하기 위한 명령은,
상기 이력적 쿼리 정보에서 한 세트의 쿼리들을 식별하고 ― 상기 쿼리들의 적어도 하나의 서브셋(subset) 각각은 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 가짐 ―;
상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 한 세트의 쿼리들에 대한 상기 이력적 쿼리 정보에 기반하여 상기 한 세트의 쿼리들에 대한 분류 데이터를 생성하고;
각각이 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 갖는 상기 쿼리들의 서브셋의 상기 생성된 분류 데이터를 결합함으로써 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하기 위한 명령을 포함하고,
상기 한 세트의 쿼리들에 대한 분류 데이터를 생성하기 위한 명령은,
상기 쿼리들의 적어도 하나의 서브셋 각각에 대해,
상기 쿼리들의 적어도 하나의 서브셋 각각에 대응하는 한 세트의 검색 결과들과 상기 한 세트의 검색 결과들에 대응하는 한 세트의 상기 제1 정보 아이템들을 식별하고;
상기 한 세트의 검색 결과들에서 그들의 대응하는 검색 결과들의 위치들 및 상기 대응하는 검색 결과들과의 사용자 상호작용(interaction) 중 적어도 하나에 따라서 상기 식별된 제1 정보 아이템들의 분류 데이터를 가중(weight)하고;
상기 식별된 제1 정보 아이템들의 가중된 분류 데이터를 상기 쿼리의 분류 데이터로서 애그리게이팅(aggregate)하기 위한 명령을 포함하는,
비일시적인 컴퓨터 판독 가능 저장 매체.
제22항에 있어서,
상기 하나 이상의 컴퓨터 프로그램들은,
상기 이력적 쿼리 정보를 업데이트하기 위한 명령; 및
상기 이력적 쿼리 정보에서 쿼리들의 식별, 상기 쿼리들에 대한 분류 데이터의 생성, 및 상기 업데이트된 이력적 쿼리 정보를 사용하여 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터의 생성을 반복하기 위한 명령을 더 포함하는, 비일시적인 컴퓨터 판독 가능 저장 매체.
내부에 하나 이상의 컴퓨터 프로그램들을 저장하는 비일시적인 컴퓨터 판독 가능 저장 매체로서, 상기 하나 이상의 컴퓨터 프로그램들은 컴퓨터 시스템에 의해 실행될 때 상기 컴퓨터 시스템으로 하여금,
제1 정보 아이템들 및 제2 정보 아이템들에 대응하는 검색 결과들을 갖는 쿼리들에 대한 이력적 쿼리 정보에 각각 액세스하게 하고 ― 상기 제1 정보 아이템들은 처음에 분류되고 상기 제2 정보 아이템들은 처음에 분류되지 않음 ―;
상기 제1 정보 아이템들의 분류 데이터에 액세스하게 하고;
상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 이력적 쿼리 정보에 기반하여 상기 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하게 하고;
상기 생성된 분류 데이터를 서버 시스템에 저장하게 하고; 및
상기 서버 시스템에 저장된 대응하는 분류 데이터를 사용하여 복수의 클라이언트 디바이스들에게 상기 제2 정보 아이템들에 관련된 커스터마이징된 서비스들을 제공하게 하기 위한 명령을 포함하고,
상기 처음에 분류되지 않은 정보 아이템들에 대한 분류 데이터를 생성하게 하기 위한 명령은,
상기 이력적 쿼리 정보에서 한 세트의 쿼리들을 식별하고 ― 상기 쿼리들의 적어도 하나의 서브셋(subset) 각각은 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 가짐 ―;
상기 제1 정보 아이템들의 상기 분류 데이터 및 상기 한 세트의 쿼리들에 대한 상기 이력적 쿼리 정보에 기반하여 상기 한 세트의 쿼리들에 대한 분류 데이터를 생성하고; 및
각각이 상기 처음에 분류되지 않은 정보 아이템에 대응하는 관련된 검색 결과를 갖는 상기 쿼리들의 서브셋의 상기 생성된 분류 데이터를 결합함으로써 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하기 위한 명령을 포함하고,
상기 쿼리들의 서브셋의 상기 생성된 분류 데이터를 결합함으로써 상기 처음에 분류되지 않은 정보 아이템에 대한 분류 데이터를 생성하기 위한 명령은,
상기 쿼리들의 서브셋의 각각의 쿼리에 대해,
상기 쿼리에 대한 한 세트의 검색 결과들에서 상기 처음에 분류되지 않은 정보 아이템에 대응하는 검색 결과의 검색 결과 위치 및 상기 대응하는 검색 결과와의 사용자 상호작용 중 적어도 하나에 따라 상기 쿼리의 분류 데이터를 가중하고;
상기 쿼리들의 서브셋의 가중된 분류 데이터를 상기 처음에 분류되지 않은 정보 아이템의 분류 데이터로서 애그리케이팅하기 위한 명령을 포함하는,
비일시적인 컴퓨터 판독 가능 저장 매체.
삭제
제22항에 있어서,
상기 커스터마이징된 서비스들을 제공하기 위한 명령은,
각각의 클라이언트 디바이스에서 사용자로부터 쿼리를 수신하고 ― 상기 사용자는 관련된 사용자 프로파일을 가짐 ―;
상기 쿼리에 대응하는 한 세트의 검색 결과들을 식별하고 ― 상기 검색 결과들 중 하나는 상기 제2 정보 아이템들 중 하나와 관련됨 ―;
상기 제2 정보 아이템의 상기 저장된 분류 데이터를 상기 사용자 프로파일과 비교함으로써 상기 검색 결과에 대한 스코어를 결정하고;
상기 결정된 스코어에 따라 상기 다른 검색 결과들에 관해 상기 검색 결과를 정렬하고; 및
상기 클라이언트 디바이스로 적어도 상기 정렬된 검색 결과를 나타내는 데이터를 제공하기 위한 명령을 포함하는, 비일시적인 컴퓨터 판독 가능 저장 매체.
제22항에 있어서,
상기 커스터마이징된 서비스들을 제공하기 위한 명령은,
상기 이력적 쿼리 정보에서 사용자에 의해 제출된 한 세트의 쿼리들 및 대응하는 검색 결과들을 식별하고 ― 상기 검색 결과들은 상기 제1 및 제2 정보 아이템들 중 하나 이상에 대응함 ―;
상기 하나 이상의 정보 아이템들의 상기 분류 데이터를 애그리케이팅함으로써 상기 사용자에 대한 사용자 프로파일을 생성하고;
상기 생성된 사용자 프로파일을 상기 서버 시스템에 저장하고;
클라이언트 디바이스의 상기 사용자로부터의 서비스에 대한 요청에 응답하여, 상기 저장된 사용자 프로파일을 이용하여 상기 요청된 서비스를 커스터마이징하기 위한 명령을 포함하는, 비일시적인 컴퓨터 판독 가능 저장 매체.
제27항에 있어서,
상기 요청된 서비스를 커스터마이징하기 위한 명령은,
상기 서비스 요청에 응답하여 사용자-독립적 서비스를 준비하고 ― 상기 사용자-독립적 서비스는 상기 제1 및 제2 정보 아이템들 중 하나 이상을 포함함 ―;
상기 정보 아이템의 분류 데이터를 상기 저장된 사용자 프로파일과 비교함으로써 상기 하나 이상의 정보 아이템들 각각에 대한 스코어를 결정하고;
상기 하나 이상의 정보 아이템들 각각의 스코어들에 따라 상기 서비스에서 상기 하나 이상의 정보 아이템들을 재배열하기 위한 명령을 포함하는, 비일시적인 컴퓨터 판독 가능 저장 매체.
삭제