KR20060044525A - 검색 결과 관련성의 자동화된 최적화를 위한 시스템 및방법 - Google Patents

검색 결과 관련성의 자동화된 최적화를 위한 시스템 및방법 Download PDF

Info

Publication number
KR20060044525A
KR20060044525A KR1020050023514A KR20050023514A KR20060044525A KR 20060044525 A KR20060044525 A KR 20060044525A KR 1020050023514 A KR1020050023514 A KR 1020050023514A KR 20050023514 A KR20050023514 A KR 20050023514A KR 20060044525 A KR20060044525 A KR 20060044525A
Authority
KR
South Korea
Prior art keywords
search
data
performance
search results
result
Prior art date
Application number
KR1020050023514A
Other languages
English (en)
Other versions
KR101130505B1 (ko
Inventor
에릭 비. 워트슨
올리버 허스트-힐러
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060044525A publication Critical patent/KR20060044525A/ko
Application granted granted Critical
Publication of KR101130505B1 publication Critical patent/KR101130505B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3325—Reformulation based on results of preceding query
    • G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/83—Querying
    • G06F16/835—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99942—Manipulating data structure, e.g. compression, compaction, compilation

Abstract

검색 엔진에서의 검색 결과의 관련성 최적화를 자동화하기 위한 방법, 시스템 및 컴퓨터 이용가능 매체가 제공된다. 본 시스템 및 방법은 검색 결과의 수행 성능의 다양한 측면을 표시하는 데이터를 계속적으로 수집하고, 이 성능 데이터를 당해 검색 결과에 대한 성능의 기대치와 비교한다. 또한, 본 시스템 및 방법은 저성능 결과의 가능한 원인을 진단하고, 검색 결과의 관련성을 최적화하기 위해 검색 엔진의 연산(operation)을 자동적으로 조정한다.
검색, 최적화, 검색 엔진, 관련성, 성능 데이터

Description

검색 결과 관련성의 자동화된 최적화를 위한 시스템 및 방법{SYSTEM AND METHOD FOR AUTOMATED OPTIMIZATION OF SEARCH RESULT RELEVANCE}
"발명이 이루고자 하는 기술적 과제"란에서 설명하는 본 발명의 특징들 및 후술하는 본 발명의 효과들은 첨부된 도면들과 관련하여 이하의 상세한 설명을 참조함으로써 더 잘 이해될 것이다.
도 1은 본 발명에 따라 검색 결과의 관련성의 최적화가 자동화될 수 있는 연산 환경(operating environment)에 적합한 검색 엔진 시스템의 예를 도시한 블록 다이어그램.
도 2는 본 발명의 일 실시예를 구현한 자동화된 관련성 최적화 시스템을 도시한 블록 다이어그램.
도 3은 본 발명의 일 실시예에 따라 도 1의 검색 엔진 서버에 구현된 도 2의 관련성 최적화 시스템의 소정의 컴포넌트들의 상세 배치를 도시한 블록 다이어그램.
도 4a는 본 발명의 일 실시예를 구현하기 위한 검색 엔진 사용자 인터페이스의 예를 도시한 화면 다이어그램
도 4b는, 본 발명의 일 실시예에 따라, 검색 결과가 자동적으로 최적화된 후, 시간 경과 후의 도 4a의 검색 엔진 사용자 인터페이스의 예를 도시한 화면 다이 어그램.
도 5a 및 5b는, 본 발명의 일 실시예에 따라, 검색 엔진에서 검색 결과 관련성의 최적화를 자동화하기 위하여 도 2 및 도 3의 자동화된 관련성 최적화 시스템과 관련되어 수행되는 논리를 도시한 흐름도.
일반적으로, 본 발명은 컴퓨터 소프트웨어 및 검색 엔진에 관한 것이고, 특히 검색 결과 관련성의 최적화를 자동화하기 위한 시스템 및 방법에 관한 것이다.
인터넷 검색 엔진은 이를 운영하는 서비스 공급자들에게 중요한 수익의 원천이 되고 있다. 수익은 검색의 최종 사용자들에게 광고를 디스플레이함으로써 주로 발생한다. 검색 엔진이 더 많은 인터넷 트래픽을 수신할수록, 광고주들에게 더 매력적이고, 더 많은 수익을 발생시킬 수 있다. 그러나, 오늘날 관련이 있는 것이 내일은 관련이 없을 수도 있고, 심지어 동일자에 관련이 없게 될 수도 있다. 서비스 제공자들이 계속 변화하는 대중적인 유행 및 뉴스 상의 토픽들에 기초해 검색가능한 콘텐츠의 급속한 변화에 발맞추기는 매우 어렵다.
검색 엔진 운영자들이 그들의 검색 엔진이 생성하는 결과들의 관련성을 유지하기 위해 시도하는 한 방법은 관련성 스키마(relevance schema)를 사용하는 것이다. 관련성 스키마는, 통상 관련성의 특정 순서대로 한 세트의 검색 결과를 생성하기 위해 검색 엔진이 사용하는 알고리즘을 가리킨다. 관련성 스키마를 사용하여 산출된 결과들이 유효한지, 즉 결과가 여전히 관련성이 있는지를 판정하기 위해, 관련성 스키마는 인간의 판단을 사용하여 계속적으로 재평가된다. 검색 엔진 운영자는 인간의 판단에 의해 표시되는 바에 따라 스키마를 때때로 변화시킨다.
검색 엔진의 관련성을 유지하기 위한 위 접근법의 문제점은 이 방법이 시간 소모적이고, 느리며, 주관적이라는 점이다. 인간의 판단은 단지 많은 수의 가능한 검색 결과들을 평가할 수 있을 뿐이며, 무엇이 관련이 있고 없는지에 대한 인간의 판단은 통상의 사용자의 판단을 반영하지 못할 수 있다. 다른 접근법들도 유사한 문제점을 안고 있다. 예컨대, 몇몇 사용자들은 검색 엔진 운영자에 의해 행해진 조사(survey)에 있어서 검색 결과의 특정 세트의 관련성에 대해 직접적인 피드백을 주는 답변을 할 수도 있다. 그러나, 이런 방식으로 수집된 데이터의 양은 신뢰할만한 것으로 간주하기에는 불충분한 수준일 수 있으며, 사용자들이 검색할 때 원하는 것을 진정으로 반영한 수준의 내용과 깊이를 갖지 못한다.
점점 인기를 얻고 있는 또 다른 접근법은 검색 결과로 수집된 클릭-쓰루(click-through) 데이터를 사용하는 것이다. 검색 엔진 운영자는, 결과에 대한 사용자들의 클릭 횟수, 즉 "클릭-쓰루 비"("click-through rate") 또는 CTR을 기록함으로써, 검색 결과와 사용자의 상호작용을 수집한다. 클릭-쓰루 데이터는, 사용자가 검색 결과와 상호작용하기 때문에 데이터가 대량으로 수집될 수 있어 사용자 만족도의 좀더 객관적인 측정치이자 좀더 신뢰할만한 관련성 지수가 될 수 있다는 점에서 많은 장점이 있다. 일반적으로, 지금까지의 경험상으로는, CTR이 높을수록, 그 결과는 더 관련성이 있거나 또는 적어도 결과에 대한 사용자의 만족도가 더 높다. 그러나, CTR 데이터는 여전히 분석되어야만 하며, 분석 후에 운영자는 더 나은 결과를 생성하기 위하여 관련성 스키마를 어떻게 업데이트할 지 결정해야만 한다. 게다가, CTR 데이터만으로는 의미있는 결과를 산출하기 부족할 수 있다. 예컨대, 특정 결과의 CTR은 당해 페이지 상의 결과의 외관(appearance)과 관련된 다수의 인자들에 의해 영향을 받을 수 있는데, 위 외관은 CTR을 부당하게 부풀려서 결국 암시적인 결과의 실제 관련성과 비례하지 않는 결과를 초래한다.
접근법이 무엇이든지 간에, 검색 결과의 관련성을 판정하는 것은 어려운 일인데, 이는 많은 부분에 있어 검색 결과의 성공을 나타내는 결정적인 단일 지표가 없기 때문이다. 검색 엔진에 의해 다뤄지는 쿼리(query)의 수의 단위와 검색 결과가 생성되는 속도는 관련성을 빠르게 움직이는 목표로 만든다.
위에 기술한 문제점을 극복하기 위해서, 검색 결과에서 검색 결과의 관련성의 최적화를 자동화하기 위한 시스템, 방법 및 컴퓨터로 이용가능한 매체(computer accessible medium)가 제공된다. 본 시스템과 방법은 검색 결과의 수행 성능에 대한 다양한 면모들을 표시하는 데이터를 계속적으로 수집하고, 성능 데이터를 그 검색 결과에 대한 성능의 기대값과 비교한다. 또한, 본 시스템 및 방법은 저성능 데이터의 가능한 원인을 진단하고,검색 엔진의 연산(operation)을 자동적으로 변경하여 검색 결과의 관련성을 최적화한다.
본 발명의 일 태양에 따라, 성능 데이터는 하나 이상의 소스로부터 수집되고, CTR 데이터와 같이 검색 결과와 사용자가 상호작용할 때 자동적으로 수집되는 암시적인 데이터(implicit data)를 포함하는 것이 바람직하지만, 주관적으로 인간에 의해 판단된 데이터, 관련성 검증 테스트 데이터 및 샘플 테스트 데이터뿐만 아니라 사용자가 검색 엔진의 도움말 또는 지원 항목을 사용할 때 또는 사용자 만족도 조사에 답할 때에 수집되는 명시적인 데이터(explicit data)를 포함할 수도 있다. 다양한 소스의 데이터는 관련성 지표로서의 상대적인 중요도 또는 신뢰도를 반영하기 위해 정규화(normalization)될 수 있다.
본 발명의 또 다른 측면에 따르면, 성능 데이터의 기대치는, CTR의 기대치와 같이, 결과에 대해 기대되는 성능을 나타내는 하나 이상의 값(들)일 수 있으며, 각 시장마다 달라질 수 있다. 성능의 기대치에 못 미치는 또는 상당히 못 미치는 성능을 보이는 경우를 포함하여 결과의 성능이 성능의 기대치를 충족하지 못할 때, 결과가 저성능(underperforming)인 것으로 판정될 수 있다.
본 발명의 또 다른 측면에 따르면, 저성능 결과의 가능한 원인을 분석하는 단계는, 그 결과가 더 이상 유효하지 않은 웹 사이트 또는 문서로 링크되어 불량한 장소로 나타나고 있는 것인지, 그 결과를 가져온 검색어의 철자가 틀리기 쉬울 수 있는지 또는 의미있는 결과를 낳기에는 검색어가 너무 광범위한 것인지, 또는 특정 검색어에 대한 검색은 특정 리소스, 예컨대 로컬 커뮤니티 리소스와 같은 곳에만 한정되어야만 하는 것인지 등과 같은 다수의 요인들을 고려하는 단계를 포함한다.
본 발명의 또 다른 측면에 따르면, 결과의 관련성을 최적화하기 위해 검색 엔진의 연산(operation)을 자동으로 보정하는 단계는, 검색 엔진의 컴포넌트들에 대한 다양한 조치(action)를 취하는 단계를 포함한다. 예컨대, 검색 결과를 산출 하기 위해 검색 엔진에 의해 사용되는 검색 스키마가 변경되어 장래의 검색 결과의 순위가 재조정되거나, 검색 결과가 제거되거나, 재위치되거나 또는 다른 결과로 대체될 수 있다. 몇몇 경우, 검색 결과는 동일하게 남아 있을 수 있지만, 가시도(visibility)를 증대시키고 성능을 향상시키기 위해 결과의 프레젠테이션이 증대될 수 있다. 또 다른 경우에는, 저성능 검색이 일시적으로 새로운 또는 증대된 결가를 포함하도록 일시적으로 변경되어 이 변경을 영구적인 것으로 만들기 전에 샘플 시장에서 테스트될 수 있다. 검색어 자체가 문제인 경우, 맞춤법 검사기의 허용 오차를 증대시키거나, 또는 사용자에게 추가 검색어로 검색을 명확히하거나 또는 더 한정하라고 요구하는 프롬프트를 제공하도록 결과의 프레젠테이션을 변경할 수 있다. 몇몇 경우에는, 검색 결과 성능 상의 갑작스런 변화에 대응하여 검색 결과의 관련성을 신속하게 최적화하기 위해 검색 엔진의 연산을 실시간으로 조정할 수 있다.
본 발명의 또 다른 측면에 따르면, 검색 엔진에서 검색 결과 관련성의 최적화를 자동화하기 위한 컴퓨터-이용가능한 매체가 제공된다. 컴퓨터-이용가능한 매체는, 성능 데이터를 수집하고, 저성능 검색을 진단하고, 검색 결과의 관련성을 최적화하기 위해 검색 엔진의 연산을 자동으로 조정하는 자동화된 관련성 최적화기(automated relevance optimizer)를 포함하는 데이터 구조 및 컴퓨터로 구현가능한 컴포넌트들을 포함한다.
다음의 설명은 본 발명의 일 실시예의 다양한 측면을 구현하기에 적합한 컴 퓨팅 시스템에 대한 간결하고 일반적인 설명을 제공하기 위한 것이다. 컴퓨팅 시스템은, 통신 네트워크를 통해 서로 연결된 원격 컴퓨팅 장치들에 의해 상호보완적인 작업들이 수행되는 분산형 컴퓨팅 환경에서 사용될 수 있는 개인 및 서버 컴퓨터 또는 다른 유형의 컴퓨팅 장치들에 대한 통상적인 맥락 하에서 기술되겠지만, 당업자는 본 발명이 멀티프로세서 시스템, 미니컴퓨터, 메인프레임 컴퓨터 등을 포함한 기타 다양한 컴퓨터 시스템 구성을 갖고 실시될 수 있다는 점을 이해할 것이다. 상술한 종래의 컴퓨터 시스템 외에도, 당업자는 본 발명이 랩탑 컴퓨터들, 타블릿 컴퓨터들, PDAs(personal digital assistants), 핸드폰 및 컴퓨터 소프트웨어 또는 다른 디지털 콘텐츠가 인스톨된 여타 장치들을 포함한 다른 컴퓨팅 장치들에서도 실시될 수 있다는 점을 인식할 것이다.
본 발명의 측면들이 개인용 컴퓨터와 관련하여 웹 브라우저에 의해 실행되는 프로그램 또는 프로세스, 혹은 서버 컴퓨터와 관련하여 검색 엔진에 의해 실행되는 프로그램 또는 프로세스의 관점에서 기술될 수 있지만, 당업자는 이런 측면들이 다른 프로그램 모듈들과 조합하여 구현될 수도 있다는 점을 인식할 것이다. 일반적으로, 프로그램 모듈은 루틴, 서브루틴, 프로그램, 프로세스, 컴포넌트, 데이터 구조, 함수, 인터페이스, 오브젝트 등을 포함하는데, 이들은 특정 작업을 수행하거나 특정한 추상적인 데이터 유형들을 구현한다.
도 1은 검색 엔진 시스템(100)의 예를 도시한 것으로서, 본 발명의 일 실시예에 따라 검색 결과의 최적화가 자동화될 수 있는 연산 환경에 적합한 것이다. 도시된 바와 같이, 연산 환경은, 장치들(102 및 104)과 같은 다양한 사용자 장치들 과 프론트-엔드 사용자 커뮤니케이션과 백-엔드 검색 서비스를 제공하는 것을 통상 담당하는 검색 엔진 서버(112)를 포함한다. 검색 엔진 서버(112)에 의해 제공되는 프론트-엔드 커뮤니케이션은, 여러가지 서비스들 중에서, 컴퓨터 시스템(102) 및 PDA(104)와 같은 다양한 사용자 장치들로부터 수신한 정보 및 검색 쿼리에 대한 응답으로 하이퍼텍스트 전송 프로토콜(hypertext transfer protocol)을 사용하여 검색 웹 페이지(106)로 조직화된 텍스트 및/또는 그래픽을 생성하는 것을 포함할 수 있다. 검색 엔진 서버(112)에 의해 제공되는 백-엔드 검색 서비스는, 여러 서비스들 중에서, 다양한 사용자 장치들(102 및 104)로부터 수신한 정보 및 검색 쿼리를 사용하여 관련성 있는 웹 콘텐츠를 검색하는 것, 검색 웹 페이지(106)의 관련성 있는 웹 콘텐츠에 대한 링크를 나타내는 검색 결과들(110)을 생성하는 것, 및 웹 페이지 및 검색 결과 성능을 추적하는 것을 포함한다.
도 1에 도시된 환경에서, 사용자 장치들(102, 104)은, 인터넷(116)과 같은 하나 이상의 컴퓨터 네트워크를 통해 검색 엔진 서버(112)와 통신한다. 인터넷을 통한 통신을 위한 프로토콜 및 컴포넌트들은 컴퓨터 네트워크 통신 분야의 당업자에게 매우 잘 알려져 있다. 사용자 장치들(102, 104), 검색 엔진 서버(112) 및 관련성 스키마(114) 사이의 통신은 지역 유선 혹은 무선 컴퓨터 네트워크 연결에 의해서도 가능할 수 있다. 도 1에 도시된 검색 엔진 서버(112) 역시 분산 컴퓨팅 환경에서 동작할 수 있는데, 분산 컴퓨팅 환경은 통신 링크를 통해, 예컨대 하나 이상의 컴퓨터 네트워크 또는 직접 연결을 이용해 상호 연결된 몇 개의 컴퓨터 시스템을 포함할 수 있다. 그러나, 서버(112)가 도 1에 도시된 컴포넌트들보다 더 적거 나 많은 수의 컴포넌트들을 가진 컴퓨터 시스템에서 동일하게 동작할 수 있다는 점을 당업자는 이해할 것이다. 따라서, 도 1의 연산 환경에 대한 도시는 예시적인 것으로 받아들여져야만 하며, 첨부된 청구범위의 범위를 한정하는 것이 아니다.
도 2는 본 발명의 일 실시예를 구현하기 위한 자동화된 관련성 최적화 시스템(200)을 도시한 블록 다이어그램이다. 적절한 일 실시예에서, 자동화된 관련성 최적화 시스템(200) 덕분에 검색 엔진 운영자는 검색 결과 관련성의 최적화를 자동화할 수 있는 이점이 있다. 자동화된 관련성 최적화 시스템(200)은 성능 데이터를 수집하고, 이 데이터에 기초해 검색 결과의 성능을 진단하고, 검색 웹 페이지(106)에 디스플레이된 검색 결과(110)의 관련성을 최적화하는 데 필요한 검색 엔진 시스템의 연산을 자동적으로 조정하는 자동화된 관련성 최적화기 프로세스(202)를 포함한다.
일 실시예에서, 도 2에 도시된 바와 같이, 성능 데이터는 다양한 소스로부터 수집되는데, 여러 가지들 중에서, 다음의 데이터를 포함한다: 검색 결과(110)와의 사용자의 상호작용으로부터 얻은 암시적인 관련성 데이터(implicit relevance data; 204), 예컨대 클릭-쓰루 데이터; 사용자가 검색 엔진 운영자에 의해 제공되는 검색 엔진 도움말 또는 지원 항목을 사용할 때 또는 사용자 만족도 조사에 응답할 때 수집되는 명시적인 관련성 데이터(explicit relevance data; 206); 검색 결과의 관련성을 주기적으로 평가하기 위해 인간의 판단에 의해 생성되는 인간-판단 테스트 데이터(208); 검색 관련성 스키마(114)를 변경하기 전 및 후에 산출된 검색 결과들의 유효성을 검증하기 위한 검증 테스트로부터 생성된 관련성 검증 테스트 데이터(210) - 이 데이터는 하나의 검색어에 대한 검색 결과의 관련성을 증가시키기 위한 수정이 우연히 다른 검색어에 대한 검색 결과의 관련성을 감소시키는 결과를 가져오지 않는 것을 보장하기 위한 것임; 및 사용자 그룹들에 대한 테스트로부터 생성된 A/B 테스트 데이터(212) - 이는 그룹 A 및 그룹 B가 검색 엔진의 연산에 대한 조정 및 검색 결과의 관련성에 대한 영향을 시험하기 위한 데이터로서, 성능의 새 기대치가 아직 결정되지 않은 새롭게 삽입된 결과의 관련성, 새로운 및/또는 변화된 결과를 산출하기 위한 검색 스키마의 일시적인 변경, 및 검색 엔진의 연산에 대한 다른 유형의 일시적인 변경을 포함한다.
일 실시예에서, 암시적인 관련성 데이터(204)는 결과의 클릭 쓰루율(click-through rate: CTR)에 의해 측정되는데, 클릭 쓰루율은 결과가 디스플레이되는 횟수와 디스플레이된 후에 결과를 사용자가 클릭한 횟수를 비교함으로써, 즉 클릭 횟수로 임프레션의 횟수를 나눔으로써 결정된다. 또한, 암시적인 관련성 데이터(204)는, 검색 웹 페이지(106)에 디스플레이될 때의 검색 결과(110)의 위치 및 결과의 다른 특성들(예컨대, 색, 사이즈, 폰트, 에니메이션, 그래픽스 및 이웃한 검색 결과의 성능 데이터)과 같이 검색 결과 엔진(112)에 의해 추적되는 다른 데이터를 포함할 수 있다. 검색 엔진 서버(112)는, 당업계에 알려진 바와 같이, 스팸 클릭, 로봇에 의한 시물레이션된 클릭, 및 다른 의심스러운 클릭들(소정의 시간 동안 또는 식별되지 않은 소스로부터 동일한 IP 주소로부터의 다중 클릭들)과 같은 부정 클릭들을 감지하고 필터링하도록 구성된다.
바람직한 일 실시예에서, 더 복잡한 사용자 상호작용이 통상 CTR 단독의 경 우보다 더 좋은 관련성 지표이기 때문에, 암시적인 관련성 데이터(204)는 결과의 CTR외에도 검색 결과(108)와 사용자의 복잡한 상호작용을 나타내는 데이터를 포함한다. 복잡한 사용자 상호작용의 예는, 여러 가지 것들 중에서, 결과가 브라우징(browsing)된 시간의 길이, 결과가 편집되었는지, 다른 사람에게 이메일되었는지, 인쇄되었는지, 또는 북마크되었지는 여부, 또는 결과의 전부 또는 부분이 사용자의 다른 문서에 포함되기 위하여 '오려두기 및 붙이기(cut and paste)'되었는지 또는 복사되었는지 여부를 단독으로 또는 조합하여 포함한다.
일 실시예에서, 암시적인 관련성 데이터(204)는 단일 상호작용에 대해 수집되거나, 사용자가 검색 결과와 상호작용하는 주어진 세션 동안의 모든 상호작용에 대해 취합(aggregation)될 수도 있고 또는 동일한 검색 결과에 대한 모든 사용자들의 상호작용에 대해 그들이 유사하게 검색하는 동안 더욱 집단적으로 더욱 취합될 수도 있다. 예컨대, 암시적인 관련성 데이터(204)의 기본 단위는 단일 사용자, 단일 쿼리 및 단일 결과의 상호작용의 원자 수준의 측정치이다. 결과를 인쇄하는 것, 즐겨찾기 폴더에 결과를 북마크하는 것, 결과를 이메일로 몇몇 친구들에게 전송하는 것 등과 같이, 주어진 세션에 대해 몇 개의 원자 수준의 측정치가 있을 수 있다. 모든 사용자들 및 모든 쿼리에 대한 원자수준의 측정치들을 모두 취합함으로써, 암시적인 관련성 데이터(204)는 관련성에 대한 탁월한 지표가 되기에 충분히 크고 상세한 데이터 총체(corpus)이다. 본 명세서에 참조 문헌으로서 포함되는 동일 출원인의 미국특허출원 제______호에 상세히 기재된 바와 같이, 바람직한 일 실시예에서, 자동화된 관련성 최적화 시스템(200)은 암시적인 관련성 데이터(204)를 수집한다. 데이터가 검색 결과의 관련성을 매우 정확하게 표시하기에 충분히 크고 상세하기만 하다면, 암시적인 관련성 데이터(204)를 수집하는 다른 방법들은 첨부된 청구범위의 범위에서 벗어남이 없이 구현될 수 있다.
일 실시예에서, 다양한 소스의 성능 데이터(204, 206, 208, 210 및 212)에 반영된 바와 같이, 자동화된 관련성 최적화기(202)는 결과에 대한 관련성 데이터의 기대치(214)를 입수하고, 이 데이터를 실제 성능과 비교한다. 자동화된 관련성 최적화기(202)가 실제 성능이 성능의 기대치보다 낮다고 판정하면, 결과의 관련성을 증가시켜 성능을 더 낫게 하기 위하여 검색 엔진의 연산을 조정하는 조치(216)가 취해진다. 일 실시예에서, 자동화된 관련성 최적화기(202)는 실제 성능이 소정 기간 동안 허용가능한 성능 임계치보다 상당히 낮은 후에만 실제 성능이 성능의 기대치에 못 미친다고 판정한다. 이 접근법은 결과의 실제 성능이 종잡을 수 없는 때의 불필요한 조정을 피한다.
일 실시예에서, 조치(216)는, 여러 가지 중에서, 검색 알고리즘을 변화시켜 관련성 스키마 데이터베이스(114)를 변화시키는 것을 포함하는데, 이 변화에 의해 문제가 되는 검색어에 대해 차회 검색이 이루어지면 이전의 검색에서 산출된 결과와 비교해 다른 (및 향상된) 세트의 검색 결과가 산출된다. 예컨대, 변화된 관련성 스키마 데이터베이스(114)에 모두 반영된 바와 같이, 원본 세트의 결과에서 나타나는 특정 결과가 제거되거나 또는 결과 리스트 상에서 훨씬 아래에 나타나도록 그 순위가 재조정되어서, 업데이트된 검색 알고리즘에 따른 새로운 결과가 제 위치에 삽입될 수 있다. 다른 실시예에서, 조치(216)는 실시간으로 적용되는 검색 결 과에 대한 변화를 포함한다. 예컨대, 자동화된 관련성 최적화기(202)는 현존하는 관련성 스키마(114)에 따라 검색 엔진(112)에 의해 산출된 검색 결과(110)를 인터셉트하여, 검색 결과가 사용자 장치(102, 104)에 전달되기 전에, 최근 몇 시간 동안 다른 사용자들에게 디스플레이되었던 때의 결과의 저성능에 대한 최신 분석에 기초하여 조정(216)을 적용할 수 있다.
일 실시예에서, 조치(216)는, 여러 가지들 중에서, 관련성 기대치 데이터(214)에 대한 변화를 포함하는데, 이에 의해 그 검색어에 대한 검색이 실시되는 차회에는 검색 엔진 운영자가 검색 엔진의 연산의 다른 측면들을 변경시키기 전에 검색 엔진 운영자가 기대한 성능을 더 잘 반영하도록 결과의 성능을 측정하는 데에 사용되는 기대치들이 변경된다.
물론, 다음과 같이 본 청구범위의 범위에서 벗어남이 없이 상술한 조치들(216)의 몇몇의 조합을 행할 수 있다. 예컨대, 자동화된 관련성 최적화기(202)는 저성능 검색의 검색 결과(110)에 새로운 결과를 자동적으로 삽입할 수 있는데, 동시에 새로운 결과의 성능을 테스트하기 위하여 관련성 기대치 데이터(214)를 초기 기간 동안 더 낮은 값으로 자동적으로 변화시킬 수 있다. 더 정확한 성능 예측이 확실해지게 되는 순간, 관련성 기대치 데이터(214)는 그에 맞게 변화될 수 있다.
도 3은 도 2에 도시된 자동화된 관련성 최적화 시스템(200)의 연산을 담당하는 검색 엔진 서버(112)의 컴퓨팅 컴포넌트들의 소정의 예의 자세한 배치를 도시한 블록 다이어그램이다. 특히, 검색 엔진 서버(112)는, 검색 엔진 서버(112)의 일반적인 관리와 연산을 위한 실행가능한 프로그램 명령을 구현하기 위한 운영 시스템 (302), 프로세서(306) 및 메모리(308)를 포함하는 것으로 도시되어 있다. 검색 엔진 서버(112)는, 사용자의 검색어(108)에 응답하기 위해 그리고 검색 결과(110)를 제공하기 위해, 인터넷(116)과 같은 네트워크와 통신하기 위한 네트워크 인터페이스(304)를 더 포함하고 있다. 운영 시스템(302), 프로세서(306), 메모리(308) 및 네트워크 인터페이스(304)에 적합한 구현례는 공지되어 있거나 상업적으로 이용가능하며, 당업자에 의해 이미 구현되어 있다 - 본 명세서의 개시 내용에 비추어 보면, 특히 그렇다.
검색 엔진 서버(112)의 메모리(308)는, 자동화된 관련성 최적화기 프로세스(202)를 포함하는, 컴퓨터로 실행가능한 프로그램 명령을 포함한다. 자동화된 관련성 최적화기 프로세스(202)는, 여러 가지들 중에서, 데이터 수집 프로세스(310), 진단 프로세스(312) 및 조정 프로세스(314)를 포함한다. 데이터 수집 프로세스(310)는, 암시적인 관련성 데이터(204), 명시적인 관련성 데이터(206), 인간-판단 테스트 데이터(208), 관련성 검증 테스트 데이터(210) 및 샘플 A/B 테스트 데이터(212)를 포함하여 도 2와 관련하여 상술한 다양한 소스로부터 성능 데이터를 수집하는 것을 담당한다. 또한, 데이터 수집 프로세스(310)는 데이터가 유래한 소스의 상대적인 중요도에 기초해 성능 데이터를 정규화한다. 바람직한 일 실시예에서, 암시적인 관련성 데이터(204)는 다른 소스의 데이터보다 더 양호하고 더 객관적인 지표로 통상 간주되기 때문에, 가장 큰 가중치를 부여받는다. 그럼에도 불구하고, 몇몇 실시예에서는, 인간-판단 테스트 데이터와 같은 다른 성능 데이터가 암시적인 관련성 데이터(204)보다 우위에 있을 수 있다. 정규화된 성능 데이터는 성능 기대 치 데이터(214)와의 비교를 위한 준비를 하기 위해 서로 결합된다.
일 실시예에서, 진단 프로세스(312)는 결합되고 정규화된 성능 데이터를 성능 기대치 데이터(214)와 비교한다. 이 비교에서 검색 결과(110)가 저성능인 것으로 나타나면, 진단 프로세스(312)는 그 이유의 판정을 시도한다. 예컨대, 저성능 결과는 미동작 웹 사이트, 더 이상 유지되지 않는 웹 페이지, 또는 더 이상 유효하지 않은 문서와 링크되어 있을 수 있다. 몇몇 경우에는, 사용자에게 다른 결과에 비해 그다지 눈에 띄지 않는 웹 페이지(106)의 섹션에 위치하거나, 그런 방식으로 표시되어 있을 수 있다.
저성능 결과는 검색 결과(110)보다 검색어(108)와 더 관계가 있을 수 있다. 예컨대, 몇몇 경우에, 검색어는 쉽게 오기될 수 있는 것이거나, 또는 의미있는 결과를 산출하기에는 너무 광범위한인 것일 수 있다. 예를 들면, 사용자가 검색어 "Schwarzenegger"를 입력하고 엔터를 칠 때, 사용자(그 또는 그녀)는 이름의 철자를 잘못 치거나 또는 오타를 해서 원하지 않는 결과를 얻기 쉽다. 반대로, 사용자가 단어 "Arnold"를 입력하고 엔터를 칠 때에는, 그 또는 그녀는 이 단어의 철자를 정확하게 타이핑하기 쉽지만, 이 검색어는 너무 광범위해서, 그 또는 그녀는 역시 너무 많은 원하지 않는 결과를 얻을 것이다.
저성능 결과의 원인이 판정되자마자, 조정 프로세스(314)가 취해야할 적절한 조치(216)를 생성하는 것을 담당한다. 상술한 바와 같이, 일 실시예에서, 조정 프로세스(314)는, 관련성 스키마 데이터베이스(114)를 변경하여 당해 검색어에 대한 차회 검색 동안에 검색 결과(110)의 최적화된 세트를 산출하도록 하는 조치(216)를 생성할 수 있다. 또는, 조정 프로세스(314)는 검색 결과(110)가 사용자 장치들(102, 104)에 디스플레이되기 전에 검색 결과(110)를 인터셉트해서 실시간으로 검색결과를 자동적으로 최적화하는 조치(216)를 생성할 수도 있다. 또 다른 실시예들에서, 조정 프로세스(314)는 검색 결과 자체에 대해 실질적인 변화를 주기보다는 검색 결과가 웹 페이지(106)에 게시되는 방식을 변화시킴으로써, 검색 결과를 최적화하는 조치(216)를 생성할 수 있다. 또 다른 실시예들에서는, 조정 프로세스(314)는 검색 엔진 서버(112)로 하여금 사용자에게 제안된 철자 또는 추가적인 단어와 함께 해당 검색어를 명확히 할 것을 요구하는 프롬프트를 자동적으로 제공하게 하는 조치(216)를 생성할 수 있다. 조정 프로세스(314)는, 첨부된 청구범위의 범위에서 벗어남이 없이, 검색 엔진의 연산을 조정하기 위한 다른 조치들(216)을 생성할 수 있고, 조치들(216)을 결합할 수 있다.
도 4a는 검색 웹 페이지(106)를 디스플레이하는 브라우저 프로그램(400)을 도시하고 있는데, 검색 웹 페이지(106)에는 본 발명의 일 실시예를 구현하기 위한 검색 엔진 사용자 인터페이스의 예가 도시되어 있다. (도 1의) 웹 페이지(106)는 검색 엔진 서버(112)(도 1, 2)에 의해 생성될 수 있고, 인터넷(116)을 통해 사용자의 컴퓨팅 장치들(102, 104)(도 1)에 전달될 수 있다. 검색 엔진 사용자 인터페이스는 전에 입력된 검색어(108)(도 1)를 텍스트 상자(402) 내에 디스플레이하고, 사용자에게 추가적인 검색어로 검색을 정제하라는 프롬프트를 제공하는데, 원한다면, "REFINE SEARCH"(404)라는 명칭의 명령 버튼을 사용할 수 있다.
도 4a에 도시된 예에서, 사용자는 검색어 "DOG FOOD"를 입력하고 엔터를 친 다. 검색 결과는 인터넷(116)을 통해 웹 콘텐츠(118)의 검색으로부터 생성된다. 당업계에 알려진 바와 같이, 검색 엔진(112)은 미리 설정된 기준, 예컨대 관련성 스키마 데이터베이스(114)에 따르면 어떤 결과가 가장 관련성이 있는 것인지에 따라 결과를 분석하고 사용자에게 디스플레이하기 위한 "최고" 결과들의 순위를 설정한다. 최고 결과들은 결과의 세트의 상단에 통상 디스플레이된다. 일 실시예에서, 검색 결과는 웹 페이지(106)의 상이한 섹션들, 예컨대 해당 검색을 입력한 사용자와 국부적으로 연결된 웹 콘텐츠(118)로부터 결과가 획득되는 로컬 섹션, 즉 엘로우 페이지 목록(Yellow Pages listings)에 디스플레이될 수 있다. 첨부된 청구범위의 범위에서 벗어남이 없이, 검색 결과는 다양한 상이한 방식으로 그리고 웹 페이지(106) 상의 상이한 영역에 디스플레이될 수 있다.
예시적인 목적만을 위해 예를 들면, "DOG FOOD"라는 검색어로부터 생성된 세 개의 검색 결과들이 다시 디스플레이된 검색 입력 박스(402) 바로 밑에 디스플레이된다: (1) PETsMART® (도면 부호 406에 있는 검색 결과); (2) eBAY® (도면 부호 408에 있는 결과); 및 (3) Wild Alaska Salmon® Dog Food Supplement (도면 부호 410에 있는 결과). 설명의 편의상, 검색어 "DOG FOOD"에 대한 이 세 개의 검색 결과는 본 발명의 일 실시예에 따라 아직 최적화된 것은 아니지만, 1:00 p.m.에 존재했던 관련성 스키마 데이터베이스(114)에 따라 순서대로 디스플레이된 것이라고 가정한다. 세 개의 결과들 각각의 성능의 기대치는 아래의 표 1과 같이 나열된다.
결 과 CTR의 기대치
PETsMART® (406) 15%
eBAY® (408) 10%
Wild Alaskan Salmon® (410) 8%
일 실시예에서 자동화된 관련성 최적화기(202)의 연산 중에, 암시적인 관련성 데이터(204)(도 2)가 유사한 검색어를 최근에 입력하고 "DOG FOOD"에 대한 도시된 검색 결과를 얻은 모든 사용자들에 대해 취합(aggregation)된대로 각 검색 결과(406, 408 및 410)에 대해 CTR의 형태로 수집된다. 도시된 예에서, 암시적인 관련성 데이터(204)는 각 검색 결과(406, 408 및 410)의 실제 성능이 기대된 것과 상이하다는 것과 도 4a에 도시된 검색 결과의 제1 페이지에 나타나지 않은 다른 2개의 검색 결과들이 사실은 위 세 개보다 성능이 뛰어나다는 것을 드러내는데, 이는 아래의 표 2와 같다.
결 과 실제 CTR
PETsMART® (406) 8%
eBAY® (408) 10%
Wild Alaskan Salmon® (410) 5%
PETCO® (418, 도 4b 참조) 9%
Amazon.com® (416, 도 4b 참조) 20%
도시된 예에서, 검색 결과 중 두 개, PETsMART®(406) 및 Wild Alaskan Salmon®(410)는 기대된 결과에 못 미치기 때문에, 자동화된 관련성 최적화기(202)는 저성능 결과(406, 410)의 가능한 원인을 진단하고, 관련성 스키마 데이터베이스(114)를 자동적으로 업데이트하는 조치(216)를 취하여, "DOG FOOD"에 대한 검색이 차회에 입력되면, 사용자가 상이한 세트의 검색 결과, 즉 뛰어난 성능에 기초해 표 2에 나열된 Amazon.com®(416) 및 PETCO®(418)에 대한 검색 결과를 보게 된다.
도 4b는, 자동화된 관련성 최적화기(202)가 관련성 스키마 데이터베이스(114)를 업데이트함으로써 검색 결과의 관련성을 자동적으로 최적화하는 조치(216)를 취한 후에, 시간 상자(416)에 디스플레이된 것처럼 이번에는 시간이 경과하여 3:00 p.m.에 생성된 다른 웹 페이지를 디스플레이하는 브라우저 프로그램(400)을 도시하고 있는데, 이번에도 검색어 "DOG FOOD"에 대한 검색 결과가 도시되어 있다. 도시된 예에서, 1:00 p.m.에 검색 결과의 세트(110)의 상단에 원래 나타났던 PETsMART® 검색 결과(406)에 대한 실제 성능은 이 위치를 유지하는 것을 정당화시키지 못하기 때문에, 도4b에 도시된 바와 같이 PETsMART®에 대한 검색 결과는 삭제된다(또는, 적어도 다음 페이지로 이동된다). 유사하게, 1:00 p.m.의 검색 결과 세트(110)의 1 페이지에서 원래 세 번째 위치에 나타났던 Wild Alaskan Salmon® 검색 결과(410)의 실제 성능은 이 위치를 유지하는 것을 정당화시키지 못하기 때문에, 도4b에 도시된 바와 같이 역시 삭제된다(또는, 적어도 다음 페이지로 이동된다). 대신에, 1:00 p.m.이후에 조치(216)에 의해 업데이트된 관련성 스키마 데이터베이스(114)에 따라, 저성능 결과들(406, 410)의 위치에, 검색 엔진 서버(112)는 도면부호 416의 Amazon.com® 및 도면부호 418의 PETCO®에 대한 새로운 검색 결과들을 새롭게 삽입한다. Amazon.com® 결과(416)는 검색 결과 세트(110)의 상단에 이제 나타나고, PETCO® 결과(418)는 세 번째 위치에 나타난다. 관련성 스키마 데이터베이스(114)가 eBAY®와 관련해서는 변하지 않았고 그 결과는 기대된 성능 수준을 만족시키기 때문에, eBAY® 결과(408)는 두 번째 위치를 유지한다.
위 예에서, PETCO®(416) 및 eBAY®(408)와 같은 다른 결과들과는 달리, Amazon.com® 결과(416)는 실제 개 사료(dog food)와는 관계가 없다는 점에 주목하자. 따라서, 순수한 인간-판단의 관점으로부터는, 검색 결과의 새로운 세트는 검색어 "DOG FOOD"와는 관련성이 덜한 것으로 보일 수도 있다. 그러나, 20%라는 CTR의 높은 성능은, 인간의 판단과 전통적인 콘텐츠 분석법으로는 놓쳤을 흐름을 드러내는데, 예컨대, 해당 도서가, 적어도 일시적으로, 사용자들이 휴가 시즌 동안 선물로서 구매하는데 흥미를 보이는 따끈따끈한 베스트셀러일 수 있다. 따라서, 암시적인 관련성 데이터(204)의 높은 지표는 인간-판단 데이터(208)보다 더 가중치를 부여받을 수 있으며, 사용자 대다수에게 높은 관련성이 있으며 매우 만족스러운 최적의 결과 세트를 산출할 수 있다. 일 실시예에서, 자동화된 관련성 최적화기(202)가 관련성 스키마 데이터베이스(114)를 업데이트하는 대신에 혹은 이에 추가하여 취했을 다른 조치(216)는 검색 엔진(112)의 연산을 조정하여, "DOG FOOD"를 검색어로 입력한 사용자들에게 그들이 "DOG FOOD"라는 제하의 새로운 베스트셀러에 대한 결과를 원하는지 또는 개 사료(dog food) 자체 및 개 사료 구매 장소 등에 대한 정보를 포함한 통상적인 결과를 원하는지를 좀더 명확히 해달라는 프롬프트를 제공하게 할 수 있다. 일단 "DOG FOOD"라는 도서의 인기가 사그라들면, 자동화된 관련성 최적화기(202)는 Amazon.com® 결과(416)를 제거하고 사용자들에게 그들의 검색을 명확히할 것을 요구하는 프롬프트를 제거하도록 스키마(114)를 업데이트하라는 반대의 조치를 취하게 될 것이다. 이런 방식으로, 검색 엔진 운영자는 검색 엔진의 최적화를 자동화시켜, 사용자들을 위해 좀더 관련성이 있으면서 좀더 시기적절한 결과를 제공할 수 있으며, 심지어 증대된 트래픽으로 검색 엔진에 대해 더 많은 수익을 창출할 수 있다.
위 예는 설명의 편의만을 위해 제시된 것으로 이해되어야 한다. 바람직한 일 실시예에서, 암시적인 관련성 데이터(204)는 CTR 단독의 경우보다 좀더 복잡한 사용자 양태를 반영할 것이다. 예컨대, 암시적인 관련성 데이터(204)는, PETCO® 결과(418)의 URL을 한 명 이상의 친구에게 이메일하는 것, 결과가 연결된 PETCO® 웹 사이트에서 구매하는 것 등과 같이, 문제가 되는 결과와 관련된 다수의 사용자 양태의 취합(aggregation)을 반영할 것이다. 이와 같이 복잡한 양태는 CTR 단독의 경우보다 더 정확한 지표인 것으로 통상 인정되고 있다.
도5a-5b는, 본 발명의 일 실시예에 따라, 검색 엔진의 검색 결과의 최적화를 자동화하기 위하여 도 2 및 3의 검색 엔진 서버(112)와 자동화된 관련성 최적화기(202)와 관련하여 수행되는 논리를 도시한 흐름도이다. 검색 엔진 서버(112)는 시작 블록(502)에서 개시하고, 현존하는 관련성 스키마 데이터베이스(114)에 따라 검색 결과(110)(도1)로 검색 웹 페이지(106)를 생성하는 프로세싱 블록(504)으로 진행한다. 프로세싱 블록(506)에서, 자동화된 관련성 최적화기 프로세스(202)는 암시적인 관련성 데이터(204), 명시적인 관련성 데이터(206), 인간-판단 테스트 데이터(208), 관련성 검증 테스트 데이터(210) 및 샘플 A/B 테스트 데이터(212)를 포함하여, 다양한 소스로부터 검색 결과(110)에 대한 관련성 성능 데이터를 수집한다. 일 실시예에서, 암시적인 관련성 데이터(204)를 수집하는 단계는, 지역적인 사용자의 세션 또는 다중 세션 동안, 심지어 다수 사용자의 데이터가 검색 엔진 서버(112)로부터 입수가능한 경우에는 복수의 사용자들에 대한 데이터를 취합 (aggregation)하는 단계를 포함할 수 있다. 대안으로, 암시적인 관련성 데이터(204)는, 자동화된 관련성 최적화기 프로세스(202)에 의한 사용을 위해 검색 엔진 서버(112)에 의해 이미 수집되어 있을 수도 있다. 어느 경우든 간에, 프로세싱은 프로세스 블록(508)으로 이어지는데, 여기서는 최적화된 관련성 최적화기 프로세스(202)가, 다양한 소스의 성능 데이터를 그들의 상대적인 중요도에 따라 정규화하는 단계를 포함하여, 다양한 소스의 수집된 관련성 성능 데이터를 고려중인 결과(또는 결과들)의 실제 성능의 측정치로 컴파일한다. 일 실시예에서, 다양한 소스의 상대적인 중요도는 검색 결과의 관련성을 예측하는데 있어서의 소스들의 가치의 측정치이며, 이 가치는 검색 엔진 운영자에 의해 미리 정의될 수 있고, 또한 운영자가 자동화된 관련성 최적화 프로세스를 미세 조정하는 것을 돕기 위해 때때로 수정될 수 있다. 바람직한 일 실시예에서, 암시적인 관련성 데이터(204)의 가치는 다른 소스의 관련성 성능 데이터보다 높기 쉬운데, 이는 암시적인 관련성 데이터(204)의 경우 대규모로 데이터가 수집될 수 있고 데이터가 수집되는 속도가 빠르기 때문에 매우 정확한 지표가 될 수 있기 때문이다.
일 실시예에서, 자동화된 관련성 최적화기 프로세스(202)는, 고려중인 검색 결과 또는 결과들에 대한 관련성 기대치 데이터(214)를 입수하는 프로세스 블록(510)으로 진행한다. 관련성 기대치 데이터(214)는 검색 엔진 운영자에 의해 미리 정의되고, 검색 결과의 성능 기대치의 시간 상의 변화를 반영하기 위해 때때로 수정될 수 있다. 일 실시예에서, 관련성 기대치 데이터(214)는, 기대치에서의 자동화된 변화를 반영하기 위해, 자동화된 관련성 최적화기(202)의 이전 반복에 의해 생성된 조치(216)에 의해 수정되거나 아니면 업데이트되었을 수 있다.
일 실시예에서, 자동화된 관련성 최적화기 프로세스(202)는 고려중인 결과 또는 결과들의 실제 성능의 측정치를 성능의 기대치와 비교하는 프로세스 블록(512)으로 진행하는데, 여기서 실제 성능은 프로세스 블록(508)에서 결정되었고, 성능의 기대치는 프로세스 블록(510)에서 결정되었다. 비교 결과가 좋지 않은 때, 즉 실제 성능이 성능의 기대치보다 낮거나, 또는 상당히 낮은 경우, 해당 검색 결과는 저성능인 것으로서, 검색 결과의 관련성에 문제가 있음을 의미할 수 있다. 자동화된 관련성 최적화기 프로세스는 이 문제의 가능한 원인 또는 원인들을 진단하려고 한다. 몇몇 경우에는, 예컨대, 결과들에 대해 수집된 암시적인 관련성 데이터(204)에 반영된 바와 같이, 해당 결과는 관련성이 적고, 다른 새로운 결과들이 이제는 더 관련성이 있다. 다른 경우에는, 검색 결과가 생성된 해당 검색어가 너무 광범위한 것이거나 또는 철자가 틀리기 쉬운 것이어서, 검색 엔진이 사용자에게 검색어를 좀더 명확히 하라는 프롬프트를 제공할 필요가 있다. 문제의 가능한 원인들에 대한 다른 방식의 다양한 진단이 첨부된 청구범위에서 벗어남이 없이 이루어질 수 있다.
도 5b에서, 자동화된 관련성 최적화기(202)는, 검색 결과의 관련성의 문제가 진단되었는지 여부를 판정하는 결정 블록(514)으로 진행한다. 답이 "아니오"인 경우, 자동화된 관련성 최적화기(202)는 달걀 모양의 종료(520)에서 프로세싱을 종료한다. 그렇지 않은 경우, 프로세싱은 프로세스 블록(516)으로 진행하고, 여기에서 자동화된 관련성 최적화기(202)는 이 문제를 해결하기 위해서 생성해야 할 조정 또는 보정 조치(216)(도2)가 무엇인지 결정한다. 상술한 바와 같이, 해당 문제가 검색어가 너무 광범위하거나 철자를 틀리기 쉬운 것과 연관된 경우에는, 검색어를 명확히 하라거나 또는 더 좁히라는 프롬프트를 사용자에게 제공하도록 하는 검색 엔진의 연산 조정이 조치(216)에 포함될 수 있다. 일 실시예에서, 조치(216)는 관련성 스키마 데이터베이스(114)에 대한 일시적인 또는 영구적인 수정 또는 심지어 관련성 기대치 데이터(214)에 대한 수정을 포함할 수 있다. 또 다른 실시예에서, 조치(216)는 실시간으로 검색 웹 페이지(106) 상의 검색 결과(108)에 대한 하나 이상의 수정을 포함할 수 있는데, 여기서 검색 엔진에 의해 생성된 검색 결과(110)는 인터셉트되어 새롭게 순위가 매겨지거나, 순서가 조정되거나, 형식이 바뀌거나, 제거되거나, 다른 결과로 대체되거나, 또는 사용자를 위해 검색 결과의 관련성을 최적화하기 위한 노력의 일환으로 변경된다. 첨부된 청구범위에서 벗어남이 없이, 상술한 조치들(216)의 조합을 사용할 수 있다.
본 발명에서 지금 바람직한 실시예들이 지금까지 설명되었지만, 본 발명의 사상과 범위에서 벗어남이 없이 다양한 변화가 가능하다는 점을 이해해야 한다. 예컨대, 상술한 바와 같이, 본 발명의 일 실시예에서는, 자동화된 관련성 최적화 시스템 프로세스(202) 및 이와 연관된 데이터 수집용 서브 프로세스(310), 진단용 서브 프로세스(312) 및 조정용 서브 프로세스(314)는, 검색 엔진 서버(112)에 의해 획득되고 자동화된 관련성 최적화기(202)에 의해 수집된 최신 성능 데이터에 기초한 최신의 최적화를 가능하게 하기 위해서 실시간으로 구현될 수 있다. 다른 실시예에서, 자동화된 관련성 최적화 시스템(200)의 프로세스는 암시적인 관련성 데이터(204), 명시적인 관련성 데이터(206), 인간-판단 테스트 데이터, 관련성 검증 테스트 데이터(210) 및 샘플 A/B 테스트 데이터(212) 및 검색 결과의 자동 또는 수동 최적화의 조합을 포함하는 다양한 소스로부터의 성능 데이터의 수집을 가능하게 하기 위하여 배치(batch) 형태로 구현될 수 있다. 또 다른 실시예에서, 자동화된 최적화 검색 결과 관련성 시스템(200)은 소정의 유형의 조치들(216)로만 그 응용이 제한될 수 있는데, 예컨대 관련성 스키마 데이터베이스(114)에 대한 영구적인 수정, 관련성 스키마 데이터베이스(114) 또는 검색 결과(110)에 대한 실시간 업데이트, 또는 이들의 어떤 조합을 들 수 있으며, 또한 자동화된 최적화 검색 결과 관련성 시스템(200)은 모든 소스의 성능 데이터보다는 적은 데이터를 고려하도록 그 응용이 제한될 수 있는데, 예컨대, 암시적인 관련성 데이터(204)로만 제한될 수 있다.
본 시스템과 방법은 검색 결과의 수행 성능에 대한 다양한 면모들을 표시하는 데이터를 계속적으로 수집하고, 성능 데이터를 그 검색 결과에 대한 성능의 기대값과 비교한다. 또한, 본 시스템 및 방법은 저성능 데이터의 가능한 원인을 진단하고, 검색 엔진의 연산(operation)을 자동적으로 변경하여 검색 결과의 관련성을 최적화한다. 따라서, 관련성있는 검색 결과를 사용자에게 보여줌으로써, 검색 결과를 생성한 검색 엔진은 더 많은 인터넷 트래픽을 수신할 수 있고, 결국 광고주들에게 더 매력적이고, 더 많은 수익을 발생시킬 수 있다.

Claims (66)

  1. 검색 웹 페이지에 디스플레이되는 검색 결과의 최적화를 자동화하는 방법으로서,
    검색 결과의 성능을 나타내는 데이터로서, 성능 데이터의 복수의 소스 중 적어도 하나로부터 유래한 데이터를 수집하는 단계;
    상기 데이터 소소의 상대적인 중요도에 따라 상기 수집된 데이터를 정규화하는 단계;
    상기 정규화된 성능 데이터를 상기 검색 결과에 대한 성능 기대치 데이터와 비교하는 단계;
    저성능 검색 결과의 가능한 원인 중 적어도 하나를 진단하는 단계; 및
    검색 결과 성능을 향상시키기 위해 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하는 단계를 포함하는 자동화 방법.
  2. 제 1 항에 있어서, 상기 성능 데이터의 복수의 소스 중 적어도 하나는 암시적인 성능 데이터, 명시적인 성능 데이터, 인간-판단 성능 데이터, 관련성 검증 데이터 및 샘플 테스트 데이터 중 하나를 포함하는 자동화 방법.
  3. 제 1 항에 있어서, 상기 데이터 소스의 상대적인 중요도에 따라 상기 수집된 데이터를 정규화하는 단계는, 더 중요한 소스로부터의 데이터에 더 많은 가중치를 부여하는 단계와 상기 데이터가 유래한 소스의 상대적인 중요도를 반영하도록 상기 데이터를 결합하는 단계를 포함하는 자동화 방법.
  4. 제 2 항에 있어서, 상기 정규화된 성능 데이터를 상기 검색 결과에 대한 성능 기대치 데이터와 비교하는 단계는 정규화된 성능이 성능 기대치보다 낮거나 상당히 낮은 때에는 상기 검색 결과가 저성능이라고 판정하는 단계를 포함하는 자동화 방법.
  5. 제 2 항에 있어서, 데이터의 가장 중요한 소스는 암시적인 성능 데이터이고, 상기 수집된 데이터를 정규화하는 단계는 데이터를 결합할 때 암시적인 성능 데이터에 상당히 더 큰 가중치를 부여하는 단계를 포함하는 자동화 방법.
  6. 제 2 항에 있어서, 암시적인 성능 데이터는 사용자가 상기 검색 결과와 상호작용할 때 자동적으로 포착되는 자동화 방법.
  7. 제 6 항에 있어서, 암시적인 성능 데이터는 사용자가 상기 결과를 클릭했는지 여부, 상기 사용자가 상기 결과를 클릭했을 때 상기 결과의 위치, 및 상기 사용자가 상기 결과를 브라우징한 시간의 길이 중 적어도 하나를 포함하는 자동화 방법.
  8. 제 7 항에 있어서, 암시적인 성능 데이터는, 편집, 이메일, 인쇄, 북마크 및 복사 중 적어도 하나를 포함하여, 상기 사용자가 상기 결과에 대해 수행한 연산을 더 식별하는 자동화 방법.
  9. 제 6 항에 있어서, 암시적인 성능 데이터는 상기 검색 결과와의 다중 상호작용에 대해 취합(aggregation)되어 획득된 데이터를 포함하는 자동화 방법.
  10. 제 6 항에 있어서, 암시적인 성능 데이터는 상기 검색 결과와 복수의 사용자들의 상호작용에 대해 취합(aggregation)되어 획득된 데이터를 포함하는 자동화 방법.
  11. 제 2 항에 있어서, 암시적인 성능 데이터는 상기 검색 결과에 대해 검색 엔진 운영자가 생성시킨 질문에 대한 응답으로 사용자로부터 입수한 데이터를 포함하고, 상기 질문은 온-라인 질문과 전화 질문 중 하나를 포함하는 자동화 방법.
  12. 제 2 항에 있어서, 인간-판단 성능 데이터는 상기 검색 결과에 대한 인간의 평가로부터 얻은 데이터를 포함하는 자동화 방법.
  13. 제 2 항에 있어서, 관련성 검증 데이터는, 공지된 관련성을 가진 검색 결과가 상기 검색 엔진에 의해 생성된 상기 검색 결과에 여전히 포함되는지 여부를 검 증하기 위하여 상기 검색 결과의 관련성 검증 테스트로부터 얻은 데이터를 포함하는 자동화 방법.
  14. 제 2 항에 있어서, 샘플 테스트 데이터는 사용자들의 부분집합의 샘플에 대해 수행된 상기 검색 결과의 관련성 테스트로부터 얻은 데이터를 포함하는 자동화 방법.
  15. 제 2 항에 있어서, 저성능 검색 결과의 가능한 원인 중 적어도 하나를 진단하는 단계는 상기 검색 결과가 더 이상 유효하지 않은지 여부, 상기 검색 결과가 좋지 않은 위치에 나타났는지 여부, 상기 검색 결과를 생성시킨 검색어의 철자가 틀리기 쉬운 것인지 여부, 상기 검색어가 의미있는 결과를 생성하기에는 너무 광범위한 것인지 여부, 및 상기 검색어에 대한 검색이 특정 리소스로만 한정되어야 하는지 여부 중 적어도 하나를 고려하는 단계를 포함하는 자동화 방법.
  16. 제 2 항에 있어서, 검색 결과 성능을 향상시키기 위해 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하는 단계는, 검색어에 대해 생성된 상기 검색 결과를 변화시키기 위하여 상기 검색 엔진의 검색 스키마를 변경하는 단계를 포함하며, 상기 변경 단계는 상기 검색 결과의 순위 재조정, 상기 검색 결과의 제거, 및 상기 검색 결과의 대체 중 적어도 하나를 포함하는 자동화 방법.
  17. 제 2 항에 있어서, 검색 결과 성능을 향상시키기 위해 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하는 단계는, 검색어에 대해 생성된 상기 결과의 프레젠테이션을 증대시키도록 상기 검색 엔진의 검색 스키마를 변경하는 단계를 포함하며, 상기 변경 단계는 검색 결과 웹 페이지 상의 상기 검색 결과의 외관을 강조하기, 애니메이션화하기, 확대하기, 및 위치변경하기 중 적어도 하나를 포함하는 자동화 방법.
  18. 제 2 항에 있어서, 검색 결과 성능을 향상시키기 위해 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하는 단계는, 상기 검색 엔진의 맞춤법 검사기의 허용한도를 증가시키는 단계를 포함하는 자동화 방법.
  19. 제 2 항에 있어서, 검색 결과 성능을 향상시키기 위해 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하는 단계는, 사용자에게 추가적인 사용자 입력으로 검색어를 명확히 하거나 또는 더 좁히라는 프롬프트들 중 하나를 제공하는 단계를 포함하는 자동화 방법
  20. 제 2 항에 있어서, 검색 결과 성능을 향상시키기 위해 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하는 단계는, 상기 검색 엔진의 연산을 일시적으로 조정하는 단계 및 상기 검색 엔진의 연산을 영구적으로 조정하기 전에 상기 조정이 상기 검색 결과 성능을 실제로 향상시켰는지 판정하는 단계를 포 함하는 자동화 방법.
  21. 제 2 항에 있어서, 검색 결과 성능을 향상시키기 위해 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하는 단계는, 상기 검색 엔진의 연산을 실시간으로 조정하는 단계를 포함하는 자동화 방법.
  22. 제 21 항에 있어서, 상기 검색 엔진의 연산을 실시간으로 조정하는 단계는 상기 검색 엔진에 의해 생성된 상기 검색 결과를 인터셉트하는 단계와 상기 검색 엔진이 상기 검색 결과를 상기 사용자에게 디스플레이하기 전에 상기 검색 결과를 변경하는 단계를 포함하는 자동화 방법.
  23. 자동화된 검색 결과 최적화 시스템으로서,
    검색어에 대해 검색 엔진에 의해 생성된 검색 결과의 성능을 표시하는 입력 데이터로서, 복수의 소스로부터 유래한 입력 데이터;
    상기 복수의 소스로부터 상기 입력 성능 데이터를 수집하는 데이터 수집 프로세스;
    상기 수집된 성능 데이터에 의해 표시되는 상기 검색 결과의 성능을 상기 검색 결과의 성능의 기대치와 비교하는 진단 프로세스; 및
    상기 검색 결과 성능이 상기 성능의 기대치에 비해 좋지 않은 경우에는 항상 상기 검색 엔진의 연산을 자동적으로 조정하는 조치를 표시하는 출력 데이터를 생 성하는 조정 프로세스를 포함하고,
    상기 검색 엔진의 조정 연산은 상기 검색 결과의 성능을 향상시키기 위한 것인 최적화 시스템.
  24. 제 23 항에 있어서, 입력 성능 데이터의 복수의 소스 중 적어도 하나는 암시적인 성능 데이터, 명시적인 성능 데이터, 인간-판단 성능 데이터, 관련성 검증 데이터 및 샘플 테스트 데이터 중 하나를 포함하는 최적화 시스템.
  25. 제 23 항에 있어서, 상기 데이터 수집 프로세스는 상기 데이터의 소스의 상대적인 중요도에 따라 상기 수집된 데이터를 정규화하는 정규화 프로세스를 포함하고, 상기 정규화 단계는 더 중요한 소스로부터의 데이터에 더 많은 가중치를 부여하는 단계와 상기 데이터가 유래한 소스의 상대적인 중요도를 반영하도록 상기 데이터를 결합하는 단계를 포함하는 최적화 시스템.
  26. 제 25 항에 있어서, 상기 진단 프로세스는 상기 정규화된 수집된 성능 데이터에 의해 표시된 상기 검색 결과의 성능을 상기 검색 결과의 성능의 기대치와 비교하고, 상기 성능이 상기 성능의 기대치보다 낮거나 상당히 낮은 때에는 상기 비교 결과는 좋지 않은 것인 최적화 시스템.
  27. 제 25 항에 있어서, 가장 중요한 소스의 데이터는 암시적인 성능 데이터이 고, 상기 수집된 데이터의 정규화 단계는 상기 데이터를 결합할 때 암시적인 성능 데이터에 상당히 더 큰 가중치를 부여하는 단계를 포함하는 최적화 시스템.
  28. 제 27 항에 있어서, 암시적인 성능 데이터는, 사용자가 상기 검색 결과와 상호작용할 때, 자동적으로 포착되는 최적화 시스템.
  29. 제 28 항에 있어서, 암시적인 성능 데이터는 상기 사용자가 상기 결과를 클릭했는지 여부, 상기 사용자가 상기 결과를 클릭했을 때의 상기 결과의 위치 및 상기 사용자가 상기 결과를 브라우징한 시간의 길이 중 적어도 하나를 포함하는 최적화 시스템.
  30. 제 29 항에 있어서, 암시적인 성능 데이터는, 편집, 이메일, 인쇄, 북마크 및 복사 중 적어도 하나를 포함하여, 상기 사용자가 상기 결과에 대해 수행한 연산에 대한 식별을 표시하는 데이터를 더 포함하는 최적화 시스템.
  31. 제 28 항에 있어서, 암시적인 성능 데이터는 상기 검색 결과와의 다중 상호작용에 대해 취합(aggregation)되어 얻은 데이터를 포함하는 최적화 시스템.
  32. 제 28 항에 있어서, 암시적인 성능 데이터는 상기 검색 결과와 복수의 사용자들 간의 상호작용에 대해 취합(aggregation)되어 얻은 데이터를 포함하는 최적화 시스템.
  33. 제 24 항에 있어서, 명시적인 성능 데이터는, 상기 검색 결과에 대해 검색 엔진 운영자에 의해 생성된 사용자 만족도 조사에 대한 사용자 응답으로부터 얻은 데이터를 포함하는 최적화 시스템.
  34. 제 24 항에 있어서, 인간 판단 성능 데이터는 상기 검색 결과에 대한 인간의 평가로부터 얻은 데이터를 포함하는 최적화 시스템.
  35. 제 24 항에 있어서, 관련성 검증 데이터는, 공지의 관련성을 가진 검색 결과가 상기 검색 엔진에 의해 생성된 상기 검색 결과에 여전히 포함되어 있는지 여부를 검증하기 위하여 상기 검색 결과의 관련성 검증 테스트로부터 얻은 데이터를 포함하는 최적화 시스템.
  36. 제 24 항에 있어서, 샘플 테스트 데이터는 사용자들의 부분집합의 샘플에 대해 수행된 검색 결과의 관련성 테스트로부터 얻은 데이터를 포함하는 최적화 시스템.
  37. 제 24 항에 있어서, 상기 진단 프로세스는 상기 검색 결과의 성능이 상기 성능의 기대치에 비해 좋지 않은 가능한 원인 중 하나를 진단하는 단계를 더 포함하 고,
    상기 진단 단계는, 상기 검색 결과가 더 이상 유효하지 않은지 여부, 상기 검색 결과가 좋지 않은 위치에 나타났는지 여부, 상기 검색 결과를 생성시킨 검색어의 철자가 틀리기 쉬운 것인지 여부, 상기 검색어가 의미있는 결과를 생성하기에는 너무 광범위한 것인지 여부, 및 상기 검색어에 대한 검색이 특정 리소스로만 한정되어야 하는지 여부 중 적어도 하나를 고려하는 단계를 포함하는 최적화 시스템.
  38. 제 23 항에 있어서, 상기 검색 엔진의 연산을 자동적으로 조정하는 조치를 표시하는 출력 데이터를 생성하는 상기 조정 프로세스는, 상기 검색 엔진의 검색 스키마를 변경하는 조치를 표시하는 출력 데이터를 생성하는 단계를 포함하며,
    상기 변경된 검색 스키마는, 상기 검색 결과의 순위 재조정, 제거, 및 대체 중 적어도 하나를 포함하여, 상기 검색 엔진이 검색어에 대한 검색 결과를 생성하는 방식을 변화시키는 최적화 시스템.
  39. 제 23 항에 있어서, 상기 검색 엔진의 연산을 자동적으로 조정하는 조치를 표시하는 출력 데이터를 생성하는 상기 조정 프로세스는, 상기 검색 엔진의 검색 스키마를 변경하는 조치를 표시하는 출력 데이터를 생성하는 단계를 포함하며,
    상기 변경된 검색 스키마는, 검색 결과 웹 페이지 상의 상기 검색 결과의 외관을 강조하기, 애니메이션화하기, 확대하기 및 위치변경하기 중 적어도 하나를 포함하여, 상기 검색 엔진이 검색어에 대한 상기 검색 결과를 보여주는 방식을 변화 시키는 최적화 시스템.
  40. 제 23 항에 있어서, 상기 검색 엔진의 연산을 자동적으로 조정하는 조치를 표시하는 출력 데이터를 생성하는 상기 조정 프로세스는 상기 검색 엔진의 맞춤법 검사기의 허용한도를 증가시키는 조치를 표시하는 출력 데이터를 생성하는 단계를 포함하는 최적화 시스템.
  41. 제 23 항에 있어서, 상기 검색 엔진의 연산을 자동적으로 조정하는 조치를 표시하는 출력 데이터를 생성하는 상기 조정 프로세스는, 추가적인 사용자 입력으로 검색어를 명확히 하거나 또는 더 좁히라는 프롬프트들 중 하나를 사용자에게 제공하는 조치를 표시하는 출력 데이터를 생성하는 단계를 포함하는 최적화 시스템.
  42. 제 23 항에 있어서, 상기 검색 엔진의 연산을 자동적으로 조정하는 조치를 표시하는 출력 데이터를 생성하는 상기 조정 프로세스는, 상기 검색 엔진의 연산을 일시적으로 조정하고, 상기 검색 엔진의 연산을 영구적으로 조정하기 위한 조치를 생성하기 전에 상기 일시적인 조정이 상기 검색 결과 성능을 실제로 향상시켰는지 여부를 판정하기 위한 조치를 표시하는 출력 데이터를 생성하는 단계를 포함하는 최적화 시스템.
  43. 제 23 항에 있어서, 상기 검색 엔진의 연산을 자동적으로 조정하는 조치를 표시하는 출력 데이터를 생성하는 상기 조정 프로세스는, 상기 검색 엔진의 연산을 실시간으로 조정하는 조치를 표시하는 출력 데이터를 생성하는 단계를 포함하는 최적화 시스템.
  44. 제 42 항에 있어서, 상기 검색 엔진의 연산을 실시간으로 조정하는 조치는, 상기 검색 엔진에 의해 생성된 상기 검색 결과를 인터셉트하고, 상기 검색 엔진이 상기 검색 결과를 사용자에게 디스플레이하기 전에 상기 검색 결과를 변경하는 조치를 포함하는 최적화 시스템.
  45. 검색 결과 사용자 인터페이스에서 검색의 자동화된 최적화를 실행하기 위한 명령을 가진 하나 이상의 컴퓨터로 이용가능한 매체에 있어서,
    상기 명령은,
    성능 데이터의 복수의 소스 중 적어도 하나로부터 검색 결과의 성능을 표시하는 데이터를 수집하는 절차;
    상기 데이터의 소스의 상대적인 중요도에 따라 수집된 데이터를 정규화하는 절차;
    상기 정규화된 성능 데이터의 상기 검색 결과에 대한 성능 예측치와 비교하는 절차;
    상기 검색 결과 성능이 상기 성능의 기대치에 비해 좋지 않은 가능한 원인 중 적어도 하나를 진단하는 절차; 및
    상기 검색 결과 성능을 향상시키기 위하여, 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하는 절차를 실행시키도록 하는 컴퓨터 이용가능 매체.
  46. 제 45 항에 있어서, 상기 성능 데이터의 복수의 소스 중 적어도 하나는 암시적인 성능 데이터, 명시적인 성능 데이터, 인간-판단 성능 데이터, 관련성 검증 데이터 및 샘플 테스트 데이터 중 하나를 포함하는 컴퓨터 이용가능 매체
  47. 제 45 항에 있어서, 상기 데이터의 소스의 상대적인 중요도에 따라 수집된 데이터를 정규화하라는 명령은 더 중요한 소스로부터의 데이터에 더 가중치를 부여하라는 명령과 상기 데이터가 유래한 소스의 상대적인 중요도를 반영하도록 데이터를 결합하라는 명령을 포함하는 컴퓨터 이용가능 매체
  48. 제 45 항에 있어서, 상기 정규화된 성능 데이터를 상기 검색 결과에 대한 성능 예측치와 비교하라는 명령은, 상기 정규화된 성능이 상기 성능의 기대치보다 낮은 또는 상당히 낮은 때에는 상기 검색 결과가 저성능인 것으로 판정하라는 명령을 포함하는 컴퓨터 이용가능 매체.
  49. 제 47 항에 있어서, 가장 중요한 데이터 소스는 암시적인 성능 데이터이고, 상기 수집된 데이터를 정규화하라는 명령은 상기 데이터를 결합할 때 암시적인 성 능 데이터에 상당히 더 큰 가중치를 부여하라는 명령을 포함하는 컴퓨터 이용가능 매체.
  50. 제 46 항에 있어서, 암시적인 성능 데이터는 검색 결과와 사용자가 상호작용할 때 검색 엔진에 의해 자동적으로 포착되는 데이터인 컴퓨터 이용가능 매체.
  51. 제 50 항에 있어서, 암시적인 성능 데이터는 상기 사용자가 상기 결과를 클릭했는지 여부, 상기 사용자가 상기 결과를 클릭했을 때의 결과의 위치, 및 상기 사용자가 상기 결과를 브라우징한 시간의 길이 중 적어도 하나를 표시하는 데이터를 포함하는 컴퓨터 이용가능 매체.
  52. 제 50 항에 있어서, 암시적인 성능 데이터는, 편집, 이메일, 인쇄, 북마크 및 복사 중 적어도 하나를 포함하여, 상기 사용자가 상기 결과에 대해 수행한 연산을 더 식별하는 컴퓨터 이용가능 매체.
  53. 제 50 항에 있어서, 암시적인 성능 데이터는 상기 검색 결과와의 다중 상호작용에 대해 취합(aggregation)되어 얻은 데이터를 포함하는 컴퓨터 이용가능 매체.
  54. 제 50 항에 있어서, 암시적인 성능 데이터는 상기 검색 결과와 복수의 사용 자의 상호작용에 대해 취합(aggregation)되어 얻은 데이터를 포함하는 컴퓨터 이용가능 매체.
  55. 제 46 항에 있어서, 명시적인 성능 데이터는 상기 검색 결과에 대해 검색 엔진 운영자에 의해 생성된 질문에 대한 사용자의 응답으로부터 얻은 데이터를 포함하고, 상기 질문은 온-라인 질문 및 전화 질문 중 하나를 포함하는 컴퓨터 이용가능 매체.
  56. 제 46 항에 있어서, 인간-판단 성능 데이터는 상기 검색 결과에 대한 인간의 평가로부터 얻은 데이터를 포함하는 컴퓨터 이용가능 매체.
  57. 제 46 항에 있어서, 관련성 검증 데이터는, 공지된 관련성을 가진 검색 결과가 상기 검색 엔진에 의해 생성된 검색 결과에 여전히 포함되는 것인지 여부를 검증하는 검색 결과의 관련성 검증 테스트로부터 얻은 데이터를 포함하는 컴퓨터 이용가능 매체.
  58. 제 46 항에 있어서, 샘플 테스트 데이터는 사용자들의 부분집합의 샘플에 대해 수행된 검색 결과의 관련성 테스트로부터 얻은 데이터를 포함하는 컴퓨터 이용가능 매체.
  59. 제 45 항에 있어서, 상기 검색 결과 성능이 상기 성능의 기대치에 비해 좋지 않은 가능한 원인 중 적어도 하나를 진단하라는 명령은, 상기 검색 결과가 더 이상 유효하지 않은지 여부, 상기 검색 결과가 불량한 위치에 나타났는지 여부, 상기 검색 결과를 생성시킨 검색어의 철자가 틀리기 쉬운 것인지 여부, 상기 검색어가 의미있는 결과를 생성하기에는 너무 광범위한 것인지 여부, 및 상기 검색어에 대한 검색이 특정 리소스로만 한정되어야 하는지 여부 중 적어도 하나를 판정하라는 명령을 포함하는 컴퓨터 이용가능 매체.
  60. 제 45 항에 있어서, 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하라는 명령은, 검색어에 대해 생성된 검색 결과를 수정하기 위하여 상기 검색 엔진의 검색 스키마를 변경하라는 명령을 포함하고, 상기 검색 결과에 대한 수정은 검색 결과의 순위 재조정, 제거, 및 대체 중 적어도 하나를 포함하는 컴퓨터 이용가능 매체.
  61. 제 45 항에 있어서, 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하라는 명령은, 검색어에 대해 생성된 검색 결과의 프레젠테이션을 증대시키도록 상기 검색 엔진의 검색 스키마를 변경하라는 명령을 포함하고, 상기 프레젠테이션을 증대시키는 것은 검색 결과 웹 페이지 상의 상기 검색 결과의 디스플레이를 강조하기, 애니메이션화하기, 확대하기 및 위치변경하기 중 적어도 하나를 포함하는 컴퓨터 이용가능 매체.
  62. 제 45 항에 있어서, 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하라는 명령은, 상기 검색 엔진의 맞춤법 검사기의 허용 오차를 증가하라는 명령을 포함하는 컴퓨터 이용가능 매체.
  63. 제 45 항에 있어서, 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하라는 명령은, 추가적인 사용자 입력으로 검색어를 명확히 하거나 또는 더 좁히라는 프롬프트들 중 하나를 사용자에게 제공하라는 명령을 포함하는 컴퓨터 이용가능 매체.
  64. 제 45 항에 있어서, 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하라는 명령은, 상기 검색 엔진의 연산을 일시적으로 조정하라는 명령과, 상기 검색 엔진의 연산을 영구적으로 조정하라는 명령을 수행하기 전에 상기 조정이 상기 검색 결과를 실제로 향상시켰는지 여부를 판정하라는 명령을 포함하는 컴퓨터 이용가능 매체.
  65. 제 45 항에 있어서, 상기 진단에 따라 상기 검색 결과를 산출한 검색 엔진의 연산을 조정하라는 명령은 상기 검색 엔진의 연산을 실시간으로 조정하라는 명령을 포함하는 컴퓨터 이용가능 매체.
  66. 제 65 항에 있어서, 상기 검색 엔진의 연산을 실시간으로 조정하라는 명령은, 상기 검색 엔진에 의해 생성된 검색 결과를 인터셉트하라는 명령과, 상기 검색 엔진이 상기 검색 결과를 사용자에게 디스플레이하기 전에 상기 검색 결과를 변경하라는 명령을 포함하는 컴퓨터 이용가능 매체.
KR1020050023514A 2004-03-22 2005-03-22 검색 결과 관련성의 자동화된 최적화를 위한 시스템 및방법 KR101130505B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/805,731 US7444327B2 (en) 2004-01-09 2004-03-22 System and method for automated optimization of search result relevance
US10/805,731 2004-03-22

Publications (2)

Publication Number Publication Date
KR20060044525A true KR20060044525A (ko) 2006-05-16
KR101130505B1 KR101130505B1 (ko) 2012-03-28

Family

ID=34862018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050023514A KR101130505B1 (ko) 2004-03-22 2005-03-22 검색 결과 관련성의 자동화된 최적화를 위한 시스템 및방법

Country Status (8)

Country Link
US (1) US7444327B2 (ko)
EP (1) EP1580670A1 (ko)
JP (2) JP2005276213A (ko)
KR (1) KR101130505B1 (ko)
CN (1) CN1677403A (ko)
BR (1) BRPI0501151A (ko)
CA (1) CA2501668C (ko)
MX (1) MXPA05003141A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160010652A (ko) * 2007-04-03 2016-01-27 구글 인코포레이티드 불충분한 탐색 콘텐츠 식별
US10380125B2 (en) 2015-05-01 2019-08-13 Sony Corporation Information processing apparatus and information processing method
JP2019215895A (ja) * 2013-07-09 2019-12-19 マキシマイザー・リミテッドＭａｘｙｍｉｓｅｒ Ｌｔｄ アプリケーションのための最適化の方法

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8590013B2 (en) 2002-02-25 2013-11-19 C. S. Lee Crawford Method of managing and communicating data pertaining to software applications for processor-based devices comprising wireless communication circuitry
US9092788B2 (en) 2002-03-07 2015-07-28 Compete, Inc. System and method of collecting and analyzing clickstream data
US10296919B2 (en) 2002-03-07 2019-05-21 Comscore, Inc. System and method of a click event data collection platform
US8095589B2 (en) 2002-03-07 2012-01-10 Compete, Inc. Clickstream analysis methods and systems
US9129032B2 (en) 2002-03-07 2015-09-08 Compete, Inc. System and method for processing a clickstream in a parallel processing architecture
US7403939B1 (en) 2003-05-30 2008-07-22 Aol Llc Resolving queries based on automatic determination of requestor geographic location
US8341017B2 (en) * 2004-01-09 2012-12-25 Microsoft Corporation System and method for optimizing search result listings
US20050209919A1 (en) * 2004-03-17 2005-09-22 Charles Stubbs Targeted consumer traffic delivery system
KR100483025B1 (ko) * 2004-05-21 2005-04-15 엔에이치엔(주) 명령어의 유효성 판단 방법 및 그 시스템
US7774326B2 (en) * 2004-06-25 2010-08-10 Apple Inc. Methods and systems for managing data
US7437358B2 (en) 2004-06-25 2008-10-14 Apple Inc. Methods and systems for managing data
US7730012B2 (en) 2004-06-25 2010-06-01 Apple Inc. Methods and systems for managing data
US9223868B2 (en) * 2004-06-28 2015-12-29 Google Inc. Deriving and using interaction profiles
US7562069B1 (en) 2004-07-01 2009-07-14 Aol Llc Query disambiguation
US20060069675A1 (en) 2004-09-30 2006-03-30 Ogilvie John W Search tools and techniques
US20060122976A1 (en) 2004-12-03 2006-06-08 Shumeet Baluja Predictive information retrieval
US7349896B2 (en) * 2004-12-29 2008-03-25 Aol Llc Query routing
US7571157B2 (en) * 2004-12-29 2009-08-04 Aol Llc Filtering search results
US7818314B2 (en) * 2004-12-29 2010-10-19 Aol Inc. Search fusion
US7272597B2 (en) 2004-12-29 2007-09-18 Aol Llc Domain expert search
WO2006075389A1 (ja) * 2005-01-14 2006-07-20 Fujitsu Limited 通信端末装置および通信プログラム
US8219567B2 (en) * 2005-03-15 2012-07-10 Microsoft Corporation Mobile friendly internet searches
US7962504B1 (en) * 2005-05-26 2011-06-14 Aol Inc. Sourcing terms into a search engine
US20070005588A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Determining relevance using queries as surrogate content
US20070016577A1 (en) * 2005-07-13 2007-01-18 Rivergy, Inc. System for building a website
US9105028B2 (en) * 2005-08-10 2015-08-11 Compete, Inc. Monitoring clickstream behavior of viewers of online advertisements and search results
US7860841B2 (en) * 2005-09-09 2010-12-28 Sap Ag Method and apparatus to support mass changes to business objects in an integrated computer system
US8290810B2 (en) 2005-09-14 2012-10-16 Jumptap, Inc. Realtime surveying within mobile sponsored content
US8229914B2 (en) 2005-09-14 2012-07-24 Jumptap, Inc. Mobile content spidering and compatibility determination
US8989718B2 (en) 2005-09-14 2015-03-24 Millennial Media, Inc. Idle screen advertising
US8832100B2 (en) 2005-09-14 2014-09-09 Millennial Media, Inc. User transaction history influenced search results
US7702318B2 (en) 2005-09-14 2010-04-20 Jumptap, Inc. Presentation of sponsored content based on mobile transaction event
US8238888B2 (en) 2006-09-13 2012-08-07 Jumptap, Inc. Methods and systems for mobile coupon placement
US8503995B2 (en) 2005-09-14 2013-08-06 Jumptap, Inc. Mobile dynamic advertisement creation and placement
US8311888B2 (en) 2005-09-14 2012-11-13 Jumptap, Inc. Revenue models associated with syndication of a behavioral profile using a monetization platform
US8156128B2 (en) 2005-09-14 2012-04-10 Jumptap, Inc. Contextual mobile content placement on a mobile communication facility
US9471925B2 (en) 2005-09-14 2016-10-18 Millennial Media Llc Increasing mobile interactivity
US8463249B2 (en) 2005-09-14 2013-06-11 Jumptap, Inc. System for targeting advertising content to a plurality of mobile communication facilities
US10592930B2 (en) 2005-09-14 2020-03-17 Millenial Media, LLC Syndication of a behavioral profile using a monetization platform
US8819659B2 (en) 2005-09-14 2014-08-26 Millennial Media, Inc. Mobile search service instant activation
US10911894B2 (en) 2005-09-14 2021-02-02 Verizon Media Inc. Use of dynamic content generation parameters based on previous performance of those parameters
US8209344B2 (en) 2005-09-14 2012-06-26 Jumptap, Inc. Embedding sponsored content in mobile applications
US7912458B2 (en) 2005-09-14 2011-03-22 Jumptap, Inc. Interaction analysis and prioritization of mobile content
US7676394B2 (en) 2005-09-14 2010-03-09 Jumptap, Inc. Dynamic bidding and expected value
US8027879B2 (en) 2005-11-05 2011-09-27 Jumptap, Inc. Exclusivity bidding for mobile sponsored content
US8688671B2 (en) 2005-09-14 2014-04-01 Millennial Media Managing sponsored content based on geographic region
US8302030B2 (en) 2005-09-14 2012-10-30 Jumptap, Inc. Management of multiple advertising inventories using a monetization platform
US9703892B2 (en) 2005-09-14 2017-07-11 Millennial Media Llc Predictive text completion for a mobile communication facility
US8131271B2 (en) 2005-11-05 2012-03-06 Jumptap, Inc. Categorization of a mobile user profile based on browse behavior
US7660581B2 (en) 2005-09-14 2010-02-09 Jumptap, Inc. Managing sponsored content based on usage history
US8364521B2 (en) 2005-09-14 2013-01-29 Jumptap, Inc. Rendering targeted advertisement on mobile communication facilities
US8615719B2 (en) 2005-09-14 2013-12-24 Jumptap, Inc. Managing sponsored content for delivery to mobile communication facilities
US8103545B2 (en) 2005-09-14 2012-01-24 Jumptap, Inc. Managing payment for sponsored content presented to mobile communication facilities
US9076175B2 (en) 2005-09-14 2015-07-07 Millennial Media, Inc. Mobile comparison shopping
US8364540B2 (en) 2005-09-14 2013-01-29 Jumptap, Inc. Contextual targeting of content using a monetization platform
US9201979B2 (en) 2005-09-14 2015-12-01 Millennial Media, Inc. Syndication of a behavioral profile associated with an availability condition using a monetization platform
US7860871B2 (en) 2005-09-14 2010-12-28 Jumptap, Inc. User history influenced search results
US8660891B2 (en) 2005-11-01 2014-02-25 Millennial Media Interactive mobile advertisement banners
US10038756B2 (en) 2005-09-14 2018-07-31 Millenial Media LLC Managing sponsored content based on device characteristics
US8812526B2 (en) 2005-09-14 2014-08-19 Millennial Media, Inc. Mobile content cross-inventory yield optimization
US20110313853A1 (en) 2005-09-14 2011-12-22 Jorey Ramer System for targeting advertising content to a plurality of mobile communication facilities
US8666376B2 (en) 2005-09-14 2014-03-04 Millennial Media Location based mobile shopping affinity program
US7577665B2 (en) 2005-09-14 2009-08-18 Jumptap, Inc. User characteristic influenced search results
US8195133B2 (en) 2005-09-14 2012-06-05 Jumptap, Inc. Mobile dynamic advertisement creation and placement
US7752209B2 (en) 2005-09-14 2010-07-06 Jumptap, Inc. Presenting sponsored content on a mobile communication facility
US7769764B2 (en) 2005-09-14 2010-08-03 Jumptap, Inc. Mobile advertisement syndication
US8805339B2 (en) 2005-09-14 2014-08-12 Millennial Media, Inc. Categorization of a mobile user profile based on browse and viewing behavior
US20070060114A1 (en) * 2005-09-14 2007-03-15 Jorey Ramer Predictive text completion for a mobile communication facility
US9058406B2 (en) 2005-09-14 2015-06-16 Millennial Media, Inc. Management of multiple advertising inventories using a monetization platform
US7921109B2 (en) * 2005-10-05 2011-04-05 Yahoo! Inc. Customizable ordering of search results and predictive query generation
US8175585B2 (en) 2005-11-05 2012-05-08 Jumptap, Inc. System for targeting advertising content to a plurality of mobile communication facilities
US20070112738A1 (en) * 2005-11-14 2007-05-17 Aol Llc Displaying User Relevance Feedback for Search Results
US20070112758A1 (en) * 2005-11-14 2007-05-17 Aol Llc Displaying User Feedback for Search Results From People Related to a User
US8571999B2 (en) 2005-11-14 2013-10-29 C. S. Lee Crawford Method of conducting operations for a social network application including activity list generation
WO2007059153A2 (en) * 2005-11-14 2007-05-24 Aol Llc Displaying user feedback for search results
JP4552147B2 (ja) * 2006-01-27 2010-09-29 ソニー株式会社 情報検索装置、情報検索方法及び情報検索プログラム
US8874591B2 (en) * 2006-01-31 2014-10-28 Microsoft Corporation Using user feedback to improve search results
US20070256095A1 (en) * 2006-04-27 2007-11-01 Collins Robert J System and method for the normalization of advertising metrics
US8442973B2 (en) * 2006-05-02 2013-05-14 Surf Canyon, Inc. Real time implicit user modeling for personalized search
US7424488B2 (en) * 2006-06-27 2008-09-09 International Business Machines Corporation Context-aware, adaptive approach to information selection for interactive information analysis
US20080027913A1 (en) * 2006-07-25 2008-01-31 Yahoo! Inc. System and method of information retrieval engine evaluation using human judgment input
US8104048B2 (en) * 2006-08-04 2012-01-24 Apple Inc. Browsing or searching user interfaces and other aspects
US20080033919A1 (en) * 2006-08-04 2008-02-07 Yan Arrouye Methods and systems for managing data
US8117197B1 (en) 2008-06-10 2012-02-14 Surf Canyon, Inc. Adaptive user interface for real-time search relevance feedback
US20080059455A1 (en) * 2006-08-31 2008-03-06 Canoy Michael-David N Method and apparatus of obtaining or providing search results using user-based biases
US7653618B2 (en) 2007-02-02 2010-01-26 International Business Machines Corporation Method and system for searching and retrieving reusable assets
CN101681375B (zh) * 2007-04-10 2014-12-17 埃森哲环球服务有限公司 搜索验证的系统和方法
US8359309B1 (en) * 2007-05-23 2013-01-22 Google Inc. Modifying search result ranking based on corpus search statistics
US20080306819A1 (en) * 2007-06-08 2008-12-11 Yahoo! Inc. System and method for shaping relevance scores for position auctions
US8201096B2 (en) 2007-06-09 2012-06-12 Apple Inc. Browsing or searching user interfaces and other aspects
US8185839B2 (en) 2007-06-09 2012-05-22 Apple Inc. Browsing or searching user interfaces and other aspects
US9178848B1 (en) 2007-07-23 2015-11-03 Google Inc. Identifying affiliated domains
US8200694B1 (en) * 2007-07-23 2012-06-12 Google Inc. Identification of implicitly local queries
US7613694B2 (en) * 2007-08-24 2009-11-03 Omholt Ray E Computer-implemented method and apparatus for recording and organizing multiple responses to queries used to create a legacy profile in a manner that expands memory recall
US9058337B2 (en) * 2007-10-22 2015-06-16 Apple Inc. Previewing user interfaces and other aspects
US7984000B2 (en) 2007-10-31 2011-07-19 Microsoft Corporation Predicting and using search engine switching behavior
US8051076B1 (en) 2007-12-13 2011-11-01 Google Inc. Demotion of repetitive search results
US8484190B1 (en) 2007-12-18 2013-07-09 Google Inc. Prompt for query clarification
WO2009082837A1 (fr) * 2007-12-26 2009-07-09 Zte Corporation Procédé et dispositif de coordination concernant la robustesse d'un système
US20090193007A1 (en) * 2008-01-28 2009-07-30 Andrea Filippo Mastalli Systems and methods for ranking search engine results
US7836058B2 (en) 2008-03-27 2010-11-16 Microsoft Corporation Web searching
US8788490B1 (en) 2008-06-27 2014-07-22 Google Inc. Link based locale identification for domains and domain content
US8793249B2 (en) * 2008-09-24 2014-07-29 Yahoo! Inc. Optimization filters for user generated content searches
WO2010045298A1 (en) * 2008-10-14 2010-04-22 Topcoder, Inc. System and method for advertising placement and/or web site optimization
US8259124B2 (en) 2008-11-06 2012-09-04 Microsoft Corporation Dynamic search result highlighting
US9519712B2 (en) * 2009-01-06 2016-12-13 At&T Intellectual Property I, L.P. Systems and methods to evaluate search qualities
US8326826B1 (en) 2009-01-12 2012-12-04 Google Inc. Navigational resources for queries
US20100241514A1 (en) * 2009-03-17 2010-09-23 Microsoft Corporation Automated provision of user feedback
US8370336B2 (en) * 2009-04-08 2013-02-05 Ebay Inc. Methods and systems for deriving demand metrics used in ordering item listings presented in a search results page
US8583673B2 (en) * 2009-08-17 2013-11-12 Microsoft Corporation Progressive filtering of search results
US20110178868A1 (en) * 2010-01-21 2011-07-21 Priyank Shanker Garg Enhancing search result pages using content licensed from content providers
US10140339B2 (en) * 2010-01-26 2018-11-27 Paypal, Inc. Methods and systems for simulating a search to generate an optimized scoring function
US20110231547A1 (en) * 2010-03-18 2011-09-22 Yang Ju-Ting Search methods applied to a personal network gateway in converged personal network service systems and related converged personal network service systems and mobile devices
US8306964B2 (en) * 2010-07-20 2012-11-06 Microsoft Corporation Extraction of rich search information from index servers via an alternative asynchronous data path
US8135706B2 (en) * 2010-08-12 2012-03-13 Brightedge Technologies, Inc. Operationalizing search engine optimization
CN103069418B (zh) * 2010-08-20 2016-03-02 乐天株式会社 信息提供装置、信息提供方法、程序以及信息记录介质
US8650191B2 (en) 2010-08-23 2014-02-11 Vistaprint Schweiz Gmbh Search engine optimization assistant
US8817053B2 (en) 2010-09-30 2014-08-26 Apple Inc. Methods and systems for opening a file
CN102810104B (zh) * 2011-06-03 2015-05-20 阿里巴巴集团控股有限公司 信息调整方法及装置
US9384266B1 (en) 2011-06-13 2016-07-05 Google Inc. Predictive generation of search suggestions
US9183280B2 (en) 2011-09-30 2015-11-10 Paypal, Inc. Methods and systems using demand metrics for presenting aspects for item listings presented in a search results page
US8954414B2 (en) * 2011-11-22 2015-02-10 Microsoft Technology Licensing, Llc Search model updates
US8938653B2 (en) * 2011-12-14 2015-01-20 Microsoft Corporation Increasing the accuracy of information returned for context signals
US8880992B2 (en) * 2012-01-10 2014-11-04 Google Inc. Method and apparatus for animating transitions between search results
US8719934B2 (en) * 2012-09-06 2014-05-06 Dstillery, Inc. Methods, systems and media for detecting non-intended traffic using co-visitation information
US20140089090A1 (en) * 2012-09-21 2014-03-27 Steven Thrasher Searching data storage systems and devices by theme
US8751477B2 (en) * 2012-10-05 2014-06-10 Iac Search & Media, Inc. Quality control system for providing results in response to queries
US20140100923A1 (en) * 2012-10-05 2014-04-10 Successfactors, Inc. Natural language metric condition alerts orchestration
CN102937974A (zh) * 2012-10-17 2013-02-20 北京奇虎科技有限公司 一种搜索服务器及搜索方法
CN103491197B (zh) * 2013-10-12 2016-08-10 北京海联捷讯信息科技发展有限公司 分布式自动巡检系统及其资源收集方法
US20150127813A1 (en) * 2013-11-07 2015-05-07 Hong Li Contextual browser composition and knowledge organization
EP3131019A1 (en) * 2014-04-07 2017-02-15 Rakuten, Inc. Information processing device, information processing method, program, and storage medium
US10303725B2 (en) * 2014-05-01 2019-05-28 Airbnb, Inc. Re-ranking search results for location refining and diversity
US10310699B1 (en) * 2014-12-08 2019-06-04 Amazon Technologies, Inc. Dynamic modification of browser and content presentation
RU2637899C2 (ru) * 2015-07-16 2017-12-07 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер определения изменений в пользовательском интерактивном взаимодействии со страницей результатов поиска
CN105117500B (zh) * 2015-10-10 2018-07-06 成都携恩科技有限公司 一种在大数据背景下的数据查询获取方法
US11663535B2 (en) 2016-10-03 2023-05-30 Google Llc Multi computational agent performance of tasks
US10311856B2 (en) 2016-10-03 2019-06-04 Google Llc Synthesized voice selection for computational agents
US10853747B2 (en) 2016-10-03 2020-12-01 Google Llc Selection of computational agent for task performance
WO2018067404A1 (en) * 2016-10-03 2018-04-12 Google Inc. Synthesized voice selection for computational agents
CN107967634A (zh) * 2016-10-19 2018-04-27 阿里巴巴集团控股有限公司 一种信息推荐方法及装置
CN106845061A (zh) * 2016-11-02 2017-06-13 百度在线网络技术（北京）有限公司 智能问诊系统和方法
US11269960B2 (en) 2017-05-15 2022-03-08 Microsoft Technology Licensing, Llc Dynamic search interfaces
JP6956652B2 (ja) * 2018-02-26 2021-11-02 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20240036284A (ko) * 2022-09-13 2024-03-20 쿠팡 주식회사 전자 장치 및 그의 정보 관리 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US14331A (en) * 1856-02-26 new jeksey
US5966126A (en) * 1996-12-23 1999-10-12 Szabo; Andrew J. Graphic user interface for database system
US6631372B1 (en) 1998-02-13 2003-10-07 Yahoo! Inc. Search engine using sales and revenue to weight search results
US6144958A (en) * 1998-07-15 2000-11-07 Amazon.Com, Inc. System and method for correcting spelling errors in search queries
US6223215B1 (en) * 1998-09-22 2001-04-24 Sony Corporation Tracking a user's purchases on the internet by associating the user with an inbound source and a session identifier
US6360227B1 (en) * 1999-01-29 2002-03-19 International Business Machines Corporation System and method for generating taxonomies with applications to content-based recommendations
US6678681B1 (en) 1999-03-10 2004-01-13 Google Inc. Information extraction from a database
JP2000331010A (ja) * 1999-05-18 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 映像検索方法および装置と映像検索プログラムを記録した記録媒体
US7035812B2 (en) * 1999-05-28 2006-04-25 Overture Services, Inc. System and method for enabling multi-element bidding for influencing a position on a search result list generated by a computer network search engine
US6269361B1 (en) * 1999-05-28 2001-07-31 Goto.Com System and method for influencing a position on a search result list generated by a computer network search engine
US6615209B1 (en) 2000-02-22 2003-09-02 Google, Inc. Detecting query-specific duplicate documents
US6434550B1 (en) * 2000-04-14 2002-08-13 Rightnow Technologies, Inc. Temporal updates of relevancy rating of retrieved information in an information search system
AU2001255506A1 (en) 2000-04-21 2001-11-07 Bay9, Inc. System and method of bidding for placement of advertisements in search engine
US7136854B2 (en) 2000-07-06 2006-11-14 Google, Inc. Methods and apparatus for providing search results in response to an ambiguous search query
US6529903B2 (en) * 2000-07-06 2003-03-04 Google, Inc. Methods and apparatus for using a modified index to provide search results in response to an ambiguous search query
US7062488B1 (en) * 2000-08-30 2006-06-13 Richard Reisman Task/domain segmentation in applying feedback to command control
US6647383B1 (en) * 2000-09-01 2003-11-11 Lucent Technologies Inc. System and method for providing interactive dialogue and iterative search functions to find information
US6836773B2 (en) 2000-09-28 2004-12-28 Oracle International Corporation Enterprise web mining system and method
US6658423B1 (en) 2001-01-24 2003-12-02 Google, Inc. Detecting duplicate and near-duplicate files
US6526440B1 (en) * 2001-01-30 2003-02-25 Google, Inc. Ranking search results by reranking the results based on local inter-connectivity
US6643639B2 (en) * 2001-02-07 2003-11-04 International Business Machines Corporation Customer self service subsystem for adaptive indexing of resource solutions and resource lookup
US6701311B2 (en) 2001-02-07 2004-03-02 International Business Machines Corporation Customer self service system for resource search and selection
US8001118B2 (en) 2001-03-02 2011-08-16 Google Inc. Methods and apparatus for employing usage statistics in document retrieval
US20030014331A1 (en) 2001-05-08 2003-01-16 Simons Erik Neal Affiliate marketing search facility for ranking merchants and recording referral commissions to affiliate sites based upon users' on-line activity
US7565367B2 (en) 2002-01-15 2009-07-21 Iac Search & Media, Inc. Enhanced popularity ranking
JP4003468B2 (ja) * 2002-02-05 2007-11-07 株式会社日立製作所 適合性フィードバックによる類似データ検索方法および装置
US7640232B2 (en) * 2003-10-14 2009-12-29 Aol Llc Search enhancement system with information from a selected source

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160010652A (ko) * 2007-04-03 2016-01-27 구글 인코포레이티드 불충분한 탐색 콘텐츠 식별
JP2019215895A (ja) * 2013-07-09 2019-12-19 マキシマイザー・リミテッドＭａｘｙｍｉｓｅｒ Ｌｔｄ アプリケーションのための最適化の方法
US10380125B2 (en) 2015-05-01 2019-08-13 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
BRPI0501151A (pt) 2005-11-01
US7444327B2 (en) 2008-10-28
CA2501668C (en) 2013-12-31
EP1580670A1 (en) 2005-09-28
US20050154716A1 (en) 2005-07-14
CA2501668A1 (en) 2005-09-22
MXPA05003141A (es) 2005-10-05
JP5302351B2 (ja) 2013-10-02
KR101130505B1 (ko) 2012-03-28
JP2005276213A (ja) 2005-10-06
JP2011134357A (ja) 2011-07-07
CN1677403A (zh) 2005-10-05

Similar Documents

Publication Publication Date Title
KR101130505B1 (ko) 검색 결과 관련성의 자동화된 최적화를 위한 시스템 및방법
US11809504B2 (en) Auto-refinement of search results based on monitored search activities of users
US9576251B2 (en) Method and system for processing web activity data
US8775396B2 (en) Method and system for searching a wide area network
US8494897B1 (en) Inferring profiles of network users and the resources they access
US7617193B2 (en) Interactive user-controlled relevance ranking retrieved information in an information search system
US7933884B2 (en) Apparatus and methods for tracking, querying, and visualizing behavior targeting processes
US9201863B2 (en) Sentiment analysis from social media content
US7577644B2 (en) Augmented search with error detection and replacement
US8266162B2 (en) Automatic identification of related search keywords
US8005823B1 (en) Community search optimization
KR100645608B1 (ko) 사용자 방문 유알엘 로그를 이용한 정보 검색 서비스 제공 서버 및 그 방법
JP4848388B2 (ja) 検索クエリに関するスコアを算出する方法
US20060218146A1 (en) Interactive user-controlled relevance ranking of retrieved information in an information search system
US20060064411A1 (en) Search engine using user intent
US20130046584A1 (en) Page reporting
US20100250513A1 (en) Aggregating Context Data for Programmable Search Engines
Shahzad et al. The new trend for search engine optimization, tools and techniques
AU2011201142A1 (en) Query revision using known highly-ranked queries
US7240045B1 (en) Automatic system for configuring to dynamic database search forms
Bokhari et al. Retrieval effectiveness of news search engines: a theoretical framework
Singh et al. Search Engine Evaluation Methodology
JP2007004779A (ja) リンク生成、リンク重要度及び類似文書に関する情報処理方法及び装置
WO2011018453A1 (en) Method and apparatus for searching documents

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee