KR20120073216A - 시각 검색 및 삼차원 결과 - Google Patents

시각 검색 및 삼차원 결과 Download PDF

Info

Publication number
KR20120073216A
KR20120073216A KR1020127005272A KR20127005272A KR20120073216A KR 20120073216 A KR20120073216 A KR 20120073216A KR 1020127005272 A KR1020127005272 A KR 1020127005272A KR 20127005272 A KR20127005272 A KR 20127005272A KR 20120073216 A KR20120073216 A KR 20120073216A
Authority
KR
South Korea
Prior art keywords
objects
dimensional
visual
query
search
Prior art date
Application number
KR1020127005272A
Other languages
English (en)
Other versions
KR101691249B1 (ko
Inventor
자카리 마크 거트
폴 로날드 레이
로드니 콜맨 에드워즈
다윈 켄고 야마모토
해디 모우스타파 아보우 엘 케어
브라이언 웰렌 맥도널드
제리 다니엘 바인
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20120073216A publication Critical patent/KR20120073216A/ko
Application granted granted Critical
Publication of KR101691249B1 publication Critical patent/KR101691249B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

대상 집합을 시각적으로 검색하고 탐색하는 방법, 시스템, 그래픽 사용자 인터페이스 및 컴퓨터 판독가능 매체가 제공된다. 컴퓨터 시스템은, 삼차원 형상이나 이차원 형상을 디스플레이하는 인터페이스와의 사용자 인터랙션에 대한 응답으로 대상 집합에 대한 삼차원 형상이나 이차원 형상을 생성하는 방법을 실시한다. 인터페이스는 사용자 질의의 컨텐츠와 삼차원 형상이나 이차원 형상의 대상들의 속성을 기반으로 동적으로 조정되는 필터 컨트롤, 소팅 컨트롤, 및 분류 컨트롤을 포함한다.

Description

시각 검색 및 삼차원 결과{VISUAL SEARCH AND THREE-DIMENSIONAL RESULTS}
통상적으로, 검색 엔진은 하나 이상의 검색 질의 단어(terms of a search query)를 포함하는 결과를 제공하게 된다. 종래의 검색 엔진은 전자 문서에 대한 레퍼런스를 저장하는 인덱스와 그 전자 문서에 포함된 단어를 사용하여 결과를 생성할 수 있다. 검색 엔진은 결과에 비슷한 단어를 포함하는, 인덱스에서 식별된 전자 문서에 대한 레퍼런스를 포함한다.
종래의 일부 검색 엔진은, 하나 이상의 단어가 종래의 검색 엔진의 검색 인터페이스에 입력될 때, 검색어 제시(search suggestions)를 할 수 있다. 제시된 단어를 선택 또는 이용하여, 입력된 단어와 제시되어 선택된 단어를 포함하는 전자 문서를 찾을 수 있다. 그러나, 검색 인터페이스에 입력된 단어나 제시된 단어가 사용자가 찾고자 하는 대상에 해당되지 않을 수 있다.
종래의 검색 인터페이스는 사용자가 찾는 대상 집합에 관한 단어를 만들어내는 것을 충분히 돕지 못했다. 검색 사용자(seeker)는 대상 집합을 찾아, 검색 작업을 완수하기를 바란다. 그러나, 검색 사용자는, 찾고자 하는 대상 집합을 검색 엔진이 제공할 수 있게 하는 검색 질의를 생성하는 데에서 어려움에 직면할 수 있다. 예를 들어, 검색 사용자는 $25,000 이하의 시중에서 가장 좋은 미국제 하이브리드 자동차, 자신의 지역에서 오늘 상영하는 어린이를 위한 영화, $400 이하의 넷북 중 임의의 것을 검색하는 중일 수 있다. 검색 사용자는 대상 집합을 찾는 데 어려움을 겪으면서, 그 대상 집합에 관한 단어를 만들기 위해 시행착오를 거칠 수 있다. 종래의 검색 엔진은 단지 사용자 검색 질의의 각각의 단어를 사용하여 단어 매치를 실행하기 때문에, 실제 컨텐츠 결과가 종종 사용자가 찾는 대상 집합에 정확하게 일치하지 않게 된다.
이러한 또한 종래의 다른 문제점들을 해결하는 본 발명의 실시예들은 대상 집합을 시각적으로 검색 및 탐색하는(explore) 컴퓨터 시스템, 그래픽 사용자 인터페이스 및 컴퓨터로 구현된 방법과 관련된다. 컴퓨터 시스템은 대상 집합에 관련된 이미지를 렌더링하고, 대상 집합을 좁힐 때 삼차원 인터페이스와 이차원 인터페이스 간에 전환을 한다.
컴퓨터 시스템을 통해 사용자는 자신의 의도에 연관된 대상 집합을 시각적으로 검색 및 탐색할 수 있다. 컴퓨터 시스템은 데이터베이스와 서버를 포함한다. 데이터베이스는 대상들, 각 대상의 속성 및 각 대상에 관련된 이미지를 저장하도록 구성된다. 서버는 데이터베이스에 연결된다. 서버는 시각 검색 요청에 대한 응답으로 이미지 집합과 속성을 검색한다. 이어서, 서버나 클라이언트는 그래픽 사용자 인터페이스를 생성하여 이미지와 속성을 체계화한다. 그래픽 사용자 인터페이스는 이미지 집합에 남아있는 이미지의 개수에 근거하여 삼차원 형상의 이미지 집합과 이차원 형상의 이미지 집합 간에 동적으로 전환할 수 있다.
본 요약은 아래의 상세한 설명에서 추가적으로 설명되는 일련의 컨셉을 간략한 형태로 소개한다. 본 요약은 특허 청구된 대상의 핵심 특징이나 필수 특징을 밝히기 위한 것이 아니며, 특허 청구된 대상의 범위를 정하는 수단으로서 따로 사용되기 위한 것도 아니다.
도 1은 본 발명의 실시예에 따른 컴퓨팅 시스템의 일례를 도시하는 네트워크 다이어그램이다.
도 2는 본 발명의 실시예에 따른, 시각 검색 링크를 갖는 검색 결과 페이지를 도시하는 그래픽 사용자 인터페이스(graphical user interface)이다.
도 3은 본 발명의 실시예에 따른, 삼차원 형상으로 대상 집합의 이미지를 도시하는 그래픽 사용자 인터페이스이다.
도 4는 본 발명의 실시예에 따른, 이차원 형상으로 각 대상이 지닌 메타데이터(metadata)를 도시하는 그래픽 사용자 인터페이스이다.
도 5는 본 발명의 실시예에 따른, 카테고리 또는 리파인 컨트롤에서 제공되는 기준에 일치하는 대상 집합을 도시하는 그래픽 사용자 인터페이스이다.
도 6은 본 발명의 실시예에 따른, 클릭 동작에 따라 생성된 결과 집합을 도시하는 그래픽 사용자 인터페이스이다.
도 7은 본 발명의 실시예에 따른, 대상 집합을 시각적으로 검색하고 탐색하는 방법을 도시하는 논리 다이어그램이다.
본 특허는 특허 대상이 법정 요구조건을 충족시키도록 구체적으로 설명한다. 그러나, 설명 자체는 본 특허의 범위를 제한하고자 하는 것이 아니다. 오히려, 발명가들은 청구된 대상이 그밖의 현재 또는 미래의 기술과 관련하여, 본 특허에서 설명된 것들과 상이한 단계들, 또는 유사한 단계들의 조합을 포함하도록 다른 방식으로도 구현될 수 있다는 점을 고려했다. 더구나, 사용된 방법의 상이한 요소를 암시적으로 나타내기 위해 "단계" 및 "블록"이라는 용어가 본원에서 사용될 수 있지만, 이러한 용어는 개별 단계들의 순서가 명시적으로 설명되지 않는 한, 그리고 명시적으로 설명될 때를 제외하고는, 본원에 개시된 다양한 단계들 사이의 임의의 특정 순서를 시사하는 것으로 해석되어서는 안 된다. 또한, 그 전체가 참조로 본원에 통합된 첨부 도면와 관련하여 실시예들이 아래에서 상세하게 설명된다.
본 발명의 실시예들은, 사용자 질의 또는 브라우징 요청(browsing request)에 대한 결과가 들어있는, 그래픽 사용자 인터페이스에 포함된 대상 집합들을 사용자가 시각적으로 검색하고 탐색가능하게 하는 컴퓨터 시스템을 제공한다. 대상 집합의 대상들은 쇼핑 제품, 자동차 제품, 동물, 유명 인사, 엔터테인먼트 미디어, 여행 또는 스포츠에 해당하며, 그러나 이에 한정되지 않는다. 특정 실시예에서, 그래픽 사용자 인터페이스는 사용자가 아이디어 및 검색 단어에 관한 문구를 만들어내지 않고도 그 아이디 및 검색 단어를 표현할 수 있게 함으로써 시각 검색 및 탐색을 구현한다. 그래픽 사용자 인터페이스는 각 대상과 대상 집합의 중요한 속성에 대한 시각 형상(visual representation)을 렌더링할 수 있다. 중요한 속성에는 사용자들이 대상 집합을 평가하기 위해 흔히 사용하는 속성이 포함된다. 사용자들은 대상 집합을 좁히기 위해 텍스트 질의를 만드는 대신, 중요한 속성을 통해 시각적으로 인터랙션할 수 있다. 게다가, 그래픽 사용자 인터페이스는 사용자가 모르는 대상이나 관계를 뜻하지 않게 발견할 기회를 사용자에게 제공하기 위해, 별로 관계없는 카테고리도 포함할 수 있다. 또한, 그래픽 사용자 인터페이스의 각 대상이, 포인터가 그 대상 위에서 호버링할(hovers) 때 검색 상자에서 미리 보기를 할 수 있는 질의에 링크될 수 있다. 결국, 질의는 대상을 클릭함으로써 실행될 수 있다. 그래픽 사용자 인터페이스는 대상 집합에서 현재 이용가능한 아이템 개수에 따라 동적으로 조정될 수 있다. 따라서, 컴퓨터 시스템은 대상 집합을 좁히고, 특히 대상의 이름을 모를 때, 특정 필드에서 새로운 아이템, 예컨대, 자동차 신모델, 새로운 책들, 극장의 새로운 영화들을 식별하고, 선택된 카테고리와 관련된 흥미롭고 인기 있는 대상을 보여주기 위해 사용될 수 있다.
당업자라면 컴퓨터 시스템이 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합을 포함할 수 있음을 이해할 것이다. 하드웨어는 메모리에 저장된 인스트럭션들을 실행하도록 구성된 프로세서와 메모리를 포함한다. 일 실시예에서, 메모리는 컴퓨터로 구현된 방법을 위한 컴퓨터 사용가능 인스트럭션을 갖는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 및, 데이터베이스, 스위치와 그 밖의 다양한 네트워크 장치들에 의해 판독가능한 매체를 포함한다. 네트워크 스위치, 라우터 및 관련 컴포넌트들은 통신 수단으로 사실상 종래의 것이다. 예시적이고 비제한적으로, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체와 통신 매체를 포함한다. 컴퓨터 저장 매체는, 또는 머신 판독가능 매체는, 정보를 저장하는 임의의 방법이나 기술로 구현되는 매체를 포함한다. 저장된 정보의 예로 컴퓨터 사용가능 인스트럭션, 데이터 구조, 프로그램 모듈, 및 기타 데이터 표현 등을 들 수 있다. 컴퓨터 저장 매체는 RAM(random access memory), ROM(read only memory), EEPROM(electronically erasable programmable read only memory), 플래시 메모리 또는 기타 메모리 기술, CD-ROM(compact-disc read only memory), DVD(digital versatile discs), 홀로그래픽 매체 또는 기타 광학 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 및 기타 자기 저장 장치를 포함하며, 그러나 이에 한정되지 않는다. 이러한 메모리 기술은 데이터를 순간적으로, 일시적으로, 또는 영구적으로 저장할 수 있다.
도 1은 본 발명의 실시예들에 따른, 예시적인 운영 환경(100)을 도시하는 네트워크 다이어그램이다. 도 1에 도시된 운영 환경(100)은 단지 예를 든 것으로, 범위나 기능에 관한 임의의 제한을 시사하기 위한 것이 아니다. 본 발명의 실시예들은 다른 많은 구성에서 사용될 수 있다. 도 1을 참조하면, 운영 환경(100)은 네트워크(110), 시각 검색 엔진(120), 클라이언트 장치들(130), 웹 페이지들(140), 대상 데이터베이스(objects database, 150) 및 인덱스 서버들(160)을 포함한다.
네트워크(110)는 클라이언트 장치들(130)과 시각 검색 엔진(120) 간의 통신을 용이하게 하도록 구성된다. 네트워크(110)는 대상 데이터베이스(150), 시각 검색 엔진(120) 및 인덱스 서버들(160) 간의 통신도 용이하게 한다. 네트워크(110)는 무선 네트워크, LAN(local area network), 유선 네트워크, 또는 인터넷과 같은 통신 네트워크일 수 있다. 일 실시예에서, 클라이언트 장치들(130)은 네트워크(110)를 이용하는 시각 검색 엔진(120)을 통해 인터랙션한다. 이에 대해, 시각 검색 엔진(120)은 사용자에 의해 제공되거나 선택된 단어들을 포함하는 웹 페이지, 이미지, 비디오 또는 기타 전자 문서를 제공한다.
시각 검색 엔진(120)은 네트워크(110)를 통해 클라이언트 장치들(130), 대상 데이터베이스(150) 및 인덱스 서버들(160)에 연결되어 통신한다. 특정 실시예에서, 시각 검색 엔진(120)은 클라이언트 장치(130)에서 디스플레이되는 시각 형상을 생성하는 서버이다. 시각 형상 엔진(120)은 네트워크 상에서, 사용자와의 인터랙션을 수신하는 인터페이스를 제공하는 클라이언트 장치들(130)로부터 단어의 선택 또는 링크의 선택을 수신한다. 시각 검색 엔진(120)은 사용자에 의해 선택된 단어 또는 링크에 부합하는 대상을 디스플레이하기 위해 삼차원 또는 이차원 형상을 생성할 수 있다. 시각 형상은 디스플레이 상에 대상들을 체계화하는 타임라인, 지도, 격자 또는 테이블을 포함할 수 있으며, 그러나 이에 한정되지는 않는다. 일 실시예에서, 시각 검색 엔진(120)은 검색 엔진에 연결되어, 시각 탐색 엔진에 의해 만들어지고 입력된 질의에 대한 응답으로 검색 결과를 검색해낸다.
특정 실시예에서, 시각 검색 엔진(120)은 대상 데이터베이스(150)를 트래버스하여(traverses), 클라이언트 장치들로부터 수신된 선택에 부합하는 대상을 식별한다. 그 결과, 대상 데이터베이스(150)는 그 선택을 충족시키는 대상 집합을 시각 검색 엔진(120)에 전송한다. 대상 집합은 대상 질의, 웹 페이지(140), 이미지, 비디오 또는 기타 전자 문서에 관련된다.
또한, 시각 검색 엔진(120)은 인덱스 서버들(160)을 트래버스하여 대상 질의 또는 사용자 질의를 충족시키는 웹 페이지들(140)을 찾을 수 있다. 그 결과, 인덱스 서버들(160)은 그 대상 질의나 사용자 질의를 충족시키는 웹 페이지, 이미지, 비디오 또는 기타 전자 문서를 가리키는 URL(uniform resource locators) 집합을 전송한다. 시각 검색 엔진(120)은 URL을 포맷팅하여(formats), 클라이언트 장치들(130)에 전송한다.
사용자는 클라이언트 장치들(130)을 이용하여, 검색 단어를 생성하고, 대상 위에서 호버링하거나, 링크나 대상을 선택하고, 또한 그 검색 단어에 적합한(relevant) 결과나 웹 페이지(14), 선택된 링크 또는 선택된 대상을 수신한다. 클라이언트 장치(130)는 제한 없이, PDA(personal digital assistants), 스마트 폰, 랩탑, 개인용 컴퓨터, 게임 시스템, 셋톱 박스 또는 기타 임의의 적절한 클라이언트 컴퓨팅 장치를 포함한다. 클라이언트 장치(130)는, 클라이언트 장치(130)에 사용자 및 시스템 정보를 저장하기 위한 사용자 및 시스템 정보 스토리지를 포함한다. 사용자 정보는 검색 히스토리, 쿠키 및 비밀 번호를 포함할 수 있다. 시스템 정보는 인터넷 프로토콜 주소, 캐싱된(cached) 웹 페이지, 및 시스템 활용을 포함할 수 있다. 클라이언트 장치(130)는 시각 검색 엔진(120)과 통신하여, 검색 단어에 적합한 결과나 웹 페이지(140), 선택된 링크 또는 선택된 대상을 수신한다. 몇몇 실시예에서, 클라이언트 장치(130)는 실버라이트(Silverlight) 브라우저 애플리케이션을 실행한다. 실버라이트 브라우저 애플리케이션은 아이템에 대한 검색 단어를 만들고, 사용자 요청이나 만들어진 검색 단어에 대한 응답 결과를 수신할 때, 인터랙티브한 경험을 제공할 수 있다. 클라이언트 장치(130)가 시각 검색 엔진(120)에 의해 선택된 대상이나 웹 페이지들(140)을 수신할 때, 실버라이트 브라우저 애플리케이션은 단지 사용자 요청을 충족하는 아이템들의 서브셋을 렌더링한다. 또한, 사용자가 클라이언트 장치(130)의 디스플레이를 스크롤할(scrolls) 때, 시각 검색 엔진이 남아있는 추가적인 대상들을 클라이언트 장치(130)에 전달함에 따라, 실버라이트 브라우저 애플리케이션은 클라이언트 장치(130)의 디스플레이 영역(display real estate)의 각 행에 추가적인 대상들 중 적어도 하나의 대상을 보여줌으로써 추가적인 대상들의 일부를 가지고 랜덤하게 결과를 채울 수 있다.
웹 페이지(140)는 사용자의 관심을 끄는 아이템에 대한 상세 정보를 제공한다. 웹 페이지(140)는 인덱스 서버(160)에 의해 인덱싱된다. 각 웹 페이지(140)는 단어들이나 메타데이터를 포함할 수 있다. 단어들이나 메타데이터는 적당한 위치에 웹 페이지를 저장하기 위해 인덱스 서버에 의해 사용된다. 또한, 웹 페이지(140)는 인덱스 서버(160)에 의해 저장되는 URL과도 연결된다.
대상 데이터베이스(150)는 각 대상에 대한 속성 및 이미지를 저장한다. 속성에는 타이틀, 이미지 크기, 이미지 차원 및 객체에 대한 기타의 메타데이터가 포함된다. 시각 검색 엔진(120)은 대상 데이터베이스(150)로부터 하나 이상의 대상을 요청할 수 있다. 그 결과로, 대상 데이터베이스(150)는 시각 검색 엔진(120)에 속성과 이미지를 전송한다.
인덱스 서버(160)는 웹 페이지(140), 각 웹 페이지(140)에 관련된 단어 및 웹 페이지(140)에 대응하는 URL을 저장한다. 시각 검색 엔진(120)은 인덱스 서버(160)로부터 하나 이상의 웹 페이지(140)를 요청할 수 있다. 그 결과로, 인덱스 서버(160)는 시각 검색 엔진(120)에 웹 페이지를 전송한다.
따라서, 운영 환경(100)은 웹 페이지(140)와 대상을 포함하는 결과를 클라이언트 장치(130)에 제공하는 시각 검색 엔진(120)으로 구성된다. 시각 검색 엔진(120)은 대상 데이터베이스(150)와 인덱스 서버(160)를 트래버스하여, 사용자로부터 수신된 요청을 만족시키는 결과를 얻는다. 이어서, 클라이언트 장치(130)는 사용자에게 디스플레이하기 위해 결과를 렌더링한다.
일 실시예에서, 시각 검색 엔진은 사용자가 제공하는 단어나 사용자가 선택한 선택에 일치하는 결과를 포함하는 그래픽 사용자 인터페이스를 생성한다. 결과에는 웹 페이지를 가리키는 URL이 포함된다. 그래픽 사용자 인터페이스는 그 결과를 시각 형상으로 재포매팅하는 링크를 포함한다. 시각 형상으로의 링크는 그래픽 사용자 인터페이스에서 하이라이트 표시가 될 수 있다.
도 2는 본 발명의 실시예에 따른, 시각 검색 링크를 갖는 검색 결과 페이지를 도시하는 그래픽 사용자 인터페이스(200)이다. 그래픽 사용자 인터페이스(200)는 검색 상자(210)와 시각 검색 링크(230)를 포함한다.
그래픽 사용자 인터페이스(200)의 검색 상자(210)를 통해 사용자는 검색 질의를 위한 자신만의 검색 단어를 만들어낼 수 있다. 검색 상자(210)는 사용자가 제공하는 검색 단어를 수신한다. 그 결과로, 시각 검색 엔진은 이 검색 단어를 이용하여, 검색 상자(210)에 입력된 단어에 일치하는 검색 결과를 얻는다.
시각 검색 링크(230)는 그래픽 사용자 인터페이스(200)의 일부이다. 사용자는 시각 검색 링크(230)를 통해 검색 질의 결과를 시각적으로 탐색할 수 있다. 또한, 시각 검색 링크(230)로 인해 사용자는 자신의 검색 단어를 입력할 필요 없이 질의를 시각적으로 만들어낼 수 있다. 몇몇 실시예에서, 검색 결과의 시각 형상은 삼차원 형상이다.
예를 들어, 사용자가 검색 상자(210)에 "자동차(cars)"를 입력하여 "자동차"라는 단어를 사용한 검색을 시작할 때, 시각 검색 엔진은 사용자가 중고차나 새 차의 구입에 관련된 검색 작업을 하기를 바라는 것을 인식할 수 있다. 검색 엔진이 출력하는 결과는 사용자가 중고차나 새 차 구입에 관련된 검색 작업을 완수하는 것을 돕지 않을 수도 있다. 시각 검색 엔진은 검색 엔진의 결과를 무시하고, 사용자의 위치에서 현재 판매 중인 자동차의 시각 형상을 포함하는 시각 디스플레이를 제공한다. 사용자는 그래픽 사용자 인터페이스(200)의 시각 형상 및 특징을 통해 인터랙션하여, 사용자가 찾고자 하는 "자동차"를 찾을 수 있다.
아니면, 사용자가 검색 상자(210)에 "자동차"를 입력하여 "자동차"라는 단어를 사용한 검색을 시작할 때, 시각 검색 엔진은 자동차라는 단어를 포함하는 웹 페이지(140)로 구성되는 결과를 출력할 수 있다. 하지만, 사용자가 시각 검색 링크(230)를 클릭하면, 시각 검색 엔진은 그 결과의 시각 형상을 생성한다. 사용자는 그래픽 사용자 인터페이스(200)의 시각 형상 및 특징을 통해 인터랙션하여, 사용자가 찾고자 하는 "자동차"를 찾을 수 있다.
특정 실시예에서, 시각 검색 엔진은 질의 단어의 입력을 요구하지 않는 브라우징 진입 포인트(browse entry point)를 제공할 수 있다. 브라우징 진입 페이지는 카테고리별로 배열된 대상 컬렉션을 포함할 수 있다. 각 대상은 이미지로 표현되고, 시각 질의에 대응할 수 있다.
일 실시예에서, 사용자의 요청에 응해 검색 결과를 시각적으로 탐색하기 위해 시각 탐색 엔진에 의해 생성되는 시각 형상은 검색 결과의 삼차원 형상이다. 그래픽 사용자 인터페이스는 삼차원 형상과 그 삼차원 형상을 통한 인터랙션을 위해 사용되는 컨트롤을 디스플레이한다. 그로부터, 사용자는 삼차원 형상에 포함되는 대상들을 좁힐 수 있다.
도 3은 본 발명의 실시예에 따른, 삼차원 형상(350)으로 대상(350a) 집합의 이미지를 도시하는 그래픽 사용자 인터페이스(300)이다. 시각 검색 엔진은, 사용자가 제공하는 검색 단어에 대한 URL 결과를 포함하는 그래픽 사용자 인터페이스의 시각 검색 링크를 사용자가 클릭할 때, 그래픽 사용자 인터페이스(300)에서 시각 형상을 생성한다. 그래픽 사용자 인터페이스(300)는 대상(350a)의 개수와 차원에 따라 URL 결과를 (삼차원 또는 이차원) 시각 형상으로 대체한다. 대상들이 그래픽 사용자 인터페이스(300)에서 렌더링되는 동안, 시각 검색 엔진은 그 대상들을 애니메이션화한다. 시각 검색 엔진이 삼차원 형상(350)을 생성할 때, 대상들(350a)은 그래픽 사용자 인터페이스(300)의 바탕화면으로부터 이동하고, 오버래핑된 삼차원 어레이의 대상들로 정렬한다. 이어서, 시각 검색 엔진은 그래픽 사용자 인터페이스(300)의 컨트롤을 왼쪽과 오른쪽으로부터 플로팅시킴으로써(floating) 그래픽 사용자 인터페이스(300)의 왼쪽과 오른쪽에 있는 컨트롤을 애니메이션화한다. 사용자는 포인터를 움직여 그래픽 사용자 인터페이스(300)의 왼쪽과 오른쪽에 있는 컨트롤을 통해 인터랙션하여 대상들(350a)을 조종할 수 있다. 몇몇 실시예에서, 사용자가 검색 단어를 제공할 필요 없이, 사용자가 시각 검색 링크를 클릭하면, 시각 검색 엔진은 그래픽 사용자 인터페이스(300)에서 시각 형상을 생성한다.
그래픽 사용자 인터페이스(300)는 삼차원 형상(350)에 포함되는 대상들(350a)을 통해 인터랙션하기 위해 사용되는 카테고리 컨트롤(310), 카운트 컨트롤(count control, 320), 리파인 컨트롤(refine control, 330), 소팅 컨트롤(sort control, 340) 및 스크롤 컨트롤(360)을 포함한다. 그래픽 사용자 인터페이스(300)를 통해 사용자는 자신이 제공한 검색 단어에 일치하는 모든 대상들을 볼 수 있게 된다. 그래픽 사용자 인터페이스(300)는 모든 대상들보다 적은 수를 로딩하지만, 스크롤 컨트롤(360)이 무한한 스크롤 기능을 제공하여, 현재 삼차원 형상(350)의 시야 영역 밖에 있는 시각 형상의 추가 대상들을 사용자가 볼 수 있게 된다. 일 실시예에서, 그래픽 사용자 인터페이스(300)는 모든 대상에 대한 데이터를 로딩하지만, 스크롤 컨트롤(360)이 추가 대상들을 드러내 보여 특정 대상들이 시야에 들어올 때마다 이미지들을 스트리밍할 수 있다. 다른 실시예에서, 그래픽 사용자 인터페이스는 데이터의 서브셋과 해당 이미지만을 로딩하여, 사용자가 대상의 일부와 빨리 인터랙션하게 할 수도 있다. 추가 데이터와 이미지는 스크롤 컨트롤(360)을 통해 요청되면 로딩된다.
카테고리 컨트롤(310)은 삼차원 형상(350)의 각 대상에 관련된 카테고리를 식별한다. 삼차원 형상(350)의 대상들(350a)의 개수는 사용자가 카테고리 컨트롤(310)을 선택하면 감소할 수 있다. 몇몇 실시예에서, 시각 검색 엔진이 삼차원 형상(350)의 대상들(350a)의 개수를 줄임에 따라 삼차원 형상(350)은 대상들(350a)을 애니메이션화한다. 선택된 카테고리 안에 없는 대상들(350a)은 제거되거나 그래픽 사용자 인터페이스(300)의 바탕화면으로 물러난다. 선택된 카테고리를 만족시키는 추가 대상들(350a)이 삼차원 형상(350)의 삭제된 대상들(350a)을 대신하게 된다. 업데이트된 삼차원 형상(350)에 있는 모든 대상들(350a)은 카테고리 콘트롤(310)에서 선택된 카테고리를 만족시킨다.
예를 들어, 사용자는 자동차를 검색할 때 카테고리로 SUV(sport utility vehicle)를 선택할 수 있다. 사용자의 선택에 대해, 시각 검색 엔진은 SUV로 카테고리화되지 않은 대상들(350a)을 제거함으로써 삼차원 형상(350)의 대상들(350a)을 업데이트한다. 사용자 선택을 만족시키지 않는 객체들(350a)은 삼차원 형상(350)에서 빠져나오도록 시각 검색 엔진에 의해 애니메이션화되고, 삼차원 형상(350)의 시야 영역 밖에 있는 추가 대상들은 삭제된 대상들(350a)을 대체하도록 애니메이션화된다.
다른 실시예에서, 시각 검색 엔진은 사용자가 행한 이전 검색을 기반으로 하여 새로운 링크로 카테고리 컨트롤(310)을 업데이트할 수 있다. 사용자의 이전 검색이 특정 아이템이나 브랜드 아이템에 관한 것일 때, 시각 검색 엔진은 그 특정 아이템이나 브랜드 아이템과 유사한 특징을 갖는 대상들의 시각 형상에 관련된 링크를 제작한다. 사용자가 그 링크를 선택할 때, 시각 검색 엔진은 유사한 특징을 갖는 대상들을 포함하는 인터페이스를 생성한다. 또한, 시각 검색 엔진은 이전 검색과 거의 관련이 없는 정보에 대한 링크를 카테고리 컨트롤(310)에 포함할 수 있다. 예를 들어, 사용자가 판매 중인 모든 새 차들을 찾으며 애스턴 마틴(Aston Martin) 위에서 호버링한다면, 카테고리 컨트롤(310)은 (제임스 본드(James Bond)가 애스턴 마틴을 몰기 때문에) 현재 영화관에서 상영하고 있는 제임스 본드 영화와, (애스턴 마틴이 영국에서 생산되므로) 영국에 대한 링크를 보여주도록 업데이트할 수 있다.
카운트 컨트롤(320)은 시각 형상에 있는 아이템들의 총 개수와 그래픽 사용자 인터페이스(300)의 시야 영역에 현재 디스플레이되는 아이템의 개수를 디스플레이한다. 카운트 컨트롤(320)은 사용자가 시각 형상(예컨대, 삼차원 형상(350)) 내에 있는 대상들을 감소시키거나 증가시킴에 따라 업데이트한다. 카운트 컨트롤(320)은 사용자가 새로운 혹은 추가적인 검색 단어로 검색을 시작할 때 업데이트한다. 아니면, 카운트 컨트롤(320)은 사용자가 카테고리 컨트롤(310)이나 리파인 컨트롤(330)을 통해 인터랙션하여 그래픽 사용자 인터페이스(300)의 대상들(350a)을 조작할 때 업데이트한다.
리파인 컨트롤(330)은 시각 형상 내에 있는 대상들(350a)의 일부가 공유하는 속성을 나타낸다. 사용자가 리파인 컨트롤(330)에서 나타내는 속성들에 대한 값을 선택할 때, 삼차원 형상(350)의 대상들(350a)의 개수가 감소할 수 있다. 몇몇 실시예에서, 시각 검색 엔진이 삼차원 형상(350)의 대상들(350a)의 개수를 줄임에 따라 삼차원 형상(350)은 대상들(350a)을 애니메이션화한다. 리파인 컨트롤(330)에서 나타내는 속성들에 대해 선택된 값을 만족시키지 못한 대상들(350a)은 제거되거나 그래픽 사용자 인터페이스(300)의 바탕화면으로 물러난다. 리파인 컨트롤(330)에서 나타내는 속성들에 대해 선택된 값을 만족시키는 추가 대상들(350a)이 삭제된 대상들(350a)을 대신하게 된다. 업데이트된 시각 형상(예컨대, 업데이트된 삼차원 형상(350))에 있는 모든 대상들(350a)은 리파인 컨트롤(330)에서 나타내는 속성들에 대해 선택된 값을 만족시킨다. 몇몇 실시예에서, 리파인 컨트롤(350)에서의 속성은 유효한 필터링 옵션만을 제공하도록 업데이트된다. 예를 들어, 사용자가 차량 유형 필터로써 "Sport Utility Vehicle"을 선택할 때, 브랜드 필터는 "Sport Utility Vehicle"를 제공하지 않는 제조업체나 브랜드를 자동으로 제거할 수 있다.
사용자는 소팅 컨트롤(340)을 통해 대상들(350a)을 정렬할 수 있다. 소팅 컨트롤(340)은 삼차원 형상(350)의 대상들(350a)을 재편성한다(reorganizes). 소팅 컨트롤(340)은 시각 형상의 모든 대상들(350a)이 공유하는 속성들을 나타낸다. 대상들(350a)은 디폴트로 알파벳순으로 정렬된다. 사용자가 소팅 컨트롤을 선택할 때, 시각 검색 엔진은 시각 형상의 대상들(350a)을 재편성할 수 있다. 예를 들어, 사용자가 자동차를 검색할 때, 소팅 컨트롤(340)을 통해 사용자는 브랜드, 안정도 평가 또는 전문가 평가 별로 대상들(350a)을 정렬할 수 있다. 시각 검색 엔진은 대상들의 브랜드, 안정도 평가 및 전문가 평가에 관한 속성들을 저장하는 대상 데이터베이스로부터 브랜드, 안정도 평가 및 전문가 평가를 얻는다. 사용자가 속성을 선택한 후에, 시각 검색 엔진은 시각 형상의 대상들의 순서를 바꾼다. 일 실시예에서, 소팅 컨트롤에 포함된 속성들은 검색 로그(search log)의 검색 빈도에 기반하여 선택된다.
사용자는 스크롤 컨트롤(360)을 통해 시각 형상 내에 있는 추가 대상들(350a)을 볼 수 있다. 몇몇 실시예에서, 스크롤 컨트롤은 무한한 스크롤을 제공하여, 그래픽 사용자 인터페이스(300)가 시각 형상의 대상들(350a)을 지속적으로 스크롤할 수 있게 한다. 무한한 스크롤은 시각 형상 내에 있는 모든 대상들(350a)을 계속 순환시킨다.
몇몇 실시예에서, 시각 검색 엔진은 대상물(350a)의 삼차원 형상(350)과 이차원 형상 사이에서 전환된다. 시각 검색 엔진은 그래픽 사용자 인터페이스에서 디스플레이를 위해 선택된 대상물의 개수가 클 때, 삼차원 형상(350)을 생성한다. 사용자가 대상물의 개수를 적정한 수로 줄일 때, 시각 검색 엔진은 이차원 형상으로 대상물들을 렌더링할 수 있다. 일 실시예에서, 남아 있는 대상물들은 스크롤링 없이도 볼 수 있는 행으로 시각 검색 엔진에 의해 재배치된다. 또한, 시각 검색 엔진은 남아 있는 각각의 대상(350a) 주변에 경계를 렌더링할 수도 있다.
예를 들어, 시각 검색 엔진은 각 대상에 대한 상세 정보가 있는 그래픽 사용자 인터페이스의 생성을 필요로 하는 디스플레이 디폴트를 설정할 수 있다. 그러나, 그래픽 사용자 인터페이스는 시각 형상의 사용자 선택을 만족시키는 되도록 많은 대상들을 디스플레이해야만 한다. 대상물들의 개수가 많아서 상세 정보를 보여주는 것이 그래픽 사용자 인터페이스를 모호하게 할 때에는, 시각 검색 엔진에 의해 대상물들의 삼차원 시각 형상(350)이 생성될 수 있다. 대상물들의 개수가 적어서 상세 정보를 보여주는 것이 그래픽 사용자 인터페이스를 모호하게 하지 않을 때에는, 시각 검색 엔진에 의해 대상물들의 이차원 시각 형상이 생성될 수 있다. 게다가, 이용가능한 디스플레이 영역이 증가하기 때문에, 시각 검색 엔진은 각 대상에 대해 더 많은 정보를 디스플레이하게 된다. 몇몇 실시예에서, 각 대상에 관련된 이미지의 크기가 100 x 100 픽셀이 되고, 이차원 형상은 최소 다섯 행과 다섯 열의 이미지를 갖는 어레이를 포함한다.
일 실시예에서, 대상들의 이차원 형상은 시각 탐색 엔진에 의해 생성된다. 이차원 형상을 통해 사용자는 그래픽 사용자 인터페이스에서 각 대상에 대한 추가 정보를 볼 수 있게 된다. 시각 검색 엔진은 그래픽 사용자 인터페이스에서 이용가능한 디스플레이 영역을 사용하여, 사용자에게 디스플레이되도록 렌더링되는 정보를 최대화시킨다.
도 4는 본 발명의 실시예에 따른, 이차원 형상(440)으로 각 대상이 지닌 메타데이터를 도시하는 그래픽 사용자 인터페이스(400)이다. 시각 검색 엔진은 렌더링되도록 선택된 대상물의 개수에 기반하여 그래픽 사용자 인터페이스(400)에 이차원 형상(440)을 생성한다. 일 실시예에서, 시각 검색 엔진은, 디스플레이를 위해 선택된 대상물들의 개수가 스크롤링 없이 볼 수 있을 때, 그래픽 사용자 인터페이스(400)에 이차원 형상(440)을 생성한다. 몇몇 실시예에서, 시각 검색 엔진은 스크롤링 없이 그래픽 사용자 인터페이스(400)에 맞도록 대상물들에 관련된 이미지를 재포맷팅할 수 있다. 다른 실시예들에서는, 대상물들의 개수가 그래픽 사용자 인터페이스(400)에서 볼 수 있는 이용가능한 메타데이터에 기반하여 대상물들을 비교하게 할 수 있을 때, 시각 검색 엔진이 그래픽 사용자 인터페이스(400)에 이차원 형상(440)을 생성할 수 있다.
그래픽 사용자 인터페이스(400)는 검색 상자(410), 포인터(420), 메타데이터 디스플레이(430), 이차원 형상(440) 및 대상 라벨(object labels, 450)을 포함한다. 사용자는 검색 상자(410)를 통해 시각 검색 엔진으로 보내져야 하는 검색 단어를 입력할 수 있다. 검색 상자(410)는 시각 검색 엔진이 그 검색 상자(410) 안에 들어 있는 검색 단어로 검색을 시작하게 하는 검색 아이콘을 포함한다. 또한, 사용자가 포인터(420)로 대상 위에서 호버링할 때, 검색 상자(410)는 이차원 형상(440)의 각 대상에 관련된 검색 질의를 자동으로 디스플레이한다. 사용자는 검색 상자(410)에 포함된 검색 아이콘을 클릭함으로써, 그 호버링에 대한 응답으로 검색 상자(410)에 자동으로 디스플레이되는 검색 질의를 이용하여 검색을 시작할 수 있다. 또는, 사용자는 포인터(420)로 대상을 클릭함으로써 각 대상에 관련된 검색 질의를 이용하여 검색을 시작할 수 있다. 사용자가 포인터(420)로 대상을 클릭하면, 시각 검색 엔진은 그 대상에 관련된 검색 질의를 이용하여 인덱스 서버와 대상 데이터베이스를 검색한다.
몇몇 실시예에서, 포인터(420)는 사용자가 대상들 위에서 호버링하고, 클릭하거나, 드래그 및 드랍 가능하게 하는 마우스이다. 그래픽 사용자 인터페이스(400)는 포인터(420)를 사용하여 행해지는 동작을 기반으로 하여 업데이트될 수 있다. 포인터가 이차원 형상(440)의 대상 위에서 호버링할 때, 시각 검색 엔진은 그래픽 사용자 인터페이스(400) 상의 각 대상에 대한 추가 정보를 렌더링한다.
메타데이터 디스플레이(430)는 이차원 형상(440)의 대상들에 대한 정보를 제공한다. 일 실시예에서, 포인터(420)가 시각 형상의 대상들 위에서 호버링할 때, 메타데이터 디스플레이(430)는 그 대상들에 해당하는 제한된 정보를 제공한다. 시각 검색 엔진은 대상 데이터베이스로부터 그 제한된 정보를 수신한다. 특정 실시예에서는, 사용자가 이차원 형상의 대상 위에서 호버링할 때, 검색 상자(410) 아래에 있는 그래픽 사용자 인터페이스(400)에 정보가 디스플레이된다. 다른 실시예에서는, 사용자가 대상 위에서 호버링할 때, 메타데이터 디스플레이(430)가 대상들의 삼차원 형상으로 생성될 수도 있다.
이차원 형상(440)은 사용자에 의한 선택이나 사용자가 제공한 질의를 만족시키는 대상물들을 포함한다. 대상 집합이 스크롤링 없이 그래픽 사용자 인터페이스의 디스플레이 영역 내에서 보일 때, 시각 검색 엔진이 이차원 형상(440)을 생성할 수 있다. 시각 검색 엔진은 대상 데이터베이스를 트래버스하여, 대상 집합의 각 대상에 관련된 이미지를 얻는다. 이어서, 시각 검색 엔진은 각 대상에 관련된 이미지를 이차원 형상(440)으로 렌더링한다.
특정 실시예에서, 이차원 형상(440)은 대상 라벨(450)을 포함한다. 시각 검색 엔진은 각 대상 라벨(450)에 관한 정보를 대상 데이터베이스로부터 수신한다. 이어서, 시각 검색 엔진은 이차원 형상(440) 내에 디스플레이되는 대상들의 개수에 따라 대상 라벨의 특정량의 데이터를 렌더링한다. 이차원 형상(440)의 대상들의 개수가 그래픽 사용자 인터페이스(400)의 전체 시야 영역의 임계량 이상을 차지하면, 시각 검색 엔진은 각 대상에 대해 좀 더 적은 정보를 렌더링한다. 예를 들어, 이차원 형상(440)의 대상들의 개수가 그래픽 사용자 인터페이스(400)의 전체 시야 영역의 80 퍼센트 이상을 차지하면, 시각 검색 엔진은 이차원 형상(440)의 각 대상에 대한 대상 라벨(450)에 타이틀 정보만을 렌더링할 수 있다. 또는, 시각 탐색 엔진은 타이틀 정보와 대상 라벨(450)의 대상 집합을 좁히기 위해 흔히 사용되는 속성에 대한 값만을 렌더링할 수도 있다.
다른 실시예에서, 시각 검색 엔진에 의해 생성되는 이차원 형상은 각 대상에 대한 추가 정보가 들어있는 대상 라벨을 포함한다. 추가 정보는 시각 탐색 엔진에 의해 이전에 렌더링되지 않은, 대상에 관련된 속성의 값을 포함한다. 추가 정보는 대상 데이터베이스에 저장될 수 있다. 사용자는 추가 정보를 통해 이차원 형상에 디스플레이되는 대상들이 추가 정보에 관련된 불특정 사용자 기준을 만족시키는 지를 결정할 수 있다. 이차원 형상의 대상들이 사용자를 만족시키면, 사용자는 대상을 클릭하여, 사용자가 검색 작업을 완수하도록 돕거나 사용자가 그 대상에 관한 추가 정보를 취하게 하는 다음 동작을 시작하게 할 수 있다. 예를 들어, 클릭에 의해 대상에 관한 검색 질의를 입력할 수 있다. 대상이 가전 제품, 예컨대, 디지털 카메라에 해당할 때, 클릭에 의해 그 카메라에 대한 구매 페이지에서 구매 거래를 시작하게 할 수 있다. 대상이 여행 상품, 예컨대, 목적지 도시, 기념물(monument) 또는 기념비(memorial)에 해당하면, 클릭으로 숙박 시설 및 그 목적지까지의 교통편에 대한 검색을 시작할 수 있다. 아니면, 이차원 형상의 대상들이 사용자를 만족시키지 못한다면, 사용자는 새로운 검색 단어를 입력하거나 또는, 새로운 시각 검색을 시작하는 카테고리 컨트롤을 선택함으로써 검색을 계속할 수 있다.
도 5는 본 발명의 실시예에 따른, 카테고리 또는 리파인 컨트롤에서 제공되는 기준에 일치하는 대상 집합을 도시하는 그래픽 사용자 인터페이스(500)이다. 그래픽 사용자 인터페이스(500)는 이차원 형상(510) 및 대상 라벨(520)을 포함한다.
시각 검색 엔진은, 디스플레이를 위해 선택된 대상물들의 개수가 스크롤링 없이 볼 수 있을 때, 그래픽 사용자 인터페이스(500)에 이차원 형상(510)을 생성할 수 있다. 이차원 형상(510)은 사용자에 의한 선택이나 사용자가 제공한 질의를 만족시키는 대상물들을 포함한다. 시각 검색 엔진은 대상 데이터베이스를 트래버스하여, 대상 집합의 각 대상에 관련된 이미지를 얻는다. 이어서, 시각 검색 엔진은 각 대상에 관련된 이미지를 이차원 형상(510)으로 렌더링한다.
특정 실시예에서, 이차원 형상(510)은 대상 라벨(520)을 포함한다. 시각 검색 엔진은 각 대상 라벨(520)에 대한 정보를 대상 데이터베이스로부터 수신한다. 이어서, 시각 검색 엔진은 대상 라벨(520)의 대상 집합을 줄이기 위해 사용자가 흔히 사용하는 속성에 대한 값을 렌더링한다.
시각 검색 엔진에 의해 선택되는 대상들은 시각 탐색 엔진을 통해 인터랙션하는 사용자의 컨텍스트를 기초로 하여 리파인될 수 있다. 사용자의 컨텍스트는 사용자의 현재 위치, 이전 브라우징 히스토리 또는 사용자의 클라이언트 장치 구성의 현재 구성을 포함할 수 있으나, 이에 한정되지는 않는다. 시각 검색 엔진은 컨텍스트 정보를 사용하여 대상 데이터베이스로부터 선택된 대상들 또는, 사용자가 선택한 대상에 대해 인덱스 서버에 의해 제공되는 결과를 필터링할 수 있다.
몇몇 실시예에서, 이차원 형상의 대상은 사용자에 의해 선택된다. 이어서, 사용자 검색 엔진은 대상 데이터베이스로부터의 데이터와 인덱스 서버로부터의 URL을 포함하는 그래픽 사용자 인터페이스를 생성한다. 그래픽 사용자 인터페이스는 인덱스 서버 및 대상 데이터베이스로부터의 검색 결과를 사용자에게 디스플레이한다.
도 6은 본 발명의 실시예에 따른, 클릭 동작에 따라 생성된 결과 집합(620)을 도시하는 그래픽 사용자 인터페이스(600)이다. 그래픽 사용자 인터페이스(600)는 검색 상자(610), 검색 결과(620), 및 시각 검색 링크(630)를 포함한다.
시각 검색 엔진은 사용자가 포인터로 대상을 클릭하거나 대상을 선택할 때 그래픽 사용자 인터페이스(600)를 생성한다. 검색 상자(610)는 시각 검색 엔진이 검색 상자(610)에 들어있는 검색 단어로 검색을 시작하게 하는 검색 아이콘을 포함한다. 검색 상자(610)는 선택된 대상에 관련된 검색 질의를 자동으로 디스플레이한다. 사용자는 포인터로 대상을 선택했기 때문에, 시각 검색 엔진은 클릭된 대상에 관련된 검색 질의를 사용하여 인덱스 서버와 대상 데이터베이스를 검색한다.
이어서, 시각 검색 엔진은 검색 결과(620)로 그래픽 사용자 인터페이스(600)를 업데이트한다. 검색 결과(620)는 선택된 대상에 관련된 이미지와 그 선택된 대상에 해당하는 속성의 서브셋에 대한 값을 포함한다. 몇몇 실시예에서, 속성의 값과 그 해당 서브셋은 대상 집합을 선택된 동일한 대상으로 좁히기 위해 사용자가 흔히 사용하는 속성으로부터 선택된다. 시각 검색 엔진은 선택된 대상에 대한 이미지 및 해당 속성 및 값을 대상 데이터베이스로부터 수신할 수 있다. 검색 결과(620)는 URL도 포함한다. 시각 검색 엔진은 인덱스 서버로부터 URL을 수신한다. URL은 선택된 대상의 검색 질의에 포함된 단어들이 들어있는 웹 페이지를 가리킨다.
그래픽 사용자 인터페이스(600)는 시각 검색 링크(630)를 포함한다. 사용자는 시각 검색 링크(630)를 통해 자신을 만족시키는 대상에 관한 대상 집합의 새로운 시각 검색을 시작할 수 있다. 몇몇 실시예에서, 사용자가 시각 탐색 링크를 클릭할 때, 시각 검색 엔진은 이전에 생성된 대상 집합이 있는 이차원이나 삼차원 형상을 생성한다.
몇몇 실시예에서, 시각 검색 엔진은 시각적으로 대상 집합을 검색하고 탐색하는 방법을 실행한다. 시각 검색 엔진은 사용자 질의를 수신하고, 시각 탐색 엔진에 의해 생성된 그래픽 사용자 인터페이스에 시각 검색 링크의 포함 여부를 결정한다. 사용자가 대상 데이터베이스의 어느 특정 대상을 겨냥하지 않은 검색을 실행하는 것으로 보일 때 시각 검색 링크는 눈에 띄게 그래픽 사용자 인터페이스에 포함된다. 사용자가 특정 대상을 향한 검색을 실행할 때에는, 시각 검색 링크는 덜 눈에 띄게 된다.
도 7은 본 발명의 실시예에 따른, 대상 집합을 시각적으로 검색하고 탐색하는 방법을 도시하는 논리 다이어그램이다. 컴퓨터로 구현된 방법은 단계 710에서 시각 검색 엔진에 의해 시작된다. 시각 검색 엔진은 클라이언트 장치에 연결되어 통신하는 서버에 의해 실행된다. 단계 720에서, 서버는 클라이언트 장치로부터 질의를 수신한다. 단계 730에서, 서버는 질의에 부합하는 결과 집합에 시각 검색 링크를 포함할지를 결정한다. 단계 740에서, 서버는 사용자 질의가 일반적이거나 특수할 때, URL 목록과 시각 검색 링크를 포함하는 결과 집합을 생성한다. 단계 750에서, 서버로부터 결과와 시각 검색 링크가 클라이언트 장치로 전송된다.
시각 검색 링크는 질의에 일치하는 대상 집합에 관한 이미지 컬렉션을 갖는 삼차원 인터페이스 또는 이차원 인터페이스에 연결되도록 구성된다. 각 이미지는 그 이미지에 해당하는 대상에 관련된 메타데이터를 포함하는 다음의 대상 질의에 연결된다. 대상에 관한 이미지가 클릭되면 다음 대상 질의가 서버에 의해 실행될 수 있다. 서버가 다음 대상 질의를 수신할 때, 서버는 대상 데이터베이스로부터 수신된, 다음 질의의 단어들과 정보가 들어있는 웹 페이지나 문서에 연결된 URL을 갖는 결과 페이지를 생성할 수 있다.
서버에 의해 생성되는 삼차원 형상 및 이차원 형상은 대상들에 관련된 이미지 컬렉션에서 이미지 차원을 동적으로 변화시킬 수 있다. 나아가, 서버에 의해 생성되는 삼차원 형상 및 이차원 형상은 삼차원 형상 및 이차원 형상에 디스플레이되는 메타데이터를 동적으로 변화시킬 수도 있다. 서버는 대상 집합 내의 대상들의 속성을 기초로 하여, 삼차원 형상 및 이차원 형상에 포함되는 컨트롤을 동적으로 변화시키는 삼차원 형상이나 이차원 형상을 생성할 수 있다. 컨트롤은 대상 집합을 리파인, 필터링, 카테고리화 또는 소팅할 수 있다. 상기 방법은 단계 760에서 종료된다.
일 실시예에서, 시각 검색 엔진은 사용자 질의와의 일치(match) 여부를 식별하고, 시각 탐색 링크에 부여될 눈에 띄는 정도(prominence)를 선택한다. 일치가 일반적인 일치일 때, 시각 검색 엔진은 사용자의 주의를 끌기 위해 아주 눈에 잘 띄는 시각 검색 링크를 생성한다. 예를 들어, 카테고리 컨트롤 내의 위치, 색상, 크기 또는 형태를 사용하여 시각 탐색 링크의 눈에 띄는 정도를 바꿀 수 있다. 카테고리 컨트롤 내의 높은 위치는 눈에 아주 잘 띌 확률이 높고, 카테고리 내의 낮은 위치는 적게 눈에 띌 확률이 높다.
몇몇 실시예에서, 시각 검색 엔진은 개념 일치(conceptual match), 개념 서브셋 일치, 및 대상 레벨 일치를 식별할 수 있다. 개념 일치일 경우 시각 검색 엔진은, 사용자 검색 단어가 아주 일반적이기 때문에 사용자의 주의를 끌기 위해 아주 눈에 잘 띄는 시각 검색 링크를 생성할 수 있다. 개념 일치는 대상에 부여된 카테고리에 일치할 수 있다. 개념 서브셋 일치일 경우 시각 검색 엔진은 덜 눈에 띄는 시각 탐색 링크를 생성하게 한다. 개념 서브셋 일치는 대상에 부여된 서브카테고리에 일치할 수 있다. 대상 레벨 일치일 경우, 시각 검색 엔진은 가장 눈에 덜 띄는 시각 탐색 링크를 생성하게 한다. 대상 레벨 일치는 대상에 부여된 실제 대상 이름과 일치할 수 있다. 특정 실시예에서, 시각 검색 엔진은 일치를 식별하기 위해서 검색 로그에 저장된 정의에 기반하여 사용자 검색 단어에 대한 동의어를 생성한다.
요약하면, 본 발명의 실시예를 통해 사용자는 대상 집합을 시각적으로 탐색할 수 있고, 사용자가 특정 아이템에 대한 질의를 만드는 것을 도울 수 있다. 시각 검색 엔진에 의해 생성되는 그래픽 사용자 인터페이스 대상 집합을 디스플레이한다. 또한, 그래픽 사용자 인터페이스는 사용자가 대상 위에서 호버링할 때 대상을 설명하는 메타데이터를 디스플레이할 수 있다. 나아가, 시각 검색 엔진은 사용자가 그래픽 사용자 인터페이스에서 대상을 선택할 때, 인덱스 서버 및 대상 데이터베이스에 질의를 던질 수 있다.
본 발명의 실시예들에 대한 이상의 설명은 예시적인 것으로, 구성 및 구현의 변경은 본 설명의 범위 내에 있다. 예를 들어, 본 발명의 실시예들은 도 1에서 7과 관련하여 일반적으로 설명되지만, 이들 설명은 예를 든 것이다. 대상물이 구조적 특징이나 방법론적인 동작과 관련하여 기술되어 있지만, 첨부된 특허청구범위에서 정의된 대상물이 반드시 전술한 특정 특징이나 동작으로 제한되는 것은 아님을 이해할 것이다. 그보다는, 특허청구범위를 구현하는 예시적인 형태로써 전술한 특정 특징이나 동작이 개시된 것이다. 따라서, 본 발명의 실시예의 범위는 다음의 특허청구범위에 의해서만 제한되기 위한 것이다.

Claims (15)

  1. 대상 집합을 시각적으로 검색하고 탐색하는 컴퓨터로 구현된 방법에 있어서,
    상기 컴퓨터로 구현된 방법은
    서버에서 질의를 수신하는 단계,
    상기 서버에서 상기 질의에 부합하는 결과 집합에 시각 검색 링크가 포함될 지를 결정하는 단계,
    사용자 질의가 일반적이거나 특수할 때, URL 목록과 상기 시각 검색 링크를 포함하는 결과 집합을 생성하는 단계, 및
    상기 결과와 상기 시각 검색 링크를 사용자에게 전송하는 단계를 포함하는 컴퓨터로 구현된 방법.
  2. 제 1 항에 있어서,
    상기 시각 검색 링크는 상기 질의에 일치하는 상기 대상 집합에 관한 이미지 컬렉션을 갖는 삼차원 인터페이스 또는 이차원 인터페이스에 연결되도록 구성되는 컴퓨터로 구현된 방법.
  3. 제 2 항에 있어서,
    상기 삼차원 인터페이스 및 이차원 인터페이스는 상기 이미지 컬렉션에서 이미지 크기를 동적으로 변화시키는 컴퓨터로 구현된 방법.
  4. 제 3 항에 있어서,
    상기 삼차원 인터페이스 및 이차원 인터페이스는, 상기 삼차원 인터페이스 및 이차원 인터페이스에서 디스플레이되는 메타데이터를 동적으로 변화시키는 컴퓨터로 구현된 방법.
  5. 제 4 항에 있어서,
    상기 삼차원 인터페이스 및 이차원 인터페이스는, 상기 대상 집합 내의 대상들의 속성에 기반하여 상기 삼차원 인터페이스 및 이차원 인터페이스에 포함되는 컨트롤을 동적으로 변화시키는 컴퓨터로 구현된 방법.
  6. 제 5 항에 있어서,
    상기 컨트롤은 상기 대상 집합을 리파인, 필터링, 카테고리화 또는 소팅하는 컴퓨터로 구현된 방법.
  7. 제 2 항에 있어서,
    각 이미지는 상기 이미지에 해당하는 상기 대상에 관련된 메타데이터를 포함하는 다음 질의(subsequent query)에 연결되며, 상기 다음 질의의 단어들이 들어있는 웹 페이지나 문서에 연결된 URL들(uniform resource locators)을 갖는 결과 페이지가 생성되는 컴퓨터로 구현된 방법.
  8. 제 7 항에 있어서,
    상기 다음 질의는 상기 사용자에 대한 컨텍스트 정보를 포함하고, 상기 이미지 클릭에 대응하여 실행되며, 상기 이미지 상에 호버링이 있을 때 상기 메타데이터가 상기 삼차원 인터페이스 또는 이차원 인터페이스에 디스플레이되는 컴퓨터로 구현된 방법.
  9. 대상 집합을 시각적으로 검색하고 탐색하도록 구성된 컴퓨터 판독가능 매체에 있어서,
    상기 컴퓨터 판독가능 매체는
    상기 대상 집합 내의 모든 대상이 공유하는 속성에 기반하여 상기 대상 집합을 재편성하도록 구성된 소팅 컨트롤,
    상기 대상 집합의 각 대상의 속성에 기반하여 상기 대상 집합의 대상의 개수를 줄이도록 구성된 필터링 컨트롤,
    상기 대상 집합 내에 표시된 카테고리에 기반하여 상기 집합의 대상의 개수를 줄이도록 구성된 분류 컨트롤(classification control), 및
    사용자 질의에 일치하는 대상들의 이미지를 디스플레이하고, 상기 대상 집합 내에 있는 대상의 개수에 기반하여 삼차원 뷰와 이차원 뷰 사이에서 전환되도록 구성된 그래픽 사용자 인터페이스를 포함하는 컴퓨터 판독가능 매체.
  10. 제 9 항에 있어서,
    상기 속성은 다수의 사용자에 의해 흔히 요청되는 아이템들을 포함하는 컴퓨터 판독가능 매체.
  11. 제 9 항에 있어서,
    상기 속성은 상기 질의에 무관하거나 뜻하지 않게 연관된 아이템들을 포함하는 컴퓨터 판독가능 매체.
  12. 제 9 항에 있어서,
    상기 컴퓨터 판독가능 매체는
    호버링의 목표인 대상에 해당하는 다음 질의가 자동으로 채워지는 검색 상자 컨트롤을 더 포함하고,
    상기 다음 질의는 상기 대상에 클릭 동작이 있을 때 실행되는 컴퓨터 판독가능 매체.
  13. 대상 집합을 시각적으로 검색하고 탐색하도록 구성된 컴퓨터 시스템에 있어서,
    상기 컴퓨터 시스템은
    복수의 속성을 포함하는 대상들을 저장하는 데이터베이스 - 각 대상은 해당 이미지를 가짐 -, 및
    상기 데이터 베이스와 통신하도록 연결되어, 시각 브라우징 요청에 대한 응답으로 이미지 및 속성의 집합을 검색하는 서버를 포함하며,
    상기 서버는 그래픽 사용자 인터페이스를 생성하여 상기 이미지와 속성을 체계화하고, 상기 이미지 집합의 삼차원 형상과 상기 이미지 집합의 이차원 형상 사이에서 동적으로 전환하는 컴퓨터 시스템.
  14. 제 13 항에 있어서,
    상기 이미지의 개수가 임계값 아래일 때 상기 이차원 형상이 제공되고, 상기 이미지의 개수가 임계값 위일 때 상기 삼차원 형상이 사용되는 컴퓨터 시스템.
  15. 제 13 항에 있어서,
    각 이미지는 상기 대상에 해당하는 다음 동작을 시작하는 명령어에 연결되고, 상기 명령어는 검색 엔진이 상기 대상에 관련된 웹 페이지, 이미지, 비디오 또는 문서를 포함하는 결과 집합을 출력(return)하게 하는 질의인 컴퓨터 시스템.
KR1020127005272A 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과를 제공하기 위한 컴퓨터 시스템 및 방법 KR101691249B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/551,236 US8335784B2 (en) 2009-08-31 2009-08-31 Visual search and three-dimensional results
US12/551,236 2009-08-31
PCT/US2010/046398 WO2011025749A2 (en) 2009-08-31 2010-08-24 Visual search and three-dimensional results

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167012787A Division KR101820256B1 (ko) 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과 제공 기법

Publications (2)

Publication Number Publication Date
KR20120073216A true KR20120073216A (ko) 2012-07-04
KR101691249B1 KR101691249B1 (ko) 2017-01-09

Family

ID=43626366

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127005272A KR101691249B1 (ko) 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과를 제공하기 위한 컴퓨터 시스템 및 방법
KR1020167012787A KR101820256B1 (ko) 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과 제공 기법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167012787A KR101820256B1 (ko) 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과 제공 기법

Country Status (11)

Country Link
US (2) US8335784B2 (ko)
EP (1) EP2473934A4 (ko)
JP (1) JP5320509B2 (ko)
KR (2) KR101691249B1 (ko)
CN (1) CN102483760B (ko)
AU (1) AU2010286753B2 (ko)
BR (1) BR112012004517A2 (ko)
CA (1) CA2768966C (ko)
SG (2) SG10201404668VA (ko)
TW (1) TWI490714B (ko)
WO (1) WO2011025749A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101512084B1 (ko) * 2013-11-15 2015-04-17 한국과학기술원 가상현실 기반의 3차원 웹 검색 인터페이스를 제공하는 웹 검색 시스템 및 그 제공 방법

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8549407B2 (en) * 2007-12-05 2013-10-01 Ebay Inc. Multi-dimensional dynamic visual browsing
US9069854B2 (en) * 2008-10-18 2015-06-30 Pomian & Corella, Llc Facilitating browsing of result sets
EP2341450A1 (en) * 2009-08-21 2011-07-06 Mikko Kalervo Väänänen Method and means for data searching and language translation
US9501519B1 (en) * 2009-12-14 2016-11-22 Amazon Technologies, Inc. Graphical item chooser
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US9792638B2 (en) * 2010-03-29 2017-10-17 Ebay Inc. Using silhouette images to reduce product selection error in an e-commerce environment
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US9170708B2 (en) 2010-04-07 2015-10-27 Apple Inc. Device, method, and graphical user interface for managing folders
US8266542B2 (en) * 2010-06-17 2012-09-11 Hewlett-Packard Development Company, L.P. Rendering and sorting book search results as three dimensional icons
US8589350B1 (en) 2012-04-02 2013-11-19 Axcient, Inc. Systems, methods, and media for synthesizing views of file system backups
US8924360B1 (en) 2010-09-30 2014-12-30 Axcient, Inc. Systems and methods for restoring a file
US10284437B2 (en) 2010-09-30 2019-05-07 Efolder, Inc. Cloud-based virtual machines and offices
US9235474B1 (en) 2011-02-17 2016-01-12 Axcient, Inc. Systems and methods for maintaining a virtual failover volume of a target computing system
US9705730B1 (en) 2013-05-07 2017-07-11 Axcient, Inc. Cloud storage using Merkle trees
US8954544B2 (en) 2010-09-30 2015-02-10 Axcient, Inc. Cloud-based virtual machines and offices
US9497084B2 (en) * 2011-02-28 2016-11-15 Ricoh Company, Ltd. Display filtering in device management system
WO2012155043A1 (en) * 2011-05-11 2012-11-15 Barnes & Noble, Inc. System and method for presenting and interacting with eperiodical subscriptions
US9390137B2 (en) 2011-06-29 2016-07-12 Nokia Technologies Oy Method and apparatus for providing an ordering metric for a multi-dimensional contextual query
US8577963B2 (en) 2011-06-30 2013-11-05 Amazon Technologies, Inc. Remote browsing session between client browser and network based browser
US8706860B2 (en) 2011-06-30 2014-04-22 Amazon Technologies, Inc. Remote browsing session management
US8799412B2 (en) 2011-06-30 2014-08-05 Amazon Technologies, Inc. Remote browsing session management
US9621406B2 (en) 2011-06-30 2017-04-11 Amazon Technologies, Inc. Remote browsing session management
US9037696B2 (en) 2011-08-16 2015-05-19 Amazon Technologies, Inc. Managing information associated with network resources
US9195768B2 (en) 2011-08-26 2015-11-24 Amazon Technologies, Inc. Remote browsing session management
US10089403B1 (en) 2011-08-31 2018-10-02 Amazon Technologies, Inc. Managing network based storage
US8914514B1 (en) 2011-09-27 2014-12-16 Amazon Technologies, Inc. Managing network based content
US9152970B1 (en) 2011-09-27 2015-10-06 Amazon Technologies, Inc. Remote co-browsing session management
US9383958B1 (en) 2011-09-27 2016-07-05 Amazon Technologies, Inc. Remote co-browsing session management
US9178955B1 (en) 2011-09-27 2015-11-03 Amazon Technologies, Inc. Managing network based content
US8589385B2 (en) 2011-09-27 2013-11-19 Amazon Technologies, Inc. Historical browsing session management
US10693991B1 (en) 2011-09-27 2020-06-23 Amazon Technologies, Inc. Remote browsing session management
US9298843B1 (en) 2011-09-27 2016-03-29 Amazon Technologies, Inc. User agent information management
US8849802B2 (en) 2011-09-27 2014-09-30 Amazon Technologies, Inc. Historical browsing session management
US9641637B1 (en) 2011-09-27 2017-05-02 Amazon Technologies, Inc. Network resource optimization
US8615431B1 (en) 2011-09-29 2013-12-24 Amazon Technologies, Inc. Network content message placement management
US9313100B1 (en) 2011-11-14 2016-04-12 Amazon Technologies, Inc. Remote browsing session management
CN103946838B (zh) * 2011-11-24 2017-10-24 微软技术许可有限责任公司 交互式多模图像搜索
US8972477B1 (en) 2011-12-01 2015-03-03 Amazon Technologies, Inc. Offline browsing session management
US9117002B1 (en) 2011-12-09 2015-08-25 Amazon Technologies, Inc. Remote browsing session management
US9009334B1 (en) 2011-12-09 2015-04-14 Amazon Technologies, Inc. Remote browsing session management
US9330188B1 (en) 2011-12-22 2016-05-03 Amazon Technologies, Inc. Shared browsing sessions
US8924890B2 (en) * 2012-01-10 2014-12-30 At&T Intellectual Property I, L.P. Dynamic glyph-based search
US8429163B1 (en) 2012-01-25 2013-04-23 Hewlett-Packard Development Company, L.P. Content similarity pyramid
US8627195B1 (en) 2012-01-26 2014-01-07 Amazon Technologies, Inc. Remote browsing and searching
US9092405B1 (en) 2012-01-26 2015-07-28 Amazon Technologies, Inc. Remote browsing and searching
US9509783B1 (en) 2012-01-26 2016-11-29 Amazon Technlogogies, Inc. Customized browser images
US8839087B1 (en) * 2012-01-26 2014-09-16 Amazon Technologies, Inc. Remote browsing and searching
US9336321B1 (en) 2012-01-26 2016-05-10 Amazon Technologies, Inc. Remote browsing and searching
US9087024B1 (en) 2012-01-26 2015-07-21 Amazon Technologies, Inc. Narration of network content
US9183258B1 (en) 2012-02-10 2015-11-10 Amazon Technologies, Inc. Behavior based processing of content
US9037975B1 (en) 2012-02-10 2015-05-19 Amazon Technologies, Inc. Zooming interaction tracking and popularity determination
US9137210B1 (en) 2012-02-21 2015-09-15 Amazon Technologies, Inc. Remote browsing session management
US8745058B1 (en) 2012-02-21 2014-06-03 Google Inc. Dynamic data item searching
US9374244B1 (en) 2012-02-27 2016-06-21 Amazon Technologies, Inc. Remote browsing session management
US10296558B1 (en) 2012-02-27 2019-05-21 Amazon Technologies, Inc. Remote generation of composite content pages
US9208316B1 (en) 2012-02-27 2015-12-08 Amazon Technologies, Inc. Selective disabling of content portions
US9460220B1 (en) 2012-03-26 2016-10-04 Amazon Technologies, Inc. Content selection based on target device characteristics
US9307004B1 (en) 2012-03-28 2016-04-05 Amazon Technologies, Inc. Prioritized content transmission
CN102693318B (zh) * 2012-05-30 2014-06-11 华为技术有限公司 一种报表查询方法及设备
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
US9025860B2 (en) * 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
US9772979B1 (en) 2012-08-08 2017-09-26 Amazon Technologies, Inc. Reproducing user browsing sessions
US8943197B1 (en) 2012-08-16 2015-01-27 Amazon Technologies, Inc. Automated content update notification
US10102555B2 (en) * 2012-09-04 2018-10-16 Autotrader.Com, Inc. Systems and methods for facilitating the purchase of one or more vehicles
US11397462B2 (en) * 2012-09-28 2022-07-26 Sri International Real-time human-machine collaboration using big data driven augmented reality technologies
US9785647B1 (en) 2012-10-02 2017-10-10 Axcient, Inc. File system virtualization
US8793573B2 (en) * 2012-10-29 2014-07-29 Dropbox, Inc. Continuous content item view enhanced through smart loading
CN104769590A (zh) * 2012-11-02 2015-07-08 通用电气智能平台有限公司 用于智能查询和过滤的设备和方法
US9852140B1 (en) 2012-11-07 2017-12-26 Axcient, Inc. Efficient file replication
US9418145B2 (en) * 2013-02-04 2016-08-16 TextWise Company, LLC Method and system for visualizing documents
US9292153B1 (en) * 2013-03-07 2016-03-22 Axcient, Inc. Systems and methods for providing efficient and focused visualization of data
US9397907B1 (en) 2013-03-07 2016-07-19 Axcient, Inc. Protection status determinations for computing devices
US8996511B2 (en) 2013-03-15 2015-03-31 Envizium, Inc. System, method, and computer product for providing search results in a hierarchical graphical format
US10152463B1 (en) 2013-06-13 2018-12-11 Amazon Technologies, Inc. System for profiling page browsing interactions
US9578137B1 (en) 2013-06-13 2017-02-21 Amazon Technologies, Inc. System for enhancing script execution performance
US20150066705A1 (en) * 2013-09-05 2015-03-05 David E. White Electronic search engine with enhanced functionalities of generating visual-only product/service-relevant search results configured for delivery of product/service- relevant information upon selection thereof, and mobile smart devices and methods of utilizing thereof online
US9417757B1 (en) * 2013-09-20 2016-08-16 Emc Corporation Scalable hierarchical user interface display
KR102129594B1 (ko) 2013-10-30 2020-07-03 애플 인크. 관련 사용자 인터페이스 객체를 표시
US10380204B1 (en) 2014-02-12 2019-08-13 Pinterest, Inc. Visual search
US20150268825A1 (en) * 2014-03-18 2015-09-24 Here Global B.V. Rendering of a media item
US10613828B2 (en) * 2014-04-15 2020-04-07 Google Llc Dynamic and personalized filtering of media content
KR102255087B1 (ko) 2014-05-19 2021-05-24 삼성전자주식회사 객체를 디스플레이하는 전자 장치 및 방법
US9635041B1 (en) 2014-06-16 2017-04-25 Amazon Technologies, Inc. Distributed split browser content inspection and analysis
JP2017535835A (ja) * 2014-09-22 2017-11-30 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 検索、ユーザの興味または嗜好のインジケータとしての奥行き知覚の使用
CN104750816A (zh) * 2015-03-30 2015-07-01 百度在线网络技术（北京）有限公司 信息搜索方法和信息搜索装置
US10417259B2 (en) * 2015-05-13 2019-09-17 International Business Machines Corporation Representing search results via a three-dimensional matrix
US10437423B2 (en) 2015-10-30 2019-10-08 Hyland Software, Inc. Methods and apparatuses for providing an infinitely scrolling accumulator
US10824638B2 (en) * 2016-03-25 2020-11-03 Microsoft Technology Licensing, Llc Enhancing object representations using inferred user intents
US10650475B2 (en) * 2016-05-20 2020-05-12 HomeAway.com, Inc. Hierarchical panel presentation responsive to incremental search interface
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10852926B2 (en) * 2017-05-23 2020-12-01 Salesforce.Com., Inc. Filter of data presentations via user-generated links
US11054971B2 (en) 2017-05-23 2021-07-06 Salesforce.Com., Inc. Modular runtime environment
CN107291340B (zh) * 2017-06-12 2020-10-09 北京小鸟看看科技有限公司 实现界面效果的方法、计算设备及存储介质
US10726095B1 (en) 2017-09-26 2020-07-28 Amazon Technologies, Inc. Network content layout using an intermediary system
US10664538B1 (en) 2017-09-26 2020-05-26 Amazon Technologies, Inc. Data security and data access auditing for network accessible content
US10523922B2 (en) * 2018-04-06 2019-12-31 Zspace, Inc. Identifying replacement 3D images for 2D images via ranking criteria
WO2019236348A1 (en) * 2018-06-03 2019-12-12 Dakiana Research Llc Method and device for presenting a synthesized reality user interface
US11204682B1 (en) * 2018-10-29 2021-12-21 State Farm Mutual Automobile Insurance Company Dynamic data-driven consolidation of user interface interactions requesting roadside assistance
US10838611B1 (en) * 2019-05-03 2020-11-17 Google Llc Navigation system on the infinite scroll
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
CN112486127B (zh) * 2020-12-07 2021-12-21 北京达美盛软件股份有限公司 一种数字工厂的虚拟巡检系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040071597A (ko) * 2003-02-04 2004-08-12 마이크로소프트 코포레이션 컴퓨팅 및 통신 애플리케이션에서 기억도 모델을 구성 및사용하기 위한 시스템 및 방법
US20060116994A1 (en) * 2004-11-30 2006-06-01 Oculus Info Inc. System and method for interactive multi-dimensional visual representation of information content and properties
US20070070066A1 (en) * 2005-09-13 2007-03-29 Bakhash E E System and method for providing three-dimensional graphical user interface
US7437370B1 (en) * 2007-02-19 2008-10-14 Quintura, Inc. Search engine graphical interface using maps and images

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729673A (en) * 1995-04-07 1998-03-17 Avid Technology, Inc. Direct manipulation of two-dimensional moving picture streams in three-dimensional space
US5911139A (en) * 1996-03-29 1999-06-08 Virage, Inc. Visual image database search engine which allows for different schema
JP3586549B2 (ja) * 1997-12-08 2004-11-10 株式会社日立製作所 画像検索方法およびその装置
US6434556B1 (en) * 1999-04-16 2002-08-13 Board Of Trustees Of The University Of Illinois Visualization of Internet search information
US20030050927A1 (en) * 2001-09-07 2003-03-13 Araha, Inc. System and method for location, understanding and assimilation of digital documents through abstract indicia
US6505194B1 (en) 2000-03-29 2003-01-07 Koninklijke Philips Electronics N.V. Search user interface with enhanced accessibility and ease-of-use features based on visual metaphors
US6567103B1 (en) 2000-08-02 2003-05-20 Verity, Inc. Graphical search results system and method
JP2002183150A (ja) * 2000-12-13 2002-06-28 Nec Corp 位置関連情報提示システム及び位置関連情報提示方法並びにその制御プログラムを記録した記録媒体
US20020169759A1 (en) * 2001-05-14 2002-11-14 International Business Machines Corporation Method and apparatus for graphically formulating a search query and displaying result set
US20040216036A1 (en) 2002-09-13 2004-10-28 Yahoo! Inc. Browser user interface
US7117453B2 (en) * 2003-01-21 2006-10-03 Microsoft Corporation Media frame object visualization system
US8555165B2 (en) * 2003-05-08 2013-10-08 Hillcrest Laboratories, Inc. Methods and systems for generating a zoomable graphical user interface
US7567972B2 (en) * 2003-05-08 2009-07-28 International Business Machines Corporation Method and system for data mining in high dimensional data spaces
JP4341408B2 (ja) * 2004-01-15 2009-10-07 パナソニック株式会社 画像表示方法及び装置
US7984389B2 (en) 2006-01-28 2011-07-19 Rowan University Information visualization system
JP4650293B2 (ja) * 2006-02-15 2011-03-16 富士フイルム株式会社 画像分類表示装置及び画像分類表示プログラム
KR100898454B1 (ko) 2006-09-27 2009-05-21 야후! 인크. 통합 검색 서비스 시스템 및 방법
US20080155426A1 (en) * 2006-12-21 2008-06-26 Microsoft Corporation Visualization and navigation of search results
US7941429B2 (en) 2007-07-10 2011-05-10 Yahoo! Inc. Interface for visually searching and navigating objects
GB2465701A (en) * 2007-09-24 2010-06-02 Taptu Ltd Search results with search query suggestions
US20090112800A1 (en) * 2007-10-26 2009-04-30 Athellina Rosina Ahmad Athsani System and method for visual contextual search
US8498627B2 (en) * 2011-09-15 2013-07-30 Digimarc Corporation Intuitive computing methods and systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040071597A (ko) * 2003-02-04 2004-08-12 마이크로소프트 코포레이션 컴퓨팅 및 통신 애플리케이션에서 기억도 모델을 구성 및사용하기 위한 시스템 및 방법
US20060116994A1 (en) * 2004-11-30 2006-06-01 Oculus Info Inc. System and method for interactive multi-dimensional visual representation of information content and properties
US20070070066A1 (en) * 2005-09-13 2007-03-29 Bakhash E E System and method for providing three-dimensional graphical user interface
US7437370B1 (en) * 2007-02-19 2008-10-14 Quintura, Inc. Search engine graphical interface using maps and images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101512084B1 (ko) * 2013-11-15 2015-04-17 한국과학기술원 가상현실 기반의 3차원 웹 검색 인터페이스를 제공하는 웹 검색 시스템 및 그 제공 방법
US9720562B2 (en) 2013-11-15 2017-08-01 Korea Advanced Institute Of Science And Technology Method of providing virtual reality based three-dimensional interface for web object searches and real-time metadata representations and web search system using the three-dimensional interface

Also Published As

Publication number Publication date
TW201112026A (en) 2011-04-01
CN102483760B (zh) 2014-09-24
EP2473934A2 (en) 2012-07-11
BR112012004517A2 (pt) 2016-03-29
TWI490714B (zh) 2015-07-01
KR101820256B1 (ko) 2018-01-18
WO2011025749A2 (en) 2011-03-03
SG10201404668VA (en) 2014-10-30
AU2010286753A1 (en) 2012-02-16
AU2010286753B2 (en) 2015-01-22
JP2013503406A (ja) 2013-01-31
CA2768966A1 (en) 2011-03-03
KR20160062182A (ko) 2016-06-01
CN102483760A (zh) 2012-05-30
US8335784B2 (en) 2012-12-18
US20130091471A1 (en) 2013-04-11
CA2768966C (en) 2017-09-26
WO2011025749A3 (en) 2011-05-26
EP2473934A4 (en) 2016-10-12
US20110055203A1 (en) 2011-03-03
SG177505A1 (en) 2012-02-28
KR101691249B1 (ko) 2017-01-09
JP5320509B2 (ja) 2013-10-23

Similar Documents

Publication Publication Date Title
KR101691249B1 (ko) 시각 검색 및 삼차원 결과를 제공하기 위한 컴퓨터 시스템 및 방법
US7941429B2 (en) Interface for visually searching and navigating objects
CA2907920C (en) Tagged search result maintenance
US8170916B1 (en) Related-item tag suggestions
US7028050B1 (en) Data display apparatus and data display method
US8086504B1 (en) Tag suggestions based on item metadata
US20100162174A1 (en) Flat Navigation of Information and Content Presented on User Monitor
US20020152222A1 (en) Apparatus and method for organizing and-or presenting data
CN105723364B (zh) 从第一搜索结果环境转变到第二搜索结果环境
US20140324826A1 (en) Targeted content provisioning based upon tagged search results
US20230376543A1 (en) Computer-implemented system and method for analyzing clusters of coded documents
CN107003829B (zh) 各个结果类别的视野内和视野外的与请求相关的结果区域
US9547713B2 (en) Search result tagging
Khanwalkar et al. Exploration of large image corpuses in virtual reality
US20110122125A1 (en) Method and apparatus for displaying and arranging data 3-dimensionally
Wiza et al. A method of holistic 3d visualization of arbitrarily large datasets
US20210365491A1 (en) Information extraction, enrichment, and caching framework for augmented reality applications
KR20010110055A (ko) 멀티미디어 콘텐츠를 위한 데이터베이스 구축 방법
US10861080B1 (en) Visualization region search refinement
Wiza Interactive 3D visualization of search results
Wilson Modern search user interfaces

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191127

Year of fee payment: 4