KR101820256B1 - 시각 검색 및 삼차원 결과 제공 기법 - Google Patents

시각 검색 및 삼차원 결과 제공 기법 Download PDF

Info

Publication number
KR101820256B1
KR101820256B1 KR1020167012787A KR20167012787A KR101820256B1 KR 101820256 B1 KR101820256 B1 KR 101820256B1 KR 1020167012787 A KR1020167012787 A KR 1020167012787A KR 20167012787 A KR20167012787 A KR 20167012787A KR 101820256 B1 KR101820256 B1 KR 101820256B1
Authority
KR
South Korea
Prior art keywords
dimensional
objects
visual
interface
dimensional interface
Prior art date
Application number
KR1020167012787A
Other languages
English (en)
Other versions
KR20160062182A (ko
Inventor
자카리 마크 거트
폴 로날드 레이
로드니 콜맨 에드워즈
다윈 켄고 야마모토
해디 모우스타파 아보우 엘 케어
브라이언 웰렌 맥도널드
제리 다니엘 바인
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160062182A publication Critical patent/KR20160062182A/ko
Application granted granted Critical
Publication of KR101820256B1 publication Critical patent/KR101820256B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G06F17/30533—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F17/30572—
    • G06F17/30607—
    • G06F17/30979—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

오브젝트 집합을 시각적으로 검색하고 탐색하는 방법, 시스템, 그래픽 사용자 인터페이스 및 컴퓨터 판독가능 매체가 제공된다. 컴퓨터 시스템은, 삼차원 형상이나 이차원 형상을 디스플레이하는 인터페이스와의 사용자 인터랙션에 대한 응답으로 오브젝트 집합에 대한 삼차원 형상이나 이차원 형상을 생성하는 방법을 실시한다. 인터페이스는 사용자 질의의 컨텐츠와 삼차원 형상이나 이차원 형상의 오브젝트들의 속성을 기반으로 동적으로 조정되는 필터 컨트롤, 소팅 컨트롤, 및 분류 컨트롤을 포함한다.

Description

시각 검색 및 삼차원 결과 제공 기법{VISUAL SEARCH AND THREE-DIMENSIONAL RESULTS}
통상적으로, 검색 엔진은 하나 이상의 검색 질의 단어(terms of a search query)를 포함하는 결과를 제공하게 된다. 종래의 검색 엔진은 전자 문서에 대한 레퍼런스를 저장하는 인덱스와 그 전자 문서에 포함된 단어를 사용하여 결과를 생성할 수 있다. 검색 엔진은 결과에 비슷한 단어를 포함하는, 인덱스에서 식별된 전자 문서에 대한 레퍼런스를 포함한다.
종래의 일부 검색 엔진은, 하나 이상의 단어가 종래의 검색 엔진의 검색 인터페이스에 입력될 때, 검색어 제시(search suggestions)를 할 수 있다. 제시된 단어를 선택 또는 이용하여, 입력된 단어와 제시되어 선택된 단어를 포함하는 전자 문서를 찾을 수 있다. 그러나, 검색 인터페이스에 입력된 단어나 제시된 단어가 사용자가 찾고자 하는 오브젝트에 해당되지 않을 수 있다.
종래의 검색 인터페이스는 사용자가 찾는 오브젝트 집합에 관한 단어를 만들어내는 것을 충분히 돕지 못했다. 검색 사용자(seeker)는 오브젝트 집합을 찾아, 검색 작업을 완수하기를 바란다. 그러나, 검색 사용자는, 찾고자 하는 오브젝트 집합을 검색 엔진이 제공할 수 있게 하는 검색 질의를 생성하는 데에서 어려움에 직면할 수 있다. 예를 들어, 검색 사용자는 $25,000 이하의 시중에서 가장 좋은 미국제 하이브리드 자동차, 자신의 지역에서 오늘 상영하는 어린이를 위한 영화, $400 이하의 넷북 중 임의의 것을 검색하는 중일 수 있다. 검색 사용자는 오브젝트 집합을 찾는 데 어려움을 겪으면서, 그 오브젝트 집합에 관한 단어를 만들기 위해 시행착오를 거칠 수 있다. 종래의 검색 엔진은 단지 사용자 검색 질의의 각각의 단어를 사용하여 단어 매치를 실행하기 때문에, 실제 컨텐츠 결과가 종종 사용자가 찾는 오브젝트 집합에 정확하게 일치하지 않게 된다.
이러한 또한 종래의 다른 문제점들을 해결하는 본 발명의 실시예들은 오브젝트 집합을 시각적으로 검색 및 탐색하는(explore) 컴퓨터 시스템, 그래픽 사용자 인터페이스 및 컴퓨터로 구현된 방법과 관련된다. 컴퓨터 시스템은 오브젝트 집합에 관련된 이미지를 렌더링하고, 오브젝트 집합을 좁힐 때 삼차원 인터페이스와 이차원 인터페이스 간에 전환을 한다.
컴퓨터 시스템을 통해 사용자는 자신의 의도에 연관된 오브젝트 집합을 시각적으로 검색 및 탐색할 수 있다. 컴퓨터 시스템은 데이터베이스와 서버를 포함한다. 데이터베이스는 오브젝트들, 각 오브젝트의 속성 및 각 오브젝트에 관련된 이미지를 저장하도록 구성된다. 서버는 데이터베이스에 연결된다. 서버는 시각 검색 요청에 대한 응답으로 이미지 집합과 속성을 검색한다. 이어서, 서버나 클라이언트는 그래픽 사용자 인터페이스를 생성하여 이미지와 속성을 체계화한다. 그래픽 사용자 인터페이스는 이미지 집합에 남아있는 이미지의 개수에 근거하여 삼차원 형상의 이미지 집합과 이차원 형상의 이미지 집합 간에 동적으로 전환할 수 있다.
본 요약은 아래의 상세한 설명에서 추가적으로 설명되는 일련의 컨셉을 간략한 형태로 소개한다. 본 요약은 특허 청구된 대상의 핵심 특징이나 필수 특징을 밝히기 위한 것이 아니며, 특허 청구된 대상의 범위를 정하는 수단으로서 따로 사용되기 위한 것도 아니다.
도 1은 본 발명의 실시예에 따른 컴퓨팅 시스템의 일례를 도시하는 네트워크 다이어그램이다.
도 2는 본 발명의 실시예에 따른, 시각 검색 링크를 갖는 검색 결과 페이지를 도시하는 그래픽 사용자 인터페이스(graphical user interface)이다.
도 3은 본 발명의 실시예에 따른, 삼차원 형상으로 오브젝트 집합의 이미지를 도시하는 그래픽 사용자 인터페이스이다.
도 4는 본 발명의 실시예에 따른, 이차원 형상으로 각 오브젝트가 지닌 메타데이터(metadata)를 도시하는 그래픽 사용자 인터페이스이다.
도 5는 본 발명의 실시예에 따른, 카테고리 또는 리파인 컨트롤에서 제공되는 기준에 일치하는 오브젝트 집합을 도시하는 그래픽 사용자 인터페이스이다.
도 6은 본 발명의 실시예에 따른, 클릭 동작에 따라 생성된 결과 집합을 도시하는 그래픽 사용자 인터페이스이다.
도 7은 본 발명의 실시예에 따른, 오브젝트 집합을 시각적으로 검색하고 탐색하는 방법을 도시하는 논리 다이어그램이다.
본 특허는 특허 대상이 법정 요구조건을 충족시키도록 구체적으로 설명한다. 그러나, 설명 자체는 본 특허의 범위를 제한하고자 하는 것이 아니다. 오히려, 발명가들은 청구된 대상이 그밖의 현재 또는 미래의 기술과 관련하여, 본 특허에서 설명된 것들과 상이한 단계들, 또는 유사한 단계들의 조합을 포함하도록 다른 방식으로도 구현될 수 있다는 점을 고려했다. 더구나, 사용된 방법의 상이한 요소를 암시적으로 나타내기 위해 "단계" 및 "블록"이라는 용어가 본원에서 사용될 수 있지만, 이러한 용어는 개별 단계들의 순서가 명시적으로 설명되지 않는 한, 그리고 명시적으로 설명될 때를 제외하고는, 본원에 개시된 다양한 단계들 사이의 임의의 특정 순서를 시사하는 것으로 해석되어서는 안 된다. 또한, 그 전체가 참조로 본원에 통합된 첨부 도면와 관련하여 실시예들이 아래에서 상세하게 설명된다.
본 발명의 실시예들은, 사용자 질의 또는 브라우징 요청(browsing request)에 대한 결과가 들어있는, 그래픽 사용자 인터페이스에 포함된 오브젝트 집합들을 사용자가 시각적으로 검색하고 탐색가능하게 하는 컴퓨터 시스템을 제공한다. 오브젝트 집합의 오브젝트들은 쇼핑 제품, 자동차 제품, 동물, 유명 인사, 엔터테인먼트 미디어, 여행 또는 스포츠에 해당하며, 그러나 이에 한정되지 않는다. 특정 실시예에서, 그래픽 사용자 인터페이스는 사용자가 아이디어 및 검색 단어에 관한 문구를 만들어내지 않고도 그 아이디 및 검색 단어를 표현할 수 있게 함으로써 시각 검색 및 탐색을 구현한다. 그래픽 사용자 인터페이스는 각 오브젝트와 오브젝트 집합의 중요한 속성에 대한 시각 형상(visual representation)을 렌더링할 수 있다. 중요한 속성에는 사용자들이 오브젝트 집합을 평가하기 위해 흔히 사용하는 속성이 포함된다. 사용자들은 오브젝트 집합을 좁히기 위해 텍스트 질의를 만드는 대신, 중요한 속성을 통해 시각적으로 인터랙션할 수 있다. 게다가, 그래픽 사용자 인터페이스는 사용자가 모르는 오브젝트나 관계를 뜻하지 않게 발견할 기회를 사용자에게 제공하기 위해, 별로 관계없는 카테고리도 포함할 수 있다. 또한, 그래픽 사용자 인터페이스의 각 오브젝트가, 포인터가 그 오브젝트 위에서 호버링할(hovers) 때 검색 상자에서 미리 보기를 할 수 있는 질의에 링크될 수 있다. 결국, 질의는 오브젝트를 클릭함으로써 실행될 수 있다. 그래픽 사용자 인터페이스는 오브젝트 집합에서 현재 이용가능한 아이템 개수에 따라 동적으로 조정될 수 있다. 따라서, 컴퓨터 시스템은 오브젝트 집합을 좁히고, 특히 오브젝트의 이름을 모를 때, 특정 필드에서 새로운 아이템, 예컨대, 자동차 신모델, 새로운 책들, 극장의 새로운 영화들을 식별하고, 선택된 카테고리와 관련된 흥미롭고 인기 있는 오브젝트를 보여주기 위해 사용될 수 있다.
당업자라면 컴퓨터 시스템이 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합을 포함할 수 있음을 이해할 것이다. 하드웨어는 메모리에 저장된 인스트럭션들을 실행하도록 구성된 프로세서와 메모리를 포함한다. 일 실시예에서, 메모리는 컴퓨터로 구현된 방법을 위한 컴퓨터 사용가능 인스트럭션을 갖는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 및, 데이터베이스, 스위치와 그 밖의 다양한 네트워크 장치들에 의해 판독가능한 매체를 포함한다. 네트워크 스위치, 라우터 및 관련 컴포넌트들은 통신 수단으로 사실상 종래의 것이다. 예시적이고 비제한적으로, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체와 통신 매체를 포함한다. 컴퓨터 저장 매체는, 또는 머신 판독가능 매체는, 정보를 저장하는 임의의 방법이나 기술로 구현되는 매체를 포함한다. 저장된 정보의 예로 컴퓨터 사용가능 인스트럭션, 데이터 구조, 프로그램 모듈, 및 기타 데이터 표현 등을 들 수 있다. 컴퓨터 저장 매체는 RAM(random access memory), ROM(read only memory), EEPROM(electronically erasable programmable read only memory), 플래시 메모리 또는 기타 메모리 기술, CD-ROM(compact-disc read only memory), DVD(digital versatile discs), 홀로그래픽 매체 또는 기타 광학 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 및 기타 자기 저장 장치를 포함하며, 그러나 이에 한정되지 않는다. 이러한 메모리 기술은 데이터를 순간적으로, 일시적으로, 또는 영구적으로 저장할 수 있다.
도 1은 본 발명의 실시예들에 따른, 예시적인 운영 환경(100)을 도시하는 네트워크 다이어그램이다. 도 1에 도시된 운영 환경(100)은 단지 예를 든 것으로, 범위나 기능에 관한 임의의 제한을 시사하기 위한 것이 아니다. 본 발명의 실시예들은 다른 많은 구성에서 사용될 수 있다. 도 1을 참조하면, 운영 환경(100)은 네트워크(110), 시각 검색 엔진(120), 클라이언트 장치들(130), 웹 페이지들(140), 오브젝트 데이터베이스(objects database, 150) 및 인덱스 서버들(160)을 포함한다.
네트워크(110)는 클라이언트 장치들(130)과 시각 검색 엔진(120) 간의 통신을 용이하게 하도록 구성된다. 네트워크(110)는 오브젝트 데이터베이스(150), 시각 검색 엔진(120) 및 인덱스 서버들(160) 간의 통신도 용이하게 한다. 네트워크(110)는 무선 네트워크, LAN(local area network), 유선 네트워크, 또는 인터넷과 같은 통신 네트워크일 수 있다. 일 실시예에서, 클라이언트 장치들(130)은 네트워크(110)를 이용하는 시각 검색 엔진(120)을 통해 인터랙션한다. 이에 대해, 시각 검색 엔진(120)은 사용자에 의해 제공되거나 선택된 단어들을 포함하는 웹 페이지, 이미지, 비디오 또는 기타 전자 문서를 제공한다.
시각 검색 엔진(120)은 네트워크(110)를 통해 클라이언트 장치들(130), 오브젝트 데이터베이스(150) 및 인덱스 서버들(160)에 연결되어 통신한다. 특정 실시예에서, 시각 검색 엔진(120)은 클라이언트 장치(130)에서 디스플레이되는 시각 형상을 생성하는 서버이다. 시각 형상 엔진(120)은 네트워크 상에서, 사용자와의 인터랙션을 수신하는 인터페이스를 제공하는 클라이언트 장치들(130)로부터 단어의 선택 또는 링크의 선택을 수신한다. 시각 검색 엔진(120)은 사용자에 의해 선택된 단어 또는 링크에 부합하는 오브젝트를 디스플레이하기 위해 삼차원 또는 이차원 형상을 생성할 수 있다. 시각 형상은 디스플레이 상에 오브젝트들을 체계화하는 타임라인, 지도, 격자 또는 테이블을 포함할 수 있으며, 그러나 이에 한정되지는 않는다. 일 실시예에서, 시각 검색 엔진(120)은 검색 엔진에 연결되어, 시각 탐색 엔진에 의해 만들어지고 입력된 질의에 대한 응답으로 검색 결과를 검색해낸다.
특정 실시예에서, 시각 검색 엔진(120)은 오브젝트 데이터베이스(150)를 트래버스하여(traverses), 클라이언트 장치들로부터 수신된 선택에 부합하는 오브젝트를 식별한다. 그 결과, 오브젝트 데이터베이스(150)는 그 선택을 충족시키는 오브젝트 집합을 시각 검색 엔진(120)에 전송한다. 오브젝트 집합은 오브젝트 질의, 웹 페이지(140), 이미지, 비디오 또는 기타 전자 문서에 관련된다.
또한, 시각 검색 엔진(120)은 인덱스 서버들(160)을 트래버스하여 오브젝트 질의 또는 사용자 질의를 충족시키는 웹 페이지들(140)을 찾을 수 있다. 그 결과, 인덱스 서버들(160)은 그 오브젝트 질의나 사용자 질의를 충족시키는 웹 페이지, 이미지, 비디오 또는 기타 전자 문서를 가리키는 URL(uniform resource locators) 집합을 전송한다. 시각 검색 엔진(120)은 URL을 포맷팅하여(formats), 클라이언트 장치들(130)에 전송한다.
사용자는 클라이언트 장치들(130)을 이용하여, 검색 단어를 생성하고, 오브젝트 위에서 호버링하거나, 링크나 오브젝트를 선택하고, 또한 그 검색 단어에 적합한(relevant) 결과나 웹 페이지(14), 선택된 링크 또는 선택된 오브젝트를 수신한다. 클라이언트 장치(130)는 제한 없이, PDA(personal digital assistants), 스마트 폰, 랩탑, 개인용 컴퓨터, 게임 시스템, 셋톱 박스 또는 기타 임의의 적절한 클라이언트 컴퓨팅 장치를 포함한다. 클라이언트 장치(130)는, 클라이언트 장치(130)에 사용자 및 시스템 정보를 저장하기 위한 사용자 및 시스템 정보 스토리지를 포함한다. 사용자 정보는 검색 히스토리, 쿠키 및 비밀 번호를 포함할 수 있다. 시스템 정보는 인터넷 프로토콜 주소, 캐싱된(cached) 웹 페이지, 및 시스템 활용을 포함할 수 있다. 클라이언트 장치(130)는 시각 검색 엔진(120)과 통신하여, 검색 단어에 적합한 결과나 웹 페이지(140), 선택된 링크 또는 선택된 오브젝트를 수신한다. 몇몇 실시예에서, 클라이언트 장치(130)는 실버라이트(Silverlight) 브라우저 애플리케이션을 실행한다. 실버라이트 브라우저 애플리케이션은 아이템에 대한 검색 단어를 만들고, 사용자 요청이나 만들어진 검색 단어에 대한 응답 결과를 수신할 때, 인터랙티브한 경험을 제공할 수 있다. 클라이언트 장치(130)가 시각 검색 엔진(120)에 의해 선택된 오브젝트나 웹 페이지들(140)을 수신할 때, 실버라이트 브라우저 애플리케이션은 단지 사용자 요청을 충족하는 아이템들의 서브셋을 렌더링한다. 또한, 사용자가 클라이언트 장치(130)의 디스플레이를 스크롤할(scrolls) 때, 시각 검색 엔진이 남아있는 추가적인 오브젝트들을 클라이언트 장치(130)에 전달함에 따라, 실버라이트 브라우저 애플리케이션은 클라이언트 장치(130)의 디스플레이 영역(display real estate)의 각 행에 추가적인 오브젝트들 중 적어도 하나의 오브젝트를 보여줌으로써 추가적인 오브젝트들의 일부를 가지고 랜덤하게 결과를 채울 수 있다.
웹 페이지(140)는 사용자의 관심을 끄는 아이템에 대한 상세 정보를 제공한다. 웹 페이지(140)는 인덱스 서버(160)에 의해 인덱싱된다. 각 웹 페이지(140)는 단어들이나 메타데이터를 포함할 수 있다. 단어들이나 메타데이터는 적당한 위치에 웹 페이지를 저장하기 위해 인덱스 서버에 의해 사용된다. 또한, 웹 페이지(140)는 인덱스 서버(160)에 의해 저장되는 URL과도 연결된다.
오브젝트 데이터베이스(150)는 각 오브젝트에 대한 속성 및 이미지를 저장한다. 속성에는 타이틀, 이미지 크기, 이미지 차원 및 객체에 대한 기타의 메타데이터가 포함된다. 시각 검색 엔진(120)은 오브젝트 데이터베이스(150)로부터 하나 이상의 오브젝트를 요청할 수 있다. 그 결과로, 오브젝트 데이터베이스(150)는 시각 검색 엔진(120)에 속성과 이미지를 전송한다.
인덱스 서버(160)는 웹 페이지(140), 각 웹 페이지(140)에 관련된 단어 및 웹 페이지(140)에 대응하는 URL을 저장한다. 시각 검색 엔진(120)은 인덱스 서버(160)로부터 하나 이상의 웹 페이지(140)를 요청할 수 있다. 그 결과로, 인덱스 서버(160)는 시각 검색 엔진(120)에 웹 페이지를 전송한다.
따라서, 운영 환경(100)은 웹 페이지(140)와 오브젝트를 포함하는 결과를 클라이언트 장치(130)에 제공하는 시각 검색 엔진(120)으로 구성된다. 시각 검색 엔진(120)은 오브젝트 데이터베이스(150)와 인덱스 서버(160)를 트래버스하여, 사용자로부터 수신된 요청을 만족시키는 결과를 얻는다. 이어서, 클라이언트 장치(130)는 사용자에게 디스플레이하기 위해 결과를 렌더링한다.
일 실시예에서, 시각 검색 엔진은 사용자가 제공하는 단어나 사용자가 선택한 선택에 일치하는 결과를 포함하는 그래픽 사용자 인터페이스를 생성한다. 결과에는 웹 페이지를 가리키는 URL이 포함된다. 그래픽 사용자 인터페이스는 그 결과를 시각 형상으로 재포매팅하는 링크를 포함한다. 시각 형상으로의 링크는 그래픽 사용자 인터페이스에서 하이라이트 표시가 될 수 있다.
도 2는 본 발명의 실시예에 따른, 시각 검색 링크를 갖는 검색 결과 페이지를 도시하는 그래픽 사용자 인터페이스(200)이다. 그래픽 사용자 인터페이스(200)는 검색 상자(210)와 시각 검색 링크(230)를 포함한다.
그래픽 사용자 인터페이스(200)의 검색 상자(210)를 통해 사용자는 검색 질의를 위한 자신만의 검색 단어를 만들어낼 수 있다. 검색 상자(210)는 사용자가 제공하는 검색 단어를 수신한다. 그 결과로, 시각 검색 엔진은 이 검색 단어를 이용하여, 검색 상자(210)에 입력된 단어에 일치하는 검색 결과를 얻는다.
시각 검색 링크(230)는 그래픽 사용자 인터페이스(200)의 일부이다. 사용자는 시각 검색 링크(230)를 통해 검색 질의 결과를 시각적으로 탐색할 수 있다. 또한, 시각 검색 링크(230)로 인해 사용자는 자신의 검색 단어를 입력할 필요 없이 질의를 시각적으로 만들어낼 수 있다. 몇몇 실시예에서, 검색 결과의 시각 형상은 삼차원 형상이다.
예를 들어, 사용자가 검색 상자(210)에 "자동차(cars)"를 입력하여 "자동차"라는 단어를 사용한 검색을 시작할 때, 시각 검색 엔진은 사용자가 중고차나 새 차의 구입에 관련된 검색 작업을 하기를 바라는 것을 인식할 수 있다. 검색 엔진이 출력하는 결과는 사용자가 중고차나 새 차 구입에 관련된 검색 작업을 완수하는 것을 돕지 않을 수도 있다. 시각 검색 엔진은 검색 엔진의 결과를 무시하고, 사용자의 위치에서 현재 판매 중인 자동차의 시각 형상을 포함하는 시각 디스플레이를 제공한다. 사용자는 그래픽 사용자 인터페이스(200)의 시각 형상 및 특징을 통해 인터랙션하여, 사용자가 찾고자 하는 "자동차"를 찾을 수 있다.
아니면, 사용자가 검색 상자(210)에 "자동차"를 입력하여 "자동차"라는 단어를 사용한 검색을 시작할 때, 시각 검색 엔진은 자동차라는 단어를 포함하는 웹 페이지(140)로 구성되는 결과를 출력할 수 있다. 하지만, 사용자가 시각 검색 링크(230)를 클릭하면, 시각 검색 엔진은 그 결과의 시각 형상을 생성한다. 사용자는 그래픽 사용자 인터페이스(200)의 시각 형상 및 특징을 통해 인터랙션하여, 사용자가 찾고자 하는 "자동차"를 찾을 수 있다.
특정 실시예에서, 시각 검색 엔진은 질의 단어의 입력을 요구하지 않는 브라우징 엔트리 포인트(browse entry point)를 제공할 수 있다. 브라우징 엔트리 페이지는 카테고리별로 배열된 오브젝트 컬렉션을 포함할 수 있다. 각 오브젝트는 이미지로 표현되고, 시각 질의에 대응할 수 있다.
일 실시예에서, 사용자의 요청에 응해 검색 결과를 시각적으로 탐색하기 위해 시각 탐색 엔진에 의해 생성되는 시각 형상은 검색 결과의 삼차원 형상이다. 그래픽 사용자 인터페이스는 삼차원 형상과 그 삼차원 형상을 통한 인터랙션을 위해 사용되는 컨트롤을 디스플레이한다. 그로부터, 사용자는 삼차원 형상에 포함되는 오브젝트들을 좁힐 수 있다.
도 3은 본 발명의 실시예에 따른, 삼차원 형상(350)으로 오브젝트(350a) 집합의 이미지를 도시하는 그래픽 사용자 인터페이스(300)이다. 시각 검색 엔진은, 사용자가 제공하는 검색 단어에 대한 URL 결과를 포함하는 그래픽 사용자 인터페이스의 시각 검색 링크를 사용자가 클릭할 때, 그래픽 사용자 인터페이스(300)에서 시각 형상을 생성한다. 그래픽 사용자 인터페이스(300)는 오브젝트(350a)의 개수와 차원에 따라 URL 결과를 (삼차원 또는 이차원) 시각 형상으로 대체한다. 오브젝트들이 그래픽 사용자 인터페이스(300)에서 렌더링되는 동안, 시각 검색 엔진은 그 오브젝트들을 애니메이션화한다. 시각 검색 엔진이 삼차원 형상(350)을 생성할 때, 오브젝트들(350a)은 그래픽 사용자 인터페이스(300)의 바탕화면으로부터 이동하고, 오버래핑된 삼차원 어레이의 오브젝트들로 정렬한다. 이어서, 시각 검색 엔진은 그래픽 사용자 인터페이스(300)의 컨트롤을 왼쪽과 오른쪽으로부터 플로팅시킴으로써(floating) 그래픽 사용자 인터페이스(300)의 왼쪽과 오른쪽에 있는 컨트롤을 애니메이션화한다. 사용자는 포인터를 움직여 그래픽 사용자 인터페이스(300)의 왼쪽과 오른쪽에 있는 컨트롤을 통해 인터랙션하여 오브젝트들(350a)을 조종할 수 있다. 몇몇 실시예에서, 사용자가 검색 단어를 제공할 필요 없이, 사용자가 시각 검색 링크를 클릭하면, 시각 검색 엔진은 그래픽 사용자 인터페이스(300)에서 시각 형상을 생성한다.
그래픽 사용자 인터페이스(300)는 삼차원 형상(350)에 포함되는 오브젝트들(350a)을 통해 인터랙션하기 위해 사용되는 카테고리 컨트롤(310), 카운트 컨트롤(count control, 320), 리파인 컨트롤(refine control, 330), 소팅 컨트롤(sort control, 340) 및 스크롤 컨트롤(360)을 포함한다. 그래픽 사용자 인터페이스(300)를 통해 사용자는 자신이 제공한 검색 단어에 일치하는 모든 오브젝트들을 볼 수 있게 된다. 그래픽 사용자 인터페이스(300)는 모든 오브젝트들보다 적은 수를 로딩하지만, 스크롤 컨트롤(360)이 무한한 스크롤 기능을 제공하여, 현재 삼차원 형상(350)의 시야 영역 밖에 있는 시각 형상의 추가 오브젝트들을 사용자가 볼 수 있게 된다. 일 실시예에서, 그래픽 사용자 인터페이스(300)는 모든 오브젝트에 대한 데이터를 로딩하지만, 스크롤 컨트롤(360)이 추가 오브젝트들을 드러내 보여 특정 오브젝트들이 시야에 들어올 때마다 이미지들을 스트리밍할 수 있다. 다른 실시예에서, 그래픽 사용자 인터페이스는 데이터의 서브셋과 해당 이미지만을 로딩하여, 사용자가 오브젝트의 일부와 빨리 인터랙션하게 할 수도 있다. 추가 데이터와 이미지는 스크롤 컨트롤(360)을 통해 요청되면 로딩된다.
카테고리 컨트롤(310)은 삼차원 형상(350)의 각 오브젝트에 관련된 카테고리를 식별한다. 삼차원 형상(350)의 오브젝트들(350a)의 개수는 사용자가 카테고리 컨트롤(310)을 선택하면 감소할 수 있다. 몇몇 실시예에서, 시각 검색 엔진이 삼차원 형상(350)의 오브젝트들(350a)의 개수를 줄임에 따라 삼차원 형상(350)은 오브젝트들(350a)을 애니메이션화한다. 선택된 카테고리 안에 없는 오브젝트들(350a)은 제거되거나 그래픽 사용자 인터페이스(300)의 바탕화면으로 물러난다. 선택된 카테고리를 만족시키는 추가 오브젝트들(350a)이 삼차원 형상(350)의 삭제된 오브젝트들(350a)을 대신하게 된다. 업데이트된 삼차원 형상(350)에 있는 모든 오브젝트들(350a)은 카테고리 콘트롤(310)에서 선택된 카테고리를 만족시킨다.
예를 들어, 사용자는 자동차를 검색할 때 카테고리로 SUV(sport utility vehicle)를 선택할 수 있다. 사용자의 선택에 대해, 시각 검색 엔진은 SUV로 카테고리화되지 않은 오브젝트들(350a)을 제거함으로써 삼차원 형상(350)의 오브젝트들(350a)을 업데이트한다. 사용자 선택을 만족시키지 않는 객체들(350a)은 삼차원 형상(350)에서 빠져나오도록 시각 검색 엔진에 의해 애니메이션화되고, 삼차원 형상(350)의 시야 영역 밖에 있는 추가 오브젝트들은 삭제된 오브젝트들(350a)을 대체하도록 애니메이션화된다.
다른 실시예에서, 시각 검색 엔진은 사용자가 행한 이전 검색을 기반으로 하여 새로운 링크로 카테고리 컨트롤(310)을 업데이트할 수 있다. 사용자의 이전 검색이 특정 아이템이나 브랜드 아이템에 관한 것일 때, 시각 검색 엔진은 그 특정 아이템이나 브랜드 아이템과 유사한 특징을 갖는 오브젝트들의 시각 형상에 관련된 링크를 제작한다. 사용자가 그 링크를 선택할 때, 시각 검색 엔진은 유사한 특징을 갖는 오브젝트들을 포함하는 인터페이스를 생성한다. 또한, 시각 검색 엔진은 이전 검색과 거의 관련이 없는 정보에 대한 링크를 카테고리 컨트롤(310)에 포함할 수 있다. 예를 들어, 사용자가 판매 중인 모든 새 차들을 찾으며 애스턴 마틴(Aston Martin) 위에서 호버링한다면, 카테고리 컨트롤(310)은 (제임스 본드(James Bond)가 애스턴 마틴을 몰기 때문에) 현재 영화관에서 상영하고 있는 제임스 본드 영화와, (애스턴 마틴이 영국에서 생산되므로) 영국에 대한 링크를 보여주도록 업데이트할 수 있다.
카운트 컨트롤(320)은 시각 형상에 있는 아이템들의 총 개수와 그래픽 사용자 인터페이스(300)의 시야 영역에 현재 디스플레이되는 아이템의 개수를 디스플레이한다. 카운트 컨트롤(320)은 사용자가 시각 형상(예컨대, 삼차원 형상(350)) 내에 있는 오브젝트들을 감소시키거나 증가시킴에 따라 업데이트한다. 카운트 컨트롤(320)은 사용자가 새로운 혹은 추가적인 검색 단어로 검색을 시작할 때 업데이트한다. 아니면, 카운트 컨트롤(320)은 사용자가 카테고리 컨트롤(310)이나 리파인 컨트롤(330)을 통해 인터랙션하여 그래픽 사용자 인터페이스(300)의 오브젝트들(350a)을 조작할 때 업데이트한다.
리파인 컨트롤(330)은 시각 형상 내에 있는 오브젝트들(350a)의 일부가 공유하는 속성을 나타낸다. 사용자가 리파인 컨트롤(330)에서 나타내는 속성들에 대한 값을 선택할 때, 삼차원 형상(350)의 오브젝트들(350a)의 개수가 감소할 수 있다. 몇몇 실시예에서, 시각 검색 엔진이 삼차원 형상(350)의 오브젝트들(350a)의 개수를 줄임에 따라 삼차원 형상(350)은 오브젝트들(350a)을 애니메이션화한다. 리파인 컨트롤(330)에서 나타내는 속성들에 대해 선택된 값을 만족시키지 못한 오브젝트들(350a)은 제거되거나 그래픽 사용자 인터페이스(300)의 바탕화면으로 물러난다. 리파인 컨트롤(330)에서 나타내는 속성들에 대해 선택된 값을 만족시키는 추가 오브젝트들(350a)이 삭제된 오브젝트들(350a)을 대신하게 된다. 업데이트된 시각 형상(예컨대, 업데이트된 삼차원 형상(350))에 있는 모든 오브젝트들(350a)은 리파인 컨트롤(330)에서 나타내는 속성들에 대해 선택된 값을 만족시킨다. 몇몇 실시예에서, 리파인 컨트롤(350)에서의 속성은 유효한 필터링 옵션만을 제공하도록 업데이트된다. 예를 들어, 사용자가 차량 유형 필터로써 "Sport Utility Vehicle"을 선택할 때, 브랜드 필터는 "Sport Utility Vehicle"를 제공하지 않는 제조업체나 브랜드를 자동으로 제거할 수 있다.
사용자는 소팅 컨트롤(340)을 통해 오브젝트들(350a)을 정렬할 수 있다. 소팅 컨트롤(340)은 삼차원 형상(350)의 오브젝트들(350a)을 재편성한다(reorganizes). 소팅 컨트롤(340)은 시각 형상의 모든 오브젝트들(350a)이 공유하는 속성들을 나타낸다. 오브젝트들(350a)은 디폴트로 알파벳순으로 정렬된다. 사용자가 소팅 컨트롤을 선택할 때, 시각 검색 엔진은 시각 형상의 오브젝트들(350a)을 재편성할 수 있다. 예를 들어, 사용자가 자동차를 검색할 때, 소팅 컨트롤(340)을 통해 사용자는 브랜드, 안정도 평가 또는 전문가 평가 별로 오브젝트들(350a)을 정렬할 수 있다. 시각 검색 엔진은 오브젝트들의 브랜드, 안정도 평가 및 전문가 평가에 관한 속성들을 저장하는 오브젝트 데이터베이스로부터 브랜드, 안정도 평가 및 전문가 평가를 얻는다. 사용자가 속성을 선택한 후에, 시각 검색 엔진은 시각 형상의 오브젝트들의 순서를 바꾼다. 일 실시예에서, 소팅 컨트롤에 포함된 속성들은 검색 로그(search log)의 검색 빈도에 기반하여 선택된다.
사용자는 스크롤 컨트롤(360)을 통해 시각 형상 내에 있는 추가 오브젝트들(350a)을 볼 수 있다. 몇몇 실시예에서, 스크롤 컨트롤은 무한한 스크롤을 제공하여, 그래픽 사용자 인터페이스(300)가 시각 형상의 오브젝트들(350a)을 지속적으로 스크롤할 수 있게 한다. 무한한 스크롤은 시각 형상 내에 있는 모든 오브젝트들(350a)을 계속 순환시킨다.
몇몇 실시예에서, 시각 검색 엔진은 오브젝트(350a)의 삼차원 형상(350)과 이차원 형상 사이에서 전환된다. 시각 검색 엔진은 그래픽 사용자 인터페이스에서 디스플레이를 위해 선택된 오브젝트의 개수가 클 때, 삼차원 형상(350)을 생성한다. 사용자가 오브젝트의 개수를 적정한 수로 줄일 때, 시각 검색 엔진은 이차원 형상으로 오브젝트들을 렌더링할 수 있다. 일 실시예에서, 남아 있는 오브젝트들은 스크롤링 없이도 볼 수 있는 행으로 시각 검색 엔진에 의해 재배치된다. 또한, 시각 검색 엔진은 남아 있는 각각의 오브젝트(350a) 주변에 경계를 렌더링할 수도 있다.
예를 들어, 시각 검색 엔진은 각 오브젝트에 대한 상세 정보가 있는 그래픽 사용자 인터페이스의 생성을 필요로 하는 디스플레이 디폴트를 설정할 수 있다. 그러나, 그래픽 사용자 인터페이스는 시각 형상의 사용자 선택을 만족시키는 되도록 많은 오브젝트들을 디스플레이해야만 한다. 오브젝트들의 개수가 많아서 상세 정보를 보여주는 것이 그래픽 사용자 인터페이스를 모호하게 할 때에는, 시각 검색 엔진에 의해 오브젝트들의 삼차원 시각 형상(350)이 생성될 수 있다. 오브젝트들의 개수가 적어서 상세 정보를 보여주는 것이 그래픽 사용자 인터페이스를 모호하게 하지 않을 때에는, 시각 검색 엔진에 의해 오브젝트들의 이차원 시각 형상이 생성될 수 있다. 게다가, 이용가능한 디스플레이 영역이 증가하기 때문에, 시각 검색 엔진은 각 오브젝트에 대해 더 많은 정보를 디스플레이하게 된다. 몇몇 실시예에서, 각 오브젝트에 관련된 이미지의 크기가 100 x 100 픽셀이 되고, 이차원 형상은 최소 다섯 행과 다섯 열의 이미지를 갖는 어레이를 포함한다.
일 실시예에서, 오브젝트들의 이차원 형상은 시각 탐색 엔진에 의해 생성된다. 이차원 형상을 통해 사용자는 그래픽 사용자 인터페이스에서 각 오브젝트에 대한 추가 정보를 볼 수 있게 된다. 시각 검색 엔진은 그래픽 사용자 인터페이스에서 이용가능한 디스플레이 영역을 사용하여, 사용자에게 디스플레이되도록 렌더링되는 정보를 최대화시킨다.
도 4는 본 발명의 실시예에 따른, 이차원 형상(440)으로 각 오브젝트가 지닌 메타데이터를 도시하는 그래픽 사용자 인터페이스(400)이다. 시각 검색 엔진은 렌더링되도록 선택된 오브젝트의 개수에 기반하여 그래픽 사용자 인터페이스(400)에 이차원 형상(440)을 생성한다. 일 실시예에서, 시각 검색 엔진은, 디스플레이를 위해 선택된 오브젝트들의 개수가 스크롤링 없이 볼 수 있을 때, 그래픽 사용자 인터페이스(400)에 이차원 형상(440)을 생성한다. 몇몇 실시예에서, 시각 검색 엔진은 스크롤링 없이 그래픽 사용자 인터페이스(400)에 맞도록 오브젝트들에 관련된 이미지를 재포맷팅할 수 있다. 다른 실시예들에서는, 오브젝트들의 개수가 그래픽 사용자 인터페이스(400)에서 볼 수 있는 이용가능한 메타데이터에 기반하여 오브젝트들을 비교하게 할 수 있을 때, 시각 검색 엔진이 그래픽 사용자 인터페이스(400)에 이차원 형상(440)을 생성할 수 있다.
그래픽 사용자 인터페이스(400)는 검색 상자(410), 포인터(420), 메타데이터 디스플레이(430), 이차원 형상(440) 및 오브젝트 라벨(object labels, 450)을 포함한다. 사용자는 검색 상자(410)를 통해 시각 검색 엔진으로 보내져야 하는 검색 단어를 입력할 수 있다. 검색 상자(410)는 시각 검색 엔진이 그 검색 상자(410) 안에 들어 있는 검색 단어로 검색을 시작하게 하는 검색 아이콘을 포함한다. 또한, 사용자가 포인터(420)로 오브젝트 위에서 호버링할 때, 검색 상자(410)는 이차원 형상(440)의 각 오브젝트에 관련된 검색 질의를 자동으로 디스플레이한다. 사용자는 검색 상자(410)에 포함된 검색 아이콘을 클릭함으로써, 그 호버링에 대한 응답으로 검색 상자(410)에 자동으로 디스플레이되는 검색 질의를 이용하여 검색을 시작할 수 있다. 또는, 사용자는 포인터(420)로 오브젝트를 클릭함으로써 각 오브젝트에 관련된 검색 질의를 이용하여 검색을 시작할 수 있다. 사용자가 포인터(420)로 오브젝트를 클릭하면, 시각 검색 엔진은 그 오브젝트에 관련된 검색 질의를 이용하여 인덱스 서버와 오브젝트 데이터베이스를 검색한다.
몇몇 실시예에서, 포인터(420)는 사용자가 오브젝트들 위에서 호버링하고, 클릭하거나, 드래그 및 드랍 가능하게 하는 마우스이다. 그래픽 사용자 인터페이스(400)는 포인터(420)를 사용하여 행해지는 동작을 기반으로 하여 업데이트될 수 있다. 포인터가 이차원 형상(440)의 오브젝트 위에서 호버링할 때, 시각 검색 엔진은 그래픽 사용자 인터페이스(400) 상의 각 오브젝트에 대한 추가 정보를 렌더링한다.
메타데이터 디스플레이(430)는 이차원 형상(440)의 오브젝트들에 대한 정보를 제공한다. 일 실시예에서, 포인터(420)가 시각 형상의 오브젝트들 위에서 호버링할 때, 메타데이터 디스플레이(430)는 그 오브젝트들에 해당하는 제한된 정보를 제공한다. 시각 검색 엔진은 오브젝트 데이터베이스로부터 그 제한된 정보를 수신한다. 특정 실시예에서는, 사용자가 이차원 형상의 오브젝트 위에서 호버링할 때, 검색 상자(410) 아래에 있는 그래픽 사용자 인터페이스(400)에 정보가 디스플레이된다. 다른 실시예에서는, 사용자가 오브젝트 위에서 호버링할 때, 메타데이터 디스플레이(430)가 오브젝트들의 삼차원 형상으로 생성될 수도 있다.
이차원 형상(440)은 사용자에 의한 선택이나 사용자가 제공한 질의를 만족시키는 오브젝트들을 포함한다. 오브젝트 집합이 스크롤링 없이 그래픽 사용자 인터페이스의 디스플레이 영역 내에서 보일 때, 시각 검색 엔진이 이차원 형상(440)을 생성할 수 있다. 시각 검색 엔진은 오브젝트 데이터베이스를 트래버스하여, 오브젝트 집합의 각 오브젝트에 관련된 이미지를 얻는다. 이어서, 시각 검색 엔진은 각 오브젝트에 관련된 이미지를 이차원 형상(440)으로 렌더링한다.
특정 실시예에서, 이차원 형상(440)은 오브젝트 라벨(450)을 포함한다. 시각 검색 엔진은 각 오브젝트 라벨(450)에 관한 정보를 오브젝트 데이터베이스로부터 수신한다. 이어서, 시각 검색 엔진은 이차원 형상(440) 내에 디스플레이되는 오브젝트들의 개수에 따라 오브젝트 라벨의 특정량의 데이터를 렌더링한다. 이차원 형상(440)의 오브젝트들의 개수가 그래픽 사용자 인터페이스(400)의 전체 시야 영역의 임계량 이상을 차지하면, 시각 검색 엔진은 각 오브젝트에 대해 좀 더 적은 정보를 렌더링한다. 예를 들어, 이차원 형상(440)의 오브젝트들의 개수가 그래픽 사용자 인터페이스(400)의 전체 시야 영역의 80 퍼센트 이상을 차지하면, 시각 검색 엔진은 이차원 형상(440)의 각 오브젝트에 대한 오브젝트 라벨(450)에 타이틀 정보만을 렌더링할 수 있다. 또는, 시각 탐색 엔진은 타이틀 정보와 오브젝트 라벨(450)의 오브젝트 집합을 좁히기 위해 흔히 사용되는 속성에 대한 값만을 렌더링할 수도 있다.
다른 실시예에서, 시각 검색 엔진에 의해 생성되는 이차원 형상은 각 오브젝트에 대한 추가 정보가 들어있는 오브젝트 라벨을 포함한다. 추가 정보는 시각 탐색 엔진에 의해 이전에 렌더링되지 않은, 오브젝트에 관련된 속성의 값을 포함한다. 추가 정보는 오브젝트 데이터베이스에 저장될 수 있다. 사용자는 추가 정보를 통해 이차원 형상에 디스플레이되는 오브젝트들이 추가 정보에 관련된 불특정 사용자 기준을 만족시키는 지를 결정할 수 있다. 이차원 형상의 오브젝트들이 사용자를 만족시키면, 사용자는 오브젝트를 클릭하여, 사용자가 검색 작업을 완수하도록 돕거나 사용자가 그 오브젝트에 관한 추가 정보를 취하게 하는 다음 동작을 시작하게 할 수 있다. 예를 들어, 클릭에 의해 오브젝트에 관한 검색 질의를 입력할 수 있다. 오브젝트가 가전 제품, 예컨대, 디지털 카메라에 해당할 때, 클릭에 의해 그 카메라에 대한 구매 페이지에서 구매 거래를 시작하게 할 수 있다. 오브젝트가 여행 상품, 예컨대, 목적지 도시, 기념물(monument) 또는 기념비(memorial)에 해당하면, 클릭으로 숙박 시설 및 그 목적지까지의 교통편에 대한 검색을 시작할 수 있다. 아니면, 이차원 형상의 오브젝트들이 사용자를 만족시키지 못한다면, 사용자는 새로운 검색 단어를 입력하거나 또는, 새로운 시각 검색을 시작하는 카테고리 컨트롤을 선택함으로써 검색을 계속할 수 있다.
도 5는 본 발명의 실시예에 따른, 카테고리 또는 리파인 컨트롤에서 제공되는 기준에 일치하는 오브젝트 집합을 도시하는 그래픽 사용자 인터페이스(500)이다. 그래픽 사용자 인터페이스(500)는 이차원 형상(510) 및 오브젝트 라벨(520)을 포함한다.
시각 검색 엔진은, 디스플레이를 위해 선택된 오브젝트들의 개수가 스크롤링 없이 볼 수 있을 때, 그래픽 사용자 인터페이스(500)에 이차원 형상(510)을 생성할 수 있다. 이차원 형상(510)은 사용자에 의한 선택이나 사용자가 제공한 질의를 만족시키는 오브젝트들을 포함한다. 시각 검색 엔진은 오브젝트 데이터베이스를 트래버스하여, 오브젝트 집합의 각 오브젝트에 관련된 이미지를 얻는다. 이어서, 시각 검색 엔진은 각 오브젝트에 관련된 이미지를 이차원 형상(510)으로 렌더링한다.
특정 실시예에서, 이차원 형상(510)은 오브젝트 라벨(520)을 포함한다. 시각 검색 엔진은 각 오브젝트 라벨(520)에 대한 정보를 오브젝트 데이터베이스로부터 수신한다. 이어서, 시각 검색 엔진은 오브젝트 라벨(520)의 오브젝트 집합을 줄이기 위해 사용자가 흔히 사용하는 속성에 대한 값을 렌더링한다.
시각 검색 엔진에 의해 선택되는 오브젝트들은 시각 탐색 엔진을 통해 인터랙션하는 사용자의 컨텍스트를 기초로 하여 리파인될 수 있다. 사용자의 컨텍스트는 사용자의 현재 위치, 이전 브라우징 히스토리 또는 사용자의 클라이언트 장치 구성의 현재 구성을 포함할 수 있으나, 이에 한정되지는 않는다. 시각 검색 엔진은 컨텍스트 정보를 사용하여 오브젝트 데이터베이스로부터 선택된 오브젝트들 또는, 사용자가 선택한 오브젝트에 대해 인덱스 서버에 의해 제공되는 결과를 필터링할 수 있다.
몇몇 실시예에서, 이차원 형상의 오브젝트는 사용자에 의해 선택된다. 이어서, 사용자 검색 엔진은 오브젝트 데이터베이스로부터의 데이터와 인덱스 서버로부터의 URL을 포함하는 그래픽 사용자 인터페이스를 생성한다. 그래픽 사용자 인터페이스는 인덱스 서버 및 오브젝트 데이터베이스로부터의 검색 결과를 사용자에게 디스플레이한다.
도 6은 본 발명의 실시예에 따른, 클릭 동작에 따라 생성된 결과 집합(620)을 도시하는 그래픽 사용자 인터페이스(600)이다. 그래픽 사용자 인터페이스(600)는 검색 상자(610), 검색 결과(620), 및 시각 검색 링크(630)를 포함한다.
시각 검색 엔진은 사용자가 포인터로 오브젝트를 클릭하거나 오브젝트를 선택할 때 그래픽 사용자 인터페이스(600)를 생성한다. 검색 상자(610)는 시각 검색 엔진이 검색 상자(610)에 들어있는 검색 단어로 검색을 시작하게 하는 검색 아이콘을 포함한다. 검색 상자(610)는 선택된 오브젝트에 관련된 검색 질의를 자동으로 디스플레이한다. 사용자는 포인터로 오브젝트를 선택했기 때문에, 시각 검색 엔진은 클릭된 오브젝트에 관련된 검색 질의를 사용하여 인덱스 서버와 오브젝트 데이터베이스를 검색한다.
이어서, 시각 검색 엔진은 검색 결과(620)로 그래픽 사용자 인터페이스(600)를 업데이트한다. 검색 결과(620)는 선택된 오브젝트에 관련된 이미지와 그 선택된 오브젝트에 해당하는 속성의 서브셋에 대한 값을 포함한다. 몇몇 실시예에서, 속성의 값과 그 해당 서브셋은 오브젝트 집합을 선택된 동일한 오브젝트로 좁히기 위해 사용자가 흔히 사용하는 속성으로부터 선택된다. 시각 검색 엔진은 선택된 오브젝트에 대한 이미지 및 해당 속성 및 값을 오브젝트 데이터베이스로부터 수신할 수 있다. 검색 결과(620)는 URL도 포함한다. 시각 검색 엔진은 인덱스 서버로부터 URL을 수신한다. URL은 선택된 오브젝트의 검색 질의에 포함된 단어들이 들어있는 웹 페이지를 가리킨다.
그래픽 사용자 인터페이스(600)는 시각 검색 링크(630)를 포함한다. 사용자는 시각 검색 링크(630)를 통해 자신을 만족시키는 오브젝트에 관한 오브젝트 집합의 새로운 시각 검색을 시작할 수 있다. 몇몇 실시예에서, 사용자가 시각 탐색 링크를 클릭할 때, 시각 검색 엔진은 이전에 생성된 오브젝트 집합이 있는 이차원이나 삼차원 형상을 생성한다.
몇몇 실시예에서, 시각 검색 엔진은 시각적으로 오브젝트 집합을 검색하고 탐색하는 방법을 실행한다. 시각 검색 엔진은 사용자 질의를 수신하고, 시각 탐색 엔진에 의해 생성된 그래픽 사용자 인터페이스에 시각 검색 링크의 포함 여부를 결정한다. 사용자가 오브젝트 데이터베이스의 어느 특정 오브젝트를 겨냥하지 않은 검색을 실행하는 것으로 보일 때 시각 검색 링크는 눈에 띄게 그래픽 사용자 인터페이스에 포함된다. 사용자가 특정 오브젝트를 향한 검색을 실행할 때에는, 시각 검색 링크는 덜 눈에 띄게 된다.
도 7은 본 발명의 실시예에 따른, 오브젝트 집합을 시각적으로 검색하고 탐색하는 방법을 도시하는 논리 다이어그램이다. 컴퓨터로 구현된 방법은 단계 710에서 시각 검색 엔진에 의해 시작된다. 시각 검색 엔진은 클라이언트 장치에 연결되어 통신하는 서버에 의해 실행된다. 단계 720에서, 서버는 클라이언트 장치로부터 질의를 수신한다. 단계 730에서, 서버는 질의에 부합하는 결과 집합에 시각 검색 링크를 포함할지를 결정한다. 단계 740에서, 서버는 사용자 질의가 일반적이거나 특수할 때, URL 목록과 시각 검색 링크를 포함하는 결과 집합을 생성한다. 단계 750에서, 서버로부터 결과와 시각 검색 링크가 클라이언트 장치로 전송된다.
시각 검색 링크는 질의에 일치하는 오브젝트 집합에 관한 이미지 컬렉션을 갖는 삼차원 인터페이스 또는 이차원 인터페이스에 연결되도록 구성된다. 각 이미지는 그 이미지에 해당하는 오브젝트에 관련된 메타데이터를 포함하는 다음의 오브젝트 질의에 연결된다. 오브젝트에 관한 이미지가 클릭되면 다음 오브젝트 질의가 서버에 의해 실행될 수 있다. 서버가 다음 오브젝트 질의를 수신할 때, 서버는 오브젝트 데이터베이스로부터 수신된, 다음 질의의 단어들과 정보가 들어있는 웹 페이지나 문서에 연결된 URL을 갖는 결과 페이지를 생성할 수 있다.
서버에 의해 생성되는 삼차원 형상 및 이차원 형상은 오브젝트들에 관련된 이미지 컬렉션에서 이미지 차원을 동적으로 변화시킬 수 있다. 나아가, 서버에 의해 생성되는 삼차원 형상 및 이차원 형상은 삼차원 형상 및 이차원 형상에 디스플레이되는 메타데이터를 동적으로 변화시킬 수도 있다. 서버는 오브젝트 집합 내의 오브젝트들의 속성을 기초로 하여, 삼차원 형상 및 이차원 형상에 포함되는 컨트롤을 동적으로 변화시키는 삼차원 형상이나 이차원 형상을 생성할 수 있다. 컨트롤은 오브젝트 집합을 리파인, 필터링, 카테고리화 또는 소팅할 수 있다. 상기 방법은 단계 760에서 종료된다.
일 실시예에서, 시각 검색 엔진은 사용자 질의와의 일치(match) 여부를 식별하고, 시각 탐색 링크에 부여될 눈에 띄는 정도(prominence)를 선택한다. 일치가 일반적인 일치일 때, 시각 검색 엔진은 사용자의 주의를 끌기 위해 아주 눈에 잘 띄는 시각 검색 링크를 생성한다. 예를 들어, 카테고리 컨트롤 내의 위치, 색상, 크기 또는 형태를 사용하여 시각 탐색 링크의 눈에 띄는 정도를 바꿀 수 있다. 카테고리 컨트롤 내의 높은 위치는 눈에 띌 확률이 매우 높고, 카테고리 내의 낮은 위치는 눈에 띌 확률이 낮다.
몇몇 실시예에서, 시각 검색 엔진은 개념 일치(conceptual match), 개념 서브셋 일치, 및 오브젝트 레벨 일치를 식별할 수 있다. 개념 일치일 경우 시각 검색 엔진은, 사용자 검색 단어가 아주 일반적이기 때문에 사용자의 주의를 끌기 위해 아주 눈에 잘 띄는 시각 검색 링크를 생성할 수 있다. 개념 일치는 오브젝트에 부여된 카테고리에 일치할 수 있다. 개념 서브셋 일치일 경우 시각 검색 엔진은 덜 눈에 띄는 시각 탐색 링크를 생성하게 한다. 개념 서브셋 일치는 오브젝트에 부여된 서브카테고리에 일치할 수 있다. 오브젝트 레벨 일치일 경우, 시각 검색 엔진은 가장 눈에 덜 띄는 시각 탐색 링크를 생성하게 한다. 오브젝트 레벨 일치는 오브젝트에 부여된 실제 오브젝트 이름과 일치할 수 있다. 특정 실시예에서, 시각 검색 엔진은 일치를 식별하기 위해서 검색 로그에 저장된 정의에 기반하여 사용자 검색 단어에 대한 동의어를 생성한다.
요약하면, 본 발명의 실시예를 통해 사용자는 오브젝트 집합을 시각적으로 탐색할 수 있고, 사용자가 특정 아이템에 대한 질의를 만드는 것을 도울 수 있다. 시각 검색 엔진에 의해 생성되는 그래픽 사용자 인터페이스 오브젝트 집합을 디스플레이한다. 또한, 그래픽 사용자 인터페이스는 사용자가 오브젝트 위에서 호버링할 때 오브젝트를 설명하는 메타데이터를 디스플레이할 수 있다. 나아가, 시각 검색 엔진은 사용자가 그래픽 사용자 인터페이스에서 오브젝트를 선택할 때, 인덱스 서버 및 오브젝트 데이터베이스에 질의를 던질 수 있다.
본 발명의 실시예들에 대한 이상의 설명은 예시적인 것으로, 구성 및 구현의 변경은 본 설명의 범위 내에 있다. 예를 들어, 본 발명의 실시예들은 도 1에서 7과 관련하여 일반적으로 설명되지만, 이들 설명은 예를 든 것이다. 오브젝트가 구조적 특징이나 방법론적인 동작과 관련하여 기술되어 있지만, 첨부된 특허청구범위에서 정의된 오브젝트가 반드시 전술한 특정 특징이나 동작으로 제한되는 것은 아님을 이해할 것이다. 그보다는, 특허청구범위를 구현하는 예시적인 형태로써 전술한 특정 특징이나 동작이 개시된 것이다. 따라서, 본 발명의 실시예의 범위는 다음의 특허청구범위에 의해서만 제한되기 위한 것이다.

Claims (20)

  1. 오브젝트 집합을 시각적으로 검색하고 탐색하는 컴퓨터로 구현된 방법으로서,
    서버에 의해 질의를 수신하는 단계와,
    상기 질의에 부합하는 결과 집합에 시각 검색 링크가 포함될지 여부를 상기 서버에 의해 결정하는 단계와,
    상기 질의의 일치(match) 여부에 기초하여 상기 시각 검색 링크에 눈에 띄는 정도(prominence)를 할당하는 단계와,
    URL 목록과 상기 시각 검색 링크를 포함하는 결과 집합을 생성하는 단계와,
    상기 결과와 상기 시각 검색 링크를 사용자에게 전송하는 단계와,
    상기 시각 검색 링크의 선택을 수신하는 단계와,
    새로운 시각 검색을 개시하는 단계와,
    중첩된 타일로 배열된 시각적 결과를 생성하고, 소팅 컨트롤, 리파인 컨트롤, 스크롤 컨트롤, 카운트 컨트롤 또는 카테고리 컨트롤이 애니메이션화 플로팅되도록 하는 단계
    를 포함하는 컴퓨터로 구현된 방법.
  2. 제 1 항에 있어서,
    상기 시각 검색 링크는 상기 질의에 일치하는 상기 오브젝트 집합에 대응하는 이미지 컬렉션을 갖는 삼차원 인터페이스 또는 이차원 인터페이스에 연결되도록 구성되는 컴퓨터로 구현된 방법.
  3. 제 2 항에 있어서,
    상기 삼차원 인터페이스 또는 상기 이차원 인터페이스는 상기 이미지 컬렉션에서 이미지 크기를 동적으로 변화시키는 컴퓨터로 구현된 방법.
  4. 제 3 항에 있어서,
    상기 삼차원 인터페이스 또는 상기 이차원 인터페이스는, 상기 삼차원 인터페이스 및 상기 이차원 인터페이스에서 디스플레이되는 메타데이터를 동적으로 변화시키는 컴퓨터로 구현된 방법.
  5. 제 4 항에 있어서,
    상기 삼차원 인터페이스 또는 상기 이차원 인터페이스는, 상기 오브젝트 집합 내의 오브젝트들의 속성에 기반하여 상기 삼차원 인터페이스 및 상기 이차원 인터페이스에 포함되는 컨트롤을 동적으로 변화시키는 컴퓨터로 구현된 방법.
  6. 제 2 항에 있어서,
    상기 삼차원 인터페이스 또는 상기 이차원 인터페이스는 상기 이미지 컬렉션 내에 있는 이미지들의 개수에 기반하여 상기 이미지 컬렉션의 삼차원 렌더링 이미지 또는 상기 이미지 컬렉션의 이차원 렌더링 이미지를 동적으로 변화시키는 컴퓨터로 구현된 방법.
  7. 제 2 항에 있어서,
    각 이미지는 상기 이미지에 대응하는 상기 오브젝트와 관련된 메타데이터를 포함하는 다음 질의(subsequent query)와 연관되는 컴퓨터로 구현된 방법.
  8. 제 7 항에 있어서,
    상기 다음 질의는 상기 사용자에 대응하는 컨텍스트 정보를 포함하고 상기 이미지 클릭에 응답하여 실행되는 컴퓨터로 구현된 방법.
  9. 제 8 항에 있어서,
    상기 다음 질의를 수신하고, 상기 다음 질의의 용어를 포함하는 문서 또는 웹 페이지와 연관된 URL을 갖는 결과 페이지를 생성하는 단계
    를 더 포함하는 컴퓨터로 구현된 방법.
  10. 제 7 항에 있어서,
    상기 메타데이터는 상기 이미지가 호버링 동작의 대상인 경우 상기 삼차원 인터페이스 또는 상기 이차원 인터페이스 상에 디스플레이되는 컴퓨터로 구현된 방법.
  11. 오브젝트 집합을 시각적으로 검색하고 탐색하도록 구성된 그래픽 사용자 인터페이스를 제시하는 명령어를 실행하는 컴퓨팅 장치로서,
    상기 그래픽 사용자 인터페이스는
    상기 오브젝트 집합 내의 모든 오브젝트가 공유하는 속성에 기반하여 상기 오브젝트 집합을 재편성(reorganize)하도록 구성된 소팅 컨트롤,
    상기 오브젝트 집합의 각 오브젝트의 속성에 기반하여 상기 오브젝트 집합의 오브젝트의 개수를 줄이도록 구성된 필터링 컨트롤,
    상기 오브젝트 집합 내에 표시된 카테고리에 기반하여 상기 집합의 오브젝트의 개수를 줄이도록 구성된 분류 컨트롤,
    사용자가 상기 오브젝트 집합과 상호작용하면서 업데이트되는 시각적 표현 내에 있는 아이템의 전체 개수를 디스플레이하도록 구성된 카운트 컨트롤, 및
    상기 오브젝트 집합을 지속적으로 스크롤하도록 구성된 스크롤 컨트롤
    의 표시를 포함하고,
    상기 그래픽 사용자 인터페이스는 사용자 질의와 일치하는 오브젝트들의 이미지를 디스플레이하고, 상기 오브젝트 집합이 모든 결과를 하나의 뷰 내에 디스플레이하기에 충분할만큼 작은 경우에는 이차원 뷰로 전환하고 상기 오브젝트 집합이 큰 경우에는 삼차원 뷰로 전환하도록 구성되는
    컴퓨팅 장치.
  12. 제 11 항에 있어서,
    상기 속성은 다수의 사용자에 의해 빈번히 요청되는 아이템들을 포함하는 컴퓨팅 장치.
  13. 제 11 항에 있어서,
    상기 속성은 상기 질의와 관련된 영화 아이템 및 원산지국가 아이템을 포함하는 컴퓨팅 장치.
  14. 제 11 항에 있어서,
    상기 그래픽 사용자 인터페이스는 호버링 동작의 대상인 오브젝트와 대응하는 다음 질의가 자동으로 채워지는 검색 상자 컨트롤의 표시를 더 포함하는
    컴퓨팅 장치.
  15. 제 14 항에 있어서,
    상기 다음 질의는 상기 오브젝트가 클릭 동작의 대상인 경우에 실행되는 컴퓨팅 장치.
  16. 오브젝트 집합을 시각적으로 검색하고 탐색하는 컴퓨터로 구현된 방법을 수행하는 컴퓨터 실행가능 명령어를 갖는 하드웨어 컴퓨터 저장 매체로서,
    상기 컴퓨터로 구현된 방법은
    질의를 수신하는 단계와,
    URL 목록과 시각 검색 링크를 포함하는 결과 집합을 생성하는 단계와,
    상기 결과와 상기 시각 검색 링크를 사용자에게 전송하는 단계와,
    상기 시각 검색 링크의 선택을 수신하는 단계와,
    이미지 집합을 포함하는 검색 결과의 시각적 표현을 생성하는 단계
    를 포함하고,
    상기 이미지 집합은 상기 이미지 집합 내에 있는 이미지들의 개수에 기반하여 삼차원 인터페이스 또는 이차원 인터페이스로 렌더링되어 삼차원 뷰 및 이차원 뷰 사이의 인터페이스 전환이 상기 결과 집합 내에 있는 이미지들의 개수에 기반하도록 하는 - 상기 이미지들의 개수가 임계치 미만이면서 상기 사용자가 상기 시각 검색 링크에 액세스하는 경우에는 상기 이차원 인터페이스가 제공되고, 상기 이미지들의 개수가 상기 임계치를 초과하면서 상기 사용자가 상기 시각 검색 링크에 액세스하는 경우에는 상기 삼차원 인터페이스가 제공됨 -
    하드웨어 컴퓨터 저장 매체.
  17. 제 16 항에 있어서,
    상기 삼차원 인터페이스 및 상기 이차원 인터페이스는 이미지 컬렉션에서 이미지 크기를 동적으로 변화시키는 하드웨어 컴퓨터 저장 매체.
  18. 제 16 항에 있어서,
    상기 삼차원 인터페이스 및 상기 이차원 인터페이스는, 상기 삼차원 인터페이스 및 상기 이차원 인터페이스에서 디스플레이되는 메타데이터를 동적으로 변화시키는 하드웨어 컴퓨터 저장 매체.
  19. 제 16 항에 있어서,
    상기 시각 검색 링크의 눈에 띄는 정도(prominence)는 상기 결과 집합 내의 이미지들의 개수 또는 URL들의 개수에 기반하여 변화하는 하드웨어 컴퓨터 저장 매체.
  20. 제 16 항에 있어서,
    상기 삼차원 인터페이스 또는 상기 이차원 인터페이스에 포함되는 컨트롤은 상기 이미지 집합 내의 이미지들의 속성에 기반하여 동적으로 변경되는 하드웨어 컴퓨터 저장 매체.
KR1020167012787A 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과 제공 기법 KR101820256B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/551,236 US8335784B2 (en) 2009-08-31 2009-08-31 Visual search and three-dimensional results
US12/551,236 2009-08-31
PCT/US2010/046398 WO2011025749A2 (en) 2009-08-31 2010-08-24 Visual search and three-dimensional results

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127005272A Division KR101691249B1 (ko) 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과를 제공하기 위한 컴퓨터 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160062182A KR20160062182A (ko) 2016-06-01
KR101820256B1 true KR101820256B1 (ko) 2018-01-18

Family

ID=43626366

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167012787A KR101820256B1 (ko) 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과 제공 기법
KR1020127005272A KR101691249B1 (ko) 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과를 제공하기 위한 컴퓨터 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127005272A KR101691249B1 (ko) 2009-08-31 2010-08-24 시각 검색 및 삼차원 결과를 제공하기 위한 컴퓨터 시스템 및 방법

Country Status (11)

Country Link
US (2) US8335784B2 (ko)
EP (1) EP2473934A4 (ko)
JP (1) JP5320509B2 (ko)
KR (2) KR101820256B1 (ko)
CN (1) CN102483760B (ko)
AU (1) AU2010286753B2 (ko)
BR (1) BR112012004517A2 (ko)
CA (1) CA2768966C (ko)
SG (2) SG10201404668VA (ko)
TW (1) TWI490714B (ko)
WO (1) WO2011025749A2 (ko)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8549407B2 (en) * 2007-12-05 2013-10-01 Ebay Inc. Multi-dimensional dynamic visual browsing
US20100100563A1 (en) * 2008-10-18 2010-04-22 Francisco Corella Method of computing a cooperative answer to a zero-result query through a high latency api
EP2341450A1 (en) * 2009-08-21 2011-07-06 Mikko Kalervo Väänänen Method and means for data searching and language translation
US9501519B1 (en) * 2009-12-14 2016-11-22 Amazon Technologies, Inc. Graphical item chooser
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US9792638B2 (en) * 2010-03-29 2017-10-17 Ebay Inc. Using silhouette images to reduce product selection error in an e-commerce environment
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US8266542B2 (en) * 2010-06-17 2012-09-11 Hewlett-Packard Development Company, L.P. Rendering and sorting book search results as three dimensional icons
US10284437B2 (en) 2010-09-30 2019-05-07 Efolder, Inc. Cloud-based virtual machines and offices
US9705730B1 (en) 2013-05-07 2017-07-11 Axcient, Inc. Cloud storage using Merkle trees
US8589350B1 (en) 2012-04-02 2013-11-19 Axcient, Inc. Systems, methods, and media for synthesizing views of file system backups
US9235474B1 (en) 2011-02-17 2016-01-12 Axcient, Inc. Systems and methods for maintaining a virtual failover volume of a target computing system
US8924360B1 (en) 2010-09-30 2014-12-30 Axcient, Inc. Systems and methods for restoring a file
US8954544B2 (en) 2010-09-30 2015-02-10 Axcient, Inc. Cloud-based virtual machines and offices
US9497084B2 (en) * 2011-02-28 2016-11-15 Ricoh Company, Ltd. Display filtering in device management system
US20120290985A1 (en) * 2011-05-11 2012-11-15 Barnes & Noble, Inc. System and method for presenting and interacting with eperiodical subscriptions
US9390137B2 (en) 2011-06-29 2016-07-12 Nokia Technologies Oy Method and apparatus for providing an ordering metric for a multi-dimensional contextual query
US8706860B2 (en) 2011-06-30 2014-04-22 Amazon Technologies, Inc. Remote browsing session management
US8577963B2 (en) 2011-06-30 2013-11-05 Amazon Technologies, Inc. Remote browsing session between client browser and network based browser
US8799412B2 (en) 2011-06-30 2014-08-05 Amazon Technologies, Inc. Remote browsing session management
US9621406B2 (en) 2011-06-30 2017-04-11 Amazon Technologies, Inc. Remote browsing session management
US9037696B2 (en) 2011-08-16 2015-05-19 Amazon Technologies, Inc. Managing information associated with network resources
US9195768B2 (en) 2011-08-26 2015-11-24 Amazon Technologies, Inc. Remote browsing session management
US10089403B1 (en) 2011-08-31 2018-10-02 Amazon Technologies, Inc. Managing network based storage
US9641637B1 (en) 2011-09-27 2017-05-02 Amazon Technologies, Inc. Network resource optimization
US8914514B1 (en) 2011-09-27 2014-12-16 Amazon Technologies, Inc. Managing network based content
US9178955B1 (en) 2011-09-27 2015-11-03 Amazon Technologies, Inc. Managing network based content
US8849802B2 (en) 2011-09-27 2014-09-30 Amazon Technologies, Inc. Historical browsing session management
US8589385B2 (en) 2011-09-27 2013-11-19 Amazon Technologies, Inc. Historical browsing session management
US9298843B1 (en) 2011-09-27 2016-03-29 Amazon Technologies, Inc. User agent information management
US10693991B1 (en) 2011-09-27 2020-06-23 Amazon Technologies, Inc. Remote browsing session management
US9383958B1 (en) 2011-09-27 2016-07-05 Amazon Technologies, Inc. Remote co-browsing session management
US9152970B1 (en) 2011-09-27 2015-10-06 Amazon Technologies, Inc. Remote co-browsing session management
US8615431B1 (en) 2011-09-29 2013-12-24 Amazon Technologies, Inc. Network content message placement management
US9313100B1 (en) 2011-11-14 2016-04-12 Amazon Technologies, Inc. Remote browsing session management
WO2013075316A1 (en) * 2011-11-24 2013-05-30 Microsoft Corporation Interactive multi-modal image search
US8972477B1 (en) 2011-12-01 2015-03-03 Amazon Technologies, Inc. Offline browsing session management
US9117002B1 (en) 2011-12-09 2015-08-25 Amazon Technologies, Inc. Remote browsing session management
US9009334B1 (en) 2011-12-09 2015-04-14 Amazon Technologies, Inc. Remote browsing session management
US9330188B1 (en) 2011-12-22 2016-05-03 Amazon Technologies, Inc. Shared browsing sessions
US8924890B2 (en) * 2012-01-10 2014-12-30 At&T Intellectual Property I, L.P. Dynamic glyph-based search
US8429163B1 (en) 2012-01-25 2013-04-23 Hewlett-Packard Development Company, L.P. Content similarity pyramid
US8627195B1 (en) 2012-01-26 2014-01-07 Amazon Technologies, Inc. Remote browsing and searching
US9336321B1 (en) 2012-01-26 2016-05-10 Amazon Technologies, Inc. Remote browsing and searching
US9087024B1 (en) 2012-01-26 2015-07-21 Amazon Technologies, Inc. Narration of network content
US9092405B1 (en) 2012-01-26 2015-07-28 Amazon Technologies, Inc. Remote browsing and searching
US9509783B1 (en) 2012-01-26 2016-11-29 Amazon Technlogogies, Inc. Customized browser images
US8839087B1 (en) 2012-01-26 2014-09-16 Amazon Technologies, Inc. Remote browsing and searching
US9183258B1 (en) 2012-02-10 2015-11-10 Amazon Technologies, Inc. Behavior based processing of content
US9037975B1 (en) 2012-02-10 2015-05-19 Amazon Technologies, Inc. Zooming interaction tracking and popularity determination
US9137210B1 (en) * 2012-02-21 2015-09-15 Amazon Technologies, Inc. Remote browsing session management
US8745058B1 (en) 2012-02-21 2014-06-03 Google Inc. Dynamic data item searching
US9208316B1 (en) 2012-02-27 2015-12-08 Amazon Technologies, Inc. Selective disabling of content portions
US10296558B1 (en) 2012-02-27 2019-05-21 Amazon Technologies, Inc. Remote generation of composite content pages
US9374244B1 (en) 2012-02-27 2016-06-21 Amazon Technologies, Inc. Remote browsing session management
US9460220B1 (en) 2012-03-26 2016-10-04 Amazon Technologies, Inc. Content selection based on target device characteristics
US9307004B1 (en) 2012-03-28 2016-04-05 Amazon Technologies, Inc. Prioritized content transmission
CN102693318B (zh) * 2012-05-30 2014-06-11 华为技术有限公司 一种报表查询方法及设备
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
US9025860B2 (en) * 2012-08-06 2015-05-05 Microsoft Technology Licensing, Llc Three-dimensional object browsing in documents
US9772979B1 (en) 2012-08-08 2017-09-26 Amazon Technologies, Inc. Reproducing user browsing sessions
US8943197B1 (en) 2012-08-16 2015-01-27 Amazon Technologies, Inc. Automated content update notification
US10102555B2 (en) * 2012-09-04 2018-10-16 Autotrader.Com, Inc. Systems and methods for facilitating the purchase of one or more vehicles
US11397462B2 (en) * 2012-09-28 2022-07-26 Sri International Real-time human-machine collaboration using big data driven augmented reality technologies
US9785647B1 (en) 2012-10-02 2017-10-10 Axcient, Inc. File system virtualization
US8793573B2 (en) * 2012-10-29 2014-07-29 Dropbox, Inc. Continuous content item view enhanced through smart loading
US20150286348A1 (en) * 2012-11-02 2015-10-08 Ge Intelligent Platforms, Inc. Apparatus and method for intelligent querying and filtering
US9852140B1 (en) 2012-11-07 2017-12-26 Axcient, Inc. Efficient file replication
US9418145B2 (en) * 2013-02-04 2016-08-16 TextWise Company, LLC Method and system for visualizing documents
US9397907B1 (en) 2013-03-07 2016-07-19 Axcient, Inc. Protection status determinations for computing devices
US9292153B1 (en) * 2013-03-07 2016-03-22 Axcient, Inc. Systems and methods for providing efficient and focused visualization of data
US8996511B2 (en) 2013-03-15 2015-03-31 Envizium, Inc. System, method, and computer product for providing search results in a hierarchical graphical format
US10152463B1 (en) 2013-06-13 2018-12-11 Amazon Technologies, Inc. System for profiling page browsing interactions
US9578137B1 (en) 2013-06-13 2017-02-21 Amazon Technologies, Inc. System for enhancing script execution performance
US20150066705A1 (en) * 2013-09-05 2015-03-05 David E. White Electronic search engine with enhanced functionalities of generating visual-only product/service-relevant search results configured for delivery of product/service- relevant information upon selection thereof, and mobile smart devices and methods of utilizing thereof online
US9417757B1 (en) * 2013-09-20 2016-08-16 Emc Corporation Scalable hierarchical user interface display
WO2015065402A1 (en) 2013-10-30 2015-05-07 Bodhi Technology Ventures Llc Displaying relevant use interface objects
KR101512084B1 (ko) * 2013-11-15 2015-04-17 한국과학기술원 가상현실 기반의 3차원 웹 검색 인터페이스를 제공하는 웹 검색 시스템 및 그 제공 방법
US10380204B1 (en) 2014-02-12 2019-08-13 Pinterest, Inc. Visual search
US20150268825A1 (en) * 2014-03-18 2015-09-24 Here Global B.V. Rendering of a media item
US10613828B2 (en) * 2014-04-15 2020-04-07 Google Llc Dynamic and personalized filtering of media content
KR102255087B1 (ko) 2014-05-19 2021-05-24 삼성전자주식회사 객체를 디스플레이하는 전자 장치 및 방법
US9635041B1 (en) 2014-06-16 2017-04-25 Amazon Technologies, Inc. Distributed split browser content inspection and analysis
EP3198473A1 (en) * 2014-09-22 2017-08-02 THOMSON Licensing Use of depth perception as indicator of search, user interest or preference
CN104750816A (zh) * 2015-03-30 2015-07-01 百度在线网络技术（北京）有限公司 信息搜索方法和信息搜索装置
US10417259B2 (en) * 2015-05-13 2019-09-17 International Business Machines Corporation Representing search results via a three-dimensional matrix
US10437423B2 (en) 2015-10-30 2019-10-08 Hyland Software, Inc. Methods and apparatuses for providing an infinitely scrolling accumulator
US10824638B2 (en) * 2016-03-25 2020-11-03 Microsoft Technology Licensing, Llc Enhancing object representations using inferred user intents
US10650475B2 (en) * 2016-05-20 2020-05-12 HomeAway.com, Inc. Hierarchical panel presentation responsive to incremental search interface
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10852926B2 (en) * 2017-05-23 2020-12-01 Salesforce.Com., Inc. Filter of data presentations via user-generated links
US11054971B2 (en) 2017-05-23 2021-07-06 Salesforce.Com., Inc. Modular runtime environment
CN107291340B (zh) * 2017-06-12 2020-10-09 北京小鸟看看科技有限公司 实现界面效果的方法、计算设备及存储介质
US10726095B1 (en) 2017-09-26 2020-07-28 Amazon Technologies, Inc. Network content layout using an intermediary system
US10664538B1 (en) 2017-09-26 2020-05-26 Amazon Technologies, Inc. Data security and data access auditing for network accessible content
US10523922B2 (en) * 2018-04-06 2019-12-31 Zspace, Inc. Identifying replacement 3D images for 2D images via ranking criteria
CN112204508A (zh) * 2018-06-03 2021-01-08 苹果公司 用于呈现合成现实用户界面的方法和设备
US11204682B1 (en) * 2018-10-29 2021-12-21 State Farm Mutual Automobile Insurance Company Dynamic data-driven consolidation of user interface interactions requesting roadside assistance
US10838611B1 (en) * 2019-05-03 2020-11-17 Google Llc Navigation system on the infinite scroll
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
CN112486127B (zh) * 2020-12-07 2021-12-21 北京达美盛软件股份有限公司 一种数字工厂的虚拟巡检系统
US20230409353A1 (en) * 2022-06-17 2023-12-21 OneTrust, LLC Dynamic generation of graphical user interfaces for retrieving data from multiple computing systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040216036A1 (en) 2002-09-13 2004-10-28 Yahoo! Inc. Browser user interface
US20070070066A1 (en) 2005-09-13 2007-03-29 Bakhash E E System and method for providing three-dimensional graphical user interface

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729673A (en) * 1995-04-07 1998-03-17 Avid Technology, Inc. Direct manipulation of two-dimensional moving picture streams in three-dimensional space
US5911139A (en) * 1996-03-29 1999-06-08 Virage, Inc. Visual image database search engine which allows for different schema
JP3586549B2 (ja) * 1997-12-08 2004-11-10 株式会社日立製作所 画像検索方法およびその装置
US6434556B1 (en) * 1999-04-16 2002-08-13 Board Of Trustees Of The University Of Illinois Visualization of Internet search information
US20030050927A1 (en) * 2001-09-07 2003-03-13 Araha, Inc. System and method for location, understanding and assimilation of digital documents through abstract indicia
US6505194B1 (en) * 2000-03-29 2003-01-07 Koninklijke Philips Electronics N.V. Search user interface with enhanced accessibility and ease-of-use features based on visual metaphors
US6567103B1 (en) * 2000-08-02 2003-05-20 Verity, Inc. Graphical search results system and method
JP2002183150A (ja) * 2000-12-13 2002-06-28 Nec Corp 位置関連情報提示システム及び位置関連情報提示方法並びにその制御プログラムを記録した記録媒体
US20020169759A1 (en) * 2001-05-14 2002-11-14 International Business Machines Corporation Method and apparatus for graphically formulating a search query and displaying result set
US7117453B2 (en) * 2003-01-21 2006-10-03 Microsoft Corporation Media frame object visualization system
US20040153445A1 (en) * 2003-02-04 2004-08-05 Horvitz Eric J. Systems and methods for constructing and using models of memorability in computing and communications applications
US7567972B2 (en) * 2003-05-08 2009-07-28 International Business Machines Corporation Method and system for data mining in high dimensional data spaces
US8555165B2 (en) * 2003-05-08 2013-10-08 Hillcrest Laboratories, Inc. Methods and systems for generating a zoomable graphical user interface
JP4341408B2 (ja) * 2004-01-15 2009-10-07 パナソニック株式会社 画像表示方法及び装置
CA2500573A1 (en) * 2005-03-14 2006-09-14 Oculus Info Inc. Advances in nspace - system and method for information analysis
US7984389B2 (en) * 2006-01-28 2011-07-19 Rowan University Information visualization system
JP4650293B2 (ja) * 2006-02-15 2011-03-16 富士フイルム株式会社 画像分類表示装置及び画像分類表示プログラム
KR100898454B1 (ko) 2006-09-27 2009-05-21 야후! 인크. 통합 검색 서비스 시스템 및 방법
US20080155426A1 (en) * 2006-12-21 2008-06-26 Microsoft Corporation Visualization and navigation of search results
US7437370B1 (en) * 2007-02-19 2008-10-14 Quintura, Inc. Search engine graphical interface using maps and images
US7941429B2 (en) * 2007-07-10 2011-05-10 Yahoo! Inc. Interface for visually searching and navigating objects
US20090083232A1 (en) * 2007-09-24 2009-03-26 Taptu Ltd. Search results with search query suggestions
US20090112800A1 (en) * 2007-10-26 2009-04-30 Athellina Rosina Ahmad Athsani System and method for visual contextual search
US8498627B2 (en) * 2011-09-15 2013-07-30 Digimarc Corporation Intuitive computing methods and systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040216036A1 (en) 2002-09-13 2004-10-28 Yahoo! Inc. Browser user interface
US20070070066A1 (en) 2005-09-13 2007-03-29 Bakhash E E System and method for providing three-dimensional graphical user interface

Also Published As

Publication number Publication date
AU2010286753A1 (en) 2012-02-16
KR20120073216A (ko) 2012-07-04
TWI490714B (zh) 2015-07-01
US20130091471A1 (en) 2013-04-11
CN102483760A (zh) 2012-05-30
WO2011025749A2 (en) 2011-03-03
US20110055203A1 (en) 2011-03-03
KR20160062182A (ko) 2016-06-01
SG177505A1 (en) 2012-02-28
EP2473934A4 (en) 2016-10-12
TW201112026A (en) 2011-04-01
JP2013503406A (ja) 2013-01-31
JP5320509B2 (ja) 2013-10-23
CA2768966C (en) 2017-09-26
BR112012004517A2 (pt) 2016-03-29
WO2011025749A3 (en) 2011-05-26
CA2768966A1 (en) 2011-03-03
SG10201404668VA (en) 2014-10-30
US8335784B2 (en) 2012-12-18
EP2473934A2 (en) 2012-07-11
AU2010286753B2 (en) 2015-01-22
CN102483760B (zh) 2014-09-24
KR101691249B1 (ko) 2017-01-09

Similar Documents

Publication Publication Date Title
KR101820256B1 (ko) 시각 검색 및 삼차원 결과 제공 기법
US7941429B2 (en) Interface for visually searching and navigating objects
US8996511B2 (en) System, method, and computer product for providing search results in a hierarchical graphical format
CA2907920C (en) Tagged search result maintenance
EP1045314A2 (en) Search engine user interface
US9558270B2 (en) Search result organizing based upon tagging
US20210042809A1 (en) System and method for intuitive content browsing
CN105723364B (zh) 从第一搜索结果环境转变到第二搜索结果环境
US9542495B2 (en) Targeted content provisioning based upon tagged search results
US9547713B2 (en) Search result tagging
US11170062B2 (en) Structured search via key-objects
JP2012048474A (ja) 情報処理装置、情報処理方法、及びプログラム
Wiza et al. A method of holistic 3d visualization of arbitrarily large datasets
Wiza Interactive 3D visualization of search results
WO2017123746A1 (en) System and method for intuitive content browsing

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right