KR20200073256A - 현실 세계 환경에서 객체의 특성에 기반한 3 차원 모델 데이터의 렌더링 - Google Patents

현실 세계 환경에서 객체의 특성에 기반한 3 차원 모델 데이터의 렌더링 Download PDF

Info

Publication number
KR20200073256A
KR20200073256A KR1020207013835A KR20207013835A KR20200073256A KR 20200073256 A KR20200073256 A KR 20200073256A KR 1020207013835 A KR1020207013835 A KR 1020207013835A KR 20207013835 A KR20207013835 A KR 20207013835A KR 20200073256 A KR20200073256 A KR 20200073256A
Authority
KR
South Korea
Prior art keywords
item
user
real
environment
items
Prior art date
Application number
KR1020207013835A
Other languages
English (en)
Other versions
KR102447411B1 (ko
Inventor
스티브 얀코비치
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Publication of KR20200073256A publication Critical patent/KR20200073256A/ko
Application granted granted Critical
Publication of KR102447411B1 publication Critical patent/KR102447411B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0267—Wireless devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0611—Request for offers or quotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0627—Directed, with specific intent or strategy using item specifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시된 기술은 사용자가 웨어러블 디바이스를 착용할 때 현실 세계 환경 내에서 관련 3 차원("3D") 모델 데이터를 디스플레이할 기회를 식별한다. 3D 모델 데이터는 객체 또는 아이템과 연관될 수 있고, 디스플레이를 위해 렌더링된 3D 모델 데이터는, 아이템이 사용자에게 관심 대상이 되는 것으로 결정되고 아이템이 사용자가 현재 위치하고 있는 현실 세계 환경에 적합하다는 의미에서 관련성이 있다. 예를 들어, 본원에 설명된 기술은 사용자 집의 부엌 또는 식사실, 사용자 작업 장소의 사무 공간 등에서 일반적으로 발견되는 아이템을 인식할 수 있다. 인식된 아이템들의 특성은 식별되고 이어서 사용자의 선호 특성을 결정하기 위해 함께 분석될 수 있다. 이러한 방식으로, 본 개시된 기술은 사용자의 선호 특성과 상관되는(예컨대, 매칭되는) 아이템을 검색 및 디스플레이할 수 있다.

Description

현실 세계 환경에서 객체의 특성에 기반한 3 차원 모델 데이터의 렌더링
통상적으로, 사용자는 2 차원(two-dimensional)("2D") 환경의 디스플레이 스크린 상에서 웹 사이트를 통해 관심 객체 또는 아이템을 볼 수 있다. 예를 들어, 사용자는 아이템에 관한 정보를 조사중일 수 있거나, 심지어는 아이템을 획득하는 데 관심이 있을 수 있다. 이러한 타입의 시나리오에서, 사용자 경험은 온라인 경험으로 제한될 가능성이 매우 높다.
웨어러블 디바이스는 증강 현실(augmented reality)(AR) 환경에서 사용자에게 가상 컨텐츠를 디스플레이할 수 있다. 웨어러블 디바이스의 사용이 보다 보편화됨에 따라, 사용자에게 관심 대상이 될 뿐만 아니라 사용자가 현재 위치하고 있는 몰입형 현실 세계 환경에 "적합한" 가상 컨텐츠를 효율적으로 디스플레이하는 것이 어려워졌다.
결과적으로, 사용자는 사용자에게 관심 대상이 될 뿐만 아니라 사용자가 현재 위치하고 있는 몰입형 현실 세계 환경에 적합한 아이템을 찾기 위해 상이한 아이템의 3 차원("3D") 모델을 보는 데 상당한 시간을 소비할 수 있다. 이는 프로세싱 사이클, 메모리, 및 네트워크 대역폭과 같은 컴퓨팅 리소스를 불필요하게 이용할 수 있다. 더욱이, 이것은 몰입형 현실 세계 환경으로 상이한 아이템의 3D 모델을 렌더링하는 웨어러블 디바이스에 대해 부주의하거나 부정확한 사용자 입력을 초래할 수도 있으며, 이는 또한 프로세싱 사이클, 메모리, 및 네트워크 대역폭과 같은 컴퓨팅 리소스를 불필요하게 이용할 수 있다.
이들 및 다른 기술적 과제와 관련하여 본원에서 수행된 개시 내용이 제시된다.
본원에서 설명된 기술은 사용자가 웨어러블 디바이스를 착용할 때 몰입형 현실 세계 환경 내에서 관련 3 차원("3D") 모델 데이터를 렌더링하고 디스플레이할 기회를 식별한다. 3D 모델 데이터는 객체 또는 아이템과 연관될 수 있고, 디스플레이를 위해 렌더링된 3D 모델 데이터는, 아이템이 사용자에게 관심 대상이 되는 것으로 결정되고 아이템이 사용자가 현재 위치하고 있는 몰입형 현실 세계 환경에 적합하다는 의미에서 관련성이 있다. 위에서 간략하게 설명된 기술적 문제 및 잠재적인 다른 문제를 해결하기 위해, 개시된 기술은 사용자가 현재 위치하고 있는 몰입형 현실 세계 환경에 존재하는 물리적 아이템을 인식할 수 있다. 예를 들어, 본원에 설명된 기술은 사용자 집의 부엌, 사용자 집의 식사실, 사용자 작업 장소의 사무 공간 등에서 일반적으로 발견되는 공통 아이템을 인식할 수 있다.
현실 세계 환경에 존재하는 아이템 세트의 특성은 식별되고 이어서 사용자의 선호 특성을 결정하기 위해 함께 분석될 수 있다. 사용자는 웨어러블 디바이스를 착용한 사람 및/또는 현실 세계 환경(예컨대, 자녀의 침실, 어머니의 사무실, 아버지의 작업장 등)을 소유하고 있는 사람일 수 있다. 이러한 방식으로, 개시된 기술은 사용자의 선호 특성과 상관되는(예컨대, 매칭되는) 아이템을 디스플레이하기 위해 검색 및 렌더링할 수 있다.
일 예에서, 특성의 분석은 "고가" 가격 카테고리(예컨대, 사용자가 아이템을 구매할 때 평균 가격에 비해 실질적으로 더 많은 금액을 소비함), "적정가" 가격 카테고리(예컨대, 사용자가 아이템을 구매할 때 평균 가격에 가까운 가격 범위 내에 있는 금액을 소비함), "저가" 가격 카테고리(예컨대, 사용자가 아이템을 구매할 때 평균 가격에 비해 실질적으로 적은 금액을 소비함) 등과 같은 가격 카테고리와 관련한 사용자 선호도를 나타낼 수 있다.
다른 예에서, 특성의 분석은 "대형" 사이즈 카테고리(예컨대, 기존 아이템의 사이즈가 평균 사이즈보다 현저히 큼), "중형" 사이즈 카테고리(예컨대, 기존 아이템의 사이즈가 평균 사이즈와 같거나 근접함), "소형" 사이즈 카테고리(예컨대, 기존 아이템의 사이즈가 평균 사이즈보다 현저히 작음) 등과 같은 사이즈 카테고리와 관련한 사용자 선호도를 나타낼 수 있다.
다른 예에서, 특성의 분석은 특정 브랜드의 아이템 및/또는 특정 컬러의 아이템과 관련한 사용자 선호도를 나타낼 수 있다. "브랜드"는 제조업체 또는 생산자의 이름, 모델의 이름, 디자인, 심볼, 또는 다른 인식 가능하거나 식별 가능한 특징을 포함할 수 있으며, 이 특징은 아이템의 구매를 고려중인 고객을 위해 조직 또는 제품을 그의 라이벌로부터 구별한다. 또 다른 예에서, 기존 아이템의 특성은 현실 세계 환경에 대한 선호되는 장식 테마 또는 스타일(예컨대, 자녀 침실을 위한 스포츠 테마, 자녀 침실을 위한 발레리나 테마, 자녀 침실을 위한 카우보이 테마 등)을 나타낼 수 있다.
스캔된 현실 세계 환경에 대한 사용자 선호도가 결정되면, 현실 세계 환경에 대한 선호 아이템 특성과 상관(예컨대, 매칭)되는 특성을 갖는 가상 아이템이 검색되어 현실 세계 환경에서의 디스플레이를 위해 렌더링될 수 있다. 결과적으로, 가상 아이템은 그 환경에 이미 존재하는 물리적 아이템을 보완하는 것이며, 현실 세계 환경과 호환 가능하고 그에 "적합한" 아이템을 보고 및/또는 구매하기 위한 마찰없는 접근법이 실현될 수 있다.
본원에 개시된 기술의 양태는 AR 디바이스와 같은 웨어러블 디바이스에 의해 구현될 수 있다. 예를 들어, 그러한 디바이스의 사용자는 추천 아이템의 3D 모델 데이터의 렌더링을 가능하게 하는 모드에 진입하거나 이를 활성화하기 위한 관심을 나타내는 입력을 제공할 수 있다. 따라서, 웨어러블 디바이스는 시스템과 통신하여 특정 현실 세계 환경에 이미 물리적으로 존재하는 기존 아이템의 특성에 기반하여 아이템을 사용자에게 추천하고 디스플레이할 수 있다. 웨어러블 디바이스는 현실 세계 환경을 스캔하여 기존 아이템을 인식하고 기존 아이템을 분석함으로써 아이템 특성에 대한 사용자 선호도를 결정하도록 구성될 수 있다.
다양한 실시예에서, 스캔은 특정 아이템에 대한 사용자 관심을 명시적으로 표현하는 사용자 입력에 응답하여 구현될 수 있다. 예를 들어, 웨어러블 디바이스를 착용한 사용자는 현실 세계 환경(예컨대, 부엌)에 들어갈 수 있고, 웨어러블 디바이스가 특정 아이템(예컨대, 토스터)을 디스플레이하도록 청각적으로 요청할 수 있다. 사용자 입력에 기반하여, 웨어러블 디바이스는 현실 세계 환경을 스캔하고, 현실 세계 환경에서 기존 아이템에 대한 데이터를 수집하고, 사용자로부터 요구되는 임의의 추가 입력 없이도 기존 아이템의 특성을 식별하고, 및/또는 식별된 특성의 분석에 기반하여 선호 특성을 결정할 수 있다.
추가적인 실시예에서, 스캔은 하나 이상의 아이템에 대한 일반적인 요청에 해당하는 사용자 입력에 응답하여 구현될 수 있다. 일반적인 요청은 특정 아이템을 식별할 수는 없지만, 오히려 현실 세계 환경 내에 디스플레이될 아이템 추천에 대한 이벤트 또는 이유를 제시할 수 있다. 예를 들어, 부모는 자녀의 침실에 들어가서 웨어러블 디바이스에게 자녀의 다가오는 생일을 위한 선물을 추천해 줄 것을 요청할 수 있다. 일반적인 입력에 기반하여, 웨어러블 디바이스는 현실 세계 환경을 스캔하고, 현실 세계 환경에서 기존 아이템에 대한 데이터를 수집하고, 사용자로부터 요구되는 임의의 추가 입력 없이도 기존 아이템의 특성을 식별하고, 및/또는 식별된 특성의 분석에 기반하여 선호 특성을 결정할 수 있다.
개시된 기술의 구현을 통해, 사용자에게 관심 대상이 되고 특정 현실 세계 환경(예컨대, 집 내의 침실, 사무실 스위트 내의 사무실 등)에 적합한 아이템의 3D 모델이 상이한 AR 환경들 내에서 렌더링될 수 있다. 개시된 기술은 사용자에게 특정 관심 대상이 되는 컨텐츠를 디스플레이할 관련 기회를 식별함으로써 사용자 경험을 개선시킨다. 이러한 방식으로, 개시된 기술은 인간-컴퓨터 상호 작용을 개선함으로써 그리고 이전 솔루션에 의해 요구되는 프로세싱 사이클 및 스토리지의 양을 감소시킴으로써 다른 방식으로 소비 및/또는 이용될 수 있을 다양한 컴퓨팅 리소스에 대한 컴퓨팅 효율을 실질적으로 개선시킨다. 본원에 구체적으로 식별된 것 이외의 기술적 이점은 또한 개시된 기술의 구현을 통해 실현될 수 있다.
전술한 발명의 대상은 컴퓨터로 제어되는 장치, 컴퓨터로 구현되는 방법, 컴퓨팅 디바이스, 또는 컴퓨터 판독 가능 매체와 같은 제조 물품으로서 구현될 수 있음을 이해해야 한다. 이들 및 다양한 다른 특징은 다음의 상세한 설명을 읽고 관련 도면을 검토함으로써 명백해질 것이다.
본 개요는 개념의 선택을 단순화된 형태로 소개하기 위해 제공되며, 그 개념은 아래의 상세한 설명에서 추가로 기술된다. 이 개요는 청구된 발명의 대상의 핵심 특징 또는 필수 특징을 식별하기 위한 것도 아니고 청구된 발명의 대상의 범위를 제한하는 데 사용되는 것도 아니다. 또한, 청구된 발명의 대상은 본 개시 내용의 임의의 부분에서 언급된 임의의 또는 모든 단점을 해결하는 구현예로 제한되지는 않는다.
상세한 설명은 첨부된 도면을 참조하여 기술된다. 도면에서, 참조 번호의 가장 좌측의 숫자(들)는 참조 번호가 처음 나타나는 도면을 식별한다. 상이한 도면들에서 동일한 참조 번호는 유사하거나 동일한 아이템을 나타낸다.
도 1은 사용자가 위치하고 있는 현실 세계 환경에 이미 존재하는 아이템의 특성에 기반하여, 시스템이 아이템의 3D 모델이 디스플레이를 위해 렌더링될 수 있게 하는 예시적인 컴퓨팅 환경의 양태를 예시하고 있다.
도 2는 사용자의 웨어러블 디바이스를 통해 디스플레이될 아이템을 식별하는 데 사용되는 선호 특성의 예를 예시하고 있다.
도 3a는 사용자가 기존 아이템을 인식하고 및/또는 기존 아이템의 특성을 결정하도록 구성된 웨어러블 디바이스를 착용하면서 현실 세계 환경(예컨대, 부엌)의 일부를 주시하고 있는 일 예를 예시하고 있다.
도 3b는 아이템 특성과 관련한 사용자 선호도에 기반하여 추천 아이템이 디스플레이를 위해 렌더링되는 방법의 일 예를 예시하고 있다.
도 4는 사용자가 위치하고 있는 현실 세계 환경에 이미 존재하는 아이템의 특성에 기반하여, 시스템이 아이템의 3D 모델이 디스플레이를 위해 렌더링될 수 있게 하는 다른 예시적인 컴퓨팅 환경의 양태를 예시하고 있다.
도 5는 사용자가 위치하고 있는 현실 세계 환경에 이미 존재하는 아이템의 특성에 기반하여, 시스템이 아이템의 3D 모델이 디스플레이를 위해 렌더링될 수 있게 하는 또 다른 예시적인 컴퓨팅 환경의 양태를 예시하고 있다.
도 6은, 사용자가, 기존 아이템을 인식하고, 기존 아이템의 특성을 결정하고, 그리고 오래된 아이템의 예상 수명이 거의 종료되어 가므로 그 오래된 아이템을 새로운 아이템으로 대체되는 것을 추천하도록 구성된 웨어러블 디바이스를 착용하면서 현실 세계 환경(예컨대, 부엌)의 일부를 주시하고 있는 다른 예를 예시하고 있다.
도 7은 현실 세계 환경에 존재하는 객체를 인식하기 위해 본원에 개시된 기술의 양태를 설명하는 예시적인 프로세스를 예시하는 흐름도이다.
도 8은 인식된 객체에 기반하여 사용자의 선호 특성을 결정하기 위해 본원에 개시된 기술의 양태를 설명하는 예시적인 프로세스를 예시하는 흐름도이다.
도 9는 본원에 개시된 기술의 양태를 구현할 수 있는 웨어러블 디바이스의 예시적인 구성을 도시한다.
도 10은 본원에 설명된 기술의 양태를 구현할 수 있는 컴퓨터에 대한 예시적인 컴퓨터 아키텍처의 추가 세부 사항을 예시하고 있다.
본 상세한 설명은 사용자가 웨어러블 디바이스를 착용할 때 몰입형 현실 세계 환경 내에서 관련 3 차원("3D") 모델 데이터를 렌더링하고 디스플레이할 기회를 식별하는 것을 기술하고 있다. 3D 모델 데이터는 객체 또는 아이템과 연관될 수 있고, 디스플레이를 위해 렌더링된 3D 모델 데이터는, 아이템이 사용자에게 관심 대상이 되는 것으로 결정되고 아이템이 사용자가 현재 위치하고 있는 몰입형 현실 세계 환경에 적합하다는 의미에서 관련성이 있다.
예를 들어, 본원에 설명된 기술은 사용자 집의 부엌, 사용자 집의 식사실, 사용자 작업 장소의 사무 공간 등에서 일반적으로 발견되는 아이템을 인식할 수 있다. 인식된 아이템들의 특성은 식별되고 이어서 사용자의 선호 특성을 결정하기 위해 함께 분석될 수 있다. 사용자는 웨어러블 디바이스를 착용한 사람 및/또는 현실 세계 환경(예컨대, 자녀의 침실, 어머니의 사무실, 아버지의 작업장 등)을 소유하고 있는 사람일 수 있다. 이러한 방식으로, 개시된 기술은 사용자의 선호 특성과 상관되는(예컨대, 매칭되는) 아이템을 디스플레이하기 위해 검색 및 렌더링할 수 있다.
이제 도면을 참조하여, 사용자를 위한 아이템의 3D 모델을 효율적으로 렌더링하는 기술이 설명될 것이다.
도 1은 사용자가 위치하고 있는 현실 세계 환경에 이미 존재하는 아이템의 특성에 기반하여, 시스템이 아이템의 3D 모델이 디스플레이를 위해 렌더링될 수 있게 하는 예시적인 컴퓨팅 환경(100)의 양태를 예시하고 있다. 예시된 바와 같이, 예시적인 시스템은 사용자 및/또는 판매자가 판매를 위해 현실 세계 아이템을 리스팅할 수 있는 아이템 카탈로그(104)를 포함하는 전자 상거래("e-commerce") 시스템(102)을 포함할 수 있다. 현실 세계 아이템은 전자 장치, 가정 용품, 자동차 또는 자동차 부품, 의류, 악기, 예술품, 보석 등을 포함하지만 이에 제한되지 않는 임의의 타입의 아이템일 수 있다. 다양한 예에서, 전자 상거래 시스템(102)은 전자 상거래 사이트와 함께 동작하는 하나 이상의 서버 컴퓨터 상에서 구현될 수 있다.
사용자(106)는 도 9와 관련하여 아래에 더 상세히 설명되는 것과 같은 웨어러블 디바이스(108)를 이용하여, 사용자(106)가 현재 위치하고 있는 현실 세계 환경의 이미지 데이터(110)를 획득할 수 있다. 예를 들어, 웨어러블 디바이스(108)는 사용자(106)의 현실 세계 환경을 스캔하여 이미지 데이터(110)를 획득(예컨대, 현실 세계 환경 내의 객체를 인식)하도록 구성된 광학 디바이스를 포함할 수 있다. 다양한 예에서, 현실 세계 환경의 이미지 데이터(110)는 현실 세계 환경에 물리적으로 존재하는 인식 가능한 기존 아이템(112)을 포함한다.
사용자(106)가 현실 세계 환경에 있는 동안, 사용자는 특정 아이템(114)의 가상 표현을 보라는 요청에 해당하는 입력(예컨대, 음성 커맨드, 검색 필드의 텍스트 입력, 메뉴 옵션 선택 등)을 제공할 수 있다. 예를 들어, 사용자(106)는 자신의 부엌으로 걸어 가서, 해당 웨어러블 디바이스(108)에게 새로운 토스터를 디스플레이하도록 요청할 수 있다. 요청에 기반하여, 웨어러블 디바이스(108)는 현실 세계 환경을 스캔하고, 기존 아이템(112)을 인식하고, 기존 아이템(112)과 연관된 특성(116)을 식별하고, 그리고 네트워크(들)(118)를 통해 특성(116)을 전자 상거래 시스템(102)에 전송할 수 있다. 예를 들어, 특성(112)은 아이템의 가격, 아이템의 사이즈, 아이템의 브랜드, 아이템의 컬러, 아이템 그룹의 장식 테마 등을 포함할 수 있다. "브랜드"는 제조업체 또는 생산자의 이름, 모델의 이름, 디자인, 심볼, 또는 다른 인식 가능하거나 식별 가능한 특징을 포함할 수 있으며, 이 특징은 아이템의 구매를 고려중인 고객을 위해 조직 또는 제품을 그의 라이벌로부터 구별한다.
일부 실시예에서, 웨어러블 디바이스(108)는 이미지 데이터(110)를 전자 상거래 시스템(102)으로 전송할 수 있고, 전자 상거래 시스템(102)은 기존 아이템(112)을 인식하고 기존 아이템(112)과 연관된 특성(116)을 식별할 수 있다. 예를 들어, 전자 상거래 시스템(102)은 아이템 카탈로그를 통해 특정 아이템의 가격을 조회할 수 있다.
이미지 데이터(110) 및/또는 특성(116)을 수신하면, 전자 상거래 시스템(102)은 선호 특성 결정 툴(120)(예컨대, 소프트웨어 컴포넌트 또는 모듈)을 이용하여 현실 세계 환경에 대한 선호 특성(122)을 결정할 수 있다. 현실 세계 환경이 가정의 특정 침실이라면, 선호도는 사용자(106) 또는 가정에서 침실을 일반적으로 점유하는 다른 사용자의 선호도일 수 있다. 예를 들어, 사용자(106)는 웨어러블 디바이스(108)를 사용하여 자녀의 침실을 스캔하는 어머니 또는 아버지일 수 있다.
기존 아이템(112)의 특성(116)의 분석에 기반하여, 선호 특성 결정 툴(120)은 부엌에서 부엌 아이템(예컨대, 가전제품)의 특정 브랜드(예컨대, BOSCH, KITCHENAID 등)에 대한 사용자 선호도를 결정할 수 있다. 다른 예에서, 기존 아이템(112)의 특성(116)의 분석에 기반하여, 선호 특성 결정 툴(120)은 부엌 내의 부엌 아이템에 대해 특정 가격 카테고리 내에서 금액을 소비하는 사용자 선호도를 결정할 수 있다. 또 다른 예에서, 기존 아이템(112)의 특성(116)의 분석에 기반하여, 선호 특성 결정 툴(120)은 부엌 내의 부엌의 아이템의 특정 컬러 또는 컬러 체계(예컨대, 백색, 스테인레스 스틸 등)에 대한 사용자 선호도를 결정할 수 있다. 또 다른 예에서, 기존 아이템(112)의 특성(116)의 분석에 기반하여, 선호 특성 결정 툴(120)은 부엌 내의 부엌 아이템의 특정 사이즈에 대한 사용자 선호도를 결정할 수 있다.
다양한 실시예에서, 선호 특성(122)은 평균에 대해 결정될 수 있다. 결과적으로, 일부 경우에, 선호 특성(122)은 기존 아이템의 연관된 특성(116)이 매핑되는 카테고리를 포함할 수 있다. 예를 들어, 선호 가격 특성(122)은 "고가" 가격 카테고리(예컨대, 사용자가 아이템을 구매할 때 평균 가격에 비해 실질적으로 더 많은 금액을 소비함), "적정가" 가격 카테고리(예컨대, 사용자가 아이템을 구매할 때 평균 가격에 가까운 가격 범위 내에 있는 금액을 소비함), "저가" 가격 카테고리(예컨대, 사용자가 아이템을 구매할 때 평균 가격에 비해 실질적으로 적은 금액을 소비함) 등과 같은 가격 카테고리를 포함할 수 있다. 다른 예에서, 선호 사이즈 특성(122)은 "대형" 사이즈 카테고리(예컨대, 기존 아이템의 사이즈가 평균 사이즈보다 현저히 큼), "중형" 사이즈 카테고리(예컨대, 기존 아이템의 사이즈가 평균 사이즈와 같거나 근접함), "소형" 사이즈 카테고리(예컨대, 기존 아이템의 사이즈가 평균 사이즈보다 현저히 작음) 등과 같은 사이즈 카테고리를 포함할 수 있다.
전자 상거래 시스템(102)은 그 후 아이템 상관 툴(124)을 사용하여 아이템 카탈로그(104) 내에서 선호 특성(122)과 상관되는(예컨대, 매칭되는) 아이템(예컨대, 구매 가능한 아이템)을 식별하며, 이 아이템은 사용자(106)에 의해 구체적으로 요청된 타입(예컨대, 부엌을 위한 토스터)이다. 즉, 아이템 상관 툴(124)은, 요청된 타입이고 특정 가격 카테고리 및/또는 특정 사이즈 카테고리에 속하는 아이템을 식별할 수 있다. 또한, 아이템은 부엌의 선호 브랜드, 선호 컬러 및/또는 장식 테마와 연관될 수 있다.
따라서, 전자 상거래 시스템(102)은 식별된 아이템에 대한 3D 모델 데이터(126)를 검색하고 3D 모델 데이터(126)가 사용자(106)의 웨어러블 디바이스(108)를 통해 디스플레이를 위해 렌더링되도록 구성된다. 즉, 전자 상거래 시스템(102)은 3D 모델 데이터(126)를 웨어러블 디바이스(108)에 송신하며, 그에 따라 웨어러블 디바이스(108)는 사용자(106)의 현실 세계 환경(130)의 뷰(view)에서, 3D 모델 데이터를 사용하여, 아이템(128)의 렌더링을 디스플레이할 수 있게 된다. 결과적으로, 특정 아이템(114)의 가상 표현을 보라는 요청에 응답하여, 사용자(106)에게는 현실 세계 환경 내에 이미 물리적으로 존재하는 기존 아이템(112)의 특성(116)과 상관(예컨대, 매칭)되는 특성을 갖는 추천 아이템이 제공된다. 이는 사용자(106)가 아이템 카탈로그(104)를 통해 아이템을 구매하기 전에 추천 아이템이 현실 세계 환경에 얼마나 적합한지를 미리 볼 수 있게 한다.
일부 실시예에서, 아이템 메타 데이터는 아이템(128)의 렌더링과 함께 디스플레이될 수 있다. 예를 들어, 아이템 메타 데이터는 아이템의 이름, 아이템의 설명(예컨대, 제조업체, 모델, 사이즈 등), 아이템의 가격 등을 포함할 수 있지만, 이에 제한되지는 않는다.
웨어러블 디바이스(108)의 일 예는 증강 현실(augmented reality)("AR") 디바이스를 포함할 수 있다. AR 디바이스는 물리적 객체가 컴퓨터로 생성되는(computer-generated)("CG") 감지성 입력(예컨대, 사운드, 비디오, 그래픽 등)에 의해 증강되거나 보완되는 현실 세계 환경(130)의 뷰를 제공할 수 있는 컴퓨팅 디바이스이다. 예를 들어, AR 디바이스는 오버레이로서의 아이템(128)의 렌더링과 함께 현실 세계 환경(130)의 뷰를 제공할 수 있으며, 그에 따라 그 아이템은 현실 세계 환경(130)의 뷰에 존재하는 것처럼 보이게 된다. 이 기능을 제공할 수 있는 웨어러블 디바이스(108)의 구성 및 동작에 관한 추가 세부 사항은 도 9와 관련하여 아래에 제공된다. 이와 관련하여, 3D 모델 데이터를 사용하여 웨어러블 디바이스(108)에 의해 아이템(128)을 렌더링하는 것은 AR 환경뿐만 아니라 믹싱된 현실(mixed reality)("MR") 환경 또는 가상 현실(virtual reality)("VR") 환경과 같은 다른 타입의 환경에서 아이템의 가상 표현을 디스플레이하는 것을 포함한다는 것을 이해해야 한다. 본원에 개시된 구성은 AR 디바이스와 함께 사용되는 것으로 제한되지 않음을 또한 이해해야 한다. 오히려, 본원에 개시된 기술은 아이템(128)의 렌더링을 포함하는 현실 세계 환경(130)의 뷰를 제공할 수 있는 임의의 타입의 컴퓨팅 장치와 함께 이용될 수 있다.
본원에 설명된 기술은 다양한 상이한 운영 체제, 하드웨어 컴포넌트 및/또는 설치된 애플리케이션으로 구성된 다양한 상이한 타입의 웨어러블 디바이스(108) 상에서 구현될 수 있음을 추가로 이해해야 한다. 다양한 구성에서, 예를 들어, 웨어러블 디바이스(108)는 이하의 예시적인 웨어러블 디바이스: 즉, GOOGLE GLASS, MAGIC LEAP ONE, MICROSOFT HOLOLENS, META 2, SONY SMART EYEGLASS, HTC VIVE, OCULUS GO, PLAYSTATION VR, 또는 WINDOWS 믹싱된 현실 헤드셋에 의해 구현될 수 있다. 따라서, 본 개시 내용의 실시예는 사용자의 현실 세계 객체, 예컨대, 실제 현실의 뷰를 방해하는 고글 또는 안경과는 상이한 임의의 AR 가능 디바이스에서 구현될 수 있다. 본원에 설명된 기술은 디바이스 및/또는 운영 체제에 아그노스틱(agnostic)일 수 있다.
도 2는 사용자의 웨어러블 디바이스를 통해 디스플레이될 가상 아이템을 식별하는 데 사용될 수 있는 예시적인 선호 특성(200)을 예시하고 있다. 전술한 바와 같이, 선호 특성 결정 툴(120)은 현실 세계 환경 내의 기존 아이템(112)의 특성(116)을 분석하여, 선호 특성(200)으로서 가격 카테고리(202)를 결정할 수 있다. 예를 들어, 선호도는 이하의 가격 카테고리: 즉, "고가" 가격 카테고리(202A), "적정가" 가격 카테고리(202B), 또는 "저가" 가격 카테고리(202C) 중 하나의 가격 카테고리에 매핑될 수 있다. 전자 상거래 시스템(102)은 아이템 카탈로그(104) 내의 아이템의 평균 가격에 기반하여 및/또는 외부 소스(예컨대, 제 3 자 소매 또는 전자 상거래 사이트)를 참조함으로써 카테고리를 수립할 수 있다.
또한, 전자 상거래 시스템(102)은 임계치를 사용하여 카테고리를 수립할 수 있다. 예를 들어, 고가의 가격 카테고리(202A)는 사용자가 일반적으로 평균 가격보다 높은 임계치 퍼센티지 초과분을 소비하는 것을 나타낼 수 있고(예컨대, 사용자는 명품을 좋아하므로 사용자는 일반적으로 평균 가격보다 높은 15 % 초과분을 소비하여 아이템을 구매함), 적정가의 가격 카테고리(202B)는 사용자가 일반적으로 평균 가격의 임계치 퍼센티지 내에서 소비하는 것을 나타낼 수 있고(예컨대, 사용자는 표준 아이템을 좋아하므로 사용자는 일반적으로 평균 가격의 15 % 이내의 금액을 소비하여 아이템을 구매함), 그리고 저가의 가격 카테고리(202C)는 사용자가 일반적으로 평균 가격보다 낮은 임계치 퍼센티지 초과분을 소비하는 것을 나타낼 수 있다(예컨대, 사용자는 할인 아이템을 좋아하므로 사용자는 일반적으로 평균 가격보다 낮은 15 % 초과분을 소비하여 아이템을 구매함). 일부 경우에, 임계치 퍼센티지는 환경의 타입(예컨대, 식사실, 자녀의 침실 등) 및/또는 아이템의 카테고리에 기반할 수 있다.
또한, 선호 특성 결정 툴(120)은 현실 세계 환경 내의 기존 아이템(112)의 특성(116)을 분석하여, 선호 특성(200)으로서 사이즈 카테고리(204)를 결정할 수 있다. 전자 상거래 시스템(102)은 아이템 카탈로그(104) 내의 아이템의 타입(예컨대, 토스터, 평면 스크린 텔레비전 등)에 대한 평균 사이즈에 기반하여 및/또는 외부 소스를 참조함으로써 카테고리를 수립할 수 있다. 예를 들어, 선호도는 이하의 사이즈 카테고리: 즉, 사용자가 평균 사이즈보다 큰 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 "대형" 사이즈 카테고리(204A)(예컨대, 기존 아이템의 사이즈는 일반적으로 평균 사이즈보다 적어도 10 % 더 큼), 사용자가 평균 사이즈의 임계치 퍼센티지 내에 있는 아이템을 선호하는 것을 나타내는 "중형" 사이즈 카테고리(204B)(예컨대, 기존 아이템의 사이즈는 일반적으로 평균 사이즈의 10 % 이내임), 또는 사용자가 평균 사이즈보다 작은 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 "소형" 사이즈 카테고리(204C)(예컨대, 기존 아이템의 사이즈는 일반적으로 평균 사이즈보다 적어도 10 % 더 작음) 중 하나의 사이즈 카테고리에 매핑될 수 있다.
또한, 선호 특성 결정 툴(120)은 현실 세계 환경 내의 기존 아이템(112)의 특성(116)을 분석하여, 선호 특성(200)으로서, 특정 브랜드(206)(예컨대, 로고, 아이콘, 형상 등과 같은 특정의 특징이 인식되어 브랜드 이름 및/또는 모델과 연관될 수 있음), 특정 컬러(208), 및/또는 특정 장식 테마 또는 스타일(210)(예컨대, 기존 아이템 중 다수는 스포츠와 관련되고, 기존 아이템의 다수는 소박한 것이고, 기존 아이템의 다수는 비행기 등과 관련이 있음)을 결정할 수 있다.
본 개시 내용의 맥락에서 사용자 선호도를 결정하고 사용자 선호도와 매칭되는 아이템 추천을 찾기 위해 다른 아이템 특성이 사용될 수 있다는 것이 이해된다. 또한, 전술한 카테고리의 이름 및 수는 예로서 제공된다. 본 개시 내용의 맥락에서, 특성은 3 개보다 많거나 적은 카테고리를 포함할 수 있고 개별 카테고리는 다르게 명명될 수 있음이 이해된다. 궁극적으로, 카테고리는 전자 상거래 시스템(102)에 의해 생성될 수 있고, 그에 따라, 기존 아이템의 특성이 사용자 선호도를 결정하는 데 사용될 수 있고, 그리고 사용자 선호도는 사용자가 관심을 가질 가능성이 있는 아이템을 식별하는 데 사용될 수 있다는 것이다. 전술한 바와 같이, 웨어러블 디바이스(108) 및/또는 전자 상거래 시스템(102)은 사용자(들)가 무엇을 선호하는지를 알 수 있게 만들어지고, 그리고 다시, 웨어러블 디바이스(108) 및/또는 전자 상거래 시스템(102)이 사용자가 좋아하는 것을 찾기 위해 다수의 아이템 추천을 더 이상 디스플레이할 필요가 없기 때문에, 이러한 기술은 컴퓨팅 리소스를 절감한다.
도 3a는 사용자(302)(예컨대, 사용자(106))가 기존 아이템을 인식하고 및/또는 기존 아이템의 특성을 결정하도록 구성된 웨어러블 디바이스(304)(예컨대, 웨어러블 디바이스(108))를 착용하면서 현실 세계 환경(예컨대, 부엌)의 일부를 주시하고 있는 일 예(300)를 예시하고 있다. 웨어러블 디바이스(304)를 통해 제공되는 부엌으로의 뷰는 사용자(302)의 관점에서 현실 세계 뷰를 포함한다. 도시된 바와 같이, 부엌은 부엌에 물리적으로 존재하는 기존 아이템인 커피 메이커(306) 및 전자 레인지(308)를 포함한다. 이 예(300)에서, 사용자(302)는 "내 부엌을 위한 토스터를 보여줘"라고 말하는 가청 커맨드와 같은 입력(310)을 제공할 수 있다. 이에 응답하여, 웨어러블 디바이스(304)는 부엌을 스캔하여, 커피 메이커(306) 및 전자 레인지(308)를 포함하는 기존 아이템뿐만 아니라 기존 아이템의 특성(예컨대, 사이즈, 컬러, 브랜드, 가격 등)을 인식하도록 구성될 수 있다. 웨어러블 디바이스(304)는 그 후 기존 아이템 및/또는 특성을 전자 상거래 시스템(102)에 송신할 수 있고, 그에 따라 그 특성은 사용자 선호도를 결정하는 데 사용될 수 있게 된다.
도 3b는 사용자 선호도에 기반하여 추천 아이템이 디스플레이를 위해 렌더링되는 방법의 일 예(312)를 예시하고 있다. 전술한 바와 같이, 네트워크(들)(118) 및 전자 상거래 시스템(102)을 통해, 아이템 카탈로그(104)는 사용자가 구매시에 관심을 가질 가능성이 있는 아이템을 식별하기 위해 액세스될 수 있다. 아이템은 사용자 선호도와 상관되는 특성(예컨대, 동일하거나 유사한 가격 카테고리, 동일하거나 유사한 사이즈 카테고리, 동일하거나 유사한 브랜드, 동일하거나 유사한 컬러, 장식 테마에 적합한 아이템 등)을 포함할 수 있다. 예(312)에서, 웨어러블 디바이스(304)는 커피 포트(306)와 전자 레인지(308) 사이의 부엌 카운터 상에 디스플레이하기 위해 토스터(314)를 가상으로 렌더링할 수 있다. 토스터(314)는 커피 포트(306) 및 전자 레인지(308)의 특성과 동일하거나 유사한 특성을 가질 수 있다. 또한, 토스터(314)에 대한 아이템 메타 데이터가 또한 디스플레이될 수 있다. 특정 예에서, 아이템 메타 데이터는 상이한 판매자들 및/또는 토스터(314)를 구매할 수 있는 사용자 및 가격을 포함할 수 있다(예컨대, 회사 ABC는 토스터를 $59에 판매하고, 벤더 XYZ는 토스터를 $55에 판매하고 있으며, 개인 사용자는 토스터를 $50에 판매하고 있다). 아이템 메타 데이터는 사용자가 토스터(314)의 판매자 중 하나를 선택하여 그 판매자의 아이템 프로파일 페이지로 이동하여 아이템을 직접 구매할 수 있도록 선택 가능할 수 있다.
도 4는 사용자가 위치하고 있는 현실 세계 환경에 이미 존재하는 아이템의 특성에 기반하여, 시스템이 아이템의 3D 모델이 디스플레이를 위해 렌더링될 수 있게 하는 다른 예시적인 컴퓨팅 환경(400)의 양태를 예시하고 있다. 도 4의 환경(400)은 도 1의 환경(100)과 유사하다. 그러나, 도 1의 환경(100)은 사용자(106)로부터 특정 아이템에 대한 요청을 수신하지만(예컨대, 요청은 사용자에게 관심 대상이 되는 아이템을 명확하게 식별함), 도 4의 환경(400)은 하나 이상의 아이템(402)에 대한 일반적인 요청을 사용자(106)로부터 수신한다.
일반적인 요청은 특정 아이템을 식별할 수는 없지만, 오히려 현실 세계 환경 내에 디스플레이될 아이템 추천에 대한 이벤트 또는 이유를 제시할 수 있다. 예를 들어, 부모는 자녀의 침실에 들어가서 웨어러블 디바이스(108)에게 자녀의 다가오는 생일을 위한 선물을 추천해 줄 것을 요청할 수 있다. 이에 응답하여, 웨어러블 디바이스(108)는 자녀의 침실을 스캔하여 기존 아이템(112)의 특성을 결정하고 그 특성(116)을 네트워크(들)(118)를 통해 전자 상거래 시스템(102)에 전송할 수 있다. 다른 예에서, 집 내의 거실을 보면서, 사용자는 아이템 추천에 대한 요청과 함께 테마 또는 스타일을 식별하는 입력을 제공할 수 있다. 보다 구체적으로, 사용자는 이벤트에 대해 가족 및 친구들을 접대하기를 원할 수 있고, 따라서 웨어러블 디바이스(108)가 이벤트(예컨대, 크리스마스, 추수 감사절, 생일 파티, 팀 A와 팀 B 사이의 큰 스포츠 게임 등)를 위해 아이템으로 거실을 가상으로 장식하도록 요청할 수 있다.
전술한 바와 같이, 하나 이상의 아이템(402)에 대한 일반적인 요청에 기반한 특성(116)을 수신하면, 전자 상거래 시스템(102)은 선호 특성 결정 툴(120)을 이용하여 현실 세계 환경에 대한 선호 특성(122)을 결정할 수 있다. 즉, 기존 아이템(112)의 특성(116)의 분석에 기반하여, 선호 특성 결정 툴(120)은 현실 세계 환경에 대한 선호되는 장식 테마 또는 스타일(예컨대, 자녀 침실을 위한 스포츠 테마, 자녀의 침실을 위한 발레리나 테마, 자녀의 침실을 위한 카우보이 테마 등), 아이템의 선호 브랜드(예컨대, 스포츠를 좋아하는 자녀는 NIKE보다 UNDER ARMOUR를 선호할 수 있음 등), 아이템에 대한 선호 가격 카테고리(예컨대, 집 거주자가 일반적으로 고가 또는 저가 아이템을 구매하는지), 아이템에 대해 선호되는 컬러 또는 컬러 체계, 아이템에 대한 선호 사이즈 등을 결정할 수 있다.
선호 특성(122)에 기반하여, 전자 상거래 시스템(102)은 사용자(106)로부터 수신된 일반적인 요청(402)을 만족시키는 하나 이상의 적절한 아이템(예컨대, 선호 특성(122)과 상관되고 사용자가 지정한 이벤트와 관련된 특성을 갖는 아이템)을 식별할 수 있다. 전자 상거래 시스템(102)은 그 후 아이템 카탈로그로부터 적절한 아이템(404)에 대한 3D 모델 데이터를 검색하고 적절한 아이템(404)에 대한 3D 모델 데이터를 웨어러블 디바이스(108)에 전송할 수 있고, 그에 따라 그 3D 모델 데이터는 적절한 아이템(406)의 렌더링(406)을 디스플레이하는 데 사용될 수 있다. 위에 제공된 예로 확장하여, 적절한 아이템은 기존 아이템을 보완하고 및/또는 자녀 침실의 장식 스타일 또는 테마에 적합한 자녀의 생일 선물일 수 있다. 더욱이, 다수의 적절한 아이템은 이벤트와 관련된 테마 또는 스타일을 반영하는 아이템이 거실에 어떻게 채워질 수 있는지를 사용자(106)에게 가상으로 나타낼 수 있다.
도 5는 사용자가 위치하고 있는 현실 세계 환경에 이미 존재하는 아이템의 특성에 기반하여, 시스템이 아이템의 3D 모델이 디스플레이를 위해 렌더링될 수 있게 하는 또 다른 예시적인 컴퓨팅 환경(500)의 양태를 예시하고 있다. 도 5의 환경(500)은 도 1의 환경(100)과 유사하다. 그러나, 도 5의 환경(500)은 사용자(106)로부터 아이템에 대한 어떠한 요청도 수신하지 않는다. 오히려, 도 5의 웨어러블 디바이스(108) 및/또는 전자 상거래 시스템(102)은 사용자(106) 또는 가정의 거주자(예컨대, 가족)에게 속하거나 소유되는 아이템의 재고(502)를 자동으로 그리고 지속적으로 생성 및 유지하도록 구성된다. 아이템의 재고(502)는 사용자(106)가 상주하거나 많은 시간을 소비하는 공간 내의 아이템(예컨대, 부엌 내의 가전 제품, 거실 내의 평면 스크린 텔레비전, 사무실 내의 프린터 등)의 현재 및/또는 영구 위치를 포함할 수 있다.
예를 들어, 사용자(106)가 웨어러블 디바이스(108)를 착용하면서 자신의 집을 돌아 다님에 따라, 웨어러블 디바이스(108)는 객체 인식을 수행하여 사용자(106)가 소유한 아이템을 식별할 수 있다. 웨어러블 디바이스(108)는 그 후 식별된 아이템이 재고(502)(예컨대, 가정 재고, 작업장 재고, 휴가지 재고 등)에 저장되게 할 수 있다. 경우에 따라, 개별 현실 세계 환경에 대해 개별 재고(예컨대, 거실, 차고, 부엌, 마스터 침실, 2 차 침실 등의 각각에 대한 재고)가 생성되고 유지 관리될 수 있다.
도 5의 예에서, 웨어러블 디바이스(108) 및/또는 전자 상거래 시스템(102)은 사용 가능한 정보를 사전에(proactively) 추적 및/또는 로그(log)하여 아이템이 교체되어야하는지를 결정하도록 구성된다. 이 정보는 아이템의 연령(예컨대, 아이템이 얼마나 오래되었는지), 아이템의 총 사용 횟수, 아이템의 사용 빈도, 및/또는 사용을 나타내는 다른 정보를 포함할 수 있다. 웨어러블 디바이스(108) 및/또는 전자 상거래 시스템(102)은 이 정보를 사용하여, 아이템이 파손되거나 고장 나기 전에 교체될 필요가 있는 아이템(504)을 결정할 수 있다. 따라서, 웨어러블 디바이스(108) 및/또는 전자 상거래 시스템(102)은 사용자(106)가 아이템(예컨대, 오래되거나 또는 초과 사용된 아이템)을 새로운 아이템으로 교체할 것을 추천하기 위한 적절한 시기를 식별할 수 있다.
일부 예에서, 웨어러블 디바이스(108) 및/또는 전자 상거래 시스템(102)은 아이템의 제조업자에 의해 제공되는 사용량 정보(예컨대, 5 년 또는 10 년과 같은 예상 수명, 100 회 사용 또는 1,000 회 사용과 같은 사용량)에 액세스하여, 아이템이 고장 및/또는 파손될 가능성이 있는 시점을 결정할 수 있다. 따라서, 웨어러블 디바이스(108) 및/또는 전자 상거래 시스템(102)은 아이템이 고장 및/또는 파손될 가능성이 있는 시점 이전에 또는 아이템이 예상 수명의 종료 시점에 근접할 때 아이템이 교체될 것을 추천할 수 있다.
웨어러블 디바이스(108) 및/또는 전자 상거래 시스템(102)은 그 후 선호 특성(122)을 사용하여, 오래된 아이템을 대체할 새로운 아이템을 식별할 수 있고 아이템 카탈로그로부터 새로운 아이템에 대한 3D 모델 데이터(506)를 검색할 수 있다. 새로운 아이템에 대한 3D 모델 데이터(506)를 전송할 때, 웨어러블 디바이스는 결국 3D 모델 데이터를 사용하여 현실 세계 환경(130)의 뷰에 새로운 아이템의 렌더링(508)을 디스플레이할 수 있다.
도 3a 및 도 3b의 예를 시작 포인트로 사용하여, 도 6은 사용자(302)가 기존 아이템을 인식하고 및/또는 기존 아이템의 특성을 결정하도록 구성된 웨어러블 디바이스(304)를 착용하면서 현실 세계 환경(예컨대, 부엌)의 일부를 주시하고 있는 다른 예(600)를 예시하고 있다. 이 예에서, 웨어러블 디바이스(304)는 기존 토스터(402)의 수명이 거의 종료 시점에 근접하고 있음을 결정하도록 구성되며, 따라서, 웨어러블 디바이스(304) 및/또는 전자 상거래 시스템(102)은 새로운 토스터(404)를 추천할 수 있다. 이러한 결정은 사용자로부터의 임의의 입력이 없이도 행해질 수 있다. 오히려, 웨어러블 디바이스(304)는 아이템의 사용량을 자동으로 추적할 수 있고 및/또는 그 사용량을 아이템의 재고에 로그할 수 있으며, 그에 따라, 오래된 토스터를 교체해야 할 시점에 새로운 토스터가 구매를 위해 추천될 수 있게 된다. 새로운 토스터(404)는 커피 포트(306) 및 전자 레인지(308)의 특성과 동일하거나 유사한 특성을 가질 수 있다.
웨어러블 디바이스(108) 상에 설명된 기술 중 일부를 구현하기 위해, 사용자는 특징을 가능하게 하고 및/또는 특정 동작 모드에 진입하도록 요구될 수 있다. 예를 들어, 사용자(106)는 설명된 기술을 구현하기 위해 웨어러블 디바이스(108)에 대한 허가 및/또는 승인을 제공할 필요가 있을 수 있다.
도 7 및 도 8은 각각 도 1 내지 도 6을 참조하여 본원에 제시된 기술의 양태를 설명하는 예시적인 프로세스를 각각 예시하는 흐름도이다. 프로세스는 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있는 동작들의 시퀀스를 나타내는 논리 흐름 그래프에서 블럭들의 집합체로서 예시된다. 소프트웨어의 맥락에서, 블럭들은 하나 이상의 프로세서에 의해 실행될 때, 언급된 동작들을 수행하는 컴퓨터 실행 가능 명령어를 나타낸다.
본원에 개시된 기술의 특정의 구현예는 웨어러블 디바이스와 같은 컴퓨팅 디바이스의 성능 및 다른 요건에 따른 선택의 문제가 된다. 따라서, 본원에 설명된 논리 동작은 상태, 동작, 구조적 디바이스, 행위, 또는 모듈로 다양하게 지칭될 수 있다. 이들 상태, 동작, 구조적 디바이스, 행위, 및 모듈은 하드웨어, 소프트웨어(즉, 컴퓨터 실행 가능 명령어), 펌웨어, 특수 목적 디지털 로직, 및 이들의 임의의 조합으로 구현될 수 있다. 일반적으로, 컴퓨터 실행 가능 명령어는 특정 기능을 수행하거나 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 도면에 도시되고 본원에 설명된 것보다 더 많거나 더 적은 동작이 수행될 수 있음을 이해해야 한다. 이들 동작은 또한 본원에 설명된 것과 다른 순서로 수행될 수 있다. 본 개시 내용 전반에 걸쳐 설명되는 다른 프로세스는 그에 따라 해석될 것이다.
도 7은 현실 세계 환경에 존재하는 객체를 인식하고 인식된 객체에 기반하여 사용자의 선호 특성을 결정하기 위해 본원에 개시된 기술의 양태를 설명하는 예시적인 프로세스(700)를 예시하는 흐름도이다.
프로세스(700)는 사용자 입력을 수신하는 블럭(702)에서 시작된다. 사용자 입력은 아이템을 디스플레이하기 위한 요청(예컨대, 특정 요청, 일반적인 요청 등)을 지정할 수 있다. 사용자 입력에 기반하여, 프로세스는 블럭(704)으로 진행하고, 여기서, 웨어러블 디바이스의 광학 디바이스는 현실 세계 환경을 스캔하여 이미지 데이터를 획득한다. 블럭(706)에서, 웨어러블 디바이스는 현실 세계 환경에 이미 존재하는 아이템을 인식할 수 있다. 프로세스(700)는 그 후 블럭(708)으로 진행하며, 여기서, 이미지 데이터 및/또는 인식된 아이템은 전자 상거래 시스템으로 전송된다. 블럭(710)에서, 요청된 아이템과 매칭되는 아이템의 3D 모델 데이터를 수신한다. 블럭(712)에서, 아이템의 렌더링은 3D 모델 데이터를 사용하여 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이된다.
도 8은 인식된 객체에 기반하여 사용자의 선호 특성을 결정하기 위해 본원에 개시된 기술의 양태를 설명하는 예시적인 프로세스(800)를 예시하는 흐름도이다.
프로세스(800)는 블럭(802)에서 시작되며, 여기서, 현실 세계 환경의 이미지 데이터 및/또는 현실 세계 환경에 존재하는 인식된 아이템이 사용자의 웨어러블 디바이스로부터 수신된다. 프로세스는 블럭(804)으로 진행하며, 여기서, 전자 상거래 시스템은 현실 세계 환경에 존재하는 현실 세계 아이템을 분석하여 현실 세계 환경에 대한 선호 특성을 결정한다. 블럭(806)에서, 아이템 카탈로그에 액세스하여, 선호 특성과 상관되는 특성을 갖는 아이템에 대한 3 차원 모델 데이터를 검색한다. 블럭(808)에서, 아이템의 렌더링이 사용자의 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이되게 한다. 예를 들어, 아이템의 3D 모델 데이터는 전자 상거래 시스템(102)으로부터 웨어러블 디바이스(108)로 송신된다.
도 9는 본원에 개시된 기술의 양태를 구현할 수 있는 웨어러블 디바이스(900)(예컨대, 헤드셋 시스템, 헤드 장착 디스플레이 등)의 예시적인 구성을 도시한다. 웨어러블 디바이스(900)는 컴퓨터로 생성되는(computer-generated)("CG") 이미지를 생성하기 위한 제 1 대역폭 및 물리적 객체를 추적하기 위한 제 2 대역폭을 모두 포함하는 전자기(electro-magnetic)("EM") 방사선을 생성하기 위한 조명 엔진(904)을 갖는 광학 시스템(902)을 포함한다. 제 1 대역폭은 EM 스펙트럼의 가시광 부분의 일부 또는 전부를 포함할 수 있는 반면, 제 2 대역폭은 원하는 추적 프로토콜을 구축하기에 적절한 EM 스펙트럼의 임의의 부분을 포함할 수 있다.
예시적인 구성에서, 광학 시스템(902)은 조명 엔진(904)으로부터 EM 방사선을 수신하고 EM 방사선(또는 그 개별 대역폭)을 하나 이상의 미리 결정된 광 경로를 따라 지향시키도록 위치된 광학 어셈블리(906)를 더 포함한다. 예를 들어, 조명 엔진(904)은 EM 방사선을 제 1 대역폭 및 제 2 대역폭 모두에 의해 공유되는 공통 광 경로를 따라 광학 어셈블리(906) 내로 방출할 수 있다. 광학 어셈블리(906)는 또한 (예컨대, 제 1 및 제 2 대역폭이 각각 상이한 이미지 생성 및 객체 추적 광 경로를 따라 전파되게 함으로써) 제 1 대역폭을 제 2 대역폭으로부터 분리하도록 구성된 하나 이상의 광학 컴포넌트를 포함할 수 있다.
광학 어셈블리(906)는 EM 방사선을 광학 어셈블리(906)의 하나 이상의 컴폰넌트에 대해 지향시키고, 그리고 보다 구체적으로, 제 1 대역폭을 이미지 생성 목적을 위해 지향시키고 제 2 대역폭을 객체 추적 목적을 위해 지향시키도록 구성되는 컴포넌트를 포함한다. 이 예에서, 광학 시스템(902)은 제 2 대역폭의 반사된 부분, 즉 현실 세계 환경 내에 존재하는 객체로부터 반사되는 제 2 대역폭의 일부에 응답하여 객체 데이터를 생성하는 센서(908)를 더 포함한다.
다양한 구성에서, 웨어러블 디바이스(900)는 광학 시스템(902)을 이용하여, 하나 이상의 CG 이미지, 및 객체를 포함하는 현실 세계 환경의 적어도 일부의 뷰를 모두 포함하는 (예컨대, 웨어러블 디바이스(900)를 착용하는 사용자(106)의 관점에서의) 합성 뷰(composite view)를 생성할 수 있다. 예를 들어, 광학 시스템(902)은, 예를 들어, AR 기술과 같은 다양한 기술을 이용하여, 현실 세계 뷰 위에 중첩된 CG 이미지를 포함하는 합성 뷰를 생성할 수 있다. 이와 같이, 광학 시스템(902)은 디스플레이 패널을 통해 CG 이미지를 생성하도록 구성될 수 있다. 디스플레이 패널은 별개의 우안 및 좌안 투명 디스플레이 패널을 포함할 수 있다.
대안적으로, 디스플레이 패널은 양 안으로 볼 수 있는 단일 투명 디스플레이 패널 및/또는 단 안으로만 볼 수 있는 단일 투명 디스플레이 패널을 포함할 수 있다. 따라서, 본원에 설명된 기술은 단안(single-eye) 근안 디스플레이(Near Eye Display)("NED") 시스템(예컨대, GOOGLE GLASS) 및/또는 양안(dual-eye) NED 시스템(예컨대, OCULUS RIFT) 내에 구축될 수 있음을 이해할 수 있다. 웨어러블 디바이스(900)는 컨텍스트를 제공하고 본원에 개시된 사용자 인터페이스 디스플레이 기술 및 시스템의 다양한 특징 및 양태를 예시하는 데 사용되는 예시적인 디바이스이다. 다른 디바이스 및 시스템은 또한 본원에 개시된 사용자 인터페이스 디스플레이 기술 및 시스템을 사용할 수 있다.
디스플레이 패널은, 입사광을 도파관 내로 인 커플링(in-coupling)하고, 사출 동공 확장(exit pupil expansion)을 위해 입사광을 하나 이상의 방향으로 확장시키고, 및/또는 입사광을 도파관 외부로 (예컨대, 사용자의 눈을 향해) 아웃 커플링하는 하나 이상의 회절 광학 요소(diffractive optical elements)("DOEs")를 포함하는 도파관 디스플레이일 수 있다. 일부 예에서, 웨어러블 디바이스(1200)는 추가적인 시스루 광학 컴포넌트(see-through optical component)를 더 포함할 수 있다.
도 9의 예시된 예에서, 컨트롤러(910)는 조명 엔진(904), 광학 어셈블리(906)(및/또는 그 스캐닝 디바이스), 및 센서(908)의 각각에 작동 가능하게 연결된다. 컨트롤러(910)는 하나 이상의 로직 디바이스, 및 광학 시스템(902)과 관련하여 본원에 설명된 기능들을 구축하기 위해 로직 디바이스(들)에 의해 실행 가능한 명령어를 저장하는 하나 이상의 컴퓨터 메모리 디바이스를 포함한다. 컨트롤러(910)는 하나 이상의 프로세싱 유닛(912), 및 운영 체제(916) 및 데이터, 예를 들어, 하나 이상의 CG 이미지를 정의하는 이미지 데이터 및/또는 하나 이상의 객체 추적 프로토콜를 정의하는 추적 데이터를 저장하기 위한 하나 이상의 컴퓨터 판독 가능 매체(914)를 포함할 수 있다.
컴퓨터 판독 가능 매체(914)는, 출력 신호를 생성하여 조명 엔진(904)에 의한 EM 방사선의 제 1 대역폭의 생성을 변조하고 또한 스캐너(들)를 제어하여 제 1 대역폭을 광학 어셈블리(906) 내로 지향시키도록 하는 이미지 생성 엔진(918)을 더 포함할 수 있다. 궁극적으로, 스캐너(들)는 제 1 대역폭을 디스플레이 패널을 관통하도록 지향시켜 사용자 인터페이스와 같이 사용자가 인식할 수 있는 CG 이미지를 생성한다.
컴퓨터 판독 가능 매체(914)는, 출력 신호를 생성하여, 조명 엔진(904)에 의한 EM 방사선의 제 2 대역폭의 생성을 변조하고 또한 스캐너(들)를 제어하여 제 2 대역폭을 객체를 조사하는 객체 추적 광 경로를 따라 지향시키도록 하는 객체 추적 엔진(920)을 더 포함할 수 있다. 객체 추적 엔진(920)은 센서(908)와 통신하여, 제 2 대역폭의 반사 부분에 기반하여 생성된 객체 데이터를 수신한다.
객체 추적 엔진(920)은 그 후 객체 데이터를 분석하여 객체의 하나 이상의 특성, 예를 들어, 광학 시스템(902)에 대한 객체의 깊이, 광학 시스템(902)에 대한 객체의 방향, 광학 시스템(902)에 대한 객체의 속도 및/또는 가속도, 또는 객체의 임의의 다른 원하는 특성을 결정한다. 웨어러블 디바이스(900)의 컴포넌트들은, 예를 들어, 시스템 버스, 데이터 버스, 어드레스 버스, PCI 버스, Mini-PCI 버스, 및 임의의 다양한 로컬, 주변 장치, 및/또는 독립 버스 중 하나 이상을 포함할 수 있는 버스(922)를 통해, 동작 가능하게 연결된다.
웨어러블 디바이스(900)는 다양한 다른 컴포넌트, 예를 들어, 카메라(예컨대, 카메라(924)), 마이크로폰(예컨대, 마이크로폰(926)), 가속도계, 자이로스코프, 자력계, 온도 센서, 터치 센서, 바이오메트릭 센서(biometric sensors), 다른 이미지 센서, 에너지 저장 컴포넌트(예컨대, 배터리), 통신 시설, GPS 수신기 등을 더 포함할 수 있다. 또한, 웨어러블 디바이스(900)는 하나 이상의 시선 응시 센서(eye gaze sensors)(928)를 포함할 수 있다. 적어도 하나의 예에서, 시선 응시 센서(928)는 사용자 대면이며, 사용자의 적어도 하나의 시선의 포지션을 추적하도록 구성된다. 따라서, (예컨대, 시선 응시 센서(928)의 사용을 통해 결정된) 시선 포지션 데이터, (예컨대, 카메라(924)의 사용을 통해 결정된) 이미지 데이터, 및 다른 데이터를 처리하여 사용자의 응시 경로를 식별할 수 있다. 즉, 사용자가 하드웨어 디스플레이 표면의 특정 섹션, 사용자의 관점에서의 특정 현실 세계 객체 또는 현실 세계 객체의 일부, 및/또는 하드웨어 디스플레이 표면에 디스플레이되는 렌더링된 객체 또는 렌더링된 객체의 일부를 주시하고 있다는 것을 결정할 수 있다.
일부 구성에서, 웨어러블 디바이스(900)는 액추에이터(929)를 포함할 수 있다. 프로세싱 유닛(912)은 액추에이터(929)에 대해 생성된 햅틱 효과와 연관된 햅틱 신호의 생성을 유발할 수 있고, 이는 결국 햅틱 효과, 예컨대, 진동 촉각 햅틱 효과, 정전기 마찰 햅틱 효과, 또는 변형 햅틱 효과를 출력한다. 액추에이터(929)는 액추에이터 드라이브 회로를 포함한다. 액추에이터(929)는, 예를 들어, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, 편심 회전 질량 모터(eccentric rotating mass motor)("ERM"), 선형 공진 액추에이터(linear resonant actuator)("LRA"), 압전 액추에이터, 고대역폭 액추에이터, 전기 활성 폴리머("EAP") 액추에이터, 정전기 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다.
대안적인 구성에서, 웨어러블 디바이스(900)는 하나 이상의 추가 액추에이터(929)를 포함할 수 있다. 액추에이터(929)는 햅틱 출력 디바이스의 일 예이며, 햅틱 출력 디바이스는 드라이브 신호에 응답하여, 햅틱 효과, 예컨대, 진동 촉각 햅틱 효과, 정전기 마찰 햅틱 효과, 또는 변형 햅틱 효과를 출력하도록 구성된 디바이스이다. 대안적인 구성에서, 액추에이터(929)는 일부 다른 타입의 햅틱 출력 디바이스로 대체될 수 있다. 또한, 다른 대안적인 구성에서, 웨어러블 디바이스(900)는 액추에이터(929)를 포함하지 않을 수 있고, 웨어러블 디바이스(900)와는 별개의 디바이스는 햅틱 효과를 발생시키는 액추에이터 또는 다른 햅틱 출력 디바이스를 포함하고, 웨어러블 디바이스(900)는 생성된 햅틱 신호를 통신 디바이스를 통해 해당 디바이스에 전송한다.
프로세싱 유닛(들)(912)은, 예를 들어, CPU 타입 프로세싱 유닛, GPU 타입 프로세싱 유닛, 필드 프로그래머블 게이트 어레이("FPGA"), 다른 클래스의 디지털 신호 프로세서("DSP"), 또는 일부의 경우, CPU에 의해 구동될 수 있는 기타 하드웨어 로직 컴포넌트를 나타낼 수 있다. 예를 들어, 제한없이, 사용될 수 있는 예시적인 타입의 하드웨어 로직 컴포넌트는 주문형 집적 회로(Application-Specific Integrated Circuits)("ASICs"), 주문형 표준 제품(Application-Specific Standard Products)("ASSPs"), 시스템 온 칩 시스템(System-on-a-Chip Systems)("SOCs"), 복합 프로그래머블 로직 디바이스(Complex Programmable Logic Devices)("CPLDs") 등을 포함한다.
본원에서 사용된 바와 같이, 컴퓨터 판독 가능 매체, 예컨대, 컴퓨터 판독 가능 매체(914)는 프로세싱 유닛(들)(922)에 의해 실행 가능한 명령어를 저장할 수 있다. 컴퓨터 판독 가능 매체는 또한 외부 프로세싱 유닛에 의해, 예컨대, 외부 CPU, 외부 GPU에 의해 실행 가능한 명령어, 및/또는 외부 가속기에 의해, 예컨대, FPGA 타입 가속기, DSP 타입 가속기에 의해, 또는 임의의 다른 내부 또는 외부 가속기에 의해 실행 가능한 명령어를 저장할 수 있다. 다양한 예에서, 적어도 하나의 CPU, GPU, 및/또는 가속기가 컴퓨팅 디바이스에 통합되는 반면, 일부 예에서 CPU, GPU, 및/또는 가속기 중 하나 이상은 컴퓨팅 디바이스의 외부에 있다.
다양한 예에서, 웨어러블 디바이스(900)는 네트워크 통신을 통해 네트워크 디바이스(예컨대, 네트워크 서버 또는 클라우드 서버)와 상호 작용하여 본원에 설명된 구성을 구현하도록 구성된다. 예를 들어, 웨어러블 디바이스(900)는 데이터를 수집하고 그 데이터를 네트워크(들)를 통해 네트워크 디바이스로 전송할 수 있다. 네트워크 디바이스는 그 후 본원에 설명된 기능 중 일부를 구현할 수 있다. 이어서, 네트워크 디바이스는 웨어러블 디바이스(900)가 아이템을 디스플레이하게 하고 및/또는 웨어러블 디바이스(900)가 태스크를 수행하도록 지시할 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및/또는 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 메모리, 비휘발성 메모리, 및/또는 다른 영구 및/또는 보조 컴퓨터 저장 매체, 착탈식 및 비착탈식 컴퓨터 저장 매체 중 하나 이상을 포함할 수 있다. 따라서, 컴퓨터 저장 매체는 디바이스 내에 포함된 유형적 및/또는 물리적 형태의 매체 및/또는 디바이스의 일부이거나 디바이스의 외부에 있는 하드웨어 컴포넌트를 포함하며, 이는 컴퓨팅 디바이스에 의한 액세스를 위해 정보를 저장 및 유지하는 데 사용될 수 있는 랜덤 액세스 메모리(random access memory)("RAM"), 정적 랜덤 액세스 메모리(static random-access memory)("SRAM"), 동적 랜덤 액세스 메모리(dynamic random-access memory)("DRAM"), 위상 변화 메모리(phase change memory)("PCM"), 판독 전용 메모리(read-only memory)("ROM"), 소거 가능 프로그래머블 판독 전용 메모리(erasable programmable read-only memory)("EPROM"), 전기적으로 소거 가능한 프로그래머블 판독 전용 메모리(electrically erasable programmable read-only memory)("EEPROM"), 플래시 메모리(flash memory), 회전 매체(rotating media), 광학 카드 또는 다른 광학 저장 매체(optical cards or other optical storage media), 자기 저장소(magnetic storage), 자기 카드 또는 다른 자기 저장 디바이스 또는 매체(magnetic cards or other magnetic storage devices or media), 솔리드 스테이트 메모리 디바이스(solid-state memory devices), 저장소 어레이(storage arrays), 네트워크 접속 저장소(network attached storage), 저장 영역 네트워크(storage area networks), 호스팅된 컴퓨터 저장소 또는 임의의 다른 저장 메모리(hosted computer storage or any other storage memory), 저장 디바이스, 및/또는 저장 매체를 포함하지만 이에 제한되는 것은 아니다.
컴퓨터 저장 매체에 비해, 통신 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 반송파와 같은 변조된 데이터 신호, 또는 다른 전송 메커니즘으로 구현할 수 있다. 본원에 정의된 바와 같이, 컴퓨터 저장 매체는 통신 매체를 포함하지 않는다. 즉, 컴퓨터 저장 매체는 변조된 데이터 신호, 반송파, 또는 전파되는 신호 자체로만 구성된 통신 매체를 포함하지 않는다.
본원에 설명된 예에 따르면, 웨어러블 디바이스(108)는 또한 네트워크 통신을 사용하여 전자 마켓 플레이스의 전자 상거래 공급자와 상호 작용하도록 구성될 수 있다. 전자 마켓 플레이스를 구현하기 위해, 전자 상거래 공급자는 아이템의 카탈로그(들)를 생성하고 유지한다. 아이템은 등록된 사용자 및/또는 판매자에 의해 구매 및/또는 판매될 수 있다. 따라서, 전자 상거래 공급자는, 아이템과 관련된 정보를 수집 및 저장하고, 아이템과 관련된 정보를 잠재적 구매자에게 디스플레이하고, 아이템의 온라인 경매를 수행하고, 아이템의 구매자와 아이템의 판매자를 매칭시키고, 트랜잭션을 처리하는 등을 수행하는 리소스를 포함할 수 있다.
도 10은, 예를 들어, 도 1 내지 도 9를 참조하여 설명된 것과 같은 본원에 기술된 기능, 또는 본원에 설명된 바와 같은 그의 임의의 프로그램 컴포넌트를 실행할 수 있는 컴퓨터에 대한 예시적인 컴퓨터 아키텍처의 추가 세부 사항을 도시한다. 따라서, 도 10에 예시된 컴퓨터 아키텍처(1000)는 서버 컴퓨터, 또는 서버 컴퓨터의 네트워크, 또는 본원에 설명된 기능을 구현하기에 적합한 임의의 다른 타입의 컴퓨팅 디바이스를 위한 아키텍처를 예시한다. 컴퓨터 아키텍처(1000)는 선호 특성 결정 툴(120) 및/또는 아이템 상관 툴(124)을 포함하여, 전자 상거래 시스템(102)을 구현하기 위한 소프트웨어 컴포넌트와 같은, 본원에 제시된 소프트웨어 컴포넌트의 임의의 양태를 실행하는 데 이용될 수 있다.
도 10에 예시된 컴퓨터 아키텍처(1000)는 중앙 처리 유닛(1002)("CPU"), 랜덤 액세스 메모리(1006)("RAM") 및 판독 전용 메모리("ROM")(1008)를 구비한 시스템 메모리(1004), 및 메모리(1004)를 CPU(1002)에 연결하는 시스템 버스(1010)를 포함한다. 예컨대, 시동 동안, 컴퓨터 아키텍처(1000) 내의 요소들 사이에서 정보를 전송하는 것을 돕는 기본 루틴을 포함하는 기본 입력/출력 시스템은 ROM(1008)에 저장된다. 컴퓨터 아키텍처(1000)는 운영 체제(1014), 다른 데이터, 및 하나 이상의 애플리케이션 프로그램을 저장하기 위한 대용량 저장 디바이스(1012)를 더 포함한다. 예를 들어, 대용량 저장 디바이스(1012)는 선호 특성(122), 아이템의 재고(502), 및 아이템에 대한 3D 모델 데이터(1016)를 저장할 수 있다.
대용량 저장 디바이스(1012)는 버스(1010)에 연결된 대용량 저장 컨트롤러(도시되지 않음)를 통해 CPU(1002)에 연결된다. 대용량 저장 디바이스(1012) 및 관련 컴퓨터 판독 가능 매체는 컴퓨터 아키텍처(1000)를 위한 비휘발성 저장소를 제공한다. 본원에 포함된 컴퓨터 판독 가능 매체의 설명은 솔리드 스테이트 드라이브, 하드 디스크 또는 CD-ROM 드라이브와 같은 대용량 저장 디바이스를 지칭하고 있지만, 본 기술 분야의 기술자는 컴퓨터 판독 가능 매체가 컴퓨터 아키텍처(1000)에 의해 액세스될 수 있는 임의의 이용 가능한 컴퓨터 저장 매체 또는 통신 매체일 수 있다는 것을 이해해야 한다.
다양한 구현예에 따르면, 컴퓨터 아키텍처(1000)는 네트워크(1050)를 통한 원격 컴퓨터에 대한 논리적 연결을 사용하여 네트워크 환경에서 동작할 수 있다. 컴퓨터 아키텍처(1000)는 버스(1010)에 연결된 네트워크 인터페이스 유닛(1018)을 통해 네트워크(1050)에 연결될 수 있다. 네트워크 인터페이스 유닛(1018)은 또한 다른 타입의 네트워크 및 원격 컴퓨터 시스템에 연결하는 데 이용될 수 있음을 이해해야 한다. 컴퓨터 아키텍처(1000)는 또한 키보드, 마우스, 또는 전자 스타일러스를 포함하는 다수의 다른 디바이스로부터 입력을 수신하고 처리하기 위한 입력/출력 컨트롤러(1020)를 포함할 수 있다. 마찬가지로, 입력/출력 컨트롤러(1020)는 디스플레이 스크린, 프린터, 또는 다른 타입의 출력 디바이스에 출력을 제공할 수 있다. 또한, 컴퓨팅 시스템은 개시된 컴퓨터 아키텍처(1000)를 사용하여 구현되어 다른 컴퓨팅 시스템과 통신할 수 있음을 이해해야 한다.
본원에 설명된 소프트웨어 컴포넌트는 CPU(1002)에 로딩되어 실행될 때, CPU(1002) 및 전체 컴퓨터 아키텍처(1000)를 범용 컴퓨팅 시스템에서 본원에서 제시된 기능을 가능하게 하도록 커스텀화된 특수 목적 컴퓨팅 시스템으로 변환할 수 있음을 이해해야 한다. CPU(1002)는 개별적으로 또는 집합적으로 임의의 수의 상태로 가정될 수 있는 임의의 수의 트랜지스터 또는 다른 이산 회로 요소로 구성될 수 있다. 보다 구체적으로, CPU(1002)는 본원에 개시된 소프트웨어 모듈 내에 포함된 실행 가능 명령어에 응답하여 유한 상태 머신으로서 동작할 수 있다. 이들 컴퓨터 실행 가능 명령어는 CPU(1002)가 상태들 사이에서 어떻게 천이하는지를 지정함으로써 CPU(1002)를 변환하여, CPU(1002)를 구성하는 트랜지스터 또는 다른 이산 하드웨어 요소를 변환할 수 있다.
본원에 제시된 소프트웨어 모듈을 인코딩하게 되면 또한 본원에 제시된 컴퓨터 판독 가능 매체의 물리적 구조를 변환할 수 있다. 물리적 구조의 특정 변환은 이 설명의 다른 구현예에서 다양한 요인에 의존할 수 있다. 이러한 요인의 예는 컴퓨터 판독 가능 매체가 1 차 스토리지 또는 2 차 스토리지 등으로 특징지어지든지 간에, 컴퓨터 판독 가능 매체를 구현하는 데 사용되는 기술을 포함할 수 있지만, 이에 제한되지는 않는다. 예를 들어, 컴퓨터 판독 가능 매체가 반도체 기반 메모리로서 구현되면, 본원에 개시된 소프트웨어는 반도체 메모리의 물리적 상태를 변환함으로써 컴퓨터 판독 가능 매체 상에 인코딩될 수 있다. 예를 들어, 소프트웨어는 반도체 메모리를 구성하는 트랜지스터, 캐패시터, 또는 다른 이산 회로 요소의 상태를 변환할 수 있다. 소프트웨어는 또한 데이터를 저장하기 위해 그러한 컴포넌트의 물리적 상태를 변환할 수 있다.
다른 예로서, 본원에 개시된 컴퓨터 판독 가능 매체는 자기 또는 광학 기술을 사용하여 구현될 수 있다. 이러한 구현예에서, 본원에 제시된 소프트웨어는 소프트웨어가 자기 또는 광학 매체에 인코딩될 때 자기 또는 광학 매체의 물리적 상태를 변환할 수 있다. 이러한 변환은 주어진 자기 매체 내의 특정 위치의 자기 특성을 변경하는 것을 포함할 수 있다. 이들 변환은 또한 주어진 광학 매체 내의 특정 위치의 물리적 특징 또는 특성을 변경하여 이들 위치의 광학 특성을 변경하는 것을 포함할 수 있다. 본 설명의 범위 및 사상을 벗어나지 않고 물리적 매체의 다른 변환이 가능하며, 전술한 예는 이러한 논의를 가능하게 하기 위해서만 제공된 것이다.
전술한 것의 측면에서, 본원에 제시된 소프트웨어 컴포넌트를 저장하고 실행하기 위해 컴퓨터 아키텍처(1000)에서 많은 타입의 물리적 변환이 행해진다는 것을 이해해야 한다. 컴퓨터 아키텍처(1000)는 스마트폰, 임베디드 컴퓨터 시스템, 태블릿 컴퓨터를 포함하는 다른 타입의 컴퓨팅 디바이스, 다른 타입의 웨어러블 컴퓨팅 디바이스, 및 본 기술 분야의 기술자에게 알려진 다른 타입의 컴퓨팅 디바이스를 포함할 수 있음을 이해해야 한다. 컴퓨터 아키텍처(1000)는 도 10에 도시된 모든 컴포넌트를 포함하지 않을 수 있거나, 도 10에 명시적으로 도시되지 않은 다른 컴포넌트를 포함할 수 있거나, 또는 도 10에 도시된 것과는 완전히 다른 아키텍처를 이용할 수 있음이 또한 고려된다.
예시적인 구성
이하의 조항들은 본 개시 내용에서 설명된 특징들을 구현하기 위한 다수의 가능한 구성들을 기술했다. 본원에 설명된 다양한 구성은 제한되지 않으며, 임의의 주어진 구성으로부터의 모든 특징이 다른 구성에 존재하도록 요구되지는 않는다. 문맥 상 명백하게 다르게 나타내지 않는 한, 임의의 둘 이상의 구성은 함께 조합될 수 있다. 본원에서 사용된 "또는"은 "및/또는"을 의미한다. 예를 들어, "A 또는 B"는 B가 없는 A, A가 없는 B, 또는 A 및 B를 의미한다. 본원에서 사용되는 바와 같이, "포함하는"은 나열된 모든 특징을 포함하고 나열되지 않은 다른 특징의 추가를 잠재적으로 포함하는 것을 의미한다. "본질적으로 구성되는"은 나열된 특징 및 나열된 특징의 기본 및 신규 특성에 실질적으로 영향을 미치지 않는 추가 특징을 포함함을 의미한다. "구성되는"은 나열되지 않은 임의의 특징을 제외하고, 나열된 특징만을 의미한다.
본원에 제시된 개시 내용은 또한 이하의 조항에서 제시된 발명의 대상을 포함한다.
예시 조항 A는 방법으로서, 웨어러블 디바이스에 의해 획득된 이미지 데이터에 기반하여, 환경에 이미 존재하는 현실 세계 아이템을 인식하는 단계; 환경에 이미 존재하는 현실 세계 아이템을 분석하여, 환경에 대한 선호 특성을 결정하는 단계 - 상기 선호 특성은 가격 카테고리, 사이즈 카테고리, 브랜드, 컬러, 또는 장식 테마 중 하나 이상을 포함함 -; 아이템 카탈로그에 액세스하여, 선호 특성과 상관되는 특성을 갖는 아이템에 대한 3 차원 모델 데이터를 검색하는 단계; 및 3 차원 모델 데이터를 사용하여 아이템의 렌더링이 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이되게 하는 단계를 포함한다.
예시 조항 B는 예시 조항 A의 방법에 있어서, 선호 특성은 가격 카테고리를 포함하고 가격 카테고리는 아이템 카탈로그 내의 아이템의 평균 가격에 대해 결정된다.
예시 조항 C는 예시 조항 B의 방법에 있어서, 가격 카테고리는 사용자가 전형적으로 평균 가격보다 높은 임계치 퍼센티지 초과분을 소비하는 것을 나타내는 고가 가격 카테고리, 사용자가 전형적으로 평균 가격의 임계치 퍼센티지 내에서 소비하는 것을 나타내는 적정가 가격 카테고리, 또는 사용자가 전형적으로 평균 가격보다 낮은 임계치 퍼센티지 초과분을 소비하는 것을 나타내는 저가 가격 카테고리 중 하나를 포함한다.
예시 조항 D는 예시 조항 A 내지 C 중 어느 하나의 방법에 있어서, 선호 특성은 사이즈 카테고리를 포함하고, 사이즈 카테고리는 아이템 카탈로그 내의 아이템의 평균 사이즈에 대해 결정된다.
예시 조항 E는 예시 조항 D의 방법에 있어서, 사이즈 카테고리는 사용자가 평균 사이즈보다 큰 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 대형 사이즈 카테고리, 사용자가 평균 사이즈의 임계치 퍼센티지 내에 있는 아이템을 선호하는 것을 나타내는 중형 사이즈 카테고리, 또는 사용자가 평균 사이즈보다 작은 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 소형 사이즈 카테고리 중 하나를 포함한다.
예시 조항 F는 예시 조항 A 내지 E 중 어느 하나의 방법에 있어서, 환경에 이미 존재하는 현실 세계 아이템을 인식하고 현실 세계 아이템을 분석하여 환경에 대한 선호 특성을 결정하는 단계는 아이템이 환경에 디스플레이되도록 구체적으로 요청하는 사용자 입력을 수신하는 것에 응답하여 구현된다.
예시 조항 G는 예시 조항 F의 방법에 있어서, 사용자 입력은 음성 커맨드를 포함한다.
예시 조항 H는 예시 조항 A 내지 E 중 어느 하나의 방법에 있어서, 환경에 이미 존재하는 현실 세계 아이템을 인식하고 현실 세계 아이템을 분석하여 환경에 대한 선호 특성을 결정하는 단계는 특정 이벤트에 대한 아이템 추천을 일반적으로 요청하는 사용자 입력을 수신하는 것에 응답하여 구현된다.
예시 조항 I는 예시 조항 A의 방법에 있어서, 현실 세계 아이템과 연관된 정보에 액세스하여 현실 세계 아이템이 교체될 것이라고 결정하는 단계를 더 포함하고, 상기 정보는 현실 세계 아이템에 대한 수명 예상치 또는 현실 세계 아이템에 대한 아이템 사용량을 포함하고, 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이될 아이템의 렌더링은 환경에서 교체될 현실 세계 아이템에 대응한다.
예시 조항 J는 예시 조항 A 내지 I 중 어느 하나의 방법에 있어서, 환경은 개인 거주지 또는 영업 사무소 내의 일 타입의 룸(room)을 포함한다.
예시 조항 K는 시스템으로서, 하나 이상의 프로세서; 및 하나 이상의 프로세서와 통신하는 메모리를 포함하되, 메모리는 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금, 웨어러블 디바이스에 의해 획득된 이미지 데이터에 기반하여, 환경에 이미 존재하는 현실 세계 아이템을 인식하게 하고; 환경에 이미 존재하는 현실 세계 아이템을 분석하여, 환경에 대한 선호 특성을 결정하게 하며; 아이템 카탈로그에 액세스하여, 선호 특성과 상관되는 특성을 갖는 아이템에 대한 3 차원 모델 데이터를 검색하게 하고; 3 차원 모델 데이터를 사용하여 아이템의 렌더링이 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이되게 하는 컴퓨터 판독 가능 명령어를 저장한다.
예시 조항 L은 예시 조항 K의 시스템에 있어서, 선호 특성은 가격 카테고리를 포함하고 가격 카테고리는 아이템 카탈로그 내의 아이템의 평균 가격에 대해 결정된다.
예시 조항 M은 예시 조항 L의 시스템에 있어서, 가격 카테고리는 사용자가 전형적으로 평균 가격보다 높은 임계치 퍼센티지 초과분을 소비하는 것을 나타내는 고가 가격 카테고리, 사용자가 전형적으로 평균 가격의 임계치 퍼센티지 내에서 소비하는 것을 나타내는 적정가 가격 카테고리, 또는 사용자가 전형적으로 평균 가격보다 낮은 임계치 퍼센티지 초과분을 소비하는 것을 나타내는 저가 가격 카테고리 중 하나를 포함한다.
예시 조항 N은 예시 조항 K 내지 M 중 어느 하나의 시스템에 있어서, 선호 특성은 사이즈 카테고리를 포함하고, 사이즈 카테고리는 아이템 카탈로그 내의 아이템의 평균 사이즈에 대해 결정된다.
예시 조항 O는 예시 조항 N의 시스템에 있어서, 사이즈 카테고리는 사용자가 평균 사이즈보다 큰 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 대형 사이즈 카테고리, 사용자가 평균 사이즈의 임계치 퍼센티지 내에 있는 아이템을 선호하는 것을 나타내는 중형 사이즈 카테고리, 또는 사용자가 평균 사이즈보다 작은 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 소형 사이즈 카테고리 중 하나를 포함한다.
예시 조항 P는 예시 조항 K 내지 O 중 어느 하나의 시스템에 있어서, 선호 특성은 브랜드를 포함한다.
예시 조항 Q는 예시 조항 K 내지 P 중 어느 하나의 시스템에 있어서, 선호 특성은 장식 테마를 포함한다.
예시 조항 R은 예시 조항 K 내지 Q 중 어느 하나의 시스템에 있어서, 환경에 이미 존재하는 현실 세계 아이템을 인식하고 현실 세계 아이템을 분석하여 환경에 대한 선호 특성을 결정하는 단계는 아이템이 환경에 디스플레이되도록 구체적으로 요청하는 사용자 입력을 수신하는 것에 응답하여 구현된다.
예시 조항 S는 예시 조항 K 내지 Q 중 어느 하나의 시스템에 있어서, 환경에 이미 존재하는 현실 세계 아이템을 인식하고 현실 세계 아이템을 분석하여 환경에 대한 선호 특성을 결정하는 단계는 특정 이벤트에 대한 아이템 추천을 일반적으로 요청하는 사용자 입력을 수신하는 것에 응답하여 구현된다.
예시 조항 T는 컴퓨터 판독 가능 명령어를 저장한 하나 이상의 비일시적 컴퓨터 판독 가능 매체로서, 컴퓨터 판독 가능 명령어는, 하나 이상의 프로세서에 의해 실행될 때, 시스템으로 하여금, 웨어러블 디바이스에 의해 획득된 이미지 데이터에 기반하여, 환경에 이미 존재하는 현실 세계 아이템을 인식하게 하고; 환경에 이미 존재하는 현실 세계 아이템을 분석하여, 환경에 대한 선호 특성을 결정 - 상기 선호 특성은 가격 카테고리, 사이즈 카테고리, 브랜드, 또는 장식 테마 중 하나 이상을 포함함 - 하게 하며; 아이템 카탈로그에 액세스하여, 선호 특성과 상관되는 특성을 갖는 아이템에 대한 3 차원 모델 데이터를 검색하게 하고; 3 차원 모델 데이터를 사용하여 아이템의 렌더링이 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이되게 한다.
결론
이해의 용이성을 위해, 본 개시 내용에서 논의된 프로세스는 독립 블럭으로서 표현되는 개별 동작으로 설명된다. 그러나, 이들의 개별적으로 설명된 동작들은 반드시 성능에 따른 순서로 해석되는 것은 아니다. 프로세스가 설명되는 순서는 제한으로서 해석되도록 의도되지 않으며, 프로세스 또는 대안의 프로세스를 구현하기 위해 임의의 수의 설명된 프로세스 블럭들이 임의의 순서로 결합될 수 있다. 또한, 제공된 동작들 중 하나 이상이 수정되거나 생략될 수도 있다.
비록 본 발명의 대상이 구조적 특징 및/방법론적 동작에 특정된 언어로 기술되었지만, 첨부된 청구항에 정의된 발명의 대상은 반드시 상술한 특정 특징 또는 동작에 반드시 제한되는 것은 아니라는 것을 이해해야 한다. 오히려, 특정 특징 및 동작은 청구항을 구현하는 예시적인 형태로서 개시된다.
본 발명을 설명하는 맥락에서(특히, 이하의 청구항의 맥락에서) 사용되는 단수 형태의 용어는 달리 표시되지 않거나 문맥상 모순되지 않는 한, 단수 및 복수의 형태를 모두 포함하는 것으로 해석되어야 한다. 용어 "기반하는", "기초하는" 및 유사한 언급은 달리 표시되지 않거나 문맥상 명확하게 모순되지 않는 한, "부분적으로 기반하는" 및 "전체적으로 기반하는" 것을 포함하는 "적어도 부분적으로 기반하는"을 의미하는 것으로 해석되어야 한다.
요약 및/또는 상세한 설명 내의 "제 1", "제 2" 등의 사용자 또는 다른 요소에 대한 언급은 청구항의 "제 1", "제 2" 등의 요소에 대한 임의의 언급에 반드시 대응하는 것으로 의도되지 않으며 그렇게 해석되어서는 안된다는 것을 이해해야 한다. 오히려, 요약 및/또는 상세한 설명 내의 "제 1" 및 "제 2"의 임의의 사용은 동일한 요소의 2 개의 상이한 인스턴스(예컨대, 2 개의 상이한 사용자, 2 개의 상이한 아이템 등)를 구별하는 데 사용될 수 있다.
본 발명을 수행하기 위해 본 발명자에게 알려진 최상의 모드를 포함하는 특정의 구성이 설명된다. 물론, 이들 설명된 구성의 변형은 전술한 설명을 읽으면 본 기술 분야의 통상의 기술자에게는 명백해질 것이다. 본 기술 분야의 기술자는 그러한 변형을 적절하게 사용하는 방법을 알고 있을 것이며, 본원에 개시된 구성은 구체적으로 설명된 것과는 다르게 실시될 수 있다. 따라서, 본원에 첨부된 청구항에 나열된 발명의 대상의 모든 수정 및 균등물이 본 개시 내용의 범위 내에 포함된다. 더욱이, 전술한 요소들의 모든 가능한 변형에서 전술한 요소들의 임의의 조합은 달리 표시되지 않거나 문맥상 명확하게 모순되지 않는 한 본 발명에 포함된다.

Claims (20)

  1. 웨어러블 디바이스에 의해 획득된 이미지 데이터에 기반하여, 환경에 이미 존재하는 현실 세계 아이템을 인식하는 단계;
    상기 환경에 이미 존재하는 상기 현실 세계 아이템을 분석하여 상기 환경에 대한 선호 특성을 결정하는 단계 - 상기 선호 특성은 가격 카테고리, 사이즈 카테고리, 브랜드, 컬러, 또는 장식 테마 중 하나 이상을 포함함 -;
    아이템 카탈로그에 액세스하여, 상기 선호 특성과 상관되는 특성을 갖는 아이템에 대한 3 차원 모델 데이터를 검색하는 단계; 및
    상기 3 차원 모델 데이터를 사용하여 상기 아이템의 렌더링이 상기 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이되게 하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 선호 특성은 상기 가격 카테고리를 포함하고 상기 가격 카테고리는 상기 아이템 카탈로그 내의 아이템의 평균 가격에 대해 결정되는
    방법.
  3. 제2항에 있어서,
    상기 가격 카테고리는 사용자가 전형적으로 상기 평균 가격보다 높은 임계치 퍼센티지를 초과하여 소비하는 것을 나타내는 고가 가격 카테고리, 상기 사용자가 전형적으로 상기 평균 가격의 임계치 퍼센티지 내에서 소비하는 것을 나타내는 적정가 가격 카테고리, 또는 상기 사용자가 전형적으로 상기 평균 가격보다 낮은 임계치 퍼센티지를 초과하여 소비하는 것을 나타내는 저가 가격 카테고리 중 하나를 포함하는
    방법.
  4. 제1항 내지 제3중 어느 한 항에 있어서,
    상기 선호 특성은 상기 사이즈 카테고리를 포함하고, 상기 사이즈 카테고리는 상기 아이템 카탈로그 내의 아이템의 평균 사이즈에 대해 결정되는
    방법.
  5. 제4항에 있어서,
    상기 사이즈 카테고리는 사용자가 상기 평균 사이즈보다 큰 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 대형 사이즈 카테고리, 상기 사용자가 상기 평균 사이즈의 임계치 퍼센티지 내에 있는 아이템을 선호하는 것을 나타내는 중형 사이즈 카테고리, 또는 상기 사용자가 상기 평균 사이즈보다 작은 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 소형 사이즈 카테고리 중 하나를 포함하는
    방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 환경에 이미 존재하는 상기 현실 세계 아이템을 인식하고 상기 현실 세계 아이템을 분석하여 상기 환경에 대한 선호 특성을 결정하는 단계는 상기 아이템이 상기 환경에 디스플레이되도록 구체적으로 요청하는 사용자 입력을 수신하는 것에 응답하여 구현되는
    방법.
  7. 제6항에 있어서,
    상기 사용자 입력은 음성 커맨드를 포함하는
    방법.
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 환경에 이미 존재하는 상기 현실 세계 아이템을 인식하고 상기 현실 세계 아이템을 분석하여 상기 환경에 대한 선호 특성을 결정하는 단계는 특정 이벤트에 대한 아이템 추천을 일반적으로 요청하는 사용자 입력을 수신하는 것에 응답하여 구현되는
    방법.
  9. 제1항에 있어서,
    현실 세계 아이템과 연관된 정보에 액세스하여 상기 현실 세계 아이템이 교체될 것이라고 결정하는 단계를 더 포함하되,
    상기 정보는 상기 현실 세계 아이템에 대한 수명 예상치 또는 상기 현실 세계 아이템에 대한 아이템 사용량을 포함하고, 상기 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이될 상기 아이템의 렌더링은 상기 환경에서 교체될 현실 세계 아이템에 대응하는
    방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 환경은 개인 거주지 또는 영업 사무소 내의 일 타입의 룸(room)을 포함하는
    방법.
  11. 시스템으로서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서와 통신하는 메모리를 포함하되,
    상기 메모리는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금,
    웨어러블 디바이스에 의해 획득된 이미지 데이터에 기반하여, 환경에 이미 존재하는 현실 세계 아이템을 인식하게 하고;
    상기 환경에 이미 존재하는 현실 세계 아이템을 분석하여 상기 환경에 대한 선호 특성을 결정하게 하며;
    아이템 카탈로그에 액세스하여, 상기 선호 특성과 상관되는 특성을 갖는 아이템에 대한 3 차원 모델 데이터를 검색하게 하고;
    상기 3 차원 모델 데이터를 사용하여 상기 아이템의 렌더링이 상기 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이되게 하는 컴퓨터 판독 가능 명령어를 저장하는
    시스템.
  12. 제11항에 있어서,
    상기 선호 특성은 가격 카테고리를 포함하고 상기 가격 카테고리는 상기 아이템 카탈로그 내의 아이템의 평균 가격에 대해 결정되는
    시스템.
  13. 제12항에 있어서,
    상기 가격 카테고리는 사용자가 전형적으로 상기 평균 가격보다 높은 임계치 퍼센티지를 초과하여 소비하는 것을 나타내는 고가 가격 카테고리, 상기 사용자가 전형적으로 상기 평균 가격의 임계치 퍼센티지 내에서 소비하는 것을 나타내는 적정가 가격 카테고리, 또는 상기 사용자가 전형적으로 상기 평균 가격보다 낮은 임계치 퍼센티지를 초과하여 소비하는 것을 나타내는 저가 가격 카테고리 중 하나를 포함하는
    시스템.
  14. 제11항 내지 제13중 어느 한 항에 있어서,
    상기 선호 특성은 사이즈 카테고리를 포함하고, 상기 사이즈 카테고리는 상기 아이템 카탈로그 내의 아이템의 평균 사이즈에 대해 결정되는
    시스템.
  15. 제14항에 있어서,
    상기 사이즈 카테고리는 사용자가 상기 평균 사이즈보다 큰 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 대형 사이즈 카테고리, 상기 사용자가 상기 평균 사이즈의 임계치 퍼센티지 내에 있는 아이템을 선호하는 것을 나타내는 중형 사이즈 카테고리, 또는 상기 사용자가 상기 평균 사이즈보다 작은 임계치 퍼센티지인 아이템을 선호하는 것을 나타내는 소형 사이즈 카테고리 중 하나를 포함하는
    시스템.
  16. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 선호 특성은 브랜드를 포함하는
    시스템.
  17. 제11항 내지 제16항 중 어느 한 항에 있어서,
    상기 선호 특성은 장식 테마를 포함하는
    시스템.
  18. 제11항 내지 제17항 중 어느 한 항에 있어서,
    상기 환경에 이미 존재하는 상기 현실 세계 아이템을 인식하고 상기 현실 세계 아이템을 분석하여 상기 환경에 대한 선호 특성을 결정하는 것은 상기 아이템이 상기 환경에 디스플레이되도록 구체적으로 요청하는 사용자 입력을 수신하는 것에 응답하여 구현되는
    시스템.
  19. 제11항 내지 제17항 중 어느 한 항에 있어서,
    상기 환경에 이미 존재하는 상기 현실 세계 아이템을 인식하고 상기 현실 세계 아이템을 분석하여 상기 환경에 대한 선호 특성을 결정하는 단계는 특정 이벤트에 대한 아이템 추천을 일반적으로 요청하는 사용자 입력을 수신하는 것에 응답하여 구현되는
    시스템.
  20. 컴퓨터 판독 가능 명령어를 저장한 하나 이상의 비일시적 컴퓨터 판독 가능 매체로서,
    상기 컴퓨터 판독 가능 명령어는, 하나 이상의 프로세서에 의해 실행될 때, 시스템으로 하여금,
    웨어러블 디바이스에 의해 획득된 이미지 데이터에 기반하여, 환경에 이미 존재하는 현실 세계 아이템을 인식하게 하고;
    상기 환경에 이미 존재하는 상기 현실 세계 아이템을 분석하여 상기 환경에 대한 선호 특성을 결정 - 상기 선호 특성은 가격 카테고리, 사이즈 카테고리, 브랜드, 또는 장식 테마 중 하나 이상을 포함함 - 하게 하며;
    아이템 카탈로그에 액세스하여, 상기 선호 특성과 상관되는 특성을 갖는 아이템에 대한 3 차원 모델 데이터를 검색하게 하고;
    상기 3 차원 모델 데이터를 사용하여 상기 아이템의 렌더링이 상기 웨어러블 디바이스의 디스플레이 디바이스 상에 디스플레이되게 하는
    하나 이상의 비일시적 컴퓨터 판독 가능 매체.
KR1020207013835A 2017-11-17 2018-11-14 현실 세계 환경에서 객체의 특성에 기반한 3 차원 모델 데이터의 렌더링 KR102447411B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762588189P 2017-11-17 2017-11-17
US62/588,189 2017-11-17
US16/189,674 2018-11-13
US16/189,674 US11080780B2 (en) 2017-11-17 2018-11-13 Method, system and computer-readable media for rendering of three-dimensional model data based on characteristics of objects in a real-world environment
PCT/US2018/061139 WO2019099581A1 (en) 2017-11-17 2018-11-14 Rendering of three-dimensional model data based on characteristics of objects in a real-world environment

Publications (2)

Publication Number Publication Date
KR20200073256A true KR20200073256A (ko) 2020-06-23
KR102447411B1 KR102447411B1 (ko) 2022-09-28

Family

ID=66532446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207013835A KR102447411B1 (ko) 2017-11-17 2018-11-14 현실 세계 환경에서 객체의 특성에 기반한 3 차원 모델 데이터의 렌더링

Country Status (5)

Country Link
US (8) US10891685B2 (ko)
EP (1) EP3711011A1 (ko)
KR (1) KR102447411B1 (ko)
CN (1) CN111357029A (ko)
WO (5) WO2019099590A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348147B2 (en) * 2020-04-17 2022-05-31 At&T Intellectual Property I, L.P. Facilitation of value-based sorting of objects
CN111666518B (zh) 2015-09-21 2023-05-16 创新先进技术有限公司 一种doi显示方法及装置
US11200692B2 (en) * 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10891685B2 (en) 2017-11-17 2021-01-12 Ebay Inc. Efficient rendering of 3D models using model placement metadata
KR102418992B1 (ko) * 2017-11-23 2022-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 증강 현실 서비스 제공 방법
US10636253B2 (en) * 2018-06-15 2020-04-28 Max Lucas Device to execute a mobile application to allow musicians to perform and compete against each other remotely
US20200065879A1 (en) * 2018-08-22 2020-02-27 Midea Group Co., Ltd. Methods and systems for home device recommendation
JP6589038B1 (ja) * 2018-12-19 2019-10-09 株式会社メルカリ ウェアラブル端末、情報処理端末、プログラム及び商品情報表示方法
US20220124294A1 (en) * 2019-02-15 2022-04-21 Xliminal, Inc. System and method for interactively rendering and displaying 3d objects
CA3134424A1 (en) * 2019-03-18 2020-09-24 Geomagical Labs, Inc. Virtual interaction with three-dimensional indoor room imagery
WO2020235057A1 (ja) * 2019-05-22 2020-11-26 日本電気株式会社 モデル生成装置、モデル生成システム、モデル生成方法、非一時的なコンピュータ可読媒体
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
CN110717963B (zh) * 2019-08-30 2023-08-11 杭州群核信息技术有限公司 一种基于WebGL的可替换模型的混合渲染展示方法、系统及存储介质
US11341558B2 (en) * 2019-11-21 2022-05-24 Shopify Inc. Systems and methods for recommending a product based on an image of a scene
US11145117B2 (en) * 2019-12-02 2021-10-12 At&T Intellectual Property I, L.P. System and method for preserving a configurable augmented reality experience
EP3872770A1 (en) * 2020-02-28 2021-09-01 Inter Ikea Systems B.V. A computer implemented method, a device and a computer program product for augmenting a first image with image data from a second image
US11810595B2 (en) 2020-04-16 2023-11-07 At&T Intellectual Property I, L.P. Identification of life events for virtual reality data and content collection
CN111580670B (zh) * 2020-05-12 2023-06-30 黑龙江工程学院 一种基于虚拟现实的园林景观实现方法
US20210365673A1 (en) * 2020-05-19 2021-11-25 Board Of Regents, The University Of Texas System Method and apparatus for discreet person identification on pocket-size offline mobile platform with augmented reality feedback with real-time training capability for usage by universal users
US20220108000A1 (en) * 2020-10-05 2022-04-07 Lenovo (Singapore) Pte. Ltd. Permitting device use based on location recognized from camera input
IT202100025055A1 (it) * 2021-09-30 2023-03-30 Geckoway S R L Sistema di scansione per virtualizzare oggetti reali e relativo metodo di utilizzo per la rappresentazione digitale di tali oggetti
CN114513647B (zh) * 2022-01-04 2023-08-29 聚好看科技股份有限公司 一种三维虚拟场景中数据的传输方法及设备
US20230418430A1 (en) * 2022-06-24 2023-12-28 Lowe's Companies, Inc. Simulated environment for presenting virtual objects and virtual resets
CN117916763A (zh) * 2022-08-17 2024-04-19 麦观燿 用于提供虚拟场所的系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235715A1 (en) * 2009-03-13 2010-09-16 Jonathan Thatcher Apparatus, system, and method for using multi-level cell solid-state storage as single-level cell solid-state storage
US20140040004A1 (en) * 2012-08-02 2014-02-06 Google Inc. Identifying a deal in shopping results
KR20140088578A (ko) * 2011-10-27 2014-07-10 이베이 인크. 증강 현실을 이용한 아이템들의 시각화
US20140279263A1 (en) * 2013-03-13 2014-09-18 Truecar, Inc. Systems and methods for providing product recommendations
US20170091844A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Online clothing e-commerce systems and methods with machine-learning based sizing recommendation
US20170132841A1 (en) * 2015-09-22 2017-05-11 3D Product Imaging Inc. Augmented reality e-commerce for home improvement

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US7937312B1 (en) 1995-04-26 2011-05-03 Ebay Inc. Facilitating electronic commerce transactions through binding offers
US20030126068A1 (en) 1999-11-18 2003-07-03 Eric Hauk Virtual trading floor system
JP2003529851A (ja) 2000-03-31 2003-10-07 プロジェクト・ビー，エルエルシー 仮想立会場システム
US6813612B1 (en) 2000-05-25 2004-11-02 Nancy J. Rabenold Remote bidding supplement for traditional live auctions
US20020128952A1 (en) * 2000-07-06 2002-09-12 Raymond Melkomian Virtual interactive global exchange
KR20030064244A (ko) 2002-01-24 2003-07-31 고성민 입찰 순위를 실시간 표시하는 실시간 경매방법
US8965460B1 (en) 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
US7958047B2 (en) 2005-02-04 2011-06-07 The Invention Science Fund I Virtual credit in simulated environments
US20080091692A1 (en) 2006-06-09 2008-04-17 Christopher Keith Information collection in multi-participant online communities
US20080147566A1 (en) 2006-12-18 2008-06-19 Bellsouth Intellectual Property Corporation Online auction analysis and recommendation tool
US20080207329A1 (en) * 2007-02-20 2008-08-28 Andrew Wallace Method and system of enabling communication activities using bridge between real world and proprietary environments
US8601386B2 (en) 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
US7945482B2 (en) * 2007-08-23 2011-05-17 Ebay Inc. Viewing shopping information on a network-based social platform
US9111285B2 (en) * 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US8223156B2 (en) 2008-09-26 2012-07-17 International Business Machines Corporation Time dependent virtual universe avatar rendering
US20100125525A1 (en) 2008-11-18 2010-05-20 Inamdar Anil B Price alteration through buyer affected aggregation of purchasers
US20100191770A1 (en) 2009-01-27 2010-07-29 Apple Inc. Systems and methods for providing a virtual fashion closet
EP2259225A1 (en) 2009-06-01 2010-12-08 Alcatel Lucent Automatic 3D object recommendation device in a personal physical environment
US20110040645A1 (en) 2009-08-14 2011-02-17 Rabenold Nancy J Virtual world integrated auction
US20110072367A1 (en) 2009-09-24 2011-03-24 etape Partners, LLC Three dimensional digitally rendered environments
US20110270701A1 (en) * 2010-04-30 2011-11-03 Benjamin Joseph Black Displaying active recent bidders in a bidding fee auction
US20110295722A1 (en) 2010-06-09 2011-12-01 Reisman Richard R Methods, Apparatus, and Systems for Enabling Feedback-Dependent Transactions
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US20120084169A1 (en) 2010-09-30 2012-04-05 Adair Aaron J Online auction optionally including multiple sellers and multiple auctioneers
US20120084168A1 (en) 2010-09-30 2012-04-05 Adair Aaron J Indication of the remaining duration of an event with a duration recoil feature
US20120084170A1 (en) 2010-09-30 2012-04-05 Adair Aaron J Cumulative point system and scoring of an event based on user participation in the event
US20120246036A1 (en) 2011-03-22 2012-09-27 Autonig, LLC System, method and computer readable medium for conducting a vehicle auction, automatic vehicle condition assessment and automatic vehicle acquisition attractiveness determination
US9996972B1 (en) 2011-06-10 2018-06-12 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US10008037B1 (en) 2011-06-10 2018-06-26 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US9921641B1 (en) 2011-06-10 2018-03-20 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US20150070347A1 (en) 2011-08-18 2015-03-12 Layar B.V. Computer-vision based augmented reality system
US20130159110A1 (en) 2011-12-14 2013-06-20 Giridhar Rajaram Targeting users of a social networking system based on interest intensity
US10223710B2 (en) 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
US10702773B2 (en) 2012-03-30 2020-07-07 Videx, Inc. Systems and methods for providing an interactive avatar
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US20140058812A1 (en) 2012-08-17 2014-02-27 Augme Technologies, Inc. System and method for interactive mobile ads
US9336541B2 (en) 2012-09-21 2016-05-10 Paypal, Inc. Augmented reality product instructions, tutorials and visualizations
US11397462B2 (en) 2012-09-28 2022-07-26 Sri International Real-time human-machine collaboration using big data driven augmented reality technologies
US9830632B2 (en) 2012-10-10 2017-11-28 Ebay Inc. System and methods for personalization and enhancement of a marketplace
US20140130076A1 (en) 2012-11-05 2014-05-08 Immersive Labs, Inc. System and Method of Media Content Selection Using Adaptive Recommendation Engine
US20140143081A1 (en) * 2012-11-16 2014-05-22 Nextlot, Inc. Interactive Online Auction System
US20140164282A1 (en) * 2012-12-10 2014-06-12 Tibco Software Inc. Enhanced augmented reality display for use by sales personnel
US20140172570A1 (en) 2012-12-14 2014-06-19 Blaise Aguera y Arcas Mobile and augmented-reality advertisements using device imaging
US20140214547A1 (en) 2013-01-25 2014-07-31 R4 Technologies, Llc Systems and methods for augmented retail reality
US9870716B1 (en) 2013-01-26 2018-01-16 Ip Holdings, Inc. Smart glasses and smart watches for real time connectivity and health
US20140267228A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Mapping augmented reality experience to various environments
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9953365B2 (en) 2013-03-15 2018-04-24 Ten-X, Llc Virtual online auction forum
US9286727B2 (en) 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US9390561B2 (en) 2013-04-12 2016-07-12 Microsoft Technology Licensing, Llc Personal holographic billboard
US9904946B2 (en) * 2013-07-18 2018-02-27 Paypal, Inc. Reverse showrooming and merchant-customer engagement system
US20150294385A1 (en) * 2014-04-10 2015-10-15 Bank Of America Corporation Display of the budget impact of items viewable within an augmented reality display
US9588342B2 (en) * 2014-04-11 2017-03-07 Bank Of America Corporation Customer recognition through use of an optical head-mounted display in a wearable computing device
US9626804B2 (en) * 2014-05-26 2017-04-18 Kyocera Document Solutions Inc. Article information providing apparatus that provides information of article, article information providing system,and article information provision method
US9959675B2 (en) 2014-06-09 2018-05-01 Microsoft Technology Licensing, Llc Layout design using locally satisfiable proposals
US20150379460A1 (en) 2014-06-27 2015-12-31 Kamal Zamer Recognizing neglected items
US10438229B1 (en) * 2014-06-30 2019-10-08 Groupon, Inc. Systems and methods for providing dimensional promotional offers
US20160012475A1 (en) 2014-07-10 2016-01-14 Google Inc. Methods, systems, and media for presenting advertisements related to displayed content upon detection of user attention
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US20160217157A1 (en) 2015-01-23 2016-07-28 Ebay Inc. Recognition of items depicted in images
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US20160275723A1 (en) 2015-03-20 2016-09-22 Deepkaran Singh System and method for generating three dimensional representation using contextual information
US11164227B2 (en) 2015-06-24 2021-11-02 Magic Leap, Inc. Augmented reality devices, systems and methods for purchasing
US20170083954A1 (en) * 2015-08-10 2017-03-23 Reviews From Friends, Inc. Obtaining Referral Using Customer Database
US10311493B2 (en) 2015-09-15 2019-06-04 Facebook, Inc. Managing commerce-related communications within a social networking system
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US10395435B2 (en) * 2016-04-04 2019-08-27 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10163271B1 (en) 2016-04-04 2018-12-25 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10356028B2 (en) 2016-05-25 2019-07-16 Alphabet Communications, Inc. Methods, systems, and devices for generating a unique electronic communications account based on a physical address and applications thereof
US10134190B2 (en) 2016-06-14 2018-11-20 Microsoft Technology Licensing, Llc User-height-based rendering system for augmented reality objects
US20180006990A1 (en) * 2016-06-30 2018-01-04 Jean Alexandera Munemann Exclusive social network based on consumption of luxury goods
US10068379B2 (en) * 2016-09-30 2018-09-04 Intel Corporation Automatic placement of augmented reality models
US10332317B2 (en) 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US10484568B2 (en) 2016-10-26 2019-11-19 Orcam Technologies Ltd. Providing a social media recommendation based on data captured by a wearable device
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
US11037202B2 (en) 2016-12-27 2021-06-15 Paypal, Inc. Contextual data in augmented reality processing for item recommendations
WO2018136536A1 (en) 2017-01-17 2018-07-26 Fair Ip, Llc Data processing system and method for rules/machine learning model-based screening of inventory
CA3005051A1 (en) 2017-05-16 2018-11-16 Michael J. Schuster Augmented reality task identification and assistance in construction, remodeling, and manufacturing
US10509962B2 (en) 2017-09-14 2019-12-17 Ebay Inc. Camera platform incorporating schedule and stature
US10891685B2 (en) 2017-11-17 2021-01-12 Ebay Inc. Efficient rendering of 3D models using model placement metadata

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235715A1 (en) * 2009-03-13 2010-09-16 Jonathan Thatcher Apparatus, system, and method for using multi-level cell solid-state storage as single-level cell solid-state storage
KR20140088578A (ko) * 2011-10-27 2014-07-10 이베이 인크. 증강 현실을 이용한 아이템들의 시각화
US20140040004A1 (en) * 2012-08-02 2014-02-06 Google Inc. Identifying a deal in shopping results
US20140279263A1 (en) * 2013-03-13 2014-09-18 Truecar, Inc. Systems and methods for providing product recommendations
US20170132841A1 (en) * 2015-09-22 2017-05-11 3D Product Imaging Inc. Augmented reality e-commerce for home improvement
US20170091844A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Online clothing e-commerce systems and methods with machine-learning based sizing recommendation

Also Published As

Publication number Publication date
WO2019099591A1 (en) 2019-05-23
US20190156377A1 (en) 2019-05-23
US11556980B2 (en) 2023-01-17
US11080780B2 (en) 2021-08-03
US20210319502A1 (en) 2021-10-14
US20190156393A1 (en) 2019-05-23
US10891685B2 (en) 2021-01-12
WO2019099581A1 (en) 2019-05-23
KR102447411B1 (ko) 2022-09-28
WO2019099593A1 (en) 2019-05-23
US11200617B2 (en) 2021-12-14
US20190156582A1 (en) 2019-05-23
CN111357029A (zh) 2020-06-30
US20190156410A1 (en) 2019-05-23
WO2019099585A1 (en) 2019-05-23
EP3711011A1 (en) 2020-09-23
US20230109329A1 (en) 2023-04-06
WO2019099590A1 (en) 2019-05-23
US20210073901A1 (en) 2021-03-11
US20190156403A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
KR102447411B1 (ko) 현실 세계 환경에서 객체의 특성에 기반한 3 차원 모델 데이터의 렌더링
US11403829B2 (en) Object preview in a mixed reality environment
US10789747B2 (en) Customized visualizations
US10235810B2 (en) Augmented reality e-commerce for in-store retail
KR102138389B1 (ko) 문서에서의 3차원 개체 브라우징
US20140236775A1 (en) Purchase of physical and virtual products
US20160189268A1 (en) Wearable device for interacting with media-integrated vendors
US10853869B2 (en) Electronic wish list system
CN104391565A (zh) 用于使用动作触摸物体及其显示器编码介质的系统和方法
US20130262463A1 (en) Method and system to provide smart tagging of search input
KR102311561B1 (ko) 네트워크 플랫폼의 데이터베이스 엔트리들의 링크를 위한 시스템 및 방법
US20140012666A1 (en) Transferring digital media rights in social network environment
US11935202B2 (en) Augmented reality enabled dynamic product presentation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant