KR102471195B1 - 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술 - Google Patents

증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술 Download PDF

Info

Publication number
KR102471195B1
KR102471195B1 KR1020217007217A KR20217007217A KR102471195B1 KR 102471195 B1 KR102471195 B1 KR 102471195B1 KR 1020217007217 A KR1020217007217 A KR 1020217007217A KR 20217007217 A KR20217007217 A KR 20217007217A KR 102471195 B1 KR102471195 B1 KR 102471195B1
Authority
KR
South Korea
Prior art keywords
computing device
geometric shape
digital content
shape
physical environment
Prior art date
Application number
KR1020217007217A
Other languages
English (en)
Other versions
KR20210043627A (ko
Inventor
프리티 파틸 아나두레
무쿨 아로라
애쉰 가네쉬 크리쉬나머시
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Priority to KR1020227040955A priority Critical patent/KR20220164063A/ko
Publication of KR20210043627A publication Critical patent/KR20210043627A/ko
Application granted granted Critical
Publication of KR102471195B1 publication Critical patent/KR102471195B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Architecture (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실(AR) 디지털 콘텐츠 검색 및 크기 조정 기술 및 시스템이 설명된다. 이러한 기술들은 컴퓨팅 디바이스를 이용한 디지털 콘텐츠와의 사용자 상호작용과 증강 현실 콘텐츠의 이용을 통한 사용자의 물리적 환경 사이의 간격에 다리를 놓음으로써 종래의 기술들의 제한들을 극복한다. 한 예에서, 사용자 환경의 디지털 이미지들의 라이브 스트림의 일부로서 증강 현실 디지털 콘텐츠와의 사용자 상호작용은 "가장 잘 들어맞음"을 찾도록 검색 결과들을 필터링하기 위해 사용되는 영역의 크기를 지정하기 위해 사용된다. 또 다른 예에서, 기하학적 형상이 디지털 이미지(예컨대, 2차원 디지털 이미지)에 포함된 객체의 크기 및 형상을 표현하기 위해 사용된다. 기하학적 형상은 사용자의 물리적 환경에서 객체의 "들어맞음을 평가하기" 위해 디지털 이미지들의 라이브 스트림의 일부로서의 증강 현실 디지털 콘텐츠로서 디스플레이된다.

Description

증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술
[관련 출원]
본 출원은 2018년 9월 25일자로 출원된 미국 특허 출원 일련번호 제16/141,700호에 대한 우선권을 주장하는, 2019년 9월 4일자로 출원된 미국 특허 출원 일련번호 제16/560,113호에 대한 우선권을 주장하며, 그 개시 내용은 본 명세서에 참고로 포함된다.
서비스 제공자 시스템은 전자상거래(eCommerce)를 지원하도록 개발되었고, 이를 통해, 수천 개의 그리고 심지어 수백만 개의 상이한 제품들에 대한 액세스를 사용자들에게 제공한다. 사용자들은, 예를 들어, 음식, 건강 제품들, 가전기기들, 가구, 스포츠 상품, 차량 등을 구매하기 위해 네트워크를 통해 서비스 제공자 시스템에 액세스하기 위해 컴퓨팅 디바이스를 사용할 수 있다. 이러한 편의성은 사용자들에게 관심이 있을 수 있는 항상 증가하는 범위의 제품들을 제공하기 위해 이러한 시스템들의 폭발적 성장을 야기했다.
이러한 시스템들이 증가된 편의성 및 액세스가능성을 제공하지만, 이러한 시스템들은 수많은 도전과제에 직면하였다. 예를 들어, 사용자는 서비스 제공자 시스템의 웹페이지를 통해 제품을 볼 수 있다. 웹페이지는 제품에 관한 사용자의 지식을 증가시키기 위해 제품의 디지털 이미지들을 포함하고, 제품의 특징들의 텍스트 설명을 제공하는 등을 할 수 있다. 이는 사용자가 제품을 구매할지에 관해 정보에 근거한 결정을 할 수 있고 따라서 사용자가 결정을 할 가능성을 증가시키도록 행해진다. 그러나, 사용자가 해당 제품이 사용자의 물리적 환경 및 환경 내에서의 해당 제품의 고려된 사용과 얼마나 "들어맞는지"를 결정할 수 없다는 점에서, 제품과의 사용자의 실제 상호작용이 제한된다. 이것은 크고 부피가 큰 물품들에서 특히 문제가 된다.
하나의 이러한 예에서, 사용자는 사용자의 집 또는 사무실 내의 특정 위치에서 사용하기 위한 서비스 제공자 시스템으로부터의 물품, 예를 들어, 사용자의 거실 내의 특정 위치에서 텔레비전을 보기 위한 소파, 주방용 조리대의 코너에 맞는 주방 기기, 주방의 내장 영역 내에 맞는 냉장고, 진열장 상에서 사용하기 위한 평판 스크린 TV 등을 구매하기를 원할 수 있다. 이 들어맞음을 결정하기 위해 사용되는 종래의 기술은 일반적으로 제품 리스팅에 지정된 치수들에 기초하며, 이 제품 리스팅은 캐주얼 사용자에게 이용가능하지 않을 수 있다. 사용자는 그 후 제품이 의도된 대로 들어맞을지 여부에 대해 최상의 추측을 하도록 강요받는다.
이는, 일부 경우들에서, 제품이 고려되는 영역 내에서 치수별로 들어맞을 수 있더라도, 제품이 여전히 사용자에게 "올바르게" 보이지 않을 수 있다는 점에서 더 복잡해진다. 예를 들어, 소파는 사용자가 원하는 대로 2개의 말단 테이블 사이에 들어맞을 것임을 나타내는 길이를 가질 수 있다. 그러나, 소파는 그것을 그 사용에 부적합하게 하는 특성들을 가질 수 있는데, 예를 들어, 소파 위의 팔들이 너무 높을 수 있고 그에 의해 말단 테이블들의 최상부가 소파로부터 액세스불가능하게 되고, 그 뒷부분이 소파 배후의 창문에 대해 너무 높게 되고, 및 등등의 특성을 가질 수 있다. 그러한 경우들에서, 특히 크고 부피가 큰 물품들의 경우들에서, 제품을 반환하는 비용 및 번거로움은 상당할 수 있고, 따라서 사용자로 하여금 그러한 제품들에 대한 서비스 제공자 시스템의 사용을 완전히 포기하게 야기할 수 있다. 이는 서비스 제공자 시스템으로 하여금 이 제품들을 사용자들에게 이용가능하게 만드는 데 있어서 그 의도된 목적을 좌절하게 만든다.
증강 현실(AR) 디지털 콘텐츠 검색 및 크기 조정 기술 및 시스템이 설명된다. 이러한 기술은 증강 현실 디지털 콘텐츠의 사용을 통해 컴퓨팅 디바이스를 사용하는 디지털 콘텐츠와의 사용자 상호작용과 사용자의 물리적 환경 사이의 간격에 다리를 놓음으로써 종래 기술의 제한들을 극복한다. 한 예에서, 사용자 환경의 디지털 이미지들의 라이브 스트림의 일부로서의 증강 현실 디지털 콘텐츠와의 사용자 상호작용은 "가장 잘 들어맞음"을 찾도록 검색 결과들을 필터링하기 위해 사용되는 영역의 크기를 지정하기 위해 사용된다. 예를 들어, 사용자 입력들은 형상을 선택하여 증강 현실 콘텐츠로서 형상을 조작하기 위해 사용될 수 있으며, 증강 현실 콘텐츠는 이후 검색 결과들을 필터링하기 위한 크기를 지정하기 위해 사용된다. 또 다른 예에서, 기하학적 형상이 디지털 이미지(예컨대, 2차원 디지털 이미지)에 포함된 객체의 크기 및 형상을 표현하기 위해 사용된다. 기하학적 형상은 사용자의 물리적 환경에서 객체의 "들어맞음을 평가하기" 위해 디지털 이미지들의 라이브 스트림의 일부로서의 증강 현실 디지털 콘텐츠로서 디스플레이된다. 다양한 다른 예들이 또한 상세한 설명에서 추가로 설명되는 바와 같이 고려된다.
이 요약은 이하의 상세한 설명에서 추가로 설명되는 개념들을 선택하여 간략화된 형태로 소개하였다. 이와 같이, 본 요약은 청구 주제의 본질적 특징들을 식별하기 위함도 아니고, 청구 주제의 범위를 결정하는데 있어서 보조로서 사용하고자 함도 아니다.
상세한 설명은 첨부 도면을 참조하여 설명된다. 도면들에 표현된 엔티티들은 하나 이상의 엔티티를 나타낼 수 있으며, 이에 따라 참조는 본 논의에서의 엔티티들의 단일 또는 복수 형태들에 대해 상호교환가능하게 이루어질 수 있다.
도 1은 본 명세서에 설명된 증강 현실(AR) 디지털 콘텐츠 검색 및 크기 조정 기술을 채택하도록 동작할 수 있는 예시적인 구현에서의 환경의 도시이다.
도 2는 증강 현실 디지털 콘텐츠로서 디스플레이된 기하학적 형상에 기초한 크기를 포함하는 검색 쿼리를 생성하는 것으로서 도 1의 AR 관리자 모듈의 동작을 도시하는 시스템을 묘사한다.
도 3은 증강 현실 디지털 콘텐츠에 대한 기하학적 형상을 선택하는 예시적인 구현을 묘사한다.
도 4는 기하학적 형상 선택의 또 다른 예시적인 구현을 묘사한다.
도 5는 도 2의 시스템에 의해 생성된 검색 쿼리를 사용하여 검색을 수행하는 예시적인 구현에서의 시스템을 묘사한다.
도 6은 디지털 이미지들의 라이브 피드의 일부로서의 증강 현실 디지털 콘텐츠로서 도 5에서 수행된 검색의 검색 결과의 출력의 예시적인 구현을 묘사한다.
도 7은 검색 쿼리를 생성하고 쿼리에 기초하여 검색을 수행하기 위해 사용되는 크기를 결정하기 위해 디지털 이미지들의 라이브 피드에 대하여 기하학적 형상이 증강 현실 디지털 콘텐츠로서 조작되는 예시적인 구현에서의 절차를 묘사한다.
도 8은 증강 현실 디지털 콘텐츠의 사용을 통한 들어맞음 평가 기능을 지원하는 것으로서 도 1의 AR 관리자 모듈의 동작을 보여주는 시스템을 묘사한다.
도 9는 물리적 환경 내에서 들어맞음이 평가될 객체를 갖는 디지털 콘텐츠 물품을 선택하는 예시적인 구현을 묘사한다.
도 10은 도 9의 디지털 콘텐츠로부터의 객체의 들어맞음을 평가하기 위해 증강 현실 디지털 콘텐츠로서 디스플레이되는 기하학적 형상의 사용을 보여주는 예시적인 구현을 묘사한다.
도 11은 디지털 콘텐츠로부터의 객체의 들어맞음을 평가하기 위해 기하학적 형상이 디지털 이미지들의 라이브 스트림의 일부로서 증강 현실 디지털 콘텐츠로서 사용되는 예시적인 구현에서의 절차를 묘사한다.
도 12는 본 명세서에서 설명된 기술의 실시예를 구현하기 위해 도 1 내지 도 11을 참조하여 설명 및 활용된 것으로서 임의의 유형의 컴퓨팅 디바이스로서 구현될 수 있는 예시적인 디바이스의 다양한 컴포넌트를 포함하는 예시적인 시스템을 예시한다.
종래의 서비스 제공자 시스템들은 사용자들에게, 심지어 특정 유형의 제품들에 대해서도, 광범위한 크기들 및 형상들을 갖는 수천 및 심지어 수백만 개의 상이한 제품들에 대한, 디지털 콘텐츠로서의 제품 리스팅들을 통한 액세스를 제공한다. 디지털 콘텐츠에서의 제품 리스팅들은 제품의 크기에 관한 대략적인 치수들을 포함할 수 있지만, 사용자가 그 제품이 전술한 바와 같이 원하는 사용을 위해 실제로 어떻게 "들어맞을" 지를 결정하는 것은 어려울 수 있다. 이는 종래의 기술들 및 시스템들의 제한들로 인해 제품이 올바르게 들어맞을 지를 결정함에 있어서 사용자의 최상의 추측이 잘못된 경우에 반환하기 어려울 수 있는 크고 부피가 큰 물품들에 대해 특히 문제가 된다.
따라서, 사용자들이 원하는 사용 시나리오에 들어맞는 관심 제품을 찾아내기 위해 수천 및 심지어 수백만 개의 제품을 기술하는 디지털 콘텐츠에 대한 부가의 통찰력을 얻고 이를 내비게이트하는 것을 돕기 위해 증강 현실 디지털 콘텐츠를 활용하는 기술 및 시스템이 설명된다. 결과적으로, 증강 현실 디지털 콘텐츠는 이러한 제품들을 설명하는 다수의 디지털 콘텐츠와의 사용자 상호작용의 효율을 증가시킬 뿐만 아니라 이러한 디지털 콘텐츠를 관리하는 컴퓨팅 디바이스들의 동작 효율을 증가시킬 수 있다. 이러한 기술은 증강 현실 디지털 콘텐츠의 사용을 활용하기 위해 다양한 방식들로 구현될 수 있다.
한 예에서, 원하는 크기를 검색 쿼리의 일부로서 결정하기 위해 증강 현실(AR) 디지털 콘텐츠가 활용된다. 증강 현실 디지털 콘텐츠는, 예를 들어, 제품이 위치될 이용가능한 영역의 크기를 결정하기 위해 사용될 수 있다. 또 다른 경우에, 증강 현실 디지털 콘텐츠는 제품 자체의 크기를 지정하기 위해 사용된다. 이 크기는 다수의 디지털 콘텐츠를 필터링하여 이용가능한 영역에 "들어맞게"될 관심 제품을 찾아내기 위해 검색 쿼리의 일부로서 사용된다.
사용자는, 예를 들어, 서비스 제공자 시스템과 연관되는 휴대폰상의 애플리케이션을 시작할 수 있다. 서비스 제공자 시스템은 예를 들어, 구매를 위해 사용자가 이용할 수 있는 수천 및 수백만 개의 상이한 제품의 리스팅으로서의 디지털 콘텐츠를 포함한다. 이 경우에 특정 제품을 찾기 위해, 애플리케이션은 예를 들어, 타이핑된 텍스트, 음성 인식을 이용하여 사용자 발화로부터 변환된 텍스트 등을 통해 사용자로부터 검색 입력 "주방 기기"를 수신한다.
그에 응답하여, 애플리케이션은 또한 기하학적 형상, 예컨대, 직육면체, 구, 원통 등을 선택하는 옵션을 제공한다. 기하학적 형상은 제품이 배치될 물리적 환경의 영역의 형상을 근사화하도록 선택될 수 있다. 기하학적 형상은 또한 물리적 환경에 배치될 제품의 형상을 근사화하도록 선택될 수 있다.
그 다음, 선택된 기하학적 형상은 컴퓨팅 디바이스의 디지털 카메라에 의해 캡처된 디지털 이미지들의 라이브 스트림의 일부로서 컴퓨팅 디바이스의 디스플레이 디바이스에 의해 증강 현실 디지털 콘텐츠로서 출력된다. 컴퓨팅 디바이스는, 예를 들어, 컴퓨팅 디바이스가 배치되는 물리적 환경으로부터 디지털 이미지들의 라이브 스트림이 캡처되는 카메라 플랫폼을 구현할 수 있다. 따라서, 선택된 기하학적 형상은, 증강 현실 디지털 콘텐츠로서, 디스플레이 디바이스의 사용자 인터페이스에 의해 제공되는 물리적 환경의 이러한 뷰를 "증강"하고, 따라서 기하학적 형상이 "실제로 거기에 있는" 것처럼 보인다.
증강 현실 디지털 콘텐츠로서의 기하학적 형상은 또한 디지털 이미지들의 라이브 스트림의 일부로서 물리적 환경의 사용자의 뷰에 대한 조작을 지원한다. 사용자 입력들은, 예를 들어, 물리적 환경의 뷰 내의 특정 위치에 기하학적 형상을 위치시키고, 기하학적 형상의 하나 이상의 치수를 크기 조정하고, 형상의 방향을 조절하고, 등등을 위해 사용될 수 있다. 이 조작 후에, 기하학적 형상의 크기가, 예를 들어, "크기 결정" 옵션에 응답하여 결정된다. 애플리케이션은, 예를 들어, 물리적 환경의 치수들을 결정할 수 있고, 이로부터, 그 치수들에 대한 기하학적 형상의 치수들을 결정할 수 있다. 치수들은 디지털 이미지들의 라이브 스트림(예를 들어, 시차), 전용 센서들(예를 들어, Wi-Fi 기술을 사용하는 레이더 신호들) 등으로부터 그런 것처럼, 다양한 방식들로 결정될 수 있다.
이전 예로 계속하면, 사용자는 직사각형 기하학적 형상을 선택할 수 있다. 직사각형 기하학적 형상은 그 후 사용자에 의해, 검색 입력의 대상인 주방 기기가 배치될 주방용 조리대의 뷰에 대하여 위치되고 및 크기가 조정된다. 그 후, 기하학적 형상의 크기(예를 들어, 치수들)가 검색 입력 "주방 기기"의 텍스트와 함께 검색 쿼리의 일부로서 사용되어, 그러한 치수들에 들어맞는 주방 기기들의 위치를 찾는다. 이후, 검색 결과는 컴퓨팅 디바이스에 의해, 예를 들어, 순위 부여된 리스팅으로서, 기하학적 형상을 대체하는 것으로서의 증강 현실 디지털 콘텐츠로서, 등등으로서 출력된다. 사용자는, 예를 들어, 디지털 이미지들의 라이브 스트림의 일부로서의 증강 현실 디지털 콘텐츠로서 보여진 검색 결과들을 "스와이프 스루(swipe through)"하여, 관심 있는 특정 제품을 찾기 위해 검색 결과들을 통해 순차적으로 내비게이트하고, 관심 있는 특정 제품은 그 다음에 서비스 제공자 시스템으로부터 구매될 수 있다. 이러한 방식으로, 애플리케이션 및 서비스 제공자 시스템은 종래의 검색 기술들에 비해 증가된 정확도로 다수의 디지털 콘텐츠로부터 원하는 제품을 찾는 데 있어서 사용자 효율을 증가시키도록 증강 현실 디지털 콘텐츠를 활용한다.
또 다른 예에서, 증강 현실 디지털 콘텐츠는 사용자의 물리적 환경에 대한 디지털 이미지에서의 객체의 관계를 결정하는 데 활용된다. 사용자는, 예를 들어, 특정 객체의 디지털 이미지, 예를 들어, 판매를 위해 이용 가능한 토스터 오븐을 포함하는 디지털 콘텐츠로 내비게이트할 수 있다. 디지털 콘텐츠는 또한 사용자의 물리적 환경에서 토스터 오븐의 "들어맞음을 평가하는" 옵션을 포함한다. 일단 옵션을 선택하는 사용자 입력이 수신되면, 예를 들어, 디지털 이미지에서의 객체에서의 객체의 외부 치수들을 근사화하는 애플리케이션에 의해 기하학적 형상이 자동으로 그리고 사용자 개입 없이 선택된다. 이는 디지털 이미지, 디지털 콘텐츠의 일부로서의 객체의 치수들(예를 들어, 제품 리스팅에서의 치수들), 및 등등을 처리하는 객체 인식 기술들을 통하는 것과 같은 다양한 방식들로 수행될 수 있다.
이후 기하학적 형상은 사용자의 물리적 환경의 디지털 이미지들의 라이브 스트림의 일부로서의 증강 현실 디지털 콘텐츠로서 출력된다. 애플리케이션을 실행하는 컴퓨팅 디바이스는, 예를 들어, 시차, 전용 센서(예를 들어, 레이더, 깊이) 등을 사용하여 디지털 이미지의 라이브 스트림으로부터 물리적 환경의 치수들을 결정할 수 있다. 이후 이 치수들은 물리적 환경의 뷰 내의 디지털 콘텐츠를 결정된 크기를 갖는 것으로서 구성하기 위해 사용된다. 이러한 방식으로, 기하학적 형상은 객체(예를 들어, 토스터 오븐)가 물리적 환경 내에서 어떻게 "들어맞는지"를 근사화하기 위해 증강 현실 디지털 콘텐츠로서 보여질 수 있다.
사용자는, 예를 들어, 디지털 이미지들의 라이브 스트림의 일부로서 주방용 조리대의 뷰와 관련하여 기하학적 형상을 위치시켜, 주방용 조리대에 대해 토스터 오븐이 어떻게 들어맞을지에 대한 이해를 얻을 수 있다. 이러한 방식으로, 애플리케이션, 컴퓨팅 디바이스, 및 서비스 제공자 시스템은 설명된 제품이 종래의 기술들에 비해 증가된 정확도로 원하는 대로 기능할 것을 결정함에 있어서 사용자 효율을 증가시키기 위해 증강 현실 디지털 콘텐츠를 활용한다. 다른 예들이 또한 고려되며, 이에 대한 추가 논의는 이하의 섹션들 및 대응하는 도면들에 포함된다.
이하의 논의에서, 본 명세서에서 설명되는 기술들을 이용할 수 있는 예시적인 환경이 먼저 설명된다. 예시적인 절차들 및 시스템들은 또한 예시적인 환경뿐만 아니라 다른 환경들에서 수행될 수 있는 블록들로서 설명되고 도시된다. 결과적으로, 예시적인 절차들의 수행은 예시적인 환경 및 시스템들로 제한되지 않으며, 예시적인 환경 및 시스템들은 예시적인 절차들의 수행으로만 제한되지는 않는다.
예시적인 환경
도 1은 본 명세서에 기술된 증강 현실(AR) 디지털 콘텐츠 검색 및 크기 조정 기술을 이용하도록 동작할 수 있는 예시적인 구현에서의 디지털 매체 환경(100)의 예시이다. 예시된 환경(100)은 네트워크(106)를 통해 서비스 제공자 시스템(104)에 통신 결합된 컴퓨팅 디바이스(102)를 포함한다. 컴퓨팅 디바이스(102) 및 서비스 제공자 시스템(104)을 구현하는 컴퓨팅 디바이스들은 다양한 방식으로 구성될 수 있다.
컴퓨팅 디바이스는, 예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, (예를 들어, 태블릿 또는 모바일 폰과 같은 핸드헬드 구성을 가정하는) 모바일 디바이스로서 구성될 수 있고, (예를 들어, 고글들로서) 착용되도록 구성될 수 있고, 등등과 같이 된다. 따라서, 컴퓨팅 디바이스는, 상당한 메모리 및 프로세서 자원을 가진 풀 자원 디바이스(예를 들어, 개인용 컴퓨터, 게임 콘솔)로부터, 제한된 메모리 및/또는 처리 자원을 가진 낮은 자원 디바이스(예를 들어, 모바일 디바이스)에 이르는 범위를 가질 수 있다. 추가적으로, 단일 컴퓨팅 디바이스가 일부 예들에서 도시되고 설명되지만, 컴퓨팅 디바이스는 도 12에 설명된 바와 같이 서비스 제공자 시스템(104)에 대해 "클라우드를 통해" 동작들을 수행하기 위해 비즈니스에 의해 이용되는 복수의 서버와 같은 복수의 상이한 디바이스를 나타낼 수 있다.
컴퓨팅 디바이스(102)는 물리적 환경(108), 예를 들어, 주방에 배치된 모바일 디바이스(예를 들어, 모바일 폰, 태블릿)로서 예시되어 있다. 컴퓨팅 디바이스(102)는 예컨대 전하 결합 소자(charge coupled device: CCD) 센서의 이용을 통해 그런 것처럼, 물리적 환경(108)(예를 들어, 주방)의 디지털 이미지들(112)의 라이브 스트림을 캡처하도록 구성된 디지털 카메라(110)를 포함한다. 캡처된 디지털 이미지들(112)은 컴퓨터 판독가능 저장 매체에 픽셀들로서 저장될 수 있고 및/또는 예를 들어 LCD, OLED, LED 등과 같은 디스플레이 디바이스에 의해 디스플레이되도록 렌더링될 수 있다.
컴퓨팅 디바이스(102)는 또한 다양한 기능을 위한 기초로서 역할할 수 있는(예를 들어, 처리 시스템 및 컴퓨터 판독가능 저장 매체의 사용을 통해) 카메라 플랫폼을 구현하고 실행하도록 구성되는 카메라 플랫폼 모듈(114)을 포함한다. 예를 들어, 카메라 플랫폼은 컴퓨팅 디바이스(102)의 물리적 환경에서 취해진 디지털 이미지들(112)로 형성된 "라이브 뷰"를 구현할 수 있다. 이 디지털 이미지들(112)은 그 후 다른 기능을 지원하기 위한 기초로서 역할할 수 있다.
이 기능의 예는 증강 현실(AR) 디지털 콘텐츠(118)와의 사용자 상호작용을 생성, 관리, 및 지원하도록 구성된 증강 현실(AR) 관리자 모듈(116)로서 예시되어 있다. 예를 들어, AR 디지털 콘텐츠(118)는 컴퓨팅 디바이스(102)의 디스플레이 디바이스(122)에 의해 사용자 인터페이스(120)에 디스플레이되는 디지털 이미지들(112)의 라이브 스트림의 일부로서 포함될 수 있다. 이러한 방식으로, AR 디지털 콘텐츠(118)는 물리적 환경(108)의 라이브 뷰를, 예를 들어, "실제로 거기에 존재하는 것처럼" 증강시킨다.
AR 디지털 콘텐츠(118) 및 AR 관리자 모듈(116)은 컴퓨팅 디바이스(102) 및 서비스 제공자 시스템(104)에 의해 활용되어, 서비스 제공자 시스템(104)의 저장 디바이스(126)에 저장된 것으로 예시된 디지털 콘텐츠(124)에 대한 검색 및 크기 조정 기술들을 구현한다. 본 명세서에 설명된 기술은 또한 컴퓨팅 디바이스(102)에 의해 로컬로 활용될 수 있고, 디지털 매체 환경(100)에 걸쳐 더 분산될 수 있으며, 기타 등등일 수 있다.
한 예에서, AR 디지털 콘텐츠(118)는 AR 관리자 모듈(116)에 의해 활용되어 디지털 콘텐츠(124)의 검색을 보완한다. 서비스 제공자 시스템(104)은, 예를 들어, 디지털 콘텐츠(124)를 수반하는 서비스를 네트워크(106)를 통해, 예를 들어, 컴퓨팅 디바이스(102)에게 이용가능하게 만들도록 구성되는 서비스 관리자 모듈(128)을 포함한다. 이러한 서비스의 예는 디지털 콘텐츠(124)의 각자의 것들에 의해 표현되는 제품들 및/또는 서비스들을, 구매를 위해 이용 가능하게 만드는 기능을 나타내는 전자 상거래(eCommerce) 모듈(130)에 의해 표현된다. 디지털 콘텐츠(124)는, 예를 들어, 각각이 판매를 위한 각자의 물품을 리스팅하는 수천 및 심지어 수백만 개의 웹페이지로서 구성될 수 있다. 결과적으로, 디지털 콘텐츠(124)는 저장, 내비게이트, 및 출력하기 위해 상당한 양의 계산 자원을 소비할 수 있다.
디지털 콘텐츠(124)의 검색을 보완하기 위해, AR 디지털 콘텐츠(118)는 이 예에서 제품이 배치될 물리적 환경(108)에서의 로케이션의 기하학적 형상을 특정하도록 구성된다. 예시된 예에서, 예를 들어, 기하학적 형상이, 사용자 인터페이스(120)와의 사용자 상호작용을 통해 선택되고 주방용 조리대상의 개방 공간상에 배치될 수 있다. 그 후, 형상의 크기는 디지털 콘텐츠(124)의 검색을 보완하기 위해, 예를 들어, 형상에 의해 지정된 공간에 "들어맞을" 주방 기기들을 찾기 위해 사용된다. 이러한 방식으로, 사용자는 디지털 콘텐츠(124)의 수백만 개의 물품을 통해 신속하게 내비게이트하여 효율적이고 정확한 방식으로 원하는 제품을 찾을 수 있으며, 이에 대한 추가 논의는 대응하는 섹션에서 설명되고 도 2 내지 도 7과 관련하여 도시된다.
또 다른 예에서, AR 디지털 콘텐츠(118)는 이미 찾아진 객체가 원하는 로케이션에 "들어맞는지"를 결정하기 위하여 이용된다. 컴퓨팅 디바이스(102)의 사용자는, 예를 들어, 구매를 위해 관심 객체를 설명하는 디지털 콘텐츠 물품(124)을 찾아낼 수 있다. 디지털 콘텐츠(124)는 이 예에서 객체의 "들어맞음을 평가하는" 옵션을 포함한다. 디지털 콘텐츠(124)로부터의 2차원 이미지는, 예를 들어, 관심 객체를 찾기 위해 (예를 들어, 서비스 제공자 시스템(104) 및/또는 컴퓨팅 디바이스(102)에 의해) 조사될 수 있다. 그 후, 객체의 치수들은 객체의 외부 경계를 근사화하는 기하학적 형상을 선택하도록 복수의 미리 정의된 기하학적 형상으로부터 선택하기 위해 (예를 들어, 객체 인식을 통해) 사용된다. 객체의 크기는 또한, 예를 들어, 디지털 이미지 자체로부터, 디지털 콘텐츠(124)에 포함된 제품 리스팅에서의 치수들로부터, 및 등등으로부터 결정된다.
그 후, 기하학적 형상은 디지털 이미지들(112)의 라이브 스트림의 일부로서 AR 디지털 콘텐츠(118)로서 디스플레이된다. 컴퓨팅 디바이스(102)는, 예를 들어, 디지털 이미지들(112), 전용 센서 등이 나타내는 시차를 통해, 사용자 인터페이스(120)에서 디지털 이미지들(112)의 라이브 스트림에서 보여지는 물리적 환경의 치수들을 결정할 수 있다. 그 후, AR 디지털 콘텐츠(118)의 일부로서의 기하학적 형상은 객체의 결정된 치수들 및 물리적 환경의 치수들에 기초하여 크기가 조정된다. 이러한 방식으로, AR 디지털 콘텐츠(118)는 디지털 이미지에서의 객체의 크기 및 형상을 정확하게 표현한다. 그 후, 사용자는 사용자 인터페이스와 상호작용하여, 디지털 이미지들의 라이브 스트림을 통해 물리적 환경의 뷰에서, 예를 들어, 예시된 주방용 조리대상의 원하는 로케이션에 기하학적 형상을 배치하여, 객체가 원하는 대로 "들어맞는지"를 알 수 있다. 이러한 방식으로, 사용자는 디지털 콘텐츠(예를 들어, 제품 리스팅)에서의 디지털 이미지에서의 제품이 원하는 대로 기능할 것인지를 빠르고 효율적으로 결정할 수 있으며, 이에 대한 추가 논의는 대응하는 섹션에서 설명되고 도 8 내지 도 11과 관련하여 도시된다.
일반적으로, 위 및 아래의 예들과 관련하여 설명된 기능, 특징들 및 개념들은 이 섹션에서 설명된 예시적인 절차들의 맥락에서 이용될 수 있다. 또한, 본 문서에서 상이한 도면들 및 예들과 관련하여 설명된 기능, 특징들 및 개념들은 서로 간에 교환될 수 있으며, 특정 도면 또는 절차의 맥락에서의 구현으로 제한되지는 않는다. 더욱이, 본 명세서에서 상이한 대표적인 절차들 및 대응하는 도면들과 연관된 블록들은 상이한 방식들로 함께 적용 및/또는 조합될 수 있다. 따라서, 본 명세서의 상이한 예시적인 환경들, 디바이스들, 컴포넌트들, 도면들 및 절차들과 관련하여 설명된 개별 기능, 특징들 및 개념들은 임의의 적절한 조합들로 사용될 수 있으며, 본 설명에서 열거된 예들에 의해 표현되는 특정 조합들로 제한되지는 않는다.
증강 현실 디지털 콘텐츠 검색 기술
도 2는 증강 현실 디지털 콘텐츠로서 디스플레이된 기하학적 형상에 기초한 크기를 포함하는 검색 쿼리를 생성하는 것으로서 도 1의 AR 관리자 모듈(116)의 동작을 보여주는 시스템(200)을 묘사한다. 도 3은 AR 디지털 콘텐츠로서 이용하기 위한 기하학적 형상을 선택하는 예시적인 구현(300)을 묘사한다. 도 4는 기하학적 형상 선택의 또 다른 예시적인 구현(400)을 묘사한다. 도 5는 도 2의 시스템(200)에 의해 생성된 검색 쿼리를 이용하여 검색을 수행하는 예시적인 구현에서의 시스템(500)을 묘사한다. 도 6은 디지털 이미지들의 라이브 피드의 일부로서의 증강 현실 디지털 콘텐츠로서 도 5에서 수행된 검색의 검색 결과의 출력의 예시적인 구현(600)을 묘사한다. 도 7은 검색 쿼리를 생성하고 쿼리에 기초하여 검색을 수행하기 위해 사용되는 크기를 결정하기 위해 디지털 이미지들의 라이브 피드에 대하여 기하학적 형상이 증강 현실 디지털 콘텐츠로서 조작되는 예시적인 구현에서의 절차(700)를 묘사한다.
다음 논의에서는 전술한 시스템들 및 디바이스들을 이용하여 구현될 수 있는 기술들을 설명한다. 도 2의 모듈들에 의해 단계별로 도시된 절차의 양태들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 도 7의 절차는 하나 이상의 디바이스에 의해 실행되는 동작들을 지정하는 블록들의 세트로서 도시되지만, 각자의 블록들에 의한 동작들을 실행하기 위해 도시된 순서에 반드시 제한되는 것은 아니다. 이하의 논의의 부분들에서, 도 2 내지 도 7이 참조될 것이다.
이 예에서 시작하면, 사용자의 컴퓨팅 디바이스(102)는 물리적 환경(108)의 디지털 이미지(112)의 라이브 스트림을 캡처하는데, 여기서 컴퓨팅 디바이스는 디지털 카메라(110)의 사용을 위해 배치된다(블록 702). 도 3은, 예를 들어, 제1, 제2, 및 제3 스테이지(302, 304, 306)의 사용을 통한 컴퓨팅 디바이스(102)와의 사용자 상호작용의 예(300)를 묘사한다. 제1 스테이지(302)에서, 디지털 이미지들의 라이브 스트림(112)이 컴퓨팅 디바이스(102)의 디스플레이 디바이스(122)에 의해 사용자 인터페이스(120)에 출력된다. 애플리케이션은 또한, 예를 들어, 서비스 제공자 시스템(104)에 의한 검색을 수행하기 위한 검색 쿼리를 생성하기 위해 AR 관리자 모듈(116)의 기능을 활용하는 컴퓨팅 디바이스(102)에 의해 실행된다.
AR 관리자 모듈(116)은, 예를 들어, 검색 입력을 수신하기 위하여 사용자 인터페이스(120)에서 옵션(308)을 출력할 수 있다. 검색 입력은 텍스트를 통해 직접 입력되거나, 발화에 기초한 음성-대-텍스트 인식을 사용하여 변환되는 등과 같은 다양한 방식으로 제공될 수 있다. 제1 스테이지(302)의 예시된 예에서, 텍스트 "주방 기기"가 사용자 입력으로서 수신된다.
그 후, 기하학적 형상(204)을 선택하도록 사용자 입력을 수신하기 위해 AR 관리자 모듈(116)에 의해 형상 선택 모듈(202)이 이용된다(블록 704). 도 3의 예(300)로 계속하면, 검색 입력의 수신에 응답하여 "크기를 계산하기 위해 형상을 선택"하도록(310) 옵션이 형상 선택 모듈(202)에 의해 사용자 인터페이스에 출력된다. 제2 스테이지(304)에서의 이 옵션의 선택은 제3 스테이지(306)에서 사용자 인터페이스(120)에서의 복수의 미리 정의된 기하학적 형상(예컨대, 2차원 또는 3차원)의 출력을 야기한다. 이러한 옵션들로부터, 예를 들어, 사용자의 손(312)에 의한 터치스크린 기능, 커서 제어 디바이스, 발화 등에 의해 특정 형상을 선택하기 위한 사용자 입력이 수신된다. 2차원 예에서, 형상은 표면상의 영역, 예를 들어, 주방용 조리대를 특정할 수 있다. 3차원 예에서, 형상은 볼륨, 예를 들어, 표면상의 영역은 물론이고 높이를 특정할 수 있다.
도 4는 또한 제1, 제2, 및 제3 스테이지들(402, 404, 406)의 사용을 통해 도 3의 예(300)를 계속한다. 제1 스테이지(402)에서, 선택된 기하학적 형상(408)이 컴퓨팅 디바이스(102)의 디스플레이 디바이스(122)에 의해 디지털 이미지들(112)의 라이브 스트림의 일부로서 포함된 증강 현실 디지털 콘텐츠로서 디스플레이된다(블록 706). 그 결과, 기하학적 형상은 물리적 환경(108)에서 캡처된 디지털 이미지들(112)의 라이브 스트림의 사용자의 뷰를 증강시켜 "마치 실제로 거기에 있는 것"처럼 보이게 한다.
사용자 입력은 또한 디지털 이미지들의 라이브 스트림의 일부로서 기하학적 형상을 조작하는 것으로서 디스플레이 디바이스(122)를 통해 수신된다(블록 708). 선택된 형상(204)은, 예를 들어, 형상 선택 모듈(202)에 의해 형상 조작 모듈(206)에 전달될 수 있다. 형상 조작 모듈(206)은, 기하학적 형상(308)의 로케이션 및/또는 크기, 예를 들어, 선택된 기하학적 형상(408)의 높이, 폭, 깊이 또는 기타의 치수를 수정하기 위한 사용자 입력들을 수용하는 AR 관리자 모듈(116)의 기능을 나타낸다.
한 예에서, 기하학적 형상(408)은 "형상 크기 및 위치"(410)에 대한 명령어들과 함께 도 4의 제1 스테이지(402)에서 출력된다. 물리적 환경(108)으로부터 캡처된 사용자 인터페이스(120)에서의 디지털 이미지들(112)의 라이브 스트림의 뷰 내의 형상의 위치뿐만 아니라 형상(408)의 하나 이상의 치수를 변경하기 위해 사용자 입력이 제2 스테이지(404)에서 수신된다. 사용자 입력들은, 예를 들어, 디스플레이 디바이스(122)의 터치스크린 기능을 통해 형상의 치수들을 크기 조정하기 위해 형상의 경계를 따라 에지들 또는 포인트들을 선택할 수 있다. 사용자 입력들은 또한 형상(408)을 사용자 인터페이스(120)의 원하는 로케이션 내에 위치시키기 위해, 예를 들어, 기하학적 형상(408)을 예시된 바와 같이 주방용 조리대상에 위치하는 것처럼 보이도록 원하는 로케이션으로 "드래그"하기 위해 형상의 내부 부분들을 선택할 수 있다.
제3 스테이지(406)에서, 사용자 인터페이스(120)에서 "형상 크기 및 위치 저장"(412)을 위한 옵션이 출력된다. 이러한 방식으로, 사용자 인터페이스(120) 내의 대응하는 위치 및 크기를 정의하기 위해 형상 선택이 사용될 수 있다. 사용자 인터페이스(120)와의 상호작용을 통해 형상을 하나 이상의 자유 형태 라인으로서 그리기 위해 사용자 인터페이스(120)를 통한 사용자 입력의 수신을 비롯한, 형상 선택 및 조작의 다른 예들이 또한 고려된다. 사용자는, 예를 들어, 사용자 인터페이스에서의 제1 포인트를 지정하고, 형상을 지정하고 형상을 조작하기 위해 "클릭 앤 드래그(click-and-drag)" 동작을 수행할 수 있다.
다시 도 2를 참조하면, 조작된 형상(208)은 이후, 예를 들어, "형상 크기 및 위치 저장" 옵션(412)에 응답하여, 형상 조작 모듈(206)로부터 형상 크기 결정 모듈(210)로 넘겨진다. 그 후, 형상 크기 결정 모듈(210)은 조작된 기하학적 형상의 크기(212)를, 예를 들어, 2차원 또는 3차원으로 계산하도록 구현된다(블록 710).
형상 크기 결정 모듈(210)은, 예를 들어, 먼저 물리적 환경(108)의 치수들을 결정할 수 있다. 이것은 다양한 방식들로 결정될 수 있다. 한 예에서, 물리적 환경(108)의 치수들은, 예를 들어, 예를 들어, 연속 및/또는 입체 이미지들에서, 디지털 카메라(110)에 더 가까운 객체가 디지털 카메라(110)로부터 더 멀리 떨어진 객체들보다 더 많은 양의 움직임을 나타내는 시차에 기초하여 디지털 이미지들(112)의 라이브 스트림으로부터 결정된다. 또 다른 예에서, TOF(time-of-flight) 카메라들, 구조 라이트 그리드 어레이(structure light grid array)들, 깊이 센서들 등과 같은 컴퓨팅 디바이스(102)의 전용 센서들이 사용된다.
일단 물리적 환경의 치수들이 결정되면, 이후 조작된 형상(208)의 치수들이 그 치수들에 대해 결정된다. 다시 도 4로 돌아가면, 예를 들어, 주방용 조리대의 치수들이 결정될 수 있고, 이로부터, 그러한 치수들에 기초하여 주방용 조리대상에 위치된 조작된 형상(208)의 치수들이 결정될 수 있다. 이러한 방식으로, 형상 크기 결정 모듈(210)에 의해 계산된 크기(212)는 증강 현실 디지털 콘텐츠로서의 디지털 이미지들(112)의 라이브 스트림을 통해 물리적 환경(108)의 뷰에 대한 조작된 형상(208)의 관계를 지정한다.
이후 크기(212)는 검색 입력(218) 및 크기(212)를 포함하는 검색 쿼리(216)를 생성하기 위해 형상 크기 결정 모듈(210)로부터 검색 쿼리 생성 모듈(214)로 전달된다(블록 712). 검색 입력(218)은, 예를 들어, 상기 크기 조정 기술을 개시하기 위해 사용되는 텍스트, 예를 들어, "주방 기기"를 포함할 수 있다. 검색 입력(218)은, 크기(212)와 함께, 검색을 수행하기 위한 기초로서 사용되는 검색 쿼리(216)를 형성한다.
예를 들어, 검색 쿼리(216)는 도 5에 예시된 바와 같이 네트워크(106)를 통해 서비스 제공자 시스템(104)에 전달될 수 있다. 서비스 제공자 시스템(104)은 검색 입력(218)에 의해 지정된 주방 기기들(502)에 관련되고 또한 예를 들어, 정의된 백분율과 같은 임계량 내에서, 검색 쿼리(216)에 의해 지정된 크기(212)를 근사화하고 및/또는 그보다 작은 크기를 갖는 디지털 콘텐츠(124)를 검색하는 검색 관리자 모듈(220)을 포함한다. 이것은 검색 결과(222)를 생성하기 위해 사용되고, 검색 결과(222)는 이후 컴퓨팅 디바이스(102)로 되돌려 전달된다. 이 예에서 네트워크 통신이 설명되지만, 이 검색은 또한 컴퓨팅 디바이스(102)에 국지적으로 저장된 디지털 콘텐츠 또는 이들의 조합에 대해 국지적으로 수행될 수 있다.
그 다음, 검색 쿼리(216)를 이용하여 수행된 디지털 콘텐츠(124)의 검색에 기초하여 생성되는 검색 결과(222)가 디스플레이된다(블록 714). 이는 다양한 방식으로 수행될 수 있다. 제1 예에서, 검색 결과(222)는 디지털 콘텐츠(124)의 물품들의 순위 부여된 리스팅을, 예를 들어, 이들 물품들이 검색 쿼리(216)의 검색 입력(218) 및/또는 크기(212)를 "얼마나 잘 충족하는지"에 기초하는 상이한 기기들의 리스팅으로서 포함한다.
도 6에 예시된 바와 같은 또 다른 예(600)에서, 검색 결과(222)는 디지털 이미지들의 라이브 스트림(112)의 일부로서 사용자 인터페이스(120)에 의해 증강 현실 디지털 콘텐츠로서 디스플레이된다. AR 관리자 모듈(116)은, 예를 들어, 기하학적 형상(204)의 로케이션에 기초하여 사용자 인터페이스(120) 내에서의 검색 결과(222)의 배치를 결정할 수 있다. 이러한 방식으로, 사용자는 검색 결과의 뷰, 및 더 구체적으로는 검색 결과(222)의 대상인 물품들을, 물리적 환경(108)의 사용자의 뷰를 증강시키는 것으로서, "제자리에" 제공받는다. 옵션들은 또한 검색 결과들(예를 들어, 순위 부여된 리스트)을 통해 내비게이트하여, 예를 들어, 리스트를 스와이핑함으로써, 사용자 선택가능한 역방향(602) 및 순방향(604) 화살표들의 사용을 통해, 기타 등등에 의해, 이러한 물품들을 "제자리에" 보기 위해 제공될 수 있다. 이러한 방식으로, 기하학적 형상은 검색 쿼리를 형성하고 또한 검색 결과에서의 물품들이 물리적 환경(108) 내에서 어떻게 "들어맞을지"를 근사화하기 위해 증강 현실 디지털 콘텐츠로서 보여질 수 있다. 다양한 다른 예들이 또한 고려되고, 또 다른 이러한 예에 대한 논의는 이하의 섹션에 포함되고 대응하는 도면들을 사용하여 도시되어 있다.
증강 현실 디지털 콘텐츠 크기 조정 기술
도 8은 증강 현실 디지털 콘텐츠의 이용을 통해 "들어맞음 평가" 기능을 지원하는 것으로서 도 1의 AR 관리자 모듈(116)의 동작을 나타내는 시스템(800)을 묘사한다. 도 9는 증강 현실 디지털 콘텐츠의 사용을 통해 물리적 환경 내에서 들어맞음이 평가될 디지털 콘텐츠의 물품을 선택하는 예시적인 구현(900)을 묘사한다. 도 10은 도 9의 디지털 콘텐츠로부터의 객체의 들어맞음을 평가하기 위해 증강 현실 디지털 콘텐츠로서 디스플레이된 기하학적 형상의 사용을 나타내는 예시적인 구현(1000)을 묘사한다. 도 11은 기하학적 형상이 디지털 이미지들의 라이브 스트림의 일부로서 증강 현실 디지털 콘텐츠로서 사용되어 디지털 콘텐츠로부터의 객체의 들어맞음을 평가하는 예시적인 구현에서의 절차(1100)를 묘사한다.
다음 논의에서는 전술한 시스템들 및 디바이스들을 이용하여 구현될 수 있는 기술들을 설명한다. 도 8의 모듈들에 의해 단계별로 도시된 절차의 양태들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 도 11의 절차는 하나 이상의 디바이스에 의해 수행되는 동작을 지정하는 블록들의 집합으로서 도시되지만, 각자의 블록들에 의한 동작을 실행하기 위해 도시된 순서에 반드시 제한되는 것은 아니다. 이하의 논의의 일부에서, 도 8 내지 도 11이 참조될 것이다.
이전의 예에서, AR 관리자 모듈(116)은 예를 들어, 디지털 콘텐츠(124)에 의해 지정된 원하는 영역에 들어맞을 수 있는 관심 물품들에 대해 디지털 콘텐츠(124)의 검색을 수행하기 위해 증강 현실 디지털 콘텐츠를 활용한다. 이 예에서, AR 관리자 모듈(116)은 AR 디지털 콘텐츠의 이용을 통해 원하는 로케이션에서의 이용을 위해 위치가 정해진 디지털 콘텐츠의 들어맞음을 평가하는데 활용된다.
이 예에서 시작하여, 객체의 디지털 이미지가 컴퓨팅 디바이스(102)의 사용자 인터페이스(120)에 디스플레이된다(블록 1102). 사용자는, 예를 들어, 컴퓨팅 디바이스(102)와 상호작용하고, 디지털 콘텐츠(124), 예를 들어, 판매를 위한 특정 객체의 제품 리스팅을 찾아낼 수 있다. 디지털 이미지(802)는, 예를 들어 판매를 위한 특정의 객체를 묘사하는, 디지털 콘텐츠(124)의 일부로서 객체(804)에 포함된다. 다른 예들이, 예를 들어, 물품, 블로그, 및 전자 상거래를 수반하지 않는 다른 예들의 디지털 이미지에 포함된 객체가 또한 고려된다.
도 9에 도시된 바와 같이, 예를 들어, 사용자 인터페이스(120)는 제1, 제2, 및 제3 제품 리스팅들(902, 904, 906)을 포함한다. 이러한 리스팅들은 각자의 물품의 "들어맞음"을 평가(908, 910, 912)하기 위해 사용자 선택가능한 각자의 옵션들을 포함한다. 이러한 방식으로, 디지털 콘텐츠와의 사용자 상호작용이 증강 현실 디지털 콘텐츠의 사용을 통해 "실 세계"의 뷰로 확장될 수 있다.
그렇게 하기 위해, 객체의 치수들(808)은 AR 관리자 모듈(116)의 치수 결정 모듈(806)에 의해 결정된다(블록 1104). 이는 다양한 방식으로 수행될 수 있다. 한 예에서, 치수들은 객체 인식에 기초하여 결정된다. 객체는, 예를 들어, 머신 러닝 기술을 사용하여 디지털 이미지(802)로부터(예를 들어, 2차원 디지털 이미지로서) 인식될 수 있다. 그 다음, 객체의 인식은, 예를 들어, 인터넷 검색으로서, 객체 치수들의 데이터베이스로부터, 및 등등으로서 객체 치수들(808)을 획득하기 위해 검색을 수행하기 위한 기초로서 사용된다. 또 다른 예에서, 객체 치수들(808)은 디지털 콘텐츠(124) 자체로부터 적어도 부분적으로 결정된다. 디지털 콘텐츠(124)는, 예를 들어, 객체 치수들(808)을 포함하는 제품 리스팅을 포함할 수 있다. 이는 상기 객체 인식 예를 보완하고 및/또는 치수 결정 모듈(806)에 의한 객체 치수들(808)의 결정을 위한 유일한 기초로서 역할하기 위해 사용될 수 있다.
그 다음, 형상(812)(예를 들어, 3차원 기하학적 형상)이 미리 정의된 복수의 3차원 기하학적 형상으로부터 형상 선택 모듈(810)에 의해 선택된다(블록 1106). 형상 선택 모듈(810)은, 예를 들어, 디지털 이미지(802)에서 객체(804)의 외부 경계를 가장 근사화하는 형상을 찾기 위해 복수의 미리 정의된 형상으로부터 선택할 수 있다. 이는 다양한 방식으로 수행될 수 있다. 한 예에서, 이 선택은 서로 직교하는 (예컨대, 위/아래, 뒤/앞, 좌/우) 방향들, 직교하지 않는 방향들(대각선들) 등으로부터 취해질 수 있는 결정된 치수들(808)에 기초한다. 또 다른 예에서, 이러한 선택은 객체 인식을 사용하여, 예를 들어, 객체(804)가 일반적으로 직육면체, 구형, 및 등등인 것을 인식하도록 수행된다. 객체, 또는 모음 또는 객체들은 그 후 물체(804)의 외부 경계를 근사화하도록, 예를 들어, 테이블 램프를 근사화하기 위해 원추 및 실린더를 선택하도록 선택될 수 있다. 다양한 다른 예들도 또한 고려된다.
그 다음, AR 렌더링 모듈(814)은, 디스플레이 디바이스(122)에 의한 디스플레이를 위한 증강 현실 디지털 콘텐츠로서 객체 치수들(808)에 기초하여 형상을 렌더링하기 위해 AR 관리자 모듈(116)에 의해 이용된다. 예를 들어, 디지털 카메라(110)는 컴퓨팅 디바이스(102)가 배치되는 물리적 환경(108), 예를 들어 도 1의 주방의 디지털 이미지들(112)의 라이브 스트림을 캡처하기 위해 이용될 수 있다(블록 1108).
또한, AR 렌더링 모듈(814)에 의해 물리적 환경(108)의 치수들이 결정된다(블록 1110). 전술한 바와 같이, 이는 디지털 이미지들(112) 자체의 라이브 스트림(예를 들어, 시차), 전용 센서들(예를 들어, 레이더 센서들, 깊이 센서들)의 사용 등에 기초하여 하는 것을 포함하는 다양한 방식들로 수행될 수 있다.
그 다음, 선택된 3차원 기하학적 형상(812)은 AR 렌더링 모듈(814)에 의해 렌더링되고, 디지털 이미지들(112)의 라이브 스트림의 일부로서 객체의 결정된 치수들에 기초하여 디스플레이 디바이스(122)에 의해 증강 현실 디지털 콘텐츠로서 디스플레이된다(블록 1112). AR 렌더링 모듈(814)은, 예를 들어, 물리적 환경의 치수들을 기술하는 데이터를 포함한다. 이러한 치수들에 기초하여, AR 렌더링 모듈(814)은, 형상(812)의 크기가 물리적 환경(108)의 치수들과 대응하도록, 사용자 인터페이스(120)에서 형상(812)을 렌더링할 크기를 결정한다. 그 결과, 형상(812)은 디지털 이미지들(112)의 라이브 스트림의 일부로서 보일 때 "실제로 거기에 있는 것처럼 보인다".
전술된 바와 같이, 한 예에서, 형상(812)은 객체(804)의 외부 치수들을 근사화하도록 선택되고, 따라서 객체(804)의 전체 치수들을 대략적으로 모델링하는 것으로 간주될 수 있으며 따라서 객체(804)의 상세한 모델링에 수반되는 자원 소비를 피한다. 그 결과, 디지털 이미지(802)가 증가된 계산 효율을 통해 수신됨에 따라, 형상(812)은 실시간으로 사용자 인터페이스에서 객체(804)의 대략적인 치수들을 표현하기 위해 사용될 수 있다. 형상(812)에 의한 객체(804)의 이러한 표현의 예가 도 10에 도시되는데, 여기서 3차원 기하학적 형상(1002)이 도 9의 토스터 오븐의 외부 경계를 근사화하기 위해 사용되지만, 객체(804)의 상세한 모델링을 수반하지는 않는다. 객체(804)의 대응하는 부분들을 표현하기 위해 복수의 형상(812)을 사용하는 상세한 모델링이 사용되는 다른 예들이 또한 고려된다.
전술한 바와 같이, 사용자 인터페이스(120)는 또한 객체를 부엌 주방용 조리대상의 상이한 위치들에 배치하는 것 등등과 같이, 물리적 환경의 뷰 내에서 3차원 기하학적 형상(1002)을 재위치시키는 기술들을 지원한다. 이에 응답하여, AR 렌더링 모듈(814)은 또한, 예를 들어, 사용자 인터페이스에서 "멀리" 이동될 때 더 작아지고 더 가깝게 이동될 때 더 크게 나타나도록 그 위치에서의 물리적 환경의 치수들에 대응시키기 위해 형상의 크기를 조절한다. 이러한 방식으로, 디지털 이미지(802)에 포함된 객체들(804)에 관한 사용자의 통찰력 및 지식을 확장하기 위해, 디지털 콘텐츠(124)와의 사용자 상호작용이 AR 디지털 콘텐츠(118)의 사용을 통해 확장될 수 있다.
예시적인 시스템 및 디바이스
도 12는 본 명세서에 설명된 다양한 기술을 구현할 수 있는 하나 이상의 컴퓨팅 시스템 및/또는 디바이스를 나타내는 예시적인 컴퓨팅 디바이스(1202)를 포함하는 예시적인 시스템을 일반적으로 (1200)에서 예시한다. 이는 AR 관리자 모듈(116)의 포함을 통해 예시된다. 컴퓨팅 디바이스(1202)는, 예를 들어, 서비스 제공자의 서버, 클라이언트와 연관된 디바이스(예를 들어, 클라이언트 디바이스), 온 칩(on-chip) 시스템 및/또는 임의의 다른 적절한 컴퓨팅 디바이스 또는 컴퓨팅 시스템일 수 있다.
예시된 바와 같은 예시적인 컴퓨팅 디바이스(1202)는 서로 통신가능하게 결합된 처리 시스템(1204), 하나 이상의 컴퓨터 판독가능한 매체(1206), 및 하나 이상의 I/O 인터페이스(1208)를 포함한다. 도시되지는 않았지만, 컴퓨팅 디바이스(1202)는 다양한 컴포넌트들을 서로 결합하는 시스템 버스 또는 다른 데이터 및 명령 전달 시스템을 추가로 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 제어기, 주변 버스, 범용 직렬 버스, 및/또는 다양한 버스 아키텍처들 중 임의의 것을 활용하는 프로세서 또는 로컬 버스와 같은 상이한 버스 구조들 중 어느 하나 또는 조합을 포함할 수 있다. 제어 및 데이터 라인들과 같은 다양한 다른 예들이 또한 고려된다.
처리 시스템(1204)은 하드웨어를 이용하여 하나 이상의 동작을 수행하는 기능을 나타낸다. 따라서, 처리 시스템(1204)은 프로세서들, 기능 블록들 등으로 구성될 수 있는 하드웨어 요소(1210)를 포함하는 것으로 도시된다. 이것은 하나 이상의 반도체를 사용하여 형성된 주문형 집적 회로(application specific integrated circuit) 또는 다른 논리 디바이스로서 하드웨어에서의 구현을 포함할 수 있다. 하드웨어 요소들(1210)은 이들이 형성되는 재료들 또는 그 내부에서 이용된 처리 메커니즘들에 의해 제한되지 않는다. 예를 들어, 프로세서는 반도체(들) 및/또는 트랜지스터[예를 들어, 전자 집적 회로(IC)]로 이루어져 있을 수 있다. 이와 관련하여, 프로세서 실행가능 명령어는 전자적으로 실행가능한 명령어일 수 있다.
컴퓨터 판독가능 저장 매체(1206)는 메모리/스토리지(1212)를 포함하는 것으로 예시되어 있다. 메모리/스토리지(1212)는 하나 이상의 컴퓨터 판독가능한 매체와 연관된 메모리/저장 용량을 나타낸다. 메모리/저장 컴포넌트(1212)는 (RAM과 같은) 휘발성 매체 및/또는 (ROM, 플래시 메모리, 광 디스크들, 자기 디스크들 등과 같은) 비휘발성 매체를 포함할 수 있다. 메모리/저장 컴포넌트(1212)는 이동식 매체(예를 들어, 플래시 메모리, 이동식 하드 드라이브, 광학 디스크 등)뿐만 아니라 고정 매체(예를 들어, RAM, ROM, 고정 하드 드라이브 등)를 포함할 수 있다. 컴퓨터 판독가능한 매체(1206)는 이하에서 추가로 설명되는 바와 같이 다양한 다른 방법들로 구성될 수 있다.
입/출력 인터페이스(들)(1208)는 사용자가 명령들 및 정보를 컴퓨팅 디바이스(1202)에 입력할 수 있게 하고, 또한 다양한 입/출력 디바이스들을 이용하여 정보가 사용자 및/또는 다른 컴포넌트들 또는 디바이스들에게 제공되게 할 수 있는 기능을 나타낸다. 입력 디바이스들의 예들은 키보드, 커서 제어 디바이스(예를 들어, 마우스), 마이크로폰, 스캐너, 터치 기능(예를 들어, 물리적 터치를 검출하도록 구성된 용량성 또는 다른 센서들), (예를 들어, 가시적 파장들 또는 적외선 주파수들과 같은 비가시적 파장들을 이용하여 터치를 수반하지 않는 제스처들로서 움직임을 인식할 수 있는) 카메라 등을 포함한다. 출력 디바이스들의 예들은 디스플레이 디바이스(예를 들어, 모니터 또는 프로젝터), 스피커들, 프린터, 네트워크 카드, 촉각 반응 디바이스 등을 포함한다. 따라서, 컴퓨팅 디바이스(1202)는 사용자 상호작용을 지원하기 위해 이하에서 추가로 설명되는 바와 같이 다양한 방식들로 구성될 수 있다.
소프트웨어, 하드웨어 요소들 또는 프로그램 모듈들의 일반적인 맥락에서 다양한 기술들이 본 명세서에서 설명될 수 있다. 일반적으로, 이러한 모듈들은 특정 작업들을 수행하거나 특정 추상 데이터 유형들을 구현하는 루틴들, 프로그램들, 객체들, 요소들, 컴포넌트들, 데이터 구조들 등을 포함한다. 본 명세서에서 사용된 용어들 "모듈", "기능" 및 "컴포넌트"는 일반적으로 소프트웨어, 펌웨어, 하드웨어 또는 그 조합을 나타낸다. 본 명세서에 설명된 기술들의 특징들은 플랫폼-독립적인데, 이는 그 기술들이 다양한 프로세서들을 갖는 다양한 상용 컴퓨팅 플랫폼들에서 구현될 수 있다는 것을 의미한다.
설명된 모듈들 및 기술들의 구현은 컴퓨터 판독가능 매체의 일부 형태를 통해 저장되거나 전송될 수 있다. 컴퓨터 판독가능 매체는 컴퓨팅 디바이스(1202)에 의해 액세스될 수 있는 다양한 매체를 포함할 수 있다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 "컴퓨터 판독가능 저장 매체" 및 "컴퓨터 판독가능 신호 매체"를 포함할 수 있다.
"컴퓨터 판독가능 저장 매체"는 단순한 신호 전송, 반송파들, 또는 신호들 그 자체와 달리 정보의 지속적인 및/또는 비일시적인 저장을 가능하게 하는 매체 및/또는 디바이스들을 지칭할 수 있다. 따라서, 컴퓨터 판독가능 저장 매체는 비-신호 담지 매체(non-signal bearing media)를 지칭한다. 컴퓨터 판독가능 저장 매체는 휘발성 및 비휘발성, 이동식 및 비이동식 매체와 같은 하드웨어 및/또는 컴퓨터 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들, 논리 요소들/회로들 또는 다른 데이터와 같은 정보의 저장에 적합한 방법 또는 기술로 구현된 저장 디바이스들을 포함한다. 컴퓨터 판독가능 저장 매체의 예들은 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광학 저장소, 하드 디스크들, 자기 카세트들, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 다른 저장 디바이스, 유형의 매체, 또는 원하는 정보를 저장하기에 적합하고 컴퓨터에 의해 액세스될 수 있는 제조 물품을 포함할 수 있지만, 이에 제한되지는 않는다.
"컴퓨터 판독가능 신호 매체"는 네트워크를 통하는 것과 같이 컴퓨팅 디바이스(1202)의 하드웨어에 명령어들을 전송하도록 구성된 신호 담지 매체를 지칭할 수 있다. 신호 매체는 전형적으로 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 반송파들, 데이터 신호들 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호로 구현할 수 있다. 신호 매체는 또한 임의의 정보 전달 매체를 포함한다. 용어 "변조된 데이터 신호"는 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경된 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 및 음향, RF, 적외선, 및 다른 무선 매체와 같은 무선 매체를 포함한다.
전술한 바와 같이, 하드웨어 요소들(1210) 및 컴퓨터 판독가능 매체(1206)는 하나 이상의 명령어를 수행하기 위한 것과 같이, 본 명세서에서 설명되는 기술들의 적어도 일부 양태들을 구현하기 위해 일부 실시예들에서 이용될 수 있는 하드웨어 형태로 구현된 모듈들, 프로그래머블 디바이스 논리 및/또는 고정 디바이스 논리를 나타낸다. 하드웨어는 집적 회로 또는 온-칩 시스템, ASIC(application-specific integrated circuit), FPGA(field-programmable gate array), CPLD(complex programmable logic device), 및 실리콘 또는 다른 하드웨어의 다른 구현들의 컴포넌트들을 포함할 수 있다. 이런 맥락에서, 하드웨어는 실행을 위한 명령어들을 저장하는데 이용되는 하드웨어, 예를 들어, 전술한 컴퓨터 판독가능한 저장 매체뿐만 아니라 하드웨어에 의해 구현된 명령어들 및/또는 논리에 의해 정의된 프로그램 작업들을 수행하는 처리 디바이스로서 동작할 수 있다.
본 명세서에서 설명된 다양한 기술을 구현하기 위해 전술된 것의 조합이 역시 채택될 수 있다. 따라서, 소프트웨어, 하드웨어 또는 실행가능 모듈들은 컴퓨터 판독가능 저장 매체의 일부 형태 상에 및/또는 하나 이상의 하드웨어 요소(1210)에 의해 구현되는 하나 이상의 명령어 및/또는 논리로서 구현될 수 있다. 컴퓨팅 디바이스(1202)는 소프트웨어 및/또는 하드웨어 모듈들에 대응하는 특정 명령어들 및/또는 기능들을 구현하도록 구성될 수 있다. 따라서, 소프트웨어로서 컴퓨팅 디바이스(1202)에 의해 실행가능한 모듈의 구현은 예를 들어, 처리 시스템(1204)의 하드웨어 요소들(1210) 및/또는 컴퓨터 판독가능 저장 매체의 이용을 통해 적어도 부분적으로 하드웨어로 달성될 수 있다. 명령어들 및/또는 기능들은 본 명세서에 기술된 기술들, 모듈들 및 예들을 구현하기 위해 하나 이상의 제조 물품(예를 들어, 하나 이상의 컴퓨팅 디바이스(1202) 및/또는 처리 시스템(1204))에 의해 실행가능/동작가능할 수 있다.
본 명세서에서 설명되는 기술들은 컴퓨팅 디바이스(1202)의 다양한 구성들에 의해 지원될 수 있으며 본 명세서에서 설명되는 기술들의 특정 예들에 제한되지 않는다. 이 기능은 또한 이하에서 설명되는 바와 같이 플랫폼(1216)을 통한 "클라우드"(1214)와 같은 분산 시스템의 이용을 통해 전부 또는 부분적으로 구현될 수 있다.
클라우드(1214)는 자원들(1218)에 대한 플랫폼(1216)을 포함하고 및/또는 이를 나타낸다. 플랫폼(1216)은 하드웨어(예를 들어, 서버들)의 기본 기능 및 클라우드(1214)의 소프트웨어 자원들을 추상화한다. 자원들(1218)은 컴퓨터 처리가 컴퓨팅 디바이스(1202)로부터 원격인 서버들상에서 실행되는 동안 활용될 수 있는 애플리케이션들 및/또는 데이터를 포함할 수 있다. 자원들(1218)은 또한 인터넷을 통해 및/또는 셀룰러 또는 Wi-Fi 네트워크와 같은 가입자 네트워크를 통해 제공되는 서비스들을 포함할 수 있다.
플랫폼(1216)은 컴퓨팅 디바이스(1202)를 다른 컴퓨팅 디바이스들과 접속하기 위한 자원들 및 기능들을 추상화할 수 있다. 플랫폼(1216)은 또한 플랫폼(1216)을 통해 구현되는 자원들(1218)에 대한 마주치는 요구에 대해 대응하는 스케일 레벨을 제공하기 위해 자원들의 스케일링을 추상화하는 역할을 할 수 있다. 따라서, 상호접속된 디바이스 실시예에서, 본 명세서에서 설명되는 기능의 구현은 시스템(1200) 전체에 걸쳐 분산될 수 있다. 예를 들어, 이러한 기능은 클라우드(1214)의 기능을 추상화하는 플랫폼(1216)을 통해서 뿐만 아니라 컴퓨팅 디바이스(1202) 상에서 부분적으로 구현될 수 있다.
결론
본 발명이 구조적 특징 및/또는 방법적 액트에 특정적인 언어로 설명되어 있지만, 첨부된 특허청구범위에 정의된 본 발명이 설명된 특정의 특징 또는 액트로 반드시 제한되는 것은 아니라는 것을 잘 알 것이다. 오히려, 특정한 특징들 및 액트들은 청구한 본 발명을 구현하는 예시적인 형태들로서 개시된다.

Claims (20)

  1. 컴퓨팅 디바이스에서 구현되는 방법으로서:
    상기 컴퓨팅 디바이스의 카메라에 의해, 물리적 환경의 라이브 스트림을 캡처하는 단계;
    상기 컴퓨팅 디바이스에 의해, 객체가 배치될 상기 물리적 환경에서의 영역의 형상을 근사화하기 위해 기하학적 형상을 선택하는 입력을 수신하는 단계;
    상기 컴퓨팅 디바이스의 디스플레이 디바이스에 의해, 상기 기하학적 형상을 상기 물리적 환경의 상기 라이브 스트림의 일부로서 포함된 증강 현실 디지털 콘텐츠로서 디스플레이하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 기하학적 형상의 크기를 계산하는 단계; 및
    상기 컴퓨팅 디바이스에 의해, 상기 기하학적 형상의 상기 계산된 크기에 들어맞는 적어도 하나의 객체를 디스플레이하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 기하학적 형상을 선택하는 입력은 상기 컴퓨팅 디바이스에 의해 디스플레이된 사용자 인터페이스로부터 상기 기하학적 형상을 선택하는 방법.
  3. 제1항에 있어서,
    상기 기하학적 형상은 2차원 기하학적 형상인 방법.
  4. 제1항에 있어서,
    상기 기하학적 형상은 3차원 기하학적 형상인 방법.
  5. 제4항에 있어서,
    상기 기하학적 형상은 직육면체, 구, 또는 원통인 방법.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 적어도 하나의 객체를 디스플레이하는 단계는 상기 물리적 환경의 상기 라이브 스트림의 일부로서 포함된 증강 현실 디지털 콘텐츠로서 상기 기하학적 형상 대신에 상기 적어도 하나의 객체를 디스플레이하는 단계를 포함하는 방법.
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제6항에 있어서,
    상기 형상의 상기 계산된 크기에 들어맞는 추가적인 객체를 네비게이트하기 위한 추가적인 사용자 입력을 수신하는 단계; 및
    상기 추가적인 사용자 입력에 응답하여, 상기 물리적 환경의 상기 라이브 스트림의 일부로서 포함된 증강 현실 디지털 콘텐츠로서 상기 객체 대신에 상기 추가적인 객체를 디스플레이하는 단계
    를 추가로 포함하는 방법.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 적어도 하나의 객체를 디스플레이하는 단계는 상기 형상의 상기 계산된 크기에 들어맞는 다수의 객체를 디스플레이하는 단계를 추가로 포함하는 방법.
  9. 컴퓨팅 디바이스로서,
    물리적 환경의 라이브 스트림을 캡처하는 카메라; 및
    동작들을 수행하는 적어도 메모리 및 프로세서를 포함하고, 상기 동작들은:
    객체가 배치될 상기 물리적 환경 내의 영역의 형상을 근사화하기 위해 기하학적 형상을 선택하는 입력을 수신하는 동작;
    상기 기하학적 형상을 상기 물리적 환경의 상기 라이브 스트림의 일부로서 포함된 증강 현실 디지털 콘텐츠로서 디스플레이하는 동작;
    상기 기하학적 형상의 크기를 계산하는 동작; 및
    상기 기하학적 형상의 상기 계산된 크기에 들어맞는 적어도 하나의 객체를 디스플레이하는 동작
    을 포함하는 컴퓨팅 디바이스.
  10. 제9항에 있어서,
    상기 기하학적 형상을 선택하는 입력은 상기 컴퓨팅 디바이스에 의해 디스플레이된 사용자 인터페이스로부터 상기 기하학적 형상을 선택하는 컴퓨팅 디바이스.
  11. 제9항에 있어서,
    상기 기하학적 형상은 2차원 기하학적 형상을 포함하는 컴퓨팅 디바이스.
  12. 제9항에 있어서,
    상기 기하학적 형상은 3차원 기하학적 형상을 포함하는 컴퓨팅 디바이스.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제9항에 있어서,
    상기 적어도 하나의 객체를 디스플레이하는 동작은 상기 물리적 환경의 상기 라이브 스트림의 일부로서 포함된 증강 현실 디지털 콘텐츠로서 상기 기하학적 형상 대신에 상기 적어도 하나의 객체를 디스플레이하는 동작을 포함하는 컴퓨팅 디바이스.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서,
    상기 동작들은,
    상기 형상의 상기 계산된 크기에 들어맞는 추가적인 객체를 네비게이트하기 위한 추가적인 사용자 입력을 수신하는 동작; 및
    상기 추가적인 사용자 입력에 응답하여, 상기 물리적 환경의 상기 라이브 스트림의 일부로서 포함된 증강 현실 디지털 콘텐츠로서 상기 객체 대신에 상기 추가적인 객체를 디스플레이하는 동작
    을 추가로 포함하는 컴퓨팅 디바이스.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제9항에 있어서,
    상기 적어도 하나의 객체를 디스플레이하는 동작은 상기 형상의 상기 계산된 크기에 들어맞는 다수의 객체를 디스플레이하는 동작을 추가로 포함하는 컴퓨팅 디바이스.
  16. 하나 이상의 프로세서에 의한 실행에 응답하여, 동작들을 수행하는 저장된 명령어들을 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 동작들은:
    컴퓨팅 디바이스의 카메라에 의해, 물리적 환경의 라이브 스트림을 캡처하는 동작;
    상기 컴퓨팅 디바이스에 의해, 객체가 배치될 상기 물리적 환경에서의 영역의 형상을 근사화하기 위해 기하학적 형상을 선택하는 입력을 수신하는 동작;
    상기 컴퓨팅 디바이스의 디스플레이 디바이스에 의해, 상기 기하학적 형상을 상기 물리적 환경의 상기 라이브 스트림의 일부로서 포함된 증강 현실 디지털 콘텐츠로서 디스플레이하는 동작;
    상기 컴퓨팅 디바이스에 의해, 상기 기하학적 형상의 크기를 계산하는 동작; 및
    상기 컴퓨팅 디바이스에 의해, 상기 기하학적 형상의 상기 계산된 크기에 들어맞는 적어도 하나의 객체를 디스플레이하는 동작
    을 포함하는 컴퓨터 판독가능 저장 매체
  17. 제16항에 있어서,
    상기 기하학적 형상을 선택하는 입력은 상기 컴퓨팅 디바이스에 의해 디스플레이된 사용자 인터페이스로부터 상기 기하학적 형상을 선택하는 컴퓨터 판독가능 저장 매체.
  18. 제16항에 있어서,
    상기 기하학적 형상은 3차원 기하학적 형상을 포함하는 컴퓨터 판독가능 저장 매체.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제16항에 있어서,
    상기 적어도 하나의 객체를 디스플레이하는 동작은 상기 물리적 환경의 상기 라이브 스트림의 일부로서 포함된 증강 현실 디지털 콘텐츠로서 상기 기하학적 형상 대신에 상기 적어도 하나의 객체를 디스플레이하는 동작을 포함하는 컴퓨터 판독가능 저장 매체.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제16항에 있어서,
    상기 적어도 하나의 객체를 디스플레이하는 동작은 상기 형상의 상기 계산된 크기에 들어맞는 다수의 객체를 디스플레이하는 동작을 추가로 포함하는 컴퓨터 판독가능 저장 매체.
KR1020217007217A 2018-09-25 2019-09-18 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술 KR102471195B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227040955A KR20220164063A (ko) 2018-09-25 2019-09-18 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/141,700 US10573019B1 (en) 2018-09-25 2018-09-25 Augmented reality digital content search and sizing techniques
US16/141,700 2018-09-25
US16/560,113 US10726571B2 (en) 2018-09-25 2019-09-04 Augmented reality digital content search and sizing techniques
US16/560,113 2019-09-04
PCT/US2019/051763 WO2020068517A1 (en) 2018-09-25 2019-09-18 Augmented reality digital content search and sizing techniques

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227040955A Division KR20220164063A (ko) 2018-09-25 2019-09-18 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술

Publications (2)

Publication Number Publication Date
KR20210043627A KR20210043627A (ko) 2021-04-21
KR102471195B1 true KR102471195B1 (ko) 2022-11-29

Family

ID=69590816

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217007217A KR102471195B1 (ko) 2018-09-25 2019-09-18 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술
KR1020227040955A KR20220164063A (ko) 2018-09-25 2019-09-18 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227040955A KR20220164063A (ko) 2018-09-25 2019-09-18 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술

Country Status (5)

Country Link
US (4) US10573019B1 (ko)
EP (1) EP3857441A1 (ko)
KR (2) KR102471195B1 (ko)
CN (1) CN112771536B (ko)
WO (1) WO2020068517A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223740B1 (en) 2016-02-01 2019-03-05 Allstate Insurance Company Virtual reality visualization system with object recommendation engine
US10360454B1 (en) * 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
US10573019B1 (en) 2018-09-25 2020-02-25 Ebay Inc. Augmented reality digital content search and sizing techniques
US11321768B2 (en) 2018-12-21 2022-05-03 Shopify Inc. Methods and systems for an e-commerce platform with augmented reality application for display of virtual objects
US11610247B2 (en) * 2019-04-05 2023-03-21 Shopify Inc. Method and system for recommending items for a surface
US11138798B2 (en) * 2019-05-06 2021-10-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
US11775130B2 (en) 2019-07-03 2023-10-03 Apple Inc. Guided retail experience
US11816800B2 (en) * 2019-07-03 2023-11-14 Apple Inc. Guided consumer experience
US11471773B2 (en) * 2019-08-01 2022-10-18 Krikey, Inc. Occlusion in mobile client rendered augmented reality environments
US11836977B2 (en) * 2019-12-05 2023-12-05 W.W. Grainger, Inc. System and method for hybrid visual searches and augmented reality
KR20220027651A (ko) * 2020-08-27 2022-03-08 삼성전자주식회사 증강 현실 컨텐트를 제공하는 전자 장치와 이의 동작 방법
US11276247B1 (en) 2020-10-28 2022-03-15 Shopify Inc. Systems and methods for providing augmented media
US11593870B2 (en) * 2020-10-28 2023-02-28 Shopify Inc. Systems and methods for determining positions for three-dimensional models relative to spatial features
KR20220094988A (ko) * 2020-12-29 2022-07-06 삼성전자주식회사 증강 현실, 가상 현실, 혼합 현실 및 확장 현실 서비스를 제공하기 위한 장치 및 방법
CN115776575A (zh) * 2021-09-06 2023-03-10 北京字跳网络技术有限公司 物品的展示方法、装置、电子设备和存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075532A (en) * 1998-03-23 2000-06-13 Microsoft Corporation Efficient redrawing of animated windows
US6373489B1 (en) * 1999-01-12 2002-04-16 Schlumberger Technology Corporation Scalable visualization for interactive geometry modeling
US20050273346A1 (en) 2004-06-02 2005-12-08 Frost Richard N Real property information management system and method
JP2009531745A (ja) * 2006-03-30 2009-09-03 モナシュ ユニバーシティー 変形可能な物体間の相互作用をモデル化する方法
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP4958853B2 (ja) 2008-07-01 2012-06-20 ヤフー株式会社 商品検索サーバ、商品検索方法、プログラム、及び商品検索システム
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8866818B2 (en) 2009-06-19 2014-10-21 Microsoft Corporation Composing shapes and data series in geometries
US8644551B2 (en) 2009-10-15 2014-02-04 Flyby Media, Inc. Systems and methods for tracking natural planar shapes for augmented reality applications
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9547938B2 (en) * 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view
US8842163B2 (en) * 2011-06-07 2014-09-23 International Business Machines Corporation Estimation of object properties in 3D world
EP2546806B1 (en) * 2011-07-11 2019-05-08 Deutsche Telekom AG Image based rendering for ar - enabling user generation of 3d content
US20130097197A1 (en) 2011-10-14 2013-04-18 Nokia Corporation Method and apparatus for presenting search results in an active user interface element
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
KR20130101622A (ko) * 2012-02-14 2013-09-16 구대근 증강 현실 기반의 3 차원 디자인을 위한 디자인 평가용 모바일 장치, 디자인 평가 시스템 및 디자인 평가 방법
US9129404B1 (en) * 2012-09-13 2015-09-08 Amazon Technologies, Inc. Measuring physical objects and presenting virtual articles
US20140270477A1 (en) 2013-03-14 2014-09-18 Jonathan Coon Systems and methods for displaying a three-dimensional model from a photogrammetric scan
US9286727B2 (en) 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US9471957B2 (en) * 2014-03-28 2016-10-18 Smart Technologies Ulc Method for partitioning, managing and displaying a collaboration space and interactive input system employing same
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
US20180276882A1 (en) 2015-01-12 2018-09-27 Pcms Holdings, Inc. Systems and methods for augmented reality art creation
US20160300179A1 (en) 2015-04-13 2016-10-13 Real Picking, LLC Holographic picking system and method for picking products utilizing a holographic picking system
US9965793B1 (en) * 2015-05-08 2018-05-08 Amazon Technologies, Inc. Item selection based on dimensional criteria
US9495399B1 (en) 2015-11-24 2016-11-15 International Business Machines Corporation Augmented reality model comparison and deviation detection
US11146661B2 (en) * 2016-06-28 2021-10-12 Rec Room Inc. Systems and methods for detecting collaborative virtual gestures
CA3033344A1 (en) * 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
JP6736423B2 (ja) * 2016-08-26 2020-08-05 株式会社キーエンス 三次元測定装置
US10115236B2 (en) * 2016-09-21 2018-10-30 Verizon Patent And Licensing Inc. Placing and presenting virtual objects in an augmented reality environment
US10685386B2 (en) * 2016-11-30 2020-06-16 Bank Of America Corporation Virtual assessments using augmented reality user devices
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US11200811B2 (en) * 2018-08-03 2021-12-14 International Business Machines Corporation Intelligent recommendation of guidance instructions
US10573019B1 (en) 2018-09-25 2020-02-25 Ebay Inc. Augmented reality digital content search and sizing techniques

Also Published As

Publication number Publication date
US20200273195A1 (en) 2020-08-27
US10573019B1 (en) 2020-02-25
CN112771536B (zh) 2023-11-24
US11551369B2 (en) 2023-01-10
KR20210043627A (ko) 2021-04-21
US20200098123A1 (en) 2020-03-26
US20210192765A1 (en) 2021-06-24
US10726571B2 (en) 2020-07-28
US10970867B2 (en) 2021-04-06
WO2020068517A1 (en) 2020-04-02
CN112771536A (zh) 2021-05-07
EP3857441A1 (en) 2021-08-04
KR20220164063A (ko) 2022-12-12

Similar Documents

Publication Publication Date Title
KR102471195B1 (ko) 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술
KR102596920B1 (ko) 카메라 플랫폼 및 객체 재고 제어
US11200617B2 (en) Efficient rendering of 3D models using model placement metadata
US10365713B2 (en) Method and apparatus for providing interface recognizing movement in accordance with user's view
KR101636027B1 (ko) 실세계 객체들의 3ｄ 모델들 및 실제 스케일 메타데이터를 캡처하고 이동시키기 위한 방법들 및 시스템들
US9977566B2 (en) Computerized systems and methods for rendering an animation of an object in response to user input
KR102511094B1 (ko) 디지털 이미지 캡처 세션 및 메타데이터 연관
US20180061128A1 (en) Digital Content Rendering Coordination in Augmented Reality
CN112166461A (zh) 物理对象边界检测技术和系统
CN108876706B (zh) 根据全景图像的缩略图生成
JP2023063260A (ja) デジタルコンテンツビュー制御システム
KR20200135993A (ko) 채색된 3차원 디지털 모델 생성
US10410429B2 (en) Methods and apparatus for three-dimensional image reconstruction
US20180232125A1 (en) Contextual Linking of Digital Representations of Objects with Documents
CN116737747A (zh) 呈现信息的方法和装置
CN116340549A (zh) 数据处理方法、装置、设备、存储介质及程序产品
WO2010050237A1 (ja) データ圧縮システム、表示システムおよびデータ圧縮方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant