KR102541812B1 - 거울상을 포함하는 시야 내의 증강 현실 - Google Patents

거울상을 포함하는 시야 내의 증강 현실 Download PDF

Info

Publication number
KR102541812B1
KR102541812B1 KR1020187028063A KR20187028063A KR102541812B1 KR 102541812 B1 KR102541812 B1 KR 102541812B1 KR 1020187028063 A KR1020187028063 A KR 1020187028063A KR 20187028063 A KR20187028063 A KR 20187028063A KR 102541812 B1 KR102541812 B1 KR 102541812B1
Authority
KR
South Korea
Prior art keywords
user
image
data
reality
display screen
Prior art date
Application number
KR1020187028063A
Other languages
English (en)
Other versions
KR20190039663A (ko
Inventor
론 페렌스
바라크 후르위츠
카밀라 도린
길라 카미
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20190039663A publication Critical patent/KR20190039663A/ko
Application granted granted Critical
Publication of KR102541812B1 publication Critical patent/KR102541812B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

현실을 증강하는 시스템, 장치 및/또는 방법. 물체 식별기는 전통적인 거울의 표면과 같은 반사 표면으로부터의 사용자의 거울상을 포함하는 사용자의 시야 내의 물체를 식별할 수 있다. 또한, 현실 증강기는 물체의 식별에 기초하여 증강 현실 물체를 생성할 수 있다. 일 예에서, 상대적으로 투명한 디스플레이 스크린을 포함하는 안경은 사용자 상의 이미지 캡처 디바이스와 연결될 수 있고 증강 현실 물체는 사용자가 안경을 착용할 때 투명한 디스플레이 스크린 상에서 사용자에 의해 관찰될 수 있다. 로컬라이저는 사용자에 의한 거울상의 자연스러운 시각적 인식 동안 투명한 디스플레이 스크린을 통과하는 사용자의 거울상에 관련하여 증강 현실 물체를 투명한 디스플레이 스크린 상에 배치할 수 있다.

Description

거울상을 포함하는 시야 내의 증강 현실
관련 출원에 대한 상호 참조
본 출원은 2016년 3월 31일자로 출원된 미국 가 특허출원 제 15/087,478 호의 우선권의 이익을 주장한다.
기술 분야
실시예는 일반적으로 증강 현실(augmented reality)에 관한 것이다. 특히, 실시예는 거울상(reflection)을 포함하는 시야 내의 증가된 현실에 관한 것이다.
스마트 거울 기능성(smart mirror functionality)을 제공하는 시스템은 센서를 이용한 비교적 정교한 디스플레이 기술을 포함할 수 있다. 예를 들어, 터치 스크린 스마트 거울은 3 차원(three-dimensional, 3D) 카메라, 멀티스펙트럼 카메라, 얼굴 인식 구성요소, 가스 센서 등을 포함할 수 있다. 일 시스템에서, 비교적 반사도가 높은 투명한 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이는 가상의 피팅 룸 기능성을 제공할 수 있다. 다른 시스템은 사용자의 외모를 개선할 수 있고, 얼굴을 일분 가량 분석한 것에 기초하여 건강 보고서를 제공할 수 있으며, 기타 여러가지를 할 수 있다. 그러나, 이러한 시스템의 비용은 강화된 거울 또는 디스플레이 기술로 인해 전통적인 거울보다 훨씬 클 수 있다. 따라서, 현실감 증강을 위한 스마트 거울 기능성의 제공에는 상당한 개선의 여지가 있다.
실시예의 다양한 장점은 다음의 명세서 및 첨부된 청구범위를 읽고 다음의 도면을 참조함으로써 관련 기술분야에서 통상의 기술자에게 명백해질 것이다.
도 1a 및 도 1b는 실시예에 따라 안경 및 전통적인 거울을 사용하여 현실을 증강하는 접근법의 예를 도시한다.
도 2는 실시예에 따라 현실을 증강하는 장치의 예를 도시한다.
도 3은 실시예에 따라 현실을 증강하는 방법의 예를 도시한다.
도 4는 실시예에 따라 프로세서의 예의 블록도이다.
이제 도 1a 및 도 1b를 참조하면, 실시예에 따라 현실을 증강하는 접근법(10)이 도시된다. 도 1a에 도시된 바와 같이, 사용자(12)는 기존 방식의 거울(16)의 반사 표면(14) 앞에 서서 의복(20)의 소매로 가려져 있고 웨어러블 디바이스(22)와 연결된 팔(18)을 올리는 것을 비롯한 제스처를 수행한다. 의복(22)은 패턴(예를 들어, 끼워 짠 것, 프린팅된 것, 스티치된 것 등)이 없는 스웨터를 포함하며 웨어러블 디바이스(22)는 사용자(12), 웨어러블 디바이스(22) 및/또는 환경(24)(예를 들어, 방 등)에 센서 데이터를 제공하는 스마트 시계를 포함한다. 웨어러블 디바이스(22)는 예를 들어, 사용자(12)에게 가스 센서 데이터를, 사용자(12)에게 맥박 센서 데이터를, 사용자(12)에게 혈압 데이터를, 사용자(12) 및/또는 웨어러블 디바이스(22)로 가속 데이터를, 사용자(12) 및/또는 웨어러블 디바이스(22)로 방향 데이터를, 사용자(12) 및/또는 환경(24)으로 온도 데이터를, 사용자(12), 웨어러블 디바이스(22) 및/또는 환경(24)으로 위치 데이터를, 등등을 제공할 수 있다.
사용자(12)가 물체를 자연스럽게 시각적으로 인식하는 동안, 사용자(12)는 물체의 이미지가 사용자(12)의 눈으로 건네지는 투명한 디스플레이 스크린(28)(28a-28b)을 포함하는 안경(26)을 착용하고 있다. 투명한 디스플레이 스크린(28)은 예를 들어, 비교적 낮은 반사도를 갖는 투명한 유기 발광 다이오드(OLED) 디스플레이 스크린을 포함할 수 있다. 안경(26)은 2 차원(two-dimensional, 2D) 카메라, 3 차원(3D) 카메라, 멀티스펙트럼 카메라, 열 카메라 등을 포함할 수 있는 이미지 캡처 디바이스(32)를 더 포함한다. 도시된 예에서, 이미지 캡처 디바이스(32)는 이미지 캡처 디바이스(32)의 시야 내 물체에 대한 이미지 데이터(예를 들어, RGB 데이터 등) 및/또는 깊이 데이터(예를 들어, 픽셀 깊이 데이터 등)를 생성하는 레인지 카메라(예를 들어, RGB-D 카메라 등)를 포함한다. 이미지 데이터 및/또는 깊이 데이터는 예를 들어, 스테레오 삼각 측량(stereo triangulation), 광 삼각 측량 시트(sheet of light triangulation), 구조화된 광(structured light), 비행 시간(time-of-flight), 간섭계(interferometry), 코딩된 조리개(coded aperture) 등에 기초하여 생성될 수 있다
도시된 예에서, 거울(16)은 또한 사용자(12)를 마주하여 이미지 캡처 디바이스(34)의 시야 내 물체에 대한 이미지 데이터 및/또는 깊이 데이터를 생성하는 이미지 캡처 디바이스(34)를 포함한다. 특히, 이미지 캡처 디바이스(34)는 이미지 캡처 디바이스(32)의 시야의 내부 및/또는 외부의 물체를 추적하여 제스처를 추적하고 및/또는 자기 중심적 시각을 보충하도록 확대된 시야를 제공할 수 있다. 더욱이, 사용자(12)가 움직일 때 이미지 캡처 디바이스들(32, 34)에 의해 생성된 데이터 간의 동기화는 지연으로 인해 유용성에 연루되는 문제점을 최소화하고 및/또는 증강 현실 기능성의 정확성을 최대화하기 위해 데이터 간의 대응성을 제공할 수 있다. 예를 들어, 이미지 캡처 디바이스(34)는 이미지 캡처 디바이스(32)에 의해 관찰된 제스처를 확인하고, 제스처 등에 응답하여 이미지 캡처 디바이스(32)에 의해 생성된 데이터를 보충하는 등에 이용될 수 있는, 제스처가 관찰되었음을 나타내는 메시지(예를 들어, 제스처, 이미지 데이터, 깊이 데이터 등을 통지하는 메타 데이터)를 포워딩할 수 있다.
사용자(12)의 시야 내 및/또는 이미지 캡처 디바이스(32, 34)의 시야 내의 물체가 식별될 수 있다. 예를 들어, 사용자(12)의 시야 내의 거울상(30)에 대응하는 가상 물체가 식별될 수 있다. 일 예에서, 사용자(12) 상의 디바이스는 거울상(30)으로부터의 특징 데이터(예를 들어, 손목 밴드, 폼 팩터 등)에 기초하여 식별될 수 있다. 사용자(12)의 얼굴은 또한 거울상(30)으로부터의 특징 데이터(예를 들어, 눈, 코, 입 등)에 기초하여 식별될 수 있다. 더욱이, 사용자(12)의 신체 위치는 거울상(30)으로부터 골격 데이터(예를 들어, "추적된" 골격 데이터, "위치 만의" 골격 데이터 등)에 기초하여 식별될 수 있다. 거울상(30)은 또한 특징 데이터, 골격 데이터, 제스처 데이터(예를 들어, 손가락/손 위치 등)에 기초하여 사용자(12)에 의해 만들어진 제스처를 식별하는데 사용될 수 있다.
유사하게, 사용자(12)의 시야 내 및/또는 이미지 캡처 디바이스(32)의 시야 내의 실제 물체, 예컨대 거울(16)이 식별될 수 있다. 더욱이, 이미지 캡처 디바이스(34)의 시야 내의 실제 물체, 예컨대 사용자(12) 및/또는 웨어러블 디바이스(22)가 식별될 수 있다. 또한, 물체는 센서 데이터에 기초하여 식별될 수 있다. 예를 들어, 물체는 특정 물체로부터 이용 가능한 센서 데이터의 유형, 특정 물체에 대한 가속도 데이터 등에 기초하여 식별될 수 있다. 물체는 또한 디바이스 이름, 디바이스 로고, 디바이스 어드레스(예를 들어, 미디어 액세스 제어(Media Access Control) 어드레스 등) 등과 같은 식별 데이터에 기초하여 식별될 수도 있다.
도시된 예에서, 사용자(12)의 시야 내의 물체는 증강 현실(augmented reality, AR) 물체(36, 38)로 증강될 수 있다. 일 예에서, 거울상(30)은 거울상(30)으로부터의 스웨터로서 의복(20)의 식별에 기초하여 AR 물체(36)(예를 들어, 인쇄된 패턴, 색상 변경 등)로 보강될 수 있다. 예를 들어, 거울상(30) 내 의복(20)은 사용자(12)에 의해 안경(26)이 착용될 때 사용자(12)가 증강된 스웨터(예를 들어, 프린팅된 패턴 등을 갖는 스웨터)를 관찰하도록 AR 물체(36)로 증강될 수 있다. 더욱이, 팔(18) 및/또는 사용자(12)의 신체 위치의 식별은 사용자(12)가 움직일 때 AR 물체(36)가 적절히 배치되도록 할 수 있다. 이런 점에서, 이미지 캡처 디바이스들(32, 34) 사이의 동기화는 물체 인식, AR 물체 위치 설정 등을 용이하게 할 수 있다.
다른 예에서, 사용자(12)의 시야 내의 실제 물체는 AR 물체(38)(예를 들어, 메뉴의 GUI, 사용자 체중과 같은 2D 표기, 실행된 단계들 등)에 의해 증강될 수 있다. 예를 들어, 동시적 위치 측정 및 맵 작성(simultaneous localization and mapping, SLAM) 프로세스는 사용자(12)의 시야 내의 거울(16)을 AR 물체(38)로 증강하도록 구현될 수 있다. 장면(40)의 맵은 예를 들어, 이미지 캡처 디바이스(32)에 의해 생성된 이미지 데이터(예를 들어, 비디오 프레임 등)로부터 생성될 수 있다. 거울(16)의 상부 좌측 코너와 같은 장면(40) 내의 특징이 이미지 데이터로부터 추출될 수 있고, 특징의 변위(예를 들어, dx/dy 등)는 사용자(12)가 움직일 때 결정될 수 있다. 장면(40)에서, 거울상(30)의 위치와 같은 사용자(12)의 위치는 특징의 변위에 기초하여 결정될 수 있고, AR 물체(38)는 사용자(12)가 움직일 때 AR 물체(38)를 동일한 위치에 있도록 사용자(12)의 변위에 비례하여 변위될 수 있다.
도 1b에 도시된 바와 같이, 이미지 캡처 디바이스(32)의 3D 인식은 거울(16)의 표면(14)의 2D 특성에 의해 손상되지 않을 수 있다. 예를 들어, 이미지 캡처 디바이스(32)의 두 개의 센서는 깊이 추출 프로세스가 장면(40)의 실제 깊이를 결정할 수 있도록 약간 상이한 시각(42)(42a-42b)으로 장면(40)을 캡처할 수 있다. 표면(14)은 거울(16)의 위치에 의해 이미지 표면으로서 설정될 수 있고, 거울상(30)에 대응하는 가상 물체는 사용자(12)가 거울(16)의 앞에 서서 이미지 캡처 디바이스(32)에 의해 두 개의 상이한 시각(42a, 42b)으로 캡처될 때 나타날 것이다. 따라서, 이미지 캡처 디바이스(32)는 단독으로 사용될 때도 거울상(30)에 기초한 3D 기능성을 제공한다.
더욱이, 투명한 디스플레이 스크린(28)을 통과하는 장면(40) 내 실제 물체의 거울상 및/또는 이미지의 이동은 정교한 디스플레이 기술의 필요성을 최소화할 수 있고 및/또는 현실을 증강하기 위한 계산 요구 사항을 최소화할 수 있다. AR 요소(36, 38)는 예를 들어, 디스플레이 계산 및/또는 픽셀 사용을 최소화하기 위해 투명한 디스플레이 스크린(28)을 통과하는 실제 물체의 거울상에 관련하여 및/또는 이미지에 관련하여 배치될 수 있다.
예를 들어 설명 목적을 위한 접근법(10)의 다양한 기능성을 제공하였지만, 접근법(10)의 하나 이상의 기능은 동일한 및/또는 상이한 물리적 및/또는 가상의 컴퓨팅 플랫폼 위치에 상주할 수 있고, 임의의 순서로 결합되거나, 생략되거나, 우회되거나, 재배열되거나, 및/또는 이용될 수 있다는 것을 이해하여야 한다. 안경(26)은 예를 들어, 접근법(10)의 하나 이상의 AR 기능을 제공할 수 있다. 또한, 접근법(10)의 기능은 분산된 AR 기능성을 제공하기 위해 다양한 컴퓨팅 플랫폼들 사이에 분산될 수 있다. 더욱이, 접근법(10)의 임의의 또는 모든 기능은 자동으로 (예를 들어, 인간의 개입 등이 없이) 구현될 수 있다. 예를 들어, 이미지 캡처 디바이스로부터 데이터가 얻어질 때, 시야 내의 물체는 자동으로 식별될 수 있다.
도 2는 일 실시예에 따라 현실을 증강하는 장치(44)를 도시한다. 장치(44)는 예를 들어, 랩톱, 개인 휴대 정보 단말기(personal digital assistant, PDA), 미디어 콘텐츠 플레이어, 이미징 디바이스, 모바일 인터넷 디바이스(mobile Internet device, MID), 무선 스마트 폰, 스마트 태블릿, 스마트 TV, 스마트 시계, 안경류, 컴퓨터 서버, 게임 플랫폼 등과 같은 임의의 스마트 디바이스와 같은 컴퓨팅 플랫폼을 포함할 수 있다. 장치(44)는 위에서 논의한, 예를 들어 접근법(10)(도 1a 및 도 1b)을 비롯한 본 명세서에서 언급된 기술 중 어느 기술이라도 구현하도록 구성된 로직(예를 들어, 로직 명령어, 구성 가능한 로직, 고정 기능성 로직 하드웨어 등)을 또한 포함할 수 있다. 예를 들어, 제어기(46)는 전통적인 거울로부터 사용자의 거울상에 대응하는 데이터를 수신하고 시야 내의 물체를 증강 현실(AR) 물체로 증강할 수 있다.
제어기(46)는 메모리(예를 들어, 캐시, 랜덤 액세스 메모리 등)와 인터페이스할 수 있고, 하드 드라이브(예를 들면, 온-플랫폼 저장소(on-platform storage), 착탈식 저장소 등) 등과 인터페이스할 수 있는 데이터 저장소 인터페이스(data repository interface)(48)를 포함한다. 제어기(46)는 예를 들어, 셀룰러 텔레폰(예를 들어, 광대역 코드 분할 다중 접속(Wideband Code Division Multiple Access)/W-CDMA) (범용 이동 통신 시스템(Universal Mobile Telecommunications System)/UMTS), CDMA 2000 (IS-856/IS-2000) 등), WiFi(Wireless Fidelity(무선 충실도), 예를 들어, 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers)/IEEE 802.11-2007, 무선 근거리 네트워크(Wireless Local Area Network)/LAN 매체 액세스 제어(Medium Access Control, MAC) 및 물리 계층(Physical Layer, PHY) 사양), LiFi(Light Fidelity(광 충실도), 예를 들어, 전기 전자 기술자 협회/IEEE 802.11-2007, 무선 근거리 네트워크/LAN 매체 액세스 제어(MAC) 및 물리 계층(PHY) 사양), 4G LTE(Fourth Generation Long Term Evolution), 블루투스(예를 들어, 전기 전자 기술자 협회/IEEE 802.15.1-2005, 무선 개인 영역 네트워크(Wireless Personal Area Networks)), WiMAX(예를 들어, IEEE 802.16-2004, LAN/MAN 광대역 무선(Broadband Wireless) LAN), 글로벌 포지셔닝 시스템(Global Positioning System, GPS), 확산 스펙트럼(예를 들어, 900 MHz), NFC(Near Field Communication(근접장 통신), ECMA-340, ISO/IEC 18092), 및 다른 무선 주파수(radio frequency, RF) 목적과 같은 매우 폭넓은 목적을 위한 통신 기능성과 인터페이스할 수 있는 통신 인터페이스(50)를 또한 포함할 수 있다. 따라서, 제어기(46)는 데이터 저장소 인터페이스(48)를 이용하여 이미지 데이터, 깊이 데이터, 물체 식별 데이터, AR 물체 데이터 등을 저장할 수 있고, 및/또는 통신 인터페이스(50)를 이용하여 이미지 데이터, 깊이 데이터, 물체 식별 데이터, AR 물체 데이터 등을 포워딩할 수 있다.
제어기(46)는 이미지 데이터를 식별하는 이미지 데이터 식별기(52)를 더 포함한다. 예를 들어, 이미지 데이터 식별기(52)는 사용자의 거울상에 대응하는 RGB-D 카메라로부터의 RGB-D 데이터를 식별할 수 있다. 이미지 데이터 식별기(52)는 또한 (예를 들어, 사용자 등의) 시야 내 실제 물체의 이미지에 대응하는 RGB-D 카메라로부터의 RGB 데이터를 식별할 수 있다. 제어기(46)는 깊이 데이터를 식별하는 깊이 데이터 식별기(54)를 더 포함한다. 예를 들어, 깊이 데이터 식별기(54)는 사용자의 거울상에 대응하는 RGB-D 카메라로부터 픽셀 깊이 데이터를 식별할 수 있다. 깊이 데이터 식별기(54)는 또한 시야 내의 실제 물체의 이미지에 대응하는 RGB-D 카메라에 의해 생성된 깊이 픽셀 데이터를 식별할 수 있다.
제어기(46)는 사용자를 마주하는 이미지 캡처 디바이스로부터의 데이터를 사용자로부터 멀리 떨어진 방향을 향하는 사용자 상의 이미지 캡처 디바이스로부터의 데이터와 동기화하는 동기화기(56)를 더 포함한다. 예를 들어, 동기화기(56)는 사용자를 마주하는 거울에 위치한 RGB-D 카메라로부터의 데이터를 사용자가 착용한 안경 상의 RGB-D 카메라로부터의 데이터와 동기화할 수 있다. 동기화된 이미지 데이터 및/또는 깊이 데이터는 물체 인식, 제스처 인식, 특징 추출, AR 물체 위치 설정 등과 같은 여러 목적을 위한 물체 식별을 용이하게 할 수 있다.
제어기(46)는 사용자의 시야 내 물체, 물체의 자기 중심적 시각을 제공하는 사용자 상의 이미지 캡처 디바이스의 시야 내 물체, 및/또는 사용자를 마주하며 제스처를 추적하고 및/또는 자기 중심적 시각을 보충하기 위해 확장된 시야를 제공하는 이미지 캡처 디바이스의 시야 내 물체를 식별하는 물체 식별기(58)를 더 포함한다. 예를 들어, 사용자 상의 이미지 캡처 디바이스는 가상 물체를 식별하기 위해 물체 식별기(58)에 의해 사용될 사용자 거울상의 자기 중심적 시각을 제공할 수 있고, 실제 물체를 식별하기 위해 물체 식별기(58)에 의해 사용될 거울의 자기 중심적 시각을 제공할 수 있고, 등등을 제공할 수 있다. 물체 식별기(58)는 또한 사용자를 마주하는 이미지 캡처 디바이스의 시야 내 실제 물체를 식별하여 자기 중심적 시각을 사용자를 마주하는 시각(user-facing viewpoint)으로 보충할 수 있다.
도시된 예에서, 물체 식별기(58)는 사용자 상의 디바이스를 식별하는 디바이스 식별기(60)를 포함한다. 예를 들어, 디바이스 식별기(60)는 사용자가 착용하고 있는 디바이스(예를 들어, 스마트 시계 등)를 식별할 수 있다. 물체 식별기(58)는 사용자의 신체 위치를 식별하는 골격 식별기(62)를 더 포함한다. 예를 들어, 골격 식별기(62)는 사용자의 신체의 관절의 위치(예를 들어, "추적된" 위치 등)를 식별할 수 있다. 더욱이, 물체 식별기(58)는 사용자의 얼굴을 식별하는 얼굴 식별기(64)를 포함한다. 예를 들어, 얼굴 인식기(64)는 사용자의 코, 사용자의 입술, 사용자의 머리카락 등을 식별할 수 있다. 물체 식별기(58)는 사용자에 의한 제스처를 식별하는 제스처 식별기(66)를 더 포함한다. 예를 들어, 제스처 식별기(66)는 사용자에 의한 얼굴 제스처 움직임(예를 들면, 미소 등), 사용자에 의한 손 또는 손가락 제스처 움직임(예를 들면, 엄지척(thumbs-up) 등), 사용자에 의한 팔 제스처 움직임(예를 들면, 웨이브 등)을 식별할 수 있다.
제어기(46)는, 예를 들어, 시야 내 물체의 식별에 기초하여 AR 물체를 생성하는 현실 증강기(68)를 더 포함한다. 현실 증강기(68)는 예를 들어, 거울상으로부터의 사용자의 얼굴의 식별에 기초하여 거울상을 위하여 증강된 얼굴 외관(예를 들어, 얼굴 털 제거, 눈의 색 변경 등)을 생성할 수 있다. 현실 증강기(68)는 예를 들어, 거울상으로부터의 사용자의 의복의 식별에 기초하여 거울상에 대한 증강된 옷 외관(예를 들면, 상이한 바지 등)을 생성할 수 있다. 현실 증강기(68)는 예를 들어, 벽의 이미지로부터의 벽의 식별에 기초하여 벽의 이미지에 대한 증강된 벽 외관(예를 들어, GUI, 웨어러블 디바이스로부터의 데이터, 환경에 대한 데이터 등)을 추가로 생성할 수 있다.
제어기(46)는 디스플레이 스크린 상에 렌더링될 AR 물체의 위치를 결정하는 로컬라이저(localizer)(70)를 더 포함한다. 로컬라이저(70)는 이미지의 자연스러운 시각적 인식 동안 투명한 디스플레이 스크린을 통과하여 사용자의 눈으로 오는 사용자의 시야 내 실제 물체의 거울상에 관련하여 및/또는 그의 이미지에 관련하여 AR 물체를 배치할 수 있다. 로컬라이저(70)는 물체 인식 프로세스 동안 거울상으로부터 식별된 물체와 연관된, RGB-D 카메라로부터의 이미지 데이터 및/또는 깊이 데이터에 기초하여 사용자의 거울상 상에 AR 물체를 배치할 수 있다. 로컬라이저(70)는 추가로 물체 인식 프로세스 동안 실제 물체의 이미지로부터 식별된 물체와 연관된, RGB-D 카메라로부터의 이미지 데이터 및/또는 깊이 데이터에 기초하여 실제 물체(예를 들어, 벽, 다른 사람 등)의 이미지 상에 AR 물체를 배치할 수 있다.
로컬라이저(70)는 또한 SLAM 프로세스 동안 이미지로부터 추출된 특징과 연관된, RGB-D 카메라로부터의 이미지 데이터 및/또는 깊이 데이터에 기초하여 물체의 이미지 상에 AR 물체를 배치할 수 있다. 도시된 예에서, 제어기(44)는 장면의 이미지 데이터로부터 맵을 생성하는 맵퍼(mapper)(72) 및 장면의 이미지 데이터로부터 특징을 추출하는 특징 추출기(74)를 포함한다. 로컬라이저(70)는 그 다음에 맵 내의 특징의 변위에 기초하여 맵 내에 사용자를 배치하고, 사용자의 위치에 기초하여 맵 내에 AR 물체를 배치할 수 있다. 따라서, AR 물체는 사용자가 이동할 때 장면 내의 동일한 위치에 AR 물체를 배치하기 위해 사용자의 변위에 비례하여 변위될 수 있다.
설명 목적을 위한 장치(44)의 다양한 구성요소를 예로서 제공하였지만, 장치(44)의 하나 이상의 구성요소는 동일한 및/또는 상이한 물리적 및/또는 가상의 컴퓨팅 플랫폼 위치에 상주할 수 있고, 임의의 순서로 조합되고, 생략되고, 우회되고, 재배열되고, 및/또는 이용될 수 있다. 일 예에서, 제어기(46)의 하나 이상의 구성요소는 물리적으로 동일한 컴퓨팅 플랫폼 상에 상주할 수 있다. 다른 예에서, 컨트롤러(46)의 하나 이상의 구성요소는 분산된 현실감 증강 기능성을 제공하기 위해 여러 컴퓨팅 플랫폼 사이에 분산될 수 있다. 더욱이, 장치(44)의 임의의 또는 모든 구성요소는 자동으로 (예를 들어, 사람의 개입 등이 없이) 구현될 수 있다. 예를 들어, 물체 식별기(58)는 이미지 캡처 디바이스로부터의 데이터가 얻어질 때 자동으로 구현될 수 있다.
이제 도 3을 참조하면, 실시예에 따라 현실을 증강하는 방법(76)이 도시된다. 방법(76)은 랜덤 액세스 메모리(random access memory, RAM), 판독 전용 메모리(read only memory, ROM), 프로그램 가능 ROM(programmable ROM, PROM), 펌웨어, 플래시 메모리 등과 같은 비일시적 머신 또는 컴퓨터 판독 가능한 저장 매체에, 예를 들면, 프로그램 가능 로직 어레이(programmable logic array, PLA) 필드 프로그램 가능 게이트 어레이(field programmable gate array, FPGA), 복합 프로그램 가능 로직 디바이스(complex programmable logic device, CPLD)와 같은 구성 가능한 로직에, 예를 들면, 주문형 집적 회로(application specific integrated circuit, ASIC), 상보형 금속 산화물 반도체(complementary metal oxide semiconductor, CMOS) 또는 트랜지스터-트랜지스터 로직(transistor-transistor logic, TTL) 기술과 같은 고정 기능성 하드웨어 로직(fixed-functional hardware logic)에 또는 이들의 임의의 조합에 저장된 로직 명령어들의 집합 내 모듈 또는 관련된 구성요소로서 구현될 수 있다. 예를 들어, 방법(76)에 도시된 동작을 수행하는 컴퓨터 프로그램 코드는 JAVA, SMALLTALK, C++ 등과 같은 물체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 통상의 절차형 프로그래밍 언어를 비롯한 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다.
도시된 블록(78)은 이미지 데이터 및/또는 깊이 데이터를 식별하는 것을 제공한다. 블록(78)은, 예를 들어, 사용자의 거울상에 대응하는, (예를 들어, 사용자 등의) 시야 내 실제 물체의 이미지에 대응하는, 기타 등등에 대응하는 RGB-D 카메라로부터의 RGB 데이터를 식별할 수 있다. 블록(78)은 예를 들어, 사용자의 거울상에 대응하는, (예를 들어, 사용자 등의) 시야 내 실제 물체의 이미지에 대응하는, 기타 등등에 대응하는 RGB-D 카메라로부터의 깊이 픽셀 데이터를 식별할 수 있다.
도시된 블록(80)은 데이터를 동기화하는 것을 제공한다. 블록(80)은, 예를 들어, 사용자를 마주하는 이미지 캡처 디바이스로부터의 데이터를 사용자로부터 먼 곳을 향하는 사용자 상의 이미지 캡처 디바이스로부터의 데이터와 동기화할 수 있다. 도시된 프로세싱 블록(82)은 시야 내의 물체를 식별하는 것을 제공한다. 블록(82)은 예를 들어, 사용자의 시야 내의 물체, 물체의 자기 중심적 시각을 제공하는 사용자 상의 이미지 캡처 디바이스의 시야 내의 물체 및/또는 제스처를 추적하고 및/또는 자기 중심적 시각을 보충하는 확대된 시야를 제공하도록 사용자를 마주하는 이미지 캡처 디바이스의 시야 내의 물체를 식별할 수 있다. 일 예에서, 블록(82)은 사용자 상의 디바이스를 식별하고, 사용자의 신체 위치를 식별하고, 사용자의 얼굴을 식별하고, 사용자에 의한 제스처를 식별하고, 기타 등등을 식별할 수 있다.
도시된 프로세싱 블록(84)은 증강 현실(AR) 물체를 생성하는 것을 제공한다. 블록(84)은 예를 들어, 시야 내 물체의 식별에 기초하여 AR 물체를 생성할 수 있다. 일 예에서, 블록(84)은 예를 들어, 거울상으로부터의 사용자의 얼굴의 식별에 기초하여 거울상에 대한 증강된 가상 물체 외관을 생성할 수 있다. 다른 예에서, 블록(84)은 예를 들어, 벽의 이미지로부터의 벽의 식별에 기초하여 사용자의 시야 내 실제 물체의 이미지에 대한 증강된 실제 물체 외관을 생성할 수 있다.
도시된 블록(86)은 투명한 OLED 디스플레이 스크린을 포함할 수 있는 디스플레이 스크린 상에 렌더링될 AR 물체의 위치를 결정하는 것을 제공한다. 블록(86)은 예를 들어, 이미지의 자연스러운 시각 인식 동안 OLED 디스플레이 스크린을 통과하여 사용자의 눈으로 오는 사용자의 시야 내 실제 물체의 거울상에 관련하여 및/또는 이미지에 관련하여 AR 물체를 배치할 수 있다. 블록(86)은 물체 인식 프로세스 동안 및/또는 SLAM 동안 식별된 물체(예를 들어, 실제 물체, 거울상과 같은 가상 물체 등)와 연관된 이미지 데이터 및/또는 깊이 데이터에 기초하여 AR 물체를 배치할 수 있다. 이와 관련하여, 블록(86)은 장면의 이미지 데이터로부터 맵을 생성하고, 장면의 이미지 데이터로부터 특징을 추출하고, 맵 내의 특징의 변위에 기초하여 사용자를 맵 내에 배치하며, 사용자의 위치에 기초하여 증강 현실 물체를 맵 내에 배치할 수 있다.
블록(86)은 예를 들어, 사용자의 거울상에 대응하는 이미지 데이터 및/또는 깊이 데이터에 기초하여 사용자의 거울상과 일치되도록 AR 물체를 OLED 디스플레이 스크린 상에 배치할 수 있다. 일 예에서, AR 물체는 사용자의 의복에 대한 증강일 수 있고, 블록(86)은 OLED 디스플레이 스크린에 걸쳐 있는 의복의 거울상과 일치하여 의복을 증강하는 AR 요소를 배치할 수 있다. 블록(86)은 예를 들어, 실제 물체의 이미지에 대응하는 이미지 데이터 및/또는 깊이 데이터에 기초하여 실제 물체의 이미지와 일치하도록 AR 물체를 OLED 디스플레이 스크린 상에 배치할 수 있다. 일 예에서, AR 물체는 사용자가 위치하고 있는 환경의 거울, 벽 등에 대한 증강일 수 있고, 블록(86)은 거울 등을 증강하는 AR 요소를 OLED 디스플레이 화면에 걸쳐 있는 거울 등의 이미지와 일치하여 배치할 수 있다.
독립 블록 및/또는 특정 순서가 설명 목적으로 도시되었지만, 방법(76)의 블록들 중 하나 이상의 블록은 임의의 순서로 조합되고, 생략되고, 우회되고, 재 배열되고 및/또는 진행될 수 있다는 것을 이해하여야 한다. 더욱이, 방법(76)의 임의의 또는 모든 블록은 자동으로 (예를 들어, 사람의 개입 등이 없이) 구현될 수 있다. 예를 들어, 블록(82)은 이미지 캡처 디바이스로부터 데이터가 얻어질 때 시야 내의 물체를 자동으로 식별할 수 있다.
도 4는 실시예에 따른 프로세서 코어(200)를 도시한다. 프로세서 코어(200)는 마이크로프로세서, 임베디드 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 네트워크 프로세서 또는 코드를 실행하는 다른 디바이스와 같은 임의의 유형의 프로세서의 코어일 수 있다. 단지 하나의 프로세서 코어(200)만이 도 4에 도시되지만, 프로세싱 요소는 대안적으로 도 4에 도시된 프로세서 코어(200)를 하나를 초과하도록 포함할 수 있다. 프로세서 코어(200)는 단일 스레드 코어일 수 있거나, 또는 적어도 일 실시예에서, 프로세서 코어(200)는 코어 당 하나를 초과하는 하드웨어 스레드 콘텍스트(또는 "논리 프로세서")를 포함할 수 있다는 점에서 다중 스레드가 될 수 있다.
도 4는 또한 프로세서 코어(200)에 연결된 메모리(270)를 도시한다. 메모리(270)는 관련 기술분야에서 통상의 기술자에게 공지되거나 또는 달리 이용 가능할 수 있는 바와 같은 (메모리 계층 구조의 여러 층을 비롯한) 다양한 임의의 메모리일 수 있다. 메모리(270)는 프로세서 코어(200)에 의해 실행될 하나 이상의 코드(213) 명령어를 포함할 수 있으며, 코드(213)는 이미 논의된 접근법(10)(도 1), 장치(44)(도 2) 및/또는 방법(76)(도 3)을 구현할 수 있다. 프로세서 코어(200)는 코드(213)에 의해 지시된 명령어의 프로그램 시퀀스를 따른다. 각각의 명령어는 프론트 엔드 부분(210)에 입력되고 하나 이상의 디코더(220)에 의해 처리될 수 있다. 디코더(220)는 그의 출력으로서 미리 정의된 형식의 고정된 폭의 마이크로 동작과 같은 마이크로 동작을 생성하거나, 또는 원래의 코드 명령어를 반영하는 다른 명령어, 마이크로 명령어 또는 제어 신호를 생성할 수 있다. 도시된 프론트 엔드 부분(210)은 또한 일반적으로 리소스를 할당하고 실행을 위한 변환 명령어에 대응하는 동작을 대기 행렬에 넣는 레지스터 리네이밍 로직(225) 및 스케줄링 로직(230)을 포함한다.
프로세서 코어(200)는 실행 유닛 집합(255-1 내지 255-N)을 갖는 실행 로직(250)을 포함하는 것으로 도시된다. 일부 실시예는 특정 기능 또는 기능 집합에 전용되는 다수의 실행 유닛을 포함할 수 있다. 다른 실시예는 특정 기능을 수행할 수 있는 단 하나의 실행 유닛 또는 하나의 실행 유닛을 포함할 수 있다. 도시된 실행 로직(250)은 코드 명령어에 의해 특정된 동작을 수행한다.
코드 명령어에 의해 특정된 동작의 실행을 완료한 후에, 백 엔드 로직(260)은 코드(213)의 명령을 회수시킨다. 일 실시예에서, 프로세서 코어(200)는 비 순차적인 실행을 허용하지만 명령어의 순차적인 회수를 요구한다. 회수 로직(265)은 관련 기술분야에서 통상의 기술자에게 공지된 다양한 형태를 취할 수 있다(예를 들어, 버퍼를 재 순서화하는 것 등을 취할 수 있다). 이러한 방식으로, 프로세서 코어(200)는 코드(213)의 실행 중에, 적어도 디코더에 의해 생성된 출력, 레지스터 리네이밍 로직(225)에 의해 이용되는 하드웨어 레지스터 및 테이블, 및 실행 로직(250)에 의해 수정된 임의의 레지스터(도시되지 않음)의 측면에서 변환된다.
도 4에 도시되지 않았지만, 프로세싱 요소는 프로세서 코어(200)가 있는 칩 상의 다른 요소를 포함할 수 있다. 예를 들어, 프로세싱 요소는 프로세서 코어(200)와 함께 메모리 제어 로직을 포함할 수 있다. 프로세싱 요소는 I/O 제어 로직을 포함할 수 있고 및/또는 메모리 제어 로직과 통합된 I/O 제어 로직을 포함할 수 있다. 프로세싱 로직은 또한 하나 이상의 캐시를 포함할 수 있다.
추가 참고 사항 및 예:
예 1은 현실을 증강하는 시스템을 포함할 수 있고, 시스템은 사용자 상의 이미지 캡처 디바이스와 연결되는 투명한 디스플레이 스크린을 포함하는 안경 및 반사 표면으로부터의 사용자의 거울상을 포함하는 사용자의 시야 내 물체의 식별에 기초하여 증강 현실 물체를 자동으로 생성하는 현실 증강기를 포함하고, 증강 현실 물체는 사용자가 안경을 착용했을 때 투명한 디스플레이 스크린상에서 사용자가 관찰할 수 있다.
예 2는 예 1의 시스템을 포함할 수 있고, 시스템은 사용자를 마주하는 이미지 캡처 디바이스 및 사용자를 마주하는 이미지 캡처 디바이스로부터의 데이터를 사용자 상의 이미지 캡처 디바이스로부터의 데이터와 동기화하는 동기화기를 더 포함할 수 있다.
예 3은 예 1 내지 예 2 중 어느 한 예의 시스템을 포함할 수 있고, 시스템은 투명한 디스플레이 스크린 상의 증강 현실 물체를 투명한 디스플레이 스크린을 통과하는 사용자의 거울상에 관련하여 배치하는 로컬라이저를 더 포함한다.
예 4는 현실을 증강하는 장치를 포함할 수 있고, 장치는 반사 표면으로부터의 사용자의 거울상을 포함하는 사용자의 시야 내 물체의 식별을 자동적으로 수행하는 물체 식별기 및 물체의 식별에 기초하여 증강 현실 물체를 자동으로 생성하는 현실 증강기를 포함한다.
예 5는 예 4의 장치를 포함할 수 있고, 장치는 사용자의 거울상을 캡처하는 사용자 상의 이미지 캡처 디바이스를 더 포함한다.
예 6은 예 4 내지 예 5의 장치를 포함할 수 있고, 장치는 사용자의 거울상에 대한 이미지 데이터를 식별하는 이미지 데이터 식별기 및 사용자의 거울상에 대한 깊이 데이터를 식별하는 깊이 데이터 식별기를 더 포함한다.
예 7은 예 4 내지 예 6 중 어느 한 예의 장치를 포함할 수 있고, 장치는 사용자 상의 디바이스를 식별하는 디바이스 식별기, 사용자의 신체 위치를 식별하는 골격 식별기, 사용자의 얼굴을 식별하는 얼굴 식별기, 및 사용자에 의한 제스처를 식별하는 제스처 식별기를 더 포함한다.
예 8은 예 4 내지 예 7 중 어느 한 예의 장치를 포함할 수 있고, 장치는 장면의 이미지 데이터로부터 맵을 생성하는 맵퍼, 장면의 이미지 데이터로부터 특징을 추출하는 특징 추출기, 및 맵 내의 특징의 변위에 기초하여 맵 내에 사용자를 배치하고, 사용자의 위치에 기초하여 증강 현실 물체를 맵 내에 배치하는 로컬라이저를 더 포함한다.
예 9는 예 4 내지 예 8 중 어느 한 예의 장치를 포함할 수 있고, 장치는 사용자를 마주하는 이미지 캡처 디바이스로부터의 데이터를 사용자 상의 이미지 캡처 디바이스로부터의 데이터와 동기화하는 동기화기를 더 포함한다.
예 10은 예 4 내지 예 9 중 어느 한 예의 장치를 포함할 수 있고, 장치는 투명한 디스플레이 스크린을 통과하는 사용자의 거울상에 관련하여 증강 현실 물체를 투명한 디스플레이 스크린 상에 배치하는 로컬라이저를 더 포함한다.
예 11은 명령어 집합을 포함하는 적어도 하나의 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금, 반사 표면으로부터의 사용자의 거울상을 포함하는 사용자의 시야 내의 물체의 식별을 자동으로 수행하게 하며, 물체의 식별에 기초하여 증강 현실 물체를 자동으로 생성하게 한다.
예 12는 예 11의 적어도 하나의 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 명령어는 실행될 때, 프로세서로 하여금 사용자의 거울상을 캡처하게 한다.
예 13은 예 11 내지 예 12중 어느 한 예의 적어도 하나의 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 명령어는 실행될 때, 프로세서로 하여금 사용자의 거울상에 대한 이미지 데이터를 식별하게 하고 사용자의 거울상에 대한 깊이 데이터를 식별하게 한다.
예 14는 예 11 내지 예 13 중의 적어도 하나의 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 명령어는 실행될 때, 프로세서로 하여금 사용자의 디바이스를 식별하게 하고, 사용자의 신체 위치를 식별하게 하고, 사용자의 얼굴을 식별하게 하며, 사용자에 의한 제스처를 식별하게 한다.
예 15는 예 11내지 예 14 중의 적어도 하나의 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 명령어는 실행될 때, 프로세서로 하여금 장면의 이미지 데이터로부터 맵을 생성하게 하고, 장면의 이미지 데이터로부터 특징을 추출하게 하고, 맵 내의 특징의 변위에 기초하여 맵 내에 사용자를 배치하게 하며, 사용자의 위치에 기초하여 맵 내에 증강 현실 물체를 배치하게 한다.
예 16는 예 11내지 예 15 중의 적어도 하나의 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 명령어는 실행될 때, 프로세서로 하여금, 사용자를 마주하는 이미지 캡처 디바이스로부터의 데이터를 사용자 상의 이미지 캡처 디바이스로부터의 데이터와 동기화하게 한다.
예 17은 예 11내지 예 16 중의 적어도 하나의 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 명령어는 실행될 때, 프로세서로 하여금, 투명한 디스플레이 화면을 통과하는 사용자의 거울상에 관련하여 증강 현실 물체를 투명한 디스플레이 스크린 상에 배치하게 한다.
예 18은 현실을 증강하는 방법을 포함할 수 있고, 방법은 반사 표면으로부터의 사용자의 거울상을 포함하는 사용자의 시야 내의 물체의 식별을 자동으로 수행하는 단계 및 물체의 식별에 기초하여 증강 현실 물체를 자동으로 생성하는 단계를 포함한다.
예 19는 예 18의 방법을 포함할 수 있고, 방법은 사용자의 거울상을 캡처하는 단계를 더 포함한다.
예 20은 예 18 내지 예 19의 방법을 포함할 수 있고, 방법은 사용자의 거울상에 대한 이미지 데이터를 식별하는 단계 및 사용자 거울상에 대한 깊이 데이터를 식별하는 단계를 더 포함한다.
예 21은 예 18 내지 예 20 중 어느 한 예의 방법을 포함할 수 있고, 방법은 사용자 상의 디바이스를 식별하는 단계, 사용자의 신체 위치를 식별하는 단계, 사용자의 얼굴을 식별하는 단계, 및 사용자에 의한 제스처를 식별하는 단계를 더 포함한다.
예 22는 예 18 내지 예 21 중 어느 한 예의 방법을 포함할 수 있고, 방법은 장면의 이미지 데이터로부터 맵을 생성하는 단계, 장면의 이미지 데이터로부터 특징을 추출하는 단계, 맵 내의 특징의 변위에 기초하여 맵 내에 사용자를 배치하는 단계, 및 사용자의 위치에 기초하여 맵 내에 증강 현실 물체를 배치하는 단계를 더 포함한다.
예 23은 예 18 내지 예 22의 방법을 포함할 수 있고, 방법은 사용자를 마주하는 이미지 캡처 디바이스로부터의 데이터를 사용자 상의 이미지 캡처 디바이스로부터의 데이터와 동기화하는 단계를 더 포함한다.
예 24는 예 18 내지 예 23의 방법을 포함할 수 있고, 방법은 투명한 디스플레이 스크린을 통과하는 사용자의 거울상에 관련하여 투명한 디스플레이 스크린 상에 증강 현실 물체를 배치하는 단계를 더 포함한다.
예 25는 예 18 내지 예 24 중 어느 한 예의 방법을 수행하기 위한 수단을 포함하는 현실을 증강하는 장치를 포함한다.
따라서, 본 명세서에서 설명된 기술은 전통적인 거울 및 3D 강화된 AR 안경을 활용하면서 스마트 거울 기능성을 제공한다. 예를 들어, 사용자가 전통적인 거울을 마주하고 있을 때 AR 안경을 착용하여 증강 현실을 경험할 수 있다. AR 안경은 비교적 비싼 통상의 스마트 거울 기술에 의지하지 않을 수 있고 거울상을 제공하는 임의의 반사 표면과 함께 이용될 수 있다. 더욱이, 반사 표면은 내장된 센서를 필요로 하지 않을 수 있는데, 그 이유는 있는 그대로의 관련 있는 내용물이 예를 들어 사용자의 거울상에 관련하여 투명한 AR 안경을 통해 사용자의 시야에 렌더링될 수 있기 때문이다. 또한, 반사 표면(예를 들어, 전통적인 거울)이 사용될 수 있기 때문에 상대적으로 복잡한 디스플레이 기술이 필요하지 않을 수 있다. 사용자의 얼굴, 골격 및/또는 제스처는 사용자의 거울상을 사용하여 모니터링되고 및/또는 분석될 수 있다.
사용자가 AR 안경을 착용하여 거울 앞에 서있는 일 예에서, 사용자는 상이한 옷을 입은 자신의 거울상을 볼 수 있고, 사용자가 움직임에 따라, 사용자가 추적될 수 있기 때문에 실제와 같은 방식으로 증강이 렌더링될 수 있으며, 가상 이미지(예를 들어, 거울상)는 3D 강화된 물체 인식 및/또는 SLAM 프로세스에 기초하여 증강될 수 있다. 거울에 비친 이미지는 사용자가 3D 강화된 AR 안경을 착용하여 거울 앞에서 움직일 때 거울에 비친 이미지의 RGB-D 분석을 통해 추적될 수 있으며, 사용(예를 들어, 애플리케이션 등)에 기초한 증강은 2D 및/또는 3D 데이터(예를 들어, 날짜, 온도, 분위기, 건강 상태 등)를 통해 제공될 수 있다.
사용자를 마주하는 RGB-D 카메라는 예리한 세련된 제스처를 추적하거나 및/또는 거울에 비친 이미지를 증강하는데 또한 사용될 수 있고, 사용자를 마주하는 RGB-D 카메라로부터의 데이터는 사용자 상의 RGB-D 카메라의 데이터와 동기화될 수 있다. 실시예는 얼굴 인식, 골격 추적, 제스처 추적 등을 비롯한 3D 깊이 계산을 활용하는 다중 모드 인식 컴퓨팅 기술의 사용을 또한 조장한다.
실시예는 모든 유형의 반도체 집적 회로(integrated circuit)("IC") 칩과 함께 사용하기 위해 적용 가능하다. 이러한 IC 칩의 예는 제한하는 것은 아니지만, 프로세서, 제어기, 칩셋 구성요소, 프로그램 가능 로직 어레이(PLA), 메모리 칩, 네트워크 칩, 시스템 온 칩(systems on chip, SoC), SSD/NAND 제어기 ASIC 등을 포함한다. 또한, 일부 도면에서, 신호 전도체 라인은 라인으로 표현된다. 일부는 달리하여서 더 많은 구성 신호 경로를 나타낼 수 있고, 번호 레이블을 가져서 다수의 구성 신호 경로를 나타낼 수 있고, 및/또는 하나 이상의 끝 부분에 화살표가 있어서 기본 정보 흐름 방향을 나타낼 수 있다. 그러나, 이것은 제한하는 방식으로 해석되지 않아야 한다. 오히려, 이러한 추가된 세부 사항은 회로의 이해를 더 쉽게 할 수 있도록 하기 위해 하나 이상의 예시적인 실시예와 관련하여 사용될 수 있다. 표현된 임의의 신호 라인은 부수적인 정보를 갖든 갖지 않든 여러 방향으로 이동할 수 있는 하나 이상의 신호를 실제로 포함할 수 있으며 임의의 적절한 유형의 신호 체계, 예를 들어 차동 쌍으로 구현된 디지털 또는 아날로그 라인, 광섬유 라인 및/또는 단일 종결 라인으로 구현될 수 있다.
비록 실시예가 동일하게 제한되는 것은 아니지만, 예시적인 크기/모델/값/범위는 주어질 수 있다. 시간이 경과하여 제조 기술(예를 들어, 포토리소그래피)이 성숙해짐에 따라, 더 작은 크기의 디바이스가 제조될 수 있을 것으로 기대된다. 또한, 예시 및 논의의 간략함을 위해, 그리고 실시예의 특정 양태를 모호하게 하지 않기 위해, IC 칩 및 다른 구성요소와의 잘 알려진 전원/접지 연결은 도면 내에 도시될 수도 또는 도시되지 않을 수도 있다. 또한, 배열은 실시예를 모호하게 하는 것을 피하기 위해, 그리고 또한 그러한 블록도 배열의 구현에 관한 세부 사항이 실시예가 구현되는 컴퓨팅 시스템에 크게 종속한다는 사실을 고려할 때, 블록도 형태로 도시될 수 있는데, 즉, 그러한 세부 사항은 관련 기술분야에서 통상의 기술자의 범위 내에 또한 있어야 한다. 특정 상세 사항(예를 들어, 회로)가 예시적인 실시예를 설명하기 위해 제시되는 경우, 실시예는 이러한 특정 상세 사항 없이 또는 이러한 특정 세부 사항을 변형하여 실시될 수 있음이 관련 기술분야에서 통상의 기술자에게 명백해져야 한다. 따라서, 설명은 제한하는 대신에 예시적인 것으로 간주되어야 한다.
"연결된"이라는 용어는 본 명세서에서 해당 구성요소들 사이의 직접 또는 간접적인 임의의 유형의 관계를 지칭하는데 사용될 수 있으며, 전기, 기계, 유체, 광학, 전자기, 전자 기계 또는 다른 접속에 적용될 수 있다. 또한, "제 1", "제 2" 등의 용어는 본 명세서에서 단지 논의를 용이하게 하기 위해 사용될 수 있으며, 달리 지적되지 않는 한 특별한 시간적 또는 연대순의 의미를 지니지 않는다.
본 명세서 및 청구범위에서 사용된 바와 같이, "중 하나 이상" 또는 "중 적어도 하나"라는 용어에 의해 이어지는 항목들의 리스트는 열거된 용어의 임의의 조합을 의미할 수 있다. 예를 들어, "A, B 또는 C 중 하나 이상"이라는 문구는 A; B; C; A 및 B; A 및 C; B 및 C; 또는 A, B 및 C 를 의미할 수 있다. 또한 "등" 또는 "기타 등등"이라는 용어에 의해 이어지는 항목들의 리스트는 열거된 용어의 임의의 조합뿐만 아니라 다른 용어와의 임의의 조합을 의미할 수 있다.
관련 기술분야에서 통상의 기술자라면 전술한 설명으로부터 실시예의 광범위한 기술이 다양한 형태로 구현될 수 있다는 것을 인식할 것이다. 그러므로 실시예가 그의 특정 예와 관련하여 설명되었지만, 실시예의 진정한 범위는 도면, 명세서 및 다음의 청구범위를 연구할 때 숙련된 실무자에게 명백해질 것이므로 그렇게 제한되지 않아야 한다.

Claims (25)

  1. 현실을 증강하는 시스템으로서,
    투명한 디스플레이 스크린을 포함하는 안경과,
    상기 안경과 연결되는 사용자 상의 레인지 카메라로서, 반사 표면에 반사된 사용자의 거울상(reflection)에 포함되는 상기 사용자의 시야 내의 가상 물체에 대한 이미지 데이터와 깊이 데이터를 캡처하는 레인지 카메라 - 상기 깊이 데이터는 이미지 표면으로 설정되는 상기 사용자의 상기 시야 내의 상기 반사 표면의 위치 및 상기 이미지 표면으로부터 상기 가상 물체를 향해 연장하는 복수의 시각 선과 상기 가상 물체의 교차점에서부터 상기 이미지 표면까지의 중심 선의 거리에 기초함 - 와,
    상기 가상 물체의 식별에 기초하여 증강 현실 물체를 자동으로 생성하는 현실 증강기와,
    상기 증강 현실 물체를, 상기 투명한 디스플레이 스크린을 통과하는 상기 사용자의 상기 거울상에 관련하여 상기 투명한 디스플레이 스크린 상에 배치하여, 상기 사용자가 상기 안경을 착용했을 때 상기 투명한 디스플레이 스크린상에서 상기 증강 현실 물체가 상기 사용자에 의해 관찰가능하게 하는 로컬라이저(localizer)를 포함하는,
    현실을 증강하는 시스템.
  2. 제 1 항에 있어서,
    상기 사용자를 마주하는 이미지 캡처 디바이스와,
    상기 사용자를 마주하는 상기 이미지 캡처 디바이스로부터의 데이터를 상기 사용자 상의 상기 레인지 카메라로부터의 데이터와 동기화하는 동기화기를 더 포함하는,
    현실을 증강하는 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 사용자를 마주하는 이미지 캡처 디바이스는 상기 사용자를 마주하는 제 2 레인지 카메라를 포함하는,
    현실을 증강하는 시스템.
  4. 현실을 증강하는 장치로서,
    반사 표면에 반사된 사용자의 거울상에 포함되는 상기 사용자의 시야 내 가상 물체의 식별을 자동으로 수행하는 물체 식별기와,
    상기 사용자 상의 레인지 카메라로부터 상기 가상 물체에 대한 이미지 데이터를 식별하는 이미지 데이터 식별기와,
    상기 레인지 카메라로부터 상기 가상 물체에 대한 깊이 데이터를 식별하는 깊이 데이터 식별기 - 상기 깊이 데이터는 이미지 표면으로 설정되는 상기 사용자의 상기 시야 내의 상기 반사 표면의 위치 및 상기 이미지 표면으로부터 상기 가상 물체를 향해 연장하는 복수의 시각 선과 상기 가상 물체의 교차점에서부터 상기 이미지 표면까지의 중심 선의 거리에 기초함 - 와,
    상기 가상 물체의 식별에 기초하여 증강 현실 물체를 자동으로 생성하는 현실 증강기와,
    상기 증강 현실 물체를, 안경의 투명한 디스플레이 스크린을 통과하는 상기 사용자의 상기 거울상에 관련하여 상기 투명한 디스플레이 스크린 상에 배치하여, 상기 사용자가 상기 안경을 착용했을 때 상기 투명한 디스플레이 스크린상에서 상기 증강 현실 물체가 상기 사용자에 의해 관찰가능하게 하는 로컬라이저(localizer)를 포함하는,
    현실을 증강하는 장치.
  5. 삭제
  6. 삭제
  7. 제 4 항에 있어서,
    상기 사용자 상의 디바이스를 식별하는 디바이스 식별기와,
    상기 사용자의 신체 위치를 식별하는 골격 식별기와,
    상기 사용자의 얼굴을 식별하는 얼굴 식별기와,
    상기 사용자에 의한 제스처를 식별하는 제스처 식별기를 더 포함하는,
    현실을 증강하는 장치.
  8. 제 4 항에 있어서,
    장면의 이미지 데이터로부터 맵을 생성하는 맵퍼(mapper)와,
    상기 장면의 상기 이미지 데이터로부터 특징을 추출하는 특징 추출기를 포함하고,
    상기 로컬라이저는,
    상기 맵 내의 상기 특징의 변위에 기초하여 상기 맵 내에 상기 사용자를 배치하고,
    상기 사용자의 위치에 기초하여 상기 맵 내에 상기 증강 현실 물체를 배치하는,
    현실을 증강하는 장치.
  9. 제 4 항에 있어서,
    상기 사용자를 마주하는 이미지 캡처 디바이스로부터의 데이터를 상기 사용자 상의 상기 레인지 카메라로부터의 데이터와 동기화하는 동기화기를 더 포함하는
    현실을 증강하는 장치.
  10. 삭제
  11. 명령어 집합을 포함하는 적어도 하나의 컴퓨터 판독 가능 저장 매체로서,
    상기 명령어는 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    반사 표면에 반사된 사용자의 거울상에 포함되는 상기 사용자의 시야 내의 가상 물체의 식별을 자동으로 수행하게 하고,
    상기 사용자 상의 레인지 카메라로부터 상기 가상 물체에 대한 이미지 데이터를 자동으로 식별하게 하고,
    상기 레인지 카메라로부터 상기 가상 물체에 대한 깊이 데이터를 자동으로 식별하게 하고 - 상기 깊이 데이터는 이미지 표면으로 설정되는 상기 사용자의 상기 시야 내의 상기 반사 표면의 위치 및 상기 이미지 표면으로부터 상기 가상 물체를 향해 연장하는 복수의 시각 선과 상기 가상 물체의 교차점에서부터 상기 이미지 표면까지의 중심 선의 거리에 기초함 -,
    상기 가상 물체의 식별에 기초하여 증강 현실 물체를 자동으로 생성하게 하고,
    상기 증강 현실 물체를, 안경의 투명한 디스플레이 스크린을 통과하는 상기 사용자의 상기 거울상에 관련하여 상기 투명한 디스플레이 스크린 상에 자동으로 배치하여, 상기 사용자가 상기 안경을 착용했을 때 상기 투명한 디스플레이 스크린상에서 상기 증강 현실 물체가 상기 사용자에 의해 관찰가능하게 하는,
    적어도 하나의 컴퓨터 판독 가능 저장 매체.
  12. 삭제
  13. 삭제
  14. 제 11 항에 있어서,
    상기 명령어는 실행될 때, 상기 프로세서로 하여금,
    상기 사용자의 디바이스를 식별하게 하고,
    상기 사용자의 신체 위치를 식별하게 하고,
    상기 사용자의 얼굴을 식별하게 하며,
    상기 사용자에 의한 제스처를 식별하게 하는
    적어도 하나의 컴퓨터 판독 가능 저장 매체.
  15. 제 11 항에 있어서,
    상기 명령어는 실행될 때, 상기 프로세서로 하여금,
    장면의 이미지 데이터로부터 맵을 생성하게 하고,
    상기 장면의 이미지 데이터로부터 특징을 추출하게 하고,
    상기 맵 내의 상기 특징의 변위에 기초하여 상기 맵 내에 상기 사용자를 배치하게 하며,
    상기 사용자의 위치에 기초하여 상기 맵 내에 상기 증강 현실 물체를 배치하게 하는
    적어도 하나의 컴퓨터 판독 가능 저장 매체.
  16. 제 11 항에 있어서,
    상기 명령어는 실행될 때, 상기 프로세서로 하여금, 상기 사용자를 마주하는 이미지 캡처 디바이스로부터의 데이터를 상기 사용자 상의 상기 레인지 카메라로부터의 데이터와 동기화하게 하는
    적어도 하나의 컴퓨터 판독 가능 저장 매체.
  17. 삭제
  18. 현실을 증강하는 방법으로서,
    반사 표면에 반사된 사용자의 거울상에 포함되는 상기 사용자의 시야 내의 가상 물체의 식별을 자동으로 수행하는 단계와,
    상기 사용자 상의 레인지 카메라로부터 상기 가상 물체에 대한 이미지 데이터를 자동으로 식별하는 단계와,
    상기 레인지 카메라로부터 상기 가상 물체에 대한 깊이 데이터를 자동으로 식별하는 단계와 - 상기 깊이 데이터는 이미지 표면으로 설정되는 상기 사용자의 상기 시야 내의 상기 반사 표면의 위치 및 상기 이미지 표면으로부터 상기 가상 물체를 향해 연장하는 복수의 시각 선과 상기 가상 물체의 교차점에서부터 상기 이미지 표면까지의 중심 선의 거리에 기초함 -,
    상기 가상 물체의 식별에 기초하여 증강 현실 물체를 자동으로 생성하는 단계와,
    상기 증강 현실 물체를, 안경의 투명한 디스플레이 스크린을 통과하는 상기 사용자의 상기 거울상에 관련하여 상기 투명한 디스플레이 스크린 상에 자동으로 배치하여, 상기 사용자가 상기 안경을 착용했을 때 상기 투명한 디스플레이 스크린상에서 상기 증강 현실 물체가 상기 사용자에 의해 관찰가능하게 하는 단계를 포함하는,
    현실을 증강하는 방법.
  19. 삭제
  20. 삭제
  21. 제 18 항에 있어서,
    상기 사용자 상의 디바이스를 식별하는 단계와,
    상기 사용자의 신체 위치를 식별하는 단계와,
    상기 사용자의 얼굴을 식별하는 단계와,
    상기 사용자에 의한 제스처를 식별하는 단계를 더 포함하는
    현실을 증강하는 방법.
  22. 제 18 항에 있어서,
    장면의 이미지 데이터로부터 맵을 생성하는 단계와,
    상기 장면의 이미지 데이터로부터 특징을 추출하는 단계와,
    상기 맵 내의 상기 특징의 변위에 기초하여 상기 맵 내에 상기 사용자를 배치하는 단계와,
    상기 사용자의 위치에 기초하여 상기 맵 내에 상기 증강 현실 물체를 배치하는 단계를 더 포함하는
    현실을 증강하는 방법.
  23. 제 18 항에 있어서,
    상기 사용자를 마주하는 이미지 캡처 디바이스로부터의 데이터를 상기 사용자 상의 상기 레인지 카메라로부터의 데이터와 동기화하는 단계를 더 포함하는
    현실을 증강하는 방법.
  24. 삭제
  25. 제 18 항, 제 21 항 내지 제 23 항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는 현실을 증강하는 장치.
KR1020187028063A 2016-03-31 2017-03-01 거울상을 포함하는 시야 내의 증강 현실 KR102541812B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/087,478 2016-03-31
US15/087,478 US9933855B2 (en) 2016-03-31 2016-03-31 Augmented reality in a field of view including a reflection
PCT/US2017/020197 WO2017172211A1 (en) 2016-03-31 2017-03-01 Augmented reality in a field of view including a reflection

Publications (2)

Publication Number Publication Date
KR20190039663A KR20190039663A (ko) 2019-04-15
KR102541812B1 true KR102541812B1 (ko) 2023-06-08

Family

ID=59959341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187028063A KR102541812B1 (ko) 2016-03-31 2017-03-01 거울상을 포함하는 시야 내의 증강 현실

Country Status (5)

Country Link
US (1) US9933855B2 (ko)
KR (1) KR102541812B1 (ko)
CN (1) CN108885482B (ko)
DE (1) DE112017001718T5 (ko)
WO (1) WO2017172211A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093081A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image display method performed by device including switchable mirror and the device
EP3113106A1 (en) * 2015-07-02 2017-01-04 Nokia Technologies Oy Determination of environmental augmentation allocation data
CN105184584A (zh) * 2015-09-17 2015-12-23 北京京东方多媒体科技有限公司 虚拟试衣系统及方法
CN109564705B (zh) * 2016-07-29 2023-10-20 索尼公司 图像处理装置及图像处理方法
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US11120074B2 (en) * 2016-12-06 2021-09-14 International Business Machines Corporation Streamlining citations and references
US10776861B1 (en) 2017-04-27 2020-09-15 Amazon Technologies, Inc. Displaying garments on 3D models of customers
US10142592B1 (en) * 2017-05-23 2018-11-27 James Van Ness Smart minor
KR102064653B1 (ko) * 2017-12-13 2020-02-11 부산대학교 산학협력단 증강현실 의류 쇼핑을 위한 웨어러블 글래스 및 증강현실 의류 쇼핑 방법
WO2019147237A1 (en) * 2018-01-24 2019-08-01 Hewlett-Packard Development Company, L.P. Augmented reality display
WO2019220208A1 (en) * 2018-05-16 2019-11-21 Matthewman Richard John Systems and methods for providing a style recommendation
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
TWI719343B (zh) 2018-08-28 2021-02-21 財團法人工業技術研究院 資訊顯示方法及其顯示系統
CN109274955B (zh) * 2018-09-11 2020-09-11 曜科智能科技（上海）有限公司 光场视频及深度图的压缩与同步方法、系统、及电子设备
KR102199292B1 (ko) * 2018-11-23 2021-01-06 에스케이텔레콤 주식회사 동영상 저작 장치 및 이를 이용한 동영상 저작 방법
CN109782946A (zh) * 2018-12-24 2019-05-21 武汉西山艺创文化有限公司 一种基于透明液晶显示屏的窗户显示器及其交互方法
CN109858524B (zh) * 2019-01-04 2020-10-16 北京达佳互联信息技术有限公司 手势识别方法、装置、电子设备及存储介质
US11055920B1 (en) * 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
US11036987B1 (en) 2019-06-27 2021-06-15 Facebook Technologies, Llc Presenting artificial reality content using a mirror
US11145126B1 (en) 2019-06-27 2021-10-12 Facebook Technologies, Llc Movement instruction using a mirror in an artificial reality environment
CN110413122B (zh) * 2019-07-30 2022-06-10 厦门大学嘉庚学院 一种具有工作场景识别的ar眼镜应用方法及系统
US11462000B2 (en) * 2019-08-26 2022-10-04 Apple Inc. Image-based detection of surfaces that provide specular reflections and reflection modification
US11158028B1 (en) 2019-10-28 2021-10-26 Snap Inc. Mirrored selfie
CN110968000B (zh) * 2019-11-28 2020-10-09 中国科学院微电子研究所 基于OpenVPX架构的测控系统同步控制系统
US11195341B1 (en) * 2020-06-29 2021-12-07 Snap Inc. Augmented reality eyewear with 3D costumes
US11353708B1 (en) 2020-12-07 2022-06-07 Thirdeye Gen, Inc. Custom mixed reality smart glasses and software for vision impaired use
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
CN117957513A (zh) * 2021-09-20 2024-04-30 苹果公司 基于镜子检测和上下文感知的交互
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses
US11893847B1 (en) 2022-09-23 2024-02-06 Amazon Technologies, Inc. Delivering items to evaluation rooms while maintaining customer privacy
KR20240061215A (ko) * 2022-10-31 2024-05-08 삼성전자주식회사 깊이 맵을 생성하기 위한 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130229482A1 (en) * 2005-03-01 2013-09-05 Nissi Vilcovsky Devices, systems and methods of capturing and displaying appearances
US20140226000A1 (en) 2005-03-01 2014-08-14 EyesMatch Ltd. User interface and authentication for a virtual mirror
US20150279117A1 (en) * 2014-04-01 2015-10-01 Hallmark Cards, Incorporated Augmented Reality Appearance Enhancement

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6546309B1 (en) * 2000-06-29 2003-04-08 Kinney & Lange, P.A. Virtual fitting room
US20110298897A1 (en) * 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US8824749B2 (en) * 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
WO2013093906A1 (en) 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US8847988B2 (en) * 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
JP2013101526A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
CN103472909B (zh) * 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
CN102930447A (zh) * 2012-10-22 2013-02-13 广州新节奏数码科技有限公司 一种虚拟穿戴的实现方法及设备
CN103871106A (zh) * 2012-12-14 2014-06-18 韩国电子通信研究院 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统
KR20150097903A (ko) 2014-02-18 2015-08-27 경북대학교 산학협력단 3d 아바타를 이용한 가상 피팅룸 시스템 및 방법
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9665984B2 (en) 2014-07-31 2017-05-30 Ulsee Inc. 2D image-based 3D glasses virtual try-on system
US20160063327A1 (en) 2014-08-29 2016-03-03 Datangle, Inc. Wearable Device To Display Augmented Reality Information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130229482A1 (en) * 2005-03-01 2013-09-05 Nissi Vilcovsky Devices, systems and methods of capturing and displaying appearances
US20140226000A1 (en) 2005-03-01 2014-08-14 EyesMatch Ltd. User interface and authentication for a virtual mirror
US20150279117A1 (en) * 2014-04-01 2015-10-01 Hallmark Cards, Incorporated Augmented Reality Appearance Enhancement

Also Published As

Publication number Publication date
CN108885482A (zh) 2018-11-23
US20170285345A1 (en) 2017-10-05
KR20190039663A (ko) 2019-04-15
US9933855B2 (en) 2018-04-03
CN108885482B (zh) 2023-04-28
WO2017172211A1 (en) 2017-10-05
DE112017001718T5 (de) 2018-12-13

Similar Documents

Publication Publication Date Title
KR102541812B1 (ko) 거울상을 포함하는 시야 내의 증강 현실
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
US11747915B2 (en) Smart ring for manipulating virtual objects displayed by a wearable device
US11277597B1 (en) Marker-based guided AR experience
KR20150082379A (ko) 단안 시각 slam 을 위한 고속 초기화
US20180288387A1 (en) Real-time capturing, processing, and rendering of data for enhanced viewing experiences
CN112771856B (zh) 可分离失真视差确定
KR102012405B1 (ko) 애니메이션 생성 방법 및 애니메이션 생성 장치
CN111095364A (zh) 信息处理装置、信息处理方法和程序
US11915453B2 (en) Collaborative augmented reality eyewear with ego motion alignment
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
US20210407205A1 (en) Augmented reality eyewear with speech bubbles and translation
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US11740313B2 (en) Augmented reality precision tracking and display
US11461883B1 (en) Dirty lens image correction
US11900058B2 (en) Ring motion capture and message composition system
US20230063078A1 (en) System on a chip with simultaneous usb communications
US11994751B1 (en) Dual system on a chip eyewear
CN118118644A (zh) 可分离失真视差确定

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant