KR20200021670A - 웨어러블 장치 및 그 제어 방법 - Google Patents

웨어러블 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20200021670A
KR20200021670A KR1020180097266A KR20180097266A KR20200021670A KR 20200021670 A KR20200021670 A KR 20200021670A KR 1020180097266 A KR1020180097266 A KR 1020180097266A KR 20180097266 A KR20180097266 A KR 20180097266A KR 20200021670 A KR20200021670 A KR 20200021670A
Authority
KR
South Korea
Prior art keywords
information
focal length
user
wearable device
adjusting element
Prior art date
Application number
KR1020180097266A
Other languages
English (en)
Inventor
윤치열
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180097266A priority Critical patent/KR20200021670A/ko
Priority to PCT/KR2019/000100 priority patent/WO2020040367A1/ko
Priority to US16/973,342 priority patent/US11579683B2/en
Priority to CN201980044635.2A priority patent/CN112384883A/zh
Priority to EP19852488.6A priority patent/EP3805900A4/en
Publication of KR20200021670A publication Critical patent/KR20200021670A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance

Abstract

웨어러블 장치가 개신된다. 본 웨어러블 장치는 카메라, 센서, 디스플레이, 레이저 프로젝터 및 센서에 의해 획득된 센싱 데이터에 기초하여 사용자의 시선을 식별하고, 카메라에 의해 획득된 영상에 포함된 적어도 하나의 객체의 위치 정보를 식별하고, 식별된 사용자의 시선 및 객체의 위치 정보에 기초하여 객체와 관련된 AR(Augmented Reality) 정보를 디스플레이 상에 제공하도록 레이저 프로젝터를 제어하는 프로세서를 포함하며, 레이저 프로젝터는 레이저 광을 발광하는 발광 소자, 발광된 레이저 광의 초점을 조절하는 초점 조절 소자 및 초점이 조절된 광의 스캔 방향을 제어하는 스캐닝 미러를 포함하며, 프로세서는 식별된 사용자의 시선 및 객체의 위치 정보에 기초하여 초점 조절 소자의 구동 상태를 제어한다.

Description

웨어러블 장치 및 그 제어 방법{WEARABLE DEVICE AND CONTROLLING METHOD THEREOF}
본 개시는 웨어러블 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 객체의 AR 정보를 웨어러블 장치의 디스플레이에 표시하는 웨어러블 장치 및 그 제어방법에 대한 것이다.
증강 현실 (Augmented Reality) 안경(glass)를 구현하기 위해서 웨이브가이드와 디스플레이가 이용될 수 있다. 웨이브가이드는 반사형, 회절형으로 구분 될 수 있고, 디스플레이는 LCD(Liquid Crystal Display), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), LSP(Laser Scanning Projector) 방식이 이용될 수 있다.
가상 영상을 출력하는 방법에 있어서 어느 방식을 이용하더라도 수렴 조정 불일치(Vergence-Accommodation Conflict)가 발생할 수 있다. 따라서 현실성이 저해되고 사용자는 눈의 피로감 또는 어지러움과 같은 멀미가 유발될 수 있다.
그 중 LSP 방식은 직진성이 있는 빛을 이용하는 것이므로 가상 영상을 표현함에 심도(거리감, 깊이감)이 존재하지 않아 모든 거리의 가상 영상이 동일한 심도로 표현되는 문제점이 있었다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 레이저 프로젝터에 초점 조절 소자를 추가하여 객체에 대응되는 AR 정보를 표시하는 웨어러블 장치 및 그의 제어방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시 예에 따른 웨어러블 장치는 카메라, 센서, 디스플레이, 레이저 프로젝터 및 상기 센서에 의해 획득된 센싱 데이터에 기초하여 사용자의 시선을 식별하고, 상기 카메라에 의해 획득된 영상에 포함된 적어도 하나의 객체의 위치 정보를 식별하고, 상기 식별된 사용자의 시선 및 상기 객체의 위치 정보에 기초하여 상기 객체와 관련된 AR(Augmented Reality) 정보를 상기 디스플레이 상에 제공하도록 상기 레이저 프로젝터를 제어하는 프로세서를 포함하며, 상기 레이저 프로젝터는 레이저 광을 발광하는 발광 소자, 상기 발광된 레이저 광의 초점을 조절하는 초점 조절 소자 및 상기 초점이 조절된 광의 스캔 방향을 제어하는 스캐닝 미러를 포함하며, 상기 프로세서는 상기 식별된 사용자의 시선 및 상기 객체의 위치 정보에 기초하여 상기 초점 조절 소자의 구동 상태를 제어한다.
여기서, 상기 프로세서는 상기 사용자의 시선 및 상기 객체의 위치 정보를 비교하여 상기 객체의 위치가 상기 사용자의 시선에 대응되는지 여부를 식별하고, 상기 식별 결과에 기초하여 상기 초점 조절 소자의 구동 상태를 제어할 수 있다.
또한, 상기 프로세서는 상기 객체의 위치가 상기 사용자의 시선에 대응되면, 상기 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하여 상기 객체와 관련된 AR 정보를 상기 디스플레이 상에 제공하고, 상기 객체의 위치가 상기 사용자의 시선에 대응되지 않으면, 상기 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어하여 상기 객체와 관련된 AR 정보를 상기 디스플레이 상에 제공할 수 있다.
여기서, 상기 제1 초점 거리는 상기 초점 조절 소자의 고유 초점 거리일 수 있고, 상기 제2 초점 거리는 상기 고유 초점 거리와 상이할 수 있다.
또한, 상기 프로세서는 상기 획득된 영상에 포함된 복수의 객체 각각의 위치 정보를 식별하고, 상기 복수의 객체 중 상기 사용자의 시선에 대응되는 제1 객체와 관련된 제1 AR 정보를 제공하는 경우 상기 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하고, 상기 복수의 객체 중 상기 사용자의 시선에 대응되지 않는 제2 객체와 관련된 제2 AR 정보를 제공하는 경우 상기 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어할 수 있다.
또한, 상기 프로세서는 상기 제2 AR 정보를 제공하는 경우 상기 제2 객체의 뎁스 정보에 기초하여 상기 초점 조절 소자의 초점 거리가 상기 제2 초점 거리가 되도록 제어할 수 있다.
또한, 상기 프로세서는 상기 제2 객체의 뎁스 정보에 포함된 뎁스 값과 상기 식별된 사용자 시선에 대응되는 뎁스 값의 차이를 획득하고, 상기 획득된 뎁스 값의 차이에 기초하여 상기 초점 조절 소자의 초점 거리가 상기 제2 초점 거리가 되도록 제어할 수 있다.
또한, 상기 프로세서는 상기 획득된 영상에 복수의 객체가 포함된 경우, 상기 복수의 객체 각각의 위치 정보에 기초하여 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하여 상기 스캐닝 미러를 제어할 수 있다.
또한, 상기 복수의 객체 각각의 위치 정보에 기초하여 상기 초점 조절 소자의 초점 거리가 단계적으로 변경되도록 상기 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정할 수 있다.
또한, 상기 복수의 객체 각각의 위치 정보에 기초하여 상기 스캐닝 미러의 회전 동작이 최소화되도록 상기 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정할 수 있다.
한편, 본 개시의 일 실시 예에 따른 레이저 광을 발광하는 발광 소자, 상기 발광된 레이저 광의 초점을 조절하는 초점 조절 소자 및 상기 초점이 조절된 광의 스캔 방향을 제어하는 스캐닝 미러를 포함하는 레이저 프로젝터의 제어 방법에 있어서, 센서에 의해 획득된 센싱 데이터에 기초하여 사용자의 시선을 식별하는 단계, 카메라에 의해 획득된 영상에 포함된 적어도 하나의 객체의 위치 정보를 식별하는 단계, 상기 식별된 사용자의 시선 및 상기 객체의 위치 정보에 기초하여 상기 초점 조절 소자의 구동 상태를 제어하는 단계 및 상기 식별된 사용자의 시선 및 상기 객체의 위치 정보에 기초하여 상기 객체와 관련된 AR(Augmented Reality) 정보를 디스플레이 상에 제공하는 단계를 포함한다.
여기서, 상기 초점 조절 소자의 구동 상태를 제어하는 단계는 상기 사용자의 시선과 상기 객체의 위치 정보를 비교하여 상기 객체의 위치가 상기 사용자의 시선에 대응되는지 여부를 식별하고, 상기 식별 결과에 기초하여 상기 초점 조절 소자의 구동 상태를 제어할 수 있다.
또한, 상기 AR 정보를 상기 디스플레이 상에 제공하는 단계는 상기 객체의 위치가 상기 사용자의 시선 위치에 대응되면, 상기 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하여 상기 객체와 관련된 AR 정보를 상기 디스플레이 상에 제공하고, 상기 객체의 위치가 상기 사용자의 시선 위치에 대응되지 않으면, 상기 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어하여 상기 객체와 관련된 AR 정보를 상기 디스플레이 상에 제공할 수 있다.
여기서, 상기 제1 초점 거리는 상기 초점 조절 소자의 고유 초점 거리일 수 있고, 상기 제2 초점 거리는 상기 고유 초점 거리와 상이할 수 있다.
또한, 상기 웨어러블 장치의 제어 방법은 상기 획득된 영상에 포함된 복수의 객체 각각의 위치 정보를 식별하는 단계를 도 포함하고, 상기 초점 조절 소자의 구동 상태를 제어하는 단계는 상기 복수의 객체 중 상기 사용자의 시선 위치에 대응되는 제1 객체와 관련된 제1 AR 정보를 제공하는 경우 상기 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하고, 상기 복수의 객체 중 상기 사용자의 시선 위치에 대응되지 않는 제2 객체와 관련된 제2 AR 정보를 제공하는 경우 상기 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어할 수 있다.
또한, 상기 초점 조절 소자의 구동 상태를 제어하는 단계는 상기 제2 AR 정보를 제공하는 경우 상기 제2 객체의 뎁스 정보에 기초하여 상기 초점 조절 소자의 초점 거리가 상기 제2 초점 거리가 되도록 제어할 수 있다.
또한, 상기 초점 조절 소자의 구동 상태를 제어하는 단계는 상기 제2 객체의 뎁스 정보에 포함 된 뎁스 값과 상기 식별된 사용자 시선에 대응되는 뎁스 값의 차이를 획득하고, 상기 획득된 뎁스 값의 차이에 기초하여 상기 초점 조절 소자의 초점 거리가 상기 제2 초점 거리가 되도록 제어할 수 있다.
또한, 상기 획득된 영상에 복수의 객체가 포함된 경우, 상기 복수의 객체 각각의 위치 정보에 기초하여 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하여 상기 스캐닝 미러를 제어하는 단계를 더 포함할 수 있다.
또한, 상기 스캐닝 미러를 제어하는 단계는 상기 복수의 객체 각각의 위치 정보에 기초하여 상기 초점 조절 소자의 초점 거리가 단계적으로 변경되도록 상기 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정할 수 있다.
또한, 상기 스캐닝 미러를 제어하는 단계는 상기 복수의 객체 각각의 위치 정보에 기초하여 상기 스캐닝 미러의 회전 동작이 최소화되도록 상기 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정할 수 있다.
도 1a 및 도1b는 사용자의 시선에 따른 객체의 선명도를 설명하기 위한 도면,
도 2a 및 도2b는 웨어러블 장치를 착용한 사용자의 시선에 따른 AR 정보를 설명하기 위한 도면,
도 3은 초점 조절 소자가 없는 경우 AR 정보를 표시하는 실시 예를 설명하기 위한 도면,
도 4는 초점 조절 소자가 없는 경우 AR 정보를 사전에 처리하는 실시 예를 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 웨어러블 장치를 도시한 블록도,
도 6은 초점 조절 소자가 있는 경우 AR 정보를 표시하는 실시 예를 설명하기 위한 도면,
도 7 및 도 8은 가상 영상의 한 픽셀이 망막에 맺히는 상황을 설명하기 위한 도면,
도 9 및 도10은 스캐닝 미러에 반사되는 레이저의 이동 경로를 설명하기 위한 도면,
도 11 내지 도 14는 각 실시 예에 따른 AR 정보 표시 방법을 설명하기 위한 도면,
도 15 내지 도 18은 각 실시 예에 따른 초점 조절 소자의 변화량을 설명하기 위한 도면 및
도19는 본 개시의 일 실시 예에 따른 웨어러블 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1a 및 도1b는 사용자의 시선에 따른 객체의 선명도를 설명하기 위한 도면이다.
도 1a는 사용자가 정면을 기준으로 좌측에 있는 자동차(10)에 시선을 고정한 경우를 설명하기 위한 도면이다. 사용자가 좌측에 위치한 객체인 자동차(10)에 시선을 고정하는 경우, 사용자는 시선이 고정된 부분 이외의 객체는 흐릿하게 인식한다. 예를 들어, 시선이 고정된 좌측 부분 이외의 부분에 있는 건물(11)은 사용자에게 흐릿하게 인식될 수 있다. 본 명세서에서는 설명의 편의를 위하여 사용자에게 선명하게 인식되는 객체를 실선으로, 흐릿하게 인식되는 객체를 점선으로 표시할 수 있다. 예를 들어, 사용자의 시선이 고정된 자동차(10)는 실선으로 표시되고, 사용자의 시선이 고정되지 않은 부분에 위치한 건물(11)은 점선으로 표시되었다.
도 1b는 사용자가 정면을 기준으로 우측에 있는 건물(11)에 시선을 고정한 경우를 설명하기 위한 도면이다. 사용자가 우측에 위치한 객체인 건물(11)에 시선을 고정하는 경우, 사용자는 시선이 고정된 부분 이외의 객체는 흐릿하게 인식한다. 예를 들어, 자동차(10)는 사용자에게 흐릿하게 인식될 수 있다.
도 2a 및 도2b는 웨어러블 장치를 착용한 사용자의 시선에 따른 AR 정보를 설명하기 위한 도면이다.
웨어러블 장치는 사용자가 인지 가능한 범위의 객체를 인식하여 객체와 관련된 AR 정보를 웨어러블 장치에 포함된 디스플레이에 표시할 수 있다. 예를 들어, 웨어러블 장치는 자동차(10)에 대한 AR 정보(20)를 표시할 수 있으며, 자동차(10)에 대한 AR 정보(20)에는 인식된 객체의 이름, 제조회사, 웨어러블 장치로부터의 거리를 포함할 수 있다.
도2a는 사용자가 웨어러블 장치를 착용한 이후 좌측 자동차(10)에 시선을 고정한 실시 예이다. 사용자는 전방에 자동차(10) 및 빌딩(11) 객체를 인식할 수 있다. 웨어러블 장치는 인식된 자동차(10) 및 빌딩(11) 객체에 대한 AR 정보를 표시할 수 있다. 도 2a를 참조하면, 웨어러블 장치는 자동차(10) 객체에 대하여 객체의 종류(vehicle), 제조 회사(Samsung), 웨어러블 장치로부터의 거리(10m) 중 적어도 하나를 포함하는 AR 정보를 표시할 수 있다. 그리고, 웨어러블 장치는 빌딩(11) 객체에 대하여 객체의 종류(building), 건물 이름(abc), 웨어러블 장치로부터의 거리(100m) 중 적어도 하나를 포함하는 AR 정보를 표시할 수 있다. 여기서, 제공되는 AR 정보는 메뉴 등을 통해 사용자가 설정한 타입의 정보, 현재 구동 중인 앱에서 제공되는 정보, 객체의 타입에 따른 정보 등일 수 있으나, 이에 한정되는 것은 아니다.
한편, 웨어러블 장치는 객체에 대한 AR 정보 이외에 다양한 정보를 표시할 수 있다. 예를 들어, 웨어러블 장치는 길 안내 기능과 관련된 정보를 표시할 수 있다. 도 2a 및 도2b 를 참고하면, 사용자의 정면 부분에 길 안내 기능과 관련된 AR 정보(go 10m)를 표시할 수 있으며, 길 안내 기능과 관련된 정보란 목적지를 찾아가기 위한 방향 및 거리 지표를 의미할 수 있다. 도 2a 및 도2b 에서는 "go 10m" 만을 표시하였지만, 길 안내 기능과 관련된 정보란 "left 15m", "right 20m", "turn back 30m" 등 다양한 방향 및 거리를 표시하는 정보를 포함할 수 있다.
도2a는 사용자가 웨어러블 장치를 착용한 이후 좌측 자동차(10)에 시선을 고정한 경우, 웨어러블 장치가 AR 정보를 표시하는 실시 예이다.
도2b는 사용자가 웨어러블 장치를 착용한 이후 우측 빌딩(11)에 시선을 고정한 경우, 웨어러블 장치가 AR 정보를 표시하는 실시 예이다.
사용자는 사용자의 시선이 고정된 객체를 선명하게 인식할 수 있다. 하지만, 사용자는 시선이 고정되지 않은 객체에 대해서는 흐릿하게 인식할 수 있다. 웨어러블 장치는 사용자의 시선이 어느 객체에 있는지 여부를 고려하지 않고 AR 정보를 표시할 수 있다. 따라서, 도 2a 및 도2b에 해당하는 실시 예에서, 웨어러블 장치는 자동차(10) 및 빌딩(110)에 대응되는 AR 정보를 선명하게 표시할 수 있다. 즉, 웨어러블 장치는 사용자의 시선의 위치를 고려하지 않고 AR 정보를 동일한 선명도로 표시할 수 있다.
도 3은 초점 조절 소자가 없는 경우 AR 정보를 표시하는 실시 예를 설명하기 위한 도면이다.
웨어러블 장치는 도5에서 후술하는 바와 같이 Laser Scanning Projector(LSP, 150)을 포함할 수 있다. 레이저 프로젝터(150)는 발광 소자(151), 초점 조절 소자(152) 및 스캐닝 미러(153)으로 구성될 수 있다. 여기서, 발광 소자(151)는 Red, Green, Blue 색의 레이저를 발광하는 소자일 수 있으며, RGB 레이저로 호칭될 수 있다.
도 3을 참고하면, 웨어러블 장치는 초점 조절 소자(152) 없이 레이저 프로젝터(150)를 이용하여 AR 정보를 디스플레이에 표시할 수 있다.
310은 투명 디스플레이를 통해 보이는 영상일 수 있다. 그리고 320영상은 웨어러블 장치에서 투명 디스플레이에 표시하는 AR 정보 영상일 수 있다. 320영상은 각 객체에 대응되는 AR 정보(20,21) 또는 추가적인 정보(22)를 포함할 수 있다. 레이저 프로젝터(150)는 320 영상을 디스플레이에 표시하도록 발광 소자(151)를 이용할 수 있다. 웨어러블 장치는 레이저 프로젝터(150)를 이용하여 320 영상을 투명 디스플레이에 표시할 수 있으며, 사용자가 최종적으로 웨어러블 장치를 통해 보여지는 영상은 330일 수 있다. 330영상은 투명 디스플레이를 통해 보이는 영상 및 AR 정보가 표시되는 영상이 결합된 영상일 수 있다.
한편, 사용자가 인식하는 자동차(10) 및 빌딩(11) 객체 각각은 웨어러블 장치로부터의 거리가 상이할 수 있다. 하지만, 웨어러블 장치는 사용자의 시선의 위치와 관계 없이 동일한 선명도를 갖는 AR 정보를 표시할 수 있으며, 사용자는 이로 인해 거리감 또는 깊이에 대한 감각을 혼동할 수 있다. 예를 들어, 사용자가 인지하는 각 객체는 웨어러블 장치로부터 서로 다른 거리에 위치할 수 있다. 하지만, 웨어러블 장치가 사용자의 시선이 어디에 있는지 여부를 고려하지 않고, 각 객체에 대응되는 AR 정보를 동일한 선명도로 표시한다면, 사용자는 각 객체 및 각 객체에 대응되는 AR 정보에 대한 거리감 또는 깊이에 대한 감각에 혼란을 느낄 수 있다.
이러한 문제점을 해결하기 위하여, 웨어러블 장치는 각 객체에 대응되는 AR 정보에 대한 영상에 사전 처리 작업을 수행할 수 있다.
도 4는 레이저 프로젝터(150)가 초점 조절 소자가 없는 경우 웨어러블 장치(100)가 AR 정보를 사전 처리하는 실시 예를 설명하기 위한 도면이다.
도 4를 참고하면, 웨어러블 장치는 사용자의 시선의 위치를 식별하고, 사용자의 시선 위치를 고려하여 AR 정보 영상 중 일부 AR 정보에 사전 처리 작업을 수행할 수 있다.
예를 들어, 웨어러블 장치는 사용자의 시선 위치에 있는 객체와 그렇지 않은 객체를 구별할 수 있다. 웨어러블 장치는 사용자의 시선 위치에 있는 객체에 대응되는 AR 정보를 선명하게 표시할 수 있으며, 사용자의 시선 위치에 있지 않는 객체에 대응되는 AR 정보를 흐릿하게 표시할 수 있다.
즉, 웨어러블 장치는 AR 정보에 대해 사전 처리 작업을 미리 수행할 수 있으며, 웨어러블 장치는 사용자의 시선 위치를 고려하여 각 객체에 대응되는 AR 정보의 선명도(선명 또는 흐릿)가 결정된 영상(420)을 미리 획득할 수 있다. 사전 처리 동작이란, AR 정보의 선명도를 미리 적절하게 변경하는 동작을 의미하며, 웨어러블 장치는 AR 정보의 선명도가 일부 변경된 영상을 레이저 프로젝터(150)를 통해 출력할 수 있다. 여기서, 레이저 프로젝터(150)는 초점 조절 소자를 포함하지 않을 수 있다.
410은 투명 디스플레이를 통해 보이는 영상일 수 있다. 그리고 420은 웨어러블 장치에서 투명 디스플레이에 표시하는 AR 정보 영상일 수 있다. 420영상은 각 객체에 대응되는 AR 정보(20,21) 또는 추가적인 정보(22)를 포함할 수 있다. 레이저 프로젝터(150)는 420 영상을 디스플레이에 표시하도록 발광 소자(151)를 이용할 수 있다. 웨어러블 장치는 레이저 프로젝터(150)를 이용하여 420 영상을 투명 디스플레이에 표시할 수 있으며, 사용자가 최종적으로 웨어러블 장치를 통해 보여지는 영상은 430일 수 있다. 430영상은 투명 디스플레이를 통해 보이는 영상 및 AR 정보가 표시되는 영상이 결합된 영상일 수 있다.
도 5는 본 개시의 일 실시 예에 따른 웨어러블 장치를 도시한 블록도이다.
도5를 참고하면, 웨어러블 장치(100)는 카메라(110), 센서(120), 디스플레이(130), 프로세서(140), Laser Scanning Projector(LSP또는 레이저 프로젝터, 150)로 구성될 수 있다.
카메라(110)는 웨어러블 장치(100)가 사용자의 전방에 있는 객체를 인식하기 위한 장치로 이용될 수 있으며, 카메라(110)는 전방의 사물 및 환경을 식별하도록 영상을 촬영할 수 있다. 웨어러블 장치(100)는 카메라(110)를 이용하여 사용자 전면에 위치한 물체들의 특성을 검출할 수 있다. 또한, 웨어러블 장치(100)는 카메라(110)에서 식별된 물체들이 공간상에 어떻게 분포되어 있는지 (Depth map), 각각의 물체는 무엇인지(객체인식)를 검출할 수 있다. 그리고, 웨어러블 장치(100)는 측정한 정보를 이용하여, 그 위치에 어떤 정보를 띄워줄지를 결정할 수 있다.
센서(120)는 사용자의 시선을 식별하기 위한 장치로 이용될 수 있다. 예를 들어, 사용자가 어느 곳을 바라보고 있는지를 식별하기 위해 센서(120)는 사용자 동공의 움직임을 감지할 수 있다. 여기서, 센서(120)와 카메라(110)를 구분하여 표시하였지만, 웨어러블 장치(100)는 전방의 객체를 식별하는 카메라(110)와 별도의 카메라가 센서(120)에 부착되는 형태로 구현될 수 있다.
디스플레이(130)는 사용자가 전방을 주시할 수 있도록 투명 디스플레이가 이용될 수 있다. 사용자는 디스플레이(130)를 통해 전방을 주시할 수 있고, 디스플레이(130)의 일 부분에 특정 객체에 대응되는 AR 정보가 표시될 수 있다.
프로세서(140)는 프로세서는 웨어러블 장치의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 카메라(110)로부터 촬영되는 영상 정보를 이용하여 객체를 식별하고, 객체에 대응되는 AR 정보를 획득할 수 있다. 또한, AR 정보를 디스플레이(140)에 표시하기 위해 레이저 프로젝터(150)를 제어할 수 있다.
프로세서는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(140)는 센서(120)에 의해 획득된 센싱 데이터에 기초하여 사용자의 시선을 식별할 수 있고, 프로세서(140)는 카메라(110)에 의해 획득된 영상에 포함된 적어도 하나의 객체에 대한 정보를 식별할 수 있다. 객체에 대한 정보는 객체의 종류, 이름, 모양, 색 등의 객체 자체의 정보를 포함할 수 있으며 객체가 존재하는 장소에 대한 위치 정보를 포함할 수 있다.
프로세서(140)는 식별된 사용자의 시선 및 객체의 정보에 기초하여 객체와 관련된 AR(Augmented Reality) 정보를 획득할 수 있다. 객체의 정보를 획득하기 위해서, 사용자는 카메라(110) 에서 촬영되는 영상을 분석할 수 있다. 카메라에서 촬영되는 영상에서 객체를 인식하고 해당 객체에 대응되는 AR 정보를 획득할 수 있다. AR 정보를 획득하는 방법으로, 프로세서(140)는 내부 저장 장치를 이용할 수 있다. 내부 저장 장치에 기 저장된 데이터 베이스를 이용하여 객체에 대한 정보를 획득할 수 있다.
한편, 실제 구현 시 프로세서(140)는 객체에 대응되는 AR 정보를 획득하기 위해 외부 서버를 이용할 수 있다. 프로세서(140) 는 객체에 대한 정보를 외부 서버에 전송하고 대응되는 AR 정보를 외부 서버로부터 수신할 수 있다. 여기서, 프로세서(140)는 데이터를 전송 및 수신하는 통신부(미도시)를 추가적으로 더 포함할 수 있다.
한편, 프로세서(140)는 획득된 AR 정보를 디스플레이(130) 상에 제공하도록 레이저 프로젝터(150)를 제어할 수 있다.
레이저 프로젝터(150)는 레이저 광을 발광하는 발광 소자(151), 발광된 레이저 광의 초점을 조절하는 초점 조절 소자(152) 및 초점이 조절된 광의 스캔 방향을 제어하는 스캐닝 미러(153)를 포함할 수 있다.
도 5를 참고하면, 레이저 프로젝터(150)는 LSP(Laser Scanning Projector)일 수 있으며, 발광 소자(151), 초점 조절 소자(152) 및 스캐닝 미러(153)로 구성될 수 있다.
레이저 프로젝터(150)는 레이저 광원을 출력하는 장치 일수 있으며, LSP 방식을 이용할 수 있다.
발광 소자(151)는 Red, Green, Blue 세 가지 광원을 주로 출력할 수 있고, 세가지에 추가로 White 광원 등을 조합하여 다양한 색의 빛을 출력할 수 있다.
초점 조절 소자(152)는 발광 소자(151)에서 출력된 광이 통과되는 소자로서, 빛을 굴절시킬 수 있다. 초점 조절 소자(152)를 제어하면, 통과되는 빛의 굴절 정도가 변경될 수 있다. 빛의 굴절 정도가 변경되면, 가상 영상의 초점이 변경되어 사용자가 사물을 선명하게 또는 흐리게 인식할 수 있다.
초점 조절 소자(152)는 액체 렌즈 또는 액정 렌즈 등으로 이루어질 수 있다. 액체 렌즈는 물리적으로 렌즈의 두께 또는 모양을 변화시켜 굴절률을 조절하는 렌즈일 수 있고, 액정 렌즈는 화학적 구성 또는 분자의 배치를 변화시켜 굴절률을 조절하는 렌즈일 수 있다.
프로세서(140)는 식별된 사용자의 시선 및 객체의 위치 정보에 기초하여 초점 조절 소자(152)의 구동 상태를 제어할 수 있다.
여기서, 프로세서(140)는 사용자의 시선 및 객체의 위치 정보를 비교하여 객체의 위치가 사용자의 시선에 대응되는지 여부를 식별할 수 있다. 그리고, 프로세서(140)는 식별 결과에 기초하여 초점 조절 소자(152)의 구동 상태를 제어할 수 있다.
구체적으로, 프로세서(140)는 객체의 위치가 사용자의 시선에 대응되면, 초점 조절 소자(152)의 초점 거리가 제1 초점 거리가 되도록 제어할 수 있고, 객체와 관련된 AR 정보를 디스플레이(130) 상에 제공할 수 있다. 여기서, 초점 거리는 빛이 초점 조절 소자(152)를 투과한 뒤에 모이는 점인 초점과 기준점 사이의 거리일 수 있다. 기준점은 초점 조절 소자(152)의 정점이 될 수 있다. 초점 거리는 초점 조절 소자(152)의 굴절률에 따라 달라질 수 있다. 예를 들어, 초점 조절 소자(152)의 굴절률이 변화하면 초점 거리 역시 달라질 수 있다. 제1 초점 거리는 초점 조절 소자(152)가 특정 굴절률을 갖는 상태에서의 기 저장된 거리에 해당할 수 있다.
그리고, 프로세서(140)가 초점 조절 소자(152)를 조절하여 굴절률을 변화 시키면, 초점 거리가 변경될 수 있다. 초점 거리가 변경되면 객체가 표시되는 선명도가 상이할 수 있다. 선명도가 상이해 진다는 것은 사용자의 망막에 맺히는 영상에 대한 선명도가 달라지는 것을 의미할 수 있다. 구체적으로, 레이저 프로젝터(150)에서 출력되는 빛이 동일하지만 초점 조절 소자(152)의 굴절률 변화에 따라 사용자가 인식하는 영상의 선명도가 달라질 수 있다.
한편, 객체의 위치가 사용자의 시선에 대응되지 않으면, 프로세서(140)는 초점 조절 소자(152)의 초점 거리가 제2 초점 거리가 되도록 제어할 수 있고, 객체와 관련된 AR 정보를 디스플레이(130) 상에 제공할 수 있다.
여기서, 제1 초점 거리는 초점 조절 소자(152)의 고유 초점 거리일 수 있고, 제2 초점 거리는 고유 초점 거리와 상이할 수 있다.
한편, 프로세서(140)는 획득된 영상에 포함된 복수의 객체 각각의 위치 정보를 식별할 수 있다. 복수의 객체 중 사용자의 시선에 대응되는 제1 객체와 관련된 제1 AR 정보를 제공하는 경우, 프로세서(140)는 초점 조절 소자(152)의 초점 거리가 제1 초점 거리가 되도록 제어할 수 있다.
복수의 객체 중 사용자의 시선에 대응되지 않는 제2 객체와 관련된 제2 AR 정보를 제공하는 경우, 프로세서(140)는 초점 조절 소자(152)의 초점 거리가 제2 초점 거리가 되도록 제어할 수 있다.
또한, 프로세서(140)는 제2 AR 정보를 제공하는 경우 제2 객체의 뎁스 정보에 기초하여 초점 조절 소자(152)의 초점 거리가 제2 초점 거리가 되도록 제어할 수 있다.
또한, 프로세서(140)는 제2 객체의 뎁스 정보에 포함된 뎁스 값과 식별된 사용자 시선에 대응되는 뎁스 값의 차이를 획득하고, 획득된 뎁스 값의 차이에 기초하여 초점 조절 소자(152)의 초점 거리가 제2 초점 거리가 되도록 제어할 수 있다. 여기서 뎁스 값이란 객체의 거리감을 나타내는 지표일 수 있다. 뎁스 값은 객체가 웨어러블 장치(100)에서 떨어진 거리를 기준일 수 있다.
또한, 프로세서(140)는 획득된 영상에 복수의 객체가 포함된 경우, 복수의 객체 각각의 위치 정보에 기초하여 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하여 스캐닝 미러(153)를 제어할 수 있다. 스캐닝 미러(153)는 발광 소자(151)에서 출력된 빛(광원)을 반사시켜 특정 위치에 투영할 수 있다. 따라서, 프로세서(140)는 스캐닝 미러(153)의 시작 위치, 방향, 경로 등을 조절하여 발광 소자(151)에서 출력된 빛(광원)을 반사시켜 특정 위치에 투영할 수 있다.
또한, 프로세서(140)는 복수의 객체 각각의 위치 정보에 기초하여 초점 조절 소자(152)의 초점 거리가 단계적으로 변경되도록 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정할 수 있다.
또한, 프로세서(140)는 복수의 객체 각각의 위치 정보에 기초하여 스캐닝 미러(153)의 회전 동작이 최소화되도록 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정할 수 있다. 이와 관련된 자세한 설명은 도 15내지 도18에서 후술한다.
레이저 프로젝터(150)를 사용함에 있어 초점 조절 소자(152)가 없어도 AR 정보를 사전에 흐릿하게 처리한 이후 디스플레이에 표시할 수 있다. 이러한 경우, 비슷한 효과를 줄 수는 있다. 하지만, 실질적으로 수정체를 통과하여 망막에 맺히는 픽셀은 매우 작은 레이저 포인트에 해당하므로 광학적으로 흐릿한 상에 해당하지 않을 수 있다. 따라서 실제로 망막에 맺히는 상의 선명도와 뇌로 전달되는 영상의 선명도 정보가 달라 사용자는 어색함을 느낄 수 있다.
하지만, 본 개시의 일 실시 예에 따른 웨어러블 장치(100)는 초점 조절 소자(152)를 통해 영상을 출력하므로 한 픽셀이 망막에 분포하는 광의 크기가 현실에서 물체가 흐릿하게 보이는 상황과 광학적으로 동일할 수 있다. 따라서 사용자는 자연스럽게 AR 정보를 인식할 수 있다. 또한, 사용자가 응시하는 영역 이외의 AR 정보에 대해서도 흐릿하게 표현되므로, 사용자의 망막 보호에 효과적일 수 있다.
결과적으로, 초점 조절 소자(152)가 없는 웨어러블 장치의 경우 사용자는 가상 영상 또는 AR 정보의 심도(거리감, 깊이감)을 어색하게 느낄 수 있다. 하지만, 사용자가 본 개시의 일 실시 예에 따른 웨어러블 장치(100)를 사용하는 경우, AR 정보의 심도(거리감, 깊이감)이 반영되어 자연스러운 증강 현실 환경을 경험할 수 있다.
도 6은 초점 조절 소자가 있는 경우 AR 정보를 표시하는 실시 예를 설명하기 위한 도면이다.
도 1내지 도4에서 설명한 웨어러블 장치에서는 초점 조절 소자(152)가 없는 경우의 실시 예에 대해 설명하였지만, 도 6을 참고하면, 웨어러블 장치의 레이저 프로젝터(150)는 초점 조절 소자(152)를 추가적으로 포함할 수 있다.
610은 투명 디스플레이를 통해 보이는 영상일 수 있다. 그리고 620은 웨어러블 장치에서 투명 디스플레이에 표시하는 AR 정보 영상일 수 있다. 620영상은 각 객체에 대응되는 AR 정보(20,21) 또는 추가적인 정보(22)를 포함할 수 있다. 레이저 프로젝터(150)는 620 영상을 디스플레이에 표시하도록 발광 소자(151)를 이용할 수 있다. 웨어러블 장치는 레이저 프로젝터(150)를 이용하여 620 영상을 투명 디스플레이에 표시할 수 있으며, 사용자가 최종적으로 웨어러블 장치를 통해 보여지는 영상은 630일 수 있다. 630영상은 투명 디스플레이를 통해 보이는 영상 및 AR 정보가 표시되는 영상이 결합된 영상일 수 있다.
여기서, 620 영상이 포함하는 AR 정보는 사전 처리 작업이 수행되지 않은 영상일 수 있다.
레이저 프로젝터(150)가 사전 처리 작업이 수행되지 않은 620 영상을 발광 소자(151)를 통해 발광하면, 웨어러블 장치는 발광 소자(151)를 통해 발광된 레이저가 초점 조절 소자(152)를 통과하도록 제어 할 수 있다.
여기서, 웨어러블 장치는 각 객체의 위치 및 사용자의 시선 위치를 식별할 수 있다. 그리고, 웨어러블 장치는 객체의 위치 및 사용자의 시선 위치를 고려하여 초점 조절 소자(152)를 제어할 수 있다.
또한, 웨어러블 장치는 사용자의 시선 위치에 있는 객체와 그렇지 않은 객체를 구별할 수 있다. 웨어러블 장치는 사용자의 시선 위치에 있는 객체에 대응되는 AR 정보를 선명하게 표시하도록 초점 조절 소자(152)를 제어할 수 있으며, 사용자의 시선 위치에 있지 않는 객체에 대응되는 AR 정보를 흐릿하게 표시하도록 초점 조절 소자(152)를 제어할 수 있다.
웨어러블 장치가 초점 조절 소자(152)를 제어하는 방법은 다양한 방법이 있을 수 있다. 웨어러블 장치는 초점 조절 소자(152)의 굴절률을 변경하여 영상의 선명도를 조절할 수 있다. 본 개시의 일 실시 예에 따른 초점 조절 소자(152)는 렌즈의 두께가 변경되면 굴절률이 변경될 수 있다. 하지만, 본 개시의 또 다른 실시 예에 따른 초점 조절 소자(152)는 렌즈의 두께가 변경되지 않아도 렌즈의 재질 및 내부 성분의 변경에 의하여 굴절률을 변경시킬 수 있고, 굴절률의 변경에 따라 영상의 선명도를 조절할 수 있다.
결과적으로, 웨어러블 장치는 사전 처리 작업이 수행되지 않은 영상(620)을 초점 조절 소자(152)를 통과시켜, 사용자가 각 객체에 대응되는 AR 정보 각각을 서로 다른 초점으로 인식할 수 있도록 제어할 수 있다.
사용자는 객체의 위치 및 사용자의 시선 위치가 모두 고려된 AR 정보가 표시된 영상을 투명 디스플레이를 통해 볼 수 있다. 투명 디스플레이를 통해 보여지는 최종 영상(630)은 각 객체에 대응되는 알맞은 AR 정보가 표시될 수 있으며, 구체적으로 거리감 및 깊이와 관련된 감각이 반영된 영상일 수 있다. 따라서, 사용자는 거리감 및 깊이에 대한 감각에 관련하여 혼동을 덜 느낄 수 있다.
한편 도 6을 설명함에 있어, 초점 조절 소자(152)가 발광 소자(151)와 스캐닝 미러(153)사이에 위치하는 것으로 기술하였지만, 또 다른 실시 예에 따라 초점 조절 소자(152)가 다양한 위치에 존재할 수 있다.
도 7 및 도 8은 가상 영상의 한 픽셀이 망막에 맺히는 상황을 설명하기 위한 도면이다.
도 7은 레이저 프로젝터(150)에 초점 조절 소자가 없는 경우, 웨어러블 장치(100)가 AR 정보를 사전 처리하는 실시 예를 설명하기 위한 도면이다.
710은 투명 디스플레이를 통해 보이는 영상일 수 있다. 그리고 720은 웨어러블 장치에서 투명 디스플레이에 표시하는 AR 정보 영상일 수 있다. 720영상은 각 객체에 대응되는 AR 정보(20,21) 또는 추가적인 정보(22)를 포함할 수 있다. 레이저 프로젝터(150)는 720 영상을 디스플레이에 표시하도록 발광 소자(151)를 이용할 수 있다. 웨어러블 장치는 레이저 프로젝터(150)를 이용하여 720 영상을 투명 디스플레이에 표시할 수 있으며, 사용자가 최종적으로 웨어러블 장치를 통해 보여지는 영상은 730일 수 있다. 730영상은 투명 디스플레이를 통해 보이는 영상 및 AR 정보가 표시되는 영상이 결합된 영상일 수 있다.
여기서, 720 영상이 포함하는 AR 정보는 사전 처리 작업이 수행된 영상일 수 있다. 사전 처리 작업과 관련된 설명은 도4를 통해 자세히 설명하였다.
웨어러블 장치(100)는 AR 정보를 사전 처리 하여 선명도를 일부 변경한 영상을 레이저 프로젝터(150)를 통해 출력할 수 있다. 이 경우, 레이저 프로젝터(150)에서 출력된 영상이 사용자의 망막에 분포하는 광의 크기는 동일할 수 있다. 구체적으로, 레이저 프로젝터(150)에 초점 조절 소자가 없는 경우, AR 정보를 포함하는 가상 영상(720) 한 픽셀이 망막에 맺히는(분포하는) 광의 크기는 동일할 수 있다. 이는, 레이저의 성질에 기인한 결과일 수 있다. 레이저에서 출력되는 영상을 사용자가 인식하는 경우, 사용자는 거리 정보에 관계 없이 출력된 영상을 일정한 선명도로 인식할 수 있다.
한편, 객체의 거리 정보에 따라 AR 정보를 사전 처리하였음에도 사용자는 부자연스럽게 AR 정보를 인식할 수 있다. 레이저를 통해 출력된 영상은 거리감을 표현하기에 다소 부자연스러울 수 있으며, 사용자는 눈의 피로 및 어지러움을 느낄 수 있다.
이러한 문제점을 해결하기 위하여, 웨어러블 장치(100)는 레이저 프로젝터(150)에 발광 소자(151)를 추가적으로 포함할 수 있다.
도 8은 초점 조절 소자(152)를 추가적으로 포함하는 경우, 웨어러블 장치(100)가 AR 정보를 표시하는 실시 예를 설명하기 위한 도면이다.
810은 투명 디스플레이를 통해 보이는 영상일 수 있다. 그리고 820은 웨어러블 장치에서 투명 디스플레이에 표시하는 AR 정보 영상일 수 있다. 820영상은 각 객체에 대응되는 AR 정보(20,21) 또는 추가적인 정보(22)를 포함할 수 있다. 레이저 프로젝터(150)는 820 영상을 디스플레이에 표시하도록 발광 소자(151)를 이용할 수 있다. 웨어러블 장치는 레이저 프로젝터(150)를 이용하여 820 영상을 투명 디스플레이에 표시할 수 있으며, 사용자가 최종적으로 웨어러블 장치를 통해 보여지는 영상은 830일 수 있다. 830영상은 투명 디스플레이를 통해 보이는 영상 및 AR 정보가 표시되는 영상이 결합된 영상일 수 있다.
한편, 820 영상에서 일부 AR 정보에 대응되는 부분(21,22)는 도 7과 다르게 사전 처리 동작이 이루어지지 않을 수 있다.
웨어러블 장치(100)는 발광 소자(151) 및 스캐닝 미러(153) 사이에 발광 소자(151)를 배치하여, 영상을 출력할 수 있다.
이 경우, 레이저 프로젝터(150)에서 출력된 영상이 사용자의 망막에 분포하는 광의 크기는 초점 조절 소자(152)에 따라 다를 수 있다. 웨어러블 장치(100)는 객체의 AR 정보는 선명하게 표시할지 여부를 결정한 이후 초점 조절 소자(152)를 조절할 수 있으며, 이 경우 사용자의 망막에 맺히는 상은 초점 조절 소자의 굴절률에 따라 상의 크기가 달라질 수 있다.
예를 들어, 사용자의 초점이 고정된 위치에 대응되는 객체의 AR 정보는 레이저 프로젝터(150) 를 통해 출력되고, 가상 영상인 AR 정보의 그래픽 픽셀은 사용자의 망막에 작은 상으로 맺힐 수 있다. 여기서, 사용자의 시선에서 10m 정도 떨어져있는 AR 정보(22)의 픽셀은 사용자의 망막에 조금 더 큰 상으로 맺힐 수 있다. 또한, 사용자의 시선에서 90m 정도 떨어져 있는 AR 정보(21)에 대한 픽셀은 사용자 망막에 아주 큰 상으로 맺힐 수 있다.
크기를 비교하면 AR 정보20, 22, 21 순으로 상의 크기가 클 수 있다. 망막에 맺히는 상의 크기가 클수록 사용자는 해당 부분을 흐릿하게 인식할 수 있다. 결과적으로, 사용자는 20에 대한 AR 정보를 가장 선명하게 인식할 수 있고, 22에 대한 AR 정보를 보통 정도로 흐릿하게 인식할 수 있으며, 21에 대한 AR 정보를 가장 흐릿하게 인식할 것이다.
웨어러블 장치(100)는 객체의 위치 정보 또는 웨어러블 장치(100)와의 거리 차이 정보에 기초하여 초점 조절 소자(152)를 조절할 수 있고, 망막에 맺히는 상의 크기가 달라질 수 있다. 사용자는 상의 크기가 다르게 인식됨에 따라, 투명 디스플레이에 표시되는 AR 정보를 자연스럽게 인식할 수 있다. 도 8의 실시 예에 따른 웨어러블 장치(100)를 이용한 사용자는 눈의 피로감 및 어지러움을 덜 느낄 수 있다.
도 9 및 도10은 스캐닝 미러에 반사되는 레이저의 이동 경로를 설명하기 위한 도면이다.
레이저 프로젝터(150)는 스캐닝 미러(153)를 포함할 수 있으며, 웨어러블 장치(100)는 스캐닝 미러(153)를 통해 발광 소자(151)에서 출력되는 빛을 다양한 위치에 투영시킬 수 있다. 스캐닝 미러(153)는 빛을 반사시키는 역할을 할 수 있으며, 웨어러블 장치(100)는 스캐닝 미러(153)의 각도를 조절하여 원하는 위치에 빛을 투영시킬 수 있다.
웨어러블 장치(100)는 스캐닝 미러(153)를 제어하여 원하는 이동 경로를 통해 빛을 투영시킬 수 있다.
도 9는 웨어러블 장치(100)가 스캐닝 미러(153)를 제어하여 빛을 투영시키는 이동 경로 중 하나의 실시 예를 설명하기 위한 도면이다. 여기서, 910, 920, 930 영상은 도6의 610,620,630 영상에 각각 대응될 수 있다.
웨어러블 장치(100)는 AR 정보를 표시하기 위해 레이저 프로젝터(150)의 스캐닝 미러(153)를 제어할 수 있으며, 디스플레이의 모든 위치에 대하여 스캐닝 미러(153)를 이동시킬 수 있다. 930 영상은 사용자가 투명 디스플레이를 통해 보이는 영상(910)에 AR 정보를 포함하는 영상(920)을 결합한 영상일 수 있다. 웨어러블 장치(100)는 920 영상을 결합하기 위하여 AR 정보(20,21,22)를 레이저 프로젝터(150)를 이용하여 출력할 수 있다. 이 경우, 레이저 프로젝터(150)는 모든 위치에 빛이 투영 가능하도록 스캐닝 미러(153)를 제어할 수 있다.
도9에서는 모든 위치에 빛이 투영되는 것처럼 도시되었지만, 이는 스캐닝 미러(153)에 의해 빛이 투영 가능한 위치를 도시하기 위한 것일 뿐, 실제로 빛은 920 영상에 해당하는 AR 정보(20,21,22)가 표시되는 영역에만 투영될 수 있다. 예를 들어, 920 영상에 해당하는 AR 정보(20,21,22)가 표시되는 영역에서는 발광 소자(151)에서 빛이 발광되지만, 그렇지 않은 영역에서는 발광 소자(151)에서 빛이 발광되지 않을 수 있다.
한편, 또 다른 실시 예에 따른 웨어러블 장치(100)는 920 영상에 해당하는 AR 정보(20,21,22)가 표시되는 영역에 대해서는 가시 광선에 해당하는 빛을 발광할 수 있고, 920 영상에 해당하는 AR 정보(20,21,22)가 표시되지 않는 영역에서는 사람의 눈으로 인식할 수 없는 비가시 광선에 해당하는 빛을 발광할 수 있다.
한편, 도 10은 웨어러블 장치(100)가 스캐닝 미러(153)를 제어하여 빛을 투영시키는 이동 경로 중 또 다른 실시 예를 설명하기 위한 도면이다. 여기서, 1010, 1020, 1030 영상은 도6의 610,620,630 영상에 각각 대응될 수 있다.
도 10을 참고하면, 웨어러블 장치(100)는 가능한 모든 위치에 대하여 스캐닝 미러(153)를 이동시키지 않을 수 있다. 웨어러블 장치(100)는 1020영상에서 AR 정보(20,21,22)가 표시되는 영역만을 위하여 스캐닝 미러(153)를 이동시킬 수 있다. 도 10에서 도시한 이동 경로는, 1020 영상에서 1020영상에서 AR 정보(20,21,22)가 표시되는 영역만을 지나가는 최소 이동 경로일 수 있다.
도 9 및 도 10에서 도시한 스캐닝 미러(153)의 이동 경로는 다양한 이동 경로 중 일부를 위한 설명일 뿐이며, 실제 구현 시 도시되지 않은 다양한 방법이 적용될 수 있다.
한편, 도 3,4,6,7,8,9,10에서 투명 디스플레이를 통해 보여지는 영상과 AR 정보가 표시되는 영상을 구분하여 설명하였지만, 실제 구현 시에는 촬상된 영상 및 VR 정보를 결합하는 방식으로 구현될 수 있다. 구체적으로, 웨어러블 장치(100)는 사용자 전방의 모습을 촬영하여 하나의 영상으로 저장하고, VR 정보와 관련된 영상을 새로 생성할 수 있다. 그리고, 웨어러블 장치(100)는 촬영된 사용자 전방의 영상과 VR 정보와 관련된 영상을 결합하여 하나의 영상을 생성할 수 있다. 그리고, 웨어러블 장치(100)는 디스플레이에 결합된 하나의 영상을 디스플레이 할 수 있다.
도 11 내지 도 14는 각 실시 예에 따른 AR 정보 표시 방법을 설명하기 위한 도면이다.
도 11을 참고하면, 사용자의 정면에 복수 개의 객체(30~33)가 있을 수 있으며, 사용자는 복수 개의 객체 중 어느 하나에 시선(50, gaze)을 고정할 수 있다. 도 11에서는 사용자의 정면에 표지판(30), 곰(31), 자동차(32) 및 빌딩(33)의 객체가 있다고 가정한다. 그리고 사용자 시선은 표지판(30)에 고정되어 있다고 가정한다. 도 11에서 가정하는 사항은 도 12 내지 도 18에서도 동일할 수 있다.
도12는 레이저 프로젝터(150)에 초점 조절 소자(152)가 없는 경우, 웨어러블 장치(100)가 AR 정보를 표시하는 실시 예를 설명하기 위한 도면이다.
객체 각각에 대응되는 각각의 AR 정보는 종류(구분 명칭), 이름, 웨어러블 장치(100)로부터 객체까지의 거리 정보를 포함할 수 있다.
표지판(30) 객체에 대응되는 AR 정보(40)는 Sign, stop, 20m를 포함할 수 있다. 즉, AR 정보(40)는 종류를 sign으로, 이름을 stop으로, 웨어러블 장치(100)로부터 객체까지의 거리 정보를 20m로 저장할 수 있다. 웨어러블 장치(100)가 표지판(30)객체를 인식하면, 웨어러블 장치(100)는 표지판(30) 객체에 대응되는 AR 정보(40)를 획득할 수 있으며, 이 경우 AR 정보(40)는 Sign, stop, 20m일 수 있다.
곰(31) 객체에 대응되는 AR 정보(41)는 animal, bear, 30m를 포함할 수 있다. 즉, AR 정보(41)는 종류를 animal로, 이름을 bear로, 웨어러블 장치(100)로부터 객체까지의 거리 정보를 30m로 저장할 수 있다. 웨어러블 장치(100)가 곰(31)객체를 인식하면, 웨어러블 장치(100)는 곰(31) 객체에 대응되는 AR 정보(41)를 획득할 수 있으며, 이 경우 AR 정보(40)는 animal, bear, 30m일 수 있다.
자동차(32) 객체에 대응되는 AR 정보(42)는 Vehicle, samsung, 10m를 포함할 수 있다. 즉, AR 정보(42)는 종류를 Vehicle으로, 이름을 samsung으로, 웨어러블 장치(100)로부터 객체까지의 거리 정보를 10m로 저장할 수 있다. 웨어러블 장치(100)가 자동차(32)객체를 인식하면, 웨어러블 장치(100)는 자동차(32) 객체에 대응되는 AR 정보(42)를 획득할 수 있으며, 이 경우 AR 정보(42)는 Vehicle, samsung, 10m일 수 있다.
빌딩(33) 객체에 대응되는 AR 정보(43)는 Building, abc, 100m를 포함할 수 있다. 즉, AR 정보(43)는 종류를 Building으로, 이름을 abc로, 웨어러블 장치(100)로부터 객체까지의 거리 정보를 100m로 저장할 수 있다. 웨어러블 장치(100)가 빌딩(33)객체를 인식하면, 웨어러블 장치(100)는 빌딩(33) 객체에 대응되는 AR 정보(43)를 획득할 수 있으며, 이 경우 AR 정보(43)는 Building, abc, 100m일 수 있다.
도 12를 참고하면, 웨어러블 장치(100)는 초점 조절 소자(152)가 없는 경우, 각각의 객체에 대응되는 AR 정보(40,41,42,43)를 저장된 거리 정보와 관계 없이 모두 선명하게 표시할 수 있다.
하지만, 웨어러블 장치(100)가 AR 정보(40,41,42,43)를 모두 선명하게 표시하는 경우, 사용자 시선이 고정되지 않는 객체와 대응되는 AR 정보의 거리감이 상이하여 눈의 피로 및 혼동을 느낄 수 있다. 구체적으로, 사용자가 웨어러블 장치(100)로부터 20m 거리에 있는 표지판(sign)에 시선이 고정된 경우, 사용자는 웨어러블 장치(100)로부터 100m 거리에 있는 빌딩(33)이 흐릿하게 보일 수 있다. 빌딩(33)이 흐릿하게 보임에도 빌딩(33)에 대응되는 AR 정보(43)가 선명하게 보인다면, 사용자는 눈의 피로감을 느낄 수 있으며 거리감을 혼동할 수 있다.
따라서, 웨어러블 장치(100)는 초점 조절 소자(152)를 이용하여 상술한 문제점을 해결할 수 있다.
도 13 및 도 14는 웨어러블 장치(100)가 초점 조절 소자(152)를 이용하여 AR 정보를 표시하는 실시 예를 설명하기 위한 도면이다.
도 13 및 도14를 참조하면, 웨어러블 장치(100)는 초점 조절 소자(152)를 이용하여, 사용자의 망막에 맺히는 상의 크기 및 상의 선명도를 변경시킬 수 있다. 초점 조절 소자(152)의 변화 정도에 따라 사용자는 AR 정보가 선명하게 혹은 흐릿하게 보일 수 있다.
도 13은 웨어러블 장치(100)로부터 객체까지의 거리 정보를 이용하여 AR 정보를 두 가지 선명도로 표시하는 실시 예를 설명하기 위한 도면이다.
도13은 (a)를 참고하면, 사용자의 시선이 표지판 객체에 고정될 수 있고, 웨어러블 장치(100)는 표지판에 대응되는 AR 정보(40)는 선명하게 표시하도록 초점 조절 소자(152)를 제어할 수 있다.
웨어러블 장치(100)는 사용자의 시선이 고정되지 않는 객체들에 대응되는 AR 정보(41,42,43)는 흐릿하게 표시되도록 초점 조절 소자(152)를 제어할 수 있다.
여기서, 웨어러블 장치(100)는 흐릿하게 표시되는 정도를 모두 같도록, 초점 조절 소자(152)를 제어할 수 있다.
도 13(b)를 참고하면, 웨어러블 장치(100)는 각 객체가 포함하는 거리 정보에 따라 객체에 대응되는 AR 정보를 표시할 수 있다. 여기서, 웨어러블 장치(100)는 각 AR 정보마다 선명도를 다르게 표시할 수 있다. 사용자의 시선을 표지판에 고정되어 있다고 가정한다. 그리고, 앞서, 도12에서 가정한 것과 같이 표지판까지의 거리는 20m, 곰까지의 거리는 30m, 자동차까지의 거리는 10m, 빌딩까지의 거리는 100m일 수 있다.
이 경우, 웨어러블 장치(100)는 각 객체에 대한 거리 정보를 식별할 수 있으며, 초점 거리 차이를 식별할 수 있다. 초점 거리 차이란, 사용자의 시선이 위치하는 거리와 웨어러블 장치(100)로부터 객체까지의 거리 사이의 차이를 의미할 수 있다. 웨어러블 장치(100)는 초점 거리 차이를 이용하여 초점 조절 소자(152)를 제어할 수 있다.
사용자의 시선이 표지판에 고정되어 있고, 표지판은 웨어러블 장치(100)로부터 20m 떨어져 있으므로, 초점 거리 차이의 기준은 20m일 수 있다. 표지판과 초점의 거리 차이는 0m이므로, 표지판의 초점 거리 차이는 0일 수 있다. 곰과 초점의 거리 차이는 10m이므로, 곰의 초점 거리 차이는 10일 수 있다. 또한, 자동차와 초점의 거리 차이는 -10m이므로, 자동차의 초점 거리 차이는 -10일 수 있다. 그리고, 빌딩과 초점의 거리 차이는 100m이므로, 빌딩의 초점 거리 차이는 100일 수 있다.
웨어러블 장치(100)는 초점 거리 차이를 이용하여 AR 정보의 선명도가 다르게 표시되도록 초점 조절 소자(152)를 제어할 수 있다. 도 13을 참고하면, 초점 거리 차이가 0인 경우, 웨어러블 장치(100)는 해당 객체에 대응되는 AR 정보를 선명하게 표시할 수 있다. 그리고 초점 거리 차이가 0이 아닌 경우, 웨어러블 장치(100)는 해당 객체에 대응되는 AR 정보를 같은 레벨(도 13 (b) 에서는 Blur level 1)로 흐릿하게 표시할 수 있다.
한편, 웨어러블 장치(100)는 초점 거리 차이를 이용하여 각 객체의 선명도를 다르게 표시할 수 있으며, 도 13 (a)에서 도시된 바와 같이 객체의 AR 정보를 표시할 수 있다. 구체적으로 웨어러블 장치(100)에 포함된 초점 조절 소자(152)의 굴절률을 변화시키면 출력된 광의 초점 거리가 변화될 수 있다. 변경된 초점 조절 소자(152)의 굴절률에 따라 초점 거리가 변경되면 사용자는 객체에 대응되는 AR 정보의 선명도를 다르게 인식할 수 있다.
도13 (a)를 참고하면, 웨어러블 장치(100) 는 초점 거리 차이가 0인 표지판 객체에 대응되는 AR 정보(40)는 선명하게 표시할 수 있다. 그리고, 웨어러블 장치(100)는 초점 거리 차이가 0이 아닌 객체에 대응되는 AR 정보(41,42,43)를 Blur level 1로 표시할 수 있다.
한편, 도 14는 웨어러블 장치(100)로부터 객체까지의 거리 정보를 이용하여 AR 정보를 복수 개의 선명도로 표시하는 실시 예를 설명하기 위한 도면이다. 여기서, 거리 정보는 웨어러블 장치(100)로부터 객체까지의 거리를 의미할 수 있다.
도 13에서 설명한 바와 같이 웨어러블 장치(100)는 각 객체의 초점 거리 차이를 획득할 수 있다. 도 13에서는 초점 거리 차이가 0인 경우와 0이 아닌 경우를 2가지로 나누어 선명도를 구분하였지만, 도 14를 참고하면, 초점 거리 차이를 일정한 단위로 구분하여 선명도를 세부적으로 구분할 수 있다.
예를 들어, 도 14 (b)에서 도시하고 있는 바와 같이 초점 거리 차이(절대값)이 0에서 5이면 선명도를 Clear로 식별하고, 6에서 30 이면 Blur level 1로 식별하고, 31에서 50이면 Blur level 2로 식별하고, 51에서 100이면 Blur level 3으로 식별할 수 있다. 여기서, 레벨의 숫자가 더 높을수록 흐릿한 선명도에 해당할 수 있다. 그리고, 초점 거리 차이(절대값)가 100보다 크면 None값으로 식별하여 AR 정보를 아예 표시하지 않도록 설정할 수 있다. 여기서, 웨어러블 장치(100)는 AR 정보가 아예 표시되지 않도록 초점 조절 소자(152)를 제어하거나, 발광 소자(151)를 제어할 수 있다.
여기서, 초점 거리 차이를 절대 값으로 이용하는 이유는 실제로 초점(시선)과 객체 사이의 거리 차이가 의미 있으며, 거리 차이가 음수인 경우와 양수인 경우의 차이를 사용자가 일반적으로 구분할 수 없기 때문이다. 하지만, 실제 구현 시에는 거리 차이가 음수인 경우와 양수인 경우를 구분하기 위하여 선명도를 다르게 구분할 수 있다.
한편, 본 개시의 다른 실시 예에 따른 제어방법으로, 초점 거리 차이가 100 이상인 경우, 웨어러블 장치(100)가 AR 정보를 생성하지 않도록 제어할 수 있다.
웨어러블 장치(100)는 도14 (b)에서 구분한 선명도를 기준으로 AR 정보를 표시할 수 있으며, 이는 도 14 (a)에서 도시하였다.
도 14 (a)를 참고하면, 웨어러블 장치(100)는 표지판에 대응되는 AR 정보(40)를 선명하게 표시할 수 있다. 그리고, 웨어러블 장치(100)는 Blur level 1의 선명도를 갖는 곰 및 자동차에 대응되는 AR 정보(41,42)를 레벨1로 흐릿하게 표시할 수 있다. 또한, 웨어러블 장치(100)는 Blur level 3의 선명도를 갖는 빌딩에 대응되는 AR 정보(43)를 레벨3으로 흐릿하게 표시할 수 있다.
도 13 및 도 14를 설명함에 있어, 초점 거리 차이에 대하여 일정 범위를 기준으로 선명도를 구분하였지만, 실제로 구현 시 웨어러블 장치(100)는 초점 거리 차이 값에 따라 선명도를 각각 구분할 수 있다. 예를 들어, 초점 거리 차이가 1~100이면 웨어러블 장치(100)는 선명도를 1~100으로 식별할 수 있다.
도 15 내지 도 18은 각 실시 예에 따른 초점 조절 소자의 변화량을 설명하기 위한 도면이다.
도 15내지 도18은 스캐닝 미러(153)의 이동 경로에 따른 초점 조절 소자의 변화량을 설명하기 위한 도면이다. 스캐닝 미러(153)의 이동 경로란, 발광 소자(151)에서 출력되는 빛을 스캐닝 미러(153)가 반사시켜 빛이 투영되는 경로를 의미할 수 있다.
도 15 내지 도 18을 참고하면, 계산 상의 편의를 위해 가로 또는 세로로 한 칸 이동 시 1초가 걸리는 것으로 가정한다. 실제로 구현 시에는 한 칸 이동 시 동일하지 않은 시간이 걸릴 수 있으며, 특정 구간에서 딜레이가 발생할 수 있다.
도 15 (a)를 참고하면, 웨어러블 장치(100)를 빛이 투영되는 경로를 좌측 하단에서 시작하여 우측으로 이동한 이후 모든 구간을 이동하도록 스캐닝 미러(153)를 제어할 수 있다. 이 경우, 스캐닝 미러가 모든 구간에 빛을 투영할 수 있도록 이동하는 시간이 약 168초일 수 있다.
스캐닝 미러(153)가 모든 구간에 빛을 투영할 수 있도록 이동하더라도, 웨어러블 장치(100)는 AR 정보를 표시하는 경우에만 발광 소자(151)를 통해 빛을 출력할 수 있다. 따라서, 웨어러블 장치(100)는 AR 정보가 표시되지 않은 구간에서는 실제로 빛이 투영되지 않도록 레이저 프로젝터(150)를 제어할 수 있다.
이 경우, AR 정보가 표시되지 않은 구간은 초점 거리 차이를 기존의 초점을 유지하는 것으로 설정할 수 있다. AR 정보가 표시되지 않은 구간은 초점 조절 소자(152)의 변화와 관계가 없으므로, 초점 조절 소자(152)의 변화를 최소화하도록 하기 위함이다.
도 15 (a)에 따른 스캐닝 미러(153)의 이동 경로에서는 초점 조절 소자의 변화량이 도 15 (b)일 수 있다. 초점 조절 소자의 변화량은 초점 거리 차이의 변화량을 통해 식별할 수 있다.
도 15 (b)를 참고하면, 40초에서 100초 사이에 초점 거리 차이가 반복적으로 변할 수 있다. 앞서 계산상의 편의를 위해 1초 단위로 설명하였지만, 실제로 시간 단위는 10^-3s 또는10^-6s로 구현될 수 있다. 따라서, 짧은 시간에 초점 거리 차이가 반복적으로 변하게 되면 초점 조절 소자(152)도 짧은 시간에 변해야 한다. 이런 경우, 웨어러블 장치(100)는 초고속 초점 조절 소자(152)를 필수적으로 사용해야 할 수 있다.
도 16 (a)를 참고하면, 빛이 투영되는 시작 위치는 좌측 하단이고 상하를 반복하며 모든 경로에 빛이 투영되는 실시 예일 수 있다. 도 15 (a)에서 설명한 바와 같이, 스캐닝 미러(153)가 모두 움직인 이후 168초의 시간이 소요될 수 있다.
그리고, 도 16 (a)에 따라 초점 조절 소자(152)의 변화량을 식별하면 도16 (b)에서 도시하는 바와 같을 수 있다.
도 16 (b)를 참고하면, 120초 부근에서 짧은 시간에 초점 거리 차이가 변하는 것을 확인할 수 있으며, 웨어러블 장치(100)는 초고속 초점 조절 소자(152)를 사용해야 할 수 있다.
도 17 (a)은 웨어러블 장치(100)가 초점 조절 소자(152)의 변화량을 최소화 하기 위해 스캐닝 미러(153)의 이동 경로를 제어하는 실시 예를 설명하기 위한 도면이다. 웨어러블 장치(100) 는 도 15 및 도16과 다르게 스캐닝 미러(153)가 모든 경로에 빛을 투영시키지 않고 필요한 부분에만 빛을 투영시키도록 제어할 수 있다.
초점 조절 소자(152)의 변화량을 최소화하기 위하여, 웨어러블 장치(100)는 초점 거리 차이가 동일한 영역별로 스캐닝 미러(153)를 이동시킬 수 있다. 그리고, 웨어러블 장치(100)는 스캐닝 미러(153) 를 초점 거리 차이가 작은 부분에서 큰 부분으로 이동하거나 큰 부분에서 작은 부분으로 이동시킬 수 있다. 이 경우, 총 이동 시간이 59초일 수 있다.
도 17 (a)에 따른 이동 경로로 스캐닝 미러(153)를 제어하는 경우, 초점 조절 소자(152)의 변화량은 도 17 (b)와 같을 수 있다. 도 17 (b)를 참고하면 특정 시간에 초점 거리 차이가 변할 수 있다. 하지만, 한번 변한 초점 거리 차이가 유지되므로 초점 조절 소자(152)가 반복하여 변하지 않을 수 있다. 따라서, 도 17의 실시 예에서는 웨어러블 장치(100)가 초고속 초점 조절 소자를 이용하지 않고 일반 초점 조절 소자를 이용할 수 있다. 이 경우, 웨어러블 장치(100)는 부품의 가격을 절약할 수 있다.
도 18 (a)은 웨어러블 장치(100)는 스캐닝 미러(153)의 이동 경로를 최소화하도록 스캐닝 미러(153)를 제어하는 실시 예를 설명하기 위한 도면이다. 스캐닝 미러(153)의 이동 경로를 최소화하려면 웨어러블 장치(100)는 초점 조절 소자(152)의 변화를 고려하지 않고, 웨어러블 장치(100)는 단순히 AR 정보가 표시되는 영역만을 고려할 수 있다. 이 경우, 총 소요시간은 57초일 수 있다.
도 18 (a)에 따른 이동 경로로 스캐닝 미러(153)를 제어하는 경우, 초점 조절 소자(152)의 변화량은 도 18 (b)와 같을 수 있다. 도 17 (b)와 같을 수 있다. 도 17 (b)를 참고하면 특정 시간에 초점 거리 차이가 변할 수 있다. 하지만, 한번 변한 초점 거리 차이가 유지되므로 초점 조절 소자(152)가 반복하여 변하지 않을 수 있다. 이 경우, 짧은 시간에 초점 조절 소자(152)가 반복적으로 변하지 않으므로, 웨어러블 장치(100)는 일반 초점 조절 소자(152)를 이용하여 구현할 수 있으며, 비용을 절감할 수 있다.
도 18 (b)의 경우, 초점 거리 차이가 작은 순서에서 큰 순서가 되도록 스캐닝 미러(153)의 이동 경로를 제어하지 않았으며, 오직 스캐닝 미러(153)의 이동 경로를 최소화 하도록 스캐닝 미러(153)를 제어하였다. 따라서, 초점 조절 소자(152)의 변화의 정도는 도 17의 실시 예의 경우 보다 클 수 있다.
웨어러블 장치(100)는 초점 조절 소자(152)의 변화량을 최소화하도록 스캐닝 미러(153)의 이동경로를 제어할 수 있으며, 스캐닝 미러(153)의 이동 경로를 최소화하도록 스캐닝 미러(153)의 이동 경로를 제어할 수 있다.
한편, 실제 구현 시에는 웨어러블 장치(100)는 상술한 두 가지 경우를 모두 식별하여 최적의 방법을 선택하도록 스캐닝 미러(153)를 제어할 수 있다. 웨어러블 장치(100)는 자동으로 최적의 방법을 선택 할 수 있도록 주요 항목에 가중치를 부여할 수 있다. 또한, 실제 구현 시에는 사용자가 다양한 방법 중 하나를 선택하도록 UI를 가이드 할 수 있다.
한편, 두 가지 방식 중 어느 하나만을 선택해야 하는 상황이 있을 수 있다. 이 경우, 초점 조절 소자(152)의 구동 속도가 스캐닝 미러(153)의 구동 속도보다 느릴 수 있기 때문에, 스캐닝 미러(153)의 이동 경로를 최소화 하는 것보다 초점 조절 소자(152)의 변화량을 최소화 하는 방식을 이용하는 것이 효과적일 수 있다.
도19는 본 개시의 일 실시 예에 따른 웨어러블 장치의 제어 방법을 설명하기 위한 흐름도이다.
한편, 본 개시의 일 실시 예에 따른 레이저 광을 발광하는 발광 소자, 발광된 레이저 광의 초점을 조절하는 초점 조절 소자 및 초점이 조절된 광의 스캔 방향을 제어하는 스캐닝 미러를 포함하는 레이저 프로젝터의 제어 방법에 있어서, 센서에 의해 획득된 센싱 데이터에 기초하여 사용자의 시선을 식별할 수 있다 (S1905).
또한, 카메라에 의해 획득된 영상에 포함된 적어도 하나의 객체의 위치 정보를 식별할 수 있다 (S1910).
또한, 식별된 사용자의 시선 및 객체의 위치 정보에 기초하여 초점 조절 소자의 구동 상태를 제어할 수 있다 (S1915).
또한, 식별된 사용자의 시선 및 객체의 위치 정보에 기초하여 객체와 관련된 AR(Augmented Reality) 정보를 디스플레이 상에 제공할 수 있다(S1920).
여기서, S1915단계는 사용자의 시선과 객체의 위치 정보를 비교하여 객체의 위치가 사용자의 시선에 대응되는지 여부를 식별하고, 식별 결과에 기초하여 초점 조절 소자의 구동 상태를 제어할 수 있다.
또한, S1920단계는 객체의 위치가 사용자의 시선 위치에 대응되면, 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하여 객체와 관련된 AR 정보를 디스플레이 상에 제공하고, 객체의 위치가 사용자의 시선 위치에 대응되지 않으면, 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어하여 객체와 관련된 AR 정보를 디스플레이 상에 제공할 수 있다.
여기서, 제1 초점 거리는 초점 조절 소자의 고유 초점 거리일 수 있고, 제2 초점 거리는 고유 초점 거리와 상이할 수 있다.
또한, 웨어러블 장치의 제어 방법은 획득된 영상에 포함된 복수의 객체 각각의 위치 정보를 식별하는 단계를 더 포함할 수 있고, 초점 조절 소자의 구동 상태를 제어하는 단계는 복수의 객체 중 사용자의 시선 위치에 대응되는 제1 객체와 관련된 제1 AR 정보를 제공하는 경우 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하고, 복수의 객체 중 사용자의 시선 위치에 대응되지 않는 제2 객체와 관련된 제2 AR 정보를 제공하는 경우 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어할 수 있다.
또한, S1915 단계는 제2 AR 정보를 제공하는 경우 제2 객체의 뎁스 정보에 기초하여 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어할 수 있다.
또한, S1915 단계는 제2 객체의 뎁스 정보에 포함 된 뎁스 값과 식별된 사용자 시선에 대응되는 뎁스 값의 차이를 획득하고, 획득된 뎁스 값의 차이에 기초하여 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어할 수 있다.
또한, 획득된 영상에 복수의 객체가 포함된 경우, 복수의 객체 각각의 위치 정보에 기초하여 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하여 스캐닝 미러를 제어하는 단계를 더 포함할 수 있다.
또한, 스캐닝 미러를 제어하는 단계는 복수의 객체 각각의 위치 정보에 기초하여 초점 조절 소자의 초점 거리가 단계적으로 변경되도록 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정할 수 있다.
또한, 스캐닝 미러를 제어하는 단계는 복수의 객체 각각의 위치 정보에 기초하여 스캐닝 미러의 회전 동작이 최소화되도록 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정할 수 있다.
한편, 도 19과 같은 웨어러블 장치의 제어 방법은 도 5의 구성을 가지는 웨어러블 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 웨어러블 장치 상에서도 실행될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 웨어러블 장치 에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 웨어러블 장치 에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 웨어러블 장치에 구비된 임베디드 서버, 또는 웨어러블 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 상술한 실시 예에 따른 웨어러블 장치 제어 방법은 프로그램으로 구현되어 웨어러블 장치에 제공될 수 있다. 특히, 웨어러블 장치 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
또한, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 웨어러블 장치 에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 웨어러블 장치 에서의 처리 동작을 상기 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 웨어러블 장치 110: 카메라
120: 센서 130: 디스플레이
140: 프로세서 150: 레이저 프로젝터

Claims (20)

  1. 웨어러블 장치에 있어서,
    카메라;
    센서;
    디스플레이;
    레이저 프로젝터; 및
    상기 센서에 의해 획득된 센싱 데이터에 기초하여 사용자의 시선을 식별하고,
    상기 카메라에 의해 획득된 영상에 포함된 적어도 하나의 객체의 위치 정보를 식별하고,
    상기 식별된 사용자의 시선 및 상기 객체의 위치 정보에 기초하여 상기 객체와 관련된 AR(Augmented Reality) 정보를 상기 디스플레이 상에 제공하도록 상기 레이저 프로젝터를 제어하는 프로세서;를 포함하며,
    상기 레이저 프로젝터는,
    레이저 광을 발광하는 발광 소자;
    상기 발광된 레이저 광의 초점을 조절하는 초점 조절 소자; 및
    상기 초점이 조절된 광의 스캔 방향을 제어하는 스캐닝 미러;를 포함하며,
    상기 프로세서는,
    상기 식별된 사용자의 시선 및 상기 객체의 위치 정보에 기초하여 상기 초점 조절 소자의 구동 상태를 제어하는, 웨어러블 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선 및 상기 객체의 위치 정보를 비교하여 상기 객체의 위치가 상기 사용자의 시선에 대응되는지 여부를 식별하고, 상기 식별 결과에 기초하여 상기 초점 조절 소자의 구동 상태를 제어하는, 웨어러블 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 객체의 위치가 상기 사용자의 시선에 대응되면, 상기 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하여 상기 객체와 관련된 AR 정보를 상기 디스플레이 상에 제공하고,
    상기 객체의 위치가 상기 사용자의 시선에 대응되지 않으면, 상기 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어하여 상기 객체와 관련된 AR 정보를 상기 디스플레이 상에 제공하는, 웨어러블 장치.
  4. 제3항에 있어서,
    상기 제1 초점 거리는, 상기 초점 조절 소자의 고유 초점 거리이고,
    상기 제2 초점 거리는, 상기 고유 초점 거리와 상이한, 웨어러블 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 영상에 포함된 복수의 객체 각각의 위치 정보를 식별하고,
    상기 복수의 객체 중 상기 사용자의 시선에 대응되는 제1 객체와 관련된 제1 AR 정보를 제공하는 경우 상기 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하고,
    상기 복수의 객체 중 상기 사용자의 시선에 대응되지 않는 제2 객체와 관련된 제2 AR 정보를 제공하는 경우 상기 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어하는, 웨어러블 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 제2 AR 정보를 제공하는 경우 상기 제2 객체의 뎁스 정보에 기초하여 상기 초점 조절 소자의 초점 거리가 상기 제2 초점 거리가 되도록 제어하는, 웨어러블 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 제2 객체의 뎁스 정보에 포함된 뎁스 값과 상기 식별된 사용자 시선에 대응되는 뎁스 값의 차이를 획득하고,
    상기 획득된 뎁스 값의 차이에 기초하여 상기 초점 조절 소자의 초점 거리가 상기 제2 초점 거리가 되도록 제어하는, 웨어러블 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 영상에 복수의 객체가 포함된 경우, 상기 복수의 객체 각각의 위치 정보에 기초하여 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하여 상기 스캐닝 미러를 제어하는, 웨어러블 장치.
  9. 제8항에 있어서,
    상기 복수의 객체 각각의 위치 정보에 기초하여 상기 초점 조절 소자의 초점 거리가 단계적으로 변경되도록 상기 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하는, 웨어러블 장치.
  10. 제8항에 있어서,
    상기 복수의 객체 각각의 위치 정보에 기초하여 상기 스캐닝 미러의 회전 동작이 최소화되도록 상기 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하는, 웨어러블 장치.
  11. 레이저 광을 발광하는 발광 소자, 상기 발광된 레이저 광의 초점을 조절하는 초점 조절 소자 및 상기 초점이 조절된 광의 스캔 방향을 제어하는 스캐닝 미러를 포함하는 레이저 프로젝터를 포함하는 웨어러블 장치의 제어 방법에 있어서,
    센서에 의해 획득된 센싱 데이터에 기초하여 사용자의 시선을 식별하는 단계;
    카메라에 의해 획득된 영상에 포함된 적어도 하나의 객체의 위치 정보를 식별하는 단계;
    상기 식별된 사용자의 시선 및 상기 객체의 위치 정보에 기초하여 상기 초점 조절 소자의 구동 상태를 제어하는 단계; 및
    상기 식별된 사용자의 시선 및 상기 객체의 위치 정보에 기초하여 상기 객체와 관련된 AR(Augmented Reality) 정보를 디스플레이 상에 제공하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 초점 조절 소자의 구동 상태를 제어하는 단계는,
    상기 사용자의 시선과 상기 객체의 위치 정보를 비교하여 상기 객체의 위치가 상기 사용자의 시선에 대응되는지 여부를 식별하고, 상기 식별 결과에 기초하여 상기 초점 조절 소자의 구동 상태를 제어하는, 제어 방법.
  13. 제12항에 있어서,
    상기 AR 정보를 상기 디스플레이 상에 제공하는 단계는,
    상기 객체의 위치가 상기 사용자의 시선 위치에 대응되면, 상기 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하여 상기 객체와 관련된 AR 정보를 상기 디스플레이 상에 제공하고,
    상기 객체의 위치가 상기 사용자의 시선 위치에 대응되지 않으면, 상기 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어하여 상기 객체와 관련된 AR 정보를 상기 디스플레이 상에 제공하는, 제어 방법.
  14. 제13항에 있어서,
    상기 제1 초점 거리는, 상기 초점 조절 소자의 고유 초점 거리이고,
    상기 제2 초점 거리는, 상기 고유 초점 거리와 상이한, 제어 방법.
  15. 제11항에 있어서,
    상기 획득된 영상에 포함된 복수의 객체 각각의 위치 정보를 식별하는 단계;를 도 포함하고,
    상기 초점 조절 소자의 구동 상태를 제어하는 단계는,
    상기 복수의 객체 중 상기 사용자의 시선 위치에 대응되는 제1 객체와 관련된 제1 AR 정보를 제공하는 경우 상기 초점 조절 소자의 초점 거리가 제1 초점 거리가 되도록 제어하고,
    상기 복수의 객체 중 상기 사용자의 시선 위치에 대응되지 않는 제2 객체와 관련된 제2 AR 정보를 제공하는 경우 상기 초점 조절 소자의 초점 거리가 제2 초점 거리가 되도록 제어하는, 제어 방법.
  16. 제15항에 있어서,
    상기 초점 조절 소자의 구동 상태를 제어하는 단계는,
    상기 제2 AR 정보를 제공하는 경우 상기 제2 객체의 뎁스 정보에 기초하여 상기 초점 조절 소자의 초점 거리가 상기 제2 초점 거리가 되도록 제어하는, 제어 방법.
  17. 제16항에 있어서,
    상기 초점 조절 소자의 구동 상태를 제어하는 단계는,
    상기 제2 객체의 뎁스 정보에 포함 된 뎁스 값과 상기 식별된 사용자 시선에 대응되는 뎁스 값의 차이를 획득하고,
    상기 획득된 뎁스 값의 차이에 기초하여 상기 초점 조절 소자의 초점 거리가 상기 제2 초점 거리가 되도록 제어하는, 제어 방법.
  18. 제11항에 있어서,
    상기 획득된 영상에 복수의 객체가 포함된 경우, 상기 복수의 객체 각각의 위치 정보에 기초하여 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하여 상기 스캐닝 미러를 제어하는 단계;를 더 포함하는, 제어 방법.
  19. 제18항에 있어서,
    상기 스캐닝 미러를 제어하는 단계는,
    상기 복수의 객체 각각의 위치 정보에 기초하여 상기 초점 조절 소자의 초점 거리가 단계적으로 변경되도록 상기 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하는, 제어 방법.
  20. 제18항에 있어서,
    상기 스캐닝 미러를 제어하는 단계는,
    상기 복수의 객체 각각의 위치 정보에 기초하여 상기 스캐닝 미러의 회전 동작이 최소화되도록 상기 스캔 시작 위치, 스캔 방향 및 스캔 경로 중 적어도 하나를 결정하는, 제어 방법.
KR1020180097266A 2018-08-21 2018-08-21 웨어러블 장치 및 그 제어 방법 KR20200021670A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180097266A KR20200021670A (ko) 2018-08-21 2018-08-21 웨어러블 장치 및 그 제어 방법
PCT/KR2019/000100 WO2020040367A1 (ko) 2018-08-21 2019-01-03 웨어러블 장치 및 그 제어 방법
US16/973,342 US11579683B2 (en) 2018-08-21 2019-01-03 Wearable device and control method therefor
CN201980044635.2A CN112384883A (zh) 2018-08-21 2019-01-03 可穿戴设备及其控制方法
EP19852488.6A EP3805900A4 (en) 2018-08-21 2019-01-03 PORTABLE DEVICE AND ASSOCIATED CONTROL PROCEDURE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180097266A KR20200021670A (ko) 2018-08-21 2018-08-21 웨어러블 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20200021670A true KR20200021670A (ko) 2020-03-02

Family

ID=69592668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180097266A KR20200021670A (ko) 2018-08-21 2018-08-21 웨어러블 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US11579683B2 (ko)
EP (1) EP3805900A4 (ko)
KR (1) KR20200021670A (ko)
CN (1) CN112384883A (ko)
WO (1) WO2020040367A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124510A1 (ko) * 2020-12-10 2022-06-16 주식회사 레티널 가상 영상의 깊이 조절 기능을 구비하는 증강 현실용 광학 장치
WO2023008741A1 (ko) * 2021-07-30 2023-02-02 삼성전자주식회사 프로젝션 디스플레이를 포함하는 웨어러블 전자 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113890987A (zh) * 2021-08-23 2022-01-04 歌尔光学科技有限公司 一种自动调焦方法、装置、电子设备及存储介质
CN115562497B (zh) * 2022-11-04 2024-04-05 浙江舜为科技有限公司 增强现实信息交互方法、增强现实设备和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003079272A1 (en) * 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US8248458B2 (en) * 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
KR20130034125A (ko) 2011-09-28 2013-04-05 송영일 증강현실 기능을 구비한 안경형 모니터
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US20160018652A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
CN106537219B (zh) * 2014-05-30 2021-03-16 奇跃公司 用于在虚拟和增强现实中产生焦平面的方法和系统
KR20160059406A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
TWI688789B (zh) * 2014-11-20 2020-03-21 美商英特爾股份有限公司 虛擬影像產生器及投影虛擬影像的方法
US10176639B2 (en) * 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US10025060B2 (en) * 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
KR20180025524A (ko) * 2016-08-31 2018-03-09 엘지디스플레이 주식회사 개인 몰입형 표시장치 및 이의 구동방법
WO2018156523A1 (en) * 2017-02-21 2018-08-30 Oculus Vr, Llc Focus adjusting multiplanar head mounted display
JP7096836B2 (ja) * 2017-03-22 2022-07-06 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
KR102481884B1 (ko) 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
WO2019104413A1 (en) * 2017-12-03 2019-06-06 Frank Jones Enhancing the performance of near-to-eye vision systems
EP3765943A4 (en) * 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124510A1 (ko) * 2020-12-10 2022-06-16 주식회사 레티널 가상 영상의 깊이 조절 기능을 구비하는 증강 현실용 광학 장치
WO2023008741A1 (ko) * 2021-07-30 2023-02-02 삼성전자주식회사 프로젝션 디스플레이를 포함하는 웨어러블 전자 장치

Also Published As

Publication number Publication date
US20210247840A1 (en) 2021-08-12
US11579683B2 (en) 2023-02-14
CN112384883A (zh) 2021-02-19
EP3805900A1 (en) 2021-04-14
EP3805900A4 (en) 2021-09-29
WO2020040367A1 (ko) 2020-02-27

Similar Documents

Publication Publication Date Title
US10281729B2 (en) Vehicle equipped with head-up display system capable of adjusting imaging distance and maintaining image parameters, and operation method of head-up display system thereof
JP6252883B1 (ja) ヘッドアップディスプレイ装置、及び車両
US10067561B2 (en) Display visibility based on eye convergence
US10645374B2 (en) Head-mounted display device and display control method for head-mounted display device
JP2023543557A (ja) ニアアイディスプレイの光源を駆動する方法
KR20200021670A (ko) 웨어러블 장치 및 그 제어 방법
US8866702B1 (en) Use of optical display system as a visual indicator for a wearable computing device
US9398844B2 (en) Color vision deficit correction
US8957916B1 (en) Display method
US20160155267A1 (en) Display control system for an augmented reality display system
US11009781B2 (en) Display system, control device, control method, non-transitory computer-readable medium, and movable object
JP2018090170A (ja) ヘッドアップディスプレイシステム
US20160110883A1 (en) Expectation Maximization to Determine Position of Ambient Glints
CN114089528A (zh) 用于控制平视显示的方法和设备以及平视显示装置
US11170537B2 (en) Vehicle display device
US20230038781A1 (en) Augmented reality device and method for detecting gaze of user
JP7182368B2 (ja) 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム
JP2017102221A (ja) 画像表示装置
JP6611310B2 (ja) 車両用投影表示装置
KR20220148893A (ko) 가변 밝기 및 시야 디스플레이
EP4350417A1 (en) Augmented reality apparatus and method for providing vision measurement and vision correction
US20230078819A1 (en) Optical design of a dual combiner in head-wearable display
WO2020189258A1 (ja) 表示装置、ヘッドアップディスプレイ装置、およびヘッドマウントディスプレイ装置
US20240138668A1 (en) Augmented reality apparatus and method for providing vision measurement and vision correction
US20230360567A1 (en) Virtual reality display system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal