KR20220074648A - 가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법 - Google Patents

가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR20220074648A
KR20220074648A KR1020200163383A KR20200163383A KR20220074648A KR 20220074648 A KR20220074648 A KR 20220074648A KR 1020200163383 A KR1020200163383 A KR 1020200163383A KR 20200163383 A KR20200163383 A KR 20200163383A KR 20220074648 A KR20220074648 A KR 20220074648A
Authority
KR
South Korea
Prior art keywords
mode
slim
screen
user
lens
Prior art date
Application number
KR1020200163383A
Other languages
English (en)
Inventor
윤홍수
신호동
심승보
최민석
Original Assignee
가온미디어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온미디어 주식회사 filed Critical 가온미디어 주식회사
Priority to KR1020200163383A priority Critical patent/KR20220074648A/ko
Priority to PCT/KR2020/017210 priority patent/WO2022114307A1/ko
Publication of KR20220074648A publication Critical patent/KR20220074648A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

본 발명은 XR 디바이스를 착용한 사용자의 주변 밝기에 대응하여 그 XR 디바이스의 시야 부분 투과도를 조정하는 기술로서, 슬림형 XR 디바이스의 렌즈 부재 전면에 바이저 부재를 구비하고 그 바이저 부재가 주변 밝기에 대응하여 빛의 투과도를 조정하도록 구성함에 따라 XR 디바이스를 슬림형으로 유지하면서도 갑자기 변하는 주변 상황(예: 섬광, 소등)에 유연하게 대처가 가능하도록 하는 기술이다. 본 발명에 따르면, XR 디바이스의 선단부를 전체적으로 슬림하게 구현함에 따라 그 XR 디바이스를 착용한 유저의 활동성을 향상시킬 수 있는 장점이 있다.

Description

가변형 투과도를 가지는 슬림형 XR 디바이스 및 그 제어 방법 {slim type XR device having variable transparency, and method of controlling the same}
본 발명은 XR 디바이스를 착용한 사용자의 주변 밝기에 대응하여 그 XR 디바이스의 시야 부분 투과도를 조정하는 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 슬림형 XR 디바이스의 렌즈 부재 전면에 바이저 부재를 구비하고 그 바이저 부재가 주변 밝기에 대응하여 빛의 투과도를 조정하도록 구성함에 따라 XR 디바이스를 슬림형으로 유지하면서도 갑자기 변하는 주변 상황(예: 섬광, 소등)에 유연하게 대처가 가능하도록 하는 기술이다.
가상현실(VR; Virtual Reality) 기술은 화면이나 렌즈를 통해 구현되는 객체나 배경 등을 가상으로 만들어진 컴퓨터그래픽(CG; Computer Graphic) 영상으로만 제공한다.
그리고, 증강현실(AR; Augmented Reality) 기술은 실제 영상에 대해 가상으로 만들어진 컴퓨터그래픽 영상을 더하여 함께 제공한다.
또한, 혼합현실(MR; Mixed Reality) 기술은 현실 세계에 대해 가상으로 만들어진 컴퓨터그랙픽 영상을 독립적으로 결합시키거나 믹싱하여 제공하는 컴퓨터그래픽 기술이다.
여기서, 위에 언급한 VR, AR, MR 등을 모두 간단히 확장현실(XR; extended reality) 기술로 지칭하기도 한다.
AR 기술은 실제 영상에 대해 가상의 디지털 이미지를 입히는 방식이다. 또한, MR 기술은 현실 세계에 대해 가상의 디지털 이미지를 입히는 방식으로서 유저의 눈으로 현실 세계를 볼 수 있다는 점에서 눈을 가린 채 가상의 컴퓨터그래픽 영상만 보여주는 VR 기술과는 다르다.
또한, 실내에서만 쓸 수 있는 VR 기기 및 AR 기기와 달리 MR 기기는 안경처럼 착용한 상태로 현실 세계를 걸어다니면서 사용할 수가 있으므로 그 쓰임새(예: 대테러 진압작전, 화재 진압작전 등)가 훨씬 다양하다.
여기서, 사용자가 XR 디바이스를 착용하고 대테러 진압작전이나 화재 진압작전 등에 투입되는 경우 주변 환경이 갑자기 변화하는 경우(예: 섬광, 소등), 이러한 환경에 유연하게 대처하는 것이 중요한 임무 중에 하나일 수 있다.
그런데, VR 기기, AR 기기, MR 기기를 통칭하는 XR 디바이스는 위와 같이 주변 밝기가 갑자기 변화하는 경우를 포함하여 그 사용 목적에 따라 기본적으로 복수의 제어칩들이 탑재된 쪽 보드(예: PCB)를 구비하여야만 한다.
그 결과, 기존의 XR 디바이스는 복수의 제어칩들이 탑재된 쪽 보드를 구비하여야만 하기 때문에 유저의 안면에 착용된 상태에서 전후방으로의 디바이스 두께와 상하좌우 방향으로의 넓은 디바이스 규격을 줄이는 데에 한계가 있음은 물론 디바이스의 유려한 디자인을 고려하는 데에도 한계가 있었다.
그에 따라, XR 디바이스의 경량화와 소형화를 유지하면서도 주변 밝기 변화에 대응하여 투과도를 조정함으로써 상기와 같은 종래기술의 문제점을 해결할 수 있는 기술 구현이 요구된다.
본 발명은 상기한 점을 감안하여 제안된 것으로, 본 발명의 목적은 사용자가 착용하는 XR 디바이스의 경량화와 소형화를 유지함과 아울러 XR 디바이스를 착용한 사용자의 주변 밝기 변화에 대응하여 시야 부분의 투과도를 조정할 수 있는 가변형 투과도를 가지는 슬림형 XR 디바이스 및 그 제어 방법을 제공함에 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 가변형 투과도를 가지는 슬림형 XR 디바이스는 사용자의 눈 쪽에 배치되어 사용자의 시야를 가이드하는 하나이상의 렌즈 부재(110); 렌즈 부재에 정보를 표시하는 디스플레이 부재; 하나이상의 렌즈 부재의 테두리를 감싸는 형태로 렌즈 부재를 고정하는 프레임전방 부재(130); 프레임전방 부재의 양측에 고정된 상태로 후방으로 연장됨에 따라 프레임전방 부재와 협동으로 렌즈 부재를 사용자의 안면에 거치시키는 하나이상의 프레임측방 부재(140); 프레임전방 부재의 전면에 얇은 막 형태로 배치되며 디스플레이 부재와 접속되어 디스플레이 부재의 동작을 제어하는 PCB 부재(150); 렌즈 부재의 전방 표면에 넓게 접합되며 외부로부터 렌즈 부재로 들어오는 광량에 대응하여 가변하는 투과도를 갖는 바이저 부재(160); 렌즈 부재로 들어오는 광량을 센싱하는 광량센서 부재(170); 광량센서 부재의 센싱 결과에 대응하여 바이저 부재의 광량 투과도를 조정하는 광량제어 부재(180);를 포함하여 구성될 수 있다.
그리고, 광량센서 부재(170)와 광량제어 부재(180)는 PCB 부재와 프레임전방 부재 사이에 배치될 수 있고, 프레임전방 부재(130)는 광량센서 부재에 대응하는 자신의 전면에 후방으로 소정 깊이 함몰되어 광량센서 부재(170)와 광량제어 부재(180)를 수용하는 센서 수용부재(131);구비할 수 있다.
또한, 바이저 부재(160)는 렌즈 부재의 전면과 프레임전방 부재의 전면을 커버하도록 구성될 수 있다.
여기서, 렌즈 부재(110)는 사용자의 육안으로 투시가 가능한 투명 재질로 이루어지고, 디스플레이 부재는 MR 표시 부재로서 외부의 제어로 동작하여 렌즈 부재의 일부 영역에 MR 정보를 표시하도록 구성될 수 있다.
다른 한편, 본 발명은 MR (Mixed Reality) 모드 및 VR (Virtual Reality) 모드를 제공하는 슬림형 XR 디바이스의 제어 방법으로서, (a) MR 모드를 실행하는 단계; (b) MR 모드의 스크린을 디스플레이 하는 단계; (c) MR 모드 실행 중 기설정된 트리거(trigger) 조건이 만족된 경우 메모리에 액세스하여 VR 모드 관련 부가 정보를 추출하는 단계; (d) 추출된 VR 모드 관련 부가 정보에 기초하여 MR 모드의 스크린내에 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 디스플레이 하는 단계;를 포함하여 구성될 수 있다.
여기서, MR 모드의 스크린은, XR 디바이스의 카메라에 의해 촬영된 오브젝트를 포함하여 구성될 수 있고, VR 모드의 스크린은, 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트를 포함하여 구성될 수 있다.
그리고, VR 모드의 스크린내 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트는, XR 디바이스에 의해 인식된 유저별로 변경되도록 구성될 수 있다.
다른 한편, XR 디바이스의 유저의 시선 또는 특정 디바이스를 트래킹 하는 단계;를 더 포함하여 구성될 수도 있다.
이때, 트리거 조건은, 트래킹된 유저의 시선 또는 특정 디바이스가 MR 모드의 스크린내 특정 영역 내에서 기설정된 시간 동안 인식된 경우를 포함하여 구성될 수 있다.
그리고, 트리거 조건은, XR 디바이스 또는 대응하는 리모컨의 특정 물리키 버튼이 푸쉬된 제1조건과, XR 디바이스 또는 대응하는 리모컨의 특정 모션이 감지된 제2조건과, XR 디바이스의 카메라에 의해 특정 제스쳐가 감지된 제3조건 중 적어도 하나를 포함하여 구성될 수도 있다.
여기서, 트리거 조건이 제3조건에 해당하는 경우 특정 제스쳐가 형성하는 영역의 사이즈 또는 위치에 따라 MR 모드의 스크린내에서 디스플레이된 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 변경하는 단계;를 더 포함하여 구성될 수 있다.
그리고, 단계 (d)는, MR 모드를 실행 중 VR 모드의 스크린내 적어도 하나의 가상 오브젝트를 가이드 하기 위한 인디케이터를 디스플레이 하는 단계;를 구비할 수 있다.
또한, 인디케이터는, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 타입을 표시하는 제1 그래픽 데이터와, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 위치를 표시하는 제2 그래픽 데이터와, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 개수를 표시하는 제3 그래픽 데이터 중 적어도 하나이상을 포함하여 구성될 수 있다.
다른 한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 가변형 투과도를 가지는 슬림형 XR 디바이스의 제어 방법을 실행시키기 위하여 매체에 저장된 것이다.
본 발명은 렌즈 부재에 접합되는 얇은 막 형태의 PCB 부재, 바이저 부재, 광량센서 부재, 광량제어 부재를 구비함에 따라 용자의 주변 밝기 변화에 대응하여 시야 부분의 투과도를 조정할 수 있음은 물론 XR 디바이스의 경량화와 소형화를 유지할 수 있다는 장점을 나타낸다.
또한, 본 발명은 XR 디바이스의 선단부를 전체적으로 슬림하게 구현함에 따라 그 XR 디바이스를 착용한 유저의 활동성을 향상시킬 수 있는 장점도 나타낸다.
[도 1]은 본 발명에 따른 가변형 투과도를 가지는 슬림형 XR 디바이스를 도시한 예시도,
[도 2]는 [도 1]에서 각 구성을 분리한 도면,
[도 3]은 [도 1]에서 주변이 어두워짐에 따라 바이저 부재의 투과도를 높인 상태의 예시도,
[도 4]는 [도 1]에서 주변이 밝아짐에 따라 바이저 부재의 투과도를 낮춘 상태의 예시도,
[도 5]는 본 발명에서 가변형 투과도를 가지는 슬림형 XR 디바이스의 제어 방법을 나타낸 순서도,
[도 6]은 본 발명에서 가변형 투과도를 가지는 슬림형 XR 디바이스가 MR/VR 서비스 제공을 위한 파라미터들을 저장한 메모리 데이터 구조의 일례를 나타낸 도면이다.
이하, 도면을 참조하여 본 발명을 상세히 설명한다.
[도 1]은 본 발명에 따른 가변형 투과도를 가지는 슬림형 XR 디바이스를 도시한 예시도이고, [도 2]는 [도 1]에서 각 구성을 분리한 도면이고, [도 3]은 [도 1]에서 주변이 어두워짐에 따라 바이저 부재의 투과도를 높인 상태의 예시도이고, [도 4]는 [도 1]에서 주변이 밝아짐에 따라 바이저 부재의 투과도를 낮춘 상태의 예시도이다.
[도 1] 내지 [도 4]를 참조하면, 본 발명에 따른 가변형 투과도를 가지는 슬림형 XR 디바이스는 렌즈 부재(110), 디스플레이 부재(미도시), 프레임전방 부재(130), 프레임측방 부재(140), PCB 부재(150), 바이저 부재(160), 광량센서 부재(170), 광량제어 부재(180)를 포함하여 구성될 수 있다.
렌즈 부재(110)는 사용자의 얼굴 눈 쪽에 배치되어 사용자의 시야를 가이드할 수 있다. 이를 위해, 렌즈 부재(110)는 사용자의 두 눈 위치에 대응하여 [도 2]에서와 같이 한 쌍으로 구성될 수도 있지만, 하나의 렌즈 부재(110)가 좌우로 길게 구성될 수도 있다.
디스플레이 부재(미도시)는 렌즈 부재(110)의 안쪽 면에 MR 정보, AR 정보, VR 정보 중 어느 하나를 표시하도록 구성될 수 있다.
여기서, 본 명세서의 MR 정보, AR 정보, VR 정보를 정의하면 다음과 같다. 먼저, MR 정보는 사용자가 렌즈 부재(110)를 통해 현실 세계를 실제로 보고 있는 상태에서 바람직하게는 그 렌즈 부재(110)의 내측면에 가상으로 만들어진 컴퓨터그래픽(CG) 영상을 표시하는 소위 MR (Mixed Reality) 모드를 의미한다.
그리고, AR 정보는 사용자가 렌즈 부재(110)를 통해 현실 세계가 아닌 촬영된 실제 영상(예: 프로야구 중계)을 보고 있는 상태에서 바람직하게는 그 렌즈 부재(110)의 내측면에 가상으로 만들어진 컴퓨터그래픽(CG) 영상을 표시하는 소위 AR (Augmented Reality) 모드를 의미한다.
또한, VR 정보는 사용자가 렌즈 부재(110)를 통해 가상으로 미리 만들어진 컴퓨터그래픽(CG) 영상이 표시되는 소위 VR(Virtual Reality) 모드를 의미한다.
프레임전방 부재(130)는 [도 1]과 [도 2]에서와 같이 하나이상의 렌즈 부재(110)의 테두리를 감싸는 형태로 렌즈 부재(110)를 고정한다.
프레임측방 부재(140)는 [도 1]과 [도 2]에서와 같이 프레임전방 부재(130)의 양측에 고정된 상태로 후방으로 연장됨에 따라 프레임전방 부재(130)와 협동으로 렌즈 부재(110)를 사용자의 안면에 거치시킨다.
여기서, 프레임측방 부재(140)는 [도 1]과 [도 2]에서와 같이 사용자의 양측 귀에 대응하도록 한 쌍으로 구성될 수도 있고, 프레임전방 부재(130)의 양단에 고리 형태로 연결될 수도 있다.
PCB 부재(150)는 [도 2]에서와 같이 프레임전방 부재(130)의 전면에 얇은 막 형태로 배치되며 디스플레이 부재(미도시)와 접속되어 디스플레이 부재(미도시)의 동작을 제어한다.
이를 위해, PCB 부재(150)는 바람직하게는 [도 2]에서와 같이 낭창낭창하고 얇은 FPCB로 구성될 수도 있다.
바이저 부재(160)는 [도 1] 내지 [도 4]에서와 같이 렌즈 부재(110)의 전방 표면에 넓게 접합되며 외부로부터 렌즈 부재(110)로 들어오는 광량에 대응하여 가변하는 투과도를 갖도록 구성될 수 있다.
여기서, 바이저 부재(160)는 바람직하게는 [도 1]내지 [도 4]에서와 같이 렌즈 부재(110)의 전면과 프레임전방 부재(130)의 전면을 커버하도록 구성될 수 있다.
광량센서 부재(170)는 렌즈 부재(110)로 들어오는 광량을 센싱하도록 구성될 수 있고, 광량제어 부재(180)는 광량센서 부재(170)의 센싱 결과에 대응하여 바이저 부재(160)의 광량 투과도를 조정하도록 구성될 수 있다.
예컨대, 광량센서 부재(170)의 광량 센싱 결과, [도 3]에서와 같이 XR 디바이스가 위치하는 주변이 어둡다고 판단되면 광량제어 부재(180)는 외부로부터 바이저 부재(160)로의 광량 진입이 높아지도록 조정함에 따라 렌즈 부재(110)로 투과되는 빛의 양을 늘릴 수 있다.
반대로, 광량센서 부재(170)의 광량 센싱 결과, [도 4]에서와 같이 XR 디바이스가 위치하는 주변이 밝다고 판단되면 광량제어 부재(180)는 외부로부터 바이저 부재(160)로의 광량 진입이 낮아지도록 조정함에 따라 렌즈 부재(110)로 투과되는 빛의 양을 늘릴 수 있다.
여기서, 광량센서 부재(170)와 광량제어 부재(180)는 [도 1] 내지 [도 4]에서와 같이 공간 제약을 극복하기 위해 바람직하게는 하나의 모듈 형태로 구성될 수도 있다.
이와 같은 구성의 광량센서 부재(170)와 광량제어 부재(180)는 [도 1] 내지 [도 4]에서와 같이 PCB 부재(150)와 프레임전방 부재(130) 사이에 배치될 수 있으며, 바람직하게는 센서 수용부재(131)에 끼워져 배치된다.
이를 위해, 프레임전방 부재(130)는 센서 수용부재(131)를 구비할 수 있는데, 센서 수용부재(131)는 [도 2]에서와 같이 광량센서 부재(170)에 대응하는 자신의 전면에 후방으로 소정 깊이 함몰되어 광량센서 부재(170)와 광량제어 부재(180)를 수용할 수 있다.
한편, 렌즈 부재(110)는 사용자의 육안으로 투시가 가능한 투명 재질로 이루어질 수 있다. 이때, 디스플레이 부재(미도시)는 MR 표시 부재(미도시)로서 외부의 제어로 동작하여 렌즈 부재(110)의 일부 영역에 MR 정보를 표시하도록 구성될 수 있다.
[도 5]는 본 발명에서 가변형 투과도를 가지는 슬림형 XR 디바이스의 제어 방법을 나타낸 순서도이다.
단계 (S110) : 본 발명에 따른 슬림형 XR 디바이스는 MR (Mixed Reality) 모드 및 VR (Virtual Reality) 모드를 제공하기 위해 먼저, MR 모드를 실행할 수 있다.
단계 (S120, S130) : 나아가, MR 모드의 스크린을 디스플레이하고, MR 모드 실행 중 기설정된 트리거(trigger) 조건이 만족하는지 여부를 판단한다.
단계 (S140, S150) : 트리거 조건이 만족된 것으로 판단된 경우 메모리에 액세스하여 VR 모드 관련 부가 정보를 추출한다.
이어서, 그 추출된 VR 모드 관련 부가 정보에 기초하여 MR 모드의 스크린 내에 VR 모드의 스크린 내에서 특정 위치에 대응하는 가상 오브젝트를 디스플레이한다.
MR 모드의 스크린은 예컨대 슬림형 XR 디바이스의 카메라에 의해 촬영된 오브젝트를 포함하고, VR 모드의 스크린은 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트를 포함한다.
VR 모드의 스크린 내 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트는, 예컨대 슬림형 XR 디바이스에 의해 인식된 유저별로 변경될 수도 있다.
[도 5]에 도시되지는 않았으나, 슬림형 XR 디바이스의 유저의 시선 또는 특정 디바이스를 트래킹하는 단계를 더 포함하여 구성될 수도 있다.
이때, 트리거 조건은 예컨대 트래킹된 유저의 시선 또는 특정 디바이스가 MR 모드의 스크린 내 특정 영역 내에서 기설정된 시간 동안 인식된 경우를 포함할 수 있다.
트리거 조건은, 예를 들어, 슬림형 XR 디바이스 또는 이에 대응하는 리모컨의 특정 물리키 버튼이 푸쉬된 제1조건, 슬림형 XR 디바이스 또는 이에 대응하는 리모컨의 특정 모션이 감지된 제2조건 또는 슬림형 XR 디바이스의 카메라에 의해 특정 제스쳐가 감지된 제3조건 중 적어도 하나를 포함할 수 있다.
트리거 조건이 제3조건에 해당하는 경우, 특정 제스쳐가 형성하는 영역의 사이즈 또는 위치에 따라, MR 모드의 스크린내에서 디스플레이된 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 변경하는 단계를 더 포함한다.
단계 (S150)은 MR 모드를 실행 중, VR 모드의 스크린내 적어도 하나의 가상 오브젝트를 가이드하기 위한 인디케이터를 디스플레이하는 단계를 더 포함할 수도 있다.
여기서, 인디케이터는 예컨대 VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 타입을 표시하는 제1 그래픽 데이터, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 위치를 표시하는 제2 그래픽 데이터, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 개수를 표시하는 제3 그래픽 데이터 중 적어도 하나를 포함할 수 있다.
본 발명의 제어 방법과 유사하게, 장치 관점에서 살펴하면 XR (extended reality) 관련 복수 개의 모드를 제공하는 슬림형 XR 디바이스는, 메모리와, 적어도 하나의 모드 중 제1 모드를 실행하는 컨트롤러와, 그리고 제1 모드의 스크린을 디스플레이하는 디스플레이 부재를 포함할 수 있다. 여기서, 메모리의 특징은 이하 [도 6]에서 살펴 본다.
컨트롤러는, 제1 모드 실행 중 기설정된 트리거(trigger) 조건이 만족된 경우, 메모리에 액세스하여 제2 모드 관련 부가 정보를 추출하고, 추출된 제2 모드 관련 부가 정보에 기초하여, 제1 모드의 스크린내에 제2 모드의 스크린내 특정 위치의 가상 오브젝트를 디스플레이하도록 디스플레이 부재를 제어한다.
제1 모드는 예컨대 이전에 설명한 MR 모드에 해당하고, 제2 모드는 예를 들어 이전에 설명한 VR 모드에 해당한다.
[도 6]은 본 발명에서 가변형 투과도를 가지는 슬림형 XR 디바이스가 MR/VR 서비스 제공을 위한 파라미터들을 저장한 메모리 데이터 구조의 일례를 나타낸 도면이다.
앞서 살펴 본 본 발명의 실시예를 구현하기 위하여 [도 6]에 도시된 바와 같이 슬림형 XR 디바이스의 메모리에 MR/VR 서비스를 위한 특정 파라미터들을 미리 정의할 수 있다.
종래에는 MR 모드를 실행하였다가, 개인화된 VR 모드의 정보를 불러오 기 위해서는 MR 모드가 VR 모드로 전체 전환되어야 하는 문제점이 있었다. 반면, 본원 발명에 의하면, MR 모드 실행 중 VR 모드의 가상 오브젝트들 중 일부만 불러오는 것이 가능하다.
[도 6]에 도시된 바와 같이, ID와 관계 없이 MR 모드에서는 동일한 화면이 제공된다. 그러나, MR 모드 실행 중 트리거 조건 만족시 VR 모드의 스크린내 특정 가상 오브젝트만 불러 오기 위하여, ID 별로 임의의 가상 오브젝트 및 위치가 다르게 정의된다.
한편, 사용자를 구별하기 위한 ID는, 사용자가 임의로 입력할 수도 있고 또는 카메라 등을 통해 자동 구별도 가능하다. 보다 구체적으로 예를 들면, Mr Kim이 XR 디바이스의 MR 모드 실행 중, 트리거 조건 만족시 [도 6]에 도시된 데이터베이스에 액세스 하여, VR 모드의 스크린내 A 부가 정보(가상 오브젝트)의 위치 및 B 부가 정보(가상 오브젝트)의 위치 확인 후, 이를 인디케이팅 하는 GUI를 표시할 수도 있다.
반면, Ms Lee 가 슬림형 XR 디바이스의 MR 모드 실행 중, 트리거 조건 만족시 [도 6]에 도시된 데이터베이스에 액세스하여, VR 모드의 스크린내 A 부가 정보(가상 오브젝트)의 위치 및 C 부가 정보(가상 오브젝트)의 위치 확인 후, 이를 인디케이팅 하는 GUI를 표시할 수도 있다.
마지막으로, Ms Park 이 슬림형 XR 디바이스의 MR 모드 실행 중, 트리거 조건 만족시 [도 6]에 도시된 데이터베이스에 액세스 하여, VR 모드의 스크린내 D 부가 정보(가상 오브젝트)의 위치, E 부가 정보(가상 오브젝트) 및 F 부가 정보(가상 오브젝트)의 위치 확인 후, 이를 인디케이팅 하는 GUI를 표시할 수도 있다.
즉, 여기서의 VR 모드의 스크린은 개인화되어 있으므로, 사용자별로 다르게 설정하는 것이 가능하다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
110 : 렌즈 부재
130 : 프레임전방 부재
131 : 센서 수용부재
140 : 프레임측방 부재
150 : PCB 부재
160 : 바이저 부재
170 : 광량센서 부재
180 : 광량제어 부재

Claims (10)

  1. 사용자의 눈 쪽에 배치되어 사용자의 시야를 가이드하는 하나이상의 렌즈 부재(110);
    상기 렌즈 부재에 정보를 표시하는 디스플레이 부재;
    상기 하나이상의 렌즈 부재의 테두리를 감싸는 형태로 상기 렌즈 부재를 고정하는 프레임전방 부재(130);
    상기 프레임전방 부재의 양측에 고정된 상태로 후방으로 연장됨에 따라 상기 프레임전방 부재와 협동으로 상기 렌즈 부재를 사용자의 안면에 거치시키는 하나이상의 프레임측방 부재(140);
    상기 프레임전방 부재의 전면에 얇은 막 형태로 배치되며 상기 디스플레이 부재와 접속되어 상기 디스플레이 부재의 동작을 제어하는 PCB 부재(150);
    상기 렌즈 부재의 전방 표면에 넓게 접합되며 외부로부터 상기 렌즈 부재로 들어오는 광량에 대응하여 가변하는 투과도를 갖는 바이저 부재(160);
    상기 렌즈 부재로 들어오는 광량을 센싱하는 광량센서 부재(170);
    상기 광량센서 부재의 센싱 결과에 대응하여 상기 바이저 부재의 광량 투과도를 조정하는 광량제어 부재(180);
    를 포함하여 구성되는 가변형 투과도를 가지는 슬림형 XR 디바이스.
  2. 청구항 1에 있어서,
    상기 광량센서 부재(170)와 상기 광량제어 부재(180)는 상기 PCB 부재와 상기 프레임전방 부재 사이에 배치되고,
    상기 프레임전방 부재(130)는,
    상기 광량센서 부재에 대응하는 자신의 전면에 후방으로 소정 깊이 함몰되어 상기 광량센서 부재(170)와 상기 광량제어 부재(180)를 수용하는 센서 수용부재(131);
    구비하는 것을 특징으로 하는 가변형 투과도를 가지는 슬림형 XR 디바이스.
  3. 청구항 2에 있어서,
    상기 바이저 부재(160)는 상기 렌즈 부재의 전면과 상기 프레임전방 부재의 전면을 커버하도록 구성되는 것을 특징으로 하는 가변형 투과도를 가지는 슬림형 XR 디바이스.
  4. 청구항 3에 있어서,
    상기 렌즈 부재(110)는 사용자의 육안으로 투시가 가능한 투명 재질로 이루어지고,
    상기 디스플레이 부재는 MR 표시 부재로서 외부의 제어로 동작하여 상기 렌즈 부재의 일부 영역에 MR 정보를 표시하는 것을 특징으로 하는 가변형 투과도를 가지는 슬림형 XR 디바이스.
  5. MR (Mixed Reality) 모드 및 VR (Virtual Reality) 모드를 제공하는 슬림형 XR 디바이스의 제어 방법으로서,
    (a) 상기 MR 모드를 실행하는 단계;
    (b) 상기 MR 모드의 스크린을 디스플레이 하는 단계;
    (c) 상기 MR 모드 실행 중 기설정된 트리거(trigger) 조건이 만족된 경우 메모리에 액세스하여 상기 VR 모드 관련 부가 정보를 추출하는 단계;
    (d) 상기 추출된 VR 모드 관련 부가 정보에 기초하여 상기 MR 모드의 스크린내에 상기 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 디스플레이 하는 단계;
    를 포함하여 구성되는 가변형 투과도를 가지는 슬림형 XR 디바이스의 제어 방법.
  6. 청구항 5에 있어서,
    상기 MR 모드의 스크린은,
    상기 XR 디바이스의 카메라에 의해 촬영된 오브젝트를 포함하여 구성되고,
    상기 VR 모드의 스크린은,
    각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트를 포함하여 구성되는 것을 특징으로 하는 가변형 투과도를 가지는 슬림형 XR 디바이스의 제어 방법.
  7. 청구항 5에 있어서,
    상기 VR 모드의 스크린내 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트는, 상기 XR 디바이스에 의해 인식된 유저별로 변경되도록 구성되는 것을 특징으로 하는 가변형 투과도를 가지는 슬림형 XR 디바이스의 제어 방법.
  8. 청구항 5에 있어서,
    상기 XR 디바이스의 유저의 시선 또는 특정 디바이스를 트래킹 하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 가변형 투과도를 가지는 슬림형 XR 디바이스의 제어 방법.
  9. 청구항 8에 있어서,
    상기 트리거 조건은,
    상기 트래킹된 유저의 시선 또는 특정 디바이스가 상기 MR 모드의 스크린내 특정 영역 내에서 기설정된 시간 동안 인식된 경우를 포함하여 구성되는 것을 특징으로 하는 가변형 투과도를 가지는 슬림형 XR 디바이스의 제어 방법.
  10. 하드웨어와 결합되어 청구항 5 내지 9 중 어느 하나의 항에 따른 가변형 투과도를 가지는 슬림형 XR 디바이스의 제어 방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
KR1020200163383A 2020-11-27 2020-11-27 가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법 KR20220074648A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200163383A KR20220074648A (ko) 2020-11-27 2020-11-27 가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법
PCT/KR2020/017210 WO2022114307A1 (ko) 2020-11-27 2020-11-28 가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200163383A KR20220074648A (ko) 2020-11-27 2020-11-27 가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220074648A true KR20220074648A (ko) 2022-06-03

Family

ID=81755771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200163383A KR20220074648A (ko) 2020-11-27 2020-11-27 가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20220074648A (ko)
WO (1) WO2022114307A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108209857B (zh) * 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
US20200119433A1 (en) * 2017-03-06 2020-04-16 Snap Inc. Wearable device antenna system
KR102084723B1 (ko) * 2018-06-27 2020-03-04 (주)비젼에이드 플라스틱 엘시디 셰이드를 구비한 증강현실 및 가상현실 겸용 스마트 글라스 디스플레이 장치
KR20190070899A (ko) * 2019-06-07 2019-06-21 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
KR102592653B1 (ko) * 2019-07-01 2023-10-23 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
WO2022114307A1 (ko) 2022-06-02

Similar Documents

Publication Publication Date Title
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US20190279407A1 (en) System and method for augmented reality interaction
US10451875B2 (en) Smart transparency for virtual objects
KR102235410B1 (ko) 머리-장착형 디스플레이에서의 메뉴 내비게이션
KR101808852B1 (ko) 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
US10311638B2 (en) Anti-trip when immersed in a virtual reality environment
US8799810B1 (en) Stability region for a user interface
JP6107276B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160011724A1 (en) Hands-Free Selection Using a Ring-Based User-Interface
US9147111B2 (en) Display with blocking image generation
US9864198B2 (en) Head-mounted display
KR20180028796A (ko) 이미지 표시 방법, 저장 매체 및 전자 장치
US20130117707A1 (en) Velocity-Based Triggering
US9599825B1 (en) Visual indicator for transparent display alignment
CN111684496B (zh) 用于在头戴式显示系统中跟踪焦点的设备和方法
US11209681B2 (en) Virtual reality and/or augmented reality viewer having variable transparency
US20150185971A1 (en) Ring-Based User-Interface
KR20180044292A (ko) 투시 안경에 대한 보조 아이템 선택
KR20220074648A (ko) 가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법
KR102650572B1 (ko) 전자 장치 및 그의 제어 방법
US11694379B1 (en) Animation modification for optical see-through displays
KR102562420B1 (ko) 5g 통신 기능을 가지는 슬림형 xr 디바이스
JP2017138609A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US11619814B1 (en) Apparatus, system, and method for improving digital head-mounted displays
US9547406B1 (en) Velocity-based triggering

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application