KR102642822B1 - 방향 식별을 위한 슬림형 xr 디바이스 - Google Patents

방향 식별을 위한 슬림형 xr 디바이스 Download PDF

Info

Publication number
KR102642822B1
KR102642822B1 KR1020200163385A KR20200163385A KR102642822B1 KR 102642822 B1 KR102642822 B1 KR 102642822B1 KR 1020200163385 A KR1020200163385 A KR 1020200163385A KR 20200163385 A KR20200163385 A KR 20200163385A KR 102642822 B1 KR102642822 B1 KR 102642822B1
Authority
KR
South Korea
Prior art keywords
camera
slim
frame
mode
lens
Prior art date
Application number
KR1020200163385A
Other languages
English (en)
Other versions
KR20220074650A (ko
Inventor
윤홍수
신호동
심승보
김정현
Original Assignee
가온그룹 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온그룹 주식회사 filed Critical 가온그룹 주식회사
Priority to KR1020200163385A priority Critical patent/KR102642822B1/ko
Priority to PCT/KR2020/017211 priority patent/WO2022114308A1/ko
Publication of KR20220074650A publication Critical patent/KR20220074650A/ko
Application granted granted Critical
Publication of KR102642822B1 publication Critical patent/KR102642822B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Abstract

본 발명은 XR 디바이스를 착용한 사용자의 이동에 따라 XR 디바이스가 촬영하는 영상의 방향을 식별하고자 하는 기술로서, 복수의 카메라를 프레임전방 부재와 프레임후방 부재에 분산 배치함에 따라 각 카메라로부터 촬영된 결과물이 XR 디바이스가 향하는 방향과 구별하도록 하는 기술에 관한 것이다. 특히, 얇은 막 형태의 PCB 부재를 통해 슬림화된 XR 디바이스에 대해 방향 식별을 위한 복수의 카메라를 채용함에도 불구하고 그 슬림화된 XR 디바이스가 슬림화된 상태를 유지하도록 하는 기술이다. 본 발명에 따르면, XR 디바이스의 선단부를 전체적으로 슬림하게 구현함에 따라 그 XR 디바이스를 착용한 유저의 활동성을 향상시킬 수 있는 장점이 있다.

Description

방향 식별을 위한 슬림형 XR 디바이스 {slim type XR device for direction identification}
본 발명은 XR 디바이스를 착용한 사용자의 이동에 따라 XR 디바이스가 촬영하는 영상의 방향을 식별하고자 하는 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 복수의 카메라를 프레임전방 부재와 프레임후방 부재에 분산 배치함에 따라 각 카메라로부터 촬영된 결과물이 XR 디바이스가 향하는 방향과 구별하도록 하는 기술에 관한 것이다.
특히, 얇은 막 형태의 PCB 부재를 통해 슬림화된 XR 디바이스에 대해 방향 식별을 위한 복수의 카메라를 채용함에도 불구하고 그 슬림화된 XR 디바이스가 슬림화된 상태를 유지하도록 하는 기술이다.
가상현실(VR; Virtual Reality) 기술은 화면이나 렌즈를 통해 구현되는 객체나 배경 등을 가상으로 만들어진 컴퓨터그래픽(CG; Computer Graphic) 영상으로만 제공한다.
그리고, 증강현실(AR; Augmented Reality) 기술은 실제 영상에 대해 가상으로 만들어진 컴퓨터그래픽 영상을 더하여 함께 제공한다.
또한, 혼합현실(MR; Mixed Reality) 기술은 현실 세계에 대해 가상으로 만들어진 컴퓨터그랙픽 영상을 독립적으로 결합시키거나 믹싱하여 제공하는 컴퓨터그래픽 기술이다.
여기서, 위에 언급한 VR, AR, MR 등을 모두 간단히 확장현실(XR; extended reality) 기술로 지칭하기도 한다.
AR 기술은 실제 영상에 대해 가상의 디지털 이미지를 입히는 방식이다. 또한, MR 기술은 현실 세계에 대해 가상의 디지털 이미지를 입히는 방식으로서 유저의 눈으로 현실 세계를 볼 수 있다는 점에서 눈을 가린 채 가상의 컴퓨터그래픽 영상만 보여주는 VR 기술과는 다르다.
또한, 실내에서만 쓸 수 있는 VR 기기 및 AR 기기와 달리 MR 기기는 안경처럼 착용한 상태로 현실 세계를 걸어다니면서 사용할 수가 있으므로 그 쓰임새(예: 대테러 진압작전, 화재 진압작전 등)가 훨씬 다양하다.
그런데, XR 디바이스는 보통 HMD 방식으로 채용되기 때문에 그러한 구성의 XR 디바이스를 통해서는 사용자의 두상을 기준으로 360도 각도를 동시에 촬영한다는 것에 한계가 있어 왔다.
그리고, 그러한 HMD 방식의 XR 디바이스는 복수의 제어칩 등 다양한 목적의 모듈 들을 채택하는 것에도 한계가 있기 때문에 복수의 카메라를 분산 설치하고 그러한 복수의 카메라를 동작시키기 위한 구성을 설치하는 것에도 공간적인 한계와 경량화의 한계가 있어 왔다.
그에 따라, XR 디바이스의 360도 방향을 촬영하면서도 그 촬영된 결과물의 방향을 식별할 수 있도록 얇은 막 형태의 PCB 부재를 통해 슬림화된 XR 디바이스에서 프레임전방 부재와 프레임후방 부재에 복수의 카메라를 분산 배치함에 따라 상기와 같은 종래기술의 문제점을 해결할 수 있는 기술 구현이 요구된다.
본 발명은 상기한 점을 감안하여 제안된 것으로, 본 발명의 목적은 XR 디바이스가 촬영하는 영역과 방향을 식별할 수 있도록 경량화된 XR 디바이스에 대해 복수의 카메라를 설치함에도 불구하고 그 경량화된 상태를 유지하도록 하는 방향 식별을 위한 슬림형 XR 디바이스 및 그 제어 방법을 제공함에 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스는 사용자의 눈 쪽에 배치되어 사용자의 시야를 가이드하는 하나이상의 렌즈 부재(110); 렌즈 부재에 정보를 표시하는 디스플레이 부재; 하나이상의 렌즈 부재의 테두리를 감싸는 형태로 렌즈 부재를 고정하는 프레임전방 부재(130); 프레임전방 부재의 양측에 고정된 상태로 후방으로 연장됨에 따라 프레임전방 부재와 협동으로 렌즈 부재를 사용자의 안면에 거치시키는 하나이상의 프레임측방 부재(140); 프레임전방 부재의 전면에 얇은 막 형태로 배치되며 디스플레이 부재와 접속되어 디스플레이 부재의 동작을 제어하는 PCB 부재(150); PCB 부재를 관통하여 프레임전방 부재의 전면에 끼워져 배치된 상태로 전방을 촬영하는 전방 카메라 부재(161); 프레임측방 부재의 후단부에 끼워져 배치된 상태로 후방을 촬영하는 하나이상의 후방 카메라 부재(162);를 포함하여 구성된다.
그리고, 전방 카메라 부재(161)는 PCB 부재와 프레임전방 부재 사이에 배치될 수 있고, 이때, 프레임전방 부재(130)는 전방 카메라 부재에 대응하는 자신의 전면에 후방으로 소정 깊이 함몰되어 전방 카메라 부재를 수용하는 카메라 수용부재(131);구비할 수 있다.
또한, 프레임측방 부재의 측벽에 끼워져 배치된 상태로 측방을 촬영하는 하나이상의 측방 카메라 부재(163);를 더 포함하여 구성될 수 있다.
여기서, 렌즈 부재(110)는 사용자의 육안으로 투시가 가능한 투명 재질로 이루어지고, 디스플레이 부재는 MR 표시 부재로서 외부의 제어로 동작하여 렌즈 부재의 일부 영역에 MR 정보를 표시하도록 구성될 수 있다.
다른 한편, 본 발명은 MR (Mixed Reality) 모드 및 VR (Virtual Reality) 모드를 제공하는 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법으로서, (a) MR 모드를 실행하는 단계; (b) MR 모드의 스크린을 디스플레이 하는 단계; (c) MR 모드 실행 중 기설정된 트리거(trigger) 조건이 만족된 경우 메모리에 액세스하여 VR 모드 관련 부가 정보를 추출하는 단계; (d) 추출된 VR 모드 관련 부가 정보에 기초하여 MR 모드의 스크린내에 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 디스플레이 하는 단계;를 포함하여 구성될 수 있다.
여기서, MR 모드의 스크린은, XR 디바이스의 카메라에 의해 촬영된 오브젝트를 포함하여 구성될 수 있고, VR 모드의 스크린은, 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트를 포함하여 구성될 수 있다.
그리고, VR 모드의 스크린내 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트는, XR 디바이스에 의해 인식된 유저별로 변경되도록 구성될 수 있다.
다른 한편, XR 디바이스의 유저의 시선 또는 특정 디바이스를 트래킹 하는 단계;를 더 포함하여 구성될 수도 있다.
이때, 트리거 조건은, 트래킹된 유저의 시선 또는 특정 디바이스가 MR 모드의 스크린내 특정 영역 내에서 기설정된 시간 동안 인식된 경우를 포함하여 구성될 수 있다.
그리고, 트리거 조건은, XR 디바이스 또는 대응하는 리모컨의 특정 물리키 버튼이 푸쉬된 제1조건과, XR 디바이스 또는 대응하는 리모컨의 특정 모션이 감지된 제2조건과, XR 디바이스의 카메라에 의해 특정 제스처가 감지된 제3조건 중 적어도 하나를 포함하여 구성될 수도 있다.
여기서, 트리거 조건이 제3조건에 해당하는 경우 특정 제스처가 형성하는 영역의 사이즈 또는 위치에 따라 MR 모드의 스크린내에서 디스플레이된 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 변경하는 단계;를 더 포함하여 구성될 수 있다.
그리고, 단계 (d)는, MR 모드를 실행 중 VR 모드의 스크린내 적어도 하나의 가상 오브젝트를 가이드 하기 위한 인디케이터를 디스플레이 하는 단계;를 구비할 수 있다.
또한, 인디케이터는, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 타입을 표시하는 제1 그래픽 데이터와, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 위치를 표시하는 제2 그래픽 데이터와, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 개수를 표시하는 제3 그래픽 데이터 중 적어도 하나이상을 포함하여 구성될 수 있다.
다른 한편, 본 발명에 따른 컴퓨터프로그램은 하드웨어와 결합되어 이상과 같은 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법을 실행시키기 위하여 매체에 저장된 것이다.
본 발명은 HMD 방식의 XR 디바이스에 대해 복수의 카메라 부재를 구비함에 따라 각 카메라 부재로부터 촬영된 결과물이 XR 디바이스 기준으로 어느 쪽인지를 식별하도록 하는 장점을 나타낸다.
또한, 본 발명은 얇은 막 형태의 PCB 부재, 전방 카메라 부재, 후방 카메라 부재를 구비함에 따라 복수의 카메라 부재를 구비함에도 불구하고 그 슬림화된 XR 디바이스의 슬림화 상태를 유지하는 장점도 나타낸다.
또한, 본 발명은 XR 디바이스의 선단부를 전체적으로 슬림하게 구현함에 따라 그 XR 디바이스를 착용한 유저의 활동성을 향상시킬 수 있는 장점도 나타낸다.
[도 1]은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스를 도시한 예시도,
[도 2]는 [도 1]의 구성을 분리한 도면,
[도 3]은 본 발명의 제 1 실시예에 따른 방향 식별을 위한 슬림형 XR 디바이스를 착용한 상태의 평면도,
[도 4]는 [도 3]에서 각 카메라 부재의 촬영 각도를 표시한 예시도,
[도 5]는 본 발명의 제 2 실시예에 따른 방향 식별을 위한 슬림형 XR 디바이스를 착용한 상태의 평면도,
[도 6]은 [도 5]에서 각 카메라 부재의 촬영 각도를 표시한 예시도,
[도 7]은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법을 나타낸 순서도,
[도 8]은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스가 MR/VR 서비스 제공을 위한 파라미터들을 저장한 메모리 데이터 구조의 일례를 나타낸 도면이다.
이하, 도면을 참조하여 본 발명을 상세히 설명한다.
[도 1]은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스를 도시한 예시도이고, [도 2]는 [도 1]의 구성을 분리한 도면이고, [도 3]은 본 발명의 제 1 실시예에 따른 방향 식별을 위한 슬림형 XR 디바이스를 착용한 상태의 평면도이고, [도 4]는 [도 3]에서 각 카메라 부재의 촬영 각도를 표시한 예시도이다.
[도 1] 내지 [도 4]를 참조하면, 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스는 렌즈 부재(110), 디스플레이 부재(미도시), 프레임전방 부재(130), 프레임측방 부재(140), PCB 부재(150), 전방 카메라 부재(161), 후방 카메라 부재(162, 162')를 포함하여 구성될 수 있다.
렌즈 부재(110)는 사용자의 얼굴 눈 쪽에 배치되어 사용자의 시야를 가이드할 수 있다. 이를 위해, 렌즈 부재(110)는 사용자의 두 눈 위치에 대응하여 [도 2]에서와 같이 한 쌍으로 구성될 수도 있지만, 하나의 렌즈 부재(110)가 좌우로 길게 구성될 수도 있다.
디스플레이 부재(미도시)는 렌즈 부재(110)의 안쪽 면에 MR 정보, AR 정보, VR 정보 중 어느 하나를 표시하도록 구성될 수 있다.
여기서, 본 명세서의 MR 정보, AR 정보, VR 정보를 정의하면 다음과 같다. 먼저, MR 정보는 사용자가 렌즈 부재(110)를 통해 현실 세계를 실제로 보고 있는 상태에서 바람직하게는 그 렌즈 부재(110)의 내측면에 가상으로 만들어진 컴퓨터그래픽(CG) 영상을 표시하는 소위 MR (Mixed Reality) 모드를 의미한다.
그리고, AR 정보는 사용자가 렌즈 부재(110)를 통해 현실 세계가 아닌 촬영된 실제 영상(예: 프로야구 중계)을 보고 있는 상태에서 바람직하게는 그 렌즈 부재(110)의 내측면에 가상으로 만들어진 컴퓨터그래픽(CG) 영상을 표시하는 소위 AR (Augmented Reality) 모드를 의미한다.
또한, VR 정보는 사용자가 렌즈 부재(110)를 통해 가상으로 미리 만들어진 컴퓨터그래픽(CG) 영상이 표시되는 소위 VR(Virtual Reality) 모드를 의미한다.
프레임전방 부재(130)는 [도 1]과 [도 2]에서와 같이 하나이상의 렌즈 부재(110)의 테두리를 감싸는 형태로 렌즈 부재(110)를 고정한다.
프레임측방 부재(140)는 [도 1]과 [도 2]에서와 같이 프레임전방 부재(130)의 양측에 고정된 상태로 후방으로 연장됨에 따라 프레임전방 부재(130)와 협동으로 렌즈 부재(110)를 사용자의 안면에 거치시킨다.
여기서, 프레임측방 부재(140)는 [도 1]과 [도 2]에서와 같이 사용자의 양측 귀에 대응하도록 한 쌍으로 구성될 수도 있고, 프레임전방 부재(130)의 양단에 고리 형태로 연결될 수도 있다.
PCB 부재(150)는 [도 2]에서와 같이 프레임전방 부재(130)의 전면에 얇은 막 형태로 배치되며 디스플레이 부재(미도시)와 접속되어 디스플레이 부재(미도시)의 동작을 제어한다.
이를 위해, PCB 부재(150)는 바람직하게는 [도 2]에서와 같이 낭창낭창하고 얇은 FPCB로 구성될 수도 있다.
전방 카메라 부재(161)는 [도 1] 내지 [도 4]에서와 같이 PCB 부재(150)를 관통하여 프레임전방 부재(130)의 전면에 끼워져 배치된 상태로 전방을 촬영하도록 구성될 수 있다.
후방 카메라 부재(162, 162')는 [도 3]과 [도 4]에서와 같이 프레임측방 부재(140)의 후단부에 각각 끼워져 배치된 상태로 후방을 촬영하도록 구성될 수 있다.
여기서, 각 카메라 부재에 대해 고유번호를 미리 지정하게 되면 각 카메라 부재로부터 제공받는 촬영 결과물이 XR 디바이스를 기준으로 어느 방향의 것인지를 식별할 수 있을 것이다.
그리고, 각 카메라 부재가 촬영 가능한 광각은 대략 120도 이상인 것으로 채택함이 바람직하다.
이와 같은 구성의 전방 카메라 부재(161)는 [도 1] 내지 [도 4]에서와 같이 PCB 부재(150)와 프레임전방 부재(130) 사이에 배치될 수 있다.
이를 위해, 프레임전방 부재(130)는 카메라 수용부재(131)를 구비할 수 있는데, 카메라 수용부재(131)는 [도 2]에서와 같이 전방 카메라 부재(161)에 대응하는 자신의 전면에 후방으로 소정 깊이 함몰됨에 따라 그 전방 카메라 부재(161)를 수용할 수 있게 된다.
한편, [도 5]는 본 발명의 제 2 실시예에 따른 방향 식별을 위한 슬림형 XR 디바이스를 착용한 상태의 평면도이고, [도 6]은 [도 5]에서 각 카메라 부재의 촬영 각도를 표시한 예시도이다.
[도 5]와 [도 6]을 참조하면, 본 발명은 하나이상의 측방 카메라 부재(163, 163')를 더 포함하여 구성될 수 있다.
측방 카메라 부재(163, 163')는 [도 5]와 [도 6]에서와 같이 프레임측방 부재(140)의 측벽에 끼워져 배치된 상태로 측방을 촬영하도록 구성될 수 있다.
여기서도, 각각의 측방 카메라 부재(163, 163')에 대해 고유번호를 미리 지정하게 되면 각 측방 카메라 부재(163, 163')로부터 제공받는 촬영 결과물이 XR 디바이스를 기준으로 어느 방향의 것인지를 식별할 수 있을 것이다.
또한, 각각의 측방 카메라 부재(163, 163')가 촬영 가능한 광각은 대략 120도 이상인 것으로 채택함이 바람직하다.
다른 한편, 렌즈 부재(110)는 사용자의 육안으로 투시가 가능한 투명 재질로 이루어질 수 있다. 이때, 디스플레이 부재(미도시)는 MR 표시 부재(미도시)로서 외부의 제어로 동작하여 렌즈 부재(110)의 일부 영역에 MR 정보를 표시하도록 구성될 수 있다.
[도 7]은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스의 제어 방법을 나타낸 순서도이다.
단계 (S110) : 본 발명에 따른 슬림형 XR 디바이스는 MR (Mixed Reality) 모드 및 VR (Virtual Reality) 모드를 제공하기 위해 먼저, MR 모드를 실행할 수 있다.
단계 (S120, S130) : 나아가, MR 모드의 스크린을 디스플레이하고, MR 모드 실행 중 기설정된 트리거(trigger) 조건이 만족하는지 여부를 판단한다.
단계 (S140, S150) : 트리거 조건이 만족된 것으로 판단된 경우 메모리에 액세스하여 VR 모드 관련 부가 정보를 추출한다.
이어서, 그 추출된 VR 모드 관련 부가 정보에 기초하여 MR 모드의 스크린 내에 VR 모드의 스크린 내에서 특정 위치에 대응하는 가상 오브젝트를 디스플레이한다.
MR 모드의 스크린은 예컨대 슬림형 XR 디바이스의 카메라에 의해 촬영된 오브젝트를 포함하고, VR 모드의 스크린은 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트를 포함한다.
VR 모드의 스크린 내 각 위치별로 맵핑되어 있는 적어도 하나의 가상 오브젝트는, 예컨대 슬림형 XR 디바이스에 의해 인식된 유저별로 변경될 수도 있다.
[도 7]에 도시되지는 않았으나, 슬림형 XR 디바이스의 유저의 시선 또는 특정 디바이스를 트래킹하는 단계를 더 포함하여 구성될 수도 있다.
이때, 트리거 조건은 예컨대 트래킹된 유저의 시선 또는 특정 디바이스가 MR 모드의 스크린 내 특정 영역 내에서 기설정된 시간 동안 인식된 경우를 포함할 수 있다.
트리거 조건은, 예를 들어, 슬림형 XR 디바이스 또는 이에 대응하는 리모컨의 특정 물리키 버튼이 푸쉬된 제1조건, 슬림형 XR 디바이스 또는 이에 대응하는 리모컨의 특정 모션이 감지된 제2조건 또는 슬림형 XR 디바이스의 카메라에 의해 특정 제스쳐가 감지된 제3조건 중 적어도 하나를 포함할 수 있다.
트리거 조건이 제3조건에 해당하는 경우, 특정 제스쳐가 형성하는 영역의 사이즈 또는 위치에 따라, MR 모드의 스크린내에서 디스플레이된 VR 모드의 스크린내 특정 위치의 가상 오브젝트를 변경하는 단계를 더 포함한다.
단계 (S150)은 MR 모드를 실행 중, VR 모드의 스크린내 적어도 하나의 가상 오브젝트를 가이드하기 위한 인디케이터를 디스플레이하는 단계를 더 포함할 수도 있다.
여기서, 인디케이터는 예컨대 VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 타입을 표시하는 제1 그래픽 데이터, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 위치를 표시하는 제2 그래픽 데이터, VR 모드의 스크린내 적어도 하나의 가상 오브젝트의 개수를 표시하는 제3 그래픽 데이터 중 적어도 하나를 포함할 수 있다.
본 발명의 제어 방법과 유사하게, 장치 관점에서 살펴하면 XR (extended reality) 관련 복수 개의 모드를 제공하는 슬림형 XR 디바이스는, 메모리와, 적어도 하나의 모드 중 제1 모드를 실행하는 컨트롤러와, 그리고 제1 모드의 스크린을 디스플레이하는 디스플레이 부재를 포함할 수 있다. 여기서, 메모리의 특징은 이하 [도 8]에서 살펴 본다.
컨트롤러는, 제1 모드 실행 중 기설정된 트리거(trigger) 조건이 만족된 경우, 메모리에 액세스하여 제2 모드 관련 부가 정보를 추출하고, 추출된 제2 모드 관련 부가 정보에 기초하여, 제1 모드의 스크린내에 제2 모드의 스크린내 특정 위치의 가상 오브젝트를 디스플레이하도록 디스플레이 부재를 제어한다.
제1 모드는 예컨대 이전에 설명한 MR 모드에 해당하고, 제2 모드는 예를 들어 이전에 설명한 VR 모드에 해당한다.
[도 8]은 본 발명에 따른 방향 식별을 위한 슬림형 XR 디바이스가 MR/VR 서비스 제공을 위한 파라미터들을 저장한 메모리 데이터 구조의 일례를 나타낸 도면이다.
앞서 살펴 본 본 발명의 실시예를 구현하기 위하여 [도 8]에 도시된 바와 같이 슬림형 XR 디바이스의 메모리에 MR/VR 서비스를 위한 특정 파라미터들을 미리 정의할 수 있다.
종래에는 MR 모드를 실행하였다가, 개인화된 VR 모드의 정보를 불러오 기 위해서는 MR 모드가 VR 모드로 전체 전환되어야 하는 문제점이 있었다. 반면, 본원 발명에 의하면, MR 모드 실행 중 VR 모드의 가상 오브젝트들 중 일부만 불러오는 것이 가능하다.
[도 8]에 도시된 바와 같이, ID와 관계 없이 MR 모드에서는 동일한 화면이 제공된다. 그러나, MR 모드 실행 중 트리거 조건 만족시 VR 모드의 스크린내 특정 가상 오브젝트만 불러 오기 위하여, ID 별로 임의의 가상 오브젝트 및 위치가 다르게 정의된다.
한편, 사용자를 구별하기 위한 ID는, 사용자가 임의로 입력할 수도 있고 또는 카메라 등을 통해 자동 구별도 가능하다. 보다 구체적으로 예를 들면, Mr Kim이 XR 디바이스의 MR 모드 실행 중, 트리거 조건 만족시 [도 8]에 도시된 데이터베이스에 액세스 하여, VR 모드의 스크린내 A 부가 정보(가상 오브젝트)의 위치 및 B 부가 정보(가상 오브젝트)의 위치 확인 후, 이를 인디케이팅 하는 GUI를 표시할 수도 있다.
반면, Ms Lee 가 슬림형 XR 디바이스의 MR 모드 실행 중, 트리거 조건 만족시 [도 8]에 도시된 데이터베이스에 액세스하여, VR 모드의 스크린내 A 부가 정보(가상 오브젝트)의 위치 및 C 부가 정보(가상 오브젝트)의 위치 확인 후, 이를 인디케이팅 하는 GUI를 표시할 수도 있다.
마지막으로, Ms Park 이 슬림형 XR 디바이스의 MR 모드 실행 중, 트리거 조건 만족시 [도 8]에 도시된 데이터베이스에 액세스 하여, VR 모드의 스크린내 D 부가 정보(가상 오브젝트)의 위치, E 부가 정보(가상 오브젝트) 및 F 부가 정보(가상 오브젝트)의 위치 확인 후, 이를 인디케이팅 하는 GUI를 표시할 수도 있다.
즉, 여기서의 VR 모드의 스크린은 개인화되어 있으므로, 사용자별로 다르게 설정하는 것이 가능하다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
110 : 렌즈 부재
130 : 프레임전방 부재
131 : 카메라 수용부재
140 : 프레임측방 부재
150 : PCB 부재
161 : 전방 카메라 부재
162, 162' : 후방 카메라 부재
163, 163' : 측방 카메라 부재

Claims (10)

  1. 사용자의 눈 쪽에 배치되어 사용자의 시야를 가이드하는 하나이상의 렌즈 부재(110);
    상기 렌즈 부재(110)에 정보를 표시하는 디스플레이 부재;
    상기 하나이상의 렌즈 부재(110)의 테두리를 감싸는 형태로 배치될 수 있도록 상기 렌즈 부재(110)의 외곽테두리에 대응하여 절개되는 그립홀을 구비하고 상기 그립홀에 상기 렌즈 부재(110)를 고정하는 프레임전방 부재(130);
    상기 프레임전방 부재(130)의 양측에 고정된 상태로 후방으로 연장됨에 따라 상기 프레임전방 부재(130)와 협동으로 상기 렌즈 부재(110)를 사용자의 안면에 거치시키는 하나이상의 프레임측방 부재(140);
    상기 그립홀 이외의 영역에 대응하는 상기 프레임전방 부재(130)의 전면을 커버하도록 상기 프레임전방 부재(130)의 전면에 얇은 막 형태로 배치되며 상기 디스플레이 부재와 접속되어 상기 디스플레이 부재의 동작을 제어하고 상기 프레임전방 부재(130)나 상기 프레임측방 부재(140)에 탑재된 하나이상의 칩에 접속 가능하도록 하는 연성의 씬 타입으로 된 PCB 부재(150);
    상기 PCB 부재(150)를 관통하여 상기 프레임전방 부재(130)의 전면에 끼워져 배치된 상태로 전방을 촬영하는 전방 카메라 부재(161); 및
    상기 프레임측방 부재(140)의 후단부에 끼워져 배치된 상태로 후방을 촬영하는 하나이상의 후방 카메라 부재(162);
    를 포함하여 구성되는 방향 식별을 위한 슬림형 XR 디바이스로서,
    상기 프레임전방 부재(130)는, 상기 전방 카메라 부재(161)에 대응하는 자신의 전면에 후방으로 소정 깊이 함몰되어 상기 전방 카메라 부재(161)를 수용하는 카메라 수용부재(131);를 구비하고,
    상기 전방 카메라 부재(161)는 상기 PCB 부재(150)와 상기 프레임전방 부재(130) 사이에 대응하는 상기 카메라 수용부재(131)에 끼워져 배치되고,
    상기 PCB 부재(150)는 낭창낭창하고 얇은 막 형태의 FPCB로 이루어져 상기 슬림형 XR 디바이스의 최전방에 부착되어 상기 슬림형 XR 디바이스의 전면부를 마감하도록 구성되는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 프레임측방 부재(140)의 측벽에 끼워져 배치된 상태로 측방을 촬영하는 하나이상의 측방 카메라 부재(163);
    를 더 포함하여 구성되는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스.
  4. 청구항 3에 있어서,
    상기 렌즈 부재(110)는 사용자의 육안으로 투시가 가능한 투명 재질로 이루어지고,
    상기 디스플레이 부재는 MR 표시 부재로서 외부의 제어로 동작하여 상기 렌즈 부재(110)의 일부 영역에 MR 정보를 표시하는 것을 특징으로 하는 방향 식별을 위한 슬림형 XR 디바이스.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020200163385A 2020-11-27 2020-11-27 방향 식별을 위한 슬림형 xr 디바이스 KR102642822B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200163385A KR102642822B1 (ko) 2020-11-27 2020-11-27 방향 식별을 위한 슬림형 xr 디바이스
PCT/KR2020/017211 WO2022114308A1 (ko) 2020-11-27 2020-11-28 방향 식별을 위한 슬림형 xr 디바이스 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200163385A KR102642822B1 (ko) 2020-11-27 2020-11-27 방향 식별을 위한 슬림형 xr 디바이스

Publications (2)

Publication Number Publication Date
KR20220074650A KR20220074650A (ko) 2022-06-03
KR102642822B1 true KR102642822B1 (ko) 2024-03-04

Family

ID=81755762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200163385A KR102642822B1 (ko) 2020-11-27 2020-11-27 방향 식별을 위한 슬림형 xr 디바이스

Country Status (2)

Country Link
KR (1) KR102642822B1 (ko)
WO (1) WO2022114308A1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
JP5251813B2 (ja) * 2009-09-28 2013-07-31 ブラザー工業株式会社 作業支援システム、ヘッドマウントディスプレイ及びプログラム
KR20120006430U (ko) * 2011-03-09 2012-09-19 주식회사 한국 오.지.케이 일반안경에 탈/부착이 가능한 3d시청용 액티브 안경조립체
KR102195773B1 (ko) * 2013-11-15 2020-12-28 엘지전자 주식회사 안경형 단말기 및 안경형 단말기의 제어방법
KR20190120349A (ko) * 2017-03-06 2019-10-23 스냅 인코포레이티드 웨어러블 디바이스 안테나 시스템
KR102638956B1 (ko) * 2018-11-26 2024-02-22 삼성전자주식회사 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법
KR102592653B1 (ko) * 2019-07-01 2023-10-23 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
WO2022114308A1 (ko) 2022-06-02
KR20220074650A (ko) 2022-06-03

Similar Documents

Publication Publication Date Title
US10579142B2 (en) Gaze detection method and apparatus
JP6095763B2 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
US8964008B2 (en) Volumetric video presentation
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
US9030493B2 (en) Image processing system, method and apparatus, and computer-readable medium recording image processing program
US10846927B2 (en) Method and apparatus for displaying a bullet-style comment in a virtual reality system
JP7182920B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2001243012A (ja) ディジタルカメラのディスプレイ用ポインティング・デバイス
JP6330089B1 (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、情報処理装置および仮想空間を提供するための方法
US11270499B2 (en) Multi line trace gaze to object mapping for determining gaze focus targets
CN110192389A (zh) 一种网真系统
CN111566596A (zh) 用于虚拟现实显示器的真实世界门户
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
JP6294054B2 (ja) 映像表示装置、映像提示方法及びプログラム
KR102642822B1 (ko) 방향 식별을 위한 슬림형 xr 디바이스
JP7353773B2 (ja) 複数のマーカを備えたデバイス
CN115268650A (zh) 画面截屏方法、装置、头戴式虚拟现实设备和存储介质
CN111752425B (zh) 用于选择在设备的显示媒介上的交互对象的方法
KR20220074643A (ko) 슬림형 xr 디바이스 및 그 제어 방법
KR102562420B1 (ko) 5g 통신 기능을 가지는 슬림형 xr 디바이스
KR102286517B1 (ko) 컨트롤러 입력에 따른 회전 구동 제어 방법 및 이를 이용한 헤드 마운티드 디스플레이 시스템
EP3547084B1 (en) Multi line trace gaze to object mapping for determining gaze focus targets
US20220150457A1 (en) Image processing apparatus, image processing method, and storage medium
KR20220074648A (ko) 가변형 투과도를 가지는 슬림형 xr 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant