KR101817952B1 - 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법 - Google Patents

투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법 Download PDF

Info

Publication number
KR101817952B1
KR101817952B1 KR1020160078352A KR20160078352A KR101817952B1 KR 101817952 B1 KR101817952 B1 KR 101817952B1 KR 1020160078352 A KR1020160078352 A KR 1020160078352A KR 20160078352 A KR20160078352 A KR 20160078352A KR 101817952 B1 KR101817952 B1 KR 101817952B1
Authority
KR
South Korea
Prior art keywords
depth
image
module
wearer
virtual screen
Prior art date
Application number
KR1020160078352A
Other languages
English (en)
Other versions
KR20180000417A (ko
Inventor
박재완
권기석
김승균
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020160078352A priority Critical patent/KR101817952B1/ko
Publication of KR20180000417A publication Critical patent/KR20180000417A/ko
Application granted granted Critical
Publication of KR101817952B1 publication Critical patent/KR101817952B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법이 개시된다. 본 발명의 일 실시예에 따른 장치는 디스플레이 영역에 가상 화면을 생성하는 가상 화면 생성 모듈; 전방의 영상을 촬영하는 영상 촬영 모듈; 및 상기 영상 및 상기 장치의 착용자가 속한 공간의 3차원 맵(map)을 이용하여 상기 착용자의 응시점의 심도(depth)를 계산하는 심도 계산 모듈을 포함하며, 상기 가상 화면 생성 모듈은, 계산된 상기 심도에 기반하여 상기 가상 화면의 심도를 제어하도록 구성된다.

Description

투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법{SEE-THROUGH TYPE HEAD MOUNTED DISPLAY APPARATUS AND METHOD OF CONTROLLING DISPLAY DEPTH THEREOF}
본 발명의 실시예들은 헤드 마운티드 디스플레이 및 이를 이용한 콘텐츠 제공 기술과 관련된다.
헤드 마운티드 디스플레이(HMD; Head Mounted Display)란 사용자의 머리에 착용하는 형태의 디스플레이 장치를 의미한다. 헤드 마운티드 디스플레이는 주로 가상 현실(Virtual Reality) 또는 증강 현실(Augmented Reality)의 구현을 위한 디스플레이 장치로 사용되며, 최근 들어 그 활용이 점차 증가하고 있다.
헤드 마운티드 디스플레이는 그 형태에 따라 폐쇄형(closed type) 및 투과형(see-through type)으로 구분될 수 있다. 이 중 폐쇄형 헤드 마운티드 디스플레이는 눈 전체를 감싸는 형태로 화면 이외의 외부 환경이 차단되는 형태로서 주로 가상 현실 콘텐츠와 함께 이용된다. 또한 투과형 헤드 마운티드 디스플레이는 안경형 디스플레이, 또는 스마트 글라스 등으로도 불리며, 주변의 실제 사물과 가상 화면을 동시에 볼 수 있는 형태의 디스플레이 장치로서 주로 증강 현실 등의 혼합 현실(mixed reality) 구현에 주로 이용된다.
투과형 헤드 마운티드 디스플레이의 경우 착용자의 전면에 가상 화면(또는 가상 디스플레이)을 생성하며, 이를 통하여 각종 콘텐츠를 착용자에게 제공한다. 그러나 종래의 투과형 헤드 마운티드 디스플레이의 경우 디스플레이되는 가상 화면의 심도(depth; 사용자가 느끼는 가상 화면과 눈 사이의 거리)가 착용자의 시선과 관계 없이 고정되어 있는 경우가 대부분이어서, 사용자가 가상 화면과 실제 사물과의 사이에서 이질감을 느끼거나 이로 인해 피로감을 느끼는 경우가 자주 발생하게 된다. 예를 들어, 투과형 헤드 마운티드 디스플레이의 착용자가 가상 화면의 심도보다 가까운 벽 등을 응시할 경우, 착용자는 가상 화면이 마치 벽 속에 존재하는 것과 같은 부자연스러운 느낌을 받게 된다. 또한 착용자가 가상 화면의 심도보다 멀리 존재하는 물체를 응시할 경우, 착용자는 원거리의 물체와 가상 화면을 번갈아 응시할 때 마다 눈의 초점 거리가 달라지게 되어 쉽게 피로감을 느끼게 된다.
대한민국 공개특허공보 제10-2015-0003591호 (2015. 01. 09)
본 발명의 실시예들은 착용자의 시선을 고려하여 투과형 헤드 마운티드 디스플레이 장치의 가상 화면 심도를 동적으로 제어하기 위한 기술적인 수단을 제공하기 위한 것이다.
예시적인 실시예에 따르면, 투과형 헤드 마운티드 디스플레이 장치로서, 상기 장치의 디스플레이 영역에 가상 화면을 생성하는 가상 화면 생성 모듈; 전방의 영상을 촬영하는 영상 촬영 모듈; 및 상기 영상 및 상기 장치의 착용자가 속한 공간의 3차원 맵(map)을 이용하여 상기 착용자의 응시점의 심도(depth)를 계산하는 심도 계산 모듈을 포함하며, 상기 가상 화면 생성 모듈은, 계산된 상기 심도에 기반하여 상기 가상 화면의 심도를 제어하는, 투과형 헤드 마운티드 디스플레이 장치가 제공된다.
상기 심도 계산 모듈은, 상기 영상 촬영 모듈의 촬영 위치 및 상기 착용자의 시선간의 차이에 따라 상기 영상을 보정하고, 보정된 영상을 이용하여 상기 심도를 계산할 수 있다.
상기 심도 계산 모듈은, 상기 보정된 영상의 기 설정된 심도 계산 영역으로부터 하나 이상의 특징점을 선택하고, 상기 3차원 맵(map)을 이용하여 상기 하나 이상의 특징점들의 심도를 계산할 수 있다.
상기 심도 계산 영역은 상기 영상의 중앙에 설정될 수 있다.
상기 심도 계산 모듈은, 상기 하나 이상의 특징점들의 심도의 평균값, 중간값, 최대값 또는 최소값 중 어느 하나를 상기 응시점의 심도로 설정할 수 있다.
다른 예시적인 실시예에 따르면, 투과형 헤드 마운티드 디스플레이 장치의 화면 심도 제어 방법으로서, 상기 장치의 디스플레이 영역에 가상 화면을 생성하는 단계; 전방의 영상을 촬영하는 단계; 상기 영상 및 상기 장치의 착용자가 속한 공간의 3차원 맵(map)을 이용하여 상기 착용자의 응시점의 심도(depth)를 계산하는 단계; 및 계산된 상기 심도에 기반하여 상기 가상 화면의 심도를 제어하는 단계를 포함하는, 방법이 제공된다.
상기 심도를 계산하는 단계는, 상기 영상 촬영 모듈의 촬영 위치 및 상기 착용자의 시선간의 차이에 따라 상기 영상을 보정하고, 보정된 영상을 이용하여 상기 심도를 계산하도록 구성될 수 있다.
상기 심도를 계산하는 단계는, 상기 보정된 영상의 기 설정된 심도 계산 영역으로부터 하나 이상의 특징점을 선택하는 단계; 상기 3차원 맵(map)을 이용하여, 선택된 상기 하나 이상의 특징점들의 심도를 계산하는 단계; 및 상기 하나 이상의 특징점들의 심도로부터 상기 응시점의 심도를 계산하는 단계를 더 포함할 수 있다.
상기 심도 계산 영역은 상기 영상의 중앙에 설정될 수 있다.
상기 하나 이상의 특징점들의 심도로부터 상기 응시점의 심도를 계산하는 단계는, 상기 하나 이상의 특징점들의 심도의 평균값, 중간값, 최대값 또는 최소값 중 어느 하나를 상기 응시점의 심도로 설정하도록 구성될 수 있다.
본 발명의 실시예들에 따르면, 투과형 헤드 마운티드 디스플레이 장치를 착용한 착용자가 현재 응시하고 있는 실제 사물의 깊이를 계산하고, 이를 이용하여 착용자에게 디스플레이되는 가상 화면의 심도를 제어함으로써 투과형 헤드 마운티드 디스플레이 장치 착용자가 느낄 수 있는 이질감 또는 피로감을 감소시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 헤드 마운티드 디스플레이 장치의 사시도
도 2는 본 발명의 일 실시예에 따른 영상 처리부의 상세 구성을 설명하기 위한 예시도
도 3은 실제 사물의 3차원 위치와 영상 촬영 모듈에서 촬영된 이미지의 픽셀 간의 관계를 설명하기 위한 예시도이다
도 4는 본 발명의 일 실시예에 따른 헤드 마운티드 디스플레이 장치에서 착용자의 시선과 영상 촬영 장치의 촬영 위치 사이의 차이를 설명하기 위한 예시도
도 5는 본 발명의 일 실시예에 따른 심도 계산 영역을 설명하기 위한 예시도
도 6은 본 발명의 일 실시예에 따른 투과형 헤드 마운티드 디스플레이 장치의 화면 심도 제어 방법을 설명하기 위한 흐름도이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 헤드 마운티드 디스플레이 장치(100)의 사시도이다. 본 발명의 일 실시예에 따른 헤드 마운티드 디스플레이 장치(100)는 안경과 유사한 형태로 착용자의 안면에 착용하도록 구성될 수 있다. 다만, 본 발명의 권리범위는 특정 형태의 헤드 마운티드 디스플레이 장치(100)에 한정되는 것은 아니며, 착용자의 양안에 가상 화면을 제공할 수 있는 어떠한 형태의 장치에도 적용 가능하다.
도시된 바와 같이, 헤드 마운티드 디스플레이 장치(100)는 전면 렌즈(102), 영상 촬영 모듈(104) 및 영상 처리부(106)를 포함할 수 있다. 전면 렌즈(102)는 착용자의 양안에 위치하도록 구성된다. 즉, 헤드 마운티드 디스플레이 장치(100)의 착용자는 전면 렌즈(102)를 통해 장치(100)의 외부를 볼 수 있다. 또한, 전면 렌즈(102)는 착용자에게 가상 화면을 디스플레이하기 위한 광학 수단을 포함할 수 있다. 이에 따라, 상기 착용자에게는 전면 렌즈(102)의 사물과 함께 가상 화면이 함께 보이게 된다. 상기 가상 화면은 착용자의 시선을 기준으로 정면에 디스플레이되거나, 또는 상하좌우 일측면에 디스플레이되도록 구성될 수 있다.
영상 촬영 모듈(104)은 헤드 마운티드 디스플레이 장치(100)의 전방을 촬영한다. 이때, 전방이란 헤드 마운티드 디스플레이 장치(100)의 착용자가 바라보는 방향을 의미한다. 즉, 영상 촬영 모듈(104)은 상기 착용자의 정면 방향과 동일한 방향의 영상을 획득하도록 구성된다.
영상 처리부(106)는 전술한 광학 수단을 이용하여 헤드 마운티드 디스플레이 장치(100)의 착용자에게 가상 화면을 제공한다. 본 발명의 실시예들에서, 영상 처리부(106)는 영상 촬영 모듈(104)을 통하여 획득된 영상으로부터 상기 착용자의 응시점의 심도(depth)를 계산하고, 계산된 심도에 따라 상기 가상 화면의 심도를 동적으로 제어하도록 구성된다. 본 발명의 실시예들에서, 심도(depth)란 헤드 마운티드 디스플레이 장치(100)의 착용자의 양안과 상기 착용자가 응시 중인 사물 간의 거리를 의미한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리부(106)의 상세 구성을 설명하기 위한 예시도이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리부(106)는 가상 화면 생성 모듈(202) 및 심도 계산 모듈(204)을 포함한다.
가상 화면 생성 모듈(202)은 헤드 마운티드 디스플레이 장치(100)의 전면 렌즈(102)에 구비된 디스플레이 영역에 가상 화면을 생성한다. 전술한 바와 같이, 전면 렌즈(102)는 착용자에게 가상 화면을 제공하기 위한 일련의 광학 수단을 포함할 수 있으며, 가상 화면 생성 모듈(202)은 상기 전면 렌즈(102)를 이용하여 가상 화면을 생성할 수 있다. 투과형 헤드 마운티드 디스플레이 장치(100)에 가상 화면을 출력하기 위한 기술적 수단은 본 발명이 속하는 기술분야에서 잘 알려져 있는 바, 여기서는 이와 관련된 상세한 설명은 생략하기로 한다.
심도 계산 모듈(204)은 헤드 마운티드 디스플레이 장치(100)의 착용자의 응시점의 심도를 계산한다. 구체적으로, 심도 계산 모듈(204)은 영상 촬영 모듈(104)을 통하여 촬영된 영상 및 상기 착용자가 속한 공간의 3차원 맵(map)을 이용하여 상기 응시점의 심도를 계산하도록 구성된다.
전술한 바와 같이, 본 발명의 실시예들에서 심도 계산 모듈(204)은 영상 촬영 모듈(104)을 통하여 촬영된 영상과 함께, 착용자가 속한 공간의 3차원 맵을 이용하여 응시점의 심도를 계산하도록 구성된다. 이때 상기 3차원 맵은 상기 공간에 대응되는 복수 개의 특징점 및 각 특징점들 간의 거리 정보(실제 공간 상에서의 거리 정보)를 포함할 수 있다. 심도 계산 모듈(204)은 영상 촬영 모듈(104)에서 촬영된 영상으로부터 하나 이상의 특징점을 추출하고 이로부터 영상의 심도를 계산할 수 있다. 그러나 이때 계산되는 심도는 픽셀(pixel) 단위로서, 심도 계산 모듈(204)은 영상의 실제 공간에서의 거리 정보는 알 수 없다. 이에 따라 본 발명의 실시예에서 심도 계산 모듈(204)은 촬영 영상으로부터 추출된 특징점을 상기 3차원 맵과 대조함으로써 응시점의 실제 심도를 계산하게 된다.
심도 계산 모듈(204)에서 응시점의 심도를 계산하는 과정을 설명하면 다음과 같다.
도 3은 실제 사물의 3차원 위치와 영상 촬영 모듈(104)에서 촬영된 이미지의 픽셀 간의 관계를 설명하기 위한 예시도이다. 예를 들어, 현실 좌표계(X, Y, Z) 상의 3차원 좌표 (x, y, z)를 영상 촬영 모듈(104)이 촬영한 경우, 촬영된 이미지(302) 상의 2차원 좌표 (u, v)와 상기 3차원 좌표는 다음의 수학식 1과 같은 대응 관계를 가진다.
[수학식 1]
Figure 112016060620937-pat00001
이때,
Figure 112016060620937-pat00002
Figure 112016060620937-pat00003
는 영상 촬영 모듈(104)의 내부 파라미터(intrinsic parameter)이다. 구체적으로 fx, fy는 영상 촬영 모듈(104)의 초점 거리(focal length, 단위는 픽셀)로서 영상 촬영 모듈(104)의 렌즈 중심과 이미지 센서 사이의 거리를 나타낸다. 또한 cx, cy는 주점(principal point)으로서 영상 촬영 모듈(104)의 중심에서 이미지 센서에 내린 수선의 발의 좌표가 된다(단위는 픽셀).
도 4는 본 발명의 일 실시예에 따른 헤드 마운티드 디스플레이 장치(100)에서 착용자의 시선과 영상 촬영 장치(104)의 촬영 위치 사이의 차이를 설명하기 위한 예시도이다. 도시된 바와 같이 영상 촬영 장치(104)는 그 구조상 착용자의 시선과 동일한 위치에서 영상을 촬영하는 것이 불가능하거나 매우 어렵다. 따라서 심도 계산 모듈(204)은 영상 촬영 모듈(104)의 촬영 위치 및 착용자의 시선 간의 차이를 고려하여 영상을 보정하게 된다. 상기 보정은, 예를 들어 다음의 수학식 2를 통하여 수행될 수 있다.
[수학식 2]
Figure 112016060620937-pat00004
이때, (u', v')는 보정된 영상의 픽셀 좌표, R은 회전 행렬(rotation matrix, 3x3)으로서 영상 촬영 장치(104)와 시선 간의 각도 차이를 보정하기 위한 행렬이며, t는 평행이동 행렬(translation matrix, 3x1)으로서 영상 촬영 장치(104)와 시선 사이의 직선 거리를 보정하기 위한 행렬이다. 상기 보정을 통해 영상 촬영 장치(104)의 촬영 영상은 착용자가 바라보는 위치에서 촬영한 것과 같은 형태로 보정된다.
이후, 심도 계산 모듈(204)은 보정된 영상을 이용하여 착용자의 응시점의 심도를 계산한다. 일 실시예에서, 심도 계산 모듈(204)은 보정된 영상 내의 기 설정된 심도 계산 영역의 정보를 이용하여 상기 응시점의 심도를 계산하도록 구성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 심도 계산 영역을 설명하기 위한 예시도이다. 도시된 바와 같이, 보정된 영상(502)에서 심도 계산 영역(506)은 착용자의 시선의 중심점(504)으로부터 거리가 일정 범위 내인 지점들로 구성될 수 있다. 일반적으로 사람은 자신이 현재 보려고 하는 사물을 시선의 중심에 두려는 성향이 존재한다. 이에 따라 본 발명의 실시예에서는 시선의 중심점을 고려하여 심도 계산 영역을 설정함으로써, 착용자의 시선을 추적한다거나 하는 복잡한 과정 없이도 현재 착용자가 관심을 가지고 바라보는 영역의 심도를 간단히 추정할 수 있도록 하였다.
심도 계산 모듈(204)은 촬영된 영상으로부터 하나 이상의 특징점을 추출하고 이를 이용하여 영상에 대응되는 3차원 공간을 구성한다. 예를 들어, 심도 계산 모듈(204)은 FAST(Features from Accelerated Segment Test), SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), SURF(Speeded Up Robust Features) 등의 알고리즘을 이용하여 영상으로부터 3차원 공간을 구성할 수 있으나, 본 발명의 실시예들은 특정 종류의 알고리즘에 한정되는 것은 아니다.
다음으로, 심도 계산 모듈(204)은 상기 3차원 공간을 기 저장된 3차원 맵과 대조하여 상기 3차원 공간의 실제 크기를 계산한다. 전술한 바와 같이, 심도 계산 모듈(204)에 의하여 구성된 3차원 공간은 픽셀 단위의 크기 정보만을 가지나, 상기 3차원 맵은 실제 공간의 스케일 정보를 포함하고 있으므로 구성된 3차원 공간을 3차원 맵과 대조할 경우 3차원 공간의 크기를 알 수 있게 된다. 구체적으로, 심도 계산 모듈(204)은 3차원 공간 내의 특징점들을 3차원 맵상의 특징점과 대비하여 각 특징점들의 심도를 계산하게 된다.
이후, 심도 계산 모듈은 영상 내 기 설정된 심도 계산 영역에 포함된 특징점들의 심도를 이용하여 상기 착용자의 응시점의 심도를 계산한다. 예를 들어, 심도 계산 모듈(204)은 상기 하나 이상의 특징점들의 심도의 평균값, 중간값, 최대값 또는 최소값 중 어느 하나를 상기 응시점의 심도로 설정할 수 있다.
이와 같이 심도 계산 모듈(204)에서 상기 심도가 계산되면, 가상 화면 생성 모듈(202)은 계산된 상기 심도에 기반하여 상기 가상 화면의 심도를 제어한다. 예를 들어, 가상 화면 생성 모듈(202)은 가상 화면이 상기 응시점의 심도와 동일한 심도를 가지도록 가상 화면의 심도를 제어할 수 있다. 이와 같이 구성되는 경우, 착용자는 자신이 현재 응시하고 있는 지점과 동일한 거리에 가상 화면이 놓여 있는 것과 같은 느낌을 받을 수 있게 되는 바, 가상 화면과 실제 사물을 동시에, 또는 번갈아 바라볼 때 발생할 수 있는 눈의 피로감을 경감할 수 있다.
일 실시예에서, 가상 화면의 심도는 상기 가상 화면을 출력하기 위한 광학 수단을 조절함으로써 달성될 수 있다. 예를 들어, 상기 광학 수단에 포함된 하나 이상의 렌즈의 구성 또는 배열 등을 변경함으로써 상기 가상 화면의 심도를 제어할 수 있다. 다만, 이는 예시적인 것이며 가상 화면의 심도 변경은 가상 화면을 제공하기 위한 하드웨어 수단의 종류에 따라 적절하게 이루어질 수 있다. 즉, 본 발명의 실시예들은 특정 종류의 광학 수단 및 이의 조절 방법에 제한되는 것은 아님에 유의한다.
일 실시예에서, 가상 화면 생성 모듈(202) 및 심도 계산 모듈(204)은 하나 이상의 프로세서 및 그 프로세서와 연결된 컴퓨터 판독 가능 기록 매체를 포함하는 컴퓨팅 장치 상에서 구현될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로세서의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 컴퓨팅 장치 내의 프로세서는 각 컴퓨팅 장치로 하여금 본 명세서에서 기술되는 예시적인 실시예에 따라 동작하도록 할 수 있다. 예를 들어, 프로세서는 컴퓨터 판독 가능 기록 매체에 저장된 명령어를 실행할 수 있고, 컴퓨터 판독 가능 기록 매체에 저장된 명령어는 프로세서에 의해 실행되는 경우 컴퓨팅 장치로 하여금 본 명세서에 기술되는 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
도 6은 본 발명의 일 실시예에 따른 투과형 헤드 마운티드 디스플레이 장치(100)의 화면 심도 제어 방법(600)을 설명하기 위한 흐름도이다.
단계 602에서, 가상 화면 생성 모듈(202)은 헤드 마운티드 디스플레이 장치(100)의 디스플레이 영역에 가상 화면을 생성한다.
단계 604에서, 영상 촬영 모듈(104)은 전방의 영상을 촬영한다.
단계 606에서, 심도 계산 모듈(204)은 상기 영상 및 상기 장치의 착용자가 속한 공간의 3차원 맵(map)을 이용하여 상기 착용자의 응시점의 심도(depth)를 계산한다.
단계 608에서, 가상 화면 생성 모듈(202)은 계산된 상기 심도에 기반하여 상기 가상 화면의 심도를 제어한다. 상기 604 단계 내지 608 단계는 일정 주기(예를 들어, 초당 10회)마다 반복하여 수행된다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 헤드 마운티드 디스플레이 장치
102: 전면 렌즈
104: 영상 촬영 모듈
106: 영상 처리부
202: 가상 화면 생성 모듈
204: 심도 계산 모듈

Claims (10)

  1. 투과형 헤드 마운티드 디스플레이 장치로서,
    상기 장치의 디스플레이 영역에 가상 화면을 생성하는 가상 화면 생성 모듈;
    전방의 영상을 촬영하는 영상 촬영 모듈; 및
    상기 영상 및 상기 장치의 착용자가 속한 공간의 3차원 맵(map)을 이용하여 상기 착용자의 응시점의 심도(depth)를 계산하는 심도 계산 모듈을 포함하며,
    상기 가상 화면 생성 모듈은, 계산된 상기 심도에 기반하여 상기 가상 화면의 심도를 제어하고,
    상기 심도 계산 모듈은, 상기 영상의 중앙에 설정되는 심도 계산 영역으로부터 하나 이상의 특징점을 선택하고, 상기 3차원 맵(map)을 이용하여 상기 하나 이상의 특징점들의 심도를 계산하며, 상기 하나 이상의 특징점들의 심도로부터 상기 응시점의 심도를 계산하는, 투과형 헤드 마운티드 디스플레이 장치.
  2. 청구항 1에 있어서,
    상기 심도 계산 모듈은,
    상기 영상 촬영 모듈의 촬영 위치 및 상기 착용자의 시선간의 차이에 따라 상기 영상을 보정하고, 보정된 영상을 이용하여 상기 심도를 계산하는, 투과형 헤드 마운티드 디스플레이 장치.
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 심도 계산 모듈은,
    상기 하나 이상의 특징점들의 심도의 평균값, 중간값, 최대값 또는 최소값 중 어느 하나를 상기 응시점의 심도로 설정하는, 투과형 헤드 마운티드 디스플레이 장치.
  6. 투과형 헤드 마운티드 디스플레이 장치의 화면 심도 제어 방법으로서,
    가상 화면 생성 모듈에서, 상기 장치의 디스플레이 영역에 가상 화면을 생성하는 단계;
    영상 촬영 모듈에서, 전방의 영상을 촬영하는 단계;
    심도 계산 모듈에서, 상기 영상 및 상기 장치의 착용자가 속한 공간의 3차원 맵(map)을 이용하여 상기 착용자의 응시점의 심도(depth)를 계산하는 단계; 및
    상기 가상 화면 생성 모듈에서, 계산된 상기 심도에 기반하여 상기 가상 화면의 심도를 제어하는 단계를 포함하며,
    상기 심도를 계산하는 단계는,
    상기 심도 계산 모듈에서, 상기 영상의 중앙에 설정되는 심도 계산 영역으로부터 하나 이상의 특징점을 선택하는 단계;
    상기 심도 계산 모듈에서, 상기 3차원 맵(map)을 이용하여, 선택된 상기 하나 이상의 특징점들의 심도를 계산하는 단계; 및
    상기 심도 계산 모듈에서, 상기 하나 이상의 특징점들의 심도로부터 상기 응시점의 심도를 계산하는 단계를 더 포함하는, 방법.
  7. 청구항 6에 있어서,
    상기 심도를 계산하는 단계는,
    상기 영상 촬영 모듈의 촬영 위치 및 상기 착용자의 시선간의 차이에 따라 상기 영상을 보정하고, 보정된 영상을 이용하여 상기 심도를 계산하도록 구성되는, 방법.
  8. 삭제
  9. 삭제
  10. 청구항 6에 있어서,
    상기 하나 이상의 특징점들의 심도로부터 상기 응시점의 심도를 계산하는 단계는, 상기 하나 이상의 특징점들의 심도의 평균값, 중간값, 최대값 또는 최소값 중 어느 하나를 상기 응시점의 심도로 설정하도록 구성되는, 방법.
KR1020160078352A 2016-06-23 2016-06-23 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법 KR101817952B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160078352A KR101817952B1 (ko) 2016-06-23 2016-06-23 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160078352A KR101817952B1 (ko) 2016-06-23 2016-06-23 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법

Publications (2)

Publication Number Publication Date
KR20180000417A KR20180000417A (ko) 2018-01-03
KR101817952B1 true KR101817952B1 (ko) 2018-01-12

Family

ID=61000992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160078352A KR101817952B1 (ko) 2016-06-23 2016-06-23 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법

Country Status (1)

Country Link
KR (1) KR101817952B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200001233A (ko) 2018-06-27 2020-01-06 (주)비젼에이드 플라스틱 엘시디 셰이드를 구비한 증강현실 및 가상현실 겸용 스마트 글라스 디스플레이 장치
US11249305B2 (en) 2019-04-11 2022-02-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same for determining a measurement parameter

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
JP2016009056A (ja) * 2014-06-24 2016-01-18 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
JP2016009056A (ja) * 2014-06-24 2016-01-18 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200001233A (ko) 2018-06-27 2020-01-06 (주)비젼에이드 플라스틱 엘시디 셰이드를 구비한 증강현실 및 가상현실 겸용 스마트 글라스 디스플레이 장치
US11249305B2 (en) 2019-04-11 2022-02-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same for determining a measurement parameter
US11526004B2 (en) 2019-04-11 2022-12-13 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
US11809623B2 (en) 2019-04-11 2023-11-07 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same

Also Published As

Publication number Publication date
KR20180000417A (ko) 2018-01-03

Similar Documents

Publication Publication Date Title
CN109074681B (zh) 信息处理装置、信息处理方法和程序
US9807361B2 (en) Three-dimensional display device, three-dimensional image processing device, and three-dimensional display method
US20150103096A1 (en) Display device, head mount display, calibration method, calibration program and recording medium
US11675432B2 (en) Systems and techniques for estimating eye pose
JPWO2018008232A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US8692870B2 (en) Adaptive adjustment of depth cues in a stereo telepresence system
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
US11736674B2 (en) Dynamic convergence adjustment in augmented reality headsets
US20150304625A1 (en) Image processing device, method, and recording medium
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101817952B1 (ko) 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법
JP6509101B2 (ja) 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
US20220060680A1 (en) Head mounted display apparatus
US20210037225A1 (en) Method of modifying an image on a computational device
US11543655B1 (en) Rendering for multi-focus display systems
JP6858007B2 (ja) 画像処理システム、画像処理方法
US10659755B2 (en) Information processing device, information processing method, and program
KR101733519B1 (ko) 3차원 디스플레이 장치 및 방법
JP2017091190A (ja) 画像処理装置、画像処理方法およびプログラム
WO2024071208A1 (ja) 表示装置、表示方法及びプログラム
US20230412792A1 (en) Rendering format selection based on virtual distance
WO2021260368A1 (en) Visual assistance
KR101649188B1 (ko) 입체감 측정 방법 및 장치

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant