KR102524097B1 - 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법 - Google Patents

Abstract

일 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은, 커스터마이징(customizing)을 위한 측정 화면이 출력되는 단계, 상기 측정 화면 내 제1영역과, 상기 제1영역 보다 낮은 이미지 품질을 가지는 제2영역이 구획되는 단계, 상기 제1영역이 축소되는 단계, 상기 제1영역이 축소됨에 따라 사용자가 상기 제1영역과 상기 제2영역의 경계를 인지하는 제1인지 시점을 측정하고, 상기 제1인지 시점에서의 상기 경계를 상기 사용자의 시야각으로 설정하는 단계 및 상기 시야각 내부 영역을 상기 사용자의 중심시 영역으로 설정하고 상기 시야각 외부 영역을 상기 사용자의 주변시 영역으로 설정하고, 상기 주변시 영역의 이미지 품질은 상기 중심시 영역의 이미지 품질보다 상대적으로 낮은 이미지 품질로 렌더링하는 단계;를 포함할 수 있다.

Description

안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법{Eye-based personalized head-mounted display device and control method thereof}

본 발명은 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법에 관한 발명으로서, 보다 상세하게는 헤드 마운티드 디스플레이 장치 장치를 사용하는 사용자마다 최적회된 시야각 및 이미지 품질의 정도를 계산한 후, 이를 기초로 렌더링을 수행하는 헤드 마운티드 디스플레이 장치 및 그 제어방법에 관한 발명이다.

헤드 마운티드 디스플레이 장치(Head Mounted Display) 장치는 사용자의 머리에 착용하는 디스플레이 장치를 말하며, 헤드 마운티드 디스플레이 장치 장치는 주로 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality)의 구현을 위한 디스플레이 장치로 사용되며, 3D 디스플레이 기술과 접목되기도 한다.

헤드 마운티드 디스플레이 장치는 그 특성상 다른 디스플레이 장치와 비교할 수 없을 정도의 몰입감을 사용자에 제공하는 것이 특징이며, 사용자에게 보이는 디스플레이 크기에 비해 공간적인 제약이 거의 없다는 장점도 있다. 또한, 헤드 마운티드 디스플레이 장치는 헤드 트래킹과 같은 사용자 움직임을 인식하고, 인식에 따라 표시되는 영상을 조절할 수 있어서, 매우 직관적인 입력 방식을 제공하는 이점도 있다.

다만, 헤드 마운티드 디스플레이 장치는 사용자가 직접 착용을 해야 한다는 점에서, 헤드 마운티드 디스플레이 장치의 무게에 따른 불편함이 발생하며, 눈앞에서 표시되는 대형 화면으로 인해 멀미가 발생하는 경우도 존재한다.

또한, 헤드 마운티드 디스플레이 장치의 경우 사용자에게 제공해주는 이미지의 화면이 큰 특성상 이미지의 품질을 고품질로 유지하기 위해서는 그래픽 카드의 많이 리소스가 필요해서 다른 디스플레이 장치에 비해 고품질의 이미지를 제공해주지 못하는 단점이 존재한다.

따라서, 이러한 문제점을 해결하기 위해 근래에는 사용자의 시야각을 고려한 포비티트 렌더링 기법이 헤드 마운티드 디스플레이 장치에 적용되고 있다.

그러나, 사람마다 망막의 구조가 다르기 때문에 이러한 시야각의 범위는 개개인마다 서로 다른 범위를 가지고 있는데 종래 기술에 의한 경우 시야각을 설정함에 있어서 사람의 평균적인 시야각을 기준으로 설정하였기 때문에, 개개인의 시야각에 맞춘 최적화된 영상을 제공하지 못하고 있는 실정이며, 사용자마다의 시야각을 고려하지 않고 일률적으로 적용된 시야각에 기초하여 영상을 제공하였기 때문에, 앞서 설명한 멀미 저감의 효과가 반감되는 문제점이 또한 존재한다.

대한민국 공개 특허 제10-2017-0013653호

따라서, 일 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법은 앞서 설명한 문제점을 개선하기 위하여 제안된 발명으로서, 개인 별 특성을 고려하여 최적의 영상을 제공할 수 있는 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법을 제공하는 데 목적이 있다.

구체적으로, 사용자에게 영상을 출력함에 앞서 사용자의 시야각을 측정한 후, 측정된 시야각에 기초하여 렌더링을 수행한 영상을 제공함으로써, 보다 사용자에게 최적화된 영상을 제공하는데 그 목적이 존재한다.

본 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은, (a) 커스터마이징(customizing)을 위한 측정 화면이 출력되는 단계, (b) 상기 측정 화면 내 제1영역과, 상기 제1영역 보다 낮은 이미지 품질을 가지는 제2영역이 구획되는 단계, 상기 제1영역이 축소되는 단계, 상기 제1영역이 축소됨에 따라 사용자가 상기 제1영역과 상기 제2영역의 경계를 인지하는 제1인지 시점을 측정하고, 상기 제1인지 시점에서의 상기 경계를 상기 사용자의 시야각으로 설정하는 단계 및 상기 시야각 내부 영역을 상기 사용자의 중심시 영역으로 설정하고 상기 시야각 외부 영역을 상기 사용자의 주변시 영역으로 설정하고, 상기 주변시 영역의 이미지 품질은 상기 중심시 영역의 이미지 품질보다 상대적으로 낮은 이미지 품질로 렌더링하는 단계를 포함할 수 잇다.

상기 주변시 영역의 이미지 품질은 상기 시야각에서 상기 주변시 영역 으로 멀어질수록 단계적으로 저하될 수 있다.

상기 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은, 상기 (c) 단계 및 상기 (d) 단계가 복수 회 반복되는 단계를 더 포함하고, 상기 시야각으로 설정하는 단계는, 상기 복수 회 반복된 데이터의 평균으로 설정하는 단계를 포함할 수 있다.

상기 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은, 상기 (c) 단계 및 상기 (d) 단계가 복수 회 반복되는 단계를 더 포함하고, 상기 시야각을 설정하는 단계는, 상기 복수 회 반복된 데이터의 평균에 표준편차를 빼거나 더한 값으로 설정할 수 있다.

상기 시야각으로 설정하는 단계는, 상기 복수 회 반복된 데이터의 평균에 표준편차를 뺀 값과 더한 값을 각각 제1시야각 및 제2시야각으로 설정하는 단계를 포함할 수 있다.

상기 중심시 영역의 이미지 품질은, 상기 제1시야각에서 상기 제2시야각으로 접근할수록 단계적으로 저하될 수 있다.

상기 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은 상기 (b) 단계 전 상기 사용자 신체의 움직임 또는 사용자의 눈(eye)을 트래킹하는 단계를 더 포함할 수 있다.

상기 제1영역의 이미지 품질을 서로 다르게 하여 상기 (b) 단계 내지 상기 (f) 단계를 복수 회 반복되는 단계를 더 포함하고, 상기 주변시 영역의 이미지 품질은 상기 이미지 품질마다 측정된 서로 다른 시야각을 기초로 상기 시야각에서 상기 주변시 영역으로 멀어질수록 단계적으로 저하될 수 있다.

본 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은 (a) 커스터마이징(customizing)을 위한 측정 화면이 출력되는 단계, (b) 상기 측정 화면 내 제1영역과, 상기 제1영역 보다 낮은 이미지 품질을 가지는 제2영역이 구획되는 단계, (c) 상기 제1영역이 축소되는 단계, (d) 상기 제1영역이 축소됨에 따라 사용자가 상기 제1영역과 상기 제2영역의 경계를 인지하는 제1인지 시점을 측정하고, 상기 제1인지 시점에서의 상기 경계를 상기 사용자의 시야각으로 설정하는 단계, (e) 상기 시야각의 내부 영역을 상기 사용자의 중심시 영역으로 설정하고 상기 시야각의 외부 영역을 상기 사용자의 주변시 영역으로 설정하고, 상기 중심시 영역과 상기 주변시 영역의 이미지 품질을 동일하게 설정하는 단계, (f) 상기 주변시 영역의 이미지 품질이 저하되는 단계, (g) 상기 주변시 영역의 이미지 품질이 저하됨에 따라 상기 사용자가 상기 중심시 영역과 상기 주변시 영역의 경계를 인지하는 제2인지 시점을 측정하고, 상기 제2인지 시점에서의 상기 주변시 영역의 이미지 품질 값을 측정하는 단계 및 (h) 상기 측정된 주변시 영역의 이미지 품질 값을 기초로, 상기 주변시 영역의 이미지를 렌더링하는 단계를 포함할 수 있다.

상기 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은 상기 (f) 단계 및 상기 (g) 단계가 복수 회 반복되는 단계를 더 포함하고, 상기 주변시 영역의 이미지 품질 값은 상기 복수 회 반복된 데이터의 평균으로 설정될 수 있다.

상기 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은 상기 (f) 단계 및 상기 (g) 단계가 복수 회 반복되는 단계를 더 포함하고, 상기 주변시 영역의 이미지 품질 값은 상기 복수 회 반복된 데이터의 평균에 표준편차를 더하거나 뺀 값으로 설정될 수 있다.

본 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은, (a) 커스터마이징(customizing)을 위한 화면이 출력되는 단계, (b) 상기 화면 내 동일한 이미지 품질을 가지는 제3영역과 제4영역이 구획되는 단계, (c) 상기 제4영역의 이미지 품질이 저하되는 단계, (d) 상기 제4영역의 이미지 품질이 저하됨에 따라 사용자가 상기 제3영역과 상기 제4영역의 경계를 인지하는 제2인지 시점을 측정하고, 상기 제2인지 시점에서의 상기 제4영역의 이미지 품질 값을 측정하는 단계 및 (e) 상기 (d) 단계에 의해 측정된 제4영역의 이미지 품질 값을 상기 주변시 영역의 이미지 품질 값으로 설정한 후, 상기 주변시 영역에 대해 렌더링을 수행하는 단계를 포함할 수 있다.

상기 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은, 상기 (c) 단계 및 상기 (d) 단계가 복수 회 반복되는 단계를 더 포함하고, 상기 주변시 영역의 이미지 품질 값은 상기 복수 회 반복된 데이터의 평균으로 설정될 수 있다.

상기 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법은, 상기 (c) 단계 및 상기 (d) 단계가 복수 회 반복되는 단계를 더 포함하고, 상기 주변시 영역의 이미지 품질 값은 상기 복수 회 반복된 데이터의 평균에 표준편차를 더하거나 뺀 값으로 설정될 수 있다.

본 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치는 디스플레이, 상기 디스플레이 내 제1영역과, 상기 제1영역 보다 낮은 이미지 품질을 가지는 제2영역을 구획하는 영역 조절부, 상기 제1영역 내 크기가 축소됨에 따라 입력되는 사용자 입력에 기초하여 상기 제1영역의 크기를 측정하는 측정부 및 상기 측정부에서 측정된 제1영역을 중심시 영역으로 설정하고, 상기 중심시 영역의 외측 영역을 주변시 영역으로 설정한 후, 상기 주변시 영역의 이미지의 품질 값은 상기 중심시 영역의 이미지 품질 값보다 상대적으로 낮은 값으로 설정하여 상기 중심시 영역과 상기 주변시 영역의 이미지에 대해 렌더링을 수행하는 제어부를 포함할 수 있다.

상기 안구 기반 개인화 헤드 마운티드 디스플레이 장치는 사용자의 눈의 움직임과 상기 사용자의 머리의 움직임을 트래킹하는 트래킹 모듈을 더 포함하고, 상기 영역 조절부는 상기 트래킹 모듈로부터 취득한 상기 사용자의 눈이 바라보고 있는 정방향을 상기 제1영역와 상기 제2영역의 중심으로 하여 상기 제1영역과 상기 제2영역을 결정할 수 있다.

본 발명의 다양한 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치는 포비티트 렌더링을 수행함에 있어서 일률적으로 시야각을 정하지 않고 개인의 시야각을 측정한 후, 측정된 시야각에 기초하여 포비티드 영상을 수행하므로 보다 개인에게 최적화된 맞춤형 영상을 제공할 수 있는 장점이 있다.

또한, 개인 별 맞춤 영상 제공에 따라 헤드 마운티드 디스플레이 장치 사용 시 발생되는 가상 멀미를 줄일 수 있는 장점이 있으며, 사용자가 인지하지 못한 수준에서 주변시에 가장 낮은 이미지 품질의 영상을 구현함으로써, 렌더링에 요구되는 그래픽 카드의 리소스를 저감할 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어에 대한 개념도이다.
도 2는 본 발명의 다양한 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 다양한 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법에 대한 흐름도이다.
도 4는 본 발명의 다양한 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 다른 구성을 나타내는 블럭도이다.
도 5는 본 발명의 다양한 실시예에 따른 사용자 별 시야각 설정을 위한 제어 방법의 흐름도이다.
도 6은 본 발명의 다양한 실시예에 따른 시야각 설정 과정을 설명하기 위한 예시 도면이다.
도 7은 본 발명의 다양한 실시예에 따른 사용자 별 이미지 품질 설정을 위한 제어 방법의 흐름도이다.
도 8은 본 발명의 다양한 실시예에 따른 이미지 품질 설정 과정을 설명하기 위한 예시 도면이다.
도 9는 본 발명의 다양한 실시예에 따른 시야각 및 이미지 품질을 커스터마이징한 과정을 설명하기 위한 도면이다.

이하, 본 발명에 따른 실시 예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시 예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.

또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.

또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함하며, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다. 또한, 설명의 편의를 위해 안구 기반 개인화 헤드 마운티드 디스플레이 장치는 헤드 마운티드 디스플레이 장치로 표현하여 설명한다.

도 1은 본 발명의 실시예에 따른 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어에 대한 개념도이다.

도 1을 참조하면, 헤드 마운티드 디스플레이 장치(100)는 영상(200)을 출력하고, 출력되는 영상(200)은 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자에게 제공할 수 있다.

시야각은 화면 표시 장치에서 정상적인 화면을 볼 수 있는 최대한의 측면 각도를 의미하며, 헤드 마운티드 디스플레이 장치(100)는 출력되는 영상(200)의 시야각(Field of View)을 조절할 수 있다. 여기서 시야각은 화각이라고 표현할 수도 있다.

구체적으로, 헤드 마운티드 디스플레이 장치(100)는 출력되는 영상(200)의 시야각을 조절하기 위한 리스트릭터(250, restrictor)를 이용하여, 표시되는 영상(200)의 시야각을 조절할 수 있다.

일 실시예로, 헤드 마운티드 디스플레이 장치(100)는 출력되는 영상(200)에 리스트릭터(250)를 적용하여 시야각이 조절된 영상(200)을 출력하거나, 출력되는 영상(200) 위에 리스트릭터(250)를 함께 출력하여, 시야각이 조절된 영상(200)을 출력할 수 있다. 또 다른 실시예로, 헤드 마운티드 디스플레이 장치(100)는 물리적인 구성의 리스트릭터(250)를 이용하여, 출력되는 영상(200)의 시야각을 조절할 수 있다.

또한, 헤드 마운티드 디스플레이 장치(100)는 리스트릭터(250)의 중심을 출력되는 영상(200)의 중심에 위치하도록 출력할 수 있고, 리스트릭터(250)의 중심을 사용자의 시선의 중심에 위치하도록 출력할 수도 있다.

헤드 마운티드 디스플레이 장치(100)는 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 움직임, 예를 들면 머리 움직임 및/또는 눈 움직임을 트래킹하고, 트래킹된 움직임을 기초로 시야각을 조절할 수 있다. 이와 같이, 헤드 마운티드 디스플레이 장치(100)는 사용자의 움직임에 따라 시야각을 조절해서, 사용자가 느끼는 멀미감을 줄일 수 있다.

사람 눈의 기본적인 시야각은 자신의 정면 방향에서 왼쪽 눈(상대방 기준으로 오른쪽 눈)의 법선을 기준으로 코 방향 60도, 바깥 방향 90도, 윗 방향 60, 아랫 방향 60도이며, 양안을 합친 시야각은 각각 수평 180도, 수직 120도가 된다. 다만, 사람마다 망막의 구조가 다르기 때문에 이러한 시야각의 범위는 개개인마다 서로 다른 범위를 가지고 있다. 그러나, 종래 기술에 의한 경우 시야각을 설정함에 있어서, 공지되어 있는 사람의 평균적인 시야각을 기준으로 설정하였기 때문에, 개개인의 시야각에 맞춘 최적화된 영상을 제공하지 못하고 있다. 특히, 헤드 마운티드 디스플레이 장치는 사용자가 인지할 수 있는 영상의 범위가 넓은데도 헤드 마운티드 디스플레이 장치를 착용하고 있는 사용자마다의 시야각을 고려하지 않고 일률적으로 적용된 시야각에 기초하여 영상을 제공하였기 때문에, 앞서 설명한 멀미 저감의 효과가 효율적으로 발생하지 않는 문제점이 존재하였다.

또한, 사용자가의 시야각을 고려하여 랜더링을 수행하면 보다 효율적으로 랜더링을 수행할 수 있음에도, 종래 기술에 의한 경우 일률적인 시야각을 기준으로 랜더링을 수행하다보니 그래픽 카드의 리소스 부하가 과다하기 걸리는 문제점이 존재하였다. 따라서, 일 실시예에 따른 헤드 마운티드 디스플레이 장치(100)는 이러한 문제점을 해결하기 위하 고안된 발명으로서, 영상을 출력함에 앞서 개개인의 시야각을 측정한 후, 측정된 시야각에 기초하여 렌더링을 수행함으로써, 보다 개개인하게 최적화된 영상을 제공하는데 그 목적이 존재한다. 이하 도면을 통해 본 발명에 대해 자세히 알아보도록 한다.

도 2는 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이 장치의 구성을 나타내는 블럭도이다.

도 2를 참조하면, 헤드 마운티드 디스플레이 장치(100)는 디스플레이(110), 메모리(120), 컨트롤러(130) 및 트래킹 모듈(140)을 포함할 수 있다.

디스플레이(110)는 헤드 마운티드 디스플레이 장치(100)에서 처리된 영상 또는 헤드 마운티드 디스플레이 장치(100)에 전송된 영상을 출력할 수 있다.

예를 들면, 디스플레이(110)는 가상현실(VR), 증강현실(AR), 3D 영상 등을 출력할 수 있으며, 디스플레이(110)는 출력되는 영상의 시야각이 조절된 영상을 출력할 수 있다.

메모리(120)는 헤드 마운티드 디스플레이 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예를 들면, 메모리(120)는 헤드 마운티드 디스플레이 장치(100)에서 구동되는 다양한 응용 프로그램(application program), 제어를 위한 데이터들, 명령어들을 저장할 수 있다.

컨트롤러(130)는 헤드 마운티드 디스플레이 장치(100)의 전반적인 제어를 제어할 수 있다.

예를 들면, 컨트롤러(130)는 헤드 마운티드 디스플레이 장치(100)가 영상을 출력하도록 제어할 수 있고, 트래킹 모듈(140)이 사용자의 움직임을 트래킹하도록 제어할 수 있다. 또한 컨트롤러(130)는 트래킹된 사용자 움직임을 기초로, 출력될 영상의 시야각을 계산할 수 있고, 계산된 시야각이 적용된 영상을 디스플레이(110)에 출력할 수 있다.

따라서, 컨트롤러(130)는 적어도 하나의 프로세서(processor)를 포함할 수 있다. 그리고 컨트롤러(130)의 제어는 프로세서가 메모리에 저장된 실행어들을 실행하여 수행할 수도 있다.

트래킹 모듈(140)은 아이 트래킹 모듈(142), 헤드 트래킹 모듈(144)을 포함할 수 있으며, 트래킹 모듈(140)은 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 움직임을 감지하고 측정할 수 있다.

아이 트래킹 모듈(142)은 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 눈의 움직임을 트래킹할 수 있다. 이에 따라, 아이 트래킹 모듈(142)은 사용자의 눈의 움직임뿐만 아니라 시선 이동도 트래킹할 수 있다.

헤드 트래킹 모듈(144)은 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 머리 움직임을 트래킹할 수 있다. 예를 들면, 헤드 트래킹 모듈(144)는 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 머리 중심을 기준으로, 피치(pitch), 요(yaw), 롤(roll) 각각을 센싱할 수 있다.

트래킹 모듈(140)은 상술한 사용자의 움직임을 트래킹하기 위해 다양한 센서를 포함할 수 있다. 예를 들면, 트래킹 모듈(140)은 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰(microphone) 중 적어도 하나를 포함할 수 있다.

헤드 마운티드 디스플레이 장치(100)는 상술한 구성 이외에도 다양한 구성을 포함할 수 있다. 예를 들면, 헤드 마운티드 디스플레이 장치(100)는 유선/무선 통신을 위한 통신 모듈, 데이터를 입력/출력할 수 있는 입출력 포트, 사용자 입력을 수신할 수 있는 입력 모듈 등을 포함할 수 있다. 헤드 마운티드 디스플레이 장치(100)의 다른 구성에 있어서는 후술하기로 한다.

도 3을 참조하여, 헤드 마운티드 디스플레이 장치(100)의 제어 방법에 대해 설명한다. 도 3은 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이 장치의 제어 방법에 대한 흐름도이다.

도 3을 참조하면, 헤드 마운티드 디스플레이 장치(100)는 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 눈, 머리 중 적어도 하나의 움직임을 트래킹할 수 있다(S10).

예를 들면, 헤드 마운티드 디스플레이 장치(100)의 트래킹 모듈(140)은 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 눈, 머리 중 적어도 하나의 움직임을 센싱할 수 있다.

일 실시예로, 아이 트래킹 모듈(142)은 사용자의 눈의 이동, 시선 이동을 트래킹할 수 있으며, 헤드 트래킹 모듈(144)은 사용자의 머리 움직임을 트래킹할 수 있다.

또 다른 실시예로, 아이 트래킹 모듈(142) 및 헤드 트래킹 모듈(144) 각각은 사용자의 눈의 이동, 시선 이동 및 머리 움직임에 대해 각각 트래킹할 수 있다.

이에 따라, 헤드 마운티드 디스플레이 장치(100)는 센싱된 사용자의 눈, 머리 중 적어도 하나의 움직임을 기초로, 사용자의 움직임을 트래킹할 수 있을 뿐만 아니라 출력되는 영상에서 사용자가 바라보는 위치도 판단할 수 있다.

사용자의 눈 또는 머리의 움직임을 트래킹 하였으면, 헤드 마운티드 디스플레이 장치(100)는 트래킹된 움직임을 기초로, 출력될 영상의 시야각을 계산할 수 있다(S20).

구체적으로, 헤드 마운티드 디스플레이 장치(100)의 컨트롤러(130)는 트래킹 모듈(140)이 트래킹한 사용자 움직임을 기초로, 디스플레이(110)에 출력될 영상의 시야각(Field of View)를 계산할 수 있다.

예를 들면, 컨트롤러(130)는 트래킹된 움직임에 비례하여 시야각을 조절하도록 출력될 영상의 시야각을 계산할 수 있다. 구체적으로, 컨트롤러(130)는 트래킹된 사용자의 눈, 머리 중 적어도 하나의 움직임에 비례하여, 출력될 영상의 시야각을 조절하도록, 출력될 영상의 시야각을 계산할 수 있다.

출력될 영상의 시야각이 계산되면, 헤드 마운티드 디스플레이 장치(100)는 계산된 시야각을 기초로 영상을 출력할 수 있다.(S30)

도 4는 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이 장치의 다른 구성을 나타내는 블럭도이다.

도 4는 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이 장치(100)의 다른 구성을 나타내는 블럭도로서, 도 4의 구성은 도 2의 헤드 마운티드 디스플레이 장치(100)의 구성에 추가될 수 있다.

도 4를 참조하면, 헤드 마운티드 디스플레이 장치는 제어부(310), 영역 조절부(320), 화질 조절부(330), 측정부(340) 및 사용자 조작부(350)를 포함할 수 있다.

제어부(310)는 헤드 마운티드 디스플레이 장치의 전반적인 제어를 제어한다.제어부(310)는 상술한 헤드 마운티드 디스플레이 장치의 구성들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 구동함으로써, 헤드 마운티드 디스플레이 장치의 구동을 위한 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

영역 조절부(320)는, 출력되는 영상 내 제1영역과 제2영역을 구획할 수 있다.

구체적으로 영역 조절부(320)는 사용자의 시야각에 기초하여 제1영역과 제2영역을 구획할 수 있으며, 상술한 트래킹 모듈(140)로부터 수신한 정보에 기초하여 제1영역과 제2영역을 조절할 수 있다. 영역 조절부(320)는 사용자가 응시하는 영역의 중심을 제1영역으로 정의하고, 제1영역의 외측의 영역을 제2영역으로 정의할 수 있다. 이에 따라 제1영역을 중심시 영역이라 칭할 수 있고, 제2영역을 주변시 영역이라 칭할 수 있다.

사용자의 시야각을 측정하는 과정에서, 영역 조절부(320)는 제1영역의 크기를 축소하거나 확장할 수 있다. 일 예로, 영상 내 영역을 가상의 원을 기준으로, 가상의 원의 내측에 배치되는 영역을 제1영역, 가상의 원의 외측에 배치되는 영역을 제2영역이라 할 때, 영역 조절부(320)는 가상의 원의 직경을 축소 또는 확장하는 방법으로, 제1영역의 크기와 제2영역의 크기를 가변시킬 수 있다.

사용자 별 맞춤 이미지 품질을 정의하는 과정에서, 영역 조절부(320)는 트래킹 모듈(140) 또는 사용자 별 정의된 시야각을 기준으로 제1영역과 제2영역을 정의할 수 있다. 헤드 마운트 디스플레이 내 트래킹 모듈(140)이 존재하는 경우, 사용자의 눈이 바라보는 지점을 제1영역과 제2영역의 중심점으로 지정할 수 있으나, 헤드 마운트 디스플레이 내 트래킹 모듈(140)이 존재하지 않을 경우, 출력되는 영상의 중앙부를 제1영역으로 정의하고, 제1영역의 외측을 제2영역으로 정의할 수 있다.

화질 조절부(330)는 출력되는 영상의 이미지 품질을 조절할 수 있다. 이미지 품질을 조절한다는 것은 출력되는 영상의 해상도 또는 화질의 품질을 조절하는 것을 의미한다.

화질 조절부(330)를 통해 출력되는 영상은 이미지 품질이 서로 상이한 복수의 영역을 가질 수 있다. 일 예로, 화질 조절부(330)는 제1영역에서 출력되는 영상은 높은 이미지 품질을 가지는 영상이 출력되도록 하고, 제2영역에서 출력되는 영상은 상대적으로 낮은 이미지 품질을 가지는 영상이 출력되도록 할 수 있다. 화질 조절부(330)는 제1영역에서 제2영역으로 갈수록 순차적으로 낮은 이미지 품질의 영상이 출력되도록 조절할 수 있다. 화질 조절부(330)는 제1영역에서 헤드 마운티드 디스플레이 장치가 출력할 수 있는 최고 품질의 영상을 렌더링할 수 있다.

상기 설명한 방법과 같이 제1영역과 제2영역으로 나누어 사용자의 시야각에 속하는 제1영역은 최고의 품질로 랜더링을 하고, 사용자의 주변시 영역에 해당하는 제2영역에 대해서는 상대적으로 낮은 품질로 랜더링을 하는 경우, 사용자가 정확히 인지할 수 는 없는 영역에서는 높은 품질로 랜더링을 할 필요가 없어, 사용자의 몰입감을 해지지 않으면서 그래픽 카드의 리소스 부하를 낮출 수 있는 장점이 존재한다.

측정부(340)는 사용자 별 영상의 커스터마이즈 과정에서 제공되는 시야각 및 이미지 품질을 측정할 수 있다.

구체적으로, 측정부(340)는 영역 조절부(320) 및 화질 조절부(330)를 통해 변화되는 시야각 및 이미지 품질 중 사용자가 인지하는 시점에서의 시야각 및 이미지 품질 값을 측정할 수 있다. 여기서, 사용자가 인지하는 시점은 사용자의 사용자 조작부(350)를 통한 입력으로 결정될 수 있다. 측정부(340)를 통해 측정된 사용자 별 시야각 및 이미지 품질 값은 메모리(120)에 저장될 수 있고, 제어부(310)는 메모리(120)에 입력된 단일 사용자의 복수 데이터를 통하여 평균 및 표준 편차를 계산할 수 있다.

사용자 조작부(350)는 영역 조절부(320) 또는 화질 조절부(330)의 구동을 통한 제1영역과 제2영역의 인지 시점을 입력하기 위한 것으로, 사용자에 의해 조작될 수 있다. 사용자 조작부(350)는 헤드 마운트 디스플레이 장치의 외면 상에 배치될 수 있다. 일 예로, 사용자 조작부(350)는 사용자에 의해 가압되는 버튼(미도시)을 포함할 수 있다.

이하에서는, 사용자 별 맞춤화된 헤드 마운티드 디스플레이 장치(100)의 구동에 대해 설명하기로 한다.

사용자는 헤드 마운티드 디스플레이 장치(100)의 최초 착용 시, 자신에게 최적화된 영상 출력을 위한 커스터마이징 단계를 거칠 수 있다.

구체적으로, 커스터마이징(customizing) 단계에서는 사용자가 응시하는 정면에 커스터마이징 화면이 출력될 수 있다. 또한, 메모리(120)에는 서로 다른 사용자 별 시야각 및 이미지 품질에 관한 데이터가 저장되어, 사용자는 자신이 커스터마이징한 데이터 값으로 영상이 출력되도록 제어할 수 있다.

도 5는 본 발명의 다양한 실시예에 따른 사용자 별 시야각 설정을 위한 제어 방법의 흐름도 이고, 도 6은 본 발명의 다양한 실시예에 따른 시야각 설정 과정을 설명하기 위한 예시 도면이다.

도 6의 왼쪽에 도시되어 있는 테스트 화면을 기준으로 구획되는 영역 중 제1영역은 원의 내측에 배치되는 영역으로 정의되고, 제2영역은 원의 외측에 배치되는 영역으로 정의될 수 있다. 상기 노란색 원은 헤드 마운티드 디스플레이 장치(100)의 제어 과정을 설명하기 위한 가상의 원으로서, 실제 커스터마이징 화면에서는 표시되지 않을 수도 있다.

도 5 및 6을 참조하면, 사용자의 헤드 마운티드 디스플레이 장치(100)의 착용에 따라 커스터마이징을 위한 화면이 출력될 수 있다. 사용자가 응시하는 영역을 기준으로 커스터마이징 화면은 제1영역과 제2영역으로 구획될 수 있다. 상기 제1영역에는 상대적으로 높은 이미지 품질의 영상이 출력되고, 상기 제2영역에는 상대적으로 낮은 이미지 품질의 영상이 출력될 수 있다.

최초에는 영상 내 최대 크기의 제1영역이 형성될 수 있다. 일 예로, 도 6의 테스트 화면에 도시된 바와 같이, 상기 노란색 원은 가장 큰 직경인10의 직경 값을 가질 수 있다. 다음으로, 테스트 화면의 노란색 원은 영역 조절부(320)를 통해 제1영역이 사용자 시선의 주변부에서 중심을 향해 직경 값이 낮아지도록 축소될 수 있다(S110). 이에 따라 상대적으로 낮은 품질 값을 가지는 제2영역이 증가하게 되며, 상대적으로 높은 품질 값을 가지는 제1영역이 감소하게 된다.

전술한 바와 같이, 커스터마이징 화면에는 가상의 원이 표시되지 않으므로, 제1영역의 축소에 따라 상대적으로 낮은 품질의 제2영역이 증가하게 되고, 이미지 품질이 서로 상이한 제1영역과 제2영역의 경계를 사용자가 인지할 때까지 제1영역은 축소될 수 있다.

영역 조절부(320)에 의해 제1영역이 계속 축소하게 되면 사용자는 제1영역과 제2영역의 경계를 인지할 수 있다. 이 때, 사용자는 사용자 조작부(350)의 조작을 통해 제1영역과 제2영역의 구분에 따른 인지 시점을 입력할 수 있다. 측정부(340)는 사용자의 입력을 기초로 사용자 인지 시점에서의 제1영역의 크기를 측정할 수 있다(S120).

일 예로, 도 6의 테스트 화면에서 제1테스트의 경우 사용자가 최초 제1영역의 크기가 5.5의 직경을 가지는 시점에서 제1영역과 제2영역의 구분을 인지한 것을 예로 들고 있으며, 제2테스트의 경우 사용자가 최초 제1영역의 크기가 5.4의 직경을 가지는 시점에서 제1영역과 제2영역의 구분을 인지한 것을 예로 들고 있다.

상술한 제어 과정은 복수회 수행될 수 있다. 일 예로, 상기 제1영역과 제2영역의 구분에 관한 사용자 인지 과정은 5회 이상 수행될 수 있다. 이에 따라 메모리(120)에는 각 과정 별 사용자 인지 시점에서의 제1영역 크기에 관한 데이터 값이 저장될 수 있다. 도 6에서는 2번째 테스트 과정에서 제1영역이 5.4의 직경을 가지는 시점에서 사용자에 의해 인지 시점이 입력되고, 최종 테스트인 N번째 테스트 과정에서 제1영역이 5.3의 직경을 가지는 시점에서 사용자에 의해 인지 시점이 입력되는 것을 예로 하고 있다.

다음으로, 제어부(310)는 상기 제1영역 크기에 관한 복수의 데이터 값을 통하여, 측정 데이터의 평균 및 표준편차를 도출할 수 있다(S130).

일 예로, 상술한 과정에서 입력된 제1영역 크기에 관한 다수의 데이터를 통해 제1영역 크기의 평균값과 표준편차가 도출될 수 있다. 도 6에서는 사용자가 인지한 시점에서의 제1영역의 크기가 5.44의 평균 값을 가지고, 0.11의 표준편차를 가지는 것을 예로 들고 있다.

만약, 1회 테스트를 기준으로 특정 개인의 시야각을 측정하게 되면 이미지 내에 존재하는 객체의 특성으로 인해 사용자의 시야각이 정확하게 측정이 되지 않을 수 있다. 그러나 본 발명처럼 복수 회의 테스트를 통해 평균 값을 통해 시야각을 측정하면 실제 시야각에 비해 상대적으로 오차가 적은 시야각을 측정할 수 있는 장점이 존재한다. 도 6에서는 하나의 이미지를 기초로 n번 테스트를 실시하는 것으로 도시하였지만, 본 발명의 실시예가 이에 한정되는 것은 아니고 서로 다른 이미지를 활용하여 n 번 테스트를 실시할 수 도 있다.

상술한 평균 값을 구하는 과정에 의해 사용자 별 시야각이 정의될 수 있다. 즉, 복수 번의 시야각 측정 과정을 통한 데이터로 계산된 평균값에 의해, 특정 사용자의 시야각이 정의될 수 있다. 이에 따라 특정 사용자의 시야각에 기초한 영상이 렌더링될 수 있다(S140). 즉, 정의된 제1영역의 크기로 중심시 영역이 설정되고, 중심시 영역의 외측에 상대적으로 낮은 이미지 품질의 주변시 영역이 설정되어 렌더링될 수 있다.

도 6을 기준으로, 특정 사용자는 제1영역의 크기가 5.4인 영역만큼의 시야각을 가지므로, 헤드 마운티드 디스플레이 장치(100)는 특정 사용자가 바라보는 영역의 중심을 기준으로 직경이 5.4의 영역만큼은 제1영역으로 설정하고, 이 외의 영역은 제2영역으로 설정할 수 있다. 또한, 설정된 특성 사용자의 시야각에 기초하여, 헤드 마운티드 디스플레이 장치(100)는 제1영역은 상대적으로 높은 이미지 품질의 영상을 출력하고, 제2영역은 상대적으로 낮은 이미지 품질의 영상을 출력한 포비티드 렌더링(Foveated Rendering)이 구현될 수 있다. 본 발명처럼 포비티드 렌더링이 수행되는 경우 일률적인 시야각이 아닌 사용자의 실제 시야각에 맞추어 포비티트 렌더링이 수행되므로 사용자에게 보다 영상의 몰입을 제공해 줄 수 있으며, 멀미 또한 저감 될 수 있는 효과가 존재한다. 또한, 사용자가 인지하기 어려운 불필요한 부분에 대해서는 상대적으로 낮은 품질로 랜더링을 수행하므로 그래픽 카드의 리소스 부하를 감소시킬 수 있는 효과 또한 존재한다.

한편, 특정 사용자 별 제1영역이 크기는 측정된 다수의 데이터의 평균값에 표준 편차를 더하거나 뺀 값으로 정의될 수 있다. 예를 들어, 사용자가 영상 내 높은 이미지 품질의 제1영역이 상대적으로 크게 형성될 것을 원할 경우, 헤드 마운티드 디스플레이 장치(100)는 다수의 데이터의 평균값에 표준 편차를 더한 값으로 제1영역의 크기를 형성할 수 있다. 즉, 도 6의 렌더링 화면에서의 주황색 원(R2)의 직경처럼 원의 직경을 평균에서 표준편차를 더한 값(5.55=5.44+0.11)으로 설정하여 제1영역의 크기를 정할 수 있다.

또 다른 예로, 그래픽 카드 또는 배터리의 용량을 고려하여 제1영역이 상대적으로 작게 형성될 것을 원할 경우, 헤드 마운티드 디스플레이 장치(100)는 도 6의 렌더링 화면에서의 노란색 원(R1)의 직경처럼 원의 직경을 평균에서 표준편차를 차감한 값(5.33=5.44-0.11)으로 설정하여 제1영역의 크기를 정할 수 있다.

제2영역 내 이미지 품질은 제1영역으로부터 멀어질수록 낮아지게 설정될 수 있다. 이에 따라 헤드 마운티드 디스플레이 장치(100)에서 출력되는 영상은 사용자 중심시 영역의 외측으로 갈수록 낮아지는 이미지 품질의 그라데이션 효과를 가질 수 있다. 특정 경계선을 기점으로 이미지 품질을 급격하게 낮추는 경우 경계선에서 오는 차이로 인해 영상의 몰입감을 감소시킬 수 있다. 그러나 본 발명처럼 중심시 영역의 외측에서부터 주변시 영역으로 갈수록 이미지의 품질을 단계적으로 저하시키면 영역 들간의 급격한 품질 저하로 인한 괴리감이 사라져, 사용자의 몰입감을 증가시킬 수 있는 장점이 존재한다.

다음으로, 사용자 별 이미지 품질의 커스터마이징 과정에 대해 설명하기로 한다. 이미지 품질의 커스터마이징 과정은 시야각 커스터마이징 과정 이후에 진행될 수 있다. 그러나, 이를 한정하는 것은 아니며, 이미지 품질 커스터마이징 과정은 시야각 커스터마이징 과정 이전에 진행될 수 도 있다.

도 7은 본 발명의 다양한 실시예에 따른 사용자 별 이미지 품질 설정을 위한 제어 방법의 흐름도 이고, 도 8은 본 발명의 다양한 실시예에 따른 이미지 품질 설정 과정을 설명하기 위한 예시 도면이다.

도 7 및 8을 참조하면, 전술한 시야각 커스터마이징 과정으로 설정된 값에 의해, 커스터마이징 화면은 제3영역과 제4영역으로 구획될 수 있다. 여기서, 제3영역과 제4영역은 전술한 시야각 커스터마이징 과정으로 설정된 시야각에 의해 구획된 영역일 수 있다. 즉, 사용자 시야각 내 영역은 제3영역, 제3영역의 외측에 제4영역이 배치될 수 있다.

최초 이미지 품질 커스터마이징 화면에는 제3영역과 제4영역이 상호 동일한 값의 이미지 품질을 가지도록 영상이 출력될 수 있다. 도 8의 최초 이미지 품질 커스터마이징 화면은 제3영역과 제4영역의 이미지 품질 값이 가장 높은 값(I=0)으 설정되어 있는 것으로 도시하였지만 항상 이미지 품질 값이 가장 높은 값으로 출력되는 것은 아니고 설정에 따라 다양한 값부터 테스트가 시작될 수 있다.

다음으로, 화질 조절부(330)를 통해 제4영역의 이미지 품질이 점차 낮아질 수 있다(S210). 즉, 제3영역 대비 제4영역은 서서히 낮은 이미지 값의 화면이 출력될 수 있다.

제4영역의 이미지 품질 저하에 따라, 사용자는 제3영역과 제4영역의 경계를 인지할 수 있다. 이 때, 사용자는 사용자 조작부(350)의 조작을 통해 제3영역과 제4영역의 구분에 따른 인지 시점을 입력할 수 있다.

측정부(340)는 사용자 인지 시점에서의 사용장 입력을 기초로 제4영역의 이미지 품질 값을 측정할 수 있다(S220). 일 예로, 도 8에서는 사용자의 최초 테스트인 제1테스트에서는 제4영역의 이미지 품질이 30인 값을 가지는 시점에서 제3영역과 제4영역의 구분을 인지할 것을 예로 들고 있으며 제2테스트에서는 제4영역의 이미지 품질이 31인 값을 가지는 시점에서 제3영역과 제4영역의 구분을 인지할 것을 예로 들고 있다.

상술한 제어 과정은 복수회 수행될 수 있다. 일 예로, 제3영역과 제4영역의 이미지 품질 차이에 따른 사용자 인지 과정은 5회 이상 수행될 수 있다. 이에 따라, 메모리(120)에는 각 과정 별 사용자 인지 시점에서의 제2영역 이미지 품질 값에 관한 데이터가 저장될 수 있다. 도 8에서는, 2회차 테스트 과정에서는 제4영역의 이미지 품질이 31인 값을 가지는 시점에서 사용자에 의한 인지 시점이 입력되고, 최종 n차 테스트 과정에서는 이미지 품질이 29인 값을 가지는 시점에서 사용자에 의한 인지 시점이 입력되는 것을 예로 도시하였다.

다음으로, 제어부(310)는 제4영역의 이미지 품질 값에 관한 복수의 데이터를 통하여, 측정 데이터의 평균 및 표준편차를 도출할 수 있다(S230). 일 예로, 상술한 과정에서 입력된 제4영역의 이미지 품질 값에 관한 다수의 데이터를 통해 제4영역 이미지 품질의 평균값과 표준편차가 도출될 수 있다. 도 8에서는 사용자가 인지한 시점에서의 제4영역의 이미지 품질 값이 30의 평균 값을 가지는 것을 예로 들고 있다.

또한, 상술한 과정에 의해 사용자 별 제4영역의 이미지 품질 값이 정의될 수 있다. 즉, 복수 번의 측정 과정을 통한 데이터로 계산된 평균값에 의해, 사용자 시야각에 기초한 제4영역의 이미지 품질 값이 설정될 수 있다. 이에 따라, 특정 사용자의 시야각 및 이미지 품질에 기초한 영상이 렌더링될 수 있다(S240).

만약, 1회의 테스트에 대한 결과 값을 기준으로 제4영역에 대한 이미지 품질 값을 측정하게 되면 이미지 내에 존재하는 객체의 특성으로 인해 사용자의 인지 범위가 정확하게 측정이 되지 않을 수 있다. 그러나 본 발명처럼 복수 회의 테스트를 통해 평균 값을 통해 이미지 품질에 대한 인지 범위를 측정하면 보다 정확한 인지 범위를 측정할 수 있는 장점이 존재한다.

한편, 시야각 설정 과정과 마찬가지로, 이미지 품질 값을 설정하는 과정은 다양한 환경을 고려하여 상술한 이미지 품질의 평균 값에 표준편차를 더하거나 뺀 값으로 제4영역의 이미지 품질 값이 설정될 수 있음은 물론이다.

예를 들어, 사용자가 전반적으로 영상의 높은 이미지 품질을 요한다면 제4영역의 이미지 품질 값을 다수의 데이터의 평균값에 표준 편차를 더한 값으로 이미지 품질 값을 정할 수 있고, 또 다른 예로, 그래픽 카드 또는 배터리의 용량을 고려하여 영상에 대해 높은 이미지 품질을 요하지 않는다면, 제4영역의 이미지 품질 값을 다수의 데이터의 평균값에 표준 편차를 차감한 값으로 이미지 품질 값을 정할 수 있다.

또한, 본 발명의 경우 앞서 설명한 바와 같이 이미지 품질의 커스터마이징 과정은 시야각 커스터마이징 과정 이후에 진행될 수 있다. 따라서, 이미지 품질의 커스터마이징 과정이 시야각 커스터마이징 과정 이후에 진행된다며, 앞서 설명한 제3영역은 중심시 영역으로, 제4영역은 주변시 영역으로 호칭될 수 있다.

도 9는 본 발명의 다양한 실시예에 따른 시야각 및 이미지 품질을 커스터마이징한 과정을 설명하기 위한 도면이다.

도 9를 참조하면, 특정 사용자 별 시야각 커스터마이징 단계와, 이미지 품질 커스터마이징 단계를 반복하여, 헤드 마운티드 디스플레이 장치(100)는 포비티드 렌더링(Foveated Rendering)을 구현할 수 있다.

구체적으로, 도9의 상부에 도시된 바와 같이 테스트를 실시함에 있어서, 특정 이미지 값마다 사용자가 경계의 변화를 인지할 수 있는 시야각을 측정한 후, 측정된 각각의 시야각을 기초로 포비티트 렌덩링을 수행할 수 있다. 따라서, 도 9의 하부에 도시된 바와 같이 시야각이 50도 내에서는 이미지 품질 값을 10으로, 시야각이 50도 내지 60 도 사이에서는 이미지 품질 값을 20으로, 시야각이 60도 내지 70도 사이에서는 이미지 품질 값을 30으로 하여 포비티트 렌더링을 수행할 수 있다. 본 발명과 같이 포비티트 렌더링을 수행하는 경우 경계선을 기점으로 단계적으로 포비티트 렌더링을 수행하더라도 개별적인 시야각까지 고려하여 렌더링을 수행하므로 보다 더 개인에게 최적화된 영상을 제공해 줄 수 있는 효과가 존재한다.

지금까지 도면을 통해 본 발명의 실시예에 따른 헤드 마운티드 디스플레이 장치(100)의 구성 요소 및 제어 방법에 대해 알아보았다.

본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이 장치(100)는 일률적으로 시야각을 정하지 않고 개인의 시야각을 측정한 후, 측정된 시야각에 기초하여 포비티드 영상을 수행하므로 보다 개인에게 최적화된 맞춤형 영상을 제공할 수 있는 장점이 있다.

또한, 개인 별 맞춤 영상 제공에 따라 헤드 마운티드 디스플레이 장치 사용 시 발생되는 가상 멀미를 줄일 수 있는 장점이 있으며, 사용자가 인지하지 못한 수준에서 주변시에 가장 낮은 이미지 품질의 영상을 구현함으로써, 렌더링에 요구되는 그래픽 카드의 리소스를 저감할 수 있는 장점이 있다.

한편, 본 명세서에 기재된 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용 가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.

부가적으로, 본 특허문헌에서 기술하는 논리 흐름과 구조적인 블럭도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 구축하는 데에도 사용 가능하다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다.

이상에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면, 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정해져야 할 것이다.

100: 헤드 마운티드 디스플레이 장치
110: 디스플레이
130: 메모리
150: 컨트롤러
170: 트래킹 모듈
310: 제어부
320: 영역 조절부
330: 화질 조절부
340: 측정부
350: 사용자 조작부

Claims (15)

1. (a) 커스터마이징(customizing)을 위한 측정 화면이 출력되는 단계;
   (b) 상기 측정 화면 내 제1영역과, 상기 제1영역 보다 낮은 이미지 품질을 가지는 제2영역이 구획되는 단계;
   (c) 상기 제1영역이 축소되는 단계;
   (d) 상기 제1영역이 축소됨에 따라 사용자가 상기 제1영역과 상기 제2영역의 경계를 인지하는 제1인지 시점을 측정하고, 상기 제1인지 시점에서의 상기 경계를 상기 사용자의 시야각으로 설정하는 단계; 및
   (e) 상기 시야각의 내부 영역을 상기 사용자의 중심시 영역으로 설정하고 상기 시야각의 외부 영역을 상기 사용자의 주변시 영역으로 설정하고, 상기 주변시 영역의 이미지 품질은 상기 중심시 영역의 이미지 품질보다 상대적으로 낮은 이미지 품질로 렌더링하는 단계;를 포함하는 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
2. 제1항에 있어서,
   상기 주변시 영역의 이미지 품질은 상기 시야각에서 상기 주변시 영역 으로 멀어질수록 단계적으로 저하되는, 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
   
3. 제1항에 있어서,
   상기 (c) 단계 및 상기 (d) 단계가 복수 회 반복되는 단계를 더 포함하고,
   상기 시야각으로 설정하는 단계는, 상기 복수 회 반복된 데이터의 평균으로 설정하는 단계를 포함하는, 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
4. 제1항에 있어서,
   상기 (c) 단계 및 상기 (d) 단계가 복수 회 반복되는 단계를 더 포함하고,
   상기 시야각을 설정하는 단계는, 상기 복수 회 반복된 데이터의 평균에 표준편차를 빼거나 더한 값으로 설정하는 단계를 포함하는, 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
5. 제4항에 있어서,
   상기 시야각으로 설정하는 단계는,
   상기 복수 회 반복된 데이터의 평균에 표준편차를 뺀 값과 더한 값을 각각 제1시야각 및 제2시야각으로 설정하는 단계를 포함하고,
   상기 중심시 영역의 이미지 품질은, 상기 제1시야각에서 상기 제2시야각으로 접근할수록 단계적으로 저하되는 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
6. 제1항에 있어서,
   상기 (b) 단계 전 상기 사용자 신체의 움직임 또는 사용자의 눈(eye)을 트래킹하는 단계;를 더 포함하는 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
7. 제1항에 있어서,
   상기 제1영역의 이미지 품질을 서로 다르게 하여 상기 (b) 단계 내지 상기 (f) 단계를 복수 회 반복되는 (g) 단계를 더 포함하고,
   상기 주변시 영역의 이미지 품질은 상기 (g) 단계를 통해 측정된 상기 이미지 품질마다의 서로 다른 시야각을 기초로 상기 시야각에서 상기 주변시 영역으로 멀어질수록 단계적으로 저하되는, 헤드 마운티드 디스플레이 장치의 제어 방법.
8. (a) 커스터마이징(customizing)을 위한 측정 화면이 출력되는 단계;
   (b) 상기 측정 화면 내 제1영역과, 상기 제1영역 보다 낮은 이미지 품질을 가지는 제2영역이 구획되는 단계;
   (c) 상기 제1영역이 축소되는 단계;
   (d) 상기 제1영역이 축소됨에 따라 사용자가 상기 제1영역과 상기 제2영역의 경계를 인지하는 제1인지 시점을 측정하고, 상기 제1인지 시점에서의 상기 경계를 상기 사용자의 시야각으로 설정하는 단계;
   (e) 상기 시야각의 내부 영역을 상기 사용자의 중심시 영역으로 설정하고 상기 시야각의 외부 영역을 상기 사용자의 주변시 영역으로 설정하고, 상기 중심시 영역과 상기 주변시 영역의 이미지 품질을 동일하게 설정하는 단계;
   (f) 상기 주변시 영역의 이미지 품질이 저하되는 단계;
   (g) 상기 주변시 영역의 이미지 품질이 저하됨에 따라 상기 사용자가 상기 중심시 영역과 상기 주변시 영역의 경계를 인지하는 제2인지 시점을 측정하고, 상기 제2인지 시점에서의 상기 주변시 영역의 이미지 품질 값을 측정하는 단계; 및
   (h) 상기 측정된 주변시 영역의 이미지 품질 값을 기초로, 상기 주변시 영역의 이미지를 렌더링하는 단계;를 포함하는 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
9. 제8항에 있어서,
   상기 (f) 단계 및 상기 (g) 단계가 복수 회 반복되는 단계를 더 포함하고,
   상기 주변시 영역의 이미지 품질 값은 상기 복수 회 반복된 데이터의 평균으로 설정되는 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
10. 제8항에 있어서,
    상기 (f) 단계 및 상기 (g) 단계가 복수 회 반복되는 단계를 더 포함하고,
    상기 주변시 영역의 이미지 품질 값은 상기 복수 회 반복된 데이터의 평균에 표준편차를 더하거나 뺀 값으로 설정되는 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
11. (a) 커스터마이징(customizing)을 위한 화면이 출력되는 단계;
    (b) 상기 화면 내 동일한 이미지 품질을 가지는 제3영역과 제4영역이 구획되는 단계;
    (c) 상기 제4영역의 이미지 품질이 저하되는 단계;
    (d) 상기 제4영역의 이미지 품질이 저하됨에 따라 사용자가 상기 제3영역과 상기 제4영역의 경계를 인지하는 제2인지 시점을 측정하고, 상기 제2인지 시점에서의 상기 제4영역의 이미지 품질 값을 측정하는 단계; 및
    (e) 상기 (d) 단계에 의해 측정된 제4영역의 이미지 품질 값을 상기 사용자의 주변시 영역의 이미지 품질 값으로 설정한 후, 상기 주변시 영역에 대해 렌더링을 수행하는 단계;를 포함하는 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
12. 제11항에 있어서,
    상기 (c) 단계 및 상기 (d) 단계가 복수 회 반복되는 단계를 더 포함하고,
    상기 주변시 영역의 이미지 품질 값은 상기 복수 회 반복된 데이터의 평균으로 설정되는 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
13. 제11항에 있어서,
    상기 (c) 단계 및 상기 (d) 단계가 복수 회 반복되는 단계를 더 포함하고,
    상기 주변시 영역의 이미지 품질 값은 상기 복수 회 반복된 데이터의 평균에 표준편차를 더하거나 뺀 값으로 설정되는, 안구 기반 개인화 헤드 마운티드 디스플레이 장치의 제어 방법.
14. 디스플레이;
    상기 디스플레이에 커스터마이징(customizing)을 위한 측정 화면이 출력된 경우, 상기 디스플레이 내 제1영역과, 상기 제1영역 보다 낮은 이미지 품질을 가지는 제2영역을 구획하는 영역 조절부;
    상기 제1영역 내 크기가 축소됨에 따라 사용자가 상기 제1영역과 상기 제2영역의 경계를 인지하는 제1인지 시점을 측정하는 측정부; 및
    상기 제1인지 시점에서의 상기 경계를 상기 사용자의 시야각으로 설정한 후, 상기 시야각 내부 영역을 상기 사용자의 중심시 영역으로 설정하고 상기 시야각 외부 영역을 상기 사용자의 주변시 영역으로 설정하고, 상기 주변시 영역의 이미지의 품질 값은 상기 중심시 영역의 이미지 품질 값보다 상대적으로 낮은 값으로 설정하여 상기 중심시 영역과 상기 주변시 영역의 이미지에 대해 렌더링을 수행하는 제어부;를 포함하는 헤드 마운티드 디스플레이 장치.
15. 제14항에 있어서,
    상기 사용자의 눈의 움직임과 상기 사용자의 머리의 움직임을 트래킹하는 트래킹 모듈;을 더 포함하고,
    상기 영역 조절부는,
    상기 트래킹 모듈로부터 취득한 상기 사용자의 눈이 바라보고 있는 정방향을 상기 제1영역와 상기 제2영역의 중심으로 하여 상기 제1영역과 상기 제2영역을 결정하는 안구 기반 개인화 헤드 마운티드 디스플레이 장치.

Images