KR101951406B1 - 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법 - Google Patents

가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법 Download PDF

Info

Publication number
KR101951406B1
KR101951406B1 KR1020170130795A KR20170130795A KR101951406B1 KR 101951406 B1 KR101951406 B1 KR 101951406B1 KR 1020170130795 A KR1020170130795 A KR 1020170130795A KR 20170130795 A KR20170130795 A KR 20170130795A KR 101951406 B1 KR101951406 B1 KR 101951406B1
Authority
KR
South Korea
Prior art keywords
viewing angle
head
user
image
mounted display
Prior art date
Application number
KR1020170130795A
Other languages
English (en)
Inventor
김광욱
김창섭
김민규
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020170130795A priority Critical patent/KR101951406B1/ko
Priority to PCT/KR2018/011650 priority patent/WO2019074228A2/ko
Application granted granted Critical
Publication of KR101951406B1 publication Critical patent/KR101951406B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명의 기술적 사상에 의한 일 양태에 따른 헤드 마운티드 디스플레이블록 동작 방법은 사용자의 눈, 머리 중 적어도 하나의 움직임을 트래킹하는 단계, 상기 트래킹된 움직임을 기초로, 출력될 영상의 시야각을 계산하는 단계 및 상기 계산된 시야각으로 상기 영상을 출력하는 단계를 포함할 수 있다.

Description

가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법{HEAD MOUNTED DISPLAY AND OPERATING METHOD FOR REDUCING VIRTUAL REALITY SICKNESS}
본 발명의 기술적 사상은 헤드 마운티드 디스플레이 및 그 동작 방법에 관한 것으로, 보다 상세하게는, 가상 멀미 저감을 위해 헤드 마운티드 디스플레이의 시야각을 조절하는 헤드 마운티드 디스플레이 및 그 동작 방법에 관한 것이다.
헤드 마운티드 디스플레이는 사용자의 머리에 착용하는 디스플레이 장치를 말한다.
헤드 마운티드 디스플레이는 주로 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality)의 구현을 위한 디스플레이 장치로 사용되며, 3D 디스플레이 기술과 접목되기도 한다.
헤드 마운티드 디스플레이는 다른 디스플레이와 비교할 수 없을 정도의 몰입감을 사용자에 제공하는 것이 특징이며, 사용자에게 보이는 디스플레이 크기에 비해 공간적인 제약이 거의 없다는 장점도 있다. 또한, 헤드 마운티드 디스플레이는 헤드 트래킹과 같은 사용자 움직임을 인식하고, 인식에 따라 표시되는 영상을 조절할 수 있어서, 매우 직관적인 입력 방식을 제공하는 이점도 있다.
다만, 디스플레이 장치를 직접 착용해야 하는 점에서, 헤드 마운티드 디스플레이의 무게에 따라 발생하는 불편한 착용감과, 눈앞에 표시되는 대형 화면으로 인해 발생하는 멀미라는 문제점이 있다.
특히, 헤드 마운티드 디스플레이를 통해 가상현실을 경험할 때 발생하는 가상 멀미는 헤드 마운티드 디스플레이 보급 및 활용에 큰 걸림돌이 되고 있다.
본 발명의 기술적 사상에 따른 헤드 마운티드 디스플레이 및 그 동작 방법이 이루고자 하는 기술적 과제는, 헤드 마운티드 디스플레이 사용에 따른 가상 멀미를 줄이는데 목적이 있다.
본 발명은 사용자의 움직임에 따라 표시되는 영상의 시야각을 조절하여, 헤드 마운티드 디스플레이의 사용에 따른 사용자 멀미 발생을 저감하는데 목적이 있다.
본 발명의 기술적 사상에 따른 헤드 마운티드 디스플레이 및 그 동작 방법이 이루고자 하는 기술적 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 기술적 사상에 의한 일 양태에 따른 헤드 마운티드 디스플레이블록 동작 방법은 사용자의 눈, 머리 중 적어도 하나의 움직임을 트래킹하는 단계; 상기 트래킹된 움직임을 기초로, 출력될 영상의 시야각을 계산하는 단계; 및 상기 계산된 시야각으로 상기 영상을 출력하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 영상을 출력하는 단계는 상기 영상이 출력되는 디스플레이의 중심을 기준으로, 상기 계산된 시야각을 적용한 영상을 출력하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 영상을 출력하는 단계는 상기 사용자의 시선의 중심을 기준으로, 상기 계산된 시야각을 적용한 영상을 출력하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 시야각을 계산하는 단계는 상기 사용자의 최대 시야각과 최소 시야각 이내에서, 상기 출력될 영상의 시야각을 계산하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 시야각을 계산하는 단계는 상기 최대 시야각에서 제1 시야각 범위 내에서는, 상기 트래킹된 움직임에 따라 상기 시야각이 제1 변화량으로 변화하도록 상기 시야각을 계산하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 시야각을 계산하는 단계는 상기 제1 시야각에서 상기 제1 시야각보다 좁은 제2 시야각 범위 내에서는, 상기 트래킹된 움직임에 따라 상기 시야각이, 상기 제1 변화량보다 적은 제2 변화량으로 변화하도록 상기 시야각을 계산하는 단계를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 시야각을 계산하는 단계는 상기 제2 시야각에서 상기 최소 시야각 범위 내에서는, 상기 트래킹된 움직임에 따라 상기 시야각이, 상기 제2 변화량보다 적은 제3 변화량으로 변화하도록 상기 시야각을 계산하는 단계를 포함할 수 있다.
본 발명의 기술적 사상에 의한 다른 양태에 따른 헤드 마운티드 디스플레이는 디스플레이; 사용자의 눈, 머리 중 적어도 하나의 움직임을 트래킹하는 트래킹 모듈; 및 상기 트래킹된 움직임을 기초로, 상기 디스플레이에 출력될 영상의 시야각을 계산하고, 상기 계산된 시야각으로 상기 영상을 상기 디스플레이에 출력하도록 제어하는 컨트롤러를 포함할 수 있다.
예시적인 실시예에 따르면, 상기 컨트롤러는 상기 디스플레이의 중심을 기준으로, 상기 계산된 시야각을 적용한 영상을 출력할 수 있다.
예시적인 실시예에 따르면, 상기 컨트롤러는 상기 사용자의 시선의 중심을 기준으로, 상기 계산된 시야각을 적용한 영상을 출력할 수 있다.
예시적인 실시예에 따르면, 상기 컨트롤러는 상기 사용자의 최대 시야각과 최소 시야각 이내에서, 상기 출력될 영상의 시야각을 계산할 수 있다.
예시적인 실시예에 따르면, 상기 컨트롤러는 상기 최대 시야각에서 제1 시야각 범위 내에서는, 상기 트래킹된 움직임에 따라 상기 시야각이 제1 변화량으로 변화하도록 상기 시야각을 계산할 수 있다.
예시적인 실시예에 따르면, 상기 컨트롤러는 상기 제1 시야각에서 상기 제1 시야각보다 좁은 제2 시야각 범위 내에서는, 상기 트래킹된 움직임에 따라 상기 시야각이, 상기 제1 변화량보다 적은 제2 변화량으로 변화하도록 상기 시야각을 계산할 수 있다.
예시적인 실시예에 따르면, 상기 컨트롤러는 상기 제2 시야각에서 상기 최소 시야각 범위 내에서는, 상기 트래킹된 움직임에 따라 상기 시야각이, 상기 제2 변화량보다 적은 제3 변화량으로 변화하도록 상기 시야각을 계산할 수 있다.
본 발명의 기술적 사상에 의한 또 다른 양태에 따른 전자 장치는 적어도 하나의 프로세서; 및 상기 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 상기 프로세서가 실행 시에, 사용자의 눈, 머리 중 적어도 하나의 움직임을 트래킹하고, 상기 트래킹된 움직임을 기초로, 출력될 영상의 시야각을 계산하고, 상기 계산된 시야각으로 상기 영상을 출력하도록 하는 인스트럭션들을 저장할 수 있다.
본 발명의 기술적 사상에 의한 실시예들에 따른 헤드 마운티드 디스플레이 및 그 동작 방법은 헤드 마운티드 디스플레이 사용에 따른 가상 멀미를 줄일 수 있다.
본 발명은 사용자의 움직임에 따라 표시되는 영상의 시야각을 조절하여, 헤드 마운티드 디스플레이의 사용에 따른 사용자 멀미 발생을 저감시킬 수 있다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이의 동작에 대한 개념도이다.
도 2는 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이의 구성을 나타내는 블록도이다.
도 3은 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이의 동작 방법에 대한 흐름도이다.
도 4는 본 발명의 다양한 실시예에 따른 시야각 조절에 대한 예시도이다.
도 5는 본 발명의 다양한 실시예에 따른 시야각 조절된 영상에 대한 예시도이다.
도 6은 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이의 동작 방법에 대한 흐름도이다.
본 발명의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 기술적 사상의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processor), 어플리케이션 프로세서(Application Processor), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
그리고 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
이하, 본 발명의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.
도 1은 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이의 동작에 대한 개념도이다.
도 1을 참조하면, 헤드 마운티드 디스플레이(100)는 영상(200)을 출력할 수 있고, 출력되는 영상(200)은 헤드 마운티드 디스플레이(100)를 착용한 사용자에게 제공될 수 있다.
헤드 마운티드 디스플레이(100)는 출력되는 영상(200)의 시야각(Field of View)을 조절할 수 있다. 예를 들면, 헤드 마운티드 디스플레이(100)는 출력되는 영상(200)의 시야각을 조절하기 위한 리스트릭터(250, restrictor)를 제공하여, 표시되는 영상(200)의 시야각을 조절할 수 있다. 여기서 시야각은 화각이라고 표현할 수도 있다.
일 실시예로, 헤드 마운티드 디스플레이(100)는 출력되는 영상(200)에 리스트릭터(250)를 적용하여 시야각이 조절된 영상(200)을 출력할 수 있다.
다른 실시예로, 헤드 마운티드 디스플레이(100)는 출력되는 영상(200) 위에 리스트릭터(250)를 함께 출력하여, 시야각이 조절된 영상(200)을 출력할 수 있다.
또 다른 실시예로, 헤드 마운티드 디스플레이(100)는 물리적인 구성의 리스트릭터(250)를 포함하여, 출력되는 영상(200)의 시야각을 조절할 수 있다.
헤드 마운티드 디스플레이(100)는 리스트릭터(250)의 중심을 영상(200)의 중심에 위치하도록 출력할 수 있고, 리스트릭터(250)의 중심을 사용자의 시선의 중심에 위치하도록 출력할 수도 있다.
헤드 마운티드 디스플레이(100)는 헤드 마운티드 디스플레이(100)를 착용한 사용자의 움직임, 예를 들면 머리 움직임 및/또는 눈 움직임을 트래킹하고, 트래킹된 움직임을 기초로 시야각을 조절할 수 있다. 이와 같이, 헤드 마운티드 디스플레이(100)는 사용자의 움직임에 따라 시야각을 조절해서, 사용자가 느끼는 멀미감을 줄일 수 있다.
이하, 상술한 내용에 대해 자세히 설명한다.
먼저, 도 2를 참조하여 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이(100)의 구성에 대해 설명한다.
도 2는 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이의 구성을 나타내는 블록도이다.
도 2를 참조하면, 헤드 마운티드 디스플레이(100)는 디스플레이(110), 메모리(130), 컨트롤러(150) 및 트래킹 모듈(170)을 포함할 수 있다.
디스플레이(110)는 헤드 마운티드 디스플레이(100)에서 처리된 영상 또는 헤드 마운티드 디스플레이(100)에 전송된 영상을 출력할 수 있다.
예를 들면, 디스플레이(110)는 가상현실(VR), 증강현실(AR), 3D 영상 등을 출력할 수 있다.
디스플레이(110)는 출력되는 영상의 시야각이 조절된 영상을 출력할 수 있다.
메모리(130)는 헤드 마운티드 디스플레이(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예를 들면, 메모리(130)는 헤드 마운티드 디스플레이(100)에서 구동되는 다양한 응용 프로그램(application program), 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
컨트롤러(150)는 헤드 마운티드 디스플레이(100)의 전반적인 동작을 제어할 수 있다.
예를 들면, 컨트롤러(150)는 헤드 마운티드 디스플레이(100)가 영상을 출력하도록 제어할 수 있고, 트래킹 모듈(170)이 사용자의 움직임을 트래킹하도록 제어할 수 있다. 또한 컨트롤러(150)는 트래킹된 사용자 움직임을 기초로, 출력될 영상의 시야각을 계산할 수 있고, 계산된 시야각이 적용된 영상을 디스플레이(110)에 출력할 수 있다.
컨트롤러(150)는 적어도 하나의 프로세서(processor)를 포함할 수 있다. 그리고 컨트롤러(150)의 동작은 프로세서가 메모리에 저장된 실행어들을 실행하여 수행할 수도 있다.
트래킹 모듈(170)은 헤드 마운티드 디스플레이(100)를 착용한 사용자의 움직임을 센싱할 수 있다.
트래킹 모듈(170)은 아이 트래킹 모듈(172), 헤드 트래킹 모듈(174)을 포함할 수 있다.
아이 트래킹 모듈(172)은 헤드 마운티드 디스플레이(100)를 착용한 사용자의 눈의 움직임을 트래킹할 수 있다. 이에 따라, 아이 트래킹 모듈(172)은 사용자의 눈의 움직임뿐만 아니라 시선 이동도 트래킹할 수 있다.
헤드 트래킹 모듈(174)은 헤드 마운티드 디스플레이(100)를 착용한 사용자의 머리 움직임을 트래킹할 수 있다. 예를 들면, 헤드 트래킹 모듈(174)는 헤드 마운티드 디스플레이(100)를 착용한 사용자의 머리 중심을 기준으로, 피치(pitch), 요(yaw), 롤(roll) 각각을 센싱할 수 있다.
트래킹 모듈(170)은 상술한 사용자의 움직임을 트래킹하기 위해 다양한 센서를 포함할 수 있다. 예를 들면, 트래킹 모듈(170)은 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰(microphone) 중 적어도 하나를 포함할 수 있다.
헤드 마운티드 디스플레이(100)는 상술한 구성 이외에도 다양한 구성을 포함할 수 있다. 예를 들면, 헤드 마운티드 디스플레이(100)는 유선/무선 통신을 위한 통신 모듈, 데이터를 입력/출력할 수 있는 입출력 포트, 사용자 입력을 수신할 수 있는 입력 모듈 등을 포함할 수 있다.
도 3을 참조하여, 헤드 마운티드 디스플레이(100)의 동작 방법에 대해 설명한다.
도 3은 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이의 동작 방법에 대한 흐름도이다.
도 3을 참조하면, 헤드 마운티드 디스플레이(100)는 헤드 마운티드 디스플레이(100)를 착용한 사용자의 눈, 머리 중 적어도 하나의 움직임을 트래킹할 수 있다(S110).
예를 들면, 헤드 마운티드 디스플레이(100)의 트래킹 모듈(170)은 헤드 마운티드 디스플레이(100)를 착용한 사용자의 눈, 머리 중 적어도 하나의 움직임을 센싱할 수 있다.
일 실시예로, 아이 트래킹 모듈(172)은 사용자의 눈의 이동, 시선 이동을 트래킹할 수 있다.
다른 실시예로, 헤드 트래킹 모듈(174)은 사용자의 머리 움직임을 트래킹할 수 있다.
또 다른 실시예로, 아이 트래킹 모듈(172) 및 헤드 트래킹 모듈(174) 각각은 사용자의 눈의 이동, 시선 이동 및 머리 움직임을 각각 트래킹할 수 있다.
이에 따라, 헤드 마운티드 디스플레이(100)는 센싱된 사용자의 눈, 머리 중 적어도 하나의 움직임을 기초로, 사용자의 움직임을 트래킹할 수 있을 뿐만 아니라 출력되는 영상에서 사용자가 바라보는 위치도 판단할 수 있다.
헤드 마운티드 디스플레이(100)는 트래킹된 움직임을 기초로, 출력될 영상의 시야각을 계산할 수 있다(S130).
구체적으로, 헤드 마운티드 디스플레이(100)의 컨트롤러(150)는 트래킹 모듈(170)이 트래킹한 사용자 움직임을 기초로, 디스플레이(110)에 출력될 영상의 시야각(Field of View)를 계산할 수 있다.
예를 들면, 컨트롤러(150)는 트래킹된 움직임에 비례하여 시야각을 조절하도록 출력될 영상의 시야각을 계산할 수 있다. 구체적으로, 컨트롤러(150)는 트래킹된 사용자의 눈, 머리 중 적어도 하나의 움직임에 비례하여, 출력될 영상의 시야각을 조절하도록, 출력될 영상의 시야각을 계산할 수 있다.
이에 대해 도 4를 참조하여 설명한다.
도 4는 본 발명의 다양한 실시예에 따른 시야각 조절에 대한 예시도이다.
도 4를 참조하면, 컨트롤러(150)는 트래킹된 움직임이 많을수록 시야각(FoV)를 좁게 조절하도록 계산할 수 있고, 트래킹된 움직임이 적을수록 시야각(FoV)이 넓게 조절하도록 계산할 수 있다. 그래서 후술할 영상 출력 시, 헤드 마운티드 디스플레이(100)는 사용자 움직임이 많으면 시야각이 좁은 영상을 출력할 수 있고, 사용자 움직임이 적으면 시야각이 넓은 영상을 출력할 수 있다.
컨트롤러(150)는 디스플레이(110)에 출력되고 있는 영상의 시야각에 따라, 출력될 영상의 시야각을 계산할 수 있다.
예를 들면, 컨트롤러(150)는 최대 시야각과 최소 시야각의 범위 이내에서만, 출력될 영상의 시야각을 계산할 수 있다.
일 실시예로, 컨트롤러(150)는 최대 시야각 96도에서 최소 시야각 29도 사이에서만, 출력될 영상의 시야각을 계산할 수 있다. 이에 따라, 컨트롤러(150)는 트래킹된 움직임을 기초로, 최대 시야각과 최소 시야각 이내에서만, 출력될 영상의 시야각을 계산할 수 있다.
컨트롤러(150)는 디스플레이(110)에 출력되고 있는 영상의 시야각에 따라, 움직임에 따라 출력될 영상의 시야각이 변화하는 변화량을 조절할 수도 있다.
구체적으로, 컨트롤러(150)는 헤드 마운티드 디스플레이(100)를 착용한 사용자의 최대 시야각과 주변시(peripheral vision)에 해당하는 시야각, 예를 들면 제1 시야각까지의 범위에서는, 움직임에 따라 출력될 영상의 시야각이 제1 변화량으로 변화하도록 시야각을 계산할 수 있다. 컨트롤러(150)는 제1 시야각부터 제2 시야각까지의 범위에서는, 움직임에 따라 출력될 영상의 시야각이 제2 변화량으로 변화하도록 시야각을 계산할 수 있다. 여기서 제2 시야각은 제1 시야각보다는 좁고, 최소 시야각보다는 넓은 시야각일 수 있고, 제2 변화량은 제1 변화량보다는 적은 변화량일 수 있다. 컨트롤러(150)는 제2 시야각부터 최소 시야각까지의 범위에서는, 움직임에 따라 출력될 영상의 시야각이 제3 변화량으로 변화하도록 시야각을 계산할 수 있다. 여기서 제3 변화량은 제2 변화량보다 적은 변화량일 수 있다.
상술한 변화량에 대한 일 실시예로, 컨트롤러(150)는 최대 시야각 96도에서 시야각 48도 사이의 구간에서, 1배율로 시야각을 조절(확대/축소)하도록 시야각을 계산할 수 있다. 컨트롤러(150)는 시야각 48도에서 시야각 29도 사이의 구간에서, 0.5배율로 시야각을 조절(확대/축소)하도록 시야각을 계산할 수 있다. 컨트롤러(150)는 시야각이 96도보다 크거나 29도보다 작은 구간에서는 시야각을 변화하지 않도록 계산할 수 있다.
상술한 것과 같이, 헤드 마운티드 디스플레이(100)는 트래킹된 움직임에 따라 출력될 영상의 시야각을 계산할 수 있고, 출력되고 있는 영상의 구간에 따라 계산되는 시야각의 배율, 변화량을 다르게 조절할 수 있다. 그래서 헤드 마운티드 디스플레이(100)는 사용자의 시야각 인지가 잘되는 구간에서는 느리게 시야각이 변화하도록 하고, 사용자의 시야각 인지가 잘되지 않는 구간에서는 빠르게 시야각이 변화하도록 할 수 있다. 이에 따라, 헤드 마운티드 디스플레이(100)의 사용자가 느끼는 이질감을 최소화하고, 멀미를 최소화할 수 있을 뿐만 아니라, 최적의 시야각을 유지하도록 할 수 있다.
한편, 상술한 컨트롤러(150)의 시야각 계산을 수식으로 설명하면, 아래의 수식들로 표현할 수 있다.
먼저, 컨트롤러(150)가 계산하는 시야각은 아래 수식으로 표현할 수 있다.
FoV=FoV'+delta(Time)/Ctime-Crate
여기서 FoV는 계산되는 시야각이고, FoV'는 이전 시야각(출력되고 있는 시야각)이며, Ctime은 상수이고, Crate은 시야각 변화량이다.
Crate은 아래와 같이 표현할 수 있다.
Crate=Abs(angularVelocity/Cangle)+Abs(overallSpeed/Cspeed)
여기서 angularVelocity는 머리 돌아가는 속도와 관련되고, overallSpeed는 움직이는 속도와 관련된 수치이다.
또한, 상술한 것과 같이 시야각 구간에 따른 변화량, 배율은 아래와 같이 표현할 수 있다.
Crate=0: when [Anglemax<FoV] or [FoV<Anglemin]
Crate= Crate*1: when [Anglemid<FoV<Anglemax]
Crate= Crate*0.5: when [Anglemin<FoV<48degree]
여기서 Anglemax는 최대 시야각이고, Anglemin는 최소 시야각이다.
그리고, Anglemax, Anglemid, Anglemin은 각각은 아래와 같이 정의할 수 있다.
Anglemax=90% of MAX FoV of HMD
Anglemid=60% of MAX FoV of HMD
Anglemin=30% of MAX FoV of HMD
상술한 수식 및 설명에서, 구간에 따라 Crate에 적용되는 배율, 변화량, 시야각 구간은 임의의 수치로, 사용 환경, 설계자의 선택, 설정 등에 따라 변경될 수 있다.
다시 도 3을 참조한다.
헤드 마운티드 디스플레이(100)는 계산된 시야각으로 영상을 출력할 수 있다(S150).
예를 들면, 컨트롤러(150)는 계산된 시야각으로 영상을 디스플레이(110)에 출력할 수 있다.
헤드 마운티드 디스플레이(100)는 디스플레이(110)의 중심 또는 사용자의 시선의 중심을 기준으로, 계산된 시야각을 적용한 영상을 출력할 수 있다.
일 실시예로, 컨트롤러(150)는 디스플레이(110)의 중심을 기준으로, 계산된 시야각이 적용된 영상을 디스플레이(110)에 출력할 수 있다.
다른 실시예로, 컨트롤러(150)는 트래킹된 사용자 시선을 기초로, 사용자 시선의 중심을 기준으로, 계산된 시야각이 적용된 영상을 디스플레이(110)에 출력할 수 있다.
이에 대해 도 5를 참조하여 설명한다.
도 5는 본 발명의 다양한 실시예에 따른 시야각 조절된 영상에 대한 예시도이다.
도 5(a)를 참조하면, 컨트롤러(150)는 디스플레이(110)의 중심을 기준으로 시야각을 조절한 영상을 출력할 수 있다.
도 5(b)를 참조하면, 컨트롤러(150)는 사용자 시선의 중심, 우측 상단을 기준으로 시야각을 조절한 영상을 출력할 수 있다.
도 5(c)를 참조하면, 컨트롤러(150)는 사용자 시선의 중심, 좌측 하단을 기준으로 시야각을 조절한 영상을 출력할 수 있다.
이와 같이, 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이(100)는 디스플레이(110)의 화면 중심 또는 사용자 시선을 중심으로 시야각이 조절된 영상을 출력할 수 있다.
헤드 마운티드 디스플레이(100)는 출력될 영상에 조절된 시야각이 적용된 영상을 디스플레이(110)에 출력할 수 있고, 출력될 영상과 다른, 조절된 시야각에 따른 리스트릭터 레이어를 생성하고, 생성된 레이어를 영상 위에 출력할 수도 있다. 또한, 헤드 마운티드 디스플레이(100)는 물리적인 조리개 구성을 포함하여, 물리적인 구성이 디스플레이(110)의 시야각을 조절하도록 제어할 수도 있다.
또한, 헤드 마운티드 디스플레이(100)는 시야각 조절에 따른 영상의 그레이 영역의 넓이를 조절되는 시야각에 따라 조절할 수도 있다. 여기서 그레이 영역은 시야각 조절에 따라 검게 표시되는 영역과 영상이 표시되는 영역 사이의 회색으로 표시되는 영역을 의미할 수 있다. 그리고 헤드 마운티드 디스플레이(100)는 시야각 조절에 따라 그레이 영역의 투명도를 조절하여 표시할 수도 있다.
다양한 실시예에 따른 헤드 마운티드 디스플레이(100)는 출력되는 영상과 관련된 정보를 더 고려하여, 출력될 영상의 시야각을 조절할 수 있다. 이에 대해 도 6을 참조하여 설명한다.
도 6은 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이의 동작 방법에 대한 흐름도이다.
도 6을 참조하면, 헤드 마운티드 디스플레이(100)는 헤드 마운티드 디스플레이(100)를 착용한 사용자의 눈, 머리 중 적어도 하나의 움직임을 트래킹할 수 있다(S210).
헤드 마운티드 디스플레이(100)의 움직임 트래킹에 대해서는 상술한 바 있어 자세한 설명은 생략한다.
헤드 마운티드 디스플레이(100)는 출력될 영상에 대한 영상 정보를 판단할 수 있다(S220).
여기서 영상 정보는 영상을 처리하기 위한 정보 및 영상 품질에 대한 정보를 포함할 수 있다.
헤드 마운티드 디스플레이(100)의 컨트롤러(150)는 출력될 영상의 영상 처리와 관련된 정보, 출력될 영상 자체에 대한 정보 등을 판단할 수 있다. 예를 들면, 헤드 마운티드 디스플레이(100)의 컨트롤러(150)는 출력될 영상을 처리하기 위한 처리 능력과 관련된 정보를 판단할 수 있고, 출력된 영상 자체의 품질 정보를 판단할 수 있다.
헤드 마운티드 디스플레이(100)는 트래킹된 움직임 및 판단된 영상 정보를 기초로, 출력될 영상의 시야각을 계산할 수 있다(S230).
예를 들면, 컨트롤러(150)는 트래킹된 움직임 및 판단된 영상 정보를 기초로, 출력될 영상의 시야각을 계산할 수 있다.
구체적으로, 컨트롤러(150)는 상술한 바와 같이, 트래킹된 움직임뿐만 아니라, 판단된 영상 정보를 더 고려하여, 출력될 영상의 시야각을 계산할 수 있다. 이에 따라, 컨트롤러(150)는 출력될 영상을 처리하기 위한 헤드 마운티드 디스플레이(100)의 리소스를 고려하여, 출력될 영상의 시야각을 계산할 수 있다. 그리고 컨트롤러(150)는 상술한 시야각 계산 수식에, 영상 정보와 관련된 요소를 더 포함하여 계산할 수 있다.
헤드 마운티드 디스플레이(100)는 계산된 시야각으로 영상을 출력할 수 있다(S150).
헤드 마운티드 디스플레이(100)의 시야각 조절된 영상 출력에 대한 내용은 상술한 바 있어 자세한 설명은 생략한다.
이와 같이, 본 발명의 다양한 실시예에 따른 헤드 마운티드 디스플레이 및 그 동작 방법은 출력되는 영상 및 사용자의 움직임에 따라 출력되는 영상의 시야각을 조절할 수 있어서, 사용자가 느끼는 멀미를 감소시킬 수 있다. 그래서 헤드 마운티드 디스플레이를 사용하는 사용자에게 보다 나은 사용자 경험(User Experience)를 제공할 수 있다. 특히, 가상현실을 출력하는 헤드 마운티드 디스플레이를 사용하는 사용자에게 보다 나은 체험 환경을 제공할 수 있어서, 가상멀미에 취약한 사용자들에게 가상현실 체험 기회를 더욱 많이 제공할 수 있다. 그래서 본 발명은 가상현실 사용자의 증가와 가상현실 관련 산업 발전에 도움을 줄 수 있을 것으로 예상된다.
이상, 본 발명의 기술적 사상을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 발명의 기술적 사상은 상기 실시예들에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.
100: 헤드 마운티드 디스플레이
110: 디스플레이
130: 메모리
150: 컨트롤러
170: 트래킹 모듈
172: 아이 트래킹 모듈
174: 헤드 트래킹 모듈
200: 영상
250: 리스트릭터

Claims (15)

  1. 사용자의 눈의 움직임과 상기 사용자의 머리의 움직임 각각을 트래킹하는 단계;
    출력되는 영상의 시야각을 기초로, 트래킹된 상기 사용자의 상기 머리의 움직임에 따라 계산될 시야각의 변화량을 조절하는 단계;
    상기 조절된 변화량을 기초로, 트래킹된 상기 사용자의 상기 머리의 움직임에 따라 출력될 영상의 출력 범위에 대응하는 시야각을 계산하는 단계;및
    상기 계산된 시야각에 따라 상기 영상의 전체 영역 중 일부 영역만을 출력하되, 트래킹된 상기 사용자의 상기 눈의 움직임에 따라 상기 사용자의 시선의 중심을 기준으로 상기 영상의 전체 영역 중 상기 일부 영역을 출력하는 단계를 포함하는,
    헤드 마운티드 디스플레이 동작 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 시야각을 계산하는 단계는
    상기 사용자의 최대 시야각과 최소 시야각 이내에서, 상기 시야각을 계산하는 단계를 포함하는
    헤드 마운티드 디스플레이 동작 방법.
  5. 제1항에 있어서,
    상기 변화량을 조절하는 단계는
    상기 사용자의 최대 시야각에서 제1 시야각 범위 내에서는, 상기 시야각이 제1 변화량으로 변화하도록 상기 변화량을 조절하는 단계를 포함하는
    헤드 마운티드 디스플레이 동작 방법.
  6. 제5항에 있어서,
    상기 변화량을 조절하는 단계는
    상기 제1 시야각에서 상기 제1 시야각보다 좁은 제2 시야각 범위 내에서는, 상기 시야각이, 상기 제1 변화량보다 적은 제2 변화량으로 변화하도록 상기 변화량을 조절하는 단계를 포함하는
    헤드 마운티드 디스플레이 동작 방법.
  7. 제6항에 있어서,
    상기 변화량을 조절하는 단계는
    상기 제2 시야각에서 상기 사용자의 최소 시야각 범위 내에서는, 상기 시야각이, 상기 제2 변화량보다 적은 제3 변화량으로 변화하도록 상기 변화량을 조절하는 단계를 포함하는
    헤드 마운티드 디스플레이 동작 방법.
  8. 디스플레이;
    사용자의 눈의 움직임과 상기 사용자의 머리의 움직임 각각을 트래킹하는 트래킹 모듈; 및
    상기 디스플레이에 출력되는 영상의 시야각을 기초로, 상기 트래킹된 상기 사용자의 상기 머리의 움직임에 따라 계산될 시야각의 변화량을 조절하고,
    상기 조절된 변화량을 기초로, 트래킹된 상기 사용자의 상기 머리의 움직임에 따라 출력될 영상의 출력 범위에 대응하는 시야각을 계산하고,
    상기 계산된 시야각에 따라 상기 영상의 전체 영역 중 일부 영역만을 상기 디스플레이에 출력하되, 트래킹된 상기 사용자의 상기 눈의 움직임에 따라 상기 사용자의 시선의 중심을 기준으로 상기 영상의 전체 영역 중 상기 일부 영역을 상기 디스플레이에 출력하도록 제어하는 컨트롤러를 포함하는,
    헤드 마운티드 디스플레이.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 컨트롤러는
    상기 사용자의 최대 시야각과 최소 시야각 이내에서, 상기 시야각을 계산하는
    헤드 마운티드 디스플레이.
  12. 제8항에 있어서,
    상기 컨트롤러는
    상기 사용자의 최대 시야각에서 제1 시야각 범위 내에서는, 상기 시야각이 제1 변화량으로 변화하도록 상기 변화량을 조절하는
    헤드 마운티드 디스플레이.
  13. 제12항에 있어서,
    상기 컨트롤러는
    상기 제1 시야각에서 상기 제1 시야각보다 좁은 제2 시야각 범위 내에서는, 상기 시야각이, 상기 제1 변화량보다 적은 제2 변화량으로 변화하도록 상기 변화량을 조절하는
    헤드 마운티드 디스플레이.
  14. 제13항에 있어서,
    상기 컨트롤러는
    상기 제2 시야각에서 상기 사용자의 최소 시야각 범위 내에서는, 상기 시야각이, 상기 제2 변화량보다 적은 제3 변화량으로 변화하도록 상기 변화량을 조절하는
    헤드 마운티드 디스플레이.
  15. 적어도 하나의 프로세서; 및
    상기 프로세서에 전기적으로 연결된 메모리를 포함하고,
    상기 메모리는, 상기 프로세서가 실행 시에,
    사용자의 눈의 움직임과 상기 사용자의 머리의 움직임 각각을 트래킹하고,
    출력되는 영상의 시야각을 기초로, 트래킹된 상기 사용자의 상기 머리의 움직임에 따라 계산될 시야각의 변화량을 조절하고,
    상기 조절된 변화량을 기초로, 트래킹된 상기 사용자의 상기 머리의 움직임에 따라 출력될 영상의 출력 범위에 대응하는 시야각을 계산하고,
    상기 계산된 시야각에 따라 상기 영상의 전체 영역 중 일부 영역만을 출력하되, 트래킹된 상기 사용자의 상기 눈의 움직임에 따라 상기 사용자의 시선의 중심을 기준으로 상기 영상의 전체 영역 중 상기 일부 영역을 출력하도록 하는 인스트럭션들을 저장하는,
    전자 장치.
KR1020170130795A 2017-10-11 2017-10-11 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법 KR101951406B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170130795A KR101951406B1 (ko) 2017-10-11 2017-10-11 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
PCT/KR2018/011650 WO2019074228A2 (ko) 2017-10-11 2018-10-01 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170130795A KR101951406B1 (ko) 2017-10-11 2017-10-11 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR101951406B1 true KR101951406B1 (ko) 2019-02-22

Family

ID=65584829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170130795A KR101951406B1 (ko) 2017-10-11 2017-10-11 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR101951406B1 (ko)
WO (1) WO2019074228A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220033223A (ko) * 2020-09-09 2022-03-16 한양대학교 산학협력단 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12044845B2 (en) 2021-03-29 2024-07-23 Tencent America LLC Towards subsiding motion sickness for viewport sharing for teleconferencing and telepresence for remote terminals

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138701A (ja) * 2016-02-02 2017-08-10 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08220470A (ja) * 1995-02-20 1996-08-30 Fujitsu General Ltd ヘッドマウントディスプレイ装置
CA2928248C (en) * 2014-01-20 2023-03-21 Sony Corporation Image display device and image display method, image output device and image output method, and image display system
KR101586195B1 (ko) * 2014-04-09 2016-01-20 전자부품연구원 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법
KR101663414B1 (ko) * 2015-03-10 2016-10-06 한림대학교 산학협력단 가상현실 환경에서 사이버 멀미 경감을 위한 머리 장착형 사이버 멀미 경감 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138701A (ja) * 2016-02-02 2017-08-10 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220033223A (ko) * 2020-09-09 2022-03-16 한양대학교 산학협력단 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법
KR102524097B1 (ko) * 2020-09-09 2023-04-21 한양대학교 산학협력단 안구 기반 개인화 헤드 마운티드 디스플레이 장치 및 그 제어 방법

Also Published As

Publication number Publication date
WO2019074228A3 (ko) 2019-06-06
WO2019074228A2 (ko) 2019-04-18

Similar Documents

Publication Publication Date Title
US12008151B2 (en) Tracking and drift correction
US11995285B2 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
US20210350762A1 (en) Image processing device and image processing method
US20160238852A1 (en) Head mounted display performing post render processing
US20130326364A1 (en) Position relative hologram interactions
US11733956B2 (en) Display device sharing and interactivity
US11002959B2 (en) Head mount display device and driving method thereof
CN110300994A (zh) 图像处理装置、图像处理方法以及图像系统
CN112445339A (zh) 基于注视和扫视的图形操纵
KR102521557B1 (ko) 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법
WO2021061479A1 (en) Rendering computer-generated reality text
KR101951406B1 (ko) 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
JP2017021824A (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
WO2020105269A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11836842B2 (en) Moving an avatar based on real-world data
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
KR102650572B1 (ko) 전자 장치 및 그의 제어 방법
US11422622B2 (en) Electronic device and operating method thereof
CN114253389B (zh) 整合动作感测器的增强现实系统与增强现实显示方法
US11763517B1 (en) Method and device for visualizing sensory perception
US20240070931A1 (en) Distributed Content Rendering
JP7057197B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
US20240112303A1 (en) Context-Based Selection of Perspective Correction Operations

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant