KR20220030392A - 헤드 마운트 디스플레이 장치 및 이의 구동 방법 - Google Patents

헤드 마운트 디스플레이 장치 및 이의 구동 방법 Download PDF

Info

Publication number
KR20220030392A
KR20220030392A KR1020200109692A KR20200109692A KR20220030392A KR 20220030392 A KR20220030392 A KR 20220030392A KR 1020200109692 A KR1020200109692 A KR 1020200109692A KR 20200109692 A KR20200109692 A KR 20200109692A KR 20220030392 A KR20220030392 A KR 20220030392A
Authority
KR
South Korea
Prior art keywords
luminance
image
adaptive
uncomfortable
equation
Prior art date
Application number
KR1020200109692A
Other languages
English (en)
Inventor
서영준
김효선
곽영신
하혜영
Original Assignee
삼성디스플레이 주식회사
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사, 울산과학기술원 filed Critical 삼성디스플레이 주식회사
Priority to KR1020200109692A priority Critical patent/KR20220030392A/ko
Priority to US17/204,842 priority patent/US11508336B2/en
Priority to CN202110444112.6A priority patent/CN114120934A/zh
Publication of KR20220030392A publication Critical patent/KR20220030392A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본원 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치는 영상을 표시하는 표시부, 제1 영상을 일정 시야각을 기준으로 스캔하여 제1 영상의 제1 적응 휘도를 산출하는 적응 휘도 연산부, 및 제1 적응 휘도와 사용자가 불편을 인지하는 제1 불편 휘도의 관계를 모델링한 수학식 1, "Ld=α*Laβ"(단, La는 시청 영상 휘도, Ld는 불편 휘도, α는 제1 계수, β는 제2 계수)에 기초하여, 제1 적응 휘도로부터 제1 불편 휘도를 산출하는 불편 휘도 연산부를 포함하는 연산부, 및 제1 불편 휘도 이하로 표시부의 디밍 레벨을 설정하는 휘도 제어부를 포함한다.

Description

헤드 마운트 디스플레이 장치 및 이의 구동 방법{HEAD MOUNT DISPLAY DEVICE AND DRIVING METHOD OF THE SAME}
본 발명은 헤드 마운트 디스플레이 장치 및 이의 구동 방법에 관한 것이다.
최근, 사용자의 헤드부 부분에 장착하여 영상을 시청하는 표시 장치로, 헤드 마운트 디스플레이 장치(Head mounted display, HMD)가 제공되고 있다. 헤드 마운트 디스플레이 장치는 좌우안마다 광학 유닛을 가지며, 또한 헤드폰과 병용하여 시각 및 청각을 제어할 수 있도록 구성될 수 있다. 헤드부에 장착하였을 때 외계(外界)를 완전히 차단하도록 구성하면, 시청시의 가상 현실감이 증폭된다.
헤드 마운트 디스플레이 장치의 좌우안의 표시부에는, 예를 들어 액정이나 유기 EL(Electro-Luminescence) 소자 등을 포함하는 표시 패널을 사용할 수 있다. 헤드 마운트 디스플레이 장치는 사용자의 헤드부에 장착되므로, 사용자의 눈에 근접하여 동작한다. 최근에는 헤드 마운트 디스플레이 장치를 사용하는 사용자의 눈의 피로를 줄이기 위한 다양한 방법이 연구되고 있다.
사용자의 눈의 피로를 줄이기 위한 방법으로서, 사용자가 헤드 마운트 디스플레이를 장착시의 주변 조도에 대응하여 초기 영상 휘도를 산출하고, 일정 적응기간 동안, 초기 영상 휘도로부터 사용자가 눈의 피로를 느끼지 않는 시청 영상 휘도로 서서히 영상의 휘도를 변경하는 방법이 사용된다.
다만, 사용자가 눈의 피로를 느끼지 않는 시청 영상 휘도는 영상의 휘도 변화에 대응하여 변동될 수 있다.
본 발명이 해결하고자 하는 과제는 영상의 휘도 변화에 대응하여 사용자가 눈의 피로를 느끼지 않도록 디밍 레벨을 가변할 수 있는 헤드 마운트 디스플레이 장치 및 이의 구동방법을 제공하는 것이다.
다만, 본 발명의 목적은 상술한 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상기 과제를 해결하기 위한 본원 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치는 영상을 표시하는 표시부, 제1 영상을 일정 시야각을 기준으로 스캔하여 상기 제1 영상의 제1 적응 휘도를 산출하는 적응 휘도 연산부, 및 상기 제1 적응 휘도와 사용자가 불편을 인지하는 제1 불편 휘도의 관계를 모델링한 수학식 1, “Ld=α*Laβ“(단, La는 시청 영상 휘도, Ld는 불편 휘도, α는 제1 계수, β는 제2 계수) 에 기초하여, 상기 제1 적응 휘도로부터 상기 제1 불편 휘도를 산출하는 불편 휘도 연산부를 포함하는 연산부, 및 상기 제1 불편 휘도 이하로 상기 표시부의 디밍 레벨을 설정하는 휘도 제어부를 포함한다.
상기 제1 적응 휘도는 상기 제1 영상을 시야각 5도를 기준으로 하는 Peak White with LPF(Low Pass Filter)를 통해 산출할 수 있다.
상기 제1 불편 휘도는, 수학식 2, "Ld1=(17.2±0.17)*La1(0.417±0.041)"(단, La1는 제1 적응 휘도, Ld1는 제1 불편 휘도)에 기초하여 산출되는 것을 특징으로 할 수 있다.
상기 연산부는 상기 제1 영상과 상이한 제2 영상의 수신 여부를 판단하는 프레임 비교부를 더 포함할 수 있다.
상기 연산부는 상기 프레임 비교부에 의해 상기 제2 영상을 수신한 것으로 판단되는 경우 상기 제2 영상을 일정 시야각을 기준으로 스캔하여 상기 제2 영상의 제2 적응 휘도를 산출할 수 있다.
상기 제2 적응 휘도는 상기 제2 영상을 시야각 5도를 기준으로 하는 Peak White with LPF(Low Pass Filter)를 통해 산출할 수 있다.
상기 연산부는 일정 조건에 따라 상기 제1 불편 휘도를 제2 불편 휘도로 변경할지 여부를 판단하는 불편 휘도 변경 판단부를 더 포함할 수 있다.
상기 일정 조건은 상기 제2 적응 휘도가 상기 제1 적응 휘도에 비해 20% 이상 변경될 수 있다.
상기 일정 조건은 상기 제1 적응 휘도에 비해 20% 이상 변경된 상기 제2 영상이 2초 이상 지속되는 경우일 수 있다.
상기 제2 불편 휘도는, 수학식 3, "Ld2=(17.2±0.17)*La2(0.417±0.041)"(단, La2는 제2 적응 휘도, Ld2는 제2 불편 휘도)에 기초하여 산출되는 것을 특징으로 할 수 있다.
상기 휘도 제어부는 상기 제1 불편 휘도가 상기 제2 불편 휘도로 변경시 상기 제2 불편 휘도 이하로 상기 표시부의 디밍 레벨을 재 설정할 수 있다.
상기 과제를 해결하기 위한 본원 발명의 헤드 마운트 디스플레이 장치의 구동 방법은 제1 영상을 일정 시야각을 기준으로 스캔하여 상기 제1 영상의 제1 적응 휘도를 산출하는 단계, 상기 제1 적응 휘도와 사용자가 불편을 인지하는 제1 불편 휘도의 관계를 모델링한 수학식 1,“Ld=α*Laβ“(단, La는 적응 휘도, Ld는 불편 휘도, α는 제1 계수, β는 제2 계수) 에 기초하여, 상기 제1 적응 휘도로부터 상기 제1 불편 휘도를 산출하는 단계, 및 상기 제1 불편 휘도 이하로 디밍 레벨을 설정하는 단계를 포함한다.
상기 제1 적응 휘도를 산출하는 단계는 상기 제1 영상을 시야각 5도를 기준으로 Peak White with LPF(Low Pass Filter)를 통해 산출하는 것을 특징으로 할 수 있다.
상기 제1 불편 휘도는, 수학식 2,"Ld1=(17.2±0.17)*La1(0.417±0.041)"(단, La1은 제1 적응 휘도, Ld1은 제1 불편 휘도)기초하여 산출되는 것을 특징으로 할 수 있다.
상기 제1 영상과 상이한 제2 영상의 수신 여부를 판단하는 단계를 더 포함할 수 있다.
상기 제2 영상을 수신한 것으로 판단되는 경우, 상기 제2 영상을 일정 시야각을 기준으로 스캔하여 상기 제2 영상의 제2 적응 휘도를 산출하는 단계를 포함할 수 있다.
상기 제2 적응 휘도는 상기 제2 영상을 시야각 5도를 기준으로 Peak White with LPF(Low Pass Filter)를 통해 산출하는 것을 특징으로 할 수 있다.
상기 제2 적응 휘도가 상기 제1 적응 휘도에 비해 20% 이상 변경되고 2초 이상 지속되는 경우, 상기 제1 불편 휘도를 제2 불편 휘도로 변경하는 단계를 더 포함할 수 있다.
상기 제2 불편 휘도는, 수학식 3, "Ld2=(17.2±0.17)*La2(0.417±0.041)"(단, La2는 제2 적응 휘도, Ld2는 제2 불편 휘도) 기초하여 산출되는 것을 특징으로 할 수 있다.
상기 제1 불편 휘도가 상기 제2 불편 휘도로 변경시 상기 제2 불편 휘도 이하로 상기 제2 영상의 디밍 레벨을 재 설정하는 단계를 더 포함할 수 있다.
본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치 및 이의 구동 방법은, 영상의 휘도 변화에 대응하여 사용자가 눈의 피로를 느끼지 않도록 디밍 레벨을 가변할 수 있다.
다만, 본 발명의 효과는 상술한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시예를 나타내는 헤드 마운트 디스플레이 장치를 나타내는 블록도이다.
도 2는 도 1의 헤드 마운트 디스플레이 장치가 구현되는 일 예를 나타내는 도면이다.
도 3은 본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치를 나타내는 블록도이다.
도 4는 초기 영상 휘도 및 시청 영상 휘도를 설명하기 위한 그래프이다.
도 5는 본 발명의 일 실시예에 따른 연산부 구성을 개략적으로 도시한 블록도이다.
도 6 및 도 7은 도 5의 타이밍 제어부 및 연산부의 동작을 설명하기 위한 블록도이다.
도 8a는 시야각에 따른 표준 오차를 나타내는 그래프이다. 도 8b는 도 8a의 시야각에 대응되는 화소 사이즈에 따른 표준 오차를 나타내는 그래프이다.
도 9a 내지 도 9b는 복잡도 상이한 영상들에 대한 사용자의 반응을 불편 휘도 레벨로 나타낸 그래프이다.
도 10은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 구동 방법을 나타내는 순서도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예를 나타내는 헤드 마운트 디스플레이 장치를 나타내는 블록도이다.
도 1을 참조하면, 헤드 마운트 디스플레이 장치(HMD)는 프로세서(PRC), 메모리 장치(MEM), 입출력 장치(IO), 파워 서플라이(PS), 센싱 장치(SD) 및 표시 모듈(DM)를 포함할 수 있다. 헤드 마운트 디스플레이 장치(HMD)의 구성 요소들은 도 1에 한정되지 않으며, 도 1에 도시된 구성 요소들보다 많거나 적은 구성 요소들을 가질 수 있다.
프로세서(PRC)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 프로세서(PRC)는 헤드 마운트 디스플레이 장치(HMD)의 전반적인 동작을 제어할 수 있다. 프로세서(PRC)는 입출력 장치(IO)를 통해 입력되는 신호, 데이터 정보 등을 처리하거나, 메모리 장치(MEM)에 저장된 어플리케이션 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 일 실시예에서, 프로세서(PRC)는 마이크로프로세서(microprocessor), 중앙 처리 장치(CPU), 어플리케이션 프로세서(Application Processor; AP), 커뮤니케이션 프로세서(Communication Processor; CP) 등일 수 있다. 프로세서(PRC)는 어드레스 버스(address bus), 제어버스(control bus) 및 데이터 버스(data bus) 등을 통하여 다른 구성 요소들에 연결될 수 있다. 또한, 프로세서(PRC)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
메모리 장치(MEM)는 전자 기기(HMD)의 동작에 필요한 데이터들을 저장할 수 있다. 메모리 장치(MEM)는 헤드 마운트 디스플레이 장치(HMD)에서 구동되는 다수의 어플리케이션 프로그램, 헤드 마운트 디스플레이 장치(HMD)의 동작을 위한 데이터들, 명령어 등을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 입출력 장치(IO)를 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 예를 들어, 메모리 장치(MEM)는 EPROM, EEPROM, 플래시 메모리, PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) 등과 같은 비휘발성 메모리 장치 및/또는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), 모바일 DRAM 등과 같은 휘발성 메모리 장치를 포함할 수 있다.
입출력 장치(IO)는 영상 신호 입력을 위한 카메라 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 터치키(touch key), 푸시키(push key), 조이스틱, 휠(wheel)키 등) 등을 포함하는 입력 수단 및 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로 음향 출력부, 햅틱 모듈, 광 출력부 등을 포함하는 출력 수단을 포함할 수 있다. 표시 모듈(DM)은 입출력 장치(IO) 내에 구비될 수도 있다.
파워 서플라이(PS)는 헤드 마운트 디스플레이 장치(HMD)의 동작에 필요한 파워를 공급할 수 있다. 파워 서플라이(PS)는 외부의 전원 및 내부의 전원을 인가받아 헤드 마운트 디스플레이 장치(HMD)에 포함된 각각의 구성 요소들에 전원을 공급할 수 있다. 파워 서플라이(PS)는 배터리를 포함하며, 내장형 배터리 또는 교체 가능한 배터리로 구현될 수 있다.
센싱 장치(SD)는 헤드 마운트 디스플레이 장치(HMD)를 둘러싼 주변 환경 정보, 사용자 정보 등을 센싱하기 위한 적어도 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱 장치(SD)는 속도 센서, 가속도 센서, 중력 센서, 조도 센서, 모션 센서, 지문 인식 센서, 광 센서, 초음파 센서, 열 감지 센서 등을 포함할 수 있다.
표시 모듈(DM)은 상기 버스들 또는 다른 통신 링크를 통해 다른 구성 요소들에 연결될 수 있다. 표시 모듈(DM)은 헤드 마운트 디스플레이 장치(HMD)에서 처리되는 정보를 표시할 수 있다.
도 2는 도 1의 헤드 마운트 디스플레이 장치가 구현되는 일 예를 나타내는 도면이다.
도 2를 참조하면, 헤드 마운트 디스플레이 장치(HMD)는 표시 모듈(DM), 하우징(HS) 및 장착부(MT)를 포함할 수 있다. 헤드 마운트 디스플레이 장치(HMD)는 사용자의 헤드부에 장착되어 사용자에게 영상 정보를 제공할 수 있다. 표시 모듈(DM)은 영상 신호에 기초하여 영상을 표시할 수 있다.
표시 모듈(DM)은 사용자의 좌안 및 우안에 각각 영상을 제공할 수 있다. 사용자의 좌안에 대응하는 좌안 영상 및 사용자의 우안에 대응하는 우안 영상은 동일하거나, 상이할 수 있다. 헤드 마운트 디스플레이 장치(HMD)는 표시 모듈(DM)를 통하여 2D, 3D, 가상현실, 360도 파노라마 영상 등을 제공할 수 있다. 표시 모듈(DM)은 액정 표시 장치(Liquid Crystal Display; LCD), 유기 발광 표시 장치(Organic Light Emitting Display; OLED), 무기 발광 표시 장치, 플렉시블(flexible) 표시 장치 중에서 적어도 하나를 포함할 수 있다. 표시 모듈(DM)은 하우징(HS)에 내장되거나, 하우징(HS)과 결합될 수 있다. 표시 모듈(DM)은 하우징(HS)에 구비되는 인터페이스부 등을 통해 명령을 수신할 수 있다.
하우징(HS)은 사용자의 눈의 전면에 위치할 수 있다. 하우징(HS)에는 헤드 마운트 디스플레이 장치(HMD)를 동작시키기 위한 상기 구성 요소들이 수납될 수 있다. 또한, 하우징(HS)에는 무선 통신부, 인터페이스부 등이 위치할 수 있다. 무선 통신부는 외부 단말기와 무선 통신을 수행하여 외부 단말기로부터 영상 신호를 수신할 수 있다. 예를 들어, 무선통신부는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), UWB(Ultra Wideband) 등을 이용하여 외부 단말기와 통신할 수 있다. 인터페이스부는 헤드 마운트 디스플레이 장치(HMD)를 외부 기기와 연결시킬 수 있다. 예를 들어, 헤드 마운트 디스플레이 장치의 인터페이스부는 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O 포트, 이어폰 포트 중 적어도 하나를 포함할 수 있다.
장착부(MT)는 하우징(HS)과 연결되어 헤드 마운트 디스플레이 장치(HMD)를 사용자의 헤드부에 고정시킬 수 있다. 예를 들어, 장착부(MT)는 벨트나 신축성을 갖는 띠 등으로 구현될 수 있다.
도 3은 본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치를 나타내는 블록도이다. 도 4는 초기 영상 휘도 및 시청 영상 휘도를 설명하기 위한 그래프이다.
도 3 및 도 4를 참조하면, 본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치(HMD)의 표시 모듈(DM)은 화소부(110), 타이밍 제어부(140), 데이터 구동부(150) 및 스캔 구동부(160)를 포함할 수 있다.
일 실시예에 따르면, 타이밍 제어부(140)는 연산부(120) 및 휘도 제어부(130)를 포함할 수 있다. 다만, 연산부(120) 및 휘도 제어부(130)는 타이밍 제어부(140) 내에 위치하거나, 타이밍 제어부(140)의 외부에서 타이밍 제어부(140)와 연결될 수 있다.
화소부(110)는 데이터 신호(DS)에 기초하여 영상을 표시할 수 있다. 화소부(110)는 데이터 라인들, 스캔 라인들 및 복수의 화소들을 포함할 수 있다. 예를 들어, 화소부(110)에 포함되는 각각의 화소들은 데이터 라인 및 스캔 라인에 전기적으로 연결된 박막 트랜지스터, 박막 트랜지스터에 연결된 저장 캐패시터, 저장 커패시터에 연결되는 구동 트랜지스터(박막 트랜지스터) 및 구동 트랜지스터에 연결되는 발광 소자를 포함할 수 있다.
표시 모듈(DM)의 경우, 표시 품질을 향상시키기 위해 주변 환경의 조도 등 사용자의 시청 환경에 따라 표시 모듈(DM)의 휘도를 조절할 수 있다. 이 때, 도 1에 도시된 센서 장치(SD)의 조도 센서를 통해 주변 환경의 조도를 감지할 수 있다.
예를 들어, 주변 조도가 높은 야외 환경에서는 표시 모듈(DM)의 휘도를 증가시켜 시인성을 개선할 수 있고, 어두운 실내나 야간에는 표시 모듈(DM)의 휘도를 감소시켜 사용자 눈의 피로도를 감소시킬 수 있다. 헤드 마운트 디스플레이 장치(HMD)의 경우, 사용자가 헤드부에 장착하여 시청하게 되므로 표시 모듈(DM)에 표시되는 영상의 휘도에 따라 사용자가 눈부심, 피로감 등에 민감하게 반응할 수 있다.
타이밍 제어부(140)는 외부로부터 영상 데이터(RGB) 및 제어 신호(CON)를 수신할 수 있다.
타이밍 제어부(140)는 외부 단말기로부터 공급되는 영상 데이터(RGB)에 화질 보정, 얼룩 보정 색 특성 보상(Adaptive Color Correction; ACC) 및/또는 능동 캐패시턴스 보상(Dynamic Capacitance Compensation; DCC) 등을 선택적으로 수행하여 영상 데이터(RGB')를 데이터 구동부(150)로 출력할 수 있다. 또는, 타이밍 제어부(140)는 외부 장치에서 공급되는 영상 데이터(RGB)를 그대로 데이터 구동부(150)에 제공할 수 있다.
제어 신호(CON)는 수평 동기 신호, 수직 동기 신호 및 클럭 신호를 포함할 수 있다. 타이밍 제어부(140)는 수평 동기 신호를 이용하여 수평 개시 신호를 생성할 수 있다. 타이밍 제어부(140)는 수직 동기 신호를 이용하여 수직 개시 신호를 생성할 수 있다. 타이밍 제어부(140)는 클럭 신호를 이용하여 제1 클럭 신호 및 제2 클럭 신호를 생성할 수 있다. 타이밍 제어부(140)는 수직 개시신호 및 제1 클럭 신호를 제1 구동 신호(CTL1)로써 스캔 구동부(160)에 제공할 수 있다. 타이밍 제어부(140)는 수평 개시 신호 및 제2 클럭 신호를 제2 구동 신호(CTL2)로써 데이터 구동부(150)에 공급할 수 있다.
타이밍 제어부(140)는 연산부(120) 및 휘도 제어부(130)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 연산부(120)는 사용자가 헤드 마운트 디스플레이 장치(HMD)를 헤드부에 장착하는 경우, 적응 환경 휘도와 결정 휘도의 관계가 모델링된 아래 수학식 1에 기초하여 영상의 초기 영상 휘도 및 시청 영상 휘도를 연산할 수 있다. 수학식 1은 휘도 변화에 대해 사용자가 불편함을 느끼거나, 적응하지 못하는 불편 한계점(discomfort threshold)에 기초하여 사용자의 눈이 적응한 적응 환경 휘도와 사용자가 불편을 인지하지 못하는 결정 휘도의 관계를 모델링한 식이다.
[수학식 1]
Log(Lth)=c1log(Lae)+c2log(w)+c3 (단, Lth는 결정 휘도, Lae는 적응 환경 휘도, w는 오프셋, c1은 제1 상수, c2는 제2 상수, c3은 제3 상수를 나타냄.)
예를 들어, 연산부(120)는 아래 수학식 2를 이용하여, 사용자가 헤드 마운트 디스플레이 장치(HMD)를 장착한 순간에 주변 조도(Le)를 고려하여 초기 영상 휘도를 산출할 수 있다. 적응 환경 휘도는 이에 한정되는 것은 아니고, 주변 조도(Le) 대신 사용자가 임의로 설정한 휘도(Lu)로 대체할 수 있다. 화소부(110)에 초기 영상 휘도(L1)를 갖는 영상이 표시되는 경우, 사용자는 급격한 휘도 변화로 인한 눈부심 등의 불편함을 느끼지 못할 수 있다.
[수학식 2]
Log(L1)=0.904log(Le)+0.16log(w)+0.07 (단, L1은 초기 영상 휘도, Le는 주변 환경의 조도를 나타냄.)
또한, 연산부(120)는 아래 수학식 3을 이용하여, 산출된 초기 영상 휘도(L1)를 기준으로 시청 영상 휘도(L2)를 산출할 수 있다. 화소부(110)에 시청 영상 휘도(L2)가 표시되는 경우, 사용자는 헤드 마운트 디스플레이 장치(HMD)를 오랜 시간 시청하여도 피로감을 느끼지 않을 수 있다.
[수학식 3]
Log(L2)=0.547log(L1)+0.15log(w)+1.09 (단, L2는 시청 영상 휘도, L1은 초기 영상 휘도를 나타냄.)
도 4에 도시된 바와 같이, 헤드 마운트 디스플레이 장치(HMD)는 적응 시간(ta) 동안 초기 영상 휘도(L1)를 시청 영상 휘도(L2)로 변경할 수 있다. 일 실시예에서, 적응 시간(ta)은 2분 이내일 수 있다.
다시 도 3을 참조하면, 휘도 제어부(130)는 기 설정된 적응(adaptive) 시간 동안 영상의 초기 영상 휘도(L1)를 시청 영상 휘도(L2)로 변경할 수 있다. 타이밍 제어부(140)는 복수의 감마 데이터 세트들을 저장할 수 있다. 이 때, 감마 데이터 세트들은 룩업 테이블(LookUp Table; LUT)로 저장될 수 있다. 타이밍 제어부(140)는 휘도 제어부(130)에서 출력되는 휘도 제어 신호에 기초하여 감마 데이터 세트(G_SET)를 선택하여 출력할 수 있다. 감마 데이터 세트(G_SET)는 감마 전압들을 생성하는 데이터 구동부(150)로 공급되고, 데이터 구동부(150)는 감마 데이터 세트(G_SET)에 기초하여 감마 전압들을 생성할 수 있다.
데이터 구동부(150)는 타이밍 제어부(140)에서 공급되는 감마 데이터 세트(G_SET)에 기초하여 감마 전압들을 생성할 수 있다. 데이터 구동부(150)는 타이밍 제어부(140)로부터 공급되는 제2 구동 신호(CTL2)에 응답하여 데이터 신호(DS)를 출력할 수 있다. 데이터 구동부(150)는 수평 개시 신호 및 제2 클럭 신호에 응답하여 영상 데이터에 상응하는 감마 전압을 데이터 신호(DS)로써 데이터 라인으로 출력할 수 있다.
스캔 구동부(160)는 타이밍 제어부(140)로부터 공급되는 제1 구동 신호(CTL1)에 기초하여 스캔 신호(SS)를 생성할 수 있다. 스캔 구동부(160)는 수직 개시 신호 및 제1 클럭 신호에 응답하여 스캔 신호(SS)를 생성하고, 스캔 신호(SS)를 스캔 라인으로 순차적으로 출력할 수 있다.
화소부(110)에 시청 영상 휘도(L2)로 표시되는 경우, 사용자는 헤드 마운트 디스플레이 장치(HMD)를 오랜 시간 시청하여도 피로감을 느끼지 않을 수 있다. 다만, 사용자가 헤드 마운트 디스플레이 장치(HMD)를 장착한 후, 기 설정된 적응 시간 경과 후에도, 사용자의 눈은 표시 모듈(DM)에 표시되는 영상의 휘도에 대응하여 계속하여 적응 과정을 수행하지만, 시청 영상 휘도(L2)가 고정된 경우, 영상의 갑작스러운 휘도 변경으로 인해 사용자의 눈에 피로가 발생할 수 있다.
본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치(HMD)는 영상의 휘도 변화에 대응하여 표시 모듈(DM)의 디밍 레벨을 재 조정함으로써, 사용자의 눈의 피로도를 감소시키고, 표시 품질을 향상시킬 수 있다. 이하, 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치(HMD) 및 구동 방법에 대해 자세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 연산부 구성을 개략적으로 도시한 블록도이다.
도 5를 참조하면, 연산부(120)는 프레임 비교부(121), 적응 휘도 연산부(122), 불편 휘도 변경 판단부(123) 및 불편 휘도 연산부(124)를 포함할 수 있다.
프레임 비교부(121)는 이전 영상과 상이한 신규 영상이 수신되었는지 여부를 판단할 수 있다. 일 실시예에 따르면, 프레임 비교부(121)는, 영상의 평균 휘도 변화를 기준으로 신규 영상이 수신되었는지 여부를 판단할 수 있다. 예를 들어, 표시 모듈(DM)에 m 프레임 동안 제1 휘도를 갖는 영상이 표시되다가, m 프레임 이후 상기 제1 휘도와 다른 제2 휘도를 갖는 영상이 수신되는 경우, 프레임 비교부(121)는 이전 영상과 상이한 신규 영상이 수신된 것으로 판단할 수 있다. 프레임 비교부(121)는 이전 영상과 상이한 신규 영상이 수신된 것으로 판단되는 경우, 적응 휘도 연산부(122)로 신규한 영상의 적응 휘도(La)를 연산하도록 명령하는 제1 제어 신호(CS1)를 제공할 수 있다.
적응 휘도 연산부(122)는 프레임 비교부(121)로부터 제1 제어 신호(CS1)를 수신하는 경우, 신규 영상의 적응 휘도(La)를 산출하고, 산출된 신규 영상의 적응 휘도(La)를 불편 휘도 변경 판단부(122)에 제공할 수 있다. 일 실시예에 따르면, 적응 휘도 연산부(122)는 신규 영상의 전체 영역을 일정 시야각을 기준으로 스캔하여 신규 영상의 적응 휘도(La)를 산출할 수 있다. 적응 휘도(La)의 산출 방식에 대해서는 이하, 도 6 및 도 7을 통해 자세히 후술한다.
불편 휘도 변경 판단부(123)는 일정 조건에 따라 기 산출된 불편 휘도(Ld)를 변경할지 여부를 판단할 수 있다. 이 때, 불편 휘도(Ld)는 적응 휘도(La)에 적응된 사용자가 불편을 인지하기 시작하는 휘도를 의미한다. 일 실시예에 따르면, 불편 휘도 변경 판단부(123)는 적응 휘도 연산부(122)로부터 수신한 신규 영상의 적응 휘도(La)가 이전 영상의 적응 휘도(La)에 비해 일정 비율 이상 변경되고, 변경된 신규 영상의 적응 영상 휘도를 기 설정된 시간 이상 유지하는 경우, 기 산출된 불편 휘도(Ld)를 변경할 것을 명령하는 제2 제어 신호(CS2)를 불편 휘도 연산부(124)에 제공할 수 있다.
불편 휘도 연산부(124)는 불편 휘도 변경 판단부(123)로부터 제2 제어 신호(CS2)를 수신하는 경우, 신규 영상에 대한 불편 휘도(Ld)를 산출할 수 있다.
일 실시예에 따르면, 불편 휘도 연산부(124)는 적응 휘도(La)와 불편 휘도(Ld)의 관계를 모델링한 아래 수학식 4에 기초하여, 신규 영상의 적응 휘도(La)로부터 불편 휘도(Ld)를 산출할 수 있다. 불편 휘도(Ld)의 산출 방식에 대해서는 이하, 도 6 및 도 7을 통해 자세히 후술한다.
[수학식 4]
Ld=α*Laβ(단, La는 적응 휘도, Ld는 불편 휘도, α는 제1 계수, β는 제2 계수)
도 6 및 도 7은 도 5의 타이밍 제어부 및 연산부의 동작을 설명하기 위한 블록도이다. 이 때, 도 6은 제1 영상(IMG1)을 수신하는 경우를 가정하고, 도 7은 제1 영상(IMG1)과 다른 제2 영상(IMG2)을 수신하는 경우를 가정하고 설명한다. 제1 영상(IMG1)은 상술한 시청 영상 휘도(L2, 도 3 참조)를 갖는 영상에 해당할 수 있다.
도 6을 참조하면, 프레임 비교부(121)는 제1 영상(IMG1)을 수신하는 경우, 비교할 이전 영상이 없으므로, 제1 영상(IMG1)을 신규한 영상으로 간주할 수 있다. 따라서, 프레임 비교부(121)는 이전 영상과 상이한 신규 영상이 수신된 것으로 판단하고, 적응 휘도 연산부(122)로 제1 영상(IMG1)의 제1 적응 휘도(La1)를 연산하도록 명령하는 제1 제어 신호(CS1)를 제공할 수 있다.
적응 휘도 연산부(122)는 프레임 비교부(121)로부터 제1 제어 신호(CS1)를 수신하는 경우, 제1 영상(IMG1)의 제1 적응 휘도(La1)를 산출하고, 제1 적응 휘도(La1)를 불편 휘도 변경 판단부(123)에 제공할 수 있다.
일 실시예에 따르면, 적응 휘도 연산부(122)는 제1 영상(IMG1)의 전체 영역을 일정 시야각을 기준으로 스캔(또는, 블러(blur) 처리)하여 제1 영상(IMG1)의 제1 적응 휘도(La1)를 산출할 수 있다. 예를 들어, 적응 휘도 연산부(122)는 제1 영상(IMG1)을 시야각 5°를 기준으로하는 Peak White with LPF(Low Pass Filter)를 통해 제1 적응 휘도를 산출할 수 있다.
도 8a는 시야각에 따른 표준 오차를 나타내는 그래프이다. 도 8b는 화소 사이즈에 따른 표준 오차를 나타내는 그래프이다.
도 8a에 도시된 바와 같이, 영상으로부터 시야각을 5°를 기준으로 하는 Peak White with LPF(Low Pass Filter) 통해 적응 휘도를 구하는 경우, 영상에 대한 물리적인 휘도 레벨과 사용자가 인식하는 휘도 레벨의 오차가 가장 적을 수 있다. 반면에, 영상으로부터 5°보다 작거나 5°보다 큰 시야각을 기준으로 하는 Peak White with LPF(Low Pass Filter) 통해 적응 휘도를 구하는 경우, 시야각을 5°를 기준으로 하는 경우에 비해, 물리적인 휘도 레벨과 사용자가 인식하는 휘도 레벨의 오차가 커지는 것을 확인할 수 있다.
예를 들어, 전체 영상 중, 시야각 1°에 해당하는 영역이 100cd/m2의 휘도를 가지는 경우를 가정하면, 시야각을 5°를 기준으로 하는 Peak White with LPF(Low Pass Filter) 통해 적응 휘도를 구한 경우, 시야각 1°에 해당하는 영역은 사용자에게 5분의 1수준인 20cd/m2로 인식될 수 있다. 즉, Peak White with LPF(Low Pass Filter) 통해 영상의 적응 휘도를 구하는 경우, 사용자에게 인식되기 어려운 작은 영역의 Peak 영향성을 감소시킬 수 있다.
일반적으로, 헤드 마운트 디스플레이 장치(HMD)의 전체 시야각은 110° 내지 120°를 가질 수 있다. 이는 사용자가 눈을 좌우로 움직이지 않고 전방을 주시할 때와 유사한 시야각이다. 도 8b에 도시된 바와 같이, 시야각 5°에 해당하는 영역의 크기는 헤드 마운트 디스플레이 장치(HMD)의 화소부(110)에서 약 41 pixel 크기에 상응할 수 있다. 즉, 영상을 41 pixel 크기를 단위로 스캔(또는, 블러(blur) 처리)하여 적응 휘도를 산출하는 경우, 시야각 5° 크기를 단위로 스캔(또는, 블러(blur) 처리)하여 적응 휘도를 산출하는 경우와 유사한 효과를 기대할 수 있다.
다시 도 6을 참조하면, 불편 휘도 변경 판단부(123)는 일정 조건에 따라 기 산출된 불편 휘도(Ld)를 변경할지 여부를 판단할 수 있다. 일 실시예에 따르면, 불편 휘도 변경 판단부(123)는 적응 휘도 연산부(122)로부터 수신한 신규 영상의 적응 휘도가 이전 영상의 적응 휘도에 비해 일정 비율 이상 변경되고, 변경된 신규 영상의 적응 영상 휘도를 기 설정된 시간 이상 유지하는 경우 기 산출된 불편 휘도를 변경할 것을 명령하는 제2 제어 신호(CS2)를 불편 휘도 연산부(124)에 제공할 수 있다.
제1 영상(IMG1)으로부터 얻은 제1 적응 휘도(La1)는 비교할 이전 영상이 없으므로, 상기 일정 조건을 만족한 것으로 간주할 수 있다. 따라서, 불편 휘도 변경 판단부(123)는 제1 영상(IMG1)의 제1 불편 휘도(Ld1)를 산출하라는 제2 제어 신호(CS2)를 불편 휘도 연산부(124)에 제공할 수 있다.
불편 휘도 연산부(124)는 불편 휘도 변경 판단부(123)로부터 제2 제어 신호(CS2)를 수신하는 경우, 제1 영상(IMG1)에 대한 제1 불편 휘도(Ld1)를 산출할 수 있다.
상기 수학식 4의 제1 계수(α) 및 제 2 계수(β)는 아래 수학식 5에 기초하여 구할 수 있다. 수학식 5는 Psychophysical logistic 함수이다. 예를 들어, 복잡도가 다른 여러 영상을 선정하여 사용자에게 제시한 후 적응시킨 후, 수학식 5에 따라 사용자의 반응을 불편 휘도 레벨로 추출함으로써, 수학식 4의 제1 계수(α) 및 제 2 계수(β)를 구할 수 있다. 이 때, 영상의 복잡도는 영상의 평균 휘도에 대비하여 큰 휘도를 갖는 영역의 비율에 따라 달라질 수 있다.
[수학식 5]
Figure pat00001
(단, x는 각각의 영상에 대한 적응 휘도이다.)
도 9a 및 도 9b는 복잡도가 상이한 영상들에 대한 사용자의 반응을 불편 휘도 레벨로 나타낸 그래프이다.
도 9a 및 도 9b를 참조하면, 도 9a는 일반 사물을 나타내는 영상에 대한 사용자의 반응을 불편 휘도 레벨로 나타낸 것이고, 도 9b는 석양이 지는 풍경을 나타내는 영상에 대한 사용자의 반응을 불편 휘도 레벨로 나타낸 것이다.
도 9a 및 도 9b에 도시된 영상 각각의 복잡도는 상이하며, 각각의 영상에 대한 사용자의 불편을 감지하는 정도가 다름을 확인할 수 있다. 이 때, 세로축의 1에 가까워질수록 사용자의 눈이 피로하다는 의미이고, 0에 가까울수록 사용자의 눈은 피로하지 않다는 의미이다.
예를 들어, 도 9b에 도시된 석양이 지는 풍경을 나타내는 영상에 대한 사용자의 반응을 살펴보면, 헤드 마운트 디스플레이 장치(HMD)의 휘도가 동일한 경우(예: 25cd/m2), 사용자가 2cd/m2에 적응 후 영상을 바라볼 때가, 사용자가 4cd/m2에 적응 후 영상을 바라볼 때, 및 사용자가 8cd/m2에 적응 후 영상을 바라볼 때보다 더 쉽게 눈의 피로를 느끼는 것을 확인할 수 있다.
또한, 도 9a 및 도 9b를 비교시, 헤드 마운트 디스플레이 장치(HMD)의 휘도가 동일하고(예: 15cd/m2), 사용자가 동일한 휘도(2cd/m2)에 적응 후 영상을 바라보았을 때, 도 9a에 도시된 일반 사물을 나타내는 영상을 바라보았을 때보다, 도 9b에 도시된 석양이 지는 풍경을 나타내는 영상을 바라보았을 때가 더 쉽게 눈의 피로를 느끼는 것을 확인할 수 있다.
일 실시예에 따라, 복잡도가 다른 여러 영상을 선정하여 사용자에게 제시한 후 적응시킨 후, 수학식 5에 따라 사용자의 반응을 불편 휘도 레벨로 추출하는 경우, 사용자가 인식하는 밝기와 영상의 물리적인 밝기가 가장 일치할 때의, 수학식 4의 제1 계수(α)는 17.2±0.17, 제 2 계수(β)는 0.417±0.041로 정해질 수 있다. 이에 따라, 아래 수학식 6을 얻을 수 있다. 불편 휘도 연산부(124)는 아래 수학식 6에 기초하여, 제1 영상(IMG1)의 제1 적응 휘도(La1)로부터 제1 불편 휘도(Ld1)를 산출할 수 있다.
[수학식 6]
Ld1=(17.2±0.17)*La1(0.417±0.041)(단, La1는 제1 적응 휘도, Ld1는 제1 불편 휘도)
휘도 제어부(130)는 불편 휘도 연산부(124)로부터 수신한 제1 불편 휘도(Ld1)에 대응하는 제1 휘도 제어 신호(LCTL1)를 메모리(145)로 출력할 수 있다.
메모리(145)는 복수의 감마 데이터 세트들을 저장할 수 있다. 감마 데이터 세트는 데이터 구동부로 공급되어 감마 기준 전압들 사이의 감마 전압을 결정할 수 있다. 감마 데이터 세트에 의해 감마 전압이 변경됨으로써, 영상의 휘도가 변경될 수 있다. 이 때, 메모리(145)는 도 1에서 설명한 메모리 장치(MEM)에 해당할 수 있다.
타이밍 제어부(140)는 메모리(145)에 저장된 복수의 감마 데이터 세트들 중에서 제1 휘도 제어 신호(LCTL1)에 상응하는 제1 감마 데이터 세트(G_SET1)가 출력될 수 있다. 다시 말해, 타이밍 제어부(140)는 제1 불편 휘도(Ld1) 레벨 이하로 화소부(110)의 디밍 레벨을 설정할 수 있다.
도 7을 참조하면, 프레임 비교부(121)는 제2 영상(IMG2)을 수신하는 경우, 일 실시예에 따라 제1 영상(IMG1)과 제2 영상(IMG2)의 평균 휘도를 비교하고, 제1 영상(IMG1)과 제2 영상(IMG2)의 평균 휘도가 상이한 경우, 제2 영상(IMG2)을 신규한 영상으로 판단하여, 적응 휘도 연산부(122)로 제2 영상(IMG2)의 제2 적응 휘도(La2)를 연산하도록 명령하는 제1 제어 신호(CS1)를 제공할 수 있다.
적응 휘도 연산부(122)는 프레임 비교부(121)로부터 제1 제어 신호(CS1)를 수신하는 경우, 제2 영상(IMG2)의 제2 적응 휘도(La2)를 산출하고, 제2 적응 휘도(La2)를 불편 휘도 변경 판단부(123)에 제공할 수 있다.
일 실시예에 따르면, 적응 휘도 연산부(122)는 제2 영상(IMG2)의 전체 영역을 일정 시야각을 기준으로 스캔(또는, 블러(blur) 처리)하여 제2 영상(IMG2)의 제2 적응 휘도(La2)를 산출할 수 있다. 예를 들어, 적응 휘도 연산부(122)는 제2 영상(IMG2)을 시야각 5°를 기준으로 하는 Peak White with LPF(Low Pass Filter)를 통해 제2 적응 휘도(La2)를 산출할 수 있다.
불편 휘도 변경 판단부(123)는 일정 조건에 따라 기 산출된 불편 휘도를 변경할지 여부를 판단할 수 있다. 일 실시예에 따르면, 불편 휘도 변경 판단부(123)는 적응 휘도 연산부(122)로부터 수신한 제2 영상(IMG2)의 제2 적응 휘도(La2)가 제1 영상(IMG1)의 제1 적응 휘도(La1)에 비해 일정 비율 이상 변경되고, 변경된 제2 영상(IMG2)의 제2 적응 휘도(La2)를 기 설정된 시간 이상 유지하는 경우 기 산출된 제1 불편 휘도(Ld1)를 변경할 것을 명령하는 제2 제어 신호(CS2)를 불편 휘도 연산부(124)에 제공할 수 있다.
예를 들어, 불편 휘도 변경 판단부(123)는 제2 영상(IMG2)의 제2 적응 휘도(La2)가 제1 영상(IMG1)의 제1 적응 휘도(La1)에 비해 20% 이상 변경되고, 변경된 제2 영상(IMG2)의 제2 적응 휘도(La2)를 2초 이상 유지하는 경우 제1 불편 휘도(Ld1)를 제2 불편 휘도(Ld2)로 변경할 것을 결정할 수 있다. 이 경우, 불편 휘도 변경 판단부(123)는 제1 불편 휘도(Ld1)를 제2 불편 휘도(Ld2)로 변경할 것을 명령하는 제2 제어 신호(CS2)를 불편 휘도 연산부(124)에 제공할 수 있다.
불편 휘도 연산부(124)는 불편 휘도 변경 판단부(123)로부터 제2 제어 신호(CS2)를 수신하는 경우, 제2 영상(IMG2)에 대한 제2 불편 휘도(Ld2)를 산출할 수 있다. 일 실시예에 따르면, 불편 휘도 연산부(124)는 하기 수학식 7에 기초하여, 제2 영상(IMG2)의 제2 적응 휘도(La2)로부터 제2 불편 휘도(Ld2)를 산출할 수 있다.
[수학식 7]
Ld2=(17.2±0.17)*La2(0.417±0.041)(단, La2는 제2 적응 휘도, Ld2는 제2 불편 휘도)
휘도 제어부(130)는 불편 휘도 연산부(124)로부터 수신한 제2 불편 휘도(Ld2)에 대응하는 제2 휘도 제어 신호(LCTL2)를 메모리(145)로 출력할 수 있다.
메모리(145)는 복수의 감마 데이터 세트들을 저장할 수 있다. 감마 데이터 세트는 데이터 구동부(150)로 공급되어 감마 기준 전압들 사이의 감마 전압을 결정할 수 있다. 감마 데이터 세트에 의해 감마 전압이 변경됨으로써, 영상의 휘도가 변경될 수 있다.
타이밍 제어부(140)는 메모리(145)에 저장된 복수의 감마 데이터 세트들 중에서 제2 휘도 제어 신호(LCTL2)에 상응하는 제2 감마 데이터 세트(G_SET2)가 출력될 수 있다. 다시 말해, 타이밍 제어부(140)는 제2 불편 휘도(Ld2) 레벨 이하로 화소부(110)의 디밍 레벨을 재 설정할 수 있다.
도 10은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 구동 방법을 나타내는 순서도이다.
도 10을 참조하면, 헤드 마운트 디스플레이 장치(HMD)의 구동 방법은 이전 영상과 상이한 신규 영상을 수신했는지 여부를 판단하는 단계(S10), 신규 영상을 일정 시야각을 기준으로 스캔하여 적응 휘도를 산출하는 단계(S20), 이전 영상 및 신규 영상 간의 적응 휘도 차이가 일정 비율 이상 차이나는지 여부 및 기설정된 시간을 유지하는 여부를 판단하는 단계(S30), 신규 영상의 적응 휘도로부터 불편 휘도를 산출하는 단계(S40), 및 신규 영상의 불편 휘도 이하로 디밍 레벨을 설정하는 단계(S50)를 포함할 수 있다. 이하, 설명의 편의를 위해, 상술한 시청 영상 휘도(L2, 도 3 참조)에 대응되는 제1 영상(IMG1)으로부터 제1 적응 휘도(La1) 및 제1 불편 휘도(Ld1)를 산출하는 단계 및 제1 영상(IMG1)과 상이한 제2 영상(IMG2)으로부터 제2 적응 휘도(La2) 및 제2 불편 휘도(Ld2)를 산출하는 단계로 나누어 설명한다.
도 6 및 도 10을 참조하면, 헤드 마운트 디스플레이 장치(HMD)의 구동 방법은 이전 영상과 상이한 신규 영상을 수신했는지 여부를 판단할 수 있다(S10).
시청 영상 휘도(L2, 도 3 참조)에 대응되는 제1 영상(IMG1)을 수신하는 경우, 비교할 이전 영상이 없으므로, 프레임 비교부(121)에 의해, 제1 영상(IMG1)을 신규한 영상으로 간주할 수 있다.
다음으로, 신규한 제1 영상(IMG1)을 일정 시야각을 기준으로 스캔하여 적응 휘도를 산출할 수 있다(S20).
일 실시예에 따르면, 적응 휘도 연산부(122)에 의해, 제1 영상(IMG1)의 전체 영역을 일정 시야각을 기준으로 스캔(또는, 블러(blur) 처리)하여 제1 영상(IMG1)의 제1 적응 휘도(La1)를 산출할 수 있다. 예를 들어, 제1 영상(IMG1)을 시야각 5°를 기준으로 하는 Peak White with LPF(Low Pass Filter)를 통해 제1 적응 휘도(La1)를 산출할 수 있다.
다음으로, 이전 영상 및 제1 영상(IMG1) 간의 적응 휘도 차이가 일정 비율 이상 차이나는지 여부 및 기설정된 시간을 유지하는 여부를 판단할 수 있다(S30).
제1 영상(IMG1)으로부터 얻은 제1 적응 휘도(La1)는 비교할 이전 영상이 없으므로, 불편 휘도 변경 판단부(123)에 의해, 상기 일정 조건을 만족한 것으로 간주할 수 있다.
다음으로, 제1 영상(IMG1)의 제1 적응 휘도(La1)로부터 제1 불편 휘도(Ld1)를 산출할 수 있다(S40).
일 실시예에 따르면, 제1 불편 휘도(Ld1)는 제1 적응 휘도(La1)와 사용자가 불편을 인지하는 제1 불편 휘도(Ld1)의 관계를 모델링한 상기 수학식 4에 기초하여, 산출할 수 있다. 수학식 4에 포함된 제1 계수(α) 및 제2 계수(β)는 수학식 5를 통해 구할 수 있다. 일 실시예에 따라 제1 계수(α)는 17.2±0.17이고, 제2 계수(β)는 0.417±0.041로 정해질 수 있다. 즉, 제1 불편 휘도(Ld1)는 불편 휘도 연산부(124)에 의해, 수학식 6을 통해 구해질 수 있다.
다음으로, 제1 영상(IMG1)의 제1 불편 휘도(Ld1) 이하로 디밍 레벨을 설정할 수 있다(S50).
휘도 제어부(130)에 의해, 제1 불편 휘도(Ld1)에 대응하는 제1 휘도 제어 신호를 메모리(145)로 출력할 수 있다. 타이밍 제어부(140)에 의해 메모리(145)에 저장된 복수의 감마 데이터 세트들 중에서 제1 휘도 제어 신호(LCTL1)에 상응하는 제1 감마 데이터 세트(G_SET1)가 출력될 수 있다. 다시 말해, 타이밍 제어부(140)에 의해 제1 불편 휘도(Ld1) 레벨 이하로 화소부(110)의 디밍 레벨을 설정할 수 있다.
도 7 및 도 10을 참조하면, 헤드 마운트 디스플레이 장치(HMD)의 구동 방법은 제1 영상(IMG1)과 상이한 제2 영상(IMG2)을 수신했는지 여부를 판단할 수 있다(S10).
프레임 비교부(121)에 의해, 제2 영상(IMG2)을 수신하는 경우, 제1 영상(IMG1)과 제2 영상(IMG2)의 평균 휘도를 비교하고, 제1 영상(IMG1)과 제2 영상(IMG2)의 평균 휘도가 상이한 경우, 제2 영상(IMG2)을 신규한 영상으로 판단할 수 있다.
다음으로, 신규한 제2 영상(IMG2)을 일정 시야각을 기준으로 스캔하여 적응 휘도를 산출할 수 있다(S20).
일 실시예에 따르면, 적응 휘도 연산부(122)에 의해, 제2 영상(IMG2)의 전체 영역을 일정 시야각을 기준으로 스캔(또는, 블러(blur) 처리)하여 제2 영상(IMG2)의 제2 적응 휘도(La2)를 산출할 수 있다. 예를 들어, 제2 영상(IMG2)을 시야각 5°를 기준으로 하는 Peak White with LPF(Low Pass Filter)를 통해 제2 적응 휘도(La2)를 산출할 수 있다.
다음으로, 제1 영상(IMG1)의 제1 적응 휘도(La1) 및 제2 영상(IMG2)의 제2 적응 휘도(La2)간의 차이가 일정 비율 이상 차이나는지 여부 및 기설정된 시간을 유지하는 여부를 판단할 수 있다(S30).
일 실시예에 따르면, 불편 휘도 변경 판단부(123)에 의해, 제2 영상(IMG2)의 제2 적응 휘도(La2)가 제1 영상(IMG1)의 제1 적응 휘도(La1)에 비해 20% 이상 변경되고, 변경된 제2 영상(IMG2)의 제2 적응 영상 휘도(La2)를 2초 이상 유지하는 경우 제1 불편 휘도(Ld1)를 제2 불편 휘도(Ld2)로 변경할 것을 결정할 수 있다.
다음으로, 제2 영상(IMG2)의 제2 적응 휘도(La2)로부터 제2 불편 휘도(Ld2)를 산출할 수 있다(S40).
일 실시예에 따르면, 제2 불편 휘도(Ld2)는 제2 적응 휘도(La2)와 사용자가 불편을 인지하는 제2 불편 휘도(Ld2)의 관계를 모델링한 상기 수학식 4에 기초하여, 산출할 수 있다. 수학식 4에 포함된 제1 계수(α) 및 제2 계수(β)는 수학식 5를 통해 구할 수 있다. 일 실시예에 따라 제1 계수(α)는 17.2±0.17이고, 제2 계수(β)는 0.417±0.041로 정해질 수 있다. 즉, 제2 불편 휘도(Ld2)는 불편 휘도 연산부(124)에 의해, 수학식 7을 통해 구해질 수 있다.
다음으로, 제2 영상(IMG2)의 제2 불편 휘도(Ld2) 이하로 디밍 레벨을 설정할 수 있다(S50).
휘도 제어부(130)에 의해, 제2 불편 휘도에 대응하는 제2 휘도 제어 신호를 메모리(145)로 출력할 수 있다. 타이밍 제어부(140)에 의해 메모리(145)에 저장된 복수의 감마 데이터 세트들 중에서 제2 휘도 제어 신호(LCTL2)에 상응하는 제2 감마 데이터 세트(G_SET2)가 출력될 수 있다. 다시 말해, 타이밍 제어부(140)에 의해 제2 불편 휘도 레벨(Ld2) 이하로 화소부(110)의 디밍 레벨을 재 설정할 수 있다.
본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치(HMD)의 구동 방법은 영상의 휘도 변화에 대응하여 표시 모듈(DM)의 디밍 레벨을 재 조정함으로써, 사용자의 눈의 피로도를 감소시키고, 표시 품질을 향상시킬 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
HMD: 헤드 마운트 디스플레이 장치
DM: 표시 모듈
110: 화소부
120: 연산부
121: 프레임 비교부
122: 적응 휘도 연산부
123: 불편 휘도 변경 판단부
124: 불편 휘도 연산부
130: 휘도 제어부
140: 타이밍 제어부
150: 데이터 구동부
160: 스캔 구동부

Claims (20)

  1. 영상을 표시하는 표시부;
    제1 영상을 일정 시야각을 기준으로 스캔하여 상기 제1 영상의 제1 적응 휘도를 산출하는 적응 휘도 연산부, 및 상기 제1 적응 휘도와 사용자가 불편을 인지하는 제1 불편 휘도의 관계를 모델링한 하기 수학식 1에 기초하여, 상기 제1 적응 휘도로부터 상기 제1 불편 휘도를 산출하는 불편 휘도 연산부를 포함하는 연산부; 및
    상기 제1 불편 휘도 이하로 상기 표시부의 디밍 레벨을 설정하는 휘도 제어부;를 포함하는 헤드 마운트 디스플레이 장치.
    [수학식 1]
    Ld=α*Laβ(단, La는 시청 영상 휘도, Ld는 불편 휘도, α는 제1 계수, β는 제2 계수)
  2. 제1 항에 있어서,
    상기 제1 적응 휘도는 상기 제1 영상을 시야각 5도를 기준으로 하는 Peak White with LPF(Low Pass Filter)를 통해 산출하는 헤드 마운트 디스플레이 장치.
  3. 제2 항에 있어서,
    상기 제1 불편 휘도는, 하기 수학식 2에 기초하여 산출되는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
    [수학식 2]
    Ld1=α*La1β(단, La1은 제1 적응 휘도, Ld는 제1 불편 휘도, α는 17.2±0.17, β는 0.417±0.041)
  4. 제1 항에 있어서,
    상기 연산부는 상기 제1 영상과 상이한 제2 영상의 수신 여부를 판단하는 프레임 비교부를 더 포함하는 헤드 마운트 디스플레이 장치.
  5. 제4 항에 있어서,
    상기 연산부는 상기 프레임 비교부에 의해 상기 제2 영상을 수신한 것으로 판단되는 경우 상기 제2 영상을 일정 시야각을 기준으로 스캔하여 상기 제2 영상의 제2 적응 휘도를 산출하는 헤드 마운트 디스플레이 장치.
  6. 제5 항에 있어서,
    상기 제2 적응 휘도는 상기 제2 영상을 시야각 5도를 기준으로 하는 Peak White with LPF(Low Pass Filter)를 통해 산출하는 헤드 마운트 디스플레이 장치.
  7. 제5 항에 있어서,
    상기 연산부는 일정 조건에 따라 상기 제1 불편 휘도를 제2 불편 휘도로 변경할지 여부를 판단하는 불편 휘도 변경 판단부를 더 포함하는 헤드 마운트 디스플레이 장치.
  8. 제7 항에 있어서,
    상기 일정 조건은 상기 제2 적응 휘도가 상기 제1 적응 휘도에 비해 20% 이상 변경되는 헤드 마운트 디스플레이 장치.
  9. 제8 항에 있어서,
    상기 일정 조건은 상기 제1 적응 휘도에 비해 20% 이상 변경된 상기 제2 영상이 2초 이상 지속되는 경우인 헤드 마운트 디스플레이 장치.
  10. 제7 항에 있어서,
    상기 제2 불편 휘도는, 하기 수학식 3에 기초하여 산출되는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
    [수학식 3]
    Ld2=α*La2β(단, La2는 제2 적응 휘도, Ld2는 제2 불편 휘도, α는 17.2±0.17, β는 0.417±0.041)
  11. 제7 항에 있어서,
    상기 휘도 제어부는 상기 제1 불편 휘도가 상기 제2 불편 휘도로 변경시 상기 제2 불편 휘도 이하로 상기 표시부의 디밍 레벨을 재 설정하는 헤드 마운트 디스플레이 장치.
  12. 제1 영상을 일정 시야각을 기준으로 스캔하여 상기 제1 영상의 제1 적응 휘도를 산출하는 단계;
    상기 제1 적응 휘도와 사용자가 불편을 인지하는 제1 불편 휘도의 관계를 모델링한 하기 수학식 1에 기초하여, 상기 제1 적응 휘도로부터 상기 제1 불편 휘도를 산출하는 단계; 및
    상기 제1 불편 휘도 이하로 디밍 레벨을 설정하는 단계;를 포함하는 헤드 마운트 디스플레이 장치의 구동 방법.
    [수학식 1]
    Ld=α*Laβ(단, La는 시청 영상 휘도, Ld는 불편 휘도, α는 제1 계수, β는 제2 계수)
  13. 제12 항에 있어서,
    상기 제1 적응 휘도를 산출하는 단계는 상기 제1 영상을 시야각 5도를 기준으로 Peak White with LPF(Low Pass Filter)를 통해 산출하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
  14. 제13 항에 있어서,
    상기 제1 불편 휘도는, 하기 수학식 2에 기초하여 산출되는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
    [수학식 2]
    Ld1=α*La1β(단, La1은 제1 적응 휘도, Ld는 제1 불편 휘도, α는 17.2±0.17, β는 0.417±0.041)
  15. 제12 항에 있어서,
    상기 제1 영상과 상이한 제2 영상의 수신 여부를 판단하는 단계를 더 포함하는 헤드 마운트 디스플레이 장치의 구동 방법.
  16. 제15 항에 있어서,
    상기 제2 영상을 수신한 것으로 판단되는 경우, 상기 제2 영상을 일정 시야각을 기준으로 스캔하여 상기 제2 영상의 제2 적응 휘도를 산출하는 단계를 포함하는 헤드 마운트 디스플레이 장치의 구동 방법.
  17. 제16 항에 있어서,
    상기 제2 적응 휘도는 상기 제2 영상을 시야각 5도를 기준으로 Peak White with LPF(Low Pass Filter)를 통해 산출하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
  18. 제16 항에 있어서,
    상기 제2 적응 휘도가 상기 제1 적응 휘도에 비해 20% 이상 변경되고 2초 이상 지속되는 경우, 상기 제1 불편 휘도를 제2 불편 휘도로 변경하는 단계를 더 포함하는 헤드 마운트 디스플레이 장치의 구동 방법.
  19. 제18 항에 있어서,
    상기 제2 불편 휘도는, 하기 수학식 3에 기초하여 산출되는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
    [수학식 3]
    Ld2=α*La2β(단, La2는 제2 적응 휘도, Ld2는 제2 불편 휘도, α는 17.2±0.17, β는 0.417±0.041)
  20. 제18 항에 있어서,
    상기 제1 불편 휘도가 상기 제2 불편 휘도로 변경시 상기 제2 불편 휘도 이하로 상기 제2 영상의 디밍 레벨을 재 설정하는 단계를 더 포함하는 헤드 마운트 디스플레이 장치의 구동 방법.
KR1020200109692A 2020-08-28 2020-08-28 헤드 마운트 디스플레이 장치 및 이의 구동 방법 KR20220030392A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200109692A KR20220030392A (ko) 2020-08-28 2020-08-28 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US17/204,842 US11508336B2 (en) 2020-08-28 2021-03-17 Head mounted display device and driving method thereof
CN202110444112.6A CN114120934A (zh) 2020-08-28 2021-04-23 头戴式显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109692A KR20220030392A (ko) 2020-08-28 2020-08-28 헤드 마운트 디스플레이 장치 및 이의 구동 방법

Publications (1)

Publication Number Publication Date
KR20220030392A true KR20220030392A (ko) 2022-03-11

Family

ID=80357215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109692A KR20220030392A (ko) 2020-08-28 2020-08-28 헤드 마운트 디스플레이 장치 및 이의 구동 방법

Country Status (3)

Country Link
US (1) US11508336B2 (ko)
KR (1) KR20220030392A (ko)
CN (1) CN114120934A (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380973B2 (en) * 2017-02-01 2019-08-13 Disney Enterprises, Inc. Luminance comfort prediction and adjustment
KR102591404B1 (ko) * 2017-12-13 2023-10-20 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US11587526B2 (en) * 2018-12-20 2023-02-21 Dolby Laboratories Licensing Corporation Luminance adaption to minimize discomfort and improve visibility

Also Published As

Publication number Publication date
US20220068239A1 (en) 2022-03-03
CN114120934A (zh) 2022-03-01
US11508336B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
EP3021315B1 (en) Ambient light adaptive displays
US11211030B2 (en) Electronic device with adaptive display
KR102519355B1 (ko) 헤드 마운트 디스플레이 장치 및 이의 구동 방법
EP3804286B1 (en) Electronic device and operating method of controlling brightness of light source
CN108806616A (zh) 背光控制方法、装置及计算机可读存储介质
US10446115B2 (en) Crowd-sourced brightness for a display
US11366321B1 (en) Predictive dimming of optical passthrough displays
KR20210137762A (ko) 플리커 현상을 경감하는 디스플레이 장치 및 그것을 포함하는 전자 장치
WO2017153778A1 (en) Head-mountable display
KR102591404B1 (ko) 헤드 마운트 디스플레이 장치 및 이의 구동 방법
JP2008304539A (ja) 映像処理装置
KR20220030392A (ko) 헤드 마운트 디스플레이 장치 및 이의 구동 방법
KR20190050555A (ko) 전자 장치 및 그의 영상 보정 방법
US11955094B2 (en) Head-mounted display and image displaying method
CN114450185A (zh) 图像显示装置、显示控制装置、显示控制方法以及程序和记录介质
US12067909B2 (en) Electronic devices with dynamic brightness ranges for passthrough display content
US11741898B1 (en) Power management for global mode display panel illumination
US11615740B1 (en) Content-adaptive duty ratio control
KR20230007144A (ko) 주사율에 따라 감마를 변경하는 전자 장치 및 방법
CN118210149A (zh) 具有用于透传显示内容的动态亮度范围的电子设备