KR102519355B1 - 헤드 마운트 디스플레이 장치 및 이의 구동 방법 - Google Patents

헤드 마운트 디스플레이 장치 및 이의 구동 방법 Download PDF

Info

Publication number
KR102519355B1
KR102519355B1 KR1020180013626A KR20180013626A KR102519355B1 KR 102519355 B1 KR102519355 B1 KR 102519355B1 KR 1020180013626 A KR1020180013626 A KR 1020180013626A KR 20180013626 A KR20180013626 A KR 20180013626A KR 102519355 B1 KR102519355 B1 KR 102519355B1
Authority
KR
South Korea
Prior art keywords
display device
user
image data
area
image
Prior art date
Application number
KR1020180013626A
Other languages
English (en)
Other versions
KR20190094270A (ko
Inventor
이용우
김효선
서영준
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020180013626A priority Critical patent/KR102519355B1/ko
Priority to US16/250,423 priority patent/US11002959B2/en
Publication of KR20190094270A publication Critical patent/KR20190094270A/ko
Application granted granted Critical
Publication of KR102519355B1 publication Critical patent/KR102519355B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232—Special driving of display border areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264—Details of driving circuits
    • G09G2310/0278—Details of driving circuits arranged to drive both scan and data electrodes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications

Abstract

헤드 마운트 디스플레이(Head Mount Display; HMD) 장치는 표시 장치 및 표시 장치를 제어하는 프로세서를 포함한다. 표시 장치는 영상 데이터 및 사용자의 움직임 정보를 수신하고, 움직임 정보에 기초하여 영상 데이터에 상응하는 영상을 외곽을 마스킹하는 마스킹 영역의 면적을 제어하는 스케일링 값을 연산하며, 영상 데이터 및 스케일링 값에 기초하여 보정영상 데이터를 생성하는 영상 보정부를 포함한다.

Description

헤드 마운트 디스플레이 장치 및 이의 구동 방법 {HEAD MOUNT DISPLAY DEVICE AND DRIVING METHOD OF THE SAME}
본 발명은 헤드 마운트 디스플레이 장치 및 이의 구동 방법에 관한 것이다.
헤드 마운트 디스플레이(Head Mount Display; HMD) 장치는 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 장치의 경량화 및 소형화 추세에 따라 다양한 웨어러블 컴퓨터(wearable computer)가 개발되고 있으며, 헤드 마운트 디스플레이 장치 또한 널리 사용되고 있다. 헤드 마운트 디스플레이 장치는 사용자의 눈에 전달되는 시각 정보와 인체 균형을 담당하는 전정 기관에 전달되는 전정 정보가 일치하지 않아 사용자에게 어지러움이나 멀미 등 불편함을 유발하는 문제점이 있다.
본 발명의 일 목적은 사용자의 불편함을 감소시키는 헤드 마운트 디스플레이 장치를 제공하는 것이다.
본 발명의 다른 목적은 불편함을 감소시키는 헤드 마운트 디스플레이 장치의 구동 방법을 제공하는 것이다.
그러나, 본 발명이 목적은 상술한 목적으로 한정되는 것은 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 헤드 마운트 디스플레이(Head Mount Display; HMD) 장치는 표시 장치 및 상기 표시 장치를 제어하는 프로세서를 포함할 수 있다. 상기 표시 장치는 사용자 시야에 대응하는 영상 데이터 및 사용자의 움직임 정보를 수신하고, 상기 움직임 정보에 기초하여 상기 영상 데이터에 상응하는 영상의 외곽을 마스킹하여 상기 사용자 시야의 범위를 조절하는 마스킹 영역의 면적을 제어하는 스케일링 값을 연산하며, 상기 영상 데이터 및 상기 스케일링 값에 기초하여 보정 영상 데이터를 생성하는 영상 보정부, 상기 보정 영상 데이터에 기초하여 데이터 신호를 생성하는 데이터 구동부, 스캔 신호를 생성하는 스캔 구동부, 상기 데이터 구동부 및 상기 스캔 구동부를 제어하는 제어 신호를 생성하는 타이밍 제어부 및 상기 데이터 신호 및 상기 스캔 신호에 기초하여 상기 보정 영상 데이터에 상응하는 보정 영상을 표시하는 표시 패널을 포함할 수 있다.
일 실시예에 의하면, 상기 움직임 정보는 상기 사용자의 두부 회전 속도 및 상기 사용자의 이동 속도를 포함할 수 있다.
일 실시예에 의하면, 상기 두부 회전 속도 및 상기 이동 속도가 증가할수록 상기 마스킹 영역의 면적이 증가할 수 있다.
일 실시예에 의하면, 상기 마스킹 영역의 면적은 기 설정된 임계 면적보다 작을 수 있다.
일 실시예에 의하면, 상기 사용자의 움직임을 감지하는 센싱부를 더 포함할 수 있다.
일 실시예에 의하면, 상기 표시 장치는 상기 영상 데이터를 프레임 별로 저장하고, 상기 프레임 간 상기 영상 데이터의 변화량에 기초하여 상기 사용자의 움직임을 연산하는 변화량 연산부를 더 포함할 수 있다.
일 실시예에 의하면, 상기 마스킹 영역은 상기 영상의 상기 외곽부로부터 중앙으로 확장할 수 있다.
일 실시예에 의하면, 상기 마스킹 영역은 상기 영상을 사각형 모양으로 마스킹할 수 있다.
일 실시예에 의하면, 상기 마스킹 영역은 상기 영상을 원형 모양으로 마스킹할 수 있다.
일 실시예에 의하면, 상기 영상 보정부는 상기 두부 회전 속도 및 상기 이동 속도에 기초하여 조절 계수를 연산하는 제1 연산부, 상기 조절 계수에 기초하여 상기 스케일링 값을 연산하는 제2 연산부 및 상기 스케일링 값에 기초하여 상기 보정 영상 데이터를 생성하는 보정 영상 생성부를 포함할 수 있다.
일 실시예에 의하면, 상기 두부 회전 속도 및 상기 이동 속도가 증가할수록 상기 조절 계수가 증가할 수 있다.
일 실시예에 의하면, 상기 조절 계수가 증가할수록 상기 스케일링 값이 감소할 수 있다.
일 실시예에 의하면, 상기 제2 연산부는 상기 조절 계수가 기 설정된 최소 스케일링 값 이상인 경우, 상기 최소 스케일링 값을 상기 스케일링 값으로 출력할 수 있다.
본 발명의 다른 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치의 구동 방법은 사용자의 움직임을 감지하여 움직임 정보를 생성하는 단계, 상기 움직임 정보 및 상기 사용자의 시야에 대응하는 영상 데이터를 수신하는 단계, 상기 움직임 정보 및 상기 영상 데이터에 기초하여 조절 계수를 연산하는 단계, 상기 조절 계수에 기초하여 상기 영상 데이터에 상응하는 영상의 외곽을 마스킹하여 상기 사용자 시야의 범위를 조절하는 마스킹 영역의 면적을 제어하는 스케일링 값을 연산하는 단계 및 상기 영상 데이터 및 상기 스케일링 값에 기초하여 보정 영상 데이터를 생성하는 단계를 포함할 수 있다.
일 실시예에 의하면, 상기 움직임 정보는 상기 사용자의 두부 회전 속도 및 상기 사용자의 이동 속도를 포함할 수 있다.
일 실시예에 의하면, 상기 두부 회전 속도 및 상기 이동 속도가 증가할수록 상기 마스킹 영역의 면적이 증가할 수 있다.
일 실시예에 의하면, 상기 마스킹 영역의 면적은 기 설정된 임계 면적보다 작을 수 있다.
일 실시예에 의하면, 상기 움직임 정보를 생성하는 단계는 센싱부를 이용하여 상기 사용자의 움직임을 감지할 수 있다.
일 실시예에 의하면, 상기 움직임 정보를 생성하는 단계는 상기 영상 데이터를 프레임 별로 저장하고, 상기 프레임 간 상기 영상 데이터의 변화량에 기초하여 상기 사용자의 움직임을 연산할 수 있다.
일 실시예에 의하면, 상기 마스킹 영역은 상기 영상의 상기 외곽부로부터 중앙으로 확장할 수 있다.
본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 장치의 구동 방법은 사용자의 움직임에 기초하여 영상 데이터에 상응하는 영상을 외곽부로부터 중앙으로 마스킹하는 마스킹 영역의 면적을 제어함으로써, 헤드 마운트 디스플레이 장치의 사용 시 사용자가 느끼는 영상의 움직임을 감소시킬 수 있다. 따라서, 사용자가 느끼는 어지러움, 멀미 등의 불편함이 감소할 수 있다. 또한, 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 장치의 구동 방법은 영상의 외곽부를 마스킹함으로써, 사용자의 몰입감을 향상시킬 수 있다. 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 장치의 구동 방법은 표시 장치에서 보정 영상 신호를 생성함으로 프로세서에서 보정된 영상 신호를 전달받을 때 발생하는 지연(latency)을 개선할 수 있다. 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 장치는 사용자의 움직임에 기초하여 영상 데이터에 상응하는 영상의 외곽을 마스킹함으로써, 소비 전력을 감소시킬 수 있다.
다만, 본 발명의 효과는 상술한 효과로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치를 나타내는 블록도이다.
도 2는 도 1의 헤드 마운트 디스플레이 장치가 구현되는 일 예를 나타내는 도면이다.
도 3은 도 1의 헤드 마운트 디스플레이 장치에 포함되는 표시 장치를 나타내는 블록도이다.
도 4a 및 도 4b는 도 3의 표시 장치를 설명하기 위한 도면들이다.
도 5는 도 3의 표시 장치에 포함되는 영상 보정부를 나타내는 블록도이다.
도 6은 도 5의 영상 보정부에 포함되는 제1 연산부 및 제2 연산부를 설명하기 위한 그래프이다.
도 7 및 도 8은 도 5의 영상 보정부에 포함되는 보정 영상 생성부를 설명하기 위한 도면들이다.
도 9는 본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치의 구동 방법을 나타내는 순서도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예를 나타내는 헤드 마운트 디스플레이 장치를 나타내는 블록도이다.
도 1을 참조하면, 헤드 마운트 디스플레이(Head Mount Display; HMD) 장치(100)는 프로세서(110), 메모리 장치(120), 입출력 장치(130), 파워 서플라이(140), 센싱부(150) 및 표시 장치(160)를 포함할 수 있다. 헤드 마운트 디스플레이 장치(100)의 구성 요소들은 도 1에 한정되지 않으며, 도 1에 도시된 구성 요소들보다 많거나 적은 구성 요소들을 가질 수 있다.
프로세서(110)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 프로세서(110)는 헤드 마운트 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(110)는 입출력 장치(130)를 통해 입력되는 신호, 데이터 정보 등을 처리하거나, 메모리 장치(120)에 저장된 어플리케이션 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 일 실시예에서, 프로세서(110)는 마이크로프로세서(microprocessor), 중앙 처리 장치(CPU), 어플리케이션 프로세서(Application Processor; AP), 커뮤니케이션 프로세서(Communication Processor; CP) 등일 수 있다. 프로세서(110)는 어드레스 버스(address bus), 제어버스(control bus) 및 데이터 버스(data bus) 등을 통하여 다른 구성 요소들에 연결될 수 있다. 또한, 프로세서(110)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장버스에도 연결될 수 있다.
메모리 장치(120)는 전자 기기(200)의 동작에 필요한 데이터들을 저장할 수 있다. 메모리 장치(120)는 헤드 마운트 디스플레이 장치(100)에서 구동되는 다수의 어플리케이션 프로그램, 헤드 마운트 디스플레이 장치(100)의 동작을 위한 데이터들, 명령어 등을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 입출력 장치(130)를 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 예를 들어, 메모리 장치(120)는 EPROM, EEPROM, 플래시 메모리, PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) 등과 같은 비휘발성 메모리 장치 및/또는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), 모바일 DRAM 등과 같은 휘발성 메모리 장치를 포함할 수 있다.
입출력 장치(130)는 영상 신호 입력을 위한 카메라 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 터치키(touch key), 푸시키(push key), 조이스틱, 휠(wheel)키 등) 등을 포함하는 입력 수단 및 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로 음향 출력부, 햅틱 모듈, 광 출력부 등을 포함하는 출력 수단을 포함할 수 있다. 표시 장치(160)는 입출력 장치(130) 내에 구비될 수도 있다.
파워 서플라이(140)는 헤드 마운트 디스플레이 장치(100)의 동작에 필요한 파워를 공급할 수 있다. 파워 서플라이(140)는 외부의 전원 및 내부의 전원을 인가받아 헤드 마운트 디스플레이 장치(100)에 포함된 각각의 구성 요소들에 전원을 공급할 수 있다. 파워 서플라이(140)는 배터리를 포함하며, 내장형 배터리 또는 교체 가능한 배터리로 구현될 수 있다.
센싱부(150)는 헤드 마운트 디스플레이 장치(100)를 둘러싼 주변 환경 정보, 사용자 정보 등을 센싱하기 위한 적어도 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(150)는 속도 센서, 가속도 센서, 중력 센서, 조도 센서, 모션 센서, 지문 인식 센서, 광 센서, 초음파 센서, 열 감지 센서 등을 포함할 수 있다.
표시 장치(160)는 상기 버스들 또는 다른 통신 링크를 통해 다른 구성 요소들에 연결될 수 있다. 표시 장치(160)는 헤드 마운트 디스플레이 장치(100)에서 처리되는 정보를 표시할 수 있다. 헤드 마운트 디스플레이 장치(100)는 사용자의 두부에 장착되어 동작할 수 있다. 헤드 마운트 디스플레이 장치(100)의 사용 시 사용자는 눈에 전달되는 시각 정보와 인체 균형을 담당하는 전정 기관에 전달되는 전정 정보가 일치하지 않아 어지러움이나 멀미 등 불편함을 느낄 수 있다. 이러한 문제점을 해결하기 위해, 본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치(100)의 표시 장치(160)는 사용자의 움직임 정보에 기초하여 영상 데이터에 상응하는 영상을 외곽으로부터 마스킹하는 마스킹 영역을 제어함으로써, 사용자가 느끼는 영상의 움직임을 감소시킬 수 있다. 따라서, 헤드 마운트 디스플레이 장치(100)의 사용 시 사용자가 느끼는 어지러움, 멀미 등의 불편함이 감소할 수 있다. 이하, 도 3을 참조하여 표시 장치(160)에 대해 자세히 후술하도록 한다.
도 2는 도 1의 헤드 마운트 디스플레이 장치가 구현되는 일 예를 나타내는 도면이다.
도 2를 참조하면, 헤드 마운트 디스플레이 장치(200)는 표시 장치(220), 하우징(240) 및 장착부(260)를 포함할 수 있다. 도 2의 표시 장치(220)는 도 1의 표시 장치(160)에 상응할 수 있다. 헤드 마운트 디스플레이 장치(200)는 사용자의 두부에 장착되어 사용자에게 영상 정보를 제공할 수 있다. 표시 장치(220)는 영상 신호에 기초하여 영상을 표시할 수 있다. 표시 장치(220)는 사용자의 좌안 및 우안에 각각 영상을 제공할 수 있다. 사용자의 좌안에 대응하는 좌안 영상 및 사용자의 우안에 대응하는 우안 영상은 동일하거나, 상이할 수 있다. 헤드 마운트 디스플레이 장치(200)는 표시 장치(220)를 통하여2D, 3D, 가상현실, 360도 파노라마 영상 등을 제공할 수 있다.
표시 장치(220)는 액정 표시 장치(Liquid Crystal Display; LCD), 유기 발광 표시 장치(Organic Light Emitting Display; OLED), 플렉시블(flexible) 표시 장치 중에서 적어도 하나를 포함할 수 있다. 표시 장치(220)는 하우징(240)에 내장되거나, 하우징(240)과 결합될 수 있다. 표시 장치(220)는 하우징(240)에 구비되는 인터페이스부 등을 통해 명령을 수신할 수 있다.
하우징(240)은 사용자의 눈의 전면에 위치할 수 있다. 하우징(240)에는 헤드 마운트 디스플레이 장치(200)를 동작시키기 위한 상기 구성 요소들이 수납될 수 있다. 또한, 하우징(240)에는 무선 통신부, 인터페이스부 등이 위치할 수 있다. 무선 통신부는 외부 단말기와 무선 통신을 수행하여 외부 단말기로부터 영상 신호를 수신할 수 있다. 예를 들어, 무선통신부(190)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), UWB(Ultra Wideband) 등을 이용하여 외부 단말기와 통신할 수 있다. 인터페이스부는 헤드 마운트 디스플레이 장치(200)를 외부 기기와 연결시킬 수 있다. 예를 들어, 헤드 마운트 디스플레이 장치의 인터페이스부는 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O 포트, 이어폰 포트 중 적어도 하나를 포함할 수 있다.
장착부(260)는 하우징(240)과 연결되어 헤드 마운트 디스플레이 장치(200)를 사용자의 머리에 고정시킬 수 있다. 예를 들어, 장착부(260)는 벨트나 신축성을 갖는 띠 등으로 구현될 수 있다.
도 3은 도 1의 헤드 마운트 디스플레이 장치에 포함되는 표시 장치를 나타내는 블록도이고, 도 4a 및 도 4b는 도 3의 표시 장치를 설명하기 위한 도면들이다.
도 3을 참조하면, 표시 장치(300)는 표시 패널(310), 영상 보정부(320), 데이터 구동부(330), 스캔 구동부(340) 및 타이밍 제어부(350)를 포함할 수 있다.
표시 패널(310)은 데이터 라인(DL)들, 스캔 라인(SL)들 및 복수의 화소(PX)들을 포함할 수 있다. 예를 들어, 표시 장치(300)가 액정 표시 장치(300)인 경우, 표시 패널(310)에 포함되는 각각의 화소(PX)들은 데이터 라인(DL) 및 스캔 라인(SL)에 전기적으로 연결된 박막 트랜지스터, 박막 트랜지스터에 연결된 액정 캐패시터 및 스토리지 캐패시터를 포함할 수 있다. 표시 장치(300)가 유기 발광 표시 장치(300)인 경우, 표시 패널(310)에 포함되는 각각의 화소(PX)들은 데이터 라인(DL) 및 스캔 라인(SL)에 전기적으로 연결된 박막 트랜지스터, 박막 트랜지스터에 연결된 저장 캐패시터, 저장 캐패시터에 연결되는 구동 트랜지스터(박막 트랜지스터) 및 구동 트랜지스터에 연결되는 유기 발광 소자를 포함할 수 있다. 표시 패널(310)은 데이터 라인(DL)을 통해 공급되는 데이터 신호(DS) 및 스캔 라인(SL)을 통해 공급되는 스캔 신호(SS)에 기초하여 영상을 표시할 수 있다. 이 때, 표시 패널(310)에 표시되는 영상은 영상 보정부(320)에서 생성되는 보정 영상 데이터(RGB_C)에 상응하는 보정 영상일 수 있다.
영상 보정부(320)는 사용자 시야에 대응하는 제1 영상 데이터(RGB1) 및 사용자의 움직임 정보(INFO_MO)를 수신하고, 움직임 정보(INFO_MO)에 기초하여 제1 영상 데이터(RGB1)에 상응하는 영상을 외곽으로부터 마스킹하여 사용자 시야의 범위를 조절하는 마스킹 영역의 면적을 제어하는 스케일링 값을 연산하며, 제1 영상 데이터(RGB1) 및 스케일링 값에 기초하여 보정 영상 데이터(RGB_C)를 생성할 수 있다. 영상 보정부(320)는 제1 영상 데이터(RGB1) 및 사용자의 움직임 정보(INFO_MO)를 수신할 수 있다. 제1 영상 데이터(RGB1)는 사용자의 시야에 대응할 수 있다. 예를 들어, 영상 보정부(320)는 사용자의 두부에 장착되는 헤드 마운트 디스플레이 장치의 정면에 부착된 카메라를 통해 촬영되는 영상을 제1 영상 데이터(RGB1)로서 수신할 수 있다. 도 4a 및 도 4b를 참조하면, 사용자의 움직임 정보(INFO_MO)는 사용자의 두부 회전 속도 및 사용자의 이동 속도를 포함할 수 있다. 도 4a에 도시된 바와 같이, 헤드 마운트 디스플레이 장치(HMD)를 착용한 사용자(USER)는 두부를 θ만큼 회전시킬 수 있다. 또한, 도 4b에 도시된 바와 같이, 헤드 마운트 디스플레이 장치(HMD)를 착용한 사용자(USER)는 d 거리만큼 이동할 수 있다. 일 실시예에서, 영상 보정부(320)는 센싱부로부터 사용자의 움직임 정보(INFO_MO)를 공급받을 수 있다. 예를 들어, 센싱부의 속도 센서 또는 가속도 센서는 사용자의 두부 회전 속도 및 이동 속도를 측정하여 움직임 정보(INFO_MO)로써 영상 보정부(320)에 공급할 수 있다. 또는, 센싱부의 위치 센서는 사용자(USER)의 두부에 장착된 헤드 마운트 디스플레이 장치(HMD)의 위치 정보에 따라 사용자(USER)의 두부 회전 속도 및 이동 속도가 계산된 움직임 정보(INFO_MO)를 영상 보정부(320)에 공급할 수 있다. 다른 실시예에서, 영상 보정부(320)는 변화량 연산부로부터 사용자의 움직임 정보(INFO_MO)를 공급받을 수 있다. 변화량 연산부는 영상 보정부(320)와 연결되거나, 영상 보정부(320) 내에 위치할 수 있다. 변화량 연산부는 제1 영상 데이터(RGB1)를 프레임 별로 저장하고, 프레임 간 제1 영상 데이터(RGB1)의 변화량에 기초하여 사용자의 움직임을 연산할 수 있다. 예를 들어, 변화량 연산부는 (n-1)번째 프레임의 제1 영상 데이터(RGB1)와 (n)번째 프레임의 제1 영상 데이터(RGB1)를 비교하여 변화량을 연산하고, 상기 변화량에 기초하여 사용자의 두부 회전 속도 및 이동 속도를 연산할 수 있다. 영상 보정부(320)는 사용자의 두부 회전 속도 및 이동 속도에 기초하여 제1 영상 데이터(RGB1)에 상응하는 영상을 외곽으로부터 마스킹하는 마스킹 영역의 면적을 제어할 수 있다. 영상 보정부(320)는 사용자의 두부 회전 속도에 대한 제1 가중치 및 사용자의 이동 속도에 대한 제2 가중치에 기초하여 마스킹 영역의 면적을 결정할 수 있다. 이 때, 두부 회전 속도에 대한 제1 가중치 및 사용자 이동 속도에 대한 제2 가중치는 사용자 설정에 따라 결정될 수 있다. 영상 보정부(320)는 두부 회전 속도 및 이동 속도가 증가할수록 마스킹 영역의 면적을 증가시킬 수 있다. 즉, 사용자의 움직임이 클수록 영상의 외곽부로부터 중앙으로 마스킹 영역의 면적을 증가시켜 사용자가 표시 패널(310)의 중앙에 표시되는 영상에 집중할 수 있도록 할 수 있다. 일 실시예에서, 마스킹 영역은 영상을 사각형 모양으로 마스킹할 수 있다. 다른 실시예에서, 마스킹 영역은 영상을 원형 모양으로 마스킹할 수 있다. 영상 보정부(320)는 사용자의 움직임에 기초하여 결정된 마스킹 영역의 면적이 기 설정된 임계 면적보다 큰 경우, 마스킹 영역의 면적을 상기 임계 면적으로 결정할 수 있다. 즉, 마스킹 영역의 면적은 기 설정된 임계 면적보다 작을 수 있다. 영상 보정부(320)는 마스킹 면적을 제어하는 스케일링 값을 연산하고, 상기 제1 영상 데이터(RGB1) 및 상기 스케일링 값에 기초하여 보정 영상 데이터(RGB_C)를 생성할 수 있다. 영상 보정부(320)는 보정 영상 데이터(RGB_C)를 타이밍 제어부(350)에 공급하거나, 데이터 구동부(330)에 공급할 수 있다. 이와 같이, 영상 보정부(320)는 사용자의 움직임에 기초하여 제1 영상 데이터(RGB1)에 상응하는 영상을 외곽으로부터 마스킹하는 마스킹 영역의 면적을 제어함으로써, 사용자가 느끼는 영상의 움직임을 감소시키고, 표시 패널(310)의 중앙부에 표시되는 영상에 몰입하게 할 수 있다.
데이터 구동부(330)는 보정 영상 데이터(RGB_C)에 기초하여 데이터 신호(DS)를 생성할 수 있다. 또는, 데이터 구동부(330)는 타이밍 제어부(350)에서 공급되는 제2 영상 데이터(RGB2)에 기초하여 데이터 신호(DS)를 생성할 수 있다. 데이터 구동부(330)는 타이밍 제어부(350)로부터 공급되는 제1 제어 신호(CTL1)에 응답하여 데이터 신호(DS)들을 표시 패널(310)의 데이터 라인(DL)으로 출력할 수 있다. 이 때, 제1 제어 신호(CTL1)는 수평 개시 신호 및 제1 클럭 신호를 포함할 수 있다.
스캔 구동부(340)는 스캔 신호(SS)를 생성하고, 타이밍 제어부(350)로부터 공급되는 제2 제어 신호(CTL2)에 응답하여 스캔 신호(SS)들을 표시 패널(310)의 스캔 라인(SL)으로 출력할 수 있다. 이 때, 제2 제어 신호(CTL2)는 수직 개시 신호 및 제2 클럭 신호를 포함할 수 있다.
타이밍 제어부(350)는 제1 영상 데이터(RGB1) 및 제어 신호(CON)를 수신하고, 영상 보정부(320)로부터 보정 영상 데이터(RGB_C)를 수신할 수 있다. 타이밍 제어부(350)는 제1 영상 데이터(RGB1) 또는 보정 영상 데이터(RGB_C)에 화질 보정, 얼룩 보정 색 특성 보상(Adaptive Color Correct; ACC) 및/또는 능동 캐패시턴스 보상(Dynamic Capacitance Compensation; DCC) 등을 선택적으로 수행하여 제2 영상 데이터(RGB2)를 데이터 구동부(330)로 출력할 수 있다. 또는, 타이밍 제어부(350)는 제1 영상 데이터(RGB1) 또는 보정 영상 데이터(RGB_C)를 그대로 데이터 구동부(330)에 제공할 수 있다. 제어 신호(CON)는 수평 동기 신호, 수직 동기 신호 및 클럭 신호를 포함할 수 있다. 타이밍 제어부(350)는 수평 동기 신호를 이용하여 수평 개시 신호를 생성할 수 있다. 타이밍 제어부(350)는 수직 동기 신호를 이용하여 수직 개시 신호를 생성할 수 있다. 타이밍 제어부(350)는 클럭 신호를 이용하여 제1 클럭 신호 및 제2 클럭 신호를 생성할 수 있다. 타이밍 제어부(350)는 수평 개시 신호 및 제1 클럭 신호를 제1 제어 신호(CTL1)로써, 데이터 구동부(330)에 공급할 수 있다. 타이밍 제어부(350)는 수직 개시 신호 및 제2 클럭 신호를 제2 제어 신호(CTL2)로써, 스캔 구동부(340)에 공급할 수 있다.
도 3에는 영상 보정부(320)가 타이밍 제어부(350)에 연결되는 것으로 도시하였으나, 영상 보정부(320)는 이에 한정되지 않는다. 예를 들어, 영상 보정부(320)는 타이밍 제어부(350) 내에 포함될 수 있다.
상술한 바와 같이, 헤드 마운트 디스플레이 장치(300)는 사용자 시야에 대응하는 제1 영상 데이터(RGB1) 및 사용자의 움직임에 기초하여 제1 영상 데이터(RGB1)에 상응하는 영상을 외곽으로부터 마스킹하여 사용자 시야의 범위를 조절하는 마스킹 영역의 면적을 제어함으로써, 사용자가 느끼는 영상의 움직임을 감소시키고, 표시 패널(310)의 중앙부에 표시되는 영상에 몰입하게 하는 표시 장치(300)를 포함할 수 있다. 따라서, 헤드 마운트 디스플레이 장치(300)의 사용 시 사용자가 느끼는 어지러움, 멀미 등의 불편함이 감소할 수 있다.
도 5는 도 3의 표시 장치에 포함되는 영상 보정부를 나타내는 블록도이고, 도 6은 도 5의 영상 보정부에 포함되는 제1 연산부 및 제2 연산부를 설명하기 위한 그래프이다. 도 7 및 도 8은 도 5의 영상 보정부에 포함되는 보정 영상 생성부를 설명하기 위한 도면들이다.
도 5를 참조하면, 영상 보정부(320)는 제1 연산부(322), 제2 연산부(324) 및 보정 영상 생성부(326)를 포함할 수 있다.
제1 연산부(322)는 움직임 정보(INFO_MO)에 기초하여 조절 계수(CC)를 연산할 수 있다. 움직임 정보(INFO_MO)는 두부 회전 속도 및 이동 속도를 포함할 수 있다. 조절 계수(CC)는 영상 데이터에 상응하는 영상을 마스킹하는 마스킹 영역의 면적을 나타내는 상수일 수 있다. 상기 영상 데이터에 상응하는 영상의 전체 면적이 1이라고 할 때, 마스킹 영역의 면적을 나타내는 조절 계수(CC)는 1이하의 소수 값을 가질 수 있다. 제1 연산부(322)는 수학식 1에 기초하여 조절 계수(CC)를 연산할 수 있다.
<수학식 1>
CC = (w1 x RV) + (w2 x MV)
이 때, CC는 조절 계수(CC)를 나타내고, w1은 제1 가중치를 나타내며, RV는 두부 회전 속도를 나타낸다. w2는 제2 가중치를 나타내고, MV는 이동 속도를 나타낸다.
제1 가중치 및 제2 가중치는 사용자의 설정에 의해 결정될 수 있다. 제1 가중치는 사용자의 두부의 회전, 마우스의 회전 등에 기초하여 사용자가 설정할 수 있다. 제2 가중치는 사용자의 두부의 이동, 키보드의 이동 등에 기초하여 사용자가 설정할 수 있다. 예를 들어, 사용자가 이동 동작보다 회전 동작에서 어지러움이나 멀미 등의 불편함을 많이 느끼는 경우, 제1 가중치의 값이 제2 가중치의 값보다 클 수 있다. 상술한 바와 같이, 움직임 정보(즉, 두부 회전 속도 및 이동 속도)는 센싱부로부터 입력받을 수 있다. 예를 들어, 센싱부는 속도 센서를 이용해서 두부 회전 속도 및 이동 속도를 측정할 수 있다. 또는, 센싱부는 각도 센서를 이용하여 두부 회전 각도 및 회전 시간을 측정하고, 두부 회전 각도 및 회전 시간에 기초하여 두부 회전 속도를 연산하며, 거리 측정 센서를 이용하여 이동 거리 및 이동 시간을 측정하고, 이동 거리 및 이동 시간에 기초하여 이동 속도를 연산할 수 있다. 제1 연산부(322)는 기 설정된 제1 가중치 및 제2 가중치, 센싱부에서 공급되는 두부 회전 속도 및 이동 속도에 기초하여 조절 계수(CC)를 연산할 수 있다. 조절 계수(CC)는 두부 회전 속도와 이동 속도에 각각의 가중치를 곱하여 더한 값이므로, 두부 회전 속도와 이동 속도가 증가할수록 증가할 수 있다. 즉, 두부 회전 속도와 이동 속도가 증가할수록 마스킹 영역의 면적이 증가할 수 있다. 제1 연산부(322)는 조절 계수(CC)를 제2 연산부(324)에 공급할 수 있다.
제2 연산부(324)는 조절 계수(CC)에 기초하여 스케일링 값(SV)을 연산할 수 있다. 스케일링 값(SV)은 영상 신호를 마스킹하는 마스킹 영역을 제외한 표시 영역의 면적을 나타내는 상수일 수 있다. 제2 연산부(324)는 조절 계수(CC)의 범위에 따라 스케일링 값(SV)을 연산할 수 있다.
제2 연산부(324)는 조절 계수(CC)가 기 설정된 임계 값보다 작은 경우, 수학식 2를 이용하여 스케일링 값(SV)을 연산할 수 있다.
<수학식 2>
SV = 1 CC
이 때, SV는 스케일링 값(SV)이고, CC는 조절 계수(CC) 일 수 있다. 조절 계수(CC)가 기 설정된 임계값 보다 작은 경우, 조절 계수(CC)가 증가할수록 스케일링 값(SV)이 감소할 수 있다. 즉, 마스킹 영역의 면적이 커질수록 영상이 표시되는 표시 영역의 면적이 감소할 수 있다.
제2 연산부(324)는 조절 계수(CC)가 기 설정된 임계 값보다 크거나 같은 경우, 수학식 3을 이용하여 스케일링 값(SV)을 연산할 수 있다.
<수학식 3>
SV = 1 THV
이 때, SV는 스케일링 값(SV)이고, THV는 기 설정된 임계값일 수 있다. 조절 계수(CC)가 기 설정된 임계값 보다 같거나 큰 경우, 조절 계수(CC)가 증가하여도 스케일링 값(SV)은 일정하게 유지될 수 있다. 즉, 제2 연산부(324)는 임계 값을 설정하여 마스킹 영역의 면적을 제한할 수 있다.
도 6을 참조하면, 조절 계수(CC)가 임계값보다 작은 경우, 스케일링 값(SV)이 감소하고, 조절 계수(CC)가 임계값과 같거나 큰 경우, 스케일링 값(SV)은 동일하게 유지될 수 있다. 예를 들어, 임계값이 0.6이고, 조절 계수(CC)가 0.6 미만인 경우, 제2 보정부는 조절 계수(CC)가 증가할수록 감소하는 스케일링 값(SV)을 생성하고, 조절 계수(CC)가 0.6과 같거나 큰 경우, 제2 보정부는 조절 계수(CC)가 증가하여도 0.4를 갖는 스케일링 값(SV)을 생성할 수 있다. 즉, 제2 연산부(324)는 사용자의 두부 회전 속도 및 이동 속도가 증가하여 마스킹 영역의 면적을 나타내는 조절 계수(CC)가 증가할지라도, 조절 계수(CC)가 임계값 이상인 경우 스케일링 값(SV)을 더 이상 감소시키지 않음으로써, 마스킹 영역의 면적을 제한할 수 있다.
보정 영상 생성부(326)는 제1 영상 데이터(RGB1) 및 스케일링 값(SV)에 기초하여 보정 영상 데이터(RGB_C)를 생성할 수 있다. 보정 영상 생성부(326)는 스케일링 값(SV)에 기초하여 마스킹 영역이 포함된 보정 영상 데이터(RGB_C)를 생성할 수 있다. 보정 영상 생성부(326)는 제1 영상 데이터(RGB1)에 대응하는 영상의 전체 면적이 1이라고 할 때, 소수 값을 갖는 스케일링 값(SV)에 해당하는 면적을 표시 패널의 중앙에 표시하고, 상기 제1 영상 데이터(RGB1)의 영상의 나머지 영역을 마스킹할 수 있다.
도 7을 참조하면, 제1 영상 데이터(RGB1)에 대응하는 영상의 전체 면적이 1이고, 스케일링 값(SV)이 1인 경우, 보정 영상 생성부(326)는 표시 영역(DA)의 면적이 1이고, 마스킹 영역(MA)의 면적이 0인 보정 영상 데이터(RGB_C)를 생성할 수 있다. 즉, 보정 영상 생성부(326)는 제1 영상 데이터(RGB1)를 그대로 보정 영상 데이터(RGB_C)로 생성하고, 표시 패널에 상기 보정 영상 데이터(RGB_C)에 상응하는 영상이 표시될 수 있다.
도 7을 참조하면, 제1 영상 데이터(RGB1)에 대응하는 영상의 전체 면적이 1이고, 스케일링 값(SV)이 0.6인 경우, 보정 영상 생성부(326)는 표시 영역(DA)의 면적이0.6이고, 마스킹 영역(MA)의 면적이 0.4인 보정 영상 데이터(RGB_C)를 생성할 수 있다. 스케일링 값(SV)이 감소할수록 상기 마스킹 영역(MA)은 표시 패널의 외곽에서 중앙부로 증가할 수 있다. 이 때, 제2 연산부(324)에서 조절 계수(CC)가 임계값 이상인 경우, 스케일링 값(SV)을 유지하도록 하므로, 마스킹 영역(MA)의 면적은 기 설정된 임계 면적 이상으로 확장되지 않을 수 있다.
도 7에 도시된 바와 같이, 보정 영상 생성부(326)는 표시 패널에 표시되는 영상을 사각형 모양으로 마스킹할 수 있다. 이 때, 마스킹 영역(MA)과 표시 영역(DA)의 경계부를 흐릿하게 하는 블러(blur) 처리 등을 통해 사용자가 영상을 자연스럽게 인지하도록 할 수 있다.
도 8에 도시된 바와 같이, 보정 영상 생성부(326)는 표시 패널에 표시되는 영상을 원형 모양으로 마스킹할 수 있다. 도 7 및 도 8에는 사각형 및 원형 모양을 갖는 마스킹 영역(MA)을 도시하였으나, 마스킹 영역(MA)의 모양은 이에 한정되지 않는다. 예를 들어, 마스킹 영역(MA)은 사용자가 표시 영역(DA)의 영상을 자연스럽게 인지할 수 있는 다각형 모양을 가질 수 있다.
상술한 바와 같이, 영상 보정부(320)는 사용자의 움직임 정보(INFO_MO)에 기초하여 조절 계수(CC)를 연산하고, 조절 계수(CC)에 기초하여 스케일링 값(SV)을 연산하며, 스케일링 값(SV)에 기초하여 보정 영상 데이터(RGB_C)를 생성할 수 있다. 영상 보정부(320)는 사용자의 움직임(즉, 두부 회전 속도 및 이동 속도)에 따라 표시 패널의 외곽부를 마스킹하는 보정 영상 데이터(RGB_C)를 생성함으로써, 헤드 마운트 디스플레이 장치의 사용 시 사용자가 느끼는 어지러움, 멀미 등의 불편함이 감소할 수 있다.
도 9는 본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치의 구동 방법을 나타내는 순서도이다.
도 9를 참조하면, 본 발명의 실시예들에 따른 헤드 마운트 디스플레이 장치의 구동 방법은 사용자의 움직임을 감지하여 움직임 정보를 생성하는 단계(S100), 움직임 정보 및 사용자의 시야에 대응하는 영상 데이터를 수신하는 단계(S120), 움직임 정보 및 영상 데이터에 기초하여 조절 계수를 연산하는 단계(S140), 조절 계수에 기초하여 영상 데이터에 상응하는 영상을 외곽으로부터 마스킹하여 사용자 시야의 범위를 조절하는 스케일링 값을 연산하는 단계(S160) 및 영상 데이터 및 스케일링 값에 기초하여 보정 영상 데이터를 생성하는 단계(S180)를 포함할 수 있다.
헤드 마운트 디스플레이 장치의 구동 방법은 사용자의 움직임을 감지하여 움직임 정보를 생성(S100)할 수 있다. 움직임 정보는 사용자의 두부 회전 속도 및 사용자의 이동 속도를 포함할 수 있다. 일 실시예에서, 헤드 마운트 디스플레이 장치의 센싱부에서 사용자의 움직임을 감지하여 움직임 정보를 생성할 수 있다. 예를 들어, 센싱부의 속도 센서 또는 가속도 센서는 사용자의 두부 회전 속도 및 이동 속도를 측정하여 움직임 정보로써 영상 보정부에 공급할 수 있다. 또는, 센싱부의 위치 센서는 사용자의 두부에 장착된 헤드 마운트 디스플레이 장치의 위치 정보에 따라 사용자의 두부 회전 속도 및 이동 속도가 계산된 움직임 정보를 영상 보정부에 공급할 수 있다. 다른 실시예에서, 헤드 마운트 디스플레이 장치의 표시 장치에서 사용자의 움직임 정보를 생성할 수 있다. 표시 장치는 사용자 시야에 대응하는 영상 데이터를 프레임 별로 저장하고, 프레임 간 영상 데이터의 변화량에 기초하여 사용자의 움직임을 연산할 수 있다.
헤드 마운트 디스플레이 장치의 구동 방법은 표시 장치에서 움직임 정보 및 사용자 시야에 대응하는 영상 데이터를 수신(S120)할 수 있다. 헤드 마운트 디스플레이 장치의 표시 장치는 센싱부에서 공급되는 움직임 정보를 수신하고, 영상 데이터를 수신할 수 있다. 또는, 헤드 마운트 디스플레이 장치의 표시 장치는 영상 데이터를 수신하고, 영상 데이터에 기초하여 움직임 정보를 연산할 수 있다.
헤드 마운트 디스플레이 장치의 구동 방법은 움직임 정보 및 영상 데이터에 기초하여 조절 계수를 연산(S140)할 수 있다. 조절 계수는 영상 데이터에 상응하는 영상을 마스킹하는 마스킹 영역의 면적을 나타내는 상수일 수 있다. 헤드 마운트 디스플레이 장치의 표시 장치는 두부 회전 속도와 이동 속도 각각에 가중치를 곱한 후 더하여 조절 계수를 연산할 수 있다. 두부 회전 속도와 이동 속도 각각에 곱하는 가중치는 사용자가 설정할 수 있다. 헤드 마운트 디스플레이 장치의 표시 장치는 수학식 1을 이용하여 조절 계수를 연산할 수 있다.
헤드 마운트 디스플레이 장치의 구동 방법은 조절 계수에 기초하여 영상 데이터에 상응하는 영상을 외곽으로부터 마스킹하는 마스킹 영역의 면적을 제어하는 스케일링 값을 연산(S160)할 수 있다. 스케일링 값은 영상 신호를 마스킹하는 마스킹 영역을 제외한 표시 영역의 면적을 나타내는 상수일 수 있다. 헤드 마운트 디스플레이 장치의 표시 장치는 조절 계수의 범위에 따라 스케일링 값을 연산할 수 있다. 헤드 마운트 디스플레이 장치의 표시 장치는 조절 계수가 기 설정된 임계 값보다 작은 경우, 수학식 2를 이용하여 스케일링 값을 연산할 수 있다. 이 때, 조절 계수가 증가할수록 스케일링 값이 감소할 수 있다. 즉, 두부 회전 속도 및 이동 속도가 증가할수록 마스킹 영역의 면적이 증가하고, 마스킹 영역의 면적이 커질수록 영상이 표시되는 표시 영역의 면적이 감소할 수 있다. 헤드 마운트 디스플레이 장치의 표시 장치는 조절 계수가 기 설정된 임계 값보다 크거나 같은 경우, 수학식3을 이용하여 스케일링 값을 연산할 수 있다. 이 때, 조절 계수가 증가하여도 스케일링 값은 일정하게 유지될 수 있다. 즉, 두부 회전 속도 및 이동 속도가 증가하여도 마스킹 영역의 면적은 기 설정된 임계 면적보다 작으므로, 표시 영역의 면적이 과도하게 작아지는 것을 방지할 수 있다.
헤드 마운트 디스플레이 장치의 구동 방법은 영상 데이터 및 스케일링 값에 기초하여 보정 영상 데이터를 생성(S180)할 수 있다. 헤드 마운트 디스플레이 장치의 표시 장치는 스케일링 값에 기초하여 마스킹 영역이 포함된 보정 영상 데이터를 생성할 수 있다. 일 실시예에서, 헤드 마운트 디스플레이 장치의 표시 장치는 영상의 외곽부를 사각형 모양으로 마스킹하는 보정 영상 데이터를 생성할 수 있다. 다른 실시예에서, 헤드 마운트 디스플레이 장치의 표시 장치는 영상의 외곽부를 원형 모양으로 마스킹하는 보정 영상 데이터를 생성할 수 있다. 스케일링 값이 감소하는 경우, 마스킹 영역은 영상의 외곽부로부터 중앙부로 확장될 수 있다.
상술한 바와 같이, 도 9의 헤드 마운트 디스플레이 장치의 구동 방법은 사용자의 움직임 정보에 기초하여 조절 계수를 연산하고, 조절 계수에 기초하여 스케일링 값을 연산하며, 스케일링 값에 기초하여 보정 영상 데이터를 생성할 수 있다. 헤드 마운트 디스플레이 장치의 구동 방법은 사용자의 움직임(즉, 두부 회전 속도 및 이동 속도)에 따라 표시 패널의 외곽부를 마스킹하는 보정 영상 데이터를 생성함으로써, 헤드 마운트 디스플레이 장치의 사용 시 사용자가 느끼는 어지러움, 멀미 등의 불편함이 감소할 수 있다.
본 발명은 표시 장치를 구비한 모든 전자 기기에 적용될 수 있다. 예를 들어, 본 발명은 텔레비전, 컴퓨터 모니터, 노트북, 디지털 카메라, 휴대폰, 스마트폰, 스마트패드, 타블렛 PC, 피디에이(PDA), 피엠피(PMP), MP3 플레이어, 네비게이션, 비디오폰, 헤드 마운트 디스플레이(Head Mount Display; HMD) 장치 등에 적용될 수 있다.
이상에서는 본 발명의 예시적인 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100, 200: 헤드 마운트 디스플레이 장치
110: 프로세서 120: 메모리 장치
130: 입출력 장치 140: 파워 서플라이
150: 센싱부 160, 220, 300: 표시 장치
310: 표시 패널 320: 영상 보정부
330: 데이터 구동부 340: 스캔 구동부
350: 타이밍 제어부

Claims (20)

  1. 표시 장치 및 상기 표시 장치를 제어하는 프로세서를 포함하는 헤드 마운트 디스플레이(Head Mount Display; HMD) 장치에 있어서, 상기 표시 장치는
    사용자 시야에 대응하는 영상 데이터 및 사용자의 움직임 정보를 수신하고, 상기 움직임 정보에 기초하여 상기 영상 데이터에 상응하는 영상의 외곽부를 마스킹하여 상기 사용자 시야의 범위를 조절하는 마스킹 영역의 면적을 제어하는 스케일링 값을 연산하며, 상기 영상 데이터 및 상기 스케일링 값에 기초하여 보정 영상 데이터를 생성하는 영상 보정부;
    상기 보정 영상 데이터에 기초하여 데이터 신호를 생성하는 데이터 구동부;
    스캔 신호를 생성하는 스캔 구동부;
    상기 데이터 구동부 및 상기 스캔 구동부를 제어하는 제어 신호를 생성하는 타이밍 제어부; 및
    상기 데이터 신호 및 상기 스캔 신호에 기초하여 상기 보정 영상 데이터에 상응하는 보정 영상을 표시하는 표시 패널을 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  2. 제1 항에 있어서, 상기 움직임 정보는 상기 사용자의 두부 회전 속도 및 상기 사용자의 이동 속도를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  3. 제2 항에 있어서, 상기 두부 회전 속도 및 상기 이동 속도가 증가할수록 상기 마스킹 영역의 면적이 증가하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  4. 제2 항에 있어서, 상기 마스킹 영역의 면적은 기 설정된 임계 면적보다 작은 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  5. 제1 항에 있어서,
    상기 사용자의 움직임을 감지하는 센싱부를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  6. 제1 항에 있어서, 상기 표시 장치는
    상기 영상 데이터를 프레임 별로 저장하고, 상기 프레임 간 상기 영상 데이터의 변화량에 기초하여 상기 사용자의 움직임을 연산하는 변화량 연산부를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  7. 제1 항에 있어서, 상기 마스킹 영역은 상기 영상의 상기 외곽부로부터 중앙으로 확장하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  8. 제1 항에 있어서, 상기 마스킹 영역은 상기 영상을 사각형 모양으로 마스킹하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  9. 제1 항에 있어서, 상기 마스킹 영역은 상기 영상을 원형 모양으로 마스킹하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  10. 제2 항에 있어서, 상기 영상 보정부는
    상기 두부 회전 속도 및 상기 이동 속도에 기초하여 조절 계수를 연산하는 제1 연산부;
    상기 조절 계수에 기초하여 상기 스케일링 값을 연산하는 제2 연산부; 및
    상기 스케일링 값에 기초하여 상기 보정 영상 데이터를 생성하는 보정 영상 생성부를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  11. 제10 항에 있어서, 상기 두부 회전 속도 및 상기 이동 속도가 증가할수록 상기 조절 계수가 증가하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  12. 제10 항에 있어서, 상기 조절 계수가 증가할수록 상기 스케일링 값이 감소하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  13. 제10 항에 있어서, 상기 제2 연산부는 상기 조절 계수가 기 설정된 최소 스케일링 값 이상인 경우, 상기 최소 스케일링 값을 상기 스케일링 값으로 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
  14. 사용자의 움직임을 감지하여 움직임 정보를 생성하는 단계;
    상기 움직임 정보 및 상기 사용자의 시야에 대응하는 영상 데이터를 수신하는 단계;
    상기 움직임 정보 및 상기 영상 데이터에 기초하여 조절 계수를 연산하는 단계;
    상기 조절 계수에 기초하여 상기 영상 데이터에 상응하는 영상의 외곽부를 마스킹하여 상기 사용자 시야의 범위를 조절하는 마스킹 영역의 면적을 제어하는 스케일링 값을 연산하는 단계; 및
    상기 영상 데이터 및 상기 스케일링 값에 기초하여 보정 영상 데이터를 생성하는 단계를 포함하는 헤드 마운트 디스플레이 장치의 구동 방법.
  15. 제14 항에 있어서, 상기 움직임 정보는 상기 사용자의 두부 회전 속도 및 상기 사용자의 이동 속도를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
  16. 제15 항에 있어서, 상기 두부 회전 속도 및 상기 이동 속도가 증가할수록 상기 마스킹 영역의 면적이 증가하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
  17. 제14 항에 있어서, 상기 마스킹 영역의 면적은 기 설정된 임계 면적보다 작은 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
  18. 제14 항에 있어서, 상기 움직임 정보를 생성하는 단계는 센싱부를 이용하여 상기 사용자의 움직임을 감지하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
  19. 제14 항에 있어서, 상기 움직임 정보를 생성하는 단계는 상기 영상 데이터를 프레임 별로 저장하고, 상기 프레임 간 상기 영상 데이터의 변화량에 기초하여 상기 사용자의 움직임을 연산하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
  20. 제14 항에 있어서, 상기 마스킹 영역은 상기 영상의 상기 외곽부로부터 중앙으로 확장하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 구동 방법.
KR1020180013626A 2018-02-02 2018-02-02 헤드 마운트 디스플레이 장치 및 이의 구동 방법 KR102519355B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180013626A KR102519355B1 (ko) 2018-02-02 2018-02-02 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US16/250,423 US11002959B2 (en) 2018-02-02 2019-01-17 Head mount display device and driving method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180013626A KR102519355B1 (ko) 2018-02-02 2018-02-02 헤드 마운트 디스플레이 장치 및 이의 구동 방법

Publications (2)

Publication Number Publication Date
KR20190094270A KR20190094270A (ko) 2019-08-13
KR102519355B1 true KR102519355B1 (ko) 2023-04-10

Family

ID=67475550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180013626A KR102519355B1 (ko) 2018-02-02 2018-02-02 헤드 마운트 디스플레이 장치 및 이의 구동 방법

Country Status (2)

Country Link
US (1) US11002959B2 (ko)
KR (1) KR102519355B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587807B2 (en) * 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10750092B2 (en) 2018-09-19 2020-08-18 Gopro, Inc. Systems and methods for stabilizing videos
US11137608B2 (en) 2019-09-25 2021-10-05 Electronics And Telecommunications Research Institute Slim immersive display device, slim visualization device, and user eye-tracking device
FR3104290B1 (fr) * 2019-12-05 2022-01-07 Airbus Defence & Space Sas Jumelles de visee de simulation, et systeme et procedes de simulation
US11367165B2 (en) * 2020-05-19 2022-06-21 Facebook Technologies, Llc. Neural super-sampling for real-time rendering
US11686927B2 (en) 2020-08-26 2023-06-27 Electronics And Telecommunications Research Institute Slim immersive display device and slim visualization device
CN113208766B (zh) * 2021-05-10 2022-08-05 江南大学 一种晕动症小鼠造模装置及造模方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189429A1 (en) 2014-12-30 2016-06-30 Sony Computer Entertainment Inc. Scanning display system in head-mounted display for virtual reality
JP2017195552A (ja) 2016-04-21 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPM701394A0 (en) * 1994-07-22 1994-08-18 Monash University A graphical display system
US6157396A (en) * 1999-02-16 2000-12-05 Pixonics Llc System and method for using bitstream information to process images for use in digital display systems
US7128270B2 (en) * 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
US20060026253A1 (en) * 2004-07-29 2006-02-02 International Business Machines Corporation Using windowed user interface z-order with collaboration data for improved management of acknowledge of incoming instant messages
KR101147427B1 (ko) * 2010-03-02 2012-05-22 삼성모바일디스플레이주식회사 유기 발광 표시 장치 및 그의 구동 방법
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
KR102068165B1 (ko) * 2012-10-24 2020-01-21 삼성디스플레이 주식회사 타이밍 컨트롤러 및 이를 포함하는 표시 장치
US9645395B2 (en) 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
JP6337433B2 (ja) 2013-09-13 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR102178298B1 (ko) 2014-11-21 2020-11-12 삼성전자주식회사 이미지 표시 제어 방법 및 이를 지원하는 장치
KR102296435B1 (ko) * 2014-12-30 2021-09-03 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
KR102297514B1 (ko) 2015-07-02 2021-09-03 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2017149370A1 (en) * 2016-03-01 2017-09-08 Brightway Vision Ltd. Gated imaging apparatus, system and method
US10911675B2 (en) * 2017-12-28 2021-02-02 Samsung Electronics Co., Ltd. Method for providing shake correction, signal processing device performing the method, and imaging device including the signal processing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189429A1 (en) 2014-12-30 2016-06-30 Sony Computer Entertainment Inc. Scanning display system in head-mounted display for virtual reality
JP2018503114A (ja) 2014-12-30 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 仮想現実用ヘッドマウントディスプレイにおける走査ディスプレイシステム
JP2017195552A (ja) 2016-04-21 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
US20190172410A1 (en) 2016-04-21 2019-06-06 Sony Interactive Entertainment Inc. Image processing device and image processing method

Also Published As

Publication number Publication date
US20190243131A1 (en) 2019-08-08
US11002959B2 (en) 2021-05-11
KR20190094270A (ko) 2019-08-13

Similar Documents

Publication Publication Date Title
KR102519355B1 (ko) 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US10983593B2 (en) Wearable glasses and method of displaying image via the wearable glasses
US10078367B2 (en) Stabilization plane determination based on gaze location
US11238832B2 (en) Electronic device and method for driving display of electronic device
KR20170033462A (ko) 전자 기기 및 헤드 마운트 디스플레이 장치의 영상 표시 방법
CN112639943A (zh) 用于改善头戴式显示器的颜色均匀性的凹式颜色校正
US11308685B2 (en) Rendering computer-generated reality text
US20230377249A1 (en) Method and Device for Multi-Camera Hole Filling
KR20190071021A (ko) 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US20220397958A1 (en) Slippage resistant gaze tracking user interfaces
US20210090342A1 (en) Optimal Luminance Mapping for Augmented Reality Devices
US11631382B2 (en) Electronic device for controlling display position or area of image on basis of change of content of image
KR102486421B1 (ko) 헤드 마운트 디스플레이 장치 및 이의 동작 방법
US11508336B2 (en) Head mounted display device and driving method thereof
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
CN112308906B (zh) 视角校正方法、虚拟实境显示系统与运算装置
US20230396752A1 (en) Electronic Device that Displays Virtual Objects
TWI757872B (zh) 整合動作感測器的擴增實境系統與擴增實境顯示方法
US11710463B1 (en) Information processing device and control method
CN114253389B (zh) 整合动作感测器的增强现实系统与增强现实显示方法
US20220180473A1 (en) Frame Rate Extrapolation
US11335240B2 (en) Electronic device including display driving circuit for displaying corrected time information on basis of temperature information
US11706383B1 (en) Presenting video streams on a head-mountable device
CN115066668A (zh) 显示控制装置、显示控制方法和记录介质
TW202403509A (zh) 用於擴增實境裝置之平滑物件校正

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant