KR102235903B1 - Image optimization method of head mounted display apparatus using two illuminance sensors - Google Patents

Image optimization method of head mounted display apparatus using two illuminance sensors Download PDF

Info

Publication number
KR102235903B1
KR102235903B1 KR1020190014724A KR20190014724A KR102235903B1 KR 102235903 B1 KR102235903 B1 KR 102235903B1 KR 1020190014724 A KR1020190014724 A KR 1020190014724A KR 20190014724 A KR20190014724 A KR 20190014724A KR 102235903 B1 KR102235903 B1 KR 102235903B1
Authority
KR
South Korea
Prior art keywords
illuminance
image
head
display device
augmented reality
Prior art date
Application number
KR1020190014724A
Other languages
Korean (ko)
Other versions
KR20200097408A (en
Inventor
김영빈
최치원
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190014724A priority Critical patent/KR102235903B1/en
Publication of KR20200097408A publication Critical patent/KR20200097408A/en
Application granted granted Critical
Publication of KR102235903B1 publication Critical patent/KR102235903B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

본 발명은 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 관한 것으로서, 보다 구체적으로는 실제 세계와 함께 증강현실의 영상 정보를 사용자에게 제공하는 머리 착용형 디스플레이 장치의 영상 최적화 방법으로서, (1) 상기 머리 착용형 디스플레이 장치의 외부의 조도를 감지하는 제1 조도 센서로부터 제1 조도를 검출하는 단계; (2) 상기 머리 착용형 디스플레이 장치를 착용한 사용자의 양안의 전방에서 상기 머리 착용형 디스플레이 장치의 내부의 조도를 감지하는 제2 조도 센서로부터 제2 조도를 검출하는 단계; (3) 상기 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값을 결정하는 단계; 및 (4) 상기 결정된 영상의 보정값으로 상기 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 증강현실의 영상을 조절하는 단계를 포함하여, 상기 제1 조도 및 제2 조도에 기초하여 상기 디스플레이를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 따르면, 머리 착용형 디스플레이 장치의 외부의 조도와 내부의 조도를 검출하여 영상의 밝기 및 콘트라스트 등의 보정값을 결정하여 증강현실의 영상을 조절함으로써, 주변 환경의 변화와 관계없이 시인성이 향상된 증강현실의 영상 정보를 사용자에게 제공할 수 있고, 주변 환경뿐 아니라 사용자가 직접 시각적으로 체감하는 장치 내부의 조도까지 반영하여 정밀한 영상의 보정을 할 수 있어서, 최적화된 증강현실 영상 정보를 제공할 수 있다.
또한, 본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 따르면, 2개의 조도 센서에서 검출된 조도에 기초하여 디스플레이를 통해 출력되는 증강현실의 보정값을 자동으로 결정하고 제어함으로써, 별도의 사용자 조작 없이도 증강현실의 영상 정보가 사용자에게 최적화되어 선명하게 제공될 수 있으며, 사용자 편의성이 향상되고 눈의 피로도를 줄일 수 있다.The present invention relates to an image optimization method of a head-worn display device using two illuminance sensors, and more specifically, as an image optimization method of a head-worn display device that provides image information of augmented reality together with the real world to a user. , (1) detecting a first illuminance from a first illuminance sensor for sensing external illuminance of the head-worn display device; (2) detecting a second illuminance from a second illuminance sensor that senses an inner illuminance of the head-worn display device in front of both eyes of a user wearing the head-worn display device; (3) determining a correction value including at least one of brightness and contrast of an image using the detected first and second illuminances; And (4) adjusting the augmented reality image output from the display of the head wearable display device with the determined correction value of the image, and output through the display based on the first and second illuminances. It is a feature of its configuration to control so that the image information of the augmented reality can be clearly provided to the user.
According to the image optimization method of a head-worn display device using two illuminance sensors proposed in the present invention, correction values such as brightness and contrast of the image are calculated by detecting the external and internal illuminance of the head-worn display device. By determining and adjusting the augmented reality image, it is possible to provide the user with image information of augmented reality with improved visibility regardless of changes in the surrounding environment, and reflect not only the surrounding environment but also the illumination inside the device that the user directly visually perceives. Thus, accurate image correction can be performed, thereby providing optimized augmented reality image information.
In addition, according to the image optimization method of a head-worn display device using two illuminance sensors proposed in the present invention, a correction value of augmented reality output through the display is automatically calculated based on the illuminance detected by the two illuminance sensors. By determining and controlling, the image information of augmented reality can be optimized and clearly provided to the user without a separate user manipulation, user convenience can be improved, and eye fatigue can be reduced.

Description

2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법{IMAGE OPTIMIZATION METHOD OF HEAD MOUNTED DISPLAY APPARATUS USING TWO ILLUMINANCE SENSORS}Image optimization method of head-worn display device using two illuminance sensors {IMAGE OPTIMIZATION METHOD OF HEAD MOUNTED DISPLAY APPARATUS USING TWO ILLUMINANCE SENSORS}

본 발명은 머리 착용형 디스플레이 장치의 영상 최적화 방법에 관한 것으로서, 보다 구체적으로는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 관한 것이다.The present invention relates to a method for optimizing an image of a head-worn display device, and more particularly, to a method for optimizing an image of a head-worn display device using two illuminance sensors.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
Various wearable devices are being developed according to the trend of lightening and miniaturization of digital devices. A head mounted display, which is a type of wearable device, refers to various devices that can be worn by a user to receive multimedia contents and the like. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. These head-mounted displays (HMD) are divided into see-through type and see-closed type, and the transmissive type is mainly used for Augmented Reality (AR), and the sealed type is mainly used for virtual reality (Virtual Reality). Reality, VR).

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
FIG. 1 is a diagram showing a schematic configuration of a general glasses-type head mounted display (HMD), and FIG. 2 is a diagram illustrating a schematic configuration of a general band-type head mounted display (HMD). As shown in FIGS. 1 and 2, respectively, the head-mounted display in the form of glasses or bands projects image information of augmented reality (AR) onto the real world through a lens worn on the face or head of the user and transmitted. Will be provided to the user.

이러한 헤드 마운티드 디스플레이는, 실제 세계와 함께 영상 정보를 결합하여 증강된 영상을 제공하기 때문에, 주변 환경의 밝기에 따라 영상 정보의 선명도가 변화하며, 특히 자외선의 세기가 강한 실외의 환경 등 밝은 곳에서는 증강현실의 영상 정보가 선명하게 제공되기 어려운 문제가 있었다. 즉, 종래의 헤드 마운티드 디스플레이는 햇빛이 강한 밝은 실외 또는 햇빛이 약한 실내에 따라 사용자에게 증강현실의 영상 정보가 선명하게 제공되지 못하고, 그에 따른 사용의 불편함이 발생되는 문제가 있었다.
Since such a head-mounted display provides an augmented image by combining image information with the real world, the clarity of image information changes according to the brightness of the surrounding environment. There was a problem that it was difficult to clearly provide image information of augmented reality. That is, in the conventional head-mounted display, image information of augmented reality cannot be clearly provided to a user according to bright outdoors with strong sunlight or indoors with weak sunlight, resulting in inconvenience of use.

한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2018-0049739호(발명의 명칭: HMD 이동 단말기 및 그의 동작 방법, 공개일자: 2018년 05월 11일) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, Patent Publication No. 10-2018-0049739 (name of the invention: HMD mobile terminal and its operation method, publication date: May 11, 2018) and the like have been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 머리 착용형 디스플레이 장치의 외부의 조도와 내부의 조도를 검출하여 영상의 밝기 및 콘트라스트 등의 보정값을 결정하여 증강현실의 영상을 조절함으로써, 주변 환경의 변화와 관계없이 시인성이 향상된 증강현실의 영상 정보를 사용자에게 제공할 수 있고, 주변 환경뿐 아니라 사용자가 직접 시각적으로 체감하는 장치 내부의 조도까지 반영하여 정밀한 영상의 보정을 할 수 있어서, 최적화된 증강현실 영상 정보를 제공할 수 있는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed to solve the above problems of the previously proposed methods, and is augmented by determining correction values such as brightness and contrast of an image by detecting external and internal illuminance of a head-worn display device. By adjusting the actual image, it is possible to provide the user with image information of augmented reality with improved visibility irrespective of changes in the surrounding environment, and a precise image by reflecting not only the surrounding environment but also the illuminance inside the device that the user directly visually perceives. It is an object of the present invention to provide a method for optimizing an image of a head-worn display device using two illuminance sensors, which can correct augmented reality image information and provide optimized augmented reality image information.

또한, 본 발명은, 2개의 조도 센서에서 검출된 조도에 기초하여 디스플레이를 통해 출력되는 증강현실의 보정값을 자동으로 결정하고 제어함으로써, 별도의 사용자 조작 없이도 증강현실의 영상 정보가 사용자에게 최적화되어 선명하게 제공될 수 있으며, 사용자 편의성이 향상되고 눈의 피로도를 줄일 수 있는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention automatically determines and controls the correction value of the augmented reality output through the display based on the illuminance detected by the two illuminance sensors, so that the image information of the augmented reality is optimized for the user without a separate user operation. Another object of the present invention is to provide a method for optimizing an image of a head-worn display device using two illuminance sensors, which can be clearly provided, improve user convenience, and reduce eye fatigue.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법은,An image optimization method of a head-worn display device using two illuminance sensors according to a feature of the present invention for achieving the above object,

실제 세계와 함께 증강현실의 영상 정보를 사용자에게 제공하는 머리 착용형 디스플레이 장치의 영상 최적화 방법으로서,As an image optimization method of a head-worn display device that provides image information of augmented reality together with the real world to a user,

(1) 상기 머리 착용형 디스플레이 장치의 외부의 조도를 감지하는 제1 조도 센서로부터 제1 조도를 검출하는 단계;(1) detecting a first illuminance from a first illuminance sensor that detects an external illuminance of the head-worn display device;

(2) 상기 머리 착용형 디스플레이 장치를 착용한 사용자의 양안의 전방에서 상기 머리 착용형 디스플레이 장치의 내부의 조도를 감지하는 제2 조도 센서로부터 제2 조도를 검출하는 단계;(2) detecting a second illuminance from a second illuminance sensor that senses an inner illuminance of the head-worn display device in front of both eyes of a user wearing the head-worn display device;

(3) 상기 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값을 결정하는 단계; 및(3) determining a correction value including at least one of brightness and contrast of an image using the detected first and second illuminances; And

(4) 상기 결정된 영상의 보정값으로 상기 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 증강현실의 영상을 조절하는 단계를 포함하여,(4) including the step of adjusting the augmented reality image output from the display of the head wearable display device with the determined correction value of the image,

상기 제1 조도 및 제2 조도에 기초하여 상기 디스플레이를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어하는 것을 그 구성상의 특징으로 한다.
The configuration is characterized in that, based on the first illuminance and the second illuminance, the augmented reality image information output through the display is controlled to be clearly provided to the user.

바람직하게는, 상기 보정값은,Preferably, the correction value,

영상의 명암, 채도 및 색감을 포함하는 군에서 선택된 적어도 하나 이상을 더 포함할 수 있다.
It may further include at least one or more selected from the group including contrast, saturation, and color of the image.

바람직하게는, 상기 단계 (3)에서는,Preferably, in step (3),

상기 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 증강현실의 영상 정보를 더 이용하여, 상기 영상의 보정값을 결정할 수 있다.
The correction value of the image may be determined by further using image information of augmented reality output from the display of the head-worn display device.

바람직하게는, 상기 단계 (3)에서는,Preferably, in step (3),

상기 제1 조도, 제2 조도 및 제1 조도와 제2 조도의 차이를 이용하여, 상기 보정값을 결정할 수 있다.
The correction value may be determined by using the first illuminance, the second illuminance, and the difference between the first illuminance and the second illuminance.

바람직하게는,Preferably,

상기 단계 (3)에서는, 상기 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 실제 세계와 증강현실의 영상 정보의 밝기 및 콘트라스트 중 적어도 하나를 각각 결정하며,In the step (3), at least one of brightness and contrast of image information of the real world and augmented reality output from the display of the head wearable display device is respectively determined,

상기 단계 (4)에서는, 상기 결정된 밝기 및 콘트라스트 중 적어도 하나로 상기 실제 세계 및 증강현실의 영상 정보를 각각 조절할 수 있다.
In the step (4), the image information of the real world and the augmented reality may be respectively adjusted by at least one of the determined brightness and contrast.

바람직하게는, 상기 단계 (4)에서는,Preferably, in step (4),

상기 결정된 영상의 보정값으로 상기 디스플레이에서 출력되는 증강현실의 영상을 단계적으로 조절할 수 있다.
The augmented reality image output from the display may be stepwise adjusted with the determined correction value of the image.

바람직하게는, 상기 머리 착용형 디스플레이 장치는,Preferably, the head wearable display device,

사용자가 머리에 착용할 수 있는 HMD 프레임;HMD frame that the user can wear on the head;

상기 HMD 프레임의 전방에 설치되며, 외부의 조도를 감지하기 위한 제1 조도 센서; 및A first illuminance sensor installed in front of the HMD frame and configured to sense external illuminance; And

상기 HMD 프레임의 후방에 설치되며, 상기 HMD 프레임 내부의 조도를 감지하기 위한 제2 조도 센서를 포함할 수 있다.
It is installed at the rear of the HMD frame, and may include a second illuminance sensor for detecting the illuminance inside the HMD frame.

더욱 바람직하게는, 상기 머리 착용형 디스플레이 장치는,More preferably, the head wearable display device,

실제 세계와 함께 증강현실의 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이; 및A display that outputs image light so that image information of augmented reality together with the real world can be provided to a user in an optimized screen; And

상기 디스플레이에서 출력되는 증강현실의 영상 신호를 생성하여 상기 디스플레이로 전송하되, 상기 제1 조도 센서 및 제2 조도 센서에 의해 감지되는 제1 조도 및 제2 조도에 따라 결정된 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값으로 상기 디스플레이에서 출력되는 증강현실의 영상을 조절하는 제어부를 포함할 수 있다.The augmented reality image signal output from the display is generated and transmitted to the display, but the brightness and contrast of the image determined according to the first and second illuminances sensed by the first and second illuminance sensors. ) May include a control unit that adjusts the augmented reality image output from the display with a correction value including at least one of.

본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 따르면, 머리 착용형 디스플레이 장치의 외부의 조도와 내부의 조도를 검출하여 영상의 밝기 및 콘트라스트 등의 보정값을 결정하여 증강현실의 영상을 조절함으로써, 주변 환경의 변화와 관계없이 시인성이 향상된 증강현실의 영상 정보를 사용자에게 제공할 수 있고, 주변 환경뿐 아니라 사용자가 직접 시각적으로 체감하는 장치 내부의 조도까지 반영하여 정밀한 영상의 보정을 할 수 있어서, 최적화된 증강현실 영상 정보를 제공할 수 있다.
According to the image optimization method of a head-worn display device using two illuminance sensors proposed in the present invention, correction values such as brightness and contrast of the image are calculated by detecting the external and internal illuminance of the head-worn display device. By determining and adjusting the augmented reality image, it is possible to provide the user with image information of augmented reality with improved visibility regardless of changes in the surrounding environment, and reflect not only the surrounding environment but also the illumination inside the device that the user directly visually perceives. Thus, accurate image correction can be performed, thereby providing optimized augmented reality image information.

또한, 본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 따르면, 2개의 조도 센서에서 검출된 조도에 기초하여 디스플레이를 통해 출력되는 증강현실의 보정값을 자동으로 결정하고 제어함으로써, 별도의 사용자 조작 없이도 증강현실의 영상 정보가 사용자에게 최적화되어 선명하게 제공될 수 있으며, 사용자 편의성이 향상되고 눈의 피로도를 줄일 수 있다.In addition, according to the image optimization method for a head-worn display device using two illuminance sensors proposed in the present invention, the correction value of augmented reality output through the display is automatically calculated based on the illuminance detected by the two illuminance sensors. By determining and controlling, image information of augmented reality can be optimized and clearly provided to the user without a separate user manipulation, user convenience can be improved, and eye fatigue can be reduced.

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법의 구현을 위한 머리 착용형 디스플레이 장치의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법의 구현을 위한 머리 착용형 디스플레이 장치에서, AR 이벤트 처리부의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법의 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 의해 최적화되어 제공되는 증강현실 화면을 예를 들어 도시한 도면.1 is a diagram showing a schematic configuration of a general glasses-type head mounted display (HMD).
2 is a diagram showing a schematic configuration of a general band-type head mounted display (HMD).
3 is a diagram showing a configuration of a head-worn display device for implementing an image optimization method of a head-worn display device using two illuminance sensors according to an embodiment of the present invention.
4 is a diagram showing a detailed configuration of an AR event processing unit in a head-worn display device for implementing an image optimization method of a head-worn display device using two illuminance sensors according to an embodiment of the present invention.
5 is a diagram illustrating a flow of a method for optimizing an image of a head-worn display device using two illuminance sensors according to an embodiment of the present invention.
6 is an example of an augmented reality screen optimized and provided by an image optimization method of a head-worn display device using two illuminance sensors according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is said to be'connected' with another part, it is not only'directly connected', but also'indirectly connected' with another element in the middle. Includes. In addition, "including" certain components means that other components may be further included rather than excluding other components unless otherwise stated.

도 3은 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법의 구현을 위한 머리 착용형 디스플레이 장치(100)의 구성을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법의 구현을 위한 머리 착용형 디스플레이 장치(100)에서, AR 이벤트 처리부(180)의 세부적인 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법은, HMD 프레임(110), 제1 조도 센서(120), 제2 조도 센서(130), 디스플레이(140) 및 제어부(150)를 포함하여 구성될 수 있으며, 전원 공급부(160), 스위치부(170), AR 이벤트 처리부(180) 및 통신부(190)를 더 포함하여 구성될 수 있는 머리 착용형 디스플레이 장치(100)에서 구현될 수 있다.
3 is a diagram showing the configuration of a head-worn display device 100 for implementing an image optimization method of the head-worn display device 100 using two illuminance sensors according to an embodiment of the present invention. 4 shows details of the AR event processing unit 180 in the head-worn display device 100 for implementing an image optimization method of the head-worn display device 100 using two illuminance sensors according to an embodiment of the present invention. It is a diagram showing a typical configuration. As shown in Figure 3, the image optimization method of the head wearable display device 100 using two illuminance sensors according to an embodiment of the present invention, the HMD frame 110, the first illuminance sensor 120, It may be configured to include a second illuminance sensor 130, display 140, and control unit 150, and further includes a power supply unit 160, a switch unit 170, an AR event processing unit 180, and a communication unit 190. It may be implemented in the head wearable display device 100 that may be configured to include.

HMD 프레임(110)은, 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이(140) 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.
The HMD frame 110 is a frame configuration of the head-worn display device 100 that the user can wear on the head. The HMD frame 110 may be configured in the form of a helmet or goggles having a frame structure that allows light to enter while the user is wearing it on the head. Here, when the HMD frame 110 has a helmet shape, it may be configured with a helmet (not shown) worn on the user's head and a frame (not shown) of the display 140 disposed in front of the helmet. In addition, when the HMD frame 110 is configured in the form of goggles, it may be configured with a band frame (not shown) that can be worn on the user's head, and a goggle frame (not shown) fastened and fixed to the band frame.

제1 조도 센서(120)는, HMD 프레임(110)의 전방에 설치되며, 외부의 조도를 감지할 수 있다. 즉, 제1 조도 센서(120)는, 머리 착용형 디스플레이 장치(100) 외부에서 주변 환경의 조도인 제1 조도를 감지함으로써, 추후 상세히 설명할 제어부(150)가 주변 환경 변화에 따라 증강현실의 영상을 능동적으로 조절하도록 할 수 있다.
The first illuminance sensor 120 is installed in front of the HMD frame 110 and may detect external illuminance. That is, the first illuminance sensor 120 senses the first illuminance, which is the illuminance of the surrounding environment from the outside of the head-worn display device 100, so that the controller 150, which will be described in detail later, can be used in augmented reality according to changes in the surrounding environment. You can actively adjust the image.

제2 조도 센서(130)는, HMD 프레임(110)의 후방에 설치되며, HMD 프레임(110) 내부의 조도를 감지할 수 있다. 즉, 제2 조도 센서(130)는, 머리 착용형 디스플레이 장치(100)의 내부에서 사용자의 눈과 디스플레이(140) 사이의 조도인 제2 조도를 감지함으로써, 추후 상세히 설명할 제어부(150)가 더욱 정밀하게 증강현실의 영상을 능동적으로 조절하도록 할 수 있다.
The second illuminance sensor 130 is installed at the rear of the HMD frame 110 and may detect illuminance inside the HMD frame 110. That is, the second illuminance sensor 130 detects the second illuminance, which is the illuminance between the user's eyes and the display 140, inside the head-worn display device 100, so that the controller 150 to be described in detail later More precisely, the augmented reality image can be actively adjusted.

디스플레이(140)는, 실제 세계와 함께 증강현실의 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 디스플레이(140)는 시스루(See-Through) 타입일 수 있으며, 제1 조도 센서(120) 및 제2 조도 센서(130)에 의해 검출된 조도에 따라 출력되는 영상 광이 제어될 수 있다.
The display 140 may output image light so that image information of augmented reality together with the real world may be provided to a user in an optimized screen. The display 140 may be of a see-through type, and image light output according to the illuminance detected by the first illuminance sensor 120 and the second illuminance sensor 130 may be controlled.

제어부(150)는, 디스플레이(140)에서 출력되는 증강현실의 영상 신호를 생성하여 디스플레이(140)로 전송하되, 제1 조도 센서(120) 및 제2 조도 센서(130)에 의해 감지되는 제1 조도 및 제2 조도에 따라 결정된 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값으로 디스플레이(140)에서 출력되는 증강현실의 영상을 조절할 수 있다. 즉, 제어부(150)는, 제1 조도 센서(120) 및 제2 조도 센서(130)에서 감지된 제1 조도 및 제2 조도에 기초하여 디스플레이(140)를 통해 출력되는 증강현실의 영상 정보를 사용자에게 선명하게 제공할 수 있다.
The controller 150 generates an augmented reality image signal output from the display 140 and transmits it to the display 140, but the first illumination sensor 120 and the second illumination sensor 130 The augmented reality image output from the display 140 may be adjusted with a correction value including at least one of brightness and contrast of the image determined according to the illuminance and the second illuminance. That is, the control unit 150 may display the image information of augmented reality output through the display 140 based on the first and second illuminances detected by the first illuminance sensor 120 and the second illuminance sensor 130. It can be clearly provided to the user.

또한, 제어부(150)는 머리 착용형 디스플레이 장치(100)의 증강현실 구동 시에 사용자가 증강현실(AR) 이벤트 요청에 대응한 증강현실의 영상 정보를 외부의 증강현실 데이터 서버로 요청하여 제공받아 내부 메모리에 저장하고, 디스플레이(140)를 통해 해당 증강현실의 영상 정보를 제공하는 역할을 하며, 증강현실 어플리케이션을 탑재하여 실행할 수 있다.
In addition, the control unit 150 receives the augmented reality image information corresponding to the AR event request from an external AR data server by the user when the augmented reality is driven by the head wearable display device 100. It is stored in an internal memory, serves to provide image information of the augmented reality through the display 140, and can be executed by mounting an augmented reality application.

한편, 머리 착용형 디스플레이 장치(100)는 머리 착용형 디스플레이 장치(100)의 증강현실 구동을 위한 전원을 공급하기 위한 전원 공급부(160)와, 전원 공급부(160)의 온/오프를 위한 스위치부(170)와, 증강현실의 정보를 요청하기 위한 지리 위치 정보와 이미지 정보를 제공하기 위한 GPS 모듈(181) 및 카메라(182)를 구비하는 AR 이벤트 처리부(180)와, AR 이벤트 처리부(180)의 증강현실 정보 이벤트를 제어부(150)의 제어 하에 외부의 증강현실 데이터 서버로 전송하여 해당하는 증강현실 정보를 제공받기 위해 데이터 통신을 수행하는 통신부(190)를 더 포함하여 구성할 수 있다.
Meanwhile, the head-worn display device 100 includes a power supply unit 160 for supplying power for driving the augmented reality of the head-worn display device 100 and a switch unit for on/off of the power supply unit 160 (170), an AR event processing unit 180 including a GPS module 181 and a camera 182 for providing geographic location information and image information for requesting information on augmented reality, and an AR event processing unit 180 A communication unit 190 performing data communication to receive corresponding augmented reality information by transmitting the augmented reality information event of the augmented reality data to an external augmented reality data server under the control of the controller 150 may be further included.

또한, 스위치부(170)는 전원 공급부(160)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다.
In addition, the switch unit 170 is installed on one side of the HMD frame 110 with a switch for on/off of the power supply unit 160, or is formed in a separate device connected to the HMD frame 110 by wire. I can.

AR 이벤트 처리부(180)는 증강현실 구동 시 사용자가 바라보는 시선에서 카메라(182)로 촬영되는 영상과 GPS 모듈(181)의 지리 위치 정보로 AR 이벤트 처리를 요청할 수 있다. 또한, 통신부(190)는 외부 증강현실 데이터 서버(미도시)와 인터넷 연결 접속을 통해 AR 이벤트 요청 및 그에 해당하는 AR 정보를 제공받을 수 있는 데이터 통신을 수행할 수 있다. 여기서, 통신부(190)는 인터넷 접속이 가능한 3G/4G 및 LTE를 포함하는 다양한 통신 방식이 적용되는 것으로 이해될 수 있다.
The AR event processing unit 180 may request AR event processing based on an image captured by the camera 182 from a gaze viewed by the user when the augmented reality is driven and geographic location information of the GPS module 181. In addition, the communication unit 190 may perform data communication capable of receiving an AR event request and corresponding AR information through an Internet connection connection with an external augmented reality data server (not shown). Here, it may be understood that the communication unit 190 applies various communication methods including 3G/4G and LTE in which Internet access is possible.

또한, 머리 착용형 디스플레이 장치(100)는 디스플레이(140)를 통해 제공되는 증강현실의 영상 정보에 대응하는 음성신호 입출력 모듈을 더 포함할 수 있으며, 음성신호 입출력 모듈은 HMD 프레임(110)에 배치되는 마이크, 스피커 등으로 구성될 수 있다.
In addition, the head-worn display device 100 may further include a voice signal input/output module corresponding to image information of augmented reality provided through the display 140, and the voice signal input/output module is disposed in the HMD frame 110. It may be composed of a microphone, speaker, etc.

도 5는 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법의 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법은, 머리 착용형 디스플레이 장치(100)의 외부의 조도를 감지하는 제1 조도 센서(120)로부터 제1 조도를 검출하는 단계(S100), 머리 착용형 디스플레이 장치(100)의 내부의 조도를 감지하는 제2 조도 센서(130)로부터 제2 조도를 검출하는 단계(S200), 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트 중 적어도 하나를 포함하는 보정값을 결정하는 단계(S300) 및 결정된 보정값으로 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상을 조절하는 단계(S400)를 포함하여 구현될 수 있다. 이를 통해, 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법은, 제1 조도 및 제2 조도에 기초하여 디스플레이(140)를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어할 수 있다.
5 is a diagram illustrating a flow of an image optimization method of a head-worn display device 100 using two illuminance sensors according to an embodiment of the present invention. As shown in FIG. 5, the image optimization method of the head-worn display device 100 using two illuminance sensors according to an embodiment of the present invention detects the external illuminance of the head-worn display device 100. The step of detecting the first illuminance from the first illuminance sensor 120 (S100), the step of detecting the second illuminance from the second illuminance sensor 130 that detects the inner illuminance of the head wearable display device 100 (S200), determining a correction value including at least one of the brightness and contrast of the image using the detected first and second illuminances (S300), and the head-worn display device 100 using the determined correction value. It may be implemented including the step of adjusting the augmented reality image output from the display 140 (S400). Through this, the image optimization method of the head-worn display device 100 using two illuminance sensors according to an embodiment of the present invention is augmentation output through the display 140 based on the first illuminance and the second illuminance. It is possible to control so that real image information can be clearly provided to the user.

단계 S100에서는, 머리 착용형 디스플레이 장치(100)의 외부의 조도를 감지하는 제1 조도 센서(120)로부터 제1 조도를 검출할 수 있다. 즉, 제어부(150)는 제1 조도 센서(120)에서 수신된 조도(illuminance) 신호로부터 제1 조도를 검출하며, 제1 조도는 머리 착용형 디스플레이 장치(100)의 외부 환경의 조도일 수 있다. 산출되는 제1 조도는 0 내지 130,000 lux일 수 있다.
In step S100, the first illuminance may be detected from the first illuminance sensor 120 that detects the external illuminance of the head-worn display device 100. That is, the controller 150 detects the first illuminance from the illuminance signal received from the first illuminance sensor 120, and the first illuminance may be the illuminance of the external environment of the head-worn display device 100. . The calculated first illuminance may be 0 to 130,000 lux.

단계 S200에서는, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 양안의 전방에서 머리 착용형 디스플레이 장치(100)의 내부의 조도를 감지하는 제2 조도 센서(130)로부터 제2 조도를 검출할 수 있다. 즉, 제어부(150)는 제2 조도 센서(130)에서 수신된 조도 신호로부터 제2 조도를 검출하며, 제2 조도는 머리 착용형 디스플레이 장치(100)에서 사용자의 얼굴과 디스플레이(140) 사이의 장치 내부의 조도일 수 있다. 단계 S200에서 검출된 제2 조도는 머리 착용형 디스플레이 장치(100)의 형태, 주변 환경의 조도, 디스플레이(140)에서 출력되는 영상 등에 따라 차이가 있을 수 있으므로, 제2 조도를 이용해 실제 사용자가 느끼는 시각적 감각에 영상을 최적화할 수 있다.
In step S200, the second illuminance sensor 130 for detecting the inner illuminance of the head-worn display device 100 in front of both eyes of the user wearing the head-worn display device 100 may detect the second illuminance. I can. That is, the controller 150 detects the second illuminance from the illuminance signal received from the second illuminance sensor 130, and the second illuminance is between the user's face and the display 140 in the head-worn display device 100. It may be the illuminance inside the device. Since the second illuminance detected in step S200 may be different depending on the shape of the head-worn display device 100, the illuminance of the surrounding environment, and the image output from the display 140, the second illuminance is used by the actual user. You can optimize the image for your visual sense.

단계 S300에서는, 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값을 결정할 수 있다. 즉, 제어부(150)는 검출한 제1 조도와 제2 조도를 이용해 보정값을 설정함으로써, 디스플레이(140)로 출력되는 영상의 밝기를 콘트라스트(contrast)와 밝기(brightness)를 이용해 조절할 수 있다. 예를 들어, 제1 조도 및 제2 조도가 기준 밝기보다 밝으면 영상의 밝기가 기준값보다 크도록 보정값을 결정하여 시인성을 향상시킬 수 있다. 또는, 제1 조도 및 제2 조도가 기준 밝기보다 어두우면 영상의 밝기가 기준값보다 작도록 보정값을 결정하여 선명하게 보이면서도 사용자의 눈에 자극이 적도록 할 수 있다. 실시예에 따라서는, 제1 조도는 기준 밝기보다 밝으나 제2 조도는 기준 밝기보다 어두우면, 영상의 시인성은 확보된다고 볼 수 있으므로, 영상의 밝기를 기준값으로 유지하여 전력 소모를 줄일 수 있다.
In step S300, a correction value including at least one of brightness and contrast of an image may be determined using the detected first and second illuminances. That is, the controller 150 may adjust the brightness of an image output to the display 140 using contrast and brightness by setting a correction value using the detected first and second illuminances. For example, when the first illuminance and the second illuminance are brighter than the reference brightness, a correction value may be determined so that the brightness of an image is greater than the reference value, thereby improving visibility. Alternatively, if the first illuminance and the second illuminance are darker than the reference brightness, a correction value may be determined so that the brightness of the image is smaller than the reference value, so that the image is clearly visible and less irritating to the user's eyes. According to an exemplary embodiment, if the first illuminance is brighter than the reference brightness but the second illuminance is darker than the reference brightness, it can be seen that the visibility of the image is secured. Therefore, power consumption can be reduced by maintaining the brightness of the image as a reference value.

또한, 단계 S300에서는, 제1 조도, 제2 조도 및 제1 조도와 제2 조도의 차이를 이용하여, 보정값을 결정할 수 있다. 예를 들어, 제1 조도가 기준 밝기보다 밝고 제1 조도와 제2 조도의 차이가 미리 정해진 값 이하여서, 머리 착용형 디스플레이 장치(100)의 외부와 내부의 조도 차이가 거의 없는 경우에는, 콘트라스트를 기준값보다 크도록 보정값을 결정하여, 증강현실의 제공 시에 실제 세계에 합성되는 증강현실의 영상 정보가 더욱 뚜렷하게 제공되도록 할 수 있다.
In addition, in step S300, a correction value may be determined by using the first illuminance, the second illuminance, and the difference between the first illuminance and the second illuminance. For example, when the first illuminance is brighter than the reference brightness and the difference between the first illuminance and the second illuminance is less than or equal to a predetermined value, and there is little difference between the external and internal illuminances of the head wearable display device 100, the contrast By determining the correction value to be greater than the reference value, the image information of the augmented reality synthesized to the real world may be more clearly provided when the augmented reality is provided.

한편, 단계 S300에서는, 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상 정보를 더 이용하여, 영상의 보정값을 결정할 수 있다. 본 발명에서는, 머리 착용형 디스플레이 장치(100)의 내부 조도인 단계 S200에서 검출된 제2 조도를 이용하여 보정값을 결정하기 때문에, 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 영상에 의한 조도가 보정값에 어느 정도 반영될 수 있으나, 단계 S300에서 영상 정보를 더 이용하여 보정값을 결정함으로써, 영상 정보의 특성을 반영하여 더욱 최적화된 영상을 제공할 수 있다. 즉, 실제 세계와 합성되는 증강현실의 영상 정보의 종류(텍스트, 이미지, 동영상 등)와 내용(콘텐츠 정보, 주변 환경 정보 등)에 따라 보정값을 상이하게 할 수 있다. 예를 들어, 영화와 같은 동영상의 경우에는 보정값 설정 시 다른 영상에 비해 밝기를 어둡게 설정하고, 텍스트로 된 콘텐츠 정보는 이미지나 동영상에 비해 콘트라스트를 크게 설정하여 뚜렷하게 텍스트 내용이 전달되도록 할 수 있다.
Meanwhile, in step S300, a correction value of the image may be determined by further using image information of augmented reality output from the display 140 of the head-worn display device 100. In the present invention, since the correction value is determined by using the second illuminance detected in step S200, which is the internal illuminance of the head wearable display device 100, Although the illuminance caused by the image may be reflected in the correction value to some extent, by determining the correction value further using the image information in step S300, a more optimized image may be provided by reflecting the characteristics of the image information. That is, the correction value can be made different according to the type (text, image, video, etc.) and content (content information, surrounding environment information, etc.) of image information of augmented reality synthesized with the real world. For example, in the case of a video such as a movie, when setting a correction value, the brightness is set to be darker compared to other images, and the text content information can be clearly transmitted by setting a contrast larger than that of an image or video. .

실시예에 따라서는, 단계 S300에서 결정되는 보정값은, 영상의 명암, 채도 및 색감을 포함하는 군에서 선택된 적어도 하나 이상을 더 포함할 수 있다. 즉, 본 발명의 단계 S300에서는, 영상의 밝기와 콘트라스트 이외에도, 명암, 채도, 색감 등 다양한 값을 보정함으로써, 증강현실의 영상이 사용자에게 선명하게 제공되도록 할 수 있다.
According to an embodiment, the correction value determined in step S300 may further include at least one or more selected from the group including contrast, saturation, and color of an image. That is, in step S300 of the present invention, by correcting various values such as contrast, saturation, and color in addition to the brightness and contrast of the image, the augmented reality image may be clearly provided to the user.

단계 S400에서는, 결정된 영상의 보정값으로 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상을 조절할 수 있다. 즉, 제어부(150)는 단계 S300에서 결정된 보정값으로 증강현실의 영상을 조절함으로써, 제1 조도 및 제2 조도에 기초하여 디스플레이(140)를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어할 수 있다.
In step S400, an augmented reality image output from the display 140 of the head-worn display device 100 may be adjusted as a correction value of the determined image. That is, the control unit 150 adjusts the augmented reality image with the correction value determined in step S300, so that the augmented reality image information output through the display 140 is clearly displayed to the user based on the first and second illuminances. It can be controlled to be provided.

도 6은 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법에 의해 최적화되어 제공되는 증강현실 화면을 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법에서는, 카페 및 나무를 포함하는 실제 세계와 시간 정보, 미세먼지 정보 및 카페 정보를 포함하는 증강현실의 영상 정보를 제공하면서, 머리 착용형 디스플레이 장치(100)의 내외부 밝기에 의해 도 6의 상단과 같이 시인성이 저하되는 영상을 보정값으로 보정하여 도 6의 하단과 같이 선명하게 제공할 수 있다.
6 is a diagram illustrating an augmented reality screen that is optimized and provided by an image optimization method of the head wearable display device 100 using two illuminance sensors according to an embodiment of the present invention. As shown in FIG. 6, in the image optimization method of the head wearable display device 100 using two illuminance sensors according to an embodiment of the present invention, the real world and time information including a cafe and a tree, and fine dust While providing image information of augmented reality including information and cafe information, an image in which visibility is deteriorated as shown in the upper part of FIG. 6 due to internal and external brightness of the head-worn display device 100 is corrected with a correction value to the lower part of FIG. 6. It can be provided clearly like this.

이때, 단계 S400에서는, 결정된 영상의 보정값으로 디스플레이(140)에서 출력되는 증강현실의 영상을 단계적으로 조절할 수 있다. 따라서 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 눈에 가해지는 피로감을 최소화하면서 영상 정보의 시인성을 향상시킬 수 있다.
In this case, in step S400, the augmented reality image output from the display 140 may be stepwise adjusted with the determined correction value of the image. Accordingly, it is possible to improve the visibility of image information while minimizing fatigue applied to the eyes of a user wearing the head-worn display device 100.

한편, 단계 S300에서는, 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 실제 세계와 증강현실의 영상 정보의 밝기 및 콘트라스트 중 적어도 하나를 각각 결정하며, 단계 S400에서는, 결정된 밝기 및 콘트라스트 중 적어도 하나로 실제 세계 및 증강현실의 영상 정보를 각각 조절할 수 있다. 증강현실은 실제 세계와 증강현실의 영상 정보의 합성에 의해 제공되는데, 증강현실의 영상 정보만을 보정하는 경우 디스플레이(140)를 통해 보이는 실제 세계는 보정되지 않아, 사용자의 눈의 피로도가 증가하고 전체 영상의 시인성이 저하될 수 있다. 또는, 실제 세계와 증강현실의 영상 정보가 함께 제공되는 증강현실의 영상을 하나의 보정값으로 전체적으로 조절하는 경우, 그 특성과 정보 내용이 균일하지 않아 전체적인 증강현실의 영상을 최적화하지 못할 수 있다. 본 발명에서는, 시스루 타입의 디스플레이(140)를 통해 보이는 실제 세계에 디스플레이(140)에 출력되는 증강현실의 영상 정보를 제공함에 있어서, 실제 세계가 투과하여 보이는 디스플레이(140) 부분과 증강현실의 영상 정보의 보정값을 상이하게 설정하고 이에 따라 각각 보정값으로 조절하여 보정을 처리함으로써, 실제 세계와 증강현실의 영상 정보가 모두 선명하게 보이도록 영상을 최적화할 수 있다.
Meanwhile, in step S300, at least one of brightness and contrast of image information of the real world and augmented reality output from the display 140 of the head wearable display device 100 is respectively determined, and in step S400, the determined brightness and contrast Image information of the real world and augmented reality can be adjusted with at least one of them. Augmented reality is provided by synthesizing the real world and image information of augmented reality. When only the image information of augmented reality is corrected, the real world seen through the display 140 is not corrected, so the user's eye fatigue increases and the overall Visibility of the image may be deteriorated. Alternatively, when an augmented reality image provided with image information of the real world and augmented reality is entirely adjusted with one correction value, the characteristics and information content are not uniform, so that the overall augmented reality image may not be optimized. In the present invention, in providing the augmented reality image information output on the display 140 to the real world seen through the see-through type display 140, the display 140 and the augmented reality image through which the real world is seen. By setting the correction values of the information differently and adjusting each correction value accordingly to process the correction, the image can be optimized so that both the image information of the real world and augmented reality can be clearly seen.

본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법에 따르면, 머리 착용형 디스플레이 장치(100)의 외부의 조도와 내부의 조도를 검출하여 영상의 밝기 및 콘트라스트 등의 보정값을 결정하여 증강현실의 영상을 조절함으로써, 주변 환경의 변화와 관계없이 시인성이 향상된 증강현실의 영상 정보를 사용자에게 제공할 수 있고, 주변 환경뿐 아니라 사용자가 직접 시각적으로 체감하는 장치 내부의 조도까지 반영하여 정밀한 영상의 보정을 할 수 있어서, 최적화된 증강현실 영상 정보를 제공할 수 있다. 또한, 본 발명에 따르면, 2개의 조도 센서에서 검출된 조도에 기초하여 디스플레이(140)를 통해 출력되는 증강현실의 보정값을 자동으로 결정하고 제어함으로써, 별도의 사용자 조작 없이도 증강현실의 영상 정보가 사용자에게 최적화되어 선명하게 제공될 수 있으며, 사용자 편의성이 향상되고 눈의 피로도를 줄일 수 있다.
According to the image optimization method of the head wearable display device 100 using two illuminance sensors proposed in the present invention, the brightness of the image and the brightness of the image are detected by detecting the external illuminance and the inner illuminance of the head wearable display device 100. By adjusting the image of augmented reality by determining a correction value such as contrast, it is possible to provide the user with image information of augmented reality with improved visibility regardless of changes in the surrounding environment. Since it is possible to accurately correct the image by reflecting the illuminance inside the device, it is possible to provide optimized augmented reality image information. In addition, according to the present invention, by automatically determining and controlling a correction value of augmented reality output through the display 140 based on the illuminance detected by two illuminance sensors, image information of augmented reality It is optimized for the user and can be provided clearly, and user convenience can be improved and eye fatigue can be reduced.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those of ordinary skill in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be determined by the following claims.

100: 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 제1 조도 센서
130: 제2 조도 센서
140: 디스플레이
150: 제어부
160: 전원 공급부
170: 스위치부
180: AR 이벤트 처리부
181: GPS 모듈
182: 카메라
190: 통신부
S100: 머리 착용형 디스플레이 장치의 외부의 조도를 감지하는 제1 조도 센서로부터 제1 조도를 검출하는 단계
S200: 머리 착용형 디스플레이 장치의 내부의 조도를 감지하는 제2 조도 센서로부터 제2 조도를 검출하는 단계
S300: 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트 중 적어도 하나를 포함하는 보정값을 결정하는 단계
S400: 결정된 보정값으로 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 증강현실의 영상을 조절하는 단계100: head-worn display device
110: HMD frame
120: first illuminance sensor
130: second illuminance sensor
140: display
150: control unit
160: power supply
170: switch unit
180: AR event processing unit
181: GPS module
182: camera
190: Ministry of Communications
S100: Step of detecting a first illuminance from a first illuminance sensor that detects an external illuminance of the head-worn display device
S200: Detecting a second illuminance from a second illuminance sensor that detects an inner illuminance of the head-worn display device
S300: Determining a correction value including at least one of brightness and contrast of an image using the detected first and second illuminances
S400: Adjusting the augmented reality image output from the display of the head wearable display device with the determined correction value

Claims (8)

실제 세계와 함께 증강현실의 영상 정보를 사용자에게 제공하는 머리 착용형 디스플레이 장치(100)의 영상 제어 방법으로서,
(1) 상기 머리 착용형 디스플레이 장치(100)의 외부의 조도를 감지하는 제1 조도 센서(120)로부터 제1 조도를 검출하는 단계;
(2) 상기 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 양안의 전방에서 상기 머리 착용형 디스플레이 장치(100)의 내부의 조도를 감지하는 제2 조도 센서(130)로부터 제2 조도를 검출하는 단계;
(3) 상기 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값을 결정하는 단계; 및
(4) 상기 결정된 영상의 보정값으로 상기 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상을 조절하는 단계를 포함하여,
상기 제1 조도 및 제2 조도에 기초하여 상기 디스플레이(140)를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어하며,
상기 단계 (3)에서는,
상기 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상 정보를 더 이용하여, 상기 영상 정보의 종류 및 내용에 따라 상기 영상의 보정값을 결정하고,
상기 단계 (4)에서는,
상기 결정된 영상의 보정값으로 상기 디스플레이(140)에서 출력되는 증강현실의 영상을 단계적으로 조절하여, 사용자의 눈에 가해지는 피로감을 최소화하면서 상기 영상 정보의 시인성을 향상시키며,
상기 머리 착용형 디스플레이 장치(100)는,
사용자가 머리에 착용할 수 있는 HMD 프레임(110);
상기 HMD 프레임(110)의 전방에 설치되며, 외부의 조도를 감지하기 위한 제1 조도 센서(120);
상기 HMD 프레임(110)의 후방에 설치되며, 상기 HMD 프레임(110) 내부의 조도를 감지하기 위한 제2 조도 센서(130);
실제 세계와 함께 증강현실의 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이(140); 및
상기 디스플레이(140)에서 출력되는 증강현실의 영상 신호를 생성하여 상기 디스플레이(140)로 전송하되, 상기 제1 조도 센서(120) 및 제2 조도 센서(130)에 의해 감지되는 제1 조도 및 제2 조도에 따라 결정된 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값으로 상기 디스플레이(140)에서 출력되는 증강현실의 영상을 조절하는 제어부(150)를 포함하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 제어 방법.
As an image control method of a head wearable display device 100 providing image information of augmented reality together with the real world to a user,
(1) detecting a first illuminance from a first illuminance sensor 120 for sensing external illuminance of the head-worn display device 100;
(2) The second illuminance is detected from the second illuminance sensor 130 that detects the inner illuminance of the head-worn display device 100 in front of both eyes of the user wearing the head-worn display device 100 The step of doing;
(3) determining a correction value including at least one of brightness and contrast of an image using the detected first and second illuminances; And
(4) Including the step of adjusting the augmented reality image output from the display 140 of the head wearable display device 100 with the determined correction value of the image,
Based on the first and second illuminances, the augmented reality image information output through the display 140 is controlled to be clearly provided to the user,
In step (3),
Further using the image information of augmented reality output from the display 140 of the head wearable display device 100, determine a correction value of the image according to the type and content of the image information,
In step (4),
By stepwise adjusting the augmented reality image output from the display 140 with the determined correction value of the image, improving the visibility of the image information while minimizing fatigue on the user's eyes,
The head wearable display device 100,
HMD frame 110 that the user can wear on the head;
A first illuminance sensor 120 installed in front of the HMD frame 110 and configured to detect external illuminance;
A second illuminance sensor 130 installed at the rear of the HMD frame 110 and configured to detect illuminance inside the HMD frame 110;
A display 140 outputting image light so that image information of augmented reality can be provided to a user together with the real world; And
An augmented reality image signal output from the display 140 is generated and transmitted to the display 140, but the first and second illuminations sensed by the first illumination sensor 120 and the second illumination sensor 130 2, characterized in that it comprises a control unit 150 for adjusting the augmented reality image output from the display 140 with a correction value including at least one of the brightness and contrast of the image determined according to the illuminance, 2 Image control method of the head-worn display device 100 using four illuminance sensors.
 제1항에 있어서, 상기 보정값은,
영상의 명암, 채도 및 색감을 포함하는 군에서 선택된 적어도 하나 이상을 더 포함하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 제어 방법.
The method of claim 1, wherein the correction value is
An image control method of the head wearable display device 100 using two illuminance sensors, characterized in that it further comprises at least one or more selected from the group including the contrast, saturation, and color of the image.
 삭제delete 제1항에 있어서, 상기 단계 (3)에서는,
상기 제1 조도, 제2 조도 및 제1 조도와 제2 조도의 차이를 이용하여, 상기 보정값을 결정하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 제어 방법.
The method of claim 1, wherein in the step (3),
Image control of the head-worn display device 100 using two illuminance sensors, characterized in that the correction value is determined by using the first illuminance, the second illuminance, and the difference between the first illuminance and the second illuminance Way.
 제1항에 있어서,
상기 단계 (3)에서는, 상기 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 실제 세계와 증강현실의 영상 정보의 밝기 및 콘트라스트 중 적어도 하나를 각각 결정하며,
상기 단계 (4)에서는, 상기 결정된 밝기 및 콘트라스트 중 적어도 하나로 상기 실제 세계 및 증강현실의 영상 정보를 각각 조절하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 제어 방법.The method of claim 1,
In the step (3), at least one of brightness and contrast of image information of the real world and augmented reality output from the display 140 of the head wearable display device 100 is respectively determined,
In the step (4), image control of the head-worn display device 100 using two illuminance sensors, characterized in that the image information of the real world and augmented reality is respectively adjusted by at least one of the determined brightness and contrast. Way. 삭제delete 삭제delete 삭제delete
KR1020190014724A 2019-02-08 2019-02-08 Image optimization method of head mounted display apparatus using two illuminance sensors KR102235903B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190014724A KR102235903B1 (en) 2019-02-08 2019-02-08 Image optimization method of head mounted display apparatus using two illuminance sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190014724A KR102235903B1 (en) 2019-02-08 2019-02-08 Image optimization method of head mounted display apparatus using two illuminance sensors

Publications (2)

Publication Number Publication Date
KR20200097408A KR20200097408A (en) 2020-08-19
KR102235903B1 true KR102235903B1 (en) 2021-04-05

Family

ID=72265553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190014724A KR102235903B1 (en) 2019-02-08 2019-02-08 Image optimization method of head mounted display apparatus using two illuminance sensors

Country Status (1)

Country Link
KR (1) KR102235903B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230069433A (en) * 2021-11-12 2023-05-19 삼성전자주식회사 Method and apparatus for controlling luminace of ar image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298246A (en) 1999-02-12 2000-10-24 Canon Inc Device and method for display, and storage medium
JP2011048375A (en) * 2010-08-30 2011-03-10 Semiconductor Energy Lab Co Ltd Head mount display
JP2015072482A (en) 2014-10-29 2015-04-16 ソニー株式会社 Image display method in head-mounted display
JP2017003856A (en) 2015-06-12 2017-01-05 セイコーエプソン株式会社 Display device and control method for the same
WO2017013971A1 (en) 2015-07-22 2017-01-26 ソニー株式会社 Optical device, image display device and display device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102565847B1 (en) * 2015-07-06 2023-08-10 삼성전자주식회사 Electronic device and method of controlling display in the electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298246A (en) 1999-02-12 2000-10-24 Canon Inc Device and method for display, and storage medium
JP2011048375A (en) * 2010-08-30 2011-03-10 Semiconductor Energy Lab Co Ltd Head mount display
JP2015072482A (en) 2014-10-29 2015-04-16 ソニー株式会社 Image display method in head-mounted display
JP2017003856A (en) 2015-06-12 2017-01-05 セイコーエプソン株式会社 Display device and control method for the same
WO2017013971A1 (en) 2015-07-22 2017-01-26 ソニー株式会社 Optical device, image display device and display device

Also Published As

Publication number Publication date
KR20200097408A (en) 2020-08-19

Similar Documents

Publication Publication Date Title
US8670000B2 (en) Optical display system and method with virtual image contrast control
JP6160020B2 (en) Transmission type display device, display method, and display program
US10162412B2 (en) Display, control method of display, and program
JP6364715B2 (en) Transmission display device and control method of transmission display device
JP6089705B2 (en) Display device and control method of display device
JP6225546B2 (en) Display device, head-mounted display device, display system, and display device control method
CN107111145B (en) Head-mounted display device and display method
US10101586B2 (en) Display device and control method for display device
JP5682417B2 (en) Head mounted display and its brightness adjustment method
KR20140089345A (en) Head-mounted display and display control method
JP6464729B2 (en) Display device and control method of display device
JP6707823B2 (en) Display device, display device control method, and program
US10121409B2 (en) Display device, method of controlling display device, and program
TW201725422A (en) Liquid crystal display with variable drive voltage
KR20200095985A (en) A head mounted display apparatus using discoloration lens and illumination sensor
JP6561606B2 (en) Display device and control method of display device
US20170195667A1 (en) Eyeglasses Structure Enabling Image Enhancement
KR102235903B1 (en) Image optimization method of head mounted display apparatus using two illuminance sensors
JP6428024B2 (en) Display device, display device control method, and program
US11500210B2 (en) Method and system for adjusting luminance profiles in head-mounted displays
US9928770B2 (en) Method for adjusting display effect and electronic apparatus
KR102410872B1 (en) Head mounted display device with projector mode
JP6609920B2 (en) Display device and control method of display device
JP6540004B2 (en) Display device and control method of display device
KR102260393B1 (en) A head mounted display apparatus with automatic screen illumination intensity adjustment according to the user

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant