KR102260393B1 - 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치 - Google Patents

사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치 Download PDF

Info

Publication number
KR102260393B1
KR102260393B1 KR1020190154927A KR20190154927A KR102260393B1 KR 102260393 B1 KR102260393 B1 KR 102260393B1 KR 1020190154927 A KR1020190154927 A KR 1020190154927A KR 20190154927 A KR20190154927 A KR 20190154927A KR 102260393 B1 KR102260393 B1 KR 102260393B1
Authority
KR
South Korea
Prior art keywords
user
illuminance
information
unit
learning
Prior art date
Application number
KR1020190154927A
Other languages
English (en)
Inventor
최치원
배영헌
정희재
이원석
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190154927A priority Critical patent/KR102260393B1/ko
Application granted granted Critical
Publication of KR102260393B1 publication Critical patent/KR102260393B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

본 발명은 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치로서, 사용자를 인식하는 인식부; 사용자에 의해 조절되는 조도 정보를 수신하는 수신부; 상기 수신부에서 수신한 사용자에 따른 조도 정보를 학습하는 학습부; 학습된 상기 사용자에 따른 조도 정보에 기초하여, 각 사용자에게 최적화된 조도를 예측하는 예측 모델을 저장하는 모델 저장부; 및 상기 인식부에서 머리 착용형 디스플레이 장치를 착용한 사용자가 인식되면, 상기 모델 저장부에 저장된 예측 모델에 의해 상기 인식부에서 인식된 사용자에 대해 예측된 최적화된 조도에 따라 증강현실 영상 정보의 밝기를 조절하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치에 따르면, 사용자에 따른 조도 정보를 학습하여 각 사용자에게 최적화된 조도를 예측하고, 예측된 최적화된 조도로 증강현실 영상 정보의 밝기를 조절함으로써, 사용자의 이전 조도 조절 정보를 기초로 하여 각 사용자의 영상 밝기에 대한 선호도를 학습하여, 착용한 사용자가 원하는 밝기로 증강현실 영상 정보를 제공할 수 있다.
또한, 본 발명에서 제안하고 있는 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치에 따르면, 주변 조도나 영상 정보 종류 등의 정보와 각 사용자의 조도 조절 정보 사이의 상관관계를 학습하여, 학습된 상관관계를 기초로 사용자의 조작 없이도 자동으로 영상 밝기를 조절할 수 있다.

Description

사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치{A HEAD MOUNTED DISPLAY APPARATUS WITH AUTOMATIC SCREEN ILLUMINATION INTENSITY ADJUSTMENT ACCORDING TO THE USER}
본 발명은 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
이러한 헤드 마운티드 디스플레이에서, 증강현실의 영상 정보를 선명하고 편안하게 제공하기 위해서는, 헤드 마운티드 디스플레이를 사용하는 사용자가 컨트롤 장치를 직접 조작하여 증강현실 영상 정보의 조도를 조절하는 방법이 있다. 즉, 헤드 마운티드 디스플레이의 일 측, 또는 별도의 장치로 구성된 컨트롤 버튼 등을 이용해, 영상 정보의 조도를 사용자의 취향에 맞게 조절함으로써, 주변 환경이나 사용자의 선호도에 따라 증강현실의 영상 정보가 선명하고 눈에 편안하게 제공되도록 할 수 있다.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2016-0123934호(발명의 명칭: 밝기를 조절하는 휴대 단말기 및 이의 밝기 조절 방법, 공개일자: 2016년 10월 26일) 등이 개시된 바 있다. 그러나 선행기술은 주변 밝기에 따라 휴대 단말기의 밝기를 조절하므로, 사용자마다 영상 밝기에 대한 민감도가 서로 다르고, 사용자가 느끼는 눈의 피로도가 서로 다르다는 점을 고려하지 못하였고, 스마트폰 전면의 디스플레이에 적용되는 기술로서 증강현실을 제공하는 헤드 마운티드 디스플레이에 쉽게 적용할 수는 없는 한계가 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 사용자에 따른 조도 정보를 학습하여 각 사용자에게 최적화된 조도를 예측하고, 예측된 최적화된 조도로 증강현실 영상 정보의 밝기를 조절함으로써, 사용자의 이전 조도 조절 정보를 기초로 하여 각 사용자의 영상 밝기에 대한 선호도를 학습하여, 착용한 사용자가 원하는 밝기로 증강현실 영상 정보를 제공할 수 있는, 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 주변 조도나 영상 정보 종류 등의 정보와 각 사용자의 조도 조절 정보 사이의 상관관계를 학습하여, 학습된 상관관계를 기초로 사용자의 조작 없이도 자동으로 영상 밝기를 조절할 수 있는, 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치는,
머리 착용형 디스플레이 장치로서,
사용자를 인식하는 인식부;
사용자에 의해 조절되는 조도 정보를 수신하는 수신부;
상기 수신부에서 수신한 사용자에 따른 조도 정보를 학습하는 학습부;
학습된 상기 사용자에 따른 조도 정보에 기초하여, 각 사용자에게 최적화된 조도를 예측하는 예측 모델을 저장하는 모델 저장부; 및
상기 인식부에서 머리 착용형 디스플레이 장치를 착용한 사용자가 인식되면, 상기 모델 저장부에 저장된 예측 모델에 의해 상기 인식부에서 인식된 사용자에 대해 예측된 최적화된 조도에 따라 증강현실 영상 정보의 밝기를 조절하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
사용자가 머리에 착용할 수 있는 HMD 프레임;
상기 HMD 프레임을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계; 및
상기 광학계를 통해 투과되어 보이는 실제 세계와 함께 증강현실의 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이를 더 포함하며,
상기 제어부는, 상기 디스플레이로 출력되는 영상 광의 밝기를 상기 예측된 최적화된 조도에 따라 조절할 수 있다.
더욱 바람직하게는, 상기 조도 정보는,
조도 조절 정보를 포함하며, 시각 정보(time information), 주변 조도 및 영상 정보 종류 중 적어도 하나 이상을 더 포함할 수 있다.
더더욱 바람직하게는,
상기 HMD의 일 측에 설치되며, 주변 조도를 감지하기 위한 센서부를 더 포함하며,
상기 학습부는,
상기 센서부에서 수집된 주변 조도와 상기 조도 조절 정보 사이의 상관관계를 학습할 수 있다.
더더욱 바람직하게는, 상기 학습부는,
상기 조도 정보에 포함된 시각 정보(time information)와 상기 조도 조절 정보 사이의 상관관계를 학습할 수 있다.
더더욱 바람직하게는, 상기 학습부는,
상기 조도 정보에 포함된 영상 정보 종류와 상기 조도 조절 정보 사이의 상관관계를 학습할 수 있다.
바람직하게는, 상기 인식부는,
상기 머리 착용형 디스플레이를 착용한 사용자의 홍채를 촬영한 홍채 정보를 이용해 사용자를 인증할 수 있다.
더욱 바람직하게는, 상기 제어부는,
상기 예측된 최적화된 조도에 따라 상기 디스플레이에서 출력되는 증강현실 영상 정보의 밝기 및 콘트라스트(contrast) 값 중 적어도 어느 하나가 단계적으로 조절되도록 제어할 수 있다.
본 발명에서 제안하고 있는 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치에 따르면, 사용자에 따른 조도 정보를 학습하여 각 사용자에게 최적화된 조도를 예측하고, 예측된 최적화된 조도로 증강현실 영상 정보의 밝기를 조절함으로써, 사용자의 이전 조도 조절 정보를 기초로 하여 각 사용자의 영상 밝기에 대한 선호도를 학습하여, 착용한 사용자가 원하는 밝기로 증강현실 영상 정보를 제공할 수 있다.
또한, 본 발명에서 제안하고 있는 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치에 따르면, 주변 조도나 영상 정보 종류 등의 정보와 각 사용자의 조도 조절 정보 사이의 상관관계를 학습하여, 학습된 상관관계를 기초로 사용자의 조작 없이도 자동으로 영상 밝기를 조절할 수 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치에서, 사용자에 따른 자동 화면 조도 조절을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치에서, 홍채 인식을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치에서, 화면 조도 조절 과정의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 3은 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)는, 인식부(140), 수신부(150), 학습부(170), 모델 저장부(180) 및 제어부(190)를 포함하여 구성될 수 있으며, HMD 프레임(110), 광학계(120), 디스플레이(130), 센서부(160), 카메라(200), GPS 모듈(210), 전원 공급부(220), 스위치부(230) 및 통신부(240)를 더 포함하여 구성될 수 있다.
HMD 프레임(110)은, 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이(130) 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.
광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 이러한 광학계(120)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서, 가시광선 영역의 빛을 투과 및 반사시킬 수 있는 재질의 렌즈, 미러, 빔스플리터 등으로 구성될 수 있다.
디스플레이(130)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 증강현실의 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이(130)는 후술하게 될 제어부(190)의 제어 하에, 예측 모델에 의해 예측된 최적화된 조도에 따라 영상 광의 밝기를 조절하여 출력할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)에서, 사용자에 따른 자동 화면 조도 조절을 설명하기 위해 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)에서는, 인식부(140)가 사용자를 인식하고, 수신부(150)가 사용자에 의해 조절되는 조도 정보를 수신하여, 인식된 사용자에 의한 조도 조절을 학습부(170)에서 학습할 수 있다. 학습된 사용자별 조도 정보에 기초하여 각 사용자에게 최적화된 조도를 예측하는 예측 모델을 모델 저장부(180)가 저장하고, 제어부(190)는 인식부(140)에서 인식된 사용자에 대해 예측 모델에서 예측된 최적화된 조도에 따라 증강현실 영상 정보의 밝기를 조절할 수 있다. 이하에서는, 도 4를 참조하여 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)에서 사용자에 따른 자동 화면 조도 조절을 하기 위한 각 구성요소에 대하여 상세히 설명하도록 한다.
인식부(140)는, 사용자를 인식할 수 있다. 보다 구체적으로, 인식부(140)는, 머리 착용형 디스플레이(130)를 착용한 사용자의 홍채를 촬영한 홍채 정보를 이용해 사용자를 인증할 수 있다. 홍채는 그 패턴이 사람마다 다르고 평생 변하지 않는 특성이 있으므로 각 사용자를 식별하기 위한 생체 정보로 활용될 수 있다.
도 5는 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)에서, 홍채 인식을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)의 인식부(140)는, HMD 프레임(110)의 내측에 사용자의 눈 방향으로 위치하여, HMD 프레임(110)을 머리에 착용한 사용자의 홍채를 촬영하고, 촬영된 홍채 이미지를 분석한 홍채 정보를 미리 저장된 사용자의 홍채 정보와 비교하여 사용자 식별 및 인증을 할 수 있다. 이와 같이, 인식부(140)는 홍채 인식을 이용해 사용자를 인증함으로써, 머리 착용형 디스플레이 장치(100)를 착용하고 앞을 바라보는 것으로 쉽게 사용자 인식 및 인증을 처리할 수 있다.
머리 착용형 디스플레이 장치(100)의 인식부(140)는, 홍채 인식을 처리하기 위해 여러 사용자의 홍채 정보가 등록된 서버와 추후 상세히 설명할 통신부(240)를 통해 통신을 수행할 수 있다. 인식부(140)는 인식된 홍채 정보와 일치하는 사용자 정보를 서버로부터 수신하여 머리 착용형 디스플레이 장치(100)를 착용한 사용자를 식별할 수 있다.
수신부(150)는, 사용자에 의해 조절되는 조도 정보를 수신할 수 있다. 사용자는 증강현실 영상 정보의 조도를 취향에 따라 조절할 수 있는데, 이때 HMD 프레임(110)의 일 측에 설치되거나, HMD 프레임(110)과 유무선으로 연결되는 별도의 디바이스에 형성된 입력부(미도시)를 통해 조도 조절 정보를 입력할 수 있다.
여기서, 수신부(150)가 수신하는 조도 정보는, 조도 조절 정보를 포함하며, 시각 정보(time information), 주변 조도 및 영상 정보 종류 중 적어도 하나 이상을 더 포함할 수 있다. 즉, 조도 정보는, 사용자가 조도를 어떻게 조절하는지에 대한 조도 조절 정보(구체적인 수치, 조도 높임/낮춤 등), 사용자가 조도를 조절하는 시점의 시각 정보, 주변 조도, 출력되는 증강현실 영상 정보의 종류 등을 포함할 수 있다.
센서부(160)는, HMD의 일 측에 설치되며, 주변 조도를 감지하기 위한 구성이다. 보다 구체적으로, 센서부(160)는 HMD 프레임(110)의 전방에 설치되어 사용자가 광학계(120)를 통해 바라보는 실제 세계의 밝기 정보를 측정할 수 있으며, 외부의 조도 즉, 주변 조도를 감지하기 위한 조도 센서로 구현될 수 있다.
학습부(170)는, 수신부(150)에서 수신한 사용자에 따른 조도 정보를 학습할 수 있다. 즉, 학습부(170)는, 각 사용자의 조도 조절을 학습하되, 시각, 주변 조도 등 상황에 따라 사용자가 선호하는 조도를 학습할 수 있다. 보다 구체적으로, 학습부(170)는 사용자가 조절하는 조도 조절 정보와 조도 정보에 포함된 각종 정보들 사이의 상관관계를 학습할 수 있다.
먼저, 학습부(170)는, 센서부(160)에서 수집된 주변 조도와 조도 조절 정보 사이의 상관관계를 학습할 수 있다. 즉, 수신부(150)는 사용자가 조도를 밝게 또는 어둡게 조절하는 조도 조절 정보와, 조도가 조절되는 시점의 주변 조도를 센서부(160)로부터 수신하고, 학습부(170)는 주변 조도와 조도 조절 정보 사이의 상관관계를 학습하여, 주변 밝기에 따른 사용자의 영상 정보 밝기의 선호도를 파악할 수 있다. 예를 들어, 주변이 밝을 때는 광학계(120)를 통해 투과되어 보이는 실제 세계가 밝아서 증강현실 영상 정보가 잘 보이지 않아 사용자가 조도를 조절할 수 있는데, 그 조절 정도는 사용자에 따라 다를 수 있으므로, 학습부(170)는 각 사용자의 조절 정도를 학습할 수 있다.
또한, 학습부(170)는, 조도 정보에 포함된 시각 정보(time information)와 조도 조절 정보 사이의 상관관계를 학습할 수 있다. 즉, 수신부(150)는 사용자가 조도를 밝게 또는 어둡게 조절하는 시점의 시각 정보를 수신하고, 학습부(170)는 시각 정보와 조도 조절 정보 사이의 상관관계를 학습하여, 밤낮의 변화에 따른 영상 정보 밝기의 선호도를 파악할 수 있다.
또한, 학습부(170)는, 조도 정보에 포함된 영상 정보 종류와 조도 조절 정보 사이의 상관관계를 학습할 수 있다. 즉, 수신부(150)는 사용자가 조도를 밝게 또는 어둡게 조절하는 시점에 디스플레이(130)에서 출력되는 증강현실 영상 정보의 종류를 수신하고, 학습부(170)는 영상 정보 종류와 조도 조절 정보 사이의 상관관계를 학습하여, 증강현실 영상 정보가 텍스트, 이미지, 동영상, 지도 등 어느 종류인지에 따른 사용자의 밝기 선호도를 파악할 수 있다.
그밖에, 학습부(170)는, 사용자의 눈의 찡그림, 날씨 정보, 주변 환경 정보 등과 조도 조절 정보 사이의 상관관계를 학습할 수도 있다. 주변 환경 정보를 예로 들면, 건물, 차량, 사람들 등 시야가 복잡한 도심에서 사용자가 조도를 조절하는 등, 주변 환경에 따른 조도 조절 정보를 학습할 수 있다. 보다 구체적으로는, 추후 상세히 설명할 카메라(200)를 통해 촬영된 주변 환경을 분석하여, 도심, 숲속, 들판 등의 주변 환경을 판별해 주변 환경 정보를 생성하고, 학습부(170)가 주변 환경 정보와 조도 조절 정보 사이의 상관관계를 학습할 수 있다.
실시예에 따라서는, 학습부(170)는, 주변 조도, 시각 정보(time information), 영상 정보 종류, 눈의 찡그림, 날씨 정보, 주변 환경 정보 등을 통합하여, 복수의 요소들과 조도 조절 정보 사이의 상관관계를 학습함으로써, 사용자의 민감도 또는 선호도에 대한 종합적인 이해가 가능하도록 할 수 있다.
한편, 학습부(170)는 수신부(150)에서 수신한 조도 정보를 딥러닝(Deep Learning) 등 머신러닝(Machine Learning)을 이용해 학습할 수 있다. 여기서, 딥러닝은 인공신경망(ANN)을 포함할 수 있으며, 예를 들어 딥러닝은 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(DNN)으로 구성될 수 있다. 또한, 학습부(170)는, 트랜스퍼 학습(Transfer Learning)을 통해, 사전 학습된 모델을 기반으로 각 사용자의 조도 정보를 학습함으로써, 비교적 적은 각 사용자의 조도 정보를 사용해 신속하게 정확도 높은 예측 모델을 생성할 수 있다.
학습부(170)는, 조도 정보의 학습을 위해 외부의 서버와 통신을 수행하여 학습을 처리할 수 있으며, 클라우드 기반으로 학습을 할 수도 있다. 또한, 트랜스퍼 학습을 이용하는 경우, 사전 학습된 모델을 외부의 서버 등으로부터 제공받아, 제공받은 사전 학습된 모델을 기반으로 머리 착용형 디스플레이 장치(100)에서 수신한 조도 정보를 학습부(170)가 학습할 수도 있다.
모델 저장부(180)는, 학습된 사용자에 따른 조도 정보에 기초하여, 각 사용자에게 최적화된 조도를 예측하는 예측 모델을 저장할 수 있다. 즉, 모델 저장부(180)는, 예측 모델을 생성하여 저장할 수 있으며, 예측 모델은 사용자별로 저장될 수 있다.
제어부(190)는, 인식부(140)에서 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 인식되면, 모델 저장부(180)에 저장된 예측 모델에 의해 인식부(140)에서 인식된 사용자에 대해 예측된 최적화된 조도에 따라 증강현실 영상 정보의 밝기를 조절할 수 있다. 즉, 제어부(190)는, 디스플레이(130)로 출력되는 영상 광의 밝기를 예측된 최적화된 조도에 따라 조절할 수 있다. 보다 구체적으로, 제어부(190)는, 예측된 최적화된 조도에 따라 디스플레이(130)에서 출력되는 증강현실 영상 정보의 밝기 및 콘트라스트(contrast) 값 중 적어도 어느 하나가 단계적으로 조절되도록 제어할 수 있다.
여기서, 제어부(190)는, 미리 정해진 시간 간격으로 예측 모델에 의해 최적화된 조도를 예측하여 영상 정보의 밝기를 조절할 수 있으며, 머리 착용형 디스플레이 장치(100)의 전원이 켜진 때, 새로운 사용자가 인식된 때, 센서부(160)에 의해 감지된 조도의 변화량이 임계값 이상인 때, 및 영상 정보의 종류가 변경된 때 중 적어도 어느 하나에 해당하면, 최적화된 조도를 예측하여 영상 정보의 밝기를 다시 조절할 수 있다. 또한, 사용자가 눈을 찡그리면 잘 보이지 않거나 눈이 부신 것일 수 있으므로, 사용자의 얼굴 표정 또는 눈의 찡그림을 촬영 및 분석하여, 임계값 이상의 찡그림이 관측되면 최적화된 조도를 예측하여 영상 정보의 밝기를 조절할 수 있다.
한편, 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)는, HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(210)과, HMD 프레임(110)에 장착되어 영상을 촬영하기 위한 카메라(200)와, 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(220)와, 전원 공급부(220)의 온/오프를 위한 스위치부(230)와, 제어부(190)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100) 또는 서버와 조도 정보나 사전 학습된 모델, 예측 모델 등을 송수신하기 위한 데이터 통신을 수행하는 통신부(240)를 더 포함하여 구성될 수 있다.
또한, GPS 모듈(210)은 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 현재 위치 정보를 제공하고, 카메라(200)는 사용자가 바라보는 시선 방향의 실제 세계를 촬영할 수 있고, HMD 프레임(110)의 내측에 카메라(200)가 설치되어 사용자의 얼굴 표정, 눈의 찡그림 등을 촬영할 수도 있다. 또한, 스위치부(230)는 전원 공급부(220)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다. 또한, 통신부(240)는 인접하는 다른 머리 착용형 디스플레이 장치(100)의 통신부(240) 또는 서버와 연동하여 연결 접속되고, 데이터가 서로 공유될 수 있도록 데이터 통신을 수행할 수 있다. 여기서, 통신부(240)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
도 6은 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)에서, 화면 조도 조절 과정의 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)는, 인식부(140)가 사용자를 인식하고 수신부(150)가 조도 정보를 수신할 수 있다. 이때, 사용자가 조도를 조절하면, 사용자에 의해 조절되는 조도 정보를 학습부(170)에 전달하여 학습하고, 제어부(190)는 사용자 조절에 따라 영상 밝기를 조절할 수 있다. 그러나 사용자가 조도를 직접 조절하지 않으면, 제어부(190)는 인식부(140)에서 인식된 사용자에 대하여 예측 모델에 의해 예측된 최적화된 조도에 따라 영상 정보의 밝기를 자동으로 조절할 수 있다.
이와 같이, 본 발명에서 제안하고 있는 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100)에 따르면, 사용자에 따른 조도 정보를 학습하여 각 사용자에게 최적화된 조도를 예측하고, 예측된 최적화된 조도로 증강현실 영상 정보의 밝기를 조절함으로써, 사용자의 이전 조도 조절 정보를 기초로 하여 각 사용자의 영상 밝기에 대한 선호도를 학습하여, 착용한 사용자가 원하는 밝기로 증강현실 영상 정보를 제공할 수 있다. 또한, 본 발명에 따르면, 주변 조도나 영상 정보 종류 등의 정보와 각 사용자의 조도 조절 정보 사이의 상관관계를 학습하여, 학습된 상관관계를 기초로 사용자의 조작 없이도 자동으로 영상 밝기를 조절할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 인식부
150: 수신부
160: 센서부
170: 학습부
180: 모델 저장부
190: 제어부
200: 카메라
210: GPS 모듈
220: 전원 공급부
230: 스위치부
240: 통신부

Claims (8)

  1. 머리 착용형 디스플레이 장치(100)로서,
    사용자가 머리에 착용할 수 있는 HMD 프레임(110);
    상기 HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학계(120);
    상기 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 증강현실의 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이(130);
    사용자를 인식하는 인식부(140);
    사용자에 의해 조절되는 조도 정보를 수신하는 수신부(150);
    상기 HMD 프레임(110)의 일 측에 설치되며, 주변 조도를 감지하기 위한 센서부(160);
    상기 수신부(150)에서 수신한 사용자에 따른 조도 정보를 학습하는 학습부(170);
    학습된 상기 사용자에 따른 조도 정보에 기초하여, 각 사용자를 위한 조도를 예측하는 예측 모델을 저장하는 모델 저장부(180); 및
    상기 인식부(140)에서 머리 착용형 디스플레이 장치(100)를 착용한 사용자가 인식되면, 상기 모델 저장부(180)에 저장된 예측 모델에 의해 상기 인식부(140)에서 인식된 사용자에 대해 예측된 조도에 따라 증강현실 영상 정보의 밝기를 조절하는 제어부(190)를 포함하되,
    상기 제어부(190)는,
    상기 디스플레이(130)로 출력되는 영상 광의 밝기를 상기 예측된 조도에 따라 조절하며,
    상기 조도 정보는,
    사용자가 조도를 어떻게 조절하는지에 대한 조도 조절 정보를 포함하며, 사용자가 조도를 조절하는 시점의 시각 정보(time information), 주변 조도 및 출력되는 영상 정보 종류를 더 포함하고,
    상기 학습부(170)는,
    상기 센서부(160)에서 수집된 주변 조도와 상기 조도 조절 정보 사이의 상관관계, 상기 조도 정보에 포함된 시각 정보(time information)와 상기 조도 조절 정보 사이의 상관관계, 및 상기 조도 정보에 포함된 영상 정보 종류와 상기 조도 조절 정보 사이의 상관관계를 학습하되, 복수의 요소들과 상기 조도 조절 정보 사이의 상관관계를 학습하며,
    상기 학습부(170)는,
    트랜스퍼 학습(Transfer Learning)을 통해 사전 학습된 모델을 기반으로 각 사용자의 조도 정보를 학습하여 예측 모델을 생성하되, 상기 사전 학습된 모델을 외부의 서버로부터 제공받아, 제공받은 사전 학습된 모델을 기반으로 상기 머리 착용형 디스플레이 장치(100)에서 수신한 조도 정보를 학습하며,
    상기 모델 저장부(180)는, 사용자별로 상기 예측 모델을 저장하는 것을 특징으로 하는, 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100).
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 인식부(140)는,
    상기 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 홍채를 촬영한 홍채 정보를 이용해 사용자를 인증하는 것을 특징으로 하는, 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100).
  8. 제1항에 있어서, 상기 제어부(190)는,
    상기 예측된 조도에 따라 상기 디스플레이(130)에서 출력되는 증강현실 영상 정보의 밝기 및 콘트라스트(contrast) 값 중 적어도 어느 하나가 단계적으로 조절되도록 제어하는 것을 특징으로 하는, 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치(100).
KR1020190154927A 2019-11-27 2019-11-27 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치 KR102260393B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190154927A KR102260393B1 (ko) 2019-11-27 2019-11-27 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190154927A KR102260393B1 (ko) 2019-11-27 2019-11-27 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR102260393B1 true KR102260393B1 (ko) 2021-06-03

Family

ID=76396880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190154927A KR102260393B1 (ko) 2019-11-27 2019-11-27 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR102260393B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
JP2016085322A (ja) * 2014-10-24 2016-05-19 セイコーエプソン株式会社 表示装置、表示装置の制御方法、表示システム、及び、プログラム
JP2016122039A (ja) * 2014-12-24 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
KR20170092690A (ko) * 2015-01-13 2017-08-11 가부시키가이샤 리코 헤드 마운트 표시 장치 및 표시 방법
KR20190041504A (ko) * 2016-08-22 2019-04-22 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
JP2016085322A (ja) * 2014-10-24 2016-05-19 セイコーエプソン株式会社 表示装置、表示装置の制御方法、表示システム、及び、プログラム
JP2016122039A (ja) * 2014-12-24 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
KR20170092690A (ko) * 2015-01-13 2017-08-11 가부시키가이샤 리코 헤드 마운트 표시 장치 및 표시 방법
KR20190041504A (ko) * 2016-08-22 2019-04-22 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스

Similar Documents

Publication Publication Date Title
US11344196B2 (en) Portable eye tracking device
CN107111145B (zh) 头戴式显示装置和显示方法
US10955689B2 (en) Contact lens and storage medium
US9921645B2 (en) Retinal projection device and method for activating a display of a retinal projection device
EP3210202B1 (en) Illumination perception augmentation method, computer program products, head-mountable computing device and lighting system
CN104903818A (zh) 眼睛跟踪佩戴式设备和使用方法
CN104603675A (zh) 图像显示设备、图像显示方法和记录介质
JP6464729B2 (ja) 表示装置、及び、表示装置の制御方法
KR20150129998A (ko) 후방카메라를 구비한 스마트 안경
US10459255B2 (en) Compensating visual impairment by using an eye-mounted display
KR102254174B1 (ko) 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치
KR102260393B1 (ko) 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치
WO2016114130A1 (en) Head-mounted display apparatus, and display method
JP2016130838A (ja) 頭部装着型表示装置、表示方法
KR102410872B1 (ko) 프로젝터 모드를 포함하는 머리 착용형 디스플레이 장치
KR102235903B1 (ko) 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법
JP6609920B2 (ja) 表示装置、及び、表示装置の制御方法
KR102599022B1 (ko) 증강현실 글래스 장치의 전자제품 조작 방법 및 전자제품 조작 기능이 있는 증강현실 글래스 장치
KR20230168554A (ko) 제스처를 이용한 화면 밝기 조절 기능을 갖는 ar 글라스 장치
KR20230168555A (ko) 조도 센서와 음성 인식을 이용한 화면 밝기 조절 기능을 갖는 ar 글라스 장치
KR20230157085A (ko) 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법
KR20240041511A (ko) Ar 글래스의 입력장치로 사용되는 공간 좌표 검출 장치
WO2016121049A1 (ja) 情報表示端末および情報表示方法
KR20240043989A (ko) 아이트래킹 기반으로 착용자의 상태를 분석하는 증강현실 글래스 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant