KR20230030126A - 표시 장치 및 이의 구동 방법 - Google Patents

표시 장치 및 이의 구동 방법 Download PDF

Info

Publication number
KR20230030126A
KR20230030126A KR1020210111922A KR20210111922A KR20230030126A KR 20230030126 A KR20230030126 A KR 20230030126A KR 1020210111922 A KR1020210111922 A KR 1020210111922A KR 20210111922 A KR20210111922 A KR 20210111922A KR 20230030126 A KR20230030126 A KR 20230030126A
Authority
KR
South Korea
Prior art keywords
area
image
user
visual
display device
Prior art date
Application number
KR1020210111922A
Other languages
English (en)
Inventor
이태운
박성환
현창호
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020210111922A priority Critical patent/KR20230030126A/ko
Priority to CN202210324600.8A priority patent/CN115938329A/zh
Priority to US17/865,633 priority patent/US20230069320A1/en
Publication of KR20230030126A publication Critical patent/KR20230030126A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232—Special driving of display border areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264—Details of driving circuits
    • G09G2310/027—Details of drivers for data electrodes, the drivers handling digital grey scale data, e.g. use of D/A converters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G09G2330/023—Power management, e.g. power saving using energy recovery or conservation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G09G2340/0485—Centering horizontally or vertically
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명의 표시 장치는, 사용자의 눈을 센싱하여 시각 센싱 데이터를 생성하는 시각 센서, 표시 영역 및 표시 영역 상에 배치되는 화소들을 포함하는 표시 패널, 시각 센싱 데이터에 기초하여 화소들에 대한 제1 이미지를 변환하여 제2 이미지를 생성하는 이미지 변환부, 및 제2 이미지에 대응하는 데이터 신호들을 화소들로 제공하는 데이터 구동부를 포함한다. 이미지 변환부는, 시각 센싱 데이터에 기초하여 시각 정보를 생성하고, 시각 정보에 기초하여 표시 영역 상의 제1 영역 및 제1 영역과 상이한 제2 영역을 검출하며, 제1 이미지 중 제2 영역의 계조들을 변환하여 제2 이미지를 생성한다.

Description

표시 장치 및 이의 구동 방법{DISPLAY DEVICE AND METHOD OF DRIVING THE SAME}
본 발명은 표시 장치 및 이의 구동 방법에 관한 것이다.
표시 장치는 표시 패널 및 구동부를 포함한다. 표시 패널은 구동부로부터 제공되는 신호들에 대응하여 표시 영역 상에 영상을 표시할 수 있다.
한편, 사용자가 표시 장치를 사용하여 표시 영역 상에 표시되는 영상을 시청할 때, 사용자의 시선, 시야각 등에 따라 표시 영역 내에서 사용자에게 시각적으로 인지(또는, 집중)되는 영역(예를 들어, 가시 영역, 인지 영역)이 사용자마다 또는 시청 환경 마다 상이할 수 있다. 이 경우, 표시 장치가 가시 영역과 가시 영역을 제외한 영역에서 동일한 휘도로 영상을 표시하는 경우, 가시 영역을 제외한 영역에서 불필요한 전력 소모가 발생할 수 있다.
본 발명의 일 목적은 사용자에 대한 시인성을 저하시키지 않으면서도 전력 소모를 최소화할 수 있는 표시 장치 및 이의 구동 방법을 제공하는 데 있다.
본 발명의 실시예들에 의한 표시 장치는, 사용자의 눈을 센싱하여 시각 센싱 데이터를 생성하는 시각 센서, 표시 영역 및 상기 표시 영역 상에 배치되는 화소들을 포함하는 표시 패널, 상기 시각 센싱 데이터에 기초하여 상기 화소들에 대한 제1 이미지를 변환하여 제2 이미지를 생성하는 이미지 변환부, 및 상기 제2 이미지에 대응하는 데이터 신호들을 상기 화소들로 제공하는 데이터 구동부를 포함할 수 있다. 상기 이미지 변환부는, 상기 시각 센싱 데이터에 기초하여 시각 정보를 생성하고, 상기 시각 정보에 기초하여 상기 표시 영역 상의 제1 영역 및 상기 제1 영역과 상이한 제2 영역을 검출하며, 상기 제1 이미지 중 상기 제2 영역의 계조들을 변환하여 상기 제2 이미지를 생성할 수 있다.
일 실시예에서, 상기 이미지 변환부는 상기 제2 영역의 계조들을 감소시킬 수 있다.
일 실시예에서, 상기 이미지 변환부는 상기 제2 영역의 계조들을 0계조로 변환할 수 있다.
일 실시예에서, 상기 이미지 변환부는, 상기 시각 센싱 데이터에 기초하여, 상기 사용자의 시선에 대응하는 제1 시각 정보 및 상기 사용자의 시야각에 대응하는 제2 시각 정보를 생성하는 시각 분석부, 상기 제1 시각 정보에 기초하여 상기 표시 영역 상에서 상기 사용자의 시선에 대응하는 기준점을 결정하고, 상기 기준점에 대응하는 기준점 데이터를 생성하는 기준점 추출부, 상기 제2 시각 정보에 기초하여 상기 사용자의 시야각에 대응하는 시야 영역의 크기를 검출하고, 상기 시야 영역의 크기에 대응하는 영역 데이터를 생성하는 영역 추출부 및 상기 기준점 데이터 및 상기 영역 데이터에 기초하여, 상기 제1 영역 및 상기 제2 영역을 검출하고, 상기 제1 영역 및 상기 제2 영역에 대응하는 가시 영역 데이터를 생성하는 가시 영역 결정부를 포함할 수 있다.
일 실시예에서, 상기 시각 분석부는 상기 시각 센싱 데이터에 기초하여 상기 사용자 눈의 동공의 위치로부터 상기 제1 시각 정보를 생성하며, 상기 사용자 눈의 상기 동공의 크기로부터 상기 제2 시각 정보를 생성할 수 있다.
일 실시예에서, 상기 기준점 추출부는 상기 사용자의 시선에 대응하는 연장선과 상기 표시 영역이 만나는 지점을 상기 기준점으로 결정할 수 있다.
일 실시예에서, 상기 영역 추출부는 상기 표시 영역과 상기 사용자 눈의 망막 사이의 거리 및 상기 사용자의 시야각에 기초하여 상기 시야 영역의 크기를 검출할 수 있다.
일 실시예에서, 상기 표시 장치는, 상기 표시 영역과 상기 망막 사이의 상기 거리를 측정하는 거리 측정 센서를 더 포함할 수 있다.
일 실시예에서, 상기 표시 영역과 상기 망막 사이의 상기 거리는 기설정된 값일 수 있다.
일 실시예에서, 상기 가시 영역 결정부는, 상기 기준점을 중심으로 하며 상기 시야 영역의 크기와 동일한 크기를 가지는 영역을 상기 제1 영역으로 검출하며, 상기 표시 영역 중 상기 제1 영역을 제외한 영역을 상기 제2 영역으로 검출할 수 있다.
일 실시예에서, 상기 이미지 변환부는, 상기 가시 영역 데이터에 기초하여 상기 화소들 중 상기 제2 영역에 대응하는 화소들을 특정하고, 상기 제1 이미지 중 상기 제2 영역에 대응하는 화소들의 계조들을 변환하여 상기 제2 이미지를 생성하는 계조 변환부를 더 포함할 수 있다.
일 실시예에서, 상기 시각 센서는 제1 프레임 및 상기 제1 프레임에 연속한 제2 프레임 각각에서 상기 시각 센싱 데이터를 생성하며, 상기 이미지 변환부는, 상기 제1 프레임에서 생성된 상기 시각 센싱 데이터에 기초하여 상기 제1 프레임에 대응하는 상기 제2 이미지를 생성하며, 상기 제2 프레임에서 생성된 상기 시각 센싱 데이터에 기초하여 상기 제2 프레임에 대응하는 상기 제2 이미지를 생성할 수 있다.
일 실시예에서, 상기 시각 센서는 제1 프레임에서 상기 시각 센싱 데이터를 생성하며, 상기 이미지 변환부는 상기 제1 프레임에서 생성된 상기 시각 센싱 데이터에 기초하여, 상기 제1 프레임에 대응하는 상기 제2 이미지 및 상기 제1 프레임에 연속한 제2 프레임에 대응하는 상기 제2 이미지를 생성할 수 있다.
일 실시예에서, 상기 시각 센서는, 상기 사용자의 눈을 촬영하여 상기 사용자의 눈에 대응하는 영상을 획득하는 카메라를 포함할 수 있다.
본 발명의 실시예들에 의한 표시 장치의 구동 방법은, 표시 영역 및 상기 표시 영역 상에 배치되는 화소들을 포함하는 표시 장치의 구동 방법에서, 사용자의 눈을 센싱하여 시각 센싱 데이터를 생성하는 단계, 상기 시각 센싱 데이터에 기초하여 시각 정보를 생성하는 단계, 상기 시각 정보에 기초하여 상기 표시 영역 상의 제1 영역 및 상기 제1 영역과 상이한 제2 영역을 검출하는 단계, 상기 화소들 중 상기 제2 영역에 대응하는 화소들을 특정하는 단계, 상기 화소들에 대한 제1 이미지 중 상기 제2 영역에 대응하는 화소들의 계조들을 변환하여 제2 이미지를 생성하는 단계, 및 상기 제2 이미지에 대응하는 데이터 신호들을 상기 화소들로 제공하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제2 이미지를 생성하는 단계는, 상기 제2 영역에 대응하는 화소들의 계조들을 감소시킬 수 있다.
일 실시예에서, 상기 제2 이미지를 생성하는 단계는, 상기 제2 영역에 대응하는 화소들의 계조들을 0계조로 변환할 수 있다.
일 실시예에서, 상기 시각 정보를 생성하는 단계는, 상기 시각 센싱 데이터에 기초하여 상기 사용자의 시선에 대응하는 제1 시각 정보를 생성하는 단계, 및 상기 시각 센싱 데이터에 기초하여 상기 사용자의 시야각에 대응하는 제2 시각 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 영역 및 상기 제2 영역을 검출하는 단계는, 상기 제1 시각 정보에 기초하여 상기 사용자의 시선에 대응하는 기준점을 결정하는 단계, 및 상기 제2 시각 정보에 기초하여 상기 사용자의 시야각에 대응하는 시야 영역의 크기를 검출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 영역 및 상기 제2 영역을 검출하는 단계는, 상기 기준점을 중심으로 하며 상기 시야 영역의 크기와 동일한 크기를 가지는 영역을 상기 제1 영역으로 검출하는 단계, 및 상기 표시 영역 중 상기 제1 영역을 제외한 영역을 상기 제2 영역으로 검출하는 단계를 더 포함할 수 있다.
본 발명의 실시예들에 의한 표시 장치 및 이의 구동 방법은, 사용자의 눈을 센싱하여 생성된 시각 센싱 데이터를 분석하여 시각 정보를 추출하고, 시각 정보에 대응하여 표시 영역 중 사용자에게 시각적으로 인지되지 않는(또는, 상대적으로 적게 인지되는) 영역의 휘도를 제어할 수 있다. 이에 따라, 사용자에 대한 시인성이 저하되지 않으면서도, 전력 소모가 최소화될 수 있다.
다만, 본 발명의 효과는 상술한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시예들에 따른 헤드 마운트 표시 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 헤드 마운트 표시 장치가 구현되는 일 예를 나타내는 도면이다.
도 3은 본 발명의 실시예들에 따른 표시 장치를 나타내는 블록도이다.
도 4는 도 3의 표시 장치에 포함되는 이미지 변환부의 일 예를 나타내는 블록도이다.
도 5a 내지 도 5c는 도 4의 이미지 변환부에 포함되는 시각 분석부, 기준점 추출부, 및 영역 추출부의 동작의 일 예를 설명하기 위한 도면들이다.
도 6a 내지 도 6c는 도 4의 이미지 변환부에 포함되는 계조 변환부의 일 예를 설명하기 위한 도면들이다.
도 7은 도 3의 표시 장치에 포함되는 시각 센서의 일 예를 설명하기 위한 도면이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 헤드 마운트 표시 장치를 나타내는 블록도이다.
도 1을 참조하면, 헤드 마운트 표시 장치(Head Mount Display Device; HMD)는 프로세서(PRC), 메모리 장치(MEM), 입출력 장치(IO), 파워 서플라이(PS), 센싱 장치(SD) 및 표시 모듈(DM)를 포함할 수 있다. 헤드 마운트 표시 장치(HMD)의 구성 요소들은 도 1에 한정되지 않으며, 도 1에 도시된 구성 요소들보다 많거나 적은 구성 요소들을 가질 수 있다.
프로세서(PRC)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 프로세서(PRC)는 헤드 마운트 표시 장치(HMD)의 전반적인 동작을 제어할 수 있다. 프로세서(PRC)는 입출력 장치(IO)를 통해 입력되는 신호, 데이터 정보 등을 처리하거나, 메모리 장치(MEM)에 저장된 어플리케이션 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 일 실시예에서, 프로세서(PRC)는 마이크로프로세서(microprocessor), 중앙 처리 장치(CPU), 어플리케이션 프로세서(Application Processor; AP), 커뮤니케이션 프로세서(Communication Processor; CP) 등일 수 있다. 프로세서(PRC)는 어드레스 버스(address bus), 제어버스(control bus) 및 데이터 버스(data bus) 등을 통하여 다른 구성 요소들에 연결될 수 있다. 또한, 프로세서(PRC)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
메모리 장치(MEM)는 전자 기기의 동작에 필요한 데이터들을 저장할 수 있다. 메모리 장치(MEM)는 헤드 마운트 표시 장치(HMD)에서 구동되는 다수의 어플리케이션 프로그램, 헤드 마운트 표시 장치(HMD)의 동작을 위한 데이터들, 명령어 등을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 입출력 장치(IO)를 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 예를 들어, 메모리 장치(MEM)는 EPROM, EEPROM, 플래시 메모리, PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) 등과 같은 비휘발성 메모리 장치 및/또는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), 모바일 DRAM 등과 같은 휘발성 메모리 장치를 포함할 수 있다.
입출력 장치(IO)는 영상 신호 입력을 위한 카메라 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 터치키(touch key), 푸시키(push key), 조이스틱, 휠(wheel)키 등) 등을 포함하는 입력 수단 및 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로 음향 출력부, 햅틱 모듈, 광 출력부 등을 포함하는 출력 수단을 포함할 수 있다. 표시 모듈(DM)은 입출력 장치(IO) 내에 구비될 수도 있다.
파워 서플라이(PS)는 헤드 마운트 표시 장치(HMD)의 동작에 필요한 파워를 공급할 수 있다. 파워 서플라이(PS)는 외부의 전원 및 내부의 전원을 인가받아 헤드 마운트 표시 장치(HMD)에 포함된 각각의 구성 요소들에 전원을 공급할 수 있다. 파워 서플라이(PS)는 배터리를 포함하며, 내장형 배터리 또는 교체 가능한 배터리로 구현될 수 있다.
센싱 장치(SD)는 헤드 마운트 표시 장치(HMD)를 둘러싼 주변 환경 정보, 사용자 정보 등을 센싱하기 위한 적어도 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱 장치(SD)는 속도 센서, 가속도 센서, 중력 센서, 조도 센서, 모션 센서, 지문 인식 센서, 광 센서, 초음파 센서, 열 감지 센서 등을 포함할 수 있다.
표시 모듈(DM)은 상기 버스들 또는 다른 통신 링크를 통해 다른 구성 요소들에 연결될 수 있다. 표시 모듈(DM)은 헤드 마운트 표시 장치(HMD)에서 처리되는 정보를 표시할 수 있다.
도 2는 본 발명의 실시예들에 따른 헤드 마운트 표시 장치가 구현되는 일 예를 나타내는 도면이다.
도 2를 참조하면, 헤드 마운트 표시 장치(HMD)는 표시 모듈(DM), 하우징(HS) 및 장착부(MT)를 포함할 수 있다. 헤드 마운트 표시 장치(HMD)는 사용자의 헤드부에 장착되어 사용자에게 영상 정보를 제공할 수 있다. 표시 모듈(DM)은 영상 신호에 기초하여 영상을 표시할 수 있다.
표시 모듈(DM)은 사용자의 좌안 및 우안에 각각 영상을 제공할 수 있다. 사용자의 좌안에 대응하는 좌안 영상 및 사용자의 우안에 대응하는 우안 영상은 동일하거나, 상이할 수 있다. 헤드 마운트 표시 장치(HMD)는 표시 모듈(DM)를 통하여 2D, 3D, 가상현실, 360도 파노라마 영상 등을 제공할 수 있다. 표시 모듈(DM)은 액정 표시 장치(Liquid Crystal Display; LCD), 유기 발광 표시 장치(Organic Light Emitting Display; OLED), 무기 발광 표시 장치, 플렉시블(flexible) 표시 장치 중에서 적어도 하나를 포함할 수 있다. 표시 모듈(DM)은 하우징(HS)에 내장되거나, 하우징(HS)과 결합될 수 있다. 표시 모듈(DM)은 하우징(HS)에 구비되는 인터페이스부 등을 통해 명령을 수신할 수 있다.
하우징(HS)은 사용자의 눈의 전면에 위치할 수 있다. 하우징(HS)에는 헤드 마운트 표시 장치(HMD)를 동작시키기 위한 상기 구성 요소들이 수납될 수 있다. 또한, 하우징(HS)에는 무선 통신부, 인터페이스부 등이 위치할 수 있다. 무선 통신부는 외부 단말기와 무선 통신을 수행하여 외부 단말기로부터 영상 신호를 수신할 수 있다. 예를 들어, 무선통신부는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), UWB(Ultra Wideband) 등을 이용하여 외부 단말기와 통신할 수 있다. 인터페이스부는 헤드 마운트 표시 장치(HMD)를 외부 기기와 연결시킬 수 있다. 예를 들어, 헤드 마운트 표시 장치의 인터페이스부는 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O 포트, 이어폰 포트 중 적어도 하나를 포함할 수 있다.
장착부(MT)는 하우징(HS)과 연결되어 헤드 마운트 표시 장치(HMD)를 사용자의 헤드부에 고정시킬 수 있다. 예를 들어, 장착부(MT)는 벨트나 신축성을 갖는 띠 등으로 구현될 수 있다.
도 3은 본 발명의 실시예들에 따른 표시 장치를 나타내는 블록도이다.
도 3을 참조하면, 본 발명의 실시예들에 따른 표시 장치(1000)는 표시 패널(DP), 제어부(100), 스캔 구동부(200), 및 데이터 구동부(300)를 포함할 수 있다. 실시예들에 따라, 표시 장치(1000)는 시각 센서(400)를 더 포함할 수 있다.
표시 패널(DP)은 복수의 스캔 라인들(SL1 내지 SLn)(단, n은 0보다 큰 정수), 복수의 데이터 라인들(DL1 내지 DLm)(단, m은 0보다 큰 정수), 및 복수의 화소(PX)들을 포함할 수 있다.
화소(PX)들은 스캔 라인들(SL1 내지 SLn) 중 적어도 하나 및 데이터 라인들(DL1 내지 DLm) 중 적어도 하나에 연결될 수 있다. 화소(PX)들은 해당 스캔 라인을 통해 제공되는 스캔 신호에 응답하여 해당 데이터 라인을 통해 제공되는 데이터 신호에 대응하는 휘도로 발광할 수 있다. 한편, 화소(PX)들은 외부로부터 제1 전원(VDD) 및 제2 전원(VSS)의 전압들을 공급받을 수 있다. 여기서 제1 전원(VDD)과 제2 전원(VSS)은 화소(PX)들의 동작에 필요한 전압들이다. 예를 들어, 제1 전원(VDD)은 제2 전원(VSS)의 전압 레벨보다 높은 전압 레벨을 가질 수 있다.
화소(PX)들 각각은 발광 소자 및 발광 소자에 연결된 화소 구동회로를 포함할 수 있다. 예를 들어, 발광 소자는 유기 발광 다이오드(organic light emitting diode) 또는 마이크로 LED(light emitting diode), 양자점 발광 다이오드(quantum dot light emitting diode)와 같은 무기 발광 다이오드(inorganic light emitting diode)로 구성될 수 있다. 또한, 발광 소자는 유기물과 무기물이 복합적으로 구성된 발광 소자일 수도 있다. 나아가, 화소(PX)들 각각은 단일(single) 발광 소자를 포함하거나, 다른 실시예에서 화소(PX)들 각각은 복수의 발광 소자들을 포함하며, 복수의 발광 소자들은 상호 직렬, 병렬, 또는, 직병렬로 연결될 수 있다.
표시 패널(DP)은 데이터 신호에 기초하여 표시 영역(DA) 상에 영상을 표시할 수 있다.
일 실시예에서, 표시 패널(DP)은 표시 영역(DA)으로서 제1 서브 표시 영역과 제2 서브 표시 영역을 포함할 수 있다. 예를 들어, 표시 장치(1000)가 도 1 및 도 2를 참조하여 설명한 헤드 마운트 표시 장치(HMD)로 구현되는 경우, 표시 패널(DP)은 사용자의 좌안 및 우안에 각각 영상을 제공하기 위하여, 좌안 영상을 표시하기 위한 제1 서브 표시 영역과 우안 영상을 표시하기 위한 제2 서브 표시 영역을 포함할 수 있다.
제어부(100)는 이미지 변환부(110) 및 타이밍 제어부(120)를 포함할 수 있다.
이미지 변환부(110)는 프로세서(예를 들어, 도 1의 프로세서(PRC))로부터 제1 이미지(IMG1)를 수신하고, 시각 센서(400)로부터 시각 센싱 데이터(VSD)를 수신할 수 있다. 여기서, 제1 이미지(IMG1)는 각각의 프레임(frame)에 대한 계조들을 포함할 수 있다.
한편, 사용자가 표시 장치(1000)를 사용하여 표시 영상을 시청할 때, 사용자의 표시 영상에 대한 시청 환경, 영상의 움직임에 따른 시선 변경 등에 따라 사용자의 시선(sight)이 변할 수 있으며, 표시 영상의 휘도 또는 외부 광의 밝기 등에 따라 사용자의 동공의 크기가 변하여(예를 들어, 표시 영상의 휘도 또는 외부 광의 밝기가 커지는 경우, 사용자의 동공의 크기가 작아짐) 사용자의 시야각(field of view)이 변할 수 있다. 사용자의 시선과 시야각이 변하는 경우, 사용자가 표시 영역(DA) 상에서 시각적으로 인지하는 영역이 변할 수 있다.
예를 들어, 표시 장치(1000)가 도 1 및 도 2를 참조하여 설명한 헤드 마운트 표시 장치(HMD)로 구현되는 경우, 헤드 마운트 표시 장치(HMD)는 사용자의 헤드부에 장착되어 사용자에게 표시 영상을 제공하므로, 헤드 마운트 표시 장치(HMD)의 표시 모듈(DM)(또는, 도 3의 표시 장치(1000)의 표시 패널(DP))과 사용자의 눈 사이의 거리가 상대적으로 가까울 수 있다. 여기서, 표시 모듈(DM)과 사용자의 눈 사이의 거리가 상대적으로 가까우며, 사용자의 시야각의 크기는 제한적이므로, 사용자는 표시 영역(DA)의 전영역을 시각적으로 인지하지 못할 수 있다. 즉, 표시 영역(DA) 중 사용자에게 시각적으로 인지되지 않는(또는, 상대적으로 적게 인지되는) 영역이 생길 수 있다.
이에 따라, 사용자가 표시 장치(1000)를 사용하여 표시 영역(DA) 상에 표시되는 영상을 시청할 때, 사용자의 시선, 시야각 등에 따라 표시 영역(DA)은 사용자에게 시각적으로 인지되는 가시 영역(또는, 제1 영역) 및 사용자에게 시각적으로 인지되지 않는(또는, 상대적으로 적게 인지되는) 비가시 영역(또는, 제2 영역)으로 구분될 수 있다. 여기서, 비가시 영역은 표시 영역(DA) 중 가시 영역을 제외한 영역에 대응할 수 있다. 이때, 비가시 영역에서 표시되는 영상은 사용자에게 시각적으로 인지되지 않으므로(또는, 상대적으로 적게 인지되므로), 표시 장치(1000)(또는, 표시 패널(DP))가 비가시 영역에서 가시 영역과 동일한 휘도로 영상을 표시하는 경우, 비가시 영역에서 불필요한 전력 소모가 발생할 수 있다.
이에 따라, 본 발명의 실시예들에 따른 이미지 변환부(110)는 비가시 영역에서 불필요한 전력 소모를 방지하기 위하여, 시각 센싱 데이터(VSD)를 분석하여 사용자의 시선, 시야각 등의 시각 정보를 추출하고, 시각 정보에 대응하여 제1 이미지(IMG1)의 계조들을 변환하여 제2 이미지(IMG2)를 생성할 수 있다.
예를 들어, 이미지 변환부(110)는 시각 센싱 데이터(VSD)에 기초하여 사용자의 시선에 대한 제1 시각 정보) 및 사용자의 시야각에 대한 제2 시각 정보)를 추출하고, 제1 시각 정보와 제2 시각 정보에 기초하여 표시 영역(DA) 상의 가시 영역 및 비가시 영역을 결정하며, 제1 이미지(IMG1)의 계조들 중 비가시 영역에 대응하는 계조들을 변환(예를 들어, 감소)하여 제2 이미지(IMG2)를 생성할 수 있다. 제1 이미지(IMG1)가 변환된 제2 이미지(IMG2)에 대응하여, 비가시 영역에서 표시되는 영상의 휘도가 제어될 수 있다. 이에 따라, 본 발명의 실시예들에 따른 표시 장치(1000)는 사용자에 대한 시인성을 저하시키기 않으면서도 전력 소모를 최소화할 수 있다.
타이밍 제어부(120)는 프로세서(예를 들어, 도 1의 프로세서(PRC))로부터 제어 신호(CS)를 수신할 수 있다. 제어 신호(CS)는 수평 동기 신호, 수직 동기 신호, 클럭 신호 등을 포함할 수 있다. 타이밍 제어부(120)는 제어 신호(CS)에 기초하여 제1 제어 신호(SCS) 및 제2 제어 신호(DCS)를 생성할 수 있다. 제1 제어 신호(SCS)는 스캔 구동부(200)로 제공되고, 제2 제어 신호(DCS)는 데이터 구동부(300)로 제공될 수 있다.
또한, 타이밍 제어부(120)는 이미지 변환부(110)로부터 제공되는 제2 이미지(IMG2)를 변환하여 영상 데이터(DATA)를 생성할 수 있다.
한편, 도 3에서는 이미지 변환부(110)와 타이밍 제어부(120)가 별도의 구성인 것으로 도시되었으나, 이는 설명의 편의를 위한 예시적인 것으로서, 이미지 변환부(110)와 타이밍 제어부(120)는 일체로 구성될 수 있다. 예를 들어, 이미지 변환부(110)는 타이밍 제어부(120)에 내장된 형태로 구현될 수 있다.
스캔 구동부(200)는 타이밍 제어부(120)로부터 제1 제어 신호(SCS)를 수신하고, 제1 제어 신호(SCS)에 기초하여 스캔 라인들(SL1 내지 SLn)로 스캔 신호를 공급할 수 있다. 예를 들어, 스캔 신호는 스캔 라인들(SL1 내지 SLn)로 순차적으로 공급될 수 있다.
스캔 신호는 게이트 온 전압(예를 들어, 로우 전압 또는 하이 전압)으로 설정될 수 있다. 스캔 신호를 수신하는 트랜지스터는 스캔 신호가 공급될 때 턴-온 상태로 설정될 수 있다.
데이터 구동부(300)는 타이밍 제어부(120)로부터 제2 제어 신호(DCS) 및 영상 데이터(DATA)를 수신할 수 있다. 데이터 구동부(300)는 제2 제어 신호(DCS)에 대응하여 데이터 라인들(DL1 내지 DLm)로 제2 이미지(IMG2)(또는, 영상 데이터(DATA))에 대응하는 데이터 신호(또는, 데이터 전압)를 공급할 수 있다.
시각 센서(400)는 사용자의 눈을 센싱하여 시각 센싱 데이터(VSD)를 생성할 수 있다. 실시예들에 따라, 시각 센서(400)는 사용자의 눈을 촬영하여 사용자의 눈에 대응하는 영상을 획득하는 카메라를 포함할 수 있으며, 여기서, 시각 센싱 데이터(VSD)는 상기 영상을 포함할 수 있다.
예를 들어, 시각 센서(400)는 명동공법 방식의 적외선 카메라 또는 암동공법 방식의 적외선 카메라를 포함할 수 있다. 명동공법 방식에서, 시각 센서(400)(또는, 적외선 카메라)는 검출대상인 사용자의 눈으로부터 소정의 간격으로 떨어진 거리에서 사용자 눈의 동공 중심 축에 평행하도록 광(적외선)을 조사하여 동공의 중심을 밝게 하고, 사용자 눈의 망막으로부터 반사된 광을 검출하여 사용자의 눈에 대응하는 영상을 획득할 수 있다. 암동공법 방식에서, 시각 센서(400)(또는, 적외선 카메라)는 검출대상인 사용자 눈의 동공 중심 축과 소정 각도를 이루도록 광(적외선)을 조사하여 동공의 중심을 홍채보다 어둡게 하고, 사용자의 망막으로부터 반사된 광을 검출하여 사용자의 눈에 대응하는 영상을 획득할 수 있다. 다만, 본 발명의 실시예가 이에 제한되는 것은 아니며, 시각 센서(400)는 명동공법 방식의 적외선 카메라와 암동공법 방식의 적외선 카메라를 모두 포함할 수도 있다.
한편, 시각 센서(400)에 포함되는 카메라가 적외선 카메라로 구현되는 경우, 사용자의 눈을 촬영하기 위해 사용자 눈에 조사되는 적외선은 사용자의 시력 손상을 발생시키지 않는다.
도 3에서는, 시각 센서(400)에 포함되는 카메라가 적외선 카메라인 것으로 설명하였으나, 본 발명이 이에 제한되는 것은 아니다. 예를 들어, 시각 센서(400)에 포함되는 카메라는 가시광선 카메라일 수도 있다.
일 실시예에서, 시각 센서(400)는 매 프레임 마다 사용자의 눈을 촬영하여 영상을 획득할 수 있다. 여기서, 시각 센서(400)는 사용자의 눈을 촬영하여 획득된 영상에서 사용자의 동공 크기 변화 또는 동공 위치 변화가 감지되는 경우에만(즉, 사용자의 동공 크기 변화 또는 동공 위치 변화가 감지되는 프레임에서만), 시각 센싱 데이터(VSD)를 생성하여 이미지 변환부(110)에 제공할 수 있다. 즉, 시각 센서(400)는 사용자의 눈을 촬영하여 획득된 영상에 따라 시각 정보의 변화가 감지된 경우에만, 시각 센싱 데이터(VSD)를 생성하여 이미지 변환부(110)에 제공할 수 있다.
구체적으로, 사용자의 동공 크기 변화 및 동공 위치 변화 중 적어도 하나가 감지되는 경우, 시각 센서(400)는 시각 센싱 데이터(VSD)를 생성하여 이미지 변환부(110)에 제공할 수 있다. 이 경우, 이미지 변환부(110)는 상술한 바와 같이 시각 센싱 데이터(VSD)를 분석하여 시각 정보(예를 들어, 제1 시각 정보, 제2 시각 정보)를 추출함으로써 가시 영역 및 비가시 영역을 결정하고, 제1 이미지(IMG1)를 변환하여 제2 이미지(IMG2)를 생성할 수 있다.
이에 반해, 사용자의 동공 크기 변화와 사용자의 동공 위치 변화가 모두 감지되지 않는 경우, 시각 센서(400)는 시각 센싱 데이터(VSD)를 이미지 변환부(110)에 제공하지 않을 수 있다. 이 경우, 이미지 변환부(110)는 이전 프레임(제1 프레임)에 대응하여 결정된 가시 영역과 비가시 영역에 기초하여, 해당 프레임(제2 프레임)의 제1 이미지(IMG1)를 변환하여 제2 이미지(IMG2)를 생성할 수 있다. 이때, 이미지 변환부(110)가 해당 프레임에서 상술한 시각 센싱 데이터(VSD)를 분석하여 시각 정보를 추출하는 동작 등이 생략되므로, 이미지 변환부(110)의 연산 동작에 따른 부하(load)가 감소될 수 있다.
이 경우, 이미지 변환부(110)(또는, 제어부(100))는 이전 프레임에 대응하여 결정된 가시 영역과 비가시 영역에 대한 정보를 저장하기 위한 메모리를 더 포함할 수 있다.
한편, 표시 장치(1000)가 도 1 및 도 2를 참조하여 설명한 헤드 마운트 표시 장치(HMD)로 구현되는 경우, 시각 센서(400)는 헤드 마운트 표시 장치(HMD)의 하우징(HS) 상에 배치되어 사용자의 눈을 센싱할 수 있다. 다만, 본 발명의 실시예가 이에 제한되는 것은 아니다. 예를 들어, 시각 센서(400)는 표시 모듈(DM) 상에서 영상이 표시되지 않는 영역에 배치되어 사용자의 눈을 센싱할 수도 있다.
또한, 표시 장치(1000)가 도 1 및 도 2를 참조하여 설명한 헤드 마운트 표시 장치(HMD)로 구현되는 경우, 시각 센서(400)는 사용자의 눈의 좌안 및 우안을 각각 센싱하기 위한 2개의 서브 시각 센서들을 포함할 수 있다. 이 경우, 이미지 변환부(110)는 2개의 서브 시각 센서들로부터 각각 시각 센싱 데이터(VSD)를 제공받고, 좌안 영상 및 우안 영상에 각각 대응되는 제1 이미지(IMG1)들을 변환하여 제2 이미지(IMG2)들을 생성할 수 있다.
도 4는 도 3의 표시 장치에 포함되는 이미지 변환부의 일 예를 나타내는 블록도이다.
도 3 및 도 4를 참조하면, 이미지 변환부(110)는 시각 분석부(111), 기준점 추출부(112), 영역 추출부(113), 가시 영역 결정부(114), 및 계조 변환부(115)를 포함할 수 있다.
시각 분석부(111)는 시각 센싱 데이터(VSD)에 기초하여 제1 시각 정보(VI1) 및 제2 시각 정보(VI2)를 생성할 수 있다. 예를 들어, 시각 분석부(111)는 시각 센싱 데이터(VSD)를 분석하여, 표시 영역(DA)을 바라보는 사용자의 시선에 대한 정보(STI)를 포함하는 제1 시각 정보(VI1) 및 사용자의 시야각에 대한 정보(FVI)를 포함하는 제2 시각 정보(VI2)를 생성할 수 있다.
도 3을 참조하여 설명한 바와 같이, 시각 센서(400)가 카메라(예를 들어, 적외선 카메라)를 포함하는 경우, 시각 분석부(111)는 시각 센싱 데이터(VSD)에 포함된 사용자의 눈 영상을 분석하여 제1 시각 정보(VI1) 및 제2 시각 정보(VI2)를 생성할 수 있다.
예를 들어, 시각 분석부(111)는 사용자의 눈 영상을 사전에 모델링한 눈의 이미지에 적용함으로써 사용자 눈의 동공 위치 및 크기를 추출할 수 있다. 일 예로, 시각 분석부(111)는 회귀 모델(regression model) 학습법을 이용하여 사용자 눈의 동공 위치 및 크기를 추출할 수 있다.
다만, 시각 분석부(111)가 사용자 눈의 동공 위치 및 크기를 추출하는 동작이 이에 제한되는 것은 아니다. 예를 들어, 시각 분석부(111)는 사용자의 눈 영상에 대하여 프로젝션 함수(projection function), 허프 변환(hough transform) 등을 이용함으로써 사용자 눈의 동공 위치 및 크기를 검출할 수 있다.
실시예들에 따라, 시각 분석부(111)는 추출된 동공의 위치(또는, 동공의 중심 위치)을 이용하여 사용자의 시선을 추정함으로써, 제1 시각 정보(VI1)를 생성할 수 있다.
예를 들어, 시각 분석부(111)는 구(sphere)의 형상에 대응하는 사용자의 눈에 대한 동공의 중심 위치에서의 법선 방향에 따른 연장선을 사용자의 시선으로 추정할 수 있다.
또한, 시각 분석부(111)는 추출된 동공의 크기를 이용하여 사용자의 시야각을 추정함으로써, 제2 시각 정보(VI2)를 생성할 수 있다.
예를 들어, 시각 분석부(111)는 동공의 크기를 이용하여, 망막으로부터 동공을 통해 표시 영역(DA) 상에서 사용자가 시각적으로 인지할 수 있는 영역에 대응하는 시야각을 추정할 수 있다.
시각 분석부(111)가 시각 센싱 데이터(VSD)를 분석하여 제1 시각 정보(VI1)와 제2 시각 정보(VI2)를 생성하는 동작에 대해서는, 도 5a 내지 도 5c를 참조하여 구체적으로 설명하기로 한다.
제1 시각 정보(VI1)는 기준점 추출부(112)에 제공되며, 제2 시각 정보(VI2)는 영역 추출부(113)에 제공될 수 있다.
기준점 추출부(112)는 제1 시각 정보(VI1)에 기초하여, 표시 영역(DA) 상에서 사용자의 시선에 대응하는 지점(이하에서, 기준점이라 함)에 대응하는 기준점 데이터(RPD)를 생성할 수 있다.
예를 들어, 기준점 추출부(112)는 사용자의 시선에 대응하는 연장선과 표시 영역(DA)이 만나는 지점을 기준점으로 결정하여, 기준점 데이터(RPD)를 생성할 수 있다. 여기서, 기준점은 표시 영역(DA) 상에서 사용자의 시선이 가장 집중되는 지점으로서, 도 3을 참조하여 설명한 가시 영역에서의 중심점에 대응할 수 있다.
영역 추출부(113)는 제2 시각 정보(VI2)에 기초하여, 사용자에게 시각적으로 인지되는 영역(또는, 시야 영역)의 넓이(또는, 크기)에 대응하는 영역 데이터(AD)를 생성할 수 있다.
예를 들어, 영역 추출부(113)는 사용자의 시야각에 의해 사용자에게 시각적으로 인지되는 영역(시야 영역)의 넓이(크기)를 검출하여 영역 데이터(AD)를 생성할 수 있다. 여기서, 사용자에게 시각적으로 인지되는 영역의 넓이는 도 3을 참조하여 설명한 가시 영역의 넓이에 대응할 수 있다.
기준점 추출부(112)에 의해 생성된 기준점 데이터(RPD) 및 영역 추출부(113)에 의해 생성된 영역 데이터(AD)는 가시 영역 결정부(114)로 제공될 수 있다.
가시 영역 결정부(114)는 기준점 데이터(RPD) 및 영역 데이터(AD)에 기초하여 표시 영역(DA) 상에서 사용자에게 시각적으로 인지되는 영역에 대응하는 가시 영역 및 가시 영역을 제외한 비가시 영역을 검출하여, 가시 영역 데이터(VAD)를 생성할 수 있다.
예를 들어, 가시 영역 결정부(114)는 기준점 데이터(RPD)에 대응하는 기준점을 가시 영역의 중심점으로 설정하고, 영역 데이터(AD)에 대응하는 시야 영역의 넓이를 가시 영역의 넓이로 설정함으로써, 가시 영역을 결정할 수 있다.
계조 변환부(115)는 제1 이미지(IMG1)를 수신하고, 가시 영역 결정부(114)로부터 제공된 가시 영역 데이터(VAD)에 기초하여 제1 이미지(IMG1)를 제2 이미지(IGM2)로 변환할 수 있다.
계조 변환부(115)는 표시 영역(DA) 중 비가시 영역에 대응하는 화소들을 특정하고, 제1 이미지(IMG1) 중 상기 비가시 영역으로 특정된 화소들의 계조들을 변환하여 제2 이미지(IMG2)를 생성할 수 있다.
실시예들에 따라, 계조 변환부(115)는 제1 이미지(IMG1) 중 비가시 영역에 대응하는 화소들의 계조들을 감소시켜 제2 이미지(IMG2)를 생성할 수 있다.
예를 들어, 계조 변환부(115)는 제1 이미지(IMG1) 중 비가시 영역에 대응하는 화소들의 계조들을 0계조로 변환하여 제2 이미지(IMG2)를 생성할 수 있다. 즉, 제2 이미지(IMG2)의 계조들 중 비가시 영역에 대응하는 화소들의 계조들은 0 계조일 수 있다. 이에 따라, 표시 영역(DA) 중 비가시 영역에서는 영상이 표시되지 않는다(즉, 오프(off)될 수 있다).
다른 예로, 계조 변환부(115)는 가시 영역으로부터 멀어질수록 표시 영역(DA)에 표시되는 영상의 휘도가 점차적으로 감소하도록, 제1 이미지(IMG1) 중 비가시 영역에 대응하는 화소들의 계조들을 점차적으로 감소시켜 제2 이미지(IMG2)를 생성할 수 있다. 예를 들어, 계조 변환부(115)는 비가시 영역에 대응하는 화소들의 계조들에 비례 상수를 곱함으로써 제2 이미지(IMG2)를 생성할 수 있다. 여기서, 비례 상수 값은 0 이상 1 미만의 값을 가지며, 가시 영역에서 멀어질수록 작은 값을 가질 수 있다. 이에 따라, 표시 영역(DA) 중 비가시 영역에서 표시되는 영상은 가시 영역으로부터 멀어질수록 휘도가 감소할 수 있다.
도 3 및 도 4를 참조하여 설명한 바와 같이, 본 발명의 실시예들에 따른 이미지 변환부(110)는 시각 센싱 데이터(VSD)에 분석하여 제1 시각 정보(VI1) 및 제2 시각 정보(VI2)를 생성하고, 제1 시각 정보(VI1) 및 제2 시각 정보(VI2)에 기초하여 표시 영역(DA) 상의 가시 영역을 결정하며, 제1 이미지(IMG1)의 계조들 중 가시 영역을 제외한 비가시 영역에 대응하는 계조들을 변환하여 제2 이미지(IMG2)를 생성할 수 있다. 이에 따라, 본 발명의 실시예들에 따른 이미지 변환부(110)(또는, 표시 장치(1000))는 제2 이미지(IMG2)에 대응하여 표시 영역(DA)의 비가시 영역 상에 표시되는 영상의 휘도를 제어(예를 들어, 감소)하여, 전력 소모를 감소시킬 수 있다. 또한, 비가시 영역은 사용자에게 시각적으로 인지되지 않는(또는, 상대적으로 적게 인지되는) 영역에 해당하므로, 비가시 영역에서 휘도가 제어되더라도 사용자에 대한 시인성이 저하되지 않는다.
이하에서는, 도 5a 내지 도 6c를 더 참조하여, 이미지 변환부(110)의 동작에 대해 보다 구체적으로 설명하기로 한다.
도 5a 내지 도 5c는 도 4의 이미지 변환부에 포함되는 시각 분석부, 기준점 추출부, 및 영역 추출부의 동작의 일 예를 설명하기 위한 도면들이다. 도 6a 내지 도 6c는 도 4의 이미지 변환부에 포함되는 계조 변환부의 일 예를 설명하기 위한 도면들이다. 한편, 도 5a 내지 도 5c에는 표시 영역(DA)에 대응하는 가상 평면(VP)이 도시되어 있다.
먼저, 도 4, 도 5a, 도 5b, 도 6a, 및 도 6b를 참조하여, 사용자의 시야각(또는, 동공의 크기)이 동일하나 사용자의 시선(또는, 동공의 중심 위치)이 이동하는 경우에 대하여 설명하도록 한다.
도 4 및 도 5a를 참조하면, 도 5a에 도시된 바와 같이 사용자 눈(UE)의 동공(PU)의 중심 위치가 제1 위치(P1)인 경우, 시각 분석부(111)는, 구의 형상에 대응하는 사용자 눈(UE)에 대한 제1 위치(P1)에서의 법선 방향에 따른 연장선을 사용자의 시선(예를 들어, 제1 시선(ST1))으로 추정할 수 있다.
이 경우, 기준점 추출부(112)는 제1 위치(P1)에 대응하는 사용자의 시선(예를 들어, 제1 시선(ST1))과 가상 평면(VP)이 만나는 지점을 기준점(예를 들어, 제1 기준점(RP1))으로 결정할 수 있다.
또한, 도 5a에 도시된 바와 같이 사용자 눈(UE)의 동공(PU)의 크기(또는, 지름)가 제1 크기(T1)인 경우, 시각 분석부(111)는 제1 크기(T1)를 이용하여, 동공(PU)을 통해 사용자가 시각적으로 인지할 수 있는 영역(예를 들어, 제1 시야 영역(A1))에 대응하는 제1 시야각(FOV1)을 추정할 수 있다. 여기서, 사용자의 시야각(예를 들어, 제1 시야각(FOV1))은 사용자 눈(UE)의 망막으로부터 동공(PU)의 양 끝에 대한 각도에 대응할 수 있다.
이 경우, 영역 추출부(113)는 가상 평면(VP)과 사용자 눈(UE)의 망막 간의 거리(S) 및 제1 시야각(FOV1)을 이용하여 제1 시야 영역(A1)(또는, 제1 시야 영역(A1)의 넓이)를 검출할 수 있다.
한편, 사용자 눈(UE)의 망막과 표시 영역(DA)(즉, 가상 평면(VP)) 간의 거리(S)를 측정하기 위하여, 표시 장치(도 3의 1000)(또는, 시각 센서(도 3의 400))는 거리 측정 센서를 더 포함할 수 있다. 예를 들어, 거리 측정 센서는 초음파가 반사되어 돌아오는 시간을 측정하여 사용자 눈(UE)의 망막과 표시 패널(DP)(또는, 표시 영역(DA)) 사이의 거리를 측정하는 초음파 센서일 수 있다.
다만, 본 발명의 실시예가 이에 제한되는 것은 아니며, 사용자 눈(UE)의 망막 간의 거리(S)는 표시 장치(도 3의 1000)가 구현되는 기기, 사용자의 시청 환경 등에 따라 기설정된 값에 해당할 수 있다. 예를 들어, 도 3을 참조하여 설명한 바와 같이, 표시 장치(도 3의 1000)가 헤드 마운트 표시 장치(도 2의 HMD)로 구현되는 경우, 헤드 마운트 표시 장치(도 2의 HMD)에 포함된 부품 구성(예를 들어, 표시 모듈(DM), 하우징(HS) 등)에 따라 헤드 마운트 표시 장치(도 2의 HMD)를 착용한 사용자 눈(UE)과 표시 패널(DP)(또는, 표시 영역(DA)) 간의 거리는 일정할 수 있다. 이에 따라, 별도의 거리 센서 없이, 영역 추출부(113)는 기설정된 거리(S) 값을 이용하여 시야각에 따른 영역(또는, 영역의 넓이)을 검출할 수 있다.
도 6a를 더 참조하면, 가시 영역 결정부(114)는 기준점 데이터(RPD) 및 영역 데이터(AD)에 기초하여, 제1 기준점(RP1)을 중심점으로 하며 그 넓이가 제1 시야 영역(A1)의 넓이와 동일한 가시 영역(예를 들어, 제1 가시 영역(VA1))을 결정할 수 있다. 예를 들어, 도 4를 참조하여 설명한 바와 같이, 가시 영역 결정부(114)는 기준점 데이터(RPD)에 대응하는 기준점을 가시 영역의 중심점으로 설정할 수 있으며, 도 6a에서 제1 가시 영역(VA1)의 기준점은 제1 기준점(RP1)에 대응할 수 있다. 또한, 가시 영역 결정부(114)는 영역 데이터(AD)에 대응하는 시야 영역의 넓이를 가시 영역의 넓이로 설정할 수 있으며, 도 6a에서 제1 가시 영역(VA1)의 넓이는 제1 시야 영역(A1)의 넓이에 대응할 수 있다.
또한, 도 4 및 도 5b를 참조하면, 도 5b에 도시된 바와 같이 사용자 눈(UE)의 동공(PU)의 중심 위치가 제2 위치(P2)인 경우, 시각 분석부(111)는 사용자 눈(UE)에 대한 제2 위치(P2)에서의 법선 방향에 따른 연장선을 사용자의 시선(예를 들어, 제2 시선(ST2))으로 추정할 수 있다.
이 경우, 기준점 추출부(112)는 제2 위치(P2)에 대응하는 사용자의 시선(예를 들어, 제2 시선(ST2))과 가상 평면(VP)이 만나는 지점을 기준점(예를 들어, 제2 기준점(RP2))으로 결정할 수 있다.
한편, 도 5a 및 도 5b에서, 사용자 눈(UE)의 동공(PU)의 크기(또는, 지름)는 제1 크기(T1)로 동일하므로, 도 5b에서 시각 분석부(111)에 의해 추정된 시야각은 도 5a에서 시각 분석부(111)에 의해 추정된 제1 시야각(FOV1)과 동일할 수 있으며, 도 5b에서 영역 추출부(113)에 의해 검출된 영역(또는, 영역의 넓이)은 도 5a에서 영역 추출부(113)에 의해 검출된 제1 시야 영역(A1)(또는, 제1 시야 영역(A1)의 넓이)과 동일할 수 있다.
도 6b를 더 참조하면, 가시 영역 결정부(114)는 기준점 데이터(RPD) 및 영역 데이터(AD)에 기초하여, 제2 기준점(RP2)을 중심점으로 하며 그 넓이가 제1 시야 영역(A1)의 넓이와 동일한 가시 영역(예를 들어, 제2 가시 영역(VA2))을 결정할 수 있다. 예를 들어, 도 4를 참조하여 설명한 바와 같이, 가시 영역 결정부(114)는 기준점 데이터(RPD)에 대응하는 기준점을 가시 영역의 중심점으로 설정할 수 있으며, 도 6b에서 제2 가시 영역(VA2)의 기준점은 제2 기준점(RP2)에 대응할 수 있다. 또한, 가시 영역 결정부(114)는 영역 데이터(AD)에 대응하는 시야 영역의 넓이를 가시 영역의 넓이로 설정할 수 있으며, 도 6b에서 제2 가시 영역(VA2)의 넓이는 제1 시야 영역(A1)의 넓이에 대응할 수 있다.
이와 같이, 사용자의 시야각(또는, 동공의 크기)이 동일하나 사용자의 시선(또는, 동공의 중심 위치)이 이동하는 경우, 가시 영역의 넓이(크기)는 동일하나 그 위치가 변할 수 있다. 예를 들어, 도 6a 및 도 6b에서 가시 영역들(VA1, VA2)의 넓이는 제1 시야 영역(A1)의 넓이로 동일하나, 가시 영역들(VA1, VA2)의 기준점이 제1 가시 영역(VA1)의 제1 기준점(RP1)으로부터 제2 가시 영역(VA2)의 제2 기준점(RP2)으로 이동할 수 있다,
다음으로, 도 4, 도 5a, 도 5c, 도 6a, 및 도 6c를 참조하여, 사용자의 시선(또는, 동공의 중심 위치)이 동일하나 사용자의 시야각(또는, 동공의 크기)가 변하는 경우에 대하여 설명하도록 한다.
도 4 및 도 5c를 참조하면, 도 5c에 도시된 바와 같이 사용자 눈(UE)의 동공(PU)의 크기(또는, 지름)가 제2 크기(T2)인 경우, 시각 분석부(111)는 제2 크기(T2)를 이용하여, 사용자 눈(UE)의 망막으로부터 동공(PU)을 통해 사용자가 시각적으로 인지할 수 있는 영역(예를 들어, 제2 시야 영역(A2))에 대응하는 제2 시야각(FOV2)을 추정할 수 있다.
또한, 도 5a를 참조하여 설명한 것과 유사하게, 영역 추출부(113)는 가상 평면(VP)과 사용자 눈(UE)의 망막 간의 거리(S) 및 제2 시야각(FOV2)을 이용하여 제2 시야 영역(A2)(또는, 제2 시야 영역(A2)의 넓이)를 검출할 수 있다.
여기서, 동공(PU)의 크기가 클수록 사용자가 시각적으로 인지할 수 있는 영역의 넓이가 넓어지므로, 시야각도 또한 커질 수 있다. 예를 들어, 제1 크기(T1)에 대응하는 제1 시야각(FOV1)은, 제1 크기(T1) 보다 큰 제2 크기(T2)에 대응하는 제2 시야각(FOV2) 보다 작을 수 있다. 이에 따라, 제2 시야 영역(A2)의 넓이는 제1 시야 영역(A1)의 넓이보다 넓을 수 있다.
한편, 도 5a 및 도 5c에서, 사용자 눈(UE)의 동공(PU)의 중심 위치가 제1 위치(P1)로 동일하므로, 도 5c에서 시각 분석부(111)에 의해 추정된 사용자의 시선은 도 5a에서 시각 분석부(111)에 의해 추정된 제1 시선(ST1)과 동일할 수 있으며, 도 5c에서 기준점 추출부(112)에 의해 결정된 기준점은 도 5a에서 기준점 추출부(112)에 의해 결정된 제1 기준점(RP1)과 동일할 수 있다.
도 6c를 더 참조하면, 가시 영역 결정부(114)는 기준점 데이터(RPD) 및 영역 데이터(AD)에 기초하여, 제1 기준점(RP1)을 중심점으로 하며 그 넓이가 제1 시야 영역(A1)과 상이한(예를 들어, 제1 시야 영역(A1) 보다 넓은) 제2 시야 영역(A2)의 넓이와 동일한 가시 영역(예를 들어, 제3 가시 영역(VA3))을 결정할 수 있다. 예를 들어, 도 4를 참조하여 설명한 바와 같이, 가시 영역 결정부(114)는 기준점 데이터(RPD)에 대응하는 기준점을 가시 영역의 중심점으로 설정할 수 있으며, 도 6c에서 제3 가시 영역(VA3)의 기준점은 제1 기준점(RP1)에 대응할 수 있다. 또한, 가시 영역 결정부(114)는 영역 데이터(AD)에 대응하는 시야 영역의 넓이를 가시 영역의 넓이로 설정할 수 있으며, 도 6c에서 제3 가시 영역(VA3)의 넓이는 제2 시야 영역(A2)의 넓이에 대응할 수 있다.
이와 같이, 사용자의 시선(또는, 동공의 중심 위치)은 동일하나 사용자의 시야각(또는, 동공의 크기)이 변하는 경우, 가시 영역의 위치는 동일하나 그 넓이(크기)가 변할 수 있다. 예를 들어, 가시 영역들(VA1, VA3) 각각의 기준점은 제1 기준점(RP1)으로 동일하나, 그 넓이가 제1 가시 영역(VA1)의 넓이(예를 들어, 제1 시야 영역(A1)의 넓이)에서 제3 가시 영역(VA3)의 넓이(예를 들어, 제2 시야 영역(A2)의 넓이)로 변할 수 있다.
한편, 도 4를 참조하여 설명한 바와 같이, 계조 변환부(115)는 제1 이미지(IMG1) 중 비가시 영역에 대응하는 화소들의 계조들을 변환하여 제2 이미지(IMG2)를 생성할 수 있다. 예를 들어, 도 6a에서 계조 변환부(115)는 제1 이미지(IMG1) 중 제1 비가시 영역(NVA1)에 대응하는 화소들의 계조들을 변환할 수 있다. 다른 예로, 도 6b에서 계조 변환부(115)는 제1 이미지(IMG1) 중 제2 비가시 영역(NVA2)에 대응하는 화소들의 계조들을 변환할 수 있다. 또 다른 예로, 도 6c에서 계조 변환부(115)는 제1 이미지(IMG1) 중 제3 비가시 영역(NVA3)에 대응하는 화소들의 계조들을 변환할 수 있다.
도 7은 도 3의 표시 장치에 포함되는 시각 센서의 일 예를 설명하기 위한 도면이다.
도 1을 참조하여 설명한 바와 같이, 도 3의 표시 장치(1000)가 도 1 및 도 2를 참조하여 설명한 헤드 마운트 표시 장치(1000)로 구현되는 경우, 시각 센서(400)는 2개의 서브 시각 센서들을 포함할 수 있다.
도 3, 도 4, 및 도 7을 참조하면, 시각 센서(400)는 사용자 눈(UE)의 좌안(UEa) 및 우안(UEb)을 각각 센싱하여 시각 센싱 데이터(VSD)를 생성하는 서브 시각 센서들(400a, 400b)을 포함할 수 있다.
사용자 눈(UE)은 좌안(UEa) 및 우안(UEb)으로 이루어지며, 좌안(UEa)과 우안(UEb) 사이의 간격, 시청 환경과 표시 영상에 따른 좌안(UEa)의 동공(PUa) 및 우안(UEb)의 동공(PUb) 간의 중심 위치 차이 및 크기 차이 등에 따라, 좌안 영상(예를 들어, 제1 서브 표시 영역(DA1) 상에 제공되는 영상) 및 우안 영상(예를 들어, 제2 서브 표시 영역(DA2) 상에 제공되는 영상)에 대하여 각각 시각 센싱 데이터(VSD)를 생성할 필요가 있다.
이에 따라, 제1 서브 시각 센서(400a)는 좌안(UEa)을 센싱하여 시각 센싱 데이터(VSD)를 생성하고, 이미지 변환부(110)는 시각 센싱 데이터(VSD)에 기초하여 좌안 동공(PUa)의 중심 위치 및 크기에 따른 기준점(RPa) 및 시야 영역(Aa)(또는, 시야각(FOVa))을 검출하여 제1 서브 표시 영역(DA1) 상에 좌안(UEa)에 대응하는 좌안 가시 영역을 결정하고, 좌안 영상에 대응하는 제1 이미지(IMG1)를 변환하여 제2 이미지(IMG2)를 생성할 수 있다.
유사하게, 제2 서브 시각 센서(400b)는 우안(UEb)을 센싱하여 시각 센싱 데이터(VSD)를 생성하고, 이미지 변환부(110)는 시각 센싱 데이터(VSD)에 기초하여 우안 동공(PUb)의 중심 위치 및 크기에 따른 기준점(RPb) 및 시야 영역(Ab)(또는, 시야각(FOVb))을 검출하여 제2 서브 표시 영역(DA2) 상에 우안(UEb)에 대응하는 우안 가시 영역을 결정하고, 우안 영상에 대응하는 제1 이미지(IMG1)를 변환하여 제2 이미지(IMG2)를 생성할 수 있다.
제1 서브 시각 센서(400a) 및 제2 서브 시각 센서(400b)의 동작은 도 3을 참조하여 설명한 시각 센서(400)의 동작과 실질적으로 동일하거나 유사하며, 이미지 변환부(110)가 제1 서브 시각 센서(400a)와 제2 서브 시각 센서(400b) 각각에 의해 생성된 시각 센싱 데이터(VSD)에 기초하여 제1 이미지(IMG1)를 변환하여 제2 이미지(IMG2)를 생성하는 동작은, 도 3 내지 도 6c를 참조하여 설명한 이미지 변환부(110)가 시각 센서(400)에 의해 생성된 시각 센싱 데이터(VSD)에 기초하여 제1 이미지(IMG1)를 변환하여 제2 이미지(IMG2)를 생성하는 동작과 실질적으로 동일하거나 유사하므로, 중복되는 설명은 반복하지 않기로 한다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 제어부 110: 이미지 변환부
111: 시각 분석부 112: 기준점 추출부
113: 영역 추출부 114: 가시 영역 결정부
115: 계조 변환부 120: 타이밍 제어부
200: 스캔 구동부 300: 데이터 구동부
400: 시각 센서 1000: 표시 장치
DM: 표시 모듈 DP: 표시 패널
HMD: 헤드 마운트 표시 장치 HS: 하우징
IO: 입출력 장치 MEM: 메모리 장치
MT: 장착부 PRC: 프로세서
PS: 파워 서플라이 PX: 화소
SD: 센싱 장치

Claims (20)

  1. 사용자의 눈을 센싱하여 시각 센싱 데이터를 생성하는 시각 센서;
    표시 영역 및 상기 표시 영역 상에 배치되는 화소들을 포함하는 표시 패널;
    상기 시각 센싱 데이터에 기초하여 상기 화소들에 대한 제1 이미지를 변환하여 제2 이미지를 생성하는 이미지 변환부; 및
    상기 제2 이미지에 대응하는 데이터 신호들을 상기 화소들로 제공하는 데이터 구동부를 포함하며,
    상기 이미지 변환부는, 상기 시각 센싱 데이터에 기초하여 시각 정보를 생성하고, 상기 시각 정보에 기초하여 상기 표시 영역 상의 제1 영역 및 상기 제1 영역과 상이한 제2 영역을 검출하며, 상기 제1 이미지 중 상기 제2 영역의 계조들을 변환하여 상기 제2 이미지를 생성하는, 표시 장치.
  2. 제1 항에 있어서, 상기 이미지 변환부는 상기 제2 영역의 계조들을 감소시키는, 표시 장치.
  3. 제2 항에 있어서, 상기 이미지 변환부는 상기 제2 영역의 계조들을 0계조로 변환하는, 표시 장치.
  4. 제1 항에 있어서, 상기 이미지 변환부는,
    상기 시각 센싱 데이터에 기초하여, 상기 사용자의 시선에 대응하는 제1 시각 정보 및 상기 사용자의 시야각에 대응하는 제2 시각 정보를 생성하는 시각 분석부;
    상기 제1 시각 정보에 기초하여 상기 표시 영역 상에서 상기 사용자의 시선에 대응하는 기준점을 결정하고, 상기 기준점에 대응하는 기준점 데이터를 생성하는 기준점 추출부;
    상기 제2 시각 정보에 기초하여 상기 사용자의 시야각에 대응하는 시야 영역의 크기를 검출하고, 상기 시야 영역의 크기에 대응하는 영역 데이터를 생성하는 영역 추출부; 및
    상기 기준점 데이터 및 상기 영역 데이터에 기초하여, 상기 제1 영역 및 상기 제2 영역을 검출하고, 상기 제1 영역 및 상기 제2 영역에 대응하는 가시 영역 데이터를 생성하는 가시 영역 결정부를 포함하는, 표시 장치.
  5. 제4 항에 있어서, 상기 시각 분석부는 상기 시각 센싱 데이터에 기초하여 상기 사용자 눈의 동공의 위치로부터 상기 제1 시각 정보를 생성하며, 상기 사용자 눈의 상기 동공의 크기로부터 상기 제2 시각 정보를 생성하는, 표시 장치.
  6. 제4 항에 있어서, 상기 기준점 추출부는 상기 사용자의 시선에 대응하는 연장선과 상기 표시 영역이 만나는 지점을 상기 기준점으로 결정하는, 표시 장치.
  7. 제4 항에 있어서, 상기 영역 추출부는 상기 표시 영역과 상기 사용자 눈의 망막 사이의 거리 및 상기 사용자의 시야각에 기초하여 상기 시야 영역의 크기를 검출하는, 표시 장치.
  8. 제7 항에 있어서,
    상기 표시 영역과 상기 망막 사이의 상기 거리를 측정하는 거리 측정 센서를 더 포함하는, 표시 장치.
  9. 제7 항에 있어서, 상기 표시 영역과 상기 망막 사이의 상기 거리는 기설정된 값인, 표시 장치.
  10. 제4 항에 있어서, 상기 가시 영역 결정부는, 상기 기준점을 중심으로 하며 상기 시야 영역의 크기와 동일한 크기를 가지는 영역을 상기 제1 영역으로 검출하며, 상기 표시 영역 중 상기 제1 영역을 제외한 영역을 상기 제2 영역으로 검출하는, 표시 장치.
  11. 제4 항에 있어서, 상기 이미지 변환부는,
    상기 가시 영역 데이터에 기초하여 상기 화소들 중 상기 제2 영역에 대응하는 화소들을 특정하고, 상기 제1 이미지 중 상기 제2 영역에 대응하는 화소들의 계조들을 변환하여 상기 제2 이미지를 생성하는 계조 변환부를 더 포함하는, 표시 장치.
  12. 제1 항에 있어서, 상기 시각 센서는 제1 프레임 및 상기 제1 프레임에 연속한 제2 프레임 각각에서 상기 시각 센싱 데이터를 생성하며,
    상기 이미지 변환부는, 상기 제1 프레임에서 생성된 상기 시각 센싱 데이터에 기초하여 상기 제1 프레임에 대응하는 상기 제2 이미지를 생성하며, 상기 제2 프레임에서 생성된 상기 시각 센싱 데이터에 기초하여 상기 제2 프레임에 대응하는 상기 제2 이미지를 생성하는, 표시 장치.
  13. 제1 항에 있어서, 상기 시각 센서는 제1 프레임에서 상기 시각 센싱 데이터를 생성하며,
    상기 이미지 변환부는 상기 제1 프레임에서 생성된 상기 시각 센싱 데이터에 기초하여, 상기 제1 프레임에 대응하는 상기 제2 이미지 및 상기 제1 프레임에 연속한 제2 프레임에 대응하는 상기 제2 이미지를 생성하는, 표시 장치.
  14. 제1 항에 있어서, 상기 시각 센서는,
    상기 사용자의 눈을 촬영하여 상기 사용자의 눈에 대응하는 영상을 획득하는 카메라를 포함하는, 표시 장치.
  15. 표시 영역 및 상기 표시 영역 상에 배치되는 화소들을 포함하는 표시 장치의 구동 방법에서,
    사용자의 눈을 센싱하여 시각 센싱 데이터를 생성하는 단계;
    상기 시각 센싱 데이터에 기초하여 시각 정보를 생성하는 단계;
    상기 시각 정보에 기초하여 상기 표시 영역 상의 제1 영역 및 상기 제1 영역과 상이한 제2 영역을 검출하는 단계;
    상기 화소들 중 상기 제2 영역에 대응하는 화소들을 특정하는 단계;
    상기 화소들에 대한 제1 이미지 중 상기 제2 영역에 대응하는 화소들의 계조들을 변환하여 제2 이미지를 생성하는 단계; 및
    상기 제2 이미지에 대응하는 데이터 신호들을 상기 화소들로 제공하는 단계를 포함하는, 표시 장치의 구동 방법.
  16. 제15 항에 있어서, 상기 제2 이미지를 생성하는 단계는, 상기 제2 영역에 대응하는 화소들의 계조들을 감소시키는, 표시 장치의 구동 방법.
  17. 제16 항에 있어서, 상기 제2 이미지를 생성하는 단계는, 상기 제2 영역에 대응하는 화소들의 계조들을 0계조로 변환하는, 표시 장치의 구동 방법.
  18. 제15 항에 있어서, 상기 시각 정보를 생성하는 단계는,
    상기 시각 센싱 데이터에 기초하여 상기 사용자의 시선에 대응하는 제1 시각 정보를 생성하는 단계; 및
    상기 시각 센싱 데이터에 기초하여 상기 사용자의 시야각에 대응하는 제2 시각 정보를 생성하는 단계를 포함하는, 표시 장치의 구동 방법.
  19. 제18 항에 있어서, 상기 제1 영역 및 상기 제2 영역을 검출하는 단계는,
    상기 제1 시각 정보에 기초하여 상기 사용자의 시선에 대응하는 기준점을 결정하는 단계; 및
    상기 제2 시각 정보에 기초하여 상기 사용자의 시야각에 대응하는 시야 영역의 크기를 검출하는 단계를 포함하는, 표시 장치의 구동 방법.
  20. 제19 항에 있어서, 상기 제1 영역 및 상기 제2 영역을 검출하는 단계는,
    상기 기준점을 중심으로 하며 상기 시야 영역의 크기와 동일한 크기를 가지는 영역을 상기 제1 영역으로 검출하는 단계; 및
    상기 표시 영역 중 상기 제1 영역을 제외한 영역을 상기 제2 영역으로 검출하는 단계를 더 포함하는, 표시 장치의 구동 방법.
KR1020210111922A 2021-08-24 2021-08-24 표시 장치 및 이의 구동 방법 KR20230030126A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210111922A KR20230030126A (ko) 2021-08-24 2021-08-24 표시 장치 및 이의 구동 방법
CN202210324600.8A CN115938329A (zh) 2021-08-24 2022-03-29 显示装置及其驱动方法
US17/865,633 US20230069320A1 (en) 2021-08-24 2022-07-15 Display device and method of driving the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210111922A KR20230030126A (ko) 2021-08-24 2021-08-24 표시 장치 및 이의 구동 방법

Publications (1)

Publication Number Publication Date
KR20230030126A true KR20230030126A (ko) 2023-03-06

Family

ID=85285983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210111922A KR20230030126A (ko) 2021-08-24 2021-08-24 표시 장치 및 이의 구동 방법

Country Status (3)

Country Link
US (1) US20230069320A1 (ko)
KR (1) KR20230030126A (ko)
CN (1) CN115938329A (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830888B2 (en) * 2014-11-10 2017-11-28 Dell Products, Lp Gaze driven display front of screen performance
SG11201706548QA (en) * 2015-02-17 2017-09-28 Thalmic Labs Inc Systems, devices, and methods for eyebox expansion in wearable heads-up displays
US20180292896A1 (en) * 2017-04-06 2018-10-11 Intel Corporation Head-mounted display device
EP3762765A4 (en) * 2018-03-05 2021-12-08 Magic Leap, Inc. DISPLAY SYSTEM WITH A LOW-LATENCY PUPIL TRACKER
WO2020138640A1 (ko) * 2018-12-26 2020-07-02 엘지전자 주식회사 전자 디바이스
CN109637406A (zh) * 2019-01-04 2019-04-16 京东方科技集团股份有限公司 一种显示装置的显示方法、显示装置以及可读存储介质
JP7349808B2 (ja) * 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
WO2021149423A1 (ja) * 2020-01-22 2021-07-29 ソニーグループ株式会社 表示装置
EP4161636A4 (en) * 2020-06-08 2024-06-26 Acucela Inc. PROJECTION OF DEFOCUSED IMAGES ON THE PERIPHERAL RETINA TO TREAT REFRACTIVE ERRORS
TWI751869B (zh) * 2020-12-30 2022-01-01 廣達電腦股份有限公司 運算裝置及用於近眼顯示裝置之缺陷偵測方法

Also Published As

Publication number Publication date
CN115938329A (zh) 2023-04-07
US20230069320A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
US20240029598A1 (en) Image Enhancement Devices With Gaze Tracking
JP4835578B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
KR102560800B1 (ko) 디스플레이를 이용하여 지문을 인식하기 위한 전자 장치
KR20230076815A (ko) 근안 디스플레이에서 광원을 구동하는 방법
US8913004B1 (en) Action based device control
KR20190094270A (ko) 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US11335090B2 (en) Electronic device and method for providing function by using corneal image in electronic device
US20230290014A1 (en) Attention-driven rendering for computer-generated objects
CN113272888A (zh) 用于根据外部光改变显示特性的电子装置及其方法
JP4270247B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
CN107968939B (zh) 显示画面的处理方法、装置、存储介质及电子装置
US11205309B2 (en) Augmented reality system and anchor display method thereof
US9746915B1 (en) Methods and systems for calibrating a device
US20230004214A1 (en) Electronic apparatus and controlling method thereof
US12063346B2 (en) Electronic device for displaying content and method of operation thereof
KR20230030126A (ko) 표시 장치 및 이의 구동 방법
US11982814B2 (en) Segmented illumination display
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
CN117881996A (zh) 用于视网膜投影显示系统的注视跟踪
US11544910B2 (en) System and method for positioning image elements in augmented reality system
KR20210158110A (ko) 디스플레이의 리프레쉬 레이트를 동적으로 조정하는 전자 장치
KR102535918B1 (ko) 사용자의 움직임 정보에 기반하여 디스플레이의 오버 드라이빙 정보를 조정하기 위한 방법 및 웨어러블 장치
US20240087523A1 (en) Electronic device and method for driving display thereof
JP4788755B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
KR102555375B1 (ko) 디스플레이의 엣지 영역에 출력되는 이미지 데이터의 밝기를 변경하기 위한 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination