KR20170138629A - 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치 - Google Patents

투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치 Download PDF

Info

Publication number
KR20170138629A
KR20170138629A KR1020160070531A KR20160070531A KR20170138629A KR 20170138629 A KR20170138629 A KR 20170138629A KR 1020160070531 A KR1020160070531 A KR 1020160070531A KR 20160070531 A KR20160070531 A KR 20160070531A KR 20170138629 A KR20170138629 A KR 20170138629A
Authority
KR
South Korea
Prior art keywords
image
display
plane
cornea
planar
Prior art date
Application number
KR1020160070531A
Other languages
English (en)
Other versions
KR102520108B1 (ko
Inventor
유키요시 사사오
마사토시 소노다
타카히사 야마모토
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020160070531A priority Critical patent/KR102520108B1/ko
Priority to US15/445,675 priority patent/US10242428B2/en
Priority to JP2017106808A priority patent/JP6938224B2/ja
Publication of KR20170138629A publication Critical patent/KR20170138629A/ko
Application granted granted Critical
Publication of KR102520108B1 publication Critical patent/KR102520108B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3266—Details of drivers for scan electrodes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3275—Details of drivers for data electrodes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3674—Details of drivers for scan electrodes
    • G09G3/3677—Details of drivers for scan electrodes suitable for active matrices only
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3685—Details of drivers for data electrodes
    • G09G3/3688—Details of drivers for data electrodes suitable for active matrices only
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Liquid Crystal (AREA)
  • Electroluminescent Light Sources (AREA)
  • Studio Devices (AREA)
  • Rehabilitation Tools (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명에 따른 투명 표시 장치 구동 방법은 각막 반사 이미지를 추출하는 단계, 평면 대상 이미지를 생성하는 단계, 배경 이미지를 생성하는 단계, 및 투명 표시 패널에 상기 배경 이미지를 표시하는 단계를 포함한다. 상기 각막 반사 이미지는 표시 이미지를 표시하고 배경에 반사되는 빛을 투과하는 표시 영역 및 상기 표시 영역에 인접한 비표시 영역으로 구분되는 상기 투명 표시 패널의 상기 표시 영역이 사용자의 각막에 투영되어 형성된 대상 이미지를 포함한다. 상기 평면 대상 이미지는 상기 각막의 굴곡진 형상에 의해 왜곡된 상기 대상 이미지를 보정하여 생성한다. 상기 배경 이미지는 상기 평면 대상 이미지로부터 상기 표시 이미지를 제거하여 형성한다.

Description

투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치{TRANSPARENT DISPLAY APPARATUS, DRIVING METHOD THEREOF, AND APPARATUS FOR ACQUIRUNG IMAGE}
본 발명은 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치에 관한 것으로, 좀 더 상세하게는 각막 반사 이미지를 보정하여 배경 이미지를 취득하는 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치에 관한 것이다.
투명 표시 장치는 화면의 뒷배경이 비춰 보이는 표시 장치로써 기존에는 주로 비발광 액정 패널에 투사하여 구현하였으나, 지금은 직접 투명한 표시 소자를 구성하는 방향으로 개발이 진행되고 있다. 액정 표시 장치(LCD: Liquid Crystal Display Device)는 차광율이 우수하나 2장의 편광판을 이용하므로, 투과율이 낮아 투명 표시 장치로 활용하기 어려웠다. 투명 표시 장치는 특히 자체 발광이 가능한 유기 발광 다이오드 표시 장치(OLED: Organic Light Emitting Diode Display device)에서 주로 구현되고 있다. 투명 표시 장치는 자동차의 전면 유리나 가정용 유리 등에 적용되어 사용자에게 표시 장치의 정보와 주변 환경 정보를 동시에 제공하여 줄 수 있다.
투명 표시 장치는 광 투과성에 기해 투명 표시 장치의 후면으로 입사되는 광을 그대로 투과시켜 눈으로 전달한다. 후면으로 입사되는 광이 그대로 눈으로 전달됨으로써, 후면의 사물을 시인할 수 있다.
투명 표시 장치에서, Contrast, 선명도, 및 밝기와 같은 화질을 개선하려면 표시 장치의 표시 이미지뿐만 아니라 비쳐 보이는 배경 이미지가 요구된다. 그러나, 투명 표시 장치 자체는 부가적인 센서 없이 배경 이미지를 취득할 수 없다.
본 발명은 각막 반사 이미지를 이용하여 사용자가 보고 있는 배경 이미지를 취득하는 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 투명 표시 장치 구동 방법은 각막 반사 이미지를 추출하는 단계, 평면 대상 이미지를 생성하는 단계, 배경 이미지를 생성하는 단계, 및 투명 표시 패널에 상기 배경 이미지를 표시하는 단계를 포함한다.
상기 투명 표시 패널은표시 이미지를 표시하고, 배경에 반사되는 빛을 투과하는 표시 영역 및 상기 표시 영역바깥쪽의 비표시 영역으로 구분된다. 상기 표시 이미지는 투명 표시 장치가 제공하는 이미지이다. 상기 각막 반사 이미지는 상기 표시 영역 이 사용자의 각막에 투영되어 형성된 대상 이미지 및 상기 비표시 영역(베젤 영역)이 상기 각막에 투영되어 형성된 엣지 이미지를 포함한다.
상기 각막 반사 이미지를 추출하는 단계는 카메라로 사용자의 눈을 촬상하는 단계 및 상기 촬상된 눈으로부터 상기 각막 반사 이미지를 생성하는 단계를 포함한다.
상기 평면 대상 이미지는 상기 각막의 굴곡진 형상에 의해 왜곡된 상기 대상 이미지를 보정하여 생성된다. 상기 평면 대상 이미지를 생성하는 단계는 상기 각막 반사 이미지를 평면 이미지로 보정하는 단계 및 상기 평면 이미지로부터 상기 평면 대상 이미지를 추출하는 단계를 포함한다.
상기 각막 반사 이미지를 평면 이미지로 보정하는 단계는 상기 엣지 이미지를 평면 엣지 이미지로 보정하는 단계를 포함할 수 있다. 이 경우, 상기 평면 대상 이미지를 추출하는 단계는 상기 평면 엣지 이미지를 검출하는 단계 및 상기 평면 엣지 이미지가 둘러싸는 이미지를 상기 평면 대상 이미지로 특정하는 단계를 포함한다. 상기 평면 엣지 이미지를 검출하는 단계는 상기 평면 엣지 이미지의 특징점을 시간의 흐름에 따라 추출하는 단계일 수 있다.
상기 평면 대상 이미지를 추출하는 단계는 상기 엣지 이미지 대신에 상기 투명 표시 패널이 표시하는 표시 패턴을 이용할 수 있다. 상기 평면 대상 이미지를 추출하는 단계는 상기 표시 패턴이 상기 각막에 투영된 표시 패턴 이미지를 검출하는 단계 및 상기 표시 패턴이미지에 근거하여상기 표시 영역의 위치를 검출하여 상기 평면 대상 이미지를 특정하는 단계를 포함할 수 있다.상기 배경 이미지를 생성하는 단계는 변환 이미지를 생성하는 단계, 상기 변환 이미지로부터 상기 표시 이미지를 제거하는 단계, 및 상기 변환 이미지의 선명도를 보정하는 단계를 포함한다.
본 발명의 일 실시예에 따른 투명 표시 장치는 투명 표시 패널, 각막 반사 이미지 추출부, 이미지 검출부, 및 배경 이미지 생성부를 포함한다. 상기 투명 표시 패널은 표시 이미지를 표시하는 표시 영역 및 상기 표시 영역에 인접한 비표시 영역으로 구분된다.
상기 각막 반사 이미지 추출부는 상기 각막 반사 이미지를 추출하는 단계를 수행한다.
상기 이미지 검출부는 디워핑부 및 평면 대상 이미지 추출부를 포함한다. 상기 디워핑부는 상기 각막 반사 이미지를 상기 평면이미지로 보정한다. 상기 평면 대상 이미지 추출부는 상기 평면 이미지로부터 상기 평면 대상 이미지를 추출하는 단계를 수행한다.
상기 배경 이미지 생성부는 변조부 및 산출부를 포함한다. 상기 변조부는 상기 평면 대상 이미지의 해상도 및 형상을 보정하여 상기 변환 이미지를 생성한다. 상기 산출부는 상기 변환 이미지로부터 상기 표시 이미지를 제거하여상기 배경 이미지를 생성한다.
본 발명의 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치는 별도의 시점 검출 센서 없이도 사용자가 투명 표시 장치 또는 이미지 취득 장치를 통해 보고 있는 배경 이미지를 취득할 수 있다.
도 1은 본 발명의 일 실시예에 따른 투명 표시 장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 투명 표시 장치의 구동 방법을 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 투명 표시 장치 및 사용자를 도시한 도면이다.
도 4는 본 발명의 평면 대상 이미지를 생성하는 단계를 도시한 순서도이다.
도 5는 도 4의 일 실시예에 따른 평면 대상 이미지를 생성하는 단계를 도시한 순서도이다.
도 6a 내지 도 6c는 도 5에 따른 각막 반사 이미지, 평면 이미지, 및 평면 대상 이미지를 도시한 도면이다.
도 7은 도 4의 다른 실시예에 따른 평면 대상 이미지를 생성하는 단계를 도시한 순서도이다.
도 8a 내지 도 8c는 도 7에 따른 각막 반사 이미지, 평면 이미지, 및 평면 대상 이미지를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 배경 이미지를 생성하는 단계를 도시한 순서도이다.
도 10은 본 발명의 일 실시예에 따른 이미지 검출부를 도시한 블록도이다.
도 11은 본 발명의 일 실시예에 따른 배경 이미지 생성부를 도시한 블록도이다.
도 12는 배경 이미지 및 표시 이미지를 투명 표시 패널에 표시한 투명 표시 장치를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 투명 표시 장치(1000)를 도시한 블록도이다.
도 1을 참조하면, 투명 표시 장치(1000)는 투명 표시 패널(100), 각막 반사 이미지 추출부(200), 이미지 검출부(300), 배경 이미지 생성부, 타이밍 컨트롤러(500), 데이터 드라이버(600), 및 게이트 드라이버(700)를 포함할 수 있다.
투명 표시 패널(100)은 영상을 표시한다. 투명 표시 패널(100)은 다양한 형태의 표시 패널들 중 어느 하나일 수 있으며, 예를 들어, 액정 표시 패널(liquid crystal display panel) 또는 유기발광 표시패널(organic light emitting display panel)일 수 있다. 투명 표시 패널(100)은 게이트 신호를 수신하는 복수의 게이트라인들(G1~Gk)과 데이터 전압을 수신하는 복수의 데이터라인들(D1~Dm)을 포함한다. 게이트라인들(G1~Gk)과 데이터라인들(D1~Dm)은 서로 절연되며 교차한다. 투명 표시 패널(100)에는 매트릭스 형태로 배열된 다수의 화소 영역들이 정의되고, 다수의 화소 영역들에는 다수의 화소들(PX)이 각각 구비된다. 화소들(PX) 각각은 게이트라인들(G1~Gk) 중 하나의 게이트라인과 데이터라인들(D1~Dm) 중 하나의 데이터 라인에 연결될 수 있다.
각막 반사 이미지 추출부(200)는 각막 반사 이미지(CRI: Corneal reflection image)를 생성한다. 각막 반사 이미지 추출부(200)는 각막 반사 이미지(CRI)를 이미지 검출부(300)에 제공한다. 구체적인 내용은 후술된다.
이미지 검출부(300)는 각막 반사 이미지 추출부(200)로부터 각막 반사 이미지(CRI)를 수신한다. 이미지 검출부(300)는 각막 반사 이미지(CRI)를 보정하여 평면 대상 이미지(FTI)를 생성하고, 배경 이미지 생성부(400)에 평면 대상 이미지(FTI)를 제공한다. 구체적인 내용은 후술된다.
배경 이미지 생성부(400)는 이미지 검출부(300)로부터 평면 대상 이미지(FTI)를 수신한다. 배경 이미지 생성부(400)는 평면 대상 이미지(FTI)를 보정하여 배경 이미지(Pb)를 생성하여, 타이밍 컨트롤러(500)에 제공한다. 구체적인 내용은 후술된다.
타이밍 컨트롤러(500)는 외부의 그래픽 제어기(미도시)로부터 기본 이미지 데이터(DATA1) 및 제어신호(CS)를 수신한다. 타이밍 컨트롤러(500)는 상기 제어신호(CS), 예를 들면 수직동기신호, 수평동기신호, 메인클럭, 데이터 인에이블신호 등을 입력받아 제1 제어신호(CT1) 및 제2 제어신호(CT2)를 출력한다. 이때, 제1 제어신호(CT1)는 게이트 드라이버(700)의 동작을 제어하기 위한 게이트 제어신호이다. 제1 제어신호(CT1)는 게이트 클럭(CPV) 및 수직개시신호(STV)를 포함할 수 있다. 또한, 제2 제어신호(CT2)는 데이터 드라이버(600)의 동작을 제어하는 데이터 제어신호이다. 상기 제2 제어신호(CT2)는 상기 데이터 드라이버(600)의 동작을 개시하는 수평개시신호, 데이터 전압의 극성을 반전시키는 반전신호, 및 데이터 드라이버(600)로부터 상기 데이터 전압이 출력되는 시기를 결정하는 출력지시신호 등을 포함한다.
데이터 드라이버(600)는 제2 제어신호(CT2)에 기초하여 변조 이미지 데이터(DATA2)가 변환된 데이터 전압을 데이터라인들(D1~Dm)에 출력한다.
게이트 드라이버(700)는 투명 표시 패널(100)에 구비된 게이트라인들(G1~Gk)과 전기적으로 연결되어 게이트라인들(G1~Gk)에 게이트 신호를 제공한다. 구체적으로, 게이트 드라이버(700)는 제1 제어신호(CT1)에 기초하여 게이트라인들(G1~Gk)을 구동하기 위한 게이트 신호를 생성하고, 생성된 게이트 신호를 게이트라인들(G1~Gk)에 순차적으로 출력한다.
도시되지 않았으나, 본 발명의 투명 표시 장치(1000)가 유기 발광 표시 장치인 경우, 투명 표시 장치(1000)는 타이밍 컨트롤러(500)로부터 제어 신호를 수신하여 발광 제어신호들을 투명 표시 패널(100)에 제공하는 발광 드라이버를 더 포함할 수 있다. 발광 드라이버는 유기 발광 다이오드 각각에 흐르는 전류 타이밍을 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따른 투명 표시 장치(1000)의 구동 방법(S1000)을 도시한 순서도이다. 도 3은 본 발명의 일 실시예에 따른 투명 표시 장치(1000) 및 사용자(USER)를 도시한 도면이다.
도 2를 참조하면, 투명 표시 장치(1000)의 구동 방법(S1000)은 각막 반사 이미지를 추출하는 단계(S100), 평면 대상 이미지를 생성하는 단계(S200), 배경 이미지를 생성하는 단계(S300), 및 투명 표시 패널(100)에 배경 이미지를 표시하는 단계(S400)를 포함한다.
도 3을 참조하면, 투명 표시 장치(1000)는 영상을 표시하는 표시 영역(VA)과 표시 영역(VA)에 인접한 비표시 영역(NVA)으로 구분된다. 표시 영역(VA)은 투명 또는 반투명할 수 있다. 사용자(USER)는 투명 표시 장치(1000)의 표시 영역(VA)를 통해 투명 표시 장치(1000)의 후방의 배경을 시인할 수 있다. 또한, 표시 영역(VA)은 타이밍 컨트롤러(500)가 기본 이미지 데이터(DATA1)를 수신하여 표시 영역(VA)에 표시 이미지를 제공할 수 있다. 표시 영역(VA)은 표시 이미지를 제공하는 영역과 배경에 반사되는 빛을 투과하는 영역을 포함할 수 있다.
도 2 및 도 3을 참조하면, 각막 반사 이미지를 추출하는 단계(S100)는 사용자(USER)의 각막에 투영된 각막 반사 이미지(CRI)를 추출한다. 각막 반사 이미지(CRI)는 투명 표시 패널(100) 중 표시 영역(VA)이 사용자(USER)의 각막에 투영된 대상 이미지(TI)를 포함한다. 구체적으로, 사용자(USER)는 투명 표시 패널(100)을 통하여 후면의 배경을 볼 수 있고, 각막 반사 이미지(CRI)는 표시 영역(VA)을 투과하여 사용자(USER)의 각막에 도달 후 반사되는 대상 이미지(TI)를 포함한다.
각막 반사 이미지 추출부(200)는 투명 표시 장치(1000)의 전면 및 비표시 영역(NVA)에 대응하게 구비될 수 있다. 각막 반사 이미지 추출부(200)는 사용자(USER)를 촬상하는 전면 카메라일 수 있다. 각막 반사 이미지 추출부(200)는 사용자(USER)의 눈을 촬상할 수 있다. 또는, 카메라의 렌즈 화각(angle of view)이 눈보다 넓은 경우, 각막 반사 이미지 추출부(200)는 사용자(USER)의 얼굴 이미지를 검출하는 얼굴 검출 기술이나, 눈 이미지를 검출하는 눈 검출 기술을 이용하여 각막 반사 이미지(CRI)를 추출할 수 있다.
각막 반사 이미지 추출부(200)는 사용자(USER)의 각막 반사 이미지(CRI)를 추출하고, 투명 표시 장치(1000)는 각막 반사 이미지(CRI)를 이용하여 배경 이미지(Pb)를 생성한다. 따라서, 투명 표시 장치(1000)는 배경 이미지(Pb)를 추출하기 위한 별도의 후면 카메라를 필요로 하지 않는다.
평면 대상 이미지를 생성하는 단계(S200)는 각막에 의해 왜곡된 대상 이미지(TI)를 보정하여 평면 대상 이미지(FTI)를 생성한다. 사용자(USER)의 각막은 둥글고, 각막에서 반사된 각막 반사 이미지(CRI)는 볼록 거울에 비추어진 이미지와 같으므로, 대상 이미지(TI)는 사용자(USER)가 각막을 통해 인지하는 실제 형상과 다르게 왜곡된다. 따라서, 평면 대상 이미지를 생성하는 단계(S200)는 왜곡된 이미지를 보정함으로써 사용자(USER)가 각막을 통해 인지하는 실제 형상과 동일한 평면 대상 이미지(FTI)를 생성한다.
배경 이미지를 생성하는 단계(S300)는 평면 대상 이미지(FTI)로부터 투명 표시 패널(100)이 표시하는 표시 이미지(Pd)를 제거하여 배경 이미지(Pb)를 생성한다. 표시 이미지(Pd)는 투명 표시 패널(100)의 화소들(PX)에 의하여 생성되는 이미지를 의미한다. 사용자(USER)의 각막에 맺히는 이미지는 배경뿐만 아니라 투명 표시 패널이 생성하는 표시 이미지(Pd)를 포함한다. 따라서 평면 대상 이미지(FTI)로부터 표시 이미지(Pd)를 제거함으로써, 투명 표시 장치(1000)는 배경 이미지(Pb)를 취득할 수 있다.
도 4는 본 발명의 평면 대상 이미지를 생성하는 단계(S200)를 도시한 순서도이고, 도 5는 도 4의 일 실시예에 따른 평면 대상 이미지를 생성하는 단계(S200)를 도시한 순서도이다. 도 6a 내지 도 6c는 도 5의 평면 대상 이미지를 생성하는 단계(S200)에 따른 각막 반사 이미지(CRI), 평면 이미지(FI), 및 평면 대상 이미지(FTI)를 도시한 도면이다.
도 4를 참조하면, 평면 대상 이미지를 생성하는 단계(S200)는 각막 반사 이미지(CRI)를 평면 이미지로 보정하는 단계(S210)(이하 디워핑(De-warping) 단계라고 한다.) 및 평면 이미지(FI)로부터 평면 대상 이미지를 추출하는 단계(S220)를 포함한다.
도 5를 참조하면, 평면 대상 이미지를 추출하는 단계(S220)는 평면 엣지 이미지를 검출하는 단계(S230) 및 평면 엣지 이미지(110b)가 둘러싸는 이미지를 평면 대상 이미지로 특정하는 단계(S250)를 포함할 수 있다.
도 6a는 각막 반사 이미지(CRI)를 도시한 도면이다. 각막 반사 이미지(CRI)는 대상 이미지(TI) 및 엣지 이미지(110a)를 포함한다.
대상 이미지(TI)는 표시 영역(VA)을 사용자(USER)의 각막에 투영한 이미지이다. 구체적으로, 대상 이미지(TI)는 배경이 투명 표시 패널(100)을 투과하여 각막에서 반사되는 이미지 및 투명 표시 패널(100)이 표시하는 표시 이미지(Pd)를 포함하는 이미지일 수 있다. 엣지 이미지(110a)는 대상 이미지(TI)를 둘러싼다. 엣지 이미지(110a)는 투명 표시 패널(100)의 비표시 영역(NVA)을 사용자(USER)의 각막에 투영한 이미지이다.
사용자(USER)의 각막은 구의 일부분을 이용한 반사면이 볼록한 볼록 거울로 볼 수 있다. 각막 반사 이미지(CRI)는 사용자(USER)가 보는 배경을 볼록 거울에 반사시킨 형상으로 볼 수 있다. 따라서, 도 6a의 각막 반사 이미지(CRI)는 중앙부가 확장되고 바깥쪽이 수축되는 형상을 갖는다. 대상 이미지(TI) 및 엣지 이미지(110a) 각각의 형상은 실제 표시 영역(VA) 및 비표시 영역(NVA) 각각의 형상과 달리 휘어져 형성된다.
도 6b는 평면 이미지(FI)를 도시한 도면이다. 평면 이미지(FI)는 각막에 굴곡진 형상에 의해 왜곡된 각막 반사 이미지(CRI)를 보정하여 생성된다. 구체적으로, 디워핑 단계(S210)는 휘어진 물체의 각도를 고려하여 각막의 곡률을 검출하고, 휘어진 물체의 형상을 펴주는 보정을 통하여 평면 이미지(FI)를 생성할 수 있다.
평면 이미지(FI)는 평면 대상 이미지(FTI) 및 평면 엣지 이미지(110b)를 포함한다. 휘어진 형상을 갖는 대상 이미지(TI) 및 엣지 이미지(110a)는 디워핑 단계(S210)를 거쳐 실제 투명 표시 장치(1000)와 동일한 형상을 갖도록 보정된다. 구체적으로, 대상 이미지(TI)는 평면 대상 이미지(FTI)로 보정되고, 엣지 이미지(110a)는 평면 엣지 이미지(110b)로 보정된다.
표시 영역(VA)은 직사각형일 수 있다. 이 경우, 평면 대상 이미지(FTI)는 직사각형이 되도록 보정할 수 있다.
도 6c는 평면 대상 이미지(FTI)를 도시한 도면이다. 평면 대상 이미지(FTI)는 평면 엣지 이미지를 검출하는 단계(S230) 및 평면 엣지 이미지(110b)가 둘러싸는 이미지를 평면 대상 이미지로 특정하는 단계(S250)를 거쳐 형성된다.
평면 엣지 이미지(110b)는 비표시 영역(NVA)에 의한 색상 변화 등을 이용하여 검출할 수 있다. 표시 영역(VA)이 직사각형인 경우, 평면 대상 이미지(FTI)를 둘러싸는 4개의 직선을 산출하여 평면 대상 이미지(FTI)를 특정할 수 있다.
평면 엣지 이미지를 검출하는 단계(S230)에서는 평면 엣지 이미지(110b)의 특징점을 시간의 흐름에 따라 추출할 수 있다. 일례로서 평면 대상 이미지 추출부(320)는 평면 엣지 이미지(110b)의 SIFT(Scale-Invariant Feature Transform) 특징량을 추출할 수 있다. 평면 대상 이미지 추출부(320)는 추출된 평면 엣지 이미지(110b)가 둘러싸는 이미지를 평면 대상 이미지(FTI)로 특정할 수 있다.
도 7은 도 4의 다른 실시예에 따른 평면 대상 이미지를 생성하는 단계(S200)를 도시한 순서도이다. 도 8a 내지 도 8c는 도 7의 평면 대상 이미지를 생성하는 단계(S200)에 따른 각막 반사 이미지(CRI), 평면 이미지(FI), 및 평면 대상 이미지(FTI)를 도시한 도면이다.
도 7을 참조하면, 평면 대상 이미지를 추출하는 단계(S220)는 디워핑 단계(S210), 표시 패턴 이미지를 검출하는 단계(S240), 및 표시 패턴 이미지(120b)가 둘러싸는 이미지를 평면 대상 이미지로 특정하는 단계(S250)를 포함할 수 있다.
도 8a는 각막 반사 이미지(CRI)를 도시한 도면이다. 각막 반사 이미지(CRI)는 대상 이미지(TI), 엣지 이미지(110a), 및 표시 패턴 반사 이미지(120a)를 포함한다.
투명 표시 패널(100)은 표시 패턴(120)을 표시하고, 표시 패턴(120)은 각막에 투영되어 표시 패턴 반사 이미지(120a)를 생성한다. 표시 패턴(120)은 배경 이미지(Pb)의 표시 범위를 정의하기 위하여 투명 표시 패널(100)에 표시된다.
도 8b는 평면 이미지(FI)를 도시한 도면이다. 평면 이미지(FI)는 평면 대상 이미지(FTI), 평면 엣지 이미지(110b), 및 표시 패턴 이미지(120b)를 포함한다. 표시 패턴 이미지(120b)는 디워핑 단계(S210)를 거쳐 표시 패턴(120)과 동일한 형상을 갖도록 보정된다. 즉, 표시 패턴 반사 이미지(120a)는 표시 패턴 이미지(120b)로 보정된다.
도 8b를 참조하면 표시 패턴 이미지(120b)의 형상은 다이아몬드로 도시하였으나, 이에 제한되지 않고 사용자(USER)가 추출하고자 하는 배경 이미지(Pb)의 표시 범위에 대응되도록 다양한 형상을 가질 수 있다.
도 8c는 평면 대상 이미지(FTI)를 도시한 도면이다. 평면 대상 이미지(FTI)는 표시 패턴 이미지를 검출하는 단계(S240) 및 표시 패턴 이미지(120b)에 근거하여 표시 영역(VA)의 위치를 검출하여 평면 대상 이미지(FTI)를 특정하는 단계를 거쳐 형성된다.
평면 대상 이미지(FTI)는 표시 패턴(120)에 의한 색상 변화 등을 이용하여 표시 패턴 이미지(120b)를 검출할 수 있다. 표시 패턴 이미지를 검출하는 단계(S240)에서는 표시 패턴 이미지(120b)의 특징점을 시간의 흐름에 따라 추출할 수 있다. 표시 패턴 이미지를 검출하는 단계(S240)에서는 표시 패턴 이미지(120b)의 SIFT(Scale-Invariant Feature Transform) 특징량을 추출할 수 있다. 평면 대상 이미지 추출부(320)는 추출된 표시 패턴 이미지(120b)가 둘러싸는 이미지를 평면 대상 이미지(FTI)로 특정할 수 있다.
도 9는 본 발명의 일 실시예에 따른 배경 이미지를 생성하는 단계(S300)를 도시한 순서도이다.
도 9를 참조하면, 배경 이미지를 생성하는 단계(S300)는 변환 이미지를 생성하는 단계(S310), 표시 이미지를 제거하는 단계(S320), 및 변환 이미지(Pc)의 선명도를 보정하는 단계(S330)를 포함할 수 있다.
변환 이미지를 생성하는 단계(S310)는 평면 대상 이미지(FTI)의 해상도 및 형상을 보정하여 변환 이미지(Pc)를 생성하는 단계이다. 평면 대상 이미지(FTI)는 해상도 및 형상이 투명 표시 장치(1000)의 사양에 합치하도록 보정된다. 평면 대상 이미지(FTI)는 Affine 변환을 이용하여 병진(translation), 축척(scaling), 회전(rotation), 또는 층밀리기(shearing) 중 적어도 하나의 변환에 의하여 변환 이미지(Pc)로 보정될 수 있다.
표시 이미지를 제거하는 단계(S320)는 변환 이미지(Pc)로부터 표시 이미지(Pd)를 제거하는 단계이다. 표시 이미지(Pd) 역시 사용자(USER)의 각막에 투영되므로, 변환 이미지(Pc)로부터 배경 이미지(Pb)를 취득하기 위하여는 표시 이미지(Pd)가 제거될 필요가 있다.
선명도를 보정하는 단계(S330)는 투명 표시 패널(100)의 투과율(aa)에 의해 손실된 이미지를 보정하는 단계이다. 실제 배경은 투명 표시 패널(100)을 투과하여 사용자(USER)의 각막에 투영되므로, 투명 표시 패널(100)의 투과율(aa)에 의해 배경의 일부는 투명 표시 패널(100)에서 반사되고, 일부는 각막에 투영된다. 따라서, 변환 이미지(Pc)로부터 투과율(aa)에 의한 손실 이미지를 보정하여, 실제 배경과 동일한 배경 이미지(Pb)를 취득할 수 있다.
배경 이미지는 Pb, 상기 표시 이미지는 Pd, 상기 투명 표시 패널의 투과율은 aa, 및 상기 변환 이미지는 Pc로 정의되는 경우, 배경 이미지는 Pb=(Pc-Pd)/aa를 만족한다. 구체적으로, 선명도를 보정하는 단계(S330)에서는 변환 이미지(Pc)로부터 표시 이미지(Pd)를 제거한 후, 투명 표시 패널(100)의 투과율(aa)을 나누는 보정에 의하여 배경 이미지(Pb)를 생성할 수 있다.
배경 이미지를 생성하는 단계(S300)는 각막의 반사율에 의하여 손실된 선명도를 보정하는 단계를 더 포함할 수 있다. 투명 표시 패널(100)뿐만 아니라, 사용자(USER)의 각막 역시 일부 이미지는 흡수하고 일부 이미지는 반사한다. 따라서, 변환 이미지(Pc)로부터 각막의 광 반사율을 나누어 배경 이미지(Pb)를 생성할 수 있다.
배경 이미지를 생성하는 단계(S300)는 동공의 광 흡수율에 의한 채도 변화를 보정하는 단계를 더 포함할 수 있다. 사용자(USER)의 동공의 색상은 다양하고, 동공의 색상에 따라 파장의 흡수율이 다르다. 따라서, 사용자(USER)의 동공의 색상을 추출하여, 실제 배경의 색상과 동일하도록 변환 이미지의 색상을 보정할 수 있다.
도 10은 본 발명의 일 실시예에 따른 이미지 검출부(300)를 도시한 블록도이다.
도 10을 참조하면, 이미지 검출부(300)는 디워핑 부(310) 및 평면 대상 이미지 추출부(320)를 포함한다.
디워핑 부(310)는 각막 반사 이미지(CRI)를 평면 이미지(FI)로 보정하는 디워핑 단계(S210)를 수행한다. 즉, 디워핑 부(310)는 각막 반사 이미지(CRI)를 수신하여 평면 이미지(FI)를 평면 대상 이미지 추출부(320)에 제공한다.
평면 대상 이미지 추출부(320)는 평면 이미지(FI)로부터 평면 대상 이미지를 추출하는 단계(S220)를 수행한다. 즉, 평면 대상 이미지 추출부(320)는 평면 이미지(FI)를 수신하여 배경 이미지 생성부(400)에 평면 대상 이미지(FTI)를 제공한다.
도 11은 본 발명의 일 실시예에 따른 배경 이미지 생성부(400)를 도시한 블록도이다.
도 11을 참조하면, 배경 이미지 생성부(400)는 변조부(410) 및 산출부(420)를 포함한다.
변조부(410)는 평면 대상 이미지(FTI)로부터 변환 이미지를 생성하는 단계(S310)를 수행한다. 즉, 변조부(410)는 평면 대상 이미지(FTI)를 수신하여 변환 이미지(Pc)를 산출부(420)에 제공한다.
산출부(420)는 변환 이미지(Pc)로부터 표시 이미지를 제거하는 단계(S320) 및 변환 이미지(Pc)의 선명도를 보정하는 단계(S330)를 수행한다. 즉, 산출부(420)는 변환 이미지(Pc)를 수신하여 표시 이미지(Pd)를 제거하고 투과율(aa)에 의한 선명도를 보정하여 배경 이미지(Pb)를 출력한다.
도 12은 배경 이미지(Pb) 및 표시 이미지(Pd)를 투명 표시 패널(100)에 표시한 투명 표시 장치(1000)를 도시한 도면이다.
배경 이미지(Pb)는 사용자(USER)가 투명 표시 패널(100)을 통하여 보고 있는 이미지에 대응된다. 따라서, 사용자(USER)의 시점이 변경되어 표시 영역(VA)을 통하여 보고 있는 이미지가 변하는 경우, 배경 이미지(Pb)도 변하게 된다. 각막 반사 이미지 추출부(200)는 사용자(USER)의 눈을 촬상하여, 사용자(USER)의 시점 변화를 검출할 수 있고, 사용자(USER)의 각막 반사 이미지(CRI)를 추출하므로, 별도의 후면 카메라 없이 배경 이미지(Pb)를 생성할 수 있다.
표시 이미지(Pd)는 타이밍 컨트롤러(500)가 외부의 그래픽 제어기(미도시)로부터 기본 이미지 데이터(DATA1)를 수신하여 투명 표시 패널(100)에 표시되는 이미지일 수 있다. 도 10을 참조하면, 투명 표시 패널(100)은 알파벳 ABC를 표시 이미지(Pd)의 일례로서 도시하고 있으나, 이에 제한되지 않고, 시간, 날씨, 온도 등 다양한 정보를 표시 영역(VA)에 표시할 수 있다.
한편 본 발명은 기재된 실시예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형을 할 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다. 따라서, 그러한 변형예 또는 수정예들은 본 발명의 청구범위에 속한다 해야 할 것이다.
1000: 투명 표시 장치 100: 투명 표시 패널
200: 각막 반사 이미지 추출부 300: 이미지 검출부
400: 배경 이미지 생성부 CRI: 각막 반사 이미지
TI: 대상 이미지 FI: 평면 이미지
FTI: 평면 대상 이미지 Pb: 배경 이미지
Pc: 변환 이미지 Pd: 표시 이미지

Claims (20)

  1. 표시 이미지를 표시하고, 배경에 반사되는 빛을 투과하는 표시 영역 및 상기 표시 영역에 인접한 비표시 영역으로 구분되는 투명 표시 패널의 상기 표시 영역이 사용자의 각막에 투영되어 형성된 대상 이미지를 포함하는 각막 반사 이미지를 추출하는 단계;
    상기 각막의 굴곡진 형상에 의해 왜곡된 상기 대상 이미지를 보정하여 평면 대상 이미지를 생성하는 단계;
    상기 평면 대상 이미지로부터 상기 표시 이미지를 제거하여 배경 이미지를 생성하는 단계; 및
    상기 투명 표시 패널에 상기 배경 이미지를 표시하는 단계를 포함하는 투명 표시 장치 구동 방법.
  2. 제1 항에 있어서,
    상기 평면 대상 이미지를 생성하는 단계는,
    상기 각막 반사 이미지를 평면 이미지로 보정하는 디워핑 단계; 및
    상기 평면 이미지로부터 상기 평면 대상 이미지를 추출하는 단계를 포함하는 투명 표시 장치 구동 방법.
  3. 제2 항에 있어서,
    상기 각막 반사 이미지는,
    상기 비표시 영역이 상기 각막에 투영되어 형성된 엣지 이미지를 더 포함하고,
    상기 디워핑 단계는,
    상기 엣지 이미지를 평면 엣지 이미지로 보정하는 단계를 포함하고,
    상기 평면 대상 이미지를 추출하는 단계는,
    상기 평면 엣지 이미지를 검출하는 단계; 및
    상기 평면 엣지 이미지가 둘러싸는 이미지를 상기 평면 대상 이미지로 특정하는 단계를 포함하는 투명 표시 장치 구동 방법.
  4. 제3 항에 있어서,
    상기 평면 대상 이미지는 직사각형이 되도록 형성하는 투명 표시 장치 구동 방법.
  5. 제3 항에 있어서,
    상기 평면 엣지 이미지를 검출하는 단계는,
    상기 평면 엣지 이미지의 특징점을 시간의 흐름에 따라 추출하는 투명 표시 장치 구동 방법.
  6. 제2 항에 있어서,
    상기 투명 표시 패널은 표시 패턴을 표시 하고,
    상기 평면 대상 이미지를 추출하는 단계는,
    상기 표시 패턴이 상기 각막에 투영된 표시 패턴 이미지를 검출하는 단계; 및
    상기 표시 패턴 이미지에 근거하여, 상기 표시 영역의 위치를 검출하여 상기 평면 대상 이미지를 특정하는 단계를 포함하는 투명 표시 장치 구동 방법.
  7. 제1 항에 있어서,
    상기 배경 이미지를 생성하는 단계는,
    상기 평면 대상 이미지의 해상도 및 형상을 보정하여 변환 이미지를 생성하는 단계;
    상기 변환 이미지로부터 상기 표시 이미지를 제거하는 단계; 및
    상기 변환 이미지의 선명도를 보정하는 단계를 포함하는 투명 표시 장치 구동 방법.
  8. 제7 항에 있어서,
    상기 선명도를 보정하는 단계는,
    상기 표시 이미지가 제거된 상기 변환 이미지로부터 상기 투명 표시 패널의 투과율을 나누어 보정하는 투명 표시 장치 구동 방법.
  9. 제7 항에 있어서,
    상기 배경 이미지를 생성하는 단계는,
    상기 변환 이미지로부터 상기 각막의 반사율에 의하여 손실된 선명도를 보정하는 단계를 더 포함하는 투명 표시 장치 구동 방법.
  10. 제7 항에 있어서,
    상기 배경 이미지를 생성하는 단계는,
    상기 사용자의 동공의 색상을 추출하여, 상기 동공의 광 흡수율에 의한 채도 변화를 보정하는 단계를 더 포함하는 투명 표시 장치 구동 방법.
  11. 제1 항에 있어서,
    상기 각막 반사 이미지를 추출하는 단계는,
    카메라로 사용자의 눈을 촬상하는 단계; 및
    상기 촬상된 눈으로부터 상기 각막 반사 이미지를 생성하는 단계를 포함하는 투명 표시 장치 구동 방법.
  12. 표시 이미지를 표시하고, 배경에 반사되는 빛을 투과하는 표시 영역 및 상기 표시 영역에 인접한 비표시 영역으로 구분되는 투명 표시 패널;
    상기 표시 영역이 사용자의 각막에 투영된 대상 이미지를 포함하는 각막 반사 이미지를 추출하는 각막 반사 이미지 추출부;
    상기 각막의 굴곡진 형상에 의해 왜곡된 상기 대상 이미지를 보정하여 평면 대상 이미지를 생성하는 이미지 검출부; 및
    상기 평면 대상 이미지로부터 상기 표시 이미지를 제거하여 배경 이미지를 생성하는 배경 이미지 생성부를 포함하는 투명 표시 장치.
  13. 제12 항에 있어서,
    상기 이미지 검출부는,
    상기 각막 반사 이미지를 평면 이미지로 보정하는 디워핑부; 및
    상기 평면 이미지로부터 상기 평면 대상 이미지를 추출하는 평면 대상 이미지 추출부를 포함하는 투명 표시 장치.
  14. 제13 항에 있어서,
    상기 각막 반사 이미지는 상기 비표시 영역이 상기 각막에 투영되어 형성된 엣지 이미지를 더 포함하고,
    상기 디워핑부는 상기 엣지 이미지를 평면 엣지 이미지로 보정하고,
    상기 평면 대상 이미지 추출부는,
    상기 평면 이미지에서 상기 평면 엣지 이미지를 검출하고, 상기 평면 엣지 이미지가 둘러싸는 이미지를 상기 평면 대상 이미지로 특정하는 투명 표시 장치.
  15. 제14 항에 있어서,
    상기 평면 대상 이미지 추출부는 상기 평면 엣지 이미지의 특징점을 시간의 흐름에 따라 추출하는 투명 표시 장치.
  16. 제13 항에 있어서,
    상기 투명 표시 패널은 표시 패턴을 표시하고,
    상기 평면 대상 이미지 추출부는,
    상기 표시 패턴이 상기 각막에 투영된 상기 표시 패턴 이미지를 검출하고, 상기 표시 패턴 이미지에 근거하여 상기 표시 영역의 위치를 검출하여 상기 평면 대상 이미지를 특정하는 투명 표시 장치.
  17. 제12 항에 있어서,
    상기 배경 이미지 생성부는,
    상기 평면 대상 이미지의 해상도 및 형상을 보정하여 변환 이미지를 생성하는 변조부; 및
    상기 변환 이미지로부터 상기 표시 이미지를 제거하고 선명도를 보정하여 상기 배경 이미지를 생성하는 산출부를 포함하는 투명 표시 장치.
  18. 제17 항에 있어서,
    상기 산출부는,
    상기 표시 이미지가 제거된 상기 변환 이미지로부터 상기 투명 표시 패널의 투과율을 나누어 보정하는 투명 표시 장치.
  19. 제12 항에 있어서,
    상기 각막 반사 이미지 추출부는,
    상기 비표시 영역 상에 배치되는 전면 카메라를 포함하는 투명 표시 장치.
  20. 제12 항에 있어서,
    상기 투명 표시 패널은 서로 절연되고 교차하는 게이트 라인들 및 데이터라인들을 포함하고,
    상기 배경 이미지 및 상기 표시 이미지를 수신하여 상기 데이터라인들에 데이터 전압을 출력하는 데이터 드라이버를 더 포함하는 투명 표시 장치.
KR1020160070531A 2016-06-07 2016-06-07 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치 KR102520108B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160070531A KR102520108B1 (ko) 2016-06-07 2016-06-07 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치
US15/445,675 US10242428B2 (en) 2016-06-07 2017-02-28 Transparent display apparatus and driving method thereof
JP2017106808A JP6938224B2 (ja) 2016-06-07 2017-05-30 透明表示装置及びその駆動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160070531A KR102520108B1 (ko) 2016-06-07 2016-06-07 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치

Publications (2)

Publication Number Publication Date
KR20170138629A true KR20170138629A (ko) 2017-12-18
KR102520108B1 KR102520108B1 (ko) 2023-04-11

Family

ID=60482374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160070531A KR102520108B1 (ko) 2016-06-07 2016-06-07 투명 표시 장치, 이의 구동 방법, 및 이미지 취득 장치

Country Status (3)

Country Link
US (1) US10242428B2 (ko)
JP (1) JP6938224B2 (ko)
KR (1) KR102520108B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11480804B2 (en) * 2018-07-20 2022-10-25 Tobii Ab Distributed foveated rendering based on user gaze
CN110767159A (zh) 2019-04-04 2020-02-07 昆山国显光电有限公司 显示面板的驱动方法、装置和显示设备
EP3799778A1 (en) 2019-10-03 2021-04-07 Nokia Technologies Oy Alerts based on corneal reflections
US11967268B1 (en) * 2022-11-07 2024-04-23 Qualcomm Incorporated Systems and methods of secure imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028558A (ko) * 2012-08-29 2014-03-10 삼성디스플레이 주식회사 투명 표시장치 및 이의 구동방법
KR20160042680A (ko) * 2014-10-10 2016-04-20 엘지디스플레이 주식회사 투명 디스플레이 장치
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
KR102204788B1 (ko) * 2012-12-31 2021-01-19 엘지디스플레이 주식회사 투명 표시 장치 및 그 제어 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4658408B2 (ja) * 2001-08-30 2011-03-23 株式会社東海理化電機製作所 車両用監視装置
JP2004040395A (ja) * 2002-07-02 2004-02-05 Fujitsu Ltd 画像歪み補正装置、方法及びプログラム
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US20070002130A1 (en) 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
KR20090112591A (ko) * 2008-04-24 2009-10-28 소니 가부시끼 가이샤 영상 처리 장치, 영상 처리 방법, 프로그램 및 기록 매체
JP5337409B2 (ja) * 2008-05-30 2013-11-06 学校法人慶應義塾 情報提示装置
JP5151922B2 (ja) * 2008-11-17 2013-02-27 日本電気株式会社 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム
JP5847315B2 (ja) * 2012-08-31 2016-01-20 三菱電機株式会社 表示装置
JP6133673B2 (ja) 2013-04-26 2017-05-24 京セラ株式会社 電子機器及びシステム
JP2015022589A (ja) 2013-07-19 2015-02-02 国立大学法人大阪大学 表示装置、表示方法、表示プログラム、及び、表示プログラムを記憶した情報記憶媒体
JP6608137B2 (ja) 2014-01-03 2019-11-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
US9773349B2 (en) 2014-02-19 2017-09-26 Daqri, Llc Active parallax correction
KR101909006B1 (ko) * 2014-07-24 2018-10-17 고쿠리츠켄큐카이하츠호진 카가쿠기쥬츠신코키코 화상 위치 맞춤 장치, 화상 위치 맞춤 방법, 및 화상 위치 맞춤 프로그램
JP2016063391A (ja) * 2014-09-18 2016-04-25 セイコーエプソン株式会社 撮像装置、表示装置、及び、電子機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
KR20140028558A (ko) * 2012-08-29 2014-03-10 삼성디스플레이 주식회사 투명 표시장치 및 이의 구동방법
KR102204788B1 (ko) * 2012-12-31 2021-01-19 엘지디스플레이 주식회사 투명 표시 장치 및 그 제어 방법
KR20160042680A (ko) * 2014-10-10 2016-04-20 엘지디스플레이 주식회사 투명 디스플레이 장치

Also Published As

Publication number Publication date
JP2017219837A (ja) 2017-12-14
US10242428B2 (en) 2019-03-26
US20170352128A1 (en) 2017-12-07
JP6938224B2 (ja) 2021-09-22
KR102520108B1 (ko) 2023-04-11

Similar Documents

Publication Publication Date Title
JP6938224B2 (ja) 透明表示装置及びその駆動方法
EP2502410B1 (en) A method for augmenting sight
CN100368929C (zh) 投影型显示装置
CA2576010A1 (en) Head mounted display with wave front modulator
US11232602B2 (en) Image processing method and computing device for augmented reality device, augmented reality system, augmented reality device as well as computer-readable storage medium
US20150015478A1 (en) Ir emissive display facilitating remote eye tracking
CN109597200A (zh) 超宽幅抬头显示系统及其显示方法
JP6669053B2 (ja) ヘッドアップディスプレイシステム
CN110023818A (zh) 影像显示装置和影像显示方法
CN106373197A (zh) 一种增强现实的方法及增强现实装置
BR112012023787B1 (pt) Sistema para rastrear o ponto de olhar de um observador observando um objeto e método para rastrear o ponto de olhar de um observador observando um objeto
CN102053367B (zh) 双目头盔显示器图像校准方法
CN104808340A (zh) 头戴式显示装置及其控制方法
JP7325408B2 (ja) 表示装置
CN104865701A (zh) 头戴式显示装置
CN117881996A (zh) 用于视网膜投影显示系统的注视跟踪
CN106054511A (zh) 投影装置及投影系统
US10891917B2 (en) Transparent display system and operation method thereof
CN117441201A (zh) 空中影像显示装置和空中影像显示方法
US11347060B2 (en) Device and method of controlling device
US20220308663A1 (en) Image display device, display control device, and display control method, and program and recording medium
CN111796684A (zh) 一种物体标记的显示方法及仿生眼镜
WO2022196368A1 (ja) 表示装置、表示方法およびプログラム
US11874469B2 (en) Holographic imaging system
JP2021017064A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant