KR20220129369A - 디스플레이장치 및 이의 제어 방법 - Google Patents

디스플레이장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20220129369A
KR20220129369A KR1020210034182A KR20210034182A KR20220129369A KR 20220129369 A KR20220129369 A KR 20220129369A KR 1020210034182 A KR1020210034182 A KR 1020210034182A KR 20210034182 A KR20210034182 A KR 20210034182A KR 20220129369 A KR20220129369 A KR 20220129369A
Authority
KR
South Korea
Prior art keywords
image
pixel value
pixel
rotation
flare
Prior art date
Application number
KR1020210034182A
Other languages
English (en)
Inventor
송경덕
이태우
김대근
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020210034182A priority Critical patent/KR20220129369A/ko
Publication of KR20220129369A publication Critical patent/KR20220129369A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

실시 예에 따른 디스플레이장치는 제1 영상 및 제1 회전 영상을 획득하는 카메라; 상기 카메라를 통해 획득된 상기 제1 회전 영상을 이용하여 제2 영상을 생성하는 영상 보정부; 상기 제1 영상의 픽셀별 제1 픽셀 값 및 상기 제2 영상의 픽셀별 제2 픽셀 값을 이용하여 제3 영상을 생성하는 영상 처리부; 상기 영상 보정부를 통해 상기 제2 영상이 생성되도록 제어하고, 상기 영상 처리부를 통해 상기 제3 영상이 생성되도록 하는 제어부를 포함하고, 상기 제어부는, 상기 카메라를 통해 상기 제1 영상이 획득되도록 하고, 상기 제1 영상이 획득된 이후, 상기 카메라가 광축을 중심으로 회전 각도(θ)만큼 회전한 상태에서, 상기 제1 회전 영상이 획득되도록 하며, 상기 회전 각도(θ)에 대응하는 보정 각도(-θ)를 기반으로, 상기 제1 회전 영상을 보정한 상기 제2 영상이 획득되도록 하며, 상기 제1 영상의 상기 제1 픽셀 값 및 상기 제2 영상의 상기 제2 픽셀 값 중 적어도 하나의 픽셀 값을 적용하여 상기 제3 영상이 생성되도록 한다.

Description

디스플레이장치 및 이의 제어 방법{DISPLAY DEVICE AND METHOD FOR CONTROLLING DISPLAY DEVICE THEREOF}
실시 예는 디스플레이장치에 관한 것으로, 특히 UDC(Under Display Camera)를 포함하는 디스플레이장치 및 이의 제어 방법에 관한 것이다.
일반적으로 이동통신 단말기, MP3 플레이어와 같은 휴대 기기를 비롯하여, 자동차, 내시경, CCTV와 같은 전자 기기에 카메라 장치가 탑재되고 있다. 이러한 카메라 장치는 점차로 고화소 중심으로 발달되고 있으며, 소형화 및 박형화가 진행되고 있다. 뿐만 아니라, 현재 카메라 장치는, 저가의 제작 비용으로 다양한 부가 기능이 구현 가능하도록 변화되고 있다.
상기와 같은 카메라 장치는 렌즈를 수용하는 렌즈 배럴, 렌즈 배럴에 결합되는 렌즈 홀더, 렌즈 홀더 내에 배치되는 이미지 센서 및 이미지 센서가 장착되는 구동 기판을 포함한다. 이때 렌즈가 피사체의 영상 신호를 이미지 센서에 전달한다. 그리고 이미지 센서가 영상 신호를 전기적 신호로 변환한다.
한편, 일반적인 카메라 장치는 전자기기의 디스플레이 패널에 배치된다. 예를 들어, 카메라 장치는 디스플레이 패널에서, 영상이 출력되지 않는 비유효 영역에 형성된 개구부에 정렬되어 배치된다. 그리고, 상기 카메라 장치는 상기 비유효 영역에서의 개구부를 통해 입사되는 광을 이용하여 영상을 획득한다. 그러나, 이러한 일반적인 카메라 장치의 구조는 상기 디스플레이 패널의 일부 영역을 영상이 제공되지 않는 비유효 영역으로 형성해야 하며, 이에 따른 제품 사이즈가 커지는 문제가 있다.
이에 따라, 최근에는 UDC(Under Display Camera)가 제공되고 있으며, 이는 디스플레이 패널의 유효 영역에 배치되고, 상기 유효 영역을 통해 제공되는 광을 이용하여 영상을 획득한다. 이와 같은 일반적인 UDC 구조는 디스플레이 패널의 광출사면의 반대면에 카메라 모듈의 렌즈가 배치되고, 상기 렌즈와 광축으로 오버랩되는 영역에 카메라 모듈의 이미지 센서가 배치되는 구조를 가진다.
그러나, 이와 같은 종래의 UDC를 포함하는 디스플레이장치는, 디스플레이 패널의 주기적인 구조에 의한 회절이 발생하고, 상기 회절로 인하여 기존에 맺히던 상 이외에 회절에 의한 상도 함께 맺힘에 따라 화질 열화가 발생하는 문제가 있다. 예를 들어, 종래의 UDC 구조는 회절에 의한 고스트 현상, 플레어 현상 및 색번짐 현상 등이 발생하는 문제가 있다.
이에 따라, 실시 예에서는 상기와 같은 UDC를 포함하는 디스플레이장치에서 발생하는 플레어 현상을 해결할 수 있는 새로운 구조의 디스플레이장치 및 이의 제어 방법을 제공하도록 한다.
실시 예에서는 UDC를 포함하는 디스플레이장치에서 발생하는 화질 열화를 해결할 수 있는 디스플레이장치 및 이의 제어 방법을 제공할 수 있도록 한다.
또한, 실시 예에서는 하나의 카메라를 이용하여 UDC의 디스플레이장치에서 발생하는 플레어 현상을 해결할 수 있는 디스플레이장치 및 이의 제어 방법을 제공하도록 한다.
또한, 실시 예에서는 광축방향으로의 복수의 회전 영상을 이용하여 플레어가 제거된 새로운 영상을 획득할 수 있는 디스플레이장치 및 이의 제어 방법을 제공할 수 있도록 한다.
실시 예에서 해결하고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제는 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
실시 예에 따른 디스플레이장치는 제1 영상 및 제1 회전 영상을 획득하는 카메라; 상기 카메라를 통해 획득된 상기 제1 회전 영상을 이용하여 제2 영상을 생성하는 영상 보정부; 상기 제1 영상의 픽셀별 제1 픽셀 값 및 상기 제2 영상의 픽셀별 제2 픽셀 값을 이용하여 제3 영상을 생성하는 영상 처리부; 상기 영상 보정부를 통해 상기 제2 영상이 생성되도록 제어하고, 상기 영상 처리부를 통해 상기 제3 영상이 생성되도록 하는 제어부를 포함하고, 상기 제어부는, 상기 카메라를 통해 상기 제1 영상이 획득되도록 하고, 상기 제1 영상이 획득된 이후, 상기 카메라가 광축을 중심으로 회전 각도(θ)만큼 회전한 상태에서, 상기 제1 회전 영상이 획득되도록 하며, 상기 회전 각도(θ)에 대응하는 보정 각도(-θ)를 기반으로, 상기 제1 회전 영상을 보정한 상기 제2 영상이 획득되도록 하며, 상기 제1 영상의 상기 제1 픽셀 값 및 상기 제2 영상의 상기 제2 픽셀 값 중 적어도 하나의 픽셀 값을 적용하여 상기 제3 영상이 생성되도록 한다.
또한, 상기 제1 영상 및 상기 제1 회전 영상은 플레어 패턴을 포함하는 플레어 영상이며, 상기 제1 영상에서의 상기 플레어 패턴의 위치는, 상기 제1 회전 영상에서의 상기 플레어 패턴의 위치와 동일하다.
또한, 상기 제2 영상은 플레어 패턴을 포함하는 플레어 영상이며, 상기 제2 영상에서의 상기 플레어 패턴의 위치는, 상기 제1 영상 및 상기 제1 회전 영상 중 적어도 어느 하나의 영상에서의 플레어 패턴의 위치와 다르다.
또한, 상기 영상 보정부는, 상기 제1 영상에 포함된 적어도 하나의 객체에 대한 복수의 제1 윤곽선을 추출하고, 상기 제1 회전 영상에 포함된 적어도 하나의 객체에 대한 복수의 제2 윤곽선을 추출하는 윤곽선 추출부; 상기 복수의 제1 윤곽선으로부터 제1 대표 윤곽선을 추출하고, 상기 복수의 제2 윤곽선으로부터 제2 대표 윤곽선을 추출하는 방향 성분 추출부; 상기 제1 대표 윤곽선과 상기 제2 대표 윤곽선 사이의 차이를 기준으로 상기 회전 각도(θ)를 계산하는 회전 각도 계산부; 및 상기 회전 각도(θ)에 대응하는 상기 보정 각도(-θ)만큼 상기 제1 회전 영상을 회전 보정하여 상기 제2 영상을 획득하는 영상 회전부를 포함한다.
또한, 상기 제어부는, 상기 제1 영상이 획득된 시점에서의 자이로 센서의 제1 센싱 값과, 상기 제1 회전 영상이 획득된 시점에서의 상기 자이로 센서의 제2 센싱 값을 비교하여, 상기 회전 각도(θ)를 계산하고, 상기 영상 보정부는, 상기 제어부를 통해 계산된 상기 회전 각도(θ)에 대응하는 상기 보정 각도(-θ)만큼 상기 제1 회전 영상을 회전 보정하여 상기 제2 영상을 획득하는 영상 회전부를 포함한다.
또한, 상기 카메라는, 상기 광축을 중심으로 서로 다른 회전 각도만큼 각각 회전한 상태에서, 복수의 제1 회전 영상을 획득하고, 상기 영상 보정부는, 상기 복수의 제1 회전 영상 각각에 대해, 복수의 제2 영상을 생성하며, 상기 영상 처리부는, 상기 제1 영상 및 상기 복수의 제2 영상을 비교하여 상기 제3 영상을 생성한다.
또한, 상기 영상 처리부는, 상기 제1 픽셀 값과 상기 제2 픽셀 값을 비교하고, 상기 비교 결과에 따라 상기 제1 픽셀 값 및 상기 제2 픽셀 값이 서로 다른 적어도 하나의 픽셀을 검출하고, 상기 검출된 픽셀에 대해, 상기 제1 픽셀 값 및 상기 제2 픽셀 값 중 낮은 픽셀 값을 적용하여 상기 제3 영상을 생성한다.
또한, 상기 제1 및 제2 픽셀 값은, 상기 제1 및 제2 영상의 각각의 픽셀에 대한 명암 값을 포함한다.
또한, 상기 생성된 제3 영상을 디스플레이하는 디스플레이 패널을 포함한다.
또한, 상기 디스플레이 패널은, 복수의 화소 영역들 및 상기 복수의 화소 영역들 사이의 복수의 비화소 영역들을 포함하고, 상기 카메라는, 상기 복수의 화소 영역들 중 적어도 하나의 화소 영역, 및 상기 복수의 비화소 영역들 중 적어도 하나의 비화소 영역과 광축 방향으로 오버랩된다.
또한, 상기 디스플레이패널은, 상기 복수의 화소 영역들 및 상기 복수의 비화소 영역들을 포함하는 기판; 상기 기판의 상기 복수의 화소 영역들 상에 배치되는 제1 전극층; 상기 제1 전극층 상에 배치되는 유기 발광층을 포함하고, 상기 비화소 영역들은, 상기 기판 상에서, 상기 제1 전극층 및 상기 유기 발광층이 배치되지 않은 개구 영역이다.
또한, 상기 디스플레이 패널은, 상기 유기 발광층 상에 배치되는 제2 전극층을 포함하고, 상기 제2 전극층은 광 투과성의 도전 물질로 형성되고, 상기 비화소 영역의 상부 영역을 덮는다.
한편, 실시 예에 따른 디스플레이장치의 제어 방법은 카메라를 통해 제1 영상을 획득하는 단계; 상기 카메라를 광축을 중심으로 회전 각도(θ)만큼 회전시킨 상태에서, 상기 카메라를 통해 제1 회전 영상을 획득하는 단계; 상기 회전 각도(θ)에 대응하는 보정 각도(-θ)를 기반으로, 상기 제1 회전 영상을 보정한 상기 제2 영상을 획득하는 단계; 및 상기 제1 영상의 픽셀별 제1 픽셀 값 및 상기 제2 영상의 픽셀별 제2 픽셀 값 중 적어도 하나의 픽셀 값을 이용하여 제3 영상을 획득하는 단계를 포함하고, 상기 제3 영상을 획득하는 단계는, 상기 제1 픽셀 값과 상기 제2 픽셀 값을 비교하는 단계와, 상기 비교 결과에 따라 상기 제1 픽셀 값 및 상기 제2 픽셀 값이 서로 다른 적어도 하나의 픽셀을 검출하는 단계와, 상기 검출된 픽셀에 대해, 상기 제1 픽셀 값 및 상기 제2 픽셀 값 중 낮은 픽셀 값을 적용하여 상기 제3 영상을 생성하는 단계를 포함한다.
또한, 상기 제1 영상 및 상기 제1 회전 영상은 플레어 패턴을 포함하는 플레어 영상이며, 상기 제1 영상에서의 상기 플레어 패턴의 위치는, 상기 제1 회전 영상에서의 상기 플레어 패턴의 위치와 동일하다.
또한, 상기 제2 영상은 플레어 패턴을 포함하는 플레어 영상이며, 상기 제2 영상에서의 상기 플레어 패턴의 위치는, 상기 제1 영상 및 상기 제1 회전 영상 중 적어도 어느 하나의 영상에서의 플레어 패턴의 위치와 다르다.
또한, 상기 제2 영상의 획득 전에, 상기 회전 각도(θ)를 계산하는 단계를 포함하고, 상기 회전 각도(θ)를 계산하는 단계는, 상기 제1 영상에 포함된 적어도 하나의 객체에 대한 복수의 제1 윤곽선을 추출하는 단계와, 상기 제1 회전 영상에 포함된 적어도 하나의 객체에 대한 복수의 제2 윤곽선을 추출하는 단계와, 상기 복수의 제1 윤곽선으로부터 제1 대표 윤곽선을 추출하고, 상기 복수의 제2 윤곽선으로부터 제2 대표 윤곽선을 추출하는 단계와, 상기 제1 대표 윤곽선과 상기 제2 대표 윤곽선 사이의 차이를 기준으로 상기 회전 각도(θ)를 계산하는 단계를 포함한다.
또한, 상기 제2 영상의 획득 전에, 상기 회전 각도(θ)를 계산하는 단계를 포함하고, 상기 회전 각도(θ)를 계산하는 단계는, 상기 제1 영상이 획득된 시점에서의 자이로 센서의 제1 센싱 값과, 상기 제1 회전 영상이 획득된 시점에서의 상기 자이로 센서의 제2 센싱 값을 비교하여, 상기 회전 각도(θ)를 계산하는 단계를 포함한다.
또한, 상기 제1 회전 영상을 획득하는 단계는, 상기 카메라가 상기 광축을 중심으로 서로 다른 회전 각도만큼 각각 회전한 상태에서, 복수의 제1 회전 영상을 획득하는 단계를 포함하고, 상기 제2 영상을 획득하는 단계는, 상기 복수의 제1 회전 영상의 각각의 회전 각도를 기준으로, 복수의 제2 영상을 획득하는 단계를 포함하며, 상기 제3 영상은 상기 제1 영상 및 상기 복수의 제2 영상을 이용하여 획득된다.
실시 예에서는 디스플레이 패널의 가림으로 인한 빛의 투과율 저하를 최소화할 수 있다. 또한, 실시 예에서는 복수의 영상의 합성을 통해 플레어가 제거된 영상을 획득할 수 있다. 구체적으로, 실시 예에서는 디스플레이 패널의 주기적인 구조에 의해 발생하는 플레어 문제를 해결할 수 있다.
예를 들어, 실시 예에서는 제1 영상을 획득하고, 상기 제1 영상으로부터 제1 각도(θ)만큼 회전한 제1 회전 영상을 획득한다. 그리고, 실시 예에서는 보정 과정을 통해, 상기 제1 회전 영상을 -제1 각도(-θ)만큼 회전한 제2 영상을 획득한다. 이때, 상기 제1 영상과 상기 제1 회전 영상에는 각각 플레어 패턴을 포함한다. 여기에서, 상기 제1 회전 영상은, 상기 제1 영상과 비교하여, 플레어 패턴은 동일하게 유지한 상태에서 피사체만 상기 제1 각도(θ)만큼 회전하는 특성을 가진다. 이에 따라, 상기 제2 영상은, 상기 제1 영상과 비교하여, 피사체의 위치는 동일하고, 플레어 패턴만이 회전한 특성을 가진다. 즉, 실시 예에서는 상기와 같은 과정을 거쳐, 서로 다른 플레어 패턴을 포함하는 제1 및 제2 영상을 획득하고, 이를 합성하여 플레어가 포함되지 않은 영상을 획득할 수 있도록 한다.
구체적으로, 실시 예에서는 제1 객체 패턴 및 제1 플레어 패턴을 포함하는 제1 영상을 포함한다. 그리고, 실시 예에서는 상기 제1 객체 패턴으로부터 θ만큼 회전한 제2 객체 패턴 및 상기 제1 플레어 패턴을 포함하는 제1 회전 영상을 포함한다. 그리고, 실시 예에서는 상기 제1 회전 영상을 이용하여, 상기 제1 객체 패턴 및 제2 플레어 패턴을 포함하는 제2 영상을 획득한다. 이때, 상기 제2 플레어 패턴은 상기 제1 플레어 패턴 대비 상기 θ 또는 -θ만큼 회전한 형태를 가진다. 따라서, 실시 예에서는 상기 제1 영상의 픽셀별 픽셀 값과, 제2 영상의 픽셀별 픽셀 값을 토대로, 플레어가 포함되지 않는 제3 영상을 생성한다. 예를 들어, 플레어가 포함되는 경우, 해당 픽셀 영역에서의 픽셀 값은 상대적으로 높게 나타난다. 이에 따라, 실시 예에서는 상기 제1 영상의 픽셀 값과 제2 영상의 픽셀 값을 기준으로, 낮은 픽셀값을 적용하여 상기 제3 영상을 생성한다. 이에 따라, 실시 예에서는 UDC 구조의 디스플레이장치에서, 디스플레이 패널의 주기적인 구조에 의해 발생하는 플레어 문제를 해결할 수 있으며, 이에 따른 영상 품질을 향상시킬 수 있다.
도 1은 실시 예에 따른 휴대용 단말기의 사시도이다.
도 2는 도 1에 도시된 휴대용 단말기의 구성도를 나타낸다
도 3은 도 2에 도시된 영상 보정부의 상세 구성을 나타낸 블록도이다.
도 4는 도 3에 도시된 영상 처리부의 상세 구성을 나타낸 블록도이다.
도 5는 실시 예에 따른 디스플레이 장치의 내부 구조의 단면도이다.
도 6 내지 도 8은 도 5의 디스플레이 패널에서, 카메라가 배치되는 영역을 간략화한 평면도이다.
도 9는 실시 예의 제1 영상 및 회전 영상이 획득되는 기준을 설명하기 위한 도면이다.
도 10은 실시 예의 카메라에서 획득되는 제1 영상을 설명하기 도면이다.
도 11은 실시 예의 카메라에서 획득되는 제1 회전 영상을 설명하기 위한 도면이다.
도 12a는 도 11의 제1 회전 영상을 회전 보정한 회전 보정 영상을 나타낸 도면이다.
도 12b는 실시 예의 영상 보정부에서 획득되는 제2 영상을 설명하기 위한 도면이다.
도 13은 실시 예의 제1 영상의 제1 플레어 패턴과 제2 영상의 제2 플레어 패턴을 모두 포함하는 플레어 영상을 나타낸 도면이다.
도 14는 실시 예의 제3 영상을 설명하기 위한 도면이다.
도 15는 도 14의 제3 영상에서 플레어 영역을 확대한 도면이다.
도 16은 실제로 촬영 또는 획득된 제1 영상, 복수의 회전 영상 및 제3 영상을 나타낸 도면이다.
도 17은 실시 예에 따른 디스플레이장치의 제어 방법을 단계별로 설명하기 위한 흐름도이다.
도 18은 도 17의 제2 영상의 획득 과정을 구체적으로 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다. 그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속＇되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 " 상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한 "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
실시 예에서의 디스플레이장치에 대해 설명하기로 한다.
실시 예에서의 디스플레이장치는 디스플레이 기능 및 촬영 기능을 구비할 수 있다. 이에 따라, 디스플레이장치는 디스플레이를 위한 디스플레이 패널과, 촬영을 위한 카메라 모듈을 구비할 수 있다. 상기 디스플레이장치의 예로, 단말기를 포함할 수 있다. 상기 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다. 이하에서는 설명의 편의를 위해, 상기 전자기기가 휴대용 단말기로 구성되는 경우에 대해 설명하기로 한다.
도 1은 실시 예에 따른 휴대용 단말기의 사시도를 나타내고, 도 2는 도 1에 도시된 휴대용 단말기의 구성도를 나타낸다
도 1 및 도 2를 참조하면, 휴대용 단말기(200A, 이하 "단말기"라 한다.)는 몸체(850), 무선 통신부(710), A/V 입력부(720), 센싱부(740), 입/출력부(750), 메모리부(760), 인터페이스부(770), 제어부(780), 및 전원 공급부(790)를 포함할 수 있다.
도 1에 도시된 몸체(850)는 바(bar) 형태이지만, 이에 한정되지 않고, 2개 이상의 서브 몸체(sub-body)들이 상대 이동 가능하게 결합하는 슬라이드 타입, 폴더 타입, 스윙(swing) 타입, 스위블(swirl) 타입 등 다양한 구조일 수 있다.
몸체(850)는 외관을 이루는 케이스(케이싱, 하우징, 커버 등)를 포함할 수 있다. 예컨대, 몸체(850)는 프론트(front) 케이스(851)와 리어(rear) 케이스(852)로 구분될 수 있다. 프론트 케이스(851)와 리어 케이스(852)의 사이에 형성된 공간에는 단말기의 각종 전자 부품들이 내장될 수 있다.
무선 통신부(710)는 단말기(200A)와 무선 통신시스템 사이 또는 단말기(200A)와 단말기(200A)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함하여 구성될 수 있다. 예를 들어, 무선 통신부(710)는 방송 수신 모듈(711), 이동통신 모듈(712), 무선 인터넷 모듈(713), 근거리 통신 모듈(714) 및 위치 정보 모듈(715)을 포함하여 구성될 수 있다.
A/V(Audio/Video) 입력부(720)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 카메라(721) 및 마이크(722) 등을 포함할 수 있다.
카메라(721)는 이하에서 설명되는 실시 예에 따른 카메라 모듈을 포함할 수 있다. 카메라(721)는 듀얼 카메라일 수 있다. 예를 들어, 카메라(721)는 상호 이격되어 배치되는 제1 카메라(721a) 및 제2 카메라(721
센싱부(740)는 단말기(200A)의 개폐 상태, 단말기(200A)의 위치, 사용자 접촉 유무, 단말기(200A)의 방위, 단말기(200A)의 가속/감속 등과 같이 단말기(200A)의 현 상태를 감지하여 단말기(200A)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다. 예를 들어, 단말기(200A)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(790)의 전원 공급 여부, 인터페이스부(770)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당한다.
입/출력부(750)는 시각, 청각 또는 촉각 등과 관련된 입력 또는 출력을 발생시키기 위한 것이다. 입/출력부(750)는 단말기(200A)의 동작 제어를 위한 입력 데이터를 발생시킬 수 있으며, 또한 단말기(200A)에서 처리되는 정보를 표시할 수 있다.
입/출력부(750)는 키 패드부(730), 디스플레이 모듈(751), 음향 출력 모듈(752), 및 터치 스크린 패널(753)을 포함할 수 있다. 키 패드부(730)는 키 패드 입력에 의하여 입력 데이터를 발생시킬 수 있다.
디스플레이 모듈(751)은 전기적 신호에 따라 색이 변화하는 복수 개의 픽셀들을 포함할 수 있다. 예컨대, 디스플레이 모듈(751)는 유기 발광 다이오드(organic light-emitting diode)를 포함할 수 있다. 즉, 실시 예에서의 디스플레이 모듈(751)을 구성하는 디스플레이 패널은 유기 발광 다이오드 패널일 수 있다. 이는, 실시 예에서의 복수의 카메라를 포함하는(명확하게, 듀얼 카메라) 카메라 모듈이 UDC 타입으로 구비되며, 이에 따라 상기 UDC 타입의 구조로 상기 카메라 모듈을 배치하기 위해서는 상기 디스플레이 패널이 광투과 특성을 가져야 하기 때문이다. 예를 들어, 상기 카메라 모듈은 디스플레이 패널의 영상 출사 영역의 반대면에 배치된다. 이때, 일반적인 액정 디스플레이(liquid crystal display)의 경우, 상기 영상 출사 영역의 반대면에 백라이트가 배치되며, 이에 따라 상기 백라이트를 통해 광의 투과가 이루어질 수 없다. 이에 따라, 실시 예에서는 상기 영상 출사 영역의 반대면으로 광이 투과될 수 있는 유기 발광 다이오드 패널을 이용하여 디스플레이 모듈(751)을 구성할 수 있도록 한다. 상기 디스플레이 모듈(751)을 구성하는 디스플레이 패널과 카메라 모듈 사이의 관계에 대해서는 하기에서 더욱 상세히 설명하기로 한다.
음향 출력 모듈(752)은 호(call) 신호 수신, 통화 모드, 녹음 모드, 음성 인식 모드, 또는 방송 수신 모드 등에서 무선 통신부(710)로부터 수신되는 오디오 데이터를 출력하거나, 메모리부(760)에 저장된 오디오 데이터를 출력할 수 있다.
터치 스크린 패널(753)은 터치 스크린의 특정 영역에 대한 사용자의 터치에 기인하여 발생하는 정전 용량의 변화를 전기적인 입력 신호로 변환할 수 있다.
메모리부(760)는 제어부(780)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 사진, 동영상 등)을 임시 저장할 수 있다. 예컨대, 메모리부(760)는 카메라(721)에 의해 촬영된 이미지, 예컨대, 사진 또는 동영상을 저장할 수 있다.
인터페이스부(770)는 단말기(200A)에 연결되는 외부 기기와의 연결되는 통로 역할을 한다. 인터페이스부(770)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 단말기(200A) 내부의 각 구성 요소에 전달하거나, 단말기(200A) 내부의 데이터가 외부 기기로 전송되도록 한다. 예컨대, 인터페이스부(770)는 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 및 이어폰 포트 등을 포함할 수 있다.
제어부(controller, 780)는 단말기(200A)의 전반적인 동작을 제어할 수 있다. 예를 들어 제어부(780)는 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다.
제어부(780)는 멀티 미디어 재생을 위한 멀티미디어 모듈(781)을 구비할 수 있다. 멀티미디어 모듈(781)은 제어부(180) 내에 구현될 수도 있고, 제어부(780)와 별도로 구현될 수도 있다.
제어부(780)는 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(790)는 제어부(780)의 제어에 의해 외부의 전원, 또는 내부의 전원을 인가받아 각 구성 요소들의 동작에 필요한 전원을 공급할 수 있다.
또한, 제어부(780)는 영상 처리부(795)를 포함할 수 있다.
상기 영상 처리부(795)는 상기 카메라(721)를 통해 획득된 영상을 처리할 수 있다.
예를 들어, 상기 카메라(721)는 제1 영상을 획득할 수 있다. 또한, 상기 카메라(721)는 적어도 하나의 회전 영상을 획득할 수 있다. 상기 제1 영상 및 상기 회전 영상은 서로 동일 시점에 획득된 영상이 아닌, 일정 시간 차이를 두고 하나의 카메라(721)를 통해 획득된 영상일 수 있다. 상기 제1 영상과 상기 회전 영상은 상기 카메라(721)의 촬영 조건의 변경을 통해, 하나의 상기 카메라(721)를 통해 각각 획득할 수 있다. 예를 들어, 상기 촬영 조건은 피사체를 바라보는 상기 카메라(721)의 각도에 대응할 수 있다. 예를 들어, 상기 촬영 조건은 롤(roll) 회전 각도에 대응할 수 있다. 상기 롤(roll) 회전 각도는 상기 카메라(721)의 광축 방향에 대응하는, 상기 카메라(721)의 회전 각도를 의미할 수 있다. 예를 들어, 상기 제1 영상이 획득된 시점에서의 상기 카메라(721)의 롤(roll) 회전 각도가 0도인 경우, 상기 회전 영상은 상기 카메라(721)가 광축 방향을 중심으로 θ각도만큼 회전한 상태에서 촬영된 영상일 수 있다.
이에 따라, 상기 제1 영상과 회전 영상은 다음과 같은 관계를 가질 수 있다. 예를 들어, 제1 영상 및 회전 영상에 제1 피사체를 촬영한 제1 객체가 포함되는 경우, 상기 회전 영상에 포함된 제1 객체는, 상기 제1 영상에 포함된 제1 객체 대비, 상기 광축과 수직한 평면을 기준으로 상기 θ각도만큼 회전된 상태일 수 있다.
상기와 같이, 실시 예에서는 하나의 상기 카메라(721)를 이용하여, 제1 영상 및 회전 영상을 각각 획득할 수 있도록 한다. 이때, 이하에서 설명되겠지만, 상기 제1 피사체는 강한 광원(예를 들어, 백열등, 태양 등)일 수 있다. 이에 따라, 상기 제1 영상 및 상기 회전 영상은 상기 제1 객체 주위에 플레어 패턴이 포함될 수 있다.
즉, 상기 제1 영상은 제1 객체 및 상기 제1 객체 주위로 형성된 제1 플레어 패턴을 포함할 수 있다. 그리고, 상기 회전 영상은 상기 제1 객체 대비, 상기 광축 방향으로 θ각도만큼 회전된 상태의 제2 객체와, 상기 제2 객체 주위에 형성된 제1 플레어 패턴을 포함할 수 있다. 이때, 상기 카메라(721)가 광축 방향으로 회전하여 이에 의해 촬영되는 객체가 회전하여도, 상기 플레어 패턴은 회전하지 않고 특정 형태를 유지하는 특성을 가진다. 이에 따라, 상기 제1 영상 및 상기 회전 영상에 포함된 플레어 패턴은 서로 동일하다. 예를 들어, 상기 회전 영상을 획득하는 경우, 상기 제1 영상 대비, 플레어 패턴의 형태를 그대로 유지된 상태에서, 상기 제1 피사체를 촬영한 제1 객체만이 상기 θ각도만큼 회전하게 된다.
영상 보정부(793)는 상기 카메라(721)를 통해 획득된 회전 영상을 보정하여 제2 영상을 획득할 수 있다. 여기에서, 상기 영상 보정부(793)는 상기 회전 영상을 보정하여, 상기 회전 영상이 상기 제1 영상과 동일한 조건을 가지는 제2 영상을 획득할 수 있다. 여기에서, 상기 동일한 조건이란, 상기 롤(roll) 회전 각도가 서로 동일하다는 것을 의미할 수 있다.
예를 들어, 상기 회전 영상이 상기 제1 영상 대비 +45도만큼 회전한 경우, 상기 제1 영상과 상기 회전 영상의 롤(roll) 회전 각도는 45도의 차이를 가진다. 이에 따라, 상기 회전 영상을 -45도만큼 회전시킨 제2 영상을 획득하는 경우, 상기 제2 영상과 상기 제1 영상은 동일한 롤(roll) 회전 각도를 가질 수 있다.
이에 따라, 상기 영상 보정부(793)는 상기 제1 영상과 상기 회전 영상 사이의 각도 차이 값을 획득하고, 상기 각도 차이 값을 기반으로 상기 회전 영상을 회전 보정하여 상기 제2 영상을 획득할 수 있다.
이때, 상기 각도 차이 값은 상기 영상 보정부(793)를 구성하는 구성요소들에 의해 획득할 수 있다. 예를 들어, 상기 영상 보정부(793)는 이미지 처리를 통해 상기 제1 영상 및 상기 회전 영상 내에 포함된 다양한 윤곽선을 검출할 수 있다. 이대, 상기 영상 보정부(793)는 상기 검출된 윤곽선 중 상호 대응하는 윤곽선을 검출하고, 상기 검출한 윤곽선의 각도 차이를 기준으로 상기 각도 차이 값을 계산할 수 있다. 이와 다르게, 상기 영상 보정부(793)는 자이로 센서(미도시)를 통해 획득되는 센싱 값을 이용하여 상기 각도 차이 값을 획득할 수 있다. 예를 들어, 영상 보정부(793)는 제1 영상이 획득된 시점에서 상기 자이로 센서를 통해 획득되는 센싱 값과, 상기 회전 영상이 획득된 시점에서 상기 자이로 센서를 통해 획득되는 센싱 값의 차이 값을 기준으로 상기 각도 차이 값을 획득할 수 있다. 이에 대해서는 하기에서 더욱 상세히 설명하기로 한다.
그리고, 상기 영상 처리부(795)는 상기 카메라(721)를 통해 획득된 제1 영상과, 상기 영상 보정부(793)를 통해 획득된 제2 영상을 각각 처리하여 제3 영상을 획득할 수 있다.
이를 위해, 상기 영상 처리부(795)는 상기 제1 영상을 처리하여, 상기 제1 영상의 픽셀별 제1 픽셀 값을 획득할 수 있다. 상기 픽셀값은 해당 픽셀의 색이나 명암 또는 다른 속성을 나타내는 이산값일 수 있다. 바람직하게, 상기 픽셀값은 해당 픽셀의 명암을 나타내는 휘도 값일 수 있다. 또한, 상기 영상 처리부(795)는 상기 영상 보정부(793)를 통해 획득된 제2 영상을 처리하여, 상기 제2 영상의 픽셀별 제2 픽셀값을 획득할 수 있다.
상기 영상 처리부(795)는 상기 제1 픽셀 값 및 상기 제2 픽셀 값을 비교하여, 상기 제1 영상과 제2 영상을 합성한 제3 영상을 생성할 수 있다.
예를 들어, 상기 제1 영상 및 상기 제2 영상은 플레어 패턴을 포함할 수 있다. 예를 들어, 상기 카메라(721)에서 촬영되는 피사체의 종류에 따라 상기 제1 영상 및 제2 영상에는 플레어 패턴이 포함될 수 있다. 상기 플레어 영역은, 상대적으로 밝은 피사체(예를 들어, 백열등이나 태양)를 촬영하는 경우, 상기 피사체의 주위로 빛의 퍼짐과 같은 패턴으로 나타날 수 있다. 이때, 상기 플레어 패턴을 제거하기 위해, 제1 영상의 처리 시에 밝기를 감소할 수 있으나, 상기 밝기가 감소되는 경우, 상대적으로 어두운 부분에서의 계조가 묻히게 되어 이에 의한 화질 열화가 발생하게 된다.
이에 따라, 실시 예에서는 상기 영상 처리부(795)를 통해 상기와 같은 화질 열화 없이, 상기 플레어 패턴이 제거된 상기 제3 영상이 생성될 수 있도록 한다. 상기 제1 영상 또는 제2 영상에 플레어 패턴이 포함되지 않는 경우, 상기 제3 영상은 상기 제1 영상 또는 제2 영상과 동일한 영상일 수 있다. 이와 다르게, 상기 제1 영상 및 제2 영상에 플레어 패턴이 포함된 경우, 상기 제3 영상은 상기 제1 영상 및 제2 영상과 다른 영상일 수 있다. 이하에서는, 상기 제1 영상에 제1 플레어 패턴이 포함되고, 제2 영상에 제2 플레어 패턴이 포함되는 경우를 가정하여 설명하기로 한다.
실시 예에서의 상기 제1 영상의 제1 플레어 패턴은 상기 제2 영상의 제2 플레어 패턴과 다른 형태를 가진다. 여기에서, 상기 다른 형태를 가진다는 것은, 상기와 같은 플레어 패턴이 형성되는 픽셀 위치가 서로 다르다는 것을 의미할 수 있다. 이는 상기 제2 영상은 상기 회전 영상을 θ각도만큼 회전시켜 획득하며, 이에 따라, 상기 제2 영상에 포함된 플레어 패턴은 상기 제1 영상에 포함된 플레어 패턴대비 θ만큼 회전한 형태를 가질 수 있다.
즉, 상기 제1 영상과 상기 회전 영상은 플레어 패턴의 형태는 서로 동일하게, 객체의 형태가 서로 다르게 나타난다. 예를 들어, 상기 제1 영상은 제1 객체 및 제1 플레어 패턴을 포함한다. 그리고, 상기 회전 영상은 제2 객체 및 제1 플레어 패턴을 포함한다. 이때, 상기 제2 객체는 상기 제1 객체 대비 광축 방향을 기준으로 θ각도만큼 회전한 형태를 가진다. 그리고, 상기 제1 영상에 포함된 제1 플레어 패턴과 상기 회전 영상에 포함된 제1 플레어 패턴은 서로 동일한 형태를 가진다. 이때, 상기 회전 영상을 상기 -θ각도만큼 회전하여 상기 제2 영상을 획득한 경우, 상기 제2 영상에서의 상기 제2 객체는 상기와 같이 -θ각도만큼 회전함에 따라 상기 제1 영상의 제1 객체와 동일한 형태를 가질 수 있다. 그리고, 상기 제2 영상에서의 상기 제1 플레어 패턴은 상기와 같이 -θ각도만큼 회전함에 따라, 상기 제1 영상의 제1 플레어 패턴 대비 -θ각도만큼 회전한 형태를 가진다.
결론적으로, 실시 예에서는 상기와 같이 제1 영상 대비 θ각도만큼 회전하여 회전 영상을 획득하고, 상기 회전 영상을 -θ각도만큼 회전하여 제2 영상을 획득한 다. 이때, 상기 제1 영상과 제2 영상에서의 객체의 형태는 서로 동일하며, 상기 제1 영상과 제2 영상에서의 플레어 패턴은 서로 다른 형태를 가진다. 예를 들어, 제2 영상에 포함된 제2 플레어 패턴은 제1 영상에 포함된 제1 플레어 패턴 대비 -θ각도만큼 회전한 형태를 가질 수 있다.
예를 들어, 상기 제1 영상에 포함된 플레어 패턴은 플러스(+) 형태를 가질 수 있다. 그리고, 이에 대응하게, 상기 회전 영상에 포함된 플레어 패턴은 상기 제1 영상과 동일하게 플러스(+) 형태를 가질 수 있다. 이때, 상기 회전 형상을 회전시켜 획득한 제2 영상에 포함된 플레어 패턴은 상기 플러스(+) 형태가 -θ각도만큼 회전한 엑스(X) 형태를 가질 수 있다.
이에 따라, 실시 예에서의 영상 처리부(795)는 상기 제1 영상과, 상기 제2 영상에서, 플레어 패턴을 포함하지 않는 픽셀의 픽셀값을 선택적으로 적용하여, 이에 따른 제3 영상을 생성한다.
예를 들어, 상기 영상 처리부(795)는 상기 제1 영상에서, 상기 제1 플레어 패턴이 위치한 픽셀의 제1 픽셀 값을, 상기 제2 영상의 제2 픽셀 값으로 대체할 수 있다. 예를 들어, 상기 영상 처리부(795)는 상기 제2 영상에서, 상기 제2 플레어 패턴이 위치한 픽셀의 제2 픽셀 값을, 상기 제1 영상의 제1 픽셀 값으로 대체할 수 있다. 이에 대해서는 하기에서 더욱 상세히 설명하기로 한다.
도 3은 도 2에 도시된 영상 보정부의 상세 구성을 나타낸 블록도이고, 도 4는 도 3에 도시된 영상 처리부의 상세 구성을 나타낸 블록도이다.
도 3을 참조하면, 영상 보정부(793)는 윤곽선 추출부(793a), 방향 성분 추출부(793b), 회전 각도 계산부(793c) 및 영상 회전부(793d)를 포함할 수 있다. 상기 영상 보정부(793)는 상기 제1 영상과 상기 회전 영상을 비교하여, 상기 제1 영상과 상기 회전 영상 사이의 각도 차이 값(θ)을 획득한다. 예를 들어, 영상 보정부(793)는 상기 제1 영상 대비 상기 회전 영상의 광축 방향을 중심으로의 회전 각도(θ)를 획득할 수 있다. 그리고, 영상 보정부(793)는 상기 획득한 각도 차이 값(θ) 또는 회전 각도(θ)를 기준으로, 상기 회전 영상을 보정하여 제2 영상을 획득할 수 있다. 예를 들어, 영상 보정부(793)는 상기 각도 차이 값(θ) 또는 상기 회전 각도(θ)를 기준으로, 상기 회전 영상을 보정 각도(-θ)만큼 회전하여 상기 제2 영상을 획득할 수 있다. 이를 위한, 영상 보정부(793)의 윤곽선 추출부(793a), 방향 성분 추출부(793b), 회전 각도 계산부(793c) 및 영상 회전부(793d)의 구체적인 동작에 대해 설명하기로 한다.
윤곽선 추출부(793a)는 상기 제1 영상을 처리하여 상기 제1 영상에 포함된 제1 객체의 제1 윤곽선을 추출할 수 있다. 예를 들어, 상기 제1 영상에는 다수의 객체가 포함될 수 있으며, 상기 윤곽선 추출부(793a)는 상기 제1 영상에 포함된 각각의 객체에 대한 다수의 제1 윤곽선을 추출할 수 있다. 그리고, 상기 윤곽선 추출부(793a)는 상기 추출한 상기 다수의 제1 윤곽선들의 특징을 추출할 수 있다. 상기 제1 윤곽선들의 특징은 각각의 제1 윤곽선들 사이의 각도, 각각의 제1 윤곽선들의 길이 및 형상 등을 포함할 수 있다.
또한, 상기 윤곽선 추출부(793a)는 상기 회전 영상을 처리하여, 상기 회전 영상에 포함된 제2 객체의 제2 윤곽선을 추출할 수 있다. 예를 들어, 상기 회전 영상에는 다수의 객체가 포함될 수 있으며, 상기 윤곽선 추출부(793a)는 상기 회전 영상에 포함된 각각의 객체에 대한 다수의 제2 윤곽선을 추출할 수 있다. 그리고, 상기 윤곽선 추출부(793a)는 상기 추출한 상기 다수의 제2 윤곽선들의 특징을 추출할 수 있다. 상기 제2 윤곽선들의 특징은 각각의 제2 윤곽선들 사이의 각도, 각각의 제2 윤곽선들의 길이 및 이들의 형상 등을 포함할 수 있다.
방향 성분 추출부(793b)는 상기 윤곽선 추출부(793a)를 통해 획득된 제1 윤곽선들의 특징 및 제2 윤곽선들의 특징을 기준으로, 이들을 대표할 수 있는 방향 성분을 추출할 수 있다.
예를 들어, 상기 방향 성분 추출부(793b)는 상기 제1 윤곽선들의 특징을 이용하여, 상기 다수의 제1 윤곽선들 중 이를 대표할 수 있는 제1 대표 윤곽선을 추출할 수 있다. 예를 들어, 상기 방향 성분 추출부(793b)는 상기 다수의 제1 윤곽선들 중 직선의 형태를 가지면서, 이의 길이가 일정 수준 이상을 가지는 특정 제1 윤곽선을 상기 제1 대표 윤곽선으로 추출할 수 있다.
이때, 상기 다수의 제2 윤곽선에는, 상기 제1 대표 윤곽선에 대응하는 윤곽선을 포함한다. 이에 따라, 상기 방향 성분 추출부(793b)는 상기 다수의 제2 윤곽선 중 상기 제1 대표 윤곽선에 대응하는 제2 윤곽선을 제2 대표 윤곽선으로 추출할 수 있다. 예를 들어, 상기 방향 성분 추출부(793b)는 상기 제1 대표 윤곽선으로 추출한 특정 제1 윤곽선의 길이나 형상 등을 기준으로, 상기 제2 윤곽선들 중 상기 특정 제1 윤곽선의 길이나 형상에 대응하는 특정 제2 윤곽선을 추출할 수 있다. 그리고, 상기 방향 성분 추출부(793b)는 상기 추출한 특정 제2 윤곽선을 제2 대표 윤곽선으로 추출할 수 있다.
회전 각도 계산부(793c)는 상기 방향 성분 추출부(793b)를 통해 추출한 제1 대표 윤곽선 및 제2 대표 윤곽선을 비교하여 회전 각도(θ)를 계산할 수 있다.
예를 들어, 상기 회전 각도 계산부(793c)는 상기 제1 대표 윤곽선과 제2 대표 윤곽선 사이의 각도 차이를 계산할 수 있다. 예를 들어, 상기 제2 대표 윤곽선은 상기 제1 대표 윤곽선과 일정 각도 차이를 가진다. 이때, 상기 회전 영상이 상기 제1 영상 대비 광축을 중심으로 θ각도만큼 회전한 경우, 상기 제1 대표 윤곽선과 상기 제2 대표 윤곽선 사이의 각도 차이 값은 상기 θ일 수 있다.
영상 회전부(793d)는 상기 회전 각도 계산부(793c)를 통해 계산된 회전 각도를 기준으로, 상기 회전 영상을 보정하여 제2 영상을 획득한다. 예를 들어, 상기 회전 각도가 θ로 계산된 경우, 상기 영상 회전부(793d)는 상기 회전 영상을 -θ만큼 회전시킨 상기 제2 영상을 획득할 수 있다.
한편, 실시 예에서의 영상 보정부(793)는 제어부(780)로부터 상기 회전 각도를 제공받고, 이를 기준으로 상기 회전 영상을 보정한 제2 영상을 획득하는 영상 회전부(793d)만을 포함할 수 있다. 이를 위해, 제어부(780)는 상기 제1 영상과 상기 회전 영상 사이의 회전 각도, 예를 들어 각도 차이 값을 계산할 수 있다. 구체적으로, 제어부(780)는 상기 제1 영상이 획득된 시점에서의 자이로 센서(미도시)를 통해 획득된 제1 센싱 값과, 상기 회전 영상이 획득된 시점에서의 자이로 센서(미도시)를 통해 획득된 제2 센싱 값을 비교하여, 상기 회전 각도(θ)를 계산할 수 있다. 그리고, 제어부(780)는 상기 회전 각도(θ)가 계산되면, 이를 상기 영상 회전부(793d)에 제공하여, 이를 기준으로 상기 회전 영상을 보정한 제2 영상이 생성되도록 할 수 있다.
한편, 도 4를 참조하면, 영상 처리부(795)는 픽셀 값 연산부(795a), 픽셀 값 비교부(795b) 및 영상 합성부(795c)를 포함할 수 있다.
픽셀 값 연산부(795a)는 상기 획득된 제1 영상과 제2 영상을 처리하여, 픽셀 값을 획득할 수 있다.
예를 들어, 픽셀 값 연산부(795a)는 상기 제1 영상을 분석하여 제1 영상의 픽셀별 제1 픽셀 값을 획득할 수 있다. 일 예로, 상기 픽셀 값 연산부(795a)는 히스토그램 분석라고도 할 수 있다. 예를 들어, 상기 픽셀 값 연산부(795a)는 상기 제1 영상의 픽셀별 히스토그램 특성을 분석할 수 있다. 여기에서, 상기 히스토그램 특성은, 빈도수, 피크 개수, 피크 거리 및 피크 폭을 포함할 수 있다. 즉, 히스토그램은 영상 내에서, 픽셀들의 명암 값의 분포를 나타낸 것이다. 예를 들어, 히스토그램은 영상 내에 밝은 픽셀과 어두운 픽셀이 분포할 때, 그 범위와 값을 표현한 것으로, 이 것을 그래프로 나타낸 것을 히스토그램 그래프라고 할 수 있다. 예를 들어, 히스토그램 그래프는 그레이 레벨의 영상에서, 명암 값의 범위는 0레벨 내지 255 레벨의 값을 가지고, 각 레벨의 빈도수가 그래프 내에서 높이로 나타난다. 히스토그램은 영상의 많은 정보를 가지고 있으며, 이에 따라 다양한 영상 처리에 이용된다.
또한, 상기 픽셀 값 연산부(795a)는 상기 제2 영상을 분석하여, 제2 영상의 픽셀별 제2 픽셀 값을 획득할 수 있다.
이때, 상기 카메라(721)를 통해 촬영하는 피사체의 종류에 따라, 상기 제1 픽셀 값과 상기 제2 픽셀 값은 서로 동일할 수 있고, 이와 다르게 서로 다를 수 있다.
예를 들어, 상기 제1 영상 및 제2 영상에 각각 플레어 패턴이 포함되지 않는 경우, 상기 제1 영상의 픽셀별 제1 픽셀 값과, 상기 제2 영상의 픽셀별 제2 픽셀 값은 서로 동일할 수 있다.
예를 들어, 상기 제1 영상 및 상기 제2 영상에 플레어 패턴이 포함된 경우, 상기 제1 영상에서, 제1 플레어 패턴이 위치한 픽셀의 제1 픽셀 값은, 상기 제2 영상에서 해당 픽셀의 제2 픽셀 값과 다르게 나타날 수 있다. 예를 들어, 상기 제1 영상의 (xa, ya) 픽셀에 제1 플레어 패턴이 포함된 경우, 상기 (xa, ya) 픽셀의 제1 픽셀 값과 제2 픽셀 값은 서로 다르게 나타난다. 예를 들어, 상기 제1 영상의 (xa, ya) 픽셀에 제1 플레어 패턴이 포함된 경우, 제2 영상의 (xa, ya) 픽셀에는 제2 플레어 패턴이 포함되지 않는다. 이에 따라, 상기 (xa, ya) 픽셀의 제1 픽셀 값은 상기 제2 픽셀 값보다 높게 나타날 수 있다.
픽셀 값 비교부(795b)는 상기 픽셀 값 연산부(795a)에서 획득한 제1 픽셀 값과 제2 픽셀 값을 비교하여, 상기 제1 영상 및 제2 영상에 플레어 패턴이 포함되어 있는지 여부를 판단할 수 있다. 예를 들어, 픽셀 값 비교부(795b)는 상기 제1 및 제2 픽셀 값을 비교하여, 상기 제1 영상에서 제1 플레어 패턴이 포함된 픽셀 영역을 검출할 수 있다. 예를 들어, 상기 픽셀 값 비교부(795b)는 상기 제1 및 제2 픽셀 값을 비교하여, 상기 제2 영상에서 제2 플레어 패턴이 포함된 픽셀 영역을 검출할 수 있다.
영상 합성부(795c)는 상기 픽셀 값 비교부(795b)의 비교 결과에 따라, 상기 제1 영상과 제2 영상을 합성한 제3 영상을 생성할 수 있다.
예를 들어, 영상 합성부(795c)는 제1 또는 제2 플레어 패턴이 포함된 픽셀 영역의 제1 픽셀 값 및 제2 픽셀 값 중 낮은 픽셀 값을 적용하여 상기 제3 영상을 생성할 수 있다. 이때, 상기 영상 합성부(795c)는 제1 영상 및 제2 영상 중 어느 하나의 영상을 기준 영상으로 하고, 다른 하나의 영상을 서브 영상으로 한다. 그리고, 상기 영상 합성부(795c)는 상기 기준 영상에서 플레어 패턴이 포함된 픽셀 영역의 픽셀 값을 상기 서브 영상에서 해당 픽셀 영역의 픽셀 값으로 반영할 수 있다. 이에 대해서는 하기의 도면을 참조하여 보다 상세히 설명하기로 한다.
도 5는 실시 예에 따른 디스플레이 장치의 내부 구조의 단면도이고, 도 6 내지 도 8은 도 5의 디스플레이 패널에서, 카메라가 배치되는 영역을 간략화한 평면도이다.
먼저, 도 5를 참조하면, 실시 예의 디스플레이 장치는 디스플레이 패널(100) 및 카메라 모듈을 포함할 수 있다.
상기 카메라 모듈은 상기 디스플레이 패널(100)의 일면에 배치될 수 있다. 예를 들어, 상기 카메라 모듈은 상기 디스플레이 패널(100)의 배면에 배치될 수 있다.
상기 디스플레이 패널(100)은 광이 출사되는 광 출사 영역을 포함한다. 상기 광 출사 영역은 상기 디스플레이 패널(100)을 통해 영상이 디스플레이되는 영역일 수 있다. 그리고, 상기 카메라(200a)는 상기 디스플레이 패널(100)의 상기 광 출사 영역의 반대면에 각각 배치될 수 있다.
예를 들어, 상기 카메라(200a)는 상기 디스플레이 패널(100)에서 실제 유효 영상이 디스플레이되는 유효 영역에 배치될 수 있다. 즉, 일반적인 카메라 모듈은 디스플레이 패널(100)에서, 유효 영상이 출력되는 유효 영역이 아닌, 비유효 영역에 배치되었다.
이와 다르게, 실시 예에서는 UDC 구조를 가지며, 이에 따라 상기 카메라(200a)는 상기 디스플레이 패널(100)의 광 출사 영역의 반대면에서, 실제 유효 영상이 디스플레이되는 유효 영역에 배치될 수 있다. 이에 따라, 상기 카메라(200a)로 입사되는 광은 상기 디스플레이 패널(100)을 투과할 수 있다. 즉, 상기 카메라(200a)는 상기 디스플레이 패널(100)을 투과하는 광을 수신하고, 이를 이용하여 제1 영상 및 회전 영상을 각각 획득할 수 있다.
상기 디스플레이 패널(100)은 유기 발광 다이오드 패널일 수 있다.
이를 위해, 디스플레이 패널(100)은 기판(110), 박막 트랜지스터층(TFT:Thin Film Transistor, 120), 제1 전극층(130), 유기 발광층(140) 및 제2 전극층(150)을 포함할 수 있다.
기판(110)은 상기 디스플레이 패널(100)을 구성하는 베이스 부재일 수 있다. 상기 기판(110)은 박막 트랜지스터층(120), 제1 전극층(130), 유기 발광층(140) 및 제2 전극층(150)을 배치하기 위한 지지층일 수 있다. 기판(110)은 절연 기판이며, 이에 따라 절연층이라고도 할 수 있다.
상기 기판(110)은 유리(glass), 금속(metal) 또는 플렉서블(flexible) 한 물질로 형성될 수 있다. 플렉서블한 재료는 플라스틱일 수 있으며, 내열성 및 내구성이 우수한 물질로 형성될 수 있다. 예를 들어, 기판(110)은 폴리에테르술폰(PES, polyethersulphone), 폴리아크릴레이트(PAR, polyacrylate), 폴리에테르이미드(PEI,polyehterimide), 폴리에틸렌 나프탈레이트(PET, polyethylenenapthalate), 폴리에틸렌 테레프탈레이트(PET,polyehtyleneterepthalate) 등과 같은 물질로 형성될 수 있다. 상기 기판(110)은 광 투과성을 가지는 유리 기판임이 바람직하다.
상기 기판(110)은 복수의 화소 영역(n개, n은 자연수) 및 상기 복수의 화소 영역 사이의 비화소 영역(OR1)을 포함할 수 있다. 상기 화소 영역은 n개일 수 있으며, 이는 디스플레이 패널(100)이 가지는 해상도에 대응할 수 있다. 도 3은 상기 기판(110) 상에 복수의 화소 영역(P) 및 상기 복수의 화소 영역 사이에 배치된 비화소 영역(OR1)을 나타낸 것이다. 예를 들어, 상기 복수의 화소 영역(P)은 비화소 영역(OR1)을 사이에 두고 일정 간격 이격된 구조를 도시한다.
상기 기판(110)의 복수의 화소 영역(P) 상에는 발광층이 배치된다. 상기 발광층은 박막 트랜지스터층(120), 제1 전극층(130), 유기 발광층(140) 및 제2 전극층(150)을 포함할 수 있다. 상기 박막 트랜지스터층(120), 제1 전극층(130) 및 유기 발광층(140)의 적층 구조는 화소를 구성할 수 있다. 예를 들어, 박막 트랜지스터층(120), 제1 전극층(130) 및 유기 발광층(140)은 각각의 화소 영역에 대응하게 배치될 수 있다.
이때, 상기 박막 트랜지스터층(120), 제1 전극층(130) 및 유기 발광층(140)은 상기 기판(110)의 화소 영역(P) 상에 배치될 수 있다. 예를 들어, 박막 트랜지스터층(120), 제1 전극층(130) 및 유기 발광층(140)은 기판(110)의 상면 중 상기 화소 영역(P)과 광축 방향으로 오버랩된 영역 상에 배치될 수 있다. 이때, 상기 박막 트랜지스터층(120), 제1 전극층(130) 및 유기 발광층(140)은 상기 비화소 영역(OR1)과 광축 방향으로 오버랩되지 않을 수 있다. 다시 말해서, 상기 박막 트랜지스터층(120), 제1 전극층(130) 및 유기 발광층(140)은 상기 비화소 영역(OR1) 상에는 배치되지 않을 수 있다. 예를 들어, 상기 기판(110)에서, 상기 비화소 영역(OR1)은 상기 박막 트랜지스터층(120), 제1 전극층(130) 및 유기 발광층(140) 중 적어도 하나가 배치되지 않은 개구 영역일 수 있다.
이하에서는 상기 기판(110) 상의 복수의 화소 영역(P) 중 하나의 특정 화소 영역에 대한 층 구조에 대해 설명하기로 한다.
상기 박막 트랜지스터층(120)은 기판(110)의 화소 영역(P) 상에 배치될 수 있다. 상기 박막 트랜지스터층(120)은 스캔 스위치라 할 수 있다. 상기 박막 트랜지스터층(120)은 선택적으로 온 또는 오프되며, 이에 따라 화소를 선택하는 기능을 할 수 있다.
상기 박막 트랜지스터층(120) 상에는 제1 전극층(130)이 배치될 수 있다. 상기 제1 전극층(130)은 애노드 전극층일 수 있다. 상기 박막 트랜지스터층(120)은 투명 전극 및 반사형 전극으로 구비될 수 있는데, 투명전극으로 사용될 경우에는 ITO, IZO, ZnO, 또는 In2O3 로 구비될 수 있고, 반사형 전극으로 사용될 때에는 Ag, Mg, Al, Pt, Pd, Au, Ni, Nd, Ir, Cr, 및 이들의 화합물 등으로 반사막을 형성한 후, 그 위에 ITO, IZO, ZnO, 또는 In2O3 를 형성할 수 있다.
상기 유기 발광층(140)은 정공주입층(Hole Injection layer, HIL), 정공수송층(Hole transport layer, HTL), 발광층(Emission layer, EML), 전자수송층(Electron transport layer, ETL) 및 전자주입층(Electron Injectionlayer, EIL)을 포함할 수 있다.
상기 유기 발광층(140)의 동작 원리를 간단히 살펴보면, 상기 제1 전극층(130)가 제2 전극층(150)에 구동 전압이 인가되면, 정공수송층(HTL)을 통과한 정공과 전자수송층(ETL)을 통과한 전자가 발광층(EML)으로 이동되어 여기자를 형성하고, 그 결과 발광층(EML)이 가시광을 발생하게 된다. 또한 유기발광다이오드는 표시하고자 하는 색에 따라서 상기 발광층(EML)의 도펀트(Dopant)의 종류 및 농도를 달리하여 적색(Red), 녹색(Green) 또는 청색(Blue) 그리고 이들을 적층시켜 화이트(White) 유기발광다이오드가 될 수 있다.
다시 말해서, 상기 유기 발광층(140)은 유기 발광층(720)은 발광층, 정공 주입층, 정공 수송층, 전자 수송층 및 전자 주입층 중 하나 이상을 포함하는 다중막으로 형성된다. 예를 들어, 유기 발광층(140)은 제1 전극층(130) 상에 배치되는 정공 주입층과, 상기 정공 주입층 상에 배치되는 발광층과, 상기 발광층 상에 배치되는 전자 수송층과, 상기 전자 수송층 상에 배치되는 전자 주입층을 포함할 수 있다. 또한, 상기 유기 발광층(140)은 상기 기재한 층 이외에도, 필요에 따라 추가적인 층을 포함할 수 있다. 그리고, 상기 유기 발광층(140)은 제1 서브 유기 발광층(141), 제2 서브 유기 발광층(142) 및 제3 서브 유기 발광층(143)을 포함할 수 있다.
상기 제1 서브 유기 발광층(141)은 적색(red)의 빛을 발광할 수 있다. 예를 들어, 상기 제1 서브 유기 발광층(141)은 적색의 유기 물질을 포함할 수 있다.
상기 제2 서브 유기 발광층(142)은 녹색(green)의 빛을 발광할 수 있다. 예를 들어, 상기 제2 서브 유기 발광층(142)은 녹색의 유기 물질을 포함할 수 있다.
상기 제3 서브 유기 발광층(143)은 청색(red)의 빛을 발광할 수 있다. 예를 들어, 상기 제3 서브 유기 발광층(143)은 청색의 유기 물질을 포함할 수 있다.
다만, 실시 예는 이에 한정되지 않으며, 상기 유기 발광층(140)은 상기 설명한 색상 이외의 다른 색상의 빛을 발광하는 서브 유기 발광층을 포함할 수 있을 것이다.
상기 유기 발광층(140) 상에는 제2 전극층(150)이 배치된다. 상기 제2 전극층(150)은 캐소드 전극층일 수 있다.
상기 제2 전극층(150)은 광 투과성의 도전 물질을 포함할 수 있다. 실시 예에서의 제2 전극층(150)은 상기 기판(110)의 화소 영역(P) 및 상기 비화소 영역(OR1) 상에 배치될 수 있다. 예를 들어, 실시 예에서의 제2 전극층(150)은 상기 기판(110)의 비화소 영역(OR1)과 광축 방향으로 오버랩되어 배치될 수 있다. 다만, 상기 제2 전극층(150)은 광 투과성의 도전 물질을 포함하며, 이에 따라 상기 제2 전극층(150)으로 제공되는 광은 상기 제2 전극층(150)을 투과하여 상기 비화소 영역(OR1) 내로 입사될 수 있다.
다만, 실시 예는 이에 한정되지 않는다. 예를 들어, 상기 제2 전극층(150)은 상기 제1 전극층(130)에 대응하게, 상기 비화소 영역(OR1)을 오픈하며 형성될 수 있다.
이하에서는, 상기 제2 전극층(150)이 상기 비화소 영역(OR1)을 덮으며 배치되는 것으로 하여 설명하기로 한다.
상기 제2 전극층(150)은 인듐 주석 산화물(Indium Tin Oxide, ITO), 인듐 아연 산화물(Indium ZincOxide, IZO), 인듐 주석 아연 산화물(Indium Tin Zinc Oxide, ITZO)로 구성될 수 있다.
상기와 같이, 디스플레이 패널(100)의 기판(110)은 화소 영역(P)과 비화소 영역(OR1)을 포함한다. 상기 화소 영역(P)은 유기 발광층(140), 박막 트랜지스터층(120) 및 제1 전극층(130)이 배치된 영역이다. 구체적으로, 상기 화소 영역(P)은 상기 유기 발광층(140)이 배치된 영역일 수 있다. 또한, 상기 비화소 영역(OR1)은 상기 복수의 화소 영역(P) 사이의 영역일 수 있다. 상기 비화소 영역(OR1)에는 상기 유기 발광층(140)이 배치되지 않을 수 있다. 예를 들어, 상기 비화소 영역(OR1)은 상기 유기 발광층(140)이 배치되지 않는 영역일 수 있다. 예를 들어, 일 실시 예에서는 상기 비화소 영역(OR1)에 상기 유기 발광층(140), 박막 트랜지스터층(120) 및 제1 전극층(130)이 배치되지 않고, 단지 상기 제2 전극층(150)만이 배치되는 구조를 가질 수 있다. 이때, 상기 비화소 영역(OR1)은 실시 예의 카메라(200a)와 광축 방향으로 오버랩된 제1 영역(R1, 도 6 내지 8 참조)에 배치된 비화소 영역과, 이 이외의 제2 영역에 배치된 비화소 영역을 포함할 수 있다. 이는, 실시 예에서의 카메라(200a)는 디스플레이 패널(100)을 구성하는 다수의 비화소 영역 중 일부의 비화소 영역과 광축 방향으로 오버랩될 수 있다.
즉, 도 6을 참조하면, 기판(110) 상에는 복수의 화소 영역이 포함된다. 여기에서, 도 6은 기판(110) 상의 영역 중 카메라(200a)와 광축 방향으로 오버랩되는 제1 영역(R1)을 포함한다.
예를 들어, 디스플레이 패널(100)은 수평 방향으로 이격되는 복수의 화소 영역을 포함할 수 있다. 또한, 디스플레이 패널(100)은 상기 수평 방향으로 배치된 복수의 화소 영역과 수직 방향으로 이격되는 복수의 화소 영역을 포함할 수 있다. 이때, 상기 각각의 화소 영역 사이에는 전극 영역이 형성될 수 있다. 상기 전극 영역은 상기에서 설명한 박막 트랜지스터층(120), 제1 전극층(130) 및 유기 발광층(140)이 배치되는 영역일 수 있다.
또한, 디스플레이 패널(100)은 상기 복수의 화소 영역으로 둘러싸이면서 형성된 비화소 영역(OR1)을 포함할 수 있다.
예를 들어, 디스플레이 패널(100)은 카메라(200a)와 광축 방향으로 오버랩되는 제1 영역(R1)을 포함하고, 상기 제1 영역(R1)은 복수의 제1 화소 영역(P)과, 복수의 제1 화소 영역(P) 사이의 복수의 제1 비화소 영역(OR1)을 포함할 수 있다. . 이때, 1개의 상기 제1 비화소 영역(OR1)의 사이즈는 100㎛일 수 있다. 그리고, 카메라(200a)의 사이즈(예를 들어, 렌즈의 구경의 사이즈)는 3mm 내지 4mm일 수 있다. 이에 따라, 상기 카메라(200a)와 광축 방향으로 오버랩되는 제1 영역(R1)에는 상기 제1 비화소 영역(OR1)이 다수 개 위치할 수 있다.
예를 들어, 상기 제1 비화소 영역(OR1)은 제1 형상을 가질 수 있다. 예를 들어, 상기 제1 형상은 마름모 형상일 수 있다. 예를 들어, 상기 제1 형상은 다이아몬드 형상일 수 있다.
이와 다르게, 도 7을 참조하면, 상기 제1 비화소 영역(OR1)은 사각 형상을 가질 수 있다.
이와 다르게, 도 8을 참조하면, 상기 제1 비화소 영역(OR1)은 원형을 가질 수 있다.
다만, 실시 예에서, 상기 제1 비화소 영역(OR1)의 형상은 이에 한정되지 않으며, 상기 제1 비화소 영역(OR1)은 타원형, 삼각형, 다각형 등의 형상을 가질 수도 있을 것이다.
한편, 상기 디스플레이 패널(100) 아래에는 카메라(200a)가 배치된다.
구체적으로, 상기 디스플레이 패널(100)은 상부 발광형 패널일 수 있다. 즉, 상기 디스플레이 패널(100)은 기판(110)에서 상기 제2 전극층(150)이 배치된 방향으로 광이 출사될 수 있다.
이에 따라, 상기 카메라(200a)는 상기 디스플레이 패널(100)에서, 상기 광이 출사되는 광 출사 영역의 반대 영역에 배치될 수 있다. 즉, 상기 카메라(200a)는 상기 기판(110)의 하면에 배치될 수 있다. 상기 카메라(200a)의 설명에 앞서, 실시 예에서는 조리개 어레이(300) 및 지지층(400)을 포함할 수 있다.
조리개 어레이(300)는 상기 기판(110)의 하면에 배치될 수 있다. 예를 들어, 상기 조리개 어레이(300)는 상기 기판(110)의 표면 중 상기 발광층이 배치된 면의 반대면에 배치될 수 있다.
상기 조리개 어레이(300)는 복수의 개구부(OR2)를 포함할 수 있다. 예를 들어, 상기 조리개 어레이(300)는 상기 기판(110)의 비화소 영역(OR1)에 대응하는 개구부(OR2)를 포함할 수 있다. 예를 들어, 상기 조리개 어레이(300)의 상기 개구부(OR2)는 상기 기판(110)의 비화소 영역(OR1)과 광축 방향으로 오버랩될 수 있다. 예를 들어, 상기 기판(110)의 비화소 영역(OR1)의 중심은 상기 조리개 어레이(300)의 개구부(OR2)의 중심과 광축 방향에서 정렬될 수 있다. 상기 조리개 어레이(300)는 비화소 영역(OR1)이 가지는 제1 형상에 대응하는 형상을 가진 개구부(OR2)를 포함한다.
상기 조리개 어레이(300)의 개구부(OR2)는 일정 폭을 가질 수 있다. 예를 들어, 상기 조리개 어레이(300)의 개구부(OR2)는 상기 비화소 영역(OR1)에 대응하는 폭을 가질 수 있다. 이때, 실시 예에서의 상기 조리개 어레이(300)의 개구부(OR2)는 상기 비화소 영역(OR1)의 폭보다 좁은 폭을 가지며 형성될 수 있다. 예를 들어, 조리개 어레이(300)는 상기 비화소 영역(OR1)의 일부 영역만을 노출하는 개구부(OR2)를 포함할 수 있다. 즉, 상기 조리개 어레이(300)는 상기 비화소 영역(OR1)의 적어도 일부를 가리며 형성될 수 있다.
지지층(400)은 상기 조리개 어레이(300)의 하면에 배치될 수 있다. 상기 지지층(400)은 상기 디스플레이 패널(100)에 상기 카메라(200a)를 지지하기 위한 지지층(400)일 수 있다.
상기 카메라(200a)는 상기 지지층(400)에 지지되어, 상기 디스플레이 패널(100)에 결합될 수 있다.
한편, 상기 카메라(200a)는 AF(Auto Focus)용 카메라 모듈, 또는 OIS(Optical Image Stabilizer)용 카메라 모듈 중 어느 하나일 수 있다. AF용 카메라 모듈은 오토 포커스 기능만을 수행할 수 있는 것을 말하며, OIS용 카메라 모듈은 오토 포커스 기능 및 OIS(Optical Image Stabilizer) 기능을 수행할 수 있는 것을 말한다.
예를 들어, AF(Auto Focus)용 카메라 모듈에 포함되는 제1 렌즈 구동 장치는 제1 렌즈를 장착하기 위한 보빈, 보빈을 내측에 수용하기 위한 하우징, 보빈에 배치되는 코일, 하우징에 배치되는 마그네트(magnet), 보빈과 하우징에 결합되는 적어도 하나의 탄성 부재, 및 보빈 아래에 배치되는 베이스(base)를 포함할 수 있으며, 코일에는 구동 신호(예를 들어, 구동 전류)가 제공될 수 있고, 코일과 마그네트 간의 상호 작용에 의한 전자기력에 의하여 보빈이 광축 방향으로 이동될 수 있다. 다른 실시 예에서는 코일은 하우징에 배치될 수 있고, 마그네트는 보빈에 배치될 수도 있다.
또한 AF 피드백 구동을 위하여, AF(Auto Focus)용 카메라 모듈에 포함되는 제1 렌즈 구동 장치는 보빈에 배치되는 센싱 마그네트(sensing magnet), 하우징에 배치되는 AF 위치 센서(예를 들어, 홀 센서(hall sensor), 및 하우징 또는/및 베이스에 배치되고 위치 센서가 배치 또는 장착되는 회로 기판을 더 포함할 수도 있다. 다른 실시 예에서는 위치 센서가 보빈에 배치되고, 센싱 마그네트가 하우징에 배치될 수도 있다.
이때 AF 위치 센서는 보빈의 이동에 따른 센싱 마그네트의 자기장의 세기를 감지한 결과에 따른 출력 신호를 출력할 수 있다. 회로 기판은 코일과 AF 위치 센서에 전기적으로 연결될 수 있고, 회로 기판을 통하여 코일 및 AF 위치 센서 각각에 구동 신호가 제공될 수 있고, AF 위치 센서의 출력이 회로 기판으로 전송될 수 있다.
또한 제1 렌즈 구동 장치는 베이스와 함께 상술한 구성들을 수용하기 위한 커버 부재를 더 포함할 수 있다.
또한 예를 들어, OIS(Optical Image Stabilizer)용 카메라 모듈에 포함되는 제2 렌즈 구동 장치는 제2 렌즈를 장착하기 위한 보빈, 보빈을 내측에 수용하기 위한 하우징, 보빈에 배치되는 제1 코일, 하우징에 배치되는 마그네트(magnet), 보빈의 상부와 하우징의 상부에 결합되는 상부 탄성 부재, 보빈의 하부와 하우징의 하부에 결합되는 하부 탄성 부재, 보빈 아래에 배치되는 제2 코일, 제2 코일 아래에 배치되는 회로 기판, 회로 기판 아래에 배치되는 베이스(base), 및 회로 기판과 상부 탄성 부재를 전기적으로 연결하고 하우징을 베이스에 대하여 지지하는 지지 부재를 포함할 수 있다. 제1 코일과 제2 코일 각각은 회로 기판과 전기적으로 연결될 수 있다.
예를 들어, 상부 탄성 부재는 복수의 상부 스프링들을 포함할 수 있고, 상부 스프링들 및 지지 부재를 통하여 제1 코일은 회로 기판과 전기적으로 연결될 수 있다. 회로 기판은 복수의 단자들을 포함할 수 있고, 복수의 단자들 중 일부는 제1 코일 및 제2 코일 각각에 전기적으로 연결될 수 있다.
제1 코일과 마그네트 간의 상호 작용에 의한 전자기력에 의하여 보빈은 광축 방향으로 이동될 수 있고, 이로 인하여 보빈의 광축 방향으로의 변위가 제어됨으로서, AF 구동이 구현될 수 있다.
또한 제2 코일과 마그네트 간의 상호 작용에 의한 전자기력에 의하여 하우징이 광축과 수직한 방향으로 이동될 수 있고, 이로 인하여 손떨림 보정 또는 OIS 구동이 구현될 수 있다.
제1 렌즈 구동 장치에서 설명한 바와 같이, 제2 렌즈 구동 장치는 AF 피드백 구동을 위하여 센싱 마그네트와 AF 위치 센서를 더 포함할 수 있다.
또한 OIS 피드백 구동을 위하여 제2 렌즈 구동 장치는 회로 기판과 전기적으로 연결되고, 베이스에 배치 또는 안착되는 제1 OIS 위치 센서 및 제2 OIS 위치 센서를 더 포함할 수 있다. 또한 제2 렌즈 구동 장치는 베이스와 함께 상술한 구성들을 수용하기 위한 커버 부재를 더 포함할 수 있다.
상기 카메라(200a)는 렌즈(210a), 렌즈(101-1)를 이동시키기 위한 위한 렌즈 구동 장치(미도시), 이미지 센서(220a), 홀더(230a), 필터(240a) 및 회로 기판(250a)을 포함할 수 있다.
렌즈(210a)는 적어도 하나의 렌즈, 또는 적어도 하나의 렌즈가 장착된 렌즈 배럴을 포함할 수 있다.
렌즈 구동 장치(미도시)는 상술한 AF(Auto Focus)를 위한 드라이버 또는 OIS(Optical Image Stabilizer)를 위한 드라이버일 수 있다.
홀더(230a)는 렌즈 구동 장치 아래에 배치될 수 있고, 필터(240a)는 홀더(230a)에 안착 또는 장착될 수 있다.
홀더 접착부(미도시)에 의하여 홀더(230a)의 상면은 렌즈 구동 장치의 하면과 결합 또는 부착될 수 있다. 예를 들어, 홀더(230a)의 상면과 렌즈 구동 장치의 베이스의 하면 사이에는 접착 부재 또는 쉴드(shield) 부재가 배치될 수 있다.
예를 들어, 홀더 접착부(미도시)는 열경화성 접착제, 자외선 경화성 접착제, 또는 자외선과 열에 의하여 완전 경화되는 듀얼 경화성 접착제 등일 수 있다. 예를 들어, 접착 부재는 자외선 경화성 또는/및 열 경화성 에폭시일 수 있다.
이미지 센서(220a)는 렌즈 구동 장치를 통하여 입사되는 광에 포함되는 이미지를 수신하고, 수신된 이미지를 전기적 신호로 변환할 수 있다.
이미지 센서(220a)는 홀더(230a) 또는 필터(240a) 아래에 배치될 수 있고, 광축 방향으로 렌즈(210a)와 오버랩될 수 있다.
홀더(230a)는 필터(240a)를 통과한 광이 이미지 센서(220a)에 입사될 수 있도록 이미지 센서(220a)에 대응하는 개구를 구비할 수 있다.
홀더(230a)는 필터(2400a)를 장착 또는 안착하기 위한 안착홈(또는 돌출부)을 구비할 수 있다. 예를 들어, 안착홈(또는 돌출부)은 홀더(230a)의 개구 주위에 배치될 수 있다. 필터(240a)는 광축 방향으로 이미지 센서(220a)와 대향되도록 홀더(230a)의 안착홈 내에 배치될 수 있다.
필터(240a)는 렌즈(210a)를 통과한 광에서 특정 주파수 대역의 광이 이미지 센서(220a)로 입사하는 것을 차단하는 역할을 할 수 있다. 예를 들어, 필터(240a)는 적외선 차단 필터일 수 있으나, 이에 한정되는 것은 아니다. 이때, 필터(240a)는 광축 방향과 수직한 평면(예를 들어, x-y평면)과 평행하도록 배치될 수 있다.
이하에서는, 실시 예의 카메라(200a)를 통해 획득되는 제1 영상 및 회전 영상과, 영상 보정부(793)를 통해 획득되는 제2 영상과, 영상 처리부(795)를 통해 획득되는 제3 영상에 대해 설명하기로 한다. 이하에서는 도 3에 도시된 영상 보정부(793)의 윤곽선 추출부(793a), 방향 성분 추출부(793b), 회전 각도 계산부(793c) 및 영상 회전부(793d)의 동작과, 도 4에 도시된 영상 처리부(795)의 픽셀 값 연산부(795a), 픽셀 값 비교부(795b)의 동작과 연계하여, 상기 제1 영상, 회전 영상, 제2 영상 및 제3 영상의 특징에 대해 설명하기로 한다.
도 9는 실시 예의 제1 영상 및 회전 영상이 획득되는 기준을 설명하기 위한 도면이고, 도 10은 실시 예의 카메라에서 획득되는 제1 영상을 설명하기 도면이고, 도 11은 실시 예의 카메라에서 획득되는 회전 영상을 설명하기 위한 도면이며, 도 12a는 도 11의 회전 영상을 회전 보정한 회전 보정 영상을 나타낸 도면이며, 도 12b는 실시 예의 영상 보정부에서 최종 획득되는 제2 영상을 설명하기 위한 도면이며, 도 13은 실시 예의 제1 영상의 제1 플레어 패턴과 제2 영상의 제2 플레어 패턴을 모두 포함하는 플레어 영상을 나타낸 도면이고, 도 14는 실시 예의 제3 영상을 설명하기 위한 도면이고, 도 15는 도 14의 제3 영상에서 플레어 영역을 확대한 도면이며, 도 16은 실제로 촬영 또는 획득된 제1 영상, 복수의 회전 영상 및 제3 영상을 나타낸 도면이다.
이하에서는 도 9 내지 도 16을 참조하여 실시 예에 대해 구체적으로 설명하기로 한다. 실시 예의 상기 제1 영상 및 회전 영상에는 각각 플레어 패턴이 포함되지 않을 수 있다. 다만, 이하에서는 제1 영상 및 회전 영상에 제1 플레어 패턴이 포함되고, 제2 영상에 상기 제1 플레어 패턴이 θ각도만큼 회전한 제2 플레어 패턴이 포함되는 것으로 하여 설명하기로 한다.
우선, 카메라(200a)는 제1 영상(A1)을 획득한다. 이때, 상기 획득된 제1 영상(A1)은 23*17 픽셀을 가질 수 있다. 다만, 실시 예는 이에 한정되지 않으며, 상기 카메라(200a)를 구성하는 이미지 센서의 해상도에 따라, 상기 카메라(200a)를 통해 획득되는 제1 영상의 해상도(예를 들어, 픽셀 수)는 증가하거나 감소할 수 있을 것이다.
상기 제1 영상(A1)은 기준 영상이라고 할 수 있다. 상기 제1 영상(A1)은 상기 카메라(200a)의 기준 롤(roll) 회전 각도에서 촬영된 영상일 수 있다.
상기 제1 영상(A1)에는 제1 객체(S1) 및 제2 객체(S2)를 포함할 수 있다. 예를 들어, 제1 객체(S1)는 집일 수 있고, 제2 객체(S2)는 태양일 수 있다. 이때, 상기 제2 객체(S2)의 특성 상, 상기 제2 객체(S2)의 주위로는 플레어가 형성될 수 있다. 이때, 실시 예에서의 상기 제1 영상(A1)의 상기 제2 객체(S2)의 주위에는 특정 형태의 제1 플레어 패턴이 나타날 수 있다. 예를 들어, 상기 제1 영상(A1)의 제2 객체(S2)의 주위에는 엑스(X) 형태의 제1 플레어 패턴이 나타날 수 있다.
이후, 실시 예에서는 상기 카메라(200a)를 θ각도만큼 롤 회전 방향으로 회전시킨 상태에서, 상기 카메라(200a)를 통해 회전 영상(Ra)을 획득할 수 있다.
상기 θ는 0도보다 크고, 90도보다 작을 수 있다. 바람직하게, 상기 θ는 5도 내지 80도 사이의 범위를 가질 수 있다. 더욱 바람직하게, 상기 θ는 8도 내지 70도 사이의 범위를 가질 수 있다. 더욱 바람직하게, 상기 θ는 15도 내지 45도 사이의 범위를 가질 수 있다. 상기 θ가 상기 기재한 범위를 벗어나는 경우, 상기 회전 영상(Ra)을 보정하여 획득한 제2 영상에 포함된 제2 플레어 패턴의 형태는, 상기 제1 영상에 포함된 제1 플레어 패턴의 형태와 동일할 수 있으며, 이에 따라 상기 제3 영상에도 플레어 패턴이 포함될 수 있다.
이때, 상기 회전 영상(Ra)에는 제1 객체(S1) 및 제2 객체(S2)를 포함한다. 이때, 상기 회전 영상(Ra)에 포함된 제1 객체(S1)는 상기 제1 영상(A1)에 포함된 제1 객체(S1) 대비 상기 롤 방향 또는 광축 방향으로 상기 θ각도만큼 회전한 상태일 수 있다. 또한, 상기 회전 영상(Ra)에 포함된 제2 객체(S2)는 상기 제1 영상(A1)에 포함된 제2 객체(S2) 대비 상기 롤 방향 또는 광축 방향으로 상기 θ각도만큼 회전한 상태일 수 있다. 다만, 상기 회전 영상(Ra)에 포함된 플레어 패턴은 상기 제1 영상(A1)에 포함된 제1 플레어 패턴과 동일한 형태를 가질 수 있다. 즉, 상기 카메라(200a)가 롤 방향 또는 광축 방향으로 회전하는 경우, 상기 카메라(200a)를 통해 촬영되는 피사체만이 회전하며, 이에 의한 촬영 영상에 나타나는 플레어 패턴은 회전하지 않기 때문이다. 예를 들어, 도 11의 (a)에서와 같이, 제1 영상(A1)은 제1 객체(S1)와 제2 객체(S2)를 포함하고, 상기 제2 객체(S2) 주위로 엑스(X) 형태의 제1 플레어 패턴이 나타날 수 있다. 또한, 도 11의 (b)에서와 같이, 회전 영상(R1)은 제1 영상(A1)의 제1 객체(S1)와 제2 객체(S2) 대비 θ각도만큼 회전한 1 객체(S1)와 제2 객체(S2)를 포함할 수 있다. 이때, 상기 회전 영상(Ra)에서의 상기 제2 객체(S2) 주위에는, 상기 제1 영상(A1)에서의 제1 플레어 패턴과 동일한 엑스(X) 형태의 제2 플레어 패턴이 나타날 수 있다.
이후, 실시 예에서는 상기 회전 영상을 기준으로 제2 영상(A2)을 획득한다. 이를 위해, 영상 보정부(793)는 상기 제2 영상(A2)을 획득하기 위한 보정 정보를 획득할 수 있다. 상기 보정 정보는 상기 제1 영상(A1) 대비 상기 회전 영상(Ra)이 광축을 중심으로 얼마만큼 회전하였는지에 대한 회전 각도를 포함할 수 있다. 이를 위해, 실시 예의 영상 보정부(793)의 윤곽선 추출부(793a)는 상기 제1 영상(A1)을 처리하여 상기 제1 영상(A1)에 포함된 제1 객체(S1)의 제1 윤곽선을 추출할 수 있다. 예를 들어, 상기 제1 영상(A1)에는 다수의 객체가 포함될 수 있으며, 상기 윤곽선 추출부(793a)는 상기 제1 영상(A1)에 포함된 각각의 객체에 대한 다수의 제1 윤곽선을 추출할 수 있다. 그리고, 상기 윤곽선 추출부(793a)는 상기 추출한 상기 다수의 제1 윤곽선들의 특징을 추출할 수 있다. 상기 제1 윤곽선들의 특징은 각각의 제1 윤곽선들 사이의 각도, 각각의 제1 윤곽선들의 길이 및 형상 등을 포함할 수 있다. 또한, 상기 윤곽선 추출부(793a)는 상기 회전 영상(Ra)을 처리하여, 상기 회전 영상(Ra)에 포함된 객체의 제2 윤곽선을 추출할 수 있다. 예를 들어, 상기 회전 영상(Ra)에는 다수의 객체가 포함될 수 있으며, 상기 윤곽선 추출부(793a)는 상기 회전 영상(Ra)에 포함된 각각의 객체에 대한 다수의 제2 윤곽선을 추출할 수 있다. 그리고, 상기 윤곽선 추출부(793a)는 상기 추출한 상기 다수의 제2 윤곽선들의 특징을 추출할 수 있다. 상기 제2 윤곽선들의 특징은 각각의 제2 윤곽선들 사이의 각도, 각각의 제2 윤곽선들의 길이 및 이들의 형상 등을 포함할 수 있다.
이후, 상기 영상 보정부(793)의 방향 성분 추출부(793b)는 상기 윤곽선 추출부(793a)를 통해 획득된 제1 윤곽선들의 특징 및 제2 윤곽선들의 특징을 기준으로, 이들을 대표할 수 있는 방향 성분을 추출할 수 있다. 예를 들어, 상기 방향 성분 추출부(793b)는 상기 제1 윤곽선들의 특징을 이용하여, 상기 다수의 제1 윤곽선들 중 이를 대표할 수 있는 제1 대표 윤곽선을 추출할 수 있다. 예를 들어, 상기 방향 성분 추출부(793b)는 상기 다수의 제1 윤곽선들 중 직선의 형태를 가지면서, 이의 길이가 일정 수준 이상을 가지는 특정 제1 윤곽선을 상기 제1 대표 윤곽선으로 추출할 수 있다. 이때, 상기 다수의 제2 윤곽선에는, 상기 제1 대표 윤곽선에 대응하는 윤곽선을 포함한다. 이에 따라, 상기 방향 성분 추출부(793b)는 상기 다수의 제2 윤곽선 중 상기 제1 대표 윤곽선에 대응하는 제2 윤곽선을 제2 대표 윤곽선으로 추출할 수 있다. 예를 들어, 상기 방향 성분 추출부(793b)는 상기 제1 대표 윤곽선으로 추출한 특정 제1 윤곽선의 길이나 형상 등을 기준으로, 상기 제2 윤곽선들 중 상기 특정 제1 윤곽선의 길이나 형상에 대응하는 특정 제2 윤곽선을 추출할 수 있다. 그리고, 상기 방향 성분 추출부(793b)는 상기 추출한 특정 제2 윤곽선을 제2 대표 윤곽선으로 추출할 수 있다.
이후, 상기 영상 보정부(793)의 회전 각도 계산부(793c)는 상기 방향 성분 추출부(793b)를 통해 추출한 제1 대표 윤곽선 및 제2 대표 윤곽선을 비교하여 회전 각도(θ)를 계산할 수 있다. 예를 들어, 상기 회전 각도 계산부(793c)는 상기 제1 대표 윤곽선과 제2 대표 윤곽선 사이의 각도 차이를 계산할 수 있다. 예를 들어, 상기 제2 대표 윤곽선은 상기 제1 대표 윤곽선과 일정 각도 차이를 가진다. 이때, 상기 회전 영상(Ra)이 상기 제1 영상(A1) 대비 광축을 중심으로 θ각도만큼 회전한 경우, 상기 제1 대표 윤곽선과 상기 제2 대표 윤곽선 사이의 각도 차이 값은 상기 θ일 수 있다.
이후, 상기 영상 회전부(793d)는 상기 회전 각도 계산부(793c)를 통해 계산된 회전 각도를 기준으로, 상기 회전 영상(Ra)을 보정하여 제2 영상(A2)을 획득한다. 예를 들어, 상기 회전 각도가 θ로 계산된 경우, 상기 영상 회전부(793d)는 상기 회전 영상(Ra)을 -θ만큼 회전시킨 상기 제2 영상(A2)을 획득할 수 있다.
이때, 상기 제2 영상(A2)을 획득하기 위해서는, 도 12a에서와 같이, 상기 회전 영상(Ra)을 상기 -θ만큼 회전한 회전 보정 영상(Rb)을 획득한 후에, 도 12b에서와 같이, 상기 회전 보정 영상(Rb)과 상기 제1 영상(A1)을 픽셀별로 매칭시키는 과정을 수행할 수 있다.
예를 들어, 도 12a에서와 같이, 상기 회전 보정 영상(Rb)은 상기 획득된 회전 영상(Ra)을 상기 θ에 대응하는 각도만큼 역방향으로 회전시켜 획득할 수 있다. 이때, 상기 회전 보정 영상(Rb) 내에서의 픽셀별 정보와 제1 영상(A1)에서는 픽셀별 정보가 서로 매칭이 되지 않을 수 있다. 이에 따라, 실시 예에서는 도 12b에서와 같이 상기 회전 보정 영상(Rb) 내의 픽셀별 정보와, 상기 제1 영상(A1)에서의 픽셀별 정보를 매칭시켜, 최종적인 제2 영상(A2)을 획득할 수 있다.
한편, 실시 예에서의 영상 보정부(793)는 제어부(780)로부터 상기 회전 각도를 제공받고, 이를 기준으로 상기 회전 영상(Ra)을 보정한 제2 영상을 획득하는 영상 회전부(793d)만을 포함할 수 있다. 이를 위해, 제어부(780)는 상기 제1 영상(A1)과 상기 회전 영상(Ra) 사이의 회전 각도, 예를 들어 각도 차이 값을 계산할 수 있다. 구체적으로, 제어부(780)는 상기 제1 영상(A1)이 획득된 시점에서의 자이로 센서(미도시)를 통해 획득된 제1 센싱 값과, 상기 회전 영상(Ra)이 획득된 시점에서의 자이로 센서(미도시)를 통해 획득된 제2 센싱 값을 비교하여, 상기 회전 각도(θ)를 계산할 수 있다. 그리고, 제어부(780)는 상기 회전 각도(θ)가 계산되면, 이를 상기 영상 회전부(793d)에 제공하여, 이를 기준으로 상기 회전 영상(Ra)을 보정한 제2 영상(A2)이 생성되도록 할 수 있다.
이에 따라, 상기 영상 회전부(793d)를 통해 획득된 제2 영상(A2)은 상기 제1 영상(A1) 대비 제1 객체(S1) 및 제2 객체(S2)의 형태는 동일하고, 이에 따라 플레어 패턴만이 상기 -θ각도만큼 회전된 상태를 가질 수 있다.
이때, 상기 제2 영상(A2)은 상기 제1 영상(A1)과 동일하게, 23*17 픽셀을 가질 수 있다. 다만, 실시 예는 이에 한정되지 않으며, 상기 제2 영상(A2)은 상기 제1 영상(A1)과 다른 해상도를 가질 수 있다. 이와 같은 경우, 실시 예에서는 상기 제1 영상(A1)에 포함된 픽셀들과 상기 제2 영상(A2)에 포함된 픽셀들 사이의 상호 대응 픽셀의 매칭 과정을 거칠 수 있다. 이는, 상기 제1 영상(A1) 및 제2 영상(A2)에 포함된 객체들의 상태는 동일하며, 이에 따라 상기 객체들이 포함된 픽셀들의 픽셀 값을 이용하여 매칭 과정을 진행할 수 있다.
상기와 같이, 제2 영상(A2)에는 상기 제1 영상(A1)과 동일하게, 제1 객체(S1) 및 제2 객체(S2)를 포함할 수 있다. 예를 들어, 제1 객체(S1)는 집일 수 있고, 제2 객체(S2)는 태양일 수 있다. 이때, 상기 제2 영상(A2)에 포함된 제2 객체(S2)의 주위에는 제2 플레어 패턴이 형성될 수 있다. 상기 제1 플레어 패턴은 상기 제2 플레어 패턴과 다른 형태를 가질 수 있다. 예를 들어, 상기 제1 플레어 패턴은 엑스(X) 형태를 가질 수 있다. 그리고, 상기 제2 플레어 패턴은 상기 제1 플레어 패턴이 -θ만큼 회전한 상태이며, 이에 따라 플러스(+) 형태를 가질 수 있다. 다만, 실시 예는 이에 한정되지 않으며, 상기 제1 영상(A1)과 상기 회전 영상(Ra) 사이의 회전 각도에 따라, 상기 제2 플레어 패턴은 다양한 형태로 나타날 수 있다.
이후, 상기 픽셀 값 연산부(795a)는 상기 카메라(200a)를 통해 획득된 제1 영상(A1)의 픽셀별 제1 픽셀 값을 획득한다. 예를 들어, 상기 제1 픽셀 값은 상기 제1 영상(A1)의 픽셀 수에 대응하게, 23*17 개로 연산될 수 있다.
또한, 상기 영상 보정부(793)를 통해 상기 제2 영상(A2)이 획득되면, 상기 픽셀 값 연산부(795a)는 상기 제2 영상(A2)의 픽셀별 제2 픽셀 값을 획득한다. 예를 들어, 상기 제2 픽셀 값은 상기 제2 영상(A2)의 픽셀 수에 대응하게, 23*17 개로 연산될 수 있다.
상기 제1 영상(A1)의 제1 픽셀 값 및 상기 제2 영상(A2)의 제2 픽셀 값이 획득되면, 상기 픽셀 값 비교부(795b)는 상기 제1 픽셀 값과 상기 제2 픽셀 값을 비교할 수 있다.
이때, 상기 제1 영상(A1) 및 상기 제2 영상(A2)에 플레어 패턴이 포함되지 않는 경우, 상기 제1 영상(A1)의 제1 픽셀 값은 상기 제2 영상(A2)의 제2 픽셀 값과 실질적으로 동일할 수 있다. 예를 들어, 상기 제1 영상(A1) 및 상기 제2 영상(A2)에 플레어 패턴이 포함되지 않는 경우, 상기 카메라(200a)를 획득된 제1 영상(A1)은 상기 영상 보정부(793)를 통해 보정된 제2 영상(A2)과 실질적으로 동일할 수 있다.
이와 다르게, 상기 카메라(200a)를 통해 촬영되는 피사체에는, 상기와 같은 제2 객체(S2)가 포함되며, 이에 따라 상기 제2 객체(S2)의 주위로 플레어 패턴이 나타날 수 있다.
이에 따라, 제1 영상(A1)은 제1 플레어 패턴이 포함된 픽셀들을 포함하고, 상기 보정된 제2 영상(A2)은 제2 플레어 패턴이 포함된 픽셀들을 포함하며, 이 픽셀들 사이의 제1 픽셀 값과 제2 픽셀 값은 서로 다를 수 있다.
일 예로, 제1 영상(A1)에서, (x14, y2) 픽셀에는 제1 플레어 패턴이 포함된다. 이에 따라, 상기 제1 영상(A1)에서의 (x14, y2) 픽셀의 제1 픽셀 값과, 제2 영상(A2)에서의 (x14, y2) 픽셀의 제2 픽셀 값은 서로 다를 수 있다. 바람직하게, 상기 제1 영상(A1)에서의 (x14, y2) 픽셀에는 제1 플레어 패턴이 포함되고, 제2 영상(A2)에서의 (x14, y2) 픽셀에는 제2 플레어 패턴이 포함되지 않는다. 이에 따라, 상기 (x14, y2) 픽셀에 대한 제1 픽셀 값은 제2 픽셀 값보다 높게 나타날 수 있다.
또한, 제2 영상(A2)에서, (x19, y2) 픽셀에는 제2 플레어 패턴이 포함된다. 이에 따라, 상기 제2 영상(A2)에서의 (x19, y2) 픽셀의 제2 픽셀 값과, 제1 영상(A1)에서의 (x19, y2) 픽셀의 제1 픽셀 값은 서로 다를 수 있다. 바람직하게, 상기 제2 영상(A2)에서의 (x19, y2) 픽셀에는 제2 플레어 패턴이 포함되고, 제1 영상(A1)에서의 (x19, y2) 픽셀에는 제1 플레어 패턴이 포함되지 않는다. 이에 따라, 상기 (x19, y2) 픽셀에 대한 제2 픽셀 값은 제1 픽셀 값보다 높게 나타날 수 있다.
이에 따라, 실시 예에서의 상기 픽셀 값 비교부(795b)는 상기 제1 영상(A1)의 제1 픽셀 값과, 제2 영상(A2)의 제2 픽셀 값을 비교하고, 그에 따라 상기 제1 영상(A1)에서 제1 플레어 패턴이 포함된 제1 플레어 영역과, 상기 제2 영상(A2)에서 제2 플레어 패턴이 포함된 제2 플레어 영역을 검출할 수 있다.
도 13을 참조하면, 플레어 영상(Fx)에서는 제1 플레어 패턴과 제2 플레어 패턴이 포함된다. 상기 플레어 영상(Fx)은 상기 제1 영상(A1)에 포함된 제1 플레어 패턴과, 상기 제2 영상(A2)에 포함된 제2 플레어 패턴을 합한 것이다. 이에 따라, 상기 플레어 영상(Fx)에서와 같이, 실시 예에서는 상기 제1 픽셀 값과 제2 픽셀 값을 비교하고, 이들이 서로 다른 값을 가지는 픽셀들의 집합인 플레어 영역(FR)을 검출할 수 있다. 상기 플레어 영역(FR)에는 제1 플레어 패턴 또는 제2 플레어 패턴이 포함될 수 있다. 이에 따라, 상기 영상 합성부(795c)는 상기 플레어 영역(FR)의 픽셀들에 대해, 상기 제1 픽셀 값 및 상기 제2 픽셀 값 중 낮은 픽셀 값을 적용한 제3 영상(F)을 생성한다.
도 14를 참조하면, 제3 영상(F)에는 제1 플레어 패턴 및 제2 플레어 패턴이 포함되지 않는다. 예를 들어, 상기 제3 영상(F)의 플레어 영역(FR)에서는, 상기 제1 픽셀 값 및 상기 제2 픽셀 값 중 낮은 픽셀 값을 적용한 것에 의해, 플레어 패턴이 제거될 수 있다.
도 15를 참조하면, 상기 영상 합성부(795c)는 상기 제1 픽셀 값 및 제2 픽셀 값 중에서, 상기 플레어 영역(FR)에 포함된 픽셀들에 적용될 픽셀 값을 선택적으로 선택하는 것에 의해, 상기 제3 영상(F)을 생성할 수 있다. 이때, 상기 제3 영상(F)에서, 상기 플레어 영역(FR)을 제외한 나머지 픽셀들의 픽셀 값은 상기 제1 픽셀 값 및 제2 픽셀 값 중 어느 것을 적용하여도 무방하다. 바람직하게, 상기 제3 영상(F)에서, 상기 플레어 영역(FR)을 제외한 나머지 픽셀들의 제1 픽셀 값 및 제2 픽셀 값은 서로 동일한 값을 가질 것이다.
바람직하게, 상기 제3 영상(A3) 중 상기 플레어 영역(FR)에 대응하는 픽셀들은, F(x14, y2), F(x15, y3), F(x16, y4), F(x17, y5), F(x24, y2), F(x23, y3), F(x22, y4), F(x21, y5), F(x14, y12), F(x15, y11), F(x16, y10), F(x17, y9), F(x21, y9), F(x22, y10), F(x23, y11), F(x24, y12), F(x14, y7), F(x15, y7), F(x16, y7), F(x17, y7), F(x19, y2), F(x19, y3), F(x19, y4), F(x19, y5), F(x21, y7), F(x22, y7), F(x23, y7), F(x24, y7), F(x19, y10), F(x19, y11), F(x19, y12) 및 F(x19, y13)이다.
이 중, F(x14, y2), F(x15, y3), F(x16, y4), F(x17, y5), F(x24, y2), F(x23, y3), F(x22, y4), F(x21, y5), F(x14, y12), F(x15, y11), F(x16, y10), F(x17, y9), F(x21, y9), F(x22, y10), F(x23, y11), F(x24, y12)은 상기 제1 영상(A1)에서 제1 플레어 패턴이 포함된 픽셀들이다. 또한, F(x14, y7), F(x15, y7), F(x16, y7), F(x17, y7), F(x19, y2), F(x19, y3), F(x19, y4), F(x19, y5), F(x21, y7), F(x22, y7), F(x23, y7), F(x24, y7), F(x19, y10), F(x19, y11), F(X19, y12) 및 F(X19, y13)은, 상기 제2 영상(A2)에서 제2 플레어 패턴이 포함된 픽셀들이다.
이에 따라, 상기 영상 합성부(795c)는 상기 픽셀들에 대해, 상기 제1 영상에서의 제1 픽셀 값 및 상기 제2 영상에서의 제2 픽셀 값 중 낮은 픽셀 값을 선택적으로 적용하여 상기 제3 영상(F)을 생성한다.
예를 들어, 상기 제3 영상(F)의 픽셀별 픽셀 값은 아래의 식 1에 의해 결정될 수 있다.
[식 1]
F(xj, yj) = min Ai(xj, yj)
식 1에서, F(xj, yj)는 제3 영상(F)의 픽셀의 픽셀 값이며, min Ai(xj, yj)는 제1 영상 및 제2 영상의 해당 픽셀의 픽셀 값 중 작은 픽셀 값을 의미한다.
예를 들어, 영상 합성부(795c)는 제3 영상(F)의 (x1, y1)의 픽셀의 픽셀 값을 결정하는 경우, 상기 제1 영상(A1)에서의 (x1, y1)의 픽셀의 제1 픽셀 값과, 제2 영상(A2)에서의 (x1, y1)의 픽셀이 제2 픽셀 값을 확인할 수 있다. 그리고, 상기 (x1, y1)의 제1 픽셀 값이 "10"이고, 상기 (x1, y1)의 제2 픽셀 값이 "150"인 경우, 상기 영상 합성부(795c)는 상기 제3 영상(F)의 (x1, y1)의 픽셀 값으로, 상기 제1 픽셀 값인 "10"을 적용할 수 있다. 즉, 이와 같은 경우, 상기 (x1, y1)에 대해, 제1 영상(A1)에서는 플레어 패턴이 포함되어 있지 않지만, 상기 제2 영상(A2)에서는 플레어 패턴이 포함되었음을 의미할 수 있다. 이에 따라, 상기 제3 영상(F)을 생성할 때, 해당 픽셀에 대해서는 상대적으로 낮은 값을 가지는 제1 픽셀 값을 적용함으로써, 플레어 패턴을 제거할 수 있다.
구체적으로, 상기 영상 합성부(795c)는 상기 플레어 영역(FR)에 대해 상대적으로 낮은 픽셀 값을 적용하여 상기 제3 영상(F)을 생성할 수 있다.
상기 플레어 영역(FR)은 상기 설명한 바와 같이, F(x14, y2), F(x15, y3), F(x16, y4), F(x17, y5), F(x24, y2), F(x23, y3), F(x22, y4), F(x21, y5), F(x14, y12), F(x15, y11), F(x16, y10), F(x17, y9), F(x21, y9), F(x22, y10), F(x23, y11), F(x24, y12), F(x14, y7), F(x15, y7), F(x16, y7), F(x17, y7), F(x19, y2), F(x19, y3), F(x19, y4), F(x19, y5), F(x21, y7), F(x22, y7), F(x23, y7), F(x24, y7), F(x19, y10), F(x19, y11), F(x19, y12) 및 F(x19, y13) 픽셀들을 포함한다. 이때, 상기 설명한 바와 같이, 상기 제3 영상(F)에서, 상기 플레어 영역(FR)을 제외한 나머지 픽셀들에 대해서는, 실질적으로 제1 영상(A1)에서의 제1 픽셀 값과, 제2 영상(A2)에서의 제2 픽셀 값이 동일하기 때문에, 어떠한 픽셀 값을 적용하여도 무방하다.
영상 합성부(795c)는 F(x14, y2) 픽셀에 대해, A1(x14, y2)의 픽셀 값과, A2(x14, y2)의 픽셀 값을 비교한다. 이때, A1(x14, y2)에는 제1 플레어 패턴이 포함되어 있고, A2(x14, y2)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x14, y2)의 제1 픽셀 값은 A2(x14, y2)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상(A1)는 상대적으로 낮은 픽셀 값을 가지는 A2(x14, y2)의 제2 픽셀 값을 상기 F(x14, y2) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x15, y3) 픽셀에 대해, A1(x15, y3)의 픽셀 값과, A2(x15, y3)의 픽셀 값을 비교한다. 이때, A1(x15, y3)에는 제1 플레어 패턴이 포함되어 있고, A2(x15, y3)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x15, y3)의 제1 픽셀 값은 A2(x15, y3)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x14, y2)의 제2 픽셀 값을 상기 F(x15, y3) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x16, y4) 픽셀에 대해, A1(x16, y4)의 픽셀 값과, A2(x16, y4)의 픽셀 값을 비교한다. 이때, A1(x16, y4)에는 제1 플레어 패턴이 포함되어 있고, A2(x16, y4)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x16, y4)의 제1 픽셀 값은 A2(x16, y4)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x16, y4)의 제2 픽셀 값을 상기 F(x16, y4) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x17, y5) 픽셀에 대해, A1(x17, y5)의 픽셀 값과, A2(x17, y5)의 픽셀 값을 비교한다. 이때, A1(x17, y5)에는 제1 플레어 패턴이 포함되어 있고, A2(x17, y5)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x17, y5)의 제1 픽셀 값은 A2(x17, y5)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x17, y5)의 제2 픽셀 값을 상기 F(x17, y5) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x24, y2) 픽셀에 대해, A1(x24, y2)의 픽셀 값과, A2(x24, y2)의 픽셀 값을 비교한다. 이때, A1(x24, y2)에는 제1 플레어 패턴이 포함되어 있고, A2(x24, y2)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x24, y2)의 제1 픽셀 값은 A2(x24, y2)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x24, y2)의 제2 픽셀 값을 상기 F(x24, y2) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x23, y3) 픽셀에 대해, A1(x23, y3)의 픽셀 값과, A2(x23, y3)의 픽셀 값을 비교한다. 이때, A1(x23, y3)에는 제1 플레어 패턴이 포함되어 있고, A2(x23, y3)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x23, y3)의 제1 픽셀 값은 A2(x23, y3)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x23, y3)의 제2 픽셀 값을 상기 F(x23, y3) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x22, y4) 픽셀에 대해, A1(x22, y4)의 픽셀 값과, A2(x22, y4)의 픽셀 값을 비교한다. 이때, A1(x22, y4)에는 제1 플레어 패턴이 포함되어 있고, A2(x22, y4)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x22, y4)의 제1 픽셀 값은 A2(x22, y4)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x22, y4)의 제2 픽셀 값을 상기 F(x22, y4) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x21, y5) 픽셀에 대해, A1(x21, y5)의 픽셀 값과, A2(x21, y5)의 픽셀 값을 비교한다. 이때, A1(x21, y5)에는 제1 플레어 패턴이 포함되어 있고, A2(x21, y5)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x21, y5)의 제1 픽셀 값은 A2(x21, y5)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x21, y5)의 제2 픽셀 값을 상기 F(x21, y5) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x14, y12) 픽셀에 대해, A1(x14, y12)의 픽셀 값과, A2(x14, y12)의 픽셀 값을 비교한다. 이때, A1(x14, y12)에는 제1 플레어 패턴이 포함되어 있고, A2(x14, y12)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x14, y12)의 제1 픽셀 값은 A2(x14, y12)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x14, y12)의 제2 픽셀 값을 상기 F(x14, y12) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x15, y11) 픽셀에 대해, A1(x15, y11)의 픽셀 값과, A2(x15, y11)의 픽셀 값을 비교한다. 이때, A1(x15, y11)에는 제1 플레어 패턴이 포함되어 있고, A2(x15, y11)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x15, y11)의 제1 픽셀 값은 A2(x15, y11)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x15, y11)의 제2 픽셀 값을 상기 F(x15, y11) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x16, y10) 픽셀에 대해, A1(x16, y10)의 픽셀 값과, A2(x16, y10)의 픽셀 값을 비교한다. 이때, A1(x16, y10)에는 제1 플레어 패턴이 포함되어 있고, A2(x16, y10)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x16, y10)의 제1 픽셀 값은 A2(x16, y10)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x16, y10)의 제2 픽셀 값을 상기 F(x16, y10) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F(x17, y9) 픽셀에 대해, A1(x17, y9)의 픽셀 값과, A2(x17, y9)의 픽셀 값을 비교한다. 이때, A1(x17, y9)에는 제1 플레어 패턴이 포함되어 있고, A2(x17, y9)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1(x17, y9)의 제1 픽셀 값은 A2(x17, y9)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2(x17, y9)의 제2 픽셀 값을 상기 F(x17, y9) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x21, y9) 픽셀에 대해, A1 (x21, y9)의 픽셀 값과, A2 (x21, y9)의 픽셀 값을 비교한다. 이때, A1 (x21, y9)에는 제1 플레어 패턴이 포함되어 있고, A2 (x21, y9)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1 (x21, y9)의 제1 픽셀 값은 A2 (x21, y9)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2 (x21, y9)의 제2 픽셀 값을 상기 F (x21, y9) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x22, y10) 픽셀에 대해, A1 (x22, y10)의 픽셀 값과, A2 (x22, y10)의 픽셀 값을 비교한다. 이때, A1 (x22, y10)에는 제1 플레어 패턴이 포함되어 있고, A2 (x22, y10)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1 (x22, y10)의 제1 픽셀 값은 A2 (x22, y10)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2 (x22, y10)의 제2 픽셀 값을 상기 F (x22, y10) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x23, y11) 픽셀에 대해, A1 (x23, y11)의 픽셀 값과, A2 (x23, y11)의 픽셀 값을 비교한다. 이때, A1 (x23, y11)에는 제1 플레어 패턴이 포함되어 있고, A2 (x23, y11)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1 (x23, y11)의 제1 픽셀 값은 A2 (x23, y11)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2 (x23, y11)의 제2 픽셀 값을 상기 F (x23, y11) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x24, y12) 픽셀에 대해, A1 (x24, y12)의 픽셀 값과, A2 (x24, y12)의 픽셀 값을 비교한다. 이때, A1 (x24, y12)에는 제1 플레어 패턴이 포함되어 있고, A2 (x24, y12)에는 플레어 패턴이 포함되어 있지 않다. 따라서, 상기 A1 (x24, y12)의 제1 픽셀 값은 A2 (x24, y12)의 제2 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A2 (x24, y12)의 제2 픽셀 값을 상기 F (x24, y12) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x14, y7) 픽셀에 대해, A1 (x14, y7)의 픽셀 값과, A2 (x14, y7)의 픽셀 값을 비교한다. 이때, A1 (x14, y7)에는 플레어 패턴이 포함되어 있지 않고, A2 (x14, y7)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x14, y7)의 제2 픽셀 값은 A1 (x14, y7)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x14, y7)의 제1 픽셀 값을 상기 F (x14, y7) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x15, y7) 픽셀에 대해, A1 (x15, y7)의 픽셀 값과, A2 (x15, y7)의 픽셀 값을 비교한다. 이때, A1 (x15, y7)에는 플레어 패턴이 포함되어 있지 않고, A2 (x15, y7)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x15, y7)의 제2 픽셀 값은 A1 (x15, y7)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x15, y7)의 제1 픽셀 값을 상기 F (x15, y7) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x14, y7) 픽셀에 대해, A1 (x14, y7)의 픽셀 값과, A2 (x14, y7)의 픽셀 값을 비교한다. 이때, A1 (x14, y7)에는 플레어 패턴이 포함되어 있지 않고, A2 (x14, y7)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x14, y7)의 제2 픽셀 값은 A1 (x14, y7)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x14, y7)의 제1 픽셀 값을 상기 F (x14, y7) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x16, y7) 픽셀에 대해, A1 (x16, y7)의 픽셀 값과, A2 (x16, y7)의 픽셀 값을 비교한다. 이때, A1 (x16, y7)에는 플레어 패턴이 포함되어 있지 않고, A2 (x16, y7)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x16, y7)의 제2 픽셀 값은 A1 (x16, y7)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x16, y7)의 제1 픽셀 값을 상기 F (x16, y7) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x17, y7) 픽셀에 대해, A1 (x17, y7)의 픽셀 값과, A2 (x17, y7)의 픽셀 값을 비교한다. 이때, A1 (x17, y7)에는 플레어 패턴이 포함되어 있지 않고, A2 (x17, y7)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x17, y7)의 제2 픽셀 값은 A1 (x17, y7)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x17, y7)의 제1 픽셀 값을 상기 F (x17, y7) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x19, y2) 픽셀에 대해, A1 (x19, y2)의 픽셀 값과, A2 (x19, y2)의 픽셀 값을 비교한다. 이때, A1 (x19, y2)에는 플레어 패턴이 포함되어 있지 않고, A2 (x19, y2)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x19, y2)의 제2 픽셀 값은 A1 (x19, y2)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x19, y2)의 제1 픽셀 값을 상기 F (x19, y2) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x19, y3) 픽셀에 대해, A1 (x19, y3)의 픽셀 값과, A2 (x19, y3)의 픽셀 값을 비교한다. 이때, A1 (x19, y3)에는 플레어 패턴이 포함되어 있지 않고, A2 (x19, y3)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x19, y3)의 제2 픽셀 값은 A1 (x19, y3)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x19, y3)의 제1 픽셀 값을 상기 F (x19, y3) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x19, y4) 픽셀에 대해, A1 (x19, y4)의 픽셀 값과, A2 (x19, y4)의 픽셀 값을 비교한다. 이때, A1 (x19, y4)에는 플레어 패턴이 포함되어 있지 않고, A2 (x19, y4)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x19, y4)의 제2 픽셀 값은 A1 (x19, y4)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x19, y4)의 제1 픽셀 값을 상기 F (x19, y4) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x19, y5) 픽셀에 대해, A1 (x19, y5)의 픽셀 값과, A2 (x19, y5)의 픽셀 값을 비교한다. 이때, A1 (x19, y5)에는 플레어 패턴이 포함되어 있지 않고, A2 (x19, y5)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x19, y5)의 제2 픽셀 값은 A1 (x19, y5)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x19, y5)의 제1 픽셀 값을 상기 F (x19, y5) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x21, y7) 픽셀에 대해, A1 (x21, y7)의 픽셀 값과, A2 (x21, y7)의 픽셀 값을 비교한다. 이때, A1 (x21, y7)에는 플레어 패턴이 포함되어 있지 않고, A2 (x21, y7)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x21, y7)의 제2 픽셀 값은 A1 (x21, y7)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x21, y7)의 제1 픽셀 값을 상기 F (x21, y7) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x22, y7) 픽셀에 대해, A1 (x22, y7)의 픽셀 값과, A2 (x22, y7)의 픽셀 값을 비교한다. 이때, A1 (x22, y7)에는 플레어 패턴이 포함되어 있지 않고, A2 (x22, y7)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x22, y7)의 제2 픽셀 값은 A1 (x22, y7)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x22, y7)의 제1 픽셀 값을 상기 F (x22, y7) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x23, y7) 픽셀에 대해, A1 (x23, y7)의 픽셀 값과, A2 (x23, y7)의 픽셀 값을 비교한다. 이때, A1 (x23, y7)에는 플레어 패턴이 포함되어 있지 않고, A2 (x23, y7)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x23, y7)의 제2 픽셀 값은 A1 (x23, y7)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x23, y7)의 제1 픽셀 값을 상기 F (x23, y7) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x24, y7) 픽셀에 대해, A1 (x24, y7)의 픽셀 값과, A2 (x24, y7)의 픽셀 값을 비교한다. 이때, A1 (x24, y7)에는 플레어 패턴이 포함되어 있지 않고, A2 (x24, y7)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x24, y7)의 제2 픽셀 값은 A1 (x24, y7)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x24, y7)의 제1 픽셀 값을 상기 F (x24, y7) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x19, y10) 픽셀에 대해, A1 (x19, y10)의 픽셀 값과, A2 (x19, y10)의 픽셀 값을 비교한다. 이때, A1 (x19, y10)에는 플레어 패턴이 포함되어 있지 않고, A2 (x19, y10)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x19, y10)의 제2 픽셀 값은 A1 (x19, y10)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x19, y10)의 제1 픽셀 값을 상기 F (x19, y10) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x19, y11) 픽셀에 대해, A1 (x19, y11)의 픽셀 값과, A2 (x19, y11)의 픽셀 값을 비교한다. 이때, A1 (x19, y11)에는 플레어 패턴이 포함되어 있지 않고, A2 (x19, y11)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x19, y11)의 제2 픽셀 값은 A1 (x19, y11)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x19, y11)의 제1 픽셀 값을 상기 F (x19, y11) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x19, y12) 픽셀에 대해, A1 (x19, y12)의 픽셀 값과, A2 (x19, y12)의 픽셀 값을 비교한다. 이때, A1 (x19, y12)에는 플레어 패턴이 포함되어 있지 않고, A2 (x19, y12)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x19, y12)의 제2 픽셀 값은 A1 (x19, y12)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x19, y12)의 제1 픽셀 값을 상기 F (x19, y12) 픽셀의 픽셀 값으로 결정할 수 있다.
영상 합성부(795c)는 F (x19, y13) 픽셀에 대해, A1 (x19, y13)의 픽셀 값과, A2 (x19, y13)의 픽셀 값을 비교한다. 이때, A1 (x19, y13)에는 플레어 패턴이 포함되어 있지 않고, A2 (x19, y13)에는 제2 플레어 패턴이 포함되어 있다. 따라서, 상기 A2 (x19, y13)의 제2 픽셀 값은 A1 (x19, y13)의 제1 픽셀 값보다 높은 값을 가지게 된다. 따라서, 영상 합성부(795c)는 상대적으로 낮은 픽셀 값을 가지는 A1 (x19, y13)의 제1 픽셀 값을 상기 F (x19, y13) 픽셀의 픽셀 값으로 결정할 수 있다.
상기와 같이, 영상 합성부(795c)는 제1 영상(A1) 및 제2 영상(A2)에서, 상대적으로 낮은 픽셀 값을 적용하여, 상기 제3 영상(F)을 생성할 수 있다. 이에 따라, 실시 예에서는 회절에 의한 플레어 문제를 해결할 수 있다.
실시 예에서는 디스플레이 패널의 가림으로 인한 빛의 투과율 저하를 최소화할 수 있다. 또한, 실시 예에서는 복수의 영상의 합성을 통해 플레어가 제거된 영상을 획득할 수 있다. 구체적으로, 실시 예에서는 디스플레이 패널의 주기적인 구조에 의해 발생하는 플레어 문제를 해결할 수 있다.
예를 들어, 실시 예에서는 제1 영상을 획득하고, 상기 제1 영상으로부터 제1 각도(θ)만큼 회전한 제1 회전 영상을 획득한다. 그리고, 실시 예에서는 보정 과정을 통해, 상기 제1 회전 영상을 -제1 각도(-θ)만큼 회전한 제2 영상을 획득한다. 이때, 상기 제1 영상과 상기 제1 회전 영상에는 각각 플레어 패턴을 포함한다. 여기에서, 상기 제1 회전 영상은, 상기 제1 영상과 비교하여, 플레어 패턴은 동일하게 유지한 상태에서 피사체만 상기 제1 각도(θ)만큼 회전하는 특성을 가진다. 이에 따라, 상기 제2 영상은, 상기 제1 영상과 비교하여, 피사체의 위치는 동일하고, 플레어 패턴만이 회전한 특성을 가진다. 즉, 실시 예에서는 상기와 같은 과정을 거쳐, 서로 다른 플레어 패턴을 포함하는 제1 및 제2 영상을 획득하고, 이를 합성하여 플레어가 포함되지 않은 영상을 획득할 수 있도록 한다.
구체적으로, 실시 예에서는 제1 객체 패턴 및 제1 플레어 패턴을 포함하는 제1 영상을 포함한다. 그리고, 실시 예에서는 상기 제1 객체 패턴으로부터 θ만큼 회전한 제2 객체 패턴 및 상기 제1 플레어 패턴을 포함하는 제1 회전 영상을 포함한다. 그리고, 실시 예에서는 상기 제1 회전 영상을 이용하여, 상기 제1 객체 패턴 및 제2 플레어 패턴을 포함하는 제2 영상을 획득한다. 이때, 상기 제2 플레어 패턴은 상기 제1 플레어 패턴 대비 상기 θ 또는 -θ만큼 회전한 형태를 가진다. 따라서, 실시 예에서는 상기 제1 영상의 픽셀별 픽셀 값과, 제2 영상의 픽셀별 픽셀 값을 토대로, 플레어가 포함되지 않는 제3 영상을 생성한다. 예를 들어, 플레어가 포함되는 경우, 해당 픽셀 영역에서의 픽셀 값은 상대적으로 높게 나타난다. 이에 따라, 실시 예에서는 상기 제1 영상의 픽셀 값과 제2 영상의 픽셀 값을 기준으로, 낮은 픽셀값을 적용하여 상기 제3 영상을 생성한다. 이에 따라, 실시 예에서는 UDC 구조의 디스플레이장치에서, 디스플레이 패널의 주기적인 구조에 의해 발생하는 플레어 문제를 해결할 수 있으며, 이에 따른 영상 품질을 향상시킬 수 있다.
도 16을 참조하면, 실시 예에서는 카메라(200a)를 통해 제1 영상(A1)을 획득한다. 또한, 실시 예에서는 상기 제1 영상(A1)을 기준으로, 광축으로 서로 다른 각도만큼 회전한 복수의 회전 영상을 획득할 수 있다. 예를 들어, 제1 영상(A1)을 기준으로, 특정 각도만큼 회전한 하나의 회전 영상을 이용하여 하나의 제2 영상만을 획득하는 경우, 제1 영상 및 제2 영상 내에서 특정 픽셀에는 공통적으로 플레어 패턴이 포함될 수 있다. 이에 따라, 실시 예에서는 제1 영상(A1)을 기준으로, 이를 서로 다른 각도로 회전한 다수의 회전 영상을 획득하고, 상기 다수의 회전 영상을 보정한 다수의 제2 영상을 획득한다. 그리고, 실시 예에서는 상기 제1 영상(A1)과 상기 다수의 제2 영상을 이용하여 제3 영상을 획득하도록 한다. 이에 따르면, 실시 예에서는 상기 제3 영상에 포함될 수 있는 플레어 패턴을 완벽하게 제거할 수 있으며, 이에 따른 이미지 품질을 향상시켜 사용자 만족도를 높일 수 있다.
예를 들어, 실시 예에서는 제1 영상(A1)은 0도(θ1)에서 카메라(200a)를 통해 획득될 수 있다. 그리고, 실시 예에서는 상기 제1 영상(A1)을 기준으로 서로 다른 회전각도에서 촬영된 다수의 회전 영상을 획득할 수 있다.
예를 들어, 실시 예에서는 상기 제1 영상(A1)이 획득된 카메라(200a)의 상태로부터 광축으로 15도(θ2)만큼 회전한 상태에서, 제1 회전 영상(R1)을 획득할 수 있다.
예를 들어, 실시 예에서는 상기 제1 영상(A1)이 획득된 카메라(200a)의 상태로부터 광축으로 30도(θ3)만큼 회전한 상태에서, 제2 회전 영상(R2)을 획득할 수 있다.
예를 들어, 실시 예에서는 상기 제1 영상(A1)이 획득된 카메라(200a)의 상태로부터 광축으로 45도(θ4)만큼 회전한 상태에서, 제3 회전 영상(R3)을 획득할 수 있다.
이어서, 실시 예에서는 상기 제1 회전 영상(R1)을 보정한 제2-1 영상을 획득할 수 있다. 또한, 실시 예에서는 상기 제2 회전 영상(R2)을 보정한 제2-2 영상을 획득할 수 있다. 또한, 실시 예에서는 상기 제3 회전 영상(R3)을 보정한 제2-3 영상을 획득할 수 있다.
그리고, 실시 예에서는, 상기 제1 영상(A1)과 함께 상기 제2-1 영상, 제2-2 영상 및 제2-3 영상을 비교하여, 가장 낮은 픽셀 값을 적용하여 제3 영상을 획득할 수 있다.
도 17은 실시 예에 따른 디스플레이장치의 제어 방법을 단계별로 설명하기 위한 흐름도이고, 도 18은 도 17의 제2 영상의 획득 과정을 구체적으로 설명하기 위한 흐름도이다.
도 17을 참조하면, 실시 예에 따른 디스플레이장치는, 카메라를 통해 제1 영상(A1)을 획득한다(S100). 이때, 상기 제1 영상(A1)에는 적어도 하나의 객체와, 상기 객체 주위로 형성된 제1 플레어 패턴을 포함할 수 있다.
이어서, 실시 예에 따른 디스플레이장치는, 상기 카메라(200a)를 광축을 기준으로 θ각도만큼 회전시키고, 상기 카메라(200a)가 상기 θ각도만큼 회전한 상태에서 제1 회전 영상(Ra)을 획득한다(S110).
이후, 실시 예에 따른 디스플레이장치는, 상기 제1 영상(A1)과 상기 제1 회전 영상(Ra) 사이의 회전 각도(θ)를 계산하고, 상기 회전 각도(θ)를 중심으로 상기 제1 회전 영상(Ra)을 -θ각도만큼 회전시킨 제2 영상(A2)을 획득한다(S120).
이후, 실시 예에 따른 디스플레이장치는 상기 제1 영상(A1)과 상기 제2 영상(A2)을 이용하여, 제3 영상(F)을 획득할 수 있다(S130).
구체적으로, 픽셀 값 연산부(795a)는 상기 카메라(200a)를 통해 획득된 제1 영상(A1)에 대한 픽셀별 제1 픽셀 값을 연산한다. 이때, 상기 제1 영상(A1)은 제1 플레어 패턴이 포함된 제1 플레어 영상일 수 있다. 이후, 상기 픽셀 값 연산부(795a)는 상기 영상 보정부(793)를 통해 획득된 제2 영상(A2)에 대한, 픽셀별 제2 픽셀 값을 연산할 수 있다. 이때, 상기 제2 영상(A2)은 상기 제1 플레어 패턴과 다른 형태의 제2 플레어 패턴이 포함된 제2 플레어 영상일 수 있다. 이후, 픽셀 값 비교부(795b)는 상기 제1 픽셀 값과 상기 제2 픽셀 값의 비교를 통해, 상기 제1 픽셀 값과 상기 제2 픽셀 값이 서로 다른 픽셀이 존재하는지를 확인할 수 있다.
예를 들어, 상기 제1 픽셀 값과 상기 제2 픽셀 값이 서로 다른 픽셀이 존재하지 않는다면, 상기 제1 영상(A1)과 상기 제2 영상(A2)은 실질적으로 동일한 영상이며, 이에 따른 별도의 추가적인 합성 과정을 거치지 않고, 상기 제1 영상(A1) 또는 제2 영상(A2)을 촬영 영상으로 제공할 수 있다. 예를 들어, 상기 제공되는 영상이 제3 영상이라고 하면, 상기 제3 영상은 상기 제1 영상(A1) 및 제2 영상(A2) 중 어느 하나일 수 있다.
또한, 상기 제1 픽셀 값과 상기 제2 픽셀 값이 서로 다른 픽셀이 존재한다면, 상기 제1 영상(A1) 및 상기 제2 영상(A2)은 실질적으로 서로 다른 영상이다. 이에 따라, 실시 예에서는 합성 과정을 통해 제3 영상(F)을 생성하고, 상기 제3 영상(F)을 촬영 영상으로 제공할 수 있다. 이를 위해 영상 합성부(795c)는 상기 픽셀별 제1 픽셀 값과 제2 픽셀 값을 기반으로, 상대적으로 낮은 픽셀 값을 적용하여 제3 영상(F)을 생성할 수 있다.
한편, 도 18을 참조하면, 도 17에서의 제2 영상의 획득 과정은 이하의 단계를 포함할 수 있다.
이를 위해, 윤곽선 추출부(793a)는 상기 제1 영상(A1) 및 상기 제1 회전 영상(Ra)에서 각각 제1 윤곽선 및 제2 윤곽선을 추출할 수 있다(S200).
이후, 방향 성분 추출부(793b)는 상기 윤곽선 추출부(793a)에서 획득된 제1 윤곽선과 제2 윤곽선에서 각각 제1 대표 윤곽선 및 제2 대표 윤곽선을 추출할 수 있다(S210).
이후, 회전 각도 계산부(793c)는 상기 추출된 제1 대표 윤곽선과 제2 대표 윤곽선 사이의 각도 차이 값을 계산하고, 상기 계산된 각도 차이 값을 상기 제1 회전 영상(Ra)에 대한 회전 각도(θ)로 결정할 수 있다(S220).
실시 예에서는 디스플레이 패널의 가림으로 인한 빛의 투과율 저하를 최소화할 수 있다. 또한, 실시 예에서는 복수의 영상의 합성을 통해 플레어가 제거된 영상을 획득할 수 있다. 구체적으로, 실시 예에서는 디스플레이 패널의 주기적인 구조에 의해 발생하는 플레어 문제를 해결할 수 있다.
예를 들어, 실시 예에서는 제1 영상을 획득하고, 상기 제1 영상으로부터 제1 각도(θ)만큼 회전한 제1 회전 영상을 획득한다. 그리고, 실시 예에서는 보정 과정을 통해, 상기 제1 회전 영상을 -제1 각도(-θ)만큼 회전한 제2 영상을 획득한다. 이때, 상기 제1 영상과 상기 제1 회전 영상에는 각각 플레어 패턴을 포함한다. 여기에서, 상기 제1 회전 영상은, 상기 제1 영상과 비교하여, 플레어 패턴은 동일하게 유지한 상태에서 피사체만 상기 제1 각도(θ)만큼 회전하는 특성을 가진다. 이에 따라, 상기 제2 영상은, 상기 제1 영상과 비교하여, 피사체의 위치는 동일하고, 플레어 패턴만이 회전한 특성을 가진다. 즉, 실시 예에서는 상기와 같은 과정을 거쳐, 서로 다른 플레어 패턴을 포함하는 제1 및 제2 영상을 획득하고, 이를 합성하여 플레어가 포함되지 않은 영상을 획득할 수 있도록 한다.
구체적으로, 실시 예에서는 제1 객체 패턴 및 제1 플레어 패턴을 포함하는 제1 영상을 포함한다. 그리고, 실시 예에서는 상기 제1 객체 패턴으로부터 θ만큼 회전한 제2 객체 패턴 및 상기 제1 플레어 패턴을 포함하는 제1 회전 영상을 포함한다. 그리고, 실시 예에서는 상기 제1 회전 영상을 이용하여, 상기 제1 객체 패턴 및 제2 플레어 패턴을 포함하는 제2 영상을 획득한다. 이때, 상기 제2 플레어 패턴은 상기 제1 플레어 패턴 대비 상기 θ 또는 -θ만큼 회전한 형태를 가진다. 따라서, 실시 예에서는 상기 제1 영상의 픽셀별 픽셀 값과, 제2 영상의 픽셀별 픽셀 값을 토대로, 플레어가 포함되지 않는 제3 영상을 생성한다. 예를 들어, 플레어가 포함되는 경우, 해당 픽셀 영역에서의 픽셀 값은 상대적으로 높게 나타난다. 이에 따라, 실시 예에서는 상기 제1 영상의 픽셀 값과 제2 영상의 픽셀 값을 기준으로, 낮은 픽셀값을 적용하여 상기 제3 영상을 생성한다. 이에 따라, 실시 예에서는 UDC 구조의 디스플레이장치에서, 디스플레이 패널의 주기적인 구조에 의해 발생하는 플레어 문제를 해결할 수 있으며, 이에 따른 영상 품질을 향상시킬 수 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

  1. 제1 영상 및 제1 회전 영상을 획득하는 카메라;
    상기 카메라를 통해 획득된 상기 제1 회전 영상을 이용하여 제2 영상을 생성하는 영상 보정부;
    상기 제1 영상의 픽셀별 제1 픽셀 값 및 상기 제2 영상의 픽셀별 제2 픽셀 값을 이용하여 제3 영상을 생성하는 영상 처리부;
    상기 영상 보정부를 통해 상기 제2 영상이 생성되도록 제어하고, 상기 영상 처리부를 통해 상기 제3 영상이 생성되도록 하는 제어부를 포함하고,
    상기 제어부는,
    상기 카메라를 통해 상기 제1 영상이 획득되도록 하고,
    상기 제1 영상이 획득된 이후, 상기 카메라가 광축을 중심으로 회전 각도(θ)만큼 회전한 상태에서, 상기 제1 회전 영상이 획득되도록 하며,
    상기 회전 각도(θ)에 대응하는 보정 각도(-θ)를 기반으로, 상기 제1 회전 영상을 보정한 상기 제2 영상이 획득되도록 하며,
    상기 제1 영상의 상기 제1 픽셀 값 및 상기 제2 영상의 상기 제2 픽셀 값 중 적어도 하나의 픽셀 값을 적용하여 상기 제3 영상이 생성되도록 하는,
    디스플레이장치.
  2. 제1항에 있어서,
    상기 제1 영상 및 상기 제1 회전 영상은 플레어 패턴을 포함하는 플레어 영상이며,
    상기 제1 영상에서의 상기 플레어 패턴의 위치는,
    상기 제1 회전 영상에서의 상기 플레어 패턴의 위치와 동일한,
    디스플레이장치.
  3. 제2항에 있어서,
    상기 제2 영상은 플레어 패턴을 포함하는 플레어 영상이며,
    상기 제2 영상에서의 상기 플레어 패턴의 위치는,
    상기 제1 영상 및 상기 제1 회전 영상 중 적어도 어느 하나의 영상에서의 플레어 패턴의 위치와 다른,
    디스플레이장치.
  4. 제1항에 있어서,
    상기 영상 보정부는,
    상기 제1 영상에 포함된 적어도 하나의 객체에 대한 복수의 제1 윤곽선을 추출하고, 상기 제1 회전 영상에 포함된 적어도 하나의 객체에 대한 복수의 제2 윤곽선을 추출하는 윤곽선 추출부;
    상기 복수의 제1 윤곽선으로부터 제1 대표 윤곽선을 추출하고, 상기 복수의 제2 윤곽선으로부터 제2 대표 윤곽선을 추출하는 방향 성분 추출부;
    상기 제1 대표 윤곽선과 상기 제2 대표 윤곽선 사이의 차이를 기준으로 상기 회전 각도(θ)를 계산하는 회전 각도 계산부; 및
    상기 회전 각도(θ)에 대응하는 상기 보정 각도(-θ)만큼 상기 제1 회전 영상을 회전 보정하여 상기 제2 영상을 획득하는 영상 회전부를 포함하는,
    디스플레이장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 제1 영상이 획득된 시점에서의 자이로 센서의 제1 센싱 값과, 상기 제1 회전 영상이 획득된 시점에서의 상기 자이로 센서의 제2 센싱 값을 비교하여, 상기 회전 각도(θ)를 계산하고,
    상기 영상 보정부는,
    상기 제어부를 통해 계산된 상기 회전 각도(θ)에 대응하는 상기 보정 각도(-θ)만큼 상기 제1 회전 영상을 회전 보정하여 상기 제2 영상을 획득하는 영상 회전부를 포함하는,
    디스플레이장치.
  6. 제1항에 있어서,
    상기 카메라는,
    상기 광축을 중심으로 서로 다른 회전 각도만큼 각각 회전한 상태에서, 복수의 제1 회전 영상을 획득하고,
    상기 영상 보정부는,
    상기 복수의 제1 회전 영상 각각에 대해, 복수의 제2 영상을 생성하며,
    상기 영상 처리부는,
    상기 제1 영상 및 상기 복수의 제2 영상을 비교하여 상기 제3 영상을 생성하는,
    디스플레이장치.
  7. 제1항에 있어서,
    상기 영상 처리부는,
    상기 제1 픽셀 값과 상기 제2 픽셀 값을 비교하고,
    상기 비교 결과에 따라 상기 제1 픽셀 값 및 상기 제2 픽셀 값이 서로 다른 적어도 하나의 픽셀을 검출하고,
    상기 검출된 픽셀에 대해, 상기 제1 픽셀 값 및 상기 제2 픽셀 값 중 낮은 픽셀 값을 적용하여 상기 제3 영상을 생성하는,
    디스플레이장치.
  8. 제7항에 있어서,
    상기 제1 및 제2 픽셀 값은,
    상기 제1 및 제2 영상의 각각의 픽셀에 대한 명암 값을 포함하는,
    디스플레이장치.
  9. 제1항에 있어서,
    상기 생성된 제3 영상을 디스플레이하는 디스플레이 패널을 포함하는,
    디스플레이장치.
  10. 제9항에 있어서,
    상기 디스플레이 패널은,
    복수의 화소 영역들 및 상기 복수의 화소 영역들 사이의 복수의 비화소 영역들을 포함하고,
    상기 카메라는,
    상기 복수의 화소 영역들 중 적어도 하나의 화소 영역, 및 상기 복수의 비화소 영역들 중 적어도 하나의 비화소 영역과 광축 방향으로 오버랩되는,
    디스플레이장치.
  11. 제10항에 있어서,
    상기 디스플레이패널은,
    상기 복수의 화소 영역들 및 상기 복수의 비화소 영역들을 포함하는 기판;
    상기 기판의 상기 복수의 화소 영역들 상에 배치되는 제1 전극층;
    상기 제1 전극층 상에 배치되는 유기 발광층을 포함하고,
    상기 비화소 영역들은,
    상기 기판 상에서, 상기 제1 전극층 및 상기 유기 발광층이 배치되지 않은 개구 영역인,
    디스플레이장치.
  12. 제11항에 있어서,
    상기 디스플레이 패널은,
    상기 유기 발광층 상에 배치되는 제2 전극층을 포함하고,
    상기 제2 전극층은 광 투과성의 도전 물질로 형성되고, 상기 비화소 영역의 상부 영역을 덮는,
    디스플레이장치.
  13. 카메라를 통해 제1 영상을 획득하는 단계;
    상기 카메라를 광축을 중심으로 회전 각도(θ)만큼 회전시킨 상태에서, 상기 카메라를 통해 제1 회전 영상을 획득하는 단계;
    상기 회전 각도(θ)에 대응하는 보정 각도(-θ)를 기반으로, 상기 제1 회전 영상을 보정한 상기 제2 영상을 획득하는 단계; 및
    상기 제1 영상의 픽셀별 제1 픽셀 값 및 상기 제2 영상의 픽셀별 제2 픽셀 값 중 적어도 하나의 픽셀 값을 이용하여 제3 영상을 획득하는 단계를 포함하고,
    상기 제3 영상을 획득하는 단계는,
    상기 제1 픽셀 값과 상기 제2 픽셀 값을 비교하는 단계와,
    상기 비교 결과에 따라 상기 제1 픽셀 값 및 상기 제2 픽셀 값이 서로 다른 적어도 하나의 픽셀을 검출하는 단계와,
    상기 검출된 픽셀에 대해, 상기 제1 픽셀 값 및 상기 제2 픽셀 값 중 낮은 픽셀 값을 적용하여 상기 제3 영상을 생성하는 단계를 포함하는,
    디스플레이장치의 제어 방법.
  14. 제13항에 있어서,
    상기 제1 영상 및 상기 제1 회전 영상은 플레어 패턴을 포함하는 플레어 영상이며,
    상기 제1 영상에서의 상기 플레어 패턴의 위치는,
    상기 제1 회전 영상에서의 상기 플레어 패턴의 위치와 동일한,
    디스플레이장치의 제어 방법.
  15. 제14항에 있어서,
    상기 제2 영상은 플레어 패턴을 포함하는 플레어 영상이며,
    상기 제2 영상에서의 상기 플레어 패턴의 위치는,
    상기 제1 영상 및 상기 제1 회전 영상 중 적어도 어느 하나의 영상에서의 플레어 패턴의 위치와 다른,
    디스플레이장치의 제어 방법.
  16. 제13항에 있어서,
    상기 제2 영상의 획득 전에, 상기 회전 각도(θ)를 계산하는 단계를 포함하고,
    상기 회전 각도(θ)를 계산하는 단계는,
    상기 제1 영상에 포함된 적어도 하나의 객체에 대한 복수의 제1 윤곽선을 추출하는 단계와,
    상기 제1 회전 영상에 포함된 적어도 하나의 객체에 대한 복수의 제2 윤곽선을 추출하는 단계와,
    상기 복수의 제1 윤곽선으로부터 제1 대표 윤곽선을 추출하고, 상기 복수의 제2 윤곽선으로부터 제2 대표 윤곽선을 추출하는 단계와,
    상기 제1 대표 윤곽선과 상기 제2 대표 윤곽선 사이의 차이를 기준으로 상기 회전 각도(θ)를 계산하는 단계를 포함하는,
    디스플레이장치의 제어 방법.
  17. 제13항에 있어서,
    상기 제2 영상의 획득 전에, 상기 회전 각도(θ)를 계산하는 단계를 포함하고,
    상기 회전 각도(θ)를 계산하는 단계는,
    상기 제1 영상이 획득된 시점에서의 자이로 센서의 제1 센싱 값과, 상기 제1 회전 영상이 획득된 시점에서의 상기 자이로 센서의 제2 센싱 값을 비교하여, 상기 회전 각도(θ)를 계산하는 단계를 포함하는,
    디스플레이장치의 제어 방법.
  18. 제13항에 있어서,
    상기 제1 회전 영상을 획득하는 단계는,
    상기 카메라가 상기 광축을 중심으로 서로 다른 회전 각도만큼 각각 회전한 상태에서, 복수의 제1 회전 영상을 획득하는 단계를 포함하고,
    상기 제2 영상을 획득하는 단계는,
    상기 복수의 제1 회전 영상의 각각의 회전 각도를 기준으로, 복수의 제2 영상을 획득하는 단계를 포함하며,
    상기 제3 영상은 상기 제1 영상 및 상기 복수의 제2 영상을 이용하여 획득되는,
    디스플레이장치의 제어 방법.
KR1020210034182A 2021-03-16 2021-03-16 디스플레이장치 및 이의 제어 방법 KR20220129369A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210034182A KR20220129369A (ko) 2021-03-16 2021-03-16 디스플레이장치 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210034182A KR20220129369A (ko) 2021-03-16 2021-03-16 디스플레이장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20220129369A true KR20220129369A (ko) 2022-09-23

Family

ID=83445976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210034182A KR20220129369A (ko) 2021-03-16 2021-03-16 디스플레이장치 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR20220129369A (ko)

Similar Documents

Publication Publication Date Title
US9013613B2 (en) Sensor-equipped display apparatus and electronic apparatus
US10777122B2 (en) Electroluminescence display device and driving method thereof
CN111312755B (zh) 显示面板及显示装置
CN111726502B (zh) 电子设备及显示装置
RU2697478C2 (ru) Панель жидкокристаллического дисплея, терминал и способ управления фоторегистрацией
US10818736B2 (en) Display substrate of electronic device and method for manufacturing same
US11950484B2 (en) Display panel and manufacturing method therefor, and electronic device and imaging method therefor
EP3791562B1 (en) Terminal device and dual front-facing camera operating method
CN110493523A (zh) 图像显示方法、装置、终端及存储介质
US11538872B2 (en) Display structure, display panel using the same and display device using the same
EP3791571B1 (en) Terminal device and image capturing method
CN111261680A (zh) 一种显示面板及显示装置
JP2006005712A (ja) 携帯端末
JP2013198115A (ja) 情報処理端末装置
KR20210143063A (ko) 복수의 카메라들을 포함하는 전자 장치
EP2717568A2 (en) Imaging device and method
CN115004675A (zh) 电子设备
CN111834398B (zh) 显示模组和显示装置
KR20220129369A (ko) 디스플레이장치 및 이의 제어 방법
KR20220120038A (ko) 디스플레이장치 및 이의 제어 방법
KR20220032782A (ko) 디스플레이장치
CN110995902A (zh) 电子器件、电子装置及图像处理方法
CN115225740B (zh) 一种电子设备、显示屏及成像方法
US20240122039A1 (en) Display device and method for manufacturing the same
WO2023106010A1 (ja) 電子機器

Legal Events

Date Code Title Description
A201 Request for examination