KR20240079752A - 이미지 처리 장치 및 이미지 처리 방법 - Google Patents

이미지 처리 장치 및 이미지 처리 방법 Download PDF

Info

Publication number
KR20240079752A
KR20240079752A KR1020220162983A KR20220162983A KR20240079752A KR 20240079752 A KR20240079752 A KR 20240079752A KR 1020220162983 A KR1020220162983 A KR 1020220162983A KR 20220162983 A KR20220162983 A KR 20220162983A KR 20240079752 A KR20240079752 A KR 20240079752A
Authority
KR
South Korea
Prior art keywords
pixel
values
pixels
pixel values
target
Prior art date
Application number
KR1020220162983A
Other languages
English (en)
Inventor
최준혁
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020220162983A priority Critical patent/KR20240079752A/ko
Priority to US18/316,121 priority patent/US20240179263A1/en
Priority to CN202310827190.3A priority patent/CN118118808A/zh
Publication of KR20240079752A publication Critical patent/KR20240079752A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 기술은 이미지 처리 장치에 관한 것으로, 본 기술에 따른 이미지 처리 장치는, 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정된 커널에 대응하는 복수의 픽셀들로부터 출력된 픽셀값들의 평균값들 및 분산값들에 기초하여 상기 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트를 결정하고, 상기 평균값들 및 상기 분산값들은 상기 복수의 픽셀들에 포함된 컬러 필터들의 컬러들 각각에 대응하는 타겟 픽셀 세트 결정부 및 상기 타겟 픽셀 세트의 픽셀값들을 미리 결정된 컬러에 대응하는 제1 픽셀값들로 변환하고, 상기 타겟 픽셀 세트와 인접한 복수의 인접 픽셀들의 픽셀값들에 기초하여 상기 제1 픽셀값들을 상기 복수의 픽셀들의 배열 패턴에 대응하는 제2 픽셀값들로 보정하는 픽셀값 보정부를 포함할 수 있다.

Description

이미지 처리 장치 및 이미지 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}
본 발명은 이미지 처리 장치에 관한 것으로, 보다 구체적으로 본 발명은 이미지 처리 장치 및 이미지 처리 방법에 관한 것이다.
이미지 센서는 일반적으로 CCD(Charge Coupled Device) 이미지 센서와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구분될 수 있다. 최근, 제조비용이 저렴하고, 전력 소모가 적으며, 주변 회로와의 집적이 용이한　CMOS　이미지　센서가 주목 받고 있다.
스마트 폰, 태블릿 PC, 디지털 카메라 등에 포함된 이미지 센서는 외부 객체로부터 반사된 광을 전기적인 신호로 변환함으로써, 외부 객체에 대한 이미지 정보를 획득할 수 있다. 이미지 처리 장치는 이미지 센서로부터 수신한 픽셀값들에 기초하여 이미지 처리 동작을 수행할 수 있다.
이미지 센서는 자동초점 조절 동작을 위한 자동초점 픽셀들을 포함할 수 있다. 노말 픽셀과는 달리 자동초점 픽셀은 이미지에서 결함 픽셀로 취급되므로, 자동초점 픽셀의 픽셀값에 대한 보정 동작이 필요하다. 이미지의 복잡도가 낮은 영상에서 자동초점 픽셀값 보정 동작의 정확도를 높일 수 있는 방법이 필요하다.
본 발명의 실시 예는 복수의 자동초점 픽셀 세트들 중 픽셀값들 사이의 차이가 기준값 보다 작은 픽셀들이 포함된 영역인 평탄면에 해당하는 자동초점 픽셀 세트를 검출하고, 검출된 자동초점 픽셀 세트의 픽셀값을 노말 픽셀값들로 변환하고 인접 픽셀값들에 기초하여 보정함으로써, 평탄면에서 자동초점 픽셀값 보정 동작의 정확도를 향상시킬 수 있는 이미지 처리 장치 및 이미지 처리 방법을 제공한다.
본 발명의 실시 예에 따른 이미지 처리 장치는, 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정된 커널에 대응하는 복수의 픽셀들로부터 출력된 픽셀값들의 평균값들 및 분산값들에 기초하여 상기 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트를 결정하고, 상기 평균값들 및 상기 분산값들은 상기 복수의 픽셀들에 포함된 컬러 필터들의 컬러들 각각에 대응하는 타겟 픽셀 세트 결정부 및 상기 타겟 픽셀 세트의 픽셀값들을 미리 결정된 컬러에 대응하는 제1 픽셀값들로 변환하고, 상기 타겟 픽셀 세트와 인접한 복수의 인접 픽셀들의 픽셀값들에 기초하여 상기 제1 픽셀값들을 상기 복수의 픽셀들의 배열 패턴에 대응하는 제2 픽셀값들로 보정하는 픽셀값 보정부를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 처리 장치는, 복수의 노말 픽셀들 및 복수의 자동초점 픽셀들을 포함하는 복수의 픽셀들로부터 출력된 픽셀값들의 평균값들 및 분산값들에 기초하여 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트를 결정하는 타겟 픽셀 세트 결정부 및 상기 타겟 픽셀 세트의 픽셀값들을 상기 복수의 노말 픽셀들의 픽셀값들에 기초한 노말 픽셀값들로 변환하고, 상기 타겟 픽셀 세트와 인접한 복수의 인접 픽셀들의 픽셀값들에 기초하여 상기 노말 픽셀값들을 상기 복수의 픽셀들의 배열 패턴에 대응하는 픽셀값들로 보정하는 픽셀값 보정부를 포함할 수 있다. 상기 복수의 픽셀들은 상기 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정된 커널에 대응하고, 상기 평균값들 및 상기 분산값들은 상기 복수의 픽셀들에 포함된 컬러 필터들의 컬러들 각각에 대응할 수 있다.
본 발명의 실시 예에 따른 이미지 처리 방법은, 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정된 커널에 대응하는 복수의 픽셀들에 포함된 컬러 필터들의 컬러들 각각에 대응하는 평균값들과 분산값들을 계산하는 단계, 상기 평균값들과 상기 분산값들에 기초하여 상기 복수의 자동초점 픽셀 세트들 중 이미지의 복잡도가 기준값보다 낮은 영역인 평탄면에 대응하는 타겟 픽셀 세트를 결정하는 단계, 상기 타겟 픽셀 세트의 픽셀값들을 미리 결정된 컬러에 대응하는 제1 픽셀값들로 변환하는 단계 및 상기 타겟 픽셀 세트와 인접한 복수의 인접 픽셀들의 픽셀값들에 기초하여 상기 제1 픽셀값들을 상기 복수의 픽셀들의 배열 패턴에 대응하는 제2 픽셀값들로 보정하는 단계를 포함할 수 있다.
본 기술에 따르면, 복잡도가 낮은 이미지에서 자동초점(Phase Detection Auto Focus, PDAF) 픽셀의 픽셀값 보정시 발생될 수 있는 점 노이즈를 감소시킬 수 있는 이미지 처리 장치 및 이미지 처리 방법이 제공될 수 있다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 장치를 설명하기 위한 도면이다.
도 2는 이미지 센서에 포함된 컬러 필터 어레이의 패턴을 설명하기 위한 도면이다.
도 3은 이미지 센서에 포함된 노말 픽셀들과 자동초점 픽셀들을 포함하는 픽셀 어레이를 설명하기 위한 도면이다.
도 4는 자동초점 픽셀 세트에 기초하여 설정되는 커널을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 픽셀들에 포함되는 컬러 필터들의 컬러에 각각 대응하는 컬러별 평균값들과 타겟 픽셀 세트를 결정하는 임계값을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 타겟 픽셀 세트의 픽셀값들이 노말 픽셀값들로 변경된 커널을 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 타겟 픽셀 세트의 픽셀값들이 커널의 배열 패턴에 따라 픽셀값이 변경된 커널을 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따라 타겟 픽셀 세트의 픽셀값들이 보정된 커널을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따라 타겟 픽셀 세트의 픽셀값들을 커널의 배열 패턴에 대응하는 노말 픽셀값들로 보정하는 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 실시 예에 따라 타겟 픽셀 세트를 결정하기 위한 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 실시 예에 따라 타겟 픽셀 세트의 픽셀값들을 보정하는 방법을 설명하기 위한 순서도이다.
도 12는 본 발명의 실시 예에 따른　이미지　처리 장치를 포함하는 전자 장치를 나타내는 블록도이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 이미지 처리 장치(100)는 외부로부터 수신한 픽셀값들에 기초하여 이미지 처리 동작을 수행할 수 있다. 이미지 처리 장치(100)는 보정된 픽셀값들을 출력할 수 있다. 이미지 처리 장치(100)는 이미지 센서로부터 픽셀값들을 수신할 수 있다. 이미지 센서는 노말 픽셀들과 자동초점 픽셀들을 포함할 수 있다. 이미지 센서가 생성하는 픽셀값들은 자동초점 픽셀들의 픽셀값들을 포함할 수 있다.
자동초점 픽셀값들은 이미지에서 불균형을 유발할 수 있다. 이미지 처리 장치(100)는 자동초점 픽셀값들을 보정하여 이미지에 발생되는 노이즈를 감소시킬 수 있다. 본 발명의 실시 예에 따른 이미지 처리 장치(100)는 이미지 센서에 포함된 자동초점 픽셀 세트에 기초하여 설정되는 커널에 대응하는 픽셀들의 픽셀값들을 보정하고 이미지를 처리할 수 있다. 이미지 처리 장치(100)는 타겟 픽셀 세트 결정부(110) 및 픽셀값 보정부(120)를 포함할 수 있다.
타겟 픽셀 세트 결정부(110)는 서로 동일한 색상의 컬러 필터를 포함하는 픽셀들로부터 출력된 픽셀값들의 평균값들과 분산값들에 기초하여 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트를 결정할 수 있다.
픽셀값 보정부(120)는 타겟 픽셀 세트의 픽셀값들을 미리 결정된 방법에 따라 변경할 수 있다. 픽셀값 보정부(120)는 타겟 픽셀 세트의 인접 픽셀값들에 기초하여 타겟 픽셀 세트의 픽셀값들을 보정할 수 있다. 본 발명의 실시 예에서, 타겟 픽셀 세트의 인접 픽셀값들은 타겟 픽셀 세트부터 미리 결정된 범위에 포함되는 픽셀들의 픽셀값들을 의미할 수 있다. 인접 픽셀값들의 범위는 타겟 픽셀 세트의 위치, 거리 및 픽셀에 포함된 컬러 필터의 컬러에 따라 달라질 수 있다. 본 명세서에서, 픽셀의 컬러는 픽셀에 대응하는 컬러 필터의 컬러에 의해 정의될 수 있다.
본 발명의 다른 실시 예에서, 타겟 픽셀 세트 결정부(110)는 자동초점 픽셀 세트에 기초하여 설정되는 커널에 대응하는 픽셀들의 컬러에 따라 픽셀값들의 평균값들과 분산값들을 산출할 수 있다. 타겟 픽셀 세트 결정부(110)는 픽셀들의 컬러에 따른 픽셀값들의 평균값들과 분산값들에 기초하여 복수의 자동초점 픽셀 세트들 중 커널의 복잡도가 낮은 타겟 픽셀 세트를 결정할 수 있다. 타겟 픽셀 세트 결정부(110)는 컬러별 픽셀값들의 평균값에 기초하여 컬러별 임계값을 각각 설정할 수 있다. 타겟 픽셀 세트 결정부(110)는 컬러별 임계값과 컬러별 픽셀값들의 분산값에 기초하여 타겟 픽셀 세트를 결정할 수 있다. 타겟 픽셀 세트 결정부(110)는 컬러별 픽셀값들 각각의 분산값이 컬러별 임계값보다 작은 자동초점 픽셀 세트를 타겟 픽셀 세트로 결정할 수 있다.
노말 픽셀은 마이크로 렌즈와 일 대 일로 대응되고, 자동초점 픽셀은 하나의 마이크로 렌즈와 일 대 다수가 대응되므로, 자동초점 픽셀과 노말 픽셀은 픽셀의 특성이 서로 다를 수 있다. 픽셀의 특성 차이로 인하여 자동초점 픽셀값은 이미지를 표현할 때 노이즈로 취급될 수 있다. 픽셀값 보정부(120)는 타겟 픽셀 세트의 자동초점 픽셀들이 노말 픽셀들과 특성이 동일해지도록 타겟 픽셀 세트의 자동초점 픽셀값들을 변환할 수 있다. 픽셀값이 변환된 자동초점 픽셀은 가상의 노말 픽셀로 취급될 수 있다. 픽셀값 보정부(120)는 타겟 픽셀 세트의 자동초점 픽셀값들을 가상의 노말 픽셀값들로 변환할 수 있다.
픽셀값 보정부(120)는 타겟 픽셀 세트와 인접한 복수의 픽셀들의 픽셀값들에 기초하여 가상의 노말 픽셀값들을 커널의 배열 패턴에 대응하는 픽셀값들로 보정할 수 있다. 픽셀값 보정부(120)는 노말 픽셀과 자동초점 픽셀의 특성 차이에 따라 타겟 픽셀 세트의 자동초점 픽셀값들을 가상의 노말 픽셀값들로 변환할 수 있다. 픽셀값 보정부(120)는 인접 픽셀들에 포함된 컬러 필터들의 배열 패턴에 기초하여 타겟 픽셀 세트에 포함되는 타겟 픽셀들에 포함된 컬러 필터들의 컬러를 각각 결정할 수 있다. 픽셀값 보정부(120)는 가상의 노말 픽셀값들을 타겟 픽셀들에 포함된 컬러 필터들의 컬러에 대응하는 픽셀값들로 변환할 수 있다. 픽셀값 보정부(120)는 인접 픽셀값들 중 타겟 픽셀들에 포함된 컬러 필터들의 컬러에 대응하는 픽셀들의 평균 픽셀값에 기초하여 타겟 픽셀들의 픽셀값들을 보정할 수 있다.
도 2는 이미지 센서에 포함된 컬러 필터 어레이의 패턴을 설명하기 위한 도면이다.
도 2를 참조하면, 컬러 필터 어레이는 미리 결정된 패턴으로 배열될 수 있다. 본 발명의 실시 예에서, 이미지 처리 장치에 수신되는 픽셀값들을 출력하는 이미지 센서에 포함된 컬러 필터 어레이의 패턴은 노나 셀 패턴일 수 있다. 도 2에 도시된 컬러 필터 어레이의 패턴은 하나의 실시 예일뿐, 이에 한정되지 않는다. 컬러 필터 어레이의 패턴은 베이어 패턴, 쿼드 베이어 패턴 또는 헥사 데카 패턴일 수 있다.
노나 셀 패턴은 6 x 6 형태로 배열된 픽셀들을 각각 포함하는 복수의 셀 유닛들에 의해 구현될 수 있다. 복수의 셀 유닛들 각각은 그린(Gb, Gr) 컬러 필터를 가지는 18개의 픽셀들과 블루(B) 컬러 필터를 가지는 9개의 픽셀들, 및 레드(R) 컬러 필터를 가지는 9개의 픽셀들을 포함할 수 있다. 하나의 셀 유닛은 3 x 3 형태로 배열되는 4개의 픽셀 그룹들을 포함할 수 있다. 4개의 픽셀 그룹들 각각은 동일한 색상의 컬러 필터를 포함하는 픽셀들을 포함할 수 있다. 하나의 셀 유닛에서 그린(Gb, Gr) 컬러 필터를 가지는 픽셀들로 구성된 픽셀 그룹들은 서로 대각선 방향으로 배치될 수 있다. 하나의 셀 유닛에서 블루(B) 컬러 필터를 가지는 픽셀들로 구성된 픽셀 그룹과 레드(R) 컬러 필터를 가지는 픽셀들로 구성된 픽셀 그룹은 서로 대각선 방향으로 배치될 수 있다.
36개의 픽셀들(B, Gb, Gr, R)의 배치는 도 2에 도시된 배치 구조로 반드시 한정되는 것은 아니며, 앞서 설명한 노나 셀 패턴을 전제로 하되 다양하게 배치될 수 있다.
이미지 센서는 컬러 필터 어레이에 의해 결정된 컬러에 대응하는 픽셀값들을 생성할 수 있다. 이미지 센서에 의해 생성된 픽셀값들은 이미지 처리 장치로 전달될 수 있다. 본 발명의 실시 예에 따른 이미지 처리 장치는 수신한 픽셀값들에 기초하여 이미지 처리 동작을 수행할 수 있다.
도 3은 이미지 센서에 포함된 노말 픽셀들과 자동초점 픽셀들을 포함하는 픽셀 어레이를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 실시 에에 따른 이미지 처리 장치에 입력되는 이미지 센서에 포함된 픽셀 어레이는 노말 픽셀들과 자동초점 픽셀들을 포함할 수 있다. 도 3에서, 음영으로 표시된 픽셀들은 자동초점 픽셀들이고, 나머지 픽셀들은 노말 픽셀들일 수 있다.
이미지 센서는 복수의 픽셀들이 배열된 픽셀 어레이를 포함할 수 있다. 노말 픽셀은 입사된 빛을 전기적인 신호로 변환하여 이미지를 생성하기 위한 픽셀일 수 있다. 노말 픽셀에 포함된 포토 다이오드는 그 상부에 배치된 마이크로 렌즈와 1:1로 대응할 수 있다.
자동초점 픽셀은 마이크로 렌즈를 공유하는 픽셀들 사이의 위상 차를 이용하여 자동초점 조절 동작을 수행하기 위한 픽셀일 수 있다. 자동초점 픽셀들은 마이크로 렌즈와 인접하는 복수의 픽셀들이 대응하는 픽셀들일 수 있다. 예를 들어, 자동초점 픽셀들은 서로 인접하게 배치될 수 있고, 인접하게 배치된 복수의 자동초점 픽셀들은 하나의 마이크로 렌즈를 공유할 수 있다. 인접하게 배치되어 하나의 마이크로 렌즈를 공유하는 복수의 자동초점 픽셀들은 하나의 자동초점 픽셀 세트를 형성할 수 있다.
도 3에 도시되는 1개의 자동초점 픽셀 세트와 10개의 노말 픽셀들은 픽셀 어레이의 일부일 수 있다. 픽셀 어레이는 복수의 자동초점 픽셀 세트들을 포함할 수 있다. 자동초점 픽셀 세트들은 미리 결정된 위치에 위치될 수 있다. 자동초점 픽셀 세트들은 일정한 간격으로 픽셀 어레이에 배치될 수 있다. 본 발명의 다른 실시 예에서, 자동초점 픽셀 세트들은 불규칙적으로 픽셀 어레이에 배치될 수 있다.
도 3에서는 설명의 편의를 위해 4개의 픽셀들이 하나의 마이크로 렌즈를 공유하는 것으로 도시되고 있으나 이에 한정되는 것은 아니며, 하나의 마이크로 렌즈를 공유하는 자동초점 픽셀들의 개수는 달라질 수 있다. 예를 들어, 일 방향으로 나란히 배치된 2개의 자동초점 픽셀들이 하나의 마이크로 렌즈를 공유할 수도 있다.
자동초점 픽셀에서 생성된 자동초점 픽셀값은 노말 픽셀에서 생성된 노말 픽셀값과 서로 다를 수 있다. 노말 픽셀에 포함된 마이크로 렌즈와 자동초점 픽셀들이 공유하는 마이크로 렌즈는 모양, 크기 및/또는 특성이 서로 다르므로, 동일한 빛이 입력되어 동일한 색상의 컬러 필터를 통과하더라도 출력되는 픽셀값은 달라질 수 있다. 본 발명의 실시 예에 따른 이미지 처리 장치는 결함 픽셀로 판단된 자동초점 픽셀들의 자동초점 픽셀값들에 대한 보정 동작을 수행할 수 있다. 이미지 처리 장치는 자동초점 픽셀값들을 보정하여 노말 픽셀에 대응하는 픽셀값으로 변경할 수 있다.
도 4는 자동초점 픽셀 세트에 기초하여 설정되는 커널을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 자동초점 픽셀 세트에 기초하여 설정되는 커널이 도시될 수 있다. 커널의 크기는 8 x 6일 수 있다. 커널은 이미지 센서로부터 출력된 픽셀값들에 대한 연산 처리를 위한 논리적 구성일 수 있다. 설명의 편의를 위해, 도 4에서 커널은 이미지 상에 설정되는 소정의 영역으로 도시될 수 있다. 본 발명의 실시 예에 따른 이미지 처리 장치에서, 커널은 자동초점 픽셀 세트가 커널의 중심에 위치하도록 설정될 수 있다. 자동초점 픽셀 세트는 4개의 자동초점 픽셀들을 포함할 수 있다. 도 4에서, 컬러 필터 어레이는 노나 셀 패턴으로 배열될 수 있고, 커널은 컬러 필터 어레이의 일부에 대응될 수 있다. 도 4에 도시된 커널은 본 발명의 일 실시 예에 불과할 뿐, 커널의 모양, 크기, 패턴 등은 다양할 수 있다.
커널은 이미지 센서에 포함된 자동초점 픽셀 세트와 노말 픽셀들에 대응하는 영역을 포함하도록 설정될 수 있다. 커널에 대응하는 노말 픽셀들은 그린(G), 레드(R), 및 블루(B) 컬러 필터 중 하나를 포함할 수 있다. 본 발명의 실시 예에 따른 이미지 처리 장치에 포함된 타겟 픽셀 세트 결정부는 커널에 포함된 자동초점 픽셀 세트가 타겟 픽셀 세트인지 여부를 결정할 수 있다.
이미지 센서의 픽셀 어레이는 복수의 자동초점 픽셀 세트들을 포함할 수 있다. 이미지 처리 장치는 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정되는 커널에 대응하는 픽셀들의 픽셀값들을 보정하고 이미지를 처리할 수 있다. 타겟 픽셀 세트 결정부는 픽셀들의 각 컬러별 픽셀값들의 평균값들과 분산값들에 기초하여 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트를 결정할 수 있다.
타겟 픽셀 세트 결정부는 커널의 48개의 픽셀값들 중 자동초점 픽셀값을 제외한 44개의 픽셀값들에 기초하여 컬러 필터들의 컬러에 따라 픽셀값들의 평균값들과 분산값들을 계산할 수 있다. 타겟 픽셀 세트 결정부는 그린 컬러 필터를 포함하는 22개 픽셀들의 픽셀값들에 대한 평균 그린 픽셀값(Mg), 레드 컬러 필터를 포함하는 10개 픽셀들의 픽셀값들에 대한 평균 레드 픽셀값(Mr) 및 블루 컬러 필터를 포함하는 12개 픽셀들의 픽셀값들에 대한 평균 블루 픽셀값(Mb)을 산출할 수 있다. 타겟 픽셀 세트 결정부는 22개의 그린 픽셀값들에 대한 분산을 나타내는 그린 분산값(Vg), 10개의 레드 픽셀값들에 대한 분산을 나타내는 레드 분산값(Vr) 및 12개의 블루 픽셀값들에 대한 분산을 나타내는 블루 분산값(Vb)을 산출할 수 있다.
타겟 픽셀 세트 결정부는 평균 그린 픽셀값(Mg), 평균 레드 픽셀값(Mr) 및 평균 블루 픽셀값(Mb)에 기초하여 그린 임계값(Gth), 레드 임계값(Rth) 및 블루 임계값(Bth)을 설정할 수 있다. 타겟 픽셀 세트 결정부는 그린 임계값(Gth)과 그린 분산값(Vg)을 비교한 결과, 레드 임계값(Rth)과 레드 분산값(Vr)을 비교한 결과 및 블루 임계값(Bth)과 블루 분산값(Vb)을 비교한 결과에 기초하여 자동초점 픽셀 세트가 타겟 픽셀 세트에 해당되는지 결정할 수 있다.
본 발명의 다른 실시 예에서, 커널이 커널 설정에 기초가 된 자동초점 픽셀들과 다른 자동초점 픽셀들에 대응하는 영역을 포함하는 경우, 타겟 픽셀 세트 결정부는 커널 영역에 대응하는 픽셀들 중 자동초점 픽셀값들을 제외한 노말 픽셀값들에 기초하여 컬러 필터의 컬러에 따른 픽셀값들의 평균값들과 분산값들을 계산할 수 있다.
도 5는 본 발명의 실시 예에 따른 픽셀들에 포함되는 컬러 필터들의 컬러에 각각 대응하는 컬러별 평균값들과 타겟 픽셀 세트를 결정하는 임계값을 설명하기 위한 도면이다.
도 5를 참조하면, 컬러별 평균값 구간들과 평균값 구간들에 대응하는 임계값들이 도시될 수 있다. 도 5에서는 설명의 편의를 위하여, 각 컬러에 대응되는 평균값 구간들이 3개의 구간들로 설정되었지만, 평균값 구간들은 도 5에 도시된 것과 다르게 설정될 수 있다. 예를 들어, 레드 픽셀들의 평균값 구간들은 2개의 구간들로 설정될 수 있고, 블루 픽셀들의 평균값 구간들은 4개 이상의 구간들로 설정될 수 있다.
타겟 픽셀 세트 결정부는 복수의 평균값 구간들을 설정할 수 있다. 타겟 픽셀 세트 결정부는 복수의 평균값 구간에 대응하는 제1 임계값들을 생성할 수 있다.
도 5에서, 컬러별로 3개의 평균값 구간들이 설정될 수 있고, 평균값 구간들에 대응하는 제1 임계값들(Gth1, Gth2, Gth3, Rth1, Rth2, Rth3, Bth1, Bth2, Bth3)이 각각 설정될 수 있다. 구체적으로, 평균 그린 픽셀값에 대해, 제1 구간(0≤Mg<Ga)에 대응하는 임계값(Gth1)이 설정되고, 제2 구간(Ga≤Mg<Gb)에 대응하는 임계값(Gth2)이 설정되고, 제3 구간(Gb≤Mg)에 대응하는 임계값(Gth3)이 설정될 수 있다. 마찬가지로, 평균 레드 픽셀값과 평균 블루 픽셀값에 대해 복수의 구간들과 임계값들이 설정될 수 있다.
본 발명의 실시 예에서, 컬러별로 평균값 구간들과 대응하는 임계값들이 서로 다르게 설정될 수 있다. 컬러에 따라 대응되는 빛의 파장이 다르므로, 설정되는 평균값의 구간들과 임계값들은 서로 다를 수 있다.
타겟 픽셀 세트 결정부는 평균값의 크기에 기초하여 임계값을 설정할 수 있다. 예를 들어, 평균값의 크기가 작은 것은 센싱된 이미지가 어두운 것을 의미할 수 있으므로, 낮은 임계값이 설정될 수 있다. 반대로, 타겟 픽셀 세트 결정부는 평균값의 크기가 큰 구간에 대하여 높은 임계값을 설정함으로써, 밝은 이미지의 복잡도를 판단할 수 있다.
본 발명의 실시 예에서, 타겟 픽셀 세트 결정부는 픽셀들에 포함된 컬러 필터의 컬러에 따라 복수의 평균값 구간들과 제1 임계값들을 서로 다르게 생성할 수 있다. 예를 들어, 픽셀들에 포함된 컬러 필터의 컬러가 그린, 레드, 블루일 때, 그린 컬러 필터를 포함하는 픽셀들의 평균 픽셀값이 포함되는 영역들과 레드 컬러 필터를 포함하는 픽셀들의 평균 픽셀값이 포함되는 영역들은 서로 다를 수 있다.
타겟 픽셀 세트 결정부는 픽셀들에 포함되는 컬러 필터들의 컬러들에 각각 대응하는 픽셀값들의 평균값들에 기초하여 제1 임계값들 중 하나를 픽셀들에 포함된 컬러 필터들의 컬러들에 대응하는 제2 임계값들로 결정할 수 있다. 타겟 픽셀 세트 결정부는 픽셀들에 포함된 컬러 필터들의 컬러에 각각 대응하는 컬러별 픽셀값들의 분산값들이 제2 임계값들보다 작은 것에 대응하여 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트를 결정할 수 있다.
타겟 픽셀 세트 결정부는 컬러별 평균값들(Mg, Mr, Mb)에 기초하여 제1 임계값들(Gth1, Gth2, Gth3, Rth1, Rth2, Rth3, Bth1, Bth2, Bth3) 중 각 컬러들에 대응하는 제2 임계값들을 결정할 수 있다. 예를 들어, Gth2, Rth1 및 Bth3가 제2 임계값들로 결정될 수 있다. 타겟 픽셀 세트 결정부는 그린 분산값(Vg)이 Gth2보다 작고, 레드 분산값(Vr)이 Rth1보다 작고, 블루 분산값(Vb)이 Bth3보다 작을 때의 자동초점 픽셀 세트를 타겟 픽셀 세트로 결정할 수 있다. 본 발명의 실시 예에서, 타겟 픽셀 세트는 타겟 픽셀값들(T1, T2, T3, T4)을 포함할 수 있다.
본 발명의 실시 예에서, 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트로 결정되지 않은 나머지 자동초점 픽셀 세트들에 대응되는 자동초점 픽셀값들은 비선형 함수를 통해 가상의 노말 픽셀값으로 변경될 수 있다. 자동초점 픽셀들의 주변 픽셀값들의 방향성을 기초로 미리 결정된 위치의 픽셀값들을 이용하여 자동초점 픽셀값들이 가상의 노말 픽셀값들로 보정될 수 있다.
도 6은 본 발명의 실시 예에 따른 타겟 픽셀 세트의 픽셀값들이 노말 픽셀값들로 변경된 커널을 나타내는 도면이다.
도 6을 참조하면, 도 4에 도시된 타겟 픽셀 세트에 포함되는 픽셀값들(T1, T2, T3, T4)이 미리 결정된 컬러에 대응하는 노말 픽셀값들(G1', G2', G3', G4')로 변환될 수 있다. 픽셀값 보정부는 타겟 픽셀 세트의 픽셀값들을 미리 결정된 컬러에 대응하는 제1 픽셀값들로 변환할 수 있다. 본 발명의 실시 예에서, 미리 결정된 컬러는 그린 컬러일 수 있다. 본 발명의 다른 실시 예에서, 자동초점 픽셀값들은 레드 컬러 또는 블루 컬러에 대응하는 픽셀값들로 변환될 수 있다.
픽셀값 보정부는 자동초점 픽셀값들(T1, T2, T3, T4)의 평균값(Mt)을 계산할 수 있다. 평균값(Mt)은 아래 식과 같다.
Mt = (T1 + T2 + T3 + T4)/4
픽셀값 보정부는 타겟 픽셀 세트의 인접 픽셀값들에 기초하여 제1 픽셀값들을 커널의 배열 패턴에 대응하는 제2 픽셀값들로 보정할 수 있다. 픽셀값 보정부는 노말 픽셀값과 자동초점 픽셀값 사이의 비율에 기초하여 캘리브레이션 게인값(Gc)을 산출할 수 있다. 픽셀값 보정부는 타겟 픽셀 세트의 평균 픽셀값과 캘리브레이션 게인값에 기초하여 제1 픽셀값들을 생성할 수 있다.
타겟 픽셀 세트 결정부는 자동초점 픽셀값들(T1, T2, T3, T4)의 평균값(Mt)과 캘리브레이션 게인값(Gc)에 기초하여 자동초점 픽셀값들(T1, T2, T3, T4)을 그린 컬러 필터를 포함하는 픽셀의 노말 픽셀값들(G1', G2', G3', G4')로 변환할 수 있다. 그린 컬러 필터를 포함하는 픽셀의 노말 픽셀값들(G1', G2', G3', G4')은 아래 식과 같다.
G1' = (T1+Mt)/2 * Gc
G2' = (T2+Mt)/2 * Gc
G3' = (T3+Mt)/2 * Gc
G4' = (T4+Mt)/2 * Gc
본 발명의 실시 예에서, 그린 컬러 필터를 포함하는 픽셀의 노말 픽셀값들(G1', G2', G3', G4')은 제1 픽셀값들일 수 있다. 픽셀값 보정부는 타겟 픽셀 세트의 자동초점 픽셀값들(T1, T2, T3, T4)을 제1 픽셀값들로 변환할 수 있다.
도 7은 본 발명의 실시 예에 따른 타겟 픽셀 세트의 픽셀값들이 커널의 배열 패턴에 따라 픽셀값이 변경된 커널을 나타내는 도면이다.
도 7을 참조하면, 타겟 픽셀들에 대응하는 노말 픽셀값들(G1', G2', G3', G4')이 커널의 배열 패턴에 대응하는 노말 픽셀값들로 변환될 수 있다. 도 7은 커널의 배열 패턴의 실시 예를 예시적으로 나타내는 것일 뿐이므로, 커널의 배열 패턴은 다양할 수 있다. 커널의 배열 패턴에 따라 노말 픽셀값들(G1', G2', G3', G4')은 블루 컬러 필터를 포함하는 픽셀의 픽셀값 또는 레드 컬러 필터를 포함하는 픽셀의 픽셀값으로 변환되거나, 그린 컬러 필터를 포함하는 픽셀의 픽셀값이 유지될 수 있다.
픽셀값 보정부는 타겟 픽셀 세트에 포함되는 타겟 픽셀들의 컬러를 타겟 픽셀과 인접한 인접 픽셀들에 포함된 컬러 필터들의 배열 패턴에 기초하여 각각 결정할 수 있다. 픽셀값 보정부는 제1 픽셀값들을 타겟 픽셀들의 컬러에 대응하는 제3 픽셀값들로 변환할 수 있다. 픽셀값 보정부는 인접 픽셀값들 중 타겟 픽셀들의 컬러에 대응하는 픽셀들의 평균 픽셀값과 제3 픽셀값들에 기초하여 제2 픽셀값을 계산할 수 있다.
본 발명의 실시 예에서, 픽셀값 보정부는 커널의 배열 패턴에 기초하여 그린 컬러 필터를 포함하는 픽셀의 노말 픽셀값들(G1', G2', G3', G4') 중 일부를 레드 컬러 필터를 포함하는 픽셀의 노말 픽셀값들로 변환할 수 있다. 커널의 배열 패턴에 따르면, 타겟 픽셀들 T1, T2는 그린 컬러 필터를 포함하는 픽셀들로 변환되고, 타겟 픽셀들 T3, T4는 레드 컬러 필터를 포함하는 픽셀들로 변환될 수 있다.
자동초점 픽셀들은 그린 컬러 필터를 포함하는 픽셀의 노말 픽셀값들(G1', G2', G3', G4')로 변환되므로, 픽셀값 보정부는 G3'과 G4'을 R1'과 R2'으로 변환함으로써 타겟 픽셀들에 포함된 컬러 필터의 컬러를 커널의 배열 패턴에 대응시킬 수 있다.
픽셀값 보정부는 평균 그린 픽셀값(Mg) 및 평균 레드 픽셀값(Mr)에 기초하여 그린 컬러 픽셀값을 레드 컬러 필터를 포함하는 픽셀의 픽셀값으로 변환할 수 있다. 레드 컬러 필터를 포함하는 픽셀의 픽셀값들 R1' 및 R2'은 아래 식과 같다.
R1' = G3' * Mr/Mg
R2' = G4' * Mr/Mg
본 발명의 실시 예에서, 그린 컬러 필터를 포함하는 픽셀의 노말 픽셀값인 G1' 및 G2'와 레드 컬러 필터를 포함하는 픽셀의 노말 픽셀값인 R1' 및 R2'은 제3 픽셀값들일 수 있다. 제3 픽셀값들은 인접 픽셀값들에 의해 제2 픽셀값들로 보정될 수 있다.
도 8은 본 발명의 실시 예에 따라 타겟 픽셀 세트의 픽셀값들이 보정된 커널을 설명하기 위한 도면이다.
도 8을 참조하면, 자동초점 픽셀값들에 의해 발생되는 점 노이즈가 제거된 커널이 도시될 수 있다. 자동초점 픽셀값들은 커널의 배열 패턴에 대응되는 노말 컬러 픽셀값들로 변환될 수 있다. 픽셀값 보정부는 타겟 픽셀 세트의 인접 픽셀값들에 기초하여 타겟 픽셀 세트의 노말 컬러 픽셀값들을 보정할 수 있다.
픽셀값 보정부는 보정되는 픽셀과 포함된 컬러 필터의 컬러가 동일한 인접 픽셀들의 평균 픽셀값에 기초하여 픽셀값들을 보정할 수 있다. 구체적으로, 픽셀값 보정부는 G1'과 포함된 컬러 필터의 컬러가 동일한 인접 픽셀들(G1, G2)의 평균값(Mg1), G2'과 포함된 컬러 필터의 컬러가 동일한 인접 픽셀들(G2, G3, G4)의 평균값(Mg2), R1'과 포함된 컬러 필터의 컬러가 동일한 인접 픽셀들(R1, R2)의 평균값(Mr1) 및 R2'과 포함된 컬러 필터의 컬러가 동일한 인접 픽셀들(R2, R3, R4)의 평균값(Mr2)을 계산할 수 있다. 평균값들(Mg1, Mg2, Mr1, Mr2)은 아래 식과 같다.
Mg1 = (G1 + G2)/2
Mg2 = (G2 + G3 +G4)/3
Mr1 = (R1+ R2)/2
Mr2 = (R2 + R3 + R4)/3
픽셀값 보정부는 평균값들(Mg1, Mg2, Mr1, Mr2)과 픽셀값들(G1', G2', R1', R2')의 평균으로 타겟 픽셀 세트의 픽셀값들을 보정할 수 있다. 보정된 픽셀값들(G1'', G2'', R1'', R2'')은 아래 식과 같다.
G1'' = (G1' + Mg1)/2
G2'' = (G2' + Mg2)/2
R1'' = (R1' + Mr1)/2
R2'' = (R2' + Mr2)/2
타겟 픽셀 세트의 자동초점 픽셀값들(T1, T2, T3, T4)은 점 노이즈가 제거된 커널의 배열 패턴에 대응되는 노말 픽셀값들(G1'', G2'', R1'', R2'')로 보정될 수 있다. 본 발명의 실시 예에서, 점 노이즈가 제거된 커널의 배열 패턴에 대응되는 노말 픽셀값들(G1'', G2'', R1'', R2'')은 제2 픽셀값들일 수 있다.
본 발명의 다른 실시 예에서, 픽셀값 보정부는, 컬러별 평균값들(Mg, Mr, Mb) 또는 컬러별 분산값들(Vg, Vr, Vb)에 기초하여 제3 픽셀값들에 대한 가중치를 결정하고, 가중치에 기초하여 제3 픽셀값들을 제2 픽셀값들로 보정할 수 있다. 예를 들어, 픽셀값 보정부는 컬러별 평균값들(Mg, Mr, Mb) 또는 컬러별 분산값들(Vg, Vr, Vb)에 기초하여 제3 픽셀값들에 k만큼의 가중치를 부여하고, 인접 픽셀들의 평균값들(Mg1, Mg2, Mr1, Mr2)에 m만큼의 가중치를 부여할 수 있다. 픽셀값 보정부는 제3 픽셀값들과 인접 픽셀들의 평균값들의 가중치 합산을 수행하여 제2 픽셀값들을 산출할 수 있다.
본 발명의 또 다른 실시 예에서, 커널의 배열 패턴이 달라질 수 있다. 커널의 배열 패턴에 따라 타겟 픽셀 세트의 자동초점 픽셀값들이 그린 컬러 필터를 포함하는 픽셀들의 픽셀값들과 블루 컬러 필터를 포함하는 픽셀들의 픽셀값들로 보정될 수 있다.
도 9는 본 발명의 실시 예에 따라 타겟 픽셀 세트의 픽셀값들을 커널의 배열 패턴에 대응하는 노말 픽셀값들로 보정하는 방법을 설명하기 위한 순서도이다.
도 9를 참조하면, 이미지 처리 장치는 외부로부터 수신한 픽셀값들에 기초하여 복수의 자동초점 픽셀 세트들 중 평탄면에 대응하는 자동초점 픽셀 세트에 대응하는 픽셀값들을 보정할 수 있다. 이미지 처리 장치는 이미지 내에 발생될 수 있는 점 노이즈를 제거할 수 있다. 본 발명의 실시 예에서, 평탄면은 이미지의 복잡도가 낮은 영역을 의미할 수 있다. 이미지의 복잡도는 인접 픽셀들의 픽셀값 차이에 기초하여 결정될 수 있다. 평탄면에서 픽셀값들의 변화가 크지 않으므로, 주변 픽셀값들을 이용해 자동초점 픽셀값들을 보정하는 것이 노이즈 제거에 도움될 수 있다.
S910 단계에서, 타겟 픽셀 세트 결정부는 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정된 커널에 대응하는 복수의 픽셀들에 포함된 컬러 필터들의 컬러들 각각에 대응하는 평균값들과 분산값들을 계산할 수 있다. 타겟 픽셀 세트 결정부는 그린 컬러, 레드 컬러 및 블루 컬러에 대응되는 픽셀들의 픽셀값들의 평균값들와 분산값들을 각각 계산할 수 있다.
본 발명의 실시 예에서, 타겟 픽셀 세트 결정부는 커널의 크기를 조절할 수 있다. 타겟 픽셀 세트 결정부는 평탄면 판단에 대한 정확도를 높이기 위하여 커널의 크기를 증가시킬 수 있다. 본 발명의 다른 실시 예에서, 타겟 픽셀 세트 결정부는 평탄면 결정에 대한 리소스를 절약하기 위해서 커널 크기를 줄일 수 있다.
S920 단계에서, 타겟 픽셀 세트 결정부는 컬러 필터들의 컬러들에 각각 대응하는 픽셀값들의 평균값들과 분산값들에 기초하여 복수의 자동초점 픽셀 세트들 중 평탄면에 대응하는 타겟 픽셀 세트를 결정할 수 있다. 타겟 픽셀 세트 결정부는 컬러 필터들의 컬러들에 각각 대응하는 픽셀값들의 평균값들에 기초하여 임계값들을 설정할 수 있다. 타겟 픽셀 세트 결정부는 설정된 임계값들와 컬러 필터들의 컬러들에 각각 대응하는 픽셀값들의 분산값들을 비교할 수 있다. 타겟 픽셀 세트 결정부는 컬러 필터들의 컬러들에 각각 대응하는 픽셀값들의 분산값들이 임계값들보다 모두 작은 자동초점 픽셀 세트를 타겟 픽셀 세트로 결정할 수 있다.
S930 단계에서, 픽셀값 보정부는 타겟 픽셀 세트의 픽셀값들을 미리 결정된 컬러에 대한 제1 픽셀값들로 변환할 수 있다. 미리 결정된 컬러는 그린 컬러일 수 있다. 픽셀값 보정부는 노말 픽셀과 자동초점 픽셀의 특징 차이에 기초하여 자동초점 픽셀값들을 가상의 노말 픽셀값들로 변환할 수 있다.
S940 단계에서, 픽셀값 보정부는 타겟 픽셀 세트의 인접 픽셀값들에 기초하여 제1 픽셀값들을 커널의 배열 패턴에 대응하는 제2 픽셀값들로 보정할 수 있다. 픽셀값 보정부는 인접 픽셀들 중 타겟 픽셀과 포함된 컬러 필터의 컬러가 동일한 인접 픽셀들의 평균 픽셀값을 계산할 수 있다. 픽셀값 보정부는 평균 픽셀값에 기초하여 타겟 픽셀값들을 보정할 수 있다.
도 10은 본 발명의 실시 예에 따라 타겟 픽셀 세트를 결정하기 위한 방법을 설명하기 위한 순서도 이다.
도 10을 참조하면, 타겟 픽셀 세트 결정부는 복수의 자동초점 픽셀 세트들 중 복잡도가 낮은 커널에 포함된 자동초점 세트를 검출할 수 있다. 타겟 픽셀 세트 결정부는 인접 픽셀값들에 기초하여 보정될 타겟 픽셀 세트를 결정할 수 있다.
S1010 단계에서, 타겟 픽셀 세트 결정부는 복수의 평균값 구간들을 설정할 수 있다. 타겟 픽셀 세트 결정부는 컬러 필터의 컬러별로 서로 다른 평균값 구간들을 설정할 수 있다. 타겟 픽셀 세트 결정부는 컬러별 평균값의 크기에 기초하여 평균값 구간들의 크기를 다르게 설정할 수 있다.
S1020 단계에서, 타겟 픽셀 세트 결정부는 복수의 평균값 구간들에 대응하는 임계값들을 각각 설정할 수 있다. 타겟 픽셀 세트 결정부는 컬러 필터의 컬러별로 서로 다른 임계값들을 설정할 수 있다. 컬러 필터의 컬러별로 빛의 파장이 다르므로, 설정되는 임계값들도 컬러별로 다를 수 있다.
S1030 단계에서, 타겟 픽셀 세트 결정부는 컬러별 픽셀값들의 평균값들에 대응하는 컬러별 임계값들을 결정할 수 있다. 예를 들어, 타겟 픽셀 세트 결정부는 그린 컬러 평균값에 대응하는 그린 컬러 임계값을 결정하고, 레드 컬러 평균값에 대응하는 레드 컬러 임계값을 결정하고, 블루 컬러 평균값에 대응하는 블루 컬러 임계값을 결정할 수 있다.
S1040 단계에서, 타겟 픽셀 세트 결정부는 컬러별 임계값들에 기초하여 컬러별 픽셀값들의 분산값들과 비교하여 타겟 픽셀 세트를 결정할 수 있다. 타겟 픽셀 세트 결정부는 컬러별 픽셀값들의 분산값들이 모두 컬러별 임계값들보다 작은 자동초점 픽셀 세트를 타겟 픽셀 세트로 결정할 수 있다. 예를 들어, 그린 컬러 분산값이 그린 컬러 임계값보다 작고, 레드 컬러 분산값이 레드 컬러 임계값보다 작고, 블루 컬러 분산값이 블루 컬러 임계값보다 작은 커널에 포함된 자동초점 픽셀 세트가 타겟 픽셀 세트로 결정될 수 있다.
도 11은 본 발명의 실시 예에 따라 타겟 픽셀 세트의 픽셀값들을 보정하는 방법을 설명하기 위한 순서도이다.
도 11을 참조하면, 픽셀값 보정부는 자동초점 픽셀값들을 커널의 배열 패턴에 대응되는 가상의 노말 컬러 픽셀값들로 변환하고, 변환된 가상의 노말 컬러 픽셀값들을 포함된 컬러 필터의 컬러가 동일한 인접 픽셀값들에 기초하여 보정할 수 있다.
S1110 단계에서, 픽셀값 보정부는 자동초점 픽셀값과 노말 픽셀값의 차이를 반영한 캘리브레이션 게인값을 계산할 수 있다. 캘리브레이션 게인값이 자동초점 픽셀값들에 곱해지면 자동초점 픽셀값과 노말 픽셀값의 차이가 보상될 수 있다.
S1120 단계에서, 픽셀값 보정부는 타겟 픽셀 세트의 평균 픽셀값과 캘리브레이션 게인값에 기초하여 제1 픽셀값들을 생성할 수 있다. 제1 픽셀값들은 미리 결정된 컬러에 대응하는 가상의 노말 픽셀값들일 수 있다. 본 발명의 실시 예에서, 자동초점 픽셀들의 컬러는 그린 컬러일 수 있다.
S1130 단계에서, 픽셀값 보정부는 커널의 배열 패턴에 기초하여 타겟 픽셀들에 포함되는 컬러 필터의 컬러를 각각 결정할 수 있다. 예를 들어, 픽셀값 보정부는 타겟 픽셀들에 포함되는 컬러 필터들 중 일부만을 다른 컬러로 결정할 수 있다. 본 발명의 실시 예에서, 타겟 픽셀들에 포함되는 컬러 필터들의 컬러는 그린 컬러와 블루 컬러 또는 그린 컬러와 레드 컬러일 수 있다. 본 발명의 다른 실시 예에서, 타겟 픽셀들에 포함되는 컬러 필터들의 컬러는 모두 동일할 수 있다.
S1140 단계에서, 픽셀값 보정부는 제1 픽셀값들을 타겟 픽셀들에 포함되는 컬러 필터들의 컬러에 대응하는 제3 픽셀값들로 변환할 수 있다. 픽셀값 보정부는 커널에 대응하는 노말 픽셀들의 픽셀값들의 평균값들의 컬러별 비율을 계산할 수 있다. 픽셀값 보정부는 계산된 컬러별 비율을 픽셀값들에 곱하여 픽셀들에 포함된 컬러 필터의 컬러를 변경할 수 있다.
S1150 단계에서, 픽셀값 보정부는 인접 픽셀값들 중 타겟 픽셀들에 포함된 컬러 필터의 컬러에 대응하는 픽셀들의 평균 픽셀값과 제3 픽셀값들에 기초하여 제2 픽셀값들을 계산할 수 있다. 제2 픽셀값들을 포함하는 커널은 점 노이즈 발생이 감소될 수 있다.
본 발명의 실시 예에서, 픽셀값 보정부는 컬러별 평균값들 또는 컬러별 분산값들에 기초하여 제 3 픽셀값들에 대한 가중치를 결정할 수 있다. 픽셀값 보정부는 결정된 가중치에 기초하여 제2 픽셀값들을 산출할 수 있다. 구체적으로, 픽셀값 보정부는 가중치가 곱해진 제3 픽셀값들과 인접 픽셀값들의 평균 픽셀값의 평균값을 계산하여 제2 픽셀값들을 산출할 수 있다.
도 12는 본 발명의 실시 예에 따른　이미지　처리 장치를 포함하는 전자 장치를 나타내는 블록도이다.
도 12를 참조하면, 전자 장치(2000)는　이미지　센서(2010), 프로세서(2020), 저장 장치(STORAGE DEVICE)(2030), 메모리 장치(MEMORY DEVICE)(2040), 입력 장치(2050) 및 출력 장치(2060)를 포함할 수 있다. 도 12에는 도시되지 않았지만, 전자 장치(2000)는 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
이미지　센서(2010)는 입사광에 상응하는　이미지　데이터를 생성할 수 있다. 본 발명의 실시예에서, 이미지 센서(2010)는 노말 픽셀값들과 자동초점 픽셀값들을 포함하는 이미지 데이터를 생성할 수 있다. 이미지 데이터는 프로세서(2020)으로 전달되어 처리될 수 있다. 출력 장치(2060)는 이미지　데이터를 표시할 수 있다. 저장 장치(2030)는 이미지　데이터를 저장할 수 있다. 프로세서(2020)는　이미지　센서(2010), 출력 장치(2060) 및 저장 장치(2030)의 동작을 제어할 수 있다.
프로세서(2020)는 이미지 센서(2010)로부터 수신되는 픽셀 데이터를 처리하는 연산을 수행하고, 처리된 이미지 데이터를 출력하는 이미지 처리 장치일 수 있다. 여기서, 처리는 EIS(Electronic Image Stabilization), 보간, 색조 보정, 화질 보정, 크기 조정 등일 수 있다.
본 발명의 실시 예에서, 프로세서(2020)는 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정된 커널에 대응하는 복수의 픽셀들로부터 출력된 픽셀값들의 평균값들 및 분산값들에 기초하여 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트를 결정할 수 있다. 프로세서(2020)는 타겟 픽셀 세트의 픽셀값들을 가상의 노말 픽셀값들로 변경하고, 가상의 노말 픽셀값들을 인접 픽셀값들에 기초하여 보정할 수 있다. 프로세서(2020)는 이미지 센서(2010)에 포함된 컬러 필터 어레이의 패턴에 대응되도록 타겟 픽셀 세트의 픽셀값들을 보정할 수 있다. 프로세서(2020)는 자동초점 픽셀값들을 보정하여 이미지에 발생되는 노이즈를 감소시킬 수 있다.
프로세서(2020)는 이미지 센서(2010)와는 독립적인 칩으로 구현될 수 있다. 예를 들어, 프로세서(2020)는 멀티-칩 패키지(multi-chip package)로 구현될 수 있다. 본 발명의 다른 실시 예에서는 프로세서(2020)는 이미지 센서(2010)의 일부로 포함되어 하나의 칩으로 구현될 수 있다.
프로세서(2020)는 전자 장치(2000)의 동작을 실행하고 제어할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 마이크로프로세서(microprocessor), 중앙 처리 장치(Central Processing Unit, CPU) 또는 어플리케이션 프로세서(application processor, AP)일 수 있다. 프로세서(2020)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(2030), 메모리 장치(2040), 입력 장치(2050) 및 출력 장치(2060)에 연결되어 통신을 수행할 수 있다.
저장 장치(2030)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive; SSD), 하드 디스크 드라이브(Hard Disk Drive; HDD), 씨디롬(CD-ROM) 및 모든 형태의 비휘발성 메모리 장치 등을 포함할 수 있다.
메모리 장치(2040)는 전자 장치(2000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(2040)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다. 프로세서(2020)는 메모리 장치(2040)에 저장된 명령어 세트를 실행하여 이미지 센서(2010)와 출력 장치(2060)를 제어할 수 있다.
입력 장치(2050)는 키보드, 키패드, 마우스 등과 같은 입력 수단을 포함하고, 출력 장치(2060)는 프린터장치, 디스플레이 등과 같은 출력 수단을 포함할 수 있다.
이미지　센서(2010)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어,　이미지　센서(2010)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flat Pack(TQFP), Small Outline Integrated Circuit(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline Package(TSOP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 구현될 수 있다.
한편, 전자 장치(2000)는　이미지　센서(2010)를 이용하는 모든 컴퓨팅 시스템으로 해석될 수 있다. 전자 장치(2000)는　패키징된 모듈, 부품 등의 형태로 구현될 수 있다. 예를 들어, 전자 장치(2000)는 디지털 카메라, 모바일 장치, 스마트폰(smart phone), PC(Personal Computer), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), PMP(portable multimedia player), 웨어러블 디바이스(wearable device), 블랙박스, 로봇, 자율주행 차량 등으로 구현될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 이미지 처리 장치
110: 타겟 픽셀 세트 결정부
120: 픽셀값 보정부

Claims (18)

  1. 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정된 커널에 대응하는 복수의 픽셀들로부터 출력된 픽셀값들의 평균값들 및 분산값들에 기초하여 상기 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트를 결정하고, 상기 평균값들 및 상기 분산값들은 상기 복수의 픽셀들에 포함된 컬러 필터들의 컬러들 각각에 대응하는 타겟 픽셀 세트 결정부; 및
    상기 타겟 픽셀 세트의 픽셀값들을 미리 결정된 컬러에 대응하는 제1 픽셀값들로 변환하고, 상기 타겟 픽셀 세트와 인접한 복수의 인접 픽셀들의 픽셀값들에 기초하여 상기 제1 픽셀값들을 상기 복수의 픽셀들의 배열 패턴에 대응하는 제2 픽셀값들로 보정하는 픽셀값 보정부를 포함하는 이미지 처리 장치.
  2. 제1항에 있어서, 상기 타겟 픽셀 세트 결정부는,
    복수의 평균값 구간들을 설정하고, 상기 복수의 평균값 구간들에 대응하는 제1 임계값들을 생성하는 이미지 처리 장치.
  3. 제2항에 있어서, 상기 타겟 픽셀 세트 결정부는,
    상기 평균값들에 기초하여 상기 제1 임계값들 중 상기 컬러 필터들의 컬러들 각각에 대응하는 제2 임계값들을 결정하는 이미지 처리 장치.
  4. 제2항에 있어서, 상기 타겟 픽셀 세트 결정부는,
    상기 컬러 필터들의 컬러에 따라 상기 복수의 평균값 구간들을 서로 다르게 설정하고, 상기 컬러 필터들의 컬러에 따라 상기 제1 임계값들을 서로 다르게 생성하는 이미지 처리 장치.
  5. 제3항에 있어서, 상기 타겟 픽셀 세트 결정부는, 상기 분산값들이 상기 분산값들 각각에 대응하는 상기 제2 임계값들보다 작은 경우, 상기 복수의 자동초점 픽셀 세트들 중 상기 분산값들이 결정된 상기 복수의 픽셀들에 대응하는 상기 커널의 기초가 되는 자동초점 픽셀 세트를 상기 타겟 픽셀 세트로 결정하는 이미지 처리 장치.
  6. 제1항에 있어서, 상기 픽셀값 보정부는,
    상기 복수의 픽셀들 중 상기 타겟 픽셀 세트에 포함된 자동초점 픽셀들로부터 출력된 타겟 픽셀값과, 상기 자동초점 픽셀들을 제외한 노말 픽셀들로부터 출력된 노말 픽셀값 사이의 비율에 기초하여 캘리브레이션 게인값을 계산하고, 상기 타겟 픽셀 세트의 평균 픽셀값과 상기 캘리브레이션 게인값에 기초하여 상기 제1 픽셀값들을 생성하는 이미지 처리 장치.
  7. 제6항에 있어서, 상기 픽셀값 보정부는,
    상기 타겟 픽셀 세트에 포함되는 타겟 픽셀들에 포함된 컬러 필터들의 컬러를 상기 배열 패턴에 기초하여 각각 결정하는 이미지 처리 장치.
  8. 제7항에 있어서, 상기 픽셀값 보정부는,
    상기 제1 픽셀값들을 상기 타겟 픽셀들에 포함된 컬러 필터들의 컬러에 대응하는 제3 픽셀값들로 변환하고, 상기 복수의 인접 픽셀들 중 상기 타겟 픽셀들에 포함된 상기 컬러 필터들의 컬러에 대응하는 픽셀들의 평균 픽셀값과 상기 제3 픽셀값들에 기초하여 상기 제2 픽셀값을 계산하는 이미지 처리 장치.
  9. 제8항에 있어서, 상기 픽셀값 보정부는,
    상기 평균값들 또는 상기 분산값들에 기초하여 상기 제3 픽셀값들에 대한 가중치를 결정하고, 상기 가중치에 기초하여 상기 제2 픽셀값들을 산출하는 이미지 처리 장치.
  10. 제1항에 있어서,
    상기 타겟 픽셀 세트는 이미지의 복잡도가 기준값보다 낮은 영역에 대응하는 이미지 처리 장치.
  11. 제1항에 있어서,
    상기 복수의 픽셀들은 복수의 노말 픽셀들 및 복수의 자동초점 픽셀들을 포함하고, 상기 제1 픽셀값들은 상기 복수의 노말 픽셀들의 픽셀값들에 기초한 노말 픽셀값들이며,
    상기 픽셀값 보정부는 상기 복수의 노말 픽셀들과 상기 복수의 자동초점 픽셀들의 특성 차이에 따라 상기 타겟 픽셀 세트의 픽셀값들을 상기 노말 픽셀값들로 변환하는 이미지 처리 장치.
  12. 복수의 노말 픽셀들 및 복수의 자동초점 픽셀들을 포함하는 복수의 픽셀들로부터 출력된 픽셀값들의 평균값들 및 분산값들에 기초하여 복수의 자동초점 픽셀 세트들 중 타겟 픽셀 세트를 결정하는 타겟 픽셀 세트 결정부; 및
    상기 타겟 픽셀 세트의 픽셀값들을 상기 복수의 노말 픽셀들의 픽셀값들에 기초한 노말 픽셀값들로 변환하고, 상기 타겟 픽셀 세트와 인접한 복수의 인접 픽셀들의 픽셀값들에 기초하여 상기 노말 픽셀값들을 상기 복수의 픽셀들의 배열 패턴에 대응하는 픽셀값들로 보정하는 픽셀값 보정부를 포함하고,
    상기 복수의 픽셀들은 상기 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정된 커널에 대응하며,
    상기 평균값들 및 상기 분산값들은 상기 복수의 픽셀들에 포함된 컬러 필터들의 컬러들 각각에 대응하는 이미지 처리 장치.
  13. 제12항에 있어서, 상기 타겟 픽셀 세트 결정부는,
    상기 평균값들에 기초하여 컬러별 임계값들을 각각 설정하고, 상기 컬러별 임계값들과 상기 분산값들에 기초하여 상기 타겟 픽셀 세트를 결정하는 이미지 처리 장치.
  14. 제13항에 있어서, 상기 타겟 픽셀 세트 결정부는,
    상기 분산값들 각각이 상기 컬러별 임계값들보다 작은 자동초점 픽셀 세트를 상기 타겟 픽셀 세트로 결정하는 이미지 처리 장치.
  15. 제12항에 있어서, 상기 픽셀값 보정부는,
    상기 복수의 노말 픽셀들과 상기 복수의 자동초점 픽셀들의 특성 차이에 따라 상기 타겟 픽셀 세트의 픽셀값들을 상기 노말 픽셀값들로 변환하는 이미지 처리 장치.
  16. 제15항에 있어서, 상기 픽셀값 보정부는,
    상기 배열 패턴에 기초하여 상기 타겟 픽셀 세트에 포함되는 타겟 픽셀들에 포함된 컬러 필터들의 컬러를 각각 결정하는 이미지 처리 장치.
  17. 제16항에 있어서, 상기 픽셀값 보정부는,
    상기 노말 픽셀값들을 상기 타겟 픽셀들에 포함된 컬러 필터들의 컬러에 대응하는 컬러 픽셀값들로 변환하고, 상기 복수의 인접 픽셀들 중 상기 타겟 픽셀들에 포함된 컬러 필터들의 컬러에 대응하는 픽셀들의 평균 픽셀값에 기초하여 상기 컬러 픽셀값들을 보정하는 이미지 처리 장치.
  18. 복수의 자동초점 픽셀 세트들 각각에 기초하여 설정된 커널에 대응하는 복수의 픽셀들에 포함된 컬러 필터들의 컬러들 각각에 대응하는 평균값들과 분산값들을 계산하는 단계;
    상기 평균값들과 상기 분산값들에 기초하여 상기 복수의 자동초점 픽셀 세트들 중 이미지의 복잡도가 기준값보다 낮은 영역인 평탄면에 대응하는 타겟 픽셀 세트를 결정하는 단계;
    상기 타겟 픽셀 세트의 픽셀값들을 미리 결정된 컬러에 대응하는 제1 픽셀값들로 변환하는 단계; 및
    상기 타겟 픽셀 세트와 인접한 복수의 인접 픽셀들의 픽셀값들에 기초하여 상기 제1 픽셀값들을 상기 복수의 픽셀들의 배열 패턴에 대응하는 제2 픽셀값들로 보정하는 단계를 포함하는 이미지 처리 방법.
KR1020220162983A 2022-11-29 2022-11-29 이미지 처리 장치 및 이미지 처리 방법 KR20240079752A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220162983A KR20240079752A (ko) 2022-11-29 2022-11-29 이미지 처리 장치 및 이미지 처리 방법
US18/316,121 US20240179263A1 (en) 2022-11-29 2023-05-11 Image processing device and image processing method
CN202310827190.3A CN118118808A (zh) 2022-11-29 2023-07-06 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220162983A KR20240079752A (ko) 2022-11-29 2022-11-29 이미지 처리 장치 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20240079752A true KR20240079752A (ko) 2024-06-05

Family

ID=91191386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220162983A KR20240079752A (ko) 2022-11-29 2022-11-29 이미지 처리 장치 및 이미지 처리 방법

Country Status (3)

Country Link
US (1) US20240179263A1 (ko)
KR (1) KR20240079752A (ko)
CN (1) CN118118808A (ko)

Also Published As

Publication number Publication date
US20240179263A1 (en) 2024-05-30
CN118118808A (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
KR102211862B1 (ko) 이미지 센서 및 이를 포함하는 이미지 센서 시스템
US11546565B2 (en) Image sensing device and operating method thereof
KR20240079752A (ko) 이미지 처리 장치 및 이미지 처리 방법
US20240129641A1 (en) Image processing device and image correcting method
US9479716B2 (en) Image processing method, electronic device, electronic device readable storage medium and program applied in electronic device
US12118735B2 (en) Image processing system and image processing method
US20240242321A1 (en) Image processing device and image processing method
US20240242386A1 (en) Image processing device and image blurring method
US11962923B2 (en) Image processing system and method of operating the same
US20240193801A1 (en) Image processing system and image processing method
TW202015394A (zh) 紅外線串擾補償方法及其裝置
US12008789B2 (en) Image sensing device and method of operating the same
US20240249382A1 (en) Image processing device and pixel interpolation method
US20240244333A1 (en) Apparatus and method for obtaining image employing color separation lens array
US12022244B2 (en) Electronic apparatus and operating method of the electronic apparatus
US20230109055A1 (en) Electronic apparatus and operating method of the electronic apparatus
TW202332255A (zh) 影像感測器、影像處理系統及其操作方法
KR20240086519A (ko) 이미지 센서 및 이미지 센서의 동작 방법
CN118175442A (zh) 图像传感器和图像传感器的操作方法
KR20240083585A (ko) 이미지 처리 시스템 및 이미지 처리 방법
TW202435164A (zh) 影像處理裝置及影像模糊方法