KR20240053886A - 이미지 처리 장치 및 이미지 보정 방법 - Google Patents

이미지 처리 장치 및 이미지 보정 방법 Download PDF

Info

Publication number
KR20240053886A
KR20240053886A KR1020220133971A KR20220133971A KR20240053886A KR 20240053886 A KR20240053886 A KR 20240053886A KR 1020220133971 A KR1020220133971 A KR 1020220133971A KR 20220133971 A KR20220133971 A KR 20220133971A KR 20240053886 A KR20240053886 A KR 20240053886A
Authority
KR
South Korea
Prior art keywords
pixels
white
pixel
values
value
Prior art date
Application number
KR1020220133971A
Other languages
English (en)
Inventor
송정용
김동균
유재윤
이보라
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020220133971A priority Critical patent/KR20240053886A/ko
Priority to US18/185,240 priority patent/US20240129641A1/en
Priority to CN202310615644.0A priority patent/CN117915208A/zh
Publication of KR20240053886A publication Critical patent/KR20240053886A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/52—Automatic gain control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

본 기술은 이미지 처리 장치에 관한 것으로, 본 기술에 따른 이미지 처리 장치는, 미리 결정된 화이트 이미지에 대한 센싱 결과를 기초로 복수의 위치들에 대응하는 화이트 게인값들을 생성하는 게인값 관리부, 외부로부터 수신한 픽셀값들을 기초로 포화 픽셀들을 검출하고, 상기 포화 픽셀들 중 상기 포화 픽셀들의 주변 픽셀들을 기초로 픽셀값이 포화된 화이트 픽셀들인 타겟 픽셀들을 결정하는 타겟 픽셀 관리부 및 상기 화이트 게인값들과 상기 주변 픽셀들의 픽셀값들을 기초로 상기 타겟 픽셀들의 픽셀값들을 변경하는 타겟 픽셀 보정부를 포함할 수 있다.

Description

이미지 처리 장치 및 이미지 보정 방법{IMAGE PROCESSING DEVICE AND IMAGE CORRECTING METHOD}
본 발명은 이미지 처리 장치에 관한 것으로, 보다 구체적으로 본 발명은 이미지 처리 장치 및 이미지 보정 방법에 관한 것이다.
이미지 센서는 일반적으로 CCD(Charge Coupled Device) 이미지 센서와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구분될 수 있다. 최근, 제조비용이 저렴하고, 전력 소모가 적으며, 주변 회로와의 집적이 용이한　CMOS　이미지　센서가 주목 받고 있다.
스마트 폰, 태블릿 PC, 디지털 카메라 등에 포함된 이미지 센서는 외부 객체로부터 반사된 광을 전기적인 신호로 변환함으로써, 외부 객체에 대한 이미지 정보를 획득할 수 있다. 이미지 센서는 위상 정보를 포함하는 이미지 데이터를 생성할 수 있다.
저조도 환경에 대응하여 화이트 픽셀이 포함된 이미지 센서의 활용도가 높아지고 있다. 화이트 픽셀을 포함하는 이미지 센서는 고조도 환경에서 화이트 픽셀의 포화로 인한 화질 저하가 발생될 수 있다. 화이트 픽셀은 수신하는 빛의 파장이 넓어 다른 컬러 픽셀들에 비해 더 빠르게 포화될 수 있다. 이미지 처리 장치의 영상처리 동작을 통하여 포화된 화이트 픽셀의 픽셀값을 보정함으로써 이미지의 품질을 향상시킬 필요가 있다.
본 발명의 실시 예는 이미지 센서에 대한 화이트 게인값들을 생성하고, 검출된 포화 픽셀들 중 화이트 픽셀만 포화되는 타겟 픽셀을 결정하고, 타겟 픽셀의 주변 픽셀값들을 이용하여 포화된 화이트 픽셀의 픽셀값을 변경하는 함으로써 이미지를 보정하는 이미지 처리 장치 및 이미지 보정 방법을 제공한다.
본 발명의 실시 예에 따른 이미지 처리 장치는, 미리 결정된 화이트 이미지에 대한 센싱 결과를 기초로 복수의 위치들에 대응하는 화이트 게인값들을 생성하는 게인값 관리부, 외부로부터 수신한 픽셀값들을 기초로 포화 픽셀들을 검출하고, 상기 포화 픽셀들 중 상기 포화 픽셀들의 주변 픽셀들을 기초로 픽셀값이 포화된 화이트 픽셀들인 타겟 픽셀들을 결정하는 타겟 픽셀 관리부, 및 상기 화이트 게인값들과 상기 주변 픽셀들의 픽셀값들을 기초로 상기 타겟 픽셀들의 픽셀값들을 변경하는 타겟 픽셀 보정부를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 보정 방법은, 미리 결정된 화이트 이미지에 대한 센싱 결과를 기초로 복수의 위치들에 대응하는 화이트 게인값들을 생성하는 단계, 외부로부터 수신한 픽셀값들을 기초로 검출한 포화 픽셀들 중 상기 포화 픽셀들의 주변 픽셀들을 기초로 픽셀값이 포화된 화이트 픽셀인 타겟 픽셀을 결정하는 단계 및 상기 화이트 게인값들과 상기 주변 픽셀들의 픽셀값들을 기초로 상기 타겟 픽셀의 픽셀값을 변경하는 단계를 포함할 수 있다.
본 기술에 따르면 포화 픽셀들을 검출하고, 화이트 게인값과 포화된 화이트 픽셀의 주변 픽셀값들을 이용하여 포화된 픽셀값을 보정할 수 있는 이미지 처리 장치가 제공될 수 있다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 도 1의 이미지 센서에 포함된 컬러 필터 어레이를 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 화이트 게인값들을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 포화된 화이트 픽셀의 픽셀값을 보정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 이미지 보정 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 실시 예에 따른 화이트 게인값들을 생성하는 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 실시 예에 따른 타겟 픽셀을 결정하는 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 실시 예에 따라 타겟 픽셀값을 변경하기 위한 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 실시 예에 따른　이미지　처리 시스템을 포함하는 전자 장치를 나타내는 블록도이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 이미지 처리 시스템(10)은 이미지 센서(100), 및 이미지 처리 장치(200)를 포함할 수 있다.
일 실시 예에 따른 이미지 처리 시스템(10)은 이미지를 획득할 수 있다. 그리고, 이미지 처리 시스템(10)은 이미지를 처리한 출력 이미지를 저장하거나, 표시하거나, 또는 외부 장치로 출력할 수 있다. 일 실시 예에 따른 이미지 처리 시스템(10)은 호스트의 요청에 따라 호스트로 출력 이미지를 출력할 수 있다.
이미지 센서(100)는 렌즈를 통하여 입력된 오브젝트에 대한 이미지 데이터를 생성할 수 있다. 렌즈는 광학계를 형성하는 적어도 하나의 렌즈를 포함할 수 있다.
이미지 센서(100)는 복수 개의 픽셀들을 포함하는 픽셀 어레이를 포함할 수 있다. 픽셀 어레이는 복수 개의 픽셀들 각각에 대응하는 컬러 필터 어레이(110)를 포함할 수 있다. 컬러 필터 어레이(110)는 미리 결정된 파장에 대응하는 빛을 통과시킬 수 있다. 컬러 필터 어레이(110)를 통과한 빛은 특정 컬러를 나타낼 수 있다. 복수 개의 픽셀들 각각에 입사되는 빛의 파장은 컬러 필터 어레이(110)의 패턴에 따라 달라질 수 있다.
본 발명의 실시 예에서, 특정 컬러의 빛을 수신하여 픽셀값을 생성하는 컬러 픽셀들이 이미지 센서(100)에 포함될 수 있다. 이미지 센서(100)는 레드 픽셀, 그린 픽셀, 블루 픽셀 및 화이트 픽셀을 포함할 수 있다. 본 발명의 다른 실시 예에서, 이미지 센서(100)는 시안 픽셀, 마젠타 픽셀 등을 더 포함할 수 있다.
이미지 센서(100)는 픽셀값들과 컬러 필터 어레이(110)에 대한 정보를 포함하는 이미지 데이터를 이미지 처리 장치(200)로 전송할 수 있다. 이미지 처리 장치(200)는 이미지 데이터를 기초로 복수 개의 픽셀들 각각의 컬러와 밝기에 대한 정보를 획득할 수 있다.
이미지 처리 장치(200)는 게인값 관리부(210), 타겟 픽셀 관리부(220) 및 타겟 픽셀 보정부(230)를 포함할 수 있다. 본 발명의 실시 예에서, 이미지 처리 장치(200)는 포화된 화이트 픽셀의 픽셀값을 주변 픽셀값들을 이용하여 보정할 수 있다.
게인값 관리부(210)는 미리 결정된 화이트 이미지에 대한 센싱 결과를 기초로 복수의 위치들에 대응하는 화이트 게인값들을 생성할 수 있다. 게인값 관리부(210)는 화이트 이미지 내부에 미리 결정된 크기를 갖는 계산 영역들을 설정할 수 있다. 게인값 관리부(210)는 계산영역들 각각에 대응하는 화이트 게인값들을 산출할 수 있다.
게인값 관리부(210)는 계산 영역들 사이 간격을 일정하도록 계산 영역들을 위치시킬 수 있다. 게인값 관리부(210)는 이미지 센서(100)의 화이트 게인값들 중 일부를 산출할 수 있다.
게인값 관리부(210)는 계산 영역들에서 컬러가 동일한 픽셀들의 평균 픽셀값들을 각각 계산할 수 있다. 게인값 관리부(210)는 화이트 픽셀들의 평균 픽셀값과 나머지 픽셀들의 평균 픽셀값들의 합의 비율들을 화이트 게인값들로 결정할 수 있다. 게인값 관리부(210)는 화이트 픽셀들의 평균 픽셀값을 나머지 픽셀들의 평균 픽셀값들의 합으로 나눈 값을 화이트 게인값들로 결정할 수 있다. 본 발명의 다른 실시 예에서, 게인값 관리부(210)는 나머지 픽셀들의 평균 픽셀값들의 합을 화이트 픽셀들의 평균 픽셀값으로 나눈 값을 화이트 게인값들로 결정할 수 있다.
게인값 관리부(210)는 복수의 위치들과 화이트 게인값들을 기초로 이미지 센서(100)에 대한 게인값 테이블을 생성할 수 있다. 게인값 테이블은 이미지 센서(100)에 포함되는 화이트 픽셀들에 대한 화이트 게인값들 및 위치 정보를 포함할 수 있다.
게인값 관리부(210)는 게인값 테이블을 저장하는 저장부를 더 포함할 수 있다. 게인값 관리부(210)는 저장부의 용량을 기초로 계산 영역들 사이 간격을 조절할 수 있다. 본 발명의 다른 실시 예에서, 게인값 관리부(210)는 이미지 센서(100)에 포함되는 모든 화이트 픽셀들에 대한 화이트 게인값들을 저장할 수 있다.
타겟 픽셀 관리부(220)는 외부로부터 수신한 픽셀값들을 기초로 포화 픽셀들을 검출할 수 있다. 타겟 픽셀 관리부(220)는 포화 픽셀들 중 포화 픽셀들의 주변 픽셀들을 기초로 픽셀값이 포화된 화이트 픽셀들인 타겟 픽셀들을 결정할 수 있다.
타겟 픽셀 관리부(220)는 복수의 픽셀들 중 픽셀값이 미리 결정된 기준값을 초과하는 픽셀들을 포화 픽셀들로 결정할 수 있다. 타겟 픽셀 관리부(220)는 픽셀에 대응하는 컬러들에 따라 서로 다른 기준값들을 결정할 수 있다. 타겟 픽셀 관리부(220)는 결정된 기준값들을 기초로 복수의 픽셀들 중 포화 픽셀들을 결정할 수 있다.
타겟 픽셀 관리부(220)는 포화 픽셀들 중 화이트 픽셀에 대응하는 판단 영역을 설정할 수 있다. 타겟 픽셀 관리부(220)는 화이트 게인값들을 기초로 포화 픽셀들 중 화이트 픽셀에 대응하는 화이트 게인값을 계산할 수 있다. 타겟 픽셀 관리부(220)는 화이트 게인값을 기초로 판단 영역의 크기를 결정할 수 있다. 본 발명의 다른 실시 예에서, 타겟 픽셀 관리부(220)는 이미지 센서에 포함된 컬러 필터 어레이 패턴에 따라 판단 영역의 크기를 결정할 수 있다.
타겟 픽셀 관리부(220)는 판단 영역에 포함된 픽셀들 중 화이트 픽셀들을 제외한 나머지 픽셀들을 주변 픽셀들로 결정할 수 있다. 타겟 픽셀 관리부(220)는 주변 픽셀들의 포화 여부를 확인할 수 있다. 타겟 픽셀 관리부(220)는 판단 영역에 포함된 주변 픽셀들이 모두 포화되지 않은 것에 대응하여 판단 영역의 중심 픽셀을 타겟 픽셀로 결정할 수 있다. 본 발명의 실시 예에서, 타겟 픽셀 관리부(220)는 주변 픽셀들이 포화 픽셀들에 포함되지 않는 것에 대응하여 판단 영역의 중심 픽셀인 화이트 픽셀을 타겟 픽셀들에 포함시킬 수 있다.
타겟 픽셀 보정부(230)는 화이트 게인값들과 주변 픽셀들의 픽셀값들을 기초로 타겟 픽셀들의 픽셀값들을 변경할 수 있다. 타겟 픽셀 보정부(230)는 타겟 픽셀들 각각에 대응하는 화이트 게인값들인 타겟 게인값들을 결정할 수 있다. 타겟 픽셀 보정부(230)는 타겟 픽셀들 각각에 대응하는 주변 픽셀들 중 컬러가 동일한 픽셀들의 평균 픽셀값들을 계산할 수 있다. 타겟 픽셀 보정부(230)는 주변 픽셀들의 평균 픽셀값들의 합과 타겟 게인값들의 곱을 타겟 픽셀들의 픽셀값들로 결정할 수 있다.
타겟 픽셀 보정부(230)는 포화된 화이트 픽셀들의 픽셀값들을 변경하여 보정된 이미지 데이터를 생성할 수 있다. 타겟 픽셀 보정부(230)는 원본 데이터의 화질 열화 현상을 개선할 수 있다.
도 2는 본 발명의 실시 예에 따른 도 1의 이미지 센서에 포함된 컬러 필터 어레이를 설명하기 위한 도면이다.
도 2를 참조하면, 이미지 센서(100)는 컬러 필터 어레이(110)를 포함할 수 있다. 컬러 필터 어레이(110)는 픽셀 어레이에 포함될 수 있다. 컬러 필터 어레이(110)의 배열은 다양할 수 있다. 도 2에서는 컬러 필터 어레이(110)의 배열들 중 일 실시 예를 나타낼 뿐, 컬러 필터 어레이(110)의 배열은 도 2로 한정되지 않는다.
컬러 필터 어레이(110)에서, 4개의 픽셀들이 반복적으로 배열될 수 있다. 4개의 픽셀들은 그린 픽셀, 레드 픽셀, 블루 픽셀 및 화이트 픽셀일 수 있다. 본 발명의 다른 실시 예에서, 컬러 필터 어레이(110)는 옐로우 픽셀, 시안 픽셀 또는 마젠타 픽셀들을 포함할 수 있다. 8개 또는 16개의 컬러 픽셀들이 반복적으로 배열될 수 있다. 옐로우 픽셀은 그린 픽셀을 대신하여 컬러 필터 어레이(110)의 배열에 포함될 수 있다. 옐로우 픽셀은 그린 픽셀에 비하여 감도가 더 높을 수 있다. 본 발명의 다른 실시 예에서, 이미지 처리 장치(200)는 포화된 화이트 픽셀의 픽셀값을 주변에 위치하는 옐로우 픽셀값, 레드 픽셀값 및 블루 픽셀값들을 이용하여 보정할 수 있다. 이미지 처리 장치(200)는 옐로우 픽셀과 그린 픽셀 사이의 유사성 및 옐로우 픽셀과 레드 픽셀 사이의 연관성을 기초로 옐로우 픽셀들에 대응하는 픽셀값을 그린 픽셀들에 대응하는 픽셀값들로 변환할 수 있다. 이미지 처리 장치(200)는 변환된 픽셀값들을 이용하여 포화된 화이트 픽셀값을 보정할 수 있다.
컬러 필터 어레이(110)에 포함되는 화이트 픽셀들의 비율은 미리 결정된 값일 수 있다. 예를 들어, 도 2에서, 컬러 필터 어레이(110)에 포함되는 화이트 픽셀들의 비율은 25%일 수 있다.
본 발명의 다른 실시 예에서 컬러 필터 어레이(110)에 포함되는 화이트 픽셀들의 비율은 50%일 수 있다. 화이트 픽셀들의 비율이 50%인 것에 대응하여 컬러 필터 어레이(110)에서 8개의 픽셀들이 반복적으로 배열될 수 있다.
포화된 화이트 픽셀의 픽셀값은 주변 픽셀들의 픽셀값들을 기초로 보정될 수 있다. 컬러 필터 어레이(110)에 포함된 화이트 픽셀들의 비율이 적을수록 보정된 픽셀값의 정확도가 향상될 수 있다. 컬러 필터 어레이(110)에 포함되는 화이트 픽셀들의 비율이 75%이상인 경우, 포화된 화이트 픽셀값들이 보정되지 않을 수 있다.
컬러 필터 어레이(110)는 미리 결정된 파장의 빛을 통과시킬 수 있다. 컬러 필터 어레이(110)를 통과한 빛은 픽셀들에 도달할 수 있다. 픽셀들은 통과한 빛에 대응하는 픽셀값들을 생성할 수 있다.
도 3은 본 발명의 실시 예에 따른 화이트 게인값들을 설명하기 위한 도면이다.
도 3을 참조하면, 이미지 센서는 미리 결정된 화이트 이미지(300)를 센싱할 수 있다. 게인값 관리부는 화이트 이미지(300)에 대한 센싱 결과를 기초로 화이트 게인값들을 생성할 수 있다. 게인값 생성 동작은 1회만 수행되고, 게인값 관리부는 생성된 화이트 게인값들을 저장부에 저장할 수 있다.
게인값 관리부는 화이트 이미지(300)에 화이트 게인값 계산을 위한 계산 영역(310)을 설정할 수 있다. 게인값 관리부는 계산 영역(310)을 복수 개 설정할 수 있다. 게인값 관리부는 화이트 이미지(300)에 가상의 가로축들과 세로축들을 형성하고, 가로축과 세로축의 교점을 중점으로 하는 계산 영역(310)을 설정할 수 있다. 계산 영역(310)은 중점에 대한 화이트 게인값 계산에 이용될 수 있다. 계산 영역(310)의 중점은 화이트 픽셀일 수 있다.
도 3에 7개의 가로축들과 7개의 세로축들이 도시되어 있지만, 이는 예시일 뿐, 화이트 이미지(300) 위에 형성되는 가로축들과 세로축들의 개수는 달라질 수 있다. 마찬가지로, 가로축들 사이의 거리와 세로축들 사이의 거리도 달라질 수 있다.
도 3에서, 게인값 관리부는 49개의 계산 영역들을 형성할 수 있다. 생성된 49개의 계산 영역들 사이의 간격은 일정할 수 있다. 게인값 관리부는 계산 영역(310)에 포함된 픽셀값들을 이용해 화이트 게인값을 계산할 수 있다.
예를 들어, 계산 영역(310)에 16개의 픽셀들이 포함된다고 가정될 수 있다. 계산 영역(310)에는 4개의 화이트 픽셀들, 4개의 레드 픽셀들, 4개의 그린 픽셀들 및 4개의 블루 픽셀들이 포함될 수 있다. 게인값 관리부는 4개의 화이트 픽셀들의 평균 픽셀값(Wavg), 4개의 레드 픽셀들의 평균 픽셀값(Ravg), 4개의 그린 픽셀들의 평균 픽셀값(Gavg) 및 4개의 블루 픽셀들의 평균 픽셀값(Bavg)을 각각 계산할 수 있다. 게인값 관리부는 화이트 픽셀들의 평균 픽셀값(Wavg)과 나머지 픽셀들의 평균 픽셀값들의 합(RGBsum)의 비율을 화이트 게인값으로 결정할 수 있다. 나머지 픽셀들의 평균 픽셀값들의 합(RGBsum)은 아래와 같이 나타낼 수 있다.
RGBsum = Ravg + Gavg + Bavg
본 발명의 실시 예에서, 게인값 관리부는 화이트 픽셀들의 평균 픽셀값(Wavg)을 나머지 픽셀들의 평균 픽셀값들의 합(RGBsum)으로 나눈 값을 화이트 게인값으로 결정할 수 있다. 이를 나타내면 아래와 같다.
gain = Wavg / RGBsum
본 발명의 다른 실시 예에서, 게인값 관리부는 나머지 픽셀들의 평균 픽셀값들의 합(RGBsum)을 화이트 픽셀들의 평균 픽셀값(Wavg)으로 나눈 값을 화이트 게인값으로 결정할 수 있다. 이를 나타내면 아래와 같다.
gain = RGBsum / Wavg
게인값 관리부는 도 3에서 49개의 계산 영역들에서 각각 화이트 게인값들을 계산할 수 있다. 게인값 관리부는 화이트 게인값들을 기초로 게인값 테이블을 생성할 수 있다. 게인값 테이블은 화이트 게인값과 그 위치를 나타내는 정보를 포함할 수 있다.
게인값 관리부는 게인값 테이블을 저장부에 저장할 수 있다. 게인값 관리부는 저장부의 용량에 따라 계산 영역들 사이의 간격을 조절할 수 있다. 저장부의 크기가 클수록 계산 영역들 사이의 간격이 좁아지고, 계산 영역들의 개수가 증가될 수 있다.
본 발명의 다른 실시 예에서, 게인값 관리부는 이미지 센서에 포함되는 모든 화이트 픽셀들에 대한 화이트 게인값들을 생성하고 저장할 수 있다. 게인값 관리부는 설정된 계산 영역들을 기초로 화이트 게인값들의 일부를 산출하고, 산출된 화이트 게인값들 사이를 보간하여 모든 화이트 픽셀들에 대한 화이트 게인값들을 계산할 수 있다.
본 발명의 실시 예에서, 게인값 관리부는 이미지 센서에 포함된 컬러 필터 어레이를 기초로 계산 영역(310)의 크기를 결정할 수 있다. 구체적으로, 컬러 필터 어레이의 반복되는 패턴의 크기보다 계산 영역(310)의 크기가 클 수 있다. 게인값 관리부는 컬러 필터 어레이의 기본 패턴보다 정수배 만큼 큰 계산 영역(310)을 설정할 수 있다.
마찬가지로, 게인값 관리부는 컬러 필터 어레이를 기초로 화이트 이미지(300)에 형성하는 가로축들 및 세로축들의 개수를 결정할 수 있다. 게인값 관리부는 가로축들 사이의 간격과 세로축들 사이의 간격이 컬러 필터 어레이의 기본 패턴보다 정수배 이상이 되도록 가로축들과 세로축들을 배열할 수 있다. 게인값 관리부는 가로축들 사이의 간격과 세로축들 사이의 간격이 계산 영역(310)의 크기보다 더 크도록 가로축들과 세로축들의 개수를 결정할 수 있다. 게인값 관리부는 겹치는 계산 영역들이 없도록 가로축들과 세로축들을 배치할 수 있다.
게인값 관리부가 생성하는 계산 영역들의 개수에 따라 포화 픽셀이 보정된 이미지의 해상도가 달라질 수 있다. 계산 영역들의 개수가 많을수록 보정된 이미지의 해상도가 향상될 수 있다.
게인값 관리부가 설정하는 계산 영역에 포함된 픽셀들의 개수에 따라 이미지 센서에 대한 화이트 게인값들의 정확도가 달라질 수 있다. 계산 영역에 포함되는 픽셀들의 개수가 많을수록 이미지 센서에 포함되는 화이트 픽셀들에 대한 화이트 게인값의 정확도가 향상될 수 있다.
도 4는 본 발명의 실시 예에 따른 포화된 화이트 픽셀의 픽셀값을 보정하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 컬러 필터 어레이의 기본 패턴들(410, 420, 430)이 도시될 수 있다. 게인값 관리부는 컬러 필터 어레이의 기본 패턴들(410, 420, 430)에 대응하는 판단 영역들(411, 421, 431)을 설정할 수 있다. 도 4에는 컬러 필터 어레이에 포함된 화이트 픽셀들의 비율이 50%인 제1 패턴(410), 제2 패턴(420)과 화이트 픽셀들의 비율이 25%인 제3 패턴(430)이 도시될 수 있다.
타겟 픽셀 관리부는 컬러 픽셀들 중 픽셀값이 기준값을 초과하는 포화 픽셀들을 검출할 수 있다. 타겟 픽셀 관리부는 컬러에 따라 포화되는 기준값을 다르게 결정할 수 있다. 본 발명의 실시 예에서, 화이트 픽셀에 대응하는 기준값은 나머지 픽셀에 대응하는 기준값보다 더 클 수 있다.
타겟 픽셀 관리부는 포화 픽셀들을 화이트 픽셀과 나머지 픽셀들로 구별할 수 있다. 나머지 픽셀들은 레드 픽셀, 그린 픽셀 또는 블루 픽셀일 수 있다. 본 발명의 다른 실시 예에서, 나머지 픽셀들에 시안 픽셀 또는 마젠타 픽셀이 포함될 수 있다.
타겟 픽셀 관리부는 픽셀값이 포화된 화이트 픽셀에 대응하는 판단 영역을 설정할 수 있다. 타겟 픽셀 관리부는 포화된 화이트 픽셀에 대응하는 화이트 게인값 또는 컬러 필터 어레이의 패턴에 따라 판단 영역의 크기를 결정할 수 있다.
본 발명의 실시 예에서, 컬러 필터 어레이의 패턴이 제1 패턴(410)인 경우, 타겟 픽셀 관리부는 제1 판단 영역(411)을 설정할 수 있다. 제1 판단 영역(411)은 포화된 화이트 픽셀을 중심 픽셀로 포함할 수 있다. 제1 판단 영역(411)의 크기는 3x3 일 수 있다. 2개의 그린 픽셀들, 1개의 레드 픽셀 및 1개의 블루 픽셀이 제1 판단 영역(411)에 포함될 수 있다. 제1 판단 영역(411)에 포함된 2개의 그린 픽셀들, 1개의 레드 픽셀 및 1개의 블루 픽셀이 포화된 화이트 픽셀의 주변 픽셀들일 수 있다. 제1 판단 영역(411)에서 음영 표시된 화이트 픽셀은 포화된 화이트 픽셀일 수 있다.
본 발명의 다른 실시 예에서, 제2 패턴(420)이 컬러 필터 어레이에서 반복되는 경우, 타겟 픽셀 관리부는 제2 판단 영역(421)을 설정할 수 있다. 제2 판단 영역(421)은 포화된 화이트 픽셀을 기준으로하고, 크기가 5x5일 수 있다. 제1 패턴(410)과 제2 패턴(420)의 차이에 의해 제1 판단 영역(411)과 제2 판단 영역(421)이 결정될 수 있다. 6개의 그린 픽셀들, 4개의 레드 픽셀들 및 2개의 블루 픽셀들이 제2 판단 영역(421)에 포함될 수 있다. 제2 판단 영역(421)에 포함된 6개의 그린 픽셀들, 4개의 레드 픽셀들 및 2개의 블루 픽셀들이 포화된 화이트 픽셀의 주변 픽셀들일 수 있다.
본 발명의 또 다른 실시 예에서, 제3 패턴(430)이 컬러 필터 어레이에서 반복될 수 있다. 타겟 픽셀 관리부는 제3 판단 영역(431)을 설정할 수 있다. 제3 판단 영역(431)의 크기는 3x3으로 제1 판단 영역의 크기와 동일할 수 있다. 제3 판단 영역(431)은 4개의 그린 픽셀들, 2개의 블루 픽셀들 및 2개의 레드 픽셀들을 포함할 수 있다. 제3 판단 영역(431)에 포함된 4개의 그린 픽셀들, 2개의 블루 픽셀들 및 2개의 레드 픽셀들이 포화된 화이트 픽셀의 주변 픽셀들일 수 있다.
컬러 필터 어레이의 패턴에 따라 판단 영역들의 크기가 달라질 수 있다. 판단 영역에 포함되는 픽셀들도 달라질 수 있으므로, 포화된 화이트 픽셀의 주변 픽셀들도 달라질 수 있다.
본 발명의 다른 실시 예에서, 타겟 픽셀 관리부는 포화된 화이트 픽셀에 대응하는 화이트 게인값을 기초로 판단 영역의 크기를 변경할 수 있다. 예를 들어, 제1 패턴(410)이 컬러 필터 어레이에서 반복되는 경우라도, 화이트 게인값에 따라 제1 판단 영역(411)의 크기가 달라질 수 있다. 화이트 게인값이 미리 결정된 값을 초과하는 것에 대응하여 타겟 픽셀 관리부는 제1 패턴(410)의 크기를 5x5로 결정할 수 있다. 마찬가지로, 컬러 필터 어레이의 패턴이 제2 패턴(420)과 제3 패턴(430)인 경우에도 화이트 게인값에 따라 제2 판단 영역(421)과 제3 판단 영역(431)의 크기가 달라질 수 있다.
판단 영역의 크기에 따라 포함되는 주변 픽셀들의 개수가 달라질 수 있다. 판단 영역의 크기는 포화된 화이트 픽셀의 보정 여부에 영향을 미칠 수 있다. 판단 영역에 포함된 주변 픽셀들 모두가 포화 픽셀이 아니어야 중심 픽셀인 화이트 픽셀의 픽셀값이 보정될 수 있다. 판단 영역의 크기는 보정된 화이트 픽셀값의 정확도에 영향을 미칠 수 있다. 중심 픽셀들의 개수가 증가할수록 보정된 화이트 픽셀값의 정확도가 향상될 수 있다.
타겟 픽셀 관리부는 주변 픽셀들이 모두 포화 픽셀이 아닌 것에 대응하여 포화된 화이트 픽셀을 타겟 픽셀로 결정할 수 있다. 판단 영역에 포함된 나머지 화이트 픽셀들의 포화 여부는 타겟 픽셀 결정에 영향을 미치지 않을 수 있다. 구체적으로, 제1 판단 영역(411)에 포함된 2개의 그린 픽셀들, 1개의 레드 픽셀 및 1개의 블루 픽셀이 모두 포화 픽셀이 아닌 경우에만 중심의 화이트 픽셀이 타겟 픽셀들에 포함될 수 있다. 마찬가지로, 제2 판단 영역(421)에 포함된 6개의 그린 픽셀들, 4개의 레드 픽셀들 및 2개의 블루 픽셀들이 모두 포화되지 않은 픽셀들인 것에 대응하여 타겟 픽셀 결정부는 중심의 화이트 픽셀을 타겟 픽셀로 결정할 수 있다. 제3 판단 영역(431)에 포함된 4개의 그린 픽셀들, 2개의 블루 픽셀들 및 2개의 레드 픽셀들이 모두 픽셀값이 포화된 픽셀들이 아닌 경우에만 중심 픽셀이 타겟 픽셀이 될 수 있다.
타겟 픽셀 보정부는 타겟 픽셀의 픽셀값을 화이트 게인값과 주변 픽셀들의 픽셀값들을 이용하여 보정할 수 있다. 타겟 픽셀 보정부는 타겟 픽셀에 대응하는 화이트 게인값을 결정할 수 있다. 타겟 픽셀 보정부는 타겟 픽셀 관리부에서 산출한 화이트 게인값을 이용할 수 있다. 타겟 픽셀 보정부는 타겟 픽셀에 대응하는 주변 픽셀들을 결정할 수 있다. 타겟 픽셀 보정부는 타겟 픽셀 관리부에서 결정한 포화된 화이트 픽셀의 주변 픽셀들을 타겟 픽셀의 주변 픽셀들로 결정할 수 있다. 본 발명의 실시 예에서, 타겟 픽셀에 대응하는 주변 픽셀들은 포화된 화이트 픽셀의 주변 픽셀들과 동일할 수 있다. 마찬가지로, 타겟 픽셀 보정부는 타겟 픽셀 관리부에서 설정한 판단 영역을 이용할 수 있다.
타겟 픽셀 보정부는 주변 픽셀들의 평균 픽셀값을 컬러별로 계산할 수 있다. 본 발명의 실시 예에서, 타겟 픽셀 보정부는 판단 영역에 포함된 레드 픽셀들의 평균 픽셀값(AvgR), 그린 픽셀들의 평균 픽셀값(AvgG) 및 블루 픽셀들의 평균 픽셀값(AvgB)을 각각 계산할 수 있다. 타겟 픽셀 보정부는 레드 픽셀들의 평균 픽셀값(AvgR), 그린 픽셀들의 평균 픽셀값(AvgG) 및 블루 픽셀들의 평균 픽셀값(AvgB)의 합인 주변 픽셀 평균값의 합(SumRGB)을 계산할 수 있다. 이를 수식으로 나타내면 아래와 같다.
SumRGB = AvgR + AvgG + AvgB
타겟 픽셀 보정부는 타겟 픽셀의 픽셀값을 타겟 픽셀에 대응하는 화이트 게인값(gain)과 주변 픽셀 평균값의 합(SumRGB)의 곱으로 결정할 수 있다. 이를 수식으로 나타내면 아래와 같다.
Wsat = gain * SumRGB
여기서, Wsat는 포화된 화이트 픽셀인 타겟 픽셀을 나타낼 수 있다.
구체적으로, 제1 패턴(410)이 컬러 필터 어레이에서 반복되는 경우, 음영 표시된 화이트 픽셀이 타겟 픽셀일 수 있다. 타겟 픽셀 보정부는 제1 판단 영역(411)에 포함되는 주변 픽셀들에 대한 레드 픽셀들의 평균 픽셀값(AvgR), 그린 픽셀들의 평균 픽셀값(AvgG) 및 블루 픽셀들의 평균 픽셀값(AvgB)을 계산할 수 있다. 타겟 픽셀 보정부는 타겟 픽셀의 픽셀값을 화이트 게인값(gain)과 주변 픽셀 평균값의 합(SumRGB)의 곱으로 변경할 수 있다.
마찬가지로, 제2 패턴(420)과 제3 패턴(430)이 컬러 필터 어레이에서 반복되는 경우에도, 타겟 픽셀 보정부는 타겟 픽셀의 픽셀값을 보정할 수 있다. 타겟 픽셀 보정부는 제2 판단 영역(421) 또는 제3 판단 영역(431)에 포함되는 주변 픽셀들에 대한 레드 픽셀들의 평균 픽셀값(AvgR), 그린 픽셀들의 평균 픽셀값(AvgG) 및 블루 픽셀들의 평균 픽셀값(AvgB)을 계산하고, 타겟 픽셀의 픽셀값을 화이트 게인값(gain)과 주변 픽셀 평균값의 합(SumRGB)의 곱을 이용하여 타겟 픽셀의 픽셀값을 변경할 수 있다.
타겟 픽셀 보정부는 포화된 화이트 픽셀의 픽셀값을 보정할 수 있다. 포화된 화이트 픽셀들이 보정되면 이미지 전체에서 블러 현상 또는 위색 현상이 감소될 수 있다. 또한 포화 픽셀의 보정에 대응하여 이미지의 디테일이 증가될 수 있다.
본 발명의 실시 예에서, 제1 패턴(410), 제2 패턴(420) 및 제3 패턴(430)은 실시 예들에 불과할 뿐이며, 컬러 필터 어레이의 패턴들은 다양할 수 있다. 컬러 필터 어레이의 패턴에 따라 판단 영역의 크기와 주변 픽셀들이 달라질 수 있다.
도 5는 본 발명의 실시 예에 따른 이미지 보정 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 이미지 처리 장치는 이미지 센서에 포함된 화이트 픽셀들에 대한 화이트 게인값들을 미리 산출할 수 있다. 이미지 처리 장치는 화이트 게인값을 이용하여 포화된 화이트 픽셀들의 픽셀값을 보정할 수 있다. 이미지 처리 장치는 포화된 화이트 픽셀들을 보정하여 이미지의 표현력을 향상시킬 수 있다.
S510 단계에서, 게인값 관리부는 이미지 센서에 포함된 화이트 픽셀들에 대한 화이트 게인값들을 생성할 수 있다. 게인값 관리부는 미리 결정된 화이트 이미지에 대한 센싱 결과를 기초로 복수의 위치들에 대응하는 화이트 게인값들을 생성할 수 있다. 게인값 관리부는 화이트 픽셀들에 대한 화이트 게인값들의 일부를 생성하고, 생성된 화이트 게인값들을 보간하여 모든 화이트 픽셀들에 대한 화이트 게인값들을 산출할 수 있다.
S520 단계에서, 타겟 픽셀 관리부는 픽셀들 중 포화 픽셀들을 검출하고, 포화 픽셀들의 주변 픽셀들을 이용하여 포화 픽셀들 중 픽셀값이 보정되는 타겟 픽셀을 결정할 수 있다. 타겟 픽셀 관리부는 픽셀값이 미리 결정된 기준값을 초과하는 픽셀들을 포화 픽셀들로 결정할 수 있다. 타겟 픽셀 관리부는 포화 픽셀들을 포화 화이트 픽셀들과 나머지 픽셀들로 구별할 수 있다. 타겟 픽셀 관리부는 포화 화이트 픽셀의 주변 픽셀들이 모두 포화 픽셀이 아닌 것에 대응하여 포화 화이트 픽셀을 타겟 픽셀로 결정할 수 있다.
S530 단계에서, 타겟 픽셀 보정부는 타겟 픽셀에 대한 화이트 게인값과 주변 픽셀들의 픽셀값을 기초로 타겟 픽셀의 픽셀값을 변경할 수 있다. 타겟 픽셀 보정부는 주변 픽셀들 중 컬러가 동일한 픽셀들의 평균 픽셀값들을 각각 계산하고 합산할 수 있다. 타겟 픽셀 보정부는 주변 픽셀 평균값의 합과 화이트 게인값의 곱을 타겟 픽셀의 픽셀값으로 결정할 수 있다.
도 6은 본 발명의 실시 예에 따른 화이트 게인값들을 생성하는 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 게인값 관리부는 이미지 센서에 포함된 화이트 픽셀들에 대한 화이트 게인값을 생성할 수 있다. 게인값 관리부는 화이트 픽셀의 위치와 게인값에 대한 정보를 포함하는 게인값 테이블을 생성하고 저장할 수 있다.
S610 단계에서, 게인값 관리부는 상기 센싱 결과를 기초로 컬러들에 대한 픽셀값의 비율을 조절하는 화이트 밸런싱 동작을 수행할 수 있다. 게인값 관리부는 화이트 이미지의 레드 픽셀값들에 대한 그린 픽셀값들의 비율을 레드 픽셀값들 각각에 곱하여 레드 픽셀값들을 변경할 수 있다. 게인값 관리부는 화이트 이미지의 블루 픽셀값들에 대한 그린 픽셀값들의 비율을 블루 픽셀값들 각각에 곱하여 블루 픽셀값들을 변경할 수 있다.
화이트 밸런싱 동작은 이미지 센서의 컬러별 센서 강도 차이에 따른 오차를 보정할 수 있다. 예를 들어, 그린 픽셀은 레드 픽셀 또는 블루 픽셀보다 센서 강도가 높을 수 있다. 센서 강도가 높은 그린 픽셀값은 레드 픽셀값 또는 블루 픽셀값보다 크기가 클 수 있다. 센서 강도에 따른 오차를 보정함으로써 그린 픽셀값, 레드 픽셀값 및 블루 픽셀값의 크기 차이를 줄일 수 있다.
화이트 밸런싱 동작이 수행되면, 그린 픽셀값들, 레드 픽셀값들 및 블루 픽셀값들이 특정 범위에 포함될 수 있다. 화이트 밸런싱 동작이 수행된 그린 픽셀값들, 레드 픽셀갑들 및 블루 픽셀값들의 비율은 서로 유사해질 수 있다.
S620 단계에서, 게인값 관리부는 미리 결정된 화이트 이미지 내부에 화이트 게인값 계산을 위한 계산 영역들을 설정할 수 있다. 게인값 관리부는 이미지 센서에 포함된 컬러 필터 어레이의 패턴을 기초로 계산 영역들의 크기를 결정할 수 있다. 게인값 관리부는 계산 영역들의 간격을 일정하게 유지할 수 있다. 게인값 관리부는 화이트 이미지에 가상의 가로축들과 세로축들을 생성하고, 가로축과 세로축의 교점들 마다 계산 영역을 생성할 수 있다.
S630 단계에서, 게인값 관리부는 계산 영역들에 포함된 픽셀들의 평균 픽셀값들을 컬러 별로 계산할 수 있다. 게인값 관리부는 화이트 픽셀들의 평균 픽셀값, 레드 픽셀들의 평균 픽셀값, 그린 픽셀들의 평균 픽셀값 및 블루 픽셀들의 평균 픽셀값을 각각 계산할 수 있다. 컬러 필터 어레이의 패턴에 따라 계산 영역에 포함되는 각 컬러별 픽셀들의 개수는 서로 다를 수 있다.
S640 단계에서, 게인값 관리부는 컬러별 평균 픽셀값들을 기초로 계산 영역에 대응하는 화이트 게인값들을 결정할 수 있다. 게인값 관리부는 레드 픽셀들의 평균 픽셀값, 그린 픽셀들의 평균 픽셀값 및 블루 픽셀들의 평균 픽셀값의 합과 화이트 픽셀의 평균 픽셀값의 비율을 화이트 게인값으로 결정할 수 있다. 본 발명의 실시 예에서, 게인값 관리부는 화이트 픽셀의 평균 픽셀값을 레드 픽셀들의 평균 픽셀값, 그린 픽셀들의 평균 픽셀값 및 블루 픽셀들의 평균 픽셀값의 합으로 나눈 값을 계산 영역에 대응하는 화이트 게인값으로 결정할 수 있다.
도 7은 본 발명의 실시 예에 따른 타겟 픽셀을 결정하는 방법을 설명하기 위한 순서도이다.
도 7을 참조하면, 타겟 픽셀 관리부는 픽셀값들을 기초로 픽셀들 중 포화 픽셀을 검출하고 포화 픽셀들 중 타겟 픽셀을 결정할 수 있다. 타겟 픽셀은 픽셀값이 보정되므로, 주변 픽셀들이 포화되지 않은 포화 화이트 픽셀만이 타겟 픽셀로 결정될 수 있다.
S710 단계에서, 타겟 픽셀 관리부는 복수의 픽셀들 중 미리 결정된 기준값을 초과하는 픽셀들을 포화 픽셀들로 결정할 수 있다. 타겟 픽셀 관리부는 컬러에 따라 기준값을 다르게 결정할 수 있다. 구체적으로 타겟 픽셀 관리부는 화이트 픽셀에 대한 기준값을 다른 컬러 픽셀에 대한 기준값보다 높게 결정할 수 있다.
S720 단계에서, 타겟 픽셀 관리부는 복수의 픽셀들 중 포화 픽셀을 제외한 노멀 픽셀들에 대한 화이트 밸런싱 동작을 수행할 수 있다. 타겟 픽셀 관리부는 노말 픽셀들의 픽셀값들을 기초로 레드 픽셀값들에 대한 그린 픽셀들의 제1 비율과 블루 픽셀값들에 대한 그린 픽셀값들의 제2 비율을 산출할 수 있다. 타겟 픽셀 관리부는 레드 픽셀값들 각각에 제1 비율을 곱하여 레드 픽셀값들을 변경할 수 있다. 타겟 픽셀 관리부는 블루 픽셀값들 각각에 제2 비율을 곱하여 블루 픽셀값들을 변경할 수 있다.
S730 단계에서, 타겟 픽셀 관리부는 포화 픽셀들 중 화이트 픽셀에 대응하는 판단 영역을 설정할 수 있다. 타겟 픽셀 관리부는 컬러 필터 어레이의 패턴 또는 포화된 화이트 픽셀에 대응하는 화이트 게인값을 기초로 판단 영역을 설정할 수 있다. 예를 들어, 컬러 필터 어레이의 패턴에 따라 판단 영역의 크기가 달라질 수 있다. 타겟 픽셀 관리부는 화이트 게인값이 클수록 판단 영역의 크기를 증가시킬 수 있다.
S740 단계에서, 타겟 픽셀 관리부는 판단 영역에 포함된 픽셀들 중 화이트 픽셀이 아닌 나머지 픽셀들의 포화 여부에 따라 포화 화이트 픽셀을 타겟 픽셀로 결정할 수 있다. 타겟 픽셀 관리부는 판단 영역에 포함된 나머지 픽셀들이 모두 포화 픽셀이 아닌것에 대응하여 포화 화이트 픽셀을 타겟 픽셀에 포함시킬 수 있다. 본 발명의 실시 예에서, 판단 영역에 포함된 나머지 픽셀들은 판단 영역에 포함된 레드 픽셀들, 그린 픽셀들 및 블루 픽셀들일 수 있다. 본 발명의 다른 실시 예에서 포화된 화이트 픽셀의 주변 픽셀들은 시안 픽셀 또는 마젠타 픽셀을 포함할 수 있다.
도 8은 본 발명의 실시 예에 따라 타겟 픽셀값을 변경하기 위한 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, 타겟 픽셀 보정부는 타겟 픽셀의 픽셀값을 화이트 게인값과 주변 픽셀들의 픽셀값을 기초로 변경할 수 있다. 타겟 픽셀 보정부는 포화 화이트 픽셀의 픽셀값을 변경하고 보정된 이미지를 출력할 수 있다. 보정된 이미지는 블러 현상 또는 위색 현상이 감소된 이미지일 수 있다.
S810 단계에서, 타겟 픽셀 보정부는 타겟 픽셀에 대응하는 화이트 게인값을 결정할 수 있다. 타겟 픽셀 보정부는 게인값 관리부에서 생성한 화이트 게인값들을 기초로 타겟 픽셀에 대응하는 화이트 게인값을 산출할 수 있다. 구체적으로 화이트 게인값들 사이를 보간하여 타겟 픽셀에 대응하는 화이트 게인값을 산출할 수 있다.
S820 단계에서, 타겟 픽셀 보정부는 주변 픽셀들의 컬러별 평균 픽셀값들을 계산할 수 있다. 타겟 픽셀 보정부는 판단 영역에 포함된 레드 픽셀들의 평균 픽셀값, 그린 픽셀들의 평균 픽셀값 및 블루 픽셀들의 평균 픽셀값을 각각 계산할 수 있다. 본 발명의 실시 예에서, 타겟 픽셀 보정부는 레드 픽셀들의 평균 픽셀값, 그린 픽셀들의 평균 픽셀값 및 블루 픽셀들의 평균 픽셀값의 합인 주변 픽셀 평균값의 합을 산출할 수 있다.
S830 단계에서, 타겟 픽셀 보정부는 타겟 픽셀의 픽셀값을 보정할 수 있다. 타겟 픽셀 보정부는 타겟 픽셀에 대응하는 화이트 게인값과 주변 픽셀 평균값의 합을 타겟 픽셀의 픽셀값으로 결정할 수 있다. 타겟 픽셀 보정부는 포화된 화이트 픽셀의 픽셀값을 보정함으로써 보정된 이미지를 출력할 수 있다. 저조도 또는 고조도에서 보정되기 전 이미지의 해상도보다 보정된 이미지의 해상도가 증가될 수 있다.
S840 단계에서, 타겟 픽셀 보정부는 노말 픽셀들에 대한 인버스 화이트 밸런싱 동작을 수행할 수 있다. 타겟 픽셀 보정부는 노말 픽셀들 중 레드 픽셀들의 픽셀값에 제1 비율의 역수를 곱하여 레드 픽셀값들을 변경할 수 있다. 타겟 픽셀 보정부는 노말 픽셀들 중 블루 픽셀들의 픽셀값들에 제2 비율의 역수를 곱하여 블루 픽셀값들을 변경할 수 있다.
본 발명의 실시 예에서, 센싱된 이미지의 픽셀값들에 화이트 밸런싱 동작이 수행됨으로써 포화 픽셀 보정의 정확도가 향상될 수 있다. 포화 픽셀 보정 이후에 노말 픽셀들에 대한 인버스 화이트 밸런싱 동작이 수행됨으로써, 오리지널 센싱 결과를 유지할 수 있다.
도 9는 본 발명의 실시 예에 따른　이미지　처리 시스템을 포함하는 전자 장치를 나타내는 블록도이다.
도 9를 참조하면, 전자 장치(2000)는　이미지　센서(2010), 프로세서(2020), 저장 장치(STORAGE DEVICE)(2030), 메모리 장치(MEMORY DEVICE)(2040), 입력 장치(2050) 및 출력 장치(2060)를 포함할 수 있다. 도 9에는 도시되지 않았지만, 전자 장치(2000)는 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
이미지　센서(2010)는 입사광에 상응하는　이미지　데이터를 생성할 수 있다. 본 발명의 실시 예에서, 이미지 센서(2010)는 화이트 픽셀들을 포함할 수 있다. 화이트 픽셀들은 저조도 환경에서 센싱 이미지의 해상도를 높일 수 있다. 이미지 데이터는 프로세서(2020)으로 전달되어 처리될 수 있다. 출력 장치(2060)는 이미지　데이터를 표시할 수 있다. 저장 장치(2030)는 이미지　데이터를 저장할 수 있다. 프로세서(2020)는　이미지　센서(2010), 출력 장치(2060) 및 저장 장치(2030)의 동작을 제어할 수 있다.
프로세서(2020)는 이미지 센서(2010)로부터 수신되는 픽셀 데이터를 처리하는 연산을 수행하고, 처리된 이미지 데이터를 출력하는 이미지 처리 장치일 수 있다. 여기서, 처리는 EIS(Electronic Image Stabilization), 보간, 색조 보정, 화질 보정, 크기 조정 등일 수 있다.
프로세서(2020)는 이미지 센서(2010)와는 독립적인 칩으로 구현될 수 있다. 예를 들어, 프로세서(2020)는 멀티-칩 패키지(multi-chip package)로 구현될 수 있다. 본 발명의 다른 실시 예에서는 프로세서(2020)는 이미지 센서(2010)의 일부로 포함되어 하나의 칩으로 구현될 수 있다.
프로세서(2020)는 전자 장치(2000)의 동작을 실행하고 제어할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 마이크로프로세서(microprocessor), 중앙 처리 장치(Central Processing Unit, CPU) 또는 어플리케이션 프로세서(application processor, AP)일 수 있다. 프로세서(2020)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(2030), 메모리 장치(2040), 입력 장치(2050) 및 출력 장치(2060)에 연결되어 통신을 수행할 수 있다.
본 발명의 실시 예에서, 프로세서(2020)는 이미지 센서(2010)의 화이트 게인값들을 생성할 수 있다. 미리 결정된 화이트 이미지 센싱 결과를 기초로 프로세서(2020)는 이미지 센서(2010)의 화이트 게인값들의 일부를 계산할 수 있다. 프로세서(2020)는 화이트 게인값들 사이를 보간하여 이미지 센서(2010)의 화이트 게인값들을 생성할 수 있다.
프로세서(2020)는 픽셀값들을 기초로 포화 픽셀들을 검출하고, 포화 픽셀들의 주변 픽셀들을 이용하여 포화된 화이트 픽셀들 중 보정할 타겟 픽셀들을 결정할 수 있다. 프로세서(2020)는 포화된 화이트 픽셀을 중심으로 하는 판단 영역을 생성하고, 판단 영역에 포함된 화이트 픽셀들을 제외한 나머지 픽셀들이 포화되지 않는 것에 대응하여 포화된 화이트 픽셀의 픽셀값을 보정할 수 있다. 프로세서(2020)는 타겟 픽셀의 주변 픽셀들 중 컬러가 동일한 픽셀들의 평균 픽셀값들을 계산하고, 평균 픽셀값들의 합과 타겟 픽셀에 대응하는 화이트 게인값의 곱을 타겟 픽셀의 픽셀값으로 변경할 수 있다.
저장 장치(2030)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive; SSD), 하드 디스크 드라이브(Hard Disk Drive; HDD), 씨디롬(CD-ROM) 및 모든 형태의 비휘발성 메모리 장치 등을 포함할 수 있다.
메모리 장치(2040)는 전자 장치(2000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(2040)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다. 프로세서(2020)는 메모리 장치(2040)에 저장된 명령어 세트를 실행하여 이미지 센서(2010)와 출력 장치(2060)를 제어할 수 있다.
본 발명의 실시 예에서, 메모리 장치(2040)는 이미지 센서(2010)의 화이트 게인값들을 저장할 수 있다. 메모리 장치(2040)는 화이트 게인값들의 일부를 저장하거나 또는 모든 화이트 게인값들을 저장할 수 있다.
입력 장치(2050)는 키보드, 키패드, 마우스 등과 같은 입력 수단을 포함하고, 출력 장치(2060)는 프린터장치, 디스플레이 등과 같은 출력 수단을 포함할 수 있다.
이미지　센서(2010)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어,　이미지　센서(2010)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flat Pack(TQFP), Small Outline Integrated Circuit(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline Package(TSOP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 구현될 수 있다.
한편, 전자 장치(2000)는　이미지　센서(2010)를 이용하는 모든 컴퓨팅 시스템으로 해석될 수 있다. 전자 장치(2000)는　패키징된 모듈, 부품 등의 형태로 구현될 수 있다. 예를 들어, 전자 장치(2000)는 디지털 카메라, 모바일 장치, 스마트폰(smart phone), PC(Personal Computer), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), PMP(portable multimedia player), 웨어러블 디바이스(wearable device), 블랙박스, 로봇, 자율주행 차량 등으로 구현될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 이미지 처리 시스템
100: 이미지 센서
110: 컬러 필터 어레이
200: 이미지 처리 장치
210: 게인값 관리부
220: 타겟 픽셀 관리부
230: 타겟 픽셀 보정부

Claims (26)

  1. 미리 결정된 화이트 이미지에 대한 센싱 결과를 기초로 복수의 위치들에 대응하는 화이트 게인값들을 생성하는 게인값 관리부;
    외부로부터 수신한 픽셀값들을 기초로 포화 픽셀들을 검출하고, 상기 포화 픽셀들 중 상기 포화 픽셀들의 주변 픽셀들을 기초로 픽셀값이 포화된 화이트 픽셀들인 타겟 픽셀들을 결정하는 타겟 픽셀 관리부; 및
    상기 화이트 게인값들과 상기 주변 픽셀들의 픽셀값들을 기초로 상기 타겟 픽셀들의 픽셀값들을 변경하는 타겟 픽셀 보정부를 포함하는 이미지 처리 장치.
  2. 제1항에 있어서, 상기 게인값 관리부는,
    상기 센싱 결과를 기초로 컬러들에 대한 픽셀값의 비율을 조절하는 화이트 밸런싱 동작을 수행하는 이미지 처리 장치.
  3. 제2항에 있어서, 상기 게인값 관리부는,
    상기 화이트 이미지 내부에 미리 결정된 크기를 갖는 계산 영역들을 설정하고, 상기 계산영역들 각각에 대응하는 상기 화이트 게인값들을 산출하는 이미지 처리 장치.
  4. 제3항에 있어서, 상기 게인값 관리부는,
    상기 계산 영역들 사이 간격을 일정하도록 상기 계산 영역들을 위치시키는 이미지 처리 장치.
  5. 제3항에 있어서, 상기 게인값 관리부는,
    상기 계산 영역들에서 컬러가 동일한 픽셀들의 평균 픽셀값들을 각각 계산하고, 화이트 픽셀들의 평균 픽셀값과 나머지 픽셀들의 평균 픽셀값들의 합의 비율들을 상기 화이트 게인값들로 결정하는 이미지 처리 장치.
  6. 제5항에 있어서, 상기 게인값 관리부는,
    상기 복수의 위치들과 상기 화이트 게인값들을 기초로 이미지 센서에 대한 게인값 테이블을 생성하고, 상기 게인값 테이블을 저장하는 저장부를 더 포함하는 이미지 처리 장치.
  7. 제6항에 있어서, 상기 게인값 관리부는,
    상기 저장부의 용량을 기초로 상기 계산 영역들 사이 간격을 조절하는 이미지 처리 장치.
  8. 제1항에 있어서, 상기 타겟 픽셀 관리부는,
    복수의 픽셀들 중 픽셀값이 미리 결정된 기준값을 초과하는 픽셀들을 상기 포화 픽셀들로 결정하는 이미지 처리 장치.
  9. 제8항에 있어서, 상기 타겟 픽셀 관리부는,
    픽셀에 대응하는 컬러들에 따라 서로 다른 기준값들을 결정하고, 상기 기준값들을 기초로 상기 포화 픽셀들을 결정하는 이미지 처리 장치.
  10. 제8항에 있어서, 상기 타겟 픽셀 관리부는,
    상기 복수의 픽셀들 중 상기 포화 픽셀을 제외한 노멀 픽셀들에 대한 화이트 밸런싱 동작을 수행하는 이미지 처리 장치.
  11. 제10항에 있어서, 상기 타겟 픽셀 관리부는,
    상기 포화 픽셀들 중 화이트 픽셀에 대응하는 판단 영역을 설정하고, 상기 판단 영역에 포함된 픽셀들 중 화이트 픽셀들을 제외한 나머지 픽셀들을 상기 주변 픽셀들로 결정하고, 상기 주변 픽셀들이 상기 포화 픽셀들에 포함되지 않는 것에 대응하여 상기 화이트 픽셀을 상기 타겟 픽셀들에 포함시키는 이미지 처리 장치.
  12. 제11항에 있어서, 상기 타겟 픽셀 관리부는,
    상기 화이트 게인값들을 기초로 상기 포화 픽셀들 중 상기 화이트 픽셀에 대응하는 화이트 게인값을 계산하고, 상기 화이트 게인값을 기초로 상기 판단 영역의 크기를 결정하는 이미지 처리 장치.
  13. 제11항에 있어서, 상기 타겟 픽셀 관리부는,
    이미지 센서에 포함된 컬러 필터 어레이 패턴에 따라 상기 판단 영역의 크기를 결정하는 이미지 처리 장치.
  14. 제11항에 있어서, 상기 타겟 픽셀 보정부는,
    상기 타겟 픽셀들 각각에 대응하는 화이트 게인값들인 타겟 게인값들을 결정하고, 상기 타겟 픽셀들 각각에 대응하는 주변 픽셀들 중 컬러가 동일한 픽셀들의 평균 픽셀값들을 계산하는 이미지 처리 장치.
  15. 제14항에 있어서, 상기 타겟 픽셀 보정부는,
    상기 주변 픽셀들의 상기 평균 픽셀값들의 합과 상기 타겟 게인값들의 곱을 상기 타겟 픽셀들의 픽셀값들로 결정하는 이미지 처리 장치.
  16. 제15항에 있어서, 상기 타겟 픽셀 보정부는,
    상기 타겟 픽셀들의 픽셀값들의 결정에 대응하여 상기 노멀 픽셀들에 대한 인버스 화이트 밸런싱 동작을 수행하는 이미지 처리 장치.
  17. 미리 결정된 화이트 이미지에 대한 센싱 결과를 기초로 복수의 위치들에 대응하는 화이트 게인값들을 생성하는 단계;
    외부로부터 수신한 픽셀값들을 기초로 검출한 포화 픽셀들 중 상기 포화 픽셀들의 주변 픽셀들을 기초로 픽셀값이 포화된 화이트 픽셀인 타겟 픽셀을 결정하는 단계; 및
    상기 화이트 게인값들과 상기 주변 픽셀들의 픽셀값들을 기초로 상기 타겟 픽셀의 픽셀값을 변경하는 단계를 포함하는 이미지 보정 방법.
  18. 제17항에 있어서, 상기 화이트 게인값들을 생성하는 단계는,
    상기 센싱 결과를 기초로 컬러들에 대한 픽셀값의 비율을 조절하는 화이트 밸런싱 동작을 수행하는 단계;
    상기 화이트 이미지 내부에 미리 결정된 크기를 갖는 계산 영역들을 일정한 간격으로 설정하는 단계; 및
    상기 계산영역들에 대응하는 상기 화이트 게인값들을 산출하는 단계를 포함하는 이미지 보정 방법.
  19. 제18항에 있어서, 상기 화이트 밸런싱 동작을 수행하는 단계는,
    상기 화이트 이미지의 레드 픽셀값들에 대한 그린 픽셀값들의 비율을 상기 레드 픽셀값들 각각에 곱하는 단계; 및
    상기 화이트 이미지의 블루 픽셀값들에 대한 그린 픽셀값들의 비율을 상기 블루 픽셀값들 각각에 곱하는 단계를 포함하는 이미지 보정 방법.
  20. 제18항에 있어서, 상기 화이트 게인값들을 산출하는 단계는,
    상기 계산 영역들에서 화이트 픽셀들의 평균 픽셀값, 레드 픽셀들의 평균 픽셀값, 그린 픽셀들의 평균 픽셀값 및 블루 픽셀들의 평균 픽셀값을 계산하는 단계; 및
    상기 계산 영역들에서 상기 화이트 픽셀들의 평균 픽셀값을 상기 레드 픽셀들의 평균 픽셀값, 상기 그린 픽셀들의 평균 픽셀값 및 상기 블루 픽셀들의 평균 픽셀값의 합으로 나눈 값들을 상기 화이트 게인값들로 결정하는 단계를 포함하는 이미지 보정 방법.
  21. 제17항에 있어서, 상기 타겟 픽셀을 결정하는 단계는,
    복수의 픽셀들 중 픽셀값이 미리 결정된 기준값을 초과하는 픽셀들을 상기 포화 픽셀들로 결정하는 단계;
    상기 복수의 픽셀들 중 상기 포화 픽셀들을 제외한 노말 픽셀들에 대한 화이트 밸런싱 동작을 수행하는 단계;
    상기 포화 픽셀들 중 화이트 픽셀에 대응하는 판단 영역을 설정하는 단계; 및
    상기 판단 영역에 포함된 픽셀들 중 레드 픽셀들, 그린 픽셀들 및 블루 픽셀들이 상기 포화 픽셀들에 포함되지 않는 것에 대응하여 상기 화이트 픽셀을 상기 타겟 픽셀로 결정하는 단계를 포함하는 이미지 보정 방법.
  22. 제21항에 있어서, 상기 포화 픽셀들을 결정하는 단계는,
    픽셀에 대응하는 컬러들에 따라 서로 다른 기준값들을 기초로 상기 포화 픽셀들을 결정하는 단계를 포함하는 이미지 보정 방법.
  23. 제21항에 있어서, 상기 화이트 밸런싱 동작을 수행하는 단계는,
    레드 픽셀값들에 대한 그린 픽셀들의 제1 비율과 블루 픽셀값들에 대한 그린 픽셀값들의 제2 비율을 산출하는 단계; 및
    상기 레드 픽셀값들 각각에 상기 제1 비율을 곱하고, 상기 블루 픽셀들 각각에 상기 제2 비율을 곱하는 단계를 포함하는 이미지 보정 방법.
  24. 제23항에 있어서, 상기 판단 영역을 설정하는 단계는,
    상기 화이트 게인값들을 기초로 상기 화이트 픽셀에 대응하는 화이트 게인값을 계산하는 단계; 및
    상기 화이트 게인값을 기초로 상기 판단 영역의 크기를 결정하는 단계를 포함하는 이미지보정 방법.
  25. 제24항에 있어서, 상기 타겟 픽셀의 픽셀값을 변경하는 단계는,
    상기 화이트 게인값을 상기 타겟 픽셀의 화이트 게인값으로 결정하는 단계;
    상기 타겟 픽셀에 대응하는 판단 영역에 포함된 레드 픽셀들의 평균 픽셀값, 그린 픽셀들의 평균 픽셀값 및 블루 픽셀들의 평균 픽셀값의 합인 주변 픽셀값을 계산하는 단계;
    상기 화이트 게인값과 상기 주변 픽셀값의 곱을 상기 타겟 픽셀의 픽셀값으로 결정하는 단계; 및
    상기 노말 픽셀들에 대한 인버스 화이트 밸런싱 동작을 수행하는 단계를 포함하는 이미지 보정 방법.
  26. 제25항에 있어서, 상기 인버스 화이트 밸런싱 동작을 수행하는 단계는,
    상기 레드 픽셀들 각각에 상기 제1 비율의 역수를 곱하는 단계; 및
    상기 블루 픽셀들 각각에 상기 제2 비율의 역수를 곱하는 단계를 포함하는 이미지 보정 방법.
KR1020220133971A 2022-10-18 2022-10-18 이미지 처리 장치 및 이미지 보정 방법 KR20240053886A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220133971A KR20240053886A (ko) 2022-10-18 2022-10-18 이미지 처리 장치 및 이미지 보정 방법
US18/185,240 US20240129641A1 (en) 2022-10-18 2023-03-16 Image processing device and image correcting method
CN202310615644.0A CN117915208A (zh) 2022-10-18 2023-05-29 图像处理装置和图像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220133971A KR20240053886A (ko) 2022-10-18 2022-10-18 이미지 처리 장치 및 이미지 보정 방법

Publications (1)

Publication Number Publication Date
KR20240053886A true KR20240053886A (ko) 2024-04-25

Family

ID=90625968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220133971A KR20240053886A (ko) 2022-10-18 2022-10-18 이미지 처리 장치 및 이미지 보정 방법

Country Status (3)

Country Link
US (1) US20240129641A1 (ko)
KR (1) KR20240053886A (ko)
CN (1) CN117915208A (ko)

Also Published As

Publication number Publication date
US20240129641A1 (en) 2024-04-18
CN117915208A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
US11015927B2 (en) Optical sensor and optical sensor system
US11363220B2 (en) Image sensor having a time calculator and image processing device including the same
US11159722B2 (en) Method for processing image signal, image signal processor, and image sensor chip
US11611695B2 (en) Imaging device and electronic device including the same
US9485483B2 (en) Image sensor and image sensor system including the same
US20220086309A1 (en) Depth map determination method and electronic device to which same method is applied
US11558587B2 (en) Camera module comprising complementary color filter array and electronic device comprising same
US11546565B2 (en) Image sensing device and operating method thereof
KR20240053886A (ko) 이미지 처리 장치 및 이미지 보정 방법
KR102412020B1 (ko) 이미지 센서의 파라미터 제어 방법
US8786737B2 (en) Image correction device and image correction method
US20230353884A1 (en) Image processing system and image processing method
US20240144645A1 (en) Image processing system and disparity calculation method
KR20240062684A (ko) 이미지 처리 시스템 및 디스패리티 산출 방법
US20240098382A1 (en) Image processing device and image processing method
US20230050561A1 (en) Electronic apparatus and operating method of the electronic apparatus
US11962923B2 (en) Image processing system and method of operating the same
US20230109055A1 (en) Electronic apparatus and operating method of the electronic apparatus
KR20220152019A (ko) 이미지 센싱 장치 및 그 동작 방법
US20240029195A1 (en) Image processing device and image processing method
US20240163578A1 (en) Image signal processor, image sensor, and operating method of the image sensor
KR20220166013A (ko) 이미지 센싱 장치 및 그 동작 방법
KR20240009723A (ko) 이미지 처리 장치 및 이미지 처리 방법
TW202409966A (zh) 圖像處理裝置、圖像處理系統及圖像處理方法
KR20230011198A (ko) 전자 장치 및 그 동작 방법