KR20220140369A - 이미지 센싱 장치 및 그 동작 방법 - Google Patents

이미지 센싱 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220140369A
KR20220140369A KR1020210046791A KR20210046791A KR20220140369A KR 20220140369 A KR20220140369 A KR 20220140369A KR 1020210046791 A KR1020210046791 A KR 1020210046791A KR 20210046791 A KR20210046791 A KR 20210046791A KR 20220140369 A KR20220140369 A KR 20220140369A
Authority
KR
South Korea
Prior art keywords
channel
values
transmission
color
value
Prior art date
Application number
KR1020210046791A
Other languages
English (en)
Inventor
임재현
구자민
김태현
전재환
정우영
조창훈
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020210046791A priority Critical patent/KR20220140369A/ko
Priority to US17/481,841 priority patent/US11546565B2/en
Priority to CN202111596117.7A priority patent/CN115209120B/zh
Publication of KR20220140369A publication Critical patent/KR20220140369A/ko

Links

Images

Classifications

    • H04N9/735—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H04N5/3537—
    • H04N9/045—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

본 기술은 전자 장치에 관한 것으로, 본 기술에 따른, 이미지 센싱 장치는, 복수의 컬러 채널들을 포함하는 픽셀을 적어도 하나 이상 포함하는 이미지 센서 및 상기 복수의 컬러 채널들의 밝기 강도값들을 기초로 입력된 이미지를 처리하는 이미지 프로세서를 포함하고, 상기 이미지 프로세서는, 상기 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 일정 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성하고, 상기 트랜스미션 값들 중 같은 픽셀에 포함된 컬러 채널들에 대응되는 트랜스미션 값들끼리 곱한 타겟 트랜스미션 값들을 포함하는 타겟 트랜스미션 맵을 생성하는 트랜스미션 맵 생성부, 상기 타겟 트랜스미션 맵을 기초로 상기 이미지에 포함되는 픽셀들 중 화이트 영역에 포함되는 타겟 픽셀들을 결정하는 화이트 픽셀 검출부 및 상기 타겟 픽셀들에 포함된 컬러 채널들 각각의 평균 밝기 강도값들을 기초로 화이트 밸런스를 조절하는 화이트 밸런스 조절부를 포함할 수 있다.

Description

이미지 센싱 장치 및 그 동작 방법{IMAGE SENSING DEVICE AND OPERATING METHOD THEREOF}
본 발명은 전자 장치에 관한 것으로, 보다 구체적으로 본 발명은 이미지 센싱 장치 및 그 동작 방법에 관한 것이다.
이미지 센서는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 장치이다. 최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 마이크로 카메라 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.
이미지 센서는 크게 CCD(Charge Coupled Device) 이미지 센서와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구분될 수 있다. CCD 이미지 센서는 CMOS 이미지 센서에 비해 잡음(noise)이 적고, 화질이 우수하다. 하지만, CMOS 이미지 센서는 구동 방식이 간편하고 다양한 스캐닝(scanning) 방식으로 구현 가능하다. 또한, CMOS 이미지 센서는 신호 처리 회로를 단일 칩에 집적할 수 있어 제품의 소형화가 용이하고 전력 소모가 매우 낮으며, CMOS 공정 기술을 호환하여 사용할 수 있어 제조 단가가 낮다. 최근에는 모바일 기기에 보다 적합한 특성으로 인하여 CMOS 이미지 센싱 장치가 많이 이용되고 있다.
본 발명의 실시 예는 향상된 오토 화이트 밸런스 동작을 수행하는 이미지 센싱 장치 및 그 동작 방법을 제공한다.
본 발명의 실시 예에 따른 이미지 센싱 장치는, 복수의 컬러 채널들을 포함하는 픽셀을 적어도 하나 이상 포함하는 이미지 센서 및 상기 복수의 컬러 채널들의 밝기 강도값들을 기초로 입력된 이미지를 처리하는 이미지 프로세서를 포함하고, 상기 이미지 프로세서는, 상기 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 일정 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성하고, 상기 트랜스미션 값들 중 같은 픽셀에 포함된 컬러 채널들에 대응되는 트랜스미션 값들끼리 곱한 타겟 트랜스미션 값들을 포함하는 타겟 트랜스미션 맵을 생성하는 트랜스미션 맵 생성부, 상기 타겟 트랜스미션 맵을 기초로 상기 이미지에 포함되는 픽셀들 중 화이트 영역에 포함되는 타겟 픽셀들을 결정하는 화이트 픽셀 검출부 및 상기 타겟 픽셀들에 포함된 컬러 채널들 각각의 평균 밝기 강도값들을 기초로 화이트 밸런스를 조절하는 화이트 밸런스 조절부를 포함할 수 있다.
본 발명의 실시 예에 따른 복수의 컬러 채널들을 포함하는 픽셀을 적어도 하나 이상 포함하는 이미지 센서 및 상기 복수의 컬러 채널들의 밝기 강도값들을 기초로 입력된 이미지를 처리하는 이미지 프로세서를 포함하는 이미지 센싱 장치의 동작방법은, 상기 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 일정 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성하는 단계, 상기 트랜스미션 값들 중 같은 픽셀에 포함된 컬러 채널들에 대응되는 트랜스미션 값들끼리 곱한 타겟 트랜스미션 값들을 포함하는 타겟 트랜스미션 맵을 생성하는 단계, 상기 타겟 트랜스미션 맵을 기초로 상기 이미지에 포함되는 픽셀들 중 화이트 영역에 포함되는 타겟 픽셀들을 결정하는 단계 및 상기 타겟 픽셀들에 포함된 컬러 채널들 각각의 평균 밝기 강도값들을 기초로 화이트 밸런스를 조절하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 복수의 컬러 채널들을 포함하는 픽셀을 적어도 하나 이상 포함하는 이미지 센서로부터 수신한 상기 픽셀에 대한 상기 복수의 컬러 채널들의 밝기 정보를 기초로 입력된 이미지를 처리하는 이미지 처리 장치는, 상기 이미지에서 위치가 동일한 픽셀에 대한 상기 밝기 정보에 포함되는 상기 컬러 채널들의 최대 크기가 1이하가 되도록 노말라이즈 된 밝기 강도값들을 연산하여 상기 이미지에 대한 타겟 트랜스미션 맵을 생성하는 트랜스미션 맵 생성부, 상기 타겟 트랜스미션 맵을 기초로 상기 이미지에 포함되는 픽셀들 중 화이트 영역에 포함되는 타겟 픽셀들을 결정하는 화이트 픽셀 검출부 및 상기 타겟 픽셀들에 포함된 컬러 채널들 각각의 평균 밝기 강도값들을 기초로 화이트 밸런스를 조절하는 화이트 밸런스 조절부를 포함할 수 있다.
본 기술에 따르면 향상된 오토 화이트 밸런스 동작을 수행하는 이미지 센싱 장치가 제공될 수 있다.
도 1은 본 발명의 실시 예에 따른 이미지 센싱 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 도 1의 이미지 센서를 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 도 2의 픽셀 어레이에 포함된 컬러 필터의 예시적 패턴을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 이미지 센싱 장치를 나타내는 블록도이다.
도 5는 본 발명의 실시 예에 따른 픽셀에 포함된 컬러 채널을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 컬러 채널들에 대한 컬러 채널 트랜스미션 맵을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 타겟 트랜스미션 맵 생성을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예에 따른 화이트 밸런스 동작을 설명하기 위한 순서도이다.
도 9는 본 발명의 실시 예에 따른 타겟 트랜스미션 맵을 생성하는 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 실시 예에 따른　이미지　센서를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 이미지 센싱 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 이미지 센싱 장치(10)는 이미지 센서(100), 및 이미지 프로세서(200)를 포함할 수 있다.
이미지 센싱 장치(10)는 전자 장치, 예컨대 디지털 카메라, 이동 전화기, 스마트폰(smart phone), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), PC(Personal Computer), 웨어러블 디바이스(wearable device) 또는 다양한 목적의 카메라(자동차의 전방 카메라, 후방 카메라, 블랙 박스 카메라 등)에 포함될 수 있다.
이미지 센서(100)는 이미지 센서는 CCD(Charge Coupled Device) 이미지 센서와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구현될 수 있다. 이미지 센서(100)는 렌즈(미도시)를 통하여 입력된(또는 캡쳐된(captured)) 오브젝트(미도시)에 대한 이미지 데이터를 생성할 수 있다. 렌즈(미도시)는 광학계를 형성하는 적어도 하나의 렌즈를 포함할 수 있다.
이미지 센서(100)는 복수 개의 픽셀들을 포함할 수 있다. 이미지 센서(100)는 촬영된 이미지에 대응하는 복수의 픽셀 값(DPXs)들을 복수 개의 픽셀들에서 생성할 수 있다. 이미지 센서(100)에서 생성된 복수의 픽셀 값(DPXs)들은 이미지 프로세서(200)로 전송될 수 있다. 즉, 이미지 센서(100)는 싱글 프레임(single frame)에 대응하는 복수의 픽셀 값(DPXs)들을 생성할 수 있다.
이미지 프로세서(200)는 이미지 센서(100)로부터 수신되는 픽셀 데이터의 이미지 품질을 개선할 수 있는 처리를 수행하고, 처리된 이미지 데이터를 출력할 수 있다. 여기서, 처리는 EIS(Electronic Image Stabilization), 보간, 색조 보정, 화질 보정, 크기 조정 등 일 수 있다. 본 발명의 실시 예에서, 이미지 프로세서(200)는 이미지 처리 장치일 수 있다.
도 1에서는 이미지 프로세서(200)가 이미지 센서(100)와는 독립적인 칩으로 구현될 수 있다. 이 경우, 이미지 센서(100)의 칩과 이미지 프로세서(200)의 칩은 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package)로 구현될 수 있다. 본 발명의 다른 실시 예에서는 이미지 프로세서(200)가 이미지 센서(100)의 일부로 포함되어 하나의 칩으로 구현될 수 있다.
도 2는 본 발명의 실시 예에 따른 도 1의 이미지 센서를 설명하기 위한 도면이다.
도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 로우 디코더(120), 타이밍 생성기(130) 및 신호 변환기(140)를 포함할 수 있다.
픽셀 어레이(110)는 실시예에 따른 컬러 필터 어레이(111) 및 컬러 필터 어레이(111) 하부에 형성되어 컬러 필터 어레이(111) 각각의 픽셀에 대응하는 복수의 광전 변환 소자(photoelectric conversion element)를 포함하는 광전변환층(113)을 포함할 수 있다. 픽셀 어레이(110)는 입사광에 포함한 컬러 정보를 출력하기 위한 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들 각각은 대응하는 컬러 필터 어레이(111)를 통과한 입사광에 상응하는 픽셀 신호를 출력할 수 있다.
컬러 필터 어레이(111)는 각 픽셀로 입사되는 광의 특정 파장(예컨대, 레드, 블루, 그린) 만을 통과시키는 컬러 필터들을 포함할 수 있다. 본 발명에서 컬러 필터는 컬러 채널이라고 표현될 수 있다. 컬러 필터 어레이(111)로 인해, 각 픽셀의 픽셀 데이터는 특정 파장의 광의 세기에 대응하는 값을 나타낼 수 있다.
구체적으로, 복수의 픽셀들 각각은 입사광에 따라 생성된 광 전하들을 축적하고, 축적된 광 전하들에 상응하는 픽셀 신호를 생성할 수 있다. 픽셀들 각각은 광 신호를 전기적 신호로 변환하는 광전 변환 소자(예컨대, 포토 다이오드(photo diode), 포토트랜지스터(photo transistor), 포토게이트(photogate), 또는 핀드 포토다이오드 (pinned photo diode)) 및 전기적 신호를 처리하기 위한 적어도 하나의 트랜지스터를 포함할 수 있다.
픽셀 어레이(110)는 로우(row) 방향과 컬럼(column) 방향으로 배열된 복수의 픽셀들을 포함할 수 있다. 픽셀 어레이(110)는 로우 별로 복수의 픽셀신호(VPXs)를 생성할 수 있다. 복수의 픽셀신호(VPXs)는 각각 아날로그 타입의 픽셀신호(VPXs)일 수 있다.
로우 디코더(120)는 타이밍 생성기(130)로부터 출력된 어드레스와 제어 신호들에 응답하여 픽셀 어레이(110)에서 복수의 픽셀들이 배열된 다수의 로우들 중에서 하나의 로우(row)를 선택할 수 있다.
신호 변환기(140)는 아날로그 타입의 복수의 픽셀신호(VPXs)를 디지털 타입의 복수의 픽셀값(DPXs)로 변환할 수 있다. 디지털 타입의 복수의 픽셀값(DPXs)은 다양한 패턴으로 출력될 수 있다. 신호 변환기(140)는 타이밍 생성기(130)로부터 출력된 제어 신호들에 응답하여 픽셀 어레이(110)로부터 출력된 신호들 각각에 대하여 CDS(correlated double sampling)을 수행하고 CDS된 신호들 각각을 아날로그-디지털 변환하여 디지털 신호들 각각을 출력할 수 있다. 디지털 신호들 각각은 대응하는 컬러 필터 어레이(111)를 통과한 입사광 파장들의 세기에 대응하는 신호들일 수 있다.
신호 변환기(140)는 CDS(correlated double sampling) 블록과 ADC(analog to digital converter) 블록을 포함할 수 있다. CDS 블록은 픽셀 어레이(110)에 포함된 복수의 컬럼 라인들 각각으로 제공되는 기준 신호와 영상 신호 세트를 순차적으로 샘플링 및 홀딩(Sampling and Holding)할 수 있다. 즉, CDS 블록은 컬럼들 각각에 대응하는 기준 신호와 영상 신호의 레벨을 샘플링하고 유지할 수 있다. ADC 블록은 CDS 블록으로부터 출력되는 각각의 컬럼에 대한 상관 이중 샘플링 신호를 디지털 신호로 변환한 픽셀 데이터를 출력할 수 있다. 이를 위해 ADC 블록은 각 컬럼에 대응하는 비교기 및 카운터를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 이미지 센서(100)는 출력 버퍼(150)를 더 포함할 수 있다. 출력 버퍼(150)는 신호 변환기(140)로부터 출력된 디지털 신호들을 저장하는 다수의 버퍼들로 구현될 수 있다. 구체적으로, 출력 버퍼(150)는 신호 변환기(140)로부터 제공되는 각각의 컬럼 단위의 픽셀 데이터를 래치(latch)하여 출력할 수 있다. 출력 버퍼(150)는 신호 변환기(140)에서 출력되는 픽셀 데이터를 임시 저장하고, 타이밍 생성기(130)의 제어에 따라 픽셀 데이터를 순차적으로 출력할 수 있다. 본 발명의 실시예에 따라 출력 버퍼(150)는 생략될 수 있다.
도 3은 본 발명의 실시 예에 따른 도 2의 픽셀 어레이에 포함된 컬러 필터의 예시적 패턴을 설명하기 위한 도면이다.
도 3을 참조하면, 픽셀 어레이(110)는 예정된 패턴으로 배열될 수 있다. 예컨대, 픽셀 어레이(110)는 베이어 패턴(bayer pattern)으로 배열될 수 있다. 베이어 패턴은 2 x 2 픽셀들의 반복 셀로 구성될 수 있다. 각각의 셀에는 그린(green) 컬러 필터를 가지는 2개의 픽셀들(Gb, Gr)이 대각선으로 대향하도록 배치되고, 블루(blue) 컬러 필터를 가지는 1개의 픽셀(B)과 레드(red) 컬러 필터를 가지는 1개의 픽셀(R)이 나머지 코너에 배치될 수 있다. 4개의 픽셀들(B, Gb, Gr, R)은 도 3에 도시된 배치 구조에 반드시 한정되는 것은 아니며, 앞서 설명한 베이어 패턴을 전제로 하되, 쿼드 베이어 패턴, 노나 패턴, 헥사-데카 패턴 등으로 다양하게 배치될 수 있다.
도 4는 본 발명의 실시 예에 따른 이미지 센싱 장치를 나타내는 블록도이다.
도 4를 참조하면, 이미지 센싱 장치(10)는 이미지 센서(100)와 이미지 프로세서(200)를 포함할 수 있다. 복수의 컬러 채널들을 포함하는 픽셀을 적어도 하나 이상 포함하는 이미지 센서(100)는 복수의 컬러 채널들의 밝기 강도값들을 이미지 프로세서(200)로 전송할 수 있다. 이미지 프로세서(200)는 복수의 컬러 채널들의 밝기 강도값들을 기초로 이미지를 처리할 수 있다.
본 발명의 다른 실시 예에 따르면, 복수의 컬러 채널들을 포함하는 픽셀을 적어도 하나 이상 포함하는 이미지 센서(100)는 픽셀에 대한 복수의 컬러 채널들의 밝기 정보를 이미지 프로세서(200)로 전송할 수 있다. 이미지 프로세서(200)는 복수의 컬러 채널들의 밝기 정보를 기초로 입력된 이미지를 처리할 수 있다.
이미지 프로세서(200)는 트랜스미션 맵 생성부(210), 화이트 픽셀 검출부(220) 및 화이트 밸런스 조절부(230)를 포함할 수 있다. 이미지 센서(100)와 이미지 프로세서(200)는 도 1 및 도 2의 설명에 대응될 수 있다.
트랜스미션 맵 생성부(210)는 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 일정 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성할 수 있다. 트랜스미션 맵 생성부(210)는 트랜스미션 값들 중 같은 픽셀에 포함된 컬러 채널들에 대응되는 트랜스미션 값들끼리 곱한 타겟 트랜스미션 값들을 포함하는 타겟 트랜스미션 맵을 생성할 수 있다.
트랜스미션 맵 생성부(210)는 복수의 컬러 채널들 각각으로부터 수신한 밝기 강도값들이 0 이상 1 이하가 되도록 노말라이즈 할 수 있다. 트랜스미션 맵 생성부(210)는 1 과 노말라이즈 된 밝기 강도값들에 미리 결정된 밝기 분리 강도값을 곱한 값의 차인 트랜스미션 값들을 생성할 수 있다. 트랜스미션 맵 생성부(210)는 컬러 채널의 종류가 동일한 트랜스미션 값들을 기초로 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 일정 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성할 수 있다.
본 발명의 실시 예에서, 레드 채널, 그린 채널 및 블루 채널이 복수의 컬러 채널들에 포함될 수 있다. 트랜스미션 맵 생성부(210)는 레드 채널에 대한 컬러 채널 트랜스미션 맵, 그린 채널에 대한 컬러 채널 트랜스미션 맵 및 블루 채널에 대한 컬러 채널 트랜스미션 맵을 기초로 타겟 트랜스미션 맵을 생성할 수 있다.
본 발명의 다른 실시 예에서, 트랜스미션 맵 생성부(210)는 수신한 이미지에서 위치가 동일한 픽셀에 대한 밝기 정보에 포함되는 컬러 채널들의 최대 크기가 1 이하가 되도록 노말라이즈 된 밝기 강도값들을 연산한 타겟 트랜스미션 값들을 포함하는 타겟 트랜스미션 맵을 생성할 수 있다. 트랜스미션 맵 생성부(210)는 1 과 노말라이즈 된 밝기 강도값들에 미리 결정된 밝기 분리 강도값을 곱한 값의 차인 컬러 채널 트랜스미션 값들을 생성할 수 있다. 트랜스미션 맵 생성부(210)는 컬러 채널 트랜스미션 값들을 곱하여 생성된 픽셀에 대한 타겟 트랜스미션 값을 기초로 타겟 트랜스미션 맵을 생성할 수 있다.
화이트 픽셀 검출부(220)는 타겟 트랜스미션 맵을 기초로 이미지에 포함되는 픽셀들 중 화이트 영역에 포함되는 타겟 픽셀들을 결정할 수 있다. 화이트 픽셀 검출부(220)는 타겟 트랜스미션 맵에 포함되는 타겟 트랜스미션 값들 중 최소 타겟 트랜스미션 값을 확인하고, 최소 타겟 트랜스미션 값과 미리 결정된 튜닝값을 곱한 기준값 보다 타겟 트랜스미션 값이 작은 픽셀들을 타겟 픽셀들로 결정할 수 있다.
화이트 밸런스 조절부(230)는 타겟 픽셀들의 레드 채널에 대한 평균 밝기 강도값, 그린 채널에 대한 평균 밝기 강도값 및 블루 채널에 대한 평균 밝기 강도값을 기초로 레드 채널에 대한 게인값인 레드 채널 게인값 및 블루 채널에 대한 게인값인 블루 채널 게인값을 계산할 수 있다. 화이트 밸런스 조절부(230)는 타겟 픽셀들에 레드 채널 게인값 및 블루 채널 게인값을 적용할 수 있다. 화이트 밸런스 조절부(230)는 타겟 픽셀들의 레드 채널에 대한 밝기 강도값들에 레드 채널 게인값을 곱하고, 타겟 픽셀들의 블루 채널에 대한 밝기 강도값들에 블루 채널 게인값을 곱하여 수신한 이미지의 화이트 밸런스를 조절할 수 있다.
도 5는 본 발명의 실시 예에 따른 픽셀에 포함된 컬러 채널을 설명하기 위한 도면이다.
도 5를 참조하면, 픽셀(510)에 레드 채널(511), 그린 채널(513) 및 블루 채널(515)이 포함될 수 있다. 도 5와 도 6에서는 픽셀(510)에 레드 채널(511), 그린 채널(513) 및 블루 채널(515)이 포함되는 것으로 도시되지만, 본 발명의 실시 예는 이에 한정되지 않는다.
이미지 센싱 장치에 빛이 입력될 때, 픽셀(510)에도 빛이 입력될 수 있다. 입력된 빛은 픽셀(510)에 포함된 레드 채널(511), 그린 채널(513) 및 블루 채널(515)을 통과할 수 있다. 빛이 통과된 레드 채널(511), 그린 채널(513) 및 블루 채널(515)은 통과한 빛의 밝기 강도를 나타낼 수 있다.
예를 들어, 픽셀(510)에 레드광이 입사되는 경우, 레드 채널(511)의 밝기 강도값이 가장 높을 수 있다. 픽셀(510)에 옐로우광이 입사되는 경우, 레드 채널(511)과 그린 채널(513)의 밝기 강도값이 블루 채널(515)의 밝기 강도값보다 높을 수 있다.
픽셀(510)에 입사되는 광은 레드 채널(511), 그린 채널(513) 및 블루 채널(515)의 밝기 강도값으로 표현될 수 있다.
도 6은 본 발명의 실시 예에 따른 컬러 채널들에 대한 컬러 채널 트랜스미션 맵을 설명하기 위한 도면이다.
도 6을 참조하면, 도 5의 픽셀(510)과 동일한 픽셀들(520, 530, 540)이 이미지 센서에 포함되고, 이미지 센서에 입력된 이미지가 레드 채널 트랜스미션 맵(550), 그린 채널 트랜스미션 맵(560) 및 블루 채널 트랜스미션 맵(570)으로 표현될 수 있다.
레드 채널 트랜스미션 맵(550)은 픽셀들(510, 520, 530, 540)에 포함된 레드 채널들의 밝기 강도값들을 기초로 구성될 수 있다. 그린 채널 트랜스미션 맵(560)은 픽셀들(510, 520, 530, 540)에 포함된 그린 채널들의 밝기 강도값들을 기초로 구성될 수 있다. 블루 채널 트랜스미션 맵(570)은 픽셀들(510, 520, 530, 540)에 포함된 블루 채널들의 밝기 강도값들을 기초로 구성될 수 있다.
예를 들어, 픽셀(510)의 위치는 (0,0)이고, 픽셀(510)의 위치는 (0,1)로 가정할 수 있다. 픽셀(530)의 위치는 (1,0)이고, 픽셀(540)의 위치는 (1,1)로 가정할 수 있다. 레드 채널 트랜스미션 맵(550)의 (0,0)에는 픽셀(510)의 레드 채널 밝기 강도값이 포함되고, 레드 채널 트랜스미션 맵(550)의 (0,1)에는 픽셀(520)의 레드 채널 밝기 강도값이 포함될 수 있다. 레드 채널 트랜스미션 맵(550)의 (1,0)에는 픽셀(530)의 레드 채널 밝기 강도값이 포함되고, 레드 채널 트랜스미션 맵(550)의 (1,1)에는 픽셀(540)의 레드 채널 밝기 강도값이 포함될 수 있다. 따라서 특정 컬러 채널에 대응되는 컬러 채널 트랜스미션 맵이 생성될 수 있다. 레드 채널 트랜스미션 맵(550)과 마찬가지로, 그린 채널 트랜스미션 맵(560) 및 블루 채널 트랜스미션 맵(570)도 채널 밝기 강도값을 포함할 수 있다.
본 발명의 실시 예에 따르면, 컬러 채널 트랜스미션 맵은 특정 연산이 수행된 컬러 채널 밝기 강도값을 포함할 수 있다.
도 7은 본 발명의 실시 예에 따른 타겟 트랜스미션 맵 생성을 설명하기 위한 도면이다.
도 7을 참조하면, 트랜스미션 맵 생성부가 입력 이미지를 기초로 컬러 채널 트랜스미션 맵들(Tr, Tg, Tb)을 생성하고, 트랜스미션 맵 생성부가 타겟 트랜스미션 맵(Tm)을 생성할 수 있다. 도 7에서 레드 채널, 그린 채널 및 블루 채널이 픽셀에 포함되는 컬러 채널들로 가정될 수 있다.
트랜스미션 맵 생성부는 입력 이미지를 기초로 레드 채널 트랜스미션 맵(Tr), 그린 채널 트랜스미션 맵(Tg) 및 블루 채널 트랜스미션 맵(Tb)을 생성할 수 있다. 트랜스미션 맵 생성부는 레드 채널, 그린 채널 및 블루 채널 각각으로부터 수신한 밝기 강도값들이 0 이상 1 이하가 되도록 노말라이즈 할 수 있다. 트랜스미션 맵 생성부는 1 과 노말라이즈 된 밝기 강도값들에 미리 결정된 밝기 분리 강도값을 곱한 값의 차인 트랜스미션 값들(Trr, Tgg, Tbb)을 획득할 수 있다. 트랜스미션 값을 계산하는 수식은 아래와 같다.
Trr = 1 - w × Imgr
Tgg = 1 - w × Imgg
Tbb = 1 - w × Imgb
여기서, Imgr 은 레드 채널의 밝기 강도값, Imgg 는 그린 채널의 밝기 강도값, Imgb 는 블루 채널의 밝기 강도값이고, w 는 밝기 분리 강도 값일 수 있다. Trr 은 레드 채널에 대한 트랜스미션 값이고, Tgg 는 그린 채널에 대한 트랜스미션 값이고, Tbb 은 블루 채널에 대한 변환 값일 수 있다.
밝기 분리 강도값(w)은 0 에서 1 사이의 상수 값일 수 있다. 밝기 분리 강도값(w)이 클수록 컬러 변환 맵에서 경계가 뚜렷해질 수 있다. 본 발명의 실시 예에서, 밝기 분리 강도값(w) 0.95 일 수 있다.
트랜스미션 맵 생성부는 레드 채널에 대한 트랜스미션 값(Trr)들을 기초로 레드 채널 트랜스미션 맵(Tr)을 생성할 수 있다. 트랜스미션 맵 생성부는 그린 채널에 대한 트랜스미션 값(Tgg)들을 기초로 그린 채널 트랜스미션 맵(Tg)을 생성할 수 있다. 트랜스미션 맵 생성부는 블루 채널에 대한 트랜스미션 값(Tbb)들을 기초로 블루 채널 트랜스미션 맵(Tb)을 생성할 수 있다.
컬러 채널 트랜스미션 맵들(Tr, Tg, Tb)은 0 이상 1 이하의 값을 포함할 수 있다. 컬러 채널 트랜스미션 맵들(Tr, Tg, Tb)에 포함된 트랜스미션 값들(Trr, Tgg, Tbb)은 입력된 이미지에서 특정 파장의 빛의 세기가 강할수록 0에 근접될 수 있다. 컬러 채널 트랜스미션 맵들(Tr, Tg, Tb)에 포함된 트랜스미션 값들(Trr, Tgg, Tbb)은 입력된 이미지에서 특정 파장의 빛의 세기가 약할수록 1에 근접될 수 있다. 즉, 트랜스미션 값들(Trr, Tgg, Tbb)을 통해 입력된 이미지에 가장 많이 포함된 컬러의 종류가 특정될 수 있다.
트랜스미션 맵 생성부는 컬러 채널 트랜스미션 맵들에 포함된 트랜스미션 값들 중 컬러 채널 트랜스미션 맵들에 대응되는 픽셀의 위치가 동일한 트랜스미션 값들(Trr, Tgg, Tbb)을 곱하여 타겟 트랜스미션 맵(Tm)을 생성할 수 있다. 타겟 트랜스미션 맵(Tm)에 포함되는 타겟 트랜스미션 값(Tmm)은 0 이상 1 이하의 값일 수 있다. 타겟 트랜스미션 값(Tmm)이 0 에 근접할수록 밝은 부분으로 판단될 수 있다. 반대로, 타겟 트랜스미션 값(Tmm)이 1 에 근접할수록 어두운 부분으로 판단될 수 있다. 타겟 트랜스미션 맵(Tm)에 포함되는 타겟 트랜스미션 값(Tmm)을 계산하는 수식은 아래와 같다.
Tmm = Trr × Tgg ⅩTbb
따라서, 타겟 트랜스미션 맵(Tm)은 컬러 채널 트랜스미션 맵들의 곱연산(Tr × Tg × Tb)으로 표현될 수 있다. 트랜스미션 맵 생성부는 타겟 트랜스미션 값(Tmm)을 기초로 타겟 트랜스미션 맵(Tm)을 생성할 수 있다.
화이트 픽셀 검출부는 타겟 트랜스미션 맵(Tm)에 포함되는 타겟 트랜스미션 값(Tmm)들 중 최소 타겟 트랜스미션 값(min(Tmm))을 확인할 수 있다. 화이트 픽셀 검출부는 최소 타겟 트랜스미션 값(min(Tmm))과 미리 결정된 튜닝값(a)을 곱한 기준값 보다 타겟 트랜스미션 값(Tmm)이 작은 픽셀들을 타겟 픽셀들로 결정할 수 있다. 튜닝값(a)은 미리 결정된 상수값일 수 있다. 튜닝값(a)은 민감도 또는 튜닝 이득으로 표현될 수 있다. 튜닝값(a)이 증가할수록 타겟 픽셀의 개수가 증가될 수 있다.
화이트 밸런스 조절부는 타겟 픽셀들의 레드 채널에 대한 평균 밝기 강도값, 그린 채널에 대한 평균 밝기 강도값 및 블루 채널에 대한 평균 밝기 강도값을 기초로 레드 채널에 대한 게인값인 레드 채널 게인값(GainR) 및 블루 채널에 대한 게인값인 블루 채널 게인값(GainB)을 계산할 수 있다. 레드 채널 게인값(GainR) 및 블루 채널 게인값(GainB)을 계산하는 수식은 아래와 같다.
GainR = avgG/avgR
GainB = avgG/avgB
여기서, avgG 는 타겟 픽셀들에 포함되는 그린 채널에 대한 밝기 강도값들의 평균값이고, avgR 은 타겟 픽셀들에 포함되는 레드 채널에 대한 밝기 강도값들의 평균값이고, avgB 는 타겟 픽셀들에 포함되는 블루 채널에 대한 밝기 강도값들의 평균값일 수 있다.
화이트 밸런스 조절부는 타겟 픽셀들의 레드 채널에 대한 밝기 강도값들에 레드 채널 게인값(GainR)을 곱하고, 타겟 픽셀들의 블루 채널에 대한 밝기 강도값들에 블루 채널 게인값(GainB)을 곱하여 타겟 픽셀들의 화이트 밸런스를 보정하는 오토 화이트 밸런스 동작을 수행할 수 있다.
도 8은 본 발명의 실시 예에 따른 화이트 밸런스 동작을 설명하기 위한 순서도이다.
도 8을 참조하면, 이미지 프로세서는 입력된 이미지에 대한 오토 화이트 밸런스 동작을 수행할 수 있다.
S801 단계에서, 트랜스미션 맵 생성부는 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 일정 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성하고, 트랜스미션 값들 중 같은 픽셀에 포함된 컬러 채널들에 대응되는 트랜스미션 값들끼리 곱한 타겟 트랜스미션 값들을 포함하는 타겟 트랜스미션 맵을 생성할 수 있다. 본 발명의 다른 실시 예에서, 트랜스미션 맵 생성부는 이미지에서 위치가 동일한 픽셀에 대한 밝기 정보에 포함되는 컬러 채널들의 최대 크기가 1이하가 되도록 노말라이즈 된 밝기 강도값들을 연산하여 수신한 이미지에 대한 타겟 트랜스미션 맵을 생성할 수 있다.
S803 단계에서, 화이트 픽셀 검출부는 타겟 트랜스미션 맵을 기초로 이미지에 포함되는 픽셀들 중 화이트 영역에 포함되는 타겟 픽셀들을 결정할 수 있다. 화이트 픽셀 검출부는 타겟 트랜스미션 맵에 포함되는 타겟 트랜스미션 값들 중 타겟 트랜스미션 값을 확인하고, 최소 타겟 트랜스미션 값과 미리 결정된 튜닝값을 곱한 기준값 보다 타겟 트랜스미션 값이 작은 픽셀들을 타겟 픽셀들로 결정할 수 있다.
S805 단계에서, 화이트 밸런스 조절부는 타겟 픽셀들에 포함된 컬러 채널들 각각의 평균 밝기 강도값들을 기초로 화이트 밸런스를 조절하는 오토 화이트 밸런스 동작을 수행할 수 있다. 화이트 밸런스 조절부는 타겟 픽셀들의 레드 채널에 대한 평균 밝기 강도값, 그린 채널에 대한 평균 밝기 강도값 및 블루 채널에 대한 평균 밝기 강도값을 기초로 레드 채널에 대한 게인값인 레드 채널 게인값 및 블루 채널에 대한 게인값인 블루 채널 게인값을 계산할 수 있다. 화이트 밸런스 조절부는 타겟 픽셀들의 레드 채널에 대한 밝기 강도값들에 레드 채널 게인값을 곱하고, 타겟 픽셀들의 블루 채널에 대한 밝기 강도값들에 블루 채널 게인값을 곱하여 입력된 이미지의 화이트 밸런스를 조절할 수 있다.
도 9는 본 발명의 실시 예에 따른 타겟 트랜스미션 맵을 생성하는 방법을 설명하기 위한 순서도이다.
도 9를 참조하면, 트랜스미션 맵 생성부는 입력된 이미지에 대한 타겟 트랜스미션 맵을 생성할 수 있다.
S901 단계에서, 트랜스미션 맵 생성부는 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 일정 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성할 수 있다. 구체적으로 트랜스미션 맵 생성부는 복수의 컬러 채널들 각각으로부터 수신한 밝기 강도값들이 0 이상 1 이하가 되도록 노말라이즈 하고, 1 과 노말라이즈 된 밝기 강도값들에 미리 결정된 밝기 분리 강도값을 곱한 값의 차인 트랜스미션 값들을 생성하고, 컬러 채널의 종류가 동일한 트랜스미션 값들을 기초로 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 일정 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성할 수 있다.
S903 단계에서, 트랜스미션 맵 생성부는 컬러 채널 트랜스미션 맵들을 누적시켜 타겟 트랜스미션 맵을 생성할 수 있다. 트랜스미션 맵 생성부는 컬러 채널 트랜스미션 맵들에 포함된 트랜스미션 값들 중 컬러 채널 트랜스미션 맵들에 대응되는 픽셀의 위치가 동일한 트랜스미션 값들을 누적하여 결합할 수 있다. 트랜스미션 맵 생성부는 트랜스미션 값들에 대한 합연산 또는 곱연산을 수행하여 트랜스미션 맵을 생성할 수 있다.
본 발명의 실시 예에서, 이미지 센싱 장치는 입력된 이미지에 대해 오토 화이트 밸런스 동작을 수행하여 입력된 이미지를 보정할 수 있다. 이미지 센싱 장치는 광원의 색상으로 인해 왜곡된 이미지를 보정할 수 있다.
인간의 눈은 특정 생상을 가진 광원에서도 피사체가 가진 본연의 색상을 정확하게 인지할수 있다. 이미지 센서는 광원에 의해 반사된 빛을 디지털 이미지로 생성하므로, 특정 색상의 광원 환경에서는 피사체의 색상이 광원의 색상으로 왜곡되는 현상이 발생될 수 있다.
본 발명의 실시 예에 따르면, 입력된 이미지들은 레드광원 또는 옐로우광원에 의해 생성된 디지털 이미지일 수 있다. 이미지가 입력된 픽셀에 포함된 레드 채널의 밝기 강도값이 전체적으로 증가될 수 있다. 이에 따라, 원본과 컬러가 다른 이미지가 획득될 수 있다. 예를 들어, 원본의 화이트 컬러가 레드 컬러 또는 옐로우 컬러로 표현될 수 있다.
본 발명의 이미지 센싱 장치는 입력된 이미지에서 레드광원 또는 옐로우광원에 의해 변경된 픽셀값들을 보정할 수 있다. 본 발명의 이미지 센싱 장치는 광원에 의해 왜곡된 화이트 컬러를 검출하여 화이트 컬러로 표현할 수 있다.
도 10은 본 발명의 실시 예에 따른　이미지　센서를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 10을 참조하면, 컴퓨팅 시스템(2000)은　이미지　센서(2010), 프로세서(2020), 저장 장치(STORAGE DEVICE)(2030), 메모리 장치(MEMORY DEVICE)(2040), 입출력 장치(2050) 및 디스플레이 장치(2060)를 포함한다. 도 10에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.
이미지　센서(2010)는 입사광에 상응하는　이미지　데이터를 생성할 수 있다. 디스플레이 장치(2060)는 이미지　데이터를 표시할 수 있다. 저장 장치(2030)는 이미지　데이터를 저장할 수 있다. 프로세서(2020)는　이미지　센서(2010), 디스플레이 장치(2060) 및 저장 장치(2030)의 동작을 제어할 수 있다.
프로세서(2020)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 마이크로프로세서(microprocessor), 중앙 처리 장치(CPU, Central Processing Unit)일 수 있다. 프로세서(2020)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(2030), 메모리 장치(2040) 및 입출력 장치(2050)에 연결되어 통신을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.
저장 장치(2030)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive; SSD), 하드 디스크 드라이브(Hard Disk Drive; HDD), 씨디롬(CD-ROM) 및 모든 형태의 비휘발성 메모리 장치 등을 포함할 수 있다.
메모리 장치(2040)는 컴퓨팅 시스템(2000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(2040)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.
입출력 장치(2050)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다.
이미지　센서(2010)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(2020)와 연결되어 통신을 수행할 수 있다.
이미지　센서(2010)는　픽셀　어레이에 포함되는 복수의　픽셀들로부터 생성되는 복수의　픽셀　데이터들에 대해 비닝을 수행하여 상기　픽셀　어레이에 균등하게 분산되는 비닝　픽셀　데이터들을 생성할 수 있다.
이미지　센서(2010)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어,　이미지　센서(2010)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 구현될 수 있다.
실시 예에 따라서,　이미지　센서(2010)는 프로세서(2020)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.
한편, 컴퓨팅 시스템(2000)은　이미지　센서(2010)를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(2000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.
10: 이미지 센싱 장치
100: 이미지 센서
200: 이미지 프로세서

Claims (20)

  1. 복수의 컬러 채널들을 포함하는 픽셀을 적어도 하나 이상 포함하는 이미지 센서;
    상기 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 일정 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성하고, 상기 트랜스미션 값들 중 같은 픽셀에 포함된컬러 채널들에 대응되는 트랜스미션 값들끼리 곱한 타겟 트랜스미션 값들을 포함하는 타겟 트랜스미션 맵을 생성하는 트랜스미션 맵 생성부;
    상기 타겟 트랜스미션 맵을 기초로 상기 이미지에 포함되는 픽셀들 중 화이트 영역에 포함되는 타겟 픽셀들을 결정하는 화이트 픽셀 검출부; 및
    상기 타겟 픽셀들에 포함된 컬러 채널들 각각의 평균 밝기 강도값들을 기초로 화이트 밸런스를 조절하는 화이트 밸런스 조절부를 포함하는 이미지 센싱 장치.
  2. 제1항에 있어서, 상기 트랜스미션 맵 생성부는,
    상기 복수의 컬러 채널들 각각으로부터 수신한 밝기 강도값들이 0 이상 1 이하가 되도록 노말라이즈 하고, 1 과 노말라이즈 된 상기 밝기 강도값들에 미리 결정된 밝기 분리 강도값을 곱한 값의 차인 상기 트랜스미션 값들을 생성하고, 컬러 채널의 종류가 동일한 상기 트랜스미션 값들을 기초로 상기 복수의 컬러 채널들 각각에 대한 상기 컬러 채널 트랜스미션 맵들을 생성하는 이미지 센싱 장치.
  3. 제2항에 있어서,
    레드 채널, 그린 채널 및 블루 채널이 상기 복수의 컬러 채널들에 포함되고,
    상기 트랜스미션 맵 생성부는 상기 레드 채널에 대한 컬러 채널 트랜스미션 맵, 상기 그린 채널에 대한 컬러 채널 트랜스미션 맵 및 상기 블루 채널에 대한 컬러 채널 트랜스미션 맵을 기초로 상기 타겟 트랜스미션 맵을 생성하는 이미지 센싱 장치.
  4. 제1항에 있어서, 상기 화이트 픽셀 검출부는,
    상기 타겟 트랜스미션 맵에 포함되는 타겟 트랜스미션 값들 중 최소 타겟 트랜스미션 값을 확인하고, 상기 최소 타겟 트랜스미션 값과 미리 결정된 튜닝값을 곱한 기준값 보다 타겟 트랜스미션 값이 작은 픽셀들을 상기 타겟 픽셀들로 결정하는 이미지 센싱 장치.
  5. 제1항에 있어서, 상기 화이트 밸런스 조절부는,
    상기 복수의 컬러 채널들 중 적어도 하나의 컬러 채널에 대한 평균 밝기 강도값을 나머지 컬러 채널들에 대한 평균 밝기 강도값들로 각각 나누어 컬러 채널 게인값들을 계산하고, 상기 타겟 픽셀들에 포함되는 밝기 강도값들을 컬러가 대응되는 상기 컬러 채널 게인값들과 각각 곱하여 상기 타겟 픽셀들의 화이트 밸런스를 보정하는 이미지 센싱 장치.
  6. 제5항에 있어서,
    레드 채널, 그린 채널 및 블루 채널이 상기 복수의 컬러 채널들에 포함되고,
    상기 화이트 밸런스 조절부는 상기 타겟 픽셀들의 상기 레드 채널에 대한 평균 밝기 강도값, 상기 그린 채널에 대한 평균 밝기 강도값 및 상기 블루 채널에 대한 평균 밝기 강도값을 기초로 상기 레드 채널에 대한 게인값인 레드 채널 게인값 및 상기 블루 채널에 대한 게인값인 블루 채널 게인값을 계산하고, 상기 타겟 픽셀들에 상기 레드 채널 게인값 및 상기 블루 채널 게인값을 적용하는 이미지 센싱 장치.
  7. 제6항에 있어서, 상기 화이트 밸런스 조절부는,
    상기 타겟 픽셀들의 레드 채널에 대한 밝기 강도값들에 상기 레드 채널 게인값을 곱하고, 상기 타겟 픽셀들의 블루 채널에 대한 밝기 강도값들에 상기 블루 채널 게인값을 곱하는 이미지 센싱 장치.
  8. 복수의 컬러 채널들을 포함하는 픽셀을 적어도 하나 이상 포함하는 이미지 센서 및 상기 복수의 컬러 채널들의 밝기 강도값들을 기초로 입력된 이미지를 처리하는 이미지 프로세서를 포함하는 이미지 센싱 장치의 동작방법에 있어서,
    상기 복수의 컬러 채널들의 밝기 강도값들을 미리 설정된 범위내의 값으로 각각 변환한 트랜스미션 값들을 포함하는 컬러 채널 트랜스미션 맵들을 생성하는 단계;
    상기 트랜스미션 값들 중 상기 이미지에서 동일한 위치의 픽셀에 포함된 컬러 채널들에 대응되는 트랜스미션 값들을 곱한 타겟 트랜스미션 값들을 포함하는 타겟 트랜스미션 맵을 생성하는 단계;
    상기 타겟 트랜스미션 맵을 기초로 상기 이미지에 포함되는 픽셀들 중 화이트 영역에 포함되는 타겟 픽셀들을 결정하는 단계; 및
    상기 타겟 픽셀들에 포함된 컬러 채널들 각각의 평균 밝기 강도값들을 기초로 화이트 밸런스를 조절하는 단계를 포함하는 동작방법.
  9. 제8항에 있어서, 상기 컬러 채널 트랜스미션 맵들을 생성하는 단계는,
    상기 복수의 컬러 채널들 각각으로부터 수신한 밝기 강도값들이 0 이상 1 이하가 되도록 노말라이즈 하는 단계;
    1 과 노말라이즈 된 상기 밝기 강도값들에 미리 결정된 밝기 분리 강도값을 곱한 값의 차인 상기 트랜스미션 값들을 생성하는 단계; 및
    컬러 채널의 종류가 동일한 상기 트랜스미션 값들을 기초로 상기 복수의 컬러 채널들 각각에 대한 상기 컬러 채널 트랜스미션 맵들을 생성하는 단계를 포함하는 동작방법.
  10. 제9항에 있어서,
    레드 채널, 그린 채널 및 블루 채널이 상기 복수의 컬러 채널들에 포함되고,
    상기 타겟 트랜스미션 맵을 생성하는 단계는,
    상기 레드 채널에 대한 컬러 채널 트랜스미션 맵, 상기 그린 채널에 대한 컬러 채널 트랜스미션 맵 및 상기 블루 채널에 대한 컬러 채널 트랜스미션 맵을 기초로 상기 타겟 트랜스미션 맵을 생성하는 동작방법.
  11. 제8항에 있어서, 상기 타겟 픽셀들을 결정하는 단계는,
    상기 타겟 트랜스미션 맵에 포함되는 타겟 트랜스미션 값들 중 최소 타겟 트랜스미션 값을 확인하는 단계; 및
    상기 최소 타겟 트랜스미션 값과 미리 결정된 튜닝값을 곱한 기준값 보다 타겟 트랜스미션 값이 작은 픽셀들을 상기 타겟 픽셀들로 결정하는 단계를 더 포함하는 동작방법.
  12. 제8항에 있어서, 상기 화이트 밸런스를 조절하는 단계는,
    상기 복수의 컬러 채널들 중 적어도 하나의 컬러 채널에 대한 평균 밝기 강도값을 나머지 컬러 채널들에 대한 평균 밝기 강도값들로 각각 나누어 컬러 채널 게인값들을 계산하는 단계; 및
    상기 타겟 픽셀들에 포함되는 밝기 강도값들을 컬러가 대응되는 상기 컬러 채널 게인값들과 각각 곱하여 상기 타겟 픽셀들의 화이트 밸런스를 보정하는 단계를 더 포함하는 동작방법.
  13. 제12항에 있어서,
    레드 채널, 그린 채널 및 블루 채널이 상기 복수의 컬러 채널들에 포함되고,
    상기 컬러 채널 게인값들을 계산하는 단계는,
    상기 타겟 픽셀들의 상기 레드 채널에 대한 평균 밝기 강도값, 상기 그린 채널에 대한 평균 밝기 강도값 및 상기 블루 채널에 대한 평균 밝기 강도값을 기초로 상기 레드 채널에 대한 게인값인 레드 채널 게인값 및 상기 블루 채널에 대한 게인값인 블루 채널 게인값을 계산하는 동작방법.
  14. 제13항에 있어서, 상기 타겟 픽셀들의 화이트 밸런스를 보정하는 단계는,
    상기 타겟 픽셀들의 레드 채널에 대한 밝기 강도값들에 상기 레드 채널에 대한 게인값을 곱하는 상기 타겟 픽셀들의 블루 채널에 대한 밝기 강도값들에 상기 블루 채널에 대한 게인값을 곱하는 동작방법.
  15. 복수의 컬러 채널들을 포함하는 픽셀을 적어도 하나 이상 포함하는 이미지 센서로부터 수신한 상기 픽셀에 대한 상기 복수의 컬러 채널들의 밝기 정보를 기초로 입력된 이미지를 처리하는 이미지 처리 장치에 있어서,
    상기 이미지에서 위치가 동일한 픽셀에 대한 상기 밝기 정보에 포함되는 상기 컬러 채널들의 최대 크기가 1 이하가 되도록 노말라이즈 된 밝기 강도값들을 연산한 타겟 트랜스미션 값들을 포함하는 타겟 트랜스미션 맵을 생성하는 트랜스미션 맵 생성부;
    상기 타겟 트랜스미션 맵을 기초로 상기 이미지에 포함되는 픽셀들 중 화이트 영역에 포함되는 타겟 픽셀들을 결정하는 화이트 픽셀 검출부; 및
    상기 타겟 픽셀들에 포함된 컬러 채널들 각각의 평균 밝기 강도값들을 기초로 화이트 밸런스를 조절하는 화이트 밸런스 조절부를 포함하는 이미지 처리 장치.
  16. 제15항에 있어서, 상기 트랜스미션 맵 생성부는,
    1 과 상기 노말라이즈 된 상기 밝기 강도값들에 미리 결정된 밝기 분리 강도값을 곱한 값의 차인 컬러 채널 트랜스미션 값들을 생성하고, 상기 컬러 채널 트랜스미션 값들을 곱하여 생성된 상기 픽셀에 대한 상기 타겟 트랜스미션 값을 기초로 상기 타겟 트랜스미션 맵을 생성하는 이미지 처리 장치.
  17. 제16항에 있어서, 상기 화이트 픽셀 검출부는,
    상기 타겟 트랜스미션 값들 중 최소 타겟 트랜스미션 값을 확인하고, 상기 최소 타겟 트랜스미션 값과 미리 결정된 튜닝값을 곱한 기준값 보다 타겟 트랜스미션 값이 작은 픽셀들을 상기 타겟 픽셀들로 결정하는 이미지 처리 장치.
  18. 제17항에 있어서, 상기 화이트 밸런스 조절부는,
    상기 복수의 컬러 채널들 중 적어도 하나의 컬러 채널에 대한 평균 밝기 강도값을 나머지 컬러 채널들에 대한 평균 밝기 강도값들로 각각 나누어 컬러 채널 게인값들을 계산하고, 상기 타겟 픽셀들에 포함되는 밝기 강도값들을 컬러가 대응되는 상기 컬러 채널 게인값들과 각각 곱하여 상기 타겟 픽셀들의 화이트 밸런스를 보정하는 이미지 처리 장치.
  19. 제18항에 있어서,
    레드 채널, 그린 채널 및 블루 채널이 상기 복수의 컬러 채널들에 포함되고,
    상기 화이트 밸런스 조절부는 상기 타겟 픽셀들의 상기 레드 채널에 대한 평균 밝기 강도값, 상기 그린 채널에 대한 평균 밝기 강도값 및 상기 블루 채널에 대한 평균 밝기 강도값을 기초로 상기 레드 채널에 대한 게인값인 레드 채널 게인값 및 상기 블루 채널에 대한 게인값인 블루 채널 게인값을 계산하고, 상기 타겟 픽셀들에 상기 레드 채널 게인값 및 상기 블루 채널 게인값을 적용하는 이미지 처리 장치.
  20. 제19항에 있어서, 상기 화이트 밸런스 조절부는,
    상기 타겟 픽셀들의 레드 채널에 대한 밝기 강도값들에 상기 레드 채널 게인값을 곱하고, 상기 타겟 픽셀들의 블루 채널에 대한 밝기 강도값들에 상기 블루 채널 게인값을 곱하는 이미지 처리 장치.
KR1020210046791A 2021-04-09 2021-04-09 이미지 센싱 장치 및 그 동작 방법 KR20220140369A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210046791A KR20220140369A (ko) 2021-04-09 2021-04-09 이미지 센싱 장치 및 그 동작 방법
US17/481,841 US11546565B2 (en) 2021-04-09 2021-09-22 Image sensing device and operating method thereof
CN202111596117.7A CN115209120B (zh) 2021-04-09 2021-12-24 图像感测装置及其操作方法及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210046791A KR20220140369A (ko) 2021-04-09 2021-04-09 이미지 센싱 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20220140369A true KR20220140369A (ko) 2022-10-18

Family

ID=83509744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210046791A KR20220140369A (ko) 2021-04-09 2021-04-09 이미지 센싱 장치 및 그 동작 방법

Country Status (2)

Country Link
US (1) US11546565B2 (ko)
KR (1) KR20220140369A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117547248B (zh) * 2024-01-12 2024-04-19 深圳市宗匠科技有限公司 皮肤美白度分析方法、装置、计算机设备和存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8026954B2 (en) * 2007-04-10 2011-09-27 Aricent Inc. System and computer-readable medium for automatic white balancing
US9064315B2 (en) * 2011-09-28 2015-06-23 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and enhancement
JP6029954B2 (ja) * 2012-11-30 2016-11-24 クラリオン株式会社 撮像装置
JP6180728B2 (ja) 2012-12-04 2017-08-16 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、およびプログラム
CN104981861B (zh) * 2013-02-14 2017-04-12 三菱电机株式会社 信号转换装置和方法
US9036047B2 (en) * 2013-03-12 2015-05-19 Intel Corporation Apparatus and techniques for image processing
US8854709B1 (en) * 2013-05-08 2014-10-07 Omnivision Technologies, Inc. Automatic white balance based on dynamic mapping
US9177363B1 (en) * 2014-09-02 2015-11-03 National Taipei University Of Technology Method and image processing apparatus for image visibility restoration
US9478016B2 (en) * 2014-09-16 2016-10-25 National Taipei University Of Technology Image restoration method and image processing apparatus using the same
KR102219784B1 (ko) * 2014-12-15 2021-02-24 에스케이하이닉스 주식회사 컬러 필터 어레이 및 이를 구비한 이미지 센서
US9307215B1 (en) * 2014-12-19 2016-04-05 Omnivision Technologies, Inc. Automatic white balance methods and systems for electronic cameras
WO2016182307A1 (ko) * 2015-05-11 2016-11-17 삼성전자 주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
EP3125523A1 (en) * 2015-07-31 2017-02-01 Canon Kabushiki Kaisha Image processing apparatus, image processing method and image capture apparatus
KR102401582B1 (ko) * 2015-09-24 2022-05-24 삼성전자주식회사 렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들
US9787894B1 (en) * 2016-03-30 2017-10-10 Motorola Mobility Llc Automatic white balance using histograms from subsampled image
KR101867568B1 (ko) 2016-10-12 2018-06-14 한국광기술원 이미지센서 자동 화이트밸런스 기반 공간 색온도 추정 시스템
US10367976B2 (en) * 2017-09-21 2019-07-30 The United States Of America As Represented By The Secretary Of The Navy Single image haze removal
JP7071084B2 (ja) * 2017-10-10 2022-05-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CA3044988A1 (en) * 2018-06-04 2019-12-04 Michael Scott Brown Systems, methods and computer programs for colorimetric mapping
US11044450B2 (en) * 2019-06-07 2021-06-22 Adobe Inc. Image white balancing

Also Published As

Publication number Publication date
CN115209120A (zh) 2022-10-18
US11546565B2 (en) 2023-01-03
US20220329768A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
US10999544B2 (en) Image sensor including phase detection pixels and image pickup device
US9485440B2 (en) Signal processing unit and signal processing method
US9787889B2 (en) Dynamic auto focus zones for auto focus pixel systems
US11044427B2 (en) Image sensors including pixel groups and electronic devices including image sensors
US20150109515A1 (en) Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
US9497427B2 (en) Method and apparatus for image flare mitigation
KR102211862B1 (ko) 이미지 센서 및 이를 포함하는 이미지 센서 시스템
US20220086309A1 (en) Depth map determination method and electronic device to which same method is applied
US11546565B2 (en) Image sensing device and operating method thereof
US20200374493A1 (en) Camera module comprising complementary color filter array and electronic device comprising same
CN115209120B (zh) 图像感测装置及其操作方法及图像处理装置
EP3780594B1 (en) Imaging device and method, image processing device and method, and imaging element
US11962923B2 (en) Image processing system and method of operating the same
US7898591B2 (en) Method and apparatus for imaging using sensitivity coefficients
KR20220166013A (ko) 이미지 센싱 장치 및 그 동작 방법
US20230262328A1 (en) Image processing system and operating method thereof
US20230353884A1 (en) Image processing system and image processing method
US8885072B2 (en) Solid-state imaging device, imaging method, and camera module
US20230050561A1 (en) Electronic apparatus and operating method of the electronic apparatus
US20230109055A1 (en) Electronic apparatus and operating method of the electronic apparatus
KR20240053886A (ko) 이미지 처리 장치 및 이미지 보정 방법
US20240129641A1 (en) Image processing device and image correcting method