KR100993047B1

KR100993047B1 - 디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법및 장치

Info

Publication number: KR100993047B1
Application number: KR1020087017115A
Authority: KR
Inventors: 셰인 씨. 허
Original assignee: 마이크론 테크놀로지, 인크
Priority date: 2005-12-14
Filing date: 2006-12-13
Publication date: 2010-11-08
Also published as: US20110037873A1; CN101361374B; US20070133868A1; KR20080078064A; US8180150B2; US7848569B2; US8401288B2; JP4877561B2; EP1969859A2; CN101361374A; TW200803537A; WO2007070502A3; TWI338513B; EP1969859B1; WO2007070502A2; WO2007070502A8; US20070133870A1; JP2009520405A

Abstract

이미지로부터의 픽셀이 그레이 월드 통계를 위해 샘플링된다. 포화된 영역의 영향을 회피하기 위해, 픽셀이 프루닝된다. 픽셀의 미리 정해진 백분율가 그레이 월드 통계에 포함되면, 컬러 채널 이득이 계산되어 이미지에 적용된다. 그 결과, 컬러 밸런스가 간단하고 효율적인 방법으로 달성된다.

Description

디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법 및 장치{METHOD AND APPARATUS PROVIDING AUTOMATIC COLOR BALANCING FOR DIGITAL IMAGING SYSTEMS}

본 발명은 이미징 장치에 관한 것으로, 특히 이미징 시스템용의 자동 컬러 밸런싱 기술에 관한 것이다.

전하 결합 소자(CCD), CMOS 이미저 등을 포함하는 고체 이미저가 포토 이미징 애플리케이션에 사용되어 왔다. 고체 이미저 회로는 픽셀 셀들의 초점면 어레이를 포함하고, 셀들의 각각은 광 생성 전하를 축적하는 도핑된 영역을 갖는 포토게이트, 광도체 또는 포토다이오드일 수 있는 광센서를 포함한다. 각 픽셀 셀은 판독 회로의 일부인 출력 트랜지스터의 게이터에 접속되는, 기판 상에 또는 내에 형성되는 전하 저장 영역을 갖는다. 전하 저장 영역은 플로팅 확산 영역으로 구성될 수도 있다. 일부 이미저 회로에서는, 각 픽셀 셀은 광센서로부터 저장 영역으로 전하를 전송하는 트랜지스터와 같은 적어도 하나의 전자 장치와, 전하 전송 전에 미리 정해진 의 전하 레벨로 저장 영역을 리셋하는 또한 일반적으로 트랜지스터인 하나의 장치를 포함할 수 있다.

CMOS 이미저에서, 픽셀 셀의 능동 소자는 (1) 광량자-전하 변환, (2) 이미지 전하의 축적, (3) 저장 영역을 공지된 상태로 리셋, (4) 저장 영역으로의 전하의 전송, (5) 판독을 위한 픽셀 셀의 선택, 및 (6) 픽셀 전하를 나타내는 신호의 출력 및 증폭 등의 필요한 기능을 실행한다. 광 전하는 초기 전하 축적 영역으로부터 저장 영역으로 이동할 때 증폭될 수도 있다. 저장 영역에서의 전하는 일반적으로 소스 폴로워 출력 트랜지스터에 의해 픽셀 출력 전압으로 변환된다.

상기 논의된 타입의 CMOS 이미저는 마이크론 테크놀로지사에 각각 양도된, 예를 들면, 미국 특허 제6,140,630호, 미국 특허 제6,376,868호, 미국 특허 제6,310,366호, 미국 특허 제6,326,652호, 미국 특허 제6,204,524호 및 미국 특허 제6,333,205호에 기재되어 있는 바와 같이 일반적으로 공지되어 있으며, 이상의 특허들의 각각의 개시물은 참고로 그 전체 내용이 여기에 통합되어 있다.

컬러 불변성(constancy)이 휴먼 비전(human vision) 시스템의 특징 중 하나이다. 휴먼 비전 시스템은 상이한 조명 조건 하에서 컬러 물체를 잘 구별할 수 있다. 물체의 컬러는 태양광, 달빛, 백열광, 형광 및 촛불과 같은 매우 상이한 타입의 자연 및 인공 광원 하에서 실질적으로 같게 보인다. 그러나, 조명의 스펙트럼 파워 분포의 변화로 인해, 장면의 인지되는 밝기 및 컬러 외관은 변화할 것이다. 휴먼 비전 시스템은 광원의 영향을 완전히 제거하지 못한다.

가능한 설명은 휴먼 비전 시스템이 절대 색체 장치로서 기능하지 않는다는 것이다. 인지되는 이미지는 광원 및 물체 반사의 간섭을 포함한다. 따라서, 이미징 장치로부터 캡쳐된 이미지에 대해, 광원의 영향이 휴먼 비전 시스템이 기능하는 방법과 유사한 방식으로 유지되어야 한다. 예를 들면, 재생되는 일몰 장면은 일몰 장면처럼 보여야 한다. 이 가정은, 컬러 프린트가 컬러 밸런스가 보정되는 대신에, 그레이가 그레이로서 프린트되어 전체 화상이 그레이에 통합하는 것으로 조정되면, 더욱 만족스러운 효과가 컬러 프린트에서 종종 생성된다는 R.W.G. Hunt's 관측에 의해 지지된다. R.W.G. Hunt저, "The Reproduction of Colour" §16.7을 참조하라. 그레이 월드 이론은 화상 내의 모든 컬러들이 통합 즉, 그레이에 대해 평균해야 하는 것을 가정한다. 따라서, 캡쳐된 이미지를 더욱 정확하게 컬러 밸런스하는 이미징 장치에 대한 필요 및 요구가 존재한다.

본 발명은 상이한 조명 하에서의 이미지의 컬러 밸런스가 더욱 정확하게 유지될 수 있는 컬러 밸런싱 방법 및 장치를 제공한다. 본 발명의 예시적인 실시예에 따르면, 이미저 컬러 스페이스 예컨대, 적색-녹색-청색(RGB) 컬러 스페이스를 갖는 입력 이미지로부터의 픽셀이 그레이 월드 통계를 위해 샘플링된다. 포화된 영역의 영향을 회피하기 위해, 픽셀이 프루닝된다(pruned). 미리 정해진 백분율의 픽셀이 그레이 월드 통계에 포함되면, 중간 백색점에 대해 각 RGB 채널에 대한 이득이 계산된다. 채널 이득이 RGB 이미지에 적용된다. 이 프로세스는 디스플레이에 적합한 변환된 컬러 밸런스 이미지를 생성한다.

본 발명은 아날로그 또는 디지털 이미지 데이터에 동작하도록 실시될 수 있고, 하드웨어, 소프트웨어, 또는 그 둘의 조합으로 실행될 수도 있다.

본 발명의 상기 및 다른 이점 및 특징은 첨부하는 도면을 참조하여 이하에 제공되는 발명의 상세한 설명으로부터 더욱 명백해질 것이다.

도 1은 본 발명의 하나의 예시적인 실시예에 따르는 컬러 밸런싱 프로세스를 도시하는 기능 블록도이다.

도 2는 도 1에 도시된 프로세스의 부분을 더욱 상세히 도시하는 기능 블록도이다.

도 3은 도 2에 도시된 프로세스의 부분을 더욱 상세히 도시하는 플로우차트이다.

도 4는 본 발명의 하나의 예시적인 실시예에 따라 구성된 이미저를 도시하는 블록도이다.

도 5는 본 발명의 일 실시예에 따라 구성된 컬러 밸런스를 계산하는 회로를 포함하는 적어도 하나의 이미징 회로를 통합한 프로세서 시스템을 도시한 도면이다.

이하의 설명에서는, 예시적인 이미저 컬러 스페이스를 RGB 컬러 스페이스로서 설명할 것이지만, 예컨대, 감산 CMYK(시안, 마젠타, 황색, 흑색) 컬러 스페이스를 포함하는 다른 컬러 이미징 프로토콜이 본 발명에 사용될 수도 있다.

본 발명의 일반적인 처리 흐름을 도면을 참조하여 이하 설명한다. 도 1을 참조하면, RGB 컬러 스페이스로부터의 이미지 센서 데이터가 베이어 모자이크 필터 패턴과 같은 경사진 컬러 필터 어레이를 사용하여 이미지 센서(2)로부터 취득된다. 경사진 베이어-RGB 신호를 삽입하는 모자이크 제거 프로세스(3)가 Ri, Gi 및 Bi 신 호를 생성하도록 적용된다. Ri, Gi 및 Bi 신호는 도 3 및 도 4를 참조하여 더욱 상세히 후술하는 바와 같이 이미지의 색도 통계를 수집하여 채널 이득을 계산함으로써 Rb, Gb 및 Bb 신호를 생성하도록 프로세스(4)에서 컬러 밸런스를 이루게 된다. Rb, Gb 및 Bb 신호는 그 후, 종래의 컬러 보정 스킴(scheme)을 적용하여 Rt, Gt 및 Bt 신호를 생성하도록 컬러 보정 프로세스(5)가 행해진다. 디스플레이 매핑(6)이, 출력 프로세스(7)에서 RGB 이미지의 디스플레이 또는 다른 출력에 적합한 R', G', 및 B' 신호를 생성하도록 Rt, Gt 및 Bt 신호에 적용된다. 임의의 공지된 모자이크, 모자이크 제거, 컬러 보정, 디스플레이 매핑 및 디스플레이 기술이 각각 처리 블록 2, 3, 5, 6 및 7에서 사용될 수 있다는 것을 이해하게 될 것이다.

이하, 도 1의 블록 4의 컬러 밸런스 프로세스를 도 2에 대하여 더욱 상세히 설명한다. 먼저, 프룬드 그레이 월드 통계(pruned gray world statistics), R_Sum, G_Sum, B_Sum, 및 카운트가 프로세스(4a)에서 계산된다. 그 후, 채널 이득 R_Gain, G_Gain 및 B_Gain이 프로세스 블록(4b)에서 계산되고, 입력 신호 Ri, Gi 및 Bi에 적용되어 컬러 밸런스된 이미지 데이터 Rb, Gb 및 Bbf를 생성한다.

도 2에 도시된 프로세스는 본 발명의 하나의 예시적인 실시예와 관련하여 이하 더욱 상세히 설명한다. 먼저, 처리 블록(4a)을 참조하면, 그레이 월드 통계(gray world statistics)는 입력 이미지를 그레이에 통합하여 도출될 수 있다. 참고로 그 개시내용이 여기에 통합되어 있는, W.G. Hunt의 "The Reproduction of Colour" 4판 1987 Fountain Press, ISBN 0-86343-088-0을 참조하라. 본 발명의 예시적인 실시예에서는, 입력 이미지의 대부분의 픽셀이 그레이로의 통합을 위해 처 리 블록(4a)에 의해 샘플링된다. 각 픽셀의 컬러 채널의 색도의 합(R_SUM, G_SUM 및 B_SUM)이 처리 블록(4a)에서 계산된 후, 처리 블록(4b)에서 그레이 월드 개요(summary)의 색도를 계산하는 데 사용된다. 그레이 월드 개요의 색도는 아래와 같이 정의된다, 즉, 적색값 GW_CR = R_SUM/(R_SUM + G_SUM + B_SUM); 녹색값 GW_CG = G_SUM/(R_SUM + G_SUM + B_SUM); 및 청색값 GW_CB = B_SUM/(R_SUM + G_SUM + B_SUM). 예시적인 실시예에서, 3개의 모든 성분의 색도는 합이 1로 된다. 바꿔 말하면, GW_CR + GW_CG + GW_CB = 1이다. 이미지 내에서의 픽셀의 랜덤 샘플링에 제한되는 것은 아니지만 그것을 포함하는 임의의 공지된 픽셀 선택 방법이 채용되거나, 이와 달리, 픽셀을 선택하는 데 도움이 되는 임의의 방법 또는 동작이 채용될 수 있음을 이해하게 될 것이다.

그레이 월드 개요의 정확성은 프루닝(pruning) 즉, 완전히 포화된 컬러 오브젝트 등을 보상하기 위해 포화에 가까운 픽셀과 같은 명백한 아웃라이어(outlier)를 제외함으로써 더욱 향상될 수 있다. 예시적인 프루닝 프로세스는 도 3의 플로우차트에 의해 도시된다. 먼저, 픽셀이 선택된다(단계 10). 예시적인 프루닝 프로세스에서, 녹색값이 미리 설정한 낮은 값(LOW_GREEN_VALUE)보다 높고 미리 설정한 높은 값(HIGH_GREEN_VALUE)보다 낮으며; 적색값이 녹색값의 미리 설정한 낮은 비(fraction)(LOW_RED_GREEN_FRACTION)보다 높고 미리 설정한 높은 비(HIGH_RED_GREEN_FRACTION)보다 낮으며; 청색값이 녹색값의 미리 설정한 낮은 비(fraction)(LOW_BLUE_GREEN_FRACTION)보다 높고 미리 설정한 높은 비(HIGH_BLUE_GREEN_FRACTION)보다 낮은 경우, 픽셀은 그레이 월드 통계에 포함된 다. 이들 테스트는 도 3의 단계 20에서 실행된다.

픽셀이 상기 리스트된 기준을 통과하면(단계 20), 픽셀의 적색, 녹색 및 청색값이 각각, 각 성분 R_SUM, G_SUM 및 B_SUM의 총계에 가산되고, 유효 픽셀 카운트 즉, COUNT가 증가된다(단계 30). 선택된 픽셀이 샘플링을 위한 최종 픽셀이 아니면(단계 40), 다음의 픽셀이 선택되고(단계 10), 프루닝 기준 판정이 다시 실행된다(단계 20). 도 3을 참조하여 상술한 바와 같은, 동일한 동작 단계가, 그레이 월드 통계에 포함될 최종 픽셀이 선택되었다고 판정될 때까지 실행된다(단계 40). 단계 20에서, 픽셀이 프루닝 기준을 충족하지 않는다고 판정되면, 단계 40이 상술한 바와 같이 실행된다.

선택된 픽셀이 샘플링을 위한 이미지로부터의 최종 픽셀이라고 판정되면(단계 40에서 YES), 컬러 밸런스 시스템은 단계 50에서 COUNT가 샘플링된 이미지 픽셀의 총 수의 미리 정해진 백분율인지 예를 들면, 샘플링된 전체 픽셀의 1/4 이상인지를 판정한다. COUNT가 샘플링된 이미지 픽셀의 총 수의 미리 정해진 백분율 이상이면, 컬러 채널 이득은 유효로 간주되며(단계 60), 프로세스 블록(4b)에서 계산되어 이미지 데이터 Ri, Gi 및 Bi에 적용될 것이다. 그렇지 않으면, 이득은 무료로 간주되며 컬러 채널이 불변인 채로 남게 된다(단계 70). 단계 50, 즉, COUNT가 샘플링된 전체 픽셀의 미리 정해진 백분율인지를 판정하는 것은, 그 판정을 채널 이득이 계산되기 전에 행하는 것이 더욱 효율적이라고 할지라도, 채널 이득이 계산된 후에 일어날 수 있다는 것을 주의해야 한다.

처리 블록(4b)(도 2)에서의 채널 이득의 계산은 미리 정해진 중간 백색점의 색도에 대해 그레이 월드 개요의 색도를 밸런싱하는 것에 초점을 맞춘다. 색도는 공지된 CIE XYZ 표준 관측기 3자극 측색 시스템(standard observer tri-stimulus colorimetric system)과 유사한 개념으로 정의된다. 참고로 그 개시내용이 여기에 통합되어 있는, Wyszecki 및 Stiles의 "Color Science Concepts and Methods, Quantitative Data and Formulae" Wiley, ISBN 0-471-39918-3을 참조하라. 이미지 센서의 스펙트럼 응답은 일반적으로 CIE 표준 관측기와 동일하지 않다. 센서의 중간 백색점은 컬러 밸런스가 장면 조명(scene illuminant)에 의존하기 때문에 알려진 광원에 대해 보정될 필요가 있다.

중간 백색점의 색도는 처리 블록(4b)에서 판정된다. 그 판정은 이미지 센서의 스펙트럼 응답으로서 자동으로 계산되거나, 사용자의 기호에 의거하여 미리 설정되거나, 이들 둘의 조합일 수 있다. 중간 백색점을 선택하기 위한 임의의 공지된 방법이 사용될 수 있다는 것을 이해할 것이다. 중간 백색점의 색도는 3개의 성분, 적색값 N_CR, 녹색값 N_CG 및 청색값 N_CB로 구성된다. 바람직한 실시예에서, 3개의 모든 성분의 색도는 합이 1로 된다. 바꿔 말하면, N_CR + N_CG + N_CB = 1이다.

바람직한 실시예에서, 시스템 튜닝 파라미터, G_BIAS가 이미지 센서의 컬러 채널 감도에 대해 표현된 이미지를 미세 조정하기 위해 처리 블록(4b)에서 사용될 수 있다. G_BIAS는 이미지 센서의 컬러 채널 감도에 대해 자동으로 계산되거나, 사용자의 기호에 의거하여 미리 설정되거나, 이들 둘의 조합일 수 있다. 시스템 튜닝 파라미터를 선택하기 위한 임의의 공지된 방법이 사용될 수 있다는 것을 이해 할 것이다.

본 발명의 바람직한 실시예에서, 녹색 채널 이득, G_GAIN이 중간 백색점(N_CR, N_CG, N_CB)의 색도, 그레이 월드 개요(GW_CR, GW_CG, GW_CB)의 색도, 및 광학 시스템 튜닝 파라미터(G_BIAS)의 함수로서 계산된다. 적색 채널 이득을 독립적으로 계산하는 것보다는, 적색 채널 이득은 녹색 채널 이득의 함수로서 계산된다. 마지막으로, 청색 채널 이득이 적색 및 녹색 채널 이득의 함수로서 계산된다. 본 발명의 일 실시예에서, 상술한 파라미터들은 아래와 같이, 처리 블록(4b)에서 각 컬러 채널에 대한 이득을 계산하는 데 사용된다:

바람직한 실시예에서 채널 이득의 순환적인 계산이 처리 블록(4b)에서 실행되어, 채널 이득의 더욱 완전한 정규화를 가능하게 한다. 순환적인 계산은 수식 (1), (2), 및 (3)과 원하는 만큼 다수 회 반복될 수 있는 아래의 순환적인 계산으로 이루어진다:

바람직한 실시예에서, 이하 간략화를 위해 R_GAIN, G_GAIN, B_GAIN으로 나타내는, 수식 (1), (2), 및 (3) 또는 수식 (4), (5), 및 (6) 중 하나에서 계산된 채널 이득은 컬러 채널 이득 사이의 비율을 유지하면서 휘도 신호의 변화량을 최소화하도록 처리 블록(4b)에서 정규화된다. 녹색 채널이 휘도 신호의 대부분을 구성하기 때문에, 휘도 신호의 변화량은 녹색 채널 이득을 1.0으로 설정함으로써 최소화되고, 적색 채널 이득 및 청색 채널 이득은 적색, 녹색 및 청색 채널 이득 사이의 비율을 유지하면서 계산된다. 이것은 아래에 의해 달성된다:

바람직한 실시예에서, 상술한 처리 블록(4b)에서 계산되는 적색, 녹색 및 청색 채널 이득 계산이 처리 블록(4)에서 신호 Rb, Gb 및 Bb를 생성하도록 신호 Ri, Gi 및 Bi를 각각 조정하는 데 사용된다. 단일 화상 스냅샷 애플리케이션(single picture snapshot appalications)에 있어서, 도출된 채널 이득이 후속 컬러 처리 단계에 적용될 수 있다. 비디오 데이터 흐름이 연속될 필요가 있는 비디오 애플리케이션에 있어서, 각 프레임에 대한 새로운 채널 이득이 처리 블록(4c)에 저장될 수 있고 후속 프레임에 적용될 수 있다. 더욱 매끄러운 변화(smoother transition)가 요구되면, 채널 이득의 저역 통과 필터링이, 다수의 과거 채널 이득을 저장하고 과거 및 현재 채널 이득의 저역 통과 필터링을 실행함으로써 실시될 수 있다. 저역 통과 필터링은 처리 블록(4c)에 도시된 바와 같이, 이동 평균(running mean or moving average) 필터에 의해 실시될 수 있다. 임의의 공지된 저역 통과 필터링 방법이 사용될 수 있다는 것을 이해할 것이다.

상기 설명으로부터 명백한 바와 같이, 본 발명은 직접적이고 비교적 실시하기 용이한 상당한 컬러 밸런스를 달성한다. 그 결과, 컬러 밸런스가 간단하고 효과적인 방법으로 달성된다.

도 4는 도 1의 블록(2)에 도시된 처리를 제공하는 데 적합한 픽셀 어레이(240)를 갖는 예시적인 이미징 장치(300)를 도시한다. 도 4에서 이미징 장치는 베이어(Bayer) 필터를 채용하여 R, G, B 픽셀 출력 신호를 생성한다. 어레이(240)의 로우(row) 라인은 로우 어드레스 디코더(255)에 응답하여 로우 드라이버(245)에 의해 선택적으로 활성화된다. 칼럼 드라이버(260) 및 칼럼 어드레스 디코더(270)가 또한 이미징 장치(300) 내에 포함된다. 이미징 장치(300)는 어드레스 디코더(255, 270)를 제어하는 타이밍 및 제어 회로(250)에 의해 동작된다. 제어 회로(250)는 또한, 로우 및 칼럼 드라이버 회로(245, 260)를 제어한다.

칼럼 드라이버(260)와 관련된 샘플 및 홀드 회로(261)가 어레이(240)의 선택 된 픽셀에 대한 픽셀 리셋 신호(Vrst) 및 픽셀 이미지 신호(Vsig)를 판독한다. 각 픽셀에 대해 차동 증폭기(262)에 의해 차분 신호(Vrst-Vsig)가 산출되어, 아날로그-디지털 컨버터(275)(ADC)에 의해 디지털화된다. 아날로그-디지털 컨버터(275)는 디지털화된 픽셀 신호를 디지털 이미지를 형성하여 출력할 수 있는 이미지 프로세서(280)에 공급한다. 이미지 프로세서(280)는 픽셀 어레이(240)에 대해 본 발명의 컬러 밸런스 처리(도 1, 블록 4)를 실행할 수 있는 회로(예컨대, 프로세서)를 갖는다.

이와 달리, 컬러 밸런스 처리는 증폭기(262)와 ADC(275) 사이에 위치하는 배선 접속된 또는 논리 회로(도시 생략)에 의해 픽셀 어레이의 아날로그 출력에 대해, 또는 다른 장치에 의해 소프트웨어나 하드웨어로 이미지 프로세서(280)의 디지털 이미지 출력에 대해 행해질 수 있다.

도 5는 본 발명에 따르는 컬러 밸런스 방법을 내장하는 이미징 장치(300)(도 4)를 포함하도록 변형된 일반적인 프로세서 시스템인 시스템(1100)을 도시한다. 시스템(1100)은 이미지 센서 장치를 포함할 수 있는 디지털 회로를 갖는 시스템의 예시이다. 제한됨 없이, 그러한 시스템은 컴퓨터 시스템, 스틸 또는 비디오 카메라 시스템, 스캐너, 머신 비전(machine vision), 비디오 폰, 및 자동 초점 시스템, 또는 다른 이미저 시스템을 포함할 수 있다.

시스템(1100) 예컨대, 카메라 시스템은 버스(1104)를 통해 입/출력(I/O) 장치(1106)와 통신하는 일반적으로 마이크로프로세서와 같은 중앙 처리 장치(CPU)(1102)를 포함한다. 이미징 장치(300)는 또한, 버스(1104)를 통해 CPU(1102)와 통신한다. 프로세서 기반 시스템(1100)은 또한, 랜덤 액세스 메모리(RAM)(1110)를 포함하고, 버스(1104)를 통해 CPU(1102)와 또한 통신하는 플래시 메모리와 같은 착탈 가능한 메모리(1115)를 포함할 수 있다. 이미징 장치(300)는 단일 집적 회로 상 또는 프로세서와 다른 칩 상에 메모리 저장장치를 갖거나 갖지 않고, CPU, 디지털 신호 프로세서, 또는 마이크로프로세서와 같은 프로세서와 조합될 수 있다.

본 발명의 바람직한 실시예들을 이상에서 예시 및 설명하였지만, 이들은 본 발명의 예시일 뿐 제한하고자 하는 것이 아님을 이해할 것이다. 예를 들어, 예시적인 실시예가 CMOS 이미지 센서와 관련하여 설명되어 있지만, 본 발명은 예를 들면, CCD 이미지 센서와 같은 다른 전자 이미지 센서에도 적용할 수 있다. 발명의 사상 및 범위를 벗어남 없이, 부가, 삭제, 치환 및 다른 변형이 이루어질 수 있다. 따라서, 본 발명은 이상의 설명에 의해 한정되는 것으로 보지 않고, 첨부되는 청구항들의 범위에 의해서만 제한된다.

Claims

이미지 센서로부터의 입력 이미지 데이터에 컬러 밸런싱(balancing) 동작을 실행하는 방법으로서, 상기 방법은,

상기 입력 이미지 데이터의 각 컬러 채널에 대한 제1 색도 값을 결정하는 단계로서, 복수의 픽셀들의 각 컬러 채널에 대한 색도 값의 합계를 상기 복수의 픽셀들의 모든 상기 컬러 채널들에 대한 색도 값의 합계로 나누어 결정하는, 단계; 및

상기 입력 이미지 데이터의 각 컬러 채널에 대한 컬러 채널 이득들을 계산하는 단계로서, 상기 컬러 채널과 다른 컬러 채널들의 상기 각각의 제1 색도 값들을 중간 백색점의 대응하는 컬러 채널들의 제2 색도 값들의 합으로 나누어 계산하는, 단계를 실행하는 프로세싱 회로를 사용하는 단계; 및

상기 입력 이미지 데이터의 각각의 상기 컬러 채널들에 상기 컬러 채널 이득들을 적용함으로써 상기 입력 이미지 데이터를 출력 이미지로 변환하는 단계를 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 미리 정해진 기준에 의거하여 상기 제1 색도 값들을 결정하는데 사용되는 상기 복수의 픽셀들을 프루닝(pruning)하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 2에 있어서, 상기 프루닝 하는 단계는 각 컬러 채널에 대한 고 및 저 임계값들의 범위에 의거하여 상기 복수의 픽셀들에 포함하기 위한 픽셀들을 선택하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 2에 있어서, 상기 프루닝 하는 단계는 상기 미리 정해진 기준에 따르는 픽셀들의 총 수가 픽셀들의 총 수의 미리 정해진 백분율 이상인지를 판정하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 이미지 센서의 컬러 채널 감도에 대하여 상기 출력 이미지를 미세 조정하도록 시스템 튜닝 파라미터를 사용하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 채널 이득들을 순환적으로 재계산하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 프로세싱 회로는 상기 컬러 채널 이득들을 아래에 따라 계산하며,

여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 제1 색도 값들을 나타내며; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 제2 색도 값들을 나타내는, 컬러 밸런싱 동작의 실행 방법.
청구항 7에 있어서, 상기 컬러 채널 이득들을 아래와 같이 순환적으로 계산하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하며,

여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 프로세싱 회로는 상기 컬러 채널 이득들을 아래에 따라 계산하며,

여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 제1 색도 값들을 나타내며; G_BIAS는 튜닝 파라미터를 나타내고; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 제2 색도 값들을 나타내는, 컬러 밸런싱 동작의 실행 방법.
청구항 9에 있어서, 상기 컬러 채널 이득들을 아래와 같이 순환적으로 계산하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하며,

여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 계산된 채널 이득들을 정규화하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 11에 있어서, 상기 계산된 컬러 채널 이득들을 아래와 같이 정규화하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 계산된 컬러 채널 이득들을 저역 통과 필터로 필터링하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서,

미리 정해진 수의 컬러 채널 이득들을 저장하는 단계; 및

상기 미리 정해진 수의 저장된 컬러 채널 이득들을 평균하여 상기 컬러 채널 이득들을 계산하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 이미지 센서는 비디오 카메라의 부분인, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 입력 이미지 데이터는 RGB 이미지 데이터인, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 입력 이미지 데이터는 아날로그인, 컬러 밸런싱 동작의 실행 방법.
청구항 1에 있어서, 상기 입력 이미지 데이터는 디지털인, 컬러 밸런싱 동작의 실행 방법.
이미지 센서로부터의 입력 이미지 데이터에 컬러 밸런싱 동작을 실행하는 이미징 장치로서, 상기 장치는, 회로로서,

컬러 채널들을 가지는 상기 입력 이미지 데이터에 대해 그레이 월드 정보(information)를 계산하고, 상기 계산은,

상기 이미지 내의 픽셀들의 적어도 하나의 그룹을 선택하고;

각 컬러 채널에 대한 그레이 월드 개요(summary)의 색도 값을 결정하는 것으로서, 상기 픽셀들의 그룹의 각 컬러 채널들에 대한 색도 값의 합계를 상기 픽셀들의 그룹의 모든 상기 컬러 채널들에 대한 색도 값의 합계로 나누어 결정하여, 계산되고;

상기 입력 이미지 데이터의 각 컬러 채널에 대한 컬러 채널 이득들을 계산하며, 상기 계산은, 상기 컬러 채널과 다른 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값을 중간 백색점의 대응하는 컬러 채널들의 색도 값들의 합으로 나누어, 계산하고;

상기 입력 이미지 데이터의 각각의 상기 컬러 채널들에 상기 컬러 채널 이득들을 적용함으로써 상기 입력 이미지 데이터를 출력 이미지로 변환하도록, 설정된 회로를 포함하는, 이미징 장치.
청구항 19에 있어서, 상기 회로는 프로세서인, 이미징 장치.
청구항 19에 있어서, 상기 회로는 또한 미리 정해진 기준에 의거하여 상기 그레이 월드 정보를 계산하는 데 사용되는 상기 픽셀들을 프루닝하는, 이미징 장치.
청구항 21에 있어서, 상기 회로는 각 컬러 채널에 대한 고 및 저 임계값들의 범위에 의거하여 상기 그레이 월드 정보에 포함하기 위한 픽셀들을 선택하는, 이미징 장치.
청구항 21에 있어서, 상기 회로는 상기 미리 정해진 기준에 따르는 픽셀들의 총 수가 픽셀들의 총 수의 미리 정해진 백분율인지를 판정하는, 이미징 장치.
청구항 19에 있어서, 상기 회로는 상기 이미지 센서의 상기 컬러 채널의 감도에 대하여 상기 출력 이미지를 미세 조정하는, 이미징 장치.
청구항 19에 있어서, 상기 회로는 상기 컬러 채널 이득들을 순환적으로 계산하는, 이미징 장치.
청구항 19에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 회로는 상기 컬러 채널 이득들을 아래에 따라 계산하도록 설정되며,

여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값들을 나타내며; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 색도 값들을 나타내는, 이미징 장치.
청구항 26에 있어서, 상기 회로는 상기 컬러 채널 이득들을 아래와 같이 순환적으로 계산하도록 더 설정되며,

여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 이미징 장치.
청구항 19에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 회로는 상기 컬러 채널 이득들을 아래에 따라 계산하도록 설정되며,

여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색 및 녹색 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값들을 나타내며; G_BIAS는 튜닝 파라미터를 나타내고; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 색도 값들을 나타내는, 이미징 장치.
청구항 28에 있어서, 상기 회로는 상기 컬러 채널 이득들을 아래와 같이 순환적으로 계산하도록 더 설정되며,

여기에서, G_GAIN'는 녹색 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 적색 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 청색 채널에 대해 재계산된 컬러 채널 이득인, 이미징 장치.
청구항 19에 있어서, 상기 회로는 상기 계산된 컬러 채널 이득들을 정규화하도록 더 설정되는, 이미징 장치.
청구항 30에 있어서, 상기 회로는 상기 계산된 컬러 채널 이득들을 아래와 같이 정규화하도록 설정되는, 이미징 장치.
청구항 19에 있어서, 상기 계산된 컬러 채널 이득들을 저역 통과 필터로 필터링하는 회로를 더 포함하는, 이미징 장치.
청구항 19에 있어서,

미리 정해진 수의 컬러 채널 이득들을 저장하고;

상기 미리 정해진 수의 저장된 컬러 채널 이득들을 평균하여 상기 컬러 채널 이득들을 계산하는, 회로를 더 포함하는, 이미징 장치.
청구항 19에 있어서, 상기 이미지 센서는 비디오 카메라의 부분인, 이미징 장치.
청구항 19에 있어서, 상기 입력 이미지 데이터는 RGB 이미지 데이터인, 이미징 장치.
청구항 19에 있어서, 상기 입력 이미지 데이터는 아날로그인, 이미징 장치.
청구항 19에 있어서, 상기 입력 이미지 데이터는 디지털인, 이미징 장치.
이미지 센서로부터의 입력 이미지 데이터에 컬러 밸런싱 동작을 실행하는 밸런싱 유닛으로서, 상기 유닛은,

중간 백색점 및 그레이 월드 정보에 의거하여 상기 입력 이미지 데이터에 대한 컬러 채널 이득들 및 컬러 채널들 갖는 상기 입력 이미지 데이터에 대해 상기 그레이 월드 정보를 계산하는 회로로서, 상기 회로는,

상기 이미지 내의 픽셀들의 적어도 하나의 그룹을 선택하고, 상기 픽셀들의 그룹에 대하여,

상기 픽셀들의 그룹의 각 픽셀의 상기 컬러 채널들의 각각에 대해 색도 값들을 결정하고;

상기 컬러 채널의 그레이 월드 개요의 색도 값을 결정하기 위하여 각 컬러 채널에 대한 색도 값의 합을 모든 상기 컬러 채널들에 대한 색도 값의 합으로 나누며;

각 컬러 채널에 대하여, 컬러 채널 이득을 결정하기 위하여 상기 컬러 채널과 다른 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값을 중간 백색점의 대응하는 컬러 채널들의 색도 값들의 합으로 나누는, 회로; 및

출력 이미지를 생성하기 위하여 상기 입력 이미지 데이터의 각각의 컬러 채널들에 상기 컬러 채널 이득들을 적용하기 위한 회로를 포함하는, 밸런싱 유닛.
청구항 38에 있어서, 상기 계산을 위한 회로는 미리 정해진 기준에 의거하여 상기 그레이 월드 정보를 계산하는 데 사용되는 상기 픽셀들을 프루닝하도록 더 설정되는, 밸런싱 유닛.
청구항 39에 있어서, 상기 계산을 위한 회로는 각 컬러 채널에 대한 고 및 저 임계값들의 범위에 의거하여 상기 그레이 월드 정보에 포함하기 위한 색도 값들을 선택하도록 더 설정되는, 밸런싱 유닛.
청구항 39에 있어서, 상기 계산을 위한 회로는 상기 미리 정해진 기준에 따르는 픽셀들의 총 수가 픽셀들의 총 수의 미리 정해진 백분율인지를 판정하도록 더 설정되는, 밸런싱 유닛.
청구항 38에 있어서, 상기 계산을 위한 회로는 상기 이미지 센서의 컬러 채널 감도에 대하여 상기 출력 이미지를 미세 조정하도록 시스템 튜닝 파라미터를 사용하도록 더 설정되는, 밸런싱 유닛.
청구항 38에 있어서, 상기 계산을 위한 회로는 상기 컬러 채널 이득들을 순환적으로 계산하도록 더 설정되는, 밸런싱 유닛.
청구항 38에 있어서, 상기 계산을 위한 회로는 상기 계산된 컬러 채널 이득들을 정규화하도록 더 설정되는, 밸런싱 유닛.
청구항 38에 있어서, 상기 계산된 컬러 채널 이득들을 필터링하기 위한 저역 통과 필터를 더 포함하는, 밸런싱 유닛.
청구항 38에 있어서,

미리 정해진 수의 컬러 채널 이득들을 저장하기 위한 메모리를 더 포함하고, 상기 적용하기 위한 회로는 상기 미리 정해진 수의 저장된 컬러 채널 이득들을 평균하여 상기 컬러 채널 이득들을 계산하도록 더 설정되는, 밸런싱 유닛.
이미저 시스템으로서,

이미지 신호들을 제공하는 픽셀 어레이;

이미지 신호들을 판독하는 판독 회로; 및

판독한 이미지 신호들로부터 결정되는 입력 이미지 데이터에 컬러 밸런싱 동작을 실행하는 이미징 장치로서, 상기 장치는 이미지 프로세서를 포함하고, 상기 이미지 프로세서는,

상기 이미지 내의 픽셀들의 적어도 하나의 그룹을 선택하여 컬러 채널들을 갖는 상기 입력 이미지 데이터에 대해 그레이 월드 정보를 계산하는 것으로서, 상기 픽셀들의 그룹에 대하여,

상기 픽셀들의 그룹의 각 픽셀들의 상기 컬러 채널들의 각각에 대해 색도 값들을 합하고,

각 컬러 채널에 대한 상기 합해진 색도 값을 모든 상기 컬러 채널들에 대한 색도 값들의 합으로 나누어 각 컬러 채널에 대한 그레이 월드 개요의 색도 값을 결정하여, 계산하고,

상기 입력 이미지 데이터의 각 컬러 채널에 대한 컬러 채널 이득들을 계산하는 것으로서, 상기 입력 이미지 데이터의 상기 컬러 채널과 다른 컬러 채널들의 상기 그레이 월드 개요 색도 값들을 중간 백색점의 상기 다른 컬러 채널들의 색도 값들의 합으로 나누어 대응하는 컬러 채널들을 가지는 상기 중간 백색점 및 상기 그레이 월드 정보에 근거하여, 계산하며,

상기 입력 이미지 데이터의 각각의 컬러 채널들에 상기 컬러 채널 이득들을 적용함으로써 상기 입력 이미지 데이터를 출력 이미지로 변환하도록 설정된, 이미징 장치를 포함하는, 이미저 시스템.
청구항 47에 있어서, 상기 이미징 장치의 출력을 수신하는 프로세서를 더 포함하는, 이미저 시스템.
청구항 47에 있어서, 상기 이미지 프로세서는 미리 정해진 기준에 의거하여 상기 그레이 월드 정보를 계산하는데 사용되는 상기 픽셀들을 프루닝하도록 더 설정되는, 이미저 시스템.
청구항 49에 있어서, 상기 프루닝은 각 컬러 채널에 대한 고 및 저 임계값들의 범위에 의거하여 상기 그레이 월드 정보에 이미지 데이터를 포함할지를 결정하는 것을 더 포함하는, 이미저 시스템.
청구항 49에 있어서, 상기 프루닝은 상기 미리 정해진 기준에 따르는 픽셀들의 총 수가 픽셀들의 총 수의 미리 정해진 백분율인지를 판정하는 것을 더 포함하는, 이미저 시스템.
청구항 47에 있어서, 상기 이미지 프로세서는 상기 이미저 시스템의 컬러 채널 감도에 대하여 상기 출력 이미지를 미세 조정하도록 시스템 튜닝 파라미터를 사용하도록 설정되는, 이미저 시스템.
청구항 47에 있어서, 상기 이미지 프로세서는 상기 컬러 채널 이득들을 순환적으로 계산하도록 더 설정되는, 이미저 시스템.
청구항 47에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 이미지 프로세서는 아래에 따라 상기 컬러 채널 이득들을 계산하도록 설정되며,

여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값들을 나타내며; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 색도 값들을 나타내는, 이미저 시스템.
청구항 54에 있어서, 상기 이미지 프로세서는 아래와 같이 상기 컬러 채널 이득들을 순환적으로 계산하도록 설정되며,

여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 이미저 시스템.
청구항 47에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 이미지 프로세서는 아래에 따라 상기 컬러 채널 이득들을 계산하도록 설정되며,

여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값들을 나타내며; G_BIAS는 튜닝 파라미터를 나타내고; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 색도 값들을 나타내는, 이미저 시스템.
청구항 56에 있어서, 상기 이미지 프로세서는 아래와 같이 상기 컬러 채널 이득들을 순환적으로 계산하도록 설정되며,

여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 이미저 시스템.
청구항 47에 있어서, 상기 이미지 프로세서는 상기 계산된 컬러 채널 이득들을 정규화하도록 더 설정되는, 이미저 시스템.
청구항 58에 있어서, 상기 이미지 프로세서는 아래와 같이 상기 계산된 컬러 채널 이득들을 정규화하도록 설정되는, 이미저 시스템.
청구항 47에 있어서, 상기 이미지 프로세서는 상기 계산된 컬러 채널 이득들을 저역 통과 필터링하도록 설정되는, 이미저 시스템.
청구항 47에 있어서, 상기 이미지 프로세서는,

미리 정해진 수의 컬러 채널 이득들을 저장하고;

상기 미리 정해진 수의 저장된 컬러 채널 이득들을 평균하여 상기 컬러 채널 이득들을 계산하도록 설정되는, 이미저 시스템.
청구항 47에 있어서, 상기 이미징 장치는 비디오 카메라의 부분인, 이미저 시스템.
청구항 47에 있어서, 상기 입력 이미지 데이터는 RGB 이미지 데이터인, 이미저 시스템.
청구항 47에 있어서, 상기 입력 이미지 데이터는 아날로그인, 이미저 시스템.
청구항 47에 있어서, 상기 입력 이미지 데이터는 디지털인, 이미저 시스템.