KR100993047B1 - 디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법및 장치 - Google Patents

디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법및 장치 Download PDF

Info

Publication number
KR100993047B1
KR100993047B1 KR1020087017115A KR20087017115A KR100993047B1 KR 100993047 B1 KR100993047 B1 KR 100993047B1 KR 1020087017115 A KR1020087017115 A KR 1020087017115A KR 20087017115 A KR20087017115 A KR 20087017115A KR 100993047 B1 KR100993047 B1 KR 100993047B1
Authority
KR
South Korea
Prior art keywords
color channel
gain
color
image data
gains
Prior art date
Application number
KR1020087017115A
Other languages
English (en)
Other versions
KR20080078064A (ko
Inventor
셰인 씨. 허
Original Assignee
마이크론 테크놀로지, 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크론 테크놀로지, 인크 filed Critical 마이크론 테크놀로지, 인크
Publication of KR20080078064A publication Critical patent/KR20080078064A/ko
Application granted granted Critical
Publication of KR100993047B1 publication Critical patent/KR100993047B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

이미지로부터의 픽셀이 그레이 월드 통계를 위해 샘플링된다. 포화된 영역의 영향을 회피하기 위해, 픽셀이 프루닝된다. 픽셀의 미리 정해진 백분율가 그레이 월드 통계에 포함되면, 컬러 채널 이득이 계산되어 이미지에 적용된다. 그 결과, 컬러 밸런스가 간단하고 효율적인 방법으로 달성된다.

Description

디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법 및 장치{METHOD AND APPARATUS PROVIDING AUTOMATIC COLOR BALANCING FOR DIGITAL IMAGING SYSTEMS}
본 발명은 이미징 장치에 관한 것으로, 특히 이미징 시스템용의 자동 컬러 밸런싱 기술에 관한 것이다.
전하 결합 소자(CCD), CMOS 이미저 등을 포함하는 고체 이미저가 포토 이미징 애플리케이션에 사용되어 왔다. 고체 이미저 회로는 픽셀 셀들의 초점면 어레이를 포함하고, 셀들의 각각은 광 생성 전하를 축적하는 도핑된 영역을 갖는 포토게이트, 광도체 또는 포토다이오드일 수 있는 광센서를 포함한다. 각 픽셀 셀은 판독 회로의 일부인 출력 트랜지스터의 게이터에 접속되는, 기판 상에 또는 내에 형성되는 전하 저장 영역을 갖는다. 전하 저장 영역은 플로팅 확산 영역으로 구성될 수도 있다. 일부 이미저 회로에서는, 각 픽셀 셀은 광센서로부터 저장 영역으로 전하를 전송하는 트랜지스터와 같은 적어도 하나의 전자 장치와, 전하 전송 전에 미리 정해진 의 전하 레벨로 저장 영역을 리셋하는 또한 일반적으로 트랜지스터인 하나의 장치를 포함할 수 있다.
CMOS 이미저에서, 픽셀 셀의 능동 소자는 (1) 광량자-전하 변환, (2) 이미지 전하의 축적, (3) 저장 영역을 공지된 상태로 리셋, (4) 저장 영역으로의 전하의 전송, (5) 판독을 위한 픽셀 셀의 선택, 및 (6) 픽셀 전하를 나타내는 신호의 출력 및 증폭 등의 필요한 기능을 실행한다. 광 전하는 초기 전하 축적 영역으로부터 저장 영역으로 이동할 때 증폭될 수도 있다. 저장 영역에서의 전하는 일반적으로 소스 폴로워 출력 트랜지스터에 의해 픽셀 출력 전압으로 변환된다.
상기 논의된 타입의 CMOS 이미저는 마이크론 테크놀로지사에 각각 양도된, 예를 들면, 미국 특허 제6,140,630호, 미국 특허 제6,376,868호, 미국 특허 제6,310,366호, 미국 특허 제6,326,652호, 미국 특허 제6,204,524호 및 미국 특허 제6,333,205호에 기재되어 있는 바와 같이 일반적으로 공지되어 있으며, 이상의 특허들의 각각의 개시물은 참고로 그 전체 내용이 여기에 통합되어 있다.
컬러 불변성(constancy)이 휴먼 비전(human vision) 시스템의 특징 중 하나이다. 휴먼 비전 시스템은 상이한 조명 조건 하에서 컬러 물체를 잘 구별할 수 있다. 물체의 컬러는 태양광, 달빛, 백열광, 형광 및 촛불과 같은 매우 상이한 타입의 자연 및 인공 광원 하에서 실질적으로 같게 보인다. 그러나, 조명의 스펙트럼 파워 분포의 변화로 인해, 장면의 인지되는 밝기 및 컬러 외관은 변화할 것이다. 휴먼 비전 시스템은 광원의 영향을 완전히 제거하지 못한다.
가능한 설명은 휴먼 비전 시스템이 절대 색체 장치로서 기능하지 않는다는 것이다. 인지되는 이미지는 광원 및 물체 반사의 간섭을 포함한다. 따라서, 이미징 장치로부터 캡쳐된 이미지에 대해, 광원의 영향이 휴먼 비전 시스템이 기능하는 방법과 유사한 방식으로 유지되어야 한다. 예를 들면, 재생되는 일몰 장면은 일몰 장면처럼 보여야 한다. 이 가정은, 컬러 프린트가 컬러 밸런스가 보정되는 대신에, 그레이가 그레이로서 프린트되어 전체 화상이 그레이에 통합하는 것으로 조정되면, 더욱 만족스러운 효과가 컬러 프린트에서 종종 생성된다는 R.W.G. Hunt's 관측에 의해 지지된다. R.W.G. Hunt저, "The Reproduction of Colour" §16.7을 참조하라. 그레이 월드 이론은 화상 내의 모든 컬러들이 통합 즉, 그레이에 대해 평균해야 하는 것을 가정한다. 따라서, 캡쳐된 이미지를 더욱 정확하게 컬러 밸런스하는 이미징 장치에 대한 필요 및 요구가 존재한다.
본 발명은 상이한 조명 하에서의 이미지의 컬러 밸런스가 더욱 정확하게 유지될 수 있는 컬러 밸런싱 방법 및 장치를 제공한다. 본 발명의 예시적인 실시예에 따르면, 이미저 컬러 스페이스 예컨대, 적색-녹색-청색(RGB) 컬러 스페이스를 갖는 입력 이미지로부터의 픽셀이 그레이 월드 통계를 위해 샘플링된다. 포화된 영역의 영향을 회피하기 위해, 픽셀이 프루닝된다(pruned). 미리 정해진 백분율의 픽셀이 그레이 월드 통계에 포함되면, 중간 백색점에 대해 각 RGB 채널에 대한 이득이 계산된다. 채널 이득이 RGB 이미지에 적용된다. 이 프로세스는 디스플레이에 적합한 변환된 컬러 밸런스 이미지를 생성한다.
본 발명은 아날로그 또는 디지털 이미지 데이터에 동작하도록 실시될 수 있고, 하드웨어, 소프트웨어, 또는 그 둘의 조합으로 실행될 수도 있다.
본 발명의 상기 및 다른 이점 및 특징은 첨부하는 도면을 참조하여 이하에 제공되는 발명의 상세한 설명으로부터 더욱 명백해질 것이다.
도 1은 본 발명의 하나의 예시적인 실시예에 따르는 컬러 밸런싱 프로세스를 도시하는 기능 블록도이다.
도 2는 도 1에 도시된 프로세스의 부분을 더욱 상세히 도시하는 기능 블록도이다.
도 3은 도 2에 도시된 프로세스의 부분을 더욱 상세히 도시하는 플로우차트이다.
도 4는 본 발명의 하나의 예시적인 실시예에 따라 구성된 이미저를 도시하는 블록도이다.
도 5는 본 발명의 일 실시예에 따라 구성된 컬러 밸런스를 계산하는 회로를 포함하는 적어도 하나의 이미징 회로를 통합한 프로세서 시스템을 도시한 도면이다.
이하의 설명에서는, 예시적인 이미저 컬러 스페이스를 RGB 컬러 스페이스로서 설명할 것이지만, 예컨대, 감산 CMYK(시안, 마젠타, 황색, 흑색) 컬러 스페이스를 포함하는 다른 컬러 이미징 프로토콜이 본 발명에 사용될 수도 있다.
본 발명의 일반적인 처리 흐름을 도면을 참조하여 이하 설명한다. 도 1을 참조하면, RGB 컬러 스페이스로부터의 이미지 센서 데이터가 베이어 모자이크 필터 패턴과 같은 경사진 컬러 필터 어레이를 사용하여 이미지 센서(2)로부터 취득된다. 경사진 베이어-RGB 신호를 삽입하는 모자이크 제거 프로세스(3)가 Ri, Gi 및 Bi 신 호를 생성하도록 적용된다. Ri, Gi 및 Bi 신호는 도 3 및 도 4를 참조하여 더욱 상세히 후술하는 바와 같이 이미지의 색도 통계를 수집하여 채널 이득을 계산함으로써 Rb, Gb 및 Bb 신호를 생성하도록 프로세스(4)에서 컬러 밸런스를 이루게 된다. Rb, Gb 및 Bb 신호는 그 후, 종래의 컬러 보정 스킴(scheme)을 적용하여 Rt, Gt 및 Bt 신호를 생성하도록 컬러 보정 프로세스(5)가 행해진다. 디스플레이 매핑(6)이, 출력 프로세스(7)에서 RGB 이미지의 디스플레이 또는 다른 출력에 적합한 R', G', 및 B' 신호를 생성하도록 Rt, Gt 및 Bt 신호에 적용된다. 임의의 공지된 모자이크, 모자이크 제거, 컬러 보정, 디스플레이 매핑 및 디스플레이 기술이 각각 처리 블록 2, 3, 5, 6 및 7에서 사용될 수 있다는 것을 이해하게 될 것이다.
이하, 도 1의 블록 4의 컬러 밸런스 프로세스를 도 2에 대하여 더욱 상세히 설명한다. 먼저, 프룬드 그레이 월드 통계(pruned gray world statistics), R_Sum, G_Sum, B_Sum, 및 카운트가 프로세스(4a)에서 계산된다. 그 후, 채널 이득 R_Gain, G_Gain 및 B_Gain이 프로세스 블록(4b)에서 계산되고, 입력 신호 Ri, Gi 및 Bi에 적용되어 컬러 밸런스된 이미지 데이터 Rb, Gb 및 Bbf를 생성한다.
도 2에 도시된 프로세스는 본 발명의 하나의 예시적인 실시예와 관련하여 이하 더욱 상세히 설명한다. 먼저, 처리 블록(4a)을 참조하면, 그레이 월드 통계(gray world statistics)는 입력 이미지를 그레이에 통합하여 도출될 수 있다. 참고로 그 개시내용이 여기에 통합되어 있는, W.G. Hunt의 "The Reproduction of Colour" 4판 1987 Fountain Press, ISBN 0-86343-088-0을 참조하라. 본 발명의 예시적인 실시예에서는, 입력 이미지의 대부분의 픽셀이 그레이로의 통합을 위해 처 리 블록(4a)에 의해 샘플링된다. 각 픽셀의 컬러 채널의 색도의 합(R_SUM, G_SUM 및 B_SUM)이 처리 블록(4a)에서 계산된 후, 처리 블록(4b)에서 그레이 월드 개요(summary)의 색도를 계산하는 데 사용된다. 그레이 월드 개요의 색도는 아래와 같이 정의된다, 즉, 적색값 GW_CR = R_SUM/(R_SUM + G_SUM + B_SUM); 녹색값 GW_CG = G_SUM/(R_SUM + G_SUM + B_SUM); 및 청색값 GW_CB = B_SUM/(R_SUM + G_SUM + B_SUM). 예시적인 실시예에서, 3개의 모든 성분의 색도는 합이 1로 된다. 바꿔 말하면, GW_CR + GW_CG + GW_CB = 1이다. 이미지 내에서의 픽셀의 랜덤 샘플링에 제한되는 것은 아니지만 그것을 포함하는 임의의 공지된 픽셀 선택 방법이 채용되거나, 이와 달리, 픽셀을 선택하는 데 도움이 되는 임의의 방법 또는 동작이 채용될 수 있음을 이해하게 될 것이다.
그레이 월드 개요의 정확성은 프루닝(pruning) 즉, 완전히 포화된 컬러 오브젝트 등을 보상하기 위해 포화에 가까운 픽셀과 같은 명백한 아웃라이어(outlier)를 제외함으로써 더욱 향상될 수 있다. 예시적인 프루닝 프로세스는 도 3의 플로우차트에 의해 도시된다. 먼저, 픽셀이 선택된다(단계 10). 예시적인 프루닝 프로세스에서, 녹색값이 미리 설정한 낮은 값(LOW_GREEN_VALUE)보다 높고 미리 설정한 높은 값(HIGH_GREEN_VALUE)보다 낮으며; 적색값이 녹색값의 미리 설정한 낮은 비(fraction)(LOW_RED_GREEN_FRACTION)보다 높고 미리 설정한 높은 비(HIGH_RED_GREEN_FRACTION)보다 낮으며; 청색값이 녹색값의 미리 설정한 낮은 비(fraction)(LOW_BLUE_GREEN_FRACTION)보다 높고 미리 설정한 높은 비(HIGH_BLUE_GREEN_FRACTION)보다 낮은 경우, 픽셀은 그레이 월드 통계에 포함된 다. 이들 테스트는 도 3의 단계 20에서 실행된다.
픽셀이 상기 리스트된 기준을 통과하면(단계 20), 픽셀의 적색, 녹색 및 청색값이 각각, 각 성분 R_SUM, G_SUM 및 B_SUM의 총계에 가산되고, 유효 픽셀 카운트 즉, COUNT가 증가된다(단계 30). 선택된 픽셀이 샘플링을 위한 최종 픽셀이 아니면(단계 40), 다음의 픽셀이 선택되고(단계 10), 프루닝 기준 판정이 다시 실행된다(단계 20). 도 3을 참조하여 상술한 바와 같은, 동일한 동작 단계가, 그레이 월드 통계에 포함될 최종 픽셀이 선택되었다고 판정될 때까지 실행된다(단계 40). 단계 20에서, 픽셀이 프루닝 기준을 충족하지 않는다고 판정되면, 단계 40이 상술한 바와 같이 실행된다.
선택된 픽셀이 샘플링을 위한 이미지로부터의 최종 픽셀이라고 판정되면(단계 40에서 YES), 컬러 밸런스 시스템은 단계 50에서 COUNT가 샘플링된 이미지 픽셀의 총 수의 미리 정해진 백분율인지 예를 들면, 샘플링된 전체 픽셀의 1/4 이상인지를 판정한다. COUNT가 샘플링된 이미지 픽셀의 총 수의 미리 정해진 백분율 이상이면, 컬러 채널 이득은 유효로 간주되며(단계 60), 프로세스 블록(4b)에서 계산되어 이미지 데이터 Ri, Gi 및 Bi에 적용될 것이다. 그렇지 않으면, 이득은 무료로 간주되며 컬러 채널이 불변인 채로 남게 된다(단계 70). 단계 50, 즉, COUNT가 샘플링된 전체 픽셀의 미리 정해진 백분율인지를 판정하는 것은, 그 판정을 채널 이득이 계산되기 전에 행하는 것이 더욱 효율적이라고 할지라도, 채널 이득이 계산된 후에 일어날 수 있다는 것을 주의해야 한다.
처리 블록(4b)(도 2)에서의 채널 이득의 계산은 미리 정해진 중간 백색점의 색도에 대해 그레이 월드 개요의 색도를 밸런싱하는 것에 초점을 맞춘다. 색도는 공지된 CIE XYZ 표준 관측기 3자극 측색 시스템(standard observer tri-stimulus colorimetric system)과 유사한 개념으로 정의된다. 참고로 그 개시내용이 여기에 통합되어 있는, Wyszecki 및 Stiles의 "Color Science Concepts and Methods, Quantitative Data and Formulae" Wiley, ISBN 0-471-39918-3을 참조하라. 이미지 센서의 스펙트럼 응답은 일반적으로 CIE 표준 관측기와 동일하지 않다. 센서의 중간 백색점은 컬러 밸런스가 장면 조명(scene illuminant)에 의존하기 때문에 알려진 광원에 대해 보정될 필요가 있다.
중간 백색점의 색도는 처리 블록(4b)에서 판정된다. 그 판정은 이미지 센서의 스펙트럼 응답으로서 자동으로 계산되거나, 사용자의 기호에 의거하여 미리 설정되거나, 이들 둘의 조합일 수 있다. 중간 백색점을 선택하기 위한 임의의 공지된 방법이 사용될 수 있다는 것을 이해할 것이다. 중간 백색점의 색도는 3개의 성분, 적색값 N_CR, 녹색값 N_CG 및 청색값 N_CB로 구성된다. 바람직한 실시예에서, 3개의 모든 성분의 색도는 합이 1로 된다. 바꿔 말하면, N_CR + N_CG + N_CB = 1이다.
바람직한 실시예에서, 시스템 튜닝 파라미터, G_BIAS가 이미지 센서의 컬러 채널 감도에 대해 표현된 이미지를 미세 조정하기 위해 처리 블록(4b)에서 사용될 수 있다. G_BIAS는 이미지 센서의 컬러 채널 감도에 대해 자동으로 계산되거나, 사용자의 기호에 의거하여 미리 설정되거나, 이들 둘의 조합일 수 있다. 시스템 튜닝 파라미터를 선택하기 위한 임의의 공지된 방법이 사용될 수 있다는 것을 이해 할 것이다.
본 발명의 바람직한 실시예에서, 녹색 채널 이득, G_GAIN이 중간 백색점(N_CR, N_CG, N_CB)의 색도, 그레이 월드 개요(GW_CR, GW_CG, GW_CB)의 색도, 및 광학 시스템 튜닝 파라미터(G_BIAS)의 함수로서 계산된다. 적색 채널 이득을 독립적으로 계산하는 것보다는, 적색 채널 이득은 녹색 채널 이득의 함수로서 계산된다. 마지막으로, 청색 채널 이득이 적색 및 녹색 채널 이득의 함수로서 계산된다. 본 발명의 일 실시예에서, 상술한 파라미터들은 아래와 같이, 처리 블록(4b)에서 각 컬러 채널에 대한 이득을 계산하는 데 사용된다:
Figure 112008050538632-pct00001
바람직한 실시예에서 채널 이득의 순환적인 계산이 처리 블록(4b)에서 실행되어, 채널 이득의 더욱 완전한 정규화를 가능하게 한다. 순환적인 계산은 수식 (1), (2), 및 (3)과 원하는 만큼 다수 회 반복될 수 있는 아래의 순환적인 계산으로 이루어진다:
Figure 112008050538632-pct00002
바람직한 실시예에서, 이하 간략화를 위해 R_GAIN, G_GAIN, B_GAIN으로 나타내는, 수식 (1), (2), 및 (3) 또는 수식 (4), (5), 및 (6) 중 하나에서 계산된 채널 이득은 컬러 채널 이득 사이의 비율을 유지하면서 휘도 신호의 변화량을 최소화하도록 처리 블록(4b)에서 정규화된다. 녹색 채널이 휘도 신호의 대부분을 구성하기 때문에, 휘도 신호의 변화량은 녹색 채널 이득을 1.0으로 설정함으로써 최소화되고, 적색 채널 이득 및 청색 채널 이득은 적색, 녹색 및 청색 채널 이득 사이의 비율을 유지하면서 계산된다. 이것은 아래에 의해 달성된다:
Figure 112008050538632-pct00003
바람직한 실시예에서, 상술한 처리 블록(4b)에서 계산되는 적색, 녹색 및 청색 채널 이득 계산이 처리 블록(4)에서 신호 Rb, Gb 및 Bb를 생성하도록 신호 Ri, Gi 및 Bi를 각각 조정하는 데 사용된다. 단일 화상 스냅샷 애플리케이션(single picture snapshot appalications)에 있어서, 도출된 채널 이득이 후속 컬러 처리 단계에 적용될 수 있다. 비디오 데이터 흐름이 연속될 필요가 있는 비디오 애플리케이션에 있어서, 각 프레임에 대한 새로운 채널 이득이 처리 블록(4c)에 저장될 수 있고 후속 프레임에 적용될 수 있다. 더욱 매끄러운 변화(smoother transition)가 요구되면, 채널 이득의 저역 통과 필터링이, 다수의 과거 채널 이득을 저장하고 과거 및 현재 채널 이득의 저역 통과 필터링을 실행함으로써 실시될 수 있다. 저역 통과 필터링은 처리 블록(4c)에 도시된 바와 같이, 이동 평균(running mean or moving average) 필터에 의해 실시될 수 있다. 임의의 공지된 저역 통과 필터링 방법이 사용될 수 있다는 것을 이해할 것이다.
상기 설명으로부터 명백한 바와 같이, 본 발명은 직접적이고 비교적 실시하기 용이한 상당한 컬러 밸런스를 달성한다. 그 결과, 컬러 밸런스가 간단하고 효과적인 방법으로 달성된다.
도 4는 도 1의 블록(2)에 도시된 처리를 제공하는 데 적합한 픽셀 어레이(240)를 갖는 예시적인 이미징 장치(300)를 도시한다. 도 4에서 이미징 장치는 베이어(Bayer) 필터를 채용하여 R, G, B 픽셀 출력 신호를 생성한다. 어레이(240)의 로우(row) 라인은 로우 어드레스 디코더(255)에 응답하여 로우 드라이버(245)에 의해 선택적으로 활성화된다. 칼럼 드라이버(260) 및 칼럼 어드레스 디코더(270)가 또한 이미징 장치(300) 내에 포함된다. 이미징 장치(300)는 어드레스 디코더(255, 270)를 제어하는 타이밍 및 제어 회로(250)에 의해 동작된다. 제어 회로(250)는 또한, 로우 및 칼럼 드라이버 회로(245, 260)를 제어한다.
칼럼 드라이버(260)와 관련된 샘플 및 홀드 회로(261)가 어레이(240)의 선택 된 픽셀에 대한 픽셀 리셋 신호(Vrst) 및 픽셀 이미지 신호(Vsig)를 판독한다. 각 픽셀에 대해 차동 증폭기(262)에 의해 차분 신호(Vrst-Vsig)가 산출되어, 아날로그-디지털 컨버터(275)(ADC)에 의해 디지털화된다. 아날로그-디지털 컨버터(275)는 디지털화된 픽셀 신호를 디지털 이미지를 형성하여 출력할 수 있는 이미지 프로세서(280)에 공급한다. 이미지 프로세서(280)는 픽셀 어레이(240)에 대해 본 발명의 컬러 밸런스 처리(도 1, 블록 4)를 실행할 수 있는 회로(예컨대, 프로세서)를 갖는다.
이와 달리, 컬러 밸런스 처리는 증폭기(262)와 ADC(275) 사이에 위치하는 배선 접속된 또는 논리 회로(도시 생략)에 의해 픽셀 어레이의 아날로그 출력에 대해, 또는 다른 장치에 의해 소프트웨어나 하드웨어로 이미지 프로세서(280)의 디지털 이미지 출력에 대해 행해질 수 있다.
도 5는 본 발명에 따르는 컬러 밸런스 방법을 내장하는 이미징 장치(300)(도 4)를 포함하도록 변형된 일반적인 프로세서 시스템인 시스템(1100)을 도시한다. 시스템(1100)은 이미지 센서 장치를 포함할 수 있는 디지털 회로를 갖는 시스템의 예시이다. 제한됨 없이, 그러한 시스템은 컴퓨터 시스템, 스틸 또는 비디오 카메라 시스템, 스캐너, 머신 비전(machine vision), 비디오 폰, 및 자동 초점 시스템, 또는 다른 이미저 시스템을 포함할 수 있다.
시스템(1100) 예컨대, 카메라 시스템은 버스(1104)를 통해 입/출력(I/O) 장치(1106)와 통신하는 일반적으로 마이크로프로세서와 같은 중앙 처리 장치(CPU)(1102)를 포함한다. 이미징 장치(300)는 또한, 버스(1104)를 통해 CPU(1102)와 통신한다. 프로세서 기반 시스템(1100)은 또한, 랜덤 액세스 메모리(RAM)(1110)를 포함하고, 버스(1104)를 통해 CPU(1102)와 또한 통신하는 플래시 메모리와 같은 착탈 가능한 메모리(1115)를 포함할 수 있다. 이미징 장치(300)는 단일 집적 회로 상 또는 프로세서와 다른 칩 상에 메모리 저장장치를 갖거나 갖지 않고, CPU, 디지털 신호 프로세서, 또는 마이크로프로세서와 같은 프로세서와 조합될 수 있다.
본 발명의 바람직한 실시예들을 이상에서 예시 및 설명하였지만, 이들은 본 발명의 예시일 뿐 제한하고자 하는 것이 아님을 이해할 것이다. 예를 들어, 예시적인 실시예가 CMOS 이미지 센서와 관련하여 설명되어 있지만, 본 발명은 예를 들면, CCD 이미지 센서와 같은 다른 전자 이미지 센서에도 적용할 수 있다. 발명의 사상 및 범위를 벗어남 없이, 부가, 삭제, 치환 및 다른 변형이 이루어질 수 있다. 따라서, 본 발명은 이상의 설명에 의해 한정되는 것으로 보지 않고, 첨부되는 청구항들의 범위에 의해서만 제한된다.

Claims (65)

  1. 이미지 센서로부터의 입력 이미지 데이터에 컬러 밸런싱(balancing) 동작을 실행하는 방법으로서, 상기 방법은,
    상기 입력 이미지 데이터의 각 컬러 채널에 대한 제1 색도 값을 결정하는 단계로서, 복수의 픽셀들의 각 컬러 채널에 대한 색도 값의 합계를 상기 복수의 픽셀들의 모든 상기 컬러 채널들에 대한 색도 값의 합계로 나누어 결정하는, 단계; 및
    상기 입력 이미지 데이터의 각 컬러 채널에 대한 컬러 채널 이득들을 계산하는 단계로서, 상기 컬러 채널과 다른 컬러 채널들의 상기 각각의 제1 색도 값들을 중간 백색점의 대응하는 컬러 채널들의 제2 색도 값들의 합으로 나누어 계산하는, 단계를 실행하는 프로세싱 회로를 사용하는 단계; 및
    상기 입력 이미지 데이터의 각각의 상기 컬러 채널들에 상기 컬러 채널 이득들을 적용함으로써 상기 입력 이미지 데이터를 출력 이미지로 변환하는 단계를 포함하는, 컬러 밸런싱 동작의 실행 방법.
  2. 청구항 1에 있어서, 미리 정해진 기준에 의거하여 상기 제1 색도 값들을 결정하는데 사용되는 상기 복수의 픽셀들을 프루닝(pruning)하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
  3. 청구항 2에 있어서, 상기 프루닝 하는 단계는 각 컬러 채널에 대한 고 및 저 임계값들의 범위에 의거하여 상기 복수의 픽셀들에 포함하기 위한 픽셀들을 선택하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
  4. 청구항 2에 있어서, 상기 프루닝 하는 단계는 상기 미리 정해진 기준에 따르는 픽셀들의 총 수가 픽셀들의 총 수의 미리 정해진 백분율 이상인지를 판정하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
  5. 청구항 1에 있어서, 상기 이미지 센서의 컬러 채널 감도에 대하여 상기 출력 이미지를 미세 조정하도록 시스템 튜닝 파라미터를 사용하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
  6. 청구항 1에 있어서, 상기 채널 이득들을 순환적으로 재계산하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
  7. 청구항 1에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 프로세싱 회로는 상기 컬러 채널 이득들을 아래에 따라 계산하며,
    Figure 112010024811911-pct00024
    여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 제1 색도 값들을 나타내며; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 제2 색도 값들을 나타내는, 컬러 밸런싱 동작의 실행 방법.
  8. 청구항 7에 있어서, 상기 컬러 채널 이득들을 아래와 같이 순환적으로 계산하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하며,
    Figure 112010024811911-pct00025
    여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 컬러 밸런싱 동작의 실행 방법.
  9. 청구항 1에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 프로세싱 회로는 상기 컬러 채널 이득들을 아래에 따라 계산하며,
    Figure 112010024811911-pct00026
    여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 제1 색도 값들을 나타내며; G_BIAS는 튜닝 파라미터를 나타내고; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 제2 색도 값들을 나타내는, 컬러 밸런싱 동작의 실행 방법.
  10. 청구항 9에 있어서, 상기 컬러 채널 이득들을 아래와 같이 순환적으로 계산하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하며,
    Figure 112010024811911-pct00027
    여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 컬러 밸런싱 동작의 실행 방법.
  11. 청구항 1에 있어서, 상기 계산된 채널 이득들을 정규화하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
  12. 청구항 11에 있어서, 상기 계산된 컬러 채널 이득들을 아래와 같이 정규화하는 단계를 실행하는 상기 프로세싱 회로를 사용하는 것을 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
    Figure 112010024811911-pct00028
  13. 청구항 1에 있어서, 상기 계산된 컬러 채널 이득들을 저역 통과 필터로 필터링하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
  14. 청구항 1에 있어서,
    미리 정해진 수의 컬러 채널 이득들을 저장하는 단계; 및
    상기 미리 정해진 수의 저장된 컬러 채널 이득들을 평균하여 상기 컬러 채널 이득들을 계산하는 단계를 더 포함하는, 컬러 밸런싱 동작의 실행 방법.
  15. 청구항 1에 있어서, 상기 이미지 센서는 비디오 카메라의 부분인, 컬러 밸런싱 동작의 실행 방법.
  16. 청구항 1에 있어서, 상기 입력 이미지 데이터는 RGB 이미지 데이터인, 컬러 밸런싱 동작의 실행 방법.
  17. 청구항 1에 있어서, 상기 입력 이미지 데이터는 아날로그인, 컬러 밸런싱 동작의 실행 방법.
  18. 청구항 1에 있어서, 상기 입력 이미지 데이터는 디지털인, 컬러 밸런싱 동작의 실행 방법.
  19. 이미지 센서로부터의 입력 이미지 데이터에 컬러 밸런싱 동작을 실행하는 이미징 장치로서, 상기 장치는, 회로로서,
    컬러 채널들을 가지는 상기 입력 이미지 데이터에 대해 그레이 월드 정보(information)를 계산하고, 상기 계산은,
    상기 이미지 내의 픽셀들의 적어도 하나의 그룹을 선택하고;
    각 컬러 채널에 대한 그레이 월드 개요(summary)의 색도 값을 결정하는 것으로서, 상기 픽셀들의 그룹의 각 컬러 채널들에 대한 색도 값의 합계를 상기 픽셀들의 그룹의 모든 상기 컬러 채널들에 대한 색도 값의 합계로 나누어 결정하여, 계산되고;
    상기 입력 이미지 데이터의 각 컬러 채널에 대한 컬러 채널 이득들을 계산하며, 상기 계산은, 상기 컬러 채널과 다른 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값을 중간 백색점의 대응하는 컬러 채널들의 색도 값들의 합으로 나누어, 계산하고;
    상기 입력 이미지 데이터의 각각의 상기 컬러 채널들에 상기 컬러 채널 이득들을 적용함으로써 상기 입력 이미지 데이터를 출력 이미지로 변환하도록, 설정된 회로를 포함하는, 이미징 장치.
  20. 청구항 19에 있어서, 상기 회로는 프로세서인, 이미징 장치.
  21. 청구항 19에 있어서, 상기 회로는 또한 미리 정해진 기준에 의거하여 상기 그레이 월드 정보를 계산하는 데 사용되는 상기 픽셀들을 프루닝하는, 이미징 장치.
  22. 청구항 21에 있어서, 상기 회로는 각 컬러 채널에 대한 고 및 저 임계값들의 범위에 의거하여 상기 그레이 월드 정보에 포함하기 위한 픽셀들을 선택하는, 이미징 장치.
  23. 청구항 21에 있어서, 상기 회로는 상기 미리 정해진 기준에 따르는 픽셀들의 총 수가 픽셀들의 총 수의 미리 정해진 백분율인지를 판정하는, 이미징 장치.
  24. 청구항 19에 있어서, 상기 회로는 상기 이미지 센서의 상기 컬러 채널의 감도에 대하여 상기 출력 이미지를 미세 조정하는, 이미징 장치.
  25. 청구항 19에 있어서, 상기 회로는 상기 컬러 채널 이득들을 순환적으로 계산하는, 이미징 장치.
  26. 청구항 19에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 회로는 상기 컬러 채널 이득들을 아래에 따라 계산하도록 설정되며,
    Figure 112010024811911-pct00029
    여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값들을 나타내며; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 색도 값들을 나타내는, 이미징 장치.
  27. 청구항 26에 있어서, 상기 회로는 상기 컬러 채널 이득들을 아래와 같이 순환적으로 계산하도록 더 설정되며,
    Figure 112010024811911-pct00030
    여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 이미징 장치.
  28. 청구항 19에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 회로는 상기 컬러 채널 이득들을 아래에 따라 계산하도록 설정되며,
    Figure 112010024811911-pct00031
    여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색 및 녹색 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값들을 나타내며; G_BIAS는 튜닝 파라미터를 나타내고; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 색도 값들을 나타내는, 이미징 장치.
  29. 청구항 28에 있어서, 상기 회로는 상기 컬러 채널 이득들을 아래와 같이 순환적으로 계산하도록 더 설정되며,
    Figure 112010024811911-pct00032
    여기에서, G_GAIN'는 녹색 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 적색 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 청색 채널에 대해 재계산된 컬러 채널 이득인, 이미징 장치.
  30. 청구항 19에 있어서, 상기 회로는 상기 계산된 컬러 채널 이득들을 정규화하도록 더 설정되는, 이미징 장치.
  31. 청구항 30에 있어서, 상기 회로는 상기 계산된 컬러 채널 이득들을 아래와 같이 정규화하도록 설정되는, 이미징 장치.
    Figure 112010024811911-pct00033
  32. 청구항 19에 있어서, 상기 계산된 컬러 채널 이득들을 저역 통과 필터로 필터링하는 회로를 더 포함하는, 이미징 장치.
  33. 청구항 19에 있어서,
    미리 정해진 수의 컬러 채널 이득들을 저장하고;
    상기 미리 정해진 수의 저장된 컬러 채널 이득들을 평균하여 상기 컬러 채널 이득들을 계산하는, 회로를 더 포함하는, 이미징 장치.
  34. 청구항 19에 있어서, 상기 이미지 센서는 비디오 카메라의 부분인, 이미징 장치.
  35. 청구항 19에 있어서, 상기 입력 이미지 데이터는 RGB 이미지 데이터인, 이미징 장치.
  36. 청구항 19에 있어서, 상기 입력 이미지 데이터는 아날로그인, 이미징 장치.
  37. 청구항 19에 있어서, 상기 입력 이미지 데이터는 디지털인, 이미징 장치.
  38. 이미지 센서로부터의 입력 이미지 데이터에 컬러 밸런싱 동작을 실행하는 밸런싱 유닛으로서, 상기 유닛은,
    중간 백색점 및 그레이 월드 정보에 의거하여 상기 입력 이미지 데이터에 대한 컬러 채널 이득들 및 컬러 채널들 갖는 상기 입력 이미지 데이터에 대해 상기 그레이 월드 정보를 계산하는 회로로서, 상기 회로는,
    상기 이미지 내의 픽셀들의 적어도 하나의 그룹을 선택하고, 상기 픽셀들의 그룹에 대하여,
    상기 픽셀들의 그룹의 각 픽셀의 상기 컬러 채널들의 각각에 대해 색도 값들을 결정하고;
    상기 컬러 채널의 그레이 월드 개요의 색도 값을 결정하기 위하여 각 컬러 채널에 대한 색도 값의 합을 모든 상기 컬러 채널들에 대한 색도 값의 합으로 나누며;
    각 컬러 채널에 대하여, 컬러 채널 이득을 결정하기 위하여 상기 컬러 채널과 다른 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값을 중간 백색점의 대응하는 컬러 채널들의 색도 값들의 합으로 나누는, 회로; 및
    출력 이미지를 생성하기 위하여 상기 입력 이미지 데이터의 각각의 컬러 채널들에 상기 컬러 채널 이득들을 적용하기 위한 회로를 포함하는, 밸런싱 유닛.
  39. 청구항 38에 있어서, 상기 계산을 위한 회로는 미리 정해진 기준에 의거하여 상기 그레이 월드 정보를 계산하는 데 사용되는 상기 픽셀들을 프루닝하도록 더 설정되는, 밸런싱 유닛.
  40. 청구항 39에 있어서, 상기 계산을 위한 회로는 각 컬러 채널에 대한 고 및 저 임계값들의 범위에 의거하여 상기 그레이 월드 정보에 포함하기 위한 색도 값들을 선택하도록 더 설정되는, 밸런싱 유닛.
  41. 청구항 39에 있어서, 상기 계산을 위한 회로는 상기 미리 정해진 기준에 따르는 픽셀들의 총 수가 픽셀들의 총 수의 미리 정해진 백분율인지를 판정하도록 더 설정되는, 밸런싱 유닛.
  42. 청구항 38에 있어서, 상기 계산을 위한 회로는 상기 이미지 센서의 컬러 채널 감도에 대하여 상기 출력 이미지를 미세 조정하도록 시스템 튜닝 파라미터를 사용하도록 더 설정되는, 밸런싱 유닛.
  43. 청구항 38에 있어서, 상기 계산을 위한 회로는 상기 컬러 채널 이득들을 순환적으로 계산하도록 더 설정되는, 밸런싱 유닛.
  44. 청구항 38에 있어서, 상기 계산을 위한 회로는 상기 계산된 컬러 채널 이득들을 정규화하도록 더 설정되는, 밸런싱 유닛.
  45. 청구항 38에 있어서, 상기 계산된 컬러 채널 이득들을 필터링하기 위한 저역 통과 필터를 더 포함하는, 밸런싱 유닛.
  46. 청구항 38에 있어서,
    미리 정해진 수의 컬러 채널 이득들을 저장하기 위한 메모리를 더 포함하고, 상기 적용하기 위한 회로는 상기 미리 정해진 수의 저장된 컬러 채널 이득들을 평균하여 상기 컬러 채널 이득들을 계산하도록 더 설정되는, 밸런싱 유닛.
  47. 이미저 시스템으로서,
    이미지 신호들을 제공하는 픽셀 어레이;
    이미지 신호들을 판독하는 판독 회로; 및
    판독한 이미지 신호들로부터 결정되는 입력 이미지 데이터에 컬러 밸런싱 동작을 실행하는 이미징 장치로서, 상기 장치는 이미지 프로세서를 포함하고, 상기 이미지 프로세서는,
    상기 이미지 내의 픽셀들의 적어도 하나의 그룹을 선택하여 컬러 채널들을 갖는 상기 입력 이미지 데이터에 대해 그레이 월드 정보를 계산하는 것으로서, 상기 픽셀들의 그룹에 대하여,
    상기 픽셀들의 그룹의 각 픽셀들의 상기 컬러 채널들의 각각에 대해 색도 값들을 합하고,
    각 컬러 채널에 대한 상기 합해진 색도 값을 모든 상기 컬러 채널들에 대한 색도 값들의 합으로 나누어 각 컬러 채널에 대한 그레이 월드 개요의 색도 값을 결정하여, 계산하고,
    상기 입력 이미지 데이터의 각 컬러 채널에 대한 컬러 채널 이득들을 계산하는 것으로서, 상기 입력 이미지 데이터의 상기 컬러 채널과 다른 컬러 채널들의 상기 그레이 월드 개요 색도 값들을 중간 백색점의 상기 다른 컬러 채널들의 색도 값들의 합으로 나누어 대응하는 컬러 채널들을 가지는 상기 중간 백색점 및 상기 그레이 월드 정보에 근거하여, 계산하며,
    상기 입력 이미지 데이터의 각각의 컬러 채널들에 상기 컬러 채널 이득들을 적용함으로써 상기 입력 이미지 데이터를 출력 이미지로 변환하도록 설정된, 이미징 장치를 포함하는, 이미저 시스템.
  48. 청구항 47에 있어서, 상기 이미징 장치의 출력을 수신하는 프로세서를 더 포함하는, 이미저 시스템.
  49. 청구항 47에 있어서, 상기 이미지 프로세서는 미리 정해진 기준에 의거하여 상기 그레이 월드 정보를 계산하는데 사용되는 상기 픽셀들을 프루닝하도록 더 설정되는, 이미저 시스템.
  50. 청구항 49에 있어서, 상기 프루닝은 각 컬러 채널에 대한 고 및 저 임계값들의 범위에 의거하여 상기 그레이 월드 정보에 이미지 데이터를 포함할지를 결정하는 것을 더 포함하는, 이미저 시스템.
  51. 청구항 49에 있어서, 상기 프루닝은 상기 미리 정해진 기준에 따르는 픽셀들의 총 수가 픽셀들의 총 수의 미리 정해진 백분율인지를 판정하는 것을 더 포함하는, 이미저 시스템.
  52. 청구항 47에 있어서, 상기 이미지 프로세서는 상기 이미저 시스템의 컬러 채널 감도에 대하여 상기 출력 이미지를 미세 조정하도록 시스템 튜닝 파라미터를 사용하도록 설정되는, 이미저 시스템.
  53. 청구항 47에 있어서, 상기 이미지 프로세서는 상기 컬러 채널 이득들을 순환적으로 계산하도록 더 설정되는, 이미저 시스템.
  54. 청구항 47에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 이미지 프로세서는 아래에 따라 상기 컬러 채널 이득들을 계산하도록 설정되며,
    Figure 112010024811911-pct00034
    여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값들을 나타내며; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 색도 값들을 나타내는, 이미저 시스템.
  55. 청구항 54에 있어서, 상기 이미지 프로세서는 아래와 같이 상기 컬러 채널 이득들을 순환적으로 계산하도록 설정되며,
    Figure 112010024811911-pct00035
    여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 이미저 시스템.
  56. 청구항 47에 있어서, 상기 컬러 채널들은 적색, 녹색, 및 청색 컬러 채널들을 포함하고, 상기 이미지 프로세서는 아래에 따라 상기 컬러 채널 이득들을 계산하도록 설정되며,
    Figure 112010024811911-pct00036
    여기에서, G_GAIN은 상기 녹색 컬러 채널에 대한 컬러 채널 이득이고, R_GAIN은 상기 적색 컬러 채널에 대한 컬러 채널 이득이며, B_GAIN은 상기 청색 컬러 채널에 대한 컬러 채널 이득이고; GW_CR, GW_CB 및 GW_CG는 각각 상기 적색, 청색, 및 녹색 컬러 채널들의 상기 그레이 월드 개요의 상기 색도 값들을 나타내며; G_BIAS는 튜닝 파라미터를 나타내고; N_CR, N_CB 및 N_CG는 각각 상기 중간 백색점의 상기 적색, 청색, 및 녹색 색도 값들을 나타내는, 이미저 시스템.
  57. 청구항 56에 있어서, 상기 이미지 프로세서는 아래와 같이 상기 컬러 채널 이득들을 순환적으로 계산하도록 설정되며,
    Figure 112010024811911-pct00037
    여기에서, G_GAIN'는 상기 녹색 컬러 채널에 대해 재계산된 컬러 채널 이득이고; R_GAIN'는 상기 적색 컬러 채널에 대해 재계산된 컬러 채널 이득이며, B_GAIN'는 상기 청색 컬러 채널에 대해 재계산된 컬러 채널 이득인, 이미저 시스템.
  58. 청구항 47에 있어서, 상기 이미지 프로세서는 상기 계산된 컬러 채널 이득들을 정규화하도록 더 설정되는, 이미저 시스템.
  59. 청구항 58에 있어서, 상기 이미지 프로세서는 아래와 같이 상기 계산된 컬러 채널 이득들을 정규화하도록 설정되는, 이미저 시스템.
    Figure 112010024811911-pct00038
  60. 청구항 47에 있어서, 상기 이미지 프로세서는 상기 계산된 컬러 채널 이득들을 저역 통과 필터링하도록 설정되는, 이미저 시스템.
  61. 청구항 47에 있어서, 상기 이미지 프로세서는,
    미리 정해진 수의 컬러 채널 이득들을 저장하고;
    상기 미리 정해진 수의 저장된 컬러 채널 이득들을 평균하여 상기 컬러 채널 이득들을 계산하도록 설정되는, 이미저 시스템.
  62. 청구항 47에 있어서, 상기 이미징 장치는 비디오 카메라의 부분인, 이미저 시스템.
  63. 청구항 47에 있어서, 상기 입력 이미지 데이터는 RGB 이미지 데이터인, 이미저 시스템.
  64. 청구항 47에 있어서, 상기 입력 이미지 데이터는 아날로그인, 이미저 시스템.
  65. 청구항 47에 있어서, 상기 입력 이미지 데이터는 디지털인, 이미저 시스템.
KR1020087017115A 2005-12-14 2006-12-13 디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법및 장치 KR100993047B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/302,126 US7848569B2 (en) 2005-12-14 2005-12-14 Method and apparatus providing automatic color balancing for digital imaging systems
US11/302,126 2005-12-14

Publications (2)

Publication Number Publication Date
KR20080078064A KR20080078064A (ko) 2008-08-26
KR100993047B1 true KR100993047B1 (ko) 2010-11-08

Family

ID=38139430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087017115A KR100993047B1 (ko) 2005-12-14 2006-12-13 디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법및 장치

Country Status (7)

Country Link
US (3) US7848569B2 (ko)
EP (1) EP1969859B1 (ko)
JP (1) JP4877561B2 (ko)
KR (1) KR100993047B1 (ko)
CN (1) CN101361374B (ko)
TW (1) TWI338513B (ko)
WO (1) WO2007070502A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101708689B1 (ko) * 2015-08-24 2017-02-21 엘지전자 주식회사 홀로그래픽 광학 소자를 구비하는 광학계를 포함하는 헤드 마운티드 디스플레이의 화질 개선 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7733357B2 (en) * 2006-01-13 2010-06-08 Hewlett-Packard Development Company, L.P. Display system
US8041137B2 (en) * 2007-03-06 2011-10-18 Broadcom Corporation Tiled output mode for image sensors
US20080292219A1 (en) * 2007-05-24 2008-11-27 Gary Keall Method And System For An Image Sensor Pipeline On A Mobile Imaging Device
US9058668B2 (en) * 2007-05-24 2015-06-16 Broadcom Corporation Method and system for inserting software processing in a hardware image sensor pipeline
US8013907B2 (en) * 2008-04-08 2011-09-06 Omnivision Technologies, Inc. System and method for adaptive local white balance adjustment
US8165393B2 (en) * 2008-06-05 2012-04-24 Microsoft Corp. High dynamic range texture compression
US20090322777A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Unified texture compression framework
US8238653B2 (en) 2008-07-11 2012-08-07 Silicon Image, Inc. Methods and mechanisms for probabilistic color correction
US20100079503A1 (en) * 2008-09-30 2010-04-01 Texas Instruments Incorporated Color Correction Based on Light Intensity in Imaging Systems
FR2937209B1 (fr) * 2008-10-15 2011-07-22 St Microelectronics Sa Correction de deviation de blanc dans une image captee
US8195054B2 (en) * 2008-11-26 2012-06-05 Samsung Electronics Co., Ltd Apparatus and method for transmitting and receiving an information symbol in a visible light communication system for color code modulation
US8886206B2 (en) 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
US9749607B2 (en) 2009-07-16 2017-08-29 Digimarc Corporation Coordinated illumination and image signal capture for enhanced signal detection
US9137432B2 (en) 2011-09-16 2015-09-15 Samsung Electronics Co., Ltd. Backside illumination image sensor, operating method thereof, image processing system and method of processing image using the same
US9593982B2 (en) 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9621760B2 (en) 2013-06-07 2017-04-11 Digimarc Corporation Information coding and decoding in spectral differences
WO2015077493A1 (en) * 2013-11-20 2015-05-28 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
TWI562636B (en) * 2014-06-16 2016-12-11 Altek Semiconductor Corp Image capture apparatus and image compensating method thereof
US10113910B2 (en) 2014-08-26 2018-10-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US9727941B1 (en) 2014-11-19 2017-08-08 Digimarc Corporation Optimizing optical scanners for digital watermark detection
CN104599241B (zh) * 2014-12-05 2018-04-06 上海交通大学 全自动高效计算的颜色一致性方法
CN109427041B (zh) * 2017-08-25 2021-10-22 中国科学院上海高等研究院 一种图像白平衡方法及系统、存储介质及终端设备
KR20200129458A (ko) 2019-05-08 2020-11-18 삼성전자주식회사 인공 신경망 모델을 트레이닝하는 컴퓨팅 장치, 인공 신경망 모델을 트레이닝하는 방법 및 이를 저장하는 메모리 시스템
CN110532947A (zh) * 2019-08-28 2019-12-03 上海眼控科技股份有限公司 一种用于车检表格的去偏色处理的方法及设备

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2538983B1 (fr) * 1982-12-30 1986-02-07 Guichard Jacques Procede de correction de couleur applicable a la prise de vues video et systeme mettant en oeuvre ce procede
JPH02230869A (ja) * 1989-03-03 1990-09-13 Ricoh Co Ltd ゲインコントロール回路
EP0411911B1 (en) * 1989-08-02 1996-03-27 Canon Kabushiki Kaisha Image processing apparatus
US5442408A (en) 1989-11-17 1995-08-15 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance in response to luminance information signal and color information signal obtained from image sensing device
US5274439A (en) * 1992-03-31 1993-12-28 Panasonic Technologies, Inc. Apparatus for clipping or limiting color signals to maintain color balance
US6351558B1 (en) * 1996-11-13 2002-02-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
US5907629A (en) * 1996-11-15 1999-05-25 Funt; Brian Vicent Method of estimating chromaticity of illumination using neural networks
JP3413589B2 (ja) 1998-03-09 2003-06-03 富士写真フイルム株式会社 画像処理方法および装置
JP3664582B2 (ja) * 1998-03-17 2005-06-29 富士写真フイルム株式会社 ホワイトバランス調整方法および装置
US6628830B1 (en) * 1998-06-24 2003-09-30 Canon Kabushiki Kaisha Image processing method and apparatus and storage medium
US6140630A (en) * 1998-10-14 2000-10-31 Micron Technology, Inc. Vcc pump for CMOS imagers
US6376868B1 (en) * 1999-06-15 2002-04-23 Micron Technology, Inc. Multi-layered gate for a CMOS imager
US6310366B1 (en) * 1999-06-16 2001-10-30 Micron Technology, Inc. Retrograde well structure for a CMOS imager
US6326652B1 (en) * 1999-06-18 2001-12-04 Micron Technology, Inc., CMOS imager with a self-aligned buried contact
US6204524B1 (en) * 1999-07-14 2001-03-20 Micron Technology, Inc. CMOS imager with storage capacitor
US6333205B1 (en) * 1999-08-16 2001-12-25 Micron Technology, Inc. CMOS imager with selectively silicided gates
US6906744B1 (en) 1999-09-28 2005-06-14 Nikon Corporation Electronic camera
ATE279075T1 (de) * 2000-01-12 2004-10-15 Univ East Anglia Farbsignalverarbeitung
JP3706789B2 (ja) * 2000-05-12 2005-10-19 キヤノン株式会社 信号処理装置及び信号処理方法
US6681042B1 (en) * 2000-08-29 2004-01-20 Eastman Kodak Company Digital color image processing method
US6937774B1 (en) * 2000-10-24 2005-08-30 Lockheed Martin Corporation Apparatus and method for efficiently increasing the spatial resolution of images
JP3607654B2 (ja) 2001-09-14 2005-01-05 株式会社東芝 白バランスを得るための照明光の色推定方法および撮像装置
JP4314822B2 (ja) * 2002-02-13 2009-08-19 株式会社ニコン 画像処理装置、画像処理方法、及び画像処理プログラム
EP1337104B1 (en) * 2002-02-19 2014-01-08 FUJIFILM Corporation Method, apparatus, and program for image processing
JP4024057B2 (ja) 2002-03-06 2007-12-19 富士フイルム株式会社 デジタルカメラ
GB0211486D0 (en) * 2002-05-18 2002-06-26 Eastman Kodak Co Processing of digital images
JP4213943B2 (ja) * 2002-07-25 2009-01-28 富士通マイクロエレクトロニクス株式会社 画質を向上させた画像処理回路
US7110598B2 (en) * 2002-08-28 2006-09-19 Micron Technology, Inc. Automatic color constancy for image sensors
JP3794367B2 (ja) * 2002-10-17 2006-07-05 ノーリツ鋼機株式会社 画像処理方法、画像処理装置、写真処理装置、画像処理プログラム、および画像処理プログラムを記録した記録媒体
US7173663B2 (en) * 2002-10-31 2007-02-06 Freescale Semiconductor, Inc. Automatic exposure control system for a digital camera
US7162078B2 (en) * 2002-12-20 2007-01-09 Fast Link Communication Corp. Automatic white balance correction method for image capturing apparatus
US7447374B1 (en) * 2003-01-06 2008-11-04 Apple Inc. Method and apparatus for an intuitive digital image processing system that enhances digital images
US7298892B2 (en) * 2003-04-09 2007-11-20 Eastman Kodak Company Producing a balanced digital color image having minimal color errors
JP2004328564A (ja) 2003-04-28 2004-11-18 Olympus Corp カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ
JP3839429B2 (ja) 2003-09-29 2006-11-01 三菱電機株式会社 撮像処理装置
US7064769B2 (en) * 2003-09-30 2006-06-20 Sharp Laboratories Of America, Inc. Systems and methods for computing the presence of self-luminous elements in an image
US7352895B2 (en) * 2003-09-30 2008-04-01 Sharp Laboratories Of America, Inc. Systems and methods for illuminant model estimation
US7356180B2 (en) * 2003-09-30 2008-04-08 Sharp Laboratories Of America, Inc. Systems and methods for correcting image color balance
KR100513342B1 (ko) 2003-12-03 2005-09-07 삼성전기주식회사 디지털 자동 화이트 밸런스 장치
US7423779B2 (en) * 2004-03-30 2008-09-09 Omnivision Technologies, Inc. Method and apparatus for automatic white balance
JP4471166B2 (ja) 2005-02-28 2010-06-02 パナソニック株式会社 デジタルカメラ
US7480421B2 (en) * 2005-05-23 2009-01-20 Canon Kabushiki Kaisha Rendering of high dynamic range images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101708689B1 (ko) * 2015-08-24 2017-02-21 엘지전자 주식회사 홀로그래픽 광학 소자를 구비하는 광학계를 포함하는 헤드 마운티드 디스플레이의 화질 개선 방법

Also Published As

Publication number Publication date
KR20080078064A (ko) 2008-08-26
WO2007070502A2 (en) 2007-06-21
CN101361374A (zh) 2009-02-04
WO2007070502A8 (en) 2008-07-24
US8401288B2 (en) 2013-03-19
US20070133868A1 (en) 2007-06-14
TW200803537A (en) 2008-01-01
WO2007070502A3 (en) 2007-11-29
US20070133870A1 (en) 2007-06-14
JP4877561B2 (ja) 2012-02-15
JP2009520405A (ja) 2009-05-21
US7848569B2 (en) 2010-12-07
EP1969859B1 (en) 2017-11-15
US20110037873A1 (en) 2011-02-17
EP1969859A2 (en) 2008-09-17
CN101361374B (zh) 2011-09-28
TWI338513B (en) 2011-03-01
US8180150B2 (en) 2012-05-15

Similar Documents

Publication Publication Date Title
KR100993047B1 (ko) 디지털 이미징 시스템에 자동 컬러 밸런싱을 제공하는 방법및 장치
US6995791B2 (en) Automatic white balance for digital imaging
US7236190B2 (en) Digital image processing using white balance and gamma correction
US8130292B2 (en) Scene illumination adaptive lens shading correction for imaging devices
US7750950B2 (en) Image pickup apparatus and image processing method
US7173663B2 (en) Automatic exposure control system for a digital camera
US7102669B2 (en) Digital color image pre-processing
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
US7545412B2 (en) Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion
US20090322901A1 (en) Method and apparatus providing rule-based auto exposure technique preserving scene dynamic range
US20080068477A1 (en) Solid-state imaging device
US20030184673A1 (en) Automatic exposure control for digital imaging
US20020071041A1 (en) Enhanced resolution mode using color image capture device
JP2003116146A (ja) ディジタル・カメラにおける画質向上のための方法
JP2004186879A (ja) 固体撮像装置及びデジタルカメラ
JP4892909B2 (ja) 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP6879268B2 (ja) 色補正装置
Süsstrunk Introduction to Color Processing in Digital Cameras
JPH11122625A (ja) 固体撮像装置およびその信号処理方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20080714

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
AMND Amendment
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20100223

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20100818

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20100223

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20100908

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20100818

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20101022

Appeal identifier: 2010101006920

Request date: 20100908

PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20100908

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20100908

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20100419

Patent event code: PB09011R02I

Comment text: Amendment to Specification, etc.

Patent event date: 20080917

Patent event code: PB09011R02I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20101022

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20101009

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20101102

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20101102

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20131022

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20141021

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20141021

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20151001

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20191023

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20191023

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20221024

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20241015

Start annual number: 15

End annual number: 15