KR100955145B1 - 적응형 자동 화이트 밸런스 - Google Patents

적응형 자동 화이트 밸런스 Download PDF

Info

Publication number
KR100955145B1
KR100955145B1 KR1020087016502A KR20087016502A KR100955145B1 KR 100955145 B1 KR100955145 B1 KR 100955145B1 KR 1020087016502 A KR1020087016502 A KR 1020087016502A KR 20087016502 A KR20087016502 A KR 20087016502A KR 100955145 B1 KR100955145 B1 KR 100955145B1
Authority
KR
South Korea
Prior art keywords
component
gray
latent
light source
image
Prior art date
Application number
KR1020087016502A
Other languages
English (en)
Other versions
KR20080086491A (ko
Inventor
잉 시이 노이스
스제포 로버트 헝
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20080086491A publication Critical patent/KR20080086491A/ko
Application granted granted Critical
Publication of KR100955145B1 publication Critical patent/KR100955145B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

이미징 시스템은 이미지 포맷의 성분에 대한 이득을 생성한다. 이득은 장면의 이미지가 생성되었을 때 장면을 조명하는 광원의 밝기에 적어도 부분적으로 종속된다. 이득은 광원에 의해 발생된 이미지 내의 컬러 쉬프트에 대한 이미지 포맷의 성분을 정정하기 위해 사용될 수 있다. 몇몇 경우들에서, 이미징 시스템은 이미지 포맷의 성분들 모두 또는 이미지 포맷의 다수의 성분들에 대하여 이득을 생성한다. 이득들은 광원에 의해 발생된 이미지 내의 컬러 쉬프트에 대한 성분들을 보정하기 위해 사용될 수 있다.

Description

적응형 자동 화이트 밸런스{ADAPTIVE AUTO WHITE BALANCE}
본 특허 출원은 2005년 12월 8일에 제출된 "가중 벡터들을 가지는 적응형 자동 화이트 밸런스"라는 명칭의 임시 출원 번호 제60/748,732호에 우선권을 청구하며, 상기 임시 출원은 본 출원의 양수인에게 양수되고 본 명세서에서 참조로서 통합된다.
본 발명은 이미징 시스템들에 관한 것이며, 특히 이미지 시스템들 내의 자동 화이트 밸런스에 관한 것이다.
디지털 이미지들은 서로 다른 조명 조건들에서 생성된다. 서로 다른 광원들은 이미지 내에 서로 다른 컬러 쉬프트들을 생성한다. 자동 화이트 밸런스(AWB) 기술들이 컬러 쉬프트에 대한 상기 이미지들을 보정하기 위해 사용되고 있다. AWB 기술들은 일반적으로 이미지에 대한 광원을 식별하기 위해 회색 컬러에 대한 포맷화된 이미지 데이터를 사용한다. 이미지 데이터는 그 후에 식별된 광원과 연관된 컬러 쉬프트에 대하여 보정된다. 그러나, 현재 AWB 기술들은 광원을 식별할 때 혼동될 수 있다. 예컨대, 형광에서 사진이 찍힌 청색 컬러는 태양광에서 사진이 찍힌 회색 컬러와 유사한 컬러 서명(signature)을 갖는다. 결과적으로, 현재의 AWB 기술들은 형광에 의해 조명된 청색의 이미지를 태양광에서 취득된 이미지로 혼동할 수 있다. 따라서, 광원들에 의해 발생된 컬러 쉬프트의 보정시 개선점들이 요구된다.
이미징 시스템은 이미지 포맷의 성분에 대한 이득을 생성한다. 이득은 장면의 이미지가 생성되었을 때 장면을 조명하는 광원의 밝기에 적어도 부분적으로 종속된다. 이득은 광원에 의해 발생된 이미지 내의 컬러 쉬프트에 대한 이미지 포맷의 성분을 정정하기 위해 사용될 수 있다. 몇몇 경우들에서, 이미징 시스템은 이미지 포맷의 성분들 모두 또는 이미지 포맷의 다수의 성분들에 대하여 이득을 생성한다. 이득들은 광원에 의해 발생된 이미지 내의 컬러 쉬프트에 대한 성분들을 보정하기 위해 사용될 수 있다.
시스템의 일 실시예는 모바일 카메라 전화기이다. 상기 전화기는 장면의 이미지가 생성될 때 장면을 조명하는 광원의 밝기를 결정하기 위한 전자 기기를 포함한다. 전화기는 또한 다수의 가중 인자들을 결정하기 위해 밝기를 사용하기 위한 전자 기기들을 포함한다. 각각의 가중 인자는 서로 다른 광원이 이미지가 생성될 때 장면을 조명하는 광원일 가능성을 표시한다. 전화기는 또한 이미지 포맷의 성분에 대하여 가중된 회색 성분을 생성하기 위한 전자 기기를 포함한다. 가중된 회색 성분은 이미지 포맷의 성분이다. 부가적으로, 가중된 회색 성분들은 공지된 광도를 가지는 서로 다른 잠재 광원과 각각 연관되는 잠재 회색 성분들의 가중된 평균이 될 수 있다. 특정 잠재 광원과 연관된 잠재 회색 성분의 값은 상기 성분이 상기 잠재 광원에 의해 조명되는 회색 컬러에 대하여 가지게 되는 값을 표시한다. 가중된 평균에서 잠재 회색 성분들은 상기 잠재 회색 성분과 연관된 잠재 광원이 이미지가 공지된 광도 레벨로 생성된 때 장면을 조명하는 광원이었을 확률을 표시하는 인자에 의해 가중된다. 전화기는 또한 이미지 포맷의 성분에 대한 이득을 생성하기 위해 가중된 회색 성분을 사용하기 위한 전자 기기 및 이미지가 생성된 때 장면을 조명하는 광원에 의해 발생된 이미지 내의 컬러 쉬프트에 대한 성분을 보정하기 위해 이득을 사용하기 위한 전자 기기를 포함한다.
도 1은 이미징 시스템의 블럭 다이어그램이다.
도 2는 도 1의 이미징 시스템을 통한 이미지 데이터의 진행을 도시한다.
도 3은 광 기반의 컬러 쉬프트에 대하여 이미지를 보정하기 위한 이미지 데이터의 처리 방법을 설명하는 흐름도이다.
도 4는 광 기반의 컬러 쉬프트에 대한 이미지를 보정하기 위해 사용될 수 있는 이득들을 생성하는 적절한 방법에 대한 흐름도의 일 예이다.
도 5는 이미징 시스템 내의 이미지 데이터를 처리하기 위한 로직 모듈들을 보여주는 로직 흐름도이다.
이미징 시스템은 이미지 포맷의 하나 또는 그 이상의 성분에 대한 이득을 생성한다. 각각의 이득은 장면의 이미지 내의 컬러 쉬프트에 대한 이미지 포맷의 성분을 보정하기 위해 사용될 수 있다. 컬러 쉬프트는 이득이 취득되었을 때 장면을 조명하였던 광원에 의해 생성될 수 있다. 각각의 이득은 장면을 조명하는 광원의 밝기에 적어도 부분적으로 종속된다. 예컨대, 이미지 데이터의 특정 세트에 대하여 결정된 이득들은 광원의 밝기에 따라 서로 다를 수 있다. 이득들을 생성할 때 밝기를 고려하는 것은 컬러 쉬프트 보정이 정확한 광원에 기초할 가능성을 개선한다. 예컨대, 밝은 이미지들은 광원으로서 태양광을 가지는 외부에서 취득될 가능성이 높고, 덜 밝은 이미지들은 텅스텐 또는 형광 광원의 내부에서 취득될 가능성이 높다. 결과적으로, 밝기는 장면을 조명했던 광원의 표시를 제공한다.
이득들은 서로 다른 광원과 각각 연관된 가중 인자들을 사용하여 생성될 수 있다. 각각의 가중 인자는 연관된 광원이 이미지가 생성되었을 때 장면을 조명하는 광원이었을 확률을 표시한다. 가중 인자들은 각각 장면을 조명하는 광원의 밝기의 함수가 될 수 있다. 결과적으로, 장면을 조명하는 광원의 밝기는 서로 다른 광원과 연관된 가중 인자를 결정하기 위해 사용될 수 있다. 이득들은 다수의 서로 다른 광원들에 대한 데이터의 함수가 될 수 있으며, 상기 경우에 각각의 광원에 대한 데이터는 상기 광원과 연관된 가중치에 의해 가중된다. 따라서, 이득들은 각각의 광원이 이미지가 생성되었을 때 장면을 실제로 조명하는 광원이었을 확률에 의해 가중된 서로 다른 광원들에 대한 데이터로부터 생성될 수 있다.
밝기의 사용은 형광에서 사진 찍힌 청색 컬러와 태양광에서 사진 찍힌 회색 컬러 사이의 혼동을 극복할 수 있다. 예컨대, 장면을 조명하는 광원이 매우 밝았을 때, 시스템은 형광보다 더 높은 가중치를 태양광에 제공할 것이다. 따라서, 이득들은 먼저 태양광을 우세한 광원으로 반영하고, 이미지 데이터는 태양광으로부터 먼저 존재하는 컬러 쉬프트에 대하여 보정될 것이다. 장면을 조명하는 광원이 훨씬 덜 밝았을 때, 시스템은 태양광보다 더 높은 가중치를 형광에 제공할 것이다. 따라서, 이득들은 먼저 형광을 우세한 광원으로 반영하고, 이미지 데이터는 형광으로부터 먼저 존재하는 컬러 쉬프트에 대하여 보정될 것이다.
가중 인자들은 시스템에 간단한 조정 방법을 제시한다. 예컨대, 가중 인자들은 서로 다른 밝기 레벨들에서 서로 다른 광원들의 영향을 조정하도록 변경될 수 있다.
도 1은 이미징 시스템(10)의 블럭 다이어그램이다. 이미징 시스템(10)은 각각 광 센서(16)와 연관된 픽셀들의 어레이(14)를 가지는 이미지 센서(12)를 포함한다. 예컨대, 픽셀들은 컬럼들 및 로우들로 구성되는 2차원 어레이 내에 배열된다. 이미지 센서들의 예들은 CMOS(상보성 금속 산화물 반도체) 센서 칩들 및 CCD(전하 결합 소자) 센서 칩들을 포함하지만 이에 제한되지 않는다.
이미징 시스템은 이미지 센서(12)로부터 이미지 데이터를 수신하도록 구성되는 전자 기기(20)를 포함한다. 이미지 데이터는 장면의 이미지를 나타낸다. 전자 기기(20)는 이미지가 생성되었을 때 장면을 조명한 광원으로부터 발생된 컬러 쉬프트에 대한 이미지 데이터를 보정한다. 전자 기기는 이미지를 재생하기 위해 보정된 이미지 데이터를 사용하며, 그 결과들을 하나 또는 그 이상의 출력 디바이스들(24)에 출력할 수 있다. 적절한 출력 디바이스들(24)은 컴퓨터 시스템들, 프린터들, 송신기들, 인터넷과 같은 네트워크들 및 카메라 디스플레이들, 비디오 전화기 디스플레이들, 비디오 스크린들 및 컴퓨터 스크린들과 같은 디스플레이들을 포함하지만, 이에 제한되지 않는다. 하나 또는 그 이상의 출력 디바이스들(24)은 이미징 시스템(10)의 일부로서 도시되지만, 하나 또는 그 이상의 출력 디바이스들(24)은 이미징 시스템의 외부에 존재할 수 있다.
전자 기기(20)는 메모리(30)와 통신하는 프로세서(28)를 포함한다. 메모리(30)는 이미지들 및 이미지들과 연관된 데이터를 저장하는 것과 같이 판독/기록 동작들에 적합한 임의의 메모리 디바이스 또는 메모리 디바이스들의 결합이 될 수 있다.
프로세서는 보조 전자 기기(32)와 전기적으로 통신한다. 보조 전자 기기(32)는 다른 경우에 전자 기기(20)에 데이터를 제공하고 및/또는 전자 기기(20)로부터 데이터를 수신하는 시스템 내의 전자 기기들이 될 수 있다. 예컨대, 보조 전자 기기(32)는 비디오-프론트-엔드(video-front-end)가 될 수 있다. 몇몇 경우들에서, 보조 전자 기기(32)는 하나 또는 그 이상의 프로세서들 및/또는 하나 또는 그 이상의 메모리들을 포함한다. 전자 기기(20)는 이미지에 관한 데이터에 대하여 보조 전자 기기(32)에 액세스할 수 있다. 예컨대, 전자 기기(20)는 이미지가 생성되었을 때 장면을 조명했던 광원의 밝기에 관한 데이터에 대하여 보조 전자 기기에 액세스할 수 있다. 보조 전자 기기(32)가 전자 기기와 별개인 것으로 도시되지만, 보조 전자 기기와 전자 기기는 통합될 수 있다.
본 발명의 방법 및 장치는 적어도 부분적으로 플로피 디스켓들, CD-ROM들, 하드 드라이브들 랜덤 액세스 또는 판독 전용 메모리 또는 임의의 다른 기계-판독가능한 저장 매체와 같은 유형의 매체 내에 구현된 프로그램 로직 또는 프로그램 코드(즉, 명령들)의 형태를 취할 수 있다. 프로그램 코드가 컴퓨터와 같은 기계로 로딩되어 실행될 때, 기계는 본 발명을 실행하기 위한 장치가 된다. 본 발명의 방법 및 장치는 전기 배선 또는 케이블과 같은 몇몇 전송 매체를 통해, 광섬유를 통해, 무선 인터페이스를 통해 또는 몇몇 다른 형태의 전송을 통해 전송되는 프로그램 코드의 형태로 구현될 수 있다. 프로그램 코드가 프로세서와 같은 기계로 로딩되어 실행될 때, 기계는 본 발명을 실행하기 위한 장치가 된다. 범용 프로세서에서 실행될 때, 프로그램 코드는 프로세서와 결합하여 특정 로직 회로들과 유사하게 동작하는 고유한 장치를 제공한다. 몇몇 경우들에서, 전자 기기는 프로세서(28)와 통신하는 컴퓨터-판독가능 매체(34)를 포함한다. 컴퓨터-판독가능 매체는 프로세서에 의해 실행될 명령들의 세트를 가질 수 있다. 컴퓨터-판독가능 매체(34)가 메모리(30)와 서로 다른 것으로 도시되지만, 컴퓨터-판독가능 매체(34)는 메모리(30)와 동일할 수 있다.
적절한 프로세서(28)는 범용 프로세서, 디지털 신호 프로세서(DSP), 애플리케이션용 집적 회로(ASIC), 현장 프로그래밍 가능한 게이트 어레이(FPGA) 또는 다른 프로그래밍 가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 성분들 또는 본 명세서에 개시된 기능들을 수행하도록 설계된 이들의 조합을 포함하지만, 이에 제한되지 않는다. 범용 프로세서는 마이크로 프로세서일 수 있지만, 선택적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기 또는 상태 기계가 될 수 있다. 프로세서는 또한 예컨대 DSP 및 마이크로 프로세서의 조합, 다수의 마이크로 프로세서들, DSP 코어와 결합된 하나 또는 그 이상의 마이크로 프로세서들의 임의의 다른 구성으로 구현될 수 있다.
적절한 컴퓨터-판독가능 매체(34)는 CD들, 자기 저장 디스켓, Zip 디스크들, 자기 테이프들, RAM들, 및 ROM들과 같은 광학 디스크들을 포함하지만 이에 제한되지 않는다. 몇몇 경우들에서, 컴퓨터-판독가능 매체(34)는 이미징 시스템의 외부에 위치된다. 예컨대, 컴퓨터-판독가능 매체는 컴퓨터 네트워크를 통해 서버 컴퓨터에 접속될 수 있다. 몇몇 경우들에서, 컴퓨터-판독가능 매체(34)는 요구되지 않는다.
적절한 이미징 시스템(10)의 예들은 디지털 카메라들, 비디오 카메라들, 모바일 카메라 전화기들, 의학 이미징 디바이스들을 포함하지만 이에 제한되지 않는다. 이미징 시스템은 또한 이미지 데이터를 저장하도록 구성된 컴퓨터 시스템이 될 수 있다. 적절한 컴퓨터 시스템들의 예들은 개인 컴퓨터들 및 서버들을 포함하지만, 이에 제한되지 않는다. 몇몇 경우들에서, 이미징 시스템은 이미지 센서를 포함하지 않는다. 예컨대, 이미징 시스템이 컴퓨터 시스템일 때, 이미지 센서는 이미징 시스템 내에 포함되어야할 필요가 없다. 이미지 센서가 이미징 시스템 내에 포함되지 않을 때, 이미지 센서는 이미징 시스템과 무관할 수 있지만, 센서 값들을 수신하도록 하기 위해 이미징 시스템과 통신하도록 배치될 수 있다.
도 2는 도 1의 이미징 시스템과 같은 이미징 시스템을 통한 이미지 데이터의 진행을 도시한다. 이미지 데이터는 RGB 포맷 또는 YCbCr 포맷과 같은 이미지 포맷 으로 존재할 수 있다. 이미지 포맷들은 서로 다른 성분들을 포함한다. 예컨대, RGB 포맷은 R 성분, G 성분 및 B 성분을 포함하는 반면, YCbCr 이미지 포맷은 Y 성분, Cb 성분 및 Cr 성분을 포함한다. 대부분의 경우들에서, 이미지 포맷의 성분들 각각은 이미지의 광학 특성을 표시한다. 예컨대, RGB 포맷에서, R 성분은 픽셀의 적색 성분을 표시하고, G 성분은 픽셀의 녹색 성분을 표시하며, B 성분은 픽셀의 청색 성분을 표시한다. YCbCr 포맷에서, Y는 픽셀의 발광 성분을 표시하는 반면, Cb 및 Cr은 각각 픽셀의 색도 성분들을 표시한다. 결과적으로, 이미지 성분들의 세트는 일반적으로 픽셀의 광학 특징들을 나타낸다. 그러나, 전자 기기들은 개별 픽셀과는 다른 아이템들을 나타내기 위해 이미지 포맷들의 성분들을 사용한다. 예컨대, 다수 픽셀들을 포함하는 영역의 광학 특성들은 이미지 포맷의 성분들을 사용하여 나타낼 수 있다. 결과적으로 이미지 영역은 R 성분(Rreg), G 성분(Greg) 및 B 성분(Breg)을 사용하여 나타낼 수 있다.
이미지의 발생 동안, 전자 기기들은 이미지 센서로부터 이미지 데이터를 수신한다. 전자 기기들은 메모리 내에 이미지 데이터를 저장할 수 있다. 이미지 데이터는 RGB 포맷과 같은 초기 포맷으로 존재할 수 있다. 설명을 위해, 도 2는 RGB 포맷의 이미지 데이터에서 시작한다. 전자 기기들은 로우(raw) 데이터 포맷을 회색 픽셀 식별 포맷으로 변환할 수 있다. 전자 기기들은 회색 픽셀들을 잠정적으로 식별하기 위해 회색 픽셀 식별 포맷의 이미지 데이터를 사용한다. 결과적으로, 식별 포맷은 회색 픽셀들을 식별하는데 있어서 초기 포맷보다 더 적합할 수 있다. 초기 포맷이 회색 픽셀들을 잠정적으로 식별하는데 적합한 경우들에서, 이미지 데이터의 초기 포맷으로부터 식별 포맷으로의 변환은 수행되어야할 필요가 없을 수 있다. 결과적으로, 이미지 데이터의 초기 포맷으로부터 식별 포맷으로의 변환은 선택적이다. 적절한 식별 포맷은 YCbCr 포맷을 포함하지만, 이에 제한되지 않는 다. 도 2는 YCbCr 포맷의 이미지 데이터로 변환된 초기 RGB 포맷의 이미지 데이터를 도시한다.
전자 기기들은 회색 픽셀들을 잠정적으로 식별하기 위해 회색 식별 포맷의 이미지 성분들을 사용한다. 예컨대, 전자 기기들은 픽셀이 잠정적으로 회색 픽셀인지 결정하기 위해 하나의 픽셀에 대한 식별 포맷의 하나 또는 그 이상의 성분들을 하나 또는 그 이상의 기준과 비교할 수 있다. 식별 포맷이 YCbCr 포맷일 때, 전자 기기들은 범위 내에서 Y 값을 가지는 픽셀들을 선택할 수 있다. Y에 대한 값들의 범위는 너무 어둡거나 너무 밝은 픽셀들이 잠정적으로 회색 픽셀들의 풀(pool)로부터 제거되도록 형성될 수 있다. 전자 기기들은 그 후에 각각 Cr 및/또는 Cb의 함수이고 하나 또는 그 이상의 기준을 만족하는 선택된 픽셀들을 식별할 수 있다. 식별된 픽셀들은 잠정적으로 회색 픽셀들로 제공된다. 회색 픽셀을 식별하기 위한 적절한 기준은 식들로 표현될 수 있다. 예컨대, 하기의 6개 식들을 만족하는 YCbCr 성분들은 잠정적으로 회색 픽셀들로 고려될 수 있다.
식 1: Y ≤ Ymax.
식 2: Y ≥ Ymin.
식 3: Cb ≤ m1*Cr + c1.
식 4: Cr ≥ m2*Cb + c2.
식 5: Cb ≥ m3*Cr + c3.
식 6: Cr ≤ m4*Cb + c4.
상수들 m1, m2, m3, m4, c1, c2, c3, c4은 잠정적으로 회색 픽셀들의 정확한 선택을 조장하면서 하나 또는 그 이상의 잠정적으로 회색 픽셀들이 실제로 거의 모든 이미지들에 대하여 식별될 수 있게 조장하도록 선택될 수 있다. 설명을 위해, 도 2의 다이어그램 A는 이미지 내의 픽셀들의 일부분을 도시한다. 식 1 내지 식 6은 별개의 식들인 것으로 설명되지만, 이러한 식들은 결합될 수 있다. 예컨대, 식 1 및 식 2는 Ymin ≤ Y ≤ Ymax로 표현될 수 있다.
몇몇 경우들에서, 픽셀들의 일부분은 그들이 잠정적으로 회색 픽셀들인지 식별하기 위해 처리된다. 더 큰 이미지들 또는 대량의 데이터를 가지는 이미지들에서, 처리 시간은 픽셀들 전부 보다 적게 샘플링함으로써 감소될 수 있다. 예컨대, 수평 및/또는 수직 방향의 모든 다른 픽셀들은 회색 픽셀인지 알기 위해 테스트될 수 있다.
전자 기기들은 이미지를 영역들 또는 블럭들로 분할할 수 있다. 예컨대, 도 2의 다이어그램 B는 영역들로 분할된 이미지의 일부분을 도시한다. 각각의 영역은 다수의 픽셀들을 포함할 수 있다. 예컨대, 도 2의 다이어그램 A은 도 2의 다이어그램 B 내의 영역들 중 하나로서 제공될 수 있다. 일 예에서, 각각의 영역은 (픽셀들 내의 이미지 폭/16) 픽셀들 대 (픽셀들 내의 이미지 높이/16) 픽셀들 을 포함하며, 또 다른 예에서, 각각의 영역은 (픽셀들 내의 이미지 폭/8) 픽셀들 대 (픽셀들 내의 이미지 높이/8) 픽셀들을 포함한다. 또 다른 예에서, 각각의 영역은 단일 픽셀을 포함한다. 따라서, 하기의 설명은 개별 픽셀을 표시하는 각각의 영역을 사용하여 수행될 수 있다.
전자 기기들은 잠정적으로 회색 픽셀들을 포함하는 각각의 영역에 대한 영역 성분들을 결정할 수 있다. 각각의 영역 성분은 식별 포맷의 성분에 상응할 수 있다. 예컨대, 영역 성분들은 식별 포맷으로 존재할 수 있다. 결과적으로, 영역 성분들은 식별 포맷의 성분들과 동일할 수 있다. 일 예로서, 식별 포맷이 YCbCr 포맷일 때, 영역 성분들은 영역 Y 성분(Yreg), 영역 Cb 성분(Cbreg), 및 영역 Cr 성분(Crreg)을 포함할 수 있다. 따라서, 영역 Y 성분(Yreg)은 식별 포맷의 Y 성분에 상응하고, 영역 Cb 성분(Cbreg)은 식별 포맷의 Cb 성분에 상응하고, 및 영역 Cr 성분(Crreg)은 식별 포맷의 Cr 성분에 상응한다.
각각의 영역 성분은 각각 영역 내의 잠정적으로 회색 픽셀들에 대한 상응하는 성분을 표시하도록 생성될 수 있다. 예컨대, 전자 기기들은 영역 내의 잠정적으로 회색 픽셀들에 대한 Y 값들을 평균함으로써 영역에 대한 영역 Y 성분(Yreg)을 생성하고, 영역 내의 잠정적으로 회색 픽셀들에 대한 Cb 값들을 평균함으로써 영역에 대한 영역 Cb 성분(Cbreg)을 생성하고, 영역 내의 잠정적으로 회색 픽셀들에 대한 Cr 값들을 평균함으로써 영역에 대한 영역 Cr 성분(Crreg)을 생성한다. 선택적으로, 전자 기기들은 영역 내의 잠정적으로 회색 픽셀들에 대한 Y값의 중간값(median)을 영역 Y 성분(Yreg)으로 사용하고, 영역 내의 잠정적으로 회색 픽셀들에 대한 Cb값의 중간값을 영역 Cb 성분(Cbreg)으로 사용하고, 영역 내의 잠정적으로 회색 픽셀들에 대한 Cr값의 중간값을 영역 Cr 성분(Crreg)으로 사용한다. 영역들의 일부는 임의의 회색 픽셀들을 포함할 수 없기 때문에, 영역들의 적어도 일부분은 각각 영역 성분들과 연관된다.
전자 기기들은 영역 성분들을 식별 포맷으로부터 비교 포맷으로 변환할 수 있다. 전자 기기들은 영역 성분들과 연관된 영역들의 각각이 회색 영역인지 결정하기 위해 비교 포맷을 사용한다. 결과적으로, 비교 포맷은 회색 영역들을 식별하기에 식별 포맷보다 더 적합할 수 있다. 도 2에 도시된 예에서, 전자 기기들은 RGB와 YCbCr 포맷들 사이에서 컨벌루션 변환을 사용하여 YCbCr 포맷의 영역 성분들을 RGB 포맷의 영역 성분들로 변환한다. 변환으로 인해 영역 R 성분(Rreg), 영역 G 성분(Greg) 및 영역 B 성분(Breg)이 발생한다. 몇몇 경우들에서, 식별 포맷은 비교 포맷으로 사용하기에 적합하다. 결과적으로, 영역 성분들의 식별 포맷으로부터 비교 포맷으로의 변환은 필요하지 않을 수 있다. 또한, 비교 포맷은 초기 포맷과 동일할 수 있다. 예컨대, 초기 포맷 및 비교 포맷 모두는 도 2에 도시된 것과 같이 RGB 포맷이 될 수 있다.
전자 기기들은 서로 다른 광원들에 대한 참조 데이터와 영역 성분들을 비교할 수 있다. 서로 다른 광원들의 예는 백열 광원들, 할로겐 광원들, 텅스텐 광원들, 형광 광원들, 하루의 서로 다른 시간에서 태양광 및/또는 서로 다른 환경들에서 태양광을 포함하지만 이에 제한되지 않는다. 광원은 태양광 및 형광의 조합과 같은 광원들의 조합이 될 수 있다. 참조 데이터는 메모리 내에 저장될 수 있다. 참조 데이터는 메모리 내에 저장될 수 있다.
참조 데이터는 각각의 광원과 연관된 참조 성분들을 포함할 수 있다. 각각의 참조 성분은 비교 포맷의 성분에 상응할 수 있다. 예컨대, 참조 성분들은 비교 포맷으로 존재할 수 있다. 결과적으로, 참조 성분들은 비교 포맷이 성분들과 동일할 수 있다. 일 예로서, 비교 포맷이 RGB 포맷일 때, 참조 성분들은 참조 R 성분(Rref), 참조 G 성분(Gref) 및 참조 B 성분(Bref)을 포함할 수 있다. 따라서, 참조 R 성분(Rref)은 비교 포맷의 R 성분에 상응하고, 참조 G 성분(Gref)은 비교 포맷이 G 성분에 상응하며, 참조 B 성분(Bref)은 비교 포맷의 B 성분에 상응한다. 광원에 대한 참조 성분들은 상기 광원에 의해 조명될 때 회색 컬러가 나타나는 것을 표시한다. 따라서, 광원에 대한 참조 성분들은 상기 광원에 의해 조명될 때 회색 컬러의 광학 특성을 나타낸다.
참조 데이터는 참조 데이터가 요구되는 광원에 의해 각각의 이미지가 조명되는 회색 장면의 이미지들을 생성함으로써 생성될 수 있다. 회색 장면은 균일하게 조명되는 단조로운 필드가 될 수 있다. 몇몇 경우들에서, 하나 이상의 이미지는 동일한 광원에 대하여 생성될 수 있다. 이미지들은 비교 포맷 내에서 생성되거나 비교 포맷으로 변환될 수 있다. 이미지에 대한 비교 포맷은 광원에 의해 조명되는 회색 컬러를 표시하는 참조 성분들을 식별하도록 처리된다. 예컨대, 광원에 대한 참조 R 값은 광원에 의해 조명되는 하나 또는 그 이상의 이미지 내의 서로 다른 픽셀들에 대한 R 값들의 평균이 될 수 있다. 선택적으로, 광원에 대한 참조 R 값은 광원에 의해 조명되는 하나 또는 그 이상의 이미지 내의 서로 다른 픽셀들에 대한 R 값들의 중간값이 될 수 있다.
영역 성분들은 회색 영역들을 식별하기 위해 참조 성분들과 비교된다. 비교는 비교 포맷 공간 내의 서로 다른 포인트들 사이의 거리를 사용할 수 있다. RGB는 컬러 포맷이다. 결과적으로, 비교 포맷이 RGB 포맷이면, 비교 포맷 공간은 RGB 컬러 공간이다. 따라서, 비교 포맷이 RGB 포맷일 때, 비교는 RGB 컬러 공간 내의 서로 다른 포인트들 사이의 거리를 사용할 수 있다.
도 2의 다이어그램 C는 B/G를 표시하는 x-축과 R/G를 표시하는 y-축을 가지는 RGB 컬러 공간을 도시하는 2차원 다이어그램이다. 참조 포인트는 P1ref로 표시된 짙은(solid) 원으로 도시된다. 참조 포인트는 RGB 컬러 공간 내에 광원들 중 하나에 대한 차조 성분들의 위치를 도시한다. 예컨대, P1ref로 표시된 참조 포인트는 형광 광원과 연관된 Rref, Gref, Bref에 위치될 수 있다. 영역 포인트들은 빈(hollow) 원들로 도시된다. 영역 포인트는 비교 포맷 공간 내에 영역의 위치를 도시한다. 예컨대, P1reg로 표시된 영역 포인트는 도 2의 다이어그램 B에 도시된 영역들 중 하나와 연관된 Rreg, Greg, Breg로부터 결정된 것과 같이 (Rreg/Greg, Breg/Greg)에 위치될 수 있다. 도 2의 다이어그램 C가 2차원 다이어그램을 도시하지만, 비교 포맷 공간은 2차원 이상으로 표현될 수 있다. 예컨대, RGB 컬러 공간은 R 성분을 표시하는 x-축 및 G 성분을 표시하는 y-축 및 B 성분을 표시하는 z-축을 가지는 3차원이 될 수 있다.
참조 데이터는 광원들의 각각과 연관된 거리 제한을 포함할 수 있다. 몇몇 경우들에서, 거리 제한은 광원의 각각에 대하여 동일하다. 거리 제한들은 메모리 내에 저장될 수 있다. 몇몇 경우들에서, 거리 제한들은 참조 데이터 내에 포함된다.
전자 기기들은 영역 포인트와 영역 포인트들의 각각에 대한 최인접 참조 포인트 사이의 거리를 결정할 수 있다. 미리 결정된 거리들은 각각 비교 거리로서 제공된다. 하나의 영역에 대한 비교 거리는 최인접 참조 포인트와 연관된 거리 제한과 비교될 수 있다. 비교 거리가 거리 제한치 미만일 때, 상기 영역 포인트와 연관된 영역은 회색 영역으로 분류되고, 영역 포인트에 대한 영역 데이터는 향후 계산들을 위해 유지된다. 비교 거리가 거리 제한치를 초과할 때, 상기 영역 포인트와 연관된 영역은 회색 영역으로 제공되지 않고, 상기 영역 포인트에 대한 영역 데이터는 향후 계산들로부터 보류될 수 있다. 회색 영역들을 식별하는 프로세스는 영역 포인트들 각각에 대하여 반복될 수 있다.
회색 영역들을 식별하는 프로세스는 참조 포인트들의 각각에서 하나의 원을 중심으로 하고, 원의 외부에 위치된 영역 포인트들을 제외하는 것으로 도시될 수 있다. 특정 참조 포인트 주변의 원의 직경은 상기 참조 포인트와 연관된 거리 제한치와 동일하다. 설명을 위해, 도 2의 다이어그램 C는 P1ref로 표시된 참조 포인트를 중심으로 하는 원을 포함한다. 원 외부의 영역 포인트들은 삭제될 수 있다. 예컨대, P2reg로 표시된 영역 포인트는 원 외부에 있고, 추가 계산들로부터 제외될 수 있다.
회색 영역들을 식별하는 프로세스는 제 2 필터로 제공될 수 있고, 잠정적으로 회색 픽셀들을 식별하기 위한 프로세스는 제 1 필터로서 제공될 수 있다. 제 2 필터 프로세스는 영역 성분들이 실제로 회색 픽셀들을 포함하는 영역들을 위한 것임을 보장하는 것을 지원할 수 있다. 예컨대, 제 1 필터 프로세스는 어떤 녹색 픽셀들 및 어떤 황색 픽셀들이 잠정적으로 회색 픽셀들인 것으로 잘못 식별할 수 있다. 제 2 필터 프로세스가 영역 성분들이 거의 회색 컬러에 대한 참조 성분들일 것을 요구하기 때문에, 제 2 필터 프로세스는 잘못 식별된 잠정적으로 회색 픽셀들을 포함하는 영역들을 제거할 수 있다.
전자 기기들은 잠정적인 광원들을 식별하기 위해 회색 영역들을 사용한다. 예컨대, 전자 기기들은 참조 포인트 주변의 영역 포인트들의 집단들을 식별할 수 있다. 도 2의 다이어그램 C와 관련하여 언급된 것과 같이, 참조 포인트와 연관된 거리 제한치는 비교 포맷 공간 내에서 참조 포인트 주변의 원으로 도시될 수 있다. 원 내의 영역 포인트들은 영역 포인트들의 집단에 속한다. 서로 다른 원들 내의 영역 포인트들은 서로 다른 집단들에 속한다. 몇몇 경우들에서, 영역 포인트는 2개의 서로 다른 집단들과 연관된 원들 내에 놓일 수 있고, 어떤 집단에 영역 포인트가 속하는지는 명확하지 않을 수 있다. 상기 경우들에서, 영역 포인트는 상기 영역 포인트에 인접한 참조 포인트와 연관된 집단에 속하는 것으로 지정될 수 있다. 도 2의 다이어그램 C는 A로 표시된 집단과 B로 표시된 집단을 도시한다. 집단 내의 회색 영역들은 각각 회색 영역들이 주변에 군집되는 참조 포인트와 연관된다. 각각의 참조 포인트가 광원과 연관되기 때문에, 각각의 회색 영역은 광원과 연관된다. 광원과 연관된 회색 영역들의 수는 임계치와 비교될 수 있다. 임계치를 초과하는 다수의 회색 영역들과 연관된 광원들은 이미지가 취득된 시간에 장면을 조명하는 실제 광원이었던 잠정적인 광원으로서 분류된다. 예컨대, 다이어그램 C에 도시된 이미지는 A로 표시된 집단 내의 회색 영역들과 연관된 광원에 의해 조명될 수 있고 및/또는 B로 표시된 집단 내의 회색 영역들과 연관된 광원에 의해 조명될 수 있다. 몇몇 경우들에서, 하나 또는 그 이상의 광원들은 회색 영역들의 임계치 미만이거나 동일한 다수의 회색 영역들과 연관될 것이다. 상기 광원들은 잠정적인 광원들로 분류되지 않을 것이다. 잠정적인 광원으로 분류될 상기 광원에 대한 광원과 연관되어야 하는 회색 영역들의 임계치는 0, 1, 및/또는 1 이상이 될 수 있다.
전자 기기들은 잠정적인 광원들의 각각에 대하여 잠정적인 회색 성분들을 생성한다. 각각의 잠정적인 회색 성분은 비교 포맷의 성분에 상응할 수 있다. 따라서, 잠정적인 회색 성분들은 비교 포맷이 성분들과 동일할 수 있다. 일 예로서, 비교 포맷이 RGB 포맷일 때, 잠정적인 회색 성분들은 잠정적인 회색 R 성분(Rss), 잠정적인 회색 G 성분(Gss), 및 잠정적인 회색 B 성분(Bss)을 포함할 수 있다. 따라 서, 잠정적인 회색 R 성분(Rss)은 비교 포맷의 R 성분에 상응하고, 잠정적인 회색 G 성분(Gss)은 비교 포맷의 G 성분에 상응하며, 잠정적인 회색 B 성분(Bss)은 비교 포맷의 B 성분에 상응한다.
특정 잠정적인 광원에 대한 잠정적인 회색 성분들의 값들은 포맷 성분들이 잠정적인 광원에 의해 조명될 때 회색 컬러에 대하여 가질 값들의 근사치이다. 따라서, 전자 기기들은 잠정적인 광원과 연관된 회색 영역들에 대한 광학 특성들을 특징짓도록 특정 잠정적인 광원에 대한 잠정적인 회색 성분들을 생성한다. 결과적으로, 잠정적인 광원에 대한 잠정적인 회색 성분들은 상기 잠정적인 광원과 연관된 회색 영역들에 대한 영역 성분들의 함수가 될 수 있다. 예컨대, 잠정적인 광원에 대한 잠정적인 회색 성분은 잠정적인 광원과 연관된 회색 영역들에 대한 상응하는 영역 성분들의 평균이 될 수 있다. 일 예로서, 잠정적인 광원에 대한 Rss는 상기 광원과 연관된 Rreg의 평균이 될 수 있다. 선택적으로, 잠정적인 광원에 대한 잠정적인 회색 성분은 상기 잠정적인 광원과 연관된 회색 영역들에 대한 상응하는 영역 성분들의 중간값이 될 수 있다.
전자 기기들은 가중된 회색 성분들을 결정하기 위해 잠정적인 회색 성분들을 사용한다. 각각의 가중된 회색 성분은 비교 포맷의 성분에 상응할 수 있다. 가중된 회색 성분들은 비교 포맷의 성분들과 동일할 수 있다. 일 예로서, 비교 포맷이 RGB 포맷일 때, 가중된 회색 성분들은 가중된 R 성분(Rw), 가중된 G 성분(Gw), 및 가중된 B 성분(Bw)을 포함할 수 있다. 따라서, 가중된 R 성분(Rw)은 비교 포맷의 R 성분에 상응하고, 가중된 G 성분(Gw)은 비교 포맷의 G 성분에 상응하며, 가중된 B 성분(Bw)은 비교 포맷의 B 성분에 상응한다.
전자 기기들은 또한 가중된 회색 성분들을 결정하기 위해 가중 인자들을 사용한다. 잠정적인 광원들 각각은 가중 인자와 연관될 수 있다. 가중 인자들은 상기 인자와 연관된 잠정적인 광원이 상기 장면의 이미지가 생성되었을 때 상기 장면을 조명하는 광원이었을 확률을 표시할 수 있다. 예컨대, 가중 인자는 이미지에 대한 실제 광원이 텅스텐 광원인지 또는 태양광인지의 상대적인 가능성을 표시할 수 있다.
광원과 연관된 가중 인자는 장면의 이미지가 취득되었을 때 장면을 조명하는 광원의 밝기에 적어도 부분적으로 종속될 수 있다. 예컨대 테이블 1은 서로 다른 밝기 레벨들에 대하여 가능한 가중 인자들을 표시한다. 높은 밝기 레벨들에서, 태양광에 대한 가중 인자들은 텅스텐 광원 및/또는 형광 광원들에 대한 가중 인자들보다 더 높다. 상기 가중은 매우 밝은 이미지들이 외부에서 취득될 확률이 증가되는 것을 반영한다. 예컨대, 태양광을 200으로 가중하고, 텅스텐 광원을 1로 가중하는 것은 이미지가 태양광에 의해 조명되는 확률이 이미지가 텅스텐 광원에 의해 조명되는 확률의 200배임을 표시한다. 낮은 밝기 레벨들에서, 태양광에 대한 가중 인자들은 텅스텐 광원 및/또는 백열 광원들에 대한 가중 인자들보다 낮다. 상기 가중은 조광기(dimmer) 환경에서 생성된 이미지들이 내부에서 취득될 확률이 증가되는 것을 반영한다. 예컨대, 태양광을 1로 가중하고 텅스텐 광원을 2로 가중하는 것은 이미지가 태양광에 의해 조명되는 확률이 이미지가 텅스텐 광원에 의해 조명되는 확률의 1/2인 것을 표시한다. 따라서, 가중 인자들은 이미지가 잠정적인 광원들 중 특정 광원에 의해 조명되는 확률을 표시한다.
광원/밝기 낮은 밝기 높은 밝기 중간 범위 밝기
제 1 조건에서 태양광 1 200 30
제 2 조건에서 태양광 1 200 30
텅스텐 2 1 1
백열 10 15 5
형광의 제 1 샘플 6 10 3
테이블 1
밝기에 적어도 부분적으로 종속되는 가중 인자와 각각의 광원을 연관시키는 데이터는 메모리 내에 저장될 수 있다. 몇몇 경우들에서, 각각의 광원을 가중 인자와 연관시키는 데이터는 참조 데이터와 함께 포함된다. 예컨대, 참조 데이터는 테이블 1에 제시된 데이터와 같은 데이터를 포함하는 룩-업 테이블을 포함할 수 있다.
전자 기기들은 자동-노출 제어 로직으로부터 이미지 밝기를 결정할 수 있다. 자동-노출 제어 로직은 도 1에 개시된 제 2 전자 기기들 내에 포함된다. 카메라들과 같은 다수의 이미징 디바이스들은 비디오 프론트-엔드(VFE) 내의 제 2 전자 기기들을 포함한다. 전자 기기들은 각각의 광원을 밝기에 적어도 부분적으로 종속되는 가중 인자와 연관시키는 데이터와 밝기를 비교함으로써 각각의 잠정적인 광원에 대한 가중 인자를 결정할 수 있다. 예컨대, 전자 기기들은 제 1 조건에서 태양광에 대한 가중 인자가 1인 것을 결정하기 위해 테이블 1 내의 데이터와 낮은 밝기를 비교할 수 있다. 가중 인자들을 결정할 때, 전자 기기들은 실제로 밝기를 사용하는 것이 아니라 밝기를 표시하거나 밝기와 연관된 다른 변수들 및/또는 신호들을 사용할 수 있다.
전자 기기들은 가중된 회색 성분들을 생성하기 위해 가중치들 및 잠정적인 회색 성분들을 사용한다. 가중된 회색 성분들은 각각 비교 포맷의 성분에 상응할 수 있다. 일 예로서, 비교 포맷이 RGB 포맷일 때, 가중된 회색 성분들은 가중된 R 성분(Rw), 가중된 G 성분(Gw) 및 가중된 B 성분(Bw)을 포함할 수 있다.
가중된 회색 성분들은 각각의 잠정적인 회색 성분과 연관된 광원이 이미지에 대한 실제 광원이었을 확률에 의해 가중된 하나 또는 그 이상의 광원들과 연관된 잠정적인 회색 성분들을 표시한다. 결과적으로, 가중된 회색 성분들은 이미지 내의 회색 픽셀들에 속하는 성분들의 근사치이다.
전자 기기들은 상응하는 잠정적인 회색 성분들의 가중된 평균을 생성함으로써 가중된 회색 성분들을 생성할 수 있다. 가중된 평균 내에서 각각의 잠정적인 회색 성분은 잠정적인 회색 성분과 연관된 잠정적인 광원이 이미지가 생성되었을 때 장면을 조명하는 광원인 확률을 표시하는 인자에 의해 가중될 수 있다. 일 예로서, A라 표시된 집단과 연관된 광원에 대한 잠정적인 회색 R 성분은 Rss,A로 지정될 수 있고, B라 표시된 집단과 연관된 광원에 대한 잠정적인 회색 R 성분은 Rss,B로 지정될 수 있고, A라 표시된 집단과 연관된 광원에 대한 가중 인자는 WA로 지정될 수 있고, B라 표시된 집단과 연관된 광원에 대한 가중 인자는 WB로 지정될 수 있다. 상기 지정들을 사용하여, 가중된 R 성분(Rw)은 Rw = (WA*Rss,A + WBRss,B)/(WA + WB)로 결정될 수 있다. 결과적으로, 가중된 회색 성분들은 가중 인자들 및 잠정적인 회색 성분들의 함수이다.
전자 기기들은 비교 포맷의 성분들에 대한 이득들을 결정하기 위해 가중된 회색 성분들을 사용한다. 이득들은 각각 비교 포맷의 성분에 상응할 수 있다. 일 예로서, 비교 포맷이 RGB 포맷일 때, 이득들은 R 성분에 대한 이득(GR), G 성분에 대한 이득(GG), B 성분에 대한 이득(GB)을 포함할 수 있다.
RGB 포맷에서, R 성분, G 성분 및 B 성분은 회색 컬러들에 대하여 동일하다. 회색 컬러들에 대한 R, G, B 성분들을 각각 1로 세팅하기 위해, 전자 기기들은 예비 적색 이득(PGR)을 1/Rw로 결정하고, 예비 녹색 이득(PGG)을 1/Gw로 결정하고, 예비 청색 이득(PGB)을 1/Bw로 결정할 수 있다. 전자 기기들은 PGR, PGG, PGB의 값들을 PGR, PGG, PGB의 그룹 내의 최저값에 의해 정규화하고, 따라서 적색 이득 GR, 녹색 이득 GG, 청색 이득 GB을 제공한다. 이득들은 가중 인자들의 함수인 가중된 회색 성분들로부터 결정되기 때문에, 이득들은 가중 인자들의 함수이다. 이득들이 가중 인자들의 함수이고, 가중 인자들은 장면을 조명하는 광원의 밝기에 적어도 부분적으로 종속되기 때문에, 이득들은 이미지의 밝기에 적어도 부분적으로 종속된다. 예컨대, 포맷화된 이미지 데이터의 세트에 대하여 결정된 이득들은 이미지가 생성되었을 때 장면을 조명하는 광원의 밝기에 따라 서로 다를 수 있다.
이미지 성분 이득들은 컬러-쉬프트에 기초하여 광원에 대한 이미지를 보정하는데 사용될 수 있다. 예컨대, 이미지 데이터가 비교 포맷과 동일한 포맷에서 사용가능할 때, 이미지 데이터의 성분들은 컬러 쉬프트에 기초하여 광원에 대한 이미지를 보정하기 위해 상응하는 이득이 곱해진다. 예컨대, 이미지 데이터가 RGB 포맷에서 사용 가능하고, 비교 포맷이 RGB 포맷일 때, 보정된 이미지 데이터는 이미지 데이터 내의 R 값들에 적색 이득을 곱하고, 이미지 데이터 내의 G 값들에 녹색 이득을 곱하고, 이미지 데이터 내의 B 값들에 청색 이득을 곱함으로써 생성될 수 있다. 이미지 데이터가 비교 포맷과 동일한 포맷에서 사용될 수 없을 때, 이득들은 비교 포맷으로부터 이미지 데이터와 동일한 포맷으로 변환될 수 있다. 선택적으로, 이미지 데이터는 이득들과 동일한 포맷으로 변환될 수 있다. 전자 기기들은 메모리 내에 보정된 이미지 데이터를 저장하고 및/또는 보정된 이미지를 출력 디바이스에 디스플레이할 수 있다.
도 3은 컬러 쉬프트에 기초하여 광원에 대한 이미지를 보정하기 위한 이미지 데이터 처리 방법을 도시하는 흐름도이다. 프로세스 블럭(200)에서, 이미지 데이터가 수신된다. 예컨대, 전자 기기들은 이미지 센서로부터 이미지 데이터를 수신할 수 있다. 이미지 데이터는 장면의 이미지를 위한 것이다. 이미지 데이터는 RGB 포맷과 같은 이미지 성분들을 가지는 초기 포맷으로 존재한다. 프로세스 블럭(202)에서, 이미지 내의 회색 픽셀들이 식별된다. 예컨대, 전자 기기들은 이미지 데이터를 초기 포맷으로부터 이미지 성분들을 가지는 회색 픽셀 식별 포맷으로 변환할 수 있다. 회색 픽셀들을 식별하기 위한 적절한 포맷은 YCbCr 포맷이 될 수 있다. 회색 픽셀 식별 포맷 픽셀들의 성분들은 잠정적으로 회색 픽셀들인 픽셀들을 식별하기 위해 식 1 내지 6에 개시된 기준과 비교될 수 있다.
프로세스 블럭(204)에서, 회색 영역들이 식별된다. 예컨대, 전자 기기들은 영역 성분들을 생성하기 위해 이미지의 서로 다른 영역들 내에 위치된 잠정적으로 회색 픽셀들에 대한 이미지 성분들을 평균할 수 있다. 전자 기기들은 영역 성분들을 회색 픽셀 식별 포맷으로부터 참조 데이터와의 비교를 위한 비교 포맷으로 변환할 수 있다. 몇몇 경우들에서, 상기 비교는 비교 포맷 공간에서 영역들과 참조 포인트들 사이의 거리를 결정하는 것을 포함한다. 전자 기기들은 각각의 영역이 회색 영역인지 결정하기 위해 비교 포맷의 영역 성분들을 참조 데이터와 비교할 수 있다. 몇몇 경우들에서, 상기 비교는 비교 포맷 공간에서 영역들과 참조 포인트들 사이의 거리를 결정하는 것을 포함한다. 하나의 영역과 최인접 참조 포인트 사이의 거리가 거리 제한치보다 클 때, 상기 영역은 회색 영역이 아닌 것으로 결정된다. 영역과 최인접 참조 포인트 사이의 거리가 거리 제한치 미만일 때, 영역은 참조 포인트와 연관된 회색 영역인 것으로 결정된다. 영역이 하나 이상의 참조 포인트의 거리 제한치 내에 있는 경우에, 상기 영역은 최인접 참조 포인트와 연관된 회색 영역이 될 수 있다.
프로세스 블럭(206)에서, 잠정적인 광원들이 식별된다. 각각의 회색 영역은 참조 포인트와 연관되고, 각각의 참조 포인트는 광원과 연관되기 때문에, 각각의 회색 영역은 광원과 연관된다. 전자 기기들은 광원과 연관된 회색 영역들의 수를 결정할 수 있다. 광원과 연관된 회색 영역들의 수가 임계치를 초과할 때, 전자 기기들은 상기 광원을 잠정적인 광원으로 분류할 수 있다. 광원과 연관된 회색 영역들의 수가 임계치이거나 그 미만일 때, 전자 기기들은 광원이 잠정적인 광원이 아닌 것으로 분류할 수 있다. 상기 프로세스는 광원들의 각각에 대하여 반복될 수 있다.
프로세스 블럭(208)에서, 이미지 포맷의 성분들에 대한 이득들이 생성된다. 예컨대, 전자 기기들은 이득들을 생성하기 위해 잠정적인 광원들의 각각에 대한 참조 데이터에 회색 영역들에 대한 데이터를 비교할 수 있다. 도 4는 이득들을 생성하는 적절한 방법을 도시하는 흐름도이다.
프로세스 블럭(210)에서, 이미지 데이터는 이미지가 생성되었을 때 장면을 실제로 조명한 광원에 의해 발생된 컬러 쉬프트에 대하여 보정된다. 예컨대, 전자 기기들은 이미지 데이터의 하나 또는 그 이상의 성분들을 상응하는 이득과 곱함으로써 이미지 데이터의 성분들을 보정하기 위해 이득들을 사용할 수 있다. 전자 기기들은 메모리 내에 보정된 이미지 데이터를 저장하고 및/또는 보정된 이미지 데이터를 출력 디바이스로 출력하고, 및/또는 보정된 이미지를 출력 디바이스에 디스플레이할 수 있다.
도 4는 이미지 포맷의 하나 또는 그 이상의 성분들에 대한 이득들을 생성하는 적절한 방법을 도시하는 흐름도이다. 프로세스 블럭(230)에서, 회색 영역들 및 잠정적인 광원들에 대한 데이터가 수신된다. 예컨대, 전자 기기들은 도 3의 프로세스 블럭(206)에서 생성된 데이터에 액세스할 수 있다. 프로세스 블럭(232)에서, 각각의 잠정적인 광원에 대한 잠정적인 회색 성분들이 생성된다. 예컨대, 전자 기기들은 상기 잠정적인 광원과 연관된 회색 영역들에 대한 상응하는 영역 성분들을 평균함으로써 잠정적인 광원에 대한 잠정적인 회색 성분들을 생성할 수 있다. 전자 기기들은 성분들의 각각 및 잠정적인 광원들의 각각에 대하여 평균 프로세스를 반복할 수 있다.
프로세스 블럭(234)에서, 장면을 조명한 광원의 밝기가 결정된다. 예컨대, 전자 기기들은 밝기를 표시하거나 보조 전자 기기들로부터의 밝기의 함수인 데이터를 수신할 수 있다. 선택적으로, 전자 기기들은 밝기를 표시하거나 보조 전자 기기들로부터의 밝기의 함수인 데이터를 수신할 수 있다. 프로세스 블럭(236)에서, 밝기는 잠정적인 광원들의 각각에 대한 가중 인자들을 결정하기 위해 사용된다. 예컨대, 전자 기기들은 가중 인자가 메모리로부터의 밝기의 함수인 가중 인자와 각각의 광원을 연관시키는 액세스에 접속할 수 있다. 일 예로서, 전자 기기들은 메모리로부터 테이블 1의 데이터를 포함하는 검색 테이블을 액세스할 수 있다. 전자 기기들은 각각의 잠정적인 광원에 대한 가중 인자를 결정하기 위해 프로세스 블럭(234) 내의 밝기 결정을 데이터와 비교할 수 있다.
프로세스 블럭(238)에서, 가중 인자들 및 잠정적인 회색 성분들은 가중된 회색 성분들을 생성하기 위해 결합된다. 예컨대, 전자 기기들은 잠정적인 회색 성분들의 가중된 평균을 생성할 수 있다. 하나의 성분에 대하여 가중된 평균은 그 광원에 대한 가중 인자에 의해 가중된 각각의 잠정적인 광원에 대하여 상응하는 잠정적인 회색 성분들을 가질 수 있다.
프로세스 블럭(240)에서, 가중된 회색 성분들은 이득들을 생성하기 위해 사용된다. 예컨대, 전자 기기들은 하나의 성분에 대한 1차 이득을 상기 성분에 대하여 가중된 회색 성분들의 역(inverse)으로서 결정할 수 있다. 1차 이득은 가중된 회색 성분들의 각각에 대하여 결정될 수 있다. 전자 기기들은 이득들을 생성하기 위해 최저 1차 이득에 의해 1차 이득들을 정규화할 수 있다.
도 3 및 도 4의 흐름도들에 도시된 프로세스 블럭들 및 결정 블럭들은 도시된 순서와는 다른 순서로 수행될 수 있다. 예컨대, 도 4는 프로세스 블럭(230) 및 프로세스 블럭(232)이 프로세스 블럭(234) 및 프로세스 블럭(236)과 동시에 실행되는 것을 도시한다. 그러나, 프로세스 블럭(230), 프로세스 블럭(232), 프로세스 블럭(234) 및 프로세스 블럭(236)은 순차적으로 실행될 수 있다. 추가로 또는 선택적으로, 도 3 및 도 4의 흐름도들에 대한 개시물의 일부분들은 선택적이다. 예컨대, 초기 포맷으로부터 픽셀 식별 포맷으로의 변환은 선택적일 수 있다. 추가로, 픽셀 식별 포맷으로부터 비교 포맷으로의 변환은 선택적일 수 있다.
도 5는 컬러 쉬프트를 보정하기 위해 이미지 데이터를 처리하는 로직 모듈들을 도시하는 로직 흐름도이다. 전자 기기들(18)은 이미지 센서로부터 이미지 데이터를 수신하도록 구성된 회색 픽셀 식별 모듈(252)을 포함한다. 회색 픽셀 식별 모듈(252)은 이미지 내의 잠정적으로 회색 픽셀들을 식별하기 위해 이미지 데이터를 처리할 수 있다. 전자 기기들은 또한 회색 영역 식별 모듈(254) 및 참조 데이터 모듈(256)을 포함한다. 참조 데이터 모듈(256)은 참조 광원들에 대한 참조 성분들을 저장 및 처리할 수 있다. 회색 영역 식별 모듈(254)은 영역 성분들을 생성하기 위해 이미지의 서로 다른 영역들 내에 위치된 잠정적으로 회색 픽셀들에 대한 이미지 데이터를 처리할 수 있다. 회색 영역 식별 모듈(254)은 회색 영역들을 식별하기 위해 영역 성분들을 참조 성분들과 비교할 수 있다.
전자 기기들은 회색 영역 식별 모듈(254)로부터 회색 영역들에 대한 영역 성분을 수신하고, 참조 데이터 모듈(256)로부터 참조 성분들을 수신하는 잠정적인 광원 식별 모듈(258)을 포함한다. 잠정적인 광원 식별 모듈(258)은 잠정적인 광원들을 식별하기 위해 회색 영역들에 대한 영역 성분들을 참조 성분들과 비교한다. 참조 광원들의 각각은 이미지가 취득되었을 때 장면을 조명하는 잠정적인 광원이다.
전자 기기들은 또한 장면의 이미지가 생성되었을 때 장면을 조명하는 광원의 밝기를 결정하도록 구성된 밝기 모듈(260)을 포함한다. 예컨대, 전자 기기들은 밝기 또는 보조 전자 기기들로부터의 밝기를 표시하는 데이터를 수신할 수 있다. 참조 데이터 모듈(256)은 밝기 모듈(260)로부터 밝기를 수신하고, 상기 밝기를 인자 데이터와 비교한다. 인자 데이터는 각각의 광원을 밝기에 적어도 부분적으로 종속되는 가중 인자와 연관시킨다. 참조 데이터 모듈(256)은 광원들의 각각에 대한 가중 인자를 생성하기 위해 가중 인자에 밝기를 비교할 수 있다.
전자 기기들은 참조 데이터 모듈(256)로부터 가중 인자들을 수신하고, 잠정적인 광원 식별 모듈(258)로부터 잠정적인 광원들에 대한 영역 데이터를 수신하는 이득 생성 모듈(262)을 포함한다. 이득 생성 모듈(262)은 각각의 잠정적인 광원에 대한 잠정적인 회색 성분들을 생성하기 위해 잠정적인 광원들에 대한 영역 데이터를 사용한다. 이득 생성 모듈(262)은 이미지 데이터의 성분들에 대한 이득들을 생 성하기 위해 가중 인자들과 잠정적인 회색 성분들을 결합한다.
전자 기기들은 이미지 보정 모듈(264)을 포함한다. 이미지 보정 모듈은 이미지가 생성되었을 때 장면을 조명하는 광원으로부터 발생하는 컬러 쉬프트에 대하여 이미지 데이터의 하나 또는 그 이상의 성분들을 보정하기 위해 이득 생성 모듈로부터의 이득들을 사용한다. 보정된 이미지 데이터는 출력 디바이스(24)에서 수신될 수 있다. 전자 기기들은 또한 이미지 보정 모듈(264)로부터 보정된 이미지 데이터를 수신하고, 보정된 이미지 데이터를 저장할 수 있는 저장 모듈(266)을 포함한다.
상기 개시물은 회색 컬러를 사용하는 상황에서 제공되지만, 상기 개시물은 다른 컬러들과 관련하여 사용될 수 있다. 또한, 개시물은 RGB 및 YCbCr 포맷들과는 다른 포맷들과 관련하여 사용될 수 있다.
전술된 하나 또는 그 이상의 방법들의 전부 또는 일부는 이미징 시스템에 의해 또는 이미징 시스템 내의 전자 기기들에 의해 실행될 수 있다. 또한, 프로세스는 전술된 하나 또는 그 이상의 방법들의 전부 또는 일부를 실행할 수 있다. 전자 기기들이 컴퓨터-판독가능한 매체를 포함할 때, 프로세서는 컴퓨터-판독가능 매체에서 명령들을 실행할 수 있다. 명령들은 프로세서가 전술된 하나 또는 그 이상의 방법들의 전부 또는 일부를 실행하도록 할 수 있다. 부가적으로, 전술된 하나 또는 그 이상의 방법들의 전부 또는 일부는 개시된 이미징 시스템과는 다른 시스템들 및 디바이스들에 의해 실행될 수 있다.
당업자는 정보 및 신호들이 다양한 서로 다른 기술들 및 테크닉들 중 임의의 기술 및 테크닉을 사용하여 표시될 수 있음을 이해할 것이다. 예컨대, 상기 설명을 통해 참조될 수 있는 명령들은 전압들, 전류들, 전자기파들, 자기 필드들 또는 입자들, 광학 필드들 또는 입자들, 또는 이들의 임의의 조합에 의해 표시될 수 있다.
당업자는 또한 본 명세서에 개시된 실시예들과 관련하여 설명된 논리적인 블럭들, 모듈들, 회로들, 및 알고리즘 단계들이 전자하드웨어, 컴퓨터 소프트웨어, 또는 그들의 조합으로서 실행될 수 있음을 인식할 것이다. 상기 하드웨어 및 소프트웨어의 상호교환가능성을 명백히 설명하기 위해, 다양한 요소들, 블럭들, 모듈들, 회로들, 및 단계들이 그들의 기능성에 관련하여 전술되었다. 상기 기능성이 하드웨어로 실행되는지 또는 소프트웨어로 실행되는지의 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 따라 결정한다. 당업자는 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능성을 실행할 수 있지만, 상기 실행 결정들은 본 발명의 영역으로부터 벗어나는 것으로 해석될 수 없다.
본 명세서에서 개시된 실시예와 관련하여 다양하게 설명되는 논리 블럭들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 처리기(DSP), 응용 집적 회로(ASIC), 현장 프로그램가능한 게이트 어레이(FPGA), 또는 다른 프로그램가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 요소들, 또는 본 명세서에 개시된 기능을 수행하도록 설계된 그들의 임의의 조합을 사용하여 실행되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서가 될 수 있지만, 선택적으로 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 기계가 될 수 있다. 프로세서는 또한 예컨대, DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합된 하나 또는 그이상의 마이크로프로세서, 또는 임의의 다른 구성과 같은 컴퓨팅 장치들의 조합으로서 실행될 수 있다.
본 명세서에 개시된 실시예와 관련하여 설명되는 방법 또는 알고리즘의 단계는 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 그들의 조합에서 즉시 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드디스크, 제거가능한 디스크, CD-ROM 또는 임의의 다른 저장 매체 형태로 당업자에게 공지된다. 예시적인 저장 매체는 저장매체로부터 정보를 판독하고 정보를 기록할 수 있는 프로세서에 접속된다. 선택적으로, 저장 매체는 프로세서의 필수 구성요소이다. 프로세서 및 저장 매체는 ASIC 내에 상주할 수 있다. ASIC은 사용자 터미널 내에 상주할 수 있다. 선택적으로, 프로세서 및 저장 매체는 사용자 디바이스내에서 이산요소들로서 상주할 수 있다.
개시된 실시예의 전술된 설명은 당업자가 본 발명을 구현하고 이용하기에 용이하도록 하기 위하여 제공되었다. 이들 실시예에 대한 여러 가지 변형은 당업자에게 자명하며, 여기서 한정된 포괄적인 원리는 본 발명의 사용 없이도 다른 실시예에 적용될 수 있다. 따라서, 본 발명은 설명된 실시예에 한정되는 것이 아니며, 여기에 개시된 원리 및 신규한 특징에 나타낸 가장 넓은 범위에 따른다.

Claims (29)

  1. 픽셀 성분들이 값들의 범위 내에 있는지 여부를 결정함으로써 픽셀들이 회색인지 여부를 식별하도록 구성되는 전자 기기; 및
    이미지 포맷의 성분에 대한 이득을 생성하도록 구성되는 전자기기 ― 상기 이득은 장면의 이미지가 생성되었을 때에 상기 장면을 조명하는 광원의 밝기에 적어도 부분적으로 종속되고, 상기 이득은 상기 광원에 의해 야기된 상기 이미지에서의 컬러 쉬프트에 대한 성분을 보정(correct)하는데 이용할 수 있음 ― 를 포함하고,
    상기 이득은 각각의 잠재 회색 성분이 잠재 광원과 관련된 다수의 잠재 회색 성분들을 포함하는 가중된 평균으로부터 생성되고, 상기 가중된 평균에서의 각각의 잠재 회색 성분은 그 잠재 회색 성분과 관련된 잠재 광원이 상기 이미지가 생성되었을 때에 상기 장면을 조명하는 광원일 확률을 나타내는 가중 인자에 의해 가중되며, 적어도 상기 잠재 회색 성분들 중 제1 서브셋은 제1 잠재 광원들과 관련되고 상기 잠재 회색 성분들 중 제2 서브셋은 제2 잠재 광원들과 관련되는,
    이미징 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 성분은 RGB 이미지 포맷의 R 성분, 상기 RGB 이미지 포맷의 G 성분, 및 상기 RGB 이미지 포맷의 B 성분으로 구성되는 그룹으로부터 선택되는,
    이미징 시스템.
  4. 제1항에 있어서,
    상기 성분은 상기 이미지의 광학 특성을 나타내는,
    이미징 시스템.
  5. 삭제
  6. 제1항에 있어서,
    가중 인자들은 상기 장면의 이미지가 생성되었을 때에 상기 장면을 조명하는 상기 광원의 밝기에 적어도 부분적으로 종속되는,
    이미징 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 잠재 회색 성분들은 RGB 이미지 포맷의 R 성분, 상기 RGB 이미지 포맷의 G 성분, 및 상기 RGB 이미지 포맷의 B 성분으로 구성되는 그룹으로부터 선택된 성분에 대한 것인,
    이미징 시스템.
  9. 제1항에 있어서,
    적어도 하나의 잠재 회색 성분은 다수의 회색 픽셀들에 대한 이미지 성분의 평균인,
    이미징 시스템.
  10. 제9항에 있어서,
    상기 잠재 회색 성분들 중 하나에 대한 평균에 포함된 회색 픽셀들은 컬러 공간에 플로팅(plot)될 때에 상기 컬러 공간에서의 기준 포인트 주변에 밀집되는 픽셀 이미지 성분들을 갖고, 상기 기준 포인트는 상기 기준 포인트와 관련된 광원에 의해 조명될 때의 회색에 대한 이미지 성분들을 갖는,
    이미징 시스템.
  11. 제1항에 있어서,
    이미지 쉬프트에 대해서 상기 이미지를 보정하기 위해 상기 이득들을 채택하기 위한 전자 기기를 더 포함하는,
    이미징 시스템.
  12. 제1항에 있어서,
    상기 장면의 이미지가 생성되었을 때 상기 장면을 조명하는 상기 광원의 밝기를 결정하기 위한 전자 기기;
    가중 인자들을 결정하기 위해 상기 밝기를 채택하기 위한 전자 기기 ― 각각의 가중 인자는 다수의 잠재 광원들 중 서로 다른 잠재 광원이 상기 이미지가 생성되었을 시점에 상기 장면을 조명하였을 확률을 나타냄 ― ; 및
    상기 성분에 대한 이득을 결정하기 위해 상기 가중 인자들을 이용하기 위한 전자 기기를 포함하는,
    이미징 시스템.
  13. 제1항에 있어서,
    상기 이미지에서의 픽셀들의 서로 다른 영역들이 회색 영역들인지 결정하기 위하여 상기 영역들에 대한 포맷 데이터의 성분을 다수의 기준 포인트들의 성분들과 비교하기 위한 전자 기기; 및
    상기 이득들이 회색이 아닌 것으로 결정된 영역들에 종속되지 않도록 상기 이득들을 생성하기 위한 전자 기기를 더 포함하는,
    이미징 시스템.
  14. 제1항에 있어서,
    상기 이득들이 회색이 아닌 것으로 결정된 픽셀들에 종속되지 않도록 상기 이득들을 생성하는 전자 기기를 더 포함하는,
    이미징 시스템.
  15. 제1항에 있어서,
    상기 이미징 시스템은 각각의 이득이 상기 장면의 이미지가 생성되었을 때 상기 장면을 조명하는 상기 광원의 밝기에 적어도 부분적으로 종속되도록 다수의 이득들을 생성하도록 구성되고, 각각의 이득은 상기 광원에 의해 야기된 상기 이미지에서의 컬러 쉬프트에 대한 이미지 포맷의 서로 다른 성분을 보정하기 위해 이용될 수 있는,
    이미징 시스템.
  16. 장면의 이미지가 생성되었을 때 상기 장면을 조명하는 광원의 밝기를 결정하기 위한 전자 기기;
    다수의 인자들을 결정하기 위해 상기 밝기를 채택하기 위한 전자 기기 ― 각각의 인자는 다수의 잠재 광원들 중 서로 다른 잠재 광원이 상기 이미지가 생성되었을 시점에 상기 장면을 조명하는 광원일 확률을 나타냄 ―;
    가중된 회색 성분을 생성하기 위한 전자 기기 ― 상기 가중된 회색 성분은 각각이 잠재 광원과 관련되는 잠재 회색 성분들을 포함하는 가중된 평균을 포함하고, 어떠한 픽셀들이 회색인지를 적어도 결정함으로써 생성되는 상기 잠재 회색 성분은 특정 잠재 광원에 의해 조명될 때에 상기 성분이 컬러 회색에 대하여 가질 값을 나타내는 상기 특정 잠재 광원과 관련된 기준 성분의 범위 내에 있는 성분들을 가지며, 상기 가중된 평균에서의 각각의 잠재 회색 성분은 그 잠재 회색 성분과 관련된 잠재 광원이 상기 이미지가 생성되었을 시점에 상기 장면을 조명하는 상기 광원일 확률을 나타내는 인자에 의해 가중되고, 적어도 상기 잠재 회색 성분들 중 제1 서브셋은 제1 잠재 광원들과 관련되고 상기 잠재 회색 성분들 중 제2 서브셋은 제2 잠재 광원들과 관련됨 ―;
    상기 이미지에 대한 데이터에 관한 포맷의 성분에 대한 이득을 생성하기 위해 상기 가중된 회색 성분을 이용하기 위한 전자 기기; 및
    상기 이미지가 생성되었을 시점에 상기 장면을 조명하는 상기 광원에 의해 야기된 컬러 쉬프트에 대하여 상기 성분을 보정하기 위해서 상기 이득을 이용하기 위한 전자 기기를 포함하는,
    모바일 카메라 전화기.
  17. 제16항에 있어서,
    상기 이미지에 대한 데이터의 상기 성분은 RGB 이미지 포맷의 R 성분, 상기 RGB 이미지 포맷의 G 성분, 및 상기 RGB 이미지 포맷의 B 성분으로 구성되는 그룹으로부터 선택되고,
    상기 잠재 회색 성분들은 RGB 이미지 포맷의 R 성분, 상기 RGB 이미지 포맷의 G 성분, 및 상기 RGB 이미지 포맷의 B 성분으로 구성되는 그룹으로부터 선택되고,
    상기 가중된 회색 성분은 RGB 이미지 포맷의 가중된 R 성분, 상기 RGB 이미지 포맷의 가중된 G 성분, 및 상기 RGB 이미지 포맷의 가중된 B 성분으로 구성되는 그룹으로부터 선택되는,
    모바일 카메라 전화기.
  18. 장면의 이미지에 대한 데이터를 수신하기 위한 수단;
    픽셀 성분들이 값들의 범위 내에 있는지 여부를 결정함으로써 회색 픽셀들을 식별하기 위한 수단;
    이미지 포맷의 성분에 대한 이득을 생성하기 위한 수단 ― 상기 이득은 상기 이미지가 생성되었을 때에 상기 장면을 조명하는 광원의 밝기에 적어도 부분적으로 종속됨 ―; 및
    상기 광원에 의해 야기된 상기 이미지에서의 컬러 쉬프트에 대한 성분을 보정하기 위해 상기 이득을 이용하기 위한 수단 ― 상기 이득은 각각의 잠재 회색 성분이 잠재 광원과 관련된 다수의 잠재 회색 성분들을 포함하는 가중된 평균으로부터 생성되고, 상기 가중된 평균에서의 각각의 잠재 회색 성분은 그 잠재 회색 성분과 관련된 잠재 광원이 상기 이미지가 생성되었을 시점에 상기 장면을 조명하는 광원일 확률을 나타내는 인자에 의해 가중되며, 적어도 상기 잠재 회색 성분들 중 제1 서브셋은 제1 잠재 광원들과 관련되고 상기 잠재 회색 성분들 중 제2 서브셋은 제2 잠재 광원들과 관련됨 ―을 포함하는,
    이미징 시스템.
  19. 제18항에 있어서,
    상기 이득을 생성하기 위한 수단은 상기 인자를 결정하기 위해 상기 밝기를 채택하기 위한 수단을 포함하는,
    이미징 시스템.
  20. 삭제
  21. 제18항에 있어서,
    상기 성분은 RGB 이미지 포맷의 R 성분, 상기 RGB 이미지 포맷의 G 성분, 및 상기 RGB 이미지 포맷의 B 성분으로 구성되는 그룹으로부터 선택되는,
    이미징 시스템.
  22. 컴퓨터로 하여금 이하의 단계들이 일어나도록 실행하게 하는 컴퓨터-실행가능한 프로그램을 포함하는 컴퓨터-판독가능한 매체로서,
    상기 단계들은:
    픽셀 성분들이 값들의 범위 내에 있는지 여부를 결정함으로써 회색 픽셀들을 식별하는 단계;
    장면의 이미지에 대한 데이터를 수신하는 단계; 및
    이미지 포맷의 성분에 대한 이득을 생성하는 단계 ― 상기 이득은 상기 이미지가 생성되었을 때에 상기 장면을 조명하는 광원의 밝기에 적어도 부분적으로 종속되고, 상기 이득은 각각의 잠재 회색 성분이 잠재 광원과 관련된 다수의 잠재 회색 성분들을 포함하는 가중된 평균으로부터 생성되고, 상기 가중된 평균에서의 각각의 잠재 회색 성분은 그 잠재 회색 성분과 관련된 잠재 광원이 상기 이미지가 생성되었을 시점에 상기 장면을 조명하는 광원일 확률을 나타내는 인자에 의해 가중되며, 적어도 상기 잠재 회색 성분들 중 제1 서브셋은 제1 잠재 광원들과 관련되고 상기 잠재 회색 성분들 중 제2 서브셋은 제2 잠재 광원들과 관련됨 ― 를 포함하는,
    컴퓨터-판독가능한 매체.
  23. 제22항에 있어서,
    상기 이득을 생성하는 단계는 상기 인자를 결정하기 위해서 상기 밝기를 채택하는 단계를 포함하는,
    컴퓨터-판독가능한 매체.
  24. 삭제
  25. 제22항에 있어서,
    상기 성분은 RGB 이미지 포맷의 R 성분, 상기 RGB 이미지 포맷의 G 성분, 및 상기 RGB 이미지 포맷의 B 성분으로 구성되는 그룹으로부터 선택되는,
    컴퓨터-판독가능한 매체.
  26. 이미지 데이터를 프로세싱하는 방법으로서,
    픽셀 성분들이 값들의 범위 내에 있는지 여부를 결정함으로써 회색 픽셀들을 식별하는 단계;
    장면의 이미지에 대한 데이터의 성분에 대한 이득을 결정하는 단계 ― 상기 이득은 상기 이미지가 생성되었을 때에 상기 장면을 조명하는 광원의 밝기에 적어도 부분적으로 종속되도록 생성되고, 상기 이득은 각각의 잠재 회색 성분이 잠재 광원과 관련된 다수의 잠재 회색 성분들을 포함하는 가중된 평균으로부터 생성되고, 상기 가중된 평균에서의 각각의 잠재 회색 성분은 그 잠재 회색 성분과 관련된 잠재 광원이 상기 이미지가 생성되었을 시점에 상기 장면을 조명하는 광원일 확률을 나타내는 인자에 의해 가중되며, 적어도 상기 잠재 회색 성분들 중 제1 서브셋은 제1 잠재 광원들과 관련되고 상기 잠재 회색 성분들 중 제2 서브셋은 제2 잠재 광원들과 관련됨 ― ; 및
    상기 광원에 의해 야기된 상기 이미지에서의 컬러 쉬프트에 대하여 상기 성분을 보정하기 위해 상기 이득을 이용하는 단계를 포함하는,
    이미지 데이터를 프로세싱하는 방법.
  27. 제26항에 있어서,
    상기 성분은 RGB 이미지 포맷의 R 성분, 상기 RGB 이미지 포맷의 G 성분, 및 상기 RGB 이미지 포맷의 B 성분으로 구성되는 그룹으로부터 선택되는,
    이미지 데이터를 프로세싱하는 방법
  28. 제26항에 있어서,
    상기 이득을 생성하는 단계는 다수의 인자들을 결정하기 위해 상기 밝기를 채택하는 단계를 포함하고, 각각의 인자는 다수의 잠재 광원들 중 서로 다른 잠재 광원이 상기 이미지가 생성되었을 시점에 상기 장면을 조명하는 상기 광원일 확률을 나타내는,
    이미지 데이터를 프로세싱하는 방법.
  29. 삭제
KR1020087016502A 2005-12-08 2006-12-08 적응형 자동 화이트 밸런스 KR100955145B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US74873205P 2005-12-08 2005-12-08
US60/748,732 2005-12-08
US11/404,477 US8064110B2 (en) 2005-12-08 2006-04-13 Adaptive auto white balance
US11/404,477 2006-04-13

Publications (2)

Publication Number Publication Date
KR20080086491A KR20080086491A (ko) 2008-09-25
KR100955145B1 true KR100955145B1 (ko) 2010-04-28

Family

ID=38138992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087016502A KR100955145B1 (ko) 2005-12-08 2006-12-08 적응형 자동 화이트 밸런스

Country Status (6)

Country Link
US (1) US8064110B2 (ko)
EP (1) EP1958457A2 (ko)
JP (1) JP2009518982A (ko)
KR (1) KR100955145B1 (ko)
TW (1) TW200806047A (ko)
WO (1) WO2007120321A2 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728880B2 (en) * 2004-06-25 2010-06-01 Qualcomm Incorporated Automatic white balance method and apparatus
US7885690B2 (en) * 2005-12-28 2011-02-08 Toppoly Optoelectronics Corp. Methods for driving devices capable of displaying images and processing audio messages
US8384801B2 (en) * 2007-07-31 2013-02-26 Qualcomm Incorporated Scene-dependent auto exposure control
US8013907B2 (en) 2008-04-08 2011-09-06 Omnivision Technologies, Inc. System and method for adaptive local white balance adjustment
US8149292B2 (en) * 2008-06-11 2012-04-03 Omnivision Technologies, Inc. Automatic white balance using non-uniform averaging
US20100020193A1 (en) * 2008-07-28 2010-01-28 Texas Instruments Incorporated Method and apparatus for white balance
WO2010036247A1 (en) * 2008-09-24 2010-04-01 Nikon Corporation Principal components analysis based illuminant estimation
KR101030393B1 (ko) * 2009-02-20 2011-04-20 인하대학교 산학협력단 디지털 영상의 화이트 밸런스 조정 장치 및 방법
KR101590771B1 (ko) 2009-08-27 2016-02-02 삼성전자주식회사 유효 영역 검출을 통한 자동 화이트 밸런스 조정 장치 및 방법
US8547450B2 (en) * 2010-02-22 2013-10-01 Texas Instruments Incorporated Methods and systems for automatic white balance
TWI501635B (zh) * 2010-06-09 2015-09-21 Hon Hai Prec Ind Co Ltd 具圖像處理功能的相機及相機系統
TWI554116B (zh) * 2012-10-16 2016-10-11 鴻海精密工業股份有限公司 白平衡調整方法
US9424628B2 (en) 2014-06-19 2016-08-23 Microsoft Technology Licensing, Llc Identifying gray regions for auto white balancing
KR102346522B1 (ko) 2015-09-10 2022-01-03 삼성전자주식회사 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
CN106791758B (zh) * 2016-12-07 2018-07-06 浙江大华技术股份有限公司 一种图像中自然光混合色温的判断方法及装置
WO2017186071A1 (en) 2016-04-25 2017-11-02 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and media for image white balance adjustment
CN111434114A (zh) 2017-12-01 2020-07-17 交互数字Vc控股公司 处理图像
WO2021140601A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法
US20220292635A1 (en) * 2021-03-11 2022-09-15 Samsung Electronics Co., Ltd. Method and apparatus with image correction
US11509875B1 (en) * 2021-08-06 2022-11-22 Ford Global Technologies, Llc Enhanced color consistency for imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243186A1 (en) * 2002-10-11 2005-11-03 Ikuo Hayaishi Automatic adjustment of image quality according to type of light source

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162890A (ja) 1993-12-08 1995-06-23 Matsushita Electric Ind Co Ltd ホワイトバランス調整装置
JPH08251620A (ja) 1995-03-07 1996-09-27 Eastman Kodak Japan Kk オートホワイトバランス装置
JP3550440B2 (ja) 1995-04-13 2004-08-04 イーストマン・コダックジャパン株式会社 オートホワイトバランス調整装置
JP3787927B2 (ja) 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
JP4063418B2 (ja) * 1998-09-11 2008-03-19 イーストマン コダック カンパニー オートホワイトバランス装置
JP3849834B2 (ja) * 1999-02-02 2006-11-22 富士写真フイルム株式会社 オートホワイトバランス制御方法
JP4081213B2 (ja) 1999-10-04 2008-04-23 イーストマン コダック カンパニー オートホワイトバランス装置及び方法
US7184080B2 (en) * 2001-06-25 2007-02-27 Texas Instruments Incorporated Automatic white balancing via illuminant scoring
US7019776B1 (en) * 2002-08-16 2006-03-28 Magnachip Semiconductor, Inc. Method and system for automatic white balancing
JP4076148B2 (ja) * 2003-03-20 2008-04-16 株式会社リコー デジタルカメラ
US7496228B2 (en) * 2003-06-13 2009-02-24 Landwehr Val R Method and system for detecting and classifying objects in images, such as insects and other arthropods
JP4422442B2 (ja) 2003-07-10 2010-02-24 オリンパス株式会社 デジタルカメラ
JP4305200B2 (ja) 2004-02-04 2009-07-29 株式会社ニコン 撮像装置および方法、並びにプログラム
WO2006127608A2 (en) * 2005-05-23 2006-11-30 Nextcode Corporation Efficient finder patterns and methods for application to 2d machine vision problems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243186A1 (en) * 2002-10-11 2005-11-03 Ikuo Hayaishi Automatic adjustment of image quality according to type of light source

Also Published As

Publication number Publication date
TW200806047A (en) 2008-01-16
WO2007120321A3 (en) 2008-03-13
JP2009518982A (ja) 2009-05-07
US8064110B2 (en) 2011-11-22
KR20080086491A (ko) 2008-09-25
US20070133071A1 (en) 2007-06-14
EP1958457A2 (en) 2008-08-20
WO2007120321A2 (en) 2007-10-25

Similar Documents

Publication Publication Date Title
KR100955145B1 (ko) 적응형 자동 화이트 밸런스
JP4754227B2 (ja) オートホワイトバランス装置及びホワイトバランス調整方法
US8164649B2 (en) White balance adjusting device, imaging apparatus, and recording medium storing white balance adjusting program
US7894673B2 (en) Image processing apparatus and method, and image processing computer readable medium for processing based on subject type
US8941755B2 (en) Image processing device with automatic white balance
US8670043B2 (en) Image processing apparatus for detecting a color flicker in an image
JP4740602B2 (ja) オートホワイトバランス装置及びホワイトバランス調整方法
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
KR102346522B1 (ko) 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
US10325354B2 (en) Depth assisted auto white balance
JP4955235B2 (ja) デジタルカメラおよびゲイン算出方法
US7081920B2 (en) Illumination light color estimating method of obtaining white balance and image sensing apparatus
US20130155274A1 (en) Auto white balance adjustment system, auto white balance adjustment method, and camera module
US9307213B2 (en) Robust selection and weighting for gray patch automatic white balancing
KR20090017158A (ko) 자동 화이트 밸런스 방법
WO2005125177A1 (en) Advanced chroma enhancement
WO2012024163A2 (en) Image capture with identification of illuminant
US7486819B2 (en) Sampling images for color balance information
US7885458B1 (en) Illuminant estimation using gamut mapping and scene classification
US7688357B2 (en) Method and apparatus for color temperature correction in a built-in camera of a portable terminal
JP2003163944A (ja) ホワイトバランス制御方法及びデジタルカメラ。
US20200228769A1 (en) Lens rolloff assisted auto white balance
CN101322417A (zh) 适应性自动白平衡
JP2004274367A (ja) デジタルカメラ
CN115170407A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee