KR100879484B1 - 자동 화이트 밸런스 방법 및 장치 - Google Patents

자동 화이트 밸런스 방법 및 장치 Download PDF

Info

Publication number
KR100879484B1
KR100879484B1 KR1020077001529A KR20077001529A KR100879484B1 KR 100879484 B1 KR100879484 B1 KR 100879484B1 KR 1020077001529 A KR1020077001529 A KR 1020077001529A KR 20077001529 A KR20077001529 A KR 20077001529A KR 100879484 B1 KR100879484 B1 KR 100879484B1
Authority
KR
South Korea
Prior art keywords
gray
illuminant
determining
captured image
pixels
Prior art date
Application number
KR1020077001529A
Other languages
English (en)
Other versions
KR20070026836A (ko
Inventor
스제포 헝
아난다파드마나반 에이 칸다다이
앤드류 친추안 치우
베남 카티비안
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20070026836A publication Critical patent/KR20070026836A/ko
Application granted granted Critical
Publication of KR100879484B1 publication Critical patent/KR100879484B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6077—Colour balance, e.g. colour cast correction
    • H04N1/608—Colour balance, e.g. colour cast correction within the L, C1, C2 colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

캡쳐된 이미지의 자동 화이트 밸런스는 그레이 계의 가정에 기초하여 수행될 수 있다. 우선, 플랫 필드 그레이 이미지는 하나 이상의 기준 발광에 대해 캡쳐된다. 기준 발광 각각에 대해 캡쳐된 그레이 이미지의 통계치들이 교정 프로세스 동안 결정되고 저장된다. 수반하는 캡쳐된 이미지 각각에 대해, 그레이 픽셀의 일 서브세트를 결정하기 위해 이미지가 필터링된다. 그레이 픽셀들은 하나 이상의 그레이 클러스터로 더 파티셔닝된다. 하나 이상의 그레이 클러스터의 평균 가중치가 결정되고 평균 가중치로부터 기준 발광체까지의 거리가 결정된다. 발광체의 추정치가 거리에 의존하여 결정된다. 추정된 발광체에 기초하여 화이트 밸런스 게인이 이미지에 인가된다.

Description

자동 화이트 밸런스 방법 및 장치{AUTOMATIC WHITE BALANCE METHOD AND APPARATUS}
관련 출원의 상호 참조
본 특허 출원은 2004 년 6 월 25 일자로 출원된, 발명의 명칭이 "자동 화이트 밸런스 방법 및 장치 (AUTOMATIC WHITE BALANCE METHOD AND APPARATUS)" 인 미국 가 특허 출원 제 60/583,144 호에 대해 우선권 주장하며, 본 명세서 전체에서 참조로서 포함된다.
배경기술
여기서 발광체 (illuminate) 라고도 언급되는 발광 소스 (illumination source) 들은 전형적인 순수한 화이트는 아니며, 대신 특정한 컬러에 대한 바이어스를 가진다. 컬러 바이어스는 보통 컬러 온도에 의하여 측정된다. 인간의 눈은 순수한 화이트가 아닌 발광을 보상하여, 컬러들은 조명 조건들의 넓은 범위에 걸쳐 상대적으로 일관되게 보인다. 그러나, 이미지를 캡쳐하는 데에 사용되는 전자 센서들은 상이한 컬러 온도들을 갖는 조명 조건들을 달리하는 것을 보상할 수 없다.
디지털 카메라 또는 디지털 비디오 카메라와 같은, 전자 이미지 캡쳐 디바이스에 사용되는 통상적인 센서는 순수하지 않은 화이트 소스로부터의 발광에 기인하는 컬러 시프트를 나타내는 이미지를 캡쳐할 것이다. 캡쳐된 이미지에서 보여 진 컬러 시프트는 인간의 눈에는 부자연스럽게 보이고, 센서 또는 캡쳐 디바이스는 저품질이고 실제 세계의 이미지들을 정확히 캡쳐할 수 없다는 인식에 기여한다.
캡쳐된 이미지는 발광체의 조명 조건들 및 컬러 온도를 보상하기 위해 처리될 수 있다. 그러나, 화이트 밸런스 보상은 발광체의 컬러 온도에 의존하기 때문에, 제 1 컬러 온도에서 발광체에 대해 구성된 화이트 밸런스 보상의 적용은 통상적으로 제 2 발광체의 컬러 온도에 대해 정정하지 않으며, 부가적인 컬러 시프트를 이미지에 도입함으로써 이미지 품질을 더욱 저하시킬 수도 있다.
간단한 요약
캡쳐된 이미지들의 자동 화이트 밸런스는 그레이 계의 가정에 기초하여 수행될 수 있다. 당초에, 플랫 필드 그레이 이미지는 하나 이상의 기준 발광들에 대해 캡쳐된다. 캡쳐된 그레이 이미지의 통계치들이 결정되고 이들은 교정 프로세스 동안 기준 발광 각각에 대해 저장된다. 각각의 후속 캡쳐된 이미지에 대해, 이 이미지는 그레이 영역들의 일 서브세트를 결정하기 위하여 필터링된다. 그레이 영역들은 하나 이상의 그레이 클러스터들로 더욱 파티셔닝된다. 하나 이상의 그레이 클러스터들의 평균 가중치가 결정되고 그 평균 가중치들로부터 기준 발광체까지의 거리가 결정된다. 발광체 추정치는 그 거리에 따라서 결정된다. 추정된 발광체에 기초하여 화이트 밸런스 게인이 이미지에 인가된다.
일 양태에서, 자동 화이트 밸런스 (Automatic White Balance; AWB) 를 수행하는 방법이 제공되고, 이 방법은 캡쳐된 이미지를 수신하는 단계, 그레이 픽셀들을 선택하기 위하여 캡쳐된 이미지를 필터링하는 단계, 복수의 기준 발광체 포인트 들 각각으로부터 그레이 픽셀상의 적어도 일부에서 결정된 좌표 그리드의 위치까지 거리를 좌표 그리드 상에서 결정하는 단계, 거리들에 부분적으로 기초하여 발광체를 결정하는 단계, 및 발광체에 부분적으로 기초하여 캡쳐된 이미지에 화이트 밸런스 게인을 인가하는 단계를 포함한다.
또 다른 양태에서, 자동 화이트 밸런스 (AWB) 를 수행하는 다른 방법이 제공되고, 이 방법은 RGB 포맷의 캡쳐된 이미지를 수신하는 단계, 그레이 픽셀들을 선택하기 위하여 캡쳐된 이미지를 필터링하는 단계, 캡쳐된 이미지에서 그레이 픽셀들 각각에 대한 R/G 및 B/G 비들을 결정하는 단계, 그레이 픽셀들을 복수의 그레이 클러스터들로 파티셔닝하는 단계, R/G 및 B/G 비들을 소정의 좌표 그리드로 양자화하는 단계, 복수의 그레이 클러스터들 각각에 대해 좌표 그리드 상에서 중심을 결정하는 단계, 좌표 그리드에서 각 중심으로부터 각각의 복수의 기준 발광체 포인트까지의 거리를 결정하는 단계, 각 중심까지의 거리에 부분적으로 기초하여 클러스터 각각에 대한 추정된 발광체를 결정하는 단계, 복수의 그레이 클러스터 각각에 대해 추정된 발광체에 부분적으로 기초하여 영상 (scene) 발광체를 결정하는 단계, 및 영상 발광체에 부분적으로 기초하여 캡쳐된 이미지에 화이트 밸런스 게인을 인가하는 단계를 포함한다.
또 다른 양태에서, 장치가 자동 화이트 밸런스 (AWB) 를 수행하기 위해 제공되며, 이 장치는 캡쳐된 이미지를 수신하고 캡쳐된 이미지로부터 그레이 영역을 선택하도록 구성된 그레이 필터, 그레이 필터에 접속되고 그레이 영역을 소정의 좌표 그리드로 변환하도록 구성된 그리드 컨버터, 그리드 컨버터에 접속되고 그레이 영 역들에 부분적으로 기초하여 하나 이상의 위치들로부터 복수의 기준 발광체 포인트들 각각까지 소정의 좌표 그리드 상에서의 거리를 결정하도록 구성된 거리 모듈, 거리 모듈에 접속되고 거리들에 부분적으로 기초하여 발광체를 결정하도록 구성된 발광체 추정기, 및 발광체 추정기에 접속되고 발광체에 부분적으로 기초하여 화이트 밸런스 게인을 캡쳐된 이미지에 인가하도록 구성된 화이트 밸런스 게인 모듈을 구비한다.
도면의 간단한 설명
개시된 실시형태들의 특징들, 목적들, 및 이점들은 이하의 도면들을 참조하여 후술하는 상세한 설명으로부터 명백할 것이며, 동일한 구성요소들은 동일한 참조 부호들로 나타낸다.
도 1 은 자동 화이트 밸런스를 갖는 이미지 캡쳐 디바이스의 일 실시형태의 기능 블록도이다.
도 2 는 자동 화이트 밸런스를 위해 구성된 이미지 프로세서의 일 실시형태의 기능 블록도이다.
도 3 은 발광체 기준을 설정하는 방법의 일 실시형태의 플로우 차트이다.
도 4 는 자동 화이트 밸런스 방법의 일 실시형태의 플로우 차트이다.
도 5 는 자동 화이트 밸런스 방법의 일 실시형태의 플로우 차트이다.
도 6 은 그레이 필터링의 일 실시형태의 실시예의 예시이다.
도 7 은 그레이 클러스터들과 기준 발광체들 간의 거리들을 결정하는 실시예의 예시이다.
일부 실시형태들의 상세한 설명
그레이 계의 가정은 디지털 영상술에서 화이트 밸런스를 수행하는 기반을 형성할 수 있다. 이미지에서 픽셀들의 컬러들의 평균은 개략적으로 그레이라는 사실이 영상들의 큰 컬렉션 동안에 관찰되어 왔다. 영상에 따라서 예외는 있지만, 그레이 계의 가정은 꽤 정확히 맞고 화이트 밸런스를 수행하기 위한 신뢰할 수 있는 기반을 제공한다. 여기서 개시된 자동 화이트 밸런스 (AWB) 방법 및 장치는 외곽 (outlier) 제거와 결합한 그레이 계의 가정에 기초한다. 디지털 카메라나 어떤 다른 이미지 프로세싱 디바이스는 여기서 설명된 AWB 방법들을 수행하도록 구성될 수 있다.
방법들은 디지털 카메라와 같은 이미지 캡쳐 디바이스와 함께 참조로서 설명된다. 그러나, 이미지 캡쳐 센서가 디바이스 내에서 구현되어야 하는 조건은 없다. 또한, 전자 디바이스는 원격 캡쳐된 이미지들 상에서 AWB 방법을 수행하도록 구성될 수 있다.
우선, 디지털 카메라는 이미지를 다수의 영역들로 파티셔닝할 수 있다. 디지털 카메라는 그레이 영역들을 통과시키고 그레이가 아닌 영역들을 막기 위해 이미지를 필터링 할 수 있다. 디지털 카메라는 발광체를 결정하기 위해 그레이 영역들을 사용하고 그레이가 아닌 영역들에는 의존하지 않는다. 여기에서 사용된 바와 같이, "그레이 영역" 과 "그레이 픽셀" 이라는 용어들은 필터 제한들에 의해 선택되고 발광체를 결정하는데 사용되는, 그레이 및 그레이에 가까운 영역들 또는 픽셀들을 각각 언급하는 것이다.
그레이 영역들을 확인하기 위해 이미지를 필터링한 후, 디지털 카메라는 그레이 영역들의 컬러 특성들을 소정의 좌표 공간 또는 그리드 상에 맵으로 변형시키거나 또는 변환한다. 디지털 카메라는 특정 발광체와 함께 발광하는 그레이 이미지를 캡쳐함으로써 획득된 그레이 기준에 따라 하나 이상의 기준 포인트를 그리드 내에서 지정할 수 있다. 따라서, 디지털 카메라는 각 발광체에 대한 기준 포인트를 그리드 상에서 지정할 수 있다.
그레이 영역들을 좌표 시스템 상에 맵으로 변환한 후, 각 그레이 영역에 대해, 디지털 카메라는 그레이 영역으로부터 각 발광체 기준 포인트까지의 거리를 결정할 수 있다. 디지털 카메라는 불충분한 통계적 그레이 영역들을 결정하고 그 외곽 영역들을 고려하지 않음으로써 그레이 영역들을 필터링 할 수 있다. 예를 들어, 디지털 카메라는 각 영역으로부터 임의의 발광체 기준 포인트까지의 최단 거리를 결정할 수 있다. 그 후, 디지털 카메라는 최단 거리를 소정의 임계치들과 비교하여 소정의 임계치보다 긴 최단 거리들을 갖는 영역들을 더 프로세싱하는 것으로부터 제외시킬 수 있다.
그 후, 디지털 카메라는 나머지 그레이 영역들로부터 각 발광체 기준 포인트들까지의 거리를 비교한다. 디지털 카메라는 발광체를 그레이 영역들 최근접의 발광체 기준 포인트를 갖는 발광체로서 추정할 수 있다.
도 1 은 AWB 를 구현하는 이미지 캡쳐 디바이스 (100) 의 기능 블록도이다. 예를 들어, 이미지 캡쳐 디바이스 (100) 는 디지털 카메라, 디지털 비디오 레코더, 디지털 카메라를 갖는 무선 전화, 또는 어떤 다른 이미지 캡쳐 디바이스가 될 수 있다. 이미지 캡쳐 디바이스 (100) 는 센서 (120) 에 가깝게 위치한 렌즈 (110) 를 구비할 수 있으며, 예를 들어, 센서 (120) 는 입사광선을 전자적 표시들로 변환하도록 구성될 수 있는 광학 센서일 수 있다. 예를 들어, 센서는 전하 접속 디바이스 (Charge Coupled Device; CCD), CMOS 검출기, 포토다이오드 어레이, 광전지 검출기, 및 이와 유사한 것들, 또는 광학 이미지를 캡쳐하기 위한 어떤 다른 센서가 될 수 있다. 센서 (120) 는 광선 성분들의 형태로 전자적 표현을 생성하도록 구성될 수 있다. 예를 들어, 센서 (110) 는 캡쳐된 이미지에 대해 별개의 R, G, 및 B 표현들을 생성할 수도 있다.
센서 (120) 의 출력은 AWB 를 제공하도록 구성될 수 있는 컬러 프로세서 (130) 에 접속될 수 있다. 컬러 프로세서는 캡쳐된 이미지들의 통계치를 모으고 처리하도록 구성된 통계 모듈 (132) 을 구비할 수 있다. 이하 더 상세히 논의될 바와 같이, 통계 모듈 (132) 에 연결되는 컬러 프로세서 (130) 는 이미지에서 캡쳐된 영상을 발광시키는 조명 조건들을 측정하거나 또는 이를 결정하도록 구성될 수 있다. 컬러 프로세서 (130) 는 복수의 기준 발광체에 대해 저장된 통계치들에 부분적으로 기초하여 발광체를 결정할 수 있다. 컬러 프로세서 (130) 는 이미지의 컬러 밸런스를 정정하기 위해 캡쳐된 이미지에 정정을 가하도록 구성될 수 있다. 컬러 프로세서 (130) 및 통계 모듈 (132) 은 메모리 (140) 와 관련하여 동작하는 프로세서 (150) 를 사용하는 관련된 기능들의 일부 또는 전부를 수행하도록 구성될 수 있다. 일부 실시형태에서는, 컬러 프로세서 (130) 와 통계 모듈 (132) 의 기능들의 일부 또는 전부가 하나 이상의 프로세서 사용가능 명령들의 형 태로 메모리 (140) 에 소프트웨어로서 저장될 수 있다. 프로세서 (150) 는 프로세서 사용가능 명령들에 접근하도록 구성될 수 있고, 관련된 기능을 수행하기 위해 그 위에서 동작하도록 구성될 수 있다.
컬러 프로세서 (130) 는 기준 발광체 통계치들 및 정보를 외부 메모리 (140) 에 저장하도록 구성될 수 있으며, 또한 캡쳐된 이미지들 또는 AWB 정정된 이미지들을 메모리 (140) 내에 저장하도록 구성될 수도 있다. 또한, 또는 부가적으로 컬러 프로세서 (130) 는 원래의 이미지 또는 AWB 정정된 이미지를 출력/디스플레이 (150) 에 전달하도록 구성될 수 있다.
출력/디스플레이 (160) 는 LCD, LED 어레이, CRT, 및 이와 유사한 것들, 또는 어떤 다른 디스플레이 디바이스를 구비하도록 구성될 수 있다. 또한 출력/디스플레이 (160) 는 하나 이상의 출력 포트를 구비할 수 있다. 예를 들어, AWB 정정된 이미지들은 포트 또는 커넥터에 대한 출력일 수 있다. 컬러 프로세서 (130) 는 AWB 정정된 이미지를 출력/디스플레이 (150) 로 직접 출력하도록 구성될 수 있고, 또는 정정된 이미지를 출력/디스플레이 (150) 에 전달하기 전에 기준 디스플레이나 파일 포맷과 같은 특정 포맷으로 AWB 정정된 이미지를 변환하도록 구성될 수도 있다. 예를 들어, 컬러 프로세서 (130) 는 AWB 정정된 이미지를 JPEG, GIF, 또는 어떤 다른 이미지 형식으로 포맷하도록 구성될 수 있다. 출력/디스플레이 (150) 는 AWB 정정된 이미지를 수신 디바이스 (미도시) 로 송신하도록 구성된, 모뎀이나 무선 트랜스시버와 같은 통신 디바이스가 될 수도 있다.
도 2 는 도 1 의 이미지 캡쳐 디바이스와 같이, 이미지 캡쳐 디바이스 상에 서 동작하는 컬러 프로세서 (130) 및 통계 모듈 (132) 의 기능 블록도이다. 도 1 의 실시형태에서와 같이, 이미지 캡쳐 디바이스는 프로세서 (150) 및 메모리 (140) 에 접속된, 통계 모듈 (132) 을 갖는 컬러 프로세서 (130) 를 구비할 수 있다.
컬러 프로세서 (130) 는 캡쳐된 이미지를 수신하도록 구성된 입력을 포함할 수 있다. 캡쳐된 이미지는 통계 모듈 (132) 의 입력 및 화이트 밸런스 게인 모듈 (210) 의 입력에 접속될 수 있다. 화이트 밸런스 게인 모듈 (210) 은 통계 모듈 (132) 의 출력에 따라 화이트 밸런스 게인들을 인가하도록 구성될 수 있다.
통계 모듈 (132) 은 발광체를 결정하는데 사용될 수 있는 그레이 물체들을 선택하기 위해, 캡쳐된 이미지를 처리하도록 구성될 수 있는 그레이 필터 (220) 에 캡쳐된 이미지를 접속시키도록 구성될 수 있다. 캡쳐된 이미지는 통상적으로 디지털 패킷들이나 디지털 파일의 형태이기 때문에 디지털 필터 (220) 를 디지털 프로세서로 구현하는 것이 유리할 수도 있다.
예를 들어 도 1 의 센서 (120) 와 같은 센서는 RGB, YCrCb, 또는 어떤 다른 컬러 포맷과 같은 다수의 컬러 포맷들 중의 하나로 이미지를 캡쳐하도록 구성될 수 있다. 그레이 필터 (220) 는 그레이 물체 필터링을 용이하게 하기 위해 특정 컬러 포맷을 처리하도록 구성될 수 있다. 예를 들어, 그레이 필터 (220) 는 필터링 프로세스를 용이하게 하기 위해 YCrCb 포맷 이미지의 초기 그레이 필터링을 수행하도록 구성될 수 있다. 캡쳐된 이미지가 아직 YCrCb 포맷이 아닌 경우, 그레이 필터 (220) 는 캡쳐된 이미지를 YCrCb 포맷으로 변환하도록 구성될 수 있 다. Y, Cb, 및 Cr 컬러 포맷은 다음의 컬러 변환을 사용하는 RGB 컬러 포맷 정보로부터 유도될 수 있으며, 여기서 Y 는 Rec. 601 에서 정의된 발광성이고, Cb 는 단순히 B 와 G 의 컬러차이고, Cr 은 R 과 G 의 컬러차이다.
Figure 112007006233566-pct00001
일 실시형태에서, 그레이 필터 (220) 는 그레이 영역들을 선택하기 위해 소정의 발광 범위 내에서 소정의 Cr 및 Cb 기준을 만족하는 영역을 선택한 후, 나머지 영역들로부터 소정의 Cr 및 Cb 기준을 만족하는 영역을 선택함으로써 캡쳐된 이미지를 필터링 할 수 있다. 그레이 필터 (220) 는 너무 어둡거나 너무 밝은 영역들을 제거하기 위해 발광값을 사용할 수 있다. 이러한 영역들은 잡음 (noise) 이나 포화 문제 때문에 배제된다. 그레이 필터 (220) 는 필터를 다수의 식들로 표현할 수 있으며, 아래의 6 개의 부등식을 만족시키는 영역들은 가능한 그레이 영역들로 간주한다.
Figure 112007006233566-pct00002
m1-m4 및 c1-c4 값들은, 발광체가 거의 모든 캡쳐된 이미지들에 대해 추정될 수 있도록 필터링된 물체들의 충분히 넓은 범위를 유지하면서 상기 필터링된 물체들이 그레이 영역들을 정확히 나타내는 것을 보장하도록 선택되는 소정의 상수들을 나타낼 수 있다. 일부 실시형태에서, 그레이 필터 (220) 는 2 세트 이상의 필터링 기준을 적용할 수도 있고, 복합적인 기준에 기초하여 영역들을 필터링 할 수도 있다.
그레이 필터 (220) 는 거의 모든 크기의 영역들에서 동작할 수 있다. 예를 들어, 최소 영역들 크기는 단일 픽셀에 대응될 수 있다. 유사하게, 최대 영역들 크기는 캡쳐된 이미지의 크기에 대응될 수 있다. 그러나, 통상적으로, 그레이 필터 (220) 는 캡쳐된 이미지 크기보다 작은 영역들에서 동작한다. 통상적으로, 이미지는 복수의 영역들로 파티셔닝되고 그레이 필터 (220) 는 각 영역들 상에서 동작한다.
이미지는 L×M 사각 영역들을 구비하도록 파티셔닝될 수 있으며, 이 때, L 과 M 은 양의 정수들이다. 그 후, N=L×M 은 이미지에서 영역들의 전체 개수를 나타낸다. 일 실시형태에서, 그레이 필터 (220) 는 캡쳐된 이미지를 16×16 픽셀의 영역들로 파티셔닝할 수 있다. 그레이 필터 (220) 는 캡쳐된 이미지의 픽셀들을 변환시킬 수 있는데, 예를 들어, RGB 성분들을 YCrCb 성분들로 변환시킬 수 있다. 그레이 필터 (220) 는 가능한 그레이 픽셀들을 선택하기 위해 위의 부등식들을 사용하여 픽셀들을 필터링 할 수 있다. 그레이 필터 (220) 는 계산 횟수를 줄이기 위해 큰 이미지 크기들에 대해 수직 및 수평 방향 중 한 방향 또는 양 방향으로 픽셀들을 서브 샘플링하거나 격감시키도록 구성될 수 있다. 예를 들어, 일 실시형태에서, 그레이 필터 (220) 는 1.3 메가 픽셀 이상을 갖는 이미지에 대해 둘 중 하나의 요소에 의해 수직 및 수평의 픽셀들을 서브 샘플링하도록 구성될 수 있다.
그 후, 그레이 필터 (220) 는 영역들 각각의 통계치들을 생성하기 위해, 필터링된 픽셀들을 처리할 수 있다. 예를 들어, 그레이 필터 (220) 는 필터링되거나 제한된 Cb 의 합계, 필터링되거나 제한된 Cr 의 합계, 필터링되거나 제한된 Y 의 합계, 및 Y, Cb, 및 Cr 의 합계에 대한 제한들에 따라 선택된 픽셀들의 개수를 결정할 수 있다. 영역 통계치들로부터, 그레이 필터 (220) 는 Cb 의 평균 (aveCb), Cr 의 평균 (aveCr), 및 Y 의 평균 (aveY) 을 얻기 위해, 선택된 픽셀들의 개수로 나눈 Cb, Cr, Y 의 각 영역의 합계를 결정한다. 그 후, 그레이 필터 (220) 는 R, G, 및 B 의 평균을 결정하기 위해 통계치들을 RGB 성분들로 다시 변환할 수 있다. R, G, 및 B 값들의 평균은 다음의 식에서 aveY, aveCb, aveCr 로부터 결정될 수 있다.
Figure 112007006233566-pct00003
그레이 필터 (220) 는 도 6 에서 보여지는 바와 같이, 영역들을 두 개의 클러스터 중 하나로 그룹화할 수 있다. 그레이 필터 (220) 는 각 영역을 두 개의 상이한 클러스터 중 하나로 그룹화하기 위해 네 개의 CbCr 제한들을 사용할 수 있고; 클러스터 X 는 그레이 영역들에 대한 것이며, 클러스터 Y 는 더 높은 포화 영역들에 대한 것이다. 이 파티셔닝 개념은 클러스터 X 의 그레이 영역들은 더 포화된 영역들 또는 클러스터 Y 보다 더 신뢰할 수 있는 발광 추정을 제공할 수도 있다는 것이다. 그러나, 양쪽 클러스터의 영역들은 그레이 영역들의 개수가 정확한 추정을 하기에 불충분한 경우에, 적합한 발광체가 추정될 수 있는 적절한 확실성을 유지하기 위해 이용된다.
그레이 필터 (220) 는 좌표 시스템에 대해 포맷된 기준 발광체들에 대한 관계를 결정하기 위해 영역 통계치들을 그리드 좌표 시스템으로 변환하도록 구성된 그리드 컨버터 (230) 에 영역들의 동일성 및 그들의 통계치들을 전달한다. 일 실시형태에서, 그리드 컨버터 (230) 는 영역 통계치들을 (R/G, B/G) 좌표 시스템에서 n×n 그리드 중 하나로 변환하고 양자화한다. 그리드 거리는 선형적으로 파티셔닝될 필요는 없다. 예를 들어, 좌표 그리드는 비선형 파티셔닝된 R/G 및 B/G 축들로부터 형성될 수 있다. 비선형 파티셔닝된 그리드 좌표들은 그리드 거리를 결정할 때 선형 파티셔닝된 그리드보다 더 나은 작업을 수행할 수도 있다. 그리드 컨버터 (230) 는 [1/4, 4] 와 같이 미리 정의된 범위 외의 (aveR/aveG, aveB/aveG) 의 쌍들을 폐기할 수 있다. 그리드 컨버터 (230) 는 영역 통계치들을 2 차원의 좌표 시스템으로 편리하게 변환할 수 있다. 그러나, 2 차원의 좌표 시스템의 이용은 제한이 아니며 그리드 컨버터 (230) 는 좌표 시스템 상에서 임의의 수의 차원이라도 사용하도록 구성될 수 있다. 예를 들어, 다른 실시형태에서, 그리드 컨버터 (230) 는 일부 소정의 상수로 정규화된 R, G, B 값에 대응하는 3 차원의 좌표 시스템을 사용할 수 있다.
그리드 컨버터 (230) 는, 필터링된 영역들에 대응하는 그리드 값들을 그레이 필터 (220) 에서 정의된 클러스터들로 그룹화하도록 구성될 수 있는 클러스터 필터 (240) 에, 변환된 그리드 값들을 전달하도록 구성될 수 있다. 예를 들어, 그리드 컨버터 (230) 는, 그리드 컨버터 (230) 로부터의 그리드 값들을, 그레이 필터 (220) 에 인가된 제한들에 의해 정의된 클러스터 X 및 클러스터 Y 그룹으로 그룹화하도록 구성될 수 있다. 물론, 그리드 필터 (240) 및 그레이 필터 (220) 는 정의할 수 있고 영역 통계치들을 3 개 이상의 그룹으로 그룹화할 수 있다.
클러스터 필터 (240) 는 그룹화에 부분적으로 기초하여 그리드 값들의 그룹들을 거리 모듈 (250) 에 제공하도록 구성될 수 있다. 예를 들어, 상술한 실시형태에서, 클러스터 X 에 대응하는 그리드 값들은 더 나은 그레이 영역 근사들에 대응될 수도 있다. 클러스터 필터 (240) 는 클러스터 X 에 대응하는 그리드 값들을 거리 모듈 (250) 에 우선 전달하도록 구성될 수 있다. 거리 모듈 (250) 및 발광체 추정기 (270) 가 높은 정도의 확실성을 지닌 발광체 추정을 결정할 수 있는 경우, 클러스터 필터 (240) 는 클러스터 Y 그리드 값들의 프로세싱을 더 생략할 수도 있다. 다른 실시형태에서, 클러스터 필터 (240) 는 양쪽 클러스터 모두로부터의 그리드 값들이 발광체 추정을 결정하기 위해 사용되는 그러한 실시형태 들에서, 클러스터 Y 값들이 뒤따르는, 클러스터 X 값들을 전달하도록 구성되어질 수 있다.
클러스터 필터로부터의 출력은 거리 모듈 (250) 의 일 입력에 접속될 수 있다. 발광체 기준 모듈 (260) 로부터의 출력은 거리 모듈 (250) 의 제 2 의 입력에 결합될 수 있다. 발광체 기준 모듈 (260) 은 거리 모듈 (250) 에 기준 발광체들의 위치들을 제공한다.
발광체 기준 모듈 (260) 은 하나 이상의 기준 발광체에 대한 통계치들을 저장하도록 구성될 수 있다. 하나 이상의 기준 발광체에 대한 통계치들은 교정 절차 과정에 미리 결정된다.
특성 프로세스는 도 1 의 이미지 캡쳐 디바이스 (100) 의 센서 (120) 와 렌즈 (110) 의 결합의 예처럼, 주어진 센서 모듈에 대해 오프라인에서 통상적으로 일어난다. 오프라인은 통상적인 소비자가 이미지 캡쳐 디바이스를 사용하지 않는 기간 동안의 프로세싱을 나타내며, 또 제조 프로세스에서의 기간을 의미할 수도 있다. 실외 조명 조건을 위해, 하루의 다양한 시간에 대응하는 그레이 물체들의 일련의 영상들이 수집된다. 영상들은 하루의 상이한 시간대 동안에 직접적인 태양빛, 구름낀 일광, 실외 응달 등에서 캡쳐된 이미지들을 구비할 수 있다. 이러한 조명 조건하에서 그레이 물체들의 R/G 및 B/G 비들이 기록된다. 실내 조명 조건을 위해, 그레이 물체들의 이미지들은 따뜻한 형광, 차가운 형광, 백열광 및 이와 유사한 것들, 또는 어떤 다른 발광체를 이용하여 캡쳐될 수 있다. 각각의 조명 조건들은 기준 포인트로서 사용된다. R/G 및 B/G 비들은 실내 조명 조건들에 대해 기록된다.
다른 실시형태에서, 기준 발광체들은 A (백열광, 텅스텐 등), F (형광), 및 D30, D50, D70 로 칭하는 복수의 일광 발광체를 포함할 수 있다. 세 개의 일광 발광체들은 보간법에 의해 근사된 블랙바디 라인을 형성할 수 있다. 기준 좌표들의 (R/G, B/G) 좌표들은 센서 모듈의 스펙트럼 응답 및 발광체의 파워 분포들을 통합함으로써 계산된 발광체 컬러들에 의해 이상적으로 정의될 수 있다.
R/G 및 B/G 비들의 크기를 결정한 후, 기준 포인트들은 그리드 좌표 상에 위치한다. 그리드 거리가 서로 다른 기준 포인트들을 적절히 식별할 수 있도록 사용될 수 있는 방식으로 크기가 결정된다. 발광체 기준 모듈 (260) 은 그레이 영역들을 특징짓는 데 사용된 동일한 좌표 그리드를 사용하여 발광체 통계치들을 생성할 수 있다.
거리 모듈 (250) 은 클러스터 필터 (240) 로부터 수신한 그리드 포인트 각각으로부터, 발광체 기준 모듈 (260) 로부터의 기준 포인트 모두까지의 거리를 결정하도록 구성될 수 있다. 거리 모듈 (250) 은 결정된 거리들을 소정의 임계치에 대해 비교할 수 있으며, 임의의 기준 포인트까지의 최단 거리가 소정의 임계치를 초과하는 경우, 그 포인트는 외곽으로 간주되어 배제된다.
정의로부터, 상이한 조명 조건들 하에서 모든 기준 포인트들은 그레이 물체들에 대응하며, 클러스터 필터 (240) 로부터 수신된 수집 데이터 포인트가 임의의 기준 포인트에 가깝지 않은 경우, 그것은 그레이 물체가 아니다. 그러한 외곽 포인트가 거리 계산에 포함되어 있는 경우, 그것은 긴 거리를 산출할 것이고 전체 거리 비교에 대해 부정적인 영향을 미칠 것이다. 그러므로, 긴 최단 거리를 갖는 데이터 포인트들은 외곽으로서 관찰될 수 있고 제거될 수 있다. 데이터 포인트가 외곽이 아닌 경우, 모든 기준 포인트들까지의 거리가 결정된다. 일 실시형태에서는, 특정 기준 포인트까지의 거리는 동일한 기준 포인트까지의 상이한 데이터 포인트 거리들 모두와 합산될 수 있다.
외곽들이 제거되고 모든 기준 포인트들까지의 거리는 합산되는 바와 같이 모 든 데이터 포인트들이 처리된 후, K 기준 포인트들에 대응하는 모든 기준 포인트들에 대한 거리의 합인 K 수들이 존재한다.
거리 모듈 (250) 은 각 거리를 발광체 추정기 (270) 에 전달하도록 구성될 수 있고, 또는 합들을 결정하고 각 기준 포인트에 대한 거리의 합들을 발광체 추정기 (270) 까지 전달하도록 구성될 수 있다. 거리 모듈 (270) 은 기준 포인트들까지의 최단 거리를 결정할 수 있고, 기준 포인트에 대응하는 조명 조건을 결정할 수 있다.
일 실시형태에서, 클러스터 필터 (240) 는 이미지 통계치들을 클러스터 X 및 클러스터 Y 로 이름 붙여진 두 개의 그룹으로 그룹화하도록 구성된다. 클러스터 X 및 클러스터 Y 모두에서 데이터 포인트 각각에 대해, 거리 모듈 (250) 은 적어도 세 개의 상이한 거리들을 결정하도록 구성될 수 있다. 거리 모듈 (250) 은, 예를 들어, 기준 발광체 A (Ref. A) 까지의 거리, 기준 발광체 F (Ref. F) 까지의 거리, 및 기준 일광 발광체들에 의해 형성된 블랙바디 라인까지의 거리를 결정할 수 있다.
거리 모듈 (250) 은 유클리드 (Euclidean), 맨하탄 (Manhattan (씨티 블록 (City Block))), 또는 계산 복잡성 조건 및 수행 조건들에 의존하여 사용될 수 있는 다른 미터법과 같은 거리 미터법들을 결정하도록 구성될 수 있다. 다른 실시형태에서, 거리 모듈 (250) 은 각 클러스터에 대응하는 무게중심을 결정하도록 구성될 수 있고, 클러스터 무게중심으로부터 각 기준 발광체 포인트까지의 거리를 결정하도록 구성될 수 있다.
일 실시형태에서, 일광 기준 포인트, D65, 까지의 총 거리는 125 가 될 수 있고, 따뜻한 형광 기준 포인트, WF, 까지는 324 가 될 수 있고, 차가운 형광 기준 포인트, CF, 까지는 421 이 될 수 있다. 발광체 추정기 (270) 는 D65 까지의 거리 (=125) 가 모든 숫자 중에서 가장 작다는 것을 결정할 수 있다. 발광체 추정기 (270) 는 그 후, D65 는 조명 조건이며, 대응하는 D65 의 R/G 및 B/G 비들이 화이트 밸런스를 수행하기 위해 사용된다는 것을 결정할 수 있다.
연결 상황이 있는 경우, 발광체 추정기 (270) 는 조명 조건의 결정을 돕도록 세팅된 센서 노출 및 게인을 이용할 수 있다. 노출 세팅에 의존하여, 발광체 추정기 (270) 는 캡쳐된 이미지에서의 영상이 실외인지 실내인지를 결정하기 위해 노출 및 게인 세팅들을 이용할 수 있고 AWB 결정을 도울 수 있다.
픽셀 선택 프로세스 및 외곽 제거 프로세스를 통과하는 데이터 포인트가 없는 드문 경우에는, 발광체 추정기 (270) 는 결정을 내리기 위해 노출 세팅과 전체 R/G 및 B/G 비들의 조합을 사용할 수 있다. 캡쳐된 이미지가 실외 영상을 나타내는 경우, AWB 게인들과 같이 전체 R/G 및 B/G 비들과 함께 D65 R/G 및 B/G 비들이 평균화된다. 캡쳐된 이미지가 실내 영상에 대응하는 경우, AWB 게인들과 같이 전체 R/G 및 B/G 비들과 함께 WF R/G 및 B/G 비들이 평균화된다. 플래쉬 (flash) 나 스트로브 (strobe) 가 영상을 발광시키기 위해 사용되는 경우, 플래쉬의 R/G 및 B/G 비들이 화이트 밸런스 게인들로 사용된다.
발광체 추정기 (270) 는 발광체에 대해 캡쳐된 이미지가 정정되는 화이트 밸런스 게인 모듈 (210) 에 화이트 밸런스 게인을 인가하도록 구성될 수 있다. 다른 실시형태에서, 발광체 추정기는 화이트 밸런스 게인 모듈 (210) 에 발광체 추정을 인가하도록 구성될 수 있으며, 화이트 밸런스 게인 모듈 (210) 은 화이트 밸런스 게인들을 결정하고 게인들을 캡쳐된 이미지에 인가할 수 있다.
기준 발광체들에 대한 화이트 밸런스 (WB) 게인들은 미리 정의될 수 있다. 일 실시형태에서, 각 기준의 WB 게인은 다음의 식에 의해 정의될 수 있으며, 여기서, 열 벡터 (SSr, SSg, 및 SSb) 는 센서 모듈의 스펙트럼 응답 (센서＋IR 컷오프＋렌즈) 이고, Ln ×n 은 기준 발광체의 파워 분포의 대각행렬이며, W(R)n×l 는 이상적인 화이트 확산기를 표현하는 항등 열 벡터이다.
Figure 112007006233566-pct00004
WB 게인은 다음의 식에 의해 정의될 수 있다.
Figure 112007006233566-pct00005
센서 모듈의 스펙트럼 응답이 이용가능하지 않은 경우, WB 게인들은 센서 모듈들에 의해 기준 발광체들 하에서 이상적인 화이트 확산기의 이미지들의 열 R, G, 및 B 값들을 평균화함으로써 얻어질 수도 있다. 센서 모듈들에서의 파트-투-파트 (part-to-part) 편차들에 대해 설명하기 위해, 복수의 유닛들이 특징지어질 수도 있고 응답들이 평균화 될 수도 있다.
일단 발광체 추정기 (270) 가 발광체를 결정하면, 발광체 추정기 (270) 또는 화이트 밸런스 게인 모듈 (210) 은 후술하는 바와 같이 WB 게인들을 정의할 수 있다. 추정된 발광체가 예를 들어, 기준 A 와 같이 특정 기준 발광체인 경우, 화이트 밸런스 게인 모듈은 기준 발광체에 대응하는 WB 게인을 인가한다. 추정된 발광체가 일광 발광체인 경우, WB 게인은 다음과 같이 결정될 것이다:
추정된 관련 컬러 온도 (Correlated Color Temperature; CCT) 가 일광 발광체 D1 과 D2 사이인 경우,:
Figure 112007006233566-pct00006
추정된 CCT 가 일광 발광체 D2 와 D3 사이인 경우,:
Figure 112007006233566-pct00007
AWB 프로세스의 일 실시형태를 요약하기 위해, 캡쳐된 이미지는 그레이 영역에 가까운 그러한 영역들을 선택하기 위해 그레이 필터링 될 수 있다. 영역들은 복수의 클러스터들로 파티셔닝될 수 있다. 그 후, 선택된 영역들은 소정의 좌표 시스템으로 맵핑된다. 각 클러스터들의 무게중심은 좌표 시스템 내에서 계산될 수 있다. 하나 이상의 기준 발광체 포인트들은 좌표 시스템 내에서 위치할 수 있다. 각각의 클러스터들의 무게중심과 각각의 기준 발광체 포인트들 사이의 거리가 결정될 수 있다. 각 클러스터들에 대응하는 발광체가 추정될 수 있으며 추정으로부터 최종 발광체가 결정될 수 있다. 화이트 밸런스 게인들은 발광체 및 캡쳐된 이미지에 인가된 화이트 밸런스 게인들에 기초하여 결정될 수 있다.
도 3 은 도 2 의 발광체 기준 모듈 (260) 에 저장되고 컬러 프로세서의 거리 모듈 (250) 에 의해 사용되는, 기준 발광체 포인트를 설정하는 방법 (300) 의 일 실시형태의 플로우차트이다. 이 방법 (300) 은 일반적으로는 외부적으로 수행되는, 기준 발광체를 갖고 그레이 필드를 발광시키는 작용의 예외와 함께, 도 2 의 컬러 프로세서에 의해 수행될 수 있다.
방법 (300) 은 기준 발광체로 그레이 필드가 발광될 때 블록 (310) 에서 시작된다. 기준 발광체는, 예를 들어, 백열광 소스, 할로겐 소스, 텅스텐 소스, 형광 소스, 하루 중 특정 시간에서의 일광, 또는 어떤 다른 조명 소스가 될 수 있다. 그레이 필드는 균등하게 발광되는 플랫 필드가 될 수 있다.
방법은 컬러 프로세서가 이미지를 캡쳐하는 블록 (320) 으로 진행한다. 일 실시형태에서, 컬러 프로세서는 센서 및 렌즈의 결합을 제어함으로써 이미지를 캡쳐한다. 다른 실시형태에서, 컬러 프로세서는, 원격 센서에 의해 캡쳐된 이미지를 수신함으로써 이미지를 캡쳐한다.
이미지를 캡쳐한 후, 컬러 프로세서는 캡쳐된 이미지에 대응하는 발광체 기준 포인트를 설정하기 위해 블록 (330) 으로 진행한다. 일 실시형태에서, 컬러 프로세서는 캡쳐된 이미지에 대해 R/G 및 B/G 비들을 결정할 수 있고, 발광체에 대해 기준 포인트를 나타내는 평균값을 결정할 수 있다.
컬러 프로세서는 그 후 모든 기준 발광체들이 측정되었는지를 결정하기 위해 결정 블록 (340) 으로 진행한다. 모든 기준 발광체들이 측정된 경우, 컬러 프로세서는 블록 (360) 으로 진행하고 완료된다. 결정 블록 (340) 에서, 컬러 프로세서가 전부는 아니지만 발광체가 측정됨을 결정하는 경우, 컬러 프로세서는 다음의 기준 발광체와 함께 그레이 필드의 발광을 기다리기 위해 블록 (310) 으로 복귀한다.
도 4 는 도 1 의 이미지 캡쳐 디바이스에 의해 수행될 수 있는 자동 화이트 밸런스 방법 (400) 의 일 실시형태의 플로우차트이다. 이미지 캡쳐 디바이스는 도 1 의 센서 및 렌즈와 결합한, 도 1 또는 도 2 의 컬러 프로세서를 이용하여 방법 (400) 을 수행할 수 있다.
방법 (400) 은 이미지 캡쳐 디바이스가 이미지를 캡쳐할 때 블록 (410) 에서 시작한다. 이미지 캡쳐 디바이스는 블록 (420) 으로 진행하고 이미지로부터 그레이 픽셀들을 필터링한다. 이미지 캡쳐 디바이스는 그 후 블록 (430) 으로 진행하고 기준 발광체들까지의 거리를 결정한다. 이미지 캡쳐 디바이스는 예를 들어, 각 픽셀로부터 각각의 기준 발광체들까지의 거리, 그레이 픽셀들을 갖는 복수의 영역들 각각으로부터 기준 발광체까지의 거리, 선택된 그레이 픽셀들의 일 서브세트로부터 각각의 기준 발광체들까지의 거리, 그레이 픽셀들의 하나 이상의 그룹화들에 대응하는 하나 이상의 무게중심들로부터 각각의 기준 발광체들까지의 거리, 또는 어떤 다른 거리를 결정할 수 있다.
거리를 결정한 후, 이미지 캡쳐 디바이스는 블록 (440) 으로 진행하고 거리들에 적어도 부분적으로 기초하여 발광체를 결정한다. 예를 들어, 이미지 캡쳐 디바이스는 최단 거리에 기초하여 발광체를 결정할 수 있다. 다른 실시형태에서, 이미지 캡쳐 디바이스는 복수의 클러스터들 각각으로부터, 기준 발광체 또는 기준 발광체에 의해 정의된 발광체까지의 거리들에 부분적으로 기초하여 발광체를 결정할 수 있다.
발광체를 결정한 후, 이미지 캡쳐 디바이스는 블록 (450) 으로 진행하고 캡쳐된 이미지에 화이트 밸런스 게인을 인가한다. 이미지 캡쳐 디바이스는 발광체에 부분적으로 기초하여 화이트 밸런스 게인들을 결정할 수 있다.
도 5 는 도 1 의 이미지 캡쳐 디바이스에 의해 수행될 수 있는 자동 화이트 밸런스 방법 (500) 의 일 실시형태의 플로우차트이다. 도 4 의 자동 화이트 밸런스 방법 (400) 의 경우와 같이, 이미지 캡쳐 디바이스는 도 1 의 센서 및 렌즈와 결합한, 도 1 또는 도 2 의 컬러 프로세서를 이용하여 방법 (500) 을 수행할 수 있다.
방법 (500) 은 이미지 캡쳐 디바이스가, 예를 들어, 렌즈와 결합한 센서를 사용하여 이미지를 캡쳐하는 블록 (510) 에서 시작한다. 센서는 이미지를 R, G, B 성분들로 출력하도록 구성될 수 있다. 이미지를 캡쳐한 후, 이미지 캡쳐 디바이스는 블록 (520) 으로 진행하고, 이미지를 블록의 소정 개수로 파티셔닝하고, 각 영역에 대해 R/G 및 B/G 비를 계산한다. R/G 및 B/G 값은, 예를 들어, 영역들 내의 픽셀들에 대한 평균 R/G 및 B/G 값들이 될 수 있다.
R/G 및 B/G 값들을 계산한 후, 이미지 캡쳐 디바이스는 블록 (530) 으로 진행하고 영역들을 그레이 클러스터들로 파티셔닝한다. 그레이 영역들에 대응하 지 않는 그러한 영역들은 그 이상의 프로세싱에서 배제될 수 있다. 이미지 캡쳐 디바이스는, 예를 들어, 도 6 에서 보여진 바와 같이, 하나 이상의 그레이 영역을 결정하기 위해 소정의 기준에 따라 영역 각각에 대해 계산된 R/G 및 B/G 통계치들을 필터링할 수 있다. 그레이 영역들은 그 이상의 기준에 따라 클러스터들로 더 파티셔닝될 수 있다. 그레이 클러스터들을 결정하기 위한 기준은 센서에 의해 제공된 동일한 R, G, B 컬러 성분들을 사용하여 결정될 수 있고, 또는 Y, Cr, Cb 와 같은 다른 컬러 성분들에 의할 수도 있다. 일부 실시형태에서, 이미지 캡쳐 디바이스는 캡쳐된 이미지를 하나의 컬러 성분 포맷으로부터 다른 컬러 성분 포맷으로 변환한다.
이미지 통계치들을 그레이 클러스터들로 파티셔닝한 후, 이미지 캡쳐 디바이스는 블록 (540) 으로 진행할 수 있고, 필터링된 영역들을 각각의 클러스터로부터 소정의 좌표 시스템 또는 그리드로 양자화할 수 있다. 좌표 시스템은, 예를 들어, R/G 및 B/G 에 기초하여 2 차원의 좌표 시스템이 될 수 있다. 좌표 그리드는 도 7 에서 보여지는 바와 같이, 선형적으로 파티셔닝될 필요는 없으며, 비선형 파티셔닝을 가질 수도 있다. 복수의 기준 발광체들을 가진 좌표 그리드의 일 예와 두 개의 클러스터에 의하여 그룹화된 캡쳐된 이미지로부터의 그레이 영역 데이터가 도 7 에서 보여진다.
이미지 캡쳐 디바이스는 블록 (550) 으로 진행하고 그레이 영역들의 클러스터의 각각의 중심을 결정한다. 이미지 캡쳐 디바이스는, 일 실시형태에서, 클러스터들 각각의 무게중심을 결정할 수 있다. 다른 실시형태에서, 이미지 캡쳐 디바이스는 각 클러스터 내에서 영역들의 가중 평균을 이용하여 각 클러스터의 중심을 결정할 수 있다.
각 클러스터들의 중심을 결정한 후, 이미지 캡쳐 디바이스는 블록 (560) 으로 진행하고 각 클러스터들의 중심으로부터 각각의 기준 발광체들까지의 거리를 결정한다. 일 실시형태에서, 기준 발광체들은 도 7 에서 "A" 로 표시된 기준 포인트에 대응하는 백열광 및 텅스텐 발광체들, 도 7 에서 "F" 로 표시된 기준 포인트에 대응하는 형광 발광체들, 도 7 에서 "D30", "D50", "D70" 으로 표시된 기준 포인트에 대응하는 세 개의 일광들을 포함한다. 세 개의 일광 발광체들은 보간법에 의해 추정된 블랙바디 라인을 형성한다.
이미지 캡쳐 디바이스는 각 클러스터의 중심으로부터 A 기준, F 기준, 일광 발광체들과 만나는 블랙바디 라인 상의 가장 가까운 포인트까지의 거리를 결정하도록 구성될 수 있다.
거리를 결정한 후, 이미지 캡쳐 디바이스는 블록 (570) 으로 진행할 수 있고 각각의 클러스터들에 대해 발광체를 추정할 수 있다. 이미지 캡쳐 디바이스는, 예를 들어, 최단 결정 거리에 대응하는 발광체로서 발광체를 추정할 수 있다.
이미지 캡쳐 디바이스는 그 후 각각의 클러스터들에 대응하는 추정된 발광체에 기초하여 발광체를 결정하기 위해 블록 (580) 으로 진행할 수 있다. 이미지 캡쳐 디바이스는 2 이상의 클러스터에 대해 발광체를 추정할 수 있기 때문에, 추정된 발광체들은 매치되지 않을 수도 있다. 또한, 기준 발광체들 각각에 대한 거리들이 소정의 임계치를 초과하는 경우, 이미지 캡쳐 디바이스는 발광체들을 결정 하지 않을 수도 있다.
추정된 발광체가 매치된다면, 이미지 캡쳐 디바이스는 발광체가 추정된 발광체임을 결정한다. 그러나, 모든 추정된 발광체들이 일광 발광체들인 경우라도, 추정된 발광체들은 블랙바디 라인 상의 상이한 포인트들에 대응될 수도 있다.
추정된 발광체들이 일광이 되는 데에 일치하고 그들의 관련 컬러 온도 (CCT) 차이가 현재값 내에 존재하는 경우, 추정된 CCT 는 두 개의 평균이 될 수 있다. 추정된 발광체들이 일광 발광체가 되는 데에 일치하고 그들의 CCT 차이가 현재값을 초과하는 경우, 추정된 CCT 는 일광 광도, 주지된 시간의 동일한 날짜의 임의의 이전 추정들, 각 클러스터 내의 영역들의 개수를 결정하기 위해, 제한되지 않은 평균 발광성, Y 에 의존할 수도 있다.
클러스터 내에서 그레이 영역들의 결여 때문에 하나 이상의 발광체가 추정되지 않는 조건을 포함하여, 추정된 발광체들이 일치하지 않는 경우, 최종 추정은 다른 요소들에 의존할 수도 있다. 요소들은 영상이 실내인지 실외인지를 결정하기 위해 캡쳐된 이미지로부터 얻은 Cb 및 Cr 히스토그램들을 사용하여 결정된 가능한 영상들의 추정치를 포함한다. 요소들은 실내 또는 실외 환경 중 하나를 결정하는 데에도 사용될 수 있는, 제한되지 않은 평균 발광성, Y, 를 또한 구비할 수 있다. 요소들은 또한 복수의 상이한 기준 발광체들까지의 거리들, 주지된 시간의 동일한 일자의 이전 추정이 존재한다면 그 추정들, 및 각각의 클러스터들에서 인스턴트들의 개수를 포함할 수 있다.
일 실시형태에서, 이미지 캡쳐 디바이스는 계산을 요하는 복잡성 및 메모리 조건에 의존하여, 템플릿 매칭 (template matching) 또는 심플 이프-덴 로직 (simple if-then logic) 또는 전문 시스템을 이용하여 가능한 영상을 결정할 수 있다.
발광체를 결정한 후, 이미지 캡쳐 디바이스는 블록 (590) 으로 진행하고 캡쳐된 이미지에 화이트 밸런스 게인들을 인가한다. 캡쳐된 이미지의 컬러 성분들은 화이트 밸런싱된 이미지를 얻기 위해 화이트 밸런스 게인들에 의해 가중되거나 또는 스케일링될 수 있다.
그레이 계의 가정에 기초하여 이미지 캡쳐 디바이스에서 이미지들의 자동 화이트 밸런스 방법들 및 장치들이 기술된다. 방법들 및 장치들은 복수의 기준 발광체들로부터 캡쳐된 이미지에서 발광체를 결정하기 위해 그레이 계의 가정을 이용할 수 있다. 그 후, 방법들 및 장치들은, 캡쳐된 이미지에서 영상을 발광시키는데 사용된 순수하지 않은 화이트 발광체의 효과들을 보상하기 위해, 캡쳐된 이미지에 인가된 화이트 밸런스 게인들을 결정할 수 있다.
여기에서 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 명령어 제한 컴퓨터 (RISC) 프로세서, 주문형 집적회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 또는 기타 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 여기서 설명된 기능들을 수행하도록 설계되는 이들의 임의의 결합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 또한, 그 프로세서는 임의의 프로세서, 제어기, 마 이크로 제어기, 또는 상태 기계일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 결합, 예를 들어 DSP 와 마이크로프로세서의 결합, 복수의 마이크로프로세서들, DSP 코어와 접속된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성으로 구현될 수도 있다.
소프트웨어 모듈은 RAM 메모리, 플래시 메모리, 비휘발성 (non-volatile) 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 접속되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고, 저장 매체에 정보를 기입할 수 있다. 또한, 저장 매체는 프로세서와 일체형일 수도 있다.
여기서 개시된 실시형태들과 관련하여 설명된 방법, 프로세스, 또는 알고리즘의 단계들은 프로세서에 의해 수행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 방법 또는 프로세스에서의 다양한 단계 들 또는 행동들은 위 순서, 또는 다른 순서로 수행될 수도 있다. 부가적으로, 하나 이상의 프로세스 또는 방법 단계들은 생략될 수도 있으며, 또는 하나 이상의 프로세스 또는 방법 단계들이 방법 및 프로세스에 부가될 수도 있다. 부가적인 단계, 블록, 또는 행동은 시작, 끝, 또는 방법들 및 프로세스들의 존재하는 요소 사이에 부가될 수도 있다.
개시되어 있는 실시형태들에 대한 상기의 설명은 당업자로 하여금 본 발명을 실시 또는 이용할 수 있도록 제공된다. 당업자는 이들 실시형태에 대한 다양한 변형들을 명백히 알 수 있으며, 여기서 정의된 일반적인 원리들은 본 발명의 사상 또는 범위를 벗어나지 않고도 상이한 실시형태들에 적용될 수도 있다. 따라서, 본 발명은 여기서 설명된 실시형태들에 제한되는 것이 아니라, 여기에서 개시된 원리 및 신규한 특징들과 부합하는 최광의의 범위를 부여하려는 것이다.

Claims (40)

  1. 자동 화이트 밸런스 (AWB) 를 수행하는 방법으로서,
    캡쳐된 이미지를 수신하는 단계;
    그레이 픽셀들을 선택하기 위해 상기 캡쳐된 이미지를 필터링하는 단계;
    상기 그레이 픽셀들을 R/G, B/G 좌표 공간으로 변환하는 단계;
    복수의 기준 발광체 포인트들 각각으로부터, 적어도 부분적으로 상기 그레이 픽셀들에서 결정된 좌표 그리드의 위치들까지, 상기 좌표 그리드 상에서의 거리를 결정하는 단계;
    상기 거리들에 부분적으로 기초하여 발광체를 결정하는 단계; 및
    상기 발광체에 부분적으로 기초하여 상기 캡쳐된 이미지에 화이트 밸런스 게인을 인가하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  2. 제 1 항에 있어서,
    상기 캡쳐된 이미지를 수신하는 단계는, 디지털 이미지 파일을 수신하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  3. 제 1 항에 있어서,
    상기 캡쳐된 이미지를 수신하는 단계는, 광학 센서에 의해 캡쳐된 디지털 이미지를 수신하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  4. 제 1 항에 있어서,
    상기 캡쳐된 이미지를 필터링하는 단계는,
    소정의 발광 범위 내에서 발광성을 갖는 상기 캡쳐된 이미지로부터 픽셀들의 제 1 서브세트를 선택하는 단계;
    소정의 범위 내에서 Cb 컬러차 성분을 갖는 픽셀들의 제 2 서브세트를 상기 픽셀들의 제 1 서브세트로부터 선택하는 단계; 및
    소정의 범위 내에서 Cr 컬러차 성분을 갖는 픽셀들의 제 3 서브세트를 상기 픽셀들의 제 2 서브세트로부터 선택하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  5. 제 1 항에 있어서,
    상기 캡쳐된 이미지를 필터링하는 단계는,
    소정의 발광 범위 내에서 발광성을 갖는 상기 캡쳐된 이미지로부터 픽셀들의 제 1 서브세트를 선택하는 단계; 및
    Cb-Cr 도메인에서 정의된 소정의 직사각형 영역 내에 포함된 픽셀들의 제 2 서브세트를 상기 제 1 서브세트로부터 선택하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  6. 제 1 항에 있어서,
    상기 좌표 그리드 상에서의 거리를 결정하는 단계는,
    상기 복수의 기준 발광체 포인트들 중 제 1 기준 발광체 포인트로부터 각 그레이 픽셀까지의 거리에 대응하는 복수의 거리들을 결정하는 단계; 및
    상기 복수의 거리들을 합산하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  7. 제 1 항에 있어서,
    상기 좌표 그리드 상에서의 거리를 결정하는 단계는,
    상기 좌표 그리드에서 상기 그레이 픽셀들 각각의 위치를 결정하는 단계;
    상기 좌표 그리드에서 상기 그레이 픽셀들의 상기 위치에 기초하여 무게중심을 결정하는 단계; 및
    상기 무게중심으로부터 상기 기준 발광체 포인트들 각각까지의 거리를 결정하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  8. 제 1 항에 있어서,
    상기 발광체를 결정하는 단계는, 최단 거리를 갖는 상기 기준 발광체 포인트에 대응하는 발광체를 결정하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  9. 자동 화이트 밸런스 (AWB) 를 수행하는 방법으로서,
    RGB 포맷의 캡쳐된 이미지를 수신하는 단계;
    그레이 픽셀들을 선택하기 위해 상기 캡쳐된 이미지를 필터링하는 단계;
    상기 캡쳐된 이미지에서 상기 그레이 픽셀들 각각에 대한 R/G 및 B/G 비들을 결정하는 단계;
    상기 그레이 픽셀들을 복수의 그레이 클러스터들로 파티셔닝하는 단계;
    상기 R/G 및 B/G 비들을 소정의 좌표 그리드로 양자화하는 단계;
    상기 복수의 그레이 클러스터들 각각에 대해 상기 좌표 그리드 상에서의 중심을 결정하는 단계;
    상기 중심들 각각으로부터 복수의 기준 발광체 포인트들 각각까지 상기 좌표 그리드 상에서의 거리를 결정하는 단계;
    상기 중심들 각각까지의 상기 거리에 부분적으로 기초하여 클러스터 각각에 대해 추정된 발광체를 결정하는 단계;
    복수의 그레이 클러스터들 각각에 대해 상기 추정된 발광체에 부분적으로 기초하여 영상 발광체를 결정하는 단계; 및
    상기 영상 발광체에 부분적으로 기초하여 상기 캡쳐된 이미지에 화이트 밸런스 게인을 인가하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  10. 제 9 항에 있어서,
    그레이 픽셀들을 선택하기 위해서 상기 캡쳐된 이미지를 필터링 하는 단계는,
    상기 캡쳐된 이미지를 YCrCb 포맷으로 변환하는 단계;
    소정의 Y 범위 외에 Y 값들을 갖는 상기 캡쳐된 이미지로부터 픽셀들을 배제 하는 단계; 및
    소정의 Cb 및 Cr 관계 외에 Cb 및 Cr 값들을 갖는 상기 캡쳐된 이미지로부터 픽셀들을 배제하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  11. 제 9 항에 있어서,
    상기 그레이 픽셀들을 파티셔닝하는 단계는,
    상기 그레이 픽셀들의 각각을 복수의 동심의 클러스터들 중 하나로 파티셔닝하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  12. 제 9 항에 있어서,
    상기 R/G 및 B/G 비들을 양자화하는 단계는,
    상기 캡쳐된 이미지를 복수의 영역들로 파티셔닝하는 단계; 및
    상기 영역 내에서 그레이 픽셀들의 일 서브세트에 부분적으로 기초하여 상기 복수의 영역들 각각에 대해 평균 R/G 비 및 평균 B/G 비를 결정하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  13. 제 9 항에 있어서,
    상기 거리를 결정하는 단계는,
    상기 복수의 기준 발광체 포인트들 중 두 개가 만나는 라인까지의 거리를 결정하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  14. 제 9 항에 있어서,
    상기 거리를 결정하는 단계는,
    유클리드 거리를 결정하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  15. 제 9 항에 있어서,
    상기 거리를 결정하는 단계는,
    맨하탄 거리를 결정하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  16. 제 9 항에 있어서,
    상기 추정된 발광체를 결정하는 단계는,
    최단 거리에 대응하는 발광체를 결정하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  17. 제 9 항에 있어서,
    상기 영상 발광체를 결정하는 단계는,
    상기 제 1 의 복수의 그레이 클러스터들에 대응하는 제 1 추정 발광체를 상기 제 2 의 복수의 그레이 클러스터들에 대응하는 제 2 추정 발광체와 비교하는 단계; 및
    상기 제 1 및 제 2 추정 발광체들이 동일한 경우, 상기 영상 발광체가 상기 제 1 추정 발광체임을 결정하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  18. 제 9 항에 있어서,
    상기 영상 발광체를 결정하는 단계는,
    제 1 일광 발광체에 대응하는 제 1 추정 발광체를 결정하는 단계;
    제 2 일광 발광체에 대응하는 제 2 추정 발광체를 결정하는 단계; 및
    상기 제 1 및 제 2 의 일광 발광체들의 평균으로서 상기 영상 발광체를 결정하는 단계를 포함하는, 자동 화이트 밸런스 수행 방법.
  19. 하나 이상의 프로세서 이용가능 명령을 저장하도록 구성된 하나 이상의 프로세서 판독가능 매체로서, 하나 이상의 프로세서에 의해 실행되는 경우,
    RGB 포맷의 캡쳐된 이미지를 수신하는 단계;
    그레이 픽셀들을 선택하기 위해 상기 캡쳐된 이미지를 필터링하는 단계;
    상기 캡쳐된 이미지에서 상기 그레이 픽셀들 각각에 대한 R/G 및 B/G 비들을 결정하는 단계;
    상기 그레이 픽셀을 복수의 그레이 클러스터로 파티셔닝하는 단계;
    상기 R/G 및 B/G 비들을 소정의 좌표 그리드로 양자화하는 단계;
    상기 복수의 그레이 클러스터들 각각에 대해 상기 좌표 그리드 상에서의 중심을 결정하는 단계;
    상기 중심들 각각으로부터 복수의 기준 발광체 포인트들 각각까지 상기 좌표 그리드 상에서의 거리를 결정하는 단계;
    상기 중심들 각각까지의 상기 거리에 부분적으로 기초하여 각 클러스터에 대해 추정된 발광체를 결정하는 단계;
    상기 복수의 그레이 클러스터들 각각에 대해 상기 추정된 발광체에 부분적으로 기초하여 영상 발광체를 결정하는 단계; 및
    상기 영상 발광체에 부분적으로 기초하여 상기 캡쳐된 이미지에 화이트 밸런스 게인을 인가하는 단계를 포함하는 자동 화이트 밸런스 방법을 수행하는, 하나 이상의 프로세서 판독가능 매체.
  20. 자동 화이트 밸런스 (AWB) 를 수행하는 장치로서,
    캡쳐된 이미지를 수신하고, 상기 캡쳐된 이미지로부터 그레이 영역들을 선택하도록 구성된 그레이 필터;
    상기 그레이 필터에 접속되고, 상기 그레이 영역들을 소정의 좌표 그리드로 변환하도록 구성된, 그리드 컨버터;
    상기 그리드 컨버터에 접속되고, 상기 그레이 영역들에 부분적으로 기초하여 하나 이상의 위치로부터 복수의 기준 발광체 포인트들 각각까지 상기 소정의 좌표 그리드 상에서의 거리들을 결정하도록 구성된, 거리 모듈;
    상기 거리 모듈에 접속되고, 상기 거리들에 부분적으로 기초하여 발광체를 결정하도록 구성된, 발광체 추정기; 및
    상기 발광체 추정기에 접속되고, 상기 발광체에 부분적으로 기초한 화이트 밸런스 게인을 상기 캡쳐된 이미지에 인가하도록 구성된, 화이트 밸런스 게인 모듈을 구비하고
    상기 그리드 컨버터는 상기 그레이 영역들을 R/G, B/G 좌표 공간으로 변환하도록 구성되는, 자동 화이트 밸런스 수행 장치.
  21. 제 20 항에 있어서,
    상기 그리드 컨버터에 접속되고 상기 그레이 영역들을 복수의 그레이 클러스터들로 파티셔닝하도록 구성된 클러스터 필터를 더 구비하는, 자동 화이트 밸런스 수행 장치.
  22. 제 20 항에 있어서,
    상기 거리 모듈에 접속되고 상기 복수의 기준 발광체 포인트들의 위치들을 저장하도록 구성된 발광체 기준 모듈을 더 구비하는, 자동 화이트 밸런스 수행 장치.
  23. 제 20 항에 있어서,
    상기 그레이 영역들 각각은 상기 캡쳐된 이미지로부터 실질적으로 동일한 크기의 영역들의 복수그룹 중 하나를 포함하는, 자동 화이트 밸런스 수행 장치.
  24. 제 20 항에 있어서,
    상기 그레이 영역들 각각은 상기 캡쳐된 이미지로부터 픽셀을 포함하는, 자동 화이트 밸런스 수행 장치.
  25. 제 20 항에 있어서,
    상기 그레이 영역들 각각은 상기 캡쳐된 이미지로부터 소정의 개수의 픽셀들을 포함하는, 자동 화이트 밸런스 수행 장치.
  26. 제 20 항에 있어서,
    상기 그레이 필터는,
    Figure 112008044476232-pct00015
    의 부등식들의 세트에 기초하여 상기 그레이 영역들을 선택하도록 구성되고,
    m1-m4 및 c1-c4 값들은, 발광체가 모든 캡쳐된 이미지들에 대해 추정될 수 있도록 필터링된 물체들의 넓은 범위를 유지하면서 상기 필터링된 물체들이 그레이 영역들을 나타내는 것을 보장하도록 선택되는 소정의 상수들을 나타내는, 자동 화이트 밸런스 수행 장치.
  27. 제 20 항에 있어서,
    상기 그레이 필터는 소정의 범위 내에서 발광성을 갖는 상기 그레이 영역들을 선택하도록 구성된, 자동 화이트 밸런스 수행 장치.
  28. 삭제
  29. 제 20 항에 있어서,
    상기 하나 이상의 위치 각각은 상기 그레이 영역들의 일 서브세트의 무게중심을 포함하는, 자동 화이트 밸런스 수행 장치.
  30. 제 20 항에 있어서,
    상기 하나 이상의 위치 각각은 R/G, B/G 좌표 공간에서 상기 그레이 영역들 중 하나의 위치를 포함하는, 자동 화이트 밸런스 수행 장치.
  31. 제 20 항에 있어서,
    상기 거리들 중 적어도 하나는 그레이 영역들의 일 서브세트의 무게중심으로부터 기준 발광체 포인트까지의 거리를 포함하는, 자동 화이트 밸런스 수행 장치.
  32. 제 20 항에 있어서,
    상기 거리들 중에 적어도 하나는 그레이 영역들의 일 서브세트의 무게중심으로부터 상기 복수의 기준 발광체 포인트들 중 두 개가 만나는 라인까지의 거리를 포함하는, 자동 화이트 밸런스 수행 장치.
  33. 제 20 항에 있어서,
    상기 복수의 기준 발광체 포인트들은 백열광 기준 발광체 포인트를 포함하는, 자동 화이트 밸런스 수행 장치.
  34. 제 20 항에 있어서,
    상기 복수의 기준 발광체 포인트들은 형광 기준 발광체 포인트를 포함하는, 자동 화이트 밸런스 수행 장치.
  35. 제 20 항에 있어서,
    상기 복수의 기준 발광체 포인트들은 일광 기준 발광체 포인트를 포함하는, 자동 화이트 밸런스 수행 장치.
  36. 자동 화이트 밸런스 (AWB) 를 수행하는 장치로서,
    캡쳐된 이미지를 수신하는 수단;
    그레이 픽셀들을 선택하기 위하여 상기 캡쳐된 이미지를 필터링하는 수단;
    상기 그레이 픽셀들을 R/G, B/G 좌표 공간으로 변환하는 수단;
    복수의 기준 발광체 포인트들 각각으로부터 상기 그레이 픽셀들에서 적어도 부분적으로 결정된 좌표 그리드에서의 위치까지의 좌표 그리드 상에서의 거리를 결정하는 수단;
    상기 거리들에 부분적으로 기초하여 발광체를 결정하는 수단; 및
    상기 발광체에 부분적으로 기초하여 상기 캡쳐된 이미지에 화이트 밸런스 게인을 인가하는 수단을 구비하는, 자동 화이트 밸런스 수행 장치.
  37. 제 36 항에 있어서,
    상기 캡쳐된 이미지를 생성하는 수단을 더 구비하는, 자동 화이트 밸런스 수행 장치.
  38. 제 36 항에 있어서,
    상기 필터링하는 수단은,
    소정의 발광 범위 내에서 발광성을 갖는 상기 캡쳐된 이미지로부터 픽셀들의 제 1 서브세트를 선택하는 수단;
    소정의 범위 내에서 Cb 컬러차 성분을 갖는 픽셀들의 제 2 서브세트를 상기 픽셀들의 제 1 서브세트로부터 선택하는 수단; 및
    소정의 범위 내에서 Cr 컬러차 성분을 갖는 픽셀들의 제 3 서브세트를 상기 픽셀들의 제 2 서브세트로부터 선택하는 수단을 구비하는, 자동 화이트 밸런스 수행 장치.
  39. 제 36 항에 있어서,
    상기 필터링하는 수단은,
    상기 캡쳐된 이미지를 YCrCb 포맷으로 변환하는 수단;
    소정의 Y 범위 외에 Y 값들을 갖는 상기 캡쳐된 이미지로부터 픽셀들을 배제하는 수단; 및
    소정의 Cb 및 Cr 관계 외에 Cb 및 Cr 값들을 갖는 상기 캡쳐된 이미지로부터 픽셀들을 배제하는 수단을 구비하는, 자동 화이트 밸런스 수행 장치.
  40. 제 36 항에 있어서,
    상기 복수의 기준 발광체 포인트들까지의 상기 거리를 결정하는 상기 수단 은,
    상기 좌표 그리드 상에서 상기 그레이 픽셀들 각각의 위치를 결정하는 수단;
    상기 좌표 그리드 상에서 상기 그레이 픽셀들의 일 서브세트의 위치들에 기초하여 무게중심을 결정하는 수단; 및
    상기 무게중심으로부터 상기 복수의 기준 발광체 포인트들 각각까지의 거리를 결정하는 수단을 구비하는, 자동 화이트 밸런스 수행 장치.
KR1020077001529A 2004-06-25 2005-06-24 자동 화이트 밸런스 방법 및 장치 KR100879484B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US58314404P 2004-06-25 2004-06-25
US60/583,144 2004-06-25
US11/043,572 US7728880B2 (en) 2004-06-25 2005-01-25 Automatic white balance method and apparatus
US11/043,572 2005-01-25

Publications (2)

Publication Number Publication Date
KR20070026836A KR20070026836A (ko) 2007-03-08
KR100879484B1 true KR100879484B1 (ko) 2009-01-20

Family

ID=34993285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077001529A KR100879484B1 (ko) 2004-06-25 2005-06-24 자동 화이트 밸런스 방법 및 장치

Country Status (6)

Country Link
US (1) US7728880B2 (ko)
EP (1) EP1774797B1 (ko)
JP (1) JP2008504751A (ko)
KR (1) KR100879484B1 (ko)
CN (1) CN1994000B (ko)
WO (1) WO2006004701A1 (ko)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499081B2 (en) * 2003-04-30 2009-03-03 Hewlett-Packard Development Company, L.P. Digital video imaging devices and methods of processing image data of different moments in time
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
JP4464241B2 (ja) * 2004-10-12 2010-05-19 Ｈｏｙａ株式会社 ホワイトバランス調整装置
JP4329125B2 (ja) * 2005-02-09 2009-09-09 富士フイルム株式会社 ホワイトバランス制御方法、ホワイトバランス制御装置及び撮像装置
US20070047803A1 (en) * 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US7808531B2 (en) * 2005-12-14 2010-10-05 Samsung Electronics Co., Ltd. Method and apparatus for auto white controlling
US20070153304A1 (en) * 2005-12-29 2007-07-05 Micron Technologoy, Inc. Method and apparatus for gray value identification for white balance
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US7710472B2 (en) * 2006-05-01 2010-05-04 Warner Bros. Entertainment Inc. Detection and/or correction of suppressed signal defects in moving images
JP4815267B2 (ja) * 2006-05-11 2011-11-16 オリンパスイメージング株式会社 ホワイトバランス制御方法、撮像装置、及びホワイトバランス制御プログラム
KR100809344B1 (ko) * 2006-05-26 2008-03-05 삼성전자주식회사 자동 백색 밸런싱 방법 및 장치
US7724982B2 (en) * 2006-06-22 2010-05-25 Qualcomm Incorporated Estimation of lighting conditions based on near-gray pixel detection using cylindrical boundaries
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
US7912279B2 (en) 2006-10-26 2011-03-22 Qualcomm Incorporated Automatic white balance statistics collection
KR100841429B1 (ko) * 2006-11-30 2008-06-25 삼성전기주식회사 화이트 밸런스 자동 조정장치 및 그 방법
US7889245B2 (en) * 2007-01-12 2011-02-15 Seiko Epson Corporation Automatic white balancing of a digital image
US8723969B2 (en) 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
US7800783B2 (en) * 2007-05-25 2010-09-21 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Auto white balancing by modified grey world and geometric distortion measurement
JP4668956B2 (ja) * 2007-06-29 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5066398B2 (ja) * 2007-06-29 2012-11-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
JP2009105579A (ja) * 2007-10-22 2009-05-14 Sony Corp 色信号処理回路、撮像装置及び色信号処理方法
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US9013596B2 (en) * 2008-09-24 2015-04-21 Nikon Corporation Automatic illuminant estimation that incorporates apparatus setting and intrinsic color casting information
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
KR101516963B1 (ko) * 2008-12-11 2015-05-04 삼성전자주식회사 유효 영역을 이용한 자동 화이트 밸런스 조정 장치 및 방법
KR101536191B1 (ko) * 2008-12-16 2015-07-13 삼성전자주식회사 컬러 재현 장치 및 컬러 재현 방법
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US20100321521A1 (en) * 2009-06-23 2010-12-23 Chung-Hao Chang Method of automatic white-balance calibration
KR101590771B1 (ko) * 2009-08-27 2016-02-02 삼성전자주식회사 유효 영역 검출을 통한 자동 화이트 밸런스 조정 장치 및 방법
US8698918B2 (en) * 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
CN101894541A (zh) * 2009-12-31 2010-11-24 四川虹欧显示器件有限公司 校正显示器件色温的方法与系统
KR101650842B1 (ko) * 2010-05-27 2016-08-25 삼성전자주식회사 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
JP5338762B2 (ja) * 2010-07-14 2013-11-13 株式会社豊田中央研究所 ホワイトバランス係数算出装置及びプログラム
CN101917633B (zh) * 2010-09-01 2012-09-05 杭州海康威视软件有限公司 图像的白平衡处理方法、装置及摄像机
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
JP5761946B2 (ja) 2010-09-02 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
US8675957B2 (en) 2010-11-18 2014-03-18 Ebay, Inc. Image quality assessment to merchandise an item
EP2700081B1 (en) 2011-04-22 2022-11-02 ASML Netherlands B.V. Network architecture for lithography machine cluster
US8780225B2 (en) 2011-10-12 2014-07-15 Apple Inc. Use of noise-optimized selection criteria to calculate scene white points
KR102338833B1 (ko) 2012-02-06 2021-12-13 인히브릭스, 인크. Cd47 항체 및 그 사용 방법
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
CN102883168A (zh) * 2012-07-05 2013-01-16 上海大学 一种针对非典型特征图像的白平衡处理方法
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) * 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US8854709B1 (en) * 2013-05-08 2014-10-07 Omnivision Technologies, Inc. Automatic white balance based on dynamic mapping
CN103313068B (zh) * 2013-05-29 2017-02-08 湖南源信光电科技有限公司 基于灰边缘约束灰世界的白平衡校正图像处理方法及装置
US9418400B2 (en) 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
CN103491356A (zh) * 2013-09-24 2014-01-01 深圳市欧珀通信软件有限公司 一种通过触点进行白平衡校正的方法及移动智能终端
US9424628B2 (en) 2014-06-19 2016-08-23 Microsoft Technology Licensing, Llc Identifying gray regions for auto white balancing
US9696470B2 (en) * 2015-03-04 2017-07-04 Microsoft Technology Licensing, Llc Sensing images and light sources via visible light filters
CN105828058B (zh) * 2015-05-29 2019-02-15 维沃移动通信有限公司 一种白平衡的调整方法和装置
KR102346522B1 (ko) 2015-09-10 2022-01-03 삼성전자주식회사 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
US9824289B2 (en) * 2015-12-07 2017-11-21 Conduent Business Services, Llc Exploiting color for license plate recognition
CN105894458A (zh) * 2015-12-08 2016-08-24 乐视移动智能信息技术（北京）有限公司 一种具有人脸的图像处理方法和装置
WO2017186071A1 (en) * 2016-04-25 2017-11-02 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and media for image white balance adjustment
TWI573467B (zh) * 2016-05-20 2017-03-01 Chipone Technology (Beijing)Co Ltd The white balance correction method and the digital image device of the digital image device
CN106131526B (zh) * 2016-07-13 2018-11-16 凌云光技术集团有限责任公司 一种基于rgb空间的白平衡处理方法及装置
KR102494587B1 (ko) * 2016-07-20 2023-02-03 삼성전자주식회사 영상 처리를 위한 디스플레이 장치 및 방법
CN107105211A (zh) * 2017-03-22 2017-08-29 建荣半导体（深圳）有限公司 一种白平衡修正方法、装置及电子设备
CN108540787B (zh) * 2018-03-16 2019-09-17 浙江大华技术股份有限公司 一种确定白平衡点区域的方法、装置、设备及存储介质
CN108848363A (zh) * 2018-05-31 2018-11-20 江苏乙生态农业科技有限公司 一种适用于大场景的自动白平衡方法
EP3803332A1 (en) 2018-06-01 2021-04-14 NanoView Biosciences, Inc. Compositions, systems, and methods for enhanced label-free and fluorescence - based detection of nanoparticles
CN109348207B (zh) * 2018-11-28 2020-12-25 Oppo广东移动通信有限公司 色温调节方法、图像处理方法及装置、介质和电子设备
CN113452981B (zh) * 2020-03-24 2022-08-09 RealMe重庆移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN114071107B (zh) * 2020-08-10 2023-10-31 合肥君正科技有限公司 基于融合聚类分析与色温曲线的自动白平衡方法及装置
WO2022067761A1 (zh) * 2020-09-30 2022-04-07 深圳市大疆创新科技有限公司 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
CN113068016B (zh) * 2021-04-02 2023-03-24 杭州涂鸦信息技术有限公司 白平衡校正方法、装置和计算机设备
US11606544B2 (en) * 2021-06-08 2023-03-14 Black Sesame Technologies Inc. Neural network based auto-white-balancing
CN114866755B (zh) * 2022-05-17 2023-12-19 北京奕斯伟计算技术股份有限公司 自动白平衡方法、装置和计算机存储介质、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644406A (en) * 1995-05-11 1997-07-01 Xerox Corporation Method for selecting an optimum encoding process for a block of pixels from a plurality of predefined encoding processes
WO2002007426A2 (en) * 2000-07-18 2002-01-24 Sony Electronics, Inc. Color cast detection and removal in digital images
US20030052978A1 (en) * 2001-06-25 2003-03-20 Nasser Kehtarnavaz Automatic white balancing via illuminant scoring autoexposure by neural network mapping
US20030184659A1 (en) * 2002-04-02 2003-10-02 Michael Skow Digital color image pre-processing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69217276T2 (de) * 1991-06-20 1997-12-04 Matsushita Electric Ind Co Ltd Einrichtungen zur Beurteilung der Qualität eines Bildes
JPH07162890A (ja) 1993-12-08 1995-06-23 Matsushita Electric Ind Co Ltd ホワイトバランス調整装置
JP3903083B2 (ja) * 1999-03-11 2007-04-11 富士フイルム株式会社 画像処理装置、方法及び記録媒体
US6791606B1 (en) * 2000-05-09 2004-09-14 Eastman Kodak Company Auto white balancing apparatus and method
US6788813B2 (en) * 2000-10-27 2004-09-07 Sony Corporation System and method for effectively performing a white balance operation
US7146041B2 (en) * 2001-11-08 2006-12-05 Fuji Photo Film Co., Ltd. Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded
US7162078B2 (en) * 2002-12-20 2007-01-09 Fast Link Communication Corp. Automatic white balance correction method for image capturing apparatus
US7423779B2 (en) * 2004-03-30 2008-09-09 Omnivision Technologies, Inc. Method and apparatus for automatic white balance
KR101092539B1 (ko) * 2005-02-18 2011-12-14 삼성전자주식회사 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법
US8064110B2 (en) * 2005-12-08 2011-11-22 Qualcomm Incorporated Adaptive auto white balance
US7912279B2 (en) * 2006-10-26 2011-03-22 Qualcomm Incorporated Automatic white balance statistics collection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644406A (en) * 1995-05-11 1997-07-01 Xerox Corporation Method for selecting an optimum encoding process for a block of pixels from a plurality of predefined encoding processes
WO2002007426A2 (en) * 2000-07-18 2002-01-24 Sony Electronics, Inc. Color cast detection and removal in digital images
US20030052978A1 (en) * 2001-06-25 2003-03-20 Nasser Kehtarnavaz Automatic white balancing via illuminant scoring autoexposure by neural network mapping
US20030184659A1 (en) * 2002-04-02 2003-10-02 Michael Skow Digital color image pre-processing

Also Published As

Publication number Publication date
KR20070026836A (ko) 2007-03-08
CN1994000A (zh) 2007-07-04
WO2006004701A1 (en) 2006-01-12
EP1774797A1 (en) 2007-04-18
CN1994000B (zh) 2011-08-10
JP2008504751A (ja) 2008-02-14
US7728880B2 (en) 2010-06-01
US20050286097A1 (en) 2005-12-29
EP1774797B1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
KR100879484B1 (ko) 자동 화이트 밸런스 방법 및 장치
US7912279B2 (en) Automatic white balance statistics collection
CN109151426B (zh) 一种白平衡调整方法、装置、相机及介质
US6995791B2 (en) Automatic white balance for digital imaging
US8035728B2 (en) Method and apparatus providing rule-based auto exposure technique preserving scene dynamic range
US7084907B2 (en) Image-capturing device
EP2426928B1 (en) Image processing apparatus, image processing method and program
US8243164B2 (en) Method, apparatus, and system for selecting pixels for automatic white balance processing
KR101360543B1 (ko) 자동 백라이트 검출
US8629919B2 (en) Image capture with identification of illuminant
JP2009506700A (ja) オートホワイトバランスを備える画像処理装置
KR20030023544A (ko) 백색 밸런스를 얻기 위한 조명광의 색추정 방법 및 촬상장치
US7486819B2 (en) Sampling images for color balance information
US11889202B2 (en) Image processing apparatus, image processing method, and storage medium
US20090244316A1 (en) Automatic white balance control
US20070041064A1 (en) Image sampling method for automatic white balance
EP1406454A1 (en) Automatic white balance technique
JP3958700B2 (ja) デジタルカメラ
WO2022032666A1 (zh) 处理图像的方法和相关装置
JP2015119436A (ja) 撮像装置
TW201733349A (zh) 影像處理方法及具有照相功能的電子裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181227

Year of fee payment: 11