KR20170030933A

KR20170030933A - 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법

Info

Publication number: KR20170030933A
Application number: KR1020150128483A
Authority: KR
Inventors: 조주현
Original assignee: 삼성전자주식회사
Priority date: 2015-09-10
Filing date: 2015-09-10
Publication date: 2017-03-20
Also published as: US20170078636A1; US9979944B2; TWI689206B; KR102346522B1; TW201717612A; CN106534821A; CN106534821B

Abstract

본 발명의 실시 예에 따른 영상 장치의 이미지 센서로부터 제공되는 이미지 데이터의 자동 화이트 밸런싱 방법은, 상기 이미지 데이터에 포함되는 복수의 블록들에 대한 분산을 계산하고, 계산된 분산이 임계치보다 높은 블록들을 선택하는 단계, 상기 선택된 블록에 포함되는 패치들 중에서 색 공간에 정의된 그레이 영역에 포함되는 패치들을 선택하는 단계, 상기 그레이 영역의 패치들에 대해서 상기 색 공간에서의 제 1 평균치를 상기 분산을 가중치로 적용하여 조정하고, 상기 조정된 제 2 평균치를 참조하여 선택된 패치들 중에서 휘도 분포도에서 특정 분포에 속하는 제 1 패치 후보들을 선택하는 단계, 상기 그레이 영역에서 어느 하나의 앵커 포인트에 대응하는 축소 그레이 영역을 선택하고, 상기 제 1 패치 후보들 중에서 상기 축소 그레이 영역에 포함되는 패치들에 대해 색 공간 및 휘도 공간에서의 특정 기준 이상의 분포를 갖는 제 2 패치 후보들을 선택하는 단계, 그리고 상기 제 1 패치 후보들과 상기 제 2 패치 후보들로부터 각각 추출된 제 1 RGB 이득과 제 2 RGB 이득을 조합하여 상기 이미지 데이터의 최종 이득을 계산하는 단계를 포함한다.

Description

영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법{IMAGE PROCESSING DEVICE AND AUTO WHITE BALANCING METOHD THEREOF}

본 발명은 영상처리 장치에 관한 것으로, 좀 더 구체적으로는 통계적 기법에 따른 자동 화이트 밸런스 조정 방법에 관한 것이다.

화이트 밸런스 조정(White balance)은 입력된 이미지에서 화이트로 판단되는 픽셀이나 패치를 결정하고, 결정된 픽셀이나 패치의 색차 성분(R 또는 B)의 이득으로 전체 이미지의 색감을 조정하기 위한 기술이다. 화이트 밸런스 조정을 위해 입력된 영상 데이터에서 광원(Illuminant)에 의한 피사체의 색 변화가 가장 큰 화이트 패치(Patch)를 검출하고, 검출된 패치(또는, 픽셀)의 RGB 비율로 색온도를 판단한다. 그 이후에, 검출된 색온도에 따른 영상의 R(Red)과 B(Blue)의 이득을 조정으로써 전체 색감을 시프트(Shift)시켜 색 밸런스를 맞추는 색보정이 수행된다.

일반적으로 디지털 카메라와 같은 다양한 종류의 영상 촬영 장치를 사용하여 동일한 피사체를 촬영할 경우, 백색 램프, 형광 조명등, 태양광 아래 등 여러 가지 광원의 조건에 따라 촬영된 색의 겉보기는 달라지게 된다. 사람의 눈은 각각의 광원에 순응하여 화이트를 화이트로 느낄 수 있는 칼라 항상성(Color constancy)을 가지나, 영상 장치는 색온도(Color temperature)가 상이한 광원에 포함된 RGB 성분에 따라 피사체를 인식하게 된다. 광원의 색온도가 높을 경우에는 푸른색이 포함된 화이트를 재현하고, 색온도가 낮은 경우에는 붉은색이 포함된 화이트를 재현하게 된다.

따라서, 광원에 의해 색온도가 변한 경우에 화이트가 희게 보이도록 하는 화이트 밸런스 조정이 필요하다. 예를 들어, 푸른 색이 포함된 화이트에서는 적색(R)의 이득을 증가시키고 청색(B)의 이득을 감소시키도록 조정해야 한다. 반면, 적색(R)이 포함된 화이트에서는 청색(B)의 이득을 증가시키고 적색(R)의 이득을 감소시키도록 조정할 필요가 있다. 이러한 화이트 밸런스를 정확하게 조정하기 위해서는 기준이 되는 화이트 성분을 정확하게 검출하여야 한다. 하지만, 정확한 화이트 성분의 검출을 위해서는 여전히 복잡한 고비용의 자동 화이트 밸런스(AWB) 알고리즘이 사용되고 있다. 따라서, 모바일 트랜드에 적합한 고속 및 저전력의 자동 화이트 밸런싱 알고리즘 또는 장치의 구현이 절실한 실정이다.

본 발명의 목적은 이미지 데이터의 화이트 성분을 검출하는 데 있어서 소요되는 비용을 줄이고도 높은 정확도를 제공할 수 있는 이미지 처리 장치 및 그것의 자동 화이트 밸런싱 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 영상 장치의 이미지 센서로부터 제공되는 이미지 데이터의 자동 화이트 밸런싱 방법은, 상기 이미지 데이터에 포함되는 복수의 블록들에 대한 분산을 계산하고, 계산된 분산이 임계치보다 높은 블록들을 선택하는 단계, 상기 선택된 블록에 포함되는 패치들 중에서 색 공간에 정의된 그레이 영역에 포함되는 패치들을 선택하는 단계, 상기 그레이 영역의 패치들에 대해서 상기 색 공간에서의 제 1 평균치를 상기 분산을 가중치로 적용하여 조정하고, 상기 조정된 제 2 평균치를 참조하여 선택된 패치들 중에서 휘도 분포도에서 특정 분포에 속하는 제 1 패치 후보들을 선택하는 단계, 상기 그레이 영역에서 어느 하나의 앵커 포인트에 대응하는 축소 그레이 영역을 선택하고, 상기 제 1 패치 후보들 중에서 상기 축소 그레이 영역에 포함되는 패치들에 대해 색 공간 및 휘도 공간에서의 특정 기준 이상의 분포를 갖는 제 2 패치 후보들을 선택하는 단계, 그리고 상기 제 1 패치 후보들과 상기 제 2 패치 후보들로부터 각각 추출된 제 1 RGB 이득과 제 2 RGB 이득을 조합하여 상기 이미지 데이터의 최종 이득을 계산하는 단계를 포함한다.

상기 목적을 달성하기 위한 본 발명에 따른 영상 처리 장치는, 입사되는 영상을 센싱하여 이미지 데이터로 출력하는 이미지 센서, 그리고 상기 이미지 데이터를 복수의 블록들로 구분하고, 각각의 블록들에 대한 색 공간에서의 분산이 임계치보다 높은 블록들을 선택하고, 상기 선택된 블록에 포함되는 패치들 중에서 상기 색 공간에 정의된 그레이 영역에 포함되는 패치들을 선택하고, 상기 그레이 영역에 포함되는 패치들에 대한 색 공간에서의 평균 이동 및 휘도 공간에서의 범위 선택을 수행하여 제 1 RGB 이득을 계산하고, 상기 그레이 영역 중에서 특정 앵커 포인트에 대응하는 축소 그레이 영역에 포함되는 패치들에 대한 색 공간에서의 평균 이동 및 휘도 공간에서의 범위 선택을 수행하여 제 2 RGB 이득을 계산하는 이미지 신호 프로세서를 포함하되, 상기 이미지 신호 프로세서는 상기 제 1 RGB 이득과 상기 제 2 RGB 이득을 조합하여 상기 이미지 데이터의 자동 화이트 밸런싱을 위한 색성분의 이득으로 제공한다.

상기 목적을 달성하기 위한 본 발명에 따른 영상 처리 장치의 이미지 데이터의 자동 화이트 밸런싱 방법은, 상기 이미지 데이터를 복수의 이미지 단위로 구분하고, 구분된 각각의 이미지 단위에 대한 색 공간에서의 분산을 구하는 단계, 상기 복수의 이미지 단위들 중에서 분산이 임계치를 초과하는 이미지 단위들을 선택하고, 상기 선택된 이미지 단위들 중에서 미리 결정된 그레이 영역에 포함되는 이미지 단위들을 선택하는 단계, 상기 그레이 영역에 포함되는 이미지 단위들에 대한 색 공간 또는 휘도 공간에서 특정 신뢰도 이상에 대응하는 제 1 후보 단위들을 선택하는 단계, 상기 제 1 후보 단위들 중에서 상기 그레이 영역보다 좁은 축소된 그레이 영역에 포함되는 이미지 단위들을 선택하는 단계, 그리고 상기 축소된 그레이 영역에 포함되는 이미지 단위들에 대한 색 공간 또는 휘도 공간에서 특정 신뢰도 이상에 해당하는 제 2 후보 단위들을 선택하는 단계를 포함하되, 상기 색 공간에서 특정 신뢰도 이상의 이미지 단위를 선택하는 동작에서 상기 분산을 가중치로 적용한 평균 이동 연산이 수행된다.

이상과 같은 본 발명의 실시 예에 따르면, 알고리즘의 복잡도를 획기적으로 줄이고도 높은 정확도의 자동 화이트 밸런싱 기능을 제공하는 영상 장치를 구현할 수 있다.

도 1은 본 발명의 본 발명의 실시 예에 따른 영상 처리 장치(100)를 보여주는 블록도이다.
도 2는 본 발명의 하이브리드 자동 화이트 밸런싱 방법을 간략히 보여주는 순서도이다.
도 3은 도 2에서 설명된 이미지의 블록 및 패치에 대한 정의를 보여주는 블록도이다.
도 4는 본 발명의 그레이 영역을 선택하는 방법을 보여주는 도면이다.
도 5는 도 2의 S130 단계를 좀더 구체적으로 보여주는 순서도이다.
도 6은 도 5에서 설명된 평균 이동 연산을 예시적으로 보여주기 위한 패치들의 분포도이다.
도 7은 도 5에서 설명된 패치들의 휘도 공간에서의 통계적 처리를 보여주기 위한 분포도이다.
도 8은 색 공간에서의 평균 이동 연산과 휘도 공간에서의 통계 기법에 의해서 선택되는 패치들의 그레이 영역에서의 분포를 보여주는 도면이다.
도 9는 도 2의 S140 단계를 좀더 구체적으로 보여주는 순서도이다.
도 10은 본 발명의 축소 그레이 영역(Shrinked gray zone)을 보여주는 도면이다.
도 11은 본 발명의 실시 예에 따른 하이브리드 자동 화이트 밸런싱을 수행하는 전자 시스템을 보여주는 블록도이다.

앞의 일반적인 설명 및 다음의 상세한 설명 모두 예시적이라는 것이 이해되어야 하며, 청구된 발명의 부가적인 설명이 제공되는 것으로 여겨져야 한다. 참조 부호들이 본 발명의 바람직한 실시 예들에 상세히 표시되어 있으며, 그것의 예들이 참조 도면들에 표시되어 있다. 가능한 어떤 경우에도, 동일한 참조 번호들이 동일한 또는 유사한 부분을 참조하기 위해서 설명 및 도면들에 사용된다.

이하에서는, 이미지 신호 프로세서(Image Signal Processor: 이하, ISP)가 본 발명의 특징 및 기능을 설명하기 위한 예로서 사용될 것이다. 하지만, 이 기술 분야에 정통한 사람은 여기에 기재된 내용에 따라 본 발명의 다른 이점들 및 성능을 쉽게 이해할 수 있을 것이다. 본 발명은 다른 실시 예들을 통해 또한, 구현되거나 적용될 수 있을 것이다. 게다가, 상세한 설명은 본 발명의 범위, 기술적 사상 그리고 다른 목적으로부터 상당히 벗어나지 않고 관점 및 응용에 따라 수정되거나 변경될 수 있다.

도 1은 본 발명의 본 발명의 실시 예에 따른 영상 처리 장치(100)를 보여주는 블록도이다. 도 1을 참조하면, 영상 처리 장치(100)는 렌즈(110), 이미지 센서(120), 이미지 신호 프로세서(ISP, 130)를 포함할 수 있다.

렌즈(110)는 피사체의 영상을 이미지 센서(120)에 집속시켜 전달할 것이다.

이미지 센서(120)는 렌즈(110)를 통해서 전달되는 피사체의 이미지를 센싱하여 디지털 데이터로 저장할 수 있다. 이미지 센서(120)는 행들 및 열들 방향으로 배열된 복수의 이미지 센서 픽셀들을 포함할 수 있다. 이미지 센서(120)는 CCD (Charge Coupled Device) 또는 CIS(CMOS Image Sensor)를 포함할 수 있다. 이미지 센서(120)는 대상을 촬영하여 이미지 데이터(예를 들면, Bayer image data) 출력할 수 있다. 이미지 데이터는 예를 들면, RGB 방식으로 색과 명암을 표현한 데이터이거나 또는 YUV 방식으로 색과 명암을 표현한 데이터일 수 있다.

이미지 신호 프로세서(130)는 이미지 센서(120)로부터 이미지 데이터(Image data)를 수신하고, 수신된 이미지 데이터를 처리하여 화이트 밸린싱된 이미지 데이터로 출력할 수 있다. 이미지 신호 프로세서(130)는 본 발명의 하이브리드 자동 화이트 밸런싱 알고리즘(135)을 구동할 수 있다. 하이브리드 자동 화이트 밸런싱 알고리즘(135)에 따르면, 먼저 이미지를 이루는 복수의 블록들에 대한 색 공간에서의 블록 분산(Block variance)이 계산된다. 이후, 기준치 미만의 분산을 갖는 블록들은 본 발명의 화이트 밸런싱을 위해 선택되는 블록으로부터 배제될 것이다.

이미지 신호 프로세서(130)는 선택된 블록들 중에서도 색 공간에 미리 설정된 그레이 영역(Gray zone)에 포함되는 것들만을 선택한다. 그레이 영역(Gray zone)에 포함되는 패치들에 대해서는 통계 기법을 이용한 평균 이동(Mean shift) 연산이 수행될 것이다. 그리고 평균 이동 연산을 통해서 선택된 패치들 중에서 특정 범위의 휘도 공간에서 포함되는 것들이 선택되고, 선택된 패치 후보들로부터 제 1 RGB 이득이 계산될 것이다.

이미지 신호 프로세서(130)는 제 1 RGB 이득에 사용된 패치들 중에서 축소 그레이 영역(Shrinked gray zone)을 정의하고, 축소 그레이 영역(Shrinked gray zone)에 포함되는 패치들에 대해서 평균 이동 연산, 휘도 공간에서 특정 휘도 범위에 속하는 것들이 다시 선택된다. 그리고 축소 그레이 영역(Shrinked gray zone)으로부터 선택된 패치들로부터 제 2 RGB 이득이 계산될 것이다.

이미지 신호 프로세서(130)는 상술한 제 1 RGB 이득과 제 2 RGB 이득에 앞서 계산된 블록 분산을 가중치로 적용할 것이다. 그리고 이미지 신호 프로세서(130)는 제 1 RGB 이득과 제 2 RGB 이득에 블록 분산을 가중치로 적용하여 생성된 최종 RGB 이득을 이미지의 색재현 및 밝기 조정을 위한 제어 신호로 사용할 것이다. 이러한 자동 화이트 밸런싱 동작은 이미지 신호 프로세서(130)에 포함되는 하이브리드 자동 화이트 밸런싱 모듈(135)에 의해서 구현될 수 있다. 하이브리드 자동 화이트 밸런싱 모듈(135)은 하드웨어 형태로 구현되거나, 펌웨어와 같은 소프트웨어 형태로 제공될 수 있다.

본 발명의 하이브리드 자동 화이트 밸런싱 모듈(135)을 적용하면, 다양한 광원 환경에서도 효과적으로 색체 성분을 필터링하여 높은 정확도의 화이트 밸런싱이 가능하다. 더불어, RGB 이득을 추출하기 위한 연산이 간단하고 간결하여 고속의 화이트 밸런싱이 가능하다.

도 2는 본 발명의 하이브리드 자동 화이트 밸런싱 방법을 간략히 보여주는 순서도이다. 도 2를 참조하면, 수신된 이미지 데이터(Image data)에 대한 색 공간에서의 그레이 영역 결정 및 통계 기법을 혼합 적용한 최적 화이트 밸런싱이 가능하다.

S110 단계에서, 본 발명의 이미지 신호 프로세서(130, 도 1 참조)는 이미지 센서(120)로부터 이미지 데이터(Image data)를 수신한다. 이미지 센서(120)에 의해서 감지 및 출력된 이미지 데이터(Image data)는 RGB 신호나 YUV 신호일 수 있다. 이미지 데이터(Image data)에는 여전히 노이즈가 포함되어 있을 수 있다. 특히, 이미지의 색 공간에서 상대적으로 색 비중이 큰 물체에 기인하거나, 광원(Illuminant)의 색 온도 차에서 발생하는 왜곡된 색 정보가 이미지 데이터(Image data)에 포함될 수 있다. 이러한 색 온도 차이나 지배적인 색에 의한 왜곡은 이미지 센서(120)의 상태나 종류에 따라서도 가변적일 수 있다.

S120 단계에서, 이미지 데이터에 대한 블록 분산(Block Variance)이 계산될 것이다. 하나의 이미지는 복수의 블록들로 구분될 수 있다. 그리고 각각의 블록들은 복수의 패치들로 구분될 수 있다. 각각의 패치들은 복수의 픽셀들로 이루어질 수 있다. 패치들은 각각의 색 공간 정보를 갖는다. 예를 들면, 어느 하나의 패치는 RGB, YUV 그리고 정규화된 r(b) 색 공간 정보로 나타낼 수 있다. 그리고 하나의 블록은 내부에 포함되는 패치들의 색 공간 정보의 평균값을 블록 정보로 나타낼 수 있을 것이다. 따라서, 복수의 블록들에 대한 색 공간 정보는 평균으로 나타낼 수 있고, 이 평균값과 상대적으로 가까운 블록은 이미지에서 지배적인 색을 갖는 블록으로 볼 수 있다. 따라서, 백색 패치의 후보를 선택하기 위해서는 이러한 블록들은 배제시켜야 한다. 예를 들면, 블록 분산(σ²)이 기준치보다 작은 블록은 배제되고, 블록 분산(σ²)이 기준치 이상인 블록들이 선택될 것이다. 추가적으로, 선택된 블록들 중에서 그레이 영역(Gray zone)에 포함되는 패치들만이 선택될 것이다. 그레이 영역의 정의나 그레이 영역에 포함되는 패치들을 선택하는 방법은 후술하는 도면들을 통해서 보다 상세히 설명될 것이다.

S130 단계에서, 그레이 영역에 포함되는 패치들에 대한 통계적 처리를 통해서 선택된 패치들로부터 제 1 RGB 이득(1st RGB gain)이 계산될 수 있다. 그레이 영역에 포함되는 패치들 중에서도 실제로는 색 성분을 갖는 패치들이 포함될 수 있다. 이러한 패치들은 블록 분산을 고려한 평균 이동(Mean shift) 연산 및 추가적인 선택을 통하여 선택될 수 있다. 그리고 이들 선택된 패치들에 대해서 추가적으로 휘도 영역에서의 통계 기법을 적용하여 특정 신뢰도 이상의 화이트 성분을 갖는 패치들이 선택될 것이다. 휘도 공간에서의 통계적 선택이 수행된 이후에 선택된 패치들의 정규화된 r(b) 값을 이용하여 제 1 RGB 이득(1st RGB gain)이 계산될 것이다.

S140 단계에서는, S130 단계에서 선택된 패치들에 대한 추가적인 선택 연산이 수행된다. 먼저, S140 단계에서는 S130 단계에서 정의된 그레이 영역(Gray zone)보다 더 작은 그레이 영역이 정의된다. 즉, S130 단계에서 선택된 패치 후보들의 색평균에 가까운 앵커 포인트를 가지는 축소 그레이 영역(Shrinked gray zone)이 선택될 것이다. 즉, S130 단계에서 선택된 백색 패치 후보들 중에서 축소 그레이 영역에 포함되는 것들만이 선택되고, 선택된 패치 후보들에 대한 색 공간에서의 통계적 처리 그리고 휘도 공간에서의 통계 처리를 통해서 최종 패치 후보들이 선택된다. 최종 패치 후보들을 통해서 제 2 RGB 이득(2nd RGB gain)이 계산될 수 있다.

S150 단계에서, 제 1 RGB 이득(1st RGB gain)과 제 2 RGB 이득(2nd RGB gain)을 조합하여 최종 RGB 이득(Final RGB gain)이 계산된다. 예를 들면, 최종 RGB 이득(Final RGB gain)은 제 1 RGB 이득(1st RGB gain)과 제 2 RGB 이득(2nd RGB gain)의 평균값이 될 수도 있다. 또는, 최종 RGB 이득(Final RGB gain)은 블록 분산을 고려하여 서로 다른 가중치를 적용한 제 1 RGB 이득(1st RGB gain)과 제 2 RGB 이득(2nd RGB gain)의 평균으로 제공될 수도 있을 것이다.

이상에서는 본 발명의 실시 예에 따른 그레이 영역 선택 기법과 이미지 데이터에 대한 통계적인 기법을 혼합하여 화이트 패치의 후보를 선택하고 선택된 패치로부터 색 공간 이득을 계산하는 하이브리드 자동 화이트 밸런싱 기법이 설명되었다. 이러한 알고리즘에 따르면, 고속으로 그레이 영역이 선택될 수 있고, 그레이 영역에 선택된 패치들에 대한 통계 연산을 통해서 블록 분산을 고려한 평균 이동(Mean shift) 연산을 적용할 수 있다. 이러한 연산 기법에 따르면 계산 절차가 간단하고 명료하기 때문에 고속의 자동 화이트 밸런싱이 가능하다.

도 3은 도 2에서 설명된 이미지의 블록 및 패치에 대한 정의를 보여주는 블록도이다. 도 3을 참조하면, 복수의 픽셀들로 이루어진 하나의 이미지(200)는 복수의 블록들(Blocks)로 구분되고, 각각의 블록들은 다시 복수의 패치들(Patches)로 구분될 수 있다.

하나의 이미지(200)는 하나의 화면을 표시하기 위한 다양한 색이나 휘도에 대한 정보를 포함할 수 있다. 예를 들면, 하나의 이미지는 복수의 픽셀(Pixel)들로 구성될 수 있으며, 각각의 픽셀들은 색이나 휘도 성분에 대한 데이터를 가질 수 있다. 예를 들면, 하나의 이미지(200)를 구성하는 픽셀들은 RGB 방식이나 YUV 방식으로 색이나 휘도를 표시할 수 있다.

이미지(200)를 구성하기 위한 단위로 블록(Block)이 사용될 수 있다. 블록(Block)은 화면의 데이터 처리 및 관리의 효율성을 제공하기 위한 사이즈로 제공될 수 있다. 블록은 예를 들면 타일 맵핑 방식의 이미지 처리에서는 하나의 타일(Tile)에 해당할 수도 있을 것이다. 예시적으로, 복수의 블록들 중에서 (i, j)번째 블록(220)을 살펴보기로 하자. 여기서, 하나의 이미지가 7×7개의 블록으로 구분되었으나, 이러한 구분은 본 발명의 설명을 위해 예시적으로 구분한 것이다. (i, j)번째 블록(220)은 다시 복수의 패치들(Patches)로 나뉠 수 있다. 하나의 블록 내에서 (x, y)번째 패치(222)에는 복수의 픽셀이나 하나의 픽셀이 될 수 있다.

먼저, 도 2의 S120 단계에서 수행되는 블록 분산(σ²)의 계산은 전체 이미지(200)의 평균 색 공간 정보에 대한 변동성의 척도로 계산될 수 있다. 즉, 블록들 각각의 평균 색 공간 정보가 계산될 수 있다. 예를 들면, 이미지 내의 전체 패치들의 RGB나 YUV 데이터의 평균값이 구해질 수 있다. 그리고 각각의 블록들의 RGB나 YUV 평균값이 계산될 수 있다. 블록 분산(σ²)은 각각의 블록들의 RGB나 YUV 값이 이미지 평균값으로부터 벗어난 정도를 나타낼 수 있다. 블록 분산(σ²)의 크기가 큰 블록은 상대적으로 이미지 전체의 지배적인 색이나 특징으로부터 벗어나 있는 블록으로 간주될 수 있다. 하지만, 블록 분산(σ²)의 크기가 작은 블록은 하나의 이미지에서 지배적인 색으로 볼 수 있다. 따라서, 이러한 블록 분산(σ²)의 크기가 작은 블록에 포함되는 패치들은 화이트 성분과 거리가 먼 것으로 치부될 수 있다. 하지만, 블록 분산(σ²)이 큰 블록은 하나의 이미지의 지배적인 색과는 다른 색일 수 있으며, 상대적으로 화이트 패치일 가능성이 높다.

블록 분산(σ²)의 크기가 임계치(Threshold)보다 작은 블록들을 배제하는 방식을 통해서 본 발명의 통계적 기법에 따른 평균 이동 연산을 적용하는 블록 또는 패치의 수를 줄일 수 있다. 그리고 블록 분산(σ²)은 최종 패치들이 선택된 이후의 연산에 대응하는 도 2의 S150 단계에서 두 개의 최종 RGB 이득의 평균을 구하는 연사에서 가중치로 적용될 수 있다.

이상에서는 블록 분산(σ²)이 하나의 이미지의 평균값으로부터 해당 블록의 색 공간 정보의 변동성을 나타내는 척도로 사용되었으나, 본 발명은 여기에 국한되지 않는다. 예를 들면, 하나의 이미지에 대한 해당 블록의 색 공간에서의 변동성을 나타내는 척도(Measure of variability)로는 표준 편차(σ, Standard deviation)나 변동 계수(Coefficient of variation) 등이 사용될 수 있음은 잘 이해될 것이다.

도 4는 본 발명의 그레이 영역을 선택하는 방법을 보여주는 도면이다. 도 4를 참조하면, 휘도(Y)가 일정한 색 공간을 가정하고 정규화된 r(b) 영역에서 칼라 성분이 상대적인 변화에 따른 패치들의 색 정보의 분포를 보여주는 도면이다. 여기서, r은 R/(R+B+G) 또는 R/G일 수 있다. 그리고 b는 B/(R+B+G) 또는 B/G로 정규화된 색 공간 값이다.

일반적으로 영상 처리 장치(100)는 센싱된 이미지의 전체 데이터를 사용하지 않고, 샘플링된 데이터의 정해진 일부 윈도우(예를 들면, 블록이나 패치) 내의 평균값을 기초로 하는 패칭 데이터(Patching data)를 이용한다. 그레이 영역(Gray zone)의 평균값은 화이트 포인트로 볼 수 있으므로, 이러한 패칭 데이터를 이용하여 화이트 포인트를 추출하기 위해 먼저 그레이 영역(Gray zone)의 선택이 이루어진다. 그리고, 광원(Illuminant)에 의해 칼라 캐스트(Color cast)가 발생하는 경우에는 그레이 칼라들의 RGB 구성 성분간의 비가 변하게 된다. 따라서, 이미지 센서에 해당하는 그레이 영역(Gray zone)을 선택하고, 그레이 영역(Gray zone) 내에 존재하는 패치들을 사용하여 화이트 포인트를 구할 수 있다. 이러한 그레이 영역(Gray zone)은 도시한 바와 같은 r(b) 평면의 색 공간에서 정의될 수 있다.

그레이 영역(Gray zone)의 정의를 위해서 먼저 다양한 광원(Illuminant)에서의 화이트 포인터들이 결정될 수 있다. 그레이 영역(310)은 앵커 포인트(r1, b4)와 반경(Di)에 의해서 결정될 수 있다. 여기서, 반경(Di)은 대응하는 색온도에서 이미지 센서(120)의 칼라 스펙트럼 특성에 따라서 결정될 수 있는 값이다. 즉, 그레이 영역(310)은 상대적으로 색온도가 높은 광원에서의 이미지 센서(120)가 그레이로 인식하는 색성분들의 분포이다. 하지만, 다양한 광원(Illuminant)을 가정하는 경우, 그레이 영역은 상대적으로 넓어질 수밖에 없다.

그레이 영역(320)은 앵커 포인트(r2, b3)와 반경(Di)에 의해서 결정될 수 있다. 즉, 그레이 영역(320)은 상대적으로 그레이 영역(310)에 비하여 상대적으로 색온도가 낮은 광원에서 이미지 센서(120)가 그레이로 인식하는 색성분들의 분포이다. 그레이 영역(330)은 앵커 포인트(r3, b2)와 반경(Di)에 의해서 결정될 수 있다. 즉, 그레이 영역(330)은 상대적으로 그레이 영역(320)에 비하여 상대적으로 색온도가 낮은 광원에서 이미지 센서(120)가 그레이로 인식하는 색성분들의 분포이다. 그레이 영역(340)은 앵커 포인트(r4, b1)와 반경(Di)에 의해서 결정될 수 있다. 그레이 영역(340)은 상대적으로 그레이 영역(330)에 비하여 상대적으로 색온도가 낮은 광원에서 이미지 센서(120)가 그레이로 인식하는 색성분들의 분포이다.

이들 그레이 영역들(310, 320, 330, 340)에 의해서 복수의 광원들에 대한 이미지 센서(120)의 그레이 영역이 정의될 수 있다. 그레이 영역(Gray zone)이 정의되면, 블록 분산(σ²)에 의해서 배제되지 않은 블록의 패치들의 색정보가 그레이 영역(Gray zone)에 포함되는지 검출될 수 있다. 그리고 그레이 영역(Gray zone)의 외부에 위치하는 패치들은 우선 화이트 패치 후보에서 제외될 것이다.

이상에서 색온도에 따른 그레이 영역들(310, 320, 330, 340) 각각의 반경(Di)이 동일한 것으로 설명되었으나 본 발명은 여기에 국한되지 않는다. 예를 들면, 그레이 영역들(310, 320, 330, 340) 각각의 범위를 한정하는 반경은 서로 다른 값으로 해당 색온도에 특화된 크기로 제공될 수도 있음은 잘 이해될 것이다.

도 5는 도 2의 S130 단계를 좀더 구체적으로 보여주는 순서도이다. 도 5를 참조하면, 도 4에 설명된 그레이 영역(Gray zone)에 포함되는 패치들에 대한 색 공간에서의 통계적 방식에 따른 평균 이동 연산과, 휘도 공간에서의 통계적 선택을 수행하여 제 1 화이트 포인트(1st white point)가 추출될 수 있다.

S132 단계에서, 정규화된 색 공간 r(b) 좌표에서 블록 분산(σ²)을 고려한 평균 이동 연산이 수행된다. 그레이 영역(Gray zone)에 포함되는 패치들의 정규화된 색 공간에서의 평균값(μ)이 존재한다. 예를 들면, 그레이 영역(Gray zone)에 포함되는 패치들 각각의 r(=R/R+G+B) 성분이나 b(=B/R+G+B) 성분들의 평균값이 각각 존재할 것이다. 하지만, 그레이 영역(Gray zone)에 포함되는 패치들 중에서도 실제로는 이미지의 지배적인 색이나 상대적으로 큰 사이즈의 물체의 색에 의해서 영향을 받은 패치들이 존재할 수 있다. 이러한 패치들은 그레이 영역에 포함되긴 하지만, 실제로는 색을 포함하고 있는 패치들일 수 있다. 더불어, 그레이 영역(Gray zone)에 포함되는 패치들 중에서도 서로 다른 블록에 포함되는 패치들이 존재한다. 어떤 패치들은 블록 분산(σ²)이 상대적으로 큰 블록에 속한 것들일 수도 있고, 어떤 패치들은 블록 분산(σ²)이 상대적으로 작은 블록에 속한 것들일 수 있다. 따라서, 그레이 영역(Gray zone)에 포함되는 패치들 중에서 블록 분산(σ²)이 큰 패치들에 대해서는 더 큰 가중치를 적용하고, 블록 분산(σ²)이 작은 패치들에 대해서는 더 작은 가중치를 적용하여 패치들의 평균을 다시 구하게 될 것이다. 가중치가 적용되어 계산된 평균이 이동된 평균(Shifted mean, μ')에 해당한다.

S134 단계에서, 이동된 평균(Shifted mean, μ')에 근거한 후보 패치들이 재선택될 것이다. 즉, 이동된 평균(μ')을 중심으로 소정의 신뢰도(예를 들면, 95%) 구간에 해당하는 패치들이 선택될 수 있다.

S136 단계에서, S134 단계에서 선택된 패치들 각각의 휘도(Y) 공간에서의 선택이 수행된다. 일반적으로 광원의 변화에 대해 휘도(Y)의 스펙트럼을 관찰하면 블랙(Black) 성분의 변화보다 화이트(White) 성분의 변화가 크다. 따라서, 휘도(Y) 공간에서 평균값(μ)을 중심으로 화이트 성분이 큰 패치들이 상대적으로 더 많이 선택되는 것이 바람직하다.

S138 단계에서, 휘도 공간에서 선택된 패치 후보들을 참조하여 자동 화이트 밸런싱을 위한 색 공간에서의 이득이 계산될 것이다. 즉, S136 단계에서 선택된 패치들의 평균 RGB 값들을 참조하여 이미지의 색성분의 비율이 동일하도록 조정하기 위한 색성분들의 이득이 계산될 수 있다. 이때 계산된 이득이 제 1 RGB 이득(1st RGB gain)이다.

도 6은 도 5에서 설명된 평균 이동 연산을 예시적으로 보여주기 위한 패치들의 분포도이다. 도 6을 참조하면, 그레이 영역(Gray zone)에 속하는 패치들은 각각이 속하는 블록의 분산(σ²)을 가중치로 적용받는다. 그리고 블록의 분산(σ²)의 적용없이 계산된 평균값(μ)은 블록의 분산(σ²)의 적용에 따라 이동된 평균(μ')으로 시프트된다. 좀더 구체적으로 설명하면 다음과 같다.

정규화된 색공간 r(b)의 정규 분포도는 도시된 가우시안 분포를 가질 수 있다. 즉, 그레이 영역(Gray zone)에 포함되는 패치들의 정규화된 r(=R/R+G+B)이나 b(=B/R+G+B) 포인트들은 도시된 형태의 정규 분포를 형성하는 것으로 간주할 수 있다. 여기서, 정규 분포도에서 평균값(μ)이나 표준편차(σ)는 r 성분 또는 b 성분중 어느 하나일 수 있다.

하지만, 그레이 영역(Gray zone)에 포함되는 패치들의 정규화된 색성분들에 대한 블록 분산(σ²)을 가중치로 적용한 이동된 평균값(μ')은 달라질 수 있다. 그레이 영역(Gray zone)에 포함되는 패치들이라 할지라도 실제로는 이미지의 색을 지배하는 색에 영향을 받은 패치들이 존재할 수 있다. 이러한 패치들에 대해서는 낮은 가중치를 적용한 평균 이동 연산을 통해서 추가적인 패치 선택이 가능하다. 이러한 평균 이동 연산과 해당하는 신뢰도 내에서의 패치 선택을 통해서 각각의 블록들 중에서 그레이가 아닌 것으로 판단되는 패치들이 추가적으로 배재될 수 있을 것이다.

도 7은 도 5에서 설명된 패치들의 휘도 공간에서의 통계적 처리를 보여주기 위한 분포도이다. 도 7을 참조하면, 휘도(Y) 공간에서 선택된 패치들은 평균값(μ)을 중심으로 블랙과 화이트 간 거리를 다르게 적용하여 선택될 것이다.

일반적으로 광원의 변화에 대해 휘도(Y)의 스펙트럼을 관찰하면 블랙(Black) 성분의 변화보다 화이트(White) 성분의 변화가 크다. 따라서, 휘도(Y) 공간에서 평균값(μ)을 중심으로 화이트 성분이 큰 패치들이 더 많이 선택되는 것이 화이트 포인트를 선택할 확률이 높다. 따라서, 휘도 공간에서 평균값(μ)을 중심으로 화이트 측에 더 큰 허용치를 제공하기 위하여 선택되는 패치들의 범위를 a와 b로 결정할 수 있다. 여기서, 블랙 측의 포인트(a)와 평균값(μ)의 거리(μ-a)는 화이트측의 포인트(b)와 평균값(μ) 간의 거리(b-μ)보다 짧게 설정될 것이다.

도 8은 색 공간에서의 평균 이동 연산과 휘도 공간에서의 통계 기법에 의해서 선택되는 패치들의 그레이 영역에서의 분포를 보여주는 도면이다. 도 8을 참조하면, 색 공간 및 휘도 공간에서 각각 평균 이동 연산 및 화이트 성분에 더 큰 허용 범위를 제공하는 통계 연산을 통해서 선택된 패치들은 제 1 최종 후보들(350)로 표시될 수 있다. 여기서, 그레이 영역들(310, 320, 330, 340)은 도 4에서 설명된 앵커 포인트들(rm, bn)을 중심으로 반경(Di)을 갖는 원들에 대응한다.

도 5의 S136 단계에서 선택된 패치들의 평균값(rs, bs)은 그레이 영역들(310, 320, 330, 340)의 평균값 포인트(미도시)에 비하여 특정 거리 이동된 지점일 수 있다. 그리고 제 1 최종 후보들(350)의 경계는 그레이 영역들(320, 330) 각각에 걸쳐서 분포할 수도 있을 것이다. 하지만, 여기서 선택된 제 1 최종 후보들(350)은 설명을 위하여 예시적으로 도시한 것일 뿐 다양한 형태로 그레이 영역들(310, 320, 330, 340) 내에 포함될 수 있을 것이다.

통계적 기법을 적용하여 결정된 이동된 평균값(rs, bs)을 기초로 이미지 신호 프로세서(130)는 제 1 RGB 이득을 계산할 것이다. 즉, 평균값(rs, bs)에 대응하는 RGB 성분들의 비율을 참조하여 이미지의 R, G, B 각각의 성분이 동일한 크기를 갖도록 각각의 성분들에 대한 이득이 결정될 것이다. 하지만, 이미지 신호 프로세서(130)는 결정된 제 1 RGB 이득을 곧바로 해당 이미지 데이터에 적용하지 않을 것이다. 이후에 설명되는 축소 그레이 영역에서의 추가적이 선택 동작 이후에 생성되는 제 2 RGB 이득과 조합되어 최종 RGB 이득이 결정될 것이다.

도 9는 도 2의 S140 단계를 좀더 구체적으로 보여주는 순서도이다. 도 9를 참조하면, 도 8에서 설명된 제 1 최종 후보들(350)에 포함되는 패치들에 대한 통계적 평균 이동 연산과, 휘도 공간에서의 선택을 수행하여 화이트 포인트(White point)가 추출될 수 있다.

S141 단계에서, 정규화된 색 공간에서 제 1 최종 후보들(350)의 평균값(rs, bs)에 가장 인접한 앵커 포인트(rf, bf)가 선택될 것이다. 즉, 그레이 영역들(310, 320, 330, 340) 각각의 앵커 포인트들 중에서 평균값(rs, bs)에 가장 인접한 앵커 포인트가 결정될 수 있다. 이러한 앵커 포인트의 결정은 단순한 거리 계산을 통해서 쉽게 결정될 수 있을 것이다.

S143 단계에서, 선택된 앵커 포인트(rf, bf)에 대응하는 단위 그레이 영역이 선택된다. 여기서 선택된 단위 그레이 영역이 축소 그레이 영역(Shrinked gray zone)이라 칭하기로 한다. 예를 들면, 축소 그레이 영역은 제 1 최종 후보들(350)의 평균값(rs, bs)에 가장 인접한 앵커 포인트에 대응하는 그레이 영역(330)으로 결정될 수 있을 것이다. 그러면, 제 1 최종 후보들(350) 중에서 그레이 영역(320)에 포함되는 패치들은 배제될 것이다.

S145 단계에서, 제 1 최종 후보들(350) 중에서 축소 그레이 영역(330)과 중첩되는 영역의 화이트 패치 후보들(360)이 선택될 것이다. 그리고 이들 화이트 패치 후보들(360)에 대한 정규화된 색 공간 r(b) 좌표에서 평균 이동 연산이 수행된다. 화이트 패치 후보들(360)에 포함되는 패치들의 정규화된 색 공간에서의 평균값(μ)이 존재할 것이다. 하지만, 축소 그레이 영역(Shrinked gray zone)에 포함되는 패치들 중에서도 실제로는 이미지의 지배적인 색이나 상대적으로 큰 사이즈의 물체의 색에 의해서 영향을 받은 패치들이 존재할 수 있다. 이러한 패치들은 축소 그레이 영역(Shrinked gray zone)에 포함되긴 하지만, 실제로는 색을 포함하고 있는 패치들일 수 있다. 이들 화이트 패치 후보들(360) 중에는 어떤 패치들은 블록 분산(σ²)이 상대적으로 큰 블록에 속한 것들일 수도 있고, 어떤 패치들은 블록 분산(σ²)이 상대적으로 작은 블록에 속한 것들일 수 있다. 따라서, 축소 그레이 영역(Shrinked gray zone)에 포함되는 패치들 중에서 블록 분산(σ²)이 큰 패치들에 대해서는 더 큰 가중치를 적용하고, 블록 분산(σ²)이 작은 패치들에 대해서는 더 작은 가중치를 적용하여 패치들의 평균을 다시 구하게 될 것이다. 가중치가 적용되어 계산된 평균이 이동된 평균(Shifted mean, μ")에 해당한다. 이동된 평균(Shifted mean, μ")에 근거한 후보 패치들이 재선택될 것이다. 즉, 이동된 평균(μ")을 중심으로 소정의 신뢰도(예를 들면, 95%) 구간에 해당하는 패치들이 선택될 수 있다.

S147 단계에서, S145 단계에서 선택된 패치들 각각의 휘도(Y) 공간에서의 선택이 수행된다. 일반적으로 광원의 변화에 대해 휘도(Y)의 스펙트럼을 관찰하면 블랙(Black) 성분의 변화보다 화이트(White) 성분의 변화가 크다. 따라서, 휘도(Y) 공간에서 평균값(μ)을 중심으로 화이트 성분이 큰 패치들이 더 많이 선택되는 것이 바람직하다. 이 단계에서 선택된 화이트 패치 후보들을 제 2 최종 후보들이라 칭하기로 한다.

S149 단계에서, 휘도(Y) 공간에서 선택된 제 2 최종 후보들을 참조하여 자동 화이트 밸런싱을 위한 색 공간에서의 이득이 계산될 것이다. 즉, S147 단계에서 선택된 패치들의 평균 RGB 값들을 참조하여 이미지의 색성분의 비율이 동일하도록 조정하기 위한 색성분들의 이득이 계산될 수 있다. 이때 계산된 이득이 제 2 색 공간 이득(2nd RGB gain)이다.

이상에서는 축소 그레이 영역(Shrinked gray zone)에서의 화이트 패치 후보들에 대한 통계적 처리를 통해서 제 2 최종 후보들을 선택하는 방법이 설명되었다. 제 2 최종 후보를 통해서 추출되는 제 2 색 공간 이득(2nd RGB gain)과 이전의 제 1 최종 후보를 통해서 추출되는 제 1 색 공간 이득(1st RGB gain)이 조합되면 본 발명의 최종 색 공간 이득(Final RGB gain)이 계산될 수 있다.

도 10은 본 발명의 축소 그레이 영역(Shrinked gray zone)을 보여주는 도면이다. 도 10을 참조하면, 축소 그레이 영역은 복수의 앵커들 중에서 어느 하나에 대응하는 단위 그레이 영역이 선택될 것이다.

도 9의 S141 단계 및 S143 단계에서, 정규화된 색 공간에서 제 1 최종 후보들(350)의 평균값(rs, bs)에 가장 인접한 앵커 포인트(rf, bf)가 선택될 수 있다. 즉, 그레이 영역들(310, 320, 330, 340) 각각의 앵커 포인트들 중에서 평균값(rs, bs)에 가장 인접한 앵커 포인트가 결정될 수 있다. 그리고 선택된 앵커 포인트(rf, bf)에 대응하는 단위 그레이 영역(330)이 선택된다. 예를 들면, 축소 그레이 영역은 제 1 최종 후보들(350)의 평균값(rs, bs)에 가장 인접한 앵커 포인트에 대응하는 그레이 영역(330)으로 결정될 것이다. 그러면, 제 1 최종 후보들(350) 중에서 그레이 영역(320)에 포함되는 패치들은 통계적 연산에서 배제될 것이다.

이상에서는 본 발명의 하이브리드 자동 화이트 밸런싱 알고리즘에 대해서 설명되었다. 본 발명의 이점을 설명하기 위해서 주로 RGB 색 공간과 정규화된 r(b) 색 공간이 사용되었다. 하지만, 본 발명은 여기에 국한되지 않는다. 즉, YUV 신호 방식에서 색차 공간(UV)을 본 발명의 화이트 밸런싱 연산을 수행하는 수단으로 사용할 수도 있음은 잘 이해될 것이다.

도 11은 본 발명의 실시 예에 따른 이미지 센서를 포함하는 전자 시스템을 보여주는 블록도이다. 도 11을 참조하면, 전자 시스템(1000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP, 또는 스마트 폰으로 구현될 수 있다. 전자 시스템(1000)은 애플리케이션 프로세서(1010), 이미지 센서(1040), 및 디스플레이(1050)를 포함한다.

애플리케이션 프로세서(1010)에 구현된 CSI 호스트(1012)는 카메라 시리얼 인터페이스(Camera Serial Interface: CSI)를 통하여 이미지 센서(1040)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 이때, CSI 호스트(1012)에는 광 디시리얼라이저(Optical Deserializer)가 구현될 수 있고, CSI 장치(1041)에는 광 시리얼라이저(Optical Serializer)가 구현될 수 있다. 더불어, 애플리케이션 프로세서(1010)는 본 발명의 자동 화이트 밸런싱을 수행하는 이미지 신호 프로세서(ISP)를 포함할 수 있다.

애플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(Display Serial Interface: DSI)를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 이때, 예컨대, DSI 호스트(1011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(1051)에는 광 디시리얼라이저가 구현될 수 있다.

전자 시스템(1000)은 애플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 포함할 수 있다. 전자 시스템(1000)의 PHY(1013)와 RF 칩(1060)의 PHY(1061)는 MIPI DigRF 인터페이스에 따라 데이터를 주고받을 수 있다.

전자 시스템(1000)은 GPS(1020), 스토리지(1070), 마이크(1080), DRAM(1085) 및 스피커(1090)를 더 포함할 수 있으며, 상기 전자 시스템(1000)은 Wimax(1030), WLAN(1033) 및 UWB(1035) 등을 이용하여 통신할 수 있다.

이상에서와 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

영상 장치의 이미지 센서로부터 제공되는 이미지 데이터의 자동 화이트 밸런싱 방법에 있어서:
상기 이미지 데이터에 포함되는 복수의 블록들에 대한 분산을 계산하고, 계산된 분산이 임계치보다 높은 블록들을 선택하는 단계;
상기 선택된 블록에 포함되는 패치들 중에서 색 공간에 정의된 그레이 영역에 포함되는 패치들을 선택하는 단계;
상기 그레이 영역의 패치들에 대해서 상기 색 공간에서의 제 1 평균치를 상기 분산을 가중치로 적용하여 조정하고, 상기 조정된 제 2 평균치를 참조하여 선택된 패치들 중에서 휘도 분포도에서 특정 분포에 속하는 제 1 패치 후보들을 선택하는 단계;
상기 그레이 영역에서 어느 하나의 앵커 포인트에 대응하는 축소 그레이 영역을 선택하고, 상기 제 1 패치 후보들 중에서 상기 축소 그레이 영역에 포함되는 패치들에 대해 색 공간 및 휘도 공간에서의 특정 기준 이상의 분포를 갖는 제 2 패치 후보들을 선택하는 단계; 그리고
상기 제 1 패치 후보들과 상기 제 2 패치 후보들로부터 각각 추출된 제 1 RGB 이득과 제 2 RGB 이득을 조합하여 상기 이미지 데이터의 최종 이득을 계산하는 단계를 포함하는 자동 화이트 밸런싱 방법.
제 1 항에 있어서,
상기 그레이 영역은 상기 색 공간에서 복수의 색온도에 대해 상기 이미지 센서에 특화된 복수의 앵커 포인트들 및 상기 앵커 포인트들을 중심으로 형성되는 원의 반경으로 정의되는 자동 화이트 밸런싱 방법.
제 1 항에 있어서,
상기 색 공간은 R(적색), G(녹색) 그리고 B(청색) 성분의 합에 대한 적색(R)과 청색(B) 각각의 정규화 값으로 구성되는 자동 화이트 밸런싱 방법.
제 1 항에 있어서,
상기 색 공간은 R(적색)과 B(청색) 성분들 각각을 G(녹색) 성분의 크기로 나누어서 생성되는 정규화 값으로 구성되는 자동 화이트 밸런싱 방법.
제 1 항에 있어서,
상기 제 1 패치 후보들을 선택하는 단계는:
상기 그레이 영역에 포함되는 패치들 각각의 색성분을 대응하는 블록의 가중치를 적용하여 상기 제 2 평균치를 계산하는 단계;
상기 그레이 영역에 포함되는 패치들 중에서 상기 제 2 평균치를 기준으로 소정의 신뢰도 범위에 포함되는 패치들을 선택하는 단계; 그리고
상기 소정의 신뢰도 범위에 포함되는 패치들 중에서 소정의 휘도 분포 범위에 포함되는 패치들을 상기 제 1 패치 후보로 선택하는 단계를 포함하는 자동 화이트 밸런싱 방법.
제 5 항에 있어서,
상기 소정의 휘도 분포 범위는 상기 휘도의 평균값에 대해 블랙 방향의 범위보다 백색 방향의 범위가 더 넓게 설정되는 자동 화이트 밸런싱 방법.
제 1 항에 있어서,
상기 제 2 패치 후보들을 선택하는 단계는:
상기 그레이 영역에서 상기 제 1 패치 후보들의 평균값과 가장 근접한 앵커 포인트를 선택하는 단계;
상기 그레이 영역 중에서 상기 앵커 포인트를 중심으로 하는 단위 원에 대응하는 그레이 영역을 상기 축소 그레이 영역으로 선택하는 단계;
상기 축소 그레이 영역에 포함되는 패치들에 대한 블록의 가중치를 적용하여 제 3 평균치를 계산하는 단계;
상기 축소 그레이 영역에 포함되는 패치들 중에서 상기 제 3 평균치를 기준으로 미리 결정된 신뢰도 범위에 포함되는 패치들을 선택하는 단계; 그리고
상기 미리 결정된 신뢰도 범위에 포함되는 패치들 중에서 특정 휘도 분포 범위에 포함되는 패치들을 상기 제 2 패치 후보로 선택하는 단계를 포함하는 자동 화이트 밸런싱 방법.
제 7 항에 있어서,
상기 축소 그레이 영역은 상기 가장 근접한 앵커 포인트로부터 특정 반경 이내의 경계에 포함되는 복수의 패치들에 대응하는 자동 화이트 밸런싱 방법.
제 1 항에 있어서,
상기 최종 이득을 계산하는 단계에서, 상기 제 1 RGB 이득과 제 2 RGB 이득의 가중치는 상기 제 1 패치 후보들이 속한 블록의 분산과 상기 제 2 패치 후보들이 속한 분산을 각각 가중치로 적용하여 계산되는 평균값이 상기 최종 이득으로 계산되는 자동 화이트 밸런싱 방법.
입사되는 영상을 센싱하여 이미지 데이터로 출력하는 이미지 센서; 그리고
상기 이미지 데이터를 복수의 블록들로 구분하고, 각각의 블록들에 대한 색 공간에서의 분산이 임계치보다 높은 블록들을 선택하고, 상기 선택된 블록에 포함되는 패치들 중에서 상기 색 공간에 정의된 그레이 영역에 포함되는 패치들을 선택하고, 상기 그레이 영역에 포함되는 패치들에 대한 색 공간에서의 평균 이동 및 휘도 공간에서의 범위 선택을 수행하여 제 1 RGB 이득을 계산하고, 상기 그레이 영역 중에서 특정 앵커 포인트에 대응하는 축소 그레이 영역에 포함되는 패치들에 대한 색 공간에서의 평균 이동 및 휘도 공간에서의 범위 선택을 수행하여 제 2 RGB 이득을 계산하는 이미지 신호 프로세서를 포함하되,
상기 이미지 신호 프로세서는 상기 제 1 RGB 이득과 상기 제 2 RGB 이득을 조합하여 상기 이미지 데이터의 자동 화이트 밸런싱을 위한 색성분의 이득으로 제공하는 영상 처리 장치.
제 10 항에 있어서,
상기 그레이 영역은 복수의 색 온도에서의 상기 이미지 센서의 특성이 반영된 복수의 앵커 포인트들을 중심으로 특정 반경 이내에 포함되는 색 공간에 대응하는 영상 처리 장치.
제 11 항에 있어서,
상기 이미지 신호 프로세서는 상기 그레이 영역이 패치들에 대해서, 상기 색 공간에서의 블록 분산을 가중치로 적용하여 평균 이동을 수행하는 영상 처리 장치.
제 12 항에 있어서,
상기 이미지 신호 프로세서는 상기 이동된 평균을 기반으로 선택된 패치들에 대해서 휘도 공간에서의 특정 휘도 범위의 패치를 선택하여 상기 제 1 RGB 이득을 계산하되,
상기 특정 휘도 범위는 상기 선택된 패치들의 휘도의 평균값을 기준으로 화이트 범위가 블랙 방향의 범위보다 더 넓게 제공되는 영상 처리 장치.
제 10 항에 있어서,
상기 축소 그레이 영역은 상기 복수의 앵커 포인트들 중에서 상기 제 1 RGB 이득을 계산한 패치들의 평균치와 가장 근접한 앵커 포인트를 중심으로 특정 반경 이내에 존재하는 패치들의 색 영역에 대응하는 영상 처리 장치.
제 10 항에 있어서,
상기 이미지 신호 프로세서는 상기 제 1 RGB 이득과 상기 제 2 RGB 이득 및 상기 최종 RGB 이득을 계산하는 하이브리드 자동 화이트 밸런싱 모듈을 포함하는 영상 처리 장치.
영상 처리 장치의 이미지 데이터의 자동 화이트 밸런싱 방법에 있어서:
상기 이미지 데이터를 복수의 이미지 단위로 구분하고, 구분된 각각의 이미지 단위에 대한 색 공간에서의 분산을 구하는 단계;
상기 복수의 이미지 단위들 중에서 분산이 임계치를 초과하는 이미지 단위들을 선택하고, 상기 선택된 이미지 단위들 중에서 미리 결정된 그레이 영역에 포함되는 이미지 단위들을 선택하는 단계;
상기 그레이 영역에 포함되는 이미지 단위들에 대한 색 공간 또는 휘도 공간에서 특정 신뢰도 이상에 대응하는 제 1 후보 단위들을 선택하는 단계;
상기 제 1 후보 단위들 중에서 상기 그레이 영역보다 좁은 축소된 그레이 영역에 포함되는 이미지 단위들을 선택하는 단계; 그리고
상기 축소된 그레이 영역에 포함되는 이미지 단위들에 대한 색 공간 또는 휘도 공간에서 특정 신뢰도 이상에 해당하는 제 2 후보 단위들을 선택하는 단계를 포함하되,
상기 색 공간에서 특정 신뢰도 이상의 이미지 단위를 선택하는 동작에서 상기 분산을 가중치로 적용한 평균 이동 연산이 수행되는 자동 화이트 밸런싱 방법.
제 16 항에 있어서,
상기 제 1 후보 단위들을 선택하는 단계는:
상기 그레이 영역에 포함되는 이미지 단위들에 대한 상기 분산을 적용한 평균 이동 연산을 수행하는 단계;
상기 평균 이동 연산의 결과로 제공되는 평균을 중심으로 상기 특정 신뢰도 이상의 화이트 이미지 단위들을 선택하는 단계; 그리고
상기 화이트 이미지 단위들 중에서 특정 휘도 범위를 갖는 이미지 단위들을 선택하여 상기 제 1 후보 단위로 제공하는 단계를 포함하는 자동 화이트 밸런싱 방법.
제 16 항에 있어서,
상기 그레이 영역 또는 상기 축소된 그레이 영역은 상기 이미지 단위들 각각의 정규화된 색 공간에서 특정 색온도에 대응하는 영역들로 맵핑되는 자동 화이트 밸런싱 방법.
제 16 항에 있어서,
상기 제 1 후보 단위 및 상기 제 2 후보 단위 각각으로부터 제 1 이득 및 제 2 이득을 계산하는 단계를 더 포함하는 자동 화이트 밸런싱 방법.
제 19 항에 있어서,
상기 제 1 이득 및 상기 제 2 이득에 상기 분산을 가중치로 적용하여 상기 이미지의 색공간 이득을 결정하는 단계를 더 포함하는 자동 화이트 밸런싱 방법.