KR20060043650A

KR20060043650A - 컬러 이미지의 디모자이크를 위한 고품질 그레디언트보정된 선형 보간법

Info

Publication number: KR20060043650A
Application number: KR1020050021417A
Authority: KR
Inventors: 헨리끄 에스 말바르; 리-웨이 헤; 로스 지. 커틀러
Original assignee: 마이크로소프트 코포레이션
Priority date: 2004-03-15
Filing date: 2005-03-15
Publication date: 2006-05-15
Also published as: CN100571402C; CN1722852A; JP4520886B2; US7643676B2; US20050201616A1; US20050200733A1; EP1577833A1; KR101143147B1; JP2005269645A; US7502505B2

Abstract

컬러 이미지의 디모자이크(demosaicing)을 위한 그레디언트 보정된 선형 보간 방법 및 시스템이 제공된다. 이 방법 및 시스템은 소정의 현재의 기술(양호하게, 계산상의 복잡도를 감소시키기 위한 쌍선형 보간 기술)을 사용하여 보간을 계산하고, (주어진 화소에서의 원하는 컬러의 그레디언트와 같은) 보정항을 계산하며, 보간과 보정항을 선형으로 결합하여, 화소에서 손실된 컬러 값의 보정 고품질 보간을 생성한다. 보정항은 현재 화소의 현재 컬러로부터 계산된 그레디언트 보정항일 수 있다. 이 그레디언트는 종래의 보간 기술에 의해 생성된 추정된 컬러 값에 영향을 미치고 그 값을 보정하기 위해 직접 사용된다. 그레디언트 보정된 선형 보간 방법 및 시스템은 또한 그레디언트 보정 이득을 그레디언트 보정항에 적용할 수 있다. 이 그레디언트 보정 이득은 보간에 적용되는 그레디언트 보정량에 영향을 미친다.

그레디언트 보정, 선형 보간, 쌍선형 보간, 보정항, 서포트 영역, 보정 이득

Description

컬러 이미지의 디모자이크를 위한 고품질 그레디언트 보정된 선형 보간법{High-Quality Gradient-Corrected Linear Interpolation for Demosaicing of Color Images}

도 1은 단일 이미지 센서 디지털 카메라 시스템에서 컬러 이미지 캡처를 위한 전형적인 바이엘(Bayer) 모자이크 패턴을 도시한 도면.

도 2a는 적색 화소에서 녹색 컬러 값을 찾기 위한 쌍선형 보간 기술을 도시한 도면.

도 2b는 청색 화소에서 녹색 컬러 값을 찾기 위한 쌍선형 보간 기술을 도시한 도면.

도 2c는 적색 행 및 청색 열 내의 녹색 화소에서 적색 컬러 값을 찾기 위한 쌍선형 보간 기술을 도시한 도면.

도 2d는 청색 행 및 적색 열 내의 녹색 화소에서 적색 컬러 값을 찾기 위한 쌍선형 보간 기술을 도시한 도면.

도 2e는 청색 화소에서 적색 컬러 값을 찾기 위한 쌍선형 보간 기술을 도시한 도면.

도 2f는 청색 행 및 적색 열 내의 녹색 화소에서 청색 컬러 값을 찾기 위한 쌍선형 보간 기술을 도시한 도면.

도 2g는 적색 행 및 청색 열 내의 녹색 화소에서 청색 컬러 값을 찾기 위한 쌍선형 보간 기술을 도시한 도면.

도 2h는 적색 화소에서 청색 컬러 값을 찾기 위한 쌍선형 보간 기술을 도시한 도면.

도 3a는 여기에 개시된 그레디언트 보정된 선형 보간 시스템 및 방법의 제1의 예시적인 구현을 도시한 블록도.

도 3b는 여기에 개시된 그레디언트 보정된 선형 보간 시스템 및 방법의 제2의 예시적인 구현을 도시한 블록도.

도 4는 도 3에 도시된 그레디언트 보정된 선형 보간 시스템의 일반적인 동작을 도시한 일반적인 흐름도.

도 5는 그레디언트 보정 계산 프로세스를 도시한 일반적인 흐름도.

도 6a는 적색 화소에서 녹색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법의 상세를 도시한 도면.

도 6b는 도 6a에 도시된 바와 같이, 적색 화소에서 녹색 컬러 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도.

도 6c는 청색 화소에서 녹색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법의 상세를 도시한 도면.

도 6d는 도 6c에 도시된 바와 같이, 청색 화소에서 녹색 컬러 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도.

도 7a는 적색 행 및 청색 열 내에 위치한 녹색 화소에서 적색 컬러 값을 찾 기 위한 그레디언트 보정된 선형 보간 방법의 상세를 도시한 도면.

도 7b는 도 7a에 도시된 바와 같이, 녹색 화소에서 적색 컬러 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도.

도 7c는 청색 행 및 적색 열 내에 위치한 녹색 화소에서 적색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법의 상세를 도시한 도면.

도 7d는 청색 화소에서 적색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법의 상세를 도시한 도면.

도 7e는 도 7d에 도시된 바와 같이, 청색 화소에서 적색 컬러 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도.

도 8a는 청색 행 및 적색 열 내에 위치한 녹색 화소에서 청색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법의 상세를 도시한 도면.

도 8b는 도 8a에 도시된 바와 같이, 녹색 화소에서 청색 컬러 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도.

도 8c는 적색 행 및 청색 열 내에 위치한 녹색 화소에서 청색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법의 상세를 도시한 도면.

도 8d는 적색 화소에서 청색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법의 상세를 도시한 도면.

도 8e는 도 8d에 도시된 바와 같이, 적색 화소에서 청색 컬러 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도.

도 9는 도 3에 도시된 그레디언트 보정된 선형 보간 방법 및 시스템이 구현 될 수 있는 적절한 컴퓨팅 시스템 환경의 예를 도시한 도면.

도 10은 도 3에 도시된 그레디언트 보정된 선형 보간 시스템의 상세를 도시한 블록도.

도 11은 도 10에 도시된 보정항 계산 모듈의 상세를 도시한 블록도.

<도면의 주요 부분에 대한 부호의 설명>

300 : 그레디언트 보정된 선형 보간 시스템

310 : 디지털 카메라 시스템

370 : 프로세싱 장치

380 : 컴퓨팅 장치

1000 : 현재 화소 선택기

1010 : 보간 모듈

1020 : 보정항 계산 모듈

1030 : 선형 결합 모듈

본 발명은 일반적으로 디지털 컬러 이미지의 프로세싱에 관한 것으로, 더욱 구체적으로 이미지 내의 화소에서 손실 화소 컬러의 고품질 추정치를 얻기 위해 보정항을 보간과 선형으로 결합하는 방법 및 시스템에 관한 것이다.

디지털 카메라는 소비자들에게 꾸준히 계속 인기가 증가하고 있다. 한가지 이유는 디지털 카메라 값이 계속 떨어져서, 보통의 소비자가 충분히 쉽게 다가갈 수 있게 하고, 많은 소비자들이 종래의 필름 사진을 버리고 디지털 카메라를 지지하게 하기 때문이다. 비용 증가를 억제하기 위해, 다수의 소비자급 디지털 컬러 카메라는 단일-센서 디지털 카메라이다. 이름이 의미하는 바와 같이, 단일-센서 디지털 카메라에서는, 컬러 이미지 내에서 각 화소에 대한 컬러 정보를 획득하기 위해 단일의 이미지 센서만이 사용된다. 전형적으로 전하 결합 소자(CCD) 또는 상보형 금속 산화막 반도체(CMOS)인 각각의 이미지 센서는 컬러 이미지의 화소들을 함께 나타내는 센서 어레이의 일부분이다.

각각의 이미지 센서는 주어진 화소에서 단일 컬러에 대한 정보만을 생성할 수 있다. 그러나, 컬러 이미지는 3개의 분리된 단색 이미지를 결합하여 표시된다. 컬러 이미지를 표시하기 위해, 적색, 청색 및 녹색(RGB)의 모든 컬러 값이 각각의 화소에 요구된다. 이상적인(그리고 값비싼) 카메라 시스템에서, 센서 어레이 내의 각 화소에는 3개의 이미지 센서가 구비될 수 있고, 각각의 센서는 적색, 녹색 또는 청색 화소 컬러를 측정한다. 그러나, 단일-센서 디지털 카메라에서는, 단일의 적색, 청색 또는 녹색 컬러 값만이 주어진 화소에서 결정될 수 있다. 다른 2개의 손실된 컬러를 얻기 위해, 이미지 내의 주변 화소들로부터 손실된 컬러를 추정하거나 보간하기 위한 기술이 사용되어야 한다. 이러한 종류의 추정 및 보간 기술을 "디모자이크(demosaicing)"라 한다.

"디모자이크"이란 용어는 모자이크 패턴으로 배열된 컬러 필터 어레이(CFA)가 이미지 센서의 앞에서 사용된다는 사실에서 유래된 것이다. 이 모자이크 패턴 은 이미지 내의 각 화소에 대해 하나의 컬러 값만을 갖는다. 풀-컬러 이미지를 얻기 위해, 모자이크 패턴은 "디모자이크"되어야 한다. 그러므로, 디모자이크는 전체 RGB 값이 모든 화소와 관련될 수 있도록, 모자이크 패턴 CFA로 캡처된 이미지를 다시 보간하는 기술이다.

더욱 구체적으로, 단일-센서 디지털 카메라는 광학 경로에서 CFA의 뒤에 있는 이미지 센서 어레이를 사용하여 이미지를 캡처한다. 매우 일반적인 모자이크 CFA는 바이엘(Bayer) 모자이크 패턴이라 불린다. 바이엘 모자이크 패턴(또는 바이엘 필터)은 도 1에 도시된다. 각각의 2x2 화소 세트에 대해, 2개의 대각선으로 마주보는 화소는 녹색 필터를 갖고, 나머지 2개의 화소는 적색 및 청색 필터를 갖는다. 녹색(G)은 대부분의 휘도 정보를 사람에게 전달하기 때문에, 그것의 샘플링 비율은 녹색(R) 및 청색(B)의 샘플링 비율의 2배이다. 바이엘 필터는 "Color Imaging Array"란 명칭인, 바이엘에 의한 미합중국 특허 제3,971,065호에 설명된다.

이용가능한 다수의 디모자이크 기술이 있다. 디모자이크에 대한 가장 단순한 방법들 중의 하나는 쌍선형 보간법이다. 일반적으로, 쌍선형 보간은 대칭 선형 보간을 사용하여 독립적으로 보간되는 3개의 색 중심면(color plane)을 사용한다. 이 보간은 보간되고 있는 컬러와 동일한 컬러를 갖는 화소의 가장 가까운 이웃을 사용한다. 특히, 도 1을 다시 참조하면, 쌍선형 보간에서, 적색 또는 청색 화소 내에 속하는 화소 위치(i,j)에서의 녹색 값 g(i,j)는 다음과 같이 교차 패턴으로 이웃하는 녹색 값들의 평균에 의해 계산된다.

수학식 1은 도 1에 '·'으로 표시된 관찰된 녹색 값들의 평균으로서 '+'로 표시된 화소("현재의 화소"라고도 함)에서의 녹색 값을 추정하는 것에 대응한다. 현재의 화소는 적색을 가지므로, 녹색 및 청색 값이 보간될 필요가 있다는 것을 알기 바란다. 이미지 경계에서, 이미지 내에 속하는 화소들만이 포함되고, 스케일링(scaling)이 조정된다.

손실된 컬러가 쌍선형 보간을 사용하여 주어진 화소에서 보간되는 방법에 관한 그래픽 표시가 도 2a-2h에 도시된다. 도 2a-2h에 도시된 바와 같이, 쌍선형 기술은 전형적으로 작은 서포트(support) 영역을 사용한다는 것을 알기 바란다. 서포트 영역은 소정의 주어진 화소의 보간을 위해 값이 고려되는 화소 이웃의 크기이다. 이 작은 서포트 영역을 사용하면 메모리 이용 및 계산 복잡도가 최소로 유지된다.

도 2a 및 2b를 참조하면, 주어진 화소에서 녹색 컬러 값을 찾기 위한 수학식 1의 쌍선형 보간 기술이 도시된다. 도 2a에서, 적색 화소에서의 녹색 컬러 값은 적색 화소에 이웃한 녹색 화소들을 사용하여 알 수 있게 된다. 이러한 이웃하는 녹색 화소들은 도 2a에서 "1"로 표시된다. 이와 마찬가지로, 도 2b에서, 청색 화소에서의 녹색 컬러 값은 청색 화소에 이웃하는 녹색 화소들을 사용하여 알 수 있게 된다. 마찬가지로, 녹색 화소들은 "1"로 표시된다.

손실된 적색(R) 또는 청색(B)을 찾기 위해, 수학식 1이 여전히 적용된다. 그러나, 이제 대각선 교차 패턴이 사용된다. 예외적으로, 녹색 화소에 속하는 화소 위치(i,j)에 대해서는, 2개의 바로 이웃한 적색 화소들만이 있기 때문에, 보간된 적색 컬러 값을 생성하기 위해 2개의 적색의 이웃한 화소들만이 평균된다. 청색 컬러 값을 찾는 것도 또한 마찬가지이다. 수학식 1의 계산적인 단순성 외에, 그 출력값은 입력값의 동일한 동적 범위를 갖도록 보장되므로, 출력값에 대한 오버플로우 검출 및 제어 로직이 요구되지 않는다는 것을 알기 바란다.

더욱 구체적으로, 도 2c-2e는 주어진 화소에서 적색 컬러 값을 찾기 위한 수학식 1의 쌍선형 보간 기술을 도시한 것이다. 구체적으로, 도 2c에서, 적색 컬러 값은 2개의 적색 이웃 화소를 사용함으로써 적색 행 및 청색 열 내의 녹색 화소에서 알 수 있게 된다. 이와 마찬가지로, 도 2d에서, 청색 행 및 적색 열 내의 녹색 화소에서의 적색 컬러 값은 적색 열 내의 2개의 이웃하는 적색 화소를 사용하여 알 수 있게 된다. 도 2e에서, 청색 화소에서의 적색 컬러 값은 4개의 이웃하는 적색 화소를 사용하여 알 수 있게 된다. 도 2c-2e에서, 쌍선형 보간 기술에서 사용된 각각의 이웃하는 적색 화소들은 "1"로 표시된다.

이와 마찬가지로, 도 2f-2h는 주어진 화소에서 청색 컬러 값을 찾기 위한 수학식 1의 쌍선형 보간 기술을 도시한 것이다. 구체적으로, 도 2f에서, 청색 컬러 값은 2개의 청색 이웃 화소를 사용함으로써 청색 행 및 적색 열 내의 녹색 화소에서 알 수 있게 된다. 도 2g에서, 적색 행 및 청색 열 내의 녹색 화소에서의 청색 컬러 값은 청색 열 내의 2개의 이웃하는 적색 화소를 사용하여 알 수 있게 된다. 도 2h에서, 적색 화소에서의 청색 컬러 값은 4개의 이웃하는 청색 화소를 사용하여 알 수 있게 된다. 도 2f-2h에서, 쌍선형 보간 기술에서 사용된 각각의 이웃하는 청색 화소들은 "1"로 표시된다.

그러나, 상술된 쌍선형 보간 기술이 갖는 한가지 문제점은 이 기술이 컬러 이미지 내에 심각한 아티팩트(artifact)를 발생시킨다는 것이다. 이것은, 쌍선형 보간이 RGB 값들 사이의 통계적 상관성을 고려하지 않기 때문에, 모서리 및 그외 이미지 내의 고주파 범위 부분에서 특히 그러하다. 예를 들어, 도 2d 및 2f를 참조하여, 화소 농도 값에 예리한 변화가 있어서, 최우측 열 내의 모든 화소가 다른 화소들보다 훨씬 더 밝다고 하자. 그러면, (도 2f로부터) 중앙 픽셀의 보간된 청색 값은, 우측에 이웃한 청색이 매우 밝기 때문에, 약간 밝아질 것이다. 그러나, (도 2d로부터) 그 동일한 화소에 대한 보간된 적색 값은, 2개의 적색 이웃이 매우 밝지 않기 때문에, 밝아지지 않을 것이다. 그러므로, 이 경우에는, 밝은 보간된 청색 화소 및 그다지 밝지 않은 보간된 적색 화소가 있을 수 있고; 과도한 청색 및 적색의 부족은 보간된 화소 컬러가 청록색을 띠게 하여, 컬러 줄무늬(fringe) 아티팩트를 야기한다. 그러므로, 쌍선형 보간 기술은 빠르고, 계산상으로 집약적이지 않으며, 구현하기 용이하지만, 그것들이 발생시키는 심각한 아티팩트(주로 흐려짐 및 컬러 줄무늬)로 인해 저화질의 이미지를 생성하는 것으로 알려져 있다.

좀더 양호하게, 더욱 복잡하긴 하지만, 보간 기술은 RGB 값들 사이의 상관성을 고려한다. 한 그룹의 보간 기술은 개선된 선형 필터를 사용함으로써 그러한 상관성을 고려한다. 예를 들어, 그러한 기술은 2000년 9월 Proc.ICIP의 488-491 페 이지에 S.-C.Pei 및 l.-K.TaM에 의해 "Effective color interpolation in CCD color filter array using correlation"이란 명칭의 논문에서 설명된다. 다른 그룹의 보간 기술은 비선형 필터를 사용함으로써 그러한 상관성을 고려한다. 이들 비선형 필터는 반드시 보간 평활도를 이미지 활동도 및 선명도의 측정치에 적응시킨다. 예를 들어, 이들 비선형 보간 기술은 다음 논문에서 설명된다: (1) P.Longere, X.Zhang, P.B.Delahunt, 및 D.H.Brainard, "Perceptual assessment of demosaicing algorithm performance", Proc.IEEE, vol.90, pp.123-132, 2002년 1월; 및 (2) R.Ramanath, W.E.Snyder, 및 G.L.Bilbro, "Demosaicing methods for Bayer color arrays", J.Electronic Imaging, vol.11, pp.306-315, 2002년 7월.

RGB 채널들 사이의 상관성을 이용하는 것은 비선형 보간 기술에서 디모자이크 성능을 개선하는 것보다 덜 중요한 아이디어이다. 구체적으로, 휘도/크로미넌스(chrominance) 분해 시에, 크로미넌스 성분들은 화소들 전반에 걸쳐 별로 변화하지 않는다는 것이 추정될 수 있다. "Median filter for reconstructing missing color samples"란 명칭의 Freeman에 의한 미합중국 특허 제4,724,395호에 설명된 일정한-색상(hue) 방법에서는, 녹색 채널이 쌍선형으로 보간된 다음에, 적색 및 청색 채널이 R/G 및 B/G 비로 정의된 일정한 색상을 유지하도록 보간된다. 그러나, Freeman에 의한 기술이 갖는 한가지 문제점은 이러한 비를 계산하는 희생을 치르고서도, 이 기술은 여전히 눈에 보이는 아티팩트를 생성한다는 것이다. 게다가, 보간 계산시 (나눗셈 및 곱셈과 같은) 복잡한 연산의 사용은 계산상 복잡도, 프로세싱 오버헤드 및 구현 비용을 상당히 증가시킨다.

비선형 보간 기술에 대한 개선된 결과는 쌍선형으로 보간된 녹색 화소에서 시작한 다음에, 색차 R-G 및 B-G의 보간 값에 메디안(median) 필터를 적용함으로써 얻어질 수 있다. 개선된 성능은 필터링이 우선적으로 모서리 방향을 따라 실행되고 그 모서리 방향을 가로지르지 않도록, 전형적으로 모서리 방향을 추정하여 보간식을 조정하는 그레디언트 기반의 비선형 기술을 사용함으로써 얻어질 수 있다. 예를 들어, 한가지 그레디언트 기반의 비선형 기술은 "Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients"라는 명칭의 C.A.Laroche 및 M.A.Prescott에 의한 미합중국 특허 제5,373,322호에 설명된다. Laroche 및 Prescott 기술은 녹색 채널에 대한 수학식 1의 항들에 대한 불균일 가중치를 결정하는 모서리 방향을 결정하기 위해 적색 및 청색 채널을 사용함으로써 녹색 채널을 보간한다. 그 다음, 색차 R-G 및 B-G가 보간된다. "Adaptive color plane interpolation in a single color electronic cameras"란 명칭의 J.E.Adams 및 J.F.Hamilton, Jr.에 의한 미합중국 특허 제5,506,619호에 설명된 기술은 제1 및 제2차 픽셀차를 고려함으로써 Laroche 및 Presccott 기술을 개선한다(또한 J.E.Adams, "Design of practical color filter array interpolation algorithms for digital cameras", Proc.SPIE, vol.3028, pp.117-125, 1997년 2월. 참조).

그러나, 이들 그레디언트 기술은 단지 그레디언트를 계산하고, 어떤 보간 기술을 사용할 것이지를 선택하기 위해 그레디언트를 사용한다.

E.Chang, S.Cheung, 및 D.Y.Pan, "Color filter array recovery using a threshold-based variable number of gradients", Proc.SPIE, vol.3650, pp.36-43, 1999년 1월의 논문에 설명된 기술은 가변수의 그레디언트를 고려함으로써 상기 기술을 개선한다. 수평 및 수직 방향으로부터의 보간 결과를 결합하기 위해 소프트 결정 규칙을 사용하는 단순하지만 효율적인 알고리즘은 X.Wu 및 N.Zhang, "primary-consistent soft-decision color demosaic for digital cameras", Proc.ICIP, vol.1, pp.477-480, 2003년 9월의 논문에 제시된다.

반복적 방법은 녹색 보간을 보정하기 위해 청색 및 적색 보간으로부터의 결과를 사용함으로써, 그리고 그 반대로 함으로써, 더욱 더 개선시킬 수 있다. 그것은 R.Kimmel, "Demosaicing: image reconstruction from color CCD samples", IEEE Trans.on Image Processing, vol.8, pp.1221-1228, 1999년 9월의 논문에 설명된 기술에 기초한 것이다. Kimmel의 방법에서, 보간 단계는 일정한-색상 및 그레디언트 기반의 방법의 결합에 기초한다. 반복적 투영에 기초한 기술은 B.K.Gunturk, Y.Altunbasak, 및 R.M.Mersereau, "Color plane interpolation using alternating projections", IEEE Trans.on Image Processing, vol.11, pp.997-1013, 2002년 9월의 논문에 제시된다. Gunturk 기술은 대중적인 표준 테스트 이미지 세트에 관해 지금까지로는 최상의 성능을 갖는다. 그러나, Gunturk 기술이 갖는 한가지 문제점은 (입력 화소당 480 연산만큼 많은) 매우 높은 복잡도를 갖는다는 것이다.

상술된 비선형 보간 기술은 전형적으로 쌍선형 보간 기술에서 사용되는 것보다 큰 서포트 영역을 사용한다. 예를 들어, 5x5 화소 서포트 영역은 이들 비선형 기술에서 전형적이다. 5x5 서포트 영역은 RGB 값들 사이에 양호한 상관성을 산출 하고, 고화질 이미지를 생성한다. 작은 서포트 영역은 화질을 상당히 감소시키는 반면, 큰 서포트 영역은 많은 메모리를 필요로 하고, 계산상의 복잡도를 상당히 증가시킨다.

그러므로, 필요한 것은 쌍선형 보간 기술의 단순성 및 속도를 유지하면서도, 비선형 보간 기술과 같이 더욱 복잡한 기술의 고화질 이미지를 생성하는 컬러 이미지 디모자이크를 위한 보간 기술이다. 또한 필요한 것은 성능을 개선시키기 위해 RGB값들 사이의 상관성을 고려하는 고품질 보간 기술이다. 더욱 필요한 것은 그레디언트를 계산하고, 이 계산된 그레디언트를 단지 보간 기술을 선택하기 위해서가 아니라 직접 보정항으로서 사용함으로써, 이러한 상관성을 고려하는 보간 기술이다. 또한 필요한 것은 개선된 화질을 위해 쌍선형 기술 보다 큰 서포트 영역(여기에서, 서포트 영역은 비선형 기술에서 사용된 것과 비교가능함)을 이용하는 보간 기술이다. 더욱 필요한 것은 속도를 증가시키고, 계산상의 복잡도를 방지하며, 저렴한 구현을 할 수 있게 하기 위해 보간을 계산할 때 (덧셈과 같은) 단순한 수학적 연산만을 필요로 하는 보간 기술이다.

여기에 개시된 발명은 디지털 컬러 이미지의 디모자이크를 위한 고품질 선형 보간 방법 및 시스템을 포함한다. 본 발명은 구현이 단순하고 비용이 효과적인 고품질 보간을 제공함으로써 현재의 보간 기술의 상술된 결함을 극복한다. 즉, 여기에 개시된 그레디언트 보정된 선형 보간 방법 및 시스템은 보정항을 얻기 위해 현재 화소로부터의 컬러 정보를 사용한다. 그 다음, 이 보정항은 현재의 화소에서 손실된 컬러의 개선된 추정치를 제공하기 위해 종래의 보간과 선형으로 결합된다. 그레디언트 보정된 선형 보간 방법 및 시스템은 현재 종래의 선형 디모자이크 기술보다 양호한 성능 및 낮은 복잡도를 갖는다. 또한, 그레디언트 보정된 선형 보간 방법 및 시스템은 훨씬 더 복잡한 다수의 종래의 비선형 디모자이크 기술보다 우수하다.

그레디언트 보정된 선형 보간 방법 및 시스템은 디지털 카메라에 의해 캡처된 컬러 이미지에 관해 연산할 수 있다. 디스플레이 전에, 이미지는 그레디언트 보정된 선형 보간 방법 및 시스템을 사용하여 디모자이크된다. 대안적으로, 캡처된 디지털 컬러 이미지는 압축된 모자이크 형태로 컴퓨팅 장치 내에 저장될 수 있다. 컴퓨팅 장치에 관한 애플리케이션이 이미지를 액세스할 필요가 있으면, 애플리케이션은 전형적으로 적절한 애플리케이션 프로그래밍 인터페이스(API)를 호출하여, 압축해제된 데이터를 얻는다. 대부분의 애플리케이션은 RGB 포맷으로 데이터를 기대하므로, 이미지 데이터가 요청 애플리케이션으로 보내지기 전에 디모자이크가 실행되어야 한다.

그레디언트 보정된 선형 보간 방법은 원하는 컬러가 보간에서 사용되는 경우에 현재의 컬러를 갖는 현재의 화소에서 원하는 컬러의 보간을 계산하는 단계를 포함한다. 다음에, 보정항이 현재의 컬러를 사용하여 계산된다. 그 다음, 보정항은 현재의 화소에서 원하는 컬러의 보정된 보간을 얻기 위해 보간과 선형으로 결합된다. 양호하게, 계산을 단순화하고 계산 자원을 보존하기 위해, 보간은 (배경부분에서 설명된 것과 같은) 종래의 쌍선형 보간이다. 그러나, 보간은 사실상, 선형 및 비선형 보간을 포함하여 이용가능한 종래의 디모자이크 기술들 중의 임의의 한 기술일 수 있다.

보정항은 양호하게 현재 화소의 현재 컬러로부터 계산된 그레디언트 보정항이다. 예를 들어, 도 2c 및 2d에 도시된 바와 같이, 현재의 화소가 그 화소의 녹색 컬러 값을 결정할 수 있는 이미지 센서를 갖고있고, 녹색 화소에서의 적색 컬러 값이 요구된다고 하자. 그레디언트 보정된 선형 보간 방법은 녹색 화소에서의 녹색 값 및 이웃하는 녹색 화소들의 값을 사용함으로써 녹색 화소에서의 그레디언트를 계산한다. 그 그레디언트 값의 (양호하게 이득 계수에 의해 제어된) 고정 부분은 보간된 적색 값(양호하게, 쌍선형으로 보간된 적색 값)에 더해진다. 종래의 몇몇 디모자이크 기술이 그레디언트를 계산하지만, 그 기술들은 보간이 계산되는 방법을 제어하기 위해 그레디언트를 사용한다. 한편, 여기에 개시된 그레디언트 보정된 선형 보간 방법은 그레디언트를 직접 보정항으로서 사용한다. 즉, 종래의 몇몇 디모자이크 기술은 그레디언트를 계산하고, 그레디언트에 기초하여 보간 방법을 선택하기 위해 그레디언트를 사용하는 반면, 그레디언트 보정된 선형 보간 방법은 종래의 디모자이크 기술에 의해 생성된 값에 직접 영향을 주고 그 값을 보정하기 위해 그레디언트를 사용한다.

그레디언트 보정항은 보간과 선형으로 결합된다. 양호하게, 그레디언트 보정항은 원하는 컬러의 추정치를 개선하기 위해 보간에 더해진다. 그레디언트를 사용하는 종래의 디모자이크 기술은 전형적으로, 비선형 필터, "if" 문 및 나눗셈 연산과 같이, 그레디언트에 기초한 복잡한 연산자를 계산하여 사용한다. 그레디언트 보정된 선형 보간 방법은 그레디언트 보정항을 보간과 선형으로 결합하는 선형 연산을 사용함으로써 계산을 단순화하는데, 선형 연산은 양호하게 덧셈이다.

그레디언트 보정된 선형 보간 방법은 또한 그레디언트 보정항에 그레디언트 보정 이득을 적용하는 단계를 포함한다. 이 그레디언트 보정 이득은 보간에 적용되는 그레디언트 보정의 양에 영향을 미친다. 예를 들어, 그레디언트 보정 이득이 0.8이면, 그레디언트 보정의 80%만이 보간과 선형으로 결합된다. 그레디언트 보정 이득은 여러가지 방식으로 선택될 수 있다. 최적한 그레디언트 보정 이득은 평균 제곱 에러를 최소화함으로써 계산된다. 이 최적 값에 대한 근사는 정수 연산을 사용한 계산, 나눗셈이 없는 연산, 또는 둘다를 허용한다. 그레디언트 보정은 또한 컬러 이미지 센서의 특성 또는 전체 디지털 카메라 시스템의 특성에 기초하여 선택될 수 있다. 그레디언트 보정 이득은 또한 그렇게 원한다면, 컬러 이미지의 통계에 기초하여 이미지 내에서 변화될 수 있다. 이들 통계는 이미지의 글로벌 통계, 이미지의 로컬 통계, 또는 둘다를 포함할 수 있다.

그레디언트 보정된 선형 보간 방법은 현재의 화소를 직접 둘러싸는 화소 이웃의 크기로서 서포트 영역을 정하는 단계를 포함한다. 그 다음, 서포트 영역은 현재의 컬러를 갖는 현재의 화소에 가장 가까운 화소들을 포함하도록 선택되고, 그 서포트 영역을 사용하여 보간 및 보정항이 계산된다. 양호하게, 서포트 영역은 현재의 화소가 중심에 있는 5x5 화소 영역을 포함한다. 대안적으로, 서포트 영역은 5x5 화소 영역보다 더 커질 수 있다. 또한, 하나보다 많은 서포트 영역이 있을 수 있다. 예를 들어, 제1 서포트 영역은 보간을 계산하기 위해 사용될 수 있는 반면 에, 제2 서포트 영역은 보정항을 계산하기 위해 사용될 수 있다.

그레디언트 보정된 선형 보간 시스템은 빠르고 단순하고 효율적인 방식으로 주어진 화소에서 손실된 컬러의 고품질 보간을 생성하기 위해 상술된 방법을 사용한다. 그레디언트 보정된 선형 보간 시스템은 현재의 컬러를 갖는 현재의 화소를 선택하는 현재 화소 선택기, 및 현재의 화소의 손실되고 원하는 컬러 값의 제1 보간을 계산하는 보간 모듈을 포함한다. 그레디언트 보정된 선형 보간 시스템은 또한 보간을 위해 보정항을 계산하는 보정항 모듈, 및 현재의 화소에서 원하는(또는 손실된) 컬러 값을 얻기 위해 보간과 보정항을 선형으로 결합하는 선형 결합 모듈을 포함한다.

보정항 계산 모듈은 적용될 보정량을 선택하는 그레디언트 보정 선택기를 더 포함한다. 게다가, 보정항 계산 모듈은 또한 현재의 화소 주위에 서포트 영역을 정하는 서포트 영역 모듈, 및 현재의 화소를 사용하여 그레디언트 보정을 계산하는 그레디언트 보정 모듈을 포함한다. 또한, 보정항 계산 모듈은 조정된 그레디언트 보정이 출력되도록 계산된 그레디언트 보정에 이득을 적용하는 그레디언트 보정 이득 적용 모듈을 포함한다.

본 발명은 다음의 상세한 설명, 및 본 발명의 실시양상을 도시한 첨부된 도면을 참조함으로써 더욱 잘 이해될 수 있다. 그외의 특징 및 장점은 본 발명의 원리를 예시적으로 나타낸 첨부된 도면을 참조한 다음의 상세한 설명으로부터 명백해질 것이다.

다음의 상세한 설명에서는 본 발명이 실시될 수 있는 특정 예를 예시적으로 도시한 첨부 도면이 참조된다. 그외 다른 실시예들이 이용될 수 있으며, 본 발명의 범위를 벗어나지 않는 구조적 변경이 이루어질 수 있다는 것을 알 수 있을 것이다.

I. 서론

거의 모든 현재의 디지털 카메라는 컬러 이미지 내의 각 화소에 대해 단일 센서를 사용한다. 그 결과, 각 화소에 대해, 3개의 적색, 녹색, 청색(RGB) 중의 한 색만이 캡처된다. 그러나, 컬러 이미지를 생성하기 위해서는, 각각의 RGB 컬러 값이 모든 화소에서 필요로 된다. 그러므로, 카메라는 모든 화소에서 손실된 컬러 값을 생성하기 위해 "디모자이크(demosaicing)"이라고 하는 기술을 사용한다.

불행히도, 손실된 RGB 데이터를 보간하는 기술은 복잡도와 품질이 서로 이율배반적이다. 예를 들어, 쌍선형 보간 기술은 단순한 계산 연산, 선형 연산자, 및 (3x3 서포트 영역과 같은) 작은 서포트 영역을 사용한다. 이것은 이들 쌍선형 보간 기술이 빠르고, 계산상으로 집약되지 않고, 구현하기 쉽게 한다. 그러나, 이들 쌍선형 보간 기술은 또한, 화질을 상당히 저하시킬 수 있는 컬러 이미지 내의 심각한 아티팩트를 발생시킨다. 한편, 몇몇 비선형 보간 기술은 현저하게 개선된 화질을 생성하지만, 상당히 느리고, 더 많은 프로세싱 전력을 사용하며, 복잡한 계산 연산을 사용하고, 구현하기가 어렵다.

여기에 개시된 그레디언트 보정된 선형 보간 방법 및 시스템은 컬러 이미지의 디모자이크를 위한 새로운 보간 기술을 포함한다. 이 방법 및 시스템은 현재의 기술로 계산된 보간을 취하고, (주어진 화소에서의 원하는 컬러의 그레디언트와 같은) 보정항을 계산하며, 보간과 보정항을 선형으로 결합한다. 이 방법 및 시스템은 (덧셈 및 시프트와 같은) 저비용의 연산자로 고정 선형 연산을 실행함으로써 계산상의 복잡도를 최소로 유지한다. 게다가, 그레디언트를 단지 보간 방법을 선택하는 수단이 아니라 보정항으로서 직접 사용함으로써, 그레디언트 보정된 선형 보간 방법 및 시스템은 (실행을 느리게 하는 다수의 "if"문과 같은) 복잡한 프로그램의 필요성을 방지하여 구현을 단순화한다. 그레디언트가 RGB 값들 사이의 상관성을 고려하기 때문에 화질이 개선된다. 그레디언트 보정된 선형 보간 방법 및 시스템은 또한 손실된 컬러 값의 추정치를 개선하기 위해 비선형 기술과 마찬가지로 큰 서포트 영역을 이용한다.

그레디언트 보정된 선형 보간 방법 및 시스템은 쌍선형 보간 기술에 비교했을 때 5.5 dB 넘게 피크 신호 대 잡음비(PSNR)를 개선시키고, 현재의 몇몇 선형 보간 기술과 비교했을 때 적색(R) 및 청색(B) 보간을 약 0.7 dB로 개선시킬 수 있다. 그레디언트 보정된 선형 보간 방법 및 시스템은 또한 대부분의 비선형 보간 기술보다 우수하여, 비선형 프로세싱으로 인한 아티팩트가 없고, 계산상의 복잡도가 상당히 감소된다.

II. 전체적인 개요

도 3a 및 3b는 여기에 개시된 그레디언트 보정된 선형 보간 시스템 및 방법의 2가지 예시적인 구현을 도시한 블록도이다. 도 3a 및 3b는 그레디언트 보정된 선형 보간 시스템 및 방법이 구현되고 사용될 수 있는 몇가지 방식들 중의 단지 2 가지 방식일 뿐이라는 것을 알기 바란다.

도 3a를 참조하면, 제1의 예시적인 구현에 있어서, 그레디언트 보정된 선형 보간 시스템(300)은 디지털 카메라 시스템(310) 상에 상주한다. 일반적으로, 그레디언트 보정된 선형 보간 시스템(300)은 그레디언트 보정된 선형 보간 방법을 사용하여 이미지 센서 어레이(315)로부터 얻어지는 이미지 데이터를 프로세스하고, 각 화소(320)에 대해 손실된 컬러 값을 출력한다. 더욱 구체적으로, 도 3a에 도시된 바와 같이, 그레디언트 보정된 선형 보간 시스템(300)은 디지털 카메라 시스템(310)의 일부로서, 이미지 센서 어레이(315)를 포함한다. 어레이(315)는 (도 3a에서 원으로 표시된) 다수의 이미지 센서로 구성되는데, 각 이미지 센서는 단일 컬러 값을 결정할 수 있다.

이미지 센서 어레이(315)는 센서 기판(330), 컬러 필터 어레이(CFA)(340) 및 마이크로렌즈 어레이(350)를 포함한다. 도 3a 및 3b에 점선으로 표시된 바와 같이, 전형적으로 마이크로렌즈 어레이(350)는 CFA(340) 상에 배치되고, 이 CFA(340)는 기판(330) 상에 배치된다. (도시되지 않은) 캡처될 이미지로부터의 광은 (화살표(355)로 도시된 바와 같이) 디지털 카메라 시스템(310)으로 들어간다. 마이크로렌즈 어레이(350)의 목적은 (단일 이미지 센서로 표시된) 각 화소 상으로 입사광(355)의 촛점을 맞추는 것이다. CFA(340)는 각 화소의 컬러 응답을 변화시킨다. 센서 기판(330)은 (CFA(340)에 의해 표시된 바와 같이) 특정 컬러 입사광을 캡처하고, 전기 신호를 발생시킨다. 이러한 방식으로, 이미지 센서 어레이(315)는 이미지 센서 어레이(315) 내에 배열된 적색, 녹색 및 청색 센서로 이미지로부터의 입사 광(355)을 샘플링한다.

이미지 센서 어레이(315) 내의 각 화소는 적색, 녹색 또는 청색 센서의 출력이다. 그러므로, 센서 출력은 이미지 센서 어레이(315) 내의 각 화소에 대한 단일 컬러 값에 대응하는 각 센서로부터의 전기 신호이다. 출력은 미가공 모자이크 패턴의 화소 데이터(360)이다. 상술된 바와 같이, 풀-컬러 이미지를 디스플레이하기 위해, 적색, 녹색 및 청색에 대한 컬러 정보가 각 화소에서 얻어져야 된다. 이것은 모자이크 패턴의 화소 데이터(360) 내의 손실된 컬러 값의 디모자이크 또는 보간에 의해 달성된다.

그레디언트 보정된 선형 보간 시스템(300)은 손실된 컬러 값의 고품질 추정치를 보간하기 위해 새로운 디모자이크 기술을 사용한다. 그레디언트 보정된 선형 보간 시스템(300)은 디지털 카메라 시스템(310) 상에 위치한 프로세싱 장치(370) 상에 상주한다. 후술되는 바와 같이, 그레디언트 보정된 선형 보간 시스템(300)은 이미지 센서 어레이(315) 내의 각 화소(320)에서 손실된 컬러 값을 얻기 위해 그레디언트 보정된 선형 보간 방법을 사용한다.

이제 도 3b를 참조하면, 제2의 예시적인 구현에서, 그레디언트 보정된 선형 보간 시스템(300)은 컴퓨팅 장치(380) 상에 상주한다. 미가공 모자이크 패턴의 화소 데이터(360)는 디지털 카메라 시스템(310)에서 컴퓨팅 장치(380)로 보내진다. 이 화소 데이터(360)는 전형적으로 USB 인터페이스, IEEE 1394 인터페이스, Bluetooth^®인터페이스, 또는 미가공 화소 데이터(360)를 디지털 카메라 시스템 (310)에서 컴퓨팅 장치(380)로 전달하기에 적절한 소정의 다른 인터페이스일 수 있는 인터페이스 접속(385)을 통해 컴퓨팅 장치(380)로 보내진다. 후술되는 바와 같이, 그레디언트 보정된 선형 보간 시스템(300)은 컴퓨팅 장치(380)에 의해 사용하기 위한 각 화소(390)에서의 손실된 컬러 값을 얻기 위해 그레디언트 보정된 선형 보간 방법을 사용한다.

III. 동작 개요

이제, 도 3에 도시되어 사용된 그레디언트 보정된 선형 보간 시스템(300) 및 방법의 동작에 대해 설명하겠다. 도 4는 도 3에 도시된 그레디언트 보정된 선형 보간 시스템의 일반적인 동작을 도시한 일반적인 흐름도이다. 그레디언트 보정된 선형 보간 방법은 컬러 이미지로부터 현재의 화소를 입력함으로써 시작된다(박스 400). 현재의 화소는 관련된 현재의 컬러를 갖는다. 즉, 현재의 컬러는 현재 화소의 이미지 센서가 수신하기 위해 필터되는 컬러이다. 다음에, 보간은 현재의 화소에서 원하는 컬러에 대해 계산된다(박스 410). 즉, 현재의 화소에서 손실된 컬러들 중의 임의의 컬러가 보간되거나 추정된다. 예로서, 현재의 컬러가 녹색이면, 원하는 컬러는 적색 또는 청색일 수 있다. 보간은 선형, 쌍선형, 비선형, 바이큐빅(bi-cubic) 및 Lanczos 보간 기술을 포함하는 상술된 보간 기술들 중의 임의의 기술을 사용하는 종래의 보간 기술이다. 양호한 실시예에서는, 쌍선형 보간 기술이 사용된다. 게다가, 원하는 컬러가 보간을 계산하기 위해 사용된다. 원하는 컬러의 이웃 화소들은 일반적으로 보간 계산 시에 사용된다.

그 다음, 보정항이 계산된다(박스 420). 이 계산은 현재 화소의 현재 컬러 를 사용하여 실행된다. 현재 화소는 전형적으로 현재 컬러를 갖는 현재 화소의 이웃 화소들과 함께 보정항을 계산할 때 사용된다. 양호한 실시예에서, 보정항은 후술되는 바와 같이, 현재 화소의 그레디언트를 계산함으로써 얻어지는 그레디언트 보정이다.

그레디언트 보정된 선형 보간 방법 및 시스템은 모서리가 크로미넌스 성분보다 훨씬 더 강한 휘도를 갖는 새로운 기준을 포함한다. 그러므로, 적색 화소에서 녹색 컬러 값의 보간을 계산할 때, 그 위치에서의 적색 컬러 값은 버려지지 않는다. 그 대신에, 본 발명은 보정항을 계산하기 위해 이 유익한 정보를 사용한다. 이와 달리, 종래의 보간 기술은 이 정보를 버렸다. 이 예에서, 적색 컬러 값은 이웃 적색 컬러 값에 대해 종래의 보간 기술을 사용하여 그 보간된 값과 비교될 수 있다. 그것이 그 추정치와 다르면, 아마도 그 화소에서 예리한 휘도 변화가 있다는 것을 의미할 수 있다. 그 다음, 본 발명은 (추정된 휘도 변경에 대응하는) 보정항의 최소한 일부를 더함으로써 보간된 녹색 컬러 값을 보정할 것이다. 그러한 비교는 어떠한 "if"문이나 조건부 브랜치 로직도 필요없도록, 그레디언트 기반의 보정항에 의해 암시적으로 실행된다.

마지막으로, 보간과 보정항은 현재의 화소에서 원하는 컬러의 보정된 보간을 얻기 위해 선형으로 결합된다(박스 430). 양호한 실시예에서, 보간과 보정항은 보정된 보간을 얻기 위해 함께 더해진다. 게다가, 그레디언트 보정 이득은 보간과 선형으로 결합되는 그레디언트 보정의 양(또는 보정분 또는 보정 퍼센트)을 지시하기 위해 그레디언트 보정에 적용될 수 있다. 후술되는 바와 같이, 이 그레디언트 보정 이득은 여러가지 기술을 사용하여 선택될 수 있다.

종래의 보간 기술과 달리, 그레디언트 보정된 선형 보간 방법이 적색 화소 위치에서의 녹색 값의 보간을 위해 보정항을 계산할 때, 예를 들어 그 위치에서의 적색 값은 폐기되지 않는다. 현재의 컬러(적색 값)는 유익한 정보이다! 그 대신에, 그레디언트 보정된 선형 보간 방법은 그 적색 값을, 가장 가까운 적색 샘플에 대한 그것의 보간(또는 추정치)과 비교한다. 보정항이 그 추정치와 다르면, 아마도 현재 화소에서 예리한 휘도 변경이 있다는 것을 나타낼 수 있다. 그러므로, 그레디언트 보정된 선형 보간 방법은 보정항의 최소한 일부를 보간에 결합으로써 (이 예에서 녹색을 갖는) 현재의 화소에서 종래의 보간을 보정하는데, 보정항은 이 추정된 휘도를 나타낸다.

IV. 동작 상세 및 운용 예

도 5는 그레디언트 보정 계산 프로세스를 도시한 일반적인 흐름도이다. 특히, 그레디언트 보정 이득이 결정된다(박스 500). 후술되는 바와 같이, 이득은 여러가지 방식으로 결정될 수 있다. 다음에, 서포트 영역이 컬러 이미지 내의 현재 화소 주위에 정해진다(박스 510). 이 서포트 영역은 현재의 화소와 같은 소정의 주어진 화소와 관련된 계산을 위해 컬러 값이 고려되는 화소 이웃의 크기로서 정해진다. 이들 계산은 보간의 계산 및 (그레디언트와 같은) 보정항의 계산을 포함한다.

그 다음, 그레디언트 보정이 계산된다(박스 520). 이 그레디언트는 (현재의 컬러를 갖는) 현재의 화소, 및 또한 현재의 컬러를 갖는 서포트 영역 내의 화소들 을 사용하여 계산된다. 그레디언트 보정 이득은 그 다음에 그레디언트 보정에 적용된다(박스 530). 각각의 그레디언트 보정 이득은 특정 보간 패턴과 관련된다는 것을 알기 바란다. 보정으로의 이득의 적용은 보간을 보정하기 위해 그레디언트 보정이 얼마나 사용되는지를 지시한다. 마지막으로, 조정된 그레디언트 보정이 출력된다(박스 540). 이 조정된 그레디언트 보정은 단독으로 보간 품질을 개선하기 위해 보간과 선형으로 결합될 수 있다.

여기에 개시된 그레디언트 보정된 선형 보간 방법 및 시스템을 더욱 완전히 이해하기 위해, 예시적인 운용 예의 동작 상세가 제시된다. 이 운용 예는 그레디언트 보정된 선형 보간 방법 및 시스템이 구현될 수 있는 한 방식일 뿐이라는 것을 알기 바란다.

그레디언트 보정

다음 식은 그레디언트 보정을 사용하여 화소 위치에서 보정된 보간을 제공하기 위해 제시된다. 그레디언트 보정된 선형 보간 방법 및 시스템의 상세를 예시하기 위해, 보간은 쌍선형 보간 기술이 제시되었다. 그러나, 소정의 다른 유형의 보간 기술이 사용될 수 있다는 것을 알기 바란다.

구체적으로, 적색 화소(R) 위치에서 녹색 컬러 값(G)을 보간하기 위해, 다음 수학식 2가 사용된다:

여기에서,

는 그레디언트 보정된 선형 보간이고,

는 쌍선형 보간이며, α는 그 특정 보간 패턴에 대한 그레디언트 보정 이득이고, △_R(i,j)는 다음 수학식 3에 의해 계산된 그 화소 위치에서의 적색(R)의 그레디언트가다.

그러므로, 그레디언트 보정된 선형 보간 방법 및 시스템은 수학식 3의 단순한 식에 의해 추정되는 화소 위치에서의 공지된 컬러에 대한 그레디언트 △_R의 측정에 의해 쌍선형 보간 추정을 보정한다. 그레디언트 보정 이득 α는 그러한 보정의 강도를 제어한다. 그레디언트 보정된 선형 보간 방법 및 시스템은 실제로 보정이 얼마나 적용되는지 제어하기 위한 이득 파라미터를 갖는 그레디언트 보정 쌍선형 보간 방법이다.

청색(B) 화소에서 녹색(G)을 보간하기 위해, 동일한 식이 사용되지만,

에 의해 보정된다. 녹색(G) 화소에서 적색(R)을 보간하기 위해, 다음 수학식 4가 사용된다:

여기에서, △_G(i,j)는 후술되는 바와 같이 9-포인트 서포트 영역에 의해 결정된다.

청색(B) 화소에서 적색(R)을 보간하기 위해, 다음 수학식 5가 사용된다:

여기에서,

_B(i,j)는 또한 후술되는 바와 같이 5-포인트 서포트 영역에서 계산된다.

청색(B)을 보간하는 수학식은 대칭적으로 유사하다.

그레디언트 보정 이득

그레디언트 보정 이득에 대한 적절한 값을 결정하기 위해(α,β, 및

, 각 값은 상술된 바와 같이 각각의 보간 패턴을 위한 것임), 위너(Wiener) 방식이 사용되었다. 즉, 최소 평균 제곱 에러 보간이 되게 한 값이 계산되었다. 이 계산은 전형적인 이미지 데이터 세트로부터 계산된 2차 통계를 사용하여 실행되었다. 다음에, 최적의 위너 계수는 1/2의 몇 제곱의 정수배에 의해 근사되었다. 최적 이득 값의 최종 결과는 α=1/2, β=5/8, 및

=3/4이었다. {α,β,

}의 값으로부터, 각각의 보간 경우에 대해 동등한 선형 유한 임펄스 응답(FIR) 필터 계수가 계산될 수 있다. 결과적인 계수 값은 5x5 서포트 영역에 대해 최적 위너 필터에 매우 가까운(평균 제곱 에러의 관점에서 5% 이내) 필터를 만든다.

그러므로, 의미심장하게 낮은 평균-제곱 보간 에러를 갖는 실제 선형 필터를 설계하는 유일한 방법은 큰 서포트 영역을 사용하는 것일 수 있다고 생각된다. 이것은 계산상 복잡도 및 요구된 메모리를 증가시킬 수 있을 뿐만 아니라, 이미지 내 의 모서리 주위의 물결현상(ringing) 아티팩트를 초래할 수 있다. 계산상의 복잡도를 추정하는 한가지 방법은 5x5 서포트 영역 내의 비제로 필터 계수의 수를 세는 것이다. 예를 들어, (상술된) S.-C.Pei 및 I.-K.Tam의 논문에서, 녹색(G) 채널에 대해서는 9개의 비제로 계수가 있고, 적색(R) 및 청색(B) 채널에 대해서는 각각 평균 13개가 있다. 이와 달리, 그레디언트 보정된 선형 보간 방법 및 시스템은 조금 낮은 복잡도를 갖는데, 즉 G 채널에 대해 9개의 계수, 및 R 및 B 채널에 대해 각각 11개의 계수를 갖는다.

도 6a-6d는 녹색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법을 도시한 상세도이다. 도 6a에서, 녹색 컬러 값은 적색 화소(600)에서 알아낼 수 있다. 파라미터 "a"는 후술되는 바와 같이, a=2α에 의해 그레디언트 보정 이득 α에 관련된다. 도 6a에 도시된 바와 같이, (쌍선형 보간과 같은) 보간은 적색 화소(600)를 둘러싸는 녹색 화소를 사용하여 실행된다. 또한, 그레디언트 보정은 적색 화소(600) 자신 뿐만 아니라 적색 화소(600)를 둘러싸는 적색 화소를 사용하여 계산된다.

도 6b는 도 6a에 도시된 바와 같이, 적색 화소에서 녹색 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도이다. 특히, 도 6b에 도시된 5x5 서포트 영역에 대한 그레디언트 보정된 선형 보간 방법은 다음을 포함한다:

1. 쌍선형으로 보간된 녹색에서 시작:

2. 적색 그레디언트를 계산:

3. 보정을 적용:

여기에서, α는 0 <α< 1인 "보정 이득"이다. α의 전형적인 값은 1/2이다.

상기 식은 다음과 같이 일반적인 FIR-필터형 식 내에 결합될 수 있다는 것을 알기 바란다.

여기에서, 파라미터 a는 a=2α에 의해 이득 α에 직접 관련되므로, α=1/2인 경우에 우리는 a=1을 갖는다. 이러한 형태에서, 최종 추정된 녹색(G) 값은 덧셈과 시프트만을 사용하여, 표시된 녹색 및 적색 값의 선형 결합으로서 계산될 수 있다는 것이 명백하다(이것은 2와 4에 의한 곱셈이 각각 한자리와 두자리 좌향 시프트에 의해 실행될 수 있고, 8에 의한 나눗셈이 세자리 우향 시프트에 의해 실행될 수 있기 때문이다).

도 6c에서, 녹색 컬러 값은 청색 화소(610)에서 알아낼 수 있다. 도 6c에 도시된 바와 같이, (쌍선형 보간과 같은) 보간은 청색 화소(610)를 둘러싸는 녹색 화소를 사용하여 실행된다. 또한, 그레디언트 보정은 청색 화소(610) 자신 뿐만 아니라 청색 화소(610)를 둘러싸는 청색 화소를 사용하여 계산된다.

도 6d는 도 6c에 도시된 바와 같이, 청색 화소에서 녹색 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도이다. 특히, 도 6c에 도시된 5x5 서포트 영역에 대한 그레디언트 보정된 선형 보간 방법은 다음을 포함한다:

1. 쌍선형으로 보간된 녹색에서 시작:

2. 청색 그레디언트를 계산:

3. 보정을 적용:

앞에서와 같이, 상기 식은 다음과 같이 일반적인 FIR-필터형 식 내에 결합될 수 있다.

여기에서, 파라미터 a는 a=2α에 의해 이득 α에 직접 관련되므로, α=1/2인 경우에 우리는 a=1을 갖는다. 다시, 상기 필터링 연산은 덧셈과 시프트만을 사용하여 효율적으로 계산될 수 있다는 것이 명백하다.

도 7a-7e는 적색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법을 도시한 상세도이다. 도 7a에서, 적색 컬러 값은 녹색 화소(700)에서 알아낼 수 있다. 녹색 화소(700)는 적색 행 및 청색 열 내에 위치한다. 파라미터 "b"는 후술되는 바와 같이, b=(8/5)β에 의해 그레디언트 보정 이득 β에 관련된다. 도 7a에 도시된 바와 같이, (쌍선형 보간과 같은) 보간은 녹색 화소(700)에 수평으로 이웃하는 2개의 적색 화소를 사용하여 실행된다. 게다가, 그레디언트 보정은 녹색 화소(700) 자신 뿐만 아니라 녹색 화소(700)를 둘러싸는 녹색 화소를 사용하여 계산된다.

도 7b는 도 7a에 도시된 바와 같이, 녹색 화소에서 적색 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도이다. 특히, 도 7a에 도시된 5x5 서포트 영역에 대한 그레디언트 보정된 선형 보간 방법은 다음을 포함한다:

1. 쌍선형으로 보간된 적색에서 시작:

2. 녹색 그레디언트를 계산:

3. 보정을 적용:

여기에서, β는 0 <β< 1인 "보정 이득"이다. 전형적인 값은 β= 5/8이다.

여기에서, 파라미터 b는 b=(8/5)β에 의해 이득 β에 직접 관련되므로, β=5/8인 경우에 우리는 b=1을 갖는다. 이러한 형태에서, 최종 추정된 적색(R) 값은 덧셈과 시프트만을 사용하여, 표시된 적색 및 녹색 값의 선형 결합으로서 계산될 수 있다는 것이 명백하다(예를 들어, 5에 의한 곱셈은 두자리 좌향 시프트와 덧셈에 의해 실행될 수 있다).

도 7c에서, 적색 컬러 값은 녹색 화소(710)에서 알아낼 수 있다. 그러나, 이 경우에, 녹색 화소(710)는 청색 행 및 적색 열 내에 위치한다. 도 7c에 도시된 바와 같이, (쌍선형 보간과 같은) 보간은 녹색 화소(710)에 수직으로 이웃하는 2개의 적색 화소를 사용하여 실행된다. 도 7a 및 7b에 도시된 상황과 유사하게, 그레디언트 보정은 녹색 화소(710) 자신뿐만 아니라 녹색 화소(710)를 둘러싸는 녹색 화소를 사용하여 계산된다.

도 7d에서, 적색 컬러 값은 청색 화소(720)에서 알아낼 수 있다. 파라미터 "c"는 후술되는 바와 같이, c=2

에 의해 그레디언트 보정 이득

에 관련된다. 도 7d에 도시된 바와 같이, (쌍선형 보간과 같은) 보간은 청색 화소(720)에 이웃하는 4개의 적색 화소를 사용하여 실행된다. 게다가, 그레디언트 보정은 청색 화소(720) 자신뿐만 아니라 청색 화소(720)를 둘러싸는 녹색 화소를 사용하여 계산된 다.

도 7e는 도 7d에 도시된 바와 같이, 청색 화소에서 적색 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도이다. 특히, 도 7d에 도시된 5x5 서포트 영역에 대한 그레디언트 보정된 선형 보간 방법은 다음을 포함한다:

1. 쌍선형으로 보간된 적색에서 시작:

2. 청색 그레디언트를 계산:

3. 보정을 적용:

여기에서,

는 0 <

< 1인 "보정 이득"이다. 전형적인 값은

= 3/4이다.

여기에서, 파라미터 c는 c=2

에 의해 이득

에 직접 관련되므로,

=3/4인 경우에 우리는 c=3/2을 갖는다. 이러한 형태에서, 최종 추정된 적색(R) 값은 덧셈과 시프트만을 사용하여, 표시된 적색 및 청색 값의 선형 결합으로서 계산될 수 있다는 것이 명백하다(예를 들어, 3/2에 의한 곱셈은 한자리 우향 시프트와 덧셈에 의해 실행될 수 있다).

도 8a-8e는 청색 컬러 값을 찾기 위한 그레디언트 보정된 선형 보간 방법을 도시한 상세도이다. 도 8a에서, 청색 컬러 값은 녹색 화소(800)에서 알아낼 수 있다. 녹색 화소(800)는 청색 행 및 적색 열 내에 위치한다. 파라미터 "b"는 후술되는 바와 같이, b=(8/5)β에 의해 그레디언트 보정 이득 β에 관련된다. 도 8a에 도시된 바와 같이, (쌍선형 보간과 같은) 보간은 녹색 화소(800)에 수평으로 이웃하는 2개의 청색 화소를 사용하여 실행된다. 또한, 그레디언트 보정은 녹색 화소(800) 자신 뿐만 아니라 녹색 화소(800)를 둘러싸는 8개의 녹색 화소를 사용하여 계산된다.

도 8b는 도 8a에 도시된 바와 같이, 녹색 화소에서 청색 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도이다. 특히, 도 8a에 도시된 5x5 서포트 영역에 대한 그레디언트 보정된 선형 보간 방법은 다음을 포함한다:

1. 쌍선형으로 보간된 청색에서 시작:

2. 녹색 그레디언트를 계산:

3. 보정을 적용:

여기에서, β는 0 <β< 1인 "보정 이득"이다. 전형적인 값은 β = 5/8이다.

여기에서, 상술된 바와 같이, 파라미터 b는 b=(8/5)β에 의해 이득 β에 직접 관련되므로, β=5/8인 경우에 우리는 b=1을 갖는다.

도 8c에서, 청색 컬러 값은 녹색 화소(810)에서 알아낼 수 있다. 그러나, 이 경우에, 녹색 화소(810)는 적색 행 및 청색 열 내에 위치한다. 도 8c에 도시된 바와 같이, (쌍선형 보간과 같은) 보간은 녹색 화소(810)에 수직으로 이웃하는 2개의 청색 화소를 사용하여 실행된다. 도 8a 및 8b에 도시된 상황과 유사하게, 그레디언트 보정은 녹색 화소(810) 자신뿐만 아니라 녹색 화소(810)를 둘러싸는 8개의 녹색 화소를 사용하여 계산된다.

도 8d에서, 청색 컬러 값은 적색 화소(820)에서 알아낼 수 있다. 파라미터 "c"는 후술되는 바와 같이, c=2

에 의해 그레디언트 보정 이득

에 관련된다는 것을 알기 바란다. 도 8d에 도시된 바와 같이, (쌍선형 보간과 같은) 보간은 적색 화소(820)에 이웃하는 4개의 청색 화소를 사용하여 실행된다. 또한, 그레디언트 보정은 적색 화소(820) 자신뿐만 아니라 적색 화소(820)를 둘러싸는 4개의 적색 화소를 사용하여 계산된다.

도 8e는 도 8d에 도시된 바와 같이, 적색 화소에서 청색 값을 찾기 위한 5x5 서포트 영역을 도시한 상세도이다. 특히, 도 8d에 도시된 5x5 서포트 영역에 대한 그레디언트 보정된 선형 보간 방법은 다음을 포함한다:

1. 쌍선형으로 보간된 적색에서 시작:

2. 적색 그레디언트를 계산:

3. 보정을 적용:

여기에서,

는 0 <

< 1인 "보정 이득"이다. 전형적인 값은

= 3/4이다.

여기에서, 파라미터 c는 c=2

에 의해 이득

에 직접 관련되므로,

=3/4인 경우 에 우리는 c=3/2을 갖는다. 이러한 형태에서, 상술된 바와 같이, 최종 추정된 적색(R) 값은 덧셈과 시프트만을 사용하여, 표시된 청색 및 적색 값의 선형 결합으로서 계산될 수 있다는 것이 명백하다.

3가지 유형의 보간 패턴이 있으므로, 3가지 유형의 그레디언트 보정 이득(α,β,

)이 있다는 것을 알기 바란다. 이들 이득은 여러가지 방식으로 선택될 수 있다. 한가지 방식은 최적 이득 값을 사용하는 것이다. 일반적으로, 이들 최적 값은 α=1/2, β=5/8, 및

=3/4이다. 최적 이득 값들 간의 차이는 상이한 패턴을 볼 때의 상관성의 차이로 인한 것이다.

실제로, 최적 이득 값은 각각 정확하게 1/2, 5/8 및 3/4가 아니다. 그것들은 가깝긴 하지만, 구현 목적을 위해, 분모가 2의 거듭제곱인 유리수일 수 있는 가장 가까운 수에 의해 근사될 수 있다. 이것은 연산을 단순화하고, 부동 소수점 연산의 필요성을 없애므로, 계산상의 복잡도를 상당히 단순화시킨다. 8에 의한 나눗셈은 단순히 우측으로의 3비트 시프트이므로, 계산은 정수 연산으로 행해질 수 있다. 그러므로, 이러한 특정 이득 선택은 계산이 나눗셈 없이 정수 연산으로 실행된다는 것을 보장해야 한다.

이득을 선택하는 다른 방식은 디지털 카메라 제조자에게 달려있다. 대부분의 디지털 카메라의 렌즈는 보통 소정의 광학 저역-통과 필터링(또는 블러링(blurring))을 실행한다. 이것은 디모자이크가 약간의 컬러 줄무늬를 생성할 수 있다는 것을 제조자들이 알기 때문이고, 제조자들이 이미지가 센서에 부딪치기 전 에 이미지를 약간 블러링하면, 디모자이크에 의해 야기된 줄무늬는 약해질 수 있다.

각 제조자는 그 자신의 컬러 매트릭스를 사용한다(그것이 바이엘 매트릭스이더라도, 그들은 종종 상이한 유형의 컬러 필터링을 사용한다). 이것은 주파수 응답이 제조자들간에 약간 다르게 보일 수 있다는 것을 의미한다. 예를 들어, 제1 제조자의 필터에서는 다른 제조자로부터의 필터보다 청색과 적색 사이에 더 적은 상관성이 있을 수 있다. 각각의 서로 다른 제조자의 카메라에 대한 주파수 응답 및 상관성 통계가 주어지면, 이득은 이들 통계에 기초하여 미세 조정될 수 있다. 게다가, 이들 이득은 나눗셈이 없고 정수 연산을 할 수 있게 하는 값과 같은 단순한 값으로 재근사될 수 있다.

이득은 또한 적응 방식으로 선택될 수 있다. 적응 이득 선택 시에, 이득은 이미지의 통계에 기초하여 변한다. 통계는 글로벌 또는 로컬일 수 있다. 글로벌 이미지 통계는 전체적으로 이미지에 기초한다. 로컬 이미지 통계는 전체 이미지뿐만 아니라, 이미지 내의 특정 영역에 기초한다. 그러한 통계로부터, 더 양호한 채널간 상관 값이 계산될 수 있으므로, 대응하는 새로운 최적 위너 필터 이득이 결정될 수 있다. 위너 필터링뿐만 아니라, 글로벌 및 로컬 이미지 통계의 계산은 본 분야에 잘 알려져 있으므로, 더 이상 설명하지 않겠다.

성능

그레디언트 보정 선형 보간 방법 및 시스템이 몇가지 상이한 유형의 보간 기술에 비교되었다. 이 비교는 널리 공지된 공공-영역 코닥(Kodak) 이미지 세트를 사용하고, (단순히 각 화소에 대한 각각의 RGB 값들 중의 하나만을 유지함으로써) 바이엘 샘플링 어레이를 시뮬레이트한 다음에, 여러가지 보간 알고리즘을 적용하여 실행되었다. 이 서브샘플링 방법은 바이엘 패턴 서브샘플링으로 인한 에일리어싱(aliasing)을 감소시키도록 적은 양의 저역 통과 필터링을 효과적으로 실행하기 위해 일반적으로 신중한 렌즈 디자인을 사용하는 디지털 카메라를 실제로 대표하지는 못한다. 그러나, 상술된 모든 논문들은 저역 통과 필터링없이 단지 서브샘플링만을 실행하기 때문에, 결과들이 비교될 수 있도록 동일하게 행해졌다. 또한, 모든 보간 방법은 바이엘 서브샘플링 전에 적은 양의 가우스 저역 통과 필터링으로 검사되었고, 방법들의 상대적인 성능이 필터링이 있든 없든 거의 동일하다는 것을 알았다. 그레디언트 보정된 선형 보간 방법 및 시스템은 쌍선형 보간 기술보다도 피크 신호 대 잡음 비(PSNR)가 개선된다는 것을 보여주었다. 게다가, Freeman의 보간 기술을 제외하고, 대부분의 방법은 5 dB보다 많이 개선된다. 평균적으로, 그레디언트 보정 선형 방법 및 시스템은 대부분의 다른 보간 기술보다 우수하다.

PSNR 측정치 이외에, 시각적 품질이 코닥 세트 내의 이미지들 중 하나를 사용하여 검증되었다. 그레디언트 보정된 선형 보간 방법 및 시스템은 ((상술된) Kimmel 논문에 설명된 것과 같은) 양호한 비선형 방법과 유사한 시각적 품질을 산출했지만, 훨씬 더 낮은 복잡도를 가졌다. Pei-Tam 논문에 설명된 보간 기술에 비해, 그레디언트 보정된 선형 보간 방법 및 시스템은 조금 감소된 계산상의 복잡도에서, 더 낮은 PSNR뿐만 아니라, 조금 적은 시각적 컬러 필터링 왜곡을 생성했다.

그레디언트 보정된 선형 보간 방법 및 시스템은 위너의 관점에서 거의 최적 하고, 실제로, 다수의 더 복잡한 비선형 보간 기술보다 우수하다. 최근에 도입된 선형 디모자이크 기술에 비해, 그레디언트 보정된 선형 보간 방법 및 시스템은 보간된 화질면에서 0.5 dB 개선을 생성하고, 평균 제곱 에러면에서 12% 감소를 생성한다. 이것은 녹색 채널에 대해서는 동일한 품질을, 적색 및 청색 채널에 대해서는 약 0.7 dB 개선을 가져온다. 또한, Pei-Tam 논문에 설명된 기술에 비해, 그레디언트 보정 선형 기술 방법 및 시스템은 또한 계산상의 복잡도가 조금(약 12%) 감소된다.

V. 예시적인 동작 환경

그레디언트 보정된 선형 보간 방법 및 시스템은 디지털 카메라 시스템(310) 내에 또는 컴퓨팅 장치(380) 내에 포함된 프로세싱 장치(370)와 같은 컴퓨터 장치 상에서 컴퓨팅 환경 내에서 동작하도록 설계된다. 그레디언트 보정된 선형 보간 방법 및 시스템이 동작하는 컴퓨팅 환경에 대해 이제 설명하겠다. 다음 설명은 그레디언트 보정된 선형 보간 방법 및 시스템이 구현될 수 있는 적절한 컴퓨팅 환경에 대한 간략한 일반적인 설명을 제공하고자 하는 것이다.

도 9는 도 3의 그레디언트 보정된 선형 보간 방법 및 시스템이 구현될 수 있는 적절한 컴퓨팅 시스템 환경의 예를 나타낸다. 컴퓨팅 시스템 환경(900)은 단지 적절한 컴퓨팅 환경의 일 예이며 본 발명의 사용 또는 기능의 범위에 제한을 가하도록 의도된 것은 아니다. 컴퓨팅 환경(900)은 예시적인 동작 환경(900)에 도시된 컴포넌트들 중의 임의의 하나 또는 조합에 관하여 임의의 종속성 또는 요구사항을 갖는 것으로 해석되어서는 안된다.

그레디언트 보정된 선형 보간 방법 및 시스템은 다수의 기타 범용 또는 전용 컴퓨팅 시스템 환경 또는 구성으로 동작가능하다. 그레디언트 보정된 선형 보간 방법 및 시스템과 함께 사용하기 위해 적합하게 될 수 있는 널리 알려진 컴퓨팅 시스템, 환경 및/또는 구성들의 예는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드-헬드, 셀폰 및 PDA와 같은 랩탑 또는 이동 컴퓨터 또는 통신 장치, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋탑박스, 프로그램 가능 소비자 전자제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템 또는 장치 중의 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함하는데, 이것에 제한되지는 않는다.

그레디언트 보정된 선형 보간 방법 및 시스템은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어들의 일반적인 문맥으로 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 실행하거나 특정 추상 데이터형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 그레디언트 보정된 선형 보간 방법 및 시스템은 또한 통신 네트워크를 통해 링크되는 원격 프로세싱 장치에 의해 태스크가 실행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 로컬 및 원격 컴퓨터 저장 매체 내에 위치될 수 있다. 도 9를 참조하면, 그레디언트 보정된 선형 보간 방법 및 시스템을 구현하기 위한 예시적인 시스템은 컴퓨터(910) 형태의 범용 컴퓨팅 장치를 포함한다.

컴퓨터(910)의 컴포넌트들로는, 프로세싱 유닛(920), 시스템 메모리(930), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 프로세싱 유닛(920)에 연 결시키는 시스템 버스(921)가 포함될 수 있지만, 이것에 제한되는 것은 아니다. 시스템 버스(921)는 다양한 버스 아키텍처 중의 임의의 것을 사용하는 로컬 버스, 주변 버스, 및 메모리 버스 또는 메모리 제어기를 포함하는 몇가지 유형의 버스 구조 중의 임의의 것일 수 있다. 예로서, 이러한 아키텍처는 산업 표준 아키텍처(ISA) 버스, 마이크로 채널 아키텍처(MCA) 버스, 인핸스드 ISA(Enhanced ISA; EISA) 버스, 비디오 일렉트로닉스 표준 어소시에이션(VESA) 로컬 버스, 및 메자닌(Mezzanine) 버스로도 알려진 주변 컴포넌트 상호접속(PCI) 버스를 포함하지만, 이것에 제한되는 것은 아니다.

컴퓨터(910)는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(910)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함한다. 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이것에 제한되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다.

컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광학 디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터(910)에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의 의 기타 매체를 포함하지만, 이것에 제한되지 않는다. 통신 매체는 통상적으로 반송파 또는 기타 전송 메카니즘과 같은 변조된 데이터 신호에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 구현하며, 임의의 정보 전달 매체를 포함한다.

"변조된 데이터 신호"라는 용어는 신호 내에 정보를 인코딩하는 방식으로 설정되거나 변환된 특성을 하나 또는 그 이상을 갖는 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체와, 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함하지만, 이것에 제한되지 않는다. 상술한 것들 중의의 임의의 조합이 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.

시스템 메모리(930)는 ROM(931) 및 RAM(932)과 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 시동중과 같은 때에 컴퓨터(910) 내의 구성요소들간에 정보를 전송하는 것을 돕는 기본 루틴을 포함하는 기본 입출력 시스템(933; BIOS)은 일반적으로 ROM(931)에 저장된다. RAM(932)은 일반적으로 프로세싱 유닛(920)에 즉시 액세스될 수 있고/있거나 프로세싱 유닛(120)에 의해 현재 작동되는 프로그램 모듈 및/또는 데이터를 포함한다. 예로서, (제한하고자 하는 것은 아님) 도 9는 운영 체제(934), 응용 프로그램(935), 기타 프로그램 모듈(936) 및 프로그램 데이터(937)를 도시한다.

컴퓨터(910)는 또한 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 단지 예로서, 도 9에는 비분리형 비휘발성 자기 매체로부터 판독하거나 그 자기 매체에 기록하는 하드 디스크 드라이브(941), 분리형 비휘발성 자기 디스크(952)로부터 판독하거나 그 자기 디스크에 기록하는 자기 디스크 드라이브(951), 및 CD-ROM 또는 기타 광학 매체 등의 분리형 비휘발성 광학 디스크(956)로부터 판독하거나 그 광학 디스크에 기록하는 광학 디스크 드라이브(955)가 도시되어 있다.

예시적인 동작 환경에서 사용될 수 있는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래쉬 메모리 카드, DVD, 디지털 비디오 테이프, 고체 RAM, 고체 ROM 등을 포함하지만, 이것에 제한되지 않는다. 하드 디스크 드라이브(941)는 일반적으로 인터페이스(940)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(921)에 접속되고, 자기 디스크 드라이브(951) 및 광학 디스크 드라이브(955)는 일반적으로 인터페이스(950)와 같은 분리형 메모리 인터페이스에 의해 시스템 버스(921)에 접속된다.

앞서 기술되고 도 9에 도시된 드라이브 및 그 관련 컴퓨터 저장 매체는 컴퓨터(910)를 위한 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 저장을 제공한다. 도 9에서, 예를 들어, 하드 디스크 드라이브(941)는 운영 체제(944), 응용 프로그램(945), 기타 프로그램 모듈(946), 및 프로그램 데이터(947)를 저장하는 것으로 도시된다. 이들 컴포넌트는 운영 체제(934), 응용 프로그램(935), 기타 프로그램 모듈(936) 및 프로그램 데이터(937)와 동일할 수도 있고 다를 수도 있다. 운영 체제(944), 응용 프로그램(945), 기타 프로그램 모듈(946), 및 프로그램 데이터(947)는 최소한 다른 복사본임을 나타내기 위하여 다른 번호를 부여하였다. 사용자는 마우스, 트랙볼 또는 터치 패드라 통칭되는 포인팅 장치(961) 및 키보드(962)와 같은 입력 장치를 통해 컴퓨터(910) 내로 커맨드 및 정보를 입력할 수 있다.

(도시되지 않은) 기타 입력 장치는 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 라디오 수신기, 텔레비젼 또는 방송 비디오 수신기 등을 포함할 수 있다. 이들 입력 장치 및 그외의 입력 장치는 시스템 버스(921)에 연결된 사용자 입력 인터페이스(960)를 통해 종종 프로세싱 유닛(920)에 접속되지만, 예를 들어 병렬 포트, 게임 포트 또는 유니버설 시리얼 버스(USB)와 같은 기타 인터페이스 및 버스 구조에 의해 접속될 수 있다. 모니터(991) 또는 다른 유형의 디스플레이 장치는 또한 비디오 인터페이스(990)와 같은 인터페이스를 통해 시스템 버스(921)에 접속된다. 모니터외에도, 컴퓨터는 또한 출력 주변 인터페이스(995)를 통해 접속될 수 있는 스피커(997) 및 프린터(996) 등의 기타 주변 출력 장치를 포함할 수 있다.

컴퓨터(910)는 원격 컴퓨터(980)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용한 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(980)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치, 또는 기타 공통 네트워크 노드일 수 있으며, 비록 도 9에는 메모리 저장 장치(981)만이 도시되어 있지만, 컴퓨터(910)에 관하여 상술한 구성요소 중 다수 또는 모든 구성요소를 일반적으로 포함할 수 있다. 도 9에 도시된 논리적 접속은 근거리 통신망(LAN; 971) 및 원거리 통신망(WAN; 973)을 포함하지만, 그 외의 네트워크를 포함할 수도 있다. 이러한 네트 워크 환경은 사무실, 기업 광역 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷, 및 인터넷에서 일반적인 것이다.

LAN 네트워크 환경에서 사용되는 경우, 컴퓨터(910)는 네트워크 인터페이스 또는 어댑터(970)를 통해 LAN(971)에 접속된다. WAN 네트워크 환경에서 사용되는 경우, 컴퓨터(910)는 일반적으로 인터넷 등의 WAN(973)을 통해 통신을 구축하기 위한 모뎀(972) 또는 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(972)은 사용자 입력 인터페이스(960) 또는 기타 적절한 메카니즘을 통해 시스템 버스(921)에 접속될 수 있다. 네트워크 환경에서, 컴퓨터(910)에 관하여 도시된 프로그램 모듈 또는 그 일부분은 원격 메모리 저장 장치에 저장될 수 있다. 예로서(제한하고자 하는 것은 아님), 도 9는 메모리 장치(981)에 상주하는 원격 응용 프로그램(985)을 도시한다. 도시된 네트워크 접속은 예시적인 것이며, 컴퓨터들간의 통신 링크를 구축하는 그 외의 수단이 사용될 수 있다.

VI. 시스템 컴포넌트

도 3a 및 3b에 도시된 그레디언트 보정된 선형 보간 시스템(300)은 시스템(300)이 빠르고, 단순하고, 효율적인 방식으로 한 화소에서 손실된 컬러의 고품질 보간을 생성할 수 있게 하는 다수의 프로그램 모듈을 포함한다. 도 10은 도 3에 도시된 그레디언트 보정된 선형 보간 시스템(300)의 상세를 도시한 블록도이다. 이제, 시스템(300)에 포함된 프로그램 모듈이 설명될 것이다.

일반적으로, 도 10을 참조하면, 그레디언트 보정된 선형 보간 시스템(300)은 이미지 센서 어레이(315)에 의해 생성된 미가공 모자이크 패턴의 화소 데이터(360) 를 포함하는 색 정보를 입력하고, 그 정보를 프로세스하며, 각 화소(320)에 대한 하나 이상의 손실된 컬러 값을 출력한다. 더욱 구체적으로, 그레디언트 보정된 선형 보간 시스템(300)은 컬러 이미지를 나타내는 이미지 센서 어레이로부터 현재의 컬러를 갖는 현재의 화소를 선택하는 현재의 화소 선택기(1000)를 포함한다. 보간 모듈(1010)은 현재의 화소에서 손실되고 요구되는 컬러 값의 제1 보간을 계산한다. 보간은 서포트 영역 내의 원하는 컬러를 갖는 화소를 사용한다.

그레디언트 보정된 선형 보간 시스템(300)은 또한 보간을 위해 보정항을 계산하는 보정항 모듈(1020)을 포함한다. 양호하게, 보정항은 현재 화소의 컬러를 갖는 서포트 영역 내의 화소들의 그레디언트로부터 계산된다. 일단 보간 및 보정항이 계산되면, 선형 결합 모듈(1030)은 현재 화소(320)에서 원하는(또는 손실된) 컬러 값을 얻기 위해 보간과 보정항을 선형으로 결합한다. 양호하게, 보간과 보정항은 현재 화소(320)에서 원하는(또는 손실된) 컬러 값을 추정하는 보정 보간을 얻기 위해 함께 더해진다.

도 11은 도 10에 도시된 보정항 계산 모듈(1020)의 상세를 도시한 블록도이다. 일반적으로, 현재의 화소(1100)에서 원하는 컬러의 보간은 계산 모듈(1020)에 입력되고, 보정항이 계산되며, 조정 그레디언트 보정이 출력된다(1110).

특히, 보정항 계산 모듈(1020)은 적용될 보정량을 선택하는 그레디언트 보정 선택기(1120)를 포함한다. 서포트 영역 모듈(1130)은 현재의 화소 주위에 서포트 영역을 정한다. 양호하게, 서포트 영역은 현재의 화소가 중심에 있는 5x5 화소 어레이이다.

보정항 계산 모듈(1020)은 또한 현재의 화소를 사용하여 그레디언트 보정을 계산하는 그레디언트 보정 모듈(1140)을 포함한다. 또한, 모듈(1140)은 현재 컬러로 이루어진 서포트 영역 내의 화소, 즉 현재의 화소와 동일한 컬러를 사용한다. 그레디언트 보정 이득 적용 모듈(1150)은 조정된 그레디언트 보정(1110)이 출력되도록 계산된 그레디언트 보정으로 이득을 적용한다.

본 발명의 상기 설명은 예시 및 설명을 위해 제공되었다. 이것은 본 발명을 개시된 정확한 형태로 제한한다거나 총망라하고자 하는 것이 아니다. 다수의 변경 및 변형은 상기 교시에 비추어 가능하다. 본 발명의 범위는 발명의 상세한 설명에 의해서가 아니라 첨부된 청구범위에 의해 제한된다.

본 발명은 구현이 단순하고 비용이 효과적인 고품질 보간을 제공함으로써 현재의 보간 기술의 결함을 극복한다. 그레디언트 보정된 선형 보간 방법 및 시스템은 종래의 선형 디모자이크 기술보다 양호한 성능 및 낮은 복잡도를 갖는다. 또한, 그레디언트 보정된 선형 보간 방법 및 시스템은 훨씬 더 복잡한 다수의 종래의 비선형 디모자이크 기술보다 우수하다.

Claims

컬러 이미지 내의 현재의 컬러를 갖는 현재의 화소에서 원하는 컬러를 보간하는 방법으로서,

상기 원하는 컬러를 사용하여 상기 현재의 화소에서 상기 원하는 컬러의 보간을 계산하는 단계;

상기 현재의 컬러를 사용하여 보정항(correction term)을 계산하는 단계; 및

상기 현재의 화소에서 상기 원하는 컬러의 보정된 보간을 얻기 위해 상기 보간과 상기 보정항을 선형으로 결합하는 단계

를 포함하는 방법.
제1항에 있어서, 상기 보간을 계산할 때 상기 원하는 컬러의 이웃하는 화소들을 사용하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 보정항을 계산할 때 상기 현재의 화소를 사용하는 단계를 더 포함하는 방법.
제3항에 있어서, 상기 보정항을 계산할 때 상기 현재 컬러의 이웃하는 화소들을 사용하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 보간은 쌍선형(bilinear) 보간 기술인 방법.
제1항에 있어서, 상기 보정항은 그레디언트(gradient) 보정인 것을 특징으로 하는 방법.
제6항에 있어서, 상기 보간과 선형으로 결합되는 그레디언트 보정의 양을 결정하기 위해 그레디언트 보정 이득을 상기 그레디언트 보정에 적용하는 단계를 더 포함하는 방법.
제1항에 있어서, 보정된 보간을 얻기 위해 상기 보간과 상기 보정항을 더하는 단계를 더 포함하는 방법.
이미지 센서 내의 제1 컬러를 갖는 현재의 화소에서 원하는 컬러를 보간하는 컴퓨터 구현 방법으로서,

상기 원하는 컬러를 갖는 화소들을 사용하여 상기 현재의 화소에서 상기 원하는 컬러의 제1 보간을 계산하는 단계;

상기 제1 컬러를 갖는 화소들을 사용하여 그레디언트 보정을 계산하는 단계; 및

상기 현재의 화소에서 상기 원하는 컬러의 그레디언트 보정된 보간을 얻기 위해 상기 제1 보간과 상기 기울기 보정을 선형으로 결합하는 단계

를 포함하는 컴퓨터 구현 방법.
제9항에 있어서, 상기 제1 보간과 선형으로 결합되는 상기 그레디언트 보정의 양에 영향을 미치기 위해 그레디언트 보정 이득을 상기 그레디언트 보정에 적용하는 단계를 더 포함하는 컴퓨터 구현 방법.
제10항에 있어서, 최적 그레디언트 보정 이득을 생성하기 위해 평균-제곱 에러가 최소화되도록 상기 그레디언트 보정 이득을 선택하는 단계를 더 포함하는 컴퓨터 구현 방법.
제11항에 있어서, (a) 정수 연산과 (b) 나눗셈이 없는 연산 중의 적어도 하나를 사용하여 계산을 할 수 있게 하는 단순화된 그레디언트 보정 이득을 생성하기 위해 상기 최적 그레디언트 보정 이득을 조정하는 단계를 더 포함하는 컴퓨터 구현 방법.
제9항에 있어서, 상기 제1 보간은 선형 보간인 컴퓨터 구현 방법.
제13항에 있어서, 상기 선형 보간은 쌍선형 보간인 컴퓨터 구현 방법.
제9항에 있어서, 상기 제1 보간은 (a) 쌍선형 보간; (b) 바이-큐빅(bi- cubic) 보간; (c) Lanczos 보간 중의 적어도 하나인 컴퓨터 구현 방법.
제9항에 있어서,

소정의 주어진 화소와 관련된 계산을 위해 값들이 고려되는 화소 이웃의 크기로서 서포트(support) 영역을 정하는 단계;

상기 제1 컬러를 갖는 상기 현재의 화소에 가장 가까운 화소들을 포함하도록 상기 서포트 영역을 선택하는 단계; 및

상기 제1 보간 및 상기 그레디언트 보정을 계산하기 위해 상기 서포트 영역을 사용하는 단계

를 포함하는 컴퓨터 구현 방법.
제16항에 있어서, 상기 서포트 영역은 상기 현재의 화소가 중심에 있는 5x5 화소 영역인 컴퓨터 구현 방법.
제16항에 있어서, 상기 서포트 영역은 상기 현재의 화소가 중심에 있는 5x5 화소 영역보다 큰 컴퓨터 구현 방법.
제18항에 있어서, 상기 제1 보간은 비선형 보간인 컴퓨터 구현 방법.
제16항에 있어서,

상기 제1 보간을 계산하기 위해 제1 서포트 영역을 사용하는 단계; 및

상기 그레디언트 보정을 계산하기 위해 제2 서포트 영역을 사용하는 단계

를 포함하는 컴퓨터 구현 방법.
제20항에 있어서, 상기 제1 서포트 영역은 상기 제2 서포트 영역과 다른 컴퓨터 구현 방법.
제9항에 설명된 컴퓨터 구현 방법을 실행하기 위한 컴퓨터 실행가능 명령어를 갖는 컴퓨터 판독가능 매체.
컬러 이미지 센서 내의 현재의 컬러를 갖는 현재의 화소에서 손실된 적색-청색-녹색(RGB) 데이터를 보간하는 방법으로서,

손실된 컬러 추정치를 결정하기 위해 상기 현재의 화소에서 손실된 컬러에 기초하여 제1 보간 기술을 사용하는 단계;

상기 현재의 컬러에 기초하여 그레디언트 보정을 계산하는 단계;

조정된 그레디언트 보정을 얻기 위해 그레디언트 보정 이득과 상기 그레디언트 보정을 곱하는 단계; 및

상기 손실된 RGB 데이터의 최소한 일부에 대응하는 선형으로 보정된 손실된 컬러 추정치를 얻기 위해 상기 손실된 컬러 추정치와 상기 조정된 그레디언트 보정을 선형으로 결합하는 단계

를 포함하는 방법.
제23항에 있어서, 상기 제1 보간 기술은 쌍선형 보간인 방법.
제23항에 있어서, 상기 그레디언트 보정은 선형 연산자인 방법.
제23항에 있어서, 상기 컬러 이미지 센서의 특성들에 기초하여 상기 그레디언트 보정 이득을 조정하는 단계를 더 포함하는 방법.
제26항에 있어서, 상기 컬러 이미지 센서는 디지털 카메라 시스템 내로 통합되고, 상기 디지털 카메라 시스템의 특성들에 기초하여 상기 그레디언트 보정 이득을 조정하는 단계를 더 포함하는 방법.
이미지 센서를 갖는 디지털 카메라 시스템에 의해 생성된 컬러 이미지 내의 제1 컬러를 갖는 현재 화소의 손실된 컬러를 선형으로 보간하는 프로세스로서,

상기 현재 화소가 중심에 있는 제1 서포트 영역을 정하는 단계;

제1의 손실된 컬러 추정치를 얻기 위해, 상기 손실된 컬러를 갖는 상기 제1 서포트 영역 내의 화소들을 사용하는 보간 기술을 사용하여 상기 손실된 컬러를 보간하는 단계;

상기 현재 화소가 중심에 있는 제2 서포트 영역을 정하는 단계;

상기 현재 화소와 상기 제1 컬러를 갖는 상기 제2 서포트 영역 내의 화소들을 사용하여 그레디언트 보정을 계산하는 단계;

상기 사용될 그레디언트 보정의 퍼센트를 나타내는 그레디언트 보정 이득을 상기 그레디언트 보정에 적용하는 단계; 및

상기 손실된 컬러의 그레디언트 보정 추정치를 얻기 위해 상기 제1의 손실된 컬러 추정치와 상기 그레디언트 보정을 선형으로 결합하는 단계

를 포함하는 프로세스.
제28항에 있어서, 상기 컬러 이미지의 통계에 기초하여 상기 그레디언트 보정 이득을 변화시키는 단계를 더 포함하는 프로세스.
제29항에 있어서,

상기 컬러 이미지에 대한 글로벌 통계를 측정하는 단계; 및

상기 글로벌 통계에 기초하여 상기 그레디언트 보정 이득을 변화시키는 단계

를 더 포함하는 프로세스.
제29항에 있어서,

상기 컬러 이미지 내의 각 영역에 대한 로컬 통계를 측정하는 단계; 및

상기 로컬 통계에 기초하여 상기 그레디언트 보정 이득을 변화시키는 단계

를 더 포함하는 프로세스.
제28항에 있어서, 상기 손실된 컬러에 기초하여 상기 그레디언트 보정 이득을 계산하는 단계를 더 포함하는 프로세스.
제32항에 있어서, 상기 손실된 컬러는 녹색이고, 상기 그레디언트 보정 이득을 1/2값으로 설정하는 단계를 더 포함하는 프로세스.
제32항에 있어서, 상기 손실된 컬러는 적색이고, 상기 그레디언트 보정 이득을 5/8값으로 설정하는 단계를 더 포함하는 프로세스.
제32항에 있어서, 상기 손실된 컬러는 청색이고, 상기 그레디언트 보정 이득을 3/4값으로 설정하는 단계를 더 포함하는 프로세스.
제28항에 있어서, 상기 제1 서포트 영역 및 상기 제2 서포트 영역은 5x5 화소 매트릭스인 프로세스.
컬러 이미지 내의 현재의 컬러를 갖는 주어진 화소에서 손실된 컬러 값을 보간하는 그레디언트 보정된 선형 보간 시스템으로서,

상기 손실된 컬러 값의 보간을 계산하는 보간 모듈;

상기 보간을 위해 보정항을 계산하는 보정항 계산 모듈; 및

상기 주어진 화소에서 상기 손실된 컬러 값에 대한 보정된 보간을 생성하기 위해 상기 보간과 상기 보정항을 선형으로 결합하는 선형 결합 모듈

을 포함하는 그레디언트 보정된 선형 보간 시스템.
제37항에 있어서, 상기 보정항 계산 모듈은 상기 주어진 화소가 중심에 있는 상기 주어진 화소 주위의 서포트 영역의 크기를 선택하는 서포트 영역 모듈을 더 포함하는 그레디언트 보정된 선형 보간 시스템.
제37항에 있어서, 상기 보정항 계산 모듈은 상기 보간과 선형으로 결합될 보정량을 선택하는 그레디언트 보정 선택기를 더 포함하는 그레디언트 보정된 선형 보간 시스템.
제37항에 있어서, 상기 보정항 계산 모듈은 상기 주어진 화소 및 상기 현재의 컬러를 갖는 서포트 영역 내의 화소들을 사용하여 그레디언트 보정을 계산하는 그레디언트 보정 모듈을 더 포함하는 그레디언트 보정된 선형 보간 시스템.