KR20080090426A

KR20080090426A - 디지털 컬러 이미지 처리 방법

Info

Publication number: KR20080090426A
Application number: KR1020087017469A
Authority: KR
Inventors: 에릭 피. 베넷; 매튜 티. 우이튼데일; 찰스 엘. 지트닉; 싱 빙 강; 리차드 에스. 스젤리스키
Original assignee: 마이크로소프트 코포레이션
Priority date: 2006-01-30
Filing date: 2007-01-25
Publication date: 2008-10-08
Also published as: JP4527172B2; CN101375611B; KR101183371B1; EP1967010A4; EP1967010B1; US20070177033A1; MY149682A; JP2009525636A; EP1967010A1; BRPI0706282A2; CN101375611A; WO2007089519A1; US7706609B2

Abstract

이미지 아티팩트를 감소시키도록 이미지를 디모자이크하기 위해 디지털 컬러 이미지를 처리하는 베이지안 2-컬러 이미지 디모자이커(Bayesian two-color image demosaicer) 및 방법. 본 방법 및 시스템은 종래의 디모자이크 기법에 대한 개선 및 개량이다. 각각의 픽셀에 완전 지정된 RGB 트리플 컬러값(fully specified RGB triple color value)을 할당하기 위해 이미지에 대해 예비 디모자이크 과정(preliminary demosaicing pass)이 수행된다. 처리된 이미지에서의 최종적인 픽셀 컬러값이 2개의 컬러의 선형 결합이도록 제한된다. 이미지 내의 각각의 픽셀에 대한 완전-지정된 RGB 트리플 컬러값이 우세한 2 컬러(favored two colors)를 나타내는 2개의 클러스터(cluster)를 찾는 데 사용된다. 이어서, 최종 컬러값에 대한 이들 2개의 우세 컬러의 기여량이 결정된다. 본 방법 및 시스템은 또한 디모자이크 결과를 개선하기 위해 다수의 이미지를 처리할 수 있다. 다수의 이미지를 사용할 때, 초해상도(super resolution)라고 하는 더 미세한 해상도에서 샘플링이 수행될 수 있다.

디지털 카메라 시스템, 베이지안 디모자이크, 초해상도, k-평균

Description

디지털 컬러 이미지 처리 방법{BAYESIAN DEMOSAICING USING A TWO-COLOR IMAGE}

디지털 스틸 카메라(digital still camera)의 가격이 계속하여 떨어짐에 따라 이러한 카메라의 인기 및 품질이 계속하여 높아지고 있다. 대부분의 디지털 스틸 카메라는 컬러 이미지에서의 각각의 픽셀에 대한 컬러 정보를 캡처하는 데 하나의 이미지 센서를 사용한다. 통상적으로 CCD(charge-coupled device) 또는 CMOS(complementary metal oxide semiconductor)인 이미지 센서는 컬러 이미지의 픽셀들을 나타내는 센서 어레이의 일부이다.

이미지 센서는 주어진 픽셀에서 하나의 컬러에 관한 정보만을 발생할 수 있다. 그렇지만, 컬러 이미지는 3개의 개별적인 단색 이미지를 결합함으로써 표현된다. 컬러 이미지를 디스플레이하기 위해, 각각의 픽셀에서 적색, 청색 및 녹색(RGB) 컬러값 모두가 필요하다. 나머지 2개의 누락된 컬러를 구하기 위해, 이미지에서의 주변 픽셀로부터 누락된 컬러를 추정 또는 보간하는 기법이 사용되어야만 한다. 이러한 부류의 추정 및 보간 기법을 "디모자이크(demosaicing)"라고 한다.

"디모자이크"라는 용어는 이미지 센서 전단에 컬러 필터 어레이(CFA, color filter array) - CFA가 모자이크 패턴으로 배열되어 있음 - 가 사용된다는 사실로부터 도출된다. 이 모자이크 패턴은 이미지의 픽셀들 각각에 대해 단지 하나의 컬 러값을 갖는다. 완전-컬러 이미지를 획득하기 위해, 모자이크 패턴이 "디모자이크"되어야만 한다. 따라서, 디모자이크는 완전한 RGB 값(full RGB value)이 모든 픽셀과 연관될 수 있도록 모자이크-패턴 CFA로 캡처된 이미지를 다시 보간하는 기법이다.

보다 구체적으로는, 단일-센서 디지털 카메라는 광 경로에서 CFA 다음에 오는 이미지 센서 어레이를 사용하여 이미지를 캡처한다. 널리 보급된 통상의 모자이크 CFA를 베이어 모자이크 패턴(Bayer mosaic pattern)이라고 한다. 2x2 픽셀 세트 각각에 대해, 2개의 대각으로 마주하는 픽셀은 녹색 필터를 가지며, 나머지 2개의 픽셀은 적색 및 녹색 필터를 갖는다. 녹색(G) 컬러가 사람에 대한 루미넌스 정보의 대부분을 전달하기 때문에, 그의 샘플링 레이트는 적색(R) 컬러 및 청색(B) 컬러의 2배이다.

이중 선형 보간(bilinear interpolation), 메디안 필터링(median filtering), 벡터 CFA(vector CFA), 구배-기반(gradient-based) 및 통계 모델링(statistical modeling) 등 많은 유형의 디모자이크 기법들이 현재 이용가능하다. 그렇지만, 이들 현재의 디모자이크 기법 각각은 정량적으로 측정가능한 시각적 아티팩트를 유발한다. 이들 아티팩트로는 경계를 따라 있는 픽셀이 하나 걸러 교대로 경계 상에 있거나 경계를 벗어나 있는 것으로 간주되는 엘리어싱(aliasing), 즉 "지퍼링(zippering)" 아티팩트 및 예리한 경계를 따라 또는 그 경계 상에 황색, 자주색 및 시안(cyan)이 나타나는 컬러 프린징(color fringing)이 있다.

이 요약은 이하에서 상세한 설명에 더 기술되는 개념들 중 선택된 것을 간단화된 형태로 소개하기 위해 제공된 것이다. 이 요약은 청구된 발명 대상의 주요 특징들 또는 필수적인 특징들을 확인하기 위한 것이 아니며 청구된 발명 대상의 범위를 제한하는 데 사용되기 위한 것도 아니다.

본 명세서에 개시된 베이지안 2-컬러 이미지 디모자이크(Bayesian two-color image demosaicing) 방법 및 시스템은 이미지 아티팩트를 감소시키도록 이미지를 디모자이크(demosaic)하기 위해 디지털 컬러 이미지를 처리하는 단계를 포함한다. 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템은 경계에 걸쳐 있는 컬러를 양측의 컬러의 선형 결합으로서 모델링하는 이미지 모델을 이용한다. 이것은 컬러 프린징을 유발할 가능성을 감소시킨다. 게다가, 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템에 의해 사용되는 통계 모델이 격자-기반(grid-based)이 아니며, 따라서, 비디오 처리를 위한 다중-이미지 디모자이크 및 비반복적 초해상도 출력 샘플링(non-iterative super-resolution output sampling) 둘다에 대해 용이하게 확장될 수 있다. 출력 이미지를 선형 모델로 제약함으로써, 예리한 경계를 보존하면서 매끄러운 영역(smooth area)에서의 시각적 노이즈(visible noise)도 감소된다.

베이지안 2-컬러 이미지 디모자이크 방법 및 시스템은 기존의 디모자이크 기법의 개선 및 개량이다. 이 방법 및 시스템은 이미지 내의 각각의 픽셀에 완전 지정된 RGB 트리플 컬러값(triple color value)을 할당하기 위해 이미지에 대해 예비 디모자이크 과정(preliminary demosaicing pass)을 수행한다. 이 예비 과정의 결과가 이어서 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템에 의해 개선된다. 일반적인 생각은, 처리되는 픽셀이 중앙에 오는 작은 윈도우 또는 처리 영역(5x5 픽셀 "패치(patch)" 등) 내에서, 그 처리 영역 내에 단지 2개의 컬러만이 존재하는 것으로 가정된다는 것이다. 단지 2개의 컬러만을 가정하면 그 결과 최종 결과물에서 랜덤한 컬러가 거의 제거된다. 이어서, 픽셀의 컬러가 그 2개의 컬러의 선형 조합으로 제한된다. 이렇게 함으로써 컬러 아티팩트를 야기하는 쓸데없는 컬러가 감소된다.

베이지안 2-컬러 이미지 디모자이크 방법은 이미지 내의 각각의 픽셀에 대한 완전-지정된 RGB 트리플 컬러값을 획득하는 단계 및 이어서 이 RGB 트리플을 사용하여 각각의 픽셀에 대한 최종 컬러값을 구하는 단계를 포함한다. 최종 컬러값은 2개의 컬러의 결합이고 그로부터의 기여분만을 갖는다. 이 2개의 컬러는 완전-지정된 RGB 트리플을 2개의 클러스터로 클러스터링하고 각각의 클러스터의 평균을 구하여 각각의 클러스터의 평균을 우세한 2 컬러(favored two color)라고 함으로써 구해진다.

우세한 2 컬러가 일단 구해지면, 각각의 컬러가 최종 컬러값에 얼마나 기여하는지가 판정되어야만 한다. 이것은 베이어 컬러 필터(Bayer color filter)로부터 획득되는 처리 영역 내의 샘플들을 사용하여 각각의 픽셀에 대한 분수 혼합된 값(fractional blended value)을 계산함으로써 달성된다. 그 다음에, 샘플 세트가 주어진 경우 분수 혼합된 값의 최대 확률을 구함으로써 최대 분수 혼합된 값(maximum fractional blended value)이 구해진다. 최종 컬러값은 최대 분수 혼합된 값 및 우세한 2 컬러로부터 계산된다.

베이지안 2-컬러 이미지 디모자이크 방법 및 시스템은 또한 디모자이크 결과를 개선시키기 위해 다수의 이미지를 처리할 수 있다. 이 다수의 이미지는 일치되도록 서로에 맞춰 정렬된다. 기준 이미지(reference image)가 선택되고, 나머지 이미지들이 기준 이미지에 대해 재구성된다. 이 처리는, 이미지들의 불완전한 정렬을 보상하는 기법이 사용되는 것을 제외하고는, 단일 이미지 경우와 유사하다. 이 보상 기법은, 차 제곱(squared difference)의 합이 큰 경우, 가우시안(Gaussian)의 분산(variance)을 증가시키기 위해 스케일링 인자(scaling factor)를 사용한다. 이 스케일링 인자는 정렬 알고리즘의 품질에 기초하여 변한다.

다수의 이미지를 사용할 때, 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템은 또한 초해상도(super resolution)라고 하는 더 미세한 해상도에서 샘플링할 수 있다. 초해상도의 경우, 미세한 세부를 캡처하기 위해 통계적 클러스터링 크기(statistical clustering size) 및 국소 이웃 크기(local neighborhood size)가 약간 축소될 수 있다. 그 밖에도, 본 시스템은 다중-이미지 디모자이크 경우에서와 유사하게 동작한다.

유의할 점은 대안의 실시예들이 가능하며, 특정 실시예에 따라 본 명세서에 기술된 단계 및 구성요소가 변경, 추가, 또는 제거될 수 있다는 것이다. 이들 대안의 실시예는, 본 발명의 범위를 벗어나지 않고, 사용될 수 있는 대안의 단계 및 대안의 구성요소, 및 행해질 수 있는 구조적 변경을 포함한다.

도 1은 본 명세서에 개시된 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템의 제1 예시적인 구현을 나타낸 블록도.

도 2는 본 명세서에 개시된 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템의 제2 예시적인 구현을 나타낸 블록도.

도 3은 도 1 및 도 2에 도시된 베이지안 2-컬러 이미지 디모자이커(Bayesian two-color image demosaicer)의 전반적인 동작을 개괄적으로 나타낸 흐름도.

도 4는 도 3에 도시된 베이지안 2-컬러 이미지 디모자이크 방법의 동작의 추가적인 상세를 자세히 나타낸 흐름도.

도 5는 우세한 2 컬러(favored two color) 계산 프로세스를 나타낸 흐름도.

도 6은 최종 컬러값 계산 프로세스의 상세를 나타낸 흐름도.

도 7은 도 1 및 도 2에 도시된 베이지안 2-컬러 이미지 디모자이커의 세부를 나타낸 블록도.

도 8은 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템이 구현될 수 있는 적당한 컴퓨팅 시스템 환경의 일례를 나타낸 도면.

이제부터 유사한 참조 번호가 대응하는 부분을 나타내는 첨부 도면을 참조하여, 본 발명에 대해 기술한다.

베이지안 2-컬러 이미지 디모자이크 방법 및 시스템에 대한 이하의 설명에서, 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템이 실시될 수 있는 특정예 가 예시로서 도시되어 있는, 본 명세서의 일부를 이루는 첨부 도면을 참조한다. 청구된 발명 대상의 범위를 벗어남이 없이 다른 실시예들이 이용될 수 있으며 구조적 변경이 행해질 수 있다는 것을 잘 알 것이다.

I. 일반 개요

도 1 및 도 2는 본 명세서에 개시된 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템의 2개의 예시적인 구현을 나타낸 블록도이다. 유의할 점은 도 1 및 도 2가 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템이 구현되고 사용될 수 있는 몇가지 방법들 중 단지 2개에 불과하다는 것이다.

도 1을 참조하면, 제1 예시적인 구현에서, 베이지안 2-컬러 이미지 디모자이커(Bayesian two-color image demosaicer)(200)는 디지털 카메라 시스템(210)에 존재한다. 일반적으로, 베이지안 2-컬러 이미지 디모자이커(200)는 예비 과정 디모자이커(preliminary pass demosaicer)(220)를 사용하여 행해진 예비 디모자이크 과정(preliminary demosaicing pass) 이후에 컬러 이미지(도시 생략)에 향상을 제공한다. 보다 구체적으로는, 도 1에 도시된 바와 같이, 베이지안 2-컬러 이미지 디모자이커(200)는 이미지 센서 어레이(225)를 포함하는 디지털 카메라 시스템(210)의 일부이다. 이 어레이(225)는 복수의 이미지 센서로 이루어져 있으며, 여기서 각각의 이미지 센서는 하나의 컬러값을 측정할 수 있다.

이미지 센서 어레이(225)는 센서 기판(sensor substrate)(230), 컬러 필터 어레이(CFA, color filter array)(240) 및 렌즈(250)를 포함한다. 유의할 점은, 도 1 및 도 2에서 점선으로 나타낸바와 같이, 통상적으로 렌즈(250)가 CFA(240) 상 부에 배치되고, 이 CFA(240)는 차례로 기판(230) 상부에 배치되어 있다는 것이다. 캡처될 이미지(도시 생략)로부터의 광이 디지털 카메라 시스템(210)에 들어간다(화살표(255)로 표시함). 렌즈(250)의 목적은 입사광(incoming light)(255)을 이미지 센서 어레이(225)로 집속시키는 것이다. 이미지 센서 어레이(225) 내의 각각의 센서는 픽셀을 나타낸다. CFA(240)는 각각의 픽셀의 컬러 응답(color response)을 변경한다. 센서 기판(230)은 특정 컬러의 입사광(CFA(240)에 의해 결정됨)을 캡처하고 전기 신호를 발생한다. 이와 같이, 이미지 센서 어레이(225)는 이미지 센서 어레이(225)에 배열된 적색, 녹색 및 청색 센서로 이미지로부터의 입사광(255)을 샘플링한다.

이미지 센서 어레이(225) 내의 각각의 픽셀은 적색, 녹색 또는 청색 센서의 출력이다. 따라서, 센서 출력은 이미지 센서 어레이(225) 내의 각각의 픽셀에 대한 단일 컬러값에 대응하는 각각의 센서로부터의 전기 신호이다. 이 출력은 모자이크-패턴의 원시 픽셀 데이터(raw mosaic-patterned pixel data)(260)이다. 상기한 바와 같이, 완전 컬러 이미지를 디스플레이하기 위해, 각각의 픽셀에서 적색, 녹색 및 청색 컬러에 대한 컬러 정보가 획득되어야만 한다. 이것은 디모자이크하는 것에 의해, 즉 모자이크-패턴 픽셀 데이터(260)에서의 누락된 컬러값을 보간하는 것에 의해 달성된다.

모자이크-패턴의 원시 픽셀 데이터(260)는 디지털 카메라 시스템(210)의 기판 상에 위치한 제1 컴퓨팅 장치(270)로 전송된다. 예비 과정 디모자이커(220) 및 베이지안 2-컬러 이미지 디모자이커(200)가 제1 컴퓨팅 장치(270) 상에 존재한다. 예비 과정 디모자이커(220)는 누락된 컬러값의 추정치를 보간하는 데 사용된다. 예비 과정 디모자이커(220)의 출력이 디지털 카메라 시스템(210)에 의해 캡처되는 컬러 이미지 내의 각각의 픽셀에 대한 완전 RGB 컬러값을 포함하는 픽셀 데이터(280)이다. 베이지안 2-컬러 이미지 디모자이커(200)는 픽셀 데이터(280)를 수신하고 이하에서 상세히 기술되는 바와 같이 이 데이터(280)를 처리한다. 베이지안 2-컬러 이미지 디모자이커(200)에 의한 처리 이후에, 감소된 이미지 아티팩트를 갖는 향상된 컬러 디지털 이미지(290)가 얻어진다.

이제 도 2를 참조하면, 제2 예시적인 구현에서, 베이지안 2-컬러 이미지 디모자이커(200)는 디지털 카메라 시스템(210)과 분리되어 있는 제2 컴퓨팅 장치(295) 상에 존재한다. 디지털 카메라 시스템(210)으로부터 제2 컴퓨팅 장치(295)로 모자이크-패턴의 원시 픽셀 데이터(260)가 전송된다. 이 픽셀 데이터(260)는 통상적으로 USB 인터페이스, IEEE 1394 인터페이스, 블루투스

인터페이스, 또는 원시 픽셀 데이터(260)를 디지털 카메라 시스템(210)으로부터 제2 컴퓨팅 장치(295)로 전달하는 데 적합한 임의의 다른 인터페이스일 수 있는 인터페이스 접속(297)을 통해 제2 컴퓨팅 장치(295)로 전송된다. 이하에 상세히 기술하는 바와 같이, 베이지안 2-컬러 이미지 디모자이커(200)는 베이지안 2-컬러 이미지 디모자이크 방법을 사용하여 픽셀 데이터(260)를 향상시키고, 감소된 이미지 아티팩트를 갖는 향상된 컬러 디지털 이미지(290)를 제공한다.

II. 동작 개요

이제부터, 베이지안 2-컬러 이미지 디모자이커(200)의 동작과 도 1 및 도 2 에 도시된 디모자이커에서 사용되는 방법에 대해 기술한다. 도 3은 베이지안 2-컬러 이미지 디모자이커(200)의 전반적 동작을 개괄적으로 나타낸 흐름도이다. 일반적으로, 베이지안 2-컬러 이미지 디모자이크 방법은 이미지 내의 픽셀들에 대한 픽셀 컬러값을 입력하고, 픽셀들 각각을 처리하며, 감소된 이미지 아티팩트를 갖는 처리된 이미지를 출력한다.

보다 구체적으로는, 도 3에 도시된 바와 같이, 베이지안 2-컬러 이미지 디모자이크 방법은 디지털 컬러 이미지 내의 각각의 픽셀에 대한 완전-지정된 적색(R), 녹색(G) 및 청색(B) 트리플 컬러값을 획득(박스 300)하는 것으로 시작한다. 완전-지정된 RGB 트리플은 픽셀에 대해 적색, 녹색 및 청색 컬러값이 이용가능하다는 것을 의미한다. 통상적으로, 베이지안 2-컬러 이미지 디모자이크 방법은 디지털 컬러 이미지에 대해 예비 디모자이크 과정을 수행함으로써 이들 완전-지정된 RGB 트리플 컬러값을 획득한다. 베이지안 2-컬러 이미지 디모자이크 방법은 이어서 예비 디모자이크 과정의 결과를 향상시킨다.

그 다음에, 베이지안 2-컬러 이미지 디모자이크 방법은 디지털 컬러 이미지 내의 각각의 픽셀에 대한 최종 컬러값을 구한다(박스 310). 이 최종 컬러값은 2개의 컬러의 결합(combination) 또는 혼합(blend)이며, 여기서 2개의 컬러는 완전-지정된 RGB 트리플 컬러값 중 적어도 일부를 사용하여 획득된다. 환언하면, 완전-지정된 RGB 트리플 컬러값에 몇개의 컬러가 포함되어 있을 수 있지만, 이들 컬러값 중 2개의 결합만이 처리되는 픽셀에 대한 최종 컬러값을 구하는 데 사용된다. 출력은 디지털 컬러 이미지 내의 픽셀들 각각에 대해 구해진 최종 컬러값이다(박스 320).

III. 동작 상세 및 실시예

이제부터, 베이지안 2-컬러 이미지 디모자이크 방법의 상세에 대해 기술한다. 도 4는 도 3에 도시된 베이지안 2-컬러 이미지 디모자이크 방법의 동작의 추가적인 상세를 나타낸 상세 흐름도이다. 상세하게는, 디지털 컬러 이미지 내의 각각의 픽셀에 대한 완전-지정된 RGB 트리플을 계산하기 위해 예비 디모자이크 과정이 수행된다(박스 400). 맨 처음에, 이미지 내의 각각의 픽셀에 대해 R, G, 또는 B 컬러값만이 있는 이미지의 베이어 패턴(Bayer pattern)이 있다. 예비 디모자이크 과정은 디모자이크 기법을 사용하여, 처리되는 픽셀이 중앙에 오는 처리 영역 내의 픽셀들 각각에서 실제 완전 컬러(RGB)값을 획득한다. 일 실시예에서, 예비 디모자이크 과정은 이중 선형 보간 기법(bilinear interpolation technique)을 사용하여 수행된다. 대안의 실시예에서, 메디안 필터링(median filtering) 기법, 벡터 CFA(vector CFA) 기법, 구배-기반(gradient-based) 기법, 및 통계 모델링(statistical modeling) 기법 등의 기타 유형의 예비 디모자이크 과정 기법이 사용될 수 있다. 그렇지만, 예비 과정 디모자이크 기법을 선택할 때, 유의할 점은 최상의 입력을 제공하는 기법이 베이지안 2-컬러 이미지 디모자이크 방법에 의해 최상의 출력을 산출한다는 것이다.

그 다음에, 처리하기 위한 픽셀이 선택되고, 처리되는 픽셀(processed pixel)로서 정의된다. 그에 부가하여, 처리되는 픽셀 주변의 영역이 처리 영역(processing region)으로서 정의된다(박스 410). 처리 영역(또는 "윈도 우(window)" 또는 "패치(patch)")이 통상적으로 5x5 픽셀 패치이지만, 기타 크기도 가능하다. 일 실시예에서, 처리되는 픽셀이 처리 영역에서 중앙에 오도록 패치 크기가 홀수이다. 예로서, 5x5 처리 영역에서, 처리되는 픽셀은 5x5 패치의 중앙 픽셀이다.

이어서, 처리되는 픽셀에 대해 우세한 2 컬러(favored two color)가 계산된다(박스 420). 이것은 처리 영역 내의 각각의 픽셀의 완전-지정된 RGB 트리플을 사용하여 달성된다. 이하에서 상세히 설명하는 바와 같이, 완전-지정된 RGB 트리플은 몇가지 컬러를 포함할 수 있지만, 그 컬러들이 단지 2개의 우세한 컬러로 클러스터링된다. 우세한 2 컬러 및 완전-지정된 RGB 트리플을 사용하여, 처리되는 픽셀에 대한 최종 컬러값이 계산된다(박스 430). 픽셀을 선택하고, 처리 영역을 정의하며, 우세한 2 컬러를 계산하고, 최종 컬러값을 계산하는 프로세스 모두는 디지털 컬러 이미지 내의 나머지 픽셀들에 대해 반복된다(박스 440). 베이지안 2-컬러 이미지 디모자이크 방법의 출력은 감소된 이미지 아티팩트를 갖는 향상된 디지털 컬러 이미지이다(박스 450).

도 5는 우세한 2 컬러 계산 프로세스를 나타낸 흐름도이다. 환언하면, 도 5는 우세한 2 컬러가 처리 영역 내의 픽셀들의 컬러값으로부터 어떻게 구해지는지를 나타낸 것이다. 이 프로세스는 처리 영역 내의 각각의 픽셀에 대한 완전-지정된 RGB 트리플의 초기 클러스터링을 수행(박스 500)하는 것으로 시작한다. 처리 영역이 5x5 픽셀인 것으로 가정하면, 목표는 5x5 처리 영역 내의 25개 컬러값 중에서 우세한 2 컬러를 찾고 이들 25개 컬러값을 2개의 우세한 컬러 내로 그룹화하는 것 이다. 이것은 일반적으로 임의의 클러스터링 기법을 사용하여 행해질 수 있다. 일 실시예에서, 그의 효율성으로 인해 k-평균 기법(k-means technique)이 사용된다. k-평균 기법에서의 "k"는 클러스터 유형의 수를 말하고, 이 경우에 k=2이다. k-평균 클러스터링 기법은 정확성과 속도 간의 균형이다. k-평균 클러스터링 기법은 당업자라면 잘 알고 있으며 더 상세히 기술하지 않는다. 대안의 실시예에서, 기대값 최대화(expectation maximization, EM) 기법 또는 평균 이동(mean shift) 기법이 사용된다.

그렇지만, k-평균 기법에서의 한가지 문제점은 특이점(outlier)이 결과에 악영향을 줄 수 있다는 것이다. 특이점은 나머지 데이터로부터 멀리 떨어져 있는 데이터점을 말한다. 통계 분포는 데이터점들이 특정 범위 내에 속할 것으로 예상하며, 속하지 않는 데이터점들을 특이점이라고 한다. 특이점을 정정하기 위해, 우세한 2 컬러 계산 프로세스는 특이점 제거 기법(outlier rejection technique)을 포함한다. 우세한 2 컬러에 대한 특이점의 영향을 최소화하기 위해 특이점 제거 기법이 사용된다(박스 510).

이어서, 특이점 제거 결과를 사용하여 처리 영역 내의 각각의 픽셀에 대한 완전-지정된 RGB 트리플의 클러스터링을 갱신함으로써 우세한 2 컬러가 계산된다(박스 520). 이어서, 디지털 컬러 이미지 내의 나머지 픽셀들에 대해 이 처리가 반복된다(박스 530). 이어서, 이미지 내의 각각의 픽셀에 대해 각각의 픽셀의 우세한 2 컬러가 구해진다.

도 6은 최종 컬러값 계산 프로세스의 상세를 나타낸 흐름도이다. 이 프로세 스는 우세한 2 컬러 각각의 최종 컬러값에 대한 기여분을 규정하는, 처리되는 픽셀에 대한 분수 혼합된 값(fractional blended value)을 정의(박스 600)하는 것으로 시작된다. 따라서, 분수 혼합된 값은 우세한 2 컬러 각각이 픽셀의 최종 컬러값에 얼마나 기여하고 있는지를 결정한다.

이어서, 처리되는 픽셀에 대해 최대 분수 혼합된 값(maximum fractional blended value)이 결정된다(박스 610). 최대 분수 혼합된 값은 처리 영역 내의 완전-지정된 RGB 트리플 각각을 사용하여 분수 혼합된 값의 확률을 최대화하는 우세한 2 컬러의 혼합 또는 결합으로서 정의된다. 이것은 아마도 2개 이상의 컬러 세트를 탐색하고 이어서 어느 것이 최대값을 제공하는지를 알아내기 위해 그 컬러 모두를 시험해보는 것을 수반한다. 예를 들어, 3개의 컬러 J, K 및 L을 시험하고 J, K 및 L의 모든 조합을 시험하여 어느 것이 최고 확률을 제공하는지를 알아보는 것을 생각해보자. 따라서, 그 컬러들 모두 중에서, 우세한 2 컬러가 처리되는 픽셀을 설명하는 최상의 2 컬러이다. "최상의" 2 컬러란 이하에 주어지는 수학식 3의 최대값 인수(즉 "arg max")를 최대로 하는 2 컬러를 의미한다. arg max는 주어진 식의 값이 그의 최대값에 도달하는 주어진 인수의 값이다.

이어서, 우세한 2 컬러 및 최대 분수 혼합된 값을 사용하여, 처리되는 픽셀에 대한 최종 컬러값이 계산된다(박스 620). 이 최종 컬러값은 이하에 주어지는 수학식 1에 기술되어 있다. 픽셀들 각각에 대한 최종 컬러값을 구하기 위해 디지털 컬러 이미지 내의 나머지 픽셀들에 대해 상기 처리가 반복된다(박스 630).

본 명세서에 개시된 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템을 더 완전히 이해하기 위해, 예시적인 실시예의 동작 상세가 제공된다. 유의할 점은 이 실시예가 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템이 구현될 수 있는 한 방법에 불과하다는 것이다.

베이지안 2-컬러 이미지 디모자이크 방법 및 시스템에 의한 처리에 대한 주된 가정은 국소 이웃(local neighborhood) 내에 기껏해야 2개의 대표 컬러가 존재한다는 것이다. 그 이웃 내의 모든 픽셀의 최종 컬러값은 대표 컬러들 중 하나이거나 이 둘의 결합이다. 이 실시예에서, 대표 컬러의 결합은 선형 결합이다. 이 가정이 3개 이상의 서로 다른 컬러가 만나는 영역에서 위반되었지만. 이러한 일은 비교적 드물었다. 따라서, 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템은 아주 안정적(robust)이다.

각각의 픽셀에서 기반을 이루는 2 컬러 모델을 발견하기 위해, 각각의 픽셀을 둘러싸고 있는 이웃이 그 2개의 컬러로 클러스터링되었다. 베이어 이미지는 단지 하나의 채널 샘플만을 제공하여, 2개의 미지의 RGB 트리플 컬러값 및 하나의 미지의 혼합 계수가 모델을 규정하게 되었다. 이 실시예에서, 가중치가 각각의 샘플로부터 커널(kernel)의 중앙까지의 역 유클리드 거리(inverse Euclidean distance)인 가중된 k-평균 기법이 사용되었다. 유의할 점은 클러스터 크기가 균형을 이루지 않으며, 따라서 그렇지 않았으면 매끄러운 영역에서의 단일 픽셀 상세가 보존될 수 있다는 것이다. 또한,

또는 XYZ 등의 기타 컬러 공간에서 클러스터링이 수행될 수 있지만, 이들 공간에서 처리해도 클러스터의 정확성에 거의 차이가 없었 다.

클러스터링할 샘플들의 이웃 크기는 컬러 상세(color detail)가 소스 이미지에서 얼마나 크게 나타나는지의 함수이다. 이 실시예에서, 커널의 중앙을 중심으로 2 픽셀 반경이 효과가 좋은 것으로 판명되었다. 이것은 베이어 컬러 채널 각각으로부터 충분한 수의 샘플을 공급하였다.

국소 이미지 영역에 3개 이상의 컬러가 존재할 수 있고 또 상당한 노이즈가 존재할 수 있기 때문에, 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템도 역시 특이점 제거 기법을 사용하였다. 클러스터들의 평균 및 분산을 사용하여, 가장 가까운 클러스터 평균에서 단일의 표준 편차 밖에 있는 샘플들이 제거되었다. 이어서, 더 정확한 클러스터 평균을 얻기 위해 k-평균 기법이 반복되었다. 이것은 더 나은 재현을 제공하였으며, 이 경우 커널 중앙에서 먼 곳에서 컬러값이 빠르게 변하였다.

클러스터링의 품질에서의 주요 인자는 "부트스트래핑" 디모자이크(bootstrapping demosaicing)가 클러스터링을 다루기 쉽도록 하기 위해 사용되는 예비 과정 디모자이크 기법의 선택이다. 비록 많은 유형의 예비 과정 디모자이크 기법(상기 열거하였음)이 사용될 수 있지만, 성능을 개선시키는 특성들이 있다. 첫번째 특성은 고주파 특징의 보존 또는 강조이다. 이중 선형 보간 및 메디안 보간 등의 기법은 저역 통과 필터링하는 경향이 있는데, 이는 회피되어야만 한다. 다른 대안으로서, 고주파를 보존하는 알고리즘은 엣지 프린징(edge fringing) 및 엘리어싱(aliasing)을 발생하는 경향이 있다. 이 실시예에서, 예비 과정 디모자이 크에서 고품질 선형 보간(high-quality linear interpolation, HQLI) 기법이 사용되었는데, 그 이유는 그 기법이 고주파를 보존하고 많은 프린징 아티팩트를 발생하지 않았기 때문이다.

2-컬러 디모자이크

2 컬러 모델은 이미지 내의 각각의 픽셀 x에 대해 2개의 RGB 프라이어(prior),

및

를 제공한다. 픽셀 x의 컬러 C가, 수학식 1에 의해 주어진 바와 같이, 이들 2개의 컬러의 선형 결합인 것으로 가정되었다.

수학식 1은 혼합 방정식(blending equation)이고 픽셀 x에 대한 최종 컬러값 C를 계산한다.

픽셀 x의 이웃 내에서, 베이어 센서는 일련의 샘플

를 제공한다. 샘플

에 의해 지정된 RGB 컬러 채널의 인덱스는

로 나타내어져 있고,

는 분수 혼합된 값(fractional blended value)이다.

가 컬러

에 대한

번째 컬러 채널을 지정하고

및

에 대해서도 마찬가지로 하면, 분수 혼합된 값의 미지의 값

가 수학식 2와 같이 위치 x(중앙 픽셀)에서의 베이어 샘플

로부터 직접 계산될 수 있다.

그렇지만,

와

간의 차이가 작은 경우,

의 추정치가 이산화(discretization) 및 이미지 노이즈(image noise)로 인해 부정확하게 된다. 유의할 점은 s가

에 대한 S의 요소이고, 여기서 5x5 처리 범위에 대해, i는 1 내지 25 범위에 있으며 따라서 25개의

가 있다는 것이다.

가 단지 단일의 채널(또는 컬러)에 대한 것이고, 컬러는

에 의해 지정된다(R, G 또는 B).

샘플 세트 S 전부를 사용하는 보다 안정된

의 추정치가 요망된다. 환언하면, 샘플 세트 S 및 컬러 프라이어(color prior)

및

가 주어진 경우,

의 가장 가능성있는 값(또는 최대 분수 혼합된 값)

를 구하는 것이 요망된다.

수학식 3에서,

및

가 우세한 2 컬러이다. 컬러 공간에서,

에서

로 라인이 그려지고 분수 혼합된 값

가 0부터 1 이상까지 변하는 것이 상상될 수 있다. 이것은

에서

=0이고

에서

=1임을 의미한다. 환언하면, 수학식 3은 S가 주어진 경우

의 확률을 최대로 하는

의 arg max를 구하며, 여기서 S는 처리 영역(이 실시예에서 5x5 패치)에 있는 모든 컬러 샘플들의 세트이다. 유의할 점은 S가 디모자이크에 의해 획득된 것이 아니라 실제로 샘플링되는 샘플들만을 포함한다는 것이다.

Bayes 정리를 사용하면,

및

가 S 및

와 독립적인 것으로 가정할 때, 수학식 3은 재정렬되어 수학식 4를 산출할 수 있다.

모든

가 독립적인 것으로 가정할 때, 수학식 5가 얻어진다.

,

및

가 픽셀 x에 대한 예측된 컬러

를 규정한다. 이웃하는 컬러 노이즈에 대해 독립적이고 동일한 분포(independent identical distribution, i.i.d.)를 가정할 때,

와

간의 관계가 정규 분포(normal distribution)를 사용하여 모델링될 수 있다.

수학식 6은 가우시안(Gaussian)을 사용하여 확률을 계산한다.

는

가 주어진 경우 계산된 컬러이다. 이웃하는 픽셀들 간의 분포는 첨도가 높지만(highly kurtotic), 계산 효율성을 위해 가우시안 분포가 가정된다. 분산

은 2개의 인자, (1) 전역적 채널당 이미지 노이즈(global per-channel image noise)

, 및 (2) x와

사이의 픽셀 거리에 의존한다. 픽셀 컬러가 국소적으로 유사하고 더 멀리 떨어지면 덜 유사한 것으로 가정한다. 따라서, 이미지 공간에서의 그 거리가 증가함에 따라

와

간의 분산이 증가한다. 일 실시예에서, 분산

는 수학식 7과 같이 계산된다.

여기서,

는 x와

간의 픽셀 거리이고,

는 상수로서 이 실시예에서 경험적으로 6으로 설정된다. 따라서, 수학식 7은 분산이 중앙 픽셀(처리되는 픽셀) 또는 처리 영역의 중앙에 있는 픽셀로부터의 거리에 따라 선형적으로 증가한다는 것을 말해준다. 대안의 실시예에서, 기타의 단조 증가하는 거리의 함수가 사용될 수도 있다.

가우시안의 폭, 즉 분산

은 특정 샘플이 최종 결과에 얼마나 영향을 미치는지를 나타낸다. 그것에 관해 생각하는 다른 방식은 분산이 샘플의 확실성(certainty)이라는 것이다. 샘플에 관해 불확실성이 있는 경우, 그의 가우시안 은 큰 폭(즉, 큰 분산

)을 갖게 된다. 역으로, 샘플에 관해 확실성이 있는 경우, 그의 가우시안은 좁은 폭(즉, 작은 분산

)을 갖게 된다.

수학식 7은 분산이 처리되는(또는 중앙) 픽셀(이 픽셀이 처리 영역의 중앙에 있음)로부터의 거리에 따라 증가함을 나타내는 함수이다. 환언하면, 중앙 픽셀에 더 가까운 픽셀이 더 바람직하며 더 높은 가중치를 갖는다. 분산이 클수록, 픽셀 또는 샘플이 최종 결과에 미치는 영향이 더 적다. 따라서, 분산은 어떤 함수에 의해 중앙 픽셀로부터의 거리에 따라 증가해야만 한다. 수학식 7 형태의 선형 함수가 이 실시예에서 사용되었지만, 유사한 방식으로 분산을 나타내는 기타 유형의 함수도 사용될 수 있다.

의 값을 알고 있고 수학식 6을 최대로 하는

의 값을 계산하는 것이 요망되기 때문에, 다음과 같이 재정렬하는 것이 유용하다.

수학식 8은

에 관해 가우시안이며 평균

및 분산

은 다음과 같다.

및

실제로는

에 대해 푸는 것이 요망되며, 따라서 이들 방정식을 재정렬하여 수학식 10을 얻는다. 상세하게는, 수학식 5 및 수학식 8이 결합되어 수학식 10이 얻어질 수 있다.

에 대한

의 최적값은 다음과 같다.

실제로, 컬러 성분들의 기여분이 무시되며, 여기서

와

간의 절대값 차이는 2.0보다 작다.

수학식 10 및 수학식 11을 풀 때,

및

가 구해져야만 하며, 여기서

는 각각의 샘플과 연관된 분산이다. 이어서, 최적의

값인 최적의 분수 혼합된 값

이 구해진다. 이어서,

은 최종 컬러값을 계산하는 데 사용된다. 0 또는 1이 아닌

값에 대해 약간의 불이익이 주어진다. 결과적으로, 일 실시예에서,

는 0의 값을 갖는 반면, 대안의 실시예에서,

는 1의 값을 갖는다.

그 다음에, 어느

(0, 1, 또는

)가 수학식 5에 대해 가장 높은 값을 산출 하는지에 관해 판정이 행해진다. 환언하면, 어느

가 가장 높은 해답을 제공하는지를 판정하기 위해 이들 3개의

각각에서 수학식 5가 평가된다. 수학식 10에 대해, 이어서

및

가 계산된다.

는 수학식 9를 사용하여 계산된다. 샘플

가 주어진 경우, 수학식 9는

의 값을 계산한다. 환언하면,

는

로

이 무엇이 되는지이다. 수학식 10에서,

의 곱이 사용된다. 가우시안이 가우시안과 곱해지면, 다른 가우시안이 얻어진다. 25개 샘플 각각의 모든 가우시안이 전부 곱해지는 가우시안의 피크값은 수학식 11로 주어진

로 표현된다. 모든 가우시안의 곱의 평균이 수학식 11(가중 평균(weighted averaging)임)이 된다는 것을 알 수 있다.

마지막으로, 수학식 3에서

의 값을 구하기 위해,

에 대한 프라이어

가 정의되어야만 한다. 이미지 내의 대부분의 픽셀이 단일 컬러로부터의 기여분만을 갖는 경우,

가 0 또는 1의 값을 갖도록 바이어스된다.

여기서,

는 항상 1보다 작다

.

의 값은 원하는 평탄화(smoothing)의 정도에 의존한다. 다량의 이미지 노이즈가 경우,

이다.

프라이어 함수가 편평하고 2개의 임펄스를 갖기 때문에, 3개의 점 0, 1 및

에서의 수학식 3의 값만 검사하면 된다. 어느쪽이든 최대값이 처리되는 픽셀에 대한 최종값

로서 할당되며, 대응하는 픽셀 컬러는

이다.

이 방법의 정량적 오차는, 출력 픽셀에서의 적색, 녹색 또는 청색을 센서에 의해 최초로 캡처된 값이 되도록 하는 반면 나머지 2개의 채널을

와 부합하도록 설정함으로써, 추가적으로 감소될 수 있다.

가 중앙 샘플을 많이 가중하기 때문에, 이들 2개의 값이 많이 다르지는 않을 것이다. 또한, 출력 샘플링이 입력 격자와 다른 격자로 행해지는 경우, 각각의 픽셀에서 소스 베이어 샘플이 이용가능하지 않다.

다중-이미지 디모자이크

무격자 베이지안 해(gridless Bayesian solution)를 사용하여, 이 방법을 그다지 변경함이 없이 다수의 이미지로부터의 정보가 모델에 도입될 수 있다. 이들 지원 이미지(supporting image)가 유사한 것으로 가정되지만, 후속하는 비디오 프레임들에서와 같이 정확히 동일하지는 않다. 게다가, 이들 부가의 베이어 샘플이 이들을 재샘플링하지 않고 사용될 수 있다. 지원 이미지를 사용하기 위해, 각각의 이미지를 제1 이미지에 등록하기 위해 이미지별 투영 매핑(per-image projective mapping)이 계산되어야만 한다.

베이지안 2-컬러 이미지 디모자이크 방법 및 시스템은, 이들 이미지가 일치(register)되어 있는 한, 다수의 이미지로부터 샘플들을 얻을 수 있다. 이미지 들을 일치시키는 것에 의해 장면의 다수의 이미지가 사용될 수 있도록 정렬(align)되어 있을 수 있다. 그렇지만, 이미지가 정렬될 때,이들이 동일하게 배향되지 않을 수 있다. 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템은 기준 이미지를 선택하고 나머지 이미지들을 기준 이미지와 관련하여 재구성한다. 그러면, 처리 영역은 원형으로 되고, 처리되는(또는 중앙) 픽셀의 어떤 반경 내에서 샘플들이 취해진다.

일반적으로, 더 많은 이미지를 사용함으로써 더 나은 결과가 얻어진다. 그렇지만, 처리 시간과 품질 간에 트레이드오프가 있다. 일 실시예에서, 처리 시간이 꽤 짧고 품질이 아주 좋도록, 사용되는 이미지의 수가 3개이다. 대안의 실시예에서, 사용되는 이미지의 수는 3개보다 많거나 그보다 적을 수 있다.

더 많은 이미지가 추가될 때,

및

로 클러스터링할 충분한 샘플들을 여전히 유지하면서도 사용되는 샘플들의 이웃이 축소될 수 있다. 그렇게 함으로써, 샘플이 3개 이상의 대표 컬러를 포함할 가능성이 감소된다. 따라서, R, G 및 B 샘플 각각이 재구성되는 샘플 가까이에 나타나는 경우, 베이어 샘플들의 최근접 이웃 보간 결합(nearest neighbor interpolation combination)이 사용될 수 있다. 가중 클러스터링 및 재구성을 사용하는 생각은 단일 입력 이미지에서와 동일하다. 일단 일치되면, 동일한 컬러 채널이 동일한 픽셀 위치에 나타나더라도, 여전히 이점이 있다, 즉 노이즈 감소가 있다.

지원 이미지를 포함시키는 것에 의해, 좋지 않은 또는 잘못된 데이터를 도입 할 위험이 있다. 전역적 투영 매핑(global projective mapping)이 모든 장면 변화(움직이는 카메라, 움직이는 물체, 조명 조건 및 물체 모습의 변화)에 대처하지 못한다. 일치(registration) 오류가 일어날 수 있다. 이러한 오류를 감소시키기 위해, 국소적으로 유사한 기준 이미지와 지원 이미지로부터의 데이터만이 결합된다.

으로 표시된 7x7의 국소 윈도우에 걸쳐 SAD(Sum of Absolute Differences) 기법을 사용하여 RGB 공간에서 유사성(similarity)이 측정된다.

기준 이미지와 지원 이미지 간의 상관 오차(correlation error)를 포함시키도록

의 정의를 조정함으로써 다수의 이미지가 처리된다.

항

은 불일치 불이익(mismatch penalty)이고, 이 실시예에서

이다.

은 차 제곱(squared difference)의 합이다.

다수의 이미지가 정렬될 때, 이 정렬이 완벽하지 않을 수 있다. 이것을 보상하기 위해, 차 제곱의 합이 사용된다. 수학식 7을 사용하는 대신에, 수학식 13이 사용된다. 유일한 차이점은 마지막 항

이다.

는 스케일링 인자이다. 따라서, 수학식 13에서의 마지막 항

은 차 제곱의 합이 클 경우 가우시안의 분산이 증가된다는 것을 말해준다.

항

는 차 제곱 합 값이 얼마나 가중되는지이다. 이는 경험적으로 결정된다. 일 실시예에서,

는 대략 0.1이다. 대안의 실시예에서, 다른

값이 사용될 수 있다. 그렇지만,

가 너무 많이 가중되지 않는 것이 중요하다.

가 너무 클 경우, 다른 이미지들로부터의 정보가 결코 사용될 수 없다.

가 너무 작을 경우, 그 이미지들이 적절히 정렬되어 있지 않는데도, 다른 이미지들로부터의 정보가 사용될 수 있다. 따라서, 균형점을 찾아야 한다. 항

는 정렬 알고리즘의 품질에 기초하여 변한다.

다중-이미지 디모자이크를 구현하기 위해, 필요한 것은 지원 이미지에서의 근방의 베이어 샘플들을 세트 S에 추가하고 상기 분산 방정식을 사용하는 것이다. 유의할 점은 원래의 샘플을 사용하면 재샘플링이 필요하지 않기 때문에 S 내의 샘플들이 베이어 센서 샘플(Bayer sensor sample)이라는 것이다.

초해상도

베이지안 2-컬러 이미지 디모자이크 방법 및 시스템의 통계적 무격자 방법의 다른 이점은 원래의 이미지보다 더 높은 해상도를 갖는 샘플링 격자(sampling grid) 등의 임의의 샘플링 격자가 재구성에 사용될 수 있다는 것이다. 통계적 측정을 위해 부동 소수점 유클리드 거리(floating-point Euclidean distance)가 사용되기 때문에, 이미지의 어느 곳에서라도 연속적인

값이 발생될 수 있다. 다수의 이미지로부터의 샘플들의 정렬로 인해,

값이 원래의 격자에서의 픽셀들 간의 경계(edge) 및 선명도(sharpness)를 인코딩할 수 있다. 이것은 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템의 프레임워크 내에서 초해상도를 처리하는 데 이용될 수 있다.

초해상도일 때, 미세한 상세를 캡처하기 위해 통계적 클러스터링 크기 및 국소 이웃 크기가 약간 축소될 수 있다. 그 밖에, 베이지안 2-컬러 이미지 디모자이크 방법 및 시스템은 다중-이미지 디모자이크 경우에서와 유사하게 동작한다.

IV. 구조 개요

이제부터, 베이지안 2-컬러 이미지 디모자이커(200)의 구조에 대해 기술한다. 베이지안 2-컬러 이미지 디모자이커(200)의 구조를 보다 완전히 이해하기 위해, 예시적인 실시예에 대한 상세가 제공된다. 그렇지만, 유의할 점은 이 예시적인 실시예가 베이지안 2-컬러 이미지 디모자이커(200)가 구현되고 사용될 수 있는 몇가지 방법 중 하나에 불과하다는 것이다.

도 7은 도 1 및 도 2에 도시된 베이지안 2-컬러 이미지 디모자이커(200)의 상세를 나타낸 블록도이다. 일반적으로, 베이지안 2-컬러 이미지 디모자이커(200)는 각각의 픽셀에 대해 완전-지정된 RGB 컬러값을 갖는 디지털 컬러 이미지를 처리하여, 각각의 픽셀에 대한 최종 컬러값을 2개의 컬러의 결합으로 구하며, 감소된 아티팩트를 갖는 처리된 디지털 컬러 이미지를 출력한다. 구체적으로는, 베이지안 2-컬러 이미지 디모자이커(200)에의 입력은 디지털 컬러 이미지 내의 각각의 픽셀에 대한 완전-지정된 RGB 데이터를 포함하는 픽셀 데이터(280)이다. 이상에서 설명한 바와 같이, 이 데이터는 이미지에 대해 예비 디모자이크 과정을 행함으로써 획득된다. 일 실시예에서, 예비 디모자이크 과정은 고품질 선형 보간 디모자이크 기법을 사용하여 수행된다. 다른 대안으로서, 이중 선형 보간 등의 기타 유형의 디모자이크 기법들이 사용될 수 있다.

베이지안 2-컬러 이미지 디모자이커(200)는 처리될 이미지로부터 픽셀을 선택하는, 처리되는 픽셀 선택기(processed pixel selector)(700)를 포함한다. 궁극적으로, 이미지 내의 모든 픽셀이 처리되지만, 처리되는 픽셀 선택기(700)는 처리를 위해 한번에 하나씩 픽셀을 택한다. 처리 영역 정의 모듈(processing region definition module)(710)은 처리되는 픽셀 주변의 처리 영역(또는 패치)을 정의한다. 통상적으로, 처리되는 픽셀은 처리 영역의 중앙에 있다. 일 실시예에서, 처리 영역은 5x5 픽셀 영역이다. 대안의 실시예에서, 기타 크기를 갖는 처리 영역(3x3 픽셀 영역 또는 7x7 픽셀 영역 등)이 사용될 수 있다.

베이지안 2-컬러 이미지 디모자이커(200)는 또한 처리되는 픽셀에 대한 최종 컬러값을 정의하는 데 사용되는 우세한 2 컬러를 구하는 클러스터링 모듈(720)을 포함한다. 이 클러스터링 모듈은 처리 영역 내의 픽셀들로부터의 RGB 컬러값을 2개의 클러스터 내로 클러스터링하는 클러스터링 기법을 사용한다. 2개의 클러스터 각각의 평균이 우세한 2 컬러가 된다. 일 실시예에서, 특이점 제거 단계(outlier rejection stage)를 갖는 k-평균 클러스터링 기법이 클러스터링을 위해 사용된다. 대안의 실시예에서, 기타 유형의 클러스터링 기법이 사용될 수 있다.

디모자이커(200)는 또한 최종 컬러값에서 우세한 2 컬러 각각이 얼마큼씩 사용되는지를 판정하고 우세한 2 컬러를 결합하여 최종 컬러값을 획득하는 기여 및 결합 모듈(contribution and combination module)(730)을 포함한다. 이 모듈(730)은 샘플 세트가 주어진 경우 분수 혼합된 값의 확률이 최대로 되게 하는 최대 분수 혼합된 값을 정의함으로써 우세한 2 컬러 각각의 기여분을 구한다. 샘플 세트는 처리 영역 내의 픽셀들로부터의 샘플링된 컬러값을 포함한다. 이 모듈(730)은 이어서 최대 분수 혼합된 값과 우세한 2 컬러를 결합하여, 처리되는 픽셀에 대한 최종 컬러값을 계산한다. 일 실시예에서, 우세한 2 컬러가 선형 결합된다. 대안의 실시예에서, 우세한 2 컬러는 비선형 방식으로 결합된다. 이미지 내의 각각의 픽셀에 대해 베이지안 2-컬러 이미지 디모자이커(200)에 의한 처리가 반복된다. 그 출력은 감소된 이미지 아티팩트를 갖는 향상된 디지털 컬러 이미지(290)이다.

V. 예시적인 동작 환경

베이지안 2-컬러 이미지 디모자이커(200) 및 그에서 사용되는 방법은 컴퓨팅 환경에서 동작하도록 설계되어 있다. 이하의 설명은 베이지안 2-컬러 이미지 디모자이커 및 방법이 구현될 수 있는 적합한 컴퓨팅 환경에 대한 간략하고 전반적인 설명을 제공하기 위한 것이다.

도 8은 베이지안 2-컬러 이미지 디모자이커 및 방법이 구현될 수 있는 적합한 컴퓨팅 시스템 환경의 일례를 나타낸 것이다. 컴퓨팅 시스템 환경(800)은 적합한 컴퓨팅 환경의 일례에 불과하며 본 발명의 용도 또는 기능성의 범위에 관해 어떤 제한을 암시하고자 하는 것이 아니다. 컴퓨팅 환경(800)이 예시적인 운영 환경에 도시된 컴포넌트들 중 임의의 하나 또는 그 컴포넌트들의 임의의 조합과 관련하여 어떤 의존성 또는 요구사항을 갖는 것으로 해석되어서도 안된다.

베이지안 2-컬러 이미지 디모자이커 및 방법은 많은 기타 범용 또는 특수 목적의 컴퓨팅 시스템 환경 또는 구성에서 동작한다. 간접 텍스처 확대(indirection texture magnification) 시스템 및 방법에서 사용하는 데 적합할 수 있는 잘 알려 진 컴퓨팅 시스템, 환경 및/또는 구성의 예로는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드-헬드, 랩톱 또는 모바일 컴퓨터나 셀 전화 및 PDA 등의 통신 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱 박스, 프로그램가능한 가전제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템들이나 장치들 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 기타 등등이 있지만 이에 제한되는 것은 아니다.

베이지안 2-컬러 이미지 디모자이커 및 방법은 일반적으로 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어와 관련하여 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 베이지안 2-컬러 이미지 디모자이커 및 방법은 또한 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘다에 위치할 수 있다. 도 8을 참조하면, 베이지안 2-컬러 이미지 디모자이커 및 방법의 예시적인 시스템은 컴퓨터(810) 형태의 범용 컴퓨팅 장치를 포함한다(도 1의 제1 컴퓨팅 장치(270) 및 도 2의 제2 컴퓨팅 장치(295)가 컴퓨터(810)의 예임).

컴퓨터(810)의 컴포넌트들은 처리 장치(820)[중앙 처리 장치(CPU) 등], 시스템 메모리(830), 및 시스템 메모리를 비롯한 각종 시스템 컴포넌트들을 처리 장치(820)에 연결시키는 시스템 버스(821)를 포함하지만 이에 제한되는 것은 아니다. 시스템 버스(821)는 메모리 버스 또는 메모리 컨트롤러, 주변 장치 버스 및 각종 버스 아키텍처 중 임의의 것을 이용하는 로컬 버스를 비롯한 몇몇 유형의 버스 구조 중 어느 것이라도 될 수 있다. 예로서, 이러한 아키텍처로는 ISA(industry standard architecture) 버스, MCA(micro channel architecture) 버스, EISA(Enhanced ISA) 버스, VESA(video electronics standard association) 로컬 버스, 그리고 메자닌 버스(mezzanine bus)로도 알려진 PCI(peripheral component interconnect) 버스 등이 있지만 이에 제한되는 것은 아니다.

컴퓨터(810)는 통상적으로 각종 컴퓨터 판독가능 매체를 포함한다. 컴퓨터(810)에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체를 포함한다. 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함하지만 이에 제한되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다.

컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터(810)에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만 이에 제한되는 것은 아니다. 통신 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 구현하고 모든 정보 전달 매체를 포함한다.

유의할 점은 "피변조 데이터 신호"라는 용어가, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다는 것이다. 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함하지만, 이에 한정되는 것은 아니다. 상술된 매체들의 모든 조합이 또한 컴퓨터 판독가능 매체의 영역 안에 포함되는 것으로 한다.

시스템 메모리(830)는 판독 전용 메모리(ROM)(831) 및 랜덤 액세스 메모리(RAM)(832)와 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 시동 중과 같은 때에, 컴퓨터(810) 내의 구성요소들 사이의 정보 전송을 돕는 기본 루틴을 포함하는 기본 입/출력 시스템(BIOS)(833)은 통상적으로 ROM(831)에 저장되어 있다. RAM(832)은 통상적으로 처리 장치(820)가 즉시 액세스 할 수 있고 및/또는 현재 동작시키고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 예로서, 도 8은 운영 체제(834), 애플리케이션 프로그램(835), 기타 프로그램 모듈(836) 및 프로그램 데이터(837)를 도시하고 있지만 이에 제한되는 것은 아니다.

컴퓨터(810)는 또한 기타 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장매체를 포함할 수 있다. 단지 예로서, 도 8은 비이동식·비휘발성 자기 매체에 기록을 하거나 그로부터 판독을 하는 하드 디스크 드라이브(841), 이동식·비휘발성 자 기 디스크(852)에 기록을 하거나 그로부터 판독을 하는 자기 디스크 드라이브(851), 및 CD-ROM 또는 기타 광 매체 등의 이동식·비휘발성 광 디스크(856)에 기록을 하거나 그로부터 판독을 하는 광 디스크 드라이브(855)를 포함한다.

예시적인 운영 환경에서 사용될 수 있는 기타 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체로는 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고상(solid state) RAM, 고상 ROM 등이 있지만 이에 제한되는 것은 아니다. 하드 디스크 드라이브(841)는 통상적으로 인터페이스(840)와 같은 비이동식 메모리 인터페이스를 통해 시스템 버스(821)에 접속되고, 자기 디스크 드라이브(851) 및 광 디스크 드라이브(855)는 통상적으로 인터페이스(850)와 같은 이동식 메모리 인터페이스에 의해 시스템 버스(821)에 접속된다.

위에서 설명되고 도 8에 도시된 드라이브들 및 이들과 관련된 컴퓨터 저장 매체는, 컴퓨터(810)에 대한 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터를 저장한다. 도 8에서, 예를 들어, 하드 디스크 드라이브(841)는 운영 체제(844), 애플리케이션 프로그램(845), 기타 프로그램 모듈(846), 및 프로그램 데이터(847)를 저장하는 것으로 도시되어 있다. 여기서 주의할 점은 이들 컴포넌트가 운영 체제(834), 애플리케이션 프로그램(835), 기타 프로그램 모듈(836), 및 프로그램 데이터(837)와 동일하거나 그와 다를 수 있다는 것이다. 이에 관해, 운영 체제(844), 애플리케이션 프로그램(845), 기타 프로그램 모듈(846) 및 프로그램 데이터(847)에 다른 번호가 부여되어 있다는 것은 적어도 이들이 다른 사본(copy)이라는 것을 나타내기 위한 것이다. 사용자는 키보드(862) 및 통상 마우 스, 트랙볼(trackball) 또는 터치 패드라고 하는 포인팅 장치(861) 등의 입력 장치를 통해 명령 및 정보를 컴퓨터(810)에 입력할 수 있다.

다른 입력 장치(도시 생략)로는 마이크, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 라디오 수신기, 또는 텔레비전 또는 방송 비디오 수신기, 기타 등등을 포함할 수 있다. 이들 및 기타 입력 장치는 종종 시스템 버스(821)에 결합된 사용자 입력 인터페이스(860)를 통해 처리 장치(820)에 접속되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus) 등의 다른 인터페이스 및 버스 구조에 의해 접속될 수도 있다. 모니터(891) 또는 다른 유형의 디스플레이 장치도 비디오 인터페이스(890) 등의 인터페이스를 통해 시스템 버스(821)에 접속된다. 모니터 외에, 컴퓨터는 스피커(897) 및 프린터(896) 등의 기타 주변 출력 장치를 포함할 수 있고, 이들은 출력 주변장치 인터페이스(895)를 통해 접속될 수 있다.

컴퓨터(810)는 원격 컴퓨터(880)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(880)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있고, 통상적으로 컴퓨터(810)와 관련하여 상술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 도 8에는 메모리 저장 장치(881)만이 도시되어 있다. 도 8에 도시된 논리적 접속으로는 근거리 통신망(LAN)(871) 및 원거리 통신망(WAN)(873)이 있지만, 기타 네트워크를 포함할 수도 있다. 이러한 네트워킹 환경은 사무실, 전사적 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷, 및 인터넷에서 일반적인 것이다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(810)는 네트워크 인터페이스 또는 어댑터(870)를 통해 LAN(871)에 접속된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(810)는 통상적으로 인터넷과 같은 WAN(873)을 통해 통신을 설정하기 위한 모뎀(872) 또는 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(872)은 사용자 입력 인터페이스(860) 또는 기타 적절한 메커니즘을 통해 시스템 버스(821)에 접속될 수 있다. 네트워크화된 환경에서, 컴퓨터(810)와 관련하여 기술된 프로그램 모듈 또는 그의 일부가 원격 메모리 저장 장치에 저장될 수 있다. 예로서, 도 8은 원격 애플리케이션 프로그램(885)이 메모리 장치(881)에 있는 것으로 도시하고 있지만 이에 제한되는 것은 아니다. 도시된 네트워크 접속은 예시적인 것이며 이 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 이해할 것이다.

이상의 상세한 설명은 예시 및 설명을 위해 제공된 것이다. 이상의 개시 내용을 바탕으로 많은 수정 및 변형이 가능하다. 이는 전수적인 것이거나 본 명세서에 기술된 발명 내용을 개시된 정확한 형태로 제한하기 위한 것이 아니다. 발명 내용이 구조적 특징 및/또는 방법적 동작과 관련한 언어로 기술되어 있지만, 첨부된 청구 범위에 정의된 발명 내용이 꼭 상기한 특정의 특징 또는 동작으로 한정되는 것이 아님을 잘 알 것이다. 오히려, 상기한 특정의 특징 및 동작은 첨부된 청구 범위를 구현하는 예시적인 형태로서 개시되어 있다.

Claims

디지털 컬러 이미지(260)를 처리하는 방법으로서,

상기 디지털 컬러 이미지 내의 각각의 픽셀에 대한 완전-지정된 RGB 트리플 컬러값을 획득하는 단계(300), 및

감소된 이미지 아티팩트를 갖는 향상된 디지털 컬러 이미지(290)를 얻기 위해 상기 완전-지정된 RGB 트리플 컬러값을 사용하여 2개의 컬러의 결합으로서 각각의 픽셀에 대한 최종 컬러값을 구하는 단계(310)를 포함하는, 디지털 컬러 이미지 처리 방법.
제1항에 있어서, 예비 과정 디모자이크 기법(preliminary pass demosaicing technique)을 사용하여 상기 완전-지정된 RGB 트리플 컬러값을 구하는 단계(400)를 더 포함하는, 디지털 컬러 이미지 처리 방법.
제2항에 있어서, 고품질 선형 보간 디모자이크 기법(220)을 사용하여 각각의 픽셀에 대한 상기 완전-지정된 RGB 트리플 컬러값(280)을 획득하는 단계를 더 포함하는, 디지털 컬러 이미지 처리 방법.
제1항에 있어서, 최종 컬러값을 구하는 단계(430)가,

상기 완전-지정된 RGB 트리플 컬러값을 사용하여 각각의 픽셀에 대한 상기 2 개의 컬러를 찾아내는 단계(420), 및

상기 2개의 컬러를 우세한 2 컬러로서 지정하는 단계(420)를 더 포함하는 것인, 디지털 컬러 이미지 처리 방법.
제4항에 있어서, 처리되는 픽셀이 중앙에 있는 상기 디지털 컬러 이미지 내의 처리 영역을 정의하는 단계(410)를 더 포함하며,

상기 처리되는 픽셀에 대해 상기 최종 컬러값이 결정(630)되는 것인, 디지털 컬러 이미지 처리 방법.
제5항에 있어서, 클러스터링 기법을 사용하여 상기 처리 영역 내의 픽셀들의 컬러값을 상기 우세한 2 컬러 내로 클러스터링하는 단계(500)를 더 포함하는, 디지털 컬러 이미지 처리 방법.
제6항에 있어서, 상기 클러스터링 기법은 k-평균 클러스터링 기법(720)을 포함하는 것인, 디지털 컬러 이미지 처리 방법.
제6항에 있어서, 상기 클러스터링 기법과 함께 특이점 제거 기법을 사용하여 클러스터링 결과를 향상시키는 단계(510)를 더 포함하는, 디지털 컬러 이미지 처리 방법.
제5항에 있어서, 상기 우세한 2 컬러 각각이 상기 최종 컬러값에 얼마나 기여하는지를 판정하는 단계(730)를 더 포함하는, 디지털 컬러 이미지 처리 방법.
제9항에 있어서, 상기 우세한 2 컬러 각각의 상기 최종 컬러값에 대한 기여분을 지정하는 분수 혼합된 값을 정의하는 단계(600)를 더 포함하는, 디지털 컬러 이미지 처리 방법.
제10항에 있어서, 상기 처리 영역 내의 상기 픽셀 컬러값 각각이 주어진 경우, 상기 분수 혼합된 값의 확률을 최대로 되게 하는 상기 우세한 2 컬러의 혼합(blend)으로서 정의되는, 상기 처리되는 픽셀에 대한 최대 분수 혼합된 값을 구하는 단계(610)를 더 포함하는, 디지털 컬러 이미지 처리 방법.
제10항에 있어서, 각각의 픽셀에 대한 상기 최대 분수 혼합된 값 및 각각의 픽셀에 대한 상기 우세한 2 컬러를 사용하여 상기 디지털 컬러 이미지 내의 픽셀들 각각에 대한 상기 최종 컬러값을 구하는 단계(620)를 더 포함하는, 디지털 컬러 이미지 처리 방법.