KR20010058767A - 칼라 영상 보간 방법 - Google Patents

Abstract

본 발명에 따른 칼라 영상 보간 방법은 칼라 필터 어레이(CFA)를 채용하는 CCD(Charge Coupled Device)의 출력영상에 대하여 인접하는 화소들의 칼라정보를 이용하여 각 화소에서 R, G, B 3가지 칼라정보를 계산하는 칼라 영상 보간 방법에 있어서, 계산하고자 하는 화소에서의 G값과 그 주위의 G값에 의해 보간된 G값간의 변화량을, 상기 화소에서의 R(또는 B)값과 그 주위의 R(또는 B)값에 의해 보간된 R값간의 변화량과 같은 것으로 설정하여 R, G, B 3가지 칼라정보를 계산하는 단계를 수행하며, 보간방향을 결정할 때는 상기 계산하고자 하는 화소에서의 G(또는 R 또는 B)값의 수평변화량(ΔH)과 수직변화량(ΔV)을 서로 비교하여 결정하는 것을 특징으로 한다.

이에 따라, 원하지 않는 아티팩트(Artifact)를 줄이고 흐림 현상을 감소시킴과 아울러 화상 전화 단말기에 채용하여 칩세트(Chip set)화 하면 처리속도와 더불어 화상의 질도 향상시킬 수 있는 효과가 있다.

Description

칼라 영상 보간 방법{Color image interpolation method}

본 발명은 칼라 영상 보간 방법에 관한 것으로, 특히 칼라 필터 어레이(CFA)를 채용하는 CCD(Charge Coupled Device)의 출력영상에 대한 보간시 자연 영상에서 주어진 작은 영역 내에서 채널별 색차값의 변화량간의 차이가 적은 경우가 많다는 사실에 착안하여 종래의 보간방법들에 비해 계산량이 적고 사용되는 메모리의 양도감소하며 아티팩트(Artifact)와 흐림현상(Blurring)을 줄어들게 하는 칼라 영상 보간 방법에 관한 것이다.

컴퓨터 보급의 증가와 인터넷이나 PC통신 등 영상 통신 수단의 보편화에 따라서 디지털 칼라 영상에 대한 수요가 많아지고, 칼라 영상 획득 장치로서 디지털 카메라, 화상 전화기, CCTV 카메라 등 다양한 영상 입력 장치에 대한 관심이 점차 증가되고 있다. 소니(SONY)에 의해 처음 선보인 디지털 카메라의 경우 초기에는 고가의 장비였으나 기술 개발로 인하여 가격이 하락하고, 해상도 증가에 따른 화질의 향상도 이루어지고 있다.

도 4는 일반적인 디지털 카메라의 신호 흐름도를 보여주는 디지털 카메라의 개략적인 구성블럭도이다.

도 4를 참조하면, 디지털 카메라는 피사체에서 반사되는 빛이 입력되는 렌즈(1)와, CFA(Color Filter Array)를 채용하여 렌즈(1)를 통해 입력되는 빛을 전기적 아날로그 신호로 변환해주는 CCD(Charge Coupled Device)(2)와, CCD(2)을 통해 변환된 아날로그 영상신호를 디지털 영상신호로 변환하여 주는 ADC(Analog to Digital Converter)(3)와, 칼라영상 보간작업을 수행하는 CI(Color Interpolator)(4)와, 보간된 영상을 받아 칼라영상 처리하는 CP(Color Processor)(6)와 CPU(6)와, 플래쉬 메모리(7)와 칼라 영상데이터를 편집할 수 있는 PC(8)로 구성된다.

디지털 카메라의 영상 획득은 피사체에서 반사되어 나오는 빛을 전기적 신호로 변화하여 주는 소자인 CCD로부터 이루어진다. 이와 같은 CCD소자를 이용하여 칼라 영상을 얻기 위해서는 CCD 앞단에 칼라 필터를 필요로 한다.

대부분의 소형 디지털 카메라의 경우, 장비의 부피나 가격을 고려하여 CFA라 불리는 칼라 필터를 채용하고 있다. CFA는 CCD의 앞단에 마이크로 렌즈의 형태로 부착되어 있고, 한 화소마다 한 가지 칼라를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있다

CFA는 칼라 요소가 배열된 구조에 따라 여러 가지 형태를 갖고 있으나 가장 널리 사용되는 패턴은 2-G Bayer 패턴이다. 2-G Bayer패턴 CFA에서는, 휘도를 나타내는 G가 50%, 색성분인 R과 B가 각각 25%의 비율로 분포되어 있다.

도 1은 2-G Bayer 패턴 CFA의 구조를 나타낸다. 예를 들어, 좌 상단에 위치한 화소의 출력은 G값만을 갖는다. 또한, R과 B는 서로 다른 라인에 교대로 배열되어 있다. CFA를 채용한 CCD의 출력 영상은 각 화소마다 한 개의 칼라 정보만을 갖고 있으므로 RGB 3개의 채널의 모든 정보를 갖는 칼라 영상을 얻기 위해서는 주위 화소들의 칼라 정보를 이용하여 각 화소에서 3가지 칼라 정보를 계산하는 과정이 필요하다. 이러한 과정을 유실픽셀 보간(Missing Pixel Interpolation)이라 한다.

유실픽셀 보간(Missing Pixel Interpolation) 방법은 CFA배역 구조에 의해 좌우된다. 가장 간단하고 일반적인 방법은 주어진 화소에서 계산하려는 칼라와 같은 칼라 정보를 갖는 주위의 화소값들을 사용하여 쌍 일차 선형 보간법(Bilinear Interpolation)을 적용하는 것이다. 이 경우 보간된 영상은 아티팩트(Artifact)를 갖게 되고 또한, 흐릿해지게 된다. 이를 개선하기 위하여 Hibbard, Cok, Lu, Shimizu등에 의하여 여러 가지 알고리즘이 제안된 바 있다.

도 2는 유실 픽셀 보간방법의 4가지 패턴이 도시되어 있다.

Hibbard방법에서는 도 1에 도시된 2G-Bayer 패턴을 보간하고자 하는 화소의 칼라 종류와 주변 화소의 칼라 배치에 따라 도 2에 나타낸 것과 같이 4가지의 형태로 구분한다. 먼저, G값들을 이용하여 나머지 R과 B채널의 Missing Pixel들을 보간을 통하여 계산한다.

G값에 대한 계산 방법을 먼저 설명하기로 한다. 도 2(b),(c)와 같이 R과 B값이 주어진 경우 상하 좌우로 G값이 존재하게 된다. G채널 보간을 위해 수학식 1과 같이 수평 및 수직 방향의 Gradient, ΔH와 ΔV를 계산한다.

ΔH = |G(-1,0) - G(1,0)|, ΔV = |G(0,-1) - G(0,1)|

이와 같이 계산된 Gradient를 다음 수학식2와 같이 미리 설정된 문턱값 T와 비교하여 수직, 수평 방향으로 G채널의 패턴 혹은 경계의 존재 여부를 결정한 후 다음의 수학식 3에 의해 보간된 G값, AdapG(x, y)를 계산한다.

G값에 대한 계산을 마친 후에는 다음과 같이 도 2의 4가지 경우 각각에 대하여 존재하지 않는 R과 B값을 계산한다.

1) 경우1 : 도 2(a)와 같이 G가 주어진 경우 수학식 4와 같이 구할 수 있다.

2) 경우2 : 도 2(b)와 같이 R이 주어진 경우 수학식 5와 같이 구한다.

3) 경우3 : 도 2(c)와 같이 B가 주어진 경우 수학식 6과 같이 구한다.

4) 경우4 : 도 2(d)와 같이 G가 주어진 경우 수학식 7과 같이 구한다.

수학식4 - 수학식 7에서 AdapG(x, y)는 보간된 값을 나타내며, G(x, y)는 본래 존재하는 값을 나타낸다.

그런데, 이상과 같은 종래의 기술에 의하면, 작은 계산량은 가지고 있지만 상하로의 띠무늬의 패턴에서는 원치 않는 아티팩트(Artifact)를 발생시킴으로써 화질의 성능이 떨어지는 문제점이 있다.

본 발명은 상기와 같은 문제점들을 해결하기 위하여 창출된 것으로서, 자연 영상 (Nature Scene)에서 주어진 작은 영역 내에서 채널별 색차값의 변화량간의 차이가 적은 경우가 많다는 사실에 착안하여 종래의 보간방법들에 비해 계산량이 적고 사용되는 메모리의 양도 감소하며 아티팩트(Artifact)와 흐림 현상(Blurring)을 줄어들게 하는 칼라 영상 보간 방법을 제공함에 그 목적이 있다.

도 1은 2-G Bayer 패턴 CFA의 구조도.

도 2는 유실 픽셀 보간의 4가지 패턴도.

도 3은 본 발명에 의한 칼라 영상 보간 방법을 설명하기 위한 도면.

도 4는 디지털 카메라의 신호 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

1 : 렌즈 2 : CFA/CCD

2 : A/D변환기(ADC) 4 : 칼라 보간기(CI)

5 : 칼라 프로세서 6 : CPU

7 : 플래쉬 메모리 8 : PC

상기의 목적을 달성하기 위하여 본 발명에 따른 칼라 영상 보간 방법은 칼라 필터 어레이(CFA)를 채용하는 CCD(Charge Coupled Device)의 출력영상에 대하여 인접하는 화소들의 칼라정보를 이용하여 각 화소에서 R, G, B 3가지 칼라정보를 계산하는 칼라 영상 보간방법에 있어서, 계산하고자 하는 화소에서의 G값과 그 주위의G값에 의해 보간된 G값간의 변화량을, 상기 화소에서의 R(또는 B)값과 그 주위의 R(또는 B)값에 의해 보간된 R값간의 변화량과 같은 것으로 설정하여 R, G, B 3가지 칼라정보를 계산하는 단계를 수행하는 것을 특징으로 한다.

또한, 보간방향을 결정할 때는 상기 계산하고자 하는 화소에서의 G(또는 R 또는 B)값의 수평변화량(ΔH)과 수직변화량(ΔV)을 서로 비교하여 보간방향을 결정하도록 한다.

이하, 첨부된 도면을 참조하여 본 발명에 의한 칼라 영상 보간 방법을 좀더 상세히 설명하도록 한다.

도 3은 본 발명에 의한 칼라 영상 보간 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명에 의한 칼라 영상 보간 방법은 고 해상도의 자연 영상(nature scene)에서는 주어진 작은 영역내에서 휘도와 밀접한 관계가 있는 G값의 변화 추이가 B 나 R값의 변화 추이와 비슷하다는 점을 이용하는 것이다.

먼저 G값의 보간 방법에 대하여 설명한다. G값은 수직 또는 수평의 주위 5화소값들을 이용하여 계산한다. 수직 또는 수평의 결정은 아래의 기준에 의해 결정한다.

if ΔH < ΔV then 수평방향

if ΔV < ΔH then 수직방향

여기서 ΔH와 ΔV는 수학식 1에 정의대로 계산한다. 수평 및 수직 방향 또한, 도 2의 (b)(c)의 경우 사용되는 보간 방법은 모두 같으므로 여기서는 도 2(b)의 경우 수평 방향이 선택되었을 때를 예로 들어 설명한다. 이 경우 이미 존재하는 센서의 출력 값은 도 4와 같고 (0,0)위치에서의 G값, G(0,0)가 보간되어야 한다.

제안하는 방법에서는 계산되어야 할 G(0,0)와 주위의 G값에 의해 보간된 G값간의, (G(-1,0)+G(1,0))/2, 차이가 (0,0)에서 주어진 R(0,0)값과 주위의 R값들에 의해 보간된 R값의 차이와 같다고 가정한다. 여기서 주위의 R값들에 의해 보간된 R값이란 (-1,0)과 (1,0)의 위치에서 보간된 값들의 평균을 계산한 것이다. 이를 수학식으로 나타내면 아래 식과 같다.

위의 식을 정리하면 아래의 수학식 10가 된다.

다음에는 R과 B값에 대한 보간 방법을 설명한다. R과 B값의 보간은 같은 방법으로 수행되며 따라서, 여기서는 R값의 보간 방법만을 설명한다. R값의 보간이 필요한 경우는 도 2의 (a),(b),(c)이다. 도 2(a)에서는 좌우에 R값이 존재하고, (d)에서는 상하에 R값이 존재하고, (c)에서는 주위의 네 코너에 R값이 존재한다. 도 2의 (a)와 (d)에 경우에는 각각 이미 R값이 존재하는 좌우와 상하 방향으로 보간하지만 (c)의 경우에는 다음의 기준에 의해 45도와 135도의 대각선 방향중에서 한 방향을 선택한다.

if ΔXR < ΔYR then 135도 방향

if ΔYR < ΔXR then 45도 방향

도 2의 (a), (c), (d) 경우 모두 보간 방법은 같으며, 예를 들어 (c)의 경우 45도 방향이 선택되었을 때 보간 방법은 아래의 식과 같다.

위의 수학식 12는 G값의 보간과 마찬가지로 결정된 방향에서의 5개의 주위 화소값들에 의해 수학식 9와 유사하게 전개되어 유도한 것이다.

이상의 설명에서와 같이, 본 발명에 따른 단일 CCD 칼라 필터 어레이를 위한 칼라 영상 보간 방법에 의하면, 2G-Bayer CFA구조를 갖는 CCD에서 기존의 방법에 비하여 계산량과 요구되는 메모리 용량을 감소시키게 된다.

또한, 기존의 방법에서는 보간 방향을 결정하거나 보간 계산시 미리 정해진 상수들의 사용을 전제하였음에 반하여 본 발명의 방법은 고 해상도의 자연 영상(Nature Scene)에서는 주어진 작은 영역내에서 휘도와 밀접한 관계가 있는 G값의 변화 추이가 B나 R값의 변화 추이와 비슷하다는 점을 이용하여 이와 같은 상수들을 전혀 사용하지 않음으로써, 두 가지 영상을 대상으로 수행된 실험 결과 기존의 방법에 의한 결과에 비해 원하지 않는 아티팩트(Artifact)를 줄이고 흐림현상을 감소시킴을 확인할 수 있다. 따라서 이를 화상 전화 단말기에 채용하여 칩세트(Chip set)화 하면 처리속도와 더불어 화상의 질도 향상시킬 수 있는 효과가 있다.

Claims (2)

1. 칼라 필터 어레이(CFA)를 채용하는 CCD(Charge Coupled Device)의 출력영상에 대하여 인접하는 화소들의 칼라정보를 이용하여 각 화소에서 R, G, B 3가지 칼라정보를 계산하는 칼라 영상 보간 방법에 있어서,

   계산하고자 하는 화소에서의 G값과 그 주위의 G값에 의해 보간된 G값간의 변화량을, 상기 화소에서의 R(또는 B)값과 그 주위의 R(또는 B)값에 의해 보간된 R값간의 변화량과 같은 것으로 설정하여 R, G, B 3가지 칼라정보를 계산하는 단계를 수행하는 것을 특징으로 하는 칼라 영상 보간 방법.
2. 제 1 항에 있어서,

   상기 계산하고자 하는 화소에서의 G(또는 R 또는 B)값의 수평변화량(ΔH)과 수직변화량(ΔV)을 서로 비교하여 보간방향을 결정하는 단계를 더 수행하는 것을 특징으로 하는 칼라 영상 보간 방법.