KR100721338B1

KR100721338B1 - 디지털 촬영장치의 색상 보간법

Info

Publication number: KR100721338B1
Application number: KR1020040116951A
Authority: KR
Inventors: 강용성
Original assignee: 엘지전자 주식회사
Priority date: 2004-12-30
Filing date: 2004-12-30
Publication date: 2007-05-28
Also published as: EP1677548A2; US20060146150A1; JP2006191607A; KR20060078646A; JP4253655B2; CN1812595A; EP1677548A3; CN100521800C; US7710437B2

Abstract

본 발명 "디지털 촬영장치의 색상 보간 방법"은 복원할 화소에 인접하는 녹색 화소들간의 유사도를 계산하는 과정과; 유사도가 가장 높은 두 화소의 녹색값의 평균을 계산하여 각 화소의 녹색값을 복원하는 과정과; 상기 복원과정을 통해, 모든 화소의 녹색값이 복원되면, 복원된 녹색값을 이용하여, "기울기에 의한 보간법"에 따라 각 화소들의 적색값 또는 청색값을 복원하는 과정으로 이루어진다.

본 발명은 기존의 발명과 비슷한 연산량을 가진다. 그리고 수평, 수직뿐 아니라, 대각선 방향의 상관관계를 고려하기 때문에 사선이나 모서리 같은 부분을 표현할 경우 몽롱화(blurring) 현상을 줄일 수 있다. 또한, 본 발명은 구하고자 하는 화소 주변의 인접 화소들간의 유사도를 측정한 후, 가장 큰 유사도를 가지는 두 화소의 평균과 그들의 유사도를 곱하는 Weight sum 방식으로 보다 선명한 영상을 얻을 수 있다.

Bayer 패턴, 색상 보간법

Description

디지털 촬영장치의 색상 보간법{COLOR INTERPOLATION ALGORITHM OF DIGITAL CAMERA}

도1의 a)는 양선형 보간법의 5 x 5 Bayer 패턴을 나타낸 도면.

도1의 b)는 색상변화 보간법의 5 x 5 Bayer 패턴을 나타낸 도면.

도2의 a)와 b)는 기울기에 의한 보간법의 Bayer 패턴을 나타낸 도면.

도3은 휘도의 기울기를 이용한 적응적보간법의 Bayer패턴을 나타낸 도면.

도4는 본 발명에 따른 색상 보간법의 Bayer 패턴을 나타낸 도면.

도5는 본 발명에 따라 녹색(G)을 복원하는 방법을 나타낸 도면.

도6은 본 발명에 따라 적색(R) 또는 청색(B)을 복원하는 방법을 나타낸 도면.

디지털 촬영장치의 색상 보간법(Color Interpolation)에 관한 것으로, 특히 베이어 패턴(Bayer Pattern) 칼라 필터에서의 색상 보간법에 관한 것이다.

디지털 카메라(혹은 디지털 캠코더)와 같은 디지털 촬영장치는 일반적으로 하나의 CCD(Charge Coupled Device)를 사용하기 때문에 full-color 영상을 얻기 위해서 각각의 화소에 대한 보다 많은 정보가 필요하다. 실제로 인간 시신경계의 성질 때문 에 영상을 나타내고자 할 때는 적어도 3가지 이상의 데이터를 필요로 하는데, full-color 영상은 세가지 독립적인 칼라(Red, Green, and Blue)의 화소값으로부터 추론할 수 있다.

상기 CCD는 광학적 신호를 전기적 신호로 변환하는 촬상소자로서, 일반적으로 다판식과 단판식으로 나뉜다. 상기 다판식은 삼색(RGB)에 반응하는 센서들로 구성된 세개의 판을 이용하여 각 화소가 삼색을 받아 들이는 방식이며, 단판식은 각 화소가 하나의 색상만을 받아 들이는 방식으로, 각 색상에 반응하는 센서들로 구성된 배열(Color Filter Array, CFA)을 필요로 한다. 배열(CFA)의 가장 일반적인 패턴은 Bayer 패턴이다.

상기 다판식의 경우, 하나의 화면을 구성할 때 각각의 색깔 모두 전체 화면에 대한 정보를 가지고 있어 이를 이용하여 전체 화면을 재구성할 수 있으나, 단판식의 경우 도1에 도시된 바와 같이, 하나의 판에 세가지 색(RGB)을 받아들이는 센서가 있지만, 화소마다 각기 다른 색의 센서가 위치해 있으므로, 각 화소들은 세개의 색상 중에서 하나의 색상정보만을 갖는다.

그러므로 예를 들어, 녹색 감지 센서를 갖지 않는 청색(B) 혹은 적색(R) 화소의 녹색값(또는 G값)을 복원하고자 하는 경우, 주변 화소의 녹색 감지 센서에서 받아들인 정보를 이용하여 녹색의 정보를 유추한다. 이와 같은 색상 복원을 위해 색상 보간법(color interpolation)이 사용된다.

종래의 단판식 베이어 패턴(Bayer Pattern) 칼라 필터에서의 보간법은 양선형 보간법, 색상변화 보간법, 기울기에 의한 보간법, 휘도의 기울기를 이용한 적응적 보간 법 등이 있다. 각 보간법에 대한 설명은 아래와 같다.

도1의 a)는 양선형 보간법의 5 x 5 Bayer 패턴을 나타낸 것이다.

도1의 a)에 도시된 바와 같이, 양선형 보간법은 G값(예: G8)을 복원하기 위해 가장 가까운 4개 화소(G3, G7, G9, and G13)의 색정보를 이용하는 간단한 방법으로, 하기 [수식 1]과 같이, 인접하는 4개 화소(G3, G7, G9, and G13)의 평균을 사용한다.

도1의 b)는 색상변화 보간법의 5 x 5 Bayer 패턴을 나타낸 것이다.

도1의 b)에 도시된 바와 같이, 색상변화 보간법은 먼저, 양선형 방법을 이용하여 주변의 모든 G값을 구한 후, R8을 구하기 위하여 이미 구한 G8값과 센서를 통해 알고 있는 R값을 이용하는 방법이다.

즉, 복원할 화소(B8)의 주변에 위치한 R과 G값의 비는 일정한 것으로 가정을 한 후, 주변 4개의 화소(G2, G4, G12, and G14)에서 R과 G값의 비에 대한 평균을 계산한다. 그리고 하기 [수식 2]에 나타난 바와 같이, 상기 계산된 평균값과 상기 화소(B8)의 G값(G8)을 곱하여 R값(R8)을 복원한다.

도2의 a)와 b)는 기울기에 의한 보간법의 Bayer 패턴을 나타낸 것이다.

도2의 a)에서,

는 수직 에지 정보를 나타내며,

는 수평 에지 정보를 나타낸다.

하기 [수식 3]은 수직 및 수평 에지 정보(

,

)를 구하는 식이다.

수직 및 수평 에지 정보(

,

)가 구해지면, 두 정보(

,

)를 통해, 세로축 방향의 색상변화가 적은지 가로축 방향의 색상변화가 적은지를 알 수 있다. 만일

가

보다 더 작으면 세로축의 색상변화보다는 가로축의 색상변화가 더 적은 것이므로, G43과 G45의 평균값을 G44로 정한다. 반면,

가 더 크면 G34과 G54의 평균값을 G44로 정한다. 그리고 만일 두 값(

and

)이 같다면 주변 G34, G43, G45, G54값의 평균값을 G44로 정한다.([수식 4]참조)

이렇게 G값(예: G44)이 복원되면, 도2의 b)에 도시된 바와 같이, 복원할 화소 주변의 R과 G값의 비(R:G)와 B와 G값의 비(B:G)가 일정한 비율이라는 가정 하에 R과 B값을 구하게 된다.([수식 5]참조)

도3은 휘도의 기울기를 이용한 적응적 보간법의 Bayer 패턴을 나타낸 것이다.

도3의

은 복원할 화소(예: G44)의 좌우 양쪽의 G값의 차이를 나타내고,

은 복원할 화소(예: G44)의 상하 양쪽의 G값의 차이를 나타낸다.

하기 [수식 6]은 수평, 수직의 값(

,

)을 구하는 식이다.

이렇게 구한 수평, 수직의 값(

,

)을 임의로 정해 놓은 임계값과 비교해 아래 수식을 이용하여 G값을 결정한다.

이상의 계산식을 통해, 모든 화소에 대한 G값이 복원되면, 상기 "기울기에 의한 보간법"에서와 동일한 방법으로 R과 B값을 복원한다. 상기 임계값들은 이미지 센서마다 다르게 설정되며, 각각의 이미지 센서를 최적화시킨다.

이러한 보간법을 보다 큰 카테고리로 분류해 보면, 양선형 보간법, 양선형 보간법, 그리고 공간적 상관관계를 이용한 보간법으로 나눌 수 있다. 그리고 각각의 보간법은 다음과 같은 특징을 가진다.

첫째, 양선형 보간법, 이 보간법은 계산량이 적고 구현이 간단하다. 반면 Zipper effect 와 몽롱화(blurring) 현상을 발생시킨다.

둘째, 색상보정 보간법, 이 보간법에는 색상 변화 보간법, 기울기에 기반한 보간법 등이 있다. 색상보정 보간법은 색상의 차이와 색상의 비율을 이용하여 부드러운 색상 유지시킨다. 그리고 구현의 간단함과 일정한 색상 유지로 인해 카메라에 탑재된다.

셋째, 공간적 상관관계를 이용한 보간법, 이 보간법은 색상의 차이와 변화율을 이용하며, 보간법들 중에서 가장 좋은 화질을 획득할 수 있다. 그러나 구현이 비교적 복잡하고 많은 연산량을 필요로 한다. 일반적으로 화질이 좋아질수록 연산량이 많아지는 현상을 나타내고 있다. 또한 공간적 상관관계를 이용하는 방법이 가장 좋은 화질을 나타내고 있지만, 이때 이용하는 공간적 관계가 상하와 좌우 두 가지 성분에만 의존하는 것이어서 실제 영상에서 사선이나 모서리 같은 부분이 있을 경우 blurring 현상이 나타날 가능성이 높다.

이상 기술된 바와 같이, 기존의 보간법은 계산이 간단하면 화질 저하가 생기고 bluer 현상이 일어나거나 zipper 효과가 일어나는 문제점이 있고, 계산이 복잡해지면 화질은 개선되지만, 계산량이 늘어나는 단점이 있다. 또한, 상하 및 좌우 색의 변화에는 민감하게 반응하지만 대각선 성분에 대한 고려가 없어 대각 성분이나 사선 성분의 이미지가 있을 경우 화질이 저하되는 문제점이 있다.

본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은

유사도 함수를 이용하여 화소의 색상을 보간하는 디지털 촬영장치의 색상 보간법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여, 본 발명 "디지털 촬영장치의 색상 보간 방법"은

복원할 화소에 인접하는 녹색 화소들간의 유사도를 계산하는 과정과; 유사도가 가장 높은 두 화소의 녹색값의 평균을 계산하여 각 화소의 녹색값을 복원하는 과정과; 상기 복원과정을 통해, 모든 화소의 녹색값이 복원되면, 복원된 녹색값을 이용하여, "기울기에 의한 보간법"에 따라 각 화소들의 적색값 또는 청색값을 복원하는 과정으로 이루어지며, 상기 평균계산은 유사도가 가장 높은 두 화소의 산술평균값과 유사도 값을 곱셈 연산하여 얻어진다.

바람직하게, 상기 유사도 계산 과정은 상기 복원할 화소에 인접하는 녹색 화소들의 색상값을 정규화한 후, 인접 녹색 화소들간의 유사도를 계산하는 것을 특징으로 한다.

바람직하게, 상기 유사도 계산 과정은 상기 복원할 화소의 상하좌우에 인접하는 녹색 화소들 간의 수평방향, 수직방향, 그리고 대각방향의 유사도를 구하는 것을 특징으로 한다.

바람직하게, 상기 화소들은 베이어 패턴(Bayer Pattern)에 따라 배열된 것임을 특징으로 한다.

삭제

이하, 본 발명의 바람직한 실시 예를 도면을 참조하여 설명하면 다음과 같다.

도4는 본 발명에 따른 색상 보간법의 Bayer패턴을 나타낸 도면이고, 도5는 본 발명에 따라 녹색(G)을 복원하는 방법을 나타낸 도면이다.

도4와 5를 참조하여, 본 발명에 따른 색상 보간법을 설명하면 다음과 같다.

화소 B44는 녹색정보와 적색정보를 가지고 있지 않은 청색 화소로서, B44의 녹색을 복원하기 위해서는 먼저, B44의 인접 화소들(G34, G43, G45, G54)이 가지고 있는 G값을 측정해야 한다. 그리고 인접 화소들(G34, G43, G45, G54)간의 유사도를 계산한다.(S20)

유사도란 두 화소의 색상정보가 얼마나 비슷한 지를 fuzzy이론을 이용하여 정의한 값이며, 유사도를 구하는 식은 하기 [식 7]과 같다.

a 와 b의 유사도를

라 할 때,

여기서,

이고,

를 나타낸다.

[식 7]에서 연산자

은 multivalued implication이라고 하며, 여러 가지 방식으로 정의되고 있다. 본 발명에서는 Lukasiewicz implication이라 알려진 방법을 사 용한다. Lukasiewicz implication은 하기 [식 8]과 같이 정의된다.

상기 [식 7]을 [식 8]에 대입하면 두 화소 a 와 b의 유사도(

)를 구할 수 있다. 이때 [식 7]에서 a, b값은 0과 1사이에 있으므로 우선 모든 인접 화소의 R, G, B값들을 0과 1사이로 정규화시키는 과정(S10)이 필요하다. 어떤 화소를

라고 할 때,

를 정규화하는 방식은 하기 [식 9]와 같다.

여기서 i, j는 각 인덱스를 나타내는 정수이고, bits는 촬상소자가 각 화소의 값을 몇 bit로 표시하는지를 나타낸 것이다.

상기 [식 9]의 계산을 통해, 모든 화소가 정규화되면 두 화소간의 유사도를 구하기 위해 [식 7]을 사용할 수 있다.

하기 [식10]은 두 화소 G34와 G43의 유사도를 계산한 식이며, [식10]의 소문자 g _ij는 G _ij를 정규화시킨 값이다.

그리고 하기 [식 11]은 [식 8]을 이용하여 G ₃₄

G ₄₃의 값을 계산한 식이다.

이렇게, [식 7]과 [식 8]을 이용하여 복원할 화소(예: B44)의 상하좌우에 인접하는 4개 화소의 유사도를 각각 계산한 후, 유사도가 가장 높은 두 화소를 구한다.(S30) 즉, 화소 B44의 G값(G44)을 복원하고자 하면, 먼저 인접 화소들(G34, G43, G45, G54)간의 수평, 수직, 그리고 대각방향 유사도

,

를 각각 계산한 후, 하기 [식 12]를 통해, 그 중 가장 큰 유사도를 찾아낸다.

어떤 두 화소(예: G34와 G43)의 유사도가 가장 크다는 것은, 이 두 화소(G34와 G43)가 복원할 화소(B44)의 G값과 일치할 가능성이 가장 크다는 것을 의미한다. 하지만, 가장 큰 유사도를 나타내는 두 화소(G34와 G43)를 찾았다고 해도 인접하는 4개 화소들간의 유사도가 매우 낮을 경우에는 그 두 화소(G34와 G43)와 복원하고자 하는 G값(G44)과의 유사 가능성은 매우 낮아지게 된다.

따라서, 본 발명에서는 가장 유사한 두 화소 G34, G43의 유사도 (

)를 그 두 화소의 산술평균(1/2(G34+G43))에 곱함으로써 두 화소 G34와 G43의 유사도가 높을수록 복원할 화소의 G값(G44)이 두 화소(G34, G43)와 비슷한 값을 가지도록 하고, 두 화소 G34와 G43의 유사도가 낮을수록 복원할 화소의 G값(G44)이 두 화소(G34, G43)의 값과 멀어지도록 하는 방법을 사용한다.(S40)

하기 [식 13]은 인접 화소들 중 G34와 G43의 유사도가 가장 큰 경우, B44의 G값(G44)을 계산한 식이다.

도6은 본 발명에 따라 적색(R)과 청색(B)을 구하는 방법을 나타낸 도면이다.

일단, 상기 과정(S10 ~ S40)을 통해, 모든 청색화소(Bij)와 적색화소(Rij)의 녹색값(G값)이 복원되면(S110), 상기 "기울기에 의한 보간법"에서와 동일한 방법으로 아직 복원되지 않은 R값과 B값을 구한다.(S120) 즉, 복원할 화소에 인접하는 R과 G값의 비(R:G)와 B와 G값의 비(B:G)가 일정한 비율이라는 가정 하에, 하기 [식 14]에 나타난 바와 같이, R값(Rij)과 B값(Bij)을 구하게 된다.

이상 기술된 바와 같이, 본 발명은 기존의 발명과 비슷한 연산량을 가진다.

그리고 수평, 수직뿐 아니라, 대각선 방향의 상관관계를 고려하기 때문에 사선이나 모서리 같은 부분을 표현할 경우 몽롱화(blurring) 현상을 줄일 수 있다.

또한, 본 발명은 구하고자 하는 화소 주변의 인접 화소들간의 유사도를 측정한 후, 가장 큰 유사도를 가지는 두 화소의 평균과 그들의 유사도를 곱하는 Weight sum 방식으로 보다 선명한 영상을 얻을 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

복원할 화소에 인접하는 녹색 화소들간의 유사도를 계산하는 과정과;

유사도가 가장 높은 두 화소의 녹색값의 평균을 계산하여 각 화소의 녹색값을 복원하는 과정과;

상기 복원과정을 통해, 모든 화소의 녹색값이 복원되면, 복원된 녹색값을 이용하여, "기울기에 의한 보간법"에 따라 각 화소들의 적색값 또는 청색값을 복원하는 과정으로 이루어지며,

여기서, 상기 평균 계산은

유사도가 가장 높은 두 화소의 산술평균값과 유사도 값을 곱셈 연산하는 것임을 특징으로 하는 디지털 촬영장치의 색상 보간 방법.
제1항에 있어서, 상기 유사도 계산 과정은

상기 복원할 화소에 인접하는 녹색 화소들의 색상값을 정규화한 후, 인접 녹색 화소들간의 유사도를 계산하는 것을 특징으로 하는 디지털 촬영장치의 색상 보간 방법.
제1항에 있어서, 상기 유사도 계산 과정은

상기 복원할 화소의 상하좌우에 인접하는 녹색 화소들 간의 수평방향, 수직방향, 그리고 대각방향의 유사도를 구하는 것을 특징으로 하는 디지털 촬영장치의 색상 보간 방법.
삭제
제1항에 있어서, 상기 화소들은

베이어 패턴(Bayer Pattern)에 따라 배열된 것임을 특징으로 하는 디지털 촬영장치의 색상 보간 방법.
제1항에 있어서, 상기 복원할 화소는

청색 화소인 것을 특징으로 하는 디지털 촬영장치의 색상 보간 방법.
제1항에 있어서, 상기 복원할 화소는

적색 화소인 것을 특징으로 하는 디지털 촬영장치의 색상 보간 방법.
복원할 화소의 상하좌우에 인접하는 녹색 화소들 중, 유사도가 가장 높은 두 화소를 구하는 과정과;

상기 두 화소의 녹색값의 산술평균 값과 유사도 값을 곱셈 연산하여 각 화소의 녹색값을 복원하는 과정과;

상기 복원과정을 통해, 모든 화소의 녹색값이 복원되면, 복원된 녹색값을 "기울기에 의한 보간법"에 적용하여 각 화소들의 적색값 또는 청색값을 복원하는 과정으로 이루어지는 것을 특징으로 하는 디지털 촬영장치의 색상 보간 방법.