상기한 바와 같은 목적을 달성하기 위해, 본 발명의 일 측면에 따르면 베이어 패턴 이미지로부터 R, G, B 값에 관계 없이 화소 값만을 추출하여 에지 방향성 정보를 연산하는 단계(a); 미리 설정된 복수의 조건 중 상기 단계(a)에서 연산되는 에지 방향성 정보의 조건을 판단하는 단계(b)-상기 복수의 조건 각각은 조건에 상응하는 컬러 보간 파라미터 연산 알고리즘과 연관됨-; 상기 단계(b)에서 판단된 에지 방향성 정보 조건과 연관된 컬러 보간 파라미터 연산 알고리즘에 기초하여 컬러 보간 파라미터를 연산하는 단계(c)를 포함하는 컬러 보간 방법이 제공된다.
본 발명의 다른 측면에 따르면, 베이어 패턴 이미지로부터 R, G, B 값에 관계 없이 화소 값만을 추출하여 에지 방향성 정보를 연산하는 에지 방향성 정보 연산부; 미리 설정된 복수의 조건 중 상기 에지 방향성 정보 연산부에서 출력되는 에지 방향성 정보의 조건을 판단하는 에지 방향성 정보 조건 판단부-상기 복수의 조건 각각은 조건에 상응하는 컬러 보간 파라미터 연산 알고리즘과 연관됨-; 상기 에지 방향성 정보 조건 판단부가 판단한 에지 방향성 정보 조건과 연관된 컬러 보간 파라미터 연산 알고리즘에 기초하여 컬러 보간 파라미터를 연산하는 파라미터 연산부를 포함하는 컬러 보간 장치가 제공된다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
본 발명을 설명하기에 앞서, 일반적인 컬러 보간 방법인 이펙티브 보간(effective interpolation)에 대해 먼저 살펴보기로 한다.
컬러 보간은 입력되는 5×5 베이어 패턴 이미지(Bayer Pattern Image)에 대해 수행된다.
도 3은 컬러 보간 시 입력되는 베이어 패턴 이미지 중 RG 라인에서 R 성분인 R3가 중앙 화소인 경우를 도시한 것이다.
도 3과 같이 R3가 중앙 화소인 경우의 일반적인 컬러 보간 방법에 대해 먼저 살펴보기로 한다.
베이어 패턴에서 R 성분이 중앙 화소인 경우, Rn, Rw, Rs, Re와 Kr1, Kr2, Kr3, Kr4 파라미터가 연산된다.
Rn, Rw, Rs, Re 파라미터는 다음의 수학식 1과 같이 연산된다.
또한, Kr1, Kr2, Kr3, Kr4 파라미터는 다음의 수학식 2와 같이 연산된다.
상기 수학식 1 및 수학식 2에 의해 Rn, Rw, Rs, Re와 Kr1, Kr2, Kr3, Kr4 파라미터가 연산되면, G 성분의 최종 출력값을 연산할 수 있다.
G 성분의 최종 출력값인 Gout은 다음의 수학식 3에 의해 연산된다.
보간된 B 성분의 최종 출력을 구하기 위해서는 Gwn, Gws, Ges, Gen과 Kb1, Kb2, Kb3, Kb4 파라미터를 연산하여야 한다.
Gwn, Gws, Ges, Gen 파라미터는 다음의 수학식 4에 의해 연산된다.
또한, Kb1, Kb2, Kb3, Kb4 파라미터는 다음의 수학식 5에 의해 연산된다.
상기 수학식 4 및 수학식 5에 의해 연산된 파라미터를 이용하면 B 성분의 보간된 출력을 다음의 수학식 6에 의해 구할 수 있다
한편, R 성분의 보간된 출력은 다음의 수학식 7과 같이 중앙 화소인 R3의 값과 동일하다.
도 3을 참조하여 R 성분이 중앙 화소인 경우에 대해서 설명하였고, 베이어 패턴 이미지에서 R 성분과 B 성분의 위치가 서로 바뀌는 것을 감안하면, GB 라인에서 중앙 화소가 B 성분인 경우에도 동일하다.
다음으로, GB 라인에서 G5가 중앙 화소인 경우에 일반적인 보간 방법에 대해 살펴보기로 한다.
도 4는 GB 라인에서 G5가 중앙 화소인 경우의 베이어 패턴 이미지를 도시한 도면이다.
베이어 패턴 GB 라인에서 G 성분이 중앙 화소인 경우, Gn, Gw, Gs, Ge와 Kr1, Kr2, Kb1, Kb2 파라미터가 연산된다.
Gn, Gw, Gs, Ge 파라미터는 다음의 수학식 8과 같이 연산된다.
또한, Kr1, Kr2, Kb1, Kb2 파라미터는 다음의 수학식 9와 같이 연산된다.
상기 수학식 8 및 수학식 9에 의해 Gn, Gw, Gs, Ge와 Kr1, Kr2, Kb1, Kb2 파라미터가 연산되면, R, G, B 성분의 보간된 최종 출력값을 연산할 수 있다.
G 성분의 최종 출력인 Gout은 다음의 수학식 10과 같이 G5와 동일하다.
R 성분의 최종 출력인 Rout은 다음의 수학식 11에 의해 연산된다.
마지막으로, B 성분의 최종 출력인 Bout은 다음의 수학식 12에 의해 연산된다.
도 4를 참조하여, GB 라인에서 G 성분이 중앙 화소인 경우에 대해서 설명하였고, 베이어 패턴 이미지 RG 라인에서 G 성분이 중앙 화소인 경우에는 R 및 B의 위치가 서로 바뀌는 것을 감안할 때 동일한 방법을 적용할 수 있다.
상기에서는 기존에 일반적으로 사용되는 이펙티브 보간에 대해 살펴보았다. 참고로, 상기 수학식들은 하기의 논문을 통해 이미 공지된 사항들로서, 별도의 설명을 생략할지라도 당업자는 해당 수학식들의 의미 및 목적을 쉽게 이해할 수 있을 것이다(Soo-Chang Pei, Fellow, IEEE, Io-Kuong Tam, “Effective Color Interpolation in CCD Color Filter Arrays Using Signal Correlation”, IEEE transaction on circuits and systems for video technology, Vol. 13(6), June 2003.).
전술한 바와 같이, 기존의 보간 방법에 의할 경우, 도 2의 해상도 차트 영상에서 알 수 있듯이, 700 이상의 세밀한 에지 부근에서 잘못된 컬러가 발생할뿐만 아니라 에지 주변에서 지퍼 모양의 아티팩트(artifact)가 발생하는 문제점이 있었다.
본 발명에서는 이러한 문제점을 해결하기 위해, 에지의 방향성 정보라는 새로운 파라미터를 연산하고, 에지 방향성 정보에 따라 각기 다른 방식으로 컬러 보간 파라미터들을 계산함으로써 위와 같은 문제점을 해결한다.
에지 방향성 정보를 연산하기 위해, 베이어 패턴의 R, G, B 성분에 관계 없이 각 성분의 화소값만을 가진 5×5 마스크가 이용된다.
도 6은 베이어 매트릭스에서 화소 성분에 관계 없이 화소 값만이 기록된 5×5 마스크의 일례를 도시한 도면이다.
또한, 도 5는 본 발명의 바람직한 일 실시예에 따른 컬러 보간 장치의 구성을 도시한 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 컬러 보간 장치는 방향성 정보 연산부(500), 방향성 정보 조건 판단부(502), 제1 조건 파라미터 연산부(504), 제2 조건 파라미터 연산부(506) 및 제3 조건 파라미터 연산부(508)를 포함할 수 있으며, 방향성 정보 연산부는 수직 방향성 정보 연산부(520) 및 수평 방향성 정보 연산부(530)를 포함할 수 있다.
방향성 정보 연산부(500)는 에지의 방향성 정보를 연산하는 기능을 한다. 에지의 방향성 정보는 도 6에 도시된 5×5 마스크의 값을 이용하여 추출하며, 수직 방향성 정보 연산부(520)는 에지의 수직 방향성 정보를 연산하고, 수평 방향성 정보 연산부(530)는 에지의 수평 방향성 정보를 연산한다. 수평 및 수직 방향성 정보는 수치화된 정수 값이다.
본 발명의 바람직한 실시예에 따르면, 에지의 수직 방향성 정보는 5×5 마스크에서 수직으로 배열된 화소값들의 차를 이용하여 연산되며, 에지의 수평 방향성 정보는 5×5 마스크에서 수평으로 배열된 화소값들의 차를 이용하여 연산된다.
수직 방향성 정보 및 수평 방향성 정보를 연산하는 보다 상세한 방법은 별도 의 도면을 통해 설명하기로 한다.
방향성 정보 조건 판단부(502)는 방향성 정보 연산부(500)에서 연산한 방향성 정보가 미리 설정된 조건 중 어떠한 조건에 해당되는지 여부를 판단하는 기능을 한다.
여기서, 미리 설정된 조건 중 제1 조건은 수직 방향성 정보가 미리 설정된 제1 문턱값을 초과하고 수평 방향성 정보가 미리 설정된 제2 문턱값을 초과하는 경우이다.
방향성 정보 조건 판단부(502)는 방향성 정보 연산부(500)에서 추출한 수직 방향성 정보 및 수평 방향성 정보가 제1 조건에 해당될 경우, 제1 조건 파라미터 연산부(504)가 컬러 보간 파라미터를 연산하도록 제어한다.
미리 설정된 조건 중 제2 조건은 수직 방향성 정보의 값이 수평 방향성 정보의 값보다 큰 경우이다.
방향성 정보 조건 판단부(502)는 방향성 정보 연산부(500)에서 추출한 수직 방향성 정보 및 수평 방향성 정보가 제2 조건에 해당될 경우, 제2 조건 파라미터 연산부(506)가 컬러 보간 파라미터를 연산하도록 제어한다.
단, 방향성 정보 조건 판단부(502)는 방향성 정보 추출부의 출력이 제1 조건 및 제2 조건 모두를 만족하는 경우에는 제1 조건 파라미터 연산부(504)에 의해 컬러 보간 파라미터를 연산하도록 한다.
미리 설정된 조건 중 제3 조건은 수직 방향성 정보 및 수평 방향성 정보가 제1 조건 및 제2 조건 어디에도 해당되지 않는 경우이다. 이 경우, 방향성 정보 조 건 판단부(502)는 제3 조건 파라미터 연산부(508)가 컬러 보간 파라미터를 연산하도록 제어한다.
제1 조건 파라미터 연산부(504), 제2 조건 파라미터 연산부(506) 및 제3 조건 파라미터 연산부(508)는 미리 설정된 연산식에 따라 컬러 보간 파라미터를 연산한다.
제1 조건 파라미터 연산부(504), 제2 조건 파라미터 연산부(506) 및 제3 조건 파라미터 연산부(508)는 RG 라인에서 R3가 중앙 화소인 경우(GE 라인에서 B가 중앙 화소인 경우) 및 GB 라인에서 G5가 중앙 화소인 경우(RG 라인에서 G가 중앙 화소인 경우)를 구분하여 컬러 보간 파라미터를 연산한다.
제1 조건 파라미터 연산부(504), 제2 조건 파라미터 연산부(506) 및 제3 조건 파라미터 연산부(508)는 RG 라인에서 R3가 중앙 화소인 경우(GB 라인에서 B가 중앙 화소인 경우), Gout, Gwn, Gws, Ges, Gen 파라미터를 각기 다른 방식으로 연산하며, GB 라인에서 G5가 중앙 화소인 경우(RG 라인에서 G가 중앙 화소인 경우), Gn, Gw, Gs, Ge 파라미터를 각기 다른 방식으로 연산한다.
상술한 컬러 보간 파라미터들을 각기 다른 조건에 따라 연산하는 연산식은 후에 상세히 설명하기로 한다.
도 7은 본 발명의 바람직한 일 실시예에 따른 에지 방향성 정보를 이용한 컬러 보간 방법의 전체적인 흐름을 도시한 순서도이다.
에지 방향성 정보를 이용하여 컬러 보간을 수행하기 위해 우선 에지의 수직 방향성 정보를 연산한다(단계 700).
수직 방향성 정보를 연산하기 위해, delta_V1 및 delta_V2 두개의 파라미터를 연산하며, delta_V1 및 delta_V2는 다음의 수학식 13에 의해 연산된다.
상기 수학식 13에서 확인되듯이, delta_V1은 중앙 화소의 위 및 아래에 배열된 화소 값을 이용하여 계산되며, delta_V2는 중앙 열에 인접한 두 열에 존재하는 화소들의 값을 이용하여 계산된다.
상기 수학식 13을 통해 계산된 delta_V1 및 delta_V2를 이용하여 수직 방향성 정보인 V_comp는 다음의 수학식 14를 통해 연산된다.
본 발명이 수직 방향성 정보 및 delta_V1 및 delta_V2를 연산함에 있어 위 수학식에 한정되는 것은 아니며, 위 수학식에 사용되는 파라미터를 이용하여 다양한 방식으로 연산될 수 있다는 점은 당업자에게 있어 자명할 것이다. 예를 들어, delta_V1 및 delta_V2를 연산함에 있어, 2가 아닌 다른 정수에 의해 나눠질 수도 있으며, 2로 나누지 않은 값이 사용될 수도 있을 것이다.
수직 방향성 정보가 연산되면, 수평 방향성 정보를 연산한다(단계 702).
수평 방향성 정보를 연산하기 위해, delta_H1 및 delta_H2 두개의 파라미터를 연산하며, delta_H1 및 delta_H2는 다음의 수학식 15에 의해 연산된다.
상기 수학식 15로부터 확인되듯이, delta_H1은 중앙 화소의 양 옆으로 배열된 화소값을 이용하여 연산되며, delta_H2는 중앙 행의 위 아래로 존재하는 행에 존재하는 화소 값을 이용하여 연산된다.
상기 수학식 15를 통해 연산된 delta_H1 및 delta_H2를 이용하여 수평 방향성 정보인 H_comp는 다음의 수학식 16 통해 연산된다.
수직 방향성 정보 및 수평 방향성 정보가 연산되면, 수평 방향성 정보가 제1 문턱값(α1)을 초과하고 수직 방향성 정보가 제2 문턱값(α2)을 초과하는지 여부인 제1 조건이 판단된다(704).
수직 방향성 정보 및 수평 방향성 정보가 제1 조건에 해당되고, RG 라인에서 R3가 중앙 화소인 경우, 다음의 수학식 17에 의해 Gwn, Gws, Ges, Gen 및 Gout을 연산한다. 상술한 파라미터 외에 상술한 파라미터 값을 참조하여 기존의 파라미터 계산식과 동일한 방식으로 연산된다.
GB 라인에서 B가 중앙 화소인 경우에는 R, B의 위치가 서로 바뀌므로 이를 감안하여 동일한 방법이 적용될 수 있다.
수직 방향성 정보 및 수평 방향성 정보가 제1 조건에 해당되고, GB 라인에서 G5가 중앙 화소인 경우, 다음의 수학식 18에 의해 Gn, Gw, Gs, Ge를 연산한다.
RG 라인에서 G가 중앙 화소 값인 경우에도 수학식 18과 동일한 연산 방법이 적용될 수 있다.
수직 방향성 정보 및 수평 방향성 정보가 제1 조건에 해당되지 않을 경우, 수직 방향성 정보가 수평 방향성 정보보다 큰 제2 조건에 해당되는지 여부가 판단된다(단계 708).
제2 조건에 해당되고, RG 라인에서 R3가 중앙 화소인 경우, 다음의 수학식 19에 의해 Gwn, Gws, Ges, Gen 및 Gout을 연산한다
GB 라인에서 B가 중앙 화소인 경우에는 R, B의 위치가 서로 바뀌므로 이를 감안하여 동일한 방법이 적용될 수 있다.
수직 방향성 정보 및 수평 방향성 정보가 제2 조건에 해당되고, GB 라인에서 G5가 중앙 화소인 경우, 다음의 수학식 20에 의해 Gn, Gw, Gs, Ge를 연산한다.
RG 라인에서 G가 중앙 화소 값인 경우에도 수학식 20과 동일한 연산 방법이 적용될 수 있다.
수직 방향성 정보 및 수평 방향성 정보가 제1 조건 및 제2 조건 어디에도 해당되지 않고, RG 라인에서 R3가 중앙 화소인 경우, 다음의 수학식 21에 의해 Gwn, Gws, Ges, Gen 및 Gout을 연산한다.
GB 라인에서 B가 중앙 화소인 경우에는 R, B의 위치가 서로 바뀌므로 이를 감안하여 동일한 방법이 적용될 수 있다.
수직 방향성 정보 및 수평 방향성 정보가 제1 조건 및 제2 조건 어디에도 해당되지 않고, GB 라인에서 G5가 중앙 화소인 경우, 다음의 수학식 22에 의해 Gn, Gw, Gs, Ge를 연산한다.
RG 라인에서 G가 중앙 화소 값인 경우에도 수학식 22와 동일한 연산 방법이 적용될 수 있다.
도 8은 본 발명에 의한 컬러 보간 방법이 적용될 경우의 해상도 차트 영상을 도시한 도면이다.
기존의 컬러 보간 방법이 적용된 도 2의 경우 700 이상의 세밀한 에지 부근에서부터 잘못된 컬러가 발생할 뿐만 아니라 에지 주변에서 지퍼 모양의 아티팩트(artifact)가 발생하였다. 반면 본 발명의 컬러 보간 방법으로 복원하였을 경우에는 세밀한 에지 부근에서도 잘못된 컬러의 발생 없이 본래의 컬러로 대부분 복원 될 뿐만 아니라 지퍼 현상이 나타나지 않음을 볼 수 있다. 그리고, 꽃 영상과 같은 컬러 영상에 적용하였을 경우에도 컬러가 변질되는 현상 없이 기존의 컬러 보간 방법과 다름없이 컬러가 복원됨을 확인할 수 있다