KR20070070692A

KR20070070692A - 에지 향상과 노이즈 제거를 위한 컬러 보간 장치

Info

Publication number: KR20070070692A
Application number: KR1020050133510A
Authority: KR
Inventors: 이호영
Original assignee: 엠텍비젼 주식회사
Priority date: 2005-12-29
Filing date: 2005-12-29
Publication date: 2007-07-04
Also published as: KR100776385B1

Abstract

본 발명은 에지 향상과 노이즈 제거를 위한 컬러 보간 장치에 관한 것으로, 입력되는 베이어 패턴 이미지에 대하여 보간을 수행하고, 이미지의 에지 성분 데이터를 검출하여, 상기 에지 성분 데이터와, 에지 파라미터를 이용하여 에지 향상계수를 생성하고, 입력되는 적녹청(RGB) 데이터에 대하여 에지 향상을 수행하고 지퍼 노이즈를 제거한다.

컬러 보간, 노이즈, 지퍼, 에지, 향상, RGB

Description

에지 향상과 노이즈 제거를 위한 컬러 보간 장치{Color interpolation apparatus for edge enhancement and noise removal}

도 1a는 종래의 컬러 보간 처리 과정을 나타내는 구성도,

도 1b는 종래의 노이즈 제거 및 에지 향상 처리 과정을 나타내는 구성도,

도 2는 본 발명에 따른 에지 향상과 노이즈 제거를 위한 컬러 보간 장치의 일실시예 구조도,

도 3은 도 2의 컬러 보간부가 수행하는 보간 방식을 설명하기 위한 개략도,

도 4는 도 2의 컬러 보간부의 제1실시예 상세 구조도,

도 5a는 도 4의 보간부가 수행하는 컬러 보간을 설명하기 위한 베이어 패턴 이미지의 개략도,

도 6a 내지 도 6c는 도 2의 에지 향상계수 생성부에 입력되는 에지 파라미터를 설명하기 위한 일예시도,

도 7은 도 2의 지퍼 노이즈 제거부의 동작을 설명하기 위한 개략도,

도 8은 도 2의 지퍼 노이즈 제거부의 일실시예 상세 구조도,

도 9는 도 8의 후처리부의 일실시예 상세 구조도,

도 10은 도 8의 노이즈 제거부의 일실시예 상세 구조도,

도 11a 및 도 11b는 각각 도 10의 제1필터 및 제2필터의 일예시도,

도 12는 도 11의 제1필터 및 제2필터에 R_n 데이터가 입력되는 것을 나타낸 일예시도,

도 13은 도 2의 컬러 보간부가 수행하는 보간을 설명하기 위한 개략도,

도 14는 도 2의 컬러 보간부의 제2실시예 상세 구조도.

<도면의 주요 부분에 대한 부호의 설명>

210 : 컬러 보간부 220 : 에지 향상계수 생성부

230 : 지퍼 노이즈 제거부

본 발명은 에지 향상과 노이즈 제거를 위한 컬러 보간 장치에 관한 것으로서, 보다 상세하게는 영상 처리 시스템에 입력되는 베이어 패턴 이미지가 7×7인 경우 사용하기 위한 에지 향상과 노이즈 제거를 위한 컬러 보간 장치에 관한 것이다.

최근, 멀티미디어 기기의 발전에 따라 복잡한 영상에 대한 영상 처리가 이루어지고 있다. 이러한 영상 처리 과정에서 노이즈 제거 및 에지 향상 과정의 수행 필수적이라 할 수 있다.

도 1a는 종래의 컬러 보간 처리 과정을 나타내는 구성도이며, 도 1b는 종래의 노이즈 제거 및 에지 향상 처리 과정을 나타내는 구성도이다.

도면에 도시된 바와 같이, 종래의 컬러 보간 처리 과정은 컬러 보간부(110)에서 보간이 수행된 적녹청(RGB) 데이터가 카메라 신호 처리(camera signal processing; 이하, 간단히 ‘CSP’라 함) 중간처리부(120)를 거쳐 RGB 변환부(130)에서 휘도(luminance; Y) 데이터와, 색차(chrominance; C) 데이터로 변환되게 된다. 이와 같이 변환된 Y 데이터 및 C 데이터는 영상 처리 시스템의 뒷단에서 노이즈 제거부(140)를 거쳐 에지 향상부(150)에서 에지 향상이 수행된다.

그러나, 이와 같은 종래의 기술은, 노이즈 제거 및 에지 향상을 위한 처리와 컬러 보간 처리가 따로 수행되므로, 노이즈 제거와 에지 향상을 위하여 라인 메모리가 필요하게 되는 문제점이 있다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 컬러 보간시 에지 향상을 위한 에지 향상계수를 제공함으로써 라인 메모리를 줄임과 동시에, Y 데이터가 아닌 RGB 데이터에 대하여 노이즈 제거를 수행함으로써 향상된 화질을 얻기 위한, 에지 향상과 노이즈 제거를 위한 컬러 보간 장치를 제공하는데 그 목적이 있다.

상기한 바와 같은 목적을 달성하기 위해, 본 발명의 바람직한 실시예에 따르면, 입력되는 베이어 패턴 이미지에 대하여 보간을 수행하고, 이미지의 에지 성분 데이터를 검출하기 위한 컬러 보간부; 상기 에지 성분 데이터와, 에지 파라미터를 이용하여 에지 향상계수를 생성하기 위한 생성부; 및 입력되는 적녹청(RGB) 데이터에 대하여 에지 향상을 수행하고 지퍼 노이즈를 제거하기 위한 제거부를 포함하는 컬러 보간 장치가 제공된다.

상기 컬러 보간부는, 입력되는 7×7 구조의 상기 베이어 패턴 이미지에 대하여 쌍선형 보간을 수행하여 5×5 데이터를 출력하기 위한 제1보간부; 상기 제1보간부의 출력 데이터에 대하여 데이터의 중간 화소값에 따라 보간을 수행하여 3×3 구조의 데이터를 출력하기 위한 제2보간부; 상기 제2보간부의 출력에 대하여, 에지 검출을 수행하여 3×3 구조의 상기 에지 성분 데이터를 출력하기 위한 제1연산부; 상기 제1보간부의 출력에 대하여, 에지 검출을 수행하여 5×5 구조의 상기 에지 성분 데이터를 출력하기 위한 제2연산부; 및 상기 제2연산부의 출력에 대하여, 가우시안 필터링(Gaussian filtering)을 수행하여 3×3 구조의 상기 에지 성분 데이터를 출력하기 위한 제1필터부를 포함하여 구성될 수 있고, 상기 컬러 보간부는, 입력되는 7×7 구조의 상기 베이어 패턴 이미지에 대하여 쌍선형 보간을 수행하여 5×5 데이터를 출력하기 위한 제3보간부; 상기 제3보간부의 출력 데이터에 대하여 데이터의 중간 화소값에 따라 보간을 수행하여 3×3 구조의 데이터를 출력하기 위한 제4보간부; 상기 제3보간부의 출력에 대하여, 에지 검출을 수행하여 5×5 구조의 데이터를 출력하기 위한 제3연산부; 및 상기 제3연산부의 출력에 대하여, 라플 라시안 필터링(Laplacian filtering)을 수행하여 3×3 구조의 상기 에지 성분 데이터를 출력하기 위한 제2필터부를 포함하여 구성될 수도 있다.

이때, 상기 에지 파라미터는, 에지 코어링, 에지 이득, 에지 양의 제한 및 에지 음의 제한 중 적어도 하나 이상을 포함한다.

여기서, 상기 에지 향상계수는, 상기 제1연산부의 출력, 상기 제1필터부의 출력 및 상기 에지 파라미터에 의해 결정될 수도 있고, 상기 제2필터부의 출력 및 상기 에지 파라미터에 의해 결정될 수도 있다.

상기 제거부는, 입력되는 3×3 구조의 RGB 데이터 각각에 대하여 상기 에지 향상계수를 이용하여 에지 향상을 수행하기 위한 후처리부; 및 지퍼 노이즈를 제거하기 위한 노이즈 제거부를 포함하여 구성된다.

상기 후처리부는, 상기 에지 향상계수의 부호를 판별하여 생성하기 위한 부호 생성부; 입력되는 RGB 데이터에 상기 에지 향상계수를 각각 더한 값의 영역에 따라 후처리 상수를 결정하는 후처리 상수 생성부; 상기 후처리 상수 생성부가 생성한 후처리 상수 중 RGB 성분의 최소값을 생성하기 위한 최소값 생성부; 상기 부호 생성부 및 상기 최소값 생성부로부터 수신한 데이터를 이용하여 새로운 에지 향상계수를 생성하기 위한 생성부; 및 상기 새로운 에지 향상계수를 이용하여 입력되는 RGB 데이터에 대하여 에지가 향상된 데이터를 출력하기 위한 출력부를 포함할 수 있다.

또한, 상기 노이즈 제거부는, 상기 영상 데이터의 수평 방향의 에지를 판단하기 위한 제1필터; 상기 영상 데이터의 수직 방향의 에지를 판단하기 위한 제2필 터; 상기 제1필터의 출력의 각 원소들의 합에 대한 절대값(abs_S1)을 검출하기 위한 제1검출부; 상기 제2필터의 출력의 각 원소들의 합에 대한 절대값(abs_S2)을 검출하기 위한 제2검출부; 상기 제1 및 제2검출부의 출력의 합(abs_S)을 구하기 위한 제2연산부; 및 상기 제2연산부의 출력에 따라 출력 데이터를 결정하기 위한 제어부를 포함하여 구성된다.

이때, 상기 제어부는, abs_S가 소정의 임계값1보다 작은 경우, 출력 데이터를 상기 영상 데이터의 중간 원소의 값으로 결정하고, abs_S가 상기 임계값1보다 크고, abs_S1이 abs_S2에 소정의 임계값2를 더한 것보다 큰 경우에는, 출력 데이터를 중심에 가중치를 부가한 중간 행의 수평 방향의 평균으로 결정하고, abs_S가 상기 임계값1보다 크고, abs_S2가 abs_S1에 상기 임계값2를 더한 것보다 큰 경우에는, 출력 데이터를 중심에 가중치를 부가한 중간 열의 수직 방향의 평균으로 결정하며, abs_S가 상기 임계값1보다 크고, abs_S1이 abs_S2에 상기 임계값2를 더한 것보다 작거나 또는 abs_S2가 abs_S1에 상기 임계값2를 더한 것보다 작은 것 중 어느 하나인 경우에는, 출력 데이터를 중심에 가중치를 부가한 중간 행/렬의 수평/수직 방향의 평균으로 결정하는 것이 바람직하다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 2는 본 발명에 따른 에지 향상과 노이즈 제거를 위한 컬러 보간 장치의 일실시예 구조도이다.

도면에 도시된 바와 같이, 본 발명의 컬러 보간 장치는, 컬러 보간부(210), 에지 향상계수 생성부(220) 및 지퍼 노이즈 제거부(230)를 포함하여 구성된다.

컬러 보간부(210)는 입력되는 베이어 패턴 이미지(bayer pattern image)에 대하여 컬러 보간을 수행하는 기능을 담당한다. 이를 도면을 참조로 하여 상세하게 설명하기로 하자.

도 3은 도 2의 컬러 보간부가 수행하는 보간 방식을 설명하기 위한 개략도이다. 도면에 도시된 바와 같이, 본 발명의 컬러 보간부(210)는 7×7 베이어 패턴 이미지(310)가 입력되면, 이에 대하여 쌍선형 보간(bilinear interpolation)을 수행하여 5×5로 구성된 출력 이미지(320)를 얻는다. 이에 대하여 보간(이에 대해서는 추후 설명하기로 한다)을 수행하면 3×3 데이터(330)를 얻게 된다. 이 데이터가 3×3 구조도 된 하나의 출력 E_R, E_G, E_B(340)가 되며, 이에 대하여 다시 에지 연산을 수행한 것이 3×3 구조인 하나의 출력 E_Y(350)가 된다.

다시 5×5 출력 데이터(320)에 대하여, 에지 연산(추후 설명하기로 한다)을 수행하면 5×5 Y_all 데이터(360)를 얻을 수 있고, 이에 대하여 가우시안 필터링(Gaussian filtering)을 수행하면 3×3 구조의 출력 G_Y(370)를 얻을 수 있다. 컬러 보간부(210)는 7×7 베이어 패턴 이미지를 입력으로 하여, 3×3 구조의 데이터 3개(340, 350, 370)를 그 출력으로 한다. 이제 컬러 보간부(210)의 구성을 설명하 기로 하자.

도 4는 도 2의 컬러 보간부의 제1실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 컬러 보간부(210)는, 쌍선형 보간부(410), 보간부(420), 에지 연산부1(430), 에지 연산부2(440) 및 가우시안 필터부(450)를 포함하여 구성된다.

쌍선형 보간부(410)는 입력되는 7×7 베이어 패턴 이미지에 대하여 쌍선형 보간을 수행하여 5×5 데이터를 출력하는 기능을 담당한다. 이 쌍선형 보간에 대해서는 이미 공지된 바와 같으므로, 그 상세한 설명은 생략하는 것으로 하겠다.

보간부(420)는 입력되는 5×5 데이터에 대하여 컬러 보간을 수행하는 기능을 담당한다. 이의 동작을 도면을 참조로 설명하기로 하자.

도 5a는 도 4의 보간부가 수행하는 컬러 보간을 설명하기 위한 베이어 패턴 이미지의 개략도로서, RG 라인에서 R 성분인 R3가 중앙 화소인 경우를 나타낸 것이다. 다만, 도 5a를 참조로 R 성분이 중앙 화소인 경우에 대해서 설명하겠으나, 베이어 패턴 이미지에서 R 성분과 B 성분의 위치가 서로 바뀌는 것을 감안하면, GB 라인에서 중앙 화소가 B 성분인 경우에도 동일하다 할 것이다.

보간부(420)가 수행하는 보간을 위하여 도 5a에서 Rn, Rw, Rs, Re와 Kr1, Kr2, Kr3, Kr4를 각각 다음의 수학식 1 및 수학식 2로 정의하기로 하자.

그러면, 보간부(420)의 G 성분의 출력 E_G는 다음 수학식 3과 같다.

보간부(420)의 보간 방법에 대해서는 종래 알려진 바와 같으므로(예를 들어, Soo-Chang Pei, Fellow, IEEE, Io-Kuong Tam, “Effective Color Interpolation in CCD Color Filter Arrays Using Signal Correlation”, IEEE transaction on circuits and systems for video technology, Vol. 13(6), June 2003) 그 상세한 설명은 생략하는 것으로 하자.

한편, 보간된 B 및 R 성분의 출력(E_B, E_R)을 구하기 위하여, Gwn, Gws, Ges, Gen과 Kb1, Kb2, Kb3, Kb4를 각각 다음의 수학식 4 과 5과 같이 정의하자.

이에 의해 보간된 B 및 R 성분의 출력(E_B, E_R)이 다음 수학식 6 및 수학식 7과 같이 결정된다.

이와 같은 보간을 5×5 행렬에 적용하여 3×3 출력 데이터 E_R, E_G, E_B를 출력할 수 있다.

한편, 도 5b는 도 4의 보간부가 수행하는 컬러 보간을 설명하기 위한 베이어 패턴 이미지의 개략도로서, GB 라인에서 G 성분인 G5가 중앙 화소인 경우를 나타낸 것이다. 다만, 도 5b를 참조로 GB 라인에서 G 성분이 중앙 화소인 경우에 대해서 설명하겠으나, 베이어 패턴 이미지에서 R 성분과 B 성분의 위치가 서로 바뀌는 것을 감안하면, RB 라인에서 중앙 화소가 G 성분인 경우에도 동일하다 할 것이다.

도 5b의 베이어 패턴 이미지에서 컬러 보간을 수행하기 위하여 Gn, Gw, Gs, Ge와 Kr1, Kr2, Kb1, Kb2를 각각 다음의 수학식 8 및 수학식 9로 정의하기로 하자.

이에 따라, 도 5b의 경우 보간부(420)의 출력(E_G, E_R 및 E_B)는 다음의 수학식 10 내지 수학식 12와 같다.

이와 같이, 중앙 화소가 G 성분인 경우와 R 또는 B 성분인 경우 각각 출력이 결정된다. 이와 같은 보간을 5×5 행렬에 적용하여 3×3 출력 데이터 E_R, E_G, E_B를 출력할 수 있다.

도 4의 에지 연산부1(430)은 보간부(420)의 출력인 E_G, E_R 및 E_B에 대하여 에지 연산을 수행하는 기능을 담당한다. 이 에지 연산을 수식으로 나타내면 다음과 같다.

이때, E_Y는 에지 연산부1(430)의 출력으로 정의하며, 3×3 데이터를 구성하는 각 원소에 대하여 위 연산을 수행하여 3×3 E_Y 데이터를 얻을 수 있다.

한편, 쌍선형 보간부(410)로부터 5×5 데이터를 입력받은 에지 연산부2(440)는 5×5 데이터에 대하여 에지 검출을 수행하는 에지 연산을 하는 기능을 담당한다. 이 에지 연산은 수학식 14와 같다.

Y_all은 5×5 데이터로서, 입력되는 5×5 데이터에 대하여 각 구성원소를 수학식 14와 같이 연산하여 구한 것이다. 이에 대하여 가우시안 필터부(450)를 통과하면 3×3 구조의 데이터인 G_Y가 된다.

이와 같이, 도 2의 컬러 보간부(210)의 출력은 3×3 구조의 E_R, E_G, E_B와, 역시 3×3 구조의 E_Y 및 G_Y이다.

다시, 도 2의 에지 향상계수 생성부(220)는 컬러 보간부(210)의 출력과, 에지 파라미터(edge parameter)를 입력받아, RGB 데이터를 바이패스하고, 에지 향상계수 Srgb를 생성하는 기능을 담당한다. 이때, 에지 파라미터는 에지 코어링(edge coring), 에지 이득(edge gain) 및 에지 제한(edge limit) 등을 포함한다. 이를 도 6을 참조로 설명하기로 하자.

도 6a 내지 도 6c는 도 2의 에지 향상계수 생성부에 입력되는 에지 파라미터를 설명하기 위한 일예시도이다.

에지 코어링은 노이즈성 에지 성분을 제거할 뿐 아니라, 작은 에지 성분들이 화면에 노이즈와 같은 형태로 나타나는 것을 막기 위한 것으로, 도 6a와 같이 입력되는 에지값에서 일정 값을 차감하고 일정 값 이하의 에지 성분은 0으로 하는 것이다.

에지 코어링을 거친 에지값에 대하여는 도 6b와 같이 에지 이득이 수행되는데, 입력되는 에지 성분에 대한 출력되는 에지 성분 결과치의 기울기를 변화시켜 줌으로써 큰 에지값과 작은 에지값에 대한 차이를 생성한다. 따라서 화면상에서 뚜렷한 에지 성분은 더욱 뚜렷하게 하고 작은 에지 성분은 거의 변화 없이 유지시킴으로써 보다 선명하고 개선된 화질을 이루도록 하는 것이다.

에지 제한은, 에지 이득 과정에서 추출된 에지 성분의 절대값이 아주 큰 경우 화면에 특징적으로 나타나는 것을 피하기 위한 것으로, 최대 에지값을 제한하기 위한 것이다. 양의 제한(positive limit)과 음의 제한(negative limit)이 포함된다.

에지 향상계수는, 이러한 에지 파라미터와 컬러 보간부(210)로부터 에지 성분을 검출한 출력인 E_Y 및 G_Y에 의해 결정된다. 다음의 수학식과 같다.

여기서 Srgb는 에지 향상계수이고, ‘edge_component’는 E_Y에서 G_Y를 차감한 값을 말하는 것이다. 에지 향상계수는 ‘edge_enhancement’라는 에지 콤포넌트와 에지 파라미터의 함수로써, 시스템에 따라 결정되는 것으로, 그 값이 한정되는 것이 아니다. 이때, E_Y 및 G_Y가 3×3 구조의 데이터이므로, 에지 향상계수 Srgb 역시 3×3 구조의 데이터이다.

한편, 바이패스되는 E_R, E_G, E_B에 대해서 에지 향상계수 생성부(220)의 출력을 각각 R_m, G_m 및 B_m이라 하면, 에지 향상계수 생성부(220)의 출력은 R_m, G_m 및 B_m와 Srgb이다.

이러한 출력 데이터를 입력받은 지퍼 노이즈 제거부(230)는 이 데이터의 지퍼 노이즈를 제거하는 기능을 담당한다. 이를 도면을 참조로 설명하기로 하자.

도 7은 도 2의 지퍼 노이즈 제거부의 동작을 설명하기 위한 개략도이다.

도면에 도시된 바와 같이, 3×3 구조의 R_m, G_m 및 B_m(701, 702, 703)과 3×3 구조의 에지 향상계수 Srgb(704)가 입력되면, 휘도(Y) 데이터에 대하여 에지 향상을 수행하는 것과 동일한 결과가 도출되도록 후처리(post-processing)을 수행하여, 잘못된 색(false color)의 발생을 방지하기 위한 것이다. 이에 대해서는 추후 더욱 자세히 설명하기로 하자. 이와 같은 후처리를 수행한 결과, 각각의 R_m, G_m 및 B_m에 대하여 R_n, G_n 및 B_n(705, 707, 709)가 생성되고, 이에 대하여 지퍼 노이즈 제거를 수행하여 1픽셀의 Rout(706), Gout(708) 및 Bout(710)를 얻을 수 있다.

도 8은 도 2의 지퍼 노이즈 제거부의 일실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 지퍼 노이즈 제거부(230)는, 후처리부(810) 및 노이즈 제거부(820)를 포함하여 구성된다.

후처리부(810)는 입력되는 RGB 데이터에 대하여, 에지 향상을 수행하여, 잘못된 컬러의 발생을 방지하는 기능을 담당한다. 도 9는 도 8의 후처리부의 일실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 후처리부(810)는, 부호 생성부(811), Sr 생성부(812), Sg 생성부(813), Sb 생성부(814), 최소값 생성부(815), 새로운 에지 향상계수 생성부(816) 및 출력부(817)를 포함하여 구성된다.

부호 생성부(811)는 입력되는 에지 향상계수 Srgb의 부호를 판별하여 이를 생성하는 기능을 담당한다. 이를 수학식으로 나타내면 다음과 같다.

여기서, PN은 에지 향상계수의 부호이고, i는 3×3 구조 데이터의 각 원소에 대하여 부호를 생성하는 것을 나타낸 것이다. 따라서, i는 1부터 9까지의 자연수이다. 이하, 같다.

Sr 생성부(812)는 입력되는 R_m 데이터에 대하여, 에지 향상계수 Srgb를 더한 값을 R1이라 하였을 때(즉,

), 이 R1이 소정의 상수(예를 들어 255)보다 큰 경우에는 Sr을 수학식 17과 같이 결정하고, R1이 0보다 작은 경우에는 수학식 18과 같이 결정하고, 이 둘을 만족하지 않는 경우에는 수학식 19와 같이 결정한다. 이때, Sr을 R 성분에 대한 후처리 상수라 하자. Sg 및 Sb도 역 시 같다.

이때, ‘abs’는 절대값을 나타낸 것이며, 임계값 ‘255’는 시스템에 따라 결정되는 것으로, 이에 한정되는 것이 아니다.

이와 마찬가지로, Sg 생성부(813) 및 Sb 생성부(814)는 각각 G_m 및 B_m 데이터에 대하여, 에지 향상계수 Srgb를 더한 값을 G1 및 B1이라 하였을 때(즉,

및

), 이 G1과 B1이 소정의 상수(예를 들어 255)보다 큰 경우에는 Sg 및 Sb을 수학식 20 및 수학식 23과 같이 결정하고, G1 및 B1이 각각 0보다 작은 경우에는 수학식 21 및 수학식 24와 같이 결정하고, 이 둘을 만족하지 않는 경우에는 각각 수학식 22 및 수학식 25와 같이 결정한다.

이후, 최소값 생성부(815)는 위 Sr, Sg, Sb의 최소값을 생성하고, 새로운 에지 향상계수 생성부(816)는 이 최소값과 부호 생성부(811)에서 수신한 부호 PN을 이용하여 새로운 에지 향상계수를 생성하는 기능을 담당한다. 이를 식으로 나타내면 다음과 같다.

New_Srgb는 새로운 에지 향상계수이다. 이러한 새로운 에지 향상계수를 이용하여, 출력부(817)는 에지가 향상된 출력 데이터를 출력하는 기능을 담당한다. 출력부(817)가 출력하는 RGB 성분인 R_n, G_n, B_n은 각각 다음의 수학식 27 내지 29와 같다.

이러한 데이터를 입력으로 하는 도 8의 노이즈 제거부(820)는, 영상에서 지퍼 노이즈를 제거하는 기능을 담당한다. 이를 도면을 참조로 설명하기로 하자.

도 10은 도 8의 노이즈 제거부의 일실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 노이즈 제거부(820)는, 제1 및 제2필터(821, 822), 제1 및 제2절대값 검출부(823, 824), 덧셈부(825) 및 제어부(826)를 포함하여 구성된다.

제1 및 제2필터(821, 822)는 각각 입력되는 RGB 성분의 수평 및 수직 방향의 에지 성분이 얼마나 되는지를 판별하는 기능을 담당하는 것으로, 3×3 필터인 것이 바람직하다. 이를 위하여 입력되는 RGB 성분 데이터 역시 3×3인 것이 바람직하다. 도 11a 및 도 11b는 각각 도 10의 제1필터 및 제2필터의 일예시도이며, 도 12는 도 11의 제1필터 및 제2필터에 R_n 데이터가 입력되는 것을 나타낸 일예시도이다. 다만, 도 12에서는 R_n 데이터가 제1 및 제2필터(821, 822)에 입력되는 것을 한정하여 도시하였으나, G_n 및 B_n의 경우도 동일하다 할 것이다.

도 11a 및 도 11b의 각각 제1 및 제2필터는, 각각 입력되는 데이터의 수평 및 수직 방향의 에지를 판단하기 위한 것으로써, 도 12와 같이 R_n 데이터가 입력되면 각 성분에 대하여 같은 위치에서 원소들을 곱하게 된다. 도 12에서 ‘.×’는 같은 위치에서 원소들의 곱을 의미하는 것이다.

도 10의 제1절대값 검출부(823)는 제1필터(821)의 출력에서 각 원소들의 합을 구하여 이의 절대값을 검출하는 기능을 담당한다. 제1절대값 검출부(823)의 출력은 다음의 수학식 30와 같다.

여기서 ‘abs’는 절대값을 나타낸다. 또한, 도 10의 제2절대값 검출부(824)는 제2필터(822)의 출력에서 각 원소들의 합을 구하여 이의 절대값을 검출하는 기능을 담당한다. 제2절대값 검출부(824)의 출력은 다음의 수학식 31과 같다.

덧셈부(825)는 제1 및 제2절대값 검출부(823, 824)의 출력의 합(abs_S)을 구하는 기능을 담당한다. 이를 수학식으로 나타내면 다음과 같다.

제어부(826)는 덧셈부(825)의 출력(abs_S)에 따라 필터링 된 Rout 데이터를 출력하는 기능을 담당한다. 즉, 제어부(826)는 abs_S가 소정의 임계값1보다 크면, 이를 에지로 판단하고, 수평 방향의 에지인지 수직 방향의 에지인지를 판단한다.

즉, abs_S1이 abs_S2에 소정의 임계값2를 더한 것보다 크면, 제어부(826)는 출력(Rout)을 중심에 가중치(weight)를 부가한 중간 행의 수평 방향의 평균으로 한다. 이 경우 출력은 다음의 수학식 33과 같다.

한편, abs_S2가 abs_S1에 소정의 임계값2를 더한 것보다 크면, 제어부(826)는 출력(Rout)을 중심에 가중치를 부가한 중간 열의 수직 방향의 평균으로 결정한다. 즉, 이 경우 출력은 다음의 수학식 34와 같다.

abs_S가 소정의 임계값1보다 크지만, 위 두 경우에 해당하지 않는 경우, 제어부(826)는 중심에 모두 가중치를 둔 중간 행/렬의 수평/수직 방향의 평균을 그 출력(R_out)으로 한다. 다음 수학식 35와 같다.

만약, abs_S가 소정의 임계값1보다 작은 경우에는 해당 영상에는 에지가 없는 것으로 판단하여, 제어부(826)는 그 출력(Rout)을 영상의 중간 원소의 값인 R5 로 할 수 있다.

여기서, 임계값1은 조정 가능하며, 임계값2는 50으로 정할 수 있지만, 이에 한정되는 것은 아니다.

이와 같은 과정을 G_n 및 B_n에 대하여 반복하여 수행하여, Gout 및 Bout을 결정할 수 있다.

한편, 도 2의 컬러 보간부(210)는 다음과 같은 구조로 컬러 보간을 수행할 수도 있다. 도 13은 도 2의 컬러 보간부가 수행하는 보간을 설명하기 위한 개략도이다.

도면에 도시된 바와 같이, 본 발명의 컬러 보간부(210)는 7×7 베이어 패턴 이미지(1310)가 입력되면, 이에 대하여 쌍선형 보간을 수행하여 5×5로 구성된 출력 이미지(1320)를 얻는다. 이에 대하여 위에서 설명한 바와 같이 보간을 수행하면 3×3 데이터(1330)를 얻게 된다. 이 데이터가 3×3 구조의 E_R, E_G, E_B이다.

다시 5×5 출력 이미지(1320)에 대하여, 에지 연산(추후 설명하기로 한다)을 수행하면 5×5 Y_all 데이터(1340)를 얻을 수 있고, 이에 대하여 라플라시안 필터링(Laplacian filtering)을 수행하면 3×3 구조의 하나의 출력 S_Y(1350)를 얻을 수 있다. 컬러 보간부(210)는 7×7 베이어 패턴 이미지를 입력으로 하여, 3×3 구조의 데이터 2개(1330, 1350)를 그 출력으로 한다.

이제 컬러 보간부(210)의 구성을 설명하기로 하자.

도 14는 도 2의 컬러 보간부의 제2실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 컬러 보간부(210)는, 쌍선형 보간부(410), 보간부(420), 에지 연산부(440) 및 라플라시안 필터부(1410)를 포함하여 구성된다. 쌍선형 보간부(410), 보간부(420) 및 에지 연산부(440)에 대해서는 위에서 이미 설명한 바와 같으므로 그 상세한 설명은 생략하는 것으로 한다.

라플라시안 필터부(1410)는 입력되는 5×5 데이터에 대하여 라플라시안 필터링을 수행하는 기능을 담당한다.

도 14와 같은 구성의 컬러 보간부는, 도 4의 구성을 가지는 컬러 보간부에 비해 출력이 2개인 점이 다르다. 따라서, 에지 향상계수 Srgb의 결정시에 ‘edge_component’는 S_Y가 된다. 그 외의 구성에 대해서는 동일하다 할 것이므로, 상세한 설명은 생략하기로 한다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기한 바와 같은 본 발명은, 컬러 보간 과정에 에지 향상 및 노이즈 제거 기능을 추가함으로써 기존에 밝기 성분에 대해 수행하던 에지 향상 기능을 제거할 수 있으므로 2개의 라인 메모리를 줄임과 동시에. 밝기 성분 대신에 R,G,B 각각에 대해서 노이즈 제거를 수행할 수 있어 노이즈를 효과적으로 제거할 수 있으며, 따 라서 화질을 더욱 향상시킬 수 있도록 하는 효과가 있다.

Claims

입력되는 베이어 패턴 이미지에 대하여 보간을 수행하고, 이미지의 에지 성분 데이터를 검출하기 위한 컬러 보간부;

상기 에지 성분 데이터와, 에지 파라미터를 이용하여 에지 향상계수를 생성하기 위한 생성부; 및

입력되는 적녹청(RGB) 데이터에 대하여 에지 향상을 수행하고 지퍼 노이즈를 제거하기 위한 제거부를 포함하는 컬러 보간 장치.
제1항에 있어서, 상기 컬러 보간부는,

입력되는 7×7 구조의 상기 베이어 패턴 이미지에 대하여 쌍선형 보간을 수행하여 5×5 데이터를 출력하기 위한 제1보간부;

상기 제1보간부의 출력 데이터에 대하여 데이터의 중간 화소값에 따라 보간을 수행하여 3×3 구조의 데이터를 출력하기 위한 제2보간부;

상기 제2보간부의 출력에 대하여, 에지 검출을 수행하여 3×3 구조의 상기 에지 성분 데이터를 출력하기 위한 제1연산부;

상기 제1보간부의 출력에 대하여, 에지 검출을 수행하여 5×5 구조의 상기 에지 성분 데이터를 출력하기 위한 제2연산부; 및

상기 제2연산부의 출력에 대하여, 가우시안 필터링(Gaussian filtering)을 수행하여 3×3 구조의 상기 에지 성분 데이터를 출력하기 위한 제1필터부를 포함하는 컬러 보간 장치.
제1항에 있어서, 상기 컬러 보간부는,

입력되는 7×7 구조의 상기 베이어 패턴 이미지에 대하여 쌍선형 보간을 수행하여 5×5 데이터를 출력하기 위한 제3보간부;

상기 제3보간부의 출력 데이터에 대하여 데이터의 중간 화소값에 따라 보간을 수행하여 3×3 구조의 데이터를 출력하기 위한 제4보간부;

상기 제3보간부의 출력에 대하여, 에지 검출을 수행하여 5×5 구조의 데이터를 출력하기 위한 제3연산부; 및

상기 제3연산부의 출력에 대하여, 라플라시안 필터링(Laplacian filtering)을 수행하여 3×3 구조의 상기 에지 성분 데이터를 출력하기 위한 제2필터부를 포함하는 컬러 보간 장치.
제1항에 있어서, 상기 에지 파라미터는, 에지 코어링, 에지 이득, 에지 양의 제한 및 에지 음의 제한 중 적어도 하나 이상을 포함하는 컬러 보간 장치.
제2항 또는 제4항 중 어느 한 항에 있어서, 상기 에지 향상계수는, 상기 제1연산부의 출력, 상기 제1필터부의 출력 및 상기 에지 파라미터에 의해 결정되는 컬러 보간 장치.
제3항 또는 제4항 중 어느 한 항에 있어서, 상기 에지 향상계수는, 상기 제2필터부의 출력 및 상기 에지 파라미터에 의해 결정되는 컬러 보간 장치.
제1항에 있어서, 상기 제거부는,

입력되는 3×3 구조의 RGB 데이터 각각에 대하여 상기 에지 향상계수를 이용하여 에지 향상을 수행하기 위한 후처리부; 및

지퍼 노이즈를 제거하기 위한 노이즈 제거부를 포함하는 컬러 보간 장치.
제7항에 있어서, 상기 후처리부는,

상기 에지 향상계수의 부호를 판별하여 생성하기 위한 부호 생성부;

입력되는 RGB 데이터에 상기 에지 향상계수를 각각 더한 값의 영역에 따라 후처리 상수를 결정하는 후처리 상수 생성부;

상기 후처리 상수 생성부가 생성한 후처리 상수 중 RGB 성분의 최소값을 생 성하기 위한 최소값 생성부;

상기 부호 생성부 및 상기 최소값 생성부로부터 수신한 데이터를 이용하여 새로운 에지 향상계수를 생성하기 위한 생성부; 및

상기 새로운 에지 향상계수를 이용하여 입력되는 RGB 데이터에 대하여 에지가 향상된 데이터를 출력하기 위한 출력부를 포함하는 컬러 보간 장치.
제7항에 있어서, 상기 노이즈 제거부는,

상기 영상 데이터의 수평 방향의 에지를 판단하기 위한 제1필터;

상기 영상 데이터의 수직 방향의 에지를 판단하기 위한 제2필터;

상기 제1필터의 출력의 각 원소들의 합에 대한 절대값(abs_S1)을 검출하기 위한 제1검출부;

상기 제2필터의 출력의 각 원소들의 합에 대한 절대값(abs_S2)을 검출하기 위한 제2검출부;

상기 제1 및 제2검출부의 출력의 합(abs_S)을 구하기 위한 제2연산부; 및

상기 제2연산부의 출력에 따라 출력 데이터를 결정하기 위한 제어부를 포함하는 컬러 보간 장치.
제9항에 있어서, 상기 제1필터는, 다음과 같이 구성되는 컬러 보간 장치.
제9항에 있어서, 상기 제2필터는, 다음과 같이 구성되는 컬러 보간 장치.
제9항에 있어서, 상기 제어부는, abs_S가 소정의 임계값1보다 작은 경우, 출력 데이터를 상기 영상 데이터의 중간 원소의 값으로 결정하는 컬러 보간 장치.
제9항에 있어서, 상기 제어부는, abs_S가 상기 임계값1보다 크고, abs_S1이 abs_S2에 소정의 임계값2를 더한 것보다 큰 경우에는, 출력 데이터를 중심에 가중치를 부가한 중간 행의 수평 방향의 평균으로 결정하는 컬러 보간 장치.
제9항에 있어서, 상기 제어부는, abs_S가 상기 임계값1보다 크고, abs_S2가 abs_S1에 상기 임계값2를 더한 것보다 큰 경우에는, 출력 데이터를 중심에 가중치를 부가한 중간 열의 수직 방향의 평균으로 결정하는 컬러 보간 장치.
제9항에 있어서, 상기 제어부는, abs_S가 상기 임계값1보다 크고, abs_S1이 abs_S2에 상기 임계값2를 더한 것보다 작거나 또는 abs_S2가 abs_S1에 상기 임계값2를 더한 것보다 작은 것 중 어느 하나인 경우에는, 출력 데이터를 중심에 가중치를 부가한 중간 행/렬의 수평/수직 방향의 평균으로 결정하는 컬러 보간 장치.