KR101697566B1 - Ｄｃｔ 계수 분포 분석을 통한 에지 방향을 이용한 디인터레이싱 방법 및 장치 - Google Patents

Abstract

본 발명은 인터레이스 신호로부터 프로그레시브 신호를 생성하는 영상 처리 장치 및 방법에 관한 것이다. DCT 계수 분포 분석을 통한 에지 방향을 이용한 디인터레이싱 장치는, 주파수 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 결여된 픽셀을 복원하는 제1 디인터레이서와, 픽셀 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 상기 결여된 픽셀을 복원하는 제2 디인터레이서와, 상기 제1 디인터레이서의 방향성과 상기 제2 디인터레이서의 방향성 간의 차이를 기초로 하여 에지 방향 신뢰도를 구하는 신뢰도 검증부와, 상기 신뢰도를 바탕으로 상기 제1 디인터레이서에서 복원된 픽셀의 값과 상기 제2 디인터레이서에서 복원된 픽셀의 값을 조합하고 상기 결여된 픽셀에 대한 최종적인 출력 값을 구함으로써 프로그레시브 신호를 생성하는 출력부를 포함한다.

Description

ＤＣＴ 계수 분포 분석을 통한 에지 방향을 이용한 디인터레이싱 방법 및 장치{Deinterlacing Algorithm using Edge Direction from Analysis of the DCT Coefficient Distribution}

본 발명은 영상 처리 기술에 관한 것으로, 보다 상세하게는, 인터레이스 신호로부터 프로그레시브 신호를 생성하는 영상 처리 장치 및 방법에 관한 것이다.

비디오 방송에서, PAL, SECAM 및 NTSC와 같은 과 같은 일반적인 TV 시스템들은, 상기 비디오 전송 대역폭을 절반으로 만들기 위하여 인터레이스 된 포맷을 채용하고 있다. 이러한 표준 프레임율은 느린 모션을 나타내기에는 충분하지만, 높은 수평 주파수를 갖는 객체들에 대해서는 깜박임을 유발하는 경향이 있다. 또한, HDTV, PC 모니터, LCD, PDP와 같은 현대의 디스플레이 시스템들의 성장으로, 온전한 전체 영상이 한번에 디스플레이할 것을 요구하는 경우가 증가하고 있다.

이러한 이유로, 디인터레이스 알고리즘들은 상기 수직 방향으로 공간적 해상도를 향상시키기 위하여 필수적으로 요구되는 기술이다. 본 발명에서는, 주파수 영역 및 픽셀 영역의 에지 방향 정보(CD-EDI 및 PD-EDI)를 사용하는, 단일 필드의 디인터레이싱 알고리즘을 제공한다. 상기 CD-EDI는 DCT 계수 분포의 분석으로부터 얻어지고, 상기 PD-EDI는 상기 주변 픽셀들로부터 계산된다.

상기 에지 방향을 주파수 영역으로부터 계산하기 위하여, 종래의 기술들은 상기 영상들을 먼저 디코딩하여야 한다. 본 발명의 주파수 영역의 에지 정보 감지 기술은 상기 주파수 영역 내에서 직접 추출될 수 있는 DCT 계수들의 패턴 분석을 사용하여 획득할 것이다.

상기 DCT 계수 분포들의 분석에 기초하여, 본 발명은 상기 4개의 에지 방향들이 상기 DCT 영역의 내부에서 즉시 추출될 수 있는 블록 에지 패턴 추출 방법을 제안한다.

오늘날까지, 상기 DCT 영역 내에서의 에지 감지의 효율성에 주안점을 둔 연구는 많지 않았다. 예를 들어, Shen 및 Sethi는 에지 방향들 및 강도의 개념을 제시하면서, DCT 계수들의 패턴 분석 통하여 이를 유도하였다. 그들은 상기 DCT 계수 패턴을 분석하고, 영상 에지 모델을 생성하며, 상기 다양한 계수들의 상대적인 부호들 및 값들이 상기 블록 레벨에서 결정될 수 있는 방법을 제시하고 있다. 그러나, DCT 계수에 의하여 추출된 에지 방향에 기초하는 디인터레이싱 시스템들을 포함하는 연구들은 아직 이루어지고 있지 않다.

현재까지 보고된 대부분의 디인터레이싱 기술들은 에지 기반의 선형 평균 알고리즘을 광범위하게 언급하는데, 상기 픽셀 영역만에서 에지 특징들을 추출하고 있다. 반면에, 본 발명은 상기 주파수 영역 내에서 상기 블록 레벨에서 에지들을 감지하고 그 패턴들을 분류하고, 그것들을 상기 픽셀 영역에서 확인한다.

본 발명은 상기한 필요성을 감안하여 창안된 것으로, 인터레이스 신호로부터 프로그레시브 신호를 생성함에 있어서 연산량을 과도하게 증가시키지 않으면서도 정밀도를 향상시키기 위한 영상 처리 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른, DCT 계수 분포 분석을 통한 에지 방향을 이용한 디인터레이싱 장치는, 주파수 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 결여된 픽셀을 복원하는 제1 디인터레이서; 픽셀 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 상기 결여된 픽셀을 복원하는 제2 디인터레이서; 상기 제1 디인터레이서의 방향성과 상기 제2 디인터레이서의 방향성 간의 차이를 기초로 하여 에지 방향 신뢰도를 구하는 신뢰도 검증부; 및 상기 신뢰도를 바탕으로 상기 제1 디인터레이서에서 복원된 픽셀의 값과 상기 제2 디인터레이서에서 복원된 픽셀의 값을 조합하고 상기 결여된 픽셀에 대한 최종적인 출력 값을 구함으로써 프로그레시브 신호를 생성하는 출력부를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른, DCT 계수 분포 분석을 통한 에지 방향을 이용한 디인터레이싱 방법은, (a) 주파수 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 결여된 픽셀을 복원하는 단계; (b) 픽셀 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 상기 결여된 픽셀을 복원하는 단계; (c) 상기 (a) 단계에서의 방향성과 상기 (b) 단계의 방향성 간의 차이를 기초로 하여 에지 방향 신뢰도를 구하는 단계; 및 (d) 상기 신뢰도를 바탕으로 상기 (a) 단계에서 복원된 픽셀의 값과 상기 (b) 단계에서 복원된 픽셀의 값을 조합하고 상기 결여된 픽셀에 대한 최종적인 출력 값을 구함으로써 프로그레시브 신호를 생성하는 단계를 포함한다.

본 발명에 따르면, 다른 최근의 디인터레이싱 기술들에 비하여 낮은 CPU 연산량을 요구하면서도 더 높은 정밀도를 제공한다. 또한, 본 발명은 위성 영상의 고 해상도 보간, CFA 통과된 색상 신호의 모자이크 제거 등의 다양한 어플리케이션들에도 적용이 가능하다.

도 1은 4개의 방향을 갖는 8x8 DCT 블록을 예시하는 도면이다. 여기서, a 내지 f는 각도가 0이고, g 내지 l은 각도가 π/4이고, m 내지 r은 각도가 π/2이며, s 내지 x는 각도가 3π/4이다.
도 2는 House 1 및 2에 관한 원래의 테스트 영상들과 그로부터 분류된 에지를 표시한 영상들을 보여주는 도면이다.
도 3은 에지 방향 기반의 디인터레이싱을 위한 픽셀 영역의 윈도우를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 디인터레이싱 장치의 구성을 도시한 블록도이다.
도 5는 본 발명의 성능을 평가하기 위한 블록도이다.
도 6은 cFS을 도출하기 위해서 σ 값을 고정시키면서 cFS 값을 0부터 1까지 변화 시키면서 MSE 값을 살펴본 그래프이다.
도 7은 σ를 도출하기 위해서 cFS 값을 고정시키면서 σ 값을 변화 시키면서 MSE 값을 살펴본 그래프이다.
도 8 및 9는 두 가지 샘플 영상에 대하여 기존의 방법들 및 본 발명에 따른 디인터레이싱 방법에 따른 디인터레이싱 결과를 시각적으로 보여주는 도면들이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명은 주파수 영역의 에지 방향 정보(CD-EDI)를 갖는 단일-필드의 디인터레이싱 알고리즘을 제공한다. 본 알고리즘은 DCT 계수 분포 및 주변 픽셀들의 분석과 관련된 픽셀 영역의 에지 방향 정보(PD-EDI)를 사용하여 확인된다.

상기 에지 방향을 카테고리화하기 위하여 DCT 영역에서 계산되는 상기 CD-EDI가 먼저 언급된다. 본 발명은 4개의 에지 방향들을 고려하여, DCT 인코딩된 블록 내에서 DCT 계수의 분포를 검토한다: 0(수평), π/4(증가하는 사선 방향), π/2 (수직 방항), 3π/4(감소하는 사선 방향).

또한, 본 발명은 6개의 에지 방향들에서 작은 픽셀 변화를 식별함에 의하여 얻어지는 PD-EDI를 고려한다. 에지-기반의 라인 평균에 기초하여, PD-EDI는 디인터레이싱이 수행되는 에지 방향에 관한 잘못된 판단의 빈도를 낮추기 위하여 연산 윈도우 내에서 수립된다.

최종적으로, 본 발명은 에지 감지의 정밀도를 향상시키는, 각각의 결여된 픽셀들에 대한 에지 방향 신뢰도(EDC) 개념을 제안한다. 퍼지 세트들은 멤버쉽 함수(MF)에 의하여 대표될 수 있기 때문에, 본 발명은 낮은 복잡성을 갖는 간단한 EDC 평가 구조를 갖는데, 이는 하드웨어로의 구현을 매우 용이하게 만든다. 서로 다른 테스트 시퀀스들에 대한 시뮬레이션에서, 본 발명은 최근의 디인터레이싱 방법들을 능가하는 성능을 나타낸다.

A. 상기 DCT 계수들의 분포를 분석하여 에지 방향 추출

상기 DCT는 통상적으로 영상 처리에 사용되며, 특히 손실 압축에 있어서 매우 잘 알려져 있다. 왜냐하면 그것은 강력한 에너지 압축 속성을 가지고 있기 때문이다. 상기 DCT에서, 대부분의 신호 데이터는 몇몇의 저 주파수 성분들에 분포되는 경향이 있다. 일반적인 2차원 DCT는 다음의 수학식 1과 같이 정의된다.

수학식 1은 상기 DCT 계수를 보여준다. F(u,v)는 상기 8x8 픽셀 블록들 내에서, 서로 다른 방향들을 따라서 서로 다른 스케일들로, 강도 f(i,j)을 곱한 합에 의하여 결정된다. DCT 블록의 좌측 코너에 있는 계수는 DC 계수로서, 상기 블록의 평균 휘도를 나타낸다. 상기 남아있는 계수들은 모두 AC 계수들로 불리고, 각각의 AC의 값은 어떤 방향으로 상기 회색 레벨의 값들의 변화를 나타낸다. 상기 AC 계수들이 특정 에지 방향을 나타내기는 하지만, 상기 DCT 영역 내에서 상기 에지 방향을 정확하게 예측하기는 어려운 일이다.

도 1은, 0° 에서 180°에 이르는 다양한 에지 형태를 보여준다. 본 발명에서는, 상기 DCT 블록 내의 에지의 대응되는 각도에서, 상기 DCT 계수들의 분포 경향을 분석하기 위하여, 이를 24개의 테스트 블록들로서 사용한다. 도 1에서 각각의 행은 대응되는 각도(0, π/4, π/2, 3π/4)에 있는 블록 내에서 다양한 에지 형태를 갖는다는 점에 주목할 필요가 있다. 여기서, 각각의 테스트 블록 내의 상기 회색 및 흑색 부분들의 픽셀 강도는 각각 128 및 0이다.

8x8 DCT 테스트 블록들 내의 계수들의 분포를 분석함에 의하여, 상기 에지의 각도가 0에서 π/2(또는 π/2에서 π)까지 변화될 때, 상기 상대적으로 큰 AC 계수들이 특정 영역들 내에 반시계 방향(또는 시계 방향)으로 응집된다는 것을 알 수 있다. 또한, 상기 에지 방향이 이상적으로 0(또는 π/2)라면, 큰 계수들은 상기 DCT 블록 내에서 상기 제1 열(또는 제1 행) 상에 모이고, 상기 에지 방향이 π/4 또는 3π/4라면, 큰 계수들은 상기 대각선 방향으로 모인다. 이러한 분포 경향은 반시계 운동이라고 알려져 있다.

또한, 상기 DCT 계수 분포는 상기 에지 방향이 π/2 에서 π까지 움직임에 따라 시계 방향으로 움직인다는 것에도 주목할 필요가 있다.

따라서, 본 발명은 상기 에지 방향들이 각각 0, π/4 및 π/2인 때에는 8x8 DCT 블록 내의 큰 계수들은 각각 상기 제1 열, 상기 대각선 방향 및 제1 행에 내에 모이는 경향이 있다는 점을 고려한다.

본 발명은 이러한 세 가지 영역들을 각각 제1 열의 영역(RC), 제1 행의 영역(RR) 및 대각선의 영역(RD)로 각각 분류한다. 상기 RC, RR 및 RD 내에서 AC 계수들의 절대값의 합(ζRC, ζRR, ζRD)은 다음의 수학식 2와 같이 기술될 수 있다.

여기서, F(u,v)는 u번째 행 및 v번째 열의 위치에서의 DCT 계수들을 나타낸다. 수학식 2에서 상기 DC 계수 F(0,0)는 ζRC, ζRR, ζRD의 계산에서 제외된다. ζ8x8을 8x8 DCT 블록 내의 모든 계수들의 절대값의 합이라고 정의하면, 그것은 다음의 수학식 3과 같이 기술될 수 있다.

상기 에지의 대응되는 각도에서, ζ8x8 를 기준으로 한 ζRC, ζRR, ζRD, DC 및 다른 계수들(Crest)의 퍼센트율은 다음의 표 1에 기재된 바와 같다. 각각의 행의 합은 모두 100이다.

표 1에서 제시된 바와 같이, 상기 에지의 각도가 0 또는 π/2일 때, 상기 계수들의 가장 큰 부분은 각각 RC 및 RR에서 관찰된다. 그러나, 에지의 각도가 π/4 또는 3π/4일 대, 가장 큰 부분은 RD에서 관찰된다. 따라서, 최종적인 주파수 영역의 에지 방향(φ)은 다음의 수학식 4와 같다.

상기 최종 에지 방향은 AC 계수들 중 가장 큰 부분을 갖는 영역에 대응되는 방향으로서 결정된다. 그러나, 이러한 두 개의 각도들은 ζRC, ζRR 및 ζRD의 동일한 값을 가지기 때문에 상기 π/4 및 3π/4의 구별은 여전히 수행되어야 한다. π/4와 3π/4를 구별하기 위하여, 두 개의 테스트 블록(도 1의 (k) 및 (t))을 이용한 분석이 이루어진다.

결과적으로, 도 1의 (k)에 보여지는 DCT 블록은 대칭적인 반면에, 도 1의 (t)에 도시된 DCT 블록은 그 에지가 3π/4로서 반대칭적이라는 것을 알 수 있다. 여기서, 상기 대칭적이라는 용어는 상기 DCT 블록 내에서의 계수들의 크기 및 부호가 상기 주대각선(DCT 블록에서 좌상의 코너로부터 우하의 코너로 향하는 방향)을 가로질러 대칭된다는 것을 의미한다. 상기 반대칭(anti-symmetric)이라는 용어는 상기 계수들의 크기들이 상기 주대각선을 가로질러 대칭적이고, 상기 부호는 서로 반대라는 것을 의미한다.

따라서, 본 발명은 F(0,1) 및 F(1,0)의 부호의 곱을 확인함으로써, 이러한 두 개의 각도를 분류할 수 있다. 0, π/4, π/2 및 3π/4에 대한 상기 에지 방향 분류의 성능을 확인하기 위하여, 본 발명은 두 개의 합성된 영상들을 포함하는 시뮬레이션을 수행하였다. 여기서, 하우스 1 (도 2의 (a)) 및 하우스 2(도 2의 (d))은 512x512 픽셀들로 구성되어 있다.

상기 테스트 영상들의 DCT를 8x8 블록에 적용한 후, 상기 에지 방향을 분류할 수 있다. 본 발명은 상기 결과 영상들을 기록할 때 8x8 각도 블록을 사용하였다. 상기 각도 블록은 흰색 배경 및 상기 DCT 블록 내의 대응되는 에지 각도에서의 흑색 에지 라인을 갖는 8x8 블록이다. 도 2의 (b) 및 (e)의 양측면과 지붕의 경사 패턴은 하나의 라인이 아니라 이중 라인으로 나타난다. 또한, 0 및 π/2의 에지들이 만나는 곳에서의 코너들(도 2의 (f))은 도 1의 (s) 및 (x)에 도시된 블록들인 것으로 판단된다.

B. 주파수 영역 및 픽셀 영역에서의 에지 방향 추출

상기 픽셀 영역에서의 에지 방향 추출은, 결여된 픽셀의 값을 계산하기 위한 시도를 할 때, 공간적으로 방향적 연관성들을 효율적으로 예측하는 능력을 제공한다. 도 3은 상기 출력 값 Xout(i,j)을 보간하기 위하여 사용되는 상기 2차원 로컬 윈도우를 도시한다. 상기 좌표 i 및 j는 상기 열 및 행의 번호를 각각 나타낸다. 또한, 상기 약어 u, d, l, r 및 m은 각각 up, down, left, right 및 middle을 각각 나타낸다. 상기 값들 ml(또는 mr)은 상기 값들 ul 및 dl(또는 ur 및 dr)의 평균으로서 결정된다. 상기 파라미터는 Γθ는 다음의 수학식 5와 같이, 상기 위치 (i,j) 및 에지 방향(θ) 에서 휘도의 그래디언트(gradient)이다. 또한, 상기 θ는 0, π/6, π/4, π/2, 3π/4, 5π/6 중의 어느 하나이다.

상기 디인터레이스된 픽셀, xPD(i,j)은 단지 픽셀 영역의 정보만을 사용하며 다음의 수학식 6과 같이 계산될 수 있다.

여기서, xrec(i-1,j)는 위치 (i-1,j)에서 복원된 픽셀이다. 이러한 과정은 당연히 가산, 감산 및 절대 값 등과 같은 간단한 정수 연산을 요할 뿐이다. 한편, 동일한 방식으로 상기 디인터레이스된 픽셀 XCD(i,j)는 다음의 수학식 7과 같이 계산되는 주파수 영역 정보만을 사용한다.

C. 하이브리드 스킴

여기서는, 본 발명에 따른 에지 방향 신뢰도(EDC; δ) 개념을 도입한다. 상기 하이브리드 스킴은 도 4에 도시된 바와 같은 디인터레이싱 장치(100)의 블록도에 의하여 구현될 수 있다. 여기서, 주파수 영역 및 픽셀 영역의 에지 방향 정보(φ 및 θ)는 상기 하이브리드 방법을 구현하기 위하여 사용된다. 상기 주파수 영역의 에지 방향 정보(φ)와 상기 픽셀 영역의 에지 방향 정보(θ)는 그들의 특성에 따라서 상호 교환이 가능하다. 상기 두 개의 에지 방향 정보 분석의 출력은 상기 에지 방향 신뢰도에 기초하여 결합된다.

디인터레이싱 장치(100)는 주파수 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 결여된 픽셀을 복원하는 제1 디인터레이서(10)와, 픽셀 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 상기 결여된 픽셀을 복원하는 제2 디인터레이서(20)와, 상기 제1 디인터레이서(10)에서의 방향성과 상기 제2 디인터레이서(20)에서의 방향성 간의 차이를 기초로 하여 에지 방향 신뢰도를 구하는 신뢰도 검증부(40)와, 상기 신뢰도를 사용하여 상기 제1 인터레이서(10)에서 복원된 픽셀의 값(xCD(i,j))과 상기 제2 인터레이서(20)에서 복원된 픽셀의 값(XPD(i,j))을 조합하고 상기 결여된 픽셀에 대한 최종적인 출력 값(xout(i,j))을 구함으로써 프로그레시브 신호를 생성하는 출력부(50)를 포함하여 구성될 수 있다.

본 발명은 상기 계산된 압축 영역의 에지 방향(φ) 및 상기 픽셀 영역의 에지 방향(θ)이 동일한 에지 방향을 갖지 않으면, 어떤 픽셀 위치는 신뢰할 수 없는 에지 방향 신뢰도를 갖는 것으로 판단한다. 따라서, 상기 현재 픽셀 위치 (i,j)에 대한 EDC를 확인하기 위해서, 본 발명은 다음의 수학식 8과 같은 차이 값(ε)을 고려한다. 상기 차이 값은 연산부(30)에 의하여 구해진다.

상기 ε 값은 0, π/12, π/6, π/4, π/3, π/2, 7π/12, 3π/4 또는 5π/6을 갖는다. 신뢰도 검중부(40)는 상기 결여된 픽셀에 대한 EDC를 결정하기 위하여, 6개의 Γθ 값들을 사용한다. 본 발명은 또한, 상기 EDC는 다음의 수학식 9의 규칙을 사용하여 계산된다는 것을 가정한다.

그러나, 상기 작다(small)라는 언어적 값은 명확한 속성을 갖지 않으므로, 상기 언어적 값들은 퍼지 세트들에 의하여 표현될 수 있는데 상기 퍼지 세트는 특히, 멤버쉽 함수(MF)에 의하여 표현될 수 있다. 상기 “SMALL”이라는 개념을 나타내기 위하여 본 발명에서는 다음의 수학식 10과 같은 멤버쉽 함수(MF)인 μSMALL를 상기 퍼지 세트로 사용한다.

상기 MF인 μSMALL의 모양은 방대한 트레이닝 과정을 통한 결과, 가우시안(Gaussian)으로 선정하는 것이 바람직함을 알 수 있었다. 가우시안 MF는 0의 값을 가지지 않으면서 완만한 특성을 갖는다. 상기 제안된 가우시안 MF는 상기 수학식 10과 같이 모델링되며 곡선의 모양은 화소 영역에서의 σ에 의하여 결정되며, 곡선의 중심은 cFS로 결정진다. 상기 μSMALL은 EDC를 나타내는 동시에 가중치를 의미한다.이상에서 기술한 바와 같이, xCD(i,j) 및 xPD(i,j)는 상기 주파수 영역의 디인터레이싱 및 픽셀 영역의 디인터레이싱의 결과를 나타낸다. 상기 파라미터 δ는 그들의 EDC를 의미하는데, 가중치의 의미로 해석될 수 있다. 상기 결여된 픽셀을 구별없이 결정하는 대신에, 출력부(50)는 상기 구한 신뢰도를 사용하여 상기 제1 인터레이서(10)에서 복원된 픽셀의 값과 상기 제2 인터레이서(20)에서 복원된 픽셀의 값을 조합하고 상기 결여된 픽셀에 대한 최종적인 출력 값(xout(i,j))을 구한다.

출력부(50)가 최종적인 출력 값(xout(i,j))을 구하는 구체적인 과정으로는, 예를 들어, 다음의 수학식 11을 이용할 수 있다. 즉, 다음의 수학식 11을 사용하여 상기 결여된 픽셀이 최종적으로 보간된다. 이것은 에지 방향 정보가 지배하는 영역과 불규칙한 영역을 포함한다. 이것은 특성에 맞추어진 디인터레이스 방법 이전의 개념이다. 상기 결여된 픽셀은, 에지 방향 신뢰도가 없으면 불규칙한 영역으로 분류된다. 상기 하이브리드 방법의 출력 결과 xout(i,j)는 다음의 수학식 11을 사용하여 계산된다.

상기 값 δ는 0과 1사이에 위치하는 값이고, 상기 픽셀 영역의 에지 방향 신뢰도에 의하여 결정된다. 예를 들어, φ 및 θ가 동일한 값이면, 상기 결여된 픽셀들은 상기 에지 방향을 사용하여 보간된다. 반대로, φ 및 θ간의 차이가 π/4보다 작은 값이면, 즉 ε≤π/4이면, 다음의 에지 방향 신뢰도가 사용된다: 상기 δ가 큰 값일수록, 상기 xPD(i,j)는 상기 xCD(i,j)보다 높은 수직 해상도를 나타낸다.

결국, ε가 π/4보다 크면, 비-에지 방향(non-edge directional) 인터레이스 방법을 사용한다. 이러한 비-에지 방향의 인터레이스 방법으로는 잘 알려진 Bob 필터가 사용될 수 있다. 이 필터는 에지 방향 에러들을 감지하도록 조절되어 있고 수평 에지들을 갖는 영상들에 대하여 충분히 사용 가능한 필터이다.

지금까지 도 4의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.

도 5는 본 발명의 성능을 평가하기 위한 블록도이다. 여기서, 최초 입력된 352x288 프로그레시브 신호는 동일한 해상도의 인터레이스 신호로 인터레이싱된 후, 디인터레이싱을 적용한 결과와, 원본 간의 차이를 PSNR(Peak Signal-to-Noise Ratio)을 기준으로 평가할 수 있음을 나타낸다. 일반적으로, MSE(Mean Square Error)나 PSNR은 복원된 영상과 원본 영상과의 차이를 나타내는 지표로서 많이 알려져 있으므로 구체적인 수학식은 생략한다. 다만, MSE는 작을수록, PSNR은 클수록 복원된 영상이 원본 영상에 가깝다는 것을 의미한다.

수학식 11에서 두 개의 파라미터인 cFS와 σ는 본 발명에 따른 방법의 성능과 처리 속도에 상당한 영향을 미치기 때문에 이 두 파라미터의 값을 실험을 통해 도출하고자 하였다. 도 6은 cFS을 도출하기 위해서 σ 값을 고정시키면서 cFS값을 0부터 1까지 변화 시키면서 MSE(minimum squared error)값을 살펴본 그래프이다. 그 결과 cFS의 값이 0.26일 때 가장 적은 에러 값을 나타내었으므로 이 값을 이용하여 후술하는 실험을 진행하였다.

이와 유사한 방법으로, 도 7에서는 cFS 값을 고정시키고 σ 값을 변화 시키면서 MSE값을 관찰하여 최적의 σ 값을 0.27로 결정한 후 후술하는 실험을 진행하였다. 도 6 및 7과 관련된 트레이닝 과정을 위해서는 다음의 표 2의 실험 영상들이 사용되었다.

또한, 다음의 표 3에는 기존의 방법들(ELA, EELA, MELA, DOI, NEDD, LCID, LABI, FDOI)과 본 발명에 따른 디인터레이싱 방법의 PSNR과 CPU 시간을 비교한 결과값들을 확인할 수 있다.

상기 표 3에서 보듯이 본 발명에 따른 디인터레이싱 방법이 다른 방법들보다 더 좋은 화질, 즉, 가장 높은 PSNR값을 보였으며 CPU 시간도 적당한 수준을 유지함을 볼 수 있다.

또한, 도 8 및 9는 두 가지 샘플 영상에 대하여 기존의 방법들 및 본 발명에 따른 디인터레이싱 방법에 따른 디인터레이싱 결과를 시각적으로 보여주는 도면들이다. 도 8 및 9에서, (a) 내지 (i)는 각각, 원본 영상, ELA, EELA, MELA, DOI, NEDD, LCID, LABI 및 본 발명에 따른 결과를 각각 보여준다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

10: 제1 디인터레이서 20: 제2 디인터레이서
30: 연산부 40: 신뢰도 검증부
50: 출력부 100: 디인터레이싱 장치

Claims (22)

1. DCT 계수 분포 분석을 통한 에지 방향을 이용한 디인터레이싱 장치로서,
   주파수 영역에서의 방향성을 이용하여 인터레이스 신호로부터 결여된 픽셀을 복원하는 제1 디인터레이서;
   픽셀 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 상기 결여된 픽셀을 복원하는 제2 디인터레이서;
   상기 제1 디인터레이서의 방향성과 상기 제2 디인터레이서의 방향성 간의 차이를 기초로 하여 에지 방향 신뢰도를 구하는 신뢰도 검증부; 및
   상기 신뢰도를 바탕으로 상기 제1 디인터레이서에서 복원된 픽셀의 값과 상기 제2 디인터레이서에서 복원된 픽셀의 값을 조합하고 상기 결여된 픽셀에 대한 최종적인 출력 값을 구함으로써 프로그레시브 신호를 생성하는 출력부를 포함하고,
   상기 제2 디인터레이서는
   상기 결여된 픽셀이 복수의 방향성 중 어느 것을 갖는지 결정함에 의하여 상기 픽셀 영역에서의 방향성을 결정하고, 상기 복수의 방향성에 따른 그래디언트(gradient)가 최소인 방향에 의하여 상기 픽셀 영역에서의 방향성을 결정하는 디인터레이싱 장치.
2. 제1항에 있어서, 상기 제1 디인터레이서는
   DCT 블록의 방향성을 이용하여 상기 결여된 픽셀을 0, π/4, π/2 및 3π/4 중의 하나의 방향성을 갖는 것으로 결정하고, 상기 결정된 방향성에 따라 상기 결여된 픽셀을 복원하는 디인터레이싱 장치.
3. 제2항에 있어서, 상기 제1 디인터레이서는
   상기 DCT 블록 중에서 첫번째 열에 위치한 계수들의 절대 값의 합(제1 합)과, 첫번째 행에 위치한 계수들의 절대 값의 합(제2 합)과, 주대각선에 위치한 계수들의 절대 값의 합(제3 합)을 각각 계산하고, 상기 제1 합이 최대인 경우 상기 방향성을 0으로 결정하고, 상기 제2 합이 최대인 경우 상기 방향성을 π/2로 결정하며, 상기 제3 합이 최대인 경우 상기 방향성을 π/4 또는 3π/4로 결정하는 디인터레이싱 장치.
4. 제3항에 있어서, 상기 제1 디인터레이서는
   상기 제3 합이 최대인 경우에는 상기 주대각선을 기준으로 대응되는 위치의 두 계수를 곱한 결과가 양의 값이면 상기 방향성을 π/4로 결정하고, 상기 곱한 결과가 음의 값이면 상기 방향성을 3π/4로 결정하는 디인터레이싱 장치.
5. 제1항에 있어서,
   상기 복수의 방향성은 6개의 방향성인 디인터레이싱 장치
6. 제5항에 있어서, 상기 6개의 방향성은
   0, π/6, π/4, π/2, 3π/4 및 5π/6 중의 어느 하나인 디인터레이싱 장치.
7. 삭제
8. 제1항에 있어서, 상기 신뢰도 검증부는
   상기 차이가 작을수록 상기 에지 방향 신뢰도가 커지도록 결정하는 디인터레이싱 장치
9. 제1항에 있어서, 상기 출력부는
   상기 차이가 0인 경우에는 상기 제2 디인터레이서에서 복원된 값을 최종적인 출력 값으로 하여 출력하고,
   상기 차이가 π/4보다 작거나 같은 경우에는 상기 제1 디인터레이서에서 복원된 값과 상기 제2 디인터레이서에서 복원된 값 간의 가중 평균을 최종적인 출력 값으로 하여 출력하며,
   그 이외의 경우에는 상기 결여된 픽셀의 상부 픽셀 및 하부 픽셀의 평균을 최종적인 출력 값으로 출력하는 디인터레이싱 장치.
10. 제9항에 있어서, 상기 가중 평균은
    상기 에지 방향 신뢰도를 상기 제2 디인터레이서에서의 복원된 값에 곱하고, 1에서 상기 에지 방향 신뢰도를 뺀 값을 상기 제1 디인터레이서에서의 복원된 값에 곱한 후, 두 개의 곱을 합하는 것을 의미하는 디인터레이싱 장치.
11. 제1항에 있어서, 상기 에지 방향 신뢰도는
    가우시안 그래프 형상을 갖는 멤버쉽 함수로 표현되는 디인터레이싱 장치.
12. DCT 계수 분포 분석을 통한 에지 방향을 이용한 디인터레이싱 방법으로서,
    (a) 주파수 영역에서의 방향성을 이용하여 인터레이스 신호로부터 결여된 픽셀을 복원하는 단계;
    (b) 픽셀 영역에서의 방향성을 이용하여 상기 인터레이스 신호로부터 상기 결여된 픽셀을 복원하는 단계;
    (c) 상기 (a) 단계에서의 방향성과 상기 (b) 단계의 방향성 간의 차이를 기초로 하여 에지 방향 신뢰도를 구하는 단계; 및
    (d) 상기 신뢰도를 바탕으로 상기 (a) 단계에서 복원된 픽셀의 값과 상기 (b) 단계에서 복원된 픽셀의 값을 조합하고 상기 결여된 픽셀에 대한 최종적인 출력 값을 구함으로써 프로그레시브 신호를 생성하는 단계를 포함하고,
    상기 (b) 단계는
    상기 결여된 픽셀이 복수의 방향성 중 어느 것을 갖는지 결정함에 의하여 상기 픽셀 영역에서의 방향성을 결정하는 단계; 및
    상기 복수의 방향성에 따른 그래디언트(gradient)가 최소인 방향에 의하여 상기 픽셀 영역에서의 방향성을 결정하는 단계를 더 포함하는 디인터레이싱 방법.
13. 제12항에 있어서, 상기 (a) 단계는
    DCT 블록의 방향성을 이용하여 상기 결여된 픽셀을 0, π/4, π/2 및 3π/4 중의 하나의 방향성을 갖는 것으로 결정하고, 상기 결정된 방향성에 따라 상기 결여된 픽셀을 복원하는 단계를 포함하는 디인터레이싱 방법.
14. 제13항에 있어서, 상기 (a) 단계는
    상기 DCT 블록 중에서 첫번째 열에 위치한 계수들의 절대 값의 합(제1 합)과, 첫번째 행에 위치한 계수들의 절대 값의 합(제2 합)과, 주대각선에 위치한 계수들의 절대 값의 합(제3 합)을 각각 계산하는 단계; 및
    상기 제1 합이 최대인 경우 상기 방향성을 0으로 결정하고, 상기 제2 합이 최대인 경우 상기 방향성을 π/2로 결정하며, 상기 제3 합이 최대인 경우 상기 방향성을 π/4 또는 3π/4로 결정하는 단계를 더 포함하는 디인터레이싱 방법.
15. 제14항에 있어서, 상기 (a) 단계는
    상기 제3 합이 최대인 경우에는 상기 주대각선을 기준으로 대응되는 위치의 두 계수를 곱한 결과가 양의 값이면 상기 방향성을 π/4로 결정하는 단계; 및
    상기 곱한 결과가 음의 값이면 상기 방향성을 3π/4로 결정하는 단계를 더 포함하는 디인터레이싱 방법.
16. 제12항에 있어서,
    상기 복수의 방향성은 6개의 방향성인 디인터레이싱 방법.
17. 제16항에 있어서, 상기 6개의 방향성은
    0, π/6, π/4, π/2, 3π/4 및 5π/6 중의 어느 하나인 디인터레이싱 방법.
18. 삭제
19. 제12항에 있어서, 상기 (c) 단계는
    상기 차이가 작을수록 상기 에지 방향 신뢰도가 커지도록 결정하는 단계를 포함하는 디인터레이싱 방법.
20. 제12항에 있어서, 상기 (d) 단계는
    상기 차이가 0인 경우에는 상기 (b) 단계에서 복원된 값을 최종적인 출력 값으로 하여 출력하는 단계;
    상기 차이가 π/4보다 작거나 같은 경우에는 상기 (a) 단계에서 복원된 값과 상기 (b) 단계에서 복원된 값 간의 가중 평균을 최종적인 출력 값으로 하여 출력하는 단계; 및
    그 이외의 경우에는 상기 결여된 픽셀의 상부 픽셀 및 하부 픽셀의 평균을 최종적인 출력 값으로 출력하는 단계를 포함하는 디인터레이싱 방법.
21. 제20항에 있어서, 상기 가중 평균은
    상기 에지 방향 신뢰도를 상기 (b) 단계에서의 복원된 값에 곱하고, 1에서 상기 에지 방향 신뢰도를 뺀 값을 상기 (a) 단계에서의 복원된 값에 곱한 후, 두 개의 곱을 합하는 것을 의미하는 디인터레이싱 방법.
22. 제21항에 있어서, 상기 에지 방향 신뢰도는
    가우시안 그래프 형상을 갖는 멤버쉽 함수로 표현되는 디인터레이싱 방법.

Images