KR101500266B1 - 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법 및 애플리케이션 - Google Patents

Abstract

본 발명의 실시 예에 따른 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법은, 인터레이스로 스캔된 신호를 티-놈(T-norm) 셀렉션하여 퍼지 메트릭을 구하는 단계와, 중심 누락 픽셀의 이웃 픽셀들을 상기 퍼지 메트릭을 이용하여 도메인 가우시안 필터와 영역 가우시안 필터 처리(양방향 필터)하는 단계 및 상기 양방향 필터 처리에 기초하여 최종 보간값을 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법 및 애플리케이션{A ROBUST FUZZY-BILATERAL FILTERING METHOD AND ITS APPLICATION TO VIDEO DEINTERLACING}

본 발명은 디인터레이싱 기법에 관한 것으로 특히, 품질을 향상시키면서 인터레이스된 영역을 보간하는 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법 및 애플리케이션에 관한 것이다.

인터레이스(interlace) 스캐닝 포맷은 CRT의 해상도를 증가시키는 방식으로 Randall Ballard에 의해 소개되었다. 표준 기관은 나중에 인터레이싱(interlacing) 기법을 NTSC, PAL, SECAM으로 포함시켰다. 비록 CRT 해상도가 더 이상의 관심 이슈는 아니지만, LCD, PDP, DLP와 같은 많은 다른 공용 디스플레이 장치들은 인터레이스된 비디오와, 대역폭(bandwidth)을 반으로 줄일 수 있는 장점을 이용하고 있다. 인터레이스된 스캐닝 포맷의 본성 때문에, TV는 가로 줄이 깜빡인다든지, 가로로 얼룩이 지는 것과 같은 불쾌한 인공적인 가시 효과를 가지고 있다. 디인터레이싱은 인터레이스된 포맷을 개선된 포맷으로 변환하는 이미지 포맷 변환 기법이며, 인공적인 가시 효과를 줄이기 위해 널리 이용되어 왔다. 몇몇의 디인터레이싱 기법들이 지난 수 십년 동안 제안되어 왔다. 이들 기법들은 인터 필드(inter-field)와 인트라 필드(intra-field)로 분류될 수 있다. 전자는 공간적인 필터링 기법이고 후자는 시공간 필터링 기법이다.

인트라 필드 기법들은 쉬운 구현 및 적은 계산 때문에 널리 사용되어 왔다. 인터 필드 기법들은 모션(motion) 조정과 모션 보상 기법들을 포함한다. 비록 인터 필드 기법들이 보간 품질을 더욱 향상시킬 수 있지만, 그들은 모션 추정 엔진과 궤적 모델을 요구하기 때문에, 더 높은 계산 복잡성을 가진다. 게다가, 모션 추정 계산을 완성시키려면, 완전한 참조 자료가 필요하다. 이 때문에 인터 필드 기법에서는 하드웨어 비용과 계산 비용이 주된 관심사항이다. 모션 보상 구현의 복잡성은 일반적으로 꽤 높으며, 많은 주문형 반도체를 포함하는 추가적인 하드웨어를 요구한다. 즉, 복잡한 모션 추정과 보상 동작을 수행하기 위한 추가적인 하드웨어가 필요하다.

종래 기술에서는 많은 인트라 필드 기법들이 에지 기반 선 평균 기법을 바탕으로 하고 있다. EELA는 유효하지 않은 픽셀을 그것의 위와 아래 픽셀의 평균값으로 보간하는 직접적인 기법이다. 하지만, 인터레이스된 이미지의 세로 해상도가, 이미지가 디인터레이스되기 전에는 절반의 해상도를 가진다는 것은 개선된 이미지의 품질을 줄이는 원인이 된다. 이러한 문제를 회피하기 위해, NEDD 기법이 개발되었다. 이 기법은 위, 아래뿐만 아니라 더 많은 방향을 고려하지만, 복잡한 이미지 영역에 대해서는 품질이 떨어지며, 결과적으로 품질이 저하된다. 이러한 결점들을 해결하기 위해, MELA와 LABI는 더욱 효과적으로 방향성 있는 공간 관계를 추정하기 위하여, 두 가지의 현실적인 측정을 사용한다. LCID는 4가지 단순한 다른 방향, 좌측 대각선, 우측 대각선, 가로, 세로의 차이점을 이용한다. EMD는 기존 Sobel mask 알고리즘(이미지의 에지를 감지하는 이미지 프로세싱 기법)으로 디인터레이스되도록 유효하지 않은 픽셀의 에지 방향을 추정하고, 감지된 에지 방향을 따라 디인터레이싱을 수행한다. 그리고 그 수행은, 결정된 에지 방향선상에 있는 유효한 두 개의 픽셀들 사이의 평균값을 이용하는 보간된 후보 픽셀을 이용한다. MCAD는 Wiener 필터링 이론에서 사용하는 인터레이스된 영역으로부터 로컬 공분산 계수를 계산하여, 이미지를 디인터레이스하기 위해서 최적의 "minimum mean squared error"(통계학 용어) 보간 계수를 사용한다. 하지만, MCAD는 다른 기법들에 비해 너무 느린 기법이다. LSMD는 2차 좌표 변수를 가지는 2차 방정식을 사용하는 지역 표면 모델을 기반으로 하고 있다. 다른 전통적인 기법들과 다르게, LSMD는 방향성 차이점 측정을 사용하지 않고, 그 결과로, 에지 방향에 대한 수많은 생각들에 대한 제한을 줄였다. 하지만, 다른 전통적인 기법들에 비해 높은 복잡도를 가진다.

따라서, 디인터레이싱의 핵심 역할인 정확한 에지 감지와 고품질의 보존이 필요하다.

본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 품질을 향상시키면서 인터레이스된 영역을 효과적으로 보간하는 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법 및 애플리케이션을 제공하는데 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법은, 인터레이스로 스캔된 신호를 티-놈(T-norm) 셀렉션하여 퍼지 메트릭을 구하는 단계와, 중심 누락 픽셀의 이웃 픽셀들을 상기 퍼지 메트릭을 이용하여 도메인 가우시안 필터와 영역 가우시안 필터 처리(양방향 필터)하는 단계 및 상기 양방향 필터 처리에 기초하여 최종 보간값을 결정하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 비디오 디인터레이싱을 위한 로버스터 퍼지 양방향 필터링 기법 및 애플리케이션에 의하면, 수정할 픽셀과 그 주위의 픽셀들 사이에 픽셀의 활동성과 방향을 적용하는 새로운 퍼지 메트릭 기반의 양방향 필터를 이용함으로써, 기존의 기법들과 비교하여, 가시적인 품질, 인터레이스된 이미지들의 PSNR, 그리고 비디오 연속성을 개선할 수 있다.

도 1은 일반적인 픽셀의 구성을 도시한 예시도.
도 2 및 도 3은 이미지와 비디오 장면을 도시한 예시도.
도 4는 인터레이스된 이미지와 다른 디인터레이싱 기법들을 적용한 결과를 나타낸 도면.
도 5는 본 발명에 의해 디인터레이싱된 이미지와 다른 기법에 의해 디인터레이싱된 이미지를 비교한 도면.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명의 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법 및 애플리케이션을 상세히 설명한다.

양방향 필터는, 세부 양식들을 보존하면서 노이즈를 최소화하는 비선형적인 필터이다. 이상적인 노이즈 제거 필터는, 흰 색의 임의 노이즈를 제거하면서 이미지 세부 양식을 보존한다. 최고의 노이즈 제거 필터는, 유효하지 않은 중심 픽셀과 인접 픽셀들 사이의 지리적 근접성과 광도 유사성을 고려한 양방향 기법이다.

달리 말하면, 양방향 필터는 범위의 관점에서 멀리 있는 픽셀보다는 가까운 픽셀을 선호한다. 퍼지(fuzzy) 필터는 특별한 타입의 양방향 필터이며, 이는 실제 세부 양식의 정확성을 유지하며 인공적인 픽셀의 노이즈 제거를 지원한다. 하지만, 퍼지 필터의 하나의 단점은 신호가 픽셀들의 상대적 위치를 고려한 정보를 포함하지 않는 벡터로 변형된다는 것이다.

일반적으로 디인터레이싱과 노이즈 제거는 같은 목표를 가지고 있다. 그것은 이미지의 세부 양식을 보존하면서 인공적으로 수정된 원치 않는 이미지 영역을 제거하는 것이다. 이러한 관찰로부터, 디인터레이싱을 위한 퍼지 메트릭을 사용하는 양방향 필터는 수정되었다.

달리 말하면, 본 발명은 수정할 픽셀과 그 주위의 픽셀들 사이에 픽셀의 활동성과 방향을 적용하는 새로운 퍼지 메트릭 기반의 양방향 필터를 제안한다.

문헌적으로, 이미지 프로세싱을 위해 수정된 양방향 필터를 적용하는 많은 기술들이 있다. Morillas는 부드럽게 수정된 회색과 색채 등급으로 다뤄지는 이미지 향상과 노이즈 제거 접근을 제안했다.[18] 그리고 그것은, 필터가 퍼지 메트릭을 위해 퍼지 최소-최대만 사용하는 어플리케이션에서, 이웃 색채 벡터들의 적절한 비선형 조합을 이용하여 이미지 세부 양식을 보존한다. 이런 목적으로 특정 부류의 퍼지 메트릭이 양방향 필터에서 사용되는 이미지 픽셀들 사이의 공간적인 근접성과 광도의 유사성의 관계를 모델화하는데 사용되었다. [19] 문헌에서, 저자는 노이즈 제거와 색조 매핑과 같은 이미지 조작을 위해 퍼지-중간값을 사용하는 양방향 필터를 제시했다. 이 필터는 표준 양방향 필터와 퍼지 중간값 필터에 의한 픽셀값의 추정으로 구성된다. 제안은 충격과 가우시안 랜덤(Gaussian random) 노이즈로 노이즈를 제거하도록 적용되었고, 또한 높은 동적인 범위의 이미지들의 색채 매핑 기법으로 적용되었다. [20] 문헌에서, 저자는 지역 강조 히스토그램 검사와 일반화된 퍼지 동작 접근을 이용하는 순응적인 양방향 필터를 제안했다. 제안이 디인터레이스 문제를 위한 것이었기 때문에, 본 발명은 모의실험 결과를 [20]의 성능 비교 섹션에 추가했다. 여기에 우리의 제안된 필터와 [18-20]에서 연구된 필터와의 차이점이 있다. [18]에 있는 필터는, 그것이 퍼지 메트릭을 위해 퍼지 최소-최대 기법만을 사용하는, 이미지 개선과 노이즈 제거 어플리케이션을 위해 제안되었다. [19]에 있는 필터는, [21]에 제안된 퍼지 중간값 필터로 전통적인 양방향 필터를 조합함에 의해 개발된 이미지 노이즈 제거 기법이 제안되었다. [20]에서, 저자는 그들의 디인터레이싱 시스템을 위해, 순응적인 양방향 필터(ABF)를 사용했다. 이 순응적인 양방향 필터는 원래, 저자가 그것을 어떤 수정없이 채택한 [22]에 제안되었다. 제안된 필터는 세 개의 인수 α, β, δ를 사용하며, 이들 인수들은 테스트 절차에 의해 결정된다. 게다가, 제안된 필터는 가중치가 부여된 평균 접근을 사용하고, 유사하게 값이 주어진 것들 사이의 표본들에게 높은 가중치를 부여한다.

1 제안된 알고리즘

1.1 양방향 필터를 위한 퍼지 메트릭

퍼지 기하학은 그것의 광범위한 실례 때문에 최근에 활동적인 연구 분야가 된, 퍼지 이론의 필수 분야이다. 퍼지 위상 기하학에서의 핵심 관심사는 퍼지 메트릭 공간의 적절한 개념을 얻는 것이다. 연속적인 t-norms의 도움으로, 집합 S에 대한 퍼지 메트릭Ψ 이 [23]에 소개되었다. 여기에서는 집합 S에 대한 위상 기하학을 유도한다. 달리 말하면, 집합 S의 위상 기하학은 퍼지 메트릭Ψ으로부터 추론된다. Ψ에 대한 관심은 주로 다음의 두 가지 장점들로부터 기인한다 :

1. Ψ로부터 얻은 결과는, 계산되는 거리 메트릭의 본성을 고려하지 않는 [0, 1]의 공간에 있다.

2. Ψ값들은 다른 퍼지 기법들과 완전히 일치한다. 왜냐면 Ψ로부터 주어진 결과는 정확히 퍼지 정도로서 간단히 이용될 수 있기 때문이다.

본 발명은 연속적인 t-norm을 이진 연산 ■: [0, 1] X [0, 1] → [0, 1]로 가정한다. 심볼■는, t-norm 최소값에서는 Τ_min, t-norm 곱에서는 Τ_prod, Lukasieviez t-norm (a■b = max {a + b - 1, 0})에서는 Τ_Luk로 표현된다. 일반적으로, 세 개 이상의 t-norm들이 퍼지 논리에 공통으로 사용되고, 그들은 a∧b ≥ a · b ·≥ L(a, b)를 만족한다. 본 발명은 Ψ공간이 정렬된 triple (S, Ψ, ■)라 부르며, 여기에서 S는 비어있지 않은 집합이며, 모든 s₁, s₂ ∈S에 대해, 다음의 세 요구조건들(R₁ ~ R₃)을 만족시킨다.

R₁ : Ψ_{(α, β, δ)}(s₁, s₂,■) 〉0;

R₂ : Ψ_{(α, β, δ)}(s₁, s₂,■) = 1 이기 위한, 필요충분 조건은 s1 = s2일 때;

R₃ : Ψ_{(α, β, δ)}(s₁, s₂,■) = Ψ_{(α, β, δ)}(s₂, s1,■);

여기서 인수 α, β, δ는 섹션 3.2 "인수의 튜닝"에 있는 테스트 절 이후에 선택된다. (S, Ψ, ■)는 Ψ공간이기 때문에, 이것은 단순히 (Ψ, ■)나, Ψ로 표현될 수 있으며, 이들은 집합 S에서의 Ψ을 말한다. Ψ_{(α, β, δ)}(s₁, s₂,■)의 값은 ■에 관하여 s₁으로부터 s₂로의 근접성의 정도로 여겨진다. 본 발명은 Ψ를 다음과 같이 정의한다.

(1)

여기서 ⊥(s₁, s₂) = Τ(1 - s₁, 1 - s₂)이다. 본 발명은 인수 δ가, (⊥(s₁, s₂))^α = 0을 회피하기 위해, 작은 양수라 가정한다.

2.2 퍼지 양방향 필터 기반 디인터레이싱

양방향 필터는 이미지 노이즈 제거와 이미지를 매끄럽게 하는데 이용되어 왔다[16]. 인접 픽셀들 사이의 지역적 특성들이 이미지를 매끄럽게 하는데 고려되기 때문에, 양방향 필터는 가장자리 세부 양식의 날카로움을 보호하는 능력을 가지고 있다. 이 섹션에서는, 완전한 프레임을 재생성하기 위해 인터레이스로 스캔된 신호를 디인터레이스하는 강력한 퍼지 양방향 필터가 제안된다. 퍼지 필터의 핵심 역할은 이진 공간-열 관계를 일반화하는 것이다. 퍼지 필터는 인공적인 결점을 줄이기 위한 목적으로 소개되었다. 입력 이미지가 필터 계수에 독립적이기 때문에, 평면에서의 보간을 위한 효과적인 필터는 가장자리 영역의 인공적인 결점을 흐릿하게 할지도 모른다. 따라서, 이미지를 보간할 때, 가장자리 세부 양식을 보존하는 것이 가치있는 일이다. 이것은 다음과 같은 제약, "만약 x_{(i+k, j+l)}이 x_{(i, j)}에 근접하다면, 출력값 x^out _{(i, j)}에 대한 그것의 영향은 크다"에 의해 완료될 수 있다.

x^out _{(i, j)} =

(2)

여기서 i와 j는 행과 열의 숫자들이고 x_{(i, j)}와 x^out _{(i, j)}은 낮은 해상도의 인터레이스된 이미지로 저하되고, 높은 해상도의 이미지로 다시 훌륭하게 생성된다. 필터 계수 h_(I,J;K,L)은 다음과 같은 제약을 따른다.

(3)

함수 h_(I,J;K,L)은 멤버쉽 함수로 표현된다. 이들 요구사항들을 만족시키는 함수는 많다. 예를 들면, 가우시안 멤버쉽 함수는 양방향 필터 사례에 이용되며, 여기서 필터 계수 h_(I,J;K,L)는

(4)

여기서 σ는 입력의 범위 인수를 나타내고, 퍼지 필터의 길이를 제어한다. 전통적인 양방향 필터는 로우 패스 가우시안(low-pass Gaussian) 필터를 수용하며, 로우 패스 가우시안 필터는 영역 필터와 다음과 같이 계산되는 범위 필터 r^BF _(I,J;K,L)를 위한 것이다.

(5)

여기서 σ_D와 σ_R은 가우시안 필터의 영역(D)와 범위(R)의 표준편차이다. 그리고 r^BF _(I,J;K,L)는 이웃 픽셀 x_{(i+k, j+l)}의 가중치이다. 영역 로우 패스 가우시안 필터는, 중심 픽셀 x_{(i, j)}에 공간적으로 가까운 이웃 픽셀들에게 높은 가중치를 양보한다. 반면에, 범위 로우 패스 가우시안 필터는, 중심 픽셀과 강도의 관점에서 유사한 이웃 픽셀들에게 높은 가중치를 양보한다. 하지만 표준 양방향 필터는 원래 매끈하게 하는 필터이며, 그것은 현저히 개선될 수 있다. 세부 양식의 날카로움을 강화하기 위해, 본 발명은 Ψ를 가우시안 필터로 교체해서 이 필터를 조금 수정했다. 가우시안 필터는 단 하나의 인수σ 만 갖는 반면, 본 발명의 필터는 성능을 최적화하기 위해 Ψ가 세 개의 인수들을 가진다.

(6)

여기서 인수 α_D, β_D, α_R, β_R는 방정식(1)에서 정의된 실가(real value)이고, δ_D, δ_R는 (⊥(s₁, s₂))^α = 0을 회피하기 위해, 작은 양수라 가정한다. RF-BF는 영역 필터와 범위 필터를 위해 퍼지 메트릭 Ψ을 채용한다. 도메인 퍼지 메트릭 Ψ(α_D, β_D, δ_D)은 공간적으로 센터 픽셀에 가까운 픽셀에 높은 가중치를 산출한다. 여기서 퍼지 메트릭 특성은 미리 결정된 세 개의 매개변수 α_D, β_D, ■_D에 의해 주어진다. 이와 동일하게 영역 퍼지 메트릭 Ψ(α_R, β_R, δ_R)은 그레이 밸루의 중심 픽셀과 유사한 픽셀에 높은 가중치를 부여한다. 여기서 퍼지 메트릭 특성은 사전에 결정된 매개 변수에 의해 주어진다. 본 발명은 x_{(i, j)}의 픽셀 강도를 (i, j)라 가정하고, 여기서 i는 열 번호이고, j는 행번호이며, x_{(i, j)}는 보간될 중심 누락 픽셀이다. W는 Sw*Sw 사이즈의 필터링 윈도우로 나타내고, Sw=2N+1N=1,2,3,.....,여기서 s_w=S²w 픽셀을 포함한다. 필터링 윈도우는 처리될 화소를 중심으로 한다. W 내 픽셀들은 x(i, j)로 상징되고, k, l={-N, ……., -1, 0, 1, …., N}이다. 도 1은 Sw=3인 경우를 도시한다.

RF-BF를 적용하기 위해, 본 발명은 센터 픽셀 x(i, j), 나중 업데이트 x_{(i, j)}를 알아야 한다. 본 발명은 x_{(i, j)}에서 디인터레이스 누락 픽셀을 시험적으로 얻기 위해 라인 평균(LA, h^BF _{(i, j;k,l)} =[1 1]/2) 필터를 적용한다.

(7)

그러나, 동작 개선을 위해서, 본 발명은

와

에 의해 주어진 six-tap Wiener filters 또는

에 의해 주어진 twelve-tap Wiener filters와 같은 다른 필터를 적용해야 한다.

우리 알고리즘에서, 여덟개의 이웃 픽셀들, x_{(i-1, -1)}, x_{(i-1, 0)}, x_{(i-1, 1)}, x_{(i+1, -1)}, x_{(i+1, 0)}, x_{(i+1, 1)}, x^hWF _{(6,32)(i, -1)}, x^hWF _{(6,32)(i, 1)}은 (i, j)의 누락 센터 픽셀을 디인터레이스하기 위해 이용된다.

r^RF-BF _(i,j;k,l)이 이전 절에서 계산된 것을 상기해보면, 결론적으로 제안된 RF-BF 방법은 누락 픽셀 r^RF-BF _(i,l)을 계산한다:

(8)

여기서

, N은 섹션 3.2에서 결정된다.

3 실험 결과

3.1 테스트 조건

모의시험은 RF-BF 접근의 효율성을 입증하기 위해서 수행된다. 몇몇 기법들의 품질은 가시적인 품질과 PSNR의 관점에서 비교된다. 제안이 검은색과 흰색 이미지로 의도되었다는 사실을 주목하라. 비교를 위해, Chen[6], Park[7], Kim[8], Lee[9], Chen[10], Kang[11], Yang[12], Park[13, 14]에 의해 제안된 디인터레이싱 기법들은 구현된다. 도 2, 도 3, 표 1은 이미지와 비디오 장면들을 보여준다. 해상도, 길이, 움직임의 존재와 같은 간단한 묘사를 [25]에서 찾을 수 있다. 테스트 순서와 실험 순서를 공정하게 구별하기 위해, 본 발명은 A에서 G로 시작하는 순차적인 이름을 도 2에서 보듯이 테스트 순서로 여기고, 나머지(도 3에서 보듯이 K에서 Z로 시작하는 순차적인 이름)를 실험 순서로 여긴다. 편리함을 위해, 각각의 순서의 첫 30프레임이 모의실험을 수행하기 위해 표본으로 선택되었다. 제안된 알고리즘을 입증하기 위해, 본 발명은 Intel i5 CPU에서 동작하는 MATLAB을 사용하여 모의실험을 수행하였다.

3.2 인수들의 튜닝

RF-BF의 효율성을 보여주기 위해서는, RF-BF의 적절한 설정이 중요하다. 본 발명은 Sw를 위한 최적 수 N을 결정해야 한다. 그리고나서, 방정식(1)로부터 세 개의 인수 α, β, δ를 튜닝해야 한다. 큰 필터가 더 좋은 성능을 보일 것이라는 가정이 있다. 하지만, 테이블1에서 보듯이, 최상의 성능은 N = 1(Sw = 3)일 때 얻어진다. 이것은 지역성 때문일 것이다. 윈도우 크기가 증가하면 코너와 중앙 픽셀들 사이의 유사성의 기회는 줄어든다는 것은 명백하다. 달리 말하면, 모의실험 복잡성은 높아질 수 있다. 따라서, 큰 N값은 항상 최상의 성능을 보장해 주지는 않는다.

세 개의 인수 α, β, δ를 튜닝하기 위해서, 본 발명은 10개의 순서를 사용했다. 지역적 최소 이슈를 회피하기 위해, 본 발명은 α, β, δ 인수들을 전체적으로 추정했다. 본 발명은α, β, δ의 최적값의 범위는 0.1 ≤β≤ 2.0, 1≤β≤20, 1≤α≤40으로 가정한다. 본 발명은 20 X 20 X 40 = 16,000 개의 가능한 (α, β, δ) 인수 집합을 가졌다. 모의실험 이후, 본 발명은 (α, β, δ)= (0.8, 16, 21) 인수 집합이, 평균 MSE 27.9042를 제공하는 최상의 선택이라는 것을 발견했다.

3.3 성능 분석

제안된 기법의 성능을 보여주기 위해, 본 발명은 이 섹션에서 몇몇의 실험적인 결과를 제공한다. 가시성 품질을 평가하기 위해, 인터레이스된 이미지인 Barbara에 다른 디인터레이싱 기법들을 적용한 결과를 도 4에서 볼 수 있다. 본 발명은 우리의 접근의 결과를 도 4_1에 제공하며, 이는 실험 절차에서 얻어진 같은 인수값을 사용한다. 다른 디인터레이싱 기법들을 상세히 비교하기 위해, 본 발명은 도 4_c에서 보듯이, 이미지의 부분을 확대했다. NEDD, EMD, LCID, MELA, LABI, FEPD, MCAD, LSMD, ABF와 같은 전통적인 기법들에 의해 디인터레이싱된 몇몇의 결과들은 도 4_c~k에서 볼 수 있다. 본 발명은 전통적인 기법들이 더욱 매끈함을 강조해 와서, 세부적인 표현을 잃었다는 것을 관찰했다. 예를 들면, 본 발명은 도 4_c~k에서 보여지듯이, 숙녀의 모자 패턴이 잘못된 가장자리 방향으로 인해 잘 재생성되지 않았음을 관찰했다. 더욱이, 많은 인공적인 결점들이 얼굴에서 보였다. 도 4_c~e에서는, 잘못 계산된 가장자리 방향으로 인하여, 본 발명은 모자에서, 선 주위의 영역들이 얼룩진 몇몇의 인공적인 결점들을 볼 수 있다. FEPD와 MCAD로부터의 결과는 더 심각한 계단 현상을 포함하는 경향이 있다. RF-BF는, 가시적인 인공 결점들이 적고 잘 구축된 가장자리 방향으로 인한, 깨끗한 이미지들을 제시했다. 더욱이, RF-BF는 보간 이후에, 가장자리의 섬세함과 세부적인 표현의 보존을 향상시켰다. 모자에 있는 aliasing, 흐릿함, 인공 결점은 도 4_1에서 보듯이 제거되었다. 이러한 가시적인 결과로 인해, 제안된 RF-BF 필터가, 전통적인 기법들에 비하여 인공 결점을 줄일 수 있기 때문에, 가장 좋은 품질을 가진다는 것은 명백하다. 주관적인 품질 평가를 허락하기 위해, 도 5는 Bike 이미지와, 다른 전통적인 디인터레이싱 기법들로부터의 디인터레이싱된 결과로부터 원본 부분의 상세함을 보여준다. Bike는 많은 수평선, 수직선, 대각선의 가장자리를 가지는 이미지라는 사실에 주목하라. NEDD는 최고의 가장자리 보간을 얻게 하며, 특히, 대각선에 대해서는 더 뛰어나다. 하지만, 상세화된 대각선 가장자리 영역에 있어, 가장자리 방향이 일관적이지 않다는 NEDD의 심각한 결점이 있다. MCAD는 대부분의 패턴들에 있어, 꽤 좋은 가시적인 품질을 보여준다. 하지만, 디인터레이스된 패턴의 하낭의 가장자리 방향은 변경되어 왔다(4번째 열, 4번째 행 방향 : 135도 방향은 45도 가장자리 방향으로 변경되어 왔다). 반면, 제안된 RF-BF 필터로부터의 결과 이미지는 만족할만한 결과를 보여준다. 이러한 가시적인 결과들로부터, 제안된 RF-BF 필터가 가장 좋은 품질을 가진다는 것은 명백하다. 왜냐면 전통적인 기법들에 비해, 인공 결점을 줄이는 것이 가능하기 때문이다.

테이블 2와 4에 있는 수치적인 결과들은 PSNR을 dB로 지원하고, CPU time 결과를 초로 지원한다. PSNR의 관점에서 최상의 결과는, 여러 전통적인 기법들에 이어서 나온 RF-BF에 의해 얻어진다. 괄호속에 있는 숫자들이 전통적인 방법과 RF-BF 사이의 PSNR 차이점이라는 사실에 주목하라. (테이블 3).

테이블 5로부터, 제안된 RF-BF가 MELA, EELA, LCID, ABF보다는 더 복잡성을 요구한다는 것은 명백하다. 하지만, RF-BF는 NEDD, EMD, LABI, FEPD, MCAD와 비교해서는, 평균 CPU 소모 시간을 96.51, 28.21, 85.81, 92.96, 89.96, 53.60% 까지 줄인다. 따라서, 가시적이고 주관적인 최고의 성능외에도, RF-BF는 또한 PSNR의 관점에서 최고의 객관적인 성능을 보인다.

RF-BF의 좋은 성능에도 불구하고, 제안된 기법의 계산 시간은 병렬 아키텍처를 사용함으로써 감소될 수 있다. 그래픽 처리기(GPU)는 계산 작업을 가속시키기 위한 흥미로운 대체 기능을 제공한다. 본 발명은 RF-BF의 GPU 기반 병렬 버전을 상당한 능률에 덧붙여 테스트 했다. 우리의 원본 소프트웨어는 Matlab에서 구현되었다. 따라서 본 발명은 그것을 우선 C언어로 바꾸고 나서, 다시 CUDA C언어로 바꾸었다[26, 28]. 테이블5는 GTX590의 단일 GPU환경에서, ADT가 있을 때와 없을 때의 실험 결과를 보여준다. I/O(file read, write)를 포함하여, 작업 시간은, CPU를 사용했을 때 0.6061초에서, 단일 GPU를 사용했을 때 0.0168초로 감소했다. 더욱이 우리가 I/O 비동기 데이터 전송(ADT)를 사용할 때, 작업 시간은 0.0122초가 되었다.

본 발명에서 상기 언급한 바와 같이 디인터레이싱을 위한 강력한 퍼지 양방향 필터가 제안된다. 이 기법은 퍼지 메트릭을 바탕으로 도메인과 영역 필터를 고려한다. 이 특징은 유효한 픽셀 활동과, 유효한 이웃 픽셀들과 유효하지 않은 픽셀들과의 연관된 위치에 모두 순응적으로 적용된다. 퍼지 메트릭의 인수들은 계속 튜닝되어 왔고, 테스트 절차에 의해 적절한 값들이 얻어졌다. 제안된 RF-BF는 기존의 기법들과 비교하여, 가시적인 품질, 인터레이스된 이미지들의 PSNR, 그리고 비디오 연속성 등을 개선한다.

이상에서 설명된 본 발명의 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법 및 애플리케이션의 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

Claims (4)

1. 인터레이스로 스캔된 신호를 티-놈(T-norm) 셀렉션하여 퍼지 메트릭을 구하는 단계;
   중심 누락 픽셀의 이웃 픽셀들을 상기 퍼지 메트릭을 이용하여 도메인 가우시안 필터와 영역 가우시안 필터 처리(양방향 필터)하는 단계; 및
   상기 양방향 필터 처리에 기초하여 최종 보간값을 결정하는 단계를 포함하는 것을 특징으로 하는, 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법.
2. 제1항에 있어서, 상기 퍼지 메트릭을 구하는 단계는,
   

   

   
   여기서 심볼■는 t-norm 최소값에서는 Τ_min, t-norm 곱에서는 Τ_prod, Lukasieviez t-norm (a■b = max {a + b - 1, 0})에서는 Τ_Luk로 표현되고, 세 개 이상의 t-norm들이 퍼지 논리에 공통으로 사용되고, 그들은 a∧b ≥ a · b ·≥ L(a, b)를 만족하며, 상기 퍼지 메트릭 Ψ공간이 정렬된 triple (S, Ψ, ■)라 부르며, 여기에서 S는 비어있지 않은 집합이며, 모든 s₁, s₂ ∈S에 대해, 다음의 세 요구조건들(R₁ ~ R₃)
   R₁ : Ψ_{(α, β, δ)}(s₁, s₂,■) 〉0;
   R₂ : Ψ_{(α, β, δ)}(s₁, s₂,■) = 1 이기 위한, 필요충분 조건은 s1 = s2일 때;
   R₃ : Ψ_{(α, β, δ)}(s₁, s₂,■) = Ψ_{(α, β, δ)}(s₂, s1,■);을 만족시키는 것을 특징으로 하는, 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법.
3. 제2항에 있어서, 상기 양방향 필터는,
   

   

   이고,
   여기서 인수 α_D, β_D, α_R, β_R는 실가(real value)이고, δ_D, δ_R는 (⊥(s₁, s₂))^α = 0을 회피하기 위해 가정된 작은 양수인 것을 특징으로 하는, 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법.
4. 제3항에 있어서, 상기 최종 보간값을 결정하는 단계는,
   

   

   과 같은 식에 의해 결정되며,
   여기서,

   

   인 것을 특징으로 하는 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법.

Images