KR101884371B1

KR101884371B1 - 영상 업 샘플링을 위한 적응형 필터 및 그를 이용한 필터링 방법

Info

Publication number: KR101884371B1
Application number: KR1020170091124A
Authority: KR
Inventors: 전광길
Original assignee: 인천대학교 산학협력단
Priority date: 2017-07-18
Filing date: 2017-07-18
Publication date: 2018-08-02

Abstract

본 발명은 영상 업 샘플링을 위한 적응형 필터 및 그를 이용한 필터링 방법에 관한 것이다.
또한, 본 발명은 인터레이싱 영상을 입력받는 영상 입력부; 상기 영상 입력부에서 입력받은 인터레이싱 영상에 대하여 윈도우를 설정하여 윈도우를 이동하면서 해당 영역의 복잡도를 판별하는 복잡도 판별부; 상기 복잡도 판별부에서 평평 영역으로 판별된 영역에 대하여 단일 필드 디인터레이싱을 수행하는 단일 필드 디인터레이싱부; 상기 복잡도 판별부에서 복잡 영역으로 판별된 영역에 대하여 가중 평균 보간을 수행하는 가중 평균부; 및 상기 단일 필드 디인터레이싱부와 가중 평균부의 출력을 합성하여 출력하는 출력부를 포함하는 영상 업 샘플링을 위한 적응형 필터 및 그를 이용한 필터링 방법을 제공한다.

Description

영상 업 샘플링을 위한 적응형 필터 및 그를 이용한 필터링 방법{An adaptive filter for image upsampling and filtering method using the same}

본 발명은 영상 업 샘플링을 위한 적응형 필터 및 그를 이용한 필터링 방법에 관한 것이다.

인터레이스된 필드는 전체 해상도 프레임 샘플의 절반을 포함하며, 프레임의 홀수(또는 짝수) 라인만 스캔되어 표시된다[1].

디인터레이싱은 인터레이스 비디오를 프로그레시브 비디오로 변환하는 절차이다[2].

일반적으로 인터레이스 신호는 두 개의(짝수 및 홀수) 필드로 구성되며 각 필드는 순차적으로 스캔되어 표시된다.

CRT 기반의 디스플레이는 완벽한 아날로그 속성[3,4] 때문에 인터레이스 신호를 올바르게 표시할 수 있다. 그러나 최신 디스플레이는 본질적으로 디지털이므로 인터레이스 신호의 중요성은 점점 줄어들고 있다.

누락된 픽셀을 보간하기 위한 다양한 접근법이 있으며, 각각 다양한 문제 또는 원하지 않는 아티팩트를 유발한다. 대부분의 디인터레이싱 방법은 세 가지 다양한 그룹으로 분류할 수 있다.

첫 번째 범주는 필드 조합을 기반으로 한 디인터레이싱 방식으로 명명된다. 이 범주에서 디인터레이싱 방법은 짝수 및 홀수 필드를 가져 와서 한 프레임으로 병합한 다음 프로그레시브 형식 TV에 표시할 수 있다.

두 번째 범주는 필드 확장을 기반으로 하는 디인터레이싱 방식으로 명명된다. 이 방법에서는 각 필드가 전체 화면으로 확장되어 프레임을 정렬한다. 필드는 풀 프레임보다 수직 해상도가 절반씩 떨어진다. 세 번째 범주는 모션 추정 및 보상을 기반으로 하는 디인터레이싱 방식이다.

한편, 시간 정보 움직임 보상(MC) 방법 [5-19]을 사용하는 방법이 있다. 이러한 방법은 현재 필드뿐만 아니라 이웃 프레임도 사용한다. 따라서 MC 기반 방법은 더 나은 결과를 제공한다.

이와 같은 비-MC 방법은 누락된 픽셀을 올바르게 보간하지 않는다. 일반적으로 MC 방법은 비-MC 방법보다 우수한 화질을 제공한다. 그러나, MC 방법은 또한 더 높은 계산 비용을 필요로 한다. 여기에서는, 비-MC 방법에 초점을 맞춘다.

단일 필드 디인터레이싱 방법은 방향 보간 기반 방법 및 가중 평균 기반 방법의 두 가지 카테고리를 갖는다.

단일 필드 디인터레이싱 방법의 다양한 예들이 있다. 방향 보간법은 에지 맵 기반 디인터레이싱(EMD), 디인터레이싱을 위한 낮은 복잡도 보간법(LCID), 수정된 ELA(MELA), 국부 적응형 임계값 바이너리 이미지(LABI)를 사용하는 디인터레이싱 및 미세 에지 보존 디인터레이싱(FEPD)이 있다.

가중 평균 기반 방법의 일부 예로는 공분산 기반 적응형 디인터레이싱 (MCAD), 국부 표면 모델 기반 디인터레이싱(LSMD) 및 최소 자승 기반 주파수 도메인 필터 기반 디인터레이싱(FFD)이 있다.

[1] C. J. Kuo, C. Liao, and C. C. Lin, "Adaptive interpolation technique for scanning rate conversion," IEEE Trans. Circuits and Syst. Video Technol., vol. 6, no. 3, pp. 317-321, March 1996. [2] T. Doyle, "Interlaced to sequential conversion for EDTV application." in Proc. 2nd Int. Working Processing of HDTV, Feb. 1998, pp. 412-430. [3] J. Kovacevic, R. J. Safranek, and E. M. Yeh, "Deinterlacing by successive approximations," IEEE Trans. Image Process., vol. 6, no. 2, pp. 339-344, Feb. 1997. [4] A. Skarabot, G. Ramponi, and D. Toffoli, "Image sequence processing for videowall visualization," in Proc. SPIE Nonlinear Image Processing Xl, vol. 3961, pp. 138-147, 2000. [5] G. Jeon, M. Anisetti, D. Kim, V. Bellandi, E. Damiani, and J. Jeong, "Fuzzy rough sets hybrid scheme for motion and scene complexity adaptive deinterlacing," Image and Vision Computing, vol. 27, no. 4, pp. 425-436, March 2009. [6] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani, and J. Jeong, "Designing of a type-2 fuzzy logic filter for improving edge-preserving restoration of interlaced-to-progressive conversion," Information Sciences, vol. 179, no. 13, pp. 2194-2207, June 2009. [7] G. Jeon, M. Anisetti, J. Lee, V. Bellandi, E. Damiani, and J. Jeong, "Concept of linguistic variable-based fuzzy ensemble approach: application to interlaced HDTV sequences," IEEE Trans. Fuzzy Systems, vol. 17, no. 6, pp. 1245-1258, Dec. 2009. [8] K. Kang, G. Jeon, and J. Jeong, "A single field interlaced to progressive format conversion," in Proc. IASTED Signal and Image Processing (SIP), 2009, pp. 132-137. [9] P.-Y. Chen and Y.-H. Lai, "A low-complexity interpolation method for deinterlacing," IEICE Trans. Inf. & Syst., vol. E90-D, no. 2, Feb. 2007. [10] J. Lee, Y. Kim and G. Jeon, "Reconfigurable Motion Estimation with Adaptive Search Range," IJSEIA Vol. 7, No.2, March 2013, pp. 149-156. [11] G. Jeon, E. Kim and N. K. Kim "Optical Illusion using Histogram Analysis," IJSEIA Vol. 9, No.3, March 2015, pp. 137-146. [12] Y.-S. Lee, "Active Tip Pointing Control of a Lightly Damped Beam using Integral-Derivative Feedback Control," IJCA Vol. 6, No. 2, April 2013, pp. 355-366. [13] Y.-S. Lee, "Mismatch Analysis between a Piezoelectric Actuator and Half-Length Sensor on a Beam," IJCA Vol. 6, No. 3, June 2013, pp. 139-148. [14] X. Liu, J. Li, and G. Kang "A Smart Energy-efficiency Deployment Scheme for Lifetime Enhancement in Large-scale Wireless Sensor Networks," Journal of the Korea Academia-Industrial cooperation Society, vol. 16, no. 2, pp. 591-601. [15] D.-K. Park and J.-S. Lee, "Comparison of the Surface Roughness according to the Workpiece Materials of Turning Operations," Journal of the Korea Academia-Industrial cooperation Society, vol.16, no.2, pp. 940-946, February 2015. [16] J.-H. Seo and M.-Y. Lee, "Numerical Analysis on Cooling Characteristics of the Heat Sink for Amplifier," Journal of the Korea Academia-Industrial cooperation Society, vol. 16, no. 2, pp. 947-951, February 2015. [17] K.-R. Kim and Y.-S. Kim, "Development of the hot ring rolling processes for multilayered ring parts with a large outer diameter," Journal of the Korea Academia-Industrial cooperation Society, vol.16, no.2, pp. 952-962, February 2015. [18] S.-Y. Baek, "Characteristics Analysis of CVT with Built-in Crank for Bicycle," Journal of the Korea Academia-Industrial cooperation Society, vol.16, no.2, pp. 963-969, February 2015. [19] C.-K. Hah, Y.-K. Jang, and J.-S. Ki, "Biomechanical Analysis of Key Motion on BoA's No. 1 in K-Pop Dance," Journal of the Korea Academia-Industrial cooperation Society, vol.16, no.2, pp. 970-977, February 2015.

본 발명에서는 평면 및 복잡한 영역으로 영역을 구별하여 평평한 영역에는 쌍 선형 보간을 적용하고 복잡한 영역에는 수정 쌍 선형 보간을 적용하는 영상 업 샘플링을 위한 적응형 필터 및 그를 이용한 필터링 방법을 제공하는 데 있다.

본 발명에서는 영상 업 샘플링을 위한 적응형 필터 및 그를 이용한 필터링 방법을 제시한다.

모든 픽셀은 평평한 영역과 복잡한 영역의 두 영역으로 분류된다.

그런 다음, 가장 단순한 방법, 즉 쌍 선형 보간이 평평한 영역에 적용되고, 가중 평균법이 복잡한 영역에 적용된다.

상기와 같은 본 발명에 따르면, 모든 픽셀은 평평한 영역과 복잡한 영역의 두 영역으로 분류되며, 가장 단순한 방법, 즉 쌍 선형 보간이 평평한 영역에 적용되고, 가중 평균법이 복잡한 영역에 적용되도록 하여 처리 속도 등을 높일 수 있으며, 보간 성능이 향상되도록 한다.

도 1은 방향 기반 디인터레이싱 윈도우의 예이며, 화살표는 에지 방향을 나타내고, x (i, j)는 보간 될 픽셀이며, 노란색 픽셀은 기존 픽셀을 나타내며 대시 픽셀은 누락된 픽셀을 나타낸다.
도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 업 샘플링을 위한 적응형 필터를 나타내는 구성도이다.
도 3은 3 × 3 윈도우 W _{(3 × 3)}를 나타낸다.
도 4는 본 발명의 바람직한 일 실시예에 따른 이미지 업 샘플링을 위한 적응형 필터를 이용한 필터링 방법의 흐름도이다.
도 5는 테스트 이미지의 예를 보여주며, (a) 비행기 (AI), (b) 아키요(AK), (c) 바바라(BA), (d) 블루스키(BL), (e)보트 (BO), (f)버스 (BU), (g)도시 (CI), (h)손가락 (FI), (i)축구 (FO) 및 (j) 소녀 (GI)를 나타낸다.
도 6은 종래 디인터레이싱 방법과 본 발명의 디인터레이싱 방법의 비교를 보여주며, (a) 기존의 BL 영상, (b)DCAD, (c)EELA, (d)EMD, (e)FEPD, (f)LABI, (g)LCID, (h)LSMD, (i)MCAD 및 (j) 본 발명의 방법에 의해 처리된 영상을 나타낸다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.

이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

먼저 LCID(Low-Complexity Interpolation for Deinterlacing) 방법을 고려한다. x (i, j)는 매개 변수 i와 j가 열과 행 번호인 채울 픽셀을 나타낸다.

누락된 현재 픽셀을 채우기 위해, 2 차원 국부 2차원 윈도우가 도 1에 도시된 바와 같이 채택된다.

도 1은 방향 기반 디인터레이싱 윈도우의 예이며, 화살표는 에지 방향을 나타내고, x (i, j)는 보간 될 픽셀이다. 노란색 픽셀은 기존 픽셀을 나타내며 대시 픽셀은 누락된 픽셀을 나타낸다.

매개 변수 u, d, l, m 및 r은 각각 위, 아래, 왼쪽, 중간 및 오른쪽을 의미한다. 보간 대상 픽셀의 상위 스캔 라인에 위치하되 보간 대상 픽셀를 기준으로 좌측에 위치한 픽셀를 ul, 중간에 위치한 픽셀를 um, 우측에 위치한 픽셀를 ur, 보간 대상 픽셀의 하위 스캔 라인에 위치하되 보간 대상 픽셀를 기준으로 좌측에 위치한 픽셀를 dl, 중간에 위치한 픽셀를 dm, 우측에 위치한 픽셀를 dr라고 할 수 있다.

지배적인 에지 방향을 계산하기 위해 다음과 같이 p, q, r 및 s로 표시된 4 개의 방향성 휘도 차이를 사용할 수 있다.

수학식 1에 나타난 바와 같이 4개의 공간적 코릴레이션(Directional Corrlation)을 사용하여 국부 에지 방향(Local Edge Direction)을 결정한다

(수학식 1)

p=｜ul-dm｜+｜um-dr｜,

q=｜um-dl｜+｜ur-dm｜,

r=2｜um-dm｜,

s=｜um-ul｜+｜dm-dl｜.

산출된 공간적 코릴레이션을 이용하여 보간 대상 픽셀의 픽셀값을 보간할 수 있다. 디인터레이스 된 픽셀은 수학식 2와 같이 추정할 수 있다.

(수학식 2)

수학식 2에서 LCID 방법은 s = 0 일 때 이전에 보간 된 정보를 사용한다는 것을 알 수 있다.

그러나, 이 방법은 이미지가 노이즈에 의해 오염될 때 에러 전파를 유발할 수 있다. 이 문제를 완화하기 위해 가중 평균법을 제안한다.

도 2는 본 발명의 일실시예에 따른 영상 업 샘플링을 위한 적응형 필터의 구성도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 영상 업 샘플링을 위한 적응형 필터는 영상 입력부(10), 복잡도 판별부(20), 단일 필드 디인터레이싱부(30), 가중 평균부(40) 및 출력부(50)를 포함하고 있다.

상기 영상 입력부(10)는 인터레이싱 영상을 입력받는다. 이와 같은 영상 입력부(10)가 입력받은 인터레이싱 영상에 대하여 (i, j)는 크기 V × H의 원래 인터레이싱 영상 X_in의 각 픽셀의 공간 데카르트 좌표를 나타내고, x(i, j)는 위치(i, j)에 있는 픽셀의 계조값이다. 여기서 0≤x (i, j) ≤255이다.

여기에서 X_in은 인터레이싱 영상 신호이며 X_in의 수직 해상도는 반으로 줄어들며 X_in의 수직으로 짝수 번째 픽셀은 사용할 수 없다.

x(i, j)의 휘도는 0부터 255까지이다. (i, j)를 중심으로 하는 크기 M × N의 윈도우(W)에 위치하는 픽셀은 다음 수학식 3과 같이 표현된다.

(수학식 3)

여기서 수직 및 수평 크기 M 및 N은 홀수(M, N≥3)이고, 파라미터 m 및 n은 각각 수직 및 수평 픽셀 변위이고, -(M /2)≤m≤(M/2) 및 -(N/2)≤2n≤ (N/2)이다.

중심 픽셀 x(i, j)는 p⁰로 표시된다. 그 다음, 인접 픽셀들의 픽셀 세트는 윈도우 W 내의 x (i, j)는 P¹,P²,...,P^M*N-1로 표시된다.

예를 들어, (M, N) = (3,3) 또는 (M, N) =(5, 5) 일 때, 윈도우 W_{(3 × 3)} 및 W_{(5 × 5)}의 모든 픽셀은 다음 수학식 4 또는 수학식 5와 같다:

(수학식 4)

(수학식 5)

도 3은 3 × 3 윈도우 W _{(3 × 3)}를 나타낸다. i 번째 행 (p⁸ = x (i, j-1), p⁰ = x (i, j), p⁴ = x (i, j + 1))의 3 개의 이용 불가능한 픽셀이 누락되어 있다.

다음으로, 복잡도 판별부(20)는 지역 복잡도(Degree of Local Complexity, DoLC)를 산출하여 평평한 영역인 경우에는 단일 필드 디인터레이싱부(30)로 출력하고, 복잡한 영역인 경우에는 가중 평균부(40)로 출력한다.

복잡도 판별부(20)는 다음 수학식 6을 사용하여 지역복잡도를 산출할 수 있다. 지역 복잡도는 보간 대상 픽셀의 상위 스캔 라인의 3개의 픽셀와 하위 스캔 라

인 3개의 픽셀를 사용하여 디인터레이싱을 수행할 수 있다.

(수학식 6)

DoLC=｜p¹-p⁷｜+｜p²-p⁶｜+｜p³-p⁵｜

이처럼 지역 복잡도는 보간 대상 픽셀의 상위 스캔 라인에 위치한 3개의 픽셀와 하위 스캔 라인에 위치한 3개의 픽셀값의 차이를 각각 더한 값으로 산출될 수 있다.

즉, 지역 복잡도가 클수록, 상위 스캔 라인의 픽셀값과 하위 스캔 라인 픽셀값의 차이가 커지게 되고 이러한 특성을 통해 디인터레이싱 방법을 적응적으로 사용할 수 있다.

본 발명의 일실시예에 따르면, 보간 대상 픽셀의 지역 복잡도는 위 스캔 라인에 위치한 3개의 픽셀와 하위 스캔 라인에 위치한 3개의 픽셀값의 차이를 각각 더한 값으로 산출되지만, 본 발명의 본질에서 벋어나지 않는 한 상위 및 하위 스캔라인에 포함된 지역 복잡도를 산출하기 위한 픽셀의 수는 달라질 수 있다.

한편, 단일 필드 디인터레이싱부(30)는 평평한 영역을 입력받은 경우에, 단일 필드 디인터레이싱 보간법으로 보간을 수행한다. 단일 필드 디인터레이싱 방법의 다양한 예들이 있다. 방향 보간법은 에지 맵 기반 디인터레이싱(EMD), 디인터레이싱을 위한 낮은 복잡도 보간법(LCID), 수정된 ELA(MELA), 국부 적응형 임계값 바이너리 이미지(LABI)를 사용하는 디인터레이싱 및 미세 에지 보존 디인터레이싱(FEPD)이 있다.

다음으로, 가중 평균부(40)는 복잡한 영역을 입력받은 경우에 디인터레이싱 방법 중 선형 평균 보간법(LA: Line Average)을 사용하여 누락 픽셀에 대한 1차 보간을 수행하며, 아래의 수학식 7과 같이 위, 아래의 픽셀값의 평균을 이용하여 보간 대상 픽셀의 픽셀값을 보간할 수 있다.

(수학식 7)

p⁸=1/2(p¹+p⁷), p⁰=1/2(p²+p⁶), p⁴=1/2(p³+p⁵)

그리고, 가중 평균부(40)는 아래 수학식 8의 수식을 사용하여 가중 평균하여 2차 보간을 수행한다.

(수학식 8)

파라미터 k는 p⁰ 주변의 픽셀의 식별자이며, ω^k는 가중 파라미터이며, p^k는 윈도우의 픽셀이다.

출력부(50)는 단일필드 디인터레이싱부(30)에서 보간된 픽셀과 가중 평균부(40)에서 보간된 픽셀을 합성하여 전체 영상을 생성하여 출력한다.

도 4는 본 발명의 일실시예에 따른 영상 업 샘플링을 위한 적응형 필터를 이용한 필터링 방법의 흐름도이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 영상 업 샘플링을 위한 적응형 필터를 이용한 필터링 방법은 먼저 영상 입력부가 인터레이싱 영상을 입력받는다(S100). 이와 같은 영상 입력부가 입력받은 인터레이싱 영상에 대하여 (i, j)는 크기 V × H의 원래 인터레이싱 영상 X_in의 각 픽셀의 공간 데카르트 좌표를 나타내고, x(i, j)는 위치(i, j)에 있는 픽셀의 계조값이다. 여기서 0≤x (i, j) ≤255이다.

x(i, j)의 휘도는 0부터 255까지이다. (i, j)를 중심으로 하는 크기 M × N의 윈도우(W)에 위치하는 픽셀은 위의 수학식 3과 같이 표현된다.

다음으로, 복잡도 판별부는 지역 복잡도(Degree of Local Complexity, DoLC)를 산출하여(S110), 평평한 영역인지 복잡한 영역인지 판별하여(S120), 평평한 영역인 경우에는 단일 필드 디인터레이싱부로 출력하고, 복잡한 영역인 경우에는 가중 평균부로 출력한다(S120).

한편, 단일 필드 디인터레이싱부는 평평한 영역을 입력받은 경우에, 단일 필드 디인터레이싱 보간법으로 보간을 수행한다(S130). 단일 필드 디인터레이싱 방법의 다양한 예들이 있다. 방향 보간법은 에지 맵 기반 디인터레이싱(EMD), 디인터레이싱을 위한 낮은 복잡도 보간법(LCID), 수정된 ELA(MELA), 국부 적응형 임계값 바이너리 이미지(LABI)를 사용하는 디인터레이싱 및 미세 에지 보존 디인터레이싱(FEPD)이 있다.

다음으로, 가중 평균부는 복잡한 영역을 입력받은 경우에 디인터레이싱 방법 중 선형 평균 보간법(LA: Line Average)을 사용하여 누락 픽셀에 대한 1차 보간을 수행하며, 위, 아래의 픽셀값의 평균을 이용하여 보간 대상 픽셀의 픽셀값을 보간할 수 있다.

그리고, 가중 평균부는 위의 수학식 8의 수식을 사용하여 가중 평균하여 2차 보간을 수행한다(S140).

이후에, 출력부는 단일필드 디인터레이싱부에서 보간된 픽셀과 가중 평균부에서 보간된 픽셀을 합성하여 전체 영상을 생성하여 출력한다(S150).

한편, 아래에서는 제시된 이미지 / 비디오 디인터레이싱 방법이 구현되었고, 성능을 평가하고 기존의 방법과 비교했다. 시험 원본 시퀀스를 2 배만큼 다운 샘플링하여 이미지를 얻었다.

필터 처리가 없는 수직 방향(저역 통과 필터)은 표 1과 같다. 테스트 이미지의 특성 비교를 위해 10 개의 테스트 이미지를 사용했으며, 항공기 (AI), 아키요 (AK), 바바라(BA), 블루 스키(BL), 보트(BO), 버스(BU), 도시(CI), 손가락(FI), 축구(FO) 및 소녀(GI)이다.

(표 1)

여기서 Size는 테스트 이미지의 측면을 나타내고 Motion은 시퀀스에 모션이 있는지 여부를 나타낸다. Sequence는 이미지 / 비디오 시퀀스의 약어를 나타낸다.

도 5는 테스트 이미지의 예를 보여주며, (a) 비행기 (AI), (b) 아키요(AK), (c) 바바라(BA), (d) 블루스키(BL), (e)보트 (BO), (f)버스 (BU), (g)도시 (CI), (h)손가락 (FI), (i)축구 (FO) 및 (j) 소녀 (GI)를 나타낸다.

도 6은 종래 디인터레이싱 방법과 본 발명의 디인터레이싱 방법의 비교를 보여주며, (a) 기존의 BL 영상, (b)DCAD, (c)EELA, (d)EMD, (e)FEPD, (f)LABI, (g)LCID, (h)LSMD, (i)MCAD 및 (j) 본 발명의 방법에 의해 처리된 영상을 나타낸다.

도 6은 본 발명에 의해 인터레이스된 이미지가 가장 좋게 복원됨을 알 수 있다.

이처럼 본 발명은 누락된 픽셀을 보간하기 위해 우선 평면 및 복잡한 영역으로 영역을 구별한다. 가장 간단한 방법은 평평한 영역에서 사용되고 가중 평균법은 복잡한 영역에서 사용된다. 그 결과, 시뮬레이션 결과는 본 발명이 우수한 성능을 나타냄을 보여준다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10 : 영상 입력부 20 : 복잡도 판별부
30 : 단일 필드 디인터레이싱부 40 : 가중 평균부
50 : 출력부

Claims

인터레이싱 영상을 입력받는 영상 입력부;
상기 영상 입력부에서 입력받은 인터레이싱 영상에 대하여 윈도우를 설정하여 윈도우를 이동하면서 해당 영역의 복잡도를 판별하는 복잡도 판별부;
상기 복잡도 판별부에서 평평 영역으로 판별된 영역에 대하여 단일 필드 디인터레이싱을 수행하는 단일 필드 디인터레이싱부;
상기 복잡도 판별부에서 복잡 영역으로 판별된 영역에 대하여 가중 평균 보간을 수행하는 가중 평균부; 및
상기 단일 필드 디인터레이싱부와 가중 평균부의 출력을 합성하여 출력하는 출력부를 포함하는 영상 업 샘플링을 위한 적응형 필터.
청구항 1항에 있어서,
상기 복잡도 판별부는 보간 대상 픽셀의 상위 스캔 라인에 위치한 3개의 픽셀와 하위 스캔 라인에 위치한 3개의 픽셀값의 차이를 각각 더한 값으로 복잡도를 산출하여 해당 영역이 평평 영역인지 복잡 영역인지 판별하는 영상 업 샘플링을 위한 적응형 필터.
청구항 1항에 있어서,
상기 단일 필드 디인터레이싱부는 평평한 영역을 입력받은 경우에, 에지 맵 기반 디인터레이싱(EMD), 디인터레이싱을 위한 낮은 복잡도 보간법(LCID), 수정된 ELA(MELA), 국부 적응형 임계값 바이너리 이미지(LABI)를 사용하는 디인터레이싱 및 미세 에지 보존 디인터레이싱(FEPD)중 어느 하나를 사용하여 단일 필드 디인터레이싱 보간을 수행하는 영상 업 샘플링을 위한 적응형 필터.
청구항 1항에 있어서,
상기 가중 평균부는 복잡 영역을 입력받은 경우에 선형 평균 보간법(LA: Line Average)을 사용하여 누락 픽셀에 대한 1차 보간을 수행하고, 수학식 8의 수식을 사용하여 가중 평균하여 2차 보간을 수행하는 영상 업 샘플링을 위한 적응형 필터.

(수학식 8)

여기에서, 파라미터 k는 p⁰ 주변의 픽셀의 식별자이며, ω^k는 가중 파라미터이며, p^k는 윈도우의 픽셀이다.
(A) 영상 입력부가 인터레이싱 영상을 입력받는 단계;
(B) 복잡도 판별부가 상기 영상 입력부에서 입력받은 인터레이싱 영상에 대하여 윈도우를 설정하여 윈도우를 이동하면서 해당 영역의 복잡도를 판별하는 단계;
(C) 단일 필드 디인터레이싱부가 상기 복잡도 판별부에서 평평 영역으로 판별된 영역에 대하여 단일 필드 디인터레이싱을 수행하는 단계;
(D) 가중 평균부가 상기 복잡도 판별부에서 복잡 영역으로 판별된 영역에 대하여 가중 평균 보간을 수행하는 단계; 및
(E) 출력부가 상기 단일 필드 디인터레이싱부와 가중 평균부의 출력을 합성하여 출력하는 단계를 포함하는 영상 업 샘플링을 위한 적응형 필터를 이용한 필터링 방법.
청구항 5항에 있어서,
상기 (B) 단계에서 상기 복잡도 판별부는 보간 대상 픽셀의 상위 스캔 라인에 위치한 3개의 픽셀와 하위 스캔 라인에 위치한 3개의 픽셀값의 차이를 각각 더한 값으로 복잡도를 산출하여 해당 영역이 평평 영역인지 복잡 영역인지 판별하는 영상 업 샘플링을 위한 적응형 필터를 이용한 필터링 방법.
청구항 5항에 있어서,
상기 (C) 단계에서 상기 단일 필드 디인터레이싱부는 평평한 영역을 입력받은 경우에, 에지 맵 기반 디인터레이싱(EMD), 디인터레이싱을 위한 낮은 복잡도 보간법(LCID), 수정된 ELA(MELA), 국부 적응형 임계값 바이너리 이미지(LABI)를 사용하는 디인터레이싱 및 미세 에지 보존 디인터레이싱(FEPD)중 어느 하나를 사용하여 단일 필드 디인터레이싱 보간을 수행하는 영상 업 샘플링을 위한 적응형 필터를 이용한 필터링 방법.
청구항 5항에 있어서,
상기 (D) 단계에서 상기 가중 평균부는 복잡 영역을 입력받은 경우에 선형 평균 보간법(LA: Line Average)을 사용하여 누락 픽셀에 대한 1차 보간을 수행하고, 수학식 8의 수식을 사용하여 가중 평균하여 2차 보간을 수행하는 영상 업 샘플링을 위한 적응형 필터를 이용한 필터링 방법.

(수학식 8)

여기에서, 파라미터 k는 p⁰ 주변의 픽셀의 식별자이며, ω^k는 가중 파라미터이며, p^k는 윈도우의 픽셀이다.