KR101519787B1 - 테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치 - Google Patents

테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치 Download PDF

Info

Publication number
KR101519787B1
KR101519787B1 KR1020140052424A KR20140052424A KR101519787B1 KR 101519787 B1 KR101519787 B1 KR 101519787B1 KR 1020140052424 A KR1020140052424 A KR 1020140052424A KR 20140052424 A KR20140052424 A KR 20140052424A KR 101519787 B1 KR101519787 B1 KR 101519787B1
Authority
KR
South Korea
Prior art keywords
taylor series
series expansion
deinterlacing
present
quot
Prior art date
Application number
KR1020140052424A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020140052424A priority Critical patent/KR101519787B1/ko
Application granted granted Critical
Publication of KR101519787B1 publication Critical patent/KR101519787B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 테일러 급수 확장과 다항식 회귀를 기반으로 한 효율적인 필드 디인터레이싱 기술에 관한 것으로, 보간된 포인트 값을 추정하기 위해 인터레이스된 영상의 주어진 픽셀을 이용하고, 누락 데이터를 추정하기 위하여, 포인트 주변에 포괄적인 근사 함수를 적용한 디인터레이싱 방법 및 그 장치에 관한 것이다. 이러한 본 발명을 통해 종래 디인터레이싱 기술보다 높은 효율을 유지하면서도 첨두 신호대 잡음비(PSNR)를 크게 향상시킬 수 있는 기술적 효과를 기대할 수 있다.

Description

테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치{Deinterlacing method and the apparatus using taylor series expansion}
본 발명은 디인터레이싱 기술에 관한 것으로, 더 상세하게는 테일러 급수 확장과 다항식 회귀를 이용한 디인터레이싱 방법 및 그 장치에 관한 것이다.
비디오 방송, PAL, SECAM, NTSC과 같은 일반적인 TV 시스템은 최근 비디오 전송 대역폭을 반으로 줄이기 위해 인터레이스 포맷을 채용한다하지만 종래 인터레이스 포맷은 높은 수평 주파수를 가지는 객체에 대해 interline flicker, jaggedness, line crawling을 포함한 잡음이 발생하는 문제점이 있다. 게다가 초고화질 텔레비전(HDTV), PC 모니터, LCD, PDP와 같은 현대 디스플레이 시스템의 발전으로 전체 이미지가 즉각적으로 디스플레이 되는 것이 요구되고 있는 실정이다.
일반적으로 디인터레이싱은 인터레이스된 낮은 해상도의 신호로부터 완전한 고해상도 이미지를 구성하기 위해 사용하는 방법이다.
이러한 디인터레이싱 방법은 크게 두가지의 카테고리로 분류될 수 있는데 하나는 하나의 필드를 이용하는 인트라 필드 공간 도메인 방법(종래기술 1 내지 종래기술 8)과 모션 적응 방법과 모션 보상 방법과 같이 여러 개의 필드를 이용하는 인터 필드 시간적 디인터레이싱 방법(종래기술 9 및 종래기술 10)을 포함한다.
(종래기술 1) E. B. Bellars and G. D. Haan, Deinterlacing: A Key Technology for Scan Rate Conversion. Amsterdam, The Netherlands: Elsevier, 2000. (종래기술 2) T. Doyle, "Interlaced to sequential conversion for EDTV applications," in Proc. 2nd Int. Workshop Signal Process. HDTV, 1998, pp. 412-430. (종래기술 3) T. Chen, H. R. Wu, and Z. H. Yu, "Efficient deinterlacing algorithm using edge-based line average interpolation," SPIE Opt. Eng., vol. 39, no. 8, pp. 2101-2105, Aug. 2000. (종래기술 4) P. Y. Chen and Y. H. Lai, "A low-complexity interpolation method for deinterlacing," IEICE Trans. Inf. Syst., vol. E90-D, no. 2, pp. 606-608, Feb. 2007. (종래기술 5) W. Kim, S. Jin, and J. Jeong, "Novel intra deinterlacing algorithm using content adaptive interpolation," IEEE Trans. Consumer Electron., vol. 53, no. 3, pp. 1036-1043, Aug. 2007. (종래기술 6) M. K. Park, M. G. Kang, K. Nam, and S. G. Oh, "New edge dependent deinterlacing algorithm based on horizontal edge pattern," IEEE Trans. Consumer Electron., vol. 49, no. 4, pp. 1508-1512, Nov. 2003. (종래기술 7) K. Kang, G. Jeon, and J. Jeong, "A single field interlaced to progressive format conversion using edge map in the image block," in Proc. IASTED SIP, Innsbruck, Austria, Aug. 2009, pp. 132-137. (종래기술 8) J. Lee, M. Kim, S. Yang, and J. Jeong, "An efficient deinterlacing method based on new edge-directed interpolation," in Proc. Int. Workshop Advanced Image Technol., 2005, pp. 10-11. (종래기술 9) G. Jeon, J. You, and J. Jeong, "Weighted fuzzy reasoning scheme for interlaced to progressive conversion," IEEE Trans. Circuits Syst. Video Technol., vol. 19, no. 6, pp. 842-855, Jun. 2009. (종래기술 10) G. Jeon, M. Anisetti, J. Lee, V. Bellandi, E. Damiani, and J. Jeong, "Concept of linguistic variable-based fuzzy ensemble approach: Application to interlaced HDTV sequences," IEEE Trans. Fuzzy Syst., vol. 17, no. 6, pp. 1245-1258, Dec. 2009.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 방법의 목적은, 보간된 포인트 값을 추정하기 위해 인터레이스된 영상의 주어진 픽셀을 이용하고, 누락 데이터를 추정하기 위하여, 포인트 주변에 포괄적인 근사 함수를 적용한 디인터레이싱 방법을 제공하는데 있다.
본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 방법은 (a) 인터레이스된 2차원 영상을 통해 주어진 픽셀들을 이용하여, 테일러 급수 확장(Taylor series expansion)의 근사 함수를 적용하는 단계 및 (b) 상기 테일러 급수 확장에서 누락된 픽셀에 관하여, 누락 포인트 값을 산출하기 위한 근사 함수를 적용하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 장치는 인터레이스된 2차원 영상을 통해 주어진 픽셀들을 이용하여, 테일러 급수 확장(Taylor series expansion)의 근사 함수를 적용하는 테일러 급수 확장부 및 상기 테일러 급수 확장에서 누락된 픽셀에 관하여, 누락 포인트 값을 산출하기 위한 근사 함수를 적용하는 누락 픽셀 산출부를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 방법은 보간된 포인트 값을 추정하기 위해 인터레이스된 영상의 주어진 픽셀을 이용하고, 누락 데이터를 추정하기 위하여, 포인트 주변에 포괄적인 근사 함수를 적용함으로써, 매우 짧은 CPU 시간에서 좋은 PSNR 성능과 좋은 시각적 품질을 제공할 수 있는 효과가 있다.
도 1은 다른 차수의 근사 함수에 있어서, 느린 변화 다항식 회귀 샘플들. (a) N=0, (b) N=1, (c) N=2, (d) N=3.
도 2는 본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 방법의 전체 흐름을 나타내는 흐름도.
도 3은 본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 방법에 있어서, 다양한 이웃 영역 C의 구조.
도 4는 본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 방법에 있어서, 제1방법과 제2방법의 다른 차수 비교 결과 그래프. (a) PSNR, (b) CPU 시간.
도 5는 본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 장치의 전체 구성을 나타내는 구성도.
도 6은 다른 SH 와 SV 값의 PSNR 성능 비교(dB).
도 7은 (a) Original 512 × 512 Barbara image, (b) Zoomed original image, Perceived image quality comparison using different deinterlacing methods, (c) LA, (d) ELA, (e) EELA, (f) MELA, (g) LCID, (h) EMD, (i) NEDD, (j) CAD, (k) AAI, (l) 본 발명의 인터레이싱 방법.
이하, 본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치를 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 방법에 앞서 다음과 같은 1차원 신호 분석에 관해 설명하도록 한다.
1차원 신호를 분석하기 위해 g(q)로 대표되는 근사 함수를 적용하고, 간소하게 1차원 신호 분석 시나리오를 다음 수학식 1과 같이 적용한다.
Figure 112014041568733-pat00001
여기서, i=1,...., P, wi는 설정된 데이터이고, qi는 좌표 위치이고, εi는 추정 에러이고, P는 인접한 샘플들의 수이고, g(pi)는 포인트 qi의 근사 함수이다. g(pi)의 형태를 명시하기 위해 몇 개의 오더 N에서 스무스한 추정을 한다. 그리고 설정된 값을 갖는 qn의 어느 포인트에서의 함수 값을 추정하기 위해 이 포인트와 이웃한 주어진 포인트에 대해 함수의 포괄적인 로컬 확장을 적용할 수 있다. 특히 만일 qn가 qi에서의 샘플과 가깝다면, N-term 테일러 시리즈는 다음 수학식 2와 같이 정의된다.
Figure 112014041568733-pat00002
상기 수학식 2는 국부적인 정보를 제공하는 파라미터
Figure 112014041568733-pat00003
에서 근사 함수의 로컬 대표와 같이 테일러 급수 확장을 고려하도록 제안한다. 또한 누락된 데이터를 추정하기 위해, 파라미터
Figure 112014041568733-pat00004
를 추정하는 인접한 샘플을 사용해야 한다. 최적화 문제를 해소하기 위해서 제곱 손실을 최소화해야 한다. 최소 제곱 공식을 포착하는 이 아이디어는 다음 수학식 3의 최적화 문제로 주어진다.
Figure 112014041568733-pat00005
본 발명에 따른 상기 수학식 3은 수학식 4와 같은 매트릭스 형태로 표현된다.
Figure 112014041568733-pat00006
여기서 e와 W는 P × 1 열 벡터이고, b와 b*는 (N+1) × 1 열 벡터이고, Q는 다음과 같은 P × (N+1) 매트릭스이다.
Figure 112014041568733-pat00007
상기 수학식 4는 선형 회귀 방정식에 의해 다음 수학식 5와 같이 정의된다.
Figure 112014041568733-pat00008
여기서, 설정된 데이터 W를 이용하여 b*를 얻는다. 만일 qn 시퀀스에서 누락된 값을 보간하고 싶다면 수학식 2를 이용하여, 다음 수학식 6을 정의할 수 있다.
Figure 112014041568733-pat00009
여기서,
Figure 112014041568733-pat00010
=[1, 0, ..., 0]는 첫 번째 요소가 일이고, 나머지는 0으로 동일한 행 벡터이다. 테일러 급수 확장의 N 번째 차수는 추정을 위해 중요한 문제이다. 도 1에서 다항식 회기 및 다른 차수의 성능과 신호의 변형 타입을 비교하였다. 높은 차수(N=2 또는 N=3)의 근사 함수는 계산적으로 더 복잡하다. 따라서 도 1에 도시된 바와 같이, 신호가 천천히 또는 대폭 변화하는 것과 상관없이 낮은 차수(N=0 또는 N=1)함수보다 더 나은 추정을 제공한다. 하지만 2보다 높은 차수일 경우, 성능에는 큰 차이가 없다.
이러한 1차원 영상 분석 내용을 기반으로 본 발명에 따른 2차원 디인터레이싱 방법을 설명하면 다음과 같다.
도 2는 테일러 급수 확장을 이용한 디인터레이싱 방법의 전체 흐름을 나타내는 흐름도로, 인터레이스된 2차원 영상을 통해 주어진 픽셀들을 이용하여, 테일러 급수 확장(Taylor series expansion)의 근사 함수를 적용하는 단계(S10)를 수행하고 상기 테일러 급수 확장에서 누락된 픽셀에 관하여, 누락 포인트 값을 산출하기 위한 근사 함수를 적용하는 단계(S20)를 수행한다.
즉, 본 발명에 따른 디인터레이싱 방법은 테일러 급수 확장과 다항식 회귀에 의해 인터레이스된 영상을 이용하여 영상을 재구성할 수 있으며, 이를 위해 근사 함수(테일러 급수 확장)을 구성하기 위해 주어진 픽셀을 이용하고, 그 다음에 누락 픽셀에 관하여, 누락 포인트들의 값을 측정하기 위해 근사 함수를 사용한다.
이러한 2차원 영상 분석은 상기 수학식 1을 이용하여 다음 수학식 7로 정의 된다.
Figure 112014041568733-pat00011
(i, j) ∈ C에서 C는 2SH × (2SV+1), i=1,..., 2SH, j=1,..., 2SV+ 1 크기의 이웃 영역이고, SH 및 SV 은 도 3에 도시된 바와 같이, 너비와 높이의 크기를 나타내며, zij는 실제 데이터이고, (xi, yj)는 좌표 위치이고, εij는 에러이며, f(xi, yj)는 (xi, yj)에서의 근사 함수이다. 로컬 영역 C는 포인트 (xi, yj) 주변이며, f(xi, yj)는 N 차수까지의 테일러 급수 확장에 의해 근사되는 것으로 추정된다.
2차원의 영상 분석은 1차원 영상 분석과 비교할 때 조금 더 복잡하며, 본 발명에 따른 2차원 근사 함수f(xi, yj)를 구성하기 위한 두 가지 방법은 다음과 같다.
제1방법 : 2차원에 대한 근사 함수는 수학식 8과 같이 2-D 테일러 급수 확장으로 구성된다.
제2방법 : 2차원에 대한 근사 함수는 수학식 9와 같이, 두 개의 개별적인 1차원의 테일러 급수 확장으로 구성된다.
Figure 112014041568733-pat00012
Figure 112014041568733-pat00013
도 4의 결과로 보면, 제2방법의 첨두 신호 대 잡음비(PSNR-peak signal-to-noise ratio) 값은 항상 제1방법의 동일한 N차수 보다 높지만 동일한 N 차수에 관해 CPU 시간은 크게 증가하지 않는다. 제1방법과 제2방법을 비교할 때, 테일러 급수의 동일한 차수에서 제1방법은 6개 요소인데 반해 제2방법은 9개의 요소를 가진다. 제2방법은 3차수 및 4차수 다항식인 (xi-xm)2(yj-yn), (xi-xm)(yj-yn)2, 및 (xi-xm)2(yi-yn)2과 같이, 제1방법 보다 높은 차수의 다항식을 포함한다. 만일 제1방법에 따른 2 차원 테일러 급수에서 이러한 차수의 성과를 원한다면 제2방법과 같이 9개의 요소보다 더 많은 요소를 필요하다. 예를 들어 N=3 이면, 10개의 요소를 가지고, N=4 이면 15개의 요소들을 가지는데 이는 더 많은 계산적 부담을 필요로 하는 것을 의미한다. 그러므로 본 발명에서는 근사 함수를 제시하기 위해 제2방법을 선택하였다.
본 발명에 있어서, 제2방법의 최적의 파라미터 솔루션은 다음 수학식 10과 같이, 1-차원 영상 분석의 시나리오와 동일하다.
Figure 112014041568733-pat00014
여기서, Z 와 e는 2SH(2SV+1)×1의 열 벡터이고, a와 a*는 (N+1)(N+1)×1은 열 벡터이고, X는 2SH(2SV+1)×(N+1)(N+1)사이즈의 매트릭스로 다음과 같이 정의된다.
Figure 112014041568733-pat00015
상기 수학식 10의 해법은 다음 수학식 11로 정의된다.
Figure 112014041568733-pat00016
만일, 도 3과 같이 (xm, yn)의 C 영역 보간 값이 필요하다면, 상기 수학식 9에 a*, xm, yn을 대입할 수 있고, (xm, yn) 보간될 픽셀의 추정치는 다음 수학식 12로 정의된다.
Figure 112014041568733-pat00017
이러한 상기 이미지 내 픽셀을 보간하기 위한 일반적인 해법이다. 역행렬은 상당한 계산 시간을 필요로 한다. 그리므로, 본 발명은 높은 효율을 달성할 수 있으며, 그 연산은 수학식 12에 도시된 바와 같이, 추정하는데 필요한 파라미터
Figure 112014041568733-pat00018
에 한정된다.
도 5는 본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 장치는 인터레이스된 2차원 영상을 통해 주어진 픽셀들을 이용하여, 테일러 급수 확장(Taylor series expansion)의 근사 함수를 적용하는 테일러 급수 확장부 및 상기 테일러 급수 확장에서 누락된 픽셀에 관하여, 누락 포인트 값을 산출하기 위한 근사 함수를 적용하는 누락 픽셀 산출부를 포함하는 것을 특징으로 한다.
본 발명에 따른 테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치의 성능을 확인하기 위해 LA, ELA, EELA, MELA, LCID, EMD, NEDD, CAD, 및 적응적 2-D 자동 회귀 보간(AAI)의 종래 알고리즘과 비교하는 시뮬레이션을 다음과 같이, 실시하였다.
성능 시험은 Bluesky (1920 × 1080), Tractor (1920 × 1080), Raven (1280×720), Finger (512×512), Barbara (512×512), News (352×288), and Football (352×288)와 같은 표준 테스트 이미지로 실시되었으며, 객관적인 성능 측정치로 PSNR과 CPU 시간을 선택하였으며, 모든 시험은 3.16 GHz에서 인텔 코어 2듀오 CPU E8500로 수행되었다.
A. 테일러 급수 확장과 이웃 영역의 차수 튜닝
테일러 급수 확장의 차수 N과 이웃 영역 C는 본 발명에서 누락 픽셀과 계산 복잡도를 줄이는 것은 최적의 근사 성과를 위해 두 개의 중요한 문제이다.
도 4는 테일러 급수 확장을 위해 N의 다른 차수의 근사 함수를 이용한 디인터레이싱된 이미지이다. 도 4로부터 N=0과 N=1의 성능은 매우 떨어지는 반면에 N=2와 N=3에서는 원본이미지와 유사한 좋은 성능을 보인다. N 차수가 증가할 때 테일러 급수 확장의 정확성은 향상되지만 복잡도 또한 증가한다. 디인터레이싱 방법은 실시간 기술이고, 이미지의 질과 복합도 고려를 필요로 하기 때문이다. N=2에서 본 발명은 원본 픽셀 값의 뛰어난 근사치를 제공하고, N=3에서 차이점이 없다. 따라서, 본 발명의 디인터레이싱 방법은 N=2로 설정하였다. 이러한 조건에서 높은 효율과 함께 만족스러운 이미지를 달성할 수 있다.
이웃 영역 C는 디인터레이싱 방법을 위한 또 다른 중요한 문제이다. 가변하는 C는 도 3에 도시하였으며, 이웃 영역C의 최적의 크기를 선택하기 위해 PSNR 부동성 함수를 사용하였다. 도 6는 다른 크기의 이웃 영역에 대해 디인터레이싱된 이미지의 PSNR의 평균을 나타낸다. SH와 SV의 튜닝 결과는 (SH, SV)=(2, 1)에서 최적의 PSNR을 달성하였다. N차수와 C의 결정에 의해 고정된 파라미터를 이용하여 복잡도를 더 줄일 수 있다.
B 객관적인 성능 분석
본 발명에서 광범위하게 채택된 기준인 PSNR으로 본 발명에 따른 객관적 성능을 측정하였다. 표 1은 다른 필드 내 인터레이싱 방법에 비해 다른 이미지 PSNR 결과를 제공한다. 표 2를 통해 본 발명에 따른 디인터레이싱 방법이 단순한 방법(LA)을 제외한 모든 종래 기술과 비교할 때 최소한의 CPU 시간을 나타냄을 확인할 수 있다. 표 3은 추가(감소), 승산(분열) 비교, 절대 실행의 개수의 측면에서 각 픽셀의 계산 복잡도를 비교한 결과이다. 차수 N과 이웃 영역 C의 결정으로 매트릭스 X는 고정됨이 명확하다. X는 어떤 이미지에 고정 일 때
Figure 112014041568733-pat00019
는 미리 계산할 수 있다. 그러므로
Figure 112014041568733-pat00020
의 계산은 무시될 수 있다.
수학식 12는
Figure 112014041568733-pat00021
Figure 112014041568733-pat00022
임을 보여주고, 필요한 계산은
Figure 112014041568733-pat00023
파라미터를 추정하는 것으로 한정되며, 이러한
Figure 112014041568733-pat00024
파라미터는
Figure 112014041568733-pat00025
의 첫 번째 열과 Z의 곱셈으로 산출되며,
Figure 112014041568733-pat00026
같이 나타낸다. 1 × 12 벡터는 12 × 1 와 곱하고, 12 곱셈과 각 픽셀에 대한 11 덧셈이 필요하다.
대부분의 인터레이싱 방법에서 비교는 덧셈과 곱셈 보다 더 높은 계산 시간을 야기한다. CAD의 경우, 비교과 절대 실행이 없더라도 많은 덧셈과 곱셈이 있다. 따라서 본 발명에 따른 디인터레이싱 방법은 종래 방법보다 더 효율적임을 확인할 수 있다.
Figure 112014041568733-pat00027
Figure 112014041568733-pat00028
Figure 112014041568733-pat00029
C. 주관적인 성능 분석
이미지 프로세싱에서 엘리어싱은 샘플링할 때 다른 신호와 구별되는 효과를 나타낸다. 또한 샘플에서 복원된 신호가 원래의 신호와 다른 결과를 나타내는 왜곡 또는 결함을 나타낸다. 수직 해상도(너무 낮음)가 반감되므로, 인터레이스 화상은 원화상과 다른 것으로 보이고 엘리어싱도 보인다. 시각 효과의 측면에서 결과 이미지의 주관적 성능 평가를 설명하기 위해 Barbara 인식 화질의 일부를 보여주며 도 7은 공간 엘리어싱의 샘플을 제공한다. 본 발명에 따른 디인터레이싱 방법은 이웃 픽셀로부터 누락된 포인트에 대해 로컬 대표자를 채택한다. 이를 통해 도 7에 도시된 바와 같이, 다른 방법과 비교할 때 시각 품질 개선되는 것을 확인할 수 있다. 또한 도 7에 도시된 바와 같이, 본 발명에 따른 디인터레이싱 방법은 종래 기술과 비교할 때 텍스쳐의 디테일에 관해 개선된 시각 품질의 결과는 분명하게 나타난다.
이상에서 설명한 바와 같이 테일러 급수 확장과 다항식 회귀를 이용한 효과적인 본 발명에 따른 디인터레이싱 방법 및 장치의 성능은 N 차수와 이웃 영역 C에서 매우 높게 나타났으며, PSNR과 CPU시간 매트릭스를 고려하여 최적의 값으로 결정되었다. 디인터레이싱은 실시간 어플리케이션이므로 CPU 시간은 매우 중요한 문제인데, CPU 시간의 측면에서 본 발명은 텍스쳐와 에지에 관해서 에지 방향과 이득을 고려하지 않아 텍스처와 에지에서 저질의 시각 성능을 갖는 LA를 제외한 모든 방법에서 더 나은 결과를 나타내었다. 따라서, 본 발명에 따른 디인터레이싱 방법 및 장치는 매우 짧은 CPU 시간에서 가장 좋은 PSNR 성능과 좋은 시각적 품질을 제공할 수 있는 효과를 누릴 수 있는 것이다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치로 구현할 수 있다.
10 : 테일러 급수 확장부
20 : 누락 픽셀 산출부
30 : 디인터레이싱 장치

Claims (6)

  1. (a) 테일러 급수 확장부를 이용하여, 인터레이스된 2차원 영상을 통해 주어진 픽셀들을 이용하여, 테일러 급수 확장(Taylor series expansion)의 근사 함수를 적용하는 단계 및
    (b) 누락 픽셀 산출부를 이용하여, 상기 테일러 급수 확장에서 누락된 픽셀에 관하여, 누락 포인트 값을 산출하기 위한 근사 함수를 적용하는 단계를 포함하는 것을 특징으로 하는 디인터레이싱 방법.
  2. 제1항에 있어서,
    상기 (a) 단계에서
    상기 인터레이스된 2차원 영상에 과한 디인터레이싱 시나리오는 다음 수학식 7로 산출되는 것을 특징으로 하는 디인터레이싱 방법.
    [수학식 7]
    Figure 112014041568733-pat00030

    (i, j) ∈ C에서 C는 2SH × (2SV+1), i=1,..., 2SH, j=1,..., 2SV+ 1 크기의 이웃 영역이고, SH 및 SV 은 너비와 높이의 크기를 나타내며, zij는 실제 데이터이고, (xi, yj)는 좌표 위치이고, εij는 에러이며, f(xi, yj)는 (xi, yj)에서의 근사 함수임.
  3. 제2항에 있어서,
    상기 (a) 단계의 근사함수 f(xi, yj)는 두 개의 개별적인 1차원 테일러 급수 확장으로 구성되며, 수학식 9로 산출되는 것을 특징으로 하는 디인터레이싱 방법.
    [수학식 9]
    Figure 112014041568733-pat00031

  4. 제3항에 있어서,
    상기 (b) 단계의 근사 함수에서 누락 포인트 값을 산출하기 위한 파라미터는 수학식 11로 산출되며, (xm, yn)의 C 영역 보간 값이 필요할 때, 상기 수학식 9에 a*, xm, yn을 대입하는 것을 특징으로 하는 디인터레이싱 방법.
    [수학식 11]
    Figure 112015030731172-pat00032

  5. 제4항에 있어서,
    상기 (b) 단계에서 (xm, yn) 보간될 픽셀의 추정치는 수학식 12로 산출되는 것을 특징으로 하는 디인터레이싱 방법.
    [수학식 12]
    Figure 112014041568733-pat00033

  6. 인터레이스된 2차원 영상을 통해 주어진 픽셀들을 이용하여, 테일러 급수 확장(Taylor series expansion)의 근사 함수를 적용하는 테일러 급수 확장부 및
    상기 테일러 급수 확장에서 누락된 픽셀에 관하여, 누락 포인트 값을 산출하기 위한 근사 함수를 적용하는 누락 픽셀 산출부를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
KR1020140052424A 2014-04-30 2014-04-30 테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치 KR101519787B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140052424A KR101519787B1 (ko) 2014-04-30 2014-04-30 테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140052424A KR101519787B1 (ko) 2014-04-30 2014-04-30 테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101519787B1 true KR101519787B1 (ko) 2015-05-12

Family

ID=53394564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140052424A KR101519787B1 (ko) 2014-04-30 2014-04-30 테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101519787B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020001951A (ko) * 2000-06-22 2002-01-09 구자홍 순차주사 영상 변환 장치 및 방법과, 그를 이용한 수직주사율 변환 장치
KR100582860B1 (ko) * 2002-12-13 2006-05-24 트라이던트 마이크로시스템즈, 인크. 인터레이스 － 프로그레시브 변환을 위한 개량형 에지 적응 보간 방법 및 시스템
KR100611517B1 (ko) * 1998-03-09 2006-08-11 소니 인터내셔널(유로파) 게엠베하 디지털 신호의 보간 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100611517B1 (ko) * 1998-03-09 2006-08-11 소니 인터내셔널(유로파) 게엠베하 디지털 신호의 보간 방법 및 시스템
KR20020001951A (ko) * 2000-06-22 2002-01-09 구자홍 순차주사 영상 변환 장치 및 방법과, 그를 이용한 수직주사율 변환 장치
KR100582860B1 (ko) * 2002-12-13 2006-05-24 트라이던트 마이크로시스템즈, 인크. 인터레이스 － 프로그레시브 변환을 위한 개량형 에지 적응 보간 방법 및 시스템

Similar Documents

Publication Publication Date Title
US7720148B2 (en) Efficient multi-frame motion estimation for video compression
JP5844394B2 (ja) 適応探索範囲を用いた動き推定
US6331874B1 (en) Motion compensated de-interlacing
KR100957479B1 (ko) 필드-기반 비디오에 대해 모션 보상을 이용한 공간-시간디인터레이싱을 위한 방법 및 장치
Wang et al. Hybrid de-interlacing algorithm based on motion vector reliability
US20080151106A1 (en) Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images
Lee et al. Cost-efffective color filter array demosaicing using spatial correlation
Lee et al. High quality spatially registered vertical temporal filtering for deinterlacing
Shen et al. Motion adaptive deinterlacing of video data with texture detection
KR101519787B1 (ko) 테일러 급수 확장을 이용한 디인터레이싱 방법 및 그 장치
JP6294052B2 (ja) １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置
Wang et al. Deinterlacing using Taylor series expansion and polynomial regression
US8115863B2 (en) Video de-interlacer using pixel trajectory
Braspenning et al. Efficient motion estimation with content-adaptive resolution
Biswas et al. A novel de-interlacing technique based on phase plane correlation motion estimation
Chen et al. A gradient inverse weighted filtering approach for video deinterlacing
Xu et al. Frame rate up-conversion with true motion estimation and adaptive motion vector refinement
Biswas et al. Performance analysis of motion-compensated de-interlacing systems
Wang et al. Efficient adaptive deinterlacing algorithm using bilateral filter
Wang et al. A hybrid algorithm using maximum a posteriori for interlaced to progressive scanning format conversion
Chen et al. Median Based Wiener Filtering interpolation method for Progressive display using Local Homogeneous Area Selector
Choi et al. Neural network deinterlacing using multiple fields and field-MSEs
Bi et al. A new source-side de-interlacing method for high quality video content
Kang et al. Video sequence deinterlacing using intensity gradient filter and median filter with texture detection
Heinrich et al. Robust motion estimation design methodology

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180423

Year of fee payment: 4