KR20100056888A - 디인터레이싱 장치 및 방법 - Google Patents

디인터레이싱 장치 및 방법 Download PDF

Info

Publication number
KR20100056888A
KR20100056888A KR1020080115885A KR20080115885A KR20100056888A KR 20100056888 A KR20100056888 A KR 20100056888A KR 1020080115885 A KR1020080115885 A KR 1020080115885A KR 20080115885 A KR20080115885 A KR 20080115885A KR 20100056888 A KR20100056888 A KR 20100056888A
Authority
KR
South Korea
Prior art keywords
pixel
interpolation target
equation
target pixel
pixels
Prior art date
Application number
KR1020080115885A
Other languages
English (en)
Other versions
KR100989650B1 (ko
Inventor
정제창
전광길
강근화
Original Assignee
중앙대학교 산학협력단
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, 한양대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020080115885A priority Critical patent/KR100989650B1/ko
Publication of KR20100056888A publication Critical patent/KR20100056888A/ko
Application granted granted Critical
Publication of KR100989650B1 publication Critical patent/KR100989650B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 보다 향상된 화질을 얻을 수 있는 디인터레이싱 장치 및 방법을 제공한다.
본 실시예에 따른 디인터레이싱 방법은 비월 주사 신호의 보간 대상 화소에 대한 에지 방향을 구하는 단계; 및 상기 보간 대상 화소에 인접한 상위 스캔 라인 및 하위 스캔 라인에 포함되고 상기 보간 대상 화소를 기준으로 대칭되는 복수개의 화소쌍(a pair of pixels) 각각에, 상기 에지 방향에 기초하여 적응적으로 결정되는 가중치를 적용하여 상기 보간 대상 화소의 화소값을 구하는 단계를 포함한다.
본 실시예에 따르면, 보간 대상 화소에 대한 에지의 방향을 더욱 정확하게 구할 수 있고, 상기 에지의 방향에 따른 주변 화소들과의 거리에 따라 상기 보간 대상 화소에 미치는 영향이 다른 점을 반영할 수 있으므로, 화질을 현저히 개선시킬 수 있다.

Description

디인터레이싱 장치 및 방법{Equipment and Method for Deinterlacing}
본 발명은 영상 신호의 디인터레이싱(Deinterlacing)에 관한 것으로, 보다 구체적으로 비월 주사 방식의 신호를 순차 주사 방식의 신호로 변환시켜주는 디인터레이싱 장치 및 방법에 관한 것이다.
기존 아날로그 TV에서는 비월 주사 방식(interlaced scanning)을 사용하고 있다. 비월 주사 방식이란 하나의 프레임을 짝수 필드(even field)와 홀수 필드(odd field)로 나누어 소정의 시간 간격을 두고 주사하는 방식으로, 수직 방향으로 표본화하는 주사 방식이다. 비월주사 방식은 간단한 방법으로 영상정보를 반으로 감축할 수 있으므로, 전송 대역폭을 넓히지 않고도 영상 품질을 개선할 수 있는 방법으로 널리 사용되어 왔다. 예를 들어, NTSC(National Television System Committee), PAL(Phase Alternation Line),및 세캄(SECAM) 등과 같은 방송 표준에서는 이러한 비월 주사 방식이 널리 사용되어 왔다.
이러한 비월 주사 방식은 착시를 일으키는 인간의 시각 시스템에서 만족스러 운 효과를 보여왔지만, 이러한 비월 주사 방식의 신호를 순차 주사 방식(progressive scanning)을 사용하는 기기(예컨대 디지털 TV, 컴퓨터 모니터 등)에 그대로 사용하면 문제가 발생한다. 즉, 영상의 테두리와 줄의 깜박임이 나타나고, 화면이 얼룩지거나 흐려지는 등의 문제가 발생하는 것이다. 이러한 문제점을 해결하기 위해 다양한 디인터레이싱 방법들이 제안되었다.
디인터레이싱은 비월 주사 방식의 영상을 순차 주사 방식의 영상으로 변환하여 출력할 수 있도록 주사 방식을 변환하는 기술이다. 이러한 디인터레이싱은 필드 영상의 비어있는 라인에 대해 예측되는 또는 보간되는 화소값이 실제 영상의 화소값과 얼마나 정확하게 일치하는가 하는 것이 중요하다. 즉, 디인터레이싱에 있어서는, 원래의 프레임 영상의 화소값을 정확하게 복원하고 또한 에지 샤프니스(Edge Sharpness) 등을 유지할 수 있어야 한다. 특히, 저역 통과 필터링(Low Pass Filtering) 및 데시메이션(Decimation)된 영상 신호는 원본 영상보다 해상도가 낮아지기 때문에, 디인터레이싱에 의하여 에지 샤프니스를 포함한 원래 영상의 특성을 보다 정확하고 세밀하게 복원하는 것이 특히 중요하다.
디인터레이싱은 크게 화면 내(intra-field) 디인터레이싱 방법과 화면 간(inter-field) 디인터레이싱 방법으로 구분할 수 있다. 화면 내 디인터레이싱 방법은 공간적 상관성을 기반으로 현재 필드 내의 정보만을 이용하여 보간 대상 화소를 보간하는 것이고, 화면 간 디인터레이싱 방법은 공간적 상관성과 시간적 상관성을 기반으로 현재 필드 내의 정보뿐만 아니라 시간적으로 전후의 필드 정보를 이용하여 보간 대상 화소를 보간하는 것이다.
화면 내(Intra-Field) 디인터레이싱 방법은 현재 필드의 정보만을 사용하여 보간 대상 화소를 보간하는 방법이기 때문에 움직임이 빠르거나, 장면이 전환되는 등의 시간적으로 상관성이 낮은 영상의 경우는 시간적 정보까지 참조하는 화면 간(Inter-Field) 디인터레이싱 방법 보다는 더 좋은 성능을 나타낸다. 또한, 화면 간 디인터레이싱 방법은 전후 필드 정보를 이용하기 위해서 부가적인 필드 메모리가 필요하기 때문에 구조가 복잡해지고 구현 비용이 비싼 단점이 있는 반면에 화면 내 디인터레이싱 방법은 구조가 간단하고 구현 비용이 저렴한 것이 장점이다.
화면 내(Intra-Field) 디인터레이싱 방법은 다시 두 가지 방법으로 분류해 볼 수 있다. 첫째는 다양한 공간 필터를 사용하여 접근하는 방법이고, 둘째는 에지의 방향성을 고려하여 접근하는 방법이다.
상기 첫째 방법은 에지 부분을 고려하지 않고 디인터레이싱을 하는 방법인데, 에지 부분이 눈에 매우 민감한 부분인데도 불구하고 에지 부분을 고려하지 않는 것은 상당한 문제점을 지니게 된다. 실제로 이러한 방법들로 디인터레이싱을 하게 되면 에지는 물론 영상 전체가 흐려지는 결과를 얻게 된다. 이러한 방법으로 보간 하고자 하는 화소의 주위 상하에 있는 화소의 평균값으로 보간하는 Bob 알고리듬이 있다.
상기 둘째 방법 중 대표적인 것은 ELA(Edge-Based Line Average)이다. ELA는 영상의 에지 정보를 이용하여 픽셀을 보간함으로써 영상의 에지에서 발생하는 계단 현상을 효과적으로 제거할 수 있기 때문에 필드내 보간 방법으로는 좋은 성능을 보이고 있다. 그러나, ELA 방식은 수직 에지가 포함된 부분, 화소의 밝기 차이가 뚜 렷하지 않은 부분 및 영상의 고주파 성분이 많이 포함된 부분에서는 실제 에지를 검출하지 못하고 잘못된 방향을 검출하게 되는 경우가 발생할 수 있다. 이런 경우에는 눈에 잘 띄는 고주파 성분의 오류를 발생시키기 때문에 오히려 화질을 열화시키게 된다.
이에 에지의 경향을 먼저 파악한 후 에지의 경향에 따라 ELA 기법을 적용하여 디인터레이싱하는 E-ELA(Enhanced ELA)기법이 제안되었다. 그러나, E-ELA 방식은 보간 대상 화소를 중심으로 하는 화소쌍의 차이가 가장 작은 방향을 에지의 방향으로 판단하는 것으로, 이 방법에 의할 경우에도 에지의 방향을 정확하게 검출하는 것에는 한계가 있었다.
또한, DOI(Direction-Oriented Interpolation)기법은 90°, ±45°, ±26.6°, ±18.4°다양한 각도의 에지를 판단하여 디인터레이싱을 수행하는 방법이다. 이는 여러 방향을 고려하기 위하여 방향 벡터 개념을 이용하므로 상당한 복잡도를 가지게 되며 이로 인해 실시간 적용이 어려운 문제점이 있다.
본 발명이 해결하고자 하는 과제는 보다 향상된 화질을 얻을 수 있는 디인터레이싱 장치 및 방법을 제공하는 것이다.
상기와 같은 과제를 해결하기 위한 본 실시예에 따른 디인터레이싱 방법은 비월 주사 신호의 보간 대상 화소에 대한 에지 방향을 구하는 단계; 및 상기 보간 대상 화소에 인접한 상위 스캔 라인 및 하위 스캔 라인에 포함되고 상기 보간 대상 화소를 기준으로 대칭되는 복수개의 화소쌍(a pair of pixels) 각각에, 상기 에지 방향에 기초하여 적응적으로 결정되는 가중치를 적용하여 상기 보간 대상 화소의 화소값을 구하는 단계를 포함한다.
디인터레이싱 장치는 비월 주사 신호의 보간 대상 화소에 대한 에지 방향을 구하는 에지방향 검출기; 및 상기 보간 대상 화소에 인접한 상위 스캔 라인 및 하위 스캔 라인에 포함되고 상기 보간 대상 화소를 기준으로 대칭되는 복수개의 화소쌍(a pair of pixels) 각각에, 상기 에지 방향에 기초하여 적응적으로 결정되는 가중치를 적용하여 상기 보간 대상 화소의 화소값을 구하는 보간부를 포함한다.
이러한 과제 해결 수단에 의하면, 보간 대상 화소에 대한 에지의 방향을 더욱 정확하게 구할 수 있고, 상기 에지의 방향에 따른 주변 화소들과의 거리에 따라 상기 보간 대상 화소에 미치는 영향이 다른 점을 반영할 수 있으므로, 화질을 현저히 개선시킬 수 있다.
이하에서는, 첨부 도면을 참조하여 본 발명의 일 실시예에 대하여 상세하게 설명한다. 후술하는 실시예는 본 발명의 기술적 사상을 설명하기 위한 목적이므로, 본 발명의 기술적 사상은 이 실시예에 의하여 한정되는 것으로 해석되어서는 안된다. 본 실시예에 대한 설명 및 도면에서 각각의 구성요소에 부가된 참조 부호는 단지 설명의 편의를 위하여 기재된 것일 뿐이다.
도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 구성을 보여주는 블록도이고, 도 5는 본 발명의 일 실시예에 따른 디인터레이싱 방법을 보여주는 플로우챠트이다.
도 1을 참조하면, 디인터레이싱 장치(100)는 에지 방향 검출기(Edge Direction Detector, 110) 및 보간부(Interpolating Unit, 120)를 포함한다.
에지 방향 검출기(110)는 비월 주사 신호의 보간 대상 화소에 대한 에지 방향을 구한다. 에지 방향을 구하는 과정은 상기 보간 대상 화소에 인접한 상위 스캔 라인(210) 및 하위 스캔 라인(220)에 포함되는 다수개의 화소에 에지맵(Edge map)을 적용하여 상기 보간 대상 화소의 수평 및 수직 방향의 변화량(gradient derivative)을 구한 후, 그로부터 에지 방향의 각도를 구하는 것이다(S51).
여기서, 설명을 명확하게 하기 위해 도 2를 참조하여 용어를 정의한다. 도 2는 에지 방향 기반의 디인터레이싱을 위한 공간 방향 필터 윈도우(window)를 나타낸 도면이다. 도 2에 나타난 것과 같이 상위 스캔 라인(210)은 보간 대상 화소에 인접하면서 상부에 위치하는 스캔 라인이고, 하위 스캔 라인(220)은 보간 대상 화소에 인접하면서 하부에 위치하는 스캔 라인이다. 보간 대상 라인(200)은 상기 상위 스캔 라인(210)과 하위 스캔 라인(220)을 이용하여 보간할 화소들의 집합을 의 미한다.
이것을 표현의 편의상 좌표로 나타내면, 상기 상위 스캔 라인(210)은 (j-1, i)(j는 특정한 자연수, 0≤i≤n, n은 자연수), 하위 스캔 라인(220)은 (j+1, i)(j는 특정한 자연수, 0≤i≤n, n은 자연수), 보간 대상 라인(200)은 (j, i)(j는 특정한 자연수, 0≤i≤n, n은 자연수)로 표시할 수 있다. 여기서, n은 라인의 화소 개수에 따라 결정되는 값이다.
또한, 이하에서 편의상 u(up, 위), d(down, 아래), l(left, 좌), r(right, 우), m(medium, 가운데)이라는 기호를 사용하여 보간 대상 화소를 기준으로 한 상위 스캔 라인 또는 하위 스캔 라인에 포함된 화소를 표시하기로 한다. 예컨대, 보간 대상 화소의 좌표가 (i,j)라면, (i,j-1)에 해당하는 화소는 um으로 표시할 수 있고, (i-1, j-1)은 ul, (i-2, j-1)은 ull과 같은 방식으로 표시한다. 같은 방식으로 (i+1, j+1)은 dr로 표시할 수 있고, (i+2, j+1)은 drr로 표시할 수 있다. 다시 말해, urr은 보간 대상 화소의 위(u)이면서 오른쪽(r)으로 2 화소거리 떨어진 화소를 의미한다. dlll은 마찬가지로 보간 대상 화소의 아래(d)이며, 왼쪽(l)으로 3 화소거리 떨어진 화소를 의미한다. 또한, 화소거리는 1을 단위로 한다. 그리고, 화소들의 화소값은 Pum, Pdr,… 과 같이 표기하기로 하는데, 여기서 아래 첨자는 각 화소의 위치를 나타낸다.
도 3은 본 실시예에 따른 에지 방향을 구하는데 사용되는 6개의 화소를 나타낸 도면이다. 도 3을 참조하면, 상기 보간 대상 화소의 에지 방향은 상기 상위 스 캔 라인 및 상기 하위 스캔 라인에 포함된 다수개의 화소와 에지맵의 연산을 통해 구해지는데, 상기 다수개의 화소는 (ul, um, ur, dl, dm, dr)위치에 있는 화소들일 수 있다.
상기 에지 맵은 다양한 마스크(mask)가 사용될 수 있는데, 예컨대 소벨 마스크(sobel mask)가 사용될 수 있다. 상기 소벨 마스크를 에지 맵으로 사용하는 경우 에지 맵은 수학식 1과 같이 표현할 수 있다. 수학식 1의 에지맵은 컨볼루션 커널(convolution kernel)으로 볼 수 있으며, 각각 수평 , 수직 방향의 변화량을 구할 수 있게 한다.
Figure 112008080164865-PAT00001
여기서, S i 는 수평방향의 에지 맵, S j 는 수직방향의 에지 맵을 나타낸다.
상기와 같은 에지 맵과 보간 대상 화소를 기준으로 (ul, um, ur, dl, dm, dr) 위치에 있는 화소의 연산을 통해 상기 보간 대상 화소의 에지 방향을 결정하는데, 이때, 수평방향의 변화량을 dx i,j 라 하고, 상기 수직방향의 변화량을 dy i,j 라 하면 이러한 수평 및 수직 방향의 변화량은 수학식 2와 같이 구해질 수 있다. 첨자 i,j는 상기 보간 대상 화소의 위치를 나타내기 위한 것이다.
Figure 112008080164865-PAT00002
,
Figure 112008080164865-PAT00003
상기 수학식 2는 상기 다수개의 화소들과 상기 에지 맵의 동일한 위치에 있는 요소와의 곱셈 연산을 한 후 더한 것이다. 또한, 상기 수학식 2에서 gr 및 gl은 보간 대상 라인(200)에 속하는 화소로 상기 보간 대상 화소와 인접하면서 우측, 좌측에 각각 위치한 가상의 화소(ghost pixel or Imaginary pixel)를 의미하며, 수학식 3과 같이 구할 수 있다.
Pgr=(Pur+Pdr)/2, Pgl=(Pul+Pdl)/2
에지 방향을 표현의 편의상 상기 보간 대상 화소를 기준으로 하는 벡터(Di,j)로 표시하면, 이러한 에지 방향 벡터 Di,j의 각도는 수학식 4와 같이 결정할 수 있다.
Figure 112008080164865-PAT00004
상기 수학식 4에서 괄호부분은 만일 Ang(D i , j )이 0°보다 작다면 180°를 더해서 상기 Ang(D i , j )값이 0°에서 180°의 범위에 존재하도록 보정하는 것을 의미한다. 예를 들어 dx i,j 와 dy i,j 값이 4 와 6.5 와 같이 구해진 경우, 에지 방향 벡터의 각도는 31.6°로 계산된다.(즉,θ=(180°/π)×tan-1(dyi,j(=4)/dxi,j(=6.5))=31.6°)
에지 방향 검출기(110)는 상술한 바와 같은 과정을 통해 검출된 에지의 방향에 대한 정보(즉, 에지 방향 벡터의 각도)를 보간부(120)로 제공한다. 이하에서는 보간부(120)에서 보간 대상 화소의 화소값(pixel value)을 구하는 방법에 대해 설명한다.
보간부(120)는 상기 에지 방향에 대한 정보로부터 보간 대상 화소의 보간 방법을 결정하고, 보간 대상 화소의 화소값을 구하는 부분이다. 구체적으로, 보간부(120)는 상기 에지 방향 벡터의 각도를 이용하여 보간 대상 화소에 인접한 상위 스캔 라인 및 하위 스캔 라인에 포함되고 상기 보간 대상 화소를 기준으로 대칭되는 복수개의 화소쌍(a pair of pixels) 각각에, 상기 에지 방향에 기초하여 적응적으로 결정되는 가중치를 적용하여 상기 보간 대상 화소의 화소값을 구한다.
도 4는 상기 보간 대상 화소의 화소값을 구하는 과정을 설명하기 위한 도면이다. 도 4를 참조하면, 상기 복수개의 화소쌍은 예를 들어 5개일 수 있으며, 이러한 5개의 화소쌍은 보간 대상 화소를 기준으로 {(ull, drr), (ul, dr), (um, dm), (ur, dl), (urr, dll)}의 위치에 있는 화소들이다. 도 4에서는 상기 화소쌍에 대해 표현의 편의상 ull 위치에 있는 화소를 α로, ul 위치에 있는 화소를 β로, um 위치에 있는 화소를 γ로, ur 위치에 있는 화소를 ε로, urr위치에 있는 화소를 ζ로 표시하였다. 그런데, 상기 화소쌍에 대해 하위 스캔 라인에 포함된 화소를 α,β,γ,ε,ζ로 각각 정하여도 무방하다.
보간부(120)는 에지 방향 벡터 Di,j의 방향에 의해 결정되는 값(이하 κ라 한다)을 계산하여 그 결과에 따라 보간 대상 화소의 보간 방법을 결정한다(S52). 상기 κ는 수학식 5에 의해 간단히 구해진다.
Figure 112008080164865-PAT00005
이러한 κ가 소정의 값(예컨대 |κ|> 2)을 초과하거나, 정수(integer number)이면 상기 보간부(120)는 하기 수학식 6과 같이 결정되는 선형 보간값으로 보간 대상 화소를 보간한다(S53).
Figure 112008080164865-PAT00006
상기 수학식 6에서 χout(i,j)는 (i,j)위치에 있는 보간 대상 화소의 화소값을 의미한다. 수학식 6의 의미는 보간 대상 화소의 수직 방향에 있는 화소들(즉,um과 dm)의 평균값으로 상기 보간 대상 화소의 화소값을 구하는 것인데, 이것은 상기 κ가 소정 값보다 크면 수평 방향으로 에지 방향이 정해지는 것으로 볼 수 있으며, 이러한 경우에 에지 방향 기반의 보간 방식은 효율적이지 못하기 때문이다. 그리고, 상기 κ가 정수인 경우에 수학식 6과 같이 보간 대상 화소의 화소값을 결정하는 이유는 후술한다.
보간부(120)는 상기 κ가 소정의 값 이하(예컨대 |κ|≤ 2 )이고 정수가 아닌 경우에는, 보간 대상 화소를 기준으로 대칭되는 복수개의 화소쌍 각각에 가중치를 적용하여 상기 보간 대상 화소의 화소값을 구한다(S54).
도 4를 참조하여, 상기 복수개의 화소쌍은 보간 대상 화소를 기준으로 {(ull, drr), (ul, dr), (um, dm), (ur, dl), (urr, dll)}의 위치에 있는 화소들이다. 보간부(120)는 상기 복수개의 화소쌍 각각의 평균값에 가중치를 적용하여 상기 보간 대상 화소의 화소값을 결정한다. 상기 화소쌍 각각의 평균값은 수학식 7과 같이 나타낼 수 있다.
Figure 112008080164865-PAT00007
상기 수학식 7에서 구해진 평균값 각각에 곱해지는 가중치는 에지 방향에 따라 결정되는 지점 κ에서 각 화소쌍까지의 거리에 반비례하는 값이다. 상기 화소쌍까지의 거리는 상기 κ지점을 기준으로 상기 화소쌍 중 상위 스캔 라인에 포함되는 화소 각각까지의 수평거리(horizontal distance)를 의미한다. 도 4에 도시된 d α , d β , d γ , d ε , d ζ 는 상기 κ를 기준으로 하여 α,β,γ,ε,ζ로 표시된 각 화소들까지의 수평거리를 나타낸다.
상기 수평거리(horizontal distance)에 반비례하는 가중치는 수학식 8과 같이 나타낼 수 있다.
Figure 112008080164865-PAT00008
예를 들어, 보간 대상 화소의 좌표가 (i,j), κ를 0.5라고 하면, α로 표시된 화소의 좌표는 (i-2, j-1)이고, d α 는 가로 방향의 수평거리인 2.5가 된다. 그 결과 ωα는 1/2.5 즉 0.4가 된다. 수학식 8에 나타난 바와 같이, κ가 정수이면 상기 d α , d β , d γ , d ε , d ζ 중 하나가 0이 될 수 있기 때문에 결국, 가중치 ωχ 중 하나가 무한대가 된다. 이것을 방지하기 위해 상기 κ가 정수인 경우는 제외한다. κ가 정수인 경우는 수학식 6에 의해 보간 대상 화소의 화소값을 구한다.
보간부(120)는 상기한 방법으로 구한 평균값과 가중치를 수학식 9에 적용하여 보간 대상 화소의 화소값을 구한다.
Figure 112008080164865-PAT00009
이상에서, 보간부(120)에서 보간 대상 화소의 화소값을 구하는 과정을 상술하였는데, 이러한 과정을 정리하면 수학식 10과 같다.
Figure 112008080164865-PAT00010
에지 방향 기반의 디인터레이싱 방식에서 에지 방향이 잘못 정해지면 결국 보간 대상 화소에 보간하는 값이 정확하지 않게 되므로 화질의 열화현상을 가져오게 된다. 따라서, 본 실시예에서는 상술한 바와 같이 소벨 마스크를 이용한 연산을 통해 에지 방향 벡터의 각도를 구한 후, 하나의 에지 방향에 있는 화소들만 이용하여 보간을 하는 것이 아니라 다양한 방향의 화소들에 상기 에지 방향 벡터의 각도에 적응적으로 결정되는 가중치를 적용하여 보간하는 것이다.
이하에서는 본 실시예에 따른 디인터레이싱의 효과를 객관적으로 나타내기 위한 실험결과를 설명한다. 352×288 크기의 CIF 동영상(Akiyo, Flower, Foreman, Mobile, News, Stefan, 그리고 Table Tennis)을 대상으로 하여, 기존의 에지 기반의 화면 내(Intra-Field) 알고리듬들과 성능을 비교하기 위하여 객관적인 화질의 비교 요소로 널리 사용하고 있는 PSNR(Peak Signal-to-Noise Ratio)을 비교하였다. 상기 PSNR은 수학식 11과 같이 구해진다.
Figure 112008080164865-PAT00011
여기서,
Figure 112008080164865-PAT00012
이다.
수학식 10에서 x org , x rec 는 width×height 크기를 가지는 원본 영상과 복원된 영상을 각각 나타낸다. 도 6은 본 실시예의 성능 평가를 위한 실험방법을 나타낸 개념도이다. 도 6을 참조하면, 실험을 위해 원본 영상을 순차 주사 방식(Progressive Format)으로부터 비월 주사 방식(Interlaced Format)으로 변환한다. 변환한 영상을 다시 본 실시예에 따른 디인터레이싱을 거쳐 복원하고, 그 복원한 영상을 상기 원본 영상과 비교하여 PSNR을 구한다. 하기 표 1은 CIF 영상에 대한 PSNR의 비교 결과(dB/frame)를 나타낸 표이고, 표 2는 CIF 영상에 대한 평균 CPU time(ms/frame)을 비교한 결과를 나타낸 표이다.
Akiyo Flower Foreman Mobile News Stefan Table
Tennis		 Average
ELA 37.6815 21.9325 31.3965 23.3409 31.5308 25.9657 31.2361 29.0120
EELA 36.7604 21.9588 30.3962 23.2673 31.9229 26.3585 30.8843 28.7926
DOI 39.6058 22.2521 30.2166 24.9101 33.3840 26.6883 31.5472 29.8006
NEDD 38.6852 22.3364 30.6379 24.7633 32.6870 26.9959 31.6351 29.6773
FDED 39.9255 22.2700 31.1383 25.1571 33.5498 27.2761 31.8828 30.1714
MADL. 38.6215 22.3717 30.4243 24.5538 32.5933 26.4629 31.1682 29.4565
LABI 33.8914 20.4972 28.0312 21.3759 28.4069 23.0753 27.5959 26.1248
LCID 39.7420 22.4388 31.2011 25.3110 33.1898 27.0937 32.0628 30.1485
FDOI 38.8680 22.4428 30.7809 24.8739 32.8404 27.1242 31.7855 29.8165
본
실시예		 39.6906 22.4063 30.6239 25.4530 33.6435 27.4817 31.9735 30.1818
Akiyo Flower Foreman Mobile News Stefan Table
Tennis		 Average
ELA 23.2974 23.2974 30.9966 19.2979 27.2970 23.7974 23.4974 24.4973
EELA 22.6975 18.1980 36.7960 32.0965 22.8975 27.3970 23.1974 26.1828
DOI 171.9811 538.9407 312.4656 648.4287 363.2600 663.9270 812.4106 501.6305
NEDD 39.2957 35.4961 50.7944 34.9962 42.7953 50.4944 51.2944 43.5952
FDED 93.9897 93.4897 92.9898 109.2880 148.7836 132.7854 175.7807 121.0153
MADL. 134.9395 146.2831 138.5892 146.4804 185.2459 188.4024 254.2939 170.6472
LABI 15.7983 15.4983 15.7983 19.9978 19.2979 27.4970 38.9957 21.8405
LCID 31.2966 19.7978 31.2966 15.2983 23.2974 30.9966 31.2966 26.1828
FDOI 97.7892 109.4880 97.7892 124.9863 109.4880 168.2815 175.4807 126.1861
본
실시예		 61.1568 30.5784 30.5784 30.5784 14.7960 30.5784 30.5784 32.6921
상기 표 1과 표 2에서는 다양한 테스트 영상에 대한 각각의 디인터레이싱 알고리듬들의 평균 PSNR 값과 CPU time 계산량을 보여준다. 상기 표 1 및 표 2에 따르면, 본 실시예에 의한 디인터레이싱 방법이 27.01% 정도의 계산량을 가지고 기존 방법들 중 가장 우수한 방식인 FDED 방법보다 0.0104dB 우수한 객관적 화질을 보인다. 또한, 본 실시예에 따른 방법은 DOI 방법과 FDOI 방법에 비해 19.15%와 25.91% 가량의 CPU time을 필요로 하면서 0.3812dB 와 0.3653dB만큼 객관적 화질의 성능이 좋아지는 것을 보여주고 있다. LCID 방법과 비교하면 49.69%정도 계산량이 증가 되지만 PSNR 측면에서 0.0333dB 개선되는 효과를 볼 수 있다.
도 7은 Foreman 영상의 42번째 프레임을 본 실시예 및 기존의 디인터레이싱방법으로 디인터레이싱한 결과를 나타내는 사진이다. 도 7에서 (a)는 원영상 ,(b)는 ELA(Edge-Based Line Average), (c)는 E-ELA(Efficient ELA), (d)는 DOI(Direction Oriented Interpolation), (e)는 NEDD(M.K. Park, M.G. Kang, K. Nam, and S.G. Oh, "New edge dependent deinterlacing algorithm based on horizontal edge pattern," IEEE Trans. IEEE Trans. Cons. Elect., vol. 49, no. 4, pp. 1508-1512, Nov. 2003.),(f)는 FDED(F. Michaud, C.T. Le Dinh, and G. Lachiver, "Fuzzy detection of edge-direction for video line doubling," IEEE Trans. Circuits and Syst. Video Technol., vol. 7, no. 3, pp. 539-542, June 1997.),(g)는 MADLSCD(C.-C. Lin, M.-H. Sheu, H.-K. Chiang, C. Liaw, and J.-F. Lin, "Motion adaptive de-interlacing with local scene changes detection," in Proc. ICICIC 2007, pp. 142-145, 5-7 Sept. 2007.), (h)는 LABI(D.-H Lee, "A new edge-based intra-field interpolation method for deinterlacing using locally adaptive-thresholded binary image," IEEE Trans. Cons. Elect., vol. 54, no. 1, pp. 110-115, Feb. 2008.), (i)는 LCID(P.-Y. Chen and Y.-H. Lai, "A low-complexity interpolation method for deinterlacing," IEICE Trans. on Inf. & Syst., vol. E90-D, no. 2, pp. 606-608, Feb. 2007.), (j)는 FDOI( G. Jeon and J. Jeong, "Fuzzy rule and Bayesian network based line interpolation for video deinterlacing," IEICE Trans. Communications, vol. E90-B, no. 6, pp. 1495-1507, June 2007.), (k)는 본 실시예에 따른 복원영상이다.
도 7을 참조하면, 본 실시예에 따라 디인터레이싱을 할 경우 기존의 방법인 (ELA, E-ELA, DOI, NEDD, FDED, MADLSCD, LABI, LCID, 그리고 FDOI)보다 현저하게 화질이 개선되었음을 확인할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 특허청구범위에 정의된 본 발명의 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형하여 실시할 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 구성을 보여주는 블록도이다.
도 2는 에지 방향 기반의 디인터레이싱을 위한 공간 방향 필터 윈도우를 나타낸 도면이다.
도 3은 본 실시예에 따른 에지 방향을 구하는데 사용되는 6개의 화소를 나타낸 도면이다.
도 4는 상기 보간 대상 화소의 화소값을 구하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 디인터레이싱 방법을 보여주는 플로우챠트이다.
도 6은 본 실시예의 성능 평가를 위한 실험방법을 나타낸 개념도이다.
도 7은 Foreman 영상의 42번째 프레임을 본 실시예 및 기존의 디인터레이싱방법으로 디인터레이싱한 결과를 나타내는 사진이다.

Claims (12)

  1. 비월 주사 신호의 보간 대상 화소에 대한 에지 방향을 구하는 단계; 및
    상기 보간 대상 화소에 인접한 상위 스캔 라인 및 하위 스캔 라인에 포함되고 상기 보간 대상 화소를 기준으로 대칭되는 복수개의 화소쌍(a pair of pixels) 각각에, 상기 에지 방향에 기초하여 적응적으로 결정되는 가중치를 적용하여 상기 보간 대상 화소의 화소값을 구하는 단계를 포함하는 디인터레이싱 방법.
  2. 제 1 항에 있어서, 상기 에지 방향을 구하는 단계는
    상기 상위 스캔 라인 및 상기 하위 스캔 라인에 포함된 다수개의 화소와 에지맵의 연산을 통해 수평 및 수직 방향의 변화량(gradient derivative)을 구하여 상기 에지 방향의 각도를 구하는 것을 특징으로 하는 디인터레이싱 방법.
  3. 제 2 항에 있어서, 상기 다수개의 화소는 {ul, um, ur}, {dl, dm, dr} 위치에 해당하는 화소인 것을 특징으로 하는 디인터레이싱 방법.
    여기서, 상기 보간 대상 화소를 기준으로 상기 상위 스캔 라인에 위치하되 수직으로 위쪽에 있는 화소를 um(up and medium), 좌상(up and left)으로 위치한 화소를 ul, 우상(up and right)으로 위치한 화소를 ur이라 하며, 상기 하위 스캔 라인에 위치하되 수직으로 아래에 위치한 화소를 dm(down and medium), 우하(down and right)로 위치한 화소를 dr, 좌하(down and left)로 위치한 화소를 dl이라 표시한다.
  4. 제 3항에 있어서, 상기 에지 맵은 식 1과 같이 결정되는 것을 특징으로 하는 디인터레이싱 방법.
    (식1)
    Figure 112008080164865-PAT00013
    여기서, S i 는 수평방향의 에지 맵, S j 는 수직방향의 에지 맵.
  5. 제 4 항에 있어서,
    상기 수평방향의 변화량(이하 dx i,j 라 한다) 및 상기 수직방향의 변화량(이하 dy i,j 라 한다)이 식 2와 같이 구해지는 것을 특징으로 하는 디인터레이싱 방법.
    (식2)
    Figure 112008080164865-PAT00014
    ,
    Figure 112008080164865-PAT00015
    식 2 에서 Pur,Pum,Pul,Pdr,Pdm,Pdl,Pgr,Pgl은 첨자가 나타내는 해당 위치의 화소값을 의미하며, gr 및 gl은 상기 보간 대상 화소에 인접하고 우측 및 좌측에 각각 위치한 가상의 화소(Imaginary or ghost pixel)로 Pgr=(Pur+Pdr)/2, Pgl=(Pul+Pdl)/2로 계산된다.
  6. 제 5 항에 있어서,
    상기 에지 방향의 각도는 식 3과 같이 결정되는 것을 특징으로 하는 디인터레이싱 방법.
    (식 3)
    Figure 112008080164865-PAT00016
    상기 식 3에서 D i,j 는 에지의 방향을 나타내는 벡터로 (dx i,j , dy i,j )이고, i,j는 각 각 행과 렬을 나타내는 첨자이다. Ang ( D i,j )는 행 방향을 기준으로 한 상기 벡터의 각도를 나타낸다.
  7. 제 1 항에 있어서,
    상기 가중치는 상기 에지 방향과 상기 복수개의 화소쌍 각각까지의 수평거리(horizontal distance)에 반비례하는 것을 특징으로 하는 디인터레이싱 방법.
  8. 제 7 항에 있어서, 상기 복수개의 화소쌍이 5개인 경우,
    상기 수평거리는 상기 에지 방향에 따라 결정되는 지점 κ와 상기 복수개의 화소쌍 각각에서 상위 스캔 라인에 포함되는 화소와의 행방향의 거리이며, 상기 가중치는 식 4와 같이 결정되는 것을 특징으로 하는 디인터레이싱 방법.
    (식 4)
    ωα = 1/dα , ωβ = 1/dβ , ωγ = 1/dγ , ωε = 1/dε , ωζ = 1/dζ
    여기서, 상기 κ는 가로 방향으로 보간 대상 화소에서 1/tanθ 만큼 떨어진 위치를 의미하며, 상기 θ 는 Ang ( D i,j )이다. 또한 식 4의 dα,dβ,dγ,dε,dζ는 상기 κ지점을 기준으로 각 화소들까지의 수평거리(horizontal distance)를 나타낸다. 상기 첨자 α,β,γ,ε,ζ는 상기 5개의 화소쌍 중에서 상위 스캔 라인에 속하며 ull, ul, um, ur, urr 위치에 있는 5개의 화소를 각각 나타낸다.
  9. 제 8 항에 있어서, 상기 보간 대상 화소의 값은
    상기 κ가 소정 거리를 초과하거나 정수(integer number)이면 상기 보간 대상 화소에 대해 수직 방향에 있으면서 인접한 상위 스캔 라인 및 하위 스캔 라인에 포함되는 화소들의 선형 보간 값인 것을 특징으로 하는 디인터레이싱 방법.
  10. 제 9 항에서 있어서,
    상기 선형 보간값은 식 5와 같이 결정되는 것을 특징으로 하는 디인터레이싱 방법.
    (식 5)
    x(i,j) = (P um + P dm )/2
    여기서, x(i,j)는 (i,j)위치에 있는 보간 대상 화소에 대한 화소값이다.
  11. 제 1 항 또는 제 7 항에 있어서, 상기 보간 대상 화소의 화소값을 구하는 단 계는
    상기 복수개의 화소쌍이 5개인 경우, 상기 보간 대상 화소의 화소값이 식 6에 의해 결정되는 것을 특징으로 하는 디인터레이싱 방법.
    (식 6)
    Figure 112008080164865-PAT00017
    여기서, χ out (i,j)는 상기 보간 대상 화소의 화소값을 의미하며, 상기 식 6에서 χ α ,χ β ,χ γ ,χ ε ,χ ζ 는 하기의 식 7과 같다.
    (식 7)
    Figure 112008080164865-PAT00018
  12. 비월 주사 신호의 보간 대상 화소에 대한 에지 방향을 구하는 에지방향 검출기; 및
    상기 보간 대상 화소에 인접한 상위 스캔 라인 및 하위 스캔 라인에 포함되 고 상기 보간 대상 화소를 기준으로 대칭되는 복수개의 화소쌍(a pair of pixels) 각각에, 상기 에지 방향에 기초하여 적응적으로 결정되는 가중치를 적용하여 상기 보간 대상 화소의 화소값을 구하는 보간부를 포함하는 디인터레이싱 장치.
KR1020080115885A 2008-11-20 2008-11-20 디인터레이싱 장치 및 방법 KR100989650B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080115885A KR100989650B1 (ko) 2008-11-20 2008-11-20 디인터레이싱 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080115885A KR100989650B1 (ko) 2008-11-20 2008-11-20 디인터레이싱 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100056888A true KR20100056888A (ko) 2010-05-28
KR100989650B1 KR100989650B1 (ko) 2010-10-26

Family

ID=42280826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080115885A KR100989650B1 (ko) 2008-11-20 2008-11-20 디인터레이싱 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100989650B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101144435B1 (ko) * 2010-11-12 2012-05-10 중앙대학교 산학협력단 가중치를 이용한 에지 기반 디인터레이싱 방법 및 이러한 방법을 사용하는 영상 처리 장치
KR101829742B1 (ko) * 2016-12-14 2018-02-19 인천대학교 산학협력단 이중 선형 필터 및 퍼지-기반 가중 평균 필터에 기반한 디인터레이싱 장치 및 방법
KR20220005842A (ko) * 2020-07-07 2022-01-14 주식회사 엘지유플러스 영상 처리 장치 및 영상 수신 단말의 동작 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233826A1 (en) 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
US10055551B2 (en) 2013-10-10 2018-08-21 Board Of Regents Of The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
US11645835B2 (en) 2017-08-30 2023-05-09 Board Of Regents, The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100910208B1 (ko) * 2006-11-22 2009-07-30 한양대학교 산학협력단 디인터레이싱 장치 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101144435B1 (ko) * 2010-11-12 2012-05-10 중앙대학교 산학협력단 가중치를 이용한 에지 기반 디인터레이싱 방법 및 이러한 방법을 사용하는 영상 처리 장치
KR101829742B1 (ko) * 2016-12-14 2018-02-19 인천대학교 산학협력단 이중 선형 필터 및 퍼지-기반 가중 평균 필터에 기반한 디인터레이싱 장치 및 방법
KR20220005842A (ko) * 2020-07-07 2022-01-14 주식회사 엘지유플러스 영상 처리 장치 및 영상 수신 단말의 동작 방법

Also Published As

Publication number Publication date
KR100989650B1 (ko) 2010-10-26

Similar Documents

Publication Publication Date Title
US7423691B2 (en) Method of low latency interlace to progressive video format conversion
US6473460B1 (en) Method and apparatus for calculating motion vectors
US20050129306A1 (en) Method and apparatus for image deinterlacing using neural networks
JP3798440B2 (ja) 中間フィールドまたは中間フレームの動き補償内挿方法および装置
KR100989650B1 (ko) 디인터레이싱 장치 및 방법
JP2009515384A (ja) フィールドベースのビデオに対する動き補償により支援された空間−時間デインターレーシングのための方法および装置
JP2002503428A (ja) エッジ相関を用いてインタレース動画をプログレッシブ動画に変換するシステム
JP2001320679A (ja) 映像インターレース−順次走査変換器における補間アーティファクトを隠すための装置および方法
US20080174694A1 (en) Method and apparatus for video pixel interpolation
KR20030049140A (ko) 영상 신호의 디인터레이스 방법 및 장치
EP1931136B1 (en) Block-based line combination algorithm for de-interlacing
JPH02290382A (ja) ビデオ信号をフィルム画像に変換する方法
KR20060135742A (ko) 영화 모드 적응을 갖춘 움직임 보상된 디-인터레이싱
US7443448B2 (en) Apparatus to suppress artifacts of an image signal and method thereof
Lee et al. High quality spatially registered vertical temporal filtering for deinterlacing
Kang et al. A single field interlaced to progressive format conversion using edge map in the image block
Mohammadi et al. A five-field motion compensated deinterlacing method based on vertical motion
US8553145B2 (en) Method and related apparatus for image de-interlacing
JP5178477B2 (ja) 映像信号処理装置及び方法、並びに映像表示装置
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
KR101069712B1 (ko) 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치
Lee et al. A motion-adaptive deinterlacer via hybrid motion detection and edge-pattern recognition
Lee et al. Deinterlacing with motion adaptive vertical temporal filtering
JP3745425B2 (ja) 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ
KR100931142B1 (ko) 디인터레이싱 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151012

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee