KR101069712B1 - 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치 - Google Patents

에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치 Download PDF

Info

Publication number
KR101069712B1
KR101069712B1 KR1020090057918A KR20090057918A KR101069712B1 KR 101069712 B1 KR101069712 B1 KR 101069712B1 KR 1020090057918 A KR1020090057918 A KR 1020090057918A KR 20090057918 A KR20090057918 A KR 20090057918A KR 101069712 B1 KR101069712 B1 KR 101069712B1
Authority
KR
South Korea
Prior art keywords
edge
directional information
pixel
interpolation
weighted median
Prior art date
Application number
KR1020090057918A
Other languages
English (en)
Other versions
KR20110000446A (ko
Inventor
홍성훈
장승민
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020090057918A priority Critical patent/KR101069712B1/ko
Publication of KR20110000446A publication Critical patent/KR20110000446A/ko
Application granted granted Critical
Publication of KR101069712B1 publication Critical patent/KR101069712B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치에 관한 것으로, 에지 방향성 보정을 고려한 효율적인 공간적 디인터레이싱 알고리즘을 제안한다. 기존의 에지기반 디인터레이싱 알고리즘들은 다른 공간적 디인터레이싱 알고리즘들에 비해 시각적으로 우수한 결과를 나타내지만 화소단위의 상관도를 이용하여 화소를 보간하기 때문에 잘못된 에지 방향을 찾게 될 경우 영상에 잡음이 발생한다. 제안한 알고리즘은 이러한 단점을 보완하기위해 보간할 화소 주변의 에지 방향성을 검출하고 구해진 정보에 따라 가중중앙값 필터를 적용하여 에지의 방향성을 보정함으로써 정확한 에지의 방향을 찾아낸다. 실험결과 제안된 방법은 기존의 공간적 디인터레이싱 방법들에 비하여 객관적인 PSNR 성능과 주관적 화질도 우수함을 알 수 있다.
에지 방향성, 보정, 가중치, 가중중앙값, 필터, 디인터레이싱, 주사선, 알고리즘, 화소, 영상, 잡음, 해상도

Description

에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치{A Method and Apparatus for Intra Field Scan-Line Interpolation Using Weighted Median of Edge Direction}
본 발명은 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치에 관한 것으로, 보다 상세하게는 비월주사(interlaced scanning)방식의 영상신호로부터 순차주사(progressinve scanning)방식의 영상신호를 얻기 위해 에지 방향성에 가중중앙값 필터를 적용하여 보다 정밀한 주사선 보간을 수행하는 필드내 주사선 보간 방법 및 그 장치에 관한 것이다.
현행 아날로그 TV에서는 영상 신호의 대역폭을 효율적으로 이용하기 위해서 비월주사 방식을 취하고 있다. 하지만 비월주사 방식은 주사선 사이의 깜박거림(flickering) 현상이나 수직 해상도가 떨어지는 등 여러 가지 문제점이 나타난다. 이에 비해 디지털 TV나 컴퓨터 모니터 등과 같은 디지털 제품에서 사용하는 순차주사 방식은 하나의 프레임을 단 한번에 모든 수평라인으로 주사하여 영상을 화 면에 재생하기 때문에 필드 사이의 시간축 상의 간섭 현상이 없고 주사선 사이의 깜박거림 현상도 줄어들어 좋은 화질을 얻을 수 있다. PDP나 LCD와 같은 HDTV용 디스플레이 장치의 수요가 증가함에 따라 좋은 화질을 얻기 위해서는 비월주사 영상신호를 순차주사 영상신호로 변환하는 디인터레이싱(Deinterlacing) 과정이 필수적이다.
기존의 다양한 디인터레이싱 알고리즘들은 크게 필드영상 한장만을 이용하는 공간적 디인터레이싱 방법(Intra-field Deinterlacing)과 여러 장의 필드영상 정보를 이용하는 시간적 디인터레이싱 방법(Inter-field Deinterlacing)으로 나눌 수 있다. 시간적 디인터레이싱의 경우 대표적인 알고리즘은 영상의 인접한 필드에서 움직임 정보를 사용하는 방법이다. 성능은 공간적 디인터레이싱에 비해 높은 편이나 연산량이 많아 복잡한 하드웨어 구조가 필요하고 정확한 움직임 검출을 수행하지 못할시 심각한 화질열화를 가져온다. 또한 시간적 디인터레이싱 방법은 공간적 방식을 기본적으로 활용한다. 따라서 효율적인 공간적 디인터레이싱 방법은 영상보간 성능을 향상시키기 위해 꼭 필요하다.
필드영상 한장만을 이용하는 공간적 디인터레이싱 방법 중 가장 대표적인 방법은 ELA(edge based line average) 알고리즘이다. ELA 알고리즘은 인접라인 사이의 방향성 상관도 정보를 이용하여 상관도가 높은 쪽으로 보간방향을 정하고, 그 방향을 중심으로 두 화소의 평균값으로 손실라인을 보간하는 방법이다. ELA 알고리즘은 구현이 비교적 간단하고 에지가 정확히 추정되는 영역에서 좋은 결과를 보이지만 작은 화소값의 변화에 민감하고 45° 보다 크거나 작은 각도의 대각선에 대해 서는 잘못된 에지정보를 이용하는 단점이 있어 잡음과 같은 화질열화를 가져온다.
E-ELA 알고리즘은 ELA 알고리즘에서 나타나는 문제점을 보완하기 위해 에지 방향 판단의 조건을 정확하게 하여 화소보간의 오류를 최소화 하였다. 윈도우 크기는 ELA와 동일한 3x2크기를 사용하였으며 방향성 검사를 위해 에지 방향성이 왼쪽, 오른쪽, 또는 그 외의 경우로 분류하여 각각 분류된 범주에서 적절한 방법으로 ELA를 변형하여 화소를 보간한다. E-ELA 알고리즘도 ELA 알고리즘과 마찬가지로 비교적 간단하고 에지가 정확히 추정되는 영역에서는 좋은 결과를 보이지만, 영상 내의 고주파 성분이 많은 영역인 경우 잡음의 영향으로 방향성 검출의 불연속성이 나타나게 되어 주관적 화질이 현저하게 떨어진다.
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 보간될 화소의 주변화소에 대한 방향성 정보를 검출하고 구해진 에지 방향성에 따라서 가중중앙값 필터(Weighted median filter)를 적용하여 보다 일관된 방향성 정보 얻음으로써 기존 방식보다 향상된 디인터레이싱 영상을 획득할 수 있는 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치를 제공하는데 있다.
또한 본 발명이 이루고자 하는 다른 기술적 과제는, 보간될 화소의 주변화소에 대한 7가지 방향성 정보를 검출하고 구해진 에지 방향성에 따라서 가중중앙값 필터(Weighted median filter)를 적용하여 보다 일관된 방향성 정보 얻음으로써 기존 방식보다 향상된 디인터레이싱 영상을 획득할 수 있는 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치를 제공하는데 있다.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 45°보다 각이 크거나 작은 에지를 잘 보간하는 총 7가지 방향성 정보를 이용하여 영상을 보간하는 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치를 제공하는데 있다.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 고주파 성분이나 잡음에 의해 잘못된 에지정보를 이용하는 문제점을 해결하기 위해 보간해야할 화소의 방향성 정보뿐만 아니라 주위 인접화소들의 방향성을 검출하여 화소를 보간하는 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치를 제공하는데 있다.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 마지막으로 검출된 에지 방향성 정보에 따라 가중중앙값 필터를 적용하여 연속적이고 일정한 에지를 얻음으로써 영상의 화질을 향상시킬 수 있는 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치를 제공하는데 있다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 청구항 1에 기재된 발명은, 「주사선 보간 방법에 있어서, (a) 에지 방향성을 고려하여 필드 영상의 각각의 화소에 대한 에지 방향성 정보를 생성하는 단계와; (b) 상기 에지 방향성 정보를 이용하여 에지 방향성 정보맵을 구성하는 단계와; (c) 상기 에지 방향성 정보맵을 이용하여 중심화소와 주변 화소들의 에지 방향성에 대한 가중중앙값 연산을 통해 최종 에지 방향성을 검출하는 단계; 및 (d) 상기 검출한 최종 에지 방향에 위치하는 두 화소의 평균값에 의해 화소를 보간하는 단계;를 포함하는 주사선 보간 방법.」을 제공한다.
청구항 2에 기재된 발명은, 「제 1 항에 있어서, 상기 (a)단계에서 상기 에지 방향성 정보의 생성은 에지 방향성을 고려하여 윈도우에서 서로 대응대는 위치의 화소값을 차감하고 상기 차감한 값의 절대값이 가장 작은 방향을 보간에 이용할 에지 방향성 정보로 결정하는 것을 특징으로 하는 주사선 보간 방법.」을 제공한다.
청구항 3에 기재된 발명은, 「제 1 항에 있어서, 상기 (a)단계의 화소의 에지 방향성 정보
Figure 112009039134711-pat00001
는:
Figure 112009039134711-pat00002
(
Figure 112009039134711-pat00003
는 보간할 현재 화소이고,
Figure 112009039134711-pat00004
는
Figure 112009039134711-pat00005
값에 따른 7가지 방향성 상관 정보들 중 보간에 사용할 에지 방향성 정보를 의미한다.)의 식에 의해 구하는 것을 특징으로 하는 하는 주사선 보간 방법.」을 제공한다.
청구항 4에 기재된 발명은, 「제 1 항에 있어서, 상기 (c)단계에서는: 가중중앙값 마스크 내 중심화소의 에지 방향성 정보가 음의 대각방향, 수직방향, 양의 대각방향 중 어느 방향인지 판단하고, 그 방향에 따른 주변 화소에 가중치를 적용하여 연산을 수행하는 것을 특징으로 하는 주사선 보간 방법.」을 제공한다.
청구항 5에 기재된 발명은, 「제 1 항에 있어서, 상기 (c)단계의 최종 에지 방향성 정보(
Figure 112009039134711-pat00006
)는:
Figure 112009039134711-pat00007
의 식에 의해 구하는 것을 특징으로 하는 하는 주사선 보간 방법.」을 제공한다.
청구항 6에 기재된 발명은, 「제 1 항에 있어서, 상기 (d)단계에서 화소 보간 방법은, 상기 최종 에지 방향성 정보(
Figure 112009039134711-pat00008
)를 사용하여 아래 식의 연산을 통해 보간될 현재 화소
Figure 112009039134711-pat00009
를 보간하는 것을 특징으로 하는 주사선 보간 방법.
Figure 112009039134711-pat00010
」을 제공한다.
또한, 전술한 기술적 과제를 해결하기 위한 수단으로서, 청구항 7에 기재된 발명은, 「주사선 보간 장치에 있어서, 필드 영상의 각각의 화소에 대한 에지 방향성 정보를 생성하는 방향성 검출 필터와; 상기 방향성 검출 필터에서 검출된 에지 방향성 정보에 따라서 중심화소와 주변 화소들의 에지 방향성에 가중치를 부여하여 최종 에지 방향성을 검출하는 가중 중앙값 필터; 및 상기 가중 중앙값 필터에서 검출한 최종 에지 방향에 위치하는 두 화소의 평균값에 의해 화소를 보간하는 방향성 보간 필터;를 포함하는 주사선 보간 장치.」를 제공한다.
청구항 8에 기재된 발명은, 「제 7 항에 있어서, 상기 방향성 검출 필터는 에지 방향성을 고려하여 윈도우에서 서로 대응대는 위치의 화소값을 차감하고 상기 차감한 값의 절대값이 가장 작은 방향을 보간에 이용할 에지 방향성 정보로 결정하는 것을 특징으로 하는 주사선 보간 장치.」를 제공한다.
청구항 9에 기재된 발명은, 「제 7 항에 있어서, 상기 방향성 검출 필터는 상기 에지 방향성 정보를 이용하여 에지 방향성 정보맵을 구성하는 것을 특징으로 하는 주사선 보간 장치.」를 제공한다.
청구항 10에 기재된 발명은, 「제 7 항에 있어서, 상기 가중중앙값 필터는 상기 방향성 검출 필터에서 구성한 에지 방향성 정보맵을 이용하여 가중중앙값 필터 연산을 수행하는 것을 특징으로 하는 주사선 보간 장치.」를 제공한다.
청구항 11에 기재된 발명은, 「제 7 항에 있어서, 상기 가중 중앙값 필터는 가중중앙값 마스크 내 중심화소의 에지 방향성 정보가 음의 대각방향, 수직방향, 양의 대각방향 중 어느 방향인지 판단하고, 그 방향에 따른 주변 화소에 가중치를 적용하여 연산을 수행하는 것을 특징으로 하는 주사선 보간 장치.」를 제공한다.
청구항 12에 기재된 발명은, 「제 7 항에 있어서, 상기 방향성 보간 필터는 에지 방향 중 상기 가중중앙값 필터에서 검출한 에지 방향에 위치한 두 화소값의 평균값에 의해 보간될 화소를 보간하는 것을 특징으로 하는 주사선 보간 장치.」를 제공한다.
본 발명에 따르면, 비월주사 필드 영상을 보간 할 때 화소의 에지 방향성을 검출하고, 중심화소와 주변 화소들의 에지 방향성에 대해 가중중앙값 필터를 적용하여 주사선 보간된 영상이 보다 정확하고 일관된 에지 방향성을 유지하도록 함으로써 객관적 화질과 주관적 화질을 향상 시킬 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙여 설명하기로 한다.
제 1 실시 예
이하, 첨부된 도면을 참조하여 상기 목적에 따른 에지 방향성의 가중치를 이용한 필드내 주사선 보간 장치 및 방법에 대하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 주사선 보간 장치 및 방법을 도시한 블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 에지 방향성의 가중치를 이용한 주사선 보간 장치(104)는 입력되는 비월주사영상을 보간 하기위해 입력영상의 각각의 화소에 대한 에지 방향성 정보를 검출하는 방향성 검출 필터(101), 보간될 화소와 그 주변 화소의 에지 방향성 정보를 이용하여 에지 방향성에 가중치를 부여해 최종 보간할 에지방향을 검출하는 가중중앙값 필터(102), 검출된 에지방향에 위치하는 두 화소의 평균값을 통해 보간할 화소값을 구하는 방향성 보간필터(103)로 구성된다.
상기 방향성 검출 필터(101)는 비월주사 영상을 보간하기 위해 입력영상의 각각의 화소에 대한 에지 방향성 정보를 검출한다.
도 2는 상기 방향성 검출 필터(101)에서 입력필드영상의 각 화소들의 에지 방향성 정보를 얻기 위해 사용하는 7가지 방향을 도시한 것이다.
Figure 112009039134711-pat00011
보간할 현재 화소이다. 방향성 검출을 위해 사용하는 화소의 에지 방향성 정보
Figure 112009039134711-pat00012
는 수학식 1과 같다.
Figure 112009039134711-pat00013
Figure 112009039134711-pat00014
는
Figure 112009039134711-pat00015
값에 따른 7가지 방향성 상관 정보들 중 보간에 사용할 에지 방향성 정보를 의미한다. 즉
Figure 112009039134711-pat00016
가 -3일 때는 도 2에 도시된 제 ①방향을 의미하고,
Figure 112009039134711-pat00017
가 -2일 때는 제 ②방향 의미하며,
Figure 112009039134711-pat00018
가 -1일 때는 제 ③방향을 의미한다. 그리고,
Figure 112009039134711-pat00019
가 0일 때는 수직방향을 나타내는 제 ④방향을 의미하고,
Figure 112009039134711-pat00020
가 1일 때는 제 ⑤방향을 의미하며,
Figure 112009039134711-pat00021
가 2일 때는 제 ⑥방향을 의미한다. 마지막으로,
Figure 112009039134711-pat00022
가 3일 때는 제 ⑦방향을 의미한다. 에지 방향성을 7방향 보다 확장하고자 할 경우는
Figure 112009039134711-pat00023
값을 확대하면 되는데, 실험결과 7방향성이 구현과 성능관점에서 좋은 결과를 보임을 확인하였다.
상기 방향성 검출 필터(101)에서는 수학식 1을 통해 검출한 방향성 정보
Figure 112009039134711-pat00024
로 구성된 도 3의 에지 방향성 정보맵(edge-direction information map)을 생성한다.
상기 방향성 검출 필터(101)에서 주변 고주파 성분이나 잡음으로 인해 잘못 검출되어진 에지 방향성을 보완하기 위해 상기 가중중앙값 필터(102)에서는 보간할 화소 위치의 에지 방향성 정보와 주변 8개 화소들의 에지 방향성 정보를 이용하여 도 3의 에지 방향성 정보를 수정한다.
여기서, 중앙값 필터란, 어떤 화소의 이웃 점 내에서 명암도의 중간값으로 해당 화소값을 교체하는 필터를 말한다. 본 발명에서는 중앙값 필터의 개념을 확장시킨 가중중앙값 필터(102)를 이용한다.
상기 가중중앙값 필터(102)에서는 보간할 화소 위치의 에지 방향성 정보와 그 주변 8개 화소들의 에지 방향성 정보를 이용하여 보간에 사용할 최종 에지방향성 정보
Figure 112009039134711-pat00025
을 검출한다.
도 4는 3×3 크기의 13탭 가중중앙값 필터 적용 방법을 나타낸 도면이다. 여기서, (a)는 3×3 크기의 음의 대각방향 13탭 가중중앙값 필터, (b)는 3×3 크기의 수직 방향 13탭 가중중앙값 필터, (c)는 3×3 크기의 양의 대각방향 13탭 가중중앙값 필터의 예를 각각 나타낸 것이다.
도 4에 도시된 바와 같이, 상기의 가중중앙값 필터(102)는 도 3의 에지 방향성 정보맵에 3×3 크기의 가중중앙값 마스크(401)를 적용하여 보간에 사용할 최종 에지방향성 정보
Figure 112009039134711-pat00026
을 결정한다.
상기 가중중앙값 필터(102)에서는 가중 중앙값 마스크(401)의 중심에 위치한 에지 방향성 정보
Figure 112009039134711-pat00027
에 따라 3가지 다른 가중중앙값 필터를 적용한다.
Figure 112009039134711-pat00028
가 음수이면 음의 대각방향 가중중앙값 필터를 적용하고,
Figure 112009039134711-pat00029
가 0이면 수직방향 가중중앙값 필터를 적용하며,
Figure 112009039134711-pat00030
가 양수이면 양의 대각방향 가중중앙값 필터를 적용한다. 가중중앙값 필터를 사용하여 얻어진 보간에 사용할 최종 에지 방향성 정보
Figure 112009039134711-pat00031
는 수학식 2와 같다.
Figure 112009039134711-pat00032
수학식 2(a)는 음의 대각방향 13탭 가중중앙값 필터 적용 방법을 보여준다. 가중중앙값 마스크의 중심에 위치한
Figure 112009039134711-pat00033
가 음수이면 그 주위 화소들 중 음의 대각방향에 있는 A와 H의 에지 방향성도 중심화소의 에지 방향성 정보와 유사하다는 가정 하에 가중중앙값 필터를 적용할 때 중심 화소는 세 번, A, H의 에지 방향성 정보는 두번씩 다른 에지 주변 방향성 정보 보다 더 많이 사용함으로써 잘못된 에지 방향성 정보를 보완한 최종 에지 방향성 정보
Figure 112009039134711-pat00034
를 얻는다. 수학식 2(b)와 식 2(c)도 앞서 기술한 바와 같은 맥락의 연산을 수행한다.
도 1의 화소 보간필터(104)에서는 최종 에지 방향성 정보
Figure 112009039134711-pat00035
를 사용하여 수학식 3의 연산을 통해 보간될 현재 화소
Figure 112009039134711-pat00036
를 보간한다.
Figure 112009039134711-pat00037
즉, 화소
Figure 112009039134711-pat00038
는 상기의 가중 중앙값 필터(102)에서 검출된 최종 에지 방향성 정보 인
Figure 112009039134711-pat00039
이 나타내는 방향에 위치해 있는 두 화소의 평균값으로 보간된다.
도 5a 내지 도 5c는 방향성 검출 필터를 사용하여 얻어진 방향성 정보와 가중중앙값 필터를 이용하여 보정된 방향성 정보를 각각의
Figure 112009039134711-pat00040
값에 따라 화소값을 대입하여 나타낸 영상으로서, 에지의 방향성에 대한 일관성이 향상된 것을 보여준다.
여기서, 도 5a는 입력 인터레이스 영상의 예를 나타낸 것이고, 도 5b는 도 5a 영상에 대한 7방향성 검출 필터로부터 얻어진 에지 방향성 정보맵을 나타낸 것이고, 도 5c는 도 5b의 에지 방향성 정보맵에 3×3 크기의 13탭 가중중앙값 필터를 적용하여 보정된 에지 방향성 정보맵을 나타낸 것이다.
도 5c의 영상에서 제안된 알고리즘은 주변 고주파 성분이 많은 영역에서 나타나는 방향의 불연속성 및 잡음을 많이 감소시키는 것을 확인할 수 있다.
도 6a 및 도 6b은 방향성 검출 필터의 성능 결과를 나타낸 것으로, 도 6a는 7 방향성 검출 필터로부터 얻어진 에지 방향성 정보맵을 이용하여 보간된 영상의 예를 나타낸 것이고, 도 6b는 가중중앙값 필터를 적용하여 보정된 에지 방향성 정보맵을 이용하여 보간된 영상의 예를 나타낸 것이다.
즉, 방향성 검출 필터(101)의 출력인 에지 방향성 정보에 따라 수학식 3을 적용하여 7방향 보간된 영상과 가중 미디언 필터(102)의 출력인 보정된 에지 방향성 정보에 따라 수학식 3을 적용하여 7방향 보간된 영상을 나타낸 것이다.
도 6a의 영상은 본 발명에서 사용한 기존 ELA 방식보다 4가지 방향성을 추가로 고려하여 7×2 윈도우를 사용하여 화소를 보간한 알고리즘이다. 문자와 같이 에지가 밀집되어 있는 부분에서 잘못된 에지정보를 사용하게 되어 심각한 화질열화가 발생함을 알 수 있다. 하지만 제안한 방향성 검출 필터를 적용하게 되면 도 6b의 영상과 같이 에지의 연속성을 잘 살리면서 화질 열화도 줄일 수 있다.
따라서, 도 6a 및 도 6b의 방향성 검출 필터의 성능 결과에서도 볼 수 있듯이, 가중 미디언 필터를 통해 보정된 에지 방향성 정보를 사용한 주사선 보간 결과 의 주관적 화질이 향상된 것을 알 수 있다.
본 발명에서는 제안한 알고리즘의 성능을 검증하기 위해 프레임을 홀수, 짝수 필드 영상으로 나눈 후 제안된 방법으로 디인터레이싱을 수행하였다. 정확한 성능평가를 위해서 객관적과 주관적 화질평가를 병행하였다. 객관적 화질평가를 위해 352×288 크기의 Akiyo, Foreman, Football, Mobile, Mother Daughter, Table Tennis, Stefan 순차주사 영상을 비월주사식 영상으로 변환한 후에 Line Average, ELA, E-ELA, E-ELA에 기반하여 중앙값 필터를 사용한 참고논문(Phu, M.Q.; Tischer, P.E.; Wu, H.R, “A median based interpolation algorithm for deinterlacing”, ISPACS 2004. Proceedings of 2004 International Symposium on, pp. 390 - 397, Nov. 2004.), 그리고 제안된 알고리즘의 방법으로 200개의 프레임의 평균 PSNR을 측정하였다.
Figure 112009039134711-pat00041
표 1은 각각의 알고리즘의 입력영상에 따른 평균 PSNR을 나타낸다. 본 발명의 디인터레이싱 방법은 기존의 에지 기반의 디인터레이싱 방법들 보다는 실험 영상에 따른 차이는 있으나 PSNR이 평균 0.5∼1dB 정도 높다는 것을 확인 할 수 있다. 특히 'Table tennis' 영상(도 7)이나 'Foreman' 영상(도 5)과 같이 방향성 에지 성분에 많은 영상에 대해서는 E-ELA 방법이나 상기 참고논문의 에지 보간 능력보다 우수하기 때문에 높은 PSNR을 보였다. 하지만 디인터레이싱의 성능을 단순히 PSNR로만 측정하기는 어렵기 때문에 주관적 화질평가를 위해 720×480 크기의 비월주사 영상을 홀수, 짝수 필드 영상으로 나눈 후 기존 알고리즘과 제안한 알고리즘으로 디인터레이싱을 수행하였다. 좀 더 정확한 에지의 보간성능을 확인하기 위해 주관적 화질평가는 에지영역, 가는 에지 영역으로 나누어 평가하였다.
도 7 내지 도 10은 기존 방식과 제안된 방식을 적용하여 보간된 영상의 예를 통한 성능 비교 도면으로, 도 7a와 도 8a, 도 9a 및 도 10a는 인터레이스 영상을 나타내고, 도 7b와 도 8b, 도 9b 및 도 10b는 E-ELA 영상을 나타내고, 도 7c와 도 8c, 도 9c 및 도 10c는 가중중앙값 필터 적용 영상을 나타낸 것이다.
여기서, E-ELA의 영상은 에지 보간 성능은 좋았지만 에지가 45°보다 작은 영역에서는 잘못된 에지 정보를 판단하여 보간을 수행하였기 때문에 에지의 불연속성 및 잡음이 많이 생겨 화질열화가 발생하였다. 제안한 가중중앙값 필터 적용 영상은 7개의 방향성 정보를 검출하고 가중중앙값 필터를 이용하여 방향성 보정을 수행하였기 때문에 에지의 성분을 자연스럽고 정확하게 보간할 수 있었고 영상의 잡음 문제도 잘 해결하였다.
또한, E-ELA의 영상은 보간 할 에지라인이 가늘고 에지성분이 밀집해 있어서 잘못된 방향성을 검출 할 경우가 많아 정확한 보간이 어렵다. 하지만, 제안한 가중중앙값 필터 적용 영상은 에지기반의 방향성 보정을 수행하였기 때문에 조금 더 우수한 영상을 얻을 수 있었다.
모의 실험결과 제안한 알고리즘은 특히 방향성 에지성분에 대한 보간성능이 우수하여 객관적, 주관적 화질 평가가 기존 알고리즘보다 높음을 확인 할 수 있었다.
본 발명에서는 한장의 필드만을 사용하므로 여러장의 필드를 사용하는 시간적 디인터레이싱 방법에 비해 계산적으로 간단한 공간적 디인터레이싱 방법을 제안하였다. 제안한 방법은 기존의 여러 에지를 고려한 디인터레이싱 알고리즘이 인접한 라인의 차이 값에만 의존했던 것에 비해 보간할 화소의 방향성 정보만 아니라 주변 화소에 대한 방향성 정보를 이용, 에지 방향성에 따라 가중중앙값 필터를 적용하여 보다 일정하고 연속적으로 에지를 보존 할 수 있었다. 따라서 특히 방향성 에지가 있는 영상에 대하여 객관적 및 주관적인 화질 성능이 향상됨을 알 수 있다.
이상에서 설명한 본 발명의 바람직한 실시 예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(당업자)라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
본 발명의 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치는 디지털 TV, 영상 디스플레이 장치 등을 포함한 정보 전자 통신 분야에 적용될 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 주사선 보간 장치의 블록 구성도
도 2는 7가지 에지 방향을 고려하는 방향성 검출 필터를 나타낸 도면
도 3은 에지 방향성 정보맵의 예를 나타낸 도면
도 4는 3×3 크기의 13탭 가중중앙값 필터 적용 방법을 나타낸 도면
도 5a는 입력 인터레이스 영상의 예를 나타낸 도면
도 5b는 도 5a 영상에 대한 7방향성 검출 필터로부터 얻어진 에지 방향성 정보맵을 나타낸 도면
도 5c는 도 5b의 에지 방향성 정보맵에 3×3 크기의 13탭 가중중앙값 필터를 적용하여 보정된 에지 방향성 정보맵을 나타낸 도면
도 6a는 7 방향성 검출 필터로부터 얻어진 에지 방향성 정보맵을 이용하여 보간된 영상의 예를 나타낸 도면
도 6b는 가중중앙값 필터를 적용하여 보정된 에지 방향성 정보맵을 이용하여 보간된 영상의 예를 나타낸 도면
도 7 내지 도 10은 기존 방식과 제안된 방식을 적용하여 보간된 영상의 예를 통한 성능 비교 도면으로,
도 7a와 도 8a, 도 9a 및 도 10a는 인터레이스 영상을 나타내고,
도 7b와 도 8b, 도 9b 및 도 10b는 E-ELA 영상을 나타내고,
도 7c와 도 8c, 도 9c 및 도 10c는 가중중앙값 필터 적용 영상을 나타낸 것이다.
[ 도면의 주요 부분에 대한 부호의 설명 ]
101 : 방향성 검출 필터 102 : 가중 중앙값 필터
103 : 방향성 보간 필터 104 : 주사선 보간 장치

Claims (12)

  1. 주사선 보간 방법에 있어서,
    (a) 에지 방향성을 고려하여 필드 영상의 각각의 화소에 대한 에지 방향성 정보를 생성하는 단계와;
    (b) 상기 에지 방향성 정보를 이용하여 에지 방향성 정보맵을 구성하는 단계와;
    (c) 상기 에지 방향성 정보맵을 이용하여 중심화소와 주변 화소들의 에지 방향성에 대한 가중중앙값 연산을 통해 최종 에지 방향성 정보를 검출하는 단계; 및
    (d) 상기 최종 에지 방향성 정보가 나타내는 방향에 위치하는 두 화소의 평균값에 의해 화소를 보간하는 단계;를 포함하는 주사선 보간 방법.
  2. 제 1 항에 있어서,
    상기 (a)단계에서 상기 에지 방향성 정보의 생성은 에지 방향성을 고려하여 윈도우에서 서로 대응대는 위치의 화소값을 차감하고 상기 차감한 값의 절대값이 가장 작은 방향을 보간에 이용할 에지 방향성 정보로 결정하는 것을 특징으로 하는 주사선 보간 방법.
  3. 제 1 항에 있어서, 상기 (a)단계의 화소의 에지 방향성 정보
    Figure 112009039134711-pat00042
    는:
    Figure 112009039134711-pat00043
    (
    Figure 112009039134711-pat00044
    는 보간할 현재 화소이고,
    Figure 112009039134711-pat00045
    는
    Figure 112009039134711-pat00046
    값에 따른 7가지 방향성 상관 정보들 중 보간에 사용할 에지 방향성 정보를 의미한다.)
    의 식에 의해 구하는 것을 특징으로 하는 주사선 보간 방법.
  4. 제 1 항에 있어서, 상기 (c)단계에서는:
    가중중앙값 마스크 내 중심화소의 에지 방향성 정보가 음의 대각방향, 수직방향, 양의 대각방향 중 어느 방향인지 판단하고, 그 방향에 따른 주변 화소에 가중치를 적용하여 연산을 수행하는 것을 특징으로 하는 주사선 보간 방법.
  5. 제 1 항에 있어서, 상기 (c)단계의 최종 에지 방향성 정보(
    Figure 112009039134711-pat00047
    )는:
    Figure 112009039134711-pat00048
    의 식에 의해 구하는 것을 특징으로 하는 주사선 보간 방법.
  6. 제 1 항에 있어서,
    상기 (d)단계에서 보간은, 상기 최종 에지 방향성 정보(
    Figure 112011005653140-pat00049
    )를 사용하여 아래 식의 연산을 통해 보간될 현재 화소
    Figure 112011005653140-pat00050
    를 보간하는 것을 특징으로 하는 주사선 보간 방법.
    Figure 112011005653140-pat00051
  7. 주사선 보간 장치에 있어서,
    필드 영상의 각각의 화소에 대한 에지 방향성 정보를 생성하는 방향성 검출 필터와;
    상기 방향성 검출 필터에서 검출된 에지 방향성 정보에 따라서 중심화소와 주변 화소들의 에지 방향성에 가중치를 부여하여 최종 에지 방향성을 검출하는 가중 중앙값 필터; 및
    상기 가중 중앙값 필터에서 검출한 최종 에지 방향에 위치하는 두 화소의 평균값에 의해 화소를 보간하는 방향성 보간 필터;를 포함하는 주사선 보간 장치.
  8. 제 7 항에 있어서,
    상기 방향성 검출 필터는 에지 방향성을 고려하여 윈도우에서 서로 대응대는 위치의 화소값을 차감하고 상기 차감한 값의 절대값이 가장 작은 방향을 보간에 이용할 에지 방향성 정보로 결정하는 것을 특징으로 하는 주사선 보간 장치.
  9. 제 7 항에 있어서,
    상기 방향성 검출 필터는 상기 에지 방향성 정보를 이용하여 에지 방향성 정보맵을 구성하는 것을 특징으로 하는 주사선 보간 장치.
  10. 제 7 항에 있어서,
    상기 가중중앙값 필터는 상기 방향성 검출 필터에서 구성한 에지 방향성 정보맵을 이용하여 가중중앙값 필터 연산을 수행하는 것을 특징으로 하는 주사선 보간 장치.
  11. 제 7 항에 있어서,
    상기 가중 중앙값 필터는 가중중앙값 마스크 내 중심화소의 에지 방향성 정보가 음의 대각방향, 수직방향, 양의 대각방향 중 어느 방향인지 판단하고, 그 방향에 따른 주변 화소에 가중치를 적용하여 연산을 수행하는 것을 특징으로 하는 주사선 보간 장치.
  12. 제 7 항에 있어서,
    상기 방향성 보간 필터는 에지 방향 중 상기 가중중앙값 필터에서 검출한 에지 방향에 위치한 두 화소값의 평균값에 의해 보간될 화소를 보간하는 것을 특징으로 하는 주사선 보간 장치.
KR1020090057918A 2009-06-26 2009-06-26 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치 KR101069712B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090057918A KR101069712B1 (ko) 2009-06-26 2009-06-26 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090057918A KR101069712B1 (ko) 2009-06-26 2009-06-26 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20110000446A KR20110000446A (ko) 2011-01-03
KR101069712B1 true KR101069712B1 (ko) 2011-10-04

Family

ID=43609305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090057918A KR101069712B1 (ko) 2009-06-26 2009-06-26 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101069712B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101235488B1 (ko) 2011-06-27 2013-02-20 한양대학교 산학협력단 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908101B2 (en) 2012-03-14 2014-12-09 Samsung Techwin Co., Ltd. Method and apparatus for reducing noise of video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101235488B1 (ko) 2011-06-27 2013-02-20 한양대학교 산학협력단 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법

Also Published As

Publication number Publication date
KR20110000446A (ko) 2011-01-03

Similar Documents

Publication Publication Date Title
US7423691B2 (en) Method of low latency interlace to progressive video format conversion
US6396543B1 (en) Deinterlacing apparatus of digital image data
EP1164792A2 (en) Format converter using bidirectional motion vector and method thereof
US7990471B1 (en) Interlaced-to-progressive video
US20060268168A1 (en) Content adaptive de-interlacing algorithm
US20080174694A1 (en) Method and apparatus for video pixel interpolation
US8743281B2 (en) Alias avoidance in image processing
US8000534B2 (en) Alias avoidance in image processing
KR100989650B1 (ko) 디인터레이싱 장치 및 방법
US8743280B2 (en) Scan conversion image filtering
US20060039631A1 (en) Intra-field interpolation method and apparatus
KR101069712B1 (ko) 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치
US8704945B1 (en) Motion adaptive deinterlacer
Park et al. Covariance-based adaptive deinterlacing method using edge map
US8055094B2 (en) Apparatus and method of motion adaptive image processing
US8532177B2 (en) Motion adaptive image processing
KR100540380B1 (ko) 디인터레이서의 필드 내 보간 장치 및 그 방법
KR101158847B1 (ko) 에지맵을 이용한 디인터레이싱 장치 및 방법
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
KR100910208B1 (ko) 디인터레이싱 장치 및 그 방법
KR101100731B1 (ko) 주사선 보간 장치 및 방법
US8259229B2 (en) Video signal processing apparatus and method thereof
KR101513395B1 (ko) 모션 적응적 디인터레이싱 시스템
KR101192402B1 (ko) 공분산 기반 적응적 디인터레이싱 장치 및 방법, 그리고 복잡도를 고려한 하이브리드 디인터레이싱 장치 및 방법
US8243196B2 (en) Motion adaptive image processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140829

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150716

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160729

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170718

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180927

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190923

Year of fee payment: 9