KR101046347B1 - 영상 디인터레이싱 방법 및 그 장치 - Google Patents

영상 디인터레이싱 방법 및 그 장치 Download PDF

Info

Publication number
KR101046347B1
KR101046347B1 KR1020090024781A KR20090024781A KR101046347B1 KR 101046347 B1 KR101046347 B1 KR 101046347B1 KR 1020090024781 A KR1020090024781 A KR 1020090024781A KR 20090024781 A KR20090024781 A KR 20090024781A KR 101046347 B1 KR101046347 B1 KR 101046347B1
Authority
KR
South Korea
Prior art keywords
pixel
value
current
area
texture
Prior art date
Application number
KR1020090024781A
Other languages
English (en)
Other versions
KR20100106695A (ko
Inventor
강근화
김주혁
정제창
Original Assignee
중앙대학교 산학협력단
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, 한양대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020090024781A priority Critical patent/KR101046347B1/ko
Publication of KR20100106695A publication Critical patent/KR20100106695A/ko
Application granted granted Critical
Publication of KR101046347B1 publication Critical patent/KR101046347B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Abstract

본 발명은 영상 디인터레이싱 방법 및 그 장치에 관한 것이다. 본 발명에 따른 영상 디인터레이싱 방법은 (a) 보간할 현재 화소를 중심으로 하는 현재영역이 에지나 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 판별하는 단계; (b) 상기 현재영역에 상기 텍스쳐 영역이 아닌 경우 미디안 필터를 사용하여 상기 현재 화소의 값을 산출하는 단계; (c) 상기 현재영역이 상기 텍스쳐 영역인 경우 상기 현재 화소의 각 방향에 대한 화소값 기울기를 이용한 화소값 기울기 필터를 사용하여 상기 현재 화소의 값을 산출하는 단계; 및 (d) 상기 산출된 값으로 상기 현재 화소를 보간하는 단계를 포함한다.
이에 따라, 먼저 텍스쳐 감지를 통해 현재 보간할 영역이 평탄한 영역인지 에지가 존재하는 텍스쳐 영역인지 판단하여 상황에 따라 적응적으로 보간방식을 적용하여 좋은 성능을 얻을 수 있다. 또한, 종래의 디인터레이싱 방식에 비해 연산이 비교적 간단하기 때문에 구현이 쉽고 경제성이 있다.
디인터레이싱, 텍스쳐영역, 화소값기울기

Description

영상 디인터레이싱 방법 및 그 장치{Video Interlacing Method and Apparatus thereof}
본 발명은 영상 디인터레이싱 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 적응적으로 영상 디인터레이싱을 수행하는 방법 및 그 장치에 관한 것이다.
최근 PDP나 LCD와 같은 대형 디스플레이 및 평판 디스플레이 장치들이 널리 사용됨에 따라 영상 화질 개선에 대한 연구가 더욱 중요해지고 있다. 그러나 종래의 방송 시스템은 대역폭과 영상 화질을 함께 고려하여 비월 주사 방식을 채택하여 사용하고 있기 때문에 비월 주사 방식을 순차 주사 방식으로 변환이 필요하다.
이러한 변환을 디인터레이싱이라 부르는데, 종래의 디인터레이싱 방법은 크게 MC(Motion Compensation) 디인터레이싱 방법과 No-MC(No Motion Compensation) 디인터레이싱 방법으로 구분할 수 있다.
일반적으로 MC 디인터레이싱 방법은 No-MC 디인터레이싱 방법과 비교하여 성능은 우수하지만 연산 복잡도가 높고 메모리 용량을 많이 필요로 하기 때문에 하드 웨어로 구현에 있어서 어려움이 따른다.
반면 상대적으로 구현이 용이한 No-MC 디인터레이싱 방법들 중에는 움직임 정보를 이용하여 적응적으로 시, 공간 필터를 적용하는 방법, 필드 내의 정보만을 이용하여 보간을 하는 공간 필터를 이용하는 경우가 연산 복잡도가 낮고, 실시간 구현이 용이하기 때문에 많이 적용되고 있다.
공간 필터 중에 성능이 우수하고 많이 적용되고 있는 알고리듬은 에지의 방향성을 이용한 보간하는 알고리듬이다. 이러한 방법들은 먼저 에지 정보를 추출하여 방향성을 계산하고 이에 따라 적절한 화소들을 이용하여 보간 하게 되는데 이 경우, 정확한 에지 정보의 추출과 방향성을 결정하는 부분이 성능을 좌우하는 중요한 요소이다. 그리하여 에지를 추출하기 위한 다양한 방법들이 제시되었는데 대부분의 방법에 있어서 대각선 에지에 취약한 단점이 있고, 구해진 에지의 방향을 완전히 신뢰할 수 없는 문제가 있었다.
예컨대, 현재 널리 사용하는 ELA(Edge-based Line Average) 알고리듬은 에지의 방향을 추출하고 이를 이용하여 화소간의 평균값을 구하여 보간하는 방법으로서, 간단한 연산과 구현의 용이성 때문에 많이 사용되고 있지만, 화소 값의 작은 변화에도 민감하고, 잘못된 에지 정보를 이용하는 등의 단점이 있다.
이러한 ELA 알고리듬의 단점을 보완하기 위해 여러 알고리듬들이 제안되고 있다. 에지 방향의 검출 성능을 높이기 위한 추가적인 측정 방법이 제안되었고, 수평 에지 패턴이나 콘텐츠 분석에 따른 보간 방법들이 제안되었다.
특히 DOI(Direction Oriented Interpolation) 알고리듬은 윈도우 기반으로 에지를 검출하기 때문에 이전의 ELA 알고리듬 보다 좀 더 성능이 우수한 것으로 알려져 있다. DOI 알고리듬은 에지 방향을 좀 더 정교하게 찾고 공간적으로 강한 하나의 에지나 수평 방향성의 에지를 갖는 영상에서 좋은 성능을 보인다. 그러나 DOI 알고리듬은 큰 검색 범위 내에서 에지 패턴을 찾기 때문에 연산 복잡도가 높고, 유사하거나 반복적인 에지 패턴을 가지는 영역에서는 좋지 않은 성능을 보인다.
따라서, 본 발명의 목적은 먼저 텍스쳐 감지를 통해 현재 보간할 영역이 평탄한 영역인지 에지가 존재하는 텍스쳐 영역인지 판단하여 상황에 따라 적응적으로 보간방식을 적용하여 더 좋은 성능을 얻는 것이다.
상기 목적은 본 발명에 따라, 영상 디인터레이싱 방법에 있어서, (a) 보간할 현재 화소를 중심으로 하는 현재영역이 에지나 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 판별하는 단계; (b) 상기 현재영역에 상기 텍스쳐 영역이 아닌 경우 미디안 필터를 사용하여 상기 현재 화소의 값을 산출하는 단계; (c) 상기 현재영역이 상기 텍스쳐 영역인 경우 상기 현재 화소의 각 방향에 대한 화소값 기울기를 이용한 화소값 기울기 필터를 사용하여 상기 현재 화소의 값을 산출하는 단계; 및 (d) 상기 산출된 값으로 상기 현재 화소를 보간하는 단계를 포함하는 것을 특징으로 하는 영 상 디인터레이싱 방법에 의해 구현 가능하다.
상기 (a) 단계는 상기 현재 화소의 주변 화소의 분산값이 임계치보다 큰 경우 상기 텍스쳐 영역으로 판별하고, 그렇지 않은 경우 평탄영역으로 판별할 수 있다.
상기 (b) 단계는, 다음 식에 의해 상기 현재 화소의 값을 산출할 있다:
Figure 112009017613988-pat00001
(여기서, a=X(i-1,j-1), b=X(i,j-1), c=X(i+1,j-1), d=X(i-1,j+1), e=X(i,j+1), f=X(i+1,j+1) 이고, 현재 화소는 X(i,j) 이며, i,j는 화소의 행과 열의 인덱스임).
상기 (c) 단계는, 상기 현재 화소를 중심으로 이전프레임과 현재프레임의 주변화소들에 기초하여 다수의 방향에 대한 화소값 기울기를 산출하는 단계; 상기 산출한 화소값 기울기의 값에 기초하여 에지 방향을 결정하는 단계; 및 상기 결정된 에지 방향에 존재하는 주변 화소들의 평균값을 상기 현재 화소의 값으로 산출하는 단계를 포함한다.
상기 에지 방향을 결정하는 단계는 다음 식에 의해 상기 에지 방향을 산출하고:
Figure 112009017613988-pat00002
,
(여기서, Gy 는 y각도 방향의 화소 기울기 값을 의미함)
상기 현재 화소의 값을 산출하는 단계는 다음 식에 의해 산출한다:
Figure 112009017613988-pat00003
(여기서,
Figure 112009017613988-pat00004
는 입력 화소 정보를 나타내고,
Figure 112009017613988-pat00005
는 보간 된 화소의 값을 나타낸다.
Figure 112009017613988-pat00006
는 화소의 위치를 의미하는 (i,j)를 나타낸다. 또한,
Figure 112009017613988-pat00007
와
Figure 112009017613988-pat00008
에서의 n은 영상의 프레임의 위치를 나타내는 것으로, n은 현재의 프레임, n-1은 이전 프레임, n+1은 다음 프레임을 의미함).
한편, 상기 목적은 본 발명에 따라, 영상 디인터레이싱 장치에 있어서, 보간할 현재 화소를 중심으로 하는 현재영역이 에지나 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 판별하는 영역판별부; 판별결과에 따라 보간모드를 결정하는 보간모드결정부; 미디안 필터를 사용하여 상기 현재 화소의 값을 보간하는 미디안 보간부; 및 상기 현재 화소의 주변화소들에 기초하여 각 방향에 대한 화소값 기울기를 산출하는 화소값 기울기 산출부, 상기 산출된 화소값 기울기 값에 기초하여 에지 방향을 결정하는 에지 방향 결정부, 및 상기 결정된 에지 방향에 대응하는 화소들의 평균값으로 보간을 수행하는 평균값 보간부를 포함하는 화소값 기울기 보간부를 포함하며, 상기 보간모드결정부는 상기 텍스쳐 영역이 아닌 경우 상기 미디안 보간부에 의한 보간을 선택하고, 상기 텍스쳐 영역인 경우 상기 화소값 기울기 보간부에 의 한 보간을 선택하는 것을 특징으로 하는 영상 디인터레이싱 장치에 의해 달성될 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 먼저 텍스쳐 감지를 통해 현재 보간할 영역이 평탄한 영역인지 에지가 존재하는 텍스쳐 영역인지 판단하여 상황에 따라 적응적으로 보간방식을 적용하여 더 좋은 성능을 얻을 수 있다. 또한, 종래의 보간방식에 비해 연산이 간단하기 때문에 구현이 쉽고 경제성이 있다.
이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.
본 발명은 디인터레이싱 된 영상의 객관적 화질 및 주관적 화질을 개선하기 위해 텍스쳐 감지를 이용한 화소값 기울기 보간 및 미디안 보간 기반의 디인터레이싱 방법 및 장치를 제안한다.
도 1은 본 발명의 일 실시예에 따라 디인터레이싱을 수행하는 방법의 대략적인 흐름을 보여준다.
화소들이 입력되면(S10), 입력된 화소들에 기초하여 현재 화소를 중심으로 하는 영역이 에지나 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 판별한다(S11).
만약, 텍스쳐 영역으로 판별된 경우(S12), 화소값 기울기 필터를 사용하여 현재 화소의 값을 산출한다(S13). 반면, 평탄영역으로 판별된 경우(S14), 미디안 필터를 사용하여 현재 화소의 값을 산출한다(S15). 그리고, 산출된 화소값으로 현 재 화소를 보간한다(S16).
본 발명은 텍스쳐 영역인지 여부에 따라 보간 방법을 적응적으로 달리 적용함으로써 더욱 선명한 화질을 얻을 수 있다.
이하, 도 2 내지 도 6을 참조하여 구체적인 본 발명의 영상 디인터레이싱 방법 및 장치에 대해 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 영상 디인터레이싱 장치의 개략적인 제어블록도이고, 도 3은 본 발명의 일 실시예에 따라 텍스쳐 영역인지 여부를 판단하는데 기초가 되는 주변 화소들을 도시한 것이다.
도 2를 참조하면, 본 실시예에 따른 영상 디인터레이싱 장치는 영역판별부(10), 보간모드결정부(20), 및 영상 보간부(30)를 포함한다.
영역판별부(10)는 현재 화소가 속한 일정 크기의 영역이 에지나 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 먼저 판별한다.
본 실시예에서 텍스쳐 영역 여부의 판별은 도 3과 같이, 이전 필드와 현재 필드의 주변화소들의 분산값을 산출하여 판별한다.
도 3에서, XO는 보간할 현재 화소의 위치를 나타내며, X1~X8은 텍스쳐 영역 여부의 판단을 위한 주변 화소들을 나타낸다. 현재 필드에서 현재 화소의 좌우 화소가 존재하지 않기 때문에, 이전 필드의 동일 위치에 존재하는 화소인 X7, X8을 기초로 분산을 산출한다.
분산과 평균은 아래의 수학식 1 및 2에 의해 산출한다.
Figure 112009017613988-pat00009
Figure 112009017613988-pat00010
도 1을 다시 참고하면, 영역판별부(10)는 분산값 Var이 Th(임계값)보다 클 경우에는 현재 화소가 속한 현재영역이 텍스쳐 영역인 것으로 판단하고, 그렇지 않은 경우에는 에지나 텍스쳐가 존재하지 않는 평탄영역으로 판단한다.
여기서, 임계값은 실험을 통해 적절하게 결정될 수 있다.
보간모드결정부(20)는 현재 화소의 영역이 텍스쳐 영역이 아닌 것으로 판별되면, 즉 평탄영역으로 판별되면 미디안 보간을 선택하고, 현재 화소의 영역이 텍스쳐 영역으로 판별되면 화소값 기울기 보간을 선택한다. 이와 같이, 본 발명은 텍스쳐 영역인지 여부에 따라 보간 방법을 적응적으로 달리 적용함으로써 더욱 선명한 화질을 얻을 수 있다.
영상 보간부(30)는 결정된 보간 방법에 의해 현재 화소의 값을 보간하는 것으로, 미디안 보간부(31) 및 화소값 기울기 보간부(33)를 포함한다.
미디안 보간부(31)는 미디안 필터를 사용하여 보간을 수행하는 것으로, 평탄영역에 적용된다. 미디안 필터는 구현이 매우 간단하고 많은 영상에서 비교적 좋은 성능을 보여주고 있다.
도 4는 미디안 보간부(31)의 보간 방법을 설명하기 위한 주변픽셀들을 도시 한 것이고, 아래 수학식 3은 보간 식을 나타낸 것이다.
Figure 112009017613988-pat00011
미디안 보간부(31)는 a,b,c,d,e,f와 g를 비교하여 그 중 중간값을 갖는 화소값으로 현재 화소를 보간한다. 여기서, g는 b와 e의 평균값이다.
미디안 필터 알고리즘은 강한 잡음에 효과적인 것으로 알려져 있다. 다만, 자연 이미지 또는 풍경 이미지와 같은 영상 또는 에지를 가진 영상에서는 비효율적인 것으로 알려져 있다. 따라서, 본 발명에서는 에지나 텍스쳐가 존재하지 않는 평탄영역의 경우 미디안 필터를 사용하여 고화질의 영상을 얻고, 에지나 텍스쳐가 존재하는 텍스쳐 영역의 경우 화소값 기울기 필터를 사용한다.
화소값 기울기 보간부(33)는 화소값 기울기 필터를 사용하여 보간을 수행하는 것으로, 도 5는 화소값 기울기 보간부(33)의 보간 방법을 개략적으로 보여주는 흐름도이다.
먼저, 각 방향에 대한 화소값 기울기를 구하여(S20), 에지 방향을 결정하고(S21), 결정된 에지 방향에 대응하는 화소들의 평균값으로 현재 화소를 보간한다(S22).
화소값 기울기 보간부(33)의 보간 방법에 대해서는 도 1 및 도 6을 참조하여 보다 구체적으로 설명한다.
도 1을 다시 참조하면, 화소값 기울기 보간부(33)는 화소값 기울기 산출 부(33a), 에지 방향 결정부(33b), 및 평균값 보간부(33c)를 포함한다.
화소값 기울기 산출부(33a)는 다음과 같은 식으로 화소값 기울기를 산출한다.
Figure 112009017613988-pat00012
여기서, G(x)는 화소 x의 화소값 기울기를 나타내고, Px -1, Px +1은 각각 x-1, x+1 위치의 화소값을 나타낸다. 만약 G(x)의 값이 0이 된다면, 그것이 에지 방향을 의미하게 된다. 본 실시예에서, 화소값 기울기는 시간 및 공간 영역을 기반으로 한다.
도 6은 화소값 기울기 필터에 이용되는 주변 화소들을 나타낸다. 도 6에서, X는 보간 대상이 되는 현재 화소의 위치를 나타내고, 회색으로 표시된 영역의 화소들(a, b, c, d, e, f, g, h, i, j, k, l)은 화소값 기울기 필터에 이용되는 주변 화소들을 나타낸다.
90°각도 방향
90°각도 방향의 화소값 기울기의 연산은 다음 수학식 5와 같이 구할 수 있다.
Figure 112009017613988-pat00013
여기서, ≫는 오른쪽 시프트 연산을 의미하고, P(a), P(i), ...은 a, i, ... 위치의 화소 값을 의미한다. 만약, 위 식에서 G90 °가 0이 된다면 에지 방향은 90°가 된다.
0°각도 방향
0°각도 방향의 화소값 기울기의 연산은 아래 수학식 6에 의해 구할 수 있다.
Figure 112009017613988-pat00014
45°각도 방향
45°각도 방향은 화소값 기울기 필터의 방향을 변경하는 것으로 다음과 같은 식으로 구할 수 있다.
Figure 112009017613988-pat00015
135°각도 방향
135°각도 방향의 화소값 기울기의 연산은 45°각도 방향과 유사하게 다음과 같이 구할 수 있다.
Figure 112009017613988-pat00016
22.5°각도 및 157.5°각도 방향
22.5°각도와 157.5°각도 방향에 대한 화소값 기울기는 각각 각도의 좌,우에 해당하는 각도 방향의 평균으로 구할 수 있다. 예컨대, 22.5°의 각도의 경우, 주변의 각도의 방향의 모드(각각 0°각도와 45°각도 방향)으로부터 다음과 같은 식에 의해 구할 수 있다.
G22.5° = G(O°) + G(45°))≫ 1
마찬가지로 157.5°각도 방향에 대한 화소값 기울기는 다음과 같은 식으로 구할 수 있다.
G157.5° = G(O°) + G(135°))≫ 1
이렇게 각 각도에 대한 화소값 기울기 값이 산출되면, 에지 방향 결정부(33b)는 다음과 같은 식에 의해 에지 방향을 결정하게 된다.
Figure 112009017613988-pat00017
여기서, fIGF는 최종적으로 결정되어 출력되는 에지 방향을 나타낸다. 즉, 화소값 기울기 값 중 최소값을 가진 화소값 기울기의 방향을 에지 방향으로 결정한다.
이렇게 에지 방향이 결정되면, 평균값 보간부(33c)는 결정된 에지 방향에 따라 두 화소의 평균값으로 보간할 화소를 보간하게 되는데, 구체적인 식은 다음과 같다.
Figure 112009017613988-pat00018
여기서,
Figure 112009017613988-pat00019
는 입력 화소 정보를 나타내고,
Figure 112009017613988-pat00020
는 보간 된 화소의 값을 나타낸다.
Figure 112009017613988-pat00021
는 화소의 위치를 의미하는 (i,j)를 나타낸다. 또한,
Figure 112009017613988-pat00022
와
Figure 112009017613988-pat00023
에서의 n은 영상의 프레임의 위치를 나타낸다. 예컨대, n이 현재의 프레임이라 하면, n-1은 이전 프레임을 의미하고, n+1은 다음 프레임을 의미한다.
추가적으로, 최적 에지 방향인 fIGF의 결과가 G0 °이면, 다른 각도의 방향처럼, 현재 필드의 화소 정보를 갖고 보간을 하는 것이 아니라, 이전 프레임과 다음 프레임의 현재 보간할 화소의 위치와 동일한 위치의 화소 정보의 평균으로 보간을 수행하게 된다. 이는 비록 텍스쳐 영역으로 판단되었지만, 수평각의 경우 그 영역이 수평 에지의 영역인지 배경 영역인지가 불분명하기 때문에, 본 발명에서는 실험을 통해 가장 좋은 성능을 보여주는 이전 프레임과 다음 프레임의 정보를 이용하여 보간을 수행하도록 하였다.
본 발명에 따른 디인터레이싱 방법 및 장치는 소프트웨어 알고리즘 및/또는 하드웨어에 의해 구현 가능하다.
실험 결과
본 실험에서는 여러 종류의 CIF 동영상(Akiyo, Bus, Coastguard, Flower, Foreman, Mobile, Paris, Stefan, Table Tennis, 그리고 Tempete)을 대상으로 디인터레이싱 알고리듬들의 성능을 평가하였다. 종래의 알고리듬들과 성능을 비교하기 위하여 객관적인 화질의 비교 척도로 잘 알려져 있고, 널리 사용하고 있는 PSNR(Peak Signal-to-Noise Ratio)을 사용하여 비교하였다.
다음 식들은 PSNR과 MSE를 산출하는 방법을 나타낸다. 아래 수학식 13에서 MSE(Mean Squared Error)는 수학식 14에서 보여 주듯이 원본 영상과 복원된 영상의 차이의 제곱의 평균을 의미한다.
Figure 112009017613988-pat00024
Figure 112009017613988-pat00025
여기서 xorg와 xrec는 width×height 크기를 갖는 원본 영상과 복원된 영상을 나타낸다.
도 7은 성능 평가 방법에 대한 대략적인 흐름도를 나타낸다. 실험 대상의 CIF 동영상들은 도 7에 의해 프로그레시브(Progressive) 형식으로부터 인터레이 스(Interlaced) 형식으로 변환된다.
다음으로, 프로그레시브 형식의 원본 영상과 종래의 여러 디인터레이싱 알고리듬들을 이용하여 복원된 영상들을 비교하였다.
아래 표 1 및 표 2는 각각 제안한 본 발명에 따른 알고리듬(이하, IMTD라 함)과 종래의 디인터레이싱 알고리듬들인 LD(Line Doubling), LA(Line Average), ELA, E-ELA, A-ELA, DOI, LABI, PMED, 및 MIAD의 평균 PSNR 결과와 평균 CPU 타임(time)의 비교 결과를 보여준다.
Figure 112009017613988-pat00026
-CIF 영상에 대한 PSNR의 비교(dB/frame)-
Figure 112009017613988-pat00027
-CIF 영상에 대한평균 CPU 타임 비교(ms/frame)-
표 1과 표 2에서 알 수 있듯이, 제안하는 본 발명에 따른 IMTD 알고리듬은 기존 알고리듬들 보다 객관적인 화질에서 우수한 성능을 보인다. 특히, 에지의 방향이 선명하게 나타나는 "Foreman" 영상이나 반복적인 패턴이 많이 나타나는 "Flower" 영상의 경우에는 일반적으로 성능이 좋다고 알려진 LA(Line Average), DOI 알고리듬들 보다 객관적 화질의 비교 척도인 PSNR이 0.4486dB, 0.4488dB 우수한 성능을 보이고 있으며, CPU 타임은 DOI 알고리듬과 비교하여 월등히 빠른 성능을 보여주고 있다. 또한 평균 PSNR에서도 본 발명에 따른 IMTD 알고리듬을 제외하고 높은 성능을 보이는 LA, DOI, MIAD 알고리듬들과 비교하여 최대 0.2782dB 우수한 성능을 보이고 있다.
도 8 및 9는 종래의 디인터레이싱 알고리듬과 본 발명에 따른 ITMD 알고리듬의 주관적인 화질을 비교한 영상으로서, 각각 "flower"와 "stefan" 영상의 주관적인 화질을 비교한 것이다.
구체적으로, 도 8은 "Flower" 영상의 170번째 프레임 영상의 특정 부분을 확대한 것이고, 도 9는 "Stefan" 영상의 202번째 프레임 영상의 특정부분을 확대한 것이다. 도 8의 (a)의 영상과 도 9의 (a)에서 영상의 확대한 부분을 사각형으로 표시하였다. 영상의 확대한 부분은 에지 방향의 라인이 잘 나타나는 부분을 포함하고 있어 본 발명에 따른 IMTD 알고리듬의 특성을 나타내는데 효과적이다.
LA(Line Average) 알고리듬의 경우 객관적 화질 비교 척도인 PSNR은 높지만 도 8의 (d)와 도 9의 (d)에서 보듯이 주관적 화질은 매우 좋지 않다. 즉, 주관적 화질은 인간의 눈으로 판단하는 것이므로 객관적 성능이 좋다고 하여 항상 주관적 화질 성능이 좋은 것은 아니고, 주관적 화질 성능이 좋다고 하여 객관적 성능까지 높은 것은 아니다.
그 예로, 도 8의 "Stefan" 영상의 경우 본 발명에 따른 IMTD 알고리듬이 가장 좋은 PSNR 값을 가지지는 않지만 주관적 화질의 관점에서 볼 때 가장 좋은 성능을 보이고 있음을 알 수 있다.
이와 같이, 본 발명은 비교적 간단한 연산을 통해, 에지나 텍스쳐가 존재하는 텍스쳐 영역을 감지하여 서로 다른 보간 방법을 적용하여 적응적으로 디인터레이싱을 수행함으로써 경제적이고 성능이 좋은 결과를 얻을 수 있다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
도 1은 본 발명의 일 실시예에 따라 디인터레이싱을 수행하는 방법의 대략적인 흐름을 보여준다.
도 2는 본 발명의 일 실시예에 따른 영상 디인터레이싱 장치의 개략적인 제어블록도이고, 도 3은 본 발명의 일 실시예에 따라 텍스쳐 영역인지 여부를 판단하는데 기초가 되는 주변 화소들을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 텍스쳐 영역인지 여부를 판단하는데 기초가 되는 주변 화소들을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 미디안 보간부(31)의 보간 방법을 설명하기 위한 주변픽셀들을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 화소값 기울기 보간부(33)의 보간 방법을 개략적으로 보여주는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 화소값 기울기 필터에 이용되는 주변 화소들을 나타낸다.
도 7은 성능 평가 방법에 대한 대략적인 흐름도를 나타낸다.
도 8 및 9는 종래의 디인터레이싱 알고리듬과 본 발명에 따른 ITMD 알고리듬의 주관적인 화질을 비교한 영상으로서, 각각 "flower"와 "stefan" 영상의 주관적인 화질을 비교한 것이다.

Claims (6)

  1. 영상 디인터레이싱 방법에 있어서,
    (a) 보간할 현재 화소를 중심으로 하는 현재영역이 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 판별하는 단계;
    (b) 상기 현재영역에 상기 텍스쳐 영역이 아닌 경우 미디안 필터를 사용하여 상기 현재 화소의 값을 산출하는 단계;
    (c) 상기 현재영역이 상기 텍스쳐 영역인 경우 상기 현재 화소의 각 방향에 대한 화소값 기울기를 이용한 화소값 기울기 필터를 사용하여 상기 현재 화소의 값을 산출하는 단계; 및
    (d) 상기 산출된 값으로 상기 현재 화소를 보간하는 단계를 포함하며;
    상기 (b) 단계는, 다음 식에 의해 상기 현재 화소의 값을 산출하는 것을 특징으로 하는 영상 디인터레이싱 방법:
    Figure 112010084368239-pat00045
    (여기서, a=X(i-1,j-1), b=X(i,j-1), c=X(i+1,j-1), d=X(i-1,j+1), e=X(i,j+1), f=X(i+1,j+1) 이고, 현재 화소는 X(i,j) 이며, i,j는 화소의 행과 열의 인덱스임)
  2. 제1항에 있어서,
    상기 (a) 단계는 상기 현재 화소의 주변 화소의 분산값이 임계치보다 큰 경우 상기 텍스쳐 영역으로 판별하고, 그렇지 않은 경우 평탄영역으로 판별하는 것을 특징으로 하는 영상 디인터레이싱 방법.
  3. 제1항에 있어서,
    상기 (b) 단계는, 다음 식에 의해 상기 현재 화소의 값을 산출하는 것을 특징으로 하는 영상 디인터레이싱 방법:
    Figure 112009017613988-pat00028
    (여기서, a=X(i-1,j-1), b=X(i,j-1), c=X(i+1,j-1), d=X(i-1,j+1), e=X(i,j+1), f=X(i+1,j+1) 이고, 현재 화소는 X(i,j) 이며, i,j는 화소의 행과 열의 인덱스임)
  4. 제1항에 있어서,
    상기 (c) 단계는,
    상기 현재 화소를 중심으로 이전프레임과 현재프레임의 주변화소들에 기초하여 다수의 방향에 대한 화소값 기울기를 산출하는 단계;
    상기 산출한 화소값 기울기의 값에 기초하여 에지 방향을 결정하는 단계; 및
    상기 결정된 에지 방향에 존재하는 주변 화소들의 평균값을 상기 현재 화소의 값으로 산출하는 단계를 포함하는 것을 특징으로 하는 영상 디인터레이싱 방법.
  5. 제4항에 있어서,
    상기 에지 방향을 결정하는 단계는 다음 식에 의해 상기 에지 방향을 산출하고;
    Figure 112009017613988-pat00029
    ,
    (여기서, Gy 는 y각도 방향의 화소 기울기 값을 의미함)
    상기 현재 화소의 값을 산출하는 단계는 다음 식에 의해 산출하는 것을 특징으로 하는 영상 디인터레이싱 방법:
    Figure 112009017613988-pat00030
    (여기서,
    Figure 112009017613988-pat00031
    는 입력 화소 정보를 나타내고,
    Figure 112009017613988-pat00032
    는 보간 된 화소의 값을 나타낸다.
    Figure 112009017613988-pat00033
    는 화소의 위치를 의미하는 (i,j)를 나타낸다. 또한,
    Figure 112009017613988-pat00034
    와
    Figure 112009017613988-pat00035
    에서의 n은 영상의 프레임의 위치를 나타내는 것으로, n은 현재의 프레임, n-1은 이전 프레임, n+1은 다음 프레임을 의미함).
  6. 영상 디인터레이싱 장치에 있어서,
    보간할 현재 화소를 중심으로 하는 현재영역이 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 판별하는 영역판별부;
    판별결과에 따라 보간모드를 결정하는 보간모드결정부;
    미디안 필터를 사용하여 상기 현재 화소의 값을 보간하는 미디안 보간부; 및
    상기 현재 화소의 주변화소들에 기초하여 각 방향에 대한 화소값 기울기를 산출하는 화소값 기울기 산출부, 상기 산출된 화소값 기울기 값에 기초하여 에지 방향을 결정하는 에지 방향 결정부, 및 상기 결정된 에지 방향에 대응하는 화소들의 평균값으로 보간을 수행하는 평균값 보간부를 포함하는 화소값 기울기 보간부를 포함하며,
    상기 미디안 보간부는 다음 식에 의해 상기 현재 화소의 값을 산출하고,
    Figure 112010084368239-pat00046
    (여기서, a=X(i-1,j-1), b=X(i,j-1), c=X(i+1,j-1), d=X(i-1,j+1), e=X(i,j+1), f=X(i+1,j+1) 이고, 현재 화소는 X(i,j) 이며, i,j는 화소의 행과 열의 인덱스임),
    상기 보간모드결정부는 상기 텍스쳐 영역이 아닌 경우 상기 미디안 보간부에 의한 보간을 선택하고, 상기 텍스쳐 영역인 경우 상기 화소값 기울기 보간부에 의한 보간을 선택하는 것을 특징으로 하는 영상 디인터레이싱 장치.
KR1020090024781A 2009-03-24 2009-03-24 영상 디인터레이싱 방법 및 그 장치 KR101046347B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090024781A KR101046347B1 (ko) 2009-03-24 2009-03-24 영상 디인터레이싱 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090024781A KR101046347B1 (ko) 2009-03-24 2009-03-24 영상 디인터레이싱 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20100106695A KR20100106695A (ko) 2010-10-04
KR101046347B1 true KR101046347B1 (ko) 2011-07-05

Family

ID=43128735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090024781A KR101046347B1 (ko) 2009-03-24 2009-03-24 영상 디인터레이싱 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101046347B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160081652A (ko) 2014-12-31 2016-07-08 인천대학교 산학협력단 디인터레이싱 방법 및 장치
KR20160081658A (ko) 2014-12-31 2016-07-08 인천대학교 산학협력단 소프트 디시전 기반 디인터레이싱 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100422575B1 (ko) * 2001-07-26 2004-03-12 주식회사 하이닉스반도체 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
KR20050032893A (ko) * 2003-10-02 2005-04-08 삼성전자주식회사 에지 기반의 영상 적응형 디인터레이싱 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100422575B1 (ko) * 2001-07-26 2004-03-12 주식회사 하이닉스반도체 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
KR20050032893A (ko) * 2003-10-02 2005-04-08 삼성전자주식회사 에지 기반의 영상 적응형 디인터레이싱 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160081652A (ko) 2014-12-31 2016-07-08 인천대학교 산학협력단 디인터레이싱 방법 및 장치
KR20160081658A (ko) 2014-12-31 2016-07-08 인천대학교 산학협력단 소프트 디시전 기반 디인터레이싱 방법 및 장치

Also Published As

Publication number Publication date
KR20100106695A (ko) 2010-10-04

Similar Documents

Publication Publication Date Title
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
US6381279B1 (en) Method for providing motion-compensated multi-field enhancement of still images from video
US20080246885A1 (en) Image-processing method and device
US7259794B2 (en) De-interlacing device and method therefor
US20110206127A1 (en) Method and Apparatus of Frame Interpolation
KR100422575B1 (ko) 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
KR101046347B1 (ko) 영상 디인터레이싱 방법 및 그 장치
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
Park et al. Covariance-based adaptive deinterlacing method using edge map
KR101158847B1 (ko) 에지맵을 이용한 디인터레이싱 장치 및 방법
KR101235488B1 (ko) 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법
KR100909032B1 (ko) 움직임 적응형 디인터레이싱 방법 및 장치
KR20030082249A (ko) 움직임 적응 시공간 디인터레이싱 방법
KR100874380B1 (ko) 변형된 소벨 연산자를 이용한 디인터레이싱 장치 및 방법, 그리고 기록매체
KR101697566B1 (ko) Ｄｃｔ 계수 분포 분석을 통한 에지 방향을 이용한 디인터레이싱 방법 및 장치
KR101192402B1 (ko) 공분산 기반 적응적 디인터레이싱 장치 및 방법, 그리고 복잡도를 고려한 하이브리드 디인터레이싱 장치 및 방법
KR100949137B1 (ko) 영상 보간 장치와 그 방법 및 그 방법이 기록된 컴퓨터로읽을 수 있는 기록매체
KR100471186B1 (ko) 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법
JP4681341B2 (ja) 順次走査変換装置
KR100942665B1 (ko) 방향정보에 기반한 영상 보간장치, 그 방법 및 그 방법을기록한 컴퓨터로 읽을 수 있는 기록매체
Chen et al. Median Based Wiener Filtering interpolation method for Progressive display using Local Homogeneous Area Selector
TWI288364B (en) Method for processing resolution of an image by image interpolation algorithm
Venkatesan et al. Video deinterlacing with control grid interpolation
KR101652265B1 (ko) 최대 귀납 기반 인트라 필드 디인터레이싱 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee