KR20120040764A - 에지맵을 이용한 디인터레이싱 장치 및 방법 - Google Patents

에지맵을 이용한 디인터레이싱 장치 및 방법 Download PDF

Info

Publication number
KR20120040764A
KR20120040764A KR1020100083086A KR20100083086A KR20120040764A KR 20120040764 A KR20120040764 A KR 20120040764A KR 1020100083086 A KR1020100083086 A KR 1020100083086A KR 20100083086 A KR20100083086 A KR 20100083086A KR 20120040764 A KR20120040764 A KR 20120040764A
Authority
KR
South Korea
Prior art keywords
edge
interpolation
pixel
target pixel
interpolation target
Prior art date
Application number
KR1020100083086A
Other languages
English (en)
Other versions
KR101158847B1 (ko
Inventor
정제창
박상준
Original Assignee
한양대학교 산학협력단
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단, 중앙대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020100083086A priority Critical patent/KR101158847B1/ko
Publication of KR20120040764A publication Critical patent/KR20120040764A/ko
Application granted granted Critical
Publication of KR101158847B1 publication Critical patent/KR101158847B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 에지맵을 이용한 디인터레이싱 장치 및 방법에 관한 것으로, 본 발명의 일 실시예에 따른 디인터레이싱 장치는 입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 마스킹 적용부; 상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 에지 검출부; 상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 에지 결정부; 상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 보간방법 선택부; 및 상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 보간부를 포함한다.

Description

에지맵을 이용한 디인터레이싱 장치 및 방법{Deinterlacing apparatus and method using edge map}
본 발명은 영상 신호의 디인터레이싱(deinteracing) 장치 및 방법에 관한 것으로, 보다 구체적으로 에지맵을 이용한 디인터레이싱 장치 및 방법에 관한 것이다.
TV 개발 초기부터 영상 소스가 비월 주사(interaced scanning) 방식을 취하고 있었고, 현재에도 방대한 영상 소스와의 호환성 문제로 인하여 TV 신호 방식에서는 비월 주사 방식을 많이 채택하고 있다.
비월 주사 방식은 제한된 대역폭을 효율적으로 사용하기 위해 NTSC(National Television Systems Committee), PAL(Phase Alternation by Line), 세캄(SECAM)을 포함하여 많은 TV 시스템에서 널리 사용되고 있다. 비월 주사 방식은 대역폭을 줄일 수 있는 장점이 있으나, 주사 방식의 특징에 의해 화면간 플리커(interline flicker), 이미지의 어긋남(jaggedness), 그리고 라인 크롤링(line crawling)과 같은 원치 않는 시각적 열화를 야기할 수 있다.
또한, 영상 디스플레이의 발달로 최근 출시되는 많은 디지털 영상 디스플레이 제품들(예를 들어 HDTV, 컴퓨터 모니터, LCD, PDP 패널 등)은 한 번에 전체 이미지를 표시할 수 있는 순차 주사(progressive scanning) 방식을 많이 채택하고 있다.
그리하여, 비월 주사 방식의 화질 열화를 막고, 비월 주사 방식의 영상 신호를 순차 주사 방식의 영상 신호로 변환하도록 디인터레이싱(deinterlacing)이 제안되었다.
디인터레이싱 기법은 한 프레임 안에서 공간적 상관성을 이용하는 단일필드 공간적 알고리즘(single-field spatial algorithm)과 프레임 간의 시간적 상관성을 이용하는 필드간 시간적 알고리즘(inter-field temporal algorithm)으로 나눌 수 있다. 단일필드 공간적 알고리즘은 시간적 정보를 사용하지 않고 공간적 상관성을 이용하는 필드내 보간(intra-field interpolation)을 하며, 필드간 시간적 알고리즘은 시간적 상관성을 이용하는 필드간 보간(inter-field interpolation)을 한다.
필드간 시간적 알고리즘에는 움직임 적응형 알고리즘(motion adaptive algorithm)과 움직임 보상형 알고리즘(motion compensation algorithm) 등이 있다. 필드간 시간적 알고리즘은 단일필드 공간적 알고리즘보다 효율성이 좋다고 알려져 있으나, 커다란 계산상 복잡성이 요구된다.
단일필드 공간적 알고리즘에는 LA(Line Average) 알고리즘, ELA(Edge-based Line Average) 알고리즘, EELA(Efficient ELA) 알고리즘 등이 있다. 단일필드 공간적 알고리즘은 명확성, 저비용, 하드웨어에서 쉬운 실행 등의 이유로 실시간 적용에 적절하다. 즉, 단일필드 공간적 알고리즘은 복잡도가 낮아서 실시간 처리를 요하는 기기에 적용이 가능하다.
일반적으로 단일필드 공간적 알고리즘에 포함되는 종래 방법들은 에지 방향을 따라 보간을 한다. 비록, 단일필드 공간적 알고리즘에 속하는 종래 방법들이 실행의 단순성과 용이성 때문에 널리 사용되기는 하나, 고려하는 에지 방향의 개수가 제한되어 있어 잡음이 발생하거나 복원된 화소가 노이즈로 보이는 문제가 발생할 수 있다.
ELA 알고리즘은 영상에서 라인 사이의 상관도 방향을 검출하여 가장 상관도가 높은 방향을 정하고, 이 방향을 기초로 두 라인의 화소 평균을 취하여 보간하는 방법이다. 그러나 화소 값의 작은 변화에 민감하고, 45도 보다 크거나 작은 각도의 대각선에 대해서는 잘못된 에지(edge) 정보를 이용하는 단점이 있다. 이러한 문제점을 보완하기 위한 알고리즘이 EELA이다.
EELA 알고리즘은 ELA 알고리즘보다 더 정확한 방향성을 찾기 위해 현재 위치에서 영상의 공간적인 형태를 세가지로 분류한다. 즉 공간적인 방향성이 왼쪽, 오른쪽, 또는 그 외의 경우로 분류하여 각각 분류된 범주에서 적절한 방법으로 ELA를 변형하여 적용한다. 그러나 EELA 알고리즘도 추정된 에지 방향의 정밀도의 관점에서 최적의 성능을 구현하는데 무리가 있다.
기존의 디인터레이싱 알고리즘의 문제를 해결하기 위해 새로운 디인터레이싱 알고리즘들이 등장하고 있다. 그러나 새로 등장하고 있는 디인터레이싱 알고리즘들은 성능은 향상되었으나, 계산량이 증가하여 디인터레이싱의 처리 시간도 증가하는 문제가 발생한다.
본 발명은 상기 문제점을 해결하기 위한 것으로, 디인터레이싱의 성능을 유지하면서 디인터레이싱의 처리 시간을 효과적으로 감소시키기 위해 에지맵을 이용한 디인터레이싱 장치 및 방법을 제안한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 디인터레이싱 장치는 입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 마스킹 적용부; 상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 에지 검출부; 상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 에지 결정부; 상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 보간방법 선택부; 및 상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 보간부를 포함한다.
또한, 상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 디인터레이싱 방법은 입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 단계; 상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 단계; 상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 단계; 상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 단계; 및 상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 단계를 포함한다.
그리고, 본 발명은 상기 디인터레이싱 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 에지맵을 이용하여, 에지 영역에는 디인터레이싱의 성능은 우수하나 계산량이 많은 디인터레이싱 알고리즘을 적용하고, 에지가 아닌 영역에는 처리 시간이 짧은 디인터레이싱 알고리즘을 적용하여, 디인터레이싱의 성능을 향상 시킬 뿐만 아니라 디인터레이싱의 처리 시간을 현저히 줄일 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 블록구성도이다.
도 2는 3x3 소벨 마스크를 도시한 도면이다.
도 3은 원본 영상 및 소벨 마스크를 이용하여 생성된 에지맵을 도시한 도면이다.
도 4는 보간 대상 화소를 중심으로 하는 윈도우의 크기를 도시한 도면이다.
도 5는 보간 대상 화소, 기준 화소, 인접 화소들의 관계를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 디인터레이싱 방법의 순서도이다.
도 7은 원본 영상과 디인터레이싱을 적용한 영상을 비교하기 위한 구성도이다.
도 8은 디인터레이싱 알고리즘을 이용하여 8개의 테스트 이미지의 PSNR 값과 CPU time을 구한 결과를 나타낸 표이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 블록구성도이다.
디인터레이싱 장치(100)는 입력부(110), 마스킹 적용부(120), 에지 검출부(130), 에지 결정부(140), 보간방법 선택부(150) 및 보간부(160)를 포함한다.
입력부(110)는 인터레이스 이미지, 즉 인터레이스가 된 이미지(interlaced image)를 입력하는 역할을 수행한다.
마스킹 적용부(120)는 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터(gradient vector)의 크기를 연산한다. 일반적으로 소벨 연산을 수행하며, 아래에서 살펴 보도록 한다.
도 2에는 3x3 크기의 소벨 마스크가 도시되어 있다. (a)에는 z로 표시되는 화소의 위치, (b)에는 수평 방향으로 소벨 연산을 수행하는 소벨 연산자, (c)에는 수직 방향으로 소벨 연산을 수행하는 소벨 연산자가 각각 도시되어 있다.
소벨 연산은 여러 에지 검출 알고리즘 중 가장 대표적인 에지 검출 방법으로 화소 사이의 밝기의 2차 변화를 이용하여 에지를 검출하는 알고리즘이다.
소벨 연산에서 그래디언트 벡터의 크기는 하기의 수학식 (1)에 정의되어 있다.
[수학식 (1)]
Figure pat00001
여기에서, gx와 gy는 각각 수평 방향의 소벨 연산자와 수직 방향의 소벨 연산자가 적용된다.
그러므로, 도 2의 3x3 소벨 마스크를 적용하면 하기의 수학식 (2)가 도출된다.
[수학식 (2)]
Figure pat00002
여기에서, z5가 그래디언트 벡터가 산출되는 화소 위치이다.
에지 검출부(130)는 소벨 연산부(110)에 의해 산출된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 에지를 검출한다.
미리 설정된 값은 문턱값(threshold)이 되며, 문턱값을 T라 할 때, 그래디언트 벡터의 크기
Figure pat00003
가 미리 설정된 문턱값 T보다 큰 경우 해당 화소 z5를 에지로 판별하여 검출한다. 이러한 방법으로
Figure pat00004
인 경우 해당 화소를 에지로 판별하고, 나머지는 에지가 아닌 것으로 판별한다.
에지 검출부(130)에 의해 에지로 검출된 화소들은 화소값을 255로 놓고, 에지로 검출되지 않은 화소들은 화소값을 0으로 놓아 에지맵을 생성한다.
도 3의 (a), (b)에 각각 레나(Lena)와 배(boat)의 원본 영상이 도시되어 있으며, (c), (d)에 상기 레나와 배의 원본 영상으로부터 에지맵을 생성한 도면이 도시되어 있다. 원본 영상에 비해 에지맵은 높이(heights)가 절반임을 알 수 있다.
에지 결정부(140)는 에지맵을 이용하여 상기 에지맵에 포함된 화소를 참조하고, 상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정한다.
예를 들어, 보간 대상 화소는 보간 대상 화소에 인접한 화소 중 하나를 참조하여 보간 대상 화소가 에지 영역인지 아닌지를 결정한다.
보간 대상 화소가 참조하는 화소를 참조 화소라 하면, 일반적으로 참조 화소는 보간 대상 화소에 인접하여 보간 대상 화소의 상위 스캔 라인에 위치한다. 참조 화소가 보간 대상 화소의 대각선 방향에 위치할 수도 있으나, 일반적으로 연산의 편의를 위해 수직 상방에 위치한다. 또한 참조 화소가 보간 대상 화소에 인접하여 보간 대상 화소의 하위 스캔 라인에 위치할 수도 있다. 참조 화소는 보간 대상 화소의 하위 스캔 라인 중 수직 하방에 위치할 때 연산량이 감소할 것이다.
이로부터, 에지 결정부(140)는 참조 화소가 에지이면 보간 대상 화소를 에지로 결정하며, 참조 화소가 에지가 아니면 보간 대상 화소를 에지가 아닌 것으로 결정한다.
보간방법 선택부(150)는 에지 결정부(140)에 의해 결정된 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택한다.
즉, 보간 대상 화소가 에지인지에 따라 적용되는 보간 방법이 상이하게 된다. 보간방법 선택부(150)는 보간 대상 화소가 에지로 결정되면 기하학적 쌍대성(geometric duality)을 이용한 보간방법을 선택하고, 보간 대상 화소가 에지가 아닌 것으로 결정되면 라인 평균(line averaging)을 이용한 보간방법을 선택한다. 여기에서, 기하학적 쌍대성을 이용한 보간방법은 라인 평균을 이용한 보간방법에 비해 인터레이싱의 성능은 우수하나, 처리 시간이 긴 특징을 갖는다.
라인 평균을 이용한 보간방법은, LA(Line Averaging) 보간방법, ELA(Edge-based Line Averaging) 보간방법, EELA(Efficient Edge-based Line Averaging) 보간방법 및 MELA(Modified Edge-based Line Averaging) 보간방법 중 하나일 수 있다. 여기에서, MELA 보간방법은 ELA 보간방법을 개선한 보간방법으로 90도(vertical), 63(anti-diagonal), 117도(diagonal)의 세 방향의 공간적 상관도를 고려한 보간방법이다.
본 발명에서, 기하학적 쌍대성을 이용한 보간방법으로 상기 라인 평균을 이용한 보간방법에 비해 성능이 우수한 공분산 기반 적응적 디인터레이싱, 일명 CAD(Covariance-based Adaptive Deinterlacing) 보간방법을 제안한다. 물론, 기하학적 쌍대성을 이용한 보간방법이 본 발명에서 제안하는 CAD 보간방법에 한정되는 것은 아니며, CAD 보간방법은 기하학적 쌍대성을 이용한 보간방법의 하나의 실시예에 불과하다.
이하 도 4와 도 5를 참조하여 CAD 보간방법을 설명한다.
도 4는 보간 대상 화소를 중심으로 하는 윈도우의 크기를 도시한 도면이며, 도 5는 보간 대상 화소, 기준 화소, 인접 화소들의 관계를 도시한 도면이다.
도 4에 도시한 바와 같이, 윈도우 사이즈가 커질수록 화소의 개수가 증가하며, 각 화소는 계산의 편의를 위해 데이터 벡터로 표시할 수 있다. 윈도우에 포함된 화소의 수는 각각 수직 스캔 라인이 2n, 수평 스캔 라인이 2n+1이며, 여기에서 n은 임의의 자연수이다. 도 2의 WS는 Window Size의 약어로 임의의 자연수 n을 의미한다. 윈도우의 정중앙에 위치한 화소는 보간 대상 화소를 나타내며, 수직 스캔 라인은 세로로 표시되는 스캔 라인이고, 수평 스캔 라인은 가로로 표시되는 스캔 라인이다.
도 5에서, (2i+1, j+1) 좌표에 위치한 화소는 디인터레이싱 알고리즘을 통해 보간할 보간 대상 화소를 나타내고, (2i, j) 좌표에 위치한 화소는 여러 방향의 기준 가중치를 계산하기 위한 기준이 되는 기준 화소를 나타낸다. 첨자 i, j는 화소의 위치를 나타내기 위한 것이다.
수평 스캔 라인은 보간 대상 화소를 기준으로 상위 스캔 라인과 하위 스캔 라인으로 구분된다. 상위 스캔 라인은 보간 대상 화소에 인접하면서 상부에 위치하는 스캔 라인이고, 하위 스캔 라인은 보간 대상 화소에 인접하면서 하부에 위치하는 스캔 라인이며, 보간 대상 라인은 상위 스캔 라인과 하위 스캔 라인을 이용하여 보간할 화소들의 집합을 의미한다. 좌표상 점선으로 표시된 2i-1, 2i+1이 보간 대상 라인이며, 2i+1을 기준으로 할 때 2i 라인이 상위 스캔 라인, 2i+ 2 라인이 하위 스캔 라인이 된다.
도 5에 화소 N1(기준 화소)에 대한 8 방향의 기준 가중치 계수 α가 표시되어 있으며, 하기의 수학식 (3)으로부터 최적의 계수 α를 구할 수 있다.
[수학식 (3)]
Figure pat00005
여기에서,
Figure pat00006
는, 인터레이스 이미지(즉, 저해상도 이미지)에서, 로컬 윈도우(local window) S안에 위치 m의 화소에 인접한 8개의 화소값을 의미한다. 물론, m의 화소에 인접한 화소는 6개일 수도 있다.
수학식 (3)을 구하는 두 가지 방법은 최소 제곱법(least squares approximation)을 이용하거나, 위너 필터(Wiener filter)를 이용하는 것이다.
본 발명에서는, 최소 제곱법을 이용하여 최적의 기준 가중치 계수 α를 구하도록 한다.
최소 제곱법을 이용한 하기의 수학식 (4), (5)에 따라 기준 가중치를 산출한다.
[수학식 (4)]
[y]=[C]?[α]
[수학식 (5)]
[α]=([C]T?[C])-1 ([C]T?[y])
여기에서, [α]는 상기 기준 화소의 각 방향에 대한 [α1, …, α2m]의 기준 가중치 벡터, [y]는 [y1, y2, …, y2n x (2n+1)]T의 데이터 벡터, [C]는 [{2n X (2n+1)} X 2m]의 데이터 행렬을 나타낸다. 상기 n, m은 임의의 자연수이며, 특히 m은 3 또는 4의 값을 가지게 될 것이다. 그러므로, m이 3일 때 6개의 에지 방향, m이 4일 때 8개의 에지 방향을 고려하게 된다. [C]가 정방 행렬이 아니므로, 전치 행렬을 이용하여 수학식 (4)로부터 수학식 (5)로 변환하게 된다.
도 5는 윈도우 크기가 1인 8개의 에지 방향을 고려하는 경우를 도시하고 있어 WS=n=1, m=4이다. 이 때 윈도우 내(WS=n=1일 때)에서 기준 화소로 N1(Y2i ,j 좌표)을 선택하고, 기준 화소 N1에 인접한 8개(m=4일 때)의 화소 D1 ~ D8의 각 방향에 대한 기준 가중치 계수 α1 ~ α8을 산출한다. 또한, 윈도우 사이즈(WS)는 1이므로, 데이터 행렬 [C]는 6 X 8의 행렬이 되고, 데이터 벡터 [y]는 [y1, …, y6]T이다. 그러므로, [C]의 k번째 행벡터는 yk에 인접한 주변의 8개 화소들이 된다.
물론, 윈도우 사이즈가 1이고, m이 3인 경우, α1 ~ α6을 가중치 벡터 [α]로 표시하게 되고, 데이터 행렬 [C]는 6 X 6의 행렬이 되게 되며, 에지 방향은 6방향만 고려하게 된다. 6개의 에지 방향을 고려하는 경우, 도 3에서 N1의 수평 스캔 라인에 위치하는 D4와 D5에 대한 기준 가중치는 고려 대상에서 제외된다.
기준 화소 N1에 대한 8개의 에지 방향의 기준 가중치는 α1 ~ α8에 대응하는 보간 대상 화소에 대한 8개의 에지 방향의 적용 가중치는 β1 ~ β8이다. 일반적인 자연 영상은 인접한 화소의 값이 크게 변하지 않는 특성이 있다. 그러므로, 에지의 방향도 일정 범위 내에서 동일한 경향성을 가진다. 그리하여, 두 변수 α, β의 상관도가 양의 상관 관계를 나타내며, 두 변수 α, β의 공분산의 값도 양수가 된다. 따라서, 기존의 화소간의 관계가 보간하고자 하는 화소간의 관계와 동일하다고 볼 수 있다. 이러한 관계는 기하 쌍대성(geometric duality)으로 칭할 수 있다. 즉, 동일한 방향을 가지는 화소들은 비례 관계에 있는 가중치를 가진다고 가정할 수 있다. 즉, β ∝ α의 관계가 성립한다.
따라서, 기준 화소의 각 방향에 대한 가중치와 보간 대상 화소의 각 방향에 대한 가중치가 동일하다는 가정도 가능하며, 기준 화소의 각 방향에 대한 기준 가중치를 기초로 보간 대상 화소의 화소값을 산출하게 된다.
그러므로, 하기의 수학식 (6), (7)에 따라 보간 대상 화소의 화소값을 산출할 수 있다.
[수학식 (6)]
[α]=[β]
[수학식 (7)]
Figure pat00007
여기에서, [α]는 기준 화소의 각 방향에 대한 기준 가중치 벡터, [β]는 보상 대상 화소의 각 방향에 대한 적용 가중치 벡터, N은 보간 대상 화소에 인접한 복수의 화소의 화소값, Y는 보간 대상 화소의 화소값이다.
보간 대상 화소의 화소값은 보간 대상 화소의 좌측 상부에 위치한 기준 화소 N1에서 구한 기준 가중치 α1, …, α8을 보간 대상 화소에 인접한 N1, …, N8에 적용하여 구한다. 그러므로, α를 β에 대입하여 보간 대상 화소의 화소값은, α1?N1 + α2?N2 + α3?N3 + α4?N4 + α5?N5 + α6?N6 + α7?N7 + α8?N8 이 된다. N4와 N5는 보간 대상 스캔 라인에 위치하고 있으나, 간단히 상부 스캔 라인과 하부 스캔 라인에 위치한 화소의 화소값을 평균하여 구하면 된다.
또한, 에지 방향을 6개만 고려하면, N4와 N5는 보간 대상 화소의 화소값 계산에서 제외되어 보간 대상 스캔 라인의 화소를 이용하지 않아도 된다.
기준 가중치를 적용 가중치와 동일한 값이 아닌, 사용자가 미리 설정한 임계값을 기준 가중치에 곱하여 적용 가중치로 이용할 수도 있음은 물론이다.
보간부(160)는 보간방법 결정부(150)에 의해 결정된 보간방법을 이용하여 보간 대상 화소를 보간한다. 보간된 화소는 디인터레이스 이미지(deinterlaced image)로 출력되게 된다.
도 6은 본 발명의 일 실시예에 따른 디인터레이싱 방법의 순서도이다.
인터레이스 이미지(interlaced image)가 입력되고(S10), 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터(gradient vector)의 크기를 산출하기 위한 연산을 수행하고(S20), 그래디언트 벡터의 크기를 미리 설정된 값, 즉 문턱값과 비교하여 참조 화소의 에지를 검출하고(S30), 검출된 에지들을 이용하여 참조 화소의 에지 여부에 따라 보간 대상 화소가 에지인지 아닌지를 결정하고(S40, S50), 보간 대상 화소가 에지이면 기하학적 쌍대성을 이용한 보간방법을 적용하고, 에지가 아니면 라인 평균을 이용한 보간방법을 적용하며(S60), 보간방법을 이용하여 보간 대상 화소를 보간하여 디인터레이스 이미지(deinterlaced image)를 출력한다(S70).
그래디언트 벡터의 크기는 3x3 크기의 소벨 마스크를 적용하여 소벨 연산을 수행할 수 있다.
또한, 보간 대상 화소가 참조하는 에지맵에 포함된 참조 화소는 보간 대상 화소의 수직 상부 또는 수직 하부 중 어느 한 곳에 위치할 수 있다.
보간방법을 선택할 때, 보간 대상 화소가 에지로 결정되면 기하학적 쌍대성을 이용한 보간방법을 선택하고, 보간 대상 화소가 에지가 아닌 것으로 결정되면 라인 평균을 이용한 보간방법을 선택한다.
라인 평균을 이용한 보간방법은 LA 보간방법, ELA 보간방법, EELA 보간방법 및 MELA 보간방법 중 하나일 수 있다.
보간 대상 화소가 에지로 결정되면 적용되는 기하학적 쌍대성을 이용한 보간방법은 전술한 수학식 (5), (7)에 따라 보간 대상 화소를 보간하는 방법이다.
[수학식 (5)]
[α]=([C]T?[C])-1 ([C]T?[y])
[수학식 (7)]
Figure pat00008
여기에서, [α]는 상기 보간 대상 화소의 보간시 기준이 되는 기준 화소의 각 방향에 대한 기준 가중치 벡터, [y]는 데이터 벡터, [C]는 [{2n X (2n+1)} X 6] 또는 [{2n X (2n+1)} X 8]의 데이터 행렬을 나타내며, 상기 n 은 임의의 자연수이고, N은 보간 대상 화소에 인접한 복수의 화소의 화소값으로 6 또는 8이며, Y는 보간 대상 화소의 화소값이다.
마지막으로, 여러 디인터레이싱 알고리즘의 성능과 처리 시간을 비교하도록 한다.
도 7은 원본 영상과 디인터레이싱 알고리즘을 적용한 영상을 비교하는 구성도이다.
객관적인 화질의 비교 요소로 널리 사용하고 있는 PSNR(Peak Signal to Noise Ratio)과 CPU time(처리 시간)을 여러 인트라 필드(intra field) 디인터레이싱 알고리즘을 적용하여 산출하였다. PSNR은 MSE(Mean Squared Error)로부터 구해지며, 하기의 수학식 (8)로 표현되며, CPU time은 디인터레이싱의 처리 시간을 나타낸다.
[수학식 (8)]
Figure pat00009
여기에서, Xorg, Xrec는 width X height의 크기를 가지는 원본 영상과 복원 영상을 나타낸다.
도 8은 LA, ELA, EELA, MELA, DOI(Direction-Oriented Interpolation), LCID(Low-Complexity Interpolation Deinterlacing), BNI(Bayesian Network based line Interpolation), EMD(Edge Nap Deinterlacing), MCAD(Modified Covariance-based Adaptive Deinterlacing), CADEM(Covariance-based Adaptive Deinterlacing using Edge Map) 알고리즘을 이용하여 8개의 테스트 이미지의 PSNR 값과 CPU time을 구한 결과이다. MCAD 알고리즘은 본 발명에서 제안하는 CAD 알고리즘을 개량한 알고리즘이다. 또한, 에지에만 CAD 알고리즘을 적용하는 것이 CADEM 알고리즘이다.
도 8을 살펴 보면, MCAD 알고리즘을 이용하여 구한 평균 PSNR 값이 33.274로 LA, ELA, EELA, MELA 알고리즘에 비하여 높은 값을 가지고 있으나, CPU time이 6. 260으로 긴 것을 알 수 있다. CADEM 알고리즘은 PSNR 값이 CAD 알고리즘을 이용하여 구한 PSNR 값보다 약간 낮으나, CPU time이 0.630으로 CAD 알고리즘에 비해 처리 시간이 짧으며, LA 알고리즘 등 여타 알고리즘과 처리 시간이 커다란 차이를 보이지도 않는다. 그러므로, 높은 성능을 요하는 경우에는 CAD 알고리즘을 적용하는 것이 유리하며, 높은 성능과 더불어 빠른 처리 시간을 요하는 경우에는 CADEM 알고리즘을 적용하는 것이 유리함을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 독출되는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, ROM, RAM, CD, DVD, 자기 테이프 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 컴퓨터가 읽을 수 있는 코드가 실행될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 디인터레이싱 장치 110: 입력부
120: 마스킹 적용부 130: 에지 검출부
140: 에지 결정부 150: 보간방법 선택부
160: 보간부

Claims (13)

  1. 입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 마스킹 적용부;
    상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 에지 검출부;
    상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 에지 결정부;
    상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 보간방법 선택부; 및
    상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 보간부를 포함하는 디인터레이싱 장치.
  2. 제 1항에 있어서,
    상기 마스킹 적용부는, 3x3 크기의 소벨 마스크를 적용하여 연산을 수행하는 디인터레이싱 장치.
  3. 제 1항에 있어서,
    상기 에지 검출부는, 상기 그래디언트 벡터의 크기가 상기 미리 설정된 값보다 큰 경우에 상기 참조 화소를 에지로 판별하는 디인터레이싱 장치.
  4. 제 1항에 있어서,
    상기 참조 화소는 상기 보상 대상 화소의 수직 상방 스캔 라인 또는 수직 하방 스캔 라인에 위치하고,
    상기 에지 결정부는 상기 참조 화소가 에지이면 상기 보간 대상 화소를 에지로 결정하며, 상기 참조 화소가 에지가 아니면 상기 보간 대상 화소를 에지가 아닌 것으로 결정하는 디인터레이싱 장치.
  5. 제 1항에 있어서,
    상기 보간방법 선택부는 상기 보간 대상 화소가 에지로 결정되면 기하하적 쌍대성(geometric duality)을 이용한 보간방법을 선택하고, 상기 보간 대상 화소가 에지가 아닌 것으로 결정되면 라인 평균(line averaging)을 이용한 보간방법을 선택하는 디인터레이싱 장치.
  6. 제 5항에 있어서,
    상기 기하하적 쌍대성(geometric duality)을 이용한 보간방법은 하기의 식 (a), (b)에 따라 보간 대상 화소를 보간하는 디인터레이싱 장치:
    [α]=([C]T?[C])-1 ([C]T?[y]) (a)
    Figure pat00010
    (b)
    여기에서, [α]는 상기 보간 대상 화소의 보간시 기준이 되는 기준 화소의 각 방향에 대한 가중치 벡터, [y]는 데이터 벡터, [C]는 [{2n X (2n+1)} X 6] 또는 [{2n X (2n+1)} X 8]의 데이터 행렬을 나타내며, 상기 n 은 임의의 자연수이고, N은 보간 대상 화소에 인접한 복수의 화소의 화소값으로 6 또는 8이며, Y는 보간 대상 화소의 화소값이다.
  7. 입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 단계;
    상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 단계;
    상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 단계;
    상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 단계; 및
    상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 단계를 포함하는 디인터레이싱 방법.
  8. 제 7항에 있어서,
    상기 그래디언트 벡터의 크기를 연산하는 단계는,
    3x3 크기의 소벨 마스크를 적용하여 연산을 수행하는 디인터레이싱 방법.
  9. 제 7항에 있어서,
    상기 참조 화소의 에지를 검출하는 단계는,
    상기 그래디언트 벡터의 크기가 상기 미리 설정된 값보다 큰 경우에 상기 참조 화소를 에지로 판별하는 디인터레이싱 방법.
  10. 제 7항에 있어서,
    상기 보간 대상 화소의 에지 여부를 결정하는 단계는,
    상기 참조 화소가 에지이면 상기 보간 대상 화소를 에지로 결정하며, 상기 참조 화소가 에지가 아니면 상기 보간 대상 화소를 에지가 아닌 것으로 결정하고,
    상기 참조 화소는 상기 보간 대상 화소의 수직 상방 스캔 라인 또는 수직 하방 스캔 라인에 위치하는 디인터레이싱 방법.
  11. 제 7항에 있어서,
    상기 보간방법을 선택하는 단계는,
    상기 보간 대상 화소가 에지로 결정되면 기하하적 쌍대성(geometric duality)을 이용한 보간방법을 선택하고, 상기 보간 대상 화소가 에지가 아닌 것으로 결정되면 라인 평균(line averaging)을 이용한 보간방법을 선택하는 디인터레이싱 방법.
  12. 제 11항에 있어서,
    상기 기하하적 쌍대성을 이용한 보간방법은 하기의 식 (a), (b)에 따라 보간 대상 화소를 보간하는 디인터레이싱 방법:
    [α]=([C]T?[C])-1 ([C]T?[y]) (a)
    Figure pat00011
    (b)
    여기에서, [α]는 상기 보간 대상 화소의 보간시 기준이 되는 기준 화소의 각 방향에 대한 가중치 벡터, [y]는 데이터 벡터, [C]는 [{2n X (2n+1)} X 6] 또는 [{2n X (2n+1)} X 8]의 데이터 행렬을 나타내며, 상기 n 은 임의의 자연수이고, N은 보간 대상 화소에 인접한 복수의 화소의 화소값으로 6 또는 8이며, Y는 보간 대상 화소의 화소값이다.
  13. 제 7항 내지 제 12항 중 어느 한 항에 기재된 디인터레이싱 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100083086A 2010-08-26 2010-08-26 에지맵을 이용한 디인터레이싱 장치 및 방법 KR101158847B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100083086A KR101158847B1 (ko) 2010-08-26 2010-08-26 에지맵을 이용한 디인터레이싱 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100083086A KR101158847B1 (ko) 2010-08-26 2010-08-26 에지맵을 이용한 디인터레이싱 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120040764A true KR20120040764A (ko) 2012-04-30
KR101158847B1 KR101158847B1 (ko) 2012-06-27

Family

ID=46140533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100083086A KR101158847B1 (ko) 2010-08-26 2010-08-26 에지맵을 이용한 디인터레이싱 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101158847B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150080865A (ko) 2014-01-02 2015-07-10 삼성테크윈 주식회사 색 보간 장치
KR20210039637A (ko) 2019-10-02 2021-04-12 한화테크윈 주식회사 색 보간 장치 및 그 방법
US11348251B2 (en) 2018-01-03 2022-05-31 Kyungpook National University Industry-Academic Cooperation Foundation Device and method for determining edge location based on adaptive weighing of gradients

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100568105B1 (ko) * 2003-10-02 2006-04-05 삼성전자주식회사 에지 기반의 영상 적응형 디인터레이싱 방법
KR100874380B1 (ko) * 2007-01-12 2008-12-18 한양대학교 산학협력단 변형된 소벨 연산자를 이용한 디인터레이싱 장치 및 방법, 그리고 기록매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150080865A (ko) 2014-01-02 2015-07-10 삼성테크윈 주식회사 색 보간 장치
US11348251B2 (en) 2018-01-03 2022-05-31 Kyungpook National University Industry-Academic Cooperation Foundation Device and method for determining edge location based on adaptive weighing of gradients
KR20210039637A (ko) 2019-10-02 2021-04-12 한화테크윈 주식회사 색 보간 장치 및 그 방법
US11263724B2 (en) 2019-10-02 2022-03-01 Hanwha Techwin Co., Ltd. Device for interpolating colors and method thereof

Also Published As

Publication number Publication date
KR101158847B1 (ko) 2012-06-27

Similar Documents

Publication Publication Date Title
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
US6141056A (en) System for conversion of interlaced video to progressive video using horizontal displacement
US7259794B2 (en) De-interlacing device and method therefor
JP2007525132A (ja) 画像の補間および外挿を組み合わせることによる、画像信号の走査レート変換におけるアーチファクトの低減
KR100484182B1 (ko) 디인터레이싱 장치 및 방법
KR100979811B1 (ko) 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법
JP3842756B2 (ja) インターレース−プログレッシブ変換用のエッジ適応補間のための方法及びシステム
JP3293561B2 (ja) 画像表示装置及び画像表示方法
KR100422575B1 (ko) 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
EP1782622A1 (en) Pixel interpolation
KR101158847B1 (ko) 에지맵을 이용한 디인터레이싱 장치 및 방법
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
JP2007323635A (ja) ビデオ・イメージの再帰的フィルタリング
WO2003084206A2 (en) Upconversion with noise constrained diagonal enhancement
Park et al. Covariance-based adaptive deinterlacing method using edge map
KR101235488B1 (ko) 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
KR101192402B1 (ko) 공분산 기반 적응적 디인터레이싱 장치 및 방법, 그리고 복잡도를 고려한 하이브리드 디인터레이싱 장치 및 방법
KR101069712B1 (ko) 에지 방향성의 가중치를 이용한 필드내 주사선 보간 방법 및 그 장치
KR101046347B1 (ko) 영상 디인터레이싱 방법 및 그 장치
KR100874380B1 (ko) 변형된 소벨 연산자를 이용한 디인터레이싱 장치 및 방법, 그리고 기록매체
KR101204210B1 (ko) 기하학적 이중성을 이용한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치
KR101174589B1 (ko) 지역 복잡도를 기초로 한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치
KR101513395B1 (ko) 모션 적응적 디인터레이싱 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee