KR100967521B1 - 방향적 상관도를 이용한 디인터레이싱 장치 및 방법 - Google Patents

방향적 상관도를 이용한 디인터레이싱 장치 및 방법 Download PDF

Info

Publication number
KR100967521B1
KR100967521B1 KR1020080015828A KR20080015828A KR100967521B1 KR 100967521 B1 KR100967521 B1 KR 100967521B1 KR 1020080015828 A KR1020080015828 A KR 1020080015828A KR 20080015828 A KR20080015828 A KR 20080015828A KR 100967521 B1 KR100967521 B1 KR 100967521B1
Authority
KR
South Korea
Prior art keywords
pixel
value
interpolation target
target pixel
adjacent
Prior art date
Application number
KR1020080015828A
Other languages
English (en)
Other versions
KR20090090550A (ko
Inventor
정제창
전광길
이록규
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020080015828A priority Critical patent/KR100967521B1/ko
Publication of KR20090090550A publication Critical patent/KR20090090550A/ko
Application granted granted Critical
Publication of KR100967521B1 publication Critical patent/KR100967521B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

격행 주사 방식의 영상을 순행 주사 방식의 영상으로 디인터레이싱하는 장치 및 방법을 제공한다. 본 발명의 일 실시예에 따른 디인터레이싱 장치는 에지 방향 감지부, 가중치 평가부, 가중치 적용부, 및 보간부를 포함한다. 에지 방향 감지부는 입력 격행 주사 신호의 보간대상화소를 포함하는 현재 필드 영상에 대하여 시간 방향으로 인접한 이전 필드 영상 및 다음 필드 영상에 포함되는 복수의 제1 화소와 현재 필드 영상에 포함되고 또한 보간대상화소에 공간 방향으로 인접한 복수의 제2 화소를 포함하는 시공간 윈도우 내에서, 보간대상화소에 대한 상기 시공간 윈도우 내의 각 방향에 대한 방향적 상관도를 계산한다. 가중치 평가부는 에지 방향 감지부에서 계산된 방향적 상관도를 이용하여 시공간 윈도우 내의 각 방향에 대한 가중치를 계산하고, 가중치 적용부는 가중치 평가부에서 계산된 각 방향에 대한 가중치와 각 방향으로 인접한 픽셀값을 이용하여 보간대상화소에 대한 가중치 적용 픽셀값을 구한다. 그리고 보간부는 가중치 적용부에서 구한 가중치 적용 픽셀값을 이용하여 보간대상화소에 대하여 픽셀값을 구한다. 본 발명의 실시예에 의하면, 화면이 복잡한 경우에도 디인터레이싱 영상의 화질을 향상시킬 수가 있다.

Description

방향적 상관도를 이용한 디인터레이싱 장치 및 방법{Equipment and method for de-interlacing using directional correlations}
본 발명은 영상 신호의 처리에 관한 것으로, 보다 구체적으로 필드 영상신호를 프레임 영상신호로 변환하기 위한 디인터레이싱(De-interlacing) 장치 및 방법에 관한 것이다.
영상 신호 처리에 있어서, 인터레이싱(Interlacing)은 전체 프레임(Frame)을 필드(Field)라고 불리는 두 부분으로 분할하는 것이다. 두 개의 필드 중에서 하나는 짝수 번째 수평 라인들로 구성된 영상이고, 다른 하나는 홀수 번째 수평 라인들로 구성된 영상이다. 방송이나 저장 장치 등에서는 이러한 필드 영상을 이용하여 널리 격행 주사 포맷으로 부호화, 전송, 및/또는 재생하는데, 화질의 현저한 열화 없이도 제한된 대역폭을 효율적으로 사용할 수 있는 장점이 있다. 예를 들어, NTSC(National Television System Committee), PAL(Phase Alternation Line), 및 세캄(SECAM) 등과 같은 방송 표준에서는 이러한 격행 주사 포맷이 널리 사용되어 왔다.
필드 영상을 디스플레이하는 격행 주사 방식은 지금까지 인간의 시각 시스템에서 만족스러운 효과를 보여 왔지만, 최근 HDTV의 등장과 함께 평판 디스플레이 장치의 스크린 크기 증가로 인하여 인터레이싱 결함(Interlacing Artifacts)이 나타나기 시작하였다. 인터레이싱 결함이란 예컨대, 라인 크롤(Line Crawl) 현상, 톱니 형상의 왜곡(Serration), 및 라인간 깜박임(Inter-line flicker) 등과 같이 화질이 열화되는 현상이다. 따라서 최근의 HDTV 시스템은 스크린의 크기가 큰 평판 디스플레이 장치를 이용하여 향상된 화질의 영상을 제공하기 위하여 순행 주사 방식을 지원하고 있다.
디인터레이싱은 격행 주사 포맷의 영상을 순행 주사 포맷의 영상으로 변환하여 출력할 수 있도록 주사 포맷을 변환하는 기술이다. 이러한 디인터레이싱은 필드 영상의 비어있는 라인에 대한 예측되는 또는 보간되는 화소값이 가능한 실제 영상의 화소값과 일차하거나 유사한 값이 되도록 하는 것이 중요하다. 디인터레이싱에 있어서는, 원래의 프레임 영상의 화소값을 정확하게 복원하고 또한 에지 샤프니스(Edge Sharpness) 등을 유지할 수 있어야 한다. 특히, 저역 통과 필터링(Low Pass Filtering) 및 데시메이션(Decimation)된 영상 신호는 원본 영상보다 해상도가 낮아지기 때문에, 디인터레이싱에 의하여 에지 샤프니스를 포함한 원래 영상의 특성을 보다 정확하고 세밀하게 복원하는 것이 특히 중요하다.
디인터레이싱은 크게 움직임 보상(Motion Compensation)이 있는 방법과 움직임 보상이 없는 방법의 두 가지로 분류할 수 있다. 전자의 방법은 에러 전파(Error Propagation)의 문제와 계산이 복잡한 단점이 있기 때문에, 일반적으로 후자의 방법이 널리 이용된다. 디인터레이싱은 또한 보간(Interpolating)을 함에 있어서 참조 화소로써 어떤 도메인의 정보, 즉 공간 도메인의 정보 및/또는 시간 도메인의 정보를 이용하는지에 따라서 시간 방향(Temporal) 방법, 공간 방향(Spatial) 방법, 및 시공간 방향 적응적(Spatio-Temporal Adaptive) 방법으로도 구분할 수 있다.
공간 도메인 정보를 이용하는 대표적인 디인터레이싱 알고리즘은 '밥(Bob)'이라고 불리는 방법이다. Bob에서는 한 필드의 각 라인을 두 번 사용하여 하나의 프레임을 만든다. 다시 말하면, 필드 영상의 두 라인 사이의 비어있는 라인에 상하 두 라인의 평균 데이터를 삽입하여 보간함으로써 새로운 프레임 영상을 복원한다. 이와 같이, 공간 도메인 정보를 이용하는 방법은 같은 필드 내의 다른 위치에 있는 화소 정보를 이용하기 때문에 필드내 보간(Intra-field Interpolation)이라고도 한다. 그리고 에지-기반 라인 평균(Edge-based Line Averaging, ELA) 알고리즘은 보간을 함에 있어서 같은 필드 영상 내에서의 에지 방향을 고려하는 방법으로서, 이 방법도 필드내 보간 방법의 일종이다.
그리고 시간 도메인 정보를 이용하는 대표적인 디인터레이싱 알고리즘은 '위브(Weave)'라고 불리는 방법이다. Weave에 의하면, 탑 필드(Top-field) 영상과 바텀 필드(Bottom-field) 영상을 결합하여 하나의 프레임 영상을 만든다. 즉, 현재 필드의 라인 사이에 직전 필드의 라인을 단순히 삽입함으로써 하나의 프레임을 구현한다. 이와 같이, 시간 도메인 정보를 이용하는 방법은 다른 필드의 화소 정보를 이용하여 보간하기 때문에 필드간 보간(Inter-field Interpolation)이라고도 한다.
또한, 공간 도메인 정보와 시간 도메인 정보를 함께 이용하고, 또한 에지의 방향성을 고려하는 방법 중의 하나로써 STELA(Spatio-Temporal Edge-based Line Averaging) 알고리즘이 있다. STELA 알고리즘에서는 시공간 윈도우 상에서 에지-기반 라인 평균 기법을 이용한다.
하지만, 현재까지 제안된 여러 가지의 디인터레이싱 방법들은 특정한 환경에서는 좋은 성능을 발휘하지만, 예상과 다른 환경에서는 그 성능이 기대에 미치지 못하는 경우가 발생한다. 예를 들어, 기존의 여러 가지 방법들은 다양한 환경에 모두 만족스러운 결과가 나오지 않으며, 여전히 디인터레이싱된 영상의 화질과 디인터레이싱을 위한 연산 속도의 개선이 필요하다. 특히, STELA 등과 같은 기존의 디인터레이싱 방법은 보간하고자 하는 화면에 단순한 구조의 객체(물체)가 있을 때에는 좋은 성능을 보여주지만, 보간하고자 하는 화면이 복잡할 경우에는 잘못된 에지 방향이 검출될 가능성이 높아진다. 또한, 기존의 디인터레이싱 방법에서는 검출된 에지 방향의 화소에만 의존하여 보간 화소의 값을 구하기 때문에, 보간된 영상의 화질이 떨어지는 문제점을 보여 주고 있다.
본 발명이 해결하고자 하는 과제는 보간하고자 하는 화면이 복잡한 경우에도 보간된 영상의 화질을 향상시킬 수 있는 디인터레이싱 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 보다 세밀한 영상의 복원이 가능할 뿐만 아니라 경계 부분의 샤프니스(Sharpness)를 향상시켜서 화질을 개선할 수 있는 디인터레이싱 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 각 에지 방향에 대한 방향 상관도에 따라서 적응적으로 가중치를 적용하여 다수의 에지 방향의 화소값을 이용하여 보간될 화소값을 구함으로써, 비록 에지 방향의 판정에 잘못이 있더라도 화질이 현저히 열화되는 것을 방지할 수 있는 디인터레이싱 장치 및 방법을 제공하는 것이다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 디인터레이싱 장치는 에지 방향 감지부, 가중치 평가부, 가중치 적용부, 및 보간부를 포함한다. 에지 방향 감지부는 입력 격행 주사 신호의 보간대상화소를 포함하는 현재 필드 영상에 대하여 시간 방향으로 인접한 이전 필드 영상 및 다음 필드 영상에 포함되는 복수의 제1 화소와 상기 현재 필드 영상에 포함되고 또한 상기 보간대상화소에 공간 방향으로 인접한 복수의 제2 화소를 포함하는 시공간 윈도우 내에서, 상기 보간대상화소에 대한 상기 시공간 윈도우 내의 각 방향에 대한 방향적 상관도를 계산하기 위한 수단이다. 가중치 평가부는 상기 에지 방향 감지부에서 계산된 방향적 상관도를 이용하여 상기 시공간 윈도우 내의 각 방향에 대한 가중치를 계산하기 위한 수단이다. 가중치 적용부는 상기 가중치 평가부에서 계산된 각 방향에 대한 가중치와 상기 각 방향으로 인접한 픽셀값을 이용하여 상기 보간대상화소에 대한 가중치 적용 픽셀값을 구하기 위한 수단이다. 그리고 보간부는 상기 가중치 적용부에서 구한 상기 가중치 적용 픽셀값을 이용하여 상기 보간대상화소에 대하여 픽셀값을 구하기 위한 수단이다.
상기 실시예의 일 측면에 의하면, 상기 에지 방향 감지부는 하기 식 (E-1)을 이용하여 상기 시 공간 윈도우 내의 각 방향에 대한 휘도 차이를 구하고, 상기 휘도 차이에 반비례하도록 상기 방향적 상관도를 구할 수 있다.
Figure 112008012989922-pat00001
(E-1)
여기서, 'pl'은 이전 프레임에서 상기 보간대상화소의 위치에 대하여 왼쪽(Previous and Left)에 인접한 화소의 값, 'nr'은 다음 프레임에서 상기 보간대상화소의 위치에 대하여 오른쪽(Next and Right)에 인접한 화소의 값, 'p'는 이전 프레임에서 상기 보간대상화소의 위치(Previous)에 위치한 화소의 값, 'n'은 다음 프레임에서 상기 보간대상화소의 위치(Next)에 위치한 화소의 값, 'pr'은 이전 프레임에서 상기 보간대상화소의 위치에 대하여 오른쪽(Previous and Right)에 인접한 화소의 값, 'nl'은 다음 프레임에서 상기 보간대상화소의 위치에 대하여 왼쪽(Previous and Left)에 인접한 화소의 값, 'ul'는 상기 보간대상화소의 좌상(Up and Left)쪽에 인접한 화소의 값, 'dr'는 상기 보간대상화소의 우하(Down and Right)쪽에 인접한 화소의 값, 'u'는 상기 보간대상화소의 위(Up)쪽에 인접한 화소 의 값, 'd'는 상기 보간대상화소의 아래(Down)쪽에 인접한 화소의 값, 'ur'은 상기 보간대상화소의 우상(Up and Right)쪽에 인접한 화소의 값, 'dl'은 상기 보간대상화소의 좌하(Down and Left)쪽에 인접한 화소의 값을 나타낸다.
그리고 상기 방향적 상관도는 하기 수학식 (E-2)를 이용하여 구한 퍼지 인덱스(FI Φ,θ)에 반비례할 수 있다.
Figure 112008012989922-pat00002
(E-2)
여기서, Φ는 시간 도메인(Time Domain, TD)인지 또는 공간 도메인(Spatial Domain, SD)를 가리키는 파라미터이고, θ는 시간 방향 또는 수직 공간 방향에 대한 각도를 가리키는 파라미터이며, LDmax는 수학식 (E-1)을 이용하여 구한 LD값들 중에서 최대 LD값을 가리킨다.
또한, 상기 가중치 평가부에서 계산한 상기 시공간 윈도우 내의 각 방향에 대한 가중치는 하기 수학식 (E-3)을 이용하여 구한 멤버쉽 정도(Membership Degree, μΦ,θ)일 수 있다.
Figure 112008012989922-pat00003
(E-3)
여기서, α는 0.1 내지 0.3 사이의 값이며, β는 0.7 내지 0.9 사이의 값이 다.
상기 실시예의 다른 측면에 의하면, 상기 가중치 적용부는 하기 수학식 (E-4)를 이용하여 상기 가중치 적용 픽셀값을 구할 수 있다.
Figure 112008012989922-pat00004
(E-4)
여기서, x out (i,j,k)는 가중치 적용 픽셀값, w Φ,θ 는 각 방향에 대한 가중치, 그리고 x Φ,θ (i,j,k)는 하기 수학식 (E-5)를 이용하여 구한 값을 나타낸다.
Figure 112008012989922-pat00005
(E-5)
상기 실시예의 또 다른 측면에 의하면, 상기 보간부는 상기 가중치 적용 픽셀값을 상기 보간대상화소에 대한 픽셀값으로 하거나 또는 하기 수학식 (E-6)를 이용하여 상기 보간대상화소에 대한 픽셀값을 구할 수 있다.
Figure 112008012989922-pat00006
(E-6)
여기서, x FWF (i,j,k)는 보간대상화소에 대한 픽셀값, x out (i,j,k)는 가중치 적용 픽셀값, 'p'는 이전 프레임에서 상기 보간대상화소의 위치(Previous)에 위치한 화소의 값, 'n'은 다음 프레임에서 상기 보간대상화소의 위치(Next)에 위치한 화소 의 값, 'u'는 상기 보간대상화소의 위(Up)쪽에 인접한 화소의 값, 'd'는 상기 보간대상화소의 아래(Down)쪽에 인접한 화소의 값을 나타낸다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 디인터레이싱 방법은 입력 격행 주사 신호의 보간대상화소를 포함하는 현재 필드 영상에 대하여 시간 방향으로 인접한 이전 필드 영상 및 다음 필드 영상에 포함되는 복수의 제1 화소와 상기 현재 필드 영상에 포함되고 또한 상기 보간대상화소에 공간 방향으로 인접한 복수의 제2 화소를 포함하는 시공간 윈도우 내에서, 상기 보간대상화소에 대한 상기 시공간 윈도우 내의 각 방향에 대한 방향적 상관도를 계산하는 단계, 상기 방향적 상관도 계산 단계에서 계산된 방향적 상관도를 이용하여 상기 시공간 윈도우 내의 각 방향에 대한 가중치를 계산하는 단계, 상기 가중치 계산 단계에서 계산된 각 방향에 대한 가중치와 상기 각 방향으로 인접한 픽셀값을 이용하여 상기 보간대상화소에 대한 가중치 적용 픽셀값을 구하는 단계, 및 상기 가중치 적용 픽셀값을 이용하여 상기 보간대상화소에 대하여 픽셀값을 구하는 단계를 포함한다.
에지 방향 정보와 모든 에지 방향에 대하여 퍼지 가중치 필터링을 적용하는 본 발명의 실시예에 의하면, 에지 방향 정보와 각 에지 방향에 대한 가중치를 구하고 이를 이용하여 보간대상화소에 대한 픽셀값을 구하기 때문에, 보간된 영상에서 에지 방향을 그대로 유지할 수 있을 뿐만 아니라 복잡한 영상에서 에지 방향이 잘못 예측된 경우에도 화질이 현저히 열화되는 것을 방지할 수가 있다.
그리고 본 발명의 실시예에 의하면, 보간하고자 하는 화면이 복잡한 경우에도 보간된 영상의 화질을 향상시킬 수 있다. 특히, 보다 세밀한 영상의 복원이 가능할 뿐만 아니라 경계 부분의 샤프니스(Sharpness)를 향상시켜서 화질을 개선할 수 있고, 각 에지 방향에 대한 방향 상관도에 따라서 적응적으로 가중치를 적용하여 다수의 에지 방향의 화소값을 이용하여 보간될 화소값을 구함으로써, 비록 에지 방향의 판정에 잘못이 있더라도 화질이 현저히 열화되는 것을 방지할 수 있다.
이하에서는, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 후술하는 실시예는 본 발명의 기술적 사상을 설명하기 위한 목적이므로, 본 발명의 기술적 사상은 이 실시예에 의하여 한정되는 것으로 해석되어서는 안된다. 본 실시예에 대한 설명 및 도면에서 각각의 구성요소에 부가된 참조 부호는 단지 설명의 편의를 위하여 기재된 것일 뿐이다.
도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 구성을 보여 주는 블록도이다. 도 1을 참조하면, 디인터레이싱 장치(100)는 에지 방향 검출부(Edge Direction Detector Unit, 110), 가중치 평가부(Weighting Factor Evaluating Unit, 120), 가중치 적용부(Weighting Factor Multiplying Unit, 130), 및 보간부(Interpolating Unit, 140)를 포함한다.
에지 방향 검출부(110)는 보간하고자 하는 화소, 즉 보간대상화소에 인접한 화소들을 이용하여 각각의 에지 방향에 대한 방향적 상관도를 계산한다. 방향적 상 관도란 보간대상화소가 각 방향으로 인접한 화소들과 얼마나 밀접한 관련이 있는지(예컨대, 화소값 등과 같은 픽셀의 이미지 특성의 유사 정도)를 나타내는 것이다. 이러한 방향적 상관도는 보간대상화소에 대하여 시간 방향으로 인접한 화소들만을 이용하여 시간 방향으로의 상관도만을 계산하거나 또는 공간 방향으로 인접한 화소들만을 이용하여 공간 방향으로의 상관도만을 계산할 수도 있지만, 본 발명의 실시예에서는 STELA 알고리즘과 마찬가지로 시간 방향과 공간 방향으로 각각 인접한 화소들 모두를 이용하여 시간 방향과 공간 방향 모두에 대하여 상관도를 계산한다.
에지 방향 검출부(110)에서 시간 방향과 공간 방향으로의 상관도를 계산하기 위하여 이용되는 인접한 화소들의 일례는 도 2에 도시된 시공간 윈도우(Spatio-temporal Window) 내에서 포함되는 화소들이다. 도 2에서 보간대상화소의 픽셀값은 x M (i,j,k)로 나타내며, 후술하는 바와 같이 본 발명의 일 실시예에서는 퍼지 가중치 필터링(Fuzzy Weighted Filtering)을 이용하므로, 퍼지 가중치 필터링을 이용하는 가중치 적용부(130)에서 출력되는 픽셀값은 x FWF (i,j,k)로 나타내기로 한다. 여기서, 변수 i는 영상의 칼럼 (즉, 수직 라인) 번호, 변수 j는 (수평) 라인 번호, 변수 k는 필드 번호를 나타낸다. 그리고 {u, d, r, l, p, n}은 각각 {up, down, right, left, previous, next}를 나타낸다.
도 2를 참조하면, 에지 방향 검출부(110)에서는 보간대상화소에 인접한 화소들로서 공간 윈도우 내에 포함되는 화소, 즉 같은 k번째 필드의 (j-1)번째 라인과 (j+1)번째 라인의 6개의 화소(211, 212, 213, 214, 215, 216)와 시간 윈도우 내에 포함되는 화소, 즉 (k-1)번째 필드(220)의 j번째 라인의 3개의 화소(221, 222, 223)와 (k+1)번째 필드(230)의 j번째 라인의 3개의 화소(231, 232, 233)를 이용하여, 총 6개의 에지 방향 각각에 대하여 방향적 상관도를 계산한다. 각 에지 방향으로의 방향적 상관도를 계산하는 하나의 방법은, 예를 들어 상기 시공간 윈도우에 포함되는 인접 화소들을 이용하여 6가지 방향(점선으로 표시)으로 휘도 차이(Luminance Difference, LD) 또는 강도 변화(Intensity Change)를 계산하는 것이다. 휘도 차이(LD)를 계산하는 식의 일례는 수학식 1과 같다.
Figure 112008012989922-pat00007
여기서, 'pl'은 이전 프레임에서 상기 보간대상화소의 위치에 대하여 왼쪽(Previous and Left)에 인접한 화소의 값, 'nr'은 다음 프레임에서 상기 보간대상화소의 위치에 대하여 오른쪽(Next and Right)에 인접한 화소의 값, 'p'는 이전 프레임에서 상기 보간대상화소의 위치(Previous)에 위치한 화소의 값, 'n'은 다음 프레임에서 상기 보간대상화소의 위치(Next)에 위치한 화소의 값, 'pr'은 이전 프레임에서 상기 보간대상화소의 위치에 대하여 오른쪽(Previous and Right)에 인접한 화소의 값, 'nl'은 다음 프레임에서 상기 보간대상화소의 위치에 대하여 왼쪽(Previous and Left)에 인접한 화소의 값, 'ul'는 상기 보간대상화소의 좌상(Up and Left)쪽에 인접한 화소의 값, 'dr'는 상기 보간대상화소의 우하(Down and Right)쪽에 인접한 화소의 값, 'u'는 상기 보간대상화소의 위(Up)쪽에 인접한 화소의 값, 'd'는 상기 보간대상화소의 아래(Down)쪽에 인접한 화소의 값, 'ur'은 상기 보간대상화소의 우상(Up and Right)쪽에 인접한 화소의 값, 'dl'은 상기 보간대상화소의 좌하(Down and Left)쪽에 인접한 화소의 값을 나타낸다.
그리고 수학식 1에서 LD Φ,θ 는 방향적 상관도(Directional Correlations)를 나타내는데, 방향적 상관도를 특정하는 에지 방향은 공간 도메인에 속하는지 또는 시간 도메인에 속하는지를 나타내는 파라미터인 Φ(∈{SD, TD})와 각 도메인(공간 도메인과 시간 도메인)에서의 구체적인 방향을 가리키는 파라미터인 θ(∈{45o, 0o, -45o})로 표현하여 나타낼 수 있다.
수학식 1의 계산 결과, 해당 방향으로의 휘도 차이(LD)가 작으면 보간대상화소는 그 방향으로는 상관도가 높은 것으로 되며, 휘도 차이(LD)가 크면 보간대상화소는 그 방향으로는 상관도가 낮은 것으로 된다. 왜냐하면, LD가 작으면 해당 방향의 두 화소는 휘도 등의 화소값이 유사하다는 것을 나타내고, LD가 크면 해당 방향으로의 두 화소는 휘도 등의 화소값이 차이가 크게 나타내기 때문이다.
이러한 방향적 상관도는 결국 각 방향이 실제 에지 방향에 해당되는 정도 또는 해당될 가능성을 나타낸다. 예컨대, 소정의 방향으로 방향적 상관도가 큰 경우에는 그 방향이 실제 에지 방향과 일치될 가능성이 높다는 것을 나타내지만, 방향적 상관도가 작은 경우에는 그 방향은 실제 에지 방향과 일치할 가능성이 낮다는 것을 나타낸다.
계속해서 도 1을 참조하면, 가중치 평가부(120)는 각 방향에 대하여 계산된 방향적 상관도를 이용하여 각 방향에 대한 가중치 w Φ,θ 를 계산한다. 여기서 '가중치'란 보간대상화소를 구함에 있어서 각각의 방향이 얼마나 중요한 의미를 가지는지 또는 보간대상화소의 픽셀값에 대한 신뢰도를 계량화하여 나타낸 것이다. 본 발명의 실시예에 의하면, 가중치 평가부(120)는 에지 방향 검출부(110)에서 구한 각 방향에 대하여 구한 방향적 상관도를 이용하여 각 방향에 대한 가중치 w Φ,θ 를 구한다.
가중치 평가부(120)에서 가중치 w Φ,θ 를 계산하는 구체적인 방법은 여러 가지가 있을 수 있다. 다만, 본 발명의 실시예에 의하면, 가중치 평가부(120)에서 계산된 가중치 w Φ,θ 는 에지 방향 검출부(110)에서 구한 방향적 상관도를 이용하며, 또한 방향적 상관도가 높을수록 가중치 w Φ,θ 도 높아지고, 반대로 방향적 상관도가 낮을수록 가중치 w Φ,θ 는 낮아진다. 예를 들어, 에지 방향 검출부(110)에서 방향적 상관도를 수학식 1과 같은 휘도 차이(LD)로 구할 경우에, 상기 휘도 차이와 가중치 평가부(120)에서 얻어지는 가중치 w Φ,θ 는 선형적으로 또는 비선형적으로 반비례할 수 있다. 즉, 휘도 차이(LD)가 크면 가중치 w Φ,θ 는 작아지고 휘도 차이(LD)가 작으면 가중치 w Φ,θ 는 커진다.
그리고 본 발명의 실시예의 일 측면에 의하면, 가중치 평가부(120)에서 계산 된 가중치 w Φ,θ 는 에지 방향 검출부(110)에서 구한 방향적 상관도가 소정의 정도 이상인 경우(예컨대, 휘도 차이(LD)값이 소정의 제1 임계치보다 작은 경우)에는 가중치가 최대가 되도록 하고, 또한 방향적 상관도가 특정한 수준 이하인 경우(예컨대, 휘도 차이(LD)값이 소정의 제2 임계치보다 큰 경우)에는 가중치 w Φ,θ 가 최소가 되도록 할 수도 있다. 예를 들어, 가중치 평가부(120)에서 계산된 가중치 w Φ,θ 가 0에서 1사이의 값으로 가중치 비로 나타낼 경우에, 휘도 차이(LD)값이 제1 임계치보다 작은 경우에 가중치 w Φ,θ 를 '1'이 되도록 하고 휘도 차이(LD)값이 제2 임계치보다 클 경우에는 가중치 w Φ,θ 를 '0'이 되도록 하고, 또한 상기 제1 임계치와 제2 임계치 사이일 경우에는 휘도 차이(LD)에 선형적으로 또는 비선형적(예를 들어서, 코사인 함수 등)으로 반비례하도록 가중치 w Φ,θ 를 할당할 수도 있다.
또한, 본 발명의 실시예의 일 측면에 의하면, 가중치 평가부(120)에서는 휘도 차이(LD)값의 절대적 값이 아닌 상대적인 값을 이용하여 가중치 w Φ,θ 를 구할 수도 있다. 예컨대, 가중치 평가부(120)에서는 각 방향에 대한 휘도 차이(LD) 중에서 최대 휘도 차이(LDmax)에 대한 해당 방향에 대한 휘도 차이(LD Φ,θ )의 비를 구하고, 이 휘도 차이 비율(후술하는 수학식 3 참조)에 선형적으로 또는 비선형적(예를 들어서, 코사인 함수 등)으로 반비례하도록 가중치 w Φ,θ 를 계산할 수도 있다. 이 경우에, 휘도 차이 비로부터 직접 가중치를 구하지 않고, 소정의 이미지 처리 알고리 즘(예컨대, 퍼지 이미지 처리 알고리즘)을 적용하여 가중치를 구할 수도 있는데, 이에 대한 보다 구체적인 내용은 후술한다.
계속해서 도 1을 참조하면, 가중치 적용부(130)는 각 방향에 대하여 가중치 평가부(120)에서 구한 가중치 w Φ,θ 와 인접한 화소값을 이용하여 가중치 적용 픽셀값(weight multiplied pixel value) 또는 가중치 적용 결과를 구한다. 예를 들어, 가중치 적용 픽셀값은, 도 2에 도시된 6개의 방향들 각각에 대하여, 인접한 화소값들에 상기 가중치 w Φ,θ 를 반영함으로써, 즉 인접한 화소값과 가중치 w Φ,θ 를 곱하여 구한 값들의 합을 상기 가중치 w Φ,θ 의 합으로 나누어서 구할 수 있다(후술하는 수학식 5 참조). 이 경우에, 상기 인접한 화소값은 각 방향에 위치하는 두 개의 화소값 각각에 대하여 동일한 가중치 w Φ,θ 를 적용하거나 또는 상기 두 개의 화소값에 대한 평균값을 구한 다음, 이 평균값과 가중치 w Φ,θ 를 곱하여 보간될 화소값을 구할 수도 있다.
이러한 본 발명의 실시예에 의하면, 주요 에지라고 판단되는 어느 하나의 에지 방향으로 인접한 화소값만을 이용하여 보간될 화소의 값을 구하는 기존의 방법(종래의 방향-기반 보간 방법)과는 달리, 모든 에지 방향 또는 방향적 상관도가 일정한 수준 이상이 되는 모든 에지 방향에 대하여 인접한 화소값을 이용하여 보간될 화소값(보다 정확하게는 가중치 적용 픽셀값)을 구하기 때문에, 보간 에러가 커서 화질이 나빠지는 것을 방지할 수가 있다. 특히, 영상이 복잡할 경우에 종래의 방향 -기반 보간 방법에서는 에지 방향의 잘못된 예측에 따른 보간 오차(부정확한 보간으로 인하여 화질이 열화되는 현상)가 크게 생길 수가 있는데, 본 발명의 실시예에 의하면 여러 에지 방향의 화소값을 모두 이용하기 때문에, 비록 에지 방향이 잘못 예측된 경우에도 보간 오차를 최소화할 수 있다.
또한, 본 발명의 실시예에 의하면, 보관될 화소값을 구하는데 있어서, 모든 방향에 대하여 동일한 정도의 가중치 w Φ,θ 를 적용하는 것이 아니라 각 방향으로의 방향적 상관도를 고려하여 방향적 상관도가 높은 방향으로는 높은 가중치 w Φ,θ 를 적용하고, 방향적 상관도가 낮은 방향으로는 낮은 가중치 w Φ,θ 를 적용한다. 따라서 본 발명의 실시예에 의하면, 영상이 복잡한 경우에도 보간대상화소의 픽셀값을 구하는데 정확도를 향상시켜서 디인터레이싱된 영상의 화질을 한층 향상시킬 수가 있다.
본 발명의 일 실시예에 의하면, 가중치 평가부(120)에서 가중치를 계산하고 가중치 적용부(130)에서 가중치 적용 픽셀값을 구하는데 있어서, 퍼지 이미지 프로세싱 알고리즘(Fuzzy Image Processing Algorithm)을 적용할 수 있다. 퍼지 이미지 프로세싱은 에지 정도(edginess) 또는 영역의 콘트라스트(contrast of a region) 또는 디지털 영상에서 자주 나타나는 모호함과 희미함(ambiguity and vagueness) 등과 같은 양적인 특성들을 다룰 수 있는 유연한 수학적인 프레임??을 제공한다. 본 발명의 일 실시예에서는 이러한 퍼지 이미지 프로세싱을 디인터레이싱 알고리즘 에 적용한다.
퍼지 이미지 프로세싱이 이미지 프로세싱에서 사용되는 다른 알고리즘과 대비되는 가장 큰 차이점은 다음과 같다. 즉, 퍼지 이미지 프로세싱에서는 그레이-레벨 도메인(gray-level domain)의 입력 데이터가 소위 멤버쉽 평면이라고 불리는 퍼지 도메인(fuzzy domain)에서 처리되는데, 상기 퍼지 도메인에서는 멤버쉽 값을 계산하고, 데이터를 분류하고, 또는 퍼지 추론을 이용하여 판정을 하는데 있어서 상당히 다양한 퍼지 논리(fuzzy logic), 퍼지 집합 이론(fuzzy sets theory) 및 퍼지 측정 이론(fuzzy measurement theory)을 이용할 수 있다. 그리고 이렇게 구한 멤버쉽 값은 그레이-레벨 도메인으로 다시 변환되어, 새로운 히스토그램, 변형된 그레이-레벨, 이미지 분할, 또는 대상의 분류 등을 하는데 이용된다.
도 3은 퍼지 테크닉을 이용한 이미지 처리 알고리즘, 즉 퍼지 이미지 프로세싱을 보여 주는 흐름도이다. 도 3을 참조하면, 본 발명의 실시예에 적용될 수 있는 퍼지 이미지 프로세싱은 크게 4단계, 즉 퍼지화 단계(Fuzzification, Θ), 멤버쉽값에 대한 연산 단계(Suitable operation on Membership values, Ξ), 역퍼지화 단계(Defuzzification, Ψ), 및 퍼지 가중치 계산 단계(Fuzzy weight multiplication, Ω)로 이루어져 있다. 이러한 퍼지 이미지 프로세싱에 의하면, 입력 x Φ,θ (i,j,k)에 대한 출력 xFWF(i,j,k)은 수학식 2로 표현할 수 있다.
Figure 112008012989922-pat00008
여기서, w Φ,θ 는 각 도메인(Φ)에서 각 방향(θ)의 출력 가중치를 나타내고, xFWF(i,j,k)는 본 발명의 실시예에 따른 퍼지 가중치 필터링에 따른 출력 픽셀값, 즉 가중치 적용 픽셀값을 나타낸다.
일반적으로, 퍼지 집합은 멤버쉽 함수(membership function)에 의하여 공통적으로 표현된다. 그리고 우리는 상기 멤버쉽 함수로부터 그에 대응하는 멤버쉽 정도(membership degree)를 유추해낼 수 있다. 예를 들어, 퍼지 집합 LARGE에서 퍼지 인덱스가 1(또는 0)의 멤버쉽 정도를 가진 다면, 이것은 상기 퍼지 인덱스가 크다(또는 크지 않다)는 것으로 간주된다. 그리고 멤버쉽 정도가 0과 1 사이의 값을 가진다는 것은, 그러한 퍼지 인덱스가 큰지 여부에 대하여 정확하게 알지 못한다는 것을 나타내며, 따라서 어느 정도의 불확실성이 존재한다는 것을 나타낸다.
가중치 평가부(120)에서 얻고자 하는 특성을 갖는 가중치를 계산하기 위해서, 우선 각 에지 방향을 구분하고 그것이 가치가 있는지 여부에 대하여 판별할 필요가 있다. 각 에지 방향에 대한 가치를 판변하기 위하여, 예컨대 도 2의 시공간 윈도우에 표시되어 있는 6가지 방향 각각에 대하여 소정의 가중치를 구한다. 즉, 상기 6가지 방향들 전체에 대하여 소정의 방향(Φ, θ)에 대한 가중치(w Φ,θ )를 구한다.
이를 위하여, 우선 상기 6개의 방향에 대하여 두 개의 인접한 픽셀들 사이의 휘도 차이(LD Φ,θ ) 또는 강도 차이를 구한다. 본 발명의 실시예에 의하면, 휘도 차이를 계산하는 과정은 에지 방향 검출부(110)에서 수행될 수 있다. 그리고 이렇게 구한 6개의 방향 각각에 대한 휘도 차이(LD Φ,θ ) 중에서 그 값이 제일 큰 휘도 차이를 선택하여 이것을 최대 휘도 차이(LDmax)라고 한다. 그리고 다음의 수학식 3을 이용하여, 각 이미지 픽셀x Φ,θ (i,j,k)에 대하여, 퍼지 인덱스(Fuzzy Index, FI Φ,θ )를 구한다.
Figure 112008012989922-pat00009
그리고 수학식 3을 이용하여 구한 퍼지 인덱스(FI Φ,θ )를 이용하여 가중치 w Φ,θ 를 구한다. 본 발명의 실시예에서는 도 4에 도시된 퍼지 인덱스와 가중치 사이의 함수를 이용하여, 해당 퍼지 인덱스에 대한 가중치를 구한다. 도 4에 도시된 퍼지 인덱스와 가중치 사이의 함수는 S-type SMALL 멤버쉽 함수의 일례로써, 본 발명의 실시예가 여기에만 한정되는 것은 아니다. 도 4를 참조하면, 가로축은 모든 가능한 퍼지 인덱스(FI Φ,θ )를 나타내는데, 퍼지 인덱스(FI Φ,θ )를 수학식 3을 이용하여 구할 경우에는 그 값은 0과 1 사이이다. 그리고 세로축은 멤버쉽 정도를 나타내는데, 멤베쉽 정도는 예컨대 0과 1 사이의 값으로 나타낼 수 있다.
본 발명의 일 실시예에 의하면, 퍼지 인덱스(FI Φ,θ )가 소정의 값(제1 임계치에 대응되는 값으로써 도 4에서는 α로 표시함)보다 작은 경우에는 멤버쉽 정도를 항상 1로 하고, 퍼지 인덱스(FI Φ,θ )가 소정의 값(제2 임계치에 대응되는 값으로써 도 4에서는 β로 표시함)보다 큰 경우에는 멤버쉽 정도를 항상 0으로 할 수 있다. 멤버쉽 정도를 수학식 3을 이용하여 구할 경우에, 그 값이 0이라는 것은 가중치가 최대가 된다는 것을 의미하고, 1이라는 것은 가중치가 최저(즉, 반영하지 않음)가 된다는 것을 의미한다.
그런데, 이러한 α와 β의 값은 이론적으로 계산하기는 현실적으로 어렵다. 따라서 본 발명의 실시예에서는 α와 β의 값을 실험적으로 추출한다. 본 발명의 실시예에 의할 경우에, 도 4에 도시된 S-type SMALL 멤버쉽 함수를 이용할 경우에, α는 0.1 내지 0.3 사이의 값, 바람직하게는 0.2이며, β는 0.7 내지 0.9 사이의 값, 바람직하게는 0.8일 수 있다. 도 4에 도시된 S-type SMALL 멤버쉽 함수는 수학식 4와 같이 나타낼 수 있다.
Figure 112008012989922-pat00010
이러한 본 발명의 실시예는 어느 일 방향에 대하여 휘도 차이(LD)가 작은 경 우에는 큰 가중치를 할당하고, 휘도 차이가 큰 방향의 경우에는 작은 가중치를 할당하는 것의 일례이다. 따라서 본 발명의 여러 가지 다른 수학식과 퍼지 멤버쉽 함수를 이용하여 변형될 수도 있는데, 그 원리는 동일하다. 즉, 도 4와 수학식 4를 참조하면, (Φ, θ) 방향으로 두 픽셀 사이의 휘도 차이 또는 강도 변화가 작으면 해당 방향으로의 멤버쉽 정도 μ Φ,θ 는 크지만, 반대로 휘도 차이 또는 강도 변화가 크면 해당 방향으로의 멤버쉽 정도 μ Φ,θ 는 작다. 여기서, S-Type SMALL 멤버쉽 함수의 멤버쉽 정도는 가중치 ω Φ,θ 로 가정한다. 도 4와 수학식 4를 참조하면, 해당 방향이 주 에지 방향과 유사한 방향이어서 휘도 차이(LD Φ,θ )가 더 작으면 작을수록, 퍼지 인덱스(FI Φ,θ )도 더 작아지며 그 결과 멤버쉽 정도(즉, 가중치ω Φ,θ )는 더 크게 된다는 것을 알 수 있다. 반면, 해당 방향이 주 에지 방향과 관련이 적어서 휘도 차이(LD Φ,θ )가 더 크면 클수록, 퍼지 인덱스(FI Φ,θ )도 더 커지며 그 결과 멤버쉽 정도(즉, 가중치ω Φ,θ )는 더 작게 된다는 것을 알 수 있다.
가중치 적용부(130)에서는 가중치 평가부(120)에서 퍼지 시스템을 적용하여 구한 가중치를 적용하여 보간될 픽셀의 화소값이 될 수 있는 필터 출력 또는 가중치 적용 픽셀값을 구한다. 각 방향에 대하여 소정의 퍼지 가중치를 곱하여 가중치 적용부(130)에서 출력되는 가중치 적용 픽셀값 또는 필터 출력 x out (i,j,k)는 수학식 5와 같이 나타낼 수 있다.
Figure 112008012989922-pat00011
여기서, x Φ,θ (i,j,k)는 후보 디인터레이서드 픽셀(candidate deinterlaced pixels)로써, 수학식 6이 될 수 있다.
Figure 112008012989922-pat00012
계속해서 도 1을 참조하면, 보간부(140)는 가중치 적용부(130)에서 구한 필터 출력값(Filter Output) 또는 가중치 적용 픽셀값을 이용하여, 보간 화소값을 구한다. 본 실시예의 일 측면에 의하면, 보간 화소값은 가중치 적용 픽셀값이 그대로 이용되거나 또는 수학식 7을 이용하여 구할 수 있다. 수학식 7에 의하면, 보간부(140)에서는 보간 화소값으로써 가중치 적용 픽셀값 x Φ,θ (i,j,k)과 공간 윈도우에서 보간 픽셀에 아래 위로 인접한 픽셀의 화소값(u, d), 그리고 시간 윈도우에서 보간 픽셀에 전후로 인접한 픽셀의 화소값(p, n)의 중간값을 선택한다.
Figure 112008012989922-pat00013
이상에서 설명한 바와 같이, 격행 주사 방식을 사용하는 영상을 순행 주사 방식을 사용하는 영상으로 디인터레이싱하는 과정에서, 본 발명의 실시예와 같이 퍼지 영상 처리 알고리즘을 이용하여 구한 방향적 상관도에 따라서 모든 또는 여러 에지 방향으로 소정의 가중치를 적용하여 화소값을 구함으로써, 특히 복잡한 영상에서 기존의 디인터레이싱 기법인 STELA 보다 우수한 화질을 실현할 수 있다. 이러한 본 발명의 실시예에 의하면, 주 에지 방향이 잘못 예측되는 경우에도 영상의 화질이 저하되는 것을 방지하여 순행 주사 영상의 화질을 향상시킬 수가 있다.
이상에서 상세하게 설명한 본 발명의 실시예는 단지 본 발명의 기술 사상을 보여주기 위한 예시적인 것으로서, 상기 실시예에의 의하여 본 발명의 기술 사상이 한정되는 것으로 해석되어서는 안된다. 본 발명의 보호 범위는 후술하는 본 발명의 특허청구범위에 의하여 특정된다.
도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 구성을 보여 주는 블록도이다.
도 2는 본 발명의 일 실시예가 적용될 수 있는 시공간 윈도우를 보여 주는 도면이다.
도 3은 본 발명의 실시예에 적용될 수 있는 퍼지 이미지 프로세싱을 보여 주는 흐름도이다.
도 4는 퍼지 인덱스와 가중치 사이의 함수로써 S-type SMALL 멤버쉽 함수의 일례를 보여 주는 그래프이다.

Claims (12)

  1. 입력 격행 주사 신호의 보간대상화소를 포함하는 현재 필드 영상에 대하여 시간 방향으로 인접한 이전 필드 영상 및 다음 필드 영상에 포함되는 복수의 제1 화소와 상기 현재 필드 영상에 포함되고 또한 상기 보간대상화소에 공간 방향으로 인접한 복수의 제2 화소를 포함하는 시공간 윈도우 내에서, 상기 보간대상화소에 대한 상기 시공간 윈도우 내의 각각의 에지 방향에 대한 방향적 상관도를 계산하기 위한 에지 방향 감지부;
    상기 에지 방향 감지부에서 계산된 방향적 상관도를 이용하여 상기 각각의 에지 방향에 대한 가중치를 계산하기 위한 가중치 평가부;
    상기 가중치 평가부에서 계산된 각각의 에지 방향에 대한 가중치와 상기 각각의 에지 방향으로 인접한 픽셀값을 이용하여 상기 보간대상화소에 대한 가중치 적용 픽셀값을 구하기 위한 가중치 적용부; 및
    상기 가중치 적용부에서 구한 상기 가중치 적용 픽셀값을 이용하여 상기 보간대상화소에 대하여 픽셀값을 구하기 위한 보간부를 포함하되;
    상기 에지 방향 감지부는 하기 식 (E-1)을 이용하여 상기 각각의 에지 방향에 대한 휘도 차이를 구하고, 상기 휘도 차이에 반비례하도록 상기 방향적 상관도를 구하는 것을 특징으로 하는 디인터레이싱 장치.
    Figure 112010008792652-pat00014
    (E-1)
    여기서, 'pl'은 이전 프레임에서 상기 보간대상화소의 위치에 대하여 왼쪽(Previous and Left)에 인접한 화소의 값, 'nr'은 다음 프레임에서 상기 보간대상화소의 위치에 대하여 오른쪽(Next and Right)에 인접한 화소의 값, 'p'는 이전 프레임에서 상기 보간대상화소의 위치(Previous)에 위치한 화소의 값, 'n'은 다음 프레임에서 상기 보간대상화소의 위치(Next)에 위치한 화소의 값, 'pr'은 이전 프레임에서 상기 보간대상화소의 위치에 대하여 오른쪽(Previous and Right)에 인접한 화소의 값, 'nl'은 다음 프레임에서 상기 보간대상화소의 위치에 대하여 왼쪽(Previous and Left)에 인접한 화소의 값, 'ul'는 상기 보간대상화소의 좌상(Up and Left)쪽에 인접한 화소의 값, 'dr'는 상기 보간대상화소의 우하(Down and Right)쪽에 인접한 화소의 값, 'u'는 상기 보간대상화소의 위(Up)쪽에 인접한 화소의 값, 'd'는 상기 보간대상화소의 아래(Down)쪽에 인접한 화소의 값, 'ur'은 상기 보간대상화소의 우상(Up and Right)쪽에 인접한 화소의 값, 'dl'은 상기 보간대상화소의 좌하(Down and Left)쪽에 인접한 화소의 값을 나타낸다.
  2. 삭제
  3. 제1항에 있어서, 상기 방향적 상관도는 하기 수학식 (E-2)를 이용하여 구한 퍼지 인덱스(FI Φ,θ)에 반비례하는 것을 특징으로 하는 디인터레이싱 장치.
    Figure 112010008792652-pat00015
    (E-2)
    여기서, Φ는 시간 도메인(Time Domain, TD)인지 또는 공간 도메인(Spatial Domain, SD)를 가리키는 파라미터이고, θ는 시간 방향 또는 수직 공간 방향에 대한 각도를 가리키는 파라미터이며, LDmax는 수학식 (E-1)을 이용하여 구한 LD값들 중에서 최대 LD값을 가리킨다.
  4. 제3항에 있어서, 상기 가중치 평가부에서 계산한 상기 시공간 윈도우 내의 각각의 에지 방향에 대한 가중치는 하기 수학식 (E-3)을 이용하여 구한 멤버쉽 정도(Membership Degree, μΦ,θ)인 것을 특징으로 하는 디인터레이싱 장치.
    Figure 112010008792652-pat00016
    (E-3)
    여기서, α는 0.1 내지 0.3 사이의 값이며, β는 0.7 내지 0.9 사이의 값이다.
  5. 제1항에 있어서, 상기 가중치 적용부는 하기 수학식 (E-4)를 이용하여 상기 가중치 적용 픽셀값을 구하는 것을 특징으로 하는 디인터레이싱 장치.
    Figure 112010008792652-pat00017
    (E-4)
    여기서, xout(i,j,k)는 가중치 적용 픽셀값, wΦ,θ 는 각각의 에지 방향에 대한 가중치, 그리고 xΦ,θ(i,j,k)는 하기 수학식 (E-5)를 이용하여 구한 값을 나타낸다.
    Figure 112010008792652-pat00018
    (E-5)
  6. 제1항에 있어서, 상기 보간부는 상기 가중치 적용 픽셀값을 상기 보간대상화소에 대한 픽셀값으로 하거나 또는 하기 수학식 (E-6)를 이용하여 상기 보간대상화소에 대한 픽셀값을 구하는 것을 특징으로 하는 디인터레이싱 장치.
    Figure 112008012989922-pat00019
    (E-6)
    여기서, x FWF (i,j,k)는 보간대상화소에 대한 픽셀값, x out (i,j,k)는 가중치 적용 픽셀값, 'p'는 이전 프레임에서 상기 보간대상화소의 위치(Previous)에 위치한 화소의 값, 'n'은 다음 프레임에서 상기 보간대상화소의 위치(Next)에 위치한 화소의 값, 'u'는 상기 보간대상화소의 위(Up)쪽에 인접한 화소의 값, 'd'는 상기 보간대상화소의 아래(Down)쪽에 인접한 화소의 값을 나타낸다.
  7. 입력 격행 주사 신호의 보간대상화소를 포함하는 현재 필드 영상에 대하여 시간 방향으로 인접한 이전 필드 영상 및 다음 필드 영상에 포함되는 복수의 제1 화소와 상기 현재 필드 영상에 포함되고 또한 상기 보간대상화소에 공간 방향으로 인접한 복수의 제2 화소를 포함하는 시공간 윈도우 내에서, 상기 보간대상화소에 대한 상기 시공간 윈도우 내의 각각의 에지 방향에 대한 방향적 상관도를 계산하는 단계;
    상기 방향적 상관도 계산 단계에서 계산된 방향적 상관도를 이용하여 상기 시공간 윈도우 내의 각각의 에지 방향에 대한 가중치를 계산하는 단계;
    상기 가중치 계산 단계에서 계산된 각각의 에지 방향에 대한 가중치와 상기 각각의 에지 방향으로 인접한 픽셀값을 이용하여 상기 보간대상화소에 대한 가중치 적용 픽셀값을 구하는 단계; 및
    상기 가중치 적용 픽셀값을 이용하여 상기 보간대상화소에 대하여 픽셀값을 구하는 단계를 포함하되;
    상기 방향적 상관도 계산 단계에서는 하기 식 (E-7)을 이용하여 상기 각각의 에지 방향에 대한 휘도 차이를 구하고, 상기 휘도 차이에 반비례하도록 상기 방향적 상관도를 구하는 것을 특징으로 하는 디인터레이싱 방법.
    Figure 112010008792652-pat00020
    (E-7)
    여기서, 'pl'은 이전 프레임에서 상기 보간대상화소의 위치에 대하여 왼쪽(Previous and Left)에 인접한 화소의 값, 'nr'은 다음 프레임에서 상기 보간대상화소의 위치에 대하여 오른쪽(Next and Right)에 인접한 화소의 값, 'p'는 이전 프레임에서 상기 보간대상화소의 위치(Previous)에 위치한 화소의 값, 'n'은 다음 프레임에서 상기 보간대상화소의 위치(Next)에 위치한 화소의 값, 'pr'은 이전 프레임에서 상기 보간대상화소의 위치에 대하여 오른쪽(Previous and Right)에 인접한 화소의 값, 'nl'은 다음 프레임에서 상기 보간대상화소의 위치에 대하여 왼쪽(Previous and Left)에 인접한 화소의 값, 'ul'는 상기 보간대상화소의 좌상(Up and Left)쪽에 인접한 화소의 값, 'dr'는 상기 보간대상화소의 우하(Down and Right)쪽에 인접한 화소의 값, 'u'는 상기 보간대상화소의 위(Up)쪽에 인접한 화소의 값, 'd'는 상기 보간대상화소의 아래(Down)쪽에 인접한 화소의 값, 'ur'은 상기 보간대상화소의 우상(Up and Right)쪽에 인접한 화소의 값, 'dl'은 상기 보간대상화소의 좌하(Down and Left)쪽에 인접한 화소의 값을 나타낸다.
  8. 삭제
  9. 제7항에 있어서, 상기 방향적 상관도는 하기 수학식 (E-8)을 이용하여 구한 퍼지 인덱스(FI Φ,θ)에 반비례하는 것을 특징으로 하는 디인터레이싱 방법.
    Figure 112010008792652-pat00021
    (E-8)
    여기서, Φ는 시간 도메인(Time Domain, TD)인지 또는 공간 도메인(Spatial Domain, SD)를 가리키는 파라미터이고, θ는 시간 방향 또는 수직 공간 방향에 대한 각도를 가리키는 파라미터이며, LDmax는 수학식 (E-1)을 이용하여 구한 LD값들 중에서 최대 LD값을 가리킨다.
  10. 제9항에 있어서, 상기 가중치 계산 단계에서 구한 상기 시공간 윈도우 내의 각각의 에지 방향에 대한 가중치는 하기 수학식 (E-9)를 이용하여 구한 멤버쉽 정도(Membership Degree, μΦ,θ)인 것을 특징으로 하는 디인터레이싱 방법.
    Figure 112010008792652-pat00022
    (E-9)
    여기서, α는 0.1 내지 0.3 사이의 값이며, β는 0.7 내지 0.9 사이의 값이다.
  11. 제7항에 있어서, 하기 수학식 (E-10)을 이용하여 상기 가중치 적용 픽셀값을 구하는 것을 특징으로 하는 디인터레이싱 방법.
    Figure 112010008792652-pat00023
    (E-10)
    여기서, xout(i,j,k)는 가중치 적용 픽셀값, wΦ,θ 는 각각의 에지 방향에 대한 가중치, 그리고 xΦ,θ(i,j,k)는 하기 수학식 (E-11)을 이용하여 구한 값을 나타낸다.
    Figure 112010008792652-pat00024
    (E-11)
  12. 제7항에 있어서, 상기 가중치 적용 픽셀값을 상기 보간대상화소에 대한 픽셀값으로 하거나 또는 하기 수학식 (E-12)를 이용하여 상기 보간대상화소에 대한 픽셀값을 구하는 것을 특징으로 하는 디인터레이싱 방법.
    Figure 112008012989922-pat00025
    (E-12)
    여기서, x FWF (i,j,k)는 보간대상화소에 대한 픽셀값, x out (i,j,k)는 가중치 적용 픽셀값, 'p'는 이전 프레임에서 상기 보간대상화소의 위치(Previous)에 위치한 화소의 값, 'n'은 다음 프레임에서 상기 보간대상화소의 위치(Next)에 위치한 화소의 값, 'u'는 상기 보간대상화소의 위(Up)쪽에 인접한 화소의 값, 'd'는 상기 보간대상화소의 아래(Down)쪽에 인접한 화소의 값을 나타낸다.
KR1020080015828A 2008-02-21 2008-02-21 방향적 상관도를 이용한 디인터레이싱 장치 및 방법 KR100967521B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080015828A KR100967521B1 (ko) 2008-02-21 2008-02-21 방향적 상관도를 이용한 디인터레이싱 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080015828A KR100967521B1 (ko) 2008-02-21 2008-02-21 방향적 상관도를 이용한 디인터레이싱 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090090550A KR20090090550A (ko) 2009-08-26
KR100967521B1 true KR100967521B1 (ko) 2010-07-07

Family

ID=41208322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080015828A KR100967521B1 (ko) 2008-02-21 2008-02-21 방향적 상관도를 이용한 디인터레이싱 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100967521B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101235488B1 (ko) * 2011-06-27 2013-02-20 한양대학교 산학협력단 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법
WO2018174358A1 (ko) * 2017-03-21 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101144435B1 (ko) * 2010-11-12 2012-05-10 중앙대학교 산학협력단 가중치를 이용한 에지 기반 디인터레이싱 방법 및 이러한 방법을 사용하는 영상 처리 장치
KR101652266B1 (ko) * 2014-12-31 2016-08-31 인천대학교 산학협력단 자기상관 기반 인터레이스 대 프로그레시브 포맷 변환
KR101652264B1 (ko) * 2015-08-31 2016-08-31 인천대학교 산학협력단 에지 방향 적응적인 인트라 필드 디인터레이싱 기법을 실행하는 그래픽 프로세싱 유닛의 병렬 구현 방법
KR101829742B1 (ko) * 2016-12-14 2018-02-19 인천대학교 산학협력단 이중 선형 필터 및 퍼지-기반 가중 평균 필터에 기반한 디인터레이싱 장치 및 방법
KR102603650B1 (ko) * 2021-12-03 2023-11-20 인천대학교 산학협력단 지능형 컬러 영상 복원 시스템 및 이를 이용한 디인터레이싱 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030082249A (ko) * 2002-04-17 2003-10-22 오리온전기 주식회사 움직임 적응 시공간 디인터레이싱 방법
KR20050032893A (ko) * 2003-10-02 2005-04-08 삼성전자주식회사 에지 기반의 영상 적응형 디인터레이싱 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030082249A (ko) * 2002-04-17 2003-10-22 오리온전기 주식회사 움직임 적응 시공간 디인터레이싱 방법
KR20050032893A (ko) * 2003-10-02 2005-04-08 삼성전자주식회사 에지 기반의 영상 적응형 디인터레이싱 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101235488B1 (ko) * 2011-06-27 2013-02-20 한양대학교 산학협력단 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법
WO2018174358A1 (ko) * 2017-03-21 2018-09-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
US11064205B2 (en) 2017-03-21 2021-07-13 Lg Electronics Inc. Image decoding method and device according to intra prediction in image coding system

Also Published As

Publication number Publication date
KR20090090550A (ko) 2009-08-26

Similar Documents

Publication Publication Date Title
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
US7720150B2 (en) Pixel data selection device for motion compensated interpolation and method thereof
KR100967521B1 (ko) 방향적 상관도를 이용한 디인터레이싱 장치 및 방법
US6757022B2 (en) Method and apparatus for motion adaptive deinterlacing
US7042512B2 (en) Apparatus and method for adaptive motion compensated de-interlacing of video data
US8144778B2 (en) Motion compensated frame rate conversion system and method
US20030086498A1 (en) Apparatus and method of converting frame and/or field rate using adaptive motion compensation
EP0624032A2 (en) Video format conversion apparatus and method
US20110205438A1 (en) Method and apparatus for motion estimation and motion compensation in video image data
US20050249282A1 (en) Film-mode detection in video sequences
US6404461B1 (en) Method for detecting static areas in a sequence of video pictures
KR20100103838A (ko) 적응적 조사영역을 갖는 모션추정 장치 및 방법
EP2107521A2 (en) Detecting a border region in an image
CN101309385A (zh) 一种基于运动检测的去隔行处理方法
WO2009052430A1 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
KR100484182B1 (ko) 디인터레이싱 장치 및 방법
EP1039746B1 (en) Line interpolation method and apparatus
KR20070020994A (ko) 영상신호 변환장치 및 그 방법
KR20060135742A (ko) 영화 모드 적응을 갖춘 움직임 보상된 디-인터레이싱
KR100942887B1 (ko) 추정된 움직임 벡터 결정 방법 및 컴퓨터 판독가능한 기록매체
US20170085912A1 (en) Video sequence processing
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
US7733421B1 (en) Vector interpolator
US9324131B1 (en) Method and apparatus for motion adaptive deinterlacing with reduced artifacts

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140312

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee