KR100237905B1 - 적응형 보간방법 및 장치 - Google Patents

Abstract

본 발명은 적응형 보간방법 및 장치에 관한 것이다. 공간프로스캔 변환 인터레이스 화상은 보통 수평구조를 따라 선명하지 못한 수직전이를 나타내며 약간의 인터레이스 깜빡임만을 감소시킨다. 이것은 보통 수평구조에서 적용되는 두 라인상의 수직보간 또는 간단한 수직평균 때문이다.

본 발명의 적합하게 가중된 수직보간은 화상에서 수직전이의 산출된 위치에 의한다. 그러한 이유에 의하면, 인터레이스신호의 선행 또는 다음필드의 정보가 고려된다. 그것은 적어도 정지화상부분에 대하여 상당히 개선된 선명도 및 인터레이스 깜빡임의 감소가 가능하게 한다. 또한 움직이는 화상부분에서 상당히 개선된 선명도를 제공할 수 있다.

인터레이스 필드의 빠뜨린 라인은 현재필드에서 단지 두개의 인접라인만을 이용하여 적합하게 가중된 수직보간에 의해 계산된다.

Description

적응형 보간방법 및 장치

제1도는 본 발명에 따른 보간법의 원리를 도시하며,

제2(a),2(b)도는 수진전이를 도시하며,

제3(a),3(b)도는 양호한 수직세부상을 도시하며,

제4(a),4(b)도는 가장 양호한 수직세부상을 도시하며,

제5도는 본 발명에 따른 보간기의 블록도이다.

* 도면의 주요부분에 대한 부호의 설명

10 : 디스플레이 15,16 : 필드스토어

14 : 계산회로 521,522,523,524,592 : 감산기

511,512,515,516,581 : 라인지연수단

513,514 : 필드-마이너스-라이지연수단

531~534 : 인버터 56,541~544 : 스위치

551~554 : 제한기 591,596 : 가산기

582 : 역수값 회로 57 : 산술회로

593,595 : 곱셈기

본 발명은 적응형 보간법을 위한 방법 및 장치에 관한 것이다.

공간 프로스캔 변환 인터레이스 화상(인터레이스→프로그레시브)은 일반적으로 수직구조 사이에서 선명하지 않은 수직전이를 나타내며 그리고 단지 별로 중요하지 않은 인터레이스 깜빡임의 감소만 나타낸다. 이것은 보통 수평구조에서 이용되는 두 라인이상의 수직보간 또는 단순 수직평균에 의한 것이다. 그러한 종류의 상향변환의 결과는 자주 원래 인터레이스 화상이 상기 상향변환된 화상보다 양호하게 보이게 한다. 이에 반하여, 시공간 상향변환 알고리즘은 단지 수용가능한 경로에서 움직이는 대상의 어떤 속도의 범위에 대해서만 동작할 수 있다. 높은 속도에 대하여 이러한 알고리즘은 움직이는 대상의 윤곽을 다소 명료하지 않게 하는 허용할 수 없는 일시적인 잔상을 만들어낸다. 움직이는 또는 정지한 화상부분을 위한 여러가지 최적화된 처리방법이 존재하지만, 그러나 모션검출기 문제는 아직까지 완전하게 해결되지 않았다.

본 발명의 목적중 하나는 적응하도록 가중된 보간방법을 제공하여 이러한 모션검출문제를 제거하는 것이다. 이러한 목적은 청구범위 제1항에서 기술된 방법, 즉 보간된 현재라인(y,n,Li)중 화소값(12)은 현재 필드(Fm)중에서 인접라인(n-1,n+1)중 수직적으로 인접한 화소(11,13)의 각각의 값으로부터 계산되는 적응형 보간방법에 있어서, 보간된 상기 라인(y,n,Li)의 상기 화소값(12)을 계산하기 위하여 하나 또는 두개의 일시적으로 인접한 필드(Fm-1,Fm+1)에서 각각 위치한 화소값의 하나 또는 그 이상의 기울기(△₁,△₂)에 따라 상기 인접화소(11,13)의 값은 (α,β)가 적합하도록 가중되는 것을 특징으로 하는 적응형 보간방법,에 의해 이루어질 수 있다.

적합하게 가중된 수직보간은 화상에서 수직전이의 측정위치에 따르는 곳에 이용된다. 그러한 이유때문에, 인터레이스의 선행 또는 다음 필드의 정보가 고려될 수 있다. 그러한 것은 적어도 정지화상 부분에 대하여 상당히 개선된 선명도 및 인터레이스 깜빡임의 감소를 가능하게 한다. 또한 움직이는 화상부분에서도 향상된 선명도가 가능하다.

인터레이스 필드의 빠뜨린 라인(missing line)은 현재 필드에서 단지 2개의 인접라인을 이용하여 적합하게 가중된 수직보간에 의해 계산된다. 알고리즘은 보간값이 인터레이스 필드의 두 인접라인 사이의 증폭범위내에 있도록만 한다. 따라서 이러한 종류의 보간알고리즘의 주목적은 두개의 적당한 가중계수를 찾는 것이다. 바람직하게 가중계수는 인접필드의 정보에 의해 계산되거나 추정된다.

본 발명의 상향변환은 다른 공지된 시공간 또는 모션 적응형 상향변환 기술 이상의 여러 장점을 가진다 :

-인터레이스 필드중 두개 인접라인의 단지 두 화소만 상향 변환필터에 관여하기 때문에 일시적 잔상이 발생하지 않는다. 움직이는 대상에 의한 충분한 선명도는 유지될 것이며;

-가중계수의 값을 구하는 것은 연속 프로세스이다. 유럽특허 EP-A-92400762에 기술된 DIAG3X 알고리즘과 같은 어려운 판단이나 불연속인 비선형성이 발생하지 않는다. 이러한 접근법은 그 자체가 보다 나은 노이즈 감쇄를 보장하며;

-단지 하나의 알고리즘만이 이용된다. 이것은 모션검출기의 필요성과 그것에 의해 야기되는 모든 문제점을 제거한다. 그렇기 때문에, 비지에지(busy edge), 빗질(combign) 형태의 결함, 후광(halo)현상, 혼합모드와 같은 스위칭 인조잡상이 발생하지 않을 것이며;

-알고리즘은 높은 수직선명도가 가능하게 한다. 처리된 화상은 양호한 화점에 포착되고 실제 점진적으로 주사되는 화상의 효과에서도 앞서갈 수 있다. 인터레이스 화상은 보통 보다 큰 화점크기로 생성되어 필스삽입 후에도 완전한 프레임은 순행주사된 것만큼 선형하게 보일 수는 없는 것과 대조적이며;

-가중계수가 완전히 잘못 계산되더라도, 단지 몇개의 반복인조 잡상만이 발생될 수 있다.

이러한 알고리즘의 기본결점은 다음의 사실에서 알 수 있다. 즉, 수직해상도는 예를 들면 단순필드 삽입기술과 같은 시간영역 보간의 경우에서와 같이 향상될 수는 없다. 그러나 바로 이러한 수직 고주파수는 심각한 모션검출기 문제를 야기시킨다. 화상에서 수직고주파수가 정확하게 상향변환될 수 없다면, 인터레이스 깜빡임은 잔존할 것이다. 이것은 여전히 모션검출기의 잘못된 판단에 의해 야기되는 왜곡과 비교하여 별도 심각한 것으로 생각되지 않는다. 또한, 텔레비젼은 움직이는 화상과 관계가 있으며, 따라서 움직이는 이미지의 질을 향상시키는 것을 보다 가치있는 일이다.

이미 상술한 것처럼 본 발명의 적응형 수직보간은 다음공식(간단한 기호 표시된) : Y^*(y,t)=[α*Y(y-d,t)+β*Y(y+d,t)]/(α+β)에 따라 두개의 인접라인 내의 화소만 관여하게 될 것이다. 따라서 수직보간은 두개의 가중계수 α및 β에 의해 제어되며, α및 β자체는 현재 필드 및 두개의 인접필드의 화상정보에 따른다. 제1도는 기본적인 프로세싱의 개략적인 것을 보여준다.

원칙적으로 본 발명의 방법은 일종의 적응형 보간법이며, 그것에 의하여 보간되어야 하는 현재라인의 화소값은 현재 필드중 인접라인의 수직으로 인접한 화소 각각의 값으로부터 계산되며, 상기 인접화소의 값은 하나 또는 두개 시간적으로 인접한 필드에 각각 위치한 화소값의 하나 또는 그 이상의 기울기에 따라 적합하게 가중되어 보간되는 상기 라인의 상기 화소값을 계산한다.

본 발명의 방법에 대한 바람직한 추가실시예는 각각의 종속항에 나타난다. 본 발명의 또다른 목적은 본 발명의 방법을 이용하는 장치를 제공하는 것이다. 이러한 목적은 청구범위 제7항에서 기술된 장치, 즉 현재필드(Fm)중 상기 기술기(△₃)의 제어하에 입력화소의 각각 지연된 값으로부터 상기 교정된 기울기()를 계산하는 제1수단(511-516,521-524,531-534,541-544,551-554,56)과,

각각의 지연된 입력화소입력으로부터 이러한 기울기를 계산하는 제2수단(581,592)과,

상기 교정된 기울기()로부터 현재필드(Fm)의 상기 기울기(△₃)에 따라 상기 가중계수(α,β)를 계산하는 산술회로(57)와,

상기 가중계수(α,β)에 따라 각각 지연된 입력화소값으로부터 현재라인(n,Li)에 대한 상기 화소값을 계산하는 제3수단(582,591,593,596)을 포함하는 것을 특징으로 하는 제1항 내지 제6항 중 어느 한 항에 따른 방법을 실시하기 위한 장치에 의해 이루어진다.

원칙적으로 본 발명의 장치는 현재필드의 상기 기울기에 따라 입력화소의 각각 지연된 값으로부터 교정된 기울기를 계산하는 제1수단과,

각각의 지연된 입력화소값으로부터 이러한 기울기를 계산하는 제2수단과,

상기 교정된 기울기로부터 현재필드의 상기 기울기에 따라 상기 가중계수를 계산하는 산술회로와,

상기 가중계수에 따라 각각 지연된 입력화소값으로부터 현재라인에 대한 상기 화소값을 계산하는 제3수단을 포함한다.

본 발명의 장치에 대한 바람직한 추가 실시예는 각각의 종속항에 나타난다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

제1도의 디스플레이(10)에는 세개의 라인(n-1,n(보간됨),n+1)이 도시된다. 라인상의 화소(12)는 라인(n-1)의 화소(11) 및 라인(n+1)의 화소(13)으로부터 보간된 것이다. 휘도입력화소(Yin)의 값 및 제1필스 스토어(15)에서 지연된 값 및 제2필드 스토어(16)에서 다시 지연된 값은 계산회로(14)로 유입되며, 계산회로(14)에서 가중계수(α,β)가 계산된다.

제2도는 α및 β의 계산을 설명하기 위하여 이용될 수 있다. 제2(a)도에서 인터레이스필드(Fm)의 y=n에서의 수직전이가 도시된다. 전이영역(20)에서 빠뜨린 라인(n)의 화소값이 존재할 수 있는 불확정 범위를 발견할 수 있을 것이다. 이러한 불확정 영역은, 만약 이러한 화상부분에서 움직임이 없다면, 이전필드(Fm-1)의 정보에 의해 상당히 감소될 수 있다. 보간되는 라인 y=n에 대한 필드(Fm-1)에서, 상부방향에서의 수직기울기(△₁) 및 하부방향에서의 수직기울기(△₂)를 측정함으로써 (제2(b)도 참조), 이러한 기울기식

및

는

α및 β의 계산을 위해 이용될 수 있는데 α=|△_1a|+ε 및 β=|△_2a|+ε이다. 상기 기울기식에서 T_t=20ms이고 2d는 필드내에서 라인간격이다. 이러한 공식에서 ε는 예를들면 1 LSB와 같이 아주 작은양을 나타내며, 만약 △₁및 △₂가 제로가 될때만 상당한 결과를 제공한다.

이러한 기술에 의해 정확하게 처리될 수 있는 가장 양호한 수직세부상은 제3(a)도 및제3(b)도에서 도시된 것처럼 두개의 라인폭을 단위로 하여 주어진다. 정확한 보간을 위하여 만약 이러한 기울기의 부호가 현재필드에서 기울기 △₃=Y(y+d,t)-Y(y-d,t)의 부호와 상이하면 △₁또는 △₂를 제로로 만드는 조정이 필요하게 된다. 그것은 만약 △₃≥0이면

이고

그외에는

임을 의미한다.

보다 양호한 수직세부상의 경우에 제4(a)도 및 제4(b)도에 도시된 것처럼, 알고리즘은 간단한 수직평균이 된다. 주어진 조건에서 기울기 △₁및 △₂는 제로가 된다.

이러한 알고리즘의 테스트는 상당히 향상된 선명도에 의해 밝혀졌으나, 어떤 움직임에 대하여 두 라인의 스텝사이즈를 가진 계단구조를 발생시킬 수 있다(라인반복인조잡상). 이러한 인조잡상은 주로 α및 β의 비동기 시간계산에 의해 발생됨을 알 수 있다. 따라서 상기 프로세싱은 바람직하게 다른 시간방향(필드 Fm+1)에서 확장되며, 필드(Fm+1)에서는 △₁및 △₂의 제2집합이 △₃에 의한 동일한 조정을 가진 공식 :에 따라 계산된다. 따라서 가중계수는 다음 :에 의해 주어진다.

이러한 개선된 알고리즘의 결과는 모션화상이 α및 β의 동기 시간계산에 의해 보다 나아질 수 있지만, 어떤 움직이는 대각구조에 따라 여전히 어떤 계단인조잡상이 존재함을 나타낸다. 이러한 일그러짐을 제거하기 위한 여러가지 해결법이 가능하다. 움직이는 대각구조의 검출 또는 재구성된 프래임에서 계단구조의 패턴인지는 상당히 도움이 되지만, 보다 복잡해질 것이다.

보다 간단한 해결책은 적응형 보간법을 부드럽게 움직임에 의한 수직평균에 적용하는 것이다. 움직임의 표시는 프래임에서 프래임으로 기울기 △₁및 △₂를 변경시킴으로써 이미 주어져 있으며 따라서 모션 표시계수는 다음식 :에 의해 표현될 수 있으며, 여기서이며이다.

따라서 가중계수는 다음과 같이 된다.

보다 양호한 노이즈감소 및 향상된 효율을 위하여, 제2항목은 가중 상호계수가 보다 더 균형을 유지하도록 하기 위하여 상기 식들에 도입된다. 같은 이유로 ε는 8비트 프로세싱 구조에서 5까지 증가된다.

제5도는 상술한 알고리즘을 이용한 보간기에 대한 블록도를 도시한다. 휘도입력화소(Yin)의 값은 제1감산기(521)에 유입되고 제1라인지연(511), 제2라인지연(512), 제1필드-마이너스-라인지연(513), 제2필드-마이너스-라인지연(512) 및 제3라인지연(515)을 통하여 제4라인지연(516)에 통과된다. 제1감산기(521)는 제1라인지연(511)의 입력에서 제1라인지연(511)의 출력을 감산한다. 제1감산기(522)는 제2라인지연(512)의 입력에서 제2라인지연(512)의 출력을 감산한다.

제3라인지연(515)의 출력은 제3감산기(523)에서 제3라인지연(515)의 입력으로부터 감산된다. 제4라인지연(516)의 출력은 제4감산기(524)에서 제4라인지연(516)의 입력으로부터 감산된다.

제1감산기(521)의 출력신호 △_2b는 직접 또는 제1인버터(531)을 통하여 제1스위치(541) 및 제1제한기(551)(출력신호 △_2b)를 거쳐 α및 β를 계산하기 위해 산술회로(57)에 인가된다. 제2감산기(522)의 출력신호 △_1b는 직접 또는 제2인버터(532)를 통하여 제2스위치(542) 및 제2제한기(522)(출력신호△_1b)를 거쳐 산술회로(57)에 인가된다. 제3감산기(523)의 출력신호 △_2a는 직접 도는 제3인버터(533)을 통하여 제3스위치(543) 및 제3제한기(553)(출력신호 △_2a)를 거쳐 산술회로(57)에 인가된다. 제4감산기(542)의 출력신호 △_1a는 직접 또는 제4인버터(534)를 통하여 제4스위치(544) 및 제4제한기(554)(출력신호 △_1a)를 거쳐 산술회로(57)에 인가된다.

제1필드-마이너스-라인지연(513)의 출력에서 현재라인(y=n,Lc)의 화소값은 이용가능하며 출력(502)로 유입된다. 이러한 화소는 또한 제5라인지연(581), 제5감산기(594), 제5곱셈기(595) 및 제1가산기(596)을 통하여 출력(501)에 유입되는데, 출력(501)은 보간된 라인(Li)의 화소값을 출력시킨다.

제6감산기(592)는 제5라인지연의 입력에서 제5라인지연의 출력을 감산한다. 제6감산기의 출력은 현재필드의 기울기 △₃를 표시하며 또한 산술회로(57) 및 스위치(56)에 유입되는데, 스위치(56)는 동시에 4개의 스위치를 제어한다.

산술회로(57)에서 가중계수 α및 β는, 모션표시계수 σ를 포함하거나 포함하지 않고, 상기 입력신호들로부터 계산된다. Y^*를 계산하기 위하여 공식로 변경될 수 있다. 뒤의 공식은 바람직하게 보간된 화소값(11)을 계산하기 위하여 사용될 수 있다. 산술회로(57)의 α및 β출력은 제2가산기(591)에서 가산된다. 가산기 출력은 역수값회로(582)에 통과시킨 후 제2곱셈기(593)에서 값 α가 곱해진다. 제2곱세기의 출력은 제1곱셈기(595)에 제2입력으로써 유입된다. 제5라인지연(581)의 출력은 제5감산기(594)에서 제5라인지연(581)의 입력으로부터 감산되고, 제1가산기(596)에서 제1곱셈기(595)의 출력에 가산된다.

또한 두개 이상의 수직인접화소는 본 발명의 보간에 사용될 수 있다. TV 신호, VCR 신호 및 색신호에 응용될 수 있다.

본 발명의 보간결과로 정교한 세부상의줌(zoom)을 포함하는 화상시퀀스에서 선명도 향상 및 인터레이스 깜빡임 감소의 효과가 있음을 알 수 있다. ′필립스 테스트챠트′와 같은 테스트 챠트에서 인터레이스 깜빡임을 완전히 제거될 수 있다. 상기 적응형 수직보간은 유럽특허 EP-A-92400762호에서 기술한 DIAG3X 알고리즘과 비교하여 개선된 화상선명도 및 인터레이스 깜빡임 감소의 효과가 있다. 상기 알고리즘은 하드웨어 복잡성, 수직해상도, 수직선명도 및 잔류인조잡상 사이에서 매우 양호한 해결책을 제공한다. 화상질은 상승변환 알고리즘에 의해 제시되는 새로운 인조잡상에 의해서 저하되지 않는다.

Claims (7)

1. 현재 필드 인접 라인의 어느 한측면상에 수직으로 인접한 각각의 화소값으로만 보간될 현재 중간 비디오 라인의 현재 화소 값을 계산하는 단계; 상기 현재 화소값을 계산하기 위하여 적어도 하나의 시간적 선행 인접 필드의 각각 수평 배치 화소값의 적어도 두 개의 기울기에 따라 상기 수직으로 인접한 화소값을 적응하여 가중하는 단계; 상기 현재 화소의 수직 위치를 가지는 화소값 및 수직의 하부에 인접한 오리지날 화소값 사이의 차이로부터 상기 두 개의 기울기 하부를 계산하는 단계; 및 수직 상부에 인접한 오리지날 화소값 및 상기 현재 화소의 수직 위치를 가지는 화소값 사이의 차이로부터 상기 두 개의 기울기의 상부를 계산하는 단계를 포함하는 것을 특징으로 하는 현재 필드 중간 라인의 적응성 보간 방법.
2. 제1항에 있어서, 시간적 선행 및 시간적 후행 필드의 상부 기울기의 절대 값의 합에 값(ε)을 가산함으로써 현재 필드의 상부 화소에 관련된 가중 계수를 계산하는 단계; 및 시간적 선행 및 시간적 후행 필드의 하부 기울기 값의 절대값 합에 값(ε)을 가산함으로써 현재 필드의 하부 화소에 관련된 가중 계수를 계산하는 단계를 더 포함하고, 상기 ε는 8비트 프로세스 1-5 LSB 값을 가지는 것을 특징으로 하는 방법.
3. 제1항에 있어서, 상부 기울기의 절대값에 값(ε)을 가산함으로써 현재 필드의 상부 화소에 관련된 가중 계수를 계산하는 단계; 및 하부 기울기의 절대값에 값(ε)을 가산함으로써 현재 필드의 하부 화소에 관련된 가중 계수를 계산하는 단계를 더 포함하고, 상기 ε는 8비트 프로세스시 1-5 LSB값을 가지는 것을 특징으로 하는 방법.
4. 제1항, 제2항 또는 제3항에 있어서, 상기 현재 필드의 상기 수직 인접 화소의 상부 및 하부 사이 추가 기울기의 신호의 제어하에 상기 기울기를 교정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
5. 현재 필드 중간 라인의 화소값을 적응하여 보간하기 위한 장치에 있어서, 현재 필드의 인접 라인중 어느 한측면상에 수직으로 인접한 각각의 화소값으로부터 보간될 현재 중간 비디오 라인의 현재 화소값을 계산하기 위한 제1수단; 상기 현재 화소값에 대한 적어도 하나의 시간적 선행 인접 필드의 각각의 수평 배치 화소값의 적어도 두 개의 기울기에 따라 상기 인접한 화소의 값을 적응하여 가중하기 위한 제2수단; 상기 현재 화소의 수직 위치를 가지는 화소의 값 및 수직 하부에 인접한 오리지날 화소의 값 사이 차이로부터 상기 두 개의 기울기의 하부를 계산하고 수직 상부에 인접한 오리지날 화소값 및 상기 현재 화소의 수직위치를 가지는 화소값 사이 차이로부터 상기 두 개의 기울기의 상부를 계산하기 위한 산술 회로; 및 현재 필드의 상기 수직 인접 화소의 상부 및 하부 사이 추가 기울기의 신호 제어하에서 상기 기울기를 교정하기 위한 제3수단을 포함하는 것을 특징으로 하는 장치.
6. 현재 필드의 상부 화소에 관련된 가중 계수는 상부 기울기의 절대값에 값(ε)을 가산함으로써 계산되고, 상기 현재 필드의 하부 화소에 관련된 가중 계수는 하부 기울기의 절대값에 값(ε)을 가산함으로써 계산되고, 상기 값(ε)은 8비트 프로세스시 1-5 LSB중 선택되는 것을 특징으로 하는 장치.
7. 제5항에 있어서, 현재 필드의 상부 화소에 관련된 가중 계수는 시간 선행 및 시간 후행 필드의 상부 기울기의 절대값 합에 값(ε)을 가산함으로써 계산되고, 현재 필드의 하부 화소에 관련된 가중 계수는 시간 선행 및 시간 후행 필드의 하부 기울기의 절대값 합에 값(ε)을 가산함으로써 계산되고, 상기 값(ε)은 8비트 프로세스시 1-5 LSB의 값을 가지는 것을 특징으로 하는 장치.