KR100292474B1

KR100292474B1 - 비월주사/순차주사 변환 방법 및 장치

Info

Publication number: KR100292474B1
Application number: KR1019930015431A
Authority: KR
Inventors: 이동호
Original assignee: 구자홍; 엘지전자주식회사
Priority date: 1993-08-07
Filing date: 1993-08-07
Publication date: 2001-06-01
Also published as: KR950007412A

Abstract

본 발명은 비월주사식의 영상을 순차주사식의 영상으로 변환하는 기술에 관한 것으로, 종래의 주사변환 방법에 있어서는 이전 프레임과 이후 프레임의 한 프레임씩 기준 프레임으로 사용하는 경우 정확한 움직임 정보를 찾을 수 없게 되고, 특히 영상의 절반에 해당하는 라인들이 스캐닝되지 않고 기준으로 사용되는 라인들은 보간을 통해 대치되었기 때문에 문제가 더욱 심각하게 발생되는 등의 제반 문제점을 해결하기 위하여 본 발명은 앞, 뒤 두 프레임씩을 기준 프레임으로 사용하여 정확하게 움직임 정보를 찾고 상황에 따라 적응적으로 보상을 해줌으로써 보다 해상도가 높은 순차주사 영상을 얻을 수 있다.

Description

비월주사/순차주사 변환 방법 및 장치

제1도는 일반적인 주사변환 방법에 있어서, 움직임 보상을 통한 변환 구조도.

제2도는 본 발명의 비월주사/순차주사 변환 장치에 대한 블록도.

제3도는 본 발명의 주사변환 방법에 있어서, 움직임 보상을 통한 변환 구조도.

제4도는 본 발명의 순차주사식 변환방법에 대한 신호 흐름도.

제5도는 움직임 보상을 할 수 있는 가능한 선택모드표.

* 도면의 주요부분에 대한 부호의 설명

11 : 제1프레임 지연기 12 : 제2프레임 지연기

13 : 제1순차 변환부 14 : 제2순차 변환부

15 : 움직임 추정부 16 : 제3순차 변환부

17 : 제3프레임 지연기 18 : 제4프레임 지연기

본 발명은 비월주사식의 영상을 순차주사식의 영상으로 변환하는 기술에 관한 것으로, 특히 비월주사식의 영상을 순차주사식의 영상으로 변환함에 있어서, 움직임 보상을 보다 정확하게 구현하여 성능을 개선하는데 적당하도록한 비월주사/순차주사 변환 방법 및 장치에 관한 것이다.

움직임 보상을 통한 순차주사식의 영상으로 변환하는 일반적인 기법을 제1도를 참조하여 설명하면 다음과 같다.

움직임 보상을 해주기 위해서는 기준 프레임을 필요로 하는데, 최근에 발표된 기법들은 현재 프레임(t)을 기준으로 바로 이전 프레임(t-1)과 바로 이후 프레임(t+1)을 기준 프레임으로 사용하게 된다. 그리고 가능한한 움직임 보상을 정확하게 해주기 위하여 기준프레임들은 순차주사식으로 변환된 영상을 사용하게 되는데, 이때, 이전 프레임(t-1)은 타임-순환(time-recursive)하게 이미 순차주사식으로 변환된 영상을 사용하게 되고, 이후 프레임(t+1)은 임의로 간단한 방법을 통해 예로써, 상,하의 스캐닝된 라인의 평균값으로 스캐닝되지 않은 라인(L₃)에 대치시켜 사용하게 된다.

그리고, 움직임을 찾는 방법으로는 블록 매칭 알고리즘(BMA) 방법을 이용하여 일정한 블록 단위로 같은 움직임 정보를 통해 움직임 보상을 하게 된다. 이때, 보통 블록 사이즈는 수직으로 16, 수평으로 8 정도 되는 크기를 사용하고, 이러한 블록 단위로 블록내의 모든 화소들을 하나의 같은 움직임 정보를 이용하여 보상하게 되는 것으로, 움직임 보상을 이용한 보간 방법을 설명하면 하기와 같다.

먼저, 현재 보간하고자 하는 프레임을 일정한 블록(예, 16× 8)으로 균일하게 분할한 다음 이러한 블록 단위로 처리를 하게 된다. 현재, 보간하려는 블록을 기준으로 이전 프레임(t-1)과 이후 프레임(t+1)으로 부터 움직임 정보를 찾게 된다.

이때, 보간하려는 블록내의 절반에 해당하는 라인은 스캐닝이 되지 않은 라인들이기 때문에 움직임 정보를 찾기 위해 사용되는 라인은 스캐닝이 된 절반에 해당하는 라인들이다. 이렇게 하여 구한 움직임 정보를 이용하여 스캐닝이 안된 라인들을 보간하게 되는데, 그 가능한 방법은 이전 프레임(t-1)으로 부터 보상을 하는 방법과 이후 프레임(t+1)으로 부터 보상하는 방법, 그리고, 양 프레임(t-1),(t+1)으로 부터 보상된 신호의 평균값으로 대체하는 방법이 있는데, 이중에서 가장 에러가 작은 방법을 선택하게 된다.

그러나, 이와같은 종래의 주사변환 방법에 있어서는 이전 프레임과 이후 프레임의 한 프레임씩 기준 프레임으로 사용하는 경우 정확한 움직임 정보를 찾을 수 없게 되고, 특히 영상의 절반에 해당하는 라인들이 스캐닝되지 않고 기준으로 사용되는 라인들은 보간을 통해 대치되었기 때문에 문제가 더욱 심각하게 된다. 그리고, 한 프레임씩 건너 띄어서 같은 위치의 라인이 스캐닝되기 때문에 인접하는 프레임을 기준으로 사용하는데에는 문제점이 있으며, 만약, 움직임 정보를 잘못 찾는 경우 그 에러효과는 더욱 심각하게 되고, 특히 정지부위에서 움직임 정보를 잘못 찾을 확률이 높고 이때의 문제점은 더욱 심각해진다. 또한 움직임 보상을 블록단위로 하는경우, 블록에는 움직이는 부위와 정지부위가 같이 존재할 수 있는데, 이때, 하나의 움직임 정보로 똑같이 보상을 하면 문제가 발생된다. 그리고, 대상 물체가 회전을 하거나 줌잉을 하는 경우에도 유사한 문제가 발생된다.

따라서, 본 발명의 목적은 앞,뒤 두 프레임씩을 기준 프레임으로 사용하여 정확하게 움직임 정보를 찾고 상황에 따라 적응적으로 보상하는 방법 및 장치를 제공함에 있다.

본 발명의 목적을 달성하기 위한 비월주사/순차주사 변환방법은, 현재 프레임을 기준으로 이전, 이후 프레임 상의 동일 위치에 존재하는 스캐닝된 화소간의 차값이 어느 임계치 미만이고, 현재 프레임 상에서 보간하려는 화소를 기준으로 상,하 화소의 평균값과 이전,이후 프레임 상의 동일 위치의 화소들의 평균값의 차값이 그 임계치 미만일 때, 정지부위로 판단하여 시간축으로 평균값을 계산하여 해당 화소를 보간하는 제1과정(S1-S3)과; 스캐닝된 상,하의 화소값과 그 신호들에 대해 움직임 보상한 값들의 차값이 모두 어느 임계치 미만인지 확인하여 조건이 성립하면 움직임 보상을 통해 해당 화소를 보간하는 제2과정(S4-S6)과; 보간하고자 하는 화소가 정지부위도 아니고 움직임 보상을 통해서도 보간할 수 없는 부위로 판단되면, 프레임내에서 라인평균 처리기법을 이용하여 보간하는 제3과정(S7)으로 이루어진다.

제2도는 본 발명의 목적을 달성하기 위한 비월주사/순차주사 변환 장치의 일실시 예시 블록도로서 이에 도시한 바와 같이, 4프레임을 지연시키기 위해 직렬 접속된 제1-4 프레임 지연기(11),(12),(17),(18)와, 이전 프레임(t+2)을 순차주사식으로 변환하는 제1순차변환부(13)와, 이전 프레임(t+1)을 순차주사식으로 변환하는 제2순차변환부(14), 블록매칭알고리즘을 적용하여 움직임 정보를 찾기 위한 움직임 추정부(15)와, 상기 움직임 추정부(15)로 부터 입력되는 움직임 정보를 이용하여 이전,이후 프레임(t+2),(t+1),(t-1),(t-2)을 적응적으로 변환하는 제3순차 변환부(16)로 구성한 것으로, 이와 같이 구성한 본 발명의 작용 및 효과를 첨부한 제3도 내지 제5도를 참조하여 상세히 설명하면 다음과 같다.

움직임을 추정함에 있어서, 현재 프레임을 기준으로 앞(이전), 뒤(이후) 한 프레임씩을 기준프레임으로 사용하여 발생되는 제반 문제점을 해결하기 위하여 본 발명에서는 제3도에서와 같이 이전,이후의 두 프레임씩(t-2),(t-1),(t+1),(t+2)을 기준프레임으로 사용하였다.

그리고, 이전 프레임을 타임-순환하게 순차변환된 영상을 사용하게 되고, 제1,2순차변환부(13),(14)를 이용하여 이후 프레임(t+1),(t+2)들을 간단하게 라인 평균기법을 통해 순차주사식으로 변환하게 된다.

움직임 추정부(15)에서는 블록매칭알고리즘(BMA)을 적용하게 되고, 이때, 블록의 크기는 수직으로 16라인, 수평으로 8픽셀을 사용하게 된다. 블록의 크기가 이보다 작을 경우 정확한 정보를 찾는데 실패하는 경우가 종종 발생되는 것을 실험을 통해 발견하게 되었다.

움직임 정보를 찾기위한 디스토션 함수는 일반적으로 적용되는 절대차의 합(Summation of Absolute Difference)을 적용할 수 있다. 상기 움직임 추정부(15)에서 추정된 움직임 정보는 제3도에서와 같이, 이전 프레임[FMV(t-2),FMV(t-1)]으로 부터 추정된 두 개의 정방향(forward) 움직임 정보와, 이후 프레임[BMV(t+1), BMV(t+2)]으로부터 추정된 두 개의 역방향(backward) 움직임 정보가 될 수 있다.

참고로, 제3도에서 “L31”은 본 발명에 의해 보간된 라인을 나타낸 것이고, “L32”는 스캐닝된 라인을 나타낸 것이며, “L33”은 손실된 라인을 나타낸 것이고, “L34”는 라인 평균처리 기법에 의해 보간된 라인을 나타낸 것이며, “y”는 본 발명에 의해 디인터레이스된(Deinterlaced) 필드를 나타낸 것이고, “x”는 현재 인터레이스된(비월주사된) 필드를 나타낸 것이며, “”는 라인 평균기법에 의해 디인터레이스된 필드를 나타낸 것이다.

일반적인 기술에서는 특히 정지부위에서 잘못된 움직임 정보를 찾을 경우 그에따른 에러가 심각한 수준으로 발생되는데, 이러한 문제점을 해결하기 위하여 본 발명에서는 정지부위와 움직임부위 등으로 구분하여 처리하였다.

즉, 정지부위로 판단되는 경우, 움직임 정보를 이용하여 보간하는 대신 시간축으로의 평균값으로 대체하거나, 이전프레임에서 같은 부위에 있는 화소로 대체해줌으로써 그러한 문제점을 해결할 수 있다. 또한 정지부위도 아니고 움직임 보상을 통해 보간할 수 없는 부위로 판단되는 경우, 단지 라인 평균을 통한 프레임내(intra-frame) 기법을 적용함으로써 그 에러를 최소화 시킬 수 있게 하였다.

그리고 블록단위로 움직임을 보상하고, 처리함으로써 발생되는 제반 문제점을 해결하기 위하여 최소단위로 보간과 처리를 해주었다. 즉, 블록내에서도 매 화소마다 서로다른 모드로 보간이 될 수 있는 것이다. 예로써, 한 블록내에 움직이는 부위와 배경부와 같은 정지부위가 함께 존재하는 경우, 움직이는 부위는 움직임 보상을 통해 보간하고, 배경부는 정지부위로 처리하여 보간하게 되는 것이다. 이러한 과정을 제4도에 도시하였는 바, 이를 설명하면 다음과 같다.

먼저, 보간하고자 하는 화소가 정지부위에 해당하는 가를 판단하게 되는데, 이를 위해 현재 프레임을 기준으로 이전,이후 프레임 상의 동일한 위치에 존재하는 스캐닝된 화소간의 차값(T1)이 임계치(Th1) 미만이고, 현재 프레임 상에서 보간하려는 화소를 기준으로 상,하 화소의 평균값과 이전,이후 프레임 상의 동일 위치의 화소들의 평균값의 차값(T2)이 그 임계치(Th1) 미만인지 확인하여 조건이 성립하면, 정지부위로 판단하여 상기의 설명에서와 같이 시간축으로의 평균값을 계산하여 보간한다.(S1-S3)

만약, 상기에서 정지부위가 아닌 것으로 판단되면 움직임 보상이 가능한 가를 판단하게 되는데, 이를 위해 스캐닝된 상,하의 화소값과 그 신호들에 대해 움직임 보상한 값들의 차값(T1),(T2)이 모드 어느 임계치(Th2) 미만인지 확인하여 조건이 성립하면 움직임 보상이 가능한 것으로 판단하여 움직임 보상을 통해 보간을 하게 된다.(S4-S6)

움직임 추정부(15)를 통해 발생된 가능한 움직임 보상모드를 제5도에 도시하였다. 즉, 15개의 가능한 모드(M1-M15)가 존재하게 되고, 각 모드에 대해서 제4도의 제4스텝(S4)에서와 같이 그 차가 가장 적은 경우 즉, 에러가 가장 적은 경우의 모드를 선택하게 된다.

즉, 15개의 모드(M1-M15)를 살펴보면, 정방향으로의 움직임 보상이 3가지[(t-1)프레임으로부터 한 모드, (t-2)모드로 부터 한 모드, 두 프레임으로 부터 발생되는 한 모드의 보간모드], 역방향으로서의 움직임 보상이 3가지(M4-M6), 양방향 움직임 보상이 9가지(M7-M15)가 존재하게 되며, 이러한 15가지의 모드(M1-M15)중에서 가장 에러가 적은 최상의 모드를 선택하게 되고, 한 블록내에서도 여러가지 움직임 보상 모드가 적용될 수 있다.

상기의 확인 결과 보간하고자 하는 화소가 정지부위도 아니고 움직임 보상을 통해서도 보간할 수 없는 부위로 판단되면, 움직임 보상을 통해 발생되는 에러를 줄이기 위해 움직임 보상을 하지 않고 프레임내에서 라인평균 처리기법을 이용하여 보간하게 된다.(S7)

참고로, 상기 제4도 및 제5도에서 MCP(MCP: Motion Compensation Pixel)는 움직임 보상 픽셀을 의미한다.

이상에서 상세히 설명한 바와 같이, 본 발명은 앞,뒤 두 프레임씩을 기준 프레임으로 사용하여 정확하게 움직임 정보를 찾고 상황에 따라 적응적으로 보상을 해줌으로써 보다 해상도가 높은 순차주사 영상을 얻을 수 있는 효과가 있다.

Claims

현재 프레임을 기준으로 이전, 이후 프레임 상의 동일 위치에 존재하는 스캐닝된 화소간의 차값이 어느 임계치 미만이고, 현재 프레임 상에서 보간하려는 화소를 기준으로 상,하 화소의 평균값과 이전,이후 프레임 상의 동일 위치의 화소들의 평균값의 차값이 그 임계치 미만일 때, 정지부위로 판단하여 시간축으로 평균값을 계산하여 해당 화소를 보간하는 제1과정(S1-S3)과; 스캐닝된 상,하의 화소값과 그 신호들에 대해 움직임 보상한 값들의 차값이 모두 어느 임계치 미만인지 확인하여 조건이 성립하면 움직임 보상을 통해 해당 화소를 보간하는 제2과정(S4-S6)과; 보간하고자 하는 화소가 정지부위도 아니고 움직임 보상을 통해서도 보간할 수 없는 부위로 판단되면, 프레임내에서 라인평균 처리기법을 이용하여 보간하는 제3과정(S7)으로 이루어지는 것을 특징으로 하는 비월주사/순차주사 변환 방법.
4프레임을 지연시키기 위해 직렬 접속된 제1-4 프레임 지연기(11),(12),(17),(18)와, 이후프레임(t+2)을 순차주사식으로 변환하는 제1순차 변환부(13)와, 이후 프레임(t+1)을 순차주사식으로 변환하는 제2순차변환부(14), 블록매칭알고리즘을 적용하여 움직임 정보를 찾기 위한 움직임 추정부(15)와, 상기 움직임 추정부(15)로 부터 입력되는 움직임 정보를 이용하여 이후, 이전 프레임(t+2),(t+1),(t-1),(t-2)을 적응적으로 변환하는 제3순차 변환부(16)로 구성한 것을 특징으로 하는 비월주사/순차주사 변환 장치.