KR19990049348A

KR19990049348A - 움직임 벡터를 이용한 프레임 율(frame rate) 변환장치와 방법.

Info

Publication number: KR19990049348A
Application number: KR1019970068276A
Authority: KR
Inventors: 신현중
Original assignee: 구자홍; 엘지전자 주식회사
Priority date: 1997-12-12
Filing date: 1997-12-12
Publication date: 1999-07-05

Abstract

본 발명은 압축부호화된 디지탈 영상을 티브이 영상에 적용하기 위하여, 디지탈 영상 프레임 율을 티브이 방식의 프레임 율로 변환시킬 수 있도록 한 움직임 벡터를 이용한 프레임 율(frame rate) 변환 장치와 방법에 관한 것이다.

서로 엇갈린 형태의 필드 반복을 통하여 프레임 율을 변환시키는 종래 프레임 율 전환 방법은 필드 반복으로 인하여 움직임이 발생하는 부분이 지저분해지는 움직임(motion) 성분의 블러링(blurring) 현상을 발생시키는 문제점이 있다.

본 발명에서는 이와 같은 종래의 문제점을 해결하기 위하여 새로운 프레임을 생성시키기 위하여 추가되는 필드간의 움직임을 고려하여 새로운 프레임을 구성하도록 하므로써, 움직임이 발생하는 부분에서 발생되는 블러링현상을 방지하여 디지탈신호를 기존 티브이의 영상에 적용하여 표시함에 있어서, 선명한 화질을 사용자에게 제공하고자 하는 것이다.

Description

움직임 벡터를 이용한 프레임 율(ｆｒａｍｅｒａｔｅ) 변환 장치와 방법.

본 발명은 압축부호화되어 전송된 디지탈 영상을 디코딩하여 티브이 영상에 적용하기 위하여, 디지탈 영상 프레임 율을 티브이 방식의 프레임 율로 변환시킬 수 있도록 한 움직임 벡터를 이용한 프레임 율(frame rate) 변환 장치와 방법에 관한 것이다.

근래에 들어 동영상 압축부호화 방식 MPEG-2(Motion Picture Expert Group)의 디코더(decoder)를 채용한 기기들의 티브이에의 적용은 방송신호 자체가 기존 티브이 방식 NTSC, PAL 또는 SECAM에서 벗어나지 않고 단지 신호를 디지탈로 전환하고 압축해서 위성이나, 케이블 또는 지상파로 송수신하는 장치의 개발이 활발히 추진되고 있다.

즉, 방송신호 자체는 변화되지 않는 상태에서 MPEG-2 디코더에서 동영상 압축 부호화된 디지탈 신호를 기존 티브이 방송신호에 맞추어질 수 있도록 프레임 율을 변환시키게 되는 것이다.

기존의 티브이 방송신호에서 NTSC의 경우 1초당 30프레임의 프레임 율을 가지며, PAL의 경우 1초당 25프레임의 프레임 율을 가지고 화면에 디스플레이 하게 된다.

따라서, 디지탈 티브이 규격(MPEG-2)의 필림 모드로 신호처리되는 필림 레이트(1초당 24프레임의 프레임 율)를 기존의 NTSC 또는 PAL방식으로의 전환이 요구되어진다.

도 1은 종래 MPEG-2에서 프레임 율 변환 방법의 구현을 가능하도록 하는 장치의 구성을 개략적으로 나타낸 것이다.

MPEG-2의 엔코더에서 필름 율을 가지는 영상신호를 필드(field)단위로 적당히 반복하여 전체 시퀀스(sequence)에 삽입하게 되므로써, 전체 영상 시퀀스는 원하는 프레임 율을 가지게 된다.

이와 같이 부호화된 MPEG 비트스트림 영상신호가 입력되면, 디코더(1)에서는 이를 복호화시키게 된다.

이때, 상기와 같이 반복되어 얻어지는 부호화된 MPEG 영상신호는 MPEG-2 디코더에서 쉽게 디스플레이가 이루어질 수 있도록 반복되는 영상신호에 맞춰 지시(indication)할 수 있는 별도의 신택스(syntax)를 가지고 있다.

디스플레이 제어부(2)에 프레임 율 변환 지시신호(First_field_repeat)가 인에블(enable) 신호로 입력되면, 디스플레이 제어부(2)에서는 현재 입력되는 영상신호를 반복해서 디스플레이하게 된다.

도 2는 이와 같이 24프레임 율을 갖는 디지탈 영상신호를 30프레임 율을 갖도록 변환시키는 방법을 나타낸 것으로,

입력되는 영상(F1,F2,F3,F4....F24)에 대하여 탑 필드(Top field)(f1)와 보텀 필드(bottom field)(f2)로 분리하고, 분리된 탑 필드(f1)와 보텀 필드(f2)로 부터 새로운 디코딩 프레임(F1,F2,F3',F4'....F30)을 만들게 되는 바,

상관관계가 가장 높은 인접한 프레임(F2)의 탑 필드(f1)와 프레임(F3)의 보텀 필드(f2)로 부터 새로운 디코딩 프레임(F3')를 만들고, 프레임(F3)의 탑 필드(f1)와 다음 프레임(F4)의 보텀 필드(f2)로 부터 새로운 프레임(F4')을 만들게 된다.

이와 같이 상관관계가 높은 인접한 프레임으로 부터 새로운 프레임을 형성시키게 됨을 반복하게 되면, 24개의 프레임이 30개의 프레임으로 변환되어지는 것이다.

그러나, 이와 같이 서로 엇갈린 형태의 필드 반복을 통하여 프레임 율을 변환시키는 종래 프레임 율 전환 방법은 단순히 필드 반복으로 인하여 움직임이 발생하는 부분이 지저분해지는 움직임(motion) 성분의 블러링(blurring) 현상을 발생시키는 문제점이 있다.

본 발명에서는 이와 같은 종래의 문제점을 해결하기 위하여 필드간의 움직임을 고려하여 새로운 프레임을 구성하도록 하므로써, 움직임이 발생하는 부분에서 발생되는 블러링현상을 방지하여 디지탈신호를 기존 티브이의 영상에 적용하여 표시함에 있어서, 선명한 화질을 사용자에게 제공하고자 한 것이다.

도 1은 일반적인 종래 프레임 율 변환 장치의 구성을 개략적으로 나타낸 블록도.

도 2는 종래 프레임 율 변환 방법에 있어, 프레임 율 변환과정을 나타낸 도면.

도 3은 본 발명 움직임 벡터를 이용한 프레임 율(frame rate) 변환 장치에 있어, 그 실시예의 구성을 개략적으로 나타낸 블록도.

도 4는 도 3에 도시된 프레임 율 변환부의 상세구성을 나타낸 블록도.

도 5∼도 7은 본 발명 움직임 벡터를 이용한 프레임 율(frame rate) 변환 방법에 있어, 프레임 율 변환과정의 실시예를 나타낸 도면.

본 발명 움직임 벡터를 이용한 프레임 율(frame rate) 변환 장치의 구성은 압축부호화된 동영상신호에 저장되어 있는 부호화된 영상신호에 대한 움직임 정보를 검출하고, 검출된 움직임 정보로써, 압축부호화된 동영상신호를 복호화시키는 복호화수단과,

복호화된 영상신호가 기존 방송신호인지 디지탈 티브이신호 규격을 따르는 필름모드 신호인지를 판별하고, 필름모드 신호일 경우 상기 복호화수단으로 부터 입력되는 움직임 정보를 이용하여 방송신호에 적용할 수 있도록 프레임 율을 변환시키는 프레임 율 변환수단과,

프레임 율 변환수단으로 부터 출력되는 영상신호를 티브이 화면에 표시하여 주기 위한 디스플레이 제어수단을 포함하여 구성됨을 특징으로 하며,

상기 프레임 율 변환수단은 상기 복호화된 영상신호에 저장되어 있는 정보로 부터 원래의 방송용 신호인지 아니면 디지탈 티브이신호 규격에 따르는 필름 신호인지를 판별하여 복호화된 영상신호의 프레임 율 변환과정 진행여부를 결정하는 영상신호 판별수단과, 복호화수단으로 부터 입력되는 움직임 정보를 이용하여 새로운 움직임 정보를 연산하고, 이를 프레임 보상수단으로 출력하는 움직임 정보 재조정수단과, 움직임 정보 재조정수단으로 부터 재연산된 움직임 정보를 이용하여 새로운 프레임을 생성시켜 프레임 율을 변환시키는 프레임 보상수단과, 프레임 보상수단 또는 영상신호 판별수단으로 부터 입력되는 영상신호를 일시저장하는 버퍼를 포함하여 구성된다.

이와 같은 장치에 의해 구현되는 본 발명 움직임 벡터를 이용한 프레임 율 변환 방법은 이전 영상 프레임의 탑 필드와 현재 영상 프레임의 탑 필드를 이용하여 새로운 탑 필드를 구성하는 과정과,

현재 영상 프레임의 보텀 필드와 다음 프레임의 보텀 필드를 이용하여 새로운 보텀 필드를 구성하는 과정과,

상기 과정에서 새로이 구성된 탑 필드와 현재 프레임의 보텀 필드를 이용하여 새로운 프레임을 구성하는 제 3과정과,

상기 제 2과정에서 새로이 구성된 보텀 필드와 현재 프레임의 탑 필드를 이용하여 새로운 프레임을 구성하는 제 4과정을 반복진행하여 적용하고자 하는 티브이 방송신호의 프레임 율로 변환시키도록 함을 특징으로 한다.

이와 같은 구성을 갖는 본 발명 움직임 벡터를 이용한 프레임 율(frame rate) 변환 장치와 방법은 서로 인접하여 상관관계가 높은 영상 프레임에 대하여 움직임 정보를 이용하여 새로운 필드를 구성하고, 구성된 필드를 이용하여 늘어가게 될 프레임을 구성하도록 하는 것으로,

첨부된 도면에 도시된 그 실시예로써, 그 구성 및 작용을 상세히 설명하면 다음과 같다.

도 1에 도시된 바와 같이, 본 발명 프레임 율 변환장치는 엔코더로 부터 압축 코딩된 영상신호(MPEG Bitstream)에 코딩되어 있는 움직임 벡터(MV; Motion Vector)를 검출하고, 각 레이어(layer)의 코딩정보비트(control indication bits)에 따라 코딩된 영상 데이타를 상기 움직임 벡터를 고려하여 디코딩하는 디코더(10)와, 디코딩된 영상 데이타(f)를 원래 방송용 신호인지 필름 신호인지를 판별하여 필름신호일 경우 상기 디코더(10)로 부터 입력된 움직임 벡터를 고려하여 프레임 율을 변환시키는 프레임 율 변환부(20)와, 프레임 율 변환부(20)로 부터 출력되는 디코딩된 영상 데이타(g)를 화면에 표시하여 주기 위한 디스플레이 제어부(30)로 구성된다.

그리고, 상기 프레임 율 변환부(20)는 디코딩된 영상 데이타(f)에 포함되어 있는 리피트(first_field_repeat)신호를 판별하여 원래 방송신호인지 아니면 필름 신호인지를 판별하여 프레임 율 변환과정 진행여부를 결정하는 영상신호 판별부(21)와, 상기 디코더(10)로 부터 입력된 움직임 벡터(selected_MV)를 이용하여 프레임 또는 필드에 대하여 새로운 움직임 벡터(NEW_MV)를 재연산출력하는 움직임 벡터 재조정부(22)와, 새로이 조정된 움직임 벡터(NEW_MV)를 이용하여 새로운 프레임 또는 필드를 생성하여 프레임 율을 변환시키는 프레임 보상부(23)와, 프레임 보상부(23)를 통해 프레임 율이 변환된 영상 데이타 및 영상신호 판별부(21)를 통해 프레임 율 변환과정을 거치지 않은 원래 방송신호에 대한 영상신호 데이타를 일시 저장하는 버퍼(24)를 포함하여 구성된다.

이와 같이 구성된 본 발명의 실시예에 있어, 그 작용 및 효과를 설명하면 다음과 같다.

먼저, 엔코더로 부터 코딩된 영상 데이타(MPEG Bitstream)가 디코더(10)로 입력되면, 디코더(10)에서는 코딩된 영상 데이타를 디코딩하게 된다.

상기 디코더(10)로 입력되는 영상 데이타는 MPEG 규격을 만족하는 신택스로 구성되어 있으므로, 디코더(10)에서는 각 레이어의 코딩정보비트에 따라 코딩된 영상데이타를 디코딩하게 된다.

이때, 디코더(10)에서는 MPEG 영상 비트 스트림의 각 픽처(picture)를 구성하는 매크로 블록(macrobrock)에 코딩되어 있는 움직임 벡터를 디코딩하여 프레임 또는 필드를 복원하는 데 사용하게 된다.

상기 움직임 벡터는 각 매크로 블록당 P-픽처일 때는 하나의 움직임 벡터가 같이 코딩되어 있으며, B-픽처일 경우에는 두개의 움직임 벡터가 함께 코딩되어 있으므로, 이를 이용하여 프레임 또는 필드를 복원하게 되는 것이다.

또한, 디코더(10)에서는 상기에서와 같이 디코딩된 움직임 벡터(selected_MV)를 프레임 율 변환부(20)에도 출력하게 된다.

이와 같이 디코더(10)에서 복원된 프레임이나 필드(f)는 프레임 율 변환부(20)로 전달되고, 프레임 율 변환부(20)에서는 코딩되어있던 정보에 따라 영상신호가 원래의 방송용 신호인지 필름 신호인지를 판별하여 프레임 율을 변환여부를 결정하게 되는 바,

프레임 율 변환부(20)의 영상신호 판별부(21)로 입력되면, 영상신호 판별부(21)에서는 코딩시 MPEG 신택스내의 코딩확장부(Picture_coding_extension)에 저장된 리피트 신호(first_field_repeat)를 검사하여 프레임 율 변환을 결정하게 된다.

이때, first_field_repeat신호가 0으로 셋팅(setting)되어 있다면, 일반 방송용 신호로 판정하여 프레임 율 변환과정을 거치지 않고, 바로 버퍼(24)로 디코딩된 영상데이타(f)를 출력하여 디스플레이 제어부(30)를 통해 표시 출력되어지도록 한다.

그러나, first_field_repeat신호가 1로 셋팅되어 있다면, 이는 필름 신호로 판정하여 프레임 율을 NTSC 또는 PAL의 일반 방송신호로 변환시켜 주게 되는 것이다.

상기와 같이 필름 신호로 판정되면, 프레임 보상부(23)에서는 적용할 티브이 방송신호에 맞추어 복원된 프레임 또는 필드(f)로 부터 프레임을 새로이 생성시키게 된다.

이때, 프레임 보상부(23)에서는 디코더(10)로 부터 출력된 움직임 벡터(selected_MV)를 재조정하여 움직임 재조정부(22)로 부터 출력되는 새로운 움직임 벡터(NEW_MV)를 이용하여 새로운 프레임을 구성하게 된다.

즉, 프레임 보상부(23)로 입력되는 영상신호는 움직임 재조정부(22)를 통해 재 연산된 움직임 정보에 의해 좀더 부드러운 움직임 성분을 갖는 새로운 프레임 또는 필드를 생성하게 되는 것이다.

도 5는 상기에서와 같이 프레임 또는 필드의 새로운 생성과정을 설명하기 위한 과정을 도식화한 것으로, 프레임간의 새로운 필드 생성과 생성된 필드를 이용하여 새로운 프레임을 생성시키게 되는 NTSC 방송신호에의 적용에 관한, 일예를 나타낸 것이다.

도 5를 참조하면, 필름신호의 첫번째 프레임(F1)의 탑 필드(f1)와 보텀 필드(f2)를 이용하여 프레임(F1)을 구성하고, 마찬가지로 두번째 프레임(F2)의 탑 필드(f1)와 보텀 필드(f2)를 이용하여 프레임(F2)을 구성하게 된다.

이후, 두번째 프레임(F2)의 탑 필드(f1)와 세번째 프레임(F3)의 탑 필드(f1)를 이용하여 새로운 탑 필드(Mf1)를 생성하고,

세번째 프레임(F3)의 보텀 필드(f2)와 네번째 프레임(F4)의 보텀 필드(f2)를 이용하여 새로운 보텀 필드(Mf2)를 생성시키게 된다.

이와 같이 생성된 탑 필드(Mf1)와 보텀 필드(Mf2)를 이용하여 새로운 프레임(F3,F4)을 구성하게 되는 바,

상기 새로이 생성된 탑 필드(Mf1)와 필름 신호의 세번째 프레임(F3)의 보텀 필드(f2)를 이용하여 새로운 프레임(F3)을 생성시키게 된다.

또한, 상기 생성된 보텀 필드(Mf2)와 필름신호의 네번째 프레임(F4)의 보텀 필드(f2)를 이용하여 새로운 프레임(F4)을 생성하게 된다.

그리고, 필름신호의 네번째 프레임(F4)의 탑 필드(f1)와 보텀 필드(f2)를 이용하여 표시하고자 하는 영상 프레임(F5)을 구성하게 된다.

상기에서와 같은 과정을 필름신호의 스물네번째 프레임(F24)까지 반복진행하게 되면, 영상 프레임은 30개의 프레임이 구성된다.

즉, 인접된 프레임에 구성된 필드간의 움직임 벡터 성분의 보간(interpolation)을 통해 얻어지는 새로운 필드(Mf1,Mf2)를 이용하여 새로운 프레임을 구성하도록 하므로써, 블러링 현상을 방지하여 좀더 부드러운 영상신호를 얻을 수 있게 되는 것이다.

한편, 도 6은 필름신호의 두번째 프레임(F2)과 세번째 프레임(F3)간의 탑 필드(f1)를 이용하여 새로운 탑 필드(Mf1)를 생성하고, 생성된 탑 필드(Mf1)와 필름신호의 세번째 프레임(F3)의 탑 필드(f1)를 이용하여 새로운 프레임(F3)을 구성하고, 새로운 프레임(F4)은 종래와 동일하게 세번째 프레임(F3)의 탑 필드(f1)와 인접된 네번째 프레임(F4)의 보텀 필드(f2)를 이용하여 생성하게 됨을 나타낸 것이다.

그리고, 도 7은 새로운 프레임(F3)은 종래와 동일하게 두번째 프레임(F2)의 탑 필드(f1)와 세번째 프레임(F3)의 보텀 필드(f2)를 이용하여 생성하고, 새로운 프레임(F4)는 필름신호의 세번째 프레임(F3)과 네번째 프레임(F4)간의 보텀 필드(f2)를 이용하여 새로운 보텀 필드(Mf2)를 생성하고, 생성된 보텀 필드(Mf2)와 필름신호의 세번째 프레임(F3)의 탑 필드(f1)를 이용하여 새로운 프레임(F4)을 생성하게 됨을 나타낸 것이다.

상기에서와 같이, 본 발명에서는 현재 프레임(F3)과 인접된 프레임(F2,F4)간의 움직임 벡터 성분의 보간을 통해 새로운 필드(Mf1,Mf2 또는 Mf1 또는 Mf2)를 생성시키게 되고, 이를 이용하여 새로운 프레임(F3,F4)을 생성하도록 하는 것으로, 이와 같은 프레임 율 보상 과정을 적용하게 되면, 필름신호를 NTSC 또는 PAL등의 일반 방송신호에 적용하여 표시하게 됨에 있어, 움직임 성분의 블러링 현상을 방지하여 좀 더 부드러운 영상을 얻을 수 있게 되는 것이다.

종래의 방식에 있어, 새로운 프레임의 생성을 위하여 추가되는 필드간의 움직임의 보간을 통하여 새로운 프레임을 생성하도록 하므로서, 부드러운 영상을 제공할 수 있는 효과가 있다.

Claims

압축부호화된 동영상신호에 저장되어 있는 부호화된 영상신호에 대한 움직임 정보를 검출하고, 검출된 움직임 정보를 이용하여 압축부호화된 동영상신호를 복호화시키는 복호화수단과,

복호화된 영상신호가 기존 방송신호인지 디지탈 티브이신호 규격을 따르는 필름 모드신호인지를 판별하여 필름신호일 경우 상기 복호화수단으로 부터 입력되는 움직임 정보를 이용하여 방송신호에 적용할 수 있도록 프레임 율을 변환시키는 프레임 율 변환수단과,

프레임 율 변환수단으로 부터 출력되는 영상신호를 티브이 화면에 표시하여 주기 위한 디스플레이 제어수단을 포함하여 구성됨을 특징으로 하는 움직임 벡터를 이용한 프레임 율(frame rate) 변환 장치.
제 1항에 있어서, 상기 프레임 율 변환수단은 상기 복호화된 영상신호에 저장되어 있는 정보로 부터 원래의 방송용 신호인지 아니면 디지탈 티브이신호 규격에 따르는 필름 신호인지를 판별하여 복호화된 영상신호의 프레임 율 변환과정 진행여부를 결정하는 영상신호 판별수단과, 복호화수단으로 부터 입력되는 움직임 정보를 이용하여 새로운 움직임 정보를 연산하고, 이를 프레임 보상수단으로 출력하는 움직임 정보 재조정수단과, 움직임 정보 재조정수단으로 부터 재연산된 움직임 정보를 이용하여 새로운 프레임을 생성시켜 프레임 율을 변환시키는 프레임 보상수단과, 프레임 보상수단 또는 영상신호 판별수단으로 부터 입력되는 영상신호를 일시저장하는 버퍼를 포함하여 구성됨을 특징으로 하는 움직임 벡터를 이용한 프레임 율(frame rate) 변환 장치.
인접한 프레임의 서로 상관성 있는 필드로 부터 새로운 필드를 생성시키는 과정과, 생성된 새로운 필드와 현재 프레임의 나머지 필드로 부터 새로운 프레임을 생성시키는 과정을 포함하여 이루어짐을 특징으로 하는 움직임 벡터를 이용한 프레임 율(frame rate) 변환 방법.
제 3항에 있어서, 이전 영상 프레임의 탑 필드와 현재 영상 프레임의 탑 필드를 이용하여 새로운 탑 필드를 구성하는 단계와,

상기 과정에서 새로이 구성된 탑 필드와 현재 프레임의 보텀 필드를 이용하여 새로운 프레임을 구성하는 단계를 포함하여 이루어짐을 특징으로 하는 움직임 벡터를 이용한 프레임 율(frame rate) 변환 방법.
제 3항에 있어서, 현재 영상 프레임의 보텀 필드와 다음 프레임의 보텀 필드를 이용하여 새로운 보텀 필드를 구성하는 단계와,

상기 단계에서 새로이 구성된 보텀 필드와 현재 프레임의 탑 필드를 이용하여 새로운 프레임을 구성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 움직임 벡터를 이용한 프레임 율(frame rate) 변환 방법.
제 3항에 있어서, 이전 영상 프레임의 탑 필드와 현재 영상 프레임의 탑 필드를 이용하여 새로운 탑 필드를 구성하는 단계와,

현재 영상 프레임의 보텀 필드와 다음 프레임의 보텀 필드를 이용하여 새로운 보텀 필드를 구성하는 단계와,

상기 과정에서 새로이 구성된 탑 필드와 현재 프레임의 보텀 필드를 이용하여 새로운 프레임을 구성하는 단계와,

상기 단계에서 새로이 구성된 보텀 필드와 현재 프레임의 탑 필드를 이용하여 새로운 프레임을 구성하는 것을 특징으로 하는 움직임 벡터를 이용한 프레임 `율(frame rate) 변환 방법.