KR20000060997A - 프레임 메모리 구조와 이를 이용한 프레임 메모리 할당 방법 - Google Patents

Abstract

디지털 티브이에 있어서, 특히 엠펙2(Moving Picture Experts Group ; 이하, MPEG2 라 명칭함) 비디오 디코딩과, 비월 주사 방식으로 디코딩된 비디오 데이터를 순차 주사 방식으로 변환하기 위한 디인터레이싱(Deinterlacing)을 수행하는데 적당한 프레임 메모리 구조와 이를 이용한 프레임 메모리 할당 방법에 관한 것으로, 비디오 디코딩된 해당 프레임을 저장하기 위해 할당되고, 동시에 상기 비디오 디코딩 이전에 디스플레이된 복수 개의 프레임을 저장하기 위해 할당되며, 이후 비디오 디코딩되는 프레임의 픽쳐 코딩 타입에 따라 서로 다른 방식으로 할당 변경되며, 입력된 비디오 비트스트림이 디코딩된 이후, 이미 디스플레이 된 이전 프레임들을 저장하기 위한 복수개의 프레임 메모리와, 상기 입력된 비디오 비트스트림 이후에 입력되어 디코딩된 현재 프레임을 저장하기 위한 프레임 메모리와, 상기 각 해당 프레임을 저장하고 있는 다수의 각 프레임 메모리로부터 읽어낸 각 해당 필드들을 저장하기 위한 또다른 복수개의 프레임 메모리로 구성되는 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리 구조와 이를 이용한 프레임 메모리 할당 방법에 관한 것이다.

Description

프레임 메모리 구조와 이를 이용한 프레임 메모리 할당 방법{Method for assigning Frame Memory, then Frame Memory Structure}

본 발명은 디지털 티브이에 관한 것으로, 특히 MPEG2 비디오 디코딩과, 비월 주사 방식으로 디코딩된 비디오 데이터를 순차 주사 방식으로 변환하기 위한 디인터레이싱(Deinterlacing)을 수행하는데 적당한 프레임 메모리 구조와 이를 이용한 프레임 메모리 할당 방법에 관한 것이다.

일반적으로 디지털 티브이에 사용되는 비디오 데이터에 대한 압축/복원은 프레임의 차이를 이용하는 동영상 압축의 국제 표준 MPEG2의 기본적인 알고리즘을 사용한다.

MPEG2 알고리즘을 사용하여 압축/복원을 실행할 때, 비디오 데이터에 대한 압축 효율을 높이기 위해서는 서로 대조되는 레퍼런스 프레임(Reference Frame)들을 저장한 후 이들 프레임 차이를 이용한다.

레퍼런스 프레임으로는 이전 프레임(Forward Reference Frame)과 이후 프레임(Backward Reference Frame)이 있으며, 이들 레퍼런스 프레임에 대해 양방향으로 대조(Reference)가 가능하다.

이때 정상적인 디코딩을 위해서는 레퍼런스 프레임 이외에 디스플레이를 위한 하나의 프레임이 더 필요하게 된다.

따라서 최소한 3개의 프레임이 요구되며, 디코딩 때는 이전 프레임(Forward Reference Frame)과 디스플레이 되는 프레임을 대조하고, 디스플레이 되는 프레임과 이후 프레임(Backward Reference Frame)을 대조하여 양방향으로 대조가 가능하다.

보통 하드웨어로 구현되는 비디오 디코더들은 3개의 프레임 또는 4개의 프레임을 사용하여 디코딩을 수행한다.

한편 압축/복원되는 영상(Video)의 형식은 주사 방식에 따라 비월 주사(Interlaced scanning) 방식과 순차 주사(Progressive scanning) 방식이 있다.

순차 주사 방식에서는 한 프레임의 영상이 모두 같은 시간에 샘플링된 것으로 이루어지는데 반해, 비월 주사 방식에서는 한 프레임의 영상이 서로 다른 시간에 샘플링된 것을 합하여 이루어지며 이들 샘플이 한 라인마다 번갈아 가며 반복된다.

따라서 비월 주사 방식에서 한 프레임의 영상은 각각 "제1필드"와 "제2필드" 두 개의 필드로 구성되고, 이 두 필드는 서로 다른 시간에 샘플링 되어 있다.

결국 비월 주사 방식은 순차 주사 방식에 비해 데이터량이 적다는 장점이 있다. 하지만 그 대신에 비월 주사 방식은 순차 주사 방식에 비해 화면의 깜빡거림 현상(Flickering)이 보이게 된다.

그러므로 고화질의 티브이를 시청하기 위해서는 비월 주사 방식의 영상을 순차 주사 방식으로 변환시켜 주는 디인터레이싱(Deinterlacing)을 수행한다.

디인터레이싱(Deinterlacing)을 수행함에 있어서 비월 주사 방식의 한 필드를 순차 주사 방식의 한 프레임으로 변환시켜 주기 위해서는 라인 사이에 없는 또다른 라인을 보간해 주는 수직 보간이 필요하다.

이를 정확히 하기 위해서 보간하는 비디오 데이터가 움직임이 있었는지 없었는지 여부를 알아보아야 하는데, 이같은 움직임 보상을 위해 이전의 두 개 또는 그 이상의 필드를 비교하여 판단해야 한다. 때문에 현재 필드 이외에 이전 필드들을 저장하고 있어야 한다.

결국 정상적인 MPEG2 비디오 디코딩을 위해서는 레퍼런스 프레임과 디스플레이를 위한 하나의 프레임을 저장할 프레임 메모리가 할당되어야 하며, 또한 정확한 디인터레이싱을 수행하기 위해 필요한 현재 필드 및 이전 필드들을 저장할 프레임 메모리가 할당되어야 한다.

그러나 종래에는 입력되는 비디오 비트스트림(Video Bitstream)에 대한 MPEG2 비디오 디코딩 및 디인터레이싱을 수행하여 최종 순차 주사 방식의 비디오 데이터를 출력함에 있어서, MPEG2 비디오 디코딩에서 필요로 하는 최소한의 프레임 메모리와, 디인터레이싱에서 현재 필드와 이전 필드들을 각각 저장하기 위한 프레임 메모리가 할당되지 않았었다.

이 때문에 종래의 MPEG2 비디오 디코딩 및 디인터레이싱을 수행하는 디지털 티브이의 화질이 떨어지는 경우가 발생하며, 고화질의 디스플레이 장비에 종래의 기술을 응용하기가 어렵다.

본 발명의 목적은 상기한 점을 감안하여 안출한 것으로, 다섯 개의 프레임 메모리를 사용하여 MPEG2 비디오 디코딩 및 비월 주사 방식으로 디코딩된 비디오 데이터를 순차 주사 방식으로 변환하기 위한 디인터레이싱(Deinterlacing)을 수행하며, 사용되는 프레임 메모리를 코딩 타입에 따라 디코딩된 데이터를 저장할 수 있도록 할당함과 동시에 이전에 디스플레이된 프레임을 저장할 수 있도록 할당하는데 적당한 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리 구조와 이를 이용한 프레임 메모리 할당 방법을 제공하는 것이다.

도 1 은 본 발명에 비디오 디코딩 및 디인터레이싱 절차를 위한 장치 구성을 나타낸 블록구성도.

도 2 는 본 발명에 따른 비디오 디코딩 및 디인터레이싱 절차를 위한 메모리 사용의 일 예를 나타낸 도면.

도 3 은 본 발명의 픽쳐 코딩 타입에 따른 프레임 메모리 할당 절차를 설명하기 위한 제1실시 예를 나타낸 도면.

도 4 는 본 발명의 픽쳐 코딩 타입에 따른 프레임 메모리 할당 절차를 설명하기 위한 제2실시 예를 나타낸 도면.

도 5 는 본 발명의 픽쳐 코딩 타입에 따른 프레임 메모리 할당 절차를 설명하기 위한 제3실시 예를 나타낸 도면.

*도면의 주요부분에 대한 부호의 설명*

1 : 엠펙2 디코더 2 : 디인터레이서

3,4,5,6,7 : 프레임 메모리

이하 본 발명에 따른 프레임 메모리 구조와 이를 이용한 프레임 메모리 할당 방법에 대한 바람직한 일 실시 예를 첨부된 도면을 참조하여 설명한다.

본 발명에서는 MPEG2 비디오 디코딩을 수행할 때 비월 주사 방식을 사용하여 영상에 대한 수직 보간을 실시하며, 이 수직 보간을 위해 필요한 보간하고자 하는 프레임과 그 이전 프레임들을 유지할 수 있도록 프레임 메모리를 적절하게 할당한다.

이를 위해 본 발명에서는 다섯 개의 프레임 메모리를 사용한다.

여기서 각 프레임 메모리는 디코딩되는 프레임의 코딩 타입에 따라 디코딩된 데이터가 저장될 프레임 메모리를 상이하게 할당하며, 항상 이전에 디스플레이된 두 개의 프레임을 저장할 수 있도록 할당한다.

또한 사용되는 프레임 메모리의 할당을 위한 프레임 메모리의 인덱싱(Indexing)을 수행하며, 이 인덱싱을 위해 본 발명에서는 다수 개의 프레임 메모리 인덱스 레지스터(Frame Memory Index Register)를 사용한다.

프레임 메모리 인덱스 레지스터(Frame Memory Index Register)에는, 이전 프레임(Forward Reference Frame)을 위한 프레임 메모리의 프레임 인덱스를 저장하는 이전 프레임 메모리 인덱스 레지스터(이하, FF 라 약칭함)와, 이후 프레임(Backward Reference Frame)을 위한 프레임 메모리의 프레임 인덱스를 저장하는 이후 프레임 메모리 인덱스 레지스터(이하, BF 라 약칭함)와, 디스플레이되는 하나의 프레임을 위한 3개의 프레임 메모리의 각 프레임 인덱스를 저장하는 디스플레이 프레임 메모리 인덱스 레지스터(이하, 각각 DF0,DF1,DF2 라 약칭함)와, 현재 디코딩된 프레임을 위한 프레임 메모리의 프레임 인덱스를 저장하는 현재 프레임 메모리 인덱스 레지스터(이하, PF 라 약칭함)와, 남아 있는 예비 프레임 메모리의 프레임 인덱스를 저장하는 예비 프레임 메모리 인덱스 레지스터(이하, FFR 라 약칭함)가 있다.

도 1 은 본 발명에 따른 비디오 디코딩 및 디인터레이싱 절차를 위한 장치 구성을 나타낸 블록구성도이다.

도 1을 참조하면, 정상적인 MPEG2 비디오 디코딩을 위한 MPEG2 디코더(1)를 구성할 수 있도록 3개의 프레임 메모리(FM1,FM2,FM3)(3,4,5)를 구비한다.

또한 현재 필드와 이전 필드들인 3개의 필드를 저장하고 있어야 정확한 디인터레이싱을 수행할 수 있기 때문에, 2개의 프레임 메모리(FM4,FM5)(6,7)를 갖는 디인터레이서(Deinterlacer)(2)가 구성된다.

따라서 입력되는 비디오 비트스트림(Video Bitstream)은 MPEG2 비디오 디코딩되며, 비월 주사 방식으로 디코딩된 비디오 데이터를 순차 주사 방식으로 변환하기 위한 디인터레이싱을 수행하여 최종 순차 주사 방식의 비디오 데이터를 출력하기 위해 전부 5개의 프레임 메모리(FM1,FM2,FM3,FM4,FM5)(3,4,5,6,7)를 사용한다.

여기서 제1프레임 메모리(FM1)(3)와 제2프레임 메모리(FM2)(4)는 비디오 디코딩시 움직임 보상을 위한 레퍼런스 프레임의 블록(Block)을 읽어 오기 위한 것으로, 이전 프레임(Forward Reference Frame)과 이후 프레임(Backward Reference Frame)을 각각 저장한다.

제3프레임 메모리(FM3)(5)는 현재 비디오 디코딩된 프레임을 저장하며, 제4프레임 메모리(FM4)(6)와 제5프레임 메모리(FM5)(7)는 제1,제2,제3프레임 메모리(FM1,FM2,FM3)(3,4,5)로부터 각각 현재 필드와 이전 필드들인 3개의 필드를 읽어와 저장한다. 이 때 제4프레임 메모리(FM4)(6)와 제5프레임 메모리(FM5)(7)에 저장되는 현재 필드와 이전 필드들은 디인터레이싱에 사용된다.

이와 같이 5개의 프레임 메모리(FM1,FM2,FM3,FM4,FM5)(3,4,5,6,7)를 사용하여 비디오 디코딩과 디인터레이싱을 수행하기 위한 절차를 도 2에 나타내었다.

도 2 는 본 발명에 따른 비디오 디코딩 및 디인터레이싱 절차를 위한 메모리 사용의 일 예를 나타낸 도면이다.

도 2를 참조하면, 도시된 비디오 디코딩 및 디인터레이싱 절차는 도 1의 장치 구성에서 메모리 사용이 가장 많을 경우의 데이터 흐름을 나타낸 것으로, 프레임 인덱스의 구성을 보인 것이며, 비디오 디코딩된 새로운 프레임을 저장하기 위한 프레임 메모리가 할당될 때 프레임 메모리 인덱스 레지스터(DF0,DF1,DF2,BF,PF, FFR)의 값이 변화하는 흐름을 나타낸 것이다.

우선 본 발명에서는 비디오 디코딩된 프레임을 저장하기 위한 제3프레임 메모리(FM3)(5)가 비디오 디코딩 때마다 항상 새로운 프레임을 저장하기 위해 할당되고, 또다른 프레임 메모리가 항상 이전에 디스플레이된 두 개의 프레임을 유지할 수 있어야 한다.

이를 위해 본 발명에서는 다수의 프레임 메모리 인덱스 레지스터(DF0,DF1,DF2,BF,PF,FFR)를 사용한다. 이들 프레임 메모리 인덱스 레지스터는 프레임 메모리(FM1,FM2,FM3.FM4,FM5)(3,4,5,6,7)에 대한 올바른 할당을 계산하기 위해 사용된다.

여기서, DF0,DF1,DF2는 디스플레이 되는 하나의 프레임을 저장하고 있던 3개의 프레임 메모리의 각 프레임 인덱스를 저장하는데, DF0는 현재 디스플레이 되는 프레임 메모리의 프레임 인덱스를 저장하고, DF1은 한 프레임 이전에 디스플레이 된 프레임 메모리의 프레임 인덱스를 저장하고, DF2는 두 프레임 이전에 디스플레이 된 프레임 메모리의 프레임 인덱스를 저장한다.

기본적으로 매 프레임이 디스플레이 될 때마다 DF0는 DF1으로, DF1은 DF2로 해당 프레임 인덱스가 전달되어 저장되기 때문에 이들 레지스터에는 최근 디스플레이된 프레임에 대한 프레임 인덱스들을 저장하고 있게 된다.

PF는 현재 디코딩된 프레임을 저장하는 프레임 메모리의 프레임 인덱스를 저장하며, FF는 이전 프레임(Forward Reference Frame)을 저장하는 프레임 메모리의 프레임 인덱스를 저장한다.

BF는 이후 프레임(Backward Reference Frame)을 저장하는 프레임 메모리의 프레임 인덱스를 저장하며, FFR은 남아 있는 예비 프레임 메모리의 프레임 인덱스를 저장한다.

본 발명에서는 제3프레임 메모리(FM3)(5)가 비디오 디코딩 때마다 항상 새로운 프레임을 저장하기 위해 할당되고, PF가 이 제3프레임 메모리(FM3)(5)의 프레임 인덱스를 저장한다.

이렇게 비디오 디코딩 때마다 항상 새로운 프레임을 저장하기 위한 프레임 메모리를 할당할 때는 이전 프레임(Forward Reference Frame)과 이후 프레임(Backward Reference Frame)을 저장하고 있는 프레임 메모리를 유지시키면서 동시에 한 프레임 전과 두 프레임 전에 디스플레이된 두 개의 프레임 메모리를 유지시켜야 한다.

따라서 본 발명에서는 새로 디코딩 되는 프레임의 픽쳐 코딩 타입(Picture Coding Type)에 따라 프레임 메모리의 할당 방식을 다르게 한다.

픽쳐 코딩 타입(Picture Coding Type)에는 I픽쳐 타입, P픽쳐 타입, B픽쳐 타입이 있다.

I픽쳐 타입은 프레임 내 부호화된 영상(Intra-Picture)이며, P픽쳐 타입은 프레임간 순방향 예측부호화된 영상(Predictive Picture)이다.

I픽쳐 타입은 해당 영상 정보만으로 부호화하는 영상이며, P픽쳐 타입은 I픽쳐 타입의 영상 또는 P픽쳐 타입의 해당 영상 정보만으로 예측부호화한 영상이다.

이들 I픽쳐 타입과 P픽쳐 타입은 원영상과 같은 순서로 부호화한다.

B픽쳐 타입은 쌍방향 예측부호화된 영상(Bidirectionally Predictive Picture)이며, I픽쳐 타입 또는 P픽쳐 타입의 영상을 먼저 처리한 후 그 사이에 삽입되는 B픽쳐 타입의 영상을 부호화한다.

도 3 은 본 발명의 픽쳐 코딩 타입에 따른 프레임 메모리 할당 절차를 설명하기 위한 제1실시 예를 나타낸 도면이다.

도 3 에서는 픽쳐 코딩 타입이 I픽쳐 타입이나 P픽쳐 타입으로 디코딩되기 전에 수행되는 프레임 메모리 할당 절차를 나타낸 것이다.

여기서는 이전 프레임(Forward Reference Frame)이 이후 프레임(Backward Reference Frame)으로 갱신됨과 동시에 이후 프레임(Backward Reference Frame)이 디스플레이 되도록 프레임 메모리의 프레임 인덱스를 변경한다.

도 4 는 본 발명의 픽쳐 코딩 타입에 따른 프레임 메모리 할당 절차를 설명하기 위한 제2실시 예를 나타낸 도면이며, 도 5 는 본 발명의 픽쳐 코딩 타입에 따른 프레임 메모리 할당 절차를 설명하기 위한 제3실시 예를 나타낸 도면이다.

도 4 와 도 5 에서는 픽쳐 코딩 타입이 B픽쳐 타입으로 디코딩이 시작될 때, 프레임에 대한 프레임 메모리 할당을 위해 프레임 인덱스를 갱신하는 절차를 나타낸 것이다.

도 4 는 프레임 인덱스를 갱신하기 전에 DF2와 FF에 저장된 프레임 인덱스가 서로 다를 경우를 나타낸 것이며, 도 5 는 DF2와 FF에 저장된 프레임 인덱스가 서로 같을 경우를 나타낸 것이다.

도 4에서와 같이 B픽쳐 타입으로 디코딩이 시작될 때, 프레임 메모리 할당을 위해 프레임 인덱스가 갱신하기 전의 DF2와 FF가 서로 다를 경우에는 DF2의 프레임 인덱스를 DF0와 PF로 복사한다.

즉 이 경우에는 두 프레임 전에 디스플레이 되었고 FF와 같지 않은 프레임이므로, 이 프레임은 비디오 디코딩된 새로운 프레임을 저장하기 위한 프레임 메모리에 할당될 수 있고, B픽쳐 타입의 프레임이므로 디코딩과 디스플레이가 동시에 이루질 수 있도록 DF2의 프레임 인덱스가 DF0에 복사된다.

한편 도 5에서와 같이 B픽쳐 타입으로 디코딩이 시작될 때, 프레임 메모리 할당을 위해 프레임 인덱스가 갱신하기 전의 DF2와 FF가 서로 같을 경우에는, 새로 비디오 디코딩될 프레임이 이전 프레임(Forward Reference Frame)을 위한 프레임 메모리에 저장되지 않도록 DF2의 프레임 인덱스를 FFR에 저장하고, 이전에 FFR에 저장되어 있던 프레임 인덱스는 DF0와 PF에 복사한다.

이 때 비로소 새로 비디오 디코딩될 프레임에 대한 프레임 메모리를 할당하게 된다.

이상에서 설명한 바와 같이 본 발명의 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리 구조와 이를 이용한 프레임 메모리 할당 방법에 따르면, 비디오 비트스트림(Video Bitstream)에 대한 MPEG2 비디오 디코딩 및 디인터레이싱을 수행하여 최종 순차 주사 방식의 비디오 데이터를 출력하고자 할 때, MPEG2 비디오 디코딩에 필요한 프레임 메모리를 자동으로 할당해 줌과 동시에 디인터레이싱에서 현재 필드와 이전 필드들을 각각 저장하기 위한 프레임 메모리를 구비함으로써, 고화질의 디지털 티브이를 실현할 수 있다는 효과가 있다.

또한 본 발명을 고화질 티브이(HDTV)와 같은 고화질의 디스플레이 장비에 응용하기가 쉽다.

Claims (9)

1. 비디오 디코딩된 해당 프레임을 저장하기 위해 할당되고, 동시에 상기 비디오 디코딩 이전에 디스플레이된 복수 개의 프레임을 저장하기 위해 할당되며, 이후 비디오 디코딩되는 프레임의 픽쳐 코딩 타입에 따라 서로 다른 방식으로 할당 변경되는 것을 특징으로 하는 프레임 메모리 할당 방법.
2. 제 1 항에 있어서, 상기 할당 및 할당 변경에는, 상기 할당되는 다수의 프레임 메모리에 대한 인덱싱을 수행하며, 상기 인덱싱된 값을 이용하여 상기 다수의 프레임 메모리의 할당 상태가 변경되는 것을 특징으로 하는 프레임 메모리 할당 방법.
3. 입력된 비디오 비트스트림이 디코딩된 이후, 이미 디스플레이 된 이전 프레임들을 저장하기 위한 복수개의 프레임 메모리와;

   상기 입력된 비디오 비트스트림 이후에 입력되어 디코딩된 현재 프레임을 저장하기 위한 프레임 메모리와;

   상기 각 해당 프레임을 저장하고 있는 다수의 각 프레임 메모리로부터 읽어낸 각 해당 필드들을 저장하기 위한 또다른 복수개의 프레임 메모리로 구성되는 것을 특징으로 하는 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리.
4. 제 3 항에 있어서, 상기 이전 프레임들을 저장하기 위한 복수개의 프레임 메모리는, 상기 디코딩된 현재 프레임에 대한 움직임 보상을 위해 할당되는 것을 특징으로 하는 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리.
5. 제 3 항에 있어서, 상기 각 해당 필드들을 저장하기 위한 복수개의 프레임 메모리는, 상기 해당 필드들을 보간에 의해 해당 프레임으로 변환하는 디인터레이싱을 위해 할당되는 것을 특징으로 하는 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리.
6. 제 3 항에 있어서, 상기 비디오 디코딩 및 디인터레이싱을 위해 각각 할당되는 다수개의 프레임 메모리는, 상기 현재 디코딩되는 프레임의 코딩 타입에 따라 서로 상이한 방식으로 할당되는 것을 특징으로 하는 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리.
7. 제 3 항에 있어서, 상기 비디오 디코딩 및 디인터레이싱을 위해 각각 할당되는 다수개의 프레임 메모리는, 각각 프레임 메모리의 할당을 지원하는 다수개의 프레임 메모리 인덱스 레지스터에 의해 인덱싱(Indexing)되는 것을 특징으로 하는 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리.
8. 제 7 항에 있어서, 상기 다수개의 프레임 메모리 인덱스 레지스터는, 상기 비디오 디코딩되는 프레임들을 각 디코딩되는 시점에 따라 저장하는 각 프레임 메모리의 프레임 인덱스를 각각 저장하기 위한 다수개의 프레임 메모리 인덱스 레지스터와, 상기 비디오 디코딩 후 디스플레이되는 프레임들을 각 디스플레이되는 시점에 따라 저장하는 각 프레임 메모리의 프레임 인덱스를 각각 저장하기 위한 또다른 다수개의 프레임 메모리 인덱스 레지스터를 포함하여 구성되는 것을 특징으로 하는 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리.
9. 제 8 항에 있어서, 상기 다수개의 프레임 메모리 인덱스 레지스터는, 여분의 프레임 메모리의 프레임 인덱스를 저장하기 위한 또하나의 프레임 메모리 인덱스 레지스터를 추가로 포함하는 것을 특징으로 하는 비디오 디코딩 및 디인터레이싱을 위한 프레임 메모리.