KR19990026426A - 프레임 메모리에 있어서 어드레스 발생장치 - Google Patents

Abstract

본 발명은 움직임 보상장치에 사용되는 프레임 메모리에 있어서 어드레스 발생장치에 관한 것이다.

이러한 본 발명의 장치는, 소정의 매크로블록 구조로 이루어지는 복수개의 RAS 박스로 맵핑되는 프레임 메모리에 있어서, 현재 매크로블록의 시작 어드레스(slice_pos,mb_pos)와 움직임 벡터(mv_h,mv_v)에 대한 수직 성분(slice_pos,mv_v)과 수평 성분(mb_pos,mv_h)을 각각 입력받아 선택신호에 따라 시작 어드레스 또는 움직임 벡터를 선택하여 출력하는 제 1 및 제 2 선택기(52), 상기 시작 어드레스와 움직임 벡터 가운데 하나를 먼저 선형 어드레스로 변환한 뒤 나머지 하나를 선형 어드레스로 변환하여 출력하는 어드레스 발생코아(53), 상기 어드레스 발생코아(53)에 의해 먼저 출력되는 선형 어드레스를 저장하는 래치(55), 및 상기 어드레스 발생코아(53)의 출력과 래치(55)의 출력을 가산하는 가산기(55)로 구성되어, 현재 매크로블록의 시작 어드레스와 움직임 벡터에 의해 예측된 매크로블록의 기준 포인트(RP)에 관련된 어드레스를 발생시킬 수 있다.

Description

프레임 메모리에 있어서 어드레스 발생장치(Apparatus of generating address in a frame memory)

본 발명은 움직임 보상장치용 프레임 메모리에 관한 것으로서, 특히 예측된 매크로블록을 프레임 메모리로 읽어오기 위해 기준 포인트에 관련된 어드레스를 발생시키는 어드레스 발생장치에 관한 것이다.

MPEG(Moving Picture Experts Group)-2 표준안에 사용되는 움직임 보상기술은 매크로블록 단위로 시간적으로 인접한 두 화면간의 움직임을 추정하여 보상함으로써 시간적 중복성(temporal redundancy)을 줄이기 위한 것이다. 즉, 움직임 추정 및 보상과정에서는 인접한 영상과 현재 영상을 비교하여 물체의 움직임에 관한 정보인 움직임 벡터를 검출해 내고, 이 움직임 벡터를 이용하여 현재 영상을 예측해 낸다.

이러한 움직임 보상기술을 이용하는 MPEG-2 영상 복호화기(video encoder)에 있어서, P 픽쳐는 현재 영상에 대해서 이전 영상의 I 픽쳐 또는 P 픽쳐를 기준으로 하여 순방향 움직임 보상을 수행하고, B 픽쳐는 현재 영상에 대해서 이전 영상의 I 픽쳐 혹은 P 픽쳐, 및 다음 영상의 I 픽쳐 혹은 P 픽쳐를 기준으로 하여 순방향 움직임 보상, 역방향 움직임 보상 및 보간형 움직임 보상을 수행하여 얻은 움직임 보상 블록 중 최선의 것을 선택한다.

그리고, 움직임 추정 및 보상을 위한 방법으로는 프레임 움직임 추정 및 보상 모드, 필드 움직임 추정 및 보상 모드, 듀얼 프라임(dual prime) 움직임 추정 및 보상 모드 등이 있으며, 기본적으로 모든 움직임 추정 및 보상은 반화소(half-pel) 단위까지 하는 것을 규정하고 있다.

이 중, 프레임 움직임 추정 및 보상 모드는 MPEG-1에서 부터 사용하여 온 것으로서, 상위 필드(top field 혹은 even field)와 하위 필드(bottom field 혹은 odd field)의 구분없이 프레임 구조로 움직임을 추정하고 보상한다. 이를 위하여, 현재 프레임의 부호화하고자 하는 매크로블록(MB)에 대해 기준 프레임의 탐색 영역내에서 반화소 정밀도까지 완전 탐색(full search)을 수행하여, 가장 작은 평균 절대 에러(MAE: Mean Absolute Error)를 발생시키는 위치를 해당 매크로블록에 대한 움직임 벡터로 결정한다. 실제로는 데이터가 화소 단위로 주어지므로 화소 단위의 1차 완전 탐색을 통해 화소 단위 움직임 벡터를 구한 다음, 반화소 단위의 보간 및 2차 완전 탐색을 통해 반화소 단위 움직임 벡터를 구한다. 프레임 움직임 추정의 경우, P 픽쳐에 대해서는 한 개의 매크로블록당 1 개의 움직임 벡터를 전송하고, B 픽쳐에 대해서는 한 개의 매크로블록당 1 개 혹은 2 개의 움직임 벡터를 전송하므로, 필드 움직임 추정에 비해 움직임 벡터 전송에 소요되는 비트 수가 적다.

다음, 필드 움직임 추정 및 보상 모드는 프레임 구조의 픽쳐에 있어서 각 필드별로 움직임 추정 및 보상을 수행한다. 이를 위하여, 현재 프레임의 상위 필드와 하위 필드, 기준 프레임의 상위 필드와 하위 필드 사이에서 각각 16*8 (pixels) 서브 매크로블록 단위로 상위에서 하위, 상위에서 상위, 하위에서 상위, 하위에서 하위의 4 가지 움직임 벡터를 구한 뒤, 현재 프레임의 상위 필드와 하위 필드 각각에 대하여 최소의 움직임 보상에러를 발생시키는 하나씩의 움직임 벡터를 선택한다. 따라서, P 픽쳐에 대해서는 한 개의 매크로블록당 2 개의 움직임 벡터, B 픽쳐에 대해서는 한 개의 매크로블록당 2 개 혹은 4 개의 움직임 벡터를 전송한다. MPEG-2 영상 부호화기에서는 모든 매크로블록에 대하여 프레임/필드 예측 모드를 모두 적용한 다음, 그 중 보다 작은 예측 오차를 갖는 예측 모드를 사용한다. 한편, MPEG-2 영상 복호화기에서는 부호화기에서 사용한 예측 모드가 전송되므로 이에 따라 움직임 보상을 수행하여 영상을 복원한다.

한편, 필드 움직임 추정 및 보상 모드의 변형 모드로서 16*8 (pixels) 움직임 추정 및 보상 모드가 있는데, 이 모드에서는 각각의 매크로블록에 대하여 2개의 움직임 벡터가 사용되는데, 제1움직임 벡터는 상위 16*8 영역에 대하여, 제2움직임 벡터는 하위 16*8 영역에 대하여 사용된다. 양방향 예측된 매크로블록의 경우, 순방향 예측에 대하여 2개, 역방향 예측에 대하여 2개, 총 4개의 움직임 벡터가 사용된다.

다음, 듀얼 프라임 움직임 추정 및 보상 모드는 한 개의 매크로블록당 1 개의 움직임 벡터와 차분 움직임 벡터(dmv)만을 전송하는 것으로, 비교적 느린 움직임을 갖는 시퀀스에 효과적인 것으로 알려져 있다. 이 모드는 B 픽쳐를 사용하지 않는 경우에만 사용되도록 규정하고 있다. 즉, B 픽쳐가 허용되는 경우에는 이를 이용하여 더 좋은 화질을 얻을 수 있으나, B 픽쳐가 허용되지 않는 경우에는 듀얼 프라임 예측 모드를 사용함으로써, 가능한 한 적은 비트 발생량으로 화질의 향상을 가져 올 수 있다. 듀얼 프라임 예측 모드에서는 먼저, 필드 예측 모드에서 구한 상위에서 하위, 상위에서 상위, 하위에서 상위, 하위에서 하위의 4 가지 움직임 벡터 중 상위에서 상위와 하위에서 하위의 움직임 벡터는 그대로 기본 움직임 벡터로 사용하고, 상위에서 하위와 하위에서 상위의 움직임 벡터는 각각 스케일링(*2, *2/3)과 트렁케이션(truncation)을 하여 기본 움직임 벡터를 만든다. 다음, 이와 같이 만들어진 4개의 기본 움직임 벡터 각각에 대하여 수평 방향과 수직 방향으로 -1, 0, 1씩의 미세 조정을 가하여 두 개의 16*8 (pixels) 서브 매크로블록에 대해 움직임 보상에러가 최소가 되도록 하는 움직임 벡터와 차분 움직임 벡터를 전송한다. 듀얼 프라임 예측 모드는 영상 부호화기에서의 계산량이 상당히 많은 편으로 한 개의 기본 움직임 벡터당 9 개의 예측 후보값을 계산해 내야 하므로 총 36 가지의 후보 중 한 개의 기본 움직임 벡터와 차분 움직임 벡터를 계산해야 한다. 한편, 영상 복호화기에서는 전송되어 온 기본 움직임 벡터와 차분 움직임 벡터로 부터 2 개의 필드움직임 벡터를 계산하기만 하면 되므로 비교적 간단하게 구현 가능하다.

프레임 메모리는 이와 같이 움직임 보상을 위한 참조영상인 이전 영상의 I 픽쳐 혹은 P 픽쳐, 및 다음 영상의 I 픽쳐 혹은 P 픽쳐를 저장하기 위하여 사용된다. 또한, 프레임 메모리는 MPEG-2 영상 복호화기에 있어서 복호화 순서와 디스플레이 순서가 서로 다른 관계로, 복호화가 완료된 픽쳐를 일시적으로 저장한 다음 디스플레이 순서에 맞게 독출하기 위하여 사용된다.

그러나, 상기한 바와 같은 프레임 메모리는 I 픽쳐와 P 픽쳐 혹은 P 픽쳐와 P 픽쳐간의 거리(M)에 따라 적어도 3 프레임 분의 영상 데이터를 저장할 수 있는 용량을 가져야 하므로 그 가격이 비싸고, 따라서 전체 영상 복호화기의 가격을 상승시키는 요인이 될 뿐 아니라, 복호화 완료 이후 디스플레이까지의 지연시간이 증가하는 문제점이 있었다.

이에 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 움직임 보상시 참조 영상 데이터를 저장하는 영역, 디스플레이를 위해 복호화가 완료된 영상 데이터를 저장하는 영역 및 영상 복호화기로 입력되는 부호화된 비트스트림을 저장하는 영역이 하나의 메모리 모듈 상에 구현된 프레임 메모리에 있어서, 움직임 보상하고자 하는 현재 매크로블록(MB)의 기준 포인트에 관련된 어드레스를 발생시키기 위한 장치를 제공하는데 그 목적이 있다.

상기와 같은 목적을 제공하기 위한 본 발명의 장치는, 소정의 매크로블록 구조로 이루어지는 복수개의 RAS 박스로 맵핑되는 프레임 메모리에 있어서, 예측된 매크로블록의 슬라이스 위치(slice_pos) 및 수직 움직임 벡터(mv_v)를 입력받아, 선택신호에 따라 상기 입력을 선택적으로 출력하는 제1 선택기, 예측된 매크로블록의 매크로블록 위치(mb_pos) 및 수평 움직임 벡터(mv_h)를 입력받아, 상기 선택신호에 따라 상기 입력을 선택적으로 출력하는 제2 선택기, 상기 제1 및 제2 선택기의 출력을 선형적으로 표현하기 위한 어드레스 발생코아, 상기 어드레스 발생코아로부터 출력되는 예측된 매크로블록의 시작 어드레스(slice_pos,mb_pos)에 대한 선형 어드레스와 움직임 벡터(mv_h,mv_v)에 대한 선형 어드레스를 가산하여 최종적으로 예측된 매크로블록의 기준 포인트(RP)에 대한 선형 어드레스를 출력하는 가산기, 및 리셋된 상태에서 상기 가산기로부터 출력되는 예측된 매크로블록의 시작 어드레스(slice_pos,mb_pos) 또는 움직임 벡터(mv_h,mv_v)의 선형 어드레스를 저장하여 가산기의 제2 입력단에 출력한 뒤 다시 리셋되는 래치를 포함하여 구성되는 것을 특징으로 한다.

도 1은 본 발명에서 채택한 프레임 메모리의 구조를 나타낸 도면,

도 2는 도 1에 도시된 프레임 메모리의 스케쥴링 순서를 나타낸 도면,

도 3은 도 1에 도시된 프레임 메모리에 있어서 1 프레임에 대한 RAS 박스 설정방법의 제 1 예를 나타낸 도면,

도 4는 도 3에 도시된 RAS 박스에 있어서 매크로블록 구조의 예를 나타낸 도면,

도 5는 본 발명에 의한 어드레스 발생장치를 도시한 블록도이다.

* 도면의 주요부분에 대한 부호의 설명

51,52 : 멀티플렉서 53 : 어드레스 발생코아

54 : 가산기 55 : 래치

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예에 대하여 자세히 살펴보기로 한다.

도 1은 본 발명에서 채택한 프레임 메모리의 구조를 나타낸 것으로서, 프레임 메모리(100)는 복원된 영상 데이터 쓰기 동작, 움직임 보상을 위한 데이터 읽기 동작, 디스플레이를 위한 데이터 읽기 동작이 메모리 제어부(미도시)에 의해 제어되며, 버스트 길이(burst length)가 8인 SDRAM(Synchronous-DRAM)을 예로 들기로 한다. 프레임 메모리(100)는 뱅크 1과 뱅크 2의 두 개의 메모리 뱅크를 가지며, 뱅크 1에는 제1 및 제2프레임 저장영역(100-1,100-2)이 있고, 뱅크 2에는 제3 및 제4프레임 저장영역(100-3,100-4)이 있다. 여기서, 제1 내지 제4프레임 저장영역(100-1,100-2,100-3,100-4)은 각각 1 프레임 분량의 화소 데이터를 저장할 수 있는 용량을 가지며, 제1 내지 제4프레임 저장영역(100-1,100-2,100-3,100-4)은 각각 1,024 개의 행 어드레스(row address)를 가지고, 256워드(여기서, 1워드는 8비트)의 열 어드레스(column address)를 가진다. 그리고, 하나의 어드레스에는 8개의 Y 화소, 2개의 Cr 화소 및 2 개의 Cb 화소, 총 12 화소 데이터가 저장된다. 여기서, 1,024 개의 행 어드레스는 RAS 박스의 번호를 의미한다. 그리고, 256워드의 열 어드레스는 하나의 RAS 박스당 8개의 매크로블록*한개의 매크로블록당 32개의 박스(=256 박스)에 의해 나온 것이다.

한편, 프레임 메모리(100)의 실제 물리적인 행 어드레스(physical row address)는 제1 내지 제4프레임 저장영역(100-1~100-4)에 대하여 각각 000_H~ 3FF_H, 400_H~ 7FF_H, 800_H~ BFF_H, C00_H~ FFF_H로 할당된다. 그러나, 제1 내지 제4프레임 저장영역(100-1~100-4)은 각각 독립적으로 존재하며, 제1프레임 저장영역(100-1)의 소정 행 어드레스에 위치한 매크로블록에 대응하는 제2 및 제3프레임 저장영역(100-2,100-3)의 매크로블록은 동일한 행 어드레스를 가진다. 이와 같이, 제1 내지 제3프레임 저장영역(100-1~100-3) 내에서의 행 어드레스를 가상적인 행 어드레스(virtual row address)라 한다. 그리고, 움직임 보상시 도 2에 도시된 바와 같은 프레임 메모리(100)의 스케쥴링 순서에 의거하여, 참조 영상이 위치한 해당 저장영역에서의 가상적인 행 어드레스를 물리적인 행 어드레스로 변환시키는데 사용되는 어드레스를 프레임 옵셋 어드레스(frame offset address)라 하며, RA[11:10]라 둔다. 즉, RA[11:10]이 '00'이면 제1프레임 저장영역(100-1), '01'이면 제2프레임 저장영역(100-2), '10'이면 제3프레임 저장영역(100-3), '11'이면 제4프레임 저장영역(100-4)을 각각 나타낸다.

여기서, 제1 및 제2프레임 저장영역(100-1,100-2)은 복원된 I 픽쳐 혹은 움직임 보상된 P 픽쳐 영상 데이터를 움직임 보상을 위한 기준 영상으로 사용하는 것과 동시에 디스플레이하기 위하여 저장하는데 사용되고, 제3프레임 저장영역(100-3)은 움직임 보상된 B 픽쳐 영상 데이터를 디스플레이하기 위하여 저장하는데 사용되고, 제4프레임 저장영역(100-4)은 영상 복호화기로 입력되는 부호화된 비트스트림을 소정의 비트 단위로 저장하는데 사용된다.

도 2는 도 1에 도시된 프레임 메모리(100)의 스케쥴링 순서를 나타낸 것으로서, 복호화 순서가 I,P,B,B,P,B,B,P,B,B,P,B,B,I,P,B,B,... 이고, 디스플레이 순서가 I,B,B,P,B,B,P,B,B,P,B,B,P,I,B,B,... 이고, 디스플레이 잠복기(display latency)가 2 픽쳐인 경우를 예로 든 것이다. 여기서, 밑줄이 그어져 있는 부분이 현재 복호화되고 있는 픽쳐를 나타내고, 화살표는 움직임 보상을 위해 참조되는 픽쳐를 나타내고, 'D'가 부가되어 있는 저장영역은 디스플레이를 위해 영상 데이터가 독출되고 있음을 나타낸다.

도 3은 도 1에 도시된 프레임 메모리(100)에 있어서 1 프레임에 대한 RAS 박스 설정방법의 제 1 예를 나타낸 것으로서, 예를 들어 1 프레임이 1,920 화소*1,088 화소로 이루어지는 경우, 15 개 RAS 박스*68 개 RAS 박스, 총 1,020 개의 RAS(Row Address Strobe) 박스로 분할된다. 즉, RAS 박스의 번호가 프레임 메모리(100)의 행 어드레스(row address:RA)가 된다. 여기서, 하나의 RAS 박스는 8 개 매크로블록*1개 매크로블록, 총 8 개의 매크로블록(MB0~MB7)으로 이루어진다. 그리고, 각 매크로블록은 휘도(Y) 블록을 예로 들 경우, 4개의 블록(b0~b3)로 나누어진다.

도 4는 도 3에 도시된 RAS 박스에 있어서 매크로블록 구조의 예를 나타낸 것으로서, 4개의 휘도(Y) 블록, 1개의 색차(Cr) 블록 및 1개의 색차(Cb) 블록으로 구성되고, 4개의 휘도(Y) 블록은 각각 8개의 박스(b0-0~b0-7, b1-0~b1-7, b2-0~b2-7, b3-0~b3-7)로 구성되고, 2개의 색차(Cr,Cb) 블록은 각각 8개의 서브 박스(sb0-0~sb0-7, sb1-0~sb1-7, sb2-0~sb2-7, sb3-0~sb3-7)로 구성된다. 그리고, Y 블록을 구성하는 각 박스에는 8*1 포맷의 8개의 화소 데이터, Cr 블록을 구성하는 각 박스에는 2*1 포맷의 2개의 화소 데이터, Cb 블록을 구성하는 각 박스에는 2*1 포맷의 2개의 화소 데이터가 존재한다.

한편, 움직임 보상하고자 하는 현재 매크로블록(MB)의 시작 어드레스, 즉 슬라이스 위치(slice_pos) 및 매크로블록 위치(mb_pos)와, 움직임 벡터(mv_v, mv_h)는 x,y의 직교좌표에서 각각의 위치를 나타내지만, 실제 프레임 메모리에서는 2차원상에 존재하는 각 요소들을 x,y로 나타내지 않고 선형 어드레스로 표현한다. 이를 위하여 어드레스 발생코아가 이용되는데, 움직임 보상하고자 하는 현재 매크로블록(MB)의 시작 어드레스, 즉 슬라이스 위치(slice_pos) 및 매크로블록 위치(mb_pos)와, 움직임 벡터(mv_v, mv_h)를 이용하여 기준 포인트를 만든다. 이를 위하여 어드레스 발생코아에서는 다음과 같은 일반적인 수식을 계산한다.

여기서, slice_width는 120으로, 1 프레임(1920 화소 * 1088 화소)에 있어서 수평방향으로 120 개의 매크로블록이 존재함을 나타낸다.

도 5는 본 발명에 따른 어드레스 발생장치를 도시한 블록도로서, 제1 내지 제2 선택기 예컨대 멀티플렉서(51,52), 어드레스 발생코아(53), 가산기(54), 및 래치(55)로 구성된다.

도 5에 도시된 제1 멀티플렉서(51)는 슬라이스 위치(slice_pos)와 수직 움직임 벡터(mv_v)를 입력으로 하고 제2 멀티플렉서(52)는 매크로블록 위치(mb_pos)와 수평 움직임 벡터(mv_h)를 입력으로 하여, 선택신호에 따라 두 입력가운데 하나를 선택하여 출력한다.

본 발명의 장치에서는 상기 수학식 1을 다음과 같이 변형시켜 이용한다.

먼저, 제1 멀티플렉서(51)와 제2 멀티플렉서(52)가 상기 선택신호의 제1 클럭에 맞추어 예측된 매크로블록의 시작 어드레스, 즉 슬라이스 위치(slice_pos)와 매크로블록 위치(mb_pos)를 각각 선택하여 출력한다. 이에 따라 어드레스 발생코아(53)는 상기 슬라이스 위치(slice_pos)와 매크로블록 위치(mb_pos)를 선형으로 표현하기 위해 상기 수학식 2의 좌측 연산을 수행한다. 이때 래치(55)는 리셋되어진 상태이므로, 가산기(54)는 어드레스 발생코아(53)로부터 출력되는 예측된 매크로블록의 시작 어드레스에 대한 선형 어드레스만을 입력받아 그대로 출력한다. 이에 따라 리셋 상태의 래치(55)는 상기 가산기(54)의 출력을 입력받아 저장한다.

다음으로, 제1 멀티플렉서(51)와 제2 멀티플렉서(52)는 선택신호의 제2 클럭에 맞추어 수직 움직임 벡터(mv_v)와 수직 움직임 벡터(mv_h)를 각각 선택하여 어드레스 발생코아(53)로 출력하고, 어드레스 발생코아(53)는 상기 수학식 2의 우측 연산을 수행한다. 가산기(54)는 상기 연산의 결과와 래치(55)의 출력을 더해서 최종적으로 예측 매크로블록의 기준 포인트(RP)에 관한 선형 어드레스를 출력한다.

한편, 상기한 상세한 설명은 여기에 제시된 특정의 실시예를 설명하고자 한 것이며, 본 발명을 한정하려는 의도는 아니다. 당업자라면, 상기한 상세한 설명 및 도면을 참조하여 본 발명의 기술적 사상내에서 RAS 박스의 구조 및 매크로블록 블록의 구조에 따라 여러 가지 변형 및 수정을 가할 수 있을 것이다.

이상에서 살펴본 바와 같이, 본 발명의 장치는 움직임 보상시 참조 영상 데이터를 저장하는 영역, 디스플레이를 위해 복호화가 완료된 영상 데이터를 저장하는 영역 및 영상 복호화기로 입력되는 부호화된 비트스트림을 저장하는 영역이 하나의 메모리 모듈 상에 구현된 프레임 메모리에 있어서, 현재 매크로블록의 시작 어드레스와 움직임 벡터에 의해 예측된 매크로블록의 기준 포인트에 관련된 어드레스를 발생시킬 수 있다.

Claims (1)

1. 소정의 매크로블록 구조로 이루어지는 복수개의 RAS 박스로 맵핑되는 프레임 메모리에 있어서,

   예측된 매크로블록의 슬라이스 위치(slice_pos) 및 수직 움직임 벡터(mv_v)를 입력받아, 선택신호에 따라 상기 입력을 선택적으로 출력하는 제1 선택기(51);

   예측된 매크로블록의 매크로블록 위치(mb_pos) 및 수평 움직임 벡터(mv_h)를 입력받아, 상기 선택신호에 따라 상기 입력을 선택적으로 출력하는 제2 선택기(52);

   상기 제1 및 제2 선택기(51,52)의 출력을 선형적으로 표현하기 위한 어드레스 발생코아(53);

   상기 어드레스 발생코아(53)로부터 출력되는 예측된 매크로블록의 시작 어드레스(slice_pos,mb_pos)에 대한 선형 어드레스와 움직임 벡터(mv_h,mv_v)에 대한 선형 어드레스를 가산하여 최종적으로 예측된 매크로블록의 기준 포인트(RP)에 대한 선형 어드레스를 출력하는 가산기(54); 및

   리셋된 상태에서 상기 가산기(54)로부터 출력되는 예측된 매크로블록의 시작 어드레스(slice_pos,mb_pos) 또는 움직임 벡터(mv_h,mv_v)의 선형 어드레스를 저장하여 가산기(54)의 제2 입력단에 출력한 뒤 다시 리셋되는 래치(55)를 포함하여 구성되는 것을 특징으로 하는 프레임 메모리에 있어서 어드레스 발생장치.