KR19990004516A - 영상 프레임 재배치 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

프레임 재배치 장치

2. 발명이 해결하려고 하는 기술적 과제

종래 프레임 재배치시 프레임 메모리의 데이타를 읽기 위해서는 20 비트 정도의 가산기가 필수적으로 요구되므로, 이 20비트 가산기의 제어를 위해서 매우 빠른 논리회로가 요구되어 설계시 제약이 따르는 문제와 하드웨어 구현이 복잡해지는 문제를 해결하고자 한 것임.

3. 발명의 해결방법의 요지

읽기 및 쓰기 순서를 발생하기 위해서 반복적으로 증가하는 서브 화소그룹(GOP)인덱스를 할당하고, P-픽쳐의 주기인 M값에 따라 그 서브GOP 인덱스에 B-픽쳐의 순서에 대응하는 인덱스값을 가산하여 프레임 재배치를 위한 쓰기 및 읽기 순서를 발생하는 것을 특징으로 한 것이다.

4. 발명의 중요한 용도

프레임 재배치를 위한 메모리 구현 및 제어에 적용되는 것임.

Description

영상 프레임 재배치 방법

본 발명은 프레임 재배치를 위한 메모리를 최소로 구현하고 그 프레임 메모리의 읽기와 쓰기를 효율적으로 제어하여 인터레이스 포맷을 매크로블록 단위의 포맷으로 변환토록 한 영상 프레임 재배치 방법을 제공하고자 한 것이다.

본 발명은 부호화하려는 입력 영상 데이타를 I,P 및 B 의 영상 종류에 따라 움직임 추정부 및 움직임 보상부가 필요로하는 순서로 프레임을 재배치하는 프레임 재배치에 관한 것이다.

일반적으로, 디지탈 영상 데이타의 처리를 효과적으로 하기 위해서는 부호화하려는 입력 영상 데이타를 I,P 및 B 의 영상 종류에 따라 움직임 추정부 및 움직임 보상부가 필요로하는 순서로 재배치할 필요가 있다. 이러한 프레임의 재배치를 위해서는 영상 프레임을 저장하는 메모리가 필요하게 된다.

즉, 아날로그 입력 영상 신호를 디지탈로 변환하여 데이터 처리를 하기 위해서는 특성상 매우 높은 데이터율을 갖는 입력 영상 신호를 효율적으로 압축하여 대역이 제한된 채널로 전송 가능하게 하여야 한다. 이를 위해서는 입력단에서 인터레이스 포맷으로 입력되는 영상 신호를 매크로블록 단위의 포맷으로 변화해주어야 후단의 움직임 추정부 및 움직임 보상부에서 영상을 압축할 수 있다. 이러한 영상 신호의 순서를 재배열하는 기능을 프레임 재배치라고 한다.

이러한 프레임 재배치를 위한 메모리의 크기는 M(P픽쳐의 주기)이 3인 I-Picture와 P-Picture사이 혹은 P-Picture와 P-Picture사이의 거리가 3화소인 경우 최소 4프레임 분의 메모리가 필요하다.

여기서 1 프레임의 크기는 MPEG2 MP@HL의 경우 휘도 신호와 색차 신호 각각에 대해 약 2메가 바이트의 데이타를 갖는다. 따라서 이 프레임 메모리의 읽기와 쓰기를 제어하기 위해서는 약 20바이트 정도의 어드레스가 필요해진다.

상기에서 쓰기 어드레스는 인터레이스(Interlace)로 입력되는 영상 데이타를 메모리에 프레임 단위로 저장하도록 제어하여야 하고, 읽기 어드레스는 움직임 추정부 및 움직임 보상부의 영상 데이타 처리 형태인 매크로 블록 단위로 프레임 메모리에서 읽어 내도록 제어하여야 한다. 쓰기 어드레스의 제어는 비교적 간단히 구현이 가능한 반면 읽기 어드레스는 복잡한 연산을 거쳐야 한다.

그런데, 종래의 프레임 메모리를 읽기 위해서는 20 비트 정도의 가산기가 필수적으로 요구되는데, 이 20비트 가산기를 하드웨어로 구현하기 위해서는 매우 빠른 논리회로가 요구되어 설계시 제약이 따르는 단점이 있었다.

또한 프레임 메모리의 액세스 시간 또한 화소율로 구현 가능하도록 빨라야하므로 하드웨어 설계에 상당한 제약을 주게되어 비용도 증가하게 되는 단점을 유발시켰다.

이에 본 발명은 상기와 같은 종래 프레임 메모리의 구현시 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로, 본 발명은 프레임 재배치를 위한 메모리를 최소로 구현하고 그 프레임 메모리의 읽기와 쓰기를 효율적으로 제어하여 인터레이스 포맷을 매크로 블록 단위의 포맷으로 변환토록 한 영상 프레임 재배치 방법을 제공하는 데 그 목적이 있다.

이러한 본 발명의 목적을 달성하기 위한 방법은, 읽기 및 쓰기 순서를 발생하기 위해서 반복적으로 증가하는 서브 화소그룹(GOP)인덱스를 할당하고, P-픽쳐의 주기인 M값에 따라 그 서브GOP 인덱스에 B-픽쳐의 순서에 대응하는 인덱스값을 가산하여 프레임 재배치를 위한 쓰기 및 읽기 순서를 발생하는 것을 특징으로 한 것이다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거 상세 다음과 같다.

도 1은 본 발명이 적용되는 영상 프레임 재배치 장치 블록 구성도,

도 2는 일반적인 GOP 재배치의 일예도,

도 3은 본 발명에 의한 GOP 재배치의 일예로서,

(A)는 M이 3인 경우의 GOP 재배치 순서도이고,

(B)는 M이 2인 경우의 GOP 재배치 순서도이며,

(C)는 M이 1인 경우의 GOP 재배치 순서도이다.

도면의 주요 부분에 대한 부호의 설명

1 : 프레임 재배치 제어용 카운터 2,3 : 쓰기용/읽기용 카운터

4 : 어드레스 선택부 5 : 플립플롭

6 : 메모리 7 : 멀티플렉서

8 : 디멀티플렉서 9 : 프레임 재배치부

도 1은 본 발명이 적용되는 프레임 재배치 장치 블록 구성도이다. 이에 도시된 바와같이, 참조번호 1은 입력되는 수평/수직 동기신호에 따라 쓰기용 카운터와 읽기용 카운터에 특정한 어드레스를 다운로드하기 위한 프레임 재배치 제어용 카운터이고, 2,3은 상기 프레임 재배치 제어용 카운터(1)에서 제공되는 특정한 어드레스에 따라 프레임 메모리에 데이타를 쓰고 읽기 위한 어드레스를 발생하는 쓰기용/읽기용 카운터이며, 4는 상기 쓰기용/읽기용 카운터(2)(3)에서 각각 발생되는 쓰기 어드레스 및 읽기 어드레스를 교대로 선택하는 어드레스 선택부이다.

또한, 참조번호 9는 상기 입력되는 수평/수직 동기신호에 따라 프레임 재배치를 위한 읽기/쓰기 순서를 발생하는 프레임 재배치부이고, 5는 상기 어드레스 선택부(4)에서 선택된 어드레스와 프레임 재배치부(9)에서 얻어지는 읽기/쓰기 순서 신호를 래치하여 메모리(6)의 지정된 번지의 데이타 쓰기 및 읽기를 제어하는 플립플롭이고, 7은 인터레이스된 입력 영상 데이타를 멀티플렉싱하여 상기 메모리(6)에 기록하는 멀티플렉서이며, 8은 상기 메모리(6)로부터 매크로 블록 순서로 데이타를 인출하여 움직임 추정부 및 움직임 보상부에 전달해주는 디멀티플렉서이다.

이와 같이 구성된 본 발명이 적용되는 영상 프레임 재배치 방법을 첨부한 도면 도 2 및 도 3에 의거 설명하면 다음과 같다.

일반적으로, 영상 신호는 I-영상, P-영상 및 B-영상으로 구분 하는 바, 이는 자신의 정보만으로 부호화를 한 영상을 I-영상, 과거의 기준 필드나 프레임으로부터 움직임 보상되어 예측된 부호화 영상을 P-영상, 과거 및 미래의 기준 신호를 모두 이용하여 움직임 보상되어 예측된 부호화 영상을 B-영상이라 각각 칭한다.

도 2는 순서대로 입력되는 영상 신호를 재배치한 일반적인 프레임 재배치의 일예이다(P픽쳐의 주기인 M은 3, I픽쳐의 주기인 N은 9). 이 예에서는 부호화된 P-픽쳐와 P-픽쳐사이 또는 I-픽쳐와 P-픽쳐 사이에 2개의 부호화된 B-픽쳐가 있다. 여기서 P-픽쳐는 I-픽쳐에 의해서 만들어지고, B-픽쳐는 시간적으로 앞선 I-픽쳐와 시간적으로 뒤에 있는 P-픽쳐에 의해 만들어진다. 즉, 픽쳐 1I는 픽쳐 4P를 만드는데 이용되고, 픽쳐 2B와 3B는 픽쳐 1I와 픽쳐 4P에 의해 생성된다. 따라서 인코더로의 입력 영상(Encoder In)은 1I,2B,3B,4P의 순서이지만 부호화된 영상은 1I,4P,2B,3B의 순서가 된다. 또 디코더에서는 화면상에 영상 신호의 입력 순서인 1I,2B,3B,4P의 순서로 디스플레이 하여야 한다.

I-픽쳐와 P-픽쳐 사이에 존재하는 B-픽쳐의 수는 P픽쳐의 주기인 M에 의해 결정되며, 1,2,3의 값을 갖는다. M이 1이면 B픽쳐는 존재하지 않고, I-픽쳐와 P-픽쳐만이 존재하며, M이 2이면 I-픽쳐와 P-픽쳐 사이 또는 P-픽쳐와 P-픽쳐 사이에 1개의 B-픽쳐가 있고, M이 3이면 2개의 B-픽쳐가 있다. 또한, 전체 영상은 연속되는 GOP(Group of Picture)로 구성되는데, 이 GOP내의 픽쳐수는 N(I-픽쳐의 주기)에 의해 결정된다. 여기서 N은 일반적으로 15 이하의 정수이고, M의 배수이다. 일예로 M이 3이면 N은 3,6,9,12,15 중의 값을 가지게 된다.

도 2에서 알 수 있듯이, 인코더의 출력 순서를 보면 B-픽쳐보다 시간적으로 뒤에 있어야 하는 P-픽쳐가 먼저 출력되어야 함을 알 수 있다. 이를 구현하기 위해서는 M값이 최대 3임을 고려하면 최소 4-픽쳐의 영상 신호를 저장할 수 있는 메모리가 필요하다. 이 4-픽쳐 분의 메모리 읽기/쓰기를 효율적으로 제어하여 데이터의 손실없이 영상 신호를 출력할 수 있도록 해야 한다.

이를 위해서 본 발명에서는 다음과 같은 프레임 재배치 방법을 제안한다.

먼저, 프레임 재배치 제어용 카운터(1)는 입력되는 수평 및 수직 동기신호(Hsync.Vsync)에 따라 쓰기용 카운터(2) 및 읽기용 카운터(3)에 특정한 어드레스를 다운 로드하여 주는데, 이때 프레임 재배치 제어용 카운터(1)는 상기 쓰기용 카운터(2)와 읽기용 카운터(3)의 처리 속도에 대한 부담을 줄여주는 역할도 수행한다.

한편, 상기 쓰기용 카운터(2)와 읽기용 카운터(3)는 상기 프레임 재배치 제어용 카운터(1)에서 다운로드되는 특정 어드레스에 따라 각각 쓰기용 어드레스와 읽기용 어드레스를 발생하게 된다.

아울러 프레임 재배치부(9)는 상기 입력되는 수평 및 수직 동기신호에 따라 기설정된 서브 GOP 인덱스에 임의의 값을 가산하여 그 결과치를 쓰기 및 읽기 순서신호로 발생을 하게 되고, 이렇게 발생되는 읽기 및 쓰기 순서 발생신호와 어드레스 선택부(4)에서 선택되는 어드레스가 합해져 플립플롭(5)에서 래치된 후 프레임 메모리부(6)에 제공되어 입력 영상이 저장되거나 매크로 블록 단위로 출력되도록 한다.

즉, 본 발명에 의한 프레임 재배치 규칙에서는 I-픽쳐와 P-픽쳐의 프레임을 구분할 필요가 없으므로, I-픽쳐와 P-픽쳐를 IP-픽쳐로 칭한다.

다음으로, M이 3인 경우(도 3의 A참조)를 살펴보면, 우선 프레임 재배치를 위해 각 서브GOP(SubGOP;서브 화소그룹)에 대해 0부터 3까지 반복 증가하는 서브GOP 인덱스를 할당한다. 이 경우 매 픽쳐의 쓰기/읽기를 선택하는 알고리즘은, 먼저 쓰기의 경우를 살펴보면, 첫째, IP-픽쳐는 서브GOP 인덱스를 그대로 사용하고, 둘째 IP-픽쳐후 첫 B-픽쳐는 상기 서브GOP 인덱스에 2를 가산한 값을 사용하며, 두 번째 B-픽쳐는 그 값에 다시 2를 더한 값을 사용한다.

다음으로, 읽기의 경우는, 첫째 각 픽쳐 종류는 쓰기의 경우의 픽쳐 종류보다 한 픽쳐 시간 동안 지연된 값을 사용하며, 둘째, IP-픽쳐는 서브GOP 인덱스를 그대로 사용한다. 셋째 B-픽쳐는 그 시점의 서브GOP 인덱스값에 1(첫번째 B-픽쳐) 또는 2(두번째 B-픽쳐)를 가산한 값을 사용한다.

다음으로, M이 2인 경우를 도 3의 (B)를 참조하여 살펴보면, 이 경우의 서브GOP 인덱스는 0부터 3 대신에 0과 1의 값 만을 M값 만큼 반복적으로 증가하도록하여 사용하며, 이 경우 매 픽쳐를 쓰고 읽는 프레임을 선택하는 방법은, 서브GOP 인덱스 이외는 상기 M이 3인 경우와 비슷하다. 다만, I-픽쳐와 P-픽쳐 사이의 B-픽쳐가 1개 뿐이라는 점만 차이가 있다. 좀 더 자세히 살펴보면, 쓰기의 경우는 M이 3인 경우와 같은 규칙을 따르며, 읽기의 경우는 첫째 각 픽쳐는 종류는 쓰기의 경우의 픽쳐 종류보다 한 픽쳐 시간 지연된 값을 사용하고, 둘째 IP-픽쳐 서브GOP 인덱스를 그대로 사용한다. 그리고 셋째로 B-픽쳐는 그 시점의 서브GOP인덱스 값에 2를 가산한 것을 사용하게 되는 것이다.

마지막으로, M이 1인 경우(도3의 C참조)를 살펴보면, 상기 M이 2인 경우와 마찬가지로 이 경우의 서브GOP 인덱스도 0부터 3 대신에 0과 1의 값만을 사용하기로 한다. 앞에서 설명한 M이 3인 경우, M이 2인 경우와 그 동작이 동일하므로 중복 기재를 피하기 위하여 자세한 설명은 생략한다.

한편, 도1중 멀티플렉서(7)는 인터레이스된 입력 영상을 멀티플렉싱하여 상기 메모리(6)에 기록하게 되고, 디멀티플렉서(8)는 상기 읽기 어드레스에 따라 상기 메모리(6)로부터 매크로 블록 순서로 데이타를 읽어 움직임 추정부 및 움직임 보상부에 제공해 주게 되는 것이다.

이상에서 상술한 바와같이 본 발명은 프레임 재배치를 위한 프레임 메모리의 읽기와 쓰기를 효율적으로 제어함으로써 최소의 메모리로 프레임 재배치를 위한 프레임 메모리를 구현할 수 있는 효과가 있다.

또한, 프레임 메모리를 최소화하고 읽기 및 쓰기를 효율적으로 제어함으로써 데이터의 처리 시간을 단축시킬 수 있는 효과가 있으며, 아울러 최소의 메모리 사용으로 하드웨어의 구성시 용이함을 제공해주는 효과도 있다.

Claims (11)

1. 인터레이스 포맷으로 입력되는 영상 신호를 매크로블록 단위의 포맷으로 변환해주는 프레임 재배치 방법에 있어서, 읽기 및 쓰기 순서를 발생하기 위해서 반복적으로 증가하는 서브 화소그룹(GOP)인덱스를 할당하고, P-픽쳐의 주기인 M값에 따라 그 서브GOP 인덱스에 B-픽쳐의 순서에 대응하는 인덱스값을 가산하여 프레임 재배치를 위한 쓰기 및 읽기 순서를 발생하여 것을 특징으로 하는 영상 프레임 재배치 방법.
2. 청구항1에 있어서, 상기 서브GOP인덱스는 상기 M값에 따라 0부터 3까지의 경우의 수가 선택적으로 적용되고, 그 적용되는 경우의 수는 M값만큼 반복적으로 증가하는 것을 특징으로 하는 영상 프레임 재배치 방법.
3. 청구항1에 있어서, 상기 M값이 3인 경우, 0부터 3까지 반복 증가하는 경우의 수를 서브GOP인덱스로 할당하는 것을 특징으로 하는 영상 프레임 재배치 방법.
4. 청구항3에 있어서, 쓰기 포인터값은 IP-픽쳐시 서브GOP 인덱스를 그대로 적용하고, IP-픽쳐후 첫 B-픽쳐는 상기 서브GOP 인덱스에 2를 가산한 값을 사용하고, 두 번째 B-픽쳐는 상기 첫 번째 B-픽쳐값에 2를 더한 값을 쓰기 포인터값으로 사용하는 것을 특징으로 하는 영상 프레임 재배치 방법.
5. 청구항3에 있어서, 읽기 포인터값은 각 픽쳐 종류는 쓰기 경우의 픽쳐 종류보다 한 픽쳐 시간 동안 지연된 값을 사용하며, IP-픽쳐는 서브GOP 인덱스를 그대로 사용하고, B-픽쳐는 그 시점의 서브GOP 인덱스값에 1(첫번째 B-픽쳐) 또는 2(두번째 B-픽쳐)를 가산한 것을 읽기 포인터값으로 사용하는 것을 특징으로 하는 영상 프레임 재배치 방법.
6. 청구항1에 있어서, 상기 M값이 2인 경우, 0과 1을 M값만큼 반복 증가하는 경우의 수를 서브GOP인덱스로 할당하는 것을 특징으로 하는 영상 프레임 재배치 방법.
7. 청구항6에 있어서, 쓰기 포인터값은, IP-픽쳐시 서브GOP 인덱스를 그대로 적용하고, IP-픽쳐후 B-픽쳐는 상기 서브GOP 인덱스에 2를 가산한 값을 쓰기 포인터값으로 사용하는 것을 특징으로 하는 영상 프레임 재배치 방법.
8. 청구항6에 있어서, 읽기 포인터값은, 각 픽쳐 종류는 쓰기 경우의 픽쳐 종류보다 한 픽쳐 시간 동안 지연된 값을 사용하며, IP-픽쳐는 서브GOP 인덱스를 그대로 사용하고, B-픽쳐는 그 시점의 서브GOP 인덱스값에 2를 가산한 값을 읽기 포인터값으로 사용하는 것을 특징으로 하는 영상 프레임 재배치 방법.
9. 청구항1에 있어서, 상기 M값이 1인 경우, 0과 1을 M값만큼 반복 증가하는 경우의 수를 서브GOP인덱스로 할당하는 것을 특징으로 하는 영상 프레임 재배치 방법.
10. 청구항9에 있어서, 쓰기 포인터값은, IP-픽쳐는 서브GOP 인덱스를 그대로 적용하여 쓰기 포인터값으로 사용하는 것을 특징으로 하는 영상 프레임 재배치 방법.
11. 청구항9에 있어서, 읽기 포인터값은, 각 픽쳐 종류는 쓰기 경우의 픽쳐 종류보다 한 픽쳐 시간 동안 지연된 값을 사용하며, IP-픽쳐는 서브GOP 인덱스를 그대로 사용하는 것을 특징으로 하는 영상프레임 재배치 방법.