KR100730689B1 - 동영상 데이터 인코더 및 그 제어 방법 - Google Patents

Abstract

본 발명은 동영상 데이터 인코더 및 그 제어 방법에 관한 것으로서, 특히 움직임 예측/보상(motion estimation/compensation) 기법을 이용하여 동영상 데이터를 압축하는 동영상 데이터 인코더 및 그 제어 방법에서, 재구성 프레임을 위한 1 프레임의 데이터양과 단위 움직임 예측/보상을 수행할 때 요구되는 참조 프레임의 참조 데이터양을 저장 용량으로 가진 메모리를 이용하면서도, 종래와 동일하게 움직임 예측/보상을 수행하는 것을 요지로 한다. 본 발명에 따르면, 종래에 참조 프레임과 재구성 프레임을 위해 2 프레임 용량의 메모리를 사용하는 것에 비해 현저한 원가 절감의 효과를 얻을 수 있다.

움직임 예측/보상, 동영상 데이터 인코더, 메모리, 참조 프레임.

Description

동영상 데이터 인코더 및 그 제어 방법{Video Data Encoder and its control method}

도 1은 본 발명에 따른 동영상 데이터 인코더의 일실시예를 도시한 블록도이다.

도 2는 본 발명에 따라 움직임 예측/보상을 수행하는 방법을 설명하기 위한 도면이다.

도 3은 종래의 움직임 예측/보상을 수행하는 과정을 설명하기 위한 도면이다.

도 4는 종래의 동영상 데이터 인코더의 구성을 도시한 블록도이다.

<도면 주요 부분의 부호에 대한 설명>

1...입력단, 2...제1 메모리,

3...움직임 예측/보상 모듈

40...제2메모리, 50...제어모듈

6...출력단.

본 발명은 동영상 데이터 인코더 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 움직임 예측/보상(motion estimation/compensation) 기법을 이용하여 동영상 데이터를 압축하는 동영상 데이터 인코더 및 그 제어 방법에 관한 것이다.

최근 멀티미디어의 발달과 함께 이를 전송하고 저장할 필요성이 증대하면서, 품질을 저하시키지 않으면서 효율적으로 데이터를 가공하고 처리하는 기법이 제안되고 있다. 특히, 디지털화된 멀티미디어 데이터는 그 품질이 높아지는 만큼 데이터의 양도 비례하여 증가하게 되는데, 거대한 용량의 데이터는 전송은 물론 저장에도 적합하지 않다.

이러한 필요성에 의해 발전된 것이 데이터의 압축 기술이다. 데이터의 압축 기술에는 그 대상이나 표준에 따라 JPEG, MPEG-1/2/4 등이 널리 사용되고 있지만, 그 중에서도 동영상 데이터의 압축 기술은 최근에 더욱 관심을 끌고 있다.

MPEG-4는 특히 동영상의 무선 통신을 가능하게 하는 동영상 데이터의 압축 표준으로서, 동영상 데이터의 압축 시에 공간적 중복성(spatial redundancy)을 제거할 뿐 아니라 시간적 중복성(temporal redundancy)까지 제거하도록 하고 있다.

시간적 중복성을 제거하기 위해 채용하는 것이 움직임 예측/보상 기법이다. 동영상은 결국 여러 장의 정지영상을 시간적 순서로 나열한 것인데, 움직임 예측/ 보상 기법이란, 이전의 영상을 참조하여 대상의 움직임을 예상하고 그 변화만을 보상함으로써, 이전의 영상에서 변화하지 않은 부분에 대해 데이터가 중복되는 것을 방지한다. 결과적으로, 움직임이 적을수록 데이터의 양은 획기적으로 감소하게 된다.

움직임 예측/보상은 기본적으로 동영상을 구성하는 기본 단위인 마크로 블록(Macro-Block)의 단위로 수행되지만, 이를 수행하기 위해서는 참조 프레임(reference frame)이 필요하고, 참조 프레임은 프레임 메모리에 저장되어 있다. 또, 움직임 예측/보상을 수행한 결과로서 얻어지는 데이터는 재구성 프레임(reconstruction frame)을 구성하게 된다. 움직임 예측/보상은 마크로 블록의 단위로 수행되지만, 동영상 데이터의 인코딩은 프레임 단위로 이루어지게 된다. 따라서, 움직임 예측/보상의 결과값은 또다른 프레임 메모리에 순차적으로 기록되어 재구성 프레임을 구성하게 된다.

종래의 동영상 데이터 인코더에서는, 움직임 예측/보상을 수행하기 위해 적어도 두 개의 프레임을 기록할 수 있는 메모리가 요구되었다. 하나는 참조 프레임을 위한 것이고, 다른 하나는 재구성 프레임을 위한 것이다.

도 3은 MPEG-4 규격에 따라 동영상 데이터를 인코딩하는 종래의 인코더에서 움직임 예측/보상을 수행하기 위한 과정을 시간적 순서로 나타낸 것이다.

우선, A 단계에서 대상 데이터가 메모리에 임시적으로 저장된다. 움직임 예측/보상은 마크로 블록의 단위로 수행되므로, 적어도 1 마크로 블록의 크기를 가진 임시 메모리가 요구되지만, 통상 1 라인의 마크로 블록을 저장하여 두기 때문에, 이에 대응하는 메모리가 요구된다.

또한, 대상 데이터를 위한 1 라인의 마크로 블록을 저장하는 메모리 외에, 두 개의 프레임 크기에 대응하는 메모리(이하, '프레임 메모리'라 한다)가 필요하다. 상술한 바와 같이, 움직임 예측/보상을 수행하기 위해서는 참조 프레임(ref_A)이 반드시 필요하고, 참조 프레임을 참조하여 움직임 예측/보상을 수행한 결과값을 기록하여 프레임을 재구성(이를 '재구성 프레임(rec_A)'이라 한다)한다. B 단계에서는 A 단계에서의 재구성 프레임(rec_A)을 참조 프레임(ref_B)으로서 참조하여, 재구성 프레임(rec_B)을 생성하게 된다. C 단계에서도 마찬가지로 B 단계에서의 재구성 프레임(rec_B)을 참조 프레임(ref_C)으로서 참조하여, 재구성 프레임(rec_C)을 생성하게 된다.

도 4는 상술한 동작을 수행하기 위한 종래의 동영상 데이터 인코더의 구성을 도시한 것이다.

도 4에 도시된 바와 같이, 종래의 동영상 데이터 인코더(10)는 입력단(1)을 통해 압축부호화할 데이터를 입력받아 저장하는 제1 메모리(2)를 포함한다. 제1 메모리의 저장 용량은 반드시 1 프레임일 필요는 없다. 왜냐하면, 움직임 예측/보상은 마크로 블록 단위로 수행되기 때문이다. 그러나, 원활한 움직임 예측/보상을 수행하기 위해서는 적어도 1 라인의 마크로 블록을 저장하여 두는 것이 좋다.

종래의 동영상 데이터 인코더는 제2 메모리(4)를 포함하고 있는데, 제2 메모리는 참조 프레임을 저장하고 재구성 프레임을 기록하여 생성하기 위해, 적어도 2 프레임의 데이터 용량을 저장할 수 있는 메모리로 구성되어야 한다.

움직임 예측/보상 모듈(3)은 마크로 블록 단위로 필요한 참조 데이터를 참조 프레임으로부터 독출하여 움직임 예측/보상을 수행한다.

제어 모듈(5)은 제2 메모리(4)에 저장된 참조 프레임으로부터 각각의 마크로 블록에 대한 움직임 예측/보상을 수행할 때마다, 요구되는 참조 데이터를 독출하여 움직임 예측/보상 모듈(3)에 전달하고, 움직임 예측/보상 모듈(3)로부터 움직임 예측/보상의 결과값을 수신하여 제2 메모리(4)의 재구성 프레임 영역에 기록한다.

결과적으로, 종래의 MPEG-4 규격에 따른 동영상 데이터 인코더는 두 개의 프레임 메모리를 구비하여야 하는데, 하나의 프레임 메모리는 참조 프레임을 위해, 다른 하나의 프레임 메모리는 움직임 예측/보상의 결과인 재구성 프레임을 저장하기 위해 사용된다.

이 두 개의 프레임 메모리가 반드시 물리적으로 구분되어야 하는 것은 아니므로, 두 개의 프레임에 대응하는 용량을 가진 하나의 메모리를 구비하는 것도 좋다.

그러나, 여전히 문제가 되는 것은 두 개의 프레임에 대응하는 용량을 가진 메모리가 반드시 필요하게 되는 것이고, 동영상 데이터의 품질이 향상되어 이를 나타내는 데이터의 양이 증가할 수록 이러한 요구도 함께 증가하게 된다. 이에 따라, 동영상 데이터 인코더에 구비되어야 할 메모리의 용량도 증가되어, 인코더의 제조 원가 상승의 원인이 되기도 한다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 종래보다 현저히 작은 용량의 메모리를 가지고도 움직임 예측/보상을 수행할 수 있는 동영상 데이터 인코더 및 그 제어 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명에 따른 동영상 데이터 인코더는, 동영상 데이터를 압축부호화하기 위한 동영상 데이터 인코더로서, 압축부호화할 데이터를 입력받아 저장하는 제1 메모리; 상기 제1 메모리에 저장된 상기 압축부호화할 데이터에 대해 소정 단위별로 움직임 예측/보상을 수행하는 움직임 예측/보상 모듈; 상기 각각의 소정 단위에 대한 1회분의 움직임 예측/보상을 수행하기 위해 필요한 참조 프레임의 참조 데이터양과, 움직임 예측/보상을 수행한 결과값으로 재구성 프레임을 생성하여 저장하기 위한 1 프레임의 데이터양을 저장하기 위한 용량을 가진 제2 메모리; 및 상기 각각의 소정 단위에 대한 움직임 예측/보상을 수행하기 위해 필요한 참조 프레임의 참조 데이터를 상기 제2 메모리로부터 순차적으로 독출하여 상기 움직임 예측/보상 모듈로 전달하고, 상기 움직임 예측/보상 모듈로부터 움직임 예측/보상의 결과값을 수신하면 상기 제2 메모리에서 상기 참조 데이터를 독출한 영역으로부터 1 프레임만큼 떨어진 영역에 순차적으로 기록하는 제어 모듈을 포함한다.

본 발명에 따르면, 상기 제1 메모리는 1 라인의 마크로 블록을 저장하는 메모리이고, 상기 제2 메모리는 1 라인의 마크로 블록에 대한 움직임 예측/보상을 수 행하기 위해 요구되는 참조 프레임의 참조 데이터양과 1 프레임의 데이터양을 저장할 수 있는 용량을 가진 메모리인 것이 바람직하다.

본 발명에 따르면, 상기 제2 메모리는, 재구성 프레임을 저장하기 위한 1 프레임의 용량에 더하여, 3 라인의 마크로 블록에 해당하는 참조 데이터양을 저장하기 위한 용량을 가진 메모리인 것이 좋다.

또한, 본 발명에 따르면, 상기 제어 모듈은, 이전 단계에서 생성된 재구성 프레임을 현재 단계에서의 참조 프레임으로서 순차적으로 독출하여 상기 움직임 예측/보상 모듈에 제공하도록 될 수 있다.

본 발명에 따른 동영상 데이터 인코더의 제어 방법은, 움직임 예측/보상 기법을 이용하여 동영상 데이터를 압축부호화하는 동영상 데이터 인코더의 제어 방법으로서, 압축부호화할 데이터에 대해 소정 단위로 움직임 예측/보상을 수행하기 위해, 상기 각각의 소정 단위에 대한 움직임 예측/보상을 위해 요구되는 참조 프레임의 참조 데이터를 메모리로부터 독출하여 움직임 예측/보상 모듈로 전달하고, 상기 움직임 예측/보상 모듈로부터 수신한 결과값은 상기 메모리에서 상기 참조 데이터가 기억된 위치로부터 1 프레임만큼 떨어진 위치부터 순차적으로 기록하여 재구성 프레임을 생성하도록 하는 것을 특징으로 한다.

여기서, 본 발명에 따르면, 상기 재구성 프레임이 완성된 후에, 이를 출력함과 동시에 다음 단계에서의 참조 프레임으로서 순차적으로 독출하여 움직임 예측/보상을 수행하도록 하는 것이 바람직하다.

이하, 첨부된 도면을 참조하여 본 발명에 대해 보다 상세하게 설명하겠다.

도 1은 본 발명에 따른 동영상 데이터 인코더의 일실시예를 도시한 블록도이다.

도 1에 도시된 바와 같이, 본 실시예에서의 동영상 데이터 인코더(100)는, 압축부호화할 데이터가 입력단(1)을 통해 입력되면 이를 일시적으로 저장하는 제1 메모리(2)를 구비한다.

제1 메모리(2)는, 상술한 바와 같이, 반드시 1 프레임의 저장 용량을 가질 필요는 없고, 움직임 예측/보상이 마크로 블록 단위로 수행되므로 적어도 1 마크로 블록 크기의 저장 용량을 가진 메모리이어야 한다. 바람직하게는, 1 라인의 마크로 블록을 저장하는 메모리인 것이 좋다.

움직임 예측/보상 모듈(3)은 제1 메모리(2)로부터 마크로 블록 단위로 데이터를 독출하여 이에 대한 움직임 예측/보상을 수행한다. 이 때, 필요한 것이 참조 프레임의 데이터인데, 일반적으로 움직임 예측/보상을 수행할 대상 마크로 블록에 대응하는 이전 프레임에서의 데이터와 그 주변의 마크로 블록에 대응하는 데이터이다.

하나의 마크로 블록 단위에 대한 움직임 예측/보상을 수행하기 위해 필요한 참조 프레임의 참조 데이터양은 움직임 예측/보상의 정책에 따라 다를 수 있지만, MPEG-4와 같이 널리 알려진 규격에서는, 1 라인의 마크로 블록에 대한 움직임 예측/보상을 수행하기 위해 참조 프레임에서의 대응하는 마크로 블록을 포함하는 라인과 그 아래로의 두 개의 라인을 포함하는 3 라인의 마크로 블록을 참조하도록 정하 고 있다.

따라서, 본 실시예에서의 제2 메모리(40)는, 일예로서, 1 프레임의 데이터양을 저장할 수 있는 용량에 추가하여 3 라인의 마크로 블록을 저장할 수 있는 용량을 가지면 충분하다. 그러나, 반드시 3 라인의 마크로 블록에 해당하는 용량을 추가적으로 가지는 것에 한정되는 것은 아니고, 움직임 예측/보상의 정책에 따라 변동될 수 있다.

제어 모듈(50)은, 예컨대, 3 라인의 마크로 블록을 제2 메모리(40)로부터 독출하여 참조 데이터로서 움직임 예측/보상 모듈(3)에 전달하고, 움직임 예측/보상 모듈(3)로부터 움직임 예측/보상의 결과값을 수신하여 제2 메모리(40)에 기록하여 저장한다.

이 때, 움직임 예측/보상의 결과값은 3 라인의 마크로 블록, 즉 참조 데이터를 독출한 위치로부터 1 프레임만큼 떨어진 위치에서부터 순차적으로 기록한다. 1 프레임의 재구성 프레임이 완성되면, 이것을 출력단(6)을 통해 출력함과 동시에 재구성 프레임을 참조 프레임으로 하여 다음 프레임의 동영상 데이터에 대한 움직임 예측/보상을 수행한다.

본 발명에 따라 동영상 데이터 인코더(100)를 제어하여, 최소의 용량을 가진 메모리만으로도 움직임 예측/보상을 수행하는 방법을 도 2를 참조하여 설명한다.

본 발명은 움직임 예측/보상 기법을 변경하는 것이 아니라, 종래와 동일하게 움직임 예측/보상을 수행하면서도, 이에 따라 요구되는 메모리의 용량을 최소로 할 수 있도록 제어하는 방법을 제공한다.

도 3을 참조하여 보면, 움직임 예측/보상은 어차피 마크로 블록 단위로 순차적으로 수행되고, 압축부호화할 동영상 데이터의 1 프레임에 대해 움직임 예측/보상을 수행하더라도 참조 프레임 전체가 동시에 참조되는 것이 아니라, 대응하는 마크로 블록과 그 주변의 마크로 블록에 해당하는 데이터가 순차적으로 요구될 뿐임을 알 수 있다. 또한, 재구성 프레임은 1 프레임 단위로 완성되어야 하지만, 참조 프레임은 순차적으로 데이터를 독출하여 사용할 뿐, 독출하여 사용한 데이터를 반드시 유지하여야 할 이유는 없다.

본 발명자는 종래의 움직임 예측/보상이 시간적 순서로 수행되는 것을 이용하여, 2 프레임이 아닌 1 프레임에 약간의 용량을 추가한 메모리만으로도 움직임 예측/보상을 수행할 수 있음을 알게 되었다.

한정되는 것은 아니지만, MPEG-4 규격에 따라 1 라인의 마크로 블록을 압축부호화하면서 참조 프레임의 3 라인의 마크로 블록이 요구되는 것을 예로 하여 본 발명의 실시예에 따른 메모리의 사용 상태를 도 2에 도시하였다. 여기서는, 1 프레임을 9 라인으로 가정하여 설명한다.

본 실시예에서의 제2 메모리(40)는 12 라인의 마크로 블록 라인을 저장할 수 있는 용량을 가지고 있다.

(a)에서 1-3 라인이 참조 데이터로서 독출되고, 이것은 움직임 예측/보상 모듈로 전달된다. 참조 프레임이 1-9 라인까지 기록되어 저장되어 있다고 가정한다.

(b)에서 1-3 라인을 참조 데이터로 한 움직임 예측/보상의 결과값은 10 라인에 기록한다. 10 라인은 참조 프레임이 기록되지 않은 영역이므로, 이로 인해 참조 프레임이 누락되는 일은 없다.

(c)에서는 2-4 라인이 참조 데이터로 독출되고, 움직임 예측/보상 모듈로 전달된다.

(d)에서는 (c)의 결과값이 11 라인에 기록된다.

(e)는 (a)~(d)의 과정을 반복함으로써 1 프레임을 재구성 프레임을 완성한 상태를 보여준다. 참조 프레임의 1-7라인이 재구성 프레임으로 인해 삭제되었지만, 이들 참조 데이터가 삭제된 때에는 이미 그 데이터는 움직임 예측/보상을 위해 사용되고 난 이 후이다.

(f)는 다음 프레임의 동영상 데이터에 대해 움직임 예측/보상을 수행하기 위해, (e)에서의 재구성 프레임을 참조 프레임으로 하여 10-12 라인을 참조 데이터로서 독출하고 움직임 예측/보상을 수행하고 그 결과값을 1 프레임만큼 떨어진 7 라인에 기록하여 저장한다.

상술한 바와 같이, 제2 메모리(40)를 제어하여 데이터의 독출 및 기록을 제어하면, 종래 2 프레임의 데이터양을 저장하는 메모리가 요구되었던 것을, 1 프레임의 데이터양에 한 단위의 움직임 예측/보상에 요구되는 참조 데이터양만큼의 용량만을 가진 메모리로도 동일한 동작을 수행할 수 있다.

본 발명에서는 MPEG-4 표준을 예로서 설명하였지만, 반드시 이에 한정되는 것은 아니다.

또한, 움직임 예측/보상 모듈(3)과 제어 모듈(50)은 하드웨어적으로 구성될 수도 있고, 그 기능을 수행하기 위한 소프트웨어를 탑재한 프로세서일 수도 있다.

동영상 데이터를 압축부호화할 때에, 움직임 예측/보상을 수행하기 위해 종래에는 적어도 2 프레임의 용량을 가진 메모리가 요구되었던 반면에, 본 발명에 따르면, 1 프레임의 용량에 추가하여 소정 단위에 대한 움직임 예측/보상을 수행하기 위해 필요한 참조 데이터양에 대응하는 용량을 가진 메모리만으로도 종래와 동일한 움직임 예측/보상을 수행할 수 있게 된다.

따라서, 본 발명에 따르면, 제조 원가의 절감을 실현할 수 있는데, 처리하고자 하는 동영상의 해상도가 높을 수록 요구되는 메모리 용량도 증가되어, 본 발명에 따른 원가 절감의 효과 또한 현저히 높아진다.

Claims (6)

1. 동영상 데이터를 압축부호화하기 위한 동영상 데이터 인코더로서,

   압축부호화할 데이터를 입력받아 저장하는 제1 메모리;

   상기 제1 메모리에 저장된 상기 압축부호화할 데이터에 대해 소정 단위별로 움직임 예측/보상을 수행하는 움직임 예측/보상 모듈;

   상기 각각의 소정 단위에 대한 1회분의 움직임 예측/보상을 수행하기 위해 필요한 참조 프레임의 참조 데이터양과, 움직임 예측/보상을 수행한 결과값으로 재구성 프레임을 생성하여 저장하기 위한 1 프레임의 데이터양을 저장하기 위한 용량을 가진 제2 메모리; 및

   상기 각각의 소정 단위에 대한 움직임 예측/보상을 수행하기 위해 필요한 참조 프레임의 참조 데이터를 상기 제2 메모리로부터 순차적으로 독출하여 상기 움직임 예측/보상 모듈로 전달하고, 상기 움직임 예측/보상 모듈로부터 움직임 예측/보상의 결과값을 수신하면 상기 제2 메모리에서 상기 참조 데이터를 독출한 영역으로부터 1 프레임만큼 떨어진 영역에 순차적으로 기록하는 제어 모듈

   을 포함하는 동영상 데이터 인코더.
2. 제1항에 있어서,

   상기 제1 메모리는 1 라인의 마크로 블록을 저장하는 메모리이고,

   상기 제2 메모리는 1 라인의 마크로 블록에 대한 움직임 예측/보상을 수행하기 위해 요구되는 참조 프레임의 참조 데이터양과 1 프레임의 데이터양을 저장할 수 있는 용량을 가진 메모리인 것을 특징으로 하는 동영상 데이터 인코더.
3. 제2항에 있어서,

   상기 제2 메모리는, 재구성 프레임을 저장하기 위한 1 프레임의 용량에 더하여, 3 라인의 마크로 블록에 해당하는 참조 데이터양을 저장하기 위한 용량을 가진 메모리인 것을 특징으로 하는 동영상 데이터 인코더.
4. 제1항 또는 제2항에 있어서,

   상기 제어 모듈은, 이전 단계에서 생성된 재구성 프레임을 현재 단계에서의 참조 프레임으로서 순차적으로 독출하여 상기 움직임 예측/보상 모듈에 제공하는 것을 특징으로 하는 동영상 데이터 인코더.
5. 움직임 예측/보상 기법을 이용하여 동영상 데이터를 압축부호화하는 동영상 데이터 인코더의 제어 방법으로서,

   압축부호화할 데이터에 대해 소정 단위로 움직임 예측/보상을 수행하기 위 해, 상기 각각의 소정 단위에 대한 움직임 예측/보상을 위해 요구되는 참조 프레임의 참조 데이터를 메모리로부터 독출하여 움직임 예측/보상 모듈로 전달하고,

   상기 움직임 예측/보상 모듈로부터 수신한 결과값은 상기 메모리에서 상기 참조 데이터가 기억된 위치로부터 1 프레임만큼 떨어진 위치부터 순차적으로 기록하여 재구성 프레임을 생성하도록 하는 것을 특징으로 하는 동영상 데이터 인코더의 제어 방법.
6. 제5항에 있어서,

   상기 재구성 프레임이 완성되면, 이를 출력함과 동시에 다음 단계에서의 참조 프레임으로서 순차적으로 독출하여 움직임 예측/보상을 수행하도록 하는 것을 특징으로 하는 동영상 데이터 인코더의 제어 방법.

Images