KR100284764B1 - 디지탈 영상 데이타 압축방법 및 부호화기 - Google Patents

Abstract

본 발명은 영상 데이타의 압축방법 및 이를 이용한 디지탈 영상데이타 부호화기를 공개한다. 그 방법은 현재의 영상 데이타와 상기 현재의 영상의 움직임 보상된 영상 데이타를 가산하여 레지듀 영상 데이타를 출력하고 상기 레지듀 영상 데이타를 입력하여 쿼드트리를 이용한 영역 분할을 수행하는 영역 분할단계, 상기 쿼드트리에 의해서 최종적으로 영역 분할된 영상 데이타의 대표값이 유사한 것끼리 연결하고 시작영역과 끝 영역을 구하는 연결 그래프 구성단계, 상기 쿼드트리에 의해서 영역 분할된 구조를 부호화하고, 정해진 처리순서에 따라 영역 분할된 구조의 지정 위치를 부호화하고, 상기 연결 그래프에 의해서 연결된 상기 끝 영역의 지정위치를 부호화한 후에 대표값을 부호화하는 단계를 구비한 것을 특징으로 한다. 따라서, 비슷한 대표값을 갖는 인접한 블럭들을 연결하여 부호화하므로써 비트 발생량을 줄일 수 있다.

Description

디지탈 영상 데이타 압축방법 및 부호화기

제1도는 종래의 쿼드트리(quadtree)를 통한 레지듀(residue) 영상데이타의 분할 과정을 나타내는 것이다.

제2도는 제1도에 나타낸 분할된 블럭에서 유사한 데이타 대표간을 갖는 블럭들간의 연결관계를 나타내는 것이다.

제3도는 제2도에 나타낸 그래프에서 루프를 제거한 후 탐색순서에 따른 다음 탐색블럭을 나타내는 것이다.

제4(a)-(c)도는 4×4, 2×2, 1×1블럭과 각 블럭에 있어서 다음 탐색블럭으로의 연결위치를 나타내는 값을 나타내는 것이다.

제5도는 제4도에 나타낸 블럭들이 연결된 것을 나타내는 것이다.

제6(a)-(d)도는 제1도에 나타낸 블럭들의 부호화과정을 설명하기 위한 것이다.

제7도는 본 발명의 디지탈 영상 부호화기의 블럭도이다.

제8도는 본 발명의 디지탈 영상 압축과정을 설명하기 위한 흐름도이다.

본 발명은 영상 데이타의 압축방법에 관한 것으로, 특히 불완전한 움직임 평가/보상, 움직이는 물체에 가려있는 배경의 출현, 새로운 물체의 출현등으로 발생하는 디지탈 영상 데이타 압축방법에 관한 것이다.

시간적으로 인접한 영상내의 물체들은 대부분 크지 않은 변화를 하기 때문에 이전의 영상을 참조하여 영상내 물체들의 움직임을 처리하면 매우 유사한 재현 영상을 구현할 수 있다. 영상내 물체들의 움직임 처리는 고정된 크기의 블럭, 가변 크기의 블럭 또는 엣지의 세그먼트를 이용한 영역등을 단위로 하여 이루어진다. 움직임 처리후에 재현된 영상은 물체내부를 거의 완벽하게 복원하지만 물체의 경개부분에서는 매우 부정확하게 복원되는 경우가 많다. 이는 움직임 처리에 있어서, 움직임 처리되는 단위 영역이 움직이는 물체의 모양과 일치하지 않기 때문에 발생한다. 또한, 움직이는 물체에 가려있는 배경이 출현했을 때도 물체의 경계에서 나타나기 때문에 움직임 처리에서 이를 처리할 수 없기 때문에 물체의 경계부분에서 부정확한 결과가 발생한다. 이러한 경향은 Strobach등이 IEEE transaction on communication에서 발표한 논문 “tree-structured scene adaptive coder"에서 잘 보여주고 있다. Strobach는 이 논문에서 움직임 처리 후의 재현 영상과 원영상간의 차이영상은 물자의 경계에 데이타의 집중이 이루어져 있기 때문에 쿼드트리를 이용하여 효과적으로 부호화할 수 있다는 것을 보였다.

Strobach가 제안한 쿼드트리는 에러 영상을 일정한 크기의 블럭으로 나누고 각 블럭에 대하여 대표값을 산출하고 블럭내의 여러가지 에러신호를 대표값으로 대체한다. 이러한 과정으로 대체된 블럭과 원래의 에러 블럭과의 차이가 크면 불럭을 4등분하여 세부 블럭으로 구분하여 각 세부 블럭에 대하여 또다시 대표값을 산출하고 또 다시 나눌 것인가에 대한 판단을 계속하게 된다.

제1(a)-(c)도는 종래의 Strobach가 제한한 쿼드트리를 설명하기 위한 것이다.

제1(a)도는 영상의 일부분을 가장 큰 크기의 블럭으로 나눈 것을 말한다. 제1(b)도는 각 블럭의 대표값을 산출하고, 산출된 블럭에 적용하여 에러가 큰 블럭에 대하여 다시 4등분한 것을 나타낸다. 제1(c)도는 제1(b)도에서 나누어진 각 블럭에 대하여 에러가 큰 블럭을 다시 4등분한 것을 나타낸다. 최종적으로 나누어진 블럭들에서 같은 무늬의 블럭들은 서로 비슷한 대표값을 갖는다.

제1(a)-(c)도에 나타낸 Strobach의 방법은 하나의 블럭에 대하여 산출한 대표값이 그 블럭의 에러를 충분히 보상하지 못할 때, 블럭을 4등분하여 각각의 세부 블럭들을 처리하게 되는데 이러한 경우에 인접함 블럭이 같은 대표값을 갖더라도 그 대표값을 각각 부호화해야 하는 중복이 발생한다.

제1(c)에 있어서, 부호화하는 정보는 쿼드트리 구조로 왼쪽 윗쪽블럭은 5비트(1 0111;분할구조를 설명하는 비트)+13(블럭수)×k(블럭당 하나의 대표값에 대해 할당되는 비트), 오른쪽 위쪽 블럭은 5비트(1 0010)+7×k(블럭당 하나의 대표값에 대해 할당되는 비트), 왼쪽 아래쪽 블럭은 5비트(1 0100)+7×k(불럭당 하나의 대표값에 대해 할당되는 비트), 오른쪽 아래쪽 블럭은 5비트(0 0000)+1×k(블럭당 하나의 대표값에 대해 할당되는 비트)로 부호화된다.

분할구조를 설명하는 비트에서 1은 4분할 하였음을 나타내는 것이고, 0은 4분할을 하지 않았음을 나타내는 것이다. 상술한 바와 같이, 종래의 Strobach가 제안한 방법은 대표값이 유사하거나 동일한 블럭에 대해서 일일이 그 대표값을 전송해야 하므로 전송량이 많아져 전송시간이 길어진다는 문제점이 있었다.

미국 특허 번호 제5,228,098에 공개된 Regis J. Crinon의 방법은 Strobach가 제안한 방법에서 에러값이 0인 곳도 부호화하는 부담을 갖는 단점을 극복하였다. 즉, 나누어진 세부 블럭들 중에 에러가 0인 블럭을 단순한 플레그만으로 표시하므로써 복호기에서 그대로 복원할 수 있다. 그러나, 이 방법에서도 디지탈 영상데이타 압축방법은 세분화된 블럭들에 인접한 여러 크기의 블럭들이 거의 유사하거나 같은 대표값을 가지고 있을 때에도 그 대표값을 모두 전송해야 하는 부담을 그대로 가지고 있었다.

본 발명의 목적은 보다 높은 압축효과를 기대할 수 있는 영상 데이타 압축방법을 제공하는데 있다.

본 발명의 다른 목적은 영상 데이타 압축/복원 방법을 이용한 디지털 영상 데이타 부호화기를 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 영상 데이타 압축방법은 현재의 영상 데이타와 상기 현재의 영상의 움직임 보상된 영상 데이타를 가산하여 레지듀 영상 데이타를 출력하고 상기 레지듀 영상 데이타를 입력하여 쿼드트리를 이용한 영역 분할을 수행하는 영역 분할단계, 상기 쿼드트리에 의해서 최종적으로 영역 분할된 영상 데이타의 대표값이 유사한 것끼리 연결하고 시작영역과 끝 영역을 구하는 연결 그래프 구성단계, 상기 쿼드트리에 의해서 영역 분할된 구조를 부호화하고, 정해진 처리순서에 따라 영역 분할된 구조의 지정 위치를 부호화하고, 상기 연결 그래프에 의해서 연결된 상기 끝 영역의 지정위치를 부호화한 후에 대표값을 부호화하는 단계를 구비한 것을 특징으로 한다.

상기 다른 목적을 달성하기 위한 본 발명의 디지탈 영상 데이타 부호화기는 현재의 영상 데이타를 저장하기 위한 현재 영상 저장수단, 상기 현재의 영상 데이 타의 움직임 보상된 영상을 저장하기 위한 움직임 보상된 영상 저장수단, 상기 현재 영상 데이타와 상기 움직임 보상된 영상 데이타를 가산하기 위한 가산수단, 상기 가산수단에 의해서 가산된 레지듀 영상 데이타를 저장하기 위한 레지듀 영상 저장수단, 상기 레지듀 영상 데이타를 쿼드트리에 의해서 영역 분할을 수행하고, 상기 영역 분할된 영상 데이타의 대표값이 유사한 것끼리 연결 그래프를 구성하여 시작 영역과 끝 영역을 구하고, 상기 쿼드트리에 의해서 영역 분할된 영상 데이타를 정해진 처리순서에 따라 지정위치를 부호화하고 상기 끝 영역의 지정위치를 부호화한 후에 대표값을 부호화하는 부호화 수단을 구비한 것을 특징으로 한다.

첨부된 도면을 참고로 하여 본 발명의 영상 데이타 압축방법 및 그 방법을 이용한 디지탈 영상데이타 부호화기를 설명하면 다음과 같다.

제2도는 제1(c)도에서 유사한 대표값을 갖는 블럭들간에 연결상태를 그래프로 나타낸 것이다. 그래프의 서치방법을 통하여 하나의 노드가 오직 하나의 통로를 갖도록 하여 제3도와 같은 그래프를 구성할 수 있다. 제3도에서 B는 연결된 노드들간에 시작 노드를 나타내며, E는 연결된 노드들간에 끝 노드를 나타낸다.

제3도에서 각 노드는 오직 하나의 다른 노드를 지정할 수 있거나 아무 노드도 지정하지 않는다. 각 노드는 실제 블럭에 있어서, 그 크기가 다를 수 있기 때문에 다른 크기의 블럭을 지정하기 위해서는 제4(a)-(c)도와 같이 각 크기에 따라서 지정을 위한 비트 수가 가변적이다. 제4(a)도에 나타낸 블럭은 16개의 지정위치를 갖고 제4(b)도에 나타낸 블럭은 8개의 지정위치를 갖고, 제4(c)도에 나타낸 블럭은 4개의 지정위치를 갖는다. 제4(a)-(c)도에 나타낸 바와 같이 블럭크기와 지정위치의 사용 가능 빈도에 따라서 각 비트를 아래의 표에 나타낸 것과 같이 가변적으로 할당하였다.

[표 1]

[표 2]

[표 3]

상기 표 1은 제4(a)도에 나타낸 블럭의 지정 위치의 할당 비트, 표 2는 제4(b)도에 나타낸 블럭의 지정 위치의 할당 비트, 표 3은 제4(c)도에 나타낸 블럭의 지정 위치의 할당 비트를 나타낸다.

제5도는 가장 작은 블럭의 크기를 n×n이라고 할 때 4n×4n(10), n×n(20), 2n×2n(30), 4n×4n(40)의 블럭이 연속적으로 연결되어 있을 때, 체인을 위하여 할당되는 비트를 나타낸다. 4n×4n(10)에서 n×n(20)으로 연결은 제4(a)도에 나타낸 블럭을 나타내고 지정위치는 표 1에 나타낸 9가 되며 비트로 표현하면 11001이다. n×n(20)에서 2n×2n(30)으로 연결은 제4(c)도에 나타낸 블럭을 나타내며 지정위치는 표 3의 1이 되며 비트로 표현하면 01이 된다 2n×2n(30)에서 4n×4n(40)으로 연결은 제4(b)도에 나타낸 블럭을 나타내며 지정위치는 표 2의 1이 되면 비트로 표현하면 001이 된다. 4n×4n(40)은 그 다음에 연결되는 블럭이 없으므로 지정위치는 표 1의 X(X는 지정위치가 없는 경우를 말한다.)가 되며 비트로 표현하면 10001이 된다.

제6(a)-(d)도는 제4도에서 나타낸 지정위치와 지정위치 비트표에 의해서 제1(c)도의 각 블럭을 부호화한 것을 나타낸다.

먼저, 제6(a)도에 나타낸 블럭의 부호화를 수행하면, 아래의 표 4에 나타낸 것과 같이 부호화가 된다.

[표 4]

[표 5]

[표 6]

연결 그래프에 따라 제6(a)에서 제6(d)도에 나타낸 각 블럭의 순서대로 부호화되는 것을 나타내는 것으로, 표 4는 제6(a)도에 나타낸 블럭의 부호화를 나타내는 것이고, 표 5는 제6(b)도에 나타낸 블럭의 부호화를 나타내는 것이고, 표 6은 제6(c)도에 나타낸 블럭의 부호화를 나타내는 것이다. 제6(d)도는 부호화를 하면 원래의 블럭이 그대로 있는 형태이므로 0이 된다. 그리고 M으로 표시한 것은 대표값을 나타내는 것이고, 대표값은 연결 그래프의 끝 노드에서 전송해 주면된다. 즉, 5, 7, 17, 19, 21블럭의 지정위치 다음에 대표값을 전송한다. 부호화되는 순서는 4개의 세부 블럭으로 나누어진 블럭의 부호화 순서는 왼쪽-위쪽 블럭(제6(a)도)이 가장 먼저 부호화되고 다음 오른쪽-위쪽 블럭(제6(b)도), 왼쪽-아래쪽(제6(c)도), 가장 마지막으로 오른쪽-아래쪽(제6(d)도)의 순서이다.

상술한 과정은 압축과정을 나타내는 것이고, 복원 과정은 상기 동작 순서의 역으로 수행된다.

제7도는 본 발명의 영상 데이타의 압축/복원 방법을 이용한 디지탈 영상 부호화기의 블럭도이다.

제7도에 있어서, 부호화기는 현재의 영상을 저장하기 위한 현재 영상 저장기(100), 가산기(110), 레지듀 영상 저장기(120), 쿼드트리와 가변 블럭 체인을 이용한 레지듀 부호화기(130), 비트율 제어기(140), 움직임 평가기(150), 움직임 보상기(160), 가산기(170), 재구성된 영상 저장기(180), 및 움직임 보상된 영상 저장기 (190)로 구성되어 있다.

상기 구성의 동작을 설명하면 다음과 같다.

현재의 영상을 일정한 크기로 나누고 나누어진 블럭을 단위로 하여 기준 영상에서의 움직임 평가를 움직임 평가기(150)에서 수행한다. 움직임 평가를 통해서 생성된 움직임 벡터는 움직임 복호화기로 전송되며 복호화기는 기준 영상상에서 움직임 벡터들을 이용하여 일차적인 영상을 복원한다. 가산기(110)는 현재의 영상과 움직임 보상된 영상저장기(190)로 부터의 움직임 보상된 영상을 가산하여 레지듀 영상을 출력한다. 쿼드트리와 가변블럭 체인을 이용한 레지듀 부호화기(130)는 레지듀 영상 저장기(120)로 부터의 레지듀 영상을 입력하여 영상 압축을 수행한다. 비트율 제어기(140)는 비트율을 제어하여 영상 압축된 데이타를 복호화기로 전송한다. 가산기(170)은 움직임 보상기(160)에 의해서 움직임 보상된 영상 데이타와 영상 압축된 대이타를 가산하여 재구성된 영상저장기(180)에 저장한다. 재구성된 영상 저장기(180)의 출력 데이타를 움직임 평가기(150)와 움직임 보상기(160)로 입력된다.

그리고, 복호화기는 상기 부호화기의 역순으로 구성된다.

제8도는 제7도에 나타낸 레지듀 부호화기(130)의 부호화 순서를 나타내는 동작 흐름도이다.

제8도에 있어서, 레지듀 영상을 입력하여 쿼드트리를 이용한 영역분할을 수행한다.(제200단계) 영역 분할된 각 블럭의 대표값이 유사한 것끼리 연결 그래프를 구성한다. (제210단계) 하나의 노드에서 엣지를 오직 하나 또는 갖지 않는 그래프의 연결을 수행한다. (제220단계) 쿼드트리상에서 가변블럭의 구조를 부호화한다. (제230단계) 최종적으로 나누어진 각 블럭의 정해진 처리순서에 따라 연결 그래프상의 엣지를 부호화한다.(제240단계) 다른 노드로의 엣지를 갖지않는 노드에 대하여 블럭의 대표값을 부호화한다. (제250단계)

따라서, 본 발명의 영상 데이타의 압축방법은 첫째, 부호화기에 있어서 모든 가변 블럭에 대하여 레지듀 영상 데이타의 대표값을 부호화하는 것에 비하여 비숫한 대표값을 갖는 인접한 가변 블럭들을 묶는 체인을 부호화하므로써 화질면에서 같은 효과를 나타내면서 비트 발생량을 줄일 수 있다.

둘째, 그래프를 이용하여 빠른 처리 속도를 기대할 수 있다.

세째, 영상의 크기에 따라서 최소 단위의 블럭 크기를 조절할 수 있으므로 임의의 크기의 영상에 적용할 수 있고, 매우 많은 크기 종류의 블럭들이 있더라도 적용할 수 있다.

네째, 부호화되는 대표값을 양자화하므로써 비트 발생량의 조절이 매우 용이하다.

Claims (2)

1. 현재의 영상 데이타와 상기 현재의 영상의 움직임 보상된 영상 데이타를 가산하여 레지듀 영상 데이타를 출력하고 상기 레지듀 영상 데이타를 입력하여 쿼드 트리를 이용한 영역 분할을 수행하는 영역분할단계; 상기 쿼드트리에 의해서 최종적으로 영역 분할된 영상 데이타의 대표값이 유사한 것끼리 연결하고 시작영역과 끝 영역을 구하는 연결그래프 구성단계; 상기 쿼드트리에 의해서 영역 분할된 구조를 부호화하고, 정해진 처리순서에 따라 영역 분할된 구조의 지정 위치를 부호화하고, 상기 연결 그래프에 의해서 연결된 상기 끝 영역의 지정위치를 부호화한 후에 대표값을 부호화하는 단계를 구비한 것을 특징으로 하는 디지탈 영상 압축방법.
2. 현재의 영상 데이타를 저장하기 위한 현재 영상 저장수단; 상기 현재의 영상 데이타의 움직임 보상된 영상을 저장하기 위한 움직임 보상된 영상 저장수단; 상기 현재 영상 데이타와 상기 움직임 보상된 영상데이타를 가산하기 위한 가산수단; 상기 가산수단에 의해서 가산된 레지듀 영상 데이타를 저장하기 위한 레지듀 영상 저장수단; 상기 레지듀 영상 데이타를 쿼드트리에 의해서 영역 분할을 수행하고, 상기 영역 분할된 영상 데이타의 대표값이 유사한 것끼리 연결그래프를 구성하여 시작 영역과 끝 영역을 구하고, 상기 쿼드트리에 의해서 영역 분할된 영상 데이타를 정해진 처리순서에 따라 지정위치를 부호화하고 상기 끝 영역의 지정위치를 부호화한 후에 대표값을 부호화하는 부호화 수단을 구비한 것을 특징으로 하는 디지탈 영상 데이타 부호화기.