KR20000004637A

KR20000004637A - 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법

Info

Publication number: KR20000004637A
Application number: KR1019980026098A
Authority: KR
Inventors: 정재원; 권지헌; 문주희
Original assignee: 김영환; 현대전자산업 주식회사
Priority date: 1998-06-30
Filing date: 1998-06-30
Publication date: 2000-01-25
Also published as: KR100535630B1

Abstract

본 발명은 압축한 동영상을 전송할 경우 전송 에러를 최소화하도록 그레이 모양정보/색상정보 부호화 및 복호화 방법에 관한 것으로서, 이러한 본 발명은, 송신할 비디오 패킷 헤더를 부호화하여 전송하는 단계; 비디오 패킷내의 해당 마크로 블록의 모양 정보를 부호화하여 전송하는 단계; 비디오 패킷내의 해당 마크로 블록의 색상 정보를 위한 부가 정보를 부호화하여 전송하는 단계; 마크로 블록의 색상 정보의 이동 정보를 부호화하여 전송하는 단계; 마크로 블록의 그레이 모양 정보 및 관련 부가 정보를 부호화하여 전송하는 단계; 이동 정보와 색상 정보를 구분하기 위한 마커 신호를 부호화하여 전송해주는 단계; 일정 비디오 패킷내의 모든 그레이 마크로 블록의 색상 정보를 위한 부가 정보와 해당 색상 정보를 부호화하여 전송하는 단계; 그레이 마크로 블록의 그레이 색상 정보를 위한 부가 정보 및 그레이 색상 정보를 부호화하여 전송하는 단계를 수행하여 그레이 모양정보 및 색상정보를 부호화하게 된다.

또한, 수신된 일정 비디오 패킷의 복호화시 수신된 비디오 패킷 헤더를 복호화 하는 단계; 비디오 패킷내의 해당 마크로 블록의 모양 정보를 복호화 하는 단계; 해당 마크로 블록의 색상 정보를 위한 부가 정보를 복호화 하는 단계; 마크로 블록의 색상 정보의 이동 정보를 복호화 하는 단계; 마크로 블록의 그레이 모양 정보 및 관련 부가 정보를 복호화 하는 단계; 이동 정보와 색상 정보를 구분하기 위한 마커 신호를 복호화 하는 단계; 일정 비디오 패킷내의 모든 그레이 마크로 블록의 색상 정보를 위한 부가 정보와 해당 색상 정보를 복호화 하는 단계; 그레이 마크로 블록의 그레이 색상 정보를 위한 부가 정보 및 그레이 색상 정보를 복호화 하는 단계를 수행하여 그레이 모양정보 및 색상정보를 복호화 함으로써, 에러가 많은 채널을 통해 비디오 패킷을 전송한 경우에도 수신단에서 원할히 동영상의 재현이 가능하다.

Description

디지털 그레이 모양정보/색상정보의 부호화/복호화 방법

본 발명은 디지털 동영상의 그레이 모양정보(grayscale shape information)의 부호화 및 복호화에 관한 것으로, 특히 압축한 동영상을 전송할 경우 영상내 부호화와 영상간 부호화를 동시에 사용하여 부호화를 수행함으로써 전송 에러를 최소화하도록 한 그레이 모양정보 및 색상 정보의 부호화 및 복호화 방법에 관한 것이다.

일반적으로, 랜덤 액세스(Random access)와 고효율의 영상 압축을 위하여, 디지털 비디오의 프레임들을 I 프레임, P 프레임, B 프레임 등의 세 가지 타입으로 정의, 사용하는 방법이 디지털 동영상 부호화기에서 널리 이용된다. 특히 P 프레임과 B 프레임은 이동 보상 예측을 수행함으로써 높은 압축률이 가능하다. 여기서 I 프레임, P 프레임, B 프레임 등을 통칭하여 "프레임 타입"이라 한다. 상기 세 프레임의 특징을 좀 더 상세히 살펴보면 다음과 같다.

첫째, I 프레임(Intra coded frame)은 부호화시에 다른 프레임들을 참조하지 않는다.

둘째, P 프레임(Predictive coded frame)은 이전 I 프레임이나 이전 P 프레임을 참조하여 이동 보상 예측을 사용, 부호화하기 때문에 높은 압축률의 부호화가 가능하다. 비디오의 연속된 프레임간에는 시간축상으로 색상 정보(color information)의 중복성(redundancy)이 크다. 그러므로 I 프레임처럼 참조 없이 부호화하는 방식보다, 이전 I 프레임이나 이전 P 프레임과 현재 P 프레임 사이의 이동 정보(motion estimation)를 추정하고, 이동 보상 예측을 수행하며 예측 오차(prediction error)와 이동 정보를 부호화하여 전송하는 방식이 압축률 측면에서 유리하다.

셋째, B 프레임(Bidirectionally-predictive coded frame)은 가장 압축률이 높은 프레임으로, 이전 프레임(previous frame) 뿐만 아니라 이후 프레임(next frame)도 참조하여 예측을 수행한다. B 프레임은 P 프레임과 같이 이동 보상 예측을 이용한다. 그러나 참조 영상을 두 개 사용하고, 이 중에서 보다 우수한 예측 성능을 선택하기 때문에 압축률이 가장 높다. 한편 이 프레임은 다른 프레임을 위한 참조 영상(reference frame)이 되지는 않는다. 그러므로 이전 프레임은 현재 B 프레임과 디스플레이(display )순서상으로 가장 가까운 이전의 I 프레임 또는 P 프레임이며, 이후 프레임은 현재 B 프레임과 디스플레이 순서상으로 가장 가까운 이후의 I 프레임 또는 P 프레임이다.

첨부한 도면 도1은 I 프레임, P 프레임, B 프레임으로 구성된 디지털 비디오의 일예이며, 디스플레이 순서대로 나타낸 것이다. 도1에서 위쪽의 화살표는 P 프레임에서의 참조 방향을 나타낸 것이며, 아래쪽의 화살표는 B 프레임의 참조 방향을 나타낸 것이다. 이 예에서 I 프레임의 간격, 연속되는 B 프레임의 개수 등은 응용(application) 또는 장치(equipment)에 따라 변할 수 있다.

디지털 비디오를 압축 부호화할 경우 I 프레임, P 프레임 그리고 B 프레임을 모두 사용한다면 디스플레이(display) 순서와 부호화 순서가 상호 달라진다. 도1을 예로 들면, 디스플레이 순서는 도면에서와 같이 I1, B1, P1, B2, P2, B3, P3, B4, I2인 반면, 부호화 순서는 I1, P1, B1, P2, B2, P3, B3, I2, B4이다. 그러므로 디스플레이 순서상으로 두 번째 프레임인 B1을 수신단에서 디스플레이하기 위해서는 세 번째 프레임 P1의 복호화를 수행한 후에 가능하다. 그러므로 영상 전화(videophone)와 같이 저 지연(low delay)이 필요한 응용 제품에서는 B 프레임 없이 I 프레임과 P 프레임만을 사용한다.

디지털 비디오 압축 부호화시에 이동 추정 및 보상, 색상 정보 부호화 등은 일정한 크기를 가지는 화소의 집합 단위로 수행하며, 이를 마크로 블록(macro-block, MB)이라 한다. 기존의 가장 널리 쓰이는 MB의 크기는 16 화소/줄 x 16줄이다.

MB의 부호화 방법은 크게 두 가지로 대별되는데, 영상내 부호화(intra coding)와 영상간 부호화(inter coding)가 그것이다. 영상내 부호화는 MB가 가지고 있는 색상 신호를 부호화하는 반면, 영상간 부호화는 참조 영상으로부터 색상 신호를 예측한 후 그 오차 신호를 부호화하는 방식이다. 그러므로 I 프레임에서의 모든 MB는 영상내 부호화를 수행하게 된다. 반면, P 프레임에서는 부호화 효율 측면에서 유리한 부호화 방식을 선택한다. 따라서 P 프레임에서는 영상내 부호화 MB와 영상간 부호화 MB가 모두 존재한다.

즉, 영상내 부호화와 영상간 부호화는 부호화하는 대상이 원 색상 신호인지 아니면 오차 신호인지에 따라 결정된다. 그리고 I 프레임에서는 모든 MB들이 영상내 부호화만 수행하게 되는 반면, P 프레임에서는 영상내 부호화 MB와 영상간 부호화 MB가 동시에 존재할 수 있다.

한편, 영상 전체 화면을 부호화(프레임 단위 부호화)하는 대신에, 영상이 가지고 있는 정보를 기준으로 프레임을 임의의 영역들로 분할하고, 분할된 영역별로 부호화(물체 단위 부호화)하는 영상 부호화 기법의 연구가 최근 활발히 진행 중이다. 이 물체 단위의 부호화 기법은 사용자가 원하는 물체만을 부호화하여 전송을 하거나 조작(manipulation)하는 것을 가능하게 하며, 이러한 장점은 미래의 멀티미디어 산업 전반에 중요한 역할을 할 것이다.

최근에는 이러한 경향을 반영하여, 세계 표준화 기구인 ISO/IEC JTC1/SC29 WG11에서 물체 단위의 부호화를 특징으로 하는 MPEG-4(Moving Picture Experts Group Phase-4) 표준화 작업을 진행 중이다. MPEG-4를 포함하여, 물체 단위로 부호화하는 비디오 압축 부호화 방식에서는 프레임 내에서 물체 영역을 표시하는 모양 정보(shape information)의 부호화 및 전송이 요구된다. 여기서 모양정보는 이진 모양 정보(binary shape information)와 그레이 모양 정보(grayscale shape information)로 나누어진다.

기존의 영상에 관한 표준안들, 예를 들면, ISO/IEC JTC1/SC29의 MPEG-1, MPEG-2, ITU-T의 H.261, H.263과의 가장 큰 차이는 모양 정보 부호화기에 있음을 알 수 있다.

도2에 현재 국제표준 산하기구에서 일차적으로 확정한 MPEG-4의 동영상 부호화기의 대략적인 구성도가 도시되었다.

이러한 동영상 부호화기는, 대상물 영역 형성부(11)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임 추정부(MOTION ESTIMATION)(13)에 입력되면, 움직임 추정부(13)는 인가된 VOP로부터 매크로 블록 단위의 움직임을 추정하게 된다.

또한, 상기 움직임 추정부(13)에서 추정된 움직임 정보는 움직임 보상부(MOTION COMPENSATION)(14)에 입력되어 움직임이 보상된다. 그리고, 움직임 보상부(14)에서 움직임이 보상된 VOP는 상기 VOP형성부(11)에서 형성된 VOP와 함께 감산기(16)에 입력되어 차이 값이 검출되고, 감산기(16)에서 검출된 차이 값은 대상물 내부 부호화부(18)에 입력되어 매크로 블록의 서브 블록 단위로 대상물의 내부정보가 부호화된다.

한편, 움직임 보상부(14)에서 움직임이 보상된 VOP와, 대상물 내부 부호화부(18)에서 부호화된 대상물의 내부정보는 가산기(17)에 입력되어 가산되고, 가산기(17)의 출력신호는 이전 대상물 영역 검출부(PREVIOUS RECONSTRUCTED VOP)(15)에 입력되어 현재 영상 바로 이전 영상의 VOP인 이전 VOP가 검출된다.

또한, 이전 대상물 영역 검출부(15)에서 검출된 이전 VOP는 상기 움직임 추정부(13) 및 움직임 보상부(14)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 대상물 영역 형성부(11)에서 형성된 VOP는 모양정보 부호화부(SHAPE CODING)(12)에 입력되어 모양 정보가 부호화된다.

여기서, 모양정보 부호화부(12)의 출력신호는 VOP 부호화기가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 모양정보 부호화부(12)의 출력신호를 움직임 추정부(13), 움직임 보상부(14) 및 대상물 내부 부호화부(18)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화하는 데 사용할 수 있다.

또한, 움직임 추정부(13)에서 추정된 움직임 정보와, 대상물 내부 부호화부(18)에서 부호화된 대상물 내부 정보 및 상기 모양정보 부호화부(12)에서 부호화된 모양 정보는 다중화부(19)에 인가되어 다중화된 후 버퍼(20)에서 버퍼링 되고, 비트스트림으로 도면에는 도시하지 않았지만 다수개의 부호화기의 출력을 다시 다중화하여 전송하는 다중화기에 전달되어 복호기 측으로 전송되어진다.

상기와 같은 MPEG-4에서는 임의의 모양을 가지는 부호화 단위를 VOP(Video Object Plane)이라 한다. 이는 기존의 표준안의 프레임에 해당하는 것으로, 프레임 타입처럼 I VOP, P VOP, B VOP와 같은 VOP 타입을 가진다. 이 VOP 타입은 직사각형의 프레임과는 달리 임의의 모양 정보를 가진다는 차이점만 있고, 다른 특성(예를 들어, 이동 보상 예측 방향)들은 일치한다. 일반적으로 VOP는 직사각형과 임의의 모양 정보를 갖는 경우를 포함하므로, 이하 VOP는 특별히 언급하지 않는 한 직사각형의 프레임과 임의의 모양 정보를 갖는 영역 모두를 일컫는다.

그리고 물체 경계 부분에서는 전체 프레임을 부호화하는 기존의 기술들을 적용하면 부호화 효율이 감소하는데, 이러한 문제점을 극복하고 부호화 효율을 높이기 위해 연구된 기술들의 예로서 Boundary Block Merging(BBM), Shape-adaptive Discrete Cosine Transform(SA-DCT) 등이 있다.

전술한 바와 같이, 디지털 비디오 압축 부호화시에 이동 추정 및 보상, 색상 정보 부호화 등은 일정한 크기를 가지는 화소의 집합(macroblock, 이하 MB) 단위로 수행된다. 임의의 모양 정보를 가지는 물체의 부호화시에는 MB를 모양 정보와 관련하여 세 가지로 구분 가능하다. 첫째, 물체 영역 외부에 포함된 경우의 MB(TMB)가 있다. 이 MB는 MB내에 물체 영역이 존재하지 않는 것이며, 부호화 과정이 불필요하다. 두 번째로는 물체 영역 내부에 포함된 경우가 있으며(OMB), 기존의 프레임 단위 부호화에서 개발된 기술들을 직접적으로 사용 가능하다. 마지막으로 물체 영역과 물체 영역이 아닌 영역이 공존하는 MB(BMB)가 있다. 이러한 MB를 수신단(receiver)에서 복호화(decoding)하기 위해서는 물체 영역을 표시하는 모양 정보와 물체 영역 내의 색상 정보를 부호화해야 한다. 물론 P 프레임이나 B 프레임과 같이 이동 추정 및 보상을 하는 프레임에서는 이동 정보도 부호화하여 전송을 해야 한다.

도3은 TMB, OMB 그리고 BMB의 일 예를 도시한 것이다. 여기서 회색 부분은 부호화할 물체 영역을 표시한 것이며, 작은 사각형 각각은 MB의 일례를 보여준다. 이 예에서 물체 영역 외부에 포함된 MB(TMB)가 6개, 물체 영역 내부에 포함된 MB(OMB)가 12개, 그리고 물체 영역 내부와 외부가 동시에 존재하는 MB(BMB)가 22개이다.

한편, 기존의 디지털 영상 부호화 방식의 대부분은, 직사각형의 프레임을 부호화하는 것이다. 최근 전체 프레임을 부호화하는 방식 대신에, 임의의 형태의 영역만을 부호화하는 방식들이 연구되어 왔다. 도4는 어떤 공간(배경) 내에서 어린이 두 명이 공을 가지고 노는 모습을 보인 영상의 일예이다. 기존의 영상 부호화 방식에서는 전체 프레임의 화소들이 가지는 색상 값(휘도(luminance), 색도(chrominance)를 부호화하여 전송을 한다. 그러나, 만일 어린이와 공만을 독립적으로 부호화한다면, 어린이와 공에 속한 화소의 색상 값만을 부호화하여 전송하면 된다. 이와 같이, 부호화하고자 하는 어린이(어린이의 영역)와 공(공의 영역)을 물체(object)라고 하며, 이러한 부호화 방식을 물체 단위 부호화(object-based coding)라고 한다. 반면, 기존의 방식, 즉 직사각형의 전체 프레임을 부호화하는 방식을 프레임 단위 부호화(frame-based coding)라 한다.

상기 물체 단위 부호화 방법을 사용하여 도4의 영상을 압축 부호화하기 위해서는, 전체 프레임의 화소들 중에서 어떤 화소가 어린이와 공에 속하는 화소이고, 어떤 화소가 배경에 속하는 화소인가를 부호화기와 복호화기에서 알아야 한다. 이러한 정보를 물체의 모양 정보(shape information)라 일컫는다. 복호화기에서 모양 정보를 알게 하기 위해서, 부호화기에서는 모양 정보를 압축 부호화하여 전송을 해야한다. 그러므로 물체 단위 부호화기 및 복호화기는 영상 부호화기 및 복호화기 내부에 모양 정보 부호화기 및 복호화기를 포함하며, 이 점이 프레임 단위 부호화기 및 복호화기와의 가장 큰 차이점이다.

물체 단위 부호화는 프레임 단위 부호화에 비해서, 많은 새로운 응용들을 가능하게 한다. 예를 들면, 복호화기에서 도4의 어린이와 공을 복호화하고 배경 부분은 다른 영상으로 합성시킬 수도 있다.

프레임 단위 부호화의 대표적인 예로는 ITU-T의 H.261, H.263이나 ISO/IEC JTC1/SC29/WG11의 MPEG-1, MPEG-2 등의 표준화 방안들이 있다. 물체 단위 부호화의 대표적인 예로는 ISO/IEC JTC1/SC29/WG11의 MPEG-4를 들 수 있다.

상기 모양 정보는 여러 가지 형태로서 존재, 정의가 가능하다. 가장 단순한 예가 도5에서와 같이, 전체 프레임의 모든 화소의 각각에 대하여 배경이면 "0" 값을, 물체에 속한 화소는 "1"(또는 255) 값을 가지게 하여, 이진 영상(binary image) 또는 이진 마스크(binary mask)로 나타내는 것이다. 이러한 형태의 모양 정보를 비트맵 모양 정보(bitmap shape information)라 한다. 이보다 발전된 형태가, 배경과 물체의 경계에 속한 화소를 추출하는 것이다. 배경과 물체의 경계를 윤곽선(contour), 윤곽선에 속한 각각의 화소를 윤곽선 화소라 한다. 이를 보인 예가 도6이다. 도6에서는 어두운 부분의 화소가 윤곽선이고, 그렇지 않은 부분이 윤곽선이 아닌 부분이다. 그리고 윤곽선 내부를 물체로 정의한다.

그러므로 모양 정보를 압축 부호화하여 전송하는 방법들도, 화소가 "0" 또는 "1"(255)을 가지는 색상 신호로 간주하고 부호화하는 방식과, 윤곽선의 형태를 부호화하는 방식 등의 두 가지로 나눌 수 있다. 전자는 위에서 언급한 물체 단위의 부호화 방식에 사용되기 이전에, FAX나 binary image coding 등을 위해서도 많이 연구되어 왔다. 가장 최근의 물체의 모양 정보의 압축 부호화 방식으로 context-based arithmetic encoding(CAE)이 이용되는데, 이 방법도 전자에 속한다.

두 번째 방식도 이미 오래 전부터, computer vision, pattern recognition, object recognition, computer graphics 등의 분야에서 연구되어 온 방식이다. 그러나 전자에 비해서 후자는, 연구 분야가 의미하듯이 압축 부호화 방식보다는 윤곽선의 추출, manipulation 등의 관점에서 주로 연구가 되어왔다. 최근 영상 압축에 응용되면서 윤곽선의 압축 방법에 대한 연구도 활발히 이루어지고 있다. 그 중의 대표적인 예가 정점 기반 부호화(vertex-based coding) 방식이다.

전술한 바는 이진 모양 정보에 대한 설명이며, 이하에서는 그레이 모양 정보에 대해서 설명한다.

상기 이진 모양 정보는 배경과 물체를 합성할 때, 합성 영상의 각 화소가 배경에 속하는 화소인지, 아니면 물체에 속한 화소인지를 나타내는 것이다. 예를 들어 모양 정보의 각 화소가 8 비트로 표현 가능할 때, 배경에 속하는 화소는 "0" 값을, 물체에 속하는 화소는 "1" 값을 가지게 할 수 있다. 물론 "0"과 "1"로 고정할 필요는 없고, 서로 구분만 할 수 있고 부호화기와 복호화기에서 구분 방법만을 알고 있으면 된다.

그러나 이러한 이진 모양 정보를 확장하여, 배경과 물체의 신호 값을 적절한 비율로 섞어서 합성 영상을 나타낼 수 있다. 예를 들어서, 모양 정보 프레임에서 배경에 속하는 화소가 0 값을 가지고, 물체에 속하는 화소가 255를 가지는 경우를 생각해 보자. 다시 말해서 0값을 가지는 화소는 배경 색상 정보로 합성 영상을 나타내게 된다. 그리고 255를 가지는 화소 위치의 합성 영상의 화소는 물체의 색상 정보 값을 가진다. 만일 0과 255의 중간값을 가지는 경우에는 배경 색상 정보와 물체 색상 정보의 중간값을 가지게 할 수 있다. 이러한 예는 TV를 생각하면 된다. TV 화면에 글자를 쓰는 경우, 글자로 덮힌 부분에서 뒤의 배경이 보이는 경우가 있고, 배경이 보이지 않는 경우가 있다. 뒤의 배경이 보이지 않는 경우는 이진 모양 정보와 같은 경우이고, 뒤의 배경이 보이는 경우는 배경 신호화 글자의 신호를 합성한 경우이다. 이와 같이, 해당 화소가 배경인지 아니면 물체인지를 나타내는 정보뿐만 아니라, 임의의 합성을 가능하게 하는 정보도 포함하는 모양 정보를 그레이 모양 정보라 한다.

일반적으로 그레이 모양 정보 프레임의 각 화소는 두 개 이상의 값들을 가진다. 만일 그레이 모양 정보 프레임의 화소가 8 비트를 표현할 수 있다면, 0에서 255까지의 값을 가질 수 있다. 이 때 0인 경우는, 합성 영상의 같은 위치의 화소값이 배경 신호의 색상 정보 값을 가지게 되고, 255인 경우는, 합성 영상의 같은 위치의 화소값이 물체의 색상 정보 값을 가지게 된다. 만일 그 사이의 값을 가지게 되면 적절한 비율로 물체 색상 정보 값과 배경 색상 정보 값을 섞어서 합성 영상의 화소값을 결정한다.

도7의 (a)와 도7의 (b)는 배경 신호와 물체 신호의 예를 각각 보인 것이다. 도7의 (b)의 x 표시는, 물체가 아닌 화소이기 때문에 색상 정보 값이 존재하지 않다는 것을 나타낸다. 도8의 (a)는 이진 모양 정보의 예를 보인 것이다. 이를 이용하여 도7의 두 신호들을 합성한 결과가 도8의 (b)이다. 도9의 (a)는 그레이 모양 정보의 예를 보인 것이다. 도8의 (a)와는 달리, 그레이 모양 정보 프레임의 각 화소는 0과 255 뿐만 아니라 그 중간 값도 가진다. 이 그레이 모양 정보를 이용하여 도7의 두 신호들을 합성한 결과가 도9의 (b)이다. 합성 영상의 각 화소에서, 그레이 모양 정보가 0과 255 사이의 경우에는 배경 신호와 물체 신호가 섞인 값을 가진다. 도9에서는 간단한 설명을 위하여, 그레이 모양 정보 프레임의 화소값이 128인 경우 두 신호를 평균하여 합성 영상을 만드는 방법을 사용하였다. 여기서 그레이 모양 정보에 따르는 신호의 합성 방법은 다양하게 결정할 수 있다.

한편, 복호화기 측에서 영상을 합성하기 위해서는 그레이 모양 정보를 부호화하여 전송해야 한다. 그레이 모양 정보는 도10의 (a)와 같은 이진 모양 정보와 도10의 (b)와 같은 그레이 모양 정보의 화소값들로 구성된다. 도10에서 쉽게 알 수 있듯이, 그레이 모양 정보의 이진 모양 정보는 그레이 모양 정보의 화소값이 1 이상인 화소들이 어떤 화소들인가를 나타내는 정보이다. 도10의 (a)에서는 그레이 모양 정보의 화소값이 1 이상인 화소들을 255로 표시하였다. 도10의 (b)는 이러한 영역에 속한 그레이 모양 정보 화소가 어떤 값을 가지는 가를 나타내는 정보이며, 이를 본 발명에서는 그레이 색상 정보라 한다.

그레이 모양 정보의 이진 모양 정보는 전술한 바와 같이 모양 정보 부호화 방법을 이용하여 압축 부호화하여 전송하면 된다. 그레이 색상 정보는 영상의 색상 정보(예를 들면, 도7의 (b)) 부호화 방법을 이용하여 압축 부호화하여 전송할 수 있다. 그러나 그레이 색상 정보와 영상의 색상 정보 사이에는 신호 특성이 상당히 틀리기 때문에, 색상 정보 부호화 방식을 직접적으로 적용하기에는 부호화 효율이 상당히 감소할 수 있다.

하기한 설명은 그레이 모양 정보 부호화 방법의 기존 기술의 일예이다.

그레이 모양 정보는 이진 모양 정보 부호화 방법이나 색상 정보 부호화 방법과 마찬가지로, 16 화소/줄 x 16 줄의 크기의 MB 단위로 부호화를 수행하며, 이를 그레이 MB라 한다. 그레이 모양 정보의 이진 모양 정보는 이진 모양 정보 부호화, 즉 CAE 방법을 그대로 사용하여 압축 부호화 및 전송을 수행한다.

그레이 색상 정보 부호화를 위해서는 그레이 MB가 모두 "0" 값을 가지는지, 아니면 한 화소라도 "0"이 아닌 값을 가지는지를 먼저 판단한다. 물론, 이 판단은 이진 모양 정보 부호화 및 복호화를 통해서, 송신단의 부호화기와 수신단의 복호화기가 동일하게 수행할 수 있다. 만일 모두 "0"이면, 해당 MB에는 물체 영역에 속한 화소가 없기 때문에, 이후의 부호화 과정은 불필요하며, 그렇지 않은 경우에는 부호화 과정을 시작한다. 전자의 MB를 투명 MB, 후자의 MB를 불투명 MB라 한다. 불투명 MB에 대해서만 부호화를 수행하는 것은 색상 정보의 경우에도 동일하게 적용된다.

상기 불투명 MB의 그레이 색상 정보 부호화 방법은, 영상내 부호화 방법과 영상간 부호화 방법으로 나눌 수 있다. 그리고 이 결정 방법은 색상 정보에서의 결정을 그대로 사용한다. 다시 말해서, 같은 MB의 색상 정보가 영상내 부호화를 수행하면 그레이 색상 정보도 영상내 부호화이며, 같은 MB의 색상 정보가 영상간 부호화를 수행하면 그레이 색상 정보도 영상간 부호화를 수행한다. 이를 위하여, 그레이 색상 정보의 부호화를 수행하기 전에 색상 정보의 부호화를 먼저 수행한다.

그레이 색상 정보를 영상내 부호화하는 경우, 그레이 MB 내의 그레이 색상 정보 값이 모두 255인지를 판단한다. 그리고 모든 화소값이 255인지 아닌지를 나타내는 정보(coda_i)를 수신단에 전송한다. 수신단에서 복호화된 coda_i가 그레이 MB내의 모든 화소값이 255임을 나타내면, 더 이상의 부호화 과정을 수행하지 않는다. 수신단에서 복호화된 coda_i가 그레이 MB내의 모든 화소값이 255임을 나타내면, 이후의 복호화 과정을 수행하지 않고, 재현 그레이 MB의 모든 화소값을 255로 한다. 만일 모든 화소가 255를 가지는 경우가 아니라면, 부호화 과정을 계속한다.

그레이 색상 정보를 영상간 부호화하는 경우, 이동 보상 예측을 수행하고 그 오차를 전송한다. 이를 위한 이동 정보는 색상 정보의 이동 정보를 그대로 사용한다. 그리고 이동 보상 예측 모드도 그대로 사용한다. 영상간 부호화하는 그레이 MB는 모든 화소값이 255 값을 가지는 경우, 이동 보상 예측이 정확히 되어 전송할 예측 오차가 없는 경우, 그리고 이동 보상 예측 오차 값을 전송해야 하는 경우로 나눌 수 있으며, 이 정보(coda_pb)를 가변 길이 부호화하여 수신단에 전송한다. 앞의 두 가지 경우에는 더 이상의 부호화 과정이 필요하지 않다. 첫 번째 경우에는 복호화기에서 그레이 MB의 모든 값을 255로 하여 재현 그레이 MB를 만든다. 두 번째 경우에는 복호화기에서 색상 정보의 이동 정보와 이동 보상 예측 모드를 이용하여 재현 그레이 MB를 만든다. 마지막 경우, 즉 예측 오차를 전송하는 경우, 부호화 과정을 계속한다.

영상내 부호화 MB의 원(original) 그레이 색상 정보와 영상간 부호화 그레이 MB의 오차 신호는 색상 정보의 경우와 유사한 방식으로 부호화하여 전송한다. 다시 말해서, 그레이 MB를 4 개의 동일한 크기의 부블럭으로 나누고, 불투명 부블럭에 대하여 각 부블럭 단위로 DCT를 수행하고, 양자화를 수행하고, DC 계수와 AC 계수를 가변 길이 부호화를 사용하여 전송한다. 여기에서 불투명 부블럭은 불투명 MB와 유사하게, 해당 부블럭이 한 화소라도 0보다 큰 부블럭을 일컫는다. 영상내 부호화 그레이 MB인 경우, 양자화 수행 후, DC 계수는 인접한 부블럭의 DC 계수값을 이용하여 예측 부호화를 수행한다. AC 계수도 DC 계수와 마찬가지로 예측 부호화를 수행할 수 있다. 이를 위하여, 영상내 부호화 그레이 MB의 경우, AC 계수를 예측 부호화하는지의 여부에 대한 플래그(ac_pred_flag)를 전송한다.

그리고 색상 정보 부호화 시의 coded block pattern 처럼 그레이 색상 정보 부호화에서도 coded block pattern(cbpa)을 전송한다. Coded block pattern은 각 MB의 모든 불투명 부블럭의 DCT 부호화 시에, 전송이 필요한 AC 계수가 존재하는 지를 나타내는 정보이다. 만일 coded block pattern을 보고 이 값이 0인 부블럭은 DC 정보만을 가지고 그레이 MB를 재현한다.

정리하면, 그레이 모양 정보 영상내 부호화 방법은, 이진 모양 정보는 기존의 방식을 이용하여 부호화를 하고, 그레이 색상 정보는 기존의 색상 정보 부호화 방법과 유사한 방식으로 부호화 전송한다. 전송하는 정보는 그레이 색상 정보 MB가 부호화를 수행하는 지의 여부를 나타내는 정보, ac_pred_flag, coded block pattern과 같은 overhead, 그레이 색상 정보의 DC 정보와 AC 정보들이다.

한편, 디지털 비디오 신호를 압축 부호화하여 생성된 비트열을 에러가 많이 발생할 수 있는 채널(channel)을 통해 전송할 때, 예를 들면 이동통신 전송 에러가 발생할 수 있고, 이 전송 에러에 의해 수신단에서 수신된 비트열을 복호화 했을 때의 재현 화질이 크게 손상될 수 있는 위험성이 있다. 전송 에러에 의한 문제점을 최소화하기 위한 연구들이 활발히 진행되어 왔으며, 크게 에러 검출(error detection), 에러 국부화(error localization), 데이터 복구(data recovery) 등으로 구별할 수 있다. 그리고 이 연구들을 통칭하여 오류 내성(error resilience )기술이라고 하며, 이러한 기술들을 반영한 비트열 구조를 error resilient 비트열이라 한다.

이하에서는 VOP 단위의 부호화를 수행하는 MPEG-4 부호화 방식의 CD에 기술된 오류 내성 복구 기술들을 간략히 살펴보면 다음과 같다.

첫째, 에러 복구 기술로 재동기 방법이 있다.

재동기 신호는 에러가 검출된 후의 비트열과의 복호화기 사이의 재동기를 가능하게 한다. 비트열 상에서 에러가 발생한 경우, 그 직전의 재동기 지점과 그 직후의 재동기 지점 사이의 비트들은 일반적으로 무시된다. 만일 재동기 방법이 복호화기에서 무시되는 데이터 량을 효과적으로 국부화 또는 최소화할 수 있다면, error resilience와 관련된 다른 기술들(데이터 복원 또는 error concealment )의 성능을 향상시킬 수 있다.

MPEG-4의 재동기 방법은 ITU-T의 동영상 부호화 표준화 방안인 H.261이나 H.263에서 사용되었던 GOB(Group of Blocks) 구조와 유사하다. 이 표준안들에서, GOB는 한 개 또는 수 개의 MB 열(row)로 구성된다. 그리고 부호화 과정에서 새로운 GOB가 시작될 때, GOB 헤더(header)를 비트열 상에 위치시킨다. 이 헤더는 GOB 시작 코드(start code)를 포함하며, 이는 복호기가 이 GOB의 위치를 알 수 있게 한다. 이 시작 코드 이외에도, GOB 헤더는 복호화 과정을 재 시작하는데 필요한 정보들을 저장한다. GOB 방식은 공간적(spatial) 재동기이다. 다시 말해서 부호화 과정에서 특정한 MB 위치에 도달하면 재동기 신호를 비트열에 삽입한다. 이 방식에 내재된 문제점은, 부호화 과정이 가변 비트율(variable bit-rate) 부호화시에 이 재동기 신호가 비트열 상에 일정한 간격으로 위치하지 못한다는 점이다.

MPEG-4에서 채택된 기술은 이러한 문제점을 피하기 위해 비트열에 주기적으로 재동기 신호를 삽입한다. 즉, VP(video packet : 재동기 신호 사이의 비트열 집합)의 구성이 MB 개수를 기준으로 하는 대신, VP에 포함된 비트수를 기준으로 정의된다. 만일 현재 VP에 포함된 비트수가 주어진 임계치를 초과하면 다음 MB의 시작에서 새로운 VP가 시작된다.

도11은 상기 비디오 패킷(VP)의 예를 보인 것이다. 재동기 신호는 새로운 VP의 시작을 구분해 준다. 이를 위해서, 이 신호는 모든 가능한 VLC 코드와 각종 시작 코드들과 구분되어야 한다. 헤더 정보 역시 VP의 시작에 위치한다. 이 헤더는 복호화 과정을 다시 시작하는데 있어서 필수적이며, 해당 VP의 첫 번째 MB의 위치(macroblock number), 양자화 파라미터(quant_scale) 등의 정보를 포함한다.

또한, Macroblock number는 공간 동기화를 가능하게 하고, 양자화 파리미터(quant_scale)는 동기화가 된 후의 색상 정보 복호화를 가능하게 한다.

아울러 헤더 확장 코드(header extension code, HEC)는 헤더에 부가 정보를 포함하는지의 여부를 나타내는 "1" 비트 플래그이다. 만일 HEC가 "1"이면 복호화기에서 VP를 독립적으로 복호화할 수 있도록 하는 부가 정보들이 헤더에 포함된다. 여기서 부가 정보들은 다음과 같다.

Modulo time base, VOP time increment, VOP coding type, intra dc vlc thr, VOP fcode forward, VOP fcode backward.

여기서 VOP 코딩 타입(coding type)은 현재 부호화할 VOP가 I VOP, P VOP, B VOP 중 어느 것에 해당하는 지를 나타내는 정보이며, intra dc vlc thr은 DC 정보의 VLC 표를 나타낸다. VOP fcode forward는 이동 정보 추정시 탐색 영역의 크기를 나타내는 정보이며, VOP fcode backward는 B VOP에서 역방향 이동 정보 추정시의 탐색 영역의 크기를 나타내는 정보이다. 여기서 HEC에 포함된 정보들은 복호화기에서 VP를 독립적으로 복호화하는데에 있어서 반드시 필요한 정보들이다.

만일 VOP 헤더 정보에서 전송 오차가 발생한 경우, VOP 헤더 정보 대신에 HEC내에 포함된 정보들을 이용한다. 복호기는 VOP 헤더에 전송 에러가 발생한지의 여부 판단을 위하여 복호화된 정보의 semantic 일치성을 확인한다.

예를 들어, VOP fcode forward와 VOP fcode backward가 "0" 값으로 복호화 되면, 복호화기는 이 정보들에 에러가 있다고 판단할 수 있다. MPEG-4의 fcode forward와 fcode backward는 0을 만들지 않기 때문이다. 이 경우 복호화기는 다음 VP의 HEC를 이용하여 VOP fcode forward와 VOP fcode backward 값들을 정정할 수 있다.

MPEG-4에서 error resilience 방법을 사용할 때에는, 일부 압축 부호화 방법들을 수정해야 한다. 예를 들어, 모든 예측 부호화 방법들은 에러의 전파 (error propagation)를 막기 위해서 예측에 이용되는 정보들을 같은 VP내의 정보들로 한정해야 한다. 다시 말해서, 예측시(예를 들어 AC/DC 예측, 이동 벡터 예측), VP 경계를 VOP 경계와 같이 취급해야 한다.

다른 에러 복구 기술로 데이터 분할 기술이 있다.

error concealment는 에러에 강한 비디오 코덱을 위하여 필수적이며, 이의 성능은 재동기 방법에 상당히 의존한다. 만일 재동기 방법이 에러를 상당히 국부적으로 제한한다면 error concealment 방법은 보다 효과적이 된다. 이동 영상 전화와 같이, 저 전송률(low bit-rate)/저 지연(low delay) 응용에서는 현재의 재동기 방법이 참조 프레임의 MB를 복사하는 등의 간단한 error concealment 방법으로도 우수한 성능을 보인다.

그러나 MPEG-4에서는 error concealment의 중요성과 이를 위한 향상된 에러 국부화 방법의 필요성을 인지하고, 데이터 분할(data partitioning)이라는 새로운 기술을 발전시켰다. 이 데이터 분할은 P VOP의 경우, 비디오 패킷 내의 모든 MB의 정보들을 색상 정보와 이동 정보를 중심으로 분리한다. 그리고 두 번째 재동기 신호를 이동 정보들과 색상 정보들 사이에 삽입한다. 이때 데이터 분할이 사용된다는 사실을 수신단에 부가 정보로 알려 주어 복호화기가 알 수 있게 한다. 여기서 재동기 신호와의 구분을 위하여, 데이터 분할의 두 번째 재동기 신호를 마커 신호라고 표현한다.

도12는 데이터 분할이 사용된 비트열 구조를 보인 것이다.

마커 신호가 정확하게 복호화 되면, 해당 비디오 패킷 내의 모든 MB들의 이동 정보가 올바르게 복호화 되었다고 볼 수 있다. 만일 이후에 전송 복호화된 색상 정보에 전송 에러가 존재함을 검출한 경우에는 해당 비디오 패킷 내의 모든 색상 정보들은 무시하고, 해당 비디오 패킷 내의 모든 MB들의 재현을 위하여, 마커 신호 이전의 복호화된 이동 정보들을 이용하여 복호화된 참조 VOP로부터 이동 보상 예측을 수행한다.

P VOP에서 이동 정보가 중요한 정보라면, I VOP의 경우에는 DC 정보가 중요한 정보이다. 그러므로 비디오 패킷 내의 모든 MB의 정보들을 DC 정보와 AC 정보를 중심으로 분리한다. 그리고 그 사이에 마커 신호를 삽입한다. 만일 AC 정보에서 전송 에러가 발생한 경우, AC 정보들은 무시하고 DC 정보만을 이용하여 해당 비디오 패킷 내의 모든 MB들을 재현하게 된다.

한편, 수신단내의 복호기에서는 전송받은 비트열과 다수의 부가 정보를 이용하여 원 영상을 재현하게 되는데, 그 복호화 과정중 하나가 역 VLC 코딩이다.

상기 역 VLC 코드(Reversible Variable Length Codes : RVLC)는 순방향 (forward direction)과 역방향(reverse direction) 동시에 복호화가 가능하도록 디자인되어 있다. 에러가 존재해서 순방향으로 복호화가 불가능한 비트열에 대해, 에러 발생 지점 직후의 재동기 신호로부터 역방향으로 복호화를 수행할 수 있는 경우가 있다. 그러므로 이 경우에는 전송 에러에 의해 복호기에서 무시되는 비트수가 줄어든다. 현재 MPEG-4에서는 RVLC를 변환 계수의 부호화에만 적용한다.

첨부한 도면 도13은 종래 P-VOP 색상 정보의 데이터 분할 부호화시의 흐름도이다.

이 흐름도는 한 비디오 패킷 내에서 전송되는 정보의 순서를 보여준다. 먼저 다른 비디오 패킷과 독립적으로 복호화하는데에 필요한 정보들(비디오 패킷 헤더)을 부호화하여 전송한다. 이때 그 패킷 내에 존재하는 MB의 개수를 N_MB라 할 때, 먼저 이 패킷 내부에 속하는 N_MB개의 MB들의 이동 정보와 관련 부가 정보들을 부호화하여 전송한다. 그리고 움직임_마커(motion_maker)를 전송하고, 역시 N_MB개의 MB들의 색상 정보를 위한 부가 정보 및 색상 정보를 전송한다. 단, MPEG-4에서는 임의의 모양 정보를 가지는 VOP라는 영역 단위로 부호화하기 때문에 각 MB의 모양 정보를 부호화하여 이동 정보와 함께 먼저 전송한다. 여기서 motion_maker는 이동 정보와 색상 정보를 구분 짓는 신호로, 전체 부호화기에서 가능한 모든 코드들과 구분되어야 하는 신호이다.

첨부한 도면 도14는 종래 P-VOP 색상 정보를 데이터 분할 복호화할 경우의 흐름도를 보인 것이다.

이 경우 가장 먼저 비디오 패킷 헤더를 복호화 한다. 그리고 모양 정보를 복호화하고, 이동 정보 복호화에 필요한 부가 정보를 복호화 한다. 이어서 이동 정보를 복호화 한다. 이러한 세 가지 과정을 다음 비트열이 motion_maker일 때까지 계속 반복한다. 이 때, 반복 회수가 곧 비디오 패킷 내에 존재하는 MB의 개수, N_MB가 된다. 그 다음 motion_maker를 복호화한 후, 모든 N_MB개의 MB를 위한 색상 정보들을 부기 정보와 함께 복호화 한다.

한편, 지금까지 설명한 error resilience를 위한 기존의 모든 기술들은 디지털 영상의 색상 정보 전송을 위하여 개발된 것들이며, 그레이 모양 정보를 압축 부호화하여 전송하거나 압축 부호화된 그레이 모양 정보를 복호화 하는 방법은 현재까지 미온적이다.

이에 본 발명은 디지털 그레이 모양 정보를 부호화 또는 복호화시 원할한 부호화 및 복호화가 이루어지도록 하고, 특히 압축한 동영상을 전송할 경우 전송 에러를 최소화하도록 한 디지털 그레이 모양 정보의 영상내 및 영상간 부호화/복호화 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 의한 그레이 모양정보 부호화 방법은,

일정한 화소의 집합 단위를 영상내 및 영상간 부호화하는 방법에 있어서,

송신할 비디오 패킷 헤더를 부호화하여 전송하는 단계와;

상기 비디오 패킷내의 해당 마크로 블록의 모양 정보를 부호화하여 전송하는 단계와;

상기 비디오 패킷내의 해당 마크로 블록의 색상 정보를 위한 부가 정보를 부호화하여 전송하는 단계와;

상기 마크로 블록의 색상 정보의 이동 정보를 부호화하여 전송하는 단계와;

상기 마크로 블록의 그레이 모양 정보 및 관련 부가 정보를 부호화하여 전송하는 단계와;

상기 이동 정보와 색상 정보를 구분하기 위한 마커 신호를 부호화하여 전송해주는 단계와;

상기 일정 비디오 패킷내의 모든 그레이 마크로 블록의 색상 정보를 위한 부가 정보와 해당 색상 정보를 부호화하여 전송하는 단계와;

상기 그레이 마크로 블록의 그레이 색상 정보를 위한 부가 정보 및 그레이 색상 정보를 부호화하여 전송하는 단계로 이루어짐을 특징으로 한다.

또한, 상기와 같은 목적을 달성하기 위한 본 발명에 의한 그레이 모양정보 복호화 방법은,

일정한 화소의 집합 단위를 영상내 및 영상간 복호화 하는 방법에 있어서,

수신된 비디오 패킷 헤더를 복호화 하는 단계와;

상기 비디오 패킷내의 해당 마크로 블록의 모양 정보를 복호화 하는 단계와;

상기 해당 마크로 블록의 색상 정보를 위한 부가 정보를 복호화 하는 단계와;

상기 마크로 블록의 색상 정보의 이동 정보를 복호화 하는 단계와;

상기 마크로 블록의 그레이 모양 정보 및 관련 부가 정보를 복호화 하는 단계와;

상기 이동 정보와 색상 정보를 구분하기 위한 마커 신호를 복호화 하는 단계와;

상기 일정 비디오 패킷내의 모든 그레이 마크로 블록의 색상 정보를 위한 부가 정보와 해당 색상 정보를 복호화 하는 단계와;

상기 그레이 마크로 블록의 그레이 색상 정보를 위한 부가 정보 및 그레이 색상 정보를 복호화 하는 단계로 이루어짐을 특징으로 한다.

도1은 일반적인 영상 부호화 타입(I 프레임, P 프레임, B 프레임)과 예측 방향의 일예도,

도2는 현재 국제표준 산하기구에서 1차적으로 확정한 MPEG-4 동영상 부호화기의 구성도,

도3은 TMB, OMB 그리고 BMB를 설명하는 일예도,

도4는 물체 단위 부호화를 설명하기 위한 임의 영상의 일예도,

도5는 도4의 영상의 모양 정보를 이진 영상으로 나타낸 일예도,

도6은 도4의 영상의 모양 정보를 윤곽선으로 나타낸 일예도,

도7은 영상을 배경신호(a)와 물체 신호(b)로 구별한 도면,

도8은 이진 모양 정보(a)와 도6의 합성 영상(b)도,

도9는 그레이 모양 정보(a)와 도6의 합성 영상(b)도,

도10은 그레이 모양 정보를 구성하는 이진 모양 정보(a)와 그레이 색상 정보(b) 구성도,

도11은 재동기 신호를 사용하는 error resilient 비트열 구조도,

도12는 데이터 분할을 이용하는 error resilient 비트열 구조도,

도13은 종래 P-VOP 색상 정보의 데이터 분할 부호화시 부호화 과정 및 전송 과정을 보여주는 흐름도,

도14는 종래 P-VOP 색상 정보의 데이터 분할 복호화 과정을 보여주는 흐름도,

도15는 본 발명에 의한 P-VOP 그레이 모양 정보 및 색상 정보의 데이터 분할 부호화 과정을 보여주는 흐름도,

도16은 본 발명에 의한 P-VOP 그레이 모양정보 및 색상 정보의 데이터 분할 복호화 과정을 보여주는 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

12 : 모양정보 부호화부

13 : 움직임 추정부

14 : 움직임 보상부

15 : 이전 대상물 영역 검출부

18 : 대상물 내부 부호화부

이하, 상기와 같은 본 발명의 기술적 사상에 따른 바람직한 실시예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.

먼저, 본 발명에서는 그레이 모양 정보 부호화를 수행하는 경우에, 그레이 색상 정보 부호화 및 복호화 시에 사용하는 양자화 정보를 비디오 패킷 헤더에 포함하여 전송한다. 복호화기에서는 만일 VOP 헤더 부분에서 전송 에러가 발생한 경우, 비디오 패킷 내부의 그레이 색상 정보의 양자화 정보를 복호화 하여, 해당 비디오 패킷 내의 모든 MB의 그레이 모양 정보의 복호화에 사용한다.

한편, P-VOP의 그레이 모양 정보를 부호화 및 복호화 하는 경우를 살펴보면 다음과 같다.

상기 그레이 모양 정보는 이진 모양 정보와 그레이 색상 정보로 나눌 수 있으며, 그레이 MB단위로 부호화 및 복호화 된다. 상기 이진 모양 정보는 이진 모양 정보 부호화기를 통하여 부호화되고, 이진 모양 정보 복호화기를 통하여 복호화 된다. 상기 P-VOP는 영상내 부호화하는 그레이 MB와 영상간 부호화하는 그레이 MB가 존재한다. 그레이 색상 정보는 그레이 MB의 그레이 색상 신호를 4 개의 부블럭으로 나누고, 각 부블럭을 DCT 부호화를 수행하고, 양자화하고, DC와 AC 정보 예측을 수행하고, DCT 계수중에서 DC계수와 AC계수를 부호화 전송한다. 이때 DCT 부호화하는 대상은 영상내 부호화인 경우, 원 그레이 색상 정보이며, 영상간 부호화한 경우 이동 보상 예측 오차 신호가 된다.

그리고, P-VOP의 error resilience를 위하여 데이터 분할을 사용하여 수신단에 전송할 시에, 모양 정보와 이동 정보를 색상 정보와 분리하여 전송하며 이 때 두 정보 사이에 마커 신호를 삽입한다.

상기 마커 신호는 부호화기에서 생성되는 모든 가변 길이 코드와 각종 재동기를 위한 신호, 그리고 시작 신호등과 중복되지 않은 신호를 선택함으로서, 복호화기에서 다른 신호와 혼동이 되지 않도록 한다.

복호화기에서 비디오 패킷의 길이(해당 비디오 패킷 내에 존재하는 MB 개수)를 알기 위한 방법으로는 여러 가지가 가능하다. 예를 들어, 복호화할 다음의 비트열이 마커 신호일 때까지 이진 모양 정보와 부호화 여부를 나타내는 정보를 복호화할 수 있고, 각 비디오 패킷의 길이를 MB의 개수로 나타내어 부가정보로 복호기측에 전송할 수도 있다.

만일 마커 신호 이후의 그레이 색상 정보에서 전송 에러가 발생한 경우, 이 색상 정보는 무시하고, 이미 복호화되어 저장하고 있는 이진 모양 정보와 부호화 여부를 나타내는 정보를 이용하여 재현 그레이 MB를 구성한다.

여기서 부호화를 안 하는 경우에는 모든 그레이 MB 화소값을 255로하여 그레이 MB를 구현한다. 또한, 부호화를 하는 경우에는 임의의 이동 정보를 이용하여 이동 보상 예측으로 그레이 MB를 재현한다.

따라서 본 발명에서 제안된 방식은 디지털 그레이 모양 정보를 높은 압축률로 부호화를 수행 가능하게 하면서, 수신단에 전송 시 발생하는 에러에 대하여 error resilient한 도구를 제공한다는 점에 큰 의미가 있다. 특히, 전송 에러가 발생할 확률이 높은 채널을 통해서 그레이 모양 정보를 전송하는 응용에 적용 시에 반드시 포함되어야 할 기술이다.

이하에서는 본 발명에서 제안한 그레이 모양정보 부호화/복호화 방법의 실시예를 설명한다.

첨부한 도면 도15는 본 발명에서 제안한 P-VOP의 그레이 모양 정보를 데이터 분할 부호화할 경우의 부호화 흐름도이다. 이에 도시된 바와 같이, 송신할 비디오 패킷 헤더를 부호화하여 전송하는 단계와; 상기 비디오 패킷내의 해당 마크로 블록의 모양 정보를 부호화하여 전송하는 단계와; 상기 비디오 패킷내의 해당 마크로 블록의 색상 정보를 위한 부가 정보를 부호화하여 전송하는 단계와; 상기 마크로 블록의 색상 정보의 이동 정보를 부호화하여 전송하는 단계와; 상기 마크로 블록의 그레이 모양 정보 및 관련 부가 정보를 부호화하여 전송하는 단계와; 상기 이동 정보와 색상 정보를 구분하기 위한 마커 신호를 부호화하여 전송해주는 단계와; 상기 일정 비디오 패킷내의 모든 그레이 마크로 블록의 색상 정보를 위한 부가 정보와 해당 색상 정보를 부호화하여 전송하는 단계와; 상기 그레이 마크로 블록의 그레이 색상 정보를 위한 부가 정보 및 그레이 색상 정보를 부호화하여 전송하는 단계로 이루어진다.

이와 같이 이루어지는 P-VOP의 그레이 모양정보 부호화 방법은, 먼저 비디오 패킷 헤더를 부호화하여 전송한다. 그리고 이진 모양 정보를 부호화하고, 이동 정보를 위한 부가 정보들을 부호화하여 전송한다. 이러한 4개의 과정들을 비디오 패킷 내부의 N_MB개의 모든 MB에 대해서 수행한다. 그리고 이동 정보와 색상 정보를 구분하기 위한 마커 신호(motion_marker)를 부호화하여 전송한다. 그 다음 마지막으로 모든 N_MB개의 MB의 색상 정보와 그레이 색상 정보들, 그리고 관련된 부가 정보들을 부호화하여 복호기 측에 전송해주게 된다.

첨부한 도면 도16은 본 발명에 의한 P-VOP 그레이 모양정보/색상정보 복호화 방법을 보인 흐름도이다. 이에 도시된 바와 같이, 수신된 비디오 패킷 헤더를 복호화 하는 단계와; 상기 비디오 패킷내의 해당 마크로 블록의 모양 정보를 복호화 하는 단계와; 상기 해당 마크로 블록의 색상 정보를 위한 부가 정보를 복호화 하는 단계와; 상기 마크로 블록의 색상 정보의 이동 정보를 복호화 하는 단계와; 상기 마크로 블록의 그레이 모양 정보 및 관련 부가 정보를 복호화 하는 단계와; 상기 이동 정보와 색상 정보를 구분하기 위한 마커 신호를 복호화 하는 단계와; 상기 일정 비디오 패킷내의 모든 그레이 마크로 블록의 색상 정보를 위한 부가 정보와 해당 색상 정보를 복호화 하는 단계와; 상기 그레이 마크로 블록의 그레이 색상 정보를 위한 부가 정보 및 그레이 색상 정보를 복호화 하는 단계로 이루어진다.

이와 같이 이루어지는 본 발명에 의한 P-VOP 그레이 모양정보 /색상정보 복호화 방법은, 먼저 수신된 비디오 패킷 헤더를 복호화 한다. 이후 이진 모양 정보를 복호화 하게 되고, 다음으로 이동 정보의 부가 정보를 복호화 한다. 그리고 이동 정보를 복호화 하게 된다. 다음으로 그레이 모양 정보를 위한 부가 정보를 복호화 한다. 여기서 이동 정보, 이진 모양 정보, 부가 정보 등의 복호화는 MB단위로 이루어진다. 상기와 같은 그레이 모양정보의 복호화 과정을 비트열이 motion_marker를 나타낼 때까지 반복 수행하게 되며, 동시에 반복 회수, 즉 N_MB를 계산한다. 상기 motion_marker를 복호화한 후, N_MB개의 Mb 에 해당하는 색상 정보와 그레이 색상 정보의 복호화를 위한 부가 정보들을 복호화 함으로써, 수신된 비디오 패킷의 복호화를 수행하게 되는 것이다.

상기 본 발명에 의한 부호화 및 복호화시의 색상 정보들을 위한 부가 정보 및 이동 정보를 위한 부가 정보들은 종래의 부가 정보와 동일하다.

또한, 상기 그레이 모양 정보를 위한 부가 정보는 coded_i이며, 그레이 색상 정보를 위한 부가 정보는 acpred_flag와 cbpa 등이다.

한편, 본 발명에서의 비디오 패킷 헤더는 그레이 색상 정보 부호화를 위한 양자화 정보가 포함된다.

그리고, 본 발명의 실시예에서는 다음 비트열이 motion_marker를 나타낼 때까지 모양 정보, 부가정보, 이동 정보들을 복호화 하는 과정을 반복한다고 설명하였으나, 만약 해당 비디오 패킷내의 MB 개수를 부가 정보로 전송한다면, 복호화시 motion_marker를 매번 확인할 필요 없이 부호화기에서처럼 MB개수에 해당하는 만큼만 반복하여 모양정보 및 이동 정보를 복호화 하게 된다.

이상에서 상술한 바와 같이 본 발명은, P-VOP 그레이 모양정보를 영상내 및 영상간 부호화하는 경우 본 발명에 의한 전송 순서와 동일한 순서로 데이터 분할 부호화하고, 그 부호화된 그레이 모양정보를 복호기 측에서는 본 발명에서 제안한 방법에 의거 복호화를 수행함으로써, 채널 에러가 많이 발생하는 채널을 통해 비디오 패킷을 전송하는 경우에도 복호기 측에서 원영상을 충분히 재현할 수 있도록 도모해주는 효과가 있다.

Claims

일정한 화소의 집합 단위를 영상내 및 영상간 부호화하는 방법에 있어서,

송신할 비디오 패킷 헤더를 부호화하여 전송하는 단계와;

상기 비디오 패킷내의 해당 마크로 블록의 모양 정보를 부호화하여 전송하는 단계와;

상기 비디오 패킷내의 해당 마크로 블록의 색상 정보를 위한 부가 정보를 부호화하여 전송하는 단계와;

상기 마크로 블록의 색상 정보의 이동 정보를 부호화하여 전송하는 단계와;

상기 마크로 블록의 그레이 모양 정보 및 관련 부가 정보를 부호화하여 전송하는 단계와;

상기 이동 정보와 색상 정보를 구분하기 위한 마커 신호를 부호화하여 전송해주는 단계와;

상기 일정 비디오 패킷내의 모든 그레이 마크로 블록의 색상 정보를 위한 부가 정보와 해당 색상 정보를 부호화하여 전송하는 단계와;

상기 그레이 마크로 블록의 그레이 색상 정보를 위한 부가 정보 및 그레이 색상 정보를 부호화하여 전송하는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 그레이 모양정보/색상정보의 부호화 방법.
제1항에 있어서, 상기 그레이 색상 정보와 관련된 부가 정보는, coded block pattern과 AC 예측 여부를 나타내는 정보인 것을 특징으로 하는 디지털 그레이 모양정보/색상정보의 부호화 방법.
제1항에 있어서, 상기 그레이 모양정보를 위한 부가 정보는, 그레이 MB의 색상 정보를 부호화하는지의 여부를 나타내는 정보인 것을 특징으로 하는 디지털 그레이 모양정보/색상정보의 부호화 방법.
제1항에 있어서, 상기 그레이 모양정보를 위한 부가 정보는, 그레이 MB가 모두 255값을 갖는 경우, 이동 보상 예측만으로 그레이 MB를 재현할 수 있는 경우, 부호화를 수행한 경우를 나타내는 정보인 것을 특징으로 하는 디지털 그레이 모양정보/색상정보의 부호화 방법.
제1항에 있어서, 상기 해당 비디오 패캣내에 존재하는 마크로 블록의 개수를 각 비디오 패킷의 길이로 나타내어 부호화한 후 복호기 측에 전송해주는 단계를 더 포함하여 이루어짐을 특징으로 하는 디지털 그레이 모양정보/색상정보의 부호화 방법.
일정한 화소의 집합 단위를 영상내 및 영상간 복호화 하는 방법에 있어서,

수신된 비디오 패킷 헤더를 복호화 하는 단계와;

상기 비디오 패킷내의 해당 마크로 블록의 모양 정보를 복호화 하는 단계와;

상기 해당 마크로 블록의 색상 정보를 위한 부가 정보를 복호화 하는 단계와;

상기 마크로 블록의 색상 정보의 이동 정보를 복호화 하는 단계와;

상기 마크로 블록의 그레이 모양 정보 및 관련 부가 정보를 복호화 하는 단계와;

상기 이동 정보와 색상 정보를 구분하기 위한 마커 신호를 복호화 하는 단계와;

상기 일정 비디오 패킷내의 모든 그레이 마크로 블록의 색상 정보를 위한 부가 정보와 해당 색상 정보를 복호화 하는 단계와;

상기 그레이 마크로 블록의 그레이 색상 정보를 위한 부가 정보 및 그레이 색상 정보를 복호화 하는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 그레이 모양정보/색상정보의 부호화 방법.
제6항에 있어서, 상기 복호화시 그레이 색상 정보와 관련된 부가 정보는, coded block pattern과 AC 예측 여부를 나타내는 정보인 것을 특징으로 하는 디지털 그레이 모양정보/색상정보의 복호화 방법.
제6항에 있어서, 상기 복호화시 그레이 모양 정보를 위한 부가 정보는, 그레이 MB의 색상 정보를 부호화하는지의 여부를 나타내는 정보인 것을 특징으로 하는 디지털 그레이 모양정보/색상정보의 복호화 방법.
제6항에 있어서, 상기 수신된 비디오 패킷의 복호화시 그레이 색상 정보에서 전송 에러가 검출되면, 그레이 색상 정보를 무시하고, 마커 신호전에 복호화된 그레이 모양 정보의 부가 정보와 이동 정보를 가지고 이동 보상 예측을 수행하므로서 해당 그레이 MB를 재현하는 것을 특징으로 하는 디지털 그레이 모양정보/색상정보의 복호화 방법.
제6항에 있어서, 상기 수신된 비디오 패킷의 복호화시 비디오 패킷의 길이를 MB개수로 나타낸 부가 정보를 복호화 하여 수신된 각 비디오 패킷의 길이를 판단하는 단계를 더 포함하여 이루어짐을 특징으로 하는 디지털 그레이 모양정보/색상정보의 복호화 방법.