KR100632106B1 - 디지털 비월주사 인터픽쳐 부호화/복호화 방법 - Google Patents

Abstract

본 발명은 디지털 비월주사 동영상 부호화 및 복호화에 관한 것으로, 특히 압축한 동영상을 전송할 경우 전송 에러를 최소화하도록 한 비월주사 인터픽쳐(Interpicture)의 부호화 방법 및 복호화 방법에 관한 것으로서, 이러한 본 발명은, 일정 비디오 패킷의 부호화시 비월 주사 부호화임을 나타내는 정보를 부호화 하여 전송하는 단계; 비월 주사 부호화에 필요한 부가 정보들을 부호화 하여 전송해주는 단계; 일정 비디오 패킷내의 모든 마크로 블록의 필드 단위 이동 보상 예측 정보를 부호화하여 전송하는 단계; 이동보상 예측 정보 부호화후 이동 보상 예측 정보와 색상 정보를 구분하기 위한 마커 신호를 부호화 하여 전송해주는 단계; 일정 비디오 패킷내의 모든 마크로 블록의 색상 정보를 부호화 하여 전송하는 단계를 순차 수행하여 비월주사 인터픽쳐(Interpicture)를 부호화하고, 수신된 일정 비디오 패킷의 복호화시 비월주사 부호화를 나타내는 정보를 복호화 하는 단계; 비월주사 복호화에 필요한 부가 정보를 복호화 하는 단계; 비디오 패킷내의 모든 마크로 블록의 필드 단위 이동 보상 예측을 위한 정보를 복호화 하는 단계; 수신된 비디오 패킷 내에 존재하는 마커 신호를 복호화 하는 단계; 비디오 패킷내의 모든 마크로 블록의 색상 정보를 복호화 하는 단계를 수행하여 비월주사 인터픽쳐(Interpicture)를 복호화 함으로써, 에러가 많은 채널을 통해 비디오 패킷을 전송한 경우에도 수신단에서 원할히 동영상의 재현이 가능하다.

Description

디지털 비월주사 인터픽쳐 부호화/복호화 방법

본 발명은 디지털 비월주사 동영상 부호화 및 복호화에 관한 것으로, 특히 압축한 동영상을 전송할 경우 전송 에러를 최소화하도록 한 비월주사 인터픽쳐(Interpicture)의 부호화 방법 및 복호화 방법에 관한 것이다.

일반적으로, 디지털 비디오는 신호의 구성 방법에 따라 순행 주사(progressive) 비디오와 비월 주사(interlaced) 비디오로 나눌 수 있다. 순행 주사 비디오에서는 각각의 프레임(frame) 구성시에 한 줄(line)씩 차례로 구성한다. 반면, 비월 주사 비디오에서는 두 필드(field)를 한 줄씩 차례로 구성한 후, 두 필드를 한 줄씩 끼워 넣는 방식으로 각각의 프레임을 구성한다. 그러므로 각 필드의 높이(줄의 개수)는 프레임 높이의 절반이 된다. 이를 설명한 예가 도1에 도시되었다. 도1의 (a)는 순행 주사 프레임을, 도1의 (b)는 두 개의 필드(상위 필드(top field)와 하위 필드(bottom field))와 비월 주사 프레임을 보여 준다. 상위 필드와 하위 필드는 각각 한 줄씩 차례로 구성되며(상위 필드의 경우 실선 화살표, 하위 필드의 경우 점선 화살표가 각각의 줄을 나타냄), 구성된 각 필드의 줄들을 사이사이에 끼워 넣는 방식으로(실선 화살표와 점선 화살표가 섞임) 비월 주사 프레임을 구성한다.

도1의 (b)에서와 같이, 상위 필드와 하위 필드 사이에는 시간차가 존재한다. 도1의 (b)의 경우에는 상위 필드가 시간적으로 앞선다. 경우에 따라 하위 필드가 시간적으로 앞설 수도 있다. 두 필드 사이의 시간차로 인하여, 비월 주사 프레임 내의 인접한 줄 사이의 신호 특성이 다를 수 있다. 다시 말해서, 비월주사 프레임의 i번째 줄의 신호 특성은 i+1번째나 i-1번째 줄의 신호 특성과 다를 수 있다. 반면, 같은 시각에 만들어진 같은 필드의 i+2번째 줄, 또는 i-1 번째 줄의 신호 특성과 유사성이 상대적으로 클 수 있다. 이러한 특성은 영상화면 내부의 움직임이 클수록 두드러진다. 그러므로 순행 주사 비디오 특성에 따라 개발된 영상 부호화 장치, 예를 들면 이동 추정(motion estimation) 및 이동 보상(motion compensation), 이산 여현 변환(discrete cosine transform; DCT) 등을 비월 주사 비디오 부호화에 사용하면 부호화 효율이 감소하게 된다.

이러한 부호화 효율의 감소를 해소하기 위하여 필드 기반(field-based motion) 이동 추정 및 이동 보상, 프레임-필드 적응적(adaptive frame/field) DCT 등이 연구되어 왔다. 본 발명에서는 비월 주사 비디오를 기반으로 개발된 부호화 방법을 통칭하여 비월 주사 부호화 방법이라 하고, 순행 주사 비디오를 기반으로 개발된 부호화 방법들을 통칭하여 순행 주사 부호화 방법이라 한다.

상기 비월 주사 부호화 기술들은 세계 표준화 기구인 ISO/IEC JTC1/SC29/WG11에서 디지털 TV 등의 응용을 목적으로 제정한 MPEG-2 동영상 부호화 표준안 등에 포함되어 있으며, 실제 응용 제품에도 많이 이용되는 기술들이다.

한편, 랜덤 액세스(Random access)와 고효율의 영상 압축을 위하여, 디지털 비디오의 프레임들을 I 프레임, P 프레임, B 프레임 등의 세 가지 타입으로 정의, 사용하는 방법이 디지털 동영상 부호화기에서 널리 이용된다. 특히 P 프레임과 B 프레임은 이동 보상 예측을 수행함으로써 높은 압축률이 가능하다. 여기서 I 프레임, P 프레임, B 프레임 등을 통칭하여 "부호화 타입"이라 한다. 상기 세 프레임의 특징을 좀 더 상세히 살펴보면 다음과 같다.

첫째, I 프레임(Intra coded frame)은 부호화시에 다른 프레임들을 참조하지 않는다.

둘째, P 프레임(Predictive coded frame)은 이전 I 프레임이나 이전 P 프레임을 참조하여 이동 보상 예측을 사용, 부호화하기 때문에 높은 압축률의 부호화가 가능하다. 비디오의 연속된 프레임간에는 시간축상으로 색상 정보(color information)의 중복성(redundancy)이 크다. 그러므로 I 프레임처럼 참조 없이 부호화 하는 방식보다, 이전 I 프레임이나 이전 P 프레임과 현재 P 프레임 사이의 이동 정보(motion estimation)를 추정하고, 이동 보상 예측을 수행하고 예측 오차(prediction error)와 이동 정보를 부호화 전송하는 방식이 압축률 측면에서 유리하다.

셋째, B 프레임(Bidirectionally-predictive coded frame)은 가장 압축률이 높은 프레임으로, 이전 프레임(previous frame) 뿐만 아니라 이후 프레임(next frame)도 참조하여 예측을 수행한다. B 프레임은 P 프레임과 같이 이동 보상 예측을 이용한다. 그러나 참조 영상을 두 개 사용하고, 이 중에서 보다 우수한 예측 성능을 선택하기 때문에 압축률이 가장 높다. 한편 이 프레임은 다른 프레임을 위한 참조 영상(reference frame)이 되지는 않는다. 그러므로 이전 프레임은 현재 B 프레임과 디스플레이(display)순서상으로 가장 가까운 이전의 I 프레임 또는 P 프레임이며, 이후 프레임은 현재 B 프레임과 디스플레이 순서상으로 가장 가까운 이후의 I 프레임 또는 P 프레임이다.

첨부한 도면 도2는 I 프레임, P 프레임, B 프레임으로 구성된 디지털 비디오의 일예이며, 디스플레이 순서대로 나타낸 것이다. 도2에서 위쪽의 화살표는 P 프레임에서의 참조 방향을 나타낸 것이며, 아래쪽의 화살표는 B 프레임의 참조 방향을 나타낸 것이다. 이 예에서 I 프레임의 간격, 연속되는 B 프레임의 개수 등은 응용(application) 또는 장치(equipment)에 따라 변할 수 있다.

디지털 비디오를 압축 부호화할 경우 I 프레임, P 프레임 그리고 B 프레임을 모두 사용한다면 디스플레이(display) 순서와 부호화 순서가 상호 달라진다. 도2를 예로 들면, 디스플레이 순서는 도면에서와 같이 I1, B1, P1, B2, P2, B3, P3, B4, I2인 반면, 부호화 순서는 I1, P1, B1, P2, B2, P3, B3, I2, B4이다. 그러므로 디스플레이 순서상으로 두 번째 프레임인 B1을 수신단에서 디스플레이하기 위해서는 세 번째 프레임 P1의 복호화를 수행한 후에 가능하다. 그러므로 영상 전화(videophone)와 같이 저 지연(low delay)이 필요한 응용 제품에서는 B 프레임 없이 I 프레임과 P 프레임만을 사용한다.

도2의 예는 순행 주사 비디오와 비월 주사 비디오의 경우 모두에 적용된다. 단, 비월 주사 비디오의 경우에는 각 프레임의 구성시 도1의 (b)와 같이 두 필드가 사이사이에 끼워진다는 점이 순행 주사 비디오의 경우와 틀리다. 이 점을 제외하고는 비디오의 구성, 예측 방향 등은 두 비디오에 대해서 동일하게 적용된다.

디지털 비디오 압축 부호화시에 이동 추정 및 보상, 색상 정보 부호화 등은 일정한 크기를 가지는 화소의 집합 단위로 수행하며, 이를 마크로 블록(macro-block, MB)이라 한다. 기존의 가장 널리 쓰이는 MB의 크기는 16 화소/줄 x 16줄이다.

MB의 부호화 방법은 크게 두 가지로 대별되는데, 영상내 부호화(intra coding)와 영상간 부호화(inter coding)가 그것이다. 영상내 부호화는 MB가 가지고 있는 색상 신호를 부호화 하는 반면, 영상간 부호화는 참조 영상으로부터 색상 신호를 예측한 후 그 오차 신호를 부호화 하는 방식이다. 그러므로 I 프레임에서의 모든 MB는 영상내 부호화를 수행하게 된다. 반면, P 프레임에서는 부호화 효율 측면에서 유리한 부호화 방식을 선택한다. 그러므로 P 프레임에서도 영상내 부호화 하는 MB가 존재할 수 있다.

정리하면, 영상내 부호화와 영상간 부호화는 부호화 하는 대상이 원 색상 신호인지 아니면 오차 신호인지에 따라 결정된다. 그리고 I 프레임에서는 모든 MB들이 영상내 부호화만 수행하게 되는 반면, P 프레임에서는 영상내 부호화 MB와 영상간 부호화 MB가 동시에 존재할 수 있다.

한편, 영상 전체 화면을 부호화(프레임 단위 부호화)하는 대신에, 영상이 가지고 있는 정보를 기준으로 프레임을 임의의 영역들로 분할하고, 분할된 영역별로 부호화(물체 단위 부호화)하는 영상 부호화 기법의 연구가 최근 활발히 진행 중이다. 이 물체 단위의 부호화 기법은 사용자가 원하는 물체만을 부호화 하여 전송을 하거나 조작(manipulation)하는 것을 가능하게 하며, 이러한 장점은 미래의 멀티미디어 산업 전반에 중요한 역할을 할 것이다.

최근에는 이러한 경향을 반영하여, 세계 표준화 기구인 ISO/IEC JTC1/SC29 WG11에서 물체 단위의 부호화를 특징으로 하는 MPEG-4(Moving Picture Experts Group Phase-4) 표준화 작업을 진행 중이다. MPEG-4를 포함하여, 물체 단위로 부호화 하는 비디오 압축 부호화 방식에서는 프레임 내에서 물체 영역을 표시하는 모양 정보(shape information)의 부호화 및 전송이 요구된다.

기존의 영상에 관한 표준안들, 예를 들면, ISO/IEC JTC1/SC29의 MPEG-1, MPEG-2, ITU-T의 H.261, H.263과의 가장 큰 차이는 모양 정보 부호화기에 있음을 알 수 있다.

도3에 현재 국제표준 산하기구에서 일차적으로 확정한 MPEG-4의 동영상 부호화기의 대략적인 구성도가 도시되었다.

이러한 동영상 부호화기는, 대상물 영역 형성부(11)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임 추정부(MOTION ESTIMATION)(13)에 입력되면, 움직임 추정부(13)는 인가된 VOP로부터 매크로 블록 단위의 움직임을 추정하게 된다.

또한, 상기 움직임 추정부(13)에서 추정된 움직임 정보는 움직임 보상부(MOTION COMPENSATION)(14)에 입력되어 움직임이 보상된다. 그리고, 움직임 보상부(14)에서 움직임이 보상된 VOP는 상기 VOP형성부(11)에서 형성된 VOP와 함께 감산기(16)에 입력되어 차이 값이 검출되고, 감산기(16)에서 검출된 차이 값은 대상물 내부 부호화부(18)에 입력되어 매크로 블록의 서브 블록 단위로 대상물의 내부정보가 부호화 된다.

한편, 움직임 보상부(14)에서 움직임이 보상된 VOP와, 대상물 내부 부호화부(18)에서 부호화된 대상물의 내부정보는 가산기(17)에 입력되어 가산되고, 가산기(17)의 출력신호는 이전 대상물 영역 검출부(PREVIOUS RECONSTRUCTED VOP)(15)에 입력되어 현재 영상 바로 이전 영상의 VOP인 이전 VOP가 검출된다.

또한, 이전 대상물 영역 검출부(15)에서 검출된 이전 VOP는 상기 움직임 추정부(13) 및 움직임 보상부(14)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 대상물 영역 형성부(11)에서 형성된 VOP는 모양정보 부호화부(SHAPE CODING)(12)에 입력되어 모양 정보가 부호화 된다.

여기서, 모양정보 부호화부(12)의 출력신호는 VOP 부호화기가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 모양정보 부호화부(12)의 출력신호를 움직임 추정부(13), 움직임 보상부(14) 및 대상물 내부 부호화부(18)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부정보를 부호화 하는 데 사용할 수 있다.

또한, 움직임 추정부(13)에서 추정된 움직임 정보와, 대상물 내부 부호화부(18)에서 부호화된 대상물 내부 정보 및 상기 모양정보 부호화부(12)에서 부호화된 모양 정보는 다중화부(19)에 인가되어 다중화된 후 버퍼(20)에서 버퍼링 되고, 비트 스트림으로 도면에는 도시하지 않았지만 다수개의 부호화기의 출력을 다시 다중화 하여 전송하는 다중화기에 전달되어 복호기 측으로 전송되어진다.

상기와 같은 MPEG-4에서는 임의의 모양을 가지는 부호화 단위를 VOP(Video Object Plane)이라 한다. 이는 기존의 표준안의 프레임에 해당하는 것으로, 프레임 타입처럼 I VOP, P VOP, B VOP와 같은 VOP 타입을 가진다. 이 VOP 타입은 직사각형의 프레임과는 달리 임의의 모양 정보를 가진다는 차이점만 있고, 다른 특성(예를 들어, 이동 보상 예측 방향)들은 일치한다.

그리고 물체 경계 부분에서는 전체 프레임을 부호화 하는 기존의 기술들을 적용하면 부호화 효율이 감소하는데, 이러한 문제점을 극복하고 부호화 효율을 높이기 위해 연구된 기술들의 예로서 Boundary Block Merging(BBM), Shape-adaptive Discrete Cosine Transform(SA-DCT) 등이 있다.

전술한 바와 같이, 디지털 비디오 압축 부호화시에 이동 추정 및 보상, 색상 정보 부호화 등은 일정한 크기를 가지는 화소의 집합(macroblock, 이하 MB) 단위로 수행된다. 임의의 모양 정보를 가지는 물체의 부호화시에는 MB를 모양 정보와 관련하여 세 가지로 구분 가능하다. 첫째, 물체 영역 외부에 포함된 경우의 MB가 있다. 이 MB는 MB내에 물체 영역이 존재하지 않는 것이며, 부호화 과정이 불필요하다. 두 번째로는 물체 영역 내부에 포함된 경우가 있으며, 기존의 프레임 단위 부호화에서 개발된 기술들을 직접적으로 사용 가능하다. 마지막으로 물체 영역과 물체 영역이 아닌 영역이 공존하는 MB가 있다. 이러한 MB를 수신단(receiver)에서 복호화(decoding)하기 위해서는 물체 영역을 표시하는 모양 정보와 물체 영역 내의 색상 정보를 부호화 해야 한다. 물론 P 프레임이나 B 프레임과 같이 이동 추정 및 보상을 하는 프레임에서는 이동 정보도 부호화 하여 전송을 해야 한다.

도4는 TMB, OMB 그리고 BMB의 일 예를 도시한 것이다. 여기서 회색 부분은 부호화할 물체 영역을 표시한 것이며, 작은 사각형 각각은 MB의 일례를 보여준다. 이 예에서 물체 영역 외부에 포함된 MB(TMB)가 6개, 물체 영역 내부에 포함된 MB(OMB)가 12개, 그리고 물체 영역 내부와 외부가 동시에 존재하는 MB(BMB)가 22개이다.

아울러 전술한 비월 주사 비디오는, 주지한 바와 같이, 순행 주사 비디오와는 다른 신호 특성을 보인다. 이러한 특성들을 고려하여, 순행 주사 비디오를 위한 부호화 방법들과는 다른 방법들이 비월 주사 비디오의 높은 부호화 효율을 위하여 많이 연구되어 왔다.

상기 비월 주사 부호화는 필드/프레임 적응적 DCT와 필드 단위 이동 정보 추정 및 예측 등의 두 가지로 대별된다. 비월 주사 부호화 방법의 대표적인 예로, MPEG-4 위원회안(Committee Draft, CD)에 기술된 방법들중 2가지만 간단히 설명한다.

첫째, 필드/프레임 적응적(field/frame adaptive) DCT이다.

MPEG-4에서 영상내 부호화 MB에서나 영상간 부호화 MB에서나, 부호화의 최종 단계는 DCT(discrete cosine transform)이다. 16x16의 MB를 8x8 크기를 가지는 4개의 부블럭으로 나누고 각 부블럭의 신호를 DCT한다. 만일 영상내 부호화 MB의 경우에는 원래의 색상 신호를, 영상간 부호화 하는 MB에서는 이동 보상 예측 오차 신호를 DCT한다. 이러한 DCT는 이웃하는 화소의 신호 사이에 유사성이 높을수록 그 효율이 높아진다.

비월 주사 비디오의 경우, 같은 필드의 신호들이 동일한 시간에 만들어 진 것이므로, 바로 이웃하는 화소의 신호보다는 같은 필드상의 신호간의 유사성이 높을 확률이 크다. 이러한 특징은 순행 주사 비디오와 구분 짓는 가장 큰 특징으로, 특히 이동이 큰 물체가 영상내에 존재할 때 이러한 특징은 두드러진다. 이 경우는 같은 필드의 화소끼리 DCT를 하는 것이 유리하다. 그러므로 비월 주사 비디오의 경우에는 같은 필드의 화소 사이의 DCT(필드 DCT)와 기존처럼 필드를 고려하지 않는 DCT(프레임 DCT)를 모두 허용하며, 두 DCT 중에서 압축 효율이 높은 방법을 선택, 부호화 한다. 그리고 선택된 DCT 방법을 알려 주는 플래그를 수신단에 전송한다. 이를 필드/프레임 적응적 DCT라고 한다.

필드/프레임 적응적 DCT를 자세히 설명하면 다음과 같다. 먼저 이웃한 줄 사이의 유사성과 한 줄 건너서의 줄 사이의 유사성을 비교한다. 이웃한 줄 사이의 유사성이 크면 프레임 DCT를, 유사성이 작으면 필드 DCT를 수행하게 된다. 유사성 비교의 판단식은 다음과 같다.

이 식에서 i와 j는 각각 MB내에서의 수직, 수평축의 위치를 표시하며, P_i,j는 i, j위치의 화소의 색상 값을 나타낸다. 만일 위의 관계식과 같이, 좌변이 우변보다 크다면 같은 필드의 화소간의 유사성이 높다는 의미이다. 이때에는 도5와 같이 줄의 위치를 변형시켜서 상위 필드, 하위 필드끼리 인접하도록 재구성하는 셔플링(shuffling) 단계((a) -> (b))를 수행한다. 이후 4개의 부블럭으로 나누고, DCT를 수행한다. 만일 우변이 좌변 보다 크거나 같다면, 바로 이웃한 화소의 유사성이 높다는 의미이다. 그러므로 셔플링 단계의 수행 없이, 4개의 부블럭을 DCT 수행한다. 도5의 (a)에서 DCT를 수행하는 것을 프레임 DCT, (b)에서 DCT를 수행하는 것을 필드 DCT라고 한다.

프레임 DCT, 필드 DCT에 대한 정보(dct_type)는 1 비트를 사용하여 수신단에 전송된다.

수신단의 복호화기에서는 수신된 비트열로부터 dct_type을 복호화하고, 4 개의 부블럭의 DCT 변환계수(transform coefficient)들을 복호화 하여 역(inverse) DCT를 수행한다. 그 후에 dct_type을 보고 필드 DCT인지, 아니면 프레임 DCT인지를 판단한다. 만일 필드 DCT이면 얻어진 MB를 도5에서와 같이 역셔플링((b) -> (a))을 수행하여 최종 MB을 얻어낸다.

둘째로, P 프레임에서의 필드 단위의 이동 정보 추정이다.

기존의 가장 일반적인 이동 정보 추정 방법은, MB 단위로 참조 영상에서 이동 정보를 추정하고, 이 정보를 이용하여 참조 영상의 재현 신호로부터 이동 보상 예측을 수행하는 것이다. 이때 한 MB내의 모든 화소는 같은 이동 정보를 가진다는 가정을 하게 된다. 그러므로 수신단에 MB 당 한 개의 이동 정보를 전송하면 된다.

순행 주사 비디오의 경우에는 이러한 가정이 적용될 수 있다. 그러나 비월 주사 비디오인 경우에는, 주지한 바와 같이, 한 필드 단위로 영상 생성 시각이 틀리기 때문에 한 MB내의 모든 화소가 같은 이동 정보를 가진다는 가정보다는, 한 MB내의 같은 필드에 속한 화소들은 같은 이동 정보를 가진다는 가정이 보다 정확하다. 그러므로 비월 주사 비디오의 경우에는 한 필드 단위로 이동 정보를 추정하는 것이 보다 정확한 이동 정보 추정을 가능하게 하고, 이동 보상 예측 오차를 감소시킴으로써 부호화 이득을 얻을 수 있다. 단, 각 MB 당 두 개의 이동 정보를 전송해야 된다. 그러므로 일반적으로 프레임 단위의 이동 정보 추정과 필드 단위의 이동 정보 추정을 비교하여 보다 나은 방법을 선택한다. 그리고 이 선택 정보(field_prediction)를 전송한다.

주의할 점은 도6에서와 같이 현재 상위 필드의 이동 보상이 이전 프레임의 상위 필드와 하위 필드로부터 모두 가능하다는 것이다. 그러므로 예측 방향을 나타내는 정보(prediction_direction)를 전송해야 한다. 현재 프레임의 하위 필드도 마찬가지이다.

정리하면, 필드 단위의 이동 정보 추정 및 예측을 위하여 한 개의 MB 당 수신단에 전송해야 할 정보들은 다음의 5 가지이다.

1)Field_prediction

2)상위 필드의 prediction_direction

3)하위 필드의 prediction_direction

4)상위 필드의 이동 정보

5)하위 필드의 이동 정보

수신단의 복호기에서는 수신되는 비트열로부터 field_prediction 정보를 복호화 한다. 만일 필드 단위의 이동 보상 예측을 수행하는 경우이면, 2) 내지 5) 정보들을 비트열로부터 복호화하고, 해당 정보들에 맞추어 복호화를 수행하면 된다.

한편, 디지털 비디오 신호를 압축 부호화 하여 생성된 비트열을 에러가 많이 발생할 수 있는 채널(channel)을 통해 전송할 때, 예를 들면 이동 통신 전송 에러가 발생할 수 있고, 이 전송 에러에 의해 수신단에서 수신된 비트열을 복호화 했을 때의 재현 화질이 크게 손상될 수 있는 위험성이 있다. 전송 에러에 의한 문제점을 최소화하기 위한 연구들이 활발히 진행되어 왔으며, 크게 에러 검출(error detection), 에러 국부화(error localization), 데이터 복구(data recovery) 등으로 구별할 수 있다. 그리고 이 연구들을 통칭하여 오류 내성(error resilience)기술이라고 하며, 이러한 기술들을 반영한 비트열 구조를 error resilient 비트열이라 한다.

이하에서는 VOP 단위의 부호화를 수행하는 MPEG-4 부호화 방식의 CD에 기술된 오류 내성 복구 기술들을 간략히 살펴본다.

에러 복구 기술로 재동기 방법이 있다.

재동기 신호는 에러가 검출된 후의 비트열과의 복호화기 사이의 재동기를 가능하게 한다. 비트열 상에서 에러가 발생한 경우, 그 직전의 재동기 지점과 그 직후의 재동기 지점 사이의 비트들은 일반적으로 무시된다. 만일 재동기 방법이 복호화기에서 무시되는 데이터 량을 효과적으로 국부화 또는 최소화할 수 있다면, error resilience와 관련된 다른 기술들(데이터 복원 또는 error concealment )의 성능을 향상시킬 수 있다.

MPEG-4의 재동기 방법은 ITU-T의 동영상 부호화 표준화 방안인 H.261이나 H.263에서 사용되었던 GOB(Group of Blocks) 구조와 유사하다. 이 표준안들에서, GOB는 한 개 또는 수 개의 MB 열(row)로 구성된다. 그리고 부호화 과정에서 새로운 GOB가 시작될 때, GOB 헤더(header)를 비트열 상에 위치시킨다. 이 헤더는 GOB 시작 코드(start code)를 포함하며, 이는 복호기가 이 GOB의 위치를 알 수 있게 한다. 이 시작 코드 이외에도, GOB 헤더는 복호화 과정을 재 시작하는데 필요한 정보들을 저장한다. GOB 방식은 공간적(spatial) 재동기이다. 다시 말해서 부호화 과정에서 특정한 MB 위치에 도달하면 재동기 신호를 비트열에 삽입한다. 이 방식에 내재된 문제점은, 부호화 과정이 가변 비트율(variable bit-rate) 부호화시에 이 재동기 신호가 비트열 상에 일정한 간격으로 위치하지 못한다는 점이다.

MPEG-4에서 채택된 기술은 이러한 문제점을 피하기 위해 비트열에 주기적으로 재동기 신호를 삽입한다. 즉, VP(video packet : 재동기 신호 사이의 비트열 집합)의 구성이 MB 개수를 기준으로 하는 대신, VP에 포함된 비트 수를 기준으로 정의된다. 만일 현재 VP에 포함된 비트 수가 주어진 임계치를 초과하면 다음 MB의 시작에서 새로운 VP가 시작된다.

도8은 VP의 예를 보인 것이다. 재동기 신호는 새로운 VP의 시작을 구분해 준다. 이를 위해서, 이 신호는 모든 가능한 VLC 코드와 각종 시작 코드들과 구분되어야 한다. 헤더 정보 역시 VP의 시작에 위치한다. 이 헤더는 복호화 과정을 다시 시작하는데 있어서 필수적이며, 해당 VP의 첫 번째 MB의 위치(macroblock number), 양자화 파라미터(quant_scale) 등의 정보를 포함한다.

또한, Macroblock number는 공간 동기화를 가능하게 하고, quant_scale은 동기화가 된 후의 색상 정보 복호화를 가능하게 한다. 아울러 헤더 확장 코드(header extension code, HEC)는 헤더에 부가 정보를 포함하는지의 여부를 나타내는 1 비트 플래그이다. 만일 HEC가 1이면 복호화기에서 VP를 독립적으로 복호화할 수 있도록 하는 부가 정보들이 헤더에 포함된다. 여기서 부가 정보들은 다음과 같다.

Modulo time base, VOP time increment, VOP coding type, intra dc vlc thr, VOP fcode forward, VOP fcode backward.

여기서 VOP 코딩 타입(coding type)은 현재 부호화할 VOP가 I VOP, P VOP, B VOP 중 어느 것에 해당하는지를 나타내는 정보이며, intra dc vlc thr은 DC 정보의 VLC 표를 나타낸다. VOP fcode forward는 이동 정보 추정시 탐색 영역의 크기를 나타내는 정보이며, VOP fcode backward는 B VOP에서 역방향 이동 정보 추정시의 탐색 영역의 크기를 나타내는 정보이다. 여기서 HEC에 포함된 정보들은 복호화기에서 VP를 독립적으로 복호화하는 데에 있어서 반드시 필요한 정보들이다.

만일 VOP 헤더 정보에서 전송 오차가 발생한 경우, VOP 헤더 정보 대신에 HEC내에 포함된 정보들을 이용한다. 복호기는 VOP 헤더에 전송 에러가 발생한지의 여부 판단을 위하여 복호화된 정보의 semantic 일치성을 확인한다.

예를 들어, VOP fcode forward와 VOP fcode backward가 "0" 값으로 복호화 되면, 복호화기는 이 정보들에 에러가 있다고 판단할 수 있다. MPEG-4의 fcode forward와 fcode backward는 0을 만들지 않기 때문이다. 이 경우 복호화기는 다음 VP의 HEC를 이용하여 VOP fcode forward와 VOP fcode backward 값들을 정정할 수 있다.

MPEG-4에서 error resilience 방법을 사용할 때에는, 일부 압축 부호화 방법들을 수정해야 한다. 예를 들어, 모든 예측 부호화 방법들은 에러의 전파 (error propagation)를 막기 위해서 예측에 이용되는 정보들을 같은 VP내의 정보들로 한정해야 한다. 다시 말해서, 예측시(예를 들어 AC/DC 예측, 이동 벡터 예측), VP 경계를 VOP 경계와 같이 취급해야 한다.

다른 에러 복구 기술로 데이터 분할 기술이 있다.

error concealment는 에러에 강한 비디오 코덱을 위하여 필수적이며, 이의 성능은 재동기 방법에 상당히 의존한다. 만일 재동기 방법이 에러를 상당히 국부적으로 제한한다면 error concealment 방법은 보다 효과적이 된다. 이동 영상 전화와 같이, 저 전송률(low bit-rate)/저 지연(low delay) 응용에서는 현재의 재동기 방법이 참조 프레임의 MB를 복사하는 등의 간단한 error concealment 방법으로도 우수한 성능을 보인다.

그러나 MPEG-4에서는 error concealment의 중요성과 이를 위한 향상된 에러 국부화 방법의 필요성을 인지하고, 데이터 분할(data partitioning)이라는 새로운 기술을 발전시켰다. 이 데이터 분할은 P VOP의 경우, 비디오 패킷 내의 모든 MB의 정보들을 색상 정보와 이동 정보를 중심으로 분리한다. 그리고 두 번째 재동기 신호를 이동 정보들과 색상 정보들 사이에 삽입한다. 이때 데이터 분할이 사용된다는 사실을 수신단에 부가 정보로 알려 주어 복호화기가 알 수 있게 한다. 여기서 재동기 신호와의 구분을 위하여, 데이터 분할의 두 번째 재동기 신호를 마커 신호라고 표현한다.

도9는 데이터 분할이 사용된 비디오 패킷의 구조를 보인 것이다.

마커 신호가 정확하게 복호화 되면, 해당 비디오 패킷 내의 모든 MB들의 이동 정보가 올바르게 복호화 되었다고 볼 수 있다. 만일 이후에 전송 복호화된 색상 정보에 전송 에러가 존재함을 검출한 경우에는 해당 비디오 패킷 내의 모든 색상 정보들은 무시하고, 해당 비디오 패킷 내의 모든 MB들의 재현을 위하여, 마커 신호 이전의 복호화된 이동 정보들을 이용하여 복호화된 참조 VOP로부터 이동 보상 예측을 수행한다.

P VOP에서 이동 정보가 중요한 정보라면, I VOP의 경우에는 DC 정보가 중요한 정보이다. 그러므로 비디오 패킷 내의 모든 MB의 정보들을 DC 정보와 AC 정보를 중심으로 분리한다. 그리고 그 사이에 마커 신호를 삽입한다. 만일 AC 정보에서 전송 에러가 발생한 경우, AC 정보들은 무시하고 DC 정보만을 이용하여 해당 비디오 패킷 내의 모든 MB들을 재현하게 된다.

한편, 수신단내의 복호기에서는 전송 받은 비트열과 다수의 부가 정보를 이용하여 원 영상을 재현하게 되는데, 그 복호화 과정 중 하나가 역 VLC 코딩이다.

상기 역 VLC 코드(Reversible Variable Length Codes : RVLC)는 순방향 (forward direction)과 역방향(reverse direction) 동시에 복호화가 가능하도록 디자인되어 있다. 에러가 존재해서 순방향으로 복호화가 불가능한 비트열에 대해, 에러 발생 지점 직후의 재동기 신호로부터 역방향으로 복호화를 수행할 수 있는 경우가 있다. 그러므로 이 경우에는 전송 에러에 의해 복호기에서 무시되는 비트 수가 줄어든다. 현재 MPEG-4에서는 RVLC를 변환 계수의 부호화에만 적용한다.

첨부한 도면 도10은 현재 표준안 작업이 진행중인 MPEG-4의 순행 주사 인터픽쳐(Interpicture)의 데이터 분할 부호화시의 흐름도이다.

이 흐름도는 한 비디오 패킷 내에서 전송되는 정보의 순서를 보여준다. 이 패킷 내에 존재하는 MB의 개수를 N_MB라 할 때, 먼저 이 패킷 내부에 속하는 N_MB 개의 MB들의 모든 이동 정보들을 부호화하여 먼저 전송한다. 그리고 이동_maker(motion_maker)를 전송하고, 역시 N_MB개의 MB들의 색상 정보들을 부호화하여 전송한다. 단, MPEG-4에서는 임의의 모양 정보를 가지는 VOP라는 영역 단위로 부호화하기 때문에 각 MB의 모양 정보를 이동 정보와 함께 먼저 전송하며, 이동 정보 복호화를 위한 부가 정보도 함께 먼저 전송한다. 상기 이동_maker는 이동 정보와 색상 정보를 구분 짓는 신호로, 전체 부호화기에서 가능한 모든 코드들과는 구분되어야 하는 신호이다.

첨부한 도면 도11은 현재 표준안 작업이 진행중인 MPEG-4에서 순행 주사 인터픽쳐(Interpicture)를 데이터 분할 복호화할 경우의 흐름도를 보인 것이다.

복호화기에서는 먼저 모양 정보를 복호화하고, 이동 정보 복호화에 필요한 부가 정보를 복호화 한다. 그리고 그 복호화한 이동 정보에 필요한 부가 정보로 이동 정보를 복호화 한다. 이러한 과정을 다음 비트열이 이동_maker일 때까지 계속 반복한다. 이 때, 반복 횟수가 곧 비디오 패킷 내에 존재하는 MB의 개수, N_MB가 된다. 그 다음 "이동_maker"를 복호화한 후, 모든 N_MB개의 MB를 위한 색상 정보를 부가 정보와 함께 복호화 한다.

영상 처리 시스템에서 고려되는 이동 정보를 위한 부가 정보로는, 해당 MB가 전혀 부호화 비트가 발생 안 하는 경우를 나타내는 플래그("not_coded"), 이동 정보가 어떤 모드(순행 주사인 경우, MB당 1개의 이동 정보를 보내는 모드와 4개를 보내는 모드 등이 있다)인가를 나타내는 정보 등이 있다. 색상 정보를 위한 부가 정보로는 어떤 부블럭에서 전송해야 할 색상 계수가 존재하는 지를 나타내는 정보, 색상 계수를 예측 부호화할 것인가를 나타내는 플래그 등이 있다.

한편, 지금까지 설명한 error resilience를 위한 기존의 모든 기술들은 순행 주사 P프레임을 비디오를 위하여 개발된 것들이다.

따라서 이러한 종래의 순행 주사 인터픽쳐(Interpicture)를 부호화하고, 또한 복호화 하는 기술을 비월 주사 인터픽쳐(Interpicture)에 적용하는 경우에는 많은 오류가 발생한다.

예를 들어, 순행 주사 인터픽쳐(Interpicture)의 부호화시에는 각 필드를 구분할 필요가 없는데, 비월 주사 비디오의 부호화시에는 각 필드의 구분이 필요하므로, 순행주사 비디오 부호화 방법을 그대로 비월주사 인터픽쳐(Interpicture)에 적용하게 되면 많은 오류가 발생하게 된다.

이에 본 발명은 비월 주사 비디오의 인터픽쳐(Interpicture) 부호화 또는 복호화시 원활한 부호화 및 복호화가 이루어지도록 하고, 특히 압축한 동영상을 전송할 경우 전송 에러를 최소화하도록 한 비월주사 인터픽쳐(Interpicture)의 영상내, 영상간 부호화 방법 및 복호화 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 의한 동영상 영상내, 영상간 부호화 방법은, 일정한 화소의 집합 단위를 영상내 및 영상간 부호화하는 방법에 있어서, 일정 비디오 패킷의 부호화시 비월 주사 부호화임을 나타내는 정보를 부호화 하여 전송하는 단계와; 상기 비월 주사 부호화에 필요한 부가 정보들을 부호화 하여 전송해주는 단계와; 상기 일정 비디오 패킷내의 모든 마크로 블록의 필드 단위 이동 보상 예측 정보를 부호화하여 전송하는 단계와; 상기 이동 보상 예측 정보 부호화후 이동 보상 예측 정보와 색상 정보를 구분하기 위한 마커 신호를 부호화하여 전송해주는 단계와; 상기 일정 비디오 패킷내의 모든 마크로 블록의 색상 정보를 부호화 하여 전송하는 단계로 이루어짐을 특징으로 한다.

또한, 상기와 같은 목적을 달성하기 위한 본 발명에 의한 동영상 영상내, 영상간 복호화 방법은, 일정한 화소의 집합 단위를 영상내 또는 영상간 복호화할 경우, 수신된 일정 비디오 패킷의 복호화시 비월주사 부호화를 나타내는 정보를 복호화 하는 단계와; 상기 비월주사 복호화에 필요한 부가 정보를 복호화 하는 단계와; 상기 비디오 패킷내의 모든 마크로 블록의 필드 단위 이동 보상 예측을 위한 정보를 복호화 하는 단계와; 상기 수신된 비디오 패킷 내에 존재하는 마커 신호를 복호화 하는 단계와; 상기 비디오 패킷내의 모든 마크로 블록의 색상 정보를 복호화 하는 단계로 이루어짐을 특징으로 한다.

이하, 상기와 같은 본 발명의 기술적 사상에 따른 바람직한 실시예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.

먼저, 본 발명에서는 비월 주사 부호화를 수행하는 경우에, 비월 주사 부호화를 수행한다는 정보(interlaced)를 비디오 패킷에 포함시킨다. 더 나아가 필요한 부가적인 정보들도 전송해야 한다. 만일 비월 주사 복호화를 수행하는 경우 interlaced 전송 부분에서 전송 에러가 발생한 경우, 패킷 헤더내의 interlaced를 복호화 함으로써, 복호화기에서 비월 주사 복호화를 수행할 지의 여부를 결정할 수 있다.

예를 들어 MPEG-4의 경우에는 VOP 헤더에 interlaced 정보와 함께, scan 방법에 관련된 정보(alternate_scan)와 상위 필드/하위 필드 중에서 어느 필드가 시간적으로 먼저인지를 나타내는 정보(top_field_first)들을 비월 주사 부호화에 필요한 부가 정보로서 전송한다. 그러므로 이 경우에 부호화기에서는 HEC가 1일 때, 비디오 패킷 헤더 내부에 interlaced, alternate_scan, top_field_first와 같은 세 가지 정보들을 포함하여 함께 전송해야 한다. 복호화기에서는 만일 VOP 헤더 부분에서 전송 에러가 발생한 경우, 비디오 패킷 내부의 상기와 같은 세 가지의 정보들을 복호화 하여, 해당 비디오 패킷 복호화에 사용한다.

다음으로, 비월 주사 비디오의 압축 부호화시에 인터픽쳐(Interpicture)의 데이터 분할에서는, 일정 비디오 패킷 내부의 모든 MB의 이동 정보들과 색상 정보들을 분리해서 전송한다. 그리고 이동 정보와 색상 정보 사이에 마커 신호를 삽입하여 이동 정보 전송시 에러가 발생했는지 여부를 판단한다.

만약, 색상 정보에서 에러가 검출되면 색상 정보는 무시하고, 마커 신호 이전의 복호화된 이동 정보를 이용하여 이전 프레임으로부터 이동 보상 예측을 수행함으로써 해당 비디오 패킷 내부의 모든 MB들을 재현하게 된다.

한편, 인터픽쳐(Interpicture)의 비월 주사 부호화 방식에서 수신단에 전송이 되어야 할 이동 정보로는, 이동 보상 예측이 필드 모드인지 아니면 프레임 모드인지를 나타내는 플래그 비트, 필드 이동 보상 예측 모드일 때에는 각 필드의 이동 정보, 그리고 각 필드의 예측 방향을 나타내는 정보 등이 있다.

그리고 영상내 부호화 MB와 영상간 부호화 MB가 동시에 존재하는 경우를 프레임 타입으로 보면, P 프레임이나 B 프레임을 들 수 있다. 필드 단위 이동 보상 예측을 위한 정보들과 색상 정보 사이에 삽입되는 마커 신호는 부호화기에서 생성되는 모든 가변 길이 코드와 각종 재동기를 위한 신호, 그리고 시작 신호 등과 중복되지 않은 신호를 선택함으로서, 복호화기에서 다른 신호와 혼동이 되지 않도록 한다.

상기에서, 필드 단위 이동 보상 예측을 위한 정보들의 예로는, 필드 단위 이동 보상 예측 여부를 나타내는 모드 정보, 그리고 상기 모드가 필드 단위일 경우 각 필드의 이동 정보와 예측 방향을 나타내는 정보 등이다.

또한, 복호화기에서 비디오 패킷의 길이(해당 비디오 패킷 내에 존재하는 MB 개수)를 알기 위한 방법으로는 여러 가지가 가능하다. 예를 들어, 복호화할 다음의 비트열이 마커 신호일 때까지 필드 단위 이동 보상 예측을 위한 정보를 복호화할 수 있고, 각 비디오 패킷의 길이를 MB의 개수로 나타내어 부가 정보로 전송할 수도 있다.

만일 색상 정보에서 전송 에러가 발생한 경우, 색상 정보는 무시하고 이미 복호화 되어 저장하고 있는 필드 단위 이동 보상 예측을 위한 정보들을 이용하여 참조 프레임으로부터 예측을 수행한 후, 이 예측값들로 재현 MB를 구성한다.

이하에서는 본 발명의 실시예를 좀 더 구체적으로 설명한다.

첨부한 도면 도12는 본 발명에 의한 비월 주사 부호화 방법을 이용하여 비월 주사 인터픽쳐(Interpicture)를 영상내 및 영상간 데이터 분할 부호화 하는 과정을 보인 흐름도이다.

이는 주지한 바와 같이 한 비디오 패킷 내에서의 정보의 부호화 순서 및 전송 순서를 보인 것이다. 먼저, VP의 시작 위치에서 일정 비디오 패킷의 i번째 MB의 모양 정보를 부호화하고 이를 제일 먼저 복호기측에 전송한다. 다음으로, 이동 정보를 위한 부가 정보들(예를 들어, 비월 주사 프레임을 알리는 정보, 스캔 방법에 관한 정보 등등)을 부호화하여 복호화기 측에 전송해준다. 그리고 이동 보상 예측이 필드 모드인지 아니면 프레임 모드인지를 나타내는 플래그(field_prediction) 비트를 부호화하여 복호화기 측에 전송해준다. 이때, 이동 보상 예측 모드가 필드 이동 보상 예측 모드일 때에는 각 필드의 이동 정보, 그리고 각 필드의 예측 방향을 나타내는 정보를 부호화한 후 이를 복호기 측에 전송해준다. 아울러 상기 이동 보상 예측 모드가 프레임 모드일 경우에는 프레임 이동 정보를 부호화하여 복호화기 측에 전송해주게 된다. 본 발명에서는 예로써 field_prediction이 "1"값을 가질 때 필드 모드임을 나타낸다. 이러한 과정들을 비디오 패킷 내부의 N_MB개의 모든 MB에 대해서 수행한다. 그리고 이동 보상 예측 정보와 색상 정보를 구별하기 위한 마커 신호(motion_marker)를 부호화하여 복호기 측에 전송해준다. 그 다음 마지막으로 모든 N_MB개의 모든 MB의 색상 정보들과 이에 필요한 부가 정보들을 부호화하여 복호화기 측에 전송해줌으로써, 비월 주사 인터픽쳐(Interpicture)의 영상내 및 영상간 부호화 및 전송을 종료하게 된다.

첨부한 도면 도13은 본 발명에 의한 비월 주사 인터픽쳐(Interpicture)를 영상내 및 영상간 데이터 분할 복호화할 때의 복호화 과정을 보인 흐름도이다.

이에 도시된 바와 같이, 먼저 수신된 일정 비디오 패킷내의 i번째 MB의 모양 정보를 복호화한 후, 해당 MB의 이동 정보를 부가 정보를 복호화 한다. 그 다음으로 해당 MB의 이동 보상 예측을 위해 필드 모드인지 아니면 프레임 모드인지를 나타내는 플래그(field_prediction)를 복호화한다. 이때, 플래그를 복호한 결과 필드 모드이면 필드 단위 이동 보상 예측에 필요한 정보들을 복호화하고, 이와는 달리 프레임 모드이면 프레임 이동 정보를 복호화한다. 이 과정을 다음 비트열이 motion_marker를 나타낼 때까지 반복한다. 동시에 반복 횟수, 즉 N_MB를 계산한다. 이후 이동 정보와 색상 정보를 구분 짓는 motion_marker를 복호화한 후, N_MB개의 MB에 해당하는 색상 정보와 이를 위한 부가 정보들을 복호화하여 해당 MB의 원영상을 재현하게 된다.

본 발명에 의한 실시예에서는 다음 비트열이 motion_maker를 나타낼 때까지 모양 정보, 부가 정보, 이동 정보들을 부호화 또는 복호화 하는 과정을 반복한다고 설명을 하였지만, 만일 해당 비디오 패킷 내의 MB 개수를 수신단에서 부가 정보로 전송한다면 복호화 측에서는 motion_marker를 매 번 확인할 필요 없이 부호화기에서처럼 MB 개수에 해당하는 만큼만 모양정보, 부가 정보, 이동 정보의 복호화과정을 반복 수행하면 된다.

본 실시 예는 임의의 모양 정보를 가지는 MPEG-4의 부호화기/복호화기에 적용하였기 때문에 모양 정보 전송 블록이 실시예에서 맨 먼저 부호화 및 복호화 하는 것으로 설명되었다. 그러나 본 발명에 의한 비월 주사 인터픽쳐(Interpicture)를 영상내 및 영상간 부호화 및 복호화 하는 방법을 사각형의 프레임 단위의 부호화 방식에도 적용 가능하다. 만일 이 경우에 적용하려면, 도12에서 모양 정보를 부호화 하는 과정과 도13에서 모양 정보를 복호화 하는 과정만을 제거하면 된다.

상기와 같은 본 발명의 제안 방법을 이용하여 부호화 및 복호화를 수행하는 경우, 높은 화질의 비월 주사 동영상을 전송 에러가 발생할 확률이 높은 채널을 통해서 전송하는 매체에 응용하여 적용하는 경우 매우 큰 장점이 있다. 디지털 TV를 예로 들면, 디지털 TV는 높은 화질의 비월 주사 비디오를 공중파를 사용하여 전송하는데, 이때 공중파 채널은 전송 에러가 발생할 확률이 높다. TV가 압축된 영상의 비트열을 복호화할 때 상기와 같은 본 발명의 부호화 및 복호화 방법을 응용하면, 전송 에러의 존재 시에도 높은 화질의 재현 영상을 얻을 수 있다는 장점을 가진다.

이상에서 상술한 바와 같이 본 발명은, 비월 주사 인터픽쳐(Interpicture)를 영상내 및 영상간 부호화 하는 경우 데이터 분할 부호화 방법을 이용하여 부호화하고, 그 부호화된 비월 주사 인터픽쳐(Interpicture)의 비디오 패킷을 본 발명에서 제안한 전송 순서에 맞게 복호기 측에 전송해주며, 복호기 측에서는 본 발명에서 제안한 방법에 의거 복호화를 수행함으로써 채널 에러가 많이 발생하는 채널을 통해 비디오 패킷을 전송하는 경우에도 복호기 측에서 원영상을 충분히 재현할 수 있도록 도모해주는 효과가 있다.

도1은 일반적인 순행 주사 비디오(progressive video)와 비월 주사 비디오(interlaced video)의 시간축상의 전송 순서도,

도2는 영상 부호화 타입(I 프레임, P 프레임, B 프레임)과 예측 방향의 일예도,

도3은 현재 국제표준 산하기구에서 1차적으로 확정한 MPEG-4 동영상 부호화기의 구성도,

도4는 TMB, OMB 그리고 BMB를 설명하는 일예도,

도5는 마크로 블록(MB) 단위로 부호화할 프레임MB(a)와 필드MB(b)의 구성도,

도6은 한 MB내의 4개의 부블럭으로 분할한 예시도,

도7은 필드 예측을 수행할 때 이전의 필드를 참조하는 방향의 예시도,

도8은 재동기 신호를 사용하는 error resilient 비디오 패킷의 구조도,

도9는 데이터 분할을 이용하는 error resilient 비디오 패킷의 구조도,

도10은 종래 순행 주사 인터픽쳐(Interpicture)의 데이터 분할 부호화시 부호화 및 전송 흐름도,

도11은 종래 순행 주사 인터픽쳐(Interpicture)의 데이터 분할 복호화시 복호화 흐름도,

도12는 본 발명에 의한 비월 주사 인터픽쳐(Interpicture)의 데이터 분할 부호화시 부호화 순서 및 전송 순서를 보인 흐름도,

도13은 본 발명에 의한 비월 주사 인터픽쳐(Interpicture)의 데이터 분할 복호화시 복호화 순서를 보인 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

12 : 모양정보 부호화부

13 : 움직임 추정부

14 : 움직임 보상부

15 : 이전 대상물 영역 검출부

18 : 대상물 내부 부호화부

Claims (10)

1. 일정한 화소의 집합 단위를 영상내 및 영상간 부호화 하는 방법에 있어서,

   일정 비디오 패킷의 부호화시 비월 주사 부호화임을 나타내는 정보를 부호화 하여 전송하는 단계와;

   상기 비월 주사 부호화에 필요한 부가 정보들을 부호화 하여 전송해주는 단계와;

   상기 일정 비디오 패킷내의 모든 마크로 블록의 필드 단위 이동 보상 예측 정보를 부호화하여 전송하는 단계와;

   상기 이동 보상 예측 정보 부호화후 이동 보상 예측 정보와 색상 정보를 구분하기 위한 마커 신호를 부호화 하여 전송해주는 단계와;

   상기 일정 비디오 패킷내의 모든 마크로 블록의 색상 정보를 부호화 하여 전송하는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 비월 주사 인터픽쳐 부호화 방법.
2. 제1항에 있어서, 비월 주사 인터픽쳐의 영상내 및 영상간 부호화방법을 모양 정보를 이용하는 MPEG-4 부호화기에 적용하는 경우, 비월 주사 부호화임을 나타내는 정보를 부호화 하여 전송하기 이전에 해당 MB의 모양정보를 우선적으로 부호화하여 복호기 측에 전송해주는 것을 특징으로 하는 디지털 비월주사 인터픽쳐 부호화방법.
3. 제1항 또는 제2항에 있어서, 상기 필드 이동 보상 예측을 위한 정보는, 필드 단위 이동 보상 예측 여부를 나타내는 모드 정보와 각 필드의 이동 정보와 예측 방향을 나타내는 정보인 것을 특징으로 하는 디지털 비월주사 인터픽쳐 부호화방법.
4. 제1항 또는 제2항에 있어서, 비월주사 동영상 부호화시 비디오 패킷의 길이 및 해당 비디오 패킷 내에 존재하는 MB 개수를 알 수 있도록 각 비디오 패킷의 길이를 MB의 개수로 나타내어 부가 정보로 부호화 하여 복호기측에 전송해주는 것을 특징으로 하는 디지털 비월주사 인터픽쳐 부호화방법.
5. 제1항 또는 제2항에 있어서, 상기 해당 MB의 색상 정보의 부호화는 필드/프레임 적응적 부호화를 적용하여 부호화하는 것을 특징으로 하는 디지털 비월주사 인터픽쳐 부호화방법.
6. 일정한 화소의 집합 단위를 영상내 및 영상간 복호화 하는 방법에 있어서,

   수신된 일정 비디오 패킷의 복호화시 비월주사 부호화를 나타내는 정보를 복호화 하는 단계와;

   상기 비월주사 복호화에 필요한 부가 정보를 복호화 하는 단계와;

   상기 비디오 패킷내의 모든 마크로 블록의 필드 단위 이동 보상 예측을 위한 정보를 복호화 하는 단계와;

   상기 수신된 비디오 패킷 내에 존재하는 마커 신호를 복호화 하는 단계와;

   상기 비디오 패킷내의 모든 마크로 블록의 색상 정보를 복호화 하는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 비월주사 인터픽쳐 복호화방법.
7. 제6항에 있어서, 상기 모든 마크로 블록의 필드 단위 이동 보상 예측을 위한 정보를 복호화하는 단계는, 해당 정보를 복호화하면서 MB 개수를 계산하는 것을 특징으로 하는 디지털 비월주사 인터픽쳐 복호화방법.
8. 제6항 또는 제8항에 있어서, 비월주사 동영상 복호화시 색상 정보에 전송 에러가 검출되면, 이미 복호화하여 저장한 해당 비디오 패킷 내의 모든 MB의 필드 단위 이동 보상 예측 정보들을 이용하여 참조 프레임으로부터 예측을 수행한 후 이 예측값들로 해당 MB를 재현하는 것을 특징으로 하는 디지털 비월주사 인터픽쳐 복호화방법.
9. 제6항 또는 제8항에 있어서, 비월주사 동영상 복호화시 모든 MB의 색상 정보 부호화는 필드/프레임 적응적 부호화를 적용하여 부호화하는 것을 특징으로 하는 디지털 비월주사 인터픽쳐 복호화방법.
10. 제6항 또는 제8항에 있어서, 비월 주사 인터픽쳐의 영상내 및 영상간 복호화방법을 모양 정보를 이용하는 MPEG-4 복호화기에 적용하는 경우, 비월 주사 복호화임을 나타내는 정보를 복호화하기 이전에 해당 MB의 모양정보를 우선적으로 복호화하는 것을 특징으로 하는 디지털 비월주사 인터픽쳐 복호화방법.