KR100495100B1 - 디지털 영상 처리 시스템의 이동 벡터 부호화/복호화 방법 - Google Patents

Abstract

본 발명은 부호화(복호화) 하고자 하는 현재 매크로블록 또는 그 주변 매크로블록의 모드가 필드 모드인 경우 현재 또는 주변 매크로블록의 재현된 모양 정보를 가지고 각 필드의 투명성을 판단한 후 투명/불투명 필드에 따라 이동 벡터 부호화(복호화) 방법을 선택적으로 적용함으로써 이동 벡터 부호화의 효율(이동 벡터 부호화후 발생되는 비트 량의 감소) 및 복호화 효율을 향상토록 한 디지털 영상 처리 시스템에서 이동 벡터 부호화/복호화 방법에 관한 것이다.

이러한 본 발명은, 부호화할 매크로블록(MB)의 주변 매크로블록의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와; 판단한 모드가 필드 모드인 경우 주변 MB의 재현 모양 정보를 가지고 각 필드의 투명성을 확인하는 단계와; 확인 결과 각 필드가 모두 불투명 필드인 경우 각 필드의 MV를 평균하여 제1평균치(MVi-1)를 산출하는 단계와; 확인 결과 해당 필드만 투명 필드인 경우 그 해당 필드의 MV를 결정한 후 그 결정된 MV와 불투명 필드의 MV와 평균하여 제2평균치(MVi-2)를 산출하는 단계와; 부호화할 매크로블록의 주변 모든 MB의 각 평균치로부터 현재 MB의 MV 예측 값을 결정하는 단계와; 결정한 예측 값과 실제 MV의 차이를 이동 벡터로 부호화 하는 단계를 순차 실행시켜, 이동 벡터의 부호화시 이동 벡터의 전송 비트량을 감소시키게 된다.

Description

디지털 영상 처리 시스템의 이동 벡터 부호화/복호화 방법

본 발명은 디지털 영상 처리 시스템에서 이동 벡터(Motion Vector : 이하 "MV"라 약칭함) 부호화에 관한 것으로, 특히 부호화(복호화) 하고자 하는 현재 매크로블록 또는 그 주변 매크로블록의 모드가 필드 모드인 경우 현재 또는 주변 매크로블록의 재현된 모양 정보를 가지고 각 필드의 투명성을 판단한 후 투명/불투명 필드에 따라 이동 벡터 부호화(복호화) 방법을 선택적으로 적용함으로써 이동 벡터 부호화의 효율(이동 벡터 부호화후 발생되는 비트 량의 감소) 및 복호화 효율을 향상토록 한 디지털 영상 처리 시스템에서 이동 벡터 부호화/복호화 방법에 관한 것이다.

상기에서 이동 벡터(MV)의 차원(dimension)은 어떤 움직임을 표현할 수 있는가에 의존한다. 예를 들어, 평행 이동(translational movement)만을 기술한다면 MV는 MVx(x-방향 이동)와 MVy(y-방향 이동)로 기술되는 2차원 벡터이다. MV를 0으로 한다는 것은 이 벡터의 모든 요소(element)들을 0으로 하는 vector operation을 의미한다.

일반적으로, 디지털 비디오는 프레임의 구성 방법에 따라 도1과 같이 순행 주사 비디오(progressive video)와 비월 주사 비디오(interlaced video)로 대별된다.

이 중 순행 주사 비디오에서는 각각의 프레임(frame) 구성 시에 한 줄(line)씩 차례로 구성한다. 반면, 비월 주사 비디오에서는 두 필드(field)를 한 줄씩 차례로 구성한 후, 두 필드를 한 줄씩 끼워 넣는 방식으로 각각의 프레임을 구성한다. 그러므로 각 필드의 높이(줄의 갯수)는 프레임 높이의 절반이다. 도1의 (a)는 순행 주사 프레임을, 도1의 (b)는 두 개의 필드(상위 필드(top field)와 하위 필드(bottom field))와 비월 주사 프레임을 보여 준다. 상위 필드와 하위 필드는 각각 한 줄씩 차례로 구성되며(상위 필드의 경우 실선 화살표, 하위 필드의 경우 점선 화살표가 각각의 줄을 나타냄), 구성된 각 필드의 줄들을 사이사이에 끼워넣는 방식으로(실선 화살표와 점선 화살표가 섞임) 비월 주사 프레임을 구성한다.

도1의 (b)에서와 같이 상위 필드와 하위 필드 구성 시에 두 필드 사이에는 시간차가 존재한다. 도1의 (b)의 경우에는 상위 필드가 시간적으로 앞선다. 경우에 따라 하위 필드가 시간적으로 앞설 수도 있다. 상위 필드와 하위 필드 사이의 시간차로 인하여, 비월 주사 프레임 내의 인접한 줄 사이의 신호 특성이 다를 수 있다. 특히 움직임이 많은 영상인 경우 이러한 특성이 두드러진다. 그러므로 순행 주사 비디오 특성에 따라 개발된 영상 부호화 장치, 예를 들면 이동 추정(motion estimation) 및 이동 보상(motion compensation), 이산 여현 변환(discrete cosine transform; DCT) 등을 비월 주사 비디오 부호화에 사용하면 부호화 효율이 감소하게 된다.

이러한 문제점을 해소하기 위하여 필드 단위 이동 추정 및 이동 보상, 프레임-필드 적응적 이산 여현 변환(adaptive frame/field DCT) 등이 연구되어 왔다. 그리고 이러한 기술들은 세계 표준화 기구인 ISO/IEC, JTC1/SC29, WG11에서 디지털 TV 등의 응용을 목적으로 제정한 MPEG-2 동영상 부호화 표준안 등에 포함되어 있으며, 실제 응용 제품에도 많이 이용되는 기술들이다.

한편, 동영상의 Random access와 고효율 영상 압축을 위하여, 디지털 비디오를 압축 부호화시에는 I 프레임, P 프레임, B 프레임 등의 세 가지 타입의 프레임을 정의, 사용하는 방법이 널리 이용된다. 특히 P 프레임과 B 프레임은 이동 보상 예측을 수행함으로써 높은 압축률이 가능하다. 세 프레임의 특징을 좀 더 상세히 살펴보면 다음과 같다.

I 프레임(Intra coded frame)은 부호화 시에 다른 프레임들을 참조하지 않는다.

P 프레임(Predictive coded frame)은 이전 I 프레임이나 이전 P 프레임을 참조하는 이동 보상 예측을 사용, 부호화하기 때문에 보다 효과적으로 압축 부호화 된다. 디지털 비디오의 시간적으로 연속된 프레임들 사이에는 색상 정보(color information)의 중복성(redundancy)이 크기 때문에, 이전 I 프레임이나 이전 P 프레임과 현재 P 프레임 사이의 이동 정보를 추정, 이동 보상 예측(motion compensated prediction)을 수행하고, 예측 오차와 이동 정보를 부호화 전송하는 방식이 압축 부호화 효율 측면에서 유리하다

B 프레임(Bi-directionally-predictive coded frame)은 가장 압축률이 높은 프레임으로, 이전 프레임(previous frame; 이하 PF라 약칭함) 뿐만 아니라 이후 프레임(next frame; 이하 NF라 약칭함)도 참조하여 예측을 수행한다. P 프레임과 마찬가지로 B 프레임도 이동 보상 예측을 이용한다. 그러나 참조 영상을 두 개 사용하고, 이 중에서 보다 우수한 예측 성능을 선택하기 때문에 압축률이 가장 높다. 여기서 B 프레임은 다른 프레임을 위한 참조 영상(reference frame)이 되지는 않는다. 그러므로 PF는 현재 B 프레임과 디스플레이(display)순서상으로 가장 가까운 이전의 I 프레임 또는 P 프레임이며, NF는 현재 B 프레임과 디스플레이 순서상으로 가장 가까운 이후의 I 프레임 또는 P 프레임이다.

도2는 I 프레임, P 프레임, B 프레임으로 구성된 디지털 비디오의 예이며 디스플레이 순서대로 나타낸 것이다. 도면에서 위쪽의 화살표는 P 프레임의 참조 방향을 나타낸 것이며, 아래쪽의 화살표는 B 프레임의 참조 방향을 나타낸 것이다. 이 예에서 I 프레임의 간격, 연속되는 B 프레임의 갯수 등은 응용(application) 또는 장치(equipment)에 따라 변할 수 있다. 디지털 비디오의 압축 부호화시에 I 프레임, P 프레임 그리고 B 프레임을 모두 사용한다면 디스플레이 순서와 부호화 순서는 상호 다르다. 도2를 예로 들면, 디스플레이 순서는 도면에서와 같이 I1, B1, P1, B2, P2, B3, P3, B4, I2인 반면, 부호화 순서는 I1, P1, B1, P2, B2, P3, B3, I2, B4이다.

도2의 예는 순행 주사 비디오와 비월 주사 비디오의 경우 모두에 적용된다. 단, 비월 주사 비디오의 경우에는 각 프레임을 구성할 때, 도1의 (b)와 같이 두 필드가 사이사이에 끼워져서 프레임을 구성한다는 점이 순행 주사 비디오의 경우와 틀리다. 이 점을 제외하고는 비디오의 구성, 예측 방향 등은 두 경우가 동일하다.

P 프레임과 B 프레임은 이동 보상 예측을 수행하기 때문에, 이동 추정이 필요하다. 그러나 위에서 설명하였듯이, 참조 영상의 선택 방법이 서로 틀리기 때문에 이동 추정 및 보상 방법도 상호 다르다.

먼저, P 프레임에서의 이동 벡터 추정 방법을 살펴보면 다음과 같다.

P 프레임에서의 이동 벡터(MV) 추정은 참조 영상(reference image)인 PF(이전 I 프레임이나 이전 P 프레임)와 현재 P 프레임 사이에 수행된다. 도2의 예를 들면, P1에서의 MV는 I1을 참조 영상으로, P2에서의 MV는 P1을 참조 영상으로 하여 추정된다. 이때, MV는 일정한 크기의 MB 단위로 추정된다.

순행 주사 비디오인 경우의 MV 추정 및 예측 방식으로는 MB 당 MV를 한 개 전송하는 모드(MV-1 모드), MB 당 MV를 4개 전송하는 모드(MV-4 모드)가 있고, 비월 주사 비디오인 경우에는 MV-1 모드, MV-4 모드, 그리고 MB 당 MV 2개를 전송하는 모드(MV-2 모드) 등 3 가지가 있다.

이 중 MV-1 모드는 MB 당 한 개의 MV를 추정하며, MB내의 모든 화소들의 색상 값들은 한 개의 MV를 이용하여 참조 영상으로부터 예측하는 모드이다.

그리고 MV-4 모드는 MB를 동일한 크기의 서브 블록(sub-block) 4개로 분할하고, 각 서브 블록에 대해서 독립적으로 MV를 추정하는 모드이다. MB내의 각 화소 색상 값들은 해당 서브 블록의 MV를 이용하여 참조 영상으로부터 예측된다.

도4는 직사각형 구조의 MB와 A, B, C, D 등 4 개의 서브 블록을 보여준다. MV-4 모드는 MB 당 4개의 MV를 전송한다.

또한, MV-2 모드는 상위 필드, 하위 필드를 각각 독립적으로 MV를 추정하는 모드이다. MB내의 각 화소 색상 값들은 해당 필드의 MV를 이용하여 참조 영상으로부터 예측된다, MB 당 2개의 MV를 전송한다. 주의할 점은 상위 필드가 참조 영상의 하위 필드로부터, 또는 하위 필드가 참조 영상의 상위 필드로부터 예측할 수도 있다는 점이다.

격행 주사 비디오인 경우, 세 가지 모드로 MV 추정 및 이동 보상 예측을 각각 수행한 후, 발생하는 이동 보상 예측 오차와 MV 전송량을 고려하여, 세 가지 중에서 하나의 모드를 선택한다.

이러한 방법을 물체 단위 부호화에 적용할 경우, OMB(MB내에 모든 화소가 물체인 MB)에서는 직접적으로 적용 가능하다. TMB(MB내에 모든 화소가 물체가 아닌 MB)는, 모양 정보를 제외하고는 부호화 과정을 수행하지 않기 때문에 MV 추정을 할 필요가 없다. BMB(MB내에 한 화소라도 물체가 아닌 화소를 포함하는 MB)의 경우에는 물체에 속한 화소(물체화소)와 물체에 속하지 않은 화소(배경화소)가 동시에 존재하며, 이동 벡터 추정 및 예측은 물체화소 부분만 고려하여 수행된다. 예를 들어 MV를 탐색 영역 내에서 선택하거나 또는 모드를 결정할 때, 예측 오차를 계산하고 비교하는 과정이 필요하다. 이때, 물체화소에서의 오차만을 고려하여 예측 오차를 계산한다.

다음으로, B 프레임에서의 이동 벡터 추정 방법을 살펴보면 다음과 같다.

B 프레임에서는 PF와 NF 두 개를 참조 영상으로 사용하여 MV 추정 및 이동 보상 예측을 수행한다. 도2도의 B1의 경우, PF는 I1, NF는 P1이다. 순행 주사 비디오인 경우, B 프레임에서의 이동 보상 모드로는 direct 모드, frame forward 모드, frame backward 모드, frame bi-directional 모드 등 네 가지가 있다. 비월 주사 비디오에서는 direct 모드, frame forward 모드, frame backward 모드, frame bi-directional 모드, field forward 모드, field backward 모드, field bi-directional 모드 등 7 가지가 있다.

Frame forward 모드는 PF를 참조 영상으로 하여 MB 당 한 개의 MV를 추정하는 것이고, Frame backward 모드는 NF를 참조 영상으로 하여 MB 당 한 개의 MV를 추정하는 것이다. Frame bi-directional 모드는 forward 모드, backward 모드에서 얻어진 MV 두 가지를 모두 이용하여 각각 예측을 수행하고, 예측된 색상 정보 값 두 개의 평균값을 최종 예측 값으로 한다. Frame 모드는 이를 MB 단위로 하는 것에 반하여, field 모드는 이를 필드 단위로 수행한다. 예를 들어서 field backward 모드는 상위 필드, 하위 필드 각각의 MV를 backward 모드로 추정한다. 결과적으로 frame forward 모드, frame backward 모드에서 한 개의 MV, frame bi-directional 모드, field forward 모드, field backward 모드에서는 2 개의 MV 추정 및 부호화 전송이 필요하다. Field bi-directional 모드에서는 4 개의 MV 추정 및 부호화 전송이 필요하다. 주의할 점은 direct 모드를 제외하고는, P 프레임의 MV-4와 같은 MV 4개를 사용하는 모드는 없다는 점이다.

B 프레임에서는 direct 모드와 함께 7가지 모드를 모두 사용하여 MV 추정을 수행한다.

상기와 같이 P 프레임 또는 B 프레임에서 각각 추정된 MV는 부호화 되어 복호화기에 전송되는 데, 여기서 추정된 이동 벡터의 부호화는 후술한다.

한편, 각 프레임의 전체를 부호화(프레임 단위 부호화)하는 대신에, 영상이 가지고 있는 정보를 기준으로 프레임을 임의의 영역들로 분할하고, 분할된 영역별(각각의 분할된 영역을 물체(object)라 한다)로 부호화(물체 단위 부호화)하는 영상 부호화 기법의 연구가 최근 활발히 진행 중이다. 이 물체 단위의 부호화 기법은 사용자가 원하는 물체만을 부호화 하여 전송을 하거나 조작(manipulation)하는 것을 가능하게 하며, 이러한 장점은 미래의 멀티미디어 산업 전반에 중요한 역할을 할 것이다. 최근에는 이러한 경향을 반영하여, 세계 표준화 기구인 ISO/IEC, JTC1/SC29, WG11에서 물체 단위의 부호화를 특징으로 하는 MPEG-4 표준화 작업을 진행 중이다. MPEG-4를 포함하여, 물체 단위로 부호화 하는 디지탈 비디오 압축 부호화 방식에서는 프레임 내에서 물체 영역을 표시하는 모양 정보(shape information)의 부호화 및 전송이 요구된다.

도5는 현재 국제표준 산하기구에서 1차적으로 확정한 MPEG-4의 VOP 영상 부호화기의 구성도이다.

이는 기존의 영상부호화 세계표준화인 H.261, H.263, MPEG-1, MPEG-2의 영상 부호화기 구조와는 다른 구조를 지닌다. 특히 모양정보 부호화부(Shape Coder)와 VOP(Video Object Planes)(대상물 영역)라는 개념의 도입이 가장 두드러진 차이를 보이고 있다. VOP는 유저가 접근 및 편집할 수 있는 임의 모양의 내용물의 시간축상의 한 시점의 객체를 의미하며, 내용물 기반의 기능성(content-based functionality)을 지원하기 위해서는 VOP별로 부호화 되어야 한다.

이러한 VOP 부호화기는, 대상물 영역 형성부(11)에서 형성된 각각의 대상물 영상에 대한 VOP(대상물 영역)가 움직임 추정부(MOTION ESTIMATION)(13)에 입력되면, 움직임 추정부(13)는 인가된 VOP로부터 매크로 블록 단위의 움직임을 추정하게 된다.

또한, 상기 움직임 추정부(13)에서 추정된 움직임 정보는 움직임 보상부(MOTION COMPENSATION)(14)에 입력되어 움직임이 보상된다. 그리고, 움직임 보상부(14)에서 움직임이 보상된 VOP는 상기 대상물 영역 형성부(11)에서 형성된 VOP와 함께 감산기(16)에 입력되어 차이 값이 검출되고, 감산기(16)에서 검출된 차이 값은 대상물 내부 부호화부(18)에 입력되어 매크로 블록의 서브 블록 단위로 대상물의 내부정보가 부호화 된다.

예를 들면, 매크로 블록(16 *16)의 X축 및 Y축이 M/2 × N/2로 각기 8개의 화소를 가지는 8 × 8의 서브 블록으로 세분화된 후 대상물 내부정보가 부호화 된다.

한편, 움직임 보상부(14)에서 움직임이 보상된 VOP와, 대상물 내부 부호화부(18)에서 부호화된 대상물의 내부정보는 가산기(17)에 입력되어 가산되고, 가산기(17)의 출력신호는 이전 대상물 영역 검출부(PREVIOUS RECONSTRUCTED VOP)(15)에 입력되어 현재 영상 바로 이전 영상의 VOP인 이전 VOP가 검출된다.

또한, 이전 대상물 영역 검출부(15)에서 검출된 이전 VOP는 상기 움직임 추정부(13) 및 움직임 보상부(14)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 대상물 영역 형성부(11)에서 형성된 VOP는 모양정보 부호화부(SHAPE CODING)(12)에 입력되어 모양 정보가 부호화 된다.

여기서, 모양정보 부호화부(12)의 출력신호는 VOP 부호화기가 적용되는 분야에 따라 사용 여부가 가변 되는 것으로, 점선으로 표시된 바와 같이, 모양정보 부호화부(12)의 출력신호를 움직임 추정부(13), 움직임 보상부(14) 및 대상물 내부 부호화부(18)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는 데 사용할 수 있다.

또한, 움직임 추정부(13)에서 추정된 움직임 정보와, 대상물 내부 부호화부(18)에서 부호화된 대상물 내부 정보 및 상기 모양정보 부호화부(12)에서 부호화된 모양 정보는 다중화부(19)에 인가되어 다중화된 후, 비트 스트림으로 도면에는 도시하지 않았지만 다수개의 부호화기의 출력을 다시 다중화 하여 전송하는 다중화기에 전달되어 전송되어진다.

이러한 개념의 MPEG-4(Moving Picture Expert Group-4)에 있어서, 가장 큰 특징 중 하나가 모양정보 부호화기이다. 이 부분이 기존의 MPEG-1,MPEG-2와 구분 짓는 가장 큰 차이이다. 이 모양 정보의 부호화 및 전송이 프레임 단위 부호화와 물체 단위 부호화를 구분 짓는 가장 큰 특징이다.

이때 물체 경계 부분에서는 전체 프레임을 부호화하는 기존의 기술들, 예를 들면, MPEG-1, MPEG-2, H.261, H.263을 적용하면 부호화 효율이 감소하는 문제점이 발생한다. 이러한 문제점을 극복하고 부호화 효율을 높이기 위해 연구된 기술들의 예로서는 Boundary Block Merging(BBM), Shape-adaptive Discrete Cosine Transform(SA-DCT) 등이 대표적이다.

디지털 비디오 압축 부호화시에 이동 추정 및 보상, 색상 정보 부호화 등은 일정한 개수의 화소의 집합인 매크로 블럭(MB) 단위로 수행한다. 임의의 모양 정보를 가지는 물체의 부호화시에는 MB를 모양 정보와 관련지어 세 가지로 구분 가능하다. 첫째, 물체 영역 외부에 포함된 경우의 MB(transparent MB; TMB)가 있다. TMB는 MB내에 물체 영역이 존재하지 않는 것이며, TMB를 알려주는 모양 정보 전송을 제외하고는 기타 부호화 과정이 불필요하다. 두 번째로는 물체 영역 내부에 포함된 경우의 MB(opaque MB; OMB)가 있다. OMB를 알려주는 모양 정보를 전송하고, 기존의 프레임 단위 부호화에서 개발된 기술들을 사용하여 압축 부호화 한다. 마지막으로 물체 영역과 물체 영역이 아닌 영역이 공존하는 MB(boundary MB; BMB)가 있다. 이러한 MB를 수신단(receiver)에서 복호화(decoding)하기 위해서는 물체 영역을 표시하는 모양 정보와 물체 영역내의 색상 정보를 부호화 해야 한다. 만일 P 프레임이나 B 프레임과 같이 이동 추정 및 보상을 하는 프레임에서는 이동 정보도 부호화 전송을 해야 한다.

주목할 점은 모양 정보 전송에 의해서, 수신단(receiver)의 복호화기(decoder)에서도 현재 복호화 해야 할 MB가 TMB, OMB, BMB 중에 어떠한 MB인지를 알 수 있다는 점이다. 그러므로 송신단(transmitter)의 부호화기(coder)가 TMB, OMB, BMB를 구분하여 특성에 맞추어 선택적으로 부호화할 수 있다. 단, 복호화기가 가지고 있는 모양 정보는 재현 모양 정보(reconstructed shape information)이기 때문에 부호화기에서도 재현 모양 정보를 기준으로 TMB, OMB, BMB를 구분해야 한다. 물론, 복호화기와 무관한(encoder issue) 부호화 단계에서는 원(original) 모양 정보를 사용해도 무방하다.

도3의 회색 부분은 부호화할 물체 영역을 표시한 것이며, 작은 사각형 각각은 MB의 일례를 보여준다. 이 예에서 TMB, OMB, BMB는 각각 6개, 12개, 22개이다.

한편, 상기 P 프레임 또는 B 프레임에서 각각 추정한 MV는 부호화하여 복호화기 측에 전송해주어야 한다.

여기서 추정한 MV의 종래 부호화 방법은 다음과 같다.

P 프레임에서의 MV 부호화 방법은 주변 MB의 MV들을 이용하여 예측을 수행하고, 그 차이를 부호화 전송하는 예측 부호화 방법이다.

도6에 부호화할 MB와 그 주변 MB를 표시하였으며, 사각형 각각이 한 개의 MB를 나타낸다. 현재 MB의 이동 벡터가 MV이고 주위 이동 벡터가 MV1, MV2, MV3이다. 만일 MVi(i=1,2,3)가 MV-2 모드인 경우, MVi는 상위 필드, 하위 필드 두 MV들의 평균값으로 한다. 만일 MVi가 MV-4 모드인 경우에는 다음과 같이 MVi를 결정한다. MV1이 MV-4 모드인 경우, MV1은 도4의 서브 블록 B의 MV로 한다. MV2와 MV3가 MV-4 모드인 경우, 서브 블록 C의 MV로 한다. 이 MVi(i=1,2,3)들의 중간 값(median value)이 MV 예측 값이다. 중간값을 구한 후, MV와의 차이를 계산하고 이를 가변 길이 부호화(variable length coding; 이하 VLC)하여 수신단에 전송한다.

B 프레임에서는 forward 모드, backward 모드, bi-directional 모드 등 세 가지 모드에서 MV의 예측 부호화를 수행하고, direct 모드의 delta-MV는 예측 부호화를 수행하지 않는다. 그리고 예측 이동 벡터(prediction motion vector; 이하PMV)를 설정하고 이를 예측 값으로 사용하고, 부호화를 수행한 후 현재 MV 값으로 다시 PMV를 갱신하는 방법을 사용한다.

순행 주사 비디오의 경우에는 PMV에 forward, backward MV 두 가지를 설정, 갱신한다. 현재 MB이 forward 모드이면 PMV의 forward MV를 예측 값으로 사용하여 현재 MV를 예측 부호화한다. 그리고 PMV의 forward MV를 현재 부호화한 forward MV로 갱신한다. Backward 모드인 경우도 마찬가지이며, bi-directional 모드인 경우는 forward MV를 위해 PMV의 forward MV, backward MV를 위해 PMV의 backward MV를 예측 값으로 각각 사용하고, PMV의 두 가지 모두 갱신한다.

비월 주사 비디오의 경우에는 도7에서와 같이 PMV에 MV 4 가지를 설정한다. 현재 MB의 모드 시에 사용하는 PMV 요소와 갱신 방법을 도8에 나타내었다. 예를 들어 현재 MB 모드가 field backward인 경우를 살펴보자. 현재 부호화해야 할 MV는 top field의 backward MV, bottom field의 backward MV 두 가지다. 전자는 PMV의 요소 2, 즉 top field backward MV를 예측 값으로 사용하여, 그 차이를 부호화한다. 그리고 PMV의 요소 2를 현재 MB의 top field backward MV로 갱신한다. 마찬가지로 후자는 PMV의 요소 3, 즉 bottom field backward MV를 예측 값으로 사용하여 부호화하고, PMV 의 요소 3을 현재 MB의 bottom field backward MV로 갱신한다. 현재 MB가 frame forward인 경우에는 PMV의 요소 0, 즉 top field forward MV를 예측 값으로 이용하고, PMV의 요소 0와 요소 1을 현재 MB의 frame forward MV를 사용하여 갱신한다.

PMV는 매 MB 열(row) 단위로 갱신한다. 그러므로 매 MB열이 시작하는 처음 MB의 PMV에서는 모든 MV들을 0으로 초기화한다.

그러나 이와 같은 종래의 이동 벡터 부호화 방법은, MV를 부호화 할 때 예측 부호화를 사용하는데, 이는 주위의 MV들과 현재 MB의 부호화할 MV와 높은 유사성을 가질 때 매우 효과적이나, 부호화할 MB가 투명 필드인 경우에 MV는 무의미하나 이것을 고려하지 않고 투명 필드에서도 예측 부호화를 수행하기 때문에 이동 벡터 부호화시 발생되는 비트 량이 많다는 단점이 있었다.

또한, P 프레임에서는 주변 MB가 MV-2 모드인 경우, 투명/반투명을 고려하지 않고 두 필드의 MV들을 평균하여 MVi로 사용하여 이동 벡터를 부호화하는데, 이것 역시 투명 필드일 때 MV를 전송하지 않기 때문에 이동 벡터도 부호화할 필요가 없는데도 불구하고 이를 부호화하기 때문에 부호화 효율을 저하시키는 요인으로 작용하며, 특히 투명 필드일 때 MV를 전송하는 경우에도, 그 MV가 무의미한 정보이므로 평균하여 MVi로 사용하여 부호화하는 것 자체가 오류이다.

이에 본 발명은 상기와 같은 종래 이동 벡터 부호화시 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로,

본 발명은 부호화(복호화) 하고자 하는 현재 매크로블록 또는 그 주변 매크로블록의 모드가 필드 모드인 경우 현재 또는 주변 매크로블록의 재현된 모양 정보를 가지고 각 필드의 투명성을 판단한 후 투명/불투명 필드에 따라 이동 벡터 부호화(복호화) 방법을 선택적으로 적용함으로써 이동 벡터 부호화의 효율(이동 벡터 부호화후 발생되는 비트 량의 감소) 및 복호화 효율을 향상토록 한 디지털 동영상 처리 시스템에서 이동 벡터 부호화/복호화 방법을 제공하는 데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 의한 제1 이동 벡터 부호화 방법은,

디지털 영상을 이동 보상 예측 부호화할 경우 이동 벡터를 부호화하는 방법에 있어서,

부호화할 매크로블록(MB)의 주변 매크로블록의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와;

상기 판단한 모드가 필드 모드인 경우 상기 주변 MB의 재현 모양 정보를 가지고 각 필드의 투명성을 확인하는 단계와;

상기 확인 결과 각 필드가 모두 불투명 필드인 경우 각 필드의 MV를 평균하여 제1평균치(MVi-1)를 산출하는 단계와;

상기 확인 결과 해당 필드만 투명 필드인 경우 그 해당 필드의 MV를 결정한 후 그 결정된 MV와 불투명 필드의 MV와 평균하여 제2평균치(MVi-2)를 산출하는 단계와;

상기 부호화할 매크로블록의 주변 모든 MB의 각 평균치로부터 현재 MB의 MV 예측 값을 결정하는 단계와;

상기 결정한 예측 값과 실제 MV의 차이를 이동 벡터로 부호화하는 단계로 이루어짐을 특징으로 한다.

상기에서, 해당 필드의 MV의 결정은, 불투명 필드의 MV를 그대로 사용하여 해당 필드의 MV를 결정하는 것을 특징으로 한다.

또한, 상기 해당 필드의 MV의 결정은, 투명 필드의 MV를 0으로 결정하고 그것을 해당 필드의 MV로 결정하는 것을 특징으로 한다.

또한, 상기 해당 필드의 MV의 결정은, 불투명 필드의 MV를 1/2로 하여 그 결과치를 해당 필드의 MV로 결정하는 것을 특징으로 한다.

또한, 상기 제2평균치 산출은, 불투명 필드의 MV를 그대로 제2평균치로 결정하는 것을 특징으로 한다.

또한, 상기 제2평균치 산출은, 불투명 필드의 MV의 1/2를 제2평균치로 산출하는 것을 특징으로 한다.

또한, 상기 제2평균치 산출은, 불투명 필드의 MV의 3/4를 제2평균치로 산출하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 의한 제1 이동 벡터 복호화 방법은,

이동 보상 예측 부호화된 디지털 영상을 복호화하기 위한 영상 처리 시스템에서 이동 벡터를 복호화하는 방법에 있어서,

부호화되어 전송된 현재 MB의 MV 예측값을 복호화하는 단계와;

상기 현재 MB의 주변 MB의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와;

상기 주변 MB 중에서 필드 모드인 MB가 존재하는 경우 해당 MB의 각 필드의 투명성 여부를 재현 모양 정보를 이용하여 확인하는 단계와;

상기 각 필드가 불투명 필드인 경우 각 필드의 MV를 평균하여 제1평균치(MVi-1)를 산출하는 단계와;

상기 각 필드중 투명 필드가 존재하는 경우 그 필드의 MV를 결정하고, 그 결정된 투명 필드의 MV와 상기 불투명 필드의 MV를 평균하여 제2평균치(MVi-2)를 산출하는 단계와;

상기 복호화할 매크로블록의 주변 모든 MB의 각 평균치로부터 현재 MB의 MV 예측 값을 결정하는 단계와;

상기 결정한 예측 값과 복호화한 MV 예측값을 가산하여 현재 MB의 MV를 복호화하는 단계로 이루어짐을 특징으로 한다.

상기에서, 투명 필드의 MV의 결정은, 불투명 필드의 MV를 그대로 사용하여 해당 필드의 MV를 결정하는 것을 특징으로 한다.

또한, 상기 투명 필드의 MV의 결정은, 투명 필드의 MV를 0으로 결정하고 그것을 해당 필드의 MV로 결정하는 것을 특징으로 한다.

또한, 상기 투명 필드의 MV의 결정은, 불투명 필드의 MV를 1/2로 하여 그 결과치를 해당 필드의 MV로 결정하는 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 의한 제2 이동 벡터 부호화 방법은,

디지털 영상을 이동 보상 예측 부호화할 경우 이동 벡터를 부호화하는 방법에 있어서,

부호화할 현재 MB의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와;

상기 판단 결과 현재 MB가 필드 모드인 경우 상기 현재 MB내의 재현 모양 정보를 가지고 각 필드의 투명성을 확인하는 단계와;

상기 확인 결과 각 필드가 불투명 필드인 경우 MV를 예측 부호화하는 단계와;

상기 확인 결과 임의의 필드가 투명 필드인 경우 MV를 특정값으로 설정하고 그 특정값을 가변장 부호화하는 단계로 이루어짐을 특징으로 한다.

상기에서, 특정값은 "0"인 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 의한 제2 이동 벡터 복호화 방법은,

이동 보상 예측 부호화된 디지털 영상을 복호화하기 위한 영상 처리 시스템에서 이동 벡터를 복호화하는 방법에 있어서,

부호화되어 전송된 현재 MB의 모양 정보와 모드 정보를 복호화하는 단계와;

상기 복호화된 모드 정보가 필드 모드인 경우 현재 MB의 재현 모양 정보에 따라 각 필드의 투명성을 판단하는 단계와;

상기 판단 결과 불투명 필드가 존재하는 경우 MV를 예측 복호화하는 단계와;

상기 판단 결과 투명 필드가 존재하는 경우 MV를 가변 길이 복호화하는 단계로 이루어짐을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 의한 제3 이동 벡터 부호화 방법은,

디지털 영상을 이동 보상 예측 부호화할 경우 이동 벡터를 부호화하는 방법에 있어서,

부호화할 현재 MB의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와;

상기 판단결과 현재 MB의 모드가 필드 모드인 경우 재현 모양 정보를 가지고 각 필드의 투명성을 판단하는 단계와;

상기 판단결과 각 필드가 불투명 필드인 경우 이동 벡터 예측 값을 이용하여 불투명 필드의 MV를 예측 부호화하고, 이동 벡터 예측 값을 현재 부호화한 불투명 필드의 MV를 이용하여 갱신하는 단계와;

상기 판단결과 임의의 필드가 투명 필드인 경우 해당 투명 필드의 MV를 특정값으로 결정하고 그 특정값을 가변장 부호화하는 단계로 이루어짐을 특징으로 한다.

상기에서, 특정값은 "0"인 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명에 의한 제3 이동 벡터 복호화 방법은,

이동 보상 예측 부호화된 디지털 영상을 복호화하기 위한 영상 처리 시스템에서 이동 벡터를 복호화하는 방법에 있어서,

부호화되어 전송된 현재 MB의 모드 정보와 모양 정보를 복호화하는 단계와;

상기 복호화한 모드 정보가 필드 모드인 경우 재현된 모양 정보를 이용하여 필드의 투명성을 확인하는 단계와;

상기 확인결과 불투명 필드인 경우 이동 벡터 예측 값을 이용하여 불투명 필드의 MV를 예측 복호화하고, 복호화된 MV로 이동 벡터 예측 값을 갱신하는 단계와;

상기 확인 결과 투명 필드인 경우 투명 필드의 MV를 가변 길이 복호화하는 단계로 이루어짐을 특징으로 한다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.

첨부한 도면 도10은 본 발명에 의한 P 프레임에서 이동 벡터 부호화 방법의 제1실시예를 보인 흐름도이다.

이에 도시된 바와 같이, 부호화할 매크로블록(MB)의 주변 매크로블록의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와; 상기 판단한 모드가 필드 모드인 경우 상기 주변 MB의 재현 모양 정보를 가지고 각 필드의 투명성을 확인하는 단계와; 상기 확인 결과 각 필드가 모두 불투명 필드인 경우 각 필드의 MV를 평균하여 제1평균치(MVi-1)를 산출하는 단계와; 상기 확인 결과 해당 필드만 투명 필드인 경우 그 해당 필드의 MV를 결정한 후 그 결정된 MV와 불투명 필드의 MV와 평균하여 제2평균치(MVi-2)를 산출하는 단계와; 상기 부호화할 매크로블록의 주변 모든 MB의 각 평균치로부터 현재 MB의 MV 예측 값을 결정하는 단계와; 상기 결정한 예측 값과 실제 MV의 차이를 이동 벡터로 부호화하는 단계로 이루어진다.

상기에서, 해당 필드의 MV의 결정은, 불투명 필드의 MV를 그대로 사용하여 해당 필드의 MV를 결정하는 것을 특징으로 한다.

또한, 상기 해당 필드의 MV의 결정은, 투명 필드의 MV를 0으로 결정하고 그것을 해당 필드의 MV로 결정하는 것을 특징으로 한다.

또한, 상기 해당 필드의 MV의 결정은, 불투명 필드의 MV를 1/2로 하여 그 결과치를 해당 필드의 MV로 결정하는 것을 특징으로 한다.

또한, 상기 제2평균치 산출은, 불투명 필드의 MV를 그대로 제2평균치로 결정하는 것을 특징으로 한다.

또한, 상기 제2평균치 산출은, 불투명 필드의 MV의 1/2를 제2평균치로 산출하는 것을 특징으로 한다.

또한, 상기 제2평균치 산출은, 불투명 필드의 MV의 3/4를 제2평균치로 산출하는 것을 특징으로 한다.

여기서, MB는 일정한 크기의 화소의 집합이다. MV는 움직임 정보를 저장하는 이동 벡터로서, MV를 0으로 결정하는 것은 MV의 모든 요소들을 0으로 하는 것이다. MV는 이동 추정 방식이 어떠한 움직임을 표현할 수 있는가에 따라 벡터의 길이, 즉 요소의 개수가 결정된다. 예를 들어, 평행 이동만을 기술하면, MV의 요소는 수평, 수직 방향의 두 개이다. 필드는 한 MB내의 화소들을 일정한 방법으로 2개 이상의 복수 집합으로 분할한 후의 각각의 화소 집합을 일컫는다. 예를 들면, 비월 주사 비디오의 경우에는 MB내에서 한 줄씩 건너 띄면서 화소들의 집합을 한 필드로 정의한 것이다. 필드 모드는 복수 개의 필드 각각 MV를 추정하고 예측하는 모드를 일컫는다. 대표적인 예가 비월 주사 비디오에서의 MV-2 모드이다.

이러한 단계로 이루어지는 본 발명에 의한 제1실시예의 이동 벡터 부호화 방법은, 먼저 부호화할 현재 MB의 주변 MB의 재현 모양 정보를 가지고 각 필드의 투명성을 확인한다.

이 확인 결과 두 필드가 불투명 필드이면, 종래와 같이 두 필드의 MV를 평균하여 평균치(MVi-1)를 산출한다.

만약, 각 필드의 투명성을 확인한 결과 한 필드만 투명 필드인 경우에는, 해당 필드의 MV를 하기와 같은 방법으로 결정한다.

즉, 투명 필드의 MV 결정 방법은, 1) 불투명 필드의 MV를 그대로 사용하여 투명 필드의 MV로 결정하는 방법, 2) 투명 필드의 MV를 0으로 결정하여 사용하는 방법, 3) 불투명 필드의 MV를 1/2로 하여 투명 필드의 MV로 사용하는 방법 등이다.

그리고 투명 필드의 MV가 결정되면, 불투명 필드의 MV와 평균하여 평균치(MVi-2)를 산출한다. 이 방법은 상기 1)의 방법을 사용한다면 불투명 필드의 MV를 MVi로 사용하는 것과 동일하다. 또한, 2)의 방법을 사용하면 불투명 필드의 MV의 1/2을 MVi로 사용하는 것과 동일하다. 또한, 3)의 방법을 사용하면 불투명 필드의 MV의 3/4를 MVi로는 사용하는 것과 동일하다.

이러한 과정에 의해 MV-2 모드인 MB의 MVi(MVi-2)가 결정되면, MVi(i=1,2,3)의 중간값과 현재 MB의 MV의 차이(motion vector difference, MVD)를 구해서 가변 길이 부호화(VLC)한다. 이렇게 부호화된 이동 벡터는 전송단을 통해 복호화기 측에 전송된다.

다음으로, 상기와 같이 전송된 P 프레임에서 이동 벡터를 복호화하는 방법은 다음과 같다.

부호화되어 전송된 현재 MB의 MV 예측값을 복호화하는 단계와; 상기 현재 MB의 주변 MB의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와; 상기 주변 MB 중에서 필드 모드인 MB가 존재하는 경우 해당 MB의 각 필드의 투명성 여부를 재현 모양 정보를 이용하여 확인하는 단계와; 상기 각 필드가 불투명 필드인 경우 각 필드의 MV를 평균하여 제1평균치(MVi-1)를 산출하는 단계와; 상기 각 필드중 투명 필드가 존재하는 경우 그 필드의 MV를 결정하고, 그 결정된 투명 필드의 MV와 상기 불투명 필드의 MV를 평균하여 제2평균치(MVi-2)를 산출하는 단계와; 상기 복호화할 매크로블록의 주변 모든 MB의 각 평균치로부터 현재 MB의 MV 예측 값을 결정하는 단계와; 상기 결정한 예측 값과 복호화한 MV 예측값을 가산하여 현재 MB의 MV를 복호화하는 단계로 이루어진다.

상기에서, 투명 필드의 MV의 결정은, 불투명 필드의 MV를 그대로 사용하여 해당 필드의 MV를 결정하는 것을 특징으로 한다.

또한, 상기 투명 필드의 MV의 결정은, 투명 필드의 MV를 0으로 결정하고 그것을 해당 필드의 MV로 결정하는 것을 특징으로 한다.

또한, 상기 투명 필드의 MV의 결정은, 불투명 필드의 MV를 1/2로 하여 그 결과치를 해당 필드의 MV로 결정하는 것을 특징으로 한다.

이와 같이 이루어지는 본 발명의 제1실시예에 의한 이동 벡터 복호화 방법은, 먼저 예측값과 실제 MV의 차이인 MVD를 복호화하고, 복호화할 MB의 주변 MB의 모드를 확인한다.

이 확인 결과 상기 주변 MB 중에서 MV-2 모드를 가지는 MB가 있을 경우, 해당 MB의 각 필드의 투명성 여부를 재현된 모양 정보를 이용하여 확인한다.

이 확인 결과 두 필드(MB를 두 필드로 분리하였음)가 불투명 필드이면, 두 필드의 MV를 평균하여 MVi로 한다.

만약, 해당 MB의 각 필드의 투명성 여부를 확인한 결과, 투명 필드가 존재하면, 그 필드의 MV를 전술한 부호화 방법에서와 동일한 방법을 이용하여 결정을 해준다. 그리고 정해진 투명 필드의 MV와 불투명 필드의 MV를 평균하여 MVi로 한다.

다음으로, MV-2 모드인 MB의 MVi가 결정되면, 이후의 과정은 기존의 방식과 동일하다. 다시 말해서, MVi(i=1,2,3)의 중간값과 복호화된 MVD를 더하여 현재 MB의 MV를 복호화하게 되는 것이다.

첨부한 도면 도11은 본 발명에 의한 P 프레임에서 이동 벡터 부호화 방법의 제2실시예를 보여주는 도면이다.

이에 도시된 바와 같이, 부호화할 현재 MB의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와; 상기 판단 결과 현재 MB가 필드 모드인 경우 상기 현재 MB내의 재현 모양 정보를 가지고 각 필드의 투명성을 확인하는 단계와; 상기 확인 결과 각 필드가 불투명 필드인 경우 MV를 예측 부호화하는 단계와; 상기 확인 결과 임의의 필드가 투명 필드인 경우 MV를 특정값으로 설정하고 그 특정값을 가변장 부호화하는 단계로 이루어짐을 특징으로 한다.

상기에서, 특정값은 "0"인 것을 특징으로 한다.

이와 같이 구성된 본 발명에 의한 P 프레임에서 이동 벡터 부호화 방법은, 현재 부호화할 MB가 MV-2 모드인 경우의 MV를 전송할 때, 상기 현재 MB내의 재현 모양 정보를 가지고 각 필드의 투명성을 확인한다.

이 확인 결과 필드가 불투명 필드이면, 불투명 필드의 MV는 기존 방식과 마찬가지로 예측 부호화한다.

만약, 주변의 MVi가 MV-2 모드이면 전술한 실시예1의 방법과 동일한 방법을 적용하고, 주변의 MVi를 이용하여 중간값으로 예측하고, MVD를 구해서 가변장 부호화(VLC)한다.

아울러 상기 각 필드의 투명성을 확인한 결과, 투명 필드가 존재하는 경우에 해당 투명 필드의 MV는 예측 부호화를 수행하지 않고, 0을 그대로 가변장 부호화(VLC)하게 된다.

이와 같이 부호화된 이동 벡터는 전송단을 통해 복호화기 측으로 전송되며, 복호화기는 그 부호화된 이동 벡터를 복호화하게 된다.

첨부한 도면 도12는 본 발명에 의한 P 프레임에서 이동 벡터 복호화 방법의 제2실시예를 보여주는 도면이다.

이에 도시된 바와 같이, 부호화되어 전송된 현재 MB의 모양 정보와 모드 정보를 복호화하는 단계와; 상기 복호화된 모드 정보가 필드 모드인 경우 현재 MB의 재현 모양 정보에 따라 각 필드의 투명성을 판단하는 단계와; 상기 판단 결과 불투명 필드가 존재하는 경우 MV를 예측 복호화하는 단계와; 상기 판단 결과 투명 필드가 존재하는 경우 MV를 가변 길이 복호화하는 단계로 이루어진다.

이와 같이 구성된 본 발명에 의한 P 프레임에서 이동 벡터를 복호화하는 제2실시예의 복호화 방법은 다음과 같다.

P 프레임 내에서 현재 MB의 모드가 MV-2인 경우의 MV 복호화시, 복호화할 현재 MB의 모양 정보와 모드 정보를 복호화한다.

다음으로, 상기 복호화한 모드 정보가 MV-2 모드인 경우, 현재 MB의 재현 모양 정보를 가지고, 각 필드의 투명성을 판단한다.

이 판단 결과 불투명 필드가 존재하면, 그 불투명 필드의 MV는 기존 방식과 동일한 방법을 적용하여 예측 복호화한다.

만약, 복호화할 MB의 주변 MB의 MVi가 MV-2 모드이면 전술한 제1실시예의 복호화방법을 적용하여, 주변의 MVi를 이용하여 중간값으로 예측하고, 가변 길이 복호화된 MVD를 더하여 불투명 필드의 MV를 구한다.

그리고, 상기 각 필드의 투명성을 판단한 결과, 투명 필드가 존재하면 해당 투명 필드의 MV는 예측 복호화를 사용하지 않고, 가변 길이 복호화하여 복호화하게 되는 것이다.

한편, B 프레임에서 CMB의 모드와 무관하게 direct 모드의 delta-MV는 MB 당 한 개이다. 그리고 도8에서와 같이 PMV를 사용하지 않고 부호화 전송된다. 다시 말해서, delta-MV는 예측 부호화를 수행하지 않고, delta-MV 값 자체를 VLC하여 전송한다.

순행 주사 비디오의 경우에는 frame forward 모드, frame backward 모드, frame bi-directional 모드 등이 발생할 수 있다. 이 frame 모드들의 MV는 도8에서와 같이 PMV를 사용하여 예측 부호화를 수행한다.

다시 말해서, 현재 MV와 PMV의 차인 MVD를 VLC한다. Direct 모드와 frame 모드들은 MV 부호화 시에 필드를 따로 고려하지 않으므로 문제가 발생하지 않는다.

비월 주사 비디오의 경우에는 direct 모드, frame 모드에 더하여, field forward 모드, field backward 모드, field bi-directional 모드 등이 있다.

Field 모드인 경우, 상위 필드, 하위 필드의 각각의 MV를 도8의 관계를 이용하여 PMV와 각 필드의 MV의 차, MVD 두 개를 VLC한다. 그리고 Field 모드인 경우에는 BMB에서 투명 필드가 발생할 수 있다. 그러나 투명 필드의 MV는 무의미하므로 제안 발명에서는, 투명 필드가 발생한 경우 이 필드의 MV를 어떠한 형식으로도 PMV의 갱신을 하지 않는다. 사실, 투명 필드의 MV는 기존 방법에서와 같이 전송을 할 수도 있고, 전술한 제1실시예에서 제안한 방법과 같이 투명 필드의 MV를 전송 안 할 수 있다.

이러한 개념을 참고로, B 프레임에서 이동 벡터를 부호화하는 방법은,

부호화할 현재 MB의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와; 상기 판단결과 현재 MB의 모드가 필드 모드인 경우 재현 모양 정보를 가지고 각 필드의 투명성을 판단하는 단계와; 상기 판단결과 각 필드가 불투명 필드인 경우 이동 벡터 예측 값을 이용하여 불투명 필드의 MV를 예측 부호화하고, 이동 벡터 예측 값을 현재 부호화한 불투명 필드의 MV를 이용하여 갱신하는 단계와; 상기 판단결과 임의의 필드가 투명 필드인 경우 해당 투명 필드의 MV를 특정값으로 결정하고 그 특정값을 가변장 부호화하는 단계로 이루어진다.

상기에서, 특정값은 "0"인 것을 특징으로 한다.

여기서, MB는 일정한 크기의 화소의 집합이다. MV는 움직임 정보를 저장하는 이동 벡터로서, MV를 0으로 결정하는 것은 MV의 모든 요소들을 0으로 하는 것이다. MV는 이동 추정 방식이 어떠한 움직임을 표현할 수 있는가에 따라 벡터의 길이, 즉 요소의 개수가 결정된다. 예를 들어, 평행 이동만을 기술하면, MV의 요소는 수평, 수직 방향의 두 개이다. 필드는 한 MB내의 화소들을 일정한 방법으로 2개 이상의 복수 집합으로 분할한 후의 각각의 화소 집합을 일컫는다. 예를 들면, 비월 주사 비디오의 경우에는 MB내에서 한 줄씩 건너 띄면서 화소들의 집합을 한 필드로 정의한 것이다. 필드 모드는 복수 개의 필드 각각 MV를 추정하고 예측하는 모드를 일컫는다. 대표적인 예가 비월 주사 비디오에서의 MV-2 모드이다.

상기와 같이 이루어지는 본 발명에 의한 B 프레임에서 이동 벡터 부호화 방법의 동작은 다음과 같다.

비월 주사 비디오 B 프레임 내의 현재 MB가 필드 모드인 경우의 예를 들어 설명하면, 현재 MB 모드가 direct mode 또는 frame 모드이면 기존의 방법과 동일한 방법으로 부호화 및 PMV 갱신을 한다.

다음으로, 현재 MB의 모드가 field forward 모드, field backward 모드, field bi-directional 모드 중에 하나라면, 재현 모양 정보를 가지고 각 필드의 투명성을 판단한다.

이 판단 결과 두 필드 모두 불투명 필드이면, 도7과 도8과의 관계에 따라 PMV를 현재 MB의 필드 MV로 갱신한다.

이와는 달리 한 필드만 투명 필드이면, 해당 필드의 MV는 0으로 결정한다.

이 MV는 PMV를 사용한 예측 부호화를 수행하지 않고, 0을 VLC한다.

또는 제1실시예의 부호화 방법처럼 해당 필드의 MV를 전송하지 않을 수 있다. 투명 필드의 MV 전송 여부와는 무관하게 PMV를 갱신하지 않는다.

복호화기에서도 부호화기에서와 동일한 MV를 복호화하기 위해서, 도7과 도8의 방식으로 PMV를 갱신한다. 만일 비월 주사 비디오의 경우, field 모드가 발생하면 재현 모양 정보를 가지고 각 필드의 투명성을 확인한다. 만일 투명 필드가 발생하면, 투명 필드의 MV 전송 여부와 무관하게 PMV를 갱신하지 않는다. 이를 단계별로 기술하면 다음과 같다.

부호화 되어 전송된 현재 MB의 모드 정보와 모양 정보를 복호화하는 단계와; 상기 복호화한 모드 정보가 필드 모드인 경우 재현된 모양 정보를 이용하여 필드의 투명성을 확인하는 단계와; 상기 확인결과 불투명 필드인 경우 이동 벡터 예측 값을 이용하여 불투명 필드의 MV를 예측 복호화하고, 복호화된 MV로 이동 벡터 예측 값을 갱신하는 단계와; 상기 확인 결과 투명 필드인 경우 투명 필드의 MV를 가변 길이 복호화하는 단계로 이루어진다.

이와 같이 이루어지는 본 발명에 의한 B 프레임에서 이동 벡터 복호화 방법은, 먼저 현재 MB의 모드를 복호화한다.

이때 복호화한 현재 MB 모드가 direct mode 또는 frame 모드이면 기존의 방법과 동일한 방법으로 MVD를 복호화하고, 도7과 도8의 관계를 이용하여 MV를 복호화한다. Frame 모드이면, 도8의 관계를 이용하여, 복호화된 MV로 PMV를 갱신한다.

다음으로, 현재 MB의 모드가 field forward 모드, field backward 모드, field bi-directional 모드 중에 하나라면, 재현 모양 정보를 가지고 각 필드의 투명성을 판단한다.

이 판단 결과 각 필드가 불투명 필드이면, 기존의 방법과 동일한 방법으로 MVD를 복호화하고, 도7과 도8과의 관계를 이용하여 MV를 복호화한다. 그리고 도8의 관계를 이용하여, 복호화된 불투명 필드의 MV로 PMV를 갱신한다.

만약, 재현된 모양 정보를 가지고 각 필드의 투명성을 판단한 결과, 한 필드만이 투명 필드이면, 가변길이 복호화를 통해서 MV를 복호화한다. 이 값은 0이다.

만약 제1실시예의 방법처럼 해당 필드의 MV를 전송하지 않은 경우에는, 가변길이 복호화를 수행하지 않고, 대신 투명 필드의 MV를 0으로 한다. 투명 필드의 MV 전송 여부와는 무관하게 PMV를 갱신하지 않는다.

이상에서 상술한 바와 같이 본 발명은, 부호화(복호화) 하고자 하는 현재 매크로블록 또는 그 주변 매크로블록의 모드가 필드 모드인 경우 현재 또는 주변 매크로블록의 재현된 모양 정보를 가지고 각 필드의 투명성을 판단한 후 투명/불투명 필드에 따라 이동 벡터 부호화(복호화) 방법을 선택적으로 적용함으로써 이동 벡터 부호화의 효율(이동 벡터 부호화후 발생되는 비트량의 감소) 및 복호화 효율을 향상시킬 수 있는 효과가 있다.

도1은 일반적인 순차 주사 방식과 격행주사 방식을 설명하기 위한 도면으로,

(a)는 순차 주사 방식의 비디오이고,

(b)는 격행주사 방식을 설명하기 위한 도면이다.

도2는 종래 영상 프레임(I 프레임, P 프레임, B 프레임)의 타입과 예측 방향을 보인 도면,

도3은 종래 영상을 물체 단위로 분할한 경우 각 매크로 블록을 설명하기 위한 도면,

도4는 하나의 매크로블록(MB)을 4개의 서브 블록으로 분할한 도면,

도5는 현재 국제표준 산하기구에서 1차적으로 확정한 MPEG-4의 VOP 영상 부호화기의 구성도,

도6은 하위 필드에만 물체화소가 존재하는16x16 BMB의 일예도,

도7은 이동 벡터(MV)를 부호화하기 위한 현재 MB와 주변 MB의 관계도,

도8은 본 발명에서 격행주사 비디오의 B 프레임에서의 PMV 설정 방법을 설명하기 위한 설명도,

도9는 본 발명에서 각 모드에 따라 사용되는 PMV와 PMV 갱신 방법을 설명하기 위한 설명도,

도10은 본 발명에 의한 이동 벡터 부호화 방법의 일예를 보인 흐름도,

도11은 본 발명에 의한 이동 벡터 부호화 방법의 다른 예를 보인 흐름도,

도12는 본 발명에 의한 이동 벡터 복호화 방법의 일예를 보인 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

11:대상물 영역 형성부 12:모양정보 부호화부

13:움직임 추정부 14:움직임 보상부

15:이전 대상물 영역 검출부 18:대상물 내부 부호화부

19:다중화부

Claims (17)

1. 디지털 영상을 이동 보상 예측 부호화할 경우 이동 벡터를 부호화하는 방법에 있어서,

   부호화할 매크로블록(MB)의 주변 매크로블록의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와;

   상기 판단한 모드가 필드 모드인 경우 상기 주변 MB의 재현 모양 정보를 가지고 각 필드의 투명성을 확인하는 단계와;

   상기 확인 결과 각 필드가 모두 불투명 필드인 경우 각 필드의 MV를 평균하여 제1평균치(MVi-1)를 산출하는 단계와;

   상기 확인 결과 해당 필드만 투명 필드인 경우 그 해당 필드의 MV를 결정한 후 그 결정된 MV와 불투명 필드의 MV와 평균하여 제2평균치(MVi-2)를 산출하는 단계와;

   상기 부호화할 매크로블록의 주변 모든 MB의 각 평균치로부터 현재 MB의 MV 예측 값을 결정하는 단계와;

   상기 결정한 예측 값과 실제 MV의 차이를 이동 벡터로 부호화하는 단계로 이루어짐을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
2. 제1항에 있어서, 상기 해당 필드의 MV의 결정은,

   불투명 필드의 MV를 그대로 사용하여 해당 필드의 MV를 결정하는 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
3. 제1항에 있어서, 상기 해당 필드의 MV의 결정은,

   투명 필드의 MV를 0으로 결정하고 그것을 해당 필드의 MV로 결정하는 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
4. 제1항에 있어서, 상기 해당 필드의 MV의 결정은,

   불투명 필드의 MV를 1/2로 하여 그 결과치를 해당 필드의 MV로 결정하는 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
5. 제1항에 있어서, 상기 제2평균치 산출은,

   불투명 필드의 MV를 그대로 제2평균치로 결정하는 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
6. 제1항에 있어서, 상기 제2평균치 산출은,

   불투명 필드의 MV의 1/2를 제2평균치로 산출하는 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
7. 제1항에 있어서, 상기 제2평균치 산출은,

   불투명 필드의 MV의 3/4를 제2평균치로 산출하는 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
8. 이동 보상 예측 부호화된 디지털 영상을 복호화하기 위한 영상 처리 시스템에서 이동 벡터를 복호화하는 방법에 있어서,

   부호화되어 전송된 현재 MB의 MV 예측값을 복호화하는 단계와;

   상기 현재 MB의 주변 MB의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와;

   상기 주변 MB 중에서 필드 모드인 MB가 존재하는 경우 해당 MB의 각 필드의 투명성 여부를 재현 모양 정보를 이용하여 확인하는 단계와;

   상기 각 필드가 불투명 필드인 경우 각 필드의 MV를 평균하여 제1평균치(MVi-1)를 산출하는 단계와;

   상기 각 필드중 투명 필드가 존재하는 경우 그 필드의 MV를 결정하고, 그 결정된 투명 필드의 MV와 상기 불투명 필드의 MV를 평균하여 제2평균치(MVi-2)를 산출하는 단계와;

   상기 복호화할 매크로블록의 주변 모든 MB의 각 평균치로부터 현재 MB의 MV 예측 값을 결정하는 단계와;

   상기 결정한 예측 값과 복호화한 MV 예측값을 가산하여 현재 MB의 MV를 복호화하는 단계로 이루어짐을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 복호화 방법.
9. 제8항에 있어서, 상기 투명 필드의 MV의 결정은,

   불투명 필드의 MV를 그대로 사용하여 해당 필드의 MV를 결정하는 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 복호화 방법.
10. 제8항에 있어서, 상기 투명 필드의 MV의 결정은,

    투명 필드의 MV를 0으로 결정하고 그것을 해당 필드의 MV로 결정하는 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 복호화 방법.
11. 제8항에 있어서, 상기 투명 필드의 MV의 결정은,

    불투명 필드의 MV를 1/2로 하여 그 결과치를 해당 필드의 MV로 결정하는 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 복호화 방법.
12. 디지털 영상을 이동 보상 예측 부호화할 경우 이동 벡터를 부호화하는 방법에 있어서,

    부호화할 현재 MB의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와;

    상기 판단 결과 현재 MB가 필드 모드인 경우 상기 현재 MB내의 재현 모양 정보를 가지고 각 필드의 투명성을 확인하는 단계와;

    상기 확인 결과 각 필드가 불투명 필드인 경우 MV를 예측 부호화하는 단계와;

    상기 확인 결과 임의의 필드가 투명 필드인 경우 MV를 특정값으로 설정하고 그 특정값을 가변장 부호화하는 단계로 이루어짐을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
13. 제12항에 있어서, 상기 특정값은 "0"인 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
14. 이동 보상 예측 부호화된 디지털 영상을 복호화하기 위한 영상 처리 시스템에서 이동 벡터를 복호화하는 방법에 있어서,

    부호화 되어 전송된 현재 MB의 모양 정보와 모드 정보를 복호화 하는 단계와;

    상기 복호화된 모드 정보가 필드 모드인 경우 현재 MB의 재현 모양 정보에 따라 각 필드의 투명성을 판단하는 단계와;

    상기 판단 결과 불투명 필드가 존재하는 경우 MV를 예측 복호화하는 단계와;

    상기 판단 결과 투명 필드가 존재하는 경우 MV를 가변 길이 복호화하는 단계로 이루어짐을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 복호화 방법.
15. 디지털 영상을 이동 보상 예측 부호화할 경우 이동 벡터를 부호화 하는 방법에 있어서,

    부호화할 현재 MB의 이동 벡터 예측 부호화를 위한 모드를 판단하는 단계와;

    상기 판단결과 현재 MB의 모드가 필드 모드인 경우 재현 모양 정보를 가지고 각 필드의 투명성을 판단하는 단계와;

    상기 판단결과 각 필드가 불투명 필드인 경우 이동 벡터 예측 값을 이용하여 불투명 필드의 MV를 예측 부호화하고, 이동 벡터 예측 값을 현재 부호화한 불투명 필드의 MV를 이용하여 갱신하는 단계와;

    상기 판단결과 임의의 필드가 투명 필드인 경우 해당 투명 필드의 MV를 특정값으로 결정하고 그 특정값을 가변장 부호화 하는 단계로 이루어짐을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
16. 제15항에 있어서, 상기 특정 값은 "0"인 것을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 부호화 방법.
17. 이동 보상 예측 부호화된 디지털 영상을 복호화하기 위한 영상 처리 시스템에서 이동 벡터를 복호화하는 방법에 있어서,

    부호화 되어 전송된 현재 MB의 모드 정보와 모양 정보를 복호화하는 단계와;

    상기 복호화한 모드 정보가 필드 모드인 경우 재현된 모양 정보를 이용하여 필드의 투명성을 확인하는 단계와;

    상기 확인결과 불투명 필드인 경우 이동 벡터 예측 값을 이용하여 불투명 필드의 MV를 예측 복호화하고, 복호화된 MV로 이동 벡터 예측 값을 갱신하는 단계와;

    상기 확인 결과 투명 필드인 경우 투명 필드의 MV를 가변 길이 복호화 하는 단계로 이루어짐을 특징으로 하는 디지털 영상 처리 시스템의 이동 벡터 복호화 방법.