KR19990081354A - 영상의 영역별 움직임 추정방법 - Google Patents

Abstract

B프레임에서 움직임 벡터의 추정시에 다음프레임 및 이전프레임의 동일위치에 있는 움직임 벡터가 존재하지 않을 때 소정값으로 설정하여 움직임을 추정한다. 동일 위치 매크로블럭의 모드를 확인하고, 동일 위치 매크로블럭 모드가 필드 모드인 경우, 동일 위치 매크로블럭의 재현 모양 정보를 보고 각 필드의 투명성을 확인한다. 불투명 필드에서는 해당 필드의 움직임 벡터를 그대로 이용하고, 투명 필드의 움직임벡터는 임의의 값으로 결정한다.

Description

영상의 영역별 움직임 추정 방법

본 발명은 영상의 영역별 움직임 추정방법에 관한 것으로, 특히 B프레임에서 움직임 벡터의 추정시에 다음프레임 및 이전프레임의 동일위치에 있는 움직임 벡터가 존재하지 않을 때 소정값으로 설정하여 움직임을 추정하는 영상의 영역별 움직임 추정방법에 관한 것이다.

디지탈 영상은 프레임의 구성 방법에 따라 순행 주사 비디오와 비월 주사 비디오로 나눌 수 있다. 순행 주사 영상에서는 각각의 프레임(frame) 구성 시에 한 줄(line)씩 차례로 구성한다. 반면, 비월 주사 영상에서는 두 필드(field)를 한 줄씩 차례로 구성한 후, 두 필드를 한 줄씩 끼워넣는 방식으로 각각의 프레임을 구성한다. 그러므로 각 필드의 높이(줄의 갯수)는 프레임 높이의 절반이다. 이를 설명한 예가 도1(a)에 도시된다. 도1(a)는 순행 주사 프레임을, 도1(b)는 두 개의 필드 - 상위 필드(top field)와 하위 필드(bottom field) - 와 비월 주사 프레임을 보여 준다. 상위 필드와 하위 필드는 각각 한 줄씩 차례로 구성되며(상위 필드의 경우 실선 화살표, 하위 필드의 경우 점선 화살표가 각각의 줄을 나타냄), 구성된 각 필드의 줄들을 사이사이에 끼워넣는 방식으로(실선 화살표와 점선 화살표가 섞임) 비월 주사 프레임을 구성한다.

도1(b)에서와 같이 상위 필드와 하위 필드 구성 시에 두 필드 사이에는 시간차가 존재한다. 도면1(b)의 경우에는 상위 필드가 시간적으로 앞선다. 경우에 따라 하위 필드가 시간적으로 앞설 수도 있다. 상위 필드와 하위 필드 사이의 시간차로 인하여, 비월 주사 프레임 내의 인접한 줄 사이의 신호 특성이 다를 수 있다. 특히 움직임이 많은 영상인 경우 이러한 특성이 두드러진다. 그러므로 순행 주사 영상 특성에 따라 개발된 영상 부호화 장치, 예를 들면 이동 추정(motion estimation) 및 이동 보상(motion compensation), 이산 여현 변환(discrete cosine transform; DCT) 등을 비월 주사 비디오 부호화에 사용하면 부호화 효율이 감소하게 된다. 이러한 문제점을 피하기 위하여 필드 단위 이동 추정 및 이동 보상, 프레임-필드 적응적 이산 여현 변환(adaptive frame/field DCT) 등이 연구되어 왔다. 그리고 이러한 기술들은 세계 표준화 기구인 ISO/IEC JTC1/SC29/WG11에서 디지탈 TV 등의 응용을 목적으로 제정한 MPEG-2 동영상 부호화 표준안 등에 포함되어 있으며, 실제 응용 제품에도 많이 이용되는 기술들이다.

임의로 읽고 쓰기(Random access)와 고효율 영상 압축을 위하여, 디지탈 비디오를 압축 부호화 시에 I 프레임, P 프레임, B 프레임 등의 세 가지 타입의 프레임을 정의, 사용하는 방법이 널리 이용된다. 특히 P 프레임과 B 프레임은 이동 보상 예측을 수행함으로써 높은 압축률이 가능하다. 세 프레임을 자세히 설명하면 다음과 같다.

I 프레임(Intra coded frame)은 부호화 시에 다른 프레임들을 참조하지 않는다.

P 프레임(Predictive coded frame)은 이전 I 프레임이나 이전 P 프레임을 참조하는 이동 보상 예측을 사용, 부호화하기 때문에 보다 효과적으로 압축 부호화된다. 디지탈 영상의 시간적으로 연속된 프레임들 사이에는 색상 정보(color information)의 중복성(redundancy)이 크기 때문에, 이전 I 프레임이나 이전 P 프레임과 현재 P 프레임 사이의 이동정보를 추정, 이동보상 예측(motion compensated prediction)을 수행하고, 예측 오차와 이동 정보를 부호화 전송하는 방식이 압축 부호화 효율 측면에서 유리하다

B 프레임(Bidirectionally-predictive coded frame)은 가장 압축률이 높은 프레임으로, 이전 프레임(previous frame; 이하 PF) 뿐만 아니라 이후 프레임(next frame; 이하 NF)도 참조하여 예측을 수행한다. P 프레임과 마찬가지로 B 프레임도 이동 보상 예측을 이용한다. 그러나 참조 영상을 두 개 사용하고, 이 중에서 보다 우수한 예측 성능을 선택하기 때문에 압축률이 가장 높다. 한편 이 프레임은 다른 프레임을 위한 참조 영상(reference frame)이 되지는 않는다. 그러므로 이전프레임(PF:Previous Frame)는 현재 B 프레임과 디스플레이 순서상으로 가장 가까운 이전의 I 프레임 또는 P 프레임이며, 다음 프레임(NF:Next Frame)는 현재 B 프레임과 디스플레이 순서상으로 가장 가까운 이후의 I 프레임 또는 P 프레임이다.

도2는 I 프레임, P 프레임, B 프레임으로 구성된 디지탈 비디오의 예이며 디스플레이(display) 순서대로 나타낸 것이다. 도면에서 위쪽의 화살표는 P 프레임의 참조 방향을 나타낸 것이며, 아래쪽의 화살표는 B 프레임의 참조 방향을 나타낸 것이다. 이 예에서 I 프레임의 간격, 연속되는 B 프레임의 갯수 등은 응용(application) 또는 장치(equipment)에 따라 변할 수 있다. 디지탈 비디오를 압축 부호화 시에 I 프레임, P 프레임 그리고 B 프레임을 모두 사용한다면 디스플레이(display) 순서와 부호화 순서가 틀리다. 도2를 예로 들면, 디스플레이(display) 순서는 도면에서와 같이 I1, B1, P1, B2, P2, B3, P3, B4, I2인 반면 부호화 순서는 I1, P1, B1, P2, B2, P3, B3, I2, B4이다.

도2의 예는 순행 주사영상과 비월 주사영상의 경우 모두에 적용된다. 단, 비월 주사영상의 경우에는 각 프레임을 구성할 때, 도1(b)와 같이 두 필드가 사이사이에 끼워져서 프레임을 구성한다는 점이 순행 주사영상의 경우와 틀리다. 이 점을 제외하고는 영상의 구성, 예측 방향 등은 두 경우가 동일하다.

P 프레임과 B 프레임은 이동 보상 예측을 수행하기 때문에, 이동 추정이 필요하다. 그러나 위에서 설명하였듯이, 참조 영상의 선택 방법이 서로 틀리기 때문에 이동추정 및 보상방법도 상호 다르다.

각 프레임의 전체를 부호화(프레임 단위 부호화) 하는 대신에, 영상이 가지고 있는 정보를 기준으로 프레임을 임의의 영역들로 분할하고, 분할된 영역별(각각의 분할된 영역을 본 발명에서는 물체(object)라 한다.)로 부호화(물체 단위 부호화)하는 영상 부호화 기법의 연구가 최근 활발히 진행 중이다. 이 물체 단위의 부호화 기법은 사용자가 원하는 물체만을 부호화하여 전송을 하거나 조작(manipulation)하는 것을 가능하게 하며, 이러한 장점은 미래의 멀티미디어 산업 전반에 중요한 역할을 할 것이다. 최근에는 이러한 경향을 반영하여, 세계 표준화 기구인 ISO/IEC JTC1/SC29 WG11에서 물체 단위의 부호화를 특징으로 하는 MPEG-4 표준화 작업을 진행 중이다. MPEG-4를 포함하여, 물체 단위로 부호화하는 디지탈 비디오 압축 부호화 방식에서는 프레임 내에서 물체 영역을 표시하는 모양 정보(shape information)의 부호화 및 전송이 요구된다. 이 모양 정보의 부호화 및 전송이 프레임 단위 부호화와 물체 단위 부호화를 구분짓는 가장 큰 특징이다.

이때 물체 경계 부분에서는 전체 프레임을 부호화하는 기존의 기술들 - 예를 들면, MPEG-1, MPEG-2, H.261, H.263 - 을 적용하면 부호화 효율이 감소하는 문제점이 발생한다. 이러한 문제점을 극복하고 부호화 효율을 높이기 위해 연구된 기술들의 예로서는 Boundary Block Merging(BBM), Shape-adaptive Discrete Cosine Transform(SA-DCT) 등이 대표적이다.

디지탈 비디오 압축 부호화 시에 이동 추정 및 보상, 색상 정보 부호화 등은 일정한 갯수의 화소의 집합인 마크로 블럭(macroblock, 이하 MB) 단위로 수행한다. 임의의 모양 정보를 가지는 물체의 부호화 시에는 매크로블럭를 모양 정보와 관련지어 세 가지로 구분 가능하다. 첫째, 물체 영역 외부에 포함된 경우의 MB(transparent MB; TMB)가 있다. TMB는 MB내에 물체 영역이 존재하지 않는 것이며, TMB를 알려주는 모양 정보 전송을 제외하고는 기타 부호화 과정이 불필요하다. 두번째로는 물체 영역 내부에 포함된 경우의 MB(opaque MB; OMB) 가 있다. OMB를 알려주는 모양 정보를 전송하고, 기존의 프레임 단위 부호화에서 개발된 기술들을 사용하여 압축 부호화 한다. 마지막으로 물체 영역과 물체 영역이 아닌 영역이 공존하는 MB(boundary MB; BMB)가 있다. 이러한 매크로블럭를 수신단(receiver)에서 복호화(decoding)하기 위해서는 물체 영역을 표시하는 모양 정보와 물체 영역 내의 색상 정보를 부호화 해야 한다. 만일 P 프레임이나 B 프레임과 같이 이동 추정 및 보상을 하는 프레임에서는 이동 정보도 부호화 전송을 해야 한다.

주목할 점은 모양 정보 전송에 의해서, 수신단(receiver)의 복호화기(decoder)에서도 현재 복호화 해야 할 매크로 블록(Macro Block)가 TMB, OMB, BMB 중에 어떠한 매크로블록인지를 알 수 있다는 점이다. 그러므로 송신단(transmitter)의 부호화기(coder)가 TMB, OMB, BMB를 구분하여 특성에 맞추어 선택적으로 부호화할 수 있다. 단, 복호화기가 가지고 있는 모양 정보는 재현 모양 정보(reconstructed shape information)이기 때문에 부호화기에서도 재현 모양 정보를 기준으로 TMB, OMB, BMB를 구분해야 한다. 물론, 복호화기와 무관한(encoder issue) 부호화 단계에서는 원(original) 모양 정보를 사용해도 무방하다.

도3에 예가 있다. 회색 부분은 부호화할 물체 영역을 표시한 것이며, 작은 사각형 각각은 매크로블럭의 일례를 보여준다. 이 예에서 TMB, OMB, BMB는 각각 6개, 12개, 22개이다.

P 프레임에서의 이동 벡터(motion vector; 이하 MV) 추정은 참조 영상(reference image)인 이전프레임 PF(Previous Frame:이전 I 프레임이나 이전 P 프레임)와 현재 P 프레임 사이에 수행된다. 도2의 예를 들면, P1에서의 움직임 벡터(Motion Vector)는 I1을 참조 영상으로, P2에서의 움직임 벡터(MV)는 P1을 참조영상으로 하여 추정된다. 이때, 움직임 벡터(MV)는 일정한 크기의 매크로 블럭(MB) 단위로 추정되고, 부호화 전송된다.

순행주사 영상인 경우의 움직임 벡터 추정 및 예측 방식으로는 매크로 블럭(MB) 당 움직임 벡터(MV)를 한 개 전송하는 모드(MV-1 모드), 매크로블럭 당 MV를 4개 전송하는 모드(MV-4 모드)가 있고, 비월 주사 비디오인 경우에는 MV-1 모드, MV-4 모드, 그리고 매크로블럭 당 MV 2개를 전송하는 모드(MV-2 모드) 등 3 가지가 있다. MV-1 모드는 매크로블럭(매크로블럭) 당 한 개의 움직임 벡터(MV)를 추정하며, 매크로블럭내의 모든 화소들의 색상 값들은 한 개의 움직임 벡터를 이용하여 참조 영상으로부터 예측하는 모드이다.

움직임 벡터-4 모드는 매크로블럭를 동일한 크기의 부블럭(sub-block) 4개로 분할하고, 각 부블럭에 대해서 독립적으로 움직임 벡터를 추정하는 모드이다. 매크로블럭내의 각 화소 색상 값들은 해당 부블럭의 움직임 벡터를 이용하여 참조 영상으로부터 예측된다. 도4는 직사각형 구조의 매크로블럭와 A, B, C, D 등 4 개의 부블럭을 보여준다. 움직임 벡터-4 모드는 매크로블럭 당 4개의 움직임 벡터를 전송한다.

움직임 벡터-2 모드는 상위 필드, 하위 필드 각각 독립적으로 움직임 벡터를 추정하는 모드이다. 매크로블럭내의 각 화소 색상 값들은 해당 필드의 움직임 벡터를 이용하여 참조 영상으로부터 예측된다, 매크로블럭 당 2개의 움직임 벡터를 전송한다. 주의할 점은 상위 필드가 참조 영상의 하위 필드로부터, 또는 하위 필드가 참조 영상의 상위 필드로부터 예측할 수도 있다는 점이다.

비월주사 영상인 경우, 세 가지 모드로 움직임 벡터 추정 및 이동 보상 예측을 각각 수행한 후, 발생하는 이동 보상 예측 오차와 움직임 벡터 전송량을 고려하여, 세 가지 중에서 하나의 모드를 선택한다.

이러한 방법을 물체 단위 부호화에 적용 시, OMB에서는 직접적으로 적용 가능하다. TMB는 모양 정보를 제외하고는 부호화 과정을 수행하지 않기 때문에 움직임 벡터 추정을 할 필요가 없다. BMB의 경우에는 물체에 속한 화소(물체화소)와 물체에 속하지 않은 화소(배경화소)가 동시에 존재하며, 이동벡터 추정 및 예측은 물체화소 부분만 고려하여 수행된다. 예를 들어 움직임 벡터를 탐색영역 내에서 선택하거나 또는 모드를 결정할 때, 예측 오차를 계산하고 비교하는 과정이 필요하다. 이때, 물체화소에서의 오차만을 고려하여 예측 오차를 계산한다.

도5는 현재 매크로블럭이 16 화소/줄 x 16 줄이고, 경계 매크로 블럭(BMB)인 경우의 예를 보인 것이다. o와 x는 물체화소와 배경화소를 각각 나타낸다. 이 B매크로블럭의 경우, 하위 필드에는 물체화소가 있지만, 상위 필드에는 물체화소가 단 한 개도 존재하지 않는다. 하위 필드는 주어진 탐색 영역에서 움직임 벡터를 찾으면 된다. 탐색 영역 내에서 움직임 벡터를 선택하기 위하여 오차를 계산하는데, 물체화소가 있는 부분에 대해서만 오차를 계산한다. 그러나 상위 필드는 물체화소가 한 개도 없기 때문에 움직임 벡터의 정의가 되지 않는다.

B 프레임에서는 이전 프레임 PF와 다음 프레임 NF 두 개를 참조 영상으로 사용하여 움직임 벡터 추정 및 이동 보상예측을 수행한다. 도2의 B1의 경우, 이전 프레임 PF는 I1, NF는 P1이다. 순행주사 영상인 경우, B 프레임에서의 이동 보상 모드로는 direct 모드, frame forward 모드, frame backward 모드, frame bi-directional 모드 네 가지가 있다. 비월 주사 비디오에서는 direct 모드, frame forward 모드, frame backward 모드, frame bi-directional 모드, field forward 모드, field backward 모드, field bi-directional 모드 등 7 가지가 있다.

Frame forward 모드는 이전 프레임 PF를 참조 영상으로 하여 매크로 블럭 당 한 개의 움직임 벡터를 추정하는 것이고, Frame backward 모드는 다음 프레임 NF를 참조 영상으로 하여 매크로 블럭 당 한 개의 움직임 벡터를 추정하는 것이다. Frame bi-directional 모드는 forward 모드, backward 모드에서 얻어진 움직임 벡터 두 가지를 모두 이용하여 각각 예측을 수행하고, 예측된 색상 정보 값 두 개의 평균값을 최종 예측값으로 한다.

Frame 모드는 이를 매크로 블럭 단위로 하는 것에 반하여, field 모드는 이를 필드 단위로 수행한다. 예를 들어서 field backward 모드는 상위 필드, 하위 필드 각각의 움직임 벡터를 backward 모드로 추정한다. 결과적으로 frame forward 모드, frame backward 모드에서 한 개의 움직임 벡터, frame bi-directional 모드, field forward 모드, field backward 모드에서는 2 개의 움직임 벡터 추정 및 부호화 전송이 필요하다. Field bi-directional 모드에서는 4 개의 움직임 벡터 추정 및 부호화 전송이 필요하다. 주의할 점은 direct 모드를 제외하고는, P 프레임의 움직임 벡터-4와 같은 움직임 벡터 4개를 사용하는 모드는 없다는 점이다.

direct 모드와 함께 7가지 모드를 모두 사용하여 움직임 벡터 추정 및 예측을 수행하고, 예측 오차와 전송할 움직임 벡터의 갯수를 고려하여 모드 결정을 한다. 모드가 결정되면, 모드 정보와 해당 모드에 필요한 갯수만큼의 움직임 벡터를 부호화하여 수신단에 전송한다.

Direct 모드를 제외하고는 (1)의 P 프레임의 경우와 같은 문제점이 발생한다. 그러므로 해결 방안도 유사하다. B 프레임 부호화시, 현재 부호화할 매크로 블럭가 도5와 같다면, field forward 모드, field backward 모드, field bi-directional 모드의 상위 필드의 움직임 벡터는 무의미하다. 이때 (1)의 방법1이나 방법2를 사용하여, 문제점을 극복할 수 있다.

예를들어, 실시예 2의 field bi-directional 모드의 경우를 살펴보자. 하위 필드는 기존 방식과 같이, forward 움직임 벡터와 backward 움직임 벡터를 추정하고, 두 움직임 벡터를 이용하여 NF와 PF로부터 색상 값을 예측하고 이를 평균하여 최종 예측 값으로 하여 예측 오차를 계산하다. 상위 필드의 예측 오차는 0으로 결정한다. 모드 결정시의 움직임 벡터 갯수는 4개가 아니고 2개이다. 모드 결정이 field bi-directioinal 모드로 결정이 된다면, 움직임 벡터는 하위 필드의 forward 움직임 벡터, backward 움직임 벡터 두 개만을 전송한다. 복호화기에서는 복호화한 모드가 field bi-directional 모드이면, 재현 모양정보를 가지고 투명성을 판단한다. 만일 한 필드가 투명 필드이면, 2 개의 움직임 벡터만을 복호화한다.

Direct 모드는 현재 MB와 위치가 같은 NF의 MB(co-located MB; 이하 CMB)의 MV를 이용하여 이동 보상 예측하는 모드이다. CMB의 MV는 NF와 PF 사이의 MV이다. 이를 이용하여 현재 MB와 PF 사이의 MV와, 현재 MB와 NF 사이의 MV들을 각각 계산한다. 그 다음, 두 개의MV를 함께 고려하는 보정을 수행하여 최종 MV들을 결정한다. 이 두 MV들을 이용하여 예측한 색상 정보 값들을 평균하여 현재 MB의 색상 정보 값을 예측한다. 다른 모드들과 비교하여 Direct 모드가 결정된 경우, 모드 정보와 함께 수신단에 보정 값(delta-MV)을 전송한다.

순행 주사 비디오의 CMB 모드로는 MV-1 모드, MV-4 두 가지가 가능하다. 비월 주사 비디오의 경우에는 MV-1 모드, MV-4 모드, MV-2 모드 등 세 가지가 가능하다. CMB의 MV 갯수가 2 개, 4 개이면 그 숫자만큼 위의 과정을 반복 수행한다. 예를 들어, 현 MB의 상위 필드를 위해서는 CMB의 상위 필드 MV를 이용하여 위의 과정을 반복하고, 현 MB의 하위 필드를 위해서는 CMB의 하위 필드 MV를 이용하여 위의 과정을 반복한다. 그러나 보정은 복수 개의 MV들을 동시에 고려하여 수행하게 되며, 그러므로 direct 모드는 CMB의 모드와 무관하게 MB 당 delta-MV를 한 개 전송한다.

CMB의 모드가 MV-2인 경우의 direct 모드는 CMB내의 두 필드 MV를 이용하여 현재 MB의 각 필드에서의 두 개의 MV - PF와의 MV, NF와의 MV - 를 계산한다. 만일 CMB의 한 필드가 투명 필드인 경우, 움직임 벡터를 산출할 수 없기 때문에 기존 방식을 그대로 사용하기는 어렵다.

본 발명은 상기와 같은 문제점을 해결하기 위해서 제안된 것으로서,

본 발명의 목적은 다음프레임 및 이전프레임의 동일위치에 있는 움직임 벡터로부터 현재 프레임의 움직임 벡터를 추정시에 그들의 움직임 벡터가 존재하지 않을 때 소정값으로 설정하여 움직임을 추정하는 영상의 영역별 움직임 추정방법을 제공하는 것이다.

동일 위치 매크로블럭의 모드를 확인하고, 동일 위치 매크로블럭 모드가 필드 모드인 경우, 동일 위치 매크로블럭의 재현 모양 정보를 보고 각 필드의 투명성을 확인한다. 불투명 필드에서는 해당 필드의 움직임 벡터를 그대로 이용하고, 투명 필드의 움직임벡터는 임의의 값으로 결정한다. 참조 영상 내의 동일 위치 매크로블럭의 움직임 벡터를 참조하여 이동 보상 예측하는 영상 복호화시에 모드 정보를 복호화하고, 동일 위치 매크로블럭의 움직임 벡터를 참조하는 모드인 경우, 참조 영상 내의 동일 위치 매크로블럭의 모드를 확인한다. 동일 위치 매크로블럭이 필드 모드인 경우, 동일 위치 매크로블럭의 재현 모양 정보를 이용하여 두 필드의 투명성을 확인한다. 불투명 필드에서는 해당 필드의 움직임 벡터를 그대로 이용하고, 투명 필드의 움직임 벡터는 임의의 값으로 결정한다.

도1(a)와 (b)는 순차주사방식과 비월주사방식의 프레임구성을 보인다.

도2는 I프레임, B프레임과 P프레임 예측방향을 보이는 설명도이다.

도3은 TMB, OMB및 BMB를 설명하는 설명도이다.

도4는 매크로블럭 내의 서브블럭을 보인다.

도5는 하위필드에만 물체화소가 존재하는 16×16 BMB의 시시예이다.

도6은 본 발명에 의한 영상의 영역별 움직임 추정방법을 보이는 플로우 차트이다.

이하, 본 발명의 기술적 사상에 따른 실시예를 들어 그 동작 및 작용효과를 상세히 설명한다.

도6에 본 발명에 의한 영상의 영역별 움직임 추정방법을 보이는 플로우 차트이다.

단계 61에서 필드 개수플래그를 I=1로 설정하고, 단계 62에서 동일위치 매크로블럭의 모드를 확인한다. 단계 63에서 필드 모드인지를 판단하고, 필드모드가 아닌 경우, 비필드 모드의 기존방식에서 사용하는 방식을 사용하여 움직임 벡터를추정한다. 단계 65에서 i번째 필드의 투명성을 판단한다. 단계 66에서 투명필드인지를 판단한다. 투명필드인 경우, 임의의 값을 현재 필드의 움직임 벡터로 사용하고, 단계 69에서 필드갯수 플래그 i가 필드갯수인지를 판단한다. 필드갯수 플래그 i가 필드갯수가 아닌 경우, 단계 70에서 필드갯수 플래그 i를 1증가시키고 단계 65이하의 과정을 반복한다. 단계 66의 판단에서 투명필드가 아닌 경우, 단계 67에서 동일위치 매크로블럭의 같은 필드의 움직임 벡터를 현재 필드 움직임 벡터로 사용하고, 단계 69로 진행한다. 단계 69의 판단에서 필드갯수 플래그 i가 필드갯수인 경우 움직임 벡터의 과정을 완료한다.

이 방법에서 MB는 일정한 크기의 화소의 집합이다. MV는 움직임 정보를 저장하는 이동 벡터로서, MV를 0으로 결정하는 것은 MV의 모든 요소들을 0으로 하는 것이다. MV는 이동 추정 방식이 어떠한 움직임을 표현할 수 있는가에 따라 벡터의 길이, 즉 요소의 갯수가 결정된다. 예를 들어, 평행 이동만을 기술하면, MV의 요소는 수평, 수직 방향의 두 개이다. 필드는 한 MB내의 화소들을 일정한 방법으로 2 개 이상의 복수 집합으로 분할한 후의 각각의 화소 집합을 일컫는다. 예를 들면, 비월 주사 비디오의 경우에는 MB내에서 한 줄씩 건너 띄면서 화소들의 집합을 한 필드로 정의한 것이다. 동일 위치는 프레임 내에서의 위치일 수도 있고, 물체 단위로 부호화 시에는 물체 내부에서의 위치일 수도 있다. 필드 모드는 복수 개의 필드 각각 MV를 추정하고 예측하는 모드를 일컫는다. 대표적인 예가 비월 주사 비디오에서의 MV-2 모드이다.

위와 같은 제안 방식을 비월 주사 비디오 B 프레임내의 현재 MB에서 direct 모드를 고려할 때의 예로 들어 설명하면 다음과 같다;

(step 1) CMB의 모드를 확인한다.

(step 2) CMB 모드가 MV-2 모드인 경우, CMB의 재현 모양 정보를 보고 각 필드의 투명성을 확인한다.

(step 3) 불투명 필드에서는, 기존의 방식과 같이 수행한다.

(step 4) 투명 필드에서는, 투명 필드의 MV는 무의미한 것이므로 무시한다. 대신 direct 모드의 성능을 향상시키기 위하여 본 발명에서는 투명 필드의 MV를 임의의 값으로 결정해 준다. CMB내 투명 필드의 MV를 결정하는 방법의 예로서 다음과 같은 방법들을 고려할 수 있다; 1) 비투명 필드의 MV를 그대로 사용하는 방법, 2) 투명 필드의 MV를 0으로 결정하여 사용하는 방법, 3) 비투명 필드의 MV를 1/2로 하여 사용하는 방법 등을 고려할 수 있다. 1)은 상위 필드와 하위 필드의 경향이 같을 때, 성능 향상이 뚜렷하다. 2)는 CMB의 필드가 투명 필드이면 CMB의 MV를 완전히 무시하는 경우이며, 3)은 두 경우를 혼합한 방법이다.

(step 5) 앞의 (step 4)에 의하여 CMB의 MV가 모두 결정이 된다면, 이후의 과정 - 보정 수행, 모드 결정 등 - 은 기존 방법과 동일하다. 만일direct 모드가 결정되면, 모드 정보와 함께 delta-MV를 전송한다.

복호기에서의 B 프레임내의 MB 복호화 과정은 다음과 같다;

(step 1) 먼저 모드 정보를 복호화 한다.

(step 2) 만일 복호화된 모드 정보가 direct 모드이면, 먼저 CMB의 모드를 확인한다.

(step 3) 만일 CMB의 모드가 MV-2이면, CMB의 재현 모양 정보를 이용하여 두 필드의 투명성을 확인한다.

(step 4) 불투명 필드의 경우에는 기존 방식과 마찬가지로 복호화를 수행한다.

(step 5) 만일 투명 필드가 있으면 해당 필드의 MV는 부호화기에서와 같은 방식으로 설정을 해주어야 한다. 예를 들어서 부호화기 측에서 위의 1)과 같이 비투명 필드의 MV를 사용하였다면, 복호화기에서도 1)과 같은 방식으로 투명 필드의 MV를 결정해 준다. 이는 해당 필드의 MV 전송 여부와는 무관하게 수행한다.

(step 6) CMB 두 필드의 MV가 결정되면, 이후의 복호화 과정은 기존 방식의 복호화 과정과 동일하다. 다시 말해서, delta-MV를 복호화하여 MV들을 보정하고 예측한다.

이상 설명한 바와같이 본 발명에 의하면 B프레임에서 움직임 벡터의 추정시에 다음프레임 및 이전프레임의 동일위치에 있는 움직임 벡터가 존재하지 않을 때 소정값으로 설정하여 움직임을 추정함으로써 영상의 부호화 효율을 향상시킬 수 있다.

Claims (2)

1. 참조 영상 내의 동일 위치 매크로블럭의 움직임 벡터를 참조하여 이동 보상 예측하는 영상 압축 부호화 방법에서,

   동일 위치 매크로블럭의 모드를 확인하는 단계와;

   동일 위치 매크로블럭 모드가 필드 모드인 경우, 동일 위치 매크로블럭의 재현 모양 정보를 보고 각 필드의 투명성을 확인하는 단계와;

   불투명 필드에서는 해당 필드의 움직임 벡터를 그대로 이용하는 단계와;

   투명 필드의 움직임벡터는 임의의 값으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상의 영역별 움직임 추정 방법.
2. 참조 영상 내의 동일 위치 매크로블럭의 움직임 벡터를 참조하여 이동 보상 예측하는 영상 복호화 방법에 있어서,

   모드 정보를 복호화하는 단계와;

   동일 위치 매크로블럭의 움직임 벡터를 참조하는 모드인 경우, 참조 영상 내의 동일 위치 매크로블럭의 모드를 확인하는 단계와;

   동일 위치 매크로블럭이 필드 모드인 경우, 동일 위치 매크로블럭의재현 모양 정보를 이용하여 두 필드의 투명성을 확인하는 단계와;

   불투명 필드에서는 해당 필드의 움직임 벡터를 그대로 이용하는 단계와;

   투명 필드의 움직임 벡터는 임의의 값으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상의 이동 보상 예측 복호화 방법.