KR19990081352A - 영상의 영역별 움직임 벡터 추정장치와 영상의 영역별 움직임보상 예측 부호화/복호화 방법 - Google Patents

Abstract

본 발명은 임의의 영역별로 이동 보상 예측을 이용하여 디지탈 비디오를 압축 부호화한다. 임의의 영역의 필드 단위의 움직임 벡터(MV)를 찾기 전에, 현재 메크로 블럭(MB)의 각 필드의 투명성(transparency)을 판단하여 불투명 필드인 경우 움직임 벡터를 찾는다. 투명 필드인 경우, 해당 필드의 MV를 0으로 결정하고 투명 필드의 예측 오차도 0으로 한다. 다수의 이동 보상 모드중에서, 움직임 벡터 수가 작고 작은 오차를 가지는 모드를 선택한다. 필드 모드로 결정된 경우, 다시 한 번 재현 모양 정보를 가지고 해당 매크로 블럭내의 필드의 투명성 여부를 판단한다. 만일 재현 모양 정보의 한 필드가 투명 필드인 경우, 해당 필드에 대해서 움직임 벡터(MV)를 0으로 결정하고 모드 정보와 움직임 벡터(MV)를 부호화하여 전송한다.

Description

영상의 영역별 움직임 벡터 추정장치와 영상의 영역별 움직임 보상 예측 부호화/복호화 방법

본 발명은 영상의 영역별 움직임 추정 보상예측장치 및 방법에 관한 것으로, 특히 필드영역별로 움직임 벡터를 추정하는 경우 물체화소가 없어서 움직임 벡터를 추정할 수 없는 때 움직임 벡터를 소정값으로 설정하여 움직임 보상예측을 수행하는 영상의 영역별 움직임 벡터 추정장치와 영상의 영역별 움직임 보상 예측 부호화/복호화 방법에 관한 것이다.

디지탈 영상은 프레임의 구성 방법에 따라 순행 주사 비디오와 비월 주사 비디오로 나눌 수 있다. 순행 주사 영상에서는 각각의 프레임(frame) 구성 시에 한 줄(line)씩 차례로 구성한다. 반면, 비월 주사 영상에서는 두 필드(field)를 한 줄씩 차례로 구성한 후, 두 필드를 한 줄씩 끼워넣는 방식으로 각각의 프레임을 구성한다. 그러므로 각 필드의 높이(줄의 갯수)는 프레임 높이의 절반이다. 이를 설명한 예가 도1(a)에 도시된다. 도1(a)는 순행 주사 프레임을, 도1(b)는 두 개의 필드 - 상위 필드(top field)와 하위 필드(bottom field) - 와 비월 주사 프레임을 보여 준다. 상위 필드와 하위 필드는 각각 한 줄씩 차례로 구성되며(상위 필드의 경우 실선 화살표, 하위 필드의 경우 점선 화살표가 각각의 줄을 나타냄), 구성된 각 필드의 줄들을 사이사이에 끼워넣는 방식으로(실선 화살표와 점선 화살표가 섞임) 비월 주사 프레임을 구성한다.

도1(b)에서와 같이 상위 필드와 하위 필드 구성 시에 두 필드 사이에는 시간차가 존재한다. 도면1(b)의 경우에는 상위 필드가 시간적으로 앞선다. 경우에 따라 하위 필드가 시간적으로 앞설 수도 있다. 상위 필드와 하위 필드 사이의 시간차로 인하여, 비월 주사 프레임 내의 인접한 줄 사이의 신호 특성이 다를 수 있다. 특히 움직임이 많은 영상인 경우 이러한 특성이 두드러진다. 그러므로 순행 주사 영상 특성에 따라 개발된 영상 부호화 장치, 예를 들면 이동 추정(motion estimation) 및 이동 보상(motion compensation), 이산 여현 변환(discrete cosine transform; DCT) 등을 비월 주사 비디오 부호화에 사용하면 부호화 효율이 감소하게 된다. 이러한 문제점을 피하기 위하여 필드 단위 이동 추정 및 이동 보상, 프레임-필드 적응적 이산 여현 변환(adaptive frame/field DCT) 등이 연구되어 왔다. 그리고 이러한 기술들은 세계 표준화 기구인 ISO/IEC JTC1/SC29/WG11에서 디지탈 TV 등의 응용을 목적으로 제정한 MPEG-2 동영상 부호화 표준안 등에 포함되어 있으며, 실제 응용 제품에도 많이 이용되는 기술들이다.

임의로 읽고 쓰기(Random access)와 고효율 영상 압축을 위하여, 디지탈 비디오를 압축 부호화 시에 I 프레임, P 프레임, B 프레임 등의 세 가지 타입의 프레임을 정의, 사용하는 방법이 널리 이용된다. 특히 P 프레임과 B 프레임은 이동 보상 예측을 수행함으로써 높은 압축률이 가능하다. 세 프레임을 자세히 설명하면 다음과 같다.

I 프레임(Intra coded frame)은 부호화 시에 다른 프레임들을 참조하지 않는다.

P 프레임(Predictive coded frame)은 이전 I 프레임이나 이전 P 프레임을 참조하는 이동 보상 예측을 사용, 부호화하기 때문에 보다 효과적으로 압축 부호화된다. 디지탈 영상의 시간적으로 연속된 프레임들 사이에는 색상 정보(color information)의 중복성(redundancy)이 크기 때문에, 이전 I 프레임이나 이전 P 프레임과 현재 P 프레임 사이의 이동정보를 추정, 이동보상 예측(motion compensated prediction)을 수행하고, 예측 오차와 이동 정보를 부호화 전송하는 방식이 압축 부호화 효율 측면에서 유리하다

B 프레임(Bidirectionally-predictive coded frame)은 가장 압축률이 높은 프레임으로, 이전 프레임(previous frame; 이하 PF) 뿐만 아니라 이후 프레임(next frame; 이하 NF)도 참조하여 예측을 수행한다. P 프레임과 마찬가지로 B 프레임도 이동 보상 예측을 이용한다. 그러나 참조 영상을 두 개 사용하고, 이 중에서 보다 우수한 예측 성능을 선택하기 때문에 압축률이 가장 높다. 한편 이 프레임은 다른 프레임을 위한 참조 영상(reference frame)이 되지는 않는다. 그러므로 이전프레임(PF:Previous Frame)는 현재 B 프레임과 디스플레이 순서상으로 가장 가까운 이전의 I 프레임 또는 P 프레임이며, 다음 프레임(NF:Next Frame)는 현재 B 프레임과 디스플레이 순서상으로 가장 가까운 이후의 I 프레임 또는 P 프레임이다.

도2는 I 프레임, P 프레임, B 프레임으로 구성된 디지탈 비디오의 예이며 디스플레이(display) 순서대로 나타낸 것이다. 도면에서 위쪽의 화살표는 P 프레임의 참조 방향을 나타낸 것이며, 아래쪽의 화살표는 B 프레임의 참조 방향을 나타낸 것이다. 이 예에서 I 프레임의 간격, 연속되는 B 프레임의 갯수 등은 응용(application) 또는 장치(equipment)에 따라 변할 수 있다. 디지탈 비디오를 압축 부호화 시에 I 프레임, P 프레임 그리고 B 프레임을 모두 사용한다면 디스플레이(display) 순서와 부호화 순서가 틀리다. 도2를 예로 들면, 디스플레이(display) 순서는 도면에서와 같이 I1, B1, P1, B2, P2, B3, P3, B4, I2인 반면 부호화 순서는 I1, P1, B1, P2, B2, P3, B3, I2, B4이다.

도2의 예는 순행 주사영상과 비월 주사영상의 경우 모두에 적용된다. 단, 비월 주사영상의 경우에는 각 프레임을 구성할 때, 도1(b)와 같이 두 필드가 사이사이에 끼워져서 프레임을 구성한다는 점이 순행 주사영상의 경우와 틀리다. 이 점을 제외하고는 영상의 구성, 예측 방향 등은 두 경우가 동일하다.

P 프레임과 B 프레임은 이동 보상 예측을 수행하기 때문에, 이동 추정이 필요하다. 그러나 위에서 설명하였듯이, 참조 영상의 선택 방법이 서로 틀리기 때문에 이동추정 및 보상방법도 상호 다르다.

각 프레임의 전체를 부호화(프레임 단위 부호화) 하는 대신에, 영상이 가지고 있는 정보를 기준으로 프레임을 임의의 영역들로 분할하고, 분할된 영역별(각각의 분할된 영역을 본 발명에서는 물체(object)라 한다.)로 부호화(물체 단위 부호화)하는 영상 부호화 기법의 연구가 최근 활발히 진행 중이다. 이 물체 단위의 부호화 기법은 사용자가 원하는 물체만을 부호화하여 전송을 하거나 조작(manipulation)하는 것을 가능하게 하며, 이러한 장점은 미래의 멀티미디어 산업 전반에 중요한 역할을 할 것이다. 최근에는 이러한 경향을 반영하여, 세계 표준화 기구인 ISO/IEC JTC1/SC29 WG11에서 물체 단위의 부호화를 특징으로 하는 MPEG-4 표준화 작업을 진행 중이다. MPEG-4를 포함하여, 물체 단위로 부호화하는 디지탈 비디오 압축 부호화 방식에서는 프레임 내에서 물체 영역을 표시하는 모양 정보(shape information)의 부호화 및 전송이 요구된다. 이 모양 정보의 부호화 및 전송이 프레임 단위 부호화와 물체 단위 부호화를 구분짓는 가장 큰 특징이다.

이때 물체 경계 부분에서는 전체 프레임을 부호화하는 기존의 기술들 - 예를 들면, MPEG-1, MPEG-2, H.261, H.263 - 을 적용하면 부호화 효율이 감소하는 문제점이 발생한다. 이러한 문제점을 극복하고 부호화 효율을 높이기 위해 연구된 기술들의 예로서는 Boundary Block Merging(BBM), Shape-adaptive Discrete Cosine Transform(SA-DCT) 등이 대표적이다.

디지탈 비디오 압축 부호화 시에 이동 추정 및 보상, 색상 정보 부호화 등은 일정한 갯수의 화소의 집합인 마크로 블럭(macroblock, 이하 MB) 단위로 수행한다. 임의의 모양 정보를 가지는 물체의 부호화 시에는 매크로블럭를 모양 정보와 관련지어 세 가지로 구분 가능하다. 첫째, 물체 영역 외부에 포함된 경우의 MB(transparent MB; TMB)가 있다. TMB는 MB내에 물체 영역이 존재하지 않는 것이며, TMB를 알려주는 모양 정보 전송을 제외하고는 기타 부호화 과정이 불필요하다. 두번째로는 물체 영역 내부에 포함된 경우의 MB(opaque MB; OMB) 가 있다. OMB를 알려주는 모양 정보를 전송하고, 기존의 프레임 단위 부호화에서 개발된 기술들을 사용하여 압축 부호화 한다. 마지막으로 물체 영역과 물체 영역이 아닌 영역이 공존하는 MB(boundary MB; BMB)가 있다. 이러한 매크로블럭를 수신단(receiver)에서 복호화(decoding)하기 위해서는 물체 영역을 표시하는 모양 정보와 물체 영역 내의 색상 정보를 부호화 해야 한다. 만일 P 프레임이나 B 프레임과 같이 이동 추정 및 보상을 하는 프레임에서는 이동 정보도 부호화 전송을 해야 한다.

주목할 점은 모양 정보 전송에 의해서, 수신단(receiver)의 복호화기(decoder)에서도 현재 복호화 해야 할 매크로 블록(Macro Block)가 TMB, OMB, BMB 중에 어떠한 매크로블록인지를 알 수 있다는 점이다. 그러므로 송신단(transmitter)의 부호화기(coder)가 TMB, OMB, BMB를 구분하여 특성에 맞추어 선택적으로 부호화할 수 있다. 단, 복호화기가 가지고 있는 모양 정보는 재현 모양 정보(reconstructed shape information)이기 때문에 부호화기에서도 재현 모양 정보를 기준으로 TMB, OMB, BMB를 구분해야 한다. 물론, 복호화기와 무관한(encoder issue) 부호화 단계에서는 원(original) 모양 정보를 사용해도 무방하다.

도3에 예가 있다. 회색 부분은 부호화할 물체 영역을 표시한 것이며, 작은 사각형 각각은 매크로블럭의 일례를 보여준다. 이 예에서 TMB, OMB, BMB는 각각 6개, 12개, 22개이다.

P 프레임에서의 이동 벡터(motion vector; 이하 MV) 추정은 참조 영상(reference image)인 이전프레임 PF(Previous Frame:이전 I 프레임이나 이전 P 프레임)와 현재 P 프레임 사이에 수행된다. 도2의 예를 들면, P1에서의 움직임 벡터(Motion Vector)는 I1을 참조 영상으로, P2에서의 움직임 벡터(MV)는 P1을 참조영상으로 하여 추정된다. 이때, 움직임 벡터(MV)는 일정한 크기의 매크로 블럭(MB) 단위로 추정되고, 부호화 전송된다.

순행주사 영상인 경우의 움직임 벡터 추정 및 예측 방식으로는 매크로 블럭(MB) 당 움직임 벡터(MV)를 한 개 전송하는 모드(MV-1 모드), 매크로블럭 당 MV를 4개 전송하는 모드(MV-4 모드)가 있고, 비월 주사 비디오인 경우에는 MV-1 모드, MV-4 모드, 그리고 매크로블럭 당 MV 2개를 전송하는 모드(MV-2 모드) 등 3 가지가 있다. MV-1 모드는 매크로블럭(매크로블럭) 당 한 개의 움직임 벡터(MV)를 추정하며, 매크로블럭내의 모든 화소들의 색상 값들은 한 개의 움직임 벡터를 이용하여 참조 영상으로부터 예측하는 모드이다.

움직임 벡터-4 모드는 매크로블럭를 동일한 크기의 부블럭(sub-block) 4개로 분할하고, 각 부블럭에 대해서 독립적으로 움직임 벡터를 추정하는 모드이다. 매크로블럭내의 각 화소 색상 값들은 해당 부블럭의 움직임 벡터를 이용하여 참조 영상으로부터 예측된다. 도4는 직사각형 구조의 매크로블럭와 A, B, C, D 등 4 개의 부블럭을 보여준다. 움직임 벡터-4 모드는 매크로블럭 당 4개의 움직임 벡터를 전송한다.

움직임 벡터-2 모드는 상위 필드, 하위 필드 각각 독립적으로 움직임 벡터를 추정하는 모드이다. 매크로블럭내의 각 화소 색상 값들은 해당 필드의 움직임 벡터를 이용하여 참조 영상으로부터 예측된다, 매크로블럭 당 2개의 움직임 벡터를 전송한다. 주의할 점은 상위 필드가 참조 영상의 하위 필드로부터, 또는 하위 필드가 참조 영상의 상위 필드로부터 예측할 수도 있다는 점이다.

비월주사 영상인 경우, 세 가지 모드로 움직임 벡터 추정 및 이동 보상 예측을 각각 수행한 후, 발생하는 이동 보상 예측 오차와 움직임 벡터 전송량을 고려하여, 세 가지 중에서 하나의 모드를 선택한다.

이러한 방법을 물체 단위 부호화에 적용 시, OMB에서는 직접적으로 적용 가능하다. TMB는 모양 정보를 제외하고는 부호화 과정을 수행하지 않기 때문에 움직임 벡터 추정을 할 필요가 없다. BMB의 경우에는 물체에 속한 화소(물체화소)와 물체에 속하지 않은 화소(배경화소)가 동시에 존재하며, 이동벡터 추정 및 예측은 물체화소 부분만 고려하여 수행된다. 예를 들어 움직임 벡터를 탐색영역 내에서 선택하거나 또는 모드를 결정할 때, 예측 오차를 계산하고 비교하는 과정이 필요하다. 이때, 물체화소에서의 오차만을 고려하여 예측 오차를 계산한다.

도5는 현재 매크로블럭이 16 화소/줄 x 16 줄이고, 경계 매크로 블럭(BMB)인 경우의 예를 보인 것이다. o와 x는 물체화소와 배경화소를 각각 나타낸다. 이 B매크로블럭의 경우, 하위 필드에는 물체화소가 있지만, 상위 필드에는 물체화소가 단 한 개도 존재하지 않는다. 하위 필드는 주어진 탐색 영역에서 움직임 벡터를 찾으면 된다. 탐색 영역 내에서 움직임 벡터를 선택하기 위하여 오차를 계산하는데, 물체화소가 있는 부분에 대해서만 오차를 계산한다. 그러나 상위 필드는 물체화소가 한 개도 없기 때문에 움직임 벡터의 정의가 되지 않는다.

본 발명은 상기와 같은 문제점을 해결하기 위해서 제안된 것으로서,

본 발명의 목적은 임의의 영역별로 영상을 부호화시에 비월 주사방식의 영상에서 물체가 없는 필드의 움직임 벡터를 소정값으로 설정하는 영상의 영역별 움직임 벡터 추정장치와 영상의 영역별 움직임 보상 예측 부호화/복호화 방법을 제공하는 것이다.

본 발명은 임의의 영역별로 이동 보상 예측을 이용하여 디지탈 비디오를 압축 부호화한다. 임의의 영역의 필드 단위의 움직임 벡터(MV)를 찾기 전에, 현재 메크로 블럭(MB)의 각 필드의 투명성(transparency)을 판단하여 불투명 필드인 경우 움직임 벡터를 찾는다. 투명 필드인 경우, 해당 필드의 MV를 0으로 결정하고 투명 필드의 예측 오차도 0으로 한다. 다수의 이동 보상 모드중에서, 움직임 벡터 수가 작고 작은 오차를 가지는 모드를 선택한다.

필드 모드로 결정된 경우, 다시 한 번 재현 모양 정보를 가지고 해당 매크로 블럭내의 필드의 투명성 여부를 판단한다. 만일 재현 모양 정보의 한 필드가 투명 필드인 경우, 해당 필드에 대해서 움직임 벡터(MV)를 0으로 결정하고 모드 정보와 움직임 벡터(MV)를 부호화하여 전송한다.

도1(a)와 (b)는 순차주사방식과 비월주사방식의 프레임구성을 보인다.

도2는 I프레임, B프레임과 P프레임 예측방향을 보이는 설명도이다.

도3은 TMB, OMB및 BMB를 설명하는 설명도이다.

도4는 매크로블럭 내의 서브블럭을 보인다.

도5는 하위필드에만 물체화소가 존재하는 16×16 BMB의 실시예이다.

도6은 임의의 모양정보를 갖는 대상물 영상을 배경영상과 분리하여 부호화하는 일반적인 영상신호 부호화 장치의 일실시예이다.

도7은 영상신호 부호화장치의 일부를 구성하는 본발명에 의한 움직임 추정부의 일실시예가 도시된다.

도8은 본 발명에 의한 영상의 영역별 움직임 벡터 추정 방법을 보이는 플로우 차트이다.

<도면의 주요 부분에 대한 부호의 설명>

71....필드의 투명성판단수단 72....불투명 필드 움직임 벡터 추정수단

73....투명 필드 움직임 벡터 추정수단

74....모드결정수단 75....불투명 필드 움직임 벡터 부호화수단

76....투명 필드 움직임 벡터 부호화수단

77....비 필드모드 움직임 벡터 부호화수단 78....모드부호화 수단

이하, 본 발명의 기술적 사상에 따른 실시예를 들어 그 동작 및 작용효과를 상세히 설명한다.

영상화면에서 영상정보를 부호화하기 위하여 임의의 모양정보를 갖는 대상물 영상을 배경영상과 분리하고, 분리된 대상물 영상을 배경영상과 별개로 부호화하여 영상정보를 압축할 수 있다.

도6에 임의의 모양정보를 갖는 대상물 영상을 배경영상과 분리하여 부호화하는 일반적인 영상신호 부호화 장치의 일실시예가 도시된다.

대상물 영역 형성부(61)는 영상신호를 입력받아 대상물 영상영역을 형성한다. 모양정보 부호화부(62)는 상기 대상물영역 형성부(61)에서 각각의 대상물 영상에 대한 대상물 영역 데이터를 입력받아 모양정보를 추출하여 부호화한다. 움직임 추정부(63)는 상기 대상물 영역형성부(61)에서 각각의 대상물 영상에 대한 대상물영역 데이타를 입력받아 매크로블럭 단위로 움직임을 추정한다. 움직임 보상부(64)는 상기 움직임 추정부(63)에서 움직임 정보를 입력받아 움직임을 보상한다. 감산기(66)는 상기 움직임 추정부(63)에서 움직임 정보와 상기 대상물 영역형성부(61)에서 대상물 영역정보를 입력받아 그 차이값을 산출한다. 대상물내부 부호화부(68)는 상기 감산기(66)로부터 움직임 정보와 대상물영역정보의 차이값을 입력받고, 상기 모양정보 부호화부(62)에서 모양정보를 입력받아 대상물 영상영역내 신호를 부호화한다. 가산기(67)는 상기 움직임 보상부(64)에서 움직임이 보상된 매크로 블록단위의 움직임 정보와 대상물내부 부호화부(68)에서 부호화된 대상물의 내부 정보를 입력받아 가산한다. 상기 가산기(67)의 출력신호는 이전 대상물영역검출부(65)에 입력되어 이전화면의 대상물영역이 검출된다. 이전 대상물영 역검출부(65)에서 검출된 상기 이전 화면의 대상물영역 정보는 움직임 추정부(63) 및 움직임 보상부(64)에 입력되어 움직임 추정 및 움직임 보상에 사용하도록 하고 있다. 상기 움직임 추정부(63)에서 추정된 움직임 정보, 대상물 내부 부호화부(68)에서 부호화된 대상물의 내부정보 및 모양정보 부호화부(62)에서 부호화된 모양정보는 다중화부(69)에서 다중화되고, 버퍼부(70)를 통해 비트 스트림으로 전송된다.

[실시예 1]

도7에 영상신호 부호화장치의 일부를 구성하는 본발명에 의한 움직임 추정부의 일실시예가 도시된다.

필드투명성 판단수단(71)은 모양정보 부호화수단(62)에서 입력되는 모양정보를 입력받아 필드의 투명성을 판단한다. 불투명필드 움직임 벡터 추정수단(72)은 필드투명성 판단수단(71)에서 입력되는 투명성 결과와 대상물영역 형성부(61)에서 입력되는 현재영상 및 이전 대상물 영역 검출부(65)에서 입력되는 참조영상들을 입력받아 해당 필드의 움직임 벡터를 추정한다. 투명필드 움직임 벡터 추정수단(72)은 필드투명성 판단수단(71)에서 입력되는 투명성을 표시하는 신호를 입력받아 해당 필드의 움직임 벡터를 "0"로 설정한다. 모드결정수단(74)은 불투명필드 움직임 벡터 추정수단(72)과 투명필드 움직임 벡터 추정수단(73)에서 움직임 벡터를 입력받아 해당 필드의 모드를 결정한다. 또한 모드결정수단(74)으로 모양정보신호와 비필드 움직임 벡터신호가 입력되어 모드결정에 사용된다. 불투명필드 움직임 벡터 부호화수단(75)은 모드결정수단(74)에서 입력되는 불투명 필드 움직임 벡터를 입력받아 부호화하여 디코더로 출력한다. 투명필드 움직임 벡터 부호화수단(76)은 모드결정수단(74)에서 입력되는 투명 필드 움직임 벡터를 입력받아 부호화하여 디코더로 출력한다. 비 필드 움직임 벡터 부호화수단(77)은 모드결정수단(74)에서 입력되는 필드가 아닌 움직임 벡터를 입력받아 부호화하여 디코더로 출력한다. 모드 부호화수단(78)은 모드결정수단(74)에서 입력되는 모드신호를 입력받아 부호화하여 디코더로 출력한다.

도8에 본 발명에 의한 영상의 영역별 움직임 벡터 추정 방법을 보이는 플로우 차트가 도시된다.

단계 81에서 각 필드의 투명성을 결정한다. 단계 82에서 현재 필드의 투명성을 결정한 결과 투명필드인 경우, 단계 83에서 움직임 벡터를 "0"로 예측오차를 "0"로 설정한다. 투명필드가 아닌 경우, 단계84에서 움직임 벡터를 추정한다. 이어서, 단계 85에서 현재의 필드가 필드모드인지를 판단한다. 단계 86에서 필드모드인 경우, 재현된 모양정보를 이용하여 현재 필드의 투명성을 판단한다. 투명한 경우, 단계 87에서 움직임 벡터를 "0"로 결정한다. 불투명한 경우 단계 88에서 모드정보와 움직임 벡터를 부호화한다.

이 방법에서 매크로 블럭(MB)는 일정한 크기의 화소의 집합이다. 움직임 벡터(MV)는 움직임 정보를 저장하는 이동 벡터로서, 움직임 벡터(MV)를 0으로 결정하는 것은 움직임 벡터(MV)의 모든 요소들을 0으로 하는 것이다. 움직임 벡터(MV)는 이동 추정 방식이 어떠한 움직임을 표현할 수 있는가에 따라 벡터의 차원, 즉 요소의 갯수가 결정된다. 예를 들어, 평행 이동만을 기술하면, 움직임 벡터의 요소는 수평, 수직 방향의 두 개이다. 필드는 한 매크로블럭 내의 화소들을 일정한 방법으로 2 개 이상의 복수 집합으로 분할한 후의 각각의 화소 집합을 일컫는다. 예를 들면, 비월주사 영상의 경우에는 매크로블럭 내에서 한 줄씩 건너 띄면서 화소들의 집합을 한 필드로 정의한 것이다.

투명 필드의 움직임 벡터를 0으로 결정하는 대신 움직임 벡터 전송량을 가장 작도록 하는 임의의 값으로 결정할 수도 있다. 이 경우, 움직임 벡터 부호화 방법이 예측 부호화를 수행할 경우, 발생 비트 수가 작은 오차 벡터가 되도록 예측 값을 고려하여 결정한다. 예를 들어 오차 벡터가 0일 때 가장 작은 비트 수가 발생하고, 현재 투명 필드 움직임 벡터의 예측 값이 3이면, 현재 투명 필드의 움직임 벡터를 3으로 결정하여, 오차 벡터가 0로 되게 한다.

제안 발명의 첫번째 방법을 비월 주사 비디오의 P 프레임을 예로 들어 설명하면 다음과 같다;

비월 주사 비디오이고 P 프레임인 경우, 각 매크로 블럭에서;

(단계 1) MV-2 모드의 움직임 벡터들을 찾기 전에, 현재 매크로 블럭의 각 필드의 투명성(transparency)을 판단한다.

(단계 2) 불투명 필드에서는, 기존 기술과 동일한 방법으로 움직임 벡터를 찾는다,

(단계 3) 투명 필드에서는, 움직임 벡터를 찾지 말고, (단계 3-1) 해당 필드의 움직임 벡터를 0으로 결정한다. (단계 3-2) 투명 필드의 예측 오차도 0으로 한다. 사실상, 오차는 계산을 시도해도, 물체화소가 없기 때문에 0으로 된다.

(단계 4) 모드 결정 과정을 수행한다. 그 결과로 MV-2 모드가 결정되면,

(단계 5) 다시 한 번 재현 모양 정보를 가지고 해당 매크로 블럭내의 필드의 투명성 여부를 판단한다. 이 이유는 모양 정보가 손실 부호화로 전송되는 경우, 원 모양 정보(original shape information)의 불투명 필드가 재현 모양 정보에서는 투명 필드가 될 수 있기 때문이다. 만일 재현 모양 정보의 한 필드가 투명 필드인 경우, 해당 필드에 대해서 (단계 3-1)을 수행한다.

이 단계 5는 복호화기와 무관한 일이다. 다시 말해서, 이 단계의 수행 여부와는 무관하게 복호화기는 동작을 한다. 그러나 복호화기에서는 재현 모양 정보를 판단하여, 투명 필드에서는 아무런 신호를 재현하지 않는다. 그러므로 재현 모양 정보가 투명한 필드의 움직임 벡터 전송은 무의미하고, 이 단계를 수행하여 움직임 벡터 전송량이 작은 0을 전송하도록 하는 것이 유리하다.

만일 (단계 1)에서 재현 모양 정보를 가지고 투명성을 판단한다면, (단계 5)는 불필요하다.

(단계 6) MV-2 모드를 전송하고, 두 개의 움직임 벡터를 전송한다.

복호화기는 기존의 복호화기와 동일하다. 다시 말해서, 두 개의 MV를 전송하기 때문에 복호화기에서는 재현 모양 정보를 가지고 필드의 투명성 여부를 판단할 필요가 없다.

[실시예 2]

이동보상 예측을 이용하여 디지탈 영상을 압축 부호화시에 현재 매크로 블럭의 각 필드의 투명성을 판단하고, 투명 필드이면 움직임 벡터를 추정하지 않고, 이 필드의 예측 오차는 0으로 결정하는 점에서 앞에서 설명한 방법과 차이가 있으며, 그외의 사항은 동일하다.

상기 부호화된 디지탈 영상을 복호화하는 방법에서; 모양 정보와 모드를 복호화하는 단계와; 만일 현재 매크로블럭이 필드 모드이면, 현재 매크로 블럭의 재현된 모양정보를 가지고 각 필드의 투명성을 판단하는 단계와; 불투명 필드이면 움직임 벡터를 복호화하고 예측을 수행하는 단계와; 투명 필드이면 움직임 벡터를 복호화하지 않는다.

이 방법에서 매크로 블록은 일정한 크기의 화소의 집합이다. 움직임 벡터는 움직임 정보를 저장하는 이동 벡터로서, 움직임 벡터를 0으로 결정하는 것은 움직임 벡터의 모든 요소들을 0으로 하는 것이다. 움직임 벡터는 이동 추정 방식이 어떠한 움직임을 표현할 수 있는가에 따라 벡터의 길이, 즉 요소의 갯수가 결정된다. 예를 들어, 평행 이동만을 기술하면, 움직임 벡터의 요소는 수평, 수직 방향의 두 개이다. 필드는 한 매크로 블록 내의 화소들을 일정한 방법으로 2 개 이상의 복수 집합으로 분할한 후의 각각의 화소 집합을 일컫는다. 예를 들면, 비월 주사 비디오의 경우에는 매크로 블록 내에서 한 줄씩 건너 띄면서 화소들의 집합을 한 필드로 정의한 것이다.

제안 발명의 두번째 방법을 비월 주사 비디오의 P 프레임을 예로 들어 설명하면 다음과 같다;

비월 주사 영상이고 P 프레임인 경우, 각 매크로 블럭에서;

(단계 1) MV-2 모드의 움직임 벡터를 찾기 전에 현재 매크로 블럭의 각 필드의 투명성을 판단한다.

(단계 2) 불투명 필드이면 기존 기술과 동일한 방법으로 움직임 벡터를 찾는다.

(단계 3) 투명 필드이면 (단계 3-1) 움직임 벡터를 찾지 않는다. (단계 3-2) 다른 모드와 비교하기 위하여 이 부분의 오차는 0으로 결정한다.

(단계 4) 모드 결정 과정을 수행한다. 다른 모드와 비교시, 예측 오차의 크기와 함께 전송해야 할 움직임 벡터 갯수도 고려하는데, MV-2 모드의 움직임 벡터 갯수는 두 개이다. 만일 MV-2 모드이면서 투명 필드가 존재하는 경우의 움직임 벡터 갯수는 한 개로 취급한다.

모드 결정 후, MV-2 모드가 결정되면,

(단계 5) 다시 한 번 재현 모양 정보를 가지고 해당 매크로 블록 내의 필드의 투명성 여부를 판단한다. 이 이유는 모양 정보가 손실 부호화로 전송되는 경우, 원 모양 정보의 불투명 필드가 재현 모양 정보에서는 투명 필드가 될 수 있기 때문이다.

만일 (단계 1)에서 재현 모양 정보를 가지고 투명성을 판단한다면, (단계 5)는 불필요하다.

(단계 6) MV-2 모드를 전송하고, 불투명 필드의 갯수만큼 움직임 벡터를 전송한다.

복호화기에서는 해당 매크로 블럭에서;

(단계 1) 먼저 모양 정보와 모드를 복호화한다.

(단계 2) 만일 현재 매크로 블럭이 MV-2 모드이면, 현재 매크로블럭의 재현 모양 정보를 가지고 각 필드가 투명 필드인가를 판단한다.

(단계 3) 만일 두 필드 모두 불투명 필드이면 움직임 벡터 두 개를 복호화한다.

(단계 4) 만일 한 개의 필드가 투명 필드이면 움직임 벡터 한 개를 복호화한다. 두 필드가 모두 투명 필드이면 TMB가 되며, TMB는 어떠한 부호화 작업도 수행하지 않는다. 그러므로 지금 고려되는 움직임 벡터-2 모드에서는 두 필드가 모두 투명 필드인 경우는 발생하지 않는다.

본 발명에서 고려되는 두 방법은 다음과 같은 장단점을 가진다. 첫번째 방법은 불필요한 또는 무의미한 움직임 벡터를 전송하는 단점은 있지만, 기존의 복호화기를 그대로 사용할 수 있는 장점이 있다. 두번째 방법은 기존의 복호화기를 그대로 사용할 수 없는 단점이 있지만, 무의미한 움직임 벡터를 전송하지 않음으로써 부호화 이득을 꾀할 수 있다. 두번째 방법에서는 부호화기에서 불투명 필드 갯수만큼 움직임 벡터를 보내고, 복호화기에서도 불투명 필드 갯수만큼 움직임 벡터를 복호화한다. 그러므로 부호화기에서 불투명/투명 필드 판단을 재현 모양 정보를 가지고 판단해야 하며, 방법 1과는 달리 (단계 5)를 반드시 수행해야 한다.

B 프레임에서는 이전 프레임 PF와 다음 프레임 NF 두 개를 참조 영상으로 사용하여 움직임 벡터 추정 및 이동 보상예측을 수행한다. 도2의 B1의 경우, 이전 프레임 PF는 I1, NF는 P1이다. 순행주사 영상인 경우, B 프레임에서의 이동 보상 모드로는 direct 모드, frame forward 모드, frame backward 모드, frame bi-directional 모드 네 가지가 있다. 비월 주사 비디오에서는 direct 모드, frame forward 모드, frame backward 모드, frame bi-directional 모드, field forward 모드, field backward 모드, field bi-directional 모드 등 7 가지가 있다.

Frame forward 모드는 이전 프레임 PF를 참조 영상으로 하여 매크로 블럭 당 한 개의 움직임 벡터를 추정하는 것이고, Frame backward 모드는 다음 프레임 NF를 참조 영상으로 하여 매크로 블럭 당 한 개의 움직임 벡터를 추정하는 것이다. Frame bi-directional 모드는 forward 모드, backward 모드에서 얻어진 움직임 벡터 두 가지를 모두 이용하여 각각 예측을 수행하고, 예측된 색상 정보 값 두 개의 평균값을 최종 예측값으로 한다.

Frame 모드는 이를 매크로 블럭 단위로 하는 것에 반하여, field 모드는 이를 필드 단위로 수행한다. 예를 들어서 field backward 모드는 상위 필드, 하위 필드 각각의 움직임 벡터를 backward 모드로 추정한다. 결과적으로 frame forward 모드, frame backward 모드에서 한 개의 움직임 벡터, frame bi-directional 모드, field forward 모드, field backward 모드에서는 2 개의 움직임 벡터 추정 및 부호화 전송이 필요하다. Field bi-directional 모드에서는 4 개의 움직임 벡터 추정 및 부호화 전송이 필요하다. 주의할 점은 direct 모드를 제외하고는, P 프레임의 움직임 벡터-4와 같은움직임 벡터 4개를 사용하는 모드는 없다는 점이다.

direct 모드와 함께 7가지 모드를 모두 사용하여 움직임 벡터 추정 및 예측을 수행하고, 예측 오차와 전송할 움직임 벡터의 갯수를 고려하여 모드 결정을 한다. 모드가 결정되면, 모드 정보와 해당 모드에 필요한 갯수만큼의 움직임 벡터를 부호화하여 수신단에 전송한다.

Direct 모드를 제외하고는 (1)의 P 프레임의 경우와 같은 문제점이 발생한다. 그러므로 해결 방안도 유사하다. B 프레임 부호화시, 현재 부호화할 매크로 블럭가 도5와 같다면, field forward 모드, field backward 모드, field bi-directional 모드의 상위 필드의 움직임 벡터는 무의미하다. 이때 (1)의 방법1이나 방법2를 사용하여, 문제점을 극복할 수 있다.

예를들어, 실시예 2의 field bi-directional 모드의 경우를 살펴보자. 하위 필드는 기존 방식과 같이, forward 움직임 벡터와 backward 움직임 벡터를 추정하고, 두 움직임 벡터를 이용하여 NF와 PF로부터 색상 값을 예측하고 이를 평균하여 최종 예측 값으로 하여 예측 오차를 계산하다. 상위 필드의 예측 오차는 0으로 결정한다. 모드 결정시의 움직임 벡터 갯수는 4개가 아니고 2개이다. 모드 결정이 field bi-directioinal 모드로 결정이 된다면, 움직임 벡터는 하위 필드의 forward 움직임 벡터, backward 움직임 벡터 두 개만을 전송한다. 복호화기에서는 복호화한 모드가 field bi-directional 모드이면, 재현 모양정보를 가지고 투명성을 판단한다. 만일 한 필드가 투명 필드이면, 2 개의 움직임 벡터만을 복호화한다.

마크로블럭내에 배경화소가 하나라도 있으면 필드모드를 고려하지않음으로써 위와같은 문제점을 피해갈수 있지만, 이제까지 설명한 본발명이 보다 효과적인 방법이라는 것을 알 수 있다.

이상 설명한 바와같이 본 발명에 의하면 필드영역별로 움직임 벡터를 추정하는 경우 물체화소가 없어서 움직임 벡터를 추정할 수 없는 때 움직임 벡터를 소정값으로 설정하여 움직임 보상예측을 수행하도록 함으로써 영상의 부호화 효율을 향상시킬 수 있다.

Claims (4)

1. 임의의 영역별로 이동 보상 예측을 이용하여 영상을 압축 부호화하는 방법에 있어서,

   현재 매크로 블럭의 각 필드의 투명성을 판단하는 단계와;

   불투명 필드에서는 움직임 벡터를 찾고, 투명 필드에서는 해당 필드의 움직임 벡터를 0으로 결정하고 투명 필드의 예측 오차도 0으로 하는 단계와;

   다수의 이동보상 모드중에서 움직임 벡터 갯수가 가장 작고, 가장 작은 오차를 가지는 모드를 설정하는 단계와;

   필드 모드로 결정된 경우, 다시 한 번 재현 모양정보를 가지고 해당 매크로 블럭내의 필드의 투명성 여부를 판단하는 단계와;

   재현 모양정보의 한 필드가 투명 필드인 경우, 해당 필드에 대해서 움직임 벡터를 0으로 결정하는 단계와;

   모드 정보와 움직임 벡터를 부호화하여 전송하는 단계를 포함하는 것을 특징으로 하는 영상의 움직임 보상 예측 압축 부호화 방법.
2. 임의의 영역별로 이동 보상 예측을 이용하여 영상을 압축 부호화하는 방법에 있어서,

   현재 매크로 블럭의 각 필드의 투명성을 판단하는 단계와;

   불투명 필드에서는 움직임 벡터를 찾고, 투명 필드에서는 움직임 벡터를 추정하지 않고 투명 필드의 예측 오차도 0으로 하는 단계와;

   다수의 이동보상 모드중에서 움직임 벡터 갯수가 가장 작고, 가장 작은 오차를 가지는 모드를 설정하는 단계와;

   필드 모드로 결정된 경우, 다시 한 번 재현 모양정보를 가지고 해당 매크로 블럭내의 필드의 투명성 여부를 판단하는 단계와;

   재현 모양정보의 한 필드가 투명 필드인 경우, 해당 필드에 대해서 움직임 벡터를 0으로 결정하는 단계와;

   모드 정보와 움직임 벡터를 부호화하여 전송하는 단계를 포함하는 것을 특징으로 하는 영상의 움직임 보상 예측 압축 부호화 방법.
3. 임의의 영역별로 이동 보상 예측을 이용하여 영상을 복호화하는 방법에 있어서,

   모양정보와 모드를 복호화하는 단계와;

   현재 매크로 블록이 필드모드이면 현재 매크로 블록의 재현 모양정보에 의해 각 필드의 투명성을 판단하는 단계와;

   불투명 필드인 경우 움직임 벡터를 복호화하고 예측을 수행하는 단계와;

   투명필드이면 움직임 벡터를 복호화하지않는 단계를 포함하는 것을 특징으로 하는 영상의 움직임 보상 예측 압축 복호화 방법.
4. 영상신호에서 임의의 영역의 움직임을 추정하는 장치에 있어서,

   모양정보를 입력받아 필드의 투명성을 판단하는 필드투명성 판단수단과;

   상기 필드투명성 판단수단에서 입력되는 투명성 결과와 현재영상 및 입력되는 참조영상들을 입력받아 해당 필드의 움직임 벡터를 추정하는 불투명필드 움직임 벡터 추정수단과;

   상기 필드투명성 판단수단에서 입력되는 투명성을 표시하는 신호를 입력받아 해당 필드의 움직임 벡터를 "0"로 설정하는 투명필드 움직임 벡터 판단수단과;

   상기 불투명필드 움직임 벡터 추정수단과 투명필드 움직임 벡터 추정수단에서 움직임 벡터를 입력받고 모양정보신호와 비필드 움직임 벡터신호를 입력받아 해당 필드의 모드를 결정하는 모드결정수단과;

   상기 모드결정수단에서 입력되는 불투명 필드 움직임 벡터를 입력받아 부호화하여 디코더로 출력하는 불투명필드 움직임 벡터 부호화수단과;

   상기 모드결정수단에서 입력되는 투명 필드 움직임 벡터를 입력받아 부호화하여 디코더로 출력하는 투명필드 움직임 벡터 부호화수단과;

   상기 모드결정수단에서 입력되는 필드가 아닌 움직임 벡터를 입력받아 부호화하여 디코더로 출력하는 비 필드 움직임 벡터 부호화수단과;

   상기 모드결정수단에서 입력되는 모드신호를 입력받아 부호화하여 디코더로 출력하는 모드 부호화수단으로 구성되는 것을 특징으로 하는 영상의 영역별 움직임 벡터 추정장치.