KR19990016251A - 이진 모양정보의 신축형 모양정보 부호화시 부가정보 부호화 방 법 - Google Patents

Abstract

본 발명은 영사 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 대상물 영상과 배경 영상으로 분리하여 처리하는 모양 정보 부호화 방법(SHAPE INFORMATION CODING METHOD) 중 신축형 모양 정보 부호화(SCALABLE SHAPE CODING)에 관한 것으로, 특히, 저해상도의 영상(베이스 레이어(BASE LAYER)의 영상)을 고해상도의 영상(인헨스먼트 레이어(ENHANCEMENT LAYER)영상)으로 부호화(CODING)할 경우, 아래 레이어(LOWER LAYER)의 부가정보를 이용하여 현재 레이어의 부가정보를 재구성함으로 인해, 전송되는 비트(BIT)의 수를 감소 시킴으로써, 부호화 효율을 향상시키기 위한 것이다.

Description

이진 모양 정보의 신축형 모양 정보 부호화시 부가정보 부호화 방법

본 발명은 영상 입력장치를 통해 인가되는 동영상으로 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양 정보 부호화 방법(SHAPE INFORMATION CODING METHOD) 중 신축형 모양 정보 부호화(SCALABLE SHAPE CODING)에 관한 것으로, 특히, 저해상도의 영상(베이스 레이어(BASE LAYER)의 영상)을 고해상도의 영상(인헨스먼트 레이어(ENHANCEMENT LAYER)영상)으로 부호화(CODING)할 경우, 아래 레이어(LOW LAYER)의 정보를 이용하여 부가정보를 재구성하여, 전송되는 비트(BIT)의 양이 적은 부가정보를 나타내는 모드와 부호화 테이블을 제공함으로써, 부호화 효율을 향상시키기 위한 것이다.

주지하다시피, 최근의 영상 처리 기술은, 인가되는 한 프레임(FRAME) 분의 영상을 전체적으로 압축 부호화하는 방법에서 탈피하여, 임의의 모양 정보를 갖는 소정의 단위블럭으로 구분하여 그 각각에 대해 압축 부호화하여 전송하는 방향으로 흐르고 있다.

즉, 인가되는 영상을 각각의 대상물 영상과 배경 영상으로 분리하여, 상기 대상물 영상의 변화 여부만을 전송하므로써 압축 효율화 및 부호화 효율을 꾀하고 있으며, 이에 대한 국제 표준안을 마련하고 있다.

예를 들어, 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG(MOVING PICTURE EXPERTS GROUP : 미디어 통합계 동영상 압축의 국제표준 : 이하 MPEG이라 한다)-1, MPEG-2와는 달리 임의의 모양 정보를 갖는 물체를 부호화 하는 방식에 대한 표준화작업인 MPEG-4를 진행하고 있으며, 상기 표준화가 진행되고 있는 MPEG-4는 임의의 모양 정보를 갖는 단위블럭으로 VOP(VIDEO OBJECT PLANE : 이하 VOP라 한다)의 개념을 기초로 하고 있다.

여기서 상기 VOP는, 인가되는 영상을 배경 영상과 각각의 대상물 영상으로 분리하고, 상기 분리한 배경 영상과 대상물 영상을 포함하는 사각형으로 정의 되는 것으로, MPEG-4에서는, 영상 내에 소정의 물체, 또는 소정의 영역으로 이루어진 대상물의 영역이 존재할 경우, 그 대상물의 영상을 각각의 VOP로 분리하고, 분리한 상기 VOP를 각기 부호화 하는 것을 골격으로 하고 있다.

이러한 VOP는 자연영상, 또는 인공 영상등을 대상물 영상의 단위로 하여 자유자재로 합성 내지는 분해할 수 있는 장점을 가지는 것으로, 컴퓨터 그래픽스 및 멀티미디어 분야 등에서 대상물의 영상을 처리하는 데 기본이 되고 있다.

도1은 국제표준 산하기구(ISO/IEC JTC1/SC29/WG11 MPEG96/N1172 JANUARY)에서 1차적으로 확정한 VM(VERIFICATION MODEL : 검증모델 : 이하 VM이라 한다)인코더(ENCODER)(100)의 구성을 나타낸 블록도이다.

여기서, VOP형성부(VOP FORMATION)(110)는 전송 또는 저장할 영상 시퀀스(SEQUENCE)가 입력될 경우에 이를 대상물 영상 단위로 나누어 각기 다른 VOP로 형성한다.

도2는 대상물 영상으로 고양이의 영상을 설정하여 하나의 VOP를 형성한 일례를 나타낸 것이다.

여기서, VOP의 가로 방향 크기는 VOP폭으로 정의되고, 세로 방향의 크기는 VOP높이로 정의 되며, 형성된 VOP는 좌측 상단을 그리드(GRID) 시작점으로 하여, X축 및 Y축으로 각기 M개 및 N개의 화소를 가지는 M ×N 매크로 블럭으로 구획된다. 예를 들면 X축 및 Y축으로 각기 16개의 화소를 가지는 16×16매크로 블럭으로 구획된다.

이때, VOP의 우측과 하단에 형성되는 매크로 블럭의 X축 및 Y축 화소가 각기 M개 및 N개가 아닐 경우에는 VOP의 크기를 확장하여 각각의 매크로 블럭의 X축 및 Y축 화소가 모두 M개 및 N개로 되게 한다.

그리고, 상기 M 및 N은 후술하는 대상물내부부호화부(TEXTURE CODING)에서 서브 블럭의 단위로 부호화를 수행할 수 있도록 하기 위하여 각기 짝수로 설정된다.

한편, 상기 VOP형성부(110)에서 형성된 각각의 VOP는 VOP부호화부(120a, 120b, …, 120n)의 구성을 나타낸 블럭도롤 이를 설명하면 다음과 같다.

먼저, 상기 VOP형성부(110)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임추정부(MOTION ESTIMATION)(121)에 입력되면, 상기 움직임추정부(121)는 인가된 VOP로부터 매크로 블럭 단위의 움직임을 추정하게 된다.

또한, 상기 움직임추정부(121)에서 추정된 움직임 정보는 움직임보상부(MOTION COMPENSATION)(122)에 입력되어 움직임이 보상된다.

그리고, 상기 움직임보상부(122)에서 움직임이 보상된 VOP는 상기 VOP형성부(110)에서 형성된 VOP와 함께 감산기(123)에 입력되어 차이값이 검출되고, 상기 감산기(123)에서 검출된 차이값은 대상물내부부호화부(124)에 입력되어 매크로 블럭의 블럭단위로 대상물의 내부정보가 부호화된다.

예를 들면, 매크로 블럭의 X축 및 Y축이 M/2 × N/2으로 각기 8개의 화소를 가지는 8 × 8의 서브 블럭으로 세분화된 후 대상물 내부정보가 부호화된다.

한편, 상기 움직임보상부(122)에서 움직임이 보상된 VOP와, 상기 대상물내부부호화부(124)에서 부호화된 대상물의 내부정보는 가산기(125)에 입력되어 가산되고, 상기 가산기(125)의 출력신호는 이전VOP검출부(PREVIOUS RECONSTRUCTED VOP) (126)에 입력되어 현재영상 바로 전 영상의 VOP인 이전 VOP가 검출된다.

또한, 상기 이전VOP검출부(126)에서 검출된 상기 이전VOP는 상기 움직임추정부(121) 및 움직임보상부(122)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 상기 VOP형성부(110)에서 형성된 VOP는 모양부호화부(SHAPE CODING BLOCK)(127)에 입력되어 모양 정보가 부호화된다.

여기서, 상기 모양부호화부(127)의 출력신호는 상기 VOP부호화부(120a, 120b, …, 120n)가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 상기 모양부호화부(127)의 출력신호를 움직임추정부(121), 움직임보상부(122) 및 대상물내부부호화부(124)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는데 사용할 수 있다.

또한, 상기 움직임추정부(121)에서 추정된 움직임 정보와, 상기 대상물내부부호화부(124)에서 부호화된 대상물 내부 정보 및 상기 모양부호화부(127)에서 부호화된 모양 정보는 멀티플렉서(128)에 인가되어 다중화 된 후, 버퍼(129)를 통해 도1의 멀티플렉서(130)로 출력되어 비트열로 전송된다.

도3은 국제표준 산하기구에서 1차적으로 확정한 VM디코더(DECODER)(200)의 구성을 나타낸 블럭도이다.

상기 VM인코더(100)를 통해 부호화되고 비트열로 전송되는 정보인 VOP의 부호화 신호는 VM디코더(200)의 디멀티플렉서(210)에서 VOP 별로 각기 분리된다.

또한, 상기 분리된 각각의 VOP 부호화 신호는 VOP디코더(220a, 220b, …, 220n)에 의해 각기 디코딩되며, 상기 VOP디코더(220a, 220b,…, 220n)에서 출력되는 디코딩 신호는 합성부(230)에서 합성되어 원래의 영상으로 출력된다.

이러한 MPEG-4에 있어서, 상기 VOP형성부(110)에서 전송된 각각의 VOP를 부호화하는 상기 모양부호화부(127)에 적용되는 기술로는, N ×N 블럭(N = 16, 8, 4)을 기반으로 하는 모양 정보를 부호화하는 MMR 모양 정보 부호화 기술(MMR SHAPE CODING TECHNIQUE)과, 정점을 기반으로 하여 모양 정보를 부호화하는 장점 기반 모양 정보 부호화 기술(VERTEX-BASED SHAPE CODING TECHNIQUE)과, 기초선 기반 모양 정보 부호화 기술(BASELINE-BASED SHAPE CODING TECHNIQUE) 및 상황 기반 산술 부호화 기술(CONTEXT-BASED ARITHMETIC CODING) 등이 있다.

한편, 신축형 모양 정보 부호화 기술은, 해상도가 높아 정보량이 많은 영상(정지영상, 또는 동영상)을 해상도가 낮은 영상으로 변환하여 전송한 후, 이를 다시 해상도가 높은 원래의 영상으로 변환함으로써 전송 정보량을 감축시키는 기술이다.

즉, 인코더에서 고해상도의 영상을 정보량이 적은 저해상도의 영상으로 변환하여 인코딩한 후 디코더로 전송하면, 디코더에서 전송된 저해상도의 영상을 디코딩하여 고해상도의 영상으로 복원하는 것으로, 신축형 모양 정보 부호화 방법을 인코딩 과정과 디코딩 과정으로 나누어 설명하면 다음과 같다.

본 설명에서는 설명의 편의상, 도5, 도6에서는 도시되는 바와 같이, 4×4의 인헨스먼트 레이어의 영상을 베이스 레이어의 영상으로 변환하여 부호화하여 전송한 후, 이를 다시 스캔 인터리빙 방법에 의해 인헨스먼트 레이어의 영상으로 부호화하는 과정을 상세히 설명하면 다음과 같다.

인코더에서는, 도5a와 같은 4×4의 인헨스먼트 레이어의 영상을 4등분 한 후 그 우측 아래의 화소(A5, A7, A13, A15)를 선택하여 도5B와 같이 원 영상의 1/4 크기를 갖는 베이스 레이어의 영상을 만들어, 이를 손실 부호화, 또는 무손실 부호화 하여 디코더에 전송한다.

또한, 베이스 레이어의 영상을 추출하였을 경우에는, 베이스 레이어의 영상(축소된 영상)과 인헨스먼트 레이어의 영상(원래의 영상)을 비교하여, 트랜지셔날 샘플 데이터(TRANSITIONAL SAMPLE DATA : 이하 TSD라 한다. )와 익셉셔날 샘플 데이터(EXCEPTIONAL SAMPLE DATA : 이하 ESD라 한다. )의 존재 유무를 검출한다. 이때, TSD, 또는 ESD가 검출되었을 경우에는 이를 컨택스트 기반 산술부호화(CONTEXT-BASED ARITHMETIC ENCODING : 이하 CAE라 한다. )하여 베이스 레이어의 영상과 함께 디코더에 전송한다.

여기서, 상기 TSD와 ESD를 검출하여 부호화 하는 이유는 다음과 같다.

도7은 베이스 레이어의 영상과 인헨스먼트 영상을 비교하는 과정 중 수평방향의 검색(HORIZONTAL SCANNING)을 나타낸 것으로, 도면중에서 레퍼런스 스캔 라인(REFERENCE SCAN LINE : 이하 RSL라 한다. )은 베이스 레이어 영상의 수평방향 화소가 포함된 화소열이며, 코드 스캔 라인(CODED SCAN LINE : 이하 CSL이라 한다. )은 베이스 레이어 영상 추출과정에서 제외된 인헨스먼트 레이어 영상의 수평방향 화소열을 나타낸 것이다. 또한, 상기 CSL을 부호화 하기 위해서는, 부호화 할 화소의 아래와 위에 존재하는 RSL을 이용하는데, 도6에서 도시되는 바와 같이 이에는 일정한 규칙이 있음을 알 수 있다.

즉, CSL 상에 존재하는 부호화 할 화소의 아래와 위에 존재하는 RSL 상의 두 이웃 화소의 값이 같을 경우에는 부호화 하고자 하는 현재 위치의 화소값도 같은 값을 가질 가능성이 많으므로, 두 이웃 화소값이 같고 현재 위치의 화소값도 두 이웃 화소값과 같을 경우는 부호화를 하지 않는다.

그러나, 두 이웃 화소값이 다를 경우는 현재 위치의 화소값이 다를 가능성이 많으므로, 부호화 하고자 하는 현재 위치의 화소값을 부호화 해주어야 하는데, 이 경우를 트랜지셔날 샘플(TRANSITIONAL SAMPLE)(도6 중 실선으로 표시한 타원)이라 한다.

또한, 두 이웃 화소값은 같지만 현재 위치의 화소값이 다를 경우도부호화를 해주어야 하는데, 이 경우를 익셉셔날 샘플(EXCEPTIONAL SAMPLE)(도6 중 점선으로 표시한 타원)이라 한다.

따라서, 인헨스먼트 레이어를 부호화 하기 위해서는 두 가지 종류의 데이터, 즉, TSD와 ESD가 존재할 수 있으며, 상기 TSD와 ESD가 존재할 경우에는 이에 대한 정보를 디코더에 전송해 주어야 인헨스먼트 레이어의 영상을 정확하게 복원할 수 있게 된다. CAE는 상기 TSD와 ESD에 대한 정보를 부호화 할 경우, 소요되는 비트수를 절감하기 위해 사용하는 기법이다.

한편 디코더에서는, 인코더에서 전송된 상기 베이스 레이어 영상에 대한 부호와 신호와 TSD, 또는 ESD에 대한 부호와 신호를 디코딩하여 인헨스먼트 레이어의 영상을 복원하게 되는 것으로, 이를 수평 방향 검색과 수직 방향 검색(VERTICAL SCANNING)으로 나누어 상세히 설명하면 다음과 같다.

도6a는 수평 방향 검색 방법을 설명하기 위한 것으로, 현재 X(A10)점의 화소를 부호화 할 차례라 할 경우, 상기 X점에 이웃하는 화소에 도면에서 도시되는 바와 같이, A5, A6, A7, A13, A14, A15 및 B0(A9)이다. 이때, 상기 A5, A6, A7, A13, A14, A15 및 B0 화소는 전단계의 스캔인터리빙 방법에 의해 그 값이 구해진 것으로, 구하고자 하는 X점의 화소는 상기 A5, A6, A7, A13, A14, A15, B0의 값을 CAE를 수행하여 구한다. 즉, 수평, 수직방향에 존재하는 7개 화소에 대한 컨택스트(CONTEXT)를 이용하여 CAE를 수행하여 부호화를 하는 것이다.

마찬가지로, 수직 방향 검색 방법은, 도6B에서 도시되는 바와 같이, CO, C1, C2, A5, A7, A13, A15의 화소값으로부터 구하고자 하는 Y점의 화소값을 구하게 된다.

여기서, BO, CO, C2의 화소는 수평 방향 검색 방법에 의해 구한 값을 나타낸 것이고, C1화소는 수직 방향 검색 방법에 의해 구한 값을 나타낸 것이며, 빗금친 화소는 다음번에 구할 화소를 나타낸 것이다.

따라서, 수평 방향 검색을 행하면 세로 방향의 화소가 2배로, 수직 방향 검색을 행하면 가로방향의 화소가 2배로 증가되어, 결국 2×2의 베이스 레이어 영상으로 부터 4×4의 인헨스먼트 레이어의 영상으로 복원되게 되는 것이다.

또한, 동형상의 경우에는 MPGE-4에서 신축형 모양 정보 부호와 기능을 지원하고 있는데, MPGE-4의 경우에는, 도8에서 도시되는 바와같이, 그 동영상 전용 특성상 I-VOP(INTRA VIDEL OBHECT PLANE : 이하 I-VOP라한다.)를 이용하여 인헨스먼트 레이어의 영상을 복원하는 방법과, P-VOP(PREDICTED VIDEO OBJECT PLANE : 이하 P-VOP라 한다.) 이용하여 인헨스먼트 레이어의 영상을 복원하는 방법 및 B-VOP(BY-DIRECTION VIDEO OBJECT PLANE : 이하 P-VOP라 한다.)을 이용하여 인헨스먼트 레이어의 영상을 복원하는 방법등이 있다.

여기서, 베이스 레이어 I=VOP를 이용하여 베이스 레이어의 영상을 인헨스먼트 레이어의 부호화 할 경우에는 상기에서 설명한 바와같은 스캔 인터빙방법을 이용한다.

다시말해, 이진 모양정보에 대한 블록(매크로블록)을 부호화하는데 있어서 I-VOP의 인헨스먼트 레이어, 또는 P-VOP의 인헨스먼트 레이어에서 인트라 매크로블록(INTRA MACRO BLOCK)은 스캔 인터리빙 방법을 사용하여 부호화한다.

또한, 스캔 인터리빙 방법을 사용하여 부호화 할 경우에는, TSD와 ESD를 부호화 하기 위해 먼저 ESD의 존재 유무에 대한 정보가 전송되며, ESD가 존재하는데 매크로볼록과 ESD가 존재하지 않는 매크로블록에 대해서 스캔 인터리빙 적용 범위를 다르게 한다.

즉, 도6에서 도시되는 바와 같이, 컨텍스트를 표현하기 위해 ㄷ(디귿)자형의 위치에 따라 컨택스트 ID를 결정하며, 상기 도6의 X, Y위치의 정보를 전송하기 위해서 A5, A6, A7, B0, A13, A14, A15로 이루어지는 컨택드 ID 형태의 발생빈도에 따라 미리 결정되어 있는 산술 부호화 테이블에 의하여 부호화 된다.

또한, P-VOP의 인헨스먼트 레이어에서 인터 메크로블럭(INTRA MACRO BLOCK)은 모션백터(MOTION VETCTOR)로부터 예측하여 부호화 한다.

이와 같이 각 매크로블록에 따라서 부호화 방법이 다르게 결정되며, 각 매크로블록에 대한 부호와 방법을 결정하기 위한 부가정보를 나타내는 모드를 전송해야 한다.

이때, 부가정보를 나타내는 모드에 대한 종류와 부가정보의 부호(FIRST SHAPE CODE)에 대한 테이블(TABLE)이 필요하며, 상기 I-VOP와 P-VOP의 인헨스먼트 레이어에 대한 기존의 부가정보를 나타내는 모드를 구성은 다음과 같다.

(1) I-VOP의 인헨스먼트 레이어(또는 P-VOP)의 모드(MODE)

1) all_0

2) all_255

3) Intra coded

(2) P-VOP의 인헨스먼트 레이어(또는 B-VOP)의 모드(MODE)

1) all_0

2) all_255

3) Intra coded

4) Intra not code

5) Inter coded MVD=0

6) Inter not coded MVD=0

7) Inter coded MVD!=0

8) Inter not coded MVD!=0

그러나, 상기와 같은 종래의방법에 있어서 각 매크로블록당 인헨스먼트 레이어에 부가하는 부가정보를 나타내는 모드는, I-VOP의 경우 3종류, P-VOP의 경우 8종류나 되어, 전송되는 비트량이 많아지게 되고, 이로인해 부호화 효율이 저하된다는 문제점이 있었다.

즉, 부가정보를 나타내는 모드의 수가 많다는 것을 사용되는 비트 수가 많다는 것이며, 비트 수가 많다는 것을 그만큼 정보전송량이 많아지게 된다는 것으로, 이로인해 많은 수의 비트전송이 필요하게 되어 부호화 효율을 저하시키게 된다는 문제점이 있었다.

본 발명의 목적은 상기와 같은 종래의 문제점을 해소하기 위한 것으로, 특히, 이진 모양 정보의 신축형 부호화시 인헨스먼트 레이어의 부가정보를 나타내는 모드를, 아래 레이어(LOWER LAYR)의 크기에 따른 특성에 따라 재구성하여 선택적으로 부호화함으로 인해, 전송되는 비트의 양이 적은 부가정보를 나타내는 모드와 부호화 테이블를 제공함으로써, 부호화 효율을 향상시킴 수 있는 이진 모양 정보의 신축형 모양 정보 부호화시 부가정보 부호화 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명 이진 모양 정보의 신축형 모양 정보 부호화시 부가정보 부호화 방법은, 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 부호화 방법에 있어서,

P-VOP의 인헨스멘트 레이어 모드에 대한 발생 비트의 크기에 대한 테이블과 부호화 코드에 대한 테이블을 아래 레이어 모드에 따라 다수개 작성하여, 아래 레이어 모드에 따라 선택적으로 적용함을 그 방법적 구성상의 특징으로 한다.

이러한 본 발명 이진 모양 정보의 신축형 모양 정보 부호화시 부가정보 부호화방법은, 아래 레이어 모드에 따라 현재 레이어 모드를 결정하여 부호화를 수행함으로 인해 부가정보를 나타내는 모드의 수를 줄여 이를 나타내는 비트수를 줄임으로써 부호화 효율을 향상시킬 수 있게 되는 것이다.

도1은 국제표준 산하기구에서 1차적으로 확정한 VM 엔코더의 구성을 나타낸 블록도,

도2는 모양 정보를 가지는 VOP를 매크로 블럭으로 구획하여 나타낸 도면,

도3은 국제표준 산하기구에서 1차적으로 확정한 VM 디코더의 구성을 나타낸 블럭도,

도4는 국제표준 산하기구에서 1차적으로 확정한 VOP 부호화부의 구성을 나타낸 블럭도,

도5 내지 도7은 신축형 부호화 중 스캔 인터리빙 방법을 설명하기 위한 도면,

도8은 공간적 신축형 부호화를 설명하기 위한 도면,

도9는 현재 레이어의 VOP의 크기와 매크로블록 및, 아래 레이어의 VOP의 크기와 매크로불록을 나타낸 도면.

본 발명 이진 모양 정보의 신축형 모양 정보 부호화시 부가정보 부호화방법은 아래 레이어 정보를 이용하여 중래 방섹에 대비해서 부가정보를 나타내는 모드의 종류를 작게 구성함으로써, 전송되는 비트의 양이 적은 부가정보(MODE)와 부호화테이블에 관한 것으로, 그 기술적 사상에 따른 구서, 동작 및 작용효과를 상세히 설명하면 다음과 같다.

현재 레이어(CURRENT LAYER)의 VOP와 아래 레이어(LOWER LAYER)의 VOP는 그 크기가 서로 같을 수도 있고 다를 수도 있다. 또한, 크기가 서로 다른 경우에는 수평, 수직으로 모두 다를 수도 있으며, 한쪽 방향으로만 다를 수도 있다.

도9는 현재 레이어(CURRENT LAYER)와 아래 레이어(LOWER LAYER) 사이의 관계를 나타낸 것으로, 수평으로만 다른 경우를 나타낸 것이다.

도9에서 도시되는 바와 같이, VOP의 크기가 다르더라도 각 매크로블록의 크기는 (16×16)으로 일정하다. 따라서 현재 레이어의 VOP가 아래 레이어의 VOP 보다 큰 경우는 현재 레이어의 매크로블록(MBL)은 아래 레이어의 매크로블록(MB2) 내에 포함된다.

도9는 현재 레이어가 아래 레이어의 2배 크기이며, 이 경우는 현재 레이어의 매크로블록(MB1)이 아래 레이어의 매크로블록(MB2)의 반쪽(아래 레이어의 빗금친 영역)에 해당된다.

본 발명은 I-VOP와 P-VOP의 인헨스먼트 레이어의 각 매크로블록에 대해서 다음과 같은 부가정보를 나타내는 모드를 구성하며, 각 부가정보의 부호(FIRST SHARE COSE)에 대한 테이블을 구성한다.

또한, 아래 레이어를 이용하여 각 부가정보를 나타내는 모드를 결정하는 방법과 수신단에서의 동작을 설명한다.

(가) I-VOP의 인헨스먼트 레이어(또는 P-VOP)

1. 인헨스먼트 레이어 모드

1) Inter not coded

2) Intra coded

2. 모드가 Intra coded인 경우

1) ESD의 존재 유무에 대한 정보를 보냄

2) ESD가 존재하명 매크로블록 전체의 샘플(SAMPLE)을 부호화 한다.

3) ESD가 존재하지 않으면 TSD에 대해서만 부호화 한다.

3. 모드가 Intra not coded인 경우

Intra not coded는 all_0, all_255 또는 아래 레이어로부터 예측되어 구성된 매크로블록과 한재의 매크로블록 사이의 차이가 기준치 이하인 경우에 해당된다.

all_0, all_255는 종래 방법(베이스 레이어, 또는 베이스 스켐(SCHEME))에서의 의미와 같으며, 인헨스멘트 레이어에서는 전송되지 않는다. 다만, 인센스먼트 레이어에서는 모드를 부호화하거나 부호와하게 위해서 Intra not coded 모드로부터 재생된다.

Intra not coded는 다음과 같이 아래 레이어를 참조하여 결정한다.

1) 아래 레이어의 매크로블록이 all_0이거나, 현재 레이어의 매크로블록에 해당되는 아래 레이어의 영역 내의 모든 화소(SAMPLE)가 0인 경우

: 인헨스멘트 레이어의 매크로블록이 all_0인 경우에 Intra not coded 모드로 경정한다. 여기서 all_0는 종래의 방법에서의 의미와 같으며, 모든 화소가 0인 매크로블록과 현재 레이어의 매크로블록을 비교하여 결정된다. 즉, 매크로블록을 (4×4) 크기의 블록을 나누고 모든 블록의 에러가 (16×AlphaTH) 보다 작거나 같을때, all_0으로 결정된다. 여기서 상기 에러는 두 개의 매크로 블록사이의 서로 다른 화소를 의미한다.

2) 아래 레이어의 매크로블록이 all_255 이거나, 현재 레이어의 매크로블록에 해당되는 아래 레이어의 영역 내의 모든 화소(SAMPLE)가 255인 경우

: 인헨스멘트 레이어의 매크로블록이 all_55인 경우에 Intra not coded 모드로 결정된다. 여기서 all_55는 종래의 방법에서의 의미와 같으며, 모든 화소가 0인 매크로블록과 현재 레이어의 매크로블록을 비교하여 결정된다. 즉, 매크로블록을 (4×4)크기의 블록으로 나누고 모든 블록의 에러가 (16×AlphaTH) 보다 작거나 같을때, all_255으로 결정된다. 여기서 상기 에러는 두 개의 매크로블록 사이의 서로 다른 화소를 의미한다.

3) 아래 레이어의 매크로블록이 all_0도 아니고 all_255도 아니며, 현재 레이어의 매크로블록에 해당되는 아래 레이어의 영역 내에 0와 255가 함께 존재하는 경우

: 아래 레이어로부터 예측되어 구성된 매크로블로과 현재의 매크로블록을 비교하여 결정한다. 즉, 매크로블록을 (4×4) 크기의 블록으로 나누고 모든 블록의 에러가(16×AlphaTH)보다 작거나 같을때 Intra not coded 모드로 결정된다. 여기서 상기 에러는 두 개의 매크로블록 사이의 서로 다른 화소를 의미한다.

위의 3의 경우에 해당되는 경우에만 Intra mot coded 모드로 결정된다. 즉, 현재 레이어 매크로블록에 해당되는 아래 레이어의 영역 내에 0과 255가 함께 존재하는 경우에는 현재 레이어 매크로블록이 all_0 또는 all_255인 경우에도 Intra not coded모드로 결정되지 않는다. 또한 현재 매크로블록에 해당되는 아래 레이어의 영역내의 모든 화소( SAMPLE)가 255인 경우에는 현재 레이어가 all_0 또는 all_255 가 아니면, 아래 레이어로부터 예측되어 구성된 매크로블록과 현재의 매크로블록을 비교하여 에러가 기준치 이하인 경우에도 Intra not coded로 결정되지 않는다.

한편, 수신단에서는 Intra not coded 모드로부터 위와같은 방법으로 다음과 같이 all_0, all_255와 순수한 의미의 Intra not coded를 분리한다.

1) 아래 레이어의 매크로블록을 all_0 이거나 현재 레이어의 매크로블록에 해당되는 아래 레이어의 영역 내의 모든 화소(SAMPLE)가 0인 경우 현재 레이어의 매크로블록은 all_0에 해당되며, 현재 레이어 매크로블록 내의 모든 화소는 0으로 치환된다.

2) 아래 레이어의 매크로블록이 all_255이거나 현재 레이어의 매크로블록에 해당되는 아래 레이어의 영역 내의 모든 화소(SAMPLE)가 255인 경우 현재 레이어의 매크로블록은 all_255에 해당되며, 현재 레이어 매크로블록 내의 모든 화소는 255로 치환된다.

3) 아래 레이어 매크로블록이 all_0도 아니고, all_255도 아니며, 현재 레이어의 매크로블록에 해당되는 아래 레이어의 영역 내에 0과 255가 함께 존재하는 경우 순수한 의미의 Intra not coded에 해당된다. 이 경우 아래 레이어로부터 예측되어 구성된 매크로블록을 현재 레이어의 매크로블록으로 사용한다.

4. 첫 번째 모양 부호(FIRST SHAPE CODE)

각 매크로블록에 대한 모드의 부호(CODE)를 첫 번째 모양 부호라하며, 다음과 같은 부호 테이블(CODE TABLE)을 사용하여 부호화 한다.

1) 고정 길이(FIXED LENGTH) 로 1비트를 전송함

I-VOP 첫 번째 모양 부호화 방법 1

I-VOP첫번째 모양 부호화방법 2

(나) P-VOP의 인헨스먼트 레이어(또는 B-VOP)

1. 인헨스먼트 레이어 모드

1) Intra not coded

2) Intra coded

3) Intra not coded

4) Inter coded

2. 모드가 Intra coded인 경우 I-VOP의 인헨스먼트 레이어의 Intra coded의 의미와 같다.

3. 모드가 Intra not coded인 경우 I-VOP의 인헨스먼트 레이어의 Intra not coded의 의미와 같다.

4. Inter not coded의 모션 벡터(MOTION VECTOR)는 아래 레이어의 모션 벡터를 VOP 크기의 비율로 조정한 후 사용한다. 아래 레이어가 MVDs==0 No Update, 또는 MVDs!=0 No Update, 또는 Intra의 경우는 벡터가 0이다.

Inter not coded는 아래 레이어의 모션 벡터를 이용하여 이전 VOP로부터 가져온 매크로블록과 현재 레이어의 매크로블록을 비교하여 에러가 기준치 이하인 경우를 의미한다. 따라서, 모드가 Inter not coded의 경우는 아래 레이어의 모션 벡터를 사용하여 이전 VOP로부터 가져오며 추가적인 인코딩(ENCODING), 또는 디코딩(DECODING)은 하지 않는다.

5. Inter coded의 모션 벡터는 아래 레이어의 모션 벡터를 VOP 크기의 비율로 조정한 후 사용한다. 아래 레이어가 MVDs==0 No Update, 또는 MVDs!=0 No Update, 또는 Intra의 경우는 모션 벡터가 0이다.

Inter coded는 아래 레이어의 모션 벡터를 이용하여 이전 VOP로 부터 가져온 매트로블록과 현재 레이어의 매크로블록을 비교하여 에러가 기준치 이상인 경우를 의미한다. 따라서, 모드가 Inter coded의 경우는 아래 레이어의 모션 백터를 사용하여 이전 VOP로부터 가져온 매크로블록을 사용하여 종래 방법에서 처럼 CAE를 수행함으로써 인헨스먼트 레이어의 매크로블록을 얻는다.

(다) P-VOP의 인헨스먼트 레이어(즉, B-VOP)의 모드에 대한 비트 할당 방법 여기서 아래 레이어 모드는 다음과 같다.

1. 아레 레이어 모드 :

1) all_0 또는 all_255, 또는 Intra not coded, 또는 현재 레이어의 매크로블록에 해당되는 아레 레이어의 영역 내의모든 화소(SAMPLE)가 0 이거나 모든 화소가 255인 경우

2) IntraCAE 또는 Intra coded

3) MVDs==0 No Update, 또는 MVDs!=0 No Update, 또는 Inter not coded

4) InterCAE MVDs==0, 또는 InterCAE MVDs!=0, 또는 Inter coded

2. 아래 레이어가 베이스 레이어(첫 번째 레이어)인 경우와 아닌 경우를 나누어 설명하면 다음과 같다.

(1) 아래 레이어가 베이스 레이어인 경우

1) all_0, 또는 all_255, 또는 현재 레이어의 매크로블록에 해당되는 아레 레이어의 영역 내의모든 화소(SAMPLE)가 0이거나 모든 화소가 255인 경우

2) IntraCAE

3) MVDs==0 No Update, 또는 MVDs!=0 No Update

4) InterCAE MVDs==0, 또는 InterCAE MVDs!=0

(2) 아래 레이어가 베이스 레이어가 아닌 경우

1) Intra not coded, 또는 현재 레이어의 매크로블록에 해당되는 아래 레이어의 영역 내의 모든 화소(SAMPLE)가 0이거나 모든 화소가 255인 경우

2) Intra coded

3) Inter not coded

4) Inter coded

3. 아래 레이어 모드를 알고 있을 때 인헨스먼트 레이어 모드에 대한 발생 비트수를 다음과 같이 정한다.

인헨스먼트 레어어 모드에 대한 발생 비트 테이블 1

인헨스먼트 레이어 모드에 대한 발생 비트 테이블2

4. 아래 레이어 모드를 알고 있을때 인헨스먼트 레이어 모드에 대한 코드(FIRST SHAPE CODE)를 다음과 같이 정한다.

부호 테이블(CODE TABLE) 예 1

부호 테이블 예 2

부호 테이블 예 3

부호 테이블 예 4

부호 테이블 예 5

부호 테이블 예 6

부호 테이블 예 7

부호 테이블 예 8

부호 테이블 예 9

부호 테이블 예 10

다시말해, 아래 레이어의 모드에 따라 현재 레잉의 모드를 상기에서와 같은 방법으로 부호화 함으로 인해 부가정보의 비트수를 감소시키게 되는 것이다.

이상에서 살펴본 바와 같이, 본 발명 이진 모양 정보의 신축형 모양 정보 부호화시 부가정보 부화호 방법은, 특히, 저해상도의 영상(베이스 레이어의 영상)을 고해상도의 영상(인헨스먼트 레이어 영상)으로 부호화할 경우, 아래 레이어의 정보를 이용하여 부가정보를 재구성함으로 인해, 전송되는 비트 수를 감소시켜 부호화 효율을 향상시키게 되는 효과가 있는것이다.

Claims (5)

1. 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 방법에 있어서,

   P-VOP의 인헨스먼트 레이어 모드에 대한 발생 비트의 크기에 대한 테이블과 부호화코드에 대한 테이블을 아래 레이어 모드에 따라 다수개 작성하여, 아래 레이어 모드에 따라 선택적으로 적용함을 특징으로 하는 이진 모양정보의 신축형 모양정보 부호화사시 부가정보 부호화 방법.
2. 제1항에 있어서, 상기 발생 비트는 크기는, 인헨스먼트 레이어 모드(1), (2), (3), (4)와, 아래 레이어 모드 (1), (2), (3), (4)에 대해,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (1)일 때 발생 비트 크기를 1비트로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (2)일 때 발생 비트크기를 3비트로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (3)일 때 발생 비트크기를 3비트로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (4)일 때 발생 비트크기를 3비트로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (1)일 때 발생 비트크기를 2비트로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (2)일 때 발생 비트크기를 1비트로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (3)일 때 발생 비트크기를 2비트로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (4)일 때 발생 비트크기를 1비트로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (1)일 때 발생 비트크기를 3비트로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (2)일 때 발생 비트크기를 2비트로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (3)일때 발생 비트크기를 1비트로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어모드가 (4)일 때 발생 비트크기를 3비트로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (1)일때 발생 비트크기를 3비트로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (2)일때 발생 비트크기를 3비트로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (3)일 때 발생 비트크기를 3비트로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (4)일 때 발생 비트크기를 2비트로 함을 특징으로 하는 이진 모양 정보의 신축형 모양 정보 부호화시 부가정보 부호화 방법.
3. 제1항에 있어서, 상기 부호화 코드는, 인헨스먼트 레이어 모드 (1), (2), (3), (4)와, 아래 레이어 모드 (1), (2), (3), (4)에 대해,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (1)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (2)일 때 부호화 코드는 110로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 110로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (1)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (2)일 때 부호화 코드는 0로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 0로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (1)일때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (2)일때 부호화 코드는 10로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 111로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (1)일때 부호화 코드는 0로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (2)일때 부호화 코드는 111로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (3)일때 부호화 코드는 0로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (4)일때 부호화 코드는 10으로 함을 특징으로 하는 이진 모양 정보의신축형 모양정보 부호화시 부가정보 부호와방법.
4. 제1항에 있어서, 상기 부호화 코드는, 인헨스먼트 레이어 모드 (1), (2), (3), (4)와, 아래 레이어 모드 (1), (2), (3), (4)에 대해,

   인헨스먼트 레이오 모드가 (1)이고, 아래 레이어 모드가 (1)일 때 부호화코드는 1으로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (2)일 때 부호화 코드는 110으로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 1으로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 111으로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (1)일 때 부호화 코드는 1으로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (2)일 때 부호화 코드는 0으로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 1으로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 0으로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (1)일 때 부호화 코드는 1으로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (2)일 때 부호화 코드는 10으로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 1으로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 110으로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (1)일 때 부호화 코드는 0으로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (2)일 때 부호화 코드는 111으로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 0으로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 10으로 함을 특징으로 하는 특징으로 하는 이진 모양 정보의신축형 모양 정보 부호화시 부가정보 부호화 방법.
5. 제1항에 있어서, 상기 부호화 코드는, 인헨스먼트 레이어 모드 (1), (2), (3), (4)와, 아래 레이어 모드 (1), (2), (3), (4)에 대해,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (1)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (2)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (1)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 110으로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (1)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (2)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 0로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (1)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (2)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 1로 하고,

   인헨스먼트 레이어 모드가 (3)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 111로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (1)일 때 부호화 코드는 0으로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (2)일 때 부호화 코드는 0으로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (3)일 때 부호화 코드는 0으로 하고,

   인헨스먼트 레이어 모드가 (4)이고, 아래 레이어 모드가 (4)일 때 부호화 코드는 10으로 함을 특징으로 하는 특징으로 하는 이진 모양 정보의 신축형 모양 정보 부호화시 부가정보 부호화 방법.