KR100476387B1 - 신축형대상물영상의스캔인터리빙방법및이를이용한mpeg-4의신축형모양정보부호화방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

스캔 인터리빙 방법

2. 발명이 해결하려고 하는 기술적 과제

스캔 인터리빙 시, ESD의 존재 유무에 따라 부호화 방법을 다르게 적용

3. 발명의 해결방법의 요지

저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, 스캔 인터리빙 방법을 이용하여 인헨스먼트 레이어를 부호화 할 경우, 대상물 영상의 트랜지셔날 샘플 데이터의 존재 유무를 검출하여, 그 존재 유무에 따라 부호화 방법을 다르게 적용한다.

Description

신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양정보 부호화 방법(SHAPE INFORMATON CODING METHOD)에 관한 것으로, 특히, 신축형 모양정보 부호화(SCALABLE SHAPE CODING) 과정 중 스캔 인터리빙(SCAN INTERLEAVING) 방법을 이용하여 인헨스먼트 레이어(ENHANCEMANT LAYER)를 부호화할 경우, 대상물 영상의 트랜지셔날 샘플 데이터의 존재 유무를 검출하여, 그 존재유무에 따라 부호화 방법을 다르게 하므로써, 부호화 효율을 향상시키기 위한 것이다.

주지하다시피, 최근의 동영상 처리 기술은, 인가되는 한 프레임(FRAME) 분의 영상을 전체적으로 압축 부호화하는 방법에서 탈피하여, 임의의 모양 정보를 갖는 소정의 단위블럭(또는 VOP(VIDEO OBJECT PLANE : 이하 VOP라 한다))으로 구분하여 그 각각에 대해 압축 부호화하여 전송하는 방향으로 흐르고 있다.

즉, 인가되는 영상을 각각의 대상물 영상과 배경 영상으로 분리하여, 상기 대상물 영상의 변화 여부만을 전송하므로써 압축 효율화 및 부호화 효율을 꾀하고 있으며, 이에 대한 국제 표준안을 마련하고 있다.

예를 들어, 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG(MOVING PICTURE EXPERTS GROUP : 미디어 통합계 동영상 압축의 국제표준 : 이하 MPEG이라 한다)-1, MPEG-2와는 달리 임의의 모양정보를 갖는 물체를 부호화 하는 방식에 대한 표준화작업인 MPEG-4를 진행하고 있으며, 상기 표준화가 진행되고 있는 MPEG-4는 VOP의 개념을 기초로 하고 있다.

여기서 상기 VOP는, 인가되는 영상을 배경 영상과 각각의 대상물 영상으로 분리하고, 상기 분리한 배경 영상과 대상물 영상을 포함하는 사각형으로 정의 되는 것으로, MPEG-4에서는, 영상 내에 소정의 물체, 또는 소정의 영역으로 이루어진 대상물의 영역이 존재할 경우, 그 대상물의 영상을 각각의 VOP로 분리하고, 분리한 상기 VOP를 각기 부호화 하는 것을 골격으로 하고 있다.

이러한 VOP는 자연 영상, 또는 인공 영상 등을 대상물 영상의 단위로 하여 자유자재로 합성 내지는 분해할 수 있는 장점을 가지는 것으로, 컴퓨터 그래픽스 및 멀티미디어 분야 등에서 대상물의 영상을 처리하는데 기본이 되고 있다.

도 1은 국제표준 산하기구(ISO/IEC JTC1/SC29/WG11 MPEG96/N1172 JANUARY)에서 1차적으로 확정한 VM(VERIFICATION MODEL : 검증모델 : 이하 VM이라 한다)엔코더(ENCODER)(10)의 구성을 나타낸 블럭도이다.

여기서, VOP형성부(VOP FORMATION)(11)는 전송 또는 저장할 영상 시퀀스(SEQUENCE)가 입력될 경우에 이를 대상물 영상 단위로 나누어 각기 다른 VOP로 형성한다.

도 2는 대상물 영상으로 고양이의 영상을 설정하여 하나의 VOP를 형성한 일례를 나타낸 것이다.

여기서, VOP의 가로 방향 크기는 VOP폭으로 정의되고, 세로 방향의 크기는 VOP높이로 정의되며, 형성된 VOP는 좌측 상단을 그리드(GRID) 시작점으로 하여, X축 및 Y축으로 각기 M개 및 N개의 화소를 가지는 M × N 매크로 블럭으로 구획된다. 예를 들면 X축 및 Y축으로 각각 16개의 화소를 가지는 16 × 16 매크로 블럭으로 구획된다.

이때, VOP의 우측과 하단에 형성되는 매크로 블럭의 X축 및 Y축 화소가 각기 M개 및 N개가 아닐 경우에는 VOP의 크기를 확장하여 각각의 매크로 블럭의 X축 및 Y축 화소가 모두 M개 및 N개로 되게 한다.

그리고, 상기 M 및 N은 후술하는 대상물내부부호화부(TEXTURE CODING)에서 서브 블럭의 단위로 부호화를 수행할 수 있도록 하기 위하여 각기 짝수로 설정된다.

한편, 상기 VOP형성부(11)에서 형성된 각각의 VOP는 VOP부호화부(12A, 12B, …, 12N)에 각기 입력되어 VOP 별로 부호화 되고, 멀티플렉서(13)에서 다중화되어 비트열(BIT STREAM)로 전송된다.

도 4는 국제표준 산하기구에서 1차적으로 확정한 VM엔코더(10)의 VOP부호화부(12A, 12B, …, 12N)의 구성을 나타낸 블럭도로 이를 설명하면 다음과 같다.

먼저, 상기 VOP형성부(11)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임추정부(MOTION ESTIMATION)(31)에 입력되면, 상기 움직임추정부(31)는 인가된 VOP로부터 매크로 블럭 단위의 움직임을 추정하게 된다.

또한, 상기 움직임추정부(31)에서 추정된 움직임 정보는 움직임보상부(MOTION COMPENSATION)(32)에 입력되어 움직임이 보상된다.

그리고, 상기 움직임보상부(32)에서 움직임이 보상된 VOP는 상기 VOP형성부(11)에서 형성된 VOP와 함께 감산기(33)에 입력되어 차이값이 검출되고, 상기 감산기(33)에서 검출된 차이값은 대상물내부부호화부(34)에 입력되어 매크로 블럭의 서브 블럭 단위로 대상물의 내부정보가 부호화된다.

예를 들면, 매크로 블럭의 X축 및 Y축이 M/2 × N/2으로 각기 8개의 화소를 가지는 8 × 8의 서브 블럭으로 세분화된 후 대상물 내부정보가 부호화된다.

한편, 상기 움직임보상부(32)에서 움직임이 보상된 VOP와, 상기 대상물내부부호화부(34)에서 부호화된 대상물의 내부정보는 가산기(35)에 입력되어 가산되고, 상기 가산기(35)의 출력신호는 이전VOP검출부(PREVIOUS RECONSTRUCTED VOP)(36)에 입력되어 현재영상 바로 전 영상의 VOP인 이전VOP가 검출된다.

또한, 상기 이전VOP검출부(36)에서 검출된 상기 이전VOP는 상기 움직임추정부(31) 및 움직임보상부(32)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 상기 VOP형성부(11)에서 형성된 VOP는 모양부호화부(SHAPE CODING BLOCK)(37)에 입력되어 모양 정보가 부호화된다.

여기서, 상기 모양부호화부(37)의 출력신호는 상기 VOP부호화부(12A, 12B, …, 12N)가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 상기 모양부호화부(37)의 출력신호를 움직임추정부(31), 움직임보상부(32) 및 대상물내부부호화부(34)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는데 사용할 수 있다.

또한, 상기 움직임추정부(31)에서 추정된 움직임 정보와, 상기 대상물내부 부호화부(34)에서 부호화된 대상물 내부 정보 및 상기 모양부호화부(37)에서 부호화된 모양 정보는 멀티플렉서(38)에 인가되어 다중화 된 후, 버퍼(39)를 통해 도 1의 멀티플렉서(13)로 출력되어 비트열로 전송된다.

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM디코더(DECODER)(20)의 구성을 나타낸 블럭도이다.

상기 VM엔코더(10)를 통해 부호화되고, 비트열로 전송되는 정보인 VOP의 부호화 신호는 VM디코더(20)의 디멀티플렉서(21)에서 VOP 별로 각기 분리된다.

또한, 상기 분리된 각각의 VOP 부호화 신호는 VOP디코더(22A, 22B, …, 22N)에 의해 각기 디코딩되며, 상기 VOP디코더(22A, 22B, …, 22N)에서 출력되는 디코딩신호는 합성부(23)에서 합성되어 원래의 영상으로 출력된다.

이러한 MPEG-4에 있어서, 상기 VOP형성부(11)에서 전송된 각각의 VOP를 부호화하는 상기 모양부호화부(37)에 적용되는 기술로는 N × N 블럭(N =16, 8, 4)을 기반으로 하는 모양 정보를 부호화하는 MMR 모양 정보 부호화 기술(MMR SHAPE CODING TECHNIQUE)과, 장점을 기반으로 하여 모양 정보를 부호화하는 정점 기반 모양 정보 부호화 기술(VERTEX-BASED SHAPE CODING TECHNIQUE)과, 기초선 기반 모양정보 부호화 기술(BASELINE-BASED SHAPE CODING TECHNIQUE) 및 상황 기반 산술 부호화 기술(CONTEXT-BASED ARITHMETIC CODING ) 등이 있다.

한편, 신축형 모양정보 부호화는, 해상도가 다른 복수 개의 레이어[베이스 레이어(BASE LAYER), 인헨스먼트 레이어]를 전송하고 복호화를 하는 기능으로 MPEG-4에서는 이를 지원하고 있다.

주지하다시피, 복수 개의 다른 해상도를 가지는 정보를 전송하기 위해서는 많은 양의 정보를 전송해야 하는데, 많은 정보를 전송한다는 것은 그 만큼의 전송효율을 저하시킨다는 문제점이 있다.

따라서 MPEG-4에서는, 전송할 정보의 양을 줄이기 위해서, 도5에서 도시되는 바와 같이, 저해상도의 베이스 레이어를 이용하여 고해상도의 인헨스먼트를 추정하는 방법을 적용하고 있다.

베이스 레이어를 이용하여 인헨스먼트 레이어를 부호화하는 방법은, 베이스 레이어의 I-VOP(INTRA VIDEO OBJECT PLANE : 이하 I-VOP라 한다.)를 이용하는 방법과, P-VOP(PREDICTED VIDEO OBJECT PLAN : 이하 P-VOP라 한다.) 이용하는 방법이 있다.

베이스 레이어의 I-VOP를 이용하여 베이스 레이어를 인헨스먼트 레이어로 부호화 할 경우에는 스켄 인터리빙 방법을 이용하는데 이를 설명하면 다음과 같다.

인헨스먼트 레이어를 부호화 하기 위해서는, 부호화할 화소의 아래와 위, 또는 왼쪽과 오른쪽에 존재하며 이웃하는 베이스 레이어의 화소값을 이용한다.

도 6은 베이스 레이어로부터 인헨스먼트 레이어를 부호화 하는 과정 중 수평방향의 검색(HORIZONTAL SCANNING)을 나타낸 것으로, 부호화할 화소의 아래와 위에 존재하는 베이스 레이어의 화소값을 이용한다.

즉, 상기 아래와 위에 존재하는 두 이웃 화소의 값이 같을 경우에는 부호화하고자 하는 현재 위치의 화소값도 같은 값을 가질 가능성이 많으므로, 두 이웃 화소값이 같고 현재 위치의 화소값도 두 이웃 화소값과 같을 경우는 부호화를 하지 않는다.

그러나, 두 이웃 화소값이 다를 경우는 현재 위치의 화소값이 다를 가능성이 많으므로, 부호화 하고자 하는 현재위치의 화소값을 부호화 해주어야 하는데, 이 경우를 트랜지셔날 샘플(TRANSITIONAL SAMPLE)이라 한다.

또한, 두 이웃 화소값은 같지만 현재 위치의 화소값이 다를 경우도 부호화를 해주어야 하는데, 이 경우를 익셉셔날 샘플(EXCEPTIONAL SAMPLE)이라 한다.

따라서 인헨스먼트 레이어를 부호화 하기 위해서는 두 가지 종류의 데이터, 즉, 트랜지셔날 샘플 데이터(TRANSITIONAL SAMPLE DATA : 이하 TSD라 한다.)와 익셉셔날 샘플 데이터(EXCEPTIONAL SAMPLE DATA : 이하 ESD라 한다.)가 존재할 수 있다.

이하, 도7에서 도시되는 바와 같이, 4×4의 인헨스먼트 레이어의 영상을 베이스 레이어의 영상으로 부호화하여 전송한 후, 이를 다시 스캔 인터리빙 방법에 의해 부호화 하는 과정을 상세히 설명하면 다음과 같다.

먼저, 상기 VOP 엔코더(10)에서, 7a에서 도시되는 바와 같이, 4×4의 인헨스먼트 레이어의 4등분 한 후 그 우측 아래의 화소(A5, A7, A13, A15)를 선택하여 도 7b와 같은 베이스 레이어의 영상을 만들어 VOP디코더(20)로 전송한다. 이때, 인헨스먼트 레이어의 영상을 4등분 하는 이유는 베이스 레이어의 영상이 인헨스먼트 영상의 1/4 크기이기 때문이다.

이후, 상기 VOP디코더(20)에서는 전송된 베이스 레이어로부터 인헨스먼트 영상을 부호화하여 복원하는데, 이를 도8을 참조하여 수평 검색 방법과 수직 검색방법을 설명하면 다음과 같다.

도8a는 수평 검색 방법을 설명하기 위한 것으로, 현재 X점의 화소를 부호화할 차례라 하자, 그러면 상기 X점에 이웃하는 화소는 "A5, A6, A7, A13, A14, A15 및 B0"다. 이때, 상기 A5, A6, A7, A13, A14, A15 및 B0 화소는 전단계의 스캔인터리빙 방법에 의해 그 값이 구해진 것으로, 구하고자 하는 X점의 화소는, 상기 A5, A6, A7, A13, A14, A15 및 B0의 값을 산술부호화 방법에 의해 구하게 된다.

마찬가지로, 수직 검색 방법은, 도 8b에서 도시되는 바와 같이, C0, C1, C2, A5, A7, A13, A15의 화소값으로부터 구하고자 하는 Y점의 화소값을 구하게 된다.

여기서, B0, C0, C2의 화소는 수평 검색 방법에 의해 구한 값을 나타낸 것이고, C1화소는 수직 검색 방법에 의해 구한 값을 나타낸 것이며, 빗금친 화소는 다음번에 구할 화소를 나타낸 것이다.

즉, 모양정보를 부호화 하는 과정에서 블럭단위의 부호화를 수행한 후, 이진모양정보에 대한 블록(BINARY ALPHA BLOCK : 이하 BAB라 한다.)을 부호화하는데 있어서 신축형 모양정보 부호화에서 스캔 인터리빙 할 때 TSD와 ESD를 부호화 하는데 ESD의 존재유무를 나타내는 정보의 전송이 요구된다. 컨텍스트(CONTEXT)를 표현하기 위한 구성을 나타낸 도면인 도 8a에서 도시되는 바와 같이, ㄷ 자형의 위치에 따라서 컨텍스트-ID(CONTEXT-ID)가 결정되며, 이 컨텍스트-ID 형태의 발생빈도수에 따라 산술 부호화 테이블이 결정되며, 부호화를 수행하게 되는 것이다.

한편, 모양정보를 부호화 하는 과정에서는 블럭단위의 부호화를 수행한다. 즉, BAB를 부호화하는데 있어서, 신축형 모양정보 부호화에서 스캔 인터리빙할 때 TSD와 ESD를 부호화하는데 ESD의 존재유무를 나타내는 정보의 전송이 요구된다.

따라서, BAB 내의 ESD가 한 화소 이상인 경우에는 ESD가 존재한다라는 정보를 전송하고 ESD의 위치를 나타내는 정보를 연이어 전송하며, ESD가 없는 경우에는 ESD가 없다라는 정보만을 전송하고 ESD에 대한 부호화를 종료한다.

즉, ESD의 존재유무를 나타내는 정보를 전송하기 위한 기존의 방식은 플래그한 비트로 나타내어 전송하거나 또는 산술부호화를 수행하여 전송한다.

이때 사용되는 종래의 부가정보 구성은 다음과 같다.

(가) I-VOP의 경우,

1. first shape code

1) all 0

2) all 255

3) coded

2. coded 의 경우 exceptional sample 존재 유무에 대한 정보를 보냄

3. exceptional sample 이 존재하면 BAB 전체를 CAE 수행

exceptional sample 이 존재하지 않으면 transitional sample 만 CAE 수행

(나) P-VOP의 경우

1. first shape code

1) all 0

2) all 255

3) Intra coded

4) Intra not coded

5) Intra coded MVD=0

6) Intra not coded MVD=0

7) Intra coded MVD!=0

8) Intra not coded MVD!=0

2. Intra coded의 경우 exceptional sample 존재 유무에 대한 정보를 보냄

3. exceptional sample 이 존재하면 BAB 전체를 CAE수행

exceptional sample 이 존재하지 않으면 transitional sample 만 CAE 수행

그러나, 상기와 같은 종래의 방법은, BAB의 갯수가 많을 경우에는, 많은 수의 비트전송이 필요하게 되어 부호화 효율을 저하시킨다는 문제점이 있다.

본 발명의 목적은, 상기와 같은 종래의 문제점을 해소하기 위한 것으로, 특히, 스캔 인터리빙 방법을 이용하여 인헨스먼트 레이어를 부호화 할 경우, 대상물 영상의 트랜지셔날 샘플 데이터의 존재 유무를 검출하여, 그 존재 유무에 따라 부호화 방법을 다르게 하므로써, 부호화 효율을 향상시킬 수 있는 신축형 대상물 영상의 스캔 인터리빙 방법을 제공하는데 있다.

본 발명의 다른 목적은, 상기 신축형 대상물 영상의 스캔 인터리빙 방법을 MPEG-4에 적용시킨 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법은, 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 부호화 방법에 있어서,

BAB에서 해당 BAB의 베이스 레이어를 조사한 후 TSD가 있는 경우와 없는 경우 각각 서로 다른 확률 분포를 사용하여 부호화 한 후, BAB에서 ESD 발생여부를 나타내는 정보를 산술 부호화 하여 전송함을 그 방법적 구성상의 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률 분포를 만들때 BAB에서 TSD가 존재할 경우 TSD가 존재하는 BAB들 중에서 ESD가 존재할 확률을 가지고 확률분포를 생성함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률 분포를 만들때 BAB에서 TSD가 존재할 경우 TSD가 존재하는 BAB들 중에서 ESD가 존재할 확률을 가지고 확률분포를 만드는 장치와 ESD를 부호화할 때 TSD가 존재하면 이 확률분포로 만들어진 부호화 테이블로써 ESD에 대한 존재유무 정보를 전송함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률 분포를 만들때 BAB에서 TSD가 존재하지 않을 경우 TSD가 존재하지 않는 BAB들 중에서 ESD가 존재할 확률을 가지고 확률분포를 생성함을 특징으로 한다.

또한 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률 분포를 만들때 BAB에서 TSD가 존재하지 않을 경우 TSD가 존재하지 않는 BAB들 중에서 ESD가 존재할 확률을 가지고 확률분포를 만드는 장치와 ESD를 부호화할 때 TSD가 존재하지 않으면 이 확률분포로 만들어진 부호화 테이블로써 ESD에 대한 존재유무 정보를 전송함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률분포가 고정 산술 부호화 방법을 사용하여 전송함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률 분포가 적은 산술 부호화 방법을 사용하여 전송함을 특징으로 한다.

한편, 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법은 , 소정 갯수의 매크로블럭으로 이루어진 VOP 내에 포함된 대상물 영상을 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 MPEG-4의 신축형 모양정보 부호화 방법에 있어서,

VOP당 ESD가 존재하는지의 여부를 검출하여, VOP에 ESD가 존재할 경우에는 각각의 BAB 마다 ESD 존재유무 정보를 보내고, VOP에 ESD가 존재하지 않을 경우에는 VOP를 이루는 각 BAB 전체에 대해 ESD가 존재하지 않는다는 존재유무 정보를 전송하여, 상기 ESD의 존재유무에 대한 서로 다른 확률분포를 사용하도록 함을 그 방법적 구성상의 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방범은, 확률 분포를 만들때 BAB에서 TSD가 존재할 경우 TSD가 존재하는 BAB들 중에서 ESD가 존재할 확률을 가지고 확률분포를 생성함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률 분포를 만들때 BAB에서 TSD가 존재할 경우 TSD가 존재하는 BAB들 중에서 ESD가 존재할 확률을 가지고 확률분포를 만드는 장치와 ESD를 부호화할 때 TSD가 존재하면 이 확률 분포를 만들어진 부호화 테이블로써 ESD에 대한 존재유무 정보를 전송함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률 분포를 만들때 BAB에서 TSD가 존재하지 않을 경우 TSD가 존재하지 않는 BAB들 중에서 ESD가 존재할 확률을 가지고 확률분포를 생성함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률 분포를 만들때 BAB에서 TSD가 존재하지 않을 경우 TSD가 존재하지 않는 BAB들 중에서 ESD가 존재할 확률을 가지고 확률분포를 만드는 장치와 ESD를 부호화할 때 TSD가 존재하지 않으면 이 확률분포로 만들어진 부호화 테이블로써 ESD에 대한 존재유무 정보를 전송함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률분포가 고정된 산술 부호화 방법을 사용하여 전송함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, 확률 분포가 적응적인 산술 부호화 방법을 사용하여 전송함을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, VOP당 ESD 존재유무에 대한 부가정보를 VOL를 레이어 신택스 내에 둠을 특징으로 한다.

또한, 상기 서로 다른 확률 분포를 사용하여 부호화하는 방법은, VOP당 ESD 존재유무에 대한 부가정보를 VOP 레이어 신택스 내에 둠을 특징으로 한다.

이러한 본 발명 신축성 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법은, 스캔 인터리빙 방법을 이용하여 인헨스먼트 레이어를 부호화 할 경우, 대상물 영상의 트랜지셔날 샘플 데이터의 존재 유무를 검출하여, 그 존재 유무에 따라 부호화 방법을 다르게 하므로써, 부호화 효율을 향상시킬 수 있게 되는 것이다.

이하, 본 발명 신축성 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법의 기술적 사상에 따른 일 실시예를 들어 그 구성 및 동작을 첨부된 도면에 의거 상세히 설명하면 다음과 같다.

[실시예1]

I-VOP

1. first shape code

1) coded

2) not coded

-fixed length로 1 bit를 전송함

2. coded 의 경우

1) exceptional sample 존재 유무에 대한 정보를 보냄

2) exceptional sample 이 존재하면 BAB 전체를 CAE 수행

exceptional sample 이 존재하지 않으면 transitional sample 만 CAE 수행

3. not coded의 경우

1) spatial scalability의 경우

· base layer를 interpolation 해서 사용

2) quality scalability 의 경우

· base layer를 그대로 사용

P-VOP의 경우

1. first shape code

1) all 0

2) all 255

3) Intra coded

4) Intra not coded

5) Intra coded MVD=0

6) Intra not coded MVD=0

7) Intra coded MVD!=0

8) Intra not coded MVD!=0

2. Intra coded의 경우

1) exceptional sample 존재 유무에 대한 정보를 보냄

2) exceptional sample 이 존재하면 BAB 전체를 CAE 수행

exceptional sample 이 존재하지 않으면 transitional sample 만 CAE 수행

3. Intra not coded의 경우

1) spatial scalability의 경우

· base layer를 interpolation 해서 사용

2) quality scalability 의 경우

· base layer를 그대로 사용

[실시예 2]

I-VOP

1. first shape code

1) exceptional sample 존재함

2) exceptional sample 존재하지 않음

-fixed length로 1bit를 전송함

2. exceptional sample 이 존재하면 BAB 전체를 CAE 수행

3. exceptional sample 이 존재하지 않으면 transitional sample 만 CAE 수행

(transitional sample 이 존재하지 않으면 fist shape code 외에 발생되는 bit가 없음)

P-VOP의 경우

1. first shape code

1) Intra

2) Intra coded MVD=0

3) Intra not coded MVD=0

4) Intra coded MVD!=0

5) Intra not coded MVD!=0

2. Intra의 경우

1) exceptional sample 존재 유무에 대한 정보를 보냄

2) exceptional sample 이 존재하면 BAB 전체를 CAE 수행

exceptional sample 이 존재하지 않으면 transitional sample 만 CAE 수행

[실시예 3]

I-VOP

1. first shape code

1) exceptional sample 존재함

2) exceptional sample 존재하지 않음

· base layer를 참조하여 transitional sample 이 존재하는 경우

-arithmetic coding

· base layer를 참조하여 transitional sample 이 존재하지 않는 경우

-fixed length로 1bit를 전송

2. exceptional sample 이 존재하면 BAB 전체를 CAE 수행

3. exceptional sample 이 존재하지 않으면 transitional sample 만 CAE 수행

(transitional sample 이 존재하지 않으면 fist shape code 외에 발생되는 bit가 없음)

P-VOP의 경우

1. first shape code

1) Intra

2) Intra coded MVD=0

3) Intra not coded MVD=0

4) Intra coded MVD!=0

5) Intra not coded MVD!=0

2. Intra의 경우 exceptional sample 존재유무에 대한 정보를 보냄

1) exceptional sample 존재함

2) exceptional sample 이 존재하지 않음

· base layer를 참조하여 transitional sample 이 존재하는 경우

-arithmetic coding

· base layer를 참조하여 transitional sample 이 존재하지 않는 경우

-fixed length로 1bit를 전송

3. exceptional sample 이 존재하면 BAB 전체를 CAE 수행

4. exceptional sample 이 존재하지 않으면 transitional sample만 CAE 수행

(transitional sample이 존재하지 않으면 first shape code 외에 발생되는 bit가 없음)

[실시예 4]

1. Modes for Enhancement Layer MBs

1.1 P-VOP

각 MB에 대한 Mode 정보(first shape code)를 다음과 같이 coding한다.

Shape Mode Code

Coded 0

Not Coded 1

Coded의 경우 Base Layer 정보를 이용하여 prediction하여 coding 한다.

NotCoded의 경우 Base Layer 정보를 이용하여 prediction 한 값을 사용하며, coding 하지 않는다.

1.2. B-VOP

각 MB에 대해서 다음과 같이 6개의 Mode 를 사용한다.

(1) Shape_mode = MVDs=0 Not Coded

(2) Shape_mode = MVDs!=0 Not Coded

(3) Shape_mode = Intra

(4) Shape_mode = MVDs=0 Inter

(5) Shape_mode = MVDs=0 Inter

(6) Shape_mode = Inta not coded

Intra 경우 Base Layer 정보를 이용하여 prediction하여 coding 한다.

Intra not coded의 경우 Base Layer 정보를 이용하여 prediction 한 값을 사용하며, coding 하지 않는다.

1.3 Enhancement Layer Coding with the Base Layer

Mode 가 P-VOP에서 Coded 또는 B-VOP에서 Intra로 결정된 MB에 대해서 Exceptional sample 존재 유무에 대하여 다음과 같이 coding한다.

Base Layer의 같은 위치의 MB를 참조하여 Coded block인데 Transitional sample이 존재하지 않는 경우 반드시 Exceptional sample 존재하므로, Exceptional sample 존재 유무에 대한 coding을 하지 않는다. Transitional sample이 존재하는 경우 Exceptional sample 존재 유무에 대한 coding을 한다. 따라서 Transitional sample이 존재하지 않는 MB의 경우는 Exceptional sample이 무조건 있다고 가정하여 Exceptional block coding을 하고, Transitional sample이 존재하는 MB는 Exceptional sample 존재 여무에 대한 code에 따라서 Exceptional block coding을 하거나, 또는 Transitional sample만을 coding을 한다.

[실시예 5]

2. Modes for Enhancement Layer MBs

2.1 P-VOP

Mode 정보(first shape code)를 전송하지 않는다.

2.2. B-VOP

각 MB에 대해서 다음과 같이 5개의 Mode를 사용한다.

(1) Shape_mode = MVDs=0 Not Coded

(2) Shape_mode = MVDs!=0 Not Coded

(3) Shape_mode = Intra

(4) Shape_mode = MVDs=0 Inter

(5) Shape_mode = MVDs=0 Inter

Intra 경우 Base Layer 정보를 이용하여 prediction하여 coding 한다.

Intra not coded의 경우 Base Layer 정보를 이용하여 prediction 한 값을 사용하며, coding 하지 않는다.

2.3 Enhancement Layer Coding with the Base Layer

Mode 가 P-VOP에서 Coded 또는 B-VOP에서 Intra로 결정된 MB에 대해서 Exceptional sample 존재 유무에 대하여 다음과 같이 fixed length coding한다.

Block Mode Code

Exceptional Block 1

Not Exceptional Block 0

MB내의 각 pixel에 대해 Block Mode에 따라서 다음과 같이 coding한다.

Block Mode가 Exceptional Block인 경우 MB 전체를 context based arithmetic codiing한다.

Block Mode가 Exceptional Block인 경우 Transitional sample이 존재하면 Transitional sample에 대해서만 context based arithmetic codiing 하고, Transitional sample이 존재하지 않으면 coding 하지 않는다.

[실시예 6]

3. Modes for Enhancement Layer MBs

3.1 P-VOP

Mode 정보(first shape code)를 전송하지 않는다.

3.2. B-VOP

각 MB에 대해서 다음과 같이 5개의 Mode를 사용한다.

(1) Shape_mode = MVDs=0 Not Coded

(2) Shape_mode = MVDs!=0 Not Coded

(3) Shape_mode = Intra

(4) Shape_mode = MVDs=0 Inter

(5) Shape_mode = MVDs=0 Inter

Intra 경우 Base Layer 정보를 이용하여 prediction 하여 coding 한다.

Intra not coded의 경우 Base Layer 정보를 이용하여 prediction 한 값을 사용하며, coding 하지 않는다.

3.3 Enhancement Layer Coding with the Base Layer (I-VOP)

Mode 가 P-VOP에서 Coded 또는 B-VOP에서 Intra로 결정된 MB에 대해서 Exceptional sample 존재 유무(Block Mode)에 대하여 다음과 같이 coding한다.

Base Layer를 참조하여 Transitional sample이 존재하지 않는 경우 Block Mode Code를 다음 table과 같이 coding한다.

Block Mode Code

Exceptional Block 1

Not Exceptional Block 0

Base Layer를 참조하여 Transitional sample이 존재하지 않는 경우 Block Mode 를 context based arithmetic codiing 한다.

MB내의 각 pixel에 대해 Block Mode에 따라서 다음과 같이 coding한다.

Block Mode가 Exceptional Block인 경우 MB 전체를 context based arithmetic codiing한다.

Block Mode가 Not Exceptional Block인 경우 Transitional sample이 존재하면 Transitional sample에 대해서만 context based arithmetic codiing 하고, Transitional sample이 존재하지 않으면 coding 하지 않는다.

신축형 모양정보 부호화에서 전송되는 정보는 TSD와 ESD, 그리고 부가정보로 나누어진다. 이 때 임의의 BAB에서 ESD의 발생확률은 해당 BAB내에 TSD가 존재하느냐의 여부에 의존한다. 다시 말해서 ESD가 존재할 확률은 TSD가 존재하지 않는 BAB에서 보다 TSD가 존재하는 BAB의 경우가 높다. 그러므로, 해당 BAB에 TSD가 존재하는지의 여부에 따라 다른 확률 분포를 사용한다면 그렇지 않은 경우보다 정보의 엔트로피가 감소하고 발생데이타가 줄어들게 된다.

도9는 본 발명의 기술적 사상에 따른 일 실시예를 나타낸 흐름도이다. 인헨스먼트 레이어의 부호화는 상술한 바와 같이, 모양정보 부호화의 한 과정이므로 먼저 BAB가 존재하는지를 확인한다. 그 후에 상기 도 9에 도시된 바와 같이, ESD존재여부를 확인하고, 베이스 레이어를 조사하고, TSD가 존재하는지를 확인한다. 그리고난 후 TSD가 존재하는 경우의 확률분포와 TSD가 존재하지 않는 경우의 확률분포로 전달되어 BAB에서 ESD 발생여부를 나타내는 정보를 산술부호화 하여 전송하는 것이다. 즉, 상기 도 9에서, 부호화 방법 A는 TSD가 존재하고 ESD가 존재할 경우에 대한 확률표를 이용하여 고정산술부호화를 수행하는 것이고, 부호화 방법 B는 TSD가 존재하지 않고 ESD가 존재할 경우에 대한 또 다른 확률표를 이용하여 고정산술부호화를 수행하는 것을 의미한다.

이 때 산술부호화는 확률 분포가 고정된 산술 부호화 또는 확률분포를 정보의 전송시마다 바꾸어 주는 적응적인 산술 부호화 모두 가능하다. TSD의 존재 여부를 수신단에서 미리 전송된 베이스 레이어를 조사하여 판단 가능하므로 이에 대한 정보는 전송할 필요가 없다.

한편, 다른 실시예로, 현재 BAB당 ESD가 존재하는지 확인하여 ESD 존재유무 정보를 전송하게 되었다. 그러나 VOP당 ESD가 존재하는지의 여부를 확인한 뒤에 VOP에 ESD가 존재하면 BAB당 ESD 존재유무 정보를 보내고 VOP당 ESD가 존재하지 않으면 VOP에 하나의 ESD 존재유무 정보를 보내어 불필요하게 VOP전체에 ESD가 존재하지 않는데 각각의 BAB 당 ESD 존재유무 정보를 보내지 않으므로써 불필요한 정보를 줄이는 것이다.

즉, 스캔 인터리빙 방법을 사용하여 인헨스먼트 레이어의 영상을 부호화 할 경우, ESD 정보가 존재하는지의 여부 정보를 보내야 하는데 이 때 TSD의 정보가 존재하는 블럭이면 ESD 정보가 존재할 확률이 높기 때문에 TSD 정보를 이용하여 ESD가 존재하는 확률분포를 결정하게 되므로써, 부호화 효율을 향상시키게 되는 것이다.

다시말해, ESD의 존재유무에 따라 적용되는 확률분포(부호화 방법)을 다르게 적용하므로 인해 부호화 효율을 향상시키게 되는 것이다.

예를 들어, ESD와 TSD의 존재 유무에 따라 적용되는 부호화 방법을 달리하므로써 발생되는 비트수를 줄여 부호화 효율을 향상시키게 되는 것이다.

이상에서 살펴본 바와 같이 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법은, 특히, 스캔 인터리빙 방법을 이용하여 인헨스먼트 레이어를 부호화 할 경우, 대상물 영상의 트랜지셔날 샘플 데이터의 존재 유무를 검출하여, 그 존재 유무에 따라 부호화 방법을 다르게 하므로써, 부호화 효율을 향상시킬 수 있게 되는 효과가 있다.

즉, Scan Interleavin 방법을 이용하여 enhancement layer를 부호화 할 때 ESD 정보가 존재하는지의 정보를 보내야 하는데 이 때 불필요한 정보를 중복해서 보내지 않고 효과적으로 부가정보의 syntax를 구성하여 부호화 이득을 얻을 수 있다.

도 1은 국제표준 산하기구에서 1차적으로 확정한 VM 엔코더의 구성을 나타낸 블럭도,

도 2는 모양 정보를 가지는 VOP를 매크로 블럭으로 구획하여 나타낸 도면,

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM 디코더의 구성을 나타낸 블럭도,

도 4는 국제표준 산하기구에서 1차적으로 확정한 VOP 디코더의 구성을 나타낸 블럭도,

도 5는 공간적 신축형 부호화 개념도,

도 6은 신축형 부호화를 위한 스켄 인터리빙 과정을 예시한 도면,

도 7, 8은 인헨스먼트 레이어 영상의 부호화 방법을 나타낸 도면,

도 9는 본 발명의 기술적 사상을 나타낸 신호흐름도.

〈도면의 주요부분에 대한 부호의 설명〉

10: VM엔코더11: VOP형성부

12A, 12B,…, 12N: VOP부호화부13, 38: 멀티플렉서

20: VM디코더21: 디멀티플렉서

22A, 22B, …, 22N: VOP디코더23: 합성부

31: 움직임추정부32: 움직임보상부

33: 감산기34: 대상물내부부호화부

35: 가산기36: 이전VOP검출부

37: 모양부호화부

Claims (9)

1. 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 부호화 방법에 있어서,

   모드(Mode)가 P-VOP에서 Coded 또는 B-VOP에서 Intra로 결정된 MB에 대해서, Exceptional sample 존재 유무에 대하여,

   Base Layer의 같은 위치의 MB를 참조하여 Coded block인데 Transitional sample이 존재하지 않는 경우 반드시 Exceptional sample 존재하므로, Exceptional sample 존재 유무에 대한 coding을 하지 않는다. Transitional sample이 존재하는 경우 Exceptional sample 존재 유무에 대한 coding을 한다. 따라서 Transitional sample이 존재하지 않는 MB의 경우는 Exceptional sample이 무조건 있다고 가정하여 Exceptional block coding을 하고, Transitional sample이 존재하는 MB는 Exceptional sample 존재 여무에 대한 code에 따라서 Exceptional block coding을 하거나, 또는 Transitional sample만을 coding을 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
2. Base Layer의 같은 위치의 MB를 참조하여 Coded block인데 Transitional sample이 존재하지 않는 경우 반드시 Exceptional sample 존재하므로, Exceptional sample 존재 유무에 대한 coding을 하지 않는다. Transitional sample이 존재하는 경우 Exceptional sample 존재 유무에 대한 coding을 한다. 따라서 Transitional sample이 존재하지 않는 MB의 경우는 Exceptional sample이 무조건 있다고 가정하여 Exceptional block coding을 하고, Transitional sample이 존재하는 MB는 Exceptional sample 존재 유무에 대한 code에 따라서 Exceptional block coding을 하거나, 또는 Transitional sample만을 coding을 하는 방법.
3. MB내의 각 pixel에 대해 Block Mode에 따라서,

   Block Mode가 Exceptional Block인 경우 MB 전체를 context based arithmetic codiing하고,

   Block Mode가 Exceptional Block인 경우 Transitional sample이 존재하면 Transitional sample에 대해서만 context based arithmetic codiing 하고, Transitional sample이 존재하지 않으면 coding하지 않음을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
4. 포드 Mode 가 P-VOP에서 Coded 또는 B-VOP에서 Intra로 결정된 MB에 대해서, Exceptional sample 존재 유무에 대하여,

   Base Layer의 같은 위치의 MB를 참조하여 Coded block인데 Transitional sample이 존재하지 않는 경우 반드시 Exceptional sample 존재하므로, Exceptional sample 존재 유무에 대한 coding을 하지 않는다. Transitional sample이 존재하는 경우 Exceptional sample 존재 유무에 대한 coding을 한다. 따라서 Transitional sample이 존재하지 않는 MB의 경우는 Exceptional sample이 무조건 있다고 가정하여 Exceptional block coding을 하고, Transitional sample이 존재하는 MB는 Exceptional sample 존재 여무에 대한 code에 따라서 Exceptional block coding을 하거나, 또는 Transitional sample만을 coding을 하는 형태로 신택스(SYNTAX)를 구성함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
5. 제4항에 있어서, 신택스 구성시, code 값을 Coded 1, Not Coded는 0으로 구성함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
6. Base Layer의 같은 위치의 MB를 참조하여 Coded block인데 Transitional sample이 존재하지 않는 경우 반드시 Exceptional sample 존재하므로, Exceptional sample 존재 유무에 대한 coding을 하지 않는다. Transitional sample이 존재하는 경우 Exceptional sample 존재 유무에 대한 coding을 한다. 따라서 Transitional sample이 존재하지 않는 MB의 경우는 Exceptional sample이 무조건 있다고 가정하여 Exceptional block coding을 하고, Transitional sample이 존재하는 MB는 Exceptional sample 존재 여무에 대한 code에 따라서 Exceptional block coding을 하거나, 또는 Transitional sample만을 coding을 하는형태로 신택스를 구성함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
7. 제4항에 있어서, 신택스구성시, code 값을 Exceptional Block가 0, Not Exceptional Block는 1로 구성함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
8. MB내의 각 pixel에 대해 Block Mode에 따라서,

   Block Mode가 Exceptional Block인 경우 MB 전체를 context based arithmetic codiing하고,

   Block Mode가 Not Exceptional Block인 경우 Transitional sample이 존재하면 Transitional sample에 대해서만 context based arithmetic codiing 하고, Transitional sample이 존재하지 않으면 coding 하지 않는 형태로 신택스를 구성함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
9. 제8항에 있어서, 신택스 구성시, code 값을 Exceptional Block가 0, Not Exceptional Block는 1로 구성함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.

Images