KR100476383B1 - 신축형대상물영상의스캔인터리빙방법및이를이용한mpeg-4의신축형모양정보부호화방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

스캔 인터리빙 방법

2. 발명이 해결하려고 하는 기술적 과제

스캔 인터리빙 시, ESD의 부호화 방법을 다르게 적용하여 부호화 효율 향상

3. 발명의해결방법의 요지

저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의인헨스먼트 레이어의 영상으로 부호화 할 경우, 스캔 인터리빙을 수행하여 인헨스먼트 레이어를 부호화 할 경우, 대상물 영상의 익셉셔날 샘플 데이터의 특성을 검출하여 "컨텍스트 ID"의 비트 수를 1로 줄이는 대신 "컨텍스트 RUN"에 좀더 많은 비트 수를 할당하여 익셉셔날 샘플 데이터를 부호화 한다.

4. 발명의 중요한 용도

영상 신호 처리, MPEG

Description

신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양정보 부호화 방법(SHAPE INFORMATION CODING METHOD)에 관한 것으로, 특히, 신축형 모양정보 부호화(SCALABLE SHAPE CODING) 과정 중 스캔 인터리빙(SCANINTERLEAVING) 방법을 이용하여 인헨스먼트 레이어(ENHANCEMANT LAYER)를 부호화 할 경우, 대상물 영상의 익셉셔날 샘플 데이터(EXCEPTIONAL SAMPLE DATA)의 특성을 검출하여 컨텍스트ID(CONTEXT_ID)의 비트 수를 1로 줄이는 대신 컨텍스트RUN(CONT5EXT_RUN)에 좀더 많은 비트 수를 할당하여 익셉셔날 샘플 데이터를 부호화하므로써, 부호화 효율을 향상시키기 위한 것이다.

주지하다시피, 최근의 동영상 처리 기술은, 인가되는 한 프레임(FRAME) 분의 영상을 전체적으로 압축 부호화하는 방법에서 탈피하여, 임의의 모양 정보를 갖는 소정의 단위블럭(또는 VOP(VIDEO OBJECT PLANE : 이하 VOP라 한다))으로 구분하여 그 각각에 대해 압축 부호화하여 전송하는 방향으로 흐르고 있다.

즉, 인가되는 영상을 각각의 대상물 영상과 배경 영상으로 분리하여, 상기 대상물 영상의 변화 여부만을 전송하므로써 압축 효율화 및 부호화 효율을 꾀하고 있으며, 이에 대한 국제 표준안을 마련하고 있다.

예를 들어, 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG(MOVING PICTURE EXPERTS GROUP : 미디어 통합계 동영상 압축의 국제표준 : 이하 MPEG이라 한다)-1, MPEG-2와는 달리 임의의 모양 정보를 갖는 물체를 부호화 하는 방식에 대한 표준화작업인 MPEG-4를 진행하고 있으며, 상기 표준화가 진행되고 있는 MPEG-4는 VOP의 개념을 기초로 하고 있다.

여기서 상기 VOP는, 인가되는 영상을 배경 영상과 각각의 대상물 영상으로 분리하고, 상기 분리한 배경 영상과 대상물 영상을 포함하는 사각형으로 정의 되는 것으로, MPEG-4에서는, 영상 내에 소정의 물체, 또는 소정의 영역으로 이루어진 대상물의 영역이 존재할 경우, 그 대상물의 영상을 각각의 VOP로 분리하고, 분리한 상기 VOP를 각기 부호화하는 것을 골격으로 하고 있다.

이러한 VOP는 자연 영상, 또는 인공 영상 등을 대상물 영상의 단위로 하여 자유자재로 합성 내지는 분해할 수 있는 장점을 가지는 것으로, 컴퓨터 그래픽스 및 멀티미디어 분야 등에서 대상물의 영상을 처리하는 데 기본이 되고 있다.

도 1은 국제표준 산하기구(ISO/IEC JTCI/SC29/WG11 MPEG96/N1172 JANUARY)에서 1차적으로 확정한 VM(VERIFICATION MODEL : 검증모델 : 이하 VM이라 한다) 엔코더(ENCODER)(10)의 구성을 나타낸 블럭도이다.

여기서, VOP형성부(VOP FORMATION)(11)는 전송 또는 저장할 영상 시퀀스(SEQUENCE)가 입력될 경우에 이를 대상물 영상 단위로 나누어 각기 다른 VOP로 형성한다.

도 2는 대상물 영상으로 고양이의 영상을 설정하여 하나의 VOP를 형성한 일례를 나타낸 것이다.

여기서, VOP의 가로 방향 크기는 VOP폭으로 정의되고, 세로 방향의 크기는 VOP높이로 정의되며, 형성된 VOP는 좌측 상단을 그리드(GRID) 시작점으로 하여, X축 및 Y축으로 각기 M개 및 N개의 화소를 가지는 M × N 매크로 블럭으로 구획된다. 예를 들면 X축 및 Y축으로 각기 16개의 화소를 가지는 16 × 16 매크로 블럭으로 구획된다.

이때, VOP의 우측과 하단에 형성되는 매크로 블럭의 X축 및 Y축 화소가 각기 M개 및 N개가 아닐 경우에는 VOP의 크기를 확장하여 각각의 매크로 블럭의 X축 및 Y축 화소가 모두 M개 및 N개로 되게 한다.

그리고, 상기 M 및 N은 후술하는 대상물내부부호화부(TEXTURE CODING)에서 서브 블럭의 단위로 부호화를 수행할 수 있도록 하기 위하여 각기 짝수로 설정된다.

한편, 상기 VOP형성부(11)에서 형성된 각각의 VOP는 VOP부호화부(12A, 12B, …, 12N)에 각기 입력되어 VOP 별로 부호화 되고, 멀티플렉서(13)에서 다중화되어 비트열(BIT STREAM)로 전송된다.

도 4는 국제표준 산하기구에서 1차적으로 확정한 VM엔코더(10)의 VOP 부호화부(12A, 12B, …, 12N)의 구성을 나타낸 블럭도로 이를 설명하면 다음과 같다.

먼저, 상기 VOP형성부(11)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임추정부(MOTION ESTIMATION)(31)에 입력되면, 상기 움직임추정부(31)는 인가된 VOP로부터 매크로 블럭 단위의 움직임을 추정하게 된다.

또한, 상기 움직임추정부(31)에서 추정된 움직임 정보는 움직임보상부(MOTION COMPENSATION)(32)에 입력되어 움직임이 보상된다.

그리고, 상기 움직임보상부(32)에서 움직임이 보상된 VOP는 상기 VOP형성부(110에서 형성된 VOP와 함께 감산기(33)에 입력되어 차이값이 검출되고, 상기 감산기(33)에서 검출된 차이값은 대상물내부부호화부(34)에 입력되어 매크로 블럭의 서브 블럭 단위로 대상물의 내부정보가 부호화된다.

예를 들면, 매크로 블럭의 X축 및 Y축이 M/2 × N/2으로 각기 8개의 화소를 가지는 8 × 8의 서브 블럭으로 세분화된 후 대상물 내부정보가 부호화된다.

한편, 상기 움직임보상부(32)에서 움직임이 보상된 VOP와, 상기 대상물내부부호화부(34)에서 부호화된 대상물의 내부정보는 가산기(35)에 입력되어 가산되고, 상기 가산기(35)의 출력신호는 이전 VOP검출부(PREVIOUS RECONSTRUCTED VOP)(36)에 입력되어 현재영상 바로 전 영상의 VOP인 이전 VOP가 검출된다.

또한, 상기 이전 VOP검출부(36)에서 검출된 상기 이전 VOP는 상기 움직임추정부(31) 및 움직임보상부(32)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 상기 VOP형성부(11)에서 형성된 VOP는 모양부호화부(SHAPE CODING BLOCK)(37)에 입력되어 모양 정보가 부호화된다.

여기서, 상기 모양부호화부(37)의 출력신호는 상기 VOP부호화부(12A, 12B, …, 12N)가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 상기 모양부호화부(37)의 출력신호를 움직임추정부(31), 움직임보상부(32) 및 대상물내부부호화부(34)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는 데 사용할 수 있다.

또한, 상기 움직임추정부(31)에서 추정된 움직임 정보와, 상기 대상물내부부호화부(34)에서 부호화된 대상물 내부 정보 및 상기 모양부호화부(37)에서 부호화된 모양 정보는 멀티플렉서(38)에 인가되어 다중화 된 후, 버퍼(39)를 통해 도 1의 멀티플렉서(13)로 출력되어 비트열로 전송된다.

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM디코더(DECODER)(20)의 구성을 나타낸 블럭도이다.

상기 VM엔코더(10)를 통해 부호화되고 비트열로 전송되는 정보인 VOP의 부호화 신호는 VM디코더(20)의 디멀티플렉서(21)에서 VOP 별로 각기 분리된다.

또한, 상기 분리된 각각의 VOP 부호화 신호는 VOP디코더(22A, 22B, …, 22N)에 의해 각기 디코딩되며, 상기 VOP디코더(22A, 22B, …, 22N)에서 출력되는 디코딩신호는 합성부(23)에서 합성되어 원래의 영상으로 출력된다.

이러한 MPEG-4에 있어서, 상기 VOP형성부(11)에서 전송된 각각의 VOP를 부호화하는 상기 모양부호화부(37)에 적용되는 기술로는, N × N 블럭(N=16, 8, 4)을 기반으로 하는 모양 정보를 부호화하는 MMR 모양 정보 부호화 기술(MMR SHAPE CODING TECHNIQUE)과, 정점을 기반으로 하여 모양 정보를 부호화하는 정점 기반 모양 정보 부호화 기술(VERTEX-BASED SHAPE CODING TECHNIQUE)과, 기초선 기반 모양 정보 부호화 기술(BASELINE-BASED SHAPE CODING TECHNIQUE) 및 상황 기반 산술 부호화 기술(CONTEXT-BASED ARITHMETIC CODING) 등이 있다.

한편, 신축형 모양정보 부호화는, 해상도가 다른 복수 개의 레이어[베이스 레이어(BASE LAYER), 인헨스먼트 레이어]를 전송하고 복호화 하는 기능으로 MPEG-4에서는 이를 지원하고 있다.

주지하다시피, 복수 개의 다른 해상도를 가지는 정보를 전송하기 위해서는 많은 양의 정보를 전송해야 하는데, 많은 정보를 전송한다는 것을 그 만큼의 전송효율을 저하시킨다는 문제점이 있다.

따라서 MPEG-4에서는, 전송할 정보의 양을 줄이기 위해서, 도 5에서 도시되는 바와 같이, 저해상도의 베이스 레이어를 이용하여 고해상도의 인헨스먼트를 추정하는 방법을 적용하고 있다.

베이스 레이어를 잉요하여 인헨스먼트 레이어를 부호화하는 방법은, 베이스 레이어 I-VOP(INTRA VIDEO OBJECT PLANE : 이하 I-VOP라 한다.)를 이용하는 방법과, P-VOP(PREDICTED VIDEO OBJECT PLANE : 이하 P-VOP라 한다.) 이용하는 방법 및 B-VOP(BY-DIRECTION VIDEO OBJECT PLANE : 이하 P-VOP라 한다.)을 이용하는 방법이 있다.

베이스 레이어의 I-VOP를 이용하여 베이스 레이어를 인헨스먼트 레이어로 부호화 할 경우에는 스켄 인터리빙 방법을 이용하는데 이를 설명하면 다음과 같다.

인헨스먼트 레이어를 부호화 하기 위해서는, 부호화할 화소의 아래와 위, 또는 왼쪽과 오른쪽에 존재하는 이웃하는 레퍼런스 스캔 라인(REFERENCE SCAN LINE : 이하 RSL라 한다.) (즉, 베이스 레이어)의 화소값을 이용한다.

도 6은 베이스 레이어로부터 인헨스먼트 레이어를 부호화 하는 과정 중 수평방향의 검색(HORIZONTAL SCANNING)을 나타낸 것으로, 부호화할 화소의 아래와 위에 존재하는 RSL의 값을 이용한다.

즉, 상기 아래와 위에 존재하는 두 이웃 화소의 값이 같을 경우에는 부호화 하고자 하는 현재 위치의 화소값도 같은 값을 가질 가능성이 많으므로, 두 이웃 화소값이 같고 현재 위치의 화소값도 두 이웃 화소값과 같을 경우는 부호화를 하지 않는다.

그러나, 두 이웃 화소값이 다를 경우는 현재 위치의 화소값이 다를 가능성이 많으므로, 부호화 하고자 하는 현재위치의 화소값을 부호화 해주어야 하는데, 이 경우를 트랜지셔날 샘플(TRANSITIONAL SAMPLE)(도 6 중 실선으로 표시한 타원)이라 한다.

또한, 두 이웃 화소값은 같지만 현재 위치의 화소값이 다를 경우도 부호화를 해주어야 하는데, 이 경우를 익셉셔날 샘플(EXCEPTIONAL SAMPLE) (도 6중 점선으로 표시한 타원)이라 한다.

따라서 인헨스먼트 레이어를 부호화 하기 위해서는 두가지 종류의 데이터, 즉, 트랜지셔날 샘플 데이터(TRANSITIONAL SAMPLE DATA : 이하 TSD라 한다.)와 익셉셔날 샘플 데이터(EXCEPTIONAL SAMPLE DATA : 이하 ESD라 한다.)가 존재할 수 있다.

이하, 도 7에서 도시되는 바와 같이, 4 × 4의 인헨스먼트 레이어의 영상을 베이스 레이어의 영상으로 부호화하여 전송한 후, 이를 다시 스캔 인터리빙 방법에 의해 인헨스먼트 레이어의 영상으로 부호화 하는 과정을 상세히 설명하면 다음과 같다.

먼저, 상기 VOP엔코더(10)에서, 도 7a에서 도시되는 바와 같이, 4 × 4의 인헨스먼트 레이어의 영상을 4등분 한 후 그 우측 아래의 화소(A5, A7, A13, A15)를 선택하여 도 7b와 같은 베이스 레이어의 영상을 만들어 VOP디코더(20)로 전송한다. 이때, 인헨스먼트 레이어의 영상을 4등분 하는 이유는 베이스 레이어의 영상이 인헨스먼트 영상의 1/4 크기이기 때문이다.

이후, 상기 VOP디코더(20)에서는 전송된 베이스 레이어로부터 인헨스먼트 영상을 부호화하여 복원하는데, 이를 도 8을 참조하여 수평 방향 검색 방법과 수직 방향 검색 방법으로 나누어 상세히 설명하면 다음과 같다.

도 8a는 수평 검색 방법을 설명하기 위한 것으로, 현재 X점의 화소를 부호화 할 차례라 하자,

그러면, 상기 X점에 이웃하는 화소는 "A5, A6, A7, A13, A14, A15 및 B0"다. 이때 , 상기 "A5, A6, A7, A13, A14, A15 및 B0" 화소는 전단계의 스캔인터리빙 방법에 의해 그 값이 구해진 것으로, 구하고자 하는 X점의 화소는, 상기 "A5, A6, A7, A13, A14, A15 및 B0"의 값을 컨택스트 기반 산술부호화(CONTEXT-BASED ARITHMETIC ENCODING : 이하 CAE라 한다.) 방법에 의해 구하게 된다. 즉, 수평, 수직방향에 존재하는 7개 화소에 대한 컨택스트(CONTEXT)를 이용하여 CAE를 수행하여 부호화를 하는 것이다.

마찬가지로, 수직 검색 방법은, 도 8b에서 도시되는바와 같이, C0, C1, C2, A5, A7, A13, A15의 화소값으로부터 구하고자 하는 Y점의 화소값을 구하게 된다.

여기서, B0, C0, C2의 화소는 수평검색방법에 의해 구한 값을 나타낸 것이고, C1화소는 수직 검색 방법에 의해 구한 값을 나타낸 것이며, 빗금친 화소는 다음번에 구할 화소를 나타낸 것이다.

따라서, 수평 검색을 행하는 세로 방향의 화소가 2배로, 수직 검색을 행하면 가로 방향의 화소가 2배로 증가되어, 결국 2 × 2의 베이스 레이어 영상이 4 × 4의 인헨스먼트 레이어의 영상으로 복원되게 되는 것이다.

즉, 베이스 레이어의 영상을 인헨스먼트 레이어의 영상으로 부호화 하기 위해서는 수평 방향 검색과 수직 방향 검색을 각각 수행하여야 하며, 그 검색 순서는 수평 방향 검색을 행한 후 수직 방향 검색을 행하도록 규정되어 있다.

한편, ESD를 부호화 하는 포맷(FORMAT)은, 도 9에서 도시되는 바와 같이, 컨텍스트ID와, 컨텍스트RUN 및 ED길이(ED_LENGTH)로 구성된다.

여기서, 상기 컨텍스트ID는 7비트로 이루어져 ESD가 발생한 위치의 컨텍스트(CONTEXT) 정보를 나타내며, 컨텍스트 RUN은 현재 위치에 ESD가 발생하기 이전의 ESD까지의 같은 컨텍스트ID를 가지는 화소의 수를 나타낸다. 또한, ED길이는 연속해서 ESD가 발생하는 화소 수를 나타낸다.

그러나, 상기와 같은 ESD의 부호화 포맷은, ESD가 발생할 때마다 7비트로 구성된 상기 컨텍스트ID를 사용하여 그 위치를 나타내 주므로 인해, 필요 이상의 많은 비트가 할당되어 부호화 효율을 저하시키게 된다는 문제점이 있었다.

다시 말해, ESD를 부호화 할 때 그 위치는 전에 발생한 ESD의 위치로부터 산출할 수 있음에도 불구하고 매 ESD마다 그 위치를 나타내주므로 인해, 불필요한 비트가 발생하여 부호화 효율을 저하시킨다는 문제점이 있었다.

본 발명의 목적은, 상기와 같은 종래의 문제점을 해소하기 위한 것으로, 특히, 스캔 인터리빙을 수행하여 인헨스먼트 레이어를 부호화 할 경우, 대상물 영상의 익셉셔날 샘플 데이터의 특성을 검출하여 컨텍스트ID의 비트 수를 1로 줄이는 대신 컨텍스트RUN에 좀더 많은 비트 수를 할당하여 익셉셔날 샘플 데이터를 부호화하므로써, 부호화 효율을 향상시킬 수 있는 신축형 대상물 영상의 스캔 인터리빙 방법을 제공하는 데 있다.

본 발명의 다른 목적은, 상기 신축형 대상물 영상의 스캔 인터리빙 방법을 MPEG-4에 적용시킨 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법은, 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 부호화 방법에 있어서,

저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, ESD의 부호화 포맷을 구성하는 컨텍스트ID와, 컨텍스트RUN과, ED길이를 다르게 정의하여 ESD를 부호화 함을 그 방법적 구성상의 특징으로 한다.

또한, 상기 컨텍스트 ID는, ESD가 물체의 내부에 있을 경우에는 1을, 물체의 외부에 있을 경우에는 0을 부여하도록 정의함을 특징으로 한다.

상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

또한, 상기 컨텍스트ID는, ESD가 물체의 내부에 있을 경우에는 0을, 물체의 외부에 있을 경우에는 1을 부여하도록 정의함을 특징으로 한다.

상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

또한, 상기 ED길이는, 컨텍스트ID의 값에 상관없이 연속해서 발생하는 ESD의 수로 함을 특징으로 한다.

또한, 상기 ED길이는, 컨텍스트ID의 값이 동일한 다수개의 ESD가 연속해서 발생할 경우, 상기 연속해서 발생하는 ESD의 수를 ED길이로 함을 특징으로 한다.

또한, 컨텍스트ID의 값이 동일한 다수개의 ESD가 연속해서 발생할 경우, 컨텍스트ID를 공유하여 ESD부호화 포맷을 구성함을 특징으로 한다.

또한, 물체의 외부에 존재하는 ESD를 하나로 묶어 하나의 컨텍스트ID를 사용하여 부호화 함을 특징으로 한다.

또한, 물체의 내부에 존재하는 ESD를 하나로 묶어 하나의 컨텍스트ID를 사용하여 부호화 함을 특징으로 한다.

한편, 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법은, 소정 갯수의 매크로블럭으로 이루어진 VOP 내에 포함된 대상물 영상을 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 MPEG-4의 신축형 모양정보 부호화 방법에 있어서,

저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, ESD의 부호화 포맷을 구성하는 컨텍스트ID와, 컨텍스트RUN과, ED길이를 다르게 정의하여 ESD를 부호화 함을 그 방법적 구성상의 특징으로 한다.

또한, 상기 컨텍스트ID는, ESD가 물체의 내부에 있을 경우에는 1을, 물체의 외부에 있을 경우에는 0을 부여하도록 정의함을 특징으로 한다.

상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

또한, 상기 컨텍스트ID는, ESD가 물체의 내부에 있을 경우에는 0을, 물체의 외부에 있을 경우에는 1을 부여하도록 정의함을 특징으로 한다.

상기 '컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다,

상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 한다.

또한, 상기 ED길이는, 컨텍스트ID의 값에 상관없이 연속해서 발생하는 ESD의수로 함을 특징으로 한다.

또한, 상기 ED길이는, 컨텍스트ID의 값이 동일한 다수개의 ESD가 연속해서 발생할 경우, 상기 연속해서 발생하는 ESD의 수를 ED길이로 함을 특징으로 한다.

또한, 컨텍스트ID의 값이 동일한 다수개의 ESD가 연속해서 발생할 경우, 컨텍스트ID를 공유하여 ESD 부호화 포맷을 구성함을 특징으로 한다.

또한, 물체의 외부에 존재하는 ESD를 하나로 묶어 하나의 컨텍스트ID를 사용하여 부호화 함을 특징으로 한다.

또한, 물체의 내부에 존재하는 ESD를 하나로 묶어 하나의 컨텍스트ID를 사용하여 부호화 함을 특징으로 한다.

이러한 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법은, 특히, 스캔 인터리빙을 수행하여 인헨스먼트 레이어를 부호화 할 경우, 대상물 영상의 익셉셔날 샘플 데이터의 특성을 검출하여 컨텍스트ID의 비트 수를 1로 줄이는 대신 컨텍스트RUN에 좀더 많은 비트 수를 할당하여 익셉셔날 샘플 데이터를 부호화 하므로써, 부호화 효율을 향상시킬 수 있게 되는 것이다.

이하, 본 발명 신축형 대상물 영상의 스켄 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법의 기술적 사상에 따른 실시예를 들어 그 구성 및 동작을 첨부된 도면에 의거 상세히 설명하면 다음과 같다.

본 실시예에서는 발명의 기술적 사상을 MPEG-4에 적용한 것에 한정하여 설명한다. 또한, 본 실시예에서는 물체의 외부에 존재하는 ESD에 대해서는 1의 컨텍스트ID를 부여하고, 물체의 내부에 존재하는 ESD에 대해서는 0의 컨텍스트ID를 부여하여 설명한다.

[실시예]

도 12에서 도시되는 바와 같이, 스캔 인터리빙 수행시 ESD가 검출되면, 이 검출된 ESD가 물체의 외부에 존재하는지, 또는 내부에 존재하는 지의 여부를 판단하게 된다.

이매, 물체의 외부에 ESD가 존재할 경우에는, 컨텍스트ID의 값을 1로 하고, 물체의 내부에 ESD가 존재할 경우에는, 컨텍스트ID의 값을 0로 한다.

즉, 종래의 7비트로 표현되던 컨텍스트ID를 1비트를 사용하여 나타낸다.

이전 ESD와 현재 ESD 사이에 존재하는 화소의 수를 계수하여 이 값을 컨텍스트RUN의 값으로 한다.

여기서, ESD가 물체의 내부에 존재할 경우에는 0의 값을 계수하고, ESD가 물체의 외부에 존재할 경우에는 1의 값을 계수하여 상기 컨텍스트RUN의 값을 결정한다.

또한, 상기 1의 값, 또는 0의 값을 계수하는 데 있어, TSD가 존재할 경우에는 그 값을 제외시키는 데, 이는 TSD의 값을 이미 알고 있기 때문이다.

또한, 상기 컨텍스트RUN의 값을 결정한 후에는, 동일한 컨텍스트ID를 갖는 연속하는 ESD가 존재하는 지의 여부를 검출하여 상기 ED길이의 값을 결정한다.

예를 들어, 도 10에 나타낸(ESD2)의 경우 컨텍스트ID의 값은, ESD2가 물체의 외부에 있으므로 1이며, 컨텍스트RUN의 값은 (ESD1)과의 사이에 존재하는 1의 수 중에서 TSD의 수를 제외한 9(17 - 8 = 9)가 된다.

마찬가지로, (ESD3)의 경우 컨텍스트ID의 값은, ESD3가 물체의 내부에 있으므로 0이며, 컨텍스트RUN의 값은 (ESD2)와의 사이에 존재하는 0의 수 중에서 TSD의 수를 제외한를 제외한 5( 6 - 1 = 5)가 된다.

따라서, ESD를 부호화 하기 위한 비트의 수를 줄임으로써 부호화 효율을 향상시킬 수 있게 되는 것이다.

그러나, 상기의 실시예에서는, ESD 각각에 대해 부호화를 수행하였으나, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 도 11에서 도시되는 바와 같이, 물체의 외부, 또는 내부에 존재하는 ESD를 묶어 하나의 '컨텍스트ID를 써서 나타내거나, 또는 컨텍스트ID의 값이 동일한 다수개의 ESD가 연속해서 발생할 경우, 컨텍스트ID를 공유하여 ESD부호화 포맷을 구성할 수 있음을 밝혀둔다.

이상에서 살펴본 바와 같이 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법은, 특히, 스캔 인터리빙을 수행하여 인헨스먼트 레이어를 부호화 할 경우, 대상물 영상의 익셉셔날 샘플 데이터의 특성을 검출하여 컨텍스트ID의 비트 수를 1로 줄이는 대신 컨텍스트 RUN에 좀더 많은 비트 수를 할당하여 익셉셔날 샘플 데이터를 부호화 하므로써, 부호화 효율을 향상시킬 수 있게 되는 효과가 있는 것이다.

도 1은 국제표준 산하기구에서 1차적으로 확정한 VM 엔코더의 구성을 나타낸 블럭도,

도 2는 모양 정보를 가지는 VOP를 매크로 블럭으로 구획하여 나타낸 도면,

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM 디코더의 구성을 나타낸 블럭도,

도 4는 국제표준 산하기구에서 1차적으로 확정한 VOP 부호화부의 구성을 나타낸 블럭도,

도 5는 공간적 신축형 부호화 개념도,

도 6은 신축형 부호화를 위한 스켄 인터리빙 과정을 예시한 도면,

도 7, 8은 인헨스먼트 레이어 영상의 부호화 방법을 나타낸 도면,

도 9는 ESD의 부호화 포맷을 나타낸 도면,

도 10은 ESD 부호화 과정을 설명하기 위한 예시도,

도 11은 ESD 부호화 포맷의 다른 실시예를 나타낸 도면,

도 12는 본 발명 "신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법"을 나타낸 제어흐름도.

〈도면의 주요 부분에 대한 부호의 설명〉

10:VM엔코더11:VOP형성부

12A, 12B, …, 12N:VOP부호화부13, 38:멀티플렉서

20:VM디코더21:디멀티플렉서

22A, 22B, …, 22N:VOP디코더23:합성부

31:움직임추정부32:움직임보상부

33:감산기34:대상물내부부호화부

35:가산기36:이전 VOP검출부

37:모양부호화부

Claims (32)

1. 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 부호화 방법에 있어서,

   저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, ESD의 부호화 포맷을 구성하는 컨텍스트ID와, 컨텍스트RUN과, ED길이를 다르게 정의하여 ESD를 부호화 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
2. 제 1항에 있어서, 상기 컨텍스트 ID는, ESD가 물체의 내부에 있을 경우에는 1을, 물체의 외부에 있을 경우에는 0을 부여하도록 정의함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
3. 제 2항에 있어서, 상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
4. 제 2항에 있어서, 상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
5. 제 2항에 있어서, 상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
6. 제 2항에 있어서, 상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
7. 제 1항에 있어서, 상기 컨텍스트ID는, ESD가 물체의 내부에 있을 경우에는 0을, 물체의 외부에 있을 경우에는 1을 부여하도록 정의함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
8. 제 7항에 있어서, 상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
9. 제 7항에 있어서, 상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
10. 제 7항에 있어서, 상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
11. 제 7항에 있어서, 상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
12. 제 1항에 있어서, 상기 ED길이는, 컨텍스트ID의 값에 상관없이 연속해서 발생하는 ESD의 수로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
13. 제 1항에 있어서, 상기 ED길이는, 컨텍스트ID의 값이 동일한 다수개의 ESD가 연속해서 발생할 경우, 상기 연속해서 발생하는 ESD의 수를 ED길이로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
14. 제 1항에 있어서, 컨텍스트ID의 값이 동일한 다수개의 ESD가 연속해서 발생할 경우, 컨텍스트ID를 공유하여 ESD 부호화 포맷을 구성함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
15. 제 1항에 있어서, 물체의 외부에 존재하는 ESD를 하나로 묶어 하나의 컨텍스트ID를 사용하여 부호화 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
16. 제 1항에 있어서, 물체의 내부에 존재하는 ESD를 하나로 묶어 하나의 컨텍스트ID를 사용하여 부호화 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
17. 소정 갯수의 매크로블럭으로 이루어진 VOP 내에 포함된 대상물 영상을 해상도가 다른 봇수개의 레이어로 전송하여 복호화하는 MPEG-4의 신축형 모양정보 부호화 방법에 있어서,

    저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, ESD의 부호화 포맷을 구성하는 컨텍스트ID와, 컨텍스트RUN과, ED길이를 다르게 정의하여 ESD를 부호화 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
18. 제 17항에 있어서, 상기 컨텍스트ID는, ESD가 물체의 내부에 있을 경우에는 1을, 물체의 외부에 있을 경우에는 0을 부여하도록 정의함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
19. 제 18항에 있어서, 상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
20. 제 18항에 있어서, 상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
21. 제 18항에 있어서, 상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
22. 제 18항에 있어서, 상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
23. 제17항에 있어서, 상기 컨텍스트ID는, ESD가 물체의 내부에 있을 경우에는 0을, 물체의 외부에 있을 경우에는 1을 부여하도록 정의함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
24. 제 23항에 있어서, 상기 '컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
25. 제 23항에 있어서, 상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 존재하는 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
26. 제 23항에 있어서, 상기 컨텍스트ID의 값이 0일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 1의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
27. 제 23항에 있어서, 상기 컨텍스트ID의 값이 1일 경우에는, 이전의 ESD와 현재 ESD 사이에 TSD를 제외한 상태에서 0의 값을 가지는 화소수를 컨텍스트RUN으로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
28. 제 23항에 있어서, 상기 ED길이는, 컨텍스트ID의 값에 상관없이 연속해서 발생하는 ESD의수로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
29. 제 17항에있어서, 상기 ED길이는, 컨텍스트ID의 값이 동일한 다수개의 ESD가 연속해서 발생할 경우, 상기연속해서 발생하는 ESD의 수를 ED길이로 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
30. 제 17항에 있어서, 컨텍스트ID의 값이 동일한 다수개의 ESD가 연속해서 발생할 경우, 컨텍스트ID를 공유하여 ESD 부호화 포맷을 구성함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
31. 제 17항에 있어서, 물체의 외부에 존재하는 ESD를 하나로 묶어 하나의 컨텍스트ID를 사용하여 부호화 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
32. 제 17항에 있어서, 물체의 내부에 존재하는 ESD를 하나로 묶어 하나의 컨텍스트ID를 사용하여 부호화 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.

Images