KR100476384B1 - 신축형대상물영상의스캔인터리빙방법및이를이용한mpeg-4의신축형모양정보부호화방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

스캔 인터리빙 방법

2. 발명이 해결하려고 하는 기술적 과제

부호화 효율 향상

3. 발명의 해결방법의 요지

저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, 대상물 영상의 TSD의 배열 특성에 대한 특정규칙을 정하여 인코더와 디코더에 인지시킨 후, TSD 부호화시, 상기 특정규칙의 만족여부를 검출하여, 특정규칙을 만족할 경우에는 적용된 특정규칙을 나타내는 스캔 인터리빙의 수행 없이 부가정보만을 전송하고, 특정규칙의 어느 것도 만족하지 않을 경우에는 스캔 인터리빙을 수행하여 부호화 한다.

4. 발명의 중요한 용도

영상 신호 처리, MPEG

Description

신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양 정보 부호화 방법(SHAPE INFROMATION CODING METHOD)에 관한 것으로, 특히, 신축형 모양정보 부호화(SCALABLE SHAPE CODING)과정 중 스캔 인터리빙(SCAN INTERLEAVING) 방법을 이용하여 인헨스먼트 레이어(ENHANCEMANT LAYER)를 부호화할 경우, 대상물 영상의 트랜지션날 샘플 데이터(TRANSITIONAL SAMPLE DATA)의 배열특성에 대한 특정규칙을 정하여 인코더(ENCODER)와 디코더(DECODER)에 인지시킨 후, 트랜지셔날 샘플 데이터의 부호화 시, 상기 특정규칙의 만족여부를 검출하여, 특정규칙을 만족할 경우에는 적용된 특정규칙을 나타내는 스캔 인터리빙 수행 없이 부가정보만을 전송하고, 특정규칙의 어느 것도 만족하지 않을 경우에는 스캔 인터리빙을 수행하여 부호화 하므로 인해, 부호화 효율을 향상시키기 위한 것이다.

주지하다시피, 최근의 동영상 처리 기술은, 인가되는 한 프레임(FRAME) 분의 영상의 전체적으로 압축 부호화하는 방법에서 탈피하여, 임의의 모양 정보를 갖는 소정의 단위블럭(또는 VOP(VIDEP OBJECT PLANE: 이하 VOP라 한다))으로 구분하여 그 각각에 대해 압축 부호화하여 전송하는 방향으로 흐르고 있다.

즉, 인가되는 영상을 각각의 대상물 영상과 배경 영상으로 분리하여, 상기 대상물 영상의 변화 여부만을 전송하므로써 압축 효율화 및 부호화 효율을 꾀하고 있으며, 이에 대한 국제 표준안을 마련하고 있다.

예를 들어, 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG(MOVING PICTURE EXPERTS GROUP: 미디어 통합계 동영상 압축의 국제표준: 이하 MPEG이라한다)-1, MPEG-2와는 달리 임의의 모양정보를 갖는 물체를 부호화 하는 방식에 대한 표준화작업인 MPEG-4를 진행하고 있으며, 상기 표준화가 진행되고 있는 MPEG-4는 VOP의 개념을 기초로 하고 있다.

여기서 상기 VOP는, 인가되는 영상을 배경 영상과 각각의 대상물 영상으로 분리하고, 상기 분리한 배경 영상과 대상물 영상을 포함하는 사각형으로 정의되는 것으로, MPEG-4에서는, 영상 내에 소정의 물체, 또는 소정의 영역으로 이루어진 대상물의 영역이 존재할 경우, 그 대상물의 영상을 각각의 VOP로 분리하고, 분리한 상기 VOP를 각기 부호화 하는 것을 골격으로 하고 있다.

이러한 VOP는 자연 영상, 또는 인공 영상 등을 대상물 영상의 단위로 하여 자유자재로 합성 내지는 분해할 수 있는 장점을 가지는 것으로, 컴퓨터 그래픽스 및 멀티미디어 분야 등에서 대상물의 영상을 처리하는 데 기본이 되고 있다.

도 1은 국제표준 산하기구(ISO/IEC JTCl/SC29/WG11 MPEG96/N1172 JANUARY)에서 1차적으로 확정한 VM(VERIFICATION MODEL: 검증모델: 이하 VM이라 한다)엔코더(ENCODER)(10)의 구성을 나타낸 블럭도이다.

여기서, VOP형성부(VOP FORMATION)(11)는 전송 또는 저장할 영상 시퀀스(SEQUENCE)가 입력될 경우에 이를 대상물 영상 단위로 나누어 각기 다른 VOP로 형성한다.

도 2는 대상물 영상으로 고양이의 영상을 설정하여 하나의 VOP를 형성한 일례를 나타낸 것이다.

여기서, VOP의 가로 방향 크기는 VOP폭으로 정의되고, 세로 방향의 크기는 VOP높이로 정의되며, 형성된 VOP는 좌측 상단을 그리드(GRID) 시작점으로 하여, X축 및 Y축으로 각기 M개 및 N개의 화소를 가지는 M×N 매크로 블럭으로 구획된다. 예를 들면 X축 및 Y축으로 각기 16개의 화소를 가지는 16×16 매크로 블럭으로 구획된다.

이때, VOP의 우측과 하단에 형성되는 매크로 블럭의 X축 및 Y축 화소가 각기 M개 및 N개가 아닐 경우에는 VOP의 크기를 확장하여 각각의 매크로 블럭의 X축 및 Y축 화소가 모두 M개 및 N개로 되게 한다.

그리고, 상기 M 및 N은 후술하는 대상물내부부호화부(TEXTURE CODING)에서 서브 블럭의 단위로 부호화를 수행할 수 있도록 하기 위하여 각기 짝수로 설정된다.

한편, 상기 VOP형성부(11)에서 형성된 각각의 VOP는 VOP부호화부(12A, 12B, ‥· , 12N)에 각기 입력되어 VOP 별로 부호화 되고, 멀티플렉서(13)에서 다중화되어 비트열(BIT STREAM)로 전송된다.

도 4는 국제표준 산하기구에서 1차적으로 확정한 VM엔코더(10)의 VOP부호화 부(12A, 12B,‥·, 12N))의 구성을 나타낸 블럭도로 이를 설명하면 다음과 같다.

먼저, 상기 VOP 형성부(11)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임추정부(MOTION ESTIMATION)(31)에 입력되면, 상기 움직임추정부(31)는 인가된 VOP로부터 매크로 블럭 단위의 움직임을 추정하게 된다.

또한, 상기 움직임추정부(31)에서 추정된 움직임 정보는 움직임보상부(MOTION COMPENSATION)(32)에 입력되어 움직임이 보상된다.

그리고, 상기 움직임보상부(32)에서 움직임이 보상된 VOP는 상기 VOP형성부(11)에서 형성된 VOP와 함께 감산기(33)에서 입력되어 차이값이 검출되고, 상기 감산기(33)에서 검출된 차이값은 대상물내부부호화부(34)에 입력되어 매크로 블럭의 서브 블럭 단위로 대상물의 내부정보가 부호화된다.

예를 들면, 매크로 블럭의 X축 및 Y축이 M/2×N/2으로 각기 8개의 화소를 가지는 8×8의 서브 블럭으로 세분화된 후 대상물 내부정보가 부호화된다.

한편, 상기 움직임보상부(32)에서 움직임이 보상된 VOP와, 상기 대상물내부 부호화부(34)에서 부호화된 대상물의 내부정보는 가산기(35)에 입력되어 가산되고, 상기 가산기(35)의 출력신호는 이전VOP검출부(PREVIOUS RECONSTRUCTED VOP)(36)에 입력되어 현재영상 바로 전 영상의 VOP인 이전VOP가 검출된다.

또한, 상기 이전VOP검출부(36)에서 검출된 상기 이전VOP는 상기 움직임추정부(31) 및 움직임보상부(32)에서 입력되어 움직임 춘정 및 움직임 보상에 사용된다.

그리고, 상기 VOP형성부(11)에서 형성된 VOP는 모양부호화부(SHAPE CODING BLOCK)(37)에 입력되어 모양 정보가 부호화된다.

여기서, 상기 모양부호화부(37)의 출력신호는 상기 VOP부호화부(12A, 12B, ‥·, 12N)가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 상기 모양부호화부(37)의 출력신호를 움직임추정부(31), 움직임보상부(32) 및 대상물내부부호화부(34)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화하는데 사용할 수 있다.

또한, 상기 움직임추정부(31)에서 추정된 움직임 정보와, 상기 대상물내부부호화부(34)에서 부호화된 대상물 내부 정보 및 상기 모양부호화부(37)에서 부호화 된 모양 정보는 멀티플렉서(38)에서 인가되어 다중화 된 후, 버퍼(39)를 통해 도 1의 멀티플렉서(13)로 출력되어 비트열로 전송된다.

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM디코더(DECODER)(20)의 구성을 나타낸 블럭도이다.

상기 VM엔코더(10)를 통해 부호화되고, 비트열로 전송되는 정보인 VOP의 부호화 신호는 VM디코더(20)의 디멀티플렉서(21)에서 VOP별로 각기 분리된다.

또한, 상기 분리된 각각의 VOP부호화 신호는 VOP디코더(22A, 22B,···, 22N)에 의해 각기 디코딩되며, 상기 VOP디코더(22A,22B‥·, 22N)에서 출력되는 디코딩 신호는 합성부(23)에서 합성되어 원래의 영상으로 출력된다.

이러한 MPEG-4에 있어서, 상기 VOP형성부(11)에서 전송된 각각의 VOP를 부호화하는 상기 모양부호화부(37)에서 적용되는 기술로는, N×N 블럭(N=16,8,4)을 기반으로 하는 모양 정보를 부호화하는 MMR모양 정보 부호화 기술(MMR SHAPE CODING TECHNIQUE)과, 정점을 기반으로 하여 모양 정보를 부호화하는 정점 기반 모양 정보 부호화 기술(VERTEX-BASED SHAFE CODING TECHNlQUE)과, 기초선 기반 모양 정보 부호화 기술(BASELINE-BASED SHAPE CODING TECHNIQUE) 및 상황 기반 산술 부호화 기술(CONTEXT-BASED ARITHMETIC CODING) 등이 있다.

한편, 신축형 모양정보 부호화는, 해상도가 다른 복수 개의 레이어[베이스 레이어(BASE LAYER), 인헨스먼트 레이어]를 전송하고 복호화 하는 기능으로 MPEG-4에서는 이를 지원하고 있다.

주지하다시피, 복수 개의 다른 해상도를 가지는 정보를 전송하기 위해서는 많은 양의 정보를 전송해야 하는데, 많은 정보를 전송한다는 것은 그 만큼의 전송 효율을 저하시킨다는 문제점이 있다.

따라서 MPEG-4에서는, 전송할 정보의 양을 줄이기 위해서, 도 5에서 도시되는 바와 같이, 저해상도의 베이스 레이어를 이용하여 고해상도의 인헨스먼트를 추정하는 방법을 적용하고 있다.

베이스 레이어를 이용하여 인헨스먼트 레이어를 부호화하는 방법은, 베이스 레이어의 1-VOP(INTRA VIDEO OBJECT PLANE: 이하 I-VOP라 한다.)를 이용하는 방법과, P-VOP(PREDICTED VIDEO OBJECT PLANE: 이하 P-VOP라 한다 )이용하는 방법 및 B-VOP(BY-DIRECTION VIDEO OBJECT PLANE: 이하 P-VOP라 한다.)을 이용하는 방법이 있다.

베이스 레이어의 I-VOP를 이용하여 베이스 레이어를 인헨스먼트 레이어로 부호화 할 경우에는 스켄 인터리빙 방법을 이용하는데 이를 설명하면 다음과 같다.

인헨스먼트 레이어를 부호화 하기 위해서는, 부호화할 화소의 아래와 위, 또는 왼쪽과 오른쪽에 존재하는 이웃하는 레퍼런스 스캔 라인(REFERENCE SCAN LINE: 이하 RSL라 한다.)(즉, 베이스 레이어)의 화소값을 이용한다.

도 6은 베이스 레이어로부터 인헨스먼트 레이어를 부호하하는 과정 중 수평 방향의 검색(HORIZONTAL SCANNING)을 나타낸 것으로, 부호화할 화소의 아래와 위에 존재하는 RSL의 값을 이용한다.

즉, 상기 아래와 위에 존재하는 두 이웃 화소의 값이 같을 경우에는 부호화 하고자 하는 현재 위치의 화소값도 같은 값을 가질 가능성이 많으므로, 두 이웃 화소값이 같고 현재 위치의 화소값도 두 이웃 화소값과 같을 경우에는 부호화를 하지않는다.

그러나, 두 이웃 화소값이 다를 경우는 현재 위치의 화소값이 다를 가능성이 많으므로, 부호화 하고자 하는 현재위치의 화소값을 부호화 해주어야 하는데, 이 경우를 트랜지셔날 샘플(TRANSITIONAL SAMPLE)(도 6 중 실선으로 표시한 타원)이라 한다.

또한, 두 이웃 화소값은 같지만 현재 위치의 화소값이 다를 경우도 부호화를 해주어야 하는데, 이 경우를 익셉셔날 샘플(EXCEPTIONAL SMPLE)(도 6중 점선으로 표시한 타원)이라 한다.

따라서 인헨스먼트 레이어를 부호화 하기 위해서는 두 가지 종류의 데이터, 즉, 트랜지셔날 샘플 데이터(TRANSITIONAL SAMPLE DATA: 이하 TSD라 한다.)와 익셉션날 샘플 데이터(EXCEPTIONAL SAMPLE DATA: 이하 ESD라 한다.)가 존재할 수 있다.

이하, 도 7에서 도시되는 바와 같이, 4×4의 인헨스먼트 레이어의 영상을 베이스 레이어의 영상으로 부호화하여 전송한 후, 이를 다시 스캔 인터리빙 방법에 의해 인헨스먼트 레이어의 영상으로 부호화 하는 과정을 상세히 설명하면 다음과 같다.

먼저, 상기 VOP엔코더(10)에서, 도 7a에 도시되는 바와 같이, 4×4의 인헨스먼트 레이어의 영상을 4등분 한 후 그 우측 아래의 화소(A5, A7, A13, A15)를 선택하여 도 7b와 같은 베이스 레이어의 영상을 만들어 VOP디코더(20)로 전송한다. 이때, 인헨스먼트 레이어의 영상을 4등분 하는 이유는 베이스 레이어의 영상이 인헨스먼트 영상의 1/4 크기이기 때문이다.

이후, 상기 VOP디코더(20)에서는 전송된 베이스 레이어로부터 인헨스먼트 영상을 부호화하여 복원하는데, 이를 도 8을 참조하여 수평 방향 검색 방법과 수직 방향 검색 방법으로 나누어 상세히 설명하면 다음과 같다.

도 8a는 수평 검색 방법을 설명하기 위한 것으로, 현재 X점의 화소를 부호화 할 차례라 하자.

그러면, 상기 X점에 이웃하는 화서는 "5A, A6, A7, A13, A14, A15 및 BO"다. 이때, 상기 A5, A6, A7, A13, A14, A15 및 BO 화소는 전단계의 스캔인터리빙 방법에 의해 그 값이 구해진 것으로, 구하고자 하는 X점의 화소는, 상기 A5, A6, A7, A13, A14, A15, BO의 값을 컨택스트 기반 산술부호화(CONTEXT-BASED ARITHMETIC ENCODING: 이하 CAE라 한다.) 방법에 의해 구하게 된다. 즉, 수평, 수직방향에 존재하는 7개 화소에 대한 컨택스트(CONTEXT)를 이용하여 CAE를 수행하여 부호화를 하는 것이다.

마찬가지로, 수직 검색 방법은, 도 8b에서 도시되는 바와 같이, CO, C1, C2, A5, A7, A13, A15의 화소값으로부터 구하고자 하는 Y 점의 화소값을 구하게 된다.

여기서, BO, CO, C2의 화소는 수평 검색 방법에 의해 구한 값을 나타낸 것이고, C1 화소는 수직 검색 방법에 의해 구한 값을 나타낸 것이며, 빗금친 화소는 다음번에 구할 화소를 나타낸 것이다.

따라서, 수평 검색을 행하면 세로 방향의 화소가 2배로, 수직 검색을 행하면 가로 방향의 화소가 2배로 증가되어, 결국 2×2의 베이스 레이어 영상이 4×4의 인헨스먼트 레이어의 영상으로 복원되게 되는 것이다.

즉, 베이스 레이어의 영상을 인헨스먼트 레이어의 영상으로 부호화 하기 위해서는 수평 방향 검색과 수직 방향 검색을 각각 수행하여야 하며, 그 검색 순서는 수평 방향 검색을 행한 후 수직 방향 검색을 행하도록 규정되어 있다.

그러나, 상기와 같은 종래의 스캔 인터리빙 방법은, 특정한 표현 양식을 갖는 TSD의 특성에 대한 고려 없이 부호화를 수행하므로 인해, 필요 이상의 많은 비트가 할당되어 부호화 효율을 저하시키게 된다는 문제점이 있었다.

다시말해, TSD는 그 특성상, 위의 RSL, 또는 아래의 RSL의 값과 동일한 값을 가지므로, 상기 특성에 대한 정보만 전송하여도 됨에 불구하고, 스캔 인터리빙을 수행하므로 인해, 필요 이상의 비트가 할당되어 부호화 효율을 저하시키게 된다는 문제점 및, 스캔 인터리빙 수행을 위한 시간이 불필요하게 소요된다는 문제점 등이 있었다.

본 발명의 목적은, 상기와 같은 종래의 문제점을 해소하기 위한 것으로, 특히, 스캔 인터리빙을 수행하여 인헨스먼트 레이어의 영상을 부호화 할 경우, 대상물 영상의 TSD의 배열 특성에 대한 특정규칙을 정하여 인코더와 디코더에 인지시킨 후, TSD 부호화 시, 상기 특정규칙의 만족여부를 검출하여, 특정규칙을 만족할 경우에는 적용된 특정규칙을 나타내는 스캔 인터리빙의 수행 없이 부가정보만을 전송하고, 특정규칙의 어느 것도 만족하지 않을 경우에는 스캔 인터리빙을 수행하여 부호화 하므로 인해, 부호화 효율을 향상시킬 수 있는 신축형 대상물 영상의 스캔 인터리빙 방법을 제공하는데 있다.

본 발명의 다른 목적은, 상기 신축형 대상물 영상의 스캔 인터리빙 방법을 MPEG-4에 적용시킨 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법은, 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 부호화 방법에 있어서,

저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, TSD의 배열 특성에 대한 특정규칙을 설정하여 부호화 함을 그 방법적 구성상의 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 위쪽에 이웃하는 RSL의 값과 동일함을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 0의 값을 가짐을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 1의 값을 가짐을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 위쪽에 이웃하는 RSL의 값과 소정의 크기를 갖는 단위블럭 내에서 항상 동일함을 나타내도록 함을 특징으로 한다.

상기 소정의 크기를 갖는 단위블럭은, 1 프레임 분의 화면 단위임을 특징으로 한다.

상기 소정의 크기를 갖는 단위블럭은, VOP단위임을 특징으로 한다.

상기 소정의 크기를 갖는 단위블럭은, 윤곽선 단위임을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 아래쪽에 이웃하는 RSL의 값과 동일함을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 항상 0의 값을 가짐을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 항상 1의 값을 가짐을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 아래쪽에 이웃하는 RSL의 값과 동일함을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특징규칙은, 부호하 하고자 하는 TSD의 화소의 값이, 당해 팜플렛(TEMPLATE)의 기 부호화된 이웃하는 7개의 값 중, 0 또는 1이 발생하는 개수가 많은 쪽의 값을 가진다고 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 당해 팜플렛의 기 부호화된 이웃하는 7개의 값 중, 0 또는 1이 발생하는 개수가 적은 쪽의 값을 가진다고 함을 특징으로 한다.

한편, 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법은, 소정 갯수의 매크로블럭으로 이루어진 VOP 내에 포함된 대상물 영상을 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 MPEG-4의 신축형 모양정보 부호화 방법에 있어서, 저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, TSD의 배열 특성에 대한 특정규칙을 설정하여 부호화 함을 그 방법적 구성상의 특징으로 한다.

또한, 상기 VOP 내의 모든 TSD가 상기 특정규칙을 만족하는 지의 여부를 검출하여, 상기 특정 규칙을 만족할 경우에는, VOP 내부의 BAB에 대한 부보화 과정없이 VOP에 만족하는 특정 규칙에 대한 부가정보를 전송함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 위쪽에 이웃하는 RSL의 값과 동일함을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 아래쪽에 이웃하는 RSL의 값과 동일함을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 0의 값을 가짐을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 1의 값을 가짐을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 위쪽에 이웃하는 RSL의 값과 항상 동일함을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 아래쪽에 이웃하는 RSL의 값과 항상 동일함을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 항상 0의 값을 가짐을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 항상 1의 값을 가짐을 나타내도록 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 당해 탬플렛의 기 부호화된 이웃하는 7개의 값 중, 0 또는 1이 발생하는 개수가 많은 쪽의 값을 가진다고 함을 특징으로 한다.

또한, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 당해 탬플렛의 기 부호화된 이웃하는 7개의 값 중, 0 또는 1이 발생하는 개수가 적은 쪽의 값을 가진다고 함을 특징으로 한다.

이러한 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법은, 특히, 스캔 인터리빙을 수행하여 인헨스먼트 레이어의 영상을 부호화 할 경우, 대상물 영상의 TSD의 배열 특성에 대한 특정규칙을 정하여 인코더와 디코더에 인지시킨 후, TSD 부호화 시, 상기 특정규칙의 만족여부를 검출하여, 특정규칙을 만족할 경우에는 적용된 특정규칙을 나타내는 스캔 인터리빙의 수행 없이 부가정보만을 전송하고, 특정규칙의 어느것도 만족하지 않을 경우에는 스캔 인터리빙을 수행하여 부호화 하므로 인해, 부호화 효율을 향상 시킬 수 있게 되는 것이다.

이하, 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법의 기술적 사상에 따른 실시예를 들어 그 구성 및 동작을 첨부된 도면에 의거 상세히 설명하면 다음과 같다.

본 실시예에서는 발명의 기술적 사상을 MPEG-4에 적용한 것에 한정하여 설명한다.

먼저, TSD의 배열 특성을 분석하여, 상기 배열 특성을 나타내는 특정규칙을 만들어 VOP인코더(10)와 VOP디코더(20)에 저장한다.

다시 말해, TSD는 그 정의 특성상 윗쪽에 존재하는 RSL의 값과 동일하거나, 또는 아래쪽에 존재하는 RSL의 값과 동일하다.

따라서, 상기의 특성으로부터 다음과 같은 특정규칙들을 만들 수 있다.

1) 윗쪽을 존재하는 RSL의 값과 동일하다.

2) 아래쪽에 존재하는 RSL의 값과 동일하다.

3) 윗쪽에 존재하는 RSL의 값과 항상 동일하다.

4) 아래쪽에 존재하는 RSL의 값과 항상 동일하다.

5) 한 프레임 분의 영상 전체, 또는 VOP의 단위, 윤곽선 단위 및 설정한 임의의 크기를 갖는 영상 내에서 항상 0의 값을 같는다.

6) 한 프레임 분의 영상 전체, 또는 VOP의 단위, 윤곽선 단위 및 설정한 임의의 크기를 갖는 영상 내에서 항상 0의 값을 같는다.

7) 당해 탬플렛의 기 부호화된 이웃하는 7개의 값 중, 0 또는 1이 발생하는 개수가 많은 쪽의 값을 가진다.

8) 당해 탬플렛의 기 부호화된 이웃하는 7개의 값 중, 0 또는 1이 발생하는 개수가 적은 쪽의 값을 가진다.

9) 상기 각 특정 규칙 들을 조합하여 형성한 특정규칙.

이후, 도 10에서 도시되는 바와 같이, TSD의 배열 특성을 분석하여, 그 배열 특성이 상기의 특정규칙 중 어느 하나를 만족하는 지의 여부를 검출하게 된다.

이때, 상기 특정규칙 중의 어느 하나를 만족할 경우에는 당해 TSD에 대한 스캔 인터리빙의 수행 없이, 상기 만족하는 특정규칙을 전송하게 되고, 어느 하나의 특정규칙을 만족시키지 않을 경우에는 스캔 인터리빙을 수행하여 부호화를 하게 되는 것이다.

예를 들어, 도 9와 같이 TSD의 배열이 존재할 경우, 이는에는 상기 특정규칙중, 윗쪽에 존재하는 RSL의 값과 항상 동일하다.라는 3)번 규칙을 만족하므로, TSD에 대한 스캔 인터리빙의 수행없이, 당해 임의의 범위(COP단위, 또는 윤곽선 단위, 프레임 단위, 임의 크기단위)내에 존재하는 모든 TSD는 상기 3)번 규칙을 만족한다는 부가정보 만을 전성하면 된다. 부연설명하면, 인코더와 디코다가 TSD 처리에 대한 특정규칙을 가지고 있는 경우라면, 그 부가정보는 스캔할 화소가 "TSD"라는 것만 포함하면 되는 것이다. 부가정보의 구체적인 표현방법의 예를 들면, 현재 부호화하고자 하는 블록타입(block type)이 TSD임을 표현하는 "바이너리 플래그(binary flag)"와 TSD에 대한 "블록 내 위치정보"로 표현될 수 있다.

따라서, 각각의 TSD를 부호화 하였을 경우에 발생하는 비트수를 줄여 부호화 효율을 항상 시킬 수 있게 되는 것이다.

이상에서 살펴본 바와 같이 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법은, 특히, 스캔 인터리빙을 수행하여 인헨스먼트 레이어의 영상을 부호화 할 경우, 대상물 영상의 TSD의 배열 특성에 대한 특정규칙을 정하여 인코더와 디코더에 인지시킨 후, TSD 부호화 시, 상기 특정규칙의 만족여부를 검출하여, 특정규칙을 만족할 경우에는 적용된 특정 규칙을 나타내는 스캔 인터리빙의 수행 없이 부가정보만을 전송하고, 특정규칙의 어느것도 만족하지 않을 경우에는 스캔 인터리빙을 수행하여 부호화 하므로 인해, 부호화 효율을 향상시킬 수 있게 되는 효과가 있는 것이다.

도 1은 국제표준 산하기구에서 1차적으로 확정한 VM 엔코더의 구성을 나타낸 블럭도,

도 2는 모양 정보를 가지는 VOP를 매크로 블럭으로 구획하여 나타낸 도면,

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM 디코더의 구성을 나타낸 블럭도,

도 4는 국제표준 산하기구에서 1차적으로 확정한 VOP 부호화부의 구성을 나타낸 블럭도,

도 5는 공간적 신축형 부호화 개념도,

도 6은 신축형 부호화부를 위한 스캔 인터리빙 과정을 예시한 도면,

도 7,8은 인헨스먼트 레이어 영상의 부호화 방법을 나타낸 도면,

도 9는 특정규칙을 만족하는 TSD 배열의 일례를 나타낸 도면,

도 10은 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법 및 이를 이용한 MPEG-4의 신축형 모양정보 부호화 방법을 나타낸 제어흐름도.

＜도면의 주요 부분에 대한 부호의 설명＞

10: VM 엔코더 11: VOP 형성부

12A, 12B‥·, 12N: VOP 부호화부 13,38: 멀티플렉서

20: VM 디코더 21: 디멀티플렉서

22A,22B‥·, 22N: VOP 디코더 23: 합성부

31: 움직임추정부 32: 움직임보상부

33: 감산기 34: 대상물내부부호화부

35: 가산기 36: 이전VOP검출부

37: 모양부호화부

Claims (29)

1. 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 부호화 방법에 있어서,

   저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, TSD의 배열 특성에 대한 특정 규칙을 설정하여 부호화함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙방법.
2. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 위쪽에 이웃하는 RSL의 값과 동일함을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
3. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 아래쪽에 이웃하는 RSL의 값과 동일함을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
4. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 0의 값을 가짐을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
5. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 1의 값을 가짐을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
6. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 위쪽에 이운하는 RSL의 값과 소정의 크기를 갖는 단위블럭 내에서 항상 동일함을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
7. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 아래쪽에 이웃하는 RSL의 값과 소정의 크기를 갖는 단위블럭 내에서 항상 동일함을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
8. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 소정의 크기를 갖는 단위블럭 내에서 항상 0의 값을 가짐을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
9. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 소정의 크기를 갖는 단위블럭 내에서 항상 1의 값을 가짐을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
10. 제6항 내지 제9항에 있어서, 상기 소정의 크기를 갖는 단위블럭은, 1 프레임 분의 화면 단위임을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
11. 제6항 내지 9항에 있어서, 상기 소정의 크기를 갖는 단위블럭은, VOP 단위임을 특징으로 신축형 대상물 영상의 스캔 인터리빙 방법.
12. 제6항 내지 제9항에 있어서, 상기 소정의 크기를 갖는 단위블럭은, 윤곽선 단위임을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
13. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 당해 템플렛(TEMPLATE)의 기 부호화된 이웃하는 7개의 값중, 0 또는 1이 발생하는 개수가 많은 쪽의 값을 가진다고 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
14. 제1항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자 하는 TSD의 화소의 값이, 당해 탬플렛의 기 부호화된 이웃하는 7개의 값 중, 0 또는 1이 발생하는 개수가 적은 쪽의 값을 가진다고 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법.
15. 소정 갯수의 매크로블럭으로 이루어진 VOP 내에 포함된 대상물 영상을 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 MPEG-4의 신축형 모양정보 부호화 방법에 있어서,

    저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, TSD의 배열 특성에 대한 특정 규칙을 설정하여 부호화 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
16. 제15항에 있어서, 상기 VOP 내의 모든 TSD가 상기 특정규칙을 만족하는 지의 여부를 검출하여, 상기 특정 규칙을 만족할 경우에는, VOP 내부의 BAB에 대한 부호화 과정 없이 VOP에 만족하는 특정 규칙에 대한 부가정보를 전송함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
17. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 위쪽에 이웃하는 RSL의 값과 동일함을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
18. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부화화 하고자하는 TSD의 화소의 값이, 아래쪽에 이웃하는 RSL의 값과 동일함을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
19. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 0의 값을 가짐을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화방법.
20. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 1의 값을 가짐을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화방법.
21. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 위쪽에 이웃하는 RSL의 값과 소정의 크기를 갖는 단위블럭 내에서 항상 동일함을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
22. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 아래쪽에 이웃하는 RSL의 값과 소정의 크기를 갖는 단위 블럭 내에서 항상 동일함을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
23. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙, 부호화 하고자 하는 TSD의 화소의 값이, 소정의 크기를 갖는 단위블럭 내에서 항상 0의 값을 가짐을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축성 모양정보 부호화 방법.
24. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소 값이, 소정의 크기를 갖는 단위블럭 내에서 항상 1의 값을 가짐을 나타내도록 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
25. 제21항 내지 제24항에 있어서, 상기 소정의 크기를 갖는 단위블럭은, 1프레임 분의 화면 단위임을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
26. 제21항 내지 제24항에 있어서, 상기 소정의 크기를 갖는 단위 블럭은, VOP 단위임을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
27. 제21항 내지 제24항에 있어서, 상기 소정의 크기를 갖는 단위 블럭은, 윤곽선 단위임을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
28. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 당해 탬플렛의 기 부호화된 이웃하는 7개의 값 중, 0 또는 1이 발생하는 개수가 많은 쪽의 값을 가진다고 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.
29. 제15항에 있어서, 상기 TSD의 배열 특성에 대한 특정규칙은, 부호화 하고자하는 TSD의 화소의 값이, 당해 탬플렛의 기 부호화된 이웃하는 7개의 값 중, 0 또는 1이 발생하는 개수가 적은 쪽의 값을 가진다고 함을 특징으로 하는 신축형 대상물 영상의 스캔 인터리빙 방법을 이용한 MPEG-4의 신축형 모양정보 부호화 방법.

Images