KR100483675B1 - 신축형모양정보부호화시손실부호화방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

스캔 인터리빙 방법

2. 발명이 해결하려고 하는 기술적 과제

스캔 인터리빙 시, 을 사용하여 손실 부호화가 가능할 수 있도록 한 것이다.

3. 발명의 해결방법의 요지

저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, 신축형 모양정보 부호화 과정 중 스캔 인터리빙을 사용하여 손실 부호화가 가능할 수 있도록 산술 부호화에 사용되는 확률표를 수정한 것이다.

4. 발명의 중요한 용도

영상 신호 처리, MPEG, 스캔 인터리빙

Description

신축형 모양정보 부호화 시 손실 부호화 방법

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양 정보 부호화 방법(SHAPE INFORMATION CODING METHOD)에 관한 것으로, 특히, 신축형 모양정보 부호화(SCALABLE SHAPE CODING) 과정 중 스캔 인터리빙(SCAN INTERLEAVING)을 사용하여 손실 부호화가 가능할 수 있도록 산술 부호화에 사용되는 확률표를 수정한 것이다.

주지하다시피, 최근의 동영상 처리 기술은, 인가되는 한 프레임(FRAME) 분의 영상을 전체적으로 압축 부호화하는 방법에서 탈피하여, 임의의 모양 정보를 갖는 소정의 단위블럭(또는 VOP(VIDEO OBJECT PLANE : 이하 VOP라 한다))으로 구분하여 그 각각에 대해 압축 부호화하여 전송하는 방향으로 흐르고 있다.

즉, 인가되는 영상을 각각의 대상물 영상과 배경 영상으로 분리하여, 상기 대상물 영상의 변화 여부만을 전송하므로써 압축 효율화 및 부호화 효율을 꾀하고 있으며, 이에 대한 국제 표준안을 마련하고 있다.

예를들어, 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG(MOVING PICTURE EXPERTS GROUP : 미디어 통합계 동영상 압축의 국제표준 : 이하 MPEG이라 한다)-1, MPEG-2와는 달리 임의의 모양정보를 갖는 물체를 부호화 하는 방식에 대한 표준화작업인 MPEG-4를 진행하고 있으며, 상기 표준화가 진행되고 있는 MPEG-4는 VOP의 개념을 기초로 하고 있다.

여기서 상기 VOP는, 인가되는 영상을 배경 영상과 각각의 대상물 영상으로 분리하고, 상기 분리한 배경 영상과 대상물 영상을 포함하는 사각형으로 정의 되는 것으로, MPEG-4에서는, 영상 내에 소정의 물체, 또는 소정의 영역으로 이루어진 대상물의 영역이 존재할 경우, 그 대상물의 영상을 각각의 VOP로 분리하고, 분리한 상기 VOP를 각기 부호화 하는 것을 골격으로 하고 있다.

이러한 VOP는 자연 영상, 또는 인공 영상 등을 대상물 영상의 단위로 하여 자유자재로 합성 내지는 분해할 수 있는 장점을 가지는 것으로, 컴퓨터 그래픽스 및 멀티미디어 분야 등에서 대상물의 영상을 처리하는데 기본이 되고 있다.

도 1은 국제표준 산하기구(ISO/IEC JTC1/SC29/WG11 MPEG96/N1172 JANUARY)에서 1차적으로 확정한 VM(VERIFICATION MODEL : 검증모델 : 이하 VM이라 한다)엔코더(ENCODER)(10)의 구성을 나타낸 블럭도이다.

여기서, VOP형성부(VOP FORMATION)(11)는 전송 또는 저장할 영상 시퀀스(SEQUENCE)가 입력될 경우에 이를 대상물 영상 단위로 나누어 각기 다른 VOP로 형성한다.

도 2는 대상물 영상으로 고양이의 영상을 설정하여 하나의 VOP를 형성한 일례를 나타낸 것이다.

여기서, VOP의 가로 방향 크기는 VOP폭으로 정의되고, 세로 방향의 크기는 VOP높이로 정의되며, 형성된 VOP는 좌측 상단을 그리드(GRID) 시작점으로 하여, X축 및 Y축으로 각기 M개 및 N개의 화소를 가지는 M × N 매크로 블럭으로 구획된다. 예를 들면 X축 및 Y축으로 각각 16개의 화소를 가지는 16 × 16 매크로 블럭으로 구획된다.

이때, VOP의 우측과 하단에 형성되는 매크로 블럭의 X축 및 Y축 화소가 각기 M개 및 N개가 아닐 경우에는 VOP의 크기를 확장하여 각각의 매크로 블럭의 X축 및 Y축 화소가 모두 M개 및 N개로 되게 한다.

그리고, 상기 M 및 N은 후술하는 대상물내부부호화부(TEXTURE CODING)에서 서브 블럭의 단위로 부호화를 수행할 수 있도록 하기 위하여 각기 짝수로 설정된다.

한편, 상기 VOP형성부(11)에서 형성된 각각의 VOP는 VOP부호화부(12A, 12B, …, 12N)에 각기 입력되어 VOP 별로 부호화 되고, 멀티플렉서(13)에서 다중화되어 비트열(BIT STREAM)로 전송된다.

도 4는 국제표준 산하기구에서 1차적으로 확정한 VM엔코더(10)의 VOP부호화부(12A, 12B, …, 12N)의 구성을 나타낸 블럭도로 이를 설명하면 다음과 같다.

먼저, 상기 VOP형성부(11)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임추정부(MOTION ESTIMATION)(31)에 입력되면, 상기 움직임추정부(31)는 인가된 VOP로부터 매크로 블럭 단위의 움직임을 추정하게 된다.

또한, 상기 움직임추정부(31)에서 추정된 움직임 정보는 움직임보상부(MOTION COMPENSATION)(32)에 입력되어 움직임이 보상된다.

그리고, 상기 움직임보상부(32)에서 움직임이 보상된 VOP는 상기 VOP형성부(11)에서 형성된 VOP와 함께 감산기(33)에 입력되어 차이값이 검출되고, 상기 감산기(33)에서 검출된 차이값은 대상물내부부호화부(34)에 입력되어 매크로 블럭의 서브 블럭 단위로 대상물의 내부정보가 부호화된다.

예를 들면, 매크로 블럭의 X축 및 Y축이 M/2 × N/2으로 각기 8개의 화소를 가지는 8 × 8의 서브 블럭으로 세분화된 후 대상물 내부정보가 부호화된다.

한편, 상기 움직임보상부(32)에서 움직임이 보상된 VOP와, 상기 대상물내부부호화부(34)에서 부호화된 대상물의 내부정보는 가산기(35)에 입력되어 가산되고, 상기 가산기(35)의 출력신호는 이전VOP검출부(PREVIOUS RECONSTRUCTED VOP)(36)에 입력되어 현재영상 바로 전 영상의 VOP인 이전VOP가 검출된다.

또한, 상기 이전VOP검출부(36)에서 검출된 상기 이전VOP는 상기 움직임추정부(31) 및 움직임보상부(32)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 상기 VOP형성부(11)에서 형성된 VOP는 모양부호화부(SHAPE CODING BLOCK)(37)에 입력되어 모양 정보가 부호화된다.

여기서, 상기 모양부호화부(37)의 출력신호는 상기 VOP부호화부(12A, 12B, …, 12N)가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 상기 모양부호화부(37)의 출력신호를 움직임추정부(31), 움직임보상부(32) 및 대상물내부부호화부(34)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는데 사용할 수 있다.

또한, 상기 움직임추정부(31)에서 추정된 움직임 정보와, 상기 대상물내부부호화부(34)에서 부호화된 대상물 내부 정보 및 상기 모양부호화부(37)에서 부호화된 모양 정보는 멀티플렉서(38)에 인가되어 다중화 된 후, 버퍼(39)를 통해 도 1의 멀티플렉서(13)로 출력되어 비트열로 전송된다.

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM디코더(DECODER)(20)의 구성을 나타낸 블럭도이다.

상기 VM엔코더(10)를 통해 부호화되고, 비트열로 전송되는 정보인 VOP의 부호화 신호는 VM디코더(20)의 디멀티플렉서(21)에서 VOP 별로 각기 분리된다.

또한, 상기 분리된 각각의 VOP 부호화 신호는 VOP디코더(22A, 22B, …, 22N)에 의해 각기 디코딩되며, 상기 VOP디코더(22A, 22B, …, 22N)에서 출력되는 디코딩신호는 합성부(23)에서 합성되어 원래의 영상으로 출력된다.

이러한 MPEG-4에 있어서, 상기 VOP형성부(11)에서 전송된 각각의 VOP를 부호화하는 상기 모양부호화부(37)에 적용되는 기술로는, N × N 블럭(N = 16, 8, 4)을 기반으로 하는 모양 정보를 부호화하는 MMR 모양 정보 부호화 기술(MMR SHAPE CODING TECHNIQUE)과, 정점을 기반으로 하여 모양 정보를 부호화하는 정점 기반 모양 정보 부호화 기술(VERTEX-BASED SHAPE CODING TECHNIQUE)과, 기초선 기반 모양 정보 부호화 기술(BASELINE-BASED SHAPE CODING TECHNIQUE) 및 상황 기반 산술 부호화 기술(CONTEXT-BASED ARITHMETIC CODING ) 등이 있다.

한편, 신축형 모양정보 부호화는, 해상도가 다른 복수 개의 레이어[베이스 레이어(BASE LAYER), 인헨스먼트 레이어를 전송하고 복호화를 하는 기능으로 MPEG-4에서는 이를 지원하고 있다.

주지하다시피, 복수 개의 다른 해상도를 가지는 정보를 전송하기 위해서는 많은 양의 정보를 전송해야 하는데, 많은 정보를 전송한다는 것은 그 만큼의 전송 효율을 저하시킨다는 문제점이 있다.

따라서 MPEG-4에서는, 전송할 정보의 양을 줄이기 위해서, 도5에서 도시되는 바와 같이, 저해상도의 베이스 레이어를 이용하여 고해상도의 인헨스먼트를 추정하는 방법을 적용하고 있다.

베이스 레이어를 이용하여 인헨스먼트 레이어를 부호화하는 방법은, 베이스레이어의 I-VOP(INTRA VIDEO OBJECT PLANE : 이하 I-VOP라 한다.)를 이용하는 방법과, P-VOP(PREDICTED VIDEO OBJECT PLAN : 이하 P-VOP라 한다.) 이용하는 방법 및 B-VOP(BY-DIRECTION VIDEO OBJECT PLAN : 이하 B-VOP라 한다.)을 이용하는 방법이 있다.

베이스 레이어의 I-VOP를 이용하여 베이스 레이어를 인헨스먼트 레이어로 부호화 할 경우에는 스켄 인터리빙 방법을 이용하는데 이를 설명하면 다음과 같다.

인헨스먼트 레이어를 부호화 하기 위해서는, 부호화할 화소의 아래와 위, 또는 왼쪽과 오른쪽에 존재하여 이웃하는 래퍼런스 스캔 라인(REFERENCE SCAN LINE : 이하 RSL라 한다.) (즉, 베이스 레이어)의 화소값을 이용한다.

도 6은 베이스 레이어로부터 인헨스먼트 레이어를 부호화 하는 과정 중 수평 방향의 검색(HORIZONTAL SCANNING)을 나타낸 것으로, 부호화할 화소의 아래와 위에 존재하는 RSL의 값을 이용한다.

즉, 상기 아래와 위에 존재하는 두 이웃 화소의 값이 같을 경우에는 부호화하고자 하는 현재 위치의 화소값도 같은 값을 가질 가능성이 많으므로, 두 이웃 화소값이 같고 현재 위치의 화소값도 두 이웃 화소값과 같을 경우는 부호화를 하지 않는다.

그러나, 두 이웃 화소값이 다를 경우는 현재 위치의 화소값이 다를 가능성이 많으므로, 부호화 하고자 하는 현재위치의 화소값을 부호화 해주어야 하는데, 이 경우를 트랜지셔날 샘플(TRANSITIONAL SAMPLE)(도6 중 실선으로 표시한 타원)이라 한다.

또한, 두 이웃 화소값은 같지만 현재 위치의 화소값이 다를 경우도 부호화를 해주어야 하는데, 이 경우를 익셉셔날 샘플(EXCEPTIONAL SAMPLE)(도6 중 점선으로 표시한 타원)이라 한다.

따라서 인헨스먼트 레이어를 부호화 하기 위해서는 두 가지 종류의 데이터, 즉, 트랜지셔날 샘플 데이터(TRANSITIONAL SAMPLE DATA : 이하 TSD라 한다 )와 익셉셔날 샘플 데이터(EXCEPTIONAL SAMPLE DATA : 이하 ESD라 한다.)가 존재할 수 있다.

이하, 도7에서 도시되는 바와 같이, 4×4의 인헨스먼트 레이어의 영상을 베이스 레이어의 영상으로 부호화하여 전송한 후, 이를 다시 스캔 인터리빙 방법에 의해 인헨스먼트 레이어의 영상으로 부호화 하는 과정을 상세히 설명하면 다음과 같다.

먼저, 상기 VOP엔코더(10)에서, 도 7a에서 도시되는 바와 같이, 4×4의 인헨스먼트 레이어의 영상을 4등분 한 후 그 우측 아래의 화소(A5, A7, A13, A15)를 선택하여 도 7b와 같은 베이스 레이어의 영상을 만들어 VOP디코더(20)로 전송한다. 이때, 인헨스먼트 레이어의 영상을 4등분 하는 이유는 베이스 레이어의 영상이 인헨스먼트 영상의 1/4 크기이기 때문이다.

이후, 상기 VOP디코더(20)에서는 전송된 베이스 레이어로부터 인헨스먼트 영상을 부호화하여 복원하는데, 이를 도8을 참조하여 수평 방향 검색 방법과 수직 방향 검색 방법으로 나누어 상세히 설명하면 다음과 같다.

도8a는 수평 검색 방법을 설명하기 위한 것으로, 현재 X점의 화소를 부호화할 차례라 하자,

그러면, 상기 X점에 이웃하는 화소는 A5, A6, A7, A13, A14, A15 및 B0다. 이때, 상기 A5, A6, A7, A13, A14, A15 및 B0 화소는 전단계의 스캔인터리빙 방법에 의해 그 값이 구해진 것으로, 구하고자 하는 X점의 화소는, 상기 A5, A6, A7, A13, A14, A15 및 B0의 값을 컨택스트 기반 산술부호화 (CONTEXT-BASED ARITHMETIC ENCODING : 이하 CAE라 한다.) 방법에 의해 구하게 된다. 즉, 수평, 수직방향에 존재하는 7개 화소에 대한 컨택스트(CONTEXT)를 이용하여 CAE를 수행하여 부호화를 하는 것이다.

마찬가지로, 수직 검색 방법은, 도 8b에서 도시되는 바와 같이, C0, C1, C2, A5, A7, A13, A15의 화소값으로부터 구하고자 하는 Y점의 화소값을 구하게 된다.

여기서, B0, C0, C2의 화소는 수평 검색 방법에 의해 구한 값을 나타낸 것이고, C1화소는 수직 검색 방법에 의해 구한 값을 나타낸 것이며, 빗금친 화소는 다음번에 구할 화소를 나타낸 것이다.

따라서, 수평 검색을 행하면 세로 방향의 화소가 2배로, 수직 검색을 행하면 가로 방향의 화소가 2배로 증가되어, 결국 2×2의 베이스 레이어 영상이 4×4의 인헨스먼트 레이어의 영상으로 복원되게 되는 것이다.

즉, 베이스 레이어의 영상을 인헨스먼트 레이어의 영상으로 부호화 하기 위해서는 수평 방향 검색과 수직 방향 검색을 각각 수행하여야 하며, 그 검색 순서는 수평 방향 검색을 행한 후 수직 방향 검색을 행하도록 규정되어 있다.

또한, MPEG-4의 가장 큰 특징 중 하나가 객체(OBJECT)를 기반으로 처리를 한다는 것이다. 즉, 한 영상을 여러 개의 객체로 나누고 그 각각의 객체를 개별적으로 부호화하고 처리할 수 있는 것이다. 따라서 객체를 만들기 위해서 모양정보를 알아야 한다. 여기서 말하는 모양정보를 흔히 마스크(MASK)라고 하는데 영상에서 객체 부분은 '1'로 표현하고 객체 바깥 부분(배경 부분)은 '0'으로 표현한다. 이 모양정보를 이용하여 영상에서 한 객체를 얻을 수 있다. 그리고 이 모양정보를 이용하여 복호기 측에서 객체 부분을 복호하기 때문에 모양정보를 부호화하여 복호기 측에 전송해주어야 한다.

현재 MPEG-4에서 모양정보 부호화를 하기 위해서 CAE를 이용한다. CAE는 16x16 BAB(BINARY ALPHA BLOCK)단위로 각 화소에 도9와 같은 컨텍스트 탬플렛(CONTEXT TEMPLATE)를 이용하여 식 [1]과 같이 컨택스트 번호를 구하고 구해진 컨텍스트 번호를 이용하여 그 컨텍스트가 발생했을 경우 '0'이 발생할 확률과 '1'이 발생할 확률을 구하고 그 구해진 확률을 이용하여 산술(ARITHMETIC) 부호화 방법을 사용하여 부호화를 한다.

C = SIGMA CK × 2K -------- [1]

이때 손실 부호화를 하기 위해서는 산술 부호화 하기 이전에 CR(CONVERSION RATIO : 이하 CR이라 한다.)에 의하여 BAB의 크기를 줄이고, 줄여진 BAB를 다시 원래의 크기로 복원했을 경우 원 BAB와 복원된 BAB의 차의 절대값이 임계치 이하이면 줄어든 크기로 CAE를 이용하여 부호화 하고 임계치보다 크다면 원 BAB를 이용해서 CAE에 의해서 부호화 한다. CR은 BAB의 크기를 변화시키는 변수로써 MxM BAB가 (MxCR)x(MxCR)로 줄어든다. 따라서 CR=1/2일 경우는 부호화할 화소 수가 1/4로 줄어든다. 따라서 CR을 이용하여 도면 2와 같이 BAB의 크기를 줄이고 그 BAB를 다시 복원한 값과 원 BAB의 차의 절대값을 구했을 때 오차가 임계치 이하일 때는 줄어든 BAB를 이용하여 CAE를 수행하게 된다.

현재 알고리즘에서는 베이스 레이어를 이용하여 인헨스먼트 레이어를 부호화하는 방법을 이용하고 있는데 이 때 베이스 레이어를 레퍼런스 레이어로 이용하기 때문에 인헨스먼트 레이어를 무손실 부호화 하기 위해서는 베이스 레이어 또한 무손실 부호화를 하여야 한다. 그렇지 않으면 스캔 인터리빙 과정에서 TSD와 ESD가 발생하는 정확한 위치를 알 수 없기 때문에 인헨스먼트 레이어에서 오차가 발생하게 된다.

그러나, 종래의 스캔 인터리빙 방법은 무손실 부호화된 베이스 레이어를 이용하여 인헨스먼트 레이어를 부호화하도록 되어 있기 때문에 베이스 레이어가 손실 부호화 되었다면 인헨스먼트 레이어를 부호화할 수 없다는 문제점이 있었다.

본 발명의 목적은, 상기와 같은 종래의 문제점을 해소하기 위한 것으로, 특히, 산술 부호화에 사용되는 확률표를 수정하므로 인해, 스캔 인터리빙 사용하여 손실 부호화가 가능하도록 한 신축형 모양정보 부호화 시 손실 부호화 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명 신축형 모양정보 부호화 시 손실 부호화 방법은, 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 모양정보 부호화 방법에 있어서, 저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, 산술 부호화 방법의 확률표를 변경하여 적용함을 그 방법적 구성상의 특징으로 한다.

또한, 상기 확률표의 부호화 방법은, 산술 부호화 확률표에서 발생할 수 있는 두 가지 경우(물체 내부일 경우와 물체 외부일 경우)의 확률에서 두 확률값의 차의 절대값이 임계치 이상일 경우 두 확률중 큰 확률값을 '1'(최대값), 작은 확률 값을 '0'(최소값)으로 함을 특징으로 한다.

또한, 상기 확률표의 부호화 방법은, 산술 부호화 확률표에서 발생할 수 있는 두 가지 경우(물체 내부일 경우와 물체 외부일 경우)의 확률에서 두 확률값의 차의 절대값이 임계치보다 작을 경우 원래의 확률 값을 그대로 사용함을 특징으로 한다.

또한, 상기 베이스 레이어의 손실 부호화는, 변경한 확률값을 이용함을 특징으로 한다.

상기 베이스 레이어의 손실 부호화 과정에서 허용 오차를 만족하도록 CPR을 변화시킴을 특징으로 한다.

상기 CPR은, 수정된 확률값을 이용하여 부호화 한 영상을 복원한 영상과 원 영상의 차의 절대값을 구했을 때 그 차이가 임계치 이상이면 CPR을 줄여서 위의 방법을 반복하고 임계치보다 작으면 현재의 CPR값을 CPR로 결정함을 특징으로 한다.

상기 CPR은, CPR을 VOP단위로 적용함을 특징으로 한다.

상기 CPR은, CPR을 MB 단위로 결정함을 특징으로 한다.

또한, 상기 부호화 방법은, 신축형 부호화에서 수정된 확률값을 이용하여 인헨스먼트 레이어를 손실 부호화함을 특징으로 한다.

또한, 상기 부호화 방법은, 신축형 부호화에서 베이스 레이어가 손실 부호화되었을 경우 복원된 베이스 레이어와 인헨스먼트 레이어를 이용하여 TSD와 ESD를 부호화 할 때 수정된 확률표를 이용하여 산술 부호화함을 특징으로 한다.

또한, 상기 부호화 방법은, 신축형 부호화에서 베이스 레이어가 무손실 부호화 되었을 경우 복원된 베이스 레이어와 인헨스먼트 레이어를 이용하여 TSD와 ESD를 부호화 할 때 수정된 확률표를 이용하여 산술 부호화함을 특징으로 한다.

또한, 상기 확률표의 부호화 방법은, 신축형 부호화에서 베이스 레이어가 손실 부호화 되었을 경우 복원된 베이스 레이어와 인헨스먼트 레이어를 이용하여 TSD와 ESD를 부호화 할 때 수정된 확률표를 이용하여 산술 부호화하는 과정에서 허용 오차를 만족하도록 CPR을 변화시킴을 특징으로 한다.

또한, 상기 부호화 방법은, 신축형 부호화에서 베이스 레이어가 무손실 부호화 되었을 경우 복원된 베이스 레이어와 인헨스먼트 레이어를 이용하여 TSD, ESD를 부호화 할 때 수정된 확률표를 이용하여 산술 부호화하는 과정에서 허용 오차를 만족하도록 CPR을 변화시킴을 특징으로 한다.

상기 CPR은, CPR을 구하기 위해서 수정된 확률값을 이용하여 부호화 한 영상을 복원한 인헨스먼트 레이어 영상과 원 인헨스먼트 레이어 영상의 차의 절대값을 구했을 때 그 값이 임계치 이상이면 CPR을 줄여서 위의 방법을 반복하고 임계치보다 작으면 CPR을 결정함을 특징으로 한다.

상기 CPR은, CPR을 구하기 위해서 수정된 확률값을 이용하여 부호화 한 영상을 복원한 인헨스먼트 레이어 영상과 원 인헨스먼트 레이어 영상의 차의 절대값을 구했을 때 그 값이 임계치 이상이면 CPR을 줄여서 위의 방법을 반복하고 임계치보다 작으면 CPR을 결정함을 특징으로 한다.

상기 CPR은, CPR을 VOP단위로 결정함을 특징으로 한다.

상기 CPR은, CPR을 MB 단위로 결정함을 특징으로 한다.

또한, 상기 부호화 방법은, 신축형 부호화에서 베이스 레이어가 손실 부호화되었을 경우 인헨스먼트 레이어를 무손실 부호화 하기 위해서 손실 부호화된 베이스 레이어의 오차 정보를 부호화함을 특징으로 한다.

상기 베이스 레이어 오차 정보의 부호화는, 베이스 레이어의 오차 정보를 부호화화 하기 위해서 스캔 인터리빙 방법을 사용하는 장치. 이 때 레퍼런스 스캔 라인으로 손실 부호화된 베이스 레이어를 레퍼런스 스캔 라인으로 사용해서 스캔 인터러빙을 수행했을 때 삽입된 화소들을 이용함을 특징으로 한다.

상기 베이스 레이어 오차 정보의 부호화는, 베이스 레이어의 오차 정보를 부호화할 때 수평 방향 검색만 수행함을 특징으로 한다.

상기 베이스 레이어 오차 정보의 부호화는, 베이스 레이어의 오차 정보를 부호화할 때 수직 방향 검색만 수행함을 특징으로 한다.

또한, 상기 부호화 방법은, 손실 부호화된 베이스 레이어를 부호화할 때 TSD, ESD에 대한 컨텍스트를 계산 할 때 현재 부호화할 베이스 레이어의 화소값과 주위 8개의 화소값을 이용함을 특징으로 한다.

또한, 상기 부호화 방법은, 계산 에러r 블럭에서 적용된 CPR을 이용하여 부호화하고 이를 다시 복원한 영상과 원래 영상의 차이 절대값을 계산함을 특징으로 한다.

또한, 상기 부호화 방법은, 계산된 오차가 임계치 이상일 경우는 CPR을 step만큼 줄이고 다시 오차를 계산함을 특징으로 한다.

또한, 상기 부호화 방법은, 베이스 레이어 부호화 과정에서 VOP단위로 CPR을 적용할 경우 VOP 클래스 신텍스에 CPR에 대한 syntax(VOP_CPR)를 추가함을 특징으로 한다.

또한, 상기 부호화 방법은, 인헨스먼트 레이어 부호화 과정에서 VOP단위로 CPR을 적용할 경우 VOP 클래스 신텍스에 CPR에 대한 syntax(VOP_CPR)를 추가함을 특징으로 한다.

또한, 상기 부호화 방법은, 베이스 레이어 부호화 과정에서 MB단위로 CPR을 적용할 경우 VOP 클래스의 binary_shape_coding( ) 함수 내에 CPR에 대한 신텍스를 추가함을 특징으로 한다.

또한, 상기 부호화 방법은, 인헨스먼트 레이어 부호화 과정에서 MB단위로 CPR을 적용할 경우 VOP 클래스의 enh_1ayer_shape_coding( ) 함수 내에 CPR에 대한 신텍스를 추가함을 특징으로 한다.

또한, 상기 부호화 방법은, VOL 클래스에 베이스 레이어가 손실 부호화 되었는지, 되었다면 어느 정도의 오차를 허용하도록 손실 부호화 되었는지에 대한 신텍스를 추가함을 특징으로 한다.

또한, 상기 부호화 방법은, VOL 클래스에 인헨스먼트 레이어를 손실 부호화할 것인지, 한다면 어느 정도의 오차를 허용하도록 손실 부호화 할 것인지에 대한 신텍스를 추가함을 특징으로 한다.

이러한 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법은, 특히, 인헨스먼트 레이어의 영상을 부호화 할 경우, 대상물 영상의 TSD의 발생빈도에 따라 수직 방향 검색과 수평 방향 검색의 검색 순서를 다르게 적용하므로써, 부호화 효율을 향상시킬 수 있게 되는 것이다.

이하, 본 발명 신축형 대상물 영상의 스캔 인터리빙 방법의 기술적 사상에 따른 일 실시예를 들어 그 구성 및 동작을 첨부된 도면에 의거 상세히 설명하면 다음과 같다.

신축형 영상 부호화 방법에서 TSD와 ESD를 부호화 과정 중 산술 부호화를 사용한다. 이 경우 손실 부호화를 하기 위한 방법에서 산술 부호화에 사용되는 확률표를 변화시키는 방법을 사용할 수 있다.

산술 부호화에 사용되는 확률표를 수정하는 방법은 다음과 같다.

물체의 내부일 확률(P_in)과 물체의 외부일 확률(P_out)의 차이가 임계치(CPR:Change Probabi1ity Ratio) 이상일 경우 P_in과 P_out 중 큰 확률값을 가지는 확률을 '1'(최대값), 작은 확률값을 가지는 확률을 '0'(최소값)으로 바꾼 새로운 확률표를 만들고 산술 부호화를 할 때 바뀐 확률푤르 이용한다. 만약 CPR 1/4이라고 가정했을 때 P_in=0.7, P_ou=0.3이라고 하면 P_in-P_out=0.4이므로, CPR 보다 크다. 따라서 확률을 P_in=1, P_out=0으로 바꾼다. 그리고 P_in=0.6, P_out=0.4일 경우는 P_in-P_out=0.2이므로 CPR보다 작다. 따라서 이 경우는 원래의 확률을 그대로 사용한다. 여기서 CPR을 크게 하면 그만큼 오차가 발생할 확률이 작아지고 CPR이 작아질 경우 오차가 발생할 확률이 커지게 된다. 이런 방법으로 확률표의 일부의 값이 '1' 또는 '0'으로 바뀌었으므로 확률값이 '1' 또는 '0'인 경우는 부호화를 하지 않더라도 확률표에 의해서 바로 그 값을 알 수 있으므로 부호화를 하지 않아도 된다. 따라서, 산술부호화할 때 발생하는 비트수를 줄일 수 있다.

손실 부호화에서 CPR을 결정하는 방법은 도면 6에서와 같이 CPR을 최대값에서 step간격으로 줄여나가면서 부호화를 하고 부호화된 영상을 다시 복원했을 때 원 영상과의 차이를 구하고 그 차이가 임계치 보다 작을 때 그 값을 CPR로 결정한다. 그리고 CPR이 적용되는 범위를 VOP(Video Object Plane)마다 적용할 수도 있고, 각 MB(Macro Block, ·16x16 pixe1s)마다 적용을 할 수 있다. VOP단위로 CPR을 적용했을 경우 MPEG-4 VM 신텍스의 VOP 클래스에 CPR의 정보(VOP_CPR)를 포함해야하고, MB단위로 CPR을 다르게 적용할 경우 VOP 클래스의 shape_coding( )함수 내에 CPR에 대한 정보를 포함시켜야 한다.

스캔 인터리빙을 사용하는 신축형 부호화 방법으로는 표[1]에서 나타내는 것과 같이 3개의 레이어를 가지고 있다고 했을 경우 8가지 경우가 있을 수 있다. 이 방법들 중 손실 부호화 하는 방법으로 표 1에서 (1) 경우를 제외한 7가지가 있다. 베이스 레이어가 손실 부호화 또는 무손실 부호화 되었을 경우 복원된 베이스 레이어와 인헨스먼트 레이어를 이용하여 스캔 인터리빙 방법으로 TSD와 ESD를 부호화한다. 이 경우 TSD와 ESD가 발생했을 경우 그 위치의 화소값을 손실 부호화하기 위해서 산술 부호화를 할 때 CPR에 의해 수정된 확률표를 이용하여 부호화한다. 이 경우도 발생할 수 있는 오차의 임계치를 만족할 수 있도록 CPR을 변화시켜준다. 그리고 손실 부호화된 베이스 레이어를 이용하여 인헨스먼트 레이어를 무손실 부호화하는 방법도 가능하다. 도11(a)에서와 같이 손실 부호화된 베이스 레이어(회색 부분)를 레퍼런스 스캔 라인으로 사용하여 베이스 레이어외의 영역(흰색 부분)을 무손실 부호화한다. 그러나 손실 부호화된 베이스 레이어를 사용하기 때문에 무손실 부호화 방법을 이용하여 부호화를 하여도 손실 부호화된 베이스 레이어위치에는 오차가 발생한다. 따라서 손실 부호화로 발생한 베이스 레이어의 오차를 없애기 위해서 도 11(b)에서와 같이 손실 부호화된 베이스 레이어에 대해서 기존의 스캔 인터러빙 방법(수평 방향 검색 또는 수직 방향 검색 중 한가지만 수행)에 의해서 부호화를 한다. 이 때 TSD와 ESD를 부호화할 때 컨텍스트를 계산하게 되는데 이 경우 도 12와 같이 현재 부호화할 위치의 화소값도 같이 포함을 하여 계산함으로써 산출 부호화를 할 때 더 많은 정보를 이용할 수 있도록 한다.

[표 1]

이상에서 설명한 것과 같이 베이스 레이어가 손실 부호화되었는지에 대한 정보를 가지고 있어야 한다. 따라서 VOL(Video Object Layer) 클래스에 베이스 레이어가 손실 부호화를 했는지, 했다면 얼마만큼의 오차를 허용하도록 손실 부호화를 했는지에 대한 신텍스를 포함해야 한다. 그리고 인헨스먼트 레이어를 부호화할 때 손실 부호화를 할 것인지, 한다면 얼마 만큼의 오차를 허용할 것인지에 대한 신텍스 역시 포함시킨다.

본 발명에서 적용한 방법을 베이스 레이어의 손실 부호화 과정에서도 사용이 가능하다. 위에서 설명한 것과 같은 방법으로 CPR을 변화시키면서 부호화를 하고 부호화된 영상을 다시 복원했을 때 원 영상과의 차이를 구하고 그 차이가 임계치 이하가 되는 최대의 CPR을 결정한다. 그리고 결정된 CPR을 이용하여 손실 부호화를 한다.

이상에서 살펴본 바와 같이 본 발명 신축형 모양정보 부호화 시 손실 부호화 방법은, 특히, 산술 부호화를 사용하여 이진 영상을 부호화 할 경우 산술 부호화에 사용되는 확률표를 변화시킴으로써 손실 부호화를 가능하게 하고 신축형 이진 영상 부호화 과정에서는 손실 부호화를 가능하게 하는 효과가 있다.

도 1은 국제표준 산하기구에서 1차적으로 확정한 VM 엔코더의 구성을 나타낸 블럭도,

도 2는 모양 정보를 가지는 VOP를 매크로 블럭으로 구획하여 나타낸 도면,

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM 디코더의 구성을 나타낸 블럭도,

도 4는 국제표준 산하기구에서 1차적으로 확정한 VOP 부호화부의 구성을 나타낸 블럭도,

도 5는 공간적 신축형 부호화 개념도,

도 6은 신축형 부호화를 위한 스켄 인터리빙 과정을 예시한 도면,

도 7, 8은 인헨스먼트 레이어 영상의 부호화 방법을 나타낸 도면,

도 9(a)는 인트라 컨텍스트 템플렛을 나타낸 도면,

도 9(b)는 인트라 컨텍스트 템플렛을 나타낸 도면,

도 10은 크기 전환관계를 나타낸 도면,

도 11은 순실 부호화된 베이스 레이어를 이용하여 무손실 인헨스먼트 레이어 부호화의 예를 나타낸 도면,

도 12는 손실 부호화된 베이스 레이어의 오차를 없애기 위해 사용되는 컨텍스트,

도 13은 CPR 결정 방법을 나타낸 도면.

〈도면의 주요 부분에 대한 부호의 설명〉

10: VM엔코더11: VOP형성부

12A, 12B, …, 12N: VOP부호화부13, 38: 멀티플렉서

20: VM디코더21: 디멀티플렉서

22A, 22B, …, 22N: VOP디코더23: 합성부

31: 움직임추정부32: 움직임보상부

33: 감산기34: 대상물내부부호화부

35: 가산기36: 이전VOP검출부

37: 모양부호화부

Claims (30)

1. 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 해상도가 다른 복수개의 레이어로 전송하여 복호화하는 신축형 모양정보 부호화 방법에 있어서,

   저해상도인 베이스 레이어의 영상을 스캔 인터리빙 방법을 사용하여 고해상도의 인헨스먼트 레이어의 영상으로 부호화 할 경우, 산술 부호화 방법의 확률표를 변경하여 적용함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
2. 제1항에 있어서, 상기 확률표의 부호화 방법은, 산술 부호화 확률표에서 발생할 수 있는 두 가지 경우(물체 내부일 경우와 물체 외부일 경우)의 확률에서 두 확률값의 차의 절대값이 임계치 이상일 경우 두 확률중 큰 확률값을 '1'(최대값), 작은 확률값을 '0'(최소값)으로 함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
3. 제1항에 있어서, 상기 확률표의 부호화 방법은, 산술 부호화 확률표에서 발생할 수 있는 두 가지 경우(물체 내부일 경우와 물체 외부일 경우)의 확률에서 두 확률값의 차의 절대값이 임계치보다 작을 경우 원래의 확률 값을 그대로 사용함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
4. 제1항에 있어서, 상기 베이스 레이어의 손실 부호화는, 변경한 확률값을 이용함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
5. 제4항에 있어서, 상기 베이스 레이어의 손실 부호화 과정에서 허용 오차를 만족하도록 CPR을 변화시킴을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
6. 제5항에 있어서, 상기 CPR은, 수정된 확률값을 이용하여 부호화 한 영상을 복원한 영상과 원 영상의 차의 절대값을 구했을 때 그 차이가 임계치 이상이면 CPR을 줄여서 위의 방법을 반복하고 임계치보다 작으면 현재의 CPR값을 CPR로 결정함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
7. 제5항에 있어서, 상기 CPR은, CPR을 VOP단위로 적용함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
8. 제5항에 있어서, 상기 CPR은, CPR을 MB 단위로 결정함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
9. 제1항에 있어서, 상기 부호화 방법은, 신축형 부호화에서 수정된 확률값을 이용하여 인헨스먼트 레이어를 손실 부호화함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
10. 제1항에 있어서, 상기 부호화 방법은, 신축형 부호화에서 베이스 레이어가 손실 부호화 되었을 경우 복원된 베이스 레이어와 인헨스먼트 레이어를 이용하여 TSD와 ESD를 부호화 할 때 수정된 확률표를 이용하여 산술 부호화함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
11. 제1항에 있어서, 상기 부호화 방법은, 신축형 부호화에서 베이스 레이어가 무손실 부호화 되었을 경우 복원된 베이스 레이어와 인헨스먼트 레이어를 이용하여 TSD와 ESD를 부호화 할 때 수정된 확률표를 이용하여 산술 부호화함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
12. 제1항에 있어서, 상기 확률표의 부호화 방법은, 신축형 부호화에서 베이스 레이어가 손실 부호화 되었을 경우 복원된 베이스 레이어와 인헨스먼트 레이어를 이용하여 TSD와 ESD를 부호화 할 때 수정된 확률표를 이용하여 산술 부호화하는 과정에서 허용오차를 만족하도록 CPR을 변화시킴을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
13. 제1항에 있어서, 상기 부호화 방법은, 신축형 부호화에서 베이스 레이어가 무손실 부호화 되었을 경우 복원된 베이스 레이어와 인헨스먼트 레이어를 이용하여 TSD, ESD를 부호화 할 때 수정된 확률표를 이용하여 산술 부호화하는 과정에서 허용 오차를 만족하도록 CPR을 변화시킴을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
14. 제13항에 있어서, 상기 CPR은, CPR을 구하기 위해서 수정된 확률값을 이용하여 부호화 한 영상을 복원한 인헨스먼트 레이어 영상과 원 인헨스먼트 레이어 영상의 차의 절대값을 구했을 때 그 값이 임계치 이상이면 CPR을 줄여서 위의 방법을 반복하고 임계치보다 작으면 CPR을 결정함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
15. 제13항에 있어서, 상기 CPR은, CPR을 구하기 위해서 수정된 확률값을 이용하여 부호화 한 영상을 복원한 인헨스먼트 레이어 영상과 원 인헨스먼트 레이어 영상의 차의 절대값을 구했을 때 그 값이 임계치 이상이면 CPR을 줄여서 위의 방법을 반복하고 임계치보다 작으면 CPR을 결정함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
16. 제13항에 있어서, 상기 CPR은, CPR을 VOP단위로 결정함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
17. 제13항에 있어서, 상기 CPR은, CPR을 MB 단위로 결정함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
18. 제1항에 있어서, 상기 부호화 방법은, 신축형 부호화에서 베이스 레이어가 손실 부호화 되었을 경우 인헨스먼트 레이어를 무손실 부호화 하기 위해서 손실 부호화된 베이스 레이어의 오차 정보를 부호화함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
19. 제18항에 있어서, 상기 베이스 레이어 오차 정보의 부호화는, 베이스 레이어의 오차 정보를 부호화 하기 위해서 스캔 인터리빙 방법을 사용하는 장치. 이 때 레퍼런스 스캔 라인으로 손실 부호화된 베이스 레이어를 레퍼런스 스캔 라인으로 사용해서 스캔 인터러빙을 수행했을 때 삽입된 화소들을 이용함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
20. 제18항에 있어서, 상기 베이스 레이어 오차 정보의 부호화는, 베이스 레이어의 오차 정보를 부호화할 때 수평 방향 검색만 수행함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
21. 제18항에 있어서, 상기 베이스 레이어 오차 정보의 부호화는, 베이스 레이어의 오차 정보를 부호화할 때 수직 방향 검색만 수행함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
22. 제1항에 있어서, 상기 부호화 방법은 손실 부호화된 베이스 레이어를 부호화할 때 TSD, ESD에 대한 컨텍스트를 계산 할 때 현재 부호화할 베이스 레이어의 화소값과 주위 8개의 화소값을 이용함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
23. 제1항에 있어서, 상기 부호화 방법은, 계산 에러r 블럭에서 적용된 CPR을 이용하여 부호화하고 이를 다시 복원한 영상과 원래 영상의 차의 절대값을 계산함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
24. 제1항에 있어서, 상기 부호화 방법은, 계산된 오차가 임계치 이상일 경우는 CPR을 step 만큼 줄어들고 다시 오차를 계산함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
25. 제1항에 있어서, 상기 부호화 방법은, 베이스 레이어 부호화 과정에서 VOP단위로 CPR을 적용할 경우 VOP 클래스 신텍스에 CPR에 대한 syntax(VOP_CPR)를 추가함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
26. 제1항에 있어서, 상기 부호화 방법은, 인헨스먼트 레이어 부호화 과정에서 VOP단위로 CPR을 적용할 경우 VOP 클래스 신텍스에 CPR에 대한 syntax(VOP_CPR)를 추가함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
27. 제1항에 있어서, 상기 부호화 방법은, 베이스 레이어 부호화 과정에서 MB단위로 CPR을 적용할 경우 VOP 클래스의 binary_shape_coding( ) 함수 내에 CPR에 대한 신텍스를 추가함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
28. 제1항에 있어서, 상기 부호화 방법은, 인헨스먼트 레이어 부호화 과정에서 MB단위로 CPR을 적용할 경우 VOP 클래스의 enh_1ayer_shape_coding( ) 함수 내에 CPR에 대한 신텍스를 추가함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
29. 제1항에 있어서, 상기 부호화 방법은, VOL 클래스에 베이스 레이어가 손실 부호화 되었는지, 되었다면 어느 정도의 오차를 허용하도록 손실 부호화 되었는지에 대한 신텍스를 추가함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.
30. 제1항에 있어서, 상기 부호화 방법은, VOL 클래스에 인헨스먼트 레이어를 손실 부호화 할 것인지, 한다면 어느 정도의 오차를 허용하도록 손실 부호화 할 것인지에 대한 신텍스를 추가함을 특징으로 하는 신축형 모양정보 부호화 시 손실 부호화 방법.

Images