KR19990037345A - 시청각 압축 시스템에서 계산의 섬세한 성능저하용 방법 - Google Patents

Abstract

본원에 개시된 디코더의 계산 능력의 선행 인식없이 디코더에 전송하는 시청각 정보를 인코드하기위한 인코더용 방법이다. 디코딩 과정의 복잡성을 추정하기위해 사용될 수 있는 파라미터를 포함하는 디스크립터는 시스템 스트림에서 구체화된다. 인코더는 디코더가 정보 일부를 무시하기위해 선택할 수 있고 계산 요구를 감소시키기위해 인코드된 정보의 서브세트를 디코드만할 수 있는 방법으로 비디오 정보를 또한 인코드한다. 상기 방법은 하나 이상의 디코더로 하여금 디코더의 계산 능력에 따른 다른 해결책을 부여하는 같은 비트스트림을 디코드한다.

Description

시청각 압축 시스템에서 계산의 섬세한 성능저하용 방법

본 발명은 시청각 압축 시스템에서 계산의 섬세한 성능저하(graceful degradation)용 방법에 관한 것이다. 본 발명은 비트스트림을 디코딩하는 계산 요구가 양호하게 형성되지 않는 멀티미디어 인코딩 및 디코딩 환경에서 사용된다. 본 발명은 채널 용량이 제한되고 서비스 보증 품질 형태가 요구되는 경우에 또한 사용된다. 또한 본 발명은 다른 해상도의 2개 비디오 서비스간에 상호작동하는 데 사용된다.

시스템 자원이 비디오 비트스트림 모두를 완전히 디코드하기에 충분하지 않을 때 섬세한 성능저하 형태를 사용하는 것은 소프트웨어 디코딩의 경우에 일반적이다. 상기 성능저하는 화상 소자의 부분 디코딩으로부터 완전한 화상의 드롭핑까지를 범위로 한다. 그것은 단일 비디오 스트림의 경우에 실행하기쉽다.

MPEG-4의 제안된 새로운 ISO/IEC SC29/WG11 표준에서, 다수의 시청각 AV 오브젝트(object)를 보내는 것이 가능하다. 그러므로, 전체의 복잡성 요구는 더 이상 하나의 단일 스트림에 따르는 것이 아니라 다수의 스트림에 따른다.

MPEG-1, MPEG-2 및 MPEG-4 등의 압축 시스템에서, 높은 일시적인 리던던시 정도는 동작 보상을 사용함으로써 제거된다. 비디오 시퀀스에서 연속 화상이 매우 비슷한 정보를 포함한다는 것을 직관적으로 알수 있다. 이동하는 화상의 영역만이 화상마다(from picture to picture) 변화한다. 또한, 상기 영역이 단위로서 일정한 동작으로써 보통 이동한다. 동작 보상은 인코더 및 디코더가 인코드되거나 디코드되는 현재의 화상 예측용 기준으로서 재구성된 화상을 유지시키는 기술이다. 인코더는 로컬(local) 디코더 루프를 실행함으로써 디코더를 흉내낸다(mimics). 그러므로, 인코더 및 디코더간에 동기되는 재구성된 화상을 유지시킨다.

인코더는 인코드되는 현재의 블록에 최근접 정합을 부여하는 재구성된 화상에서 블록용 서치를 수행한다. 그후 그것은 동작 보상된 블록 및 인코드되는 현재의 블록간의 예측차를 계산한다. 동작 보상된 블록이 인코더 및 디코더에서 사용가능하기 때문에, 인코더만이 그 블록의 위치 및 예측차를 디코더에 보낼필요가 있다. 블록 위치는 동작 벡터로서 일반적으로 불리운다. 예측차는 동작 보상된 예측 에러로서 일반적으로 불리운다. 상기 정보는 적은 비트를 요구하여 그 현재의 블록 자체를 보낸다.

인트라(intra)-화상 코딩에서, 공간 리던던시는 비슷한 방법으로 제거될수 있다. 블록의 변환 계수는 이미 디코드되었던 그 인접한 블록의 변환 예측으로부터 예측될수 있다.

2개의 주요한 문제가 본 발명에서 해결된다. 첫 번째는 현재의 AV 오브젝트의 디코딩 복잡성 요구를 어떻게 표시하는 지이다. 다수의 AV 오브젝트가 있는 경우에, 시스템 디코더는 얼마나 많은 자원이 특정한 오브젝트에 부여해야만하는지 및 어떤 오브젝트가 다른것에 비해 우선권을 갖는지를 결정해야한다. 환언해서, 시스템의 복잡성 요구를 어떻게 모델링하는 가이다. 본원에서 인식되는 주안점은 디코더의 복잡성 요구가 디코더의 실행에 따른다는 것이다. 하나의 실행에 대해 복잡해지는 동작은 다른 실행에 대해 간단해진다. 그러므로, 실행 형태에 무관한 복잡성 측정은 요구된다.

두 번째 문제는 디코더에서 복잡성 요구를 어떻게 감소시키는 가이다. 그것은 가능한한 많은 정보를 계속 유지하는 동안 디코딩 처리의 복잡성 요구를 감소시키는 방법으로써 처리한다. 섬세한 성능저하에서 하나의 최대 문제는 동작 보상에서 에러에 의해 야기된 드리프트(drift) 문제이다. 섬세한 성능저하가 사용될 때 재구성된 화상이 불완전하거나 잡음을 갖는다. 그 에러는 화상마다 전달되어 더욱더 큰 에러를 발생시킨다. 그 잡음 전달이 드리프로서 불리운다.

상기 문제를 해결하기위해 다음의 단계는 본 발명에서 취해진다.

AV 오브젝트 인코더는 다른 섬세한 성능저하량을 AV 오브젝트 디코더에서 사용되도록하는 방법으로 AV 오브젝트를 인코드한다. AV 오브젝트의 계산의 복잡성 요구에 관한 파리미터는 시스템 인코더에서 전송된다. 실행에 무관한 복잡성 측정은 요구되는 동작 표시를 부여하는 파라미터를 보냄으로써 이루어진다.

시스템 디코더에서, 요구된 복잡성의 추정이 사용되는 실행 방법뿐만 아니라 상기 파리미터를 토대로해서 이루어진다. 자원 스케줄러(scheduler)는 알맞은 자원량을 다른 AV 오브젝트의 디코딩으로 할당한다. AV 오브젝트 디코더에서, 자원이 AV 오브젝트를 완전히 디코드하기에 불충분할 때 계산의 섬세한 성능저하가 사용된다.

본 발명의 제1태양에 따라, 복수의 시청각 오브젝트를 디코더에서 계산의 섬세한 성능저하에 알맞은 압축코드된 표시로 인코딩하는 방법은,

계산의 섬세한 성능저하로 하여금 디코더에서 사용되게하는 결합 방법인 상기 시청각 오브젝트를 그 코드된 표시로 인코딩하는 단계와;

실행에 무관한 계산의 복잡성 측정을 복수의 블록 디코딩 파라미터의 견지에서 추정하는 단계와;

시청각 오브젝트의 상기 코드된 표시를 복수의 액세스 유니트로 분할하고 패킷을 형성하기위해 헤더 정보를 가산시키는 단계와;

상기 블록 디코딩 파라미터를 포함하는 디스크립터(descriptor)를 패킷의 헤더로 삽입하는 단계와;

단일의 다중화 비트스트림을 형성하기위해 그 패킷을 다중화하는 단계를 구비한다.

본 발명의 제2태양에 따라, 복수의 시청각 오브젝트를 형성하기위해 다중화된 비트스트림을 계산의 섬세한 성능저하로써 디코딩하는 방법은,

단일 다중화된 비트스트림을 패킷 헤더 및 액세스 유니트를 구비하는 복수의 패킷으로 역-다중화하는 단계와;

패킷 헤더로부터 복수의 블록 디코딩 파라미터를 포함하는 디스크립터를 인출하는 단계와;

액세스 유니트를 시청각 오브젝트의 그 원래 코드된 표시로 리어셈블링(reassembling)하는 단계와;

디코더의 특정한 계산의 복잡성이 상기 블록 디코딩 파라미터 및 현재의 디코더 실행을 토대로해서 측정하는 것을 추정하는 단계와;

추정된 디코더의 특정한 계산의 복잡성 요구를 만족하기위해 필요시 계산의 섬세한 성능저하를 사용하는 시청각 오브젝트의 상기 코드된 표시를 디코드하는 단계를 구비한다.

양호하게는, 계산의 섬세한 성능저하를 디코더에서 사용되도록하는 결합 방법은,

각 서브-영역이 그것에 선행하는 서브-영역내에 화소의 서브세트만을 구비하고, 입력 화상을 증가하는 순서로 번호매겨진 복수의 서브-영역으로 인코드되도록 분할하고, 제1서브-영역으로서 완전한 화상으로써 시작하는 단계와;

서브-영역의 위치 및 크기를 비트스트림내에 압축코드된 표시로 엔트로피(entropy) 코딩하는 단계와;

서브-영역을 비트스트림내에 압축코드된 표시로 인코딩하기위해 복수의 블록으로 또한 분할하는 단계와;

상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 재구성된 화상으로부터 화소만을 사용하는 상기 블록에 대해 동작 추정 및 동작 보상을 수행하는 단계와;

동작 벡터를 비트스트림내에 압축코드된 표시로 엔트로피 코딩하는 단계와;

동작 보상된 예측차를 직교 영역으로 변환하는 단계와;

그 변환된 계수를 양자화 방법을 사용해서 양자화하는 단계와;

그 양자화되어 변환된 계수를 비트스트림내에 압축코드된 표시로 엔트로피 코딩하는 단계를 구비한다.

양호하게는, 추정된 디코더의 특정한 계산의 복잡성 요구를 만족하기위해 필요시 계산의 섬세한 성능저하를 사용해서 제2태양에 따라 시청각 오브젝트의 코드된 표시를 디코드하는 방법은,

서브-영역의 위치 및 크기를 비트스트림내에 압축코드된 표시로부터 엔트로피 디코딩하는 단계와;

디코딩에 관계되는 서브-영역내에 있는 블록만을 선택하는 단계와;

양자화되어 변환된 계수를 부여하기위해 압축코드된 표시를 엔트로피 디코딩하는 단계와;

그 변환된 계수를 부여하기위해 상기 양자화되어 변환된 계수를 역양자화하는 단계와;

공간 영역 동작 보상된 예측차를 부여하기위해 상기 변환 계수를 역변환하는 단계와;

비트스트림내에 압축코드된 표시로부터 동작 벡터를 엔트로피 디코딩하는 단계와;

상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 재구성된 화상으로부터 화소만을 사용해서 상기 블록에 대해 동작 보상을 수행하는 단계와;

그 화상을 재구성하고 다음 화상의 예측용 프레임 메모리에서 상기 화상을 저장하는 단계를 더 구비한다.

양호하게는, 본 발명의 제1태양에 따른 방법에서, 계산의 섬세한 성능저하를 디코더에서 사용되도록하는 결합 방법은,

각 서브-영역이 그것에 선행하는 서브-영역내에 화소의 서브세트만을 구비하고, 입력 화상을 증가하는 순서로 번호매겨진 복수의 서브-영역으로 디코드되도록 분할하고, 제1서브-영역으로서 완전한 화상으로써 시작하는 단계와;

서브-영역의 위치 및 크기를 비트스트림내에 압축코드된 표시로 엔트로피(entropy) 코딩하는 단계와;

서브-영역을 비트스트림내에 압축코드된 표시로 인코딩하기위해 복수의 블록으로 또한 분할하는 단계와;

상기 블록을 직교 영역으로 변환하는 단계와;

그 변환된 계수를 양자화 방법을 사용해서 양자화하는 단계와;

상기 블록과 같거나 더 높은 순서를 갖는 서브-영역에 속하는 좌측에 및 좌측위에 블록으로부터 대응하는 양자화된 변환 계수만을 사용해서 상기 블록에 대해 양자화된 변환 계수 예측을 수행하는 단계와;

그 양자화되어 변환된 계수의 예측차를 비트스트림내에 압축코드된 표시로 엔트로피 코딩하는 단계를 구비한다.

양호하게는, 본 발명의 제1태양에 따른 방법은,

서브-영역의 위치 및 크기를 비트스트림내에 압축코드된 표시로부터 엔트로피 디코딩하는 단계와;

디코딩에 관계되는 서브-영역내에 있는 블록만을 선택하는 단계와;

양자화되어 변환된 계수를 부여하기위해 압축코드된 표시를 엔트로피 디코딩하는 단계와;

상기 블록과 같거나 더 높은 순서를 갖는 서브-영역에 속하는 좌측에 및 좌측위에 블록으로부터 대응하는 양자화된 변환 계수만을 사용해서 상기 블록에 대해 양자화된 변환 계수 예측을 수행하는 단계와;

그 변환된 계수를 부여하기위해 상기 양자화되어 변환된 계수를 역양자화하는 단계와;

공간 영역 화소값을 부여하기위해 상기 변환 계수를 역변환하는 단계와;

그 화상을 재구성하고 다음 화상의 예측용 프레임 메모리에서 상기 화상을 저장하는 단계를 더 구비한다.

통상적으로, 복수의 블록 디코딩 파라미터는,

블록 엔트로피 디코딩 동작과;

블록 동작 보상 동작과;

블록 역양자화 동작과;

블록 변환 동작과;

블록 가산 동작과;

블록 메모리 액세스 동작의 수를 표시하는 숫자번호를 구비한다.

양호하게는, 디스크립터는,

디스크립터 형태를 시그널링하는 디스크립터 식별 번호와;

디스크립터의 크기를 표시하기위한 디스크립터 길이 필드와;

복수의 블록 디코딩 파라미터를 구비한다.

통상적으로, 인코드되는 입력 화상을 복수의 서브-영역으로 분할하는 방법에서, 서브-영역이 사각형이다.

양호하게는, 상기 블록에 대해 동작 추정 및 동작 보상을 수행하는 방법에서, 상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 재구성된 화상으로부터 화소만을 사용하는 것은 상기 서브-영역내에서 완전히 놓이는 예측 블록만이 선택되는 것을 의미한다.

통상적으로, 상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 재구성된 화상으로부터의 화소만이 사용될 때, 예측 블록이 상기 서브-영역 외부에 부분적으로 있으나 상기 서브-영역 외부에 놓인 화소가 서브-영역내에서부터 최근접 화소에 의해 대치되는 가산 상태로써 놓인다.

양호하게는, 화상을 복수의 서브-영역으로 분할하는 방법에서, 상기 서브-영역 각각의 위치 및 크기는 화상마다 변화하고 상기 위치 및 상기 크기는 팬(pan) 스캔 벡터에 의해 코드되고, 수평 및 수직 변위, 폭 및 높이를 부여한다.

통상적으로, 화상을 복수의 서브-영역으로 분할하는 방법에서, 서브 영역의 위치 및 크기는 화상마다 같고 수평 및 수직 변위, 폭 및 높이에의해 시퀀스의 시작에서 한번 코드된다.

양호하게는, 인코딩 및 디코딩의 방법에서, 변환이 불연속 코사인 변환이다.

통상적으로, 인코딩 및 디코딩의 방법에서, 서브-영역의 수는 2이다.

양호하게는, 증가하는 순서로 번호매겨진 복수의 서브-영역이 있는 방법에서 동작 벡터는 낮은 순서의 서브-영역으로 포인트할 수 있으나 낮은 순서를 벗어나 더 높은 순서로된 번호로 되지않는다.

도 1은 본 발명의 전체 블록 다이어그램.

도 2는 본 발명의 인코더 및 디코더의 블록 다이어그램도.

도 3은 본 발명의 서브-영역 및 동작 벡터 제한의 실시예도.

도 4는 본 발명에서 팬(pan) 스캔 벡터 및 서브-영역 크기의 실시예도.

도 5는 서브-영역 경계에서 동작 보상된 예측의 패딩(padding) 방법에 대한 제2실시예도.

도 6은 복잡성 추정기용 블록 다이어그램의 예시도.

도 1은 본 발명의 전체 시스템 블록 다이어그램을 도시한다. 인코더 유니트(110)는 비디오 시퀀스를 인코드하여 계산의 성능저하 기술을 사용한다. 인코더(110)의 출력이 인코딩 버퍼(120)에 인가되는 비디오 시퀀스의 코드된 표시이다. 동시에 비디오 시퀀스 및 코드된 표시는 디코딩하기위해 요구되는 동작과 관계된 파라미터가 계산 및 인코드되는 복잡성 파라미터 인코더(130)에 또한 인가된다. 인코딩 버퍼(120)의 출력과 함께 상기 정보는 시스템-다중화된 스트림이 형성되는 시스템 인코더 및 다중화기 유니트(140)에 통과된다. 시스템-다중화된 스트림이 전송 매체(150)를 통해 전송된다.

역양자화기 및 시스템 디코더 유니트(160)는 시스템-다중화된 스트림을 수신하고, 거기에서 비트스트림은 그 각 기본 스트림으로 역양자화된다. 비디오 기본 스트림은 디코딩 버퍼(170)로 통과되고, 복잡성 파라미터는 스케줄러 및 복잡성 추정기 유니트(180)로 통과된다. 디코딩 버퍼(170)로부터, 비디오 기본 스트림은 디코더 유니트(190)로 통과된다. 디코더(190)는 디코딩전에 스케줄러 유니트(180)로부터 들어오는 명령을 대기한다.

복잡성 추정기(180)는 사용되는 디코더의 계산의 섬세한 성능저하량을 부여한다. 계산의 섬세한 성능저하는 더 중요한 정보를 포함하게되는 완전한 화상의 서브-영역만을 디코딩함으로써 디코더에서 이루어진다. 인코더는 인코더 및 디코더로 하여금 상기 조건하에서 멀리 드리프트하지 못하게 한다. 디코딩후, 디코더 유니트(190)는 정보를 스케줄러 및 복잡성 추정기(180)에 또한 피드백하여 정보가 다음 화상의 복잡성을 추정하기위해 사용될수 있다.

다음은 도 1에 도시된 상기 발명에서 예시된 각종 유니트의 실시예이다.

도 2는 본 실시예에 따른 인코더 및 디코더의 블록 다이어그램이다. 인코더(110)에 대한 입력 화상이 처리용 블록으로 세그먼트된다. 일시적인 리던던시는 이전 화상의 동작보상된 화상을 현재의 화상으로부터 감산함으로써 화상으로부터 제거된다. 예측차는 DCT 유니트(111)의 DCT 영역으로 변환된다. 최종의 DCT 계수는 양자화 유니트(112)에서 양자화된다. 양자화된 계수는 가변 길이 코딩(VLC) 유니트(113)에서 엔트로피 코드되어 압축된 출력 비트스트림을 형성한다. 인코더(110)는 역양자화 유니트(114), 역 DCT 유니트(115), 프레임 저장부(116) 및 동작 보상 유니트(117)를 구비하는 로컬 디코더 루프를 또한 갖는 다. 로컬 디코더 루프는 역양자화 유니트(114) 및 역 DCT 유니트(115)에서 계수를 역양자화하고 그것을 공간 영역으로 되돌려서 변환함으로써 디코더 동작을 흉내낸다. 출력은 동작 보상된 유니트(117)의 출력에 가산되어 재구성된 화상을 형성한다. 그 화상은 다음 화상의 보상을 위해 프레임 저장부(116)에서 저장된다.

그 실시예에서 동작 추정 유니트(118) 및 동작 보상 유니트(117)의 인코더 유니트는 변화되어 계산의 섬세한 성능저하는 드리프트를 야기하지않고 동작 보상과 결합해서 수행될수 있다.

도 3은 화상을 2개의 부분(220 및 210)으로 분할되게하는 것에 따른 본 발명을 예시한다. 제1부분(220)은 계산의 섬세한 성능저하가 사용되는지와 무관하게 디코더에서 디코드되야하는 서브-영역이다. 제2부분(210)은 계산의 섬세한 성능저하가 사용될 때 디코더에 의해 버려질수 있는 서브-영역 외부의 영역이다.

도 3은 동작 보상에 사용되는 2개의 블록을 또한 도시한다. 동작 보상이 서브-영역(220)에 있는 블록(250)상에서 수행될 때, 동작 보상된 예측 블록은 기준 화상의 서브-영역(220)내로부터 와야한다. 환언해서 영역 외부에서 포인트하는 동작 벡터(260)는 허여되지 않는다. 그것은 제한된 동작 벡터로 불리운다. 다른 한편으로, 블록(230)이 서브-영역(220) 외부에 있을 때, 동작 보상된 예측 블록은 기준 화상에서 어디든 올수 있다. 그것은 서브-영역이 없는 곳과 같다.

도 4는 서브-영역(220)을 각 화상내에 어떻게 표시하는 지의 방법을 도시한다. 각 화상에 대해 사각형 서브-영역(220)을 지정하기위해 다음의 파라미터는 각 화상에 대해 지정되야하고 압축 비트스트림의 화상 헤더에서 또한 인코드되야 한다. 도 4에서, 화상(310) 및 서브-영역(220)이 예시된다. 화상의 좌측 에찌로부터의 서브-영역(220)의 좌측 에찌의 수평 오프세트(330) 및 화상의 상부 에찌로부터의 서브-영역(220)의 상부 에찌의 수직 오프세트(340)는 도시된다. 팬 스캔 벡터로 불리우는 상기 2개의 파라미터는 서브-영역의 위치를 표시하기위해 사용된다. 서브-영역(220)의 폭(350) 및 높이(360)는 서브-영역(220)의 크기를 지정하기위해 요구되는 제2파라미터 세트이다.

본 발명의 제2실시예에서, 서브-영역의 블록에 대한 동작 벡터는 제한될 필요가 없다. 그것은 기준 화상의 서브-영역의 외부에서 포인트하도록 허여된다. 그러나 패딩이 요구된다. 그것은 화상(310) 및 서브-영역(220)이 도시되는 도 5에서 예시된다. 동작 보상된 예측부(430)는 서브-영역(220)의 경계에서 스트래딩(straddling)하도록 도시된다. 서브-영역(220) 외부에 있는 블록의 부분(431)은 예측용으로 사용되지 않고 서브-영역(220)의 에찌에서 발견된 화소값을 반복함으로써 패드(pad)된다. 서브-영역(220)에 있는 블록의 부분(432)은 패딩없이 사용된다. 비슷한 패딩 방법은 수직 에찌 및 수평 에찌 각각에서 위치된 블록의 행 및 열에 대해 사용된다.

제1실시예와 같이, 제2실시예에 따른 방법은 인코더 및 디코더를 멀리 드리프트됨을 야기함이 없이 계산의 섬세한 성능저하 방법으로 하여금 서브-영역(220)의 외부에서 화상의 일부를 버리게할 수 있다.

인터(inter) 블록에서 드리프트를 야기할 수 있는 동작 보상과 별도로, 서브-영역(220)의 상부 및 좌측 경계에서 인트라(intra) 블록은 예측용 서브-영역(220)의 외부에서 어떤 블록을 사용하지 못하도록 된다. 그것은 왜냐하면 계산의 섬세한 성능저하된 디코더에서 상기 블록이 디코드되지 않고 그러므로 예측이 이중으로 될 수 없기 때문이다. 그것은 공통으로 사용된 DC 및 AC 계수 예측을 인코더에서 사용되지 못하게 배제한다.

도 2는 디코더(190)의 블록 다이어그램을 예시한다. 계산의 섬세한 성능저하를 사용하는 디코더(190)의 실시예는 본원에서 설명된다. 압축된 비트스트림은 전송으로부터 수신되고 비트스트림이 사용된 신택스(syntax) 및 엔트로피 방법에 따라 디코드되는 가변 길이 디코더 유니트(191)로 통과된다. 디코드된 정보는 서브-영역(220)에 속하는 디코드된 정보가 계속 유지되고 서브-영역(220)의 외부에서 디코드된 정보가 버려지는 계산의 섬세한 성능저하 선택기(192)로 통과된다. 그 계속 유지된 정보는 DCT 계수가 회복되는 역양자화 유니트(193)로 통과된다. 그 회복된 계수는 계수가 공간 영역에 되돌아 변환되는 역 DCT 유니트(194)로 통과된다. 동작 보상된 예측이 재구성된 화상을 형성하기위해 가산된다. 재구성된 화상이 그것이 다음 화상의 예측용으로 사용되는 프레임 저장부(195)에 저장된다. 동작 보상 유니트(196)가 인코더(110)에서 사용되는 같은 방법에 따라 동작 보상을 수행한다.

동작 벡터가 제한되는 인코더의 제1실시예에서, 가산된 변경이 디코더에서 요구되지 않는다. 동작 벡터가 제한되지 않는 인코더의 제2실시예에서, 도 5와 연결해서 상설된 패딩을 갖는 동작 보상 방법은 디코더에서 사용된다. 결국, 서브-영역(220)의 상부 및 좌측 경계에서 인트라 블록은 예측용 서브-영역(200)의 외부에서 어떤 블록으로부터 제한된다. 그것은 공통으로 사용된 DC 및 AC 계수 예측의 사용을 배제한다.

본 실시예에서 복잡성 파라미터 인코더는 요구되는 블록 디코딩 동작수를 카운트하는 카운팅 유니트로 구성한다. 블록 디코딩 동작은 기본적인 산술 동작이 아니라 블록상에서 수행되는 동작 집합(collection)이다. 블록 디코딩 동작이 블록 역양자화 동작, 블록 역DCT 동작, 블록 베이시스(basis)에 의해 블록상에서 디코딩 임무를 수행하는 블록 메모리 액세스 또는 어떤 다른 동작 집합일 수 있다. 복잡성 파라미터 인코더는 각 동작 세트를 요구하고 파라미터에서 그것들을 표시하는 블록수를 카운트한다. 간단한 산술 동작을 대신해서 블록 디코딩 동작이 사용되는 이유는 왜냐하면 다른 실행이 다른 동작을 다른것보다 더 효율적으로 실행할수 있기 때문이다.

복잡성 요구를 표시하기위해 신뢰할 수 없는 메모리 액세스 측정 및 원래의 처리 전력을 사용하는 다른 하드웨어 및 소프트웨어 솔루션량 및 디코더 구조의 차가 역시 있다. 그러나, 요구된 동작이 필요한 블록 디코딩 동작수를 카운트하는 파라미터에 의해 표시되면, 디코더는 복잡성을 추정할 수 있다. 그것은 왜냐하면 디코더가 그 자신의 실행에서 블록 디코딩 동작 각각에 대해 요구된 동작량을 알기 때문이다.

시스템 인코더 및 다중화기의 실시예에서, 기본 비트스트림은 패키지화되고 전송용으로 다중화된다. 복잡성 파라미터와 관계된 정보가 비트스트림으로 또한 다중화된다. 상기 정보는 페킷 헤더로 삽입된다. 그런 정보를 요구하지 않는 디코더는 상기 정보에 대해 간단히 스킵한다. 그런 정보를 요구하는 디코더는 상기 정보를 디코드할 수 있고 그들을 인터프리트(interpret)하여 복잡성 요구를 추정한다.

본 실시예에서 인코더는 패킷 헤더에서 디스크립터 형태로 정보를 삽입한다. 디스크립터는 디스크립터에 포함된 총 바이트수에 의해 추종되는 디스크립터 형태를 표시하기위해 ID를 포함한다. 디스크립터의 나머지는 각 블록 디코딩 동작에 대해 파라미터를 포함한다. 선택적으로 디스크립터는 이미 형성되지 않았던 사용자에 의해 형성된 파라미터를 또한 이동시킨다.

도 1의 스케줄러 및 복잡성 추정기(180)에서, 시청각 오브젝트 모두를 디코딩하는데 걸리는 시간이 디코더로부터의 피드백 정보뿐만 아니라 디스크립터에서 발견된 파라미터를 토대로 계산된다.

복잡성 추정기(180)의 실시예가 도 6에 도시된다. 블록 디코딩 동작 파라미터(181a, 181b 및 181c)는 가중부(182a, 182b 및 182c) 각각으로써 이미 다중화된후 복잡성 추정기(183)로 통과된다. 복잡성 추정기(183)는 화상의 복잡성을 디코더로 되기위해 추정하고 그 추정된 복잡성(184)을 디코더(190)에 통과시킨다. 화상을 디코딩한 후 디코더(190)는 화상의 실제 복잡성(185)를 복귀시킨다. 복잡성 추정의 에러(186)는 화상의 추정된 복잡성(184) 및 실제 복잡성(185)간의 차를 취함으로써 얻어진다. 에러(186)는 가중부에 대한 정정부(188a, 188b 및 188c)가 발견되는 피드백 이득 유니트(187)로 통과된다. 가중치는 상기 정정에 의해 변형되고 다음 화상의 복잡성을 추정하는 처리는 계속한다.

본 발명의 효과는 최악의 경우를 취급할 수 있는 실행의 필요성이 더 이상 필요로 되지 않는 것이다. 계산의 복잡성 및 계산의 섬세한 성능저하 방법의 표시를 사용해서 더 간단한 디코더가 실행될 수 있다. 디코더는 대부분의 시퀀스를 디코드하기위한 능력을 가지나, 그것이 더 많이 요구하는 시퀀스를 발생하면, 그것은 비트스트림을 디코드하기위해 디코더 출력의 품질 및 해상도를 성능저하할 수 있다.

본 발명은 다른 해상도 및/또는 다른 포맷을 갖는 서비스의 인터 워킹에 또한 사용된다. 서브-영역은 높은 해상도의 디코더로서 완전한 화상을 디코드할 수 있는 낮은 해상도의 디코더에 의해 디코더로 될 수 있다. 하나의 예는 16:9 및 4:3 종횡비 디코더간에 인터 워킹이다.

Claims (16)

1. 복수의 시청각 오브젝트를 디코더에서 계산의 섬세한 성능저하에 알맞은 압축코드된 표시로 인코딩하는 방법에 있어서,

   계산의 섬세한 성능저하로 하여금 디코더에서 사용되게하는 결합 방법인 상기 시청각 오브젝트를 그 코드된 표시로 인코딩하는 단계와;

   실행에 무관한 계산의 복잡성 측정을 복수의 블록 디코딩 파라미터의 견지에서 추정하는 단계와;

   시청각 오브젝트의 상기 코드된 표시를 복수의 액세스 유니트로 분할하고 패킷을 형성하기위해 헤더 정보를 가산시키는 단계와;

   상기 블록 디코딩 파리미터를 포함하는 디스크립터(descripter)를 패킷의 헤더로 삽입하는 단계와;

   단일의 다중화 비트스트림을 형성하기위해 그 패킷을 다중화하는 단계를 구비하는 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
2. 복수의 시청각 오브젝트를 얻기위해 다중화된 비트스트림을 계산의 섬세한 성능저하로써 디코딩하는 방법에 있어서,

   단일 다중화된 비트스트림을 패킷 헤더 및 액세스 유니트를 구비하는 복수의 패킷으로 역-다중화하는 단계와;

   패킷 헤더로부터 복수의 블록 디코딩 파라미터를 포함하는 디스크립터를 인출하는 단계와;

   액세스 유니트를 시청각 오브젝트의 그 원래 코드된 표시로 리어셈블링(reassembling)하는 단계와;

   디코더의 특정한 계산의 복잡성이 상기 블록 디코딩 파라미터 및 현재의 디코더 실행을 토대로해서 측정하는 것을 추정하는 단계와;

   추정된 디코더의 특정한 계산의 복잡성 요구를 만족하기위해 필요시 계산의 섬세한 성능저하를 사용하는 시청각 오브젝트의 상기 코드된 표시를 디코드하는 단계를 구비하는 것을 특징으로하는 다중화된 비트스트림의 디코딩 방법.
3. 제1항에 있어서, 상기 시청각 오브젝트를 그 압축코드된 표시로 인코딩하는 방법에서, 계산의 섬세한 성능저하를 디코더에서 사용되도록하는 결합 방법은,

   각 서브-영역이 그것에 선행하는 서브-영역내에 화소의 서브세트만을 구비하고, 입력 화상을 증가하는 순서로 번호매겨진 복수의 서브-영역으로 인코드되도록 분할하고, 제1서브-영역으로서 완전한 화상으로써 시작하는 단계와;

   서브-영역의 위치 및 크기를 비트스트림내에 압축코드된 표시로 엔트로피(entropy) 코딩하는 단계와;

   서브-영역을 비트스트림내에 압축코드된 표시로 인코딩하기위해 복수의 블록으로 또한 분할하는 단계와;

   상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 재구성된 화상으로부터 화소만을 사용하는 상기 블록에 대해 동작 추정 및 동작 보상을 수행하는 단계와;

   동작 벡터를 비트스트림내에 압축코드된 표시로 엔트로피 코딩하는 단계와;

   동작 보상된 예측차를 직교 영역으로 변환하는 단계와;

   그 변환된 계수를 양자화 방법을 사용해서 양자화하는 단계와;

   그 양자화되어 변환된 계수를 비트스트림내에 압축코드된 표시로 엔트로피 코딩하는 단계를 더 구비하는 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
4. 제2항에 있어서, 추정된 디코더의 특정한 계산의 복잡성 요구를 만족하기위해 필요시 계산의 섬세한 성능저하를 사용해서 시청각 오브젝트의 상기 코드된 표시를 디코딩하는 방법에 있어서,

   서브-영역의 위치 및 크기를 비트스트림내에 압축코드된 표시로부터 엔트로피 디코딩하는 단계와;

   디코딩에 관계되는 서브-영역내에 있는 블록만을 선택하는 단계와;

   양자화되어 변환된 계수를 부여하기위해 압축코드된 표시를 엔트로피 디코딩하는 단계와;

   그 변환된 계수를 부여하기위해 상기 양자화되어 변환된 계수를 역양자화하는 단계와;

   공간 영역 동작 보상된 예측차를 부여하기위해 상기 변환 계수를 역변환하는 단계와;

   비트스트림내에 압축코드된 표시로부터 동작 벡터를 엔트로피 디코딩하는 단계와;

   상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 재구성된 화상으로부터 화소만을 사용해서 상기 블록에 대해 동작 보상을 수행하는 단계와;

   그 화상을 재구성하고 다음 화상의 예측용 프레임 메모리에서 상기 화상을 저장하는 단계를 더 구비하는 것을 특징으로하는 다중화된 비트스트림의 디코딩 방법.
5. 제1항에 있어서, 상기 시청각 오브젝트를 그 코드된 표시로 인코딩하는 방법에서, 계산의 섬세한 성능저하를 디코더에서 사용되도록하는 결합 방법은,

   각 서브-영역이 그것에 선행하는 서브-영역내에 화소의 서브세트만을 구비하고, 입력 화상을 증가하는 순서로 번호매겨진 복수의 서브-영역으로 인코드되도록 분할하고, 제1서브-영역으로서 완전한 화상으로써 시작하는 단계와;

   서브-영역의 위치 및 크기를 비트스트림내에 압축코드된 표시로 엔트로피(entropy) 코딩하는 단계와;

   서브-영역을 비트스트림내에 압축코드된 표시로 인코딩하기위해 복수의 블록으로 또한 분할하는 단계와;

   상기 블록을 직교 영역으로 변환하는 단계와;

   그 변환된 계수를 양자화 방법을 사용해서 양자화하는 단계와;

   상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 좌측에 및 좌측위에 블록으로부터 대응하는 양자화된 변환 계수만을 사용해서 상기 블록에 대해 양자화된 변환 계수 예측을 수행하는 단계와;

   그 양자화되어 변환된 계수의 예측차를 비트스트림내에 압축코드된 표시로 엔트로피 코딩하는 단계를 구비하는 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
6. 제2항에 있어서, 추정된 디코더의 특정한 계산의 복잡성 요구를 만족하기위해 필요시 계산의 섬세한 성능저하를 사용해서 시청각 오브젝트의 상기 코드된 표시를 디코딩하는 방법에 있어서,

   서브-영역의 위치 및 크기를 비트스트림내에 압축코드된 표시로부터 엔트로피 디코딩하는 단계와;

   디코딩에 관계되는 서브-영역내에 있는 블록만을 선택하는 단계와;

   양자화되어 변환된 계수를 부여하기위해 압축코드된 표시를 엔트로피 디코딩하는 단계와;

   상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 좌측에 및 좌측위에 블록으로부터 대응하는 양자화된 변환 계수만을 사용해서 상기 블록에 대해 양자화된 변환 계수 예측을 수행하는 단계와;

   그 변환된 계수를 부여하기위해 상기 양자화되어 변환된 계수를 역양자화하는 단계와;

   공간 영역 화소값을 부여하기위해 상기 변환 계수를 역변환하는 단계와;

   그 화상을 재구성하고 다음 화상의 예측용 프레임 메모리에서 상기 화상을 저장하는 단계를 더 구비하는 것을 특징으로하는 다중화된 비트스트림의 디코딩 방법.
7. 제1항에 있어서, 실행에 무관한 계산의 복잡성 측정을 추정하는 방법에서, 복수의 블록 디코딩 파라미터는,

   블록 엔트로피 디코딩 동작과;

   블록 동작 보상 동작과;

   블록 역양자화 동작과;

   블록 변환 동작과;

   블록 가산 동작과;

   블록 메모리 액세스 동작의 수를 표시하는 숫자번호를 구비하는 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
8. 제1항에 있어서, 블록 인코딩 파라미터를 패킷의 헤더에서 인코딩하는 방법에서, 디스크립터는,

   디스크립터 형태를 시그널링하는 디스크립터 식별 번호와;

   디스크립터의 크기를 표시하기위한 디스크립터 길이 필드와;

   복수의 블록 디코딩 파라미터를 구비하는 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
9. 제3 및 5항에 있어서, 입력 화상을 복수의 서브-영역으로 인코드되도록 분할하는 방법에서, 상기 서브-영역이 사각형인 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
10. 제3항에 있어서, 동작 추정 및 동작 보상을 상기 블록에 대해 수행하는 방법에서, 상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 재구성된 화상으로부터의 화소만을 사용하는 것은 상기 서브-영역내에서 완전히 놓이는 예측만이 선택되는 것을 의미하는 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
11. 제3항에 있어서, 동작 추정 및 동작 보상을 상기 블록에 대해 수행하는 방법에서, 상기 블록과 같거나 더 높은 숫자순서를 갖는 서브-영역에 속하는 재구성된 화상으로부터의 화소만을 사용하는 것은 예측 블록이 서브-영역외부에서 부분적으로 놓이나 상기 서브-영역외부에서 놓인 화소가 서브-영역내로부터 최근접 화소에 의해 대치되는 가산 상태로써 놓이는 것을 의미하는 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
12. 제3 및 5항에 있어서, 화상을 복수의 서브-영역으로 분할하는 방법에서, 각 상기 서브-영역의 위치 및 크기가 화상마다 변화하고 상기 위치 및 상기 크기는 팬 스캔 벡터에 의해 코드되고, 수평 및 수직 변위, 폭 및 높이를 부여하는 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
13. 제3 및 5항에 있어서, 화상을 복수의 서브-영역으로 분할하는 방법에서, 서브-영역의 위치 및 크기가 화상마다 같고 상기 위치 및 상기 크기는 수평 및 수직 변위, 폭 및 높이에 의해 시퀀스의 시작에서 한번 코드되는 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
14. 제3, 4, 5 및 6항에 따라 인코딩 및 디코딩하는 방법에 있어서, 변환이 불연속 코사인 변환인 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
15. 제3, 4, 5 및 6항에 따라 인코딩 및 디코딩하는 방법에 있어서, 서브-영역수가 2개인 것을 특징으로하는 시청각 오브젝트를 압축코드된 표시로 인코딩하는 방법.
16. 증가하는 순서로 번호매겨진 복수의 서브-영역이 있고 동작 벡터가 낮은 순서의 서브 영역으로 포인트할 수 있으나 더 높은 순서로된 번호로 낮은 순서중에서 포인트할 수 없는 것을 특징으로하는 방법.