KR20110042203A

KR20110042203A - 비디오 인코딩을 위한 방법 및 배치

Info

Publication number: KR20110042203A
Application number: KR1020117004612A
Authority: KR
Inventors: 장-프랑소와 피 맥큐
Original assignee: 알까뗄 루슨트
Priority date: 2008-07-28
Filing date: 2009-07-24
Publication date: 2011-04-25
Also published as: EP2150060A1; WO2010012501A1; US20100020875A1; JP5335913B2; CN101640797A; JP2011529311A

Abstract

인터 예측 모드와 인트라 예측 모드를 선택하는 단계를 포함하며, 인터 예측 모드가 선택된 경우, 사전 결정된 기준에 따라, 적어도 한 타입의 인터 예측 매크로블록을 상이한 카테고리로 소팅하는 단계와, 상기 적어도 한 타입의 모든 매크로블록을 배열하여, 하나의 슬라이스 그룹 내에 동일 카테고리를 존재시켜, 이러한 타입의 인터 예측 매크로블록에 대해 슬라이스 그룹의 세트를 생성하는 단계를 더 포함하는 방법.

Description

비디오 인코딩을 위한 방법 및 배치{METHOD AND ARRANGEMENT FOR VIDEO ENCODING}

본 발명은 청구항 1의 전제부에 기재된 비디오 인코딩을 위한 방법에 관한 것이다.

오디오 또는 비디오 스트림과 같은 멀티미디어 스트림의 인코딩에 대해서는 문헌적으로 광범위하게 기재되어 있고, 또한 여러 표준에 의해서 표준화되어 있다. 특히, H.264/AVC 비디오 코딩 표준에는, 비디오 신호 또는 오디오 신호를 낮은 비트 레이트(lower bit rate)로 전송 가능하게 하도록 개발된 고급 압축 기술(advanced compression techniques)이 기술되어 있다. 이 표준은 인코딩된 비디오 비트스트림의 신택스(syntax)와 함께 그 비트스트림을 디코딩하는 방법을 정의하고 있다. 이에 의해 각 비디오 프레임을 매크로블록 레벨(macroblock level)로 세분화하여 인코딩하고 있으며, 여기서 각 매크로블록은 16×16 블록의 화소이다.

매크로블록은 병렬화 또는 에러 내성을 갖도록 모두 슬라이스(slice)로 그룹화될 수 있다. 각 매크로블록에 있어서, 코딩된 비트스트림은, 첫째, 이미 디코딩된 매크로블록에 근거하여 당해 매크로블록의 예측(prediction)을 어떻게 연산하는지를 디코더에 알리는(signal) 데이터와, 둘째, 매크로블록 화소값을 재구성하기 위해 그 예측에 디코딩되고 부가되는 잔여 데이터를 포함하고 있다. 각 매크로블록은 현재의 슬라이스로 재구성된 매크로블록에 근거하여 매크로블록의 예측이 이루어지는 "인트라-예측" 모드로 인코딩되거나, 또는, 기준 프레임(reference frame)이라고 불리는 이미 디코딩된 프레임의 화소의 블록에 근거하여 매크로블록의 예측이 이루어지는 "인터-예측(inter-prediction)" 모드로 인코딩된다. 인트라-예측 코딩 모드(intra-prediction coding mode)는, 이미 인코딩, 디코딩 및 재구성되어 있는 현재의 슬라이스 내의 이웃하는 샘플로부터 인코딩된 매크로블록을 예측하는 공간적 예측(spatial prediction)을 현재 슬라이스 내에 제공한다. 인트라-예측 모드로 코딩된 매크로블록은 I-타입 매크로블록이라고 불린다. 인터-예측 코딩 모드는 과거 및/또는 미래의 기준 프레임의 샘플로부터 인코딩된 매크로블록을 예측하는 시간적 예측(temporal prediction)에 근거하고 있다. 인터-예측 모드로 코딩된 매크로블록은, 단일 기준 프레임으로부터 각 서브블록이 예측되는 경우는 P 타입 매크로블록, 또는 1 또는 2개의 기준 프레임으로부터 각 서브블록이 예측되는 경우에는 B 타입 매크로블록일 수 있다.

디폴트 H.264 방식(default H.264 behaviour)은 래스터-주사 순서(raster-scan order)(즉, 좌측으로부터 우측으로 선을 주사하는 것)로 매크로블록을 슬라이스로 그룹화하는 것이다. 하지만, H.264 표준은 연성 매크로블록 오더링(flexible macroblock ordering)(이하에서는 줄여서 FMO라고 기재함)이라고 불리는 다른 능력도 더 소개하고 있다. FMO는 비디오 프레임을 복수의 슬라이스 그룹으로 분할하고, 각 슬라이스 그룹은 잠재적으로 비연속적인 위치이면서 프레임 내에 어디든 위치할 수 있는 매크로블록의 세트를 포함한다.

전달을 위해서, 각 슬라이스는, 디폴트 모드를 이용하여, 하나의 네트워크 추상 계층(network abstraction layer)(이하에서는 줄여서 NAL이라고 기재함) 단위 내로 전달될 수 있다. 하지만, H.264/AVC 표준은 슬라이스의 전달시에 에러 내성을 향상시키기 위해서, 몇몇 NAL 단위를 통해 각 슬라이스를 데이터 분할하는 것에 대한 부가적 특징을 더 기술하고 있다.

이러한 몇몇 파티션(partition)에 걸쳐 하나의 슬라이스를 데이터 분할하는 특징에 따르면, 하나의 슬라이스의 인코딩된 콘텐츠는 3개의 NAL 단위, 즉 NAL 단위 파티션 A, NAL 단위 파티션 B, NAL 단위 파티션 C로 분배될 것이다. 이 표준에 따르면, NAL 단위 파티션 A는, 각 인트라-코딩된 매크로블록, 인터-코딩된 매크로블록용 각 인트라-예측 모드, 모션 벡터(motion vector)를 포함하는, 슬라이스 내의 각 매크로블록에 대한 슬라이스 헤더 및 헤더 데이터를 포함한다. NAL 단위 파티션 B는, 인트라 예측 코딩이 이용되는 경우, 검토 중인 슬라이스의 매크로블록의 인트라 코딩된 잔여 데이터를 포함하고, NAL 단위 파티션 C는 인트라 예측 코딩이 이용되는 경우, 인터 코딩된 잔여 데이터를 포함한다.

이들 NAL 단위는, 본래 프레임을, 디스플레이를 위해 재구성되거나 사용자에게 제공되게 하도록, 수신된 패킷을 재차 디코딩하는 디코더를 포함하는 수신기를 향해 네트워크를 통해 전송하기 위해서 패킷으로 더 캡슐화된다.

네트워크 또는 수신 버퍼에서 정체(congestion) 상태 또는 과부하 상태인 경우, 문헌적으로는, S. Mys, P. Lambert, W. De Neve, P. Verhoeve, 및 Van de Walle에 의한 "SNR Scalability in H.264/AVC using Data Partitioning"의 Computer Science의 Lectures Note(Advances in Multimedia Information Processing, vol.4261, 329-338페이지, 2006년)와 같은 몇몇 문서에는 NAL 단위 파티션 C를 폐기할 것을 제안하고 있다. 몇몇 NAL 단위를 폐기함으로써 필연적으로 도출되는 비디오 품질의 손실을 제한하기 위해서, 이들 문서에서는, NAL 단위 파티션 C가 폐기될, 슬라이스 내의 I-타입 매크로블록의 사전 결정된 여분의 양을 랜덤적으로 할당하는 것을 제안하고 있다. 그러나, 이것은 비효율적인 코딩으로 이어진다.

따라서, 본 발명의 목적은, 상기 공지된 종류의 방법이지만, 종래의 방법에 대한 문제를 해결하는데 적용되는 방법을 제공하는 것이다.

본 발명에 따르면, 이 목적은 적어도 한 타입의 인터 코딩된 매크로블록을 몇개의 카테고리로 분류하는 단계와, 이들 매크로블록을 몇개의 슬라이스 그룹으로 그룹화하는 단계에 의해 달성되며, 각 슬라이스 그룹은 인터 코딩된 매크로블록의 각 카테고리에 준거하고 있다.

이러한 방법에 있어서, 인터 코딩된 소정 타입의 매크로블록, 예컨대, P 타입 매크로블록에 대해서는, P 타입 슬라이스 그룹의 카테고리가 상이한 세트가 생성된다. 캡슐화시에, 당해 세트의 그룹들의 각 슬라이스의 코딩된 데이터는, 전술한 데이터 분할 원리에 따라, 파티션 A, 파티션 B, 파티션 C로 나뉘어진다. 예컨대, 덜 중요한 매크로블록의 파티션 C만을 폐기함으로써, 이 세트의 덜 중요한 카테고리의 하나 이상의 슬라이스 그룹에 배열되기 때문에, 에러 내성이 더욱 양호하고 양질의 전송으로 이어진다.

물론 본 발명은 상기 주제의 방법을 수행하기 위한 인코딩 장치에도 관한 것이다.

다른 실시예들은 첨부한 특허청구범위에서 정리된다.

특허청구범위에서 사용되는 용어 '결합(coupled)'은 단지 직접 접속에 한정되는 것처럼 해석되어서는 안됨을 유의해야 한다. 따라서, 표현 '디바이스 B에 결합된 디바이스 A'의 범위는 디바이스 A의 출력이 디바이스 B의 입력에 직접 접속되는 디바이스 또는 시스템에 한정되지 않는다. 이것은 A의 출력과 B의 입력 사이에, 다른 디바이스 또는 수단을 포함하는 경로가 존재하는 것을 의미한다.

특허청구범위에서 사용하는 용어 '구비한다(comprising)'는 그 앞에 기재되는 수단에 한정되는 것처럼 해석되어서는 안됨을 유의해야 한다. 따라서, 표현 '디바이스는 수단 A 및 B를 구비한다'의 범위는 구성요소 A 및 B만으로 구성되는 디바이스에 한정되지 않는다. 이것은, 본 발명에 있어서, 단지 디바이스의 관련 구성요소가 A 및 B인 것을 의미한다.

본 발명의 상기 및 다른 목적 및 특징은 더욱 명확해지며, 본 발명은 첨부한 도면에 관련지어 설명되는 이하의 실시예의 설명을 참조하는 것에 의해 가장 이해되기 쉬울 것이다.

도 1(a)는 P 타입 매크로블록에 대해 설명되는 방법으로 프레임의 일례를 개략적으로 나타내는 도면,
도 1(b)는 도 1(a)의 프레임에 대한 방법에 따른 데이터 분할을 설명하는 도면,
도 2(a)는 B 타입 매크로블록에 대해 설명되는 방법으로 프레임의 일례를 개략적으로 나타내는 도면,
도 2(b)는 도 2(a)의 프레임에 대한 방법에 따른 데이터 분할을 설명하는 도면,
도 3(a)는 B 타입 및 P 타입의 매크로블록에 대해 설명되는 방법으로 프레임의 일례를 개략적으로 나타내는 도면,
도 3(b)는 도 3(a)의 프레임에 대한 방법에 따른 데이터 분할을 설명하는 도면,
도 4(a)는 동일한 슬라이스 그룹 내의 B 타입 및 P 타입 매크로블록에 대해 설명되는 방법으로 프레임의 일례를 개략적으로 나타내는 도면,
도 4(b)는 도 4(a)의 프레임에 대한 방법에 따른 데이터 분할을 설명하는 도면,
도 5(a)는 하나의 카테고리 내의 몇몇 슬라이스 그룹을 갖는, P 타입 매크로블록에 대해 설명되는 방법으로 프레임의 일례를 개략적으로 나타내는 도면,
도 5(b)는 도 5(a)의 프레임에 대한 방법에 따른 데이터 분할을 설명하는 도면이다.

이하에서는 단지 본 발명의 원리만을 설명하는 것임을 유의해야 한다. 따라서, 이하에 명확하게 기재되지 않거나 도시되지 않더라도, 당업자라면, 본 발명의 원리를 포함하고 본 발명의 사상 및 범위 내에 포함되는 다양한 구성예를 고안할 수 있음을 알 수 있을 것이다. 또한, 여기에 기재되는 모든 예 및 조건부 언어는 원칙적으로, 독자가, 본 발명의 원리 및 발명자(들)이 창안한 콘셉트(concepts)의 이해시에 당해 기술을 더욱 명확히 이해하도록 교육적 목적으로만 제공하려는 것이고, 이러한 특별히 인용된 예들 및 조건에 한정되지 않은 것으로 이해되어야 할 것이다. 또한, 여기에 기재된 본 발명의 원칙, 관점 및 실시예뿐만 아니라, 그 특정예의 모든 설명은 그것과 등가인 구성물 및 기능물을 포함하려는 것이다. 부가적으로, 그러한 등가물은 현재 공지된 등가물뿐만 아니라 향후 개발될 등가물, 즉, 구성에 관계없이, 동일한 기능을 수행하도록 개발되는 어떠한 엘리먼트를 포함하는 것이다.

본 발명은 시부호화(initial coding)가 이하의 H.264/AVC 표준인 일례에 의해서 설명된다. 그러나, 본 발명에 관련되는 실시예를 실현하기 위해서, 기본적 원칙을 이용하는 다른 타입의 코딩을 사용할 수도 있다.

더 상세하게는, 본 발명에 따른 방법의 실시예는 매크로블록을 슬라이스 그룹으로 그룹화하는 방법에 관한 것이다. 이러한 목적을 위해서, 인코딩 알고리즘에 부가 단계가 추가되어, 인트라코딩(intra-coded)되거나 인터코딩(intercoded)되든 간에, 각 매크로블록에 대해 알고리즘이 결정되면, 인터코딩될 매크로블록의 일부 또는 전부에 대해 여분의 단계가 추가되도록, 인코딩 알고리즘에 부가 단계가 추가된다. 주요 MPEG 표준에 따르면, 인트라코딩될 매크로블록은 I-매크로블록이라고 부린다. 그 이외의 것, 즉 인터코딩되는 매크로블록에 대해서는, 특정 인코딩 알고리즘에 따라, P 타입과 B 타입의 매크로블록으로 나뉘어질 수 있다. 인코더는 각 매크로블록에 대해 어떤 타입인지를 판정한다.

본 발명의 일 실시예에서는, 단지 P 타입 매크로블록은 또한 도 1(a)~(b) 및 도 5(a)~(b)에 나타낸 예에서와 같이 분류(classified)한다. 본 발명의 다른 실시예에서는, 단지 B 타입 매크로블록은 또한 도 2(a)~(b)에 나타낸 예에서와 같이 분류되지만, 본 발명의 또 다른 실시예에서는, P 타입 매크로블록 및 B 타입 매크로블록 모두를 사전 결정된 기준에 따라 도 3(a)~(b)에 나타낸 바와 같이 더 소팅(sort)하고 있다. 또 다른 실시예에서는, 매크로블록이 B 타입 또는 P 타입인지에 관계없이, B 타입 또는 P 타입의 매크로블록 모두는, 매크로블록이 B 타입 또는 P 타입인지에 대한 어떠한 최초 구분없이, 도 4(a)~(b)에 나타낸 바와 같이 소팅된다.

먼저, P 타입 매크로블록만을 소팅하는 제 1 실시예에 대해 도 1(a) 및 (b)를 참조하여 설명한다.

인터코딩된 P 타입 또는 소정 타입의 매크로블록의 소팅(sorting) 또는 분류는 디코더측에서 비디오 데이터의 재구성의 크기 및/또는 중요도에 근거하여 행해질 수 있다. 그러나, 그러한 인터코딩된 매크로블록을 분류하는 또 다른 방법도 가능하다.

먼저, 매크로블록을 분류하기 위한 첫번째 가능성은 그들의 잔여 데이터의 크기를 고려하는 것이다. 예컨대, 이것은 화소 도메인에서, 1~256의 정수값인 매크로블록 화소값간의 차이와 그들의 예측(prediction)을 합산함으로써 행해질 수 있다. 다른 예는, 압축 도메인에서, 잔여 데이터의 양자화 및 엔트로피 코딩된 변환 계수의 크기(비트면)를 검토하는 것을 구비할 수 있다. 가장 큰 크기의 매크로블록은 더 중요한 매크로블록으로서 분류되고, 가장 작은 크기의 매크로블록은 덜 중요한 매크로블록으로서 분류된다.

두번째 가능성은, 예컨대, 매크로블록 잔여 데이터의 손실이, 디코딩측에서 재구성된 비디오의 표시 품질에 얼마나 영향을 주는지를 평가하는 것에 의해, 중요도를 추정하는 것이다. 매크로블록 잔여 데이터의 부재(absence)로 인한 품질 열화는 소정의 비디오 품질 메트릭(any video quality metric)을 이용하여 수치화될 수 있다. 예컨대, 기본적 실시예에 있어서, 이 메트릭은 본래 비디오와 디코딩측에서 재구성한 비디오간의 PSNR(Peak Signal-to-Noise Ratio)일 수 있다. 매크로블록 잔여 데이터의 시각적 중요도(visual importance)에 따른 매크로블록의 분류는, 인간의 시각 시스템(Human Visual System)(예컨대, VQM, PEVQ, 또는 SSIM 기반 메트릭)의 관점을 더 고려하여, 다른 비디오 품질 메트릭을 이용함으로써 더욱 향상될 수 있다. 중요한 매크로블록은 덜 중요한 매크로블록보다 높은(또는 더 중요한) 카테고리의 클래스로 소팅되고, 덜 중요한 매크로블록은 낮은 카테고리의 클래스로 분류되는 것은 명확하다.

또 다른 실시예에 있어서, 소팅 절차(sorting procedure)는 매크로블록의 잔여 데이터의 손실이 미치는 영향을 평가하기 위해서, 매크로블록간의 시간적 차이 및 공간적 차이를 고려할 수도 있다. 따라서, 당해 절차는 인트라 예측 또는 인터 예측에 의해서, 소팅될 매크로블록에 직접 또는 간접적으로 관련되는 모든 매크로블록을 고려하고 있다. 비디오 품질 메트릭(예컨대 전술한 메트릭 중 하나)을 이용하여, 비트스트림으로부터 특정 매크로블록을 제거한 비디오 품질에 전반적인 영향이 어떠한지를 측정하는 절차가 이루어진다.

전술한 소팅 단계 이후에, 매크로블록은 그들의 크기, 그들의 잔여 데이터의 중요도, 또는 선택된 소팅 방법에 의해 규정되는 전술한 기준과는 다른 기준에 관련하여 몇몇 사전 결정된 임계값에 근거해서 상이한 카테고리로 분류될 수 있다. 연산이 더욱 복잡한 실시예에 있어서, 비디오 품질 메트릭(예컨대, 전술한 메트릭 중 하나)을 이용하여, 다양한 세트의 매크로블록의 동시 손실이 디코딩된 비디오의 품질에 미치는 영향을 측정함으로써 다양한 분류 선택을 직접 평가하는 것에 근거하여 분류가 행해질 수 있다.

도 1(a)에 소팅/분류의 가능한 결과를 나타낸다. 이러한 간략화된 도면에서는, 7개의 I-타입 매크로블록과 41개의 P 타입 매크로블록을 포함하는 간략화된 프레임이 도시된다. 본 실시예에 있어서, 41개의 매크로블록은, 블록에서 상이한 그레이 컬러 및 표시에 의해 도시된 바와 같이, P1, P2 및 P3의 3개의 서브카테고리로 더 분류된다. P1의 카테고리에 대해서는 5개의 매크로블록이 존재하고, P2의 카테고리에 대해서는 4개의 매크로블록이 존재한다. 나머지 32개의 매크로블록은 P3 타입이다. 본 예에 있어서, 전술한 기준 중 하나의 기준에 따라, P1 매크로블록은 더욱 중요한 매크로블록으로서 인식되고, P3 매크로블록이 덜 중요한 매크로블록으로서 인식된다.

현재 슬라이스 그룹화는 매크로블록의 서브카테고리, 즉, I 슬라이스 그룹으로 그룹화되고 슬라이스 FMO0으로 구성되는 7개의 I-타입 매크로블록, P1 슬라이스 그룹으로 그룹화되고 슬라이스 FMO1로 구성되는 5개의 P1 타입의 매크로블록, P2 슬라이스 그룹으로 그룹화되고 슬라이스 FMO2로 구성되는 4개의 P2 매크로블록, P3 슬라이스 그룹으로 그룹화되고 슬라이스 FMO3으로 구성되는 32개의 P3 타입의 매크로블록에 근거한 것이다.

이러한 그룹화의 결과는, 표준에 이미 공지되어 있는 바와 같이, I 슬라이스 그룹에 대해서는 파티션 A 및 B만이 존재하고, 슬라이스 FMO1~FMO3을 구비하는 나머지 P 타입 슬라이스 그룹에 대해서는 파티션 A 및 C만이 존재한다.

이것을 도 1(b)에 개략적으로 나타내며, FMO3은 P3 타입의 매크로블록을 포함하는 슬라이스로서 표시되고, FMO2는 P2 타입의 매크로블록을 포함하는 슬라이스로서 표시되고, FMO1은 P1 타입의 매크로블록을 포함하는 슬라이스로서 표시되며, FMO0은 I-타입 매크로블록을 포함하는 슬라이스로서 표시된다. 비연속 위치에서의 이러한 매크로블록의 1 슬라이스로의 그룹화는 H.264/AVC 표준에 의해 제공되는 바와 같이 연성 매크로블록 가능성(flexible macroblock possibility)에 의해서 가능하다.

지금 슬라이스 그룹의 상이한 슬라이스로 데이터 분할을 행함으로써, 8 NAL 단위 파티션, 즉, 파티션 A와 슬라이스 FMO0에 대한 제 1 세트(NALU1), 파티션 A와 슬라이스 FMO1에 대한 제 2 세트(NALU2), 파티션 A와 슬라이스 FMO2에 대한 제 3 세트(NALU3), 파티션 A와 슬라이스 FMO3에 대한 제 4 세트(NALU4), 파티션 B와 슬라이스 FMO0에 대한 제 5 세트(NALU5), 파티션 C와 슬라이스 FMO1에 대한 제 6 세트(NALU6), 파티션 C와 슬라이스 FMO2에 대한 제 7 세트(NALU7), 파티션 C와 슬라이스 FMO3에 대한 제 8 세트(NALU8)가 얻어진다. 이들은 1(b)에서와 같이 간략하게 도시된다.

통신 네트워크를 통한 모든 8개의 NAL 단위의 전송시에 과부하 트래픽 상태 중이면, NAL 단위 분할 폐기 메카니즘은 송신기 또는 중간 노드에서 구현되어, 예컨대, 파티션 C, FMO3 NAL 단위가 덜 중요한 매크로블록으로서 인식되기 때문에, 파티션 C, FMO3 NAL 단위를 시스템적으로 폐기하는 것으로 구성될 수 있다. 그러나, 다른 폐기 메카니즘이 사용될 수 있지만, 분류 기준에 관련되어 있는 몇몇 사전 결정된 기준을 이용할 수도 있다. 도 1(b)에 나타낸 예에서는, 예컨대, NAL 단위(NALU)8만이 폐기될 수 있다. 그리고, 이것은 슬라이스 FMO3의 파티션 C에 대응한다. (예컨대, NAL 유닛(NALU)7 및 8을 폐기하는) 다른 예에서는, 슬라이스 FMO2 및 FMO3의 파티션 C를 폐기하는 것으로 구성된다.

동일한 원칙을, 도 2(a) 및 도 2(b)에 나타낸 바와 같이, B 타입 프레임에 적용할 수 있다. 또한, 도 3(a) 및 도 3(b)에 나타낸 바와 같이, 이들 원칙을 B 타입 및 P 타입 매크로블록에 모두 적용되는 실시예도 가능하다. 이 도면에 있어서, P 타입 매크로블록은 2개의 슬라이스 그룹으로 분류되는 반면, B 타입 매크로블록은 더 분류되지 않는다. 본 예에 있어서, NALU7은 폐기되는 것이 적절한 선택일 수 있다.

또한, 먼저 B 타입과 P 타입 매크로블록간의 구분이 전혀 이루어지지 않지만, 전술한 바와 같은 기준에 따라 즉시 분류하는 더 범용적인 메카니즘도 가능하다. 이에 대한 예를 도 4(a) 및 도 4(b)에 나타낸다. 여기서, P 타입 및 B 타입 매크로블록은 3개의 동일한 카테고리로 분류되며, 이에 따라 3개의 카테고리 각각에 대해 하나의 공통 슬라이스 그룹으로 그룹화된다. 도 4(b)에 있어서, 이들 슬라이스 그룹은 P&B1, P&B2, P&B3으로 각각 표시된다. 동일 슬라이스의 P 타입 및 B 타입 매크로블록의 그룹화는 실제로 현재 H.264/AVC 신택스에 의해 허용되고 있지 않지만, 잠재적으로는 다른 비디오 코딩 표준 또는 미래의 비디오 코딩 표준으로 허용될 수 있다.

간략화를 위해서, 이전에 예에서는 각 슬라이스 그룹이 단일 슬라이스로 이루어지는 것으로 가정하였다. 그러나, 각 슬라이스 그룹을 몇개의 슬라이스로 재분할하는데에는 몇가지 추가적 제약이 요구된다. 그러한 제약은, 예컨대 슬라이스의 크기에 상한을 두게 되는, 인코딩 디바이스 또는 디코딩 디바이스의 메모리 또는 처리 능력의 제약일 수 있다. 주어진 슬라이스 그룹이 최대 슬라이스 크기보다 더 큰 경우, H.264/AVC 표준은 몇몇 슬라이스의 생성이, 그 슬라이스 그룹 내에서 래스터-주사 순서로 취해진 매크로블록으로 이루어진다고 가정하고 있다. 예컨대, 도 5(a)에 있어서, 최대 슬라이스 크기가 16매크로블록이고, 슬라이스 그룹 P3은 도 5(b)에 FMO3 및 FMO4로 표시된 바와 같은 적어도 2개의 슬라이스로 이루어지는 것이 필요하다고 가정한다. 이에 따라, 본 예에서는, 데이터 분할은 이전의 예에서의 8개의 NAL 단위 대신에 도 5(b)에 나타낸 바와 같이 10개의 NAL 단위를 생성하는 것을 유발한다.

이들 예시된 모든 예는 제한적인 것이 아니며, 전술한 예의 조합을 포함하는 다른 상황이 예상될 수 있음이 강조되어야 한다.

종래기술에 있어서는, 분할은, 소팅/분류 단계시에 시각적 왜곡의 제한 및/또는 최적의 인트라/인터 코딩 결정을 매크로블록 레벨로 유지하기 위해서, 인터 코딩된 매크로블록의 덜 중요한 잔여 데이터를 포함하는 NAL 단위를 선택적으로 폐기하도록 하고 있다. 또한, 폐기 가능한 데이터의 양은, 동일 카테고리의 몇몇 매크로블록에 관해 몇몇 NAL 단위로 분할이 이루어지므로, 프레임 기초(frame basis)당 1프레임으로 조정될 수 있다.

H.264/AVC 비디오 코딩 표준을 참조하여 실시예들을 기술하였지만, 이러한 특정 표준에서 제안된 것 이외의 다른 타입의 코딩 및 데이터 분할을 이용하는 다른 실시예도 가능하다는 것을 더욱 주목하여야 한다.

따라서, 전술한 방법은 인터-예측된 슬라이스 내의 랜덤적으로 인트라-코딩된 매크로블록(IMBR 인코딩 옵션)의 소정 양을 추가하는 것으로 구성되는 종래기술 해결에 관련되는 문제를 해결하는 것이다. 주어진 인코딩 비트레이트로, IMBR의 값을 증가시키는 것은 인터-코딩된 매크로블록의 양 및 (파티션 B에 동조하여) 이에 따른 파티션 C의 크기도 감소시킨다. 파티션 C를 제거함으로써 비트스트림이 조정되는 경우, 이것은 (파티션 A의 데이터에 근거한 인터-예측 후에) 손실되는 잔여 정보의 양을 감소시킨다. 또한, 인터-예측으로 인한 에러의 전파는 비트스트림의 I 프레임의 빈도를 증가시키는 것에 의해 제한될 수도 있다. 그러나, 이러한 종래기술의 절차는 이하의 기준, 즉, 파티션 C 손실에 의한 시각적 영향, 레이트-왜곡 성능 및 폐기 가능한 데이터의 적응성에 대해 비효율적으로 전환될 수 있다. 이것은, 각 매크로블록의 시각적 중요도에 관계없이, 인터-코딩 대신에 인트라-코딩이 이루어져야 하는 매크로블록의 선택이 랜덤적으로 행해지는 것으로부터 이해될 수 있다. (IMBR 옵션 또는 추가 I 프레임을 통해) 추가 인트라-코딩된 매크로블록을 도입하게 하는 것은, 인코더가, 코딩 선택을 그 레이트-왜곡 성능이 최적화되게 하는 것을 방지한다. 이에 따라, 고정된 인코딩 비트레이트로, 추가 인트라-코딩된 매크로블록의 수를 증가시키는 것은 비디오 품질에 부정적 영향을 주고 있다. 추가 인트라-코딩된 매크로블록의 도입은 파티션(본질적으로는 파티션 B 및 C)의 크기를 제어하게 하는 것이다. 이것은, 파티션 C의 크기가 응용에 요구되는 크기보다 큰 경우에, 파티션 C의 손실 영향을 제한하기 위해서 이용된다. 트래픽 적응의 경우에, 파티션 C는 정체(congestion)인 경우에 요구되는 비트레이트 세이빙(bitrate savings)보다 훨씬 더 커질 수 있다. 그러나, IMBR 방법은 파티션 C의 크기를 정적으로 고정하고 있지만, 실제로 격렬한 정체시에는 시간에 따라 변하고, 이에 따라 이상적으로는 폐기될 데이터의 양을 적응적으로 설정하는 것이 필요하게 된다.

이들 문제를 해결하기 위해서, 본 발명에 따른 방법은 명료한 해결책을 제공한다. 이와 다른 해결책은, 인코더에서, 인트라-코딩될 추가 매크로블록의 선택을 최적화함으로써, IMBR 방식을 향상시키는 것으로 구성될 수 있다. 랜덤 선택 대신에, 손실이 디코딩된 비디오의 품질에 강한 영향을 주는 매크로블록 또는 가장 큰 인터 예측 잔여물(largest inter-prediction residuals)을 갖는 매크로블록 중 어느 하나를 중점적으로 인트라 코딩하는 선택이 있다. 이러한 두번째 옵션은 인터 예측을 통해 낮은 효율로 코딩된 매크로블록을 인트라 코딩하게 할 때에 코딩 효율에 부담을 줄인다.

이것은 변형된 알고리즘을 유도할 수 있지만, 실제로 전술한 2개의 선택 옵션은, 큰 인트라 예측 잔여물을 갖는 매크로블록이 일반적으로, 파티션 C 손실인 경우에, 시각적 왜곡에 큰 원인으로 되므로, 동일 매크로블록의 선택을 유도할 것이다.

두번째 옵션의 가능한 구현법은 예컨대, 매크로블록에 대한 코딩 모드를 선택할 때에, 인코더가, 매크로블록의 인트라 예측 후의 잔여 데이터의 크기인 Intra_Res와, 인터 예측 후의 잔여 데이터의 크기인 Inter_Res를 비교하는 것으로 구성될 수 있다. 매크로블록은, Intra_Res<Inter_Res인 경우에 인트라 코딩되고, 그 반대인 경우에 인터 코딩된다. 인트라 코딩된 매크로블록의 양을 증가시키기를 원하는 경우, 전술한 제약은, Intra_res<β.Inter_res(β는 1보다 큰 수)일 때, 매크로블록을 인트라 코딩하도록 약간 완화될 수 있고, 슬라이스에 대해 원하는 수의 추가 인트라 코딩된 매크로블록을 얻기 위해서 선택될 수 있다.

지금까지 그 방법만을 설명하였다. 뿐만 아니라 본 발명은 이 방법을 구현하는 인코더에도 관한 것이다. 몇몇 실시예에 있어서, 인코더 자신은 전송시 혼잡인 경우에 NAL 단위 파티션의 일부 자체를 폐기하고 있다. 다른 실시예에서는, 인코더는 모든 NAL 단위 파티션을 전송하고, 이것은, 라우터, DSL 액세스 멀티플렉서, 무선 집신기 디바이스(wireless concentrator device) 또는 이 방법을 일부, 특히 본 발명에 따라 인코더로부터 수신했을 때에 특정 NAL 단위 파티션의 폐기 단계를 구현할 수 있는 무선 네트워크의 중간 노드와 같은 네트워크의 중간 노드이다. 다른 실시예에서는, 수신기가 이러한 NAL 단위 파티션을 일부를 폐기할 수도 있다. 당업자라면, 본 명세서의 이전 단락에서 설명한 바와 같이, 당해 방법의 특정 단계를 실시하기 위한 가능한 구현법을 이해할 수 있을 것이다. 따라서, 그러한 인코더, 송신기, 중간 노드, 수신기 및, 당해 방법에 따라 인코딩된 데이터를 디코딩하는 디코더의 특정 실시예는 더 설명하지는 않지만, 당업자에게 잘 알려진 컴퓨터 프로그램 등과 같은 프로세서 수단에 의해 하드웨어 및/또는 소프트웨어로 구현될 수 있다.

본 발명의 원리는 특정 장치와 관련지어 설명되었지만, 일례로서만 설명되었으며, 첨부한 특허청구범위에 규정되어 있는 바와 같은 본 발명의 범위를 제한하는 것은 아님을 명확히 이해할 것이다.

Claims

비디오 데이터(video data)를 인코딩(encoding)하는 방법에 있어서,
인터 예측(inter-prediction) 모드와 인트라 예측(intra-prediction) 모드 사이에서 선택하는 단계를 포함하되,
인터 예측 모드가 선택되는 경우,
사전 결정된 기준(predetermined criterion)에 따라, 적어도 하나의 타입의 인터-예측 매크로블록을 상이한 카테고리로 소팅(sorting)하는 단계와,
상기 적어도 하나의 타입의 모든 인터 예측 매크로블록을 배열하고, 하나의 동일 카테고리(category)에 관련된 매크로블록을 하나의 슬라이스 그룹(slice group)으로 함으로써, 이러한 타입의 인터 예측 매크로블록에 대해 슬라이스 그룹의 세트를 생성하는 단계를 더 포함하는
비디오 데이터 인코딩 방법.
제 1 항에 있어서,
상기 사전 결정된 기준은 상기 인코딩된 인터 예측된 매크로블록 내에 포함되는 잔여 데이터(residual data)의 크기, 또는 디코딩측에서 재구성된 비디오의 표시 품질에 대한 상기 잔여 데이터의 중요도에 관한 것인 비디오 데이터 인코딩 방법.
제 1 항 또는 제 2 항에 있어서,
통신 네트워크를 통한 통신을 위해 상기 세트의 슬라이스 그룹의 슬라이스를 몇개의 NAL 단위 파티션(NAL unit partitions)으로 데이터 분할하는 단계를 더 포함하는 비디오 데이터 인코딩 방법.
제 3 항에 있어서,
소정 수의 NAL 단위 파티션의 상기 세트의 전송 시에, 상기 사전 결정된 기준에 관한 제 2 사전 결정된 기준에 따라, 상기 세트의 적어도 하나의 상기 슬라이스 그룹의 적어도 하나의 파티션을 폐기할 수 있는 단계를 더 포함하는 비디오 데이터 인코딩 방법.
비디오 데이터를 인코딩하기 위한 인코딩 장치에 있어서,
상기 인코딩 장치는 인터 예측 모드와 인트라 예측 모드 사이에서 선택할 수 있고,
상기 인터 예측 모드가 선택된 경우, 사전 결정된 기준에 따라 적어도 하나의 타입의 인터 예측 매크로블록을 상이한 카테고리로 소팅하고, 상기 적어도 하나의 타입의 모든 매크로블록을 배열하고, 하나의 동일 카테고리에 관련된 매크로블록을 하나의 슬라이스 그룹으로 함으로써, 이러한 타입의 인터 예측 매크로블록에 대한 슬라이스 그룹의 세트를 생성하는
인코딩 장치.
제 5 항에 있어서,
상기 사전 결정된 기준은, 상기 인코딩된 인터 예측된 매크로블록 내에 포함되는 잔여 데이터의 크기, 또는 디코딩측에서 재구성된 비디오의 표시 품질에 대한 상기 잔여 데이터의 중요도에 관한 것인 인코딩 장치.
제 5 항 또는 제 6 항에 있어서,
통신 네트워크를 통한 통신을 위해 상기 세트의 슬라이스 그룹의 슬라이스를 몇개의 NAL 단위 파티션(NAL unit partitions)으로 데이터 분할하는 인코딩 장치.
인코딩된 비디오 데이터를 송신하는 송신기에 있어서,
상기 송신기는 청구항 5 내지 7 중 어느 한 항에 기재된 인코딩 장치를 포함하는 송신기.
제 8 항에 있어서,
전송 전에 적용되어, 상기 사전 결정된 기준에 관한 제 2 사전 결정된 기준에 따라, 상기 세트의 적어도 하나의 상기 슬라이스 그룹의 적어도 하나의 파티션을 폐기할 수 있는 송신기.
통신 네트워크의 중간 노드에 있어서,
청구항 7에 따른 인코딩 장치로부터 NAL 단위 파티션을 수신하고, 상기 사전 결정된 기준에 관한 제 2 사전 결정된 기준에 따라, 상기 세트의 적어도 하나의 상기 슬라이스 그룹의 적어도 하나의 파티션을 폐기할 수 있는 중간 노드.
통신 네트워크의 중간 노드에 있어서,
청구항 8에 따른 송신기로부터 NAL 단위 파티션을 수신하고, 상기 사전 결정된 기준에 관한 제 2 사전 결정된 기준에 따라, 상기 세트의 적어도 하나의 상기 슬라이스 그룹의 적어도 하나의 파티션을 폐기할 수 있는 중간 노드.
청구항 8에 따른 송신기로부터 인코딩된 비디오 데이터를 수신하고, 상기 사전 결정된 기준에 관한 제 2 사전 결정된 기준에 따라, 상기 세트의 적어도 하나의 상기 슬라이스 그룹의 적어도 하나의 파티션을 폐기할 수 있는 수신기.
청구항 1 내지 4 중 어느 한 항에 따라 인코딩된 인코딩 비디오 데이터를 디코딩하는 디코더 장치.