KR101005135B1 - 디지털 비디오 부호화를 위한 가변 정확도 화상간 타이밍 지정 방법 및 장치 - Google Patents

Abstract

디지털 비디오 부호화를 위해 가변 정확도 화상간 타이밍을 지정하는 방법 및 장치가 공개된다. 구체적으로, 본 발명은 인접 비디오 화상의 상대 타이밍이 매우 효율적으로 부호화되도록 하는 시스템을 공개한다. 일실시예에서, 현재 비디오 화상(105)과 인접 비디오 화상간의 디스플레이 시간차가 결정된다. 다음에, 디스플레이 시간차는 비디오 화상의 디지털 표현으로 부호화된다(180). 바람직한 실시예에서, 인접 비디오 화상은 가장 최근에 전송된, 저장된 화상이다. 부호화 효율을 위해, 디스플레이 시간차는 가변장 부호화 시스템 또는 산술 부호화 시스템을 이용하여 부호화된다. 대안적인 실시예에서, 전송되는 비트수를 줄이기 위해 디스플레이 시간차는 2의 제곱으로서 부호화된다.

디스플레이 시간차, 디지털 표현, 인접 비디오 화상, 가변장 부호화

Description

디지털 비디오 부호화를 위한 가변 정확도 화상간 타이밍 지정 방법 및 장치{METHOD AND APPARATUS FOR VARIABLE ACCURACY INTER-PICTURE TIMING SPECIFICATION FOR DIGITAL VIDEO ENCODING}

본 발명은 멀티미디어 압축 시스템 분야에 관한 것이다. 특히, 본 발명은 가변 정확도 화상간 타이밍을 지정하는 방법 및 시스템을 공개한다.

디지털 기반 전자 미디어 포맷이 마침내 아날로그 전자 미디어 포맷을 크게 대체하려는 시점에 있다. 디지털 컴팩트디스크(CD)는 아날로그 비닐 레코드(analog vinyl records)를 오래 전에 대체하였다. 아날로그 자기 카세트테이프는 점점 사용되고 있지 않다. 이제, 미니디스크 및 MP3(MPEG audio-layer 3)와 같은 2 및 3 세대 디지털 오디오 시스템이 1 세대 디지털 오디오 포맷의 컴팩트디스크의 시장을 점유해 가고 있다.

비디오 미디어는 오디오 미디어보다는 느리게 디지털 기억 및 전송 포맷으로 변화되어 왔다. 이는 주로 비디오를 디지털 형태로 정확하게 표현하는데 필요한 막대한 디지털 정보량 때문이었다. 비디오를 정확하게 표현하는데 필요한 막대한 양의 디지털 정보는 고용량의 디지털 기억 시스템 및 대역폭이 넓은 전송 시스템을 필요로 한다.

그러나, 이제 비디오는 디지털 기억 및 전송 포맷으로 급속하게 변화되고 있다. 고속 컴퓨터 프로세서, 고밀도 기억 시스템, 및 효율적인 새로운 압축 및 부호화 알고리즘이 마침내 소비자 가격면에서 실용적인 디지털 비디오를 만들어 냈다. DVD(digital Versatile Disc), 즉 디지털 비디오 시스템은 여러 해 동안 가장 빠르게 판매되고 있는 소비자 전자 제품 중 하나이다. DVD는 높은 비디오 품질, 매우 높은 오디오 품질, 편리성, 및 기타 특징으로 인해 선택되는, 사전 녹화 비디오의 재생 시스템으로서, 비디오카세트 레코더(VCR)를 급속도로 대체해오고 있다. 낡은 아날로그 NTSC(National Television standards Committee) 비디오 전송 시스템은 현재 디지털 ATSC(Advanced Television standards Committee) 비디오 전송 시스템에 의해 대체되는 과정에 있다.

컴퓨터 시스템은 여러 해 동안 각종 상이한 디지털 비디오 부호화 포맷을 이용해 왔다. 컴퓨터 시스템에 의해 사용되는 최선의 디지털 비디오 압축 및 부호화 시스템은 통상적으로 두문자어 MPEG로 알려진 동화상 전문가 그룹에 의해 지원되는 디지털 비디오 시스템이었다. 3 가지의 가장 잘 알려지고 널리 사용되는 MPEG 디지털 비디오 포맷은 간단히 MPEG-1,MPEG-2, 및 MPEG-4로 알려져 있다. VCD(Video CD) 및 초기의 소비자급 디지털 비디오 편집 시스템은 초기의 MPEG-1 디지털 비디오 부호화 포맷을 이용한다. DVD(digital Versatile Disc) 및 디쉬 네트워크(Dish Network) 브랜드(brand)의 DBS(Direct Broadcast Satellite) 텔레비젼 방송 시스템은 보다 높은 품질의 MPEG-2 디지털 비디오 압축 및 부호화 시스템을 이용한다. MPEG-4 부호화 시스템은 최신 컴퓨터 기반 디지털 비디오 엔코더 및 관련 디지털 비디오 플레이어에 의해 급속히 적응되고 있다.

MPEG-2 및 MPEG-4 표준은 일련의 비디오 프레임 또는 비디오 필드를 압축한 다음에, 압축된 프레임 또는 필드를 디지털 비트스트림으로 부호화한다. 비디오 프레임 또는 필드를 MPEG-2 및 MPEG-4 시스템으로 부호화할 때, 비디오 프레임 또는 필드는 매크로 블록의 직사각형 그리드(rectangular grid)로 분할된다. 각각의 매크로 블록은 독립적으로 압축 및 부호화된다.

비디오 프레임 또는 필드를 압축할 때, MPEG-4 표준은 프레임 또는 필드를, 3 가지의 타입의 압축 프레임 또는 필드: 인트라-프레임(I-프레임), 단방향 예측 프레임(P-프레임), 또는 쌍방향 예측 프레임(B-프레임) 중 하나로 압축할 수 있다. 인트라-프레임은 다른 비디오 프레임을 참조하지 않고 독립된 비디오 프레임을 완전히 독립적으로 부호화한다. P-프레임은 단일의 이전에 디스플레이 된 비디오 프레임을 참조하여 비디오 프레임을 정의한다. B-프레임은 현재 프레임 이전에 디스플레이 된 비디오 프레임과 현재 프레임 이후에 디스플레이 될 비디오 프레임을 참조하여 비디오 프레임을 정의한다. 리던던트 비디오 정보의 효율적인 이용으로 인해, P-프레임 및 B-프레임은 일반적으로 최선의 압축을 제공한다.

디지털 비디오 부호화를 위해 가변 정확도 화상간 타이밍을 지정하는 방법 및 장치가 공개된다.

구체적으로, 본 발명은 인접 비디오 화상의 상대 타이밍이 매우 효율적으로 부호화되도록 하는 시스템을 공개한다. 일실시예에서, 현재 비디오 화상과 인접 비디오 화상간의 디스플레이 시간차가 결정된다. 다음에, 디스플레이 시간차는 비디오 화상의 디지털 표현으로 부호화된다. 바람직한 실시예에서, 인접 비디오 화상은 가장 최근에 전송된, 저장된 화상이다.

부호화 효율을 위해, 디스플레이 시간차는 가변장 부호화 시스템 또는 산술 부호화 시스템을 이용하여 부호화될 수 있다. 대안적인 실시예에서, 디스플레이 시간차는 전송되는 비트의 수를 줄이기 위해 2의 제곱으로서 부호화된다.

본 발명의 다른 목적, 특징, 및 이점은 첨부된 도면 및 이하의 상세한 설명으로부터 명백해진다.

멀티미디어 압축 및 부호화 시스템에서 가변 정확도 화상간 타이밍을 지정하는 방법 및 시스템이 공개된다. 이하의 설명에서는, 특수한 명칭이 본 발명의 철저한 이해를 제공하기 위해서 설명된다. 그러나, 이 특수한 설명이 본 발명을 실 시하기 위해서는 필요하지 않음은 당업자에게 명백하다. 예컨대, 본 발명은 MPEG-4 멀티미디어 압축 및 부호화 시스템을 참조하여 설명되었다. 그러나, 동일한 기술이 다른 타입의 압축 및 부호화 시스템에 쉽게 적용될 수 있다.

멀티미디어 압축 및 부호화 개요

도 1은 당해 기술 분야에서 잘 알려진 일반적인 디지털 비디오 엔코더(100)의 하이 레벨 블록도이다. 디지털 비디오 엔코더(100)는 블록도의 좌측에서 비디오 프레임들의 입력 비디오 스트림(105)을 수신한다. 각각의 비디오 프레임은 이산 코사인 변환(DCT) 유닛(110)에 의해 처리된다. 프레임은 독립적으로(인트라-프레임) 또는 움직임 보상 유닛으로부터 수신되는 다른 프레임으로부터의 정보를 참조하여(인터-프레임) 처리될 수 있다. 다음에, 양자화기(Q) 유닛(120)은 이산 코사인 변환 유닛(110)으로부터의 정보를 양자화 한다. 최종적으로, 양자화된 비디오 프레임이 엔트로피 엔코더(H) 유닛(180)에 의해 부호화되어, 부호화 비트스트림이 생성된다. 엔트로피 엔코더(H) 유닛(180)은 가변장 부호화(VLC) 시스템을 이용할 수 있다.

인터-프레임 부호화된 비디오 프레임은 다른 인접 비디오 프레임을 참조하여 정의되므로, 디지털 비디오 엔코더(100)는 디지털 비디오 디코더 내에서 각 프레임이 어떻게 복호화되어 나타나는지를 나타내는 카피(copy)를 생성하는 것이 필요하며, 이에 의해 프레임이 부호화될 수 있다. 따라서, 디지털 비디오 엔코더(100)의 하부는 실제로 디지털 비디오 디코더 시스템이다. 구체적으로, 역양자화기(Q^-1) 유닛(130)이 비디오 프레임 정보의 양자화의 역을 행하고, 역이산 코사인 변환(DCT^-1) 유닛(140)이 비디오 프레임 정보의 이산 코사인 변환의 역을 행한다. 모든 DCT 계수들이 iDCT로부터 재구성된 후에, 움직임 보상 유닛은 움직임 벡터와 함께 그 정보를 이용하여, 다음 프레임의 움직임 추정을 위한 참조 프레임으로서 사용되는 부호화 프레임을 재구성하게 된다.

다음에, 복호화된 비디오 프레임은 복호화된 비디오 프레임의 정보에 관련하여 정의된 인터-프레임(P-프레임 또는 B-프레임)을 부호화하는데 사용될 수 있다. 구체적으로, 움직임 보상(MC) 유닛(150) 및 움직임 추정(ME) 유닛(160)은 움직임 벡터를 결정하는데 이용되고 그리고 인터-프레임을 부호화하는데 사용되는 차분 값을 발생하는데 사용된다.

레이트 제어기(rate controller; 190)가 디지털 비디오 엔코더(100) 내의 많은 다른 구성 요소들로부터 정보를 수신하고 그 정보를 각각의 비디오 프레임의 비트 예산(bit budget)을 할당하는데 이용한다. 레이트 제어기(190)는 지정된 세트의 규정들(restrictions)에 따르는 최고 품질의 디지털 비디오 비트 스트림을 발생하게 되는 방식으로 비트 예산을 할당해야 한다. 구체적으로, 레이트 제어기(190)는 (저장가능한 양보다 많은 정보를 전송함으로써 디코더 내의 이용 가능한 메모리의 양을 초과하는) 오버 플로우 버퍼 또는 (충분히 빠르게 비디오 프레임을 전송하지 않아 디스플레이할 비디오 프레임을 디코더가 다 써버릴 수 있도록 하는) 언더 플로우 버퍼 없이 최고 품질의 압축 비디오 스트림을 발생하려고 한다.

멀티미디어 압축 및 부호화 개요

일부 비디오 신호에서, 연속된 비디오 화상들(프레임들 또는 필드들)간의 시간은 일정하지 않을 수 있다(주의: 본 명세서에서는 용어 비디오 화상을 비디오 프레임 또는 비디오 필드를 총칭하는데 이용함). 예컨대, 일부 비디오 화상은 전송 대역폭 제약 때문에 끊어질 수 있다. 또한, 비디오 타이밍도 카메라 불규칙성 또는 저속 움직임 또는 고속 움직임과 같은 특수 효과로 인해 달라질 수 있다. 일부 비디오 스트림에서, 원래 비디오 소스는 단순히 설계에 의해 불균일한 화상간 시간을 가질 수 있다. 예컨대, 비디오카메라 시스템과 같은 균일한 비디오 캡쳐 시스템에 의해서는 임의의 비디오 타이밍이 생성되지 않으므로, 컴퓨터 그래픽 애니메이션과 같은 합성 비디오는 불균일한 타이밍을 가질 수 있다. 유연한 디지털 비디오 부호화 시스템은 불균일한 타이밍을 처리할 수 있어야 한다.

많은 디지털 비디오 부호화 시스템은 비디오 화상을 매크로 블록의 직사각형 그리드로 분할한다. 비디오 화상으로부터의 각각의 개개의 매크로 블록은 독립적으로 압축 및 부호화된다. 일부 실시예에서, '픽셀 블록'으로 알려진 매크로 블록의 서브블록이 이용된다. 이와 같은 픽셀 블록은 보간될 수 있는 자체의 움직임 벡터를 가질 수 있다. 본 발명은 매크로 블록 및 픽셀 블록 모두에 동일하게 적용될 수 있지만, 이 명세서에서는 매크로 블록을 참조한다.

일부 비디오 부호화 표준, 예컨대, ISO MPEG 표준 또는 ITU H.264 표준은 비 디오 화상을 부호화하는데 상이한 타입의 예측된 매크로 블록을 이용한다. 한 가지 시나리오에서, 매크로 블록은 다음의 3가지 타입중 하나일 수 있다:

1. I-매크로 블록 - 인트라(I) 매크로 블록은 그 부호화에 있어서 어떤 다른 비디오 화상으로부터의 정보도 이용하지 않음(이 I 매크로 블록은 완전히 자체 정의됨).

2. P-매크로 블록 - 단방향 예측(P) 매크로 블록은 하나의 이전 비디오 화상으로부터의 화상 정보를 참조함.

3. B-매크로 블록 - 쌍방향 예측(B) 매크로 블록은 하나의 이전 화상과 하나의 미래의 비디오 화상으로부터의 정보를 이용함.

비디오 화상 내의 모든 매크로 블록이 인트라-매크로 블록이면, 비디오 화상은 인트라-프레임이다. 비디오 화상이 단방향 예측된 매크로 블록 또는 인트라-매크로블만을 포함하는 경우, 비디오 화상은 P-프레임인 것으로 알려져 있다. 비디오 화상이 어떤 쌍방향 예측된 매크로 블록을 포함하는 경우, 비디오 화상은 B-프레임인 것으로 알려져 있다. 간단화를 위해, 이 명세서에서는 주어진 화상 내의 모든 매크로 블록이 동일 타입인 경우를 고려한다.

부호화될 비디오 화상의 예시적인 시퀀스는,

I₁ B₂ B₃ B₄ P₅ B₆ B₇ B₈ B₉ P₁₀ B_1l P₁₂ B₁₃ I₁₄...

로 표현될 수 있으며, 여기서 문자 (I, P, 또는 B)는 비디오 화상이 I-프레임, 아니면 P-프레임, 아니면 B-프레임인지를 나타내고, 숫자는 비디오 화상의 시퀀스에 서 비디오 화상의 카메라 순서를 나타낸다. 카메라 순서는 카메라가 비디오 화상을 녹화한 순서이며, 따라서 또한, 비디오 화상들이 디스플레이 되어야 하는 순서(디스플레이 순서)이다.

이전의 예시적인 일련의 비디오 화상이 도 2에 그래픽으로 도시되어 있다. 도 2를 참조하면, 화살표는 저장된 화상(이 경우에 I-프레임 또는 P-프레임)으로부터의 매크로 블록이 다른 화상의 움직임 보상 예측에 사용됨을 나타낸다.

도 2의 시나리오에서, 다른 화상으로부터의 정보는 인트라-프레임 비디오 화상 I_l의 부호화에 이용되지 않는다. 비디오 화상 P₅는 그 부호화시에 이전 비디오 화상 I₁로부터의 비디오 정보를 이용하는 P-프레임이며, 따라서 화살표가 비디오 화상 I₁로부터 비디오 화상 P₅로 그려질 수 있다. 비디오 화상 B₂, 비디오 화상 B₃, 비디오 화상 B₄ 모두는 이들의 부호화시에 비디오 화상 I_l 및 비디오 화상 P₅로부터의 정보를 이용하며, 따라서 화살표가 비디오 화상 I_l 및 비디오 화상 P₅로부터 비디오 화상 B₂, 비디오 화상 B₃, 및 비디오 화상 B₄로 그려질 수 있다. 상기한 바와 같이, 화상간 시간은 일반적으로 동일하지 않다.

B-화상은 미래의 화상(나중에 디스플레이 되는 화상)으로부터의 정보를 이용하므로, 전송 순서(i)는 보통 디스플레이 순서와 다르다. 구체적으로, 다른 비디오 화상을 구성하는데 필요한 비디오 화상이 먼저 전송되어야 한다. 상기 시퀀스의 경우, 전송 순서는,

I₁ P₅ B₂ B₃ B₄ P₁₀ B₆ B₇ B₈ B₉ P₁₂ B₁₁ I₁₄ B₁₃...

일 수 있다.

도 3은 도 2의 비디오 화상의 상기 전송 순서를 그래픽으로 나타낸다. 또한, 도면의 화살표는 저장된 비디오 화상(이 경우에 I 또는 P)으로부터의 매크로 블록이 다른 비디오 화상의 움직임 보상 예측에 이용됨을 나타낸다.

도 3을 참조하면, 시스템은 다른 프레임에 의존하지 않는 I-프레임 I_l을 먼저 전송한다. 다음에, 상기 시스템은 비디오 화상 I_l에 의존하는 P-프레임 비디오 화상 P₅를 전송한다. 다음에, 상기 시스템은 비디오 화상 B₂가 비디오 화상 P₅ 전에 디스플레이 되게 되더라도 비디오 화상 P₅ 이후에 B-프레임 비디오 화상 B₂를 전송한다. 그 이유는 B₂를 부호화할 시간이 되면, 디코더가 비디오 화상 B₂를 복호화하는데 필요한 비디오 화상 I₁ 및 P₅의 정보를 이미 수신하여 저장하고 있기 때문이다. 마찬가지로, 후속 비디오 화상 B₃ 및 비디오 화상 B₄를 복호화하는데 사용하기 위해 비디오 화상 I₁ 및 P₅가 준비된다. 수신기/디코더는 적절한 디스플레이를 위해 비디오 화상 시퀀스를 재배열한다. 이 동작에서, I 화상 및 P 화상은 종종 저장된 화상이라고도 한다.

P-프레임 화상의 부호화는 일반적으로 움직임 보상을 이용하며, 화상의 각각의 매크로 블록의 움직임 벡터가 계산된다. 계산된 움직임 벡터를 이용하여, 예측 매크로 블록(P 매크로 블록)은 상기한 이전 화상의 픽셀의 변환에 의해 형성될 수 있다. 다음에, P-프레임 화상의 실제 매크로 블록과 예측 매크로 블록간의 차가 전송을 위해 부호화된다.

각각의 움직임 벡터는 또한 예측 부호화를 통해 전송될 수 있다. 예컨대, 움직임 벡터 예측은 인접 움직임 벡터를 이용하여 형성될 수 있다. 이와 같은 경우에, 실제 움직임 벡터와 움직임 벡터간의 차는 전송을 위해 부호화된다.

각각의 B-매크로 블록은 두 움직임 벡터, 즉 상기한 이전 비디오 화상을 참조하는 제 1 움직임 벡터 및 미래의 비디오 화상을 참조하는 제 2 움직임 벡터를 이용한다. 이들 두 움직임 벡터로부터, 두 예측 매크로 블록이 계산된다. 다음에, 두 예측 매크로 블록들은 최종 예측 매크로 블록을 형성하기 위해 소정의 기능을 이용하여 함께 조합된다. 상기와 같이, B-프레임 화상 내의 실제 매크로 블록과 최종 예측된 매크로 블록간의 차가 전송을 위해 부호화된다.

P-매크로 블록의 경우와 같이, B-매크로 블록의 각각의 움직임 벡터(MV)는 예측 부호화를 통해 전송될 수 있다. 구체적으로, 예측된 움직임 벡터는 인접 움직임 벡터를 이용하여 형성된다. 다음에, 실제 움직임 벡터와 예측된 움직임 벡터간의 차가 전송을 위해 부호화된다.

그러나, B-매크로 블록의 경우에, 가장 가까운 저장된 화상 매크로 블록에서의 움직임 벡터로부터 움직임 벡터를 보간할 기회가 있다. 이와 같은 보간은 디지털 비디오 엔코더 및 디지털 비디오 디코더에서 실행된다.

이 움직임 벡터 보간은, 카메라가 고정된 배경을 가로 질러 저속으로 패 닝(panning)하는 경우에 있어서 비디오 시퀀스로부터의 비디오 화상에 대해 특히 잘 기능한다. 실제로, 이와 같은 움직임 벡터 보간은 단독으로 사용될 수 있을 정도로 충분히 양호할 수 있다. 구체적으로, 이는 보간을 이용하여 부호화된 이들 B-매크로 블록 움직임 벡터의 차분 정보를 계산 또는 전송할 필요가 없음을 의미한다.

추가적인 설명을 위해, 상기 시나리오에서, 화상 i와 j간의 화상간 디스플레이 시간을 D_{i ,j}로 나타내자. 즉, 화상의 디스플레이 시간들이 각각 T_i와 T_j 이면,

D_{i , j} = T_i - T_j

이 식으로부터,

D_{i ,k} = D_{i , j} + D_{j , k}

D_{i ,k} = -D_{k , i}

이다. D_{i ,j}는 일부 경우에 음의 값일 수 있음을 주의한다.

따라서, MV_{5 ,l}가 I_l에 참조되는 P₅ 매크로 블록의 움직임 벡터이면, B₂, B₃ 및 B₄의 대응 매크로 블록의 경우, I₁ 및 P₅에 참조되는 움직임 벡터는,

MV_{2 ,1} = MV_{5 ,1}*D_{2 ,1}/D_{5 ,1}

MV_{5 ,2} =MV_{5 ,1}*D_{5 ,2}/D_{5 ,1}

MV_{3 ,1} = MV_{5 ,1}*D_{3 ,1}/D_{5 ,1}

MV_{5 ,3} = MV_{5 ,1}*D_{5 ,3}/D_{5 ,1}

MV_{4 ,1} = MV_{5 ,1}*D_{4 ,1}/D_{5 ,1}

MV_{5 ,4} = MV_{5 ,1}*D_{5 ,4}/D_{5 ,1}

에 의해 각각 보간된다. 디스플레이 시간들의 비가 움직임 벡터 예측을 위해 사용되므로, 절대 디스플레이 시간은 필요 없음을 주의한다. 따라서, 상대 디스플레이 시간이 D_{i ,j} 디스플레이 시간값으로 사용될 수 있다.

이 시나리오는 예컨대 H.264 표준에서와 같이 일반화될 수 있다. 일반화시에, P 또는 B 화상은 움직임 벡터 예측을 위해 이전에 전송된 화상을 이용할 수 있다. 따라서, 상기의 경우에, 화상 B₃는 그 예측을 위해 화상 I_l 및 화상 B₂를 이용할 수 있다. 또한, 움직임 벡터는 그냥 보간되지 않고 외삽될 수 있다. 따라서, 이 경우에는,

MV_{3 .1} = MV_{2 ,1}*D_{3 ,1}/D_{2 ,1}이다.

이와 같은 움직임 벡터 외삽(또는 보간)은 또한 움직임 벡터의 예측 부호화를 위한 예측 과정에서 이용될 수도 있다.

여하간, 화상간 시간이 불균일한 경우의 과제는 D_{i ,j}의 상대 디스플레이 시간값을 수신기에 전송하는 것이고, 이 전송은 본 발명의 요지이다. 본 발명의 일실 시예에서, 제 1 화상 이후의 각각의 화상을 위해, 현재 화상과 가장 최근에 전송된 저장 화상간의 디스플레이 시간차를 전송한다. 에러 내성(error resilience)을 위해, 전송은 화상 내에서, 예컨대, 이른바 MPEG 또는 H.264 표준의 슬라이스 헤더 내에서 여러번 반복될 수 있다. 모든 슬라이스 헤더들이 손실된 경우, 아마도 복호화 정보로서 손실된 화상에 의존하는 다른 화상은 복호화될 수 없다.

따라서, 상기 시나리오에서는,

D_{5 ,1} D_{2 ,5} D_{3 ,5} D_{4 ,5} D_{10 ,5} D_{6 ,10} D_{7 ,10} D_{8 ,10} D_{9 ,10} D_{12 ,10} D_{11 ,12} D_{14 ,12} D_{13 ,14}...

를 전송한다.

움직임 벡터 추정을 위해, D_{i ,j}에 대한 정확도 요건은 화상마다 달라질 수 있다. 예컨대, 두 P-프레임 화상 P₅와 P₇사이에 단일의 B-프레임 화상 B₆ 만이 있는 경우에는,

D_{7 ,5} = 2 및 D_{6 ,7} = -1

만을 전송하는 것으로 충분하다. 여기서, D_{i ,j} 디스플레이 시간값은 상대 시간값이다. 대신에, 비디오 화상 B₆이 단지 비디오 화상 P₅와 비디오 화상 P₇간의 거리의 1/4이면, 전송할 적절한 D_{i ,j} 디스플레이 시간값은,

D_{7 ,5} = 4 및 D_{6 ,7} = -1

이다. 두 이전의 예에서는, 비디오 화상 B₆과 비디오 화상 비디오 화상 P₇ 간의 디스플레이 시간은 디스플레이 시간 "단위"로서 사용되고 있고, 비디오 화상 P₅와 화상 비디오 화상 P₇간의 디스플레이 시간차는 4 개의 디스플레이시간 "단위"임에 주의한다.

일반적으로, 움직임 벡터 추정은 제수가 2의 제곱이면 덜 복잡하다. 이는 이 실시예에서 두 저장된 화상들간의 D_{i ,j}(화상간 시간)이 도 4에 그래픽으로 나타낸 바와 같이 2의 제곱으로 선택되면 용이하게 달성된다. 대안으로, 추정 절차는 모든 제수를 2의 제곱이 되도록 끝수를 버리거나(truncate) 반올림하도록(round) 정의될 수 있다.

화상간 시간이 2의 제곱인 경우에, 데이타 비트수는 (2의) 정수 제곱만이 화상간 시간의 전체 값 대신에 전송되면 감소될 수 있다. 도 4는 화상간의 거리가 2의 제곱이 되도록 선택된 경우를 그래픽으로 나타낸다. 이와 같은 경우에, 비디오 화상 P₁과 화상 비디오 화상 P₃간의 2의 D_{3 ,1} 디스플레이 시간값이 1로서 전송되고(2¹= 2이므로), 비디오 화상 P₇과 화상 비디오 화상P₃ 간의 4의 D_{7 ,3} 디스플레이 시간값이 2로서 전송될 수 있다(2² = 4이므로).

일부 경우에서는, 움직임 벡터 보간이 이용되지 않을 수도 있다. 그러나, 수신기/플레이어 시스템이 비디오 화상을 적절한 순서로 디스플레이 할 수 있도록, 비디오 화상의 디스플레이 순서를 수신기/플레이어 시스템에 전송하는 것은 여전히 필요하다. 이 경우에, D_{i ,j}의 간단한 부호있는 정수 값은 실제의 디스플레이 시간에 관계 없이 충분하다. 일부 응용에서는, 단지 부호만이 필요할 수도 있다.

화상간 시간 D_{i ,j}은 간단한 부호있는 정수 값으로서 간단히 전송될 수 있다. 그러나, 추가적인 압축을 달성하기 위하여 D_{i ,j} 값을 부호화하는데 많은 방법을 이용할 수 있다. 예컨대, 가변장 코드 크기가 이어지는 부호 비트는 비교적 구현되기 쉽고 부호화 효율을 제공한다.

이용될 수 있는 한 가지 그와 같은 가변장 부호화 시스템은 UVLC(Universal Variable Length Code)로 알려져 있다. UVLC 가변장 부호화 시스템은 코드 워드:

1 = 1

2 = 0 1 0

3 = O 1 l

4 = 0 0 1 0 0

5 = 0 0 1 0 1

6 = 0 0 1 1 0

7 = 0 0 1 1 1

8 = 0 0 0 1 0 0 0...

에 의해 주어진다.

화상간 시간을 부호화하는 다른 방법은 산술 부호화를 이용하는 것일 수 있다. 일반적으로, 산술 부호화는 데이타 비트의 매우 높은 압축을 행하기 위해 조건부 확률(conditional probabilitie)을 이용한다.

이와 같이, 본 발명은 화상간 디스플레이 시간을 부호화 및 전송하는, 간단하지만 강력한 방법을 소개한다. 화상간 부호화 디스플레이 시간의 부호화는 가변장 부호화 또는 산술 부호화를 이용함으로써 매우 효율적으로 될 수 있다. 또한, 비디오 디코더의 요구를 충족하기 위해 원하는 정확도가 선택될 수 있으나, 그 이상은 필요 없다.

이상에서, 멀티미디어 압축 및 부호화 시스템에서 가변 정확도 화상간 타이밍을 지정하기 위한 시스템을 설명하였다. 당업자는 본 발명의 범위를 벗어나지 않고 본 발명의 구성 요소의 재료 및 배열을 변경 및 수정할 수 있을 것으로 생각된다.

본 발명의 목적, 특징 및 이점은 이하의 상세한 설명으로부터 당업자에게 명백해진다.

도 1은 하나의 가능한 디지털 비디오 엔코더 시스템의 하이 레벨 블록도를 나타낸 도면.

도 2는 일련의 비디오 화상들을 이 화상들이 디스플레이 되어야 하는 순서로 나타낸 도면으로, 상이한 화상들을 연결하는 화살표는 움직임 보상을 이용하여 생성된 화상간 의존성을 가리키는 도면.

도 3은 바람직한 화상 전송 순서로 리스트 된 도 2의 비디오 화상을 나타낸 도면으로, 상이한 화상들을 연결하는 화살표는 움직임 보상을 이용하여 생성된 화상간 의존성을 가리키는 도면.

도 4는 일련의 비디오 화상을 그래픽으로 나타낸 도면으로, 서로 참조하는 비디오 화상간의 거리가 2의 제곱이 되도록 선택된 도면.

Claims (65)

1. 복수의 비디오 화상을 디코딩하는 방법으로서,

   인코딩된 제1 비디오 화상, 인코딩된 제2 비디오 화상 및 상기 제2 비디오 화상에 대한 정수 값을 수신하는 단계 - 상기 정수 값은 순서 값의 지수 표현에 기초하고, 상기 순서 값은 비디오 화상들의 시퀀스 내의 상기 제1 비디오 화상에 대한 상기 제2 비디오 화상의 위치를 나타냄 -; 및

   상기 순서 값을 이용하여 상기 제2 비디오 화상을 디코딩하는 단계

   를 포함하는, 복수의 비디오 화상을 디코딩하는 방법.
2. 제1항에 있어서,

   상기 제2 비디오 화상과 연관된 슬라이스 헤더(slice header)를 수신하는 단계를 더 포함하고, 상기 슬라이스 헤더는 상기 순서 값에 기초한, 인코딩된 값을 포함하는, 복수의 비디오 화상을 디코딩하는 방법.
3. 제1항에 있어서,

   상기 순서 값을 사용하여 상기 제2 비디오 화상에 관한 움직임 벡터를 계산하는 단계를 더 포함하는 복수의 비디오 화상을 디코딩하는 방법.
4. 삭제
5. 제3항에 있어서,

   상기 제2 비디오 화상에 관한 상기 움직임 벡터를 계산하는 단계는, (i) 제3 비디오 화상의 순서 값과 상기 제1 비디오 화상의 순서 값의 차인 제1 순서 값 차이(order value difference) 및 (ii) 상기 제2 비디오 화상의 상기 순서 값과 상기 제1 비디오 화상의 상기 순서 값의 차인 제2 순서 값 차이에 기초한 특정 값을 계산하는 단계를 포함하는, 복수의 비디오 화상을 디코딩하는 방법.
6. 삭제
7. 제1항에 있어서,

   상기 지수는 정수 2의 거듭제곱의 지수인, 복수의 비디오 화상을 디코딩하는 방법.
8. 삭제
9. 비트스트림을 저장하는 머신 판독가능 저장 매체로서, 상기 비트스트림은

   인코딩된 제1 비디오 화상;

   인코딩된 제2 비디오 화상; 및

   순서 값의 지수 표현에 기초한 정수 값

   을 포함하고,

   상기 순서 값은 비디오 화상들의 시퀀스 내의 상기 제1 비디오 화상에 대한 상기 제2 비디오 화상의 위치를 나타내는,

   머신 판독가능 저장 매체.
10. 제9항에 있어서,

    상기 지수는 정수 2의 거듭제곱의 지수인, 머신 판독가능 저장 매체.
11. 삭제
12. 제9항에 있어서,

    상기 비트스트림은 상기 제2 비디오 화상과 연관된 슬라이스 헤더를 더 포함하고, 상기 슬라이스 헤더는 상기 순서 값에 기초한 인코딩된 값을 포함하는, 머신 판독가능 저장 매체.
13. 제9항에 있어서,

    상기 순서 값은 상기 제2 비디오 화상에 관한 움직임 벡터를 계산하기 위한 것인, 머신 판독가능 저장 매체.
14. 복수의 비디오 화상을 인코딩하는 방법으로서,

    제1 비디오 화상과 제2 비디오 화상을 인코딩하는 단계; 및

    순서 값의 지수 표현에 기초한 정수 값을 인코딩하는 단계

    를 포함하고,

    상기 순서 값은 비디오 화상들의 시퀀스 내의 상기 제1 비디오 화상에 대한 상기 제2 비디오 화상의 위치를 나타내는,

    복수의 비디오 화상을 인코딩하는 방법.
15. 제14항에 있어서,

    상기 인코딩된 정수 값, 인코딩된 제1 비디오 화상 및 인코딩된 제2 비디오 화상은 비트스트림 내에 저장되는, 복수의 비디오 화상을 인코딩하는 방법.
16. 제14항에 있어서,

    상기 인코딩된 정수 값은 상기 인코딩된 제2 비디오 화상과 연관되는 슬라이스 헤더 내에 저장되는, 복수의 비디오 화상을 인코딩하는 방법.
17. 제14항에 있어서,

    상기 지수는 정수 2의 거듭제곱의 지수인, 복수의 비디오 화상을 인코딩하는 방법.
18. 제14항에 있어서,

    상기 순서 값을 이용하여 상기 제2 비디오 화상에 대한 움직임 벡터를 계산하는 단계를 더 포함하는, 복수의 비디오 화상을 인코딩하는 방법.
19. 삭제
20. 삭제
21. 비트스트림을 저장하는 머신 판독가능 저장 매체로서, 상기 비트스트림은

    복수의 인코딩된 비디오 화상; 및

    복수의 인코딩된 순서 값

    을 포함하고,

    특정 순서 값은 2의 거듭제곱 값이고, 상기 2의 거듭제곱 값을 나타내기 위해 상기 2의 거듭제곱 값의 정수 값이 상기 비트스트림 내에 저장되는, 머신 판독가능 저장 매체.
22. 제21항에 있어서,

    상기 정수 값은 상기 비트스트림의 슬라이스 헤더 내에 저장되는, 머신 판독가능 저장 매체.
23. 복수의 비디오 화상을 인코딩하는 방법으로서,

    복수의 비디오 화상을 인코딩하는 단계;

    복수의 순서 값을 인코딩하는 단계; 및

    상기 인코딩된 비디오 화상 및 상기 인코딩된 순서 값을 비트스트림 내에 저장하는 단계

    를 포함하고,

    특정 순서 값은 2의 거듭제곱 값이고, 상기 특정 순서 값을 나타내기 위해 상기 2의 거듭제곱 값의 정수 값이 상기 비트스트림 내에 저장되는, 복수의 비디오 화상을 인코딩하는 방법.
24. 제23항에 있어서,

    상기 복수의 비디오 화상을 인코딩하는 단계는 상기 복수의 순서 값을 이용하여 복수의 움직임 벡터를 계산하는 단계를 포함하는, 복수의 비디오 화상을 인코딩하는 방법.
25. 복수의 비디오 화상들을 디코딩하는 방법으로서,

    복수의 인코딩된 비디오 화상들 및 복수의 인코딩된 값들을 포함하는 비트스트림을 수신하는 단계 - 각각의 인코딩된 값은 순서 값을 나타내고, 특정 순서 값은 2의 거듭제곱 값이며, 상기 2의 거듭제곱 값을 나타내기 위해 상기 2의 거듭제곱 값의 정수 값이 상기 비트스트림 내에 저장됨 -; 및

    상기 비트스트림을 디코딩하는 단계

    를 포함하는, 복수의 비디오 화상을 디코딩하는 방법.
26. 제25항에 있어서,

    상기 비트스트림을 디코딩하는 단계는 상기 정수 값을 이용하여 상기 인코딩된 값들 중 하나를 디코딩함으로써 순서 값을 디코딩하는 단계를 포함하는, 복수의 비디오 화상을 디코딩하는 방법.
27. 제26항에 있어서,

    상기 비트스트림을 디코딩하는 단계는 상기 디코딩된 순서 값을 이용하여 움직임 벡터를 계산하는 단계를 더 포함하는, 복수의 비디오 화상을 디코딩하는 방법.
28. 제1항 내지 제3항, 제5항, 제7항, 제14항 내지 제18항, 제23항 내지 제27항 중 어느 한 항에 따른 단계들을 구현하는 하드웨어 모듈들을 포함하는 시스템.
29. 적어도 하나의 프로세서에 의해 실행 가능한 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 매체로서, 제1항 내지 제3항, 제5항, 제7항, 제14항 내지 제18항, 제23항 내지 제27항 중 어느 한 항에 따른 단계들을 구현하기 위한 명령어 세트를 포함하는, 컴퓨터 판독가능 매체.
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제
53. 삭제
54. 삭제
55. 삭제
56. 삭제
57. 삭제
58. 삭제
59. 삭제
60. 삭제
61. 삭제
62. 삭제
63. 삭제
64. 삭제
65. 삭제

Images