KR20070011225A

KR20070011225A - 인터-코딩에 사용된 기준 화상의 수를 최소화하기 위한방법 및 장치

Info

Publication number: KR20070011225A
Application number: KR1020067003640A
Authority: KR
Inventors: 알렉산드로스 투라피스; 질 맥도널드 보이스
Original assignee: 톰슨 라이센싱
Priority date: 2003-08-26
Filing date: 2004-08-24
Publication date: 2007-01-24
Also published as: US20070019724A1; BRPI0413979A; EP1661409A2; MXPA06002211A; WO2005022923A3; KR101177031B1; CN1875637A; WO2005022923A2; US8073048B2; JP2007503776A

Abstract

본 발명은 현재 화상, 또는 이 현재 화상 내의 픽셀 영역(예, 비디오 객체)을 (순방향 또는 역방향) 인터 코딩하는데 사용될 활성 기준 화상의 목록을 최소화하고 최적화하는 방법(200)에 대한 것이다. 상기 현재 화상과 하나 이상의 기준 화상 사이의 상기 픽셀 데이터 및 동작에 관한 하나 이상의 결정에 기초하여 목록 내의 활성 기준 화상의 수를 1로 설정한다(294). 그렇지 않으면, 상기 현재 화상과 하나 이상의 기준 화상 사이의 상기 픽셀 데이터 및 동작과 관련된 하나 이상의 다른 결정에 기초하여 목록에서 활성 기준 화상의 수를 최소화한다(300). 상기 제 1 기준 화상 목록에서 기준 화상의 이용에 기초하여 제 2 기준 화상 목록에서 활성 기준 화상의 수를 최소화한다. 비디오 인코더(700)는 2차원 비디오 이미지를 나타내는 데이터를 처리하며 이러한 이미지는 종래의 상업적으로 이용가능한 비디오 카메라를 통해 생성되었다. 비디오 인코더는 현재 화상을 인터 코딩하는데 사용될 활성 기준 화상의 수를 결정하고, 선택하고 최소화하도록 적응된다. 인코더(700)에 의해 전송된 비트 스트림은 관련 기술의 디코더에 의해 디코딩될 수 있다.

Description

인터-코딩에 사용된 기준 화상의 수를 최소화하기 위한 방법 및 장치{METHOD AND APPARATUS FOR MINIMIZING NUMBER OF REFERENCE PICTURES USED FOR INTER-CODING}

본 출원은 2003년 8월 26일 제출되고, 본 명세서에 전체가 참고 문헌으로 병합되는, "인코더를 위한 기준 화상의 수를 적합하게 선택하기 위한 방법 및 장치"라는 제목의 미국 가출원 제 60/497,814호(변리사 명부 제 PU030257호)의 이익을 청구한다.

본 발명은 일반적으로 디지털 비디오 인코딩 기술, 그리고 좀 더 구체적으로, 디지털 비디오 인코딩 애플리케이션을 위한, 다수의 기준 화상 표준에서, 화상의 매크로블록의 인터 코딩에 관한 것이다.

비디오 인코더는 이미지 시퀀스의 하나 이상의 프레임을 디지털 정보로 인코딩하는데 사용될 수 있다. 이 디지털 정보는 이후 수신기로 전송되며, 여기서 이미지 또는 이미지 시퀀스가 계속해서 재구성될 수 있다. 전송 채널 자체는 임의의 다수의 매체 이상이 될 수 있다; 예를 들어(단지 예시적인 목적이며 배타적인 열거가 아님), 매체는 무선 방송, 라디오 링크, 위성 링크, 동축 케이블 텔레비전 또는 데이터, 광섬유, 이동 전화 연결, 또는 고정된 유선 전화 링크, 인터넷, 또는 이들 또는 다른 매체의 조합을 포함할 수 있다.

다양한 국제 표준이 비디오 인코딩과 전송에 대해 동의되었다. 일반적으로, 표준은 이미지의 프레임과 관련된 데이터를 압축하고 인코딩하기 위한 규칙을 제공하는 것이다. 이들 규칙은 이미지에 대해 원래 제공된 시청 카메라(viewing camera)보다 적은 데이터를 전송하기 위해 이미지 데이터를 압축하고 인코딩하는 방법을 제공한다. 이러한 감소된 데이터의 양은 이후 전송을 위한 더 적은 채널 대역폭을 필요로 한다. 수신기는 전송된 데이터가 준수되어야 하는 규칙(즉, 표준)을 아는 경우, 전송된 데이터로부터 이미지를 재구성할 수 있다. H. 264 표준은 이전 프레임으로부터 매크로블록의 움직임 보상된 예측을 사용함으로써, 이미지의 일부의 중복 전송을 회피한다.

MPEG-2와 JVT/H.264/MPEG 4 Part10/AVC와 같은, 비디오 압축 아키텍처와 표준은 각 매크로블록의 인코딩을 위해 인트라프레임("intra") 코딩 또는 인터프레임("inter") 코딩 방법 중 하나만을 사용하여 매크로블록을 인코딩한다. 인터프레임 움직임 추정/보상을 위해, 인코딩될 비디오 프레임은 겹치지 않는 직사각형, 또는 가장 일반적으로 정사각형의 픽셀 블록으로 분할된다. 이들 각 블록에 대해, 가장 잘 매칭된 동일한 형상의 블록은 지정된 매칭 오류 표준에 따라 미리 결정된 검색창 내의 기준 프레임으로부터 검색된다. 이후 매칭된 블록은 현재 블록을 예측하는데 사용되고, 예측 오류 블록이 더 처리되어 디코더로 전송된다. 원래 블록에 대해 기준 블록의 수평 및 수직 방향으로의 상대적 이동이 그룹화되고 원래 블록의 움직임 벡터(MV)라고 하며, 이것은 또한 디코더로 전송된다. 움직임 추정의 주요 목적 은 기준 블록과 현재 블록의 차를 취함으로써 얻어진 차이 블록이 인코딩 시에 가장 낮은 비트수를 만들도록 동작 블록을 예측하는 것이다.

최근의 비디오 코딩 표준과 아키텍처는 코딩 효율성을 개선하기 위한 시도로 움직임 추정과 보상을 위한 다수의 기준 화상을 채용한다. MPEG-2 및 그 이전의 것에서 예측적으로 코딩된 화상("P" 화상이라 함)은 현재 화상의 값을 예측하기 위해 오직 하나의 이전 화상을 사용한다. H.264 표준은 다수의 기준 화상(또는 프레임)의 사용을 허용하는데, 이 화상들은 대개 다른 시간 순간의 화상이며, 이들 중 다수는 현재 화상과 공간적으로 그리고 시간적으로 관련되지 않을 수 있다. MPEG-2에서 오직 단일 기준 색인만이 사용되는 한편, 움직임 벡터의 인코딩에 대해 f-코드 파라미터라고 하는 특수 코드가 또한 움직임 벡터의 결정과 디코딩에 사용된 모든 화상에 대한 비트스트림 내에 전송된다. 이 f-코드 파라미터는 움직임 추정 프로세스동안 유도되며, 움직임 벡터의 VLC 코딩에 영향을 준다. 동작 파라미터와 범위에 따라, 모든 화상에 대해 f-코드 파라미터를 자동으로 적응시키는 이전 제안은 파라미터를 고정된 상태로 유지하는 것과 비교할 때, 더 나은 코딩 효율성을 달성할 수 있다. H.264는 이 파라미터를 지원하지 않으며, 본질적으로 움직임 벡터의 인코딩을 위한 미리 한정된 VLC 코드를 사용한다. 한편, H.264는 다수의 기준 사용을 허용하고, 그러므로 기준 색인 파라미터도 역시 전송된다.

다수 기준의 사용은 인코더의 복잡성을 상당히 증가시킬 수 있는데, 그 이유는 더 많은 화상이 움직임 추정 과정동안 조사되어야 하기 때문이다. H.264 표준은 동작 보상 목적으로, 디코딩되어 디코더에 저장된 더 많은 수의 화상 중에 인코더 가 선택할 수 있도록 한다. 기준 기능(referencing capability)의 동일한 연장은 또한 동작-보상된 쌍-예측에 응용되며, 이것은 2개의 특정 화상(이들 중 하나는 디스플레이 순서에서 이전 인트라(I) 또는 P 화상이며 다른 것은 디스플레이 순서에서 다음 I 또는 P 화상이다)만을 사용하도록 MPEG-2에서 한정된다.

일반적으로, 인코더는 비디오 데이터 스트림에 나타난 적절한 움직임 벡터와 다른 데이터 요소를 계산한다. 인코더 내의 매크로블록의 인터 예측을 위한 과정은 다수의 저장된 이전 디코딩된 화상으로부터 기준 화상으로 사용될 화상의 선택을 수반할 수 있다. "기준 색인"은 인터 코딩된 매크로블록의 예측에 사용될 기준 화상의 기준 화상 목록(list0 또는 list1)에서의 위치(색인)을 지정한다. "기준 색인"은 변수(PicNum 및 LongTermPicNum)의 목록의 색인이며, 변수는 프레임 시퀀스에 대한 선택된 화상을 식별하며, 이 시퀀스는 기준 화상 목록이라고 한다. P 또는 SP 슬라이스를 디코딩할 때, 단일 기준 화상 목록(RefPicList0)이 존재한다. B 슬라이스를 디코딩할 때, RefPicList0 이외에 제 2 독립 기준 화상 목록(RefPicList1)이 존재한다. 어떤 화상들이 실제로 각 기준 화상 목록에 위치되는가는 다중-화상 버퍼 제어의 문제이다. 화상은 슬라이딩 윈도우 기준 화상 표시 과정, 선입, 선출 매커니즘에 의해 "기준을 위해 사용되지 않음"이라고 표시될 수 있으며, 이후 어떠한 기준 화상 목록에도 나열되지 않을 것이다. H.264 표준은 기준 목록 내의 기준의 재순서 지정을 허용한다.

다수의 기준-화상 동작-보상된 예측은 다중-화상 버퍼 내의 인터 예측에 사용된 기준 화상을 저장하기 위해 인코더와 디코더를 모두 필요로 한다. 디코더는 비트스트림에 지정된 메모리 관리 제어 동작에 따라 인코더의 다중-화상 버퍼를 복제한다. 다중-화상 버퍼의 크기가 한 화상에 설정되고 list0 또는 list1에 대한 최대 기준 색인이 하나(one)와 같다고 신호화되지 않는 경우, 기준 화상이 다중-화상 버퍼 내에 위치된 기준 색인이 전송된 각 인터 코딩된 매크로블록으로 신호화되어야 한다.

기준 색인은 비트스트림 내에서 신호화되어야 하므로, 모든 인터 코딩된 매크로블록, 또는 매크로블록 분할에 대해(예, 16x8, 8x16 또는 8x8 픽셀의 하위블록) 기준 화상 목록의 크기가 하나의 화상보다 클 때, 다수의 기준이 특정 화상의 인코딩에서 압축 이득을 증가시킬 것이라는 것(즉, 화상은 오직 단일 기준으로 바이어스될 수 있다)이 항상 확실하지는 않다. 인터 코딩된 매크로블록(또는 하위블록)에 대해, 하나의 움직임 벡터 차이와 하나의 기준 색인은 비트스트림에 존재할 수 있다. 쌍-예측적으로 인터 코딩된 매크로블록(또는 하위블록)에 대해, 2개의 움직임 벡터 차이와 2개의 기준 색인이 비트스트림에 존재할 수 있다. 예를 들어, H.264에서 각 매크로블록에 대해 예측(P) 화상에 대해 최대 4개의 기준 색인, 그리고 쌍-방향성의(B) 예측 화상에 대해 8개의 기준 화상을 전송할 수 있다는 것을 고려하면, 기준 색인으로 인한 비트율 부담이 상당히 클 수 있다.

H.264에서, 기준의 수는 슬라이스 레벨(slice level)로 신호화되는 num_ref_idx_IN_active_minus1 파라미터를 통해 제어되며, 여기서 N은 list0에 대해 0이며 list1에 대해 1이다. num_ref_idx_IN_active_minus1 파라미터는 기준 화상 목록(N)에 대한 최대 기준 색인을 지정하며, 이 목록(N)은 그것이 사용된 화상 의 각 슬라이스를 디코딩하는데 사용된다(예, num_ref_idx_IO_active_minus1은 슬라이스를 디코딩하는데 사용되는 기준 화상 list0에 대한 최대 기준 색인을 지정한다). num_ref_idx_IN_active_minus1의 값은 0과 31(각각 포함됨) 사이이다. 이 파라미터가 0과 같으면, 이후 현재 슬라이스에 대해, 오직 하나의 기준 화상이 해당 슬라이스 내의 매크로블록을 인터코딩하는데 사용될 것이며 어떠한 기준 색인도 해당 슬라이스의 인터 코딩된 매크로블록으로 전송될 필요가 없다.

주어진 화상을 인코딩하기 전에 기준의 수를 동적으로 결정할 수 있도록 비디오 인코더를 적응시키는 것이 바람직한데, 그 이유는 오직 하나의 기준이 사용되는 경우 (각 매크로블록에 대한 기준 색인에 대해) 전술한 비트 부담은 제거되거나 감소되어, 가능하게는 개선된 인코더 성능을 제공하는 한편, 더 적은 기준 화상이 움직임 추정하는 동안 테스트되어야 하므로 복잡성을 감소시키기 때문이다.

그러므로, 본 발명은 비디오 인코더가 매크로블록의 인터 코딩에 사용될 기준 화상의 수를 적합하게(실행 인코드의 실시간 기반으로 동적으로) 선택할 수 있도록 하는 방법 및 장치이다. 기준 결정의 수는 현재-기준 화상 상관, 기준 화상 움직임 벡터, 잔여(residual) 등과 같이, 이전에 생성된 정보에 기초할 수 있으며/있거나, 이 결정은 비율(rate)-왜곡 최적화 방법에 기초할 수 있다. 본 발명의 실시예는 개선된 압축 이득 및/또는 인코딩 효율성을 제공할 수 있다.

본 발명의 일 실시예는 화상의 비디오 시퀀스 내의 현재 화상의 픽셀 영역을 인터 코딩하는 방법을 제공하며, 상기 시퀀스는 적어도 하나의 기존 목록에 열거된 복수의 기준을 포함하며, 상기 방법은: 현재 화상의 픽셀 영역을 인코딩하는데 사용될 유일한 기준으로 사용될 기준 목록에 열거된 제 1 기준을 선택하는 단계를 포함한다. 이러한 경우, num_ref_idx_IN_active_minus1은 0과 같게 설정될 수 있으며, N은 기준 목록의 수를 나타낸다. 이것은 인코딩될 픽셀 영역을 포함하는 현재 화상과 시간상 가장 가까운 기준의 사용을 초래할 수 있다.

본 발명의 다른 실시예는 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법을 제공하며, 상기 시퀀스는 기준 목록에 열거된 복수의 기준을 포함하며, 상기 방법은 현재 화상을 인코딩하는데 사용될 단일 기준으로서 사용될 기준 목록에 열거된 제 1 기준을 선택하는 단계를 포함한다.

본 발명의 다른 실시예는 활성 기준 목록에 열거된 복수의 기준 화상 중 적어도 하나를 사용하여 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법을 제공하며, 상기 방법은: 각 제거된 기준과 현재 화상과의 비교에 기초하여 활성 기준 목록에서 열거된 기준 중 적어도 하나를 제거하는 단계를 포함한다. 이후, num_ref_idx_IN_active_minus1(N은 활성 기준 목록의 수를 나타냄)은 이에 따라 감소될 수 있다. 이 비교는 현재 화상과 각 제거된 기준 간의 절대 픽셀 차의 합을 계산함으로써 왜곡을 측정하는 것과 같은, 직접 비교이다. 대안적으로, 이 비교는 제 2 기준 화상이 제 1 기준 화상에 비해 높은 왜곡을 가지며, 제 1 기준 화상이 현재 화상에 비해 낮은 왜곡을 가지는 경우, 활성 기준 목록에서 제 2 기준 화상을 제거하는 것과 같은, 간접 비교가 될 수 있다.

본 발명의 다른 실시예는 활성 기준의 목록에 열거된 복수의 기준 화상 중 적어도 하나를 사용하여 현재 화상을 인터 코딩하는 방법을 제공하며, 상기 방법은: 현재 화상에 대해 더 작은 왜곡을 가지는 기준 화상이 활성 기준 목록에서 더 높은 우선 순위로 열거되도록, 열거된 기준을 재순서화하는 단계를 포함한다.

본 발명의 다른 실시예는 복수의 블록 변형 계수로서 픽셀 데이터를 인코딩하기 위한 인코더를 제공하며, 상기 인코더는 본 명세서에 개시된 방법에 기초하여 현재 화상을 인터 코딩하는데 사용될 활성 기준의 목록을 최소화하기 위해 적응된 회로를 포함한다. 인코더는 현재 화상에 대해 더 작은 왜곡을 가진 잔여 활성 기준 화상이 기준 화상 목록에서 더 높은 우선 순위에 놓이도록 능동 화상 목록을 재순서화하도록 더 조정될 수 있다.

본 발명의 다른 실시예는 화상의 비디오 시퀀스를 인터 코딩하는 방법을 제공하는 것이며, 상기 방법은: 기준 화상 목록에 열거된 모든 기준 화상을 사용하여 현재 화상을 인코딩하는 제 1 코딩 단계를 수행하는 단계; 새 기준 목록을 생성하기 위해 기준 목록에서 하나 이상의 화상을 선택 및 제거하는 단계; 그리고 새 기준 목록에 열거된 화상만을 사용하여 현재 화상을 재-코딩하는 제 2 코딩 단계를 수행하는 단계를 포함한다.

본 발명의 다른 실시예는 이미지의 비디오 시퀀스를 압축 및 인코딩하는 인코딩 방법을 제공하며, 상기 방법은: M개의 기준 화상에 대해 K 순열을 사용하여, 현재 화상의 K배를 인터 코딩하는 단계로서, 상기 K는:

이며, 이후; 다른 K-1 인코딩된 현재 화상과 비교하여 미리 결정된 기준에 기초하여, K 인코딩된 현재 화상 중에서, 하나의 인코딩된 현재 화상을 선택하는 단계를 포함한다.

본 발명의 다른 실시예는 화상의 비디오 시퀀스를 인터 코딩하는 방법을 제공하며, 상기 방법은: 이용가능한 기준의 복수의 순열 각각을 사용하여 현재 화상의 움직임 추정 코딩을 수행하는 단계 및 비트율, 왜곡 또는 비트율과 왜곡의 가중된 결합 중 하나일 수 있는 미리 결정된 조건을 최소화하는 이용가능한 기준의 순열을 선택하는 단계를 포함한다.

본 발명의 다른 실시예는 이미지의 비디오 시퀀스를 인코딩하는 인코더를 제공하며, 상기 인코더는 기준 화상 버퍼를 포함하며, 상기 인코더는 기준 화상 버퍼에 저장되고 기준 목록에 열거된 복수의 기준 화상 중 적어도 하나를 사용하여 화상의 시퀀스에서 현재 화상을 인터 코딩하기 위해 적응되며; 상기 인코더는 미리 결정된 기준에 기초하여 현재 화상을 인터 코딩하는데 사용될 단일 기준으로서 사용될 제 1 열거된 기준을 동적으로 선택하기 위해 더 적응된다.

본 발명의 다른 실시예는 이미지의 시퀀스를 인코딩하는 인코더를 제공하며, 상기 인코더는 기준 버퍼를 포함하고, 상기 인코더는 기준 버퍼에 열거된 복수의 기준 화상 중 적어도 하나를 사용하여 현재 화상을 인터 코딩하기 위해 적응되며, 현재 화상에 대해 더 작은 왜곡을 가지는 기준 화상이 활성 기준 목록에서 더 높은 우선 순위로 열거되도록 기준 버퍼에 저장된 기준 목록을 동적으로 재순서화하기 위해 적응된다.

본 발명의 다른 실시예는 디지털 비디오 시퀀스를 얻기 위한 수단; 그리고 본 명세서에 설명된 인코딩 방법을 수행하기 위해 배열된 비디오 인코더가 포함된 멀티미디어 단말기를 제공한다.

본 발명의 다른 실시예는 컴퓨터 시스템이 본 명세서에 설명된 인코딩 방법을 수행할 수 있도록 하기 위해 구현된 컴퓨터-판독가능한 프로그램 코드를 가진 컴퓨터-사용가능한 매체를 제공한다.

본 발명의 다른 실시예는 컴퓨터 시스템이 본 명세서에 설명된 인코딩 방법을 수행하도록 하기 위한, 컴퓨터 판독가능한, 프로그램을 저장하는 기록 매체를 제공한다.

다음 설명에 걸쳐서, 매크로블록의 휘도(luma;luminance) 구성요소는 4개의 8x8 블록의 어레이로서 배열된 16x16 픽셀을 포함하며, 관련 크로미넌스 구성요소는 8x8 블록을 형성하기 위해 수평 및 수직 방향으로 2의 인자만큼 공간적으로 서브-샘플링된다고 전제된다. 다른 블록 크기와 다른 서브-샘플링 방식으로의 확장 설명이 당업자에게 명백할 것이다. 본 발명은 16x16 매크로블록 구조로 한정되지 않으며 임의의 분할 기반 비디오 코딩 시스템에서 사용될 수 있다.

본 발명의 전술한 특성은 첨부된 도면을 참조하여 예시적인 실시예를 자세히 설명함으로써 더욱 분명해질 것이다.

도 1은 본 발명의 원리에 따른, 인터 코딩 기준으로서 사용하기 위해 코딩되고 선택될 일련의 화상을 도시한 도면.

도 2는 현재 화상을 인터 코딩하는데 사용된 각 (역방향 또는 순방향) 예측에 대해 오직 단일(하나의) 기준 화상을 사용할 것을 결정하는 방법을 도시하는 흐름도.

도 3은 현재 화상을 (순방향 또는 역방향) 인터 코딩하는데 사용될 활성 기준 화상의 목록에서 기준 화상을 제거하는 방법을 도시한 흐름도.

도 4는 본 발명의 실시예에 따른, 비디오 인코더를 도시하는, 개략적인 블록도.

도 1은 본 발명의 원리에 따른 인터 코딩 기준으로서 사용하기 위해 코딩되고 선택될 일련의 시간 순차적인 화상(P₀,B₁,B₂,P₃,B₄,B₅,P₆,B₇,B₈,P₉)을 도시한다. 화상(P₀)은 인트라 코딩되고, 후속하는 인터 코딩된 화상(B₁,B₂,P₃,B₄,B₅,P₆)에 대한 기준으로 사용된다. 화상(B₁)은 각 예측에 대해 단일 기준 화상만을 사용하여 쌍-예측적으로 인터 코딩된다(P₀은 순방향 예측에 사용된 단일 기준이며; P₃은 역방향 예측에 사용된 단일 기준이다). 화상(B₂)은 각 예측에 대해 단일 기준 화상만을 사용하여 쌍-예측적으로 인터 코딩된다(P₀은 순방향 예측에 사용된 단일 기준이며; P₃은 역방향 예측에 사용된 단일 기준이다). 화상(P₃)은 (역방향) 예측에 대해 오직 단일 기준 화상(P₀)만을 사용하여, 단일-예측적으로 인터 코딩된다. 화상(B₄)은 역방향 예측에 대해 2개의 기준 화상(P₀ 및 P₃)을 그리고 역방향 예측에 대해 단일 기준 화상(P₆)을 사용하여 쌍-예측적으로 인터 코딩된다. 화상(B₅)은 역방향 예측에 대해 2개의 기준 화상(P₀ 및 P₃)을 역방향 예측에 대해 단일 기준 화상(P₆)을 사용하여 쌍-예측적으로 인터 코딩된다. 화상(P₆)은 역방향 예측에 대해 2개의 기준 화상(P₀및 P₃)을 사용하여, 단일-예측적으로 인터 코딩된다. 화상(B₇)은 각 예측에 대해 단일 기준 화상만을 사용하여 쌍-예측적으로 인터 코딩된다(P₆는 순방향 예측에 사용된 단일 기준이며; P₉는 역방향 예측에 사용된 단일 기준이다). 화상(B₈)은 각 예측에 대해 단일 기준 화상만을 사용하여 쌍-예측적으로 인터 코딩된다(P₆는 순방향 예측에 사용된 단일 기준이며; P₉는 역방향 예측에 사용된 단일 기준이다). 화상(P₉)은 역방향(예, 목록0) 예측에 대해 단일 기준 화상(P₆)만을 사용하여, 단일-예측적으로 인터 코딩된다.

각 인터 코딩된 화상(B₁,B₂,P₃,B₇,B₈, 및 P₉)에서 각 매크로블록 또는 매크로블록 분할에 대해 움직임 벡터로 기준 색인을 인코딩할 필요는 없는데, 그 이유는 각각은 대응 기준 화상 목록(들)으로부터 단일 기준 화상만을 사용하여 인코딩되기 때문이다(P-화상에 대해 하나의 기준 목록; B-화상에 대해 2개의 기준 목록).

본 발명의 원리에 따라, 현재 화상의 픽셀과 동작 특성에 기초하여, 또한 능동/이용가능한 기준 화상에 기초하여, 현재 화상의 예측적인 또는 쌍-예측적인 인 터 코딩에 사용될 기준의 수를 결정하고 한정하는 방법이 개시된다.

본 발명의 일 실시예에 따른, 주어진 화상을 인터 코딩하는데 사용된 기준의 수를 선택하는 한 방법은 모든 능동 (열거된) 기준을 사용하여 제 1 패스에서 현재 화상을 인코딩 한 다음, 마지막으로 제 2 패스에서 상기 기준이된 화상만을 사용하여 화상을 재코딩하는 한편, 대응 활성 기준 목록에서 다른 모든 것들을 삭제하는 것이다. 예를 들어, 기준 화상 목록에 열거된 모든 기준 화상을 사용하여 현재 화상을 인코딩하는 제 1 코딩 단계를 수행하는 단계 및 새 기준 목록을 생성하기 위해 기준 목록에서 하나 이상의 화상을 선택하고 삭제하는 단계; 및 새 기준 목록에 열거된 화상만을 사용하여 현재 화상을 재-코딩하는 단계이다. 이것은 각 기준 목록이 더욱 압축되도록 하고, 결과적으로 기준 색인이 잠재적으로 더 적은 비트를 필요로 하도록 한다.

주어진 색인된 기준 화상을 기준으로 하는 매크로블록 또는 블록의 수가 주어진 조건/임계값(T_MB)을 충족하는지에 대해 더 고려해 볼 수 있다. 이 조건/임계값이 충족되지 않으면, 이 불충분하게 기준이된 기준 화상은 활성 기준 버퍼로부터 삭제되며, 현재 화상의 매크로블록/블록은 이후 잔여 능동 (열거된) 기준 화상으로부터 예측(재-코딩)된다. 비록 이러한 방법이 잠재적으로 더 나은 이득을 유도할 수 있다고 해도, 이들은 또한 화상이 두 번 코딩되어야 하므로 상당히 더 높은 복잡성을 가져온다. 이것은 특히, 이미 매우 높은 복잡성으로 인해 H.264와 같은 코덱에서 부담이 된다. 그럼에도 불구하고, 좀 더 공격적인 접근 방식으로, 1 내지 M 개의 기준을 사용하여, 동일한 화상을 K번 인코딩을 시도하는 것도 가능하며, 여기서 K는:

와 같고, 위 식은 재 순서화를 포함하여, 화상 기준의 모든 가능한 배열과 조합(순열)을 나타낸다. 이들 K 조합에서, 최소의 왜곡, 또는 비트율, 또는 사용율-왜곡 최적화 기준을 제공하는 것(라그랑지안 공식)을 선택할 수 있으며, 왜곡은 라그랑지안 곱셈기를 사용하여 반비례로 가중된다(예, J=D+λxR의 형태로 라그랑지안 곱셈기를 사용함). 라그랑지안 곱셈기는 제한을 조건으로 하는 수학적 최적화 문제의 관계에서 나타나는 대수학 용어이다.

본 발명의 다른 실시예는 인코딩 품질 또는 비트율을 상당히 감소시키지 않고(왜곡을 증가시키지 않음), 화상 기준의 수를 결정하는 더 간단한 방법을 제공한다. 현재 화상을 코딩할 때 사용된 기준( 및 기준 색인)의 수와 현재 화상을 인코딩하기 위한 기준으로 사용된 직전 코딩된 화상에 사용된 기준( 및 기준 색인)의 수 사이에 높은 상관 관계가 존재한다는 것을 발견했다. 이 상관 관계는 2개의 화상이 높은 유사성을 가질 때 증가한다(예, 그들의 절대차는 주어진 비교적 작은 임계값 이하이다). 예를 들어, 시간(t-2)에서 이전 화상만을 기준으로 하는, 시간(t-1)에서 직전 코딩된 화상이 거의 움직임이 없으며, 시간(t)에서 현재 화상과 매우 유사한 경우(예, 화상이 절대차를 의미, PMAD<4), 이것은 현재 화상이 단일 기준 화상을 사용하여 유리하게 인코딩된다는 것과 매우 유사하게 만든다. 기준 프레임 은 현재 프레임에 선행하거나 후속할 수 있다. 따라서, 일반적으로 제 1 화상(P1)이 단일 기준 화상(RP)만을 기준으로 하여 인코딩되고 기준 화상(RP)에 대해 거의 움직임이 없는 경우(예, P1-RP PMAD<4), 그리고 제 1 화상(P1)이 현재 화상(CP)과 매우 유사한 경우(예, P1-CP PMAD<4), 이후 현재 화상(CP)은 또한 단일 기준 화상만을 기준으로 하여 효과적으로 인코딩될 수 있으며(예, P1 또는 RP 중 하나) 현재 화상(CP), 및 모든 포함된 슬라이스와 매크로블록은 단일 기준 화상(예, P1 또는 RP0 중 하나)을 사용하여 인코딩된다. 화상(RP,P1 및 CP)은 바로 인접하는 화상이면 바람직하지만, 반드시 바로 인접하는 화상일 필요는 없다. 현재 화상과 잔여 기준 간의 추가적인 단순한 비교(예, 절대차)는 또한 이 결정을 더 확인하기 위해 수행될 수 있다. 추가적으로, 가장 가까운 기준 화상뿐만 아니라 모든 다른 기준의 움직임 벡터와 기준 색인은 이 결정을 하거나 확인하기 위해 고려될 수 있다.

본 발명의 방법의 예시적인 실시예는 활성 기준의 수를 선택하고 감소시키는 다음과 같은 방법을 제공한다.

우선, 왜곡 계산을 수행한다: 블록 또는 매크로블록 레벨에서, 주어진 목록(list0 또는 list1)의 제 1 기준(0 기준) 화상에 대한 절대차(PSAD)의 현재 화상의 CP 합계를 계산한다. 화상 SAD 값(PSAD)은 모든 매크로블록 SAD 값(MBSAD)의 합계이다. 매크로블록 SAD 값(MBSAD)은 다른 화상 내의 대응 매크로블록에 대해 단일 매크로블록 내의 픽셀의 절대차(SAD)의 합계이다. CP-RP 화상 SAD 차(CP-RP PSAD)는 기준 화상(RP)의 원본, 또는 재구성된 기준 화상(RP_rc) 중 하나를 사용하여 계산 될 수 있다. 바람직하게는, 주어진 목록(list0 또는 list1)에 있는 전체 현재 화상과 제 1 기준(0 기준) 화상 사이의 왜곡 측정으로서 CP 및 RP 화상의 평균 절대차(CP-RP PMAD)를 (나눗셈을 통해) 계산한다. 화상의 MAD 값(PMAD)은 비교된 2개의 화상의 픽셀 사이의 평균 절대차(MAD)이다. 화상의 SAD 값(PSAD)과 화상의 MAD 값(PMAD) 사이의 관계는 화상 MAD(PMAD)이 예컨대, 2개의 화상 중 하나에서 매크로블록(또는 픽셀)의 수로 나누는 것과 같이, 하나의 수로 나뉘어진 화상 SAD 값(PSAD)과 같다는 것이다. 화상 MAD 값(PMAD)은 따라서 화상 SAD 값(PSAD)의 정규화된 버전이며, 화상 SAD 값(PSAD)은 화상 MAD 값(PMAD)이, 화상에서 매크로블록의 수로 화상의 SAD 값(PSAD)을 나누어서, (2개의 화상의) 대응 매크로블록 사이의 평균 SAD 값(MBSAD)으로 정의되도록 매크로블록 레벨에 대해 정규화될 수 있다. 따라서, PMAD와 PSAD 값은 이들 값과 비교될 임의의 임계값이 적절하게 측정되는 경우 교환가능하게 사용될 수 있다. 화상의 MAD 값(CP-RP0 PMAD){즉, 전체 현재 화상(CP)과 전체 제 1 열거된 기준 화상(RP0) 사이의 MAD}이 비교적 작은 제 1 임계값(T₁) 이하이면, 현재 화상을 인코딩하는데 사용되도록 (적용가능한 목록 list0 또는 list1에서) 기준 수로서 1(One)을 선택한다(즉, num_ref_idx_IN_active_minus1을 0으로 설정함). 또한, 제 2 임계값(T₂) 이하의 매크로블록 SAD 값(MBSAD)을 가진 현재 화상의 매크로블록의 비율(R)이 미리 결정된 임계 비율(T_R)과 같거나 큰 경우(즉, T_R는 95%와 같음), 단일 기준이 사용된다(num_ref_idx_IN_active_minus1은 0으로 설정된다). 따라서, T₁에 의해 또는 T_R 및 T₂에 의해 한정된 임계 조건 중 하나 또는 모두 중 한 가지가 충족된 경우, 목록(N)(list0 또는 list1)에서 단일 기준 화상은 현재 화상을 인코딩하기 위해 사용된다(예, 해당 목록에 적용가능한 num_ref_idx_IN_active_minus1은 0으로 설정된다)

재구성된 기준 화상(RP_rc)이 왜곡 계산에서 현재 화상과의 비교를 위해 사용된 경우, 이것이 또한 양자화 과정의 영향을 받는다는 것을 고려하면, T₁과 T₂는 예컨대, 양자화 파라미터(QP)에 대응하는 특정 가중치를 미리 정의하고 T₁과 T₂를 T₁(QP)=a(QP)xT₁와 T₂(QP)=b(QP)xT₂{a() 및 b()는 양자화 파라미터(QP)로 색인된 미리 정의된 가중치)로 재정의함으로써, 이에 따라 조정/측정되어야 한다.

전술한 왜곡 조건이 모두 참이 아니지만, 화상의 MAD 값(CP-RP0 PMAD)은 다른 임계값(T₃)을 충족시키는 경우(예, T₁≤PMAD < T₃), 또는 다른 임계값(T₄)을 충족시키는 매크로블록의 비율(H)의 매크로블록 SAD 값(MBSAD)(예, T₂≤MBSAD < T₄)이 미리 결정된 임계 비율(T_H)을 초과하는 경우, 또한 제 1 기준 화상에 대해 인코딩된 움직임 벡터와 기준 색인을 평가한다: 0과 동일한 기준 색인을 가진 제 1 기준 화상의 매크로블록의 비율(K₁)이 미리 결정된 임계 비율(T_K1)을 초과하는 경우, 오직 단일 기준 화상(제 1 기준 화상)만이 현재 화상을 인코딩하는데 사용된다(그리고 num_ref_idx_IN_active_minus1은 이에 따라 0으로 설정된다).

선택적으로, 추가적인 최적화를 위해, 다음 결정을 내릴 수 있다: 목록에서 제 1 기준 화상을 인코딩하는데 사용된 움직임 벡터 모두가 또는 그 일정 비율이 충분히 작은 경우(낮은 동작 활동을 나타냄), 단일 기준 화상(제 1 기준 화상)이 현재 화상을 인코딩하는데 사용된다. 예를 들어, 0 기준(RP0)을 사용하는 그리고 각각 [-mx₁,mx₂]와 [my₁,my₂](예, mx₁= mx₂= my₁= my₂= 1)의 대상 범위에 있는 움직임 벡터 구성요소(MV_x 및 MV_y)를 가지는 화상 내의 블록의 비율(K₂)이 미리 결정된 임계 비율(T_K2)보다 큰 경우(예, T_K2%≤T_K1%), 주어진 목록(예, list0)에서 단일 기준(예, RP0)은 현재 화상을 인코딩하는데 사용된다.

전술한 규정된 조건 중 어떤 것도 충족되지 않는 경우, 적용가능한 기준 목록의 잔여 기준 역시 {예, 화상의 SAD 값(PSAD) 또는 블록/매크로블록 MAD 값(MBMAD)을 계산함으로써} 현재 화상과 비교될 수 있다. 현재 화상에 대해 기준(i)(i는 기준 화상 목록의 색인)에 대한 화상의 MAD 값(PMAD_i)은 임계값(T₅) 이상이거나 그 안의 모든 매크로블록은 임계값(T₆) 보다 큰 MBSAD_i의 매크로블록 SAD 값을 가지며, 이후 이 기준은 현재 화상을 인코딩하는데 사용된 활성 기준 목록(예, 기준 버퍼)에서 삭제된다. 유사하게, 가장 가까운 기준에서 가장 먼 기준까지(기준 색인을 증가시킴으로써) 기준 색인과 움직임 벡터가, T₅와 T₆값을 또한 적응시킴으로써, 계속해서 고려되며 결정에 도움이 될 수 있다. 예를 들어, 기준 화상이 현재 화상에 더 가까운 다른 기준 화상을 인코딩하기 위해 사용되지 않은 경우, 이들 임계값은 감소될 수 있다(임계값의 감소는 기준이 검사된 기준에서 삭제될 가능성이 더 높다는 것을 의미한다).

하나의 기준 화상을 인코딩하는데 사용된 기준 화상들과 비교된 하나의 기준 화상에 대한 왜곡값이 기준 결정의 해당 화상의 수에 대해 이미 계산되었으므로, 이들 왜곡값은 추가적인 결정 방법에 재사용될 수 있다. 특히, 주어진 기준 화상은 현재 화상과 매우 유사하지만, 제 2 기준 화상에 비해 높은 왜곡을 가진다는 것이 이미 알려진 경우, 현재 화상이 해당 제 2 기준 화상에 대해 높은 왜곡값을 가지며 왜곡 계산은 회피될 수 있고, 제 2 기준 화상은 현재 화상을 인코딩하는데 사용될 "능동" 기준의 버퍼에서 삭제될 수 있는 가능성이 매우 높다. 그러나, 동작 보상 후의 이들 두 개의 기준 사이의 왜곡(또는 이용가능한 경우, 잔류)을 고려하면 아마도 더욱 신뢰할 수 있는 결정과 더 나은 성능을 이끌어 낼 것이다.

마지막으로, 또한, 생성된 통계를 이용하여(예, 현재 화상에 대해 기준 목록에서 각 기준의 왜곡) 현재 화상에 대해 더 작은 왜곡을 가진 기준이 기준 목록에서 더 높은 우선 순위(더 작은 색인 수)로 놓여지도록 적용가능한 기준 목록에서 기준을 재순서화할 수 있다. 그 다음, num_ref_idx_IN_active_minus1은 선택적으로 가장 높은 왜곡을 가진 기준 화상이 현재 화상을 인코딩하기 위한 기준으로 사용되는 것을 비활성화시키는 수(예, 1 보다 큼)로 설정될 수 있다. H.264 표준에서, 기준 목록에서 기준 화상을 재순서화하는 것은 기준 화상 목록 재순서화 요소를 신호화함으로써 수행될 수 있다(H.264 표준 제 7.3.3.1장 참조). 본 발명의 다른 실시예에서, 기준 화상 사이의 왜곡을 추정하기 위한 다른 알려진 미래의 방법이 또한 사용될 수 있으며 가중화된 예측 전략과 조합될 수 있다.

종래 기술과 달리, MPEG-4 표준은 동화상을 압축하는 객체-기반 기술을 제공 하고 임의의 형태를 가진 객체의 개별 코딩을 가능케 한다. 종래의 프레임-기반 비디오 코딩 접근 방식에서, 직사각형의 시간 상관된 프레임 세트가 "현실 세상"을 나타냈으며, 상기 직사각형의 프레임은 사용자에 의해 독립적으로 인코딩되거나 디스플레이되거나 조작될 수 있는 가장 작은 유닛이다.

MPEG-4 아키텍처와 같이, 객체-기반 비디오 코딩 프레임워크에서, 한 장면은 주어진 공간적 그리고 시간적 해상도를 가진 직사각형의 프레임 세트로서 더 이상 보여지지 않지만, 대신에, 일반적으로 다른 특성 및 의미론상 관련을 가진, 천연 및 합성 원본(natural and synthetic origin)의 시각적 객체(VO)의 구성으로 이해된다. 각 객체는 독립적으로 코딩되고 독립적으로 액세스될 수 있는 기본적인 스트림을 생성하며, 따라서 사용자에게 의미론상 의미있는 객체에 액세스하고 이와 상호작용할 수 있는 능력을 제공한다. 데이터에 관해서, 그리고 프레임-기반 시나리오에 관해서, 각 객체의 형태를 한정하는 형태 데이터와, 장면에서 어떠한 객체가존재하는지와 장면이 정리되는 방식을 지정하는 장면 설명 데이터가 추가적으로 존재한다. 따라서, MPEG-4는 비디오 객체 평면(VOP;Video Object Planes) 시퀀스를 통해 2차원의 임의의 형태의 천연 비디오 객체를 나타내도록 한다. 각 VOP에 대해, 형태, 텍스쳐 및 동작 데이터가 인코딩된다. 텍스처 코딩은 DCT 기반(8x8 블록)이며 동작 보상은 매크로블록이거나 블록 기반(16x16 또는 8x8 블록)이다. 형태에 대해서, 이것은 컨텐츠-기반 산술 인코딩(CAE)을 사용하여 인코딩된다. 다양한 장면 객체가 독립적으로 인코딩되어 별도의 기본적 스트림을 생성하므로, 해당 객체의 블록을 인터-코딩하는데 사용하기 위한 기준의 최적 수를 각 비디오 객체에 대해 선택하는 것이 가능하다.

객체-기반 코딩 프레임워크에서, 장면의 다양한 객체들이 함께 장면을 구성하지만, 코딩 관계에서 이제는 독립적인 구성체이므로, 당업자는 본 발명의 원리가 프레임-기반 코딩으로부터 객체-기반 비디오 압축 기술로 연장될 수 있으며, 장면 내의 복수의 비디오 객체(VO)가 개별적으로 코딩된다는 것을 이해할 것이다. 객체-기반 인코딩의 경우, 전술한 방법은 각 전체 화상이나 그 전체 슬라이스에 적용된다기 보다는, 각 개별적으로 코딩된 비디오 객체에 별도로 적용될 수 있다.

예를 들어, "배경" 비디오 객체(예, 인터-프레임 움직임이 거의 또는 전혀 없음)는 본 발명의 상기 개시된 실시예에 따라 기준으로서 단일 프레임만을 사용하여 별도의 비디오 객체로서 코딩될 수 있는 반면, 같은 장면에 디스플레이된 다른 객체(사람과 같이 움직이는 객체)는 이하에서 좀더 구체적으로 설명된 본 발명의 또 다른 실시예에서 수행된 바와 같이, 복수의 프레임을 사용하여 인코딩될 수 있다. 따라서, 같은 장면에서 "배경" 객체 위에 추가될, 사람 또는 다른 움직이는 객체는 객체 자체의 특성에 기초하여, 복수의 기준 화상(또는 단일 기준 화상)을 사용하여 인코딩될 수 있는 반면, 배경 객체는 오직 단일 기준 화상(또는 복수의 기준 화상)만을 사용하여 인코딩된다. 특정 객체의 블록이 본 명세서에 개시된 방법에 따라 결정된 바와 같이 단일 기준 화상만을 사용하여 유리하게 인코딩된 경우, 특정 객체의 블록은 이에 따라 단일 기준만을 사용하여 인코딩될 수 있다.

더욱이, 전송된 화상의 시퀀스가 단일 실제 프레임{특정(예, "배경") 객체의 모든 픽셀의 묘사를 제공} 또는 합성프레임{비디오 화상 시퀀스 내의 실제 이미지 의 복제가 아니라 특정 "배경" 객체의 모든 픽셀의 묘사를 포함하는 프레임으로서, 전송된 화상으로부터 구성(합성)될 수 있음}을 포함하는 경우, 해당 실제 프레임 또는 합성 프레임은 "배경" 객체를 인코딩하는데 사용될 단일 기준으로서, 본 명세서에 개시된 방법에 따라 (하나 또는 복수의 다른 프레임에서 동일한 비디오 객체의 동작-이동된 대응물을 인코딩하기 위한 기준으로 사용되도록) 선택될 수 있다.

따라서, 본 발명의 방법이 객체-기반 인코딩에 적용되는 경우, 전술한 방법은 전체 화상의 비교에 기초한 기준의 수 결정 대신에 객체-기반 기준의 수 결정을 지원하기 위해 당업자에 의해 적응될 수 있다. 예를 들어, 2개의 전체 화상(PSAD) 사이의 SAD 값을 계산하는 대신, 특정 비디오 객체의 2개의 VOP 표시 사이의 SAD 값(VOSAD)이 계산되고, 전술한 방법에서와 같이 PSAD 값을 사용하는 대신에 객체-기반 기준의 수 결정에 사용된다. 유사하게, 기준화된 화상의 SAD 값(PMAD)(즉, 전체 현재 화상과 전체 제 1 열거된 기준 화상 사이의 MAD)은 객체-기반 MAD 값(VOMAD)으로 교체될 것이라는 결론이 나온다. 객체-기반 인코딩에서 매크로블록 기반 움직임 추정은 제 1 시간에 샘플링된, 현재 화상에서의 비디오 객체 내의 특정 블록(즉, 매크로블록)을 제 2 시간에 샘플링된, 기준 화상에서의 동일한 비디오 객체 내의 동작-이동된 대응하는 유사한 크기의 블록(예, 매크로블록)과 비교함으로써 수행될 수 있다. 따라서, 개시된 방법에서의 계산과 결정은 객체-기반 인코딩에 즉시 적용될 수 있다. 예를 들어, 현재 화상에 대해 기준(i)(i는 기준 화상 목록의 색인)에 대한 화상의 MAD 값(PMAD_i)이 임계값(T₅) 이상이거나 그 안의 모든 매크로 블록이 임계값(T₆)보다 큰 MBSAD_i의 매크로블록 SAD 값을 가진 경우, 이 기준은 현재 화상에서 픽셀 영역(비디오 객체)을 인코딩하는데 사용된 기준(예, 기준 버퍼)으로부터 삭제된다.

따라서, 본 발명의 방법은 일반적으로 개별적으로 인코딩될 "픽셀 영역"의 특성에 기초한 계산과 기준의 수 결정으로서 설명될 수 있으며 픽셀 영역의 크기는, (프레임-기반 또는 객체-기반의 인코딩이 수행되었는지 여부에 따라), 전체 화상의 전체 직사각형 크기 사이에서 변경될 수 있거나, 특정 비디오 객체의 형태-경계 내의 더 작은 영역에 더 한정될 수 있다. 본 발명의 일부 실시예에서, 그리고 후술되는 청구항에서, "픽셀 영역"이라는 용어는 또한 인코딩될 현재 화상 또는 현재 비디오 객체의 슬라이스 또는 필드를 포함한다. 따라서, 본 발명의 방법은 기준 목록에 열거된 복수의 기준들 중 적어도 하나를 사용하여 이미지의 비디오 시퀀스에서 현재 이미지의 픽셀 영역을 인터 코딩하기 위해 제공되며, 상기 방법은: 현재 화상의 픽셀 영역을 인터 코딩하는데 사용될 단일 기준으로서 사용될 제 1 열거된 기준을 동적으로 선택하는 단계를 포함한다. 픽셀 영역은 (직사각형의) 현재 화상의 모든 픽셀, 또는 비디오 객체, 또는 슬라이스 또는 필드와 같은 더 작은(예, 비-직사각형) 영역을 포함할 수 있다. 제 1 열거된 기준은 인터 코딩될 픽셀 영역을 포함하는 현재 이미지에 시간상 가장 가까운 복수의 열거된 기준들 중에서 기준이 될 수 있다.

도 2는 현재 P 또는 B 화상을 인터 코딩하는데 사용된 각 (역방향 또는 순방 향) 예측에 대해 단일(하나의) 기준 화상만을 사용할지를 결정하여 이에 따라 본 발명의 원리를 구현하는 일련의 예시적인 방법(200)을 도시한다. 첨부된 각 흐름도(즉, 도 2 및 도 3)에서, "예"는 관련 마름모(결정 블록) 내에 표시된 비교 또는 진술이 참일 때 사용된 결정 단계의 각 가지를 표시한다. 역으로, "아니오"는 관련 마름모(결정 블록) 내에 표시된 비교 또는 진술이 거짓일 때 사용된 결정 단계의 가지를 표시한다.

획득 단계(210)는 적용가능한 (역방향 또는 순방향) 기준 목록(N)에서 현재 화상(CP)과 제 1 기준(RP0N)(0의 기준)의 픽셀 데이터를 포함한, 모든 가변 데이터 및 결정(T₁,T₂,T_R,T₃,T_H,T₄,T_K1,T_K2)을 내릴 때 이용될 다양한 임계값을 획득한다.

왜곡 계산 단계(220)는 주어진 목록(N)(list0 또는 list1)에서의 현재 화상(체)의 매크로블록과 제 1 기준 (0의 기준) 화상(RP0N)의 매크로블록 사이의 평균 절대차(PMAD)를 계산함으로써 수행된다. CP-RP0N PMAD는 기준 화상(RP)의 원본 또는 재구성된 기준 화상(RP_rc) 중 하나를 사용하여 계산될 수 있다. {PMAD 계산 단계(220)는 화상 내의 매크로블록에 대한 각 매크로블록 SAD 값(MBSAD)의 계산을 의미하며, 이것은 다음 결정 단계(예,234,262)에서 사용된 정보라는 점에 주의}.

결정 단계(232)에서, 전체 현재 화상(CP)과 전체 제 1 열거된 기준 화상(RP0)(매크로블록 레벨 상임) 사이의 PMAD 값(CP-RP0N PMAD)이 비교적 작은 제 1 임계값(T₁) 이하인 경우, 예가 선택되어 기준 제한 단계(294)가 다음으로 수행되며, 이에 따라 해당 현재 화상의 인코딩을 위해 사용될(적용가능한 목록(list0 또는 list1)내의) 기준의 수는 하나로 설정된다(예, num_ref_idx_IN_active_minus1을 0으로 설정함으로써). 현재 화상은 이후 적용가능한 (순방향 또는 역방향) 예측에 대해 단일 기준 화상{목록(N)에서의 0의 기준}만을 사용하여 코딩 단계(299)에서 인터 코딩될 것이다. 결정 단계(232)에서, 제 1 임계값(T₁)이 CP-RP0N PMAD만큼 초과되는 경우, 후속하는 결정 단계(예,234)가 다른 기준에 의해 현재 화상이 적용가능한 (순방향 또는 역방향) 예측에 대해 단일 기준 화상{목록(N)에서 0의 기준}만을 사용하여 인터 코딩되어야 하는지를 결정하기 위해 수행된다.

결정 단계(234)에서, 제 2 임계값(T₂) 이하의 매크로블록 SAD 값(MBSAD)을 가진 현재 화상(CP)의 매크로블록의 비율(R)이 미리 결정된 임계 비율(T_R)과 같거나 이보다 큰 경우(예, T_R은 95%), 예가 선택되고 기준 제한 단계(294)와 인코딩 단계(299)가 다음에 수행된다.

결정 단계(236)에서, 계산 단계(220)에서 계산된 것과 같은 화상의 MAD 값(CP-RP0N PMAD)이 다른 임계값(T₃)을 충족시키는 경우(예, T₁≤ PMAD < T₃) 예가 선택되며 제 1 기준 화상을 위해 인코딩된 움직임 벡터와 기준 색인이 후속 단계(280,290 및 292)에서 평가된다. 결정 단계(236)에서, 위와 달리 화상의 MAD 값이 임계값(T₃)을 충족시키지 못하는 경우, 후속적인 계산 단계(260)와 결정 단계(예,262)가 수행된다.

계산 단계(260)에서, 매크로블록 SAD 값(MBSAD)이 다른 임계값(T₄)을 충족시 키는(예,T₂≤ MBSAD < T₄) 매크로블록의 비율(H)은 연속되는 결정 단계(262)에서 사용하기 위해 계산된다.

결정 단계(262)에서, 다른 임계값(T₄)을 충족시키는 매크로블록의 비율(H)의 매크로블록 SAD 값(MBSAD)(예,T₂≤ MBSAD < T₄)이 미리 결정된 임계 비율(T_H)을 초과하는 경우, 예가 선택되고 제 1 기준 화상에 대해 인코딩된 움직임 벡터와 기준 색인은 후속 단계(280,290 및 292)에서 평가된다.

결정 단계(262)에서, 위와 달리 비율(H)이 미리 결정된 임계 비율(T_H)을 초과하지 않는 경우, 후속 단계{도 3의 단계(302)에서 시작하는 단계를 포함}가 현재 화상을 1 보다 큰 수로 인코딩하는데 사용될 활성 기준의 수를 감소시키기 위해 수행될 수 있다.

계산 단계(280)에서, 0과 같은 기준 색인을 가진 제 1 기준 화상의 매크로블록의 비율(K₁)은 이어지는 결정 단계(282)에서 사용하기 위해 계산된다. 결정 단계(282)에서, 0과 같은 기준 색인을 가진 제 1 기준 화상의 매크로블록의 비율(K₁)이 미리 결정된 임계 비율(T_K1)을 초과하는 경우, 예가 선택되고 기준 제한 단계(294)와 인코딩 단계(299)는 다음에 수행된다. 결정 단계(282)에서, 위와 달리 비율(K₁)이 미리 결정된 임계 비율(T_K1)을 충족시키지 않는 경우, 이후 후속 계산 단계(290)와 결정 단계(예,292)가 수행된다.

계산 단계(290)에서, 0의 기준(RP0)을 사용하는 그리고 각각 [-mx₁,mx₂] 및 [my₁,my₂]의 대상 범위(예, mx₁=mx₂=my₁=my₂=1) 내에 있는 움직임 벡터 구성요소(MV_x 및 MV_y)를 가지는 화상에서의 블록의 비율(K₂)이 이어지는 결정 단계(292)에서 사용하기 위해 계산된다. 결정 단계(292)에서, 비율(K₂)이 미리 결정된 임계 비율(T_K2)보다 더 큰 경우, 이후 예가 선택되며 기준 제한 단계(294)와 인코딩 단계(299)가 다음에 수행된다. 결정 단계(292)에서, 위와 달리 비율(K₂)이 미리 결정된 임계 비율(T_K2)보다 더 크지 않은 경우, 후속 단계{도 3의 단계(302)에서 시작되는 단계 포함}는 1 이상의 수로 현재 화상을 인코딩하기 위해 사용될 활성 기준의 수를 감소시키기 위해 수행될 수 있다.

도 3은 본 발명의 원리를 구현하면서, 현재 화상을 하나의 기준 화상보다 큰 수로 인코딩하기 위해(각 이용가능한 목록에 대해) 사용될 활성 기준의 수를 감소시키기 위한 일련(300)의 예시적인 방법을 도시한다. 도 3의 방법(300)은 도 2의 방법(200) 중 어느 것도 현재P (또는 B) 화상을 인터 코딩하는데 사용된 각 (역방향 또는 순방향) 예측에 대한 단일(하나의) 기준 화상만을 사용하도록 하는 결정을 초래하였을 때 이용될 것이다.

도 3은 마지막 활성 기준 화상이 검출될 때까지(예, "마지막 활성 기준?"이 "예"가 될 때) 활성 기준 목록(N)에서 각 기준 화상에 대해 반복되는 루프(RPloop)를 포함하며, 현재 화상을 인터코딩하기 위해 (순방향 또는 역방향으로) 사용될 활 성 기준 화상의 목록에서 기준 화상을 삭제하기 위해 수행될 수 있는 단계(310,320,330,340,350,360)를 포함한다. 기준 목록(N) 내의 원래의 다수의 기준 화상이 "마지막 활성 기준?"이 검출될 때까지{결정(370)이 "예"가 될 때까지) 증가되는 정수 변수 색인(i)에 의해 루프에서 색인된다. 색인(i)은 단계(302)에서 1로 개시되며, 이것은 도 2에서 검사된 0의 기준을 따르는 기준 화상 목록(N) 내의 기준 화상을 표시한다.

획득 단계(310)는 기준 화상 목록(N)에서 i번째 기준 화상에 대응하는 픽셀 데이터를 포함하는, 모든 변수 데이터를 획득하고, 결정하는데 이용될 다양한 임계값을 결정하거나, 액세스하거나 계산한다(예컨대, 도 3에 도시되어 설명된 실시예에서; T₅ 및 T₆).

계산 단계(320)에서, 현재 화상에 대해 i-번째 기준 화상{i는 기준 화상 목록(N)의 색인)에서 각 매크로블록에 대한 매크로블록 SAD 값(MBSAD_i)은 이어지는 결정 단계(330)에서 사용하기 위해 계산된다.

결정 단계(330)에서, i-번째 기준에서 모든 매크로블록의 매크로블록 SAD 값(MBSAD_i)이 임계값(T₆)보다 큰 매크로블록 SAD 값(MBSAD_i)을 가지는 경우(모든 MBSAD_i> T₆), 예가 선택되고 기준 삭제 단계(360)는 현재 화상을 인터코딩하기 위해 사용될 활성 기준에서 목록(N)의 i-번째 기준 화상을 삭제하기 위해 수행된다. 결정 단계(330)에서, 위와 달리 모든 MBSAD_i가 T₆보다 크지 않은 경우, 이후 후속 계산 단계(340) 및 이어지는 결정 단계(350)가 수행된다.

계산 단계(340)에서, 현재 화상에 대해 i-번째 기준 화상{i는 기준 화상 목록(N)의 색인}에 대한 화상의 MAD 값(PMAD_i)은 이어지는 결정 단계(350)에서 사용하기 위해 계산된다.

결정 단계(350)에서, 현재 화상에 대해 i-번째 기준 화상(i는 기준 화상 목록의 색인)에 대한 화상의 MAD 값(PMAD_i)이 임계값(T₅) 이상인 경우, 예가 선택되고 기준 삭제 단계(360)는 현재 화상을 인터 코딩하는데 사용될 활성 기준에서 목록(N) 내의 i-번째 기준 화상을 삭제하기 위해 수행된다.

T₅ 및 T₆의 임계값은{예, 단계(310)에서} 각 기준 화상에 대해 다르게 한정될 수 있다. 예를 들어, 목록(N)에서 i-번째 기준 화상이 현재 화상에 더 가까운 다른 기준 화상을 인코딩하기 위해 사용되지 않는 경우, 이들 임계값(T₅ 및 T₆)은 감소될 수 있다{임계값(T₅ 및 T₆)의 감소는 기준 화상이 단계(399)에서 현재 화상을 인터 코딩하기 위해 사용될 활성 기준에서 단계(360)에 의해 삭제될 더 높은 확률을 가지는 것을 의미한다}.

목록-재순서화 단계(390)에서, 목록(N) 내의 모든 기준 화상에 대한 루프(RPloop)의 완료{"마지막 활성 기준"은 결정 단계(370)에서 "예"이다)에 이어, 목록(N)은, 단계(360)에 의해 삭제된 기준 화상을 제외하고, 순서가 재지정되어서, 현재 화상에 대해 더 작은 왜곡을 가진 잔여 활성 기준 화상은 기준 목록(N)에서 더 높은 우선 순위(더 작은 색인 번호)로 위치된다. 이에 따라, 현재 화상은 도 3의 이전의 일련의 단계(300)에 의해 최소화되고 순서가 재지정된 기준 목록(N)을 사용하여 단계(399)에서 인터 코딩될 수 있다.

쌍-예측

본 발명의 다른 실시예는 특히 B-화상을 인코딩하는데 적용된다. 화상의 쌍-예측(B) 인터 코딩의 경우, B-화상이 대개 list0 기준과 list1 기준으로 인터 코딩되는 것을 고려하면, 추가 조건이 양 기준의 움직임 벡터와 기준 색인에 따라, 부과될 수 있다. 예를 들어, list1 기준 화상에서 블록(BP)의 모두 또는 매우 높은 비율(예, BP>90%)이 기준으로서 list0에 열거된 제 1 화상(0의 기준)을 사용하는 경우, 이후 list1에 대한 단일 기준(0의 기준)만을 사용하는 것이 (기준 색인을 비트 스트림으로 코딩할 필요가 없는 것으로 인해), 절약된 비트 때문에 혜택이 될 수 있다. 실험적인 결과로부터, B 화상은 이 화상 유형 내에서 직접 모드의 높은 사용을 또한 고려하면, 다수의 기준의 사용으로부터 P 화상만큼의 혜택을 가지지 않으며, 그러므로 다수의 기준 선택은 추가 기준 수의 결정을 수행할 필요가 없이, 그리고 품질에 큰 영향을 주지 않고, 완전히 디스에이블될 수 있다.

B-화상에 대해, 특정 기준 화상이 유지될지의 여부를 결정하기 위해 2개의 목록을 모두 사용할 수 있다. 예를 들어, B-화상의 list1 기준 화상(예, 도 1의 화상(B7 및 B8)에 대한 P9)이 list0에서 또한 제 1 기준인 단일 기준 화상(예, P6)만을 사용하고, 도 1에 도시된 바와 같이, 이들 화상 사이의 시간적 관계가 존재하는 경우, 이들 B-화상은 또한 list0에 대해 단일 기준(예, P6)을 사용하여 이롭게 인 터 코딩될 수 있다. 현재 화상에 대한 이들 기준의 왜곡에 대해, 그리고 또한 동작 정보에 대해, 및 또한 list1 기준 내의 대부분의 블록이 도 2와 도 3에서 설명된 이전 예의 방법으로 정지되었는지 여부(0 또는 0에 가까운 동작을 가짐)(N은 목록 1을 가리키기 위해 1로 설정됨)에 대해 더 고려할 수 있다. B-화상의 list0 예측이 단일 기준 전체 또는 그 대부분을 사용하는 경우, 단일 기준을 사용하여 B-화상을 인코딩하는 결정이 더 표시될 것이며, 각 기준 사이의 움직임 벡터와 왜곡이 다시 고려될 수 있다.

도 4는 복수의 블록 변환 계수로서 픽셀 데이터(화상 시퀀스 포함)를 인코딩하기 위한 예시적인 인코더(700)를 도시하며, 상기 인코더는 본 명세서에 개시된 결정 방법 및 방법론을 수행함으로써 현재 화상을 인터 코딩하는데 사용될 활성 기준의 목록을 최소화하기 위해 적응된다. 인코더(700)는 본 명세서에 설명된 하나 이상의 방법을 수행함으로써, 본 발명의 실시예에 따른, 현재 화상을 인터 코딩하기 위해 사용될 활성 기준의 목록을 최소화하거나 최적화하기 위해 작동하거나 상호작동하기 위해 특히 적응된 복수의 회로(예,760,716,728,730)를 포함할 수 있다. 인코더(700)는 합계 블록(714)의 양의 입력에 신호 통신으로 연결된 비디오 입력 단말기(712)를 포함한다. 합계 블록(714)은 또한, 계수를 제공하기 위한 정수 변환을 실행하기 위해 기능 블록(716)에 연결된다. 기능 블록(716)은 출력 비트스트림을 제공하기 위해 엔트로피 코딩을 실행하기 위해 엔트로피 코딩 블록(718)에 연결된다. 기능 블록(716)은 측정 및 역 변환 블록(722)에서 내부-루프 부분(720)에 더 연결된다. 기능 블록(722)은 합계 블록(724)에 연결되는데, 이후, 인트라-프레임 예측 블록(726)에 연결된다. 인트라-프레임 예측 블록(726)은 스위치(727)의 제 1 입력에 연결되며, 이후, 합계 블록(724)의 제 2 입력과 합계 블록(724)의 역 입력(inverting input)에 연결된다.

합계 블록(724)의 출력은 차단 해제 필터(740)에 더 연결된다. 차단 해제 필터(740)는 프레임 저장부(728)에 연결된다. 프레임 저장부(728)은 동작 보상(인트라-프레임 예측) 블록(730)에 연결되며, 이 블록은 스위치(727)의 제 2 대안 입력에 연결된다. 비디오 입력 단말기(712)는 움직임 벡터를 제공하기 위해 움직임 추정 블록(719)에 더 연결된다. 차단 해제 필터(740)는 움직임 추정(인터-프레임 예측) 블록(719)의 제 2 입력에 더 연결된다. 움직임 추정 블록(719)의 출력은 엔트로피 코딩 블록(718)의 제 2 입력뿐만 아니라 동작 보상(인터-프레임 예측) 블록(730)에 연결된다.

비디오 입력 단말기(712)는 코더 제어 블록(760)에 더 연결된다. 코더 제어 블록(760)은 인코더(700)의 작동을 제어하기 위한 제어 신호를 제공하기 위해 각 블록(716,718,719,722,726,730,740)의 제어 입력에 연결된다. 제어 신호는 하나 이상의 임계값(T₁,T₂,T_R,T₃,T_H,T₄, T_K1,T_K2,T₅,T₆) 또는 기능적으로 이 값과 등가이거나 다른 경우 그 값을 통합한 신호를 포함할 수 있다.

본 발명의 다양한 양상은 소프트웨어로 구현될 수 있으며, 이 소프트웨어는 범용 컴퓨터 또는 임의의 다른 적합한 컴퓨팅 환경에서 실행될 수 있다. 본 발명은 다수의 범용 또는 전용 컴퓨팅 환경에서 작동가능한데, 그 예에는, 본 발명의 프레 임-대-프레임 디지털 비디오 인코딩을 수행하기 위해 컴퓨터-실행가능한 지령을 수행하기 위한 PC, 범용 컴퓨터, 서버 컴퓨터, 핸드-헬드 디바이스, 랩톱 디바이스, 멀티프로세서, 마이크로프로세서, 셋톱 박스, 프로그래밍가능한 소비자 가전, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터, 분산 컴퓨팅 환경 및 유사한 환경이 있으며, 이 명령어는 컴퓨터 판독가능한 매체에 저장된다. 본 발명은 컴퓨터로 실행되는 프로그램 모듈과 같은, 컴퓨터-실행가능한 지령으로서 부분 또는 전체가 구현될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상적인 데이터 유형을 구현하기 위한 루틴, 프로그램, 객체, 구성요소, 데이터 구조 등을 포함한다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 또는 원격 저장 디바이스에 위치될 수 있다.

본 발명의 예시적인 실시예가 위에서 설명되었고 도면에 도시되어 있다. 그러나, 본 발명은 전술한 예시적인 실시예에 제한되지 않으며, 변형예와 변경예가 본 발명의 정신과 범위 내에서 당업자에 의해 수행될 수 있다는 것이 명백하다. 그러므로, 예시적인 실시예는 한정이 아닌 예로써 이해되어야 한다. 본 발명의 범위는 전술한 설명이 아닌, 첨부된 청구항을 통해 결정되며, 첨부된 청구항 및 이와 동등한 내용(i, K 및 M이 정수)에서 한정된 바와 같이, 본 발명의 범위를 이탈하지 않고 본 발명의 실시예에 대해 변경과 변형이 이루어 질 수 있다.

본 발명은 일반적으로 디지털 비디오 인코딩 기술, 그리고 좀 더 구체적으로, 디지털 비디오 인코딩 애플리케이션을 위한, 다수의 기준 화상 표준에서, 화상 의 매크로블록의 인터 코딩에 이용가능하다.

Claims

화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법으로서, 상기 시퀀스는 적어도 하나의 기준 목록에 열거된 복수의 기준을 포함하고, 상기 방법은: 상기 현재 화상의 픽셀 영역을 인코딩하는데 사용될 단일 기준으로 사용될 기준 목록에 열거된 제 1 기준을 선택하는 단계를 포함하는, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 1항에 있어서, num_ref_idx_IN_active_minus1을 0으로 설정하는 단계를 더 포함하며, N이 기준 목록의 수를 나타내는, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 1항에 있어서, 상기 제 1 열거된 기준은 인코딩될 상기 픽셀 영역을 포함하는 상기 현재 화상에 시간상 가장 가까운, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 1항에 있어서, 인코딩될 픽셀 영역은 상기 전체 현재 화상을 포함하는, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 1항에 있어서, 인코딩될 픽셀 영역은 본질적으로 비디오 객체의 픽셀로 구성된, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 1항에 있어서, 인코딩될 픽셀 영역은 본질적으로 슬라이스의 픽셀로 구성된, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 1항에 있어서, 상기 제 1 열거된 기준을 선택하는 단계는 상기 현재 화상의 대응 픽셀과 제 1 열거된 기준의 대응픽셀 사이의 절대 픽셀 차의 합을 계산하는 하위 단계를 포함하는, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 7항에 있어서, 절대 픽셀 차의 계산된 합계를 제 1 임계값(T₁)과 비교하는 단계를 더 포함하는, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 7항에 있어서, 절대 픽셀 차의 합계가 제 1 임계값(T₁)보다 작은 경우 기준 목록에 열거된 단일 기준은 상기 현재 화상의 픽셀 영역을 인코딩하는데 사용되는, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 9항에 있어서, 절대 픽셀차의 합계가 제 1 임계값(T₁)보다 더 작지 않은 경우, 기준 목록에 열거된 복수의 기준은 상기 현재 화상의 픽셀 영역을 인코딩하는데 사용되는, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
제 1항에 있어서, 상기 제 1 열거된 기준을 선택하는 단계는: 제 2 임계값(T₂) 이하의 상기 제 1 열거된 기준에 대해 절대 픽셀차 값(MBSAD)의 합계를 가지는 현재 화상의 픽셀 영역 내의 블록의 비율(MBR)을 계산하는 제 1 하위 단계를 포함하되; 비율(MBR)이 제 1 임계 비율(TR_R)과 같거나 이 보다 큰 경우 오직 제 1 열거된 기준만이 픽셀 영역을 인코딩하는데 사용되는, 화상의 비디오 시퀀스에서 현재 화상의 픽셀 영역을 인터 코딩하는 방법.
화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법으로서, 상기 시퀀스는 기준 목록에 열거된 복수의 기준을 포함하고, 상기 방법은: 상기 현재 화상을 인코딩하는데 사용될 단일 기준으로서 사용될 기준 목록에 열거된 제 1 기준을 선택하는 단계를 포함하는, 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법.
제 12항에 있어서, 상기 제 1 열거된 기준을 선택하는 단계는 0인 기준 색인을 이용해 인코딩된 상기 제 1 열거된 기준 화상으로 인코딩된 블록의 비율(RK1)을 계산하는 하위 단계를 포함하되; 비율(RK1)이 미리 결정된 임계 비율(T_RK1)을 초과하는 경우, 오직 상기 제 1 열거된 기준만이 현재 화상을 인코딩하는데 사용되는, 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법.
제 13항에 있어서, 상기 비율(RK1)을 계산하는 하위 단계는 제 4 임계값(T₄) 이하인 상기 제 1 열거된 기준에 대한 블록 SAD 값(MBSAD)을 가지는 상기 현재 화상의 픽셀 영역에서 블록의 비율(MBR)이 제 2 미리 결정된 임계 비율(T_RH)과 같거나 이 보다 큰 경우에만 수행되는, 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법.
제 13항에 있어서, 상기 비율(RK1)을 계산하는 하위 단계는 상기 현재 화상의 대응 픽셀 영역과 제 1 열거된 기준의 대응 픽셀 영역 내의 절대 픽셀 차의 합계가 제 3 미리 결정된 임계값(T₃)보다 작은 경우에만 수행되는, 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법.
제 12항에 있어서, 상기 제 1 열거된 기준을 선택하는 단계는 미리 결정된 임계 크기(TX 및 TY) 각각과 같거나 이 보다 작은 움직임 벡터 크기 구성요소(MVx 및 MVy)를 가지도록 인코딩된 상기 제 1 기준 화상의 블록의 비율(RK2)을 계산하는 하위 단계를 포함하되, 비율(RK2)이 미리 결정된 임계 비율(T_RK2)보다 큰 경우, 오직 제 1 열거된 기준만이 상기 현재 화상을 인코딩하기 위해 사용되는, 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법.
제 16항에 있어서, 임계 크기(TX)는 임계 크기(TY)와 같은, 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법.
제 16항에 있어서, 상기 비율(RK2)을 계산하는 하위 단계는 상기 현재 화상의 대응 픽셀 영역과 제 1 열거된 기준의 대응 픽셀 영역 내의 절대 픽셀 차의 합계가 제 1 미리 결정된 임계보다 작지 않은 경우에만 수행되는, 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법.
활성 기준 목록에 열거된 복수의 기준 화상 중 적어도 하나를 사용하여 화상의 비디오 시퀀스에서 현재 화상을 인터 코딩하는 방법으로서, 각 삭제된 기준과 상기 현재 화상의 비교를 기초로 활성 기준의 목록에서 상기 열거된 기준 중 적어도 하나를 삭제하는 단계를 포함하는, 화상의 비디오 시퀀스에 현재 화상을 인터 코딩하는 방법.
제 19항에 있어서, num_ref_idx_IN_active_minus1을 그에 따라 감소시키는 단계를 더 포함하며, 여기서 N은 활성 기준의 목록의 수를 나타내는, 화상의 비디오 시퀀스에 현재 화상을 인터 코딩하는 방법.
제 19항에 있어서, 상기 비교는 직접 비교인, 화상의 비디오 시퀀스에 현재 화상을 인터 코딩하는 방법.
제 21항에 있어서, 상기 열거된 기준을 삭제하는 단계는 상기 현재 화상과 각 삭제된 기준 사이의 절대 픽셀 차의 합계를 계산함으로써 왜곡을 측정하는 하위 단계를 포함하는, 화상의 비디오 시퀀스에 현재 화상을 인터 코딩하는 방법.
제 21항에 있어서, 열거된 기준을 삭제하는 단계는, 상기 목록에서 삭제된 각 기준에 대해, 미리 결정된 임계값(T₆)보다 더 큰 절대차 값의 합계를 가지는 블록의 수를 계산하는 하위 단계를 수행하는 단계를 포함하는, 화상의 비디오 시퀀스에 현재 화상을 인터 코딩하는 방법.
제 23항에 있어서, 시간상 상기 현재 화상과 더 가까운 다른 기준 화상을 인코딩하는데 사용되지 않는 각 기준 화상에 대한 임계값(T₆)을 동적으로 감소시키는 단계를 더 포함하는, 화상의 비디오 시퀀스에 현재 화상을 인터 코딩하는 방법.
제 19항에 있어서, 상기 비교는 간접 비교인, 화상의 비디오 시퀀스에 현재 화상을 인터 코딩하는 방법.
제 25항에 있어서, 각 삭제된 기준과 상기 현재 화상과의 비교에 기초한 활성 기준의 목록에서 상기 열거된 기준 중 적어도 하나를 삭제하는 단계는 상기 제 2 기준 화상이 제 1 기준 화상에 비해 높은 왜곡을 가지며 상기 제 1 기준 화상이 상기 현재 화상에 비해 낮은 왜곡을 가지는 경우, 활성 기준 목록에서 제 2 기준 화상을 삭제하는 단계를 포함하는, 화상의 비디오 시퀀스에 현재 화상을 인터 코딩하는 방법.
현재 화상을 인터 코딩하는 방법으로서, 활성 기준 목록에 열거된 복수의 기준 화상 중 적어도 하나를 사용하며, 상기 현재 화상에 대해 더 작은 왜곡을 가진 기준 화상이 활성 기준 목록에서 더 높은 우선 순위로 열거되도록 상기 열거된 기준의 순서을 재순서화하는 단계를 포함하는, 현재 화상을 인터 코딩하는 방법.
화상의 비디오 시퀀스를 인터 코딩하는 방법으로서, 기준 화상 목록에 열거된 모든 기준 화상을 사용하여 상기 현재 화상을 인코딩하는 제 1 코딩 단계를 수행하는 단계; 새 기준 목록을 생성하기 위해 상기 기준 목록에서 하나 이상의 화상을 선택하고 삭제하는 단계; 및 상기 새 기준 목록에 열거된 상기 화상만을 사용하여 상기 현재 화상을 재-코딩하는 제 2 코딩 단계를 수행하는 단계를 포함하는, 화 상의 비디오 시퀀스를 인터 코딩하는 방법.
제 28항에 있어서, 상기 기준 목록에서 삭제된 선택된 화상 중 적어도 하나는 상기 현재 화상의 임의의 블록을 인코딩하기 위한 상기 제 1 코딩 단계에서 기준으로 사용되지 않았기 때문에 삭제되는, 화상의 비디오 시퀀스를 인터 코딩하는 방법.
제 28항에 있어서, 상기 기준 목록에서 삭제된 선택된 화상 중 적어도 하나는, 상기 제 1 단계에서 그 기준 색인이 상기 현재 화상의 블록의 미리 결정된 임계 수치보다 더 작은 수로 인코딩하는데 사용되었기 때문에 삭제되는, 화상의 비디오 시퀀스를 인터 코딩하는 방법.
제 28항에 있어서, 상기 제 1 패스동안 기준 화상으로서 사용되지 않은 모든 화상을 상기 활성 기준 목록에서 삭제하는 단계를 더 포함하는, 화상의 비디오 시퀀스를 인터 코딩하는 방법.
제 28항에 있어서, 상기 제 1 패스에서 코딩 기준으로서 특정 색인된 기준 화상을 사용한 상기 현재 화상에서 블록의 수를 계산하는 단계를 더 포함하며; 상기 블록의 수가 블록의 미리 결정된 임계 수치 보다 작은 경우, 상기 특정 색인된 기준 화상은 상기 제 2 패스에서 상기 현재 화상을 인코딩하는데 사용되지 않는, 화상의 비디오 시퀀스를 인터 코딩하는 방법.
이미지의 비디오 시퀀스를 인코딩하는 방법으로서, 상기 방법은:

M 기준 화상의 K 순열을 사용하여, 상기 현재 화상을 K번 인터 코딩하는 단계를 포함하며, K는:

이며, 상기 다른 K-1 인코딩된 현재 화상과 비교하여 미리 결정된 표준에 기초하여, K 인코딩된 현재 화상 중에서, 하나의 인코딩된 현재 화상을 선택하는 단계가 후속하는, 이미지의 비디오 시퀀스를 인코딩하는 방법.
제 33항에 있어서, 상기 하나의 인코딩된 현재 화상을 선택하는 단계는 인코딩될 상기 현재 화상에 대해 상기 K 인코딩될 현재 화상 각각의 왜곡을 계산하고 비교하는 단계를 포함하는, 이미지의 비디오 시퀀스를 인코딩하는 방법.
제 33항에 있어서, 상기 하나의 인코딩된 현재 화상을 선택하는 단계는 상기 K 인코딩된 현재 화상 각각의 비트율을 계산하고 비교하는 단계를 포함하는, 이미지의 비디오 시퀀스를 인코딩하는 방법.
제 33항에 있어서, 상기 하나의 인코딩된 현재 화상을 선택하는 단계는 상기 K 인코딩된 현재 화상 각각의 비트율과 왜곡을 계산하고 비교하는 단계를 포함하되 왜곡은 라그랑제 곱셈기를 사용하여 비트율에 대해 가중되는, 이미지의 비디오 시퀀스를 인코딩하는 방법.
화상의 비디오 시퀀스를 인터 코딩하는 방법으로서, 이용가능한 기준의 복수의 순열 각각을 사용하여 현재 화상에 대해 움직임 추정 코딩을 수행하는 단계와 미리 결정된 조건을 최소화하는 이용가능한 기준의 순열을 선택하는 단계를 포함하는, 화상의 비디오 시퀀스를 인터 코딩하는 방법.
제 37항에 있어서, 미리 결정된 조건은: 비트율, 왜곡, 또는 비트율과 왜곡의 가중된 조합에서 선택된, 화상의 비디오 시퀀스를 인터 코딩하는 방법.
제 37항에 있어서, 이용가능한 기준의 상기 선택된 순열은 하나의 단일 기준으로 구성되며, 최소화된 상기 미리 결정된 조건은 비트율인, 화상의 비디오 시퀀스를 인터 코딩하는 방법.
제 37항에 있어서, 이용가능한 기준의 선택된 순열이 하나의 단일 기준으로 구성된 경우, 움직임 추정을 위해 단일 기준만을 사용하여 상기 현재 화상을 재-코딩하는 단계를 더 수행하는, 화상의 비디오 시퀀스를 인터 코딩하는 방법.
이미지의 비디오 시퀀스를 인코딩하는 인코더로서, 상기 인코더는 기준 화상 버퍼를 포함하고, 상기 인코더는 상기 기준 화상 버퍼에 저장되고 기준 목록에 열거된, 복수의 기준 화상 중 적어도 하나를 사용하여 화상의 시퀀스에서 현재 화상을 인터 코딩하기 위해 적응되며; 상기 인코더는 미리 결정된 표준에 기초하여 상기 현재 화상을 인터 코딩하기 위해 사용될 단일 기준으로서 사용될 상기 제 1 열거된 기준을 동적으로 선택하기 위해 더 적응된, 이미지의 비디오 시퀀스를 인코딩하는 인코더.
제 41항에 있어서, 상기 미리 결정된 기준은 인코딩될 현재 화상의 비트율을 최소화하는 단계를 포함하는, 이미지의 비디오 시퀀스를 인코딩하는 인코더.
제 41항에 있어서, 상기 미리 결정된 기준은 인코딩될 현재 화상의 왜곡을 최소화하는 단계를 포함하는, 이미지의 비디오 시퀀스를 인코딩하는 인코더.
제 41항에 있어서, 상기 미리 결정된 기준은 라그랑제 곱셈기를 사용하여, 인코딩될 현재 화상의 비트율과 왜곡의 가중된 조합을 최소화하는 단계를 포함하는, 이미지의 비디오 시퀀스를 인코딩하는 인코더.
제 41항에 있어서, 상기 인코더는 상기 현재 화상에 대해 더 작은 왜곡을 가진 기준 화상이 상기 목록에서 더 높은 우선 순위로 열거되도록 상기 기준 화상 버 퍼에 저장된 기준의 목록을 동적으로 재순서화하기 위해 더 적응된, 이미지의 비디오 시퀀스를 인코딩하는 인코더.
제 41항에 있어서, 상기 인코더는 상기 기준 화상 버퍼에 저장된 기준의 목록에서 하나 이상의 화상을 동적으로 선택하고 삭제하기 위해, 그리고 새 기준 목록을 생성하기 위해; 그리고 상기 새 기준 목록에 열거된 화상만을 사용하여 상기 현재 화상을 인터 코딩하기 위해 더 적응된, 이미지의 비디오 시퀀스를 인코딩하는 인코더.
이미지의 시퀀스를 인코딩하는 인코더로서, 상기 인코더는 기준 버퍼를 포함하며, 상기 인코더는 상기 기준 버퍼에 열거된 복수의 기준 화상 중 적어도 하나를 사용하여 현재 화상을 인터 코딩하도록 적응되고 상기 기준 버퍼에 저장된 기준 목록을 동적으로 재순서화하기 위해 적응되어 상기 현재 화상에 대해 더 작은 왜곡을 가진 기준 화상이 활성 기준 목록에서 더 높은 우선 순위로 열거되는, 이미지의 시퀀스를 인코딩하는 인코더.
제 47항에 있어서, 상기 인코더는 상기 제 1 열거된 기준만을 사용한 인코딩이 미리 결정된 기준을 충족시킨 경우, 상기 현재 화상을 인터 코딩하는데 사용될 단일 기준으로서 상기 제 1 열거된 기준만을 사용하여 상기 현재 화상을 인터 코딩하기 위해 더 적응된, 이미지의 시퀀스를 인코딩하는 인코더.
제 47항에 있어서, 상기 미리 결정된 기준은 인코딩될 현재 화상의 비트율을 최소화하는 단계를 포함하는, 이미지의 시퀀스를 인코딩하는 인코더.
제 47항에 있어서, 상기 미리 결정된 기준은 상기 인코딩된 현재 화상의 왜곡을 최소화하는 단계를 포함하는, 이미지의 시퀀스를 인코딩하는 인코더.