KR20180061281A - 비디오 코딩을 위한 향상된 양방향 광학 흐름 - Google Patents

Abstract

비디오 데이터를 디코딩하기 위한 예시적인 디바이스는, 다음과 같이 구성된 프로세서를 포함한다 제 1 및 제 2 참조 화상을 디코딩하는 것으로서, 상기 제 1 참조 화상 및 제 2 참조 화상이 양자 모두 현재 화상 전에 또는 현재 화상 후에 디스플레이되는, 상기 제 1 및 제 2 참조 화상을 디코딩하고, 상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하고, 상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하고, 상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하게 하고, 상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하게 하고, 그리고 MV₀, MV₁, TD₀ 및 TD₁을 사용하여 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하게 한다.

Description

비디오 코딩을 위한 향상된 양방향 광학 흐름

본원은 2015년 9월 28일자로 출원된 U.S. 가출원 62/233,846 의 혜택을 주장하며, 그의 전체 내용은 참조에 의해 본원에 포함된다.

기술 분야

본 개시는 비디오 코딩에 관한 것이다.

디지털 비디오 능력들은 디지털 텔레비전들, 디지털 다이렉트 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인 휴대정보 단말기 (PDA) 들, 랩탑 또는 데스크탑 컴퓨터들, 태블릿 컴퓨터들, 전자책 단말기, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 소위 "스마트 폰", 원격 화상회의 디바이스들, 비디오 스트리밍 디바이스들 등을 포함한, 광범위한 디바이스들에 포함될 수 있다. 디지털 비디오 디바이스들은, MPEG-2, MPEG-4, ITU-T H.263 또는 ITU-T H.264/MPEG-4, Part 10, AVC (Advanced Video Coding), ITU-T H.265/HEVC (High Efficiency Video Coding) 에 의해 정의되는 표준들, 및 그러한 표준들의 확장들에서 설명된 것들과 같은 비디오 코딩 기법들을 구현한다. 비디오 디바이스들은, 그러한 비디오 코딩기법들을 구현함으로써 보다 효율적으로 디지털 비디오 정보를 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.

비디오 코딩 기법들은, 비디오 시퀀스들에 내재하는 중복성 (redundancy) 을 감소시키거나 또는 제거하기 위해 공간 (인트라-화상) 예측 및/또는 시간 (인터-화상) 예측을 포함한다. 블록 기반 비디오 코딩을 위해, 비디오 슬라이스 (예를 들어, 비디오 프레임, 또는 비디오 프레임의 일부) 는 비디오 블록들로 파티션될 수도 있고, 이 비디오 블록들은 트리블록들, 코딩 유닛 (CU) 들, 및/또는 코딩 노드들로도 지칭될 수도 있다. 화상의 인트라-코딩된 (I) 슬라이스 내의 비디오 블록들은 동일한 화상 내의 이웃 블록들에 있는 참조 샘플들에 대한 공간 예측을 이용하여 인코딩될 수도 있다. 화상의 인터-코딩된 (P 또는 B) 슬라이스내의 비디오블록들은 동일한 화상내의 이웃 블록들에 있는 참조 샘플들에 대한 공간 예측, 또는 다른 참조 화상들 내의 참조 샘플들에 대한 시간 예측을 이용할 수도 있다. 화상들은 프레임들로 지칭될 수도 있고, 참조 화상들은 참조 프레임들로 지칭될 수도 있다.

공간 또는 시간 예측은 코딩될 블록을 위한 예측 블록을 낳는다. 잔차 데이터는 코딩될 원래 블록과 예측 블록 사이의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터와, 코딩된 블록과 예측 블록 사이의 차이를 표시하는 잔차 데이터에 따라 인코딩된다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가의 압축을 위하여, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어 잔차 변환 계수들로 귀착될 수도 있고, 그 후 이들은 양자화될 수도 있다. 초기에 2 차원 어레이로 배열된 양자화된 변환 계수들은 변환 계수들의 1 차원 벡터를 생성하기 위하여 스캔될 수도 있고, 엔트로피 코딩이 훨씬 더 많은 압축을 달성하기 위하여 적용될 수도 있다.

개요

일반적으로, 본 개시는, 비디오 데이터를 코딩 (예를 들어, 인코딩 또는 디코딩) 하기 위한 기법들을 설명한다. 특히, 본 개시는 양방향 광학 흐름 (BIO) 처리 기술에 대한 다양한 개선들을 기술한다. 특히, 본 개시는, 동일 방향에서 발생하는 참조 화상들 (예를 들어, 현재 화상 전에 또는 현재 화상 후의 디스플레이 순서 값을 갖는 양자 모두의 참조 화상들) 로부터 양방향으로 예측되는 블록이 BIO 를 사용하여 예측되는 기법들을 설명한다. 예를 들어, 비디오 코더는 참조 화상 내의 참조 블록을 참조하는 모션 벡터가 현재 화상과 참조 화상 사이의 대응하는 시간적 거리에 비례하거나 또는 거의 비례하는지 여부를 결정할 수도 있다. 부가적으로 또는 대안적으로, 비디오 코더는 모션 벡터들 중 적어도 하나가 영의 값일 때 및/또는 현재 블록이 조명 변화 영역에서 발생할 때 BIO를 사용하는 것을 피할 수도 있다.

하나의 예에서는, 비디오 데이터를 디코딩하는 방법은 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이한, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계, 현재 화상에 대한 참조 화상 리스트에 상기 제 1 참조 화상을 추가하는 단계로서, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상을 추가하는 단계, 상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하는 단계, 상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하는 단계, 상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하는 단계, 상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하는 단계, 및 MV₀, MV₁, TD₀ 및 TD₁을 사용하여 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하는 단계를 포함한다.

또 다른 예에서는, 비디오 데이터를 인코딩하는 방법은 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계, 상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하는 단계, 상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하는 단계, 상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하는 단계, 상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하는 단계, 및 MV₀, MV₁, TD₀ 및 TD₁을 사용하여 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 인코딩하는 단계를 포함한다.

또 다른 예에서, 비디오 데이터를 디코딩하기 위한 디바이스는, 비디오 데이터를 저장하도록 구성된 메모리 및 하나 이상의 프로세서들을 포함하고, 상기 프로세서들은: 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 것으로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하고, 상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하고, 상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하고, 상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하고, 상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하고, 그리고 MV₀, MV₁, TD₀ 및 TD₁을 사용하여 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하도록 구성된다.

또 다른 예에서, 비디오 데이터를 디코딩하기 위한 디바이스는, 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 수단으로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 수단, 상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하는 수단, 상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하는 수단, 상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하는 수단, 상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하는 수단, 및 MV₀, MV₁, TD₀ 및 TD₁을 사용하여 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하는 수단을 포함한다.

컴퓨터 판독가능 저장 매체는 명령들을 저장하고, 상기 명령들은 실행될 때 비디오 데이터를 디코딩하기 위한 디바이스의 프로세서로 하여금 제 1 참조 화상 및 제 2 참조 화상을 디코딩하게 하는 것으로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하게 하고, 상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하게 하고, 상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하게 하고, 상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하게 하고, 상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하게 하고, 그리고 MV₀, MV₁, TD₀ 및 TD₁을 사용하여 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하게 한다.

하나 이상의 예들의 상세는 첨부 도면 및 아래의 설명에 제시되어 있다. 다른 특징, 목적 및 이점들은 상세한 설명 및 도면, 그리고 청구항들로부터 분명해질 것이다.

도 1은 양방향 광학 흐름을 위한 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2는 모션 보상된 프레임 레이트 상향 변환 (MC-FRUC) 을 위해 수행된 블록 매칭 알고리즘 (BMA) 으로서의 일방적 모션 추정 (ME) 의 예를 나타내는 개념도이다.
도 3은 MC-FRUC 를 위해 수행되는 BMA 로서 쌍방적 ME의 예를 나타내는 개념도이다.
도 4는 본 개시의 기술에 따른 양방향 광학 흐름 (BIO) 에 대한 예시적인 개선을 나타내는 개념도이다.
도 5는 비디오 인코더의 일례를 예시하는 블록도이다.
도 6은 양방향 광학 흐름을 위한 기법들을 구현할 수도 있는 비디오 디코더의 예를 나타내는 블록도이다.
도 7은 본 개시의 기법들에 따른 비디오 데이터의 블록을 예측하기 위한 예시적인 방법을 나타내는 플로우차트이다.
도 8은 본 개시의 기법들에 따른 비디오 데이터의 블록을 디코딩하는 예시적인 방법을 나타내는 플로우차트이다.

상세한 설명

일반적으로, 본 개시의 기술들은 양방향 광학 흐름 (bi-directional optical flow; BIO) 의 개선과 관련된다. BIO 는 모션 보상 동안 적용될 수도 있다. 일반적으로, BIO는 현재 블록의 픽셀이 모션 벡터에 적용되는 대응하는 오프셋 값을 사용하여 예측되도록 현재 블록에 대한 픽셀 별 기반으로 (on a per-pixel basis) 모션 벡터를 수정하는데 사용된다. 본 개시의 다양한 기술들은 단독으로 또는 임의의 조합으로 적용되어, 예를 들어, 모션 보상 동안 비디오 데이터의 블록들을 예측할 때 BIO를 언제 수행할지와 수행할지 여부를 결정할 수도 있다. 일 예에서, 본 개시의 기술들은 공통의 예측 방향으로 참조 화상의 참조 블록에 대한 현재 화상의 비디오 데이터의 블록을 인터-예측하는데 사용되는 모션 벡터가, 현재 화상과 참조 화상 사이의 시간적 거리에 비례하거나, 또는 거의 비례할 때 BIO 를 수행하는 것, 및 그렇지 않으면 BIO를 수행하는 것을 피하는 것을 포함한다. 추가적으로 또는 대안적으로, 블록이 조명 변화 영역 내에 있지 않을 때에만 BIO가 수행될 수도 있다. 또한, BIO가 수행되는 기술은 일반적으로 블록에 대한 구배 (gradient) 를 계산하는 것을 포함한다. 본 개시의 기술에 따라, 현재의 화상과 참조 화상 사이의 시간적 거리에 따라 구배가 수정될 수도 있다.

본 개시의 기술은 ITU-T H.264/AVC (고급 비디오 코딩) 또는 고효율 비디오 코딩 (HEVC) (ITU-T H.265 라고도 함) 을 따르는 것들과 같은 임의의 기존의 비디오 코덱에 적용될 수도 있다. H.264는 국제 전기 통신 연합의 “Advanced video coding for generic audiovisual services,” SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, H.264, 2011 년 6 월에 설명되어 있고, H.265 는 국제 전기 통신 연합의 “High efficiency video coding,” SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, 2015 년 4 월에 설명되어 있다. 본 개시의 기술들은 또한 효율적인 코딩 도구로서 임의의 다른 이전 또는 미래의 비디오 코딩 표준들에도 적용될 수도 있다.

다른 비디오 코딩 표준은 ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, H.264 의 ISO/IEC MPEG-4 Visual 및 Scalable Video Coding (SVC) 및 Multiview Video Coding (MVC) 확장, 그리고 HEVC 의 확장, 이를테면 범위 확장, 멀티뷰 확장 (MV-HEVC) 및 스케일러블 확장 (SHVC) 을 포함한다. 2015 년 4 월에, VCEG (Video Coding Experts Group) 는 차세대 비디오 코딩 표준을 목표로 하는 새로운 연구 프로젝트를 시작했다. 참조 소프트웨어 (reference software) 는 HM-KTA 라고 한다.

본 개시의 기술과 관련된 H.264 및 HEVC의 비디오 코딩 기술과 같은 특정 비디오 코딩 기술이 아래에서 설명된다.

다음의 논의는 모션 정보에 관한 것이다. 일반적으로, 화상은 블록들로 분할되고, 이들 각각은 예측적으로 코딩될 수도 있다. 현재 블록의 예측은 (현재 블록을 포함하는 화상으로부터의 데이터를 사용하는) 인트라-예측 기술 또는 (현재 블록을 포함하는 화상에 대해 이전에 코딩된 화상으로부터의 데이터를 사용하는) 인터-예측 기술을 사용하여 일반적으로 수행될 수 있다. 인터-예측은 단방향 예측과 양방향 예측 양자 모두를 포함한다.

각 인터-예측된 블록에 대해, 모션 정보 세트가 이용 가능할 수도 있다. 모션 정보 세트는 전방 및 후방의 예측 방향에 대한 모션 정보를 포함할 수도 있다. 여기서, 전방 (forward) 및 후방 (backward) 의 예측 방향은 양방향 예측 모드의 2개의 예측 방향들이고, "전방" 및 "후방" 이라는 용어는 반드시 기하학적 의미를 가질 필요는 없다. 대신에, 이들은 일반적으로 참조 화상들이 현재 화상의 전에 ("후방") 또는 후에 ( "전방") 에 디스플레이될지 여부에 대응한다. 일부 예에서, "전방" 및 "후방" 의 예측 방향은 현재 화상의 참조 화상 리스트 0 (RefPicList0) 및 참조 화상 리스트 1 (RefPicList1) 에 대응할 수도 있다. 하나의 참조 화상 리스트만이 화상 또는 슬라이스에 이용 가능한 경우, RefPicList0 만이 이용 가능하고 슬라이스의 각 블록의 모션 정보는 항상 RefPicList0 의 화상을 참조한다 (예를 들어, 전방이다).

일부 경우에는, 모션 벡터는 그의 참조 인덱스와 함께 디코딩 프로세스에서 사용된다. 그러한 모션 벡터와 그의 연관된 참조 인덱스는 모션 정보의 단 예측 (uni-predictive) 세트로서 표기된다.

각각의 예측 방향에 대해, 모션 정보는 참조 인덱스 및 모션 벡터를 포함한다. 일부 경우에, 단순화를 위해, 모션 벡터 자체는 연관된 참조 인덱스를 갖는 것으로 가정되는 방식으로 참조될 수도 있다. 참조 인덱스는 현재 참조 화상 리스트 (RefPicList0 또는 RefPicList1) 내의 참조 화상을 식별하는데 사용될 수도 있다. 모션 벡터는 수평 (x) 및 수직 (y) 성분을 갖는다. 일반적으로, 수평 성분은 참조 블록의 x-좌표를 로케이팅하는데 필요한, 현재 화상에서 현재 블록의 위치에 대한, 참조 화상 내의 수평 변위를 표시하는 한편, 수직 성분은 참조 블록의 y-좌표를 로케이팅하는데 필요한, 현재 블록의 위치에 대한, 참조 화상 내의 수직 변위를 표시한다.

POC (Picture Order Count) 값은 비디오 코딩 표준에서 화상의 디스플레이 순서를 식별하는데 널리 사용된다. 하나의 코딩된 비디오 시퀀스 내의 2개의 화상들이 동일한 POC 값을 가질 수도 있는 경우가 있지만, 이는 일반적으로 코딩된 비디오 시퀀스 내에서 발생하지 않는다. 따라서, 화상의 POC 값은 일반적으로 고유하므로, 대응하는 화상들을 고유하게 식별할 수 있다. 비트스트림 내에 다수의 코딩된 비디오 시퀀스가 존재하는 경우, 동일한 POC 값을 갖는 화상은 디코딩 순서의 측면에서 서로 더 근접할 수도 있다. 화상들의 POC 값은 일반적으로, 참조 화상 리스트 구성, HEVC에서와 같은 참조 화상 세트의 도출, 및 모션 벡터 스케일링을 위해 사용된다.

H. Liu, R. Xiong, D. Zhao, S. Ma, 및 W. Gao 의, “Multiple Hypotheses Bayesian Frame Rate Up-Conversion by Adaptive Fusion of Motion-Compensated Interpolations,” IEEE transactions on circuits and systems for video technology, vol. 22, No. 8, Aug. 2012; W. H. Lee, K. Choi, J. B. Ra 의, “Frame rate up conversion based on variational image fusion,” IEEE transactions on image processing, vol. 23, No. 1, Jan. 2014; 및 U. S. Kim 과 M. H. Sunwoo 의, “New frame rate up-conversion algorithms with low computational complexity,” IEEE transactions on circuits and systems for video technology, vol. 24, No. 3, Mar. 2014 는 프레임 레이트 상향 변환 (FRUC) 으로 지칭되는 프로세스를 설명한다. FRUC 기술은 낮은 프레임 레이트의 비디오를 기반으로 높은 프레임 레이트 비디오를 생성하는데 사용될 수도 있다. FRUC는 디스플레이 산업에서 널리 사용되어 왔다.

FRUC 알고리즘은 두 가지 유형으로 분할될 수 있다. 한가지 유형의 방법은 단순 프레임 반복 또는 평균화에 의해 중간 프레임을 보간하기 위해 수행될 수도 있다. 그러나, 이 방법은 많은 모션들이 포함된 화상에서 부적절한 결과를 제공한다. 모션 보상된 FRUC (MC-FRUC) 라고 하는 다른 유형의 방법은 중간 프레임을 생성할 때 오브젝트 이동을 고려하며 모션 추정 (ME) 과 모션 보상 보간 (MCI) 이라는 두 단계를 포함한다. 비디오 코딩 디바이스는 벡터를 사용하여 오브젝트 모션을 나타내는 모션 벡터 (MV) 를 생성하기 위해 ME를 수행하는 반면, 비디오 코딩 디바이스들은 중간 프레임을 생성 (예를 들어, 보간) 하기 위해 MV를 사용하여 MCI를 수행한다.

블록 매칭 알고리즘 (BMA) 은 구현이 간단하기 때문에 MC-FRUC에 서 ME에 널리 사용된다. BMA를 적용한 비디오 코딩 디바이스는 이미지를 블록들로 분할하고 그러한 블록들의 움직임을 검출한다. 두 가지 종류의 ME: 일방적 ME와 쌍방적 ME 가 주로 BMA에 사용된다. 두 가지 종류의 ME의 예는 아래에 더 자세히 설명된다.

2015년 3월 27일자로 출원된 Li 등의, “VIDEO CODING TOOL BASED ON FRAME-RATE UP-CONVERSION,” U.S. 가출원 번호 62/139,572, 및 2015년 6월 19일자로 출원된 Li 등의, “VIDEO CODING TOOL BASED ON FRAME-RATE UP-CONVERSION,” U.S. 가출원 번호 62/182,367 는 프레임 레이트 상향 변환 (FRUC) 방법에 기초한 코딩 방법을 제안한다. 이 방법은 매우 효율적이었고 HM-KTA-2.0 소프트웨어에 채택되었다.

E. Alshina, A. Alshin, J.-H. Min, K. Choi, A. Saxena, M. Budagavi, “Known tools performance investigation for next generation video coding,” ITU - Telecommunications Standardization Sector, STUDY GROUP 16 Question 6, Video Coding Experts Group (VCEG), VCEG-AZ05, 2015 년 6월, Warsaw, Poland (이하, “Alshina 1”), 및 A. Alshina, E. Alshina, T. Lee, “Bi-directional optical flow for improving motion compensation,” Picture Coding Symposium (PCS), Nagoya, Japan, 2010 (이하, “Alshina 2”) 는 양방향 광학 흐름 (BIO) 으로 불리는 방법을 설명한다. BIO는 픽셀 수준 광학 흐름을 기반으로 한다. Alshina 1과 Alshina 2에 따르면, BIO는 전방 예측과 후방 예측 양자 모두를 갖는 블록들에만 적용된다. Alshina 1과 Alshina 2에 설명된 바와 같이 BIO는 아래와 같이 요약된다:

시간 t에서 픽셀 값

이 주어진다면, 그의 1차 테일러 확장은 다음과 같다

는

의 모션 궤적 (trajectory) 상에 있다. 즉,

에서

까지의 모션이 공식에서 고려된다.

광학 흐름의 가정 하에서:

(구배) 라고 두면, 등식 (1) 은 다음과 같아진다

및

를 이동 속도로 간주하면, 이들을 표현하기 위해

및

를 사용할 수도 있다.

그래서 등식 (2) 는 다음과 같아진다

에서 전방 참조를 갖고

에서 후방 참조를 갖고, 다음을 갖는다고 가정하면

다음을 갖게 된다

모션이 궤적을 따르기 때문에

및

로 가정된다. 그래서 (4) 는 다음과 같아진다

식중

는 재구성된 참조들에 기초하여 계산될 수 있다.

는 규칙적 양 예측이므로,

는 이하에서 편의상 BIO 오프셋으로 불린다.

및

는 다음 왜곡을 최소화하는 것에 의해 인코더 및 디코더 양자 모두에서 도출된다:

도출된

및

을 사용하여, 블록의 최종 예측은 (5) 로 계산된다. 편의상

및

는 "BIO 모션" 이라고 한다.

일반적으로 비디오 코더는 모션 보상 동안 BIO를 수행한다. 즉, 비디오 코더가 현재 블록에 대한 모션 벡터를 결정한 후에, 비디오 코더는 모션 벡터에 대한 모션 보상을 사용하여 현재 블록에 대한 예측된 블록을 생성한다. 일반적으로, 모션 벡터는 참조 화상에서 현재 블록에 대한 참조 블록의 위치를 식별한다. BIO를 수행할 때, 비디오 코더는 현재 블록에 대해 픽셀별 기반으로 모션 벡터를 수정한다. 즉, 참조 블록의 각 픽셀을 블록 유닛으로서 취출하기 보다는, BIO에 따라, 비디오 코더는 현재 블록을 위한 모션 벡터에 대한 픽셀별 수정을 결정하고, 현재 블록의 대응하는 픽셀에 대한 픽셀별 수정 및 모션 벡터에 의해 식별되는 참조 픽셀을 참조 블록이 포함하도록 참조 블록을 구성한다. 따라서, BIO는 현재 블록에 대해 보다 정확한 참조 블록을 생성하는데 사용될 수도 있다.

본 개시는 예를 들어 Alshina 1 및 Alshina 2에 따라 BIO와 관련된 기술을 개선할 수도 있는 기술을 설명한다. 예를 들어, 본 개시는, 예를 들어, BIO 의 성능과 관련하여, 비디오 코덱의 코딩 효율을 더 개선할 수도 있는 기술을 설명한다. 예를 들어, Alshina 1과 Alshina 2에 따르면, BIO는 전방 예측과 후방 예측 양자 모두를 갖는 블록에만 적용될 수 있다. 또한, 조명 변화가 있을 경우 BIO는 손실로 이어질 수도 있다. 또한 BIO 는, 특히 노이즈가 많은 시퀀스에 대해, 안정적이지 않을 수도 있다. 본 개시의 기술은 이러한 문제점을 극복하고 BIO의 성능을 향상시킬 수도 있다.

도 1은 양방향 광학 흐름을 위한 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 나타내는 블록도이다. 도 1에 도시된 바처럼, 시스템 (10) 은, 목적지 디바이스 (14) 에 의해 나중에 디코딩될 인코딩된 비디오 데이터를 제공하는 소스 디바이스 (12) 를 포함한다. 특히, 소스 디바이스 (12) 는, 컴퓨터 판독가능 매체 (16) 를 통해 목적지 디바이스 (14) 로 비디오 데이터를 제공한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는, 데스크탑 컴퓨터들, 노트북 (즉, 랩톱) 컴퓨터들, 태블릿 컴퓨터들, 셋톱 박스들, 전화기 핸드셋 이를테면 소위 "스마트" 폰들, 소위 "스마트" 패드, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 재생기들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한, 광범위한 디바이스들 중 어느 것을 포함할 수도 있다. 일부 경우들에서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신을 위해 갖추어질 수도 있다.

목적지 디바이스 (14) 는, 컴퓨터 판독가능 매체 (16) 를 통해 디코딩될 인코딩된 비디오 데이터를 수신할 수도 있다. 컴퓨터 판독가능 매체 (16) 는, 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동시킬 수 있는 임의의 타입의 매체 또는 디바이스를 포함할 수도 있다. 일 예에서, 컴퓨터 판독가능 매체 (16) 는, 소스 디바이스 (12) 로 하여금 실시간으로 직접 목적지 디바이스 (14) 로, 인코딩된 비디오 데이터를 송신할 수 있게 하기 위한 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는, 무선 통신 프로토콜 등의 통신 표준에 따라 변조되고, 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 임의의 무선 또는 유선 통신 매체, 이를테면, 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들을 포함할 수도 있다. 통신 매체는, 로컬 영역 네트워크, 와이드 영역 네트워크, 또는 인터넷과 같은 글로벌 네트워크 등의 패킷 기반 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터, 스위치, 기지국, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 통신을 가능하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.

일부 예들에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스로 출력될 수도 있다. 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스로부터 액세스될 수도 있다. 저장 디바이스는, 하드 드라이브, 블루레이 디스크, DVD, CD-ROM, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체 등의 다양한 분산형 또는 로컬적으로 액세스되는 데이터 저장 매체 중 어느 것을 포함할 수도 있다. 다른 예에서, 저장 디바이스는, 소스 디바이스 (12) 에 의해 생성되는 인코딩된 비디오를 저장할 수도 있는, 파일 서버 또는 또 다른 중간 저장 디바이스에 대응할 수도 있다. 목적지 디바이스 (14) 는, 스트리밍 또는 다운로드를 통해 저장 디바이스로부터 저장된 비디오 데이터에 액세스할 수도 있다. 파일 서버는, 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수 있는 임의의 타입의 서버일 수도 있다. 예시적인 파일 서버들은, (예를 들어, 웹사이트용) 웹 서버, FTP 서버, NAS (network attached storage) 디바이스, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는, 인터넷 접속을 포함한, 임의의 표준 데이터 접속을 통해 인코딩된 비디오 데이터에 액세스할 수도 있다. 이것은, 파일 서버 상에 저장된 인코딩된 비디오 데이터를 액세스하기 위해 적당한 무선 채널 (예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 또는 양자의 조합을 포함할 수도 있다. 저장 디바이스로부터 인코딩된 비디오 데이터의 송신은, 스트리밍 송신, 다운로드 송신 또는 이들의 조합일 수도 있다.

본 개시의 기법들은 무선 애플리케이션들 또는 세팅들에 반드시 한정되는 것은 아니다. 그 기법들은, 공중 경유 (over-the-air) 텔레비전 브로드캐스트, 케이블 텔레비전 송신, 위성 텔레비전 송신, DASH (dynamic adaptive streaming over HTTP) 와 같은 인터넷 스트리밍 비디오 송신, 데이터 저장 매체 상에 인코딩되는 디지털 비디오, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션 등의 다양한 멀티미디어 애플리케이션들 중 어느 것을 지원하는 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅 및/또는 화상 통화 등의 애플리케이션들을 지원하기 위하여 일방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.

도 1의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 목적지 디바이스 (14) 는, 입력 인터페이스 (28), 비디오 디코더 (30), 및 디스플레이 디바이스 (32) 를 포함한다. 본 개시에 따르면, 소스 디바이스 (12) 의 비디오 인코더 (20) 는, 양방향 광학 흐름을 위한 기법들을 적용하도록 구성될 수도 있다. 다른 예들에서, 소스 디바이스 및 목적지 디바이스는 다른 컴포넌트들 또는 배열 (arrangement) 들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (12) 는 외부 카메라와 같은 외부 비디오 소스 (18) 로부터 비디오 데이터를 수신할 수도 있다. 마찬가지로, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함하기 보다는, 외부 디스플레이 디바이스와 인터페이스 접속할 수도 있다.

도 1의 예시된 시스템 (10) 은 하나의 예일 뿐이다. 양방향 광학 흐름을 위한 기법들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 일반적으로 본 개시의 기법들은 비디오 인코딩 디바이스에 의해 수행되지만, 그 기법들은 또한 "코덱 (CODEC)" 으로서 통상적으로 지칭되는, 비디오 인코더/디코더에 의해 수행될 수도 있다. 더욱이, 본 개시의 기법들은 또한 비디오 프리프로세서에 의해 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는, 소스 디바이스 (12) 가 목적지 디바이스 (14) 로의 송신을 위해 코딩된 비디오 데이터를 생성하는 그러한 코딩 디바이스들의 예들일 뿐이다. 일부 예에서, 디바이스들 (12, 14) 은, 디바이스들 (12, 14) 의 각각이 비디오 인코딩 및 디코딩 컴포넌트들을 포함하도록 실질적으로 대칭적인 방식으로 동작할 수도 있다. 그러므로, 시스템 (10) 은 예를 들면, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅 또는 화상 통화를 위해, 비디오 디바이스들 (12, 14) 간의 일방향 또는 양방향 비디오 송신을 지원할 수도 있다.

소스 디바이스 (12) 의 비디오 소스 (18) 는 비디오 카메라와 같은 비디오 캡처 디바이스, 이전에 캡처된 비디오를 포함하는 비디오 아카이브 (video archive), 및/또는 비디오 콘텐트 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스 (video feed interface) 를 포함할 수도 있다. 다른 대안으로서, 비디오 소스 (18) 는 라이브 비디오, 아카이빙된 비디오 및 컴퓨터 생성된 비디오의 조합, 또는 소스 비디오로서 컴퓨터 그래픽스 기반 데이터를 생성할 수도 있다. 일부 경우들에서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 하지만, 위에서 언급된 바처럼, 본 개시에 설명된 기법들은, 일반적으로 비디오 코딩에 적용가능할 수도 있고, 무선 및/또는 유선 응용들에 적용될 수도 있다. 각 경우에서, 캡처되거나, 미리 캡처되거나, 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 다음으로, 인딩된 비디오 정보는 컴퓨터 판독가능 매체 (16) 상으로 출력 인터페이스 (22) 에 의해 출력될 수도 있다.

컴퓨터 판독가능 매체 (16) 는, 무선 브로드캐스트 또는 유선 네트워크 송신 등의 일시적 매체, 또는 하드 디스크, 플래시 드라이브, 컴팩트 디스크, 디지털 비디오 디스크, 블루레이 디스크 또는 다른 컴퓨터 판독가능 매체 등의 저장 매체 (즉, 비일시적 저장 매체) 를 포함할 수도 있다. 일부 예들에서, 네트워크 서버 (미도시) 는 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로, 예를 들어, 네트워크 송신을 통해 제공할 수도 있다. 유사하게, 디스크 스탬핑 설비 등의 매체 제조 설비의 컴퓨팅 디바이스는, 소스 디바이스 (12) 로부터 인코딩된 비디오 데이터를 수신하고 그 인코딩된 비디오 데이터를 포함하는 디스크를 제조할 수도 있다. 그러므로, 컴퓨터 판독가능 매체 (16) 는, 다양한 예들에서, 다양한 형태들의 하나 이상의 컴퓨터 판독가능 매체를 포함하는 것으로 이해될 수도 있다.

목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 컴퓨터 판독가능 매체 (16) 로부터 정보를 수신한다. 컴퓨터 판독가능 매체 (16) 의 정보는 비디오 인코더 (20) 에 의해 정의된 신택스 정보를 포함할 수도 있고, 이는 또한 비디오 디코더 (30) 에 의해 사용되고, 블록들 및 다른 코딩된 유닛들, 예컨대, GOP들의 프로세싱 및/또는 특성들을 기술하는 신택스 엘리먼트들을 포함한다. 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 이용자에게 디스플레이하고, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 어느 것을 포함할 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 는 ITU-T H.265 로도 지칭되는, 고 효율 비디오 코딩 (HEVC) 표준과 같은 비디오 코딩 표준에 따라 동작될 수도 있다. 다르게는, 비디오 인코더 (20) 및 비디오 디코더 (30) 는, 다르게는 MPEG4, Part 10, AVC (Advanced Video Coding) 으로도 지칭되는, ITU-T H.264 표준과 같은 다른 사유 (proprietary) 또는 산업 표준들 또는 그러한 표준들의 확장들에 따라 동작할 수도 있다. 하지만, 본 개시의 기법들은 임의의 특정 코딩 표준에 한정되지 않는다. 비디오 코딩 표준들의 다른 예들은 MPEG-2 및 ITU-T H.263 를 포함한다. 비록 도 1에 도시되지는 않았지만, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 각각 오디오 인코더 및 디코더와 통합될 수도 있고, 공통 데이터 스트림 또는 분리된 데이터 스트림들에서 오디오 및 비디오 양자 모두의 인코딩을 핸들링 (handling) 하기 위하여 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜 또는 다른 프로토콜들 이를테면 이용자 데이터그램 프로토콜 (UDP) 을 따를 수도 있다.

일반적으로, ITU-T H.265 에 따르면, 비디오 프레임 또는 화상이, 루마 및 크로마 샘플들 양자 모두를 포함하는 트리블록들 또는 최대 코딩 유닛 (LCU) 들의 시퀀스로 분할될 수도 있다. 비트스트림 내의 신택스 데이터는, 픽셀들의 수의 측면에서 가장 큰 코딩 유닛인 LCU 를 위한 크기를 정의할 수도 있다. 슬라이스는, 코딩 순서에서 다수의 연속적인 트리블록들을 포함한다. 비디오 프레임 또는 화상은, 하나 이상의 슬라이스들로 파티셔닝될 수도 있다. 각 트리블록은 쿼드트리에 따라 코딩 유닛 (CU) 들로 스플리팅될 수도 있다. 일반적으로,쿼드트리 데이터 구조는, 트리블록에 대응하는 루트 노드와, CU 당 하나의 노드를 포함한다. CU 가 4 개의 서브 CU 들로 스플리팅되는 경우, 그 CU 에 대응하는 노드는 4 개의 리프 노드들을 포함하고, 이들의 각각은 서브 CU 들 중 하나에 대응한다.

쿼드트리 데이터 구조의 각각의 노드는, 대응하는 CU 를 위한 신택스 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리에서의 노드는, 그 노드에 대응하는 CU 가 서브 CU 들로 스플리팅되는지 여부를 표시하는, 스플릿 플래그 (split flag) 를 포함할 수도 있다. CU 를 위한 신택스 엘리먼트들은 회귀적으로 정의될 수도 있고, CU 가 서브 CU 들로 스플리팅되는지 여부에 의존할 수도 있다. CU가 더 스플리팅되지 않으면, 그것은 리프-CU (leaf-CU) 로 지칭된다. 본 개시에서, 리프-CU의 4개 서브 CU 들은 또한, 원래 리프-CU 의 명시적 스플리팅 (explicit splitting) 이 없더라도, 리프-CU들로 지칭될 것이다. 예를 들어, 16x16 크기의 CU 가 더 스플리팅되지 않으면, 16x16 CU 가 스플리팅되지 않았지만 4개의 8x8 서브 CU들이 또한 리프-CU 들로 지칭될 것이다.

CU 가 사이즈 구분 (size distinction) 을 가지지 않는다는 것을 제외하고는, CU 는 H.264 표준의 매크로블록 (macroblock) 과 유사한 목적을 가진다. 예를 들어, 트리블록은 (서브 CU 들로도 지칭되는) 4개의 자식 노드 (child node) 들로 스플리팅될 수도 있고, 각 자식 노드는 차례로 부모 노드 (parent node) 가 될 수도 있고 또 다른 4개의 자식 노드들로 스플리팅될 수도 있다. 쿼드트리의 리프 노드로 지칭되는, 최종, 스플리팅되지 않은 자식 노드는, 리프 CU 로도 지칭되는, 코딩 노드를 포함한다. 코딩된 비트스트림과 연관된 신택스 데이터는, 최대 CU 깊이로도 지칭되는, 트리블록이 스플리팅될 수도 있는 최대 횟수를 정의할 수도 있고, 또한 코딩 노드들의 최소 크기를 정의할 수도 있다. 따라서, 비트스트림은 또한 최소 코딩 유닛 (smallest coding unit; SCU) 을 정의할 수도 있다. 본 개시는, 용어 "블록" 을 사용하여, HEVC 의 콘텍스트에서, CU, 예측 유닛 (PU), 또는 변환 유닛 (TU) 중 어느 것을 지칭하거나, 또는 다른 표준들의 콘텍스트에서 유사한 데이터 구조들 (예를 들어, H.264/AVC 에서 매크로블록들 및 이들의 서브 블록들) 을 지칭한다.

CU 는 코딩 노드를 포함할 수도 있고 그 코딩 노드와 연관된 하나 이상의 예측 유닛 (PU) 들 및/또는 변환 유닛 (TU) 들을 포함할 수도 있다. CU 의 크기는 코딩 노드의 크기에 대응하고 형상이 대체로 정사각형이다. CU 의 크기는 8x8 픽셀들로부터, 최대 크기, 예를 들어, 64x64 픽셀들 이상인 트리블록의 크기에 이르기까지의 범위일 수도 있다. 각각의 CU 는 하나 이상의 PU 들 및/또는 하나 이상의 TU 들을 포함할 수도 있다. CU 와 연관된 신택스 데이터는, 예를 들어, CU 를 서브 CU들, 파티션들, 또는 하나 이상의 PU 들로 파티셔닝하는 것을 기술할 수도 있다. 파티셔닝 모드들은, CU 가 스킵 또는 직접 모드 인코딩되는지, 인트라 예측 모드 인코딩되는지, 또는 인터 예측 모드 인코딩되는지 간에 달라질 수도 있다. PU 들은 형상이 비정사각형으로 파티셔닝될 수도 있다. CU 와 연관된 신택스 데이터는 또한, 예를 들어, 쿼드트리에 따라 CU 를 하나 이상의 TU 들로 파티셔닝하는 것을 기술할 수도 있다. TU 는 형상이 정사각형 또는 비정사각형 (예를 들어, 직사각형) 일 수 있다.

HEVC 표준은, TU들에 따른 변환을 허용하고, 이는 상이한 CU들에 대해서 상이할 수도 있다. TU 들은 통상적으로, 파티셔닝된 LCU에 대해 정의된 주어진 CU 내에 PU 들의 크기에 기초하여 사이징되지만, 이는 항상 그렇지는 않을 수도 있다. TU 들은 통상적으로 동일한 크기이거나 또는 PU 들보다 더 작다. 일부 예들에서, CU 에 대응하는 잔차 샘플들은 "잔차 쿼드트리 (residual quad tree)" (RQT) 로 알려진, 쿼드트리 구조를 이용하여 더 작은 유닛들로 세분될 수도 있다. RQT 의 리프 노드들은 변환 유닛 (TU) 들로 지칭될 수도 있다. TU 들과 연관된 픽셀 차이 값들이 변환되어 변환 계수들을 생성하고, 이들은 양자화될 수도 있다.

리프-CU 는 하나 이상의 PU 들을 포함할 수도 있다. 일반적으로, PU 는, 대응하는 CU 의 전부 또는 일부에 대응하는 공간 영역을 나타내고, PU 를 위해 참조 샘플을 취출 및/또는 생성하기 위한 데이터를 포함할 수도 있다. 더욱이, PU 는 예측에 관한 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩될 때, PU 를 위한 데이터는 잔차 쿼드트리 (RQT) 에 포함될 수도 있고, 이는, PU에 대응하는 TU 를 위한 인트라-예측 모드를 기술하는 데이터를 포함할 수도 있다. RQT 는 또한, 변환 트리로 지칭될 수도 있다. 일부 예들에서, 인트라-예측 모드는 RQT 대신에 리프-CU 신택스에서 시그널링될 수도 있다. 또 다른 예로서, PU 가 인터-모드 인코딩될 때, PU 는 PU 를 위한 하나 이상의 모션 벡터들과 같은 모션 정보를 정의하는 데이터를 포함할 수도 있다. PU 를 위한 모션 벡터를 정의하는 데이터는, 예를 들어, 모션 벡터의 수평 성분, 모션 벡터의 수직 성분, 모션 벡터를 위한 해상도 (예를 들어, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 가리키는 참조 화상, 및/또는 모션 벡터를 위한 참조 화상 리스트 (예를 들어, 리스트 0 또는 리스트 1) 를 기술할 수도 있다.

리프-CU 는 또한 하나 이상의 변환 유닛 (TU) 들을 포함할 수도 있다. 변환 유닛들은, 위에서 논의된 바처럼, (TU 쿼드트리 구조로도 지칭되는) RQT를 사용하여 명시될 수도 있다. 예를 들어, 스플리팅된 플래그는 리프-CU 가 4개의 변환 유닛들로 스플리팅되는지 여부를 나타낼 수도 있다. 다음으로, 각 변환 유닛은, 추가 서브-TU들로 더 스플리팅될 수도 있다. TU가 더 스플리팅되지 않을 때, 그것은 리프-TU 로 지칭될 수도 있다. 일반적으로, 인트라 코딩을 위해, 리프-CU 에 속하는 모든 리프-TU 들은 동일한 인트라 예측 모드를 공유한다. 즉, 동일한 인트라-예측 모드가 일반적으로, 리프-CU 의 모든 TU들을 위한 예측된 값들을 계산하기 위해 적용된다. 인트라 코딩을 위해, 비디오 인코더는, TU 에 대응하는 CU 의 부분과 원래 블록간의 차이로서, 인트라 예측 모드를 사용하여 각 리프-TU 를 위해 잔차 값을 계산할 수도 있다. TU 는 반드시 PU 의 크기로 제한되는 것은 아니다. 따라서, TU 는 PU 보다 더 크거나 더 작을 수도 있다. 인트라 코딩을 위해, PU 는 동일한 CU 에 대해 대응하는 리프-TU 와 함께 위치될 수도 있다. 일부 예들에서, 리프-TU 의 최대 크기는, 대응하는 리프-CU 의 크기에 대응할 수도 있다.

또한, 리프-CU 들의 TU 들은 또한, 잔차 쿼드트리 (RQT) 들로 지칭되는, 각각의 쿼드트리 데이터 구조들과 연관될 수도 있다. 즉, 리프-CU 는, 리프-CU가 TU 들로 어떻게 파티션되는지를 나타내는 쿼드트리를 포함할 수도 있다. TU 쿼드트리의 루트 노드는 일반적으로 리프-CU 에 대응하는 한편, CU 쿼드트리의 루트 노드는 일반적으로 트리블록 (또는 LCU) 에 대응한다. 스플리팅되지 않는 RQT의 TU들은 리프-TU들로 지칭된다. 일반적으로, 본 개시는, 다르게 언급되지 않는 한, 리프-CU 및 리프-TU 를 지칭하기 위하여 용어 CU 및 TU 를 각각 사용한다.

비디오 시퀀스는 통상적으로 일련의 비디오 프레임들 또는 화상들을 포함한다. 화상들의 그룹 (GOP) 은 일반적으로, 일련의 하나 이상의 비디오 화상들을 포함한다. GOP 는 GOP 의 헤더, 하나 이상의 화상들의 헤더, 또는 다른 곳에 신택스 데이터를 포함할 수도 있고, 이 신택스 데이터는 GOP 에 포함된 화상들의 수를 기술한다. 화상의 각 슬라이스는, 각각의 슬라이스를 위한 인코딩 모드를 기술하는 슬라이스 신택스 데이터를 포함할 수도 있다. 비디오 인코더 (20) 는 통상적으로 비디오 데이터를 인코딩하기 위하여 개개의 비디오 슬라이스들 내의 비디오 블록들에 대해 동작한다. 비디오 블록은 CU 내의 코딩 노드에 대응할 수도 있다. 비디오 블록들은 고정되거나 또는 변화하는 크기를 가질 수도 있고, 명시된 코딩 표준에 따라 크기가 다를 수도 있다.

예로서, 다양한 크기의 PU 에 대해 예측이 수행될 수도 있다. 특정 CU 의 크기가 2Nx2N 이라고 가정하면, 인트라-예측은 2Nx2N 또는 NxN 의 PU 크기들 상에서 수행될 수도 있고, 인터-예측은 2Nx2N, 2NxN, Nx2N, 또는 NxN 의 대칭적 PU 크기들 상에서 수행될 수도 있다. 인터-예측을 위한 비대칭적 파티셔닝은 또한, 2NxnU, 2NxnD, nLx2N, 및 nRx2N 의 PU 크기에 대해서 수행될 수도 있다. 비대칭적 파티셔닝에서, CU 의 일 방향은 파티셔닝되지 않는 반면, 타 방향은 25% 및 75% 으로 파티셔닝된다. 25% 파티션에 대응하는 CU 의 부분은 “n” 다음에 “상 (Up)”, “하 (Down)”, “좌 (Left)”, 또는 “우 (Right)” 의 표시에 의해 표시된다. 따라서, 예를 들어, 2NxnU” 는, 상단의 2Nx0.5N PU 및 하단의 2Nx1.5N PU 로 수평적으로 파티셔닝되는 2Nx2N CU 를 지칭한다.

본 개시에서, “NxN” 그리고 “N 바이 N” 은, 수직 및 수평 차원 (dimension) 들의 면에서 비디오 블록의 픽셀 차원들, 예를 들면, 16x16 픽셀들 또는 16 바이 16 픽셀들을 지칭하는데 상호교환가능하게 사용될 수도 있다. 일반적으로, 16x16 블록은, 수직 방향에서 16 픽셀들 (y = 16) 그리고 수평 방향에서 16 픽셀들 (x = 16) 을 가질 것이다. 마찬가지로, NxN 블록은 일반적으로 수직 방향에서 N 픽셀들 그리고 수평 방향에서 N 픽셀들을 갖고, 여기서 N 은 음이 아닌 정수 값을 나타낸다. 블록에서 픽셀들은 행과 열들로 배열될 수도 있다. 더욱이, 블록들은 수직 방향과 동일한 수의 수평 방향 픽셀들을 반드시 가질 필요는 없다. 예를 들면, 블록들은 NxM 픽셀들을 포함할 수도 있고, 여기서 M은 N과 반드시 동일한 것은 아니다.

CU 의 PU 들을 이용한 인트라-예측 또는 인터-예측 코딩 다음에, 비디오 인코더 (20) 는 CU 의 TU 들을 위한 잔차 데이터를 계산할 수도 있다. PU 들은, (픽셀 도메인으로도 지칭되는) 공간 도메인에서 예측 픽셀 데이터를 생성하는 방법 또는 모드를 기술하는 신택스 데이터를 포함할 수도 있고, TU들은 잔차 비디오 데이터에 대한, 변환, 예를 들어, 이산 코사인 변환 (DCT), 정수 변환, 웨이블릿 변환, 또는 개념적으로 유사한 변환의 적용을 따라 변환 도메인에서의 계수들을 포함할 수도 있다. 잔차 데이터는, PU 들 또는 CU 파티션들에 대응하는 예측 값들 및 인코딩되지 않은 화상의 픽셀들간의 픽셀 차이들에 대응할 수도 있다. 비디오 인코더 (20) 는 CU에 대한 잔차 데이터를 나타내는 양자화된 변환 계수를 포함하도록 TU 를 형성할 수도 있다. 즉, 비디오 인코더 (20)는 (잔차 블록의 형태로) 잔차 데이터를 계산하고, 잔차 블록을 변환하여 변환 계수의 블록을 생성한 다음, 변환 계수를 양자화하여 양자화된 변환 계수를 형성할 수도 있다. 비디오 인코더 (20) 는 양자화된 변환 계수 및 다른 신택스 정보 (예를 들어, TU에 대한 스플리팅 정보) 를 포함하는 TU를 형성할 수도 있다.

위에 언급된 바처럼, 변환 계수들을 생성하기 위한 임의의 변환 다음에, 비디오 인코더 (20) 는 변환 계수들의 양자화를 수행할 수도 있다. 일반적으로 양자화는, 변환 계수들이 양자화되어 그 계수들을 나타내는데 사용된 데이터의 양을 감소시킬 수 있으며, 추가 압축을 제공하는 프로세스를 지칭한다. 양자화 프로세스는 계수들의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수도 있다. 예를 들면, n 비트 값은 양자화 동안 m 비트 값으로 반내림 (round down) 될 수도 있고, 여기서 n은 m보다 더 크다.

양자화 다음에, 비디오 인코더는 변환 계수들을 스캔하여, 양자화된 변환 계수들을 포함하는 2차원 매트릭스로부터 1차원 벡터를 생성할 수도 있다. 그 스캔은 더 높은 에너지 (그리고 따라서 더 낮은 주파수) 계수들을 어레이의 전방에 두고 더 낮은 에너지 (그리고 따라서 더 높은 주파수) 계수들을 어레이의 후방에 두도록 설계될 수도 있다. 일부 예들에서, 비디오 인코더 (20) 는, 미리정의된 스캔 순서를 이용하여 양자화된 변환 계수들을 스캔함으로써 엔트로피 인코딩될 수 있는 직렬화된 벡터를 생성할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 적응적 스캔을 수행할 수도 있다. 양자화된 변환 계수들을 스캔하여 1차원 벡터를 형성한 후에, 비디오 인코더 (20) 는 1차원 벡터를, 예를 들어, CAVLC (context-adaptive variable length coding), CABAC (context-adaptive binary arithmetic coding), SBAC (syntax-based context-adaptive binary arithmetic coding), PIPE (Probability Interval Partitioning Entropy) 코딩 또는 또 다른 엔트로피 인코딩 방법론에 따라, 엔트로피 인코딩할 수도 있다. 비디오 인코더 (20) 는 또한, 비디오 데이터를 디코딩함에 있어서 비디오 디코더 (30) 에 의한 사용을 위해 인코딩된 비디오 데이터와 연관된 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다.

CABAC 을 수행하기 위하여, 비디오 인코더 (20) 는, 송신될 심볼에 콘텍스트 모델 내의 콘텍스트를 배정할 수도 있다. 콘텍스트는, 예를 들어, 심볼의 이웃하는 값들이 비영 (non-zero) 인지 여부에 관한 것일 수도 있다. CAVLC 을 수행하기 위하여, 비디오 인코더 (20) 는, 송신될 심볼을 위해 가변 길이 코드를 선택할 수도 있다. VLC 에서의 코드워드들은, 상대적으로 더 짧은 코드들이 더 높은 확률 심볼들에 대응하는 한편, 더 긴 코드들이 더 적은 확률 심볼들에 대응하도록 구성될 수도 있다. 이런 식으로, VLC 의 사용은, 예를 들어, 송신될 각 심볼에 동일 길이 코드워드들을 이용하는 것에 비해, 비트 절약 (bit savings) 을 달성할 수도 있다. 확률 결정은, 심볼에 할당된 콘텍스트에 기초할 수도 있다.

일반적으로, 비디오 디코더 (30) 는 인코딩된 데이터를 디코딩하기 위해 비디오 인코더 (20) 에 의해 수행되는 프로세스와 실질적으로 유사하지만, 상반되는 프로세스를 수행한다. 예를 들어, 비디오 디코더 (30) 는 잔차 블록을 재생하기 위해 수신된 TU 의 계수를 역 양자화 및 역변환한다. 비디오 디코더 (30) 는 시그널링된 예측 모드 (인트라 - 또는 인터 - 예측) 를 사용하여 예측된 블록을 형성한다. 그 후, 비디오 디코더 (30) 는 예측된 블록과 잔차 블록을 (픽셀 바이 픽셀에 기반해) 결합하여 원래 블록을 재생한다. 블록 경계를 따라 시각적 아티팩트들을 줄이기 위해 디블록킹 프로세스를 수행하는 것과 같은 추가적인 처리가 수행될 수도 있다. 또한, 비디오 디코더 (30) 는 비디오 인코더 (20) 의 CABAC 인코딩 프로세스와는 실질적으로 유사하지만, 상반되는, 방식으로 CABAC 을 사용하여 신택스 엘리먼트를 디코딩할 수도 있다.

비디오 인코더 (20) 는 또한, 신택스 데이터, 이를테면 블록 기반 신택스 데이터, 프레임 기반 신택스 데이터, 및 GOP 기반 신택스 데이터를 비디오 디코더 (30) 로, 예를 들어, 프레임 헤더, 블록 헤더, 슬라이스 헤더, 또는 GOP 헤더에서 전송할 수도 있다. GOP 신택스 데이터는, 각각의 GOP 에서 프레임들의 수를 기술할 수도 있고, 프레임 신택스 데이터는 대응하는 프레임을 인코딩하는데 사용된 인코딩/예측 모드를 나타낼 수도 있다.

본 개시의 기술에 따르면, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 또한, 아래에서 보다 상세히 설명되는 바와 같이 모션 보상 동안 양방향 광학 흐름 (BIO) 기술을 수행할 수도 있다. 일반적으로, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 동일한 참조 화상 리스트 내의 2개의 상이한 참조 화상들 (예를 들어, 리스트 0 (RefPicList0) 또는 리스트 1 (RefPicList1) 에서의 양자 모두의 참조 화상들) 을 갖는 블록에 BIO를 적용할 수도 있다. 부가적으로 또는 대안적으로, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 조명 변화 영역 내의 블록들에 대해 수행되는 BIO 동안 특별한 프로세스들을 적용할 수도 있다. 부가적으로 또는 대안적으로, 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 는 특정 제한에 따라 구성되어, 그렇지 않으면 BIO 동안 노이즈에 의해 야기될 수도 있는 부정적인 영향을 피할 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 는 각각, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서 (DSP) 들, 주문형 반도체 (ASIC), 필드 프로그램머블 게이트 어레이 (FPGA), 이산 로직 회로, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합과 같은 임의의 다양한 적합한 인코더 또는 디코더 회로로서, 적용가능한 바에 따라, 구현될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 의 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있는데, 이들 중 어느 한쪽은 결합된 비디오 인코더/디코더 (CODEC) 의 부분으로서 통합될 수도 있다. 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 를 포함하는 디바이스는 집적 회로, 마이크로프로세서, 및/또는 무선 통신 디바이스, 이를테면 셀룰러 전화기를 포함할 수도 있다.

도 2는 모션 보상된 프레임 레이트 상향 변환 (MC-FRUC) 을 위해 수행된 블록 매칭 알고리즘 (BMA) 으로서의 일방적 모션 추정 (ME) 의 예를 나타내는 개념도이다. 일반적으로, 비디오 코더 (이를테면 비디오 인코더 (20) 또는 비디오 디코더 (30)) 는, 현재 프레임 (100) 의 참조 블록 (106) 에 대한 참조 프레임 (102) 으로부터 최상의 매칭 블록 (예를 들어, 참조 블록 (108)) 을 찾음으로써 MV (112) 와 같은 모션 벡터 (MV) 를 획득하기 위해 일방적 ME 를 수행한다. 그 다음, 비디오 코더는 보간 프레임 (104) 에서 모션 벡터 (112) 의 모션 궤적을 따라 보간된 블록 (110) 을 보간한다. 즉, 도 2의 예에서, 모션 벡터 (112) 는 현재 블록 (106), 참조 블록 (108) 및 보간된 블록 (110) 의 중간 점을 통과한다.

도 2에 도시된 바와 같이, 모션 궤적을 따라 3개의 프레임에서 3 개의 블록이 수반된다. 현재 프레임 (100) 내의 현재 블록 (106) 이 코딩된 블록에 속하더라도, 참조 프레임 (102) 내의 최상의 매칭 블록 (즉, 참조 블록 (108)) 은 코딩된 블록에 완전히 속할 필요는 없다 (즉, 최상의 매칭 블록은 코딩된 블록 경계 상에 떨어지는 것이 아니라, 대신에 그러한 경계에 오버랩될 수도 있다). 마찬가지로, 보간된 프레임 (104) 에서의 보간된 블록 (110) 은 코딩된 블록에 완전히 속할 필요는 없다. 결과적으로, 블록들의 오버랩된 영역들 및 비어있는 (홀) 영역들이 보간된 프레임 (104) 에서 발생할 수도 있다.

오버랩을 다루기 위해, 간단한 FRUC 알고리즘은 단지, 오버랩된 픽셀을 평균화하고 덮어쓰기하는 것을 수반한다. 또한, 홀은 참조 또는 현재 프레임으로부터의 픽셀 값에 의해 커버될 수도 있다. 그러나 이러한 알고리즘은 블록킹 아티팩트 및 블러링을 초래할 수도 있다. 따라서 모션 필드 세그먼테이션, 이산 하틀리 변환 (discrete Hartley transform) 을 사용한 연속 외삽 및 이미지 인페인팅 (image inpainting) 이 블로킹 아티팩트 및 블러링을 증가시키지 않고서 홀 및 오버랩을 다루는 데 사용될 수도 있다.

도 3은 MC-FRUC 를 위해 수행되는 BMA 로서 쌍방적 ME의 예를 나타내는 개념도이다. 쌍방적 ME는 오버랩과 홀로 인한 문제를 피하기 위해 사용될 수 있는 (MC-FRUC 에서의) 또 다른 솔루션이다. 쌍방적 ME를 수행하는 비디오 코더 (비디오 인코더 (20) 및/또는 비디오 디코더 (30)) 는 현재 프레임 (120) 의 현재 블록 (126) 과 참조 프레임 (122) 의 참조 블록 (128) 사이의 시간적 대칭성을 이용하여 (현재 프레임 (120) 및 참조 프레임 (122) 의 중간인) 보간 프레임 (124) 의 보간 블록 (130) 을 통과하는 MV들 (132, 134) 을 획득한다. 그 결과, 비디오 코더는 보간 프레임 (124) 에서 오버랩 및 홀을 생성하지 않는다. 현재 블록 (126) 은, 예를 들어 비디오 코딩의 경우에서와 같이 비디오 코더가 특정 순서로 처리하는 블록으로 가정되기 때문에, 그러한 블록들의 시퀀스는 오버랩 없이 전체 중간 화상을 커버할 것이다. 예를 들어, 비디오 코딩의 경우, 블록들은 디코딩 순서로 처리될 수 있다. 따라서, FRUC 아이디어가 비디오 코딩 프레임워크에서 고려될 수 있다면 이러한 방법이 더 적합할 수도 있다.

S.-F. Tu, O. C. Au, Y. Wu, E. Luo 및 C.-H. Yeun 등의, "A Novel Framework for Frame Rate Up Conversion by Predictive Variable Block-Size Motion Estimated Optical Flow", International Congress on Image Signal Processing (CISP), 2009 는 프레임 레이트 상향 변환을 위한 하이브리드 블록 레벨 모션 추정 및 픽셀 레벨 광학 흐름 방법을 설명했다. Tu는 하이브리드 장면이 개별적인 방법보다 낫다고 언급했다.

도 4는 본 개시의 기술에 따른 BIO 에 대한 예시적인 개선을 나타내는 개념도이다. 이 개시의 일 예시적 기술은, 양자 모두 시간적으로 현재 화상 전에 또는 양자 모두 시간적으로 현재 화상 후에 있는 (예를 들어, 리스트 0 또는 리스트 1과 같은 동일한 참조 화상 리스트에 있는) 2개의 상이한 참조 화상들을 갖고, 현재의 화상과 참조 화상 사이의 시간적 거리에 비례하거나 또는 거의 비례하는 2개의 모션 벡터를 갖는 블록에 BIO를 적용하는 것을 수반한다. "시간적 거리에 비례" 와 "시간적 거리에 거의 비례" 한다는 것은 다음과 같이 정의될 수도 있다: 도 4에 도시된 바와 같이, TD₀ 및 TD₁ 은 각각 현재 화상과 Ref0 및 Ref1 사이의 시간적 거리라고 둔다.

"시간적 거리에 비례" 한다는 것은 아래의 식 (6) 에 보여진 바처럼 정의될 수도 있다:

"시간적 거리에 거의 비례" 한다는 것은 아래의 식 (7) 에 보여진 바처럼 정의될 수도 있다:

Th 는 비트 스트림에서 미리 정의되거나 시그널링될 수도 있는 임계 값을 나타낸다. 예를 들어, Th 는 시퀀스 파라미터 세트 (SPS), 화상 파라미터 세트 (PPS), 슬라이스 헤더, 블록 레벨 신택스 데이터 등으로 시그널링될 수도 있다. "Cur" 은 현재 화상을 나타내고, "Ref0" 은 제 1 참조 화상을 나타내고, "Ref1" 은 제 2 참조 화상을 나타내는 것으로 한다. MV_0x 및 MV_0y 는 각각 Cur 의 현재 블록으로부터 Ref0 으로의 모션 벡터 (MV₀) 의 x-성분 및 y-성분을 나타낸다. MV_1x 및 MV_1y 는 각각 현재 블록으로부터 Ref1 으로의 모션 벡터 (MV₁) 의 x-성분 및 y-성분을 나타낸다. TD₀은 Cur 과 Ref0 사이의 시간적 거리 (예를 들어, Cur에 대한 POC 값과 Ref0에 대한 POC 값 간의 차이) 를 나타낸다. TD₁은 Cur 과 Ref1 사이의 시간적 거리 (예를 들어, Cur에 대한 POC 값과 Ref1에 대한 POC 값 간의 차이) 를 나타낸다.

또한, 전술한 바와 같이 (t-t₀) 를 TD₀ 으로 치환하고, 전술한 바와 같이 (t-t₁) 을 TD₁으로 치환하도록 상기 식 (4) 를 수정할 수도 있다. 따라서, 상기 식 (4) 는 하기 나타낸 바와 같이 식 (4') 로 치환될 수도 있다:

특히, 도 4의 예는 현재 블록 (150) 을 포함하는 현재 화상 (144) 을 나타낸다. 현재 블록 (150) 은 모션 벡터 (152) 를 사용하여 참조 화상 (142) 의 참조 블록 (148) 으로부터 그리고 모션 벡터 (152) 를 사용하여 참조 화상 (140) 의 참조 블록 (146) 으로부터 예측된다. 참조 화상 (140) 및 참조 화상 (142) 은 현재 화상 (144) 에 대해 동일한 시간적 방향으로 발생한다. 즉, 이 예에서, 참조 화상 (140) 및 참조 화상 (142) 은 각각 현재 화상 (144) 전에 디스플레이된다. 다른 예들에서, 2 개의 참조 화상들은 현재 화상 후에 발생할 수도 있지만 (즉, 그 후에 디스플레이될 수도 있지만), 본 개시의 기술은 여전히 그러한 예에 적용될 수도 있다. 또한, 참조 화상 (140) 은 현재 화상 (144) 으로부터 TD₁ (158) 의 시간적 거리를 갖는다. TD₁ (158) 은 현재 화상 (144) 에 대한 화상 순서 카운트 (POC) 값과 참조 화상 (140) 에 대한 POC 값 간의 차이와 동일할 수도 있다. 유사하게, 참조 화상 (142) 은 현재 화상 (144) 으로부터 TD₀ (156) 의 시간적 거리를 갖는다. 즉, TD₀ (156) 은 현재 화상 (144) 에 대한 POC 값과 참조 화상 (142) 에 대한 POC 값 간의 차이와 동일할 수도 있다.

본 개시의 기술에 따르면, 도 4의 예에서, 비디오 코더 (이를테면 비디오 인코더 (20) 또는 비디오 디코더 (30)) 는 모션 벡터 (154, 152) 가 각각 TD₀ (156) 및 TD₁ (158) 에 비례하거나 또는 거의 비례하는지 여부를 결정할 수도 있다. 예를 들어, 비디오 코더는 모션 벡터 (152, 154) 의 x 및 y 값 및 시간적 거리 TD₀ (156) 및 TD₁ (158) 에 대한 값을 사용하여 상기 식 (6) 및/또는 식 (7) 을 실행할 수도 있다. 모션 벡터 (154, 152) 가 (예를 들어, 식 (6) 을 사용하여) TD₀ (156) 및 TD₁ (158) 에 비례하거나 또는 (예를 들어, 식 (7) 을 사용하여) TD₀ (156) 및 TD₁ (158) 에 거의 비례한다고 결정하는 것에 응답하여, 비디오 코더는 현재 블록 (150) 을 예측할 때 BIO를 수행할 수도 있다. 대안적으로, 모션 벡터 (154, 152) 가 (예를 들어, 식 (6) 을 사용하여) TD₀ (156) 및 TD₁ (158) 에 비례하지 않거나 또는 (예를 들어, 식 (7) 을 사용하여) TD₀ (156) 및 TD₁ (158) 에 거의 비례하지 않는다고 결정하는 것에 응답하여, 비디오 코더는 현재 블록 (150) 을 예측할 때 BIO를 수행하는 것을 피할 수도 있다.

도 5는 양방향 광학 흐름을 위한 기법들을 구현할 수도 있는 비디오 인코더 (20) 의 예를 나타내는 블록도이다. 비디오 인코더 (20) 는, 비디오 슬라이스들 내의 비디오 블록들의 인트라-코딩 및 인터-코딩을 수행할 수도 있다. 인트라 코딩은, 주어진 비디오 프레임 또는 화상 내의 비디오에서 공간적 중복성을 감소 또는 제거하기 위하여 공간적 예측에 의거한다. 인터-코딩은 비디오 시퀀스의 인접 프레임들 또는 화상들 내의 비디오에서 시간적 중복성을 감소 또는 제거하기 위하여 시간적 예측에 의거한다. 인트라-모드 (I 모드) 는 여러 공간 기반 코딩 모드들 중 어느 것을 지칭할 수도 있다. 인터-모드들, 이를테면 단방향 예측 (P 모드) 또는 양방향 예측 (B 모드) 는, 여러 시간 기반 코딩 모드들 중 어느 것을 지칭할 수도 있다.

도 5에 도시된 바처럼, 비디오 인코더 (20) 는 인코딩될 비디오 프레임 내의 현재 비디오 블록을 수신한다. 도 5 의 예에서, 비디오 인코더 (20) 는, 모드 선택 유닛 (40), (디코딩된 화상 버퍼 (DPB) 로도 지칭될 수도 있는) 참조 화상 메모리 (64), 합산기 (50), 변환 처리 유닛 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 모드 선택 유닛 (40) 은, 차례로, 모션 보상 유닛 (44), 모션 추정 유닛 (42), 인트라 예측 유닛 (46), 및 파티션 유닛 (48) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더 (20) 는 또한 역 양자화 유닛 (58), 역 변환 유닛 (60), 및 합산기 (62) 를 포함한다. 디블록킹 필터 (도 5에 미도시) 가 또한 포함되어, 재구성된 비디오로부터 블록키니스 아티팩트 (blockiness artifact) 를 제거하기 위해 블록 경계들을 필터링할 수도 있다. 원하는 경우, 디블록킹 필터는 통상적으로 합산기 (62) 의 출력을 필터링한다. 추가적인 필터들 (인 루프 또는 포스트 루프) 이 또한, 디블록킹 필터에 추가하여 사용될 수도 있다. 그러한 필터들은 간결성을 위해 나타내지는 않았지만, 원한다면, (인루프 필터로서) 합산기 (50) 의 출력을 필터링할 수도 있다.

인코딩 프로세스 동안, 비디오 인코더 (20) 는 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 프레임 또는 슬라이스는 다수의 비디오 블록들로 분할될 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 하나 이상의 참조 프레임들에서의 하나 이상의 블록들에 대해 수신된 비디오 블록의 인터-예측 인코딩을 수행해 시간적 예측을 제공한다. 인트라-예측 유닛 (46) 은 대안적으로, 코딩될 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃 블록들의 픽셀들을 이용하여 수신된 비디오 블록을 인트라-예측하여 공간적 예측을 제공할 수도 있다. 비디오 인코더 (20) 는, 예를 들어, 비디오 데이터의 각 블록을 위한 적절한 코딩 모드를 선택하기 위하여, 다중 코딩 패스들을 수행할 수도 있다.

또한, 파티션 유닛 (48) 은, 이전 코딩 패스들에서 이전 파티셔닝 체계들의 평가에 기초하여, 비디오 데이터의 블록들을 서브블록들로 파티션할 수도 있다. 예를 들어, 파티션 유닛 (48) 은, 초기에 프레임 또는 슬라이스를 LCU 들로 파티셔닝할 수도 있고, 레이트 왜곡 분석 (예를 들어, 레이트 왜곡 최적화) 에 기초하여, LCU 들의 각각을 서브 CU들로 파티셔닝할 수도 있다. 모드 선택 유닛 (40) 은 또한, LCU 의 서브 CU들로의 파티셔닝을 나타내는 쿼드트리 데이터 구조를 생성할 수도 있다. 쿼드트리의 리프-노드 CU 들은 하나 이상의 PU 들 및 하나 이상의 TU 들을 포함할 수도 있다.

모드 선택 유닛 (40) 은 예컨대, 에러 결과들에 기초하여 예측 모드들 중의 하나, 인트라 또는 인터를 선택할 수도 있고, 결과적인 예측된 블록을, 잔차 데이터를 생성하기 위하여 합산기 (50) 에, 그리고 참조 프레임으로서의 이용을 위한 인코딩된 블록을 재구성하기 위하여 합산기 (62) 에 제공한다. 모드 선택 유닛 (40) 은 또한, 신택스 엘리먼트들, 이를테면 모션 벡터들, 인트라 모드 표시자, 파티션 정보, 및 다른 그러한 신택스 정보를 엔트로피 인코딩 유닛 (56) 에 제공한다.

모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만, 개념적인 목적들을 위하여 별도로 예시되어 있다. 모션 추정 유닛 (42) 에 의해 수행된 모션 추정은 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 예를 들어, 모션 벡터는 현재의 프레임 (또는 다른 코딩된 유닛) 내에서 코딩되고 있는 현재의 블록에 대한 참조 프레임 (또는 다른 코딩된 유닛) 내의 예측 블록에 관련하여 현재의 비디오 프레임 또는 화상 내의 비디오 블록의 PU 의 변위를 표시할 수도 있다. 예측 블록은, 절대차의 합 (sum of absolute difference; SAD), 제곱차의 합 (sum of square difference; SSD), 또는 다른 차이 메트릭들에 의해 결정될 수도 있는 픽셀 차이의 측면에서, 코딩되어야 할 블록과 근접하게 일치하는 것으로 구해지는 블록이다. 일부의 예들에서, 비디오 인코더 (20) 는 참조 화상 메모리 (64) 내에 저장된 참조 화상들의 정수-미만 (sub-integer) 픽셀 위치들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 참조 화상의 1/4 픽셀 위치들, 1/8 픽셀 위치들, 또는 다른 분수 픽셀 위치들의 값들을 보간할 수도 있다. 그러므로, 모션 추정 유닛 (42) 은 전체 픽셀 위치들 및 분수 픽셀 위치들에 관련하여 모션 검색을 수행할 수도 있고, 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수도 있다.

모션 추정 유닛 (42) 은 PU 의 위치를 참조 화상의 예측 블록의 위치와 비교함으로써, 인터-코딩된 슬라이스에서의 비디오 블록의 PU 에 대한 모션 벡터를 계산한다. 참조 화상은 제 1 참조 화상 리스트 (List 0) 또는 제 2 참조 화상 리스트 (List 1) 로부터 선택될 수도 있고, 이들의 각각은 참조 화상 메모리 (64) 내에 저장된 하나 이상의 참조 화상들을 식별한다. 모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다.

모션 보상 유닛 (44) 에 의해 수행된 모션 보상은, 모션 추정 유닛 (42) 에 의해 결정된 모션 벡터에 기초한 예측 블록의 페칭 (fetching) 또는 생성을 수반할 수도 있다. 또, 일부 예에서, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 기능적으로 통합될 수도 있다. 현재 비디오 블록의 PU를 위한 모션 벡터의 수신시에, 모션 보상 유닛 (44) 은, 모션 벡터가 참조 화상 리스트들 중 하나에서 가리키는 예측 블록을 로케이팅할 수도 있다. 합산기 (50) 는, 아래에 논의되는 바처럼, 코딩되는 현재 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산하여, 픽셀 차이 값들을 형성함으로써 잔차 비디오 블록을 형성한다. 일반적으로, 모션 추정 유닛 (42) 은 루마 컴포넌트들에 대해 모션 추정을 수행하고, 모션 보상 유닛 (44) 은 크로마 컴포넌트들 및 루마 컴포넌트들 양자 모두를 위해 루마 컴포넌트들에 기초하여 계산된 모션 벡터들을 사용한다. 모드 선택 유닛 (40) 은 또한, 비디오 슬라이스의 비디오 블록들을 디코딩함에 있어서 비디오 디코더 (30) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 생성할 수도 있다.

게다가, 모션 보상 유닛 (44) 은 본 개시의 다양한 기법들 중 어느 것 또는 전부를 (단독으로 또는 임의의 조합으로) 수행하도록 구성될 수도 있다. 모션 보상 유닛 (44) 과 관련하여 논의되었지만, 모드 선택 유닛 (40), 모션 추정 유닛 (42), 파티션 유닛 (48) 및/또는 엔트로피 인코딩 유닛 (56) 은 또한, 단독으로 또는 모션 보상 유닛 (44) 과 조합하여 본 개시의 특정 기술을 수행하도록 구성될 수도 있다는 것이 이해되야 한다. 일 예에서, 모션 보상 유닛 (44) 은 도 4와 관련하여 전술한 BIO 기술을 수행하도록 구성될 수도 있으며, 이하에서 더 상세히 논의된다.

예를 들어, 모션 보상 유닛 (44) 은 양자 모두 시간적으로 현재 화상 전에 (예를 들어, 양자 모두 참조 화상 리스트 0 에) 또는 양자 모두 시간적으로 현재 화상 후에 (예를 들어, 양자 모두 참조 화상 리스트 1에) 있는 2개의 상이한 참조 화상들을 갖는 블록들에 BIO 를 적용하도록 구성될 수도 있고, 여기서 그 블록들은 현재 화상과 참조 화상 사이의 시간적 거리에 적어도 거의 비례 (예를 들면, 비례 또는 거의 비례) 하는 2개의 모션 벡터를 갖는다.

일 예에서, 모션 보상 유닛 (44) 은 임계치 (Th) 로 구성될 수도 있고, Th 를 나타내는 값을 결정하고 비트스트림에서 (예를 들어, SPS, PPS, 슬라이스 헤더 또는 블록 레벨 신택스에서) 그 값을 인코딩할 수도 있다. 그 다음, 모션 보상 유닛 (44) 은 식 (7) 을 실행하여 현재 화상의 현재 블록에 대한 모션 벡터가 대응하는 참조 화상에 대한 시간적 거리에 거의 비례하는지 여부를 결정할 수도 있다. 현재 블록에 대한 모션 벡터가 현재 블록에 대한 대응하는 참조 화상들까지의 시간적 거리에 거의 비례할 때, 모션 보상 유닛 (44) 은 앞서 논의된 BIO 기술을 블록에 적용할 수도 있다. 특히, 모션 보상 유닛 (44) 은, 현재 블록에 대한 예측 블록을 형성할 때 BIO 기술을 적용할 수도 있고, 이를 모션 보상 유닛 (44) 은 다음으로, 예를 들어, 합산기 (50) 및 합산기 (62) 에 제공한다.

(식 (7) 을 사용하여 상기 논의된 예에 부가적으로 또는 대안적일 수도 있는) 또 다른 예로서, 모션 보상 유닛 (44) 은 식 (6) 을 실행하여 현재 블록에 대한 모션 벡터가 대응하는 참조 화상에 대한 시간적 거리에 비례하는지 여부를 결정할 수도 있다. 현재 블록에 대한 모션 벡터가 현재 블록에 대한 대응하는 참조 화상들까지의 시간적 거리에 비례할 때, 모션 보상 유닛 (44) 은 앞서 논의된 BIO 기술을 블록에 적용할 수도 있다.

일부 예에서, 모션 보상 유닛 (44) 은, (식 (6) 및 식 (7) 에 관하여) 위에서 논의된 기술들 중 어느 하나에 대해, 2개의 모션 벡터가 비영인 때에만 기술이 수행되도록 제약될 수도 있다. 즉, 모션 보상 유닛 (44) 은 2개의 모션 벡터들 (예를 들어, 모션 추정 유닛 (42) 으로부터 수신된 모션 벡터들) 이 비영인지 여부를 결정할 수도 있다. 모션 벡터들 양자 모두가 비영인 경우, 모션 보상 유닛 (44) 은 블록을 예측할 때 전술한 BIO 기술을 수행하도록 진행할 수도 있다. 그러나, 모션 벡터들 중 적어도 하나가 영의 값인 경우, 모션 보상 유닛 (44) 은 블록을 예측할 때 BIO 기술을 수행하는 것을 피할 수도 있다. 모션 보상 유닛 (44) 은 이 결정을, 상술한 바와 같이 모션 벡터들이 시간적 거리에 비례하거나 또는 거의 비례하는지 여부의 결정에 추가적으로 또는 대안으로, 수행할 수도 있다.

일부 예에서, 모션 보상 유닛 (44) 은 구배

및

를 계산할 때 시간적 거리를 추가로 고려할 수도 있다. 특히, 모션 보상 유닛 (44) 은 정상적으로 계산된 구배

및

로부터 수정된 구배

및

를 계산할 수도 있으며, 이러한 수정은 각각의 시간적 거리에 기초한다. 예를 들어, 모션 보상 유닛 (44) 은 진정한 구배

및

과 시간적 거리 TD₀ 및 TD₁ 의 곱으로서 수정된 구배

및

, 예를 들어,

및

를 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한, 진정한 구배와, 참조 화상과 현재 화상 사이의 시간적 거리와 관련된 팩터의 곱으로서, 수정된 구배를 계산할 수도 있다.

부가적으로 또는 대안적으로, 모션 보상 유닛 (44) (또는 모드 선택 유닛 (40)) 은 블록이, 예를 들어 비디오 인코더 (20) 가 조명 보상 플래그 (ic_flag) 에 대해 "참" 의 값을 설정하는, 조명 변화 영역 내에 있는지 여부를 결정할 수도 있다. 모션 보상 유닛 (44) 은 조명 변화 영역에 있는 블록에 BIO 를 위한 특별한 프로세스를 적용할 수도 있다. 일부 예에서, 모션 보상 유닛 (44) 은 블록이 조명 보상 변화 영역에 있을 때 블록에 BIO 를 적용하지 않는다. 대안적으로, 모션 보상 유닛 (44) 은 조명 보상 후에 BIO를 적용할 수도 있고, 또한 BIO에 대한 블록 구배를 계산할 때 조명 보상이 적용될 수도 있다. 대안적으로, 조명 보상 코딩 툴이 인에이블되지 않으면 BIO가 블록에 적용되는지 여부를 나타내기 위해 블록에 대해 또 다른 플래그가 시그널링될 수도 있다.

부가적으로 또는 대안적으로, 예를 들어, 신호 노이즈에 의해 야기되는 부정적인 영향을 피하기 위해, 모션 보상 유닛 (44) 은 BIO 에 관하여 제한될 수도 있다. 예를 들어, 모션 보상 유닛 (44) 은 다음 제한 중 어느 하나 또는 양자 모두로 구성될 수도 있다. (위의 식 (5) 아래 정의된) BIO 오프셋의 범위는 제한될 수도 있다. 최대 값 및/또는 최소 값은 미리 정의되거나 또는 결정된 다음 (예를 들어, SPS, PPS, 슬라이스 헤더 또는 블록 레벨 신택스에서) 시그널링될 수도 있다. 대안적으로, 식 (5) 의 정규 양방향 예측에 대한 최대 및 최소 값은 미리 정의되거나 또는 결정된 다음 시그널링될 수도 있다. 부가적으로 또는 대안적으로, BIO 프로세스 동안 계산된 구배의 범위는 미리 정의된 값 또는 결정된 다음 시그널링된 값에 기초하여 제한될 수도 있다.

부가적으로 또는 대안적으로, 모션 보상 유닛 (44) 은 먼저 BIO 프로세스의 일부로서 유도된 모션 벡터의 신뢰도를 평가할 수도 있다. 픽셀 또는 블록에 대한 BIO 모션 벡터의 신뢰도가 낮을 때, 모션 보상 유닛 (44) 은 BIO 오프셋을 추가하는 것을 피할 수도 있거나, 또는 BIO 오프셋을 추가할 때 BIO 오프셋에 더 작은 가중치를 적용할 수도 있다. 모션 보상 유닛 (44) 은 픽셀에 대한 모션 벡터의 신뢰도를, 그의 BIO 모션과 그의 이웃하는 픽셀들의 BIO 모션의 관계를 분석함으로써 도출할 수도 있다. 예를 들어, 현재 픽셀에 대한 BIO 모션과 현재 픽셀에의 이웃 픽셀에 대한 BIO 모션 사이의 하나 이상의 편차가 클 때, 모션 보상 유닛 (44) 은 현재 픽셀에 대한 BIO 모션의 신뢰도가 낮음을 결정할 수도 있다. 부가적으로 또는 대안적으로, 모션 보상 유닛 (44) 은 블록 내의 픽셀의 BIO 모션을 분석함으로써 블록의 신뢰도를 도출할 수도 있다. 예를 들어, 블록 내에서 BIO 모션의 편차가 클 때, 현재의 BIO 모션의 신뢰도는 낮다고 간주될 수도 있다. 부가적으로 또는 대안적으로, 모션 보상 유닛 (44) 은 픽셀 샘플 값을 분석하는 것에 기초하여 BIO 모션의 신뢰도를 도출할 수도 있다. 예를 들어, 모션 보상 유닛 (44) 은 노이즈 레벨을 추정한 다음, 노이즈 레벨이 높을 때 BIO 모션의 신뢰도가 낮다고 결정할 수도 있다. 모션 보상 유닛 (44) 은 BIO 모션의 신뢰도를 도출하기 위해, 임의의 조합으로 다수의 방법 (전술한 방법 중 어느 것 또는 전부를 포함할 수도 있음) 을 함께 적용할 수도 있다.

(전술된 기술 중 어느 것 또는 전부에 따라, 단독으로 또는 임의의 조합에 따라) 블록에 BIO를 적용하는 것을 결정하는 것에 응답하여, 모션 보상 유닛 (44) 은 (예를 들어, 위의 식 (1) 내지 (5) 에 대해) 위에서 논의된 기술을 적용하여 BIO 에 따라 블록을 예측할 수도 있다.

인트라-예측 유닛 (46) 은, 상술된 바와 같이, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행되는 인터-예측에 대한 대안으로서, 현재 블록을 인트라-예측할 수도 있다 특히, 인트라-예측 유닛 (46) 은 현재 블록을 인코딩하는데 이용할 인트라-예측 모드를 결정할 수도 있다. 일부 예들에서, 인트라-예측 유닛 (46) 은, 예를 들어, 별개의 인코딩 패스들 동안에, 다양한 인트라-예측 모드들을 이용하여 현재 블록을 인코딩할 수도 있고, 인트라-예측 유닛 (46) (또는, 일부 예들에서, 모드 선택 유닛 (40)) 은 테스트된 모드들로부터 이용할 적절한 인트라-예측 모드를 선택할 수도 있다.

예를 들어, 인트라-예측 유닛 (46) 은 다양한 테스트된 인트라-예측 모드들에 대한 레이트 왜곡 분석을 이용하여 레이트 왜곡 값들을 산출하고, 테스트된 모드들 중에서 최상의 레이트 왜곡 특성들을 갖는 인트라-예측 모드를 선택할 수도 있다. 레이트 왜곡 분석은 일반적으로, 인코딩된 블록을 생성하는데 이용된 비트레이트 (즉, 비트들의 수) 뿐만 아니라, 인코딩된 블록을 생성하기 위해 인코딩되었던 원래의, 인코딩되지 않은 블록과 인코딩된 블록 사이의 왜곡 (또는 에러) 의 양을 결정한다. 인트라-예측 유닛 (46) 은 여러 인코딩된 블록들에 대한 레이트 및 왜곡들로부터 비 (ratio) 를 산출하여 어느 인트라-예측 모드가 블록에 대한 최상의 레이트 왜곡 값을 나타내는지를 결정할 수도 있다.

블록에 대한 인트라-예측 모드를 선택한 후에, 인트라 예측 유닛 (46) 은 엔트로피 인코딩 유닛 (56) 에 블록에 대한 선택된 인트라 예측 모드를 나타내는 정보를 제공할 수도 있다. 엔트로피 인코딩 유닛 (56) 은 선택된 인트라 예측 모드를 표시하는 정보를 인코딩할 수도 있다. 비디오 인코더 (20) 는 송신된 비트스트림에서 구성 데이터를 포함할 수도 있고, 이는 복수의 인트라 예측 모드 인덱스 테이블들 및 복수의 수정된 인트라 예측 모드 인덱스 테이블들 (코드워드 맵핑 테이블이라고도 한다), 다양한 블록들을 위한 인코딩 콘텍스트들의 정의들, 그리고 콘텍스트들의 각각을 위해 사용할 최고 확률 인트라 예측 모드의 표시들, 인트라 예측 모드 인덱스 테이블, 및 수정된 인트라 예측 모드 인덱스 테이블을 포함할 수도 있다.

비디오 인코더 (20) 는, 코딩되는 원래 비디오 블록으로부터 모드 선택 유닛 (40) 으로부터의 예측 데이터를 감산함으로써 잔차 비디오 블록을 형성한다. 합산기 (50) 는 이 감산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 변환 처리 유닛 (52) 은 변환, 이를테면 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환을 잔차 블록에 적용하며, 변환 계수 값들을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환, 정수 변환, 서브밴드 변환, DST (Discrete Sine Transform) 또는 다른 유형의 변환을 DCT 대신 사용할 수 있다. 어느 경우든, 변환 처리 유닛 (52) 은 변환을 잔차 블록에 적용하며, 변환 계수들의 블록을 생성한다. 변환은 잔차 정보를 픽셀 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수도 있다. 변환 처리 유닛 (52) 은 양자화 유닛 (54) 에 결과적인 변환 계수들을 전송할 수도 있다. 양자화 유닛 (54) 은 변환 계수들을 양자화하여 비트 레이트를 더 감소시킨다. 양자화 프로세스는 계수들의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수도 있다.

양자화 다음에, 엔트로피 인코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 코딩한다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 CAVLC (context adaptive variable length coding), CABAC (context adaptive binary arithmetic coding), SBAC (syntax-based context-adaptive binary arithmetic coding), PIPE (probability interval partitioning entropy) 코딩 또는 또 다른 엔트로피 코딩 기법을 수행할 수도 있다. 콘텍스트-기반 엔트로피 코딩의 경우, 콘텍스트는 이웃하는 블록들에 기초할 수도 있다. 엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 코딩에 후속하여, 인코딩된 비트스트림은 또 다른 디바이스 (예컨대, 비디오 디코더 (30)) 에 송신될 수도 있거나, 나중의 송신 또는 취출을 위해 아카이빙될 수도 있다.

역 양자화 유닛 (58) 및 역 변환 유닛 (60) 은 역 양자화 및 역 변환을 각각 적용하여, 픽셀 도메인에서 잔차 블록을 재구성한다. 특히, 합산기 (62) 는 재구성된 잔차 블록을 모션 보상 유닛 (44) 또는 인트라 예측 유닛 (46) 에 의해 더 일찍 생성되는 모션 보상된 예측 블록에 가산하여 참조 화상 메모리 (64) 에 저장하기 위해 재구성된 비디오 블록을 생성한다. 재구성된 비디오 블록은 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 참조 블록으로서 사용되어 후속 비디오 프레임에서 블록을 인터-코딩할 수도 있다.

도 6은 양방향 광학 흐름을 위한 기법들을 구현할 수도 있는 비디오 디코더 (30) 의 예를 나타내는 블록도이다. 도 6 의 예에서, 비디오 디코더 (30) 는, 엔트로피 디코딩 유닛 (70), 모션 보상 유닛 (72), 인트라 예측 유닛 (74), 역 양자화 유닛 (76), 역 변환 유닛 (78), 참조 화상 메모리 (82) 및 합산기 (80) 를 포함한다. 비디오 디코더 (30) 는, 일부 예들에서, 비디오 인코더 (20) (도 5) 또는 비디오 인코더 (20’) (도 5b) 에 대해 설명된 인코딩 패스에 일반적으로 상반되는 디코딩 패스를 수행할 수도 있다. 모션 보상 유닛 (72) 은, 엔트로피 디코딩 유닛 (70) 으로부터 수신된 모션 벡터들에 기초하여 예측 데이터를 생성할 수도 있는 한편, 인트라-예측 유닛 (74) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 인트라-예측 모드 표시자들에 기초하여 예측 데이터를 생성할 수도 있다.

디코딩 프로세스 동안, 비디오 디코더 (30) 는 인코딩된 비디오 슬라이스의 비디오 블록들 및 연관된 신택스 엘리먼트들을 나타내는 인코딩된 비디오 비트스트림을 비디오 인코더 (20) 로부터 수신한다. 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70) 은 양자화된 계수들, 모션 벡터들 또는 인트라 예측 모드 표시자들, 및 다른 신텍스 엘리먼트들을 생성하기 위하여 비트스트림을 엔트로피 디코딩한다. 엔트로피 디코딩 유닛 (70) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 모션 보상 유닛 (72) 에 포워딩한다. 비디오 디코더 (30) 는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트들을 수신할 수도 있다.

비디오 슬라이스가 인트라-코딩된 (I) 슬라이스로서 코딩될 때, 인트라 예측 유닛 (74) 은, 현재 프레임 또는 화상의 이전에 디코딩된 블록들로부터 시그널링된 인트라 예측 모드 및 데이터에 기초하여 현재 비디오 슬라이스의 비디오 블록을 위한 예측 데이터를 생성할 수도 있다. 비디오 프레임이 인터-코딩된 (즉, B, P 또는 GPB) 슬라이스로서 코딩될 때, 모션 보상 유닛 (72) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 슬라이스의 비디오 블록을 위한 예측 블록들을 생성한다. 예측 블록들은 참조 화상 리스트들 중의 하나의 리스트 내의 참조 화상들 중의 하나의 참조 화상으로부터 생성될 수도 있다. 비디오 디코더 (30) 는 참조 화상 메모리 (82) 에 저장된 참조 화상들에 기초하여 디폴트 (default) 구성 기법들을 이용하여 참조 프레임 리스트들, 리스트 0 및 리스트 1 을 구성할 수도 있다.

모션 보상 유닛 (72) 은, 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱 (parsing) 하여 현재 비디오 슬라이스의 비디오 블록을 위한 예측 정보를 결정하고, 그 예측 정보를 사용하여 디코딩되고 있는 현재 비디오 블록을 위한 예측 블록들을 생성한다. 예를 들어, 모션 보상 유닛 (72) 은 수신된 신택스 엘리먼트들의 일부를 사용하여 비디오 슬라이스의 비디오 블록들을 코딩하는데 사용된 예측 모드 (예를 들어, 인트라- 또는 인터-예측), 인터-예측 슬라이스 타입 (예를 들어, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스를 위한 참조 화상 리스트들 중의 하나 이상을 위한 구성 정보, 슬라이스의 각 인터-인코딩된 비디오 블록을 위한 모션 벡터들, 슬라이스의 각 인터-코딩된 비디오 블록을 위한 인터-예측 상태, 및 현재 비디오 슬라이스에서 비디오 블록들을 디코딩하기 위한 다른 정보를 결정한다.

모션 보상 유닛 (72) 은 또한, 서브픽셀 정밀도를 위해 보간 필터들에 기초하여 보간을 수행할 수도 있다. 모션 보상 유닛 (72) 은 비디오 블록들의 인코딩 동안 비디오 인코더 (20) 에 의해 이용되는 보간 필터들을 이용하여 참조 블록들의 서브 정수 픽셀들을 위한 보간된 값들을 계산할 수도 있다. 이 경우에, 모션 보상 유닛 (72) 은 수신된 신택스 엘리먼트들로부터 비디오 인코더 (20) 에 의해 이용된 보간 필터들을 결정하고, 그 보간 필터들을 이용하여 예측 블록들을 생성할 수도 있다.

게다가, 모션 보상 유닛 (72) 은 본 개시의 다양한 기법들 중 어느 것 또는 전부를 (단독으로 또는 임의의 조합으로) 수행하도록 구성될 수도 있다. 예를 들어, 모션 보상 유닛 (72) 은 도 4와 관련하여 전술한 BIO 기술을 수행하도록 구성될 수도 있으며, 이하에서 더 상세히 논의된다.

예를 들어, 모션 보상 유닛 (72) 은 양자 모두 시간적으로 현재 화상 전에 (예를 들어, 양자 모두 참조 화상 리스트 0 에) 있거나 또는 양자 모두 시간적으로 현재 화상 후에 (예를 들어, 양자 모두 참조 화상 리스트 1에) 있는 2개의 상이한 참조 화상들을 갖는 블록들에 BIO 를 적용하도록 구성될 수도 있고, 여기서 그 블록들은 현재 화상과 참조 화상 사이의 시간적 거리에 적어도 거의 비례 (예를 들면, 비례 또는 거의 비례) 하는 2개의 모션 벡터를 갖는다.

일 예에서, 모션 보상 유닛 (72) 은 임계치 (Th) 으로 구성될 수도 있거나, 또는 Th 를 나타내는 값을 비트스트림으로부터 (예를 들어, SPS, PPS, 슬라이스 헤더 또는 블록 레벨 신택스에서) 디코딩할 수도 있다. 그 다음, 모션 보상 유닛 (72) 은 식 (7) 을 실행하여 현재 블록에 대한 모션 벡터가 대응하는 참조 화상에 대한 시간적 거리에 거의 비례하는지 여부를 결정할 수도 있다. 현재 블록에 대한 모션 벡터가 현재 블록에 대한 대응하는 참조 화상들까지의 시간적 거리에 거의 비례할 때, 모션 보상 유닛 (72) 은 앞서 논의된 BIO 기술을 블록에 적용할 수도 있다. 특히, 모션 보상 유닛 (72) 은, 모션 보상 유닛 (44) 이 다음으로 예를 들어, 합산기 (80) 에 제공할, 현재 블록에 대한 예측 블록을 형성할 때 BIO 기술을 적용할 수도 있다.

또 다른 예로서, 모션 보상 유닛 (72) 은 식 (6) 을 실행하여 현재 블록에 대한 모션 벡터가 대응하는 참조 화상에 대한 시간적 거리에 비례하는지 여부를 결정하도록 구성될 수도 있다. 현재 블록에 대한 모션 벡터가 현재 블록에 대한 대응하는 참조 화상들까지의 시간적 거리에 비례할 때, 모션 보상 유닛 (72) 은 앞서 논의된 BIO 기술을 블록에 적용할 수도 있다.

일부 예에서, 모션 보상 유닛 (72) 은, (식 (6) 및 식 (7) 에 관하여) 위에서 논의된 기술들 중 어느 하나에 대해, 2개의 모션 벡터들이 비영인 때에만 그 기술이 수행되도록 제약될 수도 있다. 즉, 모션 보상 유닛 (72) 은 엔트로피 디코딩 유닛 (70) 에 의해 디코딩된 2개의 모션 벡터들이 비영 (non-zero) 인지 여부를 결정할 수도 있다. 모션 벡터들 양자 모두가 비영인 경우, 모션 보상 유닛 (72) 은 블록을 예측할 때 전술한 BIO 기술을 수행하도록 진행할 수도 있다. 그러나, 모션 벡터들 중 적어도 하나가 영의 값인 경우, 모션 보상 유닛 (72) 은 블록을 예측할 때 BIO 기술을 수행하는 것을 피할 수도 있다. 모션 보상 유닛 (72) 은 이 결정을, 상술한 바와 같이 모션 벡터들이 시간적 거리에 비례하거나 또는 거의 비례하는지 여부의 결정에 추가적으로 또는 대안적으로, 수행할 수도 있다.

일부 예에서, 모션 보상 유닛 (72) 은 BIO 를 적용할 때 시간적 거리를 추가로 고려할 수도 있다. 식 (4) 에서, 시간적 거리 TD₀ 와 TD₁은 같다고 가정되는데, 이는 항상 참인 것은 아니다. 시간적 거리를 고려하기 위한 하나의 구체적인 방법은, 모션 보상 유닛 (72) 이 정상적으로 계산된 구배

및

로부터 수정된 구배

및

을 계산할 수도 있는 것이며, 이러한 수정은 각각의 시간적 거리에 기초한다. 예를 들어, 모션 보상 유닛 (72) 은 진정한 구배

및

과 시간적 거리 TD₀ 및 TD₁ 의 곱으로서 수정된 구배

및

, 예를 들어,

및

를 계산할 수도 있다. 특히, 위의 방정식으로부터, TD₀ 는 t₀ - t 로 계산될 수도 있는 한편, TD₁ 은 t - t₁으로 계산될 수도 있다. 따라서, TD₀ 및 TD₁ 양자 모두에 대해 Δt가 1 과 같다고 가정하기보다는, 예를 들어 식 (4') 에 나타낸 바와 같이, 현재 화상과 참조 화상 사이의 실제 시간적 거리가 사용될 수도 있다. 모션 보상 유닛 (72) 은 또한, 진정한 구배와, 참조 화상과 현재 화상 사이의 시간적 거리와 관련된 팩터의 곱으로서, 수정된 구배를 계산할 수도 있다.

부가적으로 또는 대안적으로, 모션 보상 유닛 (72) 은 블럭이 참의 값을 갖는 조명 보상 플래그 (ic_flag) 를 포함하는 경우와 같이, 조명 변화 영역에 있는 것으로 표시된 블럭에 BIO 를 위한 특별한 프로세스를 적용할 수도 있다. 일부 예에서, 모션 보상 유닛 (72) 은 블록이 조명 보상 변화 영역에 있을 때 블록에 BIO 를 적용하지 않는다. 대안적으로, 모션 보상 유닛 (72) 은 조명 보상 후에 BIO를 적용할 수도 있고, 또한 BIO에 대한 블록 구배를 계산할 때 조명 보상이 적용될 수도 있다.

부가적으로 또는 대안적으로, 예를 들어, 신호 노이즈에 의해 야기되는 부정적인 영향을 피하기 위해, 모션 보상 유닛 (72) 은 BIO 에 관하여 제한될 수도 있다. 예를 들어, 모션 보상 유닛 (72) 은 다음 제한 중 어느 하나 또는 양자 모두로 구성될 수도 있다. (위의 식 (5) 아래 정의된) BIO 오프셋의 범위는 제한될 수도 있다. 최대 값 및/또는 최소 값은 미리 정의되거나 (예를 들어, SPS, PPS, 슬라이스 헤더 또는 블록 레벨 신택스에서) 시그널링될 수도 있다. 대안적으로, 식 (5) 의 정규 양방향 예측에 대한 최대 및 최소 값은 미리 정의되거나 또는 시그널링될 수도 있다. 부가적으로 또는 대안적으로, BIO 프로세스 동안 계산된 구배의 범위는 미리 정의된 값 또는 시그널링된 값에 기초하여 제한될 수도 있다.

부가적으로 또는 대안적으로, 모션 보상 유닛 (72) 은 먼저 BIO 에 의해 유도된 모션 벡터의 신뢰도를 평가할 수도 있다. 픽셀 또는 블록에 대한 BIO 모션 벡터의 신뢰도가 낮을 때, 모션 보상 유닛 (72) 은 BIO 오프셋을 추가하는 것을 피할 수도 있거나, 또는 BIO 오프셋을 추가할 때 BIO 오프셋에 더 작은 가중치를 적용할 수도 있다. 모션 보상 유닛 (72) 은 픽셀에 대한 모션 벡터의 신뢰도를, 그의 BIO 모션과 그의 이웃하는 픽셀들의 BIO 모션의 관계를 분석함으로써 도출할 수도 있다. 예를 들어, 현재 BIO 모션과 이웃하는 BIO 모션 사이의 편차가 클 때, 현재의 BIO 모션의 신뢰도는 낮다고 간주될 수도 있다. 부가적으로 또는 대안적으로, 모션 보상 유닛 (72) 은 블록 내의 픽셀의 BIO 모션을 분석함으로써 블록의 신뢰도를 도출할 수도 있다. 예를 들어, 블록 내에서 BIO 모션의 편차가 클 때, 현재의 BIO 모션의 신뢰도는 낮다고 간주될 수도 있다. 부가적으로 또는 대안적으로, 모션 보상 유닛 (72) 은 픽셀 샘플 값을 분석하는 것에 기초하여 BIO 모션의 신뢰도를 도출할 수도 있다. 예를 들어, 노이즈 수준이 추정될 수도 있으며, 노이즈 수준이 높으면 BIO 모션의 신뢰도가 낮은 것으로 간주될 수도 있다. BIO 모션의 신뢰도를 도출하기 위해 다수의 방법 (위에 설명된 방법 중 어느 것 또는 전부를 포함할 수도 있음) 이 함께 임의의 조합으로 적용될 수도 있다.

(전술된 기술 중 어느 것 또는 전부에 따라, 단독으로 또는 임의의 조합에 따라) 블록에 BIO를 적용하는 것을 결정하는 것에 응답하여, 모션 보상 유닛 (72) 은 (예를 들어, 위의 식 (1) 내지 (5) 에 대해) 위에서 논의된 기술을 적용하여 BIO 에 따라 블록을 예측할 수도 있다.

역 양자화 유닛 (76) 은 비트스트림에서 제공되고 엔트로피 디코딩 유닛 (70) 에 의해 디코딩된 양자화된 변환 계수들을 역 양자화, 즉 탈양자화한다. 역 양자화 프로세스는, 양자화의 정도, 그리고, 마찬가지로, 적용되어야 하는 역 양자화의 정도를 결정하기 위해, 비디오 슬라이스에서 각 비디오 블록에 대해 비디오 디코더 (30) 에 의해 계산된 양자화 파라미터 QPY 의 이용을 포함할 수도 있다.

역 변환 유닛 (78) 은, 픽셀 도메인에서 잔차 블록들을 생성하기 위해 변환 계수들에, 역 변환, 예를 들어, 역 DCT, 역 정수 변환, 또는 개념적으로 유사한 역 변환 프로세스를 적용한다.

모션 보상 유닛 (72) 이 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 블록을 위한 예측 블록을 생성한 후에, 비디오 디코더 (30)는 역 변환 유닛 (78) 으로부터의 잔차 블록들과 모션 보상 유닛 (72) 에 의해 생성된 대응하는 예측 블록들을 합산함으로써 디코딩된 비디오 블록을 형성한다. 합산기 (80) 는 이 합산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 원하는 경우, 블로키니스 아티팩트 (blockiness artifact) 들을 제거하기 위하여 디코딩된 블록들을 필터링하기 위한 디블록킹 필터가 또한 적용될 수도 있다. (코딩 루프내 또는 코딩 루프 후의) 다른 루프 필터들이 또한 픽셀 천이들을 매끄럽게 하거나 또는 아니면 비디오 품질을 향상시키는데 사용될 수도 있다. 다음으로, 정해진 프레임 또는 화상에서 디코딩된 비디오 블록들은 참조 화상 메모리 (82) 에 저장되고, 이는 후속 모션 보상을 위해 사용된 참조 화상들을 저장한다. 참조 화상 메모리 (82) 는 또한, 도 1의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상에 나중에 표출하기 위해 디코딩된 비디오를 저장한다. 예를 들어, 참조 화상 메모리 (82) 는 디코딩된 화상을 저장할 수도 있다.

도 7은 본 개시의 기법들에 따른 비디오 데이터의 블록을 예측하기 위한 예시적인 방법을 나타내는 플로우차트이다. 도 7의 방법은 도 1 및 도 5의 비디오 인코더 (20) 와 관련하여 설명된다. 그러나, 다른 예들에서, 도 7의 방법을 수행하기 위하여 다른 디바이스들이 구성될 수도 있음을 알아야 한다.

비디오 인코더 (20) 는 참조 화상 메모리 (64) (도 5) 에 저장된 참조 화상으로서 사용하기 위한 화상을 초기에 인코딩한 다음, 이어서 디코딩한다고 가정되지만, 이들 단계들은 도 7의 예에서는 나타내지는 않았다. 다음으로, 비디오 인코더 (20) 는 비디오 데이터 블록을 수신한다 (170). 블록은, 예를 들어, 비디오 데이터의 현재 화상 (또는 화상의 슬라이스) 의 코딩 유닛 (CU) 의 예측 유닛 (PU) 일 수도 있다. 비디오 인코더 (20)는 인트라-예측 또는 인터-예측과 같은, 블록을 예측하는데 다양한 예측 모드 중 어느 것을 사용할지를 결정할 수도 있고, 인터-예측이 결정되면, 단방향 또는 양방향 인터-예측을 사용할지를 결정할 수도 있다. 도 7의 예에서, 비디오 인코더 (20) 는 양 예측을 사용하여 블록을 예측하는 것으로 결정한다 (172). 예를 들어, 비디오 인코더 (20) (특히, 도 5의 모드 선택 유닛 (40)) 는 다양한 가능한 예측 모드들 (예를 들어, 하나 이상의 인트라-예측 모드들 및 참조 화상 메모리 (64) 에 저장된 다양한 디코딩된 참조 화상들로부터 단 또는 양방향 예측) 에 대한 레이트 왜곡 메트릭을 계산하고, 양 예측이 블록에 대한 최상의 레이트 왜곡 메트릭을 낳는 것을 결정한다.

비디오 인코더 (20) (특히, 도 5의 모션 추정 유닛 (42)) 는 양방향 예측에 따라 블록에 대한 모션 벡터들을 더 계산할 수도 있다 (174). 이러한 모션 벡터들은 양자 모두 현재 화상 전에 디스플레이되거나, 양자 모두 현재 화상 후에 디스플레이되거나, 또는 하나는 현재 화상 전에 디스플레이되고 다른 하나는 현재 화상 후에 디스플레이되는 참조 화상들을 지칭할 수도 있다. 예를 들어, 참조 화상들은 양자 모두 참조 화상 리스트 0에서 발생하거나, 양자 모두 참조 화상 리스트 1에서 발생하거나, 또는 하나는 참조 화상 리스트 0에서 발생할 수도 있고 다른 하나는 참조 화상 리스트 1에서 발생할 수도 있다.

이 예에서, 비디오 인코더 (20) 는 블록에 대한 모션 벡터가 공통 시간 방향으로 가리키는지 여부를 결정한다 (176). 즉, 비디오 인코더 (20) 는, 양자 모두 현재 화상 전후에 디스플레이될 참조 화상들을 모션 벡터들이 참조하는지 여부, 예를 들어 참조 화상들이 동일한 참조 화상 리스트 (이를테면 리스트 0 또는 리스트 1) 에서 발생하는지 여부를 결정한다.

2개의 모션 벡터들이 공통 시간 방향을 가리키면 (176 의 "예" 분기), 비디오 인코더 (20) 는 또한, 모션 벡터들이 현재 화상과 대응하는 참조 화상 사이의 시간적 거리에 적어도 거의 비례하는지 여부를 결정할 수도 있다 (178). 시간적 거리는 현재 화상 및 2개의 참조 화상들에 대한 화상 순서 카운트 (POC) 값들 간의 차이에 대응할 수도 있다. "적어도 거의 비례" 한다는 것은 일반적으로 시간적 거리에 거의 비례하거나 또는 시간적 거리에 비례하는 것을 가리킨다. 비디오 인코더 (20) 는 모션 벡터가 시간적 거리에 적어도 거의 비례하는지 여부를 결정하기 위해 전술한 바와 같이 식 (6) 및/또는 (7) 을 실행할 수도 있다.

예를 들어, 비디오 인코더 (20) 는 현재 화상에 대한 POC 값과 제 1 모션 벡터 (MV₀) 가 참조하는 제 1 참조 화상에 대한 POC 값 사이의 제 1 POC 차이를 제 1 시간적 거리 TD₀ 로서, 그리고, 현재 화상에 대한 POC 값과 제 2 모션 벡터 (MV₁) 가 참조하는 제 2 참조 화상에 대한 POC 값 사이의 제 2 POC 차이를 제 2 시간적 거리 TD₀ 로서 결정할 수도 있다. MV₀ 및 MV₁ 은 각각의 x- 및 y- 성분을 포함할 수도 있다. 예를 들어, MV₀ 는 MV_0x 및 MV_0y 성분을 포함할 수도 있으며, 여기서 MV_0x는 수평 오프셋을 나타내고, MV_0y는 현재 화상에서 블록의 위치에 대한 수직 오프셋을 기술하여, 제 1 참조 화상에서 참조 블록을 로케이팅할 위치를 결정한다. 유사하게, MV₁ 는 MV_1x 및 MV_1y 성분을 포함할 수도 있으며, 여기서 MV_1x 는 수평 오프셋을 기술하고, MV_1y는 현재 화상에서 블록의 위치에 대한 수직 오프셋을 기술하여, 제 2 참조 화상에서 참조 블록을 로케이팅할 위치를 결정한다. 다음으로, 비디오 인코더 (20) 는 이들 값들을 사용하여, 모션 벡터들이 시간적 거리에 적어도 거의 비례하는지 여부를 결정하기 위해 식 (6) 및/또는 (7) 중 어느 하나 또는 양자 모두, 또는 다른 유사한 식들을 실행할 수도 있다.

모션 벡터들이 시간적 거리에 적어도 거의 비례하면 (178의 "예" 분기), 비디오 인코더 (20) 는 모션 벡터가 양자 모두 비영인지 여부를 또한 결정할 수도 있다 (180). 즉, 비디오 인코더 (20) 는 각각의 모션 벡터의 x 성분 또는 y 성분 중 적어도 하나가 0보다 큰 절대 값을 갖는지 여부를 결정할 수도 있다. 모션 벡터가 비영인지 여부의 결정 (단계 180) 은 도 7의 예에서 모션 벡터가 시간적 거리에 적어도 거의 비례하는지 여부의 결정 (단계 178) 과 별도의 단계로서 도시되어 있지만, 다른 예들에서, 단계 (178 및 180) 는 단일 단계로서 수행될 수도 있다는 것을 이해해야 한다.

모션 벡터들이 양자 모두 비영이면 (180의 "예" 분기), 또는 모션 벡터들이 공통 시간 방향을 가리키지 않는다면 (176 의 "아니오" 분기), 비디오 인코더 (20) 는 또한, 블록이 조명 변화 영역에 있는지 여부를 결정할 수도 있다 (182). 블록이 조명 변화 영역에 있지 않으면 (182의 "아니오" 분기), 비디오 인코더 (20) 는 예를 들어, 전술한 바와 같이 식 (1) - (5) 에 따라 BIO 를 사용하여 블록을 예측하는 것을 진행할 수도 있다 (184). 대안적으로, BIO 를 사용하여 블록을 예측할 때, 비디오 인코더 (20) 는 시간적 거리 TD₀ 및/또는 TD₁에 따라 구배 계산을 수정할 수도 있다. 예를 들어, 비디오 인코더 (20) 는, 정상적으로 계산된 구배

및

로부터 수정된 구배

및

를, 이를테면

및

를 계산함으로써, 계산할 수도 있다. 다음으로, 비디오 인코더 (20) 는 식 (5) 에서

및

대신에

및

을 사용할 수도 있다.

다른 한편으로, 이 예에서, 모션 벡터가 공통 시간적 방향을 가리켰지만 시간적 거리에 적어도 거의 비례하지 않았거나 (178 의 "아니오" 분기), 모션 벡터들 중 적어도 하나는 영의 값이었거나 (180 의 "아니오" 분기), 또는 블록이 조명 변화 영역에 있는 경우 (182 의 "예" 분기), 비디오 인코더 (20) 는 BIO 를 사용하지 않고서 표준 양 예측을 사용하여 블록을 예측할 수도 있다 (186). 모션 벡터가 공통 시간 방향을 가르키는지 여부, 모션 벡터들이 양자 모두 비영인지 여부, 그리고 블록이 조명 변화 영역에 있는지 여부에 대한 결정은, 다양한 예들에서, 임의의 순서로 또는 병렬로 수행되어, 결정의 순서는 도 7에 도시된 예에 한정되지 않는다.

어느 경우든, BIO를 사용하든 또는 BIO를 사용하지 않든 블록을 예측한 후에, 비디오 인코더 (20) 는 블록에 대한 신택스 엘리먼트들을 엔트로피 인코딩하는 것으로 진행할 수도 있다 (188). 특히, 비디오 인코더 (20) 는 원시, 원래 블록 및 예측된 블록 간의 픽셀-바이-픽셀 차이를 결정하여 잔차 블록을 형성할 수도 있다. 그 후, 비디오 인코더 (20) 는 잔차 블록을 주파수 도메인으로 변환하여 변환 계수를 형성한 다음, 변환 계수를 양자화할 수도 있다. 다음으로, 비디오 인코더 (20) 는 양자화된 변환 계수를 엔트로피 인코딩할 수도 있다. 비디오 인코더 (20) 는 또한, 블록이 양 예측을 사용하여 예측된다는 표시, 모션 벡터들 (예를 들어, 병합 모드 또는 어드밴스드 모션 벡터 예측 (AMVP) 을 사용), 블록이 조명 변화 영역에 있는지 여부를 표현하는 조명 보상 플래그 (ic_flag) 등과 같은 다른 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다.

이러한 방식으로, 도 7의 방법은 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계, 상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하는 단계, 상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하는 단계, 상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하는 단계, 상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하는 단계, 및 MV₀, MV₁, TD₀ 및 TD₁을 사용하여 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 인코딩하는 단계를 포함하는 비디오 데이터를 인코딩하는 방법의 일례를 나타낸다.

도 8은 본 개시의 기법들에 따른 비디오 데이터의 블록을 디코딩하는 예시적인 방법을 나타내는 플로우차트이다. 도 8의 방법은 도 1 및 도 6의 비디오 디코더 (30) 와 관련하여 설명된다. 그러나, 다른 예들에서, 도 8의 방법을 수행하기 위하여 다른 디바이스들이 구성될 수도 있음을 알아야 한다.

비디오 디코더 (30) 는 초기에 현재 화상을 위한 참조 화상으로서 사용하기 위해 화상들을 디코딩하며, 여기서 참조 화상들은 참조 화상 메모리 (82) (도 6) 에 저장된다고 가정되지만, 이들 단계들은 도 8의 예에서는 나타내지는 않았다. 다음으로, 비디오 디코더 (30) 는 현재 화상의 현재 블록에 대한 신택스 엘리먼트들을 엔트로피 디코딩한다 (200). 예를 들어, 비디오 디코더 (30) 는 예측 모드 (예를 들어, 인트라- 또는 인터-예측 모드) 를 나타내는 신택스 엘리먼트들, 및 예를 들어, 인터-예측과 같은 예측 모드를 위한 대응하는 신택스 엘리먼트들, 병합 모드 또는 AMVP 와 관련된 신택스 엘리먼트들, 그리고 현재 블록을 위한 잔차 블록을 재생하는데 사용될 양자화된 잔차 계수들을 엔트로피 디코딩할 수도 있다.

도 8의 예에서, 비디오 디코더 (30) 는, 예를 들어, 현재 블록에 대한 엔트로피 디코딩된 신택스 엘리먼트에 기초하여 양 예측을 사용하여 현재 블록을 예측하기로 결정한다 (202). 따라서, 현재 블록을 위해 엔트로피 디코딩된 신택스 엘리먼트를 다시 사용하여, 비디오 디코더 (30) 는 블록을 위한 모션 벡터들을 디코딩한다 (204). 모션 벡터들은 참조 화상 메모리 (82) 에 저장된 참조 화상들을 참조할 수도 있는데, 이들은 양자 모두 디스플레이 순서에서 현재 화상 전에 일어날 수도 있거나, 양자 모두 디스플레이 순서에서 현재 화상 후에 일어날 수도 있거나, 또는 하나는 디스플레이 순서에서 현재 화상 전에 일어날 수도 있고 다른 하나는 디스플레이 순서에서 현재 화상 후에 일어날 수도 있다.

이 예에서, 비디오 디코더 (30) 는 블록에 대한 모션 벡터가 공통 시간 방향을 가리키는지 여부를 결정한다 (206). 즉, 비디오 디코더 (30) 는, 양자 모두 현재 화상 전후에 디스플레이될 참조 화상들을 모션 벡터들이 참조하는지 여부, 예를 들어 참조 화상들이 동일한 참조 화상 리스트 (이를테면 리스트 0 또는 리스트 1) 에서 발생하는지 여부를 결정한다.

2개의 모션 벡터들이 공통 시간 방향을 가리키면 (206 의 "예" 분기), 비디오 디코더 (30) 는 또한, 모션 벡터들이 현재 화상과 대응하는 참조 화상 사이의 시간적 거리에 적어도 거의 비례하는지 여부를 결정할 수도 있다 (208). 시간적 거리는 현재 화상 및 2개의 참조 화상들에 대한 화상 순서 카운트 (POC) 값들 간의 차이에 대응할 수도 있다. "적어도 거의 비례" 한다는 것은 일반적으로 시간적 거리에 거의 비례하거나 또는 시간적 거리에 비례하는 것을 가리킨다. 비디오 디코더 (30) 는 모션 벡터들이 시간적 거리에 적어도 거의 비례하는지 여부를 결정하기 위해 전술한 바와 같이 식 (6) 및/또는 (7) 을 실행할 수도 있다.

예를 들어, 비디오 디코더 (30) 는 현재 화상에 대한 POC 값과 제 1 모션 벡터 (MV₀) 가 참조하는 제 1 참조 화상에 대한 POC 값 사이의 제 1 POC 차이를 제 1 시간적 거리 TD₀ 로서, 그리고, 현재 화상에 대한 POC 값과 제 2 모션 벡터 (MV₁) 가 참조하는 제 2 참조 화상에 대한 POC 값 사이의 제 2 POC 차이를 제 2 시간적 거리 TD₀ 로서 결정할 수도 있다. MV₀ 및 MV₁ 은 각각의 x- 및 y- 성분을 포함할 수도 있다. 예를 들어, MV₀ 는 MV_0x 및 MV_0y 성분을 포함할 수도 있으며, 여기서 MV_0x는 수평 오프셋을 나타내고, MV_0y는 현재 화상에서 블록의 위치에 대한 수직 오프셋을 기술하여, 제 1 참조 화상에서 참조 블록을 로케이팅할 위치를 결정한다. 유사하게, MV₁ 는 MV_1x 및 MV_1y 성분을 포함할 수도 있으며, 여기서 MV_1x 는 수평 오프셋을 기술하고, MV_1y는 현재 화상에서 블록의 위치에 대한 수직 오프셋을 기술하여, 제 2 참조 화상에서 참조 블록을 로케이팅할 위치를 결정한다. 다음으로, 비디오 디코더 (30) 는 이들 값들을 사용하여, 모션 벡터들이 시간적 거리에 적어도 거의 비례하는지 여부를 결정하기 위해 식 (6) 및/또는 (7) 중 어느 하나 또는 양자 모두, 또는 다른 유사한 식들을 실행할 수도 있다.

전술한 바와 같이, 도 8의 예에서는 도시되지 않았지만, 식 (6) 및/또는 식 (7) 을 계산하는 것은 임계 값 Th 의 사용을 수반할 수도 있다. 비디오 디코더 (30) 는 Th 을 위한 값을 정의하는 구성 데이터를 저장할 수도 있다. 부가적으로 또는 대안적으로, 비디오 디코더 (30) 는 Th를 나타내는 신택스 엘리먼트를 위한 값을 디코딩할 수도 있다. 예를 들어, 비디오 디코더 (30) 는 비디오 파라미터 세트 (VPS), 시퀀스 파라미터 세트 (SPS), 화상 파라미터 세트 (PPS), 슬라이스 헤더 및/또는 블록-레벨 신택스 데이터 중 일부 또는 전부의 부분으로서 이 값을 수신할 수도 있다.

모션 벡터들이 시간적 거리에 적어도 거의 비례하면 (208의 "예" 분기), 비디오 디코더 (30) 는 모션 벡터들이 양자 모두 비영인지 여부를 또한 결정할 수도 있다 (210). 즉, 비디오 디코더 (30) 는 모션 벡터들의 각각의 모션 벡터의 x 성분 또는 y 성분 중 적어도 하나가 0보다 큰 절대 값을 갖는지 여부를 결정할 수도 있다. 모션 벡터들이 비영인지 여부의 결정 (단계 210) 은 도 8의 예에서 모션 벡터들이 시간적 거리에 적어도 거의 비례하는지 여부의 결정 (단계 208) 과는 별도의 단계로서 도시되어 있지만, 다른 예들에서, 단계 (208 및 210) 는 단일 단계로서 수행될 수도 있다는 것을 이해해야 한다.

모션 벡터들이 양자 모두 비영이면 (210의 "예" 분기), 또는 모션 벡터들이 공통 시간 방향을 가리키지 않는다면 (206 의 "아니오" 분기), 비디오 디코더 (30) 는 또한, 블록이 조명 변화 영역에 있는지 여부를 결정할 수도 있다 (212). 예를 들어, 비디오 디코더 (30) 는 조명 보상 플래그 (ic_flag) 를 위한 값을 결정하여 블록이 조명 변화 영역에 있는지 여부를 결정할 수도 있다. 특히, 일 예에서, ic_flag 의 값이 참이면, 비디오 디코더 (30) 는 블록이 조명 변화 영역에 있다고 결정한다. 블록이 조명 변화 영역에 있지 않으면 (212의 "아니오" 분기), 비디오 디코더 (30) 는 예를 들어, 전술한 바와 같이 식 (1) - (5) 에 따라 BIO 를 사용하여 블록을 예측하는 것을 진행할 수도 있다 (214). 대안적으로, BIO 를 사용하여 블록을 예측할 때, 비디오 디코더 (30) 는 시간적 거리 TD₀ 및/또는 TD₁에 따라 구배 계산을 수정할 수도 있다. 예를 들어, 비디오 디코더 (30) 는, 정상적으로 계산된 구배

및

로부터 수정된 구배

및

를, 이를테면

및

을 계산함으로써, 계산할 수도 있다. 다음으로, 비디오 디코더 (30) 는 식 (5) 에서

및

대신에

및

을 사용할 수도 있다.

다른 한편으로, 이 예에서, 모션 벡터들이 공통 시간 방향을 가리켰지만 시간적 거리에 적어도 거의 비례하지 않았거나 (208 의 "아니오" 분기), 모션 벡터들 중 적어도 하나는 영의 값이거나 (210 의 "아니오" 분기), 또는 블록이 조명 변화 영역에 있는 경우 (212 의 "예" 분기), 비디오 디코더 (30) 는 BIO 를 사용하지 않고서 표준 양 예측을 사용하여 블록을 예측할 수도 있다 (216). 모션 벡터들이 공통 시간 방향을 가르키는지 여부, 모션 벡터들이 양자 모두 비영인지 여부 및 블록이 조명 변화 영역에 있는지 여부에 대한 결정은, 다양한 예들에서, 임의의 순서로 또는 병렬로 수행되어, 결정의 순서는 도 7에 도시된 예에 한정되지 않는다.

어느 경우든, BIO를 사용하든 또는 BIO를 사용하지 않든 블록을 예측한 후에, 비디오 디코더 (30) 는 블록을 재생하는 것으로 진행할 수도 있다 (218). 특히, 비디오 디코더 (30) 는 양자화된 변환 계수를 역 양자화하여 변환 계수를 재생할 수도 있다. 그 다음, 비디오 디코더 (30) 는 변환 계수를 역 변환하여 현재 블록에 대한 잔차 블록을 재생할 수도 있다. 그 후, 비디오 디코더 (30) 는 잔차 블록과 예측된 블록을 (픽셀 바이 픽셀에 기반해) 결합하여 원래 블록을 재생한다. 이 재생된 현재 블록은 또한 디코딩된 블록으로 지칭될 수도 있다.

이러한 방식으로, 도 8의 방법은 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이한, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계, 현재 화상에 대한 참조 화상 리스트에 상기 제 1 참조 화상을 추가하는 단계로서, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상을 추가하는 단계, 상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하는 단계, 상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하는 단계, 상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하는 단계, 상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하는 단계, 및 MV₀, MV₁, TD₀ 및 TD₁을 사용하여 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하는 단계를 포함하는 비디오 데이터를 디코딩하는 방법의 일례를 나타낸다.

예에 따라, 여기에 설명된 기술들 중 어느 것의 특정 행위들 또는 이벤트들이 상이한 시퀀스에서 수행될 수 있거나, 추가될 수 있거나, 병합될 수 있거나, 또는 전부 생략될 수 있다 (예를 들어, 모든 설명된 행위들 또는 이벤트들이 그 기술들의 실시를 위해 필요한 것은 아니다) 는 것이 인식되야 한다. 또한, 특정 예들에서, 행위들 또는 이벤트들은, 예를 들어, 순차적이기 보다는 멀티스레드 프로세싱, 인터럽트 프로세싱 또는 멀티플 프로세서들을 통해, 동시적으로 수행될 수도 있다.

하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령 또는 코드로서 저장되거나 송신될 수도 있고 하드웨어 기반 처리 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는, 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체, 또는 예를 들면, 통신 프로토콜에 따라, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수도 있다. 이런 방식으로, 컴퓨터 판독가능 매체는 일반적으로, (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는, 본 개시에서 설명된 기법들의 구현을 위해 명령들, 코드 및/또는 데이터 구조들을 취출하기 위하여 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.

제한이 아닌 예로서, 이러한 컴퓨터-판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령들 또는 데이터 구조들의 형태로 희망하는 프로그램 코드를 저장하기 위해 이용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다. 예를 들어, 명령들이 동축 케이블, 광섬유 케이블, 연선 (twisted pair), 디지털 가입자 라인 (DSL), 또는 적외선, 전파 (radio), 및 마이크로파와 같은 무선 기술을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 그 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 전파, 및 마이크로파와 같은 무선 기술은 매체의 정의 내에 포함된다. 하지만, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 접속, 캐리어 파, 신호 또는 다른 일시적 매체를 포함하는 것이 아니라, 대신에 비일시적, 유형의 저장 매체에 관련된다는 것이 이해되야 한다. 여기에 사용된, 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크 (laser disc), 광 디스크 (optical disc), DVD (digital versatile disc), 플로피 디스크 (floppy disk) 및 블루레이 디스크 (Blu-ray disc) 를 포함하며, 여기서, 디스크 (disk) 는 보통 데이터를 자기적으로 재생하지만, 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 또한, 상기의 조합은 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.

명령들은 하나 이상의 프로세서, 이를테면 하나 이상의 DSP (digital signal processor), 범용 마이크로프로세서, ASIC (application specific integrated circuit), FPGA (field programmable logic array), 또는 다른 등가 집적 또는 이산 로직 회로에 의해 실행될 수도 있다. 따라서, 본원에 사용된 용어 "프로세서" 는 전술한 구조 중 임의의 것 또는 본원에 설명된 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 추가로, 일부 양태들에서, 여기서 설명된 기능은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공되거나 또는 결합된 코덱에 포함될 수도 있다. 또한, 그 기법들은 하나 이상의 회로 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.

본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC 들의 세트 (예를 들면, 칩 세트) 를 포함하여, 광범위하게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이, 개시된 기술들을 수행하도록 구성된 디바이스들의 기능적인 양태들을 강조하기 위하여 본 개시에 설명되었지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하는 것은 아니다. 오히려, 상술된 바처럼, 다양한 유닛들이 코덱 하드웨어 유닛에 결합될 수도 있거나, 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 상술된 하나 이상의 프로세서들을 포함하는 연동적인 (interoperative) 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.

다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims (49)

1. 비디오 데이터를 디코딩하는 방법으로서,
   제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계;
   상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하는 단계;
   상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하는 단계;
   상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하는 단계;
   상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하는 단계; 및
   MV₀, MV₁, TD₀ 및 TD₁을 사용하여 상기 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하는 단계
   를 포함하는, 비디오 데이터를 디코딩하는 방법.
2. 제 1 항에 있어서,
   상기 현재 블록을 BI0에 따라 디코딩하는 단계는, MV₀ 와 MV₁이 TD₀ 및 TD₁에 거의 비례할 때 상기 현재 블록을 BI0에 따라 디코딩하는 단계를 포함하고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고,
   임계 값 (Th) 을 결정하는 단계; 및
   

   

   일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 거의 비례한다고 결정하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
3. 제 2 항에 있어서,
   Th를 결정하는 단계는 Th를 정의하는 구성 데이터를 취출하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
4. 제 2 항에 있어서,
   Th를 결정하는 단계는 Th를 정의하는 신택스 엘리먼트를 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
5. 제 4 항에 있어서,
   상기 신택스 엘리먼트를 디코딩하는 단계는 상기 신택스 엘리먼트를 포함하는 시퀀스 파라미터 세트 (SPS), 상기 신택스 엘리먼트를 포함하는 화상 파라미터 세트 (PPS), 상기 신택스 엘리먼트를 포함하는 슬라이스 헤더, 또는 상기 신택스 엘리먼트를 포함하는 블록 레벨 신택스 중 적어도 하나를 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
6. 제 1 항에 있어서,
   상기 현재 블록을 BI0에 따라 디코딩하는 단계는, MV₀ 와 MV₁이 TD₀ 및 TD₁에 비례할 때 상기 현재 블록을 BI0에 따라 디코딩하는 단계를 포함하고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고,
   

   

   일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 비례한다고 결정하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
7. 제 1 항에 있어서,
   상기 현재 블록을 BI0에 따라 디코딩하는 단계는, MV₀ 와 MV₁이 비영일 때에만 상기 현재 블록을 BI0에 따라 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
8. 제 1 항에 있어서,
   상기 현재 블록을 BIO에 따라 디코딩하는 단계는 상기 현재 화상의 상기 현재 블록의 조명 보상 플래그 (ic_flag) 가 상기 현재 블록이 조명 변화 영역에 있지 않음을 나타내는 값을 가지는 때에만 상기 현재 블록을 BIO에 따라 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
9. 제 1 항에 있어서,
   상기 현재 블록을 BIO에 따라 디코딩하는 단계는 다음 식:
   

   

   
   에 따라 상기 현재 블록을 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
10. 제 1 항에 있어서,
    상기 현재 블록을 BI0에 따라 디코딩하는 단계는 상기 제 1 참조 화상에 대한 구배 (G_x), 상기 제 2 참조 화상에 대한 구배 (G_y), TD₀ 및 TD₁에 적어도 부분적으로 기초하여 상기 현재 블록을 디코딩하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
11. 제 10 항에 있어서,
    상기 현재 블록을 디코딩하는 단계는

    

    및

    

    을 사용하여 상기 현재 블록을 디코딩하는 단계를 포함하고, 여기서,

    

    및

    

    인, 비디오 데이터를 디코딩하는 방법.
12. 제 10 항에 있어서,
    상기 현재 블록을 디코딩하는 단계는

    

    및

    

    을 사용하여 상기 현재 블록을 디코딩하는 단계를 포함하고, 여기서

    

    은

    

    및 TD₀에 관련된 팩터로부터 계산되고,

    

    은

    

    및 TD₁에 관련된 팩터로부터 계산되는, 비디오 데이터를 디코딩하는 방법.
13. 제 1 항에 있어서,
    상기 제 1 참조 화상을 상기 현재 화상에 대한 참조 화상 리스트 0에 추가하는 단계; 및
    상기 제 2 참조 화상을 상기 현재 화상에 대한 참조 화상 리스트 0에 추가하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
14. 제 1 항에 있어서,
    상기 제 1 참조 화상을 상기 현재 화상에 대한 참조 화상 리스트 1에 추가하는 단계; 및
    상기 제 2 참조 화상을 상기 현재 화상에 대한 참조 화상 리스트 1에 추가하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
15. 제 1 항에 있어서,
    TD₀ 를 결정하는 단계는 상기 현재 화상에 대한 현재 화상 순서 카운트 (POC) 값과 상기 제 1 참조 화상에 대한 제 1 POC 값 간의 제 1 차이와 동일한 것으로서 TD₀을 계산하는 단계를 포함하고, 그리고
    TD₁ 를 결정하는 단계는 상기 현재 화상에 대한 상기 현재 POC 값과 상기 제 2 참조 화상에 대한 제 2 POC 값 간의 제 2 차이와 동일한 것으로서 TD₁을 계산하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
16. 비디오 데이터를 인코딩하는 방법으로서,
    제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 단계;
    상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하는 단계;
    상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하는 단계;
    상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하는 단계;
    상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하는 단계; 및
    MV₀, MV₁, TD₀ 및 TD₁을 사용하여 상기 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 인코딩하는 단계
    를 포함하는, 비디오 데이터를 인코딩하는 방법.
17. 제 16 항에 있어서,
    상기 현재 블록을 BI0에 따라 인코딩하는 단계는, MV₀ 와 MV₁이 TD₀ 및 TD₁에 거의 비례할 때 상기 현재 블록을 BI0에 따라 인코딩하는 단계를 포함하고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고,
    임계 값 (Th) 을 결정하는 단계; 및
    

    

    일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 거의 비례한다고 결정하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
18. 제 17 항에 있어서,
    Th 를 정의하는 신택스 엘리먼트에 대한 값을 인코딩하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
19. 제 18 항에 있어서,
    상기 신택스 엘리먼트를 인코딩하는 단계는 상기 신택스 엘리먼트를 포함하는 시퀀스 파라미터 세트 (SPS), 상기 신택스 엘리먼트를 포함하는 화상 파라미터 세트 (PPS), 상기 신택스 엘리먼트를 포함하는 슬라이스 헤더, 또는 상기 신택스 엘리먼트를 포함하는 블록 레벨 신택스 중 적어도 하나를 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
20. 제 16 항에 있어서,
    상기 현재 블록을 BI0에 따라 인코딩하는 단계는, MV₀ 와 MV₁이 TD₀ 및 TD₁에 비례할 때 상기 현재 블록을 BI0에 따라 인코딩하는 단계를 포함하고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고,
    

    

    일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 비례한다고 결정하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
21. 제 16 항에 있어서,
    상기 현재 블록을 BI0에 따라 인코딩하는 단계는, MV₀ 와 MV₁이 비영일 때에만 상기 현재 블록을 BI0에 따라 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
22. 제 16 항에 있어서,
    상기 현재 블록을 BI0에 따라 인코딩하는 단계는, 상기 현재 블록이 조명 변화 영역에 있지 않은 때에만 상기 현재 블록을 BI0에 따라 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
23. 제 16 항에 있어서,
    상기 현재 블록을 BIO에 따라 인코딩하는 단계는 다음 식:
    

    

    
    에 따라 상기 현재 블록을 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
24. 제 16 항에 있어서,
    상기 현재 블록을 BI0에 따라 인코딩하는 단계는 상기 제 1 참조 화상에 대한 구배 (G_x), 상기 제 2 참조 화상에 대한 구배 (G_y), TD₀ 및 TD₁에 적어도 부분적으로 기초하여 상기 현재 블록을 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
25. 제 24 항에 있어서,
    상기 현재 블록을 인코딩하는 단계는

    

    및

    

    을 사용하여 상기 현재 블록을 인코딩하는 단계를 포함하고, 여기서,

    

    및

    

    인, 비디오 데이터를 인코딩하는 방법.
26. 제 24 항에 있어서,
    상기 현재 블록을 인코딩하는 단계는

    

    및

    

    을 사용하여 상기 현재 블록을 인코딩하는 단계를 포함하고, 여기서

    

    은

    

    및 TD₀에 관련된 팩터로부터 계산되고,

    

    은

    

    및 TD₁에 관련된 팩터로부터 계산되는, 비디오 데이터를 인코딩하는 방법.
27. 비디오 데이터를 디코딩하기 위한 디바이스로서,
    비디오 데이터를 저장하도록 구성된 메모리; 및
    하나 이상의 프로세서들을 포함하고
    상기 프로세서들은
    상기 비디오 데이터의 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 것으로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하고;
    상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하고;
    상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하고;
    상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하고;
    상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하고; 그리고
    MV₀, MV₁, TD₀ 및 TD₁을 사용하여 상기 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
28. 제 27 항에 있어서,
    상기 프로세서들은 MV₀ 와 MV₁이 TD₀ 및 TD₁에 거의 비례할 때 상기 현재 블록을 BI0에 따라 디코딩하도록 구성되고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고, 상기 프로세서들은 또한
    임계 값 (Th) 을 결정하고; 그리고
    

    

    일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 거의 비례한다고 결정하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
29. 제 27 항에 있어서,
    상기 프로세서들은 MV₀ 와 MV₁이 TD₀ 및 TD₁에 비례할 때 상기 현재 블록을 BI0에 따라 디코딩하도록 구성되고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고,
    MV₀ 및 MV₁이 TD₀ 및 TD₁에 비례하는지 여부를 결정하는 것을 더 포함하고,
    

    

    일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 비례한다고 결정하는 것을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.
30. 제 27 항에 있어서,
    상기 프로세서들은, MV₀ 와 MV₁이 비영일 때에만 상기 현재 블록을 BI0에 따라 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
31. 제 27 항에 있어서,
    상기 프로세서들은 상기 현재 화상의 상기 현재 블록의 조명 보상 플래그 (ic_flag) 가 상기 현재 블록이 조명 변화 영역에 있지 않음을 나타내는 값을 가지는 때에만 상기 현재 블록을 BIO에 따라 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
32. 제 27 항에 있어서,
    상기 프로세서들은 다음 식:
    

    

    
    을 사용하여 상기 현재 블록을 BIO에 따라 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
33. 제 27 항에 있어서,
    상기 프로세서들은, 상기 제 1 참조 화상에 대한 구배 (G_x), 상기 제 2 참조 화상에 대한 구배 (G_y), TD₀ 및 TD₁에 적어도 부분적으로 기초하여 상기 현재 블록을 디코딩하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스.
34. 제 27 항에 있어서,
    상기 디바이스는 디코딩된 현재 블록을 포함하는 화상을 디스플레이하도록 구성된 디스플레이를 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.
35. 제 27 항에 있어서,
    상기 디바이스는 카메라, 컴퓨터, 모바일 디바이스, 브로드캐스트 수신기 디바이스 또는 셋탑 박스 중 하나 이상을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스.
36. 비디오 데이터의 화상을 디코딩하기 위한 디바이스로서,
    제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 수단으로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하는 수단;
    상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하는 수단;
    상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하는 수단;
    상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하는 수단;
    상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하는 수단; 및
    MV₀, MV₁, TD₀ 및 TD₁을 사용하여 상기 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하는 수단
    을 포함하는, 비디오 데이터의 화상을 디코딩하기 위한 디바이스.
37. 제 36 항에 있어서,
    상기 현재 블록을 BI0 에 따라 디코딩하는 수단은, MV₀ 와 MV₁이 TD₀ 및 TD₁에 거의 비례할 때 상기 현재 블록을 BI0에 따라 디코딩하는 수단을 포함하고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고,
    임계 값 (Th) 을 결정하는 수단; 및
    

    

    일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 거의 비례한다고 결정하는 수단을 더 포함하는, 비디오 데이터의 화상을 디코딩하기 위한 디바이스.
38. 제 36 항에 있어서,
    상기 현재 블록을 BI0에 따라 디코딩하는 수단은, MV₀ 와 MV₁이 TD₀ 및 TD₁에 비례할 때 상기 현재 블록을 BI0에 따라 디코딩하는 수단을 포함하고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고,
    

    

    일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 비례한다고 결정하는 수단을 더 포함하는, 비디오 데이터의 화상을 디코딩하기 위한 디바이스.
39. 제 36 항에 있어서,
    상기 현재 블록을 BI0에 따라 디코딩하는 수단은, MV₀ 와 MV₁이 비영일 때에만 상기 현재 블록을 BI0에 따라 디코딩하는 수단을 포함하는, 비디오 데이터의 화상을 디코딩하기 위한 디바이스.
40. 제 36 항에 있어서,
    상기 현재 블록을 BIO에 따라 디코딩하는 수단은 상기 현재 화상의 상기 현재 블록의 조명 보상 플래그 (ic_flag) 가 상기 현재 블록이 조명 변화 영역에 있지 않음을 나타내는 값을 가지는 때에만 상기 현재 블록을 BIO에 따라 디코딩하는 수단을 포함하는, 비디오 데이터의 화상을 디코딩하기 위한 디바이스.
41. 제 36 항에 있어서,
    상기 현재 블록을 BIO에 따라 디코딩하는 수단은 다음 식:
    

    

    
    에 따라 상기 현재 블록을 디코딩하는 수단을 포함하는, 비디오 데이터의 화상을 디코딩하기 위한 디바이스.
42. 제 36 항에 있어서,
    상기 현재 블록을 BI0에 따라 디코딩하는 수단은 상기 제 1 참조 화상에 대한 구배 (G_x), 상기 제 2 참조 화상에 대한 구배 (G_y), TD₀ 및 TD₁에 적어도 부분적으로 기초하여 상기 현재 블록을 디코딩하는 수단을 포함하는, 비디오 데이터의 화상을 디코딩하기 위한 디바이스.
43. 명령들이 저장되는 컴퓨터 판독가능 저장 매체로서, 상기 명령들은 실행될 때 비디오 데이터를 디코딩하기 위한 디바이스의 프로세서로 하여금
    제 1 참조 화상 및 제 2 참조 화상을 디코딩하게 하는 것으로서, 상기 제 2 참조 화상은 상기 제 1 참조 화상과는 상이하고, 상기 제 1 참조 화상 및 상기 제 2 참조 화상은 양자 모두가 현재 화상 전에 디스플레이되거나 또는 양자 모두가 상기 현재 화상 후에 디스플레이되는 것 중 어느 일방인, 상기 제 1 참조 화상 및 제 2 참조 화상을 디코딩하게 하고;
    상기 현재 화상의 현재 블록으로부터 상기 제 1 참조 화상의 제 1 참조 블록으로의 제 1 모션 벡터 (MV₀) 를 결정하게 하고;
    상기 현재 블록으로부터 상기 제 2 참조 화상의 제 2 참조 블록으로의 제 2 모션 벡터 (MV₁) 를 결정하게 하고;
    상기 현재 화상으로부터 상기 제 1 참조 화상으로의 제 1 시간적 거리 (TD₀) 를 결정하게 하고;
    상기 현재 화상으로부터 상기 제 2 참조 화상으로의 제 2 시간적 거리 (TD₁) 를 결정하게 하고; 그리고
    MV₀, MV₁, TD₀ 및 TD₁을 사용하여 상기 현재 블록을 양방향 광학 흐름 (BIO) 에 따라 디코딩하게 하는, 컴퓨터 판독가능 저장 매체.
44. 제 43 항에 있어서,
    상기 프로세서로 하여금 상기 현재 블록을 BI0에 따라 디코딩하게 하는 명령들은, 상기 프로세서로 하여금 MV₀ 와 MV₁이 TD₀ 및 TD₁에 거의 비례할 때 상기 현재 블록을 BI0에 따라 디코딩하게 하는 명령들을 포함하고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고,
    상기 프로세서로 하여금
    임계 값 (Th) 을 결정하게 하고; 그리고
    

    

    일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 거의 비례한다고 결정하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
45. 제 43 항에 있어서,
    상기 프로세서로 하여금 상기 현재 블록을 BI0에 따라 디코딩하게 하는 명령들은, 상기 프로세서로 하여금 MV₀ 와 MV₁이 TD₀ 및 TD₁에 비례할 때 상기 현재 블록을 BI0에 따라 디코딩하게 하는 명령들을 포함하고, MV₀는 x 성분 (MV_0x) 및 y 성분 (MV_0y) 을 포함하고, MV₁는 x 성분 (MV_1x) 및 y 성분 (MV_1y) 을 포함하고,
    상기 프로세서로 하여금
    

    

    일 때 MV₀ 및 MV₁이 TD₀ 및 TD₁ 에 비례한다고 결정하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
46. 제 43 항에 있어서,
    상기 프로세서로 하여금 상기 현재 블록을 BI0에 따라 디코딩하게 하는 명령들은, 상기 프로세서로 하여금 MV₀ 와 MV₁이 비영일 때에만 상기 현재 블록을 BI0에 따라 디코딩하게 하는 명령들을 포함하는, 컴퓨터 판독가능 저장 매체.
47. 제 43 항에 있어서,
    상기 프로세서로 하여금 상기 현재 블록을 BIO에 따라 디코딩하게 하는 명령들은 상기 프로세서로 하여금 상기 현재 화상의 상기 현재 블록의 조명 보상 플래그 (ic_flag) 가 상기 현재 블록이 조명 변화 영역에 있지 않음을 나타내는 값을 가지는 때에만 상기 현재 블록을 BIO에 따라 디코딩하게 하는 명령들을 포함하는, 컴퓨터 판독가능 저장 매체.
48. 제 43 항에 있어서,
    상기 프로세서로 하여금 상기 현재 블록을 BI0에 따라 디코딩하게 하는 명령들은, 상기 프로세서로 하여금 다음 식:
    

    

    
    에 따라 상기 현재 블록을 디코딩하게 하는 명령들을 포함하는, 컴퓨터 판독가능 저장 매체.
49. 제 43 항에 있어서,
    상기 프로세서로 하여금 상기 현재 블록을 BI0에 따라 디코딩하게 하는 명령들은 상기 프로세서로 하여금 상기 제 1 참조 화상에 대한 구배 (G_x), 상기 제 2 참조 화상에 대한 구배 (G_y), TD₀ 및 TD₁에 적어도 부분적으로 기초하여 상기 현재 블록을 디코딩하게 하는 명령들을 포함하는, 컴퓨터 판독가능 저장 매체.

Images