KR101855975B1 - 모션 보상 예측을 위한 방법 및 장치 - Google Patents

모션 보상 예측을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101855975B1
KR101855975B1 KR1020177015861A KR20177015861A KR101855975B1 KR 101855975 B1 KR101855975 B1 KR 101855975B1 KR 1020177015861 A KR1020177015861 A KR 1020177015861A KR 20177015861 A KR20177015861 A KR 20177015861A KR 101855975 B1 KR101855975 B1 KR 101855975B1
Authority
KR
South Korea
Prior art keywords
sample
bit depth
fractional
samples
interpolation
Prior art date
Application number
KR1020177015861A
Other languages
English (en)
Other versions
KR20170070262A (ko
Inventor
프랭크 잰 보센
Original Assignee
가부시키가이샤 엔.티.티.도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔.티.티.도코모 filed Critical 가부시키가이샤 엔.티.티.도코모
Publication of KR20170070262A publication Critical patent/KR20170070262A/ko
Application granted granted Critical
Publication of KR101855975B1 publication Critical patent/KR101855975B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

본 발명은 인터- 프레임 예측 하에서 수행된 모션 보상에 관련된다. 분수 샘플 보간이 취출된 샘플에 적용되어 분수 샘플을 생성한다. 분수 샘플 보간은 복수 개의 필터링 동작을 포함하고, 및 필터링 동작으로부터의 필터링된 결과 모두는 참조 픽쳐 메모리 내에 저장된 샘플의 비트 깊이와 독립적인 선결정된 비트 깊이까지 자릿수줄임된다.

Description

모션 보상 예측을 위한 방법 및 장치{METHOD AND APPARATUS FOR MOTION COMPENSATION PREDICTION}
관련 출원들
본 특허 문서는 2011 년 6 월 24 일에 출원된 미국 가특허출원 일련 번호 제 6,501,112 호의 35 U.S.C. §119(e)에 따른 우선권을 주장하는데, 이것의 전체 콘텐츠는 원용에 의해 본 명세서에 포함된다.
본 발명은 인터-프레임 예측에 대한 모션 보상에 그리고 특히 모션 보상에서 사용되는 분수 샘플 보간에 관련되는데, 이것은 낮은 복잡성 및 높은 정밀도를 달성한다.
디지털 비디오는 디지털 비디오 시퀀스의 각각의 그리고 모든 프레임(예를 들어, 일련의 프레임)을 비압축된 방식으로 표현하기 위해서는 많은 양의 데이터를 요구한다. 거의 모든 애플리케이션에서, 비압축된 디지털 비디오를 컴퓨터 네트워크를 통하여 송신하는 것은 대역폭 제한사항 때문에 가능하지 않다. 추가적으로, 비압축된 디지털 비디오는 많은 양의 스토리지 공간을 요구한다. 디지털 비디오는 몇몇 방식으로 일반적으로 인코딩되어 스토리지 요구 사항을 감소시키고 대역폭 요구 사항을 감소시킨다.
디지털 비디오를 인코딩하기 위한 하나의 기법은 인터- 프레임 예측, 또는 인터-예측이다. 인터-예측은 상이한 프레임들 사이의 시간적 리던던시를 활용한다. 비디오의 시간적으로 인접한 프레임은 통상적으로 실질적으로 동일하게 남아 있는 픽셀들의 블록을 포함한다. 인코딩 프로세스 도중에, 모션 벡터는 하나의 프레임 내의 픽셀의 블록의 이동을 다른 프레임 내의 유사한 픽셀의 블록에 상관시킨다. 이에 상응하여, 시스템은 픽셀의 블록을 두 번 인코딩할 필요가 없고, 오히려 픽셀의 블록을 한번 인코딩하고 픽셀의 다른 블록을 예측할 모션 벡터를 제공한다.
디지털 비디오를 인코딩하기 위한 다른 기법은 인트라-프레임 예측 또는 인트라-예측이다. 인트라-예측은 프레임 또는 이것의 일부를 다른 프레임 내의 픽셀에 대한 참조 없이 인코딩한다. 인트라-예측은 프레임 내의 픽셀의 블록들 사이의 공간적 리던던시를 활용한다. 공간적으로 인접한 픽셀의 블록이 일반적으로 유사한 속성을 가지기 때문에, 코딩 프로세스의 효율성은 인접한 블록들 사이의 공간적 상관을 참조함으로써 개선된다. 이러한 상관은 인접한 블록에서 사용되는 예측 모드에 기초한 타겟 블록의 예측에 의하여 활용될 수도 있다.
인터-예측에서, 수신된 픽쳐는 모션 추정 및 보상에 기초하여 예측된다. 비디오 내의 이동하는 오브젝트는 흔히 프레임들 사이에서 발생하는데, 프레임과 함께 이것의 전부 또는 일부가 그러한 후속 프레임 내에서 재위치결정된다. 그러한 재위치결정에도 불구하고, 프레임의 시퀀스들 사이의 상관은 높으며 리던던시를 초래한다. 이러한 시간적 리던던시는 현재 프레임 내의 샘플들을 참조 프레임 내의 동일한 오브젝트의 위치와 비교하고 이와 관련시킴으로써 감소될 수 있다. 구체적으로 설명하면, 모션 추정 도중에, 현재 프레임 또는 그것의 파티션은, 현재 프레임의 시간적으로 이전 또는 순방향인 참조 프레임과 비교된다. 개별적인 참조 프레임 내에 설정된 탐색 범위 내의 픽셀의 패턴은 현재 프레임 내에 나타나는 픽셀의 패턴과, 인코딩될 현재 프레임 내의 픽셀 패턴에 최적 매칭하는 픽셀 패턴을 보유하는 참조 프레임이 발견될 때까지 비교된다. 비교 결과에 기초하여, 인터- 프레임 이격 벡터 또는 모션 벡터가 추정된다. 추정된 모션 벡터를 사용하면, 모션 보상은 현재 프레임의 예측을 산출한다.
모션 벡터 정확도 및 코딩 효율은, 참조 픽쳐의 해상도를 증가시키기 위하여 참조 픽쳐 내의, 정수 포지션에서의 샘플, 또는 간단히 정수 샘플이라고 불리는 픽셀에 보간을 적용함으로써 증가될 수 있다. 보간은 정수 샘플의 값을 사용하여 각 정수 샘플 사이의 분수 샘플을 생성하기 위한 것이다. 더 많은 분수 샘플이 정수 샘플들 사이에서 생성될수록, 참조 픽쳐의 해상도가 더 높아지며, 분수 샘플 이격이 더 정밀하고 정확하게 보상될 수 있다. 예를 들어, 오직 하프 픽셀의 이격인 이동하는 오브젝트의 이동을 정확하게 보상하기 위해서는, 적어도 하프-픽셀(펠) 보간이 필요하다. 모션 추정 및 보상은 다수 개의 상이한 블록 사이즈를 사용하여 수행될 수도 있다. 개개의 모션 벡터가 4x4, 4x8, 8x4, 8x8, 8x16, 16x8 또는 16x16 픽셀을 가지는 파티션에 대하여 결정될 수도 있다. 작은 모션 보상 파티션을 제공하면 정밀한 모션 세부 사항을 핸들링할 수 있는 능력이 개선된다.
H.264/AVC는 2-단계 접근법을 취하며 쿼터-펠 해상도까지의 모션 보상을 달성한다. H.264/AVC 에서, 제1 단계는 6-탭 필터를 사용하여 주위 정수 샘플들로부터 하프-펠 해상도에 있는 중간 값을 생성한다. 제2 단계에서, 정수 샘플의 값 및 중간 값이 평균화되거나 또는 중간 값이 그들 사이에서 평균화되어 쿼터-펠 포지션에 있는 분수 샘플, 또는 간단히 쿼터-펠 샘플을 생성한다. B 슬라이스에서는, 두 개의 예측으로부터의 두 개의 예측 분수 샘플이 더욱 평균화될 수도 있다. 그러나, 다중 평균화 동작이 캐스케이딩될 경우에, 모션 보상의 정확도 및 효율에 부정적으로 영향을 미치는 라운딩 에러를 도입한다는 것에 주의한다. JCT-VC(Joint Collaborative Team on Video Coding)의 제안(Proposal) D321 및 E242 는 양방향성 평균화와 연관된 라운딩 에러 이슈를 다룬다. 이러한 문서는, 라운딩 연산이 두 개의 예측들이 가산된 이후에 양방향성 평균화의 마지막 단계에서 발생하게 제한되는 것을 제안한다.
JCT-VC 초안(Draft) E603 은 8-탭 필터를 사용하여 쿼터-펠 해상도를 획득하는 것을 개시한다. E603 에서, 쿼터-펠 샘플들 중 몇몇은 8-탭 필터를 가장 가까운 정수 샘플에 적용시키고, 그리고 필터링된 결과를 선결정된 비트 깊이까지 자릿수줄임(truncating)함으로써 유도된다. 쿼터-펠 샘플들의 나머지는 두 개의 프로세스를 통하여 유도된다. 제1 프로세스에서는, 8-탭 필터를 수직 방향에서 가장 가까운 정수 샘플에 적용시킴으로써 중간 값이 유도된다. 제2 프로세스에서는, 8-탭 필터가 수평 방향에서 중간 값에 적용되고, 필터링된 결과는 선결정된 비트 깊이로 자릿수줄임된다. 이러한 2-프로세스 접근법은, 제2 프로세스에서 수직 필터링 및 수평 필터링의 요구된 고정된 순서가 존재하지 않는다는 것, 및 따라서 제2 프로세스에서의 수직 필터링 및 수평 필터링의 순서에 관련한 시그널링을 디코더에게 할 필요가 없다는 점에서 유리하다. 그러나, E603 에서 논의된 모션 보상은 중간 값을 생성하기 위한 추가적 필터링 동작의 정의를 요구한다. 중간 값에 적용된 필터링 동작은 고비용이며, 특히 높은 비트 깊이를 가지는 비디오 데이터에 대해서는 높은 계산 복잡성을 요구한다.
더 나아가, E603에서 논의된 모션 보상에서는, 이들로부터 계산된 쿼터-펠 샘플의 정확성을 보장하기 위하여 중간 값이 자릿수줄임되지 않는다. 따라서, 계산된 값의 비트단위 정밀도는 E603 에서 논의된 모션 보상 도중에 일정하지 않다. 위에서 설명된 제1 프로세스의 끝에서, 결과적 샘플 값의 정밀도는 8-탭 필터의 이득에 의하여 결정된 양만큼 증가된다. 8-탭 필터를 중간 값에 적용함으로써, 이제 정밀도는 선결정된 정밀도로의 자릿수줄임 이전에 제1 프로세스에서와 동일한 양만큼 다시 증가된다. 그러므로, 제2 단계의 끝에서 원래의 비트 깊이로 해상도를 다시 돌려놓기 위하여, 제1 프로세스에서 요구된 해상도의 두 배 많은 자릿수줄임이 제2 프로세스에서 요구된다.
위에서 논의된 선행 기술을 고려하여, 본 발명은 인터-프레임 예측에 대한 신규한 모션 보상 동을 제공한다. 모션 보상은 분수 샘플 보간을 샘플에 적용하여 분수 샘플을 생성한다. 본 발명에 따르는 모션 보상에서는, 제1 분수 샘플 보간이 샘플에 제1 방향에서 적용되어 분수 샘플의 제1 세트를 생성한다. 제2 분수 샘플 보간이 분수 샘플의 제1 세트에 제2 방향에서 적용되어 분수 샘플의 제2 세트를 생성한다. 본 발명에서는, 분수 샘플의 제1 세트는 그 샘플의 표현의 정밀도와 독립적인 정밀도로 표현된다.
본 발명의 일 양태에서는, 분수 샘플 보간이 계수의 다음 3 개의 세트:
[-1, 4, -10, 58, 17, -5, 1, 0];
[-1, 4, -11, 40, 40, -11, 4, -1]; 및
[0, 1, -5, 17, 58, -10, 4, -1]
중 하나를 가지는 8-탭 FIR 필터를 적용하여 쿼터-펠 샘플을 생성한다.
본 발명의 일 양태에서, 분수 샘플 보간은, 분수 샘플이 원하는 정밀도를 가지도록 하기 위하여, 필터링된 결과의 각각을 자릿수줄임하는 것을 포함한다. 원하는 정밀도는 제1 및 제2 부분 보간 프로세스 전체에서 일정할 수도 있다.
자릿수줄임 프로세스는 자릿수줄임된 결과를 마이너스 무한대를 행하여 라운딩하는 것을 수반할 수도 있다. 이것은 자릿수줄임 프로세스 이전에 임의의 오프셋을 필터링된 결과에 가산하지 않음으로써 달성된다.
더 나아가 본 발명의 다른 양태에서는, 샘플은 샘플의 원래의 비트 깊이와 무관하게 그 샘플들에 대해 일정한 제2 비트 깊이까지 스케일링 업될 수도 있다. 제2 비트 깊이는 그 샘플을 표현하기 위하여 이용가능한 비트의 개수와 동일하게 설정될 수도 있으며, 스케일링 업 인자는 그 샘플을 표현하기 위하여 이용가능한 비트의 개수 마이너스 그 샘플의 원래의 비트 깊이와 동일하게 설정된다.
더 나아가 본 발명의 다른 양태에서는, 스케일링 업된 샘플은 오프셋을 가지고 감산된다.
도 1 은 본 발명이 구현될 수도 있는 예시적인 하드웨어 아키텍처를 도시하는 블록도이다.
도 2 는 본 발명이 적용될 수도 있는 비디오 인코더의 전체도를 도시하는 블록도이다.
도 3 은 본 발명이 적용될 수도 있는 비디오 디코더의 전체도를 도시하는 블록도이다.
도 4 는 본 발명의 일 실시예에 따르는 인코더의 기능성 모듈을 도시하는 블록도이다.
도 5 는 본 발명의 일 실시예에 따르는 비디오 인코더에 의하여 수행된 인코딩 프로세스를 도시하는 흐름도이다.
도 6 은 본 발명의 일 실시예에 따르는 분수 샘플 보간의 프로세스들을 도시하는 흐름도이다.
도 7 은 분수 샘플 보간에 대한 필터링의 예시이다.
도 8 은 본 발명의 일 실시예에 따르는 디코더의 기능성 모듈을 도시하는 블록도이다.
도 9 는 본 발명의 일 실시예에 따르는 비디오 디코더에 의하여 수행된 디코딩 프로세스를 도시하는 흐름도이다.
도 1 은 본 발명이 구현될 수도 있는 컴퓨터(100)의 예시적인 하드웨어 아키텍처를 도시한다. 도 1 에 도시되는 하드웨어 아키텍처는 본 발명의 실시예를 구현하는 비디오 인코더 및 비디오 디코더 모두에서 공통적이지 않을 수도 있다는 것에 주의한다. 컴퓨터(100)는 로컬 인터페이스(107)를 통하여 통신하도록 커플링된 프로세서(101), 메모리(102), 스토리지 디바이스(105), 및 하나 이상의 입력 및/또는 출력(I/O) 디바이스(106)(또는 주변 장치)를 포함한다. 로컬 인터페이스(107)는, 예를 들어 당업계에 공지된 바와 같은 하나 이상의 버스 또는 다른 유선 또는 무선 접속일 수 있지만, 이들로 한정되는 것은 아니다.
프로세서(101)는 소프트웨어, 특히 메모리(102) 내에 저장된 것을 실행하기 위한 하드웨어 디바이스이다. 프로세서(101)는 임의의 고객 맞춤형 또는 상업적으로 입수가능한 프로세서, 중앙 처리 유닛(CPU), 컴퓨터(100)와 연관된 여러 프로세서들 중의 보조 프로세서, (마이크로칩 또는 칩 셋의 형태를 가지는) 반도체 기초 마이크로프로세서, 또는 소프트웨어 명령을 실행하기 위한 일반적으로 임의의 디바이스일 수 있다.
메모리(102)는 컴퓨터 판독가능 매체를 포함하는데, 이것은 휘발성 메모리 엘리먼트(예를 들어, 랜덤 액세스 메모리(RAM, 예컨대 DRAM, SRAM, SDRAM, 등) 및 비휘발성 메모리 엘리먼트(예를 들어, ROM, 하드 드라이브, 테이프, CDROM, 등) 중 임의의 하나 또 이들의 조합을 포함한다. 더욱이, 메모리(102)는 전자적, 자기적, 광학적, 및/또는 스토리지 미디어의 다른 타입을 통합할 수도 있다. 컴퓨터 판독가능 매체는 명령 실행 시스템, 장치 또는 디바이스에 의하여 또는 이와 연계하여 사용하기 위한 프로그램을 저장, 통신, 전파 또는 전송할 수 있는 임의의 수단일 수 있다. 메모리(102)가 분산형 아키텍처를 가질 수 있다는 점에 주의해야 하는데, 여기에서는 다양한 컴포넌트들이 서로로부터 원격으로 위치되지만 프로세서(101)에 의하여 액세스될 수 있다.
메모리(102) 내의 소프트웨어(103)는 하나 이상의 분리 프로그램을 포함할 수도 있는데, 이들 각각은 아래에서 설명되는 바와 같은 컴퓨터(100)의 논리적 기능들을 구현하기 위한 실행가능한 명령의 순서화된 리스팅을 포함한다. 도 1 의 예에서, 메모리(102) 내의 소프트웨어(103)는 본 발명에 따르는, 컴퓨터(100)의 비디오 인코딩 또는 비디오 디코딩 기능성을 정의한다. 추가적으로, 비록 필수적이지는 않지만, 메모리(102)가 운영 체제(O/S)(104)를 포함하는 것도 가능하다. 운영 체제(104)는 본질적으로 컴퓨터 프로그램의 실행을 제어하고 스케줄링, 입력-출력 제어, 파일 및 데이터 관리, 메모리 관리, 및 통신 제어 및 관련된 서비스를 제공한다.
컴퓨터(100)의 스토리지 디바이스(105)는, 고정식 스토리지 디바이스 또는 휴대용 스토리지 디바이스를 포함하는, 스토리지 디바이스의 많은 상이한 타입 중 하나일 수도 있다. 일 예로서, 스토리지 디바이스(105)는 자기적 테이프, 디스크, 플래시 메모리, 휘발성 메모리, 또는 상이한 스토리지 디바이스일 수도 있다. 추가적으로, 스토리지 디바이스(105)는 안전 디지털 메모리 카드 또는 임의의 다른 착탈식 스토리지 디바이스(105)일 수도 있다.
I/O 디바이스(106)는 입력 디바이스를 포함할 수도 있는데, 예를 들어, 터치 스크린, 키보드, 마우스, 스캐너, 마이크로폰 또는 다른 입력 디바이스를 포함할 수도 있지만, 이들로 제한되는 것은 아니다. 더욱이, I/O 디바이스(106)는 출력 디바이스를 더 포함할 수도 있는데, 예를 들어, 디스플레이 또는 다른 출력 디바이스를 포함할 수도 있지만, 이들로 제한되는 것은 아니다. I/O 디바이스(106)는 입력 및 출력 모두를 통하여 통신하는 디바이스를 더 포함할 수도 있으며, 예를 들면 변조기/복조기(예를 들어, 다른 디바이스, 시스템, 또는 네트워크에 액세스하기 위한 모뎀), RF(radio frequency), 무선 또는 다른 송수신기, 전화 인터페이스, 브릿지, 라우터 또는 입력 및 출력으로서 모두 기능하는 다른 디바이스를 포함할 수도 있지만, 이들로 제한되는 것은 아니다.
당업자에게 주지되는 바와 같이, 비디오 압축은 비디오 시퀀스 내의 리던던트 정보를 제거함으로써 달성된다. 많은 상이한 비디오 코딩 표준이 존재하는데, 이들의 예는 MPEG-1, MPEG-2, MPEG-4, H.261, H.263, 및 H.264/AVC를 포함한다. 본 발명이 임의의 특정한 비디오 코딩 표준의 애플리케이션으로 제한되는 것이 의도되는 것이 아님에 주의해야 한다. 그러나, 본 발명의 후속하는 설명은 H.264/AVC 표준을 사용하여 제공되는데, 이것은 원용에 의해 본 명세서에 포함된다. H.264/AVC는 최신 비디오 코딩 표준이며 MPEG-1, MPEG-2, H.261 및 H.263과 같은 이전의 코딩 표준에 비하여 현저한 성능 개선을 달성한다.
H.264/AVC에서는, 비디오의 각각의 프레임 또는 픽쳐는 여러 슬라이스로 분할될 수 있다. 그러면 슬라이스는 매크로블록이라고 불리는 16x16 픽셀의 블록으로 분할되고, 이것들은 그러면 8x16, 16x8, 8x8, 4x8, 8x4, 및 4x4 픽셀의 블록까지 더 분할될 수 있다. H.264/AVC에 의하여 지원되는 슬라이스의 5 개의 타입이 존재한다. I 슬라이스에서는 모든 매크로블록이 인트라-예측을 사용하여 코딩된다. P 슬라이스에서는, 매크로블록은 인트라- 또는 인터-예측을 사용하여 코딩될 수 있다. P 슬라이스는 매크로블록 당 사용될 오직 하나의 모션 보상된 예측(MCP) 신호를 허용한다. B 슬라이스에서는, 매크로블록은 인트라 또는 인터-예측을 사용하여 코딩될 수 있다. 두 개의 MCP 신호들이 예측마다 사용될 수도 있다. SP 슬라이스는 P 슬라이스가 효율적으로 상이한 비디오 스트림들 사이에서 스위칭되도록 한다. 오직 인트라-예측만을 사용하는 반면에, SI 슬라이스는 랜덤 액세스 또는 에러 복원에 대하여 SP 슬라이스에 대한 완벽한 매칭이다.
도 2 는 본 발명이 적용될 수도 있는 비디오 인코더의 전체도를 도시한다. 도면에서 도시된 블록은 메모리(102) 내의 소프트웨어(103)를 실행중인 프로세서(101)에 의하여 구현되는 기능성 모듈을 나타낸다. 비디오 프레임(200)의 한 픽쳐가 비디오 인코더(201)로 공급된다. 비디오 인코더는 매크로블록(200A)의 유닛 내의 픽쳐(200)를 처리한다. 각각의 매크로블록은 픽쳐(200)의 여러 픽셀을 포함한다. 각각의 매크로블록 상에, 변환 계수로의 변환이 수행되고 후속하여 변환 계수 레벨로의 양자화가 수행된다. 더욱이, 픽셀 데이터 상에 직접적으로 코딩 단계를 수행하지 않고 픽셀 값과 그들의 예측 사이에 수행하여 더 용이하게 압축되는 작은 값을 획득하기 위하여, 인트라-예측 또는 인터-예측이 사용된다.
각각의 슬라이스에 대하여, 인코더(201)는 다수 개의 신택스 엘리먼트를 생성하며, 이것들이 개별적인 슬라이스의 매크로블록의 코딩된 버전을 형성한다. 변환 계수의 코딩과 관련된, 신택스 엘리먼트 내의 모든 잔차 데이터 엘리먼트, 예컨대 변환 계수 레벨 또는 스킵된 변환 계수 레벨을 표시하는 중요도 맵은 잔차 데이터 신택스 엘리먼트라고 불린다. 이러한 잔차 데이터 신택스 엘리먼트 이외에, 인코더(201)에 의하여 생성된 신택스 엘리먼트는 어떻게 각각의 매크로블록이 인코딩된 바 있는지 그리고 디코딩되어야 하는지 각각에 대한 제어 정보를 포함하는 제어 정보 신택스 엘리먼트를 포함한다. 다르게 말하면, 신택스 엘리먼트는 두 개의 카테고리로 분할가능하다. 제1 카테고리인 제어 정보 신택스 엘리먼트는 매크로블록 타입, 서브-매크로블록 타입 및 공간적 및 시간적 타입 모두의 예측 모드에 대한 정보에 관련된 요소 및 슬라이스-기초 및 매크로블록-기초 제어 정보를 예를 들어 포함한다. 제2 카테고리에서는, 모든 잔차 데이터 엘리먼트, 예컨대 양자화 단계에 대응하는 레벨들의 유닛에서 표시되는, 양자화된 변환 계수의 블록 내의 모든 중요도 계수의 위치 및 중요도 계수의 값은, 결합되고 잔차 데이터 신택스 엘리먼트가 된다.
인코더(201)는 신택스 엘리먼트를 인코딩하고 각각의 슬라이스에 대한 산술적 코드워드를 생성하는 엔트로피 코더를 포함한다. 슬라이스에 대한 산술적 코드워드를 생성할 때, 엔트로피 코더는 비디오 신호 비트 스트림 내의 신택스 엘리먼트의 데이터 값들 간의 통계적 의존성을 활용한다. 인코더(201)는 픽쳐(200)의 슬라이스에 대한 인코딩된 비디오 신호를 도 3 에 도시되는 비디오 디코더(301)로 출력한다.
도 3 은 본 발명이 적용될 수도 있는 비디오 디코더의 전체도를 도시한다. 이와 유사하게, 도면에서 도시된 블록은 메모리(102) 내의 소프트웨어(103)를 실행중인 프로세서(101)에 의하여 구현되는 기능성 모듈을 나타낸다. 비디오 디코더(301)는 인코딩된 비디오 신호를 수신하고, 이 신호를 신택스 엘리먼트로 다시 제1 엔트로피-디코딩한다. 디코더(301)는 픽쳐(300) 내의 픽셀의 픽쳐 샘플(300A)을, 매크로블록별로 그리고 그 이후에 슬라이스별로 복원하기 위하여 신택스 엘리먼트를 사용한다.
도 4 는 도 4 에서 일반적으로 숫자 400 으로 표시되는, 비디오 인코더(201)의 기능성 모듈을 도시한다. 이러한 기능성 모듈은 메모리(102) 내의 소프트웨어(103)를 실행하는 프로세서(101)에 의하여 실현된다. 입력 비디오 픽쳐는, 원래의 컬러의 성분, 예컨대 색차("크로마") 및 휘도("루마")를 나타내는 샘플 포인트에 의하여 정의되는 자연적(비압축된) 비디오 이미지의 프레임 또는 필드이다. 휴(hue), 포화도 및 값과 같은 다른 성분들도 가능하다. 입력 비디오 픽쳐는 픽쳐 컬러의 루마 성분의 16*16 픽셀로 이루어지는 정방형 픽쳐 영역을 각각 나타내는 매크로블록으로 분할된다. 입력 비디오 픽쳐는 또한 픽쳐 컬러의 두 개의 크로마 성분 각각의 8x8 픽셀을 각각 나타내는 매크로블록으로 파티셔닝된다. 일반적 인코더 동작에서는, 입력된 매크로블록은 인터- 또는 인트라-예측을 사용하여 시간적으로 또는 공간적으로 예측될 수도 있다. 그러나, 논의의 목적을 위하여 매크로블록(400)이 모든 P-슬라이스 타입 매크로블록 또는 모든 B-슬라이스 타입 매크로블록이거나, 또는 양자의 혼합이며 오직 인터-예측만을 겪는다는 것이 가정된다.
도 4 에 도시되는 비디오 인코더(400)는 현재 픽쳐와 현재 픽쳐의 예측 사이의 잔차 또는 차분(differentials)만을 송신한다. 감산기(410)는 인코딩될 현재 픽쳐의 블록을 입력 신호(IS)로서 수신하고 이로부터 예측 신호(PS)에 의하여 표시되는 예측 픽쳐의 블록을 감산함으로써 이러한 잔차를 획득한다. 도 4 에 도시된 바와 같이, 비디오 인코더(400)는 양자화된 변환 계수(QC)를 출력하기 위한 변환/양자화 유닛(420)을 포함한다. 변환/양자화 유닛(420)은 잔차를 공간적 도메인으로부터 주파수 도메인으로 변환하고 변환된 잔차를 양자화한다. 비디오 인코더(400)는 양자화된 변환 계수(QC)의 엔트로피 코딩(가변 길이 코딩)을 수행하고 비트 스트림(BS)을 출력하기 위한 엔트로피 코딩 유닛(490)을 더 포함한다.
비디오 인코더(400)는 역 양자화/변환 유닛(430), 및 가산기(435)를 더 포함한다. 역 양자화/변환 유닛(430)은 양자화된 변환 계수(QC)를 잔차 신호(RS)로 다시 변환하고, 가산기(435)는 여기에 예측 신호(PS)를 가산하여 디코딩된 픽쳐를 출력한다. 디블로킹(deblocking) 필터(437)는 블록 아티팩트를 디코딩된 픽쳐로부터 제거하고 클리닝된 디코딩된 픽쳐를 참조 메모리(440) 내에 저장한다.
비디오 인코더(400)는 모션 보상/예측 유닛(460) 및 모션 추정 유닛(470)을 더 포함한다. 모션 보상/예측 유닛(460)은 참조 픽쳐를 참조 메모리(440)로부터 독출하고 보간을 적용하여 쿼터-펠 포지션에서 분수 샘플들을 생성한다. 모션 추정 유닛(470)은 더 나아가 참조 픽쳐를 참조 메모리(440)로부터 독출하고, 현재 픽쳐와 참조 픽쳐를 비교함으로써 현재 픽쳐에 대한 모션 벡터(MV)를 추정한다. 모션 벡터(MV)는 모션 보상/예측 유닛(460) 및 엔트로피 코딩 유닛(490)으로 출력된다. 블록은 4x4, 4x8, 8x4, 8x8, 8x16, 16x8 또는 16x16 픽셀을 가지는 파티션으로 분할될 수도 있다. 모션 추정 유닛(470)은 블록 내의 개별적인 파티션에 모션 추정을 수행하고 개별적인 파티션에 대한 모션 벡터(MV)를 출력한다. 모션 보상/예측 유닛(460)은 참조 픽쳐 내의 개별적인 파티션을 모션 벡터에 의하여 표시되는 양에 의하여 그리고 방향으로 변위시켜서 예측 픽쳐를 유도하는데, 이것은 예측성 신호(IS)로서 감산기(410) 및 가산기(435)로 제공된다.
도 5 는 비디오 인코더(400)에 의하여 수행되는 인코딩 프로세스의 높은 레벨을 도시하는 흐름도이다. 단계 502 에서, 모션 보상/예측 유닛(460)은 예측 블록을 생성한다. 단계 504 에서, 감산기(410)는 예측 픽쳐를 현재 픽쳐로부터 감산하여 잔차를 획득한다. 단계 506 에서, 변환/양자화 유닛(420)은 잔차를 인코딩한다.
도 6 은 본 발명의 일 실시예에 따라서, 예측 신호를 생성하기 위하여 모션 보상/예측 유닛(460)에 의하여 수행되는 모션 보상의 프로세스를 도시하는 흐름도이다. 단계 602 에서는, 모션 보상/예측 유닛(460)이 참조 샘플을 참조 메모리(440)로부터 독출한다. 참조 메모리(440)는 다중 참조 픽쳐를 저장한다. 섹션 8.4.2 및 H.264/AVC의 스스로의 하부 섹션에서 논의된 바와 같이, 참조 메모리(440) 내에 저장된 참조 픽쳐로부터 취출될 참조 샘플의 위치는 현재 픽쳐 내에서 예측될 영역의 포지션, 그 영역의 모션 벡터(MV), 및 참조 프레임 인덱스로써 결정될 수도 있다.
단계 604 에서는, 취출된 참조 샘플은 스케일링 업되어 참조 샘플의 정밀도를 증가시킨다. 스케일링 인자는 참조 샘플의 비트 깊이 및 그 참조 샘플을 표현하기 위하여 이용가능한 비트의 개수로써 결정될 수도 있다. 참조 샘플을 표현하기 위하여 이용가능한 비트의 개수는, 만일 16 이 참조 샘플의 표현을 위한 최대 이용가능한 비트의 개수라면, 그 샘플을 표현하기 위하여 이용가능한 비트의 개수가 14 로 제한되어 모션 보상 도중에 발생할 수도 있는 데이터의 오버플로우 또는 언더플로우를 방지할 수도 있도록 결정될 수도 있다. 만일 그 샘플을 표현하기 위하여 이용가능한 비트의 개수가 14라면, 스케일링 인자는 8 비트 너비를 가지는 참조 샘플에 대하여 6 이고, 취출된 참조 샘플은 이들의 비트를 6 비트만큼 좌측-천이시킴으로써 스케일링 업된다. 스케일링 인자는 10 비트 너비를 가지는 참조 샘플에 대해서는 4 이어야 하며, 취출된 참조 샘플은 그들의 비트를 4 비트만큼 좌측-천이시킴으로써 스케일링 업된다. 좀 더 일반적으로는, 스케일링 인자는 "참조 샘플을 표현하기 위하여 이용가능한 비트의 개수" 마이너스 "참조 샘플의 비트 깊이"에 의하여 표현될 수도 있다. 단계 604 에서 수행되는 스케일링 업 프로세스는, 이것이 참조 메모리 내에 저장된 참조 샘플을 그들의 비트 깊이로부터 독립적인 형태로 변환시키며, 스케일링 업 프로세스에 후속하는 프로세스들이 비디오 데이터의 원래의 비트 깊이로부터 독립적이 될 것이기 때문에 유리하다.
선택적으로, 오프셋이 참조 샘플의 스케일링-업된 값으로부터 감산될 수도 있다. 예를 들어, 만일 부호화 14-비트 표현이 스케일링-업된 참조 샘플을 표현하기 위하여 사용된다면, 감산될 오프셋의 값은 8192(=213)일 수도 있고, 이것은 -8192 내지 8192의 범위 내에서 스케일링-업된 참조 샘플을 동반한다. 이러한 오프셋을 가산하는 것은 어떤 샘플을 나타내기 위하여 요구되는 비트의 개수를 감소시키기 위하여 유익하다. 이하 설명되는 보간 프로세스가 부호화 샘플 값을 다루기 때문에, 따라서 모든 샘플 값의 부호화 표현이 바람직하다. 샘플들이 14-비트 표현으로 스케일링 업되는 예에서, 만일 오프셋이 감산되지 않는다면, 그 오프셋을 감산하는 것으로부터 획득되는 14-비트 부호화 표현보다 더 고비용인 15-비트 부호화 표현이 사용되어야 할 것이다. 참조 샘플은 이들이 참조 메모리 내에 저장되는 경우 스케일링 업되고 오프셋될 수도 있다는 것에 주의한다. 만일 참조 샘플들이 스케일링 업 및 오프셋 이후에 참조 메모리에 저장된다면, 단계 604 가 불필요하다.
그러면 스케일링-업된 참조 샘플의 해상도는 분수 샘플을 쿼터-펠 포지션에서 생성하기 위한 분수 샘플 보간을 사용하여 증가된다. 도 7 은 분수 샘플 모션 보상에 대한 필터링의 예시이다. 도 7 에서, 대문자 글자 Ai,j는 스케일링-업된 참조 샘플을 표시한다. 이러한 샘플들은 정수 샘플이라고 불린다. 소문자 글자, 예컨대 a0,0, b0,0, c0,0, d0, 0... 및 r0, 0로 표시되는 다른 샘플들은 쿼터-펠 포지션에서의 분수 샘플이다. 단계 606 에서는, 쿼터-펠 샘플 a0,0, b0,0, 또는 c0,0 는 후속하는 보간 수학식:
Figure 112017055079367-pat00001
을 사용하여 유도된다.
모션 벡터의 수평 성분의 분수 부분이 어떤 샘플이 유도되는지를 결정한다. 예를 들어, 만일 분수 부분이 1/4이라면, a0,0이 유도된다.
보간 동작의 각각은 8-탭 FIR 필터를 가장 가까운 정수 샘플로 적용시키는 것 필터링된 결과를 자릿수줄임하여 필터 이득을 오프셋하는 것을 포함한다. 각각의 필터의 계수의 합은 64(=26)와 동일하게 설정된다. 따라서, 자릿수줄임 동작은 필터링된 결과를 64 로 나누는 것 또는 필터링된 결과를 6 만큼 우측-천이시키는 것을 포함한다. 위의 보간 동작에서, 자릿수줄임된 결과는 마이너스 무한대를 향하여 라운딩된다는 것에 주의한다. 오프셋을 필터링된 결과에 가산함으로써, 자릿수줄임된 결과는 가장 가까운 정수를 향하여 라운딩될 수도 있다. 그러나, 마이너스 무한대를 향한 라운딩은 오프셋을 필터링된 결과에 가산하는 것을 요구하지 않기 때문에, 이것이 유리하다. 선택적으로, 모션 벡터의 수평 성분에 의하여 특정되는 분수 이격에 의존하여, 그들 중 하나의 필터가 선택적으로 적용되는 상이한 타입의 필터들이 제공될 수도 있다. 이러한 단계는 수평 분수 이격이 제로인 경우에는 생략될 수도 있다. 8-비트 입력이 있는 예에서는, 6 비트만큼의 우측-천이 동작이 단계 606 에 존재하며, 6 비트만큼의 좌측-천이 동작이 단계 604 에 존재한다는 것에 주의한다. 따라서, 단계 604 및 단계 606 은, 좌측-천이 및 우측-천이 동작이 출력을 변경하지 않으면서 제거되도록 통합될 수도 있다.
단계 608 에서는, 분수 샘플 d0,0, h0,0, n0,0, e0,0, i0,0, p0,0, f0,0, j0,0, q0,0, g0,0, k0,0, 또는 r0,0 이 후속하는 보간 수학식:
Figure 112017055079367-pat00002
을 사용하여 유도된다.
모션 벡터의 수평 및 수직 성분의 분수 부분이 어떤 샘플이 유도되는지를 결정한다. 예를 들어 만일 수평 분수 부분이 1/4 이고 수직 분수 부분이 3/4이라면, p0,0이 유도된다.
위의 보간 동작은 8-탭 FIR 필터를 수직으로 샘플 A0,j, a0,i, b0,i 및 c0,i로 적용시키는 것, 및 필터링된 결과를 6의 인자만큼 자릿수줄임하는 것을 포함하는데, 여기에서 i = -3..4 이다. 본 발명에서, 모든 필터링된 결과는 자릿수줄임된다는 것 및 어떤 필터링된 결과도 그들로부터 분수 샘플을 계산하기 위하여 자릿수줄임되지 않은 중간 값으로서 사용되지 않는다는 것에 주의한다. 그러므로, 본 발명에서는, 샘플 값의 정밀도는 분수 샘플 보간 전체에 걸쳐서 일정하다. 단계 606 또는 단계 608 어느 것도 샘플의 표현에서의 정밀도를 변경하지 않는다.
분수 샘플 보간의 위의 실시예에서, 수직 및 수평 필터링 동작에서 사용되는 필터의 세트는 모두 8-탭 필터이다. 상이한 탭 개수를 가지는 필터가 분수 모션 보간을 위하여 사용될 수도 있다는 것에 주의해야 한다. 예를 들어, 더 작은 블록 사이즈에 대해서는 더 적은 탭을 가지는 필터를 사용하는 것이 바람직하다. 더 적은 탭을 가지는 필터를 사용하는 것은 참조 메모리로부터 취출될 샘플의 개수를 감소시키며, 이를 통하여 메모리 대역폭이 감소될 수 있다. 더 적은 탭을 가지는 필터를 사용하는 것은 또한 필터링 동작에서 승산의 개수를 감소시키며 모션 보상의 효율을 개선한다. H.264/AVC는 매크로블록 또는 서브-매크로블록이 모션 보상의 목적을 위하여 하나 이상의 파티션으로 분할되도록 한다. H.264/AVC 에서는, 16x16의 사이즈를 가지는 매크로블록은 각각의 4x4, 4x8, 8x4, 8x8, 8x16 또는 16x8 의 사이즈를 가지는 하나 이상의 파티션으로 분할될 수도 있다. 이에 상응하여, 상이한 개수의 탭을 가지는 필터는 파티션의 폭에 따라서 선택적으로 준비되고 적용될 수도 있다. 예를 들어, 8-탭 필터가 8 이상의 너비를 가지는 파티션에 적용될 수도 있으며, 4-탭 필터는 8 미만의 너비를 가지는 파티션에 적용될 수도 있다. 일 실시예에서, 이러한 4-탭 필터는 [-4 36 36 -4]의 계수를 가진다. JCT-VC 초안 E603 은 코딩 유닛(CU)의 개념을 도입한 바 있다. NxN의 사이즈를 가지는 CU는 NxN, NxN/2 또는 N/2xN의 사이즈를 가지는 하나 이상의 파티션으로 분할될 수도 있다. 상이한 탭 개수를 가지는 필터가 CU의 높이 또는 폭이 N 또는 N/2인지 여부에 따라 선택적으로 적용될 수도 있다.
분수 샘플 모션 보상의 위의 실시예에서, 수평 분수 샘플 보간(단계 606)이 수직 분수 샘플 보간(단계 608)에 선행한다. 순서가 인코더 및 디코더 사이에서 사전에 합의되기만 하면 이러한 순서는 전환될 수도 있다는 것에 주의해야 한다. 다른 실시예에서, 순서는 인코더로부터 디코더로 시그널링될 수도 있다. 참조 샘플이 8 비트 너비를 가진다면, 계산의 결과는 수평 및 수직 보간의 순서와 무관하게 동일할 것이다. 만일 이러한 경우라면, 순서에 관련한 인코더 및 디코더 사이의 종래의 합의가 필요없다.
JCT-VC 초안 E603 에서 논의되는 모션 보상에서는, 중간 값들이 수직으로 유도되고 수평으로 적용되는지 또는 수평으로 유도되고 수직으로 적용되는지와 무관하게 동일한 분수 샘플이 유도될 수 있다. 이것은, 중간 값이 수직으로 유도되고 수평으로 적용되어야 하는지 또는 수평으로 유도되고 수직으로 적용되어야 하는지와 관련한 사전 합의가 인코더 및 디코더 사이에서 필요하지 않다는 관점에서 유익하다. 그러나, 중간 값은 본 발명에서보다 더 높은 정밀도를 가지며, 제2 FIR 필터를 이러한 중간 값에 적용시키는 비용이 본 발명의 그것보다 더 높다. 일반적으로, 비용은 정밀도와 비례하여 증가한다. 이러한 비용은, 정밀도가 16 비트와 같은 공통 워드 사이즈를 초과하는 소프트웨어에서 상당히 더 높을 수도 있다. 이러한 경우에, 정밀도는 다음 공통 워드 사이즈와 매칭하도록 더 확장된다. 예를 들어, 17 비트의 정밀도를 가지는 중간 값은 32 비트로 확장될 것이다. JCT-VC 초안 E603 에서 논의된 바와 같은 중간 값의 더 높은 정밀도는 예측 신호의 정확도의 관점에서 중요한 이점을 제공하지 않으면서도 비용에 중요하게 영향을 미친다.
위에서 설명된 본 발명의 일 실시예에서, 수평 및 수직 보간의 순서는 인코더와 디코더 사이에서 고정될 필요가 있다. 그러나, 수평 및 수직 보간의 순서를 고정시키는 것은 인코더 및 디코더에 어떠한 비용도 발생시키지 않을 것이다. 오히려, 순서를 고정시킴으로써, 모션 보상은 더 낮지만 충분히 높은 정밀도에서 동작함으로써 승산과 같은 동작의 비용을 낮출 수 있다. 또한, 순서를 고정시킴으로써, 계산 정밀도가 분수 샘플 보간 전체에 걸쳐서 일정하게 된다. 따라서 필터링 계산은 샘플들 및 계수들 사이의 모든 승산이 고정된 비트 범위, 예를 들어, 샘플에 대하여 16-비트 부호화 범위 및 필터 계수에 대하여 8- 비트 부호화 범위 내에서 수행될 수 있다는 점에서 단순화될 수 있다. 모든 승산이 고정된 비트 범위 내에서 수행되기 때문에, 필터링 동작은 효율적으로 SIMD 아키텍처 상에서 병렬로 구현될 수 있다.
다시 도 6 으로 돌아가면, 변환이 단계 610 에서 유도된 샘플로 적용된다. 이러한 변환의 일 예는 H.264/AVC의 섹션 8.4.2.3 및 그것의 하부 섹션에서 가중된 샘플 예측 프로세스로서 설명된다. 가중된 샘플 예측 프로세스는 두 개의 세트의 샘플들을 선형 보간에 의하여 결합한다. 변환은 음영을 포함하는 장면들에 대하여 코딩 효율을 개선할 수 있다. 변환으로부터 결과로서 얻어지는 결합된 샘플의 값은 규정된 범위, 예를 들어 16-비트 부호화 범위 내에 맞도록 클리핑될 수도 있다. 이러한 변환이 필요하지 않는 경우에는 단계 610 이 생략될 수 있다는 것에 주의한다.
이제 단계 612 에서 다른 예측이 모션 보상을 위하여 생성될 필요가 있는지 여부가 점검된다. 예를 들어, 양방향성 평균화가 수행되어야 하는 경우에는, 두 개의 예측이 그들을 평균화하기 위하여 생성될 필요가 있다. 만일 다른 예측이 필요하다고 결정되면, 프로세스는 단계 602 로 복귀한다. 단계 614 에서는, 두 개의 예측이 평균화되어 양방향성 예측을 생성한다. 만일 양방향성 평균화가 지시되지 않는다면, 단계 614 는 스킵된다.
단계 616 에서는, 생성된 예측이 스케일링 다운되고 유효한 범위로 클리핑된다. 단계 616 에서 수행되는 스케일링 다운 동작은 단계 604 에서 스케일링 업 동작을 거치고 그리고 생성된 예측을 단계 604 에서 샘플을 좌측-천이하기 위하여 사용되었던 것과 같은 비트의 개수만큼 우측-천이한다. 라운딩 오프셋을 우측-천이 동작하기 이전에 추가하여 스케일링 다운된 값을 가장 가까운 정수로 라운딩하는 것이 바람직하다. 만일 오프셋이 단계 604 에서 샘플로부터 감산된다면, 동일한 오프셋이 예측에 가산된다. 예측이 클리핑되는 목적지인 유효한 범위는 통상적으로 정의된 {0...255} 로서 정의되는데, 여기에서 저장된 참조 샘플은 8 비트 너비이다. 일반적으로, 유효한 범위는 M 비트 너비인 참조 샘플에 대하여 {0...2M-1 } 로서 정의될 수도 있다.
본 발명의 실용적 구현형태에서, 단계들은 도 6 에 도시된 바와 같이 개별적으로 수행될 필요가 없으며, 몇몇 단계들이 결합될 수도 있다. 예를 들어, 도 6 의 단계들에서 개별적으로 수행되는 천이 동작은 결합될 수도 있다. 일 예는 단계 614 에서 수행된 양방향성 평균화 내에 포함된 우측-천이 동작 및 단계 616 에서 수행된 스케일링 다운에 포함된 우측-천이 동작이 결합될 수도 있다. 더 나아가, 다중 기능 또는 회로가, 프로세스가 단순화될 수 있는 상황, 예를 들어, 분수 이격이 존재하지 않으며 따라서 FIR 필터링이 요구되지 않는 상황에 대하여 구현될 수도 있다.
도 8 은 도 8 에서 일반적으로 숫자 800 으로 표시되는, 비디오 디코더(301)의 기능성 모듈을 도시한다. 이러한 기능성 모듈은 메모리(102) 내의 소프트웨어(103)를 실행하는 프로세서(101)에 의하여 실현된다. 도 8 에서, 엔트로피 디코딩 유닛(810)은 이동 픽쳐 코딩 장치(400)에 의하여 출력된 비트 스트림(BS)을 획득하고 비트 스트림의 엔트로피 디코딩 프로세스를 수행한다. 그러면 엔트로피 디코딩 유닛(810)은 양자화된 변환 계수(QC)를 역 양자화/역 변환 유닛(820)으로 출력한다. 엔트로피 디코딩 유닛(810)은 또한 모션 벡터(MV)를 모션 보상/예측 유닛(860)으로 출력한다. 역 양자화/역 변환 유닛(820)은 역 양자화 및 역 DCT 변환의 디코딩 프로세스를 양자화된 변환 계수(QC)에 수행한다. 그러면 역 양자화/역 변환 유닛(820)은 잔차 신호(RS)를 출력한다.
가산기(830)는 잔차 신호(RS)를 모션 보상 유닛(860)으로부터 획득된 예측 신호(PS)에 가산하고 디코딩된 픽쳐를 디블로킹 필터(840)로 출력한다. 디블로킹 필터(840)는 블록 아티팩트를 디코딩된 픽쳐로부터 제거하고 이것을 참조 메모리(850) 내에 저장한다. 디코딩된 픽쳐는 메모리(850)로부터 취출되고 출력 신호(OS)로서 출력된다.
모션 보상/예측 유닛(860)은 참조 메모리(850) 내에 저장된 참조 픽쳐 내에서 샘플을 취출하고 도 7 에 도시된 바와 같은 분수 샘플 보간을 수행한다. 이러한 모션 보상/예측 유닛(860)은 모션 벡터(MV) 및 분수 샘플 보간이 수행되었던 참조 픽쳐에 기초하여 예측을 생성한다. 이러한 방식으로, 모션 보상/예측 유닛(860)은 예측 신호(PS)를 가산기(830)로 출력한다.
도 9 는 비디오 디코더(800)에 의하여 수행되는 디코딩 프로세스의 높은 레벨을 도시하는 흐름도이다. 단계 902 에서, 모션 보상/예측 유닛(860)은 예측 블록을 생성한다. 단계 904 에서는, 역 양자화/역 변환 유닛(820)은 양자화된 변환 계수(QC)를 디코딩하고 잔차 신호(RS)를 출력한다. 단계 906 에서는, 가산기(830)는 잔차 신호(RS)를 예측 신호(PS)에 가산한다.
의심할 나위 없이, 본 발명의 많은 변형 및 변경이 앞선 설명을 읽은 후에 당업자에게 명백해질 것이며, 예시의 방법으로 도시되고 설명된 임의의 특정 실시예가 한정하는 것을 의도했던 것이 절대 아님이 이해되어야 한다. 그러므로, 다양한 실시예의 세부 사항들에 대한 참조는 청구항들의 범위를 제한하려고 의도되는 것이 아니며, 이들은 자신들 자체에서 본 발명에서 본질적인 것으로 간주되는 그러한 피쳐만을 인용한다.

Claims (12)

  1. 타겟 픽쳐를 디코딩하기 위해 인터-프레임 예측 하에서 수행되는 모션 보상을 위한 비디오 디코딩 방법으로서,
    인코더로부터 수신된 모션 벡터 및 잔차를 디코딩하는 것;
    상기 모션 벡터를 참조하여 참조 픽쳐 메모리에 저장된 참조 픽쳐로부터 참조 샘플을 취출하는 것 - 상기 참조 픽쳐 메모리에 저장된 참조 픽쳐와 상기 참조 픽쳐로부터 취출된 참조 샘플은 모두 제1 비트 깊이로 표현됨 - ;
    상기 취출된 참조 샘플에 제1 방향으로 스케일링-업 동작과 제1 분수 샘플 보간을 수행하여, 상기 제1 비트 깊이로부터 스케일링-업 인자에 의해 스케일링 업된 제2 비트 깊이로 표현되는 분수 샘플의 제1 세트를 생성하는 것 - 상기 제2 비트 깊이는 상수이며 상기 분수 샘플을 표현하기 위하여 이용가능한 비트의 개수와 동일하게 설정되고, 상기 스케일링-업 인자는 상기 제2 비트 깊이 마이너스 상기 제1 비트 깊이와 동일하게 설정되며, 상기 제2 비트 깊이를 일정하고 상기 제1 비트 깊이의 변화로부터 독립적으로 유지하기 위한 변수임 - ;
    상기 분수 샘플의 제1 세트에 제2 방향으로 제2 분수 샘플 보간을 수행하여 상기 제2 비트 깊이로 표현되는 분수 샘플의 제2 세트를 생성하는 것;
    상기 모션 벡터의 분수 부분을 참조하여 상기 분수 샘플의 제1 및 제2 세트로부터 예측 샘플을 유도하는 것 - 상기 예측 샘플은 상기 제2 비트 깊이로 표현됨 - ;
    상기 예측 샘플을 스케일링 다운하고 클리핑하여 상기 제2 비트 깊이로부터 상기 제1 비트 깊이로 스케일링 다운된 예측 픽쳐를 생성하는 것; 및
    상기 예측 픽쳐와 상기 잔차를 가산하여 상기 제1 비트 깊이로 표현되는 타겟 픽쳐를 재구성하는 것
    을 구현하기 위해 비디오 디코더의 프로세서에 의해 실행되는 컴퓨터로 실행 가능한 단계를 포함하는 비디오 디코딩 방법.
  2. 제1항에 있어서,
    상기 분수 샘플 보간은,
    계수의 다음 3개의 세트:
    [-1, 4, -10, 58, 17, -5, 1, 0];
    [-1, 4, -11, 40, 40, -11, 4, -1]; 및
    [0, 1, -5, 17, 58, -10, 4, -1]
    중 하나를 가지는 8-탭 FIR(Finite Impulse Response) 필터를 적용하여 쿼터-펠 샘플(quarter-pel sample)을 생성하는, 비디오 디코딩 방법.
  3. 제2항에 있어서,
    상기 분수 샘플 보간은, 상기 분수 샘플이 상기 제2 비트 깊이로 표현될 수 있도록 필터링된 결과 각각을 자릿수줄임(truncating)하는 것을 포함하는, 비디오 디코딩 방법.
  4. 제3항에 있어서,
    상기 제2 비트 깊이는 상기 제1 및 제2 분수 보간 프로세스 전체에서 유지되는, 비디오 디코딩 방법.
  5. 제3항에 있어서,
    상기 필터링된 결과 각각을 자릿수줄임하는 것은, 자릿수줄임된 결과를 마이너스 무한대를 향하여 라운딩하는 것을 포함하는, 비디오 디코딩 방법.
  6. 제1항에 있어서,
    스케일링 업된 샘플에서 오프셋을 감산하는 단계를 더 포함하는 비디오 디코딩 방법.
  7. 인터-프레임 예측 하에서 수행되는 모션 보상을 위한 비디오 인코딩 방법으로서,
    참조 픽쳐 메모리에 저장된 참조 픽쳐 및 타겟 픽쳐를 비교하여 모션 벡터를 추정하는 것 - 상기 참조 픽쳐 메모리에 저장된 참조 픽쳐는 제1 비트 깊이로 표현됨 - ;
    상기 모션 벡터를 참조하여 상기 참조 픽쳐로부터 참조 샘플을 취출하는 것 - 상기 참조 픽쳐로부터 취출된 참조 샘플은 상기 제1 비트 깊이로 표현됨 - ;
    상기 취출된 참조 샘플에 제1 방향으로 스케일링-업 동작 및 제1 분수 샘플 보간을 수행하여, 상기 제1 비트 깊이로부터 스케일링-업 인자에 의해 스케일링 업된 제2 비트 깊이로 표현되는 분수 샘플의 제1 세트를 생성하는 것 - 상기 제2 비트 깊이는 상수이며 상기 분수 샘플을 표현하기 위하여 이용가능한 비트의 개수와 동일하게 설정되고, 상기 스케일링-업 인자는 상기 제2 비트 깊이 마이너스 상기 제1 비트 깊이와 동일하게 설정되며, 상기 제2 비트 깊이를 일정하고 상기 제1 비트 깊이의 변화로부터 독립적으로 유지하기 위한 변수임 - ;
    상기 분수 샘플의 제1 세트에 제2 방향으로 제2 분수 샘플 보간을 수행하여 상기 제2 비트 깊이로 표현되는 분수 샘플의 제2 세트를 생성하는 것;
    상기 모션 벡터의 분수 부분을 참조하여 상기 분수 샘플의 제1 및 제2 세트로부터 예측 샘플을 유도하는 것 - 상기 예측 샘플은 상기 제2 비트 깊이로 표현됨 - ;
    상기 예측 샘플을 스케일링 다운하고 클리핑하여 상기 제2 비트 깊이로부터 상기 제1 비트 깊이로 스케일링 다운된 예측 픽쳐를 생성하는 것; 및
    상기 타겟 픽쳐에서 상기 예측 픽쳐를 감산하여 인코딩을 위한 잔차를 유도하는 것
    을 구현하기 위해 비디오 인코더의 프로세서에 의해 실행되는 컴퓨터로 실행 가능한 단계를 포함하는 비디오 인코딩 방법.
  8. 제7항에 있어서,
    상기 분수 샘플 보간은,
    계수의 다음 3개의 세트:
    [-1, 4, -10, 58, 17, -5, 1, 0];
    [-1, 4, -11, 40, 40, -11, 4, -1]; 및
    [0, 1, -5, 17, 58, -10, 4, -1]
    중 하나를 가지는 8-탭 FIR(Finite Impulse Response) 필터를 적용하여 쿼터-펠 샘플(quarter-pel sample)을 생성하는, 비디오 인코딩 방법.
  9. 제8항에 있어서,
    상기 분수 샘플 보간은, 상기 분수 샘플이 상기 제2 비트 깊이로 표현될 수 있도록 필터링된 결과 각각을 자릿수줄임(truncating)하는 것을 포함하는, 비디오 인코딩 방법.
  10. 제9항에 있어서,
    상기 제2 비트 깊이는 상기 제1 및 제2 분수 보간 프로세스 전체에서 유지되는, 비디오 인코딩 방법.
  11. 제9항에 있어서,
    상기 필터링된 결과 각각을 자릿수줄임하는 것은, 자릿수줄임된 결과를 마이너스 무한대를 향하여 라운딩하는 것을 포함하는, 비디오 인코딩 방법.
  12. 제7항에 있어서,
    스케일링 업된 샘플에서 오프셋을 감산하는 단계를 더 포함하는 비디오 인코딩 방법.
KR1020177015861A 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치 KR101855975B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161501112P 2011-06-24 2011-06-24
US61/501,112 2011-06-24
PCT/US2012/043674 WO2012177961A1 (en) 2011-06-24 2012-06-22 Method and apparatus for motion compensation prediction

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167017302A Division KR101748810B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187012281A Division KR101988409B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170070262A KR20170070262A (ko) 2017-06-21
KR101855975B1 true KR101855975B1 (ko) 2018-05-09

Family

ID=47422960

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020137032807A KR101662654B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치
KR1020167017300A KR101747122B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치
KR1020177015861A KR101855975B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치
KR1020167017302A KR101748810B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치
KR1020187012281A KR101988409B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020137032807A KR101662654B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치
KR1020167017300A KR101747122B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020167017302A KR101748810B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치
KR1020187012281A KR101988409B1 (ko) 2011-06-24 2012-06-22 모션 보상 예측을 위한 방법 및 장치

Country Status (17)

Country Link
US (4) US9860532B2 (ko)
EP (6) EP3751856B1 (ko)
JP (7) JP5625139B2 (ko)
KR (5) KR101662654B1 (ko)
CN (5) CN106162187B (ko)
AU (6) AU2012272779B2 (ko)
BR (1) BR112013032716B1 (ko)
CA (5) CA2904551C (ko)
DK (1) DK3826307T3 (ko)
ES (6) ES2953082T3 (ko)
FI (1) FI3826307T3 (ko)
HU (4) HUE053980T2 (ko)
MX (3) MX337794B (ko)
PL (6) PL3826307T3 (ko)
PT (6) PT2916549T (ko)
RU (7) RU2559839C1 (ko)
WO (1) WO2012177961A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3751856B1 (en) 2011-06-24 2023-07-12 NTT DoCoMo, Inc. Methods for motion compensated prediction
MX336303B (es) * 2011-06-28 2016-01-14 Samsung Electronics Co Ltd Metodo para interpolacion de imagen que utiliza filtro de interpolacion asimetrico y aparato para ello.
EP2982118A4 (en) * 2013-04-05 2016-05-18 Sharp Kk VIDEO COMPRESSION WITH COLOR BITTIEEN SCALE
CN104618680B (zh) * 2015-01-21 2017-09-05 北京瀚景锦河科技有限公司 一种视频分辨率的压缩方法
US10257524B2 (en) * 2015-07-01 2019-04-09 Mediatek Inc. Residual up-sampling apparatus for performing transform block up-sampling and residual down-sampling apparatus for performing transform block down-sampling
WO2019072368A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. LIMITED MEMORY ACCESS WINDOW FOR MOTION VECTOR REFINEMENT
CN112422976B (zh) * 2019-08-23 2024-04-16 北京大学 一种视频编码标准中的亮度分量运动补偿方法及视频编码方法
BR112022004553A2 (pt) 2019-09-13 2022-06-07 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento e meio de gravação não transitórios legíveis por computador
JP2022548555A (ja) 2019-09-24 2022-11-21 アリババ グループ ホウルディング リミテッド 映像符号化のための動き補償方法
KR20220066974A (ko) * 2019-09-30 2022-05-24 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
US11523112B2 (en) 2020-04-09 2022-12-06 Tencent America LLC Intra coding with L-type partitioning tree

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310509A1 (en) * 2007-06-13 2008-12-18 Nvidia Corporation Sub-pixel Interpolation and its Application in Motion Compensated Encoding of a Video Signal
US20090238279A1 (en) * 2008-03-21 2009-09-24 Microsoft Corporation Motion-compensated prediction of inter-layer residuals

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006571B1 (en) * 1997-06-03 2006-02-28 Hitachi, Ltd. Method of synthesizing interframe predicted image, and image coding and decoding method and device therefore
JPH1169345A (ja) * 1997-06-11 1999-03-09 Fujitsu Ltd フレーム間予測動画像符号化装置及び復号装置並びにフレーム間予測動画像符号化方法及び復号方法
KR100739281B1 (ko) * 2000-02-21 2007-07-12 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
DE10022264A1 (de) 2000-05-08 2001-11-22 Micronas Munich Gmbh Videosignal-Decoder und Verfahren zur Beseitigung von Bildstörungen in einem Videobild
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7620109B2 (en) 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
JP4161676B2 (ja) * 2002-10-18 2008-10-08 ソニー株式会社 信号処理装置、その方法およびそのプログラム
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
WO2005104564A1 (ja) * 2004-04-21 2005-11-03 Matsushita Electric Industrial Co., Ltd. 動き補償装置
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
EP1617672A1 (en) * 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
RU2007118660A (ru) * 2004-10-21 2008-11-27 Сони Электроникс, Инк. (Us) Поддержка расширений качества изображения в формате файла усовершенствованного видеокодека
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
CN101326752B (zh) 2005-12-08 2013-02-13 皇家飞利浦电子股份有限公司 用于具有自适应保护间隔的单载波块传输的系统、设备和方法
KR100772390B1 (ko) * 2006-01-23 2007-11-01 삼성전자주식회사 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
US8705630B2 (en) * 2006-02-10 2014-04-22 Nvidia Corporation Adapting one type of encoder to another type of encoder
WO2007114368A1 (ja) 2006-03-30 2007-10-11 Kabushiki Kaisha Toshiba 画像符号化装置及び方法並びに画像復号化装置及び方法
EP3484154A1 (en) * 2006-10-25 2019-05-15 GE Video Compression, LLC Quality scalable coding
CN100551073C (zh) * 2006-12-05 2009-10-14 华为技术有限公司 编解码方法及装置、分像素插值处理方法及装置
US8509316B2 (en) * 2007-01-09 2013-08-13 Core Wireless Licensing, S.a.r.l. Adaptive interpolation filters for video coding
CN100568920C (zh) * 2007-07-24 2009-12-09 浙江大学 串行输入并行输出的视频图像亮度插值的方法和装置
US8819095B2 (en) * 2007-08-28 2014-08-26 Qualcomm Incorporated Fast computation of products by dyadic fractions with sign-symmetric rounding errors
CN100562114C (zh) * 2007-08-30 2009-11-18 上海交通大学 视频解码方法与解码装置
US8204333B2 (en) * 2007-10-15 2012-06-19 Intel Corporation Converting video and image signal bit depths
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
EP2210421A4 (en) * 2007-10-16 2013-12-04 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
PL2835976T3 (pl) * 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
US9326004B2 (en) * 2008-06-03 2016-04-26 Broadcom Corporation Reduced memory mode video decode
JP5697301B2 (ja) * 2008-10-01 2015-04-08 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム
JP5416271B2 (ja) * 2009-04-20 2014-02-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 多層映像配信のための適応補間フィルタ
EP2442569A1 (en) 2009-06-09 2012-04-18 Sony Corporation Image processing device and method
JP2011061320A (ja) * 2009-09-07 2011-03-24 Sony Corp 動き補償装置、符号化装置、復号装置、これらにおける処理方法およびプログラム
CN101715125B (zh) * 2009-09-11 2011-09-28 中山大学 一种用于h.264视频编码的联合分数点运动估计和插值方法
WO2011086672A1 (ja) 2010-01-13 2011-07-21 株式会社 東芝 動画像符号化装置および復号装置
CN101778280B (zh) * 2010-01-14 2011-09-28 山东大学 一种基于avs运动补偿亮度插值运算的电路及方法
WO2011121716A1 (ja) * 2010-03-30 2011-10-06 株式会社 東芝 動画像符号化方法、復号化方法、符号化装置および復号化装置
GB201007351D0 (en) * 2010-04-30 2010-06-16 Imagination Tech Ltd Varying temporal interpolation in a motion compensated frame interpolation system
CN103119935B (zh) 2010-07-09 2016-05-04 三星电子株式会社 图像插值方法和设备
US9036706B2 (en) * 2011-06-22 2015-05-19 Google Inc. Fractional pixel interpolation filter for video compression
EP3751856B1 (en) * 2011-06-24 2023-07-12 NTT DoCoMo, Inc. Methods for motion compensated prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080310509A1 (en) * 2007-06-13 2008-12-18 Nvidia Corporation Sub-pixel Interpolation and its Application in Motion Compensated Encoding of a Video Signal
US20090238279A1 (en) * 2008-03-21 2009-09-24 Microsoft Corporation Motion-compensated prediction of inter-layer residuals

Also Published As

Publication number Publication date
CN104967851A (zh) 2015-10-07
JP2016015761A (ja) 2016-01-28
PT3367687T (pt) 2021-04-26
EP2724540B1 (en) 2020-09-16
KR101662654B1 (ko) 2016-10-05
CA2997877C (en) 2020-08-04
KR101988409B1 (ko) 2019-06-12
CN106162187B (zh) 2019-06-25
JP2014222941A (ja) 2014-11-27
AU2019240711C1 (en) 2021-04-15
KR101748810B1 (ko) 2017-06-19
PL2916549T3 (pl) 2018-10-31
AU2018204503B2 (en) 2019-07-18
JP2019071661A (ja) 2019-05-09
AU2016256712A1 (en) 2016-11-24
EP3826307A1 (en) 2021-05-26
ES2683857T3 (es) 2018-09-28
EP2916549A1 (en) 2015-09-09
US10735746B2 (en) 2020-08-04
PT3826307T (pt) 2023-10-19
CN106162187A (zh) 2016-11-23
EP2724540A1 (en) 2014-04-30
US20190098320A1 (en) 2019-03-28
JP6271697B2 (ja) 2018-01-31
EP3367686A1 (en) 2018-08-29
HUE064092T2 (hu) 2024-02-28
MX2013014726A (es) 2014-02-27
FI3826307T3 (fi) 2023-10-18
KR20160082268A (ko) 2016-07-08
US10721481B2 (en) 2020-07-21
AU2012272779B2 (en) 2016-09-08
AU2018204505A1 (en) 2018-07-12
CA2839704A1 (en) 2012-12-27
US9860532B2 (en) 2018-01-02
AU2012272779A8 (en) 2013-12-12
JP2014520488A (ja) 2014-08-21
KR101747122B1 (ko) 2017-06-14
JP5865965B2 (ja) 2016-02-17
RU2016113727A (ru) 2017-10-16
RU2014102188A (ru) 2015-07-27
RU2634703C2 (ru) 2017-11-03
JP2018082459A (ja) 2018-05-24
KR20180049218A (ko) 2018-05-10
RU2559839C1 (ru) 2015-08-10
KR20160079931A (ko) 2016-07-06
PL2724540T3 (pl) 2021-04-19
JP6900547B2 (ja) 2021-07-07
CN103650490A (zh) 2014-03-19
CN107105263B (zh) 2019-04-26
ES2822248T3 (es) 2021-04-29
ES2869948T3 (es) 2021-10-26
JP2017098984A (ja) 2017-06-01
AU2019240711B2 (en) 2020-12-24
CA3083886A1 (en) 2012-12-27
BR112013032716A2 (pt) 2017-01-24
BR112013032716B1 (pt) 2020-11-03
PT2916549T (pt) 2018-10-04
RU2584546C2 (ru) 2016-05-20
US20180054622A1 (en) 2018-02-22
CA2839704C (en) 2018-05-01
PT3367686T (pt) 2021-02-08
RU2015113433A (ru) 2015-09-10
EP3826307B1 (en) 2023-10-04
AU2019240711A1 (en) 2019-10-24
DK3826307T3 (da) 2023-11-06
CA3083886C (en) 2022-06-28
AU2020294315B2 (en) 2021-11-04
US10171816B2 (en) 2019-01-01
US20190098319A1 (en) 2019-03-28
CN107105263A (zh) 2017-08-29
RU2683591C1 (ru) 2019-03-29
ES2953082T3 (es) 2023-11-08
PT3751856T (pt) 2023-08-17
EP3751856B1 (en) 2023-07-12
JP2020145723A (ja) 2020-09-10
CN106878734B (zh) 2019-11-05
EP2724540B8 (en) 2020-11-04
HUE053980T2 (hu) 2021-08-30
KR20170070262A (ko) 2017-06-21
JP6101327B2 (ja) 2017-03-22
MX337794B (es) 2016-03-18
AU2012272779A1 (en) 2013-11-28
HUE053960T2 (hu) 2021-08-30
PL3826307T3 (pl) 2024-01-29
EP2916549B1 (en) 2018-07-18
EP3367687A1 (en) 2018-08-29
US20140119442A1 (en) 2014-05-01
RU2664389C1 (ru) 2018-08-17
PL3751856T3 (pl) 2023-10-09
CN104967851B (zh) 2018-06-29
AU2020294315A1 (en) 2021-02-18
KR20140026557A (ko) 2014-03-05
AU2018204505B2 (en) 2019-07-18
EP3367686B1 (en) 2021-01-13
CA2904551A1 (en) 2012-12-27
JP6467030B2 (ja) 2019-02-06
RU2739499C1 (ru) 2020-12-25
CA2904551C (en) 2018-05-01
AU2018204503A1 (en) 2018-07-12
JP5625139B2 (ja) 2014-11-12
PT2724540T (pt) 2020-10-19
ES2963964T3 (es) 2024-04-03
PL3367686T3 (pl) 2021-06-28
EP2724540A4 (en) 2014-11-05
WO2012177961A1 (en) 2012-12-27
EP3751856A1 (en) 2020-12-16
AU2016256712B2 (en) 2018-04-26
JP6707678B2 (ja) 2020-06-10
RU2721004C1 (ru) 2020-05-15
PL3367687T3 (pl) 2021-08-02
CA2997877A1 (en) 2012-12-27
HUE062673T2 (hu) 2023-12-28
CN106878734A (zh) 2017-06-20
MX352293B (es) 2017-11-17
ES2847955T3 (es) 2021-08-04
EP3367687B1 (en) 2021-04-07
CN103650490B (zh) 2017-04-05
CA3158173A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
KR101855975B1 (ko) 모션 보상 예측을 위한 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant