KR20190059282A - 보간 필터를 스위칭하는 시스템 및 방법 - Google Patents

보간 필터를 스위칭하는 시스템 및 방법 Download PDF

Info

Publication number
KR20190059282A
KR20190059282A KR1020197009531A KR20197009531A KR20190059282A KR 20190059282 A KR20190059282 A KR 20190059282A KR 1020197009531 A KR1020197009531 A KR 1020197009531A KR 20197009531 A KR20197009531 A KR 20197009531A KR 20190059282 A KR20190059282 A KR 20190059282A
Authority
KR
South Korea
Prior art keywords
interpolation
coding unit
subset
filter
interpolation filter
Prior art date
Application number
KR1020197009531A
Other languages
English (en)
Other versions
KR102546383B1 (ko
Inventor
성원 이
웨이-정 치엔
카이 장
지안레 천
마르타 카르체비츠
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20190059282A publication Critical patent/KR20190059282A/ko
Application granted granted Critical
Publication of KR102546383B1 publication Critical patent/KR102546383B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Complex Calculations (AREA)
  • Peptides Or Proteins (AREA)

Abstract

비디오 데이터의 인코딩 또는 비디오 비트스트림의 디코딩 동안 보간 필터들을 적응적으로 스위칭하기 위한 시스템들, 방법들, 및 장치들이 제공된다. 여러 구현들에서, 보간 필터들의 세트가 정의되고 코딩 디바이스에게 이용가능하게 될 수 있다. 코딩 디바이스는 주어진 코딩 유닛에 대한 보간 필터를 선택할 수 있다. 보간 필터는, 무엇 보다도, 예를 들어 코딩 유닛의 코딩 레벨에 기초하여 선택될 수 있다. 일부 예들에서, 선택된 보간 필터의 시그널링은 주어진 코딩 상황에 대한 보간 필터들의 세트의 서브세트를 선택함으로써 단순화될 수 있다. 서브세트로부터의 보간 필터를 표시하는 인덱스가 그 후 시그널링될 수 있다. 대안적으로, 디코더는 비트스트림에 의해 제공된 데이터로부터 보간 필터의 아이덴티티를 유도할 수 있으며, 그 경우에, 인덱스는 비트스트림에서 명시적으로 시그널링될 필요가 없다.

Description

보간 필터를 스위칭하는 시스템 및 방법
본 출원은 JEM (Joint Exploration Model) 에서 개발되는 코드를 비롯하여 진보된 비디오 코덱의 맥락에서 모션 추정 (ME) 및 모션 보상 (MC) 프로세스에 사용되는 보간 필터를 스위칭하는 것과 관련된다. 예를 들어, 제안된 방법은 다중 보간 필터를 적응 방식으로 채택함으로써 층간 예측의 성능을 향상시킨다.
비디오 코딩 표준들은, 그 스케일러블 비디오 코딩 (SVC) 및 멀티-뷰 비디오 코딩 (MVC) 확장들을 포함하여, ITU-T H.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼 및 ITU-T H.264 (ISO/IEC MPEG-4 AVC 로서도 또한 알려짐) 를 포함한다.
또한, 범위 및 화면 컨텐츠 코딩 확장, 3D 비디오 코딩 (3D-HEVC) 및 멀티 뷰 확장 (MV-HEVC) 및 스케일러블 확장 (SHVC) 을 포함하는 새로운 비디오 코딩 표준, 즉 HEVC (High Efficiency Video Coding) 또는 ITU-T H.265 가 비디오 코딩에 관한 공동 협력팀 (JCT-VC) 뿐아니라 ITU-T 비디오 코딩 전문가 그룹 (VCEG) 및 ISO/IEC 동화상 전문가 그룹 (MPEG) 의 3D 비디오 코딩 확장 개발에 관한 공동 협력팀 (JCT-3V) 에 의해 최근 개발되었다.
2016 년에, MPEG 및 ITU-T VCEG 는 차세대 비디오 코딩 표준을 위한 새로운 코딩 도구를 모색하기 위해 공동 탐사 비디오 팀 (JVET) 을 구성했다. 참조 소프트웨어는 JEM (joint exploration model) 이라고 불린다.
비디오 압축 기술들은 입력 비디오 신호들에 고유한 리던던시를 감소 또는 제거하기 위해 공간 예측 및 시간 예측을 수행한다. 시간적 리던던시 (즉, 이웃하는 프레임의 시각적 유사성) 를 줄이기 위해, 비디오에서의 객체의 움직임을 추적하기 위해 모션 추정이 수행된다. 모션 벡터는 픽셀 단위 거리의 변위를 나타낼 수 있다. 경우에 따라, 모션 벡터는 1/2 픽셀, 1/4 픽셀 또는 1/16 픽셀 거리와 같은 정수 픽셀 정밀도보다 높은 정밀도를 가질 수 있다. 정밀도가 미세 해지면 비디오 코더가 더 정확하게 모션 필드를 추적할 수 있으므로 더 나은 예측을 얻을 수 있다.
적어도 하나의 예에 따르면, 비디오 데이터를 획득하는 것을 포함하는 비디오 데이터를 인코딩하는 방법이 제공된다. 방법은 코딩 유닛에 대해 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 단계를 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛과 관련된, 비디오 데이터 내의 정보에 기초하여 결정된다. 방법은 코딩 유닛을 인코딩하는 단계를 더 포함하며, 코딩 유닛을 인코딩하는 단계는 코딩 유닛에 대한 모션 추정 및 모션 보상을 위한 보간 필터를 선택하는 단계를 포함하며, 보간 필터는 보간 필터들의 서브 세트로부터 선택된다. 방법은 인코딩 된 비디오 비트 스트림을 생성하는 단계를 더 포함하며, 인코딩된 비디오 비트 스트림은 인코딩된 코딩 유닛을 포함한다.
다른 예에서, 비디오 데이터를 저장하도록 구성된 메모리 및 프로세서를 포함하는 장치가 제공된다. 프로세서는 비디오 데이터를 획득하도록 구성되고 비디오 데이터를 획득할 수 있다. 프로세서는 코딩 유닛에 대해 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하도록 구성되고, 보간 필터들의 서브 세트를 결정할 수 있고, 보간 필터들의 서브 세트는 코딩 유닛과 관련된, 비디오 데이터 내의 정보에 기초하여 결정된다. 프로세서는 코딩 유닛을 인코딩하도록 구성되고 코딩 유닛을 인코딩할 수 있으며, 프로세싱을 인코딩하는 단계는 모션 추정 및 모션 보상을 위한 보간 필터를 선택하는 단계를 포함하며, 보간 필터는 보간 필터들의 서브 세트로부터 선택된다. 프로세서는 인코딩된 비디오 비트 스트림을 생성하도록 구성되고 인코딩된 비디오 비트 스트림을 생성할 수 있으며, 인코딩된 비디오 비트 스트림은 인코딩된 코딩 유닛을 포함한다.
다른 예에서, 프로세서에 의해 실행될 때 비디오 데이터를 획득하는 단계를 포함하는 방법을 수행하는 명령들을 저장한 컴퓨터 판독 가능 매체가 제공된다. 방법은 코딩 유닛에 대해 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 단계를 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛과 관련된, 비디오 데이터 내의 정보에 기초하여 결정된다. 방법은 코딩 유닛을 인코딩하는 단계를 더 포함하며, 코딩 유닛을 인코딩하는 단계는 코딩 유닛에 대한 모션 추정 및 모션 보상을 위한 보간 필터를 선택하는 단계를 포함하며, 보간 필터는 보간 필터들의 서브 세트로부터 선택된다. 방법은 인코딩된 비디오 비트 스트림을 생성하는 단계를 더 포함하며, 인코딩된 비디오 비트 스트림은 인코딩된 코딩 유닛을 포함한다.
다른 예에서, 비디오 데이터를 획득하는 수단을 포함하는 장치가 제공된다. 장치는 코딩 유닛에 대해 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 수단을 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛과 관련된, 비디오 데이터 내의 정보에 기초하여 결정된다. 장치는 코딩 유닛을 인코딩하는 수단을 더 포함하며, 코딩 유닛을 인코딩하는 것은 코딩 유닛에 대한 모션 추정 및 모션 보상을 위한 보간 필터를 선택하는 것을 포함하며, 보간 필터는 보간 필터들의 서브 세트로부터 선택된다. 장치는 인코딩된 비디오 비트 스트림을 생성하는 수단을 더 포함하며, 인코딩된 비디오 비트 스트림은 인코딩된 코딩 유닛을 포함한다.
몇몇 양태들에서, 상기 기술된 방법, 장치 및 컴퓨터 판독 가능 매체는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 것을 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛의 코딩 레벨에 기초하여 결정되며, 보간 필터는 보간 필터들의 서브 세트로부터 결정된다.
몇몇 양태들에서, 상기 기술된 방법, 장치 및 컴퓨터 판독 가능 매체는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 것을 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛에 대한 예측 모드에 기초하여 결정되며, 보간 필터는 보간 필터들의 서브 세트로부터 결정된다.
몇몇 양태들에서, 상기 기술된 방법, 장치 및 컴퓨터 판독 가능 매체는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 것을 더 포함하며, 보간 필터들의 서브 세트는 모션 정보에 기초하여 결정되며, 보간 필터는 보간 필터들의 서브 세트로부터 결정된다.
몇몇 양태들에서, 상기 기술된 방법, 장치 및 컴퓨터 판독 가능 매체는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 것을 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛을 코딩하기 위해 사용되는 코딩 도구에 기초하여 결정되며, 보간 필터는 보간 필터들의 서브 세트로부터 결정된다.
몇몇 양태들에서, 보간 필터는 이전에 코딩된 블록으로부터 선택된다. 몇몇 양태들에서, 보간 필터는 코딩 유닛의 이웃 블록으로부터 선택된다.
몇몇 양태들에서, 상기 기술 된 방법들, 장치들 및 컴퓨터 판독 가능 매체는 보간 필터를 제 2 보간 필터와 병합하는 것을 더 포함하며, 결과의 병합된 보간 필터는 모션 추정에 사용된다. 일부 양태들에서, 보간 필터는 제 2 보간 필터와 관련되고, 보간 필터는 정수 픽셀 위치에 대한 것이고, 제 2 보간 필터는 분수 픽셀 위치에 대한 것이다. 몇몇 양태들에서, 보간 필터 및 제 2 보간 필터는 상이한 컷오프 주파수들을 갖는다. 일부 양태들에서, 인코딩된 비디오 비트 스트림은 보간 필터를 식별하는 값을 포함한다. 몇몇 양태들에서, 보간 필터들의 세트는 인코딩된 비디오 비트 스트림으로 시그널링되지 않고, 보간 필터의 아이덴티티는 인코딩된 비디오 비트 스트림으로부터 암시될 수 있다.
몇몇 양태들에서, 상술한 바와 같은 장치는 화상들을 캡쳐하기 위한 카메라를 포함할 수 있다. 적어도 하나의 예에 따르면, 인코딩된 비디오 비트스트림을 획득하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법이 제공된다. 방법은 인코딩된 비디오 비트 스트림으로부터 현재 프레임의 코딩 유닛에 대한 참조 프레임을 결정하는 단계를 더 포함한다. 방법은 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 단계를 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛과 관련된, 인코딩된 비디오 비트스트림 내의 정보에 기초하여 결정된다. 방법은 보간 필터들의 서브 세트로부터 보간 필터를 결정하는 단계를 더 포함한다. 방법은 코딩 유닛을 재구성하기 위해 참조 프레임 및 보간 필터를 사용하는 단계를 더 포함한다.
다른 예에서, 비디오 데이터를 저장하도록 구성된 메모리 및 프로세서를 포함하는 장치가 제공된다. 프로세서는 인코딩된 비디오 비트스트림을 획득하도록 구성되고 획득할 수 있다. 프로세서는 인코딩된 비디오 비트 스트림으로부터 현재 프레임의 코딩 유닛에 대한 참조 프레임을 결정하도록 구성되고 결정할 수 있다. 프로세서는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하도록 더 구성되고, 보간 필터들의 서브 세트는 코딩 유닛과 관련된, 인코딩된 비디오 비트스트림 내의 정보에 기초하여 결정된다. 프로세서는 보간 필터들의 서브 세트로부터 보간 필터를 결정하도록 구성되고 결정할 수 있다. 프로세서는 코딩 유닛을 재구성하기 위해 참조 프레임 및 보간 필터를 사용하도록 구성되고 사용할 수 있다.
다른 예에서, 프로세서에 의해 실행될 때 인코딩된 비디오 비트스트림을 획득하는 단계를 포함하는 방법을 수행하는 명령들을 저장한 컴퓨터 판독 가능 매체가 제공된다. 방법은 인코딩된 비디오 비트 스트림으로부터 현재 프레임의 코딩 유닛에 대한 참조 프레임을 결정하는 단계를 더 포함한다. 방법은 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 단계를 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛과 관련된, 인코딩된 비디오 비트스트림 내의 정보에 기초하여 결정된다. 방법은 보간 필터들의 서브 세트로부터 보간 필터를 결정하는 단계를 더 포함한다. 방법은 코딩 유닛을 재구성하기 위해 참조 프레임 및 보간 필터를 사용하는 단계를 더 포함한다. 다른 예에서, 인코딩된 비디오 비트스트림을 획득하는 수단을 포함하는 장치가 제공된다. 장치는 인코딩된 비디오 비트 스트림으로부터 현재 프레임의 코딩 유닛에 대한 참조 프레임을 결정하는 수단을 더 포함한다. 장치는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 수단을 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛과 관련된, 인코딩된 비디오 비트스트림 내의 정보에 기초하여 결정된다. 장치는 보간 필터들의 서브 세트로부터 보간 필터를 결정하는 수단을 더 포함한다. 장치는 코딩 유닛을 재구성하기 위해 참조 프레임 및 보간 필터를 사용하는 수단을 더 포함한다.
몇몇 양태들에서, 상기 기술된 방법, 장치 및 컴퓨터 판독 가능 매체는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 것을 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛의 코딩 레벨에 기초하여 결정되며, 보간 필터는 보간 필터들의 서브 세트로부터 결정된다.
몇몇 양태들에서, 상기 기술된 방법, 장치 및 컴퓨터 판독 가능 매체는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 것을 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛에 대한 예측 모드에 기초하여 결정되며, 보간 필터는 보간 필터들의 서브 세트로부터 결정된다.
몇몇 양태들에서, 상기 기술된 방법, 장치 및 컴퓨터 판독 가능 매체는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 것을 더 포함하며, 보간 필터들의 서브 세트는 모션 정보에 기초하여 결정되며, 보간 필터는 보간 필터들의 서브 세트로부터 결정된다.
몇몇 양태들에서, 상기 기술된 방법, 장치 및 컴퓨터 판독 가능 매체는 보간 필터들의 세트로부터 보간 필터들의 서브 세트를 결정하는 것을 더 포함하며, 보간 필터들의 서브 세트는 코딩 유닛을 코딩하기 위해 사용되는 코딩 도구에 기초하여 결정되며, 보간 필터는 보간 필터들의 서브 세트로부터 결정된다.
몇몇 양태들에서, 보간 필터는 이전에 코딩된 블록으로부터 선택된다. 몇몇 양태들에서, 보간 필터는 이웃 블록으로부터 선택된다.
몇몇 양태들에서, 상기 기술 된 방법들, 장치들 및 컴퓨터 판독 가능 매체는 보간 필터를 제 2 보간 필터와 병합하는 것을 더 포함하며, 결과의 병합된 보간 필터는 예측 유닛을 재구성하는데 사용된다.
일부 양태들에서, 보간 필터는 제 2 보간 필터와 관련되고, 보간 필터는 정수 픽셀 위치에 대한 것이고, 제 2 보간 필터는 분수 픽셀 위치에 대한 것이다. 몇몇 양태들에서, 보간 필터 및 제 2 보간 필터는 상이한 컷오프 주파수들을 갖는다.
일부 양태들에서, 인코딩된 비디오 비트 스트림은 보간 필터를 식별하는 값을 포함한다.
몇몇 양태들에서, 상기 기술된 방법, 장치 및 컴퓨터 판독 가능 매체는 인코딩된 비디오 비트 스트림을 사용하여 보간 필터의 아이덴티티를 도출하는 것을 더 포함한다.
몇몇 양태들에서, 상술한 바와 같은 장치는 화상들을 캡쳐하기 위한 카메라를 포함할 수 있다. 일부 양상들에서, 장치는 비디오 데이터를 디스플레이하기 위한 디스플레이를 포함할 수 있다.
본 발명의 예시적인 실시형태들이 이하 도면들을 참조하여 상세히 설명된다.
도 1 은 인코딩 디바이스 및 디코딩 디바이스의 예를 도시한 블록도이다.
도 2 는 현재 프레임으로부터의 현재 블록에 대한 인코딩 프로세스의 예를 도시한다.
도 3 은 분수 픽셀 위치의 예를 도시한다.
도 4 는 인코딩 프로세스의 모션 추정 단계의 예를 도시한다.
도 5 는 디코딩 프로세스의 모션 추정 단계의 예를 도시한다.
도 6 은 세 개의 예시적인 필터들, F0, F1 및 F2 의 주파수 응답을 나타내는 그래프이다.
도 7 은 인코딩 프로세스 동안 보간 필터를 스위칭하기 위한 프로세스의 예를 도시한다.
도 8 은 디코딩 프로세스에서 보간 필터를 스위칭하기 위한 프로세스의 예이다.
도 9 은 예시적인 인코딩 디바이스를 도시한 블록도이다.
도 10 은 예시적인 비디오 디코딩 디바이스를 도시한 블록도이다.
본 개시의 특정 양태들 및 실시형태들이 이하에 제공된다. 이들 양태들 및 실시형태들 중 일부는 독립적으로 적용될 수 있고 그들 중 일부는 당업자에게 자명한 바와 같이 조합하여 적용될 수도 있다. 다음의 설명에 있어서, 설명의 목적들로, 특정 상세들이 본 발명의 실시형태들의 철저한 이해를 제공하기 위해 기술된다. 하지만, 여러 실시형태들은 이들 특정 상세들없이도 실시될 수도 있음이 명백할 것이다. 도면 및 설명은 제한하려는 것이 아니다.
다음의 설명은 오직 예시적인 실시형태들을 제공할 뿐이고, 본 개시의 범위, 적용가능성, 또는 구성을 한정하지 않는다. 오히려, 예시적인 실시형태들의 다음의 설명은 예시적인 실시형태를 구현하기 위한 가능한 설명을 당업자에게 제공할 것이다. 첨부된 청구범위에 설명된 바와 같이 본 발명의 사상 및 범위를 벗어나지 않으면서 요소들의 기능 및 배열에 다양한 변경이 가해질 수 있음을 이해해야한다.
특정 상세들이 실시형태들의 철저한 이해를 제공하기 위해 다음의 설명에서 주어진다. 하지만, 실시형태들은 이들 특정 상세없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들어, 회로들, 시스템들, 네트워크들, 프로세스들, 및 다른 컴포넌트들은 그 실시형태들을 불필요한 상세로 불명료하게 하지 않기 위해 블록 다이어그램 형태의 컴포넌트들로서 도시될 수도 있다. 다른 예들에서, 공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기술들은, 실시형태들을 불명료하게 하는 것을 회피하기 위해 불필요한 상세없이 도시될 수도 있다.
개개의 실시형태들은, 플로우차트, 플로우 다이어그램, 데이터 흐름도, 구조 다이어그램, 또는 블록 다이어그램으로서 도시된 프로세스로서 설명될 수도 있음이 주목된다. 비록 플로우차트가 동작들을 순차적인 프로세스로서 기술할 수도 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 부가적으로, 동작들의 순서가 재배열될 수도 있다. 프로세스는 그의 동작들이 완료되면 종료되지만 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응할 경우, 그 종료는 그 함수의 호출 함수 또는 메인 함수로의 복귀에 대응할 수 있다.
용어 "컴퓨터 판독가능 매체" 는 휴대용 또는 고정식 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 포함, 또는 반송할 수 있는 다양한 다른 매체들을 포함하지만 이에 한정되지 않는다. 컴퓨터 판독 가능 매체는 데이터가 저장될 수 있고 캐리어 웨이브 및/또는 무선 또는 유선 연결을 통해 전파되는 일시적인 전자 신호를 포함하지 않는 비일시적인 매체를 포함할 수도 있다. 비일시적인 매체의 예는 자기 디스크 또는 테이프, 콤팩트 디스크 (CD) 또는 디지털 다용도 디스크 (DVD)와 같은 광학 저장 매체, 플래시 메모리, 메모리 또는 메모리 장치를 포함하나, 이에 한정되는 것은 아니다. 컴퓨터 판독가능 매체는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 스테이트먼트들의 임의의 조합을 나타낼 수도 있는 코드 및/또는 머신 실행가능 명령들을 저장할 수도 있다. 코드 세그먼트는, 정보, 데이터, 인수들 (arguments), 파라미터들, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 전송 등을 포함한 임의의 적합한 수단을 통해 전달, 포워딩, 또는 전송될 수도 있다.
더욱더, 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어들, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 경우, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들 (예를 들어, 컴퓨터 프로그램 제품) 은 컴퓨터 판독가능 또는 머신 판독가능 매체에 저장될 수도 있다. 프로세서(들) 은 필요한 작업들을 수행할 수도 있다.
더 많은 디바이스들 및 시스템들이 소비자에게 디지털 비디오 데이터를 소비 할 능력을 제공함에 따라, 효율적인 비디오 코딩 기술에 대한 필요가 더 중요 해지고 있다. 비디오 코딩은 디지털 비디오 데이터에 존재하는 다량의 데이터를 처리하는 데 필요한 저장 및 전송 요건들을 줄이기 위해 필요하다. 다양한 비디오 코딩 기술은 높은 비디오 품질을 유지하면서 더 낮은 비트 레이트를 사용하는 형태로 비디오 데이터를 압축하는데 사용될 수도 있다. 여기서 사용되는 바와 같이, 용어 "코딩" 은 "인코딩" 또는 "디코딩" 을 지칭한다.
도 1 은 인코딩 디바이스 (104) 및 디코딩 디바이스 (112) 를 포함하는 비디오 코딩 시스템 (100) 의 예를 도시한 블록도이다. 인코딩 디바이스 (104) 는 소스 디바이스의 일부일 수 있고, 디코딩 디바이스 (112)는 수신 디바이스의 일부일 수 있다. 소스 디바이스 및/또는 수신 디바이스는 모바일 또는 고정 전화 핸드셋 (예를 들어, 스마트 폰, 셀룰러 폰 등), 데스크탑 컴퓨터, 랩탑 또는 노트북 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 텔레비전, 카메라, 디스플레이 장치, 디지털 미디어 플레이어, 비디오 게임 콘솔, 비디오 스트리밍 장치, 인터넷 프로토콜 (IP) 카메라, 또는 임의의 다른 적절한 전자 장치와 같은 전자 장치를 포함할 수도 있다. 일부 예에서, 소스 디바이스 및 수신 디바이스는 무선 통신을 위한 하나 이상의 무선 송수신기를 포함할 수도 있다. 여기에 기술된 코딩 기술은 (예를 들면, 인터넷을 통한) 스트리밍 비디오 전송, 텔레비전 방송 또는 전송, 데이터 저장 매체상의 저장을 위한 디지털 비디오의 인코딩, 데이터 저장 매체상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션을 포함하는 다양한 멀티미디어 애플리케이션에서의 비디오 코딩에 적용가능하다. 일부 예들에 있어서, 시스템 (100) 은 비디오 컨퍼런싱, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 게이밍 및/또는 비디오 전화와 같은 애플리케이션들을 지원하기 위해 일방향 또는 양방향 비디오 송신을 지원할 수 있다.
인코딩 디바이스 (104) (또는 인코더) 는 비디오 코딩 표준 또는 프로토콜을 사용하여 비디오 데이터를 인코딩하여 인코딩된 비디오 비트 스트림을 생성하는 데 사용될 수 있다. 비디오 코딩 표준들의 예들은, 그 스케일러블 비디오 코딩 (SVC) 및 멀티뷰 비디오 코딩 (MVC) 확장들, 및 고효율 비디오 코딩 (HEVC) 또는 ITU-T H.265 를 포함하여, ITU-T H.261, ISO/IEC MPEG-1 비주얼, ITU-T H.262 또는 ISO/IEC MPEG-2 비주얼, ITU-T H.263, ISO/IEC MPEG-4 비주얼, ITU-T H.264 (ISO/IEC MPEG-4 AVC 로서도 알려짐) 를 포함한다. 범위 및 스크린 컨텐츠 코딩 확장, 3D 비디오 코딩 (3D-HEVC) 및 멀티뷰 확장 (MV-HEVC) 및 스케일러블 확장 (SHVC) 을 포함하여, HEVC 에 대한 다양한 확장들은 다중층 비디오 코딩을 다룬다. HEVC 및 그의 확장들은 ITU-T 비디오 코딩 전문가 그룹 (VCEG) 및 ISO/IEC 동화상 전문가 그룹 (MPEG) 의 JCT-VC (Joint Collaboration Team on Video Coding) 뿐아니라 JCT-3V (Joint Collaboration Team on 3D Video Coding Extension Development) 에 의해 개발되었다. MPEG 및 ITU-T VCEG 는 또한 차세대 비디오 코딩 표준을 위한 새로운 코딩 도구를 모색하기 위해 공동 탐사 비디오 팀 (JVET) 을 구성했다. 참조 소프트웨어는 JEM (joint exploration model) 이라고 불린다.
여기에 기술된 많은 예는 JEM 모델, HEVC 표준 및/또는 그 확장을 사용하는 예를 제공한다. 그러나, 여기서 설명된 기술들 및 시스템들은 또한 AVC, MPEG, 그 확장들, 또는 현재 존재하는 다른 적절한 코딩 표준들 또는 장래의 코딩 표준들과 같은 다른 코딩 표준들에도 적용될 수도 있다. 따라서, 여기에 기술된 기술들 및 시스템들은 특정 비디오 코딩 표준을 참조하여 기술될 수도 있지만, 당업자는 설명이 그러한 특정 표준에만 적용되는 것으로 해석되어서는 안됨을 이해할 것이다.
도 1 을 참조하면, 비디오 소스 (102) 는 비디오 데이터를 인코딩 디바이스 (104) 에 제공할 수도 있다. 비디오 소스 (102) 는 소스 디바이스의 일부일 수도 있거나 소스 디바이스 이외의 디바이스의 일부일 수도 있다. 비디오 소스 (102) 는 비디오 캡처 디바이스 (예를 들어, 비디오 카메라, 카메라 폰, 비디오 폰 등), 저장된 비디오를 포함하는 비디오 아카이브, 비디오 데이터를 제공하는 비디오 서버 또는 컨텐츠 제공자, 비디오 서버 또는 컨텐츠 제공자로부터 비디오를 수신하는 비디오 피드 인터페이스, 컴퓨터 그래픽 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 그러한 소스들의 조합, 또는 임의의 다른 적합한 비디오 소스를 포함할 수도 있다.
비디오 소스 (102) 로부터의 비디오 데이터는 하나 이상의 입력 화상들 또는 프레임들을 포함할 수도 있다. 비디오의 화상 또는 프레임은 장면의 정지 이미지이다. 인코딩 디바이스 (104) 의 인코더 엔진 (106) (또는 인코더) 은 인코딩된 비디오 비트 스트림을 생성하기 위해 비디오 데이터를 인코딩한다. 일부 예에서, 인코딩된 비디오 비트 스트림 (또는 "비디오 비트 스트림" 또는 "비트 스트림") 은 일련의 하나 이상의 코딩된 비디오 시퀀스들이다. 코딩된 비디오 시퀀스 (CVS) 는 특정 특성을 갖는 및 기본 계층에서의 랜덤 액세스 포인트 화상을 갖는 AU 로 시작하여 특정 특성을 갖는 및 기본 계층에서의 랜덤 액세스 포인트 화상을 갖는 다음 AU 까지의 및 다음 AU 를 포함하지 않는 일련의 액세스 유닛들 (Aus) 을 포함한다. 예를 들어, CVS 를 시작하는 랜덤 액세스 포인트 화상의 특정 속성은 1과 같은 RASL 플래그 (예: NoRaslOutputFlag) 를 포함할 수도 있다. 그렇지 않으면, (0 과 동일한 RASL 플래그를 갖는) 랜덤 액세스 포인트 화상은 CVS를 시작하지 않는다. 액세스 유닛 (AU) 은 동일한 출력 시간을 공유하는 코딩된 화상들에 대응하는 하나 이상의 코딩된 화상들 및 제어 정보를 포함한다. 화상들의 코딩된 슬라이스들은 비트 스트림 수준에서 NAL (Network Abstraction Layer) 유닛들이라고 하는 데이터 유닛들로 캡슐화된다. 예를 들어, HEVC 비디오 비트 스트림은 NAL 유닛들을 포함하는 하나 이상의 CVS 들을 포함할 수도 있다. NAL 유닛들 각각은 NAL 유닛 헤더를 갖는다. 일례에서, 헤더는 H.264/AVC (다층 확장을 제외) 에 대해 1 바이트 및 HEVC 에 대해 2 바이트이다. NAL 유닛 헤더의 신택스 엘리먼트들은 지정된 비트를 취하므로, 무엇보다도 전송 스트림, RTP (Real-time Transport) 프로토콜, 파일 형식과 같은 모든 종류의 시스템 및 전송 계층에서 볼 수 있다.
비디오 코딩 계층 (VCL) NAL 유닛들 및 비-VCL NAL 유닛들을 포함하는 2개의 클래스들의 NAL 유닛들이 HEVC 표준에 존재한다. VCL NAL 유닛은 코딩된 화상 데이터의 하나의 슬라이스 또는 슬라이스 세그먼트 (이하 설명됨) 를 포함하고, 비-VCL NAL 유닛은 하나 이상의 코딩 된 화상과 관련된 제어 정보를 포함한다. 일부 경우들에서, NAL 유닛은 패킷이라고 지칭될 수 있다. HEVC AU 는 코딩된 화상 데이터를 포함하는 VCL NAL 유닛들 및 코딩된 화상 데이터에 대응하는 비-VCL NAL 유닛들 (존재하는 경우) 을 포함한다.
NAL 유닛들은 비디오 내의 화상들의 코딩된 표현과 같은 비디오 데이터의 코딩된 표현 (예를 들어, 인코딩된 비디오 비트 스트림, 비트 스트림의 CVS 등) 을 형성하는 비트들의 시퀀스를 포함할 수도 있다. 인코더 엔진 (106) 은 각각의 화상을 다수의 슬라이스들로 파티셔닝함으로써 화상들의 코딩된 표현들을 생성한다. 슬라이스는 그 슬라이스 내의 정보가 동일한 화상 내의 다른 슬라이스들로부터의 데이터에 종속되지 않고 코딩되도록 다른 슬라이스들에 대해 독립적이다. 슬라이스는 독립 슬라이스 세그먼트를 포함하는 하나 이상의 슬라이스 세그먼트들, 및 존재하는 경우, 이전 슬라이스 세그먼트들에 의존하는 하나 이상의 종속 슬라이스 세그먼트들을 포함한다. 슬라이스들은 그 후 루마 샘플들 및 크로마 샘플들의 코딩 트리 블록들 (CTBs) 로 파티셔닝된다. 샘플들에 대한 신택스와 함께, 루마 샘플들의 CTB 와 크로마 샘플들의 하나 이상의 CTB 들은 코딩 트리 유닛 (CTU) 으로서 지칭된다. CTU 는 HEVC 인코딩을 위한 기본 프로세싱 단위이다. CTU는 다양한 크기의 다중 코딩 유닛들 (Cus) 로 분할될 수 있다. CU 는 코딩 블록들 (CBs) 이라고 지칭되는 루마 및 크로마 샘플 배열들을 포함한다.
루마 및 크로마 CB 들은 예측 블록들 (PB) 로 더 분할될 수 있다. PB 는 (이용 가능하거나 사용을 위해 인에이블될 때) 인터 예측 또는 인트라 블록 복사 예측에 대해 동일한 모션 파라미터들을 사용하는 루마 성분 또는 크로마 성분의 샘플들의 블록이다. 루마 PB 및 하나 이상의 크로마 PB 들은, 연관된 신택스와 함께, 예측 유닛 (PU) 을 형성한다. 인터 예측을 위해, 모션 파라미터들의 세트 (예를 들어, 하나 이상의 모션 벡터들, 참조 인덱스들 등) 가 각각의 PU 에 대해 비트 스트림으로 시그널링되고, 루마 PB 및 하나 이상의 크로마 PB 들의 인터 예측을 위해 사용된다. 모션 파라미터들은 모션 정보로서도 지칭될 수 있다. CB 는 또한 하나 이상의 변환 블록들 (TB) 로 파티셔닝될 수 있다. TB 는 예측 잔차 신호를 코딩하기 위해 동일한 2 차원 변환이 적용되는 컬러 성분의 샘플들의 정사각형 블록을 나타낸다. 변환 유닛 (TU) 은 루마 및 크로마 샘플들의 TB 들 및 대응하는 신택스 엘리먼트들을 나타낸다. CU 의 사이즈는 코딩 모드의 사이즈에 대응하고, 형상이 정사각형일 수도 있다. 예를 들어, CU 의 크기는 8 x 8 샘플, 16 x 16 샘플, 32 x 32 샘플, 64 x 64 샘플 또는 해당 CTU 의 크기까지의 임의의 다른 적절한 크기일 수도 있다. 어구 "NxN" 은 수직 및 수평 치수들의 관점에서의 비디오 블록의 픽셀 치수들 (예를 들어, 8 픽셀 x 8 픽셀) 을 지칭하기 위해 여기서 사용된다. 블록에 있어서의 픽셀들은 행 및 열로 배열될 수도 있다. 일부 예들에서, 블록들은 수평 방향에서 수직 방향에서와 동일한 수의 픽셀들을 갖지 않을 수도 있다. CU 와 연관된 신택스 데이터는, 예를 들어, 하나 이상의 PU들로의 CU 의 파티셔닝을 기술할 수도 있다. 파티셔닝 모드들은 CU 가 인트라-예측 모드 인코딩되거나, 또는 인터-예측 모드 인코딩되는지 여부 간에 상이할 수도 있다. PU들은 형상이 비-정방형이도록 파티셔닝될 수도 있다. CU 와 연관된 신택스 데이터는 또한, 예를 들어, CTU 에 따라 하나 이상의 TU들로의 CU 의 파티셔닝을 기술할 수도 있다. TU 는 형상이 정방형이거나 비-정방형일 수 있다.
HEVC 표준에 따르면, 변환은 변환 유닛 (TU) 을 사용하여 수행될 수도 있다. TU 들은 상이한 CU 들에 대해 다를 수도 있다. TU 들은 주어진 CU 내의 PU 들의 크기에 기초하여 크기가 정해질 수있다. TU들은 PU들과 동일한 사이즈이거나 그 보다 더 작을 수도 있다. 일부 예들에 있어서, CU 에 대응하는 잔차 샘플들은 잔차 쿼드 트리 (RQT) 로서 알려진 쿼드트리 구조를 이용하여 더 작은 유닛들로 세분될 수도 있다. RQT 의 리프 노드들은 TU들에 대응할 수도 있다. TU들과 연관된 픽셀 차이 값들은 변환 계수들을 생성하도록 변환될 수도 있다. 변환 계수는 그 후 인코더 엔진 (106) 에 의해 양자화될 수 있다.
일단 비디오 데이터의 화상들이 CU 들로 파티셔닝되면, 인코더 엔진 (106) 은 예측 모드를 사용하여 각각의 PU를 예측한다. 그 후, 예측 유닛 또는 예측 블록은 잔차들 (후술 됨)를 얻기 위해 원래의 비디오 데이터로부터 감산된다. 각각의 CU 에 대해, 예측 모드는 신택스 데이터를 사용하여 비트 스트림 내부에서 시그널링될 수도 있다. 예측 모드는 인트라 예측 (또는 인트라-픽처 예측) 또는 인터-예측 (또는 인터-픽처 예측) 을 포함할 수도 있다. 인트라 예측은 화상 내에서 공간적으로 이웃하는 샘플 간의 상관을 이용한다. 예를 들어, 인트라-예측을 사용하여, 각각의 PU 는, 예를 들어, PU 에 대한 평균값을 발견하기 위한 DC 예측, PU 에 대해 평면 표면을 피팅 (fitting) 하기 위한 평면 예측, 이웃하는 데이터로부터 외삽하기 위한 방향 예측, 또는 임의의 다른 적절한 유형의 예측을 사용하여 동일한 화상 내의 이웃하는 이미지 데이터로부터 예측된다. 인터 예측은 이미지 샘플들의 블록에 대한 모션 보상된 예측을 도출하기 위해 화상들 간의 시간 상관을 사용한다. 예를 들어, 인터-예측을 사용하여, 각각의 PU 는 (출력 순서로 현재 화상의 전 또는 후의) 하나 이상의 기준 화상들에서의 이미지 데이터로부터의 모션 보상 예측을 사용하여 예측된다. 인터 화상 또는 인트라 화상 예측을 사용하여 화상 영역을 코딩할지 여부의 결정은 예를 들어 CU 레벨에서 행해질 수도 있다.
일부 예에서, 화상의 하나 이상의 슬라이스는 슬라이스 유형이 할당된다. 슬라이스 유형에는 I 슬라이스, P 슬라이스 및 B 슬라이스가 포함된다. I 슬라이스 (인트라-프레임, 독립적으로 디코딩 가능) 는 인트라-예측에 의해서만 코딩되는 화상의 슬라이스이며, 따라서 I 슬라이스는 슬라이스의 임의의 예측 유닛 또는 예측 블록을 예측하기 위해 프레임 내의 데이터만을 필요로하기 때문에 독립적으로 디코딩 가능하다. P 슬라이스 (단방향 예측 프레임들) 는 인트라-예측 및 단방향 인터-예측으로 코딩될 수도 있는 화상의 슬라이스이다. P 슬라이스 내의 각각의 예측 유닛 또는 예측 블록은 인트라 예측 또는 인터-예측으로 코딩된다. 인터 예측이 적용될 때, 예측 유닛 또는 예측 블록은 하나의 기준 화상에 의해서만 예측되므로, 기준 샘플은 한 프레임의 하나의 기준 영역으로부터만 나온다. B 슬라이스 (양방향 예측 프레임들) 는 인트라-예측 및 인터-예측 (예를 들어, 양방향 예측 또는 단방향 예측) 으로 코딩될 수도 있는 화상의 슬라이스이다. B 슬라이스의 예측 유닛 또는 예측 블록은 2 개의 기준 화상으로부터 양방향적으로 예측될 수도 있으며, 여기서 각각의 화상은 하나의 기준 영역에 기여하고 2 개의 기준 영역들의 샘플 세트들은 (예를 들어, 동일한 가중치 또는 상이한 가중치를 사용하여) 가중되어, 양방향 예측된 블록의 예측 신호를 생성한다. 전술한 바와 같이, 하나의 화상의 슬라이스들은 독립적으로 코딩된다. 일부 경우들에서, 화상은 단 하나의 슬라이스로서 코딩될 수 있다. PU 는 예측 프로세스와 관련된 데이터 (예: 모션 파라미터들 또는 기타 적절한 데이터)를 포함할 수도 있다. 예를 들어, PU 가 인트라-예측을 사용하여 인코딩될 경우, PU 는 그 PU 에 대한 인트라-예측 모드를 기술하는 데이터를 포함할 수도 있다. 다른 예로서, PU 가 인터-예측을 사용하여 인코딩될 경우, PU 는 그 PU 에 대한 모션 벡터를 정의하는 데이터를 포함할 수도 있다. PU 에 대한 모션 벡터를 정의하는 데이터는 예를 들어, 모션 벡터의 수평 컴포넌트 (Δx), 모션 벡터의 수직 컴포넌트 (Δy), 모션 벡터에 대한 분해능 (예를 들어, 정수 정밀도, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 포인팅하는 참조 화상, 참조 인덱스, 모션 벡터에 대한 참조 화상 리스트 (예를 들어, 리스트 0, 리스트 1, 또는 리스트 C), 또는 이들의 임의의 조합을 기술할 수도 있다.
그 다음, 인코딩 디바이스 (104) 는 변환 및 양자화를 수행할 수도 있다. 예를 들어, 예측에 후속하여, 인코더 엔진 (106) 은 PU 에 대응하는 잔차 값들을 계산할 수도 있다. 잔차 값들은 코딩되는 픽셀들의 현재 블록 (PU) 과 현재 블록을 예측하는데 사용된 예측 블록 (예를 들어, 현재 블록의 예측된 버전) 간의 픽셀 차이 값들을 포함할 수도 있다. 예를 들어, 예측 블록을 생성한 후 (예를 들어, 인터-예측 또는 인트라-예측을 발행한 후), 인코더 엔진 (106) 은 현재 블록으로부터 예측 유닛에 의해 생성 된 예측 블록을 감산함으로써 잔차 블록을 생성할 수 있다. 잔차 블록은 현재 블록의 픽셀 값과 예측 블록의 픽셀 값 사이의 차이를 정량화하는 픽셀 차이 값들의 세트를 포함한다. 일부 예들에서, 잔차 블록은 2 차원 블록 포맷 (예를 들어, 2 차원 매트릭스 또는 어레이의 픽셀 값들) 으로 표현될 수도 있다. 이러한 예에서, 잔차 블록은 픽셀 값들의 2 차원 표현이다.
예측이 수행된 후에 남을 수 있는 임의의 잔차 데이터는 이산 코사인 변환, 이산 사인 변환, 정수 변환, 웨이브렛 변환, 다른 적절한 변환 함수 또는 이들의 임의의 조합에 기초할 수도 있는 블록 변환을 사용하여 변환된다. 일부 경우들에서, 하나 이상의 블록 변환들 (예를 들어, 크기 32 x 32, 16 x 16, 8 x 8, 4 x 4 등) 이 각 CU 의 잔차 데이터에 적용될 수도 있다. 일부 예에서, TU 는 인코더 엔진 (106) 에 의해 구현되는 변환 및 양자화 프로세스에 사용될 수 있다.
하나 이상의 PU 들을 갖는 소정의 CU 는 또한 하나 이상의 TU들을 포함할 수도 있다. 아래에 더 상세히 기술되는 바와 같이, 잔차 값들은 블록 변환을 사용하여 변환 계수로 변환될 수 있고, 그 후 TU를 사용하여 양자화되고 스캔되어 엔트로피 코딩을 위한 직렬화된 변환 계수를 생성할 수도 있다.
실시예 CU 의 PU들을 이용한 인트라-예측 또는 인터-예측 코딩 이후, 비디오 인코더 (106) 는 CU 의 TU들에 대한 잔차 데이터를 계산할 수도 있다. PU 들은 공간 도메인 (또는 픽셀 도메인) 에서의 픽셀 데이터를 포함할 수도 있다. TU 들은 블록 변환의 적용에 후속하여 변환 도메인에서의 계수들을 포함할 수도 있다. 이전에 언급된 바와 같이, 잔차 데이터는 인코딩되지 않은 화상의 픽셀들과 PU 들에 대응하는 예측 값들 간의 픽셀 차이 값들에 대응할 수도 있다. 인코더 엔진 (106) 은 CU 에 대한 잔차 데이터를 포함하는 TU들을 형성할 수도 있고, 그 후, TU들을 변환하여 CU 에 대한 변환 계수들을 생성할 수도 있다.
인코더 엔진 (106) 은 변환 계수의 양자화를 수행할 수도 있다. 양자화는 변환 계수를 양자화하여 그 계수를 나타내는 데 사용되는 데이터의 양을 줄임으로써 추가의 압축을 제공한다. 예를 들어, 양자화는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 하나의 예에서, n 비트 값을 갖는 계수는 양자화 동안 m 비트 값으로 라운드-다운될 수도 있으며, 여기서, n 은 m 보다 크다.
일단 양자화가 수행되면, 코딩된 비디오 비트 스트림은 양자화된 변환 계수, 예측 정보 (예를 들어, 예측 모드, 모션 벡터, 블록 벡터 등), 파티셔닝 정보, 및 다른 신택스 데이터와 같은 임의의 다른 적절한 데이터를 포함한다. 코딩된 비디오 비트 스트림의 상이한 엘리먼트들은 인코더 엔진 (106) 에 의해 엔트로피 인코딩될 수도 있다. 일부 예들에 있어서, 인코더 엔진 (106) 은 양자화된 변환 계수들을 스캔하기 위한 미리정의된 스캔 순서를 이용하여, 엔트로피 인코딩될 수 있는 직렬화된 벡터를 생성할 수도 있다. 일부 예들에 있어서, 인코더 엔진 (106) 은 적응적 스캔을 수행할 수도 있다. 양자화된 변환 계수를 스캐닝하여 벡터 (예를 들어, 1 차원 벡터) 를 형성한 후, 인코더 엔진 (106) 은 벡터를 엔트로피 인코딩할 수 있다. 예를 들어, 인코더 엔진 (106) 은 컨텍스트 적응적 가변 길이 코딩, 컨텍스트 적응적 바이너리 산술 코딩, 신택스 기반 컨텍스트 적응적 바이너리 산술 코딩, 확률 간격 파티셔닝 엔트로피 코딩, 또는 다른 적절한 엔트로피 인코딩 기술을 사용할 수도 있다.
전술한 바와 같이, HEVC 비트 스트림은 VCL NAL 유닛들 및 비-VCL NAL 유닛들을 포함하는 NAL 유닛들의 그룹을 포함한다. VCL NAL 유닛들은 코딩된 비디오 비트스트림을 형성하는 코딩된 화상 데이터를 포함한다. 예를 들어, 코딩된 비디오 비트스트림을 형성하는 비트들의 시퀀스는 VCL NAL 유닛들에서 재송신된다. 비-VCL NAL 유닛은 다른 정보 이외에 인코딩된 비디오 비트 스트림에 관한 상위 레벨 정보를 갖는 파라미터 세트들을 포함할 수도 있다. 예를 들어, 파라미터 세트는 비디오 파라미터 세트 (VPS), 시퀀스 파라미터 세트 (SPS) 및 화상 파라미터 세트 (PPS) 를 포함할 수도 있다. 파라미터 세트들의 목표의 예는 비트 레이트 효율성, 오류 복원력 및 시스템 계층 인터페이스들의 제공을 포함한다. 각각의 슬라이스는 단일의 활성 PPS, SPS 및 VPS를 참조하여, 디코딩 디바이스 (112) 가 슬라이스를 디코딩하는데 사용할 수도 있는 정보에 액세스한다. 식별자 (ID) 는 VPS ID, SPS ID 및 PPS ID 를 포함하여 각 파라미터 세트에 대해 코딩될 수도 있다. SPS 는 SPS ID 와 VPS ID 를 포함한다. PPS 는 PPS ID 와 SPS ID 를 포함한다. 각 슬라이스 헤더는 PPS ID를 포함다. ID 들을 사용하여, 주어진 슬라이스에 대해 활성 파라미터 세트들이 식별될 수 있다.
PPS는 주어진 화상의 모든 슬라이스들에 적용되는 정보를 포함한다. 이 때문에, 화상의 모든 슬라이스들은 동일한 PPS 를 참조한다. 상이한 화상들의 슬라이스들은 동일한 PPS 를 또한 참조할 수도 있다. SPS는 동일한 코딩된 비디오 시퀀스 (CVS) 또는 비트 스트림의 모든 화상들에 적용되는 정보를 포함한다. 전술한 바와 같이, 코딩된 비디오 시퀀스 (CVS) 는 특정 특성 (상술됨) 을 갖는 및 기본 계층에서의 랜덤 액세스 포인트 화상 (예를 들어, IDR (instantaneous decode reference) 화상 또는 BLA (broken link access) 화상, 또는 다른 적절한 랜덤 액세스 포인트 화상) 으로 시작하여 특정 특성을 갖는 및 기본 계층에서의 랜덤 액세스 포인트 화상을 갖는 다음 AU 까지의 및 다음 AU 를 포함하지 않는 (또는 비트스트림의 종단까지의) 일련의 액세스 유닛들 (Aus) 이다. SPS 의 정보는 코딩된 비디오 시퀀스 내에서 화상간에 변경되지 않을 수도 있다. 코딩된 비디오 시퀀스에서의 화상들은 동일한 SPS를 사용할 수도 있다. VPS 는 코딩된 비디오 시퀀스 또는 비트 스트림의 모든 계층들에 적용되는 정보를 포함한다. VPS 는 전체 코딩된 비디오 시퀀스에 적용되는 신택스 엘리먼트들을 갖는 신택스 구조를 포함한다. 일부 예들에서, VPS, SPS 또는 PPS 는 인코딩된 비트스트림과 함께 대역 내 전송될 수도 있다. 일부 예에서, VPS, SPS 또는 PPS는 코딩된 비디오 데이터를 포함하는 NAL 유닛과는 별도의 송신으로 대역 외 (out-of-band) 로 전송될 수도 있다.
비디오 비트 스트림은 또한 SEI (Supplemental Enhancement Information) 메시지를 포함할 수 있다. 예를 들어, SEI NAL 유닛은 비디오 비트 스트림의 일부일 수 있다. 일부 경우들에서, SEI 메시지는 디코딩 프로세스에서 필요하지 않은 정보를 포함할 수 있다. 예를 들어, SEI 메시지 내의 정보는 디코더가 비트 스트림의 비디오 화상을 디코딩하는 데 필수적이지 않을 수 있지만, 디코더는 그 정보를 사용하여 화상 (예를 들어, 디코딩된 출력) 의 디스플레이 또는 프로세싱을 향상시킬 수 있다. SEI 메시지 내의 정보는 임베딩된 메타데이터일 수 있다. 하나의 예시적인 예에서, SEI 메시지 내의 정보는 디코더 측 엔티티에 의해 이용되어 콘텐츠의 가시성을 향상시킬 수 있다. 일부 예들에서, 특정 애플리케이션 표준은 비트 스트림 내의 이러한 SEI 메시지의 존재를 요구하여, 그 애플리케이션 표준을 준수하는 모든 디바이스들에 품질 향상을 가져올 수 있다 (예를 들어, 다수의 다른 예들에 더하여, SEI 메시지가 비디오의 모든 프레임에 대해 반송되는, 프레임-호환형 평면-입체 3DTV 비디오 포맷에 대한 프레임-팩킹 SEI 메시지의 캐리지, 복구 포인트 SEI 메시지의 핸들링, DVB에서의 팬-스캔 스캔 사각형 SEI 메시지의 사용).
인코딩 디바이스 (104) 의 출력 (110) 은 인코딩된 비디오 데이터를 구성하는 NAL 유닛들을 통신 링크 (120) 를 통해 수신 디바이스의 디코딩 디바이스 (112) 로 전송할 수도 있다. 디코딩 디바이스 (112) 의 입력 (114) 은 NAL 유닛들을 수신할 수도 있다. 통신 링크 (120) 는 무선 네트워크, 유선 네트워크, 또는 유선 및 무선 네트워크의 조합에 의해 제공되는 채널을 포함할 수도 있다. 무선 네트워크는 임의의 무선 인터페이스 또는 무선 인터페이스의 조합을 포함할 수 있으며, 임의의 적합한 무선 네트워크 (예를 들어, 인터넷 또는 다른 광역 네트워크, 패킷 기반 네트워크, WiFiTM, 무선 주파수 (RF), UWB, WiFi-다이렉트, 셀룰러, LTE (Long-Term Evolution), WiMaxTM 등) 을 포함할 수도 있다. 유선 네트워크는 임의의 유선 인터페이스 (예 : 광섬유, 이더넷, 전력선 이더넷, 동축 케이블을 통한 이더넷, DSL (Digital Signal Line) 등) 를 포함할 수도 있다. 유선 및/또는 무선 네트워크는 기지국, 라우터, 액세스 포인트, 브리지, 게이트웨이, 스위치 등과 같은 다양한 장비를 사용하여 구현될 수있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 수신 디바이스로 송신될 수도 있다.
일부 예에서, 인코딩 장치 (104) 는 인코딩된 비디오 데이터를 저장 장치 (108) 에 저장할 수있다. 출력 (110)은 인코더 엔진 (106) 또는 저장 장치 (108)로부터 인코딩된 비디오 데이터를 취출할 수있다. 저장 장치 (108)는 다양한 분산 또는 로컬 액세스 데이터 저장 매체 중 임의의 것을 포함할 수있다. 예를 들어, 저장 장치 (108)는 하드 드라이브, 저장 디스크, 플래시 메모리, 휘발성 또는 비 휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적절한 디지털 저장 매체를 포함할 수있다.
디코딩 디바이스 (112) 의 입력 (114) 은 인코딩된 비디오 비트 스트림 데이터를 수신하고 디코더 엔진 (116)에 의해 나중에 사용하기 위해 비디오 비트 스트림 데이터를 디코더 엔진 (116) 또는 저장 장치 (118)에 제공 할 수있다.디코더 엔진 (116)은 인코딩 된 비디오 데이터를 구성하는 하나 이상의 코딩된 비디오 시퀀스의 엘리먼트들을 엔트로피 디코딩 (예를 들어, 엔트로피 디코더를 사용) 하고 추출함으로써 인코딩 된 비디오 비트 스트림 데이터를 디코딩할 수있다. 그 다음, 디코더 엔진 (116) 은 인코딩 된 비디오 비트 스트림 데이터에 대해 리스케일링 및 역변환을 수행할 수있다. 잔차 데이터는 그 후 디코더 엔진 (116) 의 예측 스테이지로 전달된다. 디코더 엔진 (116)은 픽셀들의 블록 (예를 들어, PU) 을 예측한다. 일부 예에서, 그 예측은 역변환의 출력 (잔차 데이터) 에 추가된다.
디코딩 디바이스 (112) 는 디코딩된 비디오 데이터를 컨텐츠의 소비자에게 디스플레이하기 위한 디스플레이 또는 다른 출력 디바이스를 포함할 수 있는 비디오 목적지 디바이스로 디코딩된 비디오를 출력할 수있다. 일부 양태들에서, 비디오 목적지 디바이스 (122)는 디코딩 디바이스 (112)를 포함하는 수신 디바이스의 일부일 수있다. 일부 양태들에서, 비디오 목적지 디바이스 (122) 는 수신 디바이스 이외의 별도의 디바이스의 일부일 수있다.
일부 예에서, 비디오 인코딩 디바이스 (104) 및/또는 비디오 디코딩 디바이스 (112) 는 각각 오디오 인코딩 디바이스 및 오디오 디코딩 디바이스와 통합될 수있다. 비디오 인코딩 디바이스 (104) 및/또는 비디오 디코딩 디바이스 (112) 는 또한 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSP들), 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은, 상술된 코딩 기술들을 구현하는데 필요한 다른 하드웨어 또는 소프트웨어를 포함할 수도 있다. 비디오 인코딩 디바이스 (104) 및 비디오 디코딩 디바이스 (112) 는 각각의 디바이스에서 결합된 인코더/디코더 (코덱) 의 일부로서 통합될 수있다. 인코딩 디바이스 (104) 의 특정 세부 사항의 예가 도 9 를 참조하여 아래에서 설명된다. 디코딩 디바이스 (112) 의 특정 세부 사항의 예가 도 10 을 참조하여 아래에서 설명된다.
HEVC 표준의 확장들은 MV-HEVC 라고하는 멀티뷰 비디오 코딩 확장과 SHVC 라고하는 스케일러블 비디오 코딩 확장을 포함한다. MV-HEVC 및 SHVC 확장은 계층화된 코딩의 개념을 공유하며, 인코딩된 비디오 비트 스트림에 상이한 계층들이 포함된다.코딩된 비디오 시퀀스의 각 계층은 고유 계층 식별자 (ID) 로 어드레싱된다. 계층 ID 는 NAL 유닛이 연관되는 계층을 식별하기 위해 NAL 유닛의 헤더 내에 존재할 수도 있다. MV-HEVC 에서, 상이한 계층들은 일반적으로 비디오 비트 스트림의 동일한 장면에 대한 상이한 뷰들 (views) 을 나타낸다. SHVC 에서, 서로 다른 공간 해상도 (또는 화상 해상도) 또는 서로 다른 재구성 충실도로 비디오 비트 스트림을 나타내는 서로 다른 스케일러블 계층들이 제공된다. 스케일러블 계층들은 베이스 계층 (계층 ID = 0) 및 하나 이상의 향상 계층 (계층 ID = 1, 2, ... N) 을 포함할 수있다. 기본 계층은 HEVC 의 제 1 버전의 프로파일을 따르고, 비트 스트림에서 최저 이용가능 계층을 나타낸다. 향상 계층은 기본 계층에 비해 증가된 공간 해상도, 시간 해상도 또는 프레임 레이트 및/또는 재구성 충실도 (또는 품질) 를 갖는다. 향상 계층들은 계층적으로 구성되며 하위 계층들에 종속될 수도 있고 그렇지 않을 수도 있다. 일부 예에서, 상이한 계층들은 단일 표준 코덱을 사용하여 코딩될 수도 있다 (예를 들어, 모든 계층들이 HEVC, SHVC 또는 다른 코딩 표준을 사용하여 인코딩 됨).일부 예들에서, 상이한 계층들은 다중 표준 코덱을 사용하여 코딩될 수있다. 예를 들어, 기본 계층은 AVC를 사용하여 코딩될 수 있는 반면, 하나 이상의 향상 계층은 HEVC 표준에 대한 SHVC 및/또는 MV-HEVC 확장을 사용하여 코딩될 수있다.
비디오 압축 기술들은 입력 비디오 신호들에 고유한 리던던시를 감소 또는 제거하기 위해 공간 예측 및 시간 예측을 수행한다. 시간적 리던던시 (즉, 이웃하는 프레임의 시각적 유사성) 를 줄이기 위해, 비디오에서의 객체의 움직임을 추적하기 위해 모션 추정이 수행된다. 모션 추정은 현재 프레임으로부터의 주어진 픽셀 블록에 대해, 기준 프레임에서의 (또는 양방향 예측을 위한 2 개의 기준 프레임들에서의) 최상의 매칭 (예를 들어, 가장 유사한) 픽셀 블록을 식별하는 프로세스이다. 하나 이상의 참조 인덱스들을 사용하여 현재 블록에 대해 하나 이상의 참조 프레임을 식별할 수 있다. 참조 프레임 내의 픽셀 블록은 후보 블록, 예측 자 또는 예측 블록으로 지칭 될 수 있다. 블록의 크기는 다양할 수 있다. 현재 프레임으로부터의 현재 블록과 참조 프레임으로부터의 후보 블록 간의 오프셋은 변위의 정도 및 변위의 방향을 나타낼 수 있는 모션 벡터에 의해 특성화될 수 있다.
모션 벡터는 픽셀 단위 거리의 변위를 나타낼 수 있다. 일부 경우에서, 모션 벡터는 1/2 픽셀, 1/4 픽셀 또는 1/16 픽셀 거리와 같은, 정수 픽셀 정밀도보다 높은 정밀도를 가질 수 있다. 정밀도가 미세 해지면 비디오 코더가 더 정확하게 모션 필드를 추적할 수 있으므로 더 나은 예측을 얻을 수 있다.
비디오 코더가 프레임을 재구성하고 있고 분수 픽셀 값을 갖는 모션 벡터를 만날 때, 비디오 코더는 분수 픽셀 값을 생성하기 위해 보간을 수행할 수 있다. 예를 들어, 이하에서 더 논의되는 바와 같이, 비디오 코더는 이용 가능한 픽셀에 보간 필터를 적용하여, 하프-픽셀, 쿼터-픽셀 또는 일부 다른 분수 픽셀 위치에 대한 보간된 픽셀을 생성할 수 있다.
많은 비디오 코덱은 고정된 보간 필터를 사용한다. 고정된 보간 필터를 이용하여, 인코더 및 디코더 양자 모두는 미리 필터 계수가 제공될 수 있고, 그 계수는 인코딩된 비트 스트림에 제공될 필요가 없다.
그러나, 모션 추정 및 모션 보상은 고정 필터라기 보다는 최적 보간 필터를 사용하여 최적화될 수 있다. 주어진 상황에 가장 적합한 필터는 고도로 국부화되고 컨텐츠-종속적인 경향이 있다. 따라서, 최적의 필터를 사용하는 것은 인코더 복잡도를 증가시킬 수 있고 및/또는 필터 계수가 인코더로부터 디코더로 전송될 필요가 있다는 점에서 시그널링 오버 헤드를 상당히 증가시킬 수 있다.
다양한 구현들에서, 상이한 보간 필터가 상이한 코딩 유닛에 적용될 수 있고, 코딩된 비트 스트림의 크기에 대한 최소 추가 증가가 시그널링될 수 있는 시스템 및 방법이 제공된다. 예를 들어, HEVC 의 경우, 코딩 유닛이 무엇보다도 시퀀스 레벨, 화상 레벨, 코딩 트리 유닛 레벨, 코딩 유닛 레벨, 변환 유닛 레벨 또는 예측 유닛 레벨에 있을 때, 특정 세트의 필터 후보가 이용 가능할 수 있다. 또한 JEM 의 경우, 무엇보다도 쿼트 트리 플러스 이진 트리 (QTBT) 레벨에서 필터 후보들의 특정 세트가 이용가능할 수 있다. 여기서, 코딩 유닛은 또한 블록으로 지칭될 수있다. 이들 및 다른 예들에서, 비디오 코더는 비디오를 인코딩하거나 비트 스트림을 디코딩하는 동안 보간 필터들 사이를 스위칭할 수 있다.
다양한 구현들에서, 각각 상이한 특성 (예를 들어, 다른 특성 중에서, 필터 길이, 차단 주파수, 천이 대역, 또는 리플의 양) 을 갖는 N 개의 필터들의 세트가 정의될 수 있다. 상이한 코딩 레벨의 블록에 대해, N 개의 필터들의 세트의 서브 세트가 정의 될 수 있다. 다양한 기준을 사용하여 인코더는 필터의 서브 세트에서 필터를 선택할 수 있다. 선택된 필터는 그 후 명시적으로 또는 암시적으로 디코더에 시그널링되거나 표시 될 수 있다. 주어진 레벨에서 적용되는 필터들의 서브 세트는, 다른 기준들 중에서, 이전에 코딩된 블록들에서의 필터들의 히트 비율과 같은 특정 기준에 따라 달라질 수 있다. 일부 구현들에서, 크로마 성분 또는 정수 픽셀 위치에 대한 필터 선택이 또한 유사한 메커니즘을 사용하여 암시적 또는 암시적으로 시그널링 될 수 있다.
도 2 는 현재 프레임으로부터의 현재 블록 (236) 에 대한 인코딩 프로세스 (200) 의 예를 도시한다. 현재 블록 (236) 은 또한 코딩 유닛으로서 지칭될 수 있다. 현재 블록 (236) 은 전체 현재 프레임보다 작을 수 있다.
이 예에서, 인코딩 프로세스 (200) 는 먼저 현재 블록 (236) 에 대한 모션 추정 (242) 을 수행한다. 모션 추정 (242) 은 이용 가능한 참조 프레임들 (264) 중에서 하나 이상의 참조 프레임을 식별하는 것을 포함할 수 있다. 참조 프레임들은 시간적으로 현재 프레임 이전, 또는 이후에 발생하는 프레임을 포함 할 수 있다. 모션 추정 (242) 을 행하는 것은 현재 블록 (236) 과 "최상으로" 매치하는 영역에 대해 참조 프레임 (들) 내의 탐색 영역을 탐색하는 것을 포함할 수 있다. 최상의 매칭은, 예를 들어 잔차 에너지를 결정하기 위해 현재 블록 (236) 으로부터 후보 영역을 감산함으로써 결정될 수 있다. 이 예에서, 최저 잔차 에너지를 갖는 후보 영역이 최상의 매칭으로서 선택될 수 있다.
모션 추정 (242) 은 참조 프레임 (들)에 대해, 현재 블록 (236)에 대한 움직임의 방향 및 정도를 추정하는 모션 벡터 (243) 를 생성하는 것을 더 포함한다. 대부분의 경우, 하나 이상의 참조 인덱스는 모션 벡터와 관련되며, 여기서 참조 인덱스는 모션 벡터를 결정하는 데 사용된 참조 프레임(들) 을 식별한다. 몇몇 경우들에서, 모션 추정 이후에, 예를 들어 레이트 왜곡 모델을 사용하여, 최상의 모션 벡터가 선택될 수 있다.
모션 보상 (244) 은 최상의 모션 벡터를 사용하여 모션 보상을 실행함으로써 예측 블록 (245) 을 생성하는 것을 포함할 수 있다. 예측 블록 (245) 은 최상의 모션 벡터를 사용하는 것으로부터의 참조로부터 선택된 블록이다. 예측 블록 (245) 은 현재 블록 (236) 으로부터 감산되어 잔차 블록 (251) 을 생성할 수 있다. 블록 변환 (252) 은 잔차 블록 (251) 에 적용될 수 있다. 결과적인 변환 계수는 양자화 (254) 를 거쳐 양자화된 계수 (255) 를 생성할 수 있다. 엔트로피 코딩 (256) 은 비트레이트를 더 감소시키고 인코딩된 비트 스트림 (210) 을 생성하기 위해 양자화된 계수들 (255) 에 적용될 수 있다.
양자화된 계수 (255) 는 또한 역 양자화 (258) 및 이어서 역 변환 (260) 으로 입력될 수 있다. 역 양자화 (258) 및 역 변환 (260) 은 블록 변환 (252) 및 양자화 (254) 단계의 역이며, 재구성된 잔차 블록 (261)을 생성한다. 재구성된 잔차 블록 (261) 은 예측 블록 (245) 에 가산되어 재구성된 블록 (253) 을 생성할 수 있다. 재구성된 블록 (253) 은 현재 블록 (236) 과 대략 동일하다. 재구성된 비디오 블록 (253) 은 추가 블록들을 인코딩하기 위해 사용될 참조 프레임에 포함될 수 있다.
예시적인 프로세스 (200) 는 주로 시간적 모션 추정을 설명한다. 다른 예들에서, H.264/AVC 및 HEVC 인코딩 프로세스들과 같은 인코딩 프로세스는 또한 인트라 코딩된 블록들을 생성하기 위해 공간 예측을 수행할 수 있다. 인코딩 프로세스는 도 9 와 관련하여 보다 상세하게 설명된다.
전술한 바와 같이, 현재 블록에 대한 최상으로 매칭하는 참조 블록은 현재 블록으로부터의 전체 픽셀 오프셋에, 또는 부분 픽셀 오프셋에 있을 수 있다. 모션 정보가 최상의 매치가 분수 픽셀 위치에 있음을 나타내는 경우, 비디오 코더는 참조 블록에서의 픽셀들로부터 분수 위치들에서 픽셀들을 보간함으로써 블록을 재구성할 수 있다.
도 3 은 분수 픽셀 위치의 예를 도시한다. 도 3 의 예에 있어서, 픽셀 너비 및 3 픽셀 높이인 참조 프레임으로부터의 블록 (300) 이 도시되어 있다. 정수 픽셀 위치는 대문자 (예: A0,0, A1,0, A0,1, A-1,0, A0,-1, A1,1, A1,-1, A-1,1 및 A-1,-1) 를 갖는 셰이딩된 블록들을 사용하여 도시된다. 본 명세서에서 서브 픽셀 위치라고도 하는 1/4 픽셀 위치는 소문자 (예 : a0,0, b0,0, c0,0 등) 를 사용하여 예시된다. 이 예에서는 a 내지 r 로 라벨링된 픽셀 위치 당 15 개의 서브 픽셀 위치가 존재한다 (명확성을 위해, "l"과 "o"는 생략되었다).
서브 픽셀 위치에 대한 샘플을 유도하기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 하프 픽셀 위치 b0,0 에서의 샘플은 위치 A0,0 및 A1,0 에서의 픽셀들을 평균함으로써 생성될 수 있다. 다른 예로서, 이웃하는 블록으로부터의 위치 A-1,0, A1,0, A0,0, 및 A2,0 에서의 픽셀은 위치 b0,0 에 대한 샘플을 생성하기 위해 평균될 수 있다.SEGEND:5ab1576f-b923-475a-ac01-3fd9d152167b:398SEGSTART:98d371e2-0d6a-4321-ae91-3d628a1cdfa7:399
HEVC 에서, 위치 a0,0, b0,0 및 c0,0 에 대한 수평 서브 픽셀 샘플, 및 위치 d0,0, h0,0 및 n0,0 에 대한 수직 서브 픽셀 샘플은 가장 가까운 정수 위치 샘플에 8-탭 필터를 적용함으로써 유도될 수 있다. 위치 e0,0, i0,0, p0,0, f0,0, j0,0, q0,0, g0,0, k0,0 및 r0,0 에 대한 샘플은 위치 a0,i, b0,i 및 c0,i (i = -3 ... 4) 에서의 샘플에 8-탭 필터를 적용하여 유도될 수 있다.SEGEND:98d371e2-0d6a-4321-ae91-3d628a1cdfa7:400 SEGSTART:98d371e2-0d6a-4321-ae91-3d628a1cdfa7:4018-탭 루마 보간 필터의 예가 표 1 에 도시된다.SEGEND:98d371e2-0d6a-4321-ae91-3d628a1cdfa7:401
위상 시프트 계수들
0 { 0, 0, 0, 64, 0, 0, 0, 0 },
1 { -1, 4, -10, 58, 17, -5, 1, 0 },
2 { -1, 4, -11, 40, 40, -11, 4, -1 },
3 { 0, 1, -5, 17, 58, -10, 4, -1 },
표 1 은 위상 시프트 당 8 개의 계수를 포함하며, 각 탭에 하나씩 포함한다. 각 위상 시프트는 1/4 픽셀 위치에 대응한다. 예를 들어, 위상 시프트 1 은 서브 픽셀 위치 a0,0 및 d0,0 에 대응할 수 있고, 위상 시프트 2 는 서브 픽셀 위치 b0,0 및 h0,0 에 대응할 수 있는 등이다. 다른 예들에서, 더 긴 탭들을 갖는 (예를 들어, 더 많은 계수들을 갖는) 필터가 적용될 수 있다. 더 긴 탭들을 가진 필터는 8-탭 필터와 다른 특성을 가질 수 있으며, 적용될 때 더 복잡한 계산을 요구할 수 있다.
JEM 에서 개발되는 코덱을 포함하여 다른 비디오 코덱에서는 1/16 서브 픽셀 모션 벡터 해상도가 가능해질 수 있다. 1/16 서브 픽셀 위치들을 사용하여, 16 개의 위상들을 갖는 필터가 보간에 사용될 수 있다. 16 개의 위상들을 갖는 예시의 필터가 표 2 에 제공된다. 그러나, JEM 에서는, 고정된 계수들을 갖는 8-탭 필터가 사용된다.
위상 시프트 계수들
0 { 0, 0, 0, 64, 0, 0, 0, 0 },
1 { 0, 1, -3, 63, 4, -2, 1, 0 },
2 { -1, 2, -5, 62, 8, -3, 1, 0 },
3 { -1, 3, -8, 60, 13, -4, 1, 0 },
4 { -1, 4, -10, 58, 17, -5, 1, 0 },
5 { -1, 4, -11, 52, 26, -8, 3, -1 },
6 { -1, 3, -9, 47, 31, -10, 4, -1 },
7 { -1, 4, -11, 45, 34, -10, 4, -1 },
8 { -1, 4, -11, 40, 40, -11, 4, -1 },
9 { -1, 4, -10, 34, 45, -11, 4, -1 },
10 { -1, 4, -10, 31, 47, -9, 3, -1 },
11 { -1, 3, -8, 26, 52, -11, 4, -1 },
12 { 0, 1, -5, 17, 58, -10, 4, -1 },
13 { 0, 1, -4, 13, 60, -8, 3, -1 },
14 { 0, 1, -3, 8, 62, -5, 2, -1 },
15 { 0, 1, -2, 4, 63, -3, 1, 0 }
도 2 를 참조하면, CABAC (content adaptive binary arithmetic coding) 은 엔트로피 코딩 (256) 에서 비트 스트림의 신택스 엘리먼트들을 인코딩 및 디코딩하는데 사용될 수 있는 하나의 시스템이다. CABAC 은 신택스 엘리먼트의 컨텍스트를 사용하여 각 신택스 엘리먼트에 대한 확률 모델을 선택함으로써; 로컬 통계에 기초한 확률 추정을 적응시킴으로써; 및 가변-길이 코딩 대신에 산술 코딩을 사용함으로써 우수한 압축 성능을 얻을 수 있다.
CABAC 는 바이너리 결정 (1 또는 0) 만 인코딩된다는 것을 의미하는 이진 산술 코딩을 사용한다. 비-2 진-값 심볼 (예: 변환 계수 또는 모션 벡터, 또는 둘 이상의 가능한 값들을 갖는 임의의 심볼) 은 산술 코딩 이전에 “이진화되거나” 이진 코드로 변환된다. 그 후, 이진화된 심볼의 각 비트에 대해, 컨텍스트 모델이 선택된다. 컨텍스트 모델은 이진화된 심볼의 하나 이상의 빈에 대한 확률 모델이다. 컨텍스트 모델은 최근에 코딩된 데이터 심볼의 통계를 기반으로 이용가능한 모델 중에서 선택다. 컨텍스트 모델은 각 빈의 확률을 '1'또는 '0'으로 저장한다. 산술 코더는 그 후 선택된 확률 모델에 따라 각 빈을 인코딩한다. 그 후, 선택된 컨텍스트 모델은 실제 코딩된 값에 기초하여 업데이트된다 (예: 빈 값이 '1'이면 '1'의 빈도 수가 증가된다).
예를 들어, skip_flag_C[0], skip_flag_C[1] 및 skip_flag_C[2] 로 명명된 세 개의 후보 컨텍스트 모델은 신택스 엘리먼트 cu_skip_flag 를 코딩하는데 사용될 수 있다. 세 개의 후보 중에서 적절한 컨텍스트를 선택하기 위해, 선택 값 x 는 다음과 같이 계산된다:
x = (cu_skip_flag[xNbL][yNbL] && availableL) + (cu_skip_flag[xNbA][yNbA] && availableA)
위의 방정식에서, 사용할 컨텍스트 모델은 다음과 같이 결정될 수 있다:
(x0, y0) 는 현재 화상의 좌상측 샘플에 대한 현재 루마 블록의 좌상측 루마 샘플의 위치를 지정한다.
위치 (xNbL, yNbL) 는 (x0-1, y0) 로 설정될 수 있으며 변수 availableL 은 현재 블록의 왼쪽에 직접 위치한 블록의 가용성을 나타낼 수 있다.
위치 (xNbA, yNbA) 는 (x0, y0-1) 과 동일하게 설정될 수 있으며 변수 availableA 는 현재 블록 위쪽에 직접 위치한 코딩 블록의 가용성을 특정할 수 있다.
cu_skip_flag[xNbL][yNbL] 및 cu_skip_flag[xNbA][yNbA]는 각각 제 1 블록 (블록 L) 및 제 2 블록 (블록 A) 에 대한 cu_skip_flag 를 나타낼 수 있다.
상술한 바와 같이, HEVC 및 JEM 에 의해 구현된 코덱은 서브-픽셀 모션 벡터가 인에이블될 때 고정 보간 필터를 사용한다. 보간 필터는 임의의 주어진 상황에 대해 최적보다 적을 수도 있다. 예를 들어, 더 높은 컷-오프 주파수를 갖는 필터는 코딩 유닛이 더 많은 상세를 가질 때 더 적절할 수 있어, 보간이 수행될 때 그 상세가 보존될 수 있다. 다른 예로서, 더 낮은 컷-오프 주파수를 갖는 필터는 프로세스 유닛이 더 적은 상세를 가질 때 더 적절할 수 있어, 코딩 유닛이 더 적은 수의 비트들로 코딩될 수 있다. 모션 추정 및 모션 보상은 고정 필터라기 보다는 최적 보간 필터를 사용하여 최적화될 수 있다. 주어진 상황에 가장 적합한 필터는 고도로 국부화되고 컨텐츠-종속적인 경향이 있다. 따라서, 최적의 필터를 사용하는 것은 인코더 복잡도를 증가시킬 수 있고 및/또는 필터 계수가 인코더로부터 디코더로 전송될 필요가 있다는 점에서 시그널링 오버 헤드를 상당히 증가시킬 수 있다.
다양한 구현들에서, 비디오 코더는 상이한 예측 유닛들에 대한 모션 추정 및 모션 보상을 수행할 때 이용가능한 보간 필터들 사이를 스위칭하도록 구성될 수 있다. 어떤 경우에는, 인터-계층 예측이 적응적 방식으로 보간 필터를 선택함으로써 향상될 수 있다. 다양한 구현들에서, 각각 필터 길이, 차단 주파수, 천이 대역, 또는 리플의 양 및/또는 특성들의 조합과 같은 특성들을 갖는 N 개의 필터들의 세트가 정의될 수 있다.
코덱에 의한 사용을 위해 정의된 모든 필터들을 나타내는 필터들 (410) 의 세트가 또한 도 4 에 도시된다. 상술한 바와 같이, 모션 추정 (444) 단계에서, 참조 프레임 (464) 으로부터의 참조 블록이 결정된다. 참조 블록은 외관상으로 코딩 유닛 (402) 과 가장 매치하는 (예를 들어, 가장 유사한) 참조 프레임 (464) 의 일부이다. 이 예에서, 코딩 유닛 (402) 은 시퀀스, 픽쳐, 슬라이스, 코딩 트리 유닛, 코딩 유닛, 변환 유닛, 예측 유닛, 또는 비디오 데이터의 일부 다른 블록일 수 있다. 참조 블록을 사용하여, 모션 추정 (444) 은 코딩 유닛 (402) 에 대한 모션 정보 (406) 를 결정할 수 있다. 모션 정보 (406) 는 다른 것들 중에서 참조 프레임을 식별하는데 사용될 수 있는 하나 이상의 모션 벡터 및 인덱스를 포함할 수 있다.
도 4 의 예에 있어서, 모션 추정 (444) 단계는 또한 필터 선택 기준 (414) 을 결정할 수 있다. 필터 선택 기준 (414) 은 특정 코딩 유닛 (402) 에 적용 가능한 필터들 (412) 의 서브 세트 (본 명세서에서는 필터 후보들로서도 지칭됨) 를 선택하는데 사용될 수 있다. 예를 들어, 일부 구현에서, 필터 선택 기준 (414) 은 코딩 유닛 (402) 의 코딩 레벨 (예를 들어, 시퀀스 레벨, 화상 레벨, 슬라이스 레벨, 코딩 트리 유닛 레벨, 코딩 유닛 레벨, 변환 유닛 레벨, 예측 유닛 레벨 등) 일 수 있다. 이 예에서, 필터들 (412) 의 서브 세트는 코딩 유닛 (402) 의 코딩 레벨에 기초하여 선택될 수 있다. 예를 들어, 서브 세트의 특정 필터들 및 서브 세트의 필터들의 수는 상이한 프로세싱 레벨들에 대해 변경될 수 있다.
다양한 구현들에서, 모션 추정 (444) 은 필터들 (412) 의 서브 세트 중에서 최적의 보간 필터를 선택할 수 있다. 예를 들어, 모션 추정 (444) 은 레이트 왜곡 최적화를 사용하여 필터들 (412) 의 서브 세트 내의 필터들 중 어떤 필터가 최상의 압축을 제공하는지를 결정할 수 있다.다양한 다른 방법이 사용되여 최적의 필터를 선택할 수 있다.
다양한 구현들에서, 선택된 필터는 필터 인덱스 (408) 를 사용하여 식별될 수 있다.필터 인덱스 (408) 는 필터들 (412) 의 서브 세트 중에서 선택된 필터를 식별 할 수 있다. 예를 들어, 가능한 인덱스는 (도시된 예에서, 각각 F1, F3 및 F9 에 대해) 0, 1 또는 2 일 수 있고, 필터 F1이 선택되는 경우, 필터 인덱스 (408) 는 "0"일 수 있다. 일부 경우들에서, 필터 인덱스 (408) 는 모션 정보 (406) 와 함께 출력 비트 스트림 (420) 에 포함될 수 있다. 이러한 구현에서, 필터 인덱스 (408) 는 비트 스트림 (420) 에서 명시적으로 시그널링된다고 말할 수 있다.
몇몇 경우들에서, 필터 인덱스 (408) 는 암시적으로 시그널링 될 수 있다; 즉, 필터 인덱스 (408) 는 비트 스트림 (420) 에 포함되지 않으며, 대신에 비트 스트림 (420) 을 디코딩할 때 디코더에 의해 유도될 수 있다. 예를 들어, 어떤 경우에는, 필터 선택 기준 (414) 은 하나의 필터만을 포함하는 필터들 (412) 의 서브 세트를 초래한다. 다른 예로서, 몇몇 경우에, 필터들 (412) 의 서브 세트는 다수의 필터를 포함 할 수도 있지만, 모션 추정 (444) 은 디폴트 필터 (예를 들어, 시간적 병합 후보들에 대해, 필터 F1이 항상 선택됨) 를 사용하도록 결정한다. 다른 예에서, 코딩 레벨, 예측 모드, 및/또는 사용되는 코딩 도구와 같은 하나 이상의 팩터들이 적절한 필터를 도출하기 위해 디코더에 의해 사용될 수 있다.
일부 구현들에서, 모션 추정 (444) 은 이전에 코딩된 블록들로부터 도출된 통계에 기초하여 필터를 선택할 수 있다. 예를 들어, 이전에 코딩된 블록들에서, 성능의 저하로 인해, 필터들 (412) 의 서브 세트로부터의 일부 필터들은 결코 사용되지 않았을 수도 있다. 이러한 예에서, 모션 추정 (444) 은 현재의 특정 코딩 유닛 (402) 에 대한 필터를 선택할 때 열악하게 수행하는 필터들을 제거할 수 있다. 역으로, 특정 필터가 이전에 코딩된 블록들에서 매우 빈번하게 사용되었을 때, 모션 추정 (444) 은 특정 코딩 유닛 (402) 에 대한 필터를 선택할 때 이 필터에 우선 순위를 부여할 수 있다.
일부 구현들에서, 모션 추정 (444) 은 이웃 블록, 예를 들어 공간 이웃 또는 시간 이웃으로부터 필터를 선택할 수 있다. 예를 들어, 어떤 경우들에서, 코딩 유닛 (402) 은 이웃하는 블록으로부터 모션 벡터를 복사할 수 있다. 이 예에서, 코딩 유닛 (402) 은 또한 동일한 이웃 블록으로부터 필터 인덱스를 차용할 수 있다. 다른 예로서, 다수의 이웃하는 블록들이 동일한 필터를 사용할 때, 모션 추정 (444) 은 코딩 유닛 (402) 이 동일한 필터를 사용해야 한다고 결정할 수 있다.
일부 구현들에서, 필터 선택 기준 (414) 은 다양한 팩터들에 기초할 수 있다. 예를 들어, 필터들 (412) 의 서브 세트 내의 필터는 현재 블록을 위해 사용된 예측 모드 (예를 들어, 인터-예측, 인트라-예측 등), 해상도 또는 모션 벡터의 차이, 사용되는 코딩 도구 (예를 들어, 양방향 광 흐름), 및/또는 중첩된 블록 모션 보상에서의 픽셀들에 기초하여 선택될 수도 있다. 다른 예로서, 필터들 (412) 의 서브 세트 내의 필터들은 현재 블록의 크기 및/또는 형상, 현재 프레임의 해상도, 현재 프레임과 참조 프레임 간의 거리 사이의 거리 및/또는 참조 화상에 대한 양자화 파라미터 (QP) 값에 기초하여 선택될 수있다.
예를 들어, 코딩 유닛 (402) 이 프레임 또는 슬라이스와 같은 큰 데이터 세트이거나 코딩 유닛 (402) 이 작은 디테일을 갖는 경우, 필터들 (412) 의 서브 세트 내의 필터들은 낮은 컷-오프들을 갖는 필터들일 수 있다. 낮은 컷-오프 주파수를 갖는 필터는 상세들을 매끄럽게 하는 경향이 있으므로, 코딩 유닛 (402) 이 상세가 거의 없는 경우, 낮은 컷-오프 주파수를 갖는 필터를 사용함으로써 데이터가 손실되지 않을 것이다. 다른 예로서, 코딩 유닛 (402) 이 하나의 코딩 유닛과 같은 작은 데이터 세트이거나 코딩 유닛 (402) 이 고도의 상세를 갖는 경우, 필터들 (412) 의 서브 세트는 높은 컷-오프 주파수들을 갖는 필터들을 포함할 수 있다. 높은 컷-오프 주파수를 갖는 필터는 코딩 유닛 (402) 에서 고주파 성분을 유지할 수 있고, 따라서 상세를 보존할 수 있다. 일부 구현들에서, 추가 필터 후보들은 필터들 (412) 의 서브 세트로부터의 필터들을 병합함으로써 생성될 수 있다. 예를 들어, 두 개의 필터 후보가 주어지면, 제 1 후보 필터로부터의 짝수 위상 시프트들이 제 2 후보로부터의 홀수 위상 시프트들과 병합되어 제 3 후보를 생성한다. 다른 예로서, 제 4 후보는 제 1 후보로부터의 홀수 위상 시프트를 제 2 후보로부터의 짝수 위상 시프트와 결합함으로써 구성될 수 있다.
일부 구현 예에서, 보간 필터들이 커플링될 수 있다. 예를 들어, 정수 샘플에 대한 보간 필터는 분수 샘플에 대한 보간 필터로 카운트될 수 있다. 이 예에서, 정수 샘플에 대한 필터는 분수 샘플에 대한 필터로부터 가장 작은 0 이 아닌 위상 시프트를 갖는 필터보다 더 높은 차단 주파수를 가질 수 있다. 대안으로, 정수 샘플에 대한 필터는 분수 샘플에 대한 필터보다 더 낮은 차단 주파수를 가질 수 있다.
일부 구현 예에서, 코딩 도구는 또한 필터와 관련된다. 예를 들어, 양방향 광 흐름은 그래디언트 필터를 사용할 수 있으며 프레임 레이트 상향 변환은 정제 필터를 사용할 수 있다. 일부 구현 예에서, 도구-특정 필터는 필터들 (412) 서브 세트 내의 각각의 필터 후보에 따라 생성될 수 있다. 예를 들어, 3 개의 보간 필터 후보가 주어지면, 양방향 광 흐름에 대해 3 개의 그래디언트 필터가 유도될 수 있다. 이러한 구현에서, 도구-특정 필터를 도출함으로써, 도구-특정 필터는 출력 비트 스트림 (420) 에 기술될 필요가 없다.
몇몇 예들에서, 필터들이 정수 픽셀 위치들 및 분수 픽셀 위치들 모두에 적용될 때, 정수 픽셀 위치에 대한 필터가 먼저 적용될 수있다. 그런 다음 필터링된 정수 샘플을 분수 픽셀 샘플을 유도하는 추가 보간에 대한 입력으로 사용할 수 있다.
몇몇 예들에서, 필터들이 정수 픽셀 위치들 및 분수 픽셀 위치들 모두에 적용될 때, 정수 픽셀 위치에 대한 필터는 연관된 모션 벡터가 정수-정밀도를 갖는 경우에만 적용가능할 수도 있다. 이러한 예에서, 분수 픽셀 샘플은 정수 위치에서 필터링되지 않은 픽셀을 입력으로 사용하여 도출될 수 있다.
도 5 는 디코딩 프로세스 (500) 의 모션 추정 (544) 단계의 예를 도시한다. 코덱에 의한 사용을 위해 정의된 모든 필터들을 나타내는 필터들 (510) 의 세트가 또한 도 5 에 도시된다. 디코더 프로세스 (500) 에서, 모션 추정 (544) 은 예측 유닛 (502) 을 재구성하거나 예측하는데 사용될 수 있다. 현재 프레임 내의 예측 유닛 (502) 에 대해, 인코딩된 비트 스트림 (520) 은 모션 정보 (506) 를 포함할 수 있다. 모션 정보 (506) 는 예를 들어, 하나 이상의 모션 벡터 및 참조 프레임 (564) 에 대한 인덱스를 포함할 수 있다. 모션 정보 (506) 를 사용하여, 모션 추정 (544) 은 참조 프레임 (564) 에서 참조 블록을 식별하고, 예측 유닛 (502) 을 예측 또는 생성할 수 있다.
일부 구현 예에서, 모션 추정 (544) 은 또한 필터 선택 기준 (514) 을 결정할 수 있다. 필터 선택 기준 (514) 은 예측 유닛 (502) 에 적용 가능한 필터들 (512) 의 서브 세트를 선택하는데 사용될 수 있다. 예를 들어, 필터 선택 기준 (514) 은 예측 유닛 (502) 의 코딩 레벨, 예측 모드, 및/또는 사용되는 코딩 도구에 기초할 수 있다. 서브 세트 내의 특정 필터 및 서브 세트 내의 필터의 수는 비트 스트림 (520)이 디코딩되고 상이한 상황이 발생함에 따라 변경될 수 있다.
몇몇 경우들에서, 비트 스트림 (520) 은 필터들의 서브 세트 (512)로부터 필터를 선택하는데 사용될 수 있는 명시적인 필터 인덱스 (508)를 포함한다. 여러 구현들에서, 필터 인덱스 (508) 는 모션 정보 (506) 와 연관될 수 있다. 필터 인덱스 (508)가 비트 스트림 (520)에 포함될 때, 필터 인덱스 (508)는 명시 적으로 시그널링된다고 언급된다. 필터 인덱스 (508) 는 보간을 위해 사용되어야 하는 필터들 (512) 의 서브 세트 중에서 필터를 식별할 수 있다. 예를 들어, 가능한 인덱스는 (도시된 예에서, 각각 F1, F3 및 F9 에 대해) 0, 1 또는 2 일 수 있고, 필터 F1이 선택되는 경우, 필터 인덱스 (508) 는 "0"일 수 있다.
어떤 경우들에서, 디코더 프로세스 (500)는 필터 인덱스 (508)를 도출 할 수 있다. 예를 들어, 어떤 경우에는, 필터 선택 기준 (514) 은 하나의 필터만을 포함하는 필터들 (512) 의 서브 세트를 초래한다. 다른 예로서, 몇몇 경우에, 필터들 (512) 의 서브 세트는 다수의 필터를 포함 할 수도 있지만, 모션 추정 (544) 은 디폴트 필터 (예를 들어, 시간적 병합 후보들에 대해, 필터 F1이 항상 선택됨) 를 사용하도록 결정한다. 다른 예에서, 코딩 레벨, 예측 모드, 및/또는 사용되는 코딩 도구와 같은 하나 이상의 팩터들이 적절한 필터를 도출하기 위해 디코더에 의해 사용될 수 있다. 디코더가 인코더에 의해 결정된 동일한 필터를 사용해야하기 때문에, 디코더가 필터의 아이덴티티를 결정론적으로 유도할 수 없는 경우, 필터의 아이덴티티가 비트 스트림 (520) 에서 시그널링 될 것이다.
필터 인덱스가 암시적일 때 사용할 보간 필터를 결정하기 위해 다양한 방법을 사용할 수 있다. 일부 예에서, 보간 필터는 현재 블록의 이전에 인코딩 된 다른 블록에 의해 결정될 수 있다. 예를 들어, 특정 조건을 만족하는 블록은 다른 블록에 대해 선택된 필터를 유추하거나 승계함으로써 필터를 결정할 수 있다. 예를 들어, 현재 모션 벡터가 (예를 들어, 공간 병합 후보, 아핀 병합 후보 및 다른 후보의 경우와 같이) 이전에 코딩된 블록으로부터 도출되는 경우, 모션 벡터가 도출되고 있는 블록에 대해 선택된 보간 필터가 현재 블록에 대해 사용될 수 있다. 이 예에서, 필터 인덱스의 명시적 시그널링은 필요하지 않을 수 있는데, 그 이유는 일단 디코더가 모션 벡터를 결정하면, 디코더는 임의의 추가 정보를 필요로하지 않고 현재 블록에 대한 필터를 도출할 수 있기 때문이다.
일부 예에서 특정 블록에 대한 보간 필터는 미리 결정된 디폴트 필터를 항상 선택하거나 때때로 선택할 수 있다. 이러한 예들에서, 다른 블록에서 필터를 검색하거나 필터를 승계하지 않아도 된다. 어떤 경우에는 일단 결정되면 모든 코딩 레벨에서 디폴트 필터가 적용된다. 일부 예에서, 필터의 서브 세트는 특정 필터의 선택으로 편향될 수 있다. 예를 들어, 필터들은 순차적으로 테스트 될 수 있고, 특정 필터는 프레임 레이트 상향 변환, 시간적 모션 벡터 예측 (TMVP), 어드밴스 모션 벡터 예측 (AMVP) 또는 제로-모션 벡터 병합 후보들로부터 모션 벡터를 유도하는 블록에 대한 제 1 후보로서 설정될 수있다. 일부 예에서 디폴트 필터는 프레임들 및/또는 슬라이스들에 대해 변경될 수 있다. 예를 들어, 이전 화상(들) 및/또는 슬라이스(들)에서 가장 빈번하게 선택된 필터는 현재 픽처 또는 슬라이스에 속하는 모든 블록에 대한 디폴트 필터로 설정될 수 있다. 디코더는 인코더로부터의 부차적인 정보없이 동일한 절차를 모방할 수 있으므로 필터 인덱스의 명시적 시그널링이 필요하지 않을 수 있다.
그렇지 않으면 필요에 따라 필터 인덱스를 명시적으로 비트 스트림에 포함할 수 있다. 일부 예들에서, "interpolation_filter_index"라고 부를 수 있는 신택스 엘리먼트는 필터를 암시적으로 선택할 수 없는 블록들에 대해 선택된 보간 필터를 나타 내기 위해 디코더로 인코더에 의해 시그널링될 수 있다. 시그널링이란, interpolation_filter_index 가 디코더에 의해 판독되도록 비트 스트림에 포함될 수 있음을 의미한다.
일부 예에서, interpolation_filter_index 의 값은 고정 길이 코드, 지수 Golomb 코드, 단항 코드 또는 절단된 단항 코드와 같은 2 진화 코드로 이진화 될 수 있다. 예를 들어, 필터들의 서브 세트에 3 개의 필터가 있는 경우, 절단된 단항 코드를 사용하여 interpolation_filter_index를 나타낼 수 있다. 이 예에서 두 개의 플래그 (예 : FLAG0 및 FLAG1)를 사용하여 서브 세트의 세 개의 필터에 대해 세 개의 가능한 인덱스, 0, 1 및 2를 코딩할 수 있다. 예를 들어, 세 개의 인덱스는 각각 (0, N/A), (1,0) 및 (1,1)로 코딩될 수 있다. 이 예에서, 하나의 플래그 (FLAG0)만이 interpolation_filter_index = 0을 나타내기 위해 사용될 수 있다.
일부 예들에서, interpolation_filter_index를 인코딩 할 때 사용될 수 있는 특정 컨텍스트 모델들은 interpolation_filter_index와 연관될 수 있다. 예를 들어, X 개의 컨텍스트 모델은 예를 들어 interpolation_filter_index_C[0], interpolation_filter_index_C[1], ..., interpolation_filter_index_C[X -1] 로 명명된 interpolation_filter_index와 연관될 수 있다. 이 예에서, 이들 컨텍스트 모델 중에서 인덱스 x 를 갖는 컨텍스트 모델 interpolation_filter_index_C[ x ] 는 현재 블록에 대한 interpolation_filter_index를 코딩하기 위한 컨텍스트로서 선택될 수 있다.
몇몇 예들에서, interpolation_filter_index가 2 개의 플래그 (예를 들어, FLAG0 및 FLAG1)를 사용하여 표현될 수 있는 경우, 각 플래그와 연관된 특정 개수의 컨텍스트 모델이 존재할 수 있다. 예를 들어, interpolation_filter_index_C[0], interpolation_filter_index_C[1], ..., interpolation_filter_index_C[Y -1]로 명명된 FLAG0 와 연관된 Y 개의 컨텍스트 모델이 있을 수 있다. 이 예에서, FLAG0 가 설정되면, 인덱스 x 를 갖는 컨텍스트 모델 interpolation_filter_index_C[x] 는 현재 블록의 interpolation_filter_index를 코딩하기 위한 컨텍스트로서 선택될 수 있다. 이 예에서 FLAG1 은 설정되지 않을 수도 있거나 중요하지 않을 수도 있다. 다른 예로서, interpolation_filter_index_C[0], interpolation_filter_index_C[1], ..., interpolation_filter_index_C[Z-1]로 명명된 FLAG1 와 연관된 Z 개의 컨텍스트 모델이 있을 수 있다. 이 예에서, FLAG1 가 설정되면, 인덱스 x 를 갖는 컨텍스트 모델 interpolation_filter_index_C[x] 는 현재 블록의 interpolation_filter_index를 코딩하기 위한 컨텍스트로서 선택된다. 이 예에서 FLAG0 은 설정되지 않을 수도 있거나 중요하지 않을 수도 있다.
위의 예에서 x 는 다양한 기준에 따라 선택할 수 있다. 예를 들어, x 는 현재 블록의 크기, 현재 블록의 형상, 현재 프레임의 해상도, 인터-예측 방향, 현재 블록에 대한 모션 벡터 (들), 현재 블록에 대한 모션 벡터 차이들, 현재 블록에 대한 참조 프레임, 현재 블록에 대한 이웃 블록의 interpolation_filter_index (들), 몇몇 다른 기준들, 또는 기준들의 조합에 기초할 수 있다. 다양한 예들에서, 함수는 x에 대한 값을 생성하는데 사용될 수 있는데, 함수는 상기 예시의 기준들 중 하나 이상을 입력으로서 취할 수 있다. 일부 예에서, 상이한 함수들이 상이한 프레임 해상도들에 사용될 수 있다. 일부 예에서, x 가 현재 블록의 크기에 기초 할 때, 임계 값 P 는 x에 대한 값을 결정하는데 사용될 수 있다. 예를 들어, 현재 블록의 크기가 P 보다 작으면 x 는 0 일 수 있고; 그렇지 않으면 x 는 1 일 수 있다. 임계값 P 는 정수일 수 있다. 현재 블록의 크기는 M × N으로 계산될 수 있으며, 여기서 M과 N은 픽셀 단위로 현재 블록의 너비와 높이이다.
일부 예들에서, x 가 상기 현재 블록의 크기에 기초할 때, x 의 값은 정수 어레이 {aK} 로부터 결정될 수 있으며, 그 어레이는 오름차순으로 정렬된다. 예를 들어, aK-1 <= S < aK 인 경우 x 는 K 와 같을 수 있고, 여기서 S 는 현재 블록의 크기이다. 이러한 예에서, S 는 M × N으로 계산된, 현재 블록에서의 픽셀들의 수일 수 있으며, 여기서 M과 N은 픽셀 단위로 현재 블록의 너비와 높이이다.
일부 예들에서, x 가 현재 블록의 형상에 기초할 때, x 의 값은 그 블록의 높이 및 너비 사이의 관계로부터 결정될 수 있다. 예를 들어, 현재 블록에 대해 높이 M 및 너비 N이 주어지면, M <N 인 경우, x 는 0 과 동일할 수 있고; M = N 일 때, x 는 1 과 동일할 수 있고; M > N 이면 x 는 2 와 동일할 수 있다.
일부 예들에서, x 가 현재 블록의 예측 방향에 기초할 때, x 의 값은 예측 방향으로부터 결정될 수 있다. 예를 들어, 현재 블록이 유니-인터-예측으로 코딩되는 경우, x 는 0 과 같을 수 있고, 현재 블록이 바이-인터-예측으로 코딩되는 경우, x 는 1과 동일할 수 있다. 다른 예로서, x 에 대한 값은 값 InerDirs 에 기초할 수 있으며, 여기서 현재 블록이 참조 리스트 0 으로부터의 유니-인터-예측으로 코딩될 때 InterDir 은 1 이고; 현재 블록이 참조 리스트 1 에서 유니-인터-예측으로 코딩될 때 InterDir 은 2 이며; 현재 블록이 바이-인터-예측으로 코딩될 때 InterDir 은 3 이다. 이 예에서 x 는 InterDir-1 과 같을 수 있다.
일부 예들에서, x 가 이웃 블록의 interpolation_filter_index 에 기초할 때, x 의 값은 하나 이상의 이웃 블록의 interpolation_filter_index 로부터 결정될 수 있다. 예를 들어, x 에 대한 값은 함수 f (left_idx, top_idx) 에 의해 결정될 수 있으며, 여기서 left_idx 는 좌측 이웃 블록의 interpolation_filter_index이고 top_idx는 상측 이웃 블록의 interpolation_filter_index이다. 함수 f 는 임의의 함수가 될 수 있다. 일부 예에서, 상이한 함수들이 상이한 프레임 해상도들에 사용될 수 있다. 대안적으로 또는 부가적으로, x 에 대한 값은 a + b 와 같을 수 있으며, 여기서, a 는 좌측 이웃 블록의 interpolation_filter_index가 이용 가능하고 0보다 크면 (그렇지 않으면 a 는 0과 동일) 1 과 동일하고, b 는 상측 이웃 블록의 interpolation_filter_index가 이용 가능하고 0보다 큰 경우 (그렇지 않으면 b 는 0과 동일) 1 과 동일하다.
일부 예에서, x 에 대한 값을 결정할 때 팩터들의 조합이 고려될 수 있다. 예를 들어, 현재 블록의 크기는 이웃 블록들로부터 interpolation_filter_index 값들을 선택하는데 사용될 수 있다. 예를 들어, 현재 화상의 크기가 임계 값 P 보다 작으면 x 는 f (left_idx, top_idx)의 결과와 같을 수 있고, 여기서 P 는 정수이고 M × N 으로 계산되는 현재 블록의 크기이며, 여기서 M 및 N 은 픽셀 단위의 현재 블록의 폭과 높이이다. 현재 블록의 크기가 P 보다 크거나 같으면 x 는 함수 g (left_idx, top_idx)의 출력과 같을 수 있다.
보간 필터들을 스위칭하는 예시적인 적용이 이제 설명된다. 상술한 바와 같이, 상이한 특성을 가질 수 있는 N 개의 필터 중에서 각 블록에 대해 최상의 필터가 선택될 수 있다. 예를 들어 레이트 왜곡 최적화 또는 일부 다른 선택 메커니즘을 사용하여 최상의 필터를 선택될 수 있다.
인코더의 복잡성을 줄이기 위해, 최상의 필터는 이미 코딩된 블록에서 승계되거나, 이전의 결정들로부터 재사용되거나, 모든 이용가능한 필터의 성능을 평가하지 않고 고정될 수 있다. 시그널링 오버헤드를 줄이기 위해, 고정된 필터 세트가 미리 결정되고, 인코더는 필터 계수 대신에 필터 인덱스를 디코더에 시그널링 할 수 있다.
다음 예는 HM16.6 기반 JEM3.0 을 사용하여 보간 필터들을 스위칭하는 것의 적용을 보여준다. JEM 은 국제 전기통신 연합 비디오 코딩 전문가 그룹 (ITU-VCEG) 과 국제 표준 기구/국제 전기기술 위원회 동화상 전문가 그룹 (ISO/IEC MPEG) 의 프로젝트이다. JEM 은 HEVC 보다 우수한 압축 능력을 가진 비디오 코딩 기술을 연구하고 잠재적으로 표준화하기 위한 플랫폼을 제공하는 참조 소프트웨어이다.
다음 예에서 코딩 유닛은 JEM3.0 에 구현된 QTBT 구조에 정의된 블록이다. 다른 예에서, 코딩 유닛은 QTBT 블록들의 콜렉션, CTU, 슬라이스, 화상, 시퀀스, 또는 다른 적절한 코딩 유닛과 같은 보다 큰 구조일 수 있다. 이 예는 루마 성분에 대한 보간 필터만을 보여 주며, 보간 필터들을 스위칭하는 것은 정수 샘플 뿐만 아니라 크로마 성분까지 확장될 수 있을 것이다.
이 예에서, 보간 필터의 후보 세트는 상이한 특성을 갖는 3 개의 필터, 즉 하나의 12-탭 필터 (F0) 및 2 개의 8-탭 필터 (F1 및 F2) 를 포함한다. 필터 F0 은 표 3 에 예시되고, 필터 (F1)는 표 4 에 예시되며, 필터 F2 는 표 5 에 예시되어 있다. 이 예에서, 필터 후보들의 세트는 상이한 화상 및/또는 슬라이스를 통해 변경되지 않는다. JEM3.0 은 1/16 모션 벡터 해상도까지 지원하므로 각 필터 후보는 다음 표와 같이 16 개의 상이한 위상 시프트들로 구성된다.
위상 시프트 계수들 (F0)
0 { 0, 0, 0, 0, 0, 256, 0, 0, 0, 0, 0, 0 },
1 { -1, 2, -4, 7, -14, 254, 16, -7, 4, -2, 1, 0 },
2 { -1, 4, -7, 12, -27, 249, 35, -15, 8, -4, 2, 0 },
3 { -2, 5, -10, 17, -36, 241, 54, -22, 12, -6, 3, 0 },
4 { -2, 6, -12, 21, -44, 232, 75, -30, 16, -9, 4, -1 },
5 { -2, 7, -13, 24, -49, 215, 97, -36, 19, -10, 5, -1 },
6 { -2, 7, -14, 26, -51, 198, 119, -42, 22, -12, 6, -1 },
7 { -2, 7, -14, 26, -52, 183, 140, -47, 24, -13, 6, -2 },
8 { -2, 7, -14, 26, -50, 161, 161, -50, 26, -14, 7, -2 },
9 { -2, 6, -13, 24, -47, 140, 183, -52, 26, -14, 7, -2 },
10 { -1, 6, -12, 22, -42, 119, 198, -51, 26, -14, 7, -2 },
11 { -1, 5, -10, 19, -36, 97, 215, -49, 24, -13, 7, -2 },
12 { -1, 4, -9, 16, -30, 75, 232, -44, 21, -12, 6, -2 },
13 { 0, 3, -6, 12, -22, 54, 241, -36, 17, -10, 5, -2 },
14 { 0, 2, -4, 8, -15, 35, 249, -27, 12, -7, 4, -1 },
15 { 0, 1, -2, 4, -7, 16, 254, -14, 7, -4, 2, -1 },
위상 시프트 계수들 (F1)
0 { 0, 0, 0, 256, 0, 0, 0, 0 },
1 { 2, -9, 21, 185, 80, -27, 4, 0 },
2 { 2, -9, 15, 181, 90, -27, 3, 1 },
3 { 2, -8, 9, 176, 100, -26, 2, 1 },
4 { 2, -7, 4, 171, 108, -24, 1, 1 },
5 { 2, -6, -1, 165, 117, -22, 0, 1 },
6 { 2, -5, -6, 158, 127, -20, -1, 1 },
7 { 2, -4, -10, 151, 134, -17, -2, 2 },
8 { 2, -3, -14, 143, 143, -14, -3, 2 },
9 { 2, -2, -17, 134, 151, -10, -4, 2 },
10 { 1, -1, -20, 127, 158, -6, -5, 2 },
11 { 1, 0, -22, 117, 165, -1, -6, 2 },
12 { 1, 1, -24, 108, 171, 4, -7, 2 },
13 { 1, 2, -26, 100, 176, 9, -8, 2 },
14 { 1, 3, -27, 90, 181, 15, -9, 2 },
15 { 0, 4, -27, 80, 185, 21, -9, 2 },
위상 시프트 계수들 (F2)
0 { 0, 0, 0, 256, 0, 0, 0, 0,},
1 { 1, 15, 61, 97, 70, 17, -3, -2,},
2 { 0, 13, 58, 96, 73, 20, -2, -2,},
3 { 0, 11, 55, 95, 75, 23, -1, -2,},
4 { 0, 10, 51, 94, 77, 26, 0, -2,},
5 { 0, 8, 48, 92, 80, 29, 1, -2,},
6 { -1, 7, 45, 90, 82, 32, 2, -1,},
7 { -1, 5, 41, 88, 86, 35, 3, -1,},
8 { -1, 4, 38, 87, 87, 38, 4, -1,},
9 { -1, 3, 35, 86, 88, 41, 5, -1,},
10 { -1, 2, 32, 82, 90, 45, 7, -1,},
11 { -2, 1, 29, 80, 92, 48, 8, 0,},
12 { -2, 0, 26, 77, 94, 51, 10, 0,},
13 { -2, -1, 23, 75, 95, 55, 11, 0,},
14 { -2, -2, 20, 73, 96, 58, 13, 0,},
15 { -2, -3, 17, 70, 97, 61, 15, 1,},
도 6 은 세 개의 예시적인 필터들, F0, F1 및 F2 의 주파수 응답을 나타내는 그래프이다. 각 곡선은 각 필터에 대해 8 의 동일한 위상 시프트에 대응한다. 이 예에 의해 예시된 바와 같이, 필터 (F0) 는 높은 컷-오프 주파수를 가지며, 필터 (F2) 는 낮은 컷-오프 주파수를 갖는다. 필터 F1은 상당히 중성인 컷-오프 주파수를 갖는다.
예를 계속하면, 주어진 코딩 유닛에 대해, 필터 F0, F1 및 F2 중 하나가 선택 될 수 있다. 선택된 필터는 암시적으로 또는 명시적으로 시그널링될 수 있다.
이 예에서, 필터 인덱스의 암시적 시그널링이 병합 모드에 대해 가능하게 되며, 이는 디코더가 인코더로부터의 임의의 부수적인 정보 없이, 병합 모션 벡터 후보들을 결정하기 위해 인코더가 실행하는 동일한 절차를 모방할 수 있기 때문이다. 예를 들어, 코딩 유닛에 대한 보간 필터는 현재 모션이 도출되는 블록들로부터 필터 인덱스를 승계하거나, 이 예에서 필터 F0 인 디폴트 필터를 선택함으로써 결정될 수 있다.
예제를 계속하면, 필터 승계는 현재 모션이 공간 병합 후보, 결합되는 두 후보가 동일한 필터를 사용하는 경우 결합된-병합 후보, 및 애파인 (affine) 병합 병합 후보에서 도출될 때 사용될 수 있다. 이러한 각 경우에서 승계되는 블록의 컨텐츠가 필터의 선택에 영향을 줄 수 있다. 또한 이 예에서, 현재 모션 벡터가 프레임 레이트 상향 변환 병합 후보 또는 임시 병합 후보 (예 : TMVP, AMVP, STMVP 및 제로 모션 벡터) 후보에서 도출될 때 디폴트 필터 F0 가 선택된다. 이들 경우들 각각에서, 블록의 상세를 보존하기 위해 높은 차단 주파수를 갖는 필터가 바람직 할 수도 있다.
이 예를 계속하면, AMVP 모드에 대해 필터 인덱스의 명시적 시그널링이 가능하다. JEM3.0 에서, 3 개의 예시의 필터 후보들로부터 최상의 필터를 선택하는 데 사용될 수 있는 2 개의 추가 레이트-왜곡 최적화들이 인코더에 포함된다. 추가적인 최적화 프로세스는 정수 모션 벡터를 재사용하거나 특정 구성에서 선택한 필터를 재사용하여 추가 프로세스를 생략함으로써 간단해질 수 있다. 일예로서, 조명 보상 (IC) 도구의 경우, 조명 보상이 오프일 때 선택된 필터는 조명 보상이 온인 경우에 재사용 될 수 있다. 이렇게 하면 인코딩 시간을 줄일 수 있다.
이 예를 계속하면, 필터 인덱스의 명시적 시그널링이 가능하게 된 경우 interpolation_filter_index는 F0 에 대해 "0", F1 에 대해 "10", F2 에 대해 "11"을 사용하여 이진화될 수 있다. 다음과 같이 FLAG0 및 FLAG1의 두 플래그를 사용하여 interpolation_filter_index를 코딩 할 수 있다:
FLAG0
if (FLAG0)
FLAG1
위의 예를 계속하면, 각 플래그에 대해 두 가지 컨텍스트를 제공 할 수 있다: FLAG0에 대해서는 (FLAG0_ctx0, FLAG0_ctx1), 및 FLAG1에 대해서는 (FLAG1_ctx0, FLAG1_ctx1). 일 예로서, 현재 블록이 유니-예측으로 코딩 될 때, FLAG0_ctx0는 FLAG0를 코딩하는데 사용될 수 있고 FLAG1_ctx0는 FLAG1을 코딩하는데 사용될 수 있다. 다른 예로서, 현재 블록이 바이-예측으로 코딩될 때, FLAG0_ctx1 는 FLAG0를 코딩하는데 사용될 수 있고 FLAG1_ctx1 는 FLAG1을 코딩하는데 사용될 수 있다.
2 개의 보간 후보들, F0 및 F2를 인코딩하는 또 다른 예에서, interpolation_filter_index는 F0 에 대해 "0" 및 F1에 대해 "1"로서 이진화 될 수 있다. 이 예에서, 하나의 플래그가 interpolation_filter_index 를 코딩하기 위해 사용될 수 있다. 각 플래그는 연관된 컨텍스트 FLAG0_ctx0 및 FLAG0_ctx1 을 가질 수 있다. 현재 블록의 크기가 (이 예의 목적상) 256 보다 작으면 FLAG0_ctx0을 사용하여 FLAG0을 코딩 할 수 있다. 그렇지 않고, 크기가 256 보다 크거나 같으면 FLAG0_ctx1을 사용하여 FLAG0을 코딩 할 수 있다. 현재 블록의 크기는 w × h 로 계산되며, 여기서 w 및 h 는 픽셀 단위로 현재 블록의 너비와 높이를 각각 나타낸다.
도 7 은 인코딩 프로세스 동안 보간 필터를 스위칭하기 위한 프로세스 (700) 의 예이다. 702 에서, 프로세스 (700) 는 비디오 데이터를 획득하는 것을 포함한다.S 비디오 데이터는 예를 들어 카메라와 같은 비디오 캡처 디바이스로부터 얻을 수 있다. 대안적으로 또는 부가적으로, 비디오 데이터는 저장된 위치로부터 판독될 수 다.
704 에서, 프로세스는 인코딩 닛을 인코딩하는 것을 포함하며, 그 프로세싱을 인코딩하는 것은 코딩 유닛에 대한 모션 추정 및 모션 보상을 위한 보간 필터를 선택하는 것을 포함하며, 보간 필터는 보간 필터들의 세트로부터 선택된다. 일부 구현 예에서, 보간 필터는 보간 필터들의 세트로부터 선택된 보간 필터의 서브 세트로부터 선택된다. 일부 구현들에서, 보간 필터들의 서브 세트는 코딩 유닛의 코딩 레벨에 기초하여 결정될 수 있다. 일부 구현들에서, 그 서브 세트는 코딩 유닛의 예측 모드에 기초하여 결정될 수 있다. 일부 구현들에서, 그 서브 세트는 모션 추정의 결과에 기초하여 결정될 수 있다. 일부 구현들에서, 그 서브 세트는 코딩 유닛을 코딩하기 위해 사용된 코딩 도구에 기초하여 결정될 수 있다.
몇몇 구현들에서, 보간 필터는 이전에 코딩된 블록으로부터 선택된다. 몇몇 구현들에서, 보간 필터는 이웃 블록으로부터 선택된다.
일부 구현들에서, 보간 필터는 다른 보간 필터들과 병합되고, 결과적인 병합 된 보간 필터는 모션 추정을 위해 사용된다.
몇몇 구현들에서, 보간 필터는 제 2 보간 필터에 커플링된다. 이러한 구현에서, 보간 필터는 정수 픽셀 위치에 대한 것일 수 있고, 제 2 보간 필터는 분수 픽셀 위치에 대한 것일 수 있다. 몇몇 구현들에서, 보간 필터 및 제 2 보간 필터는 상이한 컷-오프 주파수들을 가질 수 있다.
706 에서, 프로세스 (700) 는 인코딩된 비디오 비트 스트림을 생성하는 것을 포함하며, 여기서 인코딩된 비디오 비트 스트림은 인코딩된 코딩 유닛을 포함한다. 일부 구현 예에서, 인코딩된 비디오 비트 스트림은 필터 인덱스와 같이 선택된 보간 필터를 식별하는 명시적인 값을 포함 할 수 있다. 일부 구현 예에서, 보간 필터를 식별하는 값은 인코딩된 비디오 비트 스트림으로부터 암시될 수 있다.
도 8 은 디코딩 프로세스에서 보간 필터를 스위칭하기 위한 프로세스 (800) 의 예이다. 802 에서, 프로세스 (800) 는 인코딩된 비디오 비트스트림을 획득하는 것을 포함한다. 비트 스트림은 예를 들어 저장 위치에 대해 및/또는 네트워크를 통해 획득될 수 있다.
804 에서, 프로세스 (800) 는 인코딩된 비디오 비트 스트림으로부터 현재 프레임의 코딩 유닛에 대한 참조 프레임을 결정하는 것을 포함한다. 참조 프레임은 현재 프레임에 대해 시간적으로 선행 또는 후행할 수 있다. 참조 프레임은 현재 프레임과 동일한 프레임일 수 있다.
806 에서, 프로세스 (800) 는 보간 필터들의 세트로부터 보간 필터를 결정하는 것을 포함한다. 일부 구현 예에서, 보간 필터는 보간 필터들의 세트로부터의 보간 필터들의 서브 세트로부터 선택될 수 있다. 일부 구현들에서, 보간 필터들의 서브 세트는 코딩 유닛의 코딩 레벨에 기초하여 결정될 수 있다. 일부 구현들에서, 그 서브 세트는 코딩 유닛에 대한 예측 모드에 기초하여 결정될 수 있다. 일부 구현들에서, 그 서브 세트는 모션 추정의 결과에 기초하여 결정될 수 있다. 일부 구현들에서, 그 서브 세트는 코딩 유닛을 코딩하기 위해 사용된 코딩 도구에 기초하여 결정될 수 있다.
몇몇 구현들에서, 보간 필터는 이전에 코딩된 블록으로부터 선택될 수 있다.몇몇 구현들에서, 보간 필터는 이웃 블록으로부터 선택될 수 있다.
일부 구현들에서, 보간 필터는 제 2 보간 필터들과 병합될 수 있고, 결과적인 병합된 보간 필터는 모션 추정을 위해 사용될 수 있다.
몇몇 구현들에서, 보간 필터는 제 2 보간 필터에 커플링될 수 있다. 이러한 구현에서, 보간 필터는 정수 픽셀 위치에 대한 것일 수 있고, 제 2 보간 필터는 분수 픽셀 위치에 대한 것일 수 있다. 몇몇 구현들에서, 보간 필터 및 제 2 보간 필터는 상이한 컷-오프 주파수들을 가질 수 있다.
일부 구현 예에서, 인코딩된 비디오 비트 스트림은 선택한 보간 필터를 식별하는, 필터 인덱스와 같은 명시적 값을 포함한다. 일부 구현 예에서, 프로세스는 비트 스트림으로부터의 데이터를 이용하여 보간 필터의 아이덴티티를 도출하는 것을 포함한다.
808 에서, 프로세스 (800) 는 코딩 유닛을 재구성하기 위해 804 에서 결정된 참조 프레임 및 806 에서 결정된 보간 필터를 사용하는 것을 포함한다.
본 명세서에서 논의된 코딩 기술은 예시적인 비디오 인코딩 및 디코딩 시스템 (예를 들어, 시스템 (100)) 에서 구현될 수도 있다. 일부 예들에서, 시스템은 목적지 디바이스에 의해 더 나중 시간에 디코딩될 인코딩된 비디오 데이터를 제공하는 소스 디바이스를 포함한다. 특히, 소스 디바이스는 비디오 데이터를, 컴퓨터 판독가능 매체를 통해 목적지 디바이스에 제공한다. 소스 디바이스 및 목적지 디바이스는 데스크탑 컴퓨터들, 노트북 (즉, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋탑 박스들, 소위 "스마트" 폰들과 같은 전화기 핸드셋들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스 등을 포함한 광범위한 디바이스들 중 임의의 디바이스를 포함할 수도 있다. 일부 경우들에 있어서, 소스 디바이스 및 목적지 디바이스는 무선 통신을 위해 장비될 수도 있다.
목적지 디바이스는 디코딩될 인코딩된 비디오 데이터를 컴퓨터 판독가능 매체를 통해 수신할 수도 있다. 컴퓨터 판독가능 매체는 인코딩된 비디오 데이터를 소스 디바이스로부터 목적지 디바이스로 이동시킬 수 있는 임의의 타입의 매체 또는 디바이스를 포함할 수도 있다. 일 예에 있어서, 컴퓨터 판독가능 매체는, 소스 디바이스로 하여금 인코딩된 비디오 데이터를 직접 목적지 디바이스로 실시간으로 송신할 수 있게 하는 통신 매체를 포함할 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 목적지 디바이스로 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스로부터 목적지 디바이스로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
일부 예들에 있어서, 인코딩된 데이터는 출력 인터페이스로부터 저장 디바이스로 출력될 수도 있다. 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스로부터 액세스될 수도 있다. 저장 디바이스는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산된 또는 국부적으로 액세스된 데이터 저장 매체들 중 임의의 데이터 저장 매체를 포함할 수도 있다. 추가의 예에 있어서, 저장 디바이스는, 소스 디바이스에 의해 생성된 인코딩된 비디오를 저장할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수도 있다. 목적지 디바이스는 저장 디바이스로부터의 저장된 비디오 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다. 파일 서버는, 인코딩된 비디오 데이터를 저장하고 그리고 그 인코딩된 비디오 데이터를 목적지 디바이스로 송신하는 것이 가능한 임의의 타입의 서버일 수도 있다. 예시적인 파일 서버들은 웹 서버 (예를 들어, 웹 사이트용), FTP 서버, 네트워크 접속형 저장 (NAS) 디바이스들, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스는 인코딩된 비디오 데이터에, 인터넷 커넥션을 포함한 임의의 표준 데이터 커넥션을 통해 액세스할 수도 있다. 이는 파일 서버 상에 저장되는 인코딩된 비디오 데이터에 액세스하기에 적합한 무선 채널 (예를 들어, Wi-Fi 커넥션), 유선 커넥션 (예를 들어, DSL, 케이블 모뎀 등), 또는 이들 양자의 조합을 포함할 수도 있다. 인코딩된 비디오 데이터의 저장 디바이스로부터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들의 조합일 수도 있다.
본 개시의 기법들은 무선 어플리케이션들 또는 설정들로 반드시 한정되는 것은 아니다. 그 기술들은, 공중 경유 (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, HTTP 상으로의 동적 적응 스트리밍 (DASH) 과 같은 인터넷 스트리밍 비디오 송신들, 데이터 저장 매체 상으로 인코딩된 디지털 비디오, 데이터 저장 매체 상으로 저장된 디지털 비디오의 디코딩, 또는 다른 어플리케이션들과 같은 다양한 멀티미디어 어플리케이션들 중 임의의 멀티미디어 어플리케이션의 지원으로 비디오 코딩에 적용될 수도 있다. 일부 예들에 있어서, 시스템은 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 및/또는 비디오 전화와 같은 어플리케이션들을 서포트하기 위해 일방향 또는 양방향 비디오 송신을 서포트하도록 구성될 수도 있다.
하나의 예에 있어서, 소스 디바이스는 비디오 소스, 비디오 인코더, 및 출력 인터페이스를 포함한다. 목적지 디바이스는 입력 인터페이스, 비디오 디코더, 및 디스플레이 디바이스를 포함한다. 소스 디바이스의 비디오 인코더는 여기에 개시된 기술들을 적용하도록 구성 될 수있다. 다른 예들에 있어서, 소스 디바이스 및 목적지 디바이스는 다른 컴포넌트들 또는 배열들을 포함할 수도 있다. 예를 들어, 소스 디바이스는 외부 카메라와 같은 외부 비디오 소스로부터 비디오 데이터를 수신할 수도 있다. 유사하게, 목적지 디바이스는 통합된 디스플레이 디바이스를 포함하는 것보다는 외부 디스플레이 디바이스와 인터페이싱할 수도 있다.
예시의 시스템은 단지 일 예일 뿐이다. 비디오 데이터를 병렬로 프로세싱하기 위한 기술들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 비록 일반적으로 본 개시의 기술들이 비디오 인코딩 디바이스에 의해 수행되지만, 그 기술들은 또한, 통상적으로 "CODEC" 로서 지칭되는 비디오 인코더/디코더에 의해 수행될 수도 있다. 또한, 본 개시의 기술들은 비디오 프리프로세서에 의해 수행될 수도 있다. 소스 디바이스 및 목적지 디바이스는, 단지, 소스 디바이스가 목적지 디바이스로의 송신을 위한 코딩된 비디오 데이터를 생성하는 그러한 코딩 디바이스들의 예들일 뿐이다. 일부 예들에 있어서, 소스 및 목적지 디바이스들은, 디바이스들 각각이 비디오 인코딩 및 디코딩 컴포넌트들을 포함하도록 실질적으로 대칭적인 방식으로 동작할 수도 있다. 따라서, 예시의 시스템들은 예를 들어, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 전화를 위해, 비디오 디바이스들 간의 일방향 또는 양방향 비디오 송신을 지원할 수도 있다.
비디오 소스는 비디오 카메라와 같은 비디오 캡처 디바이스, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 및/또는 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스를 포함할 수도 있다. 추가적인 대안으로서, 비디오 소스는 컴퓨터 그래픽 기반 데이터를 소스 비디오로서, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터 생성된 비디오의 조합으로서 생성할 수도 있다. 일부 경우들에 있어서, 비디오 소스가 비디오 카메라이면, 소스 디바이스 및 목적지 디바이스는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 하지만, 상기 언급된 바와 같이, 본 개시에서 설명된 기술들은 일반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 어플리케이션들에 적용될 수도 있다. 각각의 경우에 있어서, 캡처되거나 사전-캡처되거나 또는 컴퓨터 생성된 비디오는 비디오 인코더에 의해 인코딩될 수도 있다. 그 후, 인코딩된 비디오 정보는 출력 인터페이스에 의해 컴퓨터 판독가능 매체상으로 출력될 수도 있다.
상술된 바와 같이, 컴퓨터 판독가능 매체는 무선 브로드캐스트 또는 유선 네트워크 송신과 같은 일시적인 매체들, 또는 하드 디스크, 플래시 드라이브, 컴팩트 디스크, 디지털 비디오 디스크, 블루-레이 디스크, 또는 다른 컴퓨터 판독가능 매체들과 같은 저장 매체들 (즉, 비일시적인 저장 매체들) 을 포함할 수도 있다. 일부 예들에 있어서, 네트워크 서버 (도시 안됨) 는 인코딩된 비디오 데이터를 소스 디바이스로부터 수신하고, 인코딩된 비디오 데이터를, 예를 들어, 네트워크 송신을 통해 목적지 디바이스에 제공할 수도 있다. 유사하게, 디스크 스탬핑 설비와 같은 매체 생성 설비의 컴퓨팅 디바이스는 인코딩된 비디오 데이터를 소스 디바이스로부터 수신하고, 인코딩된 비디오 데이터를 포함하는 디스크를 생성할 수도 있다.따라서, 컴퓨터 판독가능 매체는, 다양한 예들에 있어서, 다양한 형태들의 하나 이상의 컴퓨터 판독가능 매체들을 포함하도록 이해될 수도 있다.
목적지 디바이스의 입력 인터페이스는 컴퓨터 판독 가능 매체로부터 정보를 수신한다. 컴퓨터 판독가능 매체의 정보는 비디오 인코더에 의해 정의되고 또한 비디오 디코더에 의해 이용되는 신택스 정보를 포함할 수도 있으며, 이 신택스 정보는 블록들 및 다른 코딩된 유닛들, 예를 들어, 화상들의 그룹 (GOP) 의 특성 및/또는 프로세싱을 기술하는 신택스 엘리먼트들을 포함한다. 디스플레이 디바이스는 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 디바이스를 포함할 수도 있다. 본 발명의 다양한 실시형태들이 설명되었다.
인코딩 디바이스 (104) 및 디코딩 디바이스 (112) 의 특정의 상세들은 도 9 및 도 10 에 도시된다. 도 9 는 본 개시에서 설명된 기법들의 하나 이상을 구현할 수도 있는 예시적인 인코딩 디바이스 (104) 를 예시한 블록도이다. 인코딩 디바이스 (104) 는 예를 들어, 여기에 기술된 신택스 구조들 (예를 들어, VPS, SPS, PPS 또는 다른 신택스 엘리먼트들의 신택스 구조들) 을 생성 할 수있다. 인코딩 디바이스 (104) 는 비디오 슬라이스들 내에서 비디오 블록들의 인트라-예측 및 인터-예측을 수행할 수도 있다. 이전에 기술된 바와 같이, 인트라-코딩은 소정의 비디오 프레임 또는 화상 내의 공간 리던던시를 감소 또는 제거하기 위해 공간 예측에 적어도 부분적으로 의존한다. 인터-코딩은 비디오 시퀀스의 인접한 또는 주위의 프레임들 내의 시간 리던던시를 감소 또는 제거하기 위해 시간 예측에 적어도 부분적으로 의존한다. 인트라-모드 (I 모드) 는 수개의 공간 기반 압축 모드들 중 임의의 모드를 지칭할 수도 있다. 단방향 예측 (P 모드) 또는 양방향 예측 (B 모드) 과 같은 인터-모드들은 수개의 시간 기반 압축 모드들 중 임의의 모드를 지칭할 수도 있다.
인코딩 디바이스 (104) 는 파티셔닝 유닛 (35), 예측 프로세싱 유닛 (41), 필터 유닛 (63), 화상 메모리 (64), 합산기 (50), 변환 프로세싱 유닛 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 예측 프로세싱 유닛 (41) 은 모션 추정 유닛 (42), 모션 보상 유닛 (44) 및 인트라 예측 프로세싱 유닛 (46) 을 포함한다. 비디오 블록 재구성을 위해, 인코딩 디바이스 (104) 는 또한 역양자화 유닛 (58), 역변환 프로세싱 유닛 (60), 및 합산기 (62) 를 포함한다. 필터 유닛 (63) 은 디블록킹 (deblocking) 필터, 적응 루프 필터 (ALF), 및 샘플 적응 오프셋 (SAO) 필터와 같은 하나 이상의 루프 필터들을 나타내도록 의도된다. 비록 필터 유닛 (63) 이 인 루프 (in loop) 필터인 것으로서 도 9 에 도시되지만, 다른 구성들에 있어서, 필터 유닛 (63) 은 포스트 루프 (post loop) 필터로서 구현될 수도 있다. 포스트 프로세싱 디바이스 (57) 는 인코딩 디바이스 (104) 에 의해 생성된 인코딩된 비디오 데이터에 대해 부가적인 프로세싱을 수행할 수있다. 이 개시의 기술들은 몇몇 경우들에서 인코딩 디바이스 (104) 에 의해 구현될 수있다. 그러나, 다른 경우들에서, 본 개시의 하나 이상의 기술들은 포스트 프로세싱 디바이스 (57) 에 의해 구현 될 수있다. 도 9 에 도시된 바와 같이, 인코딩 디바이스 (104) 는 비디오 데이터를 수신하고, 파티셔닝 유닛 (35) 은 그 데이터를 비디오 블록들로 파티셔닝한다. 파티셔닝은 또한, 예를 들어, LCU들 및 CU들의 쿼드트리 구조에 따른 비디오 블록 파티셔닝 뿐아니라 슬라이스들, 슬라이스 세그먼트들, 타일들, 또는 다른 더 큰 유닛들로의 파티셔닝을 포함할 수도 있다. 인코딩 디바이스 (104) 는 일반적으로, 인코딩될 비디오 슬라이스 내의 비디오 블록들을 인코딩하는 컴포넌트들을 예시한다. 슬라이스는 다중의 비디오 블록들로 (및 가능하게는 타일들로서 지칭되는 비디오 블록들의 세트들로) 분할될 수도 있다. 예측 프로세싱 유닛 (41) 은 에러 결과들 (예를 들어, 코딩 레이트 및 왜곡의 레벨 등) 에 기초하여 현재의 비디오 블록에 대해 복수의 인트라 예측 코딩 모드들 중 하나 또는 복수의 인터 예측 코딩 모드들 중 하나와 같은, 복수의 가능한 코딩 모드들 중 하나를 선택할 수도 있다. 예측 프로세싱 유닛 (41) 은 결과적인 인트라- 또는 인터-코딩된 블록을 합산기 (50) 에 제공하여 잔차 블록 데이터를 생성하고, 합산기 (62) 에 제공하여 참조 화상으로서의 사용을 위한 인코딩된 블록을 복원할 수도 있다.
예측 프로세싱 유닛 (41) 내의 인트라 예측 프로세싱 유닛 (46) 은 공간 압축을 제공하기 위해, 코딩될 현재 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃 블록들에 관해 현재 비디오 블록의 인트라-예측 코딩을 수행할 수도 있다. 예측 프로세싱 유닛 (41) 내의 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간 압축을 제공하기 위해 하나 이상의 레퍼런스 픽처들에서의 하나 이상의 예측 블록들에 관해 현재 비디오 블록의 인터-예측 코딩을 수행한다.
모션 추정 유닛 (42) 은 비디오 시퀀스에 대한 미리결정된 패턴에 따라 비디오 슬라이스에 대한 인터-예측 모드를 결정하도록 구성될 수도 있다. 미리결정된 패턴은 시퀀스에서의 비디오 슬라이스들을, P 슬라이스들, B 슬라이스들 또는 GPB 슬라이스들로서 지정할 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만, 개념적인 목적을 위해 별도로 도시된다. 모션 추정 유닛 (42) 에 의해 수행된 모션 추정은, 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 참조 화상 내의 예측 블록에 관한 현재 비디오 프레임 또는 화상 내의 비디오 블록의 예측 유닛 (PU) 의 변위를 표시할 수도 있다.
예측 블록은 픽셀 차이의 관점에서 코딩될 비디오 블록의 PU 와 밀접하게 매칭하도록 발견되는 블록이며, 이 픽셀 차이는 절대 차이의 합 (SAD), 제곱 차이의 합 (SSD), 또는 다른 상이한 메트릭들에 의해 결정될 수도 있다. 일부 예들에 있어서, 인코딩 디바이스 (104) 는 화상 메모리 (64) 에 저장된 참조 화상들의 서브-정수 픽셀 포지션들에 대한 값들을 계산할 수도 있다. 예를 들어, 인코딩 디바이스 (104) 는 참조 화상의 1/4 픽셀 포지션들, 1/8 픽셀 포지션들, 또는 다른 분수 픽셀 포지션들의 값들을 보간할 수도 있다. 따라서, 모션 추정 유닛 (42) 은 풀 픽셀 포지션들 및 분수 픽셀 포지션들에 관한 모션 탐색을 수행하고, 분수 픽셀 정밀도로 모션 벡터를 출력할 수도 있다.
모션 추정 유닛 (42) 은 인터-코딩된 슬라이스에서의 비디오 블록의 PU 에 대한 모션 벡터를, 그 PU 의 포지션을 참조 화상의 예측 블록의 포지션과 비교함으로써 계산한다. 참조 화상은 제 1 참조 화상 리스트 (리스트 0) 또는 제 2 참조 화상 리스트 (리스트 1) 로부터 선택될 수도 있으며, 이 리스트들 각각은 참조 화상 메모리 (64) 에 저장된 하나 이상의 참조 화상들을 식별한다. 모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다.
모션 보상 유닛 (44) 에 의해 수행된 모션 보상은 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치 또는 생성하여, 가능하게는 서브픽셀 정밀도로 보간들을 수행하는 것을 수반할 수도 있다. 현재 비디오 블록의 PU 에 대한 모션 벡터를 수신할 시, 모션 보상 유닛 (44) 은, 모션 벡터가 참조 화상 리스트에서 포인팅하는 예측 블록을 로케이팅할 수도 있다. 인코딩 디바이스 (104) 는, 코딩되고 있는 현재 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산하여 픽셀 차이 값들을 형성함으로써 잔차 비디오 블록을 형성한다. 픽셀 차이 값들은 블록에 대한 잔차 데이터를 형성하고, 루마 및 크로마 차이 컴포넌트들 양자를 포함할 수도 있다. 합산기 (50) 는 이러한 감산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 모션 보상 유닛 (44) 은 또한, 비디오 슬라이스의 비디오 블록들을 디코딩함에 있어서 디코딩 디바이스 (112) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 생성할 수도 있다.
인트라-예측 프로세싱 유닛 (46) 은 현재 블록을, 상기 설명된 바와 같은 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행된 인터-예측에 대한 대안으로서 인트라-예측할 수도 있다. 특히, 인트라-예측 프로세싱 유닛 (46) 은 현재 블록을 인코딩하는데 이용하기 위한 인트라-예측 모드를 결정할 수도 있다. 일부 예들에 있어서, 인트라 예측 프로세싱 유닛 (46) 은 예를 들어 별도의 인코딩 패스들 동안에 다양한 인트라-예측 모드들을 이용하여 현재 블록을 인코딩할 수도 있으며, 인트라 예측 프로세싱 유닛 (46) 은 테스팅된 모드들로부터의 이용을 위해 적절한 인트라-예측 모드를 선택할 수도 있다. 예를 들어, 인트라-예측 프로세싱 유닛 (46) 은 다양한 테스팅된 인트라-예측 모드들에 대한 레이트-왜곡 분석을 이용하여 레이트-왜곡 값들을 계산하고, 테스팅된 모드들 중 최상의 레이트-왜곡 특성들을 갖는 인트라-예측 모드를 선택할 수도 있다. 레이트-왜곡 분석은 일반적으로, 인코딩된 블록과 그 인코딩된 블록을 생성하도록 인코딩되었던 오리지널의 인코딩되지 않은 블록 간의 왜곡 (또는 에러) 의 양뿐 아니라 인코딩된 블록을 생성하는데 사용된 비트 레이트 (즉, 비트들의 수) 를 결정한다. 인트라-예측 프로세싱 유닛 (46) 은 다양한 인코딩된 블록들에 대한 왜곡들 및 레이트들로부터의 비율들을 계산하여, 어느 인트라-예측 모드가 그 블록에 대한 최상의 레이트-왜곡 값을 나타내는지를 결정할 수도 있다.
어떤 경우든, 블록에 대한 인트라-예측 모드를 선택한 이후, 인트라-예측 프로세싱 유닛 (46) 은 블록에 대한 선택된 인트라-예측 모드를 표시하는 정보를 엔트로피 인코딩 유닛 (56) 에 제공할 수도 있다. 엔트로피 인코딩 유닛 (56) 은 선택된 인트라-예측 모드를 표시한 정보를 인코딩할 수도 있다. 인코딩 디바이스 (104) 는 다양한 블록들에 대한 인코딩 컨텍스트들의 정의들 뿐아니라 그 컨텍스트들 각각에 대해 사용할 가장 가능성있는 인트라-예측 모드, 인트라-예측 모드 인덱스 테이블 및 변형된 인트라-예측 모드 인덱스 테이블의 표시들을 전송된 비트 스트림 구성 데이터에 포함할 수있다. 비트 스트림 구성 데이터는 복수의 인트라 예측 모드 인덱스 테이블 및 복수의 변형된 인트라 예측 모드 인덱스 테이블 (코드워드 맵핑 테이블이라고도 함) 을 포함 할 수있다.
예측 프로세싱 유닛 (41) 이 인터-예측 또는 인트라-예측 중 어느 하나를 통해 현재 비디오 블록에 대한 예측 블록을 생성한 후, 인코딩 디바이스 (104) 는 현재 비디오 블록으로부터 예측 블록을 감산함으로써 잔차 비디오 블록을 형성한다. 잔차 블록에서의 잔차 비디오 데이터는 하나 이상의 TU들에 포함되고 변환 프로세싱 유닛 (52) 에 적용될 수도 있다. 변환 프로세싱 유닛 (52) 은 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은 변환을 이용하여 잔차 비디오 데이터를 잔차 변환 계수들로 변환한다. 변환 프로세싱 유닛 (52) 은 잔차 비디오 데이터를 픽셀 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 컨버팅할 수도 있다.
변환 프로세싱 유닛 (52) 은 결과적인 변환 계수들을 양자화 유닛 (54) 으로 전송할 수도 있다. 양자화 유닛 (54) 은 비트 레이트를 추가로 감소시키기 위해 변환 계수들을 양자화한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수도 있다. 그 후, 일부 예들에 있어서, 양자화 유닛 (54) 은, 양자화된 변환 계수들을 포함하는 매트릭스의 스캔을 수행할 수도 있다. 대안적으로, 엔트로피 인코딩 유닛 (56) 은 스캔을 수행할 수도 있다.
양자화 이후, 엔트로피 인코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 인코딩한다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 컨텍스트 적응적 가변 길이 코딩 (CAVLC), 컨텍스트 적응적 바이너리 산술 코딩 (CABAC), 신택스 기반 컨텍스트 적응적 바이너리 산술 코딩 (SBAC), 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩, 또는 다른 엔트로피 인코딩 기술을 수행할 수도 있다. 엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 인코딩 이후, 인코딩된 비트스트림은 디코딩 디바이스 (112) 로 송신되거나, 또는 디코딩 디바이스 (112) 에 의한 나중의 송신 또는 취출을 위해 아카이브될 수도 있다. 엔트로피 인코딩 유닛 (56) 은 또한, 코딩되고 있는 현재 비디오 슬라이스에 대한 모션 벡터들 및 다른 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다.
역양자화 유닛 (58) 및 역변환 프로세싱 유닛 (60) 은, 각각, 역양자화 및 역변환을 적용하여, 참조 화상의 참조 블록으로서의 나중의 사용을 위해 픽셀 도메인에서 잔차 블록을 재구성한다. 모션 보상 유닛 (44) 은 참조 화상 리스트 내의 참조 화상들 중 하나의 예측 블록에 잔차 블록을 가산함으로써 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한, 하나 이상의 보간 필터들을 복원된 잔차 블록에 적용하여, 모션 추정에서의 사용을 위한 서브-정수 픽셀 값들을 계산할 수도 있다. 합산기 (62) 는 복원된 잔차 블록을, 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 부가하여, 참조 화상 메모리 (64) 로의 저장을 위한 참조 블록을 생성한다. 참조 블록은, 후속 비디오 프레임 또는 화상에서의 블록을 인터-예측하기 위해 참조 블록으로서 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 사용될 수도 있다.
이러한 방식으로, 도 9 의 인코딩 디바이스 (104) 는 인코딩된 비디오 비트 스트림에 대한 신택스를 생성하도록 구성된 비디오 인코더의 예를 나타낸다. 인코딩 디바이스 (104) 는 예를 들어, 전술한 바와 같이 VPS, SPS 및 PPS 파라미터 세트들을 생성할 수있다. 인코딩 디바이스 (104) 는 위에서 설명된 프로세스들을 포함하여 본 명세서에 설명된 기술들 중 임의의 것을 수행할 수있다. 본 개시의 기술들은 일반적으로 인코딩 디바이스 (104) 와 관련하여 설명되었지만, 전술한 바와 같이, 본 개시의 기술 중 일부는 또한 포스트 프로세싱 디바이스 (57) 에 의해 구현될 수도 있다.
도 10 은 예시적인 인코딩 디바이스 (112) 를 도시한 블록도이다. 디코딩 디바이스 (112) 는 엔트로피 디코딩 유닛 (80), 예측 프로세싱 유닛 (81), 역양자화 유닛 (86), 역변환 프로세싱 유닛 (88), 합산기 (90), 필터 유닛 (91), 및 화상 메모리 (92) 를 포함한다. 예측 프로세싱 유닛 (81) 은 모션 보상 유닛 (82) 및 인트라 예측 프로세싱 유닛 (84) 을 포함한다. 일부 예들에 있어서, 디코딩 디바이스 (112) 는 도 10 으로부터의 인코딩 디바이스 (104) 에 대하여 설명된 인코딩 패스에 일반적으로 상호적인 디코딩 패스를 수행할 수도 있다.
디코딩 프로세스 동안, 디코딩 디바이스 (112) 는 인코딩 디바이스 (104) 에 의해 전송된 인코딩된 비디오 슬라이스의 비디오 블록들 및 관련 신택스 엘리먼트들을 나타내는 인코딩된 비디오 비트스트림을 수신한다. 일부 실시형태들에서, 디코딩 디바이스 (112) 는 인코딩 디바이스 (104) 로부터 인코딩된 비디오 비트 스트림을 수신할 수있다. 일부 실시형태들서, 디코딩 디바이스 (112) 는 서버, 미디어 인식 네트워크 엘리먼트 (MANE), 비디오 편집자/스플라이서 (splicer), 또는 상술된 기술들 중 하나 이상을 구현하도록 구성된 다른 그러한 디바이스와 같은 네트워크 엔티티 (79) 로부터 인코딩된 비디오 비트스트림을 수신할 수도 있다. 네트워크 엔티티 (79) 는 인코딩 디바이스 (104) 를 포함할 수도 있거나 포함하지 않을 수도 있다. 본 개시에 설명된 기법들 중 일부는 네트워크 엔티티 (79) 가 인코딩된 비디오 비트스트림을 디코딩 디바이스 (112) 로 송신하는 것 이전에 네트워크 엔티티 (79) 에 의해 구현될 수도 있다. 일부 비디오 디코딩 시스템들에 있어서, 네트워크 엔티티 (79) 및 디코딩 디바이스 (112) 는 별개의 디바이스들의 부분들일 수도 있지만, 다른 예들에 있어서, 네트워크 엔티티 (79) 에 대하여 설명된 기능은 디코딩 디바이스 (112) 를 포함하는 동일한 디바이스에 의해 수행될 수도 있다.
디코딩 디바이스 (112) 의 엔트로피 디코딩 유닛 (80) 은 비트스트림을 엔트로피 디코딩하여, 양자화된 계수들, 모션 벡터들, 및 다른 신택스 엘리먼트들을 생성한다. 엔트로피 디코딩 유닛 (80) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 예측 프로세싱 유닛 (81) 으로 포워딩한다. 디코딩 디바이스 (112) 는 신택스 엘리먼트들을 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨로 수신할 수도 있다. 엔트로피 디코딩 유닛 (80)은 VPS, SPS 및 PPS와 같은 하나 이상의 파라미터 세트에서 고정 길이 신택스 엘리먼트들 및 가변 길이 신택스 엘리먼트들을 처리 및 파싱할 수있다.
비디오 슬라이스가 인트라-코딩된 (I) 슬라이스로서 코딩된 경우, 예측 프로세싱 유닛 (81) 의 인트라 예측 프로세싱 유닛 (84) 은 현재 프레임 또는 화상의 이전에 디코딩된 블록들로부터의 데이터 및 시그널링된 인트라 예측 모드에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 생성할 수도 있다. 비디오 프레임이 인터-코딩된 (즉, B, P 또는 GPB) 슬라이스로서 코딩된 경우, 예측 프로세싱 유닛 (81) 의 모션 보상 유닛 (82) 은 엔트로피 디코딩 유닛 (80) 으로부터 수신된 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들을 생성한다. 예측 블록들은 참조 화상 리스트 내의 참조 화상들 중 하나로부터 생성될 수도 있다. 디코딩 디바이스 (112) 는 화상 메모리 (92) 에 저장된 참조 화상들에 기초한 디폴트 구성 기법들을 이용하여 레퍼런스 프레임 리스트들, 즉, 리스트 0 및 리스트 1 을 구성할 수도 있다.
모션 보상 유닛 (82) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 그 예측 정보를 사용하여, 디코딩되고 있는 현재 비디오 블록에 대한 예측 블록들을 생성한다. 예를 들어, 모션 보상 유닛 (82) 은 파라미터 세트 내의 하나 이상의 신택스 엘리먼트들을 사용하여, 비디오 슬라이스의 비디오 블록들을 코딩하는데 사용되는 예측 모드 (예를 들어, 인트라-예측 또는 인터-예측), 인터-예측 슬라이스 타입 (예를 들어, B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 하나 이상의 참조 화상 리스트들에 대한 구성 정보, 슬라이스의 각각의 인터-인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터-코딩된 비디오 블록에 대한 인터-예측 상태, 및 현재 비디오 슬라이스에서의 비디오 블록들을 디코딩하기 위한 다른 정보를 결정할 수도 있다. 모션 보상 유닛 (82) 은 또한, 보간 필터들에 기초하여 보간을 수행할 수도 있다. 모션 보상 유닛 (82) 은 비디오 블록들의 인코딩 동안 인코딩 디바이스 (104) 에 의해 사용된 바와 같은 보간 필터들을 이용하여, 참조 블록들의 서브-정수 픽셀들에 대한 보간된 값들을 계산할 수도 있다. 이 경우, 모션 보상 유닛 (82) 은 수신된 신택스 엘리먼트들로부터 인코딩 디바이스 (104) 에 의해 사용된 보간 필터들을 결정할 수도 있고, 보간 필터들을 이용하여 예측 블록들을 생성할 수도 있다.
역양자화 유닛 (86) 은 비트스트림에서 제공되고 엔트로피 디코딩 유닛 (80) 에 의해 디코딩되는 양자화된 변환 계수들을 역양자화, 또는 탈양자화한다. 역양자화 프로세스는 적용되어야 하는 양자화의 정도 및 유사하게 역양자화의 정도를 결정하기 위해 비디오 슬라이스에서의 각각의 비디오 블록에 대해 인코딩 디바이스 (104) 에 의해 계산된 양자화 파라미터의 사용을 포함할 수도 있다. 역변환 프로세싱 유닛 (88) 은 픽셀 도메인에서 잔차 블록들을 생성하기 위해, 역변환, (예를 들어, 역 DCT, 또는 다른 적합한 역변환), 역 정수 변환, 또는 개념적으로 유사한 역변환 프로세스를 변환 계수들에 적용한다.
모션 보상 유닛 (82) 이 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한 후, 디코딩 디바이스 (112) 는 역변환 프로세싱 유닛 (88) 으로부터의 잔차 블록들을 모션 보상 유닛 (82) 에 의해 생성된 대응하는 예측 블록들과 합산함으로써 디코딩된 비디오 블록을 형성한다. 합산기 (90) 는 이러한 합산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 요구된다면, (코딩 루프에 있어서 또는 코딩 루프 이후에) 루프 필터들이 또한 픽셀 천이들을 평활하게 하거나 그렇지 않으면 비디오 품질을 개선하기 위해 이용될 수도 있다. 필터 유닛 (91) 은 디블록킹 (deblocking) 필터, 적응 루프 필터 (ALF), 및 샘플 적응 오프셋 (SAO) 필터와 같은 하나 이상의 루프 필터들을 나타내도록 의도된다. 필터 유닛 (91) 이 도 10 에 인 루프 필터인 것으로 도시되어 있지만 다른 구성들에 있어서, 필터 유닛 (91) 은 포스트 루프 (post loop) 필터로서 구현될 수도 있다. 그 후, 소정의 프레임 또는 화상에서의 디코딩된 비디오 블록들이 후속적인 모션 보상을 위해 사용되는 참조 화상들을 저장하는 화상 메모리 (92) 에 저장된다. 화상 메모리 (92) 는 또한, 도 1 의 비디오 목적지 디바이스 (122) 와 같은 디스플레이 디바이스 상의 나중의 제시를 위해 디코딩된 비디오를 저장한다.
전술한 설명에서, 본 출원의 양태는 특정 실시형태를 참조하여 기재되었지만, 당업자는 본 발명이 이에 제한되지 않는다는 것을 인식 할 것이다. 따라서, 본 출원의 예시적인 실시형태들이 본원에 상세히 설명되었지만, 본 발명의 개념은 달리 다양하게 구체화되고 채택 될 수 있으며, 첨부된 청구 범위는 선행 기술에 의해 제한되는 것을 제외하고는 그러한 변형을 포함하는 것으로 해석되도록 의도된다. 전술한 본 발명의 다양한 특징 및 양태는 개별적으로 또는 공동으로 사용될 수있다. 또한, 실시형태들은 본 명세서의 더 넓은 사상 및 범위를 벗어나지 않으면서 본 명세서에 기재된 것 이외의 임의의 수의 환경 및 애플리케이션에서 이용 될 수 있다. 이에 따라, 명세서 및 도면들은 한정적 의미보다는 예시적 의미로 간주되어야 한다. 예시의 목적 상, 방법은 특정 순서로 기술되었다. 대안적인 실시예에서, 상기 방법은 설명된 것과 다른 순서로 수행될 수 있다는 것을 이해해야한다.
컴포넌트들이 특정 동작을 수행"하도록 구성된" 것으로 기술되는 경우, 그러한 구성은 예를 들어, 전자 회로 또는 다른 하드웨어를 동작을 수행하도록 설계함으로써, 프로그래밍 가능한 전자 회로 (예를 들어, 마이크로 프로세서 또는 다른 적절한 전자 회로 ) 를 동작을 수행하도록 프로그래밍함으로써, 또는 이들의 임의의 조합으로써 달성될 수 있다.
본 명세서에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 조합들로서 구현될 수도 있다. 하드웨어와 소프트웨어의 이러한 상호대체 가능성을 분명히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능의 관점에서 상기 설명되었다. 그러한 기능이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 설계 제약들 및 특정 어플리케이션에 의존한다. 당업자는 설명된 기능을 각각의 특정 어플리케이션에 대하여 다양한 방식들로 구현할 수도 있지만, 그러한 구현의 결정들이 본 발명의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.
본 명세서에서 설명된 기술들은 또한 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 그러한 기술들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 어플리케이션을 포함하여 다중의 이용들을 갖는 집적 회로 디바이스들과 같은 임의의 다양한 디바이스들에서 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 특징들은 집적된 로직 디바이스에서 함께 또는 별개지만 상호운용가능한 로직 디바이스들로서 별도로 구현될 수도 있다.소프트웨어에서 구현되면, 그 기법들은, 실행될 경우 상기 설명된 방법들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있으며, 이는 패키징 재료들을 포함할 수도 있다. 컴퓨터 판독가능 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광학 데이터 저장 매체들 등과 같은 메모리 또는 데이터 저장 매체들을 포함할 수도 있다. 그 기법들은, 부가적으로 또는 대안적으로, 전파된 신호들 또는 파동들과 같이, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 수록하거나 통신하고 그리고 컴퓨터에 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
프로그램 코드는, 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로 프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 균등한 집적된 또는 별개의 로직 회로부와 같은 하나 이상의 프로세서들을 포함할 수도 있는 프로세서에 의해 실행될 수도 있다. 그러한 프로세서는 본 개시에서 설명된 기법들 중 임의의 기법을 수행하도록 구성될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 그러한 다른 구성물 으로서 구현될 수도 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서" 는 전술한 구조, 전술한 구조의 임의의 조합, 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수도 있다.부가적으로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은, 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에서 제공되거나, 또는 결합된 비디오 인코더-디코더 (CODEC) 에 통합될 수도 있다.

Claims (35)

  1. 비디오 데이터를 인코딩하는 방법으로서,
    상기 비디오 데이터를 획득하는 단계;
    코딩 유닛에 대해, 보간 필터들의 세트로부터 보간 필터들의 서브세트를 결정하는 단계로서, 상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된, 상기 비디오 데이터 내의 정보에 기초하여 결정되는, 상기 보간 필터들의 서브세트를 결정하는 단계;
    상기 코딩 유닛을 인코딩하는 단계로서, 상기 코딩 유닛을 인코딩하는 단계는 상기 코딩 유닛에 대한 모션 추정 및 모션 보상을 위한 보간 필터를 선택하는 단계를 포함하고, 상기 보간 필터는 상기 보간 필터들의 서브세트로부터 선택되는, 상기 코딩 유닛을 인코딩하는 단계; 및
    인코딩된 비디오 비트스트림을 생성하는 단계로서, 상기 인코딩된 비디오 비트스트림은 상기 인코딩된 코딩 유닛을 포함하는, 상기 인코딩된 비디오 비트스트림을 생성하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛의 코딩 레벨에 기초하여 결정되는, 비디오 데이터를 인코딩하는 방법.
  3. 제 1 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛에 대한 예측 모드에 기초하여 결정되는, 비디오 데이터를 인코딩하는 방법.
  4. 제 1 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된 모션 정보에 기초하여 결정되는, 비디오 데이터를 인코딩하는 방법.
  5. 제 1 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛을 코딩하는데 사용된 코딩 도구에 기초하여 결정되는, 비디오 데이터를 인코딩하는 방법.
  6. 제 1 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛의 크기에 기초하여 결정되는, 비디오 데이터를 인코딩하는 방법.
  7. 제 1 항에 있어서,
    상기 보간 필터는 이전에 코딩된 블록으로부터 선택되는, 비디오 데이터를 인코딩하는 방법.
  8. 제 1 항에 있어서,
    상기 보간 필터는 상기 코딩 유닛의 이웃 블록으로부터 선택되는, 비디오 데이터를 인코딩하는 방법.
  9. 제 1 항에 있어서,
    상기 보간 필터를 제 2 보간 필터와 병합하는 단계를 더 포함하고,
    결과의 병합된 보간 필터는 상기 모션 추정 및 상기 모션 보상을 위해 사용되는, 비디오 데이터를 인코딩하는 방법.
  10. 제 1 항에 있어서,
    상기 보간 필터는 제 2 보간 필터와 연관되고,
    상기 보간 필터는 정수 픽셀 위치에 대한 것이며,
    상기 제 2 보간 필터는 분수 픽셀 위치에 대한 것인, 비디오 데이터를 인코딩하는 방법.
  11. 제 10 항에 있어서,
    상기 보간 필터 및 상기 제 2 보간 필터는 상이한 컷-오프 주파수들을 갖는, 비디오 데이터를 인코딩하는 방법.
  12. 제 1 항에 있어서,
    상기 인코딩된 비디오 비트스트림은 상기 보간 필터를 식별하는 값을 포함하는, 비디오 데이터를 인코딩하는 방법.
  13. 제 1 항에 있어서,
    상기 보간 필터들의 세트는 상기 인코딩된 비디오 비트스트림과 함께 시그널링되지 않고,
    상기 보간 필터의 아이덴티티는 상기 인코딩된 비디오 비트스트림으로부터 암시될 수 있는, 비디오 데이터를 인코딩하는 방법.
  14. 장치로서,
    비디오 데이터를 저장하도록 구성된 메모리; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 비디오 데이터를 획득하고;
    코딩 유닛에 대해, 보간 필터들의 세트로부터 보간 필터들의 서브세트를 결정하는 것으로서, 상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된, 상기 비디오 데이터 내의 정보에 기초하여 결정되는, 상기 보간 필터들의 서브세트를 결정하고;
    상기 코딩 유닛을 인코딩하는 것으로서, 상기 프로세싱을 인코딩하는 것은 모션 추정 및 모션 보상을 위한 보간 필터를 선택하는 것을 포함하고, 상기 보간 필터는 상기 보간 필터들의 서브세트로부터 선택되는, 상기 코딩 유닛을 인코딩하며; 및
    인코딩된 비디오 비트스트림을 생성하는 것으로서, 상기 인코딩된 비디오 비트스트림은 상기 인코딩된 코딩 유닛을 포함하는, 상기 인코딩된 비디오 비트스트림을 생성하도록 구성된, 장치.
  15. 제 14 항에 있어서,
    상기 장치는 화상들을 캡쳐하기 위한 카메라를 갖는 모바일 디바이스를 포함하는, 장치.
  16. 명령들을 저장한 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 동작들을 수행하게 하고,
    상기 동작들은,
    비디오 데이터를 획득하는 것;
    코딩 유닛에 대해, 보간 필터들의 세트로부터 보간 필터들의 서브세트를 결정하는 것으로서, 상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된, 상기 비디오 데이터 내의 정보에 기초하여 결정되는, 상기 보간 필터들의 서브세트를 결정하는 것;
    상기 코딩 유닛을 인코딩하는 것으로서, 상기 코딩 유닛을 인코딩하는 것은 모션 추정 및 모션 보상을 위한 보간 필터를 선택하는 것을 포함하고, 상기 보간 필터는 상기 보간 필터들의 서브세트로부터 선택되는, 상기 코딩 유닛을 인코딩하는 것; 및
    인코딩된 비디오 비트스트림을 생성하는 것으로서, 상기 인코딩된 비디오 비트스트림은 상기 인코딩된 코딩 유닛을 포함하는, 상기 인코딩된 비디오 비트스트림을 생성하는 것을 포함하는, 컴퓨터 판독가능 저장 매체.
  17. 비디오 데이터를 인코딩하기 위한 장치로서,
    비디오 데이터를 획득하는 수단;
    코딩 유닛에 대해, 보간 필터들의 세트로부터 보간 필터들의 서브세트를 결정하는 수단으로서, 상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된, 상기 비디오 데이터 내의 정보에 기초하여 결정되는, 상기 보간 필터들의 서브세트를 결정하는 수단;
    상기 코딩 유닛을 인코딩하는 수단으로서, 상기 코딩 유닛을 인코딩하는 수단은 모션 추정 및 모션 보상을 위한 보간 필터를 선택하는 것을 포함하고, 상기 보간 필터는 상기 보간 필터들의 세트로부터 선택되는, 상기 코딩 유닛을 인코딩하는 수단; 및
    인코딩된 비디오 비트스트림을 생성하는 수단으로서, 상기 인코딩된 비디오 비트스트림은 상기 인코딩된 코딩 유닛을 포함하는, 상기 인코딩된 비디오 비트스트림을 생성하는 수단을 포함하는, 비디오 데이터를 인코딩하기 위한 장치.
  18. 비디오 데이터를 디코딩하는 방법으로서,
    인코딩된 비디오 비트스트림을 획득하는 단계;
    상기 인코딩된 비디오 비트스트림으로부터 현재 프레임에서의 코딩 유닛에 대한 참조 프레임을 결정하는 단계;
    보간 필터들의 세트로부터 보간 필터들의 서브세트를 결정하는 단계로서, 상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된, 상기 인코딩된 비디오 비트스트림 내의 정보에 기초하여 결정되는, 상기 보간 필터들의 서브세트를 결정하는 단계;
    상기 보간 필터들의 서브세트로부터 보간 필터를 결정하는 단계; 및
    상기 코딩 유닛을 재구성하기 위해 상기 참조 프레임 및 상기 보간 필터를 사용하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법.
  19. 제 18 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛의 코딩 레벨에 기초하여 결정되는, 비디오 데이터를 디코딩하는 방법.
  20. 제 18 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛에 대한 예측 모드에 기초하여 결정되는, 비디오 데이터를 디코딩하는 방법.
  21. 제 18 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된 모션 정보에 기초하여 결정되는, 비디오 데이터를 디코딩하는 방법.
  22. 제 18 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛을 코딩하는데 사용된 코딩 도구에 기초하여 결정되는, 비디오 데이터를 디코딩하는 방법.
  23. 제 18 항에 있어서,
    상기 보간 필터들의 서브세트는 상기 코딩 유닛의 크기에 기초하여 결정되는, 비디오 데이터를 디코딩하는 방법.
  24. 제 18 항에 있어서,
    상기 보간 필터는 이전에 코딩된 블록으로부터 선택되는, 비디오 데이터를 디코딩하는 방법.
  25. 제 18 항에 있어서,
    상기 보간 필터는 이웃 블록으로부터 선택되는, 비디오 데이터를 디코딩하는 방법.
  26. 제 18 항에 있어서,
    상기 보간 필터를 제 2 보간 필터와 병합하는 수단을 더 포함하고,
    결과의 병합된 보간 필터는 상기 코딩 유닛을 재구성하기 위해 사용되는, 비디오 데이터를 디코딩하는 방법.
  27. 제 18 항에 있어서,
    상기 보간 필터는 제 2 보간 필터와 연관되고,
    상기 보간 필터는 정수 픽셀 위치에 대한 것이며,
    상기 제 2 보간 필터는 분수 픽셀 위치에 대한 것인, 비디오 데이터를 디코딩하는 방법.
  28. 제 27 항에 있어서,
    상기 보간 필터 및 상기 제 2 보간 필터는 상이한 컷-오프 주파수들을 갖는, 비디오 데이터를 디코딩하는 방법.
  29. 제 18 항에 있어서,
    상기 인코딩된 비디오 비트스트림은 상기 보간 필터를 식별하는 값을 포함하는, 비디오 데이터를 디코딩하는 방법.
  30. 제 18 항에 있어서,
    상기 인코딩된 비디오 비트스트림을 사용하여 상기 보간 필터의 아이덴티티를 도출하는 방법을 더 포함하는, 비디오 데이터를 디코딩하는 방법.
  31. 장치로서,
    인코딩된 비디오 데이터를 저장하도록 구성된 메모리; 및
    프로세서를 포함하고,
    상기 프로세서는,
    인코딩된 비디오 비트스트림을 획득하고;
    상기 인코딩된 비디오 비트스트림으로부터 현재 프레임에서의 코딩 유닛에 대한 참조 프레임을 결정하며;
    보간 필터들의 세트로부터 보간 필터들의 서브세트를 결정하는 것으로서, 상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된, 상기 인코딩된 비디오 비트스트림 내의 정보에 기초하여 결정되는, 상기 보간 필터들의 서브세트를 결정하고;
    상기 보간 필터들의 서브세트로부터 보간 필터를 결정하며; 및
    상기 코딩 유닛을 재구성하기 위해 상기 참조 프레임 및 상기 보간 필터를 사용하도록 구성된, 장치.
  32. 제 31 항에 있어서,
    상기 비디오 데이터를 디스플레이하기 위한 디스플레이를 더 포함하는, 장치.
  33. 제 31 항에 있어서,
    상기 장치는 화상들을 캡쳐하기 위한 카메라를 갖는 모바일 디바이스를 포함하는, 장치.
  34. 명령들을 저장한 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 동작들을 수행하게 하고,
    상기 동작들은,
    인코딩된 비디오 비트스트림을 획득하는 것;
    상기 인코딩된 비디오 비트스트림으로부터 현재 프레임에서의 코딩 유닛에 대한 참조 프레임을 결정하는 것;
    보간 필터들의 세트로부터 보간 필터들의 서브세트를 결정하는 것으로서, 상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된, 상기 인코딩된 비디오 비트스트림 내의 정보에 기초하여 결정되는, 상기 보간 필터들의 서브세트를 결정하는 것;
    상기 보간 필터들의 서브세트로부터 보간 필터를 결정하는 것; 및
    상기 코딩 유닛을 재구성하기 위해 상기 참조 프레임 및 상기 보간 필터를 사용하는 것을 포함하는, 컴퓨터 판독가능 저장 매체.
  35. 비디오 데이터를 디코딩하기 위한 장치로서,
    인코딩된 비디오 비트스트림을 획득하는 수단;
    상기 인코딩된 비디오 비트스트림으로부터 현재 프레임에서의 코딩 유닛에 대한 참조 프레임을 결정하는 수단;
    보간 필터들의 세트로부터 보간 필터들의 서브세트를 결정하는 수단으로서, 상기 보간 필터들의 서브세트는 상기 코딩 유닛과 연관된, 상기 인코딩된 비디오 비트스트림 내의 정보에 기초하여 결정되는, 상기 보간 필터들의 서브세트를 결정하는 수단;
    상기 보간 필터들의 서브세트로부터 보간 필터를 결정하는 수단; 및
    상기 코딩 유닛을 재구성하기 위해 상기 참조 프레임 및 상기 보간 필터를 사용하는 수단을 포함하는, 비디오 데이터를 디코딩하기 위한 장치.
KR1020197009531A 2016-10-05 2017-10-05 보간 필터를 스위칭하는 시스템 및 방법 KR102546383B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662404749P 2016-10-05 2016-10-05
US62/404,749 2016-10-05
US15/724,155 US10341659B2 (en) 2016-10-05 2017-10-03 Systems and methods of switching interpolation filters
US15/724,155 2017-10-03
PCT/US2017/055390 WO2018067848A1 (en) 2016-10-05 2017-10-05 Systems and methods of switching interpolation filters

Publications (2)

Publication Number Publication Date
KR20190059282A true KR20190059282A (ko) 2019-05-30
KR102546383B1 KR102546383B1 (ko) 2023-06-22

Family

ID=61759166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009531A KR102546383B1 (ko) 2016-10-05 2017-10-05 보간 필터를 스위칭하는 시스템 및 방법

Country Status (9)

Country Link
US (1) US10341659B2 (ko)
EP (1) EP3523966A1 (ko)
JP (2) JP7317703B2 (ko)
KR (1) KR102546383B1 (ko)
CN (2) CN116347075A (ko)
BR (1) BR112019006882A2 (ko)
SG (1) SG11201901631SA (ko)
TW (1) TWI775780B (ko)
WO (1) WO2018067848A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701402B2 (en) * 2017-10-02 2020-06-30 Arris Enterprises Llc System and method for reducing blocking artifacts and providing improved coding efficiency
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
US10582212B2 (en) * 2017-10-07 2020-03-03 Google Llc Warped reference motion vectors for video compression
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
WO2019139309A1 (ko) * 2018-01-15 2019-07-18 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
PT3834415T (pt) * 2018-09-07 2023-11-07 Huawei Tech Co Ltd Método e aparelho para filtragem de interpolação para predição intra e inter em codificação de vídeo
KR20210071958A (ko) * 2018-09-21 2021-06-16 브이아이디 스케일, 인크. 양방향 옵티컬 플로우를 위한 복잡도 감소 및 비트 폭 제어
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
EP3861731A4 (en) 2018-11-05 2021-11-24 Beijing Bytedance Network Technology Co. Ltd. INTERPOLATION TO INTERPRDICTION WITH REFINEMENT
MX2021007537A (es) * 2018-12-21 2021-09-28 Huawei Tech Co Ltd Metodo y aparato de filtrado de interpolacion para la codificacion predictiva.
CN113196753B (zh) 2018-12-28 2023-05-12 华为技术有限公司 用于预测译码的插值滤波锐化方法和装置
WO2020146505A1 (en) * 2019-01-08 2020-07-16 Tencent America LLC Method and apparatus for memory bandwidth reduction for small inter blocks
US11394999B2 (en) * 2019-03-11 2022-07-19 Alibaba Group Holding Limited Method, device, and system for determining prediction weight for merge mode
WO2020182965A1 (en) * 2019-03-12 2020-09-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoders, decoders, methods, and video bit streams, and computer programs for hybrid video coding
US11178415B2 (en) * 2019-03-12 2021-11-16 Tencent America LLC Signaling of CU based interpolation filter selection
CN113711589B (zh) * 2019-04-01 2022-10-25 北京字节跳动网络技术有限公司 帧间编解码模式中的二分之一像素插值滤波器
JP7239732B2 (ja) 2019-04-02 2023-03-14 北京字節跳動網絡技術有限公司 双方向オプティカルフローに基づく映像符号化及び復号化
JP7319386B2 (ja) 2019-04-19 2023-08-01 北京字節跳動網絡技術有限公司 異なる動きベクトル微調整における勾配計算
WO2020211867A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
KR20220006055A (ko) * 2019-05-11 2022-01-14 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 다중 인트라 코딩 방법 사이의 상호 작용
US11076169B2 (en) * 2019-05-14 2021-07-27 Qualcomm Incorporated Switchable interpolation filtering (SIF) for video coding
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
CN114503596B (zh) * 2019-06-05 2023-12-29 北京字节跳动网络技术有限公司 运动矢量细化和其他编解码工具之间的相互作用
CN114503564A (zh) * 2019-08-05 2022-05-13 Lg电子株式会社 使用运动信息候选的视频编码/解码方法和设备及发送比特流的方法
KR102635319B1 (ko) 2019-08-20 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 프로세싱에서 대안적 보간 필터들의 선택적 사용
EP4018668A4 (en) * 2019-08-23 2023-06-21 Samsung Electronics Co., Ltd. INTRA PREDICTION METHOD AND DEVICE USING IT, ENCODING AND DECODE METHOD AND DEVICE USING IT BASED ON INTRA PREDICTION
US11375222B2 (en) * 2019-09-22 2022-06-28 Tencent America LLC Method and device for video encoding and decoding with interpolation filter flag being consistent with MMVD distances
CN113596457A (zh) * 2019-09-23 2021-11-02 杭州海康威视数字技术股份有限公司 编解码方法方法、装置及设备
CN112204977A (zh) * 2019-09-24 2021-01-08 北京大学 视频编解码方法、装置和计算机可读存储介质
CN113259669B (zh) * 2021-03-25 2023-07-07 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质
CN113726406B (zh) * 2021-08-25 2022-06-21 中国电子科技集团公司第五十四研究所 一种基于分组编码的频点可变的多速率Ku通信发射装置
WO2023200381A1 (en) * 2022-04-12 2023-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Enhanced interpolation filtering
CN116962706A (zh) * 2022-04-15 2023-10-27 华为技术有限公司 图像解码方法、编码方法及装置
WO2023241634A1 (en) * 2022-06-18 2023-12-21 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2024080905A1 (en) * 2022-10-13 2024-04-18 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for enhanced interpolation filtering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230407A1 (en) * 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
WO2013184954A2 (en) * 2012-06-08 2013-12-12 Qualcomm Incorporated Adaptive upsampling filters

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3861698B2 (ja) * 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
MXPA05000335A (es) * 2002-07-09 2005-03-31 Nokia Corp Metodo y sistema para seleccionar tipo de filtro de interpolacion en codificacion de video.
US20070195887A1 (en) * 2004-09-29 2007-08-23 Comer Mary L Method and apparatus for reduced resolution update video coding and decoding
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US20090257499A1 (en) * 2008-04-10 2009-10-15 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
CN102037732B (zh) * 2009-07-06 2013-03-27 联发科技（新加坡）私人有限公司 一种执行单循环自适应内插滤波的方法、编码器和译码器
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP2011135184A (ja) * 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP5439162B2 (ja) * 2009-12-25 2014-03-12 株式会社Ｋｄｄｉ研究所 動画像符号化装置および動画像復号装置
US20110200108A1 (en) * 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
KR101682147B1 (ko) 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US20110243222A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
US9154807B2 (en) * 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
JP5670226B2 (ja) * 2011-03-04 2015-02-18 Kddi株式会社 動画像符号化装置、動画像符号化方法、およびプログラム
JP5649523B2 (ja) * 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
KR101692516B1 (ko) * 2012-07-09 2017-01-03 브이아이디 스케일, 인크. 파워 인식 비디오 디코딩 및 스트리밍
MX356497B (es) * 2014-03-14 2018-05-31 Vid Scale Inc Sistemas y metodos para una mejora de codificacion de video rgb.
WO2016072722A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 영상 특성을 반영한 보간 필터를 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230407A1 (en) * 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
WO2013184954A2 (en) * 2012-06-08 2013-12-12 Qualcomm Incorporated Adaptive upsampling filters

Also Published As

Publication number Publication date
CN116347075A (zh) 2023-06-27
CN109792524A (zh) 2019-05-21
TW201826791A (zh) 2018-07-16
JP2019535198A (ja) 2019-12-05
JP7317703B2 (ja) 2023-07-31
BR112019006882A2 (pt) 2019-06-25
US10341659B2 (en) 2019-07-02
TWI775780B (zh) 2022-09-01
EP3523966A1 (en) 2019-08-14
SG11201901631SA (en) 2019-04-29
CN109792524B (zh) 2023-04-04
KR102546383B1 (ko) 2023-06-22
US20180098066A1 (en) 2018-04-05
WO2018067848A1 (en) 2018-04-12
JP2023100713A (ja) 2023-07-19

Similar Documents

Publication Publication Date Title
KR102546383B1 (ko) 보간 필터를 스위칭하는 시스템 및 방법
US11051034B2 (en) History-based motion vector predictor
US10404992B2 (en) Methods and systems of restricting bi-prediction in video coding
US11323712B2 (en) Chroma quantization parameter (QP) offset
US20180270500A1 (en) Affine motion information derivation
US11563933B2 (en) Reference picture resampling with switchable filters
JP2019514292A (ja) ビデオコーディングにおけるコロケート参照インデックスのための適合制約
US20200186830A1 (en) Interaction of illumination compensation with inter-prediction
US11917174B2 (en) Decoded picture buffer (DPB) operations and access unit delimiter (AUD)
KR20230123949A (ko) 인핸스드 보간 필터들을 사용한 인트라 예측
US20220201329A1 (en) Intra prediction using enhanced interpolation filters

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant