KR20200134318A - 비디오 인코딩 및 디코딩 - Google Patents

비디오 인코딩 및 디코딩 Download PDF

Info

Publication number
KR20200134318A
KR20200134318A KR1020207031532A KR20207031532A KR20200134318A KR 20200134318 A KR20200134318 A KR 20200134318A KR 1020207031532 A KR1020207031532 A KR 1020207031532A KR 20207031532 A KR20207031532 A KR 20207031532A KR 20200134318 A KR20200134318 A KR 20200134318A
Authority
KR
South Korea
Prior art keywords
parameter
motion
sample
parameters
inferred
Prior art date
Application number
KR1020207031532A
Other languages
English (en)
Inventor
마테오 나카리
마르타 므락
사베리오 브라시
안드레 세이샤스 디아스
Original Assignee
브리티쉬브로드캐스팅코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브리티쉬브로드캐스팅코퍼레이션 filed Critical 브리티쉬브로드캐스팅코퍼레이션
Publication of KR20200134318A publication Critical patent/KR20200134318A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 비트스트림을 디코딩하는 방법에 관한 것이고, 상기 방법은 다음 단계를 포함한다: 다음을 나타내는 비트스트림을 수신하는 단계: 이미지 샘플로부터 인코더 필터링된 모션 보상 예측 샘플을 감산하여 생성된 잔여 샘플; 및 상기 모션 보상 예측 샘플을 형성하는데 사용된 모션 벡터; 인코더 필터링 프로세스는 적어도 하나의 파라미터를 가진 인코더에서 모션 보상 예측 샘플에 대해 수행됨; 상기 모션 벡터를 사용하여 사전에 재구성된 이미지로부터 모션 보상 예측 샘플을 제공하는 단계; 상기 적어도 하나의 파라미터에 따라 상기 모션 보상 예측 샘플을 디코더 필터링하는 단계; 및 상기 필터링된 모션 보상 예측 샘플을 상기 잔여 샘플에 추가하여 이미지를 재구성하는 단계. 이러한 방법에 대응하는 시스템 및 장치 또한 개시된다.

Description

비디오 인코딩 및 디코딩
본 발명은 비디오 인코딩 및 디코딩에 관한 것으로 특히, 모션 보상 예측이 사용되는 경우의 비디오 인코딩 및 디코딩에 관한 것이다.
현재 프레임으로부터 선행(또는 후속) 프레임에 기반한 예측을 감산하여 잔여물(residual)을 형성하는 것은 비디오 인코딩에서 잘 알려진 원리이다. 이러한 소위 "인터(inter)" 코딩 기술에서, 코딩의 효율성은 예측이 모션 보상됨을 필요로 한다. 시간적으로 간격을 둔 프레임에서 대응하는 블록들 사이의 모션 벡터는 인코더에서 측정되어 비트스트림으로 디코더에 전달된다. 거기에서, 디코딩된 모션 벡터는 사전에 디코딩된 프레임으로부터 모션 보상 예측을 유도하는데 사용되며, 이는 그 후에 디코딩된 잔여물에 추가된다.
인코딩될 비디오가 모션 블러(motion blur)를 포함하는 상황, 다시 말해, 기본 장면(underlying scene)의 모션이 카메라 셔터 조리개 내 변위가 상당할 만큼 충분히 빠른 상황에서 어려움이 발생했다. 이 현상은 카메라 셔터의 전체 조리개에 대해 원본 이미지에 적용된 저역 통과 필터로 모델링될 수 있다는 것은 잘 알려져 있다. 병진 모션을 가정하면 모션 블러 필터의 임펄스 응답은 수평 및 수직 방향을 따라 모션 성분에 비례한다. 그러므로, 주어진 프레임에서 모션 블러가 발생하면 각 코딩 블록에 대해 모션 보상에 (디코더에 의해) 사용되는 참조 프레임은 현재 블록의 더 선명한 버전을 포함할 것이다. 전체적인 결과는 참조 프레임의 더 선명한 에지가 여전히 잔여물에 존재하여 더 넓은 스펙트럼 및 덜 효율적인 인코딩을 초래할 것이라는 점이다.
이 문제를 해결하기 위한 한 가지 시도는 모션 벡터를 측정하기 전에 "더 선명한" 프레임에 블러링(blurring) 필터를 적용하는 것이 제안된 미국 특허 출원 2006/0171569에서 논의되었다. 그 후, 모션 벡터가 모션 블러링된 프레임의 블록과 (선명한 프레임이기보다는 오히려) 합성적으로 블러링된 프레임의 대응하는 블록 사이에서 식별될 것이기 때문에, 잔여물이 더 적은, 더 나은 모션 보상 예측이 예상된다. 이제 인코더가 모션 보상 예측을 형성하는데 사용하기 위해 다수의 상이한 프레임으로부터 선택되도록 하는 것이 일반적이며, 인코더가 선택되는 프레임 목록에 합성적으로 블러링된 프레임이 포함된다는 것이 US2006/0171569에서 제안되었다. 블러링된 프레임의 사용은 디코더에 시그널링되며, 인코더에 의해 사용되는 블러링 필터 형태의 옵션이 있을 수 있기 때문에, 사용된 블러링 필터에 대한 정보를 디코더에 제공하는 것도 필요하다.
이러한 종래 기술의 블러링 필터 사용에는 몇 가지 이점이 있지만, 개선의 여지가 있다.
일 관점에 따라서, 비디오 비트스트림을 디코딩하는 방법은 다음 단계를 포함한다: 다음을 나타내는 비트스트림을 수신하는 단계: 이미지 샘플로부터 인코더 필터링된 모션 보상 예측 샘플을 감산하여 생성된 잔여 샘플; 및 상기 모션 보상 예측 샘플을 형성하는데 사용된 모션 벡터; 인코더 필터링 프로세스는 적어도 하나의 파라미터를 가진 인코더에서 모션 보상 예측 샘플에 대해 수행됨; 상기 모션 벡터를 사용하여 사전에 재구성된 이미지로부터 모션 보상 예측 샘플을 제공하는 단계; 상기 적어도 하나의 파라미터에 따라 상기 모션 보상 예측 샘플을 디코더 필터링하는 단계; 및 상기 필터링된 모션 보상 예측 샘플을 상기 잔여 샘플에 추가하여 이미지를 재구성하는 단계.
유리하게, 상기 방법은 인코더 필터링 프로세스의 적어도 하나의 파라미터를 추론하기 위해 모션 보상 예측 샘플(또는 사전에 재구성된 이미지)을 분석하는 단계를 포함하고, 상기 모션 보상 예측 샘플을 디코더 필터링하는 단계는 상기 추론된 적어도 하나의 파라미터에 따라 수행된다.
또 다른 관점에서, 비디오를 인코딩하는 방법은 다음 단계를 포함한다: 모션 벡터 및 재구성된 이미지를 사용하여 모션 보상 예측 샘플을 형성하는 단계; 상기 모션 보상 예측 샘플에 대해 인코더 필터링 프로세스를 수행하는 단계; 이미지 샘플로부터 모션 보상 예측 샘플을 감산하여 잔여 샘플을 형성하는 단계; 및 잔여 샘플, 모션 벡터 및 옵션으로 인코더 필터링 프로세스의 적어도 하나의 파라미터를 나타내는 비트스트림을 형성하는 단계
유리하게, 상기 방법은 인코더 필터링 프로세스의 적어도 하나의 파라미터를 결정하기 위해 모션 보상 예측 샘플(또는 사전에 재구성된 이미지)을 분석하는 단계를 더욱 포함한다.
바람직하게, 상기 분석하는 단계는 인코더 필터링 프로세스에서 임의의 이방성의 존재 또는 세부 사항과 관련된 파라미터 또는 파라미터들을 추론하기 위해 모션 보상 예측 샘플 또는 사전에 재구성된 이미지에서 임의의 우세한 방향의 존재를 결정하는 단계를 포함한다.
인코더 및 디코더 필터링은 블록 또는 다른 세트의 모션 보상 예측 샘플에서, 현재 모션 보상 예측 샘플 및 이웃하는 모션 보상 예측 샘플로부터의 가중 기여도를 정의하는 필터 애퍼처(filter aperture)를 사용할 수 있다. 상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 필터 애퍼처의 이방성과 관련될 수 있으며, 그리고 필터 애퍼처의 등방성 또는 이방성을 나타내는 이진 플래그일 수 있고/있거나, 이방성 필터 애퍼처의 우세한 방향, 바람직하게는 한 세트의 양자화된 방향 중 하나를 나타낼 수 있다. 상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 상기 필터 애퍼처에서 다수의 샘플 및/또는 현재 모션 보상 예측 샘플의 기여도의 가중치를 나타낼 수 있다.
또 다른 관점에서, 비디오 비트스트림을 디코딩하는 방법은: 다음을 나타내는 비트스트림을 수신하는 단계: 이미지 샘플로부터 모션 보상 예측 샘플을 감산하여 생성된 잔여 샘플; 및 상기 모션 보상 예측 샘플을 형성하는데 사용된 모션 벡터; 적어도 하나의 파라미터를 가진 인코더에서 수행되는 인코더 필터링 프로세스; 상기 모션 벡터를 사용하여 사전에 재구성된 이미지 샘플로부터 모션 보상 예측 샘플을 제공하는 단계; 및 상기 모션 보상 예측 샘플을 상기 잔여 샘플에 추가하여 이미지를 재구성하는 단계;를 포함하며, 다음을 특징화한다: 상기 인코더 필터링 프로세스의 적어도 하나의 파라미터를 추론하기 위해 디코더에서 분석을 수행하는 단계; 및 상기 추론된 적어도 하나의 파라미터에 따라서, 그리고 옵션으로 비트스트림에 나타난 적어도 하나의 파라미터에 따라서 상기 모션 보상 예측 샘플 또는 상기 사전에 재구성된 이미지 샘플을 디코더 필터링하는 단계.
유리하게, 상기 분석 단계는 인코더 필터링 프로세스에서 임의의 이방성과 관련된 파라미터 또는 파라미터들을 추론하기 위해 샘플 어레이에서 임의의 우세한 방향의 존재 및/또는 방향을 결정하는 단계를 포함한다.
또 다른 관점에서, 비디오 비트스트림을 인코딩하는 방법은: 모션 벡터 및 재구성된 이미지 샘플을 사용하여 모션 보상 예측 샘플을 형성하는 단계; 모션 보상 예측 샘플을 이미지 샘플로부터 감산하여 잔여 샘플을 형성하는 단계; 및 잔여 샘플 및 모션 벡터를 나타내는 비트스트림을 형성하는 단계;를 포함하며, 다음을 특징화한다: 비트스트림에 나타나지 않은 인코더 필터링 프로세스의 적어도 하나의 파라미터를 결정하기 위해 분석을 수행하는 단계; 및 상기 적어도 하나의 파라미터에 따라서 상기 모션 보상 예측 샘플 또는 상기 사전에 재구성된 이미지 샘플을 인코더 필터링하는 단계.
유리하게, 상기 분석하는 단계는 임의의 이방성과 관련된 파라미터 또는 파라미터들을 결정하기 위해 샘플 어레이에서 임의의 우세한 방향의 존재 및/또는 방향을 결정하는 단계를 포함한다.
상기 샘플 어레이는 모션 보상 예측 샘플 또는 사전에 재구성된 이미지를 포함할 수 있다.
인코더 또는 디코더 필터링은 블록 또는 다른 세트의 샘플에서, 현재 샘플 및 이웃하는 샘플로부터의 가중 기여도를 정의하는 필터 애퍼처를 사용할 수 있고, 상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 필터 애퍼처의 이방성과 관련되고, 필터 애퍼처의 등방성 또는 이방성을 나타내는 이진 플래그일 수 있다. 상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 이방성 필터 애퍼처의 우세한 방향, 바람직하게는 한 세트의 양자화된 방향 중 하나를 나타낼 수 있다. 상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 상기 필터 애퍼처에서 다수의 샘플 및/또는 현재 모션 보상 예측 샘플의 기여도의 가중치를 나타낼 수 있다.
프로그램 가능한 장치가 이들 방법 중 어느 하나를 구현하도록 적응된 컴퓨터 프로그램 제품이 제공될 수 있다.
이들 방법 중 어느 하나를 따른 방법을 구현하도록 구성된 장치가 제공될 수 있다.
본 발명은 첨부된 도면을 참조하여 예시로서 설명될 것이며, 여기에서:
도 1은 인코더의 블록도이다;
도 2는 사용될 수 있는 필터 커널의 표를 나타낸다;
도 3은 이미지의 GDD(gradient dominant direction)를 검출하는 방법을 나타낸다; 그리고
도 4는 디코더의 블록도이다.
도 1에는, 변환(14), 양자화(quantised, 16) 및 엔트로피 코딩(18)되는 잔여물을 제공하여 인코딩된 비트스트림을 형성하기 위해 모션 보상 예측이 현재 프레임으로부터 감산되는 인코더가 도시된다. 변환(14) 및 양자화(16) 후에, 현재 입력 프레임은 역 양자화(42) 및 역 변환(44)을 겪는다(당업계에 공지된 바와 같이). 결과 프레임은 디코더에서 얻을 수 있는 프레임이다; 그 후 이는 차후 프레임에 대한 기본 프레임으로서 사용될 수 있다. 이러한 프레임은 현재 MC 예측 프레임과 결합되어 차후 프레임에 대한 적합한 모션 보상 예측이 결정될 수 있는 참조 프레임(디코딩된 픽처(picture) 버퍼(46))을 얻는다.
차후 입력 프레임이 수신될 때, 이 차후 입력 프레임은 (디코딩된 픽처 버퍼(46)로부터의) 참조 프레임과 결합되어 모션 추정(48)을 얻는다. 이는 참조 프레임 내의 블록을(차후) 입력 프레임 내의 대응하는 블록에 맵핑하기에 적합한 모션 벡터를 결정한다. (디코딩된 픽처 버퍼(46)으로부터의) 참조 프레임 및 모션 추정(48)으로부터의 벡터는 그 후에 모션 보상 예측(12)을 얻기 위해 사용된다.
최적 MC 예측은 그 후에 차후 입력 프레임으로부터 감산되어, 변환(14), 양자화(16), 엔트로피 인코딩(18) 및 전송되는 잔여물을 형성한다.
이 정도까지, 도 1의 인코더는 기존 방식이다.
본 개시의 일 관점에 따르면, 모션 보상 예측은 대안적인, 평활화된 모션 보상 예측을 제공하는 평활화 필터로 전달된다.
이로써, 하이브리드 모션 보상 예측 비디오 인코더의 일반적인 블록도가 평활화 필터의 추가를 통해 변형된다. 평활화 필터는 대체 예측자 PMCPS를 얻기 위해 예측자(P)(모션 보상에 의해 제공됨)에 대해 동작한다. 적용된 평활화가 모든 코딩 블록에 유익하지 않을 수 있다는 점을 감안할 때, 예를 들어 P는 이미 좋은 코딩 효율성을 제공하기 때문에, 플래그는 올바른 디코딩을 위해 비트스트림에 존재되어야 할 필요가 있다. 그러므로, 각 코딩 블록에 대한 인코더 측에서는 잔여물이 평활화로, 그리고 평활화 없이 계산되고, 비율 왜곡 라그랑지안(Lagrangian) 비용을 최소화하는 모드가 결국 선택된다. 인코더 워크플로의 이러한 관점의 단계는 - 효율성을 위해 - MCPS가 평활화 프로세스를 나타내는 의사 코드(pseudo code)를 사용하여 아래에 설명된다.
Figure pct00001
평활화 프로세스는 어떤 샘플이 출력에 기여하고 어떤 가중치를 사용하는지 정의하는 애퍼처 또는 커널(kernel)을 가진 공간 필터로 표현될 수 있다.
일 예시에서, 평활화 프로세스 MCPS는 두 타입의 MA(Mobile Average)- 유사(like) ?] 및 대칭 커널을 사용한다. 제 1 타입은 2D 및 십자 형상의 필터인 반면, 제 2 타입은 4 방향: 수평, 수직, 45도 및 135도를 따라 적용된 1D 필터에 대응한다. 다른 크기, 이뿐 아니라 다른 필터 및 다른 방향도 사용할 수 있다. 제 1 타입의 필터가 수평 및 수직 차원을 따라 동작하는 2D 필터이기 때문에, 이는 이하에서 등방성으로 표시될 것인 반면, 제 2 타입의 커널은 이하에서 지향성으로 표시된다. 상기에서 언급된 바와 같이, 블러의 양은 상이한 이미지 영역의 모션 활동에 따라 다르다. 이에 따라서, 사용되는 상이한 커널의 크기는 코딩 효율성을 추가로 향상시키기 위해 다양할 수 있다. MCPS 방법 경우, 커널에 대한 2 가지 예시 크기가 사용된다: 3 및 5, 여기서 색도 성분(chroma component)은 크기 3 만을 사용한다. 전체적으로 MCPS에 명시된(예시적인) 커널은 도 2에서 나열된다.
평활화는, 각 커널의 이득이 64가 되도록 하는 6 비트 내부 정밀도로 정수 산술(integer arithmetic)을 사용한다. 이 예시에서는 내부 정확도에 대한 6 비트 값이 모션 보상을 위해 HEVC에 명시된 커널 계수를 나타내는데 사용되는 동일한 정밀도와 일치하도록 선택되었음을 유의해야 한다. 다른 값은 향후 표준에 적당할 수 있다.
총 8 개의 상이한 커널이 있으며 인코더가 레이트 왜곡 최적화(rate distortion optimisation) 중에 최상의 모드에 대한 철저한 검색을 수행하려는 경우, 결과 잔여물의 8 개의 전체 인코딩은 평활화가 없는 경우와 더불어 평가되어야 한다. 그러나, 결과적으로 복잡성이 일부 응용 적용에서는 엄청날 수 있다. 계산 부담을 완화하고/하거나 아래에 설명된 이점을 제공하기 위해, 이 예시에 따른 인코더는 필터 타입(즉, 등방성 또는 지향성) 및 관련 크기(즉, 3 또는 5) 중에서만 선택된다. 나머지 파라미터, 다시 말해, 지향성은 우세한 방향을 식별하기 위해 - 이 경우에 - 모션 보상 예측의 예비 분석을 통해 결정된다. 이는 기울기(gradients)를 측정 및 분석하여 수행될 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 지향성 평활화가 선택될 때, 커널이 적용되어야 하는 방향은 예측자 블록 P에 대한 GDD(Gradient Dominant Direction)를 기반으로 하여 결정된다. GDD는 4 개의 명시된 방향(즉, 수평, 수직, 대각선 45 및 대각선 135) 중에서, 주어진 모션 보상 예측자 P에 속하는 모든 샘플에 걸쳐 가장 많이 발생한 방향으로 정의된다. 크기가 N × N인 예측자를 가정하면, 3 × 3 소블(Sobel) 연산자가 모든 샘플 P(x, y)에 걸쳐 적용되고(32), 이 경우 x, y = 1,…,N-1이다. 연산자는 P의 4 개의 외부 경계(즉, 위쪽, 아래쪽, 왼쪽 및 오른쪽)에 대해 바람직하게 계산되지 않고, 그 결과 패딩(padding)이 회피되고 4 × N - 4 연산이 생략될 수 있다. 연산자는 Gx 및 Gy를 얻기 위해 수평 및 수직 둘 다로 적용된다. 기울기 벡터가 가리키고 있는 방향은 다음과 같이 수평으로 각도 α를 형성한다:
Figure pct00002
이 경우, 기호 '-'는 데카르트(Cartesian) 2D 평면에 관한(w.r.t) 이미지에 사용된 상이한 참조 시스템을 설명한다. arctan 함수는 정수 산술 및 10 비트 정밀도로 근사화된다. 각도 α는 그 후에 45 도의 양자화 단계 및 22.5 도로 설정된 데드-존 범위를 사용하여 상술된 방향으로 균일하게 양자화된다(34). 양자화(34) 후에, 4 개의 빈(bin) 히스토그램이 계산되고(36), GDD는 히스토그램의 피크에 의해 결정된다(38). 도 3에 표시된 예시의 경우, 수평 방향이 지배적인 것으로 선택된다.
지향성 및 가변 크기 커널의 도입으로, 상기에 제시된 일반적인 워크플로는 다음과 같이 확장된다:
Figure pct00003
Figure pct00004
디코더 측에서 시그널링된 메타 데이터는 평활화 적용 여부에 대한 정보를 명시하고, 이 같은 경우라면 어떤 타입 및 크기가 선택되었는지를 명시한다. HEVC 예시에서, 메타데이터는 CU(Coding Unit) 단위로 전송될 수 있으며, 세 가지 색상 성분을 참조할 수 있다: 따라서, MCPS가 사용되는 메타데이터 신호라면, 이는 Y, Cb 및 Cr에 적용될 것이다. MCPS와 연관된 정보는 표 1에서 다음과 같이 표시된 세 개의 이진 플래그로 전달된다:
Figure pct00005
표 1: MCPS에 의해 요구되는 메타 데이터를 시그널링하기 위한 플래그
HEVC 예시에서, 각 플래그는 플래그 당 하나의 콘텍스트(context)를 사용하여 CABAC로 코딩된다. 마지막으로, MCPS 사용은 SPS(Sequence Parameter Set) 및 슬라이드 헤더(slide header) 둘 다에서 신호를 받을 수 있다. 슬라이스 레벨 플래그는 MCPS가 SPS 레벨에서 인에블이된 경우에만 전송된다. 슬라이스 레벨 플래그의 값은 그 슬라이스에 속한 모든 CTU의 압축이 완료된 후에 결정된다. 어떠한 CU도 1인 플래그 use_mcps_flag를 가지지 않은 경우, 슬라이스 헤더 플래그는 0 또는 1로 설정된다. 슬라이스 레벨 플래그의 값이 RDO 관점에서 결정되어야 하지만 이는 인코더 복잡성 측면에서 금지될 수 있는 슬라이스를 두 번 압축해야 한다는 점에 주목할 가치가 있다. 통상의 기술자는 특히 미래 표준의 콘텍스트에서 상이한 시그널링 기술이 사용될 수 있음을 이해할 것이다.
정수 산술 및 짧은 크기의 커널을 사용하는 경우, MCPS가 가져 오는 추가적인 복잡성 - 핵심 MCPS 알고리즘에 필요한 프로세싱 - 은 상당히 제한적이다.
디코더에서, 예를 들어 도 4에 도시된 바와 같이, 대응하는 평활화 필터(64)는 역 양자화 및 역 변환된 잔여물 추가에 대한 대안적인, 평활화된 예측을 제공하기 위해 모션 보상 예측(62)에 대해 동작한다.
디코더는 설명된 이진 플래그로부터 다음을 결정한다: 평활화가 사용되어야 하는지 여부; 필터가 등방성인지 지향성인지 여부; 및 필터 크기. 그러나 지향성 평활화 필터를 사용하는 경우에, 디코더는 사용될 필터의 방향을 추론할 수 있다. 이는 모션 보상 예측에 본질적으로 동일한 GDD 프로세스를 적용하여 달성된다.
디코더에서 약간의 복잡성이 증가하는 경우 이 기술에 의해 비트스트림에 부과되는 오버헤드가 이 예시에서 세 개의 이진 플래그로 제한된다는 중요한 이점이 달성된다.
필터링의 방향은 더 많은 수의 필터 커널을 사용하여 더 세밀하게 정량화될 수 있음을 이해할 수 있을 것이다. 필터링의 방향이 비트스트림에서 시그널링되기보다는 오히려 디코더에서 추론되기 때문이다.
변형 시에, 다른 필터 파라미터는 인코더에서의 측정에 의해 추론 또는 결정되고 그 후에 디코더에서 추론될 수 있고, 이로써 비트스트림에서 시그널링되기에 필요한 정보의 양을 더욱 줄일 수 있다.
예를 들어, GDD 프로세스와 유사한 프로세스는 샘플의 이방성 정도를, 이로써 등방성 또는 지향성 필터가 사용될 여부를 결정하는데 사용될 수 있다. 보다 구체적으로, 설명된 히스토그램이 사용되어 사용할 필터 타입을 추론할 수 있다. 사용할 필터 타입을 추론하기 위해 디코더에서 유사한 프로세스가 수행된다.
또 다른 예시에서, 사용할 필터의 크기는: 시퀀스의 공간 해상도; 필터의 방향; 또는 기울기 방향의 히스토그램 - 특히 방향의 상대적인 양을 기반으로 할 수 있다.
사용된 필터의 수 및 품질은 예를 들면: 추가 방향을 포함하고 더 복잡한 커널 형상을 포함하기 위해 확장될 수 있다. 계수의 가중치, 특히 필터 커널의 중심 계수는 예를 들어: 콘텐츠의 시각적 특성에 따라서 선택될 수 있다.
적당한 경우에, 디코더는 인코딩된 필터링 프로세스의 모든 관련 파라미터(존재 포함)를 추론할 수 있다. 그러면 파라미터가 비트스트림에 표시될 필요가 없다.
특히 계산 자원이 제한된 경우, 유용한 적용을 가질 수 있는 다른 변형이 있다. 물론 그러한 제한은 보다 일반적으로 디코더에 적용될 것이다.
예를 들어: MCPS가 모션 보상에 캐스케이딩된(cascaded) 추가 필터링이라는 점을 고려할 때, 연관된 커널을 컨볼빙하여 모션 보상 및 평활화 둘 다를 결합할 가능성이 있다고 가정할 수 있다. 특히, 다수 별개의 상이한 MCPS 모드가 있다는 점을 고려할 때, 미리 계산된 일부 커널은 메모리에 저장된 다음 나중에 사용할 수 있다. 그러나, 사전 섹션으로부터의 설명에 의해, 그리고 도 1을 참조하면 지향성 필터링의 경우, 모션 보상 후 얻은 샘플에 대해 GDD가 계산되기 때문에, 모션 보상및 MCPS가 함께 결합될 수 없음을 유의할 수 있다. 이 인터리빙 종속성(interleaving dependency)을 해결하기 위해, MCPS는 정수 픽셀 모션 벡터 정확도를 가정하여 얻은 프레임 - 그리고 서브 픽셀 보간을 사용하여 얻은 프레임은 안됨 - 을 예측자(P)로 사용될 수 있다. 그 후, 평활화 및 서브 픽셀 모션 보상은 연관된 커널을 컨볼빙하여(convolving) 결합된다. 이 경우 GDD는 정수 정밀도 모션 보정 후 그러나 서브-픽셀 모션 보상이 적용되기 전에 이용 가능할 수 있으므로 PMCPS는 하나의 단일 필터링 단계 이후에 이용 가능할 수 있다.
인코더에서, GDD 프로세스는 그 후 평활화 필터로부터 분리되어 디코딩된 픽처 버퍼의 출력에서 동작할 것이다. 유사하게, 디코더에서, GDD 프로세스는 사전에 디코딩된 픽처에서 동작할 것이다.
현재 및 제안된 표준이 참조 프레임, 이뿐 아니라 모션 벡터의 블록 선택에 의한 볼록을 허용함을 인식할 것이다. 이로써, MCPS는 각각의 모션 벡터 또는 각각의 모션 벡터 및 참조 프레임 결합에 대해 개별적으로 수행될 수 있다.
다양한 다른 수정이 통상의 기술자에게 명백하고, 예를 들어, 발명의 상세한 설명이 주로 블러링에 사용되는 방법을 고려했지만, 이 방법은 또한 디-블러링(de-blurring) 프레임에도 사용될 수 있다. 이는 GDD보다는 오히려 알려진 블러 검출 기술, 및 평활화 필터보다는 오히려 디-블러링 필터의 사용을 수반할 수 있다. 보다 일반적으로, 본 발명은 임의의 이미지 세트 내의 잔여물을 감소시키는데 유용할 수 있고, 소정의 효과는 이미지 중 하나에만 존재한다.
방법의 확장, 예를 들어, 디-블러링을 위한 사용은 전송된 플래그의 변경을 수반할 수 있으며, 적용될 필터에 의존하여 상이한 플래그가 전송될 수 있다. 디-블러링 예시에 대응하여, 다음에 대한 플래그의 선택이 있을 수 있다: 필터 없음; 블러링 필터; 디-블러링 필터(물론, 이는 추가 플래그를 포함하도록 확장될 수 있음). 필터 적용의 특징, 예를 들어 기울기 우세 방향의 계산은 전송 비용을 최소화하기 위해 디코더에 의해 변함없이 계산될 수 있다.
대안적으로, 적용될 필터의 타입은 필터링되는 이미지로부터 추론될 수 있고, 예를 들어, 블러링된 이미지는 적용된 디-블러링 필터를 초래할 수 있다. 특이한 필터가 적용될 때 - 그 예로 이미 블러링된 이미지에 블러링 필터를 사용함 - 만 설정되는 플래그가 있을 수 있다.
필터는 또한 과거 데이터(historical data)에 의존할 수 있는데, 예를 들어, 필터가 사전 블록 또는 프레임에 적용된 경우, 적용된 필터의 방향 또는 크기가 그에 따라 선택될 수 있다.
이 문헌에 설명된 평활화 및 관련 결정은 인코딩 루프 동안 임의의 레벨의 세분성에 적용될 수 있으며, 코딩 단위 또는 예측 단위(HEVC 표준의 경우) 또는 다른 가능한 향후 표준의 임의의 종류의 파티션일 수 있다는 점을 주목해야 한다.
지금까지 본 개시에서 모션 보상 예측을 평활화 또는 다른 필터링에 초점을 맞추고 있지만, 광범위한 필터들 사이에서 선택할 능력은 - 비트스트림에 가해지는 시그널링 부담의 상응하는 증가없이 - 예를 들어 US2006/0171569에 나타난 바와 같이 모션 보상에 앞서 참조 프레임에 대해 평활화 또는 다른 필터링이 수행되고 있는 경우에 이점이 있을 수 있다.

Claims (41)

  1. 비디오 비트스트림을 디코딩하는 방법에 있어서,
    이미지 샘플로부터 인코더 필터링된 모션 보상 예측 샘플을 감산하여 생성된 잔여 샘플; 및 상기 모션 보상 예측 샘플을 형성하는데 사용된 모션 벡터;를 나타내는 비트스트림을 수신하는 단계 - 인코더 필터링 프로세스는 적어도 하나의 파라미터를 가진 인코더에서 모션 보상 예측 샘플에 대해 수행됨;
    상기 모션 벡터를 사용하여 사전에 재구성된 이미지로부터 모션 보상 예측 샘플을 제공하는 단계;
    상기 적어도 하나의 파라미터에 따라 상기 모션 보상 예측 샘플을 디코더 필터링하는 단계; 및
    상기 필터링된 모션 보상 예측 샘플을 상기 잔여 샘플에 추가하여 이미지를 재구성하는 단계;를 포함하는, 비디오 비트스트림 디코딩 방법.
  2. 청구항 1에 있어서,
    상기 인코더 필터링 프로세스의 적어도 하나의 파라미터를 추론하기 위해 모션 보상 예측 샘플을 분석하는 단계를 더욱 포함하며, 상기 모션 보상 예측 샘플을 디코더 필터링하는 단계는 상기 추론된 적어도 하나의 파라미터에 따라 수행되는, 비디오 비트스트림 디코딩 방법.
  3. 청구항 1에 있어서,
    상기 인코더 필터링 프로세스의 적어도 하나의 파라미터를 추론하기 위해 사전에 재구성된 이미지를 분석하는 단계를 더욱 포함하며, 상기 모션 보상 예측 샘플을 디코더 필터링하는 단계는 상기 추론된 적어도 하나의 파라미터에 따라 수행되는, 비디오 비트스트림 디코딩 방법.
  4. 청구항 2 또는 3에 있어서,
    상기 분석하는 단계는 인코더 필터링 프로세스에서 임의의 이방성과 관련된 파라미터 또는 파라미터들을 추론하기 위해 모션 보상 예측 샘플 또는 사전에 재구성된 이미지에서 임의의 우세한 방향의 존재를 결정하는 단계를 포함하는, 비디오 비트스트림 디코딩 방법.
  5. 청구항 2, 3 및 4 중 어느 한 항에 있어서,
    상기 분석하는 단계는 인코더 필터링 프로세스에서 임의의 이방성의 존재 또는 세부 사항과 관련된 파라미터 또는 파라미터들을 추론하기 위해 모션 보상 예측 샘플 또는 사전에 재구성된 이미지에서 임의의 우세한 방향의 방향을 결정하는 단계를 포함하는, 비디오 비트스트림 디코딩 방법.
  6. 선행하는 청구항 중 어느 한 항에 있어서,
    상기 디코더 필터링은 블록 또는 다른 세트의 모션 보상 예측 샘플에서, 현재 모션 보상 예측 샘플 및 이웃하는 모션 보상 예측 샘플로부터의 가중 기여도를 정의하는 필터 애퍼처(filter aperture)를 사용하는, 비디오 비트스트림 디코딩 방법.
  7. 청구항 6에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 필터 애퍼처의 이방성과 관련되는, 비디오 비트스트림 디코딩 방법.
  8. 청구항 6 또는 7에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 필터 애퍼처의 등방성 또는 이방성을 나타내는 이진 플래그인, 비디오 비트스트림 디코딩 방법.
  9. 청구항 6 내지 8 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 이방성 필터 애퍼처의 우세한 방향, 바람직하게는 한 세트의 양자화된 방향 중 하나를 나타내는, 비디오 비트스트림 디코딩 방법.
  10. 청구항 6 내지 9 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 상기 필터 애퍼처에서 다수의 샘플을 나타내는, 비디오 비트스트림 디코딩 방법.
  11. 청구항 6 내지 10 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 현재 모션 보상 예측 샘플의 기여도의 가중치를 나타내는, 비디오 비트스트림 디코딩 방법.
  12. 비디오 인코딩 방법에 있어서,
    모션 벡터 및 재구성된 이미지를 사용하여 모션 보상 예측 샘플을 형성하는 단계;
    상기 모션 보상 예측 샘플에 대해 인코더 필터링 프로세스를 수행하는 단계;
    이미지 샘플로부터 모션 보상 예측 샘플을 감산하여 잔여 샘플을 형성하는 단계; 및
    잔여 샘플, 모션 벡터 및 옵션으로 인코더 필터링 프로세스의 적어도 하나의 파라미터를 나타내는 비트스트림을 형성하는 단계를 포함하는, 비디오 인코딩 방법.
  13. 청구항 12에 있어서,
    상기 인코더 필터링 프로세스의 적어도 하나의 파라미터를 결정하기 위해 모션 보상 예측 샘플을 분석하는 단계를 더욱 포함하는, 비디오 인코딩 방법.
  14. 청구항 12에 있어서,
    상기 인코더 필터링 프로세스의 적어도 하나의 파라미터를 결정하기 위해 사전에 재구성된 이미지를 분석하는 단계를 더욱 포함하는, 비디오 인코딩 방법.
  15. 청구항 13 또는 14에 있어서,
    상기 분석하는 단계는 인코더 필터링 프로세스에서 임의의 이방성과 관련된 파라미터 또는 파라미터들을 결정하기 위해 모션 보상 예측 샘플 또는 사전에 재구성된 이미지에서 임의의 우세한 방향의 존재를 결정하는 단계를 포함하는, 비디오 인코딩 방법.
  16. 청구항 13, 14 및 15 중 어느 한 항에 있어서,
    상기 분석하는 단계는 인코더 필터링 프로세스에서 임의의 이방성의 존재 또는 세부 사항과 관련된 파라미터 또는 파라미터들을 결정하기 위해 모션 보상 예측 샘플 또는 사전에 재구성된 이미지에서 임의의 우세한 방향의 방향을 결정하는 단계를 포함하는, 비디오 인코딩 방법.
  17. 청구항 12 내지 16 중 어느 한 항에 있어서,
    상기 인코더 필터링은 블록 또는 다른 세트의 모션 보상 예측 샘플에서, 현재 모션 보상 예측 샘플 및 이웃하는 모션 보상 예측 샘플로부터의 가중 기여도를 정의하는 필터 애퍼처를 사용하는, 비디오 인코딩 방법.
  18. 청구항 17에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나는 필터 애퍼처의 이방성과 관련되는, 비디오 인코딩 방법.
  19. 청구항 17 내지 18 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나는, 이방성 필터 애퍼처의 우세한 방향, 바람직하게는 한 세트의 양자화된 방향 중 하나를 나타내는, 비디오 인코딩 방법.
  20. 청구항 17 내지 19 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나는 상기 필터 애퍼처에서 다수의 샘플을 나타내는, 비디오 인코딩 방법.
  21. 청구항 17 내지 20 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나는 현재 모션 보상 예측 샘플의 기여도의 가중치를 나타내는, 비디오 인코딩 방법.
  22. 비디오 비트스트림을 디코딩하는 방법에 있어서,
    이미지 샘플로부터 모션 보상 예측 샘플을 감산하여 생성된 잔여 샘플; 및 상기 모션 보상 예측 샘플을 형성하는데 사용된 모션 벡터;를 나타내는 비트스트림을 수신하는 단계 - 인코더 필터링 프로세스는 적어도 하나의 파라미터를 가진 인코더에서 수행됨;
    상기 모션 벡터를 사용하여 사전에 재구성된 이미지 샘플로부터 모션 보상 예측 샘플을 제공하는 단계; 및
    상기 모션 보상 예측 샘플을 상기 잔여 샘플에 추가하여 이미지를 재구성하는 단계;를 포함하며,
    상기 인코더 필터링 프로세스의 적어도 하나의 파라미터를 추론하기 위해 디코더에서 분석을 수행하는 단계; 및
    상기 추론된 적어도 하나의 파라미터에 따라서, 그리고 옵션으로 비트스트림에 나타난 적어도 하나의 파라미터에 따라서 상기 모션 보상 예측 샘플 또는 상기 사전에 재구성된 이미지 샘플을 디코더 필터링하는 단계;를 특징화하는, 비디오 비트스트림 디코딩 방법.
  23. 청구항 22에 있어서,
    상기 분석 단계는 상기 인코더 필터링 프로세스에서 임의의 이방성과 관련된 파라미터 또는 파라미터들을 추론하기 위해 샘플 어레이에서 임의의 우세한 방향의 존재 및/또는 방향을 결정하는 단계를 포함하는, 비디오 비트스트림 디코딩 방법.
  24. 청구항 23에 있어서,
    상기 샘플 어레이는 모션 보상 예측 샘플 또는 사전에 재구성된 이미지를 포함하는, 비디오 비트스트림 디코딩 방법.
  25. 청구항 22 내지 24 중 어느 한 항에 있어서,
    상기 디코더 필터링은 블록 또는 다른 세트의 샘플에서, 현재 샘플 및 이웃하는 샘플로부터의 가중 기여도를 정의하는 필터 애퍼처를 사용하는, 비디오 비트스트림 디코딩 방법.
  26. 청구항 25에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 필터 애퍼처의 이방성과 관련되는, 비디오 비트스트림 디코딩 방법.
  27. 청구항 25 또는 26에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 필터 애퍼처의 등방성 또는 이방성을 나타내는 이진 플래그인, 비디오 비트스트림 디코딩 방법.
  28. 청구항 25 내지 27 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 이방성 필터 애퍼처의 우세한 방향, 바람직하게는 한 세트의 양자화된 방향 중 하나를 나타내는, 비디오 비트스트림 디코딩 방법.
  29. 청구항 25 내지 28 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 상기 필터 애퍼처에서 다수의 샘플을 나타내는, 비디오 비트스트림 디코딩 방법.
  30. 청구항 25 내지 29 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나, 바람직하게는 상기 추론된 파라미터 또는 상기 추론된 파라미터 중 하나는 현재 모션 보상 예측 샘플의 기여도의 가중치를 나타내는, 비디오 비트스트림 디코딩 방법.
  31. 비디오 비트스트림을 인코딩하는 방법에 있어서,
    모션 벡터 및 재구성된 이미지 샘플을 사용하여 모션 보상 예측 샘플을 형성하는 단계;
    모션 보상 예측 샘플을 이미지 샘플로부터 감산하여 잔여 샘플을 형성하는 단계; 및
    잔여 샘플 및 모션 벡터를 나타내는 비트스트림을 형성하는 단계;를 포함하며,
    비트스트림에 나타나지 않은 인코더 필터링 프로세스의 적어도 하나의 파라미터를 결정하기 위해 분석을 수행하는 단계; 및
    상기 적어도 하나의 파라미터에 따라서 상기 모션 보상 예측 샘플 또는 상기 사전에 재구성된 이미지 샘플을 인코더 필터링을 하는 단계;를 특징화하는, 비디오 비트스트림 인코딩 방법.
  32. 청구항 31에 있어서,
    상기 분석하는 단계는 임의의 이방성과 관련된 파라미터 또는 파라미터들을 결정하기 위해 샘플 어레이에서 임의의 우세한 방향의 존재 및/또는 방향을 결정하는 단계를 포함하는, 비디오 비트스트림 인코딩 방법.
  33. 청구항 32에 있어서,
    상기 샘플 어레이는 모션 보상 예측 샘플 또는 사전에 재구성된 이미지를 포함하는, 비디오 비트스트림 인코딩 방법.
  34. 청구항 31 내지 33 중 어느 한 항에 있어서,
    상기 인코더 필터링은 블록 또는 다른 세트의 샘플에서, 현재 샘플 및 이웃하는 샘플로부터의 가중 기여도를 정의하는 필터 애퍼처를 사용하는, 비디오 비트스트림 인코딩 방법.
  35. 청구항 34에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나는 필터 애퍼처의 이방성과 관련되는, 비디오 비트스트림 인코딩 방법.
  36. 청구항 31 내지 35 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나는 이방성 필터 애퍼처의 우세한 방향, 바람직하게는 한 세트의 양자화된 방향 중 하나를 나타내는, 비디오 비트스트림 인코딩 방법.
  37. 청구항 31 내지 36 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나는 상기 필터 애퍼처에서 다수의 샘플을 나타내는, 비디오 비트스트림 인코딩 방법.
  38. 청구항 31 내지 37 중 어느 한 항에 있어서,
    상기 파라미터 또는 상기 파라미터 중 하나는 현재 모션 보상 예측 샘플의 기여도의 가중치를 나타내는, 비디오 비트스트림 인코딩 방법.
  39. 프로그램 가능 장치가 선행하는 청구항 중 어느 한 항에 따른 방법을 구현하하도록 적응되는, 컴퓨터 프로그램 제품.
  40. 청구항 1 내지 38 중 어느 한 항에 따른 방법을 구현하도록 구성되는, 장치.
  41. 청구항 1 내지 11 또는 22 내지 30 중 어느 한 항에 따른 방법을 구현하도록 구성된 복수의 장치와 통신하는, 청구항 12 내지 21 또는 31 내지 38 중 어느 한 항에 따른 방법을 구현하도록 구성된 장치를 포함하는, 시스템.
KR1020207031532A 2018-04-04 2019-03-20 비디오 인코딩 및 디코딩 KR20200134318A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1805569.9 2018-04-04
GB1805569.9A GB2572595B (en) 2018-04-04 2018-04-04 Video encoding and decoding
PCT/GB2019/050776 WO2019193313A1 (en) 2018-04-04 2019-03-20 Video encoding and decoding

Publications (1)

Publication Number Publication Date
KR20200134318A true KR20200134318A (ko) 2020-12-01

Family

ID=62142172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207031532A KR20200134318A (ko) 2018-04-04 2019-03-20 비디오 인코딩 및 디코딩

Country Status (7)

Country Link
US (1) US11317102B2 (ko)
EP (1) EP3777193A1 (ko)
KR (1) KR20200134318A (ko)
CN (1) CN112154667B (ko)
EA (1) EA202092359A1 (ko)
GB (1) GB2572595B (ko)
WO (1) WO2019193313A1 (ko)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8914843D0 (en) * 1989-06-28 1989-08-16 British Aerospace A method of processing video image data for use in the storage or transmission of moving digital images
US7764572B2 (en) * 2004-12-08 2010-07-27 Schlumberger Technology Corporation Methods and systems for acoustic waveform processing
US20060171569A1 (en) 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
CN102308579B (zh) * 2009-02-03 2017-06-06 汤姆森特许公司 位深可分级中使用平滑参考帧的运动补偿的方法和设备
US20120320973A1 (en) * 2010-03-09 2012-12-20 Thomson Licensing Methods and apparatus for a classification-based loop filter
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US20130083844A1 (en) * 2011-09-30 2013-04-04 In Suk Chong Coefficient coding for sample adaptive offset and adaptive loop filter
US9521423B2 (en) * 2014-06-26 2016-12-13 Sony Corporation Data encoding and decoding apparatus, method and storage medium
KR20180075483A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 픽셀의 기울기에 기초하여 인트라 또는 인터 예측 블록을 후처리하는 방법 및 장치

Also Published As

Publication number Publication date
US11317102B2 (en) 2022-04-26
EA202092359A1 (ru) 2021-06-30
CN112154667B (zh) 2023-05-23
GB201805569D0 (en) 2018-05-16
CN112154667A (zh) 2020-12-29
EP3777193A1 (en) 2021-02-17
GB2572595B (en) 2023-03-22
WO2019193313A1 (en) 2019-10-10
GB2572595A (en) 2019-10-09
US20210168378A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
KR102668077B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
KR101484606B1 (ko) 적응적 참조 필터링을 위한 방법 및 장치
US20140321552A1 (en) Optimization of Deblocking Filter Parameters
US10536716B2 (en) Apparatus and method for video motion compensation
KR102059842B1 (ko) 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치
WO2021072326A1 (en) Methods and apparatuses for prediction refinement with optical flow, bi-directional optical flow, and decoder-side motion vector refinement
CN112154667B (zh) 视频的编码和解码
US11202082B2 (en) Image processing apparatus and method
WO2020264221A1 (en) Apparatuses and methods for bit-width control of bi-directional optical flow
EA041592B1 (ru) Кодирование и декодирование видео
US20240031612A1 (en) Method and apparatus for video coding using pre-processing and post-processing
KR20120129629A (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
CN117044211A (zh) 使用预处理和后处理的视频编码方法和设备
GB2580036A (en) Bitstream decoding

Legal Events

Date Code Title Description
A201 Request for examination