KR20180053372A - 마지막 프레임 모션 벡터 파티셔닝 - Google Patents

마지막 프레임 모션 벡터 파티셔닝 Download PDF

Info

Publication number
KR20180053372A
KR20180053372A KR1020187010580A KR20187010580A KR20180053372A KR 20180053372 A KR20180053372 A KR 20180053372A KR 1020187010580 A KR1020187010580 A KR 1020187010580A KR 20187010580 A KR20187010580 A KR 20187010580A KR 20180053372 A KR20180053372 A KR 20180053372A
Authority
KR
South Korea
Prior art keywords
partitioning
zone
motion vector
block
frame
Prior art date
Application number
KR1020187010580A
Other languages
English (en)
Other versions
KR102120135B1 (ko
Inventor
제임스 반코스키
데바르가 무케르지
야오우 수
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180053372A publication Critical patent/KR20180053372A/ko
Application granted granted Critical
Publication of KR102120135B1 publication Critical patent/KR102120135B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 신호를 인코딩 또는 디코딩하는 것은, 비디오 시퀀스의 현재의 프레임 이전의 프레임의 적어도 일부의 제1 파티셔닝을 결정하는 것을 포함한다. 제1 파티셔닝은, 제1 파티셔닝으로부터 제1 구역의 적어도 하나의 예측 서브-구역을 예측하는 모션 벡터를 사용하여 제2 파티셔닝으로 수정된다. 제2 파티셔닝은 현재의 프레임의 현재의 구역을 인코딩 또는 디코딩하기 위해 사용된다. 현재의 구역은 제1 구역과 나란히 배치될 수 있다. 기법은 매번 전체 프레임을 리파티셔닝할 필요성을 제거하며, 직사각형-형상 블록 파티셔닝 및 마스크들 및 다른 포지셔닝 기법들을 사용하는 파티셔닝 둘 모두에 대해 사용될 수 있다.

Description

마지막 프레임 모션 벡터 파티셔닝
[0001] 디지털 비디오 스트림들은 통상적으로, 프레임들 또는 스틸 이미지들의 시퀀스를 사용하는 비디오를 표현한다. 각각의 프레임은 다수의 블록들을 포함할 수 있으며, 그 블록들은 차례로 픽셀들에 대한 컬러, 밝기 또는 다른 속성들의 값을 설명하는 정보를 포함할 수 있다. 비디오 스트림의 데이터의 양은 크며, 비디오의 송신 및 저장은 상당한 컴퓨팅 또는 통신 리소스들을 사용할 수 있다. 비디오 데이터에 수반되는 많은 양의 데이터로 인해, 높은 성능 압축이 송신 및 저장을 위해 필요하다. 블록-기반 코덱들에서, 이것은 모션 벡터들을 사용하는 예측을 포함하는 예측 기법들을 수반한다.
[0002] 본 개시내용은 일반적으로, 현재의 프레임의 파티셔닝이 하나 또는 그 초과의 모션 벡터들에 의해 조정된 이전의 프레임의 파티셔닝에 기반하게 허용하는 마지막 프레임 모션 벡터 파티셔닝을 사용하여 비디오 스트림 데이터와 같은 시각적인 데이터를 인코딩 및 디코딩하는 것에 관한 것이다. 대체로, 블록은, 새로운 블록의 모션 벡터에 의해 커버되는 모션 벡터들 중 하나에 의해 이전의 프레임 파티션들을 시프팅함으로써 예측을 위해 별개의 구역들로 분할된다.
[0003] 본 명세서에서 비디오 신호를 인코딩 또는 디코딩하기 위한 방법의 일 양상은, 비디오 시퀀스의 현재의 프레임 이전의 프레임의 적어도 일부의 제1 파티셔닝을 결정하는 단계를 포함한다. 비디오 신호는 비디오 시퀀스를 정의하는 프레임들을 포함하고, 프레임은 픽셀들을 갖는 적어도 하나의 구역으로 파티셔닝된다. 방법은 또한, 제1 파티셔닝으로부터 제1 구역의 적어도 하나의 예측 서브-구역을 예측하는 모션 벡터를 사용하여 제1 파티셔닝을 제2 파티셔닝으로 수정하는 단계, 및 현재의 프레임의 현재의 구역을 인코딩 또는 디코딩하기 위해 제2 파티셔닝을 사용하는 단계를 포함한다.
[0004] 본 명세서에 설명된 장치의 일 양상은, 프로세서 및 프로세서로 하여금 방법을 수행하게 하는 명령들을 저장한 비-일시적인 메모리를 포함하며, 그 방법은, 비디오 시퀀스의 현재의 프레임 이전의 프레임의 적어도 일부의 제1 파티셔닝을 결정하는 단계, 제1 파티셔닝으로부터 제1 구역의 적어도 하나의 예측 서브-구역을 예측하는 모션 벡터를 사용하여 제1 파티셔닝을 제2 파티셔닝으로 수정하는 단계, 및 현재의 프레임의 현재의 구역을 인코딩 또는 디코딩하기 위해 제2 파티셔닝을 사용하는 단계를 포함한다.
[0005] 본 명세서의 장치의 다른 양상은 비디오 신호를 인코딩하기 위한 장치이며, 비디오 신호는 비디오 시퀀스를 정의하는 프레임들을 포함하고, 각각의 프레임은 블록들로 파티셔닝되며, 각각의 블록은 픽셀들을 갖는다. 장치는, 프로세서 및 프로세서로 하여금 방법을 수행하게 하는 명령들을 저장한 비-일시적인 메모리를 포함하며, 그 방법은, 비디오 시퀀스의 현재의 프레임 이전의 프레임의 적어도 일부의 제1 파티셔닝을 결정하는 단계, 새로운 블록을 식별하기 위해 제1 블록의 예측 서브-블록을 예측하는 모션 벡터에 의해 프레임 내에서 제1 블록의 경계들을 식별하는 위치를 이동시킴으로써 제1 파티셔닝을 제2 파티셔닝으로 수정하고, 제1 파티셔닝에 의해 정의된 제1 블록의 적어도 하나의 예측 서브-블록을 예측하는 모션 벡터를 사용하여, 새로운 블록을 적어도 부분적으로 오버레이하는 프레임의 예측 서브-블록의 모션 벡터에 의해 그 위치에서 새로운 블록의 경계들 내에 포함된 제1 파티셔닝을 수정하는 단계, 및 현재의 프레임의 현재의 블록을 인코딩하기 위해 제2 파티셔닝을 사용하는 단계를 포함하며, 현재의 블록은 제1 블록과 나란히 배치된다(collocated).
[0006] 본 발명은 또한, 컴퓨터 디바이스를 사용하여 비디오 신호를 인코딩 또는 디코딩하기 위한 방법/장치의 관점들에서 이해될 수 있으며, 비디오 신호는 비디오 시퀀스를 정의하는 프레임들을 포함하고, 프레임들은 픽셀들을 갖는 적어도 하나의 구역으로 파티셔닝되며, 그 방법은, 비디오 시퀀스의 현재의 프레임의 현재의 구역의 예측을 위해 기준 프레임의 적어도 일부의 제1 파티셔닝을 결정하는 단계; 제1 파티셔닝으로부터의 현재의 프레임에 인접하거나 또는 그와는 상이한 현재의 프레임의 제1 구역의 적어도 예측 서브-구역을 예측하는 모션 벡터를 사용하여 제1 파티셔닝을 제2 파티셔닝으로 세분하는 단계; 및 현재의 프레임의 현재의 구역을 인코딩 또는 디코딩하기 위해 제2 파티셔닝을 사용하는 단계를 포함한다. 제1 파티셔닝은 통상적으로, 제1 구역의 하나 또는 그 초과의 예측 서브-구역들과 중첩하거나/그들을 커버하거나/포함한다.
[0007] 본 개시내용의 이들 및 다른 양상들은 다음의 상세한 설명, 첨부된 청구범위 및 첨부한 도면들에서 부가적으로 상세히 설명된다.
[0008] 본 명세서의 설명은 아래에 설명되는 첨부한 도면들을 참조하며, 도면에서, 유사한 참조 번호들은 수 개의 도면들 전반에 걸쳐 유사한 부분들을 지칭한다.
[0009] 도 1은 비디오 인코딩 및 디코딩 시스템의 개략도이다.
[0010] 도 2는 송신 스테이션 또는 수신 스테이션을 구현할 수 있는 컴퓨팅 디바이스의 일 예의 블록 다이어그램이다.
[0011] 도 3은 인코딩되고 후속하여 디코딩될 비디오 스트림의 다이어그램이다.
[0012] 도 4는 본 명세서의 교시들의 일 양상에 따른 비디오 압축 시스템의 블록 다이어그램이다.
[0013] 도 5는 본 명세서의 교시들의 다른 양상에 따른 비디오 압축해제 시스템의 블록 다이어그램이다.
[0014] 도 6은 마지막 프레임 모션 벡터 파티셔닝을 사용하여 구역을 인코딩 또는 디코딩하기 위한 프로세스의 흐름도 다이어그램이다.
[0015] 도 7a 내지 도 7c는 도 6의 프로세스를 설명하는데 사용되는 일 예의 다이어그램들이다.
[0016] 도 8a 및 도 8b는 도 6의 프로세스를 설명하는데 사용되는 다른 예의 다이어그램들이다.
[0017] 비디오 스트림은, 비디오 스트림을 송신 또는 저장하는데 요구되는 대역폭을 감소시키도록 다양한 기법들에 의해 압축될 수 있다. 비디오 스트림은 비트스트림으로 인코딩되고(이는, 압축을 수반할 수 있음), 그 후, 디코더로 송신될 수 있으며, 디코더는 뷰잉 또는 추가적인 프로세싱을 위해 그 비디오 스트림을 준비하도록 비디오 스트림을 디코딩 또는 압축해제할 수 있다. 비디오 스트림을 인코딩하는 것은 비디오 품질과 비트스트림 사이즈 사이의 트레이드-오프들을 행하는 파라미터들을 수반할 수 있으며, 여기서, 디코딩된 비디오 스트림의 인지되는 품질을 증가시키는 것은 비트스트림을 송신 또는 저장하는데 요구되는 비트들의 수를 증가시킬 수 있다.
[0018] 우수한 압축 성능을 달성하기 위한 하나의 기법은 공간 및/또는 모션 보상 예측을 통한 비디오 신호들의 공간적 및 시간적 상관을 활용한다. 예컨대, 인터-예측은, 인코딩될 현재의 블록과 비슷한 이전에-인코딩되고 디코딩된 블록을 식별하기 위해 모션 벡터를 사용한다. 모션 벡터를 인코딩함으로써 그리고 2개의 블록들 사이의 차이에 의해, 디코더는 현재의 블록을 재생성할 수 있다.
[0019] 블록을 디코딩하는데 사용되는 비트스트림의 헤더들 내에 포함된 데이터의 양을 최소화시키기 위해 가능한 큰 블록을 인코딩하는 것이 종종 바람직하다. 그러나, 큰 블록들은 바람직한 경우, 특히 블록 내에 많은 움직임이 존재하는 경우보다 더 많은 양의 왜곡을 초래할 수 있다. 이러한 이유 때문에 그리고 블록 내의 오브젝트들을 더 양호하게 매칭시키기 위해, 더 큰 블록들은 수 개의 더 작은 블록들로 파티셔닝될 수 있다. 예컨대, 16×16 픽셀 블록들 또는 그 초과는 예측을 위해 4×4 픽셀들의 사이즈의 블록들로 파티셔닝될 수 있다. 마스크들, 웨지(wedge)들 등과 같은 다른 기법들을 사용하는 프레임들의 파티셔닝은 동일한 품질들을 나타낸다. 따라서, 본 명세서의 블록들에 대한 파티셔닝의 설명은 프레임 파티셔닝의 출력의 일 예일 뿐이다.
[0020] 현재, 각각의 프레임은 스크래치로부터, 즉 이전의 프레임의 파티셔닝과 관계없이 파티셔닝된다. 대조적으로, 본 명세서의 교시들은 옵션을 설명하고, 그 옵션에 의해, 마지막 프레임의 파티셔닝은 전체 프레임을 매번 리파티셔닝(re-partitioning)하기보다는 새로운 파티셔닝을 생성하도록 프레임에서 모션 벡터들에 의해 시프팅된다. 일반적으로, 블록들(또는 프레임에 의해 파티셔닝된 이전의 구역들)은, 이전의 프레임 파티션(들)을 시프팅함으로써, 예컨대 새로운 구역의 또는 블록의 모션 벡터에 의해 커버되는 모션 벡터들 중 하나에 의해 별개의 구역들로 분할된다. 새로운 구역들 각각은 그 자신의 모션 벡터를 가질 수 있으며, 이것은 프레임의 비-정방형 구역들에 대한 별개의 모드들 및 모션 벡터들을 허용한다. 이전의 프레임의 파티셔닝을 새로운 프레임에 대해 유효하게 만들기 위해 그 파티셔닝을 변경시키도록 모션 벡터를 사용함으로써, 예측 비용들(계산 시간을 포함함)이 감소될 수 있다. 본 명세서의 교시들이 사용될 수 있는 환경의 초기 논의 이후에 추가적인 세부사항들이 설명된다.
[0021] 도 1은 비디오 인코딩 및 디코딩 시스템(100)의 개략도이다. 송신 스테이션(102)은, 예컨대, 도 2에 설명된 것과 같은 하드웨어의 내부 구성을 갖는 컴퓨터일 수 있다. 그러나, 송신 스테이션(102)의 다른 적합한 구현들이 가능하다. 예컨대, 송신 스테이션(102)의 프로세싱은 다수의 디바이스들 사이에 분배될 수 있다.
[0022] 네트워크(104)는 비디오 스트림의 인코딩 및 디코딩을 위해 송신 스테이션(102)과 수신 스테이션(106)을 연결시킬 수 있다. 구체적으로, 비디오 스트림은 송신 스테이션(102)에서 인코딩될 수 있고, 인코딩된 비디오 스트림은 수신 스테이션(106)에서 디코딩될 수 있다. 네트워크(104)는, 예컨대, 인터넷일 수 있다. 네트워크(104)는 또한, 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 가상의 사설 네트워크(VPN), 셀룰러 텔레폰 네트워크 또는 송신 스테이션(102)으로부터 이러한 예에서는 수신 스테이션(106)으로 비디오 스트림을 전달하는 임의의 다른 수단일 수 있다.
[0023] 일 예에서, 수신 스테이션(106)은 도 2에 설명된 것과 같은 하드웨어의 내부 구성을 갖는 컴퓨터일 수 있다. 그러나, 수신 스테이션(106)의 다른 적합한 구현들이 가능하다. 예컨대, 수신 스테이션(106)의 프로세싱은 다수의 디바이스들 사이에 분배될 수 있다.
[0024] 비디오 인코딩 및 디코딩 시스템(100)의 다른 구현들이 가능하다. 예컨대, 일 구현은 네트워크(104)를 생략할 수 있다. 다른 구현에서, 비디오 스트림은 인코딩되며, 그 후, 추후의 시간에 수신 스테이션(106) 또는 메모리를 갖는 임의의 다른 디바이스로의 송신을 위해 저장될 수 있다. 일 구현에서, 수신 스테이션(106)은 (예컨대, 네트워크(104), 컴퓨터 버스, 및/또는 몇몇 통신 통로를 통해) 인코딩된 비디오 스트림을 수신하고, 추후의 디코딩을 위해 비디오 스트림을 저장한다. 예시적인 구현에서, 실시간 전송 프로토콜(RTP)이 네트워크(104)를 통한 인코딩된 비디오의 송신을 위해 사용된다. 다른 구현에서, RTP 이외의 전송 프로토콜, 예컨대, 하이퍼텍스트 전송 프로토콜(HTTP)-기반 비디오 스트리밍 프로토콜이 사용될 수 있다.
[0025] 예컨대, 비디오 회의 시스템에서 사용되는 경우, 송신 스테이션(102) 및/또는 수신 스테이션(106)은 아래에 설명되는 바와 같이 비디오 스트림을 인코딩 및 디코딩 둘 모두를 행하기 위한 능력을 포함할 수 있다. 예컨대, 수신 스테이션(106)은, 디코딩 및 뷰잉하기 위해 비디오 회의 서버(예컨대, 송신 스테이션(102))로부터 인코딩된 비디오 비트스트림을 수신하고, 다른 참가자들에 의한 디코딩 및 뷰잉을 위해 그 자신의 비디오 비트스트림을 추가로 인코딩하고 비디오 회의 서버에 송신하는 비디오 회의 참가자일 수 있다.
[0026] 도 2는 송신 스테이션 또는 수신 스테이션을 구현할 수 있는 컴퓨팅 디바이스(200)의 일 예의 블록 다이어그램이다. 예컨대, 컴퓨팅 디바이스(200)는 도 1의 송신 스테이션(102) 및 수신 스테이션(106) 중 하나 또는 둘 모두를 구현할 수 있다. 컴퓨팅 디바이스(200)는, 다수의 컴퓨팅 디바이스들을 포함하는 컴퓨팅 시스템의 형태이거나, 또는 단일 컴퓨팅 디바이스, 예컨대 모바일 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터 등의 형태일 수 있다.
[0027] 컴퓨팅 디바이스(200) 내의 CPU(202)는 중앙 프로세싱 유닛일 수 있다. 대안적으로, CPU(202)는 현재-존재하거나 이후에 개발되는 정보를 조작 또는 프로세싱할 수 있는 임의의 다른 타입의 디바이스 또는 다수의 디바이스들일 수 있다. 개시된 구현들이 도시된 바와 같은 단일 프로세서, 예컨대, CPU(202)를 이용하여 실시될 수 있지만, 속도 및 효율에서의 이점들은 1개 초과의 프로세서를 사용하여 달성될 수 있다.
[0028] 컴퓨팅 디바이스(200) 내의 메모리(204)는 일 구현에서 판독 전용 메모리(ROM) 디바이스 또는 랜덤 액세스 메모리(RAM) 디바이스일 수 있다. 임의의 다른 적합한 타입의 저장 디바이스가 메모리(204)로서 사용될 수 있다. 메모리(204)는 버스(212)를 사용하여 CPU(202)에 의해 액세스되는 코드 및 데이터(206)를 포함할 수 있다. 메모리(204)는 운영 시스템(208) 및 애플리케이션 프로그램들(210)을 더 포함할 수 있으며, 애플리케이션 프로그램들(210)은 CPU(202)가 본 명세서에 설명되는 방법들을 수행하게 허용하는 적어도 하나의 프로그램을 포함한다. 예컨대, 애플리케이션 프로그램들(210)은, 본 명세서에 설명되는 방법들을 수행하는 비디오 코딩 애플리케이션을 더 포함하는 애플리케이션들 1 내지 N을 포함할 수 있다. 컴퓨팅 디바이스(200)는 또한, 예컨대 모바일 컴퓨팅 디바이스와 함께 사용되는 메모리 카드일 수 있는 2차 저장소(214)를 포함할 수 있다. 비디오 통신 세션들이 상당한 양의 정보를 포함할 수 있기 때문에, 그들은 2차 저장소(214)에 전체적으로 또는 부분적으로 저장되고, 프로세싱을 위해 필요할 때 메모리(204)로 로딩될 수 있다.
[0029] 컴퓨팅 디바이스(200)는 또한, 디스플레이(218)와 같은 하나 또는 그 초과의 출력 디바이스들을 포함할 수 있다. 일 예에서, 디스플레이(218)는 터치 입력들을 감지하도록 동작가능한 터치 감지 엘리먼트와 디스플레이를 결합하는 터치 감지 디스플레이일 수 있다. 디스플레이(218)은 버스(212)를 통해 CPU(202)에 커플링될 수 있다. 사용자가 컴퓨팅 디바이스(200)를 프로그래밍하게 하거나 그렇지 않으면 사용하게 허용하는 다른 출력 디바이스들이 디스플레이(218)에 부가하여 또는 그 대안으로서 제공될 수 있다. 출력 디바이스가 디스플레이이거나 또는 그를 포함하는 경우, 디스플레이는 액정 디스플레이(LCD), 음극선관(CRT) 디스플레이 또는 발광 다이오드(LED) 디스플레이, 이를테면 유기 LED(OLED) 디스플레이를 포함하는 다양한 방식들로 구현될 수 있다.
[0030] 컴퓨팅 디바이스(200)는 또한, 이미지-감지 디바이스(220), 예컨대 카메라, 또는 컴퓨팅 디바이스(200)를 동작시키는 사용자의 이미지와 같은 이미지를 감지할 수 있는 현재 존재하거나 이후에 개발되는 임의의 다른 이미지-감지 디바이스(220)를 포함하거나 그와 통신할 수 있다. 이미지-감지 디바이스(220)는, 그 디바이스가 컴퓨팅 디바이스(200)를 동작시키는 사용자를 향해 지향되도록 포지셔닝될 수 있다. 일 예에서, 이미지-감지 디바이스(220)의 포지션 및 광학 축은 시야가 영역을 포함하도록 구성될 수 있으며, 그 영역은 디스플레이(218)에 직접 인접하고 그 영역으로부터 디스플레이(218)가 가시적이다.
[0031] 컴퓨팅 디바이스(200)는 또한, 사운드-감지 디바이스(222), 예컨대 마이크로폰, 또는 컴퓨팅 디바이스(200) 근처의 사운드들을 감지할 수 있는 현재 존재하거나 이후에 개발되는 임의의 다른 사운드-감지 디바이스를 포함하거나 그와 통신할 수 있다. 사운드-감지 디바이스(222)는, 그 디바이스가 컴퓨팅 디바이스(200)를 동작시키는 사용자를 향해 지향되도록 포지셔닝될 수 있고, 사용자가 컴퓨팅 디바이스(200)를 동작시키는 동안 사용자에 의해 만들어진 사운드들, 예컨대, 스피치 또는 다른 발언(utterance)들을 수신하도록 구성될 수 있다.
[0032] 도 2가 단일 유닛으로 통합되는 것으로 컴퓨팅 디바이스(200)의 CPU(202) 및 메모리(204)를 도시하지만, 다른 구성들이 이용될 수 있다. CPU(202)의 동작들은, 로컬 영역 또는 다른 네트워크에 직접 또는 그에 걸쳐 커플링될 수 있는 다수의 머신들(각각의 머신은 프로세서들 중 하나 또는 그 초과를 가짐)에 걸쳐 분산될 수 있다. 메모리(204)는 컴퓨팅 디바이스(200)의 동작들을 수행하는 다수의 머신들 내의 메모리 또는 네트워크-기반 메모리와 같이 다수의 머신들에 걸쳐 분산될 수 있다. 단일 버스로서 본 명세서에 도시되지만, 컴퓨팅 디바이스(200)의 버스(212)는 다수의 버스들로 구성될 수 있다. 추가로, 2차 저장소(214)는 컴퓨팅 디바이스(200)의 다른 컴포넌트들에 직접 커플링될 수 있거나, 또는 네트워크를 통해 액세스될 수 있으며, 메모리 카드와 같은 단일의 통합된 유닛 또는 다수의 메모리 카드들과 같은 다수의 유닛들을 포함할 수 있다. 따라서, 컴퓨팅 디바이스(200)는 광범위하게 다양한 구성들로 구현될 수 있다.
[0033] 도 3은 인코딩되고 후속하여 디코딩될 비디오 스트림(300)의 일 예의 다이어그램이다. 비디오 스트림(300)은 비디오 시퀀스(302)를 포함한다. 다음의 레벨에서, 비디오 시퀀스(302)는 다수의 인접한 프레임들(304)을 포함한다. 3개의 프레임들이 인접한 프레임들(304)로서 도시되지만, 비디오 시퀀스(302)는 임의의 수의 인접한 프레임들(304)을 포함할 수 있다. 그 후, 인접한 프레임들(304)은 개별 프레임들, 예컨대, 프레임(306)으로 추가로 세분될 수 있다. 다음의 레벨에서, 프레임(306)은 일련의 평면들 또는 세그먼트들(308)로 분할될 수 있다. 세그먼트들(308)은 예컨대, 병렬 프로세싱을 허용하는 프레임들의 서브세트들일 수 있다. 세그먼트들(308)은 또한, 비디오 데이터를 별개의 컬러들로 분리시킬 수 있는 프레임들의 서브세트들일 수 있다. 예컨대, 컬러 비디오 데이터의 프레임(306)은 휘도 평면 및 2개의 크로미넌스(chrominance) 평면들을 포함할 수 있다. 세그먼트들(308)은 상이한 해상도들로 샘플링될 수 있다.
[0034] 프레임(306)이 세그먼트들(308)로 분할되는지 여부에 관계없이, 프레임(306)은 블록들(310)로 추가로 세분될 수 있으며, 그 블록들은, 예컨대 프레임(306) 내의 16×16 픽셀들에 대응하는 데이터를 포함할 수 있다. 블록들(310)은 또한, 픽셀 데이터의 하나 또는 그 초과의 평면들로부터의 데이터를 포함하도록 배열될 수 있다. 블록들(310)은 또한, 4×4 픽셀들, 8×8 픽셀들, 16×8 픽셀들, 8×16 픽셀들, 16×16 픽셀들, 또는 그 초과와 같은 임의의 다른 적합한 사이즈를 가질 수 있다. 프레임들(306)의 파티셔닝으로부터 초래되는 블록들(310) 또는 다른 구역들은 아래에 더 상세히 논의되는 바와 같이 본 명세서의 교시들에 따라 파티셔닝될 수 있다. 즉, 인코딩될 구역들은 더 작은 서브-블록들 또는 구역들로 파티셔닝되는 더 큰 구역들일 수 있다. 특히, 인코딩될 현재의 구역은, 예컨대, 상이한 예측 모드들을 사용하여 인코딩되는 픽셀들의 더 작은 그룹들로 분할될 수 있다. 픽셀들의 이들 그룹들은 예측 서브-블록들, 예측 서브-구역들, 또는 예측 유닛들로 본 명세서에서 지칭될 수 있다. 몇몇 경우들에서, 구역이 하나의 예측 모드만을 사용하여 인코딩되므로, 인코딩될 전체 구역을 포함하는 하나의 예측 서브-구역만이 존재한다. 달리 언급되지 않으면, 아래의 도 4 및 도 5에서 블록을 인코딩 및 디코딩하는 것의 설명은 더 큰 구역의 예측 서브-블록들, 예측 서브-구역들, 또는 예측 유닛들에 동등하게 적용된다.
[0035] 도 4는 일 구현에 따른 인코더(400)의 블록 다이어그램이다. 인코더(400)는 위에서 설명된 바와 같이, 이를테면 메모리, 예컨대 메모리(204)에 저장된 컴퓨터 소프트웨어 프로그램을 제공함으로써 송신 스테이션(102)에서 구현될 수 있다. 컴퓨터 소프트웨어 프로그램은, CPU(202)와 같은 프로세서에 의해 실행될 경우 송신 스테이션(102)으로 하여금 도 4에 설명된 방식으로 비디오 데이터를 인코딩하게 하는 머신 명령들을 포함할 수 있다. 인코더(400)는 또한, 예컨대 송신 스테이션(102)에 포함된 특수화된 하드웨어로서 구현될 수 있다. 인코더(400)는, 입력으로서 비디오 스트림(300)을 사용하여, 인코딩된 또는 압축된 비트스트림(420)을 생성하기 위해 (실선의 연결 라인들에 의해 도시된) 순방향 경로에서 다양한 기능들을 수행하기 위한 다음의 스테이지들, 즉 인트라/인터 예측 스테이지(402), 변환 스테이지(404), 양자화 스테이지(406), 및 엔트로피 인코딩 스테이지(408)를 갖는다. 인코더(400)는 또한, 미래의 블록들의 인코딩을 위해 프레임을 재구성하기 위한 (점선 연결 라인들에 의해 도시된) 재구성 경로를 포함할 수 있다. 도 4에서, 인코더(400)는 재구성 경로에서 다양한 기능들을 수행하기 위한 다음의 스테이지들, 즉 역양자화 스테이지(410), 역변환 스테이지(412), 재구성 스테이지(414), 및 루프 필터링 스테이지(416)를 갖는다. 인코더(400)의 다른 구조적 변경들이 비디오 스트림(300)을 인코딩하기 위해 사용될 수 있다.
[0036] 비디오 스트림(300)이 인코딩을 위해 제시되는 경우, 각각의 프레임(306)은 예로서 블록들과 같은 픽셀들(예컨대, 구역들)의 단위들로 프로세싱될 수 있다. 인트라/인터 예측 스테이지(402)에서, 블록은 인트라-프레임 예측(또한 인트라 예측으로 지칭됨) 또는 인터-프레임 예측(또한 본 명세서에서 인터 예측 또는 인터-예측으로 지칭됨)을 사용하여 인코딩될 수 있다. 임의의 경우에서, 예측(또는 예측기) 블록이 형성될 수 있다. 인트라-예측의 경우, 예측 블록은 이전에 인코딩 및 재구성되었던 현재의 프레임 내의 샘플들로부터 형성될 수 있다. 인터-예측의 경우, 예측 블록은 하나 또는 그 초과의 이전에 구성된 기준 프레임들 내의 샘플들로부터 형성될 수 있다.
[0037] 다음으로, 도 4를 계속 참조하면, 예측 블록은 잔차(residual) 블록(또한 잔차로 지칭됨)을 생성하기 위해 인트라/인터 예측 스테이지(402)에서 현재의 블록으로부터 감산될 수 있다. 변환 스테이지(404)는 예컨대, 블록-기반 변환들을 사용하여 주파수 도메인의 변환 계수들로 잔차를 변환한다. 그러한 블록-기반 변환들은, 예컨대, 이산 코사인 변환(DCT) 및 비대칭 이산 사인 변환(ADST)를 포함한다. 다른 블록-기반 변환들이 가능하다. 추가로, 상이한 변환들의 결합들이 단일 잔차에 적용될 수 있다. 변환의 적용의 일 예에서, DCT는 잔차 블록을 주파수 도메인으로 변환하며, 여기서 변환 계수값들은 공간 주파수에 기반한다. 가장 낮은 주파수(DC) 계수는 매트릭스의 좌측-상단에 있고, 가장 높은 주파수 계수는 매트릭스의 우측-하단에 있다. 예측 블록의 사이즈 및 그에 따른 결과적인 잔차 블록이 변환 블록의 사이즈와 상이할 수 있다는 것을 유의할 가치가 있다. 예컨대, 잔차 블록 또는 구역은, 별개의 변환들이 적용되는 더 작은 블록들 또는 구역들로 분할될 수 있다.
[0038] 양자화 스테이지(406)는 양자화기 값 또는 양자화 레벨을 사용하여, 양자화된 변환 계수들로 지칭되는 이산 양자 값들로 변환 계수들을 변환한다. 예컨대, 변환 계수들은 양자화기 값에 의해 분할되고 절단(truncate)될 수 있다. 그 후, 양자화된 변환 계수들은 엔트로피 인코딩 스테이지(408)에 의해 엔트로피 인코딩된다. 엔트로피 코딩은 토큰 및 바이너리 트리(binary tree)들을 포함하는 임의의 수의 기법들을 사용하여 수행될 수 있다. 그 후, 엔트로피-인코딩된 계수들은, 블록을 디코딩하는데 사용되는 다른 정보(예컨대 사용된 예측의 타입, 변환 타입, 모션 벡터들 및 양자화기 값을 포함할 수 있음)와 함께, 압축된 비트스트림(420)으로 출력된다. 압축된 비트스트림(420)은 또한, 인코딩된 비디오 스트림 또는 인코딩된 비디오 비트스트림으로 지칭될 수 있으며, 용어들은 본 명세서에서 상호교환가능하게 사용될 것이다.
[0039] (점선의 연결 라인들에 의해 도시된) 도 4의 재구성 경로는, 인코더(400) 및 디코더(500)(아래에서 설명됨) 둘 모두가 압축된 비트스트림(420)을 디코딩하기 위해 동일한 기준 프레임들을 사용한다는 것을 보장하기 위해 사용될 수 있다. 재구성 경로는, 파생(derivative) 잔차 블록(또한 파생 잔차로 지칭됨)을 생성하기 위해 역양자화 스테이지(410)에서 양자화된 변환 계수들을 역양자화하는 것 및 역변환 스테이지(412)에서 역양자화된 변환 계수들을 역변환하는 것을 포함하는, 아래에서 더 상세히 논의되는 디코딩 프로세스 동안 발생하는 기능들과 유사한 기능들을 수행한다. 재구성 스테이지(414)에서, 인트라/인터 예측 스테이지(402)에서 예측되었던 예측 블록은 재구성된 블록을 생성하기 위해 파생 잔차에 부가될 수 있다. 루프 필터링 스테이지(416)는 블로킹 아티팩트들과 같은 왜곡을 감소시키기 위해, 재구성된 블록에 적용될 수 있다.
[0040] 인코더(400)의 다른 변경들이 압축된 비트스트림(420)을 인코딩하기 위해 사용될 수 있다. 예컨대, 비-변환 기반 인코더(400)는 특정한 블록들 또는 프레임들에 대한 변환 스테이지(404) 없이 잔차 신호를 직접 양자화할 수 있다. 다른 구현에서, 인코더(400)는 단일 스테이지로 결합된 양자화 스테이지(406) 및 역양자화 스테이지(410)를 가질 수 있다. 인코더(400)는 이러한 기법에 따라 픽셀들의 임의의 사이즈 또는 형상 그룹들을 인코딩할 수 있다. 따라서, 인코딩될 픽셀들의 그룹들은 더 일반적으로 구역들로 지칭될 수 있다.
[0041] 도 5는 다른 구현에 따른 디코더(500)의 블록 다이어그램이다. 디코더(500)는, 예컨대 메모리(204)에 저장된 컴퓨터 소프트웨어 프로그램을 제공함으로써 수신 스테이션(106)에서 구현될 수 있다. 컴퓨터 소프트웨어 프로그램은, CPU(202)와 같은 프로세서에 의해 실행될 경우 수신 스테이션(106)으로 하여금 도 5에 설명된 방식으로 비디오 데이터를 디코딩하게 하는 머신 명령들을 포함할 수 있다. 디코더(500)는 또한, 예컨대 송신 스테이션(102) 또는 수신 스테이션(106)에 포함된 하드웨어로서 구현될 수 있다.
[0042] 위에서 논의된 인코더(400)의 재구성 경로와 유사한 디코더(500)는 일 예에서, 압축된 비트스트림(420)으로부터 출력 비디오 스트림(516)을 생성하기 위해 다양한 기능들을 수행하기 위한 다음의 스테이지들, 즉 엔트로피 디코딩 스테이지(502), 역양자화 스테이지(504), 역변환 스테이지(506), 인트라/인터 예측 스테이지(508), 재구성 스테이지(510), 루프 필터링 스테이지(512) 및 디블록킹 필터링 스테이지(514)를 포함한다. 디코더(500)의 다른 구조적 변경들이 압축된 비트스트림(420)을 디코딩하기 위해 사용될 수 있다.
[0043] 압축된 비트스트림(420)이 디코딩을 위해 제시되는경우, 압축된 비트스트림(420) 내의 데이터 엘리먼트들은 양자화된 변환 계수들의 세트를 생성하도록 엔트로피 디코딩 스테이지(502)에 의해 디코딩될 수 있다. 역양자화 스테이지(504)는 (예컨대, 양자화된 변환 계수들을 양자화기 값과 곱함으로써) 양자화된 변환 계수들을 역양자화하고, 역변환 스테이지(506)는, 인코더(400)의 역변환 스테이지(412)에 의해 생성된 것과 동일할 수 있는 파생 잔차를 생성하기 위해, 선택된 변환 타입을 사용하여, 역양자화된 변환 계수들을 역변환한다. 압축된 비트스트림(420)으로부터 디코딩된 헤더 정보를 사용하여, 디코더(500)는 인코더(400), 예컨대 인트라/인터 예측 스테이지(402)에서 생성되었던 것과 동일한 예측 블록을 생성하기 위해 인트라/인터 예측 스테이지(508)를 사용할 수 있다. 재구성 스테이지(510)에서, 예측 블록은 재구성된 블록을 생성하기 위해 파생 잔차에 부가될 수 있다. 루프 필터링 스테이지(512)는 블로킹 아티팩트들을 감소시키기 위해, 재구성된 블록에 적용될 수 있다. 다른 필터링이 재구성된 블록에 적용될 수 있다. 이러한 예에서, 디블록킹 필터링 스테이지(514)는 블록킹 왜곡을 감소시키기 위해, 재구성된 블록에 적용되며, 결과가 출력 비디오 스트림(516)으로서 출력된다. 출력 비디오 스트림(516)은 또한, 디코딩된 비디오 스트림으로 지칭될 수 있으며, 용어들은 본 명세서에서 상호교환가능하게 사용될 것이다.
[0044] 디코더(500)의 다른 변경들이 압축된 비트스트림(420)을 디코딩하기 위해 사용될 수 있다. 예컨대, 디코더(500)는 디블록킹 필터링 스테이지(514) 없이 출력 비디오 스트림(516)을 생성할 수 있다. 설명의 간략화를 위해 블록들을 참조하여 설명되지만, 디코더(500)는 이러한 기법에 따라 픽셀들(예컨대, 구역들)의 임의의 사이즈 또는 형상 그룹들을 디코딩할 수 있다.
[0045] 위에서 간략히 언급된 바와 같이, 프레임 또는 프레임의 구역은 마지막 프레임 모션 벡터 파티셔닝에 의해, 즉 모션 벡터를 사용하여 마지막 프레임의 파티셔닝을 조정함으로써 인코딩 또는 디코딩을 위해 파티셔닝될 수 있다. 일반적으로, 구역은, 새로운 구역의 모션 벡터에 의해 커버되는 모션 벡터들 중 하나에 의해 이전의 프레임 파티션들을 시프팅함으로써 별개의 구역들로 분할된다.
[0046] 도 6은 본 개시내용의 일 구현에 따른, 마지막 프레임 모션 벡터 파티셔닝에 의해 구역을 인코딩 또는 디코딩하기 위한 프로세스(600)의 흐름도 다이어그램이다. 방법 또는 프로세스(600)는 비디오 스트림의 인코딩 또는 디코딩을 보조하기 위해 컴퓨팅 디바이스(200)와 같은 시스템에서 구현될 수 있다. 프로세스(600)는, 예컨대, 송신 스테이션(102) 또는 수신 스테이션(106)과 같은 컴퓨팅 디바이스에 의해 실행되는 소프트웨어 프로그램으로서 구현될 수 있다. 소프트웨어 프로그램은, CPU(202)와 같은 프로세서에 의해 실행될 경우, 컴퓨팅 디바이스로 하여금 프로세스(600)를 수행하게 하는, 메모리(204)와 같은 메모리에 저장된 머신-판독가능 명령들을 포함할 수 있다. 프로세스(600)는 또한, 전체적으로 또는 부분적으로 하드웨어를 사용하여 구현될 수 있다. 위에서 설명된 바와 같이, 몇몇 컴퓨팅 디바이스들은 다수의 메모리들 및 다수의 프로세서들을 가질 수 있으며, 프로세스(600)의 단계들 또는 동작들은 그러한 경우들에서, 상이한 프로세서들 및 메모리들을 사용하여 분산될 수 있다. 본 명세서에서 단수형의 용어들 "프로세서" 및 "메모리"의 사용은, 오직 하나의 프로세서 또는 하나의 메모리만을 갖는 컴퓨팅 디바이스들 뿐만 아니라 반드시 모든 언급된 단계들이 아니라 몇몇 단계들의 실행에서 각각 사용될 수 있는 다수의 프로세서들 또는 메모리들을 갖는 디바이스들을 포함한다.
[0047] 설명의 간략화를 위해, 프로세스(600)는 일련의 단계들 또는 동작들로서 도시 및 설명된다. 그러나, 본 개시내용에 따른 단계들 및 동작들은 다양한 순서들로 그리고/또는 동시에 발생할 수 있다. 부가적으로, 본 개시내용에 따른 단계들 또는 동작들은 본 명세서에 제시 및 설명되지 않은 다른 단계들 또는 동작들과 함께 발생할 수 있다. 또한, 예시된 모든 단계들 또는 동작들이 개시된 요지에 따라 방법을 구현하는데 요구되지는 않을 수 있다. 프로세스(600)는 입력 신호의 각각의 프레임의 각각의 블록에 대해 반복될 수 있다. 몇몇 구현들에서, 하나 또는 그 초과의 프레임들의 몇몇 블록들만이 프로세스(600)에 따라 프로세싱될 수 있다. 예컨대, 인트라-예측 모드들을 사용하여 인코딩된 블록들은 프로세스(600)를 수행할 경우 생략될 수 있다.
[0048] 프로세스(600)가 인코딩 프로세스인 경우, 입력 신호는, 예컨대 비디오 스트림(300)일 수 있다. 입력 신호는, 임의의 수의 방식들로 프로세스(600)를 수행하는 컴퓨터에 의해 수신될 수 있다. 예컨대, 입력 신호는 이미지-감지 디바이스(220)에 의해 캡쳐되거나, 또는 버스(212)에 연결된 입력을 통해 다른 디바이스로부터 수신될 수 있다. 다른 구현에서, 입력 신호는 2차 저장소(214)로부터 리트리브될 수 있다. 입력 신호를 수신하는 다른 방식들 및 입력 신호의 다른 소스들이 가능하다. 예컨대, 프로세스(600)가 디코딩 프로세스인 경우, 입력 신호는 압축된 비트스트림(420)과 같은 인코딩된 비트스트림일 수 있다.
[0049] 입력 신호를 사용하여, 구역의 제1 파티셔닝이 602에서 결정된다. 이것은, 비디오 시퀀스의 현재의 프레임 이전의 프레임의 적어도 일부의 제1 파티셔닝을 결정하는 것을 포함할 수 있다.
[0050] 프로세스(600)가 인코딩 프로세스인 경우, 제1 파티셔닝을 결정하는 것은 레이트-왜곡 계산들을 사용하는 것을 포함할 수 있다. 예컨대, 프레임이 비디오 시퀀스의 제1 프레임인 경우, 제1 파티셔닝은, 프레임을 블록들로 분할하고, 예컨대, 도 4의 인코딩 프로세스에 따라 가장 낮은 레이트-왜곡 값에 의해 결정된 바와 같은 복수의 이용가능한 예측 모드들 중에서 블록들에 대한 최상의 예측 모드를 결정함으로써 수행될 수 있다. 일 예에서, 블록은 16×16 픽셀 블록이며, 이용가능한 예측 모드들은 8×16 픽셀들, 16×8 픽셀들, 8×8 픽셀들, 8×4 픽셀들, 4×8 픽셀들, 및 4×4 픽셀들의 사이즈들을 갖는 블록 및 블록의 서브-블록들에 대한 수 개의 인트라-예측 및 인터-예측 모드들을 포함할 수 있다. 다른 예에서, 프레임은 비디오 시퀀스의 제1 프레임이 아니다. 그러한 경우, 제1 파티셔닝은 이전의 프레임, 예컨대, 그 프레임 이전의 비디오 시퀀스의 마지막 프레임의 파티셔닝에 기반하여 본 명세서에서 설명된 바와 같이 결정될 수 있다.
[0051] 프로세스(600)가 디코딩 프로세스인 경우, 제1 파티셔닝을 결정하는 것은 도 5에 대해 설명된 것과 같이, 인코딩된 비디오 비트스트림으로부터 프레임을 디코딩하는 것을 포함할 수 있다. 일 구현에서, 디코딩된 프레임은 인코더에 의해 결정된 파티셔닝에 따라 디코딩된다.
[0052] 프로세스(600)가 인코딩 프로세스 또는 디코딩 프로세스인지에 관계없이, 제1 파티셔닝은 프레임의 제1 구역의 적어도 하나의 예측 서브-구역을 정의한다. 제1 파티셔닝은 604에서 모션 벡터를 사용하여 수정된다. 일 구현에서, 제1 파티셔닝을 수정하는 것은, 제1 파티셔닝으로부터 제1 구역의 적어도 하나의 예측 서브-구역을 예측하는 모션 벡터를 사용하여 제1 파티셔닝을 제2 파티셔닝으로 수정하는 것을 포함한다. 몇몇 경우들에서, 이것은, 모션 벡터에 의해 프레임 내에서 제1 구역의 위치를 이동시키고 그 후, 새로운 구역을 적어도 부분적으로 오버레이하는 예측 서브-구역의 적어도 하나의 모션 벡터에 의해 새로운 구역 포지션의 경계들 내에 포함되는 제1 파티셔닝을 수정함으로써 달성된다. 다른 경우들에서, 이것은, 모션 벡터에 의해 제1 구역의 경계들 내에 포함된 제1 파티셔닝을 수정함으로써 달성된다.
[0053] 도 7a 내지 도 7c는 도 6의 프로세스(600)를 설명하는데 사용되는 일 예의 다이어그램들이다. 더 구체적으로, 도 7a 내지 도 7c는 프로세스(600)의 604에서 제1 파티셔닝을 수정하는 것을 설명한다. 이러한 예는 블록들로서 형상화된 구역들을 초래하는 파티셔닝을 나타내므로, 용어 블록이 사용된다. 그러나, 도 7a 내지 도 7c를 참조하는 프로세스(600)의 설명은 직사각형 형상들을 가질 수 있거나 갖지 않을 수 있는 구역들에 적용될 것이다.
[0054] 도 7a는 비디오 시퀀스의 현재의 프레임 이전의 프레임의 제1 파티셔닝(700)의 일부를 도시한다. 블록-기반 파티셔닝의 이러한 예에서, 제1 블록(702)은 하나의 예측 서브-블록으로만 파티셔닝된다. 즉, 제1 블록(702)은 도 7a의 제1 블록(702)의 경계들 내의 화살표에 의해 표현된 단일 모션 벡터를 사용하여 예측된다. 제1 파티셔닝(700)의 수 개의 다른 예측 서브-블록들이 도 7a에 도시된다. 구체적으로, 3개의 다른 블록들의 예측 서브-블록들이 예로서 라벨링된다.
[0055] 제1 블록(702) 위의 블록은 4개의 균등하게-사이징된 예측 서브-블록들로 파티셔닝되며, 그 서브-블록들 중 2개는 예측 서브-블록(706) 및 예측 서브-블록(708)으로 라벨링된다. 예측 서브-블록(706)은 도 7a의 예측 서브-블록(706)의 경계들 내의 화살표에 의해 도시된 모션 벡터를 사용하여 예측되는 반면, 예측 서브-블록(708)은 도 7a의 예측 서브-블록(708)의 경계들 내의 화살표에 의해 도시된 모션 벡터를 사용하여 예측된다. 예측 서브-블록들(706, 708)의 모션 벡터들은 상이하거나, 또는 그들이 표현하는 블록의 일부는 단일 서브-블록으로 도시될 것이다. 제1 블록(702) 위의 블록 중 나머지 2개의 서브-블록들은 상이한 예측 모드들 및/또는 상이한 모션 벡터들을 사용하여 인코딩된다.
[0056] 위의 블록의 우측의 블록은 4개의 균등하게-사이징된 예측 서브-블록들로 또한 파티셔닝되며, 그 서브-블록들 중 하나는 예측 서브-블록(710)으로 라벨링된다. 예측 서브-블록(710)은 도 7a의 예측 서브-블록(710)의 경계들 내에서 점(dot)으로 도시된 바와 같이 인트라-예측을 사용하여 예측된다. 이러한 블록의 나머지 예측 서브-블록들은, 그들이 여기에서 사용되지 않기 때문에 이러한 예에서는 라벨링되지 않지만, 그들 각각은 상이한 예측 모드들 및/또는 상이한 모션 벡터들을 사용하여 인코딩될 수 있다.
[0057] 제1 블록(702)의 우측의 블록은 2개의 균등하게-사이징된 예측 서브-블록들로 파티셔닝되며, 그 서브-블록들 중 하나는 예측 서브-블록(712)으로 라벨링된다. 예측 서브-블록(712)은 도 7a의 예측 서브-블록(712)의 경계들 내에서 점으로 도시된 바와 같이 인트라-예측을 사용하여 예측된다. 이러한 블록의 나머지 예측 서브-블록은, 그것이 여기에서 사용되지 않기 때문에 이러한 예에서는 라벨링되지 않지만, 그것은 상이한 예측 모드를 사용하여 인코딩된다.
[0058] 제1 블록(702)은 16×16 픽셀 블록, 32×32 픽셀 블록, 또는 몇몇 다른 사이즈의 블록일 수 있다. 제1 블록(702)이 예컨대, 16×16 픽셀 블록인 경우, 예측 서브-블록들(706, 708, 710)은 8×8 픽셀들을 각각 포함하며, 예측 서브-블록(712)은 8×16 픽셀들이다.
[0059] 위에서 언급된 바와 같이, 제1 파티셔닝은, 제1 파티셔닝으로부터 제1 구역의 적어도 하나의 예측 서브-구역을 예측하는 모션 벡터를 사용하여 제2 파티셔닝으로 수정될 수 있다. 도 7a 내지 도 7c의 예에서, 이것은, 모션 벡터에 의해 프레임 내에서 제1 구역(여기에서는 블록)의 위치를 이동시키고 그 후, 새로운 포지션을 적어도 부분적으로 오버레이하는 예측 서브-구역의 적어도 하나의 모션 벡터에 의해 새로운 포지션의 경계들 내에 포함되는 제1 파티셔닝을 수정함으로써 달성된다. 도 7a에 도시된 바와 같이, 제1 블록(702)은 새로운 블록(704)에 의해 표시된 위치로 이동된다. 새로운 블록(704)의 경계들 내에 포함된 제1 파티셔닝은 제1 블록(702), 예측 서브-블록들(706, 708, 710), 및 예측 서브-블록(712)의 일부들을 포함한다. 새로운 블록(704)을 적어도 부분적으로 오버레이하는 예측 서브-블록들의 모션 벡터들은 제1 블록(702) 및 예측 서브-블록들(706, 708)에 대한 모션 벡터들을 포함한다. 도 7b는 제1 파티셔닝의 수정을 도시하고, 그 수정에 의해, 새로운 블록(704)의 경계들 내의 인접한 예측 블록들 또는 서브-블록들 사이의 꼭짓점들(720, 722)에 의해 정의된 경계들은 다른 모션 벡터에 의해 조정된다. 사용된 모션 벡터는 이용가능한 모션 벡터들 중 오직 하나, 이를테면 가장 큰 또는 가장 작은 모션 벡터일 수 있거나, 또는 그것은 이용가능한 모션 벡터들의 결합, 이를테면 평균 또는 가중 평균일 수 있다. 가중 평균은, 모션 벡터들 각각을 사용하여 예측된 새로운 블록(704)의 일부(예컨대, 전체적으로 구역 내의 픽셀들의 수)에 기반할 수 있다. 도 7c는 5개의 예측 서브-블록들(732 내지 740)을 포함하는 새로운 블록(704)에 대한 결과적인 제2 파티셔닝(730)을 도시한다.
[0060] 더 일반적으로 언급하면, 도 7a 내지 도 7c는 프로세스를 도시하며, 그 프로세스에 의해, 제1 파티셔닝을 수정하는 것은 모션 벡터를 사용하여 프레임 내의 업데이트된 포지션으로 제1 구역의 외부 경계들을 조정하는 것을 포함하며, 여기서, 업데이트된 포지션은 프레임의 구역들의 일부들(예컨대, 예측 서브-블록들의 부분들)을 오버레이한다. 그 후, 구역들의 일부들의 코너들 또는 꼭짓점들(및 그들의 경계들)은 제1 파티셔닝을 제2 파티셔닝으로 수정하기 위해 동일한 모션 벡터(또는 상이한 모션 벡터)에 의해, 업데이트된 포지션 내에서 이동된다.
[0061] 도 8a 및 도 8b는 도 6의 프로세스(600)를 설명하는데 사용되는 다른 예의 다이어그램들이다. 이러한 경우, 모션 벡터를 사용하여 제1 파티셔닝을 수정하는 것은, 모션 벡터에 의해 제1 구역의 경계들 내에 포함된 제1 파티셔닝을 수정함으로써 달성된다. 도 8a 및 도 8b가 블록들로의 파티셔닝을 도시하기 때문에, 구역들은 블록들로 지칭된다. 도 8a에 도시된 바와 같이, 블록(800)은 4개의 예측 서브-블록들로 파티셔닝되며, 그 예측 서브-블록들 중 하나는 모션 벡터(802)를 사용하여 예측되고, 그들 중 다른 3개는 인트라-예측된다. 이러한 경우, 수정된 제2 파티셔닝이 블록(810)에 대해 도시되며, 여기서 도 7b에서와 같이, 예측 서브-블록들 사이의 교차점(코너 또는 꼭짓점)은 제1 파티셔닝을 제2 파티셔닝으로 수정하도록 모션 벡터(802)에 의해 이동된다.
[0062] 파티셔닝을 수정하는데 사용되는 모션 벡터들 사이의 선택은, 예컨대, 예측 모드들 또는 모션 벡터 값들에 기반하여 발견적으로 결정될 수 있거나, 또는 상이한 기법들을 테스팅하고 인코딩되는 블록(및 프레임)에 가장 적합한 기법을 선택함으로써 실험적으로 결정될 수 있다. 도 6에 따라 프로세싱된 프레임의 각각의 블록에 대한 파티셔닝을 수정하는데 사용되는 기법은, 디코더가 후속 프레임의 동일한 파티셔닝을 생성하도록 비트스트림 내의 플래그 또는 다른 식별자에 의해 식별될 수 있다. 이것은, 동일한 기법이 프레임에 대해 사용되는 정도까지 프레임 헤더에서 전송될 수 있다. 대안적으로 또는 부가적으로, 구역 또는 세그먼트 기반으로 파티셔닝을 수정하는데 사용되는 모션 벡터는 디코더에 의한 사용을 위해 구역(예컨대, 블록) 또는 세그먼트 헤더에서 전송될 수 있다. 몇몇 구현들에서, 디코더가 새로운 파티셔닝을 생성할 수 있기 위해 구역, 세그먼트 또는 프레임의 파티셔닝이 마지막 프레임 모션 벡터 파티셔닝을 사용하여 수행되었다는 것을 표시하도록 오직 모드 식별자만이 인코더로부터 전송될 필요가 있다. 이들 구현들의 변형에서, 프로세스(600)는 인코더에서만 수행되며, 디코더는 예컨대, 도 5에 따라 비트스트림 내에 로케이팅된 파티셔닝된 구역들을 디코딩할 수 있다.
[0063] 일단 수정된 제2 파티셔닝이 결정되면, 그것은 606에서 현재의 프레임의 현재의 구역을 인코딩 또는 디코딩하기 위해 사용된다. 현재의 구역은 제1 구역과 나란히 배치될 수 있다. 예컨대, 현재의 구역 및 제1 구역은 나란히 배치된 블록들일 수 있다. 나란히 배치된 구역들은 상이한 프레임들 내에서 동일한 픽셀 좌표들을 갖는다. 대안적으로, 현재의 구역은, 일 예에서 제1 블록(702)에 대한 모션 벡터와 같은 모션 벡터에 의해 제1 구역 포지션으로부터 현재의 프레임 내에서 시프팅될 수 있다. 현재의 구역을 인코딩하는 것은, 현재의 구역의 예측 서브-구역들에 대한 잔차들을 생성함으로써 제2 파티셔닝의 예측 서브-구역들을 인코딩하는 것, 및 현재의 구역을 디코딩하는데 필요한 정보를 이용하여 잔차들을 인코딩된 비트스트림으로 인코딩하는 것을 포함한다. 예컨대, 인코딩 프로세스는 도 4에 대해 설명된 바와 같이, 변환 스테이지(404), 양자화 스테이지(406), 및 엔트로피 인코딩 스테이지(408)를 사용하여 잔차들을 프로세싱하는 것을 포함할 수 있다. 각각의 예측 서브-구역에 대한 잔차들은, 그 각각에 대한 최상의 모드에 대한 이용가능한 예측 모드들의 포괄적인 테스팅을 통해 결정된 상이한 예측 모드들을 사용하여 생성될 수 있거나, 또는 제1 구역에 대한 이전의 예측 모드에 기반하여 더 작은 리스트의 예측 모드들로부터 결정될 수 있다.
[0064] 프로세스(600)가 디코딩 프로세스인 경우, 수정된 파티셔닝은, 잔차들을 디코딩하기 위해 현재의 구역의 각각의 예측 서브-구역에 대한 잔차들의 사이즈를 결정하고, 그 후 현재의 구역을 재구성하도록 잔차들에 부가할 그 각각에 대한 유사하게-사이징된 예측 구역을 생성하는데 사용될 수 있다. 예컨대, 디코딩 프로세스는 도 5에 대해 설명된 바와 같이, 엔트로피 디코딩 스테이지(502), 역양자화 스테이지(504), 및 역변환 스테이지(506)를 사용하여 잔차를 프로세싱하는 것을 포함할 수 있다. 그 후, 현재의 구역은 도 5에 대해 또한 설명된 바와 같이 재구성 스테이지(510)에서 재구성될 수 있다.
[0065] 프로세스(600)가 블록-기반 파티셔닝 기법을 사용하여 형성된 직사각형-형상의 예측 서브-블록들로 특정한 예들에 대해 설명되었지만, 프로세스(600)는 프레임에 대한 다양한 파티셔닝 기법들로부터 초래되는 구역들에 대해 사용될 수 있다. 프로세스(600)는, 예컨대 모션 벡터에 의해 시프팅된 마지막 프레임에 대한 마스크를 사용함으로써 마스크들을 이용하여 매우 양호하게 작동한다. 마스크가 별개로 예측되는 2개의 일반적으로 인접한 픽셀 영역들 사이의 경계를 갖는다면, 제1 파티셔닝은 제1 구역의 2개의 예측 서브-구역들을 정의할 것이고, 제2 파티셔닝은 2개의 업데이트된 예측 서브-구역들을 포함할 것이며, 여기서, 업데이트된 예측 서브-구역들 사이의 경계는 모션 벡터에 의해 제1 구역 내에서 이동된 본래의 예측 서브-구역들 사이의 경계이다. 즉, 예컨대, 제1 파티셔닝은 마스크를 사용하여 제1 구역의 2개의 예측 서브-구역들을 정의할 수 있으며, 여기서, 2개의 예측 서브-구역들 각각은 마스크 내의 경계의 대향 측면 상에 존재한다. 그 후, 제1 파티셔닝을 수정하는 것은, 업데이트된 마스크가 예측을 위해 사용되는 경우 제2 파티셔닝이 업데이트된 경계의 대향 측면들 상에 2개의 업데이트된 예측 서브-구역들을 포함하도록 예측을 위한 업데이트된 경계를 생성하기 위하여 모션 벡터에 의해 마스크 내의 경계를 이동시키는 것을 포함한다. 예컨대, 웨지, 컬러, 잔차, 및 3개의 모션 벡터 모드 마스크들을 사용하여 파티셔닝 기법들로부터 초래된 구역들 모두는 프로세스(600)에 따라 마지막 프레임 모션 벡터 파티셔닝으로부터 이득을 얻을 수 있다.
[0066] 이전의 프레임의 파티셔닝을 새로운 프레임에 대해 유효하게 만들기 위해 그 파티셔닝을 변경시키도록 모션 벡터를 사용함으로써, 새로운 프레임을 인코딩할 경우 파티셔닝에 수반된 계산은 최소화될 수 있다. 본 명세서의 교시들은, 프레임의 새롭게-정의된 구역들이 그 자신의 모션 벡터들 및/또는 코딩 모드를 갖게 허용하는 유연성을 가지면서 전체 프레임을 리파티셔닝하는 것을 피하고, 픽셀들의 비-정방형 블록들에 대한 별개의 모드들 및 모션 벡터들을 허용하기 위한 옵션을 제공한다. 이것은 압축을 위한 양호한 예측을 제공하는 것을 보조한다.
[0067] 위에서 설명된 인코딩 및 디코딩의 양상들은 인코딩 및 디코딩 기법들의 몇몇 예들을 예시한다. 그러나, 인코딩 및 디코딩이 청구항들에서 사용되는 바와 같이, 그 인코딩 및 디코딩이 데이터의 압축, 압축해제, 변환, 또는 임의의 다른 프로세싱 또는 변화를 의미할 수 있다는 것이 이해될 것이다.
[0068] 단어 "예시적인"은 예, 예시, 또는 예증으로서 기능하는 것을 의미하도록 본 명세서에서 사용된다. "예시적인" 것으로서 본 명세서에 설명된 임의의 양상 또는 설계는 다른 양상들 또는 설계들에 비해 반드시 바람직하거나 유리한 것으로서 해석될 필요는 없다. 오히려, 단어 "예시적인"의 사용은 구체적인 방식으로 개념들을 제시하도록 의도된다. 본 출원에서 사용된 바와 같이, 용어 "또는"은 배타적인 "또는" 보다는 포괄적인 "또는"을 의미하도록 의도된다. 즉, 달리 명시되거나 문맥상 명확하지 않으면, "X는 A 또는 B를 포함한다"는 본래의 포괄적인 치환들 중 임의의 치환을 의미하도록 의도된다. 즉, X는 A를 포함하거나; X는 B를 포함하거나; 또는 X는 A 및 B 둘 모두를 포함한다면, "X는 A 또는 B"를 포함한다"는 전술한 예시들 중 임의의 예시 하에서 충족된다. 부가적으로, 본 출원 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현들은 달리 명시되지 않거나 단수 형태로 지시되는 것으로 문맥상 명확하지 않으면, "하나 또는 그 초과"를 의미하도록 일반적으로 해석되어야 한다. 또한, 용어 "일 구현" 또는 "하나의 구현"의 전반에 걸친 사용은, 동일한 실시예 또는 구현으로서 설명되지 않으면, 동일한 실시예 또는 구현을 의미하도록 의도되지 않는다.
[0069] 송신 스테이션(102) 및/또는 수신 스테이션(106)(및 이들 상에 저장된 그리고/또는 (인코더(400) 및 디코더(500)에 의한 것을 포함하여) 이들에 의해 실행되는 알고리즘들, 방법들, 명령들 등)의 구현들은 하드웨어, 소프트웨어, 또는 이들의 임의의 결합으로 실현될 수 있다. 하드웨어는, 예컨대, 컴퓨터들, 지적 재산(IP) 코어들, 주문형 집적 회로(ASIC)들, 프로그래밍가능 로직 어레이들, 광학 프로세서들, 프로그래밍가능 로직 제어기들, 마이크로코드, 마이크로제어기들, 서버들, 마이크로프로세서들, 디지털 신호 프로세서들 또는 임의의 다른 적합한 회로를 포함할 수 있다. 청구항들에서, 용어 "프로세서"는 전술한 하드웨어 중 임의의 하드웨어를 단일로 또는 결합으로 포함하는 것으로 이해되어야 한다. 용어들 "신호" 및 "데이터"는 상호교환가능하게 사용된다. 추가로, 송신 스테이션(102) 및 수신 스테이션(106)의 일부들은 반드시 동일한 방식으로 구현될 필요는 없다.
[0070] 추가로, 일 양상에서, 예컨대, 송신 스테이션(102) 또는 수신 스테이션(106)은 실행될 경우, 본 명세서에 설명된 각각의 방법들, 알고리즘들 및/또는 명령들 중 임의의 것을 수행하는 컴퓨터 프로그램으로 범용 컴퓨터 또는 범용 프로세서를 사용하여 구현될 수 있다. 부가적으로 또는 대안적으로, 예컨대, 본 명세서에 설명된 방법들, 알고리즘들, 또는 명령들 중 임의의 것을 수행하기 위한 다른 하드웨어를 포함할 수 있는 특수 목적 컴퓨터/프로세서가 이용될 수 있다.
[0071] 송신 스테이션(102) 및 수신 스테이션(106)은, 예컨대, 비디오 회의 시스템의 컴퓨터들 상에서 구현될 수 있다. 대안적으로, 송신 스테이션(102)은 서버 상에서 구현될 수 있고, 수신 스테이션(106)은 서버와는 별개의 디바이스, 이를테면 핸드-헬드 통신 디바이스 상에서 구현될 수 있다. 이러한 예시에서, 송신 스테이션(102)은 인코더(400)를 사용하여 콘텐츠를 인코딩된 비디오 신호로 인코딩하고, 인코딩된 비디오 신호를 통신 디바이스에 송신할 수 있다. 차례로, 그 후, 통신 디바이스는 인코딩된 비디오 신호를 디코더(500)를 사용하여 디코딩할 수 있다. 대안적으로, 통신 디바이스는 통신 디바이스 상에 로컬적으로 저장된 콘텐츠, 예컨대, 송신 스테이션(102)에 의해 송신되지 않았던 콘텐츠를 디코딩할 수 있다. 다른 적합한 송신 및 수신 구현 방식들이 이용가능하다. 예컨대, 수신 스테이션(106)은 휴대용 통신 디바이스보다는 일반적으로 정지형 개인용 컴퓨터일 수 있고 그리고/또는 인코더(400)를 포함하는 디바이스는 또한 디코더(500)를 포함할 수 있다.
[0072] 추가로, 본 발명의 구현들 중 전부 또는 일부는, 예컨대 유형의 컴퓨터-사용가능 또는 컴퓨터-판독가능 매체로부터 액세스가능한 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 컴퓨터-사용가능 또는 컴퓨터-판독가능 매체는, 예컨대, 임의의 프로세서에 의해 또는 그와 관련하여 사용을 위한 프로그램을 유형으로 포함, 저장, 통신, 또는 전달할 수 있는 임의의 디바이스일 수 있다. 매체는, 예컨대, 전자, 자기, 광학, 전자기, 또는 반도체 디바이스일 수 있다. 다른 적합한 매체들이 또한 이용가능하다.
[0073] 위에서-설명된 실시예들, 구현들 및 양상들은 본 발명의 용이한 이해를 허용하기 위해 설명되었으며, 본 발명을 제한하지 않는다. 대조적으로, 본 발명은 첨부된 청구항의 범위 내에 포함되는 다양한 변형들 및 동등한 어레인지먼트들을 커버하도록 의도되며, 그 범위는 그러한 모든 변형들 및 법률 하에서 허용되는 것과 동등한 구조를 포함하도록 가장 넓은 해석에 부합할 것이다.

Claims (22)

  1. 컴퓨팅 디바이스를 사용하여 비디오 신호를 인코딩 또는 디코딩하기 위한 방법으로서,
    상기 비디오 신호는 비디오 시퀀스를 정의하는 프레임들을 포함하고, 상기 프레임들은 픽셀들을 갖는 적어도 하나의 구역으로 파티셔닝되며,
    상기 방법은,
    상기 비디오 시퀀스의 현재의 프레임 이전의 프레임의 적어도 일부의 제1 파티셔닝을 결정하는 단계;
    상기 제1 파티셔닝으로부터 상기 프레임의 제1 구역의 적어도 예측 서브-구역을 예측하는 모션 벡터를 사용하여 상기 제1 파티셔닝을 제2 파티셔닝으로 수정하는 단계; 및
    상기 현재의 프레임의 현재의 구역을 인코딩 또는 디코딩하기 위해 상기 제2 파티셔닝을 사용하는 단계를 포함하는, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  2. 제1항에 있어서,
    상기 현재의 구역 및 상기 제1 구역은 매크로블록들과 같은 나란히 배치된(collocated) 블록들인, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제1 파티셔닝은 상기 제1 구역의 2개의 예측 서브-구역들을 정의하며,
    상기 제2 파티셔닝은 2개의 업데이트된 예측 서브-구역들을 포함하고, 상기 2개의 업데이트된 예측 서브-구역들 사이의 경계는 상기 모션 벡터에 의해 상기 제1 구역 내에서 이동되는 상기 제1 파티셔닝의 2개의 예측 서브-구역들 사이의 경계인, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  4. 제3항에 있어서,
    상기 모션 벡터는 상기 제1 구역의 2개의 예측 서브-구역들 중 하나만의 모션 벡터인, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  5. 제3항에 있어서,
    상기 모션 벡터는 상기 제1 구역의 2개의 예측 서브-구역들 각각의 모션 벡터를 결합한 평균 모션 벡터인, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    각각의 프레임은 복수의 블록들로 파티셔닝되고, 상기 제1 구역은 제1 블록이고, 상기 현재의 구역은 현재의 블록이며, 상기 제1 파티셔닝을 수정하는 단계는,
    상기 모션 벡터를 사용하여 상기 프레임 내의 업데이트된 포지션으로 상기 제1 블록의 외부 경계들을 조정하는 단계 ― 상기 업데이트된 포지션은 상기 프레임의 블록들의 일부들을 오버레이(overly)함 ―; 및
    상기 제1 파티셔닝을 상기 제2 파티셔닝으로 수정하도록 상기 모션 벡터에 의해, 상기 업데이트된 포지션의 외부 경계들 내에서 상기 블록들의 일부들의 꼭짓점들을 이동시키는 단계를 포함하는, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  7. 제6항에 있어서,
    상기 제1 블록은 단일 예측 서브-구역에 의해 정의되고, 상기 업데이트된 포지션 내의 제2 파티셔닝은 복수의 예측 서브-구역들을 포함하는, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 업데이트된 포지션은 적어도 3개의 블록들의 일부들 및 상기 제1 블록의 일부를 오버레이하고; 그리고
    상기 모션 벡터는 상기 업데이트된 포지션에 의해 포함된 가장 큰 모션 벡터인, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  9. 제6항 또는 제7항에 있어서,
    상기 업데이트된 포지션은 적어도 3개의 블록들의 일부들 및 상기 제1 블록의 일부를 오버레이하고; 그리고
    상기 모션 벡터는 상기 업데이트된 포지션에 의해 포함된 모션 벡터들의 평균인, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 제1 파티셔닝은 4개의 예측 서브-구역들을 포함하며,
    상기 제1 파티셔닝을 수정하는 단계는, 상기 제1 파티셔닝을 상기 제2 파티셔닝으로 수정하도록 상기 모션 벡터에 의해 상기 4개의 예측 서브-구역들 사이의 교차점을 이동시키는 단계를 포함하는, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 제2 파티셔닝을 사용하는 단계는, 상기 제2 파티셔닝에 따른 상기 현재의 구역의 각각의 예측 서브-구역에 대해,
    상기 예측 서브-구역에 대한 예측기 구역을 생성하는 단계;
    상기 예측기 구역을 사용하여 잔차(residual) 구역을 계산하는 단계; 및
    코딩된 비트스트림 내로 상기 잔차 구역을 인코딩하는 단계를 포함하는, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    인코딩된 비트스트림 내에서, 인코더로부터 디코더로 상기 제1 파티셔닝을 수정하는데 사용되는 상기 모션 벡터를 시그널링하는 단계를 더 포함하는, 비디오 신호를 인코딩 또는 디코딩하기 위한 방법.
  13. 비디오 신호를 인코딩 또는 디코딩하기 위한 장치로서,
    상기 비디오 신호는 비디오 시퀀스를 정의하는 프레임들을 포함하고, 각각의 프레임은 적어도 하나의 구역으로 파티셔닝되고, 각각의 구역은 픽셀들을 가지며,
    상기 장치는,
    상기 비디오 시퀀스의 현재의 프레임 이전의 프레임의 적어도 일부의 제1 파티셔닝을 결정하고;
    상기 제1 파티셔닝으로부터 상기 프레임의 제1 구역의 적어도 예측 서브-구역을 예측하는 모션 벡터를 사용하여 상기 제1 파티셔닝을 제2 파티셔닝으로 수정하며; 그리고
    상기 현재의 프레임의 현재의 구역을 인코딩 또는 디코딩하기 위해 상기 제2 파티셔닝을 사용하도록
    배열되는, 비디오 신호를 인코딩 또는 디코딩하기 위한 장치.
  14. 제13항에 있어서,
    상기 제1 파티셔닝은 마스크를 사용하여 상기 제1 구역의 2개의 예측 서브-구역들을 정의하고, 상기 2개의 예측 서브-구역들은 상기 마스크 내의 경계의 대향 측면들 상에 존재하며,
    상기 제1 파티셔닝을 수정하는 것은, 상기 제2 파티셔닝이 업데이트된 경계의 대향 측면들 상에 2개의 업데이트된 예측 서브-구역들을 포함하도록 상기 업데이트된 경계를 생성하기 위하여 상기 모션 벡터에 의해 상기 마스크 내의 경계를 이동시키는 것을 포함하는, 비디오 신호를 인코딩 또는 디코딩하기 위한 장치.
  15. 제13항 또는 제14항에 있어서,
    상기 장치는,
    새로운 구역을 식별하기 위해 상기 제1 구역의 적어도 하나의 예측 서브-구역을 예측하는 상기 모션 벡터에 의해 상기 프레임 내에서 상기 제1 구역의 경계들을 식별하는 위치를 이동시키고; 그리고
    상기 새로운 구역을 적어도 부분적으로 오버레이하는 예측 서브-구역의 적어도 하나의 모션 벡터에 의해 상기 위치에서 상기 새로운 구역의 경계들 내에 포함된 상기 제1 파티셔닝을 수정함으로써,
    상기 제1 파티셔닝을 상기 상기 제2 파티셔닝으로 수정하도록 추가로 배열되는, 비디오 신호를 인코딩 또는 디코딩하기 위한 장치.
  16. 제15항에 있어서,
    상기 새로운 구역을 적어도 부분적으로 오버레이하는 상기 예측 서브-구역의 적어도 하나의 모션 벡터는, 상기 제1 구역의 적어도 하나의 예측 서브-구역을 예측하는 모션 벡터인, 비디오 신호를 인코딩 또는 디코딩하기 위한 장치.
  17. 제15항에 있어서,
    상기 새로운 구역을 적어도 부분적으로 오버레이하는 상기 예측 서브-구역의 적어도 하나의 모션 벡터는, 상기 새로운 구역을 적어도 부분적으로 오버레이하는 적어도 2개의 예측 서브-구역들의 각각의 모션 벡터들의 결합인, 비디오 신호를 인코딩 또는 디코딩하기 위한 장치.
  18. 제13항 내지 제17항 중 어느 한 항에 있어서,
    상기 장치는, 상기 제2 파티셔닝에 따른 상기 현재의 구역의 각각의 예측 서브-구역에 대해,
    상기 현재의 구역의 예측 서브-구역과 연관된 잔차 서브-구역을 디코딩하고;
    상기 예측 서브-구역에 대한 예측기 구역을 생성하며; 그리고
    상기 잔차 서브-구역을 상기 예측기 구역과 결합함으로써,
    상기 제2 파티셔닝을 사용하도록 추가로 배열되는, 비디오 신호를 인코딩 또는 디코딩하기 위한 장치.
  19. 제13항 내지 제18항 중 어느 한 항에 있어서,
    상기 모션 벡터는 상기 제1 구역의 적어도 2개의 예측 서브-구역들의 각각의 모션 벡터들의 결합인, 비디오 신호를 인코딩 또는 디코딩하기 위한 장치.
  20. 비디오 신호를 인코딩하기 위한 장치로서,
    상기 비디오 신호는 비디오 시퀀스를 정의하는 프레임들을 포함하고, 각각의 프레임은 블록들로 파티셔닝되고, 각각의 블록은 픽셀들을 가지며,
    상기 장치는,
    상기 비디오 시퀀스의 현재의 프레임 이전의 프레임의 제1 블록의 제1 파티셔닝을 결정하고;
    새로운 블록을 식별하기 위해 상기 제1 블록의 예측 서브-블록을 예측하는 모션 벡터에 의해 상기 프레임 내에서 상기 제1 블록의 경계들을 식별하는 위치를 이동시킴으로써 상기 제1 파티셔닝을 제2 파티셔닝으로 수정하고, 그리고 상기 새로운 블록을 적어도 부분적으로 오버레이하는 상기 프레임의 예측 서브-블록의 모션 벡터에 의해 상기 위치에서 상기 새로운 블록의 경계들 내에 포함된 상기 제1 파티셔닝을 수정하며; 그리고
    상기 현재의 프레임의 현재의 블록을 인코딩하기 위해 상기 제2 파티셔닝을 사용하도록
    배열되고,
    상기 현재의 블록은 상기 제1 블록과 나란히 배치되는, 비디오 신호를 인코딩하기 위한 장치.
  21. 제1항 내지 제12항 중 어느 한 항의 단계들을 수행하도록 배열된 장치.
  22. 장치로서,
    프로세서; 및
    상기 프로세서로 하여금 제1항 내지 제12항 중 어느 한 항의 단계들을 수행하게 하거나 또는 제13항 내지 제20항 중 어느 한 항의 장치를 실시하게 하는 명령들을 저장한 비-일시적인 메모리를 포함하는, 장치.
KR1020187010580A 2016-01-29 2016-12-22 마지막 프레임 모션 벡터 파티셔닝 KR102120135B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/011,415 US10306258B2 (en) 2016-01-29 2016-01-29 Last frame motion vector partitioning
US15/011,415 2016-01-29
PCT/US2016/068220 WO2017131904A1 (en) 2016-01-29 2016-12-22 Last frame motion vector partitioning

Publications (2)

Publication Number Publication Date
KR20180053372A true KR20180053372A (ko) 2018-05-21
KR102120135B1 KR102120135B1 (ko) 2020-06-08

Family

ID=57799843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187010580A KR102120135B1 (ko) 2016-01-29 2016-12-22 마지막 프레임 모션 벡터 파티셔닝

Country Status (9)

Country Link
US (2) US10306258B2 (ko)
JP (1) JP6605726B2 (ko)
KR (1) KR102120135B1 (ko)
CN (1) CN107027032B (ko)
AU (1) AU2016389093B2 (ko)
CA (1) CA3001888C (ko)
DE (2) DE202016008177U1 (ko)
GB (1) GB2547091B (ko)
WO (1) WO2017131904A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6895247B2 (ja) * 2016-10-06 2021-06-30 日本放送協会 符号化装置、復号装置及びプログラム
GB2591059B (en) * 2017-04-21 2022-02-16 Zenimax Media Inc Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
KR20200012957A (ko) * 2017-06-30 2020-02-05 후아웨이 테크놀러지 컴퍼니 리미티드 인터-프레임 예측 방법 및 디바이스
US10805629B2 (en) * 2018-02-17 2020-10-13 Google Llc Video compression through motion warping using learning-based motion segmentation
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
CN117956182A (zh) * 2018-06-04 2024-04-30 华为技术有限公司 获取运动矢量的方法和装置
US10516885B1 (en) * 2018-07-11 2019-12-24 Tencent America LLC Method and apparatus for video coding
EP3664451B1 (en) 2018-12-06 2020-10-21 Axis AB Method and device for encoding a plurality of image frames
CN113597760A (zh) 2019-01-02 2021-11-02 北京字节跳动网络技术有限公司 视频处理的方法
SG11202108101SA (en) * 2019-01-28 2021-08-30 Op Solutions Llc Inter prediction in exponential partitioning
KR20210118154A (ko) * 2019-01-28 2021-09-29 오피 솔루션즈, 엘엘씨 적응형 개수의 영역들을 갖는 기하학적 파티셔닝에서의 인터 예측
US11758133B2 (en) * 2019-10-31 2023-09-12 Apple Inc Flexible block partitioning structures for image/video compression and processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304569A1 (en) * 2007-06-08 2008-12-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using object boundary based partition
US8358691B1 (en) * 2009-10-30 2013-01-22 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62104283A (ja) 1985-10-31 1987-05-14 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像伝送における差分復号信号の雑音低減装置
IT1232109B (it) 1989-06-21 1992-01-23 Cselt Centro Studi Lab Telecom Procedimento e dispositivo di riconoscimento del contorno di immagini in movimento
JP3037383B2 (ja) 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
EP0476603B1 (en) 1990-09-20 1997-06-18 Nec Corporation Method and apparatus for coding moving image signal
GB2266023B (en) 1992-03-31 1995-09-06 Sony Broadcast & Communication Motion dependent video signal processing
US6614847B1 (en) * 1996-10-25 2003-09-02 Texas Instruments Incorporated Content-based video compression
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US5969772A (en) 1997-10-30 1999-10-19 Nec Corporation Detection of moving objects in video data by block matching to derive a region motion vector
US7277486B2 (en) 2002-05-03 2007-10-02 Microsoft Corporation Parameterization for fading compensation
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
US8520845B2 (en) * 2007-06-08 2013-08-27 Intel Corporation Method and apparatus for expansion key generation for block ciphers
CN101822056B (zh) 2007-10-12 2013-01-02 汤姆逊许可公司 用于视频编解码几何划分的双向预测模式划分的方法和装置
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
JP5286805B2 (ja) 2008-01-31 2013-09-11 沖電気工業株式会社 動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US20090320081A1 (en) 2008-06-24 2009-12-24 Chui Charles K Providing and Displaying Video at Multiple Resolution and Quality Levels
US8675736B2 (en) 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
EP2280550A1 (en) 2009-06-25 2011-02-02 Thomson Licensing Mask generation for motion compensation
US9473792B2 (en) 2009-11-06 2016-10-18 Texas Instruments Incorporated Method and system to improve the performance of a video encoder
KR20110061468A (ko) 2009-12-01 2011-06-09 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
US20120300850A1 (en) 2010-02-02 2012-11-29 Alex Chungku Yie Image encoding/decoding apparatus and method
US8879632B2 (en) 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
JP5368631B2 (ja) 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
JP2013524730A (ja) * 2010-04-12 2013-06-17 クゥアルコム・インコーポレイテッド 幾何学的動き区分のための固定小数点実装形態
KR102360005B1 (ko) * 2010-04-13 2022-02-08 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
EP2569942A1 (en) 2010-05-11 2013-03-20 Telefonaktiebolaget LM Ericsson (publ) Video signal compression coding
JP5541364B2 (ja) 2010-09-30 2014-07-09 富士通株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム
KR20240034886A (ko) * 2010-10-08 2024-03-14 지이 비디오 컴프레션, 엘엘씨 블록 분할 및 블록 병합을 지원하는 픽처 코딩
US20120147961A1 (en) 2010-12-09 2012-06-14 Qualcomm Incorporated Use of motion vectors in evaluating geometric partitioning modes
US10027982B2 (en) 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
EP2942961A1 (en) 2011-11-23 2015-11-11 HUMAX Holdings Co., Ltd. Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
JP6080277B2 (ja) 2012-04-24 2017-02-15 リリカル ラブズ ビデオ コンプレッション テクノロジー、エルエルシー ビデオ圧縮のためのオブジェクト分析を用いたマクロブロックの区画化及び動き予測、ビデオを符号化する方法、ビデオ符号化コンピューティングシステム及びプログラム
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
US20130329800A1 (en) 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Method of performing prediction for multiview video processing
US9549182B2 (en) 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
HUE050421T2 (hu) 2013-04-23 2020-12-28 Qualcomm Inc Predikciós maradékblokkok átpozicionálása videokódolásban
GB2520002B (en) 2013-11-04 2018-04-25 British Broadcasting Corp An improved compression algorithm for video compression codecs
US9986236B1 (en) 2013-11-19 2018-05-29 Google Llc Method and apparatus for encoding a block using a partitioned block and weighted prediction values
TWI536811B (zh) 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
WO2015142075A1 (ko) 2014-03-19 2015-09-24 삼성전자 주식회사 3d 영상에 관련된 블록의 파티션 경계에서 필터링 수행 방법
US10554965B2 (en) 2014-08-18 2020-02-04 Google Llc Motion-compensated partitioning
WO2016074744A1 (en) 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a digital image
US9838710B2 (en) 2014-12-23 2017-12-05 Intel Corporation Motion estimation for arbitrary shapes
US10469841B2 (en) 2016-01-29 2019-11-05 Google Llc Motion vector prediction using prior frame residual

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304569A1 (en) * 2007-06-08 2008-12-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using object boundary based partition
US8358691B1 (en) * 2009-10-30 2013-01-22 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Guilherme Correa et al., "Coding Tree Depth Estimation for Complexity Reduction of HEVC", 2013 Data Compression Conference, IEEE.* *

Also Published As

Publication number Publication date
CA3001888C (en) 2021-01-12
US20190268618A1 (en) 2019-08-29
GB2547091A (en) 2017-08-09
KR102120135B1 (ko) 2020-06-08
CN107027032B (zh) 2020-01-03
GB2547091B (en) 2019-09-25
JP6605726B2 (ja) 2019-11-13
WO2017131904A1 (en) 2017-08-03
JP2019500766A (ja) 2019-01-10
DE202016008177U1 (de) 2017-06-06
DE102016125379B4 (de) 2022-10-13
CA3001888A1 (en) 2017-08-03
AU2016389093B2 (en) 2019-05-09
US10306258B2 (en) 2019-05-28
DE102016125379A1 (de) 2017-08-03
CN107027032A (zh) 2017-08-08
US20170223377A1 (en) 2017-08-03
GB201621923D0 (en) 2017-02-08
AU2016389093A1 (en) 2018-04-19
US10798408B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
US10798408B2 (en) Last frame motion vector partitioning
EP3590258B1 (en) Transform kernel selection and entropy coding
US9942568B2 (en) Hybrid transform scheme for video coding
US10506240B2 (en) Smart reordering in recursive block partitioning for advanced intra prediction in video coding
WO2017209793A1 (en) Block size adaptive directional intra prediction
US10277905B2 (en) Transform selection for non-baseband signal coding
CA3008890A1 (en) Motion vector reference selection through reference frame buffer tracking
EP3701722A1 (en) Same frame motion estimation and compensation
US20170302965A1 (en) Adaptive directional loop filter
WO2019018011A1 (en) VIDEO CODING USING FRAME ORIENTATION
EP2883356A1 (en) Two-step quantization and coding method and apparatus
WO2019036080A1 (en) ESTIMATION OF CONSTRAINED MOTION FIELD FOR INTERPRETING
US9681128B1 (en) Adaptive pre-transform scanning patterns for video and image compression
US10567772B2 (en) Sub8×8 block processing
WO2024081011A1 (en) Filter coefficient derivation simplification for cross-component prediction
WO2024081010A1 (en) Region-based cross-component prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant