KR20200119877A - 가변 해상도를 지원하고 그리고/또는 영역별 패킹을 효율적으로 처리하는 화상/비디오 코딩 - Google Patents

가변 해상도를 지원하고 그리고/또는 영역별 패킹을 효율적으로 처리하는 화상/비디오 코딩 Download PDF

Info

Publication number
KR20200119877A
KR20200119877A KR1020207027103A KR20207027103A KR20200119877A KR 20200119877 A KR20200119877 A KR 20200119877A KR 1020207027103 A KR1020207027103 A KR 1020207027103A KR 20207027103 A KR20207027103 A KR 20207027103A KR 20200119877 A KR20200119877 A KR 20200119877A
Authority
KR
South Korea
Prior art keywords
video
picture
data stream
spatial resolution
partitioning
Prior art date
Application number
KR1020207027103A
Other languages
English (en)
Inventor
로버트 스커핀
코넬리우스 헬지
발레리 조지
토마스 쉬를
드 라 푸엔떼 야고 산체스
카르스텐 쉐링
토마스 위에간드
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20200119877A publication Critical patent/KR20200119877A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

가변 해상도를 지원하고 그리고/또는 영역별 패킹을 효율적으로 처리하여 코딩 효율을 개선시키는 비디오/화상 코딩이 설명된다.

Description

가변 해상도를 지원하고 그리고/또는 영역별 패킹을 효율적으로 처리하는 화상/비디오 코딩
본 출원은 가변 해상도를 지원하고 그리고/또는 영역별 패킹(region-wise packing)을 효율적으로 처리하여 코딩 효율을 개선시키는 비디오/화상(video/picture) 코딩에 관한 것이다.
HEVC의 단일 계층 기본 버전은 화상 해상도가 코딩된 비디오 시퀀스 내에서 변화되게 허용하지 않는다. 그것은 랜덤 액세스 포인트들(RAP)(예를 들어, 디코딩된 화상 버퍼를 전체적으로 리세팅하는 IDR RAP들)에서만 이루어지며, 여기서 해상도 변화들은 디코딩된 화상 버퍼(DPB)를 플러싱(flush)하는 것을 포함하는 새로운 코딩된 비디오 시퀀스의 시작으로 발생할 수 있다. 그러나, DPB를 플러싱하는 것은, 이전에 코딩된 기준들의 활용이 방해받는다는 사실 때문에 달성가능한 코딩 효율을 상당히 감소시킨다.
따라서, 코딩 효율을 개선시키기 위해 해상도 변경을 더 효율적으로 활용할 수 있는 개선된 비디오/화상 코덱에 대한 필요성이 존재한다.
코딩된 화상 또는 코딩된 비디오에 의해 파노라마 장면 등과 같은 장면을 전달하는 것(영역별 패킹으로 지칭됨)을 가능하게 하는 도구들이 또한 존재하며, 여기서 화상/비디오 코덱은, 이러한 장면이 영역별 방식으로 화상/화상들(picture/pictures)에 맵핑되는 방식을 의식하지 못한다. 맵핑은 단지 인코더의 측에서는 프리-프로세싱(pre-processing)이고 디코더의 측에서는 포스트-프로세싱(post-processing)인 반면, 코덱은 영역별 패킹의 인식 없이, 패킹된 화상/화상들에 대해 동작한다. 예를 들어, MPEG OMAF는 패킹된 화상/화상들에 의한 장면의 그러한 전달을 위한 프레임워크를 제공한다. 장면의 개개의 장면 영역으로 각각 맵핑되는 화상 영역들로의 코딩된 화상/화상들의 파티셔닝을 정의하는 장면 파티셔닝/맵핑은, 예를 들어, 코딩된 화상/화상들을 장면 도메인에 리맵핑하기 위해 디코더의 측에서 포스트 프로세싱을 제어하도록 SEI 메시지들에 의해 사이드 정보(side information)로서 시그널링된다. 그러한 솔루션이 기존의 코딩 도구들, 즉 기존의 화상/비디오 코덱들의 재사용의 관점들에서는 효율적이지만, 영역별 패킹이 더 효율적으로 처리되게 허용하는 쉽게 이용가능한 개념을 갖는 것이 선호될 것이다.
따라서, 가변 장면 해상도를 사용할 때, 증가된 코딩 효율을 제공하고 그리고/또는 코딩된 화상/화상들의 영역별 패킹의 더 효율적인 처리를 허용하는 인코딩/디코딩 도구들을 제공하는 것이 본 출원의 목적이다.
이러한 목적은 본 명세서에 포함된 독립항의 요지에 의해 달성된다.
본 출원의 제1 양상에 따르면, 비디오가 데이터 스트림으로 코딩되는 타겟 공간 해상도의 변경을, 비디오 인코딩이 수행되는 랜덤 액세스 거리보다 더 미세한 시간적 스케일로 지원함으로써 더 효율적인 비디오 코덱이 달성된다. 타겟 공간 해상도의 시간적 변경은 비디오 인코더의 레이트 제어의 일부로서 제어될 수 있다. 타겟 공간 해상도의 변경이 랜덤 액세스 거리보다 더 미세한 시간적 스케일로 행해짐에 따라, 인코더가 타겟 공간 해상도를 현재 비디오 코딩 복잡도로 적응시키게 허용함으로써 코딩 효율이 증가될 수 있다. 타겟 공간 해상도, 즉 비디오의 화상들 내의 상호 대응하는 화상 콘텐츠 당 샘플들의 수를 변경하는 것에 관해 상이한 가능성들이 존재한다. 예를 들어, 비디오 인코더 및 비디오 디코더는 DPB(Decorded Picture Buffer)가 직렬로 연결된 예측 루프를 사용할 수 있으며, 여기서 이미 프로세싱된 화상들은 가변 타겟 공간 해상도로 DPB에 버퍼링된다. 그 경우, DPB에서의 화상들의 리샘플링은 참조된 화상을 참조하는 참조 화상과 참조된 화상 사이에 타겟 공간 해상도 차이가 있는 경우에 즉시 행해질 수 있으며, 리샘플링은 모션-보상된 예측기를 산출한다. 대안적으로, 기준 공간 해상도, 즉 타겟 공간 해상도가 가정할 수 있는 임의의 다른 가능한 값보다 클 수 있는 일부 고정된 공간 해상도로 화상들에 의해 공급될 수 있다. 그러한 경우, 타겟 공간 해상도와 기준 공간 해상도 사이의 갭을 메우기 위해 리샘플링이 행해질 수 있다. 예를 들어, 예측 레지듀얼 코딩(residual coding)은, 타겟 공간 해상도보다는 기준 공간 해상도에서 DPB 내의 화상으로부터 획득된 예측기의 예측 보정을 수행하기 위해 기준 공간 해상도를 향한 예측 레지듀얼의 리샘플링을 수행하여 타겟 공간 해상도에서 행해진다. 대안적으로, DPB 내의 화상으로부터 획득된 예측기의 타겟 공간 해상도를 향한 리샘플링은, 타겟 공간 해상도에서 예측 보정을 수행하기 위해 수행될 수 있다. 이들 옵션들 사이의 스위칭은 각각, 인코더 및 디코더에 의해 지원될 수 있다. 타겟 공간 해상도의 변경은 화상 레벨에서 행해질 수 있으며, 즉 각각의 화상에 대해, 타겟 공간 해상도는 인코더에 의해 세팅되어, 데이터 스트림에서 디코더로 시그널링될 수 있다. 일 실시예에 따르면, 타겟 공간 해상도의 연속적인 변화와 연관된 시그널링 오버헤드 및 그와 연관된 화상 사이즈는 디폴트 방식, 이를테면 예를 들어, 파티셔닝이 비례적으로 일정한, 즉 화상들이 그들의 가변 사이즈에도 불구하고 서로에 대해 상호 비례하는, 즉 동일한 공간 해상도로 스케일링될 때 파티셔닝이 일치하는 그러한 방식으로 타겟 공간 해상도의 변화들에 따라 비디오의 화상들을 파티셔닝함으로써 완화된다. 더 추가적인 실시예들에 따르면, 파티셔닝의 후자의 상대적인 스케일링은 데이터 스트림에서 하나의 옵션으로서 제공될 수 있으며, 다른 옵션은, 타겟 공간 해상도가 변하는 시간적 스케일보다 미세하거나 그와 동일한 미리 결정된 시간적 스케일로 파티셔닝을 시그널링하는 것을 수반한다. 직전에-언급된 파티셔닝은, 인터 예측(inter-prediction) 모드와 인트라 예측(intra-prediction) 모드 사이의 선택이 수행되는 유닛들에서 블록들로 이어지는 비디오, 인터-예측된 블록들 및 인트라-예측된 블록들에 대한 0 예측 파라미터들이 수행되는 유닛들로 이어지는 비디오 또는 예측 레지듀얼이 인코더 및 디코더에서 각각 변환 또는 역변환의 대상이 되는 유닛들로 이어지는 비디오, 또는 서로 독립적으로, 즉 인트라-화상 코딩 상호의존성들 없이 코딩/디코딩되는 타일들로 화상들이 세분되는 유닛들로 이어지는 비디오와 같은 비디오를 인코딩하는 데 사용될 수 있다.
본 출원의 추가적인 양상에 따르면, 비디오 코덱은, 장면 파티셔닝에 따라, 장면의 개개의 장면 영역에 각각 맵핑되는 화상 화상 영역들로 파티셔닝되는 비디오의 화상들을, 이러한 장면 파티셔닝에 의존하는 방식으로 코딩/디코딩하는 것을 수반한다. 비디오 인코더는, 예를 들어 일종의 사용자 세팅 등과 같은 장면 파티셔닝의 조정을 지원하며, 비디오 디코더가 그 조정을 도출하는 데이터 스트림에서 이러한 장면 파티셔닝을 시그널링한다. 장면 파티셔닝에 의존하여 데이터 스트림에서 비디오의 코딩/디코딩을 렌더링함으로써, 장면 파티셔닝은 비디오 코덱에 대한 프리/포스트 프로세싱일 뿐만 아니라, 화상 영역들로의 파티셔닝 및 장면 영역들로의 그들의 맵핑을 정의하는 장면 파티셔닝을 고려함으로써 코딩 효율 증가를 달성하는 것을 가능하게 한다. 예를 들어, 패킹된 화상들, 즉 화상 영역들로 파티셔닝되는 화상들의 코딩에 부가하여 사이드 정보로서 장면 파티셔닝을 시그널링하는 대신, 장면 파티셔닝에 잉여(redundant)일 시그널링 오버헤드를 적어도 부분적으로 절약하기 위해 장면 파티셔닝 시그널링이 사용될 수 있다. 예를 들어, 패킹된 화상들을 코딩하는 것은, 인터 또는 인트라 예측 판단이 행해지는 유닛들의 코딩 유닛들, 전술된 블록들에 대한 대응하는 예측 파라미터들이 만들어지는 유닛들의 예측 유닛들 및/또는 변환 유닛들 및 예측 레지듀얼이 변환 코딩되는 유닛들 및/또는 패킹된 화상들이 서로 상호 독립적인 방식으로 코딩되는 유닛들의 타일들과 같이, 패킹된 화상들이 코딩되는 유닛들의 블록들로의 코딩 파티셔닝을 수반할 수 있다. 코딩 파티셔닝에 수반되는 멀티-트리(multi-tree) 세분과 연관된 분할 판단들은, 예를 들어 장면 파티셔닝에 기초하여 추론될 수 있으며, 그에 의해 시그널링 오버헤드를 절약할 수 있다. 대안적으로, 비디오 인코더는 간단히, 장면 파티셔닝에 비해 코딩 파티셔닝에서 제약들을 준수할 수 있다. 더 추가적으로, 비디오 인코더 및 비디오 디코더의 일부 코딩/디코딩 도구들은 이러한 장면 파티셔닝에 의존하여 동작될 수 있다. 예를 들어, 예측기들의 도출들은 장면 파티셔닝에 의존하여 수행될 수 있다. 장면 파티셔닝은 장면 샘플링 해상도, 즉 단위 영역 당 샘플들의 수 또는 장면의 단위 시야각, 또는 달리 말하자면, 예를 들어, 전체 장면의 분율로서 측정된 대응하는 장면 영역 사이즈에 대한, 예를 들어 샘플들의 수로 측정된 화상 영역 사이즈 사이의 비율에서 상이한 하나의 화상 내에 화상 영역들을 초래할 수 있다. 그러한 장면 샘플링 해상도 변경들은 모션 보상된 예측을 수행할 시에 비디오 인코더 및 비디오 디코더에 의해 고려될 수 있다. 예를 들어, 예측기는, 인터-예측된(inter-predicted) 블록이 위치되는 화상 영역과 개개의 인터-예측된 블록의 모션 벡터에 의해 포인팅되는 기준 화상의 화상 영역 사이의 장면 샘플링 해상도 차이에 의존하는 방식으로 결정될 수 있다. 더 추가적으로, 모션 벡터 예측은 장면 샘플링 해상도 차이들을 고려하는 방식으로 수행될 수 있다. 예를 들어, 모션 벡터 후보들은 수정을 통해 이웃한 블록들의 모션 벡터들에 기초하여 도출될 수 있으며: 이웃한 블록의 그러한 모션 벡터를 직접 채용하는 대신, 이러한 모션 벡터는, 이웃한 블록의 기준 포인트로 세팅된 자신의 초기 포인트를 갖는 이러한 모션 벡터의 버전 및 인터-예측된 블록의 기준 포인트로 세팅된 자신의 초기 포인트를 갖는 이러한 모션 벡터의 다른 버전이 종결 포인트(terminal point)를 갖고, 그 포인트의 이미지들이 장면에서 장면 파티셔닝을 통해, 장면 내의 이웃한 블록 및 인터-예측된 블록의 기준 포인트들의 이미지들과 서로 동일한 거리를 갖도록 하는 방식으로 복사될 수 있다. 따라서, 모션 벡터 예측은 장면 도메인에 걸쳐 우회를 통해 행해지며, 그에 의해 장면 파티셔닝에 민감하다.
추가로, 비디오의 코딩/디코딩은 코딩 파티셔닝에 관한 하나 이상의 파라미터들을 세팅하는 관점들에서 장면 파티셔닝에 민감할 수 있다. 예를 들어, 그러한 파라미터는 세팅되어, 화상 영역들에 대해 개별적으로 데이터 스트림에서 시그널링될 수 있다. 대안적으로 또는 부가적으로, 비디오의 미리 결정된 화상의 필터링은 필터를 사용하여 행해질 수 있으며, 필터의 적어도 하나의 파라미터는 장면 파티셔닝에 의존하여, 미리 결정된 화상에 걸쳐 변경된다. 예를 들어, 적어도 하나의 파라미터는, 이웃한/인접한 화상 영역들 사이의 장면 샘플링 해상도의 차이에 의존하여, 이웃한 화상 영역들 사이의 계면들에 세팅될 수 있다. 이러한 방식에 의해, 필터 특성은 장면 샘플링 해상도를 고려함으로써 더 정밀하게 동작될 수 있다. 더 추가적으로, 비디오 인코더 및 비디오 디코더는 장면 파티셔닝에 기초하여, 장면에서 서로 접하지 않는 화상 영역들 사이의 계면들, 즉 장면-불연속 계면들의 위치를 찾을 수 있다. 인코딩 및 디코딩은 이들 장면-불연속 계면들에 민감할 수 있다. 즉, 예를 들어, 인코더는 이들 장면-불연속 계면들을, 예를 들어 화상 경계들과 같이 처리할 수 있다. 디코더 및 인코더는, 장면에서 서로 접하는 화상 영역들 사이의 계면들과 비교하여 그러한 장면-불연속 계면들에서 필터링을 상이하게 수행할 수 있다. 더 대안적으로, 적어도 하나의 파라미터의 화상 영역별 시그널링화(signalization)가 지원될 수 있다. 대안적으로 또는 부가적으로, 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어하는 양자화 파라미터는 구체적으로 또는 하나 이상의 화상 영역들의 그룹들의 유닛들로 화상 영역별로 세팅되게 허용될 수 있다. 변경은 데이터 스트림에서 시그널링될 수 있다.
후자의 양상, 즉 양자화의 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어하는 적어도 하나의 양자화 파라미터의 변경은, 본 출원의 추가적인 양상에 따라, 장면 파티셔닝을 사용하는 여부에 관계없이 사용될 수 있다. 코딩 효율은, 특히 국부적으로 또는 공간적으로 변하는 해상도를 가질 때 화상의 국부적 특성들에 양자화 파라미터를 적응시킴으로써 증가될 수 있다.
본 출원의 더 추가적인 양상에 따르면, 비디오가 데이터 스트림에서 코딩되는 타겟 공간 해상도가, 데이터 스트림의 변경을 시그널링하는 화상들보다 작은 화상들의 화상 영역들의 유닛들로 변경되게 허용하는 비디오 코덱을 가짐으로써 코딩 효율 증가가 달성된다. 이러한 양상은 위에서 논의된 제1 양상 및 제3 양상, 즉 양자화 파라미터 변경과 결합될 수 있다. 예를 들어, 예측 루프는 기준 공간 해상도의 화상들을 공급받을 수 있다. 다시, 화상들 내의 타겟 공간 해상도의 변경은 인코더의 레이트 제어에 의해 수행되는 태스크일 수 있다.
본 출원의 유리한 양상들은 종속항들의 주제이며, 본 출원의 바람직한 실시예들은 다음의 도면들에 관해 아래에서 설명된다.
본 발명에 따르면, 가변 장면 해상도를 사용할 때, 증가된 코딩 효율을 제공하고 코딩된 화상들의 영역별 패킹의 더 효율적인 처리를 허용하는 인코딩/디코딩 도구들이 제공된다.
도 1a는 타겟 공간 해상도의 시간적 변경에 의존하는 비디오 인코딩을 사용하는 일 실시예에 따른 비디오 인코더의 개략적인 블록 다이어그램을 도시한다.
도 1b는 일 실시예에 따른, 도 1a에 따른 비디오 인코더에 적합한 디코더의 블록 다이어그램을 도시한다.
도 2a는 도 1a 및 도 1b의 실시예들에 따른, 타겟 공간 해상도 변경들을 예시한 개략적인 다이어그램을 도시한다.
도 2b는 도 1b의 비디오 디코더에 의해 출력되는 복원된 비디오의 개략적인 다이어그램을 도시한다.
도 3은 타겟 공간 해상도가 랜덤 액세스 거리/피치(pitch)와 비교하여 변하는 시간적 스케일을 예시하기 위한 코딩된 비디오의 개략적인 다이어그램을 도시한다.
도 4a 및 도 4b는, 화상들이 DPB에 버퍼링되는 해상도에서 상이한 변형들을 도 1b의 디코더가 동작시킬 수 있는 상이한 변형들에 따라 동작하는 디코더의 개략적인 다이어그램을 도시한다.
도 5a 및 도 5b는, 도 1a의 인코더의 가능한 구현을 형성하고, 화상들이 디코딩된 화상 버퍼에 기준 공간 해상도로 버퍼링되는 상이한 변형들에 따라 동작하며, 그에 의해, 도 4b의 디코더에 적합하지만, 예측 보정이 수행되는 측 또는 도메인, 즉 가변 타겟 공간 해상도 또는 기준 공간 해상도에서는 상이한 인코더들의 블록 다이어그램들을 도시한다.
도 6은 가변 타겟 공간 해상도를 시그널링하기 위한 가능한 신택스(syntax)를 도시한다.
도 7은 타겟 공간 해상도를 변경하는 가능성을 스위칭 온 및 오프하는 플래그(flag)를 포함하는 SPS 신택스에 대한 일 예를 도시한다.
도 8은, 이를테면 화상들의 시퀀스에 대한 더 큰 스케일로 상이한 타겟 공간 해상도 세팅들을 송신하여, 화상들이 인덱싱에 의해 데이터 스트림에서 이들 세팅들 중 임의의 세팅을 참조하게 허용하기 위한 SPS에 대한 신택스 예를 도시한다.
도 9는 인덱스 신택스 엘리먼트에 의해, 도 8에서 시그널링된 세팅들과 같은 미리 정의된 타겟 공간 해상도 세팅들을 참조하는 슬라이스 세그먼트 헤더 신택스에 대한 일 예를 도시한다.
도 10은 기준 공간 해상도 또는 타겟 공간 해상도들 중 하나의 타겟 공간 해상도와 같은 하나의 해상도에 대한 출력 종횡비(aspect ratio)를 시그널링하기 위한 신택스 예를 도시한다.
도 11은 가능한 모든 타겟 공간 해상도 세팅들에 대한 출력 종횡비를 송신하기 위한 신택스에 대한 일 예를 도시한다.
도 12는 다수의 상이한 출력 종횡비 세팅들이 시그널링될 수 있는 대안적인 신택스를 도시하며, 그 수는 가능한 타겟 공간 해상도 세팅들의 수와 동일하거나 그보다 크다.
도 13은 화상들의 상대적인 타일링(tiling)을 그들의 가변 타겟 공간 해상도에 따라 하나의 플래그에 의해 시그널링하는 가능성을 예시한 개략적인 다이어그램을 도시한다.
도 14a 및 도 14b는 장면 파티셔닝 또는 영역별 패킹에 대한 예들을 예시한 개략적인 다이어그램들을 도시한다.
도 15a는, 비디오 인코더가 장면 파티셔닝 또는 영역별 패킹에 민감하게 동작하는 일 실시예에 따른 비디오 인코더를 예시한 개략적인 블록 다이어그램을 도시한다.
도 15b는, 도 15a의 비디오 인코더에 적합하고, 마찬가지로 장면 파티셔닝에 민감하게 동작하거나 장면 파티셔닝에 의존하여 비디오 디코딩을 수행하는 비디오 디코더의 개략적인 블록 다이어그램을 도시한다.
도 16은, 장면 파티셔닝에 대한 비디오 인코딩 및 디코딩의 의존성에 대한 가능성들을 예시하기 위해, 도 15a 및 도 15b의 비디오 인코더 및 디코더들에서 비디오 인코딩 및 디코딩을 위해 사용되는 코딩 파티셔닝 및 데이터 스트림에서 전달된 대응하는 코딩 파티셔닝 정보를 예시한 개략적인 다이어그램을 도시한다.
도 17은, 코딩 파티셔닝의 파라미터화를 예시하고 그러한 코딩 파티셔닝에서 장면 파티셔닝을 고려할 가능성을 예시하기 위해, 트리 블록들의 어레이로의 규칙적인 트리 블록 파티셔닝, 뒤이어 트리 루트(tree root) 블록들의 계층적 멀티-트리 세분의 시퀀스를 사용하는 그러한 코딩 파티셔닝의 일 예를 예시한 개략적인 다이어그램을 도시한다.
도 18은 데이터 스트림, 여기서는 SPS에서 도 17의 코딩 파티션 파라미터화를 전달하기 위한 신택스에 대한 일 예를 도시한다.
도 19a 및 도 19b는 데이터 스트림에서 전달되는 코딩 파티셔닝을 고유하게 개량(refine)시키기 위해 장면 파티셔닝을 사용하는 상이한 가능성들을 예시한 개략적인 다이어그램들을 도시한다.
도 19c 및 19d는, 현재 RWP 영역과 이웃한 RWP 영역 사이의 경계에 관한 개개의 분할의 대상이 되는 영역들의 위치를 검사함으로써 분할 판단들에 대한 분할 표시자들을 중복하여 시그널링하거나 그렇지 않으면 추론가능한 것을 피하면서, 자신의 RWP 영역으로부터 인접한 영역으로 부분적으로 연장되는 블록들을 분할하기 위한 CU 분할 신택스에 대한 신택스 예를 도시한다.
도 20a는 이중 장면 샘플 밀도/해상도에 대응하는 화상 영역 내의 기준 화상의 일부를 참조하는 현재의 인터-예측된 블록을 예시한 개략적인 다이어그램을 도시한다.
도 20b는 도 20a에 대한 반대 상황을 예시한 개략적인 다이어그램을 도시한다.
도 21은 현재의 인터-예측된 블록, 및 상이한 장면 샘플링 밀도/해상도의 이웃한 화상 영역에 상주하는 이웃한 블록에 기초하는 이러한 블록에 대한 모션 벡터 예측기의 도출을 예시한 개략적인 다이어그램을 도시한다.
도 22는, 동일한 화상 영역에 둘 모두가 상주하지만, 이웃한 블록의 모션 벡터가 상이한 장면 샘플링 해상도/밀도의 화상 영역을 포인팅하는 이웃한 블록으로부터 도출된 모션 벡터 예측기의 스케일링을 예시한 개략적인 다이어그램을 도시한다.
도 23은 상이한 장면 샘플링 해상도/밀도의 화상 영역들을 교차하는 필터의 적용을 예시한 개략적인 다이어그램을 도시한다.
도 24a는, 각각 화상 내에서 그리고 화상 영역들 내에서 이러한 양자화 파라미터를 변경하기 위해 노이즈 색도(colorness)를 제어하는 상이한 양자화 파라미터들을 시그널링하는 신택스에 대한 신택스 예를 도시한다.
도 24b는 도 24a의 양자화 파라미터가 노이즈 색도에 어떻게 영향을 줄 수 있는지를 예시하기 위해 예측 레지듀얼 변환 블록과 같은 변환 블록의 개략적인 다이어그램을 도시한다.
도 25a는 코딩된 화상 내에서 노이즈 색도에 영향을 주는 양자화 파라미터를 인코더가 국부적으로 변경하는 일 실시예에 따른, 인코더, 가능하게는 비디오 인코더를 예시한 개략적인 블록 다이어그램을 도시한다.
도 25b는 도 25a의 인코더에 적합한 디코더의 개략적인 블록 다이어그램을 도시한다.
도 26은 코딩된 화상 및 그의 서브-영역들 내의 타겟 공간 해상도의 변형들을 예시한 개략적인 다이어그램을 도시한다.
도 27은 가변 타겟 공간 해상도를 시그널링하는 예시적인 신택스를 도시한다.
도 28은, 도 2a에 관해 논의된 바와 같이 시간적 타겟 공간 해상도 변화를 갖거나 갖지 않는 공간적으로 변하는 타겟 공간 해상도에서 동작하기 위해 도 1a 및 도 1b의 비디오 인코더 및 디코더를 구현하거나 수정하는 경우에서의 타겟 공간 해상도의 변경을 예시한 개략적인 다이어그램을 도시한다.
도 29는, 개개의 화상이 파티셔닝되는 블록 당 특정한 타겟 공간 해상도 값을 표시하는 신택스 엘리먼트 또는 리샘플링 표시자 또는 일부 다른 표시자를 사용하여, 도 26 내지 도 28의 예들에 따른 특정한 화상 내에서의 타겟 공간 해상도의 공간 변경이 행해질 수 있다는 것을 예시하기 위한 신택스 예를 도시한다.
도 30은, 신택스 엘리먼트의 송신이 도 20의 예가 참조하는 변환 블록들에 대해 발생하기 보다는 코딩 유닛 레벨에서, 즉 예측 모드 판단이 발생하는 블록들에 대해 발생한다는 점에서, 도 29와는 상이한 신택스 예를 도시한다.
도 31은, 도 29 및 도 30에 묘사된 신택스 엘리먼트들의 송신을 특정한 미리 정의된 블록 사이즈 범위로 제한하는 가능성을, 그 범위들 외부의 블록들에 대해, 기준 공간 해상도가 인코딩/디코딩을 위해 사용되어야 한다는 것을 추론하여 표시하는 SPS에 대한 신택스 예를 도시한다.
도 32는, 신택스 엘리먼트의 송신이 미리 결정된 블록 사이즈들의 범위로 제한된다는 점에서 도 29와는 상이한 신택스 예를 도시한다.
도 33은 화상의 리샘플링된 블록들, 즉 기준 공간 해상도로 코딩/디코딩되지 않은 블록들에 대해 사용될 양자화 스텝(step) 사이즈 오프셋을 시그널링하는 SPS에 대한 신택스 예를 도시한다.
설명은 본 출원의 제1 양상에 관한 실시예들로 시작한다. 나중에, 수 개의 추가적인 양상들이 설명된다. 본 출원의 양상들이 아래에서 더 상세히 서술될 바와 같이 조합될 수 있다는 것을 유의해야 한다.
본 출원의 제1 양상은, 비디오 코딩이 행해지는 랜덤 액세스 피치 또는 거리보다 더 미세한 시간적 스케일의 타겟 공간 해상도의 동적 변경에 관한 것이다. 나중에, 본 출원의 추가적인 양상들이 설명되며, 본 출원의 이들 양상들이 본 명세서에서 논의되는 것들을 넘어 추가적인 실시예들을 형성하기 위해 함께 사용될 수 있고, 여기서 그러한 조합들이 또한 아래에서 논의된다는 것을 유의해야 한다.
예를 들어, 제1 양상에 관련된 본 출원의 실시예들은, 하이브리드 블록 기반 모션-보상된 비디오 인코더가, 예를 들어 화상의 묘사된 시야각 당 샘플들의 양으로서 측정된 공간 해상도를 동적으로 변화시킬 수 있게 할 수 있으며, 변화는, 예를 들어 입력 공간 해상도에 대한 것이다. 코딩은 코딩 효율의 관점들에서 이러한 사실을 이용한다. 나중에, 그러한 하이브리드 블록 기반 모션-보상된 비디오 인코더가 또한 화상 서브섹션들에 관한 공간 해상도를 동적으로 변화시키기 위한 기회를 제공받는 실시예들 및 양상들이 또한 논의된다.
지금까지, 그러한 코덱 시스템의 시그널링 필요성들은 해결되지 않은 상태로 남아있다. 예를 들어, HEVC의 단일 계층 기본 버전은 화상 해상도가 코딩된 비디오 시퀀스 내에서 변화되게 허용하지 않는다. 그것은, 리딩(leading) 화상들이 없는 랜덤 액세스 포인트들, 즉 디코딩된 화상 버퍼를 전체적으로 리세팅하는 IDR RAP들에서만 이루어지며, 여기서 해상도 변화들은 디코딩된 화상 버퍼의 플러싱을 포함하는 새로운 코딩된 비디오 시퀀스의 시작으로 발생할 수 있다. 그러나, 해상도 변화가 IDR/BLA 기반 RAP와는 상이한 비트스트림 내의 위치들을 갖는 것이 바람직한 시나리오들이 존재한다. 첫째, 개방형 GOP 코딩 구조들은 더 높은 코딩 효율을 갖는 RAP 타입들을 사용하는데, 즉 비트스트림 순서에서 RAP에 후속하는 리딩 화상들을 수반하지만, RAP에 선행하는 기준 화상들을 사용한다. 여기서, RAP는, 예를 들어 CRA 화상이다. 그러나, 지금까지 알려진 코덱들에서 예견되지 않은 프리-RAP(pre-RAP) 기준 화상들의 리샘플링이 필요할 것이다. 이 외에도, RAP 레이트는 그러한 RAP들과 연관된 예측 저장소 손실로 인한 코딩 효율 감소를 피하기 위해 특정한 제한을 넘어 유지되어야 한다. 따라서, 계층적 GOP의 가장 높은 시간 계층 또는 코딩된 화상들의 임의의 다른 서브세트 내에서와 같이 RAP의 발생 없이도, 코딩된 비디오 시퀀스 내에서 공간 해상도를 변화시키는 것이 바람직할 수 있다.
본 명세서에 설명된 실시예들은 랜덤 액세스 피치/거리보다 더 미세한 시간적 스케일에서의 코딩된 비디오 시퀀스의 해상도 변화를 허용한다. 예를 들어, 그러한 중간-CVS 해상도 변화를 구현하기 위해 상상가능한 3개의 변형들이 존재한다. 여기서, 기준 공간 해상도는, 예를 들어 비디오가 데이터 스트림에서 코딩되는 타겟 공간 해상도의 최대값과 같은 가장 높은 공간 해상도를 정의할 수 있다. 그러나, 이를 논의하기 전에, 인코더 및 디코더의 일반적인 구조가 도 1a 및 도 1b에 관해 설명된다. 도 1a는, 소스 비디오(12)를 수신하며, 소스 비디오가 데이터 스트림(14)으로 인코딩되는 랜덤 액세스 거리보다 더 미세한 시간적 스케일로 타겟 공간 해상도가 변하는 방식으로 타겟 공간 해상도의 소스 비디오(12)를 데이터 스트림(14)으로 인코딩하는 비디오 인코더(10)를 도시한다. 예를 들어, 도 2a는 비디오(12)로부터의 화상들의 서브시퀀스, 여기에서는 예시적으로 3개의 화상들(161, 162 및 163)을 도시한다. 이들 화상들 모두는 동일한 장면(18)을 나타내며, 예를 들어 장면(18)을 둘러싸는 직사각형(20)에 의해 표시된 장면(18)의 시야에서 일치한다. 즉, 비디오(12)의 화상들(161 내지 163)은 이들 화상들에서 묘사된 장면 섹션에서 일치할 수 있다. 그러나, 개개의 화상들(161 내지 163)의 일종의 공간 샘플링을 표현해야 하는 도 2a 내의 화상(161 내지 163) 내의 도트(dot)들에 의해 예시된 바와 같이, 비디오(12)의 화상들은 가변 타겟 공간 해상도로, 즉 장면 섹션 또는 영역(20) 당 가변 수의 샘플들 또는 달리 말하자면, 예를 들어 단위 시야각과 같은 장면(18)의 단위 영역 당 샘플들의 상이한 수로 인코더(10)에 의해 데이터 스트림(14)으로 코딩된다. 다양한 구현 변형들의 다음 설명은, "타겟 공간 해상도의 변경"이 무엇을 지칭할 수 있는지에 관해 나타낼 것이다. 특히, 변경된 타겟 공간 해상도는, 비디오(12)가 데이터 스트림(14)으로 코딩되는 예측 레지듀얼에 관련될 수 있다. 즉, 인코더(10)는, 예를 들어 인터 및 인트라 예측 모드들을 지원하는 하이브리드 비디오 코더와 같은 예측 코더일 수 있으며, 타겟 공간 해상도 변경은, 예측 레지듀얼이 데이터 스트림(14)으로 코딩되는 해상도를 지칭할 수 있다. 즉, 소스 비디오(12)가 특정한 공간 해상도를 갖거나, 또는 더 정확하게는, 인코더(10)에 진입할 시에 그의 화상들을 갖는 반면, 인코더(10)가 입력 해상도로부터 타겟 공간 해상도로의 전환을 수행하는 코딩 동안의 상황은 선정된 구현에 의존할 수 있다. 특히, 아래에서 더 상세히 서술될 바와 같이, 리샘플링은 인코더(10)의 다른 모든 코딩 태스크들 바로 앞에서 초기 프로세스로서 행해질 수 있으며, 따라서 이들 코딩 태스크들은 이러한 타겟 공간 해상도로 동작한다. 예를 들어, 이들 태스크들은 예측 뿐만 아니라 레지듀얼 코딩을 포함할 수 있다. 따라서, 도 1a의 22에 예시적으로 표시된 인코더(10)의 디코딩된 화상 버퍼는 다양한 타겟 공간 해상도로 비디오(12)의 화상들(161 내지 163)을 버퍼링할 것이다. 이러한 변형은 다음에서 변형 a로 지칭된다. 대안적으로, 디코딩된 화상 버퍼(22)는, 레지듀얼 코딩이 수행되는 타겟 공간 해상도와 예측 신호 또는 레지듀얼 신호에 관해 각각 행해지는 기준 공간 해상도 사이의 전환을 이용하여, 기준 공간 해상도, 즉 일부 고정된 공간 해상도, 이를테면 비디오(12)의 입력 해상도로 비디오(12)의 화상들을 버퍼링할 수 있으며, 이들 변형들은 다음에서 b 및 c로 지칭된다.
도 1b는 도 1a의 인코더에 적합한 비디오 디코더를 도시한다. 도 1b의 비디오 디코더는 참조 부호(30)를 사용하여 일반적으로 표시되며, 데이터 스트림(14)으로부터 비디오(32), 즉 비디오(12)의 복원을 디코딩하도록 이루어진다. 비디오 디코더(30)는, 비디오(32)가 데이터 스트림(14)으로 인코딩되는 타겟 공간 해상도의 변경을 데이터 스트림(14)으로부터 도출하도록 이루어지며, 변경은, 비디오(32)가 데이터 스트림(14)으로 인코딩되는 랜덤 액세스 거리보다 더 미세한 시간적 스케일로 정의된다. 인코딩을 위해 인코더(10)에서 내부적으로 인코더(10)에 진입하는 소스 비디오(12)의 리샘플링에서 도 2a가 도시했던 방식에 대응하는 방식으로, 복원된 또는 디코딩된 비디오(32) 및 그의 화상들(341 내지 343)을 도시하는 도 2b를 참조한다. 화상들(341 내지 343) 모두는 장면(18)을 나타내거나 표현하며, 예를 들어, 이들 모두에는 동일한 장면 섹션이 인코딩되어 있을 수 있다. 구현(그 구현에 대한 예들이 아래에서 더 상세히 설명됨)에 의존하여, 디코더(30)에 의해 출력된 화상들(341 내지 343)의 샘플 해상도는 도 2a에 예시적으로 예시된 타겟 공간 해상도와 일치할 수 있거나, 또는 시간상 일정할 수 있고, 예를 들어 이들 화상들이 인코더(10)의 DPB(22)에 있었던 것처럼 이들 화상들이 디코더(30)의 디코딩된 화상 버퍼(36)에 버퍼링되는 전술된 기준 샘플 해상도에 대응할 수 있다. 이들 예들은 인코더 및 디코더를 각각 구현하기 위한 특정한 변형들의 다음의 설명으로부터 명확해질 것이다.
지금까지 설명된 바와 같이, 타겟 공간 해상도의 변경은, 비디오 코딩이 수행되는 랜덤 액세스 거리/피치보다 더 미세한 시간적 스케일로 발생한다. 아래에서 더 상세히 서술될 바와 같이 그리고 그것이 도 2a에 예시된 바와 같이, 타겟 공간 해상도가 변하는 시간적 스케일은, 예를 들어 화상별(picture-wise) 변경일 수 있다. 즉, 타겟 공간 해상도는 화상들의 유닛들로 변할 수 있다. 따라서, 인코더(10)는, 화상 레벨로 타겟 공간 해상도의 변경을 시그널링하여 타겟 공간 해상도를 어떻게 세팅할지에 관해 화상 단위로 판단할 수 있을 것이다. 그러나, 이것은 유일한 가능성은 아니다. 도 3은 시간 축 t를 도시하고, 해칭(hatching)을 사용하여 랜덤 액세스 포인트들에서의 비디오(12)의 화상들을 예시한다. 그들은, 도 3에 예시된 바와 같이 일정할 수 있거나 또는 시간상 변할 수 있는 일부 시간적 거리 Δt로 발생할 수 있으며, 이 경우, 랜덤 액세스 거리는, 예를 들어 비디오(12)의 랜덤 액세스 포인트 화상 사이의 평균 거리를 나타낼 수 있다. 타겟 공간 해상도가 발생하는 시간적 스케일은, 타겟 공간 해상도가 변화될 수 있는 최소 시간 지속기간을 나타낸다. 따라서, 도 1a 및 도 1b의 예들에 따르면, 랜덤 액세스 거리 Δt(38)는, 타겟 공간 해상도가 변화될 수 있는 최소 시간 거리 δt(40)보다 크다. 도 3은 타겟 공간 해상도가 비디오(12)의 하나의 화상으로부터 다른 화상으로 변화될 수 있는 경우를 예시한다.
위에서 이미 언급된 바와 같이, 각각 도 1a 및 도 1b의 인코더 및 디코더를 구현하기 위한 상이한 가능성들이 존재한다. 이들 가능성들은 다음에서 변형 a, b 및 변형 c로 나타낸다. 도 4a 및 도 4b는 변형 a 및 변형들 b 및 c를 각각 예시한다. 도 4a 및 도 4b는 디코더(30)에 집중하지만, 인코더(10)가 개개의 개념/변형에 어떻게 합치시킬지는 명확하다. 모든 변형들에 따라, 각각의 화상의 예측 레지듀얼은 도 4a 및 도 4b의 좌측에서 가변 사이즈의 직사각형들에 의해 예시된 바와 같이 가변 타겟 공간 해상도로 데이터 스트림(14)으로 코딩된다. 변형 a에 따르면, 각각의 화상은 복원된 형태로 타겟 공간 해상도로 버퍼링된다. 이것은 또한, DPB(36) 내의 가변 사이즈의 직사각형들의 형태로 비디오의 화상들을 묘사함으로써 예시된다. DPB(36)는, 디코더(30)와의 동조성(synchrony)을 유지하기 위해 인코더에 또한 존재하는 예측 루프(42)에 직렬로 연결된다. 변형 a에 따르면, DPB(36)에서의 기준 화상의 리샘플링(44)은, 타겟 해상도 A의 이러한 기준 화상이 타겟 공간 해상도 B ≠ A를 갖는 다른 현재 디코딩되는 화상에 의해 기준 화상으로서 사용될 때 즉시 수행된다. 도 4a에 예시된 바와 같이, 디코더(30)는, 예를 들어 인터 및 인트라 예측 모드들, 및 예측 레지듀얼을 코딩하기 위한 변환 코딩, 즉 레지듀얼 변환 코딩, 및 인-루프(in-loop) 필터링을 지원하는 블록 기반 비디오 디코더일 수 있다. 이미 언급된 바와 같이, 출력된 비디오, 즉 비디오(32)의 화상들은 해상도가 다양하다. 도 4a에 도시되어 있지 않고 또한 도 1b에 도시되어 있지 않은 포스트 프로세서는 비디오의 제시를 위해 일정한 출력 샘플 레이트를 가정하도록 비디오(32)의 화상들(34)을 리샘플링하기 위해 디코더(30)의 출력에 연결될 수 있다.
도 4b는 변형들 b 및 c를 묘사한다. 변형들 둘 모두에 따르면, 비디오의 화상들은 기준 공간 해상도로 DPB(36)에 버퍼링된다. 다시 말하면, 각각의 코딩된 화상은 DPB(36)에서 복원되고, 이어서, 기준 공간 해상도가 가장 높게 선정되면, 전체 화상은 DPB(36)에서 가장 높은 해상도로 리샘플링된다. 변형 b에 따르면, 필요하다면, 가변 타겟 공간 해상도 값들보다 크거나 그와 동일한 해상도를 기준 타겟 공간 해상도로서 사용할 경우, 상이한 해상도, 이를테면 더 낮은 해상도의 화상들에 의해 참조될 시에, 리샘플링이 즉시 수행된다. 출력 화상들의 스트림, 즉 비디오(32)는 가장 높은 해상도와 같은 기준 타겟 공간 해상도로 출력된다. 변형 c에 따르면, 화상들은 또한 기준 타겟 공간 해상도로 DPB(36)에 저장된다. 현재 디코딩되는 화상의 화상 해상도가 기준 공간 해상도와 동일하지 않으면, 레지듀얼 신호 또는 예측 레지듀얼은, 이를테면 이중선형(bilinear) 필터링에 의해 복원 동안 리샘플링되며, 출력 화상들의 스트림, 즉 비디오(32)는, 그것이 변형 b에 따르는 경우와 마찬가지로 기준 공간 해상도로 출력된다. 따라서, 변형 a에서, DPB(36)가 가변 해상도의 화상들로 채워지고, 각각의 기준 화상이 그의 복원 시에 현재 코딩되는/디코딩된 화상의 해상도로 리샘플링되는 반면, 변형들 b 및 c에서, DPB(36)는 가장 높은 해상도의 화상들로만 채워지며, 이는 2개의 상이한 방식들로 달성된다.
도 5a 및 도 5b는 변형들 b 및 c 사이의 차이에 집중한다. 도 5a 및 도 5b는 인코더 측에 집중한다. 도 4a 및 도 4b에 관해 이미 언급된 바와 같이, 예측 루프(42)는 디코더 및 인코더에 공존하고, 따라서 디코더에 관해 설명된 모든 태스크들 및 단계들이 인코더 측에서 또한 수행되며, 차이는, 인코더가 또한 파라미터 세팅들 및 코딩 파라미터들 등, 이를테면 예측 모드들, 즉 인터 또는 인트라 예측 모드, 예를 들어 개개의 모드에 대한 예측 파라미터들, 변환 예측 레지듀얼의 양자화 등을 선정 또는 선택한다는 것이다. 인코더는 일부 레이트 제어를 수행함으로써 그리고 특히, 일부 비용 최소화를 수행함으로써, 즉 예를 들어, 왜곡 및 코딩 레이트에 의존하여 비용을 최소화하려는 목적으로 이를 행할 수 있다.
도 5a 및 도 5b에 따르면, 인코더(10)는 블록 기반 예측 비디오 코더로서 구현된다. 즉, 감산기(48)는 왜곡되지 않은 예측 레지듀얼 신호(54)를 도출하기 위해 소스 신호(52)로부터 예측 신호(50)를 감산하며, 그 결과는 이어서, 모듈(56)에서 변환, 스케일링 및 양자화의 대상이 되어서, 이러한 데이터에 대한 헤더들의 포맷팅, 엔트로피 코딩 및 셋업을 수행하는 일부 스트림 멀티플렉서 또는 모듈(60)을 통해 데이터 스트림(14)으로 최종적으로 코딩된 것으로서 예측 레지듀얼 신호(58)를 산출한다. 디코더 측과의 동조성을 유지하기 위해, 인코더(10)는 데이터 스트림(14)으로부터 도출가능한 바와 같은 예측 레지듀얼(58)을 스케일링 및 역변환 또는 역양자화 및 역변환 모듈(62)에 적용함으로써 공간 도메인에서 예측 레지듀얼 신호를 복구한다. 이러한 모듈(62)의 출력에 연결된 것은, 이러한 예측 레지듀얼 신호를 예측 신호(50)에 부가하는 가산기(64)의 하나의 입력이며, 따라서, 보정된 예측 신호는 필터 제어 분석 모듈(66), 이어서 인-루프 필터(68)의 연접에 의한 필터링의 대상이 된다. 결과는, 복원된 화상들을 버퍼링하고, 후속하여 코딩된 화상들의 인터-예측된 블록들에 의해 참조되는 기준 화상들에 대한 저장소를 형성하기 위해 DPB(22)에 버퍼링된다. 모션 추정 모듈(70)은, 소스 비디오의 모션 필드를 추정하고 따라서 비디오를 코딩하는 데 사용되는 모션 벡터들을 결정하기 위해 소스 신호(52)에 대한 액세스를 갖는다. DPB(22)에 저장된 화상들은, 인터-예측된 블록들의 현재 코딩되는 화상들, 즉 74의 예측기들을 생성하는 인터-예측 모듈(72)에 대해 액세스가능하게 된다. 인트라-예측 블록들의 경우, 가산기(64)에 의해 출력되는 보정된 예측 신호에 대한 액세스를 갖는 인트라-예측 모듈(76)이 존재한다. 그의 예측 파라미터들, 즉 인트라-예측 모드들은 보정된 예측 신호, 즉 현재 코딩되는 블록들의 이웃에 있는 예비적으로 복원된 신호의 분석에 기초하여 인트라-화상 추정 모듈(78)에 의해 결정된다. 인터-예측된 블록들의 예측 파라미터들, 이를테면 모션 벡터들, 즉 80 및 인트라-예측된 블록들의 예측 파라미터들, 즉 인트라-예측 모드들, 이를테면 각도 모드들 또는 비-각도 모드들, 이를테면 DC 또는 평면 모드들, 즉 82는 데이터 스트림(14)에서 선정된 예측 모드, 즉 인터/인트라 예측 모드 판단과 함께 이들 예측 파라미터들을 시그널링하기 위해 멀티플렉서(60)에 전방으로 전달된다. 선택기(84)는, 현재 코딩되는 화상의 다양한 블록들에 대해 선정된 예측 모드에 의존하여 인터-예측 예측기(74) 또는 인트라-예측 예측기(86)를 선정함으로써 예측 신호(50)를 구성하고, 따라서 예측 신호(50)를 형성한다. 부가적으로, 인코더(10)는 레이트 제어 및 비용 최소화와 같은 태스크들을 가정하는 일반적인 코더 제어(88)를 포함한다.
도 5a는 변형 b에 집중한다. 도 5a에 도시된 바와 같이, 인바운드(inbound) 비디오 신호(12)의 화상들(90)은, 이들 화상들이 인코더 루프에 진입하기 전에, 즉 그들이 감산기(48)에 의한 감산의 대상이 되기 전에, 가변 타겟 공간 해상도의 화상들(94)이 되도록 초기 리샘플링 스테이지(92)에서 리샘플링된다. 모듈들(62) 및 모듈들(64, 66, 68), 디코더 측에 관한 한 참조 부호(36)가 사용되는 DPB(22), 및 후자의 모듈들이 예측 루프(42)를 형성하거나 예측 루프(42)에 직렬로 연결되는 모듈들(72, 76 및 84)에 관해 인코더(10)와 내부 구조가 일치하는 디코더 측에 이러한 태스크가 투명하다는 것을 유의해야 한다. 타겟 공간 해상도 변경은 레이트 제어 및/또는 비용 최소화에 의존하여, 도 5a에 도시된 바와 같이 일반적인 코더 제어(88)에 의해 제어될 수 있다. 도 5a의 인코더(10)에 대한 소스 신호(52)를 형성하는 화상들(94)이 가변 공간 해상도를 가지므로, 도 5a의 인코더(10)는, 타겟 공간 해상도로의 또는 타겟 공간 해상도로부터 기준 공간 해상도로의 리샘플링을 수행하는 리샘플러들을 포함한다. 예를 들어, 리샘플러(96)는, 기준 공간 해상도로 DPB(22)에 버퍼링하기 전에 화상들을 리샘플링하기 위해 DPB(22)의 앞에서 예측 루프(42)에 연결된다. 즉, 현재 코딩되는 화상의 타겟 공간 해상도가 기준 공간 해상도와 동일하지 않을 때마다 리샘플링이 수행된다. 추가로, 리샘플러(98)는 현재 코딩되는 화상들에 의해 참조되는 기준 화상들을 리샘플링하고, 따라서 DPB(22)와 인터-예측 모듈(72) 사이에 각각 연결되며, 모션 추정기(70)는 또한, 샘플링된 결과에 대한 액세스를 갖는다. 즉, 리샘플러(98)는 DPB(22) 내의 버퍼링된 화상들을 기준 공간 해상도로부터 타겟 공간 해상도로 리샘플링한다. 해칭을 사용하여 도시된 다른 블록들 및 모듈들은 또한, 인바운드 화상들(94)의 가변 타겟 공간 해상도를 처리하도록 이루어진다.
도 5b는 변형 c에 집중한다. 여기서, 소스 신호(52)는 비디오(12)에 의해 직접 형성된다. 도 5b의 예에 따르면, 소스 비디오(12)의 입력 해상도 또는 소스 해상도는 기준 공간 해상도로서 사용되지만, 이러한 예는, 리샘플러(92)와 같은 리샘플러가 소스 해상도로부터 기준 공간 해상도로의 초기 리샘플링을 수행한다는 점에서 변경될 수 있다. 변형 c에 따르면, 도 5b에 묘사된 바와 같이, 리샘플러(100)는, 모듈(56)에서의 변환 및 양자화 이전에 왜곡되지 않은 예측 레지듀얼 신호(54)를 가변 타겟 공간 해상도로 리샘플링하기 위해 감산기(48)의 출력과 변환, 스케일링 및 양자화 모듈(56)의 입력 사이에 연결되며, 여기서 리샘플러(102)는, 한편으로는 역변환 모듈(62)의 출력과 다른 한편으로는 가산기(64)의 제1 입력, 즉 가산기(64)에 의해 수행되는 예측 보정 사이에 연결됨으로써 역 프로세스, 즉 타겟 공간 해상도로부터 기준 공간 해상도로의 리샘플링을 수행한다. 즉, 도 5b에 도시된 변형 c에 따르면, 리샘플링 단계는 예측 레지듀얼 신호에 대해 수행되며, 그에 의해 가장 높은 해상도로의 복원을 허용한다.
다음의 설명은 변형들 a 내지 c에 따라 발생하는 필요성들을 해결하기 위해 다수의 시그널링 가능성들에 집중한다.
이미 위에서 설명된 바와 같이, 타겟 공간 해상도는 화상 피치 또는 프레임 레이트에 대응하는 시간적 스케일로 변화되게 허용될 수 있다. 예를 들어, 도 6은 타겟 공간 해상도 시그널링화(104)가 데이터 스트림(14)의 화상 파라미터 세트들, 즉 PPS(106)에 포함될 수 있다는 것을 예시한다. 이것은 변형들 a 내지 c에 따라 행해질 수 있다. 도 6의 예에 따른 시그널링화(104)는 화상 사이즈를 수평으로(108) 그리고 수직으로(110) 표시한다. 가변 타겟 공간 해상도를 사용할 가능성은 PPS(106)에 포함된 플래그(112)에 의해 스위칭 온 또는 오프되도록 시그널링되는 모드일 수 있으므로, 활성화되면, 대응하는 화상의 타겟 공간 해상도는 x 및 y에서 샘플들의 수로 측정된 대응하는 화상 사이즈를 표시하는 신택스 엘리먼트들(108 및 110)을 사용함으로써 표시되거나, 또는 활성화되지 않으면 표시되지 않는다.
시퀀스 범위 제약 플래그는, 동적 해상도가 허용되는지 여부를 트리거링할 수 있다. 그러한 플래그는 SPS(시퀀스 파라미터 세트)에 또는 훨씬 더 큰 범위, 이를테면 VUI에서와 같이 전체 비디오의 파라미터 세트에 포함될 수 있다. 도 7은, 그러한 플래그, 즉 플래그(116)가 SPS(114)에 포함되는 일 예를 도시한다. 후자의 플래그(116), 즉 SPS_dynamic_resolution_enabled_flag는 플래그(112)의 값, 즉 PPS_dynamic_resolution_enabled_flag가 1로 세팅되지 않아야 한다는 것을 시그널링하기 위해 0으로 세팅된다.
대안적인 예는, 화상 사이즈 세트, 즉 Pie Size Set가 PPS보다 큰 범위 파라미터 세트, 이를테면 SPS 또는 VPS에 정의될 것이고, 세트에 대한 인덱스가 슬라이스 헤더 내의 모든 각각의 비디오 슬라이스 NAL 유닛에 포함될 것이거나 이를 동반할 것이라는 것일 것이다. 예는 도 8 및 도 9에 묘사된다. 이번에, SPS(114)는 플래그(116)를 넘어서, 후자의 플래그가 세팅되면, 타겟 공간 해상도의 가능한 값 또는 가능한 상태마다 한번씩 신택스 엘리먼트들(108 및 110)에 의해 화상 사이즈 또는 타겟 공간 해상도를 시그널링하는 타겟 공간 해상도 시그널링화(118)를 포함하며, 인덱스(122)에 의한 이들 가능한 값들 또는 상태들 중 하나에 대한 참조들이고, 그에 의해 슬라이스 헤더(120)의 슬라이스가 속하는 개개의 화상에 대해 표시되는 슬라이스 헤더(120)(이의 일 예는 도 9에 도시됨)는 시그널링화(118)에 의해 표시된 개개의 타겟 공간 해상도를 지칭한다. 하나의 화상 내의 모든 슬라이스들은 동일한 타겟 공간 해상도를 표시하거나 동일한 타겟 공간 해상도를 인덱싱하도록 요구될 수 있다.
일 실시예에 따르면, 타겟 공간 해상도의 변경을 허용하기 위해 어느 가능성이 사용되었는지에 관해 데이터 스트림(14) 내에서 시그널링하는 것이 가능하다. 예를 들어, flag output_scaling_flag 또는 일부 다른 시그널링은, 리샘플링이 프리/포스트 프로세싱 단계로서 행해지는지 또는 표준의 인-루프 리샘플링 단계로서 행해지는지를 표시할 수 있다. 이것은 변형들 b 및 c로부터 변형 a, 즉 디코딩 루프로부터 리샘플링을 구별하도록 허용할 것이며, 여기서 리샘플링은 디코딩 루프(42) 내에서 행해진다. 이러한 경우, 다수의 모드들, 즉 한편으로는 변형 a 및 다른 한편으로는 변형들 b 및 c 중 적어도 하나가 코덱 및 인코더, 디코더에서 각각 구현될 것이다. 이러한 방식으로, 디코더는, 디코딩된 비디오 신호의 해상도에 대한 동적 조정들이 제시 이전에 수행되어야 하는지 여부의 디스플레이까지 멀티미디어 프로세싱 체인 아래로 엘리먼트들을 추가로 구성하도록 인에이블링된다.
포함되어 데이터 스트림(14)으로 삽입될 수 있는 추가적인 시그널링은 종횡비 시그널링을 포함할 수 있다. 특히, HEVC에서, 예를 들어, 시퀀스 특정적이고 CVS 내에서 변화되도록 허용되지 않는 수 개의 비트스트림 시그널링 양상들이 존재한다. 지금까지 설명된 실시예들에서와 같이, 해상도, 즉 타겟 공간 해상도는 코딩된 비디오 시퀀스(CVS) 내에서 변화되도록 허용되고, 그러한 시그널링은 동적이어야 하며, 즉 이들 양상들은 동적 방식으로 설명되어야 한다. 예를 들어, 샘플 종횡비의 시그널링 양상을 취하며: 소스 신호(12)의 화상의 해상도를 감소시키는 것은, 예를 들어 다수의 방식들로, 즉 수평으로 리샘플링하거나 수직으로 리샘플링함으로써 또는 양 방향들로 리샘플링함으로써 달성될 수 있다. 직전에-언급된 3개의 옵션들 모두는 주어진 타겟 해상도에 대해 상이한 리샘플링 비율들을 요구하며, 이는 상이한 샘플 종횡비들을 유발할 것이다. 따라서, 해상도를 변화시키는 것은 코딩된 샘플 종횡비들을 변화시킬 것이다. 하나의 옵션은, 화상 사이즈들 중 하나, 이를테면 모든 가능한 화상 사이즈들에 걸쳐 SPS에서 정의된 첫번째 화상 사이즈 또는 가장 큰 화상 사이즈에 종횡비가 적용되는 디폴트 방식을 정의하는 것이다. 다른 가능성은, 시그널링된 종횡비가 적용되는 기준 화상 사이즈를 특정하고, 이를 디코더(30) 또는 디코더의 출력에 연결된 일부 렌더러까지 남겨두어, 다른 포맷들의 샘플 종횡비인 것을 도출하는 것이다. 예를 들어, 도 10을 참조한다. 도 10은, 데이터 스트림이 126에서 출력 종횡비를 표시하는 정보 또는 시그널링을 포함할 수 있다는 것을 나타낸다. 도 10은, 이러한 정보(126)가 vui(124)에 포함될 수 있다는 것을 예시하지만, 이것은 단지 일 예일 뿐이다. 즉, 시그널링화(126)는, 기준 공간 해상도와 같은 타겟 공간 해상도의 하나의 가능한 세팅에 대해 x로 또는 수평으로(128) 종횡비를 표시하고 y로 또는 수직으로(130) 종횡비를 표시하며, 비디오(32)를 수신하는 디코더 또는 일부 디바이스는 개개의 공간 해상도로 화상들에 대한 비디오(32)를 제시하기 위해 이러한 종횡비를 사용한다. 변형 a와 같은 비디오(32)의 가변 화상 사이즈들의 경우, 종횡비 시그널링화(126)는 기준 공간 해상도와 같은 대응하는 공간 해상도의 화상들에 대해 그리고 다른 해상도의 화상들에 대해 사용되며, 제시를 위한 종횡비는 시그널링화(126) 및 개개의 타겟 공간 해상도 또는 개개의 화상의 화상 사이즈에 기초하여 결정된다. 즉, pic_width_in_luma_samples[i] 및 pic_height_in_luma_samples[i]를 갖는 화상 사이즈의 경우, 그 화상에 대한 종횡비는 다음과 같이 도출될 수 있다:
sar_width[i]=sar_width_default/pic_width_in_luma_samples_default* pic_width_in_luma_samples[i]
및
sar_height[i]=sar_height_default/pic_height_in_luma_samples_default* pic_height_in_luma_samples[i].
위의 예시적인 계산에서, 어떠한 크롭핑(cropping) 파라미터들도 존재하지 않는다고 가정한다는 것을 유의한다. pic_width_in_luma_samples[i] 및 pic_height_in_luma_samples[i]는 전체 디코딩된 화상에 대응하는 반면, 크롭핑된 화상은 그것이 출력되는 일부이다. 2개의 상이한 해상도들은 완전히 상이한 크롭핑 윈도우들을 사용할 수 있으며, 따라서 위의 계산은 상이한 해상도들의 sar_width와 sar_height 사이의 관계를 계산하기 전에 크롭핑을 수행하도록 요구할 것이다. 즉 다음과 같으며:
croppedWidth[i]= pic_width_in_luma_samples[i]-(conf_win_right_offset[i] + conf_win_left_offset[i])
croppedHeight[i]= pic_height_in_luma_samples[i]-(conf_win_top_offset[i] + conf_win_left_offset[i])
따라서:
sar_width[i]=sar_width_default/ croppedWidth_default* croppedWidth[i]
및
sar_height[i]=sar_height_default/croppedHeight_default*croppedHeight[i] 이다.
그러나, 통상적으로 이들 샘플 종횡비 값들은 포스트-프로세싱을 위해 매우 양호하게 정의된 인터페이스들에서 사용되며, 여기서, VUI로부터의 직접 값들은 포스트-프로세싱 단계들을 구성하는 데 사용된다. 위의 계산이 간단하고 쉽게 수행될 수 있지만, 최소한의 변화들로 기존의 인터페이스들 및 API들을 사용하는 것을 허용할 더 간단한 접근법은 오늘날 행해지는 것과 유사한 방식으로 각각의 해상도들에 대해 상이한 종횡비들을 직접 시그널링할 것이다.
예를 들어, 제1 옵션은 도 11에 예시된 바와 같이, 시그널링된 화상 사이즈 당 하나씩 수 개의 종횡비들을 설명할 것이다.
여기서, 시그널링화(126)는 타겟 공간 해상도의 각각의 가능한 세팅에 대한 비디오(32)의 화상들을 출력하기 위한 종횡비를 표시하며, 그 화상들의 수는 num_pic_in_luma_samples_minus1에 의해 표시된다. 도 11은 종횡비를 표시하는 대안적인 방식 또는 대안적인 옵션이 미리 정의된 종횡비들 중 일부를 인덱스(132)에 의해 인덱싱할 가능성을 나타낸다.
도 11의 시그널링 예는 일부 경우들에 대해 추가로 개선되고 더 효율적으로 행해질 수 있다. 도 11의 예에서, 화상 사이즈들로서 설명된 동일한 수의 샘플 종횡비들이 존재한다는 것을 알 수 있다. 대안적으로 말하면, 도 11은 타겟 공간 해상도의 각각의 가능한 세팅에 대한 샘플 종횡비를 표시한다. 그러나, 샘플 종횡비가 타겟 공간 해상도의 모든 가능한 세팅들 또는 모든 화상 사이즈들에 대해 동일하거나, 또는 가정된 샘플 종횡비들의 수가 화상 사이즈들 또는 타겟 공간 해상도의 수보다 적어도 작다는 것이 발생할 수 있다. 따라서, 종횡비들의 시그널링은 도 12에 묘사된 바와 같이 행해질 수 있다. 여기서, 플래그(134)는, 모든 종횡비들이 동일한지 여부, 즉 비디오(32)의 모든 화상들이 동일한 종횡비를 갖는다는 것을 표시할 수 있다. 동일하다면, 시그널링(126)은 단지 모든 화상들에 대해 한번만 시그널링되어야 한다. 그렇지 않으면, 상이한 종횡비들의 수가 136에서 시그널링되며, 이어서, 시그널링(126)은 136에 의해 표시될 때마다 데이터 스트림에 포함된다. 각각의 화상에 대해, 이어서, 어느 타겟 공간 해상도가 사용되는지가, 즉 화상 사이즈 표시(104 또는 122)에 의해 표시되며, 간접적으로는, 사용될 타겟 공간 해상도의 이러한 선택은 또한, 즉 정확한 종횡비를 각각의 타겟 공간 해상도에 연관시킴으로써, 적용될 종횡비 및 비디오(32) 또는 개개의 화상의 제시를 표시한다.
지금까지 설명된 것과 유사한 방식으로, 다음의 파라미터들이 데이터 스트림(14)에 포함될 수 있다.
위와 유사한 방식으로, 다음의 파라미터들에 대한 시그널링이 데이터 스트림에 존재할 수 있다:
min_spatial_segmentation_idc ue(v)
min_spatial_segmentation_idc는 병렬 프로세싱 능력들을 표시한다. 예를 들어, (어떠한 타일들도 사용되지 않고 파면(wavefront) 프로세싱이 가능하지 않을 때, 즉 entropy_coding_sync_enabled_flag가 0과 동일할 때) 슬라이스 내에 포함된 루마(luma) 샘플들의 최대 수가 그에 의해 제약된다. 또는, 타일들이 사용중이면, 타일 내에 포함된 루프 샘플들의 최대 수가 그에 의해 제약된다. 다른 병렬 프로세싱 모드는 entropy_coding_sync_enabled_flag가 1과 동일할 때(파면 프로세싱) 이루어지며, 여기서 CtbSize 및 화상 사이즈들은 "파면" 행들의 수를 결정하고; min_spatial_segmentation_idc의 값은 CtbSize 및 화상 사이즈의 관계에 대한 제약들을 세팅한다. 이들 병렬 프로세싱 모드들(슬라이스들, 타일들, 파면) 중 임의의 프로세싱 모드에 대해, min_spatial_segmentation_idc의 값은 화상 사이즈들에 의존하여 위에서 논의된 바와 같이 제약들을 세팅한다. 더 양호한 이해를 위해 HEVC의 사양 텍스트는 다음과 같다:
- 그렇지 않으면(min_spatial_segmentation_idc가 0과 동일하지 않음), 다음의 조건들 중 정확히 하나가 참이어야 한다는 것이 비트스트림 적합성의 요건이다:
- CVS 내에서 활성화되는 각각의 PPS에서, tiles_enabled_flag는 0과 동일하고, entropy_coding_sync_enabled_flag는 0과 동일하며, 다음 초과의 루마 샘플들을 포함하는 CVS에 어떠한 슬라이스도 존재하지 않는다:
(4 * PicSizelnSamplesY) / minSpatialSegmentationTimes4 개의 루마 샘플들.
- CVS 내에서 활성화되는 각각의 PPS에서, tiles_enabled_flag는 1과 동일하고, entropy_coding_sync_enabled_flag는 0과 동일하며, 다음 초과의 루마 샘플들을 포함하는 CVS에 어떠한 타일도 존재하지 않는다:
(4 * PicSizelnSamplesY) / minSpatialSegmentationTimes4 개의 루마 샘플들.
- CVS 내에서 활성화되는 각각의 PPS에서, tiles_enabled_flag는 0과 동일하고, entropy_coding_sync_enabled_flag는 1과 동일하며, 신택스 엘리먼트들 pic_width_in_luma_samples, pic_height_in_luma_samples 및 변수 CtbSizeY는 다음의 제약들을 준수한다: (2 * pic_height_in_luma_samples + pic_width_in_luma_samples) * CtbSizeY <= (4 * PicSizelnSamplesY) / minSpatialSegmentationTimes4.
화상 사이즈들 또는 타겟 공간 해상도가 화상마다 변화될 수 있다는 것을 고려하여, min_spatial_segmentation_idc는 더 유연한 방식으로 시그널링될 수 있다. 종횡비에 대한 것과 유사한 방식으로, min_spatial_segmentation_idc의 시그널링이 행해질 수 있다;
● 슬라이스/타일 당 루마 샘플들의 관점에서 동일한 제약들이 다른 화상 사이즈들에 적용되는 특정 화상 사이즈의 경우,
● 단위 화상 사이즈 min_spatial_segmentation_idc[i]에 따라.
다른 예는 다음에 관한 것이다:
max_bytes_per_pic_denom ue(v)
max_bytes_per_pic_denom은 CVS의 코딩된 화상의 VCL NAL 유닛들의 사이즈들의 합((PicSizelnMinCbsY * RawMinCuBits) / (8 * max_bytes_per_pic_denom))에 의해 초과되지 않는 비트들의 수를 표시한다. 그것은 또한 화상 사이즈에 의존한다.
따라서, 위와 유사한 방식으로, 그것은 다음과 같이 수 개의 화상 사이즈들에 대해 표시되어야 한다:
● 임의의 화상 사이즈에 대해 동일한 제약들이 적용되는 특정 화상 사이즈의 경우,
● 단위 화상 사이즈 min_spatial_segmentation_idc[i]에 따라.
다른 예는 다음에 관한 것이다:
max_bits_per_min_cu_denom ue(v)
max_bits_per_min_cu_denom은 CVS에서의 coding_unit()의 코딩된 비트들의 수에 대한 상한을 표시한다. 그것은 다음과 같이 Ctb 사이즈들 및 minCbLog2SizeY에 의존한다:
(128 + RawMinCuBits) / max_bits_per_min_cu_denom * (1 << (2 * (log2CbSize - MinCbLog2SizeY)))
여기에서 고려되는 바와 같은 멀티-해상도 코딩 방식에서, Ctb 사이즈들 및 최소 코딩 블록 사이즈들(minCbLog2SizeY)이 화상 사이즈에 의존한다고 구상될 수 있다. 이를 고려하여, 상이한 화상 사이즈들에 대한 상이한 값들이 구상될 수 있다.
다른 예는 다음에 관한 것이다:
log2_max_mv_length_horizontal ue(v)
log2_max_mv_length_vertical ue(v)
유사하게, MV들에 대한 2개의 신택스 엘리먼트들에 대한 제약들이 병렬화를 위해 사용될 수 있다. 그들은 코딩된 화상에 대해 적용되는 MV들에 대한 제약을 표현한다. 이러한 정보를 이용하여, 충분한 데이터가 (여전히 디코딩되고 있는) 화상으로부터 복원되었는지를 디코더가 알아서, 이를 참조하는 다른 화상을 디코딩하기 시작하는 것이 가능하다. 화상 사이즈들이 상이할 수 있으므로, 이전의 경우들과 같이, 화상 사이즈 당 표시가 요구된다.
다음의 옵션들로, 다음이 있다:
● MV들이 대응적으로 각각의 화상 사이즈로 스케일링되는 특정 화상 사이즈의 경우.
단위 화상 사이즈로, log2_max_mv_length_horizontal[i] 및 log2_max_mv_length_vertical[i]가 있다.
(예를 들어, FullHD 또는 4K 비디오 디코더들을 갖는 디바이스들을 수용하기 위해) 동일한 콘텐츠가 가변의 전체 해상도로 클라이언트에 제공되는 일부 시나리오들, 이를테면 타일 스트리밍에서, 화상 사이즈 또는 종횡비에 관계없이 화상 평면에 대해 일정한 타일 구조를 유지하는 것이 바람직할 수 있다. 일 실시예는, 가장 높은 시그널링된 타일 구조(예를 들어, 시퀀스 범위로 시그널링된 디폴트 구조)가 비트스트림에서 더 작은 해상도들(해상도 B)을 갖는 화상들에 대해 또한 사용되는 기준 공간 해상도(해상도 A)이라는 것을 표시하는 플래그(relative_tiling_flag)이며, 타일링 구조는 다음의 도 13의 상단에 예시된 바와 같이 개개의 화상 사이즈들에 비해 더 작은 해상도들에 대하여 스케일링된다. 도 13의 하단 상에서, 비-상대적인 타일링에 대한 경우가 디스플레이되며, 여기서 예시적으로, 리샘플링된 해상도 B(<A)의 화상은 원래(original) 해상도의 단일 타일에 완전히 끼워맞춰진다. 이러한 실시예에서, 타일링 구조는 하나의 해상도에 대해서만 시그널링되지만, 시퀀스 범위, 예를 들어 SPS에서 시그널링된다. 화상 범위, 예를 들어 PPS에 대한 다른 신택스는 개개의 신택스를 생략한다.
먼저, 이것은 각각의 해상도에 대한 잉여 타일링 시그널링을 피함으로써 비트들을 절약하는 것을 허용할 수 있다. 둘째로, 타일들의 양 및 상대적인 치수들이 코딩된 비디오 시퀀스의 과정에 걸쳐 일정하게 유지된다는 사실은 디코더 측 상에서 더 효율적인 리소스 계획을 허용하며, 여기서 디코더는 각각의 개별 화상에 대한 디코딩 프로세스에서 사용될 병렬화의 정도를 재평가하는 것을 피할 수 있다. 특히, 타일들의 상대적인 치수들이 상이한 해상도의 화상들에 걸쳐 일정하게 유지된다는 사실은, 디코더 리소스 계획을 간략화하는 것을 도울 수 있는 개별 타일들에 대한 디코더 런타임에 관한 추정들을 허용한다.
다른 실시예에서, 시그널링은, 비트스트림에 포함되며, 공간 해상도가 계층 내에서 변화되더라도, 타일들이 동일한 공간 계층 내의 모든 화상들에 대해 정렬된다는 것을 표시하는 시퀀스 레벨 보장으로 이루어질 수 있다. 디코더는 이러한 보장을 사용하여, 그에 따라 병렬 디코딩 리소스들을 예비하거나 또는 디코더가 병렬 프로세싱에 의해 비트스트림을 디코딩할 수 있는지 여부를 판단할 수 있다. 다수의 타일 구조들이 비트스트림 내에서 전송될 수 있지만, 이들 구조들 모두가 동일하거나 또는 동일한 타일 구조의 서브샘플링된 등가물이다.
추가적인 실시예는, 더 낮은 해상도에 존재하는 모든 타일 경계들에 대해, 정렬된 타일 경계가 더 높은 해상도에 존재한다는 방식으로, 해상도가 동일한 공간 계층 내에서 변화될 때 타일 구조가 그 계층 내에서 정렬된다는 보장을 표시하는 비트스트림 내의 플래그로 이루어진다. 더 높은 해상도로 코딩된 화상들은 부가적인 타일 경계들을 여전히 포함할 수 있다. 다수의 타일 구조들이 비트스트림 내에서 전송될 수 있지만, 더 낮은 해상도의 모든 구조들은 동일하고, 등가의 타일 구조가 더 높은 해상도에 존재한다.
디코더가 코딩된 비트스트림으로의 랜덤 액세스(RA)를 수행하는, 즉 임의의 RAP 중간-스트림으로부터 디코딩을 시작하는 경우, CRA와 같은 개방형 GOP RAP에 속하는 리딩 화상들은 통상적으로 폐기되며, 디코딩/제시는 RAP 화상으로부터 시작한다. 시스템 변형들 a, b, 또는 C에 의존하여, 비트스트림에서의 해상도들에 관한 디코더 측 상의 정보가 상이하다.
변형 a)에서, 디코더는, 디코딩 이후 특정 해상도로 DPB 내에 상주하는 현재 화상의 해상도에 관해 RAP에서의 화상-레벨 범위 신택스를 통해 통지받을 수 있다. 다른 해상도로의 현재 화상의 디코딩에 대해 요구되는, 자신의 특정 해상도로 DPB에 있는 각각의 기준 화상은 현재 화상의 해상도로 리샘플링된다.
변형 b) 및 c)에서, RAP에서, 시퀀스 레벨 범위 신택스는 비트스트림 내의 최대 해상도에 관해 디코더에게 통지할 수 있는 반면, 화상 레벨 범위 신택스는, 디코더가 모든 화상들을 가장 높은 해상도로 리샘플링하게 허용하기 위해, 디코딩될 현재 화상의 해상도에 관해 디코더에게 통지한다.
다음의 설명은 본 출원의 첨부된 양상들에 관해, 즉 영역별 패킹, 즉 장면의 특정한 장면 섹션 또는 장면 영역과 각각 연관된 화상 영역들로의 화상들의 장면별 세분을 허용하는 비디오 코딩에 관해 이루어진다. 이러한 양상에 따르면, 비디오 코덱은 영역별 패킹 또는 장면 패킹/파티셔닝에 민감하다. 장면 패킹/파티셔닝은, 상이한 장면 영역들이 상이한 장면 샘플링 밀도 또는 상이한 장면 해상도로 데이터 스트림에서 전달되도록 하는 방식으로 행해질 수 있으며, 그에 의해, 서브-화상 장면 해상도 변화로 종결된다. 코딩 동안 비디오 시퀀스의 화상 내에서 공간적 장면 해상도를 변경하는 것, 즉 상이한 공간 해상도들로 장면의 개별 서브섹션들을 표현하는 것이 가치있는 것처럼 보이는 상이한 경우들이 존재한다. 그러한 수단은, 코덱의 코딩 효율을, 즉 즉 주어진 화상 영역에 대한 비트레이트 범위를 감소시키기 위한 다른 수단으로서 증가시키거나, 또는 디코딩된 화상을 포스트-디코더 리샘플링 엔진으로 처리하기 전에 이들 샘플들의 양을 감소시킴으로써, 디코딩된 화상의 샘플들을 처리하기 위한 코덱 메모리 요건들을 감소시키기 위해 사용될 수 있다. 그러나, 지금까지 이용가능한 비디오 코덱들은, 코덱의 인식 없이 프리 및 포스트 프로세싱과 함께 이를 행하는 MPEG OMAF와 같은 그러한 서브-화상 리샘플링에 의존하는 그러한 조치들 및 시스템 표준들을 의식하지 못한다. 여기서, 화상은 서브화상들 또는 영역들로 분할되며, 이들 영역들은 코딩된 화상 내에서 재배열 또는 패킹된다. 최신 코덱들에서, 이들 패킹 단계들의 메타데이터만이 비디오 비트스트림 내에서, 즉 비디오를 제시하기 전에 프로세싱을 반전시키도록 소위 영역별 패킹 SEI 메시지들의 형태로 전달된다. 아래에서 추가로 설명되는 실시예들에 따르면, 아이디어는 코덱 도구 판단들 및 코딩 프로세스들에서 패킹 포맷에 관한 지식을 용이하게 하는 것이다. 예를 들어, 표준 영역별 패킹(RWP) 신택스가, 예를 들어 PPS에 도입될 수 있으며, 이는, 소위 패킹되지 않은 화상, 즉 모든 영역들이 동일한 공간 해상도 및 패킹된 화상 내의 영역들에 대한 대응도의 정확한 아웃 콘텍스트로 배열되는 원래 화상의 영역들을 정의한다. 패킹되지 않은 화상 및 패킹된 화상 내의 영역들 사이의 설명된 이미지 변환들은 병진이동, 스케일링, 미러링 등을 포함할 수 있다.
도 14a 및 도 14b는 2개의 예시적인 RWP 시나리오들의 예시들을 제공한다. 이들 도면들에서, 좌측은 패킹되지 않은 화상(200), 즉 장면을 나타내고, 우측은 패킹된 화상(202), 즉 코딩된 화상들을 나타낸다. 패킹되지 않은 화상(200) 및 패킹된 화상(202)은 균일한 샘플 해상도로 나타낸다. 패킹된 화상(202)은 화상 영역들(204)로 세분된다. 각각의 화상 영역(204)은 패킹되지 않은 화상(200) 중 대응하는 장면 섹션(206)을 자신과 연관시키며, 대응도 또는 연관은 문자들 a, b 및 c의 사용에 의해 예시된다. 화상(202)의 화상 영역들(204)로의 파티셔닝 및 이들 화상 영역들(204)의 장면 섹션들(206)로의 맵핑(화살표(208)에 의해 예시됨)은 RWP 정보 또는 장면 패킹/파티셔닝 정보를 통해 데이터 스트림에서 시그널링되며, 이러한 맵핑(208)은 도 14a 및 도 14b로부터 명백해질 바와 같이, 화상 영역들(204)에 대한 상이한 리샘플링 또는 공간 스케일링을 수반할 수 있다.
따라서, 아래에서 추가로 설명되는 실시예들에 따르면, RWP 신택스는 이러한 장면 파티셔닝/패킹을 설명하기 위해 사용될 수 있으며, 그 후, 본 명세서에 설명되는 실시예는, 코덱에서 이러한 장면 파티셔닝에 관한 지식을 활용하기 위해 사용될 수 있는 다수의 코딩 도구 제한들, 변경들 및 시그널링을 도입한다. 다음의 설명을 쉽게 이해하기 위해, 인코더 및 디코더의 일반적인 프레임워크가 도 15a 및 도 15b에 관해 설명된다. 도 15a는 비디오 인코더(220)를 도시한다. 비디오 인코더(220)는 인바운드 비디오(222)를 데이터 스트림(224)으로 인코딩하도록 이루어지며, 여기서, 비디오(222)의 각각의 화상(202)은 장면 파티셔닝(208)에 따라 화상 영역들(204)로 파티셔닝되고, 화상 영역들(204) 각각은 장면 파티셔닝(208)에 의해, 화상 영역들(204) 각각에 장면(200)의 개개의 장면 영역(206)을 맵핑시킨다. 비디오 인코더(220)는 장면 파티셔닝(208)의 조정을 지원한다. 예를 들어, 비디오 인코더(220)는, 장면(200)을 표현하는 비디오 또는 비디오 데이터에 기초하여, 비디오(222)를 제공할 때 비디오 인코더의 입력에 연결된 모듈에 의해 수행되었을 수 있는 장면 파티셔닝(208)에 대한 정보(226)를 수신하기 위한 입력을 포함한다. 비디오 인코더(220)는 데이터 스트림(224)에서 장면 파티셔닝을 시그널링하도록 이루어진다. 예를 들어, 장면 파티셔닝(208)의 정보는 도 15a의 228에서 데이터 스트림(224)에 포함되는 것으로 예시된다. 아래에서 더 상세히 설명되는 방식으로, 비디오 인코더(220)는 장면 파티셔닝(208) 또는 정보(226)에 각각 의존하는 방식으로 비디오(222)를 데이터 스트림(224)으로 인코딩하도록 이루어진다.
대응하는 비디오 디코더가 도 15b에 예시된다. 도 15b의 비디오 디코더, 즉 230은 비디오(222)가 인코딩된 데이터 스트림(224)을 수신하고, 데이터 스트림(224)으로부터 장면 파티셔닝 정보(228)를 도출하도록 이루어진다. 파선(232)에 의해 묘사된 바와 같이, 디코더(230)는 선택적으로, 비디오 디코더(230)가 출력하고 비디오(222)의 복원을 표현하는 복원된 비디오(234)의 수신측에 장면 파티셔닝 정보를 앞으로 전달할 수 있다. 중요하게, 비디오 디코더(230)는 장면 파티셔닝 정보(228)에 의존하는 방식으로 데이터 스트림(224)으로부터 비디오(234)를 디코딩하도록 이루어진다. 다음의 설명은 이러한 의존성에 대한 특정 예들을 제공한다.
특히, 지금까지 설명된 바와 같이, 장면 파티셔닝 정보(228)는 화상 레벨, 화상들의 시퀀스 레벨 또는 화상들의 그룹 레벨과 같은 일부 시간적 스케일로 데이터 스트림에서 전달되거나, 또는 SEI 메시지들의 경우에서와 같이 간헐적으로 업데이트될 수 있으며, 그 범위는 다른 SEI 메시지에 의한 장면 파티셔닝(208)의 다음 업데이트까지 산출된다. 도 14a 및 도 14b로부터 알 수 있는 바와 같이, 장면 맵핑(208) 때문에, 코딩된 비디오(222)의 화상들의 상이한 화상 영역들(204)은, 예를 들어 아래에서 더 상세히 서술될 바와 같이, 예측 프로세스들에서 상황이 고려되어야 하는 상이한 장면 샘플링 밀도 또는 장면 샘플링 해상도로 장면(200) 내의 오브젝트들을 묘사할 수 있다. 추가로, 화상 영역들에 대한 상이한 장면 샘플링 밀도, 즉 장면(200)의 단위 영역 당 샘플들의 상이한 수는, 개개의 화상 영역(204)을 효율적으로 코딩하기 위한 최적의 솔루션인 상이한 코딩 파라미터들로 귀결될 수 있다. 따라서, 그러한 파라미터들의 화상 영역별 세팅을 허용하는 것이 유리할 수 있다. 더 추가적으로, 장면 파티셔닝(208) 및 특히, 한편으로는 화상(202)과 다른 한편으로는 장면(200)을 비교할 때 화상 영역들 사이의 공간적 이웃 관계의 변화 때문에, 이웃한 화상 영역들(204) 사이의 계면들은, 이들 계면들의 양측의 화상 콘텐츠가 장면(200) 내의 바로 이웃한 부분들에 관련되지 않는 계면들을 표현할 수 있다. 따라서, 예를 들어, 그에 걸쳐 필터링하는 것은 의미가 없다. 다음의 설명은 인코딩 및 디코딩 프로세스에서 이를 어떻게 고려할지에 관한 예들을 나타낸다.
예를 들어, 다음의 설명은 한편으로는 코딩 파티셔닝과 다른 한편으로는 장면 파티셔닝 사이의 관계에 관한 것이다. 이를 설명하기 위해, 도 16을 참조한다. 도 16은 비디오(222)의 하나의 화상(202)을 도시한다. 비디오(202)를 데이터 스트림(224)으로 인코딩하기 위해, 비디오 인코더(220) 및 비디오 디코더(230)는 비디오(222)의 화상들(202)을 블록들(240)로 파티셔닝한다. 이들 블록들(240)의 유닛들에서, 비디오(222)는 데이터 스트림(224)으로 코딩된다. 예를 들어, 이들 블록들의 유닛들에서, 비디오 인코더 및 비디오 디코더는 예측 레지듀얼 코딩/디코딩을 수행할 수 있다. 따라서, 화상(202)의 블록들(240)로의 파티셔닝은 변환 블록들로의 파티셔닝일 수 있다. 대안적으로, 비디오 인코더 및 디코더는 블록들(240)의 유닛들로 인트라-예측과 인터-예측 모드 사이에서 스위칭하여 비디오 인코딩/디코딩을 수행한다. 따라서, 블록들(240)은 코딩 블록들 또는 코딩 유닛들일 수 있으며, 데이터 스트림(224)은 각각의 블록(240)에 관한 예측 모드 판단을 전달할 수 있다. 그리고 더 대안적으로, 비디오 인코더 및 디코더는 블록들(240)의 유닛들로, 인트라-예측된 블록들 및 인터-예측된 블록들에 대한 예측 파라미터들을 세팅할 수 있다. 즉, 블록들(240)은 예측 유닛들 또는 블록들일 수 있다. 그리고 더 대안적으로, 블록들(240)은 화상(202)이 파티셔닝되는 타일들일 수 있으며, 여기서 이들 타일들(240)의 코딩/디코딩은 코딩 상호의존성들 없이 행해질 것이다. 데이터 스트림(224)은 화상(202)을 블록들(240)로 어떻게 파티셔닝할지에 관한 코딩 파티셔닝 정보(242)를 포함할 수 있다.
다음에 설명되는 가능성에서, 비디오 인코더 및 디코더는, 코딩 파티셔닝의 파라미터화가 화상(202)의 화상 영역들(204)에 대해 개별적으로 행해질 수 있는 방식으로 그 파라미터화를 가능하게 한다. 예를 들어, 코딩 파티셔닝은 도 17에 예시된 바와 같이 정의될 수 있다. 트리 루트 블록들(244)의 어레이로의 프리-파티셔닝(pre-partition)은 화상(202)을 프리-파티셔닝할 수 있다. 이어서, 이들 트리 루트 블록들(244)은 도 17의 점선들에 의해 예시된 바와 같이 계층적 서브-트리 파티셔닝의 대상이 될 수 있다. 도 17에서 참조 부호(246)를 사용하여 표시된 이러한 계층적 멀티-트리 세분의 리프 블록(leaf block)들은, 예를 들어 블록들(240)을 형성할 수 있다. 그 경우, 도 17에서 248에 표시된 트리 루트 블록들(244)의 사이즈는 결과적인 블록들(246)의 최대 블록 사이즈를 정의할 것이다. 예를 들어, 파라미터화는 이러한 최대 블록 사이즈를 정의할 수 있다. 파라미터화는 또한, 리프 블록들에 대한 최소 블록 사이즈(250) 및/또는 계층적 멀티-트리 세분에서 허용되는 계층적 분할 레벨들의 최대 수를 정의할 수 있다. 예를 들어, 제로 분할 레벨은 전혀 분할 없음에 대응할 것이며, 즉 트리 루트 블록(244)을 원래대로 남겨두고 이를 블록(240)으로서 사용한다. 1의 분할 레벨은 트리 루트 블록(244)의, 제1 분할 레벨의 다수의 영역들로의 제1 분할에 대응할 것이다. 도 17의 예에서, 일부 리프 블록들(246)은 제1 분할 레벨을 갖고, 1이 새겨져 있다. 서브-영역들로 추가로 분할된 제1 분할 레벨의 영역들은 제2 분할 레벨의 서브-영역들로 귀결되며, 도 17에는, 2가 새겨져 있는 것으로 예시적으로 도시된 그러한 계층적 레벨의 리프 블록들(246)이 존재한다. 따라서, 그러한 계층적 분할 레벨들의 최대 수는 코딩 파티셔닝에 대한 추가적인 파라미터화일 수 있다. 그리고, 최소 및 최대 블록 사이즈 사이의 차이가 또한 표시될 수 있다. 인코더는 각각의 화상 영역(204)에 대한 이들 파라미터화를 선택하고, 개개의 화상 영역(204)에 대한 파라미터화(252)를 데이터 스트림(224)에서 시그널링할 수 있다. 비디오 디코더는 정보(242)에 기초하여 코딩 파티셔닝을 수행하기 위해 파라미터화(250)를 사용할 수 있다. 예를 들어, 최대 블록 사이즈(248)에 기초하여, 디코더는 트리 루트 블록들(244)로의 프리-파티셔닝을 수행할 수 있다. 최소 블록 사이즈 또는 계층적 분할 레벨들의 최대 블록 수의 표시 또는 최소 및 최대 블록 사이즈(248 및 250) 사이의 차이의 표시에 각각 기초하여, 디코더는 특정한 분할들이 어쨌든 실현가능하지 않다고 추론할 수 있다. 따라서, 그러한 분할들에 대해, 인코더는 파티셔닝 정보(244)에서 대응하는 분할 플래그를 시그널링하지 않고, 디코더는 데이터 스트림(224)으로부터 개개의 분할 플래그를 전달하지 않는다. 트리 루트 블록들(244)을 CTU들로 지칭하고 HEVC의 신택스를 기초로 취하면, 도 18은 화상 영역(204)에 기초하여 정의된 파티셔닝 파라미터들에 대한 일 예를 제공한다. 도 18에 따르면, 상이한 최대/최소 CTU 사이즈들이 화상 영역(204)마다 정의된다. 여기서, HEVC에 정의된 CTU 사이즈들이 일 예로서 사용된다. HEVC에서, CTU 사이즈들이 전체 코딩된 비디오 시퀀스(CVS) 및 전체 화상에 대해 각각 일반적으로 정의되지만, 도 18의 예에 따르면, HEVC의 신택스는 시그널링이 단위 영역 기반으로, 즉 화상 영역(204) 마다 행해지도록 확장된다. 특히, 도 18은, 화상 영역들(204)이 정의되고 이전에 설명된 바와 같이, 그들이 상이한 장면 해상도 또는 장면 샘플링 밀도를 가질 수 있다는 것을 플래그(254)에 의해 표시하는 SPS를 나타낸다. 화상 영역들(204)로의 파티셔닝이 적용되면, 즉 장면 파티셔닝이 적용되면, 파라미터화(250)는 256에서 표시된 수에 따라 여러 번 시그널링된다. 수(256)는 화상 영역들의 수와 동일할 수 있거나 그보다 작을 수 있으며, 데이터 스트림(224)은 다양한 화상들 내의 각각의 파라미터 영역(204)에 대해 다양한 파라미터화 세팅들에 대한 인덱스들을 포함할 수 있다.
대안적으로, 파라미터들은 화상들 내의 영역들의 상이한 샘플링에 관한 지식을 이용하여 디폴트 파라미터들의 단일 세트로부터 암묵적으로 도출될 수 있다.
이어서, 화상들(202)의 영역들의 맵핑은 상이한 방식들로 행해질 수 있다: 예를 들어, 화상들(202)의 슬라이스들은해상도 영역들, 즉 파라미터화들(250)의 수 중 하나, 즉 256에 표시된 수에 맵핑될 수 있다. 맵핑은 전술된 독립적으로 코딩된 타일들의 유닛들로 행해질 수 있다. 즉, 각각의 타일은 파라미터화들(250) 중 하나와 연관될 수 있다. 대안적으로, 시퀀스 또는 화상 파라미터 세트 레벨에서, 원하는 코덱 유연성에 의존하여, 화상들(202)은, 화상들(202)의 슬라이스들 또는 타일들로의 파티셔닝보다 더 거칠거나 더 미세한 해상도 영역들로 세분될 수 있다.
추가로, 비디오 인코더 및 비디오 디코더는 코딩 블록 파티셔닝을 암묵적으로 정의하기 위한 소스로서 장면 파티셔닝(208) 또는 장면 파티셔닝 정보(228)를 각각 사용할 수 있다. 즉, 비디오 인코더 및 디코더 둘 모두는 코딩 파티셔닝에 따라 화상들(202)을 블록들(240)로 파티셔닝하고, 이들 블록들(240)의 유닛들로 비디오를 인코딩/디코딩할 수 있다. 설명된 바와 같이, 이들 블록들은 몇몇 예들을 들자면, 변환 블록들, 예측 블록들, 코딩 블록들 또는 타일들일 수 있다. 비디오 인코더 및 디코더 둘 모두는 장면 파티셔닝(208)에 의존하여 코딩 파티셔닝을 수행할 것이다. 일 예로서 타일 파티셔닝을 예시한다. 즉, 직전에-설명된 실시예들에 따르면, RWP 또는 장면 파티셔닝 정보(228)는, 블록들(250) 또는, 예를 들어 모션-보상된 예측을 사용하는 블록-기반 하이브리드 비디오 코덱의 다른 유닛들로 화상(202)을 파티셔닝할 시에 사용된다. 예를 들어, 정보(228)에 의해 시그널링된 블록들(240)로의 파티션이 RWP 정보(228)에서 정의된 화상 영역들(204)과 RWP 경계에 이웃한 영역들(204) 사이의 경계들(그 영역들은 상이한 공간 샘플링 밀도 또는 상이한 장면 해상도와 같은 상이한 속성들을 가짐)과 정렬되지 않는 경우, 대응하는 블록 또는 유닛 구조는, 명시적인 시그널링에 대한 필요성 없이 RWP 경계와 정렬될 수 있으며, 즉 장면 파티셔닝 또는 RWP에서 시그널링되는 영역 경계와 일치하는 암묵적인 파티션이 도출된다. 예를 들어, 도 19a 및 도 19b를 참조한다. 도 19a에 따르면, 코딩 파티셔닝(242)은 화상(202)의 블록들(240)로의 파티셔닝을 시그널링한다. 블록들(240)은, 예를 들어 타일들일 수 있다. 코딩 파티셔닝 정보(242)는 단지, 예를 들어 블록들(240)의 사이즈만을 표시할 것이며, 그에 의해 그 사이즈의 블록들(240)의 어레이로의 화상(202)의 규칙적인 세분을 정의한다. 그러나, 가능하게는 장면 샘플링 해상도 등에서 상이한 2개의 상이한 화상 영역들(204a 및 204b) 사이의 경계(250)를 교차하는 블록들(240)이 존재한다. 경계(250)는 장면 파티션 정보(228)에 기초하여 디코더(230)에 대한 비트스트림(224)으로부터 도출가능하다. 따라서, 인코더(220) 및 디코더(230)는, 코딩 파티셔닝(242)으로의 이러한 분할을 명시적으로 시그널링할 필요성 없이, 경계(250)를 교차하는 이들 블록들(240)을 경계(250)를 따라 2개의 블록들(240a 및 240b)로 암묵적으로 분할한다.
장면 파티셔닝(228)에 의존하는 방식으로 코딩 파티셔닝 및 코딩 파티셔닝 정보(242)를 정의하는 대안적인 방식이 도 19b에 묘사된다. 여기서, 블록들 또는 코딩 유닛들(240)은 화상 영역들(204a 및 204b)의 경계들에 정렬된다. 즉, 코딩 파티셔닝 정보(242)는, 예를 들어 단지 블록들(240)의 사이즈만을 표시할 수 있으며, 비디오 인코더 및 비디오 디코더는, 각각의 화상 영역(240a 및 240b)을 그 사이즈의 블록들(240)로 세분하는 이러한 화상 영역의 둘레 또는 경계를 따라 특정한 위치에서 시작하여, 이를테면 개개의 영역의 좌측 상단 코너에서 시작하여, 각각의 화상 영역(204a 및 204b)를 개별적으로 세분한다. 따라서, 개개의 코딩 영역의 경계를 넘어 우측 및 그의 하단으로 연장되는 블록들(240)은 개개의 경계에서 종료되기 위해 크롭핑될 수 있다. 결과는 도 19b에 묘사된다.
블록들(240)로의 규칙적인 세분과 유사한 방식으로, 암묵적인 블록 파티셔닝은 또한, 도 17에 관해 설명된 바와 같이 계층적 멀티-트리 세분에 적용될 수 있다. 예를 들어, 트리 루트 블록(244) 내에서 우측에 있는 도 17의 계층 레벨 1의 리프 블록은 화상 영역들 사이의 경계를 교차할 것이다. 그러한 경우, 이러한 영역의 분할은 비디오 인코더와 비디오 디코더 사이에서 암묵적일 수 있으며, 정보(242) 내에서의 개개의 비트의 시그널링은 중단될 수 있다.
따라서, 직전에 언급된 바와 같이, 코딩 파티셔닝(242)에서 명시적으로 시그널링되지 않은 일부 분할들을 추론하기 위한 소스로서의 RWP 정보(228)의 사용은 또한, 계층적 멀티-트리 세분을 포함하는 코딩 파티셔닝들(242)에 관련될 수 있다. 이것은 블록들을 리프 영역들로 완전히 파티셔닝하는 것에 적용될 수 있지만, 이웃한 영역과 중첩하는 계층적 분할 블록들에 또한 적용될 수 있다. 예를 들어, 도 19b에서, 영역(204a)의 우측에 있는 블록들(240)은 경계(250)를 교차할 것이다. 그들은 크롭핑된다. 그들은 화상의 둘레를 넘어 연장되는 영역들처럼 처리된다. 하나의 그러한 블록(240)이 추가적인 리프 블록들로의 추가적인 멀티-트리 세분의 대상이 되면, 경계(250)를 교차하는 블록의 멀티-트리 세분의 멀티-트리 세분의 분할 판단들의 서브세트의 각각의 분할 판단에 대해, 그것이 실행되는지(그 경우, 현재 분할 레벨의 대응하는 영역이 분할됨) 또는 개개의 분할 판단의 대상이 되는 대응하는 영역이 계층적 멀티-트리 세분의 리프 영역이 되도록 실행되지 않아야 하는지가 인코더 및 디코더에 의해 추론될 수 있다. 추론은, 정보(242)의 일부로서 개개의 분할 판단에 대한 분할 비트 표시자를 전송하지 않으면서 미리 결정된 화상의 장면 파티셔닝에 의존하여, 즉 현재 분할 레벨의 대응하는 영역이 분할되지 않으면 경계(250)를 교차할지 여부에 기초하여 행해진다. RWP 정보(228)에 기초하여 추론된 이들 분할 판단과 공통 원소가 없는(disjoint) 멀티-트리 세분의 각각의 다른 분할 판단에 대해, 개개의 분할 판단은 정보(242)의 일부로서 데이터 스트림에서 개개의 분할 비트 표시자에 의해 시그널링될 것이다. 도 19c 및 19d는 CU 분할의 HEVC 신택스를 기초로서 취하고 RWP 타일링을 활용하는 것으로부터 초래되는 이들 수정들을 강조함으로써 CU 쿼드-트리(quad-tree) 분할에 대한 신택스 예를 제시한다: 여기서, Tileld(픽셀 위치)는 각각 상이한 RWP 영역들(204a 및 204b)에, 즉 경계(250)의 상이한 측부들에 놓여있는 픽셀들에 대해 상이한 값들로 귀결되는 함수라고 가정된다. 신택스는, 크롭핑되지 않으면, CU들, 즉 리프 블록들이 경계(250)의 위치에 기초하여 추론될 수 있는 분할들에 대한 시그널링 분할 표시자들 split_cu_flag을 절약하여 영역 경계(250)와 정렬되는 방식으로 경계(250)를 교차할 영역(204a)의 CTB의 분할을 달성한다. 예를 들어, 251에서, split_cu_flag에 의해 시그널링되어야 하는 분할의 대상이 되는 현재 영역이 경계(250)를 교차함에 따라 그 영역이 어쨌든 수행될 것이라면, split_cu_flag는 시그널링되지 않는다. 251에서, 계층적 분할은, 현재 계층적으로 분할된 블록(240)이 속하는 영역(204a) 외부에 완전히 놓인 영역들에 대해서는 스킵(skip)된다.
장면 파티셔닝(208)이 코딩/디코딩 프로세스에 영향을 줄 수 있는 다른 상황은 서브-펠(sub-pel) 보간 필터들 및 모션 보상에 관련된다. 본 출원의 실시예들에 따르면, 본 명세서의 아이디어는, 한편으로는 모션 보상된 예측의 대상이 되는 현재 블록 및 현재 블록의 모션 벡터에 의해 참조되는 기준 화상의 영역이 2개의 상이하게 샘플링된 영역들, 즉 상이한 장면 샘플링 밀도/해상도와 연관된 화상 영역들(204)에 놓여있을 때마다, 모션 보상된 예측 동안 화상 내의 RWP의 영역들의 잠재적으로 상이한 공간 샘플링 속성들을 수용하기 위해 블록-기반 하이브리드 비디오 인코더들/디코더들의 서브-펠 보간 필터를 용이하게 하는 것이다.
일 실시예에서, 다음이 적용된다:
a) 2:1 다운샘플링(현재 참조(ref to cur)) - 전체 샘플 위치들의 일부가 서브-펠 위치로서 처리되거나, 또는
b) 1:2 업샘플링(현재 참조) - 서브-펠 보간이 수행되고, 결과적인 샘플들은 풀-펠(full-pel) 샘플들로서 처리되거나, 또는
c) 그렇지 않으면, 어떠한 변화도 없고, 규칙적인 모션 보상된 예측이 이루어진다.
예를 들어, 각각 4×4 샘플들이지만, 상이한 시야각을 묘사하는 2개의 영역들(좌측 및 우측)을 갖는 도 20a 및 도 20b의 화상의 다음의 예시를 취하며, 즉 화상의 좌측은 비교적 작은 시야각이지만 더 높은 해상도/충실도의 이미지 콘텐츠를 묘사한다.
예를 들어, 우측 상의 현재 화상(202)의 화상 영역(204) 밖의 영역(260) 및 기준 화상의 화상 영역(204) 밖의 영역(262)의 도 20a의 다음의 예시를 취한다. 묘사된 영역들(260 및 262)은 둘 모두 4x4 코딩된 샘플 폭이며, 코딩된 샘플들은 십자가들(264)에 의해 표시된다. 상이한 장면 샘플링 밀도/해상도 때문에, 영역들(260 및 262)은 상이한 시야각에 관련된다. 더 정확하게는, 영역들(260 및 262) 둘 모두가 동일한 수의 코딩된 샘플들로 이루어지지만, 좌측 영역(262)은 우측 영역(260)보다 비교적 더 작은 시야각이지만 더 높은 해상도/충실도의 이미지 콘텐츠를 묘사하며, 비율은 2:1이다.
모든 풀-펠 샘플 위치들 또는 코딩된 샘플 위치들은 도면에서 십자가들로서 묘사된다. 좌측 샘플들, 즉 점선으로 회전된 십자가들로 마킹된 위치들의 샘플들의 2×2 서브세트(266)는 더 낮은 샘플링 해상도의 영역의 버전에 대응하며, 즉 268에 의해 표시된 좌측 상의 이들 2×2 샘플들은 우측의 4×4 샘플들에서 동일한 시야각을 묘사한다.
이러한 예에서, a)의 경우, 우측 상의 파선 직사각형(268)은 좌측의 샘플 위치를 포인팅하는 모션 벡터(270)를 갖는 현재 블록을 예시한다. 코딩된 풀-펠 위치들의 일부는 이러한 경우의 하프-펠(half-pel) 위치들로서 처리되며, 서브세트(회전된 파선 십자가들)만이 참조를 위해 고려된다(다시, 적색의 파선 직사각형(266)에 의해 둘러싸임).
역으로, 경우 b)에서, 다음의 도 20b에 예시된 바와 같이, 현재 블록이 적색의 파선 직사각형(272)을 통해 마킹된 바와 같이 좌측 상에 위치되고, 기준 블록이 비교적 더 낮은 샘플링(1:2)으로 우측 상에 위치될 때, 서브-펠 샘플 위치들(회전된 십자가들(276)에 의해 표시됨)은 276에 의해 표시된 바와 같이, 참조 및 복사된 부분에 대한 풀-샘플 위치들로서 처리된다.
도 20b에서, 영역(260)은 기준 화상 밖의 영역이고, 영역(262)은 현재 화상 밖의 영역이며, 화상 영역 영역(260)이 위치되는 장면 샘플링 밀도/해상도는 화상 영역(262)이 위치되는 화상 영역(204)의 장면 샘플링 밀도/해상도보다 낮다는 것을 유의한다. 다시 말하면, 예를 들어 비율이 1:2이면, 고해상도의 기존의 샘플들, 즉 좌측의 십자가들(264)은 저해상도 블록(276)에 대한 서브-펠로서 사용 및 고려될 수 있다. 예를 들어, 블록들의 해상도 비율이 1:2인 경우, 모션 벡터가 저해상도를 고려하는 정수의 샘플 위치를 포인팅할 것이라면, 고해상도 블록(272)의 매 초의 샘플(every second sample)이 스킵될 수 있다. 고해상도 블록의 이들 스킵된 샘플들 각각은, 저해상도가 고려되면 하프-펠 샘플들에 대응할 것이다.
추가적인 실시예에 따르면, 모션 벡터 예측기들은, 모션 벡터가 예측될 현재 블록 및 특정한 모션 벡터 예측기에 대한 소스를 형성하는 예측기 블록을 포함하는 패킹된 화상(202) 내의 영역들의 속성들에 기초하여 인코더 및 디코더에서 스케일링될 수 있다. 예를 들어, 도 21은 2개의 화상 영역들(204a 및 204b)을 갖는 패킹된 화상(202)을 예시하며, 여기서 좌측 영역(204a)은, 화상 영역(204a)에 대응하는 장면 영역(206a) 및 화상 영역(204b)에 대응하는 장면 영역(206b)으로 세분되는, 좌측의 참조 부호(200)를 사용하여 도 21에 도시된 패킹되지 않은 화상에 관해 예시적으로 수평으로 다운 스케일링된다. 인터-예측을 사용하여 파선 블록(280)을 코딩할 때(블록(280)은 화상 영역(204b)에 위치됨), 예시적인 모션 벡터 후보(282), 즉 화상 영역(204a)에 위치된 이웃한 블록(284)을 코딩하기 위해 사용되는 모션 벡터는, 각각, 인코딩 이전에 그의 화상 영역(204)이 경험했던 리샘플링에 따라, 또는 더 정확하게는, 화상 영역들(204a 및 204b) 사이의 장면 샘플링 해상도 차이에 따라 스케일링된다. 구체적인 예에서, 모션 벡터(282)의 수평 컴포넌트는 장면 샘플링 해상도에서의 차이에 따라 증가되고, 이어서, 현재 블록(280)에 대한 모션 벡터 후보(286)로서 사용될 것이다. 따라서, 사용된 후보(286)는 이웃한 블록(284)의 모션 벡터(282)의 스케일링 버전을 표현할 것이다.
다음의 도 22는, 고해상도 영역(204b)에 속하는 2개의 블록들(280, 284)에 대해 스케일링이 어떻게 수행되는지를 예시한다. 화상(202)의 저해상도 영역(204a)이 1:2의 스케일링 인자만큼 수평 도메인에서만 다운샘플링되는 것으로 가정된다는 것이 가정됨을 유의한다.
패킹된 화상 도메인의 예측기들의 스케일링은 패킹되지 않은 도메인(200)에서 MV 예측기들을 고려한 결과이다. 도 22에서, (패킹된 화상(290)에서의) 예측기 MV가 패킹되지 않은 화상(200)의 다른 벡터(292)에 어떻게 맵핑되는지가 도시된다. 더 구체적으로, 주어진 예에서, 우리는, 수직 컴포넌트가 RWP(208)로부터의 임의의 스케일링의 대상이 되지 않으므로, 그의 수평 컴포넌트 MVx에 포커싱할 것이다. 수평 컴포넌트 MVx는 2개의 부분들, 즉 MVx1(저해상도 영역(204a)에 놓인 모션 벡터(290)의 일부) 및 MVx2(고해상도 영역(204b)에 놓인 모션 벡터(290)의 일부)로 분할되며, 이는 (저해상도 영역에 대한 1:2 다운샘플링 인자를 가정하여) 패킹되지 않은 도메인(200)에서 2xMVx1 + MVx2의 수평 컴포넌트로 귀결된다. 수평 컴포넌트 2xMVx1 + MVx2를 갖는 패킹되지 않은 도메인의 예측기(294)는 현재 블록(280)에 대해 사용되는 예측기이며, 패킹되지 않은 도메인(200)에서의 그의 이미지는 280'에 표시된다. 이러한 예측기(294)는 동시에, 패킹된 도메인으로 다시 변환되어, 그에 의해 예측기 벡터(296)를 산출할 필요가 있다. 그러나, 현재 블록에 대한 이러한 모션 벡터(296)는 상이한 해상도 영역들(206a, 206b)에 속하는 2개의 상이한 부분들, 즉 2xsMVx1 및 sMVx2(여기서, 논의된 바와 같이, 패킹되지 않은 도메인(200)에 동일하게 존재함, 즉 2xMVx1 + MVx2 = 2xsMVx1 + sMVx2)를 갖는다. 이것은, sMVx1 + sMVx2와 동일한 수평 컴포넌트를 갖는 패킹된 도메인(202)에서의 스케일링된 모션 벡터(296)를 초래한다.
열거된 모션 벡터 컴포넌트들(및 부분들)은 블록의 중심의 위치 및 영역의 위치에 대해 계산될 수 있다. 예를 들어, 위에서 고려된 예에서(MV는 좌측을 향해 양의 부호를 가짐), 다음과 같다:
- MVx2 = Blockcenter - RegionBoundary
- MVx1 = MVx - MVx2
- (패킹되지 않은 도메인에서) sMVx2 = Blockcenter - RegionBoundary
- 2xMVx1 = 2xMVx1 + MVx2 - sMVx2.
도 15a 및 도 15b의 인코더들 및 디코더들의 코딩/디코딩의 가능한 의존성의 추가적인 실시예는 필터링 파라미터들에 관한 것이다. HEVC 또는 AVC와 같은 최신 비디오 코덱들에서, 포스트 필터(post filter) 또는 인-루프 필터 또는 디블록킹 필터(deblocking filter)와 같은 필터의 파라미터들은 필터링될 이웃한 블록들의 속성들에 기초하여 도출될 수 있다. 필터 파라미터는, 예를 들어 필터 강도, 필터의 전달 함수, 필터 커널 사이즈 또는 디블록킹 필터 리치(reach)에 관련될 수 있다. 속성들(그 속성들에 기초하여, 그러한 필터 파라미터가 인코더 및 디코더 측 상에서 결정됨)은, 예를 들어 인트라 또는 인터와 같은 예측 모드, 블록 사이즈 등일 수 있다. 상이한 해상도 콘텐츠가 인코딩 이전에 화상(202) 내에서 혼합되면, 어떠한 주의도 인-루프 디블록킹 필터링 단계에서 취해지지 않으며, 예를 들어, 이것은, 그러한 2개의 상이하게 샘플링된 영역들 사이, 이를테면 도 23에 묘사된 2개의 상이하게 샘플링된 화상 영역들(204a 및 204b) 사이의 경계를 따라 시각적 아티팩트(artifact)들을 유발할 수 있다. 이것은, 디코딩과 디스플레이 상의 제시 사이에서, 2개의 영역들(204a 및 204b)이 동일한 해상도, 즉 정도(degree) 당 샘플들을 갖도록 리샘플링될 수 있으며, 영역들(204a 및 204b) 둘 모두 내에서 필터에 의해 변경된 샘플들, 즉 필터 리치(300) 내의 샘플들이 상이한 양들의 정도들 및 시야를 점유할 수 있다는 사실 때문이다. 그러한 경우들에서 시각적 아티팩트들을 방지하기 위해, 일 실시예에 따르면, 그러한 필터의 강도 또는 추가적인 필터 파라미터들, 이를테면 필터 리치(300), 즉 필터링 프로세스에 의해 고려/변경된 필터링 경계로부터의 샘플들의 수는 이웃한 화상 영역들(204a 및 204b)의 서로에 관한 해상도에 의존하여 수정된다. 이것은 도 23에 묘사된다.
추가적인 실시예에 따르면, 장면 파티션(208)에 대한 인코딩/디코딩 프로세스의 의존성은, 예를 들어 인-루프 디블록킹 필터링 프로세스와 같은 필터링 프로세스에 대한 기준 샘플 도출에 관련된다.
화상 내의 영역들이 패킹될 때(예를 들어, 상이한 수평 및 수직 리샘플링이 영역들에 걸쳐 사용되고, 영역들이 직사각형 화상 평면을 도출하도록 재배열될 때), 패킹된 화상 내의 이웃한 샘플들은 패킹되지 않은 화상에서 이웃하지 않을 수 있다. 따라서, 그러한 속성들로 경계들에 걸쳐 우직하게(naively) 필터링하는 것은 바람직하지 않다. 대신, 본 발명의 일부로서, 패킹되지 않은 화상에서 이웃한 관계를 갖는 패킹된 화상 내의 샘플들을 도출하고 이들 샘플들을 필터링 프로세스를 위해 사용하기 위해 RWP 정보가 사용된다.
예를 들어, 도 14b를 참조한다. 여기서, 화상 영역들(204c 및 204b) 사이의 계면은 인공적이거나 장면-불연속 계면이다. 즉, 패킹된 도메인의 또는 화상(202) 내의 이러한 계면(310)에서 서로 접하는 화상 영역들(204c 및 204b)의 일부들은 이러한 장면(200)에서 서로 접하지 않는다. 따라서, 이러한 계면(310)에 걸친 필터링을 어느 정도 방해하거나 회피하는 것이 실현가능할 것이다. 그러나, 일 대안에 따르면, 직전에-서술된 실시예에 따라, 인코더 및 디코더는, 현재 필터링된 화상 영역으로부터 이웃한 화상 영역으로의, 이를테면 화상 영역(204c)으로부터 화상 영역(204d)로의 이러한 계면(310)을 넘어 연장되는 개개의 필터의 필터 커널을 채우며, 샘플들은, 장면(200) 내의 그 인터페이스(310), 이를테면 직전에-서술된 예의 경우에는 화상 영역(204a)의 좌측 에지 측부에서 현재 필터링된 화상 영역과 접하는 화상(202)의 일부로부터 획득된다. 도 14b의 예에서, 화상 영역(204b)이 현재 필터링되고 필터 커널이 계면(310)을 넘어 연장되면, 그것은 장면 도메인(200)을 봄으로써 알 수 있는 바와 같이, 화상 영역(204a)의 우측 에지 부분의 사용에 의해 필터링될 수 있다.
다른 실시예에 따르면, 비디오 인코더 및 디코더는 양자화가 관련되는 한, 인코딩 및 디코딩에 관한 장면 파티션 의존성을 나타낸다.
비디오 코덱에서 모션 보상 예측된 화상의 레지듀얼 신호가 변환될 때, 부동 소수점 변환 계수들은 통상적으로 인코더 측 상에서 손실있는 양자화를 경험한다. 주어진 스텝 사이즈(양자화 파라미터 또는 QP)에 의존하는 균일한 양자화 이외에, 최신 코덱들은, 예를 들어 변환 계수 기본 주파수에 의존하여 스케일링 인자를 양자화에 통합함으로써 불균일성을 향해 양자화를 변경시키는 것을 허용한다. 이것은 주관적으로 최적화된 인코딩 방식들을 구현하는 것을 허용한다. 그러한 스케일링 리스트들이 디코더 측 상에서 선험적으로 알려져 있고, 비트스트림 시그널링에 의해 활성화 및 인덱싱될 수 있지만, 비트스트림에서 화상 마다 맞춤형 스케일링 리스트들을 송신하는 것이 또한 가능하다.
패킹된 화상 내의 영역들이 다양한 특성들을 갖는 콘텐츠를 묘사할 때, 코딩 효율 이득들은 스케일링 리스트들을 영역의 특성들에 맞춤으로써 달성될 수 있다. 예를 들어, 이들 특성들은 해상도/샘플링 뿐만 아니라 콘텐츠의 속성 등을 포함할 수 있다. 따라서, 단위 화상 영역(204) 기반으로 이들 맞춰진 스케일링 리스트들을 시그널링하는 것이 실현가능하다. 도 24a는 일 실시예를 나타내며, 여기서 scaling_list_data()[i]는 무엇보다도, i번째 영역에 대한 스케일링 리스트의 계수들을 전달하는 신택스 구조이다.
후속하여, 코딩된 화상(202) 내의 개별 영역들 또는 영역들(204)은, 예를 들어 슬라이스 헤더 또는 화상 파라미터 세트로부터의 리스트 scaling_list_data()[i]에 대한 인덱스마다 시그널링되는 스케일링 리스트들 중 하나를 참조할 수 있다. 대안적으로, num_scaling_lists_areas_minus1은 RWP 내의 영역들의 수와 동일할 수 있으며, 각각의 개별 영역에 대한 스케일링 리스트를 암묵적으로 시그널링한다.
즉, 직전에-서술된 실시예에 따르면, 도 15a 및 도 15b의 비디오 인코더 및 디코더는 서브-화상별 세팅 및, 특히 양자화 파라미터들의 화상 영역(204)별 세팅을 허용한다. 양자화 파라미터는 양자화의 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어한다. 예를 들어, 도 24b를 참조한다. 도 24b는, 예측 레지듀얼 중 하나의 블록을 인코딩하기 위해 비디오 인코더(220)에 의하여 데이터 스트림(224)으로 코딩될 수 있는 변환 블록(350)을 도시한다. 변환 블록(350)은 x 및 y에서 대응하는 레지듀얼 예측 블록을 스펙트럼적으로 분해하는 일부 변환을 사용하여 비디오 인코더에 의해 획득되었다. 변환 블록(350)의 예측 계수들은 상이한 수평 주파수들 fx 및 수직 주파수들 fy에 대응한다. 예를 들어, 좌측 상단 코너에는 DC 변환 계수 값이 있고, 우측 하단 코너에는 x 및 y에서 가장 높은 주파수 컴포넌트가 위치되며, 그 코너들 둘 모두는 352 및 354에 각각 표시된다. 직전에-논의된 양자화 파라미터가 하나의 화상(202) 내의 화상 영역들(204) 사이에서 변할 수 있도록 하는 방식으로 데이터 스트림(224)으로 코딩될 수 있는 그러한 양자화 파라미터는, 예를 들어 불균일한 방식으로 변환(350)의 변환 계수들을 양자화 및 역양자화하기 위해 사용될 양자화 스텝 사이즈를 제어함으로써, 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어한다. 즉, 변환(350)의 모든 변환 계수들에 대해 동등하게 변환(350)의 변환 계수들을 양자화하기 위해 양자화 스텝 사이즈를 스케일링하는 대신, 본 명세서에서 논의된 양자화 파라미터는 변환(350)의 변환 계수들을 양자화 및 역양자화할 시에 적용될 양자화 스텝 사이즈를 상이하게 변경시킨다. 그러한 스케일링은, 균일한 양자화 스텝 사이즈를 유지하면서 양자화 이전에 변환 계수 스케일링에 의해 구현될 수 있다. 예를 들어, 양자화 파라미터는 변환(350)의 변환 계수들에 대해 사용될 양자화 스텝 사이즈의 틸트(tilt) 또는 그렇지 않으면 스펙트럼 변경을 결정한다.
즉, 다시 말하면, 인코더 및 디코더(15a 및 15b)는, 스펙트럼적으로 변하는, 즉 변환(350)의 변환 계수들(350)에 걸쳐 변해서, 결국 양자화 노이즈가 또한 스펙트럼적으로 변하는 조도(coarseness)를 갖는 양자화 및 역양자화를 허용할 수 있다. 공간 주파수들 fx 및 fy에 걸친 양자화 노이즈의 변경은, 양자화 이전에 변환 계수들(352)을 스케일링하고 디코더 측에서 양자화된 변환 계수들을 역 스케일링함으로써 행해질 수 있다. 훨씬 더 정확하게는, 화상의 상이한 영역들에 대하여 인코더에 의해 변경될 수 있는 적어도 하나의 양자화 파라미터는 변환(350)의 각각의 변환 계수(352)에 대한 스케일링 인자를 정의할 수 있다. 이들 스케일 인자들은 불균일한 스펙트럼 형상을 정의한다. 영역마다, 적어도 하나의 양자화 파라미터는, 예를 들어 개별적으로 변환 계수들(353) 당 스케일 인자, 또는 변환(350)이 세분되는 상이한 스펙트럼 영역들에 대한 스케일 인자, 이를테면 변환(350)이 행들 및 열들에서 세분되는 변환(350)의 서브-블록들, 또는 상이하게 사이징된 서브-블록들을 표시할 수 있다. 대안적으로, 적어도 하나의 양자화 파라미터는, 변환 계수들(352)에 걸친 스케일 인자들의 과정을 정의하는 파라미터화된 2차원 함수에 따라 스케일 인자들에 의해 정의된 스펙트럼 형상을 결정할 수 있다. 예를 들어, 인코더는, 균일한 양자화 함수, 즉 변환(350)의 모든 변환 계수들(352)에 대해 동일한 양자화 함수를 사용하여 양자화 이전에 개개의 스케일 인자에 의해 각각의 변환 계수(352)를 분할할 것이다. 디코더는 각각의 영역에 대한 양자화 파라미터 및 그에 따른 각각의 변환 계수(352)에 대한 결과적인 스케일 인자를 수신하며, 개개의 변환 계수들(352)을 수신된 스케일 인자와 곱함으로써, 수신된 양자화된 변환 계수들(352)을 스케일링할 것이고, 그에 의해, 수신된 양자화 파라미터에 따라 스펙트럼적으로, 즉 개별적인 현재 화상의 각각의 영역에 대해 개별적으로 양자화 노이즈를 형상화한다.
본 출원의 다른 양상으로 진행하고 이러한 양상에 관한 실시예들을 설명하기 전에, 화상에 걸쳐 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 변경시키는 양자화 파라미터를 변경시키는 직전에-언급된 가능성이 또한, 도 15a 및 도 15b에 관해 지금까지 논의된 바와 같은 인코딩 및 디코딩의 장면 파티션 의존성과는 독립적으로 사용될 수 있다는 것을 유의해야 한다. 따라서, 도 15a 및 도 15b는 인코더 및 디코더의 예들, 및 코딩된 비디오 시퀀스의 화상들(202)이 임의의 장면 파티셔닝을 경험했거나 또는 경험하지 않았는지 및 데이터 스트림(224)이 장면 파티셔닝 설명(228)을 포함하는지 여부에 관계없이, 직전에-언급된 양자화 파라미터의 서브-화상별 세팅을 가능하게 하는 예들에 관한 것일 수 있다. 그러나, 데이터 스트림(224)은 임의의 경우에서, 양자화 파라미터의 서브-화상별 변경에 대한 정보, 이를테면 도 24a의 360을 포함할 것이며, 그 정보에 의해, 양자화 노이즈의 스펙트럼 형상은 직전에 서술된 바와 같이 변경된다. 이와 관련하여, 노이즈 색도에 영향을 주는, 도 24b에 관해 설명된 것들과는 다른 가능성들이 또한 존재한다는 것을 유의해야 한다.
후자의 상황은, 인코더 및 디코더를 각각 도시하는 도 25a 및 도 25b에 관해 더 상세히 설명된다. 도 25a의 인코더는 비디오 인코더일 수 있지만 반드시 그럴 필요는 없다. 참조 부호(320)를 사용하여 표시된 도 25a의 인코더는, 비디오(322)의 화상일 수 있거나 그 화상이 아닐 수 있는 화상(302)을 수신하고, 변환 기반 예측 코딩을 사용하여 화상(302)을 데이터 스트림(324)으로 인코딩한다. 즉, 인코더(320)는 공간 예측 모드들과 같은 하나 이상의 예측 모드들 및 비디오 코딩의 경우에는 시간적 예측 모드들을 사용하여 화상(302)의 블록들을 예측하고, 변환 코딩을 사용하여 예측 레지듀얼을 인코딩할 수 있다. 이를 위해, 인코더(320)는 변환 블록들, 즉 블록들(304)로 화상(302)을 각각 세분할 수 있으며, 이어서 인코더(320)는 변환 블록(350)을 산출하기 위해 변환 블록을 변환(306)의 대상이 되게 한다. 양자화를 위해, 인코더(320)는 전술된 스케일 인자들에 의해 정의된 전술된 스펙트럼 형상(309)을 사용하여 이러한 변환(350)을 역 스케일링하고, 이어서, 각각의 변환 블록(304)에 대한 양자화된 변환 계수들 또는 양자화된 변환(313)을 산출하기 위해 결과를 양자화(311)의 대상이 되게 한다. 단계(311)에서 사용된 양자화 함수는 불변인, 즉 변환 계수 위치들에 걸쳐 균일한 변환 계수일 수 있는 반면, 스펙트럼 형상(309)을 정의하는 스케일 인자들은 변환(350) 내의 변환 계수들에 걸쳐 변하고, 전술된 적어도 하나의 양자화 파라미터에 의해 정의된다. 그러나, 인코더(320)는 화상(302)의 서브-영역들, 이를테면 서브-영역들(304)에서 화상(302) 내의 이러한 적어도 하나의 양자화 파라미터를 변경시킨다. 데이터 스트림(324)에서, 인코더(320)는 각각의 서브-영역(304)에 대한 스펙트럼 형상(309)을 정의하는 양자화 파라미터(328)를 시그널링한다. 즉, 동일한 화상(302)의 다른 서브-영역 내의 변환 블록들(304)과 비교하여 하나의 서브-영역(304) 내의 변환 블록들(304)에 대해 상이한 스펙트럼 형상이 사용되도록, 정보(328)는 각각의 서브-영역(304)에 대한 스펙트럼 형상(309)을 정의한다. 인코더(320)는 레이트 제어 및/또는 비용 최소화의 일부로서 영역(304) 당 양자화 파라미터(328)의 세팅을 판단할 수 있다. 대안적으로, 인코더(320)는 화상(302)의 일부 다른 파티셔닝에 따라, 이를테면 예를 들어, 화상(302)이 코딩되는 상이한 공간 해상도의 영역들(이 예에 대해서는 후속 도면들, 특히 도 28을 참조함) 또는 도 24a 및 도 24b에 관해 논의된 바와 같이 상이한 RWP 영역들을 형성하는 영역들로의 화상(302)의 파티셔닝에 따라 양자화 파라미터(328)를 세팅할 수 있다. 그 경우, 그러한 다른 파티셔닝의 시그널링화는 영역(304)으로의 화상(302)의 파티셔닝을 동시에 시그널링할 수 있으며, 선택적으로, 영역(304) 당 양자화 파라미터의 세팅은 또한, 영역들(304)에 대한 다른 세팅들, 이를테면 예를 들어, 화상(302)의 개개의 부분, 즉 개개의 영역(304)이 데이터 스트림(324)으로 코딩되는 타겟 공간 해상도로부터 추론될 수 있다.
도 25b는 도 25a의 인코더(320)에 적합한 디코더(330)를 도시한다. 그것은 데이터 스트림(324)을 수신하고 그로부터 화상(302')을 복원하도록 이루어진다. 이를 위해, 디코더는 변환 기반 디코딩, 변환 블록들(304)로의 화상(302)의 세분, 영역들(304)로의 화상(302)의 세분을 사용하며, 역양자화에서 각각의 영역에 대해 동일한 양자화 파라미터를 사용하기 위해 데이터 스트림(324)에서 양자화 파라미터 정보(328)를 사용한다. 즉, 디코더(330)는 데이터 스트림(322)으로부터 변환들(313)의 양자화된 변환 계수들을 리트리브(retrieve)하고, 개개의 변환(313)의 대응하는 블록(304)이 위치되는 개개의 영역(304)에 대한 양자화 파라미터에 의해 결정된 스펙트럼 형상(309)을 사용하여 그 변환 계수들을 스케일링하며, 복원 목적들을 위해 공간 도메인으로의 역 변환을 수행한다.
이미 설명된 바와 같이, 양자화 조도의 스펙트럼 변경은 스펙트럼 균일 양자화기와 스펙트럼적으로 변하는 스케일링을 결합하는 것과는 다른 방식으로 제어될 수 있다. 양자화 파라미터는, 변환(350)의 상이한 부분들에 관련된 스케일 인자들의 리스트에 의해 구현될 수 있거나, 다른 방식으로, 이를테면 파라미터화된 함수를 사용하여 스펙트럼 형상(309)을 정의할 수 있다. 추가로, 인코더 및 디코더가 변환 기반 코더들이 아닐 수 있다는 것을 유의해야 한다. 즉, 그들은 양자화된 변환 계수들의 형태와는 상이한 방식으로 화상(302)을 데이터 스트림(324)으로 인코딩할 수 있다. 예를 들어, 양자화는 대신 공간 도메인에서 발생할 수 있다. 추가로, 서브-대역 분해가 또한 사용될 수 있다.
화상(302)이 대신 사용될 수 있다.
추가로, 위에서 이미 또한 설명된 바와 같이, 스펙트럼 형상(309)은 데이터 스트림에서 새롭게 송신될 필요가 없다. 오히려, 그것은, 이러한 미리 정의된 양자화 파라미터의 사용만을 표시하는 양자화 파라미터를 이용하여 인코더 및 디코더에 대해 디폴트 방식으로 세팅될 수 있다. 예를 들어, 일부 영역들(304)에 대해, 디폴트 양자화 파라미터의 사용은 활성인 것으로 표시될 수 있는 반면, 양자화 파라미터가 비-활동을 표시하는 영역(304) 내의 변환 블록들에 대해, 스펙트럼 균일 스케일링이 사용되고, 즉 양자화 노이즈가 스펙트럼적으로 평탄하다. 더 추가적인 실시예들에서, 수 개의 스펙트럼적으로 변하는 스펙트럼 형상들(309)은 미리-세팅될 수 있거나, 인코더 및 디코더에서 디폴트 세팅들을 표현할 수 있으며, 여기서 디폴트 양자화 파라미터 세팅들 중 어느 세팅이 스펙트럼 형상(309)을 정의하는지에 관하여 각각의 영역(304)에 대해 표시하는 양자화 파라미터가 사용된다. 그리고, 이들의 혼합들조차도 실현가능하며: 일부 영역들(304)에 대해, 양자화 파라미터는 임의의 미리 정의된 디폴트 세팅을 인덱싱하지 않으면서 데이터 스트림(324)에서 명시적으로 스펙트럼 형상(309)을 정의할 수 있다. 후자의 경우, 이어서, 양자화 파라미터는, 예를 들어 일부 비용 최소화에 따라 인코더에 의해 결정되는 방식에 따라 그리고/또는, 예를 들어 레이트 제어에 수반되는 방식으로 스펙트럼 형상을 정의할 수 있다.
도 1a 및 도 1b에 관해, 비디오가 코딩되는 타겟 공간 해상도의 시간적 변경을 비디오 인코더 및 비디오 디코더가 허용할 가능성이 설명되었다. 본 명세서에서 이후에 설명되는 실시예들에 따르면, 특정한 비디오가 코딩되는 서브-화상 해상도를 허용하는 것이 가능하다. 일 실시예에 따르면, 서브-화상 특성은 예측 레지듀얼 코딩에 관련된다. 예를 들어, 도 1a 및 도 1b에 관해 논의된 변형 b)(복원된 화상 리샘플링)에 따른 풀-화상 리샘플링을 이용하는 코덱 시스템과 유사하게, 서브 화상에 기초하여 도 5a에 묘사된 바와 같은 시스템을 구현하는 것이 이해가능하다. 그러한 시스템에서, 각각의 화상 상의 영역들은 서로에 관해 다양한 해상도로 묘사된다. 복원 이후, 이미지들은 동일한 샘플링 밀도로 리샘플링된다.
마찬가지로, 도 5b에 묘사된 바와 같이 도 1a 및 도 1b에 관해 논의된 변형 c)(레지듀얼 신호 리샘플링)에 기초하여 시스템을 구현하는 것이 이해가능하며, 여기서 리샘플링은 서브 화상에 기초하여 선택적으로 수행된다. 그러한 시스템에서, 단위-서브화상 기반으로, 예를 들어, CTU, 타일, 슬라이스, 또는 그렇지 않으면 정의된 영역(RWP) 마다 레지듀얼 신호가 리샘플링된다. 코딩된 화상의 복원을 위해, 레지듀얼 신호가 다시 풀 해상도로 리샘플링된다. 따라서, DBP(22/36)는 기준 공간 해상도의 화상들로 채워지면서, 모션 보상 및 인-루프 필터가 풀 해상도에서 또한 발생한다. 그러한 시스템에서, 레지듀얼 신호들의 리샘플링은 코덱의 표준 부분이며, 따라서 리샘플링 이전/이후의 샘플 어레이들의 필터 파라미터들 및 사이즈들은, 예를 들어 CTU 사이즈에 대해 명확하게 특정되어야 한다.
도 26은 그러한 시스템 내의 코딩된 화상(400)을 예시하며, 여기서 레지듀얼 리샘플링은 CTU 기반으로, 즉 CTU들(402)의 유닛들에서 수행된다. 따라서, 레지듀얼 신호 샘플들 및 결과적인 샘플들의 수를 전달하는 블록 구조는 명시적인 시그널링(resample_idc)에 따라 조정된다.
신택스 엘리먼트 resample_idc는 개별 CTU(402)마다 또는 슬라이스들 또는 타일들 또는 RWP 영역들과 같은 CTU들의 더 큰 그룹마다 통합된 방식으로 시그널링될 수 있다. 도 27의 신택스 테이블은 단위 영역 시그널링 변형의 일 예를 제공한다.
마찬가지로, 필터 커널과 같은 정확한 서브화상 필터 파라미터들은 인코더와 디코더 사이에서의 드리프트의 회피를 보장하기 위해 인코더 및 디코더 측에 알려질 필요가 있다. 서브 화상의 특성들이 화상 평면 및 상이한 콘텐츠들에 걸쳐 광범위하게 상이할 수 있으므로, 영역-특정 필터 파라미터들의 시그널링을 허용하는 것이 바람직하다. 화상 영역과 연관된 커널과 같은 필터 파라미터들을 전달하는 시그널링이 도출가능할 수 있다.
따라서, 직전에-서술된 양상에 따른 일 실시예는 도 1a에 따른 비디오 인코더 및 도 1b에 따른 비디오 디코더일 수 있으며, 여기서 비디오의 화상들은, 인코딩/디코딩이 타겟 공간 해상도로 행해지는 방식으로 인코딩/디코딩되고, 이러한 타겟 공간 해상도는 화상들이 세분되는 화상 영역들의 유닛들에서 변한다. 도 28은, 예를 들어 비디오(12)의 화상들(16a 내지 16c)이 화상 영역들(500)로 세분되는 것을 예시하며, 예시적으로 화상(16a)에 관한 도트들에 의해, 상이한 타겟 공간 해상도가 이들 영역들(500)에 대해 선정되는 것을 예시한다. 변경은 이를테면 도 27에 도시된 신택스를 사용하여 데이터 스트림에서 시그널링된다. 내부적으로, 인코더 및 디코더의 디코딩된 화상 버퍼(22 및 36)는 각각, 그것이 도 1a 및 도 1b에 관해 위에서 논의되었던 바와 같이, 비디오(12)의 원래 공간 해상도 또는 일부 다른 공간 해상도와 같은 기준 공간 해상도로 비디오의 화상들을 버퍼링할 수 있다. 따라서, 공간 관점들에서의 타겟 공간 해상도의 변경은 예측 레지듀얼 코딩에 관련될 수 있다. 내부적으로, 비디오 인코더 및 비디오 디코더는 위에서 논의된 변형 b 또는 변형 c에 다라 동작할 수 있다. 이미 위에서 언급된 바와 같이, 도 1a 및 도 1b 그리고 26 내지 28에 관해 설명된 실시예들은 위의 실시예들과 조합될 수 있다. 따라서, 도 2a 내지 도 14에 추가로 특정된 바와 같은 도 1a 및 도 1b의 설명은, 이를테면 인코더 및 디코더의 내부 구조가 관련되는 한, 직전에 서술된 실시예들에 또한 적용가능해야 한다. 추가로, 도 15a 내지 도 24b의 가변 양자화 파라미터 기능 및 가변 필터 기능은 직전에-서술된 실시예들에 따라 인코더 및 디코더들에서 또한 사용될 수 있다.
도 26 내지 도 28에 관해 논의된 바와 같이, 인코더(10)에서의 일부 레이트-왜곡 최적화에서, 타겟 공간 해상도가 각각의 화상이 세분되는 CTU 또는 예측 유닛마다 결정되도록 하는 방식으로 도 1a 및 도 1b의 인코더(10) 및 디코더(30)를 구현하는 것이 가능하다. 인코더 및 디코더는 CTU 마다 또는 예측 유닛 마다 또는 일부 다른 화상 블록마다, 리샘플링을 수행하거나 또는 적어도, 도 4b 및 도 5b에 관한 변형들 b 및 c에 관해 각각 설명된 바와 같은 기준 공간 해상도를 갖지 않는 것들에 대해 수행할 것이다. 이를 행하는 것은 더 높은 코딩 효율을 획득하거나 초래할 것이다. 예를 들어, 인바운드 비디오(12)의 원래 풀 해상도와 같은 기준 공간 해상도보다 낮은 타겟 공간 해상도로 해상도를 인코딩할 때, 레지듀얼의 샘플링된 버전이 인코딩되며, 그에 의해 계수들의 수를 감소시킨다. 그러한 모드는 새로운 모드로서 또는 부가적인 플래그와 함께 데이터 스트림(14)에서 시그널링될 수 있다. 시그널링은 도 26에 예시된 바와 같이, 블록마다, 이를테면 CTU 마다, 즉 트리 루트 블록마다 행해질 수 있으며, 여기서 블록들(402)은 도 26의 우측에 예시된 바와 같이 트리 루트 블록들인 것으로 예시되었다. 도 29는, 리샘플링이 적용되는지 여부(그 경우, 예를 들어 다양한 블록들에 대한 타겟 공간 해상도에 대한 단지 2개의 가능한 값들만이 존재함)를 플래그, 즉 res_subsampled_flag가 시그널링하는 일 예를 제시한다. 대안적으로, 도 29에 도시되지 않은 추가적인 신택스 엘리먼트는 도 29의 플래그가 세팅되면 데이터 스트림에서 시그널링될 수 있으며, 이어서, 신택스 엘리먼트는 타겟 공간 해상도가 기준 공간 해상도와는 상이하다는 것을 표시하고, 도 29의 플래그는 세팅되지 않아서, 이러한 플래그가 참조하는 블록이 기준 공간 해상도를 갖는다는 것, 즉 어떠한 리샘플링도 필요하지 않다는 것을 표시한다.
도 29는, 이러한 플래그가 변환 블록 레벨로 송신될 수 있지만, 예측 모드들, 즉 인트라/인터-예측 모드가 변경되어 시그널링되는 코딩 유닛 레벨에서의 송신이 또한 가능할 것이라는 것을 예시한다. 따라서, 도 30에 따르면, 도 29의 플래그는 시그널링을 증가시킬 모든 더 작은 블록에서 반복되지 않을 것이다. 예를 들어, CTU 내의 모든 residual_coding() 신택스는 동일한 플래그를 사용할 수 있다.
따라서, 도 20 및 도 30의 플래그들은 각각의 화상 내에서 타겟 공간 해상도의 변경을 시그널링할 가능성을 표현한다.
도 31은, 전술된 플래그 res_subsampled_flag가 특정한 화상이 파티셔닝되는 모든 블록에 대해 송신되지 않을 수 있다는 것을 예시한다. 위의 설명에서 설명된 바와 같이, 화상은 인코더 및 디코더에 의해 그리고 도 31의 예에 따라 다양한 사이즈의 블록들로 세분될 수 있으며, 일부 기준 공간 해상도와 비교하여 타겟 공간 해상도를 변경시킨다는 표시가 단지, 예를 들어 특정한 블록 사이즈 범위 내의 특정한 사이즈의 블록들에 대해 송신된다는 것이 전체 비디오에 대해 또는 그의 화상들의 일부 시퀀스에 대해 시그널링될 수 있다. 도 31은 일 예를 제공한다. 여기서, 레지듀얼의 서브-샘플링은 주어진 사이즈의 블록들에 대해 더 유익한 것으로, 예를 들어 큰 블록들에 대해 더 많은 이득들을 가져오는 것으로 가정된다. 따라서, 데이터 스트림(14) 내의 신택스는, 특정한 화상이 파티셔닝되는 모든 블록들에 대한 타겟 공간 해상도를 변경시키기 위한 신택스가 회피되는 것을 회피하기 위해 부가된다. 추가로 다시 말하면, 도 31의 예는, 특정한 화상에 걸쳐 타겟 공간 해상도를 변경시키기 위해 소비되는 시그널링 오버헤드가 레이트-왜곡 이득들에 해롭다는 것을 회피한다. 도 31의 예에 따르면, 데이터 스트림(14)은 다음의 방식으로, 타겟 공간 해상도가 화상들의 시퀀스의 화상들에 대해 시그널링된다는 것을 화상들의 시퀀스에 대해 시그널링하며: 화상들은 다양한 사이즈의 블록들로 파티셔닝되고, 블록 사이즈들의 미리 결정된 범위 외부의 모든 블록들은 기준 공간 해상도로 인코딩/디코딩된다. 단지 미리 결정된 블록 사이즈 범위 내의 블록 사이즈를 갖는 다른 블록들에 대해서만, 어느 타겟 공간 해상도가 개개의 블록에 대해 선정되는지가 데이터 스트림(14)에서 시그널링된다. 따라서, 도 31에서, SPS는, 화상들에 걸쳐 공간적으로 타겟 공간 해상도 변경을 스위칭 온시키는 플래그 mixed_resolution_enabled_flag를 포함하며, 동일하게 세팅되면, 블록 사이즈 범위는 2개의 신택스 엘리먼트들, 즉 log2_min_res_subsampled_flag_present_block_size_minus3 및 log_diff_max_min_res_subsampled_flag_present_coding_block_size에 의해 결정된다. 즉, 예시적으로 res_subsampled_flag에 의해 타겟 공간 해상도 표시의 CU별 송신을 취하면, 도 32는, 블록 사이즈가 시그널링된 미리 결정된 블록 사이즈 범위에 속하는 경우, 특정한 블록에 대한 타겟 공간 해상도를 표시하는 개개의 신택스 엘리먼트만이 송신될 것이라는 것을 나타낸다.
도 33은 다음의 문제에 관련된다. 전술된 res_subsampled_flag 그 자체는, 다운 샘플링 및 업 샘플링만이 왜곡을 유발하므로 더 양호한 레이트-왜곡 성능을 제공할 수 없지만; 샘플링된 블록들이 얼마나 더 양호하게 인코딩되는지를 설명하는 것이 요구될 것이다. 따라서, 기준 공간 해상도 이외의 타겟 공간 해상도를 갖는 이들 블록들에 대해 delta_qp, 즉 리샘플링되지 않은 블록들과 비교되는 양자화 파라미터의 변경을 부가하는 것이 가능할 것이다. 도 33은, 이것이 SPS의 일부로서 데이터 스트림(14)에서 송신되지만 PPS 내의 송신이 또한 가능할 일 예를 표현한다. 즉, 여기서, 신택스 엘리먼트 delta_qp_4_subsampled_blocks는, 리샘플링의 대상이 되는, 즉 타겟 공간 해상도와 동일하지 않는, 특정한 화상이 세분되었던 이들 블록들에 대해, 어느 양자화 스텝 사이즈가 적용되어야 하는지, 또는 더 정확하게는, 양자화 스텝 사이즈와 비교하여 어느 오프셋이 기준 공간 해상도로 인코딩된 리샘플링되지 않은 블록들에 대해 사용되었는지를 표시할 것이다.
유사하게, 2:1 서브샘플링 인자가 수행될 수 있거나 또는 서브샘플링 인자는 유연하고 시그널링될 수 있다. 하나 초과가 시그널링될 수 있고, 상이한 프레임들에 대해 CTU 사이즈 마다 또는 시간적 레벨 마다 고정될 수 있다.
일부 양상들이 장치의 맥락에서 설명되었지만, 이들 양상들이 또한 대응하는 방법의 설명을 표현한다는 것은 명확하며, 여기서, 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한, 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명을 표현한다. 방법 단계들 중 일부 또는 모두는, 예를 들어, 마이크로프로세서, 프로그래밍가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용함으로써) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상은 그러한 장치에 의해 실행될 수 있다.
본 발명의 데이터 스트림은, 디지털 저장 매체 상에 저장될 수 있거나, 무선 송신 매체와 같은 송신 매체 또는 인터넷과 같은 유선 송신 매체 상에서 송신될 수 있다.
특정한 구현 요건들에 의존하면, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은, 각각의 방법이 수행되도록 프로그래밍가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 전자적으로 판독가능한 제어 신호들이 저장된 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독가능할 수 있다.
본 발명에 따른 동일한 실시예들은, 본 명세서에 설명된 방법들 중 하나가 수행되도록, 프로그래밍가능한 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는, 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법들 중 하나를 수행하기 위해 동작된다. 프로그램 코드는, 예를 들어, 머신 판독가능 캐리어 상에 저장될 수 있다.
다른 실시예들은, 머신 판독가능 캐리어 상에 저장되는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
따라서, 다시 말하면, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법들의 추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램(데이터 캐리어 상에 레코딩되어 있음)을 포함하는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터-판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 레코딩된 매체는 통상적으로, 유형이고 그리고/또는 비-일시적이다.
따라서, 본 발명의 방법의 추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 표현하는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는, 예를 들어, 데이터 통신 연결을 통해, 예를 들어, 인터넷을 통해 전달되도록 이루어질 수 있다.
추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하도록 이루어지거나 적응되는 프로세싱 수단, 예를 들어, 컴퓨터, 또는 프로그래밍가능 로직 디바이스를 포함한다.
추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 (예를 들어, 전자적으로 또는 광학적으로) 수신기에 전달하도록 이루어진 장치 또는 시스템을 포함한다. 수신기는, 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은, 예를 들어, 컴퓨터 프로그램을 수신기에 전달하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그래밍가능 로직 디바이스(예를 들어, 필드 프로그래밍가능 게이트 어레이)는, 본 명세서에 설명된 방법들의 기능들 중 일부 또는 모두를 수행하기 위해 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍가능 게이트 어레이는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게 임의의 하드웨어 장치에 의해 수행된다.
본 명세서에 설명된 장치는, 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치 및 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에 설명된 장치, 또는 본 명세서에 설명된 장치의 임의의 컴포넌트들은 하드웨어 및/또는 소프트웨어로 적어도 부분적으로 구현될 수 있다.
본 명세서에 설명된 방법은, 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치 및 컴퓨터의 조합을 사용하여 수행될 수 있다.
본 명세서에 설명된 방법들, 또는 본 명세서에 설명된 장치의 임의의 컴포넌트들은 하드웨어에 의해 그리고/또는 소프트웨어에 의해 적어도 부분적으로 수행될 수 있다.
위에서 설명된 실시예들은 단지, 본 발명의 원리들에 대해 예시적일 뿐이다. 본 명세서에 설명된 배열들 및 세부사항들의 수정들 및 변형들이 당업자들에게 명백할 것임을 이해한다. 따라서, 본 명세서의 실시예들의 설명 및 해설에 의해 제시된 특정 세부사항들이 아니라 후속하는 특허 청구항들의 범위에 의해서만 제한되는 것이 의도이다.

Claims (144)

  1. 비디오 인코더로서,
    소스 비디오(12)를 수신하고,
    타겟 공간 해상도로 상기 소스 비디오를 데이터 스트림(14)으로 인코딩하도록
    이루어지며,
    상기 비디오 인코더는, 상기 소스 비디오가 상기 데이터 스트림으로 인코딩되는 랜덤 액세스 거리(38)보다 더 미세한 시간적 스케일(temporal scale)(40)에서의 상기 타겟 공간 해상도의 변경을 지원하는, 비디오 인코더.
  2. 제1항에 있어서,
    상기 타겟 공간 해상도, 및
    기준 공간 해상도
    중 하나로, 디코딩된 화상 버퍼(Decorded Picture Buffer, DPB)(22)에 이미 코딩된 화상들이 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 소스 비디오를 인코딩하도록 이루어지는, 비디오 인코더.
  3. 제1항 또는 제2항에 있어서,
    상기 타겟 공간 해상도로, 디코딩된 화상 버퍼(Decorded Picture Buffer, DPB)(22)에 이미 코딩된 화상들이 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 소스 비디오를 인코딩하고, 상기 이미 코딩된 화상들과 현재 코딩되는 화상 사이에 공간 해상도 차이가 있는 경우 상기 현재 코딩되는 화상에 의해 참조될 시에 상기 이미 코딩된 화상들의 리샘플링을 수행하도록 이루어지는, 비디오 인코더.
  4. 제1항 또는 제2항에 있어서,
    각각의 화상이 예측 레지듀얼 코딩(prediction residual coding)을 사용하여 상기 타겟 공간 해상도로 인코딩되고, 상기 기준 공간 해상도로, 디코딩된 화상 버퍼(Decorded Picture Buffer, DPB)(22)에 이미 코딩된 화상들이 버퍼링된 상태로, 상기 DPB(22)가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 소스 비디오를 인코딩하며, 현재 코딩되는 화상에 의해 참조될 시에 상기 타겟 공간 해상도에서 예측기를 획득하기 위해 상기 DPB(22)에서 상기 이미 코딩된 화상들의 리샘플링을 수행하도록 이루어지는, 비디오 인코더.
  5. 제1항 또는 제2항에 있어서,
    각각의 화상이 예측 레지듀얼 코딩을 사용하여 상기 타겟 공간 해상도로 인코딩되고, 이미 코딩된 화상들이 상기 기준 공간 해상도로, 디코딩된 화상 버퍼(Decorded Picture Buffer, DPB)(22)에 버퍼링된 상태로, 상기 DPB(22)가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 소스 비디오를 인코딩하며, 상기 예측 레지듀얼 코딩을 사용하여 코딩된 예측 레지듀얼의 상기 기준 공간 해상도로의 리샘플링, 및 상기 기준 공간 해상도의 상기 리샘플링된 예측 레지듀얼을 사용하여 상기 DPB(22) 내의 상기 이미 코딩된 화상들 중 하나로부터 획득된 예측기의 보정을 수행해서, 상기 DPB(22)로 삽입될 현재 코딩되는 화상의 복원된 버전을 획득하도록 이루어지는, 비디오 인코더.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 비디오 인코더는 레이트 제어 및/또는 비용 최소화에 의존하여 상기 타겟 공간 해상도의 변경을 제어(88)하도록 이루어지는, 비디오 인코더.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 비디오 인코더는, 상기 타겟 공간 해상도의 값, 또는 상기 타겟 공간 해상도의 변화가 개개의 화상에서 발생하는지 여부, 및 발생한다면, 상기 타겟 공간 해상도가 상기 개개의 화상에서 어느 값으로 변화되는지를 화상마다 시그널링함으로써, 상기 데이터 스트림(14)에서 상기 타겟 공간 해상도의 변경을 시그널링하도록 이루어지는, 비디오 인코더.
  8. 제2항 내지 제7항 중 어느 한 항에 있어서,
    상기 비디오 인코더는,
    상기 기준 공간 해상도, 및/또는
    상기 타겟 공간 해상도가 변화될 수 있는 모든 가능한 값들
    을 시그널링하는 것에 부가하여, 상기 데이터 스트림에서 상기 타겟 공간 해상도의 변경을 시그널링하도록 이루어지는, 비디오 인코더.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 비디오 인코더는, 상기 데이터 스트림에서 상기 타겟 공간 해상도의 변경을 시그널링하고, 상기 데이터 스트림에서,
    상기 타겟 공간 해상도가 변화될 수 있는 모든 가능한 값들에 관련되는 비디오 제시(presentation)를 위한 종횡비(aspect ratio), 또는
    상기 타겟 공간 해상도가 변화될 수 있는 가능한 값들 각각에 대한, 어느 종횡비가 비디오 제시를 위해 사용될지에 관한 표시
    를 시그널링하도록 이루어지는, 비디오 인코더.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 비디오 인코더는, 상기 소스 비디오가 상기 데이터 스트림으로 인코딩되는 코딩 모드들의 세트 중 어느 코딩 모드를 사용하여 상기 데이터 스트림(14)에서 시그널링하도록 이루어지며,
    상기 세트는,
    이미 코딩된 화상들이 상기 타겟 공간 해상도로, 디코딩된 화상 버퍼(Decorded Picture Buffer, DPB)(22)에 버퍼링된 상태로, 상기 DPB(22)가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 소스 비디오가 인코딩되는 제1 모드, 및
    이미 코딩된 화상들이 상기 기준 공간 해상도로, 상기 디코딩된 화상 버퍼(22)에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 소스 비디오가 인코딩되는 제2 모드
    를 포함하는, 비디오 인코더.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 비디오 인코더는, 상기 타겟 공간 해상도가 변하는 시간적 스케일보다 더 거친 시간적 스케일로 제1 영역들로의 화상들의 제1 파티셔닝(partition)을 상기 데이터 스트림에서 시그널링하도록 이루어지며,
    상기 인코더는,
    디폴트 방식으로, 그리고/또는
    상기 타겟 공간 해상도의 변화들에 비례하여,
    상기 타겟 공간 해상도의 변화들에 따라 상기 제1 파티셔닝을 스케일링하도록 이루어지는, 비디오 인코더.
  12. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 비디오 인코더는, 파티셔닝 시그널링화(signalization) 모드들의 세트 중 하나의 파티셔닝 시그널링화 모드에서 제1 영역들로의 화상들의 제1 파티셔닝을 상기 데이터 스트림에서 시그널링하면서, 상기 데이터 스트림에서 상기 하나의 파티셔닝 시그널링화 모드를 표시하도록 이루어지며,
    상기 파티셔닝 시그널링화 모드들의 세트는,
    상기 타겟 공간 해상도가 변하는 시간적 스케일보다 더 거친 시간적 스케일로 상기 제1 파티셔닝이 시그널링되는 제1 파티셔닝 시그널링화 모드 － 상기 인코더는 디폴트 방식으로, 그리고/또는 상기 타겟 공간 해상도의 변화들에 비례하여, 상기 타겟 공간 해상도의 변화들에 따라 상기 제1 파티셔닝을 스케일링하도록 이루어짐 －, 및
    상기 타겟 공간 해상도가 변하는 시간적 스케일로 상기 제1 파티셔닝이 시그널링되는 제2 파티셔닝 시그널링화 모드
    를 포함하는, 비디오 인코더.
  13. 제11항 또는 제12항에 있어서,
    상기 더 거친 시간적 스케일은 화상들의 비디오 범위 또는 시퀀스 범위 중 하나의 범위이며,
    상기 타겟 공간 해상도가 변하는 시간적 스케일은 상기 하나의 범위보다 더 미세한, 비디오 인코더.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 제1 파티셔닝이 비례적으로 일정하도록 상기 타겟 공간 해상도의 변화들에 따라 상기 제1 파티셔닝의 스케일링을 수행하도록 이루어지는, 비디오 인코더.
  15. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 비디오 인코더는, 상기 타겟 공간 해상도가 변하는 시간적 스케일보다 더 미세하거나 그와 동일한 미리 결정된 시간적 스케일로 제1 영역들로의 화상들의 제1 파티셔닝을 상기 데이터 스트림에서 시그널링하도록 이루어지며,
    상기 비디오 인코더는, 상기 타겟 공간 해상도가 변하는 시간적 스케일보다 큰 시간 기간에 걸쳐 상기 화상들이 파티셔닝되는 제1 영역들의 수를 상기 제1 파티셔닝이 유지하는 모드를 지원하며, 상기 데이터 스트림에서 상기 모드를 시그널링하도록 이루어지는, 비디오 인코더.
  16. 제15항에 있어서,
    상기 비디오 인코더는, 상기 모드에 따라, 상기 제1 파티셔닝이 상기 시간 기간에 걸쳐 비례적으로 일정하게 유지되도록 이루어지는, 비디오 인코더.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 타겟 공간 해상도가 상기 기준 공간 해상도를 초과하지 않도록 이루어지는, 비디오 인코더.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    하나 이상의 코딩 제약들의 세트를 상기 데이터 스트림에서 시그널링하도록 이루어지며,
    상기 하나 이상의 코딩 제약들의 세트는, 예를 들어,
    인코딩에서 충족되는 병렬 프로세싱 제약들,
    인코딩에서 충족되는 코드 레이트 제약들,
    인코딩에서 충족되는 최대 모션 벡터 길이 제약들
    중 하나 이상을 포함하고,
    각각의 가능한 값에 대해, 상기 타겟 공간 해상도가 가정될 수 있어서, 개개의 가능한 값을 가정해서 상기 타겟 공간 해상도를 사용하여 인코딩된 화상들에 대한 코딩 제약들의 세트를 준수하거나, 또는
    가능한 값들 중 하나의 가능한 값에 대해, 상기 타겟 공간 해상도가 가정될 수 있어서, 상기 하나의 가능한 값을 가정해서 상기 타겟 공간 해상도를 사용하여 인코딩된 화상들에 대한 코딩 제약들의 세트를 준수하고, 상기 하나의 가능한 값과는 상이한 가능한 값을 가정해서 상기 타겟 공간 해상도를 사용하여 인코딩된 화상들에 대한 코딩 제약들의 세트로부터 디폴트 방식으로 도출된 코딩 제약들의 추가적인 세트들을 준수하는, 비디오 인코더.
  19. 비디오 디코더로서,
    데이터 스트림(224)으로부터 비디오(234)를 디코딩하도록 이루어지며,
    상기 비디오 디코더는, 상기 비디오가 상기 데이터 스트림으로 인코딩되는 랜덤 액세스 거리보다 더 미세한 시간적 스케일에서의, 상기 비디오가 상기 데이터 스트림으로 인코딩되는 타겟 공간 해상도의 변경을 상기 데이터 스트림으로부터 도출하도록 이루어지는, 비디오 디코더.
  20. 제19항에 있어서,
    상기 타겟 공간 해상도, 및
    기준 공간 해상도
    중 하나로, 이미 디코딩된 화상들이, 디코딩된 화상 버퍼(Decorded Picture Buffer, DPB)에 버퍼링된 상태로, 상기 DPB(36)가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 데이터 스트림(224)으로부터 상기 비디오(234)를 디코딩하도록 이루어지는, 비디오 디코더.
  21. 제19항 또는 제20항에 있어서,
    상기 타겟 공간 해상도로, 이미 디코딩된 화상들이 디코딩된 화상 버퍼(Decorded Picture Buffer, DPB)에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프를 사용하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하고, 상기 이미 디코딩된 화상들과 현재 디코딩되는 화상 사이에 공간 해상도 차이가 있는 경우 상기 현재 디코딩되는 화상에 의해 참조될 시에 상기 이미 디코딩된 화상들의 리샘플링을 수행하도록 이루어지는, 비디오 디코더.
  22. 제19항 또는 제20항에 있어서,
    각각의 화상이 예측 레지듀얼 디코딩을 사용하여 상기 타겟 공간 해상도로 디코딩되고, 이미 디코딩된 화상들이 상기 기준 공간 해상도로, 디코딩된 화상 버퍼에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프를 사용하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하며, 현재 디코딩되는 화상에 의해 참조될 시에 예측기를 획득하기 위해 상기 이미 디코딩된 화상들의 리샘플링을 수행하도록 이루어지는, 비디오 디코더.
  23. 제19항 또는 제22항에 있어서,
    각각의 화상이 예측 레지듀얼 디코딩을 사용하여 상기 타겟 공간 해상도로 디코딩되고, 이미 디코딩된 화상들이 상기 기준 공간 해상도로, 디코딩된 화상 버퍼(Decorded Picture Buffer, DPB)에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프를 사용하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하며, 상기 예측 레지듀얼 디코딩을 사용하여 디코딩된 예측 레지듀얼의 상기 기준 공간 해상도로의 리샘플링, 및 상기 기준 공간 해상도의 상기 리샘플링된 예측 레지듀얼을 사용하여 상기 DPB 내의 상기 이미 디코딩된 화상들 중 하나로부터 획득된 예측기의 보정을 수행해서, 현재 디코딩되는 화상의 복원된 버전을 획득하고, 상기 현재 디코딩되는 화상의 복원된 버전을 상기 DPB로 삽입하도록 이루어지는, 비디오 디코더.
  24. 제19항 내지 제23항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 화상 레벨에서 상기 데이터 스트림으로부터 상기 타겟 공간 해상도의 변경을 도출하도록 이루어지는, 비디오 디코더.
  25. 제19항 내지 제24항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 상기 타겟 공간 해상도의 값, 또는 상기 타겟 공간 해상도의 변화가 개개의 화상에서 발생하는지 여부, 및 발생한다면, 상기 타겟 공간 해상도가 상기 개개의 화상에서 어느 값으로 변화되는지를 화상마다 시그널링하는 상기 데이터 스트림에서의 시그널링으로부터 상기 타겟 공간 해상도의 변경을 도출하도록 이루어지는, 비디오 디코더.
  26. 제22항 내지 제25항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 데이터 스트림에서의 시그널링으로부터 상기 타겟 공간 해상도의 변경을 도출하며, 상기 시그널링에 부가하여, 상기 데이터 스트림에 존재하는 추가적인 시그널링으로부터,
    상기 기준 공간 해상도, 및/또는
    상기 타겟 공간 해상도가 변화될 수 있는 모든 가능한 값들
    을 도출하도록 이루어지는, 비디오 디코더.
  27. 제19항 내지 제26항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 상기 데이터 스트림으로부터,
    상기 타겟 공간 해상도가 변화될 수 있는 모든 가능한 값들에 관련되는 비디오 제시를 위한 종횡비, 또는
    상기 타겟 공간 해상도가 변화될 수 있는 가능한 값들 각각에 대한, 어느 종횡비가 비디오 제시를 위해 사용될지에 관한 표시
    를 도출하도록 이루어지는, 비디오 디코더.
  28. 제19항 내지 제27항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 상기 비디오가 상기 데이터 스트림으로 인코딩되는 코딩 모드들의 세트 중 어느 코딩 모드를 사용하여 상기 데이터 스트림으로부터 도출하도록 이루어지며,
    상기 세트는,
    이미 코딩된 화상들이 상기 타겟 공간 해상도로, 디코딩된 화상 버퍼(Decorded Picture Buffer, DPB)에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 비디오가 인코딩되는 제1 모드, 및
    이미 코딩된 화상들이 상기 기준 공간 해상도로, 상기 디코딩된 화상 버퍼에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프를 사용하여 상기 비디오가 인코딩되는 제2 모드
    를 포함하는, 비디오 디코더.
  29. 제19항 내지 제28항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 상기 타겟 공간 해상도가 변하는 시간적 스케일보다 더 거친 시간적 스케일로 제1 영역들로의 화상들의 제1 파티셔닝을 상기 데이터 스트림으로부터 도출하도록 이루어지며,
    상기 디코더는,
    디폴트 방식으로, 그리고/또는
    상기 타겟 공간 해상도의 변화들에 비례하여,
    상기 타겟 공간 해상도의 변화들에 따라 상기 제1 파티셔닝을 스케일링하도록 이루어지는, 비디오 디코더.
  30. 제19항 내지 제29항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 파티셔닝 시그널링화 모드들의 세트 중 하나의 파티셔닝 시그널링화 모드에서 제1 영역들로의 화상들의 제1 파티셔닝을 상기 데이터 스트림으로부터 도출하면서, 상기 데이터 스트림으로부터 상기 하나의 파티셔닝 시그널링화 모드를 도출하도록 이루어지며,
    상기 파티셔닝 시그널링화 모드들의 세트는,
    상기 타겟 공간 해상도가 변하는 시간적 스케일보다 더 거친 시간적 스케일로 상기 제1 파티셔닝이 시그널링되는 제1 파티셔닝 시그널링화 모드 － 상기 디코더는 디폴트 방식으로, 그리고/또는 상기 타겟 공간 해상도의 변화들에 비례하여, 상기 타겟 공간 해상도의 변화들에 따라 상기 제1 파티셔닝을 스케일링하도록 이루어짐 －, 및
    상기 타겟 공간 해상도가 변하는 시간적 스케일로 상기 제1 파티셔닝이 시그널링되는 제2 파티셔닝 시그널링화 모드
    를 포함하는, 비디오 디코더.
  31. 제29항 또는 제30항에 있어서,
    상기 더 거친 시간적 스케일은 비디오 범위 또는 화상 범위의 시퀀스 중 하나이며,
    상기 타겟 공간 해상도가 변하는 시간적 스케일은 상기 하나의 범위보다 더 미세한, 비디오 디코더.
  32. 제29항 내지 제31항 중 어느 한 항에 있어서,
    상기 제1 파티셔닝이 비례적으로 일정하도록 상기 타겟 공간 해상도의 변화들에 따라 상기 제1 파티셔닝의 스케일링을 수행하도록 이루어지는, 비디오 디코더.
  33. 제19항 내지 제28항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 상기 타겟 공간 해상도가 변하는 시간적 스케일보다 더 미세하거나 그와 동일한 미리 결정된 시간적 스케일로 제1 영역들로의 상기 화상들의 제1 파티셔닝을 상기 데이터 스트림으로부터 도출하도록 이루어지며,
    상기 비디오 디코더는, 상기 타겟 공간 해상도가 변하는 시간적 스케일보다 큰 시간 기간에 걸쳐 상기 화상들이 파티셔닝되는 제1 영역들의 수를 상기 제1 파티셔닝이 유지하는 상기 데이터 스트림으로부터의 모드의 활성화의 시그널링를 도출하는, 비디오 디코더.
  34. 제33항에 있어서,
    상기 비디오 디코더는, 상기 모드에 따라, 상기 제1 파티셔닝이 상기 시간 기간에 걸쳐 비례적으로 일정하게 유지되도록 이루어지는, 비디오 디코더.
  35. 제33항 또는 제34항에 있어서,
    상기 모드의 활성화의 시그널링이 상기 데이터 스트림에 존재하면, 상기 시간 기간에 걸친 상기 데이터 스트림으로부터의 상기 비디오의 디코딩을 미리 계획할 시에 화상들이 파티셔닝되는 제1 영역들의 수의 유지를 활용하도록 이루어지는, 비디오 디코더.
  36. 제19항 내지 제35항 중 어느 한 항에 있어서,
    상기 타겟 공간 해상도가 상기 기준 공간 해상도를 초과하지 않도록 이루어지는, 비디오 디코더.
  37. 제19항 내지 제36항 중 어느 한 항에 있어서,
    하나 이상의 코딩 제약들의 세트를 상기 데이터 스트림으로부터 도출하도록 이루어지며,
    상기 하나 이상의 코딩 제약들의 세트는, 예를 들어,
    인코딩에서 충족되는 병렬 프로세싱 제약들,
    인코딩에서 충족되는 코드 레이트 제약들,
    인코딩에서 충족되는 최대 모션 벡터 길이 제약들
    중 하나 이상을 포함하고,
    각각의 가능한 값에 대해, 상기 타겟 공간 해상도가 가정될 수 있거나, 또는
    가능한 값들 중 하나의 가능한 값에 대해, 상기 타겟 공간 해상도가 가정될 수 있어서, 상기 하나의 가능한 값과는 다른 가능한 값들에 대한 추가적인 코딩 제약들을, 상기 코딩 제약들의 세트로부터 디폴트 방식으로 도출하는, 비디오 디코더.
  38. 비디오 인코더로서,
    비디오(222)를 데이터 스트림(224)으로 인코딩하도록 이루어지며,
    상기 비디오의 각각의 화상(202)은 장면 파티셔닝(208)에 따라 화상 영역들(204)로 파티셔닝되고, 상기 화상 영역들(204) 각각은 상기 화상 영역들 각각에 장면(200)의 개개의 장면 영역(206)을 맵핑시키고,
    상기 비디오 인코더는, 상기 장면 파티셔닝(208)의 조정을 지원하고, 상기 데이터 스트림에서 상기 장면 파티셔닝을 시그널링하며, 상기 장면 파티셔닝에 의존하는 방식으로 상기 비디오를 상기 데이터 스트림으로 인코딩하는, 비디오 인코더.
  39. 제38항에 있어서,
    화상 레벨, 화상들의 시퀀스 레벨 또는 화상들의 그룹 레벨로 상기 장면 파티셔닝을 시그널링하도록 이루어지는, 비디오 인코더.
  40. 제38항 또는 제39항에 있어서,
    코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들(240)로 파티셔닝하고,
    상기 블록들(204)의 유닛들에서 상기 비디오를 상기 데이터 스트림으로 인코딩하며,
    상기 비디오의 미리 결정된 화상의 코딩 파티셔닝을, 상기 미리 결정된 화상의 장면 파티셔닝에 의존하여 수행하도록
    이루어지는, 비디오 인코더.
  41. 제40항에 있어서,
    상기 미리 결정된 화상을 상기 블록들(204)로 파티셔닝할 시에, 상기 미리 결정된 화상의 각각의 화상 영역에 대해, 상기 블록들의 어레이의 형태로 개개의 화상 영역을 오버레이(overlay)하는 블록들을 상기 개개의 화상 영역의 둘레를 따라 미리 결정된 포인트에 정렬시키도록 이루어지는, 비디오 인코더.
  42. 제40항에 있어서,
    상기 미리 결정된 화상을 상기 블록들로 파티셔닝할 시에, 상기 미리 결정된 화상의 각각의 화상 영역에 대해, 개개의 화상 영역의 좌측 상단 코너에 나열된 좌측 상단 블록의 좌측 상단 코너를 갖는 상기 블록들의 어레이의 형태로 상기 개개의 화상 영역을 오버레이하는 블록들을 배치하도록 이루어지며, 상기 개개의 화상 영역의 우측 및 하단 둘레의 경계들을 넘어 연장되는 상기 어레이의 블록들의 일부들은 크롭핑(crop)되는, 비디오 인코더.
  43. 제40항 내지 제42항 중 어느 한 항에 있어서,
    상기 비디오의 미리 결정된 화상의 코딩 파티셔닝을, 상기 미리 결정된 화상의 장면 파티셔닝에 의존하여 수행하며,
    상기 미리 결정된 화상을 상기 블록들로 파티셔닝할 시에, 모든 블록들이 상기 화상 영역들 중 정확히 하나를 오버레이하도록 계층적 멀티-트리 세분(multi-tree subdivisioning)을 수행하도록
    이루어지는, 비디오 인코더.
  44. 제39항 내지 제43항 중 어느 한 항에 있어서,
    상기 코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들로 파티셔닝하며,
    상기 장면 파티셔닝에 의존하는 방식으로 상기 데이터 스트림에서 상기 코딩 파티셔닝을 시그널링화하도록
    이루어지는, 비디오 인코더.
  45. 제44항에 있어서,
    상기 코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들로 파티셔닝할 시에,
    계층적 멀티-트리 세분을 사용하며, 그리고
    상기 장면 파티셔닝에 의존하는 방식으로 상기 데이터 스트림에서 상기 코딩 파티셔닝을 시그널링화할 시에,
    상기 멀티-트리 세분의 분할 판단들의 서브세트의 각각의 분할 판단에 대해, 개개의 분할 판단의 대상이 되는 대응하는 영역이 상기 계층적 멀티-트리 세분의 리프 영역(leaf region)이 되도록 상기 분할 판단이 실행되는지 또는 실행되지 않는지를 추론하고 － 상기 추론은 상기 개개의 분할 판단에 대한 분할 표시자를 전송하지 않으면서, 상기 미리 결정된 화상의 장면 파티셔닝에 의존함 －,
    상기 분할 판단의 서브세트와 공통 원소가 없는(disjoint) 상기 멀티-트리 세분의 분할 판단들의 추가적인 서브세트의 각각의 분할 판단에 대해, 상기 개개의 분할 판단에 대해 판단하고, 상기 데이터 스트림에서 개개의 분할 표시자에 의해 상기 개개의 분할 판단을 시그널링화하도록
    이루어지는, 비디오 인코더.
  46. 제38항 내지 제45항 중 어느 한 항에 있어서,
    상기 코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들로 파티셔닝하고,
    상기 블록들의 유닛들에서 상기 비디오를 상기 데이터 스트림으로 인코딩하고,
    상기 비디오의 적어도 하나의 화상에 대해,
    최소 블록 사이즈(250),
    상기 블록들을 획득하기 위한 계층구조 분할 레벨들의 최대 수,
    최대 블록 사이즈(248), 및
    상기 최소 블록 사이즈와 상기 최대 블록 사이즈 사이의 차이
    중 하나 이상에 관한 상기 코딩 파티셔닝의 파라미터화를 상기 화상 영역들에 대해 개별적으로 지원하며,
    상기 데이터 스트림에서 상기 파라미터화를 시그널링화하도록
    이루어지는, 비디오 인코더.
  47. 제40항 내지 제46항 중 어느 한 항에 있어서,
    상기 비디오 인코더는 상기 블록들의 유닛들에서 상기 비디오의 예측 레지듀얼을 인코딩하도록 이루어지고, 그리고/또는
    상기 비디오 인코더는 상기 블록들의 유닛들에서 인트라-예측(intra-prediction)과 인터-예측(inter-prediction) 모드 사이를 스위칭하여 상기 비디오를 인코딩하도록 이루어지고; 그리고/또는
    상기 비디오 인코더는 상기 블록들을 계층적 멀티-트리 세분의 대상이 되게 하여, 코딩 블록들, 예측 블록들 또는 변환 블록들을 획득하도록 이루어지고, 그리고/또는
    상기 비디오 인코더는 하나의 화상 내에서 상기 블록들을 서로 독립적으로 인코딩하도록 이루어지며, 그리고/또는
    상기 비디오 인코더는, 상기 블록들의 유닛들에서, 인트라-예측된 블록들 및 인터-예측된 블록들에 대한 예측 파라미터들을 선택 및 시그널링화하여, 상기 비디오를 상기 데이터 스트림으로 인코딩하도록 이루어지는, 비디오 인코더.
  48. 제38항 내지 제47항 중 어느 한 항에 있어서,
    모션 보상된 예측을 사용하여 상기 비디오를 상기 데이터 스트림으로 인코딩하며,
    미리 결정된 화상의 인터-예측된 블록(268; 272)의 모션 벡터(270)에 의해 포인팅되는 참조된 부분(266; 276)에서 기준 화상을, 장면 샘플링 밀도에서의 상기 참조된 부분과 상기 인터-예측된 블록의 차이에 의존하여 샘플링함으로써, 상기 인터-예측된 블록(268; 272)의 예측기를 결정하도록
    이루어지는, 비디오 인코더.
  49. 제48항에 있어서,
    상기 예측기를 결정할 시에, 미리 결정된 축에 대해, 상기 참조된 부분(266)의 장면 샘플링 밀도가 상기 인터-예측된 블록(268)의 장면 샘플링 밀도의 정수배 2n인지 여부를 체크하고, 정수배라면, 상기 미리 결정된 축을 길게 연장시키는 상기 참조된 부분(266)의 라인에서 매 n번째 샘플을 상기 인터-예측된 블록의 풀 펠(ful pel) 샘플 위치로서 직접 사용하도록 이루어지는, 비디오 인코더.
  50. 제48항 또는 제49항에 있어서,
    상기 예측기를 결정할 시에, 미리 결정된 축에 대해, 상기 참조된 부분(276)의 장면 샘플링 밀도가 상기 인터-예측된 블록(272)의 장면 샘플링 밀도의 2-n의 단위 분수(unit fraction)인지 여부를 체크하고, 단위 분수라면, 상기 참조된 부분의 2-n 펠 샘플 위치들을 상기 인터-예측된 블록(272)의 풀 펠 샘플 위치들로서 사용하도록 이루어지는, 비디오 인코더.
  51. 제38항 내지 제50항 중 어느 한 항에 있어서,
    모션 보상된 예측을 사용하여 상기 비디오를 상기 데이터 스트림으로 인코딩하며,
    이웃한 인터-예측된 블록(284)의 모션 벡터(282)를 사용하여 그리고 상기 이웃한 인터-예측된 블록의 모션 벡터(282)에 의해 포인팅되는 화상 영역(204a)의 장면 샘플링 밀도에 의존하여, 미리 결정된 화상의 인터-예측된 블록(280)의 모션 벡터 예측기(286)를 결정하도록
    이루어지는, 비디오 인코더.
  52. 제38항 내지 제51항 중 어느 한 항에 있어서,
    모션 보상된 예측을 사용하여 상기 비디오를 상기 데이터 스트림으로 인코딩하며,
    이웃한 인터-예측된 블록(284)의 모션 벡터(290)로부터 모션 벡터 후보(296)를 도출해서, 상기 모션 벡터 후보(296)가 상기 인터-예측된 블록(280)의 기준 포인트로부터 위치를 포인팅하게 함으로써 － 상기 장면 내의 상기 위치의 이미지는, 상기 이웃한 인터-예측된 블록(284)의 기준 포인트로부터 상기 모션 벡터(290)에 의해 포인팅되는 추가적인 위치의 이미지로부터, 상기 장면 내의 상기 기준 포인트들의 이미지들 사이의 거리와 동일한 거리로 변위됨 －, 상기 이웃한 인터-예측된 블록(284)의 모션 벡터(290)를 사용하여, 미리 결정된 화상의 인터-예측된 블록(280)의 모션 벡터 예측기를 결정하도록
    이루어지는, 비디오 인코더.
  53. 제38항 내지 제52항 중 어느 한 항에 있어서,
    필터를 사용하여 상기 비디오의 미리 결정된 화상을 필터링하며,
    이웃한 화상 영역들 사이의 계면들에서, 상기 계면들에 인접한 화상 영역들 사이의 장면 샘플링 해상도의 차이에 의존하여 상기 필터의 적어도 하나의 파라미터를 세팅함으로써 상기 미리 결정된 화상에 걸쳐 상기 적어도 하나의 파라미터를 변경시키도록
    이루어지는, 비디오 인코더.
  54. 제53항에 있어서,
    상기 필터의 적어도 하나의 파라미터는,
    필터 강도,
    디블록킹 필터 리치(deblocking filter reach)(300),
    필터 커널 사이즈, 및
    필터 전달 함수
    중 적어도 하나의 것의 관점들에서 상기 필터를 정의하는, 비디오 인코더.
  55. 제53항 또는 제54항에 있어서,
    상기 필터는,
    인 루프(in loop) 필터,
    디블록킹 필터,
    포스트(post) 필터
    중 하나인, 비디오 인코더.
  56. 제53항 또는 제55항에 있어서,
    상기 비디오 인코더는, 상기 데이터 스트림에서 상기 적어도 하나의 파라미터의 변경을 명시적으로 시그널링화하는 것을 방지하도록 이루어지는, 비디오 인코더.
  57. 제38항 내지 제56항 중 어느 한 항에 있어서,
    상기 비디오 인코더는,
    상기 장면 파티셔닝에 기초하여, 상기 장면에서 서로 인접하지 않는 화상 영역들 사이의 장면-불연속 계면들(310)의 위치를 찾고,
    상기 장면-불연속 계면들에 의존하여 상기 비디오를 상기 데이터 스트림으로 인코딩하도록
    이루어지는, 비디오 인코더.
  58. 제38항 내지 제57항 중 어느 한 항에 있어서,
    상기 비디오 인코더는,
    미리 결정된 화상에서, 상기 장면 파티셔닝에 기초하여, 상기 장면에서 서로 인접하지 않는 화상 영역들 사이의 장면­불연속 계면들의 위치를 찾고,
    상기 장면-불연속 계면들에 걸쳐 필터링하는 것을 피하면서, 필터를 사용하여 상기 미리 결정된 화상들을 필터링하도록
    이루어지는, 비디오 인코더.
  59. 제58항에 있어서,
    상기 필터는,
    인 루프 필터,
    디블록킹 필터,
    포스트 필터
    중 하나인, 비디오 인코더.
  60. 제38항 내지 제59항 중 어느 한 항에 있어서,
    미리 결정된 화상에서, 상기 장면 파티셔닝에 기초하여, 상기 장면에서 서로 인접하지 않는 화상 영역들 사이의 장면­불연속 계면들의 위치를 찾고,
    상기 장면-불연속 계면들 중 적어도 하나의 장면-불연속 계면에 대해, 상기 적어도 하나의 장면-불연속 계면의 경계를 짓는 상기 화상 영역들 중 적어도 하나의 화상 영역에 대하여, 상기 적어도 하나의 장면-불연속 계면에서 상기 적어도 하나의 화상 영역과 접하는 상기 미리 결정된 화상의 일부를 식별하며,
    상기 미리 결정된 화상의 일부에 기초하여, 상기 장면-불연속 계면을 넘어 연장되는 필터의 필터 커널의 일부를 필터링하여 상기 적어도 하나의 화상 영역을 필터링하면서, 상기 필터를 사용하여 상기 미리 결정된 화상들을 필터링하도록
    이루어지는, 비디오 인코더.
  61. 제38항 내지 제60항 중 어느 한 항에 있어서,
    양자화 파라미터에 따라 파라미터화된 양자화를 수행하며 － 상기 양자화 파라미터는 상기 양자화의 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어함 －,
    상기 비디오의 적어도 하나의 화상에 대해, 하나 이상의 화상 영역들의 그룹들의 유닛들 또는 상기 화상 영역들이 이루어지는 유닛들에서 상기 양자화 파라미터의 변경을 지원하도록
    이루어지는, 비디오 인코더.
  62. 제61항에 있어서,
    미리 결정된 양자화 파라미터 세팅들의 세트 중 하나의 양자화 파라미터 세팅을 상기 유닛들 각각에 대해 인덱싱함으로써 상기 데이터 스트림에서 상기 양자화 파라미터의 변경을 시그널링하거나 － 상기 비디오 인코더는 상기 양자화 파라미터에 대한 상기 미리 결정된 양자화 파라미터 세팅들의 세트를 상기 데이터 스트림에서 시그널링하도록 이루어지고, 그리고/또는 상기 양자화 파라미터에 대한 상기 미리 결정된 양자화 파라미터 세팅들의 세트는 디폴트 세팅에 따라 세팅됨 －, 또는
    상기 유닛들 각각에 대해 상기 양자화 파라미터에 대한 양자화 파라미터 세팅을 상기 데이터 스트림에서 시그널링하도록
    이루어지는, 비디오 인코더.
  63. 제61항 또는 제62항에 있어서,
    상기 비디오 인코더는, 변환 기반 예측 코딩을 사용하여 상기 비디오를 상기 데이터 스트림으로 인코딩하고, 예측 레지듀얼의 스펙트럼 변환에 상기 양자화를 적용하도록 이루어지며,
    상기 양자화 파라미터는 스펙트럼 변환(350)에서 공간 주파수들에 걸쳐 양자화 조도(coarseness)의 변경을 결정하여, 상이한 공간 주파수들에서의 상기 스펙트럼 변환의 변환 계수들이 상이한 조도에서 양자화되게 하는, 비디오 인코더.
  64. 제63항에 있어서,
    상기 양자화 파라미터는 상기 스펙트럼 변환에서 상기 공간 주파수들 각각에 대한 스케일링 인자를 결정하며,
    상기 비디오 인코더는, 상기 변환 계수들에 관해 균일한 방식으로, 개개의 변환 계수에 대한 스케일링 인자의 역을 이용하여 각각의 변환 계수를 스케일링하면서, 각각의 변환 계수를 양자화하여 스케일링되게 함으로써 상기 양자화를 수행하도록 이루어지는, 비디오 인코더.
  65. 비디오 디코더로서,
    데이터 스트림으로부터 비디오를 디코딩하도록 이루어지며,
    상기 데이터 스트림에서 상기 비디오의 각각의 화상은 장면 파티셔닝(208)에 따라 화상 영역들로 파티셔닝되고, 상기 화상 영역들 각각은 상기 화상 영역들 각각에 개개의 장면 영역을 맵핑시키고,
    상기 비디오 디코더는, 상기 데이터 스트림으로부터 상기 장면 파티셔닝을 도출하고, 상기 장면 파티셔닝에 의존하는 방식으로 상기 데이터 스트림으로부터 상기 비디오를 디코딩하는, 비디오 디코더.
  66. 제65항에 있어서,
    화상 레벨, 화상들의 시퀀스 레벨 또는 화상들의 그룹 레벨로 상기 데이터 스트림으로부터 상기 장면 파티셔닝을 도출하도록 이루어지는, 비디오 디코더.
  67. 제65항 또는 제66항에 있어서,
    코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들로 파티셔닝하고,
    상기 블록들의 유닛들에서 상기 데이터 스트림으로부터 상기 비디오를 디코딩하며,
    상기 비디오의 미리 결정된 화상의 코딩 파티셔닝을, 상기 미리 결정된 화상의 장면 파티셔닝에 의존하여 수행하도록
    이루어지는, 비디오 디코더.
  68. 제67항에 있어서,
    상기 미리 결정된 화상을 상기 블록들로 파티셔닝할 시에, 상기 미리 결정된 화상의 각각의 화상 영역에 대해, 상기 블록들의 어레이의 형태로 개개의 화상 영역을 오버레이하는 블록들을 상기 개개의 화상 영역의 둘레를 따라 미리 결정된 포인트에 정렬시키도록 이루어지는, 비디오 디코더.
  69. 제67항에 있어서,
    상기 미리 결정된 화상을 상기 블록들로 파티셔닝할 시에, 상기 미리 결정된 화상의 각각의 화상 영역에 대해, 개개의 화상 영역의 좌측 상단 코너에 나열된 좌측 상단 블록의 좌측 상단 코너를 갖는 상기 블록들의 어레이의 형태로 상기 개개의 화상 영역을 오버레이하는 블록들을 배치하도록 이루어지며,
    상기 개개의 화상 영역의 우측 및 하단 둘레의 경계들을 넘어 연장되는 상기 어레이의 블록들의 일부들은 크롭핑되는, 비디오 디코더.
  70. 제67항 내지 제69항 중 어느 한 항에 있어서,
    계층적 멀티-트리 세분(hierarchical multi-tree subdivisioning)의 사용에 의해 상기 화상의 상기 블록들로의 코딩 파티셔닝을 수행하며,
    상기 미리 결정된 화상을 상기 블록들로 파티셔닝할 시에, 모든 블록들이 상기 화상 영역들 중 정확히 하나를 오버레이하도록 계층적 멀티-트리 세분을 수행하도록
    이루어지는, 비디오 디코더.
  71. 제65항 내지 제70항 중 어느 한 항에 있어서,
    상기 코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들로 파티셔닝하며,
    상기 장면 파티셔닝에 의존하는 방식으로 상기 데이터 스트림으로부터 상기 코딩 파티셔닝을 디코딩하도록
    이루어지는, 비디오 디코더.
  72. 제71항에 있어서,
    상기 코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들로 파티셔닝할 시에, 계층적 멀티-트리 세분(hierarchical multi-tree subdivisioning)을 사용하며,
    상기 장면 파티셔닝에 의존하는 방식으로 상기 데이터 스트림으로부터 상기 코딩 파티셔닝을 디코딩할 시에,
    상기 멀티-트리 세분의 분할 판단들의 서브세트의 각각의 분할 판단에 대해, 개개의 분할 판단의 대상이 되는 대응하는 영역이 상기 계층적 멀티-트리 세분의 리프 영역이 되도록 상기 분할 판단이 실행되는지 또는 실행되지 않는지를 추론하고 － 상기 추론은 상기 개개의 분할 판단에 대한 분할 비트를 전송하지 않으면서, 상기 미리 결정된 화상의 장면 파티셔닝에 의존함 －,
    상기 분할 판단의 서브세트와 공통 원소가 없는 상기 멀티-트리 세분의 분할 판단들의 추가적인 서브세트의 각각의 분할 판단에 대해, 상기 데이터 스트림에서 개개의 분할 비트로부터 상기 개개의 분할 판단을 판단하도록
    이루어지는, 비디오 디코더.
  73. 제65항 내지 제72항 중 어느 한 항에 있어서,
    상기 코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들로 파티셔닝하고,
    상기 블록들의 유닛들에서 상기 비디오를 상기 데이터 스트림으로 디코딩하며,
    상기 비디오의 적어도 하나의 화상에 대해,
    최소 블록 사이즈,
    상기 블록들을 획득하기 위한 계층구조 분할 레벨들의 최대 수,
    최대 블록 사이즈, 및
    상기 최소 블록 사이즈와 상기 최대 블록 사이즈 사이의 차이
    중 하나 이상에 관한 상기 코딩 파티셔닝의 파라미터화를 상기 화상 영역들에 대해 개별적으로 상기 데이터 스트림으로부터 도출하도록
    이루어지는, 비디오 디코더.
  74. 제67항 내지 제73항 중 어느 한 항에 있어서,
    상기 비디오 디코더는 상기 블록들의 유닛들에서 상기 데이터 스트림으로부터 상기 비디오의 예측 레지듀얼을 디코딩하도록 이루어지고, 그리고/또는
    상기 비디오 디코더는 상기 블록들의 유닛들에서 인트라-예측(intra-predicted)과 인터-예측(inter-predicted) 모드 사이를 스위칭하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하도록 이루어지고, 그리고/또는
    상기 비디오 디코더는 상기 블록들을 계층적 멀티-트리 세분의 대상이 되게 하여, 코딩 블록들, 예측 블록들 또는 변환 블록들을 획득하도록 이루어지고, 그리고/또는
    상기 비디오 디코더는 하나의 화상 내에서 상기 블록들을 서로 독립적으로 디코딩하도록 이루어지며, 그리고/또는
    상기 비디오 디코더는, 상기 블록들의 유닛들에서, 인트라-예측된 블록들 및 인터-예측된 블록들에 대한 예측 파라미터들을 선택 및 시그널링화하여, 상기 데이터 스트림으로부터 상기 비디오를 디코딩하도록 이루어지는, 비디오 디코더.
  75. 제65항 내지 제74항 중 어느 한 항에 있어서,
    모션 보상된 예측을 사용하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하며,
    미리 결정된 화상의 인터-예측된 블록의 모션 벡터에 의해 포인팅되는 참조된 부분에서 기준 화상을, 장면 샘플링 밀도에서의 상기 참조된 부분과 상기 인터-예측된 블록의 차이에 의존하여 샘플링함으로써, 상기 인터-예측된 블록의 예측기를 결정하도록
    이루어지는, 비디오 디코더.
  76. 제75항에 있어서,
    상기 예측기를 결정할 시에, 미리 결정된 축에 대해, 상기 참조된 부분의 장면 샘플링 밀도가 상기 인터-예측된 블록의 장면 샘플링 밀도의 정수배 2n인지 여부를 체크하고, 정수배라면, 상기 미리 결정된 축을 길게 연장시키는 상기 참조된 부분의 라인에서 매 x번째 샘플을 상기 인터-예측된 블록의 풀 펠 샘플(ful pel sample) 위치로서 직접 사용하도록 이루어지는, 비디오 디코더.
  77. 제75항 또는 제76항에 있어서,
    상기 예측기를 결정할 시에, 미리 결정된 축에 대해, 상기 참조된 부분의 장면 샘플링 밀도가 상기 인터-예측된 블록의 장면 샘플링 밀도의 2-n의 단위 분수인지 여부를 체크하고, 단위 분수라면, 상기 참조된 부분의 2-n 펠 샘플 위치들을 상기 인터-예측된 블록의 풀 펠 샘플 위치들로서 사용하도록 이루어지는, 비디오 디코더.
  78. 제65항 내지 제77항 중 어느 한 항에 있어서,
    모션 보상된 예측을 사용하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하며,
    미리 결정된 화상의 이웃한 인터-예측된 블록의 모션 벡터를 사용하여 그리고 상기 이웃한 인터-예측된 블록의 모션 벡터에 의해 포인팅되는 화상 영역의 장면 샘플링 밀도에 의존하여, 상기 미리 결정된 화상의 인터-예측된 블록의 모션 벡터 예측기를 결정하도록
    이루어지는, 비디오 디코더.
  79. 제65항 내지 제78항 중 어느 한 항에 있어서,
    모션 보상된 예측을 사용하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하며,
    이웃한 인터-예측된 블록(284)의 모션 벡터(290)로부터 모션 벡터 후보(296)를 도출해서, 상기 모션 벡터 후보(296)가 상기 인터-예측된 블록(280)의 기준 포인트로부터 위치를 포인팅하게 함으로써 － 상기 장면 내의 상기 위치의 이미지는, 상기 이웃한 인터-예측된 블록(284)의 기준 포인트로부터 상기 모션 벡터(290)에 의해 포인팅되는 추가적인 위치의 이미지로부터, 상기 장면 내의 상기 기준 포인트들의 이미지들 사이의 거리와 동일한 거리로 변위됨 －, 상기 이웃한 인터-예측된 블록(284)의 모션 벡터(290)를 사용하여, 미리 결정된 화상의 인터-예측된 블록(280)의 모션 벡터 예측기를 결정하도록
    이루어지는, 비디오 디코더.
  80. 제65항 내지 제79항 중 어느 한 항에 있어서,
    필터를 사용하여 상기 비디오의 미리 결정된 화상을 필터링하며,
    이웃한 화상 영역들 사이의 계면들에서, 상기 계면들에 인접한 화상 영역들 사이의 장면 샘플링 해상도의 차이에 의존하여 상기 필터의 적어도 하나의 파라미터를 세팅함으로써 상기 미리 결정된 화상에 걸쳐 상기 적어도 하나의 파라미터를 변경시키도록
    이루어지는, 비디오 디코더.
  81. 제80항에 있어서,
    상기 필터의 적어도 하나의 파라미터는,
    필터 강도,
    디블록킹 필터 리치,
    필터 커널 사이즈, 및
    필터 전달 함수
    중 적어도 하나의 것의 관점들에서 상기 필터를 정의하는, 비디오 디코더.
  82. 제80항 또는 제81항에 있어서,
    상기 필터는,
    인 루프 필터,
    디블록킹 필터,
    포스트 필터
    중 하나인, 비디오 디코더.
  83. 제80항 또는 제82항에 있어서,
    상기 비디오 디코더는, 상기 장면 파티셔닝에 기초하여 명시적으로 시그널링화하지 않으면서 상기 데이터 스트림으로부터 상기 적어도 하나의 파라미터의 변경을 도출하도록 이루어지는, 비디오 디코더.
  84. 제65항 내지 제83항 중 어느 한 항에 있어서,
    상기 비디오 디코더는,
    상기 장면 파티셔닝에 기초하여, 상기 장면에서 서로 인접하지 않는 화상 영역들 사이의 장면-불연속 계면들의 위치를 찾고,
    상기 장면-불연속 계면들에 의존하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하도록
    이루어지는, 비디오 디코더.
  85. 제65항 내지 제84항 중 어느 한 항에 있어서,
    상기 비디오 디코더는,
    미리 결정된 화상에서, 상기 장면 파티셔닝에 기초하여, 상기 장면에서 서로 인접하지 않는 화상 영역들 사이의 장면­불연속 계면들의 위치를 찾고,
    상기 장면-불연속 계면들에 걸쳐 필터링하는 것을 피하면서, 필터를 사용하여 상기 미리 결정된 화상들을 필터링하도록
    이루어지는, 비디오 디코더.
  86. 제85항에 있어서,
    상기 필터는,
    인 루프 필터,
    디블록킹 필터,
    포스트 필터
    중 하나인, 비디오 디코더.
  87. 제65항 내지 제86항 중 어느 한 항에 있어서,
    미리 결정된 화상에서, 상기 장면 파티셔닝에 기초하여, 상기 장면에서 서로 인접하지 않는 화상 영역들 사이의 장면­불연속 계면들의 위치를 찾고,
    상기 장면-불연속 계면들 중 적어도 하나의 장면-불연속 계면에 대해, 상기 적어도 하나의 장면-불연속 계면의 경계를 짓는 상기 화상 영역들 중 적어도 하나의 화상 영역에 대하여, 상기 적어도 하나의 장면-불연속 계면에서 상기 적어도 하나의 화상 영역과 접하는 상기 미리 결정된 화상의 일부를 식별하며,
    상기 미리 결정된 화상의 일부에 기초하여, 상기 장면-불연속 계면을 넘어 연장되는 필터의 필터 커널의 일부를 필터링하여 상기 적어도 하나의 화상 영역을 필터링하면서, 상기 필터를 사용하여 상기 미리 결정된 화상들을 필터링하도록
    이루어지는, 비디오 디코더.
  88. 제65항 내지 제87항 중 어느 한 항에 있어서,
    양자화 파라미터에 따라 파라미터화된 역양자화(dequantization)를 수행하며 － 상기 양자화 파라미터는 상기 역양자화에 의해 반전되는 양자화의 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어함 －,
    상기 비디오의 적어도 하나의 화상에 대해, 하나 이상의 화상 영역들의 그룹들의 유닛들 또는 상기 화상 영역들이 이루어지는 유닛들에서 상기 양자화 파라미터를 변경시키도록
    이루어지는, 비디오 디코더.
  89. 제88항에 있어서,
    미리 결정된 양자화 파라미터 세팅들의 세트 중 하나의 양자화 파라미터 세팅을 상기 유닛들 각각에 대해 인덱싱함으로써 상기 데이터 스트림으로부터 상기 양자화 파라미터의 변경을 도출하거나 － 상기 비디오 디코더는 상기 양자화 파라미터에 대한 상기 미리 결정된 양자화 파라미터 세팅들의 세트를 상기 데이터 스트림으로부터 도출하도록 이루어지고, 그리고/또는 상기 양자화 파라미터에 대한 상기 미리 결정된 양자화 파라미터 세팅들의 세트는 디폴트 세팅에 따라 세팅됨 －, 또는
    상기 유닛들 각각에 대해 상기 양자화 파라미터에 대한 양자화 파라미터 세팅을 상기 데이터 스트림으로부터 도출하도록
    이루어지는, 비디오 디코더.
  90. 제88항 또는 제89항에 있어서,
    상기 비디오 디코더는, 변환 기반 예측 디코딩을 사용하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하고, 예측 레지듀얼의 스펙트럼 변환에 상기 역양자화를 적용하도록 이루어지며,
    상기 양자화 파라미터는 스펙트럼 변환에서 공간 주파수들에 걸쳐 양자화 조도의 변경을 결정하여, 상이한 공간 주파수들에서의 상기 스펙트럼 변환의 변환 계수들이 상이한 조도에서 역양자화되게 하는, 비디오 디코더.
  91. 제90항에 있어서,
    상기 양자화 파라미터는 상기 스펙트럼 변환에서 상기 공간 주파수들 각각에 대한 스케일링 인자를 결정하며,
    상기 비디오 디코더는, 상기 변환 계수들에 관해 균일한 방식으로, 개개의 변환 계수에 대한 스케일링 인자를 이용하여 각각의 변환 계수를 스케일링하면서, 각각의 변환 계수를 역양자화하여 스케일링되게 함으로써 상기 양자화를 수행하도록 이루어지는, 비디오 디코더.
  92. 비디오 인코더로서,
    소스 비디오(12)를 수신하고,
    타겟 공간 해상도로 상기 소스 비디오(12)를 데이터 스트림(14)으로 인코딩하도록
    이루어지며,
    상기 비디오 인코더는, 상기 소스 비디오의 화상들(16)보다 작은 상기 화상들의 화상 영역들(500)의 유닛들에서 상기 타겟 공간 해상도의 변경을 지원하고, 상기 데이터 스트림에서 상기 변경을 시그널링하도록 이루어지는, 비디오 인코더.
  93. 제92항에 있어서,
    이미 코딩된 화상들이 기준 공간 해상도로, 디코딩된 화상 버퍼(22)에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 소스 비디오를 인코딩하도록 이루어지는, 비디오 인코더.
  94. 제92항 또는 제93항에 있어서,
    각각의 화상이 예측 레지듀얼 코딩을 사용하여 상기 타겟 공간 해상도로 인코딩되고, 이미 코딩된 화상들이 상기 기준 공간 해상도로, 디코딩된 화상 버퍼에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프(42)를 사용하여 상기 소스 비디오를 인코딩하며, 현재 코딩되는 화상에 의해 참조될 시에 예측기를 획득하기 위해 상기 이미 코딩된 화상들의 리샘플링을 수행하도록 이루어지는, 비디오 인코더.
  95. 제92항 또는 제94항에 있어서,
    각각의 화상이 예측 레지듀얼 코딩을 사용하여 상기 타겟 공간 해상도로 인코딩되고, 이미 코딩된 화상들이 상기 기준 공간 해상도로, 디코딩된 화상 버퍼에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프를 사용하여 상기 소스 비디오를 인코딩하며, 상기 예측 레지듀얼 코딩을 사용하여 코딩된 예측 레지듀얼의 상기 기준 공간 해상도로의 리샘플링, 및 상기 기준 공간 해상도의 상기 리샘플링된 예측 레지듀얼을 사용하여 상기 DPB 내의 상기 이미 코딩된 화상들 중 하나로부터 획득된 예측기의 보정을 수행해서, 상기 DPB로 삽입될 현재 코딩되는 화상의 복원된 버전을 획득하도록 이루어지는, 비디오 인코더.
  96. 제94항 또는 제95항에 있어서,
    상기 비디오 인코더는 미리 결정된 화상 영역 또는 그의 일부에 대해, 상기 미리 결정된 화상 영역 또는 상기 그의 일부 내에서의 리샘플링을 위해 사용될, 샘플링 필터들의 세트 중 일 샘플링 필터를 시그널링하도록 이루어지는, 비디오 인코더.
  97. 제92항 내지 제96항 중 어느 한 항에 있어서,
    화상 레벨, 화상들의 시퀀스 레벨 또는 화상들의 그룹 레벨로 상기 화상 영역들로의 화상들의 파티셔닝을 상기 데이터 스트림에서 시그널링하도록 이루어지는, 비디오 인코더.
  98. 제92항 내지 제97항 중 어느 한 항에 있어서,
    코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들로 파티셔닝하고,
    상기 블록들의 유닛들에서 상기 비디오를 상기 데이터 스트림으로 인코딩하며,
    상기 타겟 공간 해상도의 변경에 의존하여 상기 비디오의 미리 결정된 화상의 코딩 파티셔닝을 수행하도록
    이루어지는, 비디오 인코더.
  99. 제98항에 있어서,
    상기 화상들을 트리 루트(tree root) 블록들로 파티셔닝하고,
    상기 블록들을 획득하기 위해 상기 트리 루트 블록들을 계층적 멀티-트리 세분의 대상이 되게 함으로써,
    상기 블록들로의 화상의 코딩 파티셔닝을 수행하도록 이루어지며,
    상기 화상 영역들은 상기 트리 루트 블록들(402) 중 하나 이상의 트리 루트 블록들의 세트들인, 비디오 인코더.
  100. 제98항 또는 제99항에 있어서,
    개개의 트리 루트 블록이 위치되는 화상 영역의 타겟 공간 해상도에 의존하여,
    최소 블록 사이즈,
    상기 블록들을 획득하기 위한 계층구조 분할 레벨들의 최대 수,
    최대 블록 사이즈, 및
    상기 최소 블록 사이즈와 상기 최대 블록 사이즈 사이의 차이
    중 하나 이상에 관해 상기 트리 루트 블록들 각각에 대한 계층적 멀티-트리 세분을 파라미터화하도록 이루어지는, 비디오 인코더.
  101. 제99항 또는 제100항에 있어서,
    상기 비디오 인코더는 상기 블록들의 유닛들에서 상기 비디오의 예측 레지듀얼을 인코딩하도록 이루어지고, 그리고/또는
    상기 비디오 인코더는 상기 블록들의 유닛들에서 인트라-예측과 인터-예측 모드 사이를 스위칭하여 상기 비디오를 인코딩하도록 이루어지고; 그리고/또는
    상기 비디오 인코더는, 상기 블록들의 유닛들에서, 인트라-예측된 블록들 및 인터-예측된 블록들에 대한 예측 파라미터들을 선택 및 시그널링화하여, 상기 비디오를 상기 데이터 스트림으로 인코딩하도록 이루어지는, 비디오 인코더.
  102. 제92항 내지 제101항 중 어느 한 항에 있어서,
    필터를 사용하여 상기 비디오의 미리 결정된 화상을 필터링하며,
    상기 화상 영역들의 유닛들에서 상기 미리 결정된 화상에 걸쳐 상기 필터의 적어도 하나의 파라미터를 변경시키고, 상기 데이터 스트림에서 상기 변경을 시그널링하도록
    이루어지는, 비디오 인코더.
  103. 제102항에 있어서,
    상기 필터의 적어도 하나의 파라미터는,
    필터 강도,
    디블록킹 필터 리치,
    필터 커널 사이즈, 및
    필터 전달 함수
    중 적어도 하나의 것의 관점들에서 상기 필터를 정의하는, 비디오 인코더.
  104. 제102항 또는 제103항에 있어서,
    상기 필터는,
    인 루프 필터,
    디블록킹 필터,
    포스트 필터
    중 하나인, 비디오 인코더.
  105. 제92항 내지 제104항 중 어느 한 항에 있어서,
    상기 비디오 인코더는 레이트 제어 및/또는 비용 최소화에 의존하여 상기 타겟 공간 해상도의 변경을 제어(88)하도록 이루어지는, 비디오 인코더.
  106. 제92항 내지 제105항 중 어느 한 항에 있어서,
    상기 비디오 인코더는 상기 타겟 공간 해상도로 상기 소스 비디오(12)의 예측 레지듀얼을 상기 데이터 스트림(14)으로 인코딩하도록 이루어지는, 비디오 인코더.
  107. 제92항 내지 제106항 중 어느 한 항에 있어서,
    상기 비디오 인코더는, 상기 화상들이 파티셔닝되는 블록들의 유닛들에서 변경을 시그널링함으로써 상기 데이터 스트림에서 상기 변경을 시그널링하도록 이루어지는, 비디오 인코더.
  108. 제107항에 있어서,
    상기 블록들은 가변 사이즈를 가지며,
    상기 비디오 인코더는, 미리 결정된 블록 사이즈 범위 외부의 블록 사이즈들의 블록들에 대해 상기 타겟 공간 해상도를 기준 공간 해상도로 세팅하고, 상기 미리 결정된 블록 사이즈 범위 내의 블록 사이즈의 각각의 블록에 대한 타겟 공간 해상도를 상기 데이터 스트림에서 시그널링하도록 이루어지는, 비디오 인코더.
  109. 제108항에 있어서,
    상기 비디오 인코더는 상기 데이터 스트림에서 상기 미리 결정된 블록 사이즈 범위를 시그널링하도록 이루어지는, 비디오 인코더.
  110. 제92항 내지 제109항 중 어느 한 항에 있어서,
    상기 비디오 인코더는, 상기 타겟 공간 해상도의 다른 가능한 값에 대한 상기 타겟 공간 해상도의 가능한 값들 중 하나를 사용하여 인코딩된 화상 영역들에 대해 사용될 양자화 스텝(step) 사이즈를, 양자화에서 사용하고 상기 데이터 스트림에서 시그널링하도록 이루어지는, 비디오 인코더.
  111. 비디오 디코더로서,
    데이터 스트림으로부터 비디오를 디코딩하도록 이루어지며,
    상기 비디오 디코더는, 소스 비디오의 화상들보다 작은 상기 화상들의 화상 영역들의 유닛들에서 상기 비디오가 상기 데이터 스트림으로 인코딩되는 타겟 공간 해상도의 변경을 상기 데이터 스트림으로부터 도출하는, 비디오 디코더.
  112. 제111항에 있어서,
    기준 공간 해상도로, 이미 디코딩된 화상들이, 디코딩된 화상 버퍼에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프를 사용하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하도록 이루어지는, 비디오 디코더.
  113. 제111항 또는 제112항에 있어서,
    상기 데이터 스트림으로부터의 각각의 화상이 예측 레지듀얼 디코딩을 사용하여 상기 타겟 공간 해상도로 디코딩되고, 이미 디코딩된 화상들이 상기 기준 공간 해상도로, 디코딩된 화상 버퍼에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프를 사용하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하며, 현재 디코딩되는 화상에 의해 참조될 시에 예측기를 획득하기 위해 상기 이미 디코딩된 화상들의 리샘플링을 수행하도록 이루어지는, 비디오 디코더.
  114. 제111항 또는 제113항에 있어서,
    상기 데이터 스트림으로부터의 각각의 화상이 예측 레지듀얼 디코딩을 사용하여 상기 타겟 공간 해상도로 디코딩되고, 이미 디코딩된 화상들이 상기 기준 공간 해상도로, 디코딩된 화상 버퍼에 버퍼링된 상태로, 상기 DPB가 직렬로 연결되는 예측 루프를 사용하여 상기 데이터 스트림으로부터 상기 소스 비디오를 디코딩하며, 상기 예측 레지듀얼 디코딩을 사용하여 디코딩된 예측 레지듀얼의 상기 기준 공간 해상도로의 리샘플링, 및 상기 기준 공간 해상도의 상기 리샘플링된 예측 레지듀얼을 사용하여 상기 DPB 내의 상기 이미 디코딩된 화상들 중 하나로부터 획득된 예측기의 보정을 수행해서, 현재 디코딩되는 화상의 복원된 버전을 획득하고, 상기 현재 디코딩되는 화상의 복원된 버전을 상기 DPB로 삽입하도록 이루어지는, 비디오 디코더.
  115. 제113항 또는 제114항에 있어서,
    상기 비디오 디코더는 미리 결정된 화상 영역 또는 그의 일부에 대해, 상기 미리 결정된 화상 영역 또는 상기 그의 일부 내에서의 리샘플링을 위해 사용될, 샘플링 필터들의 세트 중 일 샘플링 필터를 도출하도록 이루어지는, 비디오 디코더.
  116. 제111항 내지 제115항 중 어느 한 항에 있어서,
    화상 레벨, 화상들의 시퀀스 레벨 또는 화상들의 그룹 레벨로 상기 화상 영역들로의 화상들의 파티셔닝을 상기 데이터 스트림으로부터 도출하도록 이루어지는, 비디오 디코더.
  117. 제111항 내지 제116항 중 어느 한 항에 있어서,
    코딩 파티셔닝에 따라, 상기 비디오의 화상들을 블록들로 파티셔닝하고,
    상기 블록들의 유닛들에서 상기 데이터 스트림으로부터 상기 비디오를 디코딩하며,
    상기 타겟 공간 해상도의 변경에 의존하여 상기 비디오의 미리 결정된 화상의 코딩 파티셔닝을 수행하도록
    이루어지는, 비디오 디코더.
  118. 제117항에 있어서,
    상기 화상들을 트리 루트 블록들로 파티셔닝하고,
    상기 블록들을 획득하기 위해 상기 트리 루트 블록들을 계층적 멀티-트리 세분의 대상이 되게 함으로써,
    상기 블록들로의 화상의 코딩 파티셔닝을 수행하도록 이루어지며,
    상기 화상 영역들은 상기 트리 루트 블록들 중 하나 이상의 트리 루트 블록들의 세트들인, 비디오 디코더.
  119. 제117항 또는 제118항에 있어서,
    개개의 트리 루트 블록이 위치되는 화상 영역의 타겟 공간 해상도에 의존하여,
    최소 블록 사이즈,
    상기 블록들을 획득하기 위한 계층구조 분할 레벨들의 최대 수,
    최대 블록 사이즈, 및
    상기 최소 블록 사이즈와 상기 최대 블록 사이즈 사이의 차이
    중 하나 이상에 관해 상기 트리 루트 블록들 각각에 대한 계층적 멀티-트리 세분을 파라미터화하도록 이루어지는, 비디오 디코더.
  120. 제118항 또는 제119항에 있어서,
    상기 비디오 디코더는 상기 블록들의 유닛들에서 상기 비디오의 예측 레지듀얼을 디코딩하도록 이루어지고, 그리고/또는
    상기 비디오 디코더는 상기 블록들의 유닛들에서 인트라-예측과 인터-예측 모드 사이를 스위칭하여 상기 데이터 스트림으로부터 상기 비디오를 디코딩하도록 이루어지고, 그리고/또는
    상기 비디오 디코더는, 상기 블록들의 유닛들에서, 인트라-예측된 블록들 및 인터-예측된 블록들에 대한 예측 파라미터들을 선택 및 시그널링화하여, 상기 데이터 스트림으로부터 상기 비디오를 디코딩하도록 이루어지는, 비디오 디코더.
  121. 제111항 내지 제120항 중 어느 한 항에 있어서,
    필터를 사용하여 상기 비디오의 미리 결정된 화상을 필터링하며,
    상기 화상 영역들의 유닛들에서 상기 미리 결정된 화상에 걸쳐 상기 필터의 적어도 하나의 파라미터를 변경시키고, 상기 데이터 스트림으로부터 상기 변경을 도출하도록
    이루어지는, 비디오 디코더.
  122. 제121항에 있어서,
    상기 필터의 적어도 하나의 파라미터는,
    필터 강도,
    디블록킹 필터 리치,
    필터 커널 사이즈, 및
    필터 전달 함수
    중 적어도 하나의 것의 관점들에서 상기 필터를 정의하는, 비디오 디코더.
  123. 제121항 또는 제122항에 있어서,
    상기 필터는,
    인 루프 필터,
    디블록킹 필터,
    포스트 필터
    중 하나인, 비디오 디코더.
  124. 제111항 내지 제123항 중 어느 한 항에 있어서,
    상기 비디오 디코더는 상기 타겟 공간 해상도로 상기 데이터 스트림(14)으로부터 상기 소스 비디오(12)의 예측 레지듀얼을 디코딩하도록 이루어지는, 비디오 디코더.
  125. 제111항 내지 제124항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 상기 화상들이 파티셔닝되는 블록들의 유닛들에서 상기 데이터 스트림으로부터 상기 변경을 도출하도록 이루어지는, 비디오 디코더.
  126. 제125항에 있어서,
    상기 블록들은 가변 사이즈를 가지며,
    상기 비디오 디코더는, 미리 결정된 블록 사이즈 범위 외부의 블록 사이즈들의 블록들에 대해 상기 타겟 공간 해상도를 기준 공간 해상도로 세팅하고, 상기 미리 결정된 블록 사이즈 범위 내의 블록 사이즈의 각각의 블록에 대한 타겟 공간 해상도를 상기 데이터 스트림으로부터 도출하도록 이루어지는, 비디오 디코더.
  127. 제126항에 있어서,
    상기 비디오 디코더는 상기 데이터 스트림으로부터 상기 미리 결정된 블록 사이즈 범위를 도출하도록 이루어지는, 비디오 디코더.
  128. 제111항 내지 제127항 중 어느 한 항에 있어서,
    상기 비디오 디코더는, 상기 타겟 공간 해상도의 다른 가능한 값에 대한 상기 타겟 공간 해상도의 가능한 값들 중 하나를 사용하여 디코딩된 화상 영역들에 대한 양자화 스텝 오프셋을, 상기 데이터 스트림으로부터 도출하고 역양자화에서 사용하도록 이루어지는, 비디오 디코더.
  129. 화상을 인코딩하기 위한 인코더로서,
    양자화 파라미터에 따라 파라미터화된 양자화를 수행하며 － 상기 양자화 파라미터는 상기 양자화의 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어함 －,
    상기 화상이 세분되는 화상 영역들의 유닛들에서의 상기 양자화 파라미터의 변경을 상기 데이터 스트림에서 시그널링하도록
    이루어지는, 인코더.
  130. 제129항에 있어서,
    미리 결정된 양자화 파라미터 세팅들의 세트 중 하나의 양자화 파라미터 세팅을 상기 화상 영역들 각각에 대해 인덱싱함으로써 상기 데이터 스트림에서 상기 양자화 파라미터의 변경을 시그널링하거나 － 상기 인코더는 상기 양자화 파라미터에 대한 상기 미리 결정된 양자화 파라미터 세팅들의 세트를 상기 데이터 스트림에서 시그널링하도록 이루어지고, 그리고/또는 상기 양자화 파라미터에 대한 상기 미리 결정된 양자화 파라미터 세팅들의 세트는 디폴트 세팅에 따라 세팅됨 －, 또는
    상기 화상 영역들 각각에 대해 상기 양자화 파라미터에 대한 양자화 파라미터 세팅을 상기 데이터 스트림에서 시그널링하도록
    이루어지는, 인코더.
  131. 제129항 또는 제130항에 있어서,
    상기 인코더는, 변환 기반 예측 코딩을 사용하여 상기 화상을 상기 데이터 스트림으로 인코딩하고, 예측 레지듀얼의 스펙트럼 변환에 상기 양자화를 적용하도록 이루어지며,
    상기 양자화 파라미터는 상기 스펙트럼 변환에서 공간 주파수들에 걸쳐 양자화 조도의 변경을 결정하여, 상이한 공간 주파수들에서의 상기 스펙트럼 변환의 변환 계수들이 상이한 조도에서 양자화되게 하는, 인코더.
  132. 데이터 스트림으로부터 화상을 디코딩하기 위한 디코더로서,
    양자화 파라미터에 따라 파라미터화된 역양자화를 수행하며 － 상기 양자화 파라미터는 상기 역양자화에 의해 반전되는 양자화의 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어함 －,
    상기 화상이 세분되는 화상 영역들의 유닛들에서의 상기 양자화 파라미터의 변경을 상기 데이터 스트림으로부터 도출하도록
    이루어지는, 디코더.
  133. 제132항에 있어서,
    상기 화상 영역들 각각에 대한 미리 결정된 양자화 파라미터 세팅들의 세트 중 하나의 양자화 파라미터 세팅에 대한 인덱스를 상기 데이터 스트림으로부터 도출함으로써 상기 데이터 스트림으로부터 상기 양자화 파라미터의 변경을 도출하거나 － 상기 디코더는 상기 양자화 파라미터에 대한 상기 미리 결정된 양자화 파라미터 세팅들의 세트를 상기 데이터 스트림으로부터 도출하도록 이루어지고, 그리고/또는 상기 양자화 파라미터에 대한 상기 미리 결정된 양자화 파라미터 세팅들의 세트는 디폴트 세팅에 따라 세팅됨 －, 또는
    상기 화상 영역들 각각에 대해 상기 양자화 파라미터에 대한 양자화 파라미터 세팅을 상기 데이터 스트림으로부터 디코딩하도록
    이루어지는, 디코더.
  134. 제132항 또는 제133항에 있어서,
    상기 디코더는, 변환 기반 예측 디코딩을 사용하여 상기 데이터 스트림으로부터 상기 화상을 디코딩하고, 예측 레지듀얼의 스펙트럼 변환에 상기 역양자화를 적용하도록 이루어지며,
    상기 양자화 파라미터는 상기 스펙트럼 변환에서 공간 주파수들에 걸쳐 양자화 조도의 변경을 결정하여, 상이한 공간 주파수들에서의 상기 스펙트럼 변환의 변환 계수들이 상이한 조도에서 역양자화되게 하는, 디코더.
  135. 비디오 인코딩을 위한 방법으로서,
    소스 비디오(12)를 수신하는 단계,
    타겟 공간 해상도로 상기 소스 비디오를 데이터 스트림(14)으로 인코딩하는 단계를 포함하며,
    상기 타겟 공간 해상도는, 상기 소스 비디오가 상기 데이터 스트림으로 인코딩되는 랜덤 액세스 거리(38)보다 더 미세한 시간적 스케일로 변경되는, 비디오 인코딩을 위한 방법.
  136. 비디오 디코딩을 위한 방법으로서,
    데이터 스트림(224)으로부터 비디오(234)를 디코딩하는 단계,
    상기 비디오가 상기 데이터 스트림으로 인코딩되는 랜덤 액세스 거리보다 더 미세한 시간적 스케일에서의, 상기 비디오가 상기 데이터 스트림으로 인코딩되는 타겟 공간 해상도의 변경을 상기 데이터 스트림으로부터 도출하는 단계를 포함하는, 비디오 디코딩을 위한 방법.
  137. 비디오 인코딩을 위한 방법으로서,
    비디오(222)를 데이터 스트림(224)으로 인코딩하는 단계를 포함하며,
    상기 비디오의 각각의 화상(202)은 장면 파티셔닝(208)에 따라 화상 영역들(204)로 파티셔닝되고, 상기 화상 영역들(204) 각각은 상기 화상 영역들 각각에 장면(200)의 개개의 장면 영역(206)을 맵핑시키고,
    상기 장면 파티셔닝(2080이 조정되고, 상기 장면 파티셔닝이 상기 데이터 스트림에서 시그널링되며, 상기 비디오는 상기 장면 파티셔닝에 의존하는 방식으로 상기 데이터 스트림으로 인코딩되는, 비디오 인코딩을 위한 방법.
  138. 비디오 디코딩을 위한 방법으로서,
    데이터 스트림으로부터 비디오를 디코딩하는 단계를 포함하며,
    상기 비디오의 각각의 화상은 화상 영역들로 파티셔닝되고, 상기 화상 영역들 각각은 상기 화상 영역들 각각에 개개의 장면 영역을 맵핑시키고,
    상기 파티셔닝은 상기 데이터 스트림으로부터 도출되고, 상기 비디오는 상기 장면 파티셔닝에 의존하는 방식으로 상기 데이터 스트림으로부터 디코딩되는, 비디오 디코딩을 위한 방법.
  139. 비디오 인코딩을 위한 방법으로서,
    소스 비디오(12)를 수신하는 단계,
    타겟 공간 해상도로 상기 소스 비디오(12)를 데이터 스트림(14)으로 인코딩하는 단계를 포함하며,
    상기 타겟 공간 해상도는 상기 소스 비디오의 화상들(16)보다 작은 상기 화상들의 화상 영역들(500)의 유닛들에서 변경되고, 상기 변경은 상기 데이터 스트림에서 시그널링되는, 비디오 인코딩을 위한 방법.
  140. 비디오 디코딩을 위한 방법으로서,
    데이터 스트림으로부터 비디오를 디코딩하는 단계,
    소스 비디오의 화상들보다 작은 상기 화상들의 화상 영역들의 유닛들에서 상기 비디오가 상기 데이터 스트림으로 인코딩되는 타겟 공간 해상도의 변경을 상기 데이터 스트림으로부터 도출하는 단계를 포함하는, 비디오 디코딩을 위한 방법.
  141. 화상을 인코딩하기 위한 방법으로서,
    양자화 파라미터에 따라 파라미터화된 양자화를 수행하는 단계 － 상기 양자화 파라미터는 상기 양자화의 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어함 －,
    상기 화상이 세분되는 화상 영역들의 유닛들에서의 상기 양자화 파라미터의 변경을 상기 데이터 스트림에서 시그널링하는 단계를 포함하는, 화상을 인코딩하기 위한 방법.
  142. 데이터 스트림으로부터 화상을 디코딩하기 위한 방법으로서,
    양자화 파라미터에 따라 파라미터화된 역양자화를 수행하는 단계 － 상기 양자화 파라미터는 상기 역양자화에 의해 반전되는 양자화의 양자화 노이즈의 공간 주파수 스펙트럼의 스펙트럼 형상을 제어함 －,
    상기 화상이 세분되는 화상 영역들의 유닛들에서의 상기 양자화 파라미터의 변경을 상기 데이터 스트림으로부터 도출하는 단계를 포함하는, 화상을 디코딩하기 위한 방법.
  143. 컴퓨터 프로그램으로서,
    컴퓨터 상에서 실행될 때, 제135항 내지 제142항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는, 컴퓨터 프로그램.
  144. 제135항, 제137항, 제139항 또는 제141항 중 어느 한 항에 따른 방법에 의해 생성되는, 데이터 스트림.
KR1020207027103A 2018-02-20 2019-02-18 가변 해상도를 지원하고 그리고/또는 영역별 패킹을 효율적으로 처리하는 화상/비디오 코딩 KR20200119877A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18157718 2018-02-20
EP18157718.0 2018-02-20
PCT/EP2019/053962 WO2019162230A1 (en) 2018-02-20 2019-02-18 Picture/video coding supporting varying resolution and/or efficiently handling region-wise packing

Publications (1)

Publication Number Publication Date
KR20200119877A true KR20200119877A (ko) 2020-10-20

Family

ID=61256611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027103A KR20200119877A (ko) 2018-02-20 2019-02-18 가변 해상도를 지원하고 그리고/또는 영역별 패킹을 효율적으로 처리하는 화상/비디오 코딩

Country Status (6)

Country Link
US (2) US11616979B2 (ko)
EP (1) EP3756347A1 (ko)
JP (3) JP7104485B2 (ko)
KR (1) KR20200119877A (ko)
CN (2) CN111989920A (ko)
WO (1) WO2019162230A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023048500A1 (ko) * 2021-09-23 2023-03-30 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
KR102559540B1 (ko) 2022-09-19 2023-07-25 문건희 토류벽시스템용 토류벽체

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020142382A1 (en) * 2018-12-31 2020-07-09 Futurewei Technologies, Inc. Support of adaptive resolution change in video coding
US11290734B2 (en) * 2019-01-02 2022-03-29 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
US11206404B2 (en) * 2019-07-08 2021-12-21 Fastvdo Llc Adaptive resolution change in video streams
CN110519607B (zh) * 2019-09-27 2022-05-20 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
CN110662060B (zh) * 2019-09-27 2024-02-09 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置及存储介质
WO2021112652A1 (ko) * 2019-12-05 2021-06-10 한국전자통신연구원 영역 차등적 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
JPWO2021117802A1 (ko) * 2019-12-13 2021-06-17
EP4085610A4 (en) * 2019-12-30 2023-04-19 Alibaba Group Holding Limited METHODS FOR SIGNALING VIRTUAL BOUNDARIES AND ENVELOPING MOTION COMPENSATION
US11589052B2 (en) 2020-06-10 2023-02-21 Tencent America LLC Techniques for bitstream extraction for subpicture in coded video stream
WO2022120285A1 (en) * 2020-12-04 2022-06-09 Beijing Dajia Internet Information Technology Co., Ltd. Network based image filtering for video coding
US11863786B2 (en) * 2021-05-21 2024-01-02 Varjo Technologies Oy Method of transporting a framebuffer
US11924467B2 (en) * 2021-11-16 2024-03-05 Google Llc Mapping-aware coding tools for 360 degree videos
CN113852823B (zh) * 2021-11-30 2022-03-01 深圳市通恒伟创科技有限公司 一种基于物联网的图像数据上传方法、系统和装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY129665A (en) * 1997-04-09 2007-04-30 Matsushita Electric Ind Co Ltd Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
JP2005117196A (ja) * 2003-10-03 2005-04-28 Matsushita Electric Ind Co Ltd 映像符号化方法
KR20070038957A (ko) * 2004-07-06 2007-04-11 마쯔시다덴기산교 가부시키가이샤 부호화 또는 복호화 장치 및 기록 재생 단말
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
KR100567157B1 (ko) * 2005-02-11 2006-04-04 비디에이터 엔터프라이즈 인크 모바일 환경에서의 플레이리스트를 통한 다수 파일의 스트리밍 방법 및 그 시스템
FR2895172A1 (fr) * 2005-12-20 2007-06-22 Canon Kk Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes
JP5227187B2 (ja) * 2006-01-09 2013-07-03 トムソン ライセンシング マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
WO2008053029A2 (en) * 2006-10-31 2008-05-08 Gottfried Wilhelm Leibniz Universität Hannover Method for concealing a packet loss
EP2143279B1 (en) * 2007-06-29 2010-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US8259814B2 (en) * 2008-11-12 2012-09-04 Cisco Technology, Inc. Processing of a video program having plural processed representations of a single video signal for reconstruction and output
US8279926B2 (en) * 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
WO2011127963A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
EP2805506A4 (en) * 2012-01-20 2015-09-16 Nokia Technologies Oy VIDEO ENCODING METHOD AND APPARATUS, COMPUTER PROGRAM PRODUCT, CORRESPONDING SYSTEM AND MODULE
MX351585B (es) * 2012-01-31 2017-10-20 Vid Scale Inc Señalizacion de conjuntos de imagenes de referencia (rps) para videocodificacion escalable de alta eficiencia (hevc).
US9313486B2 (en) * 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
US9674532B2 (en) * 2012-06-24 2017-06-06 Lg Electronics Inc. Image decoding method using information on a random access picture and apparatus using same
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US20140092978A1 (en) * 2012-10-01 2014-04-03 Nokia Corporation Method and apparatus for video coding
CN104704850A (zh) * 2012-10-09 2015-06-10 思科技术公司 对位流中的图像格式转换的在先解码的图像的输出管理
US9942545B2 (en) * 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
US9992493B2 (en) * 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US20150103878A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US9832481B2 (en) * 2014-01-03 2017-11-28 Qualcomm Incorporated Support of base layer of a different codec in multi-layer video coding
US9860540B2 (en) * 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
US9807406B2 (en) * 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
US9794595B2 (en) * 2014-03-18 2017-10-17 Qualcomm Incorporated Derivation of end of sequence NAL unit information for multi-layer bitstreams
US9883214B2 (en) * 2015-03-31 2018-01-30 Dialogic Corporation Efficient approach to dynamic frame size and frame rate adaptation
US20160330453A1 (en) * 2015-05-05 2016-11-10 Cisco Technology, Inc. Parameter Set Header
US9967577B2 (en) * 2015-08-31 2018-05-08 Microsoft Technology Licensing, Llc Acceleration interface for video decoding
CN116489347A (zh) * 2015-11-20 2023-07-25 韩国电子通信研究院 对图像进行编/解码的方法和装置
EP3185556A1 (en) 2015-12-21 2017-06-28 Thomson Licensing Method and apparatus for combined adaptive resolution and internal bit-depth increase coding
US10764602B2 (en) * 2016-01-25 2020-09-01 Koninklijke Kpn N.V. Spatial scalable video coding
CN109076252B (zh) * 2016-02-16 2022-07-01 弗劳恩霍夫应用研究促进协会 使用自适应流传输协议取回视频的设备及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023048500A1 (ko) * 2021-09-23 2023-03-30 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
KR102559540B1 (ko) 2022-09-19 2023-07-25 문건희 토류벽시스템용 토류벽체

Also Published As

Publication number Publication date
US20230171425A1 (en) 2023-06-01
JP7466590B2 (ja) 2024-04-12
JP7104485B2 (ja) 2022-07-21
WO2019162230A1 (en) 2019-08-29
JP2024050874A (ja) 2024-04-10
JP2021514168A (ja) 2021-06-03
CN111989920A (zh) 2020-11-24
US11616979B2 (en) 2023-03-28
JP2022133406A (ja) 2022-09-13
CN117857812A (zh) 2024-04-09
EP3756347A1 (en) 2020-12-30
US20200374552A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
JP7466590B2 (ja) 変動する解像度をサポートしかつ／または領域単位パッキングを効率的に処理するピクチャ／ビデオコーディング
EP4002848A1 (en) Video signal processing method and device
CN109068135B (zh) 视频编解码的方法和设备
KR102327617B1 (ko) 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
CN113748676A (zh) 帧内编解码模式下的矩阵推导
US20160080753A1 (en) Method and apparatus for processing video signal
CN115699732A (zh) 视频编解码中的参考图片重采样
CN115552899A (zh) 视频图片中的片的指示
AU2020352589B2 (en) Encoder and decoder, encoding method and decoding method for reference picture resampling extensions
CN115843431A (zh) 对视频图片中的子图片的数量的约束
CN115299050A (zh) 包括条带和片的图片的编解码
CN115462085A (zh) 视频编解码中滤波的高级控制
CN115380525A (zh) 图片标头中的高级别语法
CN115699772A (zh) 视频编解码中的补充增强信息的约束
CN115699767A (zh) 输出层集和层的数量限制
CN115918077A (zh) 子图片子比特流提取过程中补充增强信息的处理
CN115462074A (zh) 经压缩的画中画信令
CN115836524A (zh) 自适应环路滤波