KR20230004446A - 비디오 코딩에서의 크로마 양자화 - Google Patents

비디오 코딩에서의 크로마 양자화 Download PDF

Info

Publication number
KR20230004446A
KR20230004446A KR1020227031632A KR20227031632A KR20230004446A KR 20230004446 A KR20230004446 A KR 20230004446A KR 1020227031632 A KR1020227031632 A KR 1020227031632A KR 20227031632 A KR20227031632 A KR 20227031632A KR 20230004446 A KR20230004446 A KR 20230004446A
Authority
KR
South Korea
Prior art keywords
chroma
offset
values
quantization
picture
Prior art date
Application number
KR1020227031632A
Other languages
English (en)
Other versions
KR102613836B1 (ko
Inventor
알렉산드로스 토우라피스
가이 코테
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020237042786A priority Critical patent/KR20230173216A/ko
Publication of KR20230004446A publication Critical patent/KR20230004446A/ko
Application granted granted Critical
Publication of KR102613836B1 publication Critical patent/KR102613836B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Enzymes And Modification Thereof (AREA)

Abstract

양자화 그룹들에 특정화된 추가 크로마 QP 오프셋 값들을 시그널링하는 방법에 제공되고, 이때 각각의 양자화 그룹은 그 자신 세트의 크로마 QP 오프셋 값들을 명백하게 명시한다. 대안으로, 가능한 세트들의 크로마 QP 오프셋 값들의 테이블은 픽터의 헤더 구역에 명시되고, 각각의 양자화 그룹은 그 자신 세트의 크로마 QP 오프셋 값들을 결정하기 위해 테이블로부터 엔트리를 선택하기 위한 인덱스를 사용한다. 양자화 그룹 특정 크로마 QP 오프셋 값들은 그 후에, 비디오 코딩 계층의 보다 높은 레벨들에 대해 이미 명시된 크로마 QP 오프셋 값들과 더불어, 양자화 그룹 내의 블록들에 대한 크로마 QP 값들을 결정하기 위해 사용된다.

Description

비디오 코딩에서의 크로마 양자화{CHROMA QUANTIZATION IN VIDEO CODING}
ITU 및 ISO MPEG에 의해 합동적으로 발전된 차세대 고효율 비디오 코딩(HEVC/H.265) 표준은, 이전의 비디오 코딩 표준들 및 기술들 그 예로서 다른 것들 중에서 MPEG-2, MPEG-4 part2, MPEG-4 AVC/H.264, VC1, 및 VP8에 비해 비디오 코딩 효율을 개선시키려는 노력으로 여러 개의 새로운 비디오 코딩 툴들을 도입해 왔다. 그의 제1 버전에서, 이러한 새로운 표준은 3 개의 널리 공지된 프로파일(well defined profile)들, 즉 Main, Main 10, 및 Main Still Picture 프로파일들을 사용하여 YUV 4:2:0 8 또는 10 비트 물질의 인코딩을 지원할 수 있다. 그러나, 10 비트 샘플 정도(bit sample precision)(비트-깊이)보다 높은 것, 나아가 다른 것들 중에서 YUV 4:2:2, YUV 4:4:4, 및 RGB 4:4:4을 포함하여 서로 다른 색상 샘플링 포맷들 및 색 공간들을 지원할 시에 작업은 여전히 진행 중에 있다. 그러한 물질들의 인코딩은 여러 개의 전문적인 적용예들, 그 예로서 영화 적용예들, 캡쳐, 비디오 편집, 파일 보관(archiving), 의학 화상(medical imaging) 기타 등등에서 사용될 뿐만 아니라, 여러 개의 소비자 적용예들 그 예로서 다른 것들 중에서 스크린 콘텐츠 압축 및 공유, 원격 컴퓨팅, 및 게임에서 사용되기 위한 상당한 주요 관심사가 된다.
최근까지, 기존의 비디오 코덱들은 이미지의 루마 성분을 코딩할 시에 거의 항상 보다 더 높은 우선권을 제공하였다. 루마 정보의 코딩 특성들 및 품질을 제어하는 코딩 파라미터들은 비디오 코딩 계층의 보다 낮은 레벨들 그 예로서 슬라이스, 코딩 트리 블록(coding tree block), 코딩 단위, 또는 심지어 HEVC의 변환 블록 레벨에 주로 제공된다. 모든 다른 성분들에 대한 제어 및 튜닝 파라미터들은 루마 제어 파라미터들의 수정들과 함께, 보다 높은 레벨에서 그 예로서 시퀀스(Sequence), 픽처 파라미터 세트(Picture Parameter Set), 또는 슬라이스 레벨(Slice level)에서 주로 가능하다. 예를 들어, MPEG-4 AVC에서, 루마 양자화 및 해당 양자화 파라미터(QP)는 매크로블록 레벨에 있는 시그널링된 파라미터로 제어된다. 각각의 크로마 성분에 대한 단일 오프셋은 픽처 파라미터 세트들에 제공된다. 각각의 크로마 QP 오프셋은 각각의 매크로블록 내의 루마 QP와 관련하여 해당 크로마 성분의 QP 값을 제어한다. 그러나, 이러한 관계는 전체 픽처에 대해 고정된다. 루마 또는 크로마 구역의 품질을 변화시키는 것이 필요한 경우, 다른 성분들 역시, 이렇게 매우 긴밀한 관계를 고려할 시에 영향을 받는다. HEVC에서, 몇몇 추가 제어는 또한, HEVC가 각각의 슬라이스에 대해 별개의 크로마 양자화 오프셋 시그널링을 허용하기 때문에 제공된다. 그러나, 다수의 슬라이스들을 사용함은 몇몇 적용예들에 대해 바람직하지 않을 수 있거나 기능적일 수 없으면서, 제공된 제어는 여전하게 다소 정밀하지 않다.
몇몇 적용예들 또는 콘텐츠에 대해서, 몇몇 색상 성분들의 품질을 독립적으로 제어할 수 있음은 전체 품질, 압축률, 나아가 전체 사용자 경험을 개선시키려는 시도로 매우 중요할 수 있다. 몇몇 구역들은, 예를 들어, 색상 성분들에서조차 서로 다른 텍스쳐 또는 노이즈 특성들에 의해 특징이 지어질 수 있는 반면, 루마에서 동일한 정보를 향상시키는 것보다 더 또는 덜 그렇게 색상 에지들을 향상시키기는 것이 중요할 수 있다. 더욱이, 4:4:4 적용예들 그 예로서 비디오 디스플레이 공유 및 원격 컴퓨팅에 대해서, RGB 콘텐츠를 인코딩함이 바람직할 수 있고, 이때 적색 및 청색 색상 성분들의 가치(importance), 및 이로써 원하는 제어는 YUV 도메인 내의 크로마 성분들보다 높게 되는 경향이 있다. 자연 이미지들 또는 비디오들과의 합성 콘텐츠, 그 예로서 컴퓨터 그래픽들 또는 적용예들의 조합인 혼합 비디오 콘텐츠를 인코딩함은 또한 바람직할 수 있다. 이러한 시나리오에서, 자연 대 합성 콘텐츠의 서로 다른 특성들, 나아가 자연 콘텐츠가 디스플레이되기에 4:4:4로 업-컨버팅된 원래의 4:2:0 이미지들이었던 가능성을 고려할 시에, 크로마 양자화 파라미터들을 제어하기 위한 능력을 가짐은 코딩 성능 및 주관적(subjective) 품질에 잠재적으로 상당한 영향을 줄 수 있다.
필요한 것은, 기존의 코덱들에 비해 크로마 양자화 파라미터들의 추가적인 제어, 나아가 모든 공통 색상 포맷들(그 예로서 YUV, RGV, YCoCg, 또는 YCoCg-R), 모든 공통 색상 샘플링 기법들(그 예로서 4:2:0, 4:2:2, 4:4:4, 또는 4:4:4:4), 나아가 각각의 성분에 대한 다양한 비트 깊이들을 위해 이러한 지원을 확장함을 허용하는 방법이다. 그러한 방법은 색상 또는 샘플링 포맷들에 관해 임의의 제한들을 두지 않고, 보다 더 유연한 방식으로 코딩 블록 내의 크로마 QP 오프셋 정보의 시그널링 및 변화를 허용하여야 한다.
크로마 양자화 파라미터들(QP)이 보다 유연하게 명시될 수 있는 비디오 코딩 시스템을 제공하기 위하여, 본 발명의 몇몇 실시예들은 양자화 그룹들에 특정화된 추가 크로마 QP 오프셋 값들을 시그널링하는 방법을 제공한다. 몇몇 실시예들에서, 각각의 양자화 그룹은 그 자신 세트의 크로마 QP 오프셋 값들을 명백하게 명시한다. 몇몇 실시예들에서, 가능한 세트들의 크로마 QP 오프셋 값들의 테이블은 픽처 또는 슬라이스의 헤더 구역에서 명시되고, 각각의 양자화 그룹은 그 자신 세트의 크로마 QP 오프셋 값들을 결정하기 위해 테이블로부터 엔트리를 선택하기 위한 인덱스를 사용한다. 양자화 그룹 레벨 크로마 QP 오프셋 값들은 그 후에 양자화 그룹 내의 블록들 또는 세트들의 픽셀들에 대한 크로마 QP 값들을 결정하기 위해 사용된다. 몇몇 실시예들에서, 양자화 그룹 크로마 QP 값들은 비디오 코딩 계층의 보다 높은 레벨들로 이미 명시된 크로마 QP 오프셋 값들 및 블록의 루마 QP와 함께 사용된다.
몇몇 실시예들은 하나 이상의 비디오 데이터 단위들을 포함한 양자화 그룹들(QG들)과 크로마 QP 오프셋 사양들을 연관시킨다. 몇몇 실시예들에서, 각각의 QG는 그 자신 세트의 크로마 QP 오프셋 사양들과 연관되고, 이러한 실시예들 중 몇몇에서, QG와 연관된 세트의 크로마 QP 오프셋 사양들은 QG 내의 비디오 데이터 단위의 코딩 구조체 내에서 인코딩되거나 내장된다.
오버헤드 또는 비트 사용을 더 감소시키기 위해서, 몇몇 실시예들은 보다 높은 레벨에서의, 예컨대 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS) 내의 또는 현재 슬라이스 헤더 내의 각각의 성분의 모든 가능한 오프셋 값들, 또는 양쪽 성분들의 조합 값들을 명시한다. 이러한 실시예들 중 몇몇에서, 보다 높은 레벨 구문(syntax) 헤더(SPS/PPS/슬라이스 헤더)는 서로 다른 가능한 오프셋 값들을 테이블의 형태로 열거하고, 테이블 내의 각각의 엔트리에는 인덱스가 할당된다. 그 후에, 코딩 단위/양자화 그룹 레벨에서, 몇몇 실시예들은 원하는 양자화 오프셋 값들의 인덱스 또는 인덱스들만을 명시한다. 그러한 오프셋들은 PPS 또는 슬라이스 헤더에 명시된 오프셋 값들과는 상관 없을 수 있거나, 또는 정반대로 PPS 또는 슬라이스 헤더에 명시된 오프셋 값들에 추가될 수 있다. 비트스트림 크기를 감소시키기 위해, 몇몇 실시예들은 테이블 내의 엔트리들의 수를 최대 값으로 되게 한다.
서로 다른 실시예들에서 인코더들은 양자화 그룹에 특정화된 추가 크로마 QP 오프셋 값들을 선택 및 할당하는 서로 다른 방법들을 사용한다. 몇몇 실시예들은 인코더가 영역 레벨 분석을 수행하는 사전-분석 단계를 수행한다. 몇몇 실시예들은 서로 다른 비디오 콘텐츠 유형으로 된 이미지 내의 서로 다른 영역들을 식별한다. 이러한 실시예들 중 몇몇에서, 서로 다른 유형들의 비디오 콘텐츠를 갖는 서로 다른 영역들에게는 서로 다른 크로마 QP 오프셋 값들이 할당되거나, 상기 영역들은 서로 다른 양자화 그룹들 내에 할당된다. 몇몇 실시예들은 리얼 비디오 콘텐츠로부터 그래픽 콘텐츠를 구별한다. 몇몇 실시예들은 4:2:0 포맷으로부터 업-샘플링된 4:4:4 비디오 콘텐츠로부터, 4:4:4 포맷으로 원래 코딩된 4:4:4 비디오 콘텐츠를 구별한다. 몇몇 실시예들은 서로 다른 비트-깊이들을 원래 가졌을 수 있는 비디오 콘텐츠를 분별한다. 비디오 콘텐츠의 이러한 특성들은, 색상 성분들, 나아가 레이트 제어 정보에 걸친 그들의 관계들과 더불어, 모든 색상 성분들 중에서 양자화 레벨들 또는 양자화 관계들을 결정하기 위해 몇몇 실시예들에 의해 사용된다.
앞선 개요는 본 발명의 몇몇 실시예들에 대한 간단한 소개로서 역할하는 것으로 의도된다. 이는 본 문헌에 개시된 모든 발명의 주제내용의 소개 또는 개괄이 되는 것으로 의도되지 않는다. 다음의 상세한 설명 및 상세한 설명에서 참조되는 도면들은 개요에서 기술된 실시예들, 나아가 다른 실시예들도 더 기술할 것이다. 이에 따라서, 본 문헌에 의해 기술된 실시예들 모두를 이해하기 위해서는 개요, 상세한 설명, 및 도면의 완전한 리뷰가 필요하다.
본 발명의 신규한 특징들이 첨부된 청구항들에 제시된다. 그러나, 설명을 위해서는 본 발명의 여러 개의 실시예들이 다음 도면들에서 제시된다.
도 1은 그 자신 세트의 크로마 QP 오프셋 사양들을 각각 가진 크로마 양자화 그룹들을 포함한, 계층에 따른 비디오 코딩 구조체(100)를 예시한다.
도 2a 내지 2c는 크로마 양자화 그룹에 대한 한 세트의 크로마 QP 오프셋 값들을 인코딩하는 여러 개의 방법들을 예시한다.
도 3은 크로마 양자화 그룹의 정의를 명시하는 예시의 픽처 헤더 또는 픽처 파라미터 세트(PPS)를 예시한다.
도 4는 크로마 양자화 그룹에 있을 수 있는 예시의 코딩 트리 단위를 예시한다.
도 5는 양자화 그룹 내의 추가 크로마 QP 오프셋들의 사양을 예시한다.
도 6은 2 개의 크로마 성분들에 대한 크로마 QP 오프셋 값들을 명시하는 서로 다른 방법을 사용하여 양자화 그룹 내의 추가 크로마 QP 오프셋들의 사양을 예시한다.
도 7은 추가 크로마 QP 오프셋 사양들을 허용하는 비디오 비트스트림으로부터 크로마 QP 값들을 결정하는 프로세스를 개념적으로 예시한다.
도 8은 보다 높은 레벨 헤더에 있는 가능한 크로마 QP 오프셋 값들의 테이블을 포함한, 계층에 따른 비디오 코딩 구조체를 예시한다.
도 9는 크로마 QP 오프셋들의 테이블을 인코딩하는 예시의 픽처 헤더 또는 픽처 파라미터 세트(PPS)를 예시한다.
도 10은 크로마 QP 오프셋 테이블의 엔트리 각각을 예측적으로 인코딩하는 픽처 헤더를 예시한다.
도 11은 픽처 헤더 내의 테이블로부터 크로마 QP 오프셋 값들을 회수하기 위한 인덱스를 사용하는 양자화 그룹에 있을 수 있는 예시의 코딩 트리 단위를 예시한다.
도 12는 크로마 QP 오프셋 값들의 테이블 내의 엔트리를 선택하기 위한 인덱스를 사용하는 양자화 그룹을 예시한다.
도 13은 추가 크로마 QP 오프셋 사양들을 구현하기 위해 가능한 크로마 QP 오프셋 값들의 테이블을 사용하는 비디오 비트스트림으로부터 크로마 QP 값들을 결정하는 프로세스를 개념적으로 예시한다.
도 14는 추가 크로마 QP 오프셋 값들을 명시하는 방법에 대한 선택을 포함한 픽처 헤더에 대한 의사 코드(pseudo code)를 예시한다.
도 15는 3 개의 서로 다른 방법들 중 어느 것을 사용하여 양자화 그룹에 대한 크로마 QP 오프셋 값들을 명시할 수 있는 변환 단위에 대한 의사 코드의 구현예를 예시한다.
도 16은 이미지의 예시의 분할 및 카테고리화를 예시한다.
도 17은 이미지의 서로 다른 영역들을 분석하고 이에 따라서 크로마 QP 오프셋들을 할당하는 프로세스(1700)를 개념적으로 예시한다.
도 18은 일반적인 비디오 인코더를 예시한다.
도 19는 일반적인 비디오 디코더를 예시한다.
도 20은 본 발명의 몇몇 실시예들이 구현되는 전자 시스템을 개념적으로 예시한다.
다음의 설명에서, 다수의 상세 사항들이 설명 목적을 위해 제시된다. 그러나, 기술분야의 통상의 기술자는 본 발명이 이러한 특정 상세 사항들의 사용 없이 실시될 수 있음을 인식할 것이다. 다른 경우들에서, 불필요한 상세 사항으로 본 발명의 설명을 모호하게 하지 않기 위하여 잘 알려진 구조체들 및 디바이스들이 블록도 형태로 도시된다.
크로마 양자화 파라미터들(크로마 QP)이 보다 유연하게 명시될 수 있는 비디오 코딩 시스템을 제공하기 위하여, 본 발명의 몇몇 실시예들은 양자화 그룹들에 특정화된 추가 크로마 QP 오프셋 값들을 시그널링하는 방법을 제공한다. 몇몇 실시예들에서, 각각의 양자화 그룹은 그 자신 세트의 크로마 QP 오프셋 값들을 명백하게 명시한다. 몇몇 실시예들에서, 가능한 세트들의 크로마 QP 오프셋 값들의 테이블은 픽처 또는 슬라이스의 헤더 구역에서 명시되고, 각각의 양자화 그룹은 그 자신 세트의 크로마 QP 오프셋 값들을 결정하기 위해 테이블로부터 엔트리를 선택하기 위한 인덱스를 사용한다. 양자화 그룹 레벨 크로마 QP 오프셋 값들은 그 후에 양자화 그룹 내의 블록들에 대한 크로마 QP 값들을 결정하기 위해 사용된다. 몇몇 실시예들에서, 양자화 그룹 크로마 QP 값들은 비디오 코딩 계층의 보다 높은 레벨들로 이미 명시된 크로마 QP 오프셋 값들 및 블록의 루마 QP와 함께 사용된다.
섹션 I은 추가 크로마 QP 오프셋 값들을 명시하는 방법들을 이하에서 기술한다. 특히, 섹션 I.a는 양자화 그룹들에 추가 크로마 QP 오프셋 값들을 명백하게 명시하는 방법들을 기술한 반면, 섹션 I.b는 가능한 크로마 QP 오프셋 값들의 테이블을 명시하는 방법들을 기술한다. 섹션 II는 그 후에 추가 크로마 QP 오프셋 값들을 식별하여 이미지의 서로 다른 영역들에 할당하는 서로 다른 시스템들 및 방법들을 기술한다. 섹션 III은 본 발명의 몇몇 실시예들을 구현하는 비디오 인코더 및 디코더 시스템들을 기술하는 반면, 섹션 IV는 본 발명의 몇몇 실시예들이 구현되는 컴퓨터 시스템을 기술한다.
I. 추가 크로마 QP 오프셋들을 명시하는 것
a. 양자화 그룹들에 추가 크로마 QP 오프셋들을 명시하는 것
본 발명의 몇몇 실시예들은 비디오의 시퀀스를 코딩하는 크로마 양자화 파라미터 오프셋 값들(크로마 QP 오프셋들)을 명시하는 방법을 제공한다. 방법은 크로마 양자화 그룹들과 크로마 QP 오프셋 사양들을 연관시키고, 각각의 크로마 QG는 하나 이상의 비디오 데이터 단위들(그 예로서 HEVC에서의 코딩 단위들)을 망라한다. 몇몇 실시예들에서, 크로마 양자화 그룹과 연관된 한 세트의 크로마 QP 오프셋 사양들은 크로마 양자화 그룹 내의 비디오 데이터 단위의 코딩 구조체 내에 인코딩되거나 내장된다. 몇몇 실시예들에서, 크로마 양자화 그룹에 대한 크로마 QP 오프셋 사양은, 크로마 양자화 그룹을 망라하는 비디오 코딩 계층의 보다 높은 레벨에 있는 비디오 코딩 구조체(그 예로서 슬라이스 또는 픽처)에 대해 명시된 다른 크로마 QP 오프셋 사양들과 더불어 적용된다. 몇몇 실시예들에서, 서로 다른 레벨들로부터의 크로마 QP 오프셋들은 크로마 양자화 파라미터들(크로마 QP)을 결정하기 위해 함께 (예컨대, 그들을 루마 QP 값에 추가함으로써) 적용된다.
몇몇 실시예들에서, 크로마 양자화 그룹들(크로마 QG들)은 루마 양자화 그룹들(루마 QG들)과 더불어 정의된다. 루마 QG는 또한 하나 이상의 비디오 데이터 단위들을 망라하지만, 그러나 루마 양자화 파라미터들(루마 QP들)을 명시하기 위함이다. 몇몇 실시예들에서, 크로마 QG들은 하나 이상의 루마 QG들을 겹치게 하거나 망라할 수 있다. 다시 말하면, 크로마 QG 내의 서로 다른 영역들은 서로 다른 루마 QG들에 속할 수 있고, 결과적으로 서로 다른 루마 QP들을 가진다.
본 발명의 몇몇 실시예들에 대해, 도 1은 그 자신 세트의 크로마 QP 오프셋 사양들을 각각 가진 크로마 양자화 그룹들(크로마 QG들)을 포함한, 계층에 따른 비디오 코딩 구조체(100)를 예시한다. 계층에 따른 비디오 코딩 구조체(100)는 여러 개의 픽처들(101 내지 103)을 포함한다. 이러한 것들 중에서, 픽처(102)는 여러 개의 슬라이스들(111 내지 113)을 포함한다. 슬라이스(112)는 여러 개의 크로마 QG들(121 내지 123)을 포함한다. 픽처(102)는 한 세트의 크로마 QP 오프셋 사양들을 포함한 픽처 파라미터 세트(PPS)(132)를 가진다. 크로마 QG들(121 내지 123) 각자는 크로마 QP 오프셋 세트들(141 내지 143)과 연관된다.
계층에 따른 비디오 코딩 구조체(100)는 비디오 이미지들의 시퀀스에 대응한다. 비디오 이미지들의 시퀀스는 계층의 다양한 레벨들에 있는 비디오 데이터 단위들의 층들 내로 조직화되고, 이때에 보다 높은 레벨에 있는 비디오 데이터 단위는 보다 낮은 레벨들에 있는 하나 이상의 비디오 데이터 단위들을 망라한다. 예를 들어, 픽처들의 그룹(GOP)은 픽처보다 높은 계층 레벨에 있는 비디오 데이터 단위이고, 픽처는 픽처의 슬라이스보다 높은 계층 레벨에 있는 비디오 데이터 단위이고, 슬라이스는 코딩 트리 단위보다 높은 계층 레벨에 있는 비디오 데이터 단위이고, 그 외에 기타 등등이 있다. 몇몇 실시예들에서, 보다 높은 레벨 비디오 데이터 단위에 대해 명시된 적어도 몇몇의 파라미터들은, 보다 높은 레벨 비디오 데이터 단위가 망라하는 보다 낮은 레벨 비디오 데이터 단위들에 적용가능하다. 예를 들어, 몇몇 실시예들에서, (PPS(132)로부터의) 픽처(102)에 대한 픽처 레벨 크로마 QP 오프셋 사양은 픽처(102)에 의해 망라된 모든 크로마 QG들(예컨대, 크로마 QG들(121 내지 123))에 적용가능하다.
비디오 코딩 구조체(100)는 몇몇 실시예들에서 비트스트림으로서 인코딩된다. 그러한 비트스트림은 확립된 비디오 코딩 포맷 그 예로서 HEVC/H.265 표준 또는 MPEG-4 AVC/H.264 표준에 기반한다. H.265 표준 하의 픽처는 하나 이상의 슬라이스들을 포함할 수 있고, 각각의 슬라이스는 하나 이상의 코딩 트리 단위들(CTU들)을 가질 수 있다. 더욱이, 각각의 CTU는 블록들로 하위-분할될 수 있다. H.265는 또한 루마 성분들을 양자화/역-양자화하기 위해 루마 양자화 그룹들의 정의를 허용한다. 각각의 양자화 그룹은 양자화 그룹 내의 비디오 데이터 단위들에 특정화된 루마 양자화 파라미터의 도출을 허용한다. 도출되면, 루마 양자화 파라미터는 그 후에 루마 DCT 계수들의 양자화를 수행하기 위해 사용된다. H.265 표준 하에서, 크로마 양자화 파라미터들은 H.265 준수(compliant) 비트스트림의 픽처 또는 슬라이스 층에 제공된 오프셋 값들에 기반하여 루마 양자화 파라미터들로부터 도출된다. 비디오 코딩 구조체(100)는, 픽처/슬라이스 층 크로마 QP 오프셋들과 더불어, H.265 표준에 의해 허용된 크로마 QP 오프셋 시그널링 또는 사양을 제공한다.
크로마 QG들(141 내지 143)은 비디오 코딩 구조체(100)에서 정의된 범위들이다. QG들(141 내지 143) 각각은 그 자신 세트의 크로마 QP 오프셋 값들(141 내지 143)과 연관된다. 몇몇 실시예들에서, 양자화 그룹은 동일 세트의 QP 값들을 공유하는 비디오 데이터 단위들의 그룹일 수 있다. 몇몇 실시예들에서, QG에서 크로마 QP 오프셋들에 대한 시그널링은 QG 내의 모든 비디오 데이터 단위들에 적용된다. 몇몇 실시예들에서, 제1 시그널링된 크로마 잔여 정보 이후로 시작되는 QP 오프셋들이 적용된다. 시그널링 이전의 임의의 구역들은 시그널링된 크로마 QP 오프셋과 연관되지 않는다. 다시 말하면, QG는 "조각화(fragmented)"될 수 있다.
몇몇 실시예에서, QG(크로마 또는 루마)는 비디오 코딩 계층의 서로 다른 레벨들 또는 깊이들로, 그 예로서 코딩 트리 단위, 코딩 단위 또는 변환 단위로 정의될 수 있되, 이러한 것들이 HEVC에 지원될 시에 그러하다. 몇몇 실시예들에서, 크로마 QP 오프셋에 대한 QG의 정의는 이용가능할 시에 루마 성분들에 대한 QG의 정의를 이어받는다.
몇몇 실시예들에서, QG(크로마 또는 루마)의 깊이, 레벨, 및 크기는 비트스트림에 유연하게 명시될 수 있고, 픽처 간에서 변화할 수 있다. 예를 들어, 하나의 픽처(예컨대, 101)는 그의 크로마 QG들이 코딩 쿼드 트리(coding quad tree)의 상부 레벨에 있는 것을 명시할 수 있는 반면(즉, QG가 CTU임), 또 다른 픽처(예컨대, 103)는 그의 크로마 QG들이 코딩 쿼드 트리의 하부 레벨에 있는 것을 명시할 수 있다(예컨대, QG은 쿼드 트리의 코딩 블록임). 몇몇 실시예들에서, 보다 높은 레벨 파라미터들(그 예로서 PPS 또는 슬라이스 헤더)은 픽처의 QG들이 비디오 코딩 계층의 어느 레벨에서 정의되는지를 명시한다.
도 1은 또한 크로마 QG들에 의해 명시된 오프셋들이 크로마 QP 값들을 계산하기 위해 어떻게 사용되는지를 예시한다. 몇몇 실시예들 그 예로서 도 1에 예시된 것들에서, 제1 세트의 크로마 QP 오프셋 파라미터들은 PPS(132)(및/또는 슬라이스(112)에 대한 헤더)에서 이미 시그널링된다. 몇몇 실시예들에서, 크로마 QG들 위에 있는 레벨들(예컨대, PPS 및/또는 슬라이스 헤더)로 명시된 크로마 QP 오프셋 값들은, QG들이 그들 자신의 크로마 QP 오프셋 값들을 명시할 시에 무시된다. 몇몇 실시예들에서, 보다 높은 레벨 크로마 QP 오프셋 구문 요소들 및 QG 레벨 크로마 QP 오프셋들은 오버헤드를 감소시키기 위해 함께 고려된다. 즉, 크로마 QP 값들의 적응은 양쪽 파라미터 세트들과 함께 관련하여 이행되고, 시그널링된 정보는 "2-차(second-order)" 오프셋으로서 볼 수 있다. 이러한 실시예들 중 몇몇에서, 현재 크로마 QG에 대한 크로마 QP 값들은 다음과 같이 계산된다:
QPchroma[i] = QPluma + QPoffset_pps[i] + QPoffset_quant_group[i] (1)
(제1 크로마 성분에 대해 i = 0; 제2 크로마 성분에 대해 i = 1)
여기서, QPluma가 현재 크로마 양자화 그룹에 대응하는 루마 성분의 QP이고, QPoffset_pps[i]은 현재 PPS(또는 슬라이스 헤더)로부터의 i-번째 크로마 성분의 QP 오프셋이며, QPoffset_quant_group[i]은 그 성분에 대한 QG 레벨에서 시그널링된 추가 오프셋이다. QPoffset_pps[i] + QPoffset_quant_group[i]은 이로써 i-번째 크로마 성분의 전체 크로마 QP 오프셋을 구성한다.
몇몇 실시예들에서, 크로마 QP 값들의 적응은 비디오 코딩 계층의 다수의 레벨들로부터의 크로마 QP 오프셋 파라미터들에 기반한다. 예를 들어, 몇몇 실시예들에서, 크로마 QP 값들의 계산은 PPS로부터의 나아가 슬라이스 헤더로부터의 크로마 QP 오프셋 값들을 고려한다. 이러한 실시예들 중 몇몇에서, 현재 QG의 크로마 성분 i에 대한 크로마 QP 값은 다음과 같이 계산된다:
QPchroma[i] = QPluma + QPoffset_pps[i] + QPoffset_slice[i] + QPoffset_quant_group[i] (2)
여기서, QPoffset_slice[i]는 현재 슬라이스 헤더로부터의 i-번째 크로마 성분의 QP 오프셋이고, QPoffset_pps[i]는 현재 PPS로부터의 i-번째 크로마 성분의 QP 오프셋이며, 그리고 QPoffset_pps[i] + QPoffset_slice[i] + Qpoffset_quant_group[i] 합은 i-번째 크로마 성분의 전체 크로마 QP 오프셋이다. 몇몇 실시예들은 하나 이상의 추가 크로마 QP 오프셋 값들이 비디오 코딩 계층의 다른 층들에 명시되는 것을 옵션으로 허용한다. 특정 코딩 블록을 인코딩하거나 디코딩하기 위해, 이러한 실시예들 중 몇몇은 특정 코딩 블록을 망라하는(또는 상기 특정 코딩 블록에 적용가능한) 비디오 코딩 계층의 레벨들을 따라 명시된 크로마 오프셋 QP 값들 몇몇 또는 모두를 사용한다.
언급된 바와 같이, 크로마 QG의 크로마 QP 값들은 크로마 QP 오프셋들을, 크로마 QG에 적용가능한 루마 QP 값에 추가시킴으로써 계산된다. 몇몇 실시예들에서, 크로마 QG에 대응하는 루마 QP 값은 크로마 QG 내에서 변화될 수 있다. 이는, 루마 QG들 및 크로마 QG들이 겹쳐질 수 있고 그 결과 크로마 QG가 서로 다른 루마 QG들 내에 속하는 코딩 단위들을 망라하고 이로써 서로 다른 루마 QP 값들을 가질 수 있기 때문이다. 결과적으로, 크로마 QG 내의 서로 다른 코딩 단위들은 서로 다른 크로마 QP 값들을 가질 수 있다(크로마 QG에 적용가능한 크로마 QP 오프셋들이 크로마 QG 내의 서로 다른 루마 QP 값들에 적용되기 때문에).
도 1의 예시에서, 크로마 QG(121)는 4 개의 해당 루마 QP 값들(QPLuma)을 가지는데, 이는 크로마 QG(121)가 4 개의 서로 다른 루마 QG들(171 내지 174)과 겹쳐지기 때문이다. 크로마 QG(121)의 이러한 4 개의 루마 QP 값들은 PPS 오프셋(132) 및 QG1 오프셋(141)으로부터의 크로마 QP 오프셋들(QPoffset_pps, QPoffset_slice, QPoffset_quant_group)을 적용시킨 이후에 4 개의 가능한 크로마 QP 값들을 초래한다. 그러므로, 크로마 QG(121) 내의 코딩 단위는 코딩 단위가 속하는 근본적인 (underlying) 루마 QG에 의존하여, 이러한 4 개의 가능한 크로마 QP 값들 중 하나를 가질 수 있다. 마찬가지로, 크로마 QG(123)는 2 개의 서로 다른 루마 QG들(181 내지 182)과 겹쳐지게 되고, 크로마 QG(123) 내의 코딩 단위는 코딩 단위가 속하는 근본적인 루마 QG에 의존하여, 2 개의 가능한 크로마 QP 값들 중 하나를 가질 수 있다.
반면, 크로마 QG(122)는 하나의 해당 루마 QP 값만 가지는데, 이는 크로마 QG(122)가 루마 QG(175) 내에 완전하게 속하기(또는 정확한 동일 세트의 코딩 단위들을 루마 QG(175)로서 망라하기) 때문이다. 결과적으로, 크로마 QG(122) 내의 코딩 단위들 모두는 크로마 QP 오프셋들을 적용시킨 이후에 동일한 크로마 QP 값을 가진다.
몇몇 실시예들에서, 최대의 비디오 코딩 포맷들(예컨대, YCbCr)에 대한 각각의 루마 성분에는 2 개의 크로마 성분들이 있기 때문에, 양자화 그룹에 대한 각각의 크로마 QP 오프셋은, 2 개의 크로마 성분들에 대한 2 개의 오프셋 값들을 계산하는 사양을 포함한 한 세트의 값들이다. 몇몇 실시예들에 대해서, 도 2a 내지 도 2c는 도 1의 QG(141)에 대한 한 세트의 오프셋 값들을 인코딩하는 여러 개의 방법들을 예시한다. 몇몇 실시예들은 한 세트의 크로마 QP 오프셋 값들을 인코딩하는 이러한 방법들 중 하나만 사용한다. 몇몇 실시예들은 QG-특정 특성들에 기반하여, 서로 다른 QG들에 대한 서로 다른 방법들을 선택한다.
도 2a는, 한 세트의 크로마 QP 오프셋 값들을 2 개의 독립적인 오프셋 값들(241 및 242)로서 예시한다. 이러한 2 개의 값들은 크로마 QP 오프셋으로서 성분 [0](251)에 대해 그리고 성분 [1](252)에 대해 직접적으로 사용된다. 몇몇 실시예들은 2 개의 크로마 성분들이 서로와의 상관관계를 거의 가지지 않을 시에 크로마 QP 오프셋을 인코딩하는 이러한 방법을 선택한다. 크로마 QP 오프셋 값들을 인코딩하는 이러한 방법의 추가 예시는 도 5를 참조하여 이하에서 더 기술된다.
도 2b는, 양쪽 크로마 성분들(253 및 254)에 의해 동시에 크로마 QP 오프셋으로서 사용된 하나의 단일 값(243)으로서 인코딩된 한 세트의 오프셋 값들을 예시한다. 몇몇 실시예들은, 2 개의 크로마 성분들이 그들의 관계들에서 루마 성분과 매우 유사할 시에 이러한 방법을 선택한다. 크로마 QP 오프셋 값들을 인코딩하는 이러한 방법의 추가 예시는 도 6를 참조하여 이하에서 더 기술된다.
도 2c는, 즉시(immediate) 오프셋 값(244), 및 즉시 오프셋에 기반한 델타 값(245)으로서 인코딩된 한 세트의 오프셋 값들을 예시한다. 이러한 예시에서, 즉시 오프셋 값(244)은 제1 크로마 성분(255)의 크로마 QP 오프셋으로서 직접적으로 적용되는 반면, 델타 값(245) 및 즉시 값(244)의 합은 제2 크로마 성분(256)의 크로마 QP 오프셋 값으로서 사용된다. 몇몇 실시예들은, 비트들이 거의 없는 비트스트림으로 쉽게(cheaply) 인코딩될 수 있는 2 개의 크로마 성분들이 그들의 관계들에서 소량의 오프셋만큼 루마 성분과 다를 시에 이러한 방법을 선택한다. 이러한 방법은 제1 크로마 QP 오프셋과 관련하여 제2 크로마 QP 오프셋(성분 [1]에 대한 것)을 인코딩한다. 즉, 제2 크로마 QP 오프셋은 이제 제1 크로마 QP 오프셋(성분 [0]에 대한 것)으로부터 예측된다. 몇몇 실시예들에서, 제1 크로마 성분에 대한 크로마 QP 값은 다음과 같이 계산된다:
QPchroma[0] = QPluma + QPoffset_pps[0] + QPoffset_quant_group[0]. (3)
제2 크로마 성분에 대한 크로마 QP 값은 다음과 같이 계산된다:
QPchroma[1] = QPluma + QPoffset_pps[1] + QPoffset_quant_group[0] + QPoffset_quant_group[1]. (4)
(제1 크로마 성분에 대해 i = 0; 제2 크로마 성분에 대해 i = 1)
언급된 바와 같이, 몇몇 실시예들은 최종 크로마 QP 값을 도출하기 위해 비디오 코딩 계층의 다수의 서로 다른 층들로부터의 크로마 QP 오프셋 값들을 사용한다. PPS 및 슬라이스 헤더 둘 다로부터의 크로마 QP 오프셋 값들을 사용하는 몇몇 실시예들에 대해, 제1 크로마 성분에 대한 크로마 QP 값은 다음과 같이 계산된다:
QPchroma[0] = QPluma + QPoffset_pps[0] + QPoffset_slice[0] + QPoffset_quant_group[0]. (5)
제2 크로마 성분에 대한 크로마 QP 값은 다음과 같이 계산된다:
QPchroma[1] = QPluma + QPoffset_pps[1] + QPoffset_slice[1] + QPoffset_quant_group[0] + QPoffset_quant_group[1]. (6)
언급된 바와 같이, 몇몇 실시예들에서, 루마 및/또는 크로마 양자화 그룹의 정의는 픽처 레벨에 있는 파라미터들에 의해 명시된다. 도 3은 크로마 양자화 그룹의 정의를 명시하는 예시의 픽처 헤더 또는 PPS(300)를 예시한다. 예시의 픽처 헤더(300)는 비디오 코딩 구조체(100)의 픽처(102)와 연관된다. 픽처 헤더(300)는 추가 크로마 QP 오프셋들을 수용하기 위해(즉, 크로마 QP 값들의 적응) H.265 표준으로부터 수정된 의사 코드에 의해 기술된다. 몇몇 실시예들에서, 비디오 표준(그 예로서 H.265 표준 또는 수정된 표준)에 대한 의사 코드는, 비디오 표준에 응한 비트스트림을 프로세싱할 시에 비디오 디코더에 요구되는 동작들을 기술한다. 의사 코드는 또한, 비디오 표준에 응한 비트스트림을 발생시킬 시에 비디오 인코더에 요구되는 동작들을 기술한다.
예시적인 목적들을 위해서, 픽처 헤더(300)의 의사 코드는 흑색 라인들(311 내지 313)로 도 3에 도시된다. 라인들(311 내지 313)은 추가 크로마 QP 오프셋 값들을 허용하고, 픽처(102)에서 크로마 QP 오프셋들에 대한 크로마 양자화 그룹들을 정의한다. 특히, 라인(311)에서 파라미터 "additional_chroma_qp_offset"은 비트스트림에는 추가 크로마 QP 오프셋 사양이 있을 수 있다는 것을 디코더에게 알려준다. 이러한 변수가 특정 픽처에 대해 설정되지 않을 시에, 비트스트림은 비트들이 소모되는 것을 방지하기 위해 픽처에 대해 추가 크로마 QP 오프셋을 명시하는 비트들을 포함하지 않을 수 있다.
라인(313)에서 파라미터 "chroma_qp_offset_max_depth"는 크로마 QG의 레벨(이로써, 크기 또는 계층에 따른 깊이)을 정의한다. 이러한 파라미터는 전체 코딩 트리 단위(CTU)의 크기와 같거나 비트스트림에서 가능한 최소 코딩 단위의 크기로 작아지도록 설정될 수 있다. 몇몇 실시예들은 추가 크로마 QP 오프셋들의 사양 및 시그널링이 임의의 바람직한 레벨에서(예컨대, CTU 레벨, 크로마 정의 양자화 그룹 레벨, 코딩 단위 레벨, 변환 단위 레벨, 기타 등등에서) 일어나는 것을 허용한다.
몇몇 실시예들에서, 특히, 크로마 QP 오프셋들에 대해 양자화 그룹들을 정의하는 대신에, 비트스트림은, 루마 QP들에 대해 양자화 그룹들 역시 정의하는 파라미터 "diff_cu_qp_delta_depth"를 사용한다. 몇몇 실시예들에서, 양자화 그룹을 정의하는 파라미터가 이용가능하지 않는 경우, 전체 픽처에는 루마에 대해 동일한 QP가 할당되고, 루마에 대한 어떠한 QP 적응들도 허락되지 않는다.
도 4는 양자화 그룹에 있을 수 있는 예시의 코딩 트리 단위(400)를 예시한다. 코딩 트리 단위(400)는 추가 크로마 QP 오프셋들을 수용하기 위해 H.265 의사 코드로부터 수정된 의사 코드에 의해 기술된다. 코딩 트리 단위(400)는 픽처(102)의 슬라이스(112)에 있는 양자화 그룹(122)에 있다.
코딩 트리 단위(400)에 대한 의사 코드는, 코딩 트리 단위가 QG의 부분인지를 결정하기 위해 추가된 흑색 라인들(411 내지 413)로 예시된다. 특히, 라인(411)에서, (예컨대, 픽처 헤더(300)로부터의) 파라미터 "additional_chroma_qp_offset"은 추가 크로마 정보가 허용되는지를 나타내기 위해 사용된다. 파라미터 "chroma_qp_offset_max_depth"는 코딩 트리 단위(400)가 양자화 그룹(그 예로서 양자화 그룹(122))에 있는지를 결정하기 위해 변수 "log2CbSize"와 비교된다. 그러한 경우, 의사 코드는 라인(412)에서 변수 "IsCrCuQpOffsetCoded"를 0으로 설정한다. 몇몇 실시예들에 대해서, 이는 또한 크로마 양자화 그룹의 시작 점을 초기화한다.
도 5는 QG(122) 내의 추가 크로마 QP 오프셋들의 사양을 예시한다. 도 3 및 도 4을 참조하여 상기에서 논의된 바와 같이, QG(122)는 코딩 트리 단위(400)를 포함하기 위해 픽처 헤더(300)에 의해 정의되었다. 추가 크로마 QP 오프셋들은 코딩 트리 단위(400)의 변환 단위(500) 내에 명시된다. 변환 단위(500)는 추가 크로마 QP 오프셋들을 수용하기 위해 H.265 의사 코드로부터 수정된 의사 코드에 의해 기술된다.
변환 단위(500)에 대한 의사 코드는 추가 크로마 QP 오프셋들을 명시하기 위해 추가된 흑색 라인들(511 내지 519)로 예시된다. 특히, 라인(511)에서, 파라미터 "additional_chroma_qp_offset"은 추가 크로마 정보가 허용되는지를 나타내기 위해 사용된다. 변수 "IsCrCuQpOffsetCoded"는 변환 단위(500)에서 크로마 QP 오프셋 정보를 명시하는 것(또는 수신하는 것)이 필요한지를 나타내기 위해 사용된다. QG(122)에 대한 크로마 QP 오프셋 값들이 이미 코딩된 경우, 크로마 QP 오프셋 값들을 다시 명시할 필요는 없다.
QG(122)가 이미 코딩된 한 세트의 크로마 QP 오프셋 값들을 가지지 않은 경우(즉, 변수 "IsCrCuQpOffsetCoded"이 0인 경우), 라인들(512 내지 517)에서 변환 단위(500)는 2 개의 크로마 성분들에 대한 크로마 QP 오프셋 값들을 명시한다. 이러한 인스턴스에서, 변환 단위는 2 개의 독립적인 사인 값들(signed values)로서 한 세트의 크로마 QP 오프셋들을 명시하고, 이때 각각의 사인 값은 크기(magnitude)("cu_chroma_cmp0_qp_offset_abs" 또는 "cu_chroma_cmp1_qp_offset_abs") 및 사인 플래그(sign flag) ("cu_chroma_cmp0_qp_delta_sign_flag" 및 "cu_chroma_cmp0_qp_delta_sign_flag")를 사용하여 시그널링된다. 의사 코드는 그 후에 변수 "IsCrCuQpOffsetCoded"를 1로 설정하여, 이러한 양자화 그룹의 크로마 QP 오프셋 값들이 이미 명시되었다는 것을 나타낸다.
도 2a 및 2b를 참조하여 앞서 언급된 바와 같이, 서로 다른 실시예들에서 양자화 그룹들은 2 개의 크로마 성분들에 대한 크로마 QP 오프셋 값들을 서로 다르게 명시한다. 도 6은 2 개의 크로마 성분들에 대한 크로마 QP 오프셋 값들을 명시하는 서로 다른 방법을 사용하여 QG(122) 내의 추가 크로마 QP 오프셋들의 사양을 예시한다. 도 6은 변환 단위(500)에 대한 것과 유사한 의사 코드에 의해 기술된 변환 단위(600)를 예시하고, 단지 차이점으로는 라인들(611 내지 616)이 양쪽 크로마 성분들에 대해 하나의 크로마 QP 오프셋 값(magnitude + sign)만을 명시하고 있다는 점이다. 몇몇 실시예들에서, 양쪽 크로마 성분들에 대해 하나의 크로마 QP 오프셋 값을 명시함은 대개의 경우들에서 2 개의 색상 성분들의 가치가 변화될 수 없기 때문에 충분하다. 1 개 또는 2 개의 그러한 파라미터들의 시그널링은 미리 정해질 수 있거나(prefixed), 또는 서로 다른 보다 높은 구문 레벨 위치들 그 예로서 SPS, PPS, 또는 슬라이스 헤더에서 시그널링될 수 있다.
몇몇 실시예들에 대해서, 도 7은 추가 크로마 QP 오프셋 사양들을 허용하는 비디오 비트스트림으로부터 크로마 QP 값들을 결정하는 프로세스(700)를 개념적으로 예시한다. 몇몇 실시예들에서, 디스플레이를 위해 비디오 비트스트림을 디코딩할 시에, 크로마 성분들의 역-양자화를 수행하는 이러한 프로세스를 사용한 프로세스(700)는 비디오 디코더에 의해 수행된다. 몇몇 실시예들에서, 디코더가 비디오 비트스트림을 수신하여 디스플레이 또는 다른 목적들을 위해 특정 비디오 픽처를 디코딩하기 시작할 시에, 프로세스는 시작한다.
705에서, 프로세스(700)는 특정 비디오 픽처의 픽처 헤더 또는 PPS 내의 파라미터들을 프로세싱한다. 도 3을 참조하여 상기에서 논의된 바와 같이, 몇몇 실시예들에서, 비디오 픽처의 픽처 헤더 또는 PPS는 추가 크로마 QP 오프셋들이 비디오 픽처에 대해 허용되는지를 결정하기 위해 플래그들(예컨대, "additional_chroma_qp_offset")을 포함한다. 픽처 헤더 또는 PPS는 또한, 추가 크로마 QP 오프셋들에 대해 크로마 양자화 그룹들이 (예컨대, 변수 "chroma_qp_offset_max_depth"를 설정함으로써) 정의될 비디오 계층의 층을 식별한다.
그 다음으로, 프로세스는 보다 높은 레벨 크로마 QP 오프셋 값들을 (710에서) 식별한다. 몇몇 실시예들에서, 이러한 보다 높은 레벨 크로마 QP 오프셋 값들은 픽처 헤더로(또는 PPS의 일부로서) 인코딩된 픽처 레벨 오프셋들이다. 몇몇 실시예들에서, 이러한 보다 높은 레벨 크로마 QP 오프셋 값들은 슬라이스 헤더로 인코딩된 슬라이스 레벨 오프셋들이다. 몇몇 실시예들은 픽처 레벨 및 슬라이스 레벨 둘 다를 포함하여, 다수의 보다 높은 레벨 크로마 QP 오프셋 값들을 식별한다.
프로세스는 그 후에 추가 크로마 QP 오프셋들이 이러한 특정 비디오 픽처 및/또는 슬라이스에 대해 허용되거나 이용가능한지를 (720에서) 결정한다. 추가 크로마 QP 오프셋들이 이용가능하지 않는 경우, 프로세스는 750으로 진행한다. 추가 크로마 QP 오프셋들이 이용가능한 경우, 프로세스는 730으로 진행한다.
730에서, 프로세스는 그가 크로마 양자화 그룹의 시작에 이르렀는지를 결정한다. 몇몇 실시예들에서, 프로세스는 그가 크로마 양자화 그룹으로서 식별되었던 비디오 계층의 레벨에 있는지를 검토한다. 프로세스가 크로마 양자화 그룹의 시작에 있지 않은(예컨대, 크로마 양자화 그룹 내부에 이미 있는) 경우, 프로세스는 750으로 진행한다. 프로세스가 크로마 양자화 그룹의 시작에 있는 경우, 프로세스는 740으로 진행한다. 동작들(720 및 730)의 예시들은 상기의 도 4를 참조하여 논의된다.
740에서, 프로세스는 크로마 양자화 그룹에 대한 크로마 QP 오프셋 값들을 식별한다. 몇몇 실시예들에서, 크로마 QP 오프셋들은 도 5 및 6을 참조하여 상기에서 논의된 바와 같이, 크로마 양자화 그룹들 내에서 명백하게 인코딩된다.
프로세스는 그 후에 크로마 양자화 그룹에 대한 루마 QP 값(들)을 (750에서) 식별한다. 언급된 바와 같이, 몇몇 실시예들에서, 루마 QP 값들은 크로마 양자화 그룹들과 동일할 수 있거나 동일하지 않을 수 있는 루마 양자화 그룹들에 따라 설정된다. 시그널링에 의존하여, 크로마 양자화 그룹들보다 많거나 적은 루마 양자화 그룹들이 있을 수 있다. 몇몇 실시예들에서, 루마 양자화 그룹은 다수의 크로마 양자화 그룹들을 포함할 수 있거나 그 반대로 될 수 있다. 몇몇 실시예들에서, 크로마 양자화 그룹들 및 루마 양자화 그룹들은 서로 겹쳐질 수 있다. 결과적으로, 동일한 크로마 양자화 그룹 내의 서로 다른 코딩 단위들은 루마 양자화 그룹들에 기반하여 서로 다른 루마 QP 값들을 가질 수 있다.
그 다음으로, 프로세스는 크로마 QP 값들을 (760에서) 계산한다. 디코더에 대해서, 몇몇 실시예들은 식별된 루마 QP 값들로부터 그리고 각각 식별된 크로마 QP 오프셋으로부터 크로마 QP 값을 계산한다. 몇몇 실시예들에서, 이는 상기의 식(1) 내지 식(6)에서 예시된 바와 같이, (슬라이스/픽처 레벨로부터 그리고 QG 레벨로부터) 식별된 크로마 QP 오프셋들 모두와 함께 루마 QP 값을 추가시킴으로써 달성된다.
프로세스는 그 후에 그가 픽처의 종료에 이르렀는지(보다 높은 레벨 크로마 QP 오프셋이 전체 픽처를 위한 것인 경우) 또는 그가 슬라이스의 종료에 이르렀는지(보다 높은 레벨 크로마 QP 오프셋이 슬라이스를 위한 것인 경우)를 (770에서) 결정한다. 그러한 경우, 프로세스(700)는 종료된다. 그러하지 않는 경우, 프로세스(700)는 그 다음의 양자화 그룹을 프로세싱하기 위해 730으로 되돌아간다.
도 1 내지 도 6을 참조하여 상기에서 도시된 바와 같이, 크로마 QP 값들은 루마 QP 값들로부터의 오프셋들을 사용함으로써 예측적으로 코딩된다. 더욱이, 몇몇 실시예들에서, 오프셋 값들 그들 자체는 서로 오프셋됨으로써 예측적으로 인코딩되고, 그 예로서 QG 레벨 오프셋들은 슬라이스 및/또는 픽처 레벨 오프셋들로부터의 오프셋들이고, 그리고/또는 하나의 크로마 성분의 오프셋 값들은 또 다른 크로마 성분으로부터의 오프셋들로서 인코딩된다. 몇몇 실시예들에서, 크로마 QP 오프셋들은 이웃 코딩 단위들 또는 블록들의 크로마 값들 또는 오프셋들로부터, 또는 이웃 비디오 픽처 내의 배열된(collocated) 코딩 단위 또는 블록의 크로마 값들 또는 오프셋들로부터 더 예측되되, 그들이 현재 크로마 양자화 그룹의 코딩 단위들 또는 블록들과 가장 가능성 있게 충분히 유사할 시에 그러하다. 몇몇 실시예들은 양자화 그룹들 중 적어도 몇몇에 대해 예측을 수행하지 않는다. 이러한 인스턴스들에서, 크로마 QP 값들은 명백하게 인코딩되고(오프셋들로서 아님), 그 결과 루마 성분의 QP 파라미터들은 (루마로부터 오프셋될 필요가 없기 때문에) 무시된다.
몇몇 실시예들은, 이웃 양자화 그룹으로부터의 한 세트의 크로마 QP 오프셋 값들이 현재 양자화 그룹에 대해 사용될 것임을 나타내기 위해 플래그를 사용한다. 몇몇 실시예들에서, 이러한 이웃 양자화 그룹은 현재 양자화 그룹의 좌측에서 또는 상부에서 공간적으로 위치된다. 예를 들어, 몇몇 실시예들은 이웃 양자화 그룹의 크로마 QP 오프셋 값들이 사용될 것인지를 나타내기 위해 플래그 "cu_qp_update_signal"을 사용한다. 몇몇 실시예들에서, 플래그 "cu_qp_update_signal"은 도 6의 라인(612)에 있는 "cu_chroma_qp_offset_abs" 파라미터 앞에서 시그널링된다.
플래그가 '1'인 경우, 현재 양자화 그룹은 그 자신의 크로마 QP 오프셋 값들을 명시하기 위해 업데이트를 제공할 것이다. 플래그가 '0'인 경우, 현재 양자화 그룹은 그 세트의 크로마 QP 오프셋 값들을 업데이트하지 않을 것이지만, 그러나 오히려 최후에 명시된 세트의 크로마 QP 오프셋 값들로부터(예컨대, 좌측에 있는 이웃 양자화 그룹으로부터) 또는 또 다른 이전에 명시된 크로마 QP 오프셋 값들로부터(예컨대, 상부에 있는 이웃 양자화 그룹, 또는 또 다른 이웃 양자화 그룹으로부터) 그의 크로마 QP 오프셋 값들을 이어받을 것이다. 이웃 크로마 QP 오프셋 값들이 이용가능하지 않은 경우, 몇몇 실시예들은 PPS 및/또는 슬라이스 헤더로부터 디폴트 QP 오프셋 값들을 사용한다.
몇몇 실시예들에서, 플래그 "cu_qp_update_signal"은 크로마 QP 오프셋 값들을 명시하기 위해 서로 다른 옵션들을 다루는 추가 가능한 값들을 취급할 수 있다. 예를 들어, 몇몇 실시예들에서, 플래그가 '0'인 경우, 좌측 이웃 양자화 그룹으로부터의 크로마 QP 오프셋 값들이 사용되고; 플래그가 '1'인 경우, 상부 이웃 양자화 그룹으로부터의 크로마 QP 오프셋 값들이 사용되며; 그리고 플래그가 '2'인 경우, 현재 양자화 그룹은 새로운 세트의 크로마 QP 오프셋 값들을 명백하게 명시할 것이다. 그렇지 않으면, 현재 양자화 그룹은 PPS 및/또는 슬라이스 헤더로부터의 디폴트 QP 오프셋 값들을 사용할 것이다. 몇몇 실시예들에서, 현재 양자화 그룹에 의해 이어 받은 크로마 QP 오프셋 값들은 이웃 양자화 그룹들 중 적어도 2 개(예컨대, 좌측 및 상부)의 크로마 QP 오프셋 값들의 평균에 기반한다.
오버헤드를 더 감소시키기 위해, 몇몇 실시예들은, 이러한 추가 크로마 QP 오프셋들이 작은 범위의 값들 내에, 즉 값 -x 내지 x로부터 단지 있을 수 있는 것을 명시한다. 그렇게 함은 엔트로피 코딩 프로세스를 변화시키는데, 이는 그가 시그널링될 정보의 기대 통계치들을 변화시키기 때문이다(즉 CABAC(Context Adaptive Binary Arithmetic) 코딩에 대해, 또는 "max-limited" 범용 가변 길이 코딩 기법을 사용하는 경우). 몇몇 실시예들에서, x의 값(즉, 범위)은 전체 시퀀스에 대해 미리 정해지거나; 또는 보다 높은 구문 레벨 그 예로서 PPS, SPS, 또는 슬라이스 헤더에서 시그널링된다. 이러한 실시예들 중 몇몇은 x를 직접적으로 명시하거나, x가 제곱에 대응하는 경우에 값 log2(x)를 명시함으로써, 이를 달성한다. 몇몇 실시예들은 크기, 즉 abs(x) 및 x의 사인을 분리시킴으로써 x를 명시한다. CABAC에서, abs(x)의 값은 이진화 프로세스에 필요한 cMax 파라미터에 대응한다.
b. 테이블에 추가 크로마 QP 오프셋들을 명시하는 것
오버헤드 또는 비트 사용을 더 감소시키기 위해서, 몇몇 실시예들은 보다 높은 레벨 구문에 있는, 예컨대 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS) 내의 또는 현재 슬라이스 헤더 내의 각각의 성분의 모든 가능한 오프셋 값들, 또는 양쪽 성분들의 조합 값들을 명시한다. 이러한 실시예들 중 몇몇에서, 보다 높은 레벨 헤더(SPS/PPS/슬라이스 헤더)는 서로 다른 가능한 오프셋 값들을 테이블의 형태로 열거하고, 테이블 내의 각각의 엔트리에는 인덱스가 할당된다. 그 후에, 코딩 단위/양자화 그룹 레벨에서, 몇몇 실시예들은 원하는 양자화 오프셋 값들의 인덱스 또는 인덱스들만을 명시한다. 그러한 오프셋들은 PPS 또는 슬라이스 헤더에 명시된 오프셋 값들과는 상관 없을 수 있거나, 또는 정반대로 PPS 또는 슬라이스 헤더에 명시된 오프셋 값들에 추가될 수 있다. 비트스트림 크기를 감소시키기 위해, 몇몇 실시예들은 테이블 내의 엔트리들의 수를 최대 값으로 되게 한다.
도 8은 보다 높은 레벨 헤더에 있는 인코딩된 가능한 크로마 QP 오프셋 값들의 테이블(890)을 포함한, 계층에 따른 비디오 코딩 구조체(800)를 예시한다. 비디오 코딩 구조체의 보다 낮은 레벨에 있는 크로마 QG는 그 후에 크로마 QP 값들을 계산하기 위해 테이블(890)로부터 가능한 크로마 QP 오프셋 값들 중 하나를 선택하기 위한 인덱스를 사용한다. 비디오 코딩 구조체(800)는 비디오 코딩 구조체(100)와 유사하다. 비디오 코딩 구조체(800)는 여러 개의 픽처들(801 내지 803)을 포함한다. 이러한 것들 중에서, 픽처(802)는 여러 개의 슬라이스들(811 내지 812)을 포함한다. 슬라이스(811)는 여러 개의 크로마 QG들(821 내지 823)을 포함한다. 픽처(802)는, 픽처(802)에 의해 망라된 모든 크로마 QG들에 적용가능한 한 세트의 크로마 QP 오프셋 사양들을 포함하는 픽처 파라미터 세트(PPS)(831)를 가진다. 도 1, 나아가 식(1) 및 식(2)를 참조하여 상기에서 언급된 바와 같이, 몇몇 실시예들은 또한 슬라이스 레벨 크로마 QP 오프셋(예시되지 않음)을 명시하며, 그리고 크로마 QP 값들의 적응이 비디오 코딩 계층의 다수의 레벨들로부터의 크로마 QP 오프셋 파라미터들에 기반한 것을 명시한다. 그들 자신의 세트의 크로마 QP 오프셋 값들을 명시하는 도 1의 크로마 QG들(121 내지 123)과는 달리, 크로마 QG들(821 내지 823) 각각은 테이블(890)로부터 한 세트의 크로마 QP 오프셋 값들을 선택한다.
테이블(890)은 다수의 엔트리들을 포함한 어레이이다. 각각의 엔트리는 픽처 내의 양자화 그룹들 중 어느 것에 의해 선택될 수 있는 한 세트의 크로마 QP 오프셋들을 포함한다. 이러한 예시에서, 테이블(890)은 크로마 QP 오프셋 세트들(A, B, C, D, 및 E) 각자에 대응하는 엔트리들(891 내지 895)을 포함한다. 몇몇 실시예들에서, 엔트리들 각각은 많은 양자화 그룹들에 의해 또는 상기 양자화 그룹들이 전혀 없이 선택될 수 있다. 도 8의 예시에서, QG들(822 및 823) 둘 다는 크로마 QP 오프셋 세트 A(891)를 선택하는 반면, QG(821)는 크로마 QP 오프셋 세트 C(893)를 선택한다. 몇몇 실시예들에서, 인코더는 어느 크로마 QP 오프셋 세트들을 포함할지, 그리고 비트레이트를 최소화시키기 위해 얼마나 많은 크로마 QP 오프셋 세트들이 테이블에 포함할지를 결정한다.
한 세트의 크로마 QP 오프셋 값들이 테이블(890)로부터 식별되었다면, 크로마 양자화 파라미터들의 계산은 도 1의 것과 유사하다. 도 8의 예시에서, (크로마 QG(821)와 겹쳐지게 되는 4 개의 루마 QG들로부터의) 루마 QP 값들(851)은 크로마 QG(821)에 적용가능하고, (동일한 루마 QG로부터의) 루마 QP 값(852)은 크로마 QG(822)에 적용가능하며, 그리고 (크로마 QG(823)와 겹쳐지게 되는 2 개의 루마 QG들로부터의) 루마 QP 값들(853)은 QG(823)에 적용가능하다. 루마 QP 값들(851), (픽처(802)에 대한 그리고/또는 슬라이스(811)에 대한) 크로마 QP 오프셋(831), 및 (QG(821)에 대한 테이블 엔트리(893)로부터 회수된) 크로마 QP 오프셋 C를 추가함은 QG(821)에 대한 크로마 QP 값들(861)을 만들어 낸다. 루마 QP 값들(852), 크로마 QP 오프셋(831), 및 (테이블 엔트리(891)로부터 회수된) 크로마 QP 오프셋 A를 추가함은 QG(822)에 대한 크로마 QP 값들(862)을 만들어 낸다. 루마 QP 값들(853), 크로마 QP 오프셋(831), 및 (테이블 엔트리(891)로부터 회수된) 크로마 QP 오프셋 A를 추가함은 QG(823)에 대한 크로마 QP 값들(863)을 만들어 낸다.
몇몇 실시예들에서, 크로마 QP 오프셋들의 테이블은 인코딩된 비디오 픽처의 헤더 구역 내에서 인코딩된다. 도 9는 테이블(890)을 인코딩하는 예시의 픽처 헤더 또는 PPS(900)을 예시한다. 픽처 헤더(900)는 추가 크로마 QP 오프셋들을 수용하기 위해 H.265 표준으로부터 수정된 의사 코드에 의해 기술된다.
픽처 헤더(900)에 대한 의사 코드는, 크로마 QP 오프셋들에 대한 양자화 그룹들을 정의하고 나아가 테이블(890)을 인코딩하기 위해 추가된 흑색 라인들(911 내지 917)로 도시된다. 특히, 라인(911)에서 파라미터 "additional_chroma_qp_offset"은 픽처(802)에 대한 추가 크로마 QP 오프셋 사양들이 있을 수 있는 것을 디코더에게 알려주고, 라인(913)에서 파라미터 "chroma_qp_offset_max_depth"는 픽처(802) 내의 QG들에 대한 레벨(이로써, 크기 또는 계층에 따른 깊이)을 정의한다. 의사 코드의 라인들(914 내지 916)은 그 후에 테이블(890)의 각각의 엔트리(891 내지 895)에 대한 한 세트의 크로마 QP 오프셋 값들을 정의한다. 예시된 바와 같이, 테이블의 각각의 엔트리에는 제1 성분("chroma_cmp0_qp_offset[k]")에 대한 크로마 QP 오프셋 값 및 제2 성분("chroma_cmp1_qp_offset[k]")에 대한 크로마 QP 오프셋 값이 할당된다.
크로마 QP 오프셋 테이블의 각각의 엔트리에 대해 2 개의 크로마 성분들이 상관관계가 있을 가능성이 있기 때문에, 몇몇 실시예들은 하나의 크로마 성분의 크로마 QP 오프셋 값을 사용하여 다른 크로마 성분의 크로마 QP 오프셋 값을 예측한다. 다시 말하면, 테이블 내의 k-번째 엔트리에 대하여, chroma_cmp0_qp_offset[k]가 제1 크로마 성분의 오프셋 값을 나타내고, chroma_cmp1_qp_offset[k]가 제2 크로마 성분의 오프셋 값을 나타내는 경우, k-번째 엔트리의 제2 크로마 성분에 대한 크로마 QP 오프셋은 다음과 같이 계산된다:
chroma_cmp1_qp_offset[k] = chroma_cmp0_qp_offset[k] +delta_chroma_cmp1_qp_offset[k] (7)
즉, 전체 오프셋 파라미터, 즉 chroma_cmp1_qp_offset[k]를 전송하는 대신에, 몇몇 실시예들은 제2 크로마 QP 오프셋 chroma_cmp1_qp_offset[k]에 대한 오프셋을 계산하기 위해 델타 파라미터, 즉 delta_chroma_cmp1_qp_offset[k]를 전송한다. 도 10은 식(7)에 따라서, 크로마 QP 오프셋 테이블(890)의 각각의 엔트리(891 내지 895)를 (라인들(1015 및 1016)에서) chroma_cmp0_qp_offset[k] 및 delta_chroma_cmp1_qp_offset[k]으로서 인코딩하는 픽처 헤더(1000)를 예시한다.
비트 사용을 감소시키기 위해 크로마 QP 오프셋 테이블을 예측적으로 인코딩하는 다른 가능한 방법들이 있다. 예를 들어, 몇몇 실시예들에서, 크로마 QP 오프셋 테이블 엔트리들은 서로에 대해 예측적으로 코딩되고, 그 결과 하나를 제외한 엔트리들 모두는 다른 엔트리들로부터 예측된다. 한 예시는 테이블 내의 이전의 엔트리로부터 예측된 델타 값으로서 제1 엔트리 이후에 테이블 내의 각각의 연속적인 엔트리를 인코딩하기 위함이다. 몇몇 실시예들에서, 제1 엔트리는 명백한 QP이다. 몇몇 실시예들에서, 제1 엔트리 그 자체는 오프셋이고, 그러므로 그 자체는 또한 델타이다.
도 11은 픽처 헤더 내의 테이블로부터의 크로마 QP 오프셋 값들을 사용한 양자화 그룹에 있을 수 있는 예시의 코딩 트리 단위(1100)를 예시한다. 코딩 트리 단위(1100)는 추가 크로마 QP 오프셋들을 수용하기 위해 H.265 의사 코드로부터 수정된 의사 코드에 의해 기술된다. 코딩 트리 단위(1100)는 슬라이스(811)의 양자화 그룹(821)에 있다. 슬라이스(811)는 헤더 또는 PPS가 테이블(890)을 포함하는 픽처(802)에 있다. 코딩 트리 단위(1100)에 대한 의사 코드는 도 4의 코딩 트리 단위(400)에 대한 의사 코드와 동일한데, 이는 몇몇 실시예들에서, 크로마 QP 오프셋 값들을 명백하게 내장한 양자화 그룹 내의 코딩 트리 단위와, 테이블로부터 한 세트의 크로마 QP 오프셋 값들을 사용하는 양자화 그룹 내의 코딩 트리 단위 사이에 어떠한 차이점도 없기 때문이다.
코딩 트리 단위(1100)에 대한 의사 코드는, 코딩 트리 단위가 QG의 부분인지를 결정하기 위해 추가된 흑색 라인들(1111 내지 1113)로 예시된다. 특히, 라인(1111)에서, 파라미터 "additional_chroma_qp_offset"은 추가 크로마 정보가 허용되는지를 나타내기 위해 사용된다. 파라미터 "chroma_qp_offset_max_depth"는 코딩 트리 단위(1100)가 크로마 양자화 그룹에 있는지를 결정하기 위해 변수 "log2CbSize"와 비교된다. 몇몇 실시예들에 대해서, 이는 또한 크로마 양자화 그룹의 시작 점을 초기화한다.
도 12는 크로마 QP 오프셋 값들의 테이블 내의 엔트리를 선택하기 위한 인덱스를 사용하는 양자화 그룹을 예시한다. 상기에서 논의된 바와 같이, 양자화 그룹(821)은 코딩 트리 단위(1100)를 포함하고, 상기 코딩 트리 단위는 그 다음으로 변환 단위(1200)를 포함한다. 변환 단위(1200)는 추가 크로마 QP 오프셋들을 수용하기 위해 H.265 의사 코드로부터 수정된 의사 코드에 의해 도 12에 기술된다.
변환 단위(1200)에 대한 의사 코드는 추가 크로마 QP 오프셋들을 명시하기 위하여 추가된 흑색 라인들(1211 내지 1214)로 예시된다. 특히, 라인(1211)에서, 파라미터 "additional_chroma_qp_offset"은 추가 크로마 정보가 허용되는지를 나타내기 위해 사용된다. 변수 "IsCrCuQpOffsetCoded"는 변환 단위(1200)에서 크로마 QP 오프셋 정보를 명시하는 것(또는 수신하는 것)이 필요한지를 나타내기 위해 사용된다. QG(821)에 대한 크로마 QP 오프셋 값들이 이미 코딩된 경우, 크로마 QP 오프셋 값들을 다시 명시할 필요는 없다. QG(821)이 이미 코딩된 한 세트의 크로마 QP 오프셋 값들을 가지지 않은 경우(즉, 변수 "IsCrCuQpOffsetCoded"가 0인 경우), 라인들(1212)에서 변환 단위(1200)는 테이블(890)로부터 엔트리를 선택하기 위한 인덱스 "cu_chroma_qp_offset_table_index"를 명시한다. 이러한 예시에 대해서, 인덱스 값은 테이블(890)의 엔트리 C(893)에 포함된 크로마 QP 오프셋 값들을 선택하기 위해 설정된다.
몇몇 실시예들에 대해서, 도 13은 추가 크로마 QP 오프셋 사양들을 구현하기 위해 가능한 크로마 QP 오프셋 값들의 테이블을 사용하는 비디오 비트스트림으로부터 크로마 QP 값들을 결정하는 프로세스(1300)를 개념적으로 예시한다. 몇몇 실시예들에서, 디스플레이 또는 다른 목적들을 위해 비디오 비트스트림을 디코딩할 시에, 크로마 성분들의 역-양자화를 수행하는 이러한 프로세스를 사용한 프로세스(1300)는 비디오 디코더에 의해 수행된다. 몇몇 실시예들에서, 디코더가 비디오 비트스트림을 수신하여 몇몇 실시예들에서 특정 비디오 픽처를 디코딩하기 시작할 시에, 프로세스(1300)는 시작한다.
1305에서, 프로세스(1300)는 특정 비디오 픽처의 픽처 헤더 또는 PPS 내의 파라미터들을 프로세싱한다. 몇몇 실시예들에서, 픽처 헤더는 추가 크로마 QP 오프셋들이 비디오 픽처에 대해 허용되는지를 결정하기 위해 플래그들을 포함한다. 픽처 헤더는 또한, 추가 크로마 QP 오프셋들에 대해 양자화 그룹들이 정의될 비디오 계층의 층을 식별하는 파라미터들을 포함한다.
그 다음으로, 프로세스는 보다 높은 레벨 크로마 QP 오프셋 값들을 (1310에서) 식별한다. 몇몇 실시예들에서, 이러한 보다 높은 레벨 크로마 QP 오프셋 값들은 픽처 헤더로(또는 PPS의 일부로서) 인코딩된 픽처 레벨 오프셋들이다. 몇몇 실시예들에서, 이러한 보다 높은 레벨 크로마 QP 오프셋 값들은 슬라이스 헤더로 인코딩된 슬라이스 레벨 오프셋들이다. 몇몇 실시예들은 픽처 레벨 및 슬라이스 레벨 둘 다를 포함하여, 다수의 보다 높은 레벨 크로마 QP 오프셋 값들을 식별한다.
프로세스는 그 후에 추가 크로마 QP 오프셋들이 이러한 특정 비디오 픽처 또는 슬라이스에 대해 허용되거나 이용가능한지를 (1320에서) 결정한다. 추가 크로마 QP 오프셋들이 이용가능하지 않는 경우, 프로세스는 1350으로 진행한다. 추가 크로마 QP 오프셋들이 이용가능한 경우, 프로세스는 비트스트림으로부터 크로마 QP 오프셋 테이블 엔트리들을 수신하기 위해 1325로 진행한다.
그 다음으로, 프로세스는 그가 양자화 그룹의 시작에 이르렀는지를 (1330에서) 결정한다. 몇몇 실시예들에서, 프로세스는 그가 양자화 그룹으로서 식별되었던 비디오 계층의 레벨에 있는지를 검토한다. 프로세스가 양자화 그룹의 시작에 있지 않은(예컨대, QG 내부에 이미 있는) 경우, 프로세스는 1350으로 진행한다. 프로세스가 양자화 그룹의 시작에 있는 경우, 프로세스는 1335로 진행한다.
1335에서, 프로세스는 인코딩할 임의의 잔여 크로마 계수들이 있는지를 결정한다. 몇몇 실시예들에서, 어떠한 잔여 크로마 계수들도 있지 않다면, 오프셋들(또는 그들의 연관된 인덱스들)은 결코 시그널링되지 않는다. 시그널링은, 크로마 블록에 대한 제1 비-제로 변환 계수가 마주치게 될 시에 시작하고, 크로마 QP 오프셋들은 크로마 양자화 그룹이 종료될 때까지 그 지점으로부터 순방향으로 활성화된다. 크로마 QP 오프셋들은, 크로마 블록의 제1 비-제로 변환 계수가 마주치게 될때까지 0이다(이로써, 어떠한 크로마 계수들도 가지지 않은 영역은 어떠한 크로마 QP 오프셋들 시그널링도 가질 수 없음). 인코딩할 잔여 크로마 계수가 있는 경우, 프로세스는 1340으로 진행한다. 그렇지 않으면, 프로세스는 1350으로 진행한다.
1340에서, 프로세스는 양자화 그룹에 대한 한 세트의 크로마 QP 오프셋 값들을 포함할 시에 크로마 QP 오프셋 테이블 내의 엔트리들 중 하나를 선택한다. 몇몇 실시예들에서, 이러한 동작은 비트스트림으로부터 인덱스를 수신하는 것, 및 크로마 QP 오프셋 테이블로부터 엔트리를 선택하기 위해 수신된 인덱스를 사용하는 것을 수반한다. 테이블에서 크로마 QP 오프셋 값들을 예측적으로 인코딩하는 몇몇 실시예들에서, 이러한 프로세스는 예측 또는 델타 값들로부터 (양쪽 크로마 성분들의) 크로마 QP 오프셋 값들을 복원시키는 것을 포함한다.
프로세스는 그 후에 양자화 그룹에 대한 루마 QP 값들을 (1350에서) 식별한다. 언급된 바와 같이, 몇몇 실시예들에서, 루마 QP 값들은 크로마 QP 값들에 대해 동일한 양자화 그룹을 위해 정의된다. 몇몇 실시예들에서, 루마 QP 및 크로마 QP에 대한 양자화 그룹들은 독립적으로 정의된다.
그 다음으로, 프로세스는 크로마 QP 값들을 (1360에서) 계산한다. 몇몇 실시예들은 식별된 루마 QP 값들로부터 그리고 각각 식별된 크로마 QP 오프셋으로부터 크로마 QP 값을 계산한다. 몇몇 실시예들에서, 이는 상기의 식(1) 내지 식(6)에서 예시된 바와 같이, (슬라이스/픽처 레벨로부터 그리고 QG 레벨로부터) 식별된 크로마 QP 오프셋들 모두와 함께 루마 QP 값을 추가시킴으로써 달성된다.
프로세스는 그 후에 그가 픽처의 종료에 이르렀는지(보다 높은 레벨 크로마 QP 오프셋이 전체 픽처를 위한 것인 경우) 또는 그가 슬라이스의 종료에 이르렀는지(보다 높은 레벨 크로마 QP 오프셋이 슬라이스를 위한 것인 경우)를 (1370에서) 결정한다. 그러한 경우, 프로세스(1300)는 종료된다. 그러하지 않는 경우, 프로세스(1300)는 그 다음의 양자화 그룹을 프로세싱하기 위해 1330으로 되돌아간다.
도 5, 도 6, 및 도 12는, 양자화 그룹이 한 세트의 크로마 QP 오프셋 값들을 명시하기 위해 사용될 수 있는 여러 개의 서로 다른 방법들을 도입하였다. 몇몇 실시예들에서, 서로 다른 픽처들 또는 슬라이스들 내의 양자화 그룹들은 크로마 QP 오프셋 값들을 명시하는 서로 다른 방법들을 사용할 수 있다. 이러한 실시예들 중 몇몇에서 인코더는, 보다 높은 유연성을 달성하거나 코딩 오버헤드를 감소시키기 위해 현재 픽처 또는 슬라이스에 대해 필요하다고 생각된 최적의 방법을 선택한다.
몇몇 실시예들에 대해서, 도 14는 추가 크로마 QP 오프셋 값들을 명시하는 방법에 대한 선택을 포함한 픽처 헤더(1400)에 대한 의사 코드를 예시한다. 픽처 헤더(1400)는 그가 플래그들 (라인 1411에서의) "additional_chroma_qp_offset" 및 (라인 1413에서의) "chroma_qp_offset_max_depth"를 포함한다는 점에서 픽처 헤더(900)와 유사하다. 픽처 헤더(1400)는 또한 (라인들 1415 내지 1417에서) 크로마 QP 오프셋 테이블(890)의 엔트리들을 포함한다. 그러나, 픽처 헤더(900)와는 달리, 픽처 헤더(1400)는 또한 (라인 1414에서) "chroma_qp_offset_method"를 설정함으로써 방법을 명시한다.
도 15는 3 개의 서로 다른 방법들 중 어느 것을 사용하여 양자화 그룹에 대한 크로마 QP 오프셋 값들을 명시할 수 있는 변환 단위(1500)에 대한 의사 코드의 구현예를 예시한다. (라인 1512에서) 방법 플래그 "chroma_qp_offset_method"이 0으로 설정될 시에, 변환 단위(1500)는 도 12에서와 같은 QG(821)의 크로마 QP 오프셋 값들을 계산하기 위해 테이블(890)로부터 엔트리를 선택하기 위한 인덱스 "cu_chroma_qp_offset_table_index"를 사용한다. (라인 1514에서) 방법 플래그가 1로 설정될 시에, 변환 단위(1500)는 도 5에서와 같이 2 개의 크로마 성분들에 대한 2 개의 독립적인 크로마 QP 오프셋 값들을 (크기 및 사인 플래그들 둘 다를 사용하여) 인코딩한다. (라인 1522에서) 방법 플래그가 2로 설정될 시에, 변환 단위(1500)는 도 6에서와 같이 양쪽 크로마 성분들에 대한 하나의 크로마 QP 오프셋 값만을 인코딩한다.
II. 추가 크로마 QP 오프셋들을 할당하는 것
서로 다른 실시예들에서 인코더들은 추가 크로마 QP 오프셋 값들을 식별 및 할당하는 서로 다른 방법들을 사용한다. 몇몇 실시예들에서, 인코더는 (예컨대, 최적으로 품질 및 비트레이트의 균형을 맞추기 위해서) 양자화에 대한 가장 적합한 QP 값들을 식별하기 위하여 비디오 시퀀스 내의 이미지들을 분석한다. 몇몇 실시예들은 공통 세트의 크로마 QP 값들에 의해 최적으로 인코딩될 수 있는 양자화 그룹들을 식별하기 위해 이미지의 다양한 영역들을 분석한다.
몇몇 실시예들은, 그 영역 내의 각각의 색상 성분에 대해 세기(예컨대 평균 값, 또는 루마 밝기 및 색상 포화), 색조, 분산/활성/텍스쳐 특성들, 노이즈 특성들, 및 모션 특성들(예컨대 모션 벡터 및/또는 예측 왜곡 값)을 추출하기 위해, 영역 레벨 분석(예컨대 매 NxM 블록마다, 이때 예를 들어, N=M=4 또는 객체 분할에 기반한 분석)을 인코더가 수행하는 사전-분석 단계를 수행한다.
서로 다른 유형들의 비디오 콘텐츠들이 동일한 비디오 스트림 또는 심지어 동일한 비디오 이미지 내에 결합될 수 있기 때문에, 몇몇 실시예들은 서로 다른 유형들의 비디오 콘텐츠로 된 이미지 내의 서로 다른 영역들을 식별한다. 이러한 실시예들 중 몇몇에서, 서로 다른 유형들의 비디오 콘텐츠를 갖는 서로 다른 영역들에게는 서로 다른 크로마 QP 오프셋 값들이 할당되거나, 상기 영역들은 서로 다른 양자화 그룹들 내에 할당된다. 몇몇 실시예들은 리얼 비디오 콘텐츠로부터 그래픽 콘텐츠를 구별한다. 몇몇 실시예들은 4:2:0 포맷으로부터 업-샘플링된 4:4:4 비디오 콘텐츠로부터, 4:4:4 포맷으로 원래 코딩된 4:4:4 비디오 콘텐츠를 구별한다. 몇몇 실시예들은 서로 다른 비트-깊이들을 원래 가졌을 수 있는 비디오 콘텐츠를 분별한다. 비디오 콘텐츠의 이러한 특성들은, 색상 성분들, 나아가 레이트 제어 정보에 걸친 그들의 관계들과 더불어, 모든 색상 성분들 중에서 양자화 레벨들 또는 양자화 관계들을 결정하기 위해 몇몇 실시예들에 의해 사용된다.
도 16은 이미지(1600)의 예시의 분할 및 카테고리화를 예시한다. 이미지는 코딩 트리 단위들로 분할되고, 각각의 코딩 트리 단위는 코딩 단위들로 하위-분할된다. 이미지(1600)의 다양한 코딩 단위들은 4 개의 서로 다른 크로마 QP 오프셋 그룹들로 분할된다. 몇몇 실시예들에서, 4 개의 서로 다른 크로마 QP 오프셋 그룹들은 PPS에 시그널링되고, 인코더는 양자화 그룹 레벨로 시그널링될 적당한 그룹을 선택할 수 있다. 몇몇 실시예들에서, 크로마 QP 오프셋들은 인코딩 시점에서 각각의 양자화 그룹 내에서 명백하게 시그널링된다.
크로마 QP 오프셋 값의 선택은 루마 및 크로마 성분들 중에서 상대적인 시각적 복잡성들 또는 텍스쳐들에 의해 결정된다. 이미지(1600)의 양자화 그룹들은 그들의 텍스쳐 레벨들에 따라 서로 다른 카테고리들(1611 내지 1614)에 할당된다. 예를 들어, 모든 색상 성분들에 걸친 플랫(flat)으로서 보이는 구역들은 제1 카테고리(1611)에 속하고, 고 텍스쳐 색상 성분들을 갖는 플랫 루마 구역들은 제2 카테고리(1612)에 속하고, 플랫 색상 정보를 갖는 고 텍스쳐 루마 구역들은 제3 카테고리(1613)에 속하는 반면, 3 개의 성분들 모두에 걸친 고 텍스쳐를 갖는 구역들은 제4 카테고리(1614)에 속한다. 몇몇 실시예들에서 인코더는 모션 및 세기에 기반하여 각각의 카테고리에 대해 추가 하위카테고리들을 생성할 수 있다. 몇몇 실시예들에서, 추가 카테고리화들은 2 개의 크로마 성분들 그들 자체 사이의 차이점들을 고려함으로써 이루어진다.
이러한 카테고리화들은 그 후에 서로 다른 카테고리들에 대해 서로 다른 크로마 QP 오프셋 세트들을 명시하기 위해 사용될 수 있다. 예를 들어, 몇몇 실시예들에서, 제1 카테고리(1611)(모든 플랫)에게는 제로 또는 음의 QP 오프셋들이 할당된다. 이러한 시나리오에서, 음의 크로마 QP 오프셋은 이러한 영역들에 개선된 크로마 품질 할당을 허용하는데, 이는 개선된 크로마 품질이 모든 색상 성분들의 특성들로 인해 보다 분명해질 수 있기 때문이다. 제2 카테고리(1612)(플랫 루마, 고 텍스쳐링된 색상 정보)에 대해 보다 크고, 양의, QP 오프셋이 사용될 수 있다. 이러한 경우에서, 보다 큰 크로마 QP는 루마 성분들을 압도하지 않기 위해서, 크로마 성분들의 보다 양호한 제어를 허용하는 반면, 크로마 정보로부터의 몇몇 텍스쳐 마스킹은 우수한 주관적 품질을 보장하기 위해 여전하게 이용될 수 있다. 제3 카테고리(1613)(플랫 크로마에 대한 고 텍스쳐링된 루마)에 대해서, 몇몇 실시예들은 다소 보다 양호한 색상 품질을 보장하는데 도움을 주기 위해, 보다 큰 음의 크로마 QP 오프셋을 사용한다. 몇몇 다른 실시예들은 루마 텍스쳐 마스킹을 보다 양호하게 이용하기 위해 보다 큰 양의 크로마 QP 오프셋을 사용한다. 제4 카테고리(1614)(3 개의 성분들 모두에 걸친 고 텍스쳐)에 대해서, 몇몇 실시예들은 루마 텍스쳐 마스킹을 보다 양호하게 이용하기 위해, 그리고 크로마 주관적 품질에서 사소한 개선을 위한 비트들을 소모하는 것을 방지하기 위해, 제로 또는 양의 크로마 QP 오프셋을 사용한다. 양자화 그룹에 할당된 정확한 크로마 QP 오프셋 값들이 그 양자화 그룹에 대한 해당 루마 QP 값들에 의존한다는 것을 주목할 가치가 있다. 서로 다른 결정들은 다른 인코더들 내의 주관적 또는 객관적 품질 및 비트레이트 결정 메커니즘들에 기반하여 이루어질 수 있다.
몇몇 실시예들에서, 제한된 수의 크로마 QP 오프셋들이 허락되거나 필요한 경우(영역들 및 그들의 원하는 QP 오프셋 세트들의 결정을 제외하고, 그들의 사양이 요구될 수 있는 비트 오버헤드에서의 증가 가능성을 고려할 시에), 추가 결정은 각각의 오프셋 세트의 발생, 나아가 그의 인지된 주관적 또는 객관적 품질 영향에 기반하여 수행된다.
이러한 기준들은 그 후에 비트 스트림 내에서 시그널링된, 크로마 QP 오프셋 세트들의 가능한 개수를 "제거하기(prune)" 위해 이러한 실시예들 중 몇몇에 의해 사용되는데, 이는 가장 중요한 오프셋 세트들만 지금 시그널링되기 때문이다. "제거된" 카테고리들로 분류된 영역들에는, 원하는 값들에 충분히 가까워지는 오프셋 세트가 여전하게 할당될 수 있다. 이는, 몇몇 주관적 또는 객관적 가중 프로세스 - 이에 따라서 명시된 크로마 QP 오프셋들이 그룹화된 영역 유형들 모두에 대해 개별적으로 "차선"이 됨 - 를 고려할 시에 이루어질 수 있지만, 그러나 비트 레이트 제한들을 고려할 시에 최적의 전체/합동 성능을 제공할 가능성이 있을 수 있는 절충안이다.
사전-분석이 가능하지 않은 실시간 적용예들에 대해서, 몇몇 실시예들은 QP 오프셋들의 "미리 정해진 결정"을 사용한다. 몇몇 실시예들에서, 결정은 이미 코딩되었던 이전의 픽처들로부터의 데이터의 분석에 기반한다. 크로마 QP 오프셋들이 매 양자화 그룹마다 명백하게 시그널링되는 몇몇 실시예들에서, 결정은 그의 선택된 루마 양자화 파라미터, 그의 다양한 시-공간 및 색상 특성들, 나아가 지난 블록들로부터의 코딩 정보(즉 비트레이트가 무엇인가, 루마와 크로마 사이의 비트 관계들, 나아가 초기에 코딩된 다른 유사한 또는 이웃한 블록들의 도입된 왜곡)에 기반하여, 매 능동적으로 코딩된 블록마다 즉석으로(on the fly) 또는 동적으로 이루어진다. 몇몇 실시예들에서, 루마 양자화 파라미터들은 비트레이트 및 콘텐츠 특성 관계들 및 조건들의 동일 유형을 고려할 시에 크로마 QP 오프셋들과 함께 합동으로 도출된다.
몇몇 실시예들은 그의 이웃 픽처들을 검토함으로써, 현재 픽처의 크로마 QP 오프셋들의 선택을 더 개선시킨다. 특히, 몇몇 실시예들은 이러한 이웃 픽처들이 어떻게 코딩되는지 또는 어떻게 코딩될 것인지, 나아가 이러한 이웃 픽처들이 현재 픽처 및 그의 영역들과 일시적으로 어떻게 관련되는지를 검토한다. 예를 들어, 현재 픽처가 "키(key)" 픽처로서(예컨대 인트라(intra) 또는 "주기적" 리프레시 픽처로서) 코딩되어야 하는 경우, 몇몇 실시예들은 현재 픽처의 크로마 품질을 개선시키기 위해, 추가 크로마 QP 오프셋들을 인코딩할 수 있다. 정반대로, 현재 픽처가 코딩 계층에서 일회용 픽처 또는 덜 중요한 픽처인 경우, 몇몇 실시예들은 보다 높은 비트 레이트를 초래하는 방식으로 추가 크로마 QP 오프셋들을 할당하는 것을 그만둘 수 있다(또는 추가 크로마 QP 오프셋들을 전혀 사용하지 않음). 다른 유형들의 픽처들에 대해서, 몇몇 실시예들은 비트 레이트와 품질 사이의 보다 양호한 절충안을 달성하기 위해 보다 알맞은 크로마 QP 오프셋 변화를 사용한다.
몇몇 실시예들에서, 서로 다른 크로마 QP 오프셋 파라미터들은 서로 다른 확장성(scalability) 층들을 위해, 그 예로서 해상도, 품질, 비트-깊이, 기타 등등을 위해 명시된다. 몇몇 실시예들은 서로 다른 크로마 QP 오프셋들이 서로 다른 시야들에 할당되는 3D/Multi-view 적용예들에 추가 크로마 QP 오프셋들을 적용한다. 예를 들어, 스테레오 마스킹은 오버헤드를 감소시키고 그러한 시스템의 주관적 품질을 최대화시키는 것과 같이 크로마 QP 오프셋들을 할당 및 예측하기 위한 것으로 고려될 수 있다.
몇몇 실시예들에 대해서, 도 17은 이미지의 서로 다른 영역들을 분석하고 이에 따라서 크로마 QP 오프셋들을 할당하는 프로세스(1700)를 개념적으로 예시한다. 프로세스는 몇몇 실시예들에서 비디오 인코더에 의해 수행된다.
프로세스는 그가 (1710에서) 비디오 픽처를 수신할 시에 시작한다. 이러한 비디오 픽처는 압축된 비디오 비트스트림으로부터 비압축된 비디오 스트림 또는 디코딩된 픽처 내의 미가공 이미지(raw image)일 수 있다. 프로세스는 그 후에 영역 내의 코딩 단위들이 공통 세트의 크로마 QP 오프셋 값들을 공유하기에 적합하게 만드는 공통 특성들을 공유하는 픽처 내의 영역을 (1720에서) 식별한다. 예를 들어, 몇몇 실시예들은, 보다 높은 QP 값들(이로써 양의 크로마 QP 오프셋)이 비트레이트를 감소시키기 위해 사용될 수 있는 영역으로서, 4:2:0 포맷으로 원래 코딩된 영역을 식별한다. 정반대로, 몇몇 실시예들은 보다 낮은 QP 값들(이로써 보다 낮거나 음의 QP 오프셋 값들)이 품질을 유지하기에 필요한 영역으로서, 4:4:4 포맷으로 기본적으로 코딩된 영역을 식별한다.
프로세스는 그 후에 각각의 영역의 시-공간 특성들을 (1730에서) 분석한다. 몇몇 실시예들에서, 이러한 분석은 영역의 텍스쳐/분산/활성, 포맷(4:4:4 또는 4:2:0, 기타 등등), 노이즈, 모션, 비트-깊이, 또는 루마와 크로마 사이의, 나아가 2 개의 크로마 성분들 사이의 관계에 영향을 미칠 수 있는 다른 특성들의 분석을 포함한다.
그 다음으로, 프로세스는 영역의 분석에 기반하여 크로마 QP 오프셋 값들을 (1740에서) 할당한다. 몇몇 실시예들에서, 프로세스는 우선 1730에서 수행된 분석에 기반한 영역에 대해 적합한 크로마 QP 값을 식별하고, 그 후에 원하는 전체 크로마 QP 오프셋 값을 얻기 위해, 식별된 크로마 QP 값으로부터, 선택된 루마 QP 값을 감산한다. 프로세스(1740)는 몇몇 실시예들에서 또한 전체 크로마 QP 오프셋 값을, 비디오 코딩 계층의 다양한 레벨들(예컨대, 픽처, 슬라이스, 및 양자화 그룹)에 있는 크로마 QP 오프셋 값들로 분리시킨다. 몇몇 실시예들은 전체 크로마 QP 오프셋 값으로부터, 보다 높은 레벨 구문 요소들에 대한 크로마 QP 오프셋 값들을 감산함으로써, 양자화 그룹들에 대한 크로마 QP 오프셋 값들을 식별한다. 몇몇 실시예들에서, 이러한 동작은 이하의 도 18을 참조하여 기술된 바와 같이 레이트 제어기에 의해 수행된다.
프로세스는 그 후에 영역 내의 양자화 그룹들에 대해 식별된 크로마 QP 오프셋 값들로 크로마 QP 오프셋 테이블을 (1750에서) 채운다. 프로세스(1700)는 또한 상기의 섹션 I.b에 논의된 바와 같이, 양자화 그룹들 내의 그들의 해당 인덱스 값들을 인코딩한다. 크로마 QP 오프셋 값들을 명백하게 명시하는 몇몇 실시예들에 대해서, 프로세스(1700)는 상기의 섹션 I.a에 논의된 바와 같이, 양자화 그룹들 그들 자체 내의 크로마 QP 오프셋 값들을 인코딩한다.
프로세스는 그 후에 잔류한 픽처 내의 보다 많은 영역들이 분석될지를 (1760에서) 결정한다. 그러한 경우, 프로세스는 1720으로 되돌아간다. 그렇지 않다면, 프로세스(1700)는 종료한다.
III. 비디오 시스템들
도 18은 본 발명의 몇몇 실시예들에 대한 일반적인 비디오 인코더(1800)(예컨대 HEVC 인코더)를 예시한다. 인코더(1800)는 비디오 소스(1805)로부터 비디오 스트림을 수신하여, 저장 및/또는 전송될, 압축되어 인코딩된 비트스트림(1895)을 만들어 낸다.
비디오 인코더는 변환 모듈(1810), 양자화 모듈(1815), 엔트로피 인코더(1820), 역 양자화 모듈(1825), 역 변환 모듈(1830), 디블록킹 필터(deblocking filter)(1840), 샘플 적응 오프셋(SAO) 필터(1845), 프레임 버퍼(1850), 레이트 제어 모듈(1835), 및 예측 모듈(1890)을 포함한다. 예측 모듈(1890)은 모션 평가 모듈(1860), 모션 보상 모듈(1865), 인트라-예측 모듈(1870), 및 모드 결정 모듈(1880)을 포함한다. 비디오 인코더(1800)는 또한 몇몇 실시예들에서 비디오 디스플레이(1855)를 포함한다.
양자화 모듈(1815)은 변환 모듈(1810)로부터 변환 계수들(예컨대, DCT)에 관한 양자화를 수행하기 위해 양자화 파라미터들을 사용하는 모듈이다. 몇몇 실시예들에서, 변환 모듈(1810)은 완전하게 우회될 수 있고(그 예로서 HEVC에 의해 지원된 변환-우회 모드 하에) 그 결과 양자화 모듈(1815)은 변환없이 이미지 값들 또는 이미지 예측 에러 값들을 수신한다. 양자화 모듈(1815)은 각각의 색상 성분에 대한 서로 다른 영역들/블록들을 위해 서로 다른 QP 값들을 적용한다. 양자화 모듈(1815)에 의해 사용된 QP 값들은 또한 루마 QP 값들 및 크로마 QP 오프셋들로서 비트스트림(1895)으로 코딩된다. 몇몇 실시예들에서, 양자화 모듈(1815)에 의해 사용 중인 QP 값들은 레이트 제어 모듈(1835)에 의해 결정 및 공급된다.
레이트 제어 모듈(1835)은 양자화 모듈(1815)(및 역 양자화 모듈(1825))에 의해 사용된 QP 값들을 제어함으로써, 인코딩된 비디오 비트스트림의 비트레이트를 제어한다. 몇몇 실시예들에서, 레이트 제어 모듈(1835)은 서로 다른 양자화 그룹들을 위한 양자화 모듈(1815)에 서로 다른 QP 값들을 공급한다. 양자화에 가장 적합한(예컨대, 주어진 비디오 시퀀스에 대한 품질과 비트레이트 사이의 최적의 균형 맞춤) (루마 및 크로마에 대한) QP 값들을 식별하기 위하여, 레이트 제어 모듈(1835)은 몇몇 실시예들에서 각각의 루마 양자화 그룹에 대한 루마 QP 값 및 각각의 크로마 양자화 그룹에 대한 한 세트의 크로마 QP 오프셋 값들에 도달하도록 상기의 섹션 II에 기술된 분석 중 적어도 몇몇을 수행한다. 몇몇 실시예들에서, 레이트 제어기(1835)는 또한 영역들을 식별하고 (루마 및 크로마) 양자화 그룹들을 할당하기 위한 분석을 사용한다.
몇몇 실시예들에서, 레이트 제어기(1835)는 한 세트의 크로마 QP 오프셋 값들을, 비디오 코딩 계층의 다양한 레벨들에 있는 세트들의 크로마 QP 오프셋 값들로 분리시킨다. 이러한 실시예들 중 몇몇에서, 적어도 몇몇의 세트들의 크로마 QP 오프셋 값들은 상기의 식(1) 내지 식(7)에 도시된 바와 같이 2 개의 크로마 성분들 사이의 예측된 값들로 더 분리된다. 몇몇 실시예들에서, 보다 낮은 레벨 QP 오프셋 값들은 전체 크로마 QP 오프셋 값들로부터 보다 높은 레벨 QP 오프셋 값들을 감산함으로써 식별된다. 예를 들어, 몇몇 실시예들은 양자화 그룹 레벨 크로마 QP 오프셋들을 다음과 같이 계산한다:
QPoffset_quant_group[i] = QPchroma[i] ― QPluma ― QPoffset_pps[i] ― QPoffset_slice[i] (8)
이러한 세트들의 크로마 QP 오프셋 값들은 그 후에 비트스트림(1895)으로 인코딩될 엔트로피 인코더(1820)에 제공된다. 몇몇 실시예들에서, 레이트 제어기(1835)는 가능한 양자화 그룹 레벨 오프셋들의 테이블을 컴파일링하고, 컴파일링된 테이블을 엔트로피 인코더(1820)에 제공한다.
엔트로피 인코더 모듈(1820)은, 양자화된 변환 계수들, 파라미터들, 및 다른 정보에 관해 엔트로피 인코딩(예컨대, CABAC)을 수행하고 그들을 비트스트림(1895)으로 팩키징하는 모듈이다. 몇몇 실시예들에서, 엔트로피 인코더 모듈(1820)은 레이트 제어기 모듈(1835)로부터 크로마 QP 오프셋 값들을 수신하고, 엔트로피는 그들을 비트스트림으로 인코딩한다. 몇몇 실시예들에서, 엔트로피 인코더(1820)는 상기의 섹션 I.b에 기술된 바와 같이, 크로마 QP 오프셋 값들을 테이블로서의 픽처의 PPS 구역으로 인코딩한다. 몇몇 실시예들에서, 엔트로피 인코더는 상기의 섹션 I.a에 기술된 바와 같이, 크로마 QP 오프셋 값들을 개별적인 양자화 그룹들로 인코딩한다.
디블록 모듈(1840)은 코딩 블록들 사이에서 형성될 수 있는 예리한 에지들을 매끄럽게 함으로써, 비디오 코덱 시스템의 시각적 품질 및 예측 성능을 개선시키는 루프 필터 모듈이다. 몇몇 실시예들에서, 디블록 모듈(1840)은 그의 디블록킹 동작들을 수행하기 위해(즉, 양자화 그룹 및 픽처/슬라이스의 크로마 QP 오프셋들을 포함함으로써) 적용가능한 크로마 QP 오프셋들 모두로부터 계산된 전체 크로마 QP 값을 사용한다. 몇몇 다른 실시예들에서, 디블록 모듈(1840)은 명시된 크로마 QP 오프셋들 중 몇몇만을 고려하거나, PPS 또는 슬라이스 헤더들로부터의 크로마 QP 오프셋들만을 고려한다. 이러한 실시예들 중 몇몇은 시그널들인 크로마 QP 오프셋 값들에 기반하여 디블록킹 프로세스를 제어한다. 예를 들어, 몇몇 실시예들은 크로마 QP 오프셋 값들을 보상하기 위해 디블록킹 파라미터들을 조정한다. 디블록킹은 또한 루프 외에서(out of loop) 그리고 후(post)-프로세스로서 수행될 수 있다. 몇몇 실시예들에서, 전체 계산된 크로마 QP 값 또는 크로마 QP 오프셋들 중 몇몇은 다른 유형들의 루프 내(in-loop) 또는 루푸 외의 후 프로세싱 그 예로서 SAO(예컨대, SAO 필터(1845)), 적응 루트 필터(ALF), 또는 노이즈 추가에 의해 사용된다.
도 19는 본 발명의 몇몇 실시예들에 대한 일반적인 비디오 디코더(1900)(예컨대 HEVC 디코더)를 예시한다. 디코더(1900)는 비트스트림(1905)을 수신하여, 디스플레이 모듈(1965)에 의해 디스플레이하기 위해 그를 디코딩한다. 디코더(1900)는 엔트로피 디코더(1910), 역 양자화 모듈(1920), 역 변환 모듈(1930), 인트라-예측 모듈(1950), 인터-예측 모듈(1980), 디블록 모듈(1960), SAO 모듈(1970), 및 프레임 버퍼(1975)를 포함한다.
엔트로피 디코더 모듈(1910)은, 입력 비트스트림에 관한 엔트로피 디코딩을 수행하고 변환 계수들 나아가 디코더(1900) 내의 다른 모듈들에 대한 파라미터들을 추출하는 모듈이다. 특히, 입력 비트스트림(1905)에 포함된 크로마 양자화 정보는 엔트로피 디코더(1910)에 의해 추출되고 역 양자화 모듈(1920)로 이동한다. 몇몇 실시예들에서, 크로마 양자화 정보는 PPS, 슬라이스 헤더 내의 테이블로부터, 또는 양자화 그룹들 그들 자체로부터 추출된 추가 크로마 QP 오프셋 값들을 포함한다.
디코더(1900)의 디블록 모듈(1960)은 인코더(1800)의 디블록 모듈(1840)과 유사한 기능을 수행한다. 특히, 디블록 모듈(1960)은 또한 그의 디블록킹 동작들을 수행하기 위해(즉, 양자화 그룹 및 픽처/슬라이스의 크로마 QP 오프셋들을 포함함으로써) 적용가능한 크로마 QP 오프셋들 모두로부터 계산된 최종 크로마 QP 값을 사용한다. 몇몇 다른 실시예들에서, 디블록 모듈(1960)은 명시된 크로마 QP 오프셋들 중 몇몇만을 고려하거나, PPS 또는 슬라이스 헤더들로부터의 크로마 QP 오프셋들만을 고려한다. 몇몇 실시예들에서, 전체 계산된 크로마 QP 값 또는 크로마 QP 오프셋들 중 몇몇은 다른 유형들의 루프 내 또는 루푸 외의 후 프로세싱 그 예로서 SAO(즉, SAO 필터(1970)), ALF, 또는 노이즈 추가에 의해 사용된다.
IV. 전자 시스템
수많은 상술된 특징들 및 적용예들은 컴퓨터-판독가능 저장 매체(또한 컴퓨터-판독가능 매체로 지칭됨) 상에 기록된 한 세트의 명령어들로서 명시되는 소프트웨어 프로세스들로서 구현된다. 이러한 명령어들이 하나 이상의 계산 또는 프로세싱 유닛(들)(예컨대, 하나 이상의 프로세서들, 프로세서들의 코어들, 또는 다른 프로세싱 유닛들)에 의해 실행될 시, 그들은 프로세싱 유닛(들)이 명령어들에서 지시된 동작들을 수행하도록 한다. 컴퓨터-판독가능 매체들의 예들은, CD-ROM들, 플래시 드라이브들, RAM(random access memory) 칩들, 하드 드라이브들, EPROM(erasable programmable read only memory)들, EEPROM(electrically erasable programmable read-only memory)들 기타 등등을 포함하지만 이로 제한되지 않는다. 컴퓨터-판독가능 매체들은 무선으로 또는 유선 연결들을 통해 전달하는 반송파(carrier wave) 및 전자 시그널들을 포함하지 않는다.
본 명세서에서, 용어 "소프트웨어"는 판독 전용 메모리에 위치한 펌웨어, 또는 프로세서에 의해 프로세싱되는 메모리로 판독될 수 있는, 자기 저장부에 저장된 애플리케이션들을 포함하는 것으로 의미된다. 또한, 몇몇 실시예들에서, 다수의 소프트웨어 발명들은 보다 큰 프로그램의 하위-부분들로서 구현되면서, 별개의 소프트웨어 발명들에 남아 있을 수 있다. 몇몇 실시예들에서, 다수의 소프트웨어 발명들은 또한 별개의 프로그램들로서 구현될 수 있다. 마지막으로, 본 명세서에 기술된 소프트웨어 발명을 함께 구현하는 별개의 프로그램들의 임의의 조합은 본 발명의 범주 내에 있다. 몇몇 실시예들에서, 소프트웨어 프로그램들은, 하나 이상의 전자 시스템들 상에서 동작하도록 설치될 시에, 소프트웨어 프로그램들의 동작들을 실행 및 수행하는 하나 이상의 특정 기계 구현예들을 정의한다.
도 20은 본 발명의 몇몇 실시예들이 구현되는 전자 시스템(2000)을 개념적으로 예시한다. 전자 시스템(2000)은 컴퓨터(예컨대, 데스크탑 컴퓨터, 개인용 컴퓨터, 태블릿 컴퓨터 기타 등등), 전화기, PDA, 또는 임의의 다른 종류의 전자 디바이스일 수 있다. 그러한 전자 시스템은 다양한 유형들의 컴퓨터-판독가능 매체들 및 다양한 다른 유형들의 컴퓨터-판독가능 매체들을 위한 인터페이스들을 포함한다. 전자 시스템(2000)은 버스(2005), 프로세싱 유닛(들)(2010), 그래픽 프로세싱 유닛(GPU)(2015), 시스템 메모리(2020), 네트워크(2025), 판독-전용 메모리(2030), 영구 저장 디바이스(2035), 입력 디바이스들(2040), 및 출력 디바이스들(2045)을 포함한다.
버스(2005)는 전자 시스템(2000)의 다수의 내부 디바이스들을 통신적으로 연결하는 모든 시스템, 주변 장치, 및 칩셋 버스들을 총괄하여 표현한다. 예를 들어보면, 버스(2005)는 판독-전용 메모리(2030), GPU(2015), 시스템 메모리(2020), 및 영구 저장 디바이스(2035)와 프로세싱 유닛(들)(2010)을 통신적으로 연결시킨다.
이러한 다양한 메모리 유닛들로부터, 프로세싱 유닛(들)(2010)은 본 발명의 프로세스들을 실행하기 위해 실행할 명령어들 및 프로세싱할 데이터를 검색한다. 프로세싱 유닛(들)은 서로 다른 실시예들에서 단일 프로세서 또는 멀티-코어 프로세서일 수 있다. 몇몇 명령어들은 GPU(2015)에 전달되어 상기 GPU에 의해 실행된다. GPU(2015)는 다양한 계산들을 없애거나 프로세싱 유닛(들)(2010)에 의해 제공된 이미지 프로세싱을 보완한다.
판독-전용-메모리(ROM)(2030)는 프로세싱 유닛(들)(2010) 및 전자 시스템의 다른 모듈들에 의해 필요한 정적 데이터 및 명령어들을 저장한다. 다른 한편, 영구 저장 디바이스(2035)는 판독-및-기입 메모리 디바이스이다. 이러한 디바이스는 전자 시스템(2000)이 오프될 시에도 명령어들 및 데이터를 저장하는 비-휘발성 메모리 유닛이다. 본 발명의 몇몇 실시예들은 영구 저장 디바이스(2035)로서 대용량 저장 디바이스(그 예로서 자기 또는 광학 디스크 및 그의 대응 디스크 드라이브)를 사용한다.
다른 실시예들은 영구 저장 디바이스로서 이동식 저장 디바이스(그 예로서 플로피 디스크, 플래시 메모리 디바이스, 기타 등등 및 그의 대응 디스크 드라이브)를 사용한다. 영구 저장 디바이스(2035)와 같이, 시스템 메모리(2020)는 판독-및-기입 메모리 디바이스이다. 그러나, 저장 디바이스(2035)와 달리, 시스템 메모리(2020)는 휘발성 판독-및-기입 메모리, 그 예로서 랜덤 액세스 메모리이다. 시스템 메모리(2020)는 프로세서가 런타임 시 필요한 명령어들 및 데이터의 몇몇을 저장한다. 몇몇 실시예들에서, 본 발명의 프로세스들은 시스템 메모리(2020), 영구 저장 디바이스(2035), 및/또는 판독-전용 메모리(2030)에 저장된다. 예를 들어, 다양한 메모리 유닛들은 몇몇 실시예들에 따라 멀티미디어 클립들을 프로세싱하기 위한 명령어들을 포함한다. 이러한 다양한 메모리 유닛들로부터, 프로세싱 유닛(들)(2010)은 몇몇 실시예들의 프로세스들을 실행하기 위해 실행할 명령어들 및 프로세싱할 데이터를 검색한다.
버스(2005)는 또한 입력 및 출력 디바이스들(2040 및 2045)에 연결된다. 입력 디바이스들(2040)은 사용자가 전자 시스템으로 정보를 전송하게 하고 상기 전자 시스템에 대한 명령들을 선택하게 할 수 있다. 입력 디바이스들(2040)은 문자 및 숫자로 이루어진 키보드들 및 포인팅 디바이스들("커서 제어 디바이스들"이라고도 칭함), 카메라들(예컨대, 웹캠들), 마이크로폰들 또는 음성 명령들을 수신하는 유사한 디바이스들, 기타 등등을 포함한다. 출력 디바이스들(2045)은 전자 시스템에 의해 발생된 이미지들 또는 그렇지 않다면 출력 데이터를 디스플레잉한다. 출력 디바이스들(2045)은 프린터들 및 디스플레이 디바이스들, 그 예로서 음극선관(CRT) 또는 액정 디스플레이(LCD), 나아가 스피커들 또는 유사한 오디오 출력 디바이스들을 포함한다. 몇몇 실시예들은 입력 및 출력 디바이스들 둘 다로서 기능하는 디바이스들 그 예로서 터치스크린을 포함한다.
마지막으로, 도 20에 도시된 바와 같이, 버스(2005)는 또한 네트워크 아답터(미도시)를 통하여 전자 시스템(2000)을 네트워크(2025)에 결합시킨다. 이러한 방식으로, 컴퓨터는 컴퓨터들의 네트워크(그 예로서 근거리 네트워크("LAN"), 광역 네트워크("WAN"), 또는 인트라넷), 또는 네트워크들의 네트워크 그 예로서 인터넷의 일부일 수 있다. 전자 시스템(2000)의 임의의 또는 모든 컴포넌트들은 본 발명과 함께 사용될 수 있다.
몇몇 실시예들은 전자 컴포넌트들, 그 예로서 마이크로프로세서들, 기계-판독가능 또는 컴퓨터-판독가능 매체(대안으로, 컴퓨터-판독가능 저장 매체들, 기계-판독가능 매체들, 또는 기계-판독가능 저장 매체들로 지칭됨)에 컴퓨터 프로그램 명령어들을 저장한 저장 및 메모리를 포함한다. 그러한 컴퓨터-판독가능 매체들 중 몇몇 예시들은 RAM, ROM, CD-ROM(read-only compact disc)들, CD-R(recordable compact disc)들, CD-RW(rewritable compact disc)들, 판독-전용 DVD(digital versatile disc)들(예컨대, DVD-ROM, 듀얼-레이어 DVD-ROM), 다양한 기록가능/재기입가능 DVD들(예컨대, DVD-RAM, DVD-RW, DVD+RW 기타 등등), 플래시 메모리(예컨대, SD 카드들, 미니-SD 카드들, 마이크로-SD 카드들, 기타 등등), 자기 및/또는 솔리드 스테이트 하드 드라이브, 판독-전용 및 기록가능 블루-레이(Blu-Ray)® 디스크들, 초고밀도 광 디스크들, 임의의 다른 광 또는 자기 매체들, 및 플로피 디스크들을 포함한다. 컴퓨터-판독가능 매체들은 적어도 하나의 프로세싱 유닛에 의해 실행 가능하고 다양한 동작들을 수행하기 위한 세트들의 명령어들을 포함하는 컴퓨터 프로그램을 저장할 수 있다. 컴퓨터 프로그램들 또는 컴퓨터 코드의 예시들은 기계 코드를 포함하고, 그 예로서 컴파일러, 및 인터프리터를 사용하여 컴퓨터, 전자 컴포넌트 또는 마이크로프로세서에 의해 실행되는 보다 높은-레벨 코드를 포함한 파일들에 의해 만들어진다.
상기 논의가 소프트웨어를 실행시키는 마이크로프로세서 또는 멀티-코어 프로세서들을 주로 언급하지만, 몇몇 실시예들은 하나 이상의 집적 회로들, 그 예로서 ASIC(application specific integrated circuit)들 또는 FPGA(field programmable gate array)들에 의해 수행된다. 몇몇 실시예들에서, 그러한 집적 회로들은 회로 자체 상에 저장된 명령어들을 실행시킨다. 게다가, 몇몇 실시예들은 프로그래밍 가능한 논리 디바이스(programmable logic device, PLD)들, ROM, 또는 RAM 디바이스들에 저장된 소프트웨어를 실행시킨다.
본 명세서 및 본 출원의 임의의 청구항들에서 사용된 바와 같이, 용어들 "컴퓨터", "서버", "프로세서", 및 "메모리" 모두는 전자 또는 다른 기술적인 디바이스들을 지칭한다. 이러한 용어들은 사람 또는 사람들의 그룹들을 배제한다. 본 명세서의 목적들을 위해, 용어들 "디스플레이" 또는 "디스플레잉하는"은 전자 디바이스 상에서 디스플레잉하는 것을 의미한다. 본 명세서 및 본 출원의 임의의 청구항들에서 사용된 바와 같이, 용어들 "컴퓨터 판독가능 매체", "컴퓨터 판독가능 매체들", 및 "기계 판독가능 매체"는 컴퓨터에 의해 판독가능한 형태로 정보를 저장하는 유형의(tangible), 물리적 객체들에 전적으로 한정된다. 이들 용어들은 임의의 무선 시그널들, 유선 다운로드 시그널들, 및 임의의 다른 임시 시그널들을 배제한다.
본 발명이 다수의 특정 상세 사항들을 참조하여 기술되었지만, 기술 분야의 통상의 기술자는 본 발명이 본 발명의 사상으로부터 벗어남 없이 다른 특정 형태들로 구체화될 수 있다는 것을 인식할 것이다. 추가로, 수많은 도면들(도 7, 도 13, 및 도 17을 포함함)은 프로세스들을 개념적으로 예시한다. 이러한 프로세스들의 특정 동작들은 도시되고 기술된 정확한 순서로 수행되지 않을 수 있다. 특정 동작들은 하나의 연속적인 시리즈들의 동작들로 수행되지 않을 수 있으며, 서로 다른 특정 동작들이 서로 다른 실시예들에서 수행될 수 있다. 더욱이, 프로세스는 여러 개의 하위-프로세스들을 사용하여, 또는 보다 큰 매크로 프로세스의 일부로서 구현될 수 있다. 따라서, 기술 분야의 통상의 기술자는 본 발명이 상기의 예시적인 상세 사항들에 의해 제한되는 것이 아니라 오히려 첨부된 청구항들에 의해 정의된다는 것을 이해할 것이다.

Claims (1)

  1. 제1항에 기재된 방법
KR1020227031632A 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화 KR102613836B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237042786A KR20230173216A (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201361875664P 2013-09-09 2013-09-09
US61/875,664 2013-09-09
US14/452,485 US9510002B2 (en) 2013-09-09 2014-08-05 Chroma quantization in video coding
US14/452,494 US9294766B2 (en) 2013-09-09 2014-08-05 Chroma quantization in video coding
US14/452,494 2014-08-05
US14/452,485 2014-08-05
KR1020217003488A KR102444244B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
PCT/US2014/054152 WO2015035092A2 (en) 2013-09-09 2014-09-04 Chroma quantization in video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217003488A Division KR102444244B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237042786A Division KR20230173216A (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화

Publications (2)

Publication Number Publication Date
KR20230004446A true KR20230004446A (ko) 2023-01-06
KR102613836B1 KR102613836B1 (ko) 2023-12-15

Family

ID=52625601

Family Applications (10)

Application Number Title Priority Date Filing Date
KR1020167006123A KR101810205B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020217003488A KR102444244B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020197022308A KR102123197B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020227031632A KR102613836B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020197022309A KR102123198B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020187032355A KR102006885B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020177035827A KR101918255B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020207016591A KR102214473B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020237042786A KR20230173216A (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020197022307A KR102123094B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020167006123A KR101810205B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020217003488A KR102444244B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020197022308A KR102123197B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화

Family Applications After (6)

Application Number Title Priority Date Filing Date
KR1020197022309A KR102123198B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020187032355A KR102006885B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020177035827A KR101918255B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020207016591A KR102214473B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020237042786A KR20230173216A (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화
KR1020197022307A KR102123094B1 (ko) 2013-09-09 2014-09-04 비디오 코딩에서의 크로마 양자화

Country Status (13)

Country Link
US (10) US9510002B2 (ko)
EP (1) EP4290859A3 (ko)
JP (8) JP5965442B2 (ko)
KR (10) KR101810205B1 (ko)
CN (11) CN104427339B (ko)
AU (8) AU2014216004B2 (ko)
BR (2) BR122018010845B1 (ko)
HK (1) HK1253938A1 (ko)
IL (9) IL301913B2 (ko)
MX (1) MX358124B (ko)
RU (5) RU2693310C2 (ko)
TW (8) TWI695618B (ko)
WO (1) WO2015035092A2 (ko)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012118359A2 (ko) 2011-03-03 2012-09-07 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
US9363509B2 (en) 2011-03-03 2016-06-07 Electronics And Telecommunications Research Institute Method for determining color difference component quantization parameter and device using the method
TWI652941B (zh) * 2011-11-03 2019-03-01 太陽專利信託 用於解區塊之有效修整技術(二)
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
SG11201607282YA (en) 2014-03-04 2016-09-29 Microsoft Technology Licensing Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
AU2014388185B2 (en) * 2014-03-27 2018-08-02 Microsoft Technology Licensing, Llc Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
FR3024933A1 (fr) * 2014-08-12 2016-02-19 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US10057578B2 (en) * 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
CN105960802B (zh) 2014-10-08 2018-02-06 微软技术许可有限责任公司 切换色彩空间时对编码和解码的调整
EP3286919A1 (en) * 2015-04-21 2018-02-28 VID SCALE, Inc. High dynamic range video coding
CN107852512A (zh) * 2015-06-07 2018-03-27 夏普株式会社 基于亮度转换函数或视频色彩分量值的优化视频编码的系统及方法
EP3466072A4 (en) * 2016-05-27 2019-04-10 Sharp Kabushiki Kaisha SYSTEMS AND METHOD FOR VARIATING QUANTIZING PARAMETERS
US10448056B2 (en) * 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
US10944976B2 (en) * 2016-07-22 2021-03-09 Sharp Kabushiki Kaisha Systems and methods for coding video data using adaptive component scaling
WO2018018486A1 (en) * 2016-07-28 2018-02-01 Mediatek Inc. Methods of reference quantization parameter derivation for signaling of quantization parameter in quad-tree plus binary tree structure
US10200698B2 (en) * 2016-08-09 2019-02-05 Intel Corporation Determining chroma quantization parameters for video coding
EP3568983B1 (en) * 2017-01-11 2020-11-18 Telefonaktiebolaget LM Ericsson (PUBL) Encoder and decoder and methods thereof
JP7406378B2 (ja) * 2017-06-21 2023-12-27 ヴィド スケール インコーポレイテッド 360度ビデオ符号化のための適応的量子化
EP3425911A1 (en) 2017-07-06 2019-01-09 Thomson Licensing A method and a device for picture encoding and decoding
US20200236355A1 (en) * 2017-08-01 2020-07-23 Sharp Kabushiki Kaisha Systems and methods for filtering reconstructed video data using adaptive loop filtering techniques
US10812798B2 (en) * 2017-10-19 2020-10-20 Qualcomm Incorporated Chroma quantization parameter (QP) offset
CN109819253B (zh) * 2017-11-21 2022-04-22 腾讯科技(深圳)有限公司 视频编码方法、装置、计算机设备和存储介质
KR102543449B1 (ko) * 2018-01-26 2023-06-14 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
US11190810B2 (en) * 2018-01-26 2021-11-30 Samsung Electronics Co., Ltd. Device and method for compressing image data using quantization parameter and entropy tables
KR102543505B1 (ko) * 2018-03-29 2023-06-14 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 종속 양자화
WO2019191218A1 (en) * 2018-03-30 2019-10-03 Interdigital Vc Holdings, Inc. Chroma quantization parameter adjustment in video encoding and decoding
CN111919446B (zh) * 2018-04-02 2022-10-28 夏普株式会社 解码视频图片中的当前视频块的方法
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding
EP3554074A1 (en) * 2018-04-13 2019-10-16 Thomson Licensing Methods and apparatus for depth encoding and decoding
TWI720584B (zh) * 2018-08-16 2021-03-01 聯發科技股份有限公司 視訊處理系統中色度量化參數導出的方法以及裝置
CN118175342A (zh) * 2018-09-05 2024-06-11 华为技术有限公司 视频解码方法及视频解码器
KR20230135159A (ko) * 2018-09-21 2023-09-22 후아웨이 테크놀러지 컴퍼니 리미티드 역 양자화 장치 및 방법
JP7314281B2 (ja) 2019-01-10 2023-07-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
CN113424533B (zh) 2019-02-14 2024-09-10 北京字节跳动网络技术有限公司 复杂度降低的解码器侧运动推导
EP3700205A1 (en) * 2019-02-19 2020-08-26 Nokia Technologies Oy Quantization parameter derivation for cross-channel residual encoding and decoding
EP3932063A1 (en) * 2019-02-28 2022-01-05 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
EP3703366A1 (en) * 2019-02-28 2020-09-02 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
WO2020177704A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. In-loop filtering in video processing
WO2020177072A1 (en) 2019-03-05 2020-09-10 Zte Corporation Cross-component quantization in video coding
US11428812B2 (en) 2019-03-07 2022-08-30 Luminar, Llc Lidar system with range-ambiguity mitigation
CN113711612B (zh) 2019-04-20 2023-05-26 北京字节跳动网络技术有限公司 视频编解码中的色度语法元素的信令
EP4346205A3 (en) * 2019-04-26 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for signaling of mapping function of chroma quantization parameter
WO2020243206A1 (en) * 2019-05-28 2020-12-03 Dolby Laboratories Licensing Corporation Quantization parameter signaling
CN116800978A (zh) * 2019-06-11 2023-09-22 Lg电子株式会社 图像编码/解码方法、图像数据发送方法和存储介质
US11070825B2 (en) * 2019-06-13 2021-07-20 Mediatek Inc. Method and apparatus of encoding or decoding video data with adaptive colour transform
US20220224902A1 (en) * 2019-06-25 2022-07-14 Interdigital Vc Holdings France, Sas Quantization matrices selection for separate color plane mode
US11146823B2 (en) 2019-06-25 2021-10-12 Qualcomm Incorporated Signalling chroma quantization parameter (QP) mapping tables
KR102644970B1 (ko) * 2019-06-28 2024-03-08 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
US11418787B2 (en) 2019-06-28 2022-08-16 Qualcomm Incorporated Chroma delta QP in video coding
US11381819B2 (en) * 2019-07-05 2022-07-05 Qualcomm Incorporated Chroma delta quantization parameter (QP) in video coding
CN112055211B (zh) 2019-08-15 2021-10-26 华为技术有限公司 视频编码器及qp设置方法
KR102655346B1 (ko) * 2019-08-22 2024-04-05 엘지전자 주식회사 크로마 양자화 파라미터를 사용하는 영상 디코딩 방법 및 그 장치
KR102655352B1 (ko) 2019-08-22 2024-04-04 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
EP4020987A4 (en) * 2019-08-22 2023-08-23 LG Electronics Inc. IMAGE DECODING METHOD AND APPARATUS FOR ENCODING INFORMATION RELATING TO CHROMA QUANTIZATION PARAMETER OFFSET
US20210058620A1 (en) * 2019-08-23 2021-02-25 Qualcomm Incorporated Chroma quantization parameter (qp) derivation for video coding
CN110365983B (zh) * 2019-09-02 2019-12-13 珠海亿智电子科技有限公司 一种基于人眼视觉系统的宏块级码率控制方法及装置
KR20220058534A (ko) * 2019-09-14 2022-05-09 바이트댄스 아이엔씨 크로마 디블로킹 필터링을 위한 양자화 파라미터
AU2019232797A1 (en) * 2019-09-17 2021-04-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
BR112022005290A2 (pt) * 2019-09-23 2022-09-20 Huawei Tech Co Ltd Método e aparelho para sinalização de parâmetros de quantização de crominância
WO2021061021A1 (en) * 2019-09-23 2021-04-01 Huawei Technologies Co., Ltd. Method and apparatus for chrominance qp offsets tables signaling and derivation
US11563945B2 (en) * 2019-09-30 2023-01-24 Advanced Micro Devices, Inc. Adaptive offset for variance based quantization
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
WO2021068954A1 (en) * 2019-10-12 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. High level syntax for video coding tools
EP4029264A4 (en) * 2019-10-14 2022-11-23 ByteDance Inc. JOINT CODING OF CHROMINANCE RESIDUE AND FILTERING IN VIDEO PROCESSING
KR20220071268A (ko) * 2019-11-05 2022-05-31 엘지전자 주식회사 팔레트 코딩 또는 변환 유닛을 위한 양자화 파라미터 정보 기반 영상 또는 비디오 코딩
EP4055827A4 (en) 2019-12-09 2023-01-18 ByteDance Inc. USING QUANTIFICATION GROUPS IN VIDEO CODING
WO2021121418A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Joint use of adaptive colour transform and differential coding of video
JP7277354B2 (ja) * 2019-12-26 2023-05-18 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2021134072A1 (en) * 2019-12-27 2021-07-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding in 4:4:4 chroma format
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
JP7436680B2 (ja) 2020-01-05 2024-02-22 北京字節跳動網絡技術有限公司 映像コーディングのための一般制約情報
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换
US11490083B2 (en) * 2020-02-05 2022-11-01 Qualcomm Incorporated Learned low-complexity adaptive quantization for video compression
US11303897B2 (en) * 2020-02-25 2022-04-12 Tencent America LLC Method and apparatus for signaling of chroma quantization parameters
TWI725795B (zh) * 2020-03-27 2021-04-21 宏正自動科技股份有限公司 影像處理系統、影像處理裝置及影像處理方法
US11381820B2 (en) * 2020-04-13 2022-07-05 Tencent America LLC Method and apparatus for video coding
US12058348B2 (en) 2020-04-17 2024-08-06 Qualcomm Incorporated Parallelized rate-distortion optimized quantization using deep learning
WO2021247883A1 (en) 2020-06-03 2021-12-09 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component correlation
US20210144377A1 (en) * 2020-11-19 2021-05-13 Intel Corporation Method and system of video coding with content adaptive quantization
US11652996B2 (en) * 2021-05-25 2023-05-16 Tencent America LLC Method and apparatus for video coding
US11863775B2 (en) 2021-07-21 2024-01-02 Tencent America LLC Cross-component transform coefficient level reconstruction
CN114051140B (zh) * 2022-01-07 2022-04-08 腾讯科技(深圳)有限公司 视频编码方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003007126A2 (en) * 2001-07-12 2003-01-23 Dolby Laboratories Licensing Corporation Method and system for improving compressed image chroma information

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP3413720B2 (ja) * 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
US6417891B1 (en) 1999-04-16 2002-07-09 Avid Technology, Inc. Color modification on a digital nonlinear editing system
JP2001251616A (ja) * 2000-03-02 2001-09-14 Media Glue Corp 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
JP2001268565A (ja) * 2000-03-15 2001-09-28 Fuji Xerox Co Ltd 画像符号化装置および画像復号装置
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
EP1217841A2 (en) 2000-11-27 2002-06-26 Media Glue Corporation Bitstream separating and merging system, apparatus, method and computer program product
US7110455B2 (en) 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US7295609B2 (en) * 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
KR100519805B1 (ko) * 2002-11-26 2005-10-11 한국전자통신연구원 다중레벨 변조 기법을 위한 타이밍 동기루프 제어 장치를이용한 심볼 타이밍 동기 장치 및 그 방법
JP4676331B2 (ja) 2003-02-04 2011-04-27 パナソニック株式会社 コード変換方法及びその装置
KR100533025B1 (ko) 2003-03-06 2005-12-02 엘지전자 주식회사 동영상 데이터의 분할장치 및 방법
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7400681B2 (en) * 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
US7397515B2 (en) 2004-01-30 2008-07-08 Broadcom Corporation Method and system for cross-chrominance removal using motion detection
KR100723408B1 (ko) * 2004-07-22 2007-05-30 삼성전자주식회사 컬러영상의 변환/역변환 및 양자화/역양자화 방법 및장치와, 이를 이용한 컬러영상의 부호화/복호화 방법 및장치
US7630902B2 (en) 2004-09-17 2009-12-08 Digital Rise Technology Co., Ltd. Apparatus and methods for digital audio coding using codebook application ranges
TWI254572B (en) 2004-10-21 2006-05-01 Mstar Semiconductor Inc Method and device to tune color automatically
US7373009B2 (en) 2005-02-09 2008-05-13 Lsi Corporation Method and apparatus for efficient transmission and decoding of quantization matrices
US8325797B2 (en) 2005-04-11 2012-12-04 Maxim Integrated Products, Inc. System and method of reduced-temporal-resolution update for video coding and quality control
US8149926B2 (en) 2005-04-11 2012-04-03 Intel Corporation Generating edge masks for a deblocking filter
US20070147497A1 (en) * 2005-07-21 2007-06-28 Nokia Corporation System and method for progressive quantization for scalable image and video coding
WO2007021227A1 (en) 2005-08-19 2007-02-22 Telefonaktiebolaget Lm Ericsson (Publ) Texture compression based on two hues with modified brightness
US8705617B2 (en) 2005-09-27 2014-04-22 Qualcomm Incorporated Multiple layer video encoding
US8149909B1 (en) 2005-10-13 2012-04-03 Maxim Integrated Products, Inc. Video encoding control using non-exclusive content categories
JP4593437B2 (ja) 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
WO2007081713A1 (en) * 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
FR2898754B1 (fr) 2006-03-17 2008-06-13 Thales Sa Procede de protection de donnees multimedia au moyen de couches d'abstraction reseau (nal) supplementaires
US7929603B2 (en) 2006-03-24 2011-04-19 Hewlett-Packard Development Company L.P. System and method for accurate rate control for video compression
US8170116B2 (en) 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
US8013871B2 (en) 2006-09-11 2011-09-06 Electronics For Imaging, Inc. Apparatus and methods for selective color editing of color profiles
US9445128B2 (en) 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US9961372B2 (en) 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
US20080170620A1 (en) * 2007-01-17 2008-07-17 Sony Corporation Video encoding system
US8204129B2 (en) 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US8189676B2 (en) 2007-04-05 2012-05-29 Hong Kong University Of Science & Technology Advance macro-block entropy coding for advanced video standards
JP2009004920A (ja) 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
CN100546388C (zh) * 2007-07-12 2009-09-30 深圳市融创天下科技发展有限公司 一种用于视频编码的色度均衡方法
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
EP2051527A1 (en) 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
KR20100105680A (ko) 2008-03-07 2010-09-29 가부시끼가이샤 도시바 동화상 부호화/복호화 방법 및 장치
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8189677B2 (en) * 2008-04-15 2012-05-29 Sony Corporation Estimation of P frame average rate quantization parameter (QP) in a group of pictures (GOP)
US8199823B2 (en) 2008-04-15 2012-06-12 Sony Corporation Estimation of B frame average rate quantization parameter (QP) in a group of pictures (GOP)
US8199814B2 (en) * 2008-04-15 2012-06-12 Sony Corporation Estimation of I frame average rate quantization parameter (QP) in a group of pictures (GOP)
US8331659B2 (en) 2008-05-23 2012-12-11 Broadcom Corporation Method and apparatus for reduced complexity video processing via special chroma handling
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9479786B2 (en) * 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
US8279924B2 (en) * 2008-10-03 2012-10-02 Qualcomm Incorporated Quantization parameter selections for encoding of chroma and luma video blocks
JP5524072B2 (ja) 2008-10-10 2014-06-18 株式会社東芝 動画像符号化装置
KR101127962B1 (ko) 2008-12-22 2012-03-26 한국전자통신연구원 영상 처리 장치 및 영상 처리를 위한 프레임 메모리 관리 방법
JP5502336B2 (ja) 2009-02-06 2014-05-28 パナソニック株式会社 映像信号符号化装置及び、映像信号符号化方法
US8380001B2 (en) * 2009-02-27 2013-02-19 Vixs Systems, Inc. Edge adaptive deblocking filter and methods for use therewith
TWI399100B (zh) 2009-03-06 2013-06-11 Wintek Corp 影像處理方法
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN102223525B (zh) * 2010-04-13 2014-02-19 富士通株式会社 视频解码方法和系统
WO2011136896A1 (en) 2010-04-27 2011-11-03 Sony Corporation Boundary adaptive intra prediction for improving subjective video quality
JP2011259362A (ja) * 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
JP2012034352A (ja) 2010-06-30 2012-02-16 Panasonic Corp ステレオ動画像符号化装置及びステレオ動画像符号化方法
BR112013004112A2 (pt) 2010-09-30 2016-06-28 Panasonic Corp método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem, aparelho de codificação de imagem, programa, e circuito integrado
WO2012114693A1 (ja) 2011-02-24 2012-08-30 パナソニック株式会社 算術復号方法および算術符号化方法
WO2012118359A2 (ko) * 2011-03-03 2012-09-07 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
WO2012117744A1 (en) * 2011-03-03 2012-09-07 Panasonic Corporation Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof
US9363509B2 (en) 2011-03-03 2016-06-07 Electronics And Telecommunications Research Institute Method for determining color difference component quantization parameter and device using the method
CN108769693B (zh) 2011-06-10 2022-07-08 拜特移动网络创新有限责任公司 质量感知视频优化中的宏块级自适应量化
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
EP2725799B1 (en) * 2011-06-27 2020-04-29 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
MX2013010892A (es) * 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN103583048B (zh) * 2011-06-30 2017-05-17 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
JP5903597B2 (ja) 2011-07-13 2016-04-13 パナソニックIpマネジメント株式会社 画像圧縮装置、画像伸長装置および画像処理装置
KR101927967B1 (ko) * 2011-08-09 2018-12-12 삼성전자주식회사 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치
NL2008160C2 (nl) 2011-09-05 2013-03-07 Wilhelmus Josephus Alex Wall Elementen die gebruik maken van de luchtstroming langs gebouwen om ingestraalde zonnewarmte via de spouw af te voeren.
US20130083845A1 (en) * 2011-09-30 2013-04-04 Research In Motion Limited Methods and devices for data compression using a non-uniform reconstruction space
US9185404B2 (en) 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
US20130101033A1 (en) 2011-10-14 2013-04-25 Qualcomm Incorporated Coding non-symmetric distributions of data
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US9161046B2 (en) * 2011-10-25 2015-10-13 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
US9167269B2 (en) * 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
BR112014012351A2 (pt) 2011-11-08 2017-05-30 Motorola Mobility Llc dispositivos e métodos para codificação e/ou de sinalização de deslocamento adaptado de amostra
KR20130058524A (ko) 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
JP5900307B2 (ja) 2011-12-13 2016-04-06 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに送信装置、送信方法及び送信プログラム
JP5664638B2 (ja) 2011-12-13 2015-02-04 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
KR20130068823A (ko) 2011-12-16 2013-06-26 삼성전자주식회사 영상 신호 처리를 위한 방법 및 장치
CN108683910B (zh) * 2011-12-22 2021-01-12 三星电子株式会社 视频编码方法和设备以及非暂时性计算机可读存储介质
JPWO2013108688A1 (ja) 2012-01-18 2015-05-11 ソニー株式会社 画像処理装置および方法
US9020294B2 (en) * 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
US9363516B2 (en) 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
CN106131561B (zh) * 2012-01-20 2019-10-18 维洛媒体国际有限公司 解码装置和解码方法
EP3550840A1 (en) * 2012-01-20 2019-10-09 Sony Corporation Complexity reduction of significance map coding
CN104185992A (zh) * 2012-02-08 2014-12-03 汤姆逊许可公司 用于使用假设参考解码器的超低延迟模式的方法和装置
US9380302B2 (en) 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
JP5624576B2 (ja) 2012-03-14 2014-11-12 株式会社東芝 画像圧縮コントローラ及び画像圧縮装置
US9451258B2 (en) 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
US9756327B2 (en) 2012-04-03 2017-09-05 Qualcomm Incorporated Quantization matrix and deblocking filter adjustments for video coding
WO2013155028A1 (en) 2012-04-09 2013-10-17 Vid Scale, Inc. Weighted prediction parameter signaling for video coding
US9344723B2 (en) * 2012-04-13 2016-05-17 Qualcomm Incorporated Beta offset control for deblocking filters in video coding
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US20130294524A1 (en) * 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
US9219916B2 (en) 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
US9414054B2 (en) * 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
TWI625962B (zh) 2012-07-16 2018-06-01 三星電子股份有限公司 取樣自適應偏移解碼方法
JP5947169B2 (ja) * 2012-09-14 2016-07-06 株式会社キーエンス 外観検査装置、外観検査法およびプログラム
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
KR101654814B1 (ko) 2012-09-28 2016-09-22 브이아이디 스케일, 인크. 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링
US9426469B2 (en) 2012-12-17 2016-08-23 Broadcom Corporation Combination HEVC deblocker/SAO filter
US9274951B2 (en) 2013-05-31 2016-03-01 Altera Corporation Cache memory controller for accelerated data transfer
US10440365B2 (en) * 2013-06-28 2019-10-08 Velos Media, Llc Methods and devices for emulating low-fidelity coding in a high-fidelity coder
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
EP2854404A3 (en) 2013-09-09 2015-07-15 Apple Inc. Chroma quantization in video coding
US10200698B2 (en) 2016-08-09 2019-02-05 Intel Corporation Determining chroma quantization parameters for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003007126A2 (en) * 2001-07-12 2003-01-23 Dolby Laboratories Licensing Corporation Method and system for improving compressed image chroma information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xiang Li et al.,"Adaptive Quantization Parameter Cascading for Hierarchical Video Coding", Proceedings of 2010 IEEE International Sym. on Circuit and Systems,pp.4197~4200, 30 May 2010. *

Also Published As

Publication number Publication date
IL289536B (en) 2022-10-01
JP2022043129A (ja) 2022-03-15
IL301913B1 (en) 2023-12-01
IL296063B1 (en) 2023-05-01
AU2016200770A1 (en) 2016-02-25
AU2023202567A1 (en) 2023-05-18
JP2015053680A (ja) 2015-03-19
US11962778B2 (en) 2024-04-16
IL296063A (en) 2022-10-01
IL289536B2 (en) 2023-02-01
KR101918255B1 (ko) 2018-11-14
KR102123094B1 (ko) 2020-06-15
KR102444244B1 (ko) 2022-09-19
KR20180123193A (ko) 2018-11-14
US12063364B2 (en) 2024-08-13
AU2014216004A1 (en) 2015-03-26
KR20210029230A (ko) 2021-03-15
US10904530B2 (en) 2021-01-26
AU2023202567B2 (en) 2023-11-16
TW201524193A (zh) 2015-06-16
AU2021245204B2 (en) 2023-02-02
TWI803070B (zh) 2023-05-21
CN108093265B (zh) 2020-12-08
KR20190092610A (ko) 2019-08-07
TWI718949B (zh) 2021-02-11
TW202143710A (zh) 2021-11-16
JP6852947B2 (ja) 2021-03-31
RU2653475C2 (ru) 2018-05-08
KR102123198B1 (ko) 2020-06-15
IL307455B1 (en) 2024-06-01
US11659182B2 (en) 2023-05-23
RU2709797C1 (ru) 2019-12-20
KR102006885B1 (ko) 2019-08-02
US10986341B2 (en) 2021-04-20
CN107948651B (zh) 2021-05-14
RU2016113364A (ru) 2017-10-16
IL307455A (en) 2023-12-01
RU2018115728A3 (ko) 2019-03-05
US20190208205A1 (en) 2019-07-04
TWI840210B (zh) 2024-04-21
US20150071344A1 (en) 2015-03-12
CN107846602A (zh) 2018-03-27
KR102123197B1 (ko) 2020-06-15
KR20190092609A (ko) 2019-08-07
AU2021203738B2 (en) 2021-07-15
JP6991379B2 (ja) 2022-01-12
AU2020202363B2 (en) 2021-04-01
US20240205404A1 (en) 2024-06-20
CN107846591B (zh) 2021-01-29
JP2019208247A (ja) 2019-12-05
MX358124B (es) 2018-08-06
EP4290859A3 (en) 2024-02-28
CN107846601A (zh) 2018-03-27
CN107888930A (zh) 2018-04-06
CN107911703B (zh) 2021-01-15
CN107846600B (zh) 2020-12-08
KR20170140445A (ko) 2017-12-20
TWI748859B (zh) 2021-12-01
US10298929B2 (en) 2019-05-21
JP2024029013A (ja) 2024-03-05
AU2024200364A1 (en) 2024-02-08
JP2018142968A (ja) 2018-09-13
JP6322670B2 (ja) 2018-05-09
AU2021203738A1 (en) 2021-07-01
AU2014216004B2 (en) 2015-11-05
CN107846591A (zh) 2018-03-27
CN107888930B (zh) 2021-01-08
TWI695618B (zh) 2020-06-01
TW202037164A (zh) 2020-10-01
BR122018010825B1 (pt) 2023-02-07
TW201628407A (zh) 2016-08-01
US20210235088A1 (en) 2021-07-29
IL275656B (en) 2021-01-31
US20150071345A1 (en) 2015-03-12
JP7407319B2 (ja) 2023-12-28
JP2023098914A (ja) 2023-07-11
CN107846600A (zh) 2018-03-27
IL278312B (en) 2022-02-01
AU2018203223A1 (en) 2018-05-24
CN104427339A (zh) 2015-03-18
TW202211685A (zh) 2022-03-16
US9510002B2 (en) 2016-11-29
CN108093265A (zh) 2018-05-29
IL301913A (en) 2023-06-01
TWI643492B (zh) 2018-12-01
CN107846601B (zh) 2021-05-18
AU2018203223B2 (en) 2020-01-16
US9294766B2 (en) 2016-03-22
WO2015035092A3 (en) 2015-07-23
IL301913B2 (en) 2024-04-01
RU2018115728A (ru) 2019-03-05
TW201720154A (zh) 2017-06-01
KR102613836B1 (ko) 2023-12-15
CN104427339B (zh) 2017-12-15
IL275656A (en) 2020-08-31
IL244101B (en) 2020-07-30
BR122018010845B1 (pt) 2023-05-09
US20160100170A1 (en) 2016-04-07
IL289536A (en) 2022-03-01
RU2693310C2 (ru) 2019-07-02
RU2728760C1 (ru) 2020-07-31
US20170078667A1 (en) 2017-03-16
IL244101A0 (en) 2016-04-21
KR20200070439A (ko) 2020-06-17
KR20190093681A (ko) 2019-08-09
AU2020202363A1 (en) 2020-04-30
TWI535270B (zh) 2016-05-21
JP5965442B2 (ja) 2016-08-03
TW201844000A (zh) 2018-12-16
KR20230173216A (ko) 2023-12-26
US20230370598A1 (en) 2023-11-16
JP2017017712A (ja) 2017-01-19
KR102214473B1 (ko) 2021-02-09
CN107846603B (zh) 2020-12-08
TWI580253B (zh) 2017-04-21
CN107948651A (zh) 2018-04-20
KR101810205B1 (ko) 2017-12-18
CN107846603A (zh) 2018-03-27
IL273712B (en) 2020-07-30
US20230403396A1 (en) 2023-12-14
IL312943A (en) 2024-07-01
CN107911703A (zh) 2018-04-13
JP2021100270A (ja) 2021-07-01
RU2020124157A (ru) 2022-01-21
MX2016001780A (es) 2016-05-18
IL296063B2 (en) 2023-09-01
HK1253938A1 (zh) 2019-07-05
KR20160040709A (ko) 2016-04-14
US10250883B2 (en) 2019-04-02
IL273712A (en) 2020-05-31
US20190208204A1 (en) 2019-07-04
WO2015035092A2 (en) 2015-03-12
AU2021245204A1 (en) 2021-11-04
IL307455B2 (en) 2024-10-01
JP6559829B2 (ja) 2019-08-14
AU2016200770B2 (en) 2018-03-01
TW202333493A (zh) 2023-08-16
CN107846602B (zh) 2020-12-08
CN107911704A (zh) 2018-04-13
JP7256859B2 (ja) 2023-04-12
CN107911704B (zh) 2021-05-14
EP4290859A2 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
US11962778B2 (en) Chroma quantization in video coding

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant