KR20150003219A - 색차 값들에 대한 인트라 예측 모드 도출 - Google Patents

색차 값들에 대한 인트라 예측 모드 도출 Download PDF

Info

Publication number
KR20150003219A
KR20150003219A KR1020147029912A KR20147029912A KR20150003219A KR 20150003219 A KR20150003219 A KR 20150003219A KR 1020147029912 A KR1020147029912 A KR 1020147029912A KR 20147029912 A KR20147029912 A KR 20147029912A KR 20150003219 A KR20150003219 A KR 20150003219A
Authority
KR
South Korea
Prior art keywords
samples
chrominance
luminance
different
predicted
Prior art date
Application number
KR1020147029912A
Other languages
English (en)
Inventor
제임스 알렉산더 가메이
니콜라스 이안 선더스
칼 제임스 샤먼
폴 제임스 실콕
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150003219A publication Critical patent/KR20150003219A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H04N11/28—High-definition television systems involving bandwidth reduction, e.g. subsampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

휘도 및 색차 샘플들이 예측될 현재 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 코딩 또는 디코딩 방법에 있어서, 예측될 현재 샘플들의 세트에 대해 제 1 애스팩트 비의 제 1 그리드에 관해 규정된 제 1 예측 방향을 검출하는 단계; 및 상이한 애스팩트 비의 제 2 그리드에 관해 규정된 제 2 예측 방향을 생성하도록 방향 매핑을 상기 예측 방향에 적용하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법이 개시된다.

Description

색차 값들에 대한 인트라 예측 모드 도출{INTRA PREDICTION MODE DERIVATION FOR CHROMINANCE VALUES}
관련 출원들에 대한 교차 참조
본 출원은 영국 특허청에 2012년 6월 29일, 2012년 6월 22일 및 2012년 4월 26일에 각각 출원된 제 GB1211619.0호, 제 GB1211075.5호 및 제 GB1207459.7호의 이점을 주장하고, 이 출원들의 전체 내용들은 본 명세서에 참조로서 포함된다.
본 발명은 데이터 인코딩 및 디코딩에 관한 것이다.
본 명세서에 제공되는 "배경(background)" 기술은 본 발명의 콘텍스트를 일반적으로 제공하기 위한 것이다. 이 배경부에 기술된 정도의 현재 명명된 발명자들의 연구뿐만 아니라, 출원시 종래 기술로서 적격하지 않을 수 있는 기술의 양태들은 본 발명에 대한 종래 기술로서 명시적으로든 암시적으로든 허용되지 않는다.
비디오 데이터를 주파수 도메인 표현으로 변환하는 것, 주파수 도메인 계수들을 양자화하는 것, 및 그 후에 일부 형태의 엔트로피 인코딩을 양자화된 계수들에 적용하는 것을 수반하는 여러 비디오 데이터 인코딩 및 디코딩 시스템들이 존재한다. 이것은 비디오 데이터의 압축을 달성할 수 있다. 오리지널 비디오 데이터의 재구성된 버전을 복구하기 위해 대응하는 디코딩 또는 압축 해제 기술이 적용된다.
H.264/MPEG-4 고급 비디오 코딩(Advanced Video Coding; AVC)에 사용되는 비디오 코덱들과 같은 현재 비디오 코덱들(코더-디코더들)은 연속 비디오 프레임들 사이의 차들만을 주로 인코딩함으로써 데이터 압축을 달성한다. 이들 코덱들은 소위 매크로블록들의 규칙적인 어레이를 사용하고, 이들 각각은 이전 비디오 프레임에서 대응하는 매크로블록과의 비교 영역으로서 사용되고, 매크로블록 내의 이미지 영역은 그 후에 비디오 시퀀스에서의 대응하는 현재 및 이전 매크로블록들 사이, 또는 비디오 시퀀스의 단일 프레임 내의 이웃하는 매크로블록들 사이에서 발견되는 움직임 정도에 따라 인코딩된다.
H.265 또는 MPEG-H Part 2로서도 또한 알려진 고효율 비디오 코딩(HEVC: High Efficiency Video Coding)은 H.264/MPEG-4 AVC에 대한 제안된 후임자이다. 이것은 HEVC가 비디오 품질을 개선하고 H.264에 비해 데이터 압축비를 배가(double)하기 위한 것이고, 128kbit/s에서 800Mbit/s까지의 범위에 있는 비트 레이트들과 대략 등가인, 128×96에서 7680×4320 픽셀들 해상도까지 스케일링가능하게 하기 위한 것이다.
HEVC에서, 소위 4:2:0 블록 구조는 소비자 기기를 위해 제안되며, 여기서 각각의 크로마 채널에서 사용되는 데이터량은 루마 채널에서의 데이터량의 사분의 일이다. 이것은 주관적으로 사람이 색 변이들보다 밝기 변이들에 더욱 민감하기 때문이고, 그래서 주관적인 품질 손상없이 색 채널들에서 더 큰 압축 및/또는 더 적은 정보를 사용하는 것이 가능하다.
HEVC는 기존의 H.264 및 MPEG 표준들에서 발견되는 매크로블록들을 가변 크기 구조들인 코딩 단위들(CU들)에 기초하는 더욱 유연한 방식으로 대체한다.
결과적으로, 비디오 프레임들에서 이미지 데이터를 인코딩할 때, CU 크기들은 균일하게 분포된 매크로블록들을 사용하는 대신에, 분명한 영상 복잡도 또는 검출된 움직임 레벨들에 응답하여 선택될 수 있다. 결과적으로 프레임들 사이에서 움직임이 거의 없고 프레임 내에서 변이들이 거의 없는 영역들에서 훨씬 더 큰 압축이 달성될 수 있지만, 높은 인터-프레임 움직임 또는 이미지 복잡도의 영역들에서 더 양호한 이미지 품질이 보존될 수 있다.
각각의 CU는 인트라-화상 또는 인터-화상 예측 유형의 하나 이상의 가변-블록-크기의 예측 단위들(PU들), 및 공간 블록 변환 및 양자화를 위한 계수들을 포함하는 하나 이상의 변환 단위들(TU들)을 포함한다.
또한, PU 및 TU 블록들은 3개의 채널들의 각각에 대해 제공된다; 휘도 또는 밝기 채널이고 그레이스케일 채널로서 생각될 수 있는 루마(Y), 및 2개의 색 차(colour diference) 또는 색차(크로마) 채널들; Cb 및 Cr. 이들 채널들은 루마 채널의 그레이스케일 이미지에 대한 색을 제공한다. 용어들 Y, 휘도 및 루마는 이 기술에서 교환하여 사용되고, 유사하게 용어들 Cb 및 Cr, 색차 및 크로마는 적절하게 교환하여 사용되며, 색차 또는 크로마는 "Cr 및 Cb 중 하나 또는 둘 모두"에 대해 일반적으로 사용될 수 있는 반면, 특정 색차 채널이 논의 중일 때 이것은 용어 Cb 또는 Cr에 의해 식별될 것임을 유념한다.
일반적으로 PU들은, PU가 루마 부분 및 크로마 부분을 가지는 것을 제외하고, 채널 독립적인 것이 고려된다. 일반적으로, 이것은 각각의 채널에 대한 PU의 샘플들 형성부가 이미지의 동일 영역을 표현하여, 3개의 채널들 사이의 PU들 사이에 고정된 관계가 존재하는 것을 의미한다. 예를 들면, 4:2:0 비디오에 대해, 루마에 대한 8×8 PU는 크로마에 대한 대응하는 4×4 PU를 항상 갖고, PU의 크로마 부분들은 루마 부분과 동일한 영역을 표현하지만, 4:2:0 비디오에서의 루마 데이터에 비해 4:2:0 크로마 데이터의 서브샘플링된 속성으로 인해 더 적은 수의 픽셀들을 포함한다. 2개의 크로마 채널들은 인트라-예측 정보를 공유하고; 3개의 채널들은 인터-예측 정보를 공유한다. 유사하게, TU 구조는 또한 3개의 채널들 사이에 고정된 관계를 가진다.
그러나, 전문 방송 및 디지털 시네마 기기에 대해, 크로마 채널들에서 더 적은 압축(또는 더 많은 정보)을 가지는 것이 바람직하고, 이것은 현재 및 제안된 HEVC 처리가 어떻게 동작하는지에 영향을 미칠 수 있다.
본 발명은 이러한 처리로부터 발생하는 문제들을 처리하거나 경감한다.
본 발명의 각각의 양태들 및 특징들은 첨부된 청구항들에 규정된다.
전술된 일반적인 기술 및 다음의 상세한 기술 둘 모두는 본 기술을 예시할 뿐 제한하지 않음을 알아야 한다.
본 발명의 더욱 완전한 이해 및 많은 부수적인 이점들은 첨부 도면들과 관련하여 고려될 때 다음의 상세한 기술을 참조하여 더욱 양호하게 이해될 것이므로 쉽게 획득될 것이다.
도 1은 비디오 데이터 압축 및 압축 해제를 사용하는 오디오/비디오(A/V) 데이터 송신 및 수신 시스템을 개략적으로 도시한 도면.
도 2는 비디오 데이터 압축 해제를 사용하는 비디오 디스플레이 시스템을 개략적으로 도시한 도면.
도 3은 비디오 데이터 압축 및 압축 해제를 사용하는 오디오/비디오 저장 시스템을 개략적으로 도시한 도면.
도 4는 비디오 데이터 압축 해제를 사용하는 비디오 카메라를 개략적으로 도시한 도면.
도 5는 비디오 데이터 압축 및 압축 해제 장치의 개략적인 개관을 제공하는 도면.
도 6은 예측된 이미지들의 생성을 개략적으로 도시한 도면.
도 7은 최대 코딩 단위(LCU)를 개략적으로 도시한 도면.
도 8은 4개의 코딩 단위들(CU)의 세트를 개략적으로 도시한 도면.
도 9 및 도 10은 더 적은 코딩 단위들로 세분된 도 8의 코딩 단위들을 개략적으로 도시한 도면들.
도 11은 예측 단위들(PU)의 어레이를 개략적으로 도시한 도면.
도 12는 변환 단위들(TU)의 어레이를 개략적으로 도시한 도면.
도 13은 부분-인코딩된 이미지를 개략적으로 도시한 도면.
도 14는 가능한 인트라-예측 방향들의 세트를 개략적으로 도시한 도면.
도 15는 예측 모드들의 세트를 개략적으로 도시한 도면.
도 16은 우상단 대각 스캔을 개략적으로 도시한 도면.
도 17은 비디오 압축 장치를 개략적으로 도시한 도면.
도 18a 및 도 18b는 가능한 블록 크기들을 개략적으로 도시한 도면들.
도 19는 크로마 및 루마 블록들로부터 공존된(co-located) 정보의 사용을 개략적으로 도시한 도면.
도 20은 하나의 크로마 채널로부터 공존된 정보가 다른 크로마 채널에 대해 사용되는 상황을 개략적으로 도시한 도면.
도 21은 LM-CHROMA 모드에 대해 사용되는 픽셀들을 개략적으로 도시한 도면.
도 22는 루마 예측 방향들의 세트를 개략적으로 도시한 도면.
도 23은 수평으로 빈약한(sparse) 크로마 채널에 적용될 때 도 22의 방향들을 개략적으로 도시한 도면.
도 24는 장방 크로마 픽셀 어레이에 매핑되는 도 22의 방향들을 개략적으로 도시한 도면.
도 25 내지 도 28은 루마 및 크로마 픽셀 보간을 개략적으로 도시한 도면들.
도 29a 및 도 29b는 4:2:0 및 4:2:2 각각에 대한 양자화 파라미터 테이블들을 개략적으로 도시한 도면들.
도 30 및 도 31은 양자화 변화 테이블들을 개략적으로 도시한 도면들.
도 32는 각도 단계를 수정하기 위한 구성을 개략적으로 도시한 도면.
도 33은 각도 단계들의 수정을 개략적으로 도시한 도면.
도 34 및 도 35는 스캔 패턴들을 개략적으로 도시한 도면들.
도 36은 예측 모드에 따른 스캔 패턴의 선택을 개략적으로 도시한 도면.
도 37은 장방 크로마 블록에 대한 예측 모드에 따른 스캔 패턴의 선택을 개략적으로 도시한 도면.
도 38은 스캔 패턴을 선택하기 위한 구성을 개략적으로 도시한 도면.
도 39는 주파수-분리 변환을 선택하기 위한 구성을 개략적으로 도시한 도면.
도 40은 CABAC 인코더를 개략적으로 도시한 도면.
도 41a 내지 도 41d는 이전에 제안된 이웃 할당을 개략적으로 도시한 도면들.
도 42a 내지 도 45는 발명의 실시예들에 따른 콘텍스트 변수 할당을 개략적으로 도시한 도면들.
지금부터 도면들을 참조하면, 도 1 내지 도 4는 발명의 실시예들에 관해 하기에 기술될 압축 및/또는 압축 해제 장치를 사용하는 장치 또는 시스템들의 개략적 예시들을 제공하도록 제공된다.
하기에 기술될 모든 데이터 압축 및/또는 압축 해제 장치는 하드웨어로, 범용 컴퓨터와 같은 범용 데이터 처리 장치 상에서 실행하는 소프트웨어로, 주문형 반도체(application specific integrated circuit; ASIC) 또는 필드 프로그래밍가능한 게이트 어레이(field programmable gate array; FPGA)와 같은 프로그래밍가능한 하드웨어 또는 이들의 조합들로서 구현될 수 있다. 실시예들이 소프트웨어 및/또는 펌웨어에 의해 구현되는 경우들에서, 이러한 소프트웨어 및/또는 펌웨어, 및 이러한 소프트웨어 및/또는 펌웨어가 저장되거나 제공되는 비일시적 데이터 저장 매체는 본 발명의 실시예들로서 고려된다는 것을 알 것이다.
도 1은 비디오 데이터 압축 및 압축 해제를 사용하여 오디오/비디오 데이터 송신 및 수신 시스템을 개략적으로 도시한다.
입력 오디오/비디오 신호(10)는 케이블, 광 섬유, 무선 링크 등과 같은 전송 라우트(30)를 따른 전송을 위해 오디오/비디오 신호(10)의 적어도 비디오 성분을 압축하는 비디오 데이터 압축 장치(20)에 공급된다. 압축된 신호는 출력 오디오/비디오 신호(50)를 제공하기 위해 압축 해제 장치(40)에 의해 처리된다. 리턴 경로에 대해, 압축 장치(60)는 전송 라우트(30)를 따른 압축 해제 장치(70)로의 전송을 위해 오디오/비디오 신호를 압축한다.
압축 장치(20) 및 압축 해제 장치(70)는 따라서 전송 회선의 일 노드를 형성할 수 있다. 압축 해제 장치(40) 및 압축 해제 장치(60)는 전송 회선의 다른 노드를 형성할 수 있다. 당연히, 전송 회선이 단-방향인 경우들에서, 노드들 중 단 하나만이 압축 장치를 필요로 하고, 다른 노드는 압축 해제 장치만을 필요로 한다.
도 2는 비디오 데이터 압축 해제를 사용하는 비디오 디스플레이 시스템을 개략적으로 도시한다. 특히, 압축된 오디오/비디오 신호(100)는 디스플레이(120) 상에 디스플레이될 수 있는 압축해제된 신호를 제공하기 위해 압축 해제 장치(110)에 의해 처리된다. 압축 해제 장치(110)는 디스플레이(120)의 일체로 된 부분으로서 구현될 수 있고, 예를 들면, 디스플레이 디바이스와 동일한 케이싱 내에 제공된다. 대안적으로, 압축 해제 장치(110)는 소위 셋톱 박스(STB)로서 제공될 수 있고, 표현 "셋-톱(set-top)"은 박스에 대한 요건이 디스플레이(120)에 대한 임의의 특정 배향 또는 위치에 위치되는 것을 내포하지 않고; 이것은 단순히 주변 디바이스로서 디스플레이에 접속 가능한 디바이스를 표시하기 위해 본 기술분야에서 사용되는 용어임을 유념한다.
도 3은 비디오 데이터 압축 및 압축 해제를 사용하는 오디오/비디오 저장 시스템을 개략적으로 도시한다. 입력 오디오/비디오 신호(130)는, 자기 디스크 디바이스, 광 디스크 디바이스, 자기 테이프 디바이스, 반도체 메모리와 같은 고상 저장 디바이스 또는 다른 저장 디바이스와 같은 저장 디바이스(150)에 의한 저장을 위해 압축된 신호를 생성하는 압축 장치(140)에 공급된다. 재생을 위해, 압축된 데이터는 저장 디바이스(150)로부터 판독되고 출력 오디오/비디오 신호(170)를 제공하기 위한 압축 해제를 위해 압축 해제 장치(160)에 넘겨진다.
압축된 또는 인코딩된 신호, 및 그 신호를 저장하는 저장 매체는 본 발명의 실시예들로서 고려된다는 것을 알 것이다.
도 4는 비디오 데이터 압축을 사용하는 비디오 카메라를 개략적으로 도시한다. 도 4에서, 전하 결합 디바이스(charge coupled device; CCD) 이미지 센서 및 연관된 제어 및 판독 전자기기들과 같은 이미지 캡처 디바이스(180)는 압축 장치(190)에 넘겨지는 비디오 신호를 생성한다. 마이크로폰(또는 복수의 마이크로폰들)(200)은 압축 장치(190)에 넘겨질 오디오 신호를 생성한다. 압축 장치(190)는 저장 및/또는 전송될(일반적으로 개략적 상태(220)로 도시됨) 압축된 오디오/비디오 신호(210)를 생성한다.
하기에 기술될 기술들은 주로 비디오 데이터 압축 및 압축 해제에 관련된다. 압축된 오디오/비디오 신호를 생성하기 위해, 기술될 비디오 데이터 압축 기술들과 관련하여 오디오 데이터 압축에 대해 많은 기존의 기술들이 사용될 수 있다는 것을 알 것이다. 따라서, 오디오 데이터 압축의 별도의 논의는 제공되지 않을 것이다. 또한, 비디오 데이터와 연관된 데이터 레이트, 특히 방송 품질 비디오 데이터가 일반적으로 오디오 데이터(압축되거나 압축되지 않거나)와 연관된 데이터 레이트보다 훨씬 더 높다는 것을 알 것이다. 따라서, 압축되지 않은 오디오 데이터는 압축된 오디오/비디오 신호를 형성하기 위해 압축된 비디오 데이터를 동반할 수 있다는 것을 알 것이다. 또한, 본 예들(도 1 내지 도 4에 도시된)이 오디오/비디오 데이터에 관한 것이지만, 하기에 기술되는 기술들은 단순히 비디오 데이터를 다루는(즉, 압축하는, 압축 해제하는, 저장하는, 디스플레이하는 및/또는 전송하는) 시스템에서의 사용을 찾을 수 있다는 알 것이다. 즉, 실시예들은 임의의 연관된 오디오 데이터를 전혀 조작할 필요없이 비디오 데이터 압축에 적용될 수 있다.
도 5는 비디오 데이터 압축 및 압축 해제 장치의 개략적인 개관을 제공한다.
제어기(343)는 장치의 전체 동작을 제어하고, 특히 압축 모드에 관련될 때, CU, PU 및 TU 블록 크기들과 같은 다양한 동작 모드들을 선택하기 위한 (하기에 기술될) 시험 인코딩 처리들을 제어한다.
입력 비디오 신호(300)의 연속 이미지들은 가산기(310) 및 이미지 예측기(320)에 공급된다. 이미지 예측기(320)는 도 6을 참조하여 더욱 상세히 하기에 기술될 것이다. 가산기(310)는, "+" 입력시 입력 비디오 신호(300)를 "-" 입력시 이미지 예측기(320)의 출력을 수신하여, 예측된 이미지가 입력 이미지로부터 감해진다는 점에서 사실상 감산(음의 가산) 연산을 수행한다. 그 결과는 실제 및 예측된 이미지들 사이의 차를 표현하는 소위 잉여 이미지 신호(330)를 생성하기 위한 것이다.
잉여 이미지 신호가 생성되는 한 가지 이유는 다음과 같다. 기술된 데이터 코딩 기술들, 즉 잉여 이미지 신호에 적용될 기술들은 인코딩될 이미지에 더 적은 "에너지"가 존재할 때 더욱 효율적으로 작업하려는 경향이 있다. 여기서, 용어 "효율적으로"는 소량의 인코딩된 데이터의 생성을 나타내고; 특정 이미지 품질 레벨에 대해, 실용적으로 가능할 만큼 적은 데이터를 생성하는 것이 바람직하다(그리고 "효율적인" 것으로 고려된다). 잉여 이미지에서 "에너지"에 대한 언급은 잉여 이미지에 포함된 정보량을 나타낸다. 예측된 이미지가 실제 이미지와 동일하다면, 둘 사이의 차(즉, 잉여 이미지)는 제로 정보를 포함하고(제로 에너지) 소량의 인코딩된 데이터로 인코딩하기가 매우 용이하다. 일반적으로, 예측 처리가 상당히 잘 동작하게 될 수 있고, 잉여 이미지 데이터가 입력 이미지보다 적은 정보(적은 에너지)를 포함할 것이고 따라서 소량의 인코딩된 데이터로 인코딩하기가 더 용이할 것임이 예상된다.
잉여 이미지 데이터(330)는 잉여 이미지 데이터의 이산 코사인 변환(DCT) 표현을 생성하는 변환 유닛(340)에 공급된다. DCT 기술 자체는 잘 알려져 있고 본 명세서에서는 상세히 기술되지 않을 것이다. 그러나, 하기에 더욱 상세히 기술될 본 장치에 사용되는, 특히 DCT 동작이 적용되는 데이터의 상이한 블록들의 선택에 관련되는 기술들의 양태들이 존재한다. 이들은 도 7 내지 도 12를 참조하여 하기에서 논의될 것이다. 일부 실시예들에서, MDDT(Mode Dependent Directional Transform)로서 알려진 시스템 하에서, DCT 대신에 상이한 주파수-분리 변환이 선택적으로 사용될 수 있으며, MDDT는 하기에 기술될 것이다. 현재로는 DCT 변환이 사용중인 것으로 가정될 것이다.
변환 유닛(340)의 출력, 즉 이미지 데이터의 각각의 변환된 블록에 대한 DCT 계수들의 세트는 양자화기(350)에 공급된다. 다양한 양자화 기술들이 비디오 데이터 압축 분야에 알려져 있으며, 양자화 계수 인자에 의한 단순 곱셈으로부터 양자화 파라미터의 제어 하에서 복잡한 룩-업 테이블들의 응용까지 이른다. 일반적인 목표는 두 부분이다. 첫째, 양자화 처리는 변환된 데이터의 가능한 값들의 수를 감소시킨다. 둘째, 양자화 처리는 변환된 데이터의 값들이 제로일 가능성을 증가시킬 수 있다. 이들 둘 모두는 소량의 압축된 비디오 데이터를 생성하는데 있어서 하기에 기술될 엔트로피 인코딩 처리가 더욱 효율적으로 동작하게 할 수 있다.
데이터 스캔 처리가 스캔 유닛(360)에 의해 적용된다. 스캔 처리의 목적은 가능한 많은 제로가 아닌 양자화된 변환 계수들을 함께 모으고, 당연히 따라서 가능한 많은 제로-값 계수들을 함께 모으도록 양자화된 변환 데이터를 재정렬하는 것이다. 이들 특징들은 소위 런-길이 코딩 또는 유사한 기술들이 효율적으로 적용되도록 허용할 수 있다. 따라서, 스캔 처리는 (a) 모든 계수들이 스캔의 부분으로서 한번 선택되고, (b) 스캔이 원하는 재정렬을 제공하려는 경향이 있도록 "스캔 순서(scanning order)"에 따라 양자화된 변환 데이터로부터 및 특히 변환되고 양자화된 이미지 데이터의 블록에 대응하는 계수들의 블록으로부터 계수들을 선택하는 것을 관련시킨다. 유용한 결과들을 제공하려는 경향이 있을 수 있는 일례의 스캔 순서는 소위 우상단 대각 스캔 순서이다. 일부 실시예들에서, 소위 MDCS(Mode Dependent Coefficient Scanning) 시스템이 사용될 수 있어서, 스캔 패턴은 블록마다 변화할 수 있다. 이러한 구성들은 하기에 더욱 상세히 기술될 것이다. 현재로는 우상단 대각 스캔이 사용된다고 가정된다.
스캐닝된 계수들은 그 후에 엔트로피 인코더(EE)(370)에 넘겨진다. 다시, 다양한 유형들의 엔트로피 인코딩이 사용될 수 있다. 두 예들은 소위 CABAC(Context Adaptive Binary Arithmetic Coding) 시스템의 변종들 및 소위 CAVLC(Context Adaptive Variable-Length Coding) 시스템의 변종들이다. 일반적으로 말해, CABAC는 더 양호한 효율성을 제공하도록 고려되고, 일부 연구들에서는 CAVLC에 비해 비교 가능한 이미지 품질을 위해 인코딩된 출력 데이터의 양의 10 - 20% 감소를 제공하는 것으로 보였다. 그러나, CAVLC는 CABAC보다 훨씬 적은 레벨의 복잡도(그 구현의 관점에서)를 표현하도록 고려된다. 스캔 처리 및 엔트로피 인코딩 처리는 개별 처리들로서 도시되지만, 사실상 조합될 수 있거나 함께 다루어질 수 있다는 것을 유념한다. 즉, 엔트로피 인코더로의 데이터의 판독은 스캔 순서에서 발생할 수 있다. 대응하는 고려사항들은 하기에 기술될 각각의 역 처리들에 적용한다. 출원시 고려사항 하의 현재 HEVC 문서들은 CAVLC 계수 인코더의 가능성을 더 이상 포함하지 않는다는 것을 유념한다.
예를 들면, 예측기(320)가 예측된 이미지를 생성하는 방식을 정의하는 부가 데이터(상기에 언급 및/또는 하기에 논의)와 함께 엔트로피 인코더(370)의 출력은 압축된 출력 비디오 신호(380)를 제공한다.
그러나, 예측기(320) 자체의 동작이 압축된 출력 데이터의 압축 해제된 버전에 의존하기 때문에 리턴 경로가 또한 제공된다.
이 특징에 대한 이유는 다음과 같다. 적절한 단계에서 압축 해제 처리(하기에 기술)에서 잉여 데이터의 압축 해제된 버전이 생성된다. 이 압축 해제된 잉여 데이터는 출력 이미지를 생성하기 위해 예측된 이미지에 가산되어야 한다(오리지널 잉여 데이터가 입력 이미지와 예측된 이미지 사이의 차이기 때문). 이 처리가 비교 가능한 순서에서, 압축측과 압축 해제측 사이에서처럼, 예측기(320)에 의해 생성된 예측된 이미지들이 압축 처리 동안 및 압축 해제 처리 동안 동일해야 한다. 당연히, 압축 해제에서, 장치는 오리지널 입력 이미지들에 대한 액세스를 가지는 것이 아니라, 압축 해제된 이미지들에 대한 액세스만을 가진다. 따라서, 압축에서, 예측기(320)는 압축된 이미지들의 압축 해제된 버전들에 대한 예측(적어도, 인터-이미지 인코딩에 대해)에 기초한다.
엔트로피 인코더(370)에 의해 실행된 엔트로피 인코딩 처리는 "무손실(lossless)"되도록 고려되며, 즉 이것은 엔트로피 인코더(370)에 처음 공급된 정확히 동일한 데이터에 도달하도록 역으로 될 수 있다. 따라서, 리턴 경로는 엔트로피 인코딩 단계 전에 구현될 수 있다. 실제로, 스캔 유닛(360)에 의해 실행된 스캔 처리도 또한 무손실로 고려되지만, 본 실시예에서, 리턴 경로(390)는 양자화기(350)의 출력에서 무료 역양자화기(420)의 입력까지이다.
일반적으로 말해, 엔트로피 디코더(410), 역스캔 유닛(400), 역양자화기(420) 및 역변환 유닛(430)은 엔트로피 인코더(370), 스캔 유닛(360), 양자화기(350) 및 변환 유닛(340)의 각각의 역 기능들을 제공한다. 현재로는 압축 처리를 통한 논의가 계속될 것이고; 입력 압축된 비디오 신호를 압축 해제하는 처리는 별도로 하기에 논의될 것이다.
압축 처리에서, 스캐닝된 계수들은 양자화기(350)에서 스캔 유닛(360)의 역 동작을 실행하는 역양자화기(420)까지의 리턴 경로에 의해 통과된다. 역양자화 및 역변환 처리는 압축된-압축 해제된 잉여 이미지 신호(440)를 생성하기 위해 유닛들(420, 430)에 의해 실행된다.
이미지 신호(440)는 가산기(450)에서, 재구성된 출력 이미지(460)를 생성하기 위해 예측기(320)의 출력에 가산된다. 이것은 하기에 논의되는 바와 같이 이미지 예측기(320)에 대한 일 입력을 형성한다.
이제, 수신된 압축 비디오 신호(470)를 압축 해제하도록 적용되는 처리로 돌아가서, 신호는 엔트로피 디코더(410)에 공급되고, 그로부터 가산기(450)에 의해 이미지 예측기(320)의 출력에 가산되기 전에 역스캔 유닛(400), 역양자화기(420) 및 역변환 유닛(430)의 체인에 공급된다. 간단히 말해, 가산기(450)의 출력(460)은 출력 압축 해제된 비디오 신호(480)를 형성한다. 실제로, 신호가 출력되기 전에 추가적인 필터링이 적용될 수 있다.
따라서, 도 5 및 도 6의 장치는 압축 장치 또는 압축 해제 장치로서 동작할 수 있다. 두 유형들의 장치의 기능들은 극중하게 오버랩한다. 스캔 유닛(360) 및 엔트로피 인코더(370)는 압축 해제 모드에서 사용되지 않고, 예측기(320)(하기에 상세히 논의될 것임) 및 다른 유닛들의 동작은 이러한 정보를 자체 생성하기보다는 수신된 압축 비트스트림에 포함되거나 연관된 모드 및 파라미터 정보를 따른다.
도 6은 예측된 이미지들의 생성, 특히 이미지 예측기(320)의 동작을 개략적으로 도시한다.
2개의 기본 예측 모드들이 존재한다: 소위 인트라-이미지 예측 및 소위 인터-이미지, 또는 움직임-보상된(MC) 예측.
인트라-이미지 예측은 동일한 이미지 내로부터의 데이터에 대한 이미지 블록의 콘텐트의 예측에 기초한다. 이것은 다른 비디오 압축 기술들에서 소위 I-프레임 인코딩에 대응한다. 전체 이미지가 인트라-인코딩되는 I-프레임 인코딩에 대조적으로, 본 실시예들에서, 인트라- 및 인터- 인코딩 사이의 선택은 한 블록씩 기초하여 이루어질 수 있지만, 본 발명의 다른 실시예들에서 선택은 여전히 한 이미지씩 기초하여 이루어진다.
움직임-보상된 예측은 인터-이미지 예측의 예이고, 소스를 정의하도록 시도하는 움직임 정보를 사용하고, 다른 인접한 또는 인근의 이미지에서 현재 이미지에서 인코딩될 이미지 상세를 사용한다. 따라서, 이상적인 예에서, 예측된 이미지에서 이미지 데이터의 블록의 콘텐트들은 인접한 이미지에서의 동일한 또는 약간 상이한 위치에서 대응하는 블록을 포인팅하는 기준(움직임 벡터)으로서 매우 간단히 인코딩될 수 있다.
도 6으로 돌아가서, 두 이미지 예측 구성들(인트라- 및 인터- 이미지 예측에 대응)이 도시되고, 그 결과들은 가산기들(310 및 450)에 공급하기 위한 예측된 이미지의 블록들을 제공하도록 모드 신호(510)의 제어 하에서 멀티플렉서(500)에 의해 선택된다. 어떤 선택이 최하의 "에너지"(상기에 논의된 바와 같이, 인코딩을 요구하는 정보 콘텐트로서 고려될 수 있는)를 선택하는 것에 의존하여 선택이 이루어지고, 그 선택은 인코딩된 출력 데이터스트림 내의 인코더에 시그널링된다. 이 콘텍스트에서 이미지 에너지는 예를 들면, 입력 이미지로부터 예측된 이미지의 두 버전들의 영역의 시험 감산을 실행하고, 상이한 이미지의 각각의 픽셀 값을 제곱하고, 제곱 값들을 합산하고, 두 버전들 중 어느 것이 그 이미지 영역에 관한 차 이미지의 하부 평균 제곱 값을 발생하는지를 식별함으로써 검색될 수 있다.
인트라-인코딩 시스템에서, 실제 예측은 신호(460)의 일부로서 수신되는 이미지 블록들에 기초하여 이루어지고, 즉 예측은 정확히 동일한 예측이 압축 해제 장치에서 이루어질 수 있기 위해 인코딩된-디코딩된 이미지 블록들에 기초한다. 그러나, 데이터는 인트라-이미지 예측기(530)의 동작을 제어하기 위해 인트라-모드 선택기(520)에 의해 입력 비디오 신호(300)로부터 도출될 수 있다.
인터-이미지 예측에 대해, 움직임 보상된(MC) 예측기(540)는 입력 비디오 신호(300)로부터 움직임 추정기(550)에 의해 도출되는 움직임 벡터들과 같은 움직임 정보를 사용한다. 이들 움직임 벡터들은 인터-이미지 예측의 블록들을 생성하기 위해 움직임 보상된 예측기(540)에 의해 재구성된 이미지(460)의 처리 버전에 적용된다.
신호(460)에 적용된 처리가 지금부터 기술될 것이다. 먼저, 신호는 필터 유닛(560)에 의해 필터링되고, 이것은 하기에 더욱 상세히 기술될 것이다. 이것은 변환 유닛(340)에 의해 실행되는 블록-기반 처리 및 후속 동작들의 효과들을 제거하거나 또는 적어도 감소시키려 하기 위해 "블록해제(deblocking)" 필터를 적용하는 것을 관련시킨다. 샘플 적응적 오프셋팅(sample adaptive offsetting; SAO) 필터(하기에 더 기술됨)가 또한 사용될 수 있다. 또한, 재구성된 신호(460) 및 입력 비디오 신호(300)를 처리함으로써 도출되는 계수들을 사용하여 적응성 루프 필터가 적용된다. 적응성 루프 필터는 알려진 기술들을 사용하여 적응성 필터 계수들을 필터링될 데이터에 적용하는 필터의 일종이다. 즉 필터 계수들은 다양한 인자들에 의존하여 변화할 수 있다. 어떤 필터 계수들을 사용할지를 정의하는 데이터는 인코딩된 출력 데이터스트림의 일부로서 포함된다.
적응성 필터링은 이미지 복원을 위한 인-루프 필터링(in-loop filtering)을 표현한다. LCU는 최대 16개의 필터들에 의해 필터링될 수 있고, 필터 및 ALF 온/오프 상태의 선택은 LCU 내의 각각의 CU에 관해 도출된다. 현재 제어는 CU 레벨이 아닌 LCU 레벨에 있다.
필터 유닛(560)으로부터 필터링된 출력은 사실상 장치가 압축 장치로서 동작중일 때 출력 비디오 신호(480)를 형성한다. 이것은 또한 하나 이상의 이미지 또는 프레임 저장들(570)에 버퍼링되고; 연속 이미지들의 저장은 움직임 보상된 예측 처리, 및 특히 움직임 벡터들의 생성의 요건이다. 저장 요건들 상의 저장을 위해, 이미지 저장들(570) 내에 저장된 이미지들은 움직임 벡터들을 생성할 때 사용하기 위해 압축된 형태로 유지된 후에 압축 해제될 수 있다. 이러한 특정 목적을 위해, 임의의 알려진 압축/압축 해제 시스템이 사용될 수 있다. 저장된 이미지들은 저장된 이미지들의 고해상도 버전을 생성하는 보간 필터(580)에 넘겨지고; 이 예에서, 보간 필터(580)에 의해 출력되는 보간된 이미지의 해상도가 4:2:0의 휘도 채널에 대해 이미지 저장들(570)에 저장된 이미지들의 해상도의 4배(각각의 치수에서)이고, 4:2:0의 색차 채널들에 대해 이미지 저장들(570)에 저장된 이미지들의 해상도의 8배(각각의 치수에서)가 되도록 중간 샘플들(서브-샘플들)이 생성된다. 보간된 이미지들은 입력으로서 움직임 추정기(550)에 및 움직임 보상된 예측기(540)에도 또한 넘겨진다.
본 발명의 실시예들에서, 다른 옵션 단계가 제공되고, 이것은 멀티플렉서(600)를 사용하여 입력 비디오 신호의 데이터 값들을 4의 인자로 곱하고(효과적으로 데이터 값들을 2 비트들만큼 좌측으로 시프트), 분할기 또는 우측-시프터(610)를 사용하여 장치의 출력에서 대응하는 분할 동작(2 비트들만큼 우측으로 시프트)을 적용하는 것이다. 따라서, 좌측 및 시프팅 및 우측 시프팅은 장치의 내부 동작에 대한 데이터를 순수하게 변경한다. 이 방식은 임의의 데이터 라운딩 에러들의 효과를 감소시키므로, 장치 내의 더 높은 계산 정확도를 제공한다.
이미지가 압축 처리를 위해 분할되는 방식이 지금부터 기술될 것이다. 기본 레벨에서, 압축될 이미지는 샘플들의 블록들의 어레이로서 고려된다. 본 논의를 위해, 고려중인 최대의 이러한 블록은 소위 최대 코딩 단위(LCU)(700)이고, 이것은 통상적으로 64×64 샘플들의 정방 어레이를 표현한다(LCU 크기는 HEVC 문서들에 의해 규정된 바와 같은 최대 크기까지 인코더에 의해 구성 가능하다). 여기서, 논의는 휘도 샘플들에 관한 것이다. 4:4:4, 4:2:2, 4:2:0 또는 4:4:4:4(GBR 플러스 키 데이터)와 같은 색차 모드에 의존하여, 휘도 블록에 대응하는 상이한 수들의 대응하는 색차 샘플들이 존재할 것이다.
세 개의 기본 유형들의 블록들이 기술될 것이다: 코딩 단위들, 예측 단위들 및 변환 단위들. 일반적으로 말해, LCU들의 반복되는 세분은 블록 크기들 및 블록 코딩 파라미터들(예측 또는 잉여 코딩 모드들과 같은) 둘 모두가 인코딩될 이미지의 특정 특성들에 따라 설정되는 방식으로 입력 화상이 분할되도록 허용한다.
LCU는 소위 코딩 단위들(CU)로 세분될 수 있다. 코딩 단위들은 항상 정방이고 8×8 샘플들과 LCU(700)의 전체 크기 사이의 크기를 가진다. 코딩 단위들은 일종의 트리 구조로서 배열될 수 있어서, 제 1 세분은 32×32의 코딩 단위들(710)을 제공하는 도 8에 도시된 바와 같이 발생할 수 있고; 후속 세분들은 그 후에 16×16 샘플들의 어떤 코딩 단위들(720)(도 9) 및 잠재적으로 8×8 샘플들(도 10)의 어떤 코딩 단위들(730)을 제공하도록 선택에 기초하여 발생할 수 있다. 결국, 이 처리는 CU 블록들의 콘텐트-적응성 코딩 트리 구조를 제공할 수 있고, 이들 각각은 LCU만큼 크거나 8×8 샘플들만큼 작을 수 있다. 출력 비디오 데이터의 인코딩은 코딩 단위 구조에 기초하여 발생하고, 즉 하나의 LCU가 인코딩된 다음 처리가 다음 LCU로 이동하는 등이다.
도 11은 예측 단위들(PU)의 어레이를 개략적으로 도시한다. 예측 단위는 이미지 예측 처리들에 관한 정보, 즉 도 5의 장치로부터 출력 비디오 신호를 형성하기 위해 엔트로피 인코딩된 잉여 이미지 데이터에 가산된 부가 데이터를 전달하기 위한 기본 단위이다. 일반적으로, 예측 단위들은 형상이 정방이 되도록 제한되지 않는다. 이들은 다른 형상들, 특히 정방 코딩 단위들 중 하나의 반을 형성하는 장방 형상들을 취할 수 있다(예를 들면, 8×8 CU들은 8×4 또는 4×8 PU들을 가질 수 있다). 이미지 특징들에 정렬하는 PU들을 사용하는 것은 HEVC 시스템의 필수적인 부분이 아니고, 일반적인 목적은 화상에서 실제 오브젝트들의 경계를 매칭(가능한 근접하게)하기 위해 양호한 인코더가 인접한 예측 단위들의 경계를 정렬하도록 허용하는 것이어서, 상이한 예측 파라미터들이 상이한 실제 오브젝트들에 적용될 수 있다. 각각의 코딩 단위는 하나 이상의 예측 단위들을 포함할 수 있다.
도 12는 변환 단위들(TU)의 어레이를 개략적으로 도시한다. 변환 단위는 변환 및 양자화 처리의 기본 단위이다. 변환 단위들은 정방일수도 아닐수도 있고 4×4에서 최대 32×32 샘플들까지 취할 수 있다. 각각의 코딩 단위는 하나 이상의 변환 단위들을 포함할 수 있다. 도 12의 두문자 SDIP-P는 소위 단거리 인트라-예측 구획(short distance intra-prediction partition)을 의미한다. 이러한 구성에서 단 하나의 차원 변환들이 사용되고, 따라서 4×N 블록은 N개의 변환들을 통해 넘겨지고 변환들에 대한 입력 데이터는 현재 SDIP-P 내에서 이전에 디코딩된 이웃하는 블록들과 이전에 디코딩된 이웃하는 라인들에 기초한다. SDIP-P는 본 출원을 출원할 때 HEVC에 포함되지 않았다.
상기 언급된 바와 같이, 코딩은 일 LCU로서 발생한 다음, 다음 LCU로서 발생하는 것으로 진행된다. LCU 내에서, 코딩은 한 CU씩 실행된다. CU 내에서, 코딩은 일 TU에 대해 실행된 다음, 다음 TU에 대해 실행되는 것으로 진행된다.
인트라-예측 처리가 지금 논의될 것이다. 일반적으로 말해, 인트라-예측은 동일한 이미지에서 이전에-인코딩된 및 디코딩된 샘플들로부터 샘플들의 현재 블록(예측 단위)의 예측을 생성하는 것을 관련시킨다. 도 13은 부분-인코딩된 이미지(800)를 개략적으로 도시한다. 여기서 이미지는 LCU에 기초하여 좌상측에서 우하측까지 인코딩되고 있다. 전체 이미지의 처리 도중에 인코딩된 예시적 LCU가 블록(810)으로 도시된다. 블록(810)의 상측 및 좌측의 음영 영역(820)은 이미 인코딩되었다. 블록(810)의 콘텐트들의 인트라-이미지 예측은 음영 영역(820)의 임의의 영역을 사용할 수 있지만 그 하측의 비음영 영역을 사용할 수 없다. 그러나 현재 LCU 내의 개별 TU에 대해, 상기 논의된 (한 CU씩 그 후에 한 TU씩) 인코딩의 계층적 순서는 현재 LCU에서 이전에 인코딩된 샘플들이 존재할 수 있고 예를 들면, 그 TU의 우상측 또는 좌하측인 그 TU의 코딩에 사용가능할 수 있다는 것을 의미한다는 것을 유념한다.
블록(810)은 LCU를 표현하고; 상기 논의된 바와 같이, 인트라-이미지 예측 처리를 위해, 이것은 더 작은 예측 단위들 및 변환 단위들의 세트로 세분될 수 있다. 현재 TU(830)의 예는 LCU(810) 내에 도시된다.
인트라-이미지 예측은 현재 TU의 상측 및/또는 좌측에 있는 샘플들과 같은 고려중인 현재 TU에 앞서 코딩되는 샘플들을 고려한다. 요구된 샘플들이 예측되는 소스 샘플들은 현재 TU에 대해 상이한 위치들 또는 방향들에 위치될 수 있다. 어떤 방향이 현재 예측 단위에 적합한지를 결정하기 위해, 예시적 인코더의 모드 선택기(520)는 각각의 후보 방향에 대한 사용가능한 TU 구조들의 모든 조합들을 테스트할 수 있고, 최상의 압축-효율성을 가진 PU 방향 및 TU 구조를 선택할 수 있다.
화상은 또한 "슬라이스(slice)"에 기초하여 인코딩될 수 있다. 일례에서, 슬라이스는 LCU들의 수평으로 인접한 그룹이다. 그러나 더욱 일반적으로 말해, 전체 잉여 이미지가 슬라이스를 형성할 수 있거나, 슬라이스가 단일 LCU일 수 있거나, 슬라이스가 LCU들의 행일 수 있는 등이다. 슬라이스들은 이들이 독립된 단위들로서 인코딩될 때 에러들에 대한 어떤 탄력성을 제공할 수 있다. 인코더 및 디코더 상태들은 슬라이스 경계에서 완전히 리셋된다. 예를 들면, 인트라-예측은 슬라이스 경계들에 걸쳐 실행되지 않고; 슬라이스 경계들은 이를 위해 이미지 경계들로서 다루어진다.
도 14는 가능한 (후보) 예측 방향들의 세트를 개략적으로 도시한다. 34개의 후보 방향들의 전체 세트는 8×8, 16×16 또는 32×32 샘플들의 예측 단위에 사용가능하다. 4×4 및 64×64 샘플들의 예측 단위 크기들의 특정 경우들은 이들에 사용가능한 후보 방향들의 감소된 세트를 가진다(각각 17개의 후보 방향들 및 5개의 후보 방향들). 방향들은 현재 블록 위치에 대한 수평 및 수직 변위에 의해 결정되지만, 예측 "모드들"로서 인코딩되고, 그 세트는 도 15에 도시된다. 소위 DC 모드는 둘러싸는 좌상부 샘플들의 간단한 산술 평균을 표현한다는 것을 유념한다.
도 16은 스캔 유닛(360)에 의해 적용될 수 있는 예시적 스캔 패턴이 있는 소위 우상단 대각 스캔을 개략적으로 도시한다. 도 16에서, 패턴은 8×8 DCT 계수들의 예시적 블록에 대해 도시되고, DC 계수는 블록의 좌상측 위치(840)에 위치되고, 증가하는 수평 및 수직 공간 주파수들은 좌상측 위치(840)의 우측으로 및 하측 방향으로 증가한 간격들로 계수들에 의해 표현된다. 다른 대안적인 스캔 순서들도 대신 사용될 수 있다.
블록 구성들 및 CU, PU 및 TU 구조들의 변형들이 하기에 기술될 것이다. 이들은 도 17의 장치의 콘텍스트에서 논의될 것이고, 이것은 상기에 논의된 도 5 및 도 6에 예시된 것과 많은 관점들에서 유사하다. 실제로, 많은 동일한 참조 번호들이 사용되었고, 이들 부분들은 더 이상 논의되지 않을 것이다.
도 5 및 도 6에 대한 주요한 실질적 차이들은 필터(560)(도 6)에 관한 것이고, 이것은 도 17에서는 블록해제 필터(1000) 및 연관된 인코딩 판정 블록(1030), 샘플 적응적 오프셋팅(SAO) 필터(1010) 및 연관된 계수 생성기(1040), 및 적응성 루프 필터(ALF)(1020) 및 연관된 계수 생성기(1050)를 포함하는 것으로 더욱 상세히 도시된다.
블록해제 필터(1000)는 블록 코딩 기술들이 사용될 때 CU, PU 및 TU 경계들 사이에서 형성할 수 있는 날카로운 에지들을 평탄화함으로써 왜곡을 감소시키고 시각적 품질 및 예측 성능을 개선시키려고 한다.
SAO 필터(1010)는 재구성된 픽셀들을 상이한 카테고리들로 분류한 다음 픽셀들의 각각의 카테고리에 대한 오프셋을 간단히 가산함으로써 왜곡을 감소시키려고 한다. 픽셀 세기 및 에지 속성들은 픽셀 분류를 위해 사용된다. 코딩 효율성을 더욱 개선하기 위해, 화상은 오프셋 파라미터들의 국부화(localization)를 위해 영역들로 분할될 수 있다.
ALF(1020)는 재구성된 및 소스 프레임들 사이의 차가 최소화되도록 압축된 화상을 복구하려고 한다. ALF의 계수들이 프레임에 기초하여 계산되고 전송된다. ALF는 전체 프레임에 또는 로컬 영역들에 적용될 수 있다.
상기에 유념한 바와 같이, 제안된 HEVC 문서들은 4:2:0 방식으로서 알려진 특정 크로마 샘플링 방식을 사용한다. 4:2:0 방식은 가정/소비자 기기에 사용될 수 있다. 그러나, 여러 다른 방식들이 가능하다.
특히, 소위 4:4:4 방식은 전문 방송, 마스터링 및 디지털 시네마에 적합하고, 특히 최고의 품질 및 데이터 레이트를 가진다.
유사하게 소위 4:2:2 방식은 충실도의 일부 손상을 가지고 전문 방송, 마스터링 및 디지털 시네마에 사용된다.
이들 방식들 및 그들 대응하는 가능한 PU 및 TU 블록 구조들은 하기에 기술된다.
그 외에도, 다른 방식들이 4:0:0 모노크롬 방식을 포함한다.
4:4:4 방식에서, 세 Y, Cb 및 Cr 채널들의 각각의 동일한 샘플 레이트를 가진다. 따라서 이론상, 이 방식에는 루마 데이터보다 2배 많은 크로마 데이터가 존재한다.
따라서 HEVC에서, 이 방식에서 세 Y, Cb 및 Cr 채널들의 각각은 동일한 크기인 대응하는 PU 및 TU를 가지고; 예를 들면, 8×8 루마 블록은 2개의 크로마 채널들의 각각에 대한 대응하는 8×8 크로마 블록들을 가진다.
결과적으로, 이 방식에는 일반적으로 각각의 채널에서의 블록 크기들 사이에 직접적인 1 : 1 관계가 존재한다.
4:2:2 방식에서, 두 크로마 성분들은 루마의 절반의 샘플링 레이트로 샘플링된다(예를 들면, 수직 또는 수평 서브샘플링을 사용하지만, 본 기술을 위해 수평 서브샘플링이 가정된다). 따라서 이론상, 이 방식에는 루마 데이터만큼 크로마 데이터가 존재하지만, 크로마 데이터가 두 크로마 채널들 사이에서 분리된다.
따라서, HEVC에서, 이 방식에서, Cb 및 Cr 채널들은 루마 채널에 대한 상이한 크기의 PU 및 TU 블록들을 가지고; 예를 들면, 8×8 루마 블록은 각각의 크로마 채널에 대한 대응하는 4 넓이×8 높이 크로마 블록들을 가진다.
따라서 특히 이 방식에서 크로마 블록들은 정방 루마 블록들에 대응하지만, 비정방일 수 있다.
현재 제안된 HEVC 4:2:0 방식에서, 두 크로마 성분들은 루마의 1/4 샘플 레이트로 샘플링된다(예를 들면, 수직 및 수평 서브샘플링을 사용하여). 따라서 이론상, 이 방식에는 루마 데이터보다 1/2배 많은 크로마 데이터가 존재하고, 크로마 데이터는 두 크로마 채널들 사이에서 분리된다.
따라서 HEVC에서, 이 방식에서 다시 Cb 및 Cr 채널들은 루마 채널에 대한 상이한 크기의 PU 및 TU 블록들을 가진다. 예를 들면, 8×8 루마 블록은 각각의 크로마 채널에 대한 대응하는 4×4 크로마 블록들을 가진다.
상기 방식들은 'a 4:2:0 채널 비'에서와 같이 '채널 비들'로서 본 기술분야에 구두로 알려져 있지만; 이것이 사실상 Y, Cb 및 Cr 채널들이 그 비로 압축되거나 제공된다는 것을 항상 의미하지는 않는다는 것을 상기 기술로부터 알 것이다. 따라서 채널 비를 나타내지만, 이것은 문자 그대로인 것으로 가정되어서는 안된다. 사실상, 4:2:0 방식에 대한 정확한 비들은 4:1:1이다(4:2:2 방식 및 4:4:4 방식에 대한 비들은 사실상 정확하다).
도 18a 및 도 18b를 참조하여 특정 구성들을 기술하기 전에, 일부 일반적인 전문용어가 요약되거나 재고될 것이다.
최대 코딩 단위(LCU)는 루트 화상 오브젝트이다. 통상적으로 이것은 64×64 루마 픽셀들과 등가인 영역을 커버한다. 이것은 코딩 단위들(CU들)의 트리-계층을 형성하기 위해 반복적으로 분리된다. 일반적으로 말해, 세 채널들(한 개의 루마 채널 및 두 개의 크로마 채널들)은 동일한 CU 트리-계층을 가진다. 그러나, 이를 말하기 위해, 채널 비에 의존하여, 특정 루마 CU는 대응하는 크로마 CU들에 대한 상이한 수의 픽셀들을 포함할 수 있다.
트리-계층의 단부의 CU들, 즉 반복적인 분리 처리로부터 발생된 최소의 CU들(리프 CU들(leaf CUs)이라고 칭해질 수 있음)은 그 후에 예측 단위들(PU들)로 분리된다. 트리 채널들(루마 및 2개의 크로마 채널들)은 크로마 채널에 대한 대응하는 PU가 너무 적은 샘플들을 가질 때를 제외하고 동일한 PU 구조를 가지며, 이 경우, 그 채널에 대한 단 하나의 PU가 사용가능하다. 이것은 구성 가능하지만, 일반적으로 인트라 PU의 최소 치수는 4개의 샘플들이고; 인터 PU의 최소 치수는 4개의 루마 샘플들(또는 4:2:0에 대해 2개의 크로마 샘플들)이다. 최소 CU 크기에 관한 제한은 임의의 채널에 대한 적어도 하나의 PU에 대해 항상 충분히 크다.
리프 CU들은 또한 변환 단위들(TU들)로 분리된다. TU들은 - 및 이들이 너무 클 때(예를 들면, 32×32 샘플들 이상)는 반드시 - 부가의 TU들로 분리될 수 있다. TU들이 현재 2개의 레벨들로 구성된, 최대 트리 깊이까지 분리될 수 있도록 제한이 적용되고, 즉 각각의 CU에 대해 16개 이내의 TU들이 존재할 수 있다. 예시적인 최소의 허용가능한 TU 크기는 4×4 샘플들이고 최대 허용가능한 TU 크기는 32×32 샘플들이다. 다시, 세 채널들은 어디든지 동일한 TU 구조를 가지지만, TU가 크기 제약으로 인해 소정의 채널에 대한 특정 깊이로 분리될 수 없다면, 이것은 더 큰 크기로 남아있다. 소위 비정방 쿼드-트리 변환 구성(non-square quad-tree transform arrangement; NSQT)은 유사하지만, 4개의 TU들로 분리하는 방법은 2×2일 필요가 없고 4×1 또는 1x4일 수 있다.
도 18a 및 도 18b를 참조하면, 가능한 상이한 블록 크기들은 CU, PU 및 TU 블록들로 요약되고, 'Y'는 루마 블록들을 나타내고, 'C'는 일반적인 의미에서 크로마 블록들 중 대표 블록을 나타내고, 번호들은 픽셀들을 나타낸다. '인터(inter)'는 인터-프레임 예측 PU들(인트라-프레임 예측 PU들과 반대로)을 나타낸다. 많은 경우들에서, 루마 블록들에 대한 블록 크기들만 도시된다. 연관된 크로마 블록들의 대응하는 크기들은 채널 비들에 따라 루마 블록 크기들을 나타낸다. 따라서, 4:4:4에 대해, 크로마 채널들은 도 18a 및 도 18b에 도시된 루마 블록들과 동일한 크기들을 가진다. 4:2:2 및 4:2:0에 대해, 크로마 블록들은 채널 비에 따라, 대응하는 루마 블록보다 소수의 픽셀들을 각각 가질 것이다.
도 18a 및 도 18b에 도시된 구성들은 4개의 가능한 CU 크기들에 관련된다: 각각 64×64, 32×32, 16×16 및 8×8 루마 픽셀들. 이들 CU들의 각각은 PU 옵션들(열(1140)에 도시됨) 및 TU 옵션들(열(1150)에 도시됨)의 대응하는 행을 가진다. 상기에 규정된 가능한 CU 크기들에 대해, 옵션들의 행들은 각각 1100, 1110, 1120 및 1130으로서 참조된다.
64×64는 현재 최대 CU 크기이지만 이 제약은 변경된다는 것을 유념한다.
각각의 행 1100... 1130 내에서, 그 CU 크기에 적용가능한 상이한 PU 옵션들이 도시된다. 이들 PU 구성들에 적용가능한 TU 옵션들은 각각의 PU 옵션(들)에 수평으로 정렬되어 도시된다.
여러 경우들에서, 다수의 PU 옵션들이 제공된다는 것을 유념한다. 상기 논의된 바와 같이, PU 구성을 선택하는데 있어서 장치의 목적은 화상의 실제 오브젝트들의 경계에 매칭(가능한 근접하게)하여, 상이한 예측 파라미터들이 상이한 실제 오브젝트들에 적용될 수 있는 것이다.
블록 크기들 및 형상들 및 PU들은 제어기(343)의 제어 하의 인코더 기반 판정이다. 현재 방법은 많은 방향들에 대한 많은 TU 트리 구조들의 시험들을 행하여 각각의 레벨에 최상의 "비용(cost)"을 획득하는 것을 관련시킨다. 여기서 비용은 각각의 블록 구조로부터 발생되는 왜곡, 또는 잡음, 또는 에러들, 또는 비트 레이트의 척도로서 표현될 수 있다. 따라서, 인코더는, 특정 요구된 품질 측정에 대해 최하의 비트 레이트를, 또는 요구된 비트 레이트에 대해 최하의 왜곡(또는 에러들, 또는 잡음, 또는 이들 측정들의 조합들)을, 또는 이들 측정들의 조합을 제공하는 시험들 중 하나를 선택하기 전에, 상기 논의된 트리 구조들 및 계층들 하에서 허용되는 것들 내에서 블록 크기들 및 형상들의 둘 이상의(또는 심지어 모든 사용가능한) 순열들을 시도할 수 있다.
특정 PU 구성의 선택이 주어지면, 다양한 레벨들의 분리가 대응하는 TU들을 생성하기 위해 적용될 수 있다. 행(1100)을 참조하면, 64×64 PU의 경우에, 이 블록 크기는 TU로서 사용하기에는 너무 크고 따라서 제 1 레벨의 분리("레벨 0"(분리되지 않음)에서 "레벨 1"까지)가 필수적이어서, 4개의 32×32 루마 TU들의 어레이를 유발한다. 이들 각각은 요구시 트리 계층("레벨 1"에서 "레벨 2"까지)에서 부가의 분리를 받을 수 있고, 분리는 TU가 수행되는 변환 또는 양자화에 앞서 실행된다. TU 트리의 최대 수의 레벨들은 (예를 들면,) HEVC 문서들에 의해 제한된다.
다른 옵션들이 64×64 루마 픽셀 CU의 경우에 PU 크기들 및 형상들에 대해 제공된다. 이들은 인터-코딩된 화상들만을 사용하도록 제한되고, 일부 경우들에서 소위 AMP 옵선이 인에이블된다. AMP는 비대칭 움직임 분할(Asymmetric Motion Partitioning)이고, PU들이 비대칭적으로 분할되도록 허용한다.
유사하게, 일부 경우들에서, 옵션들은 TU 크기들 및 형상들에 제공된다. NQST(기본적으로 비정방 TU를 허용하는 비정방 쿼드-트리 변환)이 인에이블되면, 레벨 1 및/또는 레벨 2로의 분리는 도시된 바와 같이 실행될 수 있는 반면, NQST가 인에이블되지 않으면, TU 크기들은 그 CU 크기에 대한 각각의 최대 TU의 분리 패턴을 따른다.
유사한 옵션들이 다른 CU 크기들에 제공된다.
도 18a 및 도 18b에 도시된 그래프 표현 외에도, 동일한 정보의 수치부는 다음의 테이블에 제공되지만, 도 18a 및 도 18b의 표현은 규정적인 것으로 고려된다. "n/a"는 허용되지 않은 모드를 표시한다. 수평 픽셀 크기가 먼저 기재된다. 제 3 도면이 주어지면, 이것은 (수평)×(수직)×(인스턴스들의 수) 블록들에서와 같이, 그 블록 크기의 인스턴스의 수를 나타낸다. N은 정수이다.
CU 크기
 PU 옵션들
 TU 옵션들
레벨 0 레벨 1 레벨 2
64×64

 64×64 n/a 32×32×4 16×16×4
64×32×2(수평 구성)
64×16+64×48(2개의 수평 구성들)		 n/a 32×32×4 32×8×4
32×64×2(수직 구성)
16×64+48×64(2개의 수직 구성들)		 n/a 32×32×4 8×32×4
32×32

 32×32 32×32 16×16×4 8×8×4
32×16×2(수평 구성)
32×8+32×24(2개의 수평 구성들)		 n/a 32×8×4 16×4×4(루마)+4×4×4(크로마, 4:2:0 또는 4:2:2) 또는 8×4×4(크로마, 4:2:2)
16×32×2(수직 구성)
8×32+24×32(2개의 수직 구성들)		 n/a 8×32×4 4×16×4(루마)+4×4×4(크로마)
16×16


 16×16 16×16 8×8×4 4×4×4(루마)+4×8×4(크로마)
16×8×2(수평 구성)
16×4+16×12(2개의 수평 구성들)		 n/a 16×4×4(루마)+4×8×4(크로마)
(4:2:0 또는 4:2:2)
16×4×4(루마)+8×4×4(크로마)
(4:2:2)		 4×4×4(루마)+4×8×1(크로마)
(4:2:0 또는 4:2:2)
4×4×4(루마)+8×4×1(크로마)
(4:2:2)
8×16×2(수직 구성)
4×16+12×16(2개의 수직 구성들)		 n/a
8×8
 8×8
4×4×4
8×4×2(수평 구성)
4×8×2(수직 구성)		 8×8 4×4×4(루마)+4×8×1(크로마) n/a
4×4×4(루마)+4×N(크로마) n/a 4×4×4(루마)+4×8×1(크로마) n/a
4:2:0, 4:2:2 및 4:4:4 블록 구조 변형들
두 4:2:0 및 4:4:4 방식들이 인트라-예측 코딩을 위해 정방 PU 블록들을 가지는 것을 알았다. 또한, 현재 4:2:0 방식은 4×4 픽셀 PU & TU 블록들을 허용한다.
본 발명의 실시예들에서, 4:4:4 방식에 대해, CU 블록들에 대한 반복은 8×8 픽셀들보다는 4×4 픽셀들로 다운하여 허용되며, 이것은 상기에 유념한 바와 같이 4:4:4 모드에서 루마 및 크로마 블록들이 동일한 크기를 가질 것이고(즉, 크로마 데이터가 서브샘플링되지 않고) 4×4 CU에 대해 PU 또는 TU가 이미 허용된 최소의 4×4 픽셀들보다 적어야 할 필요가 없기 때문이라는 것이 결과적으로 제안된다.
유사하게, 4:4:4 방식에서, 본 발명의 실시예에서 Y, Cr, Cb 채널들의 각각 또는 Y 및 2개의 Cr, Cb 채널들 함께는 각각의 CU 트리-계층들을 가질 수 있다. 그 후에 어떤 계층 또는 계층들의 구성이 사용되는지를 시그널링하기 위해 플래그가 사용될 수 있다. 이 방식은 또한 4:4:4 RGB 컬러 공간 방식을 위해 사용될 수 있다. 그러나, 대안적으로, 크로마 및 루마에 대한 트리 계층들은 대신에 독립적일 수 있다.
4:2:0 방식에서 8×8 CU의 예에서, 이것은 4개의 4×4 루마 PU들 및 1개의 4×4 크로마 PU를 유발한다. 따라서 크로마 데이터의 2배인 4:2:2 방식에서, 일 옵션은 이 경우 (예를 들면,) 하부 크로마 블록이 좌하측 루마 블록에 대한 위치에서 대응하는 2개의 4×4 크로마 PU들을 가지는 것이다. 그러나, 이 경우에 하나의 비정방 4×8 크로마 PU를 사용하는 것은 4:2:0 크로마 포맷에 대한 구성들과 더욱 일치된다는 것을 알았다.
4:2:0 방식에서, 이론상 인트라-예측 코딩에 대해서는 아니지만, 인터-예측 코딩의 특정 등급들에 대해서는 허용되는 어떤 비정방 TU 블록들이 존재한다. 그러나, 인트라-예측 코딩에서, 비정방 쿼드-트리 변환들(NSQT)이 디스에이블될 때(4:2:0 방식에 대해서는 현재 디폴트임), 모든 TU들은 정방이다. 따라서 사실상 4:2:0 방식은 현재 정방 TU들을 강요한다. 예를 들면, 16×16 4:2:0 루마 TU는 각각의 Cb & Cr 8×8 4:2:0 크로마 TU들과 대응한다.
그러나, 이전에 유념한 바와 같이, 4:2:2 방식은 비정방 PU들을 가질 수 있다. 결과적으로, 본 발명의 실시예에서, 4:2:2 방식에 대해 비정방 TU들을 허용하는 것이 제안된다.
예를 들면, 16×16 4:2:2 루마 TU가 2개의 각각의 Cb & Cr 8×8 4:2:2 크로마 TU들과 대응할 수 있지만, 이 실시예에서 이것은 대신에 각각의 Cb & Cr 8×16 4:2:2 크로마 TU들과 대응할 수 있다.
유사하게, 4개의 4×4 4:2:2 루마 TU들이 2개의 각각의 4×4 Cb+Cr 4:2:2 TU들과 대응할 수 있거나, 이 실시예에서는 대신에 각각의 4×8 Cb & Cr 4:2:2 TU들과 대응할 수 있다.
비정방 크로마 TU들 및 따라서 더 소수의 TU들을 가지는 것은 더 적은 정보를 포함할 가능성이 있으므로 이들이 더욱 효과적일 수 있다. 그러나 이것은, 하기에 기술되는 바와 같이, 이러한 TU들의 변환 및 스캔 처리들에 영향을 미칠 수 있다.
4:4:4:에 대해, 본 발명의 실시예들에서, 그것이 크로마 블록들이 분리되는 것보다 더 이상의 분리인 경우, (예를 들면,) 4×4 블록들로 다운하여 루마 블록들을 분리하는 것을 방지하는 것이 가능하다. 이것은 더욱 효율적인 코딩을 유도할 수 있다.
최종적으로, 4:4:4 방식에 대해, TU 구조를 채널-독립적이고, 시퀀스, 화상, 슬라이스 또는 더 정밀한 레벨로 선택 가능하게 하는 것이 바람직할 수 있다.
상기에 유념한 바와 같이, NSQT는 HEVC의 4:2:0 방식에서 현재 디스에이블된다. 그러나, 인터-화상 예측에 대해, NSQT가 인에이블되고 비대칭 움직임 분할(AMP)이 허용되면, 이것은 PU들이 비대칭적으로 분할되도록 허용하고; 따라서 예를 들면, 16×16 CU는 4×16 PU 및 12×16 PU를 가질 수 있다. 이들 환경들에서, 블록 구조의 다른 고려사항들은 4:2:0 및 4:2:2 방식들의 각각에 대해 중요하다.
4:2:0 방식에 대해, NSQT에서 TU의 최소 넓이/높이는 4개의 루마/크로마 샘플들로 제한될 수 있다:
따라서 비제한적인 예에서, 16×4/16×12 루마 PU 구조는 루마 TU들이 1×4 수직 블록 구성에 있고 크로마 TU들이 2×2 블록 구성에 있는 4개의 16×4 루마 TU들과 4개의 4×4 크로마 TU들을 가진다.
분할이 수평보다는 수직인 경우의 유사한 구성에서, 4×16/12×16 루마 PU 구조는 루마 TU들이 4×1 수평 블록 구성에 있고 크로마 TU들이 2×2 블록 구성에 있는 4개의 4×16 루마 TU들과 4개의 4×4 크로마 TU들을 가진다.
4:2:2 방식에 대해, NSQT에서 비제한적인 예로서 4×16/12×16 루마 PU 구조는 루마 TU들이 4×1 수평 블록 구성에 있고; 크로마 TU들이 2×2 블록 구성에 있는 4개의 4×16 루마 TU들과 4개의 4×8 크로마 TU들을 가진다.
그러나, 일부 경우들에 대해 상이한 구조가 고려될 수 있음을 알았다. 따라서 본 발명의 실시예에서, NSQT에서 비제한적인 예로서 16×4/16×12 루마 PU 구조는 4개의 16×4 루마 TU들과 4개의 8×4 크로마 TU들을 가지지만, 현재 루마 및 크로마 TU들은 PU 레이아웃과 정렬된 1×4 수직 블록 구성에 있다(2×2 블록 구성에서 4개의 4×8 크로마 TU들의 4:2:0 스타일 구성과 반대로).
유사하게, 32×8 PU는 4개의 16×4 루마 TU들과 4개의 8×4 크로마 TU들을 가질 수 있지만, 현재 루마 및 크로마 TU들은 2×2 블록 구성에 있다.
따라서 더욱 일반적으로, 4:2:2 방식에 대해, NSQT에서 TU 블록 크기들은 비대칭 PU 블록 레이아웃과 정렬하도록 선택된다. 결과적으로 NSQT는 TU 경계들을 PU 경계들과 정렬되도록 허용하는 것이 유용하고, 이것은 그렇지 않은 경우 발생할 수 있는 고주파수 아티팩트들을 감소시킨다.
일반적으로 말해, 본 발명의 실시예들은 4:2:2 포맷 비디오 신호의 이미지들에 관해 동작 가능한 비디오 코딩 방법, 장치 또는 프로그램에 관한 것일 수 있다. 인코딩될 이미지는 인코딩을 위해 코딩 단위들, 예측 단위들 및 변환 단위들로 분할되고, 코딩 단위는 휘도 샘플들 및 대응하는 색차 샘플들의 정방 어레이이고, 코딩 단위에는 하나 이상의 예측 단위들이 존재하고, 코딩 단위에는 하나 이상의 변환 단위들이 존재하고; 여기서 예측 단위는 단일 예측 단위 내의 모든 샘플들이 공통 예측 기술을 사용하여 예측되도록 기본 예측 단위이고, 변환 단위는 변환 및 양자화의 기본 단위이다.
비정방 변환 모드(NSQT 모드와 같은)는 비정방 예측 단위들을 허용하도록 인에이블된다. 선택적으로, 비대칭 움직임 분할은 단일 코딩 단위에 대응하는 둘 이상의 예측 단위들 사이에서 비대칭을 허용하도록 인에이블된다.
제어기(343)는, 예를 들면, PU에 대응하는 이미지의 일부에서의 이미지 특징들을 검출하고 TU 경계들을 이미지의 일부에서의 이미지 특징들의 에지들과 정렬하도록 그 PU에 대한 TU 블록 크기들을 선택함으로써, 예측 단위 블록 레이아웃과 정렬하도록 변환 단위 블록 크기들의 선택을 제어한다.
상기 논의된 규칙들은 블록 크기들의 어떤 조합들이 사용가능한지를 지시한다. 인코더는 상이한 조합들을 시도할 수 있다. 상기 논의된 바와 같이, 시험은 모든 사용가능한 옵션들을 통해 2회 이상을 포함할 수 있다. 시험 인코드 처리들은 비용 함수 메트릭 및 비용 함수의 평가에 따라 선택된 규칙에 따라 실행될 수 있다.
3개의 변형 레벨들이 존재하는 것을 고려하면, CU 크기 및 형상, PU 크기 및 형상과 TU 크기 및 형상에 따라, 이것은 시험-인코딩될 다수의 순열들을 유발할 수 있다. 이 변형을 감소시키기 위해, 시스템은 각각의 CU 크기에 대해 허용가능한 PU/TU 구성들 중 임의로 선택된 하나를 사용함으로써 CU 크기에 대해 시험 인코딩할 수 있고; 그 후에 CU 크기를 선택하여, PU 크기 및 형상은 단일의 임의로 선택된 TU 구성으로 상이한 PU 옵션들을 각각 시험 인코딩함으로써 선택될 수 있다. 그 후에, CU 및 PU를 선택하여, 시스템은 최종 TU 구성을 선택하기 위해 모든 적용가능한 TU 구성들을 시도할 수 있다.
다른 가능성은 일부 인코더들이 블록 구성의 고정된 선택을 사용할 수 있거나, 상기 논의들에 기재된 조합들의 제한된 서브세트를 허용할 수 있다는 것이다.
인트라-예측
4:2:0 인트라 -예측
지금부터 도 22를 참조하면, 인트라-예측에 대해, HEVC는 각도 크로마 예측을 허용한다.
서론으로, 도 22는 루마 블록들에 적용가능한 35개의 예측 모드들을 도시하고, 그 중 33개는 현재 예측된 샘플 위치(110)에 대해 기준 샘플들에 대한 방향들을 명시한다. 나머지 2개의 모드들은 모드 0(평면) 및 모드 1(dc)이다.
HEVC는 크로마가 DC, 수직, 수평, 평면, DM_CHROMA and LM_CHROMA 모드들을 가지도록 허용한다.
DM_CHROMA는 사용될 예측 모드가 공존된 루마 PU의 것(즉, 도 22에 도시된 35개 중 하나)과 동일하다는 것을 나타낸다.
LM_CHROMA(선형 모드 크로마)는 공존된 루마 샘플들(채널 비들에 적합하게 다운샘플링된)이 예측된 크로마 샘플들을 도출하기 위해 사용되는 것을 나타낸다. 이 경우, DM_CHROMA 예측 모드가 취해진 루마 PU가 DC, 수직, 수평 또는 평면을 선택하면, 크로마 예측 목록내의 엔트리는 모드(34)를 사용하여 대체된다. LM_CHROMA 모드에서, 크로마 픽셀들이 예측되는 루마 픽셀들은 루마와 크로마 사이의 선형 관계에 따라 스케일링된다(그리고 오프셋을 적합하게 적용시킨다). 이러한 선형 관계는 둘러싸는 픽셀들로부터 도출되고, 도출은 한 블록씩 기초하여 실행될 수 있고, 디코더는 다음으로 이동하기 전에 한 블록을 디코딩하는 것을 종료한다.
예측 모드들 2-34는 45도에서 225도까지의 각도 범위; 즉 정방의 일 대각의 반을 샘플링하는 것을 유념할 수 있다. 이것은 상기에 유념한 바와 같이 인트라-화상 예측을 위해 정방 크로마 PU들만을 사용하는 4:2:0 방식의 경우에 유용하다.
4:2:2 인트라-예측 변형들
그러나, 또한 상기에 유념한 바와 같이, 4:2:2 방식은 루마 PU들이 정방일 때에도 장방(비정방) 크로마 PU들을 가질 수 있다. 또는 실제로, 반대로도 참일 수 있다: 장방 루마 PU는 정방 크로마 PU에 대응할 수 있다. 불일치에 대한 이유는 4:2:2에서, 크로마가 수직이 아니라 수평으로(루마에 대해) 서브샘플링된다는 점이다. 그래서 루마 블록 및 대응하는 크로마 블록의 애스팩트 비는 상이할 것으로 예상된다. 따라서 4:2:2 포맷은 비디오 포맷의 일례를 표현하고(그리고 4:2:0과 같은 다른 예들도 존재하고) 여기서 색차 샘플들은 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 가진다.
결과적으로, 본 발명의 실시예에서, 대응하는 루마 블록에 대한 상이한 애스팩트 비를 가지는 크로마 PU들에 대해, 매핑 테이블은 방향에 대해 요구될 수 있다. (예를 들면,) 장방 크로마 PU들에 대한 1-대-2 애스팩트 비를 가정하면, 예를 들면, 모드 18(현재 135도의 각도에)은 123도로 리매핑될 수 있다. 대안적으로 현재 모드 18의 선택은 더 많은 동일한 효과를 위해 현재 모드 22의 선택으로 리매핑될 수 있다.
따라서 더욱 일반적으로, 비정방 PU들에 대해, 기준 샘플의 방향과 선택된 인트라 예측 모드 사이의 상이한 매핑은 정방 PU들에 대한 것에 비교하여 제공될 수 있다.
한층 더 일반적으로, 무지향성 모드들을 포함하는 임의의 모드들도 또한 경험적 증거에 기초하여 리매핑될 수 있다.
이러한 매핑은 다-대-일 관계를 유발할 것이고, 전체 세트의 모드들의 명세가 4:2:2 크로마 PU들에 대해 리던던트하게 하는 것이 가능하다. 이 경우, 예를 들면, 17개의 모드들만(각도 해상도의 반에 대응)이 필요하다는 것일 수 있다. 대안적으로 또는 부가적으로, 이들 모드들은 비균일한 방식으로 각도 있게 분산될 수 있다.
유사하게, 샘플 위치에서 픽셀을 예측할 때의 기준 샘플에 대해 사용되는 평탄화 필터가 상이하게 사용될 수 있고; 4:2:0 방식에서, 이것은 크로마 픽셀들이 아니라 루마 픽셀들만을 평탄화하기 위해 사용된다. 그러나, 4:2:2 및 4:4:4 방식들에서, 이 필터는 또한 크로마 PU들에 대해 사용될 수 있다. 4:2:2 방식에서, 다시 필터는, 예를 들면, 근접한 수평 모드들의 서브세트에 대해서만 사용되는, PU의 상이한 애스팩트 비에 응답하여 수정될 수 있다. 모드들의 예시적 서브세트는 2-8 및 34가 바람직하고, 7-14가 더욱 바람직하다. 4:2:2에서, 기준 샘플들의 좌측 열만의 평탄화는 본 발명의 실시예들에서 실행될 수 있다.
일반적으로 말해, 개시될 실시예들에서, 제 1 예측 방향은 예측될 현재 샘플들의 세트에 대해 제 1 애스팩트 비의 제 1 그리드에 관해 정의되고; 방향 매핑은 상이한 애스팩트 비의 제 2 그리드에 관해 규정된 제 2 예측 방향을 생성하도록 예측 방향에 적용된다. 제 1 예측 방향은 현재 휘도 샘플을 포함하는 휘도 샘플들의 정방 블록에 관해 규정될 수 있고, 제 2 예측 방향은 현재 색차 샘플을 포함하는 색차 샘플들의 장방 블록에 관해 규정될 수 있다.
이들 구성들은 나중에 더욱 상세히 기술된다.
4:4:4 인트라 -예측 변형들
4:4:4 방식에서, 크로마 및 루마 PU들은 동일한 크기이고, 그래서 크로마 PU에 대한 인트라-예측 모드는 공존된 루마 PU와 동일할 수 있거나(그래서 개별 모드를 인코딩하지 않아도 됨으로써 일부 오버헤드를 비트 스트림에 저장), 또는 대안적으로 독립적으로 선택될 수 있다.
이 후자의 경우 따라서, 본 발명의 실시예에서 이것은 CU에서 PU들의 각각에 대해 1, 2 또는 3개의 상이한 예측 모드들을 가질 수 있다;
제 1 예에서, Y, Cb 및 Cr PU들은 모두 동일한 인트라-예측 모드를 사용할 수 있다.
제 2 예에서, Y PU는 하나의 인트라-예측 모드를 사용할 수 있고, Cb 및 Cr PU들 둘 모두는 다른 독립적으로 선택된 인트라-예측 모드를 사용한다.
제 3 예에서, Y, Cb 및 Cr PU들 각각은 각각의 독립적으로 선택된 인트라-예측 모드를 사용한다.
크로마 채널들(또는 각각의 크로마 채널)에 대한 독립된 예측 모드들을 가지는 것은 색 예측 정확도를 개선할 것임을 알 것이다. 그러나 이것은 독립된 예측 모드들을 인코딩된 데이터의 일부로서 통신하기 위해 부가의 데이터 오버헤드를 희생한다.
이를 완화하기 위해, 모드들의 수의 선택은 하이-레벨 신텍스(예를 들면, 시퀀스, 화상 또는 슬라이스 레벨에서)에 표시될 수 있다. 대안적으로, 독립된 모드들의 수는 비디오 포맷으로부터 도출될 수 있고; 예를 들면, GBR은 최대 3까지 갖고, YCbCr은 최대 2로 제한될 수 있다.
모드들을 독립적으로 선택하는 것 외에도, 사용가능한 모드들은 4:4:4 방식에서 4:2:0 방식과는 상이하게 허용될 수 있다.
루마 및 크로마 PU들이 4:4:4에서 동일한 크기를 가지는 예로서, 크로마 PU는 사용가능한 35 + LM_CHROMA + DM_CHROMA 방향들의 모두에 대한 액세스로부터 이점을 가질 수 있다. 따라서, 독립된 예측 모드들을 각각 가지는 Y, Cb 및 Cr의 경우에 대해, Cb 채널은 DM_CHROMA & LM_CHROMA에 대하 액세스를 가질 수 있고, Cr 채널은 DM_CHROMA_Y, DM_CHROMA_Cb, LM_CHROMA_Y 및 LM_CHROMA_Cb에 대한 액세스를 가질 수 있고, 이 경우 이들은 루마 채널들에 대한 기준들을 Y 또는 Cb 크로마 채널들에 대한 기준들과 대체한다.
루마 예측모드들이 가장 가능성 있는 모드들의 목록을 도출하고 그 목록에 대한 인덱스를 전송함으로써 시그널링되는 경우, 크로마 예측 모드(들)가 독립적이면, 각각의 채널에 대한 가장 가능성 있는 모드들의 독립된 목록들을 도출하는 것이 필요할 수 있다.
최종적으로, 상기 4:2:2 경우에 대해 유념한 것과 유사한 방식으로, 4:4:4 방식에서 동일한 위치에서 픽셀들을 예측할 때의 기준 샘플에 대해 사용되는 평탄화 필터는 루마 PU들과 유사한 방식으로 크로마 PU들에 대해 사용될 수 있다. 현재, [1, 2, 1] 로-패스 필터가 인트라-예측에 앞서 기준 샘플들에 적용될 수 있다. 이것은 특정 예측 모드들을 사용할 때 루마 TU들에 대해서만 사용된다.
크로마 TU들에 사용가능한 인트라-예측 모드들 중 하나는 공존된 루마 샘플들에 대해 예측된 샘플들을 기초로 하기 위한 것이다. 이러한 구성은, Cb, Cr 및 Y 채널들에서 작은 정방들에 의해 표현된 TU들(1200)(소스 이미지의 영역으로부터)의 어레이를 도시하여, Cb 및 Y 채널들에서 및 Cr 및 Y 채널들에서 이미지 특징들 사이의 특수 정렬(어둡게 및 밝게 음영된 박스들(1200)로 개략적으로 표시된)을 보여주는 도 19에 개략적으로 도시된다. 이 예에서, 크로마 TU들로 하여금 공존된 루마 샘플들에 대해 이들 예측된 샘플들을 기초하게 하는 것이 이점이 있다. 그러나, 이것은 항상 이미지 특징들이 3개의 채널들 사이에서 대응하는 경우가 아니다. 실제로, 특정 특징들은 1 또는 2개의 채널들에서만 나타나고 일반적으로 3개의 채널들의 이미지 콘텐트는 상이할 수 있다.
본 발명의 실시예들에서, Cr TU들에 대해, LM_Chroma는 Cb 채널로부터 공존된 샘플들에 기초할 수 있다(또는 다른 실시예들에서, 종속이 반대로 될 수 있다). 이러한 구성은 도 20에서 개략적인 형태로 도시된다. 여기서, 공간적으로 정렬된 TU들은 Cr, Cb 및 Y 채널들 사이에서 도시된다. "소스(source)"로 라벨이 붙여진 다른 세트의 TU들은 전체로서 보아 색 화상의 개략적 표현이다. 소스 이미지에서 보이는 이미지 특징들(좌상측 삼각형 및 우하측 삼각형)은 실제로 휘도의 변화들을 표현하는 것이 아니라 두 삼각형 영역들 사이의 색차의 변화들만을 표현한다. 이 경우, 휘도 샘플들에 대해 Cr에 대한 LM_Chroma를 기초하는 것은 불량한 예측을 생성하지만, Cb 샘플들에 대해 이를 기초하는 것은 더욱 양호한 예측을 제공할 수 있다.
어떤 LM_Chroma가 사용될지에 관한 판정은 상이한 옵션들(공존된 루마 또는 공존된 크로마 샘플들에 대해 LM_Chroma를 기초하는 옵션을 포함)의 시험 인코딩에 기초하여 제어기(343) 및/또는 모드 제어기(520)에 의해 이루어질 수 있고, 어떤 모드를 선택할지에 관한 판정은 상술된 것과 유사하게, 상이한 시험 인코딩들에 대해 비용 함수를 평가함으로써 이루어진다. 비용 함수의 예들은 잡음, 왜곡, 에러 레이트 또는 비트 레이트이다. 이들 비용 함수들 중 임의의 하나 이상의 최하를 제공하는 시험 인코딩을 받는 이들 중에서 모드가 선택된다.
도 21은 본 발명의 실시예들에서 인트라-예측을 위해 기준 샘플들을 획득하기 위해 사용되는 방법을 개략적으로 도시한다. 도 21을 보면, 인코딩이 스캔 패턴에 따라 실행되어, 일반적으로 말해 인코딩될 현재 버전의 상측 및 좌측의 블록들의 인코딩된 버전들이 인코딩 처리에 사용가능하다는 것을 유념해야 한다. 때때로, 좌하측 또는 우상측의 샘플들이 현재 LCU 내의 다른 이미 인코딩된 TU들의 일부로서 이전에 코딩된 경우에는 이들이 사용된다. 예를 들면, 상술된 바와 같이 도 13에 대한 참조가 이루어진다.
음영된 영역(1210)은 현재 TU, 즉 현재 인코딩중인 TU를 표현한다.
4:2:0 및 4:2:2에서, 현재 TU의 바로 좌측의 픽셀들의 열은 수평 서브샘플링으로 인해 공존된 휘도 및 색차 샘플들을 포함하지 않는다. 즉, 이것은 4:2:0 및 4:2:2 포맷들이 휘도 픽셀들보다 1/2배 많은 색차 픽셀들 가지기 때문(수평 방향으로)이고, 그래서 모든 휘도 샘플 위치가 공존된 색차 샘플을 가지지 않는다. 따라서, 휘도 샘플들이 TU의 바로 좌측의 픽셀들의 열에 존재할 수 있지만, 색차 샘플들은 존재하지 않는다. 따라서, 본 발명의 실시예들에서, 현재 TU의 좌측에 2개의 샘플들이 위치된 열은 LM_Chroma에 대한 기준 샘플들을 제공하기 위해 사용된다. 현재 TU의 바로 좌측 열이 실제로 공동-위치된 루마 및 크로마 샘플들을 포함하지 않는다는 점에서 4:4:4에서 상황이 상이하다는 것을 유념한다. 이것은 따라서 기준 샘플들을 제공하기 위해 사용될 수 있다.
기준 샘플들은 다음과 같이 사용된다.
LM_Chroma 모드에서, 예측된 크로마 샘플들은 선형 관계에 따라 재구성된 루마 샘플들로부터 도출된다. 따라서, 일반적으로 말해, TU 내의 예측된 색차 값들은:
PC = a + bPL
에 의해 주어진다고 말할 수 있고, 여기서 PC는 색차 샘플 값이고, PL은 그 샘플 위치에서의 재구성된 휘도 샘플 값이고, b는 상수들이다. 상수들은 그 블록 바로 위의 행에서 및 그 블록 바로 좌측의 열에서 재구성된 루마 샘플들과 크로마 샘플들 사이의 관계를 검출함으로써 특정 블록에 대해 도출되고, 이들은 이미 인코딩된 샘플 위치들이다(상기에서 알 수 있음).
본 발명의 실시예들에서, 상수들 a 및 b는 다음과 같이 도출된다:
a = R(PL', PC')/R(PL', PL')
여기서 R은 선형(적어도 정방들) 회귀 함수를 표현하고, PL' 및 PC'는 상기에 논의된 바와 같이 인접한 행 및 열로부터 각각 휘도 및 색차 샘플들이고, 및:
b = mean(PC') - a.mean(PL')
4:4:4에 대해, PL' 및 PC' 값들은 현재 TU의 바로 좌측의 열 및 현재 TU 바로 상부의 행으로부터 취해진다. 4:2:2에 대해, PL' 및 PC' 값들은 현재 TU의 바로 상부의 행 및 현재 TU의 좌측 에지로부터 떨어진 2개의 샘플 위치들인 인접한 블록의 열로부터 취해진다. 4:2:0에 대해(수직 및 수평으로 서브샘플링된), PL' 및 PC' 값들은 현재 TU의 상부의 2개의 행들인 행으로부터 취해지는 것이 이상적인지만, 실제로는 현재 TU의 상부의 하나의 샘플 위치들인 인접한 블록, 및 현재 TU의 좌측 에지로부터 떨어진 2개의 샘플 위치들인 인접한 블록의 열로부터 취해진다. 이유는 데이터의 부가의 전체 행을 메모리에 유지해야 하는 것을 회피하는 것이다. 따라서 이 점에서, 4:2:2 및 4:2:0이 유사한 방식으로 다루어진다.
따라서, 이들 기술들은 색차 예측 모드를 가진 비디오 코딩 방법들에 적용하고, 여기서 이미지의 영역을 표현하는 색차 샘플들의 현재 블록은 이미지의 동일 영역을 표현하는 휘도 샘플들(재구성된 휘도 샘플들과 같은)의 공동-위치된 블록에 대한 색차 샘플들의 관계를 도출 및 인코딩함으로써 인코딩된다. 관계(선형 관계와 같은)는 인접한 이미-인코딩된 블록들로부터 공동-위치된(그렇지 않으면 대응적으로-위치된으로 표현됨) 휘도 및 색차 샘플들을 비교함으로써 도출된다. 색차 샘플들은 관계에 따라 휘도 샘플들로부터 도출되고; 예측된 색차 샘플들과 실제 색차 샘플들 사이의 차는 잉여 데이터로서 인코딩된다.
색차 샘플들이 휘도 샘플들과 동일한 샘플링 레이트를 가지는 제 1 샘플링 해상도(4:4:4와 같은)에 대해, 공동-위치된 샘플들은 현재 블록에 인접한 샘플 위치들에서의 샘플들이다.
색차 샘플들이 휘도 샘플들보다 낮은 샘플링 레이트를 가지는 제 2 샘플링 해상도(4:2:2 또는 4:2:0과 같은)에 대해, 인접한 이미-인코딩된 블록으로부터 공동-위치된 휘도 및 색차 샘플들의 가장 근접한 열 또는 행은 공동-위치된 샘플들을 제공하기 위해 사용된다. 또는, 제 2 샘플링 해상도가 4:2:0 샘플링 해상도인 경우에, 대응적으로-위치된 샘플들은 현재 블록에 인접한 샘플들의 행 및 인접한 이미-인코딩된 블록들로부터, 대응적으로-위치된 휘도 및 색차 샘플들의 가장 근접한 열 또는 행이다.
도 22는 루마 샘플들에 대한 사용가능한 예측 각도들을 개략적으로 도시한다. 현재 픽셀은 도면의 중앙에 픽셀(1220)로 도시된 바와 같이 예측된다. 더 작은 점들(1230)은 인접한 픽셀들을 표현한다. 현재 픽셀의 좌상부측들 상에 위치된 것들은 이전에 인코딩되었기 때문에 예측을 생성하기 위해 기준 샘플들로서 사용가능하다. 다른 픽셀들은 현재 알려지지 않고(픽셀(1220)을 예측할 때) 적절한 때에 스스로 예측될 것이다.
각각 번호가 붙여진 예측 방향은 현재 예측된 픽셀을 생성하기 위해 사용되는 현재 블록의 좌상부 에지들 상의 후보 기준 샘플들의 그룹 내로부터 기준 샘플들(1230)을 포인팅한다. 더 작은 블록들의 경우에, 예측 방향들이 기준 샘플들 사이의 위치들을 포인팅하는 경우, 인접한 기준 샘플들(현재 예측 모드에 의해 표시된 방향에 의해 포인팅된 샘플 위치의 양측) 사이의 선형 보간이 사용된다.
이제 크로마 샘플들에 대한 인트라-각도 예측으로 돌아가서, 4:2:0에 대해, 크로마 샘플들의 상대적 희소성으로 인해 소수의 예측 방향들이 사용가능하다. 그러나, DM_CHROMA 모드가 선택되면 현재 크로마 블록은 공존된 루마 블록과 동일한 예측 방향을 사용할 것이다. 결국, 이것은 인트라-예측에 대한 루마 방향들이 크로마에도 또한 사용가능하다는 것을 의미한다.
그러나, 4:2:2에서 크로마 샘플들에 대해, 크로마 블록들이 이제 루마 블록들의 애스팩트 비와 상이한 애스팩트 비를 가지는 것을 고려하면, DM_CHROMA이 선택될 때 루마와 동일한 예측 알고리즘 및 방향을 사용하는 것이 직관에 반대되게 고려될 수 있다. 예를 들면, 샘플들의 정방 루마 어레이에 대한 45°라인은 장방 규격의 샘플들의 어레이일지라도 크로마 샘플들에 대한 45°라인으로 여전히 매핑되어야 한다. 장방 그리드를 정방 그리드 상으로 오버레이하는 것은 45° 라인이 사실상 26.6° 라인으로 매핑되는 것을 나타낸다.
도 23은 예측될 현재 픽셀(1220)에 관해, 4:2:2에서 크로마 픽셀들에 적용될 때의 루마 인트라-예측 방향들을 개략적으로 도시한다. 4:2:2가 루마 채널에 비해 크로마 채널에서 수평 샘플링 레이트의 1/2를 가지기 때문에, 수직으로 존재할 때보다 1/2배 많은 픽셀들이 수평으로 존재한다는 것을 유념한다.
도 24는 4:2:2 크로마 픽셀들의 정방 그리드로의 변환 또는 매핑과, 후속적으로 이 변환이 어떻게 예측 방향들을 변경하는지를 개략적으로 도시한다.
루마 예측 방향들은 점선들(1240)로 도시된다. 크로마 픽셀들(1250)은 대응하는 루마 어레이의 넓이(1260)의 반의 장방 어레이를 제공하는 정방 그리드로 리매핑된다(도 22에 도시된 바와 같이). 도 23에 도시된 예측 방향들은 장방 어레이에 리매핑되었다. 방향들의 어떤 쌍들에 대해(한 쌍은 루마 방향 및 크로마 방향임) 오버랩 또는 근접한 관계가 존재한다는 것을 알 수 있다. 예를 들면, 루마 어레이에서 방향 2는 실질적으로 크로마 어레이에서의 방향 6 위에 가로놓인다. 그러나, 또한 일부 루마 방향들에서, 이들의 대략 반은 대응하는 크로마 방향을 가지지 않는다는 것을 유념할 것이다. 일례로 3으로 번호가 매겨진 루마 방향이다. 또한, 일부 크로마 방향들(2-5)은 루마 어레이에서 등가를 가지지 않고, 일부 루마 방향들(31-34)은 크로마 어레이에서 등가를 가지지 않는다. 그러나 일반적으로, 도 24에 도시된 중첩은 루마 및 크로마 채널들 둘 모두에 대해 동일한 각도를 사용하는 것이 부적합하다는 것을 논증한다.
도 33은 예측 방향을 정의하는 "각도 단계(angle step)"를 수정하기 위한 구성(제어기(343)의 기능의 일부로서 구현될 수 있음)을 개략적으로 도시한다. 도 33에서, 각도 단계는, 입력 각도 단계에 의해 인덱스된, 룩-업 테이블과 같은 지원 데이터(1510)를 사용하거나, 입력 각도 단계들을 출력 각도 단계들에 매핑하거나, 미리 결정된 수정 알고리즘 또는 함수를 데이터 규정함으로써, 입력 각도 단계에 의해 규정된 방향을 출력 각도 단계에 의해 규정된 방향으로 매핑하는 수정기(1500)에 공급된다.
그러나 도 33의 동작을 상세히 논의하기 전에, 예측 각도들의 도출, 및 특히 "각도 단계들"에 대한 부가적인 배경이 제공될 것이다.
상기에 논의된 바와 같이, 인트라-예측 동작에서, 현재 블록 내의 샘플들은 하나 이상의 기준 샘플들로부터 예측될 수 있다. 이들은 현재 블록(1560) 상측의 행 및 현재 블록 좌측의 열을 형성하는 후보 기준 샘플들의 그룹으로부터 선택된다. 도 33은 후보 기준 샘플들의 이러한 행(1520) 및 열(1530)을 개략적으로 도시한다.
후보 기준 샘플들 내에서, 특정 예측 동작을 위해 사용될 실제 샘플은 예측 방향에 의해 포인팅된다. 이것은 "각도 단계"로 표현된다. 주로 수직인 예측 방향에 대해(이 콘텍스트에서는 행(1520)에서 기준 샘플을 어드레싱할 것임), 각도 단계는 예측되는 현재 샘플의 위치(1550)의 수직 상측에 대체되는 샘플 위치(1540)의 좌측 또는 우측에 대한 오프셋이다. 주로 수평인 예측 방향에 대해(이 콘텍스트에서는 열(1530)에서 기준 샘플을 어드레싱할 것임), 각도 단계는 현재 샘플의 위치(1550)의 좌측에 수평으로 대체되는 샘플 위치(1570)의 상측 또는 하측의 오프셋이다.
따라서 각도 단계가 제로일 수 있거나(순수 수평 또는 순수 수직 예측 방향의 경우에), 또는 어느 관점에서든(상/하/좌/우) 대체를 표현할 수 있다는 것을 알 것이다.
사실상, 본 발명의 실시예들 내의 계산을 위해, 열(1530) 및 행(1520)은 열(1530)의 하부에서 시작하여 행(1520)의 우단으로 진행하는 후보 기준 샘플들의 세트를 제공하는 단일 순서의 선형 어레이로서 고려될 수 있다. 본 발명의 실시예들에서, 선형 어레이는 선형 어레이를 따라 평탄화 또는 로-패스 필터링 동작을 적용하도록 필터링된다(예측기(530)의 일부를 형성하는 필터에 의해). 적합한 평탄화 필터의 예는 표준화된 1-2-1 필터이고, 즉 필터는 (선형 어레이에서) 좌측에 대한 샘플의 ¼, 그 샘플의 ½ 및 (선형 어레이에서) 우측에 대한 샘플의 ¼의 합에 의해 특정 샘플(기준 샘플로서 동작하기 위한 목적으로만)을 대체한다. 평탄화 필터는 모든 어레이 또는 어레이의 서브세트(행 또는 열에서 비롯되는 샘플들과 같은)에 적용될 수 있다.
(a) DM_CHROMA가 선택될 때 및 (b) 현재 사용중인 DM_CHROMA 모드가 크로마 예측 방향이 공존된 루마 블록의 방향이어야 한다는 것을 나타낼 때 크로마에 대한 적합한 예측 각도를 도출하기 위해, 다음의 절차가 수정기(1500)에 의해 각도 단계 값들을 수정하도록 적용된다. 절차는 각도 단계의 역을 의미한다는 것을 유념한다. 이 값은 예측을 생성하도록 실행되는 계산들의 편리한 특징으로서 사용될 수 있지만, 이것은 본 논의에 중요한 각도 단계의 변형이다.
(ⅰ) 루마 방향에 따라 인트라-예측 각도 단계(및, 선택적으로 루마 방향에 따라 그 역)를 도출한다.
(ⅱ) 루마 방향이 주로 수직(즉, 예를 들면, 18에서 34까지 포함하여 번호가 매겨진 모드)이면, 인트라-예측 각도 단계는 반감된다(그리고 그 역은 배가된다).
(ⅲ) 그렇지 않고, 루마 방향이 주로 수평(즉, 예를 들면, 2에서 17까지 포함하여 번호가 매겨진 모드)이면, 인트라-예측 각도 단계는 배가된다(그리고 그 역은 반감된다).
이들 계산들은 샘플 위치들의 루마 그리드 또는 샘플 위치들의 다른 서브샘플링된 크로마 그리드에 대해 도출된 방향을 4:2:2에 적용가능한 방향으로 매핑하기 위해, 각도 단계 값들을 수정하기 위한 미리 결정된 알고리즘의 수정기(1500)에 의한 응용예를 표현한다. 입력 각도 단계들의 출력 각도 단계들로의 룩-업 테이블 매핑 대신 의미하는 수정기(1500)에 의해 유사한 결과가 획득될 수 있다.
따라서, 이들 실시예들에서, 예측 방향은 예측될 현재 샘플들의 세트의 상측 및 좌측에 각각 구성된 샘플들의 수평 행 및 수직 열을 포함하는 후보 기준 샘플들의 그룹에 대한 샘플 위치를 규정한다. 예측기(530)는, 상기 논의된 바와 같이, 후보 기준 샘플들의 그룹을 기준 샘플들의 선형 어레이로서 순서화하고; 선형 어레이를 따르는 방향으로 선형 어레이 기준 샘플들에 평탄화 필터를 적용하는 평탄화 동작을 구현한다.
매핑을 실행하는 처리는 예를 들면, 각도 단계들에 대해 실행될 수 있고, 여기서 현재 샘플에 대한 예측 방향은 연관된 각도 단계로 정의되고; 주로 수직인 예측 방향에 대한 각도 단계는 현재 샘플로부터 수직으로 대체된 그 행에서의 샘플 위치에 관해, 후보 기준 샘플들의 그룹의 샘플 위치들의 수평 행을 따른 오프셋이이고; 주로 수평인 예측 방향에 대한 각도 단계는 현재 샘플로부터 수평으로 대체된 그 열에서의 샘플 위치에 관해, 후보 기준 샘플들의 그룹의 샘플 위치들의 수직 열을 따른 오프셋이이고; 오프셋에 의해 표시된 수평 행 또는 수직 열을 따른 샘플 위치는 현재 샘플의 예측시 사용될 샘플 위치에 대한 포인터를 제공한다.
일부 실시예들에서, 방향 매핑을 적용하는 단계는 미리 결정된 함수를 제 1 예측 방향에 대응하는 각도 단계에 적용하는 단계를 포함할 수 있다. 이러한 함수의 예는 상술된, 즉:
제 1 예측 방향에 따라 각도 단계를 도출하는 단계; 및
(ⅰ) 제 1 예측 방향이 주로 수직이면, 제 2 예측 방향의 각도 단계를 생성하기 위해 각각의 각도 단계를 반감하는 단계; 또는
(ⅱ) 제 1 예측 방향이 주로 수평이면, 제 2 예측 방향의 각도 단계를 생성하기 위해 각각의 각도 단계를 배가하는 단계이다.
본 발명의 실시예들에서, 각도 단계(상기에 도출된 수정된 단계와 같은)가 정수가 아니면, 각도 단계는 현재 샘플의 예측을 제공하기 위한 보간을 위해 후보 기준 샘플들(예를 들면, 그 방향에 의해 포인팅된 위치의 양측의 2개의 샘플들)의 그룹 내에 둘 이상의 샘플들 위치들의 그룹을 정의하도록 사용된다.
본 발명의 다른 실시예들에서, 방향 매핑을 적용하는 단계는 룩-업 테이블을 인덱싱하기 위해 제 1 미리 결정된 방향을 사용하는 단계를 포함하고, 테이블은 제 2 예측 방향의 대응하는 값들을 제공한다.
본 발명의 실시예들에 따라, 제 1 예측 방향을 검출하는 단계는: 인코딩 동작의 경우에, 둘 이상의 후보 예측 방향들의 시험에 따라 예측 방향을 선택하는 단계; 또는 디코딩 동작의 경우에, 디코딩될 비디오 데이터와 연관된 예측 방향을 정의하는 정보를 검출하는 단계를 포함할 수 있다. 이것은 코딩 및 디코딩 시스템들의 일반적인 관점 구별 실시예들이고; 디코더에서, 특정 파라미터들은 인코딩된 데이터 또는 이와 연관되어 제공된다. 인코더에서, 이러한 파라미터들은 디코더에 대한 인코딩된 데이터와의 통신을 위해 생성된다.
본 발명의 실시예들에서, 제 1 예측 방향은 샘플들의 세트의 휘도 샘플들의 예측을 위해 사용되고; 그 제 1 예측 방향으로부터의 적용 단계에 의해 도출되는 제 2 예측 방향은 샘플들의 그 세트의 색차 샘플들의 예측을 위해 사용된다.
본 발명의 실시예들은, 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 모드에 따라 예측되는 비디오 코딩 또는 디코딩 방법으로서, 제 1 색차 성분의 샘플들로부터 제 2 색차 성분의 샘플들을 예측하는 단계를 포함하는 비디오 코딩 또는 디코딩 방법을 제공할 수 있다.
본 발명의 실시예들은, 샘플들의 세트들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법으로서, 예측 방향은 예측될 현재 샘플들의 세트에 대해 구성된 후보 기준 샘플들의 그룹에 대해 샘플 위치를 정의하는, 상기 비디오 코딩 또는 디코딩 방법에 있어서:
후보 기준 샘플들의 그룹을 기준 샘플들의 선형 어레이로서 순서화하는 단계; 및
선형 어레이를 따르는 방향으로 기준 샘플들의 선형 어레이의 서브세트에 평탄화 필터를 적용하는 단계를 포함하는 비디오 코딩 또는 디코딩 방법을 제공할 수 있다.
본 발명의 실시예들은, 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 동일한 이미지로부터 도출된 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법으로서, 색차 샘플들은 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖고, 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 상기 비디오 코딩 또는 디코딩 방법에 있어서:
제 1 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들의 선택을 정의하는 예측 모드를 선택하는 단계; 및
제 1 색차 성분의 상기 현재 색차 샘플과 공동-위치된, 제 2 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들의 상이한 선택을 정의하는 상이한 예측 모드를 선택하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법을 제공할 수 있다.
본 발명의 실시예들은, 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 코딩 또는 디코딩 방법에 있어서:
애스팩트 비의 차에 의존하여 상이한 각각의 예측 알고리즘을 휘도 및 색차 샘플들에 적용하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법을 제공할 수 있다.
도 33은 사용 중인 이 기술의 예를 도시한다. 각도 단계(1580)는 루마 그리드에 따라 도출된다. (루마 샘플 예측에 대해서도 또한 사용되는 것이 가능하지만, 루마 그리드 및 절차들에 따라 도출된다는 본 논의에 있어서 충분하다. 즉, 이것은 사실상 루마 예측을 위해 사용되지 않을 수 있다). 4:2:2 크로마 샘플들(1580)의 어레이는 동일한 그리드 상에 이중-넓이인 것으로 도시되지만; 그러한 경우 동일한 예측 방향(1590)을 사용하여 상이한 기준 샘플(수직 위치된 샘플(1540)로부터 상이한 오프셋)을 포인팅한다. 따라서, 각도 단계는 크로마 그리드에서 동일한 예측 방향을 표현하기 위해 정확한 크로마 기준 샘플을 포인팅하는 수정된 각도 단계(1600)를 제공하도록 상술된 절차에 따라 수정된다.
따라서, 본 발명의 이들 실시예들은, 휘도 및 색차 샘플들이 예측될 현재 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법, 장치 또는 프로그램에 관한 것이다. 4:2:2와 같은 모드들에서 색차 샘플들은 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하다. 요약하면, 이것은 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 가지는 것을 의미한다.
예를 들면, 인트라 프레임 예측기(530)는 예측될 현재 샘플들의 세트에 대해 제 1 애스팩트 비의 제 1 그리드에 관해 규정된 제 1 예측 방향을 검출하는 검출기로서; 및 상이한 애스팩트 비의 제 2 그리드에 관해 규정된 제 2 예측 방향을 생성하도록 방향 매핑을 예측 방향에 적용하는 방향 매퍼로서 동작 가능하다. 따라서, 예측기(530)는 방향 매퍼의 예를 표현한다. 예측기(540)는 다른 대응하는 예를 제공할 수 있다.
본 발명의 실시예들에서, 제 1 예측 방향을 검출하기 위해 사용되는 제 1 그리드는 휘도 또는 색차 샘플들 중 하나의 샘플 위치들에 관해 정의되고, 제 2 예측 방향을 검출하기 위해 사용되는 제 2 그리드는 휘도 또는 색차 샘플들 중 다른 하나의 샘플 위치들에 관해 규정된다. 본 기술에 논의된 특정 예들에서, 휘도 예측 방향은 색차 예측 방향을 제공하기 위해 수정될 수 있다. 그러나, 반대로도 사용될 수 있다.
이 기술은 인트라-예측에 특히 적용가능하여, 기준 샘플들은 예측될 샘플들과 동일한 각각의 이미지로부터 도출되는(예를 들면, 상기 각각의 이미지로부터 도출된 압축 데이터로부터 재구성되는) 샘플들이다.
적어도 일부 구성들에서, 제 1 예측 방향은 현재 휘도 샘플을 포함하는 휘도 샘플들의 정방 블록에 관해 정의되고; 제 2 예측 방향은 현재 색차 샘플을 포함하는 색차 샘플들의 장방 블록에 관해 규정된다.
두 색차 성분들에 대한 독립된 예측 모드들을 제공하는 것이 가능하다. 이러한 구성에서, 색차 샘플들은 제 1 및 제 2 색차 성분들의 샘플들을 포함하고, 이 기술은 제 1 색차 성분(Cb와 같은)에 관해 상기 논의된 방향 매핑 단계를 적용하는 단계; 및 (예를 들면,) 제 1 색차 성분의 샘플들로부터 제 2 색차 성분을 예측하는 것을 관련시킬 수 있는 제 2 색차 성분(Cr과 같은)에 관해 상이한 예측 모드를 제공하는 단계를 포함한다.
비디오 데이터는 예를 들면, 4:2:2 포맷일 수 있다.
디코더 또는 디코딩 방법의 경우에, 예측 방향들은 인코딩된 비디오 데이터에서 예측 방향들을 정의하는 데이터를 검출함으로써 검출될 수 있다.
일반적으로 말해, 본 발명의 실시예들은 색차 성분들에 대한 독립된 예측 모드들을 제공할 수 있다(예를 들면, 휘도 및 색차 성분들의 각각에 대해 별도로). 이들 실시예들은, 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 동일한 이미지로부터 도출되는 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 방법으로서, 색차 샘플들은 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖고, 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 비디오 코딩 방법에 관한 것이다.
인트라 프레임 모드 선택기(520)는 제 1 색차 성분(Cb와 같은)의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들의 선택을 정의하는 예측 모드를 선택한다. 이것은 또한, 제 1 색차 성분의 현재 색차 샘플과 공동-위치된, 제 2 색차 성분(Cr과 같은)의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들의 상이한 선택을 정의하는 상이한 예측 모드를 선택한다.
기준 샘플 필터는, 수평 샘플들 또는 수직 샘플들(또는 둘 모두)에 선택적으로 적용될 수 있다. 상기에 논의된 바와 같이, 필터는 좌하측 및 우상측을 제외한 모든 루마 기준 샘플들에 현재 적용되는 3-탭 표준화된 "1 2 1" 필터일 수 있다(N×N 블록의 샘플들은 크기 2N+1의 단일 1D 어레이를 형성하기 위해 함께 수집된 후에, 선택적으로 필터링된다). 본 발명의 실시예들에서, 4:2:2에 대해 처음(좌측 에지) 또는 마지막(상측 에지) N+1 크로마 샘플들만 적용되지만; 좌하측, 우상측 및 좌상측이 조정되지 않는 것을 유념하고; 또는 4:2:2 및 4:4:4에 대해, 모든 크로마 샘플들(루마에 대해서와 같이) 적용된다.
본 발명의 실시예들은 또한, 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 모드에 따라 예측되는(예를 들면, 다른 각각의 기준 샘플들 또는 값들로부터) 비디오 코딩 또는 디코딩 방법들, 장치 또는 프로그램들로서, 제 1 색차 성분의 샘플들로부터 제 2 색차 성분의 샘플들을 예측하는 것을 관련시키는 비디오 코딩 또는 디코딩 방법들, 장치 또는 프로그램들을 제공할 수 있다. 일부 실시예들에서, 예측될 샘플과 연관된 예측 모드는 그 샘플이 예측되는 하나 이상의 다른 각각의 기준 샘플들을 정의하는 예측 방향을 표시할 수 있다.
본 발명의 실시예들은 또한, 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 모드에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법들, 장치 또는 프로그램들로서, 기준 샘플들을 필터링하는 것을 관련시키는 비디오 코딩 또는 디코딩 방법들, 장치 또는 프로그램들을 제공할 수 있다.
도 19 및 도 20을 참조하여 논의된 바와 같이, 상이한 예측 모드는 제 2 색차 성분의 샘플들이 제 1 색차 성분의 샘플들로부터 예측되는 모드를 포함할 수 있다는 것이 가능하다.
모드 0 및 모드 1은 각도 예측 모드들이 아니므로 이 절차에서 포함되지 않는다는 것을 유념한다. 상기에 도시된 절차의 효과는 도 24에서 크로마 예측 방향들을 루마 예측 방향들로 매핑하는 것이다.
4:2:0에 대해, 순수하게 수평인 예측 모드(루마 모드 10) 또는 순수하게 수직인 예측 모드(루마 모드 26)가 선택될 때, 예측된 TU의 상측 또는 좌측 에지들은 루마 채널에 대해서만 필터링받는다. 수평 예측 모드에 대해, 상측 행은 수직 방향으로 필터링된다. 수직 예측 모드에 대해, 좌측 열은 수평 방향으로 필터링된다.
샘플들의 열을 수평 방향으로 필터링하는 것은 수평으로 배향된 필터를 샘플들의 열의 각각의 샘플에 차례로 적용하는 것으로서 이해될 수 있다. 따라서 개별 샘플에 대해, 그 값은 그 샘플의, 및 그 샘플로부터 수평 방향으로 대체된 샘플 위치들에서의 하나 이상의 다른 샘플들(즉, 해당 샘플의 좌측 및/또는 우측에 대한 하나 이상의 다른 샘플들)의 현재 값으로부터 생성되는 필터링된 값에 기초하여, 필터의 작용에 의해 수정될 것이다.
샘플들의 행을 수직 방향으로 필터링하는 것은 수직으로 배향된 필터를 샘플들의 행의 각각의 샘플에 차례로 적용하는 것으로서 이해될 수 있다. 따라서 개별 샘플에 대해, 그 값은 그 샘플의, 및 그 샘플로부터 수직 방향으로 대체된 샘플 위치들에서의 하나 이상의 다른 샘플들(즉, 해당 샘플의 상측 및/또는 하측의 하나 이상의 다른 샘플들)의 현재 값으로부터 생성되는 필터링된 값에 기초하여, 필터의 작용에 의해 수정될 것이다.
상술된 에지 픽셀 필터링 처리의 일 목적은 예측에서 블록 기반 에지 효과들을 감소시키기 위한 것이고 그에 의해 잉여 이미지 데이터에서의 에너지를 감소시키기 위한 것이다.
본 발명의 실시예들에서, 대응하는 필터링 처리는 또한 4:4:4 및 4:2:2에서 크로마 TU들에 대해 제공된다. 수평 서브샘플링을 고려하여, 일 제안은 4:2:2에서 크로마 TU의 상측 행만을 필터링하는 것이지만, 4:4:4에서 상측 행 및 좌측 열 둘 모두(적합하게, 선택된 모드에 따라)를 필터링하는 것이다. (필터링해내는 경우) 잉여 데이터의 증가된 에너지를 유발하는 유용한 상세들을 너무 많이 필터링해내는 것을 회피하도록 이들 영역들에서만 필터링하는 것이 적합하게 고려된다.
4:2:0에 대해, DC 모드가 선택될 때 예측된 TU의 상측 및/또는 좌측 에지들은 루마 채널만을 필터링받는다.
필터링은 DC 모드에서, 필터가 두 에지들 모두들 상의 모든 샘플들에 대해 (1×이웃하는 외부 샘플+3*에지 샘플)/4 평균 연산을 수행하게 될 수 있다. 그러나, 좌상측에 대해, 필터 함수는 (2×현재 샘플+1×상측 샘플+1×좌측 샘플)/4이다.
H/V 필터는 이웃하는 외부 샘플과 에지 샘플 사이의 평균이다.
본 발명의 실시예들에서, 이 필터링 처리는 또한 4:4:4 및 4:2:2에서 크로마 TU들에 대해 제공된다. 다시, 수평 서브샘플링을 고려하여, 본 발명의 일부 실시예들에서, 크로마 샘플들의 상측 행만 4:2:2에 대해 필터링되지만, 크로마 TU의 상측 행 및 좌측 열은 4:4:4에 대해 필터링된다.
따라서, 이 기술은, 4:4:4 포맷 또는 4:2:2 포맷에서 휘도 및 색차 샘플들이 예측될 샘플들의 블록들과 연관된 예측 방향에 따라 다른 각각의 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법, 장치 또는 프로그램에 관해 적용할 수 있다.
본 기술의 실시예들에서, 예측 방향은 예측될 현재 블록에 관해 검출된다. 색차 샘플들의 예측된 블록은 예측 방향에 의해 정의되는 다른 색차 샘플들에 따라 생성된다. 검출된 예측 방향이 실질적으로 수직이면(예를 들면, 정확하게 수직인 모드의 +/- n 모드들 내에 있고 n은 (예를 들면,) 2인), 샘플들의 좌측 열이 색차 샘플들의 예측된 블록에서 필터링된다(예를 들면, 수평 방향으로). 또는 검출된 예측 방향이 실질적으로 수평이면(예를 들면, 정확하게 수평인 모드의 +/- n 모드들 내에 있고 n은 (예를 들면,) 2인), 샘플들의 상측 행이 색차 샘플들의 예측된 블록에서 필터링된다(예를 들면, 수직 방향으로). 그 후에 필터링되는 예측된 색차 블록과 실제 색차 블록 사이의 차가 예를 들면, 잉여 데이터로서 인코딩된다. 대안적으로, 실질적으로 수직 또는 수평 모드보다는 정확하게 수직 또는 수평 모드에 대한 테스트가 있을 수 있다. +/- n의 허용오차는 테스트들 중 하나(수직 또는 수평)에 적용될 수 있지만 다른 하나는 적용될 수 없다.
인터 -예측
HEVC에서의 인터 예측은 장방 PU들을 이미 허용하고, 따라서 4:2:2 및 4:4:4 모드들은 PU 인터-예측 처리와 이미 호환 가능하다는 것을 유념한다.
비디오 이미지의 각각의 프레임은 실제 장면의 이산 샘플링이고, 결과적으로 각각의 픽셀은 색의 실-세계 기울기(real-world gradient) 및 밝기의 단계적 근사치이다.
이러한 인식에서, 이전 비디오 프레임의 값으로부터 새로운 비디오 프레임의 픽셀 Y, Cb 또는 Cr 값을 예측할 때, 그 이전 비디오 프레임의 픽셀들은 새로운 픽셀에 대한 밝기 또는 색의 더욱 정확한 선택을 허용하기 위해, 오리지널 실-세계 기울기들의 더욱 양호한 추정을 생성하도록 보간된다. 결과적으로, 비디오 프레임들 사이를 포인팅하는데 사용될 움직임 벡터들은 정수 픽셀 해상도에 제한되지 않는다. 오히려, 이들은 보간된 이미지 내의 서브-픽셀 위치에 포인팅할 수 있다.
4:2:0 인터-예측
이제 도 25 및 도 26을 참조하면, 상기에 유념한 바와 같은 4:2:0 방식에서 통상적으로 8×8 루마 PU(1300)는 Cb 및 Cr 4×4 크로마 PU들(1310)과 연관될 것이다. 결과적으로 루마 및 크로마 픽셀 데이터를 최대 동일한 효과 해상도까지 보간하기 위해, 상이한 보간 필터들이 사용된다.
예를 들면, 8×8 4:2:0 루마 PU에 대해, 보간은 ¼ 픽셀이고, 따라서 8-탭×4 필터가 먼저 수평으로 적용된 다음, 동일한 8-탭×4 필터가 수직으로 적용되어, 루마 PU는 도 25에 도시된 바와 같이 보간된 어레이(1320)를 형성하기 위해 각각의 방향으로 효과적으로 4회 스트레칭된다. 한편 대응하는 4×4 4:2:0 크로마 PU가 동일한 최종 해상도를 생성하기 위해 1/8 픽셀 보간되고, 따라서 4-탭×8 필터가 먼저 수평으로 적용된 다음, 동일한 4-탭×8 필터가 수직으로 적용되어, 4:2:0 크로마 PU들은 도 26에 도시된 바와 같이, 어레이(1330)를 형성하기 위해 각각의 방향으로 효과적으로 8회 스트레칭된다.
4:2:2 인터-예측
4:2:2에 대한 유사한 구성이, 루마 PU(1350) 및 대응하는 크로마 PU들(1360)의 쌍을 도시하는 도 27 및 도 28을 참조하여 지금부터 기술될 것이다.
도 28을 참조하면, 이전에 유념한 바와 같이, 4:2:2 방식에서 크로마 PU(1360)는 비정방이 아닐 수 있고, 8×8 4:2:2 루마 PU의 경우에 대해서는 Cb 및 Cr 채널들의 각각에 대해 통상적으로 4 넓이 × 8 높이 4:2:2 크로마 PU일 것이다. 크로마 PU는, 도 26을 위해, 비정방 픽셀들의 정방 성형된 어레이로서 도시되는 것을 유념하지만, 일반적으로 말해 PU들(1360)은 4(수평)×8(수직) 픽셀 어레이들임을 유념한다.
따라서 크로마 PU에 대해 기존의 8-탭×4 루마 필터를 수직으로 사용하는 것이 가능할 수 있지만, 본 발명의 실시예에서, 4-탭×8 크로마 필터가 실제로 보간된 크로마 PU의 이븐 프렉셔널 위치들(even fractional locations)에만 관심이 있으므로 수직 보간에 충분하다는 것을 알았다.
따라서 도 27은 8-탭×4 필터로 이전과 같이 보간된 8×8 4:2:2 루마 PU(1350) 및 수평 및 수직 방향으로 기존의 4-탭×8 크로마 필터로 보간된 4×8 4:2:2 크로마 PU들(1360)을 도시하지만, 이븐 프렉셔널 결과들만이 수직 방향으로 보간된 이미지를 형성하기 위해 사용된다.
이들 기술들은 입력 비디오 데이터를 인코딩하기 위해 인터-이미지 예측을 사용하는 비디오 코딩 또는 디코딩 방법들, 장치 또는 프로그램들에 적용가능하고, 여기서 각각의 색차 성분은 휘도 성분의 수평 해상도의 제1/M 및 휘도 성분의 수직 해상도의 제1/N을 갖고, M 및 N은 1 이상인 정수들이다. 예를 들면, 4:2:2에 대해, M=2, N=1이다. 4:2:0에 대해, M=2, N=2이다.
프레임 저장(570)은 현재 이미지 이전의 하나 이상의 이미지들을 저장하도록 동작 가능하다.
보간 필터(580)는 저장된 이미지들의 예측 단위들의 더 높은 해상도 버전을 보간하도록 동작 가능하여, 보간된 예측 단위의 휘도 성분은 저장된 이미지의 대응하는 부분의 수평 해상도의 P배의 수평 해상도 및 저장된 이미지의 대응하는 부분의 수직 해상도의 Q배의 수직 해상도를 갖고, 여기서 P 및 Q는 1보다 큰 정수들이다. 현재 예들에서, P = Q = 4여서 보간 필터(580)는 ¼ 샘플 해상도에서 보간된 이미지를 생성하도록 동작 가능하다.
움직임 추정기(550)는 현재 이미지의 예측 단위와 하나 이상의 이전 이미지들의 영역들 사이의 움직임 벡터들을 생성하기 위해 현재 이미지와 하나 이상의 보간되는 저장된 이미지들 사이의 인터-이미지 움직임을 검출하도록 동작 가능하다.
움직임 보상된 예측기(540)는 각각의 움직임 벡터에 의해 포인팅되는 보간되는 저장된 이미지의 영역에 대해 현재 이미지의 예측 단위의 움직임 보상된 예측을 생성하도록 동작 가능하다.
보간 필터(580)의 동작의 논의로 돌아가서, 이 필터의 실시예들은 보간된 색차 예측 단위를 생성하기 위해 ×R 수평 및 ×S 수직 보간 필터를 저장된 이미지의 색차 성분들에 적용하도록 동작 가능하고, 여기서 R은 (U × M × P)과 같고 S는 (V × N × Q)과 같고, U 및 V는 1 이상과 같은 정수들이고; 보간된 색차 예측 단위를 서브샘플링하도록 동작 가능하여, 그 수평 해상도는 U의 계수로 나누어지고 그 수직 해상도는 V의 계수로 나누어지고, 그에 의해 MP × NQ 샘플들의 블록을 유발한다.
따라서, 4:2:2의 경우에, 보간 필터(580)는 수평 및 수직 방향들로 ×8 보간을 적용하지만, 그 후에는 예를 들면, 보간된 출력에서 매 두 번째 샘플을 사용함으로써 2의 계수에 의해 수직으로 서브샘플링된다.
따라서 이 기술은 동일한(예를 들면, ×8) 필터가 4:2:0 및 4:2:2에 대해 사용되도록 허용하지만, 4:2:2에 대해 필요한 경우 다른 단계의 서브샘플링도 사용된다.
본 발명의 실시예들에서, 논의된 바와 같이, 보간된 색차 예측 단위는 동일한 ×R 및 ×S 보간 필터들을 사용하여 보간된 4:2:0 포맷 예측 단위의 배가된 샘플들 높이를 가진다.
상이한 필터들을 제공할 필요는 이들 기술들을 사용하여, 특히 4:2:0 입력 비디오 데이터 및 4:2:2 입력 비디오 데이터에 대해 동일한 ×R 수평 및 ×S 수직 보간 필터들을 사용함으로써 회피되거나 또는 완화될 수 있다.
논의된 바와 같이, 보간된 색차 예측 단위를 서브샘플링하는 단계는 수직 방향으로 보간된 색차 예측 단위의 매 V번째 샘플을 사용하는 단계 및/또는 수직 방향으로 보간된 색차 예측 단위의 매 U번째 샘플을 사용하는 단계를 포함한다.
본 발명의 실시예들은 예측 단위에 대해 휘도 움직임 벡터를 도출하고; 독립적으로 그 예측 단위에 대해 하나 이상의 색차 움직임 벡터를 도출하는 것을 관련시킬 수 있다.
본 발명의 실시예들에서, R 및 S 중 적어도 하나는 2 이상과 같고, 본 발명의 실시예들에서 ×R 수평 및 ×S 수직 보간 필터들은 또한 저장된 이미지의 휘도 성분들에 적용된다.
4:4:4 인터-예측 변형들
확장에 의해, 기존의 4-탭×8 크로마 필터에 대한 이븐 프렉셔널 결과들만을 사용하는 동일한 원리가 8×8 4:4:4 크로마 PU들에 대해 수직 및 수평으로 둘 모두 적용될 수 있다.
이들 예들에 부가로, ×8 크로마 필터는 루마를 포함하여 모든 보간에 사용될 수 있다.
다른 인터 -예측 변형들
움직임 벡터(MV) 도출의 일 구현에서, 하나의 벡터가 P-슬라이스에서의 PU에 대해 생성된다(그리고 B 슬라이스에서의 PU에 대해 2개의 벡터들이 생성된다(여기서, MPEG P 및 B 프레임들과 유사한 방식으로, P-슬라이스는 이전 프레임으로부터 예측들을 취하고, B-슬라이스는 이전 및 다음 프레임으로부터 예측들을 취한다). 특히, 이 구현에서, 4:2:0 방식에서 벡터들은 모든 채널들에 공통이고, 또한 크로마 데이터는 움직임 벡터들을 계산하는데 사용될 필요가 없다. 즉, 모든 채널들은 루마 데이터에 기초하여 움직임 벡터를 사용한다.
본 발명의 실시예에서, 4:2:2 방식에서 크로마 벡터는 루마로부터 독립적이 되도록 도출될 수 있고(즉, Cb 및 Cr 채널들에 대한 단일 벡터가 별도로 도출될 수 있고), 4:4:4 방식에서 크로마 벡터들은 또한 Cb 및 Cr 채널들의 각각에 대해 독립적이 될 수 있다.
본 발명의 실시예들은, 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 모드에 따라 동일 이미지로부터 도출된 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법으로서, 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 상기 비디오 코딩 또는 디코딩 방법에 있어서; 적어도 일부의 샘플들에 대해, 이미지 영역에 대응하는 휘도 및 색차 성분들의 각각에 대해 동일한 예측 모드를 선택하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법을 제공할 수 있다.
본 발명의 실시예들은, 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 모드에 따라 동일 이미지로부터 도출된 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법으로서, 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 상기 비디오 코딩 또는 디코딩 방법에 있어서; 적어도 일부의 샘플들에 대해, 이미지 영역에 대응하는 휘도 및 색차 성분들의 각각에 대해 상이한 각각의 예측 모드들을 선택하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법을 제공할 수 있다.
어떤 경우든, 동일한 예측 모드 또는 상이한 각각의 예측 모드들은 이미지 영역에 대응하는 휘도 및 색차 성분들의 각각에 대해 사용될 수 있고, 선택은 이미지 시퀀스, 이미지 또는 이미지의 영역에 따라 이루어진다.
인코딩 동작에서 예측 모드 방식을 선택하기 위해, 실시예들은 예를 들면, 휘도 및 색차 성분들에 대해 동일한 예측 모드를 사용하여 이미지 영역의 제 1 시험 인코딩을 실행할 수 있고; 휘도 및 색차 성분들에 대해 상이한 각각의 예측 모드들을 사용하여 이미지 영역의 제 2 시험 인코딩을 실행할 수 있고; 제 1 및 제 2 시험 인코딩들에 의해 인코딩된 데이터에 기초하여 화상 시퀀스, 화상 또는 화상의 영역에 대해 사용하기 위해 동일한 예측 모드 또는 상이한 각각의 예측 모드들을 선택할 수 있다.
시험 결과들의 처리는 본 발명의 실시예들에서, 제 1 및 제 2 시험 인코딩들에 의해 인코딩된 데이터의 하나 이상의 미리 결정된 특성들을 검출하고; 검출된 하나 이상의 특성들에 기초하여 화상 시퀀스, 화상 또는 화상의 영역에 대해 사용하기 위해 동일한 예측 모드 또는 상이한 각각의 예측 모드들을 선택하는 것을 관련시킬 수 있다. 하나 이상의 특성들은 예를 들면, 이미지 잡음; 이미지 왜곡; 및 이미지 데이터 품질로 구성된 세트로부터 선택된 특성들을 포함할 수 있다. 개별 이미지 슬라이스들 또는 이미지 블록들에 대한 선택이 이루어질 수 있다. 발명의 실시예들은: 동일한 예측 모드들 또는 상이한 각각의 예측 모드들이 사용되는지; 및 예를 들면, 예측 모드에 관해 이 응용에서 논의된 번호부여 방식을 사용하여, 동일한 예측 모드가 사용되는 경우, 그 단일 예측 모드의 식별; 또는 상이한 각각의 예측 모드들이 사용되는 경우, 그들 상이한 각각의 예측 모드들의 식별을 표시하는 인코딩된 비디오 신호(예를 들면, 인코딩된 데이터 스트림의 일부로서, 데이터 스트림 내의 하나 이상의 데이터 플래그들로서)와 정보를 연관시키도록 동작 가능하다.
디코딩 동작을 실행하는 실시예들에 대해, 이 방법은: 디코딩을 위한 비디오 데이터와 연관된 정보를 검출하는 단계를 포함할 수 있고, 정보는 동일한 예측 모드 또는 상이한 예측 모드들이 디코딩을 위한 비디오 데이터와 연관되는지를 규정한다. 그러한 정보(예를 들면, 데이터 스트림에 대해 미리 결정된 위치에서 1-비트 플래그)가 동일한 예측 모드들이 사용된다고 표시하면, 디코더는 하나의 성분(루마와 같은)에 대해 규정된 예측 모드 정보를 다른 성분들(크로마와 같은)의 디코딩에 적용한다. 그렇지 않으면, 디코더는 개별적으로 명시된 예측 모드들을 각각의 성분에 적용한다.
본 발명의 실시예들에서, 논의된 바와 같이, 이미지는 4:2:2 또는 4:4:4 비디오 신호의 일부를 형성한다.
변환들
HEVC에서, 대부분의 이미지들은 이전에 인코딩된/디코딩된 프레임들로부터 움직임 벡터들로서 인코딩되고, 움직임 벡터들은 이들 다른 디코딩된 프레임들에서 그로부터 현재 이미지의 양호한 근사치를 복사할 장소를 디코더에 알린다. 결과는 현재 이미지의 근사치 버전이다. HEVC는 그 후에 소위 잉여를 인코딩하고, 이것은 근사치 버전과 정확한 이미지 사이의 에러이다. 이러한 잉여는 실제 이미지를 직접 명시하는 것보다 훨씬 더 적은 정보를 필요로 한다. 그러나, 여전히 전체 비트레이트를 더 감소하기 위해 이 잉여 정보를 압축하는 것이 일반적으로 바람직하다.
HEVC를 포함하는 많은 인코딩 방법들에서, 이러한 데이터는 정수 코사인 변환(integer cosine transform; ICT)을 사용하여 공간 주파수 도메인으로 변환되고, 통상적으로 일부 압축은 그 후에 원하는 압축 레벨에 따라 낮은 공간 주파수 데이터를 유지하거나 더 높은 공간 주파수 데이터를 폐기함으로써 달성된다.
4:2:0 변환들
HEVC에서 사용되는 공간 주파수 변환들은 통상적으로 4의 거듭제곱들의 계수들(예를 들면, 64 주파수 계수들)을 생성하는 것들이며 이것은 공통 양자화/압축 방법들에 특히 잘 받아들일 수 있기 때문이다. 4:2:0 방식에서 정방 TU들은 모두 4의 거듭제곱들이고 따라서 이것은 달성하기가 용이하다.
NSQT 옵션들이 인에이블되면, 일부 비-정방 변환들은 4×16과 같이 비-정방 TU들에 사용가능하지만, 다시 특히 이들은 64 계수들, 즉 다시 4의 거듭제곱을 유발한다.
4:2:2 및 4:4:4 변환 변형들
4:2:2 방식은 4의 거듭제곱들이 아닌 비-정방 TU들을 유발할 수 있다; 예를 들면, 4×8 TU는 32 픽셀들을 갖고, 32는 4의 거듭제곱이 아니다.
본 발명의 실시예에서, 따라서 계수들의 4의 비-거듭제곱 수에 대한 비-정방 변환이 사용될 수 있고, 후속 양자화 처리에 대한 수정들이 필요할 수 있음을 확인 응답한다.
대안적으로, 본 발명의 실시예에서 비-정방 TU들은 변환을 위해 4의 거듭제곱 영역을 가진 정방 블록들로 분리된 후에, 결과로서 생긴 계수들이 인터리빙될 수 있다.
예를 들면, 4×8 블록들에 대해 홀수/짝수 수직 샘플들은 2개의 정방 블록들로 분리될 수 있다. 대안적으로, 4×8 블록들에 대해, 상측 4×4 픽셀들 및 하측 4×4 픽셀들은 2개의 정방 블록들을 형성할 수 있다. 대안적으로 다시, 4×8 블록들에 대해, 하 웨이블릿 분해(Haar wavelet decomposition)는 하부 및 상부 주파수 4×4 블록을 형성하기 위해 사용될 수 있다.
임의의 이들 옵션들이 사용가능하게 될 수 있고, 특정 대안의 선택이 디코더에 시그널링될 수 있거나 디코더에 의해 도출될 수 있다.
다른 변환 모드들
4:2:0 방식에서, 잉여 데이터가 비트 스트림에 무손실로(즉, 변환되거나, 양자화되거나 또는 달리 필터링되지 않고) 포함되도록 허용하는 제안된 플래그(소위 'qpprime_y_zero_transquant_bypass_flag')가 존재한다. 4:2:0 방식에서 플래그는 모든 채널들에 적용한다.
따라서, 이러한 실시예들은, 휘도 및 색차 샘플들이 예측되고 샘플들과 각각의 예측된 샘플들 사이의 차가 인코딩되는 비디오 코딩 또는 디코딩 방법, 장치 또는 프로그램으로서, 휘도 차 데이터가 출력 비트스트림에 무손실로 포함되는지를 표시하고, 독립적으로 색차 차 데이터가 비트스트림에 무손실로 포함되는지를 표시하도록 구성되는 표시기를 사용하는, 비디오 코딩 또는 디코딩 방법, 장치 또는 프로그램을 표현한다.
본 발명의 실시예에서, 루마 채널에 대한 플래그는 크로마 채널들과 분리되는 것이 제안된다. 따라서 4:2:2 방식에 대해, 이러한 플래그들은 루마 채널에 대해 및 크로마 채널들에 대해 별도로 제공되어야 하고, 4:4:4 방식에 대해, 이러한 플래그들은 루마 및 크로마 채널들에 대해 별도로 제공되어야 하거나, 하나의 플래그가 3개의 채널들의 각각에 제공된다. 이것은 4:2:2 및 4:4:4 방식들과 연관되는 증가된 크로마 데이터 레이트들을 인식하고, 예를 들면, 압축된 크로마 데이터와 함께 무손실 루마 데이터를 가능하게 한다.
인트라-예측 코딩에 대해, 모드-의존성 방향 변환(mode-dependent directional transform; MDDT)은 TU에 대한 수평 또는 수직 ICT(또는 두 ICT들)이 인트라-예측 방향에 의존하여 정수 사인 변환으로 대체되도록 허용한다. 4:2:0 방식에서 이것은 크로마 TU들에 적용되지 않는다. 그러나, 본 발명의 실시예에서, 이를 4:2:2 및 4:4:4 크로마 TU들에 적용하는 것이 제안되고, 제 1은 4개의 샘플 변환 차원들(수평으로 또는 수직으로)에 대해서만 현재 정의되고, 따라서 현재 4×8 크로마 TU에 수직으로 적용될 수 없다는 것을 유념한다. MDDT는 하기에 더 기재될 것이다.
비디오 코딩의 방법들에서, 본 발명의 다양한 실시예들은 휘도 차 데이터가 출력 비트스트림에 무손실로 포함될지를 표시하고; 독립적으로 색차 차 데이터가 비트스트림에 무손실로 포함될지를 표시하고, 이러한 표시들에 의해 규정된 형태로 관련 데이터를 인코딩 또는 포함하도록 구성될 수 있다.
양자화
4:2:0 방식에서, 양자화 계산은 휘도에 대해서와 같이 색차에 대해 동일하다. 다만 양자화 파라미터(QP들)는 상이하다.
색차에 대한 QP들은 휘도 PQ들로부터 다음과 같이 계산된다:
Figure pct00001
여기서 스케일링 테이블은 도 29a 또는 도 29b에서 보여지는 바와 같이 정의되고(4:2:0 및 4:2:2에 대해 각각), "chroma_qp_index_offset" 및"second_chroma_qp_index_offset"은 화상 파라미터 세트에서 정의되고 Cr 및 Cb에 대해 동일하거나 상이할 수 있다. 즉, 대괄호들의 값은 각각의 경우 "인덱스(index)"를 스케일링 테이블(도 29a 및 도 29b)로 정의하고 스케일링 테이블은 그 후에 Qp("값")의 수정된 값을 제공한다.
"chroma_qp_index_offset" 및"second_chroma_qp_index_offset"은 대신 cb_qp_offset 및 cr_qp_offset으로 각각 칭해질 수 있다는 것을 유념한다.
색차 채널들은 통상적으로 휘도보다 적은 정보를 포함하고 따라서 더 작은-크기의 계수들을 가진다; 색차 QP에 관한 이러한 제한은 모든 색차 상세가 과중한 양자화 레벨들로 손상되는 것을 방지할 수 있다.
4:2:0에서 QP-제수 관계는 대수 관계이므로 QP에서 6의 증가는 배가된 제수와 등가이다(이 기술의 어딘가에 논의된 양자화 단계 크기, 그러나 사용 전에 Q행렬들에 의해 더 수정될 수 있음을 유념한다). 따라서, 51-39=12의 스케일링 테이블에서 최대 차는 제수의 4배 변화를 표현한다.
그러나, 본 발명의 실시예에서, 잠재적으로 4:2:0 방식보다 2배 많은 크로마 정보를 포함할 수 있는 4:2:2 방식에 대해, 스케일링 테이블에서 최대 색차 QP 값은 45로 증가될 수 있다(즉, 제수의 이등분). 유사하게 4:4:4 방식에 대해, 스케일링 테이블에서 최대 색차 QP 값은 51로 증가될 수 있다(즉, 동일한 제수). 이 경우 스케일링 테이블은 효과 리던던트 상태이지만, 동작 효율성에 대해서는 단순히 유지될 수 있다(즉, 시스템은 각각의 방식에 대해 동일한 방식으로 테이블을 참조하여 작업한다). 따라서 더욱 일반적으로 본 발명의 실시예에서 크로마 QP 제수는 4:2:0 방식에 대한 코딩 방식에서의 정보량에 응답하여 수정된다.
따라서, 본 발명의 실시예들은, 양자화 크기를 정의하는 선택된 양자화 파라미터에 따라 주파수-변환된 휘도 및 색차 성분 비디오 데이터의 블록들을 4:4:4 또는 4:2:2 포맷으로 양자화하도록 동작 가능한 비디오 코딩 또는 디코딩 방법에 적용한다. 양자화 파라미터 연관(예를 들면, 도 29a 또는 도 29b의 적합한 테이블과 같은)은 휘도와 색차 양자화 파라미터들 사이에 정의되고, 여기서 연관은 최대 색차 양자화 단계 크기가 4:2:2 포맷에 대한 최대 휘도 양자화 단계 크기(예를 들면, 45)보다 적지만, 4:4:4 포맷에 대한 최대 휘도 양자화 단계 크기(예를 들면, 51)와 같은 것이다. 양자화 처리는 주파수-변환된 데이터의 각각의 성분이 각각의 양자화 단계 크기로부터 도출된 각각의 값으로 나누어지고, 그 결과가 정수 값으로 라운딩되어, 양자화된 공간 주파수 데이터의 대응하는 블록을 생성하는 식으로 동작한다.
나누기와 라운딩 단계들은 각각의 양자화 단계 크기(또는 예를 들면, Q행렬들의 응용에 의해 그로부터 도출된 데이터)에 따라, 일반 양자화 단계의 예를 나타내는 것임을 알 것이다.
본 발명의 실시예들은 공간 주파수 계수들을 양자화하기 위한 양자화 파라미터 또는 인덱스(휘도에 대한 QP)를 선택하는 단계를 포함하고, 양자화 파라미터는 휘도 데이터에 적용가능한 QP 테이블들에 따라 양자화 단계 크기들의 세트 중 각각의 것에 대한 참조로서 동작한다. 양자화 파라미터 연관을 정의하는 처리는 그 후에: 색차 성분들에 대해, 선택된 양자화 파라미터에 따라 수정된 양자화 파라미터들의 테이블(도 29a 또는 도 29b의 테이블과 같은)을 참조하는 단계로서, (i) 제 1 색차 성분에 대해, 제 1 오프셋(chroma_qp_index_offset과 같은)을 양자화 파라미터에 가산하고 양자화 인덱스 플러스 제 1 오프셋에 대해, 테이블에서, 엔트리에 대응하는 수정된 양자화 인덱스를 선택하는 것; 및 (ⅱ) 제 2 색차 성분에 대해, 제 2 오프셋(second_chroma_qp_index_offset와 같은)을 양자화 파라미터에 가산하고 양자화 인덱스 플러스 제 2 오프셋에 대해, 테이블에서, 엔트리에 대응하는 수정된 양자화 인덱스를 선택하는 것을 관련시킬 수 있는, 상기 수정된 양자화 파라미터들의 테이블 참조 단계; 및 휘도 데이터에 대한 양자화 파라미터 및 제 1 및 제 2 색차 성분들에 대한 제 1 및 제 2 수정된 양자화 인덱스들에 따라 세트에서 각각의 양자화 단계 크기를 참조하는 단계를 포함할 수 있다. 다른 방식에서 보면, 이것은 공간 주파수 계수들을 양자화하기 위해 양자화 파라미터를 선택하는 것을 관련시키는 처리의 예이고, 양자화 파라미터는 양자화 단계 크기들의 세트 중 각각의 것에 대한 참조로서 동작하고; 여기서 규정 단계는: 색차 성분들에 대해, 선택된 양자화 파라미터에 따라 수정된 양자화 파라미터들의 테이블을 참조하는 단계로서, 참조 단계는: 각각의 색차 성분에 대해, 각각의 오프셋을 양자화 파라미터에 가산하고 양자화 파라미터 플러스 각각의 오프셋에 대해, 테이블에서, 엔트리에 대응하는 수정된 양자화 파라미터를 선택하는 단계를 포함하는, 상기 수정된 양자화 파라미터들의 테이블 참조 단계; 및 휘도 데이터에 대한 양자화 파라미터 및 제 1 및 제 2 색차 성분들에 대한 제 1 및 제 2 수정된 양자화 파라미터들에 따라 세트에서 각각의 양자화 단계 크기를 참조하는 단계를 포함한다.
발명들은 특히, 세트에서의 양자화 단계 크기들의 연속 값들이 대수적으로 관련되어, m(여기서 m은 정수)의 양자화 파라미터의 변화가 p의 계수(여기서 p는 1보다 큰 정수)에 의해 양자화 단계 크기의 변화를 표현하는 구성들에 적용가능하다. 본 실시예들에서, m = 6이고 p = 2이다.
본 발명의 실시예들에서, 상기에 논의된 바와 같이, 최대 휘도 양자화 파라미터는 51이고; 최대 색차 양자화 파라미터는 4:2:2 포맷에 대해 45이고; 최대 색차 양자화 파라미터는 4:4:4 포맷에 대해 51이다.
본 발명의 실시예들에서, 제 1 및 제 2 오프셋들은 인코딩된 비디오 데이터와 연관되어 통신될 수 있다.
4:2:0에서, 변환 행렬들 A는:
Figure pct00002
를 사용하여 참되게 정규화된 N×N DCT A'의 변환 행렬들로부터 초기에 생성되고(변환 유닛(340)에 의해), 여기서, i 및 j는 행렬 내의 위치를 표시한다. 정규화된 변환 행렬에 대한 스케일링은 정확도의 증가를 제공하고, 분수 계산들에 대한 필요성을 회피하고 내부 정확도를 증가시킨다.
Aij의 라운딩으로 인한 차들을 무시하고, X가 A 및 AT(행렬 A의 전치) 둘 모두로 곱해지기 때문에, 결과로서 생긴 계수들은:
Figure pct00003
의 공통 스케일링 인자에 의해 참되게 정규화된 M×N(M=높이; N=넓이) DCT의 계수들과 상이하다.
공통 스케일링 인자는 이 예에서 상이할 수 있다는 것을 유념한다. 또한 A 및 AT 둘 모두로 곱하는 행렬은 소위 버터플라이 방법과 같은 다양한 방식들로 실행될 수 있다는 것을 유념한다. 중요한 사실은 특정한 통상적인 연산 순서로 수행되는지의 여부가 아니라, 실행되는 연산이 통상적인 행렬 곱과 등가인지의 여부라는 점이다.
이 스케일링 인자는, HEVC에서 이것이 2의 거듭제곱을 유발하기 때문에, 다수의 비트들에 의한 이진 좌측-시프트 비트 연산 transformShift와 등가이다:
Figure pct00004
내부 비트-정확도에 관한 요건을 감소시키기 위해, 계수들은 변환 처리 동안 2회 우측-시프트된다(포지티브 라운딩을 사용하여):
Figure pct00005
Figure pct00006
결과적으로, 계수들은 순방향 변환 처리를 맡고 양자화기에 진입하므로:
Figure pct00007
에 의해 효과적으로 좌측-시프트된다.
4:2:0에서, 주파수 변환에 의해 생성되는 주파수 분리된(예를 들면, DCT) 계수들은 정규화된 DCT가 생성되는 것보다 (2resultingShift) 큰 인자이다.
본 발명의 일부 실시예들에서, 블록들은 2:1 애스팩트 비를 가진 정방 또는 장방이다. 따라서 N × M의 블록 크기에 대해:
N=M이고, 이 경우, resultingShift는 정수 및 S=N=M=sqrt(NM)이거나; 또는
0.5N=2M 또는 2N=0.5M이고, 이 경우 resultingShift는 여전히 정수이고 S=sqrt(NM)
Figure pct00008
이다.
계수들은 후속 양자화되고, 여기서 양자화 제수는 양자화 파라미터 QP에 따라 도출된다.
resultingShift는 정수와 등가이고, 따라서 공통 스케일링 인자는 2의 정수 거듭제곱이고, 변환 처리의 전체 좌측-시프트 'resultingShift'는 또한, 동일하지만 대향하는 우측-시프트, 'quantTransformRightShift'를 적용함으로써 이 단계에서 설명되는 것을 유념한다.
이 비트-시프트 연산은 resultingShift가 정수이기 때문에 가능하다.
또한, 제수-QP(양자화 파라미터 또는 인덱스) 관계는 상기 언급된 바와 같이, QP에서 6만큼의 증가가 배가된 제수의 효과를 가지지만 QP에서 3만큼의 증가가 sqrt(2)(2의 제곱근)의 인수만큼 제수를 증가시키는 효과를 가진다는 점에서, 베이스-2 거듭제곱 곡선을 따른다는 것을 유념한다.
4:2:2에서 크로마 포맷으로 인해, 많은 TU 넓이:높이(N:M) 비들이 존재한다:
N=M (이전부터) 여기서 S=N=M=sqrt(NM)(resultingShift은 정수)
0.5N=2M 및 2N=0.5M, (이전부터),여기서 S=sqrt(NM)(resultingShift은 정수)
N=2M 여기서 S=sqrt(NM)
2M=N 여기서 S=sqrt(NM)
4N=0.5M 여기서 S=sqrt(NM)
Figure pct00009
이들 후자의 3개의 상황들에서, resultingShift는 정수가 아니다. 예를 들면, 이것은 비디오 데이터 샘플들의 블록들 중 적어도 일부가 M × N 샘플들인 경우, N/M의 제곱근이 2의 정수 거듭제곱이 아닌 경우 적용할 수 있다. 이러한 블록 크기들은 본 실시예들의 일부에서 크로마 샘플들에 대해 발생할 수 있다.
따라서, 이러한 경우들에서, 다음의 기술들은, 즉 변환 행렬의 차원에 의존하는 양에 의해 정규화된 변환 행렬의 각각의 값들에 대해 각각 스케일링되는 정수 값들의 어레이를 포함하는 변환 행렬을 사용하여 비디오 데이터 샘플들의 블록들에 대해 주파수-변환을 수행함으로써 양자화된 공간 주파수 데이터의 블록들을 생성하고, 선택된 양자화 단계 크기에 따라 공간 주파수 데이터를 양자화하도록 동작 가능한 비디오 코딩 또는 디코딩 방법들, 장치 또는 프로그램들로서, 공통 스케일링 인자(예를 들면, resultingShift)에 의해, 비디오 데이터 샘플들의 블록의 정규화된 주파수-변환으로부터 유발된 공간 주파수 계수들보다 각각 큰 스케일링된 공간 주파수 계수들의 블록을 생성하기 위해 변환 행렬의 전치 및 블록을 변환 행렬로 행렬-곱셈함으로써 비디오 데이터 샘플들의 블록을 주파수-변환하는 단계를 갖는, 비디오 코딩 또는 디코딩 방법들, 장치 또는 프로그램들에 관련된다.
따라서 양자화 단계에서, 적합한 비트-시프트 연산은 연산을 간단한 방식으로 상쇄하는데 사용될 수 없다.
이에 대한 솔루션은 다음과 같이 제안된다:
양자화기 단계에서, 우측 시프트를 적용한다:
Figure pct00010
여기서 값 S'는
Figure pct00011
quantTransformRightShift는 정수이도록 도출된다.
½의 시프트들 사이의 차는 sqrt(2)에 의한 곱과 등가이고, 즉 이 점에서 계수들은 그들이 되어야 하는 것보다 sqrt(2)배 커서, 비트 시프트를 정수 비트 시프트로 만든다.
양자화 처리를 위해, 양자화 제수가 sqrt(2)의 인자만큼 효과적으로 증가되는 것을 의미하고, 따라서 이전 단계로부터 sqrt(2) 스케일 인자를 상쇄하는 (QP + 3)의 양자화 파라미터를 적용한다.
따라서, 이들 단계들은, (정규화된 변환 행렬의 각각의 값들에 대해 각각 스케일링되는 정수 값들의 어레이를 포함하는 변환 행렬을 사용하여 비디오 데이터 샘플들의 블록들에 대해 주파수-변환을 수행함으로써 양자화된 공간 주파수 데이터의 블록들을 생성하고, 선택된 양자화 단계 크기에 따라 공간 주파수 데이터를 양자화하도록 동작 가능한 비디오 코딩 또는 디코딩 방법(또는 대응하는 장치 또는 프로그램)으로서, 공통 스케일링 인자에 의해, 비디오 데이터 샘플들의 블록의 정규화된 주파수-변환으로부터 유발되는 공간 주파수 계수들보다 각각 큰 스케일링된 공간 주파수 계수들의 블록을 생성하기 위해 변환 행렬의 전치 및 블록을 변환 행렬로 행렬-곱함으로써 비디오 데이터 샘플들의 블록을 주파수-변환하는 것을 관련시키는, 비디오 코딩 또는 디코딩 방법(또는 대응하는 장치 또는 프로그램)의 콘텍스트에서) 다음과 같이 요약될 수 있다: 공간 주파수 계수들을 양자화하기 위해 양자화 단계 크기를 선택하는 단계; 스케일링된 공간 주파수 계수들의 각각을 2n의 인자로 나누기 위해 n-비트 시프트(예를 들면, quantTransformRightShift)를 적용하는 단계, 여기서 n은 정수; 및 공통 스케일링 인자가 2n으로 나누어진 잉여 스케일링 인자(예를 들면, resultingShift- quantTransformRightShift)를 검출하는 단계. 예를 들면, 상기에 논의된 상황에서, 양자화 단계 크기는 그 후에 수정된 양자화 단계 크기를 생성하기 위해 잉여 스케일링 인자에 따르고; 블록에서의 스케일링된 공간 주파수 계수들의 각각은 수정된 양자화 단계 크기에 의존하는 값으로 나누어지고 그 결과를 정수 값으로 라운딩하여, 양자화된 공간 주파수 데이터의 블록을 생성한다. 논의된 바와 같이, 양자화 단계 크기의 수정은 QP가 양자화 단계 크기들의 테이블로 매핑될 때 상이한 양자화 단계 크기를 선택하도록 오프셋을 QP에 가산함으로써 간단히 실행될 수 있다.
계수들은 이제 오리지널 QP에 대해 정확한 크기이다.
변환 행렬은 변환 행렬의 차원에 의존하는 양에 의해 정규화된 변환 행렬의 각각의 값들에 대해 각각 스케일링되는 정수 값들의 어레이를 포함할 수 있다.
S'에 대해 요구된 값은 항상 다음과 같이 도출될 수 있다는 결론이 나온다:
S'= sqrt(2*M*N)
선택적 제안으로서, S'는:
Figure pct00012
과 같이 도출될 수 있다.
이 경우, S' = sqrt(½ * M * N)이고, 적용된 양자화 파라미터는 (QP - 3)이다.
이들 경우들 중 어느 경우든, (QP에 3을 가산하거나 QP로부터 3을 감산하거나), 양자화 단계 크기를 선택하는 단계는 양자화 인덱스(예를 들면, QP)를 선택하는 단계를 포함하고, 양자화 인덱스는 양자화 단계 크기들의 테이블에서 각각의 엔트리를 정의하고, 수정 단계는 상이한 양자화 단계 크기를 선택하도록 양자화 인덱스를 변경하는 단계를 포함하여, 원래 선택된 양자화 단계 크기에 대한 상이한 양자화 단계 크기의 비가 잉여 스케일링 인자와 실질적으로 같게 한다.
이것은 본 실시예들에서와 같이, 테이블에서의 양자화 단계 크기들의 연속 값들이 대수적으로 관련되어, m(여기서 m은 정수)의 양자화 인덱스(예를 들면, QP)의 변경이 p(여기서 p는 1보다 큰 정수)의 인자에 의한 양자화 단계 크기의 변경을 표현하는 경우에 특히 잘 동작한다. 본 실시예들에서, m = 6이고 p = 2이어서, QP에서 6의 증가는 적용된 양자화 단계 크기의 배가를 표현하고 6의 QP에서의 감소는 결과로서 생긴 양자화 단계 크기의 이등분을 표현한다.
상기 논의된 바와 같이, 휘도 샘플들에 대한 양자화 인덱스(예를 들면, 베이스 QP)를 선택하고; 색차 성분들 각각 또는 둘 모두의 샘플들에 대해, 휘도 샘플들에 대해 선택된 양자화 인덱스에 대해 양자화 인덱스 오프셋을 생성하고; 잉여 스케일링 인자에 따라 양자화 인덱스 오프셋을 변경하고; 코딩된 비디오 데이터와 연관되어 양자화 인덱스 오프셋을 통신함으로써 수정이 실행될 수 있다. HEVC의 실시예들에서, 두 크로마 채널들에 대한 QP 오프셋들은 비트 스트림으로 전송된다. 이들 단계들은, +/- 3의 QP 오프셋(잉여 스케일링 인자를 설명하기 위해)이 이들 오프셋으로 일체화될 수 있거나, 이들이 크로마 QP를 도출하기 위해 사용될 때 증가/감소될 수 있는 시스템에 대응한다.
QP 오프셋은 상이한 형상의 블록들이 사용되는 경우 +/-3이 될 필요가 없고; +/-3은 예를 들면, 4:2:2 비디오에 대해 상기에 논의된 블록 형상들 및 애스팩트 비들에 적용가능한 오프셋을 표현할 뿐이라는 것을 유념한다.
일부 실시예들에서, n(적용된 바와 같은 비트 시프트)은, 2n이 공통 스케일링 인자 이상이도록 선택된다. 다른 실시예들에서 n은, 2n이 공통 스케일링 인자 이하이도록 선택된다. 본 발명의 실시예들에서(이들 구성들 중 어느 것을 사용하여), 비트 시프트 n은 공통 스케일링 인자에 가장 근접한(어느 방향으로든) 다음이 되도록 선택될 수 있어서, 잉여 스케일링 인자는 2보다 적은 크기를 가진 인자를 표현한다.
다른 실시예들에서, 양자화 단계 크기의 수정은 양자화 단계 크기에 잉여 스케일링 인자에 의존하는 인자를 곱함으로써 간단히 수행될 수 있다. 즉 수정은 인덱스 QP를 수정하는 것을 관련시킬 필요가 없다.
또한 논의된 바와 같은 양자화 단계 크기는 반드시 변환된 샘플이 나누어지는 실제 양자화 단계 크기일 필요가 없다는 것을 유념한다. 이러한 방식으로 도출된 양자화 단계 크기는 더 수정될 수 있다. 예를 들면, 일부 구성들에서, 양자화 단계 크기는 상이한 최종 양자화 단계 크기들이 계수들의 양자화된 블록에서 상이한 계수 위치들에 사용되도록 값들의 행렬(Q행렬)에서 각각의 엔트리들에 의해 더 수정된다.
또한 4:2:0 방식에서, 최대의 크로마 TU는 16×16인 반면, 4:2:2 방식에 대해 16×32 TU들이 가능하고, 4:4:4 방식에 대해 32×32 크로마 TU들이 가능하다는 것을 유념할 수 있다. 결과적으로, 본 발명의 실시예에서, 32×32 크로마 TU들에 대한 양자화 행렬들(Q행렬들)이 제안된다. 유사하게, Q행렬들은 16×32 TU와 같은 비-정방 TU들에 대해 정의되어야 하고, 일 실시예는 더 큰 정방 Q 행렬의 서브샘플링이다.
Q행렬들은 다음 중 어느 하나에 의해 규정될 수 있다:
그리드에서의 값들(4×4 및 8×8 Q행렬들에 대해서와 같이);
더 작은 또는 더 큰 행렬들로부터 공간적으로 보간된;
- HEVC에서, 더 큰 Q행렬들은 더 작은 기준 행렬들의 계수들의 각각의 그룹들로부터 도출될 수 있거나, 더 작은 행렬들이 더 큰 행렬들로부터 서브-샘플링될 수 있다. 이 보간 또는 서브샘플링은 채널 비 내에서 실행될 수 있고 - 예를 들면, 채널 비에 대한 더 큰 행렬은 다른 Q행렬들(즉, 상이한 값들 또는 델타들)에 대해, 그 채널 비에 대해 더 작은 것으로부터 보간될 수 있다는 것을 유념한다;
- 따라서 델타들만이 전송되어야 한다.
예시하기 위해 작은 예만 취하면, 하나의 채널 비에 대한 특정 행렬이 4:2:0에 대해 4 × 4 행렬과 같이 규정될 수 있고
( a b )
( c d )
여기서 a, b, c 및 d는 각각의 계수들이다. 이것은 기준 행렬로서 동작한다.
본 발명의 실시예들은 다른 채널 비에 대해 더 작은-규모의 행렬에 대한 상이한 값들의 세트를 규정할 수 있어서:
( diffl diff2 )
( diif3 diff4 )
다른 채널 비에 대한 Q행렬을 생성하기 위해, 차들의 행렬이 기준 행렬에 행렬-합산된다.
차들 대신에, 승 인자들(multiplicative factors)의 행렬이 다른 채널 비에 대해 규정될 수 있어서, (i) 승 인자들의 행렬은 다른 채널 비에 대한 Q행렬을 생성하기 위해 기준 행렬과 행렬-곱셈되거나, (ⅱ) 기준 행렬에서 각각의 계수가 다른 채널 비에 대한 Q행렬을 생성하기 위해 각각의 인자로 개별적으로 곱셈된다.
다른 Q행렬의 함수로서;
- 예를 들면, 다른 행렬에 대한 스케일링 비(상기 예에서 a, b, c 및 d의 각각은 동일한 인자로 곱셈되거나, 동일한 차가 이에 합산되게 하기 위해). 이것은 차 또는 인자 데이터를 전송하기 위한 데이터 요건들을 감소시킨다.
- 따라서 함수들의 계수들만이 전송되어야 하고(스케일링 비와 같은),
방정식/함수(예를 들면, 구분적 선형 곡선, 지수, 다항식)로서;
- 따라서 방정식들의 계수들만 행렬 또는 상기의 임의 조합을 도출하기 위해 전송되어야 한다. 예를 들면, a, b, c 또는 d의 각각은 사실상 행렬 내의 계수 위치(i,j)에 대한 의존성을 포함할 수 있는 함수에 의해 규정될 수 있다. (I, j)는 예를 들면, 행렬의 좌측에서 우측까지의 계수 위치 그 후에 상측에서 하측까지의 계수 위치를 표현할 수 있다. 예는 다음과 같다:
coefficientij = 3i + 2j
Q행렬들은 HEVC 환경 내에서 스케일링 목록들로서 칭해질 수 있다는 것을 유념한다. 스캔 처리 후에 양자화가 적용되는 실시예들에서, 스캐닝된 데이터는 연속 데이터 샘플들의 선형 스트림일 수 있다. 이러한 경우들에서, Q행렬의 개념이 여전히 적용할 수 있지만, 행렬(또는 스캔 목록)은 1×N 행렬로서 고려될 수 있어서, 1×N 행렬 내의 N개의 데이터 값들의 순서는 각각의 Q행렬 값이 적용되는 스캐닝된 샘플들의 순서에 대응한다. 즉, 스캔 패턴에 따른 스캐닝된 데이터, 공간 주파수에서의 데이터 순서와 1×N 행렬에서의 데이터 순서 사이에는 1 : 1 관계가 존재한다.
일부 구현들에서, DCT(주파수 분리) 단계를 바이패스 또는 생략하지만, 양자화 단계를 유지하는 것이 가능하다는 것을 유념한다.
다른 유용한 정보는 어떤 다른 행렬에 값들이 관련되는지, 즉 이전 채널 또는 제 1(주) 채널의 선택적 표시자를 포함하고; 예를 들면, Cr에 대한 행렬은 표시된 바와 같이, Y에 대한 또는 Cb에 대한 행렬의 스케일링된 인자일 수 있다.
따라서, 본 발명의 실시예들은, 비디오 데이터 샘플들의 블록들에 대한 주파수-변환을 (선택적으로) 수행하고 선택된 양자화 단계 크기 및 샘플들의 순서화된 블록(주파수-변환된 샘플들의 순서화된 블록과 같은) 내에서 상이한 각각의 블록 위치들에서 사용하기 위한 양자화 단계 크기를 수정하는 데이터의 행렬에 따라 비디오 데이터(공간 주파수 데이터와 같은)를 양자화함으로써 동작 가능한 비디오 코딩 또는 디코딩 방법(및 대응하는 장치 또는 컴퓨터 프로그램)으로서, 적어도 2개의 상이한 색차 서브샘플링 포맷들에 대해 동작 가능한, 비디오 코딩 또는 디코딩 방법(및 대응하는 장치 또는 컴퓨터 프로그램)을 제공할 수 있다.
색차 서브샘플링 포맷들 중 적어도 하나에 대해, 하나 이상의 양자화 행렬들은 색차 서브샘플링 포맷들의 기준 포맷에 대해 규정된 하나 이상의 기준 양자화 행렬들에 대한 하나 이상의 미리 결정된 수정들로서 규정된다.
본 발명의 실시예들에서, 규정 단계는 하나 이상의 양자화 행렬들을 기준 양자화 행렬의 각각의 복수의 값들로부터 각각 보간된 값들의 행렬로서 정의하는 단계를 포함한다. 다른 실시예들에서, 규정 단계는 하나 이상의 양자화 행렬들을 기준 양자화 행렬의 값들로부터 각각 서브샘플링된 값들의 행렬로서 정의하는 단계를 포함한다.
본 발명의 실시예들에서, 규정 단계는 하나 이상의 양자화 행렬들을 기준 양자화 행렬의 대응하는 값들에 대한 차들의 행렬로서 정의하는 단계를 포함한다.
본 발명의 실시예들에서, 규정 단계는 하나 이상의 양자화 행렬들을 기준 양자화 행렬의 값들의 미리 결정된 함수로서 정의하는 단계를 포함한다. 이러한 경우들에서, 미리 결정된 함수는 다항식 함수일 수 있다.
본 발명의 실시예들에서, 다음 중 하나 또는 둘이 예를 들면, 코딩된 비디오 데이터의 일부로서 또는 이와 연관되어 제공된다: (i) 인코딩된 비디오 데이터에 대해, 기준 양자화 행렬을 표시하기 위한 기준-표시자 데이터; 및 (ⅱ) 인코딩된 데이터 값들에 대해, 하나 이상의 미리 결정된 수정들을 표시하기 위한 수정-표시자 데이터.
이들 기술들은 색차 서브샘플링 포맷들 중 둘이 4:4:4 및 4:2:2 포맷들인 경우 특히 사용가능하다.
HEVC 4:2:0에서의 Q 행렬들의 수는 각각의 변환 크기에 대해 현재 6이다; 대응하는 채널들에 대해 3, 및 인트라에 대해 및 인터에 대해 한 세트. 4:4:4 GBR 방식의 경우에, 양자화 행렬들의 한 세트가 모든 채널들에 사용될 수 있거나, 양자화 행렬들의 3개의 각각의 세트들이 사용될 수 있다는 것을 알 것이다.
본 발명의 실시예들에서, 행렬들 중 적어도 하나는 1×N 행렬이다. 이것은 행렬들 중 하나 이상에서(여기에 기술된 바와 같이), 계수들의 선형 1×N 순서화된 어레이인 사실상 스케일링 목록 등인 경우이다.
제안된 솔루션들은 적용된 QP를 증가하거나 감소하는 것을 관련시킨다. 그러나 이것은 다양한 방식들로 달성될 수 있다:
HEVC에서, 2개의 크로마 채널들에 대한 QP 오프셋들이 비트 스트림으로 전송된다. +/- 3은 이들 오프셋들로 일체화될 수 있거나, 이들은 크로마 QP를 도출하는데 사용될 때 증가/감소될 수 있다.
상기에 논의된 바와 같이, HEVC에서, (루마 QP + 크로마 오프셋)은 크로마 QP를 도출하기 위해 테이블에 대한 인덱스로서 사용된다. 이 테이블은 +/- 3을 포함하도록 수정될 수 있다(즉, 오리지널 테이블의 값들을 3만큼 증가/감소시킴으로써).
크로마 QP가 도출된 후, 정규 HEVC 처리에 따라, 결과들은 그 후에 3만큼 증가(또는 감소)될 수 있다.
QP를 수정하는 것에 대한 대안으로서, sqrt(2) 또는 1/sqrt(2)의 인자가 양자화 계수들을 수정하는데 사용될 수 있다.
순방향/역방향 양자화에 대해, 양자화 계수 또는 양자화 단계 크기, inverseQStep/scaledQStep를 획득하기 위해 테이블에 대한 인덱스로서 (QP % 6)를 사용함으로써 나눗셈/곱셈 처리들이 구현된다. (여기서, QP % 6은 QP 모듈로 6을 의미한다). 상기 논의된 바와 같이, 이것은 변환된 데이터에 적용되는 최종 양자화 단계 크기를 표현하는 것이 아닐 수 있고; 사용 전에 Q행렬들에 의해 더 수정될 수 있다는 것을 유념한다.
HEVC에서의 디폴트 테이블들은 값들의 옥타브(배가)를 커버하는 길이 6이다. 이것은 저장 요건들을 감소시키는 단순한 수단이다; 테이블들은 QP의 모듈러스(mod 6)에 따라 테이블에서 엔트리를 선택한 다음 미리 결정된 베이스 값으로부터 (QP - QP 모듈러스 6)의 차에 의존하여, 적합한 2의 거듭제곱으로 곱하거나 나눔으로써 실제 사용에 확장된다.
이 구성은 QP 값에서 +/-3의 오프셋을 허용하기 위해 변화될 수 있다. 오프셋은 테이블 룩-업 처리에서 적용될 수 있거나, 상기 논의된 모듈러스 처리가 수정된 QP를 사용하여 대신 실행될 수 있다. 오프셋이 룩-업 테이블에서 적용된다고 가정하지만, 테이블에서 부가 엔트리들이 다음과 같이 제공될 수 있다:
일 대안은 3개의 엔트리들에 의해 테이블들을 확장하는 것이고, 새로운 엔트리들은 다음과 같다(6-8의 인덱스 값들에 대해).
도 30에 도시된 예시적 테이블은 [(QP % 6) + 3] ("QP 증분법")에 의해 인덱싱되고, 여기서 QP % 6은 "QP 모듈러스 6"을 의미한다.
도 31에 도시된 예시적 테이블은 [(QP % 6) - 3] ("QP 감소법")에 의해 인덱싱되고, -1 내지 -3의 인덱스 값들에 대한 여분의 엔트리들을 가진다:
엔트로피 인코딩
기본 엔트로피 인코딩은 코드워드들을 입력 데이터 심볼들에 할당하는 것을 포함하고, 여기서 최단의 사용가능한 코드워드들은 입력 데이터에서 가장 가능성 있는 심볼들에 할당된다. 평균적으로 결과는 입력 데이터의 무손실이지만 훨씬 더 작은 표현이다.
이 기본 방식은 심볼 확률이 흔히 최근의 이전 데이터에 대한 조건임을 인식하고, 후속적으로 할당 처리 콘텍스트를 적응적이게 함으로써 더욱 개선될 수 있다.
이러한 방식으로, 콘텍스트 변수들(context variables; CVs)은 각각의 확률 모델들의 선택을 결정하는데 사용되고, 이러한 CV들은 HEVC 4:2:0 방식에서 제공된다.
엔트로피 인코딩을, 예를 들면, 8×8 루마 TU에 대해 4×4 TU들보다는 4×8 크로마 TU들을 사용하는 4:2:2 방식으로 확장하기 위해, 선택적으로 콘텍스트 변수들이 등가의 CV 선택들을 간단히 수직으로 반복함으로써 제공될 수 있다.
그러나, 본 발명의 실시예에서, CV 선택들은 좌상측 계수들(즉, 고에너지, DC 및/또는 저 공간 주파수 계수들)에 대해서는 반복되지 않고, 대신 새로운 CV들이 도출된다. 이러한 경우, 예를 들면, 매핑은 루마 맵으로부터 도출될 수 있다. 이 방식은 또한 4:4:4 방식에 사용될 수 있다.
코딩 동안, 4:2:0 방식에서, 소위 지그-스캔은 높은 주파수들에서 낮은 주파수들로의 순서로 계수들에 걸쳐 스캐닝한다. 그러나, 다시 4:2:2 방식에서 크로마 TU들이 비정방일 수 있다는 것을 유념하고, 따라서 본 발명의 실시예에서, 상이한 크로마 스캔은 스캔의 각도가 기울어져서 이를 더욱 수평으로, 또는 더욱 일반적으로 TU의 애스팩트 비에 응답적이게 하도록 제안된다.
유사하게, 중요 맵 CV 선택을 위한 부근 및 1보다 큰 및 2보다 큰 CV 선택을 위한 c1/c2 시스템은 따라서 적응적이 될 수 있다.
마찬가지로, 본 발명의 실시예에서, 최종 중요 계수 위치(디코딩 동안 시작점이 됨)는 또한 4:4:4 방식에 대해 조정될 수 있고, 크로마 TU들에 대한 최종-중요 위치들은 공존된 루마 TU에서 최종-중요 위치와 상이하게 코딩된다.
계수 스캔은 예측 모드가 특정 TU 크기들에 대해 의존하게 만들어질 수 있다. 따라서 상이한 스캔 순서는 인트라-예측 모드에 의존하여 일부 TU 크기들에 사용될 수 있다.
4:2:0 방식에서, 모드 의존성 계수 스캔(mode dependent coefficient scanning; MDSC)은 인트라 예측을 위해 4×4/8×8 루마 TU들 및 4×4 크로마 TU들에만 적용된다. MDCS는 인트라-예측 모드에 의존하여 사용되며, 수평 및 수직으로부터 +/-4 각도들이 고려된다.
본 발명의 실시예에서, 4:2:2 방식에서 MDCS는 인트라 예측을 위해 4×8 및 8×4 크로마 TU들에 적용되는 것이 제안된다. 유사하게, 4:4:4 방식에서 MDCS는 8×8 및 4×4 크로마 TU들에 적용되는 것이 제안된다. 4:2:2에 대한 MDCS는 수평 또는 수직 방향들로만 행해질 수 있고, 그 각도 범위들은 4:4:4 크로마 대 4:4:4 루마 대 4:2:2 크로마 대 4:2:2 루마 대 4:2:0 루마에 대해 상이할 수 있다.
인-루프 필터들
블록해제
블록해제은 모든 CU, PU 및 TU 경계들에 적용되고, CU/PU/TU 형상은 고려되지 않는다. 필터 세기 및 크기는 국부적 통계에 의존하고, 블록해제은 8×8 루마 픽셀들의 단위를 가진다.
결과적으로 4:2:0 방식을 위해 적용된 현재 블록해제은 4:2:2 및 4:4:4 방식들에도 또한 적용가능해야 한다는 것이 예상된다.
샘플 적응적 오프셋팅
샘플 적응적 오프셋팅(SAO)에서, 각각의 채널은 완전히 독립된다. SAO는 쿼드-트리를 사용하여 각각의 채널에 대한 이미지 데이터를 분리하고, 결과로서 생긴 블록들은 크기가 적어도 하나의 LCU이다. 리프 블록들은 인코더에 의해 결정된 바와 같이, 3개의 모드들 중 하나에서 실행할 수 있다("중심 대역 오프셋(Central band offset)", "측대역 오프셋(Side band offset)" 또는 "에지 오프셋(Edge offset)"). 각각의 리프는 그 픽셀들을 카테고리화하고, 인코더는 SAO 입력 데이터를 소스 데이터와 비교함으로써 16개의 카테고리들의 각각에 대한 오프셋 값을 도출한다. 이들 오프셋들은 디코더에 전송된다. 디코딩된 픽셀의 카테고리에 대한 오프셋은 소스로부터의 편차를 최소화하기 위해 그 값에 가산된다.
또한, SAO는 화상 레벨로 인에이블되거나 디스에이블되고; 루마에 대해 인에이블되면, 그것은 또한 각각의 크로마 채널에 대해 별도로 인에이블될 수 있다. 따라서 SAO는 루마에 적용되는 경우에만 크로마에 적용될 것이다.
결과적으로, 처리는 기본적인 블록 방식에 매우 투명하고 4:2:0 방식에 대해 적용된 현재 SAO가 또한 4:2:2 및 4:4:4 방식들에도 적용가능해야 한다는 것이 예상된다.
적응성 루프 필터링
4:2:0 방식에서, 적응성 루프 필터링(ALF)은 디폴트에 의해 디스에이블된다. 그러나, 이론상(즉, 허용된다면) ALF는 크로마에 대한 전체 화상에 적용된다.
ALF에서, 루마 샘플들은 HEVC 문서들에 의해 결정된 바와 같이 다수의 카테고리들 중 하나로 분류될 수 있다; 각각의 카테고리는 상이한 위너-기반 필터를 사용한다.
대조적으로, 4:2:0 크로마에서 샘플들은 카테고리화되지 않는다 - Cb에 대해 하나의 위너- 기반 필터 및 Cr에 대한 하나의 위너- 기반 필터가 존재할 뿐이다.
따라서, 본 발명의 실시예에서, 4:2:2 및 4:4:4 방식들에서 증가된 크로마 정보에 비추어, 크로마 샘플들이 카테고리화되는 것이 제안된다; 예를 들면, 4:2:2에 대한 K 카테고리들 및 4:4:4에 대한 J 카테고리들.
4:2:0 방식에서 ALF가 ALF 제어 플래그를 사용하여 CU마다 기초하여 루마에 대해 디스에이블될 수 있을 때(ALF 제어 깊이에 의해 명시된 CU-레벨까지 다운), 그것은 화상마다 기초하여 크로마에 대해서만 디스에이블될 수 있다. HEVC에서, 이 깊이는 현재 LCU 레벨까지만 제한된다는 것을 유념한다.
결과적으로 본 발명의 실시예에서, 4:2:2 및 4:4:4 방식들에는 크로마에 대한 하나 또는 두 개의 채널 특정 ALF 제어 플래그들이 제공된다.
신택스
HEVC에서, 신택스는 4:2:0, 4:2:2 또는 4:4:4 방식들을 표시하기 위해 이미 존재하고, 시퀀스 레벨로 표시된다. 그러나, 본 발명의 실시예에서 또한 4:4:4 GBR 코딩을 이 레벨로 표시하는 것이 제안된다.
MDDT 및 MDCS
모드 의존성 방향 변환들 및 모드 의존성 계수 스캔의 사용이 지금부터 기술될 것이다. 둘은 동일한 시스템에서 구현될 수 있거나, 하나가 사용되고 다른 하나가 사용되지 않을 수 있거나, 둘 모두 사용되지 않을 수 있음을 유념한다.
MDCS는 도 34 내지 도 38을 참조하여 먼저 기술될 것이다.
소위 우상측 대각 스캔 패턴은 도 16을 참조하여 상술되었다. 스캔 패턴은 DCT 계수들과 같은 주파수-분리된 계수들이 처리되는 순서를 도출하기 위해 사용된다. 우상측 대각 패턴은 스캔 패턴의 일례이지만, 다른 패턴들이 사용가능하다. 두 개의 다른 예들이 도 34 및 도 35에 개략적으로 도시되고, 이 시간은 4×4 블록의 예를 사용한다. 이들은: 수평 스캔 패턴(도 34) 및 수직 스캔 패턴(도 35)이다.
MDCS에서, 스캔 패턴은 사용중인 예측 모드에 의존하여 둘 이상의 후보 스캔 패턴들의 그룹으로부터 선택된다.
본 예는 우상측 대각 패턴, 수평 패턴 및 수직 패턴과 같은 3개의 후보 스캔 패턴들의 그룹에 관련된다. 그러나 둘 이상의 후보 패턴들의 상이한 그룹이 사용될 수 있다.
도 36을 참조하면, 수직 스캔 패턴이 모드 6 내지 모드 14에 사용되며, 이들은 수평(주로 수평)의 임계 각도(또는 모드 수) 내에 있는 모드들이다. 수평 스캔 패턴이 모드 22 내지 모드 30에 사용되며, 이들은 수직(주로 수직)의 임계 각도(또는 모드 수) 내에 있는 모드들이다. 도 36에서 "대각(diagonal)" 스캔으로 칭해지는 우상측 대각 스캔이 다른 모드들에 대해 사용된다.
도 37은 2개의 후보 스캔 패턴들(수직 및 수평)의 크로마 샘플들의 장방 어레이에 적용가능한 방향 예측 모드들로의 가능한 매핑을 개략적으로 도시한다. 패턴은 루마 샘플들에 사용된 패턴(도 36)과 상이하다.
도 38은 스캔 패턴을 선택하기 위한 구성을 개략적으로 도시한다. 이것은 예를 들면, 제어기(343)의 기능의 일부를 형성할 수 있다.
선택기(1620)는 예측 모드를 스캔 패턴으로 매핑하는 룩-업 테이블(1630)과 현재 블록에 대한 예측 모드에 응답한다. 선택기(1620)는 선택된 스캔 패턴을 표시하는 데이터를 출력한다.
MDCS는 4:2:2 및 4:4:4에 대해 인에이블될 수 있다. 스캔 패턴들의 예측 모드들로의 매핑은 4:2:0에 대한 것과 동일할 수 있거나, 상이할 수 있다. 각각의 채널 비는 각각의 매핑을 가질 수 있거나(그 경우 선택기(1620)는 채널 비와 마찬가지로 응답할 수 있음) 또는 매핑은 채널 비들에 걸쳐 일관될 수 있다. MDCS는 특정 블록 크기들, 예를 들면, 임계 블록 크기보다 크지 않은 블록 크기들에만 적용될 수 있다. 예를 들면, MDCS가 적용될 수 있는 최대 TU 크기들은 다음과 같을 수 있다:
포맷 루마 크로마
4:2:0 8×8 4×4
4:2:2 8×8 4×8
4:4:4 8×8 8×8
크로마에 대해, MDCS는 디스에이블되어, 4×4 (루마) TU들에만 제한되거나 수평 또는 수직 스캔만을 사용하는 TU들에 제한될 수 있다. MDCS 특징의 구현은 채널 비에 의해 변할 수 있다.
본 발명의 실시예들은 따라서, 예측된 및 오리지널 샘플들 사이의 차들이 주파수-분리되어 인코딩되는 4:2:2 또는 4:4:4: 비디오 데이터를 코딩하는 방법으로서: 예측될 샘플과 연관된 예측 모드에 따라 동일한 이미지로부터 도출되는 다른 각각의 기준 샘플들로부터 이미지의 휘도 및/또는 색차 샘플들을 예측하는 단계로서, 예측 모드는 둘 이상의 후보 예측 모드들의 세트로부터, 샘플들의 복수의 블록들의 각각에 대해 선택되는, 상기 예측하는 단계; 샘플들과 각각의 예측된 샘플들 사이의 차들을 검출하는 단계;
주파수-분리된 계수들의 대응하는 세트를 생성하기 위해, 주파수-분리 변환을 사용하여, 샘플들의 블록에 대한 검출된 차들을 주파수-분리하는 단계; 둘 이상의 후보 스캔 패턴들의 세트로부터 스캔 패턴을 선택하는 단계로서, 각각의 스캔 패턴은 스캔 패턴과 예측 모드 사이의 매핑을 사용하는 샘플들의 그 블록에 대한 예측 모드에 의존하여, 주파수-분리된 계수들의 세트를 인코딩하는 순서를 정의하고, 매핑은 적어도 4:4:4: 포맷에 대해, 색차와 휘도 샘플들 사이와 같이 상이한(따라서, 즉, 매핑은 4:4:4 크로마 및 4:4:4 루마 데이터에 대해 상이하고, 4:2:2 루마와 4:2:2 크로마 데이터 사이와 같이 상이하거나 상이하지 않을 수 있는), 상기 선택하는 단계; 및 선택된 스캔 패턴에 따라 주파수-분리된 계수들의 순서로 주파수-분리된 차 데이터를 인코딩하는 단계를 포함하는 4:2:2 또는 4:4:4: 비디오 데이터 코딩 방법을 제공한다.
매핑은 4:2:2 휘도 및 색차 데이터에 대해 상이할 수 있다.
매핑은 4:2:2 및 4:4:4 비디오 데이터에 대해 상이할 수 있다.
본 발명의 실시예들에서, 휘도 샘플들의 현재 블록의 크기는 4×4 또는 8×8 샘플들이다. 대안적으로 본 발명의 실시예들은 후보 크기들의 세트로부터 샘플들의 현재 블록의 크기를 선택하는 단계; 및 선택된 블록 크기가 후보 크기들의 세트의 미리 결정된 서브세트 중 하나이면 스캔 패턴을 선택하는 단계를 적용하는 단계를 포함한다. 이러한 방식으로, 매핑 처리는 특정 일부의 블록 크기들에 대해 적용될 수 있다. 매핑은 휘도 샘플들에 대해서만(4:2:2에 대해) 적용될 수 있다.
본 발명의 실시예들에서, 후보 스캔 패턴들의 세트는 휘도 및 색차 샘플들에 대한 사용에 대해 상이하다.
선택 단계는 주로 수평 예측 모드들의 세트에 대해 수평 스캔 패턴을 선택하고, 주로 수직인 예측 모드들의 세트에 대해 수직 스캔 패턴을 선택하고, 다른 예측 모드들에 대해 대각 스캔 패턴을 선택하도록 구성될 수 있다.
본 발명의 실시예들은 또한, 예측된 및 오리지널 샘플들 사이의 차들이 주파수-분리되어 인코딩되는 4:2:2 또는 4:4:4 비디오 데이터를 디코딩하는 방법으로서: 예측될 샘플과 연관된 예측 모드에 따라 동일한 이미지로부터 도출되는 다른 각각의 기준 샘플들로부터 이미지의 휘도 및/또는 색차 샘플들을 예측하는 단계로서, 예측 모드는 둘 이상의 후보 예측 모드들의 세트로부터, 샘플들의 복수의 블록들의 각각에 대해 선택되는, 상기 예측하는 단계; 둘 이상의 후보 스캔 패턴들의 세트로부터 스캔 패턴을 선택하는 단계로서, 각각의 스캔 패턴은 스캔 패턴과 예측 모드 사이의 매핑을 사용하는 샘플들의 그 블록에 대한 예측 모드에 의존하여, 주파수-분리된 계수들의 세트를 인코딩하는 순서를 정의하고, 매핑은 적어도 4:4:4: 포맷에 대해, 색차와 휘도 샘플들 사이와 같이 상이한(따라서, 즉, 매핑은 4:4:4 크로마 및 4:4:4 루마 데이터에 대해 상이하고, 4:2:2 루마와 4:2:2 크로마 데이터 사이와 같이 상이하거나 상이하지 않을 수 있는), 상기 선택하는 단계; 선택된 스캔 패턴에 따라 주파수-분리된 계수들의 순서로 디코딩될 샘플들과 각각의 예측된 샘플들 사이의 차들을 표시하는 데이터의 주파수-분리된 버전을 표현하는 주파수-분리된 차 데이터를 디코딩하는 단계를 포함하는, 4:2:2 또는 4:4:4 비디오 데이터 디코딩 방법을 제공한다.
MDDT에 대해, 도 39는 예측 모드에 따라 주파수-분리 변환을 선택하기 위한 구성을 개략적으로 도시한다. 이 구성은 변환 유닛의 또는 제어기의 기능의 일부를 형성할 수 있다.
선택기(1700)는 현재 예측 모드를 정의하는 데이터를 수신하고 그 모드에 의존하여 (둘 이상의 후보 변환들의 세트로부터) 변환을 선택한다. 변환은 변환 데이터 저장에 저장된 필요한 변환을 표시하는 데이터에 기초하여, 이미지 샘플들을 주파수-변환된 계수들로 변환하기 위해 변환 엔진(1710)에 의해 적용된다.
후보 변환들의 예들은 이산 코사인 변환(DCT), 이산 사인 변환(DST), 카루넨 루벤(Karhunen-Loeve) 변환; 및 샘플들의 현재 블록에 의한 행렬-곱셈을 위해 각각의 행 및 열 행렬들에 의해 규정된 변환들을 포함한다.
MDDT는 예를 들면, 4:4:4 시스템에서 4×4 크로마 블록들에 대해 인에이블될 수 있다. 그러나, 본 발명의 실시예들에서, MDDT는 4:2:2 데이터에 대해 인에이블된다.
따라서, 본 발명의 실시예들은, 4:2:2 또는 4:4:4: 비디오 데이터를 코딩하는 방법으로서: 예측될 샘플과 연관된 예측 모드에 따라 동일한 이미지로부터 도출되는 다른 각각의 기준 샘플들로부터 이미지의 휘도 및/또는 색차 샘플들을 예측하는 단계로서, 예측 모드는 둘 이상의 후보 예측 모드들의 세트로부터, 샘플들의 복수의 블록들의 각각에 대해 선택되는, 상기 예측하는 단계; 샘플들과 각각의 예측된 샘플들 사이의 차들을 검출하는 단계; 변환과 예측 모드 사이의 매핑을 사용하여 샘플들의 현재 블록과 연관된 예측 모드에 따라 둘 이상의 후보 주파수 분리 변환들로부터 주파수-분리 변환을 선택하는 단계로서, 매핑은 적어도 4:4:4: 포맷에 대해, 색차와 휘도 샘플들 사이와 같이 상이한(따라서, 즉, 매핑은 4:4:4 크로마 및 4:4:4 루마 데이터에 대해 상이하고, 4:2:2 루마와 4:2:2 크로마 데이터 사이와 같이 상이하거나 상이하지 않을 수 있는), 상기 선택하는 단계; 및 선택된 주파수-분리 변환을 사용하여 차들을 주파수-분리함으로써 검출된 차들을 인코딩하는 단계를 포함하는 4:2:2 또는 4:4:4: 비디오 데이터 코딩 방법을 제공할 수 있다.
후보 변환들은: 이산 코사인 변환, 이산 사인 변환, 카루넨 루벤 변환; 및 샘플들의 현재 블록에 의한 행렬-곱셈을 위해 각각의 행 및 열 행렬들에 의해 규정된 변환들로 구성된 목록으로부터 선택된 둘 이상의 변환들을 포함한다(그에 의해, 예를 들면, 변환은 T×TT에 의해 정의되고, 여기서 T는 변환 행렬이고, 상첨자 T는 행렬의 전치를 의미하고, X는 행렬 형태의 샘플들의 블록을 의미한다).
이전과 같이, 본 발명의 실시예들에서 예측될 샘플들의 블록과 연관된 예측 모드는 그 블록의 각각의 샘플이 예측되는 하나 이상의 다른 각각의 기준 샘플들을 정의하는 예측 방향을 표시하거나, 예를 들면, dc 예측 모드를 표시할 수 있다.
본 발명의 실시예들에서 예측 모드와 주파수-분리 변환 사이에 제공되는 매핑은 4:2:2 포맷에 대해 휘도와 색차 데이터 사이에서 상이할 수 있다.
본 발명의 실시예들에서, 휘도 샘플들의 현재 블록의 크기는 4×4 샘플들이다. 대안적으로, 방법은 후보 크기들의 세트로부터 샘플들의 현재 블록의 크기를 선택하는 단계; 및 MDDT가 모든 블록(예를 들면, TU) 크기들이 아닌 특정 일부에 대해서만 사용되도록, 선택된 블록 크기가 후보 크기들의 세트의 미리 결정된 서브세트 중 하나이면 주파수-분리 변환을 선택하는 단계를 포함할 수 있다.
본 발명의 실시예들에서, 검출된 차들을 인코딩하는 단계는, 둘 이상의 후보 스캔 패턴들의 세트로부터 스캔 패턴을 선택하는 단계로서, 각각의 스캔 패턴은 샘플들의 그 블록에 대한 예측 모드에 의존하여, 주파수-분리된 계수들의 세트를 인코딩하는 순서를 정의하는, 상기 선택하는 단계; 및 선택된 스캔 패턴에 따라 주파수-분리된 계수들의 순서로 주파수-분리된 차 데이터를 인코딩하는 단계를 포함한다. 즉, 이것은 MDCS 및 MDDT 둘 모두를 사용하는 시스템을 표현한다.
코딩된 블록 플래그
코딩된 블록 플래그(coded block flag; CBF)는 - 루마 TU에 대해 - 그 TU가 임의의 비-제로 계수들을 포함하는지의 여부를 표시하기 위해 사용된다. 이것은 인코딩 처리가 인코딩될 데이터를 가지지 않은 블록들을 스킵하도록 허용하는 간단한 예/아니오 응답을 제공한다.
일부 구성들에서, CBF들은 크로마 데이터에 사용되지만, 각각의 분리 레벨로 제공된다. 이것은, 크로마 성분들이 흔히 적은 양의 정보를 가지고 따라서 크로마 블록이 대응하는 루마 블록이 데이터를 포함하지 않는 것으로 발견되는 레벨보다 높은 분리 레벨로 제로 데이터를 포함하는 것으로 발견될 수 있기 때문이다.
일부 실시예들에서, 그러나, 크로마는 CBF 플래그들을 할당하기 위해 루마와 정확히 동일하게 다루어진다.
CABAC 인코딩 및 콘텍스트 모델링
도 40은 CABAC 엔트로피 인코더의 동작을 개략적으로 도시한다.
CABAC 인코더는 이진 데이터, 즉 두 개의 심볼들 0 및 1에 의해서만 표현되는 데이터에 대해 동작한다. 인코더는 이전에 인코딩된 데이터에 기초하여 후속 데이터에 대한 "콘텍스트(context)" 또는 확률 모델을 선택하는 소위 콘텍스트 모델링 처리를 사용한다. 콘텍스트의 선택은, 동일한 결정이 이전에 디코딩된 데이터에 기초하여, 디코더에 넘겨지는 인코딩된 데이터스트림에 추가될 다른 데이터(콘텍스트를 명시)에 대한 필요 없이 디코더에서 수행될 수 있도록 결정론적 방식(deterministic way)으로 실행된다.
도 40을 참조하면, 인코딩될 입력 데이터는 이미 이진 형태가 아니면 이진 변환기(1900)에 넘겨질 수 있고; 데이터가 이미 이진 형태이면, 변환기(1900)는 (도식적 스위치(1910)에 의해) 바이패스된다. 본 실시예들에서, 이진 형태로의 변환은 양자화된 DCT(또는 다른 주파수-분리된) 계수 데이터를 일련의 이진 "맵들(maps)"로서 표현함으로써 실제로 실행되며, 일련의 이진 맵들은 하기에 더 기술될 것이다.
이진 데이터는 그 후에 2개의 처리 경로들, "정규(regular)" 및 "바이패스(bypass)" 경로(이들은 별도의 경로들로서 개략적으로 도시되지만, 하기에 논의되는 본 발명의 실시예들에서, 약간 상이한 파라미터들을 사용하여 사실상 동일한 처리 단계들에 의해 구현될 수 있음) 중 하나에 의해 다루어질 수 있다. 바이패스 경로는 콘텍스트 모델링을 반드시 정규 경로와 동일한 형태로 사용하지 않는 소위 바이패스 코더(1920)를 사용한다. CABAC 코딩의 일부 예들에서, 이 바이패스 경로는 일괄 데이터의 특별히 신속한 처리에 대한 필요가 존재한다면 선택될 수 있지만, 본 실시예들에서 소위 "바이패스" 데이터의 두 특징들을 유념한다: 첫째, 바이패스 데이터는 50% 확률을 표현하는 고정된 콘텍스트 모델을 사용하는 CABAC 인코더(1950, 1960)에 의해 다루어지고; 둘째, 바이패스 데이터는 데이터의 특정 카테고리들에 관련되고, 일 특정 예는 계수 부호 데이터이다. 그렇지 않으면, 정규 경로는 도식적 스위치들(1930, 1940)에 의해 선택된다. 이것은 콘텍스트 모델기(1950)에 이어 코딩 엔진(1960)에 의해 처리되는 데이터를 관련시킨다.
도 40에 도시된 엔트로피 인코더는 블록이 완전히 제로-값 데이터로 이루어진 경우에 데이터(즉, 예를 들면, 잉여 이미지의 블록에 관련된 계수들의 블록에 대응하는 데이터)의 블록을 단일 값으로서 인코딩한다. 이 카테고리에 있지 않은 각각의 블록, 즉 적어도 약간의 비-제로 데이터를 포함하는 블록에 대해, "중요 맵(significance map)"이 준비된다. 중요 맵은 인코딩될 데이터의 블록에서의 각각의 위치에 대해, 블록에서의 대응하는 계수가 비-제로인지의 여부를 표시한다. 이진 형태인 중요 맵 데이터는 자체 CABAC 인코딩된다. 중요 맵의 사용은, 중요 맵이 제로인 것을 표시하는 크기를 가진 계수에 대해 데이터가 인코딩되어야 할 필요가 없기 때문에 압축을 지원한다. 또한, 중요 맵은 블록에서 최종 비-제로 계수를 표시하기 위한 특정 코드를 포함할 수 있어서, 모든 최종 고주파수/트레일링 제로 계수들(trailing zero coefficients)은 인코딩으로부터 생략될 수 있다. 중요 맵은 인코딩된 비트스트림에서, 중요 맵에 의해 명시된 비-제로 계수들의 값들을 정의하는 데이터가 뒤따른다.
다른 레벨들의 맵 데이터가 또한 준비되고, CABAC 인코딩된다. 예는 중요 맵이 "비-제로(non-zero)"인 것을 표시하는 맵 위치에서의 계수 데이터가 실제로 "1(one)"의 값을 가지는지의 여부를 이진 값(1 = 예, 0 = 아니오)으로서 정의하는 맵이다. 다른 맵은 중요 맵이 "비-제로"인 것을 표시하는 맵 위치에서의 계수 데이터가 실제로 "2(two)"의 값을 가지는지의 여부를 명시한다. 또 다른 맵은, 중요 맵이 계수 데이터가 "비-제로"인 것을 표시하는 그들 맵 위치들에 대해, 데이터가 "2보다 큰(greater than two)" 값을 가지는지의 여부를 표시한다. 다른 맵은 다시 "비-제로"로서 식별된 데이터에 대해, 데이터 값의 부호(+에 대해 1, -에 대해 0, 또는 당연히 반대로도 가능한 것과 같은 미리 결정된 이진 표시를 사용하여)를 표시할 수 있다.
본 발명의 실시예들에서, 중요 맵 및 다른 맵들이 양자화된 DCT 계수들로부터 예를 들면, 스캔 유닛(360)에 의해 생성되고, CABAC 인코딩을 받기 전에 지그재그 스캔 처리(또는 상기에 논의된 것들로부터 선택된 스캔 처리)를 받는다.
일반적으로 말해, CABAC 인코딩은 다른 이전에 인코딩된 데이터에 기초하여, 인코딩될 다음 비트에 대한 콘텍스트 또는 확률 모델을 예측하는 것을 관련시킨다. 다음 비트가 확률 모델에 의해 "가장 가능성 있는" 것으로 식별된 비트와 동일하다면, "다음 비트가 확률 모델과 일치한다"는 정보의 인코딩이 큰 효율성을 가지고 인코딩될 수 있다. "다음 비트가 확률 모델과 일치하지 않는다("고 인코딩하는 것은 덜 효율적이고, 따라서 콘텍스트 데이터의 도출은 인코더의 양호한 동작에 중요하다. 용어 "적응성"은 (아직 코딩되지 않은) 다음 데이터에 대한 양호한 매칭을 제공하려는 시도에서, 인코딩동안 콘텍스트 또는 확률 모델들이 적용되거나 변화되는 것을 의미한다.
간단한 비유를 사용하면, 기재된 영문에서, 글자 "U"는 비교적 흔하지 않다. 그러나 글자 위치에서 글자 "Q" 직후에, 이것은 참으로 매우 흔하다. 따라서, 확률 모델은 "U"의 확률을 매우 낮은 값으로 설정할 수 있지만, 현재 글자가 "Q"이면, 다음 글자로서 "U"에 대한 확률 모델은 매우 높은 확률 값으로 설정될 수 있다.
CABAC 인코딩은 본 구성들에서, 비-제로 값들이 1 또는 2인지를 표시하는 적어도 중요 맵 또는 맵들에 사용된다. 바이패스 처리 - 이들 실시예들에서는 CABAC 인코딩과 동일하지만 확률 모델이 1들과 0들의 동일한(0.5:0.5) 확률 분포로서 고정된다는 사실에 대해서는 적어도 부호 데이터 및 값이 >2인지의 여부를 표시하는 맵에 사용된다. >2로서 식별된 이들 데이터 위치들에 대해, 별도의 소위 이스케이프 데이터 인코딩(escape data encoding)이 데이터의 실제 값을 인코딩하기 위해 사용될 수 있다. 이것은 골롬-라이스 인코딩 기술(Golomb-Rice encoding technique)을 포함할 수 있다.
CABAC 콘텍스트 모델링 및 인코딩 처리는 WD4: Working Draft 4 of High-Efficiency Video Coding, JCTVC-F803_d5, Draft ISO/IEC 23008- HEVC; 201×(E) 2011-10-28에 더욱 상세히 기술된다.
콘텍스트 변수들은 슬라이스를 처리 종료시에 리셋된다.
다른 각각의 기준 샘플들 또는 값들로부터 이미지의 휘도 및/또는 색차 샘플들의 블록들을 예측하는 단계; 블록에서의 샘플들과 각각의 예측된 샘플들 사이의 차들을 검출하는 단계; 계수들에 의해 표현된 증가하는 공간 주파수들에 따라 순서화된 주파수-분리된 계수들의 대응하는 어레이를 생성하기 위해 각각의 블록에 대한 검출된 차들을 주파수-분리하는 단계; 및 특정 계수 값을 가진 계수의 확률을 표시하는 콘텍스트 변수들에 대한 계수들을 인코딩하는 콘텍스트 적응적 산술 코드를 사용하여 주파수-분리된 계수들을 엔트로피-인코딩하는 단계를 포함하는 비디오 데이터 코딩 방법으로서, 엔트로피-인코딩 단계는: 각각의 어레이를 둘 이상의 계수 그룹들로 분리하는 단계로서, 그룹들은 비-정방 서브-어레이들인, 상기 분리하는 단계; 그 계수에 의해 표현된 공간 주파수들에 따라 및 샘플들의 이웃하는 블록에 대응하는 어레이 또는 그 어레이에서 계수들의 하나 이상의 인근 그룹들에서의 계수들의 값들에 의존하여 계수를 인코딩하기 위해 콘텍스트 변수를 선택하는 단계를 포함하는, 비디오 데이터 코딩 방법에 대한 참조가 지금부터 이루어질 것이다.
이것은 때때로 이웃 콘텍스트 변수 할당으로서 알려지며, 이것은 이웃하는 서브-어레이들에 임의의 비-제로 계수들이 존재하는지의 여부에 따라 콘텍스트 변수의 계수 위치로의 할당 패턴이 한 서브-어레이씩 기초하여(서브-어레이는 계수들의 블록의 일부임) 설정되도록 허용한다. 주파수-분리된 데이터의 사용을 위해 선택된 스캔 패턴이 관련되어, 엔트로피-인코딩 단계는 하나 이상의 후보 스캔 패턴들의 설정으로부터 선택된 스캔 패턴에 의존하는 순서로 어레이의 계수들을 인코딩하는 단계를 포함한다. 계수들의 각각의 서브-어레이는 그 어레이에 적용가능한 스캔 패턴에 의해 규정된 순서의 n개의 계수들의 연속 세트로서 고려될 수 있고, 여기서 n은 어레이에서 계수들의 수의 정수 인자이다. 예를 들면, n은 16이 될 수 있다.
도 41a 내지 도 41d는 이전에 제안된 이웃 할당을 위한 상황을 개략적으로 도시한다.
본 발명의 실시예들에서, 선택 단계는 그룹 내의 계수들을 후보 콘텍스트 변수들의 세트 중 하나에 할당하여, 각각의 그룹 내에서, 계수들의 연속 서브세트들은 스캔 순서로, 후보 콘텍스트 변수들의 각각의 변수들에 할당된다. 도 42a 내지 도 43b에 도시된 예들에서, 수직 스캔 순서가 사용되고 그 순서로 할당들이 이루어진다. 도 44에서 수평 스캔 순서가 사용되고 그 순서로 할당들이 이루어진다.
언급된 바와 같이, 선택 단계는 인근 계수들이 제로 값을 가지는지의 여부에 의존한다. 계수들의 각각의 그룹에 대한 2개의 후보 콘텍스트 변수들이 존재할 수 있다.
이제 도 42a, 도 42b, 도 43a, 도 43b 및 도 44로 돌아가서, 도시된 도면들의 포맷은 수평 공간 주파수가 어레이의 좌측에서 우측으로 증가하고 수직 공간 주파수가 어레이의 상측에서 하측으로 증가하도록 계수들이 어레이 내에서 순서화되는 것이다.
손상 데이터(예를 들면, 화상 또는 슬라이스의 에지들에서의 데이터, 또는 아직 인코딩되지 않은 데이터)를 다루는 방법에 대한 2개의 옵션들이 존재한다. 일 옵션에서(도 42a), 현재 그룹 인근의 계수들의 그룹이 아직 주파수-분리되지 않았다면, 선택 단계는 현재 그룹에서의 계수에 대한 콘텍스트 변수를 선택하기 위해 제로 값들을 그 그룹에 할당한다. 다른 옵션에서(도 42b), 현재 그룹 인근의 계수들의 제 1 그룹이 아직 주파수-분리되지 않았지만, 현재 그룹에 이웃하는 제 2 그룹이 주파수-분리되었다면, 선택은 현재 그룹에서의 계수에 대한 콘텍스트 변수를 선택하기 위해 제 2 그룹의 값들을 제 1 그룹에 할당한다.
도 42a 내지 도 42b로 돌아가서, 현재 그룹의 우하측에 대한 두 그룹들이 비-제로 계수 데이터를 포함하면, 하나의 콘텍스트 변수는 선택 단계에 의해 스캔 순서로 현재 그룹의 제 1의 m개의 계수들에 할당되고 다른 콘텍스트 변수는 현재 그룹의 나머지 계수들에 할당된다. 현재 그룹의 우측에 대한 그룹이 비-제로 계수 데이터를 가지지만 현재 그룹의 하측에 대한 그룹이 가지지 않으면, 하나의 콘텍스트 변수는 선택 단계에 의해 현재 그룹의 상반측에 할당되고 다른 콘텍스트 변수는 현재 그룹의 나머지 계수들에 할당된다. 현재 그룹의 하측의 그룹이 비-제로 데이터를 가지지만 현재 그룹의 우측에 대한 그룹이 가지지 않으면, 하나의 콘텍스트 변수는 선택 단계에 의해 스캔 순서로 현재 그룹의 제 1의 p개의 계수들에 할당되고 다른 콘텍스트 변수는 현재 그룹의 나머지 계수들에 할당된다. 현재 그룹의 하측의 그룹이 비-제로 데이터를 가지지만 현재 그룹의 우측에 대한 그룹이 가지지 않으면, 하나의 콘텍스트 변수는 선택 단계에 의해 현재 그룹의 좌반측에 할당되고 다른 콘텍스트 변수는 현재 그룹의 나머지 계수들에 할당된다. 도시된 예들에서, m 및 p는 정수들이고, m은 p와 같지 않다. 특히, 도시된 예들에서, 현재 그룹은 8 × 2 또는 2 × 8 계수들의 서브-어레이를 포함하고; m=13이고 p=6이다.
도시된 방법은 적어도 하나의 차원에서 적어도 8개의 샘플들의 크기를 가진 샘플들의 블록들에 적용가능하다. 예는 8×8 블록 이상이다.
샘플들의 적어도 일부의 블록들(TU들)이 정방이든, 또는 샘플들의 적어도 일부의 블록들(TU들)이 비-정방이든, 이 기술은 사용가능하다.
이제 도 45로 돌아가서, 본 발명의 실시예들은 또한, 다른 각각의 기준 샘플들 또는 값들로부터 이미지의 휘도 및/또는 색차 샘플들의 블록들을 예측하는 단계; 블록에서의 샘플들과 각각의 예측된 샘플들 사이의 차들을 검출하는 단계; 계수들에 의해 표현된 공간 주파수들에 따라 순서화된 주파수-분리된 계수들의 대응하는 어레이를 생성하기 위해 각각의 블록에 대한 검출된 차들을 주파수-분리하는 단계로서, 계수들 중 하나는 블록의 dc 값을 표현하는, 상기 주파수-분리 단계; 및 특정 계수 값을 가진 계수의 확률을 표시하는 콘텍스트 변수들에 대한 계수들을 인코딩하는 콘텍스트 적응적 산술 코드를 사용하여 주파수-분리된 계수들을 엔트로피-인코딩하는 단계를 포함하는 비디오 데이터 코딩 방법으로서, 엔트로피-인코딩 단계는: 각각의 어레이를 둘 이상의 계수 그룹들로 분리하는 단계로서, 그룹들은 비-정방 서브-어레이들인, 상기 분리하는 단계; 그 계수에 의해 표현된 공간 주파수들에 따라, 정방 서브-어레이에 적용가능한 콘텍스트 변수 할당들을 위치-반복하지만 콘텍스트 변수의 dc 계수로의 할당을 위치-반복하지 않음으로써, 비-정방 서브-어레이에 대해 생성된 각각의 계수들을 인코딩하기 위해 콘텍스트 변수들의 할당을 생성하는 단계를 포함하는, 비디오 데이터 코딩 방법을 제공한다. 도 45에 도시된 바와 같이, 8×16 서브-어레이에 대한 할당 패턴은 8×8 서브-어레이 할당 패턴으로부터 도출된 값-반복 패턴이지만, dc 할당(도시된 바와 같이 좌상측 코너)은 값-반복되지 않는다. 즉, dc 계수에 할당된 콘텍스트 변수는 임의의 다른 계수에 할당되지 않는다.
데이터 신호들
상기 논의된 코딩 장치의 변형들에 의해 생성되는 데이터 신호들, 및 이러한 신호들을 운반하는 저장장치 또는 전송 매체들이 본 발명의 실시예들을 표현하도록 고려되는 것을 알 것이다.
처리, 코딩 또는 디코딩 방법들이 상기에 논의되는 경우, 이러한 방법들을 수행하도록 구성된 장치가 또한 본 발명의 실시예들을 표현하도록 고려되는 것을 알 것이다. 또한, 이러한 기술들을 통합하는 비디오 저장, 송신, 캡처 및/또는 디스플레이 장치가 본 발명의 실시예를 표현하도록 고려되는 것을 알 것이다.
본 발명의 실시예들이 소프트웨어-제어되는 데이터 처리 장치에 의해 적어도 부분적으로 구현되는 것으로 기술되는 한, 광 디스크, 자기 디스크, 반도체 메모리 등과 같이 이러한 소프트웨어를 운반하는 비-일시적 기계-판독가능한 매체가 또한 본 발명의 실시예를 표현하도록 고려되는 것을 알 것이다.
본 발명의 수많은 수정들 및 변형들은 상기 발명들에 비추어 가능하다는 것을 알 것이다. 따라서 첨부된 청구항들의 범위 내에서, 이 기술은 여기에 특별히 기술된 것 외에 달리 실시될 수 있다는 것을 이해해야 한다.
각각의 실시예들이 다음의 번호가 매겨진 조항들에 의해 규정된다:
1. 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 디코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 디코딩 방법에 있어서:
예측될 현재 샘플들의 세트에 대해 제 1 애스팩트 비의 그리드에 관해 규정된 제 1 예측 방향을 검출하는 단계; 및
예측될 현재 샘플들의 동일한 세트의 상이한 애스팩트 비의 샘플들의 그리드에 관해 규정된 제 2 예측 방향을 생성하도록 방향 매핑을 상기 예측 방향에 적용하는 단계를 포함하는, 비디오 디코딩 방법.
2. 제 1 항에 있어서,
상기 제 1 예측 방향은 휘도 또는 색차 샘플들 중 하나에 대해 정의되고, 상기 제 2 예측 방향은 휘도 또는 색차 샘플들 중 다른 하나에 대해 정의되는, 비디오 디코딩 방법.
3. 제 1 항에 있어서,
상기 기준 샘플들은 예측될 상기 샘플들과 동일한 각각의 이미지의 샘플들인, 비디오 디코딩 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 제 1 예측 방향은 현재 휘도 샘플을 포함하는 휘도 샘플들의 정방 블록에 대해 정의되고;
상기 제 2 예측 방향은 현재 색차 샘플을 포함하는 색차 샘플들의 장방 블록에 대해 정의되는, 비디오 디코딩 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 색차 샘플들은 제 1 및 제 2 색차 성분들의 샘플들을 포함하고, 상기 방법은:
상기 제 1 색차 성분에 대해 상기 방향 매핑 단계를 적용하는 단계; 및
상기 제 2 색차 성분에 대해 상이한 예측 모드를 제공하는 단계를 포함하는, 비디오 디코딩 방법.
6. 제 5 항에 있어서,
상이한 각각의 예측 모드들을 상기 휘도 및 색차 성분들의 각각에 제공하는 단계를 포함하는, 비디오 디코딩 방법.
7. 제 5 항 또는 제 6 항에 있어서,
상기 상이한 예측 모드는 상기 제 2 색차 성분의 샘플들이 상기 제 1 색차 성분의 샘플들로부터 예측되는 모드를 포함하는, 비디오 디코딩 방법.
8. 제 6 항에 있어서,
상기 제 1 색차 성분은 Cb 성분이고, 상기 제 2 색차 성분은 Cr 성분인, 비디오 디코딩 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 기준 샘플들을 필터링하는 단계를 포함하는, 비디오 디코딩 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 휘도 샘플들 및 상기 색차 샘플들을 4:2:2 포맷 비디오 신호로서 제공하는 단계를 포함하는, 비디오 디코딩 방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 방향 매핑을 적용하는 단계는:
(ⅰ) 상기 휘도 방향에 따라 인트라-예측 각도 단계 및 그 역을 도출하는 단계; 및
(ⅱ) 상기 휘도 방향이 주로 수직이면, 상기 인트라-예측 각도 단계를 반감하고 그 역을 배가하는 단계; 및
(ⅲ) 그렇지 않고, 상기 휘도 방향이 주로 수평이면, 상기 인트라-예측 각도 단계를 배가하고 그 역을 반감하는 단계를 포함하는, 비디오 디코딩 방법.
12. 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법에 있어서, 상기 제 1 색차 성분의 샘플들로부터 상기 제 2 색차 성분의 샘플들을 예측하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법.
13. 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법에 있어서, 상기 기준 샘플들을 필터링하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법.
14. 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 동일한 이미지의 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖고, 상기 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 상기 비디오 코딩 또는 디코딩 방법에 있어서:
상기 제 1 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들의 선택을 정의하는 예측 모드를 선택하는 단계; 및
상기 제 1 색차 성분의 상기 현재 색차 샘플과 공동-위치된, 상기 제 2 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들의 상이한 선택을 정의하는 상이한 예측 모드를 선택하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법.
15. 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 코딩 또는 디코딩 방법에 있어서:
애스팩트 비의 차에 의존하여 상이한 각각의 예측 알고리즘을 상기 휘도 및 색차 샘플들에 적용하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법.
16. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제 1 항 내지 제 15 항 중 어느 한 항에 따른 방법을 실행하도록 하는, 컴퓨터 소프트웨어.
17. 제 16 항에 따른 소프트웨어를 저장하는, 기계-판독가능한 비일시적 저장 매체.
18. 제 1 항 내지 제 15 항 중 어느 한 항의 방법에 따라 생성되는 코딩된 데이터를 포함하는, 데이터 신호.
19. 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 장치로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 코딩 또는 디코딩 장치에 있어서:
예측될 현재 샘플들의 세트에 대해 제 1 애스팩트 비의 그리드에 관해 규정된 제 1 예측 방향을 검출하도록 구성된 검출기; 및
예측될 현재 샘플들의 동일한 세트의 상이한 애스팩트 비의 샘플들의 그리드에 관해 규정된 제 2 예측 방향을 생성하도록 방향 매핑을 상기 예측 방향에 적용하도록 구성된 방향 매퍼를 포함하는, 비디오 코딩 또는 디코딩 장치.
20. 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 동일한 이미지의 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 장치로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖고, 상기 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 상기 비디오 코딩 또는 디코딩 장치에 있어서:
상기 제 1 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들의 선택을 정의하는 예측 모드를 선택하고; 상기 제 1 색차 성분의 상기 현재 색차 샘플과 공동-위치된, 상기 제 2 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들의 상이한 선택을 정의하는 상이한 예측 모드를 선택하도록 구성된 선택기를 포함하는, 비디오 코딩 또는 디코딩 장치.
21. 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 장치로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 코딩 또는 디코딩 장치에 있어서:
애스팩트 비의 차에 의존하여 상이한 각각의 예측 알고리즘을 상기 휘도 및 색차 샘플들에 적용하도록 구성된 예측기를 포함하는, 비디오 코딩 또는 디코딩 장치.
22. 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 장치에 있어서, 상기 제 1 색차 성분의 샘플들로부터 상기 제 2 색차 성분의 샘플들을 예측하도록 구성된 예측기를 포함하는, 비디오 코딩 또는 디코딩 장치.
23. 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 또는 디코딩 장치에 있어서, 상기 기준 샘플들을 필터링하도록 구성된 필터를 포함하는, 비디오 코딩 또는 디코딩 장치.
320; 예측기 343; 제어기
520; 인트라 모드 선택기 530; 인트라 예측기
540; MC 예측기 550; 움직임 추정기
560; 필터 580; 보간 필터

Claims (38)

  1. 휘도 및 색차 샘플들(chrominance samples)이 예측될 현재 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 디코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비(aspect ratio)를 갖는, 상기 비디오 디코딩 방법에 있어서:
    예측될 현재 샘플들의 세트에 대해 제 1 애스팩트 비의 제 1 그리드에 관해 규정된 제 1 예측 방향을 검출하는 단계; 및
    상이한 애스팩트 비의 제 2 그리드에 관해 규정된 제 2 예측 방향을 생성하도록 방향 매핑을 상기 예측 방향에 적용하는 단계를 포함하는, 비디오 디코딩 방법.
  2. 제 1 항에 있어서,
    상기 제 1 예측 방향을 검출하는데 사용되는 상기 제 1 그리드는 휘도 또는 색차 샘플들 중 하나의 샘플 위치들에 대해 정의되고, 상기 제 2 예측 방향을 생성하는데 사용되는 상기 제 2 그리드는 휘도 또는 색차 샘플들 중 다른 하나의 샘플 위치들에 대해 정의되는, 비디오 디코딩 방법.
  3. 제 1 항에 있어서,
    상기 예측 방향은 인트라-예측 방향(intra-prediction direction)이고, 상기 기준 샘플들은 예측될 상기 샘플들과 동일한 각각의 이미지로부터 도출된 샘플들인, 비디오 디코딩 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제 1 예측 방향은 현재 휘도 샘플을 포함하는 휘도 샘플들의 정방 블록(square block)에 대해 정의되고;
    상기 제 2 예측 방향은 현재 색차 샘플을 포함하는 색차 샘플들의 장방 블록(rectangular block)에 대해 정의되는, 비디오 디코딩 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 색차 샘플들은 제 1 및 제 2 색차 성분들의 샘플들을 포함하고, 상기 방법은:
    상기 제 1 색차 성분에 대해 상기 방향 매핑 단계를 적용하는 단계; 및
    상기 제 2 색차 성분에 대해 상이한 예측 모드를 제공하는 단계를 포함하는, 비디오 디코딩 방법.
  6. 제 5 항에 있어서,
    상이한 각각의 예측 모드들을 상기 휘도 및 색차 성분들의 각각에 제공하는 단계를 포함하는, 비디오 디코딩 방법.
  7. 제 5 항 또는 제 6 항에 있어서,
    상이한 예측 모드는 상기 제 2 색차 성분의 샘플들이 상기 제 1 색차 성분의 샘플들로부터 예측되는 모드를 포함하는, 비디오 디코딩 방법.
  8. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제 1 색차 성분은 Cb 성분이고, 상기 제 2 색차 성분은 Cr 성분인, 비디오 디코딩 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 휘도 샘플들 및 상기 색차 샘플들을 4:2:2 포맷 비디오 신호로서 제공하는 단계를 포함하는, 비디오 디코딩 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 예측 방향은 예측될 현재 샘플들의 상기 세트의 상측 및 좌측에 각각 구성된 샘플들의 수평 행 및 수직 열을 포함하는 후보 기준 샘플들의 그룹에 대해 샘플 위치를 정의하는, 비디오 디코딩 방법.
  11. 제 10 항에 있어서,
    후보 기준 샘플들의 상기 그룹을 기준 샘플들의 선형 어레이로서 순서화하는 단계; 및
    평탄화 필터(smoothing filter)를 상기 선형 어레이 기준 샘플들에 상기 선형 어레이를 따르는 방향으로 적용하는 단계를 포함하는, 비디오 디코딩 방법.
  12. 제 10 항 또는 제 11 항에 있어서,
    현재 샘플에 대한 예측 방향이 연관된 각도 단계(angle step)로 정의되고;
    주로 수직인 예측 방향에 대한 상기 각도 단계는 후보 기준 샘플들의 상기 그룹의 샘플 위치들의 상기 수평 행을 따라, 상기 현재 샘플로부터 수직으로 치환되는 상기 행의 샘플 위치에 대한 오프셋이고;
    주로 수평인 예측 방향에 대한 상기 각도 단계는 후보 기준 샘플들의 상기 그룹의 샘플 위치들의 상기 수직 열을 따라, 상기 현재 샘플로부터 수평으로 치환되는 상기 열의 샘플 위치에 대한 오프셋이고;
    상기 오프셋에 의해 표시된 상기 수평 행 또는 수직 열을 따르는 상기 샘플 위치는 상기 현재 샘플의 예측시에 사용될 샘플 위치에 대한 포인터를 제공하는, 비디오 디코딩 방법.
  13. 제 12 항에 있어서,
    상기 방향 매핑을 적용하는 상기 단계는 미리 결정된 함수를 상기 제 1 예측 방향에 대응하는 상기 각도 단계에 적용하는 단계를 포함하는, 비디오 디코딩 방법.
  14. 제 13 항에 있어서,
    상기 방향 매핑을 적용하는 상기 단계는:
    상기 제 1 예측 방향에 따라 각도 단계를 도출하는 단계; 및
    (ⅰ) 상기 제 1 예측 방향이 주로 수직이면, 상기 제 2 예측 방향의 각도 단계를 생성하기 위해 상기 각각의 각도 단계를 반감하는 단계; 또는
    (ⅱ) 상기 제 1 예측 방향이 주로 수평이면, 상기 제 2 예측 방향의 각도 단계를 생성하기 위해 상기 각각의 각도 단계를 배가하는 단계를 포함하는, 비디오 디코딩 방법.
  15. 제 14 항에 있어서,
    상기 각도 단계가 정수가 아니면, 상기 각도 단계는 상기 현재 샘플의 예측을 제공하기 위한 보간을 위해 후보 기준 샘플들의 상기 그룹 내에서 둘 이상의 샘플들 위치들의 그룹을 정의하는데 사용되는, 비디오 디코딩 방법.
  16. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 방향 매핑을 적용하는 상기 단계는 룩-업 테이블을 인덱싱하기 위해 상기 제 1 예측 방향을 사용하는 단계를 포함하고, 상기 테이블은 상기 제 2 예측 방향의 대응하는 값들을 제공하는, 비디오 디코딩 방법.
  17. 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 제 1 예측 방향을 검출하는 상기 단계는 디코딩될 상기 비디오 데이터와 연관된 예측 방향을 정의하는 정보를 검출하는 단계를 포함하는, 비디오 디코딩 방법.
  18. 제 1 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 제 1 예측 방향은 샘플들의 세트의 휘도 샘플들의 예측을 위해 사용되고;
    상기 제 1 예측 방향으로부터 상기 적용 단계에 의해 도출되는 상기 제 2 예측 방향은 샘플들의 상기 세트의 색차 샘플들의 예측을 위해 사용되는, 비디오 디코딩 방법.
  19. 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 모드에 따라 예측되는 비디오 코딩 또는 디코딩 방법에 있어서,
    상기 제 1 색차 성분의 샘플들로부터 상기 제 2 색차 성분의 샘플들을 예측하는 단계를 포함하는, 비디오 코딩 또는 디코딩 방법.
  20. 제 19 항에 있어서,
    예측될 샘플과 연관된 상기 예측 모드는 상기 샘플이 예측되는 하나 이상의 다른 각각의 기준 샘플들을 정의하는 예측 방향을 표시하는, 비디오 코딩 또는 디코딩 방법.
  21. 휘도 및 색차 샘플들이 예측될 현재 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 코딩 방법에 있어서:
    예측될 현재 샘플들의 세트에 대해 제 1 애스팩트 비의 제 1 그리드에 관해 규정된 제 1 예측 방향을 검출하는 단계; 및
    상이한 애스팩트 비의 제 2 그리드에 관해 규정된 제 2 예측 방향을 생성하도록 방향 매핑을 상기 예측 방향에 적용하는 단계를 포함하는, 비디오 코딩 방법.
  22. 제 1 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 제 1 예측 방향을 검출하는 상기 단계는 둘 이상의 후보 예측 방향들의 시험(trial)에 따라 예측 방향을 선택하는 단계를 포함하는, 비디오 코딩 방법.
  23. 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 동일한 이미지로부터 도출되는 다른 각각의 기준 샘플들로부터 예측되는 비디오 디코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖고, 상기 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 상기 비디오 디코딩 방법에 있어서:
    상기 제 1 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들 또는 값들의 선택을 정의하는 예측 모드를 선택하는 단계; 및
    상기 제 1 색차 성분의 상기 현재 색차 샘플과 공동-위치된, 상기 제 2 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들 또는 값들의 상이한 선택을 정의하는 상이한 예측 모드를 선택하는 단계를 포함하는, 비디오 디코딩 방법.
  24. 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 디코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 디코딩 방법에 있어서:
    애스팩트 비의 차에 의존하여 상이한 각각의 예측 알고리즘을 상기 휘도 및 색차 샘플들에 적용하는 단계를 포함하는, 비디오 디코딩 방법.
  25. 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 동일한 이미지로부터 도출되는 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖고, 상기 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 상기 비디오 코딩 방법에 있어서:
    상기 제 1 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들 또는 값들의 선택을 정의하는 예측 모드를 선택하는 단계; 및
    상기 제 1 색차 성분의 상기 현재 색차 샘플과 공동-위치된, 상기 제 2 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들 또는 값들의 상이한 선택을 정의하는 상이한 예측 모드를 선택하는 단계를 포함하는, 비디오 코딩 방법.
  26. 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 방법으로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 코딩 방법에 있어서:
    애스팩트 비의 차에 의존하여 상이한 각각의 예측 알고리즘을 상기 휘도 및 색차 샘플들에 적용하는 단계를 포함하는, 비디오 코딩 방법.
  27. 상기 컴퓨터로 하여금 제 1 항 내지 제 26 항 중 어느 한 항에 따른 방법을 실행하도록 하는, 컴퓨터 소프트웨어.
  28. 제 27 항에 따른 소프트웨어를 저장하는, 기계-판독가능한 비일시적 저장 매체.
  29. 제 1 항 내지 제 26 항 중 어느 한 항의 방법에 따라 생성되는 코딩된 데이터를 포함하는, 데이터 신호.
  30. 휘도 및 색차 샘플들이 예측될 현재 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 디코딩 장치로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 디코딩 장치에 있어서:
    예측될 현재 샘플들의 세트에 대해 제 1 애스팩트 비의 제 1 그리드에 관해 규정된 제 1 예측 방향을 검출하도록 구성된 검출기; 및
    상이한 애스팩트 비의 제 2 그리드에 관해 규정된 제 2 예측 방향을 생성하도록 방향 매핑을 상기 예측 방향에 적용하도록 구성된 방향 매퍼를 포함하는, 비디오 디코딩 장치.
  31. 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 동일한 이미지로부터 도출되는 다른 각각의 기준 샘플들로부터 예측되는 비디오 디코딩 장치로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖고, 상기 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 상기 비디오 디코딩 장치에 있어서:
    상기 제 1 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들 또는 값들의 선택을 정의하는 예측 모드를 선택하고; 상기 제 1 색차 성분의 상기 현재 색차 샘플과 공동-위치된, 상기 제 2 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들 또는 값들의 상이한 선택을 정의하는 상이한 예측 모드를 선택하도록 구성된 선택기를 포함하는, 비디오 디코딩 장치.
  32. 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 디코딩 장치로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 디코딩 장치에 있어서:
    애스팩트 비의 차에 의존하여 상이한 각각의 예측 알고리즘을 상기 휘도 및 색차 샘플들에 적용하도록 구성된 예측기를 포함하는, 비디오 디코딩 장치.
  33. 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 디코딩 장치에 있어서,
    상기 제 1 색차 성분의 샘플들로부터 상기 제 2 색차 성분의 샘플들을 예측하도록 구성된 예측기를 포함하는, 비디오 디코딩 장치.
  34. 휘도 및 색차 샘플들이 예측될 현재 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 장치로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 코딩 장치에 있어서:
    예측될 현재 샘플들의 세트에 대해 제 1 애스팩트 비의 제 1 그리드에 관해 규정된 제 1 예측 방향을 검출하도록 구성된 검출기; 및
    상이한 애스팩트 비의 제 2 그리드에 관해 규정된 제 2 예측 방향을 생성하도록 방향 매핑을 상기 예측 방향에 적용하도록 구성된 방향 매퍼를 포함하는, 비디오 코딩 장치.
  35. 이미지의 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 동일한 이미지로부터 도출되는 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 장치로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖고, 상기 색차 샘플들은 제 1 및 제 2 색차 성분들을 표현하는, 상기 비디오 코딩 장치에 있어서:
    상기 제 1 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들 또는 값들의 선택을 정의하는 예측 모드를 선택하고; 상기 제 1 색차 성분의 상기 현재 색차 샘플과 공동-위치된, 상기 제 2 색차 성분의 현재 색차 샘플을 예측하기 위해 하나 이상의 기준 샘플들 또는 값들의 상이한 선택을 정의하는 상이한 예측 모드를 선택하도록 구성된 선택기를 포함하는, 비디오 코딩 장치.
  36. 휘도 및 색차 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 장치로서, 상기 색차 샘플들은 상기 휘도 샘플들보다 낮은 수평 및/또는 수직 샘플링 레이트를 가져서 색차 수평 해상도에 대한 휘도 수평 해상도의 비가 색차 수직 해상도에 대한 휘도 수직 해상도의 비와 상이하여 휘도 샘플들의 블록이 대응하는 색차 샘플들의 블록에 대한 상이한 애스팩트 비를 갖는, 상기 비디오 코딩 장치에 있어서:
    애스팩트 비의 차에 의존하여 상이한 각각의 예측 알고리즘을 상기 휘도 및 색차 샘플들에 적용하도록 구성된 예측기를 포함하는, 비디오 코딩 장치.
  37. 휘도 및 제 1 및 제 2 색차 성분 샘플들이 예측될 샘플과 연관된 예측 방향에 따라 다른 각각의 기준 샘플들로부터 예측되는 비디오 코딩 장치에 있어서,
    상기 제 1 색차 성분의 샘플들로부터 상기 제 2 색차 성분의 샘플들을 예측하도록 구성된 예측기를 포함하는, 비디오 코딩 장치.
  38. 제 30 항 내지 제 37 항 중 어느 한 항에 따른 장치를 포함하는, 비디오 저장, 송신, 캡처 또는 디스플레이 장치.
KR1020147029912A 2012-04-26 2013-04-26 색차 값들에 대한 인트라 예측 모드 도출 KR20150003219A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
GB1207459.7A GB2501535A (en) 2012-04-26 2012-04-26 Chrominance Processing in High Efficiency Video Codecs
GB1207459.7 2012-04-26
GB1211075.5A GB2501553A (en) 2012-04-26 2012-06-22 Predictive video coding and decoding based upon aspect ratios of blocks of sampled luminance and chrominance components
GB1211075.5 2012-06-22
GB201211619A GB2501554B (en) 2012-04-26 2012-06-29 Data encoding and decoding
GB1211619.0 2012-06-29
PCT/GB2013/051072 WO2013160695A1 (en) 2012-04-26 2013-04-26 Intra prediction mode derivation for chrominance values

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177009416A Division KR20170041288A (ko) 2012-04-26 2013-04-26 색차 값들에 대한 인트라 예측 모드 도출

Publications (1)

Publication Number Publication Date
KR20150003219A true KR20150003219A (ko) 2015-01-08

Family

ID=46330504

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020177009416A KR20170041288A (ko) 2012-04-26 2013-04-26 색차 값들에 대한 인트라 예측 모드 도출
KR1020177012287A KR101840025B1 (ko) 2012-04-26 2013-04-26 인트라 예측 방향에 따른 예측 유닛들의 필터링
KR1020187007295A KR101994597B1 (ko) 2012-04-26 2013-04-26 인트라 예측 방향에 따른 예측 유닛들의 필터링
KR1020197017932A KR102104400B1 (ko) 2012-04-26 2013-04-26 인트라 예측 방향에 따른 예측 유닛들의 필터링
KR1020147029912A KR20150003219A (ko) 2012-04-26 2013-04-26 색차 값들에 대한 인트라 예측 모드 도출
KR1020147029919A KR101734974B1 (ko) 2012-04-26 2013-04-26 인트라 예측 방향에 따른 예측 유닛들의 필터링

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020177009416A KR20170041288A (ko) 2012-04-26 2013-04-26 색차 값들에 대한 인트라 예측 모드 도출
KR1020177012287A KR101840025B1 (ko) 2012-04-26 2013-04-26 인트라 예측 방향에 따른 예측 유닛들의 필터링
KR1020187007295A KR101994597B1 (ko) 2012-04-26 2013-04-26 인트라 예측 방향에 따른 예측 유닛들의 필터링
KR1020197017932A KR102104400B1 (ko) 2012-04-26 2013-04-26 인트라 예측 방향에 따른 예측 유닛들의 필터링

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147029919A KR101734974B1 (ko) 2012-04-26 2013-04-26 인트라 예측 방향에 따른 예측 유닛들의 필터링

Country Status (13)

Country Link
US (20) US9948929B2 (ko)
EP (8) EP2842321A2 (ko)
JP (11) JP2015518339A (ko)
KR (6) KR20170041288A (ko)
CN (14) CN104285445A (ko)
AU (5) AU2013254444B2 (ko)
BR (3) BR112014026021B1 (ko)
CA (6) CA3028883C (ko)
GB (13) GB2501535A (ko)
MX (3) MX343351B (ko)
RU (4) RU2599935C2 (ko)
TW (5) TWI611689B (ko)
WO (9) WO2013160656A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145162A3 (en) * 2015-03-12 2016-11-03 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations
WO2018062921A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
WO2018080122A1 (ko) * 2016-10-28 2018-05-03 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020060077A1 (ko) * 2018-09-20 2020-03-26 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20220159249A1 (en) * 2019-03-08 2022-05-19 Canon Kabushiki Kaisha Adaptive loop filter

Families Citing this family (212)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2857849C (en) * 2010-04-23 2020-02-11 Soo Mi Oh Apparatus and method for encoding a moving picture
PL4124034T3 (pl) * 2010-12-22 2024-01-03 Lg Electronics Inc. Predykcja wewnątrzramkowa w kodowaniu wideo
US10645398B2 (en) * 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
EP2777250B1 (en) 2011-11-07 2017-05-31 Intel Corporation Cross-channel residual prediction
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9332257B2 (en) 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
AU2013344305A1 (en) * 2012-11-08 2015-03-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
EP3697092B1 (en) 2013-03-29 2021-09-29 JVCKENWOOD Corporation Image decoding device, image decoding method, and image decoding program
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
CN113259683B (zh) * 2013-04-08 2024-08-23 Ge视频压缩有限责任公司 分量间预测
GB2513111A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
GB2513110A (en) 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
EP2936816B1 (en) * 2013-04-09 2020-04-29 MediaTek Singapore Pte Ltd. Method and apparatus for non-square intra mode coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
US10171818B2 (en) * 2013-07-24 2019-01-01 Microsoft Technology Licensing, Llc Scanning orders for non-transform coding
US9510002B2 (en) * 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
WO2015054813A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR102336932B1 (ko) * 2013-12-27 2021-12-08 소니그룹주식회사 화상 처리 장치 및 방법
BR112016015080A2 (pt) 2014-01-03 2017-08-08 Microsoft Technology Licensing Llc Predição de vetor de bloco em codificação / decodificação de vídeo e imagem
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP5897159B2 (ja) * 2014-02-25 2016-03-30 キヤノン株式会社 表示装置及びその制御方法
CN106062779B (zh) 2014-03-03 2019-09-20 索尼公司 针对rext中的强帧内平滑
MX361228B (es) 2014-03-04 2018-11-29 Microsoft Technology Licensing Llc Inversión de bloque y modo de omisión en predicción de intracopia de bloque.
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
JP6653860B2 (ja) * 2014-05-26 2020-02-26 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10142642B2 (en) 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
EP3158734A1 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
WO2016006894A1 (ko) * 2014-07-06 2016-01-14 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
EP3917146A1 (en) 2014-09-30 2021-12-01 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
GB2532420A (en) 2014-11-18 2016-05-25 Sony Corp Data encoding and decoding
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
EP3051818A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
US10057587B2 (en) * 2015-01-31 2018-08-21 Qualcomm Incorporated Coding escape pixels for palette mode coding
CN107211149A (zh) * 2015-02-05 2017-09-26 联发科技股份有限公司 调色板语法的解码操作装置与方法
EP3264771A4 (en) * 2015-02-27 2018-08-29 KDDI Corporation Coding device and decoding device
US10291932B2 (en) * 2015-03-06 2019-05-14 Qualcomm Incorporated Method and apparatus for low complexity quarter pel generation in motion search
CN107409208B (zh) * 2015-03-27 2021-04-20 索尼公司 图像处理装置、图像处理方法以及计算机可读存储介质
EP3286917A1 (en) * 2015-05-21 2018-02-28 Huawei Technologies Co. Ltd. Apparatus and method for video motion compensation
KR102539009B1 (ko) * 2015-06-08 2023-05-31 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
FR3038484B1 (fr) * 2015-07-01 2017-07-28 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
GB2557809B (en) 2015-08-28 2021-12-01 Kt Corp Method and device for processing video signal
WO2017041271A1 (en) * 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
CN108028923B (zh) * 2015-09-10 2021-08-20 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
US20180302629A1 (en) * 2015-10-30 2018-10-18 Sony Corporation Image processing apparatus and method
CN109076237A (zh) * 2015-11-18 2018-12-21 联发科技股份有限公司 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
WO2017090993A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
EP3412028B1 (en) 2016-02-12 2024-04-03 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
EP3414902A1 (en) * 2016-02-12 2018-12-19 Thomson Licensing A method and device for intra-predictive encoding/decoding a coding unit comprising picture data, said intra-predictive encoding depending on a prediction tree and a transform tree
SG11201806811TA (en) 2016-02-12 2018-09-27 Huawei Tech Co Ltd Method and apparatus for scan order selection
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
US10567759B2 (en) * 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
US20170332103A1 (en) * 2016-05-13 2017-11-16 Intel Corporation Interleaving luma and chroma coefficients to reduce the intra prediction loop dependency in video encoders and decoders
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
EP3466072A4 (en) * 2016-05-27 2019-04-10 Sharp Kabushiki Kaisha SYSTEMS AND METHOD FOR VARIATING QUANTIZING PARAMETERS
WO2017209455A2 (ko) * 2016-05-28 2017-12-07 세종대학교 산학협력단 비디오 신호의 부호화 또는 복호화 방법 및 장치
CN113727109B (zh) * 2016-05-28 2023-12-29 寰发股份有限公司 用于彩色视频数据的调色板模式编解码的方法及装置
US11039147B2 (en) 2016-05-28 2021-06-15 Mediatek Inc. Method and apparatus of palette mode coding for colour video data
US10687003B2 (en) 2016-08-04 2020-06-16 Omnivision Technologies, Inc. Linear-logarithmic image sensor
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10368107B2 (en) * 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN116405671A (zh) 2016-09-20 2023-07-07 株式会社Kt 用于对视频进行解码和编码的方法以及传输方法
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
US20190342545A1 (en) * 2016-10-28 2019-11-07 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus for same
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
US20180176582A1 (en) 2016-12-21 2018-06-21 Qualcomm Incorporated Low-complexity sign prediction for video coding
KR102574714B1 (ko) 2016-12-23 2023-09-06 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치
KR102371266B1 (ko) 2016-12-23 2022-03-07 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트로부터 방향성 인트라 예측 모드를 제거하기 위한 인트라 예측 장치
HUE062025T2 (hu) * 2016-12-23 2023-09-28 Huawei Tech Co Ltd Kódoló berendezés egy kiterjesztési irányú intra-predikciós mód jelzésére irányított intra-predikciós módok csoportján belül
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
EP3606072A4 (en) 2017-03-31 2020-07-22 Panasonic Intellectual Property Corporation of America IMAGE CODING DEVICE, IMAGE DECODING DEVICE, IMAGE CODING METHOD AND IMAGE DECODING METHOD
CN110622511B (zh) * 2017-04-13 2022-04-15 Lg 电子株式会社 图像编码/解码方法及其设备
US10939137B2 (en) * 2017-04-28 2021-03-02 Sharp Kabushiki Kaisha Image decoding device and image encoding device
CN108989820B (zh) * 2017-06-03 2022-07-05 上海天荷电子信息有限公司 各阶段采用各自相应色度采样格式的数据压缩方法和装置
JP7406378B2 (ja) * 2017-06-21 2023-12-27 ヴィド スケール インコーポレイテッド ３６０度ビデオ符号化のための適応的量子化
CN117440151A (zh) * 2017-07-06 2024-01-23 Lx 半导体科技有限公司 图像解码方法、图像编码方法、发送方法和数字存储介质
US10567772B2 (en) * 2017-07-11 2020-02-18 Google Llc Sub8×8 block processing
CN109274969B (zh) 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
CN115550651A (zh) * 2017-07-31 2022-12-30 韩国电子通信研究院 对图像编码和解码的方法及存储比特流的计算机可读介质
CN107483934B (zh) * 2017-08-17 2019-12-10 西安万像电子科技有限公司 编解码方法、装置和系统
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
RU2669874C1 (ru) * 2017-09-15 2018-10-16 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" (ФГУП "ГосНИИАС") Способы и устройство сжатия изображений. Способ и устройство восстановления изображений
CN117221555A (zh) 2017-09-21 2023-12-12 株式会社Kt 视频信号处理方法及装置
KR102488330B1 (ko) * 2017-10-09 2023-01-12 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US10812798B2 (en) * 2017-10-19 2020-10-20 Qualcomm Incorporated Chroma quantization parameter (QP) offset
US10368071B2 (en) * 2017-11-03 2019-07-30 Arm Limited Encoding data arrays
EP3490253A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Encoding and decoding methods and corresponding devices
CN108063947B (zh) * 2017-12-14 2021-07-13 西北工业大学 一种基于像素纹理的无损参考帧压缩方法
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11825117B2 (en) 2018-01-15 2023-11-21 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, and decoding method and apparatus therefor
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
US11069026B2 (en) 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
CN116347074A (zh) 2018-03-09 2023-06-27 韩国电子通信研究院 使用样点滤波的图像编码/解码方法和设备
JP6982525B2 (ja) * 2018-03-16 2021-12-17 Kddi株式会社 動画像の符号化装置および方法、復号装置および方法ならびに符号化復号システム
US11438577B2 (en) 2018-03-25 2022-09-06 B1 Institute Of Image Technology, Inc. Image encoding/decoding method and device
CN111937398B (zh) * 2018-03-30 2023-04-21 索尼公司 图像处理装置和方法
EP3688986B1 (en) * 2018-04-01 2021-10-27 LG Electronics Inc. An image coding method based on a quantization parameter derivation
CN111919446B (zh) 2018-04-02 2022-10-28 夏普株式会社 解码视频图片中的当前视频块的方法
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding
CN117834858A (zh) * 2018-04-24 2024-04-05 三星电子株式会社 视频编码方法和装置以及视频解码方法和装置
US11449256B2 (en) 2018-05-15 2022-09-20 Samsung Electronics Co., Ltd. Method for accelerating image storing and retrieving differential latency storage devices based on access rates
US10949087B2 (en) 2018-05-15 2021-03-16 Samsung Electronics Co., Ltd. Method for rapid reference object storage format for chroma subsampled images
WO2019234605A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Extended quad-tree with asymmetric sub-blocks and different tree for chroma
CA3104611C (en) * 2018-06-29 2023-12-19 Huawei Technologies Co., Ltd. Device and method for intra-prediction
US10284860B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
CN112425161A (zh) * 2018-07-11 2021-02-26 英迪股份有限公司 基于帧内预测的视频编码方法和装置
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
AU2018436324B2 (en) * 2018-08-09 2022-12-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video image component prediction method and apparatus, and computer storage medium
WO2020036132A1 (ja) * 2018-08-15 2020-02-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
CN112771865A (zh) * 2018-08-23 2021-05-07 交互数字Vc控股法国公司 使用参数化模型对量化矩阵进行编解码
CN110876061B (zh) * 2018-09-03 2022-10-11 华为技术有限公司 色度块预测方法及装置
CN118524204A (zh) 2018-09-19 2024-08-20 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
US10469845B1 (en) * 2018-09-21 2019-11-05 Tencent America, Llc Method and apparatus for intra mode coding
WO2020060449A1 (en) * 2018-09-23 2020-03-26 Huawei Technologies Co., Ltd. Method and apparatus for intra reference sample interpolation filter switching
US11303904B2 (en) * 2018-09-28 2022-04-12 Qualcomm Incorporated Rectangular block transform scaling
US11178397B2 (en) * 2018-10-09 2021-11-16 Mediatek Inc. Method and apparatus of encoding or decoding using reference samples determined by predefined criteria
US11140404B2 (en) 2018-10-11 2021-10-05 Tencent America LLC Method and apparatus for video coding
CN118612424A (zh) * 2018-10-22 2024-09-06 松下电器（美国）知识产权公司 编码装置、解码装置、发送装置以及非暂时性存储介质
WO2020085955A1 (en) * 2018-10-26 2020-04-30 Huawei Technologies Co., Ltd. Method and apparatus for reference sample filtering
EP3861736A4 (en) 2018-11-06 2022-03-30 Beijing Bytedance Network Technology Co., Ltd. POSITION DEPENDENT INTRAPREDICTION
WO2020094153A1 (en) * 2018-11-09 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Component based loop filter
TWI729569B (zh) * 2018-11-16 2021-06-01 聯發科技股份有限公司 帶有約束的亮度-色度單獨的編碼樹編碼的方法和設備
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
WO2020111843A1 (ko) * 2018-11-28 2020-06-04 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
WO2020116455A1 (ja) * 2018-12-07 2020-06-11 シャープ株式会社 予測画像生成装置、動画像復号装置、動画像符号化装置、および予測画像生成方法
EP3890321A4 (en) * 2018-12-15 2022-05-11 Huawei Technologies Co., Ltd. IMAGE RECONSTRUCTION METHOD AND APPARATUS
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
CN113412624A (zh) * 2018-12-21 2021-09-17 北京达佳互联信息技术有限公司 用于推导针对色度分量的仿射运动矢量的视频编解码的方法和装置
EP3895423A4 (en) * 2018-12-23 2022-06-22 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED METHODS USING AN ADAPTIVE LOOP FILTER
BR112021016925A2 (pt) 2019-02-27 2021-11-03 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes
US20200288130A1 (en) * 2019-03-07 2020-09-10 Qualcomm Incorporated Simplification of sub-block transforms in video coding
EP3918800A4 (en) 2019-03-08 2022-07-06 Beijing Bytedance Network Technology Co., Ltd. SIGNALING TRANSFORMATION INFORMATION IN VIDEO PROCESSING
CN117676139A (zh) * 2019-03-11 2024-03-08 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码
AU2019201653A1 (en) 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
EP3888361B1 (en) * 2019-03-24 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for chroma intra prediction in video coding
JP7480170B2 (ja) * 2019-03-25 2024-05-09 オッポ広東移動通信有限公司 画像予測方法、エンコーダー、デコーダー及び記憶媒体
WO2020207502A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Most probable mode list construction for matrix-based intra prediction
CN113767623B (zh) * 2019-04-16 2024-04-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
AU2020258920B2 (en) 2019-04-16 2023-06-29 Lg Electronics Inc. Transform in intra prediction-based image coding
BR112021019564A2 (pt) * 2019-04-18 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
US10764507B1 (en) 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation
AU2020263199B2 (en) 2019-04-23 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
EP4346205A3 (en) * 2019-04-26 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for signaling of mapping function of chroma quantization parameter
US20220217366A1 (en) * 2019-04-27 2022-07-07 Wilus Institute Of Standards And Technology Inc. Method and device for processiong video signal on basis of intra prediction
CN110266316B (zh) * 2019-05-08 2023-02-21 创新先进技术有限公司 一种数据压缩、解压方法、装置和设备
CN117221558A (zh) 2019-05-08 2023-12-12 北京字节跳动网络技术有限公司 跨分量编解码的适用性条件
BR112021022307A2 (pt) 2019-05-13 2021-12-28 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
WO2020228716A1 (en) * 2019-05-13 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Usage of transquant bypass mode for multiple color components
KR20200132753A (ko) * 2019-05-15 2020-11-25 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
CN113853787B (zh) 2019-05-22 2023-12-22 北京字节跳动网络技术有限公司 基于子块使用变换跳过模式
CN113924775B (zh) 2019-05-31 2023-11-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的限制的上采样
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
US11212545B2 (en) 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
KR102594692B1 (ko) 2019-06-11 2023-10-26 엘지전자 주식회사 크로마 성분에 대한 영상 디코딩 방법 및 그 장치
KR102594690B1 (ko) 2019-06-11 2023-10-26 엘지전자 주식회사 크로마 양자화 파라미터 데이터 기반 영상 디코딩 방법 및 그 장치
TW202106017A (zh) * 2019-06-21 2021-02-01 法商內數位Ｖｃ控股法國公司 用於視訊編碼及解碼的單一索引量化矩陣設計
EP3973707A4 (en) 2019-06-22 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CHROMA REST SCALE SYNTAX ELEMENT
JP7030246B2 (ja) * 2019-06-25 2022-03-04 日本放送協会 イントラ予測装置、画像復号装置、及びプログラム
US11368693B2 (en) * 2019-07-01 2022-06-21 Sony Group Corporation Forward and inverse quantization for point cloud compression using look-up tables
CN116668699A (zh) 2019-07-05 2023-08-29 Lg电子株式会社 图像编码/解码设备和图像数据的发送方法
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
CN117241033A (zh) 2019-08-06 2023-12-15 北京字节跳动网络技术有限公司 使用屏幕内容编码工具进行视频编码和解码
JP7494289B2 (ja) 2019-08-15 2024-06-03 バイトダンス インコーポレイテッド 異なるパーティション構造をもつパレット・モード
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
CN117319649A (zh) * 2019-08-20 2023-12-29 北京字节跳动网络技术有限公司 经变换跳过的块的残差编解码
WO2021040251A1 (en) * 2019-08-23 2021-03-04 Samsung Electronics Co., Ltd. Intra prediction method and device using the same, encoding and decoding method and device using the same based on intra prediction
CN118764623A (zh) * 2019-08-27 2024-10-11 现代自动车株式会社 利用差分编码的视频编码和解码
CN114342400B (zh) 2019-09-02 2024-06-28 北京字节跳动网络技术有限公司 基于色彩格式的编解码模式确定
KR20220058534A (ko) * 2019-09-14 2022-05-09 바이트댄스 아이엔씨 크로마 디블로킹 필터링을 위한 양자화 파라미터
JP7232160B2 (ja) * 2019-09-19 2023-03-02 Ｔｖｓ Ｒｅｇｚａ株式会社 画質回路、映像処理装置および信号特徴検出方法
BR112022005150A2 (pt) * 2019-09-19 2022-06-14 Bytedance Inc Método de processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
KR20220065758A (ko) * 2019-09-20 2022-05-20 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩 블록의 스케일링 프로세스
JP7332795B2 (ja) 2019-09-21 2023-08-23 北京字節跳動網絡技術有限公司 クロマ・イントラモードのベースとなるサイズ制約
CN114667734A (zh) * 2019-09-23 2022-06-24 阿里巴巴集团控股有限公司 通过重采样执行运动补偿插值的滤波器
WO2021061018A1 (en) 2019-09-24 2021-04-01 Huawei Technologies Co., Ltd. Method and apparatus of combined intra-inter prediction
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
EP4029264A4 (en) 2019-10-14 2022-11-23 ByteDance Inc. JOINT CODING OF CHROMINANCE RESIDUE AND FILTERING IN VIDEO PROCESSING
CA3159806A1 (en) * 2019-11-01 2021-05-06 Lg Electronics Inc. Transform-based method for coding image, and device therefor
EP4066506A4 (en) * 2019-11-27 2023-12-06 Beijing Dajia Internet Information Technology Co., Ltd. DEBLOCKING FILTER FOR VIDEO CODING
EP4055827A4 (en) 2019-12-09 2023-01-18 ByteDance Inc. USING QUANTIFICATION GROUPS IN VIDEO CODING
WO2021125309A1 (ja) * 2019-12-18 2021-06-24 ソニーグループ株式会社 画像処理装置および方法
WO2021133236A1 (en) * 2019-12-24 2021-07-01 Telefonaktiebolaget Lm Ericsson (Publ) Virtual boundary processing for adaptive loop filtering
WO2021138354A1 (en) * 2019-12-30 2021-07-08 Beijing Dajia Internet Information Technology Co., Ltd. Cross component determination of chroma and luma components of video data
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
US11197001B2 (en) * 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
WO2021222871A1 (en) * 2020-04-30 2021-11-04 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for prediction dependent residual scaling for video coding
GB2599433A (en) * 2020-10-02 2022-04-06 Sony Group Corp Data encoding and decoding
TWI776294B (zh) * 2020-11-30 2022-09-01 中華電信股份有限公司 光框架交換機
CN113099229B (zh) * 2021-02-22 2022-08-09 浙江大华技术股份有限公司 块划分方法、帧间预测方法、视频编码方法及相关装置
CN118765503A (zh) * 2022-01-05 2024-10-11 抖音视界有限公司 用于视频处理的方法、装置及介质

Family Cites Families (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602285A (en) * 1983-04-08 1986-07-22 Ampex Corporation System and method for transforming and filtering a video image
GB9013217D0 (en) * 1990-06-13 1990-08-01 Indep Broadcasting Authority Evaluation of detail in video images,and applications thereof
US5294974A (en) * 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization
JPH07121687A (ja) * 1993-10-20 1995-05-12 Sony Corp 画像コーデック用プロセッサおよびアクセスパターン変換方法
KR100208375B1 (ko) * 1995-12-27 1999-07-15 윤종용 동화상 부호화 방법 및 장치
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
CN1183769C (zh) * 1996-05-28 2005-01-05 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
FR2752474B1 (fr) * 1996-08-14 1998-12-31 Iona Donescu Procede de transformation du signal image sur des supports de forme arbitraire
KR100442229B1 (ko) * 1996-09-13 2004-10-08 엘지전자 주식회사 간이형hdtv비디오디코더및디코딩방법
TW366648B (en) 1996-10-24 1999-08-11 Matsushita Electric Ind Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
AU9388298A (en) * 1997-09-19 1999-04-12 Sony Electronics Inc. Motion compensated digital video decoding with buffered picture storage memory map
AR025609A1 (es) 1999-09-13 2002-12-04 Hoffmann La Roche Formulaciones lipidas solidas
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
JP4254147B2 (ja) * 2001-11-30 2009-04-15 ソニー株式会社 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
SG152047A1 (en) * 2002-01-18 2009-05-29 Toshiba Kk Video encoding method and apparatus and video decoding method and apparatus
CN100448285C (zh) 2002-12-18 2008-12-31 索尼株式会社 信息处理设备和信息处理方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
CN1778118A (zh) * 2003-06-06 2006-05-24 联发科技股份有限公司 用于影像信号的格式转换及混合的装置与方法
JP4815107B2 (ja) * 2003-07-16 2011-11-16 三星電子株式会社 カラー平面間予測を利用した無損失映像符号化／復号化方法及び装置
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7193656B2 (en) * 2003-08-14 2007-03-20 Broadcom Corporation Line address computer for providing coefficients to a chroma filter
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7630435B2 (en) * 2004-01-30 2009-12-08 Panasonic Corporation Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof
KR100813958B1 (ko) 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
KR101138392B1 (ko) * 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
US9130799B2 (en) 2005-03-23 2015-09-08 Alcatel Lucent System and method for effectuating playlist seeking with respect to digital multimedia content from a network node
WO2006118383A1 (en) * 2005-04-29 2006-11-09 Samsung Electronics Co., Ltd. Video coding method and apparatus supporting fast fine granular scalability
KR101424969B1 (ko) * 2005-07-15 2014-08-04 삼성전자주식회사 영상 복호화 방법
CN102176754B (zh) 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
EP2733952A1 (en) 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for encoding moving picture using adaptive scanning
CN101496406B (zh) * 2006-03-23 2012-02-01 三星电子株式会社 图像编码/解码方法和设备
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
BRPI0719239A2 (pt) 2006-10-10 2014-10-07 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meios de armazenamento para gravação dos programas
US8121195B2 (en) 2006-11-30 2012-02-21 Lsi Corporation Memory reduced H264/MPEG-4 AVC codec
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US20080170793A1 (en) 2007-01-12 2008-07-17 Mitsubishi Electric Corporation Image encoding device and image encoding method
KR101539240B1 (ko) * 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
US8619853B2 (en) * 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
WO2009035149A1 (ja) * 2007-09-12 2009-03-19 Sony Corporation 画像処理装置及び画像処理方法
JP2009081579A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 動画像復号装置、および動画像復号方法
US8194741B2 (en) * 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
JP2009206911A (ja) * 2008-02-28 2009-09-10 Mitsubishi Electric Corp 動画像変換装置
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
KR101493905B1 (ko) * 2008-08-12 2015-03-02 삼성전자 주식회사 영상처리장치 및 영상처리방법
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP4952685B2 (ja) * 2008-08-26 2012-06-13 株式会社Ｊｖｃケンウッド 映像信号符号化装置
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
WO2010043809A1 (fr) * 2008-10-15 2010-04-22 France Telecom Prediction d'une image par compensation en mouvement en avant
EP2187647A1 (en) * 2008-11-12 2010-05-19 Sony Corporation Method and device for approximating a DC coefficient of a block of pixels of a frame
CN101742328B (zh) * 2008-11-14 2013-03-27 北京中星微电子有限公司 图像残差矩阵整数变换方法及装置、反变换方法及装置
US8578272B2 (en) 2008-12-31 2013-11-05 Apple Inc. Real-time or near real-time streaming
TW201028018A (en) 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US20100178038A1 (en) * 2009-01-12 2010-07-15 Mediatek Inc. Video player
JP2010177809A (ja) * 2009-01-27 2010-08-12 Toshiba Corp 動画像符号化装置および動画像復号装置
JP5502336B2 (ja) * 2009-02-06 2014-05-28 パナソニック株式会社 映像信号符号化装置及び、映像信号符号化方法
WO2010113227A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 画像復号装置
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
US8761531B2 (en) * 2009-07-09 2014-06-24 Qualcomm Incorporated Image data compression involving sub-sampling of luma and chroma values
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
US8477845B2 (en) * 2009-10-16 2013-07-02 Futurewei Technologies, Inc. Predictive adaptive scan ordering for video coding
WO2011052216A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
EP2495973B1 (en) * 2009-10-30 2019-02-27 Sun Patent Trust Decoding method, decoder apparatus, encoding method, and encoder apparatus
JPWO2011061880A1 (ja) 2009-11-19 2013-04-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011080806A1 (ja) * 2009-12-28 2011-07-07 富士通株式会社 動画像符号化装置および動画像復号装置
US9736486B2 (en) * 2010-02-08 2017-08-15 Nokia Technologies Oy Apparatus, a method and a computer program for video coding
US20110200108A1 (en) * 2010-02-18 2011-08-18 Qualcomm Incorporated Chrominance high precision motion filtering for motion interpolation
CN102164284A (zh) * 2010-02-24 2011-08-24 富士通株式会社 视频解码方法和系统
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US8929440B2 (en) 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
CN102860009A (zh) * 2010-04-13 2013-01-02 松下电器产业株式会社 编码失真除去方法、编码方法、解码方法、编码失真除去装置、编码装置、及解码装置
CN102236502A (zh) 2010-04-21 2011-11-09 上海三旗通信科技有限公司 一种移动终端压力触控手势识别的人机交互方式
US20110317757A1 (en) * 2010-06-25 2011-12-29 Qualcomm Incorporated Intra prediction mode signaling for finer spatial prediction directions
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
ES2820437T3 (es) * 2010-07-20 2021-04-21 Ntt Docomo Inc Método de codificación predictiva de imágenes, dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes y programa de decodificación predictiva de imágenes
PL3125552T3 (pl) * 2010-08-17 2018-09-28 M&K Holdings Inc. Sposób przywracania trybu intra-predykcji
KR101719448B1 (ko) * 2010-09-27 2017-03-23 엘지전자 주식회사 블록 분할 방법 및 복호화 장치
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
CN101938657B (zh) * 2010-10-07 2012-07-04 西安电子科技大学 高效视频编码中编码单元自适应划分方法
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
KR102696949B1 (ko) * 2010-12-08 2024-08-20 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US10045046B2 (en) * 2010-12-10 2018-08-07 Qualcomm Incorporated Adaptive support for interpolating values of sub-pixels for video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
US9172972B2 (en) * 2011-01-05 2015-10-27 Qualcomm Incorporated Low complexity interpolation filtering with adaptive tap size
GB2487242A (en) * 2011-01-17 2012-07-18 Sony Corp Interpolation Using Shear Transform
JP2012186617A (ja) 2011-01-31 2012-09-27 Sony Corp 画像処理装置および方法
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
JP2012175615A (ja) 2011-02-24 2012-09-10 Sony Corp 画像処理装置及び画像処理方法
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
US9338449B2 (en) * 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9602839B2 (en) * 2011-06-15 2017-03-21 Futurewei Technologies, Inc. Mode dependent intra smoothing filter table mapping methods for non-square prediction units
KR101753551B1 (ko) * 2011-06-20 2017-07-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램을 저장한 기록매체
JP5678814B2 (ja) * 2011-06-20 2015-03-04 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法及び送信プログラム
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
CN103597833A (zh) * 2011-06-22 2014-02-19 索尼公司 图像处理装置以及方法
JP5990948B2 (ja) * 2011-06-22 2016-09-14 セイコーエプソン株式会社 プロジェクター
JP5614381B2 (ja) * 2011-06-23 2014-10-29 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
CN105791835A (zh) 2011-06-23 2016-07-20 Jvc建伍株式会社 图像编码装置和图像编码方法
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20130044811A1 (en) * 2011-08-18 2013-02-21 Hyung Joon Kim Content-Based Adaptive Control of Intra-Prediction Modes in Video Encoding
JP5770378B2 (ja) * 2011-09-08 2015-08-26 モトローラ モビリティ エルエルシーＭｏｔｏｒｏｌａ Ｍｏｂｉｌｉｔｙ Ｌｌｃ 係数の矩形ブロックを量子化及び逆量子化するための方法及び機器
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
GB2496197A (en) 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
GB201119180D0 (en) 2011-11-07 2011-12-21 Sony Corp Data encoding and decoding
GB2496194A (en) 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
GB2496201A (en) 2011-11-07 2013-05-08 Sony Corp Context adaptive data encoding and decoding
KR101665921B1 (ko) * 2011-11-08 2016-10-12 가부시끼가이샤 도시바 이미지 부호화 방법, 이미지 복호화 방법, 이미지 부호화 장치 및 이미지 복호화 장치
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
EP2805492B1 (en) * 2012-01-19 2018-11-14 VID SCALE, Inc. System and method of video coding quantization and dynamic range control
JP5995448B2 (ja) 2012-01-19 2016-09-21 シャープ株式会社 画像復号装置、および画像符号化装置
US8581753B2 (en) * 2012-01-19 2013-11-12 Sharp Laboratories Of America, Inc. Lossless coding technique for CABAC in HEVC
US9363516B2 (en) * 2012-01-19 2016-06-07 Qualcomm Incorporated Deblocking chroma data for video coding
US9106936B2 (en) * 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
US9123278B2 (en) * 2012-02-24 2015-09-01 Apple Inc. Performing inline chroma downsampling with reduced power consumption
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
US9332257B2 (en) * 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145162A3 (en) * 2015-03-12 2016-11-03 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations
WO2018062921A1 (ko) * 2016-09-30 2018-04-05 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치
WO2018080122A1 (ko) * 2016-10-28 2018-05-03 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10911756B2 (en) 2016-10-28 2021-02-02 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus, and recording medium in which bit stream is stored
US11438589B2 (en) 2016-10-28 2022-09-06 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus, and recording medium in which bit stream is stored
US12069258B2 (en) 2016-10-28 2024-08-20 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus, and recording medium in which bit stream is stored
WO2020060077A1 (ko) * 2018-09-20 2020-03-26 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20220159249A1 (en) * 2019-03-08 2022-05-19 Canon Kabushiki Kaisha Adaptive loop filter
US11991353B2 (en) * 2019-03-08 2024-05-21 Canon Kabushiki Kaisha Adaptive loop filter

Also Published As

Publication number Publication date
US20220150468A1 (en) 2022-05-12
US9686547B2 (en) 2017-06-20
GB201211072D0 (en) 2012-08-01
WO2013160656A3 (en) 2013-12-19
JP2015518341A (ja) 2015-06-25
AU2013254448A1 (en) 2014-11-06
GB201220836D0 (en) 2013-01-02
CN108366257B (zh) 2022-03-25
WO2013160698A1 (en) 2013-10-31
TW201937934A (zh) 2019-09-16
GB201211628D0 (en) 2012-08-15
GB201211075D0 (en) 2012-08-01
JP6231647B2 (ja) 2017-11-15
EP4243421A2 (en) 2023-09-13
WO2013160699A1 (en) 2013-10-31
US20150078447A1 (en) 2015-03-19
JP6407389B2 (ja) 2018-10-17
EP4243420A3 (en) 2023-11-22
JP6606794B2 (ja) 2019-11-20
KR20140145606A (ko) 2014-12-23
US9948929B2 (en) 2018-04-17
AU2018217304B2 (en) 2020-08-06
US20170339402A1 (en) 2017-11-23
GB2501555A (en) 2013-10-30
KR102104400B1 (ko) 2020-04-24
RU2017116180A3 (ko) 2020-05-27
MX345237B (es) 2017-01-23
CA3028883C (en) 2021-10-26
CN104285445A (zh) 2015-01-14
KR101840025B1 (ko) 2018-03-20
MX2014012846A (es) 2015-10-22
US20200014916A1 (en) 2020-01-09
CA2870596C (en) 2019-02-12
CA2870591C (en) 2023-10-03
GB2501549A (en) 2013-10-30
US20170272743A1 (en) 2017-09-21
MX346235B (es) 2017-03-13
RU2014147445A (ru) 2016-06-10
CN109068135B (zh) 2023-03-14
CN104272739A (zh) 2015-01-07
TW201408081A (zh) 2014-02-16
CA3028883A1 (en) 2013-10-31
WO2013160694A1 (en) 2013-10-31
EP2842315B1 (en) 2023-07-12
US20150063460A1 (en) 2015-03-05
EP3442229A1 (en) 2019-02-13
KR20170041288A (ko) 2017-04-14
WO2013160695A1 (en) 2013-10-31
RU2014147451A (ru) 2016-06-20
CN108134931A (zh) 2018-06-08
CA2870602C (en) 2022-08-09
US10841572B2 (en) 2020-11-17
EP2842314B1 (en) 2021-06-02
GB2501554A (en) 2013-10-30
BR112014026024A2 (pt) 2017-06-27
JP6050478B2 (ja) 2016-12-21
JP2015515236A (ja) 2015-05-21
US20150117527A1 (en) 2015-04-30
CN109068135A (zh) 2018-12-21
US9674531B2 (en) 2017-06-06
KR20180030263A (ko) 2018-03-21
CA2871556A1 (en) 2013-10-31
JP5986294B2 (ja) 2016-09-06
US20180160112A1 (en) 2018-06-07
EP2842316A1 (en) 2015-03-04
US10205941B2 (en) 2019-02-12
MX2014012565A (es) 2014-12-05
GB201211623D0 (en) 2012-08-15
CN108366257A (zh) 2018-08-03
WO2013160700A1 (en) 2013-10-31
CN104247425B (zh) 2018-11-06
TW201817239A (zh) 2018-05-01
CN111182299A (zh) 2020-05-19
TWI586152B (zh) 2017-06-01
US10419750B2 (en) 2019-09-17
BR112014026024A8 (pt) 2021-06-22
CA3128787A1 (en) 2013-10-31
US20150172652A1 (en) 2015-06-18
US20180227577A1 (en) 2018-08-09
BR112014026035B1 (pt) 2023-02-07
CN108134931B (zh) 2022-03-01
AU2013254448B2 (en) 2015-11-19
RU2014147453A (ru) 2016-06-20
US10531083B2 (en) 2020-01-07
US9693058B2 (en) 2017-06-27
CN108347604A (zh) 2018-07-31
GB2501556A (en) 2013-10-30
EP2842315A1 (en) 2015-03-04
WO2013160693A3 (en) 2013-12-19
RU2619888C2 (ru) 2017-05-19
JP2017055444A (ja) 2017-03-16
WO2013160697A1 (en) 2013-10-31
BR112014026021A8 (pt) 2021-06-22
CN104255030B (zh) 2018-04-03
JP6503492B2 (ja) 2019-04-17
GB201211066D0 (en) 2012-08-01
US10291909B2 (en) 2019-05-14
EP2842321A2 (en) 2015-03-04
US10499052B2 (en) 2019-12-03
US9826231B2 (en) 2017-11-21
JP2015518342A (ja) 2015-06-25
US10674144B2 (en) 2020-06-02
JP2016201813A (ja) 2016-12-01
US20170359576A1 (en) 2017-12-14
US20190222833A1 (en) 2019-07-18
CN104255029B (zh) 2017-11-24
AU2016204227A1 (en) 2016-07-14
US11252402B2 (en) 2022-02-15
TW201408080A (zh) 2014-02-16
CN107734330A (zh) 2018-02-23
KR101734974B1 (ko) 2017-05-15
TWI611689B (zh) 2018-01-11
GB2501554B (en) 2014-09-24
US9686548B2 (en) 2017-06-20
TWI711301B (zh) 2020-11-21
WO2013160694A4 (en) 2014-01-03
US10827169B2 (en) 2020-11-03
KR20190077110A (ko) 2019-07-02
WO2013160656A2 (en) 2013-10-31
AU2016204227B2 (en) 2018-09-06
MX2014012847A (es) 2015-10-22
US10616572B2 (en) 2020-04-07
JP2018129858A (ja) 2018-08-16
GB201211067D0 (en) 2012-08-01
GB201207459D0 (en) 2012-06-13
JP6128707B2 (ja) 2017-05-17
CN104255029A (zh) 2014-12-31
EP2842314A2 (en) 2015-03-04
KR20170054561A (ko) 2017-05-17
MX343351B (es) 2016-11-03
CN110225337A (zh) 2019-09-10
CA2871556C (en) 2017-08-29
RU2751080C2 (ru) 2021-07-08
GB2501553A (en) 2013-10-30
EP4243420A2 (en) 2023-09-13
WO2013160693A2 (en) 2013-10-31
JP2015518340A (ja) 2015-06-25
JP2018042263A (ja) 2018-03-15
CN104247425A (zh) 2014-12-24
US20190253702A1 (en) 2019-08-15
GB2501557A (en) 2013-10-30
JP6325606B2 (ja) 2018-05-16
US20150043641A1 (en) 2015-02-12
EP4243421A3 (en) 2023-11-29
GB201211070D0 (en) 2012-08-01
CA2870591A1 (en) 2013-10-31
GB2501535A (en) 2013-10-30
KR101994597B1 (ko) 2019-06-28
CA2870596A1 (en) 2013-10-31
EP2842317A1 (en) 2015-03-04
US20200177874A1 (en) 2020-06-04
CN110933409A (zh) 2020-03-27
US10244232B2 (en) 2019-03-26
CN107734330B (zh) 2020-04-28
JP2018142970A (ja) 2018-09-13
CA3128787C (en) 2023-09-26
GB201211629D0 (en) 2012-08-15
BR112014026021A2 (pt) 2017-06-27
CN104255030A (zh) 2014-12-31
AU2013254443A1 (en) 2014-10-23
JP2015518339A (ja) 2015-06-25
WO2013160696A1 (en) 2013-10-31
US11109019B2 (en) 2021-08-31
JP6328613B2 (ja) 2018-05-23
CN104247426A (zh) 2014-12-24
AU2018217304A1 (en) 2018-09-06
BR112014026021B1 (pt) 2023-12-19
CN104272739B (zh) 2018-04-20
JP2015518343A (ja) 2015-06-25
GB2501546A (en) 2013-10-30
TWI575942B (zh) 2017-03-21
GB201211069D0 (en) 2012-08-01
CN108347604B (zh) 2022-03-04
US11770519B2 (en) 2023-09-26
AU2013254444A1 (en) 2014-10-23
US10440358B2 (en) 2019-10-08
GB2501550A (en) 2013-10-30
GB2501566A (en) 2013-10-30
US20150085924A1 (en) 2015-03-26
CA2870602A1 (en) 2013-10-31
RU2603548C2 (ru) 2016-11-27
AU2013254444B2 (en) 2015-10-29
CN110225337B (zh) 2024-08-30
JP5965054B2 (ja) 2016-08-03
TW201408079A (zh) 2014-02-16
GB201211619D0 (en) 2012-08-15
GB2501548A (en) 2013-10-30
GB2501551A (en) 2013-10-30
US20150063457A1 (en) 2015-03-05
GB2501547A (en) 2013-10-30
GB201211073D0 (en) 2012-08-01
US20200213584A1 (en) 2020-07-02
CN110933409B (zh) 2023-06-27
US20180124392A1 (en) 2018-05-03
TWI677236B (zh) 2019-11-11
RU2017116180A (ru) 2019-01-28
US20190191154A1 (en) 2019-06-20
RU2599935C2 (ru) 2016-10-20
BR112014026035A2 (pt) 2020-06-30
CN111182299B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US11770519B2 (en) Mode-dependent coefficient scanning and directional transforms for different colour sampling formats

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2017101001671; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170406

Effective date: 20190311