KR20160091325A - 다-성분 화상 또는 비디오 코딩 개념 - Google Patents

다-성분 화상 또는 비디오 코딩 개념 Download PDF

Info

Publication number
KR20160091325A
KR20160091325A KR1020167013016A KR20167013016A KR20160091325A KR 20160091325 A KR20160091325 A KR 20160091325A KR 1020167013016 A KR1020167013016 A KR 1020167013016A KR 20167013016 A KR20167013016 A KR 20167013016A KR 20160091325 A KR20160091325 A KR 20160091325A
Authority
KR
South Korea
Prior art keywords
component
icp
component signal
decoder
prediction
Prior art date
Application number
KR1020167013016A
Other languages
English (en)
Other versions
KR101968236B1 (ko
Inventor
퉁 뉘엔
알리 아테프 이브라힘 카이라트 압델하미드
데트레브 마르페
Original Assignee
지이 비디오 컴프레션, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지이 비디오 컴프레션, 엘엘씨 filed Critical 지이 비디오 컴프레션, 엘엘씨
Publication of KR20160091325A publication Critical patent/KR20160091325A/ko
Application granted granted Critical
Publication of KR101968236B1 publication Critical patent/KR101968236B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

다-성분 화상 또는 비디오 코딩 개념의 코딩 효율은 재구성된 제 1 성분 신호 및 재구성된 제 2 성분 신호 모두로부터 ICP를 사용하는 다-성분 비디오의 제 3 성분에 대한 제 3 성분 신호의 재구성에 의해 향상된다.

Description

다-성분 화상 또는 비디오 코딩 개념{MULTI-COMPONENT PICTURE OR VIDEO CODING CONCEPT}
본 발명은 색(color) 화상들 또는 비디오들의 코딩과 같은 다-성분 화상 또는 비디오 코딩에 관한 것이다.
유색의 이미지들과 비디오들은 3차원 또는 4차원을 갖는 이른바 색 공간을 사용하여 표현되고 차원들은 또한 성분들로서 언급된다. 3-성분 색 공간에 대한 일례가 R'G'B' 색 공간이다. 이러한 색 공간에서, 원색들 적색(R'), 녹색(G'), 및 청색(B')은 3차원 색 큐브(color cube)의 기본을 형성한다. 그러나 신호 처리 적용 공간에서, 이미지 및 비디오 압축의 경우에 전력 소비, 구현 비용, 또는 압축 효율에 관한 높은 효율을 달성하기 위하여 상이한 성분들 사이의 상관을 최소화하는 것이 중요하다. 따라서, R'G'B' 신호들은 흔히 Y'CbCr로 전환되는데 제 1 성분(Y')은 루마(luma)로서 언급되고 나머지 두 성분(CbCr)은 크로마 성분들로서 언급된다. R'G'B' 색 공간과 대조적으로, Y'CbCr의 크로마 성분 값들은 청 또는 적 원색에 대한 색 차이를 표현한다. 그 결과, 크로마 에너지는 때때로 감소되고 따라서 높은 압축 효율에 이른다. 그러나,고정된 변환, 즉 R'G'B'의 Y'CbCr로의 전환의 적용에 기인하여, 결과로서 생기는 출력은 때때로 국부적으로 최적이 아니다. 그러한 종류의 제한들을 극복하기 위한 가능성은 색 상호 성분 예측의 적용이다. 그러한 예측은 때때로 성분-간 예측(inter-component prediction, ICP, 이하 ICP로 표기)으로서 언급된다. ICP는 R'G'B' 및 Y'CbCr 신호 모두에 적용될 수 있다. 첫 번째 경우에, ICP는 크로마 성분들에 대한 에너지 감소를 야기할 수 있고, 따라서 이는 외부 색 공간 전환을 위한 대체로서 처리될 수 있다. 두 번째 경우에, ICP 접근법은 상이한 색 성분들 사이의 또 다른 역상관 단계로서 처리될 수 있고, 따라서 ICP 접근법은 높은 압축 효율을 야기한다. 단순성을 위하여, 고유(native) 또는 입력 색 공간과 관계없이, 나머지 설명은 두 개의 나머지 크로마 성분을 나타내기 위하여 제 1 및 주 성분 그리고 제 1 또는 제 2 크로마, 혹은 각각 Cb 또는 Cr을 나타내도록 루마 또는 Y'을 언급한다. 처리 순서가 일부 적용들에 대하여 순차적일 수 있기 때문에 크로마 성분들의 순서는 중요할 수 있다는 것을 인식하는 것이 중요하다.
ICP는 그렇더라도, 루마 성분을 기초로 하는 하나의 크로마 성분의 예측 및 나머지 크로마 성분에 대한 동일한 예측에 의한 의한 것과 같이, 쌍-방식으로(pair-wise) 적용된다. 그러나, 코딩 효율을 더 증가시킬 수 있도록 하는 것이 바람직할 수 있다.
본 발명의 목적은 높은 코딩 효율을 가능하게 하는 다-성분 화상 또는 비디오 코딩 개념을 제공하는 것이다.
이러한 목적은 본 명세서의 독립항들의 주제에 의해 달성된다.
다-성분 화상 또는 비디오 코딩 개념의 코딩 효율은 재구성된 제 1 성분 신호 및 재구성된 제 2 성분 신호 모두로부터 ICP를 사용하여 다-성분 비디오의 제 3 성분에 관한 제 3 성분 신호를 재구성함으로써 향상될 수 있다는 것이 본 발명의 기본 발견이다.
본 발명의 일 실시 예에 따르면, 데이터 스트림 내의 다중 소스(multiple source) ICP 시그널링화(ICP signalization)는 다-성분 화상 또는 비디오의 ICP 모드 부분들의 유닛들로, 상이한 ICP 코딩 모드들을 스위칭하도록 사용된다. ICP 모드들은 다중 소스 ICP 코딩 모드 및 적어도 하나의 비-ICP 코딩 모드를 포함한다. 다-성분 화상 또는 비디오의 화상의 서브-부분들을 위하여, 다중 소스 ICP 코딩 모드가 적용되는 다-성분 화상 또는 비디오의 ICP 모드 부분들에서, 데이터 스트림 내에 각각의 서브-부분에 대하여 재구성된 제 1 성분 신호의 공간적으로 상응하는 부분, 재구성된 제 2 성분 신호의 공간적으로 상응하는 부분, 또는 이 둘의 조합으로부터 성분-간 예측되는지를 나타내는 시그널링화(signalization)가 제공된다. 적어도 하나의 비-ICP 코딩 모드에서, 재구성된 제 1 성분 신호의 공간적으로 상응하는 부분 및 재구성된 제 2 성분 신호의 공간적으로 상응하는 부분 사이의 그러한 결합 또는 변경은 이용 가능하지 않다. ICP는 비-ICP 코딩 모드의 ICP 모드 부분들에서 완전히 꺼질 수 있거나, 또는 ICP는 단지 제 1 및 제 2 성분 신호들 중 고정된 하나와 관련하여 이용 가능할 수 있다. ICP 모드 부분들은 단일 화상들, 단일 화상 시퀀스들 또는 단일 슬라이스들 또는 연속적으로 코딩되는 화상들, 화상 시퀀스들 또는 슬라이스들일 수 있다. 적어도 하나의 비-ICP 코딩 모드를 갖는 다중 소스 ICP 모드의 병렬(juxtaposition)에 의해, 본 발명의 실시 예들에 따라 다중-소스 ICP의 서브-화상 방식 파라미터화와 관련될 수 있고 비-ICP 코딩 모드에 관하여 다중 소스 ICP 코딩 모드의 경우에 증가될 수 있는, 어떠한 부가적인 시그널링화 오버헤드도 비디오의 부분들에 제한될 수 있고 이러한 부가적인 시그널링화 오버헤드는 ICP를 위하여 이용 가능한 하나 이상의 성분 소스에 의해 획득되는 코딩 효율 이득들에 의해 과잉 보상된다.
일 실시 예에 따르면, 제 1 성분은 루마이고, 제 2 성분은 제 1 크로마 성분이며 제 3 성분은 제 2 크로마 성분이다. 그러한 경우에, 루마 성분 및 제 1 크로마 성분을 기초로 하는 제 2 크로마 성분의 결합된 ICP는 예를 들면 변환 및 엔트로피 코딩을 사용하여 코딩되는 잔류들의 역상관을 더 향상시킨다.
일 실시 예에 따르면, 데이터 스트림 내의 명시적 ICP 소스 시그널링화는 서브-화상 입상도에서, 재구성된 제 1 성분 신호의 공간적으로 상응하는 부분으로부터 ICP를 사용하는 다-성분 화상 또는 비디오의 현재 화상 내의 제 3 성분 신호의 재구성 및 재구성된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 ICP를 사용하는 다-성분 화상 또는 비디오의 현재 화상 내의 제 3 성분 신호의 재구성 사이를 스위칭하도록 사용된다. 시그널링화 오버헤드에도 불구하고, 이러한 수단에 의해 이용 가능한 예측 향상은 시그널링화 오버헤드를 과잉 보상하고, 이에 의해 높은 코딩 효율을 산출한다. 대안으로서, 명시적 시그널링화가 사용될 수 있다. 사용되는 시그널링화의 종류에 관계없이, 서브-화상 입상도는 제 3 성분 신호의 재구성이 공간, 시간 및/또는 시점-간 예측 모드들 사이에서 스위칭하는 입상도와 일치할 수 있으며, 즉 각각 제 3 성분 신호의 재구성뿐만 아니라 제 1 성분 신호 및 제 2 성분 신호를 기초로 하는 ICP의 실행 사이의 스위칭에서, 공간, 시간 및/또는 시점-간 예측 모드들 사이의 스위칭은 예측 블록들의 블록들로 또는 - 다른 표현을 사용하여 - 코딩 유닛들로 실행될 수 있다. 대안으로서, 변환 블록들이 사용될 수 있다.
ICP는 선형 예측을 사용하여 실행될 수 있다. 그렇게 함으로써, 데이터 스트림 내의 ICP 파라미터 시그널링화는 재구성된 제 1 성분 신호 및 재구성된 제 2 성분 신호가 서브-화상 입상도에서 ICP에 기여하는 가중(weight)들을 변경하도록 사용될 수 있다. 즉, 두 가중은 서브-화상 입상도에서 데이터 스트림 내로 전송될 수 있으며, 두 개의 소스를 사용하여 두 개의 가중된 합계가 ICP를 산출하도록 이들 중 하나는 재구성된 제 1 성분 신호에 대한 가중을 시그널링하고 나머지는 재구성된 제 2 성분 신호에 대한 가중을 나타낸다. 선형 예측을 사용하여, ICP 파라미터 시그널링화 오버헤드는 합리적인 비용으로 유지될 수 있고 그럼에도 불구하고 충분한 역상관 향상을 달성할 수 있다. 위에 나타낸 것과 같이, 가중들은 예측 블록들 또는 변환 블록들의 유닛들로 데이터 스트림 내에 시그널링될 수 있다. 가중들을 위한 이용 가능한 값들은 제로 주위에 분포될 수 있고 제로를 포함할 수 있다.
일 실시 예에 따르면, 방금 언급된 ICP 파라미터 시그널링화는 ICP 소스 표시기의 조건부 시그널링화를 포함할 수 있으며: 각각의 블록에 대한 가중이 먼저 전송되고, 가중이 비-제로인 경우에 ICP 표시기가 시그널링된다. 이러한 측정에 의해, ICP 파라미터 시그널링화와 관련된 시그널링 오버헤드가 부가적으로 감소된다.
일 실시 예에 따르면, ICP 파라미터 시그널링화는 가중들의 부호(sign가 먼저 코딩되고 가중들의 절대 값은 부호에 의존하여 그 뒤에 콘텍스트-모델링을 사용하여 코딩되기 위한 방식으로의 가중들의 코딩을 포함한다. 이러한 측정에 의해, 절대 값을 엔트로피 코딩/디코딩하도록 사용되는 확률은 부호에 의존하여 설정될 수 있고, 이에 의해 사용되는 확률이 더 가까운 적응(adaptation)에 기인하는 향상된 압축 비율을 야기한다.
본 발명의 일 실시 예에 따르면, ICP는 성분-간 방식으로 제 3 성분 신호의 재구성에서 사용되는 공간/시간 및/또는 시점-간 예측의 예측 잔류 상에 적용된다. 바꾸어 말하면, ICP는 제 3 성분 신호의 공간, 시간 및/또는 시점-간 ICP에 대하여 일종의 제 2 단계 예측을 표현한다. 유사하게, 재구성된 제 1 성분 신호 및 재구성된 제 2 성분 신호는 다-성분 화상 또는 비디오 신호의 제 1 및 제 2 성분들과 관련하여 실행되는 성분-간 공간, 시간 및/또는 시점-간 예측들의 예측 잔류들을 표현할 수 있다.
ICP는 공간 도메인 또는 스펙트럼 도메인 내에서 실행될 수 있다.
또 다른 실시 예에 따르면, 제 1 서브-화상 입상도에서 이용 가능한 ICP 소스들 사이를 스위칭하기 위하여 데이터 스트림 내의 명시적 (explicit) ICP 시그널링화가 사용되고, ICP가 시그널링된 ICP 소스와 관련하여 실행되는 예측 모델을 조정하기 위하여 데이터 스트림 내의 ICP 파라미터 시그널링화가 사용되며, 명시적 ICP 소스 시그널링화의 엔트로피 코딩/디코딩은 ICP 파라미터 시그널링화에 따라 제 2 입상도에서 조정된 예측 모델의 예측 파라미터에 의존하는 콘텍스트 모델의 사용을 포함한다. 이러한 측정에 의해, 두 시그널링화, 즉 ICP 시그널링화 및 ICP 파라미터 시그널링화 사이의 상관은 시그널링 오버헤드를 더 감소시키도록 이용될 수 있다.
또 다른 실시 예에 따르면, 재구성된 제 3 성분 신호 및 재구성된 제 2 성분 신호를 스와핑하기 위하여 데이터 스트림 내의 스왑 시그널링화(swap signalization)가 사용된다. 예를 들면, 하나의 화상 내에서 스왑 시그널링화는 제 1, 제 2 및 제 3 성분들 중에서 서브-화상 입상도에서 순서를 변경하고 따라서 예를 들면 하나의 화상 내에서, 하나의 서브-블록은 이용 가능한 루마 및 제 2 크로마 성분을 ICP하기 위한 제 1 크로마 성분을 갖고, 반면에 또 다른 서브-블록은 이용 가능한 루마 성분 및 제 1 크로마 성분을 ICP하기 위한 제 2 크로마 성분을 갖는다.
일 실시 예에 따르면, 화상의 특정 블록을 위한 ICP 소스 표시기의 코딩은 이전에 코딩된 제 3 성분에 대한 ICP 파라미터 시그널링화 및 제 2 성분에 대한 ICP 파라미터 시그널링화의 차이에 의존하여 제공되며: 만일 차이가 미리 결정된 한계를 초과하면, ICP 소스 표시기는 각각의 블록에 대하여 존재하지 않는다. ICP 소스 표시기는 그러한 경우에, 제 3 성분 신호에 대한 ICP 소스로서 재구성된 제 2 성분 신호를 나타내는 것으로 추론될 수 있다. 바꾸어 말하면, 만일 제 2 및 제 3 성분들에 관한 ICP가 관련되는 한 현재 블록을 위하여 보내진 ICP 파라미터들이 충분히 유사하면, 이는 모든 성분의 성분 신호들이 제 3 성분에 대한 ICP를 위한 기준을 나타내는 ICP 소스 표시기와 상당히 유사하다는 것이 추정될 수 있고, 만일 ICP 파라미터들이 다르면, 이는 제 3 성분에 대한 ICP가 기본으로서 제 2 성분을 사용하고 제 2 성분에 대한 ICP는 대신에 기본으로서 제 1 성분을 사용한다는 것이 추정될 수 있다. RGB 색 성분들의 경우에 첫 번째 경우가 더 발생할 가능성이 크고 YCC 색 성분들의 경우에 두 번째 경우가 더 발생할 가능성이 크다. 이러한 측정에 의해, 코딩 효율은 ICP 시그널링에 대한 부가 정보 오버헤드를 낮춤으로써 증가될 수 있다.
본 발명의 실시 예들의 바람직한 구현들이 종속항들의 주제이다.
도면들과 관련하여 본 발명의 바람직한 실시 예들이 아래에 설명된다.
도 1은 본 발명의 일 실시 예에 따른 디코더의 블록 다이어그램을 도시한다.
도 2는 ICP를 성분-내 예측 잔류들 상으로 적용하는 본 발명의 일 실시 예에 따른 디코더의 블록 다이어그램을 도시한다.
도 3은 일 실시 예에 따른 도 1의 디코더에 적합한 인코더의 블록 다이어그램을 도시한다.
도 4는 일 실시 예에 따른 도 2의 디코더에 적합한 인코더의 블록 다이어그램을 도시한다.
도 5a는 다중 소스 ICP 시그널링화가 다중 소스 ICP를 켜고 끌 수 있는 일 실시 예의 개략적인 다이어그램을 도시한다.
도 5b는 ICP 시그널링화가 가중 및 ICP 표시기(indicator) 형태의 ICP 모드 파라미터를 포함하는 일 실시 예에 따른 다중-소스 ICP 모듈을 위한 일 실시 예의 블록 다이어그램을 도시한다.
도 5c는 ICP 시그널링화가 이용 가능한 ICP 소스 당 가중 형태의 ICP 모드 파라미터를 포함하는 일 실시 예에 따른 다중-소스 ICP 모듈을 위한 일 실시 예의 블록 다이어그램을 도시한다.
도 5d, e는 다중-소스 ICP가 공간 도메인 내에서 실행된, 각각 도 5b 및 5c에 따른 다중 소스 ICP 모듈을 위한 일 실시 예의 블록 다이어그램들을 도시한다.
도 5f, g는 다중-소스 ICP가 스펙트럼 도메인 내에서 실행된, 각각 도 5b 및 5c에 따른 다중 소스 ICP 모듈을 위한 일 실시 예의 블록 다이어그램들을 도시한다.
도 6은 제 3 성분에 대한 ICP 파라미터 데이터가 가중 및 소스 플래그를 포함하는 일 실시 예에 따라 디코더 및 인코더에서 ICP 파라미터 데이터의 처리의 플로우 다이어그램을 도시한다.
도 7은 ICP 파라미터 데이터가 이용 가능한 ICP 소스들의 가중된 합계에 대한 가중들을 포함하는 일 실시 예에 따라 제 3 성분에 대한 ICP 파라미터 데이터의 처리의 플로우 다이어그램을 도시한다.
도 8은 ICP 효율을 향상시키기 위하여 스와핑(swapping) 성분들을 사용하는 경우에 제 2 및 제 3 성분들에 대한 ICP 파라미터 데이터의 처리를 나타내는 개략적인 다이어그램을 도시한다.
도 9는 상이한 입상도들에서 소스 플래그 및 가중의 시그널링의 가능성을 나타내기 위한 화상의 개략적인 다이어그램을 도시한다.
도 1은 본 발명의 일 실시 예에 따른 디코더를 도시한다. 디코더는 일반적으로 도면 부호 10을 사용하여 표시되고 데이터 스트림으로부터 상이한 성분들과 관련하여 장면(scene)을 공간적으로 샘플링하는 다-성분 비디오를 디코딩하도록 구성된다. 특히 디코더(10)는 데이터 스트림(12)이 디코더(10)로 들어가는 입력 및 디코딩에 의해 재구성된 것과 같은 다-성분 비디오가 출력되는 출력, 즉 출력(14)을 포함한다. 도 1은 바람직하게는 하나가 수평으로 구동하는 시간 축을 갖는 나머지의 상단 상에 배치되는 것으로서 하나의 시간 인스턴트에 속하는 화상들(18)을 도시함으로써 각각의 시간 인스턴트에 대하여 세 개의 성분(A, B 및 C) 중 하나 당 하나의 화상(18)을 포함하는 것으로서 16에 다-성분 비디오를 도시한다. 그러나, 세 개 이상의 성분이 존재할 수 있다는 것을 이해하여야 한다. 위에 설명되고 아래에 더 설명될 것과 같이, 성분들(A, B 및 C)은 R, G 및 B와 같은 색 성분들 또는 하나의 루마와 두 개의 크로마 성분 등일 수 있다. 대안으로서, 그러나, 성분들은 예를 들면 가시 파장 범위 외부에 존재하는 다른 파장들에 관한 성분들 등과 같은, 장면의 또 다른 특성과 관련될 수 있다. 게다가, 성분들은 장면의 자기 스펙트럼 중에서의 주파수들 또는 단편(fragment)들에 한정되지 않는다. 오히려, 성분들은 예를 들면, 적어도 부분적으로 예를 들면 반사도 등과 같은, 다른 물리적 파라미터들과 관련될 수 있다. 비록 도 1은 상이한 성분들의 화상들(18)이 동일한 크기이고 이에 따라 동일한 공간 해상도에서 정면을 공간적으로 샘플링하는 것을 제안하나. 공간 해상도는 성분들 중에서 상이할 수 있다. 후자의 환경은 원칙적으로 또한 시간 해상도에 적용될 수 있다. 즉, 화상 비율은 성분들(A 내지 C) 중에서 상이할 수 있다. 만일 상이하지 않으면, 용어 "화상"은 대안으로서 일반적으로 하나의 시간 인스턴트에서의 모든 성분(A 내지 C)의 샘플들을 나타내도록 사용된다.
내부적으로, 디코더(10)는 데이터 스트림(12)으로부터 다-성분 비디오(16)의 제 1 성분(A)에 관한 제 1 성분 신호(22)를 재구성하기 위한 제 1 모듈(20)뿐만 아니라 데이터 스트림(12)으로부터 다-성분 비디오(16)의 제 2 성분(B)에 관한 제 2 성분 신호(26)를 재구성하기 위한 제 2 모듈(24), 및 다-성분 비디오(16)의 제 3 성분(C)에 관한 제 3 성분 신호(30)를 재구성하기 위한 모듈(28)을 포함하고, 후자의 모듈(28)은 재구성된 제 1 성분 신호 및 재구성된 제 2 성분 신호(22 및 26)로부터 ICP를 사용하기 위하여 그리고 제 3 성분 신호(30)를 재구성하는데 있어서 제 1 및 제 2 모듈(20 및 24)의 출력들에 연결되는 입력을 갖는다. 모듈(28)이 성분(C)에 관한 제 3 성분 신호를 재구성하기 위하여 제 1 및 제 2 성분들(A 및 B)의 신호들(22 및 28)을 사용하기 때문에, 모듈(28)에 의해 사용되는 ICP는 향상될 수 있고, 이에 의해 도 1의 디코더(10)가 속하는 코덱에 의해 달성 가능한 코딩 효율을 증가시킨다.
아래에 더 상세히 설명될 것과 같이, 모듈들(20, 24 및 28)은 실제로 하이브리드 기반 디코딩 분기(branch)들의 일부분일 수 있고, 그러한 하나의 디코딩 분기가 각각의 성분(A, B 및 C)을 위하여 존재한다. 도 1에서, 그러한 디코딩 분기들은 파선들(32A, 32B, 및 32C)로 도시되고, 디코딩 분기(32A)는 모듈(32)을 포함하고 데이터 스트림(12)으로부터 제 1 성분(A)을 재구성하도록 구성되며, 디코딩 분기(32B)는 모듈(24)을 포함하고 데이터 스트림(12)으로부터 제 1 성분(A)을 재구성하도록 구성되며, 디코딩 분기(32C)는 모듈(28)을 포함하고 데이터 스트림(12)으로부터 제 3 성분(C)을 재구성하도록 구성된다. 특히, 아래에 더 상세히 설명될 것과 같이, 예를 들면 모듈들(20 및 24)에 의해 재구성되고 모듈(28)에 의해 ICP를 위하여 사용되는 제 1 및 제 2 성분 신호들(22 및 26)은 실제로 예측 잔류들을 표현할 수 있으며: 예를 들면, 제 1 성분 신호(22)는 디코딩 분기(32A)에 의해 실행되는 ICP, 즉 단지 성분(A)의 화상들(18)의 이미 구성된 부분들을 기초로 하여(단지 이미 재구성된 성분(A) 화상 샘플들을 기초로 하여) 모듈(20)에 의해 실행되는 예측의 예측 잔류를 표현할 수 있고, ICP는 공간, 시간 및/또는 시점-간 예측일 수 있다. 유사하게, 제 2 성분 신호(26)는 디코딩 분기(32B)에 의해 실행되는 ICP, 즉 단지 성분(B)의 화상들(18)의 이미 구성된 부분들을 기초로 하는 예측의 예측 잔류를 표현할 수 있고, ICP는 공간, 시간 및/또는 시점-간 예측일 수 있다. 유사하게, 재구성된 제 3 성분 신호(30)는 또한 디코딩 분기(32C)에 의해 실행되는 ICP, 즉 단지 성분(C)의 화상들(18)의 이미 구성된 부분들을 기초로 하여 실행되는 예측의 예측 잔류를 표현할 수 있고, ICP는 또한 공간, 시간 및/또는 시점-간 예측일 수 있다. 모듈들(20, 24 및/또는 28)에 의해 실행되는 시점-간 예측은 예측 모드, 즉 공간, 시간 및/또는 시점-간 예측이 사용되는지와 관련하여 변경될 수 있다. 예를 들면, 예측 모드는 코딩 유닛들 또는 (상이한 단어를 사용하면) 예측 블록들, 즉 화상들(18)의 서브-부분들의 입상도에서 변경될 수 있고, 각각의 코딩 유닛 또는 예측 블록을 위하여 사용되는 예측 모드는 데이터 스트림(12) 내에 시그널링된다. 예측 모드는 공통으로 또는 개별적으로 성분들(A, B 및 C)을 위하여, 혹은 심지어 또한 개별적으로 한편으로는 제 1 성분(A)을 위하여 다른 한편으로는 제 2 및 제 3 성분(B 및 C)을 위하여 데이터 스트림(12) 내에 시그널링될 수 있다. 이러한 데이터 스트림(12) 내의 ICP 시그널링화에 더하여, 모듈들(20, 24 및 28)은 성분 특정 시그널링된 예측 잔류 데이터를 수신한다. 예측 잔류 데이터는 스펙트럼 분해들의 변환 계수들의 형태로, 변환 도메인 내의, 또는 공간 도메인 내의, 즉 잔류 샘플들의 형태로 데이터 스트림 내에 전송될 수 있다. 만일 스펙트럼 도메인 내에서 시그널링되면, ICP는 공간 도메인 및/또는 스펙트럼 도메인 내에서 실행될 수 있다. 데이터 스트림(12) 내의 ICP 도메인 표시기는 ICP가 실행된 도메인을 변경할 수 있다. 예를 들면 앞서 언급된 예측 블록들의 유닛들 또는 앞서 언급된 스펙트럼 분해가 실행되는 변환 블록들의 유닛들에서와 같이, 화상 시퀀스, 단일 화상 또는 서브-화상 입상도에서 도메인을 변경할 수 있다.
모듈(24)은 또한 ICP, 즉 모듈(20)의 출력으로부터 모듈(24)의 입력에 이르는 파선 분기에 의해 표시되는 것과 같은 재구성된 제 1 성분 신호(20)를 기초로 하는 성분간-예측을 사용할 수 있다는 사실이 뒤에 설명될 것이다. 즉, 모듈(24)은 제 2 성분(B)을 위하여 시그널링된 잔류 신호를 수신할 수 있고 성분(B) 내의 ICP를 위한 예측 잔류를 수신하기 위하여, 제 1 성분으로부터 제 2 성분, 즉 A부터 B로의 ICP의 예측 신호로서 시그널링된 잔류 신호를 처리할 수 있다. 제 3 성분(C)에 관한 ICP를 위한 모듈(28)에 의해 사용되는 제 2 성분 신호(26)는 제 1 성분 신호(22)를 기초로 하는 ICP와 결합되거나, 또는 아직 결합되지 않은 성분(B)을 위한 시그널링된 잔류 신호를 기초로 하는 모듈(24)의 재구성의 결과일 수 있다.
또한 아래에 더 상세히 설명될 것과 같이, 모듈(28)에 의해(그리고 선택적으로 모듈(24)에 의해) 실행되는 ICP는 파라미터화의 대상이 될 수 있다. 이러한 파라미터화는 예를 들면, 제 1 및 제 2 성분 신호들(22 및 26)이 가중된 합계의 형태로, 제 3 성분 등을 위한 ICP에 기여하는 가중과 관련하여, 제 1 성분 신호(22), 제 2 성분 신호(26) 및 그것들의 조합 중에서의 선택에 관하여 서브-화상 입상도에서 제 1 및 제 2 성분 신호들(22 및 26)을 기초로 하여 모듈(28)의 ICP를 변경한다. 게다가 데이터 스트림 내의 다중 소스 ICP 시그널링화는 모듈(28) 내의 ICP를 위한 제 1 성분 신호(22)에 더하여 제 2 성분 신호(26)의 일반적인 이용 가능성 또는 이용 불가능성을 시그널링할 수 있다. 그러한 다중 소스 ICP 시그널링화의 범위는 완전한 비디오, 단일 화상 또는 시간 인스턴트 혹은 화상들 또는 시간 인스턴스들의 시퀀스 혹은 슬라이스 또는 슬라이스들의 시퀀스와 관련될 수 있다.
모듈(28)의 ICP가 데이터 스트림(12) 내의 각각의 시그널링화에 의해 어떻게 파라미터화될 수 있고 변경될 수 있는지에 대하여 논의되는 특정 가능성들에 따라 아래에 더 설명되는 다양한 실시 예들의 이해를 더 용이하게 하기 위하여, 도 1의 디코더의 더 특정한 구현의 일례를 나타내는 디코더의 일 실시 예, 즉 개별 디코딩 분기들(32A 내지 32C) 내에 실행된 ICP들의 예측 잔류들과 관련된 실시 예를 도시한다. 도 2를 설명한 후에, 도 3 및 도 4는 도 1과 2의 실시 예들에 적합한 인코더들의 실시 예들을 간단하게 제시하고, 그리고 나서 도 1 내지 4의 실시 예들의 조정을 위한 다양한 구현 상세내용들이 뒤따르는 도면들과 관련하여 설명된다.
도 2는 세 개의 분기(32A 내지 32C)를 갖는 도 1에 따라 구성되는 디코더(10)를 도시하며, 각각, 모듈들(20, 24 및 28)에 더하여, 각각의 디코딩 분기는 각각 성분-내 예측기(34A, 34B 및 34C), 및 각각 모듈들(20, 24 및 28)에 의해 출력된 성분 신호(22, 26 및 30)를 각각 예측기(34A, 34B 및 34C)에 의해 출력된 성분-내 예측 신호와 결합하는 결합기(36A, 36B 및 36C)를 포함한다. 특히, 디코딩 분기(32A)의 성분-내 예측기(34A)는 성분-내 예측에 의해 성분-내 예측 신호(40A)를 발생시키기 위하여 성분(A)에 대한 성분-내 예측 파라미터들, 즉 38A를 통하여 제어제고, 차례로 결합기(36A)에 의해 재구성된 성분(A), 즉 비디오의 화상들의 성분(A)에 관한 샘플 값들을 야기하기 위하여 재구성된 제 1 성분 신호(22)와 결합된다. 위에 설명된 것과 같이 예를 들면 엔트로피 코딩을 사용하여 공간 또는 스펙트럼 도메인 내에 시그널링되는 제 1 성분 잔류 데이터(42A)가 데이터 스트림(12)을 통하여 모듈(20)에 제공된다. 유사하게, 성분-내 예측기(34B)는 그것들로부터 제 2 성분 ICP 신호(40B)를 정의하기 위하여 데이터 스트림(12) 내의 성분(B)을 위한 ICP 파라미터들, 즉 34B에 의해 제어되고, 이는 차례로 결합기(36B)에 의해 모듈(24)에 의해 출력되는 재구성된 제 2 성분 신호(26)와 결합된다. 모듈(24)은 잔류 데이터(42A) 같이 잔류 샘플들의 형태 또는 국부적으로 적용되는 스펙트럼 분해 변환의 변환 계수들의 형태로 데이터 스트림(12) 내에 존재할 수 있는, 제 2 성분 잔류 데이터(42B)에 의해 공급된다. 도 2에 도시된 실시 예에 따르면, 모듈(24)은 그러나, 제 1 성분 신호(22)를 기초로 하여 모듈(24)에 의해 적용되는 ICP를 변경하기 위하여 데이터 스트림(12) 내에 존재하는 제 2 성분에 대한 ICP 파라미터 데이터, 즉 44B를 통하여 부가적으로 제어된다. 이러한 선택사항은 위에 설명된 것과 같이, 선택적이고 제외될 수 있다. 특히, 모듈(24)은 성분(B)을 위한 ICP 잔류를 형성하고 그 결과, 그리고 나서 비디오의 화상들의 제 2 성분 샘플들을 야기하기 위하여 결합기(26B)에 의해 제 2 성분 ICP 신호(40B)와 결합되는, 제 2 성분 신호를 획득하기 위하여 신호들(22) 및 데이터(42B)로부터 검색된 잔류 신호, 즉 성분(B)을 위하여 시그널링된 잔류 신호를 내부적으로 결합된다.
디코딩 분기(32B)와 유사하게, 제 3 성분 디코딩 분기(32C)의 성분-간 예측기(34C)는 IC를 실행하고 ICP 신호(40C)를 유도하기 위하여 데이터 스트림(12) 내에 존재하는 성분-간 예측기 파라미터들(44C)에 의해 제어되고, 이는 차례로 결합기(26C)에 의해 제 3 성분 신호(30)와 결합된다. 모듈(28)은 데이터 스트림(12) 내의 제 3 성분 잔류 데이터(42C)를 기초로 하고 제 1 및 제 2 성분 신호들(22 및 26) 모두를 기초로 하는 ICP를 사용하여 예측-간 잔류로서 제 3 성분 신호(30)를 발생시키며 모듈(28)의 ICP는 데이터 스트림(12) 내의 제 3 성분에 대한 성분-간 파라미터 데이터, 즉 44C를 통하여 제어된다. 결합기(36C)에서의 결합에 의해, 비디오 내의 화상들의 성분(C)이 야기된다. 결합기들(36A 내지 36C)에서의 결합은 예를 들면, 곱셈과 같이, 다른 결합들이 또한 사용될 수 있더라도, 도 2에 도시된 것과 같이, 덧셈으로서 구현될 수 있다.
위에 설명된 것과 같이, 도 3 및 4는 상응하는 인코더들, 즉 각각 도 1 및 2에 도시된 디코더들에 적합한 인코더들의 실시 예들을 도시한다. 도 3은 도 1의 디코더(10)와 상응하는 인코더(100)를 도시한다. 인코더(100)는 도 1에 도시된 것과 같이, 데이터 스트림(12) 내로 인코딩하기 위하여 상이한 성분들(A, B 및 C)과 관련하여 공간적으로 샘플링되는 비디오(16)를 수신한다. 이를 위하여, 인코더(100)는 도 1과 상응하는 방식으로 구성된다. 이러한 상응성 때문에, 인코더(100)의 소자들은 단지 디코더 내의 상응하는 소자의 각각의 도면부호에 100이 더해진다는 점에서 디코더와 관련하여 사용된 것들과 다른 도면부호를 사용하는 것으로 언급된다. 따라서, 도 3의 인코더(100)는 각각의 성분들(A, B 및 C)을 위하여 각각의 성분에 대한 모듈, 즉 모듈들(120, 124 및 128)을 포함하고, 모듈(120)은 제 1 신호 성분(22)의 데이터 스트림(12) 내로의 코딩을 위한 것이고, 모듈(124)은 제 2 신호 성분(26)의 데이터 스트림(12) 내로의 인코딩을 위한 것이고, 모듈(128)은 제 3 신호 성분(30)의 데이터 스트림(12) 내로의 인코딩을 위한 것이며, 모듈(128)은 제 1 및 제 2 성분 신호들(22 및 26)로부터 ICP를 사용한다. 위에서 방금 설명된 것과 같이, 신호들(22, 26 및 30)은 잔류 신호들, 즉 각각 성분 특이적 코딩 분기들(132A, 132B 및 132C) 내에 실행되는 ICP의 예측 잔류 신호들을 표현할 수 있다.
따라서, 도 4는 도 2의 디코더와 상응하는, 도 3의 인코더의 더 구체적인 실시 예를 도시한다. 상응하게, 도 4의 인코더(100)는 각각 성분-간 예측기(134A,B,C), 잔류 형성기(residual former, 136A,B,C) 및 각각의 모듈(120, 124 및 128)을 포함하는, 3개의 성분 특이적 코딩 분기(132A, 132B 및 132C)를 포함한다. 각각의 예측기들(134A-C)이 관련되는 한, 그것들은 디코더 측에서 각각의 예측기들(34A-C)과 유사한 방식으로 작용하며: 그것들은 ICP에 의해, 비디오(16)의 각각의 성분의 이미 인코딩된 부분들을 기초로 하여 각각의 ICP 신호들(40A, 40B 및 40C)을 발생시키고, 차이점은 예측기들(34A-C)이 ICP 파라미터들에 의해 제어되고, 예측기들(134A-C)이 예를 들면, 레이트/왜곡 최적화 의미에서 이를 조정하는 동안에, ICP 파라미터들(38A-C)에 관하여 남아있다는 점이다. 잔류 형성기들(136A-C)은 그리고 나서 각각 각각의 모듈(120, 124 및 128)에 의해 손실 방식으로 데이터 스트림(12) 내로 코딩되는 각각의 1차(first order) 성분 잔류 신호(120, 124 및 130)를 획득하기 위하여 ICP 신호(40A-C) 및 비디오(16)의 각각의 성분의 공동 위치되는 부분 사이의 예측 잔류를 형성한다. 각각의 1차 예측 잔류 신호(122)의 재구성 가능한 버전, 즉 모듈(120)에 의해 도입되는 코딩 손실이 없는 버전은 그리고 나서 예측 잔류 신호(126)를 데이터 스트림(12) 내로 인코딩하기 위하여 ICP를 위한 기초로서 모듈(124)에 의해 사용되는 신호(22)이다. 인코딩의 결과로서, 모듈(120)은 제 1 성분 잔류 신호(42A)를 발생시키고, 이는 그리고 나서 데이터 스트림(12) 내에 삽입된다. 유사하게, 모듈(124)은 인바운드 잔류 신호(126)의 결과로서, 제 2 성분 잔류 데이터(42B) 및 ICP 파라미터 데이터(44B)를 발생시키고, 이는 그리고 나서 데이터 스트림(12) 내로 삽입된다. 후자의 데이터를 기초로 하여, 잔류 신호(126)의 재구성 가능한 버전, 즉 1차 잔류 신호(130)의 데이터 스트림 내로의 인코딩을 위한 잔류 신호(22)와 함께 ICP를 위하여 모듈(128)에 의해 사용되는 재구성 가능한 버전이 유도될 수 있다. 모듈(128)의 인코딩의 결과로서, 모듈(128)은 ICP 파라미터 데이터(44C) 및 각각의 잔류 데이터(42C)를 출력한다.
도 1 내지 4와 관련하여 인코더들 및 디코더들의 다양한 실시 예들을 설명한 후에, 각각 모듈(28 및 128)에 의해 실행되는 2-소스 ICP를 적용하는 방법에 대한 다양한 가능성들과 관련된 다양한 실시 예들이 설명된다. 그러나, 그 이전에, 하이브리드 비디오 압축 전략을 위한 일례로서 그리고 2-소스 ICP로부터 야기하는 장점들을 유발하기 위하여 H.265/HEVC에 대한 설명이 우회적으로 언급된다. 그러나, 아래에 서술되는 모든 내용들 및 전체 설명은 H.265/HEVC의 확장에 한정되는 것으로 간주되어서는 안 된다. 오히려, 아래의 설명은 단지 바람직하게는 흔히 명시적으로 H.265/HEVC를 언급한다.
H.265/HEVC 같은 하이브리드 비디오 압축 전략들의 경우에, 예측 신호는 시간적 또는 공간적 또는 시점-간 예측(예측 코딩)을 사용하여 발생되고, 잔류로서 언급되는, 결과로서 생기는 예측은 그리고 나서 변환되고 양자화되며 디코더로 전송된다(변환 코딩). 성분-간 예측(ICP)에 대한 일부 엔트리 지점들이 가능하다. 예를 들면, ICP는 원래 샘플 값들 상에 적용될 수 있다. 도 1 내지 4의 실시 예들과 관련하여, 이는 ICP의 소스, 즉 신호들(22 및 26)이 반드시 ICP의 잔류들일 필요는 없다는 것을 의미한다. 오히려, 그것들은 공간 도메인 내의 원래 소스 신호, 즉 비디오(16)와 직접적으로 관련될 수 있거나, 또는 ICP는 스펙트럼 도메인 내의 원래 신호, 즉 비디오(16) 상에, 즉 화상들의 변환 블록들의 유닛들에 국부적으로 적용되는 이산 코사인 변환 또는 웨이블릿 변환(wavelet transform)의 변환 계수들과 같은, 스펙트럼 분해 변환의 변환 계수들과 관련하여 실행된다. 효율성 양상의 구현 및 적용에 기인하여, 즉 이를 향상시키기 위하여, ICP는 그러나 예를 들면 도 2 및 4와 관련하여 위에 설명되고 도시된 것과 같이 ICP 잔류 신호들 상에서 실행될 수 있다. 그러한 접근법을 위하여, 복잡성 이유들 때문에 아핀 예측기(affine predictor)가 사용될 수 있다. 또 다른 단순화는 선형 예측기를 초래하게 된다. 후자의 경우에, 예측기의 경사도만이 각각 ICP 파라미터 데이터(44B 및 44C)의 일부분으로서, 비트스트림 내의 예측 파라미터로서 전송되어야만 할 것이다. 아래에, 이러한 파라미터는 흔히 α로서 표시된다. 여기서는 단순화를 위하여 본 명세서의 아래의 부분들은 선형 예측기의 사용을 가정하는 것에 유의하여야 한다. 그러나, 아래에 더 설명되는 실시 예들의 확장은 아핀 또는 더 복잡한 예측기로 쉽게 확장될 수 있다.
선형 예측기를 사용하여, 잔류들을 위한 ICP 접근법은 일반적으로 다음과 같이 공식화될 수 있다:
r'(x,y) = rB(x,y) + α×r0(x,y)
위의 공식에서, r'(x,y)는 공간적 위치((x,y))에서 성분(B)에 대한 최종 잔류 샘플 값이고, rB(x,y)는 성분(B)를 위하여 디코딩된/시그널링된, 즉 비트스트림으로부터 추출된 잔류 샘플이며, α는 44B 내에 포함된 성분(B)에 대한 예측 파라미터이며 r0(x,y)는 예측 소스, 예를 들면 루마 성분 내의 동일한 공간적 위치에서 성분(A)의 재구성된 잔류 샘플이며, r0(x,y)는 rA(x,y), 즉 성분(A)의 시그널링된 잔류일 수 있다. α는 부동 소수점(floating point) 값일 수 있다는 것에 유의하여야 한다.
예를 들면, 위의 디코더 실시 예들의 모듈(24)이 참조된다. 모듈(24)은 성분(B)에 대한 ICP 잔류 신호, 즉 26, 즉 r'을 유도하기 위하여 모듈(24)이 예측 소스(r0)로서 잔류 신호(22)를 사용하고 ICP 파라미터 데이터(42B) 내에 시그널링된 것과 같이 α를 사용하여 이를 곱하며 잔류 데이터(42B)로부터 유도되는 것과 같이 시그널링된 잔류 신호, 즉 42B를 가산한다는 점에서 ICP를 적용할 수 있다.
구현 양상들에 기인하여, 부동소수점 값들은 정수 값들에 매핑될 수 있다. 예를 들면, 부동 소수점 값(α)은 -1 및 1 사이의 범위 내에 존재하도록 허용될 수 있다. 정확성을 위한 3 비트 정밀도를 사용하여, 공식은 다음과 같이 다시 쓰여질 수 있다:
r'(x,y) = rB(x,y) + (α×r0(x,y))≫3
오른쪽 시프트 연산은 정확하게 3제곱에 대한 2로의 나눗셈이다. 따라서, 부동 소수점의 α는 다래의 정수 값들을 취할 수 있다.
α∈{0, ±1, ±2, ±3, ±4, ±5, ±6, ±7, ±8}
다시, 구현 양상들에 기인하여, α는 또한 아래의 값들에 한정될 수 있다.
α∈{0, ±1, ±2, ±4, ±8}
즉, 마지막 매핑은 디코더가. 또는 더 구체적으로 모듈(24)이 예를 들면 다음과 같이 정수 값의 α를 재구성하도록 허용하며, αd는 비트스트림으로부터 디코딩되는 값, 즉 실제로 데이터 스트림(12) 내의 ICP 파라미터 데이터(44B) 내에 포함된 값이다:
α = 1 ≪ αd.
예를 들면, 모듈(24)과 관련하여 대표적으로 위에 설명된 ICP 접근법은 스스로 3개의 모듈 또는 패싯(facet)으로 분할될 수 있다. 제 1 패싯은 예측 소스를 지정하고, 제 2 패싯은 예측 모델을 지정하며, 제 3 및 마지막 패싯은 ICP 파라미터(들), 또는 더 구체적으로, 예측 모델 파라미터(들)를 지정한다. 위의 공식을 고려하여, 예측 소스는 그때 r0이고, 예측 모델은 입력으로서 소스 성분 내의 동일한 공간적 위치를 사용하는 선형 예측기이며 유일한 예측 모델 파라미터는 α이다.
제 2 및 제 3 패싯/모듈 사이에 강력한 의존성이 존재한다. 그러한 의존성의 일례는 다시 또 다른 성분, 즉 입력으로서 예측 소스 내의 동일한 공간적 위치를 사용하는 간단한 선형 예측기일 수 있다. 이러한 예에서, 동일한 공간적 위치를 사용하는 선형 예측기의 제한에 기인하여, 하나의 예측 (모델) 파라미터만이 필요하고, 따라서 이러한 단일 예측 파라미터, 즉 α만이 비트스트림 내에 전송될 필요가 있다. 또한 예측 소스 및 예측 모델 사이에 상호작용이 존재한다. 이는 예를 들면, 성분(A)으로서 루마를 사용하고 성분(B)으로서 제 1 크로마 성분을 사용하는 경우에서의 모듈(24)과 관련하여 사실이다. 그러나, 만일 모든 이용 가능한 성분이 예측 소스로서 사용되면, 적절한 예측기, 즉 두 성분 모두로부터의 샘플들을 포함하는 예측기가 사용되어야만 한다. 이는 모듈(28)에 대하여 사실이다. 이러한 모듈은 이용 가능한 두 개의 성분, 즉 성분들 A 및 B를 갖는다. 예를 들면 두 개의 예측 소스, 성분들(A 및 B)로서 루마 성분 및 제 1 크로마 성분을 갖는 동일한 예에서, 선형 예측기는 하나 대신에 두 개의 모델 파라미터를 요구할 수 있다. 더 정확하게 설명하면, 모듈(28)을 위하여 사용될 수 있는 선형 예측기는 다음과 같이 정의될 수 있다:
r"(x,y) = r0(x,y) + α0×r0(x,y) + α1×r1(x,y).
즉, 모듈(28)이 관련되는 한, 두 개의 예측 소스, 즉 신호들(22 및 26)이 이용 가능하다. 신호(22)는 r0이고 신호(26)는 r1이다. 즉, ICP를 위하여 모듈(28)은 신호(30)의 현재 ICP 예측된 부분, 즉 r'의 ICP를 위하여 신호들(22 및 26)의 이용 가능한 공동 위치되는 부분들을 갖는다. 특히, 모듈(28)은 이러한 공동 위치되는 부분들의 가중된 합계, 즉 α0에 의해 가중된 신호(22) 및 α1에 의해 가중된 신호(26)를 사용하며, 가중된 합계는 잔류 데이터(42C)로부터 획득된 것과 같은 시그널링된 잔류, 즉 rC의 추가에 의해 보정된다.
모듈들(28 및 24) 사이의 관계가 관련되는 한, 아래의 설명에 유의하여야 한다. 도 2 및 4의 연속적인 선들에 의해 도시된 것과 같이, 모듈(24)은 제 1 성분 신호(22)를 기초로 하여 ICP를 사용할 수 있고 제 2 신호 성분(26)은 ICP 및 전송된 제 2 성분 잔류 데이터(42B)와의 결합에 의해 획득되며, 즉 r'은 모듈(28)에 의해 실행되는 ICP의 기본, 즉 하나의 예측 소스로서 역할을 할 수 있으며, 즉 r'은 r1으로서 사용될 수 있다. 그러나 도한 위에 설명된 것과 같이, 대안에 따르면, 모듈(24)은 ICP를 사용하지 않는다. 그러한 경우에, 도 2 및 4에서 한편으로는 모듈(20)의 출력 및 다른 한편으로는 모듈(24) 사이의 연결이 생략될 수 있다(또는 모듈(120 및 124) 사이). 그러한 경우에, r1은 rB일 수 있다. 또 다른 실시 예에 따르면, 도 2 및 4의 실시 예들은 r1이 성분(A)을 기초로 하는 ICP를 사용하는 모듈(26)에도 불구하고 rB와 동일하도록 선택되는 점에서 변형될 수 있다. 그러한 경우에, 도 2의 모듈(24)로부터 모듈(28)에 이르는 화살표는 결합기(36B)에 이르는 출력 이외에 모듈(24)의 또 다른 출력으로부터 시작할 수 있다.
따라서, 위에 설명된 실시 예들에 따르면, ICP를 위한 다중 예측 소스를 사용하기 위한 가능성이 제공되고, ICP 접근법의 연산 특징들은 높은 압축 효율을 달성하기 위하여 더 확장된다. 아래에, 지금까지 설명된 더 일반적인 다중 예측 소스 ICP와 관련하여 다양한 상세내용들이 제시된다. 아래의 설명은 우선 다중 소스 ICP의 가능한 글로벌 시그널링을 다룬다. 그리고 나서, 다양한 실시 예들에 따른 다중 소스 ICP의 국부적 시그널링을 다룬다. 그리고 나서, 다중 소스 ICP를 위한 부가적인 의존성들 및 이미지 및 비디오 압축 적용을 위한 높은 효율성을 가능하게 하는 또 다른 기술들이 설명된다.
일종의 ICP를 위한 다중 소스의 글로벌 시그널링은 다중 소스 ICP 접근법이 켜지거나 꺼지는 가능성을 포함한다. 다중 소스 ICP가 적절한 레벨로 전송되는 글로벌 플래그를 사용하여 가능할 때, 예를 들면 그것의 사용을 시그널링하는, 각각의 변환 블록, 또는 각각의 예측 유닛, 또는 코딩 유닛을 위하여 부가적인 비트 또는 일련의 비트들이 전송된다. 글로벌 플래그는 다중 소스 ICP 코딩 모드 및 적어도 하나의 비-ICP 코딩 모드를 포함하는 ICP 코딩 모드들의 세트의 다양한 ICP 코딩 모드들 사이에서 스위칭하는 데이터 스트림 내의 일종의 다중 소스 ICP 시그널링화를 표현한다. 예를 들면 ICP 도메인, 즉 공간적 또는 시간적 도메인 등의 조정 기능이 다른 다양한 다중 소스 ICP 코딩 모드들이 또한 존재할 수 있다. 따라서, 글로벌 플래그는 하나 이상의 예측 파라미터에 대하여 또 다른 예측 모델을 지정하는 단일 비트 또는 일련의 비트들일 수 있다. 가능한 다중 소스 ICP의 경우에서 "각각의 변환 블록, 또는 각각의 예측 유닛, 또는 코딩 유닛을 위하여 전송되는 부가적인 비트 또는 일련의 비트들"은 앞서 언급된 ICP 파라미터 데이터(44C)에 대한 일례이다.
글로벌 플래그는 H.265/HEVC의 시퀀스 파라미터 세트와 같은, 시퀀스 파라미터 세트 내에, 또는 화상 파라미터 세트 내에, 또는 심지어 슬라이스 헤더(slice header) 내에 전송될 수 있다. 입상도는 예를 들면 타일들 또는 파면(wavefront) 처리를 위하여, 병렬 처리를 위한 둘 모두를 위하여, 부가적인 툴(tool)들의 사용에 의존하고, 심지어 상이한 레벨들에서의 시그널링이 가능하다. 예를 들면, 다중 소스 ICP는 전체 비디오 시퀀스를 위하여 가능할 수 있으나, 시퀀스 내의 특정 콘텐츠에 대한 장애가 존재할 수 있다. 그러한 일례를 고려하여, 화상 파라미터 세트 내의 글로벌 플래그는 예를 들면, 시퀀스 파라미터 세트 내의 플래그를 무시할 수 있다.
따라서, 요약하면, 일 실시 예에 따르면, 디코더(10)는 다-성분 비디오(16)의 상이한 ICP 모드 부분들(202)을 위하여, 다중 소스 ICP 코딩 모드 및 비-ICP 코딩 모드를 포함하는 ICP 코딩 모드들의 세트의 성분간 예측 코딩 모드들 사이에서 스위칭하기 위하여, 인코더(100)에 의해 데이터 스트림(12) 내에 삽입되는 다중 소스 ICP 시그널링화(200)에 응답하도록 구성될 수 있다.
다중 소스 ICP 코딩 모드에 따르면, ICP는 성분들(A 및 B)의 제 1 및 제 2 성분 신호들(22 및 26)의 공간적으로 상응하는 부분들(204 및 206) 중 시그널링된 하나를 기초로 하여 실행되며 시그널링화는 데이터 스트림(12) 내에서 명시적으로 또는 절대적으로 수행된다. 대안으로서, 다중 소스 ICP 코딩 모드는 공간적으로 상응하는 부분들(204 및 206)의, 가중된 합계와 같은 결합을 기초로 하여 성분(C)의 제 3 성분 신호(30)의 ICP를 포함한다. 더 정확하게 설명하면, 도 5a의 다중 소스 ICP 시그널링화(200)는 다중 소스 ICP 코딩 모드가 가능한 비디오(18)의 중간 ICP 모드 부분을 위하여 시그널링하는 것으로 고려한다. 그러한 경우에, 모듈들(28 및 24)은 각각, 예를 들면 예측 블록들 등일 수 있는, 블록들(208)의 유닛들 내에서 블록-방식으로 성분(C)을 위한 ICP를 실행할 수 있고, ICP 파라미터 데이터(44C)는 이러한 블록들(208)을 위하여 각각의 블록(208)이 공간적으로 상응하는 부분(204) 또는 공간적으로 상응하는 부분(206)으로부터 성분-간 예측되는지를 나타낸다. 대안으로서, 중간 부분(202) 내의 화상들의 블록들(208)에서, 제 3 성분 신호(30)는 두 부분(204 및 204)의 조합으로부터 예측된다. ICP 파라미터 데이터(44C)는 그리고 나서 예를 들면 각각의 블록(208)에 대한 성분-간 예측기를 생산하는 부분들(204 및 206)의 가중된 합계의 가중들을 나타내는 가중 인자들(α0 및 α1)과 관련하여, 공동 위치되는 부분들(204 및 206)로부터 각각의 부분(208)이 성분-간 예측되는 방식을 나타낼 수 있다.
비-ICP 코딩 모드에서, ICP는 각각의 ICP 모드 부분(202)을 위하여 이용 가능하지 않을 수 있다. 따라서,. 그러한 ICP 모드 부분을 위하여, 어떠한 ICP 파라미터 데이터(44C)도 데이터 스트림(12) 내에 존재할 필요가 없다. 대안으로서, 그러한 ICP 모드 부분(202)을 위하여, ICP는 성분들(A 및 B) 중 고정된 하나로부터 각각, 모듈들(28 및 128)에 의해 실행될 수 있다. 예를 들면, 그러한 비-ICP 코딩 모드 부분(202)의 블록들(208)은 성분(A)의 공동 위치되는 블록(204)으로부터 성분-간 예측될 수 있거나 또는 모든 블록(206)이 대안으로서 공동 위치되는 부분(204 및 206)으로부터 성분-간 예측될 수 있으나. 블록들(208) 사이의 스위칭은 실현 가능하지 않은데, 즉 부분(202) 내의 모든 블록(208)이 성분(A)의 블록들(204)로부터 성분-간 예측되거나, 또는 부분(202) 내의 모든 블록(208)이 성분(B)의 각각의 공동 위치되는 블록(206)으로부터 성분-간 예측된다.
위에서 이미 설명된 것과 같이, ICP 모드 부분들(202)은 화상 시퀀스들, 개별 화상들, 또는 슬라이스들 또는 슬라이스들의 시퀀스일 수 있다. 위에 나타낸 것과 같이, 다중 소스 ICP 코딩 모드가 가능한 ICP 모드 부분들(222)을 위하여, ICP 파라미터 데이터(44C)는 예를 들면, 부분들(208)을 위한 두 개의 가중(α0 및 α1)을 포함하고, 비-ICP 코딩 모드가 활성인 ICP 모드 부분들(202)에 대하여, 어떠한 ICP 파라미터도 존재하지 않거나, 또는 ICP 파라미터 데이터(44C)는 블록들(208)에 대하여 단지 가중들(α0 및 α1) 중 하나만을 시그널링하며, 나머지는 각각의 부분(202) 내의 모든 블록(208)에 대하여 제로로 설정된다.
ICP를 위한 다중 소스의 국부적 시그널링을 위하여 몇몇 가능성이 존재한다. 예를 들면, 만일 다중 소스 ICP가 사용되면, 도 5b에서 알 수 있는 것과 같이, 예측 소스를 위한 결정(210)이 ICP 데이터(44C)의 일부분으로서 국부적으로 전송된다. 예를 들면, 성분들(A, B 및 C)은 예를 들면 루마, 제 1 크로마 및 제 2 크로마일 수 있다. 그때, ICP 파라미터 데이터(44C)는 각각의 블록에 대하여 ICP를 위한 소스가 루마, 즉 A인지, 또는 제 1 크로마 성분, 즉 B인지를 나타내는 210 플래그를 포함할 수 있다. 블록들(210)은 코딩 블록들, 예측 블록들 또는 변환 블록들일 수 있다. 코딩 블록들은 예를 들면, ICP 파라미터들(38C)이 공간적 및 시간적 예측 사이에서 스위칭하는 블록들이다. 예측 블록들은 ICP 파라미터들(38C)이 각각의 예측 블록이 그것의 일부분인 코딩 블록을 위하여 시그널링되는 일종의 예측과 관련된 예측 파라미터들을 시그널링하거나 또는 변경하는 블록들일 수 있다. 예를 들면, 만일 코딩 블록을 위하여 공간적 예측이 시그널링되면, 코딩 블록의 예측 블록 또는 예측 블록들을 위한 예측 파라미터들은 각각의 예측 블록이 성분(C)의 이웃하는 이미 디코딩된/인코딩된 부분들로부터 공간적으로 예측되어야만 하는 공간적 방향을 시그널링할 수 있고, 각각의 예측 블록이 속하는 코딩 블록을 위하여 시그널링되는 시간적 예측 모드의 경우에, 예측 블록은 예측 파라미터로서 움직임 벡터를 시그널링할 수 있다. 변환 블록들은 성분(C)에 대한 ICP 잔류가 스펙트럼으로 분해되는 블록들일 수 있다. 이와 관련하여, 예측을 위한 소스가 루마 또는 제 1 크로마 성분인지를 나타내는 플래그(210)는 ICP 소스를 형성하는 성분(A)의 경우에 α0로서 사용되고 ICP 소스를 형성하는 성분(B)의 경우에 α1로서 사용되는, 예를 들면 예측 가중(α)과 같은, 다른 ICP 파라미터들(212)로부터 결합될 수 있거나 또는 독립적일 수 있다는 것에 유의하여야 한다. 예를 들면, 예측 소스가 항상 가중과 같은, 예측 파라미터(들) 이후에 시그널링될 때 의존성의 경우가 주어진다. 다른 한편으로, 소스가 항상 예측 블록 또는 코딩 블록을 위하여 플래그(210)에 의해 시그널링되나 ICP 파라미터들(21)은 각각의 변환 블록을 위하여 전송될 때 독립적인 경우가 주어질 수 있다.
위의 예를 고려하여, 예측 소스를 나타내는 플래그(210)는 예를 들면 제 2 크로마 성분의 변환 블록들만을 위한 것과 같이, 성분(C)의 블록들(208)을 위해서만 전송될 수 있디. 이는 블록(208)을 위한 ICP 가중(α)이 제로와 동일하지 않은 것과 같이, ICP 파라미터 데이터(44C) 내에 시그널링될 수 있는 경우에만 ICP 소스가 ICP 파라미터 데이터(44C)의 일부분으로서 블록(208)을 위하여 시그널링될 수 있으며, 이는 ICP는 성분(C)의 블록(208)을 위하여 실행되어야만 하는 것을 의미한다. 다중 소스를 위한 조건이 주어지는 두 가지 상황이 존재한다. 첫 번째 경우는 루마 성분과 같은, 제 1 성분 및 제 1 크로마 성분과 같은, 제 2 성분의 각각의 변환 블록들이 잔류들을 물려받을 때 발생한다. 제 1 크로마 성분이 제로 값의 잔류 값들로만 구성되는 동안에 루마 변환 블록이 잔류들을 물려받을 때 두 번째 경우가 주어지나, 이는 루마 변환 블록으로부터 예측된다.
ICP 예측 소스를 나타내는 플래그(210)를 위하여, 고정된 콘텍스트 모델이 적용될 수 있다. 다중 소스가 발생하는 상황에 대한 의존성이 또한 가능하고 두 가지 상이한 콘텍스트 모델을 야기한다. 게다가, 가중과 같은, 다른 ICP 예측 파라미터(들)(210)에 대한 의존성이 존재할 수 있다. 예를 들면, 음의 α는 양의 α와 상이한 콘텍스트 모델을 야기할 수 있다. 또 다른 가능성은 α의 절대 값에 대한 의존성이다. 이러한 예에서, 2보다 큰 절대 α는 α가 2와 동일하거나 또는 작은 경우와 상이한 콘텍스트 모델의 사용을 야기할 수 있다.
따라서, ICP 데이터(44C)가 성분(C)의 각각의 블록(208)을 위하여 조건부로 ICP 소스 표시기(210)가 뒤따르는, ICP 파라미터(212)로서 가중(α)을 나타내는 일 실시 예를 도시한, 도 6이 참조된다. 따라서, 도 6에 따르면, 각각 모듈(28 및 128)은 단계(220)에서 ICP 파라미터 데이터(44C)로부터/에 α를 판독(read)/기록하고(write) 만일 α가 제로와 동일한지의 검사(222)가 실제로 α가 제로인 것으로 드러나면, ICP 파라미터 데이터(44C)는 블록(228)을 위하여 더 이상의 ICP 파라미터 데이터를 포함하지 않으며 224에 나타낸 것과 같이 성분들(A 및 B) 중 어느 하나를 기초로 하여 블록을 위하여 어떠한 ICP도 실행되지 않는다. 그러나, 만일 α가 비-제로이면, ICP 파라미터 데이터(44C)는 블록(208)을 위하여 단계 226 또는 228에서 ICP 파라미터 데이터(44C)로부터 판독되거나 또는 기록되는 소스 플래그(212)에 의해 ICP 예측 소스를 포함하거나 또는 시그널링한다.
도해 목적을 위하여, 도 6은 229에서 이러한 상황이 검사되는, 단계(220)의 α가 미리 결정된 기준을 충족하는지에 의존하여 소스 플래그의 엔트로피 인코딩/디코딩을 위하여 상이한 콘텍스트들이 사용되는 가능성을 도시한다. 위에 설명된 것과 같이, 만일 α의 절대 값이 2와 같은, 미리 결정된 값보다 크거나, 또는 α가 음 등이면, 기준이 충족될 수 있다. 그러나, 위에서 이미 설명된 것과 같이, α에 대한 소스 플래그를 디코딩/인코딩하도록 사용되는 콘텍스트의 의존성은 단지 선택적이며, 따라서 단계들(229 및 228)은 대안의 실시 예에 따라 생략될 수 있다. 단계(226 또는 228)가 적용되는 것과 관계없이, α가 제로와 동일하지 않는 경우에, ICP는 ICP 예측 소스가 제 1 성분(A)인 경우에 α0로서, 또는 소스 플래그에 의해 표시되는 ICP 예측 소스가 단계(230)에서의 제 2 성분(B)인 경우에 α1로서 단계(220)의 α를 사용하여 실행된다.
따라서, 도 6을 요약하면, ICP 파라미터 데이터(44C)는 각각의 블록(208)을 위하여 데이터 스트림(12) 내로 코딩되는 하나의 가중(α), 즉 212를 가질 수 있다. 단계(220)에서의 코딩/디코딩은 이웃하는 블록의 α를 기초로 하는 공간적 예측을 포함할 수 있다. 또한, ICP 파라미터 데이터(44C)는 이러한 블록(208)을 위한 α의 값에 의존하여 블록(208)을 위하여 데이터 스트림(12) 내로 코딩되는 소스 플래그(210)를 가질 수 있고 코딩은 엔트로피 코딩, 및 특히 이러한 현재 블록(208)을 위한 α에 의존하는 콘텍스트를 사용하는 콘텍스트 적응적 엔트로피 코딩을 포함할 수 있다. 따라서, 단계들(226 및 228)은 콘텍스트 적응적 엔트로피 코딩/디코딩을 포함할 수 있다. 단계(230)는 α0 및 α1을 포함하는 위에 확인된 공식들의 적용을 포함할 수 있다. 단계(220)의 α는 소스 플래그에 의해 시그널링되는 ICP의 소스에 의존하여 α0 또는 α1로서 사용된다.
확장형 ICP 기술들이 다음에 설명된다. 특히, 성분(C)의 경우에서와 같이 다중 소스가 이용 가능할 때, 가능한 ICP 예측기는 예측을 위하여 성분들 모두, 즉 성분들(A 및 B)을 수용할 수 있다. 선형 ICP 예측기를 사용하는 경우에, ICP 예측 파라미터들(212)은 ICP 예측의 가중을 2번 지정해야만 할 수도 있으며 각각의 성분의 성과 또는 결과는 위에 설명된 것과 같이 선형으로 결합된다.
도 5c 및 7은 ICP 파라미터 데이터(44C)가 각각 단계들(232 및 234)에서 판독/기술되는 각각의 블록(208)을 위하여 위에 확인된 공식에 따라 단계(236)에서 적용되는, 두 개의 가중(α0 및 α1)을 포함하거나 또는 시그널링하는 가능성을 도시한다.
완전성을 위하여, 도 5d-5g는 스펙트럼 도메인 내에서 시그널링된, 즉 이산 코사인 변환 계수들 또는 변환 블록들의 다른 변환 계수들 등과 같은 변환 계수들의 형태의 시그널링된 성분(C) 잔류 신호를 갖는 스펙트럼 도메인 또는 공간 도메인 내에서 위에 이미 언급된, 즉 모듈(28)의 ICP가 실행되는 상황을 도시한다. 스펙트럼 도메인 내의 모듈 소스 ICP의 실행이 각각 기본으로서 도 5b 및 5c의 모듈(28)의 실시 예를 사용하여 도 5d 및 5e에 도시된다. 도시된 것과 같이, 신호들(24 및 22)은 공간적으로 상응하는, 즉 공동 위치되는 샘플들의 형태로 도착하고, 각각 가중들(α0 및 α1)에 의해 곱해지며, 각각의, 즉 신호(30)를 생산하기 위하여 도착하는 변환 계수들(42C) 상에 적용되는 역 변환에 의해 획득되는 것과 같이 수집된, 샘플들과 함께 더해진다. 스펙트럼 도메인 내의 다중 소스 ICP의 실행이 각각 기본으로서 도 5b 및 5c의 모듈(28)의 실시 예를 사용하여 다시 도 5f 및 5g에 도시된다. 여기에 도시된 것과 같이, 신호들(24 및 22)은 공간적으로 상응하는, 즉 그것들이 변환 계수들의 스펙트럼 분해를 획득하기 위하여 (순방향) 변환의 대상이 될 수 있는 공동 위치되는 샘플들의 형태, 즉 변환 계수들의 형태로 도착할 수 있다. 대안으로서, 신호들(20 및 24)은 변환 도메인 내에 이미 도착한다. 변환(217)은 예를 들면, 각각 성분(A와 C 및 B와 C) 사이의 변환 블록들의 오-정렬의 경우에 필요할 수 있다. 신호들(22 및 24)의 계수들은 각각 가중들(α0 및 α1)에 의해 곱해지고, 그리고 나서 각각의, 즉 42C로부터 획득된 것과 같이 스펙트럼으로 상응하는 계수들과 함께 더해진다. 더해진 계수들은 그리고 나서 신호를(30) 생산하기 위하여 역 변환(216)의 대상이 된다.
압축 효율을 향상시키기 위한 또 다른 접근법은 ICP를 위한 성분들의 교환이다. 이러한 접근법에 따르면, 구문 요소는 잔류들의 정확한 순서를 지정하는, ICP 파라미터 데이터(44C) 내에 시그널링될 수 있다. 이러한 실시 예에서, 예를 들면, 세 개의 변환 블록이 공간적으로 상응하는 부분을 위하여 재구성되고, 각각의 성분(A, B 및 C)에 대하여 하나가 사용될 수 있다. 그리고 나서 구문 요소는 제 2 및 제 3 성분 잔류 데이터(42B 및 42C)에 속하는 제 2 및 제 3 잔류 블록들이 스와핑되는 것을 지정한다. 제 1 및 제 2 성분 또는 심지어 제 1 및 제 3 성분을 교환하는 것이 또한 가능할 수 있다. 특히 ICP 및 다중 소스 ICP의 결합에 중요한, 이러한 적응적 성분 스위치는 더 적은 프렐류드 비용을 갖는 에너지의 감소를 허용한다. 예를 들면, 두 개의 크로마 성분(B 및 C)을 스위칭하기 위한 적용이 허용된다. 이러한 실시 예에서, 루마, 즉 성분(A)으로부터 두 크로마 성분(B 및 C)의 예측은 동일한 비용을 야기할 수 있다. 그러나, 제 1 크로마 성븐을 사용하는 제 2 크로마 성분의 예측은 더 많은 오버헤드를 요구할 수 있으나, 제 2 크로마 성분을 사용하는 제 1 크로마 성분의 예측은 더 적은 비트들을 요구하고 낮은 비용을 야기하며, 그러한 경우에, 두 개의 크로마 변환 블록의 스왑은 총 비용을 감소시키고 높은 압축 효율을 야기한다.
이는 다시 도 8에 도시된다. 도 8은 각각 단계 240, 242 및 244에서 판독/기술되는 제 1, 제 2 및 제 3 성분 잔류 데이터(42A 내지 42C)를 도시하며, 각각 모듈들(24 및 28 및 124 및 128)에 의한 ICP, 즉 246은 스왑 시그널링화(248), 제 1 성분을 기초로 하여 실행되는 ICP를 위한 가중, 즉 제 2 성분을 위한 ICP 파라미터 데이터(44B)로부터 취해지는, α 및 제 2 및 제 3 성분들 사이의 ICP를 위하여 사용되는 가중, 즉 제 3 성분을 위한 ICP 파라미터 데이터(44C)로부터 취해지는, α1을 포함하는 ICP 파라미터 데이터(44B 및 44C)에 의해 제어된다. 스왑 시그널링화에 의존하여, 전송된 잔류 신호들(42A 내지 42C)은 연속적인 선들 또는 쇄선들에 따라 ICP(246) 내에 결합된다. 도시된 것과 같이, 제 2 성분 신호(26)는 스왑 시그널링화에 의존하는 제 1 성분 또는 제 3 성분을 기초로 하여 ICP에 의해 획득되고, 유사하게 제 3 성분 신호(30)는 각각 제 1 성분 또는 제 2 성분을 기초로 하여 ICP에 의해 획득된다. 연속적인 선들에 의해 도시된 비-스와핑된 경우에서, ICP 파라미터 데이터 가중들(α 및 α1)은 그것들의 의미를 유지하는데, 즉 그것들은 각각 제 2 성분 신호(26) 및 제 3 성분 신호(30)의 ICP 예측을 제어하나, 쇄선들에 의해 도시된, 스와핑된 경우에서, ICP 파라미터 데이터 가중들(α 및 α1)은 제 1 단계 및 제 2 단계 ICP 예측의 제어로서 재해석된다. ICP 파라미터 데이터 가중(α)은 제 1 단계 ICP를 언급하고 ICP 파라미터 데이터 가중(α1)은 제 2 단계 ICP를 언급한다. 만일 스와핑되지 않으면, 재해석은 어떤 것도 변하지 않으나, 스와핑된 경우에, 제 3 성분 신호(30)는 제 2 성분 신호(26) 이전에 성분-간 예측되며, 따라서 ICP 파라미터 데이터 가중들(α1)은 이제 실제로 제 3 성분 신호의 ICP를 위하여 사용된다. 바꾸어 말하면, 스와핑된 상태에서, ICP가 관련되는 한 제 2 성분(B)은 예비로 제 3 성분(C)의 역할을 추정하고 반대도 마찬가지이다.
도 8의 실시 예는 데이터(44C)의 ICP 파라미터 데이터 가중(α1)이 ICP 파라미터 데이터 가중(α0) 또는 소스 표시기(212)와 같은 또 다른 데이터를 수반할 수 있다는 점에서 이전의 실시 예들과 결합될 수 있다는 것에 유의하여야 한다. 데이터(44C)가 제 2 단계 ICP, 즉 신호가 ICP의 대상이 되는(이것이 신호 26 또는 28인지 간에) 제 2 성분으로서 언급되도록 재해석되기 때문에, 두 개의 소스는 스왑 시그널링화(248)와 관계없이 두 경우 모두에서 이용 가능하고, ICP 파라미터 데이터 가중(α0)은 두 경우에서의 성분(A)을 기초로 하여 ICP를 제어하도록 사용될 수 있으며 소스 표시기는 각각 비-스와핑된 경우에서의 성분들(A 및 B) 및 스와핑된 경우에서의 성분들(A 및 C) 사이의 스위칭으로서 해석될 수 있다.
또한, 도 8과 유사한 방식으로, 앞서 언급된 색 공간 변화를 시그널링하는 플래그 내로의 플래그의 스위칭, 즉 색 공간들 사이의 스위칭을 변경하는 것이 실현 가능할 수 있으며: 각각의 성분을 위하여, 위에 설명된 것과 같이 국부적으로 변하는 ICP 예측 파라미터(α0 또는 α1)가 전송되며; 또한, 색 도메인 변화 플래그는 색 도메인이 변경되는지를 국부적으로 나타낸다. 만일 변경되지 않으면, 제 2 및 제 3 성분들(B 및 C) 모두는 예를 들면, 각각 두 개의 크로마 성분을 나타내기 위하여 α0 또는 α1을 사용하여 A로부터 개별적으로 예측되고, 성분(A)은 위에 설명된 것과 같이 루마로서 처리된다. 그러나 만일 색 변화가 발생하도록 시그널링되면, 예를 들면 B 및 C는 각각 α0 또는 α1을 사용하여 A로부터 개별적으로 예측되나, 그것들은 그리고 나서 공통으로 예를 들면 YCC 색 공간 내로 ABC 색 공간을 선형으로 전달하는, 색 공간 변화 변환의 대상이 된다. 예를 들면, 성분(B)은 어떠한 색 공간 변화도 없는 경우에만 A로부터 예측되나, 이는 예를 들면, 색 공간 변화의 경우에 A 및 C로부터 효율적으로 예측된다. 심지어 대안으로서, YCC 색 공간에 시그널링된 색 공간(ABC)의 두 종류 이상의 색 변화 변환 매핑이 이용 가능할 수 있고 시그널링화(248)에 의해 그 사이에서 스위칭될 수 있다. 따라서, 국부적으로 변경하는 방식으로, ABC 성분들이 전송되는 색 공간은 두 개 이상의 색 공간 사이에서 변경될 수 있고, 따라서 YCC로의 변환은 무 변환 및 시그널링화(248)에 의해 시그널링되는 것과 같은 색 변환 사이에서 변할 수 있다. 시그널링화(248)는 변환 블록들과 같이, ICP 예측 파라미터 전송이 발생하는 유닛들보다 크거나 또는 동일한, 코딩 유닛들과 같은, 유닛들 내의 데이터 스트림 내에 전송될 수 있다. 따라서, α0 또는 α1은 변환 블록들과 같은 제 1 블록들에서 성분들(B 및 C)을 위하여 전송될 수 있고, B를 위하여 전송되는 잔류(rB)는 rB' = rB + α0·rA에 따라 성분(A)을 위하여 전송되는 잔류(rA)와 결합될 수 있으며, 유사하게, C를 위하여 전송되는 잔류(rC)는 rB' = rB + α1·rA에 따라 잔류(rA)에 결합될 수 있으며, 예측 잔류 신호(22, 26, 30)는 최종적으로 단순화를 위하여 T로 표시되는, RGB의 YCC로의 색 변환과 유사할 수 있는 색 변환에 의하거나, 또는 RGB의 YCC 로의 색 변환과 유사할 수 있는 색 변환에 의해, 즉 각각 (rY,rC1,rC2)T = T·(rA,rB',rC')T 또는 (rY,rC1,rC2)T = (rA,rB',rC')T에 의해 획득될 수 있다. 색 공간 변환이 적용되는지는 시그널링화(248)를 통하여 제어된다. T는 예를 들면,
Figure pct00001
일 수 있다.
위에 언급된 데이터(44B 또는 44C) 내의 ICP 예측 파라미터(α 또는 α0 또는 α1)의 코딩은 위에 설명된 것과 같이 가중의 분수 값의 정수 분모의 시그널링을 사용하여 코딩될 수 있거나, 또는 심지어 더 향상될 수 있다. ICP가 R'G'B' 색 공간 내에 적용될 때, α(α 또는 α0 또는 α1 중 어느 하나를 위하여 대표적으로사용되는)의 값은 주로 양의 값이고 상대적으로 크며, 즉 부동 소수점 정밀도에서 1 또는 0.5이다. 다른 한편으로, Y'CbCr을 위하여, α이 값들은 흔히 제로 값을 중심으로 하고 상대적으로 작다. 압축 비율과 관련하여 효율성을 더 향상시키기 위하여 α의 비대칭 매핑 및 제한이 사용될 수 있다. 관찰을 고려하여, α 매핑은 다음과 같을 수 있다:
α∈{0, ±1, ±2, +4, +8} 또는 α∈{0, ±1, ±2, +4, +8}
α의 최대 허용되는 값을 구별하기 위하여, α의 부호는 비트스트림 내에 우선 전송되어야만 한다는 것을 이해하여야 한다. 대칭 매핑의 경우에 순서는 무관한데, 즉 부호는 α의 절대 값의 전송 이후에 전송될 수 있다. 게다가, α의 절대 값은 α의 양 및 음의 값들의 발생의 빈도를 위한 상이한 확률 분포를 설명하기 위하여 α의 부호에 의존하는 콘텍스트 모델링을 사용하여 엔트로피 코딩에 의해 코딩/디코딩될 수 있다.
아래에, 일부 실시 예들이 훨씬 더 구체적으로 설명된다.
일 실시 예에 따르면, 예를 들면, 이에 제시된 실시 예들에서의 경우에서와 같은 두 개의 예측 소스의 경우에, 위의 도 6에서 소스 플래그로 칭하는, 플래그(210)는 ICP 예측 파라미터(212)의 지정 이후에 전송되고 이러한 플래그(210)는 어떤 예측 소스가 사용되어야만 하는지를 나타낸다. 본 실시 예를 위하여, 예측 소스 플래그(210)는 예측이 적용되어야만 할 때만 필요하며, 이는 ICP 예측 파라미터로부터 유도될 수 있다는 것에 유의하여야 한다.
또 다른 실시 예에서, 예측 블록 내의 각각의 내포된 변환 블록들과 같은, 각각의 블록(208)의 특정 ICP 예측 파라미터(212)로부터 독립적으로, 어떤 예측 소스가 사용되어야만 하는지를 나타내는 소스 플래그(210)는 각각의 예측 유닛을 위하여 항상 전송된다. 이러한 바람직한 실시 예에서 예측 블록 레벨에서 α와 같은 ICP 예측 파라미터들(212)을 전송하는 것이 또한 가능하다는 것에 유의하여야 한다.
본 발명의 또 다른 바람직한 실시 예에서, 코딩 블록 내에 내포된 변환 블록의 특정 예측 파라미터들로부터 독립적으로, 어떠한 예측 소스가 사용되어야만 하는 것을 나타내는 플래그, 즉 소스 플래그는 항상 각각의 코딩 블록을 위하여 전송된다. 이러한 바람직한 실시 예에서 예측 블록 레벨 또는 코딩 블록 레벨에서 ICP 파라미터들을 전송하는 것이 또한 가능하다는 것에 유의하여야 한다.
도 9는 방금 설명된 가능성들을 도시한다. 특히, 위에 설명된 것과 같이, ICP 파라미터 데이터(44C)는 두 개의 성분, 즉 가중(α)과 같은 ICP 예측 파라미터 및 무조건으로 코딩되는 ICP 소스 플래그(210)를 포함할 수 있다. 도 6에 도시된 것 이외에, 단계들(220 및 222) 사이에 위치되도록 단계들(226, 228 및 229)이 재배치될 수 있고, 위에서 이미 설명된 것과 같이, 단계들(228 및 229)은 심지어 생략될 수 있다. 어쨌든, 도 9는 ICP 파라미터 데이터(44C)가 ICP 예측 소스를 시그널링하는 입상도가 ICP 예측 파라미터(α)가 전송되는 입상도보다 거친 가능성을 도시한다. 특히, ICP 소스 플래그는 도 9의 연속적인 선들에 의해 표시되는, 블록들(250)의 유닛들 내에 전송되나, ICP 예측 파라미터(α)는 서브-블록들(252)의 유닛들, 즉 블록들(250)의 서브-파티션들 내의 ICP 예측 파라미터 데이터(44C) 내에 표시된다. 도 9는 직사각형이 되도록 화상(16)의 블록들(250 및 252)을 도시하나, 다른 형태의 블록들이 또한 사용될 수 있다는 것에 유의하여야 한다.
또 다른 실시 예에서, 예측 소스를 나타내는 소스 플래그(210)는 가중과 같은, 각각의 ICP 예측 파라미터(들)(212), 즉 현재 변환 블록 또는 현재 예측 블록 또는 심지어 현재 코딩 블록을 위하여 지정되는 ICP 예측 파라미터(들)에 결합될 수 있다. 이러한 실시 예에서, 예측 소스를 나타내는 소스 플래그(210)는 선형 예측의 경우에서의 예측 파라미터만이 -0.25 및 +0.25(또는 정수 값의 α - 또는 더 정확하게는, 그것의 정수 값의 분모를 위한 -2 및 +2)의 범위 내에 존재하는 경우에만 코딩될 수 있다. 예를 들면, 도 6이 참조된다. 여기서, ICP 파라미터 또는 데이터(44C)는 α가 제로와 동일하지 않은 경우에서만 소스 플래그의 디코딩을 필요로 한다. 부가적으로, 또는 대안으로서, 소스 플래그는 α가 -0.25 및 +0.25 사이에서와 같은, 특정 값 범위 내에 존재하는 경우에서만 특정 블록을 위하여 ICP 파라미터 데이터(44C)에 의해 포함될 수 있다. 만일 α가 그러한 범위 외부에 존재하면, 소스 플래그는 데이터 스트림 내에 명시적으로 전송되지 않을 수 있으나, 예를 들면 ICP 예측 소스로서, 제 1 성분(A)을 언급하도록 추론될 수 있다. 예를 들면, 만일 성분(A)이 루마 성분이고 성분(B 및 C)이 두 개의 크로마 성분이면, α의 큰 절대 값은 제 2 크로마 성분(C)을 위한 예측 소스가 나머지 제 1 크로마 성분(B)보다는 오히려 루마 성분이라는 힌트이다. 따라서, 도 6에서 222 및 229 사이에 α가 소스 플래그의 전송/판독을 필요로 하는 값 범위 내에 존재하는지를 검사하는 또 다른 검사가 위치될 수 있다. 만일 아니면, 어떠한 소스 플래그도 판독/기록되지 않으며, 그렇지 않으면 단계(229)로 진행된다.
또 다른 실시 예에서, 예측 소스를 나타내는 소스 플래그는 제 1 크로마 성분의 ICP 파라미터(들)에 결합된다. 이러한 실시 예에서, 예측 소스를 나타내는 ICP 파라미터 데이터(44C)의 소스 플래그는 예를 들면, 값 범위가 또한 다르게 선택될 때, ICP 파라미터 데이터(44B) 내의 공동 위치되는 블록을 위한 선형 예측의 경우에서의 ICP 파라미터, 즉 α만이 -0.24 및 +0.25 사이 또는 정수 값(α)을 위하여 -2 및 +2 사이일 경우에만 코딩/디코딩된다. 예를 들면, ICP 파라미터 데이터(44B)가 공동 위치되는 블록을 위하여 각각의 공동 위치되는 블록으로부터 성분(B)의 ICP의 크기가 예를 들면 위의 일부 미리 결정된 값인, 가중(α)을 사용하여 실행되는 것을 나타내는지에 대한 검사가 도 7에 추가될 수 있다. 만일 그렇다면, 이는 성분들(A, B 및 C)이 이 경우에 아마도 제 2 성분, 즉 추정상의 제 1 크로마 성분을 기초로 하여 성분-간 예측되어야만 하는 YCC 유사 색 공간과 상응하는 힌트로서 사용될 수 있으며 따라서 그러한 경우에 소스 플래그는 ICP 소스로서 제 2 성분을 식별하도록 추론된다. 그러나, 만일 ICP 예측 파라미터 데이터(44B)에 의해 나타낸 것과 같이 공동 위치되는 블록을 위한 α의 크기가 미리 결정된 값보다 작으면, 소스 플래그는 현재 블록을 위한 ICP 파라미터 데이터(44C)의 일부로서 시그널링된다.
일 실시 예에 따르면, 예측 소스를 나타내는 플래그를 위한 콘텍스트 모델은 가중과 같은 ICP 예측 파라미터와 독립적이다. 그 결과, 하나의 고정된 콘텍스트 모델이 사용된다. 이는 예를 들면, 도 6의 설명과 관련하여, 단계들(228 및 229)이 직접적으로 226에 이르는 검사(222)의 예(yes)-경로와 함께 생략될 수 있다는 것을 의미한다.
그러나, 또 다른 실시 예에서, 소스 플래그를 위한 콘텍스트 모델은 가중과 같은, ICP 예측 파라미터(들)에 의존한다. 선형 예측기가 사용될 때, 만일 위에 설명된 것과 정수 값의 예측 파라미터의 경우에서, 예측 파라미터, 즉 가중만이 예를 들면 -2 및 2 사이의 범위 내에 존재하면, 상이한 콘텍스트 모델이 사용될 수 있다.
또한, 만일 선형 예측기의 경우에 ICP 예측 파라미터만이 음이면 상이한 콘텍스트 모델이 사용될 수 있다. 이는 또한 위에서 설명되었다.
다중 예측 소스의 사용은 도 5와 관련하여 위에 설명된 것과 같이, 결과 파라미터 세트 내에 전송되는 플래그를 사용하여 켜지거나 꺼질 수 있다. 그러나, 전송은 또한 화상 파라미터 세트 또는 슬라이스 헤더 내에서 발생할 수 있다.
다중 예측 소스의 사용은 다른 계층 레벨(hierarchial level)들에서 지정될 수 있다. 예를 들면, 이는 시퀀스 파라미터 세트 및 화상 파라미터 세트 내에서 지정될 수 있다. 화상 파라미터 세트 플래그가 낮기 때문에, 이러한 바람직한 실시 예는 화상 또는 비디오 시퀀스의 프레임을 위하여 다중 소스 ICP를 불가능하게 하는 가능성을 가능하게 한다. 또 다른 실시 예에서, 예측 소스를 나타내는 플래그, 즉 소스 플래그는 ICP 예측 파라미터, 즉 현재 성분에 대한 가중 및 이전 성분을 위한 가중과 같은, ICP 예측 파라미터 사이의 상대적 차이에 의존할 수 있다. 만일 상대적 차이가 주어진 한계보다 크면, 플래그는 예를 들면, 1과 동일하도록 유도된다. 바꾸어 말하면, 도 6의 경우에서, 검사(222) 하류에 부가적인 검사가 적용될 수 있고, 이러한 부가적인 검사에서 ICP 파라미터 데이터(44B)에 따른 공동 위치되는 블록과 관련된 가중이 미리 결정된 양 이상에 의해, 현재 블록을 위한 ICP 파라미터 데이터(44C)의 α와 다른지가 검사된다. 만일 맞으면(yes), 이는 성분들(A 내지 C)이 YCC 색 공간처럼 서로 관련되고 따라서 소스 플래그가 성분(C)의 ICP를 위한 ICP 소스로서 추정상의 제 1 크로마 성분, 즉 성분(B)을 식별하도록 추론되는 힌트로서 해석될 수 있다. 그렇지 않으면, 소스 플래그의 판독/기록이 실행된다. 바꾸어 말하면, 데이터(44C)의 ICP 예측 파라미터 시그널링화(212)에 응답하여, 제 3 성분 예측 파라미터(α)는 서브-화상 입상도에서 변경될 수 있고, 유사하게, 데이터(44B) 내의 제 2 성분 신호를 위한 ICP 예측 파라미터 시그널링화에 응답하여, 성분-신호 예측 파라미터(α)는 서브-화상 입상도에서 변경될 수 있다. 따라서, 가중들은 성분(B)을 위한 ICP 및 성분(C)을 위한 다중 소스 ICP 사이에서 국부적으로 변경될 수 있다. 따라서 어디서 제 2 성분 및 제 3 성분 예측 파라미터가 미리 결정된 한계 이상으로 차이가 나는지, 예를 들면 유도의 측정으로서 α 값들의 차이 또는 몫(quotient)을 부르는지에 대한 검사가 실행될 수 있다. 그것들이 한계 이상으로 차이가 나지 않는 위치들을 위하여, ICP 소스 표시기(210)가 데이터(44C) 내에 존재할 수 있고, 차이가 초과하는 위치들을 위하여, ICP 소스 표시기(210)는 위에 설명된 것과 같이 그렇지 않은 것으로 추론될 수 있다.
또 다른 실시 예들에 따르면, 다중 예측 소스가 이용 가능할 때, ICP 예측 파라미터(들)는 도 7과 관련하여 위에 설명된 것과 같이, 예측 소스의 가중된 조합을 지원하는 예측기를 지정하여 2번 전송된다.
또 다른 실시 예에 따르면, 선형 예측기는 다중 소스 ICP를 위하여 사용되고 ICP 예측 파라미터는 양자화된다. 이러한 실시 예에서, 절대 ICP 예측 파라미터만이 절삭된(truncated) 1진 코드를 사용하여 2진화되고 코딩되며 부호는 개별적으로 전송된다. 부호는 첫 번째로 그리고 예측 파라미터만의 부호에 의존하여 코딩될 수 있고, 상이한 콘텍스트 모델들이 2진 분해의 빈들을 위하여 사용될 수 있다. 또 다른 실시 예에 따르면, 부호가 우선 코딩되고, 그리고 나서 코딩된 부호에 의존하여, 예측 파라미터의 양자화가 다르게 실행된다. 이러한 바람직한 실시 예에서, 최대 허용되는 예측 파라미터들은 0.25 및 1 사이의 범위일 수 있다.
일 실시 예에 따르면, 플래그는 제 2 및 제 3 성분이 교환되는지를 나타낼 수 있다. 이는 도 8과 관련하여 위에서 설명되었다. 이러한 실시 예에서, 제 1 크로마 성분의 관련 변환 블록을 위하여 구성되는 잔류들은 제 2 성분을 위한 잔류들로서 처리될 수 있고 반대도 마찬가지이다.
.특정 실시 예들의 위의 설명과 관련하여, 이것들은 다-성분 화상 코딩에 쉽게 전달 가능하다는 것에 유의하여야 한다.
장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것은 자명하다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 블록 아이템 혹은 상응하는 장치의 특징을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면, 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시 예들에서, 일부 하나 또는 그 이상의 가장 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 신호들은 디지털 저장 매체 상에 저장될 수 있거나 혹은 무선 전송 매체 또는 인터넷과 같은 유선 전송 매체와 같은 전송 매체 상에 전송될 수 있다.
특정 구현 요구사항들에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면, 그 안에 저장되는 전자적으로 판독 가능한 제어 신호들을 갖는, 플로피 디스크, DVD, 블루-레이, CD, RON, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있으며, 이는 각각의 방법이 실행되는 것과 같이 프로그램가능 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 따라서, 디지털 저장 매체는 컴퓨터로 판독 가능할 수 있다.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독 가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(혹은 데이터 저장 매체, 또는 컴퓨터 판독가능 매체와 같은, 비-전이형 저장 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형(tangible) 및/또는 비-전이형이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 수신기로 전송하도록(예를 들면, 전자적으로 또는 선택적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터, 이동 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면, 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함한다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해 실행된다.
여기에 설명되는 장치는 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치 및 컴퓨터의 조합을 사용하여 구현될 수 있다.
여기에 설명되는 방법들은 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치 및 컴퓨터의 조합을 사용하여 실행될 수 있다.
이에 설명된 실시 예들은 단지 본 발명의 원리들을 위한 설명이다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용이 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
10 : 디코더
12 : 데이터 스트림
14 : 출력
16 : 다-성분 비디오
18 : 화상
20 : 제 1 모듈
22 : 제 1 성분 신호
24 : 제 2 모듈
26 : 제 2 성분 신호
28 : 모듈
30 : 제 3 성분 신호
32a, 32b, 32c : 디코딩 분기
34A, 34B 및 34C: 성분-내 예측기
36A, 36B 및 36C : 결합기
40A: 성분-내 예측 신호
42A : 제 1 성분 잔류 데이터
42B: 제 2 성분 잔류 데이터
42c: 제 3 성분 잔류 데이터
100 : 인코더
120, 124, 128 : 모듈
132A, 132B, 132C: 코딩 분기
134A,B,C : 성분-간 예측기
136A,B,C : 잔류 형성기
210 : 플래그
212 : ICP 파라미터

Claims (31)

  1. 데이터 스트림(12)으로부터 다-성분 화상 또는 비디오(16)의 제 1 성분(A)에 대한 제 1 성분 신호(22)를 재구성함으로써,
    상기 데이터 스트림(12)으로부터 상기 다-성분 화상 또는 비디오(16)의 제 2 성분(B)에 대한 제 2 성분 신호(26)를 재구성함으로써,
    상기 재구성된 제 1 성분 신호(22) 및 상기 재구성된 제 2 성분 신호(26)로부터 성분-간 예측(ICP)을 사용하여 상기 다-성분 화상 또는 비디오(16)의 제 3 성분(C)에 대한 제 3 성분 신호(30)를 재구성함으로써,
    상이한 성분들과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상 또는 비디오(16)를 디코딩하도록 구성되는 디코더.
  2. 제 1항에 있어서, 상기 디코더는 상기 다-성분 화상 또는 비디오(16)의 상이한 ICP 모드 부분들을 위하여,
    상기 디코더가 상기 재구성된 제 1 성분 신호 및 상기 재구성된 제 2 성분 신호의 공간적으로 상응하는 부분들 중 시그널링된 하나 또는 그것들의 조합으로부터 ICP를 사용하여 상기 다-성분 화상 또는 비디오의 현재 부분의 현재 서브-부분 내의 상기 제 3 성분 신호(30)를 디코딩하도록 구성되는 다중 소스 ICP 코딩 모드; 및
    상기 디코더가 어떠한 ICP도 사용하지 않고 상기 다-성분 화상 또는 비디오의 상기 현재 부분의 현재 서브-부분 내의 상기 제 3 성분 신호를 재구성하도록 구성되는 비-ICP 코딩 모드, 및
    상기 디코더가 상기 다중 소스 ICP 시그널링화에 응답하여, 고정식-단일-소스(fixed-one-source) ICP 코딩 모드로 스위칭하는 상기 다-성분 화상 또는 비디오의 각각의 부분 내에 고정되는, 상기 재구성된 제 1 성분 신호 및 상기 재구성된 제 2 성분 신호 중 고정된 하나의 공간적으로 상응하는 부분들로부터 ICP를 사용하여, 상기 디코더 상기 다-성분 화상 또는 비디오의 상기 현재 부분의 현재 서브-부분 내의 상기 제 3 성분 신호를 재구성하도록 구성되는 고정식-단일-소스 ICP 코딩 모드,
    중 적어도 하나;
    를 포함하는 한 세트의 코딩 모드들의 ICP 코딩 모드들 사이에서 스위칭하기 위하여, 상기 데이터 스트림(12) 내의 다중 소스 ICP 시그널링화(200)에 응답하도록 구성되는, 디코더.
  3. 제 2항에 있어서, 상기 다중 소스 ICP 시그널링화는 상기 ICP 모드 부분들(202)이 단일 화상들, 화상 시퀀스들, 또는 슬라이스들이 되도록 상기 데이터 스트림(12) 내에 시그널링되는, 디코더.
  4. 제 1항 내지 3항 중 어느 한 항에 있어서, 상기 제 1 성분(A)은 루마이고, 상기 제 2 성분(B)은 제 1 크로마 성분이며, 상기 제 3 성분(C)은 제 2 크로마 성분인, 디코더.
  5. 제 1항 내지 4항 중 어느 한 항에 있어서, 상기 디코더는 제 1 서브-화상 입상도에서, 상기 재구성된 제 1 성분 신호(22)의 공간적으로 상응하는 부분으로부터 ICP를 사용하는 상기 다-성분 화상 또는 비디오(16)의 현재 화상 내의 상기 제 3 성분 신호(30)의 재구성과, 상기 재구성된 제 2 성분 신호(26)의 공간적으로 상응하는 부분으로부터 ICP를 사용하는 상기 다-성분 화상 또는 비디오(16)의 현재 화상 내의 상기 제 3 성분 신호(30)의 재구성 사이에서 스위칭하도록 구성되는, 디코더.
  6. 제 1항 내지 5항 중 어느 한 항에 있어서, 상기 디코더는 제 1 서브-화상 입상도에서 상기 재구성된 제 1 성분 신호(22)의 공간적으로 상응하는 부분으로부터 ICP를 사용하는 상기 다-성분 화상 또는 비디오(16)의 현재 화상 내의 상기 제 3 성분 신호(30)의 재구성과, 상기 데이터 스트림(12) 내의 명시적 ICP 소스 시그널링화(210)에 응답하여 상기 재구성된 제 2 성분 신호(26)의 공간적으로 상응하는 부분으로부터 ICP를 사용하는 상기 다-성분 화상 또는 비디오(16)의 현재 화상 내의 상기 제 3 성분 신호(30)의 재구성 사이에서 스위칭하도록 구성되는, 디코더.
  7. 제 5항 또는 6항에 있어서, 상기 디코더는 예측 블록들의 유닛들 내의 공간적, 시간적 및/또는 시점-간 예측 모드들 사이의 스위칭을 갖는 공간적, 시간적 및/또는 시점-간 예측을 사용하여 상기 다-성분 화상 또는 비디오의 상기 제 3 성분(C)에 대한 상기 제 3 성분 신호(30)의 재구성을 실행하도록 구성되고, 상기 디코더는 상기 예측 블록들의 유닛들 내의 제 1 서브-화상 입상도가 상기 현재 화상을 분할하도록 구성되는, 디코더.
  8. 제 5항 또는 6항에 있어서, 상기 디코더는 공간적, 시간적 및/또는 시점-간 예측을 사용하고 상기 변환 블록들의 유닛들 내의 공간적, 시간적 및/또는 시점-간 예측의 예측 잔류의 역-변환에 의해 상기 다-성분 화상 또는 비디오의 제 3 성분에 대한 상기 제 3 성분 신호(30)의 재구성을 실행하도록 구성되고, 상기 디코더는 상기 변환 블록들의 유닛들 내의 제 1 서브-화상 입상도가 상기 현재 화상을 분할하도록 구성되는, 디코더.
  9. 제 1항 내지 8항 중 어느 한 항에 있어서, 상기 디코더는 상기 데이터 스트림(12) 내의 ICP 파라미터 시그널링화(212)에 응답하여, 상기 재구성된 제 1 성분 신호(22) 및 상기 재구성된 제 2 성분 신호(26)가 제 2 서브-화상 입상도에서 상기 ICP에 선형으로 기여하는 가중(weight)들의 변경을 갖는 선형 예측을 사용하여 상기 재구성된 제 1 성분 신호(22) 및 상기 재구성된 제 2 성분 신호(26)로부터 상기 ICP를 실행하도록 구성되는, 디코더,
  10. 제 1항 내지 9항 중 어느 한 항에 있어서, 상기 디코더는 예측 블록들의 유닛들 내의 공간적, 시간적 및/또는 시점-간 예측 모드들 사이의 스위칭으로서, 공간적, 시간적 및/또는 시점-간 예측을 사용하여 상기 다-성분 화상 또는 비디오의 제 3 성분(C)에 대한 상기 제 3 성분 신호(30)의 재구성을 실행하도록 구성되고, 상기 디코더는 상기 제 1 서브-화상 입상도가 상기 예측 블록들의 유닛들 내의 현재 화상을 분할하도록 구성되는, 디코더.
  11. 제 9항 또는 10항에 있어서, 상기 디코더는 공간적, 시간적 및/또는 시점-간 예측을 사용하고 변환 블록들의 유닛들 내의 공간적, 시간적 및/또는 시점-간 예측의 예측 잔류의 역-변환에 의해 상기 다-성분 화상 또는 비디오의 제 3 성분에 대한 상기 제 3 성분 신호(30)의 재구성을 실행하도록 구성되고, 상기 디코더는 상기 제 1 서브-화상 입상도가 상기 변환 블록들의 유닛들 내의 현재 화상을 분할하도록 구성되는, 디코더.
  12. 제 9항 내지 11항 중 어느 한 항에 있어서, 상기 디코더는 제로에 대하여 비대칭인 비-균일 양자화에서 상기 데이터 스트림 내의 상기 ICP 파라미터 시그널링화(212)로부터 가중들을 추출하도록 구성되는, 디코더.
  13. 제 9항 내지 12항 중 어느 한 항에 있어서, 상기 디코더는 상기 가중들의 가능한 값들의 세트에 속하는 제로를 갖는, 상기 데이터 스트림(12) 내의 상기 ICP 파라미터 시그널링화(212)로부터 가중들을 추출하도록(220) 구성되고, 상기 디코더는 다-성분 화상 또는 비디오(16)의 현재 화상의 각각의 블록들을 위하여, 상기 각각의 블록을 위한 가중이 상기 ICP 파라미터 시그널링화에 따라 제로인지를 검사하도록(222) 구성되며, 만일 아니면, 상기 데이터 스트림(12)으로부터 상기 각각의 블록(208)을 위한 ICP 소스 표시기(210)를 추출하고(226), 만일 맞으면, 상기 각각의 블록을 위한 상기 ICP 소스 표시기의 추출을 억제하도록 구성되며, 상기 디코더는 만일 상기 각각의 블록을 위한 가중이 제로가 아니면, 상기 각각의 비-제로 가중에 따라 가중된, 상기 재구성된 제 1 성분 신호(22)의 공간적으로 상응하는 블록(204)으로부터 선형 예측을 사용하여 상기 각각의 블록 내의 상기 제 3 성분 신호(30)를 재구성하기 위하여, 또는 상기 각각의 비-제로 가중에 따라 가중된, 상기 재구성된 제 2 성분 신호(26)의 공간적으로 상응하는 블록(24)으로부터 선형 예측을 사용하여 상기 각각의 블록(208) 내의 상기 제 3 성분 신호(30)를 재구성하기 위하여, 상기 각각의 블록(208)을 위한 상기 ICP 소스 표시기(210)에 응답하도록(230) 구성되는, 디코더.
  14. 제 9항 내지 13항 중 어느 한 항에 있어서, 제 9항 내지 12항 중 어느 한 항에 있어서, 상기 디코더는 상기 가중들의 가능한 값들의 세트에 속하는 제로를 갖는, 상기 데이터 스트림(12) 내의 상기 ICP 파라미터 시그널링화(212)로부터 가중들을 추출하도록 구성되고, 상기 디코더는 다-성분 화상 또는 비디오(16)의 현재 화상의 각각의 블록들을 위하여, 상기 ICP 파라미터 시그널링화(212)에 따른 상기 각각의 블록(208)을 위한 가중이 미리 결정된 기준을 충족시키는지를 검사하도록 구성되며, 만일 아니면, 상기 데이터 스트림(12)으로부터 상기 각각의 블록을 위한 ICP 소스 표시기(210)를 추출하고, 만일 맞으면, 상기 각각의 블록을 위한 상기 ICP 소스 표시기의 추출을 억제하고 상기 각각의 블록을 위한 상기 ICP 소스 표시기를 미리 결정된 상태로 설정하도록 구성되며, 상기 디코더는 상기 각각의 블록을 위한 가중에 따라 가중된, 상기 재구성된 제 1 성분 신호의 공간적으로 상응하는 블록으로부터 선형 예측을 사용하여 상기 각각의 블록 내의 상기 제 3 성분 신호를 재구성하기 위하여, 또는 상기 각각의 블록을 위한 가중에 따라 가중된, 상기 재구성된 제 2 성분 신호의 공간적으로 상응하는 블록으로부터 선형 예측을 사용하여 상기 각각의 블록 내의 상기 제 3 성분 신호를 재구성하기 위하여, 상기 각각의 블록을 위한 상기 ICP 소스 표시기에 응답하도록 구성되는, 디코더.
  15. 제 9항 내지 14항 중 어느 한 항에 있어서, 상기 디코더는 우선 가중들의 부호를 디코딩하고 상기 부호에 의존하여 콘텍스트-모델링을 사용하여 그것들의 절대 값을 디코딩함으로써 상기 데이터 스트림 내의 상기 ICP 파라미터 시그널링화(212)로부터 가중들을 추출하도록 구성되는, 디코더.
  16. 제 1항 또는 15항 중 어느 한 항에 있어서, 상기 디코더는 상기 ICP의 공간적, 시간적 및/또는 시점-간 예측의 예측 잔류 상으로의 적용과 함께 상기 공간적, 시간적 및/또는 시점-간 예측(34C)을 사용하여 상기 다-성분 화상 또는 비디오의 제 3 성분(C)에 대한 상기 제 3 성분 신호(30)의 상기 재구성을 실행하도록 구성되는, 디코더.
  17. 제 1항 또는 16항 중 어느 한 항에 있어서, 상기 디코더는 상기 다-성분 오디오 신호들의 상기 제 1 및 제 2 성분들과 관련하여 성분-간 공간적, 시간적 및/또는 시점-간 예측(34A, 34B)을 실행하도록 구성되고 상기 재구성된 제 1 성분 신호 및 상기 재구성된 제 2 성분 신호가 상기 다-성분 오디오 신호들의 상기 제 1 및 제 2 성분들과 관련하여 실행된 성분-간 공간적, 시간적 및/또는 시점-간 예측의 예측 잔류들이 되도록 구성되는, 디코더.
  18. 제 1항 또는 17항 중 어느 한 항에 있어서, 상기 디코더는 성분-간 공간적, 시간적 및/또는 시점-간 예측(34C)을 사용하고 스펙트럼 도메인으로부터 공간 도메인으로 상기 성분-간 공간적, 시간적 및/또는 시점-간 예측의 예측 잔류의 역-변환(216)에 의해 상기 다-성분 화상 또는 비디오의 제 3 성분에 대한 상기 제 3 성분 신호의 재구성을 실행하고 상기 ICP를 상기 공간 도메인 또는 상기 스펙트럼 도메인 내의 예측 잔류 상으로 적용하도록 구성되는, 디코더.
  19. 제 1항 또는 18항 중 어느 한 항에 있어서, 상기 디코더는 성분-간 공간적, 시간적 및/또는 시점-간 예측(34A, 34C)을 사용하여 상기 제 1 및 제 2 성분 신호들의 재구성을 실행하도록 구성되는, 디코더.
  20. 제 1항 내지 19항 중 어느 한 항에 있어서, 상기 디코더는 제 1 서브-화상 입상도에서, 상기 재구성된 제 1 성분 신호의 공간적으로 상응하는 부분(204)으로부터 ICP를 사용하는 상기 다-성분 화상 또는 비디오의 현재 화상의 상기 제 3 성분 신호의 재구성 및 상기 재구성된 제 2 성분 신호의 공간적으로 상응하는 부분(206)으로부터 ICP를 사용하는 상기 다-성분 화상 또는 비디오의 현재 화상의 상기 제 3 성분 신호의 재구성 사이에서 스위칭하고, 상기 데이터 스트림 내의 ICP 파라미터 시그널링화(212)에 응답하여, 제 2 서브-화상 입상도에서 예측 모델의 예측 파라미터의 변경을 갖는 미리 결정된 상기 예측 모델을 사용하여 상기 재구성된 제 1 성분 신호 및 상기 재구성된 제 2 성분 신호로부터 상기 ICP를 실행하도록 구성되며, 상기 디코더는 상기 데이터 스트림 내의 명시적 ICP 소스 시그널링화(210)에 응답하는 제 2 서브 화상 입상도에서 스위칭을 실행하고 상기 예측 모델의 예측 파라미터에 의존하는 콘텍스트 모델링을 사용하여 상기 데이터 스트림으로부터 상기 명시적 ICP 소스 시그널링화를 디코딩하도록 구성되는, 디코더.
  21. 제 19항에 있어서, 상기 디코더는 예측 파라미터로서 구배(gradient)를 통하여 제어되는 예측 모델로서 선형 예측을 사용하도록 구성되는, 디코더.
  22. 제 19항 또는 21항에 있어서, 상기 디코더는 상기 다-성분 화상 또는 비디오의 현재 화상의 현재 서브-부분에 대해 그러한 서브-부분에 대한 구배가 양(positive)인지 또는 음(negative)인지를 검사하고(229), 상기 검사에 의존하여 상기 콘텍스트 모델링을 실행하도록 구성되는, 디코더.
  23. 제 19항 또는 22항에 있어서, 상기 디코더는 상기 다-성분 화상 또는 비디오의 현재 화상의 현재 서브-부분에 대해 그러한 서브-부분이 미리 결정된 간격 내에 존재하는지를 검사하고, 상기 검사에 의존하여 상기 콘텍스트 모델링을 실행하도록 구성되는, 디코더.
  24. 제 1항 내지 23항 중 어느 한 항에 있어서, 상기 디코더는 상기 다-성분 화상 또는 비디오의 현재 화상의 미리 결정된 서브-부분을 위하여, 상기 데이터 스트림(12)으로부터 제 1 및 제 2 예측 파라미터들을 추출하고, 미리 결정된 예측 모델 및 상기 제 1 예측 파라미터를 사용하여 상기 재구성된 제 1 성분 신호(22)로부터 상기 ICP를 실행하며, 상기 미리 결정된 예측 모델 및 상기 제 2 예측 파라미터를 사용하여 상기 재구성된 제 2 성분 신호(26)로부터 상기 ICP를 실행하며, 상기 재구성된 제 1 성분 신호로부터의 ICP 및 상기 재구성된 제 2 성분 신호로부터의 ICP를 선형으로 결합하도록 구성되는, 디코더.
  25. 제 1항 내지 24항 중 어느 한 항에 있어서, 상기 디코더는 제 3 서브-화상 입상도에서, 상기 재구성된 제 3 성분 신호 및 상기 재구성된 제 2 성분 신호를 스와핑하기 위하여 상기 데이터 스트림 내의 스왑 시그널링화(248)에 응답하는, 디코더.
  26. 제 1항 내지 25항 중 어느 한 항에 있어서, 상기 디코더는:
    상기 데이터 스트림(12) 내의 제 3 성분 신호(30)를 위한 ICP 파라미터 시그널링화(212)에 응답하여, 서브-화상 입상도에서 예측 모델의 제 3 성분 예측 파라미터의 변경을 갖는 미리 결정된 상기 예측 모델을 사용하여 상기 재구성된 제 1 성분 신호(22) 및 상기 재구성된 제 2 성분 신호(26)로부터 상기 ICP를 실행하도록 구성되고,
    상기 재구성된 제 1 성분 신호(22)로부터 ICP를 사용하여 상기 다-성분 화상 또는 비디오의 제 2 성분(B)에 대한 상기 제 2 성분 신호(26)의 재구성을 실행하고 상기 데이터 스트림(12) 내의 제 2 성분 신호(26)를 위한 ICP 파라미터 시그널링화에 응답하여, 서브-화상 입상도에서 예측 모델의 성분-신호 예측 파라미터의 변경을 갖는 미리 결정된 상기 예측 모델을 사용하여 상기 재구성된 제 1 성분 신호(22)로부터 상기 ICP를 실행하도록 구성되며,
    상기 제 2 성분 및 상기 제 3 성분 예측 파라미터가 미리 결정된 한계 이상의 차이가 나는지를 검사하고, 아닌 위치들을 위하여, 상기 데이터 스트림으로부터 상기 각각의 위치에 대한 ICP 소스 표시기(210)를 추출하고, 맞는 위치들을 위하여 상기 ICP 소스 표시기(210)를 억제하고 상기 각각의 위치에 대한 상기 ICP 소스 표시기(210)를 미리 결정된 상태로 설정하도록 구성되며,
    상기 디코더는 각각의 제 3 성분 신호 파라미터에 따라 가중된, 상기 재구성된 제 1 성분 신호의 공간적으로 상응하는 위치로부터 선형 예측을 사용하여 상기 각각의 위치 내의 상기 제 3 성분 신호를 재구성하기 위하여, 또는 각각의 제 3 성분 신호 파라미터에 따라 가중된, 상기 재구성된 제 2 성분 신호의 공간적으로 상응하는 위치로부터 선형 예측을 사용하여 상기 각각의 위치 내의 상기 제 3 성분 신호를 재구성하기 위하여, 상기 ICP 소스 표시기(210)에 응답하도록 구성되는, 디코더.
  27. 제 1항 내지 26항 중 어느 한 항에 있어서, 상기 디코더는 상기 다-성분 화상 또는 비디오의 상기 제 3 성분(C)에 대한 상기 제 3 성분 신호(30)의 재구성에 있어서, 제 3 성분을 위하여 상기 데이터 스트림으로부터 잔류 신호를 추출하고 이에 의해 상기 ICP를 교정하도록 구성되는, 디코더.
  28. 상이한 성분들과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상 또는 비디오(16)를 디코딩하기 위한 방법에 있어서,
    데이터 스트림(12)으로부터 상기 다-성분 화상 또는 비디오(16)의 제 1 성분(A)에 대한 제 1 성분 신호(22)를 재구성하는 단계;
    상기 데이터 스트림(12)으로부터 상기 다-성분 화상 또는 비디오(16)의 제 2 성분(B)에 대한 제 2 성분 신호(26)를 재구성하는 단계;
    상기 재구성된 제 1 성분 신호(22) 및 상기 재구성된 제 2 성분 신호(26)로부터 ICP를 사용하여 상기 다-성분 화상 또는 비디오(16)의 제 3 성분(C)에 대한 제 3 성분 신호(30)를 재구성하는 단계;를 포함하는, 방법
  29. 다-성분 화상 또는 비디오(16)의 제 1 성분(A)에 대한 제 1 성분 신호(22)를 데이터 스트림(12) 내로 인코딩함으로써,
    상기 다-성분 화상 또는 비디오(16)의 제 2 성분(B)에 대한 제 2 성분 신호(26)를 상기 데이터 스트림(12) 내로 인코딩함으로써, 그리고
    상기 인코딩된 제 1 성분 신호(22) 및 상기 인코딩된 제 2 성분 신호(26)로부터 ICP를 사용하여 상기 다-성분 화상 또는 비디오(16)의 제 3 성분(C)에 대한 제 3 성분 신호(30)를 인코딩함으로써,
    상이한 성분들과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상 또는 비디오(16)를 인코딩하도록 구성되는 인코더.
  30. 상이한 성분들과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상 또는 비디오(16)를 인코딩하기 위한 방법에 있어서,
    상기 다-성분 화상 또는 비디오(16)의 제 1 성분(A)에 대한 제 1 성분 신호(22)를 데이터 스트림(12) 내로 인코딩하는 단계;
    상기 다-성분 화상 또는 비디오(16)의 제 2 성분(B)에 대한 제 2 성분 신호(26)를 상기 데이터 스트림(12) 내로 인코딩하는 단계;
    상기 인코딩된 제 1 성분 신호(22) 및 상기 인코딩된 제 2 성분 신호(26)로부터 ICP를 사용하여 상기 다-성분 화상 또는 비디오(16)의 제 3 성분(C)에 대한 제 3 성분 신호(30)를 인코딩하는 단계;를 포함하는, 방법.
  31. 컴퓨터 상에서 구동할 때, 제 28항 또는 30항에 따른 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
KR1020167013016A 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념 KR101968236B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13189444.6 2013-10-18
EP13189444 2013-10-18
PCT/EP2014/072350 WO2015055832A1 (en) 2013-10-18 2014-10-17 Multi-component picture or video coding concept

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009853A Division KR102207000B1 (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념

Publications (2)

Publication Number Publication Date
KR20160091325A true KR20160091325A (ko) 2016-08-02
KR101968236B1 KR101968236B1 (ko) 2019-08-20

Family

ID=49474248

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020197009853A KR102207000B1 (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념
KR1020247026950A KR20240128121A (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념
KR1020167013016A KR101968236B1 (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념
KR1020227039326A KR102695490B1 (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념
KR1020217001734A KR102467057B1 (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020197009853A KR102207000B1 (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념
KR1020247026950A KR20240128121A (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020227039326A KR102695490B1 (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념
KR1020217001734A KR102467057B1 (ko) 2013-10-18 2014-10-17 다-성분 화상 또는 비디오 코딩 개념

Country Status (6)

Country Link
US (4) US10230949B2 (ko)
EP (2) EP3846469A1 (ko)
JP (3) JP6656147B2 (ko)
KR (5) KR102207000B1 (ko)
CN (2) CN105723706B (ko)
WO (1) WO2015055832A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948933B2 (en) 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
JP6416060B2 (ja) * 2015-09-02 2018-10-31 株式会社東芝 画像圧縮装置、画像伸張装置および画像伝送システム
CN105491390B (zh) * 2015-11-30 2018-09-11 哈尔滨工业大学 混合视频编码标准中帧内预测方法
CN105306944B (zh) * 2015-11-30 2018-07-06 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
WO2017139937A1 (en) * 2016-02-18 2017-08-24 Mediatek Singapore Pte. Ltd. Advanced linear model prediction for chroma coding
JP6680260B2 (ja) 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
GB2571311B (en) * 2018-02-23 2021-08-18 Canon Kk Methods and devices for improvement in obtaining linear component sample prediction parameters
GB2571313B (en) 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
CN110012294B (zh) * 2019-04-02 2021-03-23 上海工程技术大学 一种用于多分量视频的编码方法及解码方法
CN110312136A (zh) * 2019-05-10 2019-10-08 同济大学 一种对多分量数据的编码和解码方法
WO2021110116A1 (en) * 2019-12-04 2021-06-10 Beijing Bytedance Network Technology Co., Ltd. Prediction from multiple cross-components
US11816868B2 (en) * 2020-08-14 2023-11-14 Tencent America LLC Coding of multiple-component attributes for point cloud coding
CN113489974B (zh) * 2021-07-02 2023-05-16 浙江大华技术股份有限公司 帧内预测方法、视频/图像编解码方法及相关装置
US11863775B2 (en) 2021-07-21 2024-01-02 Tencent America LLC Cross-component transform coefficient level reconstruction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785425B1 (en) * 1999-03-28 2004-08-31 Ramot At Tel-Aviv University Ltd. Method and system for compression of images
EP2036358A1 (en) * 2006-07-04 2009-03-18 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292372A (ja) * 2000-04-04 2001-10-19 Pioneer Electronic Corp 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体
CN101160972B (zh) * 2005-04-13 2010-05-19 汤姆逊许可公司 利用公共预测器的亮度和色度编码
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP4304639B2 (ja) * 2007-01-16 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
CN101335902B (zh) * 2007-06-25 2010-06-02 华为技术有限公司 视频编解码中的加权预测方法和装置
JP5214742B2 (ja) * 2008-01-21 2013-06-19 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 予測に基づく画像処理
US8331664B2 (en) * 2008-01-21 2012-12-11 Telefonaktiebolaget Lm Ericsson (Publ) Prediction-based image processing
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
KR101733735B1 (ko) * 2009-12-07 2017-05-08 에스케이 텔레콤주식회사 쌍예측을 이용한 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
JP5547301B2 (ja) * 2010-01-25 2014-07-09 トムソン ライセンシング 各色平面について別個のビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコード方法およびビデオ・デコード方法
EP3703369B1 (en) * 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
CN106231337B (zh) * 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
CN106067983B (zh) * 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101673027B1 (ko) * 2010-07-01 2016-11-04 에스케이 텔레콤주식회사 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
JP5134047B2 (ja) * 2010-07-23 2013-01-30 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
EP2898694B1 (en) * 2012-09-24 2019-06-19 Huawei Technologies Co., Ltd. Video compression with color space scalability
KR102245088B1 (ko) * 2013-04-08 2021-04-28 지이 비디오 컴프레션, 엘엘씨 성분-간 예측
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US20150382016A1 (en) * 2014-06-27 2015-12-31 Mitsubishi Electric Research Laboratories, Inc. Method for Processing Multi-Component Video and Images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785425B1 (en) * 1999-03-28 2004-08-31 Ramot At Tel-Aviv University Ltd. Method and system for compression of images
EP2036358A1 (en) * 2006-07-04 2009-03-18 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus

Also Published As

Publication number Publication date
JP2016539551A (ja) 2016-12-15
CN111526359B (zh) 2023-01-06
KR20220156106A (ko) 2022-11-24
EP3058730B8 (en) 2021-03-10
CN105723706A (zh) 2016-06-29
CN111526359A (zh) 2020-08-11
KR20190040083A (ko) 2019-04-16
US20160227210A1 (en) 2016-08-04
JP2019050588A (ja) 2019-03-28
JP7223045B2 (ja) 2023-02-15
KR20240128121A (ko) 2024-08-23
KR102695490B1 (ko) 2024-08-16
WO2015055832A1 (en) 2015-04-23
KR102207000B1 (ko) 2021-01-25
JP2021101541A (ja) 2021-07-08
JP6656147B2 (ja) 2020-03-04
US20200413046A1 (en) 2020-12-31
US11765342B2 (en) 2023-09-19
CN105723706B (zh) 2020-03-17
JP6841807B6 (ja) 2021-04-07
JP6841807B2 (ja) 2021-03-10
EP3058730A1 (en) 2016-08-24
US20190158826A1 (en) 2019-05-23
US10778968B2 (en) 2020-09-15
KR20210010644A (ko) 2021-01-27
JP2023065387A (ja) 2023-05-12
EP3846469A1 (en) 2021-07-07
KR101968236B1 (ko) 2019-08-20
US20230379454A1 (en) 2023-11-23
EP3058730B1 (en) 2020-12-02
US10230949B2 (en) 2019-03-12
KR102467057B1 (ko) 2022-11-14

Similar Documents

Publication Publication Date Title
JP7223045B2 (ja) マルチコンポーネント画像またはビデオ符号化のコンセプト
CN105409218B (zh) 解码器和解码方法
CN110087089B (zh) 用于颜色视频数据的视频编解码方法
JP2020114013A (ja) 符号化装置、復号装置、符号化方法、復号方法、及びプログラム
EP3217667A1 (en) Encoding method and decoding method
CN104247427A (zh) 使用分区编码的有效预测
JP7572473B2 (ja) マルチコンポーネント画像またはビデオ符号化のコンセプト
JP5370899B2 (ja) 動画像復号化方法及び動画像復号化装置
KR20150122690A (ko) 변이 움직임 벡터의 도출, 그러한 도출을 이용한 3d 비디오 코딩 및 디코딩

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right