KR101770317B1 - 성분-간 예측 - Google Patents

성분-간 예측 Download PDF

Info

Publication number
KR101770317B1
KR101770317B1 KR1020157031918A KR20157031918A KR101770317B1 KR 101770317 B1 KR101770317 B1 KR 101770317B1 KR 1020157031918 A KR1020157031918 A KR 1020157031918A KR 20157031918 A KR20157031918 A KR 20157031918A KR 101770317 B1 KR101770317 B1 KR 101770317B1
Authority
KR
South Korea
Prior art keywords
component
signal
prediction
component signal
image
Prior art date
Application number
KR1020157031918A
Other languages
English (en)
Other versions
KR20150140352A (ko
Inventor
퉁 뉘엔
알리 아테프 이브라힘 카이라트 압델하미드
데트레브 마르페
Original Assignee
지이 비디오 컴프레션, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지이 비디오 컴프레션, 엘엘씨 filed Critical 지이 비디오 컴프레션, 엘엘씨
Publication of KR20150140352A publication Critical patent/KR20150140352A/ko
Application granted granted Critical
Publication of KR101770317B1 publication Critical patent/KR101770317B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

제 2 성분에 대한 데이터 스트림으로부터 유도되는 보정 신호 및 복원된 제 1 성분 신호의 공간적으로 상응하는 부분으로부터 다-성분 화상의 제 2 성분에 관한 제 2 성분 신호의 복원은 다-성분 화상 콘텐츠의 더 광범위한 범위에 걸쳐 증가된 코딩 효율을 보장한다. 제 2 성분 신호의 복원 내에 복원된 제 1 성분 신호의 공간적으로 상응하는 부분을 포함함으로써, 가능하게는 우선 실행되는 성분 공간 변환에도 불구하고 여전히 존재하는 것과 같이 존재하거나, 또는 그러한 우선 실행되는 성분 공간 변환에 의해 도입되었기 때문에 존재하는 어떠한 나머지 성분-간 중복들/상관관계들도 예를 들면, 제 2 성분 신호의 성분-간 중복/상관관계 감소에 의해 쉽게 제거될 수 있다.

Description

성분-간 예측{INTER-COMPONENT PREDICTION}
본 발명은 루마(luma) 및 크로마(chroma) 사이와 같은 다-성분 화상 코딩(multi-component picture coding)에서의 성분-간 예측(inter-component prediction)에 관한 것이다.
이미지 및 비디오 신호 처리에 있어서, 색 정보는 일반적으로 R'G'B' 또는 Y'CbCr 같은 세 가지 성분으로 구성되는 색 공간 내에 주로 표현된다. 제 1 성분, Y'CbCr의 경우에 Y'은 흔히 루마로서 언급되고 나머지 두 개의 성분, Y'CbCr의 경우에 Cb 및 Cr 성분들 또는 평면(plane)들은 크로마로서 언급된다. R'G'B' 색 공간에 대한 Y'CbCr 색 공간의 장점은 주로 크로마 성분들의 잔류 특성들인데, 즉 크로마 성분들은 R'G'B' 같은 절대 색 공간들의 크로마 신호들과 비교하여 더 적은 에너지 또는 진폭을 포함한다. 특히 Y'CbCr을 위하여, 루마 성분은 이미지 또는 비디오의 그레이 스케일(grey scale) 정보를 나타내고 크로마 성분(Cb)은 각각 청색 원색에 대한 차이를 나타내고 Cr은 적색 원색에 대한 차이를 나타낸다.
이미지와 비디오 압축 및 처리의 적용 공간에 있어서, R'G'B'부터 Y'CbCr까지의 색 공간 변환이 서로 다른 색 성분들 또는 평면들 사이의 상관관계를 감소시키거나 또는 제거한다는 사실에 기인하여 Y'CbCr 신호들이 R'G'B'에 대하여 바람직하다. 상관관계 제거에 더하여, 더 적은 정보가 전송되어야만 하고, 따라서 색 변환은 또한 압축 접근법으로서 작용한다. 상관관계 제거 또는 감소에서의 그러한 처리는 높은 압축 효율을 가능하게 하나 일례로서 의미있는 양으로 복잡도를 유지하거나 또는 증가시킨다. 하이브리드 비디오 압축 전략은 흔히 Y'CbCr 입력을 위하여 디자인되는데 그 이유는 서로 다른 색 성분들 사이의 상관관계가 제거될 수 있거나 또는 감소될 수 있고 하이브리드 압축 전략들의 디자인들이 서로 다른 성분들의 개별 처리만을 고려해야만 하기 때문이다. 그러나, R'G'B'로부터 Y'CbCr로의 변환 및 그 반대의 변환은 무손실이 아니며, 따라서 정보, 즉 원래 색 공간 내에서 이용 가능한 샘플 값들이 그러한 색 변환 이후에 손실될 수 있다. 이러한 문제점은 원래 색 공간으로부터 그리고 다시 원래 색 공간까지 무손실 변환을 포함하는 색 공간들을 사용하여, 예를 들면, R'G'B' 입력을 가질 때 Y'CoCg 색 공간을 사용하여 방지될 수 있다. 그럼에도 불구하고, 고정된 색 공간 변환들은 적용에 의존하여 차선의 결과들에 이르게 할 수 있다. 이미지 및 비디오 압축을 위하여, 고정된 변환들은 색 평면들 사이에 높은 상관관계를 갖거나 또는 상관관계가 없이 높은 비트 레이트들과 비-자연적 신호들에 대하여 차선책이 된다. 두 번째 경우에, 고정된 변환은 서로 다른 신호들 사이의 상관관계를 도입할 수 있고, 첫 번째 경우에, 고정된 변환은 서로 다른 신호들 사이의 모든 상관관계를 제거하지 않을 수 있다. 게다가, 변환의 전역(global) 적용에 기인하여, 보정(correction)은 서로 다른 성분들 또는 평면들로부터 국부적으로(locally) 또는 심지어 전역으로 완전히 제거되지 않을 수 있다. 또 다른 문제점이 이미지 또는 비디오 인코더의 구조 내에 위치하는 색 공간 변환에 의해 도입된다. 일반적으로, 최적 과정은 흔히 입력 색 공간에 대하여 정의되는 거리 매트릭스인, 비용 함수를 감소시키려고 시도한다. 변환된 입력 신호들의 경우에, 부가적인 처리 단계들 때문에 원래 입력 신호를 위한 최적 결과를 달성하기가 어렵다. 그 결과, 최적 과정은 원래 입력 신호를 위한 것이 아닌 변환된 신호를 위한 최소 비용을 야기한다. 변환들이 흔히 선형이더라도, 최적화 과정에서의 비용 계산은 흔히 시그널링 오버헤드(signaling overhead)을 포함하고 최종 결정을 위한 비용은 그리고 나서 라그랑지안(Lagrangian) 공식에 의해 계산된다. 후자는 서로 다른 비용 값 및 서로 다른 최적화 결정에 이르게 할 수 있다. 색 변환 양상은 특히 중요한데 그 이유는 현대 이미지 및 비디오 디스플레이들이 일반적으로 콘텐츠 표현을 위하여 R'G'B' 색 구성을 사용하기 때문이다. 일반적으로, 변환들은 신호 내 또는 신호들 사이의 보정이 제거되어야만 하거나 또는 감소되어야만 할 대 적용된다. 그 결과, 색 공간 변환은 더 포괄적인 변환 접근법의 특별한 경우이다.
따라서, 훨씬 더 효율적인 다-성분 화상 코딩 개념을 갖는 것이, 즉 더 광범위한 범위의 다-성분 화상 콘텐츠에 걸쳐 더 높은 비트레이트들을 달성하는 것이 바람직할 수 있다.
따라서, 그러한 고효율의 다-성분 화상 코딩 개념을 제공하는 것이 본 발명의 목적이다.
본 발명의 목적은 첨부된 독립 청구항들의 주제에 의해 달성된다. 본 발명은 제 2 성분에 대한 데이터 스트림으로부터 유도되는 보정 신호 및 복원된 제 1 성분 신호의 공간적으로 상응하는 부분으로부터 다-성분 화상의 제 2 성분에 관한 제 2 성분 신호의 복원이 다-성분 화상 콘텐츠의 더 광범위한 범위에 걸쳐 증가된 코딩 효율을 보장한다는 사실을 기초로 한다. 제 2 성분 신호의 복원 내에 복원된 제 1 성분 신호의 공간적으로 상응하는 부분을 포함함으로써, 가능하게는 우선 실행되는 성분 공간 변환에도 불구하고 여전히 존재하는 것과 같이 존재하거나, 또는 그러한 우선 실행되는 성분 공간 변환에 의해 도입되었기 때문에 존재하는 어떠한 나머지 성분-간 중복들/상관관계들도 예를 들면, 제 2 성분 신호의 성분-간 중복/상관관계 감소에 의해 쉽게 제거될 수 있다.
본 발명의 일 실시 예에 따르면, 다-성분 화상 코덱은 코드 블록들, 예측 블록들, 잔류 블록들 및 변환 블록들의 유닛들에서 작동하는 블록 기반 하이브리드 비디오 코덱 운영으로서 구성되고, 성분-간 의존성은 데이터 스트림 내의 각각의 시그널링에 의해 잔류 블록들 및/또는 변환 블록들의 입상도(granularity)에서 온 및 오프로 스위칭된다. 시그널링을 소비하기 위한 부가적인 오버헤드는 코딩 효율 이득에 의해 과-보상되는데 그 이유는 성분-간 중복의 양이 화상 내에서 변경될 수 있기 때문이다. 본 발명의 일 실시 예에 따르면, 제 1 성분 신호는 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간(inter-view) 예측의 예측 잔류이고 제 2 성분 신호는 다-성분 화상의 제 2 성분의 시간적, 공간적 또는 시점-간(inter-view) 예측의 예측 잔류이다. 이러한 측정에 의해, 활용된 성분-간 의존성은 나머지 성분-간 번복들에 초점을 맞추며 따라서 성분-간 예측은 더 매끄러운 공간적 행동을 나타내는 경향이 있다.
일 실시 예에 따르면, 이후에 α로 표시되는, 복원된 제 1 성분 신호의 공간적으로 상응하는 부분이 제 2 성분 신호의 복원에 영향을 미치는 제 1 가중은 서브-화상 입상도에서 적응적으로 설정된다. 이러한 측정에 의해, 성분-간 중복(redundancy)의 화상-내 변이는 더 밀접하게 뒤따를 수 있다. 일 실시 예에 따르면, 고레벨 구문 요소 구조 및 서브-화상 입상도 제 1 가중 구문 요소의 조합은 서브-화상 입상도에서 제 1 가중을 시그널링하도록 사용되고, 고레벨 구문 요소 구조는 제 1 가중 구문 요소들의 미리 결정된 이진화의 가능한 빈 스트링(bin string)들의 도메인 세트로부터 제 1 가중의 가능한 값들의 공동 도메인 상으로의 매핑을 정의한다. 이러한 측정에 의해, 제 1 가중을 제어하기 위한 부가 정보에 대한 오버헤드는 낮게 유지된다. 적응은 순방향 적응적으로(forward adaptively) 수행될 수 있다. 구문 요소는 제로 주위에 대칭으로 분포되는 α를 위한 다수의 가중 값들 중 하나를 대칭적으로 인덱싱하는(index) 시그널링 가능한 상태들의 제한된 수를 갖는, 잔류 또는 변환 블록과 같이 블록 당 사용될 수 있다. 일 실시 예에서, 시그널링 가능한 상태들의 수는 제로를 포함하는 가중 값들의 수와 같지 않으며, 제로의 시그널링은 성분-간 예측의 비-사용을 시그널링하도록 사용되고 따라서 추가의 플래그는 쓸모없게 된다. 또한, 크기는 조건부로 시그널링된 부호 이전에 시그널링되고, 크기는 가중 값들의 수 상으로 매핑되며 만일 크기가 제로이면, 부호는 시그널링되지 않으며 따라서 시그널링화 비용들이 더 감소된다.
일 실시 예에 따르면, 보정 신호가 제 2 성분 신호의 복원에 영향을 미치는 제 2 가중은 서브-화상 입상도에서, 제 1 가중의 적응적 설정에 더하여 설정되거나, 또는 이에 대안으로서 설정될 수 있다. 이러한 측정에 의해, 성분-간 중복 감소의 적응성이 더 증가될 수 있다. 바꾸어 말하면, 일 실시 예에 따르면, 제 2 성분 신호를 복원하는데 있어서, 보정 신호 및 복원된 제 1 성분 신호의 공간적으로 상응하는 부분의 가중된 합계의 가중들은 서브-화상 입상도에서 설정될 수 있다. 가중된 합계는 적어도 화상 당, 일정한 스칼라 함수(scalar function)의 스칼라 인수로서 사용될 수 있다. 가중들은 국부적 이웃(local neighborhood)을 기초로 하여 역방향 구동 방식으로 설정될 수 있다. 가중들은 순방향 구동 방식으로 보정될 수 있다.
일 실시 예에 따르면, 보정 신호를 사용하여 복원된 제 1 성분 신호의 공간적으로 상응하는 부분으로부터 제 2 성분 신호의 복원이 사용되는 도메인은 공간 도메인이다. 대안으로서, 스펙트럼 도메인이 사용된다. 서브-화상 입상도에서 스위칭이 실행된다. 서브-화상 입상도에서, 복원된 제 1 성분 신호 및 보정 신호의 조합이 발생하는 도메인은 코딩 효율을 증가시킨다는 것이 밝혀졌다. 스위칭의 실행은 역방향 적응적 방식으로 또는 순방향 적응적 방식으로 수행될 수 있다.
일 실시 예에 따르면, 데이터 스트림 내의 구문 요소는 다-성분 화상의 성분들 내의 제 1 및 제 2 성분 신호들의 역할의 변경을 가능하게 하도록 사용된다. 구문 요소를 시그널링하기 위한 부가적인 오버헤드는 코딩 효율에서의 가능한 이득과 비교하여 낮다.
일 실시 예에 따르면, 제 2 성분 신호의 복원은 서브-화상 입상도에서, 복원된 제 1 성분 신호만을 기초로 하는 복원, 및 복원된 제 1 성분 신호와 다-성분 화상의 또 다른 성분의 또 다른 복원된 성분 신호 사이를 스위칭하도록 허용된다. 상대적으로 낮은 부가적인 노력으로, 이러한 가능성은 다-성분 화상의 성분들 사이의 잔류 중복들을 감소시키는데 있어서 유연성을 증가시킨다.
유사하게, 일 실시 예에 따르면, 데이터 스트림 내의 제 1 구문 요소는 전역으로 또는 증가된 범위 레벨에서, 복원된 제 1 성분 신호를 기초로 하여 제 2 성분 신호의 복원을 가능하게 하거나 또는 불가능하게 하도록 사용된다. 만일 가능하면, 데이터 스트림 내의 서브-화상 레벨 구문 요소들은 서브-화상 입상도에서 복원된 제 1 성분 신호를 기초로 하여 제 2 성분 신호의 복원을 적응시키도록 사용된다. 이러한 측정에 의해, 서브-화상 레벨 구문 요소들을 위한 부가 정보의 소비는 적용 경우들 또는 가능성이 코딩 효율 이득을 야기하는 다-성분 화상 콘텐츠들에서만 필요하다.
대안으로서, 가능성 및 불가능성 사이의 스위칭은 후방 구동 방식(backward-driven manner)으로 국부적으로 실행된다. 이러한 경우에 있어서, 제 1 구문 요소는 데이터 스트림 내에 존재하는 것조차 필요로 하지 않는다. 일 실시 예에 따르면, 예를 들면, 국부적 스위칭은 제 1 및 제 2 성분 신호들이 일치하거나, 또는 미리 결정된 양 이상 벗어나지 않는 공간 예측의 내부 예측 모드를 갖는 공간 예측의 예측 잔류들인지 여부를 확인하는 것에 의존하여 국부적으로 실행된다. 이러한 측정에 의해, 가능성 및 불가능성 사이의 국부적 스위칭은 비트레이트를 소모하지 않는다.
일 실시 예에 따르면, 데이터 스트림 내의 제 2 구문 요소는 데이터 스트림 내의 서브-화상 레벨 구문 요소들을 사용하여 순방향 적응적으로 서브-화상 입상도에서 복원된 제 1 성분 신호를 기초로 하는 제 2 성분 신호의 적응적 복원, 및 복원된 제 1 성분 신호를 기초로 하는 제 2 성분 신호의 복원의 비-적응적 실행 사이를 스위칭하기 위하여 사용된다. 제 2 구문 요소를 위한 시그널링 오버헤드는 복원의 비-적응적 실행이 이미 충분히 효율적인 다-성분 화상 콘텐츠를 위하여 서브-화상 레벨 구문 요소들을 전송하기 위한 오버헤드 방지의 가능성과 비교하여 낮다.
일 실시 예에 따르면, 성분-간 중복 감소의 개념은 3개의 크로마 성분 화상 상으로 전달된다. 일 실시 DP에 따르면, 루마 및 두 개의 크로마 성분이 사용된다. 루마 성분은 제 1 성분으로서 선택될 수 있다.
일 실시 예에 따르면, 복원된 제 1 성분 신호로부터 제 2 성분 신호의 복원을 적응시키기 위한 서브-화상 레벨 구문 요소는 골롬 라이스 코드(Golomb-rice code)를 사용하여 데이터 스트림 내에 코딩된다. 골롬 라이스 코드는 이진 산술 코딩의 대상일 수 있다. 골롬-라이스 코드의 서로 다른 빈(bin) 위치들을 위하여 서로 다른 컨텍스트(context)들이 사용될 수 있다.
일 실시 예에 따르면, 복원된 제 1 성분 신호로부터 제 2 성분 신호의 복원은 공간적 재스케일(re-scaling) 및/또는 복원된 제 1 성분 신호의 공간적으로 상응하는 부분 상의 비트 깊이 정밀 매핑을 포함한다. 공간적 재스케일링 및/또는 비트 깊이 정밀 매핑의 실행의 적응은 역방향 및/또는 순방향 적응적 방식으로 수행될 수 있다. 공간적 재스케일링의 적응은 공간 필터(spacial filter)의 선택을 포함할 수 있다. 비트 깊이 정밀 매핑의 실행의 적응은 매핑 함수의 선택을 포함할 수 있다.
일 실시 예에 따르면, 복원된 제 1 성분 신호로부터 제 2 성분 신호의 복원은 복원된 제 1 성분 신호의 공간적으로 저역 통과(low-pass) 필터링된 버전을 통하여 간접적으로 수행된다.
본 발명의 실시 예들의 바람직한 구현들이 종속항들의 대상이 된다.
도면들과 관련하여 본 발명의 바람직한 실시 예들이 아래에 설명된다.
도 1은 일 실시 예에 따른 다-성분 화상을 인코딩하도록 구성되는 인코더의 블록 다이어그램을 도시한다.
도 2는 일 실시 예에 따른 도 1의 인코더에 맞는 디코더의 블록 다이어그램을 도시한다.
도 3은 일 실시 예에 따른 화상 및 서로 다른 형태의 다양한 블록으로의 그 세분(subdivision)/분할(partitioning)을 개략적으로 도시한다.
도 4는 본 발명의 일 실시 예에 따르고 도 1과 2의 인코더와 디코더 내에 내장된 복원 모듈을 개략적으로 도시한다.
도 5는 두 개의 성분, 현재 성분-간 예측된 블록뿐만 아니라 제 1(기본) 성분 내의 공간적으로 상응하는 부분을 갖는 화상을 개략적으로 도시한다.
도 6은 일 실시 예에 따라 하나의 성분이 일정하게 기본(제 1) 성분으로서 역할을 하는 실시 예를 설명하기 위하여 세 가지 성분을 화상을 개략적으로 도시한다.
도 7은 일 실시 예에 따라 각각의 성분이 대안으로서 제 1(기본) 성분으로서 역할을 할 수 있는 세 가지 성분을 갖는 화상을 개략적으로 도시한다.
도 8은 성분-간 예측을 위한 도메인이 적응적으로 변경되는지에 따른 가능성을 개략적으로 도시한다.
도 9a는 성분-간 예측 파라미터를 시그널링하는 가능성을 개략적으로 도시한다.
도 9b는 도 9a의 실시 예를 더 상세히 도시한다.
도 9c는 도해의 목적을 위하여 도 9a와 9b가 관련된 성분-간 예측 파라미터의 적용을 개략적으로 도시한다.
도 10은 일 실시 예에 따른 순방향 적응적 성분-간 예측을 개략적으로 도시한다.
앞으로의 설명은 인코더의 실시 예의 상세한 설명 및 인코더에 적합한 디코더의 상세한 실시 예의 설명과 함께 시작하고, 이후에 일반적인 실시 예들이 제시된다.
도 1은 다-성분 화상(102)을 데이터 스트림(104) 내로 인코딩하도록 구성되는 인코더(100)를 도시한다. 도 1은 바람직하게는 세 개의 성분(106, 108 및 110)을 갖는 다-성분 화상(102)의 경우를 도시하나, 앞으로의 설명은 본 발명의 세 개의 성분 화상을 성분들(106 및 108)과 같은, 단지 두 개의 성분이 제시되는 실시 예로 이동함으로써 도 1의 설명으로부터 쉽게 유도될 수 있다는 것을 나타낼 것이다. 따라서 도 1에 도시된 인코더(100)의 소자들 중 일부는 파선을 사용하여 도시되고 어느 정도는 아래에 더 설명되는 것과 같이 더 일반화된 실시 예들과 관련하여 선택적 특징들이다.
원칙적으로, 도 1 및 이후에 설명되는 모든 실시 예의 인코더는 어떠한 형태의 "성분"과도 작용할 수 있다. 실제로, 다-성분 화상(102)은 그렇지 않으면 예를 들면, 타임 스탬프(time stamp), 시점 조건(view condition) 등과 관련된 조건들과 일치하는 다양한 성분들(106, 108 및 110)과 관련하여 공간적으로 장면(scene)을 샘플링하는 장면의 화상이다. 그러나, 아래에 더 설명되는 실시 예들의 이해를 편이하게 하기 위하여, 성분들(106, 108 및 110)은 모두 텍스처(texture)와 관련되고 예를 들면, 루마 및 크로마 성분들과 같은 색 성분들, 또는 어떠한 다른 색 공간의 색 성분들인 것으로 추정한다.
도 1의 인코더는 실질적으로 화상(102)의 각각의 성분들(106, 108 및 110)에 블록 기반 하이브리드 비디오 코딩을 개별적으로 적용하도록 구성되나, 성분-간 중복(redundancy)을 감소시키기 위하여 성분-간 예측을 사용한다. 성분-간 예측은 아래에 더 상세히 설명될 것과 같이 다양한 양상들과 관련된다.
따라서, 인코더(100)는 각각 성분(106, 108 및 110) 당, 각각의 성분(106, 108 및 110)이 도착하는 입력 사이에서 언급하는 순서로 직렬로 연결되는, 여기서는 바람직하게는 감산기(subtractor)로서 구현되는 예측 잔류 형성기(112), 변환기(transformer, 114) 및 양자화기(116)를 포함하고, 데이터 스트림 형성기(data stream former, 118)의 각각의 입력은 양자화된 계수들 및 아래에 더 상세히 언급되는 다른 코딩 파라미터들 데이터 스트림(104) 내로 멀티플렉싱하도록 구성된다. 예측 잔류 형성기(prediction residual former 112)의 비-반전(non-inverting) 입력이 화상(102)의 각각의 성분을 수신하도록 배치되는 동안에, 그것들의 인터리빙(감수(subtrahend)) 입력은 예측기(122)로부터 예측 신호(120)를 수신하고, 그 입력은 탈양자화기(124), 재변환기(126) 및 여기서는 바람직하게는 가산기(adder)로서 구현되는, 예측/잔류 결합기(128)의 시퀀스를 포함하는 복원 경로를 통하여 양자화기(116)의 출력에 연결된다. 예측/잔류 재결합기(126)의 출력이 예측(122)의 입력에 연결되고 제 1 입력이 재변환기(retransformer, 126)의 출력에 연결되는 동안에, 그것들의 또 다른 입력은 예측기(122)에 의해 출력되는 예측 신호(120)를 수신한다.
요소들(112, 114, 116, 124, 126, 128, 122 및 120)은 세 개의 개별 블록 기반 하이브리드 비디오 코딩 경로(130, 1302 및 1303)를 형성하기 위하여 각각의 성분들(106 내지 110)을 대하여 병렬 방식으로 인코더(100) 내에 존재한다. 지수들(1, 2 및 3)은 성분(106)과 관련된 지수(1), 성분(108)과 관련된 지수(2) 및 성분(110)과 관련된 지수(3)를 갖는 서로 다른 화상(102)의 성분들을 구별하도록 사용된다.
도 1에 도시된 실시 예에서, 성분(106)은 아래에 제공되는 설명으로부터 더 자명할 것과 같이 일종의 "기본 성분(base component)"을 표현한다. 그러나, 도 1에 설명되고 도시된 구성이 단지 아래에 더 상세히 설명되는 본 발명의 실시 예들의 원리들의 쉬운 이해를 위하여 선택되었다는 점에서 성분들(106 내지 108) 사이의 역할은 동일할 수 있다는 것을 이해하여야만 하고, 이는 또한 아래에 더 상세히 설명될 것이다. 어쨌든, 지금까지 설명된 경로들(1301 내지 1303)의 요소들(112, 114, 116, 124, 126, 128, 122 및 120)을 구별하기 위하여, 지수들은 또한 이러한 요소들과 관련하여 사용된다.
위에 제시된 설명으로부터 자명한 것과 같이, 도 1의 실시 예에서 성분들(106 및 110)은 "종속 성분(dependent component)들"을 표현하고 이러한 이유 때문에, 코딩 경로들(1301 내지 1303)을 위하여 이미 설명된 것들에 더하여 또 다른 요소들이 이러한 이미 설명된 요소들 사이에 연결된다. 특히, 공간 도메인 성분-간 예측 잔류 형성기(132)가 한편으로는 예측 잔류 형성기(112) 및 다른 한편으로는 변환기(114)의 입력 사이의, 비-반전 입력 및 그 출력에 의해 연결되고, 유사하게 공간-도메인 성분-간 예측 및 잔류 재결합기(134)는 한편으로는 재변환기(126) 및 다른 한편으로는 예측/잔류 재결합기(128) 사이에 연결된다. 도 1은 또한 그것의 비-반전 입력과 그 출력을 통하여, 변환기(114) 및 양자화기(116) 사이에 위치되는 것과 같은 스펙트럼 도메인 성분-간 예측 잔류 형성기(136)를 도시하고, 상응하는 스펙트럼 도메인 성분-간 예측/잔류 재결합기(138)는 한편으로는 탈양자화기(124) 및 다른 한편으로는 재변환기(126) 사이에 위치된다. 공간-도메인 성분-간 예측 형성기(132) 및 상응하는 재결합기(134)의 쌍은 그것의 또 다른 입력에서, 각각의 공간 도메인 성분-간 잔류 예측기(140)에 의해 제공되고, 유사하게 그와 관련된 재결합기(138)와 함께 스펙트럼 도메인 시점-간 예측 형성기(136)에 스펙트럼 도메인 성분-간 잔류 예측기(144)에 의해 제공되는 스펙트럼 도메인 잔류 예측 신호(142)가 제공된다. 그것의 입력 인터페이스에서, 예측기들(140 및 144)은 각각의 선행 코딩 경로들 중 어느 하나의 내부 노드(node)들과 연결된다. 예를 들면, 예측기(1402)는 예측 잔류 형성기(1241)의 출력에 연결되고, 예측기(1442)는 탈양자화기(124)의 출력에 연결되는 입력을 갖는다. 유사하게, 예측기들(1403 및 1443)은 각각 예측 잔류 형성기(1122) 및 탈양자화기(1242)의 출력에 연결되는 입력을 가지나, 부가적으로 예측기(1403)의 또 다른 입력이 예측 잔류 형성기(1121)의 출력에 연결되는 것으로서 도시되고 예측기(1443)의 또 다른 입력이 탈양자화기(1241)의 출력에 연결되는 것으로서 도시된다. 예측기들(140 및 144)은 이들에 의해 실행되는 성분-간 예측의 순방향 적응 제어를 구현하기 위한 예측 파라미터들을 선택적으로 발생시키는 것으로서 도시되고, 예측기들(140)에 의해 출력되는 파라미터들은 148로 표시되며, 예측기(144)에 의해 출력되는 파라미터들은 도면부호 148로 표시된다. 양자화기들(116)에 의해 출력되는 잔류 신호(150)가 수행하는 것과 같이, 예측기들(140 및 144)의 예측 파라미터들(146 및 148)은 예를 들면 무손실 방식으로 이러한 모든 데이터를 데이터 스트림(104) 내로 코딩하는, 데이터 스트림 형성기(118)에 의해 수신된다.
도 1의 인코더의 작동 방식을 아래에 더 상세히 설명하기 전에, 상응하는 디코더를 도시한 도 2가 참조된다. 실제로, 디코더(200)는 각각의 성분을 위하여 탈양자화기(124)로부터 예측기(122)로 확장하고 따라서 이러한 상응하는 요소들과 관련하여 100이 증가된 동일한 도면 부호들이 사용된다. 더 정확히 설명하면, 도 2의 디코더(200)는 디코더(200)의 데이터 스트림 추출기(218)의 입력에서 데이터 스트림(104)을 수신하도록 구성되고, 데이터 스트림(104)으로부터 잔류 신호들(1501 내지 1503) 및 예측 파라미터들(146 및 148)을 포함하는 모든 관련 코딩 파라미터를 추출하도록 구성된다. 도 1의 인코더와 상응하게, 도 2의 디코더(200)는 다-성분 화상의 성분 당 하나의 경로를 가지면서 병렬 디코딩 경로들(230) 내로 구성되고, 복원은 도면부호 202를 사용하여 표시되며 복원된 성분은 206, 208 및 210과 같은 각각의 디코딩 경로의 출력에서 출력된다. 양자화들에 의해, 복원은 원래 화상(102)으로부터 유도된다.
위에서 이미 설명된 것과 같이, 디코더(200)의 디코더 경로들(2301 내지 2303)은 실질적으로 그것들의 요소(124, 138, 126, 134, 128 및 122)를 포함하는, 인코더(100)의 코딩 경로들(1301 내지 1303)과 상응한다. 즉, "종속 성분들"(208 및 210)의 디코딩 경로들(2302 및 2303)은 한편으로는 데이터 스트림 추출기(218)의 각각의 출력 및 다른 한편으로는 각각의 성분(208 및 210)을 출력하기 위한 출력들 사이에서, 각각 언급되는 순서로 다-성분 화상(202)의 출력을 위하여 한편으로는 데이터 스트림 추출기(218) 및 다른 한편으로는 디코더(200)의 출력 사이에 연결되는 탈양자화기(224), 스펙트럼 도메인 성분-간 예측/잔류 재결합기(238), 역 변환기(226), 공간 도메인 성분-간 예측/잔류 재결합기(234) 및 예측/잔류 재결합기의 직렬 연결을 포함한다. 예측기(222)는 예측/잔류 재결합기(228)로부터 그것들의 또 다른 입력으로 다시 안내하는 피드백 루프 내로 연결된다. 각각의 공간 도메인 및 스펙트럼 도메인 성분-간 예측기들(240 및 244)에 의해 238 및 234의 또 다른 입력들이 제공된다. "기본 성분"(206)의 디코딩 경로(2301)는 요소들(238, 234, 244 및 240)이 존재하지 않는다는 점에서 다르다. 예측기(2443)는 탈양자화기(2242)의 출력에 연결되는 그것들의 입력 및 탈양자화기(2241)의 출력에 연결되는 또 다른 출력을 갖고, 예측기(2402)는 역 변환기(2262)의 출력에 연결되는 제 1 입력 및 역 변환기(2261)의 출력에 연결되는 또 다른 입력을 갖는다. 예측기(2442)는 탈양자화기(2241)의 출력에 연결되는 입력을 갖고, 예측기(2402)는 역 변환기(2261)에 연결되는 그것들의 입력을 갖는다.
도 1의 예측기들(1403 및 1402)은 단지 쉬운 설명을 위하여 공간 도메인 내의 기본 성분들의 아직 양자화되지 않은 잔류 신호들에 연결되는 것으로서 도시되었으나, 도 2로부터 자명한 것과 같이, 인코더와 디코더 사이의 예측 불일치들을 방지하기 위하여 도 1의 예측기들(1402 및 1403)은 대안으로서 그리고 바람직하게는 기본 성분들의 스펙트럼 도메인 잔류 신호들의 비-양자화된 버전 대신에, 각각 역 변환기들(1262 및 1261)의 출력들에 연결될 수 있다는 것에 유의하여야 한다.
인코더(100)와 디코더(200) 모두의 구조를 설명한 후에, 이후에 그것들의 작동 방식이 설명된다. 특히, 위에서 이미 설명된 것과 같이, 인코더(100) 및 디코더(200)는 다-성분 화상의 각각의 성분을 인코딩/디코딩하기 위하여 하이브리드 코딩을 사용하도록 구성된다. 실제로, 다-성분 화상(102)의 각각의 성분은 각각 서로 다른 색 성분과 관련하여 동일한 장면을 공간적으로 샘플링하는, 샘플 어레이 또는 화상을 표현한다. 성분들(106, 108 및 110)의 공간 해상도, 즉 각각의 성분과 관련하여 장면이 샘플링되는 스펙트럼 해상도는 성분마다 다를 수 있다.
위에 설명된 것과 같이, 다-성분 화상(102)의 성분들은 개별적으로 하이브리드 인코딩/디코딩의 대상이 된다. "개별적으로"는 성분들의 인코딩/디코딩이 서로 상관없이 완전하게 실행된다는 것을 반드시 의미하는 것은 아니다. 우선, 성분-간 예측은 성분들 사이의 중복들을 제거하고 부가적으로 성분들에 대해 일부 코딩 파라미터들이 통상적으로 선택될 수 있다. 도 3에서, 예를 들면 예측기들(122 및 222)이 코딩 블록들 내로의 화상(102)의 동일한 세분(subdivision)을 선택하는 것이 가정되나, 예측기들(122 및 222)에 의한 코딩 블록들 내로의 화상(102)의 성분 개별 세분이 또한 실현 가능하다. 코딩 블록들로의 화상(102)의 세분은 고정될 수 있거나 또는 데이터 스트림(104) 내에 시그널링될 수 있다. 후자의 경우에, 세분 정보는 예측기(122)에 의해 데이터 스트림 형성기(118)에 출력되고 도면부호 154를 사용하여 표시되는, 예측 파라미터들의 일부분일 수 있고, 데이터 스트림 추출기(218)는 세분 정보를 포함하는 이러한 예측 파라미터들을 추출하고 이를 예측기(222)에 출력한다.
도 3은 바람직하게는 코딩 블록들 또는 코드 블록들로의 화상(102)의 세분이 2단계 과정에 따라 실행될 수 있다는 것을 도시한다. 다-성분 화상(102)이 먼저 트리 루트 블록(tree root block)들로 규칙적으로 세분되고, 이것의 윤곽이 도 3에 이중 선들(300)을 사용하여 표시되며, 그 뒤에 각각의 트리 루트 블록(302)을 코드 블록들(304)로 세분하기 위하여 재귀(recursive) 멀티-트리 세분화를 적용하며, 이것의 윤곽이 간단한 연속적인 선들(306)을 사용하여 도 3에 도시된다. 따라서, 코드 블록들(304)은 각각의 트리 루트 블록(302)의 재귀 멀티-트리 세분화의 리프 블록(leaf block)들을 표현한다. 가능하게는 데이터 스트림(104) 내에 포함된 앞서 언급된 세분 정보(성분들을 위하여 공통으로, 또는 성분들을 위하여 개별적으로)는 코드 블록들(304) 내로의 각각의 트리 루트 블록(302)의 세분을 시그널링하도록 각각의 트리 루트 블록(302)을 위한 멀티-트리 세분 정보 및 선택적으로 행과 열로 트리 루트 블록들(302)의 규칙적인 배치 내로의 화상(102)의 세분을 제어하고 시그널링하는 세분 정보를 포함할 수 있다.
코드 블록들(304)의 유닛들에서, 예를 들면 예측기들(122 및 222)은 각각 인코더(100)와 디코더(200)에 의해 지원되는 복수의 예측 모드 사이에서 다양하다. 예를 들면, 예측기들(1221 내지 1223)은 코드 블록들을 위한 예측 모드들을 개별적으로 선택하고 예측 파라미터들(1541 내지 1543)을 통하여 예측기들(2223)에 선택을 표시한다. 이용 가능한 예측 모드들은 시간적 및 공간적 예측 모드들을 포함한다. 시점-간 예측 모드 등과 같은, 다른 예측 모드들이 또한 지원될 수 있다. 듀얼-트리(dual-tree) 세분화와 같은 재귀 멀티-트리 세분화를 사용하여, 코드 블록들은 예측 블록들(308) 내로 더 세분될 수 있고, 이것들이 윤곽이 쇄선들을 사용하여 도 3에 표시된다. 각각의 재귀 세분 정보는 각각의 코드 블록을 위한 예측 파라미터들(1541 내지 1543) 내에 포함될 수 있다. 대안의 실시 예에서, 예측 모드들의 선택은 예측 블록들의 입상도(granularity)에서 실행된다. 유사하게, 각각의 코드 블록(304)은 듀얼 트리 세분화와 같은 재귀 멀티-트리 세분화를 사용하여 잔류 블록들(312)로 더 세분될 수 있고, 이들의 윤곽들이 도 3의 일점쇄선(314)을 사용하여 표시된다. 따라서 각각의 코드 블록(304)은 예측 블록들(308) 및 잔류 블록들(312)로 동시에 분할된다. 잔류 블록들(312)은 선택적으로 변환 블록들(316) 내로 더 세분될 수 있고, 이들의 윤곽은 도 3의 이점쇄선(318)들로 표시된다. 대안으로서, 변환 및 잔류 블록들은 동일한 엔티티들을 형성하는데, 즉 잔류 블록들은 변환 블록들이고 반대도 마찬가지이다. 바꾸어 말하면, 잔류 블록들은 대안의 실시 예에 따라 변환 블록들과 일치할 수 있다. 잔류 블록 및/또는 변환 블록 관련 세분 정보는 예측 파라미터들(154) 내에 포함될 수 있거나 또는 포함되지 않을 수 있다.
각각의 코드 블록 또는 예측 블록과 관련된 예측 모드에 따라, 각각의 예측 블록(308)은 각각의 예측 블록들(308) 내의 예측을 적절하게 제어하기 위하여 예측기들(1221 내지 1223)에 의해 적절하게 선택되고 파라미터 정보(1541 내지 1543) 내로 삽입되며 예측기들(2221 내지 2223)에 의해 사용되는, 그것들과 관련된 각각의 예측 파라미터들을 갖는다. 예를 들면, 그것들과 관련된 시간적 예측 모드를 갖는 예측 블록들(308)은 그것들과 관련된 움직임 보상된 예측을 위한 움직임 벡터(motion vector) 및 선택적으로 움직임 벡터에 의해 표시되는 변위(displacement)로 각각의 예측 블록(308)의 예측이 유도되는/복사되는 기준 화상을 나타내는 기준 화상 지수(reference picture index)를 가질 수 있다. 공간적 예측 모드의 예측 블록들(308)은 예측 정보(1511 내지 1543) 내에 포함되는, 그것들과 관련된 공간적 예측 방향을 가질 수 있고, 후자는 각각의 예측 블록의 이미 복원된 주변이 각각의 예측 블록 내로 공간적으로 외삽되는(extrapolated) 방향을 나타낸다.
따라서, 예측 모드들과 예측 파라미터들을 사용하여, 예측기들(122 및 222)은 각각의 성분들을 위한 예측 신호(1201 내지 1203)을 유도하고, 각각의 성분들을 위하여 이러한 예측 신호는 잔류 신호(1561 내지 1563)를 사용하여 수정된다. 이러한 잔류 신호들은 변환 코딩의 사용에 의해 코딩된다. 즉, 변환기들(1141 내지 1143)은 이산 코사인 변환(DST), 이산 사인 변환(DST) 등과 같이, 개별적으로 각각의 변환 블록(116) 상으로 변환, 즉 스펙트럼 분해를 실행하고, 역 변환기들(226)은 변환 블록들(308)을 위하여 개별적으로 가역하는데, 즉 예를 들면 역 이산 코사인 변환(IDCT) 또는 역 이산 사인 변환(IDST)을 실행한다. 즉, 인코더(100)가 관련되는 한, 변환기들(114)은 예측 잔류 형성기들(112)에 의해 형성되는 것과 같은 아직 양자화되지 않은 잔류 신호 상으로의 변환을 실행한다. 역 변환기들(126 및 226)은 허프만(Huffman) 또는 산술 코딩과 같은 무손실 방식으로, 데이터 스트림 형성기(118)에 의해 데이터 스트림 내로 삽입되고 데이터 스트림 추출기(218)에 의한 허프만 또는 산술 코딩을 사용하여 그것으로부터 추출되는, 각각의 성분의 양자화된 잔류 신호(150)를 기초로 하여 스펙트럼 분해를 가역한다.
그러나, 예측 신호(2201 내지 2203)가 예측/잔류 재결합기들(2281 내지 2283)에서 수정되는 것을 이용하여 잔류 신호(2561 내지 2563)를 위한 데이터 비율을 낮추기 위하여, 인코더들(100 및 200)은 성분들의 잔류 신호의 코딩과 관련하여 성분-간 예측을 지원한다. 아래에 더 상세히 설명될 것과 같이, 본 발명의 실시 예들에 따라, 잔류 신호의 코딩을 위한 성분-간 예측은 켜지고 꺼질 수 있거나 및/또는 잔류 블록들 및/또는 변환 블록들의 입상도에서 순방향 및/또는 역방향 적응적으로 조정될 수 있다. 만일 꺼지면, 예측기들(144 및 240)에 의해 출력되는 성분-간 예측 신호들은 제로이고 모든 성분의 잔류 신호들(2561 내지 2563)은 단지 그것의 각각의 잔류 신호(1501 및 1503) 내에 포함된 양자화된 변환 계수들로부터 유도된다. 그러나, 만일 켜지면, 종속 성분들이 관련되는 한, 즉 성분-간 예측을 사용하여 잔류 신호들(2562 및 2563)이 코딩/디코딩되는 한, 성분-간 중복들/상관관계들은 제거된다. 성분-간 예측 소스로서 역할을 하는 기본(제 1) 성분은 성분-간 예측이 관련되는 한, 변하지 않은 채로 남는다. 어떻게 수행되는지가 아래에 설명된다.
당분간, 예측기들(140, 144, 240 및 244)에 의해 실현되는 성분-간 중복 감소의 설명은 각각 성분들(106과 108 및 206과 208) 사이의 성분-간 중복 감소에 초점을 맞춘다. 그리고 나서, 이해의 편이를 위하여, 도 1과 2에 도시된 세 개의 성분의 경우로 설명이 확장된다.
아래의 설명으로부터 자명해질 것과 같이, 아래에 설명되는 실시 예들은 특히 절대 크로마 성분들 또는 평면들의 입력으로서 역할을 하는 경우에, 예를 들면 크로마 성분들의 잔류 특성을 이용한다. 예를 들면 루마/크로마 색 공간의 성분들을 표현하는 도 1과 2의 세 개의 성분의 경우에, 성분(1056/206)은 예를 들면 루마 성분일 수 있으나, 성분들(108/208 및 110/210)은 청색 또는 적색 관련 크로마 성분들과 같은, 크로마 성분들이다. 원래 입력 공간에 대하여 정의되는 왜곡 계산을 유지함으로써, 아래에 설명되는 실시 예들은 더 높은 충실도(fidelity)를 가능하게 한다. 바꾸어 말하면, 도 2의 디코더와 함께 도 1의 인코더는 예를 들면 미리 실행되는 어떠한 색 공간 변환이 없는 것과 같이 원래의 다-성분 화상의 입력을 가능하게 한다. 도 1과 2의 실시 예들에 의해 달성 가능한 코딩 효율은 입력 색 공간에 의존하지 않는데, 즉 성분-간 중복 제거를 실행하기 위하여 아래에 설명되는 실시 예들은 Y'CbCr 입력(106 내지 110)을 위한 부가적인 상관관계 제거, 및 R'G'B' 입력(106 내지 110)의 경우에 색 변환으로서 작용한다. 부가적으로, 아래에 더 설명되는 실시 예들은 국부적으로 성분들 또는 평면들 사이의 중복 감소를 적용하는데, 즉 인코더(100)는 이미지/화상(102) 또는 비디오의 각각의 영역을 위하여, 잔류 신호들을 포함하는 평면-간/성분-간 예측이 적용되는지 적용되지 않는지를 결정한다. 그러나, 다시 본 발명의 실시 예들은 색 성분들 또는 평면들에만 한정되지 않고, 여기에 설명되는 기술들은 또한 두 개 이상의 평면의 잔류들이 상관관계로 구성되는 일반적인 평면들/성분들에 적용될 수 있다는 것을 이해하여야 한다. 예를 들면, 본 발명에서 설명되는 실시 예들은 스케일러블(scalable) 비디오 압축 전략으로 서로 다른 층들로부터 평면들에 적용될 수 있다. 예측의 꼭대기에,성분들 또는 평면들의 처리 순서는 예를 들면 비트 스트림 내의 성분 순서를 시그널링하는 구문 요소에 의한 것과 같이, 국부적으로 변경될 수 있다. 이러한 대안이 또한 아래에 설명된다.
도 1 및 2와 관련하여, 하이브리드 블록 기반 이미지 및 비디오 압축 전략이 도시되는데, 예측기들(122/222)에 의해 실행되는 예측이 로그 기반으로 실행되고 인코딩 측이 관련되는 한 변환기들(114), 양자화기들(116), 데이터 스트림 삽입기(data stream inserter, 118, 및 디코딩 측이 관련되는 한 역 변환기(226)와 탈양자화기(224)뿐만 아니라 데이터 스트림 추출기(218)가 기여하는 변환 코딩은 예측 오차, 즉, 잔류로서 언급되는, 예측 잔류 형성기들(112)의 출력에 적용된다.
용어 블록은 아래에서 일반적인 직사각형 형태를 설명하는 것으로서 이해되어야만 하는데, 즉 블록은 직사각형 형태를 가질 수 있다는 것에 유의하여야 한다.
다음에 설명되는 실시 예들에서, 인코더는 각각의 예측 블록(308) 또는 변환 블록(304)을 위한 클레임(claim)간/성분-간 예측의 적용을 결정한다.
그러나, 중간 설명으로서, 본 발명의 실시 예들은 평면-간/성분-간 예측이 공간적으로, 시간적으로 및/또는 시점-간 예측 신호의 예측 잔류에 적용되는, 도 1 및 2와 관련하여 설명되는 경우에 한정되지 않는 것이 여기에 제안된다. 이론적으로, 여기에 제시되는 실시 예들은 평면-간/성분-간 예측이 성분들의 샘플 상에 직접적으로 실행되는 경우 상에 유사하게 전달될 수 있다. 바꾸어 말하면, 예측 자체가 생략될 때, 입력 신호의 원래 샘플들은 나머지 설명을 위한 잔류로 언급되거나 또는 처리되어야만 한다.
각각의 잔류 블록(312, 또는 직사각형 형태)을 위하여, 일 실시 예에 따라, 구문 요소는 데이터 스트림(104) 내에 전송되고, 구문 요소는 예측기들(140, 144, 240, 244)에 의한 평면-간/성분-간 예측이 사용되어야만 하는지를 나타낸다.
또한, 도 3에 도시된, H.265/EVC 같은 비디오 압축 전략의 경우에, 인코더는 일 실시 예에 따라, 각각의 변환 블록(316) 또는 심지어 변환 블록들의 그룹을 위하여 평면-간/성분-간 예측의 사용 또는 비-사용을 지정하는 방금 언급된 구문 요소를 전송할 수 있다. 그룹핑, 즉 시그널링 레벨은 적응적으로 선택될 수 있고 그러한 그룹핑 결정은 데이터 스트림의 헤더(header) 내에서와 같은, 비트/데이터 스트림(104) 내의 또 다른 구문 요소로서 전송될 수 있다는 것에 유의하여야 한다. 가장 높은 시그널링 레벨에서 평면-간-성분-간 예측의 사용 또는 비-사용은 코딩 유닛 또는 코딩 블록(304), 코딩 블록들(304)의 그룹, 또는 전체 이미지 또는 프레임을 위하여 선택될 수 있다.
달리 설명하면, 도 4가 참조된다. 도 4는 몇몇 부분들에서, 즉, 다음의 쌍 당 도 1과 2에 도시된 실시 예들에서 구현되는 복원 모듈(400)을 도시한다:
- 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1561)의 형태로 x를 수신하고, 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1562)의 형태로 y를 수신하며, 잔류 신호(1562)를 대체하는 잔류 신호(156'2)로서 z를 출력하는, 공간 도메인 성분-간 예측기(1402) 및 관련 공간 도메인 성분-간 예측/잔류 재결합기(1342).
- 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1701)의 형태로 x를 수신하고, 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1702)의 형태로 y를 수신하며, 잔류 신호(1702)를 대체하는 잔류 신호(170'2)로서 z를 출력하는, 스펙트럼 도메인 성분-간 예측기(1442) 및 관련 스펙트럼 도메인 성분-간 예측/잔류 재결합기(1382).
- 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1561) 또는 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1562)의 형태(또는 그것들의 어떠한 조합 또는 그것들 둘 모두)로 x를 수신하고, 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1563)의 형태로 y를 수신하며, 잔류 신호(1563)를 대체하는 잔류 신호(156'3)로서 z를 출력하는, 공간 도메인 성분-간 예측기(1403) 및 관련 공간 도메인 성분-간 예측/잔류 재결합기(1343).
- 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1701) 또는 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1702)의 형태(또는 그것들의 어떠한 조합 또는 그것들 둘 모두)로 x를 수신하고, 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1703)의 형태로 y를 수신하며, 잔류 신호(1703)를 대체하는 잔류 신호(170'3)로서 z를 출력하는, 스펙트럼 도메인 성분-간 예측기(1443) 및 관련 스펙트럼 도메인 성분-간 예측/잔류 재결합기(1383).
- 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(2561)의 형태로 x를 수신하고, 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(2562)의 형태로 y를 수신하며, 잔류 신호(2562)를 대체하는 잔류 신호(256'2)로서 z를 출력하는, 공간 도메인 성분-간 예측기(2402) 및 관련 공간 도메인 성분-간 예측/잔류 재결합기(2342).
- 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2701)의 형태로 x를 수신하고, 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2702)의 형태로 y를 수신하며, 잔류 신호(2702)를 대체하는 잔류 신호(270'2)로서 z를 출력하는, 스펙트럼 도메인 성분-간 예측기(2442) 및 관련 스펙트럼 도메인 성분-간 예측/잔류 재결합기(2382).
- 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1561) 또는 또는 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(2562)의 형태(또는 그것들의 어떠한 조합 또는 그것들 둘 모두)로 x를 수신하고, 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(2563)의 형태로 y를 수신하며, 잔류 신호(2563)를 대체하는 잔류 신호(256'3)로서 z를 출력하는, 공간 도메인 성분-간 예측기(2403) 및 관련 공간 도메인 성분-간 예측/잔류 재결합기(2343).
- 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2701)의 형태 또는 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2702)의 형태(또는 그것들의 어떠한 조합 또는 그것들 둘 모두)로 x를 수신하고, 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2703)의 형태로 y를 수신하며, 잔류 신호(2703)를 대체하는 잔류 신호(270'3)로서 z를 출력하는, 스펙트럼 도메인 성분-간 예측기(2443) 및 관련 스펙트럼 도메인 성분-간 예측/잔류 재결합기(2383).
이러한 도 1과 2에서의 모든 경우에서, 그 뒤에 더 상세히 설명되는 평면-간/성분-간 예측이 실행되고, 이러한 경우들 중 어떠한 경우에서도 도 1과 2의 실시 예들은 도 4의 더 일반화된 평면-간/성분-간 예측 모듈(400)에 의해 수정될 수 있다. 단지 일부 경우들만이 실제로 사용될 수 있다는 것에 유의하여야 한다.
도 4에 도시된 것과 같이, 평면-간/성분-간 예측 모듈(400) 또는 복원 모듈(400)은 두 개의 입력과 하나의 출력을 가지며 선택적으로 인코더 및 디코더 측 사이를 시그널링하는 예측 파라미터를 사용한다. 제 1 입력은 "x"로 표시되고 경계 내에(inbound) 복원된 제 1 성분 신호를 표현하며 이를 기초로 하여 제 2 성분을 위한 평면-간/성분-간 중복 감소가 복원 모듈(400)에 의해 실행된다. 이러한 복원된 제 1 성분 신호(402)는 도 1과 2에 도시된 것과 같이, 현재 공간적 또는 스펙트럼 도메인 내의 평면-간/성분-간 중복 감소의 대상이 되는 제 2 성분의 부분에 공동 위치된, 제 1 성분의 부분을 위한 데이터 스트림으로부터 추출되는 것과 같은 전송된 잔류 신호일 수 있다.
복원 모듈(400)의 나머지 신호(404)는 "y"로 표시되고 신호(402)와 동일한 도메인, 즉 스펙트럼 또는 공간 도메인 내의 모듈(400)에 의해 현재 평면-간/성분-간 중복 감소의 대상이 되는, 제 2 성분의 부분의 전송된 전류 신호를 표현한다. 복원 모듈(400)은 다시 성분 신호(406)가 복원 모듈(400)의 메인 출력(main output)을 표현하는, 동일한 도메인 내의, 도 4에서 "z"로 표현되는, 제 2 성분 신호(406)를 복원하고, 적어도 x를 대체함으로써 다-성분 화상의 종속 성분을 복원하는데 참여한다. "적어도"는 도 1과 2에 도시된 것과 같이, 복원 모듈(400)에 출력된 성분 신호(406)가 예측 잔류를 표현할 수 있고, 따라서 여전히 각각의 종속 성분(i)의 예측 신호(154)와 결합되어야만 한다는 것을 의미한다.
인코더와 디코더의 다른 모듈들과 같이, 복원 모듈(400)은 블록 기반 상에서 작동한다. 블록 기반 상의 작동은 예를 들면, 복원 모듈(400)에 의해 실행되는 성분-간 중복 감소 가역(inter-component redundancy reduction reversal)의 블록 방식(block wise) 적응에서 나타날 수 있다. "블록 방식 적응"은 선택적으로, 데이터 스트림 내의 예측 파라미터들(146/148)의 분명한 시그널링을 포함할 수 있다. 그러나, 성분-간 중복 감소의 제어를 위한 파라미터들의 역방향 적응적 설정이 또한 실현 가능하다. 즉, 도 4를 참조하면, 디코더 내로 구성되는 복원 모듈(400)의 경우에 있어서, 예측 파라미터들은 복원 모듈로 들어가고 따라서 그것들의 또 다른 입력을 표현하나, 반면에 인코더 내로 구성되는 복원 모듈(400)의 경우에 있어서, 예측 파라미터들은 예를 들면 레노버 서비스 엔진 최적화(LSE optimization) 문제점의 해결을 포함하는 아래에 예시된 방식으로 내부적으로 결정된다.
아래에 더 상세히 설명될 것과 같이, 복원 모듈(400은 예를 들면, z가 φ(αx+β+γy)로서 표현 가능한 것과 같은 방식으로 작동할 수 있다. α, β 및 γ는 가능한 성분-간 예측 파라미터들이다. 각각의 α, β 및 γ를 위하여, 모두 상수이고, 따라서 역방향 및 순방향 적응적으로 변경되지 않거나, 역방향 적응적으로 변경되고 이에 따라 데이터 스트림의 일부를 형성하지 않거나, 또는 순방향 적응적으로 변경되고 데이터 스트림 내에 시그널링되는 것은 사실일 수 있다. 도 5는 제 1 성분(106)으로부터 제 2 성분(108)으로의 성분-간 예측의 바람직한 경우를 위하여 이를 도시한다. 특히 아래에 설명되는 실시 예들에서, z=αx+β+γy가 되기 위한 방식으로 작동이 촉진된다.
도 5는 제 2 성분(108)의 현재 복원되는 부분 또는 블록을 도시한다. 도 5는 또한 제 1 성분(106)의 공간적으로 상응하는 부분/블록(442), 즉 화상(10) 내에 공간적으로 공동 위치되는 부분을 도시한다. 공동 위치되는 블록들(440 및 442)에 대한 성분들(106 및 108)을 위하여 모듈(400)이 수신하는 입력 신호들(402 및 404)은 도 1 및 2와 관련하여 설명된 것과 같이, 데이터 스트림 내의 성분들(106 및 108)을 위하여 전송된 것과 같은 잔류 신호들을 표현할 수 있다. 제 2 성분(108)과 관련하여, 모듈(400)은 z를 계산한다. 블록(440)과 같은 각각의 블록을 위하여, 파라미터들(α, β 및 γ, 또는 단지 그것들의 서브셋)은 아래에 예시되는 방식으로 적응된다.
특히, 블록(440) 같은 주어진 블록을 위하여, 성분-간 예측이 실행되는지 아닌지에 대하여, 구문 요소에 의해 데이터 스트림 내에 시그널링될 수 있다. 켜진(switched-om) 성분-간 예측의 경우에서 파라미터들(α, β 및 γ)은 단지 가능한 예들만을 표현한다. 성분-간 예측이 적용되는 블록(440)을 위하여, 예측 모드는 데이터 스트림 내에 시그널링될 수 있고, 예측 소스(prediction source)는 데이터 내에 시그널링될 수 있으며, 예측 도메인은 데이터 스트림 내에 시그널링될 수 있으며 앞서 언급된 파라미터들과 관련된 파라미터들은 데이터 스트림 내에 시그널링될 수 있다. "예측 모드", "예측 소스", "예측 도메인" 및 "관련 파라미터들"은 아래의 설명으로부터 자명해질 것이다. 지금까지 설명된 실시 예들에서, 성분-간 예측은 잔류 신호들 상에 작동한다. 즉, x 및 y는 데이터 스트림 내에 전송된 것과 같은 예측 잔류들이었고 둘 모두 하이브리드 예측의 예측 잔류들을 표현한다. 또한 이에 설명된 것과 같이, x 및 y는 위에 설명된 것과 같은 변환 코딩을 사용하는 바람직한 경우에 공간 도메인 또는 주파수 도메인 내의 예측 잔류들일 수 있다. 인코더 또는 디코더의 단계에서 예측의 적용은 몇몇 장점을 갖는다. 우선, 부가적인 메모리가 일반적으로 필요하지 않고, 두 번째로 성분-간 예측이 국부적으로, 즉 디코더 관점으로부터 과정을 통과한 후에 부가적인 중간 단계의 도입 없이 실행될 수 있다. 예측 도메인을 구별하기 위하여, 비트 스트림 내에 또 다른 구문 요소가 전송될 수 있다. 즉, 후자의 또 다른 구문 요소는 성분-간 예측 도메인이 공간 도메인 또는 스펙트럼 도메인인지를 나타낼 수 있다. 전자의 경우에, x, y 및 z는 공간 도메인 내에 존재하고, 후자의 경우에 x, y 및 z는 스펙트럼 도메인 내에 존재한다. 디코더 관점에서, 잔류는 비트 스트림으로부터 복원되고 양자화 단계 이전에 인코더 내에서 발생된 것들과 다를 수 있다는 것에 유의하여야 한다. 그러나, 본 발명의 실시 예를 구현하는 인코더 내의 예측 소스로서 이미 양자화되고 복원된 잔류를 사용하는 것이 바람직하다. 또한, 변환 단계를 생략하는 경우에, 공간 및 주파수 도메인 내의 성분-간 예측은 정확하게 동일하다. 그러한 구성을 위하여, 예측 도메인, 즉 공간 또는 주파수 도메인의 시그널링이 생략될 수 있다.
앞서 언급된 "예측 모드들"에 관한 한, 이들은 아핀(affine), 선형, 비-선형 또는 더 복잡할 수 있다. 첫 번째의 경우에, 예측기는 위에 이미 설명된 것으로서 기술될 수 있는데, 즉 z=φ(αx+β+γy)이고 z는 복원된 잔류 신호 또는 샘플이고, x는 예측 소스 신호로부터의 샘플들을 포함하는 벡터이며, α, β 및 γ는 모델 파라미터들이며, y는 현재 신호, 즉 디코더 측으로부터의 과거 잔류 신호로부터 샘플링하며, φ는 일부 선형 또는 비-선형 함수일 수 있다.
가능한 한 간단하게 처리 체인(processing chain)을 유지하기 위하여, 일 실시 예의 구성은 루마 성분과 같은 제 1 성분의 처리를 변경되지 않은 채로 유지할 수 있고 성분 잔류 신호들을 위한 예측기로서 루마 복원된 잔류 신호를 사용할 수 있다. 이는 가능한 예측 구성이고 그러한 간단한 예측 소스는 변환 샘플들을 발생시키기 위하여 입력 신호 세 개의 성분 또는 평면 모두가 필요한, 일반적인 변환 접근법을 단순화한다는 것을 이해하여야 한다.
또 다른 가능한 구성은 예측 소스를 적응적으로 하도록 하는, 이미 이용 가능하거나 또는 각각 복원된 잔류 성분들 모두의 잔류 신호가 예측을 위하여 사용되는 시그널링하는 것이다. 대안으로서, 처리 순서는 국부적으로 바뀔 수 있는데, 예를 들면 제 2 성분이 먼저 복원되고 나머지 성분들을 위한 예측 소스로서 사용된다. 그러한 구성은 전단(bijective)(또는 거의 가역) 예측기를 사용하는 두 성분 사이의 델타는 동일하나, 가역 부호로 예측 소스의 코딩을 위한 절대 비용은 다르다는 사실을 이용한다. 게다가, 몇몇 예측 소스들의 조합이 가능하다. 이러한 경우에 있어서, 조합 가중치들은 비트 스트림 내에 전송될 수 있거나 또는 이용 가능하거나 또는 각각의 코딩된 이웃들의 통계를 사용하여 역방향 구동(backward-driven)으로 추정될 수 있다.
모델 파라미터들의 사양은 역방향 구동 추정과 순방향 시그널링화(signalization)로 구성되는 역방향 구동으로 실행될 수 있거나, 또는 데이터 스트림 내에 완전히 순방향 시그널링화될 수 있다. 일 실시 DP의 구성은 인코더와 디코더에서 모두 알려져 있고 각각의 블록 또는 형상을 위하여 디코더에 설정 지수를 시그널링하는, 모델 파라미터들의 고정된 설정을 사용하는 것이다. 또 다른 구성은 특정 수의 블록 또는 형상 이후에 예측기들의 순서가 변경되는 동적 설정(dynamic set) 또는 리스트를 사용하는 것이다. 그러한 접근법은 소스 신호로의 더 높은 국부적 적응을 가능하게 한다. 예측 모드, 예측 소스, 예측 도메인 및 파라미터 시그널링에 대한 더 상세한 예가 아래에 설명된다.
예측 모드와 관련하여, 다음과 같이 설명될 수 있다.
예측 모드는 아핀, 비-선형 또는 스플라인(splines) 또는 서포트 벡터 회귀(support vector regression) 같은 접근법들에 의해 실현되는 더 복잡한 함수일 수 있다.
색 공간 변환들은 대부분 모든 이용 가능한 입력 성분을 사용하는 선형이라는 것에 유의하여야 한다. 즉, 색 공간 변환은 세 개의 색 성분의 세 개의 성분 벡터를 또 다른 색 공간의 또 다른 세 개의 성분의 또 다른 벡터 상에 매핑하는 경향이 있다. 인코더와 디코더는 본 발명의 일 실시 예에 따라, 입력 색 공간으로부터 독립적으로 작동하고, 따라서 루마 성분은 예측 소스를 형성하기 위하여 변경되지 않은 채로 유지될 수 있다. 그러나, 대안의 실시 예에 따르면, "루마 성분" 또는 "제 1 성분"의 정의는 예측 또는 변환 블록(또는 직사각형 형상)과 같이, 각각의 블록에 대하여 서로 다를 수 있는데, 즉 각각의 블록 또는 형상을 위하여 "제 1 성분으으로 역할을 하는 성분은 적응적으로 선택될 수 있다. 적응은 데이터 스트림 내의 시그널링에 의해 인코더에 나타낼 수 있다. 예를 들면, 도 5는 "제 1 성분"을 형성하는 성분(106)의 경우를 도시하나, 성분(108)은 성분-간 예측된 성분, 즉 제 2 성분이고, 블록(400)이 관련되는 한, 예를 들면, 성분 신호(106)가 성분(108)으로부터 성분-간 예측되는 또 다른 블록 또는 화상(10)에 대하여 컨텍스트는 다를 수 있다. "예측 소스"의 블록 방식 적응은 방금 설명된 것과 같이 데이터 스트림 내에 나타낼 수 있다. 부가적으로 또는 대안으로서, 각각의 블록(400)을 위하여, 예측이 적용되거나 또는 적용되지 않는 구문 요소 시그널링이 데이터 스트림 내에 전송될 수 있다. 즉, "제 1 성분"으로서 성분(106)을 일정하게 사용하는 경우에, 그러한 구문 요소는 종속 성분, 즉 도 1과 2에서의 성분들(108 및 110)의 블록을 위하여 존재할 수 있다. 그러한 경우에 있어서, 루마 성분과 같은, 제 1 성분은 예측 소스, 즉 위에 설명된 실시 예들의 경우에서 그것들의 잔류 성분을 제공할 수 있다.
만일 특정 블록(440)을 위하여 예측이 가능하면, 부가적으로 또는 대안으로서 예측 모드는 그러한 블록(440)을 위하여 데이터 스트림 내에 시그널링될 수 있다. 예측은 제로 값으로 복원된 제 1 성분 신호, 즉 성분-간 예측을 위한 기초로서 예측 잔류를 사용하는 경우에 제로 값의 잔류 루마 신호를 위하여 생략될 수 있다. 그러한 경우에 있어서, 성분-간 예측이 적용되는지 아닌지를 시그널링하는 앞서 언급된 구문 요소는 생략될 수 있는데, 즉 각각의 블록(440)을 위한 데이터 스트림 내에 존재하지 않는다.
결합된 역방향 구동 및 순방향 시그널링화 접근법의 경우에 있어서, 이미 코딩된 각각의 복원된 데이터로부터 유도되는 파라미터들은 시작 파라미터(starting parameter)들로서 역할을 할 수 있다. 그러한 경우에 있어서, 선택된 예측 모드에 대한 델타는 데이터 스트림 내에 전송될 수 있다. 이는 고정되었거나 또는 적응된 예측 모드를 위한 최적 파라미터를 계산함으로써 달성될 수 있고 계산된 파라미터들은 비트 스트림 내에 전송된다. 또 다른 가능성은 역방향 구동 선택 접근법을 사용함으로써, 또는 항상 역방향 구동된 접근법에 의해서만 계산되고 선택되는 파라미터들을 사용함으로써 유도되는 시작 파라미터에 대하여 일부 델타를 전송하는 것이다.
예측 모드들 중 일 실시 예의 구성이 아래에 설명된다. 이러한 실시 예에서, 제 1 예측 모드는 α=1, β=0, γ=1이고 φ(x)=[x]인 것을 나타내고, 제 2 예측 모드는 α=0.5이고 x=(x0)인 것을 제외하고는 동일한 파라미터들을 나타내며, y=(y0) 및 x와 y의 단일 요소들은 루마 성분 및 크로마 성분에서의 각각의 위치와 같은, 제 1 및 제 2 성분 내의 동일한 공간 위치에서의 블록을 위한 잔류 값이다. 성분-간 예측이 적용되는 각각을 블록(440)을 위하여, 본 발명의 일 실시 예에 따라 달리 설명하면, α가 제 1 값, 즉 1과 동일한지, 또는 제 2 값, 여기서는 0.5와 동일한지가 데이터 스트림 내에 시그널링된다. 데이터 스트림 내의 시그널링 대신에, 혼합된 순방향 및 역방향 구동 접근법이 이미 위에 설명된 것과 같이 사용될 수 있거나, 또는 이용 가능한 α의 값들 중에서의 선택이 역방향 적응적으로 실행될 수 있다. β 및 λ는 단지 상수들만을 표현할 수 있다.
y 내의 단일 요소는 예측 후에 z에 의해 대체된다는 것에 유의하여야 한다. 바구어 말하면, 복원 모듈(400)은 보정 신호(404)를 수신하고 이를 z로 대체한다. 또한 그러한 구성을 사용할 때, 성분-간 예측은 덧셈 연산으로 단순화되고, 제 1 성분(α=1)의 완전히 복원된 잔류 샘플 값 또는 그 값의 반(α=0.5)이 보정 샘플 값(404)에 더해진다는 것에 유의하여야 한다. 이등분(halving)은 간단한 우향 이동(right shift) 연산에 의해 발생될 수 있다. 그러한 경우에 있어서, 예를 들면, 구성은 복원 모듈(400) 내의 예측기 내의 x 및 α 사이의 곱셈의 실현, 및 도 4에 도시된 가산기에서의 덧셈의 실현에 구현될 수 있다. 바꾸어 말하면, 주어진 실시 예에서, 인코더 측에서 작동 모드는 다음과 같을 수 있다.
변환 블록(또는 직사각형 형상)을 위한 크로마 성분의 잔류 신호는 루마 평면 내의 동일한 (공간 또는 주파수) 위치에서 복원된 잔류 샘플에 의해 감산된다. 변환 및 양자화 이후에, 복원된 잔류는 루마 평면 내의 동일한 공간적 위치에서 복원된 잔류 샘플에 더해진다. 디코더 관점으로부터, 후자의 작동만이 필요하다. 역방향 구동 전략을 포함하는 구성의 일례는 다음과 같이 수행될 수 있다. 각각의 블록 또는 형상(440)을 위하여, 최적 파라미터(α)가 계산된다. 시작 α0은 국부적 이웃으로부터, 예를 들면 이전에 코딩된 왼쪽 블록(또는 직사각형 형상)으로부터 역방향 구동으로 유도된다. 만일 비트 스트림 내의 구문 요소가 비트 스트림 내에 더 이상의 파라미터들이 전송되지 않는 것으로 시그널링하면, 유도된 α0이 사용된다. 그렇지 않으면, 즉 예측이 사용되지만 구문 요소에 의해 보정하여야 하면 비트 스트림 내에 델타(α△)를 나타낸다. 두 개의 플래그를 전송하는 것이 또한 가능한데, 제 1 플래그는 α0이 사용되어야만 하는지를 나타내고 제 2 플래그는 α△가 비트 스트림 내에 존재하는지를 나타낸다.
또 다른 가능한 구성은 파라미터 유도 과정을 위하여 입상도를 증가시키는 것이다. 이러한 접근법은 또한 순방향 전송이 적용될 때 높은 시그널링화 입상도를 나타낸다. 그렇지 않으면, 역방향 구동 전략을 위한 높은 입상도가 암시된다. 이러한 가능한 구성에서, 변환 블록(또는 직사각형 형상) 내의 각각의 샘플 또는 샘플들의 그룹들을 위하여 혹은 심지어 예측 블록 자체를 위하여 예측 파라미터들은 유도된다. 현재 샘플 또는 샘플들의 그룹을 위하여, 미리 정의된 윈도우에 의해 정의되는, 동일한 변환 블록 또는 예측 블록 내의, 특정 양의 샘플들이 파라미터 유도를 위하여 획득된다. 아핀(affine) 예측기가 사용되는 위의 실시 예를 사용하여, 파라미터(αn)는 다음과 같이 이전에 복원된 샘플 또는 샘플들의 그룹으로부터 유도될 수 있는데 여기서 n은 그룹 지수이다.
Figure 112015108188927-pct00001
제 1 샘플 또는 샘플들의 그룹을 위한 파라미터는 일부 디폴트 값들에 의해 초기화될 수 있거나 또는 이웃 블록들 또는 형상들로부터 계산될 수 있다. 또 다른 가능성은 제 1 샘플 또는 샘플들의 그룹을 위한 최적 파라미터들을 전송하는 것이다. 가능한 한 이전 샘플들만큼 사용하도록 하기 위하여, 미리 정의된 스캔 패턴이 2차원 잔류 블록(또는 직사각형 형상)을 1차원 벡터에 매핑하도록 사용될 수 있다. 예를 들면, 샘플들 또는 샘플들의 그룹들은 수직으로, 수평으로, 또는 변환 계수들의 스캔 방향들과 유사한 방향으로 스캐닝될 수 있다. 다시, 특정 스캔은 역방향 구동 전략에 의해 유도될 수 있거나 또는 비트 스트림 내에 시그널링된다.
또 다른 확장은 이미 제시된 실시 예 및 일력으로서 세 개의 모든 이용 가능한 성분을 사용하는 변환의 조합이다. 여기서, 본 실시 예에서, 잔류 신호는 주어진 변환 블록을 위한 보정을 제거하는 변환 매트릭스를 사용하여 변환된다. 이러한 구성은 평면들 사이의 보정이 매우 크거나 또는 상당히 작을 때 유용하다. 일례의 구성은 R'G'B' 같은 입력 색 공간들 또는 주 성분 분석 접근법의 경우에 Y'CoCg 변환을 사용할 수 있다. 후자의 경우를 위하여, 변환 매트릭스는 매트릭스 값들을 유도하기 위하여 순방향 방식으로 또는 디코더뿐만 아니라 인코더에서 알려진 미리 정의된 세트 및 규칙을 사용하여 디코더에 시그널링되어야만 한다. 구성은 이용 가능한 모든 성분 또는 평면의 잔류 신호를 필요로 한다는 것에 유의하여야 한다.
예측 도메인에 대하여, 다음이 설명된다.
예측 도메인은 위에 설명된 것과 같이, 공간 도메인일 수 있는데, 즉 잔류 또는 주파수 도메인을 작동할 수 있고, 즉 이산 코사인 변환 또는 이산 사인 변환 같은 변환을 적용한 후에 잔류 상에서 작동할 수 있다. 게다가, 도메인은 디코더로의 정보의 전송에 의한 둘 모두의 구성요소일 수 있다. 예측을 위한 도메인에 더하여, 도메인과 관련된 파라미터들이 역방향 구동 전략에 의해 전송되거나 또는 유도될 수 있다.
크로마 성분의 부가적인 서브 샘플링이 도메인 파라미터들과 관련되는데, 즉 크로마 블록(또는 직사각형 형상)은 수평으로, 수직으로, 또는 두 방향 모두로 스케일링 다운된다(scaled down). 그러한 경우에 있어서, 예측 소스가 또한 다운 샘플링될 수 있거나 또는 공간 도메인, 주파수 도메인, 또는 둘 모두에서의 서로 다른 해상도를 고려하는 예측 모드의 세트가 선택되어야만 한다. 또 다른 가능성은 예측 소스 및 표적 소스(target source)의 크기가 서로 일치하도록 예측 표적을 업스케일링하는 것이다. 다운스케일링은 특히 이미지 또는 비디오 내의 매우 평평한 영역을 위하여 압축 효율을 더 향상시킨다. 예를 들면, 예측 소스는 저주파수와 고주파수 모두를 포함하나, 크로마 블록(또는 직사각형 형상)은 저주파수만을 포함한다. 이러한 실시 예에서, 예측 소스의 서브 샘플링은 고주파수들을 제거할 수 있고 덜 복잡한 예측 모드가 사용되며 그러한 덜 복잡한 정보로의 연결이 디코더에 전송되어야만 한다. 다운스케일링 사용의 시그널링은 각각의 변환 블록을 위하여, 또는 각각의 예측 블록을 위하여, 또는 심지어 예측 블록들의 그룹 또는 전체 이미질을 위하여 수행될 수 있다는 것에 유의하여야 한다.
부가적인 다운 샘플링 접근법에 더하여, 디코더에 또한 비트 깊이 조정이 전송될 수 있다. 이러한 경우는 샘플들의 예측이 서로 다른 성분들을 따라 다를 때 발생한다. 한 가지 가능한 방법은 소스를 위한 비트들의 수를 감소시키거나 또는 증가시키는 것이다. 또 다른 가능한 구성은 표적의 비트 깊이를 증가시키거나 또는 감소시킬 수 있고 최종 결과를 보정된 비트 깊이로 다시 보정할 수 있다. 또 다른 선택은 서로 다른 비트 깊이에 적합한 예측기들의 세트의 사용이다. 그러한 예측 모드는 예측 파라미터들에 의한 서로 다른 비트 깊이를 고려할 수 있다. 비트 깊이 보정을 위한 시그널링 레벨은 콘텐츠의 변이에 의존하여 각각의 블록 또는 형상을 위하여, 혹은 전체 화상 또는 시퀀스를 위하여 수행될 수 있다.
예측 소스에 대하여, 다음이 설명된다.
예측 소스는 제 1 성분 또는 모든 이용 가능한 성분일 수 있다. 각각의 블록(또는 직사각형 형상)을 위하여, 예측 소스는 인코더에 의해 시그널링될 수 있다. 대안으로서, 예측 소스는 예측을 위하여 사용되어야만 하는 모든 이용 가능한 성분과 예측 소스로부터 예측 또는 변환 블록이 비트 스트림 내의 구문 요소에 의해 디코더에 시그널링되는지의, 모든 가능한 블록을 포함하는 사전(dictioinary)일 수 있다.
파라미터 유도에 대하여, 다음이 설명된다.
파라미터들은 바람직하게는 최소 제곱 오차(least square error, LSE) 최적화 문제점을 해결함으로써 블록의 임시의 이웃으로부터(어딘가에 언급되는 역방향 적응적으로 실행하거나 또는 인코더 내에서 실행하기 위하여, 순방향 적응적 방식으로 디코더를 구동하도록 데이터 시트림 내의 결과를 시그널링하기 위하여, 디코더 내에서) 유도된다. 최소 제곱 오차는 다음과 같이 공식화될 수 있다:
Figure 112015108188927-pct00002
α에 대한 이러한 방정식의 최소화. 방정식을 위한 파라미터는 다음과 같이 계산되는 폐쇄 형태 해결책을 갖는데:
Figure 112015108188927-pct00003
여기서 A1은 z 및 φ(αx+β+γy) 사이의 공분산이고, A2는 z의 분산이다.
나눗셈 연산을 룩업 테이블(lookup table) 및 곱셈 연산으로 대체하기 위하여 이러한 방법에 대하여 정수 구현이 구현된다. A2는 테이블 크기를 감소시키기 위하여 디스케일링되고(descaled) 반면에 A1은 곱셈 오버플로(overflow)를 방지하기 위하여 디스케일링된다. 가장 중요한 비트들(nA1 및 nA2)만이 A1 및 A2로부터 유지된다. A'1 및 A'2는 다음과 같이 유도될 수 있는데:
A' = [A ≫ rA] ≪ rA
여기서
rA = max(bd(A)-nA,0)이다.
여기서 bd(A)는 log2A에 의해 계산되는 A 값의 비트 깊이이다.
이제 α'은 다음과 같이 재계산될 수 있다:
Figure 112015108188927-pct00004
이제 요소들이 ntable 비트들에 의해 표현되는 룩업 테이블(
Figure 112015108188927-pct00005
)에 의해 세분이 표현될 수 있다. 이러한 테이블을 위한 지수는 [A2≫rA2]로서 계산되고 테이블 크기는 nA2이다.
위의 최소화 문제점에서, y는 예를 들면 각각의 성분-간 예측된 블록(440)을 위하여 데이터 스트림 내에 손실 없이 전송되는 잔류 신호를 나타낸다는 것에 유의하여야 한다. 바꾸어 말하면, y는 성분-간 예측된 블록(440)을 위한 보정 신호이다. 이는 중복적으로 결정될 수 있고, 각각의 중복에서, 위에 설명된 LSE 최적화 문제점의 해결을 실행한다. 이러한 방식으로, 인코더는 예측 모드, 예측 소스 등과 같은 성분-간 예측 파라미터들을 선택하는데 있어서, 성분-간 예측을 실행할지 하지 않을지에 대하여 선택적으로 결정할 수 있다.
파라미터 시그널링과 관련하여 다음이 설명된다.
예측 자체는 스위칭 가능할 수 있고 잔류 예측의 사용을 지정하는 헤더 플래그는 비트 스트림의 시작에서 전송되어야만 한다. 예측이 허용될 때, 그것의 국부적 사용을 지정하는 구문 요소는 이전에 설명된 것과 같이 잔류 블록(또는 직사각형 형상), 변환 블록(또는 직사각형 형상), 또는 심지어 변환 블록들(또는 직사각형 형상들)의 그룹일 수 있는, 블록(440)을 위하여 비트 스트림 내에 내장된다. 제 1 비트는 예측이 가능한지 아닌지를 나타낼 수 있고 그 다음 비트들은 예측 모드, 예측 소스, 또는 예측 도메인과 관련 파라미터들을 나타낼 수 있다. 두 크로마 성분 모두를 위한 예측을 가능하게 하거나 또는 불가능하게 하기 위하여 하나의 구문 요소가 사용될 수 있다는 것에 유의하여야 한다. 예측의 사용뿐만 아니라 예측 모드 및 각각의 제 2(예를 들면 크로마) 성분을 위한 소스를 개별적으로 시그널링하는 것이 또한 가능하다. 다시, 잔류 신호에 대한 높은 적응을 달성하기 위하여, 예측 모드를 시그널링하도록 분류 기준(sorting criterion)이 사용될 수 있다. 예를 들면, 가장 많이 사용되는 예측 모드는 하나이고, 그때 분류된 리스트는 지수 0에서 모드 하나를 포함할 수 있다. 그때 가장 가능성 있는 모드 하나를 시그널링하는데 하나의 비트만이 필요하다. 게다가, 예측의 사용은 잔류들 상에 성분-간 예측을 적용하는 경우에 제한될 수 있고, 만일 잔류를 발생시키기 위하여 동일한 예측 모드가 서로 다른 색 성분들 중에서 사용되면 상관관계는 높을 수 있다. 그러한 제한은 인트라 예측된 블록들(또는 직사각형 형상들)에서 유용하다. 예를 들면, 성분-간 예측은 루마일 수 있는, 블록(442, 또는 직사각형 블록)을 위하여 사용되는 것과 동일한 인트라 예측 모드가 크로마일 수 있는 블록(440, 또는 직사각형 형상)을 위하여 사용되는 경우에만 적용될 수 있다.
즉, 후자의 경우에 있어서, 성분-간 예측 과정의 블록 방식 적응은 예측기(2222)에 의한 예측이 관련되는 한 블록(440)이 공간 예측 모드와 관련되는지, 그리고 공간 예측 모드가 일치하는지, 또는 공동 위치되는 블록(442)이 예측기(2221)에 의해 예측되는 것을 사용하여 공간 모드로부터 미리 결정된 양 이상에 의해 벗어나지 않는지의 검사를 포함할 수 있다. 공간 예측 모드는 예를 들면, 각각 블록(440 및 442)에 이웃하는 이미 복원된 샘플들이 각각의 예측 신호(2202, 및 2201)를 야기하기 위하여 각각 블록(440 및 442) 내로 보간되고 그리고 나서 각각 z 및 x와 결합되는 공간 예측 방향을 포함할 수 있다.
일 실시 예에서, 예측 소스는 항상 루마 성분이다. 1과 2에 도시된, 이러한 바람직한 실시 예에서, 만일 성분들(108/208 및 110/210) 사이의 상호연결이 중단되면, 루마의 처리는 변하지 않고 결과로서 생긴 루마 평면의 복원된 잔류는 예측을 위하여 사용된다. 그 결과, 예측 소스는 비트 스트림 내에 전송되지 않는다.
또 다른 실시 예에서, 예측 소스는 예를 들면 인트라(intra) 또는 인터 예측(inter prediction)이 적용되는 크기를 위한, 잔류 블록과 같은 하나의 블록 또는 형상, 잔류 블록들 또는 형상들의 그룹을 위하여 전송된다.
예를 들면, 예측 소스는 제 1 크로마 성분을 위하여 루마이고 제 2 크로마 성분을 위하여 루마 또는 제 1 크로마 성분이다. 이러한 바람직한 실시 예는 예측 소스로서 모든 이용 가능한 평면을 허용하는 구성과 유사하고 도 1 및 2와 상응한다.
앞서 언급된 실시 예들을 설명하기 위하여, 도 6이 참조된다. 3-성분 화상(102/202)이 도시된다. 제 1 성분(106/206)은 어떠한 성분-간 예측 없이 하이브리드 (디)코딩을 사용하여 코딩/디코딩된다. 제 2 성분(108/208)에 관한 한, 블록들(440)로 동일하게 분할되고, 이들 중 하나가 바람직하게는 도 5의 경우에서와 같이 도 6에 도시된다. 이러한 블록들(440)의 유닛들 내에, 예를 들면 위에 설명된 것과 같이 α에 대하여 성분-간 예측이 적용된다., 유사하게, 화상(102/202)은 제 3 성분(110/220)에 관한 한 블록들(450)로 분할되고 그러한 하나의 블록이 도 6에 대표적으로 도시된다. 방금 설명된 두 가지 대안과 관련하여 설명된 것과 같이, 블록(450)의 성분-간 예측은 필연적으로 예측 소스로서 제 1 성분(106/206), 즉 제 1 성분(106/206)의 공동 위치되는 부분(452)을 사용함으로써 실행될 수 있다. 이는 연속 실선 화살표(454)를 사용하여 표시된다. 그러나 방금 설명된 제 2 대안에 따르면, 데이터 스트림(104) 내의 구문 요소(456)는 예측 소스로서 제 1 성분, 즉 454의 사용 및 예측 소스로서 제 2 성분의 사용, 즉 화살표(460)에 의해 표시되는 제 2 성분(108/208)의 공동 위치되는 부분(458)을 기초로 하는 성분-간 예측 블록(450)의 사용 사이를 스위칭한다. 도 6에서, 제 1 성분(106/206)은 예를 들면 루마 성분일 수 있고, 반면에 나머지 두 개의 성분(108/208 및 110/210)은 크로마 성분들일 수 있다.
도 6과 관련하여, 가능하게는 제 2 성분(108/208)을 위한 블록들(440)로의 분할은 블록들(450)로의 성분(110/210)의 분할과 독립적인 방식으로 데이터 스트림 내에 시그널링될 수 있거나, 또는 블록들(450)로의 성분(110/210)의 분할로부터의 유도를 허용한다는 것에 유의하여야 한다. 자연적으로, 분할은 또한 동일할 수 있고 심지어 하나의 시그널링된 형태로부터 적응될 수 있거나, 또는 바람직하게는 뒤에 도 10의 경우에서와 같이 제 1 성분을 위하여 사용될 수 있다.
방금 위에 설명된, 또 다른 실시 예는 화상(110/210)의 모든 성분이 대안으로서 예측 소스의 역할을 할 수 있다는 가능성이다. 도 7이 참조된다. 도 7에서, 모든 성분(106 내지 110/206 내지 210)은 그것들과 관련된 블록들(470)로의 공통 분할을 가지며 그러한 하나의 블록(470)이 바람직하게는 도 7에 도시된다. 블록들(470)로의 분할 또는 세분은 데이터 스트림(104) 내에 시그널링될 수 있다. 위에 이미 설명된 것과 같이, 블록(470)은 잔류 또는 변환 블록들일 수 있다. 그러나, 여기서는 어떠한 성분도 "제 1 성분", 즉 예측 소스를 형성할 수 있다. 구문 요소(472) 및 데이터 스트림(104)은 블록(470)을 위하여 성분들(106 내지 110/206 내지 210) 중 어떤 것이 예를 들면 나머지 두 성분을 위한 예측 소스를 형성하는지를 나타낸다. 예를 들면, 도 7은 도 7이 화살표에 의해 도시된 것과 같이 예측 소스가 서로 다르게 선택되는 또 다른 블록(472)을 도시한다. 블록(470) 내에서, 제 1 성분은 나머지 두 성분을 위한 예측 소스로서 역할을 하고, 블록(472)의 경우에 제 2 성분은 제 1 성분의 역할을 추정한다.
도 6 및 7과 관련하여, 구문 요소들(456 및 472)이 예측 소스를 나타내는 범위는 서로 다르게, 즉 각각의 블록(450 및 470/72)을 위하여, 또는 블록들의 그룹들 또는 심지어 전체 화상(102/202)을 위하여 개별적으로 선택될 수있다는 것에 유의하여야 한다.
또 다른 실시 예에서, 예측 소스는 모든 이용 가능한 성분 또는 이용 가능한 성분의 서브셋일 수 있다. 이러한 바람직한 실시 예에서, 소스의 가중은 디코더에 시그널링될 수 있다.
바람직한 실시 예에서, 예측 도메인은 공간 도메인 내에 존재한다. 이러한 실시 예에서, 시그널링 구성에 의존하여, 전체 잔류 블록 또는 형상을 위한 잔류가 사용될 수 있거나 혹은 잔류 블록 또는 형상의 특정 부분만이 사용될 수 있다. 후자의 경우는 예측이 각각의 변환 블록 또는 형상을 위하여 개별적으로 시그널링될 때 주어지고 더 작은 변환 블록들 또는 형상들로의 잔류 블록들 또는 형상들의 뒤따르는 세분이 허용된다.
또 다른 실시 예에서, 예측 도메인은 주파수 도메인 내에 존재한다. 이러한 바람직한 실시 예에서, 예측은 변환 블록 또는 형상 크기에 결합된다.
또 다른 실시 예에서, 예측 도메인은 공간 또는 주파수 도메인 내에 존재할 수 있다. 이러한 실시 예에서, 예측 도메인은 국부적 통계에 의존하여 순방향 시그널링화 또는 역방향 구동 추정에 의해, 개별적으로 지정된다.
후자의 컨텍스트가 도 8에 도시된다. 도 8에서, 화상의 두 개의 성분(102/202)만이 바람직하게 도시된다. 또한, 현재 성분-간 예측되는 블록(440) 및 그것의 공간적으로 상응하는 부분(442)이 도시되고 또한 블록(440)을 위하여 예를 들면 위에 설명된 것과 같은 모델 관련 함수(φ)를 사용하여 구현되는 복원 모듈(400)에 의해 성분-간 예측이 변환 도메인 또는 공간 도메인 내에서 실행되는지를 시그널링하기 위하여 데이터 스트림(104) 내에 포함되는 구문 요소(490)가 도시된다. 특히, 도 8은 설명의 목적을 위하여 디코더에서의 처리를 도시한다. 우선, 데이터 스트림(104)으로부터, 블록(440)에 대한 제 2 성분(208)의 보정 신호는 데이터 스트림으로부터 추출되고, 유사하게 잔류 신호는 공간적으로 상응하는 부분(442)이 관련되는 한 제 1 성분(206)을 위하여 데이터 스트림(104)으로부터 추출된다. 만일 구문 요소(490)가 블록(440)을 위한 스펙트럼 도메인의 사용을 나타내면, 이러한 신호들은 복원 모듈(400) 내로 직접적으로 입력되고 성분-간 예측된 출력(z)은 화상(202)의 제 2 성분(208)이 또 다른 복원을 위하여 블록(440)의 보정 신호를 대체한다. 그러나, 만일 구문 요소(490)가 공간 도메인의 사용을 나타내면, 블록(440)을 위하여 데이터 스트림(104)으로부터 추출된 신호들 및 공간적으로 상응하는 부분(442)은 복원 모듈(400)에 의한 처리 이전에 역 변환(226)의 대상이 된다. 스펙트럼을 사용하는 경우에, z를 획득하기 위하여 x 및 y의 조합은 스펙트럼-성분 방식으로 실행되고, 공간 도메인을 사용하는 경우에, 모듈(400)에 의해 z를 획득하기 위하여 x 및 y의 조합은 샘플-별(sample-wise) 방식으로 실행된다.
다시, 구문 요소(490)는 블록들(440)의 그룹들 또는 전체 화상 또는 심지어 화상들의 그룹과 같은, 큰 범위를 위하여, 개별적으로 블록(440)을 위한 성분 예측을 위하여 사용되도록 도메인을 시그널링할 수 있다.
또 다른 실시 예에서, 두 예측 도메인 모두는 예측 과정 내에 포함된다. 본 발명의 이러한 바람직한 실시 예에서, 예측은 우선 공간 도메인 내에서 수행되고, 주파수 도메인 내에 또 다른 예측이 적용되며 두 예측은 서로 다른 예측 모드들 또는 소스들을 사용한다.
일 실시 예에서, 크로마 블록 또는 형상은 동일한 인자에 의해 수평으로, 수직으로, 또는 두 방향 모두로 서브샘플링될 수 있다. 이러한 실시 예에서, 다운 스케일 인자는 2의 제곱과 동일할 수 있다. 다운 샘플러의 사용은 비트 스트림 내의 구문 요소로서 전송되고 다운 샘플러는 고정된다.
또 다른 실시 예에서, 크로마 블록 또는 형상은 동일한 인자에 의해 수평으로, 수직으로, 또는 두 방향 모두로 서브샘플링될 수 있다. 인자는 비트 스트림 내에 전송될 수 있고 다운 샘플러는 필터들의 세트로부터 선택되며, 비트 스트림 내에 전송되는 지수에 의해 정확한 필터가 어드레싱될 수(addressed) 있다.
또 다른 실시 예에서, 선택된 다운 샘플링 필터는 비트 스트림 내에 전송된다. 이러한 실시 예에서, 루마는 동일한 블록 또는 직사각형 크기를 달성하기 위하여 다운 샘플링된다.
일 실시 예에서, 소스 및 표적의 비트 깊이가 서로 다를 때 비트 보정을 나타내는 구문 요소가 시그널링된다. 이러한 실시 예에서, 예측을 위한 동일한 깊이를 갖도록 하기 위하여 루마 정밀도가 감소될 수 있거나 또는 크로마 정밀도가 증가될 수 있다. 후자의 경우에, 크로마 정밀도는 다시 원래의 비트 깊이로 감소된다.
일 실시 예에서, 예측 모드들의 수는 2이고 예측기들의 세트는 정확하게 주어진 실시 예와 같이 정의된다.
또 다른 실시 예에서, 예측 모드의 수는 1이고 구성은 이전 실시 예에서 설명된 것과 동일하다.
또 다른 실시 예에서, 예측기들의 수는 자유롭게 조정가능하고 예측기들의 세트는 정확하게 주어진 실시 예와 같이 정의된다. 이러한 실시 예는 α=1/m을 갖는 실시 예의 더 일반적인 설명이고 여기서 m＞0은 예측 수 또는 모드를 나타낸다. 따라서, m=0은 예측이 생략되어야만 한다는 것을 나타낸다.
또 다른 실시 예에서, 예측 모드는 고정되는데, 즉 예측은 항상 이용 가능하다. 이러한 실시 예를 위하여, 평면-간 예측이 가능할 수 있고 제로와 동일한 예측기들의 수를 설정할 수 있다.
또 다른 실시 예에서, 예측이 항상 적용되고 α 같은 예측 파라미터들이 이웃 블록들 또는 형상들로부터 유도된다. 이러한 실시 예에서, 블록 또는 형상을 위한 최적 α는 완전한 복원 이후에 계산된다. 계산된 α는 국부적 이웃 내의 그 다음 블록 또는 형상을 위한 파라미터로서 작용한다.
또 다른 실시 예에서, 구문 요소는 국부적 이웃으로부터 유도되는 파라미터들의 사용을 나타내는 비트 스트림 내에 전송된다.
또 다른 실시 예에서, 이웃으로부터 유도되는 파라미터들이 항상 사용된다. 이에 더하여, 인코더 내에서 계산되는 최적 파라미터들에 대한 델타가 비트 스트림 내에 전송될 수 있다.
또 다른 실시 예에서, 파라미터들을 위한 역방향 구동 선택 전략은 사용할 수 없고 최적 파라미터들은 비트 스트림 내에 전송된다.
또 다른 실시 예에서, α의 시작뿐만 아니라 비트 스트림 내의 델타(α)의 존재의 사용은 개별적으로 시그널링된다.
일 실시 예에서, 예측 모드, 예측 소스, 및 예측 파라미터들의 시그널링은 동일한 정규 예측 모드에 제한된다. 이러한 실시 예에서, 평면-간 예측과 관련된 정보는 크로마 성분을 위한 성분-간 모드가 루마 성분을 위하여 사용된 것과 동일할 때에만 전송된다.
또 다른 실시 예에서, 블록은 서로 다른 크기의 윈도우들로 분할되고 현재 윈도우를 위한 파라미터들은 블록 내의 복원된 이전 윈도우로부터 유도된다. 또 다른 실시 예에서, 제 1 윈도우를 위한 파라미터들은 복원되는 이웃 블록들로부터 유도된다.
또 다른 실시 예에서, 구문 요소는 제 1 윈도우를 위하여 사용되려는 국부적 이웃으로부터 유도되는 파라미터들의 사용을 나타내는 비트 스트림 내에 전송된다.
또 다른 실시 예에서, 윈도우들은 수직, 수평 또는 수직 방향으로 스캐닝될 수 있다.
또 다른 실시 예에서, 현재 윈도우를 위한 파라미터들은 이전 윈도우로부터 유도되고 변환 계수 서브 블록들의 스캔 위치에 따라 결정된다.
또 다른 실시 예에서, 윈도우 스캐닝은 하나의 스캐닝 방향으로 제한된다.
또 다른 실시 예에서, 파라미터들은 룩업 테이블, 및 나눗셈 대신에 곱셈 운영의 사용에 의한 정수 구현을 사용하여 유도된다.
일 실시 예에서, 비트 스트림의 헤더 내에 전송되는 전역 플래그는 적응적 평면-간 예측의 사용을 나타낸다. 이러한 실시 예에서, 플래그는 시퀀스 레벨 내에 내장된다.
또 다른 실시 예에서, 전역 플래그는 비트 스트림의 헤더 내에 전송되고 화상 파라미터 레벨 내에 내장된다.
또 다른 실시 예에서, 예측기들의 수가 비트 스트림의 헤더 내에 전송된다. 아러한 실시 예에서, 숫자 제로는 예측이 항상 가능하다는 것을 나타내고, 제로 동일하지 숫자는 예측 모드가 적응적으로 선택되는 것을 나타낸다.
일 실시 예에서, 예측 모드의 세트는 예측 모드들의 수로부터 유도된다.
또 다른 실시 예에서, 예측 모드의 세트는 디코더에 알려지고 디코더는 예측이 모든 파라미터 모델을 지정한다.
또 다른 실시 예에서, 예측 모드들은 모두 선형 또는 아핀이다.
일 실시 예에서, 예측기들의 세트는 하이브리드, 즉 예측 소스로서 다른 평면들을 사용하는 간단한 예측 모드들을 포함하고, 모든 이용 가능한 평면더 복잡한 예측 모드들 및 입력 잔류 신호들의 또 다른 성분 또는 평면 공간 내로의 변환을 포함한다.
일 실시 예에서, 예측의 사용은 각각의 크로마 성분을 위한 각각의 변환 블록 또는 형상을 위하여 지정된다. 이러한 실시 예에서, 이러한 정보는 루마 성분이 동일한 공간적 이치에서 제로 값의 잔류로 구성될 때 생략될 수 있다.
일 실시 예에서, 모드들은 절삭형 단항 분해를 사용하여 전송된다. 이러한 실시 예에서, 서로 다른 컨텍스트 모델들이 각각의 빈 지수를 위하여 할당되나, 특정 수, 즉 3에 의해 한정된다. 게다가, 두 크로마 성분 모두를 위하여 동일한 컨텍스트 모델들이 사용된다.
또 다른 실시 예에서, 서로 다른 크로마 평면들은 서로 다른 컨텍스트 모델 세트들을 사용한다.
또 다른 실시 예에서, 서로 다른 변환 블록 또는 형상 크기들은 서로 다른 컨텍스트 모델 세트들을 사용한다.
또 다른 실시 예에서, 예측 모드로의 빈들의 매핑은 동적 또는 적응적이다. 이러한 실시 예에서, 디코더 관점에서, 제로와 동일하게 디코딩된 모드는 디코딩된 시간까지 가장 많이 사용된 모드를 나타낸다.
또 다른 실시 예에서, 예측 모드, 및 만일 서로 다른 예측 소스들을 허용하는 구성을 사용하면 예측 소스는 잔류 블록 또는 형상을 위하여 전송된다. 이러한 실시 예에서, 서로 다른 블록 또는 형성 크기들은 서로 다른 컨텍스트 모델들을 사용할 수 있다.
그 다음에 설명되는 실시 예는 특히 지금까지 설명된 "교차 성분 비상관"을 위하여 어떻게 예측 파라미터들을 코딩하는지에 대한 일례에 관한 것이다.
비록 그것에 제한되지 않으나, 아래의 설명은 종속 성분 신호의 예측으로서 z를 사용하여 z=αx+y의 계산을 통하여 기준(제 1) 성분 신호(x) 및 잔류(보정) 신호(y)를 기초로 하여 종속(제 2) 성분이 복원되는 대안을 언급하는 것으로서 고려될 수 있다. 예측은 예를 들면, 공간 도메인 내에 적용될 수 있다. 위의 실시 예들에서와 같이, 성분-간 예측은 하이브리드 코딩 잔류 신호에 적용될 수 있는데, 즉 제 1 및 제 2 성분 신호는 하이브리드 코딩의 잔류 신호를 표현할 수 있다. 그러나, 아래의 실시 예는 α의 시그널링에 초점을 맞추는데, 이러한 파라미터는 예를 들면 다-성분 화상이 세분되는 잔류 블록들의 유닛 내에서와 같은 서브-화상 기반 내에 코딩된다. 아래의 설명은 α를 위한 선택적 값들의 범위가 화상 콘텐츠의 종류에 의존하고, 차례로 잔류 블록들보다 더 큰 범위/유닛들이 바뀌는 사실을 설명하기 위하여, α의 시그널링 가능한 상태들이 바람직하게는 가변적이어야만 한다는 사실에 관한 것이다. 따라서, 원칙적으로 α의 전송과 관련하여 아래에 설명되는 상세내용은 또한 위에 설명된 다른 실시 예들에 전달될 수 있다.
교차-성분 비상관(CCD) 접근법은 더 높은 압축 효율을 가능하게 하는 서로 다른 색 성분들 사이의 나머지 종속성을 이용한다. 그러한 접근법을 위하여 아핀 모델이 사용될 수 있고 모델 파라미터들이 부가 정보로서 비트 스트림 내에 전송된다.
부가 정보 비용을 최소화하기 위하여, 가능한 파라미터들의 제한된 설정만이 전송된다. 예를 들면, 고효율 비디오 코딩(HEVC)에서의 가능한 교차-성분 비상관 구현은 아핀 예측 모델 대신에 선형 예측 모델을 사용할 수 있고 모드 파라미터만이, 즉 경사 또는 구배(gradient) 파라미터(α1)는 0부터 1까지로 제한될 수 있고 비-균일하게 양자화될 수 있다. 특히, α를 위한 값들의 제한된 세트는 α∈{0, ±0.125, ±0.25, ±0.5, ±1}일 수 있다.
선형 예측 모델 파라미터를 위한 그러한 양자화의 선택은 α의 분포가 Y'CbCr 색 공간 내에 저장된 자연 색 콘텐츠를 위하여 값 0 주위에 대칭적으로 집중된다는 사실을 기초로 할 수 있다. Y'CbCr에서, 색 성분들은 압축 단계로 들어가기 전에 R'G'B'로부터 전환하기 위하여 고정된 변환 매트릭스를 사용함으로써 비상관된다. 이러한 사실 대문에, 전역 변환이 하위 선택적이라는 사실 때문에, 교차-성분 비상관 접근법은 서로 다른 색 성분들 사이의 나머지 종속성을 제거함으로써 더 높은 압축 효율을 달성할 수 있다.
그러나, 그러한 가정은 서로 다른 종류의 컨텍스트, 특히 R'G'B' 색 공간 내에 저장된 자연적 비디오 콘텐츠에 해당되지는 않는다. 이러한 경우에 있어서, 구배 파라미터(α)는 흔히 값 1 주위에 집중된다.
위에 주어진 경우와 유사하게, 교차-성분 비상관이 예측 소스로서 제 1 크로마 성분으로 확장될 때 분포는 완전히 다르게 된다. 따라서, 주어진 콘텐츠에 따라 교차-성분 비상관 파라미터들을 조정하는 것이 유익할 수 있다.
예를 들면, Y'CbCr을 위하여, α의 양자화는 (0, ±0.125, ±0.25, ±0.5, ±1)로 설정될 수 있으나, R'G'B'을 위하여 α의 양자화는 반대, 즉 (0, ±1, ±0.5, ±0.25, ±0.125)일 수 있다. 그러나, 서로 다른 엔트로피 경로들은 부가적인 문제들을 도입한다. 한 가지 문제점은 하드웨어와 소프트웨어 모두를 위한 영역 및 속도와 관련하여 구현에 더 비용이 든다는 것이다. 이러한 단점을 방지하기 위하여, 파라미터 범위는 CCD의 사용이 또한 표시되는 화상 파라미터 설정 레벨 내에 지정될 수 있다.
즉, 구문 요소 시그널링(α)은 예를 들면 잔류 블록을 위하여 개별적으로, 서브-화상 레벨/입상도에서 전송된다. 이는 예를 들면, res_scale_value로 불릴 수 있다. 이는 예를 들면 빈 스트링의 이진 산술 코딩과 결합되는 (절삭형) 단항 이진화를 사용하여 코딩될 수 있다. res_scale_value의 (비-이진화) 값들의 α 상으로의 매핑은 화상 파라미터 설정을 사용하여, 즉 완전한 화상 또는 심지어 화상 시퀀스 당 기반과 같은 더 큰 범위에서 변경되는 것과 같이 구현될 수 있다. 변이는 표현 가능한 α 값들의 수, 표현 가능한 α 값들의 순서 및 표현 가능한 α 값들의 선택, 즉 그것들의 실제 값들을 변경할 수 있다. 표현 가능한 α 값들 중에서 단지 순서를 바꾸거나 혹은 양 또는 음의 값들만으로 표현 가능한 α 값들을 한정하는 것이 콘텐츠 적응을 위하여 제공되는 한 가지 방법이나, 아래에 더 설명되는 실시 예들은 (단지 약간 증가된 오버헤드에 의해) 서브-화상 입상도 시그널링된 res_scale_value로부터 크기의 변이, 구성원들 및 매핑의 공동 도메인의 구성원 순서(표현 가능한 α 값들의 세트)와 같은 α 값들로의 매핑을 변경하는데 훨씬 증가된 유연성을 허용하고, res_scale_value를 전송하기 위한 비트 절약과 관련하여 이러한 제공의 장점들은 매핑의 변이를 시그널링하는 필요성을 과잉 보상하는 것으로 밝혀졌다(YCC 또는 RGB 내에 코딩된 비디오 콘텐츠의 일반적인 혼합에서 보이는).
α를 위한 범위의 지정은 예를 들면 다음과 같이 수행될 수 있다. Y'CbCr의 경우에, 바람직한 서브-셋은 예를 들면 (0, 0.125±, ±0.25, ±0.5)일 수 있고 반면에 R'G'B'을 위하여 이는 (0, 0.5±, ±1) 또는 (0, 0.5, 1) 또는 심지어 (0, 0.5, 1, 2)일 수 있다. 언급된 행동을 달성하기 위하여, 범위는 두 개의 값을 표현하는 두 개의 구문 요소를 사용하여 화상 파라미터 설정 내에 지정될 수 있다. 위의 실시 예 및 3 지점 정확도로 예측이 실행되는, 즉 예측 샘플 값들이 α에 의해 곱해지고 그리고 나서 3에 의해 오른쪽으로 이동되는 사실을 고려하여, Y'CbCr을 위한 범위 구성은 [-3, 3]으로서 전송될 수 있다.
그러나, 그러한 시그널링으로, R'G'B'를 위한 제 2 및 제 3 경우만이 [2, 3] 및 [2, 4]를 사용하여 달성될 수 있다. R'G'B'를 위한 제 1 실시 예를 달성하기 위하여, 부호는 부가적인 구문을 사용하여 분리되어야만 한다. 게다가, 제 2 값을 위하여 델터를 전송하면 충분하고 제 1 값은 시작 지점으로서 역할을 한다. 이러한 예를 위하여, 제 2 R'G'B' 구성은 [2, 3] 대신에 [2, 1]이다.
제 1 크로마 성분으로부터의 예측의 경우에, 범위 값들은 각각의 크로마 성분에 대하여 개별적으로 지정될 수 있다. 이는 제 1 크로마 성분으로부터의 예측을 위한 지원 없이도 수행될 수 있다는 것에 유의하여야 한다.
화상 파라미터 설정 내에 지정된 한계를 고려하면, 예측 파라미터(α)의 파싱(parsing) 및 복원은 다음과 같이 변형된다. 한계가 없는 경우를 위하여, 즉 α∈{0, ±0.125, ±0.25, ±0.5, ±1}이고 a3 지점 정확도와 정밀도의 경우에, 최종 αF는 다음과 같이 복원되고 여기서 αP는 비트 스트림으로부터 파싱된 값을 나타낸다: αF=1≪αP. 이는 αF=1≪(αP+αL)에 따라 변형되고 αL은 범위가 완전히 양 또는 음의 범위 내에 놓일 때 가장 작은 절대 값을 위한 오프셋을 나타낸다.
두 값 모두는 αP가 절삭형 단항 코드를 사용하여 이진화될 때 비트 스트림으로부터 파싱된 빈들의 수에 대한 한계를 유도하도록 사용된다. 이러한 양상을 이용하기 위한 더 나은 방법은 α의 절대 값 이전에 부호를 인코딩하는 것이다. 부호를 코딩한 후에, 비트 스트림으로부터 파싱되려는 최대 빈들의 수가 유도될 수 있다. 이러한 경우는 범위가 비대칭일 때, 즉 [-1, 3]일 때 유용하다.
흔히, 예를 들면 일부 R'G'B' 콘텐츠를 위하여 (0, 1, 0.5) 같이 서로 다른 순서가 바람직하다. 그러한 가역(inversion)은 [3, 2]에 따라 범위 값들을 설정함으로써 간단하게 달성될 수 있다. 이러한 경우에 있어서, 비트 스트림으로부터 파싱되는 빈들의 수는 여전히 2이다(두 범위 값들 사이의 절대 차이는 n=1이고 절삭형 단항 코드의 경우에 빈들의 수는 항상 n+1이다). 그때, 가역은 2가지 방법에 의해 달성될 수 있다. 첫 번째 옵션은 가역이 바람직하지 않고 가역의 경우에 최대 표현 가능한 값이 없을 때 현재 값의 2배와 동일한, 고정된 오프셋을 도입한다. 이를 수행하기 위한 두 번째 및 더 명쾌한 방법은 메모리에 화상 파라미터 설정 내에 전송된 범위로 확장하고 룩-업 운영을 통하여 상응하는 값을 액세스하는 것이다. 이러한 접근법은 두 경우를 위한 통일된 논리 및 단일 경로에 이르게 할 수 있다. 예를 들면, 경우(0, 0.25, 0.5, 1)는 [1, 3]을 전송함으로써 화상 파라미터 설정 내에 시그널링되고 다음의 엔트리들(0, 1, 2, 3)로 메모리가 생성된다. 다른 방법에서, 즉 비트 스트림 내에 전송된 값들[3, 1]을 갖는 반대의 경우에, 메모리는 다음이 엔트리들(0, 3, 2, 1)로 생성된다. 그러한 접근법의 사용으로, 최종 αF는 αF=1≪(LUT[αP])로서 공식화될 수 있고 여기서 는 룰-업 운영을 나타낸다.
가장 최근에 언급된 양상을 설명하기 위하여, 도 9a, b 및 c가 더 상세히 참조된다. 아래에 간단히 도 9로서 언급되는, 도 9a, b 및 c는 바람직하게는 종속(제 2) 성분(108/208) 뒤의 제 1(기준) 성분(106/206)의, 층을 이룬 방식으로 하나의 다-성분 화상(102/202)을 도시한다.
화상(102/202)은 비디오(500)의 일부분일 수 있다.
화상이 코딩되는, 데이터 스트림(104)은 적어도 전체 화상(102/202)괴 관련되거나 또는 심지를 이를 넘어 화상(102/202)을 포함하는 비디오(500) 중에서 화상 시퀀스와 관련되는 고레벨 구문 요소 구조(510)를 포함한다. 이는 중괄호 502를 사용하여 도 9에 도시된다. 또한, 데이터 스트림(104)은 서브-화상 레벨 상에 제 1 가중 구문 요소들을 포함한다. 그러한 한 가지 제 1 가중 구문 요소(514)가 화상(102/202)의 바람직한 잔류 블록(440)과 관련하는 것으로서 도 9에 도시된다. 제 1 가중 구문 요소는 기준 성분(106/206)의 공동 위치된 부분을 기초로 하여 종속 성분(108/208)을 성분-간 예측에 있어서 제 1 가중, 즉 α를 개별적으로 설정하기 위한 것이다.
제 1 가중 구문 요소는 절삭형 단일 이진화(truncated unary binarization)를 사용하여 코딩된다. 그러한 절삭형 단일 이진화의 일례가 도 9의 518에 도시된다. 도시된 것과 같이, 그러한 절삭형 단일 이진화는 증가하는 길이의 빈 스트링들의 시퀀스로 구성된다. 이에 설명된 방식에서, 고레벨 구문 요소 구조(510)는 이진화의 빈 스트링들(518)이 α를 위하여 가능한 값들 상에 어떻게 매핑되는지를 정의한다. α를 위한 그러한 가능한 값들의 바람직한 세트가 도 9의 520에 도시된다. 실제로, 고레벨 구문 요소 구조(510)는 빈 스트링들(518)의 세트로부터 세트(520)의 서브셋 상으로의 매핑(522)을 정의한다. 이러한 측정에 의해, 낮은 비트 소모로 서브-화상 입상도에서 서로 다른 성분-간 예측 가중들(α) 사이의 스위칭을 위한 시그널링화 오버헤드를 유지하는 것이 실현 가능한데 그 이유는 서브-화상 시그널링이 단지 α를 위한 더 작은 수의 가능한 값들 사이를 식별할 수 있기 대문이다.
위에 설명된 것과 같이, 구문 요소 구조(510)는 디코더가 그것으로부터 제 1 및 제 2 구간 경계(interval bound, 524)를 유도하도록 허용하는 것이 실현 가능하다. 구조(510) 내의 상응하는 구문 요소들은 서로 독립적으로/개별적으로 코딩될 수 있거나, 또는 서로 상대적으로, 즉 다르게 코딩될 수 있다. 구간 경계 값들(524)은 시퀀스(520) 중에서의 요소들, 즉 각각의 비트 시프트들을 사용하여 구현될 수 있는 위에 제시된 지수 함수의 사용을 식별한다. 이러한 측정에 의해, 구간 경계들(524)은 디코더에 매핑(522)의 공동 도메인을 나타낼 수 있다.
또한 위에 설명된 것과 같이, α가 제로인 경우는 각각의 제로 플래그(526)를 사용하여 개별적으로 디코더에 시그널링될 수 있다. 만일 제로 플래그가 제 1 상태이면, 디코더는 α를 제로로 설정하고 각각의 블록(440)을 위한 어떠한 제 1 가중 구문 요소(514)의 판독을 생략한다. 만일 제로 플래그가 다른 상태를 가지면, 디코더는 데이터 스트림(104)으로부터 제 1 가중 구문 요소(514)를 판독하고 매핑(522)을 사용하여 가중의 실제 값을 결정한다.
또한, 위에 설명된 것과 같이 제 1 가중 구문 요소(514)의 절대 부분(528)은 절삭형 단항 이진화를 사용하여 코딩될 수 있고, 제 1 가중 구문 요소의 부호 부분은 이전에 코딩될 수 있다. 이러한 방법으로, 인코더와 디코더는 절대 경로(528)를 위한 이진화(518)의 그것들의 길이, 즉 빈 스트링들의 수를 대략적으로 설정하는 것이 실현 가능한데 그 이유는 블록(440)의 값(α)이 양의 α 값들을 갖는 세트(520) 중에서 그러한 매핑(522)의 공동 도메인(532)의 구성원들에 속하는지, 또는 음의 α 값들로 구성되는 그것들의 나머지 부분에 속하는지를 결정하기 때문이다. 자연적으로, 디코더가 공동 도메인(530)이 독점적으로 양의 α 값들을 포함하거나 또는 단지 음의 α 값들을 포함하는 고레벨 구문 요소 구조(510)로부터 유도되는 경우에 제 1 가중 구문 요소(514)의 부호 부분(530)은 존재하지 않을 수 있고 디코더에 의해 판독되지 않을 수 있다.
위의 설명으로부터 자명한 것과 같이, 고레벨 구문 요소 구조(510) 내에 코딩되는 구간 경계(524) 및 순서는 절대 부분(528)이 공동 도메인(532)의 구성원들을 "교차하는" 순서를 결정할 수 있다.
도 10과 관련하여, 이미 위에 설명된 특정 양상들을 요약한 또 다른 구체적인 실시 예가 도시된다. 도 10의 실시 예에 따르면, 인코더와 디코더는 예측기들122/222) 내의 하이브리드 예측이 관련되는 한 세 개의 모든 성분에 대하여 공통으로 화상(102/202)을 세분한다. 도 10에서, 성분들은 각각 "1", "2" 및 "3"으로 표시되고, 각각 도시된 화상의 아래에 기록된다. 예측 블록들(308)로의 화상(102/202)의 세분/분할은 예측 관련 세분 정보(600)를 통하여 데이터 스트림(104) 내에 시그널링될 수 있다.
예측 블록(308) 당, 예측 파라미터들은 데이터 스트림(104) 내에 시그널링될 수 있다. 이러한 예측 파라미터들은 화상(102/202)의 각각의 성분을 하이브리드 인코딩/디코딩하기 위하여 사용된다. 예측 파라미터(602)는 각각의 성분을 위하여 개별적으로, 모든 성분을 위하여 공통으로 또는 부분적으로 성분 특이적으로(component specifically) 그리고 성분-전역으로(component-globally) 데이터 스트림(104) 내에 시그널링될 수 있다. 예를 들면, 예측 파라미터(602)는 예를 들면 그중에서도 공간적으로 및/또는 시간적으로 예측되는 블록들(308)을 구별하고, 예를 들면 이러한 표시는 성분들 중에서 일반적일 수 있으며, 예측 파라미터(502) 중에서 시간적 예측 관련 파라미터들은 성분 특이적으로 데이터 스트림(104) 내에 시그널링될 수 있다. 도 1과 2의 구현을 사용하여, 예를 들면 예측기들(122/222)은 각각의 성분을 위하여 예측 신호(120/220)를 유도하기 위하여 예측 파라미터(602)를 사용한다.
또한, 데이터 스트림(104)은 도 10의 실시 예에 따라, 여기서는 도면부호 604로 표시되는, 잔류 또는 변환 블록으로의 화상(102/202)의 세분/분할을 시그널링한다. 데이터 스트림(104) 내의 잔류/변환 관련 세분 정보는 도면부호 606을 사용하여 표시된다. 도 3과 관련하여 위에 설명된 것과 같이, 한편으로는 예측 블록들(308) 및 다른 한편으로는 잔류/변환 블록들(604)로의 화상(102/202)의 세분/분할은 적어도 부분적으로 잔류/변환 블록들(604)로의 분할이 예측 블록들(308)로의 화상(102/202)의 계층적(hierarchical) 멀티-트리 세분 또는 예를 들면 코딩 블록들로의 일부 계층적 매개(intermediary) 분할을 형성한다는 점에서 적어도 부분적으로 서로 결합될 것이다.
잔류/예측 블록 당, 데이터 스트림(104)은 예를 들면 양자화된 변환 계수들 형태의, 잔류 데이터(6081, 6082, 6083)를 포함할 수 있다. 잔류 데이터(6081 내지 6083)의 탈양자화 및 역 변환은 각각의 성분, 즉 6081, 6082, 6083을 위한 공간 도메인 내의 잔류 신호를 드러낸다.
도 10에 도시된 것과 같이, 데이터 스트림은 화상(102/202)을 위하여 전역으로 본 실시 예에서 성분-간 예측이 적용/사용되는지에 대하여 시그널링하는 성분-간 예측 플래그(612)를 더 포함한다. 만일 성분-간 예측이 사용되지 않는 것으로 성분-간 예측 플래그(612)가 시그널링하면, 잔류 신호들(6101 내지 6103)은 서로 결합되지 않으나, 각각의 성분에 대하여 예측 신호(120/220)을 보정하도록 개별적으로 사용된다. 그러나, 만일 성분-간 예측 플래그(612)가 성분-간 예측의 사용을 시그널링하면, 데이터 스트림(104)은 잔류/변환 블록 당, 각각의 종속 성분(2 및 3)을 위하여, 각각의 성분(2/3)을 위하여 성분-간 예측이 적용되는지를 시그널링하는 플래그(6142, 6143)을 포함한다. 만일 적용된 것으로 시그널링되면, 데이터 스트림(104)은 각각의 성분(i=2/3)을 위한 각각의 잔류/변환 블록에 대하여, 각각 예를 들면 위에 제시된 설명의 α와 상응하는 성분-간 예측 파라미터(6162 및 6163)를 포함한다.
따라서, 만일 예를 들면 플래그(6142)가 제 2 성분을 위하여 성분-간 예측이 사용되는 것을 나타내면, 성분-간 예측 파라미터(6162)는 잔류 신호(6102)를 새로운 잔류 신호(6102')로 대체하기 위하여 잔류 신호(6101)가 잔류 신호(6103)에 가산되는 가중을 나타낸다. 후자는 그리고 나서 각각의 예측 신호(1202/2202)를 보정하기 위하여 신호(6102) 대신에 사용된다.
유사하게, 만일 플래그(6143)가 각각의 잔류/변환 블록을 위한 성분-간 예측의 사용을 나타내면, 성분-간 예측 파라미터(6163)는 후자를 대체하고 새로운 잔류 신호(6103')를 야기하기 위하여 잔류 신호(6101)가 잔류 신호(6103)에 가산되는 가중(α3)을 나타내고, 그리고 나서 제 3 성분의 예측 신호(1203/2203)를 보정하도록 사용된다.
성분-간 예측 파라미터(61562/3) 이후에 조건부로 제 1 플래그(6141/2)를 개별적으로 전송하는 대신에, 또 다른 시그널링이 또한 가능할 수 있다. 예를 들면, 가중(α2/3)이 가능한 값들의 도메인이 제로 주위에 대칭으로 배치되는, 부호를 지닌(signed) 값이기 때문에, α2 /3의 절대 값은 성분(2/3)이 관련되는 한 성분-간 예측을 사용하지 않는 경우, 및 각각의 성분(2/3)을 위한 성분-간 예측을 사용하는 경우를 구별할 수 있도록 사용될 수 있다. 특히, 만일 절대 값이 0이면, 이는 성분-간 예측을 사용하지 않는 것과 상응한다. 각각의 파라미터(α2 / 3)를 위한 어떠한 부호의 시그널링은 그리고 나서 데이터 스트림(104) 내에 억제될 수 있다. 다시 상기하면, 도 10의 실시 예에 따르면, 성분-간 예측은 성분들(2/3)이 관련되는 한 잔류/변환 블록 당에 근거하여 변경되고, 변경은 성분-간 예측을 전혀 사용하지 않는 것(α2 /3=0) 및 변경에 따라 성분-간 예측을 사용하는 것(α2 / 3(α2/3≠0))을 포함한다.
특정 구문 실시 예에 따르면, 성분-간 예측 플래그(612)는 데이터 스트림(104)의 화상 파라미터 세트 내에 시그널링될 수 있다. 구문 요소는 다음과 같이 표시될 수 있다:
cross_component_prsdiction_enabled_flag
그러나, 플래그(612)의 범위는 다르게 선택될 수 있다는 것에 유의하여야 한다. 예를 들면, 플래그(612)는 화상(102/202)의 슬라이스들과 같은 더 작은 유닛들, 혹은 화상들의 그룹들 또는 화상들의 시퀀스들과 같은 더 큰 유닛들과 관련될 수 있다.
잔류/변환 블록 당, 구문 요소들(6142, 6162, 6143 및 6163)은 성분을 나타내는 파라미터(c)를 갖는 아래의 구문을 사용하여 방금 설명된 것과 같이 조건부로 시그널링될 수 있고, 이에 따라 성분(2)을 위한 하나의 값 및 성분(3)을 위한 나머지 값을 추론하며, 파라미터들(x0, y0)은 예를 들면 그것의 상부 왼쪽 모서리 샘플을 거쳐 예를 들면 각각의 잔류/변환 블록을 나타낸다.
Figure 112015108188927-pct00006
즉, 위의 구문은 예를 들면 크로마 성분들과 같은, 제 2 및 제 3 성분 각각을 위하여 각각 한 번씩, 화상의 각각의 잔류 또는 변환 블록을 위하여 데이터 스트림 내에 2회 발생할 수 있고 루마 성분은 기본(제 1) 성분을 형성할 수 있다.
도 10과 관련하여 이전에 나타낸 것과 같이, 방금 설명된 예는 도 10의 구성에 대한 대안과 상응하는데, log2_res_scale_abs_plus1은 α의 절대 값을 시그널링하고 만일 구문 요소가 제로이면, 이는 각각의 성분(c)을 위하여 사용되지 않는 성분-간 예측과 상응한다. 그러나 만일 사용되면, res_scale_sign_flag가 시그널링되고 α의 부호를 나타낸다.
지금까지 제시된 구문 요소들의 시맨틱스(semantics)는 다음과 같이 제공될 수 있다:
1과 동일한 cross_component_prediction_enabled_flag는 log2_res_scale_abs_plus1 및 res_scale_sign_flag가 화상 파라미터 설정을 언급하는 화상들을 위한 변환 유닛 구문 내에 존재하는 것을 지정한다. 0과 동일한 cross_component_prediction_enabled_flag는 log2_res_scale_abs_plus1 및 res_scale_sign_flag가 화상 파라미터 설정을 언급하는 화상들을 위한 변환 유닛 구문 내에 존재하지 않는 것을 지정한다. 존재하지 않을 때, cross_component_prediction_enabled_flag의 값은 0과 동일한 것으로 추론된다. ChromaArrayType이 3과 동일하지 않을 때, 이는 cross_component_prediction_enabled_flag의 값이 0과 동일해야만 한다는 비트스트림 적합성(bitstream conformance)의 요구조건이다.
log2 _res_scale_abs_ plus1[c] minus 1은 교차-성분 잔류 예측에서 사용되는 스케일링 인자(ResScaleVal)의 크기의 밑이 2인(base 2) 로그를 지정한다. 존재하지 않을 때, log2_res_scale_abs_plus1은 0과 동일한 것으로 추정된다.
res_scale_sign_flag[c]는 다음과 같이 교차-성분 잔류 예측에서 사용되는 스케일링 인자의 부호를 지정한다:
- 만일 res_scale_sign_flag[c]가 0과 동일하면, 상응하는 ResScaleVal은 양의 값을 갖는다.
- 그렇지 않으면(res_scale_sign_flag[c]가 1과 동일하면), 상응하는 ResScaleVal은 음의 값을 갖는다.
가변 ResScaleVal[cldx][x0][y0]은 교차-성분 잔류 예측에서 사용되는 스케일링 인자를 지정한다. 어레이 지수들(x0, y0)은 화상의 왼쪽 상단 루마 샘플에 대하여 고려되는 변환 블록의 왼쪽 상단 루마 샘플의 위치(x0, y0)를 지정한다. 어레이 지수(cdlx)는 색 성분을 위한 표시기(indicator)를 지정하는데, 이는 Cbdp 대하여 1과 동일하고, Cr에 대하여 2와 동일하다.
가변 ResScaleVal[cldx][x0][y0]은 다음과 같이 유도된다:
- 만일 log2_res_scale_abs_plus1[cdlx1]이 0과 동일하면, 다음과 같이 적용된다:
ResScaleVal[cldx][x0][y0]=0
그렇지 않으면(log2_res_scale_abs_plus1[cdlx1]이 0과 동일하지 않으면), 다음과 같이 적용된다:
Figure 112015108188927-pct00007
위에서, ResScaleVal은 앞서 언급된 α와 상응한다.
즉, 성분-간 예측이 사용되는, 즉 위치들(x,y)에서 log2_res_scale_abs_plus1≠0이 계산되는, 잔류/변환 블록(604) 내의 샘플 값들, 즉 r[x][y]는 예를 들면 다음에 따라, 제 1 성분의 공동 위치된 잔류 샘플 값들(ry[x][y])을 기초로 하여 계산되는데:
Figure 112015108188927-pct00008
여기서 BitDepthc는 종속 성분들(2/3)의 비트 깊이이고, BitDepthr은 제 1 성분의 비트 깊이이다.
오른쪽 시프트 "＞＞3"은 8로 나누는 것과 상응한다. 본 발명의 실시 예에 따르면, 시그널링 가능한 α 값들은 위에 이미 예시된 것과 같이, {0, ±0.125, ±0.25, ±0.5, ±1}이다.
log2 _res_scale_abs_ plus1은 각각 절삭형 단항 이진화와 이진 산술 코딩 및 이진 산술 디코딩과 절삭형 단항 이진화를 사용하여 데이터 스트림 내에 시그널링될 수 있다. 이진 산술 디코딩은 컨텍스트 적응적일 수 있다. 컨텍스트는 국부적 이웃을 기초로 하여 선택될 수 있다. 예를 들면, log2 _res_scale_abs_ plus1의 이진화의 빈 당 서로 다른 컨텍스트가 선택될 수 있다. 컨텍스트들의 서로 다른 세트들은 두 크로마 성분 모두를 위하여 사용될 수 있다. 유사하게, res_scale_sign_flag는 각각 이진 산술 코딩 및 이진 산술 디코딩을 사용하여 데이터 스트림 내에 시그널링될 수 있다. 이진 산술 디코딩/코딩은 컨텍스트 적응적일 수 있다. 그러고 두 크로마 성분 모두를 위하여 서로 다른 컨텍스트가 사용될 수 있다. 대안으로서, 두 크로마 성분 모두를 위하여 동일한 컨텍스트가 사용될 수 있다.
설명된 것과 같이, log2 _res_scale_abs_ plus1으로부터 α의 절대 값으로의 매핑, 즉 즉 ResScaleVal＞＞3은 비트 시프트 운영, 즉 대수 함수에 이해 산술적으로 수행될 수 있다.
두 개의 크로마 성분을 위한 log2 _res_scale_abs_ plus1 및 res_scale_signflag의 시그널링은 만일 후자 내의 루마 성분이 제로이면 특정 잔류/변환 블록을 위하여 생략될 수 있다. log2 _res_scale_abs_ plus1 및 res_scale_signflag이 도 10의 614 및 616의 시그널링을 위한 실시 예들이기 때문에, 이는 디코더가 가능하게는 제 2 성분(208)의 현재 디코딩되는 부분을 위하여, 복원된 제 1 성분 신호(2561)의 공간적으로 상응하는 부분이 제로인지를 검사할 수 있고, 검사에 의존하여, 데이터 스트림으로부터 서브-화상 레벨 구문 요소들(6142, 6162, 6163)을 분명하고 판독하고 공간적으로 상응하는 부분(442)으로부터 성분 신호들(256'2 , 3)의 복원을 실행할 수 있거나, 또는 분명한 판독을 생략할 수 있으며, 선택적으로, 공간적으로 상응하는 부분(442)으로부터 제 2 성분 신호(256'2,3)의 복원을 실행하지 않을 수 있으나, 대신에 제 2 성분 신호(256'2 , 3)를 그대로 둘 수 있다는 것을 의미한다.
도 10은 데이터 스트림(105)으로부터의 제 1 성분(206)과 관련하여 제 1 성분 신호(610)를 복원하고; 복원된 제 1 성분 신호(6101) 및 데이터 스트림으로부터 유도되는 보정 신호(6102,3)의 공간적으로 상응하는 부분(442)으로부터 다-성분 화상(202)의 제 2(제 3) 성분(208/210)과 관련하여 제 1 성분 신호(610'2 , 3)의 일부분을 복원함으로써, 서로 다른 성분들(206, 208, 210)에 대하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 디코딩하도록 구성되는 디코더를 예시한다. 제 1 성분 신호(6101)는 다-성분 화상(202)의 제 1 성분(206)의 시간적으로, 공간적으로 또는 시점-간 예측의 예측 신호이고, 디코더는 다-성분 화상(202)의 제 1 성분(206)의 시간적, 공간적 또는 시점-간 예측을 실행할 수 있고 복원된 제 1 성분 신호(6101)를 사용하여 제 1 성분의 시간적, 공간적 또는 시점-간 예측을 보정함으로써 다-성분 화상의 제 1 성분을 복원할 수 있다. 디코더는 서브-화상 입상도에서, 데이터 스트림 내의 시그널링에 의존하여 제 1 가중(α2 , 3)을 적응적으로 설정하도록 구성된다. 이를 위하여, 디코더는 서브-화상 입상도에서, 데이터 스트림으로부터 제 1 가중의 절대 값, 및 조건부로 절대 값이 제로인지에 의존하는 방식으로, 제 1 성분 신호가 제로인 부분들에서 제 1 가중의 부호를 판독하는 것을 생략도록 구성된다. 제 2 성분 신호의 복원에 있어서, 디코더는 제 1 가중(α2)에 의해 가중된, 복원된 제 1 성분 신호의 공간적으로 상응하는 부분을 보정 신호에 가산한다. 가산은 샘플-별 방식으로 공간 도메인 내에서 수행될 수 있다. 대안으로서, 이는 스펙트럼 도메인 내에서 실행된다. 인코더는 예측 루프 내에서 이를 실행한다.
장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것을 이해하여야 한다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 장치의 블록 또는 아이템 또는 특징의 설명을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면, 마이크로프로세서, 프로그램 가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(장치를 사용하여) 실행될 수 있다. 일부 하나 이상의 가장 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.
특정 구현 요구사항들에 따라, 본 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 예를 들면, 각각의 방법이 실행될 것과 같이 프로그램가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 그 안에 저장되는 전자적으로 판독 가능한 제어 신호들을 갖는, 디지털 저장 매체, 예를 들면, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있다. 따라서 디지털 저장 매체는 컴퓨터로 판독 가능할 수 있다.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 비-일시적 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 그 안에 기록된, 컴퓨터 프로그램을 포함하는, 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체, 또는 기록 매체는 일반적으로 유형 및/또는 비-일시적이다.
따라서, 본 발명의 방법의 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 그 안에 설치된 컴퓨터 프로그램을 갖는 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시 예는 여기에 설명되는 방법들 중 하나를 실행하기 위한 컴퓨터 프로그램을 수신기로 전달하도록(예를 들면, 전자적으로 또는 광학적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면, 컴퓨터 프로그램을 수신기에 전달하기 위한 파일 서버를 포함할 수 있다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모든 기능을 실행하기 위하여 프로그램가능 논리 장치(예를 들면 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치의 일부분 상에서 실행된다.
여기에 설명된 장치는 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
여기에 설명된 방법들은 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 실행될 수 있다.
위에 설명된 실시 예들은 단지 본 발명의 원리들의 설명을 나타낸다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해하여야 한다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용에 의해서가 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
따라서, 위의 설명은 그중에서도 다음의 실시 예들을 설명하였다.
1. 데이터 스트림(104)으로부터 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)의 복원;
상기 데이터스트림으로부터 유도된 상기 복원된 제 1 성분 신호(2561; 2701) 및 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)의 복원(400);에 의해,
서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
2. 실시 예 1에 있어서, 상기 디코더는:
상기 다-성분 화상(202)을 트리 블록들(302)로 규칙적으로 세분하고, 중복 멀티-트리 세분화를 사용하여 개별적으로 상기 트리 블록들을 코드 블록들(304)로 세분하며, 개별적으로 중복 멀티-트리 세분화를 사용하여 각각의 코드 블록을 예측 블록들(308)로 세분하고 중복 멀티-트리 세분화를 사용하여 각각의 코드블록을 잔류 블록들(312)로 세분하며, 상기 잔류 블록들을 변환 블록들(316)로 세분하도록 구성되며;
상기 코드 블록들에 의존하거나 또는 상기 예측 블록들에 의존하는 입상도에서 상기 데이터 스트림에 의존하여 예측 모드들을 선택하도록 구성되며;
상기 예측 블록들의 입상도에서 상기 데이터 스트림에 의존하여 예측 파라미터들을 설정하도록 구성되며;
상기 예측 모드들 및 예측 파라미터들을 사용하여 예측 신호(2201, 2202, 2203)를 유도하도록 구성되며;
개별적으로 상기 변환 블록들 내의 역 변환을 실행함으로써 각각의 잔류 블록 내의 잔류 신호(2561, 2562, 2563)를 유도하도록 구성되며; 및
상기 잔류 신호를 사용하여 상기 예측 신호를 보정함으로써 상기 다-성분 화상(202)을 복원하도록 구성되는; 블록 기반 하이브리드로서 구성되고,
상기 디코더는 상기 잔류 블록들 및/또는 변환 블록들의 입상도에서, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분과 관계없이 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분 및 상기 보정 신호로부터의 상기 제 2 성분 신호의 복원 및 상기 보정 신호로부터 상기 제 2 성분 신호의 복원의 실행 사이에서 스위칭하기 위하여, 상기 데이터 스트림 내의 시그널링(6142; 6143)에 응답하는 것을 특징으로 하는 디코더.
3. 실시 예 1 또는 2에 있어서, 상기 디코더는 상기 제 1 성분 신호가 상기 다-성분 화상(202)의 상기 제 1 성분(206)의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이도록 구성되고, 상기 다-성분 화상의 상기 제 1 성분(206)의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 성분 신호를 사용하여 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상의 상기 제 1 성분(206)을 복원하도록 구성되는 것을 특징으로 하는 디코더.
4. 실시 예 1 내지 3 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호가 상기 다-성분 화상(202)의 상기 제 2 성분(208)의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이도록 구성되고, 상기 다-성분 화상의 상기 제 2 성분(208)의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 성분 신호를 사용하여 상기 다-성분 화상(202)의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상(202)의 상기 제 2 성분(208)을 복원하도록 구성되는 것을 특징으로 하는 디코더.
5. 실시 예 1 내지 4 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 스펙트럼 도메인 내의 상기 보정 신호를 획득하기 위하여 상기 데이터 스트림(104)으로부터 유도되는 상기 제 2 성분(208)에 관한 스펙트럼 계수들 상으로의 역 스펙트럼 변환(2262)을 실행함으로써 상기 보정 신호(2562)를 획득하도록 구성되는 것을 특징으로 하는 디코더.
6. 실시 예 1 내지 5 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)이 서브-화상 입상도에서 상기 제 2 성분 신호의 복원에 영향을 미치는 제 1 가중(α2)을 적응적으로 설정하도록 구성되는 것을 특징으로 하는 디코더.
7. 실시 예 6에 있어서, 상기 디코더는 상기 서브-화상 입상도에서, 상기 데이터 스트림 내의 시그널링에 의존하여 상기 제 1 가중(α2)을 적응적으로 설정하도록 구성되는 것을 특징으로 하는 디코더.
8. 실시 예 6 또는 7에 있어서, 상기 디코더는 상기 서브-화상 입상도에서, 상기 데이터 스트림으로부터 제 1 가중의 절대 값, 및 상기 제 1 가중의 절대 값이 제로인지에 조건부로 의존하는 방식으로 제 1 가중의 부호를 판독하도록 구성되는 것을 특징으로 하는 디코더.
9. 실시 예 8에 있어서, 상기 디코더는 서브-화상 입상도에서, 상기 데이터 스트림으로부터 제 1 가중의 절대 값, 및 상기 제 1 가중의 절대 값이 제로인지에 조건부로 의존하는 방식으로 상기 제 1 성분 신호가 제로인 부분들에서 제 1 가중의 부호의 판독을 생략하도록 구성되는 것을 특징으로 하는 디코더.
10. 실시 예 6 내지 9 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 제 1 가중(α2)에 의해 가중되는. 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)을 상기 보정 신호에 가산하도록 구성되는 것을 특징으로 하는 디코더.
11. 실시 예 10에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 샘플-별 방식으로 상기 공간 도메인 내의 가산을 실행하도록 구성되는 것을 특징으로 하는 디코더.
12. 실시 예 6 내지 11 중 어느 한 실시 예에 있어서, 상기 디코더는:
적어도 화상 범위를 갖는, 데이터 스트림으로부터 고레벨 구문 요소 구조(510)의 유도;
상기 적어도 화상 범위에서, 미리 결정된 이진화의 가능한 빈 스트링들(518)의 도메인 세트로부터 상기 제 1 가중의 가능한 값들의 공동 도메인(520) 상으로의 매핑(522)의 구성; 및
서브-화상 입상도에서, 상기 미리 결정된 이진화를 사용하여 상기 데이터 스트림으로부터 제 1 가중 구문 요소(514)의 판독 및 상기 제 1 가중 구문 요소의 빈 스트링의 상기 매핑으로의 대상화;에 의해,
상기 제 1 가중을 설정하도록 구성되는 것을 특징으로 하는 디코더.
13. 실시 예 12에 있어서, 상기 디코더는 상기 고레벨 구문 요소 구조로부터 상기 제 1 가중의 가능한 비-제로 값들의 미리 결정된 세트 중에서 공동 도메인 값들의 구간의 하부 및 상부 경계들(524)을 유도하도록 구성되고, 상기 제 1 가중을 유도하는데 있어서, 부가적으로 서브-화상 입상도에서, 상기 제 1 가중이 제로이어야만 되는지를 나타내는 상기 데이터 스트림으로부터 제로 플래그를 판독하도록 구성되거나, 또는 그렇지 않으면 상기 제 1 가중 구문 요소의 판독을 실행하고 상기 제로 플래그에 조건부로 의존하는 대상화를 실행하는 것을 특징으로 하는 디코더.
14. 실시 예 12 또는 13에 있어서, 상기 디코더는 상기 매핑을 구성하는데 있어서, 상기 고레벨 구문 요소 구조로부터 하부 경계 정수 값의 부호와 절대 값 및 상부 경계 정수 값의 부호와 절대 값을 유도하고 정수 도메인 지수 함수를 하부 경계 정수 값과 상부 경계 정수 값의 상기 절대 값들 상에 적용하며 제로를 제외한 상기 정수 도메인 지수 함수의 공동 도메인 중에서 상기 제 1 가중의 가능한 값들의 상기 공동 도메인을 획득하도록 구성되는 것을 특징으로 하는 디코더.
15. 실시 예 12 내지 14 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 1 가중을 유도하는데 있어서, 상기 제 1 가중 구문 요소의 절대 값 부분을 위한 미리 결정된 이진화로서 절삭형 단항 이진화를 사용하고, 상기 제 1 가중 구문 요소의 상기 절대 부분(530) 이전에 상기 데이터 스트림으로부터 상기 제 1 가중 구문 요소의 부호 부분(530)을 판독하며 상기 제 1 가중의 가능한 절대 값들의 상기 공동 도메인 및 상기 부호 부분에 의존하여 상기 제 1 가중 구문 요소의 상기 절대 부분의 상기 절삭형 단항 이진화의 길이를 설정하도록 구성되는 것을 특징으로 하는 디코더.
16. 실시 예 12 내지 15 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 고레벨 구문 요소 구조로부터 제 1 및 제 2 구간 한계들(524)을 유도하도록 구성되고, 상기 디코더는 상기 제 1 가중 구문 요소를 위한 상기 미리 결정된 이진화로서 절삭형 단항 빈 스트링들의 절삭형 단항 이진화를 사용하고, 상기 매핑을 구성하는데 있어서, 상기 제 1 및 제 2 간격 계들의 비교에 의존하여 가능한 값들의 상기 공동 도메인을 가로질러 상기 절삭형 단항 빈 스트링들이 매핑되는 상기 가능한 값들의 순서를 가역하도록 구성되는 것을 특징으로 하는 디코더.
17. 실시 예 1 내지 16 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호(208)를 복원하는데 있어서, 서브-화상 입상도에서 상기 보정 신호가 상기 제 2 성분 신호의 복원에 영향을 미치는 제 2 가중을 적응적으로 설정하도록 구성되는 것을 특징으로 하는 디코더.
18. 실시 예 1 내지 17 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호(208)를 복원하는데 있어서, 상기 복원된 제 2 성분 신호를 획득하도록 상기 보정 신호의 가중된 합계의 가중들 및 서브-화상 입상도에서 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)을 적응적으로 설정하고 적어도 화상 당 일정한 스칼라 함수의 스칼라 인수로서 가중된 합계를 사용하도록 구성되는 것을 특징으로 하는 디코더.
19. 실시 예 1 내지 18 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 디코딩하는데 있어서, 상기 복원된 제 2 성분 신호를 획득하기 위하여 상기 보정 신호의 가중된 합계의 가중들, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442), 및 서브-화상 입상도에서의 상수를 적응적으로 설정하고 적어도 화상 당 일정한 스칼라 함수의 스칼라 인수로서 상기 가중된 합계를 사용하도록 구성되는 것을 특징으로 하는 디코더.
20. 실시 예 18 또는 19에 있어서, 상기 디코더는 국부적 이웃을 기초로 하여 역방향 구동 방식으로 상기 가중들을 설정하도록 구성되는 것을 특징으로 하는 디코더.
21. 실시 예 18 또는 19에 있어서, 상기 디코더는 순방향 방식으로 상기 가중들의 보정과 함께, 국부적 이웃을 기초로 하여 역방향 구동 방식으로 상기 가중들을 설정하도록 구성되는 것을 특징으로 하는 디코더.
22. 실시 예 20 또는 21에 있어서, 상기 다-성분 화상의 이미 디코딩된 부분의 속성들을 기초로 하여 역방향 구동 방식으로 상기 가중들을 설정하도록 구성되는 것을 특징으로 하는 디코더.
23. 실시 예 18 내지 22 중 어느 한 실시 예에 있어서, 상기 디코더는 결합된 역방향 및 순방향 적응적 방식으로, 순방향 적응적 방식으로, 또는 역방향 적응적 방식으로, 제 1 공간 입상도에서 상기 가중들을 디폴트 값들로 설정하고, 상기 제 1 공간 입상도보다 미세한 제 2 공산 입상도에서 국부적 이웃을 기초로 하여 역방향 구동 방식으로 상기 가중들을 가공(refine)하도록 구성되는 것을 특징으로 하는 디코더.
24. 실시 예 16 내지 23 중 어느 한 실시 예에 있어서, 상기 디코더는 m차 서브-화상 레벨 구문 요소들에 의존하여 상기 가중들을 서로 다른 m 상태들 중 하나로 설정하도록 구성되고 상기 디코더는 더 높은 레벨 구문 요소(510)로부터 m을 유도하도록 구성되는 것을 특징으로 하는 디코더.
25. 실시 예 1 내지 24 중 어느 한 실시 예에 있어서, 상기 디코더는 서브-화상 입상도에서, 상기 제 2 성분 신호의 복원에 있어서,
공간 도메인 내의 상기 보정 신호(x)를 획득하기 위하여 상기 데이터 스트림으로부터 유도되는 상기 제 2 성분(208)에 관한 스펙트럼 계수들 상으로의 역 스펙트럼 변환의 실행 및 상기 공간 도메인 내의 상기 보정 신호(x)를 사용하는 상기 제 2 성분 신호(z)의 복원(400), 및
상기 데이터 스트림으로부터 스펙트럼 도메인 내의 상기 보정 신호(x)의 획득, 상기 스펙트럼 도메인 내에서의, 상기 스펙트럼 도메인 내에 포함된 것과 같은 상기 보정 신호(x)를 사용하는 상기 제 2 성분 신호(z)의 복원(400), 및 상기 스펙트럼 도메인 내에서의, 복원된 제 2 성분 신호(z)를 역 스펙트럼 변환으로 대상화,
사이를 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.
26. 실시 예 25에 있어서, 상기 디코더는 역방향 적응적 방식으로 및/또는 순방향 적응적 방식(490)으로 상기 적응적 스위칭을 실행하도록 구성되는 것을 특징으로 하는 디코더.
27. 실시 예 1 내지 26 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 복원된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 제 1 성분 신호를 복원하기 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원의 실행 및 상기 복원의 반전(reversing) 사이에서 서브-화상 입상도에서, 상기 제 2 성분 신호의 방향을 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.
28. 실시 예 1 내지 27 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 복원된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 제 1 성분 신호를 복원하기 위하여, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원의 실행 및 상기 복원의 반전 사이에서, 상기 제 1 및 제 2 성분 신호들 중에서 순서를 시그널링하는 구문 요소(472)에 응답하여 상기 제 2 성분 신호의 방향을 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.
29. 실시 예 1 내지 28 중 어느 한 실시 예에 있어서, 상기 디코더는 서브-화상 입상도에서, 단지 상기 복원된 제 1 성분을 기초로 하는 상기 제 2 성분의 복원 및 상기 복원된 제 1 성분 신호와 복원되는 제 3 성분 신호를 기초로 하는 상기 제 2 성분 신호의 복원 사이에서 상기 제 2 성분 신호의 복원을 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.
30. 실시 예 1 내지 29 중 어느 한 실시 예에 있어서, 상기 제 1 및 제 2 성분들은 색 성분들인 것을 특징으로 하는 디코더.
31. 실시 예 1 내지 30 중 어느 한 실시 예에 있어서, 상기 제 1 성분은 루마이고 상기 제 2 성분은 크로마 성분인 것을 특징으로 하는 디코더.
32. 실시 예 1 내지 31 중 어느 한 실시 예에 있어서, 상기 디코더는 제 1 구문 요소(612)에 응답하여, 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 가능하게 하고 상기 데이터 스트림을 파싱하는데 있어서 상기 데이터 스트림으로부터 서브-화상 레벨 구문 요소들(6142, 6162, 6143, 6163)을 판독하며 상기 서브-화상 레벨 구문 요소들을 기초로 하는 서브-화상 입상도에서 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 적응시키도록 하기 위하여, 그리고
상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 불가능하게 하고 상기 서브-화상 레벨 구문 요소들을 포함하지 않는 데이터 스트림을 어드레싱하도록 상기 데이터 스트림의 파싱을 변경하기 위하여,
상기 데이터 스트림 내의 상기 제 1 구문 요소(612)에 응답하는 것을 특징으로 하는 디코더.
33. 실시 예 1 내지 32 중 어느 한 실시 예에 있어서, 상기 디코더는 역방향 구동 방식으로, 상기 복원된 제 1 성분 신호를 기초로 하는 상기 제 2 성분의 복원의 가능화(enabling) 및 상기 복원된 제 1 성분 신호를 기초로 하는 상기 제 2 성분의 복원의 불능화(disabling) 사이를 국부적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.
34. 실시 예 33에 있어서, 상기 디코더는 역방향 구동 방식으로 상기 국부적 스위칭을 실행하도록 구성되는 것을 특징으로 하는 디코더.
35. 실시 예 33에 있어서,
상기 디코더는 상기 제 1 성분 신호가 상기 다-성분 화상의 상기 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류인 것과 같이 구성되고, 상기 다-성분 화상의 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 제 1 성분 신호를 사용하여 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상의 상기 제 1 성분을 복원하도록 구성되며,
상기 디코더는 상기 제 2 성분 신호가 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류인 것과 같이 구성되고, 상기 다-성분 화상의 상기 제 2 성분의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 제 2 성분 신호를 사용하여 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상의 상기 제 2 성분을 복원하도록 구성되며,
상기 디코더는 상기 제 1 및 제 2 성분 신호들이 공간 예측의 잔류 신호들인지 및 상기 공간 예측의 예측간 모드가 일치하는지를 국부적으로 검사함으로써, 혹은 상기 제 1 및 제 2 성분 신호들이 공간 예측의 잔류 신호들인지 및 상기 공간 예측의 예측간 모드가 미리 결정된 양 이상에 의해 벗어나지 않는지를 국부적으로 검사함으로써, 국부적 스위칭을 실행하도록 구성되는 것을 특징으로 하는 디코더.
36. 실시 예 33에 있어서, 상기 디코더는 역방향 구동 방식으로 우선 국부적 스위칭을 결정하고 상기 데이터 스트림 내의 시그널링에 응답하여 순방향 적응 방식으로 상기 결정을 변형하도록 구성되는 것을 특징으로 하는 디코더.
37 실시 예 1 내지 36 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 구문 요소에 의존하여,
상기 데이터 스트림을 파싱하는데 잇어서 상기 데이터 스트림으로부터 서브-화상 레벨 구문 요소들을 판독하고 상기 서브-화상 레벨 구문 요소들을 기초로 하는 서브-화상 입상도에서 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 적응시키기 하기 위하여, 그리고
비-적응적으로 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 실행하기 위하여,
상기 데이터 스트림 내의 제 2 구문 요소에 응답하는 것을 특징으로 하는 디코더.
38. 실시 예 1 내지 37 중 어느 한 실시 예에 있어서, 상기 제 1 및 제 2 성분들(206, 208)은 3개의 색 성분 중 두 개이고, 상기 디코더는 또한 상기 복원된 제 1 또는 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 상기 제 3 색 성분(210)에 관한 제 3 성분 신호 및 상기 제 3 성분을 위하여 상기 데이터 스트림으로부터 유도되는 보정 신호를 복원하도록 구성되고, 상기 디코더는 개별적으로 서브-화상 레벨 적응적으로 상기 제 2 및 제 3 성분 신호들의 복원을 실행하도록 구성되는 것을 특징으로 하는 디코더.
39. 실시 예 1 내지 38 중 어느 한 실시 예에 있어서, 상기 제 1 성분(206)은 루마이고, 상기 제 2 성분(208)은 제 1 크로마 성분이며 상기 제 3 성분(210)은 제 2 크로마 성분이며, 상기 디코더는 동일한 컨텍스트들을 사용하여 컨텍스트 적응적으로 상기 복원된 제 1 또는 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상의 상기 제 1 색 성분에 관한 상기 제 2 성분 신호의 복원을 적응시키기 위한 제 1 서브-화상 레벨 구문 요소들(6142, 6162) 및 상기 다-성분 화상의 상기 제 1 색 성분에 관한 상기 제 3 성분 신호의 복원을 적응시키기 위한 제 2 서브-화상 레벨 구문 요소들(6143, 6163)을 엔트로피 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
40. 실시 예 1 내지 38 중 어느 한 실시 예에 있어서, 상기 제 1 성분은 루마이고, 상기 제 2 성분은 제 1 크로마 성분이며 상기 제 3 성분은 제 2 크로마 성분이며, 상기 디코더는 개별 컨텍스트들을 사용하여 컨텍스트 적응적으로 상기 복원된 제 1 또는 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상의 상기 제 1 색 성분에 관한 상기 제 2 성분 신호의 복원을 적응시키기 위한 제 1 서브-화상 레벨 구문 요소들 및 상기 다-성분 화상의 상기 제 1 색 성분에 관한 상기 제 3 성분 신호의 복원을 적응시키기 위한 제 2 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
41. 실시 예 1 내지 40 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 데이터 스트림을 파싱하는데 있어서 상기 데이터 스트림으로부터 서브-화상 레벨 구문 요소들을 판독하고 상기 서브-화상 레벨 구문 요소들을 기초로 하는 서브-화상 입상도에서 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 적응시키며, 상기 데이터 스트림을 파싱하는데 있어서, 상기 제 2 성분의 현재 디코딩되는 부분을 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)이 제로인지를 검사하며, 상기 검사에 의존하여,
상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 분명하게 판독하고 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원을 실행하거나, 혹은
상기 분명한 판독을 생략하도록 구성되는 것을 특징으로 하는 디코더.
42. 실시 예 1 내지 41 중 어느 한 실시 예에 있어서, 상기 디코더는 골롬 라이스 코드를 사용하여 상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
43. 실시 예 42에 있어서, 상기 디코더는 상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하는데 있어서, 상기 골롬 라이스 코드의 빈들을 이진 산술 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
44. 실시 예 43에 있어서, 상기 디코더는 상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하는데 있어서, 서로 다른 컨텍스트들을 사용하는 서로 다른 빈 위치들에서 상기 골롬 라이스 코드의 빈들을 이진 산술 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
45. 실시 예 43 또는 44에 있어서, 상기 디코더는 상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하는데 있어서, 컨텍스트가 없는(context-less) 미리 결정된 값을 초과하는, 빈 위치들에서 상기 골롬 라이스 코드의 빈들을 이진 산술 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
46. 실시 예 1 내지 45 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 복원된 제 1 성분 신호의 공간적으로 상응하는 부분을 공간적으로 재스케일링하도록 구성되거나, 및/또는 상기 복원된 제 1 성분 신호의 공간적으로 상응하는 부분에 비트 깊이 정밀 매핑을 실행하도록 구성되는 것을 특징으로 하는 디코더.
47. 실시 예 46에 있어서, 상기 디코더는 역방향 및/또는 순방향 적응적 방식으로 상기 공간적 재스케일링 및/또는 상기 비트 깊이 정밀 매핑의 실행을 적응(adapt)시키도록 구성되는 것을 특징으로 하는 디코더.
48. 실시 예 46에 있어서, 상기 디코더는 역방향 및/또는 순방향 적응적 방식으로, 공간 필터를 선택함으로써, 공간적 재스케일링을 적응시키도록 구성되는 것을 특징으로 하는 디코더.
49. 실시 예 48에 있어서, 상기 디코더는 역방향 및/또는 순방향 적응적 방식으로, 매핑 함수를 선택함으로써, 상기 비트 깊이 정밀 매핑의 실행을 적응시키도록 구성되는 것을 특징으로 하는 디코더.
50. 실시 예 1 내지 49 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 복원된 제 1 성분 신호의 공간적으로 저역 통과 필터링된 버전으로부터 상기 제 2 성분 신호를 복원하도록 구성되는 것을 특징으로 하는 디코더.
51. 실시 예 50에 있어서, 상기 디코더는 순방향 적응적 방식 또는 역방향 적응적 방식으로 상기 복원된 제 1 성분 신호의 상기 공간적으로 저역 통과 필터링된 버전으로부터 상기 제 2 성분 신호의 복원을 실행하도록 구성되는 것을 특징으로 하는 디코더.
52. 실시 예 50에 있어서, 상기 디코더는 순방향 적응적 방식 또는 역방향 적응적 방식으로 상기 저역 통과 필터링을 위하여 사용되는 저역 통과 필터를 설정함으로써 상기 복원된 제 1 성분 신호의 상기 공간적으로 저역 통과 필터링된 버전으로부터 상기 제 2 성분 신호의 복원을 적응시키도록 것을 특징으로 하는 디코더.
53. 실시 예 45에 있어서, 상기 디코더는 비닝(binning)을 사용하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 저역 통과 필터링된 버전에 이르게 하는 상기 공간적 저역 통과 필터링을 실행하도록 구성되는 것을 특징으로 하는 디코더.
54. 복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분을 기초로 하여 성분-간 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩함으로써, 그리고 상기 데이터 스트림 내로 상기 성분-간 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입함으로써, 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 인코딩하도록 구성되는 것을 특징으로 하는 인코더.
55. 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)를 복원하는 단계; 및
상기 복원된 제 1 성분 신호(2561; 2701) 및 데이터스트림으로부터 유도되는 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)을 복원하는 단계(400);를 포함하는 것을 특징으로 하는 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 디코딩하기 위한 방법.
56. 복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분을 기초로 하여 성분-간 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩하는 단계 및 상기 데이터 스트림 내로 상기 성분-간 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입하는 단계를 포함하는 것을 특징으로 하는 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 인코딩하기 위한 방법.
57. 컴퓨터 상에서 구동할 때, 실시 예 55 또는 56에 따른 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
100 : 인코더
102 : 다-성분 화상
104 : 데이터 스트림
106, 108, 110 : 성분
112 : 예측 잔류 형성기
114 : 변환기
116 : 양자화기
118 : 데이터 스트림 형성기
120 : 예측 신호
122 : 예측기
124 : 탈양자화기
126 : 재변환기
130, 1302, 1303 : 블록 기반 하이브리드 비디오 코딩 경로
132 : 성분-간 예측 잔류 형성기
134 : 재결합기
136 : 스펙트럼 도메인 성분-간 예측 잔류 형성기
138 : 스펙트럼 도메인 성분-간 예측/잔류 재결합기
140 : 공간 도메인 성분-간 잔류 예측기
142 : 스펙트럼 도메인 잔류 예측 신호
144 : 스펙트럼 도메인 성분-간 잔류 예측기
146, 148 : 파라미터
150 : 잔류 신호
154 : 예측 파라미터
1701, 1702, 1703 : 탈양자화된 잔류 신호
200 : 디코더
206, 208, 210 : 성분
218 : 데이터 스트림 추출기
222 : 예측기
224 : 탈양자화기
226 : 역 변환기
228 : 예측/잔류 재결합기
230 : 병렬 디코딩 경로
234 : 공간 도메인 성분-간 예측/잔류 재결합기
238 : 스펙트럼 도메인 성분-간 예측/잔류 재결합기
240 : 공간 도메인 성분-간 예측기
244 : 스펙트럼 도메인 성분-간 예측기
302 : 트리 루트 블록
304 : 코드 블록
308 : 예측 블록
312 : 잔류 블록
316 : 변환 블록
400 : 복원 모듈
402 : 복원된 제 1 성분 신호
404 : 복원된 제 2 성분 신호
406 : 성분 신호
440, 442 : 블록
470, 472 : 블록
490 : 구문 요소
500 : 비디오
510 : 고레벨 구문 요소 구조
514 : 제 1 가중 구문 요소
518 : 빈 스트링
520 : 빈 스트링들의 세트
522 : 매핑
524 : 구간 경계
526 : 제로 플래그
528 : 절대 경로
532 : 매핑의 공동 도메인
602 : 예측 파라미터
604 : 잔류/변환 블록
6081, 6082, 6083 : 잔류 데이터
610 : 제 1 성분 신호
6101, 6102, 6103 : 잔류 신호
612 : 성분-간 예측 플래그
6161, 6162, 6163 : 성분-간 예측 파라미터

Claims (57)

  1. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 디코딩하도록 구성되는 디코더에 있어서,
    데이터 스트림(104)으로부터 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)의 복원;
    상기 데이터스트림으로부터 유도된 상기 복원된 제 1 성분 신호(2561; 2701) 및 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)의 복원(400);에 의해,
    서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 디코딩하도록 구성되고,
    상기 제 1 및 제 2 성분들은 색 성분들이며, 상기 제 1 성분 신호는 상기 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이고 상기 제 2 성분 신호는 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이며,

    상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 데이터 스트림 내의 시그널링에 의존하여, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)이 서브-화상 입상도에서 상기 제 2 성분 신호의 복원에 영향을 미치는 제 1 가중(α2)을 적응적으로 설정하도록 구성되는 것을 특징으로 하는 디코더.
  2. 제 1항에 있어서, 상기 디코더는:
    상기 다-성분 화상(202)을 트리 블록들(302)로 규칙적으로 세분하고, 중복 멀티-트리 세분화를 사용하여 개별적으로 상기 트리 블록들을 코드 블록들(304)로 세분하며, 개별적으로 중복 멀티-트리 세분화를 사용하여 각각의 코드 블록을 예측 블록들(308)로 세분하고 중복 멀티-트리 세분화를 사용하여 각각의 코드블록을 잔류 블록들(312)로 세분하며, 상기 잔류 블록들을 변환 블록들(316)로 세분하도록 구성되며;
    상기 코드 블록들에 의존하거나 또는 상기 예측 블록들에 의존하는 입상도에서 상기 데이터 스트림에 의존하여 예측 모드들을 선택하도록 구성되며;
    상기 예측 블록들의 입상도에서 상기 데이터 스트림에 의존하여 예측 파라미터들을 설정하도록 구성되며;
    상기 예측 모드들 및 예측 파라미터들을 사용하여 예측 신호(2201, 2202, 2203)를 유도하도록 구성되며;
    개별적으로 상기 변환 블록들 내의 역 변환을 실행함으로써 각각의 잔류 블록 내의 잔류 신호(2561, 2562, 2563)를 유도하도록 구성되며; 및
    상기 잔류 신호를 사용하여 상기 예측 신호를 보정함으로써 상기 다-성분 화상(202)을 복원하도록 구성되는; 블록 기반 하이브리드로서 구성되고,
    상기 디코더는 상기 잔류 블록들 또는 변환 블록들의 입상도에서, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분과 관계없이 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분 및 상기 보정 신호로부터의 상기 제 2 성분 신호의 복원 및 상기 보정 신호로부터 상기 제 2 성분 신호의 복원의 실행 사이에서 스위칭하기 위하여, 상기 데이터 스트림 내의 시그널링(6142; 6143)에 응답하는 것을 특징으로 하는 디코더.
  3. 제 1항에 있어서, 상기 디코더는 공간 도메인 내의 상기 보정 신호를 획득하기 위하여 상기 데이터 스트림(104)으로부터 유도되는 상기 제 2 성분(208)에 관한 스펙트럼 계수들 상으로의 역 스펙트럼 변환(2262)을 실행함으로써 상기 보정 신호(2562)를 획득하도록 구성되는 것을 특징으로 하는 디코더.
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서, 상기 디코더는:
    적어도 화상 범위를 갖는, 데이터 스트림으로부터 고레벨 구문 요소 구조(510)의 유도;
    상기 적어도 화상 범위에서, 상기 고레벨 구문 요소 구조를 사용하여 미리 결정된 이진화의 가능한 빈 스트링들(518)의 도메인 세트로부터 상기 제 1 가중의 가능한 값들의 공동 도메인(520) 상으로의 매핑(522)의 구성; 및
    서브-화상 입상도에서, 상기 미리 결정된 이진화를 사용하여 상기 데이터 스트림으로부터 제 1 가중 구문 요소(514)의 판독 및 상기 제 1 가중 구문 요소의 빈 스트링의 상기 매핑으로의 대상화;에 의해,
    상기 제 1 가중을 설정하도록 구성되는 것을 특징으로 하는 디코더.
  7. 제 1항에 있어서, 상기 디코더는 상기 제 2 성분 신호(208)를 복원하는데 있어서, 서브-화상 입상도에서 상기 보정 신호가 상기 제 2 성분 신호의 복원에 영향을 미치는 제 2 가중을 적응적으로 설정하도록 구성되는 것을 특징으로 하는 디코더.
  8. 제 1항에 있어서, 상기 디코더는 상기 제 2 성분 신호(208)를 복원하는데 있어서, 상기 복원된 제 2 성분 신호를 획득하도록 상기 보정 신호의 가중된 합계의 가중들 및 서브-화상 입상도에서 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)을 적응적으로 설정하고 적어도 화상 당 일정한 스칼라 함수의 스칼라 인수로서 가중된 합계를 사용하도록 구성되는 것을 특징으로 하는 디코더.
  9. 제 1항에 있어서, 상기 디코더는 서브-화상 입상도에서, 상기 제 2 성분 신호의 복원에 있어서,
    공간 도메인 내의 상기 보정 신호(x)를 획득하기 위하여 상기 데이터 스트림으로부터 유도되는 상기 제 2 성분(208)에 관한 스펙트럼 계수들 상으로의 역 스펙트럼 변환의 실행 및 상기 공간 도메인 내의 상기 보정 신호(x)를 사용하는 상기 제 2 성분 신호(z)의 복원(400), 및
    상기 데이터 스트림으로부터 스펙트럼 도메인 내의 상기 보정 신호(x)의 획득, 상기 스펙트럼 도메인 내에서, 상기 스펙트럼 도메인 내에서 획득된 상기 보정 신호(x)를 사용하여 상기 제 2 성분 신호(z)의 복원(400), 및 상기 스펙트럼 도메인 내에서, 복원된 제 2 성분 신호(z)를 역 스펙트럼 변환으로 대상화,
    사이를 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.
  10. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 디코딩하도록 구성되는 디코더에 있어서,
    데이터 스트림(104)으로부터 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)의 복원;
    상기 데이터 스트림으로부터 유도된 상기 복원된 제 1 성분 신호(2561; 2701) 및 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)의 복원(400);에 의해,
    서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 디코딩하도록 구성되고,
    상기 제 1 및 제 2 성분들은 색 성분들이며, 상기 제 1 성분 신호는 상기 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이고 상기 제 2 성분 신호는 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이며,

    상기 디코더는 상기 복원된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 제 1 성분 신호를 복원하기 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원의 실행 및 상기 복원의 반전(reversing) 사이에서 서브-화상 입상도에서, 상기 제 2 성분 신호의 복원 방향을 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.
  11. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 디코딩하도록 구성되는 디코더에 있어서,
    데이터 스트림(104)으로부터 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)의 복원;
    상기 데이터 스트림으로부터 유도된 상기 복원된 제 1 성분 신호(2561; 2701) 및 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)의 복원(400);에 의해,
    서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 디코딩하도록 구성되고,
    상기 제 1 및 제 2 성분들은 색 성분들이며, 상기 제 1 성분 신호는 상기 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이고 상기 제 2 성분 신호는 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이며,

    상기 디코더는 역방향 구동 방식으로, 상기 복원된 제 1 성분 신호를 기초로 하는 상기 제 2 성분의 복원의 가능화(enabling) 및 상기 복원된 제 1 성분 신호를 기초로 하는 상기 제 2 성분의 복원의 불능화(disabling) 사이를 국부적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.
  12. 제 11항에 있어서,
    상기 디코더는 상기 제 1 성분 신호가 상기 다-성분 화상의 상기 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류인 것과 같이 구성되고, 상기 다-성분 화상의 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 제 1 성분 신호를 사용하여 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상의 상기 제 1 성분을 복원하도록 구성되며,
    상기 디코더는 상기 제 2 성분 신호가 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류인 것과 같이 구성되고, 상기 다-성분 화상의 상기 제 2 성분의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 제 2 성분 신호를 사용하여 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상의 상기 제 2 성분을 복원하도록 구성되며,
    상기 디코더는 상기 제 1 및 제 2 성분 신호들이 공간 예측의 잔류 신호들인지 및 상기 공간 예측의 예측간 모드가 일치하는지를 국부적으로 검사함으로써, 혹은 상기 제 1 및 제 2 성분 신호들이 공간 예측의 잔류 신호들인지 및 상기 공간 예측의 예측간 모드가 미리 결정된 양 이상에 의해 벗어나지 않는지를 국부적으로 검사함으로써, 국부적 스위칭을 실행하도록 구성되는 것을 특징으로 하는 디코더.
  13. 제 1항에 있어서, 상기 디코더는 상기 제 2 구문 요소에 의존하여,
    상기 데이터 스트림을 파싱하는데 잇어서 상기 데이터 스트림으로부터 서브-화상 레벨 구문 요소들을 판독하고 상기 서브-화상 레벨 구문 요소들을 기초로 하는 서브-화상 입상도에서 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 적응시키기 하기 위하여, 그리고
    비-적응적으로 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 실행하기 위하여,
    상기 데이터 스트림 내의 제 2 구문 요소에 응답하는 것을 특징으로 하는 디코더.
  14. 제 1항에 있어서, 상기 제 1 및 제 2 성분들(206, 208)은 3개의 색 성분 중 두 개이고, 상기 디코더는 또한 상기 복원된 제 1 또는 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제3 색 성분(210)에 관한 제 3 성분 신호 및 상기 제 3 성분을 위하여 상기 데이터 스트림으로부터 유도되는 보정 신호를 복원하도록 구성되고, 상기 디코더는 개별적으로 서브-화상 레벨 적응적으로 상기 제 2 및 제 3 성분 신호들의 복원을 실행하도록 구성되는 것을 특징으로 하는 디코더.
  15. 제 1항에 있어서, 상기 디코더는 상기 데이터 스트림을 파싱하는데 있어서 상기 데이터 스트림으로부터 서브-화상 레벨 구문 요소들을 판독하고 상기 서브-화상 레벨 구문 요소들을 기초로 하는 서브-화상 입상도에서 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 적응시키며, 상기 데이터 스트림을 파싱하는데 있어서, 상기 제 2 성분의 현재 디코딩되는 부분을 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)이 제로인지를 검사하며, 상기 검사에 의존하여,
    상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 분명하게 판독하고 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원을 실행하거나, 혹은
    상기 분명한 판독을 생략하도록 구성되는 것을 특징으로 하는 디코더.
  16. 제 1항에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 복원된 제 1 성분 신호의 공간적으로 상응하는 부분을 공간적으로 재스케일링하도록 구성되거나, 또는 상기 복원된 제 1 성분 신호의 공간적으로 상응하는 부분에 비트 깊이 정밀 매핑을 실행하도록 구성되는 것을 특징으로 하는 디코더.
  17. 제 1항에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 복원된 제 1 성분 신호의 공간적으로 저역 통과 필터링된 버전으로부터 상기 제 2 성분 신호를 복원하도록 구성되는 것을 특징으로 하는 디코더.
  18. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 인코딩하도록 구성되는 인코더에 있어서,
    복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분으로부터의 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩함으로써, 그리고 데이터 스트림 내로 상기 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입함으로써, 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 인코딩하도록 구성되며,

    상기 인코더는 상기 제 2 성분 신호를 인코딩하는데 있어서, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)이 서브-화상 입상도에서 상기 제 2 성분 신호의 복원에 영향을 미치는 제 1 가중(α2)을 적응적으로 설정하고, 상기 데이터 스트림 내에서 상기 제 1 가중(α2)을 시그널링하도록 구성되는 것을 특징으로 하는 인코더.
  19. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 디코딩하기 위한 방법에 있어서,
    데이터 스트림(104)으로부터 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)를 복원하는 단계; 및
    상기 복원된 제 1 성분 신호(2561; 2701) 및 데이터 스트림으로부터 유도되는 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)을 복원하는 단계(400);를 포함하고,
    상기 제 1 및 제 2 성분들은 색 성분들이며, 상기 제 1 성분 신호는 상기 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이고 상기 제 2 성분 신호는 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이며,

    상기 제 2 성분 신호를 복원하는 것은, 상기 데이터 스트림 내의 시그널링에 의존하여, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)이 서브-화상 입상도에서 상기 제 2 성분 신호의 복원에 영향을 미치는 제 1 가중(α2)을 적응적으로 설정하는 것을 포함하는, 다-성분 화상(202)을 디코딩하기 위한 방법.
  20. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 인코딩하기 위한 방법에 있어서,
    복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분을 기초로 하여 성분-간 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩하는 단계 및 데이터 스트림 내로 상기 성분-간 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입하는 단계를 포함하고,
    상기 제 1 및 제 2 성분들은 색 성분들이며, 상기 제 1 성분 신호는 상기 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이고 상기 제 2 성분 신호는 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이며,

    상기 제 2 성분 신호를 인코딩하는 것은, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)이 서브-화상 입상도에서 상기 제 2 성분 신호의 복원에 영향을 미치는 제 1 가중(α2)을 적응적으로 설정하고, 상기 데이터 스트림 내에서 상기 제 1 가중(α2)을 시그널링하는 것을 포함하는, 다-성분 화상(202)을 인코딩하기 위한 방법.
  21. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 인코딩하도록 구성되는 인코더에 있어서,
    복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분으로부터의 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩함으로써, 그리고 데이터 스트림 내로 상기 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입함으로써, 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 인코딩하도록 구성되며,

    상기 인코더는 상기 복원된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 예측에 의해 상기 제 1 성분 신호를 인코딩하기 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 예측에 의해 상기 제 2 성분 신호의 인코딩의 실행 및 상기 인코딩의 반전(reversing) 사이의 상기 제 2 성분 신호의 인코딩 방향을, 서브-화상 입상도에서, 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 인코더.
  22. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 디코딩하기 위한 방법에 있어서,
    데이터 스트림(104)으로부터 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)를 복원하는 단계; 및
    상기 복원된 제 1 성분 신호(2561; 2701) 및 데이터 스트림으로부터 유도되는 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)을 복원하는 단계(400);를 포함하고,
    상기 제 1 및 제 2 성분들은 색 성분들이며, 상기 제 1 성분 신호는 상기 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이고 상기 제 2 성분 신호는 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이며,

    상기 방법은 상기 복원된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 제 1 성분 신호를 복원하기 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원의 실행 및 상기 복원의 반전(reversing) 사이에서 서브-화상 입상도에서, 상기 제 2 성분 신호의 복원 방향을 적응적으로 스위칭하는 것을 포함하는, 다-성분 화상(202)을 디코딩하기 위한 방법.
  23. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 인코딩하기 위한 방법에 있어서,
    복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분을 기초로 하여 성분-간 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩하는 단계 및 데이터 스트림 내로 상기 성분-간 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입하는 단계를 포함하고,
    상기 제 1 및 제 2 성분들은 색 성분들이며, 상기 제 1 성분 신호는 상기 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이고 상기 제 2 성분 신호는 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이며,

    상기 방법은 상기 복원된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 예측에 의해 상기 제 1 성분 신호를 복원하기 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 예측에 의해 상기 제 2 성분 신호의 인코딩의 실행 및 상기 인코딩의 반전(reversing) 사이에서 서브-화상 입상도에서, 상기 제 2 성분 신호의 인코딩 방향을 적응적으로 스위칭하는 것을 포함하는, 다-성분 화상(202)을 인코딩하기 위한 방법.
  24. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 인코딩하도록 구성되는 인코더에 있어서,
    복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분으로부터의 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩함으로써, 그리고 데이터 스트림 내로 상기 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입함으로써, 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 인코딩하도록 구성되며,

    상기 인코더는 역방향 구동 방식으로, 상기 복원된 제 1 성분 신호로부터 예측에 의한 상기 제 2 성분의 인코딩의 가능화(enabling), 및 상기 복원된 제 1 성분 신호로부터 예측에 의한 상기 제 2 성분의 인코딩의 불능화(disabling) 사이를 국부적으로 스위칭하도록 구성되는 것을 특징으로 하는 인코더.
  25. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 디코딩하기 위한 방법에 있어서,
    데이터 스트림(104)으로부터 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)를 복원하는 단계; 및
    상기 복원된 제 1 성분 신호(2561; 2701) 및 데이터 스트림으로부터 유도되는 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)을 복원하는 단계(400);를 포함하고,
    상기 제 1 및 제 2 성분들은 색 성분들이며, 상기 제 1 성분 신호는 상기 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이고 상기 제 2 성분 신호는 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이며,

    상기 방법은 역방향 구동 방식으로, 상기 복원된 제 1 성분 신호를 기초로 하는 상기 제 2 성분의 복원의 가능화(enabling) 및 상기 복원된 제 1 성분 신호를 기초로 하는 상기 제 2 성분의 복원의 불능화(disabling) 사이를 국부적으로 스위칭하는 것을 포함하는, 다-성분 화상(202)을 디코딩하기 위한 방법.
  26. 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 인코딩하기 위한 방법에 있어서,
    복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분을 기초로 하여 성분-간 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩하는 단계 및 데이터 스트림 내로 상기 성분-간 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입하는 단계를 포함하고,
    상기 제 1 및 제 2 성분들은 색 성분들이며, 상기 제 1 성분 신호는 상기 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이고 상기 제 2 성분 신호는 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이며,

    상기 방법은 역방향 구동 방식으로, 상기 복원된 제 1 성분 신호로부터 예측에 의한 상기 제 2 성분의 인코딩의 가능화(enabling), 및 상기 복원된 제 1 성분 신호로부터 예측에 의한 상기 제 2 성분의 인코딩의 불능화(disabling) 사이를 국부적으로 스위칭하는 것을 포함하는, 다-성분 화상(202)을 인코딩하기 위한 방법.
  27. 제 20항에 따른 방법을 이용하여 다-성분 화상(202)이 인코딩된 데이터 스트림을 저장한 디지털 저장 매체.
  28. 제 23항에 따른 방법을 이용하여 다-성분 화상(202)이 인코딩된 데이터 스트림을 저장한 디지털 저장 매체.
  29. 제 26항에 따른 방법을 이용하여 다-성분 화상(202)이 인코딩된 데이터 스트림을 저장한 디지털 저장 매체.
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
KR1020157031918A 2013-04-08 2014-04-08 성분-간 예측 KR101770317B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361809608P 2013-04-08 2013-04-08
US61/809,608 2013-04-08
US201361846450P 2013-07-15 2013-07-15
US61/846,450 2013-07-15
EP14150373 2014-01-07
EP14150373.0 2014-01-07
PCT/EP2014/057090 WO2014166965A1 (en) 2013-04-08 2014-04-08 Inter-component prediction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177022824A Division KR102127280B1 (ko) 2013-04-08 2014-04-08 성분-간 예측

Publications (2)

Publication Number Publication Date
KR20150140352A KR20150140352A (ko) 2015-12-15
KR101770317B1 true KR101770317B1 (ko) 2017-09-05

Family

ID=49943174

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020207017995A KR102245088B1 (ko) 2013-04-08 2014-04-08 성분-간 예측
KR1020227017161A KR102573801B1 (ko) 2013-04-08 2014-04-08 성분-간 예측
KR1020177022824A KR102127280B1 (ko) 2013-04-08 2014-04-08 성분-간 예측
KR1020237029412A KR20230131286A (ko) 2013-04-08 2014-04-08 성분-간 예측
KR1020157031918A KR101770317B1 (ko) 2013-04-08 2014-04-08 성분-간 예측

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020207017995A KR102245088B1 (ko) 2013-04-08 2014-04-08 성분-간 예측
KR1020227017161A KR102573801B1 (ko) 2013-04-08 2014-04-08 성분-간 예측
KR1020177022824A KR102127280B1 (ko) 2013-04-08 2014-04-08 성분-간 예측
KR1020237029412A KR20230131286A (ko) 2013-04-08 2014-04-08 성분-간 예측

Country Status (11)

Country Link
US (4) US10237567B2 (ko)
EP (3) EP2984837B1 (ko)
JP (3) JP2016519898A (ko)
KR (5) KR102245088B1 (ko)
CN (5) CN113259684B (ko)
DK (1) DK2984837T3 (ko)
ES (1) ES2665908T3 (ko)
HU (1) HUE038732T2 (ko)
PL (1) PL2984837T3 (ko)
PT (1) PT2984837T (ko)
WO (1) WO2014166965A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122020008249B1 (pt) 2010-04-13 2021-02-17 Ge Video Compression, Llc herança em amostra de arranjo em subdivisão multitree
CN106231337B (zh) 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
EP3703369B1 (en) 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
CN106067983B (zh) * 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
KR102245088B1 (ko) * 2013-04-08 2021-04-28 지이 비디오 컴프레션, 엘엘씨 성분-간 예측
WO2015055832A1 (en) * 2013-10-18 2015-04-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-component picture or video coding concept
US10291915B2 (en) * 2014-03-06 2019-05-14 Samsung Electronics Co., Ltd. Video decoding method and apparatus and video encoding method and apparatus
US10200700B2 (en) * 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
EP3104610A1 (en) * 2015-06-10 2016-12-14 Thomson Licensing Method and device for encoding color differences for color picture data
JP2019519148A (ja) * 2016-05-13 2019-07-04 ヴィド スケール インコーポレイテッド ビデオ符号化のための一般化された多重仮説予測（Ｇｅｎｅｒａｌｉｚｅｄ Ｍｕｌｔｉ−Ｈｙｐｏｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ）のためのシステムおよび方法
WO2017203882A1 (en) * 2016-05-24 2017-11-30 Sharp Kabushiki Kaisha Systems and methods for intra prediction coding
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
JP2018056685A (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
WO2018128380A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10867085B2 (en) * 2017-03-10 2020-12-15 General Electric Company Systems and methods for overlaying and integrating computer aided design (CAD) drawings with fluid models
US10409950B2 (en) 2017-03-10 2019-09-10 General Electric Company Systems and methods for utilizing a 3D CAD point-cloud to automatically create a fluid model
US10803211B2 (en) 2017-03-10 2020-10-13 General Electric Company Multiple fluid model tool for interdisciplinary fluid modeling
US11004568B2 (en) 2017-03-10 2021-05-11 Altair Engineering, Inc. Systems and methods for multi-dimensional fluid modeling of an organism or organ
US10977397B2 (en) 2017-03-10 2021-04-13 Altair Engineering, Inc. Optimization of prototype and machine design within a 3D fluid modeling environment
KR102424411B1 (ko) * 2017-04-13 2022-07-25 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2019147628A1 (en) 2018-01-24 2019-08-01 Vid Scale, Inc. Generalized bi-prediction for video coding with reduced coding complexity
KR102596104B1 (ko) 2018-06-11 2023-10-30 에이치에프아이 이노베이션 인크. 비디오 코딩을 위한 양방향 광학 흐름의 방법 및 장치
WO2019244931A1 (ja) * 2018-06-19 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
IL280695B1 (en) 2018-08-09 2024-10-01 Guangdong Oppo Mobile Telecommunications Corp Ltd Method and apparatus for predicting a video image component and storage medium in a computer
CN112930684B (zh) * 2018-08-17 2023-10-13 寰发股份有限公司 在视频编解码系统中利用双向预测处理视频的方法、设备
CN118741097A (zh) 2018-12-12 2024-10-01 数码士有限公司 使用当前图片参考的视频信号处理方法和设备
CN113055671B (zh) * 2019-01-10 2022-09-02 Oppo广东移动通信有限公司 图像解码方法、解码器及计算机存储介质
WO2020171681A1 (ko) * 2019-02-19 2020-08-27 주식회사 윌러스표준기술연구소 인트라 예측 기반 비디오 신호 처리 방법 및 장치
CN113678450B (zh) * 2019-03-12 2024-09-13 弗劳恩霍夫应用研究促进协会 用于图像和视频编码的选择性分量间变换(ict)
EP3918790A4 (en) 2019-03-24 2022-04-13 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR QUANTIFYING COEFFICIENTS FOR A MATRIX-BASED INTRA PREDICTION (MIP) TECHNIQUE
CN113906753B (zh) 2019-04-24 2023-12-01 字节跳动有限公司 编解码视频的量化残差差分脉冲编解码调制表示的约束
CN113796069B (zh) 2019-05-01 2024-03-08 字节跳动有限公司 使用量化残差差分脉冲编解码调制编解码的帧内编解码视频
CN113785306B (zh) 2019-05-02 2024-06-14 字节跳动有限公司 基于编解码树结构类型的编解码模式
EP3949387A4 (en) * 2019-05-02 2022-05-18 ByteDance Inc. SIGNALING IN A TRANSFORM JUMP MODE
US11509910B2 (en) * 2019-09-16 2022-11-22 Tencent America LLC Video coding method and device for avoiding small chroma block intra prediction
US11284111B2 (en) * 2019-10-10 2022-03-22 Tencent America LLC Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
CA3159585A1 (en) * 2019-10-28 2021-05-06 Lg Electronics Inc. Image encoding/decoding method and device using adaptive color transform, and method for transmitting bitstream
WO2021136498A1 (en) * 2019-12-31 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. Multiple reference line chroma prediction
WO2021249684A1 (en) 2020-06-10 2021-12-16 Huawei Technologies Co., Ltd. Adaptive image enhancement using inter-channel correlation information
US11930177B2 (en) 2021-10-29 2024-03-12 Tencent America LLC Primary transforms for cross-component level reconstruction

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1007211A5 (nl) * 1993-06-10 1995-04-25 Barco Werkwijze en inrichting voor het converteren van een beeld.
US6556624B1 (en) * 1999-07-27 2003-04-29 At&T Corp. Method and apparatus for accomplishing multiple description coding for video
EP1478189A3 (en) * 2003-05-16 2004-12-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
US8014450B2 (en) * 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
EP1585060A1 (en) * 2004-04-06 2005-10-12 Visiowave S.A. Subband video coding with temporal prediction
CN101160972B (zh) * 2005-04-13 2010-05-19 汤姆逊许可公司 利用公共预测器的亮度和色度编码
WO2006112992A1 (en) * 2005-04-13 2006-10-26 Thomson Licensing Luma-chroma coding with one common or three distinct spatial predictors
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
CN101288311B (zh) * 2005-10-12 2011-05-11 汤姆森特许公司 用于可分级视频编码和解码中的加权预测的方法和装置
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101311402B1 (ko) * 2006-03-23 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8848789B2 (en) * 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
KR101311403B1 (ko) * 2006-07-04 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
BRPI0817888A2 (pt) * 2007-10-15 2015-03-31 Mitsubishi Electric Corp Dispositivos e métodos de codificação e de decodificação de imagem.
JP4870120B2 (ja) * 2008-05-16 2012-02-08 株式会社Ｊｖｃケンウッド 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US8279924B2 (en) * 2008-10-03 2012-10-02 Qualcomm Incorporated Quantization parameter selections for encoding of chroma and luma video blocks
CN102047670B (zh) * 2009-03-26 2014-03-12 松下电器产业株式会社 编码装置及方法、错误检测装置及方法、解码装置及方法
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
CN102726043B (zh) * 2009-11-06 2016-03-02 弗劳恩霍夫应用研究促进协会 混合视频编码
CN102640497B (zh) * 2009-11-30 2014-12-31 日本电气株式会社 视频编码设备和视频解码设备
JP5421757B2 (ja) 2009-12-11 2014-02-19 株式会社Ｋｄｄｉ研究所 画像符号化装置
JP5547301B2 (ja) * 2010-01-25 2014-07-09 トムソン ライセンシング 各色平面について別個のビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコード方法およびビデオ・デコード方法
EP2559239A2 (en) * 2010-04-13 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
EP2559243B1 (en) * 2010-04-13 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
WO2011127963A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
CN106067983B (zh) * 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
CN106231337B (zh) * 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
US9438881B2 (en) * 2010-07-19 2016-09-06 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
JP5512502B2 (ja) * 2010-12-13 2014-06-04 日本放送協会 符号化装置、復号装置及びプログラム
MY173604A (en) * 2011-03-11 2020-02-10 Sony Corp Image processing apparatus and method
CN103119944B (zh) * 2011-05-20 2017-04-12 太阳专利托管公司 用于使用色彩平面间预测对视频进行编码和解码的方法和装置
JP5707261B2 (ja) * 2011-07-12 2015-04-22 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US20130051467A1 (en) * 2011-08-31 2013-02-28 Apple Inc. Hybrid inter/intra prediction in video coding systems
KR101591352B1 (ko) * 2012-04-16 2016-02-04 한국전자통신연구원 비디오 복호화 장치
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9781447B1 (en) * 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
KR102245088B1 (ko) * 2013-04-08 2021-04-28 지이 비디오 컴프레션, 엘엘씨 성분-간 예측
WO2016124711A1 (en) * 2015-02-05 2016-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-video codec supporting inter-component prediction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Francois Pasteau ET AL., European Signal Processing Conference, EU-SIPCO, Aug 2011, Barcelona, Spain. pp.1-5, 2011.06.14.*

Also Published As

Publication number Publication date
KR20150140352A (ko) 2015-12-15
CN113259681A (zh) 2021-08-13
CN113259682A (zh) 2021-08-13
CN113259684B (zh) 2024-09-17
KR20220073861A (ko) 2022-06-03
KR102245088B1 (ko) 2021-04-28
EP3955577A2 (en) 2022-02-16
CN105409218A (zh) 2016-03-16
KR20230131286A (ko) 2023-09-12
CN113259683B (zh) 2024-08-23
US10743013B2 (en) 2020-08-11
EP2984837A1 (en) 2016-02-17
EP2984837B1 (en) 2018-01-17
CN113259681B (zh) 2024-08-23
US10237567B2 (en) 2019-03-19
CN113259684A (zh) 2021-08-13
JP2019146218A (ja) 2019-08-29
JP2016519898A (ja) 2016-07-07
WO2014166965A1 (en) 2014-10-16
KR102127280B1 (ko) 2020-06-26
EP3340628A1 (en) 2018-06-27
ES2665908T3 (es) 2018-04-30
US20200374538A1 (en) 2020-11-26
US20230283792A1 (en) 2023-09-07
PT2984837T (pt) 2018-04-26
JP6962576B2 (ja) 2021-11-05
KR102573801B1 (ko) 2023-09-07
DK2984837T3 (en) 2018-04-30
CN113259683A (zh) 2021-08-13
JP7540985B2 (ja) 2024-08-27
KR20170097790A (ko) 2017-08-28
EP3955577A3 (en) 2022-03-16
US20160029035A1 (en) 2016-01-28
KR20200077610A (ko) 2020-06-30
US20190158861A1 (en) 2019-05-23
PL2984837T3 (pl) 2018-07-31
CN105409218B (zh) 2021-05-25
US11595674B2 (en) 2023-02-28
EP3340628B1 (en) 2021-03-31
JP2022008930A (ja) 2022-01-14
HUE038732T2 (hu) 2018-11-28

Similar Documents

Publication Publication Date Title
KR101770317B1 (ko) 성분-간 예측
US20230276071A1 (en) Intra prediction method of chrominance block using luminance sample, and apparatus using same
US20210377519A1 (en) Intra prediction-based video signal processing method and device
CN114765688A (zh) 用于解码器侧帧内模式导出的模板的使用
CN114793280A (zh) 用于跨分量预测的方法和装置
CN103270700A (zh) 使用平面表达的增强帧内预测编码
US20240283947A1 (en) Coding of transform coefficients in video coding
KR20210046861A (ko) 성분-간 예측

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant