KR20210046861A - Inter-component prediction - Google Patents
Inter-component prediction Download PDFInfo
- Publication number
- KR20210046861A KR20210046861A KR1020217011884A KR20217011884A KR20210046861A KR 20210046861 A KR20210046861 A KR 20210046861A KR 1020217011884 A KR1020217011884 A KR 1020217011884A KR 20217011884 A KR20217011884 A KR 20217011884A KR 20210046861 A KR20210046861 A KR 20210046861A
- Authority
- KR
- South Korea
- Prior art keywords
- component
- prediction
- signal
- residual
- decoder
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
제 2 성분에 대한 데이터 스트림으로부터 유도되는 보정 신호 및 복원된 제 1 성분 신호의 공간적으로 상응하는 부분으로부터 다-성분 화상의 제 2 성분에 관한 제 2 성분 신호의 복원은 다-성분 화상 콘텐츠의 더 광범위한 범위에 걸쳐 증가된 코딩 효율을 보장한다. 제 2 성분 신호의 복원 내에 복원된 제 1 성분 신호의 공간적으로 상응하는 부분을 포함함으로써, 가능하게는 우선 실행되는 성분 공간 변환에도 불구하고 여전히 존재하는 것과 같이 존재하거나, 또는 그러한 우선 실행되는 성분 공간 변환에 의해 도입되었기 때문에 존재하는 어떠한 나머지 성분-간 중복들/상관관계들도 예를 들면, 제 2 성분 신호의 성분-간 중복/상관관계 감소에 의해 쉽게 제거될 수 있다.Reconstruction of the second component signal for the second component of the multi-component image from the correction signal derived from the data stream for the second component and the spatially corresponding portion of the reconstructed first component signal It ensures increased coding efficiency over a wide range. By including a spatially corresponding portion of the reconstructed first component signal in the reconstruction of the second component signal, possibly present as still exist despite the component space transformation performed first, or such preferentially executed component space. Any remaining inter-component redundancy/correlation existing since introduced by the transformation can be easily removed, for example, by reducing the inter-component redundancy/correlation of the second component signal.
Description
본 발명은 루마(luma) 및 크로마(chroma) 사이와 같은 다-성분 화상 코딩(multi-component picture coding)에서의 성분-간 예측(inter-component prediction)에 관한 것이다.The present invention relates to inter-component prediction in multi-component picture coding, such as between luma and chroma.
이미지 및 비디오 신호 처리에 있어서, 색 정보는 일반적으로 R'G'B' 또는 Y'CbCr 같은 세 가지 성분으로 구성되는 색 공간 내에 주로 표현된다. 제 1 성분, Y'CbCr의 경우에 Y'은 흔히 루마로서 언급되고 나머지 두 개의 성분, Y'CbCr의 경우에 Cb 및 Cr 성분들 또는 평면(plane)들은 크로마로서 언급된다. R'G'B' 색 공간에 대한 Y'CbCr 색 공간의 장점은 주로 크로마 성분들의 잔류 특성들인데, 즉 크로마 성분들은 R'G'B' 같은 절대 색 공간들의 크로마 신호들과 비교하여 더 적은 에너지 또는 진폭을 포함한다. 특히 Y'CbCr을 위하여, 루마 성분은 이미지 또는 비디오의 그레이 스케일(grey scale) 정보를 나타내고 크로마 성분(Cb)은 각각 청색 원색에 대한 차이를 나타내고 Cr은 적색 원색에 대한 차이를 나타낸다. In image and video signal processing, color information is usually expressed mainly in a color space composed of three components, such as R'G'B' or Y'CbCr. The first component, Y'in the case of Y'CbCr, is often referred to as luma and the other two components, the Cb and Cr components or planes in the case of Y'CbCr, are referred to as chroma. The advantage of the Y'CbCr color space over the R'G'B' color space is mainly the residual characteristics of the chroma components, i.e., the chroma components are less compared to the chroma signals of the absolute color spaces such as R'G'B'. Includes energy or amplitude. In particular, for Y'CbCr, the luma component represents gray scale information of the image or video, the chroma component (Cb) represents the difference with respect to the blue primary color, and Cr represents the difference with the red primary color.
이미지와 비디오 압축 및 처리의 적용 공간에 있어서, R'G'B'부터 Y'CbCr까지의 색 공간 변환이 서로 다른 색 성분들 또는 평면들 사이의 상관관계를 감소시키거나 또는 제거한다는 사실에 기인하여 Y'CbCr 신호들이 R'G'B'에 대하여 바람직하다. 상관관계 제거에 더하여, 더 적은 정보가 전송되어야만 하고, 따라서 색 변환은 또한 압축 접근법으로서 작용한다. 상관관계 제거 또는 감소에서의 그러한 처리는 높은 압축 효율을 가능하게 하나 일례로서 의미있는 양으로 복잡도를 유지하거나 또는 증가시킨다. 하이브리드 비디오 압축 전략은 흔히 Y'CbCr 입력을 위하여 디자인되는데 그 이유는 서로 다른 색 성분들 사이의 상관관계가 제거될 수 있거나 또는 감소될 수 있고 하이브리드 압축 전략들의 디자인들이 서로 다른 성분들의 개별 처리만을 고려해야만 하기 때문이다. 그러나, R'G'B'로부터 Y'CbCr로의 변환 및 그 반대의 변환은 무손실이 아니며, 따라서 정보, 즉 원래 색 공간 내에서 이용 가능한 샘플 값들이 그러한 색 변환 이후에 손실될 수 있다. 이러한 문제점은 원래 색 공간으로부터 그리고 다시 원래 색 공간까지 무손실 변환을 포함하는 색 공간들을 사용하여, 예를 들면, R'G'B' 입력을 가질 때 Y'CoCg 색 공간을 사용하여 방지될 수 있다. 그럼에도 불구하고, 고정된 색 공간 변환들은 적용에 의존하여 차선의 결과들에 이르게 할 수 있다. 이미지 및 비디오 압축을 위하여, 고정된 변환들은 색 평면들 사이에 높은 상관관계를 갖거나 또는 상관관계가 없이 높은 비트 레이트들과 비-자연적 신호들에 대하여 차선책이 된다. 두 번째 경우에, 고정된 변환은 서로 다른 신호들 사이의 상관관계를 도입할 수 있고, 첫 번째 경우에, 고정된 변환은 서로 다른 신호들 사이의 모든 상관관계를 제거하지 않을 수 있다. 게다가, 변환의 전역(global) 적용에 기인하여, 보정(correction)은 서로 다른 성분들 또는 평면들로부터 국부적으로(locally) 또는 심지어 전역으로 완전히 제거되지 않을 수 있다. 또 다른 문제점이 이미지 또는 비디오 인코더의 구조 내에 위치하는 색 공간 변환에 의해 도입된다. 일반적으로, 최적 과정은 흔히 입력 색 공간에 대하여 정의되는 거리 매트릭스인, 비용 함수를 감소시키려고 시도한다. 변환된 입력 신호들의 경우에, 부가적인 처리 단계들 때문에 원래 입력 신호를 위한 최적 결과를 달성하기가 어렵다. 그 결과, 최적 과정은 원래 입력 신호를 위한 것이 아닌 변환된 신호를 위한 최소 비용을 야기한다. 변환들이 흔히 선형이더라도, 최적화 과정에서의 비용 계산은 흔히 시그널링 오버헤드(signaling overhead)을 포함하고 최종 결정을 위한 비용은 그리고 나서 라그랑지안(Lagrangian) 공식에 의해 계산된다. 후자는 서로 다른 비용 값 및 서로 다른 최적화 결정에 이르게 할 수 있다. 색 변환 양상은 특히 중요한데 그 이유는 현대 이미지 및 비디오 디스플레이들이 일반적으로 콘텐츠 표현을 위하여 R'G'B' 색 구성을 사용하기 때문이다. 일반적으로, 변환들은 신호 내 또는 신호들 사이의 보정이 제거되어야만 하거나 또는 감소되어야만 할 대 적용된다. 그 결과, 색 공간 변환은 더 포괄적인 변환 접근법의 특별한 경우이다.In the application space of image and video compression and processing, due to the fact that the color space conversion from R'G'B' to Y'CbCr reduces or eliminates the correlation between different color components or planes. Thus, Y'CbCr signals are preferred for R'G'B'. In addition to the correlation removal, less information has to be transmitted, so color conversion also acts as a compression approach. Such a treatment in correlating removal or reduction enables high compression efficiency but, as an example, maintains or increases complexity in a meaningful amount. Hybrid video compression strategies are often designed for Y'CbCr input because the correlation between different color components can be eliminated or reduced, and the designs of hybrid compression strategies only take into account the individual processing of the different components. Because it does. However, the conversion from R'G'B' to Y'CbCr and vice versa is not lossless, so information, i.e. sample values available in the original color space, may be lost after such color conversion. This problem can be avoided by using color spaces containing a lossless transformation from the original color space and back to the original color space, for example using the Y'CoCg color space when having an R'G'B' input. . Nevertheless, fixed color space transformations can lead to suboptimal results depending on the application. For image and video compression, fixed transforms are suboptimal for high bit rates and non-natural signals with or without a high correlation between the color planes. In the second case, the fixed transform may introduce correlations between different signals, and in the first case, the fixed transform may not remove all correlations between the different signals. In addition, due to the global application of the transformation, the correction may not be completely removed locally or even globally from different components or planes. Another problem is introduced by color space transformations located within the structure of an image or video encoder. In general, the optimization process attempts to reduce the cost function, often a distance matrix defined for the input color space. In the case of transformed input signals, it is difficult to achieve optimal results for the original input signal due to additional processing steps. As a result, the optimization process leads to a minimum cost for the converted signal and not for the original input signal. Although the transforms are often linear, the cost calculation in the optimization process often includes the signaling overhead and the cost for the final decision is then calculated by the Lagrangian formula. The latter can lead to different cost values and different optimization decisions. The color conversion aspect is particularly important because modern image and video displays generally use the R'G'B' color scheme for content presentation. In general, transforms are applied when the correction within or between signals must be removed or reduced. As a result, color space transformation is a special case of a more comprehensive transformation approach.
따라서, 훨씬 더 효율적인 다-성분 화상 코딩 개념을 갖는 것이, 즉 더 광범위한 범위의 다-성분 화상 콘텐츠에 걸쳐 더 높은 비트레이트들을 달성하는 것이 바람직할 수 있다.Thus, it may be desirable to have a much more efficient multi-component picture coding concept, ie to achieve higher bitrates over a wider range of multi-component picture content.
따라서, 그러한 고효율의 다-성분 화상 코딩 개념을 제공하는 것이 본 발명의 목적이다.Therefore, it is an object of the present invention to provide such a highly efficient multi-component picture coding concept.
본 발명의 목적은 첨부된 독립 청구항들의 주제에 의해 달성된다. 본 발명은 제 2 성분에 대한 데이터 스트림으로부터 유도되는 보정 신호 및 복원된 제 1 성분 신호의 공간적으로 상응하는 부분으로부터 다-성분 화상의 제 2 성분에 관한 제 2 성분 신호의 복원이 다-성분 화상 콘텐츠의 더 광범위한 범위에 걸쳐 증가된 코딩 효율을 보장한다는 사실을 기초로 한다. 제 2 성분 신호의 복원 내에 복원된 제 1 성분 신호의 공간적으로 상응하는 부분을 포함함으로써, 가능하게는 우선 실행되는 성분 공간 변환에도 불구하고 여전히 존재하는 것과 같이 존재하거나, 또는 그러한 우선 실행되는 성분 공간 변환에 의해 도입되었기 때문에 존재하는 어떠한 나머지 성분-간 중복들/상관관계들도 예를 들면, 제 2 성분 신호의 성분-간 중복/상관관계 감소에 의해 쉽게 제거될 수 있다.The object of the invention is achieved by the subject of the appended independent claims. The present invention relates to the correction signal derived from the data stream for the second component and the restoration of the second component signal relative to the second component of the multi-component image from the spatially corresponding portion of the reconstructed first component signal. It is based on the fact that it guarantees increased coding efficiency over a wider range of content. By including a spatially corresponding portion of the reconstructed first component signal in the reconstruction of the second component signal, possibly present as still exist despite the component space transformation performed first, or such preferentially executed component space. Any remaining inter-component redundancy/correlation existing since introduced by the transformation can be easily removed, for example, by reducing the inter-component redundancy/correlation of the second component signal.
본 발명의 일 실시 예에 따르면, 다-성분 화상 코덱은 코드 블록들, 예측 블록들, 잔류 블록들 및 변환 블록들의 유닛들에서 작동하는 블록 기반 하이브리드 비디오 코덱 운영으로서 구성되고, 성분-간 의존성은 데이터 스트림 내의 각각의 시그널링에 의해 잔류 블록들 또는 변환 블록들의 입상도(granularity)에서 온 및 오프로 스위칭된다. 시그널링을 소비하기 위한 부가적인 오버헤드는 코딩 효율 이득에 의해 과-보상되는데 그 이유는 성분-간 중복의 양이 화상 내에서 변경될 수 있기 때문이다. 본 발명의 일 실시 예에 따르면, 제 1 성분 신호는 다-성분 화상의 제 1 성분의 시간적, 공간적 또는 시점-간(inter-view) 예측의 예측 잔류이고 제 2 성분 신호는 다-성분 화상의 제 2 성분의 시간적, 공간적 또는 시점-간(inter-view) 예측의 예측 잔류이다. 이러한 측정에 의해, 활용된 성분-간 의존성은 나머지 성분-간 번복들에 초점을 맞추며 따라서 성분-간 예측은 더 매끄러운 공간적 행동을 나타내는 경향이 있다.According to an embodiment of the present invention, the multi-component picture codec is configured as a block-based hybrid video codec operation operating on units of code blocks, prediction blocks, residual blocks, and transform blocks, and the inter-component dependence is Each signaling in the data stream switches on and off in the granularity of residual blocks or transform blocks. The additional overhead to consume signaling is over-compensated by the coding efficiency gain because the amount of inter-component redundancy can change within the picture. According to an embodiment of the present invention, the first component signal is a prediction residual of temporal, spatial or inter-view prediction of the first component of the multi-component image and the second component signal is It is the prediction residual of the temporal, spatial or inter-view prediction of the second component. By this measure, the inter-component dependence utilized focuses on the remaining inter-component reversals and thus the inter-component prediction tends to exhibit smoother spatial behavior.
일 실시 예에 따르면, 이후에 α로 표시되는, 복원된 제 1 성분 신호의 공간적으로 상응하는 부분이 제 2 성분 신호의 복원에 영향을 미치는 제 1 가중은 서브-화상 입상도에서 적응적으로 설정된다. 이러한 측정에 의해, 성분-간 중복(redundancy)의 화상-내 변이는 더 밀접하게 뒤따를 수 있다. 일 실시 예에 따르면, 고레벨 구문 요소 구조 및 서브-화상 입상도 제 1 가중 구문 요소의 조합은 서브-화상 입상도에서 제 1 가중을 시그널링하도록 사용되고, 고레벨 구문 요소 구조는 제 1 가중 구문 요소들의 미리 결정된 이진화의 가능한 빈 스트링(bin string)들의 도메인 세트로부터 제 1 가중의 가능한 값들의 공동 도메인 상으로의 매핑을 정의한다. 이러한 측정에 의해, 제 1 가중을 제어하기 위한 부가 정보에 대한 오버헤드는 낮게 유지된다. 적응은 순방향 적응적으로(forward adaptively) 수행될 수 있다. 구문 요소는 제로 주위에 대칭으로 분포되는 α를 위한 다수의 가중 값들 중 하나를 대칭적으로 인덱싱하는(index) 시그널링 가능한 상태들의 제한된 수를 갖는, 잔류 또는 변환 블록과 같이 블록 당 사용될 수 있다. 일 실시 예에서, 시그널링 가능한 상태들의 수는 제로를 포함하는 가중 값들의 수와 같지 않으며, 제로의 시그널링은 성분-간 예측의 비-사용을 시그널링하도록 사용되고 따라서 추가의 플래그는 쓸모없게 된다. 또한, 크기는 조건부로 시그널링된 부호 이전에 시그널링되고, 크기는 가중 값들의 수 상으로 매핑되며 만일 크기가 제로이면, 부호는 시그널링되지 않으며 따라서 시그널링화 비용들이 더 감소된다.According to an embodiment, the first weight in which the spatially corresponding part of the reconstructed first component signal, which is then indicated by α, affects the restoration of the second component signal, is adaptively set in the sub-image granularity. do. With this measurement, intra-picture variation of inter-component redundancy can be followed more closely. According to an embodiment, the combination of the high-level syntax element structure and the sub-picture granularity first weighted syntax element is used to signal the first weight in the sub-picture granularity, and the high-level syntax element structure is Define a mapping of the possible values of the first weight from the domain set of possible bin strings of the determined binarization onto the common domain. By this measurement, the overhead for additional information for controlling the first weighting is kept low. Adaptation can be performed forward adaptively. The syntax element can be used per block, such as a residual or transform block, with a limited number of signalable states that symmetrically index one of a number of weighting values for α distributed symmetrically around zero. In one embodiment, the number of signalable states is not equal to the number of weighted values including zero, and the signaling of zero is used to signal non-use of inter-component prediction, thus making the additional flag useless. Further, the size is signaled before the conditionally signaled code, the size is mapped onto the number of weighted values, and if the size is zero, the code is not signaled and thus signaling costs are further reduced.
일 실시 예에 따르면, 보정 신호가 제 2 성분 신호의 복원에 영향을 미치는 제 2 가중은 서브-화상 입상도에서, 제 1 가중의 적응적 설정에 더하여 설정되거나, 또는 이에 대안으로서 설정될 수 있다. 이러한 측정에 의해, 성분-간 중복 감소의 적응성이 더 증가될 수 있다. 바꾸어 말하면, 일 실시 예에 따르면, 제 2 성분 신호를 복원하는데 있어서, 보정 신호 및 복원된 제 1 성분 신호의 공간적으로 상응하는 부분의 가중된 합계의 가중들은 서브-화상 입상도에서 설정될 수 있다. 가중된 합계는 적어도 화상 당, 일정한 스칼라 함수(scalar function)의 스칼라 인수로서 사용될 수 있다. 가중들은 국부적 이웃(local neighborhood)을 기초로 하여 역방향 구동 방식으로 설정될 수 있다. 가중들은 순방향 구동 방식으로 보정될 수 있다.According to an embodiment, the second weight that affects the restoration of the second component signal by the correction signal may be set in the sub-image granularity in addition to the adaptive setting of the first weight, or may be set as an alternative thereto. . By this measure, the adaptability of reducing inter-component redundancy can be further increased. In other words, according to an embodiment, in restoring the second component signal, weights of the weighted sum of the spatially corresponding portions of the correction signal and the restored first component signal may be set in the sub-image granularity. . The weighted sum can be used as a scalar factor of a constant scalar function, at least per picture. Weights can be set in a reverse drive manner based on a local neighborhood. The weights can be corrected in a forward drive manner.
일 실시 예에 따르면, 보정 신호를 사용하여 복원된 제 1 성분 신호의 공간적으로 상응하는 부분으로부터 제 2 성분 신호의 복원이 사용되는 도메인은 공간 도메인이다. 대안으로서, 스펙트럼 도메인이 사용된다. 서브-화상 입상도에서 스위칭이 실행된다. 서브-화상 입상도에서, 복원된 제 1 성분 신호 및 보정 신호의 조합이 발생하는 도메인은 코딩 효율을 증가시킨다는 것이 밝혀졌다. 스위칭의 실행은 역방향 적응적 방식으로 또는 순방향 적응적 방식으로 수행될 수 있다.According to an embodiment, a domain in which the second component signal is reconstructed from a spatially corresponding portion of the first component signal reconstructed using the correction signal is a spatial domain. As an alternative, the spectral domain is used. Switching is performed in the sub-image granularity. In the sub-picture granularity, it has been found that the domain in which the combination of the reconstructed first component signal and the correction signal occurs increases the coding efficiency. The execution of the switching can be performed in a backward adaptive manner or in a forward adaptive manner.
일 실시 예에 따르면, 데이터 스트림 내의 구문 요소는 다-성분 화상의 성분들 내의 제 1 및 제 2 성분 신호들의 역할의 변경을 가능하게 하도록 사용된다. 구문 요소를 시그널링하기 위한 부가적인 오버헤드는 코딩 효율에서의 가능한 이득과 비교하여 낮다.According to one embodiment, the syntax element in the data stream is used to enable changing the role of the first and second component signals in the components of the multi-component picture. The additional overhead for signaling the syntax element is low compared to the possible gain in coding efficiency.
일 실시 예에 따르면, 제 2 성분 신호의 복원은 서브-화상 입상도에서, 복원된 제 1 성분 신호만을 기초로 하는 복원, 및 복원된 제 1 성분 신호와 다-성분 화상의 또 다른 성분의 또 다른 복원된 성분 신호 사이를 스위칭하도록 허용된다. 상대적으로 낮은 부가적인 노력으로, 이러한 가능성은 다-성분 화상의 성분들 사이의 잔류 중복들을 감소시키는데 있어서 유연성을 증가시킨다.According to an embodiment, the restoration of the second component signal is performed based on only the reconstructed first component signal in the sub-image granularity, and another component of the reconstructed first component signal and another component of the multi-component image. It is allowed to switch between different reconstructed component signals. With a relatively low additional effort, this possibility increases flexibility in reducing residual overlaps between components of a multi-component image.
유사하게, 일 실시 예에 따르면, 데이터 스트림 내의 제 1 구문 요소는 전역으로 또는 증가된 범위 레벨에서, 복원된 제 1 성분 신호를 기초로 하여 제 2 성분 신호의 복원을 가능하게 하거나 또는 불가능하게 하도록 사용된다. 만일 가능하면, 데이터 스트림 내의 서브-화상 레벨 구문 요소들은 서브-화상 입상도에서 복원된 제 1 성분 신호를 기초로 하여 제 2 성분 신호의 복원을 적응시키도록 사용된다. 이러한 측정에 의해, 서브-화상 레벨 구문 요소들을 위한 부가 정보의 소비는 적용 경우들 또는 가능성이 코딩 효율 이득을 야기하는 다-성분 화상 콘텐츠들에서만 필요하다.Similarly, according to an embodiment, the first syntax element in the data stream enables or disables the restoration of the second component signal based on the reconstructed first component signal, either globally or at an increased range level. Is used. If possible, the sub-picture level syntax elements in the data stream are used to adapt the reconstruction of the second component signal based on the reconstructed first component signal in the sub-picture granularity. By this measure, the consumption of additional information for sub-picture level syntax elements is only necessary in application cases or in multi-component picture contents where the possibility leads to a coding efficiency gain.
대안으로서, 가능성 및 불가능성 사이의 스위칭은 후방 구동 방식(backward-driven manner)으로 국부적으로 실행된다. 이러한 경우에 있어서, 제 1 구문 요소는 데이터 스트림 내에 존재하는 것조차 필요로 하지 않는다. 일 실시 예에 따르면, 예를 들면, 국부적 스위칭은 제 1 및 제 2 성분 신호들이 일치하거나, 또는 미리 결정된 양 이상 벗어나지 않는 공간 예측의 내부 예측 모드를 갖는 공간 예측의 예측 잔류들인지 여부를 확인하는 것에 의존하여 국부적으로 실행된다. 이러한 측정에 의해, 가능성 및 불가능성 사이의 국부적 스위칭은 비트레이트를 소모하지 않는다.As an alternative, the switching between possibility and impossibility is performed locally in a backward-driven manner. In this case, the first syntax element does not even need to be present in the data stream. According to an embodiment, for example, the local switching is performed by checking whether the first and second component signals coincide or are prediction residuals of spatial prediction having an internal prediction mode of spatial prediction that does not deviate by more than a predetermined amount. Depends on it is implemented locally. With this measure, the local switching between likelihood and impossibility does not consume bitrate.
일 실시 예에 따르면, 데이터 스트림 내의 제 2 구문 요소는 데이터 스트림 내의 서브-화상 레벨 구문 요소들을 사용하여 순방향 적응적으로 서브-화상 입상도에서 복원된 제 1 성분 신호를 기초로 하는 제 2 성분 신호의 적응적 복원, 및 복원된 제 1 성분 신호를 기초로 하는 제 2 성분 신호의 복원의 비-적응적 실행 사이를 스위칭하기 위하여 사용된다. 제 2 구문 요소를 위한 시그널링 오버헤드는 복원의 비-적응적 실행이 이미 충분히 효율적인 다-성분 화상 콘텐츠를 위하여 서브-화상 레벨 구문 요소들을 전송하기 위한 오버헤드 방지의 가능성과 비교하여 낮다.According to an embodiment, the second syntax element in the data stream is a second component signal based on the first component signal reconstructed from the sub-picture granularity adaptively forward using sub-picture level syntax elements in the data stream. It is used to switch between an adaptive restoration of the second component signal and a non-adaptive execution of the restoration of the second component signal based on the reconstructed first component signal. The signaling overhead for the second syntax element is low compared to the possibility of avoiding overhead for transmitting sub-picture level syntax elements for multi-component picture content where non-adaptive execution of the reconstruction is already sufficiently efficient.
일 실시 예에 따르면, 성분-간 중복 감소의 개념은 3개의 크로마 성분 화상 상으로 전달된다. 일 실시 DP에 따르면, 루마 및 두 개의 크로마 성분이 사용된다. 루마 성분은 제 1 성분으로서 선택될 수 있다.According to one embodiment, the concept of inter-component redundancy reduction is conveyed onto three chroma component images. According to one implementation DP, luma and two chroma components are used. The luma component can be selected as the first component.
일 실시 예에 따르면, 복원된 제 1 성분 신호로부터 제 2 성분 신호의 복원을 적응시키기 위한 서브-화상 레벨 구문 요소는 골롬 라이스 코드(Golomb-rice code)를 사용하여 데이터 스트림 내에 코딩된다. 골롬 라이스 코드는 이진 산술 코딩의 대상일 수 있다. 골롬-라이스 코드의 서로 다른 빈(bin) 위치들을 위하여 서로 다른 컨텍스트(context)들이 사용될 수 있다.According to an embodiment, a sub-picture level syntax element for adapting the reconstruction of the second component signal from the reconstructed first component signal is coded in the data stream using a Golomb-rice code. The Golomb Rice code may be the subject of binary arithmetic coding. Different contexts can be used for different bin locations in the Golomb-Rice code.
일 실시 예에 따르면, 복원된 제 1 성분 신호로부터 제 2 성분 신호의 복원은 공간적 재스케일(re-scaling) 또는 복원된 제 1 성분 신호의 공간적으로 상응하는 부분 상의 비트 깊이 정밀 매핑을 포함한다. 공간적 재스케일링 또는 비트 깊이 정밀 매핑의 실행의 적응은 역방향 또는 순방향 적응적 방식으로 수행될 수 있다. 공간적 재스케일링의 적응은 공간 필터(spacial filter)의 선택을 포함할 수 있다. 비트 깊이 정밀 매핑의 실행의 적응은 매핑 함수의 선택을 포함할 수 있다.According to an embodiment, the restoration of the second component signal from the reconstructed first component signal includes spatial re-scaling or precise mapping of the bit depth on a spatially corresponding portion of the reconstructed first component signal. Adaptation of the execution of spatial rescaling or bit depth precision mapping can be performed in a backward or forward adaptive manner. Adaptation of spatial rescaling may include selection of a spatial filter. Adaptation of the implementation of bit depth precise mapping may include selection of a mapping function.
일 실시 예에 따르면, 복원된 제 1 성분 신호로부터 제 2 성분 신호의 복원은 복원된 제 1 성분 신호의 공간적으로 저역 통과(low-pass) 필터링된 버전을 통하여 간접적으로 수행된다.According to an embodiment, the restoration of the second component signal from the reconstructed first component signal is performed indirectly through a spatially low-pass filtered version of the restored first component signal.
본 발명의 실시 예들의 바람직한 구현들이 종속항들의 대상이 된다.Preferred implementations of the embodiments of the present invention are the subject of the dependent claims.
도면들과 관련하여 본 발명의 바람직한 실시 예들이 아래에 설명된다.
도 1은 일 실시 예에 따른 다-성분 화상을 인코딩하도록 구성되는 인코더의 블록 다이어그램을 도시한다.
도 2는 일 실시 예에 따른 도 1의 인코더에 맞는 디코더의 블록 다이어그램을 도시한다.
도 3은 일 실시 예에 따른 화상 및 서로 다른 형태의 다양한 블록으로의 그 세분(subdivision)/분할(partitioning)을 개략적으로 도시한다.
도 4는 본 발명의 일 실시 예에 따르고 도 1과 2의 인코더와 디코더 내에 내장된 복원 모듈을 개략적으로 도시한다.
도 5는 두 개의 성분, 현재 성분-간 예측된 블록뿐만 아니라 제 1(기본) 성분 내의 공간적으로 상응하는 부분을 갖는 화상을 개략적으로 도시한다.
도 6은 일 실시 예에 따라 하나의 성분이 일정하게 기본(제 1) 성분으로서 역할을 하는 실시 예를 설명하기 위하여 세 가지 성분을 화상을 개략적으로 도시한다.
도 7은 일 실시 예에 따라 각각의 성분이 대안으로서 제 1(기본) 성분으로서 역할을 할 수 있는 세 가지 성분을 갖는 화상을 개략적으로 도시한다.
도 8은 성분-간 예측을 위한 도메인이 적응적으로 변경되는지에 따른 가능성을 개략적으로 도시한다.
도 9a는 성분-간 예측 파라미터를 시그널링하는 가능성을 개략적으로 도시한다.
도 9b는 도 9a의 실시 예를 더 상세히 도시한다.
도 9c는 도해의 목적을 위하여 도 9a와 9b가 관련된 성분-간 예측 파라미터의 적용을 개략적으로 도시한다.
도 10은 일 실시 예에 따른 순방향 적응적 성분-간 예측을 개략적으로 도시한다.Preferred embodiments of the present invention are described below in connection with the drawings.
1 shows a block diagram of an encoder configured to encode a multi-component picture according to an embodiment.
2 is a block diagram of a decoder suitable for the encoder of FIG. 1 according to an embodiment.
3 schematically shows an image and its subdivision/partitioning into various blocks of different shapes according to an exemplary embodiment.
FIG. 4 schematically illustrates a reconstruction module embedded in the encoder and decoder of FIGS. 1 and 2 according to an embodiment of the present invention.
Fig. 5 schematically shows a picture having two components, a current inter-component predicted block as well as a spatially corresponding part within a first (basic) component.
6 schematically shows an image of three components in order to explain an embodiment in which one component constantly serves as a basic (first) component according to an embodiment.
Fig. 7 schematically shows an image having three components, each of which can alternatively serve as a first (basic) component according to an embodiment.
8 schematically shows the possibility according to whether the domain for inter-component prediction is adaptively changed.
9A schematically shows the possibility of signaling an inter-component prediction parameter.
9B shows the embodiment of FIG. 9A in more detail.
Fig. 9C schematically shows the application of the inter-component prediction parameter to which Figs. 9A and 9B are related for the purposes of illustration.
10 schematically illustrates forward adaptive inter-component prediction according to an embodiment.
앞으로의 설명은 인코더의 실시 예의 상세한 설명 및 인코더에 적합한 디코더의 상세한 실시 예의 설명과 함께 시작하고, 이후에 일반적인 실시 예들이 제시된다.The following description begins with a detailed description of an exemplary embodiment of an encoder and a detailed exemplary embodiment of a decoder suitable for an encoder, and then general exemplary embodiments are presented.
도 1은 다-성분 화상(102)을 데이터 스트림(104) 내로 인코딩하도록 구성되는 인코더(100)를 도시한다. 도 1은 바람직하게는 세 개의 성분(106, 108 및 110)을 갖는 다-성분 화상(102)의 경우를 도시하나, 앞으로의 설명은 본 발명의 세 개의 성분 화상을 성분들(106 및 108)과 같은, 단지 두 개의 성분이 제시되는 실시 예로 이동함으로써 도 1의 설명으로부터 쉽게 유도될 수 있다는 것을 나타낼 것이다. 따라서 도 1에 도시된 인코더(100)의 소자들 중 일부는 파선을 사용하여 도시되고 어느 정도는 아래에 더 설명되는 것과 같이 더 일반화된 실시 예들과 관련하여 선택적 특징들이다.1 shows an
원칙적으로, 도 1 및 이후에 설명되는 모든 실시 예의 인코더는 어떠한 형태의 "성분"과도 작용할 수 있다. 실제로, 다-성분 화상(102)은 그렇지 않으면 예를 들면, 타임 스탬프(time stamp), 시점 조건(view condition) 등과 관련된 조건들과 일치하는 다양한 성분들(106, 108 및 110)과 관련하여 공간적으로 장면(scene)을 샘플링하는 장면의 화상이다. 그러나, 아래에 더 설명되는 실시 예들의 이해를 편이하게 하기 위하여, 성분들(106, 108 및 110)은 모두 텍스처(texture)와 관련되고 예를 들면, 루마 및 크로마 성분들과 같은 색 성분들, 또는 어떠한 다른 색 공간의 색 성분들인 것으로 추정한다.In principle, the encoders of all the embodiments described in Fig. 1 and hereinafter can operate with any form of "component". Indeed, the
도 1의 인코더는 실질적으로 화상(102)의 각각의 성분들(106, 108 및 110)에 블록 기반 하이브리드 비디오 코딩을 개별적으로 적용하도록 구성되나, 성분-간 중복(redundancy)을 감소시키기 위하여 성분-간 예측을 사용한다. 성분-간 예측은 아래에 더 상세히 설명될 것과 같이 다양한 양상들과 관련된다.The encoder of FIG. 1 is substantially configured to individually apply block-based hybrid video coding to each of the
따라서, 인코더(100)는 각각 성분(106, 108 및 110) 당, 각각의 성분(106, 108 및 110)이 도착하는 입력 사이에서 언급하는 순서로 직렬로 연결되는, 여기서는 바람직하게는 감산기(subtractor)로서 구현되는 예측 잔류 형성기(112), 변환기(transformer, 114) 및 양자화기(116)를 포함하고, 데이터 스트림 형성기(data stream former, 118)의 각각의 입력은 양자화된 계수들 및 아래에 더 상세히 언급되는 다른 코딩 파라미터들 데이터 스트림(104) 내로 멀티플렉싱하도록 구성된다. 예측 잔류 형성기(prediction residual former 112)의 비-반전(non-inverting) 입력이 화상(102)의 각각의 성분을 수신하도록 배치되는 동안에, 그것들의 인터리빙(감수(subtrahend)) 입력은 예측기(122)로부터 예측 신호(120)를 수신하고, 그 입력은 탈양자화기(124), 재변환기(126) 및 여기서는 바람직하게는 가산기(adder)로서 구현되는, 예측/잔류 결합기(128)의 시퀀스를 포함하는 복원 경로를 통하여 양자화기(116)의 출력에 연결된다. 예측/잔류 재결합기(126)의 출력이 예측(122)의 입력에 연결되고 제 1 입력이 재변환기(retransformer, 126)의 출력에 연결되는 동안에, 그것들의 또 다른 입력은 예측기(122)에 의해 출력되는 예측 신호(120)를 수신한다.Thus, the
요소들(112, 114, 116, 124, 126, 128, 122 및 120)은 세 개의 개별 블록 기반 하이브리드 비디오 코딩 경로(130, 1302 및 1303)를 형성하기 위하여 각각의 성분들(106 내지 110)을 대하여 병렬 방식으로 인코더(100) 내에 존재한다. 지수들(1, 2 및 3)은 성분(106)과 관련된 지수(1), 성분(108)과 관련된 지수(2) 및 성분(110)과 관련된 지수(3)를 갖는 서로 다른 화상(102)의 성분들을 구별하도록 사용된다.
도 1에 도시된 실시 예에서, 성분(106)은 아래에 제공되는 설명으로부터 더 자명할 것과 같이 일종의 "기본 성분(base component)"을 표현한다. 그러나, 도 1에 설명되고 도시된 구성이 단지 아래에 더 상세히 설명되는 본 발명의 실시 예들의 원리들의 쉬운 이해를 위하여 선택되었다는 점에서 성분들(106 내지 108) 사이의 역할은 동일할 수 있다는 것을 이해하여야만 하고, 이는 또한 아래에 더 상세히 설명될 것이다. 어쨌든, 지금까지 설명된 경로들(1301 내지 1303)의 요소들(112, 114, 116, 124, 126, 128, 122 및 120)을 구별하기 위하여, 지수들은 또한 이러한 요소들과 관련하여 사용된다.In the embodiment shown in Fig. 1,
위에 제시된 설명으로부터 자명한 것과 같이, 도 1의 실시 예에서 성분들(106 및 110)은 "종속 성분(dependent component)들"을 표현하고 이러한 이유 때문에, 코딩 경로들(1301 내지 1303)을 위하여 이미 설명된 것들에 더하여 또 다른 요소들이 이러한 이미 설명된 요소들 사이에 연결된다. 특히, 공간 도메인 성분-간 예측 잔류 형성기(132)가 한편으로는 예측 잔류 형성기(112) 및 다른 한편으로는 변환기(114)의 입력 사이의, 비-반전 입력 및 그 출력에 의해 연결되고, 유사하게 공간-도메인 성분-간 예측 및 잔류 재결합기(134)는 한편으로는 재변환기(126) 및 다른 한편으로는 예측/잔류 재결합기(128) 사이에 연결된다. 도 1은 또한 그것의 비-반전 입력과 그 출력을 통하여, 변환기(114) 및 양자화기(116) 사이에 위치되는 것과 같은 스펙트럼 도메인 성분-간 예측 잔류 형성기(136)를 도시하고, 상응하는 스펙트럼 도메인 성분-간 예측/잔류 재결합기(138)는 한편으로는 탈양자화기(124) 및 다른 한편으로는 재변환기(126) 사이에 위치된다. 공간-도메인 성분-간 예측 형성기(132) 및 상응하는 재결합기(134)의 쌍은 그것의 또 다른 입력에서, 각각의 공간 도메인 성분-간 잔류 예측기(140)에 의해 제공되고, 유사하게 그와 관련된 재결합기(138)와 함께 스펙트럼 도메인 시점-간 예측 형성기(136)에 스펙트럼 도메인 성분-간 잔류 예측기(144)에 의해 제공되는 스펙트럼 도메인 잔류 예측 신호(142)가 제공된다. 그것의 입력 인터페이스에서, 예측기들(140 및 144)은 각각의 선행 코딩 경로들 중 어느 하나의 내부 노드(node)들과 연결된다. 예를 들면, 예측기(1402)는 예측 잔류 형성기(1241)의 출력에 연결되고, 예측기(1442)는 탈양자화기(124)의 출력에 연결되는 입력을 갖는다. 유사하게, 예측기들(1403 및 1443)은 각각 예측 잔류 형성기(1122) 및 탈양자화기(1242)의 출력에 연결되는 입력을 가지나, 부가적으로 예측기(1403)의 또 다른 입력이 예측 잔류 형성기(1121)의 출력에 연결되는 것으로서 도시되고 예측기(1443)의 또 다른 입력이 탈양자화기(1241)의 출력에 연결되는 것으로서 도시된다. 예측기들(140 및 144)은 이들에 의해 실행되는 성분-간 예측의 순방향 적응 제어를 구현하기 위한 예측 파라미터들을 선택적으로 발생시키는 것으로서 도시되고, 예측기들(140)에 의해 출력되는 파라미터들은 148로 표시되며, 예측기(144)에 의해 출력되는 파라미터들은 도면부호 148로 표시된다. 양자화기들(116)에 의해 출력되는 잔류 신호(150)가 수행하는 것과 같이, 예측기들(140 및 144)의 예측 파라미터들(146 및 148)은 예를 들면 무손실 방식으로 이러한 모든 데이터를 데이터 스트림(104) 내로 코딩하는, 데이터 스트림 형성기(118)에 의해 수신된다.As will be apparent from the description presented above, the
도 1의 인코더의 작동 방식을 아래에 더 상세히 설명하기 전에, 상응하는 디코더를 도시한 도 2가 참조된다. 실제로, 디코더(200)는 각각의 성분을 위하여 탈양자화기(124)로부터 예측기(122)로 확장하고 따라서 이러한 상응하는 요소들과 관련하여 100이 증가된 동일한 도면 부호들이 사용된다. 더 정확히 설명하면, 도 2의 디코더(200)는 디코더(200)의 데이터 스트림 추출기(218)의 입력에서 데이터 스트림(104)을 수신하도록 구성되고, 데이터 스트림(104)으로부터 잔류 신호들(1501 내지 1503) 및 예측 파라미터들(146 및 148)을 포함하는 모든 관련 코딩 파라미터를 추출하도록 구성된다. 도 1의 인코더와 상응하게, 도 2의 디코더(200)는 다-성분 화상의 성분 당 하나의 경로를 가지면서 병렬 디코딩 경로들(230) 내로 구성되고, 복원은 도면부호 202를 사용하여 표시되며 복원된 성분은 206, 208 및 210과 같은 각각의 디코딩 경로의 출력에서 출력된다. 양자화들에 의해, 복원은 원래 화상(102)으로부터 유도된다.Before describing the operation of the encoder of FIG. 1 in more detail below, reference is made to FIG. 2, which shows a corresponding decoder. In practice, the
위에서 이미 설명된 것과 같이, 디코더(200)의 디코더 경로들(2301 내지 2303)은 실질적으로 그것들의 요소(124, 138, 126, 134, 128 및 122)를 포함하는, 인코더(100)의 코딩 경로들(1301 내지 1303)과 상응한다. 즉, "종속 성분들"(208 및 210)의 디코딩 경로들(2302 및 2303)은 한편으로는 데이터 스트림 추출기(218)의 각각의 출력 및 다른 한편으로는 각각의 성분(208 및 210)을 출력하기 위한 출력들 사이에서, 각각 언급되는 순서로 다-성분 화상(202)의 출력을 위하여 한편으로는 데이터 스트림 추출기(218) 및 다른 한편으로는 디코더(200)의 출력 사이에 연결되는 탈양자화기(224), 스펙트럼 도메인 성분-간 예측/잔류 재결합기(238), 역 변환기(226), 공간 도메인 성분-간 예측/잔류 재결합기(234) 및 예측/잔류 재결합기의 직렬 연결을 포함한다. 예측기(222)는 예측/잔류 재결합기(228)로부터 그것들의 또 다른 입력으로 다시 안내하는 피드백 루프 내로 연결된다. 각각의 공간 도메인 및 스펙트럼 도메인 성분-간 예측기들(240 및 244)에 의해 238 및 234의 또 다른 입력들이 제공된다. "기본 성분"(206)의 디코딩 경로(2301)는 요소들(238, 234, 244 및 240)이 존재하지 않는다는 점에서 다르다. 예측기(2443)는 탈양자화기(2242)의 출력에 연결되는 그것들의 입력 및 탈양자화기(2241)의 출력에 연결되는 또 다른 출력을 갖고, 예측기(2402)는 역 변환기(2262)의 출력에 연결되는 제 1 입력 및 역 변환기(2261)의 출력에 연결되는 또 다른 입력을 갖는다. 예측기(2442)는 탈양자화기(2241)의 출력에 연결되는 입력을 갖고, 예측기(2402)는 역 변환기(2261)에 연결되는 그것들의 입력을 갖는다. As already described above, the
도 1의 예측기들(1403 및 1402)은 단지 쉬운 설명을 위하여 공간 도메인 내의 기본 성분들의 아직 양자화되지 않은 잔류 신호들에 연결되는 것으로서 도시되었으나, 도 2로부터 자명한 것과 같이, 인코더와 디코더 사이의 예측 불일치들을 방지하기 위하여 도 1의 예측기들(1402 및 1403)은 대안으로서 그리고 바람직하게는 기본 성분들의 스펙트럼 도메인 잔류 신호들의 비-양자화된 버전 대신에, 각각 역 변환기들(1262 및 1261)의 출력들에 연결될 수 있다는 것에 유의하여야 한다. The predictors 140 3 and 140 2 of FIG. 1 are shown as being connected to residual signals that have not yet been quantized of the fundamental components in the spatial domain for ease of explanation only, but as will be apparent from FIG. 2, between the encoder and the decoder. of the predictor of FIG. 1 in order to prevent the prediction mismatch (140 2 and 140 3) is alternatively and preferably a ratio of the spectral domain, the residual signal of the base component - in place of the quantized version, each of the inverse transformer (126 2, and It should be noted that it can be connected to the outputs of 126 1 ).
인코더(100)와 디코더(200) 모두의 구조를 설명한 후에, 이후에 그것들의 작동 방식이 설명된다. 특히, 위에서 이미 설명된 것과 같이, 인코더(100) 및 디코더(200)는 다-성분 화상의 각각의 성분을 인코딩/디코딩하기 위하여 하이브리드 코딩을 사용하도록 구성된다. 실제로, 다-성분 화상(102)의 각각의 성분은 각각 서로 다른 색 성분과 관련하여 동일한 장면을 공간적으로 샘플링하는, 샘플 어레이 또는 화상을 표현한다. 성분들(106, 108 및 110)의 공간 해상도, 즉 각각의 성분과 관련하여 장면이 샘플링되는 스펙트럼 해상도는 성분마다 다를 수 있다.After describing the structure of both the
위에 설명된 것과 같이, 다-성분 화상(102)의 성분들은 개별적으로 하이브리드 인코딩/디코딩의 대상이 된다. "개별적으로"는 성분들의 인코딩/디코딩이 서로 상관없이 완전하게 실행된다는 것을 반드시 의미하는 것은 아니다. 우선, 성분-간 예측은 성분들 사이의 중복들을 제거하고 부가적으로 성분들에 대해 일부 코딩 파라미터들이 통상적으로 선택될 수 있다. 도 3에서, 예를 들면 예측기들(122 및 222)이 코딩 블록들 내로의 화상(102)의 동일한 세분(subdivision)을 선택하는 것이 가정되나, 예측기들(122 및 222)에 의한 코딩 블록들 내로의 화상(102)의 성분 개별 세분이 또한 실현 가능하다. 코딩 블록들로의 화상(102)의 세분은 고정될 수 있거나 또는 데이터 스트림(104) 내에 시그널링될 수 있다. 후자의 경우에, 세분 정보는 예측기(122)에 의해 데이터 스트림 형성기(118)에 출력되고 도면부호 154를 사용하여 표시되는, 예측 파라미터들의 일부분일 수 있고, 데이터 스트림 추출기(218)는 세분 정보를 포함하는 이러한 예측 파라미터들을 추출하고 이를 예측기(222)에 출력한다.As explained above, the components of the
도 3은 바람직하게는 코딩 블록들 또는 코드 블록들로의 화상(102)의 세분이 2단계 과정에 따라 실행될 수 있다는 것을 도시한다. 다-성분 화상(102)이 먼저 트리 루트 블록(tree root block)들로 규칙적으로 세분되고, 이것의 윤곽이 도 3에 이중 선들(300)을 사용하여 표시되며, 그 뒤에 각각의 트리 루트 블록(302)을 코드 블록들(304)로 세분하기 위하여 재귀(recursive) 멀티-트리 세분화를 적용하며, 이것의 윤곽이 간단한 연속적인 선들(306)을 사용하여 도 3에 도시된다. 따라서, 코드 블록들(304)은 각각의 트리 루트 블록(302)의 재귀 멀티-트리 세분화의 리프 블록(leaf block)들을 표현한다. 가능하게는 데이터 스트림(104) 내에 포함된 앞서 언급된 세분 정보(성분들을 위하여 공통으로, 또는 성분들을 위하여 개별적으로)는 코드 블록들(304) 내로의 각각의 트리 루트 블록(302)의 세분을 시그널링하도록 각각의 트리 루트 블록(302)을 위한 멀티-트리 세분 정보 및 선택적으로 행과 열로 트리 루트 블록들(302)의 규칙적인 배치 내로의 화상(102)의 세분을 제어하고 시그널링하는 세분 정보를 포함할 수 있다.Fig. 3 shows that the subdivision of the
코드 블록들(304)의 유닛들에서, 예를 들면 예측기들(122 및 222)은 각각 인코더(100)와 디코더(200)에 의해 지원되는 복수의 예측 모드 사이에서 다양하다. 예를 들면, 예측기들(1221 내지 1223)은 코드 블록들을 위한 예측 모드들을 개별적으로 선택하고 예측 파라미터들(1541 내지 1543)을 통하여 예측기들(2223)에 선택을 표시한다. 이용 가능한 예측 모드들은 시간적 및 공간적 예측 모드들을 포함한다. 시점-간 예측 모드 등과 같은, 다른 예측 모드들이 또한 지원될 수 있다. 듀얼-트리(dual-tree) 세분화와 같은 재귀 멀티-트리 세분화를 사용하여, 코드 블록들은 예측 블록들(308) 내로 더 세분될 수 있고, 이것들이 윤곽이 쇄선들을 사용하여 도 3에 표시된다. 각각의 재귀 세분 정보는 각각의 코드 블록을 위한 예측 파라미터들(1541 내지 1543) 내에 포함될 수 있다. 대안의 실시 예에서, 예측 모드들의 선택은 예측 블록들의 입상도(granularity)에서 실행된다. 유사하게, 각각의 코드 블록(304)은 듀얼 트리 세분화와 같은 재귀 멀티-트리 세분화를 사용하여 잔류 블록들(312)로 더 세분될 수 있고, 이들의 윤곽들이 도 3의 일점쇄선(314)을 사용하여 표시된다. 따라서 각각의 코드 블록(304)은 예측 블록들(308) 및 잔류 블록들(312)로 동시에 분할된다. 잔류 블록들(312)은 선택적으로 변환 블록들(316) 내로 더 세분될 수 있고, 이들의 윤곽은 도 3의 이점쇄선(318)들로 표시된다. 대안으로서, 변환 및 잔류 블록들은 동일한 엔티티들을 형성하는데, 즉 잔류 블록들은 변환 블록들이고 반대도 마찬가지이다. 바꾸어 말하면, 잔류 블록들은 대안의 실시 예에 따라 변환 블록들과 일치할 수 있다. 잔류 블록 또는 변환 블록 관련 세분 정보는 예측 파라미터들(154) 내에 포함될 수 있거나 또는 포함되지 않을 수 있다.In units of code blocks 304, predictors 122 and 222, for example, vary between a plurality of prediction modes supported by
각각의 코드 블록 또는 예측 블록과 관련된 예측 모드에 따라, 각각의 예측 블록(308)은 각각의 예측 블록들(308) 내의 예측을 적절하게 제어하기 위하여 예측기들(1221 내지 1223)에 의해 적절하게 선택되고 파라미터 정보(1541 내지 1543) 내로 삽입되며 예측기들(2221 내지 2223)에 의해 사용되는, 그것들과 관련된 각각의 예측 파라미터들을 갖는다. 예를 들면, 그것들과 관련된 시간적 예측 모드를 갖는 예측 블록들(308)은 그것들과 관련된 움직임 보상된 예측을 위한 움직임 벡터(motion vector) 및 선택적으로 움직임 벡터에 의해 표시되는 변위(displacement)로 각각의 예측 블록(308)의 예측이 유도되는/복사되는 기준 화상을 나타내는 기준 화상 지수(reference picture index)를 가질 수 있다. 공간적 예측 모드의 예측 블록들(308)은 예측 정보(1511 내지 1543) 내에 포함되는, 그것들과 관련된 공간적 예측 방향을 가질 수 있고, 후자는 각각의 예측 블록의 이미 복원된 주변이 각각의 예측 블록 내로 공간적으로 외삽되는(extrapolated) 방향을 나타낸다.Depending on the prediction mode associated with each code block or prediction block, each
따라서, 예측 모드들과 예측 파라미터들을 사용하여, 예측기들(122 및 222)은 각각의 성분들을 위한 예측 신호(1201 내지 1203)을 유도하고, 각각의 성분들을 위하여 이러한 예측 신호는 잔류 신호(1561 내지 1563)를 사용하여 수정된다. 이러한 잔류 신호들은 변환 코딩의 사용에 의해 코딩된다. 즉, 변환기들(1141 내지 1143)은 이산 코사인 변환(DST), 이산 사인 변환(DST) 등과 같이, 개별적으로 각각의 변환 블록(116) 상으로 변환, 즉 스펙트럼 분해를 실행하고, 역 변환기들(226)은 변환 블록들(308)을 위하여 개별적으로 가역하는데, 즉 예를 들면 역 이산 코사인 변환(IDCT) 또는 역 이산 사인 변환(IDST)을 실행한다. 즉, 인코더(100)가 관련되는 한, 변환기들(114)은 예측 잔류 형성기들(112)에 의해 형성되는 것과 같은 아직 양자화되지 않은 잔류 신호 상으로의 변환을 실행한다. 역 변환기들(126 및 226)은 허프만(Huffman) 또는 산술 코딩과 같은 무손실 방식으로, 데이터 스트림 형성기(118)에 의해 데이터 스트림 내로 삽입되고 데이터 스트림 추출기(218)에 의한 허프만 또는 산술 코딩을 사용하여 그것으로부터 추출되는, 각각의 성분의 양자화된 잔류 신호(150)를 기초로 하여 스펙트럼 분해를 가역한다.Thus, using the prediction modes and prediction parameters, the predictors 122 and 222 derive the prediction signals 120 1 to 120 3 for each component, and for each component this prediction signal is the residual signal ( 156 1 to 156 3 ). These residual signals are coded by the use of transform coding. That is, the converters 1 14 1 to 1 4 3 are individually transformed onto each transform block 116, such as a discrete cosine transform (DST), a discrete sine transform (DST), and the like, that is, perform spectral decomposition, and an inverse transform. The
그러나, 예측 신호(2201 내지 2203)가 예측/잔류 재결합기들(2281 내지 2283)에서 수정되는 것을 이용하여 잔류 신호(2561 내지 2563)를 위한 데이터 비율을 낮추기 위하여, 인코더들(100 및 200)은 성분들의 잔류 신호의 코딩과 관련하여 성분-간 예측을 지원한다. 아래에 더 상세히 설명될 것과 같이, 본 발명의 실시 예들에 따라, 잔류 신호의 코딩을 위한 성분-간 예측은 켜지고 꺼질 수 있거나 또는 잔류 블록들 또는 변환 블록들의 입상도에서 순방향 또는 역방향 적응적으로 조정될 수 있다. 만일 꺼지면, 예측기들(144 및 240)에 의해 출력되는 성분-간 예측 신호들은 제로이고 모든 성분의 잔류 신호들(2561 내지 2563)은 단지 그것의 각각의 잔류 신호(1501 및 1503) 내에 포함된 양자화된 변환 계수들로부터 유도된다. 그러나, 만일 켜지면, 종속 성분들이 관련되는 한, 즉 성분-간 예측을 사용하여 잔류 신호들(2562 및 2563)이 코딩/디코딩되는 한, 성분-간 중복들/상관관계들은 제거된다. 성분-간 예측 소스로서 역할을 하는 기본(제 1) 성분은 성분-간 예측이 관련되는 한, 변하지 않은 채로 남는다. 어떻게 수행되는지가 아래에 설명된다.However, in order to lower the data rate for the
당분간, 예측기들(140, 144, 240 및 244)에 의해 실현되는 성분-간 중복 감소의 설명은 각각 성분들(106과 108 및 206과 208) 사이의 성분-간 중복 감소에 초점을 맞춘다. 그리고 나서, 이해의 편이를 위하여, 도 1과 2에 도시된 세 개의 성분의 경우로 설명이 확장된다.For the time being, the description of the inter-component redundancy reduction realized by predictors 140, 144, 240 and 244 focuses on the inter-component redundancy reduction between
아래의 설명으로부터 자명해질 것과 같이, 아래에 설명되는 실시 예들은 특히 절대 크로마 성분들 또는 평면들의 입력으로서 역할을 하는 경우에, 예를 들면 크로마 성분들의 잔류 특성을 이용한다. 예를 들면 루마/크로마 색 공간의 성분들을 표현하는 도 1과 2의 세 개의 성분의 경우에, 성분(1056/206)은 예를 들면 루마 성분일 수 있으나, 성분들(108/208 및 110/210)은 청색 또는 적색 관련 크로마 성분들과 같은, 크로마 성분들이다. 원래 입력 공간에 대하여 정의되는 왜곡 계산을 유지함으로써, 아래에 설명되는 실시 예들은 더 높은 충실도(fidelity)를 가능하게 한다. 바꾸어 말하면, 도 2의 디코더와 함께 도 1의 인코더는 예를 들면 미리 실행되는 어떠한 색 공간 변환이 없는 것과 같이 원래의 다-성분 화상의 입력을 가능하게 한다. 도 1과 2의 실시 예들에 의해 달성 가능한 코딩 효율은 입력 색 공간에 의존하지 않는데, 즉 성분-간 중복 제거를 실행하기 위하여 아래에 설명되는 실시 예들은 Y'CbCr 입력(106 내지 110)을 위한 부가적인 상관관계 제거, 및 R'G'B' 입력(106 내지 110)의 경우에 색 변환으로서 작용한다. 부가적으로, 아래에 더 설명되는 실시 예들은 국부적으로 성분들 또는 평면들 사이의 중복 감소를 적용하는데, 즉 인코더(100)는 이미지/화상(102) 또는 비디오의 각각의 영역을 위하여, 잔류 신호들을 포함하는 평면-간/성분-간 예측이 적용되는지 적용되지 않는지를 결정한다. 그러나, 다시 본 발명의 실시 예들은 색 성분들 또는 평면들에만 한정되지 않고, 여기에 설명되는 기술들은 또한 두 개 이상의 평면의 잔류들이 상관관계로 구성되는 일반적인 평면들/성분들에 적용될 수 있다는 것을 이해하여야 한다. 예를 들면, 본 발명에서 설명되는 실시 예들은 스케일러블(scalable) 비디오 압축 전략으로 서로 다른 층들로부터 평면들에 적용될 수 있다. 예측의 꼭대기에,성분들 또는 평면들의 처리 순서는 예를 들면 비트 스트림 내의 성분 순서를 시그널링하는 구문 요소에 의한 것과 같이, 국부적으로 변경될 수 있다. 이러한 대안이 또한 아래에 설명된다.As will become apparent from the description below, the embodiments described below use, for example, the residual property of chroma components, especially when serving as an input of absolute chroma components or planes. For example, in the case of the three components of Figs. 1 and 2 representing components of the luma/chroma color space, component 1056/206 may be a luma component, for example, but
도 1 및 2와 관련하여, 하이브리드 블록 기반 이미지 및 비디오 압축 전략이 도시되는데, 예측기들(122/222)에 의해 실행되는 예측이 로그 기반으로 실행되고 인코딩 측이 관련되는 한 변환기들(114), 양자화기들(116), 데이터 스트림 삽입기(data stream inserter, 118, 및 디코딩 측이 관련되는 한 역 변환기(226)와 탈양자화기(224)뿐만 아니라 데이터 스트림 추출기(218)가 기여하는 변환 코딩은 예측 오차, 즉, 잔류로서 언급되는, 예측 잔류 형성기들(112)의 출력에 적용된다.Referring to Figures 1 and 2, a hybrid block based image and video compression strategy is shown, with converters 114 as long as the prediction executed by predictors 122/222 is performed log-based and the encoding side is concerned, Transform coding contributed by quantizers 116, data stream inserter 118, and
용어 블록은 아래에서 일반적인 직사각형 형태를 설명하는 것으로서 이해되어야만 하는데, 즉 블록은 직사각형 형태를 가질 수 있다는 것에 유의하여야 한다.The term block should be understood below as describing a general rectangular shape, i.e., it should be noted that the block may have a rectangular shape.
다음에 설명되는 실시 예들에서, 인코더는 각각의 예측 블록(308) 또는 변환 블록(304)을 위한 클레임(claim)간/성분-간 예측의 적용을 결정한다.In the embodiments described below, the encoder determines the application of inter-claim/inter-component prediction for each prediction block 308 or transform
그러나, 중간 설명으로서, 본 발명의 실시 예들은 평면-간/성분-간 예측이 공간적으로, 시간적으로 또는 시점-간 예측 신호의 예측 잔류에 적용되는, 도 1 및 2와 관련하여 설명되는 경우에 한정되지 않는 것이 여기에 제안된다. 이론적으로, 여기에 제시되는 실시 예들은 평면-간/성분-간 예측이 성분들의 샘플 상에 직접적으로 실행되는 경우 상에 유사하게 전달될 수 있다. 바꾸어 말하면, 예측 자체가 생략될 때, 입력 신호의 원래 샘플들은 나머지 설명을 위한 잔류로 언급되거나 또는 처리되어야만 한다.However, as an intermediate explanation, embodiments of the present invention are described with reference to FIGS. 1 and 2, in which the inter-plane/inter-component prediction is applied to the prediction residual of the spatial, temporal or inter-view prediction signal. It is proposed here that it is not limited. In theory, the embodiments presented herein can be similarly conveyed on the case where the inter-plane/inter-component prediction is performed directly on a sample of components. In other words, when the prediction itself is omitted, the original samples of the input signal are referred to as residual for the rest of the explanation or have to be processed.
각각의 잔류 블록(312, 또는 직사각형 형태)을 위하여, 일 실시 예에 따라, 구문 요소는 데이터 스트림(104) 내에 전송되고, 구문 요소는 예측기들(140, 144, 240, 244)에 의한 평면-간/성분-간 예측이 사용되어야만 하는지를 나타낸다. For each residual block 312 (or rectangular shape), according to one embodiment, the syntax element is transmitted in the
또한, 도 3에 도시된, H.265/EVC 같은 비디오 압축 전략의 경우에, 인코더는 일 실시 예에 따라, 각각의 변환 블록(316) 또는 심지어 변환 블록들의 그룹을 위하여 평면-간/성분-간 예측의 사용 또는 비-사용을 지정하는 방금 언급된 구문 요소를 전송할 수 있다. 그룹핑, 즉 시그널링 레벨은 적응적으로 선택될 수 있고 그러한 그룹핑 결정은 데이터 스트림의 헤더(header) 내에서와 같은, 비트/데이터 스트림(104) 내의 또 다른 구문 요소로서 전송될 수 있다는 것에 유의하여야 한다. 가장 높은 시그널링 레벨에서 평면-간-성분-간 예측의 사용 또는 비-사용은 코딩 유닛 또는 코딩 블록(304), 코딩 블록들(304)의 그룹, 또는 전체 이미지 또는 프레임을 위하여 선택될 수 있다.Also, in the case of a video compression strategy, such as H.265/EVC, shown in FIG. 3, the encoder may, according to one embodiment, for each
달리 설명하면, 도 4가 참조된다. 도 4는 몇몇 부분들에서, 즉, 다음의 쌍 당 도 1과 2에 도시된 실시 예들에서 구현되는 복원 모듈(400)을 도시한다:In other words, reference is made to FIG. 4. FIG. 4 shows a
- 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1561)의 형태로 x를 수신하고, 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1562)의 형태로 y를 수신하며, 잔류 신호(1562)를 대체하는 잔류 신호(156'2)로서 z를 출력하는, 공간 도메인 성분-간 예측기(1402) 및 관련 공간 도메인 성분-간 예측/잔류 재결합기(1342).Receiving the y in the form of the extract and, de-quantizing the data stream and receiving the x in the form of inverse-transformed residual signal (156 1), extracts and de-quantizing the data stream and an inverse transform the residual signal (156 2) and outputting a z a residual signal (156 '2) to replace the residual signal (156 2), the spatial domain component-to-predictor (140 2) and the relevant spatial domain component-to-prediction / residual recombination exchanger (134 2) .
- 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1701)의 형태로 x를 수신하고, 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1702)의 형태로 y를 수신하며, 잔류 신호(1702)를 대체하는 잔류 신호(170'2)로서 z를 출력하는, 스펙트럼 도메인 성분-간 예측기(1442) 및 관련 스펙트럼 도메인 성분-간 예측/잔류 재결합기(1382).- receiving the x in the form of the extracted data stream and the de-quantized residual signal (170 1), and receives a y in the form of the extracted data stream and the de-quantized residual signal (170 2), the residual signal (170 2 ) residual signal (170 '2) for outputting a z, as a spectral domain component to replace the inter-predictor (144 2) and associated domain spectral components inter-prediction / residual recombination exchanger (138 2).
- 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1561) 또는 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1562)의 형태(또는 그것들의 어떠한 조합 또는 그것들 둘 모두)로 x를 수신하고, 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1563)의 형태로 y를 수신하며, 잔류 신호(1563)를 대체하는 잔류 신호(156'3)로서 z를 출력하는, 공간 도메인 성분-간 예측기(1403) 및 관련 공간 도메인 성분-간 예측/잔류 재결합기(1343).-The extracted, dequantized data stream and inverse transformed residual signal 15 6 1 or in the form of the extracted, dequantized data stream and inverse transformed residual signal 15 2 2 (or any combination thereof, or both) ) receiving the x in, and extracts and receives a y in the form of de-quantized data stream and the inverse transformed residual signal (156 3), a residual signal (156, 3) to replace the residual signal (156 3) z , the spatial domain components output-to-predictor (140 3) and the relevant spatial domain component-to-prediction / residual recombination exchanger (134 3).
- 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1701) 또는 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1702)의 형태(또는 그것들의 어떠한 조합 또는 그것들 둘 모두)로 x를 수신하고, 추출된 데이터 스트림 및 탈양자화된 잔류 신호(1703)의 형태로 y를 수신하며, 잔류 신호(1703)를 대체하는 잔류 신호(170'3)로서 z를 출력하는, 스펙트럼 도메인 성분-간 예측기(1443) 및 관련 스펙트럼 도메인 성분-간 예측/잔류 재결합기(1383).- receiving the x in the form of the extracted data stream and the de-quantized residual signal (170 1) and the extracted data stream and the de-quantized residual signal (170 2) (or those of both in any combination, or they both), and extracted the data stream and the de-quantized residual signal receives y in the form of (1.7 3), the residual signal (170 3) to replace outputs z as a residual signal (170, 3), the spectral domain component-predictor liver ( 14 4 3 ) and related spectral domain component-inter-prediction/residual recombiners 13 3 3 ).
- 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(2561)의 형태로 x를 수신하고, 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(2562)의 형태로 y를 수신하며, 잔류 신호(2562)를 대체하는 잔류 신호(256'2)로서 z를 출력하는, 공간 도메인 성분-간 예측기(2402) 및 관련 공간 도메인 성분-간 예측/잔류 재결합기(2342).Receiving the y in the form of the extract and, de-quantizing the data stream and receiving the x in the form of inverse-transformed residual signal (256 1), extracts and de-quantizing the data stream and an inverse transform the residual signal (256 2) and outputting a z a residual signal (256 '2) to replace the residual signal (256 2), the spatial domain component-to-predictor (240 2) and the relevant spatial domain component-to-prediction / residual recombination exchanger (234 2) .
- 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2701)의 형태로 x를 수신하고, 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2702)의 형태로 y를 수신하며, 잔류 신호(2702)를 대체하는 잔류 신호(270'2)로서 z를 출력하는, 스펙트럼 도메인 성분-간 예측기(2442) 및 관련 스펙트럼 도메인 성분-간 예측/잔류 재결합기(2382).- receiving the x in the form of the extracted data stream and the de-quantized residual signal (270 1), and receives a y in the form of the extracted data stream and the de-quantized residual signal (270 2), the residual signal (270 2 ) residual signal (270 '2) for outputting a z, as a spectral domain component to replace the inter-predictor (244 2) and associated domain spectral components inter-prediction / residual recombination exchanger (238 2).
- 추출되고, 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(1561) 또는 또는 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(2562)의 형태(또는 그것들의 어떠한 조합 또는 그것들 둘 모두)로 x를 수신하고, 추출되고 탈양자화된 데이터 스트림 및 역 변환된 잔류 신호(2563)의 형태로 y를 수신하며, 잔류 신호(2563)를 대체하는 잔류 신호(256'3)로서 z를 출력하는, 공간 도메인 성분-간 예측기(2403) 및 관련 공간 도메인 성분-간 예측/잔류 재결합기(2343).-The extracted, dequantized data stream and inverse transformed residual signal 15 6 1 or in the form of the extracted and dequantized data stream and inverse transformed residual signal 256 2 (or any combination thereof, or both) ) as a residual signal (256, 3) for receiving x and extracts and receives a y in the form of de-quantized data stream and the inverse transformed residual signal (256 3), replacing the residual signal (256 3) to z A spatial domain inter-component predictor (240 3 ) and an associated spatial domain inter-component predict/residual recombiner (234 3 ) that outputs
- 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2701)의 형태 또는 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2702)의 형태(또는 그것들의 어떠한 조합 또는 그것들 둘 모두)로 x를 수신하고, 추출된 데이터 스트림 및 탈양자화된 잔류 신호(2703)의 형태로 y를 수신하며, 잔류 신호(2703)를 대체하는 잔류 신호(270'3)로서 z를 출력하는, 스펙트럼 도메인 성분-간 예측기(2443) 및 관련 스펙트럼 도메인 성분-간 예측/잔류 재결합기(2383).- to receive the x in the form of a type of the extracted data stream and the de-quantized residual signal (270 1) or the extracted data stream and the de-quantized residual signal (270 2) (or those of both in any combination, or they both) , receives a y in the form of an extracted data stream and the de-quantized residual signal (270 3), the residual signal (270 3) to replace outputs z as a residual signal (270, 3), the spectral domain component-to- Predictor 24 4 3 and associated spectral domain component inter-prediction/residual recombiner 23 3 .
이러한 도 1과 2에서의 모든 경우에서, 그 뒤에 더 상세히 설명되는 평면-간/성분-간 예측이 실행되고, 이러한 경우들 중 어떠한 경우에서도 도 1과 2의 실시 예들은 도 4의 더 일반화된 평면-간/성분-간 예측 모듈(400)에 의해 수정될 수 있다. 단지 일부 경우들만이 실제로 사용될 수 있다는 것에 유의하여야 한다.In all of these cases in FIGS. 1 and 2, inter-plane/inter-component prediction described in more detail is performed thereafter, and in any of these cases, the embodiments of FIGS. 1 and 2 are more generalized in FIG. 4. It may be modified by the inter-plane/
도 4에 도시된 것과 같이, 평면-간/성분-간 예측 모듈(400) 또는 복원 모듈(400)은 두 개의 입력과 하나의 출력을 가지며 선택적으로 인코더 및 디코더 측 사이를 시그널링하는 예측 파라미터를 사용한다. 제 1 입력은 "x"로 표시되고 경계 내에(inbound) 복원된 제 1 성분 신호를 표현하며 이를 기초로 하여 제 2 성분을 위한 평면-간/성분-간 중복 감소가 복원 모듈(400)에 의해 실행된다. 이러한 복원된 제 1 성분 신호(402)는 도 1과 2에 도시된 것과 같이, 현재 공간적 또는 스펙트럼 도메인 내의 평면-간/성분-간 중복 감소의 대상이 되는 제 2 성분의 부분에 공동 위치된, 제 1 성분의 부분을 위한 데이터 스트림으로부터 추출되는 것과 같은 전송된 잔류 신호일 수 있다.As shown in FIG. 4, the inter-plane/
복원 모듈(400)의 나머지 신호(404)는 "y"로 표시되고 신호(402)와 동일한 도메인, 즉 스펙트럼 또는 공간 도메인 내의 모듈(400)에 의해 현재 평면-간/성분-간 중복 감소의 대상이 되는, 제 2 성분의 부분의 전송된 전류 신호를 표현한다. 복원 모듈(400)은 다시 성분 신호(406)가 복원 모듈(400)의 메인 출력(main output)을 표현하는, 동일한 도메인 내의, 도 4에서 "z"로 표현되는, 제 2 성분 신호(406)를 복원하고, 적어도 x를 대체함으로써 다-성분 화상의 종속 성분을 복원하는데 참여한다. "적어도"는 도 1과 2에 도시된 것과 같이, 복원 모듈(400)에 출력된 성분 신호(406)가 예측 잔류를 표현할 수 있고, 따라서 여전히 각각의 종속 성분(i)의 예측 신호(154)와 결합되어야만 한다는 것을 의미한다.The remaining
인코더와 디코더의 다른 모듈들과 같이, 복원 모듈(400)은 블록 기반 상에서 작동한다. 블록 기반 상의 작동은 예를 들면, 복원 모듈(400)에 의해 실행되는 성분-간 중복 감소 가역(inter-component redundancy reduction reversal)의 블록 방식(block wise) 적응에서 나타날 수 있다. "블록 방식 적응"은 선택적으로, 데이터 스트림 내의 예측 파라미터들(146/148)의 분명한 시그널링을 포함할 수 있다. 그러나, 성분-간 중복 감소의 제어를 위한 파라미터들의 역방향 적응적 설정이 또한 실현 가능하다. 즉, 도 4를 참조하면, 디코더 내로 구성되는 복원 모듈(400)의 경우에 있어서, 예측 파라미터들은 복원 모듈로 들어가고 따라서 그것들의 또 다른 입력을 표현하나, 반면에 인코더 내로 구성되는 복원 모듈(400)의 경우에 있어서, 예측 파라미터들은 예를 들면 레노버 서비스 엔진 최적화(LSE optimization) 문제점의 해결을 포함하는 아래에 예시된 방식으로 내부적으로 결정된다.Like other modules of the encoder and decoder, the
아래에 더 상세히 설명될 것과 같이, 복원 모듈(400은 예를 들면, z가 φ(αx+β+γy)로서 표현 가능한 것과 같은 방식으로 작동할 수 있다. α, β 및 γ는 가능한 성분-간 예측 파라미터들이다. 각각의 α, β 및 γ를 위하여, 모두 상수이고, 따라서 역방향 및 순방향 적응적으로 변경되지 않거나, 역방향 적응적으로 변경되고 이에 따라 데이터 스트림의 일부를 형성하지 않거나, 또는 순방향 적응적으로 변경되고 데이터 스트림 내에 시그널링되는 것은 사실일 수 있다. 도 5는 제 1 성분(106)으로부터 제 2 성분(108)으로의 성분-간 예측의 바람직한 경우를 위하여 이를 도시한다. 특히 아래에 설명되는 실시 예들에서, z=αx+β+γy가 되기 위한 방식으로 작동이 촉진된다.As will be described in more detail below, the
도 5는 제 2 성분(108)의 현재 복원되는 부분 또는 블록을 도시한다. 도 5는 또한 제 1 성분(106)의 공간적으로 상응하는 부분/블록(442), 즉 화상(10) 내에 공간적으로 공동 위치되는 부분을 도시한다. 공동 위치되는 블록들(440 및 442)에 대한 성분들(106 및 108)을 위하여 모듈(400)이 수신하는 입력 신호들(402 및 404)은 도 1 및 2와 관련하여 설명된 것과 같이, 데이터 스트림 내의 성분들(106 및 108)을 위하여 전송된 것과 같은 잔류 신호들을 표현할 수 있다. 제 2 성분(108)과 관련하여, 모듈(400)은 z를 계산한다. 블록(440)과 같은 각각의 블록을 위하여, 파라미터들(α, β 및 γ, 또는 단지 그것들의 서브셋)은 아래에 예시되는 방식으로 적응된다.5 shows the currently reconstructed portion or block of the
특히, 블록(440) 같은 주어진 블록을 위하여, 성분-간 예측이 실행되는지 아닌지에 대하여, 구문 요소에 의해 데이터 스트림 내에 시그널링될 수 있다. 켜진(switched-om) 성분-간 예측의 경우에서 파라미터들(α, β 및 γ)은 단지 가능한 예들만을 표현한다. 성분-간 예측이 적용되는 블록(440)을 위하여, 예측 모드는 데이터 스트림 내에 시그널링될 수 있고, 예측 소스(prediction source)는 데이터 내에 시그널링될 수 있으며, 예측 도메인은 데이터 스트림 내에 시그널링될 수 있으며 앞서 언급된 파라미터들과 관련된 파라미터들은 데이터 스트림 내에 시그널링될 수 있다. "예측 모드", "예측 소스", "예측 도메인" 및 "관련 파라미터들"은 아래의 설명으로부터 자명해질 것이다. 지금까지 설명된 실시 예들에서, 성분-간 예측은 잔류 신호들 상에 작동한다. 즉, x 및 y는 데이터 스트림 내에 전송된 것과 같은 예측 잔류들이었고 둘 모두 하이브리드 예측의 예측 잔류들을 표현한다. 또한 이에 설명된 것과 같이, x 및 y는 위에 설명된 것과 같은 변환 코딩을 사용하는 바람직한 경우에 공간 도메인 또는 주파수 도메인 내의 예측 잔류들일 수 있다. 인코더 또는 디코더의 단계에서 예측의 적용은 몇몇 장점을 갖는다. 우선, 부가적인 메모리가 일반적으로 필요하지 않고, 두 번째로 성분-간 예측이 국부적으로, 즉 디코더 관점으로부터 과정을 통과한 후에 부가적인 중간 단계의 도입 없이 실행될 수 있다. 예측 도메인을 구별하기 위하여, 비트 스트림 내에 또 다른 구문 요소가 전송될 수 있다. 즉, 후자의 또 다른 구문 요소는 성분-간 예측 도메인이 공간 도메인 또는 스펙트럼 도메인인지를 나타낼 수 있다. 전자의 경우에, x, y 및 z는 공간 도메인 내에 존재하고, 후자의 경우에 x, y 및 z는 스펙트럼 도메인 내에 존재한다. 디코더 관점에서, 잔류는 비트 스트림으로부터 복원되고 양자화 단계 이전에 인코더 내에서 발생된 것들과 다를 수 있다는 것에 유의하여야 한다. 그러나, 본 발명의 실시 예를 구현하는 인코더 내의 예측 소스로서 이미 양자화되고 복원된 잔류를 사용하는 것이 바람직하다. 또한, 변환 단계를 생략하는 경우에, 공간 및 주파수 도메인 내의 성분-간 예측은 정확하게 동일하다. 그러한 구성을 위하여, 예측 도메인, 즉 공간 또는 주파수 도메인의 시그널링이 생략될 수 있다.In particular, for a given block, such as
앞서 언급된 "예측 모드들"에 관한 한, 이들은 아핀(affine), 선형, 비-선형 또는 더 복잡할 수 있다. 첫 번째의 경우에, 예측기는 위에 이미 설명된 것으로서 기술될 수 있는데, 즉 z=φ(αx+β+γy)이고 z는 복원된 잔류 신호 또는 샘플이고, x는 예측 소스 신호로부터의 샘플들을 포함하는 벡터이며, α, β 및 γ는 모델 파라미터들이며, y는 현재 신호, 즉 디코더 측으로부터의 과거 잔류 신호로부터 샘플링하며, φ는 일부 선형 또는 비-선형 함수일 수 있다.As far as the aforementioned "prediction modes" are concerned, they may be affine, linear, non-linear or more complex. In the first case, the predictor can be described as already described above, i.e. z=φ(αx+β+γy), z is the reconstructed residual signal or sample, and x contains samples from the predicted source signal. Is a vector, α, β and γ are model parameters, y is sampled from the current signal, that is, the past residual signal from the decoder side, and φ may be some linear or non-linear function.
가능한 한 간단하게 처리 체인(processing chain)을 유지하기 위하여, 일 실시 예의 구성은 루마 성분과 같은 제 1 성분의 처리를 변경되지 않은 채로 유지할 수 있고 성분 잔류 신호들을 위한 예측기로서 루마 복원된 잔류 신호를 사용할 수 있다. 이는 가능한 예측 구성이고 그러한 간단한 예측 소스는 변환 샘플들을 발생시키기 위하여 입력 신호 세 개의 성분 또는 평면 모두가 필요한, 일반적인 변환 접근법을 단순화한다는 것을 이해하여야 한다.In order to keep the processing chain as simple as possible, the configuration of an embodiment can keep the processing of the first component, such as the luma component, unchanged, and uses the luma-restored residual signal as a predictor for component residual signals. Can be used. It should be understood that this is a possible prediction configuration and such a simple prediction source simplifies the general transform approach, requiring all three components or planes of the input signal to generate transform samples.
또 다른 가능한 구성은 예측 소스를 적응적으로 하도록 하는, 이미 이용 가능하거나 또는 각각 복원된 잔류 성분들 모두의 잔류 신호가 예측을 위하여 사용되는 시그널링하는 것이다. 대안으로서, 처리 순서는 국부적으로 바뀔 수 있는데, 예를 들면 제 2 성분이 먼저 복원되고 나머지 성분들을 위한 예측 소스로서 사용된다. 그러한 구성은 전단(bijective)(또는 거의 가역) 예측기를 사용하는 두 성분 사이의 델타는 동일하나, 가역 부호로 예측 소스의 코딩을 위한 절대 비용은 다르다는 사실을 이용한다. 게다가, 몇몇 예측 소스들의 조합이 가능하다. 이러한 경우에 있어서, 조합 가중치들은 비트 스트림 내에 전송될 수 있거나 또는 이용 가능하거나 또는 각각의 코딩된 이웃들의 통계를 사용하여 역방향 구동(backward-driven)으로 추정될 수 있다. Another possible configuration is to make the prediction source adaptive, signaling that residual signals of all of the already available or each reconstructed residual components are used for prediction. As an alternative, the order of processing can be changed locally, for example the second component is reconstructed first and used as a prediction source for the remaining components. Such a configuration takes advantage of the fact that the delta between the two components using a bijective (or almost reversible) predictor is the same, but the absolute cost for coding the prediction source with reversible codes is different. In addition, combinations of several prediction sources are possible. In this case, the combination weights may be transmitted within the bit stream or may be available or may be estimated backward-driven using statistics of each coded neighbor.
모델 파라미터들의 사양은 역방향 구동 추정과 순방향 시그널링화(signalization)로 구성되는 역방향 구동으로 실행될 수 있거나, 또는 데이터 스트림 내에 완전히 순방향 시그널링화될 수 있다. 일 실시 DP의 구성은 인코더와 디코더에서 모두 알려져 있고 각각의 블록 또는 형상을 위하여 디코더에 설정 지수를 시그널링하는, 모델 파라미터들의 고정된 설정을 사용하는 것이다. 또 다른 구성은 특정 수의 블록 또는 형상 이후에 예측기들의 순서가 변경되는 동적 설정(dynamic set) 또는 리스트를 사용하는 것이다. 그러한 접근법은 소스 신호로의 더 높은 국부적 적응을 가능하게 한다. 예측 모드, 예측 소스, 예측 도메인 및 파라미터 시그널링에 대한 더 상세한 예가 아래에 설명된다.The specification of the model parameters can be implemented with reverse drive consisting of reverse drive estimation and forward signaling, or can be fully forward signaled within the data stream. The configuration of one implementation DP is to use a fixed set of model parameters, known both at the encoder and at the decoder and signaling the set index to the decoder for each block or shape. Another configuration is to use a dynamic set or list in which the order of the predictors changes after a certain number of blocks or shapes. Such an approach allows for a higher local adaptation to the source signal. More detailed examples of prediction mode, prediction source, prediction domain and parameter signaling are described below.
예측 모드와 관련하여, 다음과 같이 설명될 수 있다.Regarding the prediction mode, it can be described as follows.
예측 모드는 아핀, 비-선형 또는 스플라인(splines) 또는 서포트 벡터 회귀(support vector regression) 같은 접근법들에 의해 실현되는 더 복잡한 함수일 수 있다.The prediction mode may be affine, non-linear or more complex function realized by approaches such as splines or support vector regression.
색 공간 변환들은 대부분 모든 이용 가능한 입력 성분을 사용하는 선형이라는 것에 유의하여야 한다. 즉, 색 공간 변환은 세 개의 색 성분의 세 개의 성분 벡터를 또 다른 색 공간의 또 다른 세 개의 성분의 또 다른 벡터 상에 매핑하는 경향이 있다. 인코더와 디코더는 본 발명의 일 실시 예에 따라, 입력 색 공간으로부터 독립적으로 작동하고, 따라서 루마 성분은 예측 소스를 형성하기 위하여 변경되지 않은 채로 유지될 수 있다. 그러나, 대안의 실시 예에 따르면, "루마 성분" 또는 "제 1 성분"의 정의는 예측 또는 변환 블록(또는 직사각형 형상)과 같이, 각각의 블록에 대하여 서로 다를 수 있는데, 즉 각각의 블록 또는 형상을 위하여 "제 1 성분으으로 역할을 하는 성분은 적응적으로 선택될 수 있다. 적응은 데이터 스트림 내의 시그널링에 의해 인코더에 나타낼 수 있다. 예를 들면, 도 5는 "제 1 성분"을 형성하는 성분(106)의 경우를 도시하나, 성분(108)은 성분-간 예측된 성분, 즉 제 2 성분이고, 블록(400)이 관련되는 한, 예를 들면, 성분 신호(106)가 성분(108)으로부터 성분-간 예측되는 또 다른 블록 또는 화상(10)에 대하여 컨텍스트는 다를 수 있다. "예측 소스"의 블록 방식 적응은 방금 설명된 것과 같이 데이터 스트림 내에 나타낼 수 있다. 부가적으로 또는 대안으로서, 각각의 블록(400)을 위하여, 예측이 적용되거나 또는 적용되지 않는 구문 요소 시그널링이 데이터 스트림 내에 전송될 수 있다. 즉, "제 1 성분"으로서 성분(106)을 일정하게 사용하는 경우에, 그러한 구문 요소는 종속 성분, 즉 도 1과 2에서의 성분들(108 및 110)의 블록을 위하여 존재할 수 있다. 그러한 경우에 있어서, 루마 성분과 같은, 제 1 성분은 예측 소스, 즉 위에 설명된 실시 예들의 경우에서 그것들의 잔류 성분을 제공할 수 있다.It should be noted that color space transforms are mostly linear using all available input components. That is, the color space transformation tends to map a three component vector of three color components onto another vector of another three components of another color space. The encoder and decoder operate independently from the input color space, according to an embodiment of the present invention, so that the luma component can be kept unchanged to form a prediction source. However, according to an alternative embodiment, the definition of “luma component” or “first component” may be different for each block, such as a prediction or transform block (or rectangular shape), that is, each block or shape For "the component serving as the first component can be adaptively selected. The adaptation can be indicated to the encoder by signaling in the data stream. For example, Fig. 5 forms the "first component" The case of
만일 특정 블록(440)을 위하여 예측이 가능하면, 부가적으로 또는 대안으로서 예측 모드는 그러한 블록(440)을 위하여 데이터 스트림 내에 시그널링될 수 있다. 예측은 제로 값으로 복원된 제 1 성분 신호, 즉 성분-간 예측을 위한 기초로서 예측 잔류를 사용하는 경우에 제로 값의 잔류 루마 신호를 위하여 생략될 수 있다. 그러한 경우에 있어서, 성분-간 예측이 적용되는지 아닌지를 시그널링하는 앞서 언급된 구문 요소는 생략될 수 있는데, 즉 각각의 블록(440)을 위한 데이터 스트림 내에 존재하지 않는다.If prediction is possible for a
결합된 역방향 구동 및 순방향 시그널링화 접근법의 경우에 있어서, 이미 코딩된 각각의 복원된 데이터로부터 유도되는 파라미터들은 시작 파라미터(starting parameter)들로서 역할을 할 수 있다. 그러한 경우에 있어서, 선택된 예측 모드에 대한 델타는 데이터 스트림 내에 전송될 수 있다. 이는 고정되었거나 또는 적응된 예측 모드를 위한 최적 파라미터를 계산함으로써 달성될 수 있고 계산된 파라미터들은 비트 스트림 내에 전송된다. 또 다른 가능성은 역방향 구동 선택 접근법을 사용함으로써, 또는 항상 역방향 구동된 접근법에 의해서만 계산되고 선택되는 파라미터들을 사용함으로써 유도되는 시작 파라미터에 대하여 일부 델타를 전송하는 것이다.In the case of a combined reverse driving and forward signaling approach, parameters derived from each reconstructed data that have already been coded can serve as starting parameters. In such case, the delta for the selected prediction mode may be transmitted in the data stream. This can be achieved by calculating the optimal parameters for the fixed or adapted prediction mode and the calculated parameters are transmitted in the bit stream. Another possibility is to send some delta for a starting parameter that is derived by using the reverse drive selection approach, or by using parameters that are always calculated and selected only by the reverse driven approach.
예측 모드들 중 일 실시 예의 구성이 아래에 설명된다. 이러한 실시 예에서, 제 1 예측 모드는 α=1, β=0, γ=1이고 φ(x)=[x]인 것을 나타내고, 제 2 예측 모드는 α=0.5이고 x=(x0)인 것을 제외하고는 동일한 파라미터들을 나타내며, y=(y0) 및 x와 y의 단일 요소들은 루마 성분 및 크로마 성분에서의 각각의 위치와 같은, 제 1 및 제 2 성분 내의 동일한 공간 위치에서의 블록을 위한 잔류 값이다. 성분-간 예측이 적용되는 각각을 블록(440)을 위하여, 본 발명의 일 실시 예에 따라 달리 설명하면, α가 제 1 값, 즉 1과 동일한지, 또는 제 2 값, 여기서는 0.5와 동일한지가 데이터 스트림 내에 시그널링된다. 데이터 스트림 내의 시그널링 대신에, 혼합된 순방향 및 역방향 구동 접근법이 이미 위에 설명된 것과 같이 사용될 수 있거나, 또는 이용 가능한 α의 값들 중에서의 선택이 역방향 적응적으로 실행될 수 있다. β 및 λ는 단지 상수들만을 표현할 수 있다.The configuration of an embodiment of the prediction modes is described below. In this embodiment, the first prediction mode indicates that α=1, β=0, γ=1 and φ(x)=[x], and the second prediction mode is α=0.5 and x=(x 0 ). Represent the same parameters, except that y=(y 0 ) and single elements of x and y represent blocks at the same spatial location in the first and second components, such as their respective positions in the luma component and the chroma component. Is the residual value for. For
y 내의 단일 요소는 예측 후에 z에 의해 대체된다는 것에 유의하여야 한다. 바구어 말하면, 복원 모듈(400)은 보정 신호(404)를 수신하고 이를 z로 대체한다. 또한 그러한 구성을 사용할 때, 성분-간 예측은 덧셈 연산으로 단순화되고, 제 1 성분(α=1)의 완전히 복원된 잔류 샘플 값 또는 그 값의 반(α=0.5)이 보정 샘플 값(404)에 더해진다는 것에 유의하여야 한다. 이등분(halving)은 간단한 우향 이동(right shift) 연산에 의해 발생될 수 있다. 그러한 경우에 있어서, 예를 들면, 구성은 복원 모듈(400) 내의 예측기 내의 x 및 α 사이의 곱셈의 실현, 및 도 4에 도시된 가산기에서의 덧셈의 실현에 구현될 수 있다. 바꾸어 말하면, 주어진 실시 예에서, 인코더 측에서 작동 모드는 다음과 같을 수 있다.It should be noted that a single element in y is replaced by z after prediction. In Bagu, the
변환 블록(또는 직사각형 형상)을 위한 크로마 성분의 잔류 신호는 루마 평면 내의 동일한 (공간 또는 주파수) 위치에서 복원된 잔류 샘플에 의해 감산된다. 변환 및 양자화 이후에, 복원된 잔류는 루마 평면 내의 동일한 공간적 위치에서 복원된 잔류 샘플에 더해진다. 디코더 관점으로부터, 후자의 작동만이 필요하다. 역방향 구동 전략을 포함하는 구성의 일례는 다음과 같이 수행될 수 있다. 각각의 블록 또는 형상(440)을 위하여, 최적 파라미터(α)가 계산된다. 시작 α0은 국부적 이웃으로부터, 예를 들면 이전에 코딩된 왼쪽 블록(또는 직사각형 형상)으로부터 역방향 구동으로 유도된다. 만일 비트 스트림 내의 구문 요소가 비트 스트림 내에 더 이상의 파라미터들이 전송되지 않는 것으로 시그널링하면, 유도된 α0이 사용된다. 그렇지 않으면, 즉 예측이 사용되지만 구문 요소에 의해 보정하여야 하면 비트 스트림 내에 델타(α△)를 나타낸다. 두 개의 플래그를 전송하는 것이 또한 가능한데, 제 1 플래그는 α0이 사용되어야만 하는지를 나타내고 제 2 플래그는 α△가 비트 스트림 내에 존재하는지를 나타낸다.The residual signal of the chroma component for the transform block (or rectangular shape) is subtracted by the reconstructed residual sample at the same (spatial or frequency) position in the luma plane. After transformation and quantization, the reconstructed residual is added to the reconstructed residual sample at the same spatial location in the luma plane. From the decoder point of view, only the latter operation is necessary. An example of a configuration including a reverse driving strategy can be performed as follows. For each block or
또 다른 가능한 구성은 파라미터 유도 과정을 위하여 입상도를 증가시키는 것이다. 이러한 접근법은 또한 순방향 전송이 적용될 때 높은 시그널링화 입상도를 나타낸다. 그렇지 않으면, 역방향 구동 전략을 위한 높은 입상도가 암시된다. 이러한 가능한 구성에서, 변환 블록(또는 직사각형 형상) 내의 각각의 샘플 또는 샘플들의 그룹들을 위하여 혹은 심지어 예측 블록 자체를 위하여 예측 파라미터들은 유도된다. 현재 샘플 또는 샘플들의 그룹을 위하여, 미리 정의된 윈도우에 의해 정의되는, 동일한 변환 블록 또는 예측 블록 내의, 특정 양의 샘플들이 파라미터 유도를 위하여 획득된다. 아핀(affine) 예측기가 사용되는 위의 실시 예를 사용하여, 파라미터(αn)는 다음과 같이 이전에 복원된 샘플 또는 샘플들의 그룹으로부터 유도될 수 있는데 여기서 n은 그룹 지수이다.Another possible configuration is to increase the granularity for the parameter derivation process. This approach also exhibits a high signaling granularity when forward transmission is applied. Otherwise, a high granularity for the reverse drive strategy is implied. In this possible configuration, prediction parameters are derived for each sample or groups of samples within the transform block (or rectangular shape) or even for the prediction block itself. For the current sample or group of samples, a certain amount of samples, within the same transform block or prediction block, defined by a predefined window, are obtained for parameter derivation. Using the above embodiment in which an affine predictor is used, the parameter α n can be derived from a previously reconstructed sample or group of samples as follows, where n is the group index.
제 1 샘플 또는 샘플들의 그룹을 위한 파라미터는 일부 디폴트 값들에 의해 초기화될 수 있거나 또는 이웃 블록들 또는 형상들로부터 계산될 수 있다. 또 다른 가능성은 제 1 샘플 또는 샘플들의 그룹을 위한 최적 파라미터들을 전송하는 것이다. 가능한 한 이전 샘플들만큼 사용하도록 하기 위하여, 미리 정의된 스캔 패턴이 2차원 잔류 블록(또는 직사각형 형상)을 1차원 벡터에 매핑하도록 사용될 수 있다. 예를 들면, 샘플들 또는 샘플들의 그룹들은 수직으로, 수평으로, 또는 변환 계수들의 스캔 방향들과 유사한 방향으로 스캐닝될 수 있다. 다시, 특정 스캔은 역방향 구동 전략에 의해 유도될 수 있거나 또는 비트 스트림 내에 시그널링된다.The parameter for the first sample or group of samples may be initialized with some default values or may be calculated from neighboring blocks or shapes. Another possibility is to transmit optimal parameters for the first sample or group of samples. In order to use as many previous samples as possible, a predefined scan pattern can be used to map a 2D residual block (or rectangular shape) to a 1D vector. For example, samples or groups of samples may be scanned vertically, horizontally, or in a direction similar to the scan directions of transform coefficients. Again, a specific scan can be driven by a reverse driving strategy or signaled in the bit stream.
또 다른 확장은 이미 제시된 실시 예 및 일력으로서 세 개의 모든 이용 가능한 성분을 사용하는 변환의 조합이다. 여기서, 본 실시 예에서, 잔류 신호는 주어진 변환 블록을 위한 보정을 제거하는 변환 매트릭스를 사용하여 변환된다. 이러한 구성은 평면들 사이의 보정이 매우 크거나 또는 상당히 작을 때 유용하다. 일례의 구성은 R'G'B' 같은 입력 색 공간들 또는 주 성분 분석 접근법의 경우에 Y'CoCg 변환을 사용할 수 있다. 후자의 경우를 위하여, 변환 매트릭스는 매트릭스 값들을 유도하기 위하여 순방향 방식으로 또는 디코더뿐만 아니라 인코더에서 알려진 미리 정의된 세트 및 규칙을 사용하여 디코더에 시그널링되어야만 한다. 구성은 이용 가능한 모든 성분 또는 평면의 잔류 신호를 필요로 한다는 것에 유의하여야 한다.Another extension is the combination of the already presented examples and transformations that use all three available components as work. Here, in this embodiment, the residual signal is transformed using a transform matrix that removes the correction for a given transform block. This configuration is useful when the correction between the planes is very large or very small. An exemplary configuration may use input color spaces such as R'G'B' or a Y'CoCg transform in the case of a principal component analysis approach. For the latter case, the transform matrix must be signaled to the decoder in a forward manner or using predefined sets and rules known in the decoder as well as the encoder to derive the matrix values. It should be noted that the configuration requires all available components or residual signals of the plane.
예측 도메인에 대하여, 다음이 설명된다.For the prediction domain, the following is described.
예측 도메인은 위에 설명된 것과 같이, 공간 도메인일 수 있는데, 즉 잔류 또는 주파수 도메인을 작동할 수 있고, 즉 이산 코사인 변환 또는 이산 사인 변환 같은 변환을 적용한 후에 잔류 상에서 작동할 수 있다. 게다가, 도메인은 디코더로의 정보의 전송에 의한 둘 모두의 구성요소일 수 있다. 예측을 위한 도메인에 더하여, 도메인과 관련된 파라미터들이 역방향 구동 전략에 의해 전송되거나 또는 유도될 수 있다.The prediction domain can be the spatial domain, as described above, i.e. it can operate the residual or the frequency domain, i.e. it can operate the residual phase after applying a transform such as a discrete cosine transform or a discrete sine transform. In addition, the domain can be a component of both by the transmission of information to the decoder. In addition to the domain for prediction, parameters related to the domain may be transmitted or derived by the reverse driving strategy.
크로마 성분의 부가적인 서브 샘플링이 도메인 파라미터들과 관련되는데, 즉 크로마 블록(또는 직사각형 형상)은 수평으로, 수직으로, 또는 두 방향 모두로 스케일링 다운된다(scaled down). 그러한 경우에 있어서, 예측 소스가 또한 다운 샘플링될 수 있거나 또는 공간 도메인, 주파수 도메인, 또는 둘 모두에서의 서로 다른 해상도를 고려하는 예측 모드의 세트가 선택되어야만 한다. 또 다른 가능성은 예측 소스 및 표적 소스(target source)의 크기가 서로 일치하도록 예측 표적을 업스케일링하는 것이다. 다운스케일링은 특히 이미지 또는 비디오 내의 매우 평평한 영역을 위하여 압축 효율을 더 향상시킨다. 예를 들면, 예측 소스는 저주파수와 고주파수 모두를 포함하나, 크로마 블록(또는 직사각형 형상)은 저주파수만을 포함한다. 이러한 실시 예에서, 예측 소스의 서브 샘플링은 고주파수들을 제거할 수 있고 덜 복잡한 예측 모드가 사용되며 그러한 덜 복잡한 정보로의 연결이 디코더에 전송되어야만 한다. 다운스케일링 사용의 시그널링은 각각의 변환 블록을 위하여, 또는 각각의 예측 블록을 위하여, 또는 심지어 예측 블록들의 그룹 또는 전체 이미질을 위하여 수행될 수 있다는 것에 유의하여야 한다.An additional sub-sampling of the chroma component is related to the domain parameters, ie the chroma block (or rectangular shape) is scaled down horizontally, vertically, or in both directions. In such a case, the prediction source may also be downsampled or a set of prediction modes must be selected that takes into account different resolutions in the spatial domain, frequency domain, or both. Another possibility is to upscale the prediction target so that the sizes of the prediction source and the target source match each other. Downscaling further improves the compression efficiency, especially for very flat areas within an image or video. For example, the prediction source contains both low and high frequencies, but the chroma block (or rectangular shape) contains only low frequencies. In this embodiment, subsampling of the prediction source can remove high frequencies and a less complex prediction mode is used and a link to such less complex information has to be sent to the decoder. It should be noted that the signaling of the use of downscaling can be performed for each transform block, or for each predictive block, or even for a group of predictive blocks or for the entire image quality.
부가적인 다운 샘플링 접근법에 더하여, 디코더에 또한 비트 깊이 조정이 전송될 수 있다. 이러한 경우는 샘플들의 예측이 서로 다른 성분들을 따라 다를 때 발생한다. 한 가지 가능한 방법은 소스를 위한 비트들의 수를 감소시키거나 또는 증가시키는 것이다. 또 다른 가능한 구성은 표적의 비트 깊이를 증가시키거나 또는 감소시킬 수 있고 최종 결과를 보정된 비트 깊이로 다시 보정할 수 있다. 또 다른 선택은 서로 다른 비트 깊이에 적합한 예측기들의 세트의 사용이다. 그러한 예측 모드는 예측 파라미터들에 의한 서로 다른 비트 깊이를 고려할 수 있다. 비트 깊이 보정을 위한 시그널링 레벨은 콘텐츠의 변이에 의존하여 각각의 블록 또는 형상을 위하여, 혹은 전체 화상 또는 시퀀스를 위하여 수행될 수 있다.In addition to the additional downsampling approach, bit depth adjustments can also be sent to the decoder. This case occurs when the prediction of the samples differs for different components. One possible way is to decrease or increase the number of bits for the source. Another possible configuration may increase or decrease the bit depth of the target and correct the final result back to the corrected bit depth. Another option is the use of a set of predictors suitable for different bit depths. Such a prediction mode can take into account different bit depths due to prediction parameters. The signaling level for bit depth correction may be performed for each block or shape or for an entire image or sequence depending on the variation of the content.
예측 소스에 대하여, 다음이 설명된다.For the prediction source, the following will be described.
예측 소스는 제 1 성분 또는 모든 이용 가능한 성분일 수 있다. 각각의 블록(또는 직사각형 형상)을 위하여, 예측 소스는 인코더에 의해 시그널링될 수 있다. 대안으로서, 예측 소스는 예측을 위하여 사용되어야만 하는 모든 이용 가능한 성분과 예측 소스로부터 예측 또는 변환 블록이 비트 스트림 내의 구문 요소에 의해 디코더에 시그널링되는지의, 모든 가능한 블록을 포함하는 사전(dictioinary)일 수 있다.The prediction source can be the first component or all available components. For each block (or rectangular shape), the prediction source can be signaled by the encoder. Alternatively, the prediction source could be a dictioinary containing all available components that must be used for prediction and all possible blocks of whether the prediction or transform block from the prediction source is signaled to the decoder by a syntax element in the bit stream. have.
파라미터 유도에 대하여, 다음이 설명된다.Regarding parameter derivation, the following is explained.
파라미터들은 바람직하게는 최소 제곱 오차(least square error, LSE) 최적화 문제점을 해결함으로써 블록의 임시의 이웃으로부터(어딘가에 언급되는 역방향 적응적으로 실행하거나 또는 인코더 내에서 실행하기 위하여, 순방향 적응적 방식으로 디코더를 구동하도록 데이터 시트림 내의 결과를 시그널링하기 위하여, 디코더 내에서) 유도된다. 최소 제곱 오차는 다음과 같이 공식화될 수 있다:The parameters are preferably decoder in a forward adaptive manner from a temporary neighbor of the block (to run backward adaptively mentioned somewhere or run in an encoder) by solving the least square error (LSE) optimization problem. Is derived in the decoder, to signal the result in the data stream to drive. The least squares error can be formulated as follows:
α에 대한 이러한 방정식의 최소화. 방정식을 위한 파라미터는 다음과 같이 계산되는 폐쇄 형태 해결책을 갖는데:Minimization of these equations for α. The parameters for the equation have a closed form solution that is calculated as:
여기서 A1은 z 및 φ(αx+β+γy) 사이의 공분산이고, A2는 z의 분산이다.Where A 1 is the covariance between z and φ(αx+β+γy) and A 2 is the variance of z.
나눗셈 연산을 룩업 테이블(lookup table) 및 곱셈 연산으로 대체하기 위하여 이러한 방법에 대하여 정수 구현이 구현된다. A2는 테이블 크기를 감소시키기 위하여 디스케일링되고(descaled) 반면에 A1은 곱셈 오버플로(overflow)를 방지하기 위하여 디스케일링된다. 가장 중요한 비트들(nA1 및 nA2)만이 A1 및 A2로부터 유지된다. A'1 및 A'2는 다음과 같이 유도될 수 있는데:An integer implementation is implemented for this method to replace the division operation with a lookup table and multiplication operation. A 2 is descaled to reduce the table size while A 1 is descaled to prevent multiplication overflow. Only the most significant bits (n A1 and n A2 ) are kept from A 1 and A 2. A '1 and A' is 2 may be derived as follows:
A' = [A ≫ rA] ≪ rA A'= [A ≫ r A ] ≪ r A
여기서 here
rA = max(bd(A)-nA,0)이다.r A = max(bd(A)-n A ,0).
여기서 bd(A)는 log2A에 의해 계산되는 A 값의 비트 깊이이다.Where bd(A) is the bit depth of the A value calculated by log 2 A.
이제 α'은 다음과 같이 재계산될 수 있다:Now α'can be recalculated as follows:
이제 요소들이 ntable 비트들에 의해 표현되는 룩업 테이블()에 의해 세분이 표현될 수 있다. 이러한 테이블을 위한 지수는 [A2≫rA2]로서 계산되고 테이블 크기는 nA2이다.Now a lookup table where elements are represented by n table bits ( Subdivision can be expressed by ). The index for this table is calculated as [A 2 »r A2 ] and the table size is n A2 .
위의 최소화 문제점에서, y는 예를 들면 각각의 성분-간 예측된 블록(440)을 위하여 데이터 스트림 내에 손실 없이 전송되는 잔류 신호를 나타낸다는 것에 유의하여야 한다. 바꾸어 말하면, y는 성분-간 예측된 블록(440)을 위한 보정 신호이다. 이는 중복적으로 결정될 수 있고, 각각의 중복에서, 위에 설명된 LSE 최적화 문제점의 해결을 실행한다. 이러한 방식으로, 인코더는 예측 모드, 예측 소스 등과 같은 성분-간 예측 파라미터들을 선택하는데 있어서, 성분-간 예측을 실행할지 하지 않을지에 대하여 선택적으로 결정할 수 있다.In the above minimization problem, it should be noted that y denotes a residual signal transmitted losslessly in the data stream for each inter-component predicted
파라미터 시그널링과 관련하여 다음이 설명된다.The following is described with regard to parameter signaling.
예측 자체는 스위칭 가능할 수 있고 잔류 예측의 사용을 지정하는 헤더 플래그는 비트 스트림의 시작에서 전송되어야만 한다. 예측이 허용될 때, 그것의 국부적 사용을 지정하는 구문 요소는 이전에 설명된 것과 같이 잔류 블록(또는 직사각형 형상), 변환 블록(또는 직사각형 형상), 또는 심지어 변환 블록들(또는 직사각형 형상들)의 그룹일 수 있는, 블록(440)을 위하여 비트 스트림 내에 내장된다. 제 1 비트는 예측이 가능한지 아닌지를 나타낼 수 있고 그 다음 비트들은 예측 모드, 예측 소스, 또는 예측 도메인과 관련 파라미터들을 나타낼 수 있다. 두 크로마 성분 모두를 위한 예측을 가능하게 하거나 또는 불가능하게 하기 위하여 하나의 구문 요소가 사용될 수 있다는 것에 유의하여야 한다. 예측의 사용뿐만 아니라 예측 모드 및 각각의 제 2(예를 들면 크로마) 성분을 위한 소스를 개별적으로 시그널링하는 것이 또한 가능하다. 다시, 잔류 신호에 대한 높은 적응을 달성하기 위하여, 예측 모드를 시그널링하도록 분류 기준(sorting criterion)이 사용될 수 있다. 예를 들면, 가장 많이 사용되는 예측 모드는 하나이고, 그때 분류된 리스트는 지수 0에서 모드 하나를 포함할 수 있다. 그때 가장 가능성 있는 모드 하나를 시그널링하는데 하나의 비트만이 필요하다. 게다가, 예측의 사용은 잔류들 상에 성분-간 예측을 적용하는 경우에 제한될 수 있고, 만일 잔류를 발생시키기 위하여 동일한 예측 모드가 서로 다른 색 성분들 중에서 사용되면 상관관계는 높을 수 있다. 그러한 제한은 인트라 예측된 블록들(또는 직사각형 형상들)에서 유용하다. 예를 들면, 성분-간 예측은 루마일 수 있는, 블록(442, 또는 직사각형 블록)을 위하여 사용되는 것과 동일한 인트라 예측 모드가 크로마일 수 있는 블록(440, 또는 직사각형 형상)을 위하여 사용되는 경우에만 적용될 수 있다.The prediction itself may be switchable and a header flag specifying the use of residual prediction must be sent at the beginning of the bit stream. When prediction is allowed, the syntax element specifying its local use is, as previously described, of a residual block (or rectangular shape), a transform block (or rectangular shape), or even transform blocks (or rectangular shapes). It is embedded within the bit stream for
즉, 후자의 경우에 있어서, 성분-간 예측 과정의 블록 방식 적응은 예측기(2222)에 의한 예측이 관련되는 한 블록(440)이 공간 예측 모드와 관련되는지, 그리고 공간 예측 모드가 일치하는지, 또는 공동 위치되는 블록(442)이 예측기(2221)에 의해 예측되는 것을 사용하여 공간 모드로부터 미리 결정된 양 이상에 의해 벗어나지 않는지의 검사를 포함할 수 있다. 공간 예측 모드는 예를 들면, 각각 블록(440 및 442)에 이웃하는 이미 복원된 샘플들이 각각의 예측 신호(2202, 및 2201)를 야기하기 위하여 각각 블록(440 및 442) 내로 보간되고 그리고 나서 각각 z 및 x와 결합되는 공간 예측 방향을 포함할 수 있다.That is, in the latter case, the block method adaptation of the inter-component prediction process is whether the
일 실시 예에서, 예측 소스는 항상 루마 성분이다. 1과 2에 도시된, 이러한 바람직한 실시 예에서, 만일 성분들(108/208 및 110/210) 사이의 상호연결이 중단되면, 루마의 처리는 변하지 않고 결과로서 생긴 루마 평면의 복원된 잔류는 예측을 위하여 사용된다. 그 결과, 예측 소스는 비트 스트림 내에 전송되지 않는다.In one embodiment, the prediction source is always a luma component. In this preferred embodiment, shown in 1 and 2, if the interconnection between the
또 다른 실시 예에서, 예측 소스는 예를 들면 인트라(intra) 또는 인터 예측(inter prediction)이 적용되는 크기를 위한, 잔류 블록과 같은 하나의 블록 또는 형상, 잔류 블록들 또는 형상들의 그룹을 위하여 전송된다.In another embodiment, the prediction source is transmitted for one block or shape, such as a residual block, for a size to which intra or inter prediction is applied, for a group of residual blocks or shapes. do.
예를 들면, 예측 소스는 제 1 크로마 성분을 위하여 루마이고 제 2 크로마 성분을 위하여 루마 또는 제 1 크로마 성분이다. 이러한 바람직한 실시 예는 예측 소스로서 모든 이용 가능한 평면을 허용하는 구성과 유사하고 도 1 및 2와 상응한다.For example, the prediction source is luma for a first chroma component and luma or a first chroma component for a second chroma component. This preferred embodiment is similar to a configuration that allows all available planes as prediction sources and corresponds to FIGS. 1 and 2.
앞서 언급된 실시 예들을 설명하기 위하여, 도 6이 참조된다. 3-성분 화상(102/202)이 도시된다. 제 1 성분(106/206)은 어떠한 성분-간 예측 없이 하이브리드 (디)코딩을 사용하여 코딩/디코딩된다. 제 2 성분(108/208)에 관한 한, 블록들(440)로 동일하게 분할되고, 이들 중 하나가 바람직하게는 도 5의 경우에서와 같이 도 6에 도시된다. 이러한 블록들(440)의 유닛들 내에, 예를 들면 위에 설명된 것과 같이 α에 대하여 성분-간 예측이 적용된다., 유사하게, 화상(102/202)은 제 3 성분(110/220)에 관한 한 블록들(450)로 분할되고 그러한 하나의 블록이 도 6에 대표적으로 도시된다. 방금 설명된 두 가지 대안과 관련하여 설명된 것과 같이, 블록(450)의 성분-간 예측은 필연적으로 예측 소스로서 제 1 성분(106/206), 즉 제 1 성분(106/206)의 공동 위치되는 부분(452)을 사용함으로써 실행될 수 있다. 이는 연속 실선 화살표(454)를 사용하여 표시된다. 그러나 방금 설명된 제 2 대안에 따르면, 데이터 스트림(104) 내의 구문 요소(456)는 예측 소스로서 제 1 성분, 즉 454의 사용 및 예측 소스로서 제 2 성분의 사용, 즉 화살표(460)에 의해 표시되는 제 2 성분(108/208)의 공동 위치되는 부분(458)을 기초로 하는 성분-간 예측 블록(450)의 사용 사이를 스위칭한다. 도 6에서, 제 1 성분(106/206)은 예를 들면 루마 성분일 수 있고, 반면에 나머지 두 개의 성분(108/208 및 110/210)은 크로마 성분들일 수 있다.In order to describe the aforementioned embodiments, reference is made to FIG. 6. A three-
도 6과 관련하여, 가능하게는 제 2 성분(108/208)을 위한 블록들(440)로의 분할은 블록들(450)로의 성분(110/210)의 분할과 독립적인 방식으로 데이터 스트림 내에 시그널링될 수 있거나, 또는 블록들(450)로의 성분(110/210)의 분할로부터의 유도를 허용한다는 것에 유의하여야 한다. 자연적으로, 분할은 또한 동일할 수 있고 심지어 하나의 시그널링된 형태로부터 적응될 수 있거나, 또는 바람직하게는 뒤에 도 10의 경우에서와 같이 제 1 성분을 위하여 사용될 수 있다.6, the partitioning into
방금 위에 설명된, 또 다른 실시 예는 화상(110/210)의 모든 성분이 대안으로서 예측 소스의 역할을 할 수 있다는 가능성이다. 도 7이 참조된다. 도 7에서, 모든 성분(106 내지 110/206 내지 210)은 그것들과 관련된 블록들(470)로의 공통 분할을 가지며 그러한 하나의 블록(470)이 바람직하게는 도 7에 도시된다. 블록들(470)로의 분할 또는 세분은 데이터 스트림(104) 내에 시그널링될 수 있다. 위에 이미 설명된 것과 같이, 블록(470)은 잔류 또는 변환 블록들일 수 있다. 그러나, 여기서는 어떠한 성분도 "제 1 성분", 즉 예측 소스를 형성할 수 있다. 구문 요소(472) 및 데이터 스트림(104)은 블록(470)을 위하여 성분들(106 내지 110/206 내지 210) 중 어떤 것이 예를 들면 나머지 두 성분을 위한 예측 소스를 형성하는지를 나타낸다. 예를 들면, 도 7은 도 7이 화살표에 의해 도시된 것과 같이 예측 소스가 서로 다르게 선택되는 또 다른 블록(472)을 도시한다. 블록(470) 내에서, 제 1 성분은 나머지 두 성분을 위한 예측 소스로서 역할을 하고, 블록(472)의 경우에 제 2 성분은 제 1 성분의 역할을 추정한다.Another embodiment, just described above, is the possibility that all components of the
도 6 및 7과 관련하여, 구문 요소들(456 및 472)이 예측 소스를 나타내는 범위는 서로 다르게, 즉 각각의 블록(450 및 470/72)을 위하여, 또는 블록들의 그룹들 또는 심지어 전체 화상(102/202)을 위하여 개별적으로 선택될 수있다는 것에 유의하여야 한다.6 and 7, the range in which the
또 다른 실시 예에서, 예측 소스는 모든 이용 가능한 성분 또는 이용 가능한 성분의 서브셋일 수 있다. 이러한 바람직한 실시 예에서, 소스의 가중은 디코더에 시그널링될 수 있다.In another embodiment, the prediction source may be all available components or a subset of the available components. In this preferred embodiment, the weighting of the source can be signaled to the decoder.
바람직한 실시 예에서, 예측 도메인은 공간 도메인 내에 존재한다. 이러한 실시 예에서, 시그널링 구성에 의존하여, 전체 잔류 블록 또는 형상을 위한 잔류가 사용될 수 있거나 혹은 잔류 블록 또는 형상의 특정 부분만이 사용될 수 있다. 후자의 경우는 예측이 각각의 변환 블록 또는 형상을 위하여 개별적으로 시그널링될 때 주어지고 더 작은 변환 블록들 또는 형상들로의 잔류 블록들 또는 형상들의 뒤따르는 세분이 허용된다.In a preferred embodiment, the prediction domain resides in the spatial domain. In this embodiment, depending on the signaling configuration, the entire residual block or residual for the shape may be used, or only a specific portion of the residual block or shape may be used. The latter case is given when the prediction is signaled separately for each transform block or shape and the subsequent subdivision of residual blocks or shapes into smaller transform blocks or shapes is allowed.
또 다른 실시 예에서, 예측 도메인은 주파수 도메인 내에 존재한다. 이러한 바람직한 실시 예에서, 예측은 변환 블록 또는 형상 크기에 결합된다.In another embodiment, the prediction domain resides in the frequency domain. In this preferred embodiment, the prediction is coupled to the transform block or shape size.
또 다른 실시 예에서, 예측 도메인은 공간 또는 주파수 도메인 내에 존재할 수 있다. 이러한 실시 예에서, 예측 도메인은 국부적 통계에 의존하여 순방향 시그널링화 또는 역방향 구동 추정에 의해, 개별적으로 지정된다.In another embodiment, the prediction domain may exist in the spatial or frequency domain. In this embodiment, the prediction domains are individually specified, either by forward signaling or reverse driving estimation, depending on local statistics.
후자의 컨텍스트가 도 8에 도시된다. 도 8에서, 화상의 두 개의 성분(102/202)만이 바람직하게 도시된다. 또한, 현재 성분-간 예측되는 블록(440) 및 그것의 공간적으로 상응하는 부분(442)이 도시되고 또한 블록(440)을 위하여 예를 들면 위에 설명된 것과 같은 모델 관련 함수(φ)를 사용하여 구현되는 복원 모듈(400)에 의해 성분-간 예측이 변환 도메인 또는 공간 도메인 내에서 실행되는지를 시그널링하기 위하여 데이터 스트림(104) 내에 포함되는 구문 요소(490)가 도시된다. 특히, 도 8은 설명의 목적을 위하여 디코더에서의 처리를 도시한다. 우선, 데이터 스트림(104)으로부터, 블록(440)에 대한 제 2 성분(208)의 보정 신호는 데이터 스트림으로부터 추출되고, 유사하게 잔류 신호는 공간적으로 상응하는 부분(442)이 관련되는 한 제 1 성분(206)을 위하여 데이터 스트림(104)으로부터 추출된다. 만일 구문 요소(490)가 블록(440)을 위한 스펙트럼 도메인의 사용을 나타내면, 이러한 신호들은 복원 모듈(400) 내로 직접적으로 입력되고 성분-간 예측된 출력(z)은 화상(202)의 제 2 성분(208)이 또 다른 복원을 위하여 블록(440)의 보정 신호를 대체한다. 그러나, 만일 구문 요소(490)가 공간 도메인의 사용을 나타내면, 블록(440)을 위하여 데이터 스트림(104)으로부터 추출된 신호들 및 공간적으로 상응하는 부분(442)은 복원 모듈(400)에 의한 처리 이전에 역 변환(226)의 대상이 된다. 스펙트럼을 사용하는 경우에, z를 획득하기 위하여 x 및 y의 조합은 스펙트럼-성분 방식으로 실행되고, 공간 도메인을 사용하는 경우에, 모듈(400)에 의해 z를 획득하기 위하여 x 및 y의 조합은 샘플-별(sample-wise) 방식으로 실행된다.The latter context is shown in FIG. 8. In Fig. 8, only two
다시, 구문 요소(490)는 블록들(440)의 그룹들 또는 전체 화상 또는 심지어 화상들의 그룹과 같은, 큰 범위를 위하여, 개별적으로 블록(440)을 위한 성분 예측을 위하여 사용되도록 도메인을 시그널링할 수 있다.Again,
또 다른 실시 예에서, 두 예측 도메인 모두는 예측 과정 내에 포함된다. 본 발명의 이러한 바람직한 실시 예에서, 예측은 우선 공간 도메인 내에서 수행되고, 주파수 도메인 내에 또 다른 예측이 적용되며 두 예측은 서로 다른 예측 모드들 또는 소스들을 사용한다.In another embodiment, both prediction domains are included in the prediction process. In this preferred embodiment of the present invention, the prediction is first performed in the spatial domain, another prediction is applied in the frequency domain, and the two predictions use different prediction modes or sources.
일 실시 예에서, 크로마 블록 또는 형상은 동일한 인자에 의해 수평으로, 수직으로, 또는 두 방향 모두로 서브샘플링될 수 있다. 이러한 실시 예에서, 다운 스케일 인자는 2의 제곱과 동일할 수 있다. 다운 샘플러의 사용은 비트 스트림 내의 구문 요소로서 전송되고 다운 샘플러는 고정된다.In one embodiment, the chroma block or shape may be subsampled horizontally, vertically, or in both directions by the same factor. In this embodiment, the down scale factor may be equal to a power of two. The use of the down sampler is transmitted as a syntax element in the bit stream and the down sampler is fixed.
또 다른 실시 예에서, 크로마 블록 또는 형상은 동일한 인자에 의해 수평으로, 수직으로, 또는 두 방향 모두로 서브샘플링될 수 있다. 인자는 비트 스트림 내에 전송될 수 있고 다운 샘플러는 필터들의 세트로부터 선택되며, 비트 스트림 내에 전송되는 지수에 의해 정확한 필터가 어드레싱될 수(addressed) 있다.In another embodiment, the chroma block or shape may be subsampled horizontally, vertically, or in both directions by the same factor. The factor can be sent in the bit stream and the down sampler is selected from a set of filters, and the correct filter can be addressed by the exponent sent in the bit stream.
또 다른 실시 예에서, 선택된 다운 샘플링 필터는 비트 스트림 내에 전송된다. 이러한 실시 예에서, 루마는 동일한 블록 또는 직사각형 크기를 달성하기 위하여 다운 샘플링된다.In another embodiment, the selected down-sampling filter is transmitted within the bit stream. In this embodiment, the luma is down sampled to achieve the same block or rectangle size.
일 실시 예에서, 소스 및 표적의 비트 깊이가 서로 다를 때 비트 보정을 나타내는 구문 요소가 시그널링된다. 이러한 실시 예에서, 예측을 위한 동일한 깊이를 갖도록 하기 위하여 루마 정밀도가 감소될 수 있거나 또는 크로마 정밀도가 증가될 수 있다. 후자의 경우에, 크로마 정밀도는 다시 원래의 비트 깊이로 감소된다.In one embodiment, a syntax element indicating bit correction is signaled when the bit depths of the source and target are different. In this embodiment, the luma precision may be reduced or the chroma precision may be increased in order to have the same depth for prediction. In the latter case, the chroma precision is reduced back to the original bit depth.
일 실시 예에서, 예측 모드들의 수는 2이고 예측기들의 세트는 정확하게 주어진 실시 예와 같이 정의된다.In one embodiment, the number of prediction modes is 2 and the set of predictors is defined exactly as in the given embodiment.
또 다른 실시 예에서, 예측 모드의 수는 1이고 구성은 이전 실시 예에서 설명된 것과 동일하다.In another embodiment, the number of prediction modes is 1 and the configuration is the same as described in the previous embodiment.
또 다른 실시 예에서, 예측기들의 수는 자유롭게 조정가능하고 예측기들의 세트는 정확하게 주어진 실시 예와 같이 정의된다. 이러한 실시 예는 α=1/m을 갖는 실시 예의 더 일반적인 설명이고 여기서 m>0은 예측 수 또는 모드를 나타낸다. 따라서, m=0은 예측이 생략되어야만 한다는 것을 나타낸다.In another embodiment, the number of predictors is freely adjustable and the set of predictors is defined exactly as in the given embodiment. This embodiment is a more general description of an embodiment with α=1/m, where m>0 represents the predicted number or mode. Thus, m=0 indicates that the prediction should be omitted.
또 다른 실시 예에서, 예측 모드는 고정되는데, 즉 예측은 항상 이용 가능하다. 이러한 실시 예를 위하여, 평면-간 예측이 가능할 수 있고 제로와 동일한 예측기들의 수를 설정할 수 있다.In another embodiment, the prediction mode is fixed, ie prediction is always available. For this embodiment, inter-plane prediction may be possible and the number of predictors equal to zero may be set.
또 다른 실시 예에서, 예측이 항상 적용되고 α 같은 예측 파라미터들이 이웃 블록들 또는 형상들로부터 유도된다. 이러한 실시 예에서, 블록 또는 형상을 위한 최적 α는 완전한 복원 이후에 계산된다. 계산된 α는 국부적 이웃 내의 그 다음 블록 또는 형상을 위한 파라미터로서 작용한다.In another embodiment, prediction is always applied and prediction parameters such as α are derived from neighboring blocks or shapes. In this embodiment, the optimum α for the block or shape is calculated after complete reconstruction. The calculated α acts as a parameter for the next block or shape in the local neighborhood.
또 다른 실시 예에서, 구문 요소는 국부적 이웃으로부터 유도되는 파라미터들의 사용을 나타내는 비트 스트림 내에 전송된다.In another embodiment, the syntax element is transmitted in a bit stream indicating the use of parameters derived from the local neighbor.
또 다른 실시 예에서, 이웃으로부터 유도되는 파라미터들이 항상 사용된다. 이에 더하여, 인코더 내에서 계산되는 최적 파라미터들에 대한 델타가 비트 스트림 내에 전송될 수 있다.In another embodiment, parameters derived from neighbors are always used. In addition, deltas for optimal parameters calculated in the encoder may be transmitted in the bit stream.
또 다른 실시 예에서, 파라미터들을 위한 역방향 구동 선택 전략은 사용할 수 없고 최적 파라미터들은 비트 스트림 내에 전송된다.In another embodiment, a reverse drive selection strategy for the parameters is not available and optimal parameters are transmitted in the bit stream.
또 다른 실시 예에서, α의 시작뿐만 아니라 비트 스트림 내의 델타(α)의 존재의 사용은 개별적으로 시그널링된다.In another embodiment, the start of α as well as the use of the presence of delta α in the bit stream are signaled separately.
일 실시 예에서, 예측 모드, 예측 소스, 및 예측 파라미터들의 시그널링은 동일한 정규 예측 모드에 제한된다. 이러한 실시 예에서, 평면-간 예측과 관련된 정보는 크로마 성분을 위한 성분-간 모드가 루마 성분을 위하여 사용된 것과 동일할 때에만 전송된다.In one embodiment, the prediction mode, prediction source, and signaling of prediction parameters are limited to the same normal prediction mode. In this embodiment, information related to inter-plane prediction is transmitted only when the inter-component mode for the chroma component is the same as that used for the luma component.
또 다른 실시 예에서, 블록은 서로 다른 크기의 윈도우들로 분할되고 현재 윈도우를 위한 파라미터들은 블록 내의 복원된 이전 윈도우로부터 유도된다. 또 다른 실시 예에서, 제 1 윈도우를 위한 파라미터들은 복원되는 이웃 블록들로부터 유도된다.In another embodiment, the block is divided into windows of different sizes and parameters for the current window are derived from the reconstructed previous window in the block. In another embodiment, parameters for the first window are derived from reconstructed neighboring blocks.
또 다른 실시 예에서, 구문 요소는 제 1 윈도우를 위하여 사용되려는 국부적 이웃으로부터 유도되는 파라미터들의 사용을 나타내는 비트 스트림 내에 전송된다.In another embodiment, the syntax element is transmitted in a bit stream indicating the use of parameters derived from the local neighbor to be used for the first window.
또 다른 실시 예에서, 윈도우들은 수직, 수평 또는 수직 방향으로 스캐닝될 수 있다.In another embodiment, windows may be scanned in a vertical, horizontal or vertical direction.
또 다른 실시 예에서, 현재 윈도우를 위한 파라미터들은 이전 윈도우로부터 유도되고 변환 계수 서브 블록들의 스캔 위치에 따라 결정된다.In another embodiment, parameters for the current window are derived from the previous window and are determined according to scan positions of transform coefficient sub-blocks.
또 다른 실시 예에서, 윈도우 스캐닝은 하나의 스캐닝 방향으로 제한된다.In another embodiment, window scanning is limited to one scanning direction.
또 다른 실시 예에서, 파라미터들은 룩업 테이블, 및 나눗셈 대신에 곱셈 운영의 사용에 의한 정수 구현을 사용하여 유도된다.In another embodiment, the parameters are derived using a lookup table, and an integer implementation with the use of a multiplication operation instead of division.
일 실시 예에서, 비트 스트림의 헤더 내에 전송되는 전역 플래그는 적응적 평면-간 예측의 사용을 나타낸다. 이러한 실시 예에서, 플래그는 시퀀스 레벨 내에 내장된다.In one embodiment, the global flag transmitted in the header of the bit stream indicates the use of adaptive inter-plane prediction. In this embodiment, the flag is embedded within the sequence level.
또 다른 실시 예에서, 전역 플래그는 비트 스트림의 헤더 내에 전송되고 화상 파라미터 레벨 내에 내장된다.In another embodiment, the global flag is transmitted within the header of the bit stream and embedded within the picture parameter level.
또 다른 실시 예에서, 예측기들의 수가 비트 스트림의 헤더 내에 전송된다. 아러한 실시 예에서, 숫자 제로는 예측이 항상 가능하다는 것을 나타내고, 제로 동일하지 숫자는 예측 모드가 적응적으로 선택되는 것을 나타낸다.In another embodiment, the number of predictors is transmitted in the header of the bit stream. In this embodiment, the number zero indicates that prediction is always possible, and the number not equal to zero indicates that the prediction mode is adaptively selected.
일 실시 예에서, 예측 모드의 세트는 예측 모드들의 수로부터 유도된다.In one embodiment, the set of prediction modes is derived from the number of prediction modes.
또 다른 실시 예에서, 예측 모드의 세트는 디코더에 알려지고 디코더는 예측이 모든 파라미터 모델을 지정한다.In another embodiment, the set of prediction modes is known to the decoder and the decoder specifies all parametric models for which predictions are made.
또 다른 실시 예에서, 예측 모드들은 모두 선형 또는 아핀이다.In another embodiment, the prediction modes are all linear or affine.
일 실시 예에서, 예측기들의 세트는 하이브리드, 즉 예측 소스로서 다른 평면들을 사용하는 간단한 예측 모드들을 포함하고, 모든 이용 가능한 평면더 복잡한 예측 모드들 및 입력 잔류 신호들의 또 다른 성분 또는 평면 공간 내로의 변환을 포함한다.In one embodiment, the set of predictors comprises a hybrid, i.e. simple prediction modes that use different planes as the prediction source, and all available planar more complex prediction modes and the transformation of the input residual signals into another component or plane space. Includes.
일 실시 예에서, 예측의 사용은 각각의 크로마 성분을 위한 각각의 변환 블록 또는 형상을 위하여 지정된다. 이러한 실시 예에서, 이러한 정보는 루마 성분이 동일한 공간적 이치에서 제로 값의 잔류로 구성될 때 생략될 수 있다.In one embodiment, the use of prediction is specified for each transform block or shape for each chroma component. In this embodiment, this information may be omitted when the luma component consists of a residual of zero values in the same spatial reason.
일 실시 예에서, 모드들은 절삭형 단항 분해를 사용하여 전송된다. 이러한 실시 예에서, 서로 다른 컨텍스트 모델들이 각각의 빈 지수를 위하여 할당되나, 특정 수, 즉 3에 의해 한정된다. 게다가, 두 크로마 성분 모두를 위하여 동일한 컨텍스트 모델들이 사용된다.In one embodiment, the modes are transmitted using truncated unary decomposition. In this embodiment, different context models are assigned for each bin index, but limited by a specific number,
또 다른 실시 예에서, 서로 다른 크로마 평면들은 서로 다른 컨텍스트 모델 세트들을 사용한다.In another embodiment, different chroma planes use different context model sets.
또 다른 실시 예에서, 서로 다른 변환 블록 또는 형상 크기들은 서로 다른 컨텍스트 모델 세트들을 사용한다.In another embodiment, different transform block or shape sizes use different context model sets.
또 다른 실시 예에서, 예측 모드로의 빈들의 매핑은 동적 또는 적응적이다. 이러한 실시 예에서, 디코더 관점에서, 제로와 동일하게 디코딩된 모드는 디코딩된 시간까지 가장 많이 사용된 모드를 나타낸다.In another embodiment, the mapping of bins to the prediction mode is dynamic or adaptive. In this embodiment, from the decoder point of view, the decoded mode equal to zero represents the most used mode until the decoded time.
또 다른 실시 예에서, 예측 모드, 및 만일 서로 다른 예측 소스들을 허용하는 구성을 사용하면 예측 소스는 잔류 블록 또는 형상을 위하여 전송된다. 이러한 실시 예에서, 서로 다른 블록 또는 형성 크기들은 서로 다른 컨텍스트 모델들을 사용할 수 있다.In another embodiment, the prediction mode, and if a configuration that allows different prediction sources is used, the prediction source is transmitted for the residual block or shape. In this embodiment, different block or formation sizes may use different context models.
그 다음에 설명되는 실시 예는 특히 지금까지 설명된 "교차 성분 비상관"을 위하여 어떻게 예측 파라미터들을 코딩하는지에 대한 일례에 관한 것이다.The embodiment described then relates in particular to an example of how to code the prediction parameters for the "cross component uncorrelation" described so far.
비록 그것에 제한되지 않으나, 아래의 설명은 종속 성분 신호의 예측으로서 z를 사용하여 z=αx+y의 계산을 통하여 기준(제 1) 성분 신호(x) 및 잔류(보정) 신호(y)를 기초로 하여 종속(제 2) 성분이 복원되는 대안을 언급하는 것으로서 고려될 수 있다. 예측은 예를 들면, 공간 도메인 내에 적용될 수 있다. 위의 실시 예들에서와 같이, 성분-간 예측은 하이브리드 코딩 잔류 신호에 적용될 수 있는데, 즉 제 1 및 제 2 성분 신호는 하이브리드 코딩의 잔류 신호를 표현할 수 있다. 그러나, 아래의 실시 예는 α의 시그널링에 초점을 맞추는데, 이러한 파라미터는 예를 들면 다-성분 화상이 세분되는 잔류 블록들의 유닛 내에서와 같은 서브-화상 기반 내에 코딩된다. 아래의 설명은 α를 위한 선택적 값들의 범위가 화상 콘텐츠의 종류에 의존하고, 차례로 잔류 블록들보다 더 큰 범위/유닛들이 바뀌는 사실을 설명하기 위하여, α의 시그널링 가능한 상태들이 바람직하게는 가변적이어야만 한다는 사실에 관한 것이다. 따라서, 원칙적으로 α의 전송과 관련하여 아래에 설명되는 상세내용은 또한 위에 설명된 다른 실시 예들에 전달될 수 있다.Although not limited thereto, the description below is based on the reference (first) component signal (x) and the residual (corrected) signal (y) through the calculation of z=αx+y using z as a prediction of the dependent component signal. Can be considered as referring to an alternative in which the dependent (second) component is restored. The prediction can be applied in the spatial domain, for example. As in the above embodiments, inter-component prediction can be applied to the hybrid coding residual signal, that is, the first and second component signals can represent the residual signal of hybrid coding. However, the embodiment below focuses on the signaling of α, which parameter is coded in a sub-picture basis, such as in a unit of residual blocks into which a multi-component picture is subdivided. The description below states that the signalable states of α should preferably be variable in order to explain the fact that the range of optional values for α depends on the type of image content, and in turn the larger ranges/units than the remaining blocks change. It's about facts. Thus, in principle, the details described below with respect to the transmission of α can also be conveyed to the other embodiments described above.
교차-성분 비상관(CCD) 접근법은 더 높은 압축 효율을 가능하게 하는 서로 다른 색 성분들 사이의 나머지 종속성을 이용한다. 그러한 접근법을 위하여 아핀 모델이 사용될 수 있고 모델 파라미터들이 부가 정보로서 비트 스트림 내에 전송된다.The cross-component non-correlation (CCD) approach takes advantage of the remaining dependencies between different color components that enable higher compression efficiency. For such an approach an affine model can be used and model parameters are transmitted in the bit stream as side information.
부가 정보 비용을 최소화하기 위하여, 가능한 파라미터들의 제한된 설정만이 전송된다. 예를 들면, 고효율 비디오 코딩(HEVC)에서의 가능한 교차-성분 비상관 구현은 아핀 예측 모델 대신에 선형 예측 모델을 사용할 수 있고 모드 파라미터만이, 즉 경사 또는 구배(gradient) 파라미터(α1)는 0부터 1까지로 제한될 수 있고 비-균일하게 양자화될 수 있다. 특히, α를 위한 값들의 제한된 세트는 α∈{0, ±0.125, ±0.25, ±0.5, ±1}일 수 있다.In order to minimize the cost of additional information, only a limited set of possible parameters is transmitted. For example, a possible cross-component uncorrelation implementation in High Efficiency Video Coding (HEVC) can use a linear prediction model instead of an affine prediction model and only the mode parameter, i.e. the gradient or gradient parameter (α 1 ), is It can be limited to 0 to 1 and can be non-uniformly quantized. In particular, the limited set of values for α may be α∈{0, ±0.125, ±0.25, ±0.5, ±1}.
선형 예측 모델 파라미터를 위한 그러한 양자화의 선택은 α의 분포가 Y'CbCr 색 공간 내에 저장된 자연 색 콘텐츠를 위하여 값 0 주위에 대칭적으로 집중된다는 사실을 기초로 할 수 있다. Y'CbCr에서, 색 성분들은 압축 단계로 들어가기 전에 R'G'B'로부터 전환하기 위하여 고정된 변환 매트릭스를 사용함으로써 비상관된다. 이러한 사실 대문에, 전역 변환이 하위 선택적이라는 사실 때문에, 교차-성분 비상관 접근법은 서로 다른 색 성분들 사이의 나머지 종속성을 제거함으로써 더 높은 압축 효율을 달성할 수 있다.The choice of such quantization for the linear prediction model parameter can be based on the fact that the distribution of α is symmetrically centered around the
그러나, 그러한 가정은 서로 다른 종류의 컨텍스트, 특히 R'G'B' 색 공간 내에 저장된 자연적 비디오 콘텐츠에 해당되지는 않는다. 이러한 경우에 있어서, 구배 파라미터(α)는 흔히 값 1 주위에 집중된다.However, such assumptions do not apply to different kinds of contexts, especially natural video content stored within the R'G'B' color space. In this case, the gradient parameter α is often concentrated around the
위에 주어진 경우와 유사하게, 교차-성분 비상관이 예측 소스로서 제 1 크로마 성분으로 확장될 때 분포는 완전히 다르게 된다. 따라서, 주어진 콘텐츠에 따라 교차-성분 비상관 파라미터들을 조정하는 것이 유익할 수 있다.Similar to the case given above, the distribution becomes completely different when the cross-component uncorrelation extends to the first chroma component as the prediction source. Thus, it may be beneficial to adjust the cross-component uncorrelation parameters according to the given content.
예를 들면, Y'CbCr을 위하여, α의 양자화는 (0, ±0.125, ±0.25, ±0.5, ±1)로 설정될 수 있으나, R'G'B'을 위하여 α의 양자화는 반대, 즉 (0, ±1, ±0.5, ±0.25, ±0.125)일 수 있다. 그러나, 서로 다른 엔트로피 경로들은 부가적인 문제들을 도입한다. 한 가지 문제점은 하드웨어와 소프트웨어 모두를 위한 영역 및 속도와 관련하여 구현에 더 비용이 든다는 것이다. 이러한 단점을 방지하기 위하여, 파라미터 범위는 CCD의 사용이 또한 표시되는 화상 파라미터 설정 레벨 내에 지정될 수 있다.For example, for Y'C b C r , the quantization of α can be set to (0, ±0.125, ±0.25, ±0.5, ±1), but for R'G'B', the quantization of α is Conversely, it may be (0, ±1, ±0.5, ±0.25, ±0.125). However, different entropy pathways introduce additional problems. One problem is that it is more expensive to implement in terms of speed and area for both hardware and software. In order to avoid this drawback, the parameter range can be specified within the image parameter setting level at which the use of the CCD is also indicated.
즉, 구문 요소 시그널링(α)은 예를 들면 잔류 블록을 위하여 개별적으로, 서브-화상 레벨/입상도에서 전송된다. 이는 예를 들면, res_scale_value로 불릴 수 있다. 이는 예를 들면 빈 스트링의 이진 산술 코딩과 결합되는 (절삭형) 단항 이진화를 사용하여 코딩될 수 있다. res_scale_value의 (비-이진화) 값들의 α 상으로의 매핑은 화상 파라미터 설정을 사용하여, 즉 완전한 화상 또는 심지어 화상 시퀀스 당 기반과 같은 더 큰 범위에서 변경되는 것과 같이 구현될 수 있다. 변이는 표현 가능한 α 값들의 수, 표현 가능한 α 값들의 순서 및 표현 가능한 α 값들의 선택, 즉 그것들의 실제 값들을 변경할 수 있다. 표현 가능한 α 값들 중에서 단지 순서를 바꾸거나 혹은 양 또는 음의 값들만으로 표현 가능한 α 값들을 한정하는 것이 콘텐츠 적응을 위하여 제공되는 한 가지 방법이나, 아래에 더 설명되는 실시 예들은 (단지 약간 증가된 오버헤드에 의해) 서브-화상 입상도 시그널링된 res_scale_value로부터 크기의 변이, 구성원들 및 매핑의 공동 도메인의 구성원 순서(표현 가능한 α 값들의 세트)와 같은 α 값들로의 매핑을 변경하는데 훨씬 증가된 유연성을 허용하고, res_scale_value를 전송하기 위한 비트 절약과 관련하여 이러한 제공의 장점들은 매핑의 변이를 시그널링하는 필요성을 과잉 보상하는 것으로 밝혀졌다(YCC 또는 RGB 내에 코딩된 비디오 콘텐츠의 일반적인 혼합에서 보이는).In other words, the syntax element signaling α is transmitted individually at the sub-picture level/granularity, for example for residual blocks. This can be called, for example, res_scale_value. This can be coded for example using (cutting-off) unary binarization combined with binary arithmetic coding of empty strings. The mapping of the (non-binarized) values of res_scale_value onto a phase can be implemented using picture parameter settings, i.e. as being changed over a larger range, such as on a full picture or even per picture sequence basis. The variance can change the number of representable α values, the order of representable α values, and the selection of representable α values, ie their actual values. One method provided for content adaptation is to only change the order of the expressible α values or limit the α values that can be expressed only with positive or negative values, but the embodiments further described below are (only slightly increased over The sub-picture granularity (by the head) gives even greater flexibility in changing the mapping from the sub-picture granularity signaled res_scale_value to α values, such as the variance in size, the order of members and members of the common domain of the mapping (set of expressible α values). It has been found that the advantages of this provision over-compensate for the need to signal a variation of the mapping (as seen in the general mix of video content coded in YCC or RGB) with respect to bit savings to allow and transmit res_scale_value.
α를 위한 범위의 지정은 예를 들면 다음과 같이 수행될 수 있다. Y'CbCr의 경우에, 바람직한 서브-셋은 예를 들면 (0, 0.125±, ±0.25, ±0.5)일 수 있고 반면에 R'G'B'을 위하여 이는 (0, 0.5±, ±1) 또는 (0, 0.5, 1) 또는 심지어 (0, 0.5, 1, 2)일 수 있다. 언급된 행동을 달성하기 위하여, 범위는 두 개의 값을 표현하는 두 개의 구문 요소를 사용하여 화상 파라미터 설정 내에 지정될 수 있다. 위의 실시 예 및 3 지점 정확도로 예측이 실행되는, 즉 예측 샘플 값들이 α에 의해 곱해지고 그리고 나서 3에 의해 오른쪽으로 이동되는 사실을 고려하여, Y'CbCr을 위한 범위 구성은 [-3, 3]으로서 전송될 수 있다.The designation of the range for α can be carried out, for example, as follows. In the case of Y'C b C r , the preferred sub-set can be for example (0, 0.125±, ±0.25, ±0.5) whereas for R'G'B' it is (0, 0.5±, ±1) or (0, 0.5, 1) or even (0, 0.5, 1, 2). In order to achieve the mentioned behavior, a range can be specified in the picture parameter setting using two syntax elements representing two values. Considering the above embodiment and the fact that the prediction is performed with 3-point accuracy, that is, the predicted sample values are multiplied by α and then shifted to the right by 3, the range configuration for Y'C b C r is [ It can be transmitted as -3, 3].
그러나, 그러한 시그널링으로, R'G'B'를 위한 제 2 및 제 3 경우만이 [2, 3] 및 [2, 4]를 사용하여 달성될 수 있다. R'G'B'를 위한 제 1 실시 예를 달성하기 위하여, 부호는 부가적인 구문을 사용하여 분리되어야만 한다. 게다가, 제 2 값을 위하여 델터를 전송하면 충분하고 제 1 값은 시작 지점으로서 역할을 한다. 이러한 예를 위하여, 제 2 R'G'B' 구성은 [2, 3] 대신에 [2, 1]이다.However, with such signaling, only the second and third cases for R'G'B' can be achieved using [2, 3] and [2, 4]. In order to achieve the first embodiment for R'G'B', the codes must be separated using additional syntax. In addition, it is sufficient to send the delter for the second value and the first value serves as a starting point. For this example, the second R'G'B' configuration is [2, 1] instead of [2, 3].
제 1 크로마 성분으로부터의 예측의 경우에, 범위 값들은 각각의 크로마 성분에 대하여 개별적으로 지정될 수 있다. 이는 제 1 크로마 성분으로부터의 예측을 위한 지원 없이도 수행될 수 있다는 것에 유의하여야 한다.In the case of prediction from the first chroma component, range values can be specified individually for each chroma component. It should be noted that this can be done without support for prediction from the first chroma component.
화상 파라미터 설정 내에 지정된 한계를 고려하면, 예측 파라미터(α)의 파싱(parsing) 및 복원은 다음과 같이 변형된다. 한계가 없는 경우를 위하여, 즉 α∈{0, ±0.125, ±0.25, ±0.5, ±1}이고 a3 지점 정확도와 정밀도의 경우에, 최종 αF는 다음과 같이 복원되고 여기서 αP는 비트 스트림으로부터 파싱된 값을 나타낸다: αF=1≪αP. 이는 αF=1≪(αP+αL)에 따라 변형되고 αL은 범위가 완전히 양 또는 음의 범위 내에 놓일 때 가장 작은 절대 값을 위한 오프셋을 나타낸다.Taking into account the limits specified in the picture parameter setting, the parsing and restoration of the prediction parameter α is transformed as follows. For the case of no limit, i.e. α∈{0, ±0.125, ±0.25, ±0.5, ±1} and in the case of a3 point accuracy and precision, the final α F is restored as follows, where α P is the bit stream Represents the value parsed from: α F =1 << α P. It is modified according to α F =1 <<(α P +α L ) and α L represents the offset for the smallest absolute value when the range lies completely within the positive or negative range.
두 값 모두는 αP가 절삭형 단항 코드를 사용하여 이진화될 때 비트 스트림으로부터 파싱된 빈들의 수에 대한 한계를 유도하도록 사용된다. 이러한 양상을 이용하기 위한 더 나은 방법은 α의 절대 값 이전에 부호를 인코딩하는 것이다. 부호를 코딩한 후에, 비트 스트림으로부터 파싱되려는 최대 빈들의 수가 유도될 수 있다. 이러한 경우는 범위가 비대칭일 때, 즉 [-1, 3]일 때 유용하다.Both values are used to derive a limit on the number of bins parsed from the bit stream when α P is binarized using truncated unary code. A better way to take advantage of this aspect is to encode the sign before the absolute value of α. After coding the sign, the maximum number of bins to be parsed from the bit stream can be derived. This case is useful when the range is asymmetric, that is, [-1, 3].
흔히, 예를 들면 일부 R'G'B' 콘텐츠를 위하여 (0, 1, 0.5) 같이 서로 다른 순서가 바람직하다. 그러한 가역(inversion)은 [3, 2]에 따라 범위 값들을 설정함으로써 간단하게 달성될 수 있다. 이러한 경우에 있어서, 비트 스트림으로부터 파싱되는 빈들의 수는 여전히 2이다(두 범위 값들 사이의 절대 차이는 n=1이고 절삭형 단항 코드의 경우에 빈들의 수는 항상 n+1이다). 그때, 가역은 2가지 방법에 의해 달성될 수 있다. 첫 번째 옵션은 가역이 바람직하지 않고 가역의 경우에 최대 표현 가능한 값이 없을 때 현재 값의 2배와 동일한, 고정된 오프셋을 도입한다. 이를 수행하기 위한 두 번째 및 더 명쾌한 방법은 메모리에 화상 파라미터 설정 내에 전송된 범위로 확장하고 룩-업 운영을 통하여 상응하는 값을 액세스하는 것이다. 이러한 접근법은 두 경우를 위한 통일된 논리 및 단일 경로에 이르게 할 수 있다. 예를 들면, 경우(0, 0.25, 0.5, 1)는 [1, 3]을 전송함으로써 화상 파라미터 설정 내에 시그널링되고 다음의 엔트리들(0, 1, 2, 3)로 메모리가 생성된다. 다른 방법에서, 즉 비트 스트림 내에 전송된 값들[3, 1]을 갖는 반대의 경우에, 메모리는 다음이 엔트리들(0, 3, 2, 1)로 생성된다. 그러한 접근법의 사용으로, 최종 αF는 αF=1≪(LUT[αP])로서 공식화될 수 있고 여기서 는 룰-업 운영을 나타낸다.Often, different orders are preferred, for example (0, 1, 0.5) for some R'G'B' content. Such inversion can be achieved simply by setting range values according to [3, 2]. In this case, the number of bins parsed from the bit stream is still 2 (the absolute difference between the two range values is n=1 and in the case of truncated unary code the number of bins is always n+1). Then, reversibility can be achieved by two methods. The first option introduces a fixed offset equal to twice the current value when reversibility is undesirable and in the case of reversibility there is no maximum representable value. A second and clearer way to do this is to extend the range transferred in the picture parameter setting to the memory and access the corresponding value through a look-up operation. This approach can lead to a unified logic and single path for both cases. For example, a case (0, 0.25, 0.5, 1) is signaled in the picture parameter setting by sending [1, 3] and a memory is created with the following entries (0, 1, 2, 3). In the other way, ie in the reverse case with the values [3, 1] transmitted in the bit stream, the memory is then created with these entries (0, 3, 2, 1). With the use of such an approach, the final α F can be formulated as α F =1 <<(LUT[α P ]), where we represent the rule-up operation.
가장 최근에 언급된 양상을 설명하기 위하여, 도 9a, b 및 c가 더 상세히 참조된다. 아래에 간단히 도 9로서 언급되는, 도 9a, b 및 c는 바람직하게는 종속(제 2) 성분(108/208) 뒤의 제 1(기준) 성분(106/206)의, 층을 이룬 방식으로 하나의 다-성분 화상(102/202)을 도시한다.In order to describe the most recently mentioned aspect, reference is made to Figs. 9a, b and c in more detail. 9a, b and c, referred to briefly as FIG. 9 below, are preferably in a layered manner of the first (reference)
화상(102/202)은 비디오(500)의 일부분일 수 있다.
화상이 코딩되는, 데이터 스트림(104)은 적어도 전체 화상(102/202)괴 관련되거나 또는 심지를 이를 넘어 화상(102/202)을 포함하는 비디오(500) 중에서 화상 시퀀스와 관련되는 고레벨 구문 요소 구조(510)를 포함한다. 이는 중괄호 502를 사용하여 도 9에 도시된다. 또한, 데이터 스트림(104)은 서브-화상 레벨 상에 제 1 가중 구문 요소들을 포함한다. 그러한 한 가지 제 1 가중 구문 요소(514)가 화상(102/202)의 바람직한 잔류 블록(440)과 관련하는 것으로서 도 9에 도시된다. 제 1 가중 구문 요소는 기준 성분(106/206)의 공동 위치된 부분을 기초로 하여 종속 성분(108/208)을 성분-간 예측에 있어서 제 1 가중, 즉 α를 개별적으로 설정하기 위한 것이다.The
제 1 가중 구문 요소는 절삭형 단일 이진화(truncated unary binarization)를 사용하여 코딩된다. 그러한 절삭형 단일 이진화의 일례가 도 9의 518에 도시된다. 도시된 것과 같이, 그러한 절삭형 단일 이진화는 증가하는 길이의 빈 스트링들의 시퀀스로 구성된다. 이에 설명된 방식에서, 고레벨 구문 요소 구조(510)는 이진화의 빈 스트링들(518)이 α를 위하여 가능한 값들 상에 어떻게 매핑되는지를 정의한다. α를 위한 그러한 가능한 값들의 바람직한 세트가 도 9의 520에 도시된다. 실제로, 고레벨 구문 요소 구조(510)는 빈 스트링들(518)의 세트로부터 세트(520)의 서브셋 상으로의 매핑(522)을 정의한다. 이러한 측정에 의해, 낮은 비트 소모로 서브-화상 입상도에서 서로 다른 성분-간 예측 가중들(α) 사이의 스위칭을 위한 시그널링화 오버헤드를 유지하는 것이 실현 가능한데 그 이유는 서브-화상 시그널링이 단지 α를 위한 더 작은 수의 가능한 값들 사이를 식별할 수 있기 대문이다.The first weighted syntax element is coded using truncated unary binarization. An example of such truncated single binarization is shown at 518 in FIG. 9. As shown, such truncated single binarization consists of a sequence of empty strings of increasing length. In the manner described herein, the high-level
위에 설명된 것과 같이, 구문 요소 구조(510)는 디코더가 그것으로부터 제 1 및 제 2 구간 경계(interval bound, 524)를 유도하도록 허용하는 것이 실현 가능하다. 구조(510) 내의 상응하는 구문 요소들은 서로 독립적으로/개별적으로 코딩될 수 있거나, 또는 서로 상대적으로, 즉 다르게 코딩될 수 있다. 구간 경계 값들(524)은 시퀀스(520) 중에서의 요소들, 즉 각각의 비트 시프트들을 사용하여 구현될 수 있는 위에 제시된 지수 함수의 사용을 식별한다. 이러한 측정에 의해, 구간 경계들(524)은 디코더에 매핑(522)의 공동 도메인을 나타낼 수 있다.As explained above, it is feasible that the
또한 위에 설명된 것과 같이, α가 제로인 경우는 각각의 제로 플래그(526)를 사용하여 개별적으로 디코더에 시그널링될 수 있다. 만일 제로 플래그가 제 1 상태이면, 디코더는 α를 제로로 설정하고 각각의 블록(440)을 위한 어떠한 제 1 가중 구문 요소(514)의 판독을 생략한다. 만일 제로 플래그가 다른 상태를 가지면, 디코더는 데이터 스트림(104)으로부터 제 1 가중 구문 요소(514)를 판독하고 매핑(522)을 사용하여 가중의 실제 값을 결정한다.Also, as described above, when α is zero, it may be individually signaled to the decoder using each zero
또한, 위에 설명된 것과 같이 제 1 가중 구문 요소(514)의 절대 부분(528)은 절삭형 단항 이진화를 사용하여 코딩될 수 있고, 제 1 가중 구문 요소의 부호 부분은 이전에 코딩될 수 있다. 이러한 방법으로, 인코더와 디코더는 절대 경로(528)를 위한 이진화(518)의 그것들의 길이, 즉 빈 스트링들의 수를 대략적으로 설정하는 것이 실현 가능한데 그 이유는 블록(440)의 값(α)이 양의 α 값들을 갖는 세트(520) 중에서 그러한 매핑(522)의 공동 도메인(532)의 구성원들에 속하는지, 또는 음의 α 값들로 구성되는 그것들의 나머지 부분에 속하는지를 결정하기 때문이다. 자연적으로, 디코더가 공동 도메인(530)이 독점적으로 양의 α 값들을 포함하거나 또는 단지 음의 α 값들을 포함하는 고레벨 구문 요소 구조(510)로부터 유도되는 경우에 제 1 가중 구문 요소(514)의 부호 부분(530)은 존재하지 않을 수 있고 디코더에 의해 판독되지 않을 수 있다.Also, as described above, the
위의 설명으로부터 자명한 것과 같이, 고레벨 구문 요소 구조(510) 내에 코딩되는 구간 경계(524) 및 순서는 절대 부분(528)이 공동 도메인(532)의 구성원들을 "교차하는" 순서를 결정할 수 있다. As will be apparent from the above description, the
도 10과 관련하여, 이미 위에 설명된 특정 양상들을 요약한 또 다른 구체적인 실시 예가 도시된다. 도 10의 실시 예에 따르면, 인코더와 디코더는 예측기들122/222) 내의 하이브리드 예측이 관련되는 한 세 개의 모든 성분에 대하여 공통으로 화상(102/202)을 세분한다. 도 10에서, 성분들은 각각 "1", "2" 및 "3"으로 표시되고, 각각 도시된 화상의 아래에 기록된다. 예측 블록들(308)로의 화상(102/202)의 세분/분할은 예측 관련 세분 정보(600)를 통하여 데이터 스트림(104) 내에 시그널링될 수 있다.Referring to Fig. 10, another specific embodiment is shown summarizing certain aspects already described above. According to the embodiment of FIG. 10, the encoder and the decoder subdivide the
예측 블록(308) 당, 예측 파라미터들은 데이터 스트림(104) 내에 시그널링될 수 있다. 이러한 예측 파라미터들은 화상(102/202)의 각각의 성분을 하이브리드 인코딩/디코딩하기 위하여 사용된다. 예측 파라미터(602)는 각각의 성분을 위하여 개별적으로, 모든 성분을 위하여 공통으로 또는 부분적으로 성분 특이적으로(component specifically) 그리고 성분-전역으로(component-globally) 데이터 스트림(104) 내에 시그널링될 수 있다. 예를 들면, 예측 파라미터(602)는 예를 들면 그중에서도 공간적으로 또는 시간적으로 예측되는 블록들(308)을 구별하고, 예를 들면 이러한 표시는 성분들 중에서 일반적일 수 있으며, 예측 파라미터(502) 중에서 시간적 예측 관련 파라미터들은 성분 특이적으로 데이터 스트림(104) 내에 시그널링될 수 있다. 도 1과 2의 구현을 사용하여, 예를 들면 예측기들(122/222)은 각각의 성분을 위하여 예측 신호(120/220)를 유도하기 위하여 예측 파라미터(602)를 사용한다.Per
또한, 데이터 스트림(104)은 도 10의 실시 예에 따라, 여기서는 도면부호 604로 표시되는, 잔류 또는 변환 블록으로의 화상(102/202)의 세분/분할을 시그널링한다. 데이터 스트림(104) 내의 잔류/변환 관련 세분 정보는 도면부호 606을 사용하여 표시된다. 도 3과 관련하여 위에 설명된 것과 같이, 한편으로는 예측 블록들(308) 및 다른 한편으로는 잔류/변환 블록들(604)로의 화상(102/202)의 세분/분할은 적어도 부분적으로 잔류/변환 블록들(604)로의 분할이 예측 블록들(308)로의 화상(102/202)의 계층적(hierarchical) 멀티-트리 세분 또는 예를 들면 코딩 블록들로의 일부 계층적 매개(intermediary) 분할을 형성한다는 점에서 적어도 부분적으로 서로 결합될 것이다. Further, the
잔류/예측 블록 당, 데이터 스트림(104)은 예를 들면 양자화된 변환 계수들 형태의, 잔류 데이터(6081, 6082, 6083)를 포함할 수 있다. 잔류 데이터(6081 내지 6083)의 탈양자화 및 역 변환은 각각의 성분, 즉 6081, 6082, 6083을 위한 공간 도메인 내의 잔류 신호를 드러낸다.Per residual/prediction block,
도 10에 도시된 것과 같이, 데이터 스트림은 화상(102/202)을 위하여 전역으로 본 실시 예에서 성분-간 예측이 적용/사용되는지에 대하여 시그널링하는 성분-간 예측 플래그(612)를 더 포함한다. 만일 성분-간 예측이 사용되지 않는 것으로 성분-간 예측 플래그(612)가 시그널링하면, 잔류 신호들(6101 내지 6103)은 서로 결합되지 않으나, 각각의 성분에 대하여 예측 신호(120/220)을 보정하도록 개별적으로 사용된다. 그러나, 만일 성분-간 예측 플래그(612)가 성분-간 예측의 사용을 시그널링하면, 데이터 스트림(104)은 잔류/변환 블록 당, 각각의 종속 성분(2 및 3)을 위하여, 각각의 성분(2/3)을 위하여 성분-간 예측이 적용되는지를 시그널링하는 플래그(6142, 6143)을 포함한다. 만일 적용된 것으로 시그널링되면, 데이터 스트림(104)은 각각의 성분(i=2/3)을 위한 각각의 잔류/변환 블록에 대하여, 각각 예를 들면 위에 제시된 설명의 α와 상응하는 성분-간 예측 파라미터(6162 및 6163)를 포함한다.As shown in Fig. 10, the data stream further includes an
따라서, 만일 예를 들면 플래그(6142)가 제 2 성분을 위하여 성분-간 예측이 사용되는 것을 나타내면, 성분-간 예측 파라미터(6162)는 잔류 신호(6102)를 새로운 잔류 신호(6102')로 대체하기 위하여 잔류 신호(6101)가 잔류 신호(6103)에 가산되는 가중을 나타낸다. 후자는 그리고 나서 각각의 예측 신호(1202/2202)를 보정하기 위하여 신호(6102) 대신에 사용된다.Thus, if for example, flag (614 2) the component to a second component - indicates that the inter prediction using the component-to-prediction parameters (616, 2) the new residual signal (610 2, the residual signal (610 2) ') represents a weight added to the residual signal 6 1 1 to the residual signal 6 0 3. The latter is then used in place of the signal (610 2) in order to correct each of the prediction signal (120 2/220 2).
유사하게, 만일 플래그(6143)가 각각의 잔류/변환 블록을 위한 성분-간 예측의 사용을 나타내면, 성분-간 예측 파라미터(6163)는 후자를 대체하고 새로운 잔류 신호(6103')를 야기하기 위하여 잔류 신호(6101)가 잔류 신호(6103)에 가산되는 가중(α3)을 나타내고, 그리고 나서 제 3 성분의 예측 신호(1203/2203)를 보정하도록 사용된다.Similarly, if the flag (614, 3) a component for each remaining / conversion block of - indicates the use of inter-prediction, the component-to-prediction parameters (616, 3) is a replacement for the latter, and the new residual signal (610 3 ') It represents the weight (α 3) which is added to the residual signal (610 1) of the residual signal (610 3) to cause, and then is used to correct the prediction signal (120 3/220 3) of the third component.
성분-간 예측 파라미터(61562/3) 이후에 조건부로 제 1 플래그(6141/2)를 개별적으로 전송하는 대신에, 또 다른 시그널링이 또한 가능할 수 있다. 예를 들면, 가중(α2/3)이 가능한 값들의 도메인이 제로 주위에 대칭으로 배치되는, 부호를 지닌(signed) 값이기 때문에, α2/3의 절대 값은 성분(2/3)이 관련되는 한 성분-간 예측을 사용하지 않는 경우, 및 각각의 성분(2/3)을 위한 성분-간 예측을 사용하는 경우를 구별할 수 있도록 사용될 수 있다. 특히, 만일 절대 값이 0이면, 이는 성분-간 예측을 사용하지 않는 것과 상응한다. 각각의 파라미터(α2/3)를 위한 어떠한 부호의 시그널링은 그리고 나서 데이터 스트림(104) 내에 억제될 수 있다. 다시 상기하면, 도 10의 실시 예에 따르면, 성분-간 예측은 성분들(2/3)이 관련되는 한 잔류/변환 블록 당에 근거하여 변경되고, 변경은 성분-간 예측을 전혀 사용하지 않는 것(α2/3=0) 및 변경에 따라 성분-간 예측을 사용하는 것(α2/3(α2/3≠0))을 포함한다.Instead of individually transmitting the first flag 614 1/2 conditionally after the inter-component prediction parameter 6156 2/3 , another signaling may also be possible. For example, since the domain of possible values for weighting (α 2/3 ) is a signed value, placed symmetrically around zero, the absolute value of α 2/3 is the component (2/3). As far as it is concerned, it can be used to distinguish between the case of not using the inter-component prediction and the case of using the inter-component prediction for each component (2/3). In particular, if the absolute value is 0, this corresponds to not using inter-component prediction. The signaling of any sign for each parameter α 2/3 can then be suppressed in the
특정 구문 실시 예에 따르면, 성분-간 예측 플래그(612)는 데이터 스트림(104)의 화상 파라미터 세트 내에 시그널링될 수 있다. 구문 요소는 다음과 같이 표시될 수 있다:According to a specific syntax embodiment, the
cross_component_prsdiction_enabled_flagcross_component_prsdiction_enabled_flag
그러나, 플래그(612)의 범위는 다르게 선택될 수 있다는 것에 유의하여야 한다. 예를 들면, 플래그(612)는 화상(102/202)의 슬라이스들과 같은 더 작은 유닛들, 혹은 화상들의 그룹들 또는 화상들의 시퀀스들과 같은 더 큰 유닛들과 관련될 수 있다.However, it should be noted that the range of the
잔류/변환 블록 당, 구문 요소들(6142, 6162, 6143 및 6163)은 성분을 나타내는 파라미터(c)를 갖는 아래의 구문을 사용하여 방금 설명된 것과 같이 조건부로 시그널링될 수 있고, 이에 따라 성분(2)을 위한 하나의 값 및 성분(3)을 위한 나머지 값을 추론하며, 파라미터들(x0, y0)은 예를 들면 그것의 상부 왼쪽 모서리 샘플을 거쳐 예를 들면 각각의 잔류/변환 블록을 나타낸다. Per residual/transformation block, syntax elements 614 2 , 616 2 , 614 3 and 616 3 can be conditionally signaled as just described using the syntax below with a parameter (c) representing the component, Accordingly, one value for
즉, 위의 구문은 예를 들면 크로마 성분들과 같은, 제 2 및 제 3 성분 각각을 위하여 각각 한 번씩, 화상의 각각의 잔류 또는 변환 블록을 위하여 데이터 스트림 내에 2회 발생할 수 있고 루마 성분은 기본(제 1) 성분을 형성할 수 있다.That is, the above syntax can occur twice in the data stream, once each for each of the second and third components, for example chroma components, and for each residual or transform block of the image, and the luma component is the default. (1st) The component can be formed.
도 10과 관련하여 이전에 나타낸 것과 같이, 방금 설명된 예는 도 10의 구성에 대한 대안과 상응하는데, log2_res_scale_abs_plus1은 α의 절대 값을 시그널링하고 만일 구문 요소가 제로이면, 이는 각각의 성분(c)을 위하여 사용되지 않는 성분-간 예측과 상응한다. 그러나 만일 사용되면, res_scale_sign_flag가 시그널링되고 α의 부호를 나타낸다. As previously shown with respect to FIG. 10, the example just described corresponds to an alternative to the configuration of FIG. 10, where log2_res_scale_abs_plus1 signals the absolute value of α, and if the syntax element is zero, this means that each component (c) Corresponds to the inter-component prediction that is not used for. However, if used, res_scale_sign_flag is signaled and represents the sign of α.
지금까지 제시된 구문 요소들의 시맨틱스(semantics)는 다음과 같이 제공될 수 있다:The semantics of the syntax elements presented so far can be provided as follows:
1과 동일한 cross_component_prediction_enabled_flag는 log2_res_scale_abs_plus1 및 res_scale_sign_flag가 화상 파라미터 설정을 언급하는 화상들을 위한 변환 유닛 구문 내에 존재하는 것을 지정한다. 0과 동일한 cross_component_prediction_enabled_flag는 log2_res_scale_abs_plus1 및 res_scale_sign_flag가 화상 파라미터 설정을 언급하는 화상들을 위한 변환 유닛 구문 내에 존재하지 않는 것을 지정한다. 존재하지 않을 때, cross_component_prediction_enabled_flag의 값은 0과 동일한 것으로 추론된다. ChromaArrayType이 3과 동일하지 않을 때, 이는 cross_component_prediction_enabled_flag의 값이 0과 동일해야만 한다는 비트스트림 적합성(bitstream conformance)의 요구조건이다. Cross_component_prediction_enabled_flag equal to 1 specifies that log2_res_scale_abs_plus1 and res_scale_sign_flag are present in the transform unit syntax for pictures referring to the picture parameter setting. Cross_component_prediction_enabled_flag equal to 0 specifies that log2_res_scale_abs_plus1 and res_scale_sign_flag are not present in the transform unit syntax for pictures referring to the picture parameter setting. When not present, the value of cross_component_prediction_enabled_flag is inferred to be equal to 0. When ChromaArrayType is not equal to 3, this is a requirement of bitstream conformance that the value of cross_component_prediction_enabled_flag must be equal to 0.
log2_res_scale_abs_plus1[c] minus 1은 교차-성분 잔류 예측에서 사용되는 스케일링 인자(ResScaleVal)의 크기의 밑이 2인(base 2) 로그를 지정한다. 존재하지 않을 때, log2_res_scale_abs_plus1은 0과 동일한 것으로 추정된다. log2_res_scale_abs_plus1 [c] minus 1 specifies the logarithm of the base 2 (base 2) of the scaling factor (ResScaleVal) used in cross-component residual prediction. When not present, log2_res_scale_abs_plus1 is assumed to be equal to 0.
res_scale_sign_flag[c]는 다음과 같이 교차-성분 잔류 예측에서 사용되는 스케일링 인자의 부호를 지정한다: res_scale_sign_flag [c] specifies the sign of the scaling factor used in cross-component residual prediction as follows:
- 만일 res_scale_sign_flag[c]가 0과 동일하면, 상응하는 ResScaleVal은 양의 값을 갖는다.-If res_scale_sign_flag[c] is equal to 0, the corresponding ResScaleVal has a positive value.
- 그렇지 않으면(res_scale_sign_flag[c]가 1과 동일하면), 상응하는 ResScaleVal은 음의 값을 갖는다.-Otherwise (res_scale_sign_flag[c] is equal to 1), the corresponding ResScaleVal has a negative value.
가변 ResScaleVal[cldx][x0][y0]은 교차-성분 잔류 예측에서 사용되는 스케일링 인자를 지정한다. 어레이 지수들(x0, y0)은 화상의 왼쪽 상단 루마 샘플에 대하여 고려되는 변환 블록의 왼쪽 상단 루마 샘플의 위치(x0, y0)를 지정한다. 어레이 지수(cdlx)는 색 성분을 위한 표시기(indicator)를 지정하는데, 이는 Cbdp 대하여 1과 동일하고, Cr에 대하여 2와 동일하다.The variable ResScaleVal[cldx][x0][y0] specifies the scaling factor used in cross-component residual prediction. The array indices (x0, y0) designate the positions (x0, y0) of the upper left luma sample of the transform block to be considered with respect to the upper left luma sample of the image. The array index (cdlx) specifies an indicator for the color component, which is equal to 1 for Cbdp and equal to 2 for Cr.
가변 ResScaleVal[cldx][x0][y0]은 다음과 같이 유도된다:The variable ResScaleVal[cldx][x0][y0] is derived as follows:
- 만일 log2_res_scale_abs_plus1[cdlx1]이 0과 동일하면, 다음과 같이 적용된다:-If log2_res_scale_abs_plus1[cdlx1] is equal to 0, the following applies:
ResScaleVal[cldx][x0][y0]=0ResScaleVal[cldx][x0][y0]=0
그렇지 않으면(log2_res_scale_abs_plus1[cdlx1]이 0과 동일하지 않으면), 다음과 같이 적용된다:Otherwise (log2_res_scale_abs_plus1[cdlx1] is not equal to 0), the following applies:
위에서, ResScaleVal은 앞서 언급된 α와 상응한다.Above, ResScaleVal corresponds to α mentioned above.
즉, 성분-간 예측이 사용되는, 즉 위치들(x,y)에서 log2_res_scale_abs_plus1≠0이 계산되는, 잔류/변환 블록(604) 내의 샘플 값들, 즉 r[x][y]는 예를 들면 다음에 따라, 제 1 성분의 공동 위치된 잔류 샘플 값들(ry[x][y])을 기초로 하여 계산되는데:That is, the sample values in the residual/
여기서 BitDepthc는 종속 성분들(2/3)의 비트 깊이이고, BitDepthr은 제 1 성분의 비트 깊이이다.Here, BitDepth c is the bit depth of the dependent components (2/3), and BitDepth r is the bit depth of the first component.
오른쪽 시프트 ">>3"은 8로 나누는 것과 상응한다. 본 발명의 실시 예에 따르면, 시그널링 가능한 α 값들은 위에 이미 예시된 것과 같이, {0, ±0.125, ±0.25, ±0.5, ±1}이다.Right shift ">>3" corresponds to division by 8. According to an embodiment of the present invention, signalable α values are {0, ±0.125, ±0.25, ±0.5, ±1}, as already illustrated above.
log2_res_scale_abs_plus1은 각각 절삭형 단항 이진화와 이진 산술 코딩 및 이진 산술 디코딩과 절삭형 단항 이진화를 사용하여 데이터 스트림 내에 시그널링될 수 있다. 이진 산술 디코딩은 컨텍스트 적응적일 수 있다. 컨텍스트는 국부적 이웃을 기초로 하여 선택될 수 있다. 예를 들면, log2_res_scale_abs_plus1의 이진화의 빈 당 서로 다른 컨텍스트가 선택될 수 있다. 컨텍스트들의 서로 다른 세트들은 두 크로마 성분 모두를 위하여 사용될 수 있다. 유사하게, res_scale_sign_flag는 각각 이진 산술 코딩 및 이진 산술 디코딩을 사용하여 데이터 스트림 내에 시그널링될 수 있다. 이진 산술 디코딩/코딩은 컨텍스트 적응적일 수 있다. 그러고 두 크로마 성분 모두를 위하여 서로 다른 컨텍스트가 사용될 수 있다. 대안으로서, 두 크로마 성분 모두를 위하여 동일한 컨텍스트가 사용될 수 있다. log2_res_scale_abs_plus1 can be signaled in the data stream using truncated unary binarization and binary arithmetic coding and binary arithmetic decoding and truncated unary binarization, respectively. Binary arithmetic decoding can be context adaptive. The context can be selected based on the local neighborhood. For example, different contexts may be selected per bin of binarization of log2_res_scale_abs_plus1. Different sets of contexts can be used for both chroma components. Similarly, res_scale_sign_flag can be signaled within the data stream using binary arithmetic coding and binary arithmetic decoding, respectively. Binary arithmetic decoding/coding can be context adaptive. Then different contexts can be used for both chroma components. Alternatively, the same context can be used for both chroma components.
설명된 것과 같이, log2_res_scale_abs_plus1으로부터 α의 절대 값으로의 매핑, 즉 즉 ResScaleVal>>3은 비트 시프트 운영, 즉 대수 함수에 이해 산술적으로 수행될 수 있다.As described, the mapping from log2_res_scale_abs_plus1 to the absolute value of α, that is, ResScaleVal>>3, can be performed arithmetically by understanding bit shift operations, that is, algebraic functions.
두 개의 크로마 성분을 위한 log2_res_scale_abs_plus1 및 res_scale_signflag의 시그널링은 만일 후자 내의 루마 성분이 제로이면 특정 잔류/변환 블록을 위하여 생략될 수 있다. log2_res_scale_abs_plus1 및 res_scale_signflag이 도 10의 614 및 616의 시그널링을 위한 실시 예들이기 때문에, 이는 디코더가 가능하게는 제 2 성분(208)의 현재 디코딩되는 부분을 위하여, 복원된 제 1 성분 신호(2561)의 공간적으로 상응하는 부분이 제로인지를 검사할 수 있고, 검사에 의존하여, 데이터 스트림으로부터 서브-화상 레벨 구문 요소들(6142, 6162, 6163)을 분명하고 판독하고 공간적으로 상응하는 부분(442)으로부터 성분 신호들(256'2,3)의 복원을 실행할 수 있거나, 또는 분명한 판독을 생략할 수 있으며, 선택적으로, 공간적으로 상응하는 부분(442)으로부터 제 2 성분 신호(256'2,3)의 복원을 실행하지 않을 수 있으나, 대신에 제 2 성분 신호(256'2,3)를 그대로 둘 수 있다는 것을 의미한다. The signaling of log2_res_scale_abs_plus1 and res_scale_signflag for the two chroma components can be omitted for a specific residual/transform block if the luma component in the latter is zero. Since log2_res_scale_abs_plus1 and res_scale_signflag reading is performed for signaling 614, and 616 of Figure 10 for example, which decoder is possibly of the order of parts it is now decode the
도 10은 데이터 스트림(105)으로부터의 제 1 성분(206)과 관련하여 제 1 성분 신호(610)를 복원하고; 복원된 제 1 성분 신호(6101) 및 데이터 스트림으로부터 유도되는 보정 신호(6102,3)의 공간적으로 상응하는 부분(442)으로부터 다-성분 화상(202)의 제 2(제 3) 성분(208/210)과 관련하여 제 1 성분 신호(610'2,3)의 일부분을 복원함으로써, 서로 다른 성분들(206, 208, 210)에 대하여 장면을 공간적으로 샘플링하는 다-성분 화상(202)을 디코딩하도록 구성되는 디코더를 예시한다. 제 1 성분 신호(6101)는 다-성분 화상(202)의 제 1 성분(206)의 시간적으로, 공간적으로 또는 시점-간 예측의 예측 신호이고, 디코더는 다-성분 화상(202)의 제 1 성분(206)의 시간적, 공간적 또는 시점-간 예측을 실행할 수 있고 복원된 제 1 성분 신호(6101)를 사용하여 제 1 성분의 시간적, 공간적 또는 시점-간 예측을 보정함으로써 다-성분 화상의 제 1 성분을 복원할 수 있다. 디코더는 서브-화상 입상도에서, 데이터 스트림 내의 시그널링에 의존하여 제 1 가중(α2,3)을 적응적으로 설정하도록 구성된다. 이를 위하여, 디코더는 서브-화상 입상도에서, 데이터 스트림으로부터 제 1 가중의 절대 값, 및 조건부로 절대 값이 제로인지에 의존하는 방식으로, 제 1 성분 신호가 제로인 부분들에서 제 1 가중의 부호를 판독하는 것을 생략도록 구성된다. 제 2 성분 신호의 복원에 있어서, 디코더는 제 1 가중(α2)에 의해 가중된, 복원된 제 1 성분 신호의 공간적으로 상응하는 부분을 보정 신호에 가산한다. 가산은 샘플-별 방식으로 공간 도메인 내에서 수행될 수 있다. 대안으로서, 이는 스펙트럼 도메인 내에서 실행된다. 인코더는 예측 루프 내에서 이를 실행한다.10 recovers a
장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것을 이해하여야 한다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 장치의 블록 또는 아이템 또는 특징의 설명을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면, 마이크로프로세서, 프로그램 가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(장치를 사용하여) 실행될 수 있다. 일부 하나 이상의 가장 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.While some aspects have been described in the context of an apparatus, it should be understood that these aspects also represent a description of a corresponding method, wherein a block or apparatus corresponds to a method step or characteristic of a method step. Similarly, aspects described in the context of a method step also represent a description of a corresponding block or item or feature of a device. Some or all of the method steps may be executed by (using the device) a hardware device such as a microprocessor, programmable computer or electronic circuit. Some one or more of the most important method steps may be performed by such a device.
특정 구현 요구사항들에 따라, 본 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 예를 들면, 각각의 방법이 실행될 것과 같이 프로그램가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 그 안에 저장되는 전자적으로 판독 가능한 제어 신호들을 갖는, 디지털 저장 매체, 예를 들면, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있다. 따라서 디지털 저장 매체는 컴퓨터로 판독 가능할 수 있다.Depending on specific implementation requirements, embodiments of the present invention may be implemented in hardware or software. The implementation is, for example, a digital storage medium, e.g., a floppy, with electronically readable control signals stored therein that cooperate with (or cooperate with) a programmable computer system as each method is to be executed. It can be implemented using disk, DVD, Blu-ray, CD, ROM, PROM, EPROM, EEPROM or flash memory. Therefore, the digital storage medium may be readable by a computer.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 비-일시적 데이터 캐리어를 포함한다.Some embodiments in accordance with the present invention include a non-transitory data carrier with electronically readable control signals capable of cooperating with a programmable computer system, such as in which any one of the methods described herein is carried out.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.In general, embodiments of the present invention may be implemented as a computer program product having a program code, and the program code may be operated to execute any one of the methods when the computer program product runs on a computer. The program code can be stored, for example, on a machine-readable carrier.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.Other embodiments include a computer program for executing any of the methods described herein, stored on a machine-readable carrier.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.In other words, one embodiment of the method of the present invention is thus a computer program having a program code for executing any one of the methods described herein when the computer program runs on the computer.
따라서, 본 발명의 방법의 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 그 안에 기록된, 컴퓨터 프로그램을 포함하는, 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체, 또는 기록 매체는 일반적으로 유형 또는 비-일시적이다.Accordingly, another embodiment of the method of the present invention is a data carrier (or digital storage medium, or computer readable medium) recorded therein for executing any one of the methods described herein. to be. Data carriers, digital storage media, or recording media are generally tangible or non-transitory.
따라서, 본 발명의 방법의 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.Thus, another embodiment of the method of the present invention is a data stream or sequence of signals representing a computer program for executing any of the methods described herein. The data stream or sequence of signals may be configured to be transmitted over a data communication connection, for example the Internet, for example.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.Another embodiment includes processing means, for example a computer, or a programmable logic device, configured or applied to perform any of the methods described herein.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 그 안에 설치된 컴퓨터 프로그램을 갖는 컴퓨터를 포함한다.Another embodiment includes a computer having therein a computer program installed therein for executing any of the methods described herein.
본 발명에 따른 또 다른 실시 예는 여기에 설명되는 방법들 중 하나를 실행하기 위한 컴퓨터 프로그램을 수신기로 전달하도록(예를 들면, 전자적으로 또는 광학적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면, 컴퓨터 프로그램을 수신기에 전달하기 위한 파일 서버를 포함할 수 있다.Another embodiment according to the present invention includes an apparatus or system configured to deliver (eg, electronically or optically) a computer program for executing one of the methods described herein to a receiver. The receiver may be, for example, a computer, a mobile device, a memory device, or the like. The device or system may include, for example, a file server for delivering a computer program to a receiver.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모든 기능을 실행하기 위하여 프로그램가능 논리 장치(예를 들면 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치의 일부분 상에서 실행된다.In some embodiments, a programmable logic device (eg, a field programmable gate array) may be used to perform some or all of the functions described herein. In some embodiments, the field programmable gate array can cooperate with a microprocessor to implement any of the methods described herein. In general, the methods are preferably executed on a portion of some hardware device.
여기에 설명된 장치는 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다. The devices described herein may be implemented using a hardware device, or a computer, or a combination of a hardware device and a computer.
여기에 설명된 방법들은 하드웨어 장치를 사용하거나, 또는 컴퓨터를 사용하거나, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 실행될 수 있다. The methods described herein may be implemented using a hardware device, or a computer, or a combination of a hardware device and a computer.
위에 설명된 실시 예들은 단지 본 발명의 원리들의 설명을 나타낸다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해하여야 한다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용에 의해서가 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.The embodiments described above merely represent a description of the principles of the present invention. It is to be understood that variations and modifications of the arrangements and details described herein will be apparent to those of ordinary skill in the art. Accordingly, it is intended that the present invention be limited only by the scope of the patent claims and not by the specific details expressed by the description of the embodiments described herein.
따라서, 위의 설명은 그중에서도 다음의 실시 예들을 설명하였다.Therefore, the above description has described the following embodiments, among others.
1. 데이터 스트림(104)으로부터 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)의 복원;1. Reconstruction of the first component signal 256 1 ; 270 1 for the
상기 데이터스트림으로부터 유도된 상기 복원된 제 1 성분 신호(2561; 2701) 및 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)의 복원(400);에 의해,The second component of the component images 202 (wherein it from a corresponding portion, which is spatially of the restored first component signal derived from the data stream (256 1;; 270 1) and a correction signal (270 2, 256 2)
서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 디코딩하도록 구성되는 것을 특징으로 하는 디코더.And a decoder configured to decode the multi-component picture (202) that spatially samples the scene in relation to different components (206, 208, 210).
2. 실시 예 1에 있어서, 상기 디코더는:2. In
상기 다-성분 화상(202)을 트리 블록들(302)로 규칙적으로 세분하고, 중복 멀티-트리 세분화를 사용하여 개별적으로 상기 트리 블록들을 코드 블록들(304)로 세분하며, 개별적으로 중복 멀티-트리 세분화를 사용하여 각각의 코드 블록을 예측 블록들(308)로 세분하고 중복 멀티-트리 세분화를 사용하여 각각의 코드블록을 잔류 블록들(312)로 세분하며, 상기 잔류 블록들을 변환 블록들(316)로 세분하도록 구성되며;The
상기 코드 블록들에 의존하거나 또는 상기 예측 블록들에 의존하는 입상도에서 상기 데이터 스트림에 의존하여 예측 모드들을 선택하도록 구성되며;Configured to select prediction modes depending on the data stream in a granularity depending on the code blocks or on the prediction blocks;
상기 예측 블록들의 입상도에서 상기 데이터 스트림에 의존하여 예측 파라미터들을 설정하도록 구성되며;Configured to set prediction parameters depending on the data stream in the granularity of the prediction blocks;
상기 예측 모드들 및 예측 파라미터들을 사용하여 예측 신호(2201, 2202, 2203)를 유도하도록 구성되며;Configured to derive a prediction signal 220 1 , 220 2 , 220 3 using the prediction modes and prediction parameters;
개별적으로 상기 변환 블록들 내의 역 변환을 실행함으로써 각각의 잔류 블록 내의 잔류 신호(2561, 2562, 2563)를 유도하도록 구성되며; 및Configured to derive a residual signal 256 1 , 256 2 , 256 3 in each residual block by individually performing an inverse transform in the transform blocks; And
상기 잔류 신호를 사용하여 상기 예측 신호를 보정함으로써 상기 다-성분 화상(202)을 복원하도록 구성되는; 블록 기반 하이브리드로서 구성되고,Configured to reconstruct the
상기 디코더는 상기 잔류 블록들 또는 변환 블록들의 입상도에서, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분과 관계없이 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분 및 상기 보정 신호로부터의 상기 제 2 성분 신호의 복원 및 상기 보정 신호로부터 상기 제 2 성분 신호의 복원의 실행 사이에서 스위칭하기 위하여, 상기 데이터 스트림 내의 시그널링(6142; 6143)에 응답하는 것을 특징으로 하는 디코더.The decoder comprises the spatially corresponding part of the reconstructed first component signal and the correction signal regardless of the spatially corresponding part of the reconstructed first component signal in the granularity of the residual blocks or transform blocks. And responsive to signaling (614 2 ; 614 3 ) in the data stream to switch between execution of the restoration of the second component signal from and the restoration of the second component signal from the correction signal.
3. 실시 예 1 또는 2에 있어서, 상기 디코더는 상기 제 1 성분 신호가 상기 다-성분 화상(202)의 상기 제 1 성분(206)의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이도록 구성되고, 상기 다-성분 화상의 상기 제 1 성분(206)의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 성분 신호를 사용하여 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상의 상기 제 1 성분(206)을 복원하도록 구성되는 것을 특징으로 하는 디코더.3. In
4. 실시 예 1 내지 3 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호가 상기 다-성분 화상(202)의 상기 제 2 성분(208)의 시간적, 공간적 또는 시점-간 예측의 예측 잔류이도록 구성되고, 상기 다-성분 화상의 상기 제 2 성분(208)의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 성분 신호를 사용하여 상기 다-성분 화상(202)의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상(202)의 상기 제 2 성분(208)을 복원하도록 구성되는 것을 특징으로 하는 디코더.4. In any one of the
5. 실시 예 1 내지 4 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 스펙트럼 도메인 내의 상기 보정 신호를 획득하기 위하여 상기 데이터 스트림(104)으로부터 유도되는 상기 제 2 성분(208)에 관한 스펙트럼 계수들 상으로의 역 스펙트럼 변환(2262)을 실행함으로써 상기 보정 신호(2562)를 획득하도록 구성되는 것을 특징으로 하는 디코더.5. The spectral coefficients for the
6. 실시 예 1 내지 5 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)이 서브-화상 입상도에서 상기 제 2 성분 신호의 복원에 영향을 미치는 제 1 가중(α2)을 적응적으로 설정하도록 구성되는 것을 특징으로 하는 디코더.6. In any one of the
7. 실시 예 6에 있어서, 상기 디코더는 상기 서브-화상 입상도에서, 상기 데이터 스트림 내의 시그널링에 의존하여 상기 제 1 가중(α2)을 적응적으로 설정하도록 구성되는 것을 특징으로 하는 디코더.7. The decoder according to embodiment 6, wherein the decoder is configured to adaptively set the first weight α 2 in the sub-picture granularity depending on signaling in the data stream.
8. 실시 예 6 또는 7에 있어서, 상기 디코더는 상기 서브-화상 입상도에서, 상기 데이터 스트림으로부터 제 1 가중의 절대 값, 및 상기 제 1 가중의 절대 값이 제로인지에 조건부로 의존하는 방식으로 제 1 가중의 부호를 판독하도록 구성되는 것을 특징으로 하는 디코더.8. In embodiments 6 or 7, in the sub-picture granularity, the decoder is conditionally dependent on whether the absolute value of the first weight and the absolute value of the first weight from the data stream are zero. A decoder configured to read the sign of the first weight.
9. 실시 예 8에 있어서, 상기 디코더는 서브-화상 입상도에서, 상기 데이터 스트림으로부터 제 1 가중의 절대 값, 및 상기 제 1 가중의 절대 값이 제로인지에 조건부로 의존하는 방식으로 상기 제 1 성분 신호가 제로인 부분들에서 제 1 가중의 부호의 판독을 생략하도록 구성되는 것을 특징으로 하는 디코더.9. In embodiment 8, the decoder comprises the first weighted absolute value from the data stream, and the first weighted in a manner conditionally dependent on whether the absolute value of the first weight is zero in the sub-picture granularity. A decoder, characterized in that, in portions where the component signal is zero, the reading of the sign of the first weight is omitted.
10. 실시 예 6 내지 9 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 제 1 가중(α2)에 의해 가중되는. 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)을 상기 보정 신호에 가산하도록 구성되는 것을 특징으로 하는 디코더.10. In any one of embodiments 6 to 9, the decoder is weighted by the first weight (α 2 ) in restoring the second component signal. And the spatially corresponding portion (442) of the reconstructed first component signal is added to the correction signal.
11. 실시 예 10에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 샘플-별 방식으로 상기 공간 도메인 내의 가산을 실행하도록 구성되는 것을 특징으로 하는 디코더.11. The decoder according to
12. 실시 예 6 내지 11 중 어느 한 실시 예에 있어서, 상기 디코더는:12. In any one of embodiments 6 to 11, the decoder:
적어도 화상 범위를 갖는, 데이터 스트림으로부터 고레벨 구문 요소 구조(510)의 유도;Derivation of a high-level
상기 적어도 화상 범위에서, 미리 결정된 이진화의 가능한 빈 스트링들(518)의 도메인 세트로부터 상기 제 1 가중의 가능한 값들의 공동 도메인(520) 상으로의 매핑(522)의 구성; 및Construction of a mapping (522) from a domain set of possible empty strings (518) of predetermined binarization onto a common domain (520) of the possible values of the first weight, in the at least picture range; And
서브-화상 입상도에서, 상기 미리 결정된 이진화를 사용하여 상기 데이터 스트림으로부터 제 1 가중 구문 요소(514)의 판독 및 상기 제 1 가중 구문 요소의 빈 스트링의 상기 매핑으로의 대상화;에 의해,In a sub-picture granularity, by reading a first weighted syntax element (514) from the data stream using the predetermined binarization and targeting the first weighted syntax element to the mapping of an empty string;
상기 제 1 가중을 설정하도록 구성되는 것을 특징으로 하는 디코더.And setting the first weighting.
13. 실시 예 12에 있어서, 상기 디코더는 상기 고레벨 구문 요소 구조로부터 상기 제 1 가중의 가능한 비-제로 값들의 미리 결정된 세트 중에서 공동 도메인 값들의 구간의 하부 및 상부 경계들(524)을 유도하도록 구성되고, 상기 제 1 가중을 유도하는데 있어서, 부가적으로 서브-화상 입상도에서, 상기 제 1 가중이 제로이어야만 되는지를 나타내는 상기 데이터 스트림으로부터 제로 플래그를 판독하도록 구성되거나, 또는 그렇지 않으면 상기 제 1 가중 구문 요소의 판독을 실행하고 상기 제로 플래그에 조건부로 의존하는 대상화를 실행하는 것을 특징으로 하는 디코더.13. In embodiment 12, the decoder is configured to derive the lower and
14. 실시 예 12 또는 13에 있어서, 상기 디코더는 상기 매핑을 구성하는데 있어서, 상기 고레벨 구문 요소 구조로부터 하부 경계 정수 값의 부호와 절대 값 및 상부 경계 정수 값의 부호와 절대 값을 유도하고 정수 도메인 지수 함수를 하부 경계 정수 값과 상부 경계 정수 값의 상기 절대 값들 상에 적용하며 제로를 제외한 상기 정수 도메인 지수 함수의 공동 도메인 중에서 상기 제 1 가중의 가능한 값들의 상기 공동 도메인을 획득하도록 구성되는 것을 특징으로 하는 디코더.14. In the twelfth or thirteenth embodiment, in configuring the mapping, the decoder derives the sign and absolute value of the lower boundary integer value and the sign and absolute value of the upper boundary integer value from the high-level syntax element structure, and And applying an exponential function on the absolute values of a lower boundary integer value and an upper boundary integer value, and being configured to obtain the joint domain of possible values of the first weight among the joint domains of the integer domain exponential function excluding zero. Decoder.
15. 실시 예 12 내지 14 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 1 가중을 유도하는데 있어서, 상기 제 1 가중 구문 요소의 절대 값 부분을 위한 미리 결정된 이진화로서 절삭형 단항 이진화를 사용하고, 상기 제 1 가중 구문 요소의 상기 절대 부분(530) 이전에 상기 데이터 스트림으로부터 상기 제 1 가중 구문 요소의 부호 부분(530)을 판독하며 상기 제 1 가중의 가능한 절대 값들의 상기 공동 도메인 및 상기 부호 부분에 의존하여 상기 제 1 가중 구문 요소의 상기 절대 부분의 상기 절삭형 단항 이진화의 길이를 설정하도록 구성되는 것을 특징으로 하는 디코더.15. The method according to any one of embodiments 12 to 14, wherein the decoder uses truncated unary binarization as a predetermined binarization for the absolute value portion of the first weighted syntax element in deriving the first weighting, and , Reading the
16. 실시 예 12 내지 15 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 고레벨 구문 요소 구조로부터 제 1 및 제 2 구간 한계들(524)을 유도하도록 구성되고, 상기 디코더는 상기 제 1 가중 구문 요소를 위한 상기 미리 결정된 이진화로서 절삭형 단항 빈 스트링들의 절삭형 단항 이진화를 사용하고, 상기 매핑을 구성하는데 있어서, 상기 제 1 및 제 2 간격 계들의 비교에 의존하여 가능한 값들의 상기 공동 도메인을 가로질러 상기 절삭형 단항 빈 스트링들이 매핑되는 상기 가능한 값들의 순서를 가역하도록 구성되는 것을 특징으로 하는 디코더.16. As in any one of embodiments 12 to 15, the decoder is configured to derive first and second interval limits 524 from the high-level syntax element structure, and the decoder is configured to derive the first weighted syntax element Using truncated unary binomialization of truncated unary bin strings as the predetermined binarization for, and in constructing the mapping, traversing the common domain of possible values depending on the comparison of the first and second spacers And the order of the possible values to which the truncated unary bin strings are mapped is reversible.
17. 실시 예 1 내지 16 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호(208)를 복원하는데 있어서, 서브-화상 입상도에서 상기 보정 신호가 상기 제 2 성분 신호의 복원에 영향을 미치는 제 2 가중을 적응적으로 설정하도록 구성되는 것을 특징으로 하는 디코더.17. In any one of the
18. 실시 예 1 내지 17 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호(208)를 복원하는데 있어서, 상기 복원된 제 2 성분 신호를 획득하도록 상기 보정 신호의 가중된 합계의 가중들 및 서브-화상 입상도에서 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)을 적응적으로 설정하고 적어도 화상 당 일정한 스칼라 함수의 스칼라 인수로서 가중된 합계를 사용하도록 구성되는 것을 특징으로 하는 디코더.18. The method according to any one of the
19. 실시 예 1 내지 18 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 디코딩하는데 있어서, 상기 복원된 제 2 성분 신호를 획득하기 위하여 상기 보정 신호의 가중된 합계의 가중들, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442), 및 서브-화상 입상도에서의 상수를 적응적으로 설정하고 적어도 화상 당 일정한 스칼라 함수의 스칼라 인수로서 상기 가중된 합계를 사용하도록 구성되는 것을 특징으로 하는 디코더.19. The method according to any of the
20. 실시 예 18 또는 19에 있어서, 상기 디코더는 국부적 이웃을 기초로 하여 역방향 구동 방식으로 상기 가중들을 설정하도록 구성되는 것을 특징으로 하는 디코더.20. The decoder according to embodiment 18 or 19, wherein the decoder is configured to set the weights in a reverse driving manner based on a local neighbor.
21. 실시 예 18 또는 19에 있어서, 상기 디코더는 순방향 방식으로 상기 가중들의 보정과 함께, 국부적 이웃을 기초로 하여 역방향 구동 방식으로 상기 가중들을 설정하도록 구성되는 것을 특징으로 하는 디코더.21. The decoder according to embodiment 18 or 19, wherein the decoder is configured to correct the weights in a forward manner and set the weights in a reverse driving manner based on a local neighbor.
22. 실시 예 20 또는 21에 있어서, 상기 다-성분 화상의 이미 디코딩된 부분의 속성들을 기초로 하여 역방향 구동 방식으로 상기 가중들을 설정하도록 구성되는 것을 특징으로 하는 디코더.22. The decoder according to embodiment 20 or 21, wherein the decoder is configured to set the weights in a reverse driving manner based on attributes of an already decoded portion of the multi-component picture.
23. 실시 예 18 내지 22 중 어느 한 실시 예에 있어서, 상기 디코더는 결합된 역방향 및 순방향 적응적 방식으로, 순방향 적응적 방식으로, 또는 역방향 적응적 방식으로, 제 1 공간 입상도에서 상기 가중들을 디폴트 값들로 설정하고, 상기 제 1 공간 입상도보다 미세한 제 2 공산 입상도에서 국부적 이웃을 기초로 하여 역방향 구동 방식으로 상기 가중들을 가공(refine)하도록 구성되는 것을 특징으로 하는 디코더.23. The method according to any of the embodiments 18 to 22, wherein the decoder performs the weights in a first spatial granularity in a combined backward and forward adaptive scheme, a forward adaptive scheme, or a backward adaptive scheme. And setting default values, and being configured to refine the weights in a reverse driving manner based on a local neighbor in a second likelihood granularity finer than the first spatial granularity.
24. 실시 예 16 내지 23 중 어느 한 실시 예에 있어서, 상기 디코더는 m차 서브-화상 레벨 구문 요소들에 의존하여 상기 가중들을 서로 다른 m 상태들 중 하나로 설정하도록 구성되고 상기 디코더는 더 높은 레벨 구문 요소(510)로부터 m을 유도하도록 구성되는 것을 특징으로 하는 디코더.24. In any one of embodiments 16 to 23, the decoder is configured to set the weights to one of different m states depending on m-order sub-picture level syntax elements, and the decoder is Decoder, characterized in that it is configured to derive m from the syntax element (510).
25. 실시 예 1 내지 24 중 어느 한 실시 예에 있어서, 상기 디코더는 서브-화상 입상도에서, 상기 제 2 성분 신호의 복원에 있어서, 25. In any one of the
공간 도메인 내의 상기 보정 신호(x)를 획득하기 위하여 상기 데이터 스트림으로부터 유도되는 상기 제 2 성분(208)에 관한 스펙트럼 계수들 상으로의 역 스펙트럼 변환의 실행 및 상기 공간 도메인 내의 상기 보정 신호(x)를 사용하는 상기 제 2 성분 신호(z)의 복원(400), 및 Execution of an inverse spectral transform onto spectral coefficients for the second component (208) derived from the data stream to obtain the correction signal (x) in the spatial domain and the correction signal (x) in the spatial domain. Restoration of the second component signal z using (400), and
상기 데이터 스트림으로부터 스펙트럼 도메인 내의 상기 보정 신호(x)의 획득, 상기 스펙트럼 도메인 내에서의, 상기 스펙트럼 도메인 내에 포함된 것과 같은 상기 보정 신호(x)를 사용하는 상기 제 2 성분 신호(z)의 복원(400), 및 상기 스펙트럼 도메인 내에서의, 복원된 제 2 성분 신호(z)를 역 스펙트럼 변환으로 대상화,Acquisition of the correction signal (x) in the spectral domain from the data stream, restoration of the second component signal (z) using the correction signal (x) as contained within the spectral domain, within the spectral domain (400), and within the spectral domain, the reconstructed second component signal (z) is subject to an inverse spectral transformation,
사이를 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.Decoder, characterized in that configured to adaptively switch between.
26. 실시 예 25에 있어서, 상기 디코더는 역방향 적응적 방식으로 또는 순방향 적응적 방식(490)으로 상기 적응적 스위칭을 실행하도록 구성되는 것을 특징으로 하는 디코더.26. The decoder according to embodiment 25, wherein the decoder is configured to perform the adaptive switching in a backward adaptive manner or in a forward adaptive manner (490).
27. 실시 예 1 내지 26 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 복원된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 제 1 성분 신호를 복원하기 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원의 실행 및 상기 복원의 반전(reversing) 사이에서 서브-화상 입상도에서, 상기 제 2 성분 신호의 방향을 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.27. In any one of
28. 실시 예 1 내지 27 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 복원된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 제 1 성분 신호를 복원하기 위하여, 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원의 실행 및 상기 복원의 반전 사이에서, 상기 제 1 및 제 2 성분 신호들 중에서 순서를 시그널링하는 구문 요소(472)에 응답하여 상기 제 2 성분 신호의 방향을 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.28. In any one of
29. 실시 예 1 내지 28 중 어느 한 실시 예에 있어서, 상기 디코더는 서브-화상 입상도에서, 단지 상기 복원된 제 1 성분을 기초로 하는 상기 제 2 성분의 복원 및 상기 복원된 제 1 성분 신호와 복원되는 제 3 성분 신호를 기초로 하는 상기 제 2 성분 신호의 복원 사이에서 상기 제 2 성분 신호의 복원을 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.29. The method according to any one of the
30. 실시 예 1 내지 29 중 어느 한 실시 예에 있어서, 상기 제 1 및 제 2 성분들은 색 성분들인 것을 특징으로 하는 디코더.30. The decoder according to any of the
31. 실시 예 1 내지 30 중 어느 한 실시 예에 있어서, 상기 제 1 성분은 루마이고 상기 제 2 성분은 크로마 성분인 것을 특징으로 하는 디코더.31. The decoder according to any of the
32. 실시 예 1 내지 31 중 어느 한 실시 예에 있어서, 상기 디코더는 제 1 구문 요소(612)에 응답하여, 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 가능하게 하고 상기 데이터 스트림을 파싱하는데 있어서 상기 데이터 스트림으로부터 서브-화상 레벨 구문 요소들(6142, 6162, 6143, 6163)을 판독하며 상기 서브-화상 레벨 구문 요소들을 기초로 하는 서브-화상 입상도에서 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 적응시키도록 하기 위하여, 그리고 32. In any one of the
상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 불가능하게 하고 상기 서브-화상 레벨 구문 요소들을 포함하지 않는 데이터 스트림을 어드레싱하도록 상기 데이터 스트림의 파싱을 변경하기 위하여,To change the parsing of the data stream to address a data stream that does not include the sub-picture level syntax elements and disables restoration of the second component signal based on the reconstructed first component signal,
상기 데이터 스트림 내의 상기 제 1 구문 요소(612)에 응답하는 것을 특징으로 하는 디코더.And responsive to the first syntax element (612) in the data stream.
33. 실시 예 1 내지 32 중 어느 한 실시 예에 있어서, 상기 디코더는 역방향 구동 방식으로, 상기 복원된 제 1 성분 신호를 기초로 하는 상기 제 2 성분의 복원의 가능화(enabling) 및 상기 복원된 제 1 성분 신호를 기초로 하는 상기 제 2 성분의 복원의 불능화(disabling) 사이를 국부적으로 스위칭하도록 구성되는 것을 특징으로 하는 디코더.33. In any one of the
34. 실시 예 33에 있어서, 상기 디코더는 역방향 구동 방식으로 상기 국부적 스위칭을 실행하도록 구성되는 것을 특징으로 하는 디코더.34. The decoder according to embodiment 33, wherein the decoder is configured to perform the local switching in a reverse driving manner.
35. 실시 예 33에 있어서,35. In Example 33,
상기 디코더는 상기 제 1 성분 신호가 상기 다-성분 화상의 상기 제 1 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류인 것과 같이 구성되고, 상기 다-성분 화상의 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 제 1 성분 신호를 사용하여 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상의 상기 제 1 성분을 복원하도록 구성되며,The decoder is configured such that the first component signal is a prediction residual of the temporal, spatial or inter-view prediction of the first component of the multi-component image, and the temporal , Performing spatial or inter-view prediction, and correcting the temporal, spatial or inter-view prediction of the first component using the reconstructed first component signal to determine the first component of the multi-component image. Is configured to restore,
상기 디코더는 상기 제 2 성분 신호가 상기 다-성분 화상의 상기 제 2 성분의 시간적, 공간적 또는 시점-간 예측의 예측 잔류인 것과 같이 구성되고, 상기 다-성분 화상의 상기 제 2 성분의 상기 시간적, 공간적 또는 시점-간 예측을 실행하고, 상기 복원된 제 2 성분 신호를 사용하여 상기 제 1 성분의 상기 시간적, 공간적 또는 시점-간 예측의 보정에 의해 상기 다-성분 화상의 상기 제 2 성분을 복원하도록 구성되며,The decoder is configured such that the second component signal is a prediction residual of the temporal, spatial or inter-view prediction of the second component of the multi-component image, and the temporal , Performing spatial or inter-view prediction, and correcting the temporal, spatial or inter-view prediction of the first component using the reconstructed second component signal to determine the second component of the multi-component image. Is configured to restore,
상기 디코더는 상기 제 1 및 제 2 성분 신호들이 공간 예측의 잔류 신호들인지 및 상기 공간 예측의 예측간 모드가 일치하는지를 국부적으로 검사함으로써, 혹은 상기 제 1 및 제 2 성분 신호들이 공간 예측의 잔류 신호들인지 및 상기 공간 예측의 예측간 모드가 미리 결정된 양 이상에 의해 벗어나지 않는지를 국부적으로 검사함으로써, 국부적 스위칭을 실행하도록 구성되는 것을 특징으로 하는 디코더.The decoder locally checks whether the first and second component signals are residual signals of spatial prediction and whether the inter prediction modes of the spatial prediction match, or whether the first and second component signals are residual signals of spatial prediction. And performing local switching by locally checking whether the inter prediction mode of the spatial prediction does not deviate by more than a predetermined amount.
36. 실시 예 33에 있어서, 상기 디코더는 역방향 구동 방식으로 우선 국부적 스위칭을 결정하고 상기 데이터 스트림 내의 시그널링에 응답하여 순방향 적응 방식으로 상기 결정을 변형하도록 구성되는 것을 특징으로 하는 디코더.36. The decoder of embodiment 33, wherein the decoder is configured to first determine local switching in a reverse driving manner and modify the determination in a forward adaptation manner in response to signaling in the data stream.
37 실시 예 1 내지 36 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 구문 요소에 의존하여,37 In any one of
상기 데이터 스트림을 파싱하는데 잇어서 상기 데이터 스트림으로부터 서브-화상 레벨 구문 요소들을 판독하고 상기 서브-화상 레벨 구문 요소들을 기초로 하는 서브-화상 입상도에서 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 적응시키기 하기 위하여, 그리고In parsing the data stream, sub-picture level syntax elements are read from the data stream, and the first component signal is read based on the reconstructed first component signal in a sub-picture granularity based on the sub-picture level syntax elements. To adapt the reconstruction of the two-component signal, and
비-적응적으로 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 실행하기 위하여,In order to perform the restoration of the second component signal non-adaptively based on the restored first component signal,
상기 데이터 스트림 내의 제 2 구문 요소에 응답하는 것을 특징으로 하는 디코더.And responsive to a second syntax element in the data stream.
38. 실시 예 1 내지 37 중 어느 한 실시 예에 있어서, 상기 제 1 및 제 2 성분들(206, 208)은 3개의 색 성분 중 두 개이고, 상기 디코더는 또한 상기 복원된 제 1 또는 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 상기 제 3 색 성분(210)에 관한 제 3 성분 신호 및 상기 제 3 성분을 위하여 상기 데이터 스트림으로부터 유도되는 보정 신호를 복원하도록 구성되고, 상기 디코더는 개별적으로 서브-화상 레벨 적응적으로 상기 제 2 및 제 3 성분 신호들의 복원을 실행하도록 구성되는 것을 특징으로 하는 디코더.38. In any one of
39. 실시 예 1 내지 38 중 어느 한 실시 예에 있어서, 상기 제 1 성분(206)은 루마이고, 상기 제 2 성분(208)은 제 1 크로마 성분이며 상기 제 3 성분(210)은 제 2 크로마 성분이며, 상기 디코더는 동일한 컨텍스트들을 사용하여 컨텍스트 적응적으로 상기 복원된 제 1 또는 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상의 상기 제 1 색 성분에 관한 상기 제 2 성분 신호의 복원을 적응시키기 위한 제 1 서브-화상 레벨 구문 요소들(6142, 6162) 및 상기 다-성분 화상의 상기 제 1 색 성분에 관한 상기 제 3 성분 신호의 복원을 적응시키기 위한 제 2 서브-화상 레벨 구문 요소들(6143, 6163)을 엔트로피 디코딩하도록 구성되는 것을 특징으로 하는 디코더.39. In any one of Examples 1 to 38, the
40. 실시 예 1 내지 38 중 어느 한 실시 예에 있어서, 상기 제 1 성분은 루마이고, 상기 제 2 성분은 제 1 크로마 성분이며 상기 제 3 성분은 제 2 크로마 성분이며, 상기 디코더는 개별 컨텍스트들을 사용하여 컨텍스트 적응적으로 상기 복원된 제 1 또는 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상의 상기 제 1 색 성분에 관한 상기 제 2 성분 신호의 복원을 적응시키기 위한 제 1 서브-화상 레벨 구문 요소들 및 상기 다-성분 화상의 상기 제 1 색 성분에 관한 상기 제 3 성분 신호의 복원을 적응시키기 위한 제 2 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하도록 구성되는 것을 특징으로 하는 디코더.40. The method according to any one of the
41. 실시 예 1 내지 40 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 데이터 스트림을 파싱하는데 있어서 상기 데이터 스트림으로부터 서브-화상 레벨 구문 요소들을 판독하고 상기 서브-화상 레벨 구문 요소들을 기초로 하는 서브-화상 입상도에서 상기 복원된 제 1 성분 신호를 기초로 하여 상기 제 2 성분 신호의 복원을 적응시키며, 상기 데이터 스트림을 파싱하는데 있어서, 상기 제 2 성분의 현재 디코딩되는 부분을 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분(442)이 제로인지를 검사하며, 상기 검사에 의존하여,41. The method according to any of the
상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 분명하게 판독하고 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원을 실행하거나, 혹은Explicitly reading the sub-picture level syntax elements from the data stream and performing restoration of the second component signal from the spatially corresponding portion of the reconstructed first component signal, or
상기 분명한 판독을 생략하도록 구성되는 것을 특징으로 하는 디코더.Decoder, characterized in that it is configured to omit the explicit reading.
42. 실시 예 1 내지 41 중 어느 한 실시 예에 있어서, 상기 디코더는 골롬 라이스 코드를 사용하여 상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하도록 구성되는 것을 특징으로 하는 디코더.42. The decoder according to any of the
43. 실시 예 42에 있어서, 상기 디코더는 상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하는데 있어서, 상기 골롬 라이스 코드의 빈들을 이진 산술 디코딩하도록 구성되는 것을 특징으로 하는 디코더.43. The decoder of embodiment 42, wherein the decoder is configured to perform binary arithmetic decoding of bins of the Golomb Rice code in entropy decoding the sub-picture level syntax elements from the data stream.
44. 실시 예 43에 있어서, 상기 디코더는 상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하는데 있어서, 서로 다른 컨텍스트들을 사용하는 서로 다른 빈 위치들에서 상기 골롬 라이스 코드의 빈들을 이진 산술 디코딩하도록 구성되는 것을 특징으로 하는 디코더.44. The method of embodiment 43, wherein in entropy decoding the sub-picture level syntax elements from the data stream, the decoder binary arithmetic decoding bins of the Golomb Rice code at different bin positions using different contexts. Decoder, characterized in that configured to be.
45. 실시 예 43 또는 44에 있어서, 상기 디코더는 상기 데이터 스트림으로부터 상기 서브-화상 레벨 구문 요소들을 엔트로피 디코딩하는데 있어서, 컨텍스트가 없는(context-less) 미리 결정된 값을 초과하는, 빈 위치들에서 상기 골롬 라이스 코드의 빈들을 이진 산술 디코딩하도록 구성되는 것을 특징으로 하는 디코더.45. The method according to embodiment 43 or 44, wherein in entropy decoding the sub-picture level syntax elements from the data stream, the decoder at bin positions exceeding a context-less predetermined value. A decoder configured to perform binary arithmetic decoding of bins of a Golom Rice code.
46. 실시 예 1 내지 45 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 복원된 제 1 성분 신호의 공간적으로 상응하는 부분을 공간적으로 재스케일링하도록 구성되거나, 또는 상기 복원된 제 1 성분 신호의 공간적으로 상응하는 부분에 비트 깊이 정밀 매핑을 실행하도록 구성되는 것을 특징으로 하는 디코더.46. In any one of the
47. 실시 예 46에 있어서, 상기 디코더는 역방향 또는 순방향 적응적 방식으로 상기 공간적 재스케일링 또는 상기 비트 깊이 정밀 매핑의 실행을 적응(adapt)시키도록 구성되는 것을 특징으로 하는 디코더.47. The decoder of embodiment 46, wherein the decoder is configured to adapt the spatial rescaling or the execution of the bit depth precision mapping in a backward or forward adaptive manner.
48. 실시 예 46에 있어서, 상기 디코더는 역방향 또는 순방향 적응적 방식으로, 공간 필터를 선택함으로써, 공간적 재스케일링을 적응시키도록 구성되는 것을 특징으로 하는 디코더.48. The decoder of embodiment 46, wherein the decoder is configured to adapt spatial rescaling by selecting a spatial filter in a backward or forward adaptive manner.
49. 실시 예 48에 있어서, 상기 디코더는 역방향 또는 순방향 적응적 방식으로, 매핑 함수를 선택함으로써, 상기 비트 깊이 정밀 매핑의 실행을 적응시키도록 구성되는 것을 특징으로 하는 디코더.49. The decoder of embodiment 48, wherein the decoder is configured to adapt the execution of the bit depth precision mapping by selecting a mapping function in a backward or forward adaptive manner.
50. 실시 예 1 내지 49 중 어느 한 실시 예에 있어서, 상기 디코더는 상기 제 2 성분 신호를 복원하는데 있어서, 상기 복원된 제 1 성분 신호의 공간적으로 저역 통과 필터링된 버전으로부터 상기 제 2 성분 신호를 복원하도록 구성되는 것을 특징으로 하는 디코더.50. The method according to any of the
51. 실시 예 50에 있어서, 상기 디코더는 순방향 적응적 방식 또는 역방향 적응적 방식으로 상기 복원된 제 1 성분 신호의 상기 공간적으로 저역 통과 필터링된 버전으로부터 상기 제 2 성분 신호의 복원을 실행하도록 구성되는 것을 특징으로 하는 디코더.51.The method of embodiment 50, wherein the decoder is configured to perform restoration of the second component signal from the spatially low-pass filtered version of the reconstructed first component signal in a forward adaptive manner or a backward adaptive manner. Decoder, characterized in that.
52. 실시 예 50에 있어서, 상기 디코더는 순방향 적응적 방식 또는 역방향 적응적 방식으로 상기 저역 통과 필터링을 위하여 사용되는 저역 통과 필터를 설정함으로써 상기 복원된 제 1 성분 신호의 상기 공간적으로 저역 통과 필터링된 버전으로부터 상기 제 2 성분 신호의 복원을 적응시키도록 것을 특징으로 하는 디코더.52. The method of embodiment 50, wherein the decoder is configured to perform the spatially low-pass filtering of the reconstructed first component signal by setting a low-pass filter used for the low-pass filtering in a forward adaptive scheme or a backward adaptive scheme. And to adapt the reconstruction of the second component signal from the version.
53. 실시 예 45에 있어서, 상기 디코더는 비닝(binning)을 사용하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 저역 통과 필터링된 버전에 이르게 하는 상기 공간적 저역 통과 필터링을 실행하도록 구성되는 것을 특징으로 하는 디코더.53. The method of embodiment 45, wherein the decoder is configured to perform the spatial low-pass filtering leading to the spatially low-pass filtered version of the reconstructed first component signal using binning. Decoder.
54. 복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분을 기초로 하여 성분-간 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩함으로써, 그리고 상기 데이터 스트림 내로 상기 성분-간 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입함으로써, 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 인코딩하도록 구성되는 것을 특징으로 하는 인코더.54. The first component is reconstructed signal (256 1; 270 1) is due to the prediction-spatially corresponding part to the base component to that of the second component in a second component of the component images (202) signal (256 By encoding '2;270' 2 ) and by inserting a correction signal 256 2 ; 270 2 for correcting the inter-component prediction into the data stream, the
55. 다-성분 화상(202)의 제 1 성분(206)에 관한 제 1 성분 신호(2561; 2701)를 복원하는 단계; 및55. restoring the first component signal 256 1 ; 270 1 for the
상기 복원된 제 1 성분 신호(2561; 2701) 및 데이터스트림으로부터 유도되는 보정 신호(2562; 2702)의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상(202)의 제 2 성분(208)에 관한 제 2 성분 신호(256'2; 270'2)의 일부분(440)을 복원하는 단계(400);를 포함하는 것을 특징으로 하는 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 디코딩하기 위한 방법.A second component (208) of the multi-component image (202) from the reconstructed first component signal (256 1 ; 270 1 ) and the spatially corresponding portion of the correction signal (256 2 ; 270 2 ) derived from the datastream. In relation to different components (206, 208, 210), characterized in that it comprises the step of restoring (400) a portion (440) of the second component signal (256'2;270' 2) for) A method for decoding the multi-component picture (202) that spatially samples a scene.
56. 복원되는 제 1 성분 신호(2561; 2701)의 공간적으로 상응하는 부분을 기초로 하여 성분-간 예측에 의한 다-성분 화상(202)의 제 2 성분에 관한 제 2 성분 신호(256'2; 270'2)를 인코딩하는 단계 및 상기 데이터 스트림 내로 상기 성분-간 예측을 보정하기 위한 보정 신호(2562; 2702)를 삽입하는 단계를 포함하는 것을 특징으로 하는 서로 다른 성분들(206, 208, 210)과 관련하여 장면을 공간적으로 샘플링하는 상기 다-성분 화상(202)을 인코딩하기 위한 방법.56. The first component is reconstructed signal (256 1; 270 1) is due to the prediction-spatially corresponding part to the base component to that of the second component in a second component of the component images (202) signal (256 '2;270' 2 ) and inserting a correction signal (256 2 ; 270 2 ) for correcting the inter-component prediction into the data stream. A method for encoding the
57. 컴퓨터 상에서 구동할 때, 실시 예 55 또는 56에 따른 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.57. A computer program having a program code for executing the method according to embodiments 55 or 56 when running on a computer.
100 : 인코더
102 : 다-성분 화상
104 : 데이터 스트림
106, 108, 110 : 성분
112 : 예측 잔류 형성기
114 : 변환기
116 : 양자화기
118 : 데이터 스트림 형성기
120 : 예측 신호
122 : 예측기
124 : 탈양자화기
126 : 재변환기
130, 1302, 1303 : 블록 기반 하이브리드 비디오 코딩 경로
132 : 성분-간 예측 잔류 형성기
134 : 재결합기
136 : 스펙트럼 도메인 성분-간 예측 잔류 형성기
138 : 스펙트럼 도메인 성분-간 예측/잔류 재결합기
140 : 공간 도메인 성분-간 잔류 예측기
142 : 스펙트럼 도메인 잔류 예측 신호
144 : 스펙트럼 도메인 성분-간 잔류 예측기
146, 148 : 파라미터
150 : 잔류 신호
154 : 예측 파라미터
1701, 1702, 1703 : 탈양자화된 잔류 신호
200 : 디코더
206, 208, 210 : 성분
218 : 데이터 스트림 추출기
222 : 예측기
224 : 탈양자화기
226 : 역 변환기
228 : 예측/잔류 재결합기
230 : 병렬 디코딩 경로
234 : 공간 도메인 성분-간 예측/잔류 재결합기
238 : 스펙트럼 도메인 성분-간 예측/잔류 재결합기
240 : 공간 도메인 성분-간 예측기
244 : 스펙트럼 도메인 성분-간 예측기
302 : 트리 루트 블록
304 : 코드 블록
308 : 예측 블록
312 : 잔류 블록
316 : 변환 블록
400 : 복원 모듈
402 : 복원된 제 1 성분 신호
404 : 복원된 제 2 성분 신호
406 : 성분 신호
440, 442 : 블록
470, 472 : 블록
490 : 구문 요소
500 : 비디오
510 : 고레벨 구문 요소 구조
514 : 제 1 가중 구문 요소
518 : 빈 스트링
520 : 빈 스트링들의 세트
522 : 매핑
524 : 구간 경계
526 : 제로 플래그
528 : 절대 경로
532 : 매핑의 공동 도메인
602 : 예측 파라미터
604 : 잔류/변환 블록
6081, 6082, 6083 : 잔류 데이터
610 : 제 1 성분 신호
6101, 6102, 6103 : 잔류 신호
612 : 성분-간 예측 플래그
6161, 6162, 6163 : 성분-간 예측 파라미터100: encoder
102: multi-component burn
104: data stream
106, 108, 110: ingredients
112: predicted residual formation
114: converter
116: quantizer
118: Data Stream Former
120: prediction signal
122: predictor
124: dequantizer
126: Reconverter
130, 130 2 , 130 3 : Block-based hybrid video coding path
132: inter-component predicted residual formation phase
134: recombiner
136: Spectral domain component-inter-prediction residual former
138: Spectral domain component-inter prediction/residual recombiner
140: spatial domain component-inter-residue predictor
142: spectral domain residual prediction signal
144: spectral domain component-inter-residue predictor
146, 148: parameters
150: residual signal
154: prediction parameter
170 1 , 170 2 , 170 3 : deprotonated residual signal
200: decoder
206, 208, 210: component
218: Data Stream Extractor
222: predictor
224: dequantizer
226: reverse converter
228: prediction/residual recombiner
230: parallel decoding path
234: Spatial domain component-inter prediction/residual recombiner
238: Spectral domain component-inter prediction/residual recombiner
240: Spatial domain component-inter predictor
244: Spectral domain component-inter predictor
302: tree root block
304: code block
308: prediction block
312: residual block
316: transform block
400: restoration module
402: reconstructed first component signal
404: restored second component signal
406: component signal
440, 442: block
470, 472: block
490: syntax element
500: video
510: High-level syntax element structure
514: first weighted syntax element
518: empty string
520: set of empty strings
522: mapping
524: section boundary
526: zero flag
528: absolute path
532: common domain of mapping
602: prediction parameter
604: residual/transformation block
608 1 , 608 2 , 608 3 : residual data
610: first component signal
610 1 , 610 2 , 610 3 : residual signal
612: inter-component prediction flag
616 1 , 616 2 , 616 3 : inter-component prediction parameters
Claims (18)
데이터 스트림으로부터 추출되는 정보에 기초하여, 다-성분 화상의 제 1 성분에 관련되는 제 1 잔류 신호를 결정 - 상기 제 1 성분은 제 1 색 평면을 나타냄 -;
데이터 스트림에서, (a) 제 1 잔류 신호의 일부에 기초하여 다-성분 화상의 제 2 성분과 관련된 제 2 잔류 신호의 일부를 유도할지, 또는 (b) 제 1 잔류 신호와 관계없이 데이터 스트림으로부터 추출된 보정 신호에 기초하여 제 2 잔류 신호를 도출할지, 여부를 나타내는 시그널링 구문 요소를 추출 - 상기 제 2 성분은 제 2 색 평면을 나타냄 -;
시그널링 구문 요소에 응답하여, 상기 제 2 잔류 신호의 일부를 유도;
상기 다-성분 화상을 잔류 블록들 및 예측 블록들로 세분하고, 잔류 블록들을 변환 블록으로 더 세분;
상기 데이터 스트림으로부터 제 1 정보에 기초하여 예측 모드들을 선택;
상기 데이터 스트림으로부터 제 2 정보에 기초하여 상기 예측 블록들에 대한 예측 파라미터들을 결정;
상기 예측 모드들 및 상기 예측 파라미터들을 이용하여 예측 신호를 유도;
상기 변환 블록들 내에서 역 변환을 수행하여 각각의 잔류 블록 내에서 잔류 신호를 유도; 및
상기 예측 신호 및 상기 잔류 신호를 결합하여 상기 다-성분 화상을 복원;하도록 구성되는 프로세서를 포함하는, 다-성분 화상을 디코딩하도록 구성된 디코더.A decoder configured to decode a multi-component picture, the decoder comprising:
Based on the information extracted from the data stream, determining a first residual signal related to a first component of the multi-component image, the first component representing a first color plane;
In the data stream, whether to (a) derive a portion of the second residual signal associated with the second component of the multi-component image based on a portion of the first residual signal, or (b) from the data stream, regardless of the first residual signal. Extracting a signaling syntax element indicating whether or not to derive a second residual signal based on the extracted correction signal, the second component indicating a second color plane;
In response to a signaling syntax element, deriving a portion of the second residual signal;
Subdividing the multi-component image into residual blocks and prediction blocks, and further subdividing the residual blocks into transform blocks;
Selecting prediction modes based on first information from the data stream;
Determining prediction parameters for the prediction blocks based on second information from the data stream;
Derive a prediction signal using the prediction modes and the prediction parameters;
Inducing a residual signal in each residual block by performing inverse transform within the transform blocks; And
And a processor configured to reconstruct the multi-component picture by combining the prediction signal and the residual signal.
상기 디코더는 공간 도메인 내의 상기 보정 신호를 획득하기 위하여 상기 데이터 스트림으로부터 유도되는 상기 제 2 성분에 관한 스펙트럼 계수들 상으로의 역 스펙트럼 변환을 실행함으로써 상기 보정 신호를 획득하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
Wherein the decoder is configured to obtain the correction signal by performing an inverse spectral transformation onto spectral coefficients for the second component derived from the data stream to obtain the correction signal in the spatial domain. A decoder configured to decode a multi-component picture.
상기 디코더는, 상기 제 2 잔류 신호를 유도하는 데 있어서, 상기 제 1 잔류 신호가 서브-화상 입상도에서 상기 제 2 잔류 신호의 복원에 영향을 미치는 제 1 가중을 적응적으로 설정하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
Wherein the decoder is configured to adaptively set a first weight in deriving the second residual signal, wherein the first residual signal affects the restoration of the second residual signal in a sub-image granularity. A decoder configured to decode a multi-component picture.
상기 디코더는, 상기 서브-화상 입상도에서, 상기 데이터 스트림에서의 시그널링에 기초하여 상기 제 1 가중을 적응적으로 설정하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 3,
Wherein the decoder is configured to adaptively set the first weight based on signaling in the data stream, in the sub-picture granularity.
상기 디코더는, 상기 제 2 잔류 신호를 유도하는데 있어서, 서브-화상 입상도에서 상기 보정 신호가 상기 제 2 잔류 신호의 복원에 영향을 미치는 제 2 가중을 적응적으로 설정하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
Wherein the decoder is configured to adaptively set a second weight in which the correction signal affects restoration of the second residual signal in the sub-image granularity in deriving the second residual signal. , A decoder configured to decode a multi-component picture.
상기 디코더는, 상기 제 2 잔류 신호를 유도하는데 있어서, 상기 제 2 잔류 신호를 획득하기 위해, 서브-화상 입상도에서 상기 제 1 잔류 신호 및 상기 보정 신호의 가중된 합계의 가중들을 적응적으로 설정하고, 적어도 화상 당, 일정한 스칼라 함수의 스칼라 인수로서 가중된 합계를 사용하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
The decoder adaptively sets weights of a weighted sum of the first residual signal and the correction signal in a sub-picture granularity to obtain the second residual signal, in deriving the second residual signal And, at least per picture, configured to use the weighted sum as a scalar factor of a constant scalar function.
상기 디코더는 서브-화상 입상도에서, 상기 제 2 잔류 신호를 유도하는데 있어서,
공간 도메인 내의 상기 보정 신호를 획득하기 위하여 상기 데이터 스트림으로부터 유도되는 상기 제 2 성분에 관한 스펙트럼 계수들 상으로의 역 스펙트럼 변환의 실행 및 상기 공간 도메인 내의 상기 보정 신호를 사용하는 상기 제 2 잔류 신호의 복원, 및
상기 데이터 스트림으로부터 스펙트럼 도메인 내의 상기 보정 신호의 획득, 상기 스펙트럼 도메인 내에서의, 상기 스펙트럼 도메인 내에서 획득한 상기 보정 신호를 사용하는 상기 제 2 잔류 신호의 복원, 및 상기 스펙트럼 도메인 내에서의, 제 2 잔류 신호를 역 스펙트럼 변환으로 대상화(subjecting),
사이를 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
The decoder in deriving the second residual signal from the sub-picture granularity,
Of the second residual signal using the correction signal in the spatial domain and performing an inverse spectral transform onto spectral coefficients for the second component derived from the data stream to obtain the correction signal in the spatial domain. Restoration, and
Acquisition of the correction signal in the spectral domain from the data stream, restoration of the second residual signal using the correction signal obtained in the spectral domain, and in the spectral domain 2 subjecting the residual signal to inverse spectral transformation,
A decoder configured to decode a multi-component picture, characterized in that it is configured to adaptively switch between.
상기 디코더는 복원된 제 2 성분 신호의 공간적으로 상응하는 부분으로부터 상기 제 1 성분 신호를 복원하기 위하여 상기 복원된 제 1 성분 신호의 상기 공간적으로 상응하는 부분으로부터 상기 제 2 성분 신호의 복원의 실행 및 상기 복원의 반전(reversing) 사이에서 서브-화상 입상도에서, 상기 제 2 성분 신호의 복원의 방향을 적응적으로 스위칭하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
The decoder performs restoration of the second component signal from the spatially corresponding portion of the reconstructed first component signal to restore the first component signal from a spatially corresponding portion of the reconstructed second component signal, and And in a sub-picture granularity between reversing of the reconstruction, the decoder configured to adaptively switch the direction of reconstruction of the second component signal.
상기 디코더는
상기 제 1 잔류 신호를 기초로 하는 상기 제 2 잔류 신호의 유도의 가능화(enabling), 및
상기 제 1 잔류 신호를 기초로 하는 상기 제 2 잔류 신호의 유도의 불능화(disabling) 사이를 스위칭하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
The decoder
Enabling the derivation of the second residual signal based on the first residual signal, and
And configured to switch between disabling of derivation of the second residual signal based on the first residual signal.
상기 제 1 및 제 2 성분들은 3개의 색 성분 중 두 개이고, 상기 디코더는 상기 제 1 또는 제 2 잔류 신호의 공간적으로 상응하는 부분으로부터 상기 다-성분 화상의 상기 제 3 색 성분에 관한 제 3 잔류 신호 및 상기 제 3 성분을 위하여 상기 데이터 스트림으로부터 유도되는 보정 신호를 유도하도록 구성되고, 상기 디코더는 개별적으로 서브-화상 레벨에서 적응적으로 상기 제 2 및 제 3 잔류 신호들을 유도하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
The first and second components are two of three color components, and the decoder provides a third residual for the third color component of the multi-component image from a spatially corresponding portion of the first or second residual signal. And a correction signal derived from the data stream for the signal and the third component, wherein the decoder is individually configured to adaptively derive the second and third residual signals at a sub-picture level. A decoder configured to decode a multi-component picture.
상기 디코더는 상기 제 2 잔류 신호를 유도하는데 있어서, 상기 제 1 잔류 신호를 공간적으로 재스케일링하거나, 또는 상기 제 1 잔류 신호에 비트 깊이 정밀 매핑을 실행하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
Wherein the decoder is configured to spatially rescale the first residual signal, or to perform bit depth precise mapping on the first residual signal, in deriving the second residual signal. A decoder configured to decode
상기 디코더는 상기 제 2 잔류 신호를 유도하는데 있어서, 상기 제 1 잔류 신호의 공간적으로 저역 통과 필터링된 버전으로부터 상기 제 2 잔류 신호를 유도하도록 구성되는 것을 특징으로 하는, 다-성분 화상을 디코딩하도록 구성된 디코더.The method of claim 1,
Wherein the decoder is configured to derive the second residual signal from a spatially low-pass filtered version of the first residual signal in deriving the second residual signal. Decoder.
데이터 스트림으로부터 추출되는 정보에 기초하여, 다-성분 화상의 제 1 성분에 관련되는 제 1 잔류 신호를 결정하는 단계 - 상기 제 1 성분은 제 1 색 평면을 나타냄 -;
데이터 스트림에서, (a) 제 1 잔류 신호의 일부에 기초하여 다-성분 화상의 제 2 성분과 관련된 제 2 잔류 신호의 일부를 유도할지, 또는 (b) 제 1 잔류 신호와 관계없이 데이터 스트림으로부터 추출된 보정 신호에 기초하여 제 2 잔류 신호를 도출할지, 여부를 나타내는 시그널링 구문 요소를 추출하는 단계 - 상기 제 2 성분은 제 2 색 평면을 나타냄 -;
시그널링 구문 요소에 응답하여, 상기 제 2 잔류 신호의 일부를 유도하는 단계;
상기 다-성분 화상을 잔류 블록들 및 예측 블록들로 세분하고, 잔류 블록들을 변환 블록으로 더 세분하는 단계;
상기 데이터 스트림으로부터 제 1 정보에 기초하여 예측 모드들을 선택하는 단계;
상기 데이터 스트림으로부터 제 2 정보에 기초하여 상기 예측 블록들에 대한 예측 파라미터들을 결정하는 단계;
상기 예측 모드들 및 상기 예측 파라미터들을 이용하여 예측 신호를 유도하는 단계;
상기 변환 블록들 내에서 역 변환을 수행하여 각각의 잔류 블록 내에서 잔류 신호를 유도하는 단계; 및
상기 예측 신호 및 상기 잔류 신호를 결합하여 상기 다-성분 화상을 복원하는 단계;를 포함하는, 다-성분 화상을 디코딩하는 방법.In the method of decoding a multi-component picture,
Determining, based on the information extracted from the data stream, a first residual signal related to a first component of the multi-component image, the first component representing a first color plane;
In the data stream, whether to (a) derive a portion of the second residual signal associated with the second component of the multi-component image based on a portion of the first residual signal, or (b) from the data stream, regardless of the first residual signal. Extracting a signaling syntax element indicating whether or not to derive a second residual signal based on the extracted correction signal, the second component indicating a second color plane;
In response to a signaling syntax element, deriving a portion of the second residual signal;
Subdividing the multi-component image into residual blocks and prediction blocks, and further subdividing the residual blocks into transform blocks;
Selecting prediction modes based on first information from the data stream;
Determining prediction parameters for the prediction blocks based on second information from the data stream;
Deriving a prediction signal using the prediction modes and the prediction parameters;
Inducing a residual signal in each residual block by performing an inverse transform within the transform blocks; And
And reconstructing the multi-component image by combining the prediction signal and the residual signal.
상기 공간 도메인 내의 상기 보정 신호를 획득하기 위하여 상기 데이터 스트림으로부터 유도되는 상기 제 2 성분에 관한 스펙트럼 계수들 상으로의 역 스펙트럼 변환을 실행함으로써 상기 보정 신호를 획득하는 것을 더 포함하는, 다-성분 화상을 디코딩하는 방법.The method of claim 13,
Obtaining the correction signal by performing an inverse spectral transformation onto spectral coefficients for the second component derived from the data stream to obtain the correction signal in the spatial domain. How to decode it.
상기 제 2 잔류 신호를 유도하는 데 있어서, 상기 제 1 잔류 신호가 서브-화상 입상도에서 상기 제 2 잔류 신호의 복원에 영향을 미치는 제 1 가중을 적응적으로 설정하는 것을 더 포함하는, 다-성분 화상을 디코딩하는 방법.The method of claim 13,
In deriving the second residual signal, the first residual signal further comprises adaptively setting a first weight that affects the restoration of the second residual signal in a sub-image granularity. How to decode component pictures.
상기 서브-화상 입상도에서, 상기 데이터 스트림에서의 시그널링에 기초하여 상기 제 1 가중을 적응적으로 설정하는 것을 더 포함하는, 다-성분 화상을 디코딩하는 방법.The method of claim 15,
In the sub-picture granularity, adaptively setting the first weight based on signaling in the data stream.
상기 제 2 잔류 신호를 유도하는데 있어서, 서브-화상 입상도에서 상기 보정 신호가 상기 제 2 잔류 신호의 복원에 영향을 미치는 제 2 가중을 적응적으로 설정하는 것을 더 포함하는, 다-성분 화상을 디코딩하는 방법.The method of claim 13,
In deriving the second residual signal, further comprising adaptively setting a second weight in which the correction signal affects restoration of the second residual signal in the sub-image granularity. How to decode.
상기 제 2 잔류 신호를 유도하는데 있어서, 상기 제 2 잔류 신호를 획득하기 위해, 서브-화상 입상도에서 상기 제 1 잔류 신호 및 상기 보정 신호의 가중된 합계의 가중들을 적응적으로 설정하고, 적어도 화상 당, 일정한 스칼라 함수의 스칼라 인수로서 가중된 합계를 사용하는 것을 더 포함하는, 다-성분 화상을 디코딩하는 방법.The method of claim 13,
In deriving the second residual signal, to obtain the second residual signal, adaptively set weights of the weighted sum of the first residual signal and the correction signal in a sub-image granularity, and at least an image Per, further comprising using the weighted sum as a scalar factor of a constant scalar function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020227017161A KR102573801B1 (en) | 2013-04-08 | 2014-04-08 | Inter-component prediction |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361809608P | 2013-04-08 | 2013-04-08 | |
US61/809,608 | 2013-04-08 | ||
US201361846450P | 2013-07-15 | 2013-07-15 | |
US61/846,450 | 2013-07-15 | ||
EP14150373.0 | 2014-01-07 | ||
EP14150373 | 2014-01-07 | ||
PCT/EP2014/057090 WO2014166965A1 (en) | 2013-04-08 | 2014-04-08 | Inter-component prediction |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020207017995A Division KR102245088B1 (en) | 2013-04-08 | 2014-04-08 | Inter-component prediction |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020227017161A Division KR102573801B1 (en) | 2013-04-08 | 2014-04-08 | Inter-component prediction |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210046861A true KR20210046861A (en) | 2021-04-28 |
Family
ID=71608304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020217011884A KR20210046861A (en) | 2013-04-08 | 2014-04-08 | Inter-component prediction |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20210046861A (en) |
HK (1) | HK1257409A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116634168A (en) * | 2023-07-26 | 2023-08-22 | 上海方诚光电科技有限公司 | Image lossless processing method and system based on industrial camera |
-
2014
- 2014-04-08 KR KR1020217011884A patent/KR20210046861A/en active IP Right Grant
-
2018
- 2018-12-26 HK HK18116617.9A patent/HK1257409A1/en unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116634168A (en) * | 2023-07-26 | 2023-08-22 | 上海方诚光电科技有限公司 | Image lossless processing method and system based on industrial camera |
CN116634168B (en) * | 2023-07-26 | 2023-10-24 | 上海方诚光电科技有限公司 | Image lossless processing method and system based on industrial camera |
Also Published As
Publication number | Publication date |
---|---|
HK1257409A1 (en) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102245088B1 (en) | Inter-component prediction | |
US20230276071A1 (en) | Intra prediction method of chrominance block using luminance sample, and apparatus using same | |
US10313682B2 (en) | Determining regions when performing intra block copying | |
CA2983886A1 (en) | Slice level intra block copy and other video coding improvements | |
US20210377519A1 (en) | Intra prediction-based video signal processing method and device | |
US20210409731A1 (en) | Coding of transform coefficients in video coding | |
KR20210046861A (en) | Inter-component prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |