KR20230034427A - 복호 장치, 프로그램, 및 복호 방법 - Google Patents

복호 장치, 프로그램, 및 복호 방법 Download PDF

Info

Publication number
KR20230034427A
KR20230034427A KR1020237006612A KR20237006612A KR20230034427A KR 20230034427 A KR20230034427 A KR 20230034427A KR 1020237006612 A KR1020237006612 A KR 1020237006612A KR 20237006612 A KR20237006612 A KR 20237006612A KR 20230034427 A KR20230034427 A KR 20230034427A
Authority
KR
South Korea
Prior art keywords
unit
block
component
color
flag
Prior art date
Application number
KR1020237006612A
Other languages
English (en)
Inventor
슌스케 이와무라
šœ스케 이와무라
심페이 네모토
아츠로 이치가야
Original Assignee
닛폰 호소 교카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛폰 호소 교카이 filed Critical 닛폰 호소 교카이
Publication of KR20230034427A publication Critical patent/KR20230034427A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

복호 방법은, 비트스트림을 복호함으로써, 블록의 색성분마다의 변환 계수와, 상기 블록이 비제로의 변환 계수를 포함하는지 여부를 색성분마다 나타내는 제1 플래그와, 예측 잔차의 색공간을 상기 원화상의 색공간으로부터 다른 색공간으로 변환하는 색공간 변환을 이용하여 상기 블록이 부호화되었는지 여부를 나타내는 제2 플래그를 출력하는 것과, 상기 색공간 변환을 이용하여 상기 블록이 부호화된 것을 상기 제2 플래그가 나타내는 경우, 상기 변환 계수로부터 복원된 상기 예측 잔차에 대하여 색공간 역변환을 행하는 것과, 색차 성분의 상기 제1 플래그와, 상기 제2 플래그에 기초하여, 상기 색차 성분의 상기 예측 잔차를, 상기 색차 성분에 대응하는 휘도 성분에 기초하여 스케일링하는 색차 잔차 스케일링을 행하는지 여부를 결정하는 것을 갖는다.

Description

복호 장치, 프로그램, 및 복호 방법{DECODING DEVICE, PROGRAM, AND DECODING METHOD}
본 발명은, 복호 장치, 프로그램, 및 복호 방법에 관한 것이다.
비특허문헌 1에는, VVC(Versatile Video Coding)에서의 RGB4:4:4 영상의 부호화에 이용하는 색공간 변환(ACT : Adaptive Colour Transform)이 규정되어 있다. 색공간 변환은, RGB 색공간의 예측 잔차를 YCgCo 색공간으로 변환함으로써 예측 잔차의 색성분간 상관을 제거하고, 부호화 효율을 개선하는 기술이다.
부호화 장치는, YCgCo 색공간으로 변환한 예측 잔차에 대하여 색성분(Y, Cg, Co 성분)마다 직교 변환을 행하고, 변환 계수를 양자화 및 엔트로피 부호화하여 스트림 출력한다. 복호 장치측에서는, 전송된 변환 계수를 엔트로피 복호하고, 역양자화·역직교 변환하는 것에 의해 얻어진 YCgCo 색공간의 예측 잔차에 대하여 색공간 역변환(역 ACT)을 행하는 것에 의해 RGB 색공간의 예측 잔차로 변환하고, 예측 잔차를 예측 화상과 합성함으로써 복호 화상을 얻는다.
그런데, VVC에서는, 색차 성분의 예측 잔차를 대응하는 휘도 성분에 따라서 스케일링하는 색차 잔차 스케일링(CRS : Chroma Residual Scaling)이라고 불리는 기술이 채용되고 있다.
복호 장치는, 색차 잔차 스케일링의 계산량을 삭감하기 위해, 색차 잔차 스케일링을 적용하는지 여부를, 색차 성분의 비제로의 변환 계수가 전송되고 있는지 여부를 나타내는 유의 계수 플래그(tu_cb_coded_flag 및 tu_cr_coded_flag)에 기초하여 제어하고 있다. 구체적으로는, 복호 장치는, 색차 성분의 비제로의 변환 계수가 전송되고 있는 것을 유의 계수 플래그가 나타내는 경우에만, 색차 잔차 스케일링을 행한다.
비특허문헌 1 : JVET-R2001"Versatile Video Coding Draft 9"
제1 양태에 관한 복호 장치는, 복수의 색성분에 의해 구성되는 원화상(原畵像)을 분할하여 얻은 블록에 대한 복호 처리를 행하는 복호 장치로서, 비트스트림을 복호함으로써, 상기 블록의 색성분마다의 변환 계수와, 상기 블록이 비제로의 변환 계수를 포함하는지 여부를 색성분마다 나타내는 제1 플래그와, 예측 잔차의 색공간을 상기 원화상의 색공간으로부터 다른 색공간으로 변환하는 색공간 변환을 이용하여 상기 블록이 부호화되었는지 여부를 나타내는 제2 플래그를 출력하는 엔트로피 복호부와, 색성분마다 상기 변환 계수로부터 상기 예측 잔차를 복원하는 역양자화·역변환부와, 상기 색공간 변환을 이용하여 상기 블록이 부호화된 것을 상기 제2 플래그가 나타내는 경우, 상기 예측 잔차에 대하여 색공간 역변환을 행하는 색공간 역변환부와, 색차 성분의 상기 예측 잔차를, 상기 색차 성분에 대응하는 휘도 성분에 기초하여 스케일링하는 색차 잔차 스케일링을 행하는 스케일링부를 구비하고, 상기 스케일링부는, 상기 색차 성분의 상기 제1 플래그와, 상기 제2 플래그에 기초하여, 상기 색차 잔차 스케일링을 행하는지 여부를 결정하는 것을 요지로 한다.
제2 양태에 관한 프로그램은, 컴퓨터를 제1 양태에 관한 복호 장치로서 기능시키는 것을 요지로 한다.
제3 양태에 관한 복호 방법은, 복수의 색성분에 의해 구성되는 원화상을 분할하여 얻은 블록에 대한 복호 처리를 행하는 복호 방법으로서, 비트스트림을 복호함으로써, 상기 블록의 색성분마다의 변환 계수와, 상기 블록이 비제로의 변환 계수를 포함하는지 여부를 색성분마다 나타내는 제1 플래그와, 예측 잔차의 색공간을 상기 원화상의 색공간으로부터 다른 색공간으로 변환하는 색공간 변환을 이용하여 상기 블록이 부호화되었는지 여부를 나타내는 제2 플래그를 출력하는 것과, 상기 색공간 변환을 이용하여 상기 블록이 부호화된 것을 상기 제2 플래그가 나타내는 경우, 상기 변환 계수로부터 복원된 상기 예측 잔차에 대하여 색공간 역변환을 행하는 것과, 색차 성분의 상기 제1 플래그와, 상기 제2 플래그에 기초하여, 상기 색차 성분의 상기 예측 잔차를, 상기 색차 성분에 대응하는 휘도 성분에 기초하여 스케일링하는 색차 잔차 스케일링을 행하는지 여부를 결정하는 것을 갖는 것을 요지로 한다.
도 1은 실시형태에 관한 부호화 장치의 구성을 나타내는 도면이다.
도 2는 실시형태에 관한 휘도 맵핑 처리에서의 입력 화소치와 출력 화소치의 관계의 일례를 나타내는 그래프이다.
도 3은 실시형태에 관한 복호 장치의 구성을 나타내는 도면이다.
도 4는 실시형태에 관한 색차 잔차 스케일링의 온·오프 제어를 나타내는 도면이다.
색공간 변환이 적용되는 경우, 복호 장치에 전송되는 변환 계수는 YCgCo 색공간이며, tu_cb_coded_flag는 Cg 성분의 비제로의 변환 계수가 존재하는 경우에 TRUE(“1”)로 설정되고, tu_cr_coded_flag는 Co 성분의 비제로의 변환 계수가 존재하는 경우에 TRUE(“1”)로 설정된다.
Y, Cg, Co의 어느 색성분에 비제로의 변환 계수가 존재하는 경우, 복호 장치에 있어서, 이들의 에너지가 색공간 역변환에 의해 RGB 색공간의 각 색성분에 분산되므로, RGB 색공간의 모든 색성분에 있어서 예측 잔차가 생길 가능성이 높다.
그러나, 비특허문헌 1에 있어서, 복호 장치는, tu_cb_coded_flag 및 tu_cr_coded_flag에 기초하는 색차 잔차 스케일링의 온·오프 제어를 행하고 있다. 이 때문에, 복호 장치는, 색차 성분의 유의 계수 플래그가 FALSE(“0”)인 경우에는, 색공간 역변환에 의해 예측 잔차가 RGB의 모든 색성분에서 발생하는 경우에도 색차 잔차 스케일링을 행하지 않는다. 이 때문에, 색차 잔차 스케일링이 정확하게 적용되지 않아, 부호화 효율이 저하되어 버리는 문제가 있다.
따라서, 본 개시는, 색차 잔차 스케일링을 적절히 적용함으로써 부호화 효율을 개선하는 것을 목적으로 한다.
도면을 참조하여, 실시형태에 관한 부호화 장치 및 복호 장치에 관해 설명한다. 실시형태에 관한 부호화 장치 및 복호 장치는, MPEG(Moving Picture Experts Group)로 대표되는 동영상의 부호화 및 복호를 각각 행한다. 이하의 도면의 기재에 있어서, 동일 또는 유사한 부분에는 동일 또는 유사한 부호를 붙였다.
<부호화 장치의 구성>
우선, 본 실시형태에 관한 부호화 장치의 구성에 관해 설명한다. 도 1은, 본 실시형태에 관한 부호화 장치(1)의 구성을 나타내는 도면이다.
도 1에 나타내는 바와 같이, 부호화 장치(1)는, 블록 분할부(100)와, 휘도 맵핑부(101)와, 잔차 생성부(102)와, 스케일링부(103)와, 색공간 변환부(104)와, 변환·양자화부(120)와, 엔트로피 부호화부(107)와, 역양자화·역변환부(130)와, 색공간 역변환부(110)와, 스케일링부(111)와, 합성부(112)와, 휘도 역맵핑부(113)와, 루프 내 필터(114)와, 메모리(115)와, 예측부(140)를 갖는다.
블록 분할부(100)는, 동영상을 구성하는 프레임(혹은 픽쳐) 단위의 입력 화상인 원화상을 복수의 화상 블록으로 분할하고, 분할에 의해 얻은 화상 블록을 잔차 생성부(102)에 출력한다. 화상 블록의 사이즈는, 예컨대 32×32 화소, 16×16 화소, 8×8 화소, 또는 4×4 화소 등이다. 화상 블록의 형상은 정방형에 한정되지 않고 장방형(비정방형)이어도 좋다. 화상 블록은, 부호화 장치(1)가 부호화 처리를 행하는 단위(즉, 부호화 대상 블록)이며, 또한 복호 장치가 복호 처리를 행하는 단위(즉, 복호 대상 블록)이다. 이러한 화상 블록은 CU(Coding Unit)라고 불리는 경우가 있다.
입력 화상은, RGB 신호이며, 크로마포맷이 4:4:4이어도 좋다. RGB 색공간은 제1 색공간의 일례이다. 「G」 성분은 제1 색성분에 상당하고, 「B」 성분은 제2 색성분에 상당하고, 「R」 성분은 제3 색성분에 상당한다. 블록 분할부(100)는, 화상을 구성하는 R 성분, G 성분, 및 B 성분의 각각에 대하여 블록 분할을 행함으로써 색성분마다의 블록을 출력한다. 이하의 부호화 장치의 설명에 있어서, 각 색성분을 구별하지 않을 때에는 단순히 부호화 대상 블록이라고 부른다.
휘도 맵핑부(101)는, 블록 분할부(100)가 출력하는 휘도 성분의 부호화 대상 블록 내의 각 화소치를 맵핑 테이블에 기초하여 맵핑 처리를 함으로써, 맵핑된 새로운 휘도 성분의 부호화 대상 블록을 생성 및 출력한다.
도 2는, 본 실시형태에 관한 휘도 맵핑 처리에서의 입력 화소치와 출력 화소치의 관계의 일례를 나타내는 그래프이다. 도 2에 있어서, 횡축은 입력 신호의 값이며, 종축은 출력 신호의 값이다.
도 2에 나타내는 바와 같이, 맵핑 테이블은, 하나 또는 복수의 슬라이스에 대하여 설정되는 테이블이며, 맵핑 처리전의 입력 신호와 맵핑 처리후의 출력 신호의 관계를 나타내기 위한 계수 테이블이다. 구체적으로는, 맵핑 테이블에는, 맵핑전의 입력 신호(맵핑 대상의 화소치)가 취할 수 있는 최소치로부터 최대치까지를 미리 규정하는 수(N)로 분할한 각 밴드에 대하여, 할당하는 변환후의 출력 신호의 화소치의 수를 나타내는 값이 저장되어 있다.
예컨대, 10 bit의 화상 신호의 맵핑 처리에 있어서 밴드의 수 N을 16으로 한 경우를 예를 들어 맵핑 테이블에 관해 설명한다. 맵핑전의 입력 신호가 취할 수 있는 최소치 0부터 최대치 1023까지를, 등분할한 각 밴드에 대응하는 입력 신호로서 할당한다. 예컨대 1번째 밴드는 입력 화소치 0 내지 63에 대응한다. 또한, 2번째 밴드는 입력 화소치의 64 내지 127에 대응한다. 동일하게 하여 16번째 밴드까지 입력 신호가 할당되어 있다.
각 밴드는 맵핑 테이블의 각 계수의 위치에 대응한다. 맵핑 테이블에 저장되는 계수는 각 밴드에 할당되어 있는 출력 화소치의 수를 의미한다. 예컨대 맵핑 테이블 lmc sCW={39, 40, 55, 70, 80, 90, 97, 97, 104, 83, 57, 55, 49, 44, 34, 30}인 경우, 1번째 밴드에 대응하는 출력 화소치는 0 내지 38이고, 2번째 밴드에 대응하는 출력 화소치는 39 내지 78이다. 3번째부터 16번째 밴드에 관해서도 동일하게 할당된다. 맵핑 테이블 내의 어떤 밴드에 대응하는 값이 큰 경우, 그 밴드에 할당되는 출력 화소치의 수가 많아지고, 반대로 작은 경우에는, 그 밴드에 할당되는 출력 화소치의 수가 적어진다.
맵핑 테이블은, 하나 또는 복수의 슬라이스의 원화상의 휘도 신호의 값의 출현 빈도에 따라서 부호화 장치(1)로 설정해도 좋고, 미리 시스템으로 규정한 복수의 맵핑 테이블 중에서 부호화 장치(1)로 선택해도 좋고, 미리 시스템으로 규정한 맵핑 테이블을 이용해도 좋다. 또, 맵핑 테이블은, 맵핑후의 출력 신호가 취할 수 있는 최소치부터 최대치까지를 미리 규정하는 수로 분할한 각 밴드에 대하여, 할당하는 변환전의 입력 신호의 화소치의 수를 나타내는 값이 저장되어 있어도 좋고, 맵핑 테이블 내의 값을 양자화하여 유지해도 좋고, 맵핑 전후의 입력 신호와 출력 신호의 관계를 나타내고 있다면 상기 예에 한정되지는 않는다.
또한, 부호화 장치(1)로 휘도 신호의 값의 출현 빈도에 따라서 맵핑 테이블을 설정한 경우나 복수의 맵핑 테이블의 중에서 선택한 경우에는, 부호화 장치(1)는, 어떠한 수단으로 복호 장치(2)에 맵핑 테이블의 정보를 전송한다. 예컨대, 부호화 장치(1)는, 테이블의 값의 정보를 엔트로피 부호화하고 스트림 출력해도 좋다. 또한, 영상의 포맷 정보(예컨대 영상 신호에서의 광신호와 전기 신호의 관계를 나타내는 파라미터 등)을 기초로 부호화 장치(1)와 복호 장치(2)로 미리 준비된 맵핑 테이블을 전환하여 이용해도 좋다.
잔차 생성부(102)는, 블록 분할부(100)가 출력하는 부호화 대상 블록과, 부호화 대상 블록을 예측부(140)가 예측하여 얻은 예측 블록의 차분(오차)을 나타내는 예측 잔차를 산출한다. 구체적으로는, 잔차 생성부(102)는, 색성분마다, 부호화 대상 블록의 각 화소치로부터 예측 블록의 각 화소치를 감산하는 것에 의해 예측 잔차를 산출하고, 산출한 예측 잔차를 출력한다. 즉, 잔차 생성부(102)는, 각 색성분의 부호화 대상 블록과, 각 색성분의 예측 블록의 차분에 의해 각 색성분의 예측 잔차를 생성한다.
스케일링부(103)는, 잔차 생성부(102)가 출력하는 색차 성분의 예측 잔차에 대하여 색차 잔차 스케일링을 행한다. 색차 잔차 스케일링은, 색차 성분의 예측 잔차를 대응하는 휘도 성분에 따라서 스케일링하는 처리이다. 또, 휘도 맵핑부(101)가 휘도 맵핑을 행하지 않는 경우, 색차 잔차 스케일링은 무효가 된다.
색차 잔차 스케일링은, 부호화 대상 블록의 상측 및/또는 좌측의 복호 완료 인접 휘도 화소치의 평균치에 의존한다. 스케일링부(103)는, 복호 완료 인접 휘도 화소치의 평균치 avgYr로부터 인덱스 YIdx를 구하고, 스케일링 계수 CScaleInv를 cScaleInv[YIdx]에 의해 구한다. 여기서, cScaleInv[]는 룩업 테이블이다. 스케일링부(103)는, 휘도 맵핑이 화소치마다 행해지는 데 비해, 색차 성분의 부호화 대상 블록 전체에 대하여 색차 잔차 스케일링을 행한다. 구체적으로는, 스케일링부(103)는, 색차 성분의 예측 잔차를 CRes로 한 경우, 스케일링후의 색차 성분의 예측 잔차 CResScale를, CRes*CScale, 즉, CRes/CScaleInv에 의해 산출 및 출력한다.
색공간 변환부(104)는, 각 색성분의 예측 잔차에 대하여 색공간 변환을 행하고, 색공간 변환후의 예측 잔차를 출력한다. 예컨대, 색공간 변환부(104)는, 부호화 대상 블록의 예측 잔차의 R 성분, G 성분, 및 B 성분에 관해 하기와 같은 변환 계산을 행함으로써 YCgCo 색공간의 예측 잔차를 생성한다.
Co=R-B
t=B+(Co>>1)
Cg=G-t
Y=t+(Cg>>1)
단, 「>>」는 우측 시프트 연산을 나타낸다. 또한, 「Y」 성분은 제1 색성분에 상당하고, 「Cg」 성분은 제2 색성분에 상당하고, 「Co」 성분은 제3 색성분에 상당한다. 이러한 YCgCo 색공간은 제2 색공간의 일례이다.
또, 색공간 변환부(104)에서의 색공간 변환은 각 색성분에 대한 가산·감산·승산·제산·시프트 처리 등에 의해 새로운 색성분에 의해 구성되는 예측 잔차를 생성하면 된다. 또한, 색공간 변환은, 모든 색성분에 영향을 미치는 변환일 필요는 없다. 예컨대, 색공간 변환부(104)는, 제1 색성분을 변경하지 않고 유지하고, 제2 색성분과 제3 색성분의 평균치를 새로운 제2 색성분으로 하고, 제2 색성분과 제3 색성분의 차분을 새로운 제3 색성분으로 한다고 하는 색공간 변환을 적용해도 좋다.
변환·양자화부(120)는, 색성분마다 블록 단위로 변환 처리 및 양자화 처리를 행한다. 변환·양자화부(120)는, 변환부(105)와 양자화부(106)를 갖는다.
변환부(105)는, 예측 잔차(색공간 변환의 적용 유무에 상관없이 예측 잔차라고 함)에 대하여 변환 처리를 행하여 변환 계수를 산출하고, 산출한 변환 계수를 출력한다. 구체적으로는, 변환부(105)는, 각 색성분의 예측 잔차에 대하여 블록 단위로 변환 처리를 행함으로써 각 색성분의 변환 계수를 생성한다. 변환 처리는, 예컨대 DCT(Discrete Cosine Transform)나 DST(Discrete Sine Transform), 이산 웨이블릿 변환 등의 주파수 변환이면 된다. 또한, 변환부(105)는, 변환 처리에 관한 정보를 엔트로피 부호화부(107)에 출력한다.
변환 처리에는, 변환 처리를 행하지 않는 변환 스킵을 포함한다. 변환 스킵은, 수평만 변환 처리를 적용하는 변환이나 수직만 변환 처리를 적용하는 변환도 포함한다. 또한, 변환부(105)는, 변환 처리에 의해 얻어진 변환 계수에 대하여 변환 처리를 적용하는 이차 변환 처리를 더 행해도 좋다. 이차 변환 처리는, 변환 계수의 일부 영역에만 적용해도 좋다.
양자화부(106)는, 변환부(105)가 출력하는 변환 계수를 양자화 파라미터 및 스케일링 리스트를 이용하여 양자화하고, 양자화한 변환 계수를 출력한다. 또한, 양자화부(106)는, 양자화 처리에 관한 정보(구체적으로는, 양자화 처리에서 이용한 양자화 파라미터 및 스케일링 리스트의 정보)를, 엔트로피 부호화부(107) 및 역양자화부(108)에 출력한다.
엔트로피 부호화부(107)는, 양자화부(106)가 출력하는 양자화 변환 계수에 대하여 엔트로피 부호화를 행하고, 데이터 압축을 행하여 비트스트림(부호화 데이터)을 생성하고, 비트스트림을 복호측에 출력한다. 엔트로피 부호화에는, 허프만 부호나 CABAC(Context-based Adaptive Binary Arithmetic Coding) 등을 이용할 수 있다. 또한, 엔트로피 부호화부(107)는, 변환부(105)로부터의 변환 처리에 관한 정보를 비트스트림에 포함시켜 복호측에 시그널링하거나, 예측부(140)로부터의 예측 처리에 관한 정보를 비트스트림에 포함시켜 복호측에 시그널링하거나 한다.
또한, 엔트로피 부호화부(107)는, 제1 색성분(RGB 색공간에서의 「G」 성분, YCgCo 색공간에서의 「Y」 성분), 제2 색성분(RGB 색공간에서의 「B」 성분, YCgCo 색공간에서의 「Cg」 성분), 제3 색성분(RGB 색공간에서의 「R」 성분, YCgCo 색공간에서의 「Co」 성분)의 각각에 관해, 부호화 대상 블록이 비제로의 변환 계수를 포함하는지 여부를 나타내는 유의 계수 플래그를 비트스트림에 포함시켜 복호측에 시그널링한다. 유의 계수 플래그는 제1 플래그의 일례이다.
예컨대, 엔트로피 부호화부(107)는, YCgCo 색공간에서의 「Y」 성분의 부호화 대상 블록이 비제로의 변환 계수를 포함하는 경우는 유의 계수 플래그(tu_y_coded_flag)를 TRUE(“1”)로 설정하고, YCgCo 색공간에서의 「Y」 성분의 부호화 대상 블록이 비제로의 변환 계수를 포함하지 않는 경우는 유의 계수 플래그(tu_y_coded_flag)를 FALSE(“0”)로 설정한다.
엔트로피 부호화부(107)는, YCgCo 색공간에서의 「Cg」 성분의 부호화 대상 블록이 비제로의 변환 계수를 포함하는 경우는 유의 계수 플래그(tu_cb_coded_flag)를 TRUE(“1”)로 설정하고, YCgCo 색공간에서의 「Cg」 성분의 부호화 대상 블록이 비제로의 변환 계수를 포함하지 않는 경우는 유의 계수 플래그(tu_cb_coded_flag)를 FALSE(“0”)로 설정한다.
엔트로피 부호화부(107)는, YCgCo 색공간에서의 「Co」 성분의 부호화 대상 블록이 비제로의 변환 계수를 포함하는 경우는 유의 계수 플래그(tu_cr_coded_flag)를 TRUE(“1”)로 설정하고, YCgCo 색공간에서의 「Co」 성분의 부호화 대상 블록이 비제로의 변환 계수를 포함하지 않는 경우는 유의 계수 플래그(tu_cr_coded_flag)를 FALSE(“0”)로 설정한다.
또한, 엔트로피 부호화부(107)는, 색공간 변환의 적용 유무를 나타내는 색공간 변환 적용 플래그(cu_act_enabled_flag)를 부호화 대상 블록마다 비트스트림에 포함시켜 복호측에 시그널링한다. 이러한 색공간 변환 플래그를 색공간 변환 적용 플래그라고도 한다. 색공간 변환 적용 플래그는 제2 플래그의 일례이다.
색공간 변환 적용 플래그가 TRUE(“1”)인 경우, 대응하는 부호화 대상 블록에 색공간 변환이 적용되는 것을 나타낸다. 색공간 변환 적용 플래그가 FALSE(“0”)인 경우, 대응하는 부호화 대상 블록에 색공간 변환이 적용되지 않는 것을 나타낸다. 또, 엔트로피 부호화부(107)는, 색공간 변환 적용 플래그 대신에 색공간 변환 비적용 플래그를 이용해도 좋다. 그 경우에는, 색공간 변환 비적용 플래그가 TRUE(“1”)인 경우, 대응하는 부호화 대상 블록에 색공간 변환이 적용되지 않는 것을 나타낸다. 색공간 변환 비적용 플래그가 FALSE(“0”)인 경우, 대응하는 부호화 대상 블록에 색공간 변환이 적용되는 것을 나타낸다.
역양자화·역변환부(130)는, 색성분마다 블록 단위로 역양자화 처리 및 역변환 처리를 행한다. 역양자화·역변환부(130)는, 역양자화부(108)와 역변환부(109)를 갖는다.
역양자화부(108)는, 양자화부(106)가 행하는 양자화 처리에 대응하는 역양자화 처리를 행한다. 구체적으로는, 역양자화부(108)는, 양자화부(106)가 출력하는 양자화 변환 계수를, 양자화 파라미터(Qp) 및 스케일링 리스트를 이용하여 역양자화하는 것에 의해 변환 계수를 복원하고, 복원한 변환 계수를 역변환부(109)에 출력한다.
역변환부(109)는, 변환부(105)가 행하는 변환 처리에 대응하는 역변환 처리를 행한다. 예컨대, 변환부(105)가 이산 코사인 변환을 행한 경우, 역변환부(109)는 역이산 코사인 변환을 행한다. 역변환부(109)는, 역양자화부(108)가 출력하는 변환 계수에 대하여 역변환 처리를 행하여 예측 잔차를 복원하고, 복원한 예측 잔차인 복원 예측 잔차를 출력한다.
색공간 역변환부(110)는, 색공간 변환부(104)가 행하는 색공간 변환의 역처리인 색공간 역변환을 행하고, 색공간 역변환후의 예측 잔차를 출력한다. 구체적으로는, 색공간 역변환부(110)는, 복원후의 예측 잔차의 Y 성분, Cg 성분, Co 성분을 이용하여 하기와 같은 역변환 계산을 행하는 것에 의해, YCgCo 색공간으로부터 RGB 색공간으로의 역변환을 행한다.
t=Y-(Cg>>1)
G=Cg+t
B=t-(Co>>1)
R=Co+B
스케일링부(111)는, 스케일링부(103)가 행하는 색차 잔차 스케일링에 대응하는 역처리(역스케일링 처리)를 행한다. 구체적으로는, 스케일링부(111)는, 스케일링부(103)에 의한 스케일링후의 색차 성분의 예측 잔차 CResScale에 기초하여, 스케일링부(103)에 의한 스케일링전의 예측 잔차 CRes를, CResScale/CScale, 즉, CResScale×CScaleInv에 의해 산출 및 출력한다.
본 실시형태에 있어서, 스케일링부(111)는, 색차 성분의 유의 계수 플래그(tu_cb_coded_flag, tu_cr_coded_flag) 및 색공간 변환 적용 플래그(cu_act_enabled_flag)에 기초하여, 색차 잔차 스케일링의 온·오프 제어를 행한다. 이러한 색차 잔차 스케일링의 온·오프 제어의 상세에 관해서는 후술한다.
합성부(112)는, 복원된 예측 잔차를, 예측부(140)가 출력하는 예측 블록과 화소 단위로 합성한다. 합성부(112)는, 복원 예측 잔차의 각 화소치와 예측 블록의 각 화소치를 가산하여 부호화 대상 블록을 복원(재구성)하고, 복원 완료 블록을 출력한다. 또, 복원 완료 블록은 재구성 블록이라고 불리는 경우도 있다.
휘도 역맵핑부(113)는, 복원 완료 블록에 대하여, 휘도 맵핑부(101)가 행하는 휘도 맵핑 처리에 대응하는 역맵핑 처리를 행한다.
루프 내 필터(114)는, 복원 완료 블록에 대하여 필터 처리를 행하고, 필터 처리후의 복원 완료 블록을 메모리(115)에 출력한다. 루프 내 필터(114)는, 디블로킹 필터 및 샘플 어댑티브 오프셋(SAO) 등을 포함한다.
메모리(115)는, 루프 내 필터(114)가 출력하는 필터 처리후의 복원 완료 블록을 기억하고, 복원 완료 블록을 프레임 단위로 복원 완료 화상으로서 축적한다.
예측부(140)는, 색성분마다 블록 단위로 예측 처리를 행한다. 예측부(140)는, 부호화 대상 블록에 대한 인트라 예측 및 인터 예측 등의 예측 처리를 행하는 것에 의해, 색성분마다의 예측 블록을 생성한다. 예측부(140)는, 인트라 예측부(116)와, 인터 예측부(117)와, 휘도 맵핑부(118)와, 전환부(119)를 갖는다.
인트라 예측부(116)는, 프레임 내의 공간적인 상관을 이용한 인트라 예측을 행한다. 구체적으로는, 인트라 예측부(116)는, 부호화 대상 블록의 주변에 있는 복원 완료 화소를 참조하여 인트라 예측 블록을 생성하고, 생성한 인트라 예측 블록을 출력한다. 인트라 예측부(116)는, 복수의 인트라 예측 모드 중에서, 부호화 대상 블록에 적용하는 인트라 예측 모드를 선택하고, 선택한 인트라 예측 모드를 이용하여 부호화 대상 블록을 예측한다.
인터 예측부(117)는, 프레임간의 상관을 이용한 인터 예측을 행한다. 구체적으로는, 인터 예측부(117)는, 메모리(115)에 기억된 복원 완료 화상을 참조 화상으로서 이용하여, 블록 매칭 등의 수법에 의해 모션 벡터를 산출하고, 부호화 대상 블록을 예측하여 인터 예측 블록을 생성하고, 생성한 인터 예측 블록을 출력한다. 여기서, 인터 예측부(117)는, 복수의 참조 화상을 이용하는 인터 예측(전형적으로는 쌍예측)이나, 하나의 참조 화상을 이용하는 인터 예측(편방향 예측) 중에서 최적의 인터 예측 방법을 선택하고, 선택한 인터 예측 방법을 이용하여 인터 예측을 행한다. 인터 예측부(117)는, 인터 예측에 관한 정보(모션 벡터 등)를 엔트로피 부호화부(107)에 출력한다.
휘도 맵핑부(118)는, 인터 예측부(117)가 출력하는 인터 예측 블록에 대하여, 휘도 맵핑부(101)와 동일한 휘도 맵핑 처리를 행한다.
전환부(119)는, 인터 예측 블록과 인트라 예측 블록을 전환하여, 어느 하나의 예측 블록을 잔차 생성부(102) 및 합성부(112)에 출력한다.
<복호 장치의 구성>
다음으로, 본 실시형태에 관한 복호 장치에 관해, 부호화 장치(1)와의 상이점을 주로 설명한다. 도 3은, 본 실시형태에 관한 복호 장치(2)의 구성을 나타내는 도면이다.
도 3에 나타내는 바와 같이, 복호 장치(2)는, 엔트로피 복호부(200)와, 역양자화·역변환부(220)와, 색공간 역변환부(203)와, 합성부(204)와, 휘도 역맵핑부(205)와, 루프 내 필터(206)와, 메모리(207)와, 예측부(230)와, 스케일링부(212)와, 합성부(213)와, 루프 내 필터(214)와, 메모리(215)와, 예측부(240)를 갖는다.
엔트로피 복호부(200)는, 비트스트림(입력 부호화 데이터)을 복호하고, 복호 대상 블록에 대응하는 양자화 변환 계수를 취득하고, 취득한 양자화 변환 계수를 역양자화·역변환부(220)에 출력한다. 또한, 엔트로피 복호부(200)는, 변환 처리 및 양자화 처리에 관한 정보와, 예측 처리에 관한 정보를 취득하고, 변환 처리 및 양자화 처리에 관한 정보를 역양자화·역변환부(220)에 출력하고, 예측 처리에 관한 정보를 예측부(230) 및 예측부(240)에 출력한다.
또한, 엔트로피 복호부(200)는, 제1 색성분(RGB 색공간에서의 「G」 성분, YCgCo 색공간에서의 「Y」 성분), 제2 색성분(RGB 색공간에서의 「B」 성분, YCgCo 색공간에서의 「Cg」 성분), 제3 색성분(RGB 색공간에서의 「R」 성분, YCgCo 색공간에서의 「Co」 성분)의 각각에 관해, 복호 대상 블록이 비제로의 변환 계수를 포함하는지 여부를 나타내는 유의 계수 플래그를 취득한다. 또한, 엔트로피 복호부(200)는, 색공간 변환의 적용 유무를 나타내는 색공간 변환 적용 플래그(cu_act_enabled_flag)를 복호 대상 블록마다 취득한다.
역양자화·역변환부(220)는, 색성분마다 블록 단위로 역양자화 처리 및 역변환 처리를 행한다. 역양자화·역변환부(220)는, 역양자화부(201)와 역변환부(202)를 갖는다.
역양자화부(201)는, 부호화 장치(1)의 양자화부(106)가 행하는 양자화 처리에 대응하는 역양자화 처리를 행한다. 역양자화부(201)는, 엔트로피 복호부(200)가 출력하는 양자화 변환 계수를, 양자화 파라미터(Qp) 및 스케일링 리스트를 이용하여 역양자화하는 것에 의해, 복호 대상 블록의 변환 계수를 복원하고, 복원한 변환 계수를 역변환부(202)에 출력한다.
역변환부(202)는, 부호화 장치(1)의 변환부(105)가 행하는 변환 처리에 대응하는 역변환 처리를 행한다. 역변환부(202)는, 역양자화부(201)가 출력하는 변환 계수에 대하여 역변환 처리를 행하여 예측 잔차를 복원 및 출력한다.
색공간 역변환부(203)는, 색공간 변환을 이용하여 복호 대상 블록이 부호화된 것을 색공간 변환 적용 플래그(cu_act_enabled_flag)가 나타내는 경우, 복원된 예측 잔차에 대하여, 부호화 장치(1)의 색공간 변환부(104)가 행하는 색공간 변환의 역처리인 색공간 역변환 처리를 행한다. 구체적으로는, 색공간 역변환부(203)는, 복원된 예측 잔차의 Y 성분, Cg 성분, Co 성분을 이용하여 하기와 같은 역변환 계산을 행한다.
t=Y-(Cg>>1)
G=Cg+t
B=t-(Co>>1)
R=Co+B
합성부(204)는, 제1 색성분(RGB 색공간에서의 「G」 성분, YCgCo 색공간에서의 「Y」 성분)의 예측 잔차를, 예측부(230)가 출력하는 제1 색성분의 예측 블록과 화소 단위로 합성하는 것에 의해 원래의 블록을 복호(재구성)하고, 제1 색성분의 복원 완료 블록을 출력한다. 이하에 있어서, 제1 색성분을 휘도 성분이라고 부른다.
휘도 역맵핑부(205)는, 휘도 성분의 복원 완료 블록에 대하여, 부호화 장치(1)의 휘도 맵핑부(101)가 행하는 휘도 맵핑 처리에 대응하는 역맵핑 처리를 행한다.
루프 내 필터(206)는, 휘도 성분의 복원 완료 블록에 대하여 필터 처리를 행하고, 필터 처리후의 복원 완료 블록을 메모리(207)에 출력한다. 루프 내 필터(206)는, 디블로킹 필터 및 샘플 어댑티브 오프셋(SAO) 등을 포함한다.
메모리(207)는, 루프 내 필터(206)가 출력하는 필터 처리후의 복원 완료 블록을 기억하고, 복원 완료 블록을 프레임 단위로 복원 완료 화상으로서 축적한다.
예측부(230)는, 휘도 성분에 관해, 블록 단위로 예측 처리를 행한다. 예측부(230)는, 인트라 예측부(208)와, 인터 예측부(209)와, 휘도 맵핑부(210)와, 전환부(211)를 갖는다.
인트라 예측부(208)는, 프레임 내의 공간적인 상관을 이용한 인트라 예측을 행한다. 구체적으로는, 인트라 예측부(208)는, 복호 대상 블록의 주변에 있는 복원 완료 화소를 참조하여 인트라 예측 블록을 생성하고, 생성한 인트라 예측 블록을 출력한다. 인트라 예측부(208)는, 복수의 인트라 예측 모드 중에서, 부호화 장치(1)로부터 시그널링된 인트라 예측 모드를 이용하여 복호 대상 블록을 예측한다.
인터 예측부(209)는, 프레임간의 상관을 이용한 인터 예측을 행한다. 구체적으로는, 인터 예측부(209)는, 메모리(207)에 기억된 복원 완료 화상을 참조 화상으로서 이용하여, 블록 매칭 등의 수법에 의해 모션 벡터를 산출하고, 복호 대상 블록을 예측하여 인터 예측 블록을 생성하고, 생성한 인터 예측 블록을 출력한다. 여기서, 인터 예측부(209)는, 복수의 참조 화상을 이용하는 인터 예측이나, 하나의 참조 화상을 이용하는 인터 예측 중에서, 부호화 장치(1)로부터 시그널링된 인터 예측 방법을 이용하여 인터 예측을 행한다.
휘도 맵핑부(210)는, 인터 예측부(209)가 출력하는 인터 예측 블록에 대하여, 부호화 장치(1)의 휘도 맵핑부(101)와 동일한 휘도 맵핑 처리를 행한다.
전환부(211)는, 인터 예측 블록과 인트라 예측 블록을 전환하여, 어느 하나의 예측 블록을 합성부(204)에 출력한다.
한편, 스케일링부(212)는, 부호화 장치(1)의 스케일링부(111)와 동일하게, 색차 성분(제2 색성분, 제3 색성분)의 예측 잔차를, 그 색차 성분에 대응하는 휘도 성분(제1 색성분)에 기초하여 스케일링하는 색차 잔차 스케일링을 행한다. 구체적으로는, 스케일링부(212)는, 색차 성분의 예측 잔차 CResScale에 기초하여, 색차 성분의 예측 잔차 CRes를, CResScale/CScale, 즉, CResScale×CScaleInv에 의해 산출 및 출력한다.
본 실시형태에 있어서, 스케일링부(212)는, 엔트로피 복호부(200)가 취득한 색차 성분의 유의 계수 플래그(tu_cb_coded_flag, tu_cr_coded_flag) 및 색공간 변환 적용 플래그(cu_act_enabled_flag)에 기초하여, 색차 잔차 스케일링의 온·오프 제어를 행한다. 이러한 색차 잔차 스케일링의 온·오프 제어의 상세에 관해서는 후술한다.
합성부(213)는, 색차 성분의 예측 잔차를, 예측부(240)가 출력하는 색차 성분의 예측 블록과 화소 단위로 합성하는 것에 의해 원래의 블록을 복호(재구성)하고, 색차 성분의 복원 완료 블록을 출력한다.
루프 내 필터(214)는, 색차 성분의 복원 완료 블록에 대하여 필터 처리를 행하고, 필터 처리후의 복원 완료 블록을 메모리(215)에 출력한다. 루프 내 필터(214)는, 디블로킹 필터 및 샘플 어댑티브 오프셋(SAO) 등을 포함한다.
메모리(215)는, 루프 내 필터(214)가 출력하는 필터 처리후의 복원 완료 블록을 기억하고, 복원 완료 블록을 프레임 단위로 복원 완료 화상으로서 축적한다.
예측부(240)는, 색차 성분에 관해, 블록 단위로 예측 처리를 행한다. 예측부(240)는, 인트라 예측부(216)와, 인터 예측부(217)와, 전환부(218)를 갖는다.
인트라 예측부(216)는, 프레임 내의 공간적인 상관을 이용한 인트라 예측을 행한다. 구체적으로는, 인트라 예측부(216)는, 복호 대상 블록의 주변에 있는 복원 완료 화소를 참조하여 인트라 예측 블록을 생성하고, 생성한 인트라 예측 블록을 출력한다. 인트라 예측부(216)는, 복수의 인트라 예측 모드 중에서, 부호화 장치(1)로부터 시그널링된 인트라 예측 모드를 이용하여 복호 대상 블록을 예측한다.
인터 예측부(217)는, 프레임간의 상관을 이용한 인터 예측을 행한다. 구체적으로는, 인터 예측부(217)는, 메모리(215)에 기억된 복원 완료 화상을 참조 화상으로서 이용하여, 블록 매칭 등의 수법에 의해 모션 벡터를 산출하고, 복호 대상 블록을 예측하여 인터 예측 블록을 생성하고, 생성한 인터 예측 블록을 출력한다. 여기서, 인터 예측부(217)는, 복수의 참조 화상을 이용하는 인터 예측이나, 하나의 참조 화상을 이용하는 인터 예측 중에서, 부호화 장치(1)로부터 시그널링된 인터 예측 방법을 이용하여 인터 예측을 행한다.
전환부(218)는, 인터 예측 블록과 인트라 예측 블록을 전환하여, 어느 하나의 예측 블록을 합성부(213)에 출력한다.
<색차 잔차 스케일링의 온·오프 제어>
다음으로, 본 실시형태에 관한 색차 잔차 스케일링의 온·오프 제어에 관해 설명한다.
전술한 바와 같이, 색공간 변환이 적용되는 경우, 복호 장치(2)에 전송되는 변환 계수는 YCgCo 색공간이며, tu_cb_coded_flag는 Cg 성분의 비제로의 변환 계수가 존재하는 경우에 TRUE(“1”)로 설정되고, tu_cr_coded_flag는 Co 성분의 비제로의 변환 계수가 존재하는 경우에 TRUE(“1”)로 설정된다.
Y, Cg, Co의 어느 하나의 색성분에 비제로의 변환 계수가 존재하는 경우, 복호 장치(2)에 있어서, 이들의 에너지가, 색공간 역변환부(203)의 색공간 역변환 처리에 의해 RGB 색공간의 각 색성분에 분산되기 때문에, RGB 색공간의 모든 색성분에 있어서 예측 잔차가 생길 가능성이 높다.
본 실시형태에 있어서는, 복호 장치(2)의 스케일링부(212)는, tu_cb_coded_flag 및 tu_cr_coded_flag뿐만 아니라, 색공간 변환 적용 플래그(cu_act_enabled_flag)도 고려하여, 색차 잔차 스케일링의 온·오프 제어를 행한다. 구체적으로는, 스케일링부(212)는, 색차 성분의 유의 계수 플래그(tu_cb_coded_flag, tu_cr_coded_flag)에 상관없이, 색공간 변환 적용 플래그(cu_act_enabled_flag)가 TRUE(“1”)인 경우에는, 색차 잔차 스케일링을 행한다. 이것에 의해, 색차 잔차 스케일링이 정확하게 적용되어, 부호화 효율을 개선할 수 있다.
즉, 본 실시형태에 관한 복호 장치(2)는, 복수의 색성분에 의해 구성되는 원화상을 분할하여 얻은 복호 대상 블록에 대한 복호 처리를 행하는 장치이며, 엔트로피 복호부(200)와, 역양자화·역변환부(220)와, 색공간 역변환부(203)와, 스케일링부(212)를 갖는다.
첫째, 엔트로피 복호부(200)는, 비트스트림을 복호함으로써, 복호 대상 블록의 색성분마다의 변환 계수와, 복호 대상 블록이 비제로의 변환 계수를 포함하는지 여부를 색성분마다 나타내는 유의 계수 플래그(tu_cb_coded_flag, tu_cr_coded_flag)와, 예측 잔차의 색공간을 원화상의 색공간으로부터 다른 색공간으로 변환하는 색공간 변환을 이용하여 복호 대상 블록이 부호화되었는지 여부를 나타내는 색공간 변환 적용 플래그(cu_act_enabled_flag)를 출력한다. 이하에 있어서, 제2 색성분 및 제3 색성분을 특별히 구별하지 않고, tu_cb_coded_flag 및 tu_cr_coded_flag의 각각을 단순히 「tuCbfChroma 플래그」라고 부른다.
둘째, 역양자화·역변환부(220)는, 색성분마다 변환 계수로부터 예측 잔차를 복원한다.
셋째, 색공간 역변환부(203)는, 색공간 변환을 이용하여 복호 대상 블록이 부호화된 것을 색공간 변환 적용 플래그(cu_act_enabled_flag)가 나타내는 경우, 복원된 예측 잔차에 대하여 색공간 역변환을 행한다.
넷째, 스케일링부(212)는, 색차 성분의 예측 잔차를, 그 색차 성분에 대응하는 휘도 성분에 기초하여 스케일링하는 색차 잔차 스케일링을 행한다. 여기서, 스케일링부(212)는, tuCbfChroma 플래그와, 색공간 변환 적용 플래그(cu_act_enabled_flag)에 기초하여, 색차 잔차 스케일링을 행하는지 여부를 결정한다.
도 4는, 본 실시형태에 관한 색차 잔차 스케일링의 온·오프 제어를 나타내는 도면이다.
도 4에 나타내는 바와 같이, 스케일링부(212)는, 색공간 변환을 이용하여 복호 대상 블록이 부호화된 것을 색공간 변환 적용 플래그(cu_act_enabled_flag)가 나타내는 경우, 즉, cu_act_enabled_flag=TRUE(“1”)인 경우(단계 S1 : YES), 색차 잔차 스케일링을 행한다고 결정한다(단계 S2). 이 경우, 스케일링부(212) 및 합성부(213)는, 색차 잔차 스케일링을 수반하는 색차 블록 재구성 처리를 행한다(단계 S3).
또한, 스케일링부(212)는, 색차 성분의 복호 대상 블록이 비제로의 변환 계수를 포함하는 것을 tuCbfChroma 플래그가 나타내는 경우, 즉, tuCbfChroma 플래그=TRUE(“1”)인 경우(단계 S1 : YES), 색차 잔차 스케일링을 행한다고 결정한다(단계 S2). 이 경우, 스케일링부(212) 및 합성부(213)는, 색차 잔차 스케일링을 수반하는 색차 블록 재구성 처리를 행한다(단계 S3).
이것에 대하여, 스케일링부(212)는, 색차 성분의 복호 대상 블록이 비제로의 변환 계수를 포함하지 않는 것을 tuCbfChroma 플래그가 나타내고, 또한, 색공간 변환을 이용하여 복호 대상 블록이 부호화되지 않은 것을 색공간 변환 적용 플래그(cu_act_enabled_flag)가 나타내는 경우, 즉, tuCbfChroma 플래그=FALSE(“0”)이고 cu_act_enabled_flag=FALSE(“0”)인 경우(단계 S1 : NO), 색차 잔차 스케일링을 행하지 않는다고 결정한다(단계 S4). 이 경우, 스케일링부(212) 및 합성부(213)는, 색차 잔차 스케일링을 수반하지 않는 색차 블록 재구성 처리를 행한다(단계 S5).
이와 같이, 본 실시형태에 관한 스케일링부(212)는, 색차 성분의 유의 계수 플래그(tu_cb_coded_flag, tu_cr_coded_flag)에 상관없이, 색공간 변환 적용 플래그(cu_act_enabled_flag)가 TRUE(“1”)인 경우에는, 색차 잔차 스케일링을 행한다. 이것에 의해, 색차 잔차 스케일링이 정확하게 적용되어, 부호화 효율을 개선할 수 있다.
<그 밖의 실시형태>
부호화 장치(1)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램이 제공되어도 좋다. 또한, 복호 장치(2)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램이 제공되어도 좋다. 프로그램은, 컴퓨터 판독 가능 매체에 기록되어 있어도 좋다. 컴퓨터 판독 가능 매체를 이용하면, 컴퓨터에 프로그램을 인스톨하는 것이 가능하다. 여기서, 프로그램이 기록된 컴퓨터 판독 가능 매체는, 비일과성의 기록 매체이어도 좋다. 비일과성의 기록 매체는, 특별히 한정되는 것은 아니지만, 예컨대 CD-ROM이나 DVD-ROM 등의 기록 매체이어도 좋다.
부호화 장치(1)가 행하는 각 처리를 실행하는 회로를 집적화하고, 부호화 장치(1)를 반도체 집적 회로(칩 셋트, SoC)에 의해 구성해도 좋다. 복호 장치(2)가 행하는 각 처리를 실행하는 회로를 집적화하고, 복호 장치(2)를 반도체 집적 회로(칩 셋트, SoC)에 의해 구성해도 좋다.
이상, 도면을 참조하여 실시형태에 관해 자세히 설명했지만, 구체적인 구성은 전술한 것에 한정되지는 않고, 요지를 일탈하지 않는 범위 내에서 여러가지 설계 변경 등을 하는 것이 가능하다.
본원은, 일본특허출원 제2020-209556호(2020년 12월 17일 출원)의 우선권을 주장하고, 그 내용 전체가 본원 명세서에 포함되어 있다.

Claims (3)

  1. 복수의 색성분에 의해 구성되는 원화상(原畵像)을 분할하여 얻은 블록에 대한 복호 처리를 행하는 복호 장치로서,
    비트스트림을 복호함으로써, 상기 블록의 색성분마다의 변환 계수와, 상기 블록이 비제로의 변환 계수를 포함하는지 여부를 색성분마다 나타내는 제1 플래그와, 2 이상의 색성분의 예측 잔차를 이용한 처리에 의해 새로운 색성분마다의 예측 잔차를 생성하는 예측 잔차 변환 처리를 상기 블록에 적용하였는지 여부를 나타내는 제2 플래그를 출력하는 엔트로피 복호부와,
    색성분마다 상기 변환 계수로부터 상기 예측 잔차를 복원하는 역양자화·역변환부와,
    상기 예측 잔차 변환 처리가 상기 블록에 적용되어 있는 것을 상기 제2 플래그가 나타내는 경우, 상기 예측 잔차에 대하여 예측 잔차 변환 처리를 행하는 예측 잔차 변환 처리부와,
    색차 성분의 상기 예측 잔차를, 상기 색차 성분에 대응하는 휘도 성분에 기초하여 스케일링하는 색차 잔차 스케일링을 행하는 스케일링부
    를 포함하고,
    상기 스케일링부는, 상기 색차 성분의 상기 제1 플래그와, 상기 제2 플래그에 기초하여, 상기 색차 잔차 스케일링을 행하는지 여부를 결정하는 것을 특징으로 하는 복호 장치.
  2. 컴퓨터를 제1항에 기재된 복호 장치로서 기능시키는 것을 특징으로 하는 매체에 저장된 프로그램.
  3. 복수의 색성분에 의해 구성되는 원화상을 분할하여 얻은 블록에 대한 복호 처리를 행하는 복호 방법으로서,
    비트스트림을 복호함으로써, 상기 블록의 색성분마다의 변환 계수와, 상기 블록이 비제로의 변환 계수를 포함하는지 여부를 색성분마다 나타내는 제1 플래그와, 2 이상의 색성분의 예측 잔차를 이용한 처리에 의해 새로운 색성분마다의 예측 잔차를 생성하는 예측 잔차 변환 처리를 상기 블록에 적용하였는지 여부를 나타내는 제2 플래그를 출력하는 단계와,
    상기 예측 잔차 변환 처리가 상기 블록에 적용되어 있는 것을 상기 제2 플래그가 나타내는 경우, 상기 변환 계수로부터 복원된 상기 예측 잔차에 대하여 예측 잔차 변환 처리를 행하는 단계와,
    색차 성분의 상기 제1 플래그와, 상기 제2 플래그에 기초하여, 상기 색차 성분의 상기 예측 잔차를, 상기 색차 성분에 대응하는 휘도 성분에 기초하여 스케일링하는 색차 잔차 스케일링을 행하는지 여부를 결정하는 단계
    를 포함하는 것을 특징으로 하는 복호 방법.
KR1020237006612A 2020-12-17 2021-06-21 복호 장치, 프로그램, 및 복호 방법 KR20230034427A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020209556 2020-12-17
JPJP-P-2020-209556 2020-12-17
KR1020227009651A KR102505364B1 (ko) 2020-12-17 2021-06-21 복호 장치, 프로그램, 및 복호 방법
PCT/JP2021/023481 WO2022130663A1 (ja) 2020-12-17 2021-06-21 復号装置、プログラム、及び復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227009651A Division KR102505364B1 (ko) 2020-12-17 2021-06-21 복호 장치, 프로그램, 및 복호 방법

Publications (1)

Publication Number Publication Date
KR20230034427A true KR20230034427A (ko) 2023-03-09

Family

ID=82059376

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237006612A KR20230034427A (ko) 2020-12-17 2021-06-21 복호 장치, 프로그램, 및 복호 방법
KR1020227009651A KR102505364B1 (ko) 2020-12-17 2021-06-21 복호 장치, 프로그램, 및 복호 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227009651A KR102505364B1 (ko) 2020-12-17 2021-06-21 복호 장치, 프로그램, 및 복호 방법

Country Status (5)

Country Link
US (2) US11677965B2 (ko)
JP (3) JP7391932B2 (ko)
KR (2) KR20230034427A (ko)
MX (1) MX2022003464A (ko)
WO (1) WO2022130663A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240019638A (ko) * 2022-08-04 2024-02-14 삼성전자주식회사 크로마 성분 예측을 수행하는 ai에 기반한 비디오 복호화 장치 및 방법, 및 비디오 부호화 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106256125B (zh) * 2014-05-05 2019-11-19 联发科技（新加坡）私人有限公司 确定残余转换树表达的方法及装置
EP4064701A1 (en) * 2017-06-29 2022-09-28 Dolby Laboratories Licensing Corporation Integrated image reshaping and video decoding
CN113545064B (zh) * 2019-03-04 2024-05-10 阿里巴巴集团控股有限公司 用于处理视频内容的方法和装置及计算机可读存储介质
US20200288159A1 (en) * 2019-03-08 2020-09-10 Qualcomm Incorporated Combined residual coding in video coding
WO2021061794A1 (en) * 2019-09-23 2021-04-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding in 4:4:4 chroma format
EP4158893A4 (en) 2020-06-12 2023-11-22 Beijing Dajia Internet Information Technology Co., Ltd. METHOD AND APPARATUS FOR VIDEO CODING IN A 4:4:4 COLOR FORMAT

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1 : JVET-R2001"Versatile Video Coding Draft 9"

Also Published As

Publication number Publication date
US11677965B2 (en) 2023-06-13
US20230269383A1 (en) 2023-08-24
KR102505364B1 (ko) 2023-02-28
JP7404497B2 (ja) 2023-12-25
JP2024019542A (ja) 2024-02-09
US20220217367A1 (en) 2022-07-07
US11936885B2 (en) 2024-03-19
JP7391932B2 (ja) 2023-12-05
MX2022003464A (es) 2022-10-21
JP2022096655A (ja) 2022-06-29
WO2022130663A1 (ja) 2022-06-23
KR20220088682A (ko) 2022-06-28
JP2023027401A (ja) 2023-03-01

Similar Documents

Publication Publication Date Title
KR102129352B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
US11575906B2 (en) Image coding device, image decoding device, image coding method, and image decoding method
WO2010001999A1 (ja) 動画像符号化／復号化方法及び装置
JP7142180B2 (ja) 符号化装置、復号装置、及びプログラム
JP2019022129A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
US11936885B2 (en) Decoding device, program, and decoding method
JP7219030B2 (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム
KR20140004018A (ko) 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치
JP7343702B2 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
JP7142187B2 (ja) 符号化装置、復号装置、及びプログラム
JP7388900B2 (ja) 符号化装置、復号装置、及びプログラム
WO2021054380A1 (ja) 符号化装置、復号装置、及びプログラム
KR20180041833A (ko) 화면 내 예측에 대한 참조 모드 리스트를 사용하는 비디오 코딩 방법 및 장치
KR20220163342A (ko) 부호화 장치, 복호 장치 및 프로그램
JP2023086397A (ja) イントラ予測装置、復号装置、及びプログラム
JP2021093634A (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent