KR102639970B1 - 화상 부호화 장치, 화상 복호 장치 및 프로그램 - Google Patents

화상 부호화 장치, 화상 복호 장치 및 프로그램 Download PDF

Info

Publication number
KR102639970B1
KR102639970B1 KR1020217029043A KR20217029043A KR102639970B1 KR 102639970 B1 KR102639970 B1 KR 102639970B1 KR 1020217029043 A KR1020217029043 A KR 1020217029043A KR 20217029043 A KR20217029043 A KR 20217029043A KR 102639970 B1 KR102639970 B1 KR 102639970B1
Authority
KR
South Korea
Prior art keywords
prediction
unit
block
pixel
target block
Prior art date
Application number
KR1020217029043A
Other languages
English (en)
Other versions
KR20210135250A (ko
Inventor
슌스케 이와무라
šœ스케 이와무라
아츠로 이치가야
심페이 네모토
Original Assignee
닛폰 호소 교카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛폰 호소 교카이 filed Critical 닛폰 호소 교카이
Priority to KR1020247005609A priority Critical patent/KR20240027865A/ko
Publication of KR20210135250A publication Critical patent/KR20210135250A/ko
Application granted granted Critical
Publication of KR102639970B1 publication Critical patent/KR102639970B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

화상 부호화 장치(1)는, 화상을 분할하여 얻은 부호화 대상 블록을 부호화하는 화상 부호화 장치로서, 상기 부호화 대상 블록을 인트라 예측에 의해 예측하여 예측 블록을 생성하는 인트라 예측부(172)와, 상기 부호화 대상 블록에 대한 상기 예측 블록의 오차를 나타내는 예측 잔차에 대하여 직교 변환 처리를 행하는 변환부(121)를 구비한다. 상기 인트라 예측부는, 상기 변환부에서의 상기 직교 변환 처리에 적용하는 변환의 종별에 기초하여, 상기 예측 블록 내의 예측 화소의 위치에 의존한 가중치 부여 합성 처리를 제어하는 가중치 제어부(172c)와, 상기 부호화 대상 블록에 인접하는 참조 화소와 상기 예측 화소에 대하여 상기 가중치 부여 합성 처리를 행하도록 하여 상기 예측 화소를 보정하는 보정부(172b)를 갖는다.

Description

화상 부호화 장치, 화상 복호 장치 및 프로그램
본 개시는, 화상 부호화 장치, 화상 복호 장치 및 프로그램에 관한 것이다.
화상 부호화 기술에 있어서, 프레임 내의 공간적인 상관을 이용한 인트라 예측이 널리 이용되고 있다. 인트라 예측에서는, 부호화 대상 블록에 인접하는 복호된 블록인 참조 블록 내의 화소(이하, 「참조 화소」라고 함)를 참조하여 상기 블록 내의 각 화소를 예측하여 예측 블록을 생성한다.
화상 부호화 장치는, 부호화 대상 블록에 대한 예측 블록의 오차를 나타내는 예측 잔차에 대하여 직교 변환 처리를 행하는 것에 의해 변환 계수를 생성하고, 변환 계수를 양자화 및 엔트로피 부호화하여 부호화 데이터를 출력한다.
최근, MPEG(Moving Picture Experts Group) 및 ITU(International Telecommunication Union)는, 차세대 영상 부호화 방식인 VVC(Versatile Video Coding)의 표준화 작업을 진행시키고 있다(예컨대 비특허문헌 1 참조).
VVC의 규격안에서는, 직교 변환 처리에 있어서 부호화 대상 블록마다 DCT(Discrete Cosine Transform)2, DST(Discrete Sine Transform)7, DCT8의 합계 3개의 종별의 직교 변환을 선택적으로 적용함으로써, 예측 잔차의 특성에 보다 적합한 변환을 행하는 것을 가능하게 하고 있다.
또한, VVC의 규격안에서는, 인트라 예측에 의해 생성되는 예측 블록을 보정하는 수법으로서, PDPC(Position Dependentintra Prediction Combination)라고 불리는 수법이 채용되고 있다.
PDPC에서는, 예측 블록 내의 예측 화소와 참조 블록 내의 참조 화소에 대하여, 예측 화소의 위치에 의존한 가중치 부여 합성 처리를 행하도록 하여 예측 화소를 보정한다. 이것에 의해, 예측 블록 내에서 참조 블록에 가까운 영역의 예측 정밀도가 향상되고, 예측 잔차 중 참조 블록에 가까운 영역의 에너지를 저감할 수 있다.
비특허문헌 1 : JVET-L1001 "Versatile Video Coding(Draft 3)"
제1 특징에 관한 화상 부호화 장치는, 화상을 분할하여 얻은 부호화 대상 블록을 부호화하는 장치이다. 상기 화상 부호화 장치는, 상기 부호화 대상 블록을 인트라 예측에 의해 예측하여 예측 블록을 생성하는 인트라 예측부와, 상기 부호화 대상 블록에 대한 상기 예측 블록의 오차를 나타내는 예측 잔차에 대한 변환 처리를 제어하는 변환 제어부와, 상기 변환 제어부의 제어에 기초하여, 상기 예측 잔차에 대한 변환 처리를 행하는 변환부와, 상기 변환 제어부에 의한 변환 처리의 제어 정보를 제어 플래그로서 엔트로피 부호화하는 엔트로피 부호화부를 구비한다. 상기 인트라 예측부는, 상기 제어 플래그에 기초하여, 상기 예측 블록 내의 예측 화소의 위치에 의존한 가중치 부여 합성 처리를 제어하는 합성 처리 제어부와, 상기 부호화 대상 블록에 인접하는 참조 화소와 상기 예측 화소에 대하여 상기 가중치 부여 합성 처리를 행하도록 하여 상기 예측 화소를 보정하는 보정부를 갖는다.
제2 특징에 관한 화상 복호 장치는, 화상을 분할 및 부호화하여 얻은 복호 대상 블록을 복호하는 장치이다. 상기 화상 복호 장치는, 부호화측에서 변환 처리의 제어 정보로서 엔트로피 부호화된 제어 플래그를 복호하는 엔트로피 복호부와, 상기 제어 플래그에 기초하여, 상기 복호 대상 블록에 대응하는 변환 계수에 대한 역변환 처리를 제어하는 역변환 제어부와, 상기 역변환 제어부의 제어에 기초하여, 상기 복호 대상 블록에 대응하는 변환 계수에 대한 역변환 처리를 행하는 역변환부와, 상기 복호 대상 블록을 인트라 예측에 의해 예측하여 예측 블록을 생성하는 인트라 예측부를 구비한다. 상기 인트라 예측부는, 상기 제어 플래그에 기초하여, 상기 예측 블록 내의 예측 화소의 위치에 의존한 가중치 부여 합성 처리를 제어하는 합성 처리 제어부와, 상기 복호 대상 블록에 인접하는 참조 화소와 상기 예측 화소에 대하여 상기 가중치 부여 합성 처리를 행하도록 하여 상기 예측 화소를 보정하는 보정부를 갖는다.
제3 특징에 관한 프로그램은, 컴퓨터를 제1 특징에 관한 화상 부호화 장치로서 기능시키는 것을 요지로 한다.
제4 특징에 관한 프로그램은, 컴퓨터를 제2 특징에 관한 화상 복호 장치로서 기능시키는 것을 요지로 한다.
도 1은 실시형태에 관한 화상 부호화 장치의 구성을 도시하는 도면이다.
도 2는 DCT2(DCT-II), DCT8(DCT-VIII), DST7(DST-VII)의 합계 3개의 변환 종별의 기저(Basis function)를 도시하는 도면이다.
도 3은 실시형태에 관한 변환 결정부가 출력하는 제어 플래그를 도시하는 도면이다.
도 4는 실시형태에 관한 인트라 예측부에서의 인트라 예측 모드를 도시하는 도면이다.
도 5는 실시형태에 관한 가중치 부여 합성 처리(PDPC)를 도시하는 도면이다.
도 6은 실시형태에 관한 화상 복호 장치의 구성을 도시하는 도면이다.
도 7은 실시형태에 관한 인트라 예측부의 동작 플로우예를 도시하는 도면이다.
DST7은, 임펄스 응답이 단조 증가가 되는 기저를 포함하는 변환이다. 이 때문에, 참조 블록에 가까운 영역의 에너지가 작고, 참조 블록에서 먼 영역의 에너지가 큰 예측 잔차에 대하여 DST7을 적용하여 직교 변환 처리를 행하는 경우, 변환 계수를 저역에 집중시키는 효과가 크다.
한편, DCT8은, 임펄스 응답이 단조 감소가 되는 기저를 포함하는 변환이다. 이 때문에, 참조 블록에 가까운 영역의 에너지가 크고, 참조 블록에서 먼 영역의 에너지가 작은 예측 잔차에 대하여 DCT8을 적용하여 직교 변환 처리를 행하는 경우, 변환 계수를 저역에 집중시키는 효과가 크다.
그러나, 직교 변환 처리에 있어서 DCT8을 적용하는 경우, PDPC에 의해 참조 블록에 가까운 영역의 에너지를 작게 하도록 보정하면, DCT8의 효과가 손상되고, 부호화 효율이 저하될 수 있다고 하는 문제가 있다.
따라서, 본 개시는 부호화 효율을 개선하는 것을 목적으로 한다.
도면을 참조하여, 실시형태에 관한 화상 부호화 장치 및 화상 복호 장치에 관해 설명한다. 실시형태에 관한 화상 부호화 장치 및 화상 복호 장치는, MPEG로 대표되는 동화상의 부호화 및 복호를 각각 행한다. 이하의 도면의 기재에서, 동일 또는 유사 부분에는 동일 또는 유사 부호를 붙였다.
<화상 부호화 장치의 구성>
우선, 본 실시형태에 관한 화상 부호화 장치에 관해 설명한다. 도 1은, 본 실시형태에 관한 화상 부호화 장치(1)의 구성을 도시하는 도면이다.
도 1에 도시하는 바와 같이, 화상 부호화 장치(1)는, 블록 분할부(100)와, 감산부(110)와, 변환·양자화부(120)와, 엔트로피 부호화부(130)와, 역양자화·역변환부(140)와, 합성부(150)와, 메모리(160)와, 예측부(170)와, 변환 결정부(180)를 갖는다. 본 실시형태에서, 변환 결정부(180)는 변환 제어부에 상당한다.
블록 분할부(100)는, 동화상을 구성하는 프레임(또는 픽쳐) 단위의 입력 화상인 원화상을 복수의 화상 블록으로 분할하고, 분할에 의해 얻은 화상 블록을 감산부(110)에 출력한다. 화상 블록의 사이즈는, 예컨대 32×32 화소, 16×16 화소, 8×8 화소 또는 4×4 화소 등이다. 화상 블록의 형상은 정방형에 한정되지 않고 장방형(직사각형)이어도 좋다.
화상 블록은, 화상 부호화 장치(1)가 부호화를 행하는 단위(부호화 대상 블록)이며, 또한 화상 복호 장치가 복호를 행하는 단위(복호 대상 블록)이다. 이러한 화상 블록은 CU(Coding Unit)라고 불리는 경우가 있다.
감산부(110)는, 블록 분할부(100)로부터 입력되는 부호화 대상 블록과, 부호화 대상 블록을 예측부(170)가 예측하여 얻은 예측 블록의 차분(오차)을 나타내는 예측 잔차를 산출한다. 구체적으로는, 감산부(110)는, 부호화 대상 블록의 각 화소치로부터 예측 블록의 각 화소치를 감산하는 것에 의해 예측 잔차를 산출하고, 산출한 예측 잔차를 변환·양자화부(120)에 출력한다.
변환·양자화부(120)는, 부호화 대상 블록 단위로 직교 변환 처리 및 양자화 처리를 행한다. 변환·양자화부(120)는, 변환부(121)와 양자화부(122)를 갖는다.
변환부(121)는, 감산부(110)로부터 입력되는 예측 잔차에 대하여 직교 변환 처리를 행하여 변환 계수를 산출하고, 산출한 변환 계수를 양자화부(122)에 출력한다. 직교 변환이란, 예컨대, 이산 코사인 변환(DCT : Discrete Cosine Transform)이나 이산 사인 변환(DST : Discrete Sine Transform), 카루넨 루베 변환(KLT : Karhunen-LoeveTransform) 등을 말한다.
직교 변환 처리는, 수평 방향으로 직교 변환을 행하는 수평 변환 처리와, 수직 방향으로 직교 변환을 행하는 수직 변환 처리를 포함한다.
변환 결정부(180)는, 수평 변환 처리 및 수직 변환 처리의 각각에 적용하는 변환의 종별을 결정하고, 결정한 변환 종별을 나타내는 제어 플래그를 변환부(121), 역변환부(142) 및 엔트로피 부호화부(130)에 출력한다.
변환부(121)는, 변환 결정부(180)로부터 부호화 대상 블록마다 입력되는 제어 플래그에 따라서 수평 변환 처리 및 수직 변환 처리를 행한다. 즉, 변환부(121)는, 복수종별의 직교 변환을 전환하여 적용한다.
본 실시형태에서, 변환 결정부(180)는, 수평 변환 처리 및 수직 변환 처리의 각각에 관해, DCT2, DCT8 및 DST7의 합계 3개의 종별의 직교 변환 중에서 하나의 변환 종별을 결정한다.
도 2는, DCT2(DCT-II), DCT8(DCT-VIII), DST7(DST-VII)의 합계 3개의 변환 종별의 기저(Basis function)를 도시하는 도면이다. 도 2에서, N은 부호화 대상 블록의 사이즈를 나타낸다.
DCT8은, 임펄스 응답이 단조 감소가 되는 기저를 포함하는 제1 종별의 변환에 상당한다. 구체적으로는, DCT8은, 가장 저역의 필터의 임펄스 응답 T0(j)이 단조 감소가 되는 변환이다(단, j=0, … , N-1). DCT8은, 변환 기저 파형의 일단이 큰 값을 갖고 개방된다. 이러한 기저의 특징을 갖는 변환은 「한쪽의 끝점이 개방된 변환」이라고 불리는 경우가 있다.
DST7은, 임펄스 응답이 단조 증가가 되는 기저를 포함하는 제2 종별의 직교 변환에 상당한다. 구체적으로는, DST7은, 가장 저역의 필터의 임펄스 응답 T0(j)이 단조 증가가 되는 변환이다(단, j=0, … , N-1). DST7은, 변환 기저 파형의 일단이 폐쇄되어 있다. 이러한 기저의 특징을 갖는 변환은 「한쪽의 끝점이 폐쇄된 변환」이라고 불리는 경우가 있다.
본 실시형태에서는, 예측 잔차에 적용하는 복수종별의 직교 변환으로서 DCT2, DCT8, DST7의 3개를 예를 들어 설명하지만, 복수의 변환 처리를 선택적으로 전환하여 적용하는 것이면 된다. 상기 복수의 변환 처리는, 전술한 바와 같은 변환 처리(예컨대, 단조 증가나 단조 감소의 특징을 갖는 기저를 포함하는 변환)를 포함한다. 그 때문에, 예측 잔차에 적용하는 복수종별의 직교 변환은, 이들 3개의 변환 종별에 한정되지 않는다. 예컨대, DCT1이나 DCT5 등의 다른 DCT·DST를 이용해도 좋고, HEVC나 VVC 규격안에서 채용되어 있는 변환 처리를 행하지 않는 변환 스킵을 이용해도 좋고, 이산 웨이블릿 변환 등의 변환을 이용해도 좋다.
도 3은, 본 실시형태에 관한 변환 결정부(180)가 출력하는 제어 플래그를 도시하는 도면이다.
도 3에 도시하는 바와 같이, 변환 결정부(180)는 MTS_CU_flag, MTS_Hor_flag 및 MTS_Ver_flag의 합계 3개의 제어 플래그를 출력한다.
변환 결정부(180)는, 수평 변환 처리 및 수직 변환 처리의 양쪽에 DCT2를 적용하는 경우 MTS_CU_flag=0으로 한다.
한편, 변환 결정부(180)는, 수평 변환 처리 및 수직 변환 처리의 적어도 어느 한쪽에 DCT8 혹은 DST7을 적용하는 경우가 있다. 이 경우, 변환 결정부(180)는, 수평 변환 처리 및 수직 변환 처리에 적용하는 변환 종별의 조합에 따라서 MTS_Hor_flag 및 MTS_Ver_flag을 설정한다.
이들 3개의 제어 플래그는, 후술하는 엔트로피 부호화부(130)에 의해 엔트로피 부호화 처리되어 스트림 출력된다. 단, MTS_CU_flag=0인 경우, MTS_Hor_flag 및 MTS_Ver_flag은 스트림 출력하지 않아도 좋다.
도 1로 되돌아가, 양자화부(122)는, 변환부(121)로부터 입력되는 변환 계수를 양자화 파라미터 및 양자화 행렬을 이용하여 양자화하고, 양자화한 변환 계수인 양자화 변환 계수를 엔트로피 부호화부(130) 및 역양자화·역변환부(140)에 출력한다.
엔트로피 부호화부(130)는, 양자화부(122)로부터 입력되는 양자화 변환 계수에 대하여 엔트로피 부호화를 행하고, 데이터 압축을 행하여 부호화 데이터(비트 스트림)를 생성하고, 부호화 데이터를 화상 부호화 장치(1)의 외부에 출력한다. 여기서, 엔트로피 부호화에는 허프만 부호나 CABAC(Context-based Adaptive Binary Arithmetic Coding; 컨텍스트 적응형 2치 산술 부호) 등을 이용할 수 있다.
또, 엔트로피 부호화부(130)는, 예측부(170)로부터 예측에 관한 신택스 등의 정보가 입력되고, 입력되는 정보의 엔트로피 부호화도 행한다. 또한, 엔트로피 부호화부(130)는, 전술한 제어 플래그의 엔트로피 부호화도 행한다.
역양자화·역변환부(140)는, 부호화 대상 블록 단위로 역양자화 처리 및 역직교 변환 처리를 행한다. 역양자화·역변환부(140)는, 역양자화부(141)와 역변환부(142)를 갖는다.
역양자화부(141)는, 양자화부(122)가 행하는 양자화 처리에 대응하는 역양자화 처리를 행한다. 구체적으로는, 역양자화부(141)는, 양자화부(122)로부터 입력되는 변환 계수를, 양자화 파라미터 및 양자화 행렬을 이용하여 역양자화하는 것에 의해 변환 계수를 복원하고, 복원한 변환 계수인 복원 변환 계수를 역변환부(142)에 출력한다.
역변환부(142)는, 변환부(121)가 행하는 직교 변환 처리에 대응하는 역직교 변환 처리를 행한다. 예컨대, 변환부(121)가 DCT를 행한 경우에는, 역변환부(142)는 역DCT을 행한다. 역변환부(142)는, 역양자화부(141)로부터 입력되는 복원 변환 계수에 대하여 역직교 변환 처리를 행하여 예측 잔차를 복원하고, 복원한 예측 잔차인 복원 예측 잔차를 합성부(150)에 출력한다.
합성부(150)는, 역변환부(142)로부터 입력되는 복원 예측 잔차를, 예측부(170)로부터 입력되는 예측 블록과 화소 단위로 합성한다. 합성부(150)는, 복원 예측 잔차의 각 화소치와 예측 블록의 각 화소치를 가산하여 부호화 대상 블록을 재구성(복호)하고, 복호한 블록 단위의 복호 화상을 메모리(160)에 출력한다. 이와 같은 복호 화상은, 재구성 화상(재구성 블록)이라고 불리는 경우가 있다.
메모리(160)는 합성부(150)로부터 입력되는 복호 화상을 기억한다. 메모리(160)는 복호 화상을 프레임 단위로 기억한다. 메모리(160)는 기억하고 있는 복호 화상을 예측부(170)에 출력한다. 또, 합성부(150)와 메모리(160) 사이에 루프 필터가 설치되어도 좋다.
예측부(170)는 부호화 대상 블록 단위로 예측을 행한다. 예측부(170)는, 인터 예측부(171)와, 인트라 예측부(172)와, 전환부(173)를 갖는다.
인터 예측부(171)는, 메모리(160)에 기억된 복호 화상을 참조 화상으로서 이용하여, 블록 매칭 등의 수법에 의해 모션 벡터를 산출한다. 또한, 인터 예측부(171)는, 부호화 대상 블록을 예측하여 인터 예측 블록을 생성하고, 생성한 인터 예측 블록을 전환부(173)에 출력한다.
인터 예측부(171)는, 복수의 참조 화상을 이용하는 인터 예측(전형적으로는 쌍방향 예측)이나, 하나의 참조 화상을 이용하는 인터 예측(편방향 예측) 중에서 최적의 인터 예측 방법을 선택하고, 선택한 인터 예측 방법을 이용하여 인터 예측을 행한다. 인터 예측부(171)는, 인터 예측에 관한 정보(모션 벡터 등)를 엔트로피 부호화부(130)에 출력한다.
인트라 예측부(172)는, 메모리(160)에 기억된 복호 화상 중, 부호화 대상 블록의 주변에 있는 복호된 참조 화소를 참조하여 인트라 예측 블록을 생성하고, 생성한 인트라 예측 블록을 전환부(173)에 출력한다. 또한, 인트라 예측부(172)는, 선택한 예측 모드에 관한 신택스를 엔트로피 부호화부(130)에 출력한다.
인트라 예측부(172)는, 복수의 예측 모드 중에서, 부호화 대상 블록에 적용하는 최적의 예측 모드를 선택하고, 선택한 예측 모드를 이용하여 부호화 대상 블록을 예측한다.
도 4는, 본 실시형태에 관한 인트라 예측부(172)에서의 인트라 예측 모드를 도시하는 도면이다. 도 4에 도시하는 바와 같이, 0부터 66까지의 67가지의 예측 모드가 있다. 예측 모드의 모드 「0」은 Planar 예측이며, 예측 모드의 모드 「1」은 DC 예측이며, 예측 모드의 모드 「2」 내지 「66」은 방향성 예측이다. 방향성 예측에 있어서, 화살표의 방향은 예측 방향을 나타내고, 화살표의 기점은 예측 대상의 화소의 위치를 나타내고, 화살표의 종점은 이 예측 대상의 화소의 예측에 이용하는 참조 화소의 위치를 나타낸다. 모드 「2」∼「33」은, 인트라 예측의 대상 블록의 좌측의 참조 화소를 주로 참조하는 예측 모드이다. 한편, 모드 「35」∼「66」은, 인트라 예측의 대상 블록의 상측의 참조 화소를 주로 참조하는 예측 모드이다.
전환부(173)는, 인터 예측부(171)로부터 입력되는 인터 예측 블록과 인트라 예측부(172)로부터 입력되는 인트라 예측 블록을 전환하여, 어느 하나의 예측 블록을 감산부(110) 및 합성부(150)에 출력한다.
본 실시형태에서, 인트라 예측부(172)는, 예측 화소 생성부(172a)와, 보정부(172b)와, 가중치 제어부(172c)를 갖는다. 가중치 제어부(172c)는 합성 처리 제어부에 상당한다.
예측 화소 생성부(172a)는, 전술한 인트라 예측 모드의 어느 하나를 이용하여, 부호화 대상 블록 내의 각 화소치를 인트라 예측에 의해 예측하고, 예측 화소로 이루어진 예측 블록을 생성하고, 생성한 예측 블록을 보정부(172b)에 출력한다.
보정부(172b)는, 예측 화소 생성부(172a)로부터 입력되는 예측 블록 내의 예측 화소와 부호화 대상 블록에 인접하는 참조 화소에 대하여, 예측 화소의 위치에 의존한 가중치 부여 합성 처리를 행함으로써 예측 화소를 보정한다. 보정부(172b)는, 보정후의 예측 화소로 이루어진 보정후의 예측 블록(인트라 예측 블록)을 전환부(173)에 출력한다.
본 실시형태에서, 보정부(172b)는, PDPC에 의해 예측 블록 내의 예측 화소를 보정한다. PDPC는 가중치 부여 합성 처리의 일례이다.
도 5는, 본 실시형태에 관한 PDPC를 도시하는 도면이다. 도 5에 도시하는 바와 같이, PDPC은, 생성한 예측 블록 내의 예측 화소 pred(x,y)에 대하여, 상측의 참조 화소(Rx,-1), 좌측의 참조 화소(R-1,y), 좌상측의 참조 화소(R-1,-1)를, 예측 화소의 좌표(x,y)에 따라서 특정한 비율로 가중치 부여하여 보정한다. 그리고, PDPC는 보정한 예측 화소 pred'(x,y)를 얻는다.
본 실시형태에서, 상측의 참조 화소(Rx,-1)는, 부호화 대상 블록에 수직 방향으로 인접하는 수직 참조 화소에 상당한다. 좌측의 참조 화소(R-1,y)는, 부호화 대상 블록에 수평 방향으로 인접하는 수평 참조 화소에 상당한다.
또, 일반적인 PDPC에서는, 참조 화소로부터 가까운 예측 화소에는 가중치를 크게 하고, 먼 예측 화소에는 가중치를 작게 하거나 또는 참조 화소의 가중치를 0(즉 예측 화소만)으로 한다.
보정부(172b)는, 예컨대 하기의 식(1)에 의해 예측 화소 pred(x,y)를 보정한다.
pred'(x,y)=(wL·R-1,y+wT·Rx,-1-wTL·R-1,-1+wP·pred(x,y)+32)>>6 … (1)
단, x=0, … , M-1이며, y=0, … , N-1이며, M은 블록폭(width), N은 블록 높이(height)이다.
또한, wL은 좌측의 참조 화소에 대한 가중치이며, wT는 상측의 참조 화소에 대한 가중치이며, wTL은 좌상측의 참조 화소에 대한 가중치이며, wP는 보정전의 예측 화소에 대한 가중치이다.
가중치 제어부(172c)는, 직교 변환 처리에 적용하는 변환의 종별에 기초하여, 보정부(172b)에서의 가중치 부여 합성 처리(본 실시형태에서는 PDPC)를 제어한다.
예컨대, 가중치 제어부(172c)는, 수평 변환 처리에 적용하는 변환의 종별에 기초하여, 좌측의 참조 화소(R-1,y)에 대한 가중치 wL을 제어한다. 또한, 가중치 제어부(172c)는, 수직 변환 처리에 적용하는 변환의 종별에 기초하여, 상측의 참조 화소(Rx,-1)에 대한 가중치 wT를 제어한다.
구체적으로는, 가중치 제어부(172c)는, 수평 변환 처리에 적용하는 변환의 종별이, 임펄스 응답 T0(j)이 단조 감소가 되는 기저를 포함하는 제1 종별(본 실시형태에서는 DCT8)인 경우(단, j=0, … , N-1)가 상정된다. 이 경우, 가중치 제어부(172c)는, 좌측의 참조 화소(R-1,y)에 대한 가중치 wL을 작게 한다. 또한, 가중치 제어부(172c)는, 수직 변환 처리에 적용하는 변환의 종별이 제1 종별인 경우, 상측의 참조 화소(Rx,-1)에 대한 가중치 wT를 작게 한다. 또, 「가중치를 작게 한다」는 것은 가중치를 제로로 하는 것이어도 좋다. 즉, 제어 플래그에 기초하여 가중치 부여 합성 처리를 제어하는 것은, 가중치 부여 합성 처리를 적어도 부분적으로 실행하지 않는 것을 포함한다.
한편, 가중치 제어부(172c)는, 수평 변환 처리에 적용하는 변환의 종별이, 임펄스 응답 T0(j)이 단조 증가가 되는 기저를 포함하는 제2 종별(본 실시형태에서는 DST7)인 경우(단, j=0, … , N-1), 좌측의 참조 화소(R-1,y)에 대한 가중치 wL을 크게 한다. 또한, 가중치 제어부(172c)는, 수직 변환 처리에 적용하는 변환의 종별이 제2 종별인 경우, 상측의 참조 화소(Rx,-1)에 대한 가중치 wT를 크게 한다.
여기서, 가중치 제어부(172c)의 동작의 구체예에 관해 설명한다. 가중치 제어부(172c)는, 전술한 가중치 wL, wT, wTL, wP을, 변환 결정부(180)에 의해 결정되는 변환 종별(제어 플래그)과, 예측 블록의 좌상측의 화소 위치를 기준으로 한 예측 화소의 상대적인 위치(x,y)에 따라서 결정한다.
첫째, 가중치 제어부(172c)는, 변환 결정부(180)에 의해 결정되는 변환 종별(제어 플래그)에 따라서, 하기의 식(2)에 의해 k(x)를 결정한다.
[수 1]
…(2)
단, a는 임의의 플러스 정수이며, 시스템에 의해 미리 결정한 고정치이어도 좋고, 엔트로피 부호화부(130)가 스트림 출력하는 가변치이어도 좋다.
둘째, 가중치 제어부(172c)는, 식(2)에 의해 결정한 k(x)에 따라서, 하기의 식(3)에 의해 가중치 wL, wT, wTL, wP을 결정한다.
[수 2]
…(3)
단, width 및 height은 부호화 대상 블록의 폭 및 높이를 각각 나타내고, x 및 y는 부호화 대상 블록의 좌상측 좌표로부터의 상대적인 화소 위치를 나타낸다.
식(3)에 도시하는 바와 같이, 수평 방향으로 DST7이 적용되는 경우, wL의 값이 커지고, 수평 방향으로 인접하는 참조 화소에 의한 보정의 영향을 강화한다. 이 때문에, 수평 방향의 블록 경계 부근의 예측 잔차의 에너지가 작아지고, DST7을 적용하는 것에 의한 엔트로피 저감의 효과가 커진다.
마찬가지로, 수직 방향으로 DST7이 적용되는 경우, wT의 값이 커지고, 수직 방향으로 인접하는 참조 화소에 의한 보정의 영향을 강화한다. 이 때문에, 수직 방향의 블록 경계 부근의 예측 잔차의 에너지가 작아지고, DST7을 적용하는 것에 의한 엔트로피 저감의 효과가 커진다.
한편, 수평 방향으로 DCT8이 적용되는 경우, wL의 값이 작아지고, 수평 방향으로 인접하는 참조 화소에 의한 보정의 영향을 약화한다. 이 때문에, PDPC를 DCT8과 병용했을 때의 엔트로피 증대를 억제할 수 있다.
마찬가지로, 수직 방향으로 DCT8이 적용되는 경우, wT의 값이 작아지고, 수직 방향으로 인접하는 참조 화소에 의한 보정의 영향을 약화한다. 이 때문에, PDPC를 DCT8과 병용했을 때의 엔트로피 증대를 억제할 수 있다.
<화상 복호 장치의 구성>
다음으로, 본 실시형태에 관한 화상 복호 장치에 관해 설명한다. 도 6은, 본 실시형태에 관한 화상 복호 장치(2)의 구성을 도시하는 도면이다.
도 6에 도시하는 바와 같이, 화상 복호 장치(2)는, 엔트로피 복호부(200)와, 역양자화·역변환부(210)와, 합성부(220)와, 메모리(230)와, 예측부(240)를 갖는다.
엔트로피 복호부(200)는, 화상 부호화 장치(1)에 의해 생성된 부호화 데이터를 복호하고, 양자화 변환 계수를 역양자화·역변환부(210)에 출력한다. 또한, 엔트로피 복호부(200)는, 예측(인트라 예측 및 인터 예측)에 관한 신택스를 취득하고, 취득한 신택스를 예측부(240)에 출력한다.
또한, 엔트로피 복호부(200)는, 전술한 제어 플래그를 취득하고, 취득한 제어 플래그를 역변환부(212) 및 가중치 제어부(242c)에 출력한다. 즉, 엔트로피 복호부(200)는, 부호화측에서 변환 처리의 제어 정보로서 엔트로피 부호화된 제어 플래그를 복호한다.
역양자화·역변환부(210)는, 복호 대상 블록 단위로 역양자화 처리 및 역직교 변환 처리를 행한다. 역양자화·역변환부(210)는, 역양자화부(211)와 역변환부(212)를 갖는다.
역양자화부(211)는, 화상 부호화 장치(1)의 양자화부(122)가 행하는 양자화 처리에 대응하는 역양자화 처리를 행한다. 역양자화부(211)는, 엔트로피 복호부(200)로부터 입력되는 양자화 변환 계수를 양자화 파라미터 및 양자화 행렬을 이용하여 역양자화하는 것에 의해 복호 대상 블록의 변환 계수를 복원하고, 복원한 변환 계수인 복원 변환 계수를 역변환부(212)에 출력한다.
역변환부(212)는, 엔트로피 복호부(200)로부터 입력되는 제어 플래그에 기초하여, 화상 부호화 장치(1)의 변환부(121)가 행하는 직교 변환 처리에 대응하는 역직교 변환 처리를 행한다. 구체적으로는, 역변환부(212)는, 수평 방향의 역직교 변환 처리인 수평 변환 처리와, 수직 방향의 역직교 변환 처리인 수직 변환 처리를 행한다. 역변환부(212)는, 제어 플래그에 기초하여, 복호 대상 블록에 대응하는 변환 계수에 대한 역변환 처리를 제어하는 역변환 제어부로서도 기능한다.
역변환부(212)는, 역양자화부(211)로부터 입력되는 복원 변환 계수에 대하여 역직교 변환 처리를 행하여 예측 잔차를 복원하고, 복원한 예측 잔차인 복원 예측 잔차를 합성부(220)에 출력한다.
합성부(220)는, 역변환부(212)로부터 입력되는 복원 예측 잔차와, 예측부(240)로부터 입력되는 예측 블록을 화소 단위로 합성하는 것에 의해, 원래의 블록을 재구성(복호)하고, 블록 단위의 복호 화상(재구성 블록)을 메모리(230)에 출력한다.
메모리(230)는 합성부(220)로부터 입력되는 복호 화상을 기억한다. 메모리(230)는 복호 화상을 프레임 단위로 기억한다. 메모리(230)는, 프레임 단위의 복호 화상을 화상 복호 장치(2)의 외부에 출력한다. 또, 합성부(220)와 메모리(230) 사이에 루프 필터가 설치되어도 좋다.
예측부(240)는 복호 대상 블록 단위로 예측을 행한다. 예측부(240)는, 인터 예측부(241)와, 인트라 예측부(242)와, 전환부(243)를 갖는다.
인터 예측부(241)는, 메모리(230)에 기억된 복호 화상을 참조 화상으로서 이용하여, 복호 대상 블록을 인터 예측에 의해 예측한다. 인터 예측부(241)는, 엔트로피 복호부(200)로부터 입력되는 신택스 및 모션 벡터 등에 따라서 인터 예측을 행하는 것에 의해 인터 예측 블록을 생성하고, 생성한 인터 예측 블록을 전환부(243)에 출력한다.
인트라 예측부(242)는, 메모리(230)에 기억된 복호 화상을 참조하고, 엔트로피 복호부(200)로부터 입력되는 신택스에 기초하여, 복호 대상 블록을 인트라 예측에 의해 예측한다. 이것에 의해, 인트라 예측부(242)는, 인트라 예측 블록을 생성하고, 생성한 인트라 예측 블록을 전환부(243)에 출력한다.
전환부(243)는, 인터 예측부(241)로부터 입력되는 인터 예측 블록과 인트라 예측부(242)로부터 입력되는 인트라 예측 블록을 전환하여, 어느 하나의 예측 블록을 합성부(220)에 출력한다.
본 실시형태에서, 인트라 예측부(242)는, 예측 화소 생성부(242a)와, 보정부(242b)와, 가중치 제어부(242c)를 갖는다. 예측 화소 생성부(242a), 보정부(242b) 및 가중치 제어부(242c)는, 화상 부호화 장치(1)의 예측 화소 생성부(172a), 보정부(172b) 및 가중치 제어부(172c)와 동일하게 동작한다.
구체적으로는, 예측 화소 생성부(242a)는, 엔트로피 복호부(200)로부터 입력되는 신택스가 나타내는 인트라 예측 모드에 의해, 복호 대상 블록 내의 각 화소치를 인트라 예측에 의해 예측한다. 그리고, 예측 화소 생성부(242a)는, 예측 화소로 이루어진 예측 블록을 생성하고, 생성한 예측 블록을 보정부(242b)에 출력한다.
보정부(242b)는, 예측 화소 생성부(242a)로부터 입력되는 예측 블록 내의 예측 화소와 복호 대상 블록에 인접하는 참조 화소에 대하여, 예측 화소의 위치에 의존한 가중치 부여 합성 처리를 행함으로써 예측 화소를 보정한다. 보정부(242b)는, 보정후의 예측 화소로 이루어진 보정후의 예측 블록(인트라 예측 블록)을 전환부(173)에 출력한다. 본 실시형태에서, 보정부(242b)는, 전술한 식(1)에 나타내는 PDPC에 의해 예측 블록 내의 예측 화소를 보정한다.
가중치 제어부(242c)는, 직교 변환 처리에 적용하는 변환의 종별에 기초하여, 보정부(242b)에서의 가중치 부여 합성 처리(본 실시형태에서는 PDPC)를 제어한다.
예컨대, 가중치 제어부(242c)는, 수평 변환 처리에 적용하는 변환의 종별에 기초하여, 좌측의 참조 화소(R-1,y)에 대한 가중치 wL을 제어한다. 또한, 가중치 제어부(242c)는, 수직 변환 처리에 적용하는 변환의 종별에 기초하여, 상측의 참조 화소(Rx,-1)에 대한 가중치 wT를 제어한다. 가중치 제어부(242c)의 구체적인 동작에 관해서는, 전술한 화상 부호화 장치(1)의 가중치 제어부(172c)의 동작과 동일하다.
<인트라 예측의 동작 플로우>
다음으로, 본 실시형태에 관한 인트라 예측의 동작 플로우예에 관해 설명한다. 화상 부호화 장치(1) 및 화상 복호 장치(2)에서 인트라 예측의 동작은 동일하지만, 여기서는 화상 부호화 장치(1)에서의 인트라 예측(인트라 예측부(172))의 동작을 예를 들어 설명한다. 도 7은, 본 실시형태에 관한 인트라 예측부(172)의 동작 플로우예를 도시하는 도면이다.
도 7에 도시하는 바와 같이, 단계 S1에서, 예측 화소 생성부(172a)는 전술한 인트라 예측 모드의 어느 하나를 이용하여, 부호화 대상 블록 내의 각 화소치를 인트라 예측에 의해 예측한다. 그리고, 예측 화소 생성부(172a)는, 예측 화소로 이루어진 예측 블록을 생성하고, 생성한 예측 블록을 보정부(172b)에 출력한다.
단계 S2에서, 가중치 제어부(172c)는, 직교 변환 처리에 적용하는 변환의 종별(제어 플래그)과, 예측 블록의 좌상측의 화소 위치를 기준으로 한 예측 화소의 상대적인 위치(x,y)에 따라서, 보정부(172b)에서의 가중치 부여 합성 처리(본 실시형태에서는 PDPC)에 이용하는 가중치 wL, wT, wTL, wP을, 전술한 식(2) 및 식(3)에 의해 결정한다. 또, 단계 S1 및 단계 S2의 순서는 반대이어도 좋다.
단계 S3에서, 보정부(172b)는, 가중치 제어부(172c)가 결정한 가중치 wL, wT, wTL, wP을 이용하여, 전술한 식(1)에 의해, 예측 화소 pred(x,y)를 가중치 부여 합성 처리에 의해 보정하고, 보정한 예측 화소 pred'(x,y)를 얻는다.
이와 같이, 본 실시형태에 관한 화상 부호화 장치(1)에서, 인트라 예측부(172)는, 직교 변환 처리에 적용하는 변환의 종별에 기초하여, 보정부(172b)에서의 가중치 부여 합성 처리를 제어하는 가중치 제어부(172c)를 갖는다.
또한, 본 실시형태에 관한 화상 복호 장치(2)에서, 인트라 예측부(242)는, 역직교 변환 처리에 적용하는 변환의 종별에 기초하여, 보정부(242b)에서의 가중치 부여 합성 처리를 제어하는 가중치 제어부(242c)를 갖는다.
따라서, 변환의 종별을 고려하여, 인트라 예측에 의해 예측되는 예측 블록을 적절하게 보정할 수 있기 때문에, 부호화 효율을 개선할 수 있다.
<가중치 제어부의 동작의 변경예 1>
다음으로, 가중치 제어부(172c 및 242c)의 동작의 변경예 1에 관해 설명한다. 가중치 제어부(172c 및 242c)의 동작은 동일하기 때문에, 여기서는 가중치 제어부(172c)의 동작을 예를 들어 설명한다.
본 변경예에서, 가중치 제어부(172c)는, 수평 방향 및 수직 방향으로 DST7을 적용하는 경우(즉, MTS_Hor_flag 및 MTS_Ver_flag이 모두 0인 경우), 가중치 wL, wT, wTL, wP을 하기의 식(4)에 의해 결정한다.
[수 3]
…(4)
단, width 및 height은 부호화 대상 블록의 폭 및 높이를 각각 나타내고, x 및 y는 부호화 대상 블록의 좌상측 좌표로부터의 상대적인 화소 위치를 나타낸다.
가중치 제어부(172c)는, 수평 방향으로 DST7, 수직 방향으로 DCT8을 적용하는 경우(즉, MTS_Hor_flag=1, MTS_Ver_flag=0의 경우), 가중치 wL, wT, wTL, wP을 하기의 식(5)에 의해 결정한다.
[수 4]
…(5)
가중치 제어부(172c)는, 수평 방향으로 DCT8, 수직 방향으로 DST7을 적용하는 경우(즉, MTS_Hor_flag=0, MTS_Ver_flag=1), 가중치 wL, wT, wTL, wP을 하기의 식(6)에 의해 결정한다.
[수 5]
…(6)
가중치 제어부(172c)는, 수평 방향 및 수직 방향으로 DCT8을 적용하는 경우(즉, MTS_Hor_flag=1 및 MTS_Ver_flag=1이 모두 1인 경우), 가중치 wL, wT, wTL, wP을 하기의 식(7)에 의해 결정한다. 이것에 의해, 가중치 제어부(172c)는 보정을 행하지 않도록 한다.
[수 6]
…(7)
<가중치 제어부의 동작의 변경예 2>
다음으로, 가중치 제어부(172c 및 242c)의 동작의 변경예 2에 관해 설명한다. 가중치 제어부(172c 및 242c)의 동작은 동일하기 때문에, 여기서는 가중치 제어부(172c)의 동작을 예를 들어 설명한다.
본 변경예에서, 가중치 제어부(172c)는, 직교 변환 처리에 적용하는 변환의 종별과, 부호화 대상 블록의 사이즈에 기초하여 가중치 부여 합성 처리(PDPC)를 제어한다.
블록 사이즈가 큰 경우, 가중치 부여 합성 처리(PDPC)에 의한 예측 잔차의 에너지 분포에 미치는 영향은 크지 않고, DCT8을 적용하는 경우에도 PDPC에 의한 엔트로피 증대의 문제는 생기기 어렵다.
이 때문에, 직교 변환 처리에 적용하는 변환의 종별에 따른 가중치의 제어를, 블록 사이즈가 임계값 미만인 경우에 한해 행하는 것으로 해도 좋다. 예컨대, 가중치 제어부(172c)는, 전술한 식(1)을 변형한 하기의 식(8)을 이용한다.
[수 7]
…(8)
단, width 및 height은 부호화 대상 블록의 폭 및 높이를 각각 나타내고, Tr은 임계값을 나타낸다.
<그 밖의 실시형태>
전술한 실시형태 및 그 변경예에서, 수평 및 수직으로 직교 변환을 적용하는 일례에 관해 설명했다. 그러나, 수평 혹은 수직의 한쪽에만 직교 변환을 적용하는 경우에도, 상기 한쪽에 적용하는 직교 변환이 전술한 바와 같은 단조 증가나 단조 감소의 특징을 갖는 기저를 포함하는 변환이라면 적용 가능하다.
또한, 전술한 실시형태 및 그 변경예에서, 인트라 예측시에 참조하는 복호 대상 블록(참조 블록)의 위치가 부호화 대상 블록의 상측 및 좌측인 일례에 관해 설명했다. 그러나, 인트라 예측시에 참조하는 복호 대상 블록의 위치는, 부호화 대상 블록의 상측에 한정되지 않고, 부호화 대상 블록의 하측이어도 좋다. 또한, 인트라 예측시에 참조하는 복호 대상 블록의 위치는, 부호화 대상 블록의 좌측에 한정되지 않고, 부호화 대상 블록의 우측이어도 좋다.
화상 부호화 장치(1)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램이 제공되어도 좋다. 화상 복호 장치(2)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램이 제공되어도 좋다. 프로그램은, 컴퓨터 판독 가능 매체에 기록되어 있어도 좋다. 컴퓨터 판독 가능 매체를 이용하면, 컴퓨터에 프로그램을 인스톨하는 것이 가능하다. 여기서, 프로그램이 기록된 컴퓨터 판독 가능 매체는 비일과성의 기록 매체이어도 좋다. 비일과성의 기록 매체는, 특별히 한정되는 것은 아니지만, 예컨대, CD-ROM이나 DVD-ROM 등의 기록 매체이어도 좋다.
화상 부호화 장치(1)가 행하는 각 처리를 실행하는 회로를 집적화하고, 화상 부호화 장치(1)를 반도체 집적 회로(칩세트, SoC)에 의해 구성해도 좋다. 화상 복호 장치(2)가 행하는 각 처리를 실행하는 회로를 집적화하고, 화상 복호 장치(2)를 반도체 집적 회로(칩세트, SoC)에 의해 구성해도 좋다.
이상, 도면을 참조하여 실시형태에 관해 자세히 설명했지만, 구체적인 구성은 전술한 것에 한정되지는 않고, 요지를 일탈하지 않는 범위 내에서 여러가지 설계 변경 등을 하는 것이 가능하다.
본원은, 일본특허출원 제2019-043965호(2019년 3월 11일 출원)의 우선권을 주장하고 그 내용 전부가 본원 명세서에 삽입되어 있다.

Claims (14)

  1. 화상을 분할 및 부호화하여 얻은 복호 대상 블록을 복호하는 화상 복호 장치로서,
    부호화측에서 복수의 변환 처리 중에서 선택된 변환 처리를 나타내는 제어 정보로서 엔트로피 부호화된 제어 플래그를 복호하는 엔트로피 복호부와,
    상기 제어 플래그에 기초하여, 상기 복호 대상 블록에 대응하는 변환 계수에 대한 역변환 처리를 제어하는 역변환 제어부와,
    상기 역변환 제어부의 제어에 기초하여, 상기 복호 대상 블록에 대응하는 변환 계수에 대한 역변환 처리를 행하는 역변환부와,
    상기 복호 대상 블록을 인트라 예측에 의해 예측하여 예측 블록을 생성하는 인트라 예측부
    를 구비하고,
    상기 인트라 예측부는,
    상기 제어 플래그에 기초하여, 상기 예측 블록 내의 예측 화소의 위치에 의존한 가중치 부여 합성 처리를 제어하는 합성 처리 제어부와,
    상기 복호 대상 블록에 인접하는 참조 화소와 상기 예측 화소에 대하여 상기 가중치 부여 합성 처리를 행하도록 하여 상기 예측 화소를 보정하는 보정부
    를 가지며,
    상기 가중치 부여 합성 처리는, 상기 예측 블록 내의 예측 화소에 대하여, 상기 예측 블록의 상측의 참조 화소, 좌측의 참조 화소, 좌상의 참조 화소를, 해당 예측 화소의 좌표에 따라 특정 비율로 가중치 부여에 의해 보정하는 처리이며,
    상기 합성 처리 제어부는, 상기 역변환 처리에 적용하는 변환의 종별(種別)이, 임펄스 응답이 단조 증가가 되는 기저(基底)를 포함하는 종별인 경우, 상기 역변환 처리에 적용하는 변환의 종별이 상기 임펄스 응답이 단조 증가가 되는 기저를 포함하는 종별이 아닌 경우에 비해, 상기 복호 대상 블록에 인접하는 참조 화소에 대한 가중치를 크게 하는 것을 특징으로 하는 화상 복호 장치.
  2. 컴퓨터를 제1항에 기재된 화상 복호 장치로서 기능시키는 것을 특징으로 하는, 매체에 저장된 프로그램.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020217029043A 2019-03-11 2020-03-10 화상 부호화 장치, 화상 복호 장치 및 프로그램 KR102639970B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247005609A KR20240027865A (ko) 2019-03-11 2020-03-10 화상 부호화 장치, 화상 복호 장치 및 프로그램

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-043965 2019-03-11
JP2019043965 2019-03-11
PCT/JP2020/010326 WO2020184566A1 (ja) 2019-03-11 2020-03-10 画像符号化装置、画像復号装置、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247005609A Division KR20240027865A (ko) 2019-03-11 2020-03-10 화상 부호화 장치, 화상 복호 장치 및 프로그램

Publications (2)

Publication Number Publication Date
KR20210135250A KR20210135250A (ko) 2021-11-12
KR102639970B1 true KR102639970B1 (ko) 2024-02-22

Family

ID=72426698

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247005609A KR20240027865A (ko) 2019-03-11 2020-03-10 화상 부호화 장치, 화상 복호 장치 및 프로그램
KR1020217029043A KR102639970B1 (ko) 2019-03-11 2020-03-10 화상 부호화 장치, 화상 복호 장치 및 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020247005609A KR20240027865A (ko) 2019-03-11 2020-03-10 화상 부호화 장치, 화상 복호 장치 및 프로그램

Country Status (6)

Country Link
US (2) US11849145B2 (ko)
EP (1) EP3941044A4 (ko)
JP (2) JP7100194B2 (ko)
KR (2) KR20240027865A (ko)
CN (2) CN113557719B (ko)
WO (1) WO2020184566A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018231488A1 (en) 2017-06-15 2018-12-20 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK1534313T3 (da) 2002-07-30 2013-02-04 Omeros Corp Oftalmologiske irrigationsopløsninger og fremgangsmåde
JP4825227B2 (ja) * 2008-02-04 2011-11-30 日本放送協会 画像復号装置及び画像処理プログラム
US9609349B2 (en) * 2010-12-14 2017-03-28 M & K Holdings Inc. Apparatus for decoding a moving picture
CN106851295B (zh) * 2011-07-11 2019-10-18 太阳专利托管公司 编码方法及编码装置
CA2997097C (en) * 2015-08-28 2022-06-07 Kt Corporation Method and device for processing video signal
US10567759B2 (en) 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
EP3627836A4 (en) * 2017-06-21 2021-04-07 LG Electronics Inc. METHOD AND DEVICE FOR DECODING IMAGES ACCORDING TO INTRAPREDICTION IN AN IMAGE ENCODING SYSTEM
WO2019182292A1 (ko) * 2018-03-19 2019-09-26 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3871410A4 (en) * 2018-11-29 2021-12-22 Beijing Bytedance Network Technology Co., Ltd. INTERACTION BETWEEN AN INTRABLOCK COPY MODE AND INTERPRETATION TOOLS
US11057622B2 (en) * 2018-12-13 2021-07-06 Qualcomm Incorporated Position dependent intra prediction combination with non-square block diagonals
KR102597461B1 (ko) * 2019-01-28 2023-11-03 애플 인크. 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11144822B1 (en) * 2021-01-04 2021-10-12 Edgecortix Pte. Ltd. Neural network accelerator run-time reconfigurability

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018231488A1 (en) 2017-06-15 2018-12-20 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding

Also Published As

Publication number Publication date
CN113557719A (zh) 2021-10-26
US20210409764A1 (en) 2021-12-30
CN116939199A (zh) 2023-10-24
KR20240027865A (ko) 2024-03-04
JP7100194B2 (ja) 2022-07-12
EP3941044A4 (en) 2022-12-14
KR20210135250A (ko) 2021-11-12
EP3941044A1 (en) 2022-01-19
US20240080476A1 (en) 2024-03-07
JPWO2020184566A1 (ko) 2020-09-17
WO2020184566A1 (ja) 2020-09-17
JP7229413B2 (ja) 2023-02-27
CN113557719B (zh) 2023-09-12
JP2022121615A (ja) 2022-08-19
US11849145B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
RU2562762C2 (ru) Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений
KR20110047697A (ko) 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
JP2007013298A (ja) 画像符号化装置
JP2022000953A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2023168518A (ja) 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
JP2024053019A (ja) 符号化装置、復号装置、及びプログラム
JP7415067B2 (ja) イントラ予測装置、画像復号装置、及びプログラム
JP2023138826A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
KR102639970B1 (ko) 화상 부호화 장치, 화상 복호 장치 및 프로그램
JP7080424B2 (ja) デブロッキングフィルタ制御装置及びプログラム
JP2020137119A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
KR102550503B1 (ko) 부호화 장치, 복호 장치, 및 프로그램
JP7444599B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7361498B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7449690B2 (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
CN114982232A (zh) 编码装置、解码装置和程序

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant