KR20220138876A - 인트라 예측 장치, 화상 복호 장치, 및 프로그램 - Google Patents

인트라 예측 장치, 화상 복호 장치, 및 프로그램 Download PDF

Info

Publication number
KR20220138876A
KR20220138876A KR1020227034512A KR20227034512A KR20220138876A KR 20220138876 A KR20220138876 A KR 20220138876A KR 1020227034512 A KR1020227034512 A KR 1020227034512A KR 20227034512 A KR20227034512 A KR 20227034512A KR 20220138876 A KR20220138876 A KR 20220138876A
Authority
KR
South Korea
Prior art keywords
mode
intra prediction
block
unit
conversion
Prior art date
Application number
KR1020227034512A
Other languages
English (en)
Inventor
슌스케 이와무라
šœ스케 이와무라
아츠로 이치가야
심페이 네모토
Original Assignee
닛폰 호소 교카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛폰 호소 교카이 filed Critical 닛폰 호소 교카이
Publication of KR20220138876A publication Critical patent/KR20220138876A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

휘도 블록 및 색차 블록에 대하여 인트라 예측을 행하는 인트라 예측 장치는, 색차 블록에 적용할 인트라 예측 모드의 후보 중 하나로서, 색차 블록에 대응하는 휘도 블록에 적용한 인트라 예측 모드의 모드 번호를 특정하는 색차 후보 특정부와, 색차 신호의 수평 방향 해상도가 휘도 신호에 비해 낮고, 또한 색차 신호의 수직 방향 해상도가 휘도 신호와 동일한 색차 포맷이 적용되는 경우, 변환 테이블을 이용하여, 색차 후보 특정부에 의해 특정된 변환 전의 모드 번호를 변환하고 변환 후의 모드 번호를 출력하는 색차 예측 모드 변환부를 구비한다. 변환 테이블은, 방향성 예측에 대해서, 변환 전의 모드 번호 중 모드 번호가 작은 순으로 일정수의 모드 번호를, 변환 후의 모드 번호 중 모드 번호가 큰 순으로 일정수의 모드 번호와 대응시킨다.

Description

인트라 예측 장치, 화상 복호 장치, 및 프로그램{INTRA PREDICTION DEVICE, IMAGE DECODING DEVICE, AND PROGRAM}
본 개시는, 인트라 예측 장치, 화상 복호 장치, 및 프로그램에 관한 것이다.
정지화상이나 동화상의 전송시나 보존시의 데이터량을 압축하기 위해 영상 부호화 방식에 있어서는, 프레임 내의 공간적인 상관관계를 이용하여, 부호화 대상 블록 주변의 복호 완료 참조 화소를 참조하는 인트라 예측이 이용되고 있다. 인트라 예측의 모드에는, 예컨대 Planar 예측, DC 예측, 및 방향성 예측이 있다.
종래의 영상 부호화 방식 중 하나인 HEVC(Hight Efficiency Video Coding)에서는, 화상을 정방형의 부호화 대상 블록으로 분할하여, 블록 단위로 부호화 및 복호를 행하고 있다.
HEVC의 방향성 예측에서는, 수직 방향을 기준으로 하여, 시계 방향을 정(正), 반시계 방향을 부(負)로 했을 때, -135°에서 45°까지 사이에 있어서 복수의 예측 방향이 정의되어 있고, -135°에서 +45°를 향해 예측 방향마다 모드 번호가 올림차순으로 할당되어 있다.
HEVC에서는, 색차 블록의 인트라 예측시에, 이 색차 블록에 대응하는 휘도 블록의 인트라 예측에 이용된 인트라 예측 모드인 DM(Derived Mode)을 포함하는 복수의 후보 모드 중에서, 색차 블록의 인트라 예측에 이용하는 인트라 예측 모드를 결정하고 있다.
또한, HEVC는 색차 포맷으로서 4:2:2를 적용 가능하고, 이 색차 포맷은 색차 신호의 수평 방향 해상도가 휘도 신호와 비교하여 절반이 되기 때문에, 휘도 블록이 정방형인 데 반해, 색차 블록은 세로로 긴 블록 형상이 된다.
이 때문에, 4:2:2의 색차 포맷을 적용한 경우, 색차 블록의 형상에 맞게 DM을 변환하는 DM 변환 처리가 적용되고 있다. 구체적으로는, 표 1에 나타낸 바와 같이, 변환 전의 모드 번호(modeIdx)를 변환 후의 모드 번호(IntraPredModeC)와 대응시키는 변환 테이블을 이용하여 DM을 변환한다. 또한, HEVC에서는, 모드 번호 「2」에서 「34」까지가 방향성 예측이다.
Figure pat00001
한편, 차세대의 영상 부호화 방식인 VVC(Versatile Video Coding)에서는, 방향성 예측은, 모드 번호 「2」에서 「66」까지의 65가지의 방향성 예측이 도입되어, 보다 섬세한 인트라 예측을 가능하게 하고 있다(예컨대 비특허문헌 1 참조).
또한, VVC에서는, HEVC와 같은 정방형의 블록 형상 이외에 비정방형의 블록 형상도 적용 가능하고, 비정방형의 블록 형상에 맞는 인트라 예측 모드인 광각 인트라 예측(WAIP: Wide-Angle Intra Prediction)이 도입된다. 블록 형상에 따른 인트라 예측 모드로부터 적용 모드를 선택함으로써, 보다 유연한 인트라 예측을 가능하게 하고 있다.
WAIP에서는, 비정방형의 블록 형상시에, 정방형의 블록 형상시의 예측 모드의 일부(가로로 긴 블록에서는 모드 번호가 작은 쪽, 세로로 긴 블록에서는 모드 번호가 큰 쪽)를 삭제하고, 또한 삭제한 것과 같은 수의 예측 모드를 반대쪽(가로로 긴 블록에서는 모드 번호가 큰 쪽, 세로로 긴 블록에서는 모드 번호가 작은 쪽)에 추가하는 처리를 행한다.
[비특허문헌 1] JVET-M1001 Versatile Video Coding(Draft 4)
제1 양태에 따른 인트라 예측 장치는, 휘도 신호 및 색차 신호에 의해 구성되는 화상을 분할하여 얻어진 휘도 블록 및 색차 블록에 대하여 인트라 예측을 행한다. 상기 인트라 예측 장치는, 상기 색차 블록에 적용할 인트라 예측 모드의 후보 중 하나로서, 상기 색차 블록에 대응하는 상기 휘도 블록에 적용한 인트라 예측 모드의 모드 번호를 특정하는 색차 후보 특정부와, 상기 색차 신호의 수평 방향 해상도가 상기 휘도 신호에 비해 낮고, 또한 상기 색차 신호의 수직 방향 해상도가 상기 휘도 신호와 같은 색차 포맷이 적용되는 경우, 변환 테이블을 이용하여, 상기 색차 후보 특정부에 의해 특정된 변환 전의 모드 번호를 변환하고 변환 후의 모드 번호를 출력하는 색차 예측 모드 변환부를 구비하다. 상기 변환 테이블은, 방향성 예측에 대해서, 상기 변환 전의 모드 번호 중 모드 번호가 작은 순으로 일정 수의 모드 번호를, 상기 변환 후의 모드 번호 중 모드 번호가 큰 순으로 일정 수의 모드 번호와 대응시킨다.
제2 양태에 따른 화상 복호 장치는, 제1 양태에 따른 인트라 예측 장치를 구비한다.
제3 양태에 따른 프로그램은, 컴퓨터를 제1 양태에 따른 인트라 예측 장치로서 기능시킨다.
도 1은 실시형태에 따른 화상 부호화 장치의 구성을 나타낸 도면이다.
도 2는 실시형태에 따른 휘도 블록에 이용하는 인트라 예측 모드의 후보를 나타낸 도면이다.
도 3은 실시형태에 따른 WAIP를 나타낸 도면이다.
도 4의 (A)는 휘도 블록의 블록 형상이 가로로 긴 형상인 경우의 모드 번호 「2」에서 「66」까지의 인트라 예측 각도 범위의 일례를 나타낸 도면이고, 도 4의 (B)는 휘도 블록의 블록 형상이 세로로 긴 형상인 경우의 모드 번호 「2」에서 「66」까지의 인트라 예측 각도 범위의 일례를 나타낸 도면이다.
도 5는 실시형태에 따른 화상 복호 장치의 구성을 나타낸 도면이다.
도 6은 실시형태에 따른 인트라 예측부(인트라 예측 장치)의 구성을 나타낸 도면이다.
도 7의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 2:1인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 8의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 4:1인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 9의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 8:1인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 10의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 1:2인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 11의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 1:4인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 12의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 1:8인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
표 1에 나타낸 종래의 DM 변환 처리에 이용하는 변환 테이블에서는, WAIP의 광각인 인트라 예측 모드, 즉, -135°에서 +45°까지의 각도 범위에서 멀어지는 예측 방향이 고려되어 있지 않다. 이러한 변환 테이블을 이용하는 경우, 모드 번호 「2」인 -135°보다 반시계 방향으로 큰 각도의 예측 방향의 인트라 예측 모드로 변환할 수 없다.
따라서, 종래의 DM 변환 처리는, 색차 블록의 형상에 맞게 DM을 변환할 수 없는 경우가 있어, 색차 블록의 예측 효율을 향상시킨다는 점에서 개선의 여지가 있었다.
그래서, 본 개시는, 색차 블록의 예측 효율을 향상시키는 것을 목적으로 한다.
도면을 참조하여, 실시형태에 따른 화상 부호화 장치 및 화상 복호 장치에 대해서 설명한다. 실시형태에 따른 화상 부호화 장치 및 화상 복호 장치는, MPEG로 대표되는 동화상의 부호화 및 복호를 각각 행한다. 이하의 도면의 기재에 있어서, 동일 또는 유사한 부분에는 동일 또는 유사한 부호를 붙이고 있다.
<화상 부호화 장치>
우선, 본 실시형태에 따른 화상 부호화 장치에 대해서 설명한다. 도 1은 본 실시형태에 따른 화상 부호화 장치(1)의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 화상 부호화 장치(1)는, 블록 분할부(100)와, 감산부(110)와, 변환·양자화부(120)와, 엔트로피 부호화부(130)와, 역양자화·역변환부(140)와, 합성부(150)와, 메모리(160)와, 예측부(170)를 갖는다.
블록 분할부(100)는, 동화상을 구성하는 프레임(혹은 픽쳐) 단위의 입력 화상인 원화상을 복수의 화상 블록으로 분할하고, 분할에 의해 얻은 화상 블록을 감산부(110)로 출력한다. 화상 블록의 사이즈는, 예컨대 32×32 화소, 16×16 화소, 8×8 화소, 또는 4×4 화소 등이다. 화상 블록의 형상은 정방형에 한정되지 않고 비정방형(非正方形)이어도 좋다. 화상 블록은, 화상 부호화 장치(1)가 부호화를 행하는 단위(부호화 대상 블록)이며, 또한 화상 복호 장치가 복호를 행하는 단위(복호 대상 블록)이다. 이러한 화상 블록은 CU(Coding Unit)라고 불리는 경우가 있다.
입력 화상은, 휘도 신호(Y) 및 색차 신호(Cb, Cr)에 의해 구성되어 있고, 입력 화상 내의 각 화소는 휘도 성분(Y) 및 색차 성분(Cb, Cr)에 의해 구성된다. 화상 부호화 장치(1)는, 4:4:4, 4:2:2, 및 4:2:0의 3개의 색차 포맷(Chroma format)에 대응하고 있다.
블록 분할부(100)는, 휘도 신호와 색차 신호에 대하여 블록 분할을 행한다. 이하에 있어서, 블록 분할의 형상이 휘도 신호와 색차 신호에서 동일한 경우에 대해서 주로 설명하였으나, 휘도 신호와 색차 신호에서 분할을 독립적으로 제어 가능하여도 좋다. 화상 부호화 장치(1)는, 휘도 블록 및 색차 블록을 따로 따로 부호화하는 것이 가능하다. 휘도 블록 및 색차 블록을 특별히 구별하지 않을 때에는 단순히 부호화 대상 블록이라고 부른다.
감산부(110)는, 블록 분할부(100)로부터 출력된 부호화 대상 블록과, 부호화 대상 블록을 예측부(170)가 예측하여 얻은 예측 블록과의 차분(오차)을 나타내는 예측 잔차를 산출한다. 구체적으로는, 감산부(110)는, 블록의 각 화소값에서 예측 블록의 각 화소값을 감산함으로써 예측 잔차를 산출하고, 산출한 예측 잔차를 변환·양자화부(120)로 출력한다.
변환·양자화부(120)는, 블록 단위로 직교 변환 처리 및 양자화 처리를 행한다. 변환·양자화부(120)는, 변환부(121)와, 양자화부(122)를 갖는다.
변환부(121)는, 감산부(110)로부터 출력된 예측 잔차에 대하여 직교 변환 처리를 행하여 직교 변환 계수를 산출하고, 산출한 직교 변환 계수를 양자화부(122)로 출력한다. 직교 변환이란, 예컨대, 이산 코사인 변환(DCT: Discrete Cosine Transform)이나 이산 사인 변환(DST: Discrete Sine Transform), 카루넨 루베 변환(KLT: Karhunen-Loeve Transform) 등을 말한다.
양자화부(122)는, 변환부(121)로부터 출력된 직교 변환 계수를 양자화 파라미터(Qp) 및 양자화 행렬을 이용하여 양자화하고, 양자화한 직교 변환 계수를 엔트로피 부호화부(130) 및 역양자화·역변환부(140)로 출력한다. 또한, 양자화 파라미터(Qp)는, 블록 내의 각 직교 변환 계수에 대하여 공통으로 적용되는 파라미터로서, 양자화의 조도를 정하는 파라미터이다. 양자화 행렬은, 각 직교 변환 계수를 양자화할 때의 양자화값을 요소로서 갖는 행렬이다.
엔트로피 부호화부(130)는, 양자화부(122)로부터 출력된 직교 변환 계수에 대하여 엔트로피 부호화를 행하고, 데이터 압축을 행하여 부호화 데이터(비트 스트림)를 생성하며, 부호화 데이터를 화상 부호화 장치(1)의 외부로 출력한다. 엔트로피 부호화에는, 하프만 부호나 CABAC(Context-based Adaptive Binary Arithmetic Coding; 컨텍스트 적응형 2치 산술 부호) 등을 이용할 수 있다. 또한, 엔트로피 부호화부(130)는, 블록 분할부(100)로부터 각 블록의 형상(애스펙트비) 등의 정보를 취득하고, 예측부(170)로부터 예측에 관한 인덱스 등의 정보를 취득하여, 이들 정보의 엔트로피 부호화도 행한다.
역양자화·역변환부(140)는, 블록 단위로 역양자화 처리 및 역직교 변환 처리를 행한다. 역양자화·역변환부(140)는, 역양자화부(141)와, 역변환부(142)를 갖는다.
역양자화부(141)는, 양자화부(122)가 행하는 양자화 처리에 대응하는 역양자화 처리를 행한다. 구체적으로는, 역양자화부(141)는, 양자화부(122)로부터 출력된 직교 변환 계수를, 양자화 파라미터(Qp) 및 양자화 행렬을 이용하여 역양자화함으로써 직교 변환 계수를 복원하고, 복원한 직교 변환 계수를 역변환부(142)로 출력한다.
역변환부(142)는, 변환부(121)가 행하는 직교 변환 처리에 대응하는 역직교 변환 처리를 행한다. 예컨대, 변환부(121)가 이산 코사인 변환을 행한 경우에는, 역변환부(142)는 역이산 코사인 변환을 행한다. 역변환부(142)는, 역양자화부(141)로부터 출력된 직교 변환 계수에 대하여 역직교 변환 처리를 행하여 예측 잔차를 복원하고, 복원한 예측 잔차인 복원 예측 잔차를 합성부(150)로 출력한다.
합성부(150)는, 역변환부(142)로부터 출력된 복원 예측 잔차를, 예측부(170)로부터 출력된 예측 블록과 화소 단위로 합성한다. 합성부(150)는, 복원 예측 잔차의 각 화소값과 예측 블록의 각 화소값을 가산하여 부호화 대상 블록을 재구성(복호)하고, 복호한 블록 단위의 복호 화상을 메모리(160)로 출력한다. 이러한 복호 화상은, 재구성 화상이라고 불리는 경우가 있다.
메모리(160)는, 합성부(150)로부터 출력된 복호 화상을 기억한다. 메모리(160)는, 복호 화상을 프레임 단위로 기억한다. 메모리(160)는, 기억되어 있는 복호 화상을 예측부(170)로 출력한다. 또한, 합성부(150)와 메모리(160) 사이에 루프 필터가 설치되어도 좋다.
예측부(170)는, 블록 단위로 예측을 행한다. 예측부(170)는, 인터 예측부(171)와, 인트라 예측부(172)와, 전환부(173)를 갖는다.
인터 예측부(171)는, 메모리(160)에 기억된 복호 화상을 참조 화상으로 이용하여, 블록 매칭 등의 수법에 의해 움직임 벡터를 산출하고, 부호화 대상 블록을 예측하여 인터 예측 블록을 생성하며, 생성된 인터 예측 블록을 전환부(173)로 출력한다.
인터 예측부(171)는, 복수의 참조 화상을 이용하는 인터 예측(전형적으로는, 쌍예측)이나, 하나의 참조 화상을 이용하는 인터 예측(편방향 예측) 중에서 최적의 인터 예측 방법을 선택하고, 선택한 인터 예측 방법을 이용하여 인터 예측을 행한다. 인터 예측부(171)는, 인터 예측에 관한 정보(움직임 벡터 등)를 엔트로피 부호화부(130)로 출력한다.
인트라 예측부(172)는, 메모리(160)에 기억된 복호 화상 중, 부호화 대상 블록의 주변에 있는 복호 화소값을 참조하여 인트라 예측 블록을 생성하고, 생성된 인트라 예측 블록을 전환부(173)로 출력한다. 또한, 인트라 예측부(172)는, 선택한 인트라 예측 모드에 관한 인덱스를 엔트로피 부호화부(130)로 출력한다.
전환부(173)는, 인터 예측부(171)로부터 입력되는 인터 예측 블록과 인트라 예측부(172)로부터 입력되는 인트라 예측 블록을 전환하여, 어느 하나의 예측 블록을 감산부(110) 및 합성부(150)로 출력한다.
인트라 예측부(172)는, 복수의 인트라 예측 모드 중에서, 인트라 예측 대상 블록에 적용할 최적의 인트라 예측 모드를 선택하고, 선택한 인트라 예측 모드를 이용하여 인트라 예측의 대상 블록을 예측한다.
구체적으로는, 인트라 예측부(172)는, 휘도 블록에 대해서 인트라 예측을 행하여, 휘도 인트라 예측 블록을 출력한다. 또한, 인트라 예측부(172)는, 색차 블록에 대해서 인트라 예측을 행하여, 색차 인트라 예측 블록을 출력한다.
인트라 예측부(172)는, 색차 블록의 인트라 예측을 행하는 것보다 전에, 이 색차 블록에 대응하는 휘도 블록의 인트라 예측을 행한다. 그리고, 인트라 예측부(172)는, 각 휘도 블록의 인트라 예측에 이용한 인트라 예측 모드를 메모리(160)에 기억시킨다.
색차 블록에 대응하는 휘도 블록이란, 색차 신호의 해상도 변환을 고려한 색차 블록의 위치에 대응하는 위치에 있는 휘도 블록을 말한다. 단, 색차 블록의 위치에 대응하여 복수의 휘도 블록이 있는 경우, 색차 블록을 수직 방향으로 2분할하고, 또한 수평 방향으로 2분할하여, 이것에 의해 얻어지는 4개의 분할 블록 중, 우측 하부 분할 블록에 있어서의 좌측 상부 정점의 색차 픽셀(화소)에 대응하는 휘도 픽셀(화소)이 포함되는 휘도 블록을, 색차 블록에 대응하는 휘도 블록으로 한다.
도 2는 본 실시형태에 따른 휘도 블록에 이용하는 인트라 예측 모드의 후보를 나타낸 도면이다.
도 2에 도시된 바와 같이, 0에서 66까지의 67가지의 인트라 예측 모드가 있다. 인트라 예측 모드의 모드 번호 「0」은 Planar 예측이고, 인트라 예측 모드의 모드 번호 「1」은 DC 예측이며, 인트라 예측 모드의 모드 번호 「2」 내지 「66」은 방향성 예측이다.
방향성 예측에 있어서, 화살표의 방향은 인트라 예측시에 참조 화소를 참조하는 방향인 예측 방향을 나타내고, 화살표의 기점은 예측 대상의 화소의 위치를 나타내며, 화살표의 종점은 이 예측 대상 화소의 예측에 이용하는 참조 화소의 위치를 나타낸다.
블록의 우측 상부의 정점과 좌측 하부의 정점을 지나는 대각선에 평행한 예측 방향으로서, 좌측 하부 방향을 참조하는 인트라 예측 모드인 모드 번호 「2」와, 우측 상부 방향을 참조하는 인트라 예측 모드인 모드 번호 「66」이 있고, 모드 번호 「2」에서 모드 번호 「66」까지 시계 방향으로 소정 각도마다 모드 번호가 할당되어 있다.
좌측 하부 방향을 참조하는 모드 번호 「2」에 있어서의 예측 방향은, 수평 방향과 이루는 각도가 45°이다. 모드 번호 「66」에 있어서의 예측 방향은, 수직 방향과 이루는 각도가 45°이다. 또한, 수직 방향을 기준으로 하여, 시계 방향을 정, 반시계 방향을 부로 했을 때, 모드 번호 「2」에 있어서의 예측 방향은 -135°이며, 모드 번호 「66」에 있어서의 예측 방향은 45°이다.
블록 분할부(100)가 출력하는 부호화 대상 블록은, 정방형의 블록 형상 이외에 비정방형의 블록 형상도 취할 수 있다. 부호화 대상 블록의 블록 형상이 비정방형인 경우, 인트라 예측부(172)는, 부호화 대상 블록에 이용하는 인트라 예측 모드의 예측 방향의 범위를 조정한다. 이러한 기술은, Wide Angle Intra Prediction(WAIP)이라고 불린다.
도 3은 본 실시형태에 따른 WAIP를 나타낸 도면이다.
도 3에 도시된 바와 같이, WAIP에 있어서, 인트라 예측부(172)는, 휘도 블록의 블록 형상이 가로로 긴 형상(즉, 높이보다 폭이 큰 형상)인 경우, 모드 번호가 작은 순으로 일부의 인트라 예측 모드를 삭제하고, 모드 번호가 큰 쪽에 그 삭제분의 인트라 예측 모드를 추가한다.
한편, 인트라 예측부(172)는, 휘도 블록의 블록 형상이 세로로 긴 형상(즉, 높이보다 폭이 작은 형상)인 경우, 예컨대, 모드 번호가 큰 순으로 일부의 인트라 예측 모드를 삭제하고, 모드 번호가 작은 쪽에 그 삭제분의 인트라 예측 모드를 추가한다.
이러한 WAIP의 처리는, 추가한 인트라 예측 모드 중 가장 외측의 인트라 예측 모드가, 비정방형 블록의 대각선과 평행하게 되도록 예측 방향이 결정된다. 예측 블록 형상에 따른 인트라 예측 모드로부터 적용 모드를 선택함으로써, 보다 유연한 인트라 예측을 가능하게 하고 있다.
도 4의 (A)는 휘도 블록의 블록 형상이 가로로 긴 형상인 경우의 모드 번호 「2」에서 「66」까지의 인트라 예측 각도 범위(Range of intra prediction angle)의 일례를 나타낸 도면이다. 도 4의 (B)는 휘도 블록의 블록 형상이 세로로 긴 형상인 경우의 모드 번호 「2」에서 「66」까지의 인트라 예측 각도 범위의 일례를 나타낸 도면이다. 도 4의 (A) 및 (B)에 있어서, 하얗게 나타낸 정방형은 예측 대상 블록의 화소를 나타내고, 망점으로 나타낸 정방형은 참조 화소를 나타낸다. 도 4의 (A) 및 (B)에 도시된 바와 같이, 휘도 블록의 블록 형상이 비정방형인 경우, 모드 번호 「2」 및 「66」의 예측 방향은, 45°와는 다른 각도가 된다.
인트라 예측부(172)는, 이들 인트라 예측 모드 중에서, 휘도 블록의 인트라 예측에 이용하는 인트라 예측 모드를 선택하고, 선택한 인트라 예측 모드를 이용하여 휘도 블록의 인트라 예측을 행하여 휘도 인트라 예측 블록을 출력한다. 또한, 인트라 예측부(172)는, 이들 후보 중에서 선택한 인트라 예측 모드를 나타낸 인덱스(이하, 「휘도 인트라 예측 모드 인덱스」라고 부름)를 엔트로피 부호화부(130)로 출력하고, 엔트로피 부호화부(130)가 이 인덱스를 부호화하여 출력한다.
이와 같이, 비정방형 블록에 대해서는, 종래의 몇 개의 방향성 인트라 예측 모드가 적응적으로 광각 인트라 예측 모드로 치환된다. 치환된 인트라 예측 모드는, 원래의 모드 번호를 나타내는 휘도 인트라 예측 모드 인덱스에 의해 화상 복호 장치(2)측에 통지된다. 화상 복호 장치(2)측에서는, 휘도 인트라 예측 모드 인덱스의 해석 후에, 광각 모드의 모드 번호로 치환한다. 이 때문에, 인트라 예측 모드의 총수는 67인 채이다.
한편, 색차 블록의 인트라 예측 모드의 후보의 수는, 휘도 블록의 인트라 예측 모드의 후보의 수보다 적다.
색차 블록과 휘도 블록에서 공통되는 인트라 예측 모드의 후보는, Planar 모드(모드 번호 「0」), DC 모드(모드 번호 「1」), 수직 예측 모드(모드 번호 「50」), 수평 예측 모드(모드 번호 「18」)의 4개이며, 이것에 DM을 추가하여 5개가 된다. Planar 모드(모드 번호 「0」), DC 모드(모드 번호 「1」), 수직 예측 모드(모드 번호 「50」), 수평 예측 모드(모드 번호 「18」)의 4개는 「디폴트 모드」라고 불리는 경우가 있다.
DM은 색차 블록에 대응하는 휘도 블록의 인트라 예측에 이용된 인트라 예측 모드이다. 또한, 색차 블록에 특유한 인트라 예측 모드로서, 휘도 블록의 복호 완료 화소를 예측에 이용하는 색성분간 예측이 있다. 이하에 있어서는, 색성분간 예측의 기능이 디스에이블인 경우에 대해서 설명하였으나, 색성분간 예측의 기능이 인에이블이어도 좋다.
인트라 예측부(172)는, 이들 색차 인트라 예측 후보 중에서, 색차 블록의 인트라 예측에 이용하는 인트라 예측 모드를 선택하고, 선택한 인트라 예측 모드를 이용하여 색차 블록의 인트라 예측을 행하여 색차 인트라 예측 블록을 출력한다. 또한, 인트라 예측부(172)는, 이들 후보 중에서 선택한 인트라 예측 모드를 나타내는 인덱스(이하, 「색차 인트라 예측 모드 인덱스」라고 부름)를 엔트로피 부호화부(130)로 출력하고, 엔트로피 부호화부(130)가 이 인덱스를 부호화하여 출력한다.
표 2에 나타낸 바와 같이, 색차 인트라 예측 모드 인덱스는, 5개의 인트라 예측 모드 후보 중 어느 하나를 나타내는 인덱스이다.
Figure pat00002
색차 블록에 대응하는 휘도 블록에 적용한 인트라 예측 모드가 디폴트 모드와 중복되는 경우, 모드 번호 「66」이 대체 모드로서 추가된다. 한편, 색차 블록에 대응하는 휘도 블록에 적용한 인트라 예측 모드가 디폴트 모드와 중복되지 않는 경우, 이 휘도 블록에 적용한 인트라 예측 모드의 모드 번호 「X」가 DM으로서 추가된다.
<화상 복호 장치>
다음에, 본 실시형태에 따른 화상 복호 장치에 대해서 설명한다. 도 5는 본 실시형태에 따른 화상 복호 장치(2)의 구성을 나타낸 도면이다.
도 5에 도시된 바와 같이, 화상 복호 장치(2)는, 엔트로피 복호부(200)와, 역양자화·역변환부(210)와, 합성부(220)와, 메모리(230)와, 예측부(240)를 갖는다.
엔트로피 복호부(200)는, 화상 부호화 장치(1)에 의해 생성된 부호화 데이터를 복호하고, 양자화된 직교 변환 계수를 역양자화·역변환부(210)로 출력한다. 또한, 엔트로피 복호부(200)는, 예측(인트라 예측 및 인터 예측)에 관한 인덱스를 취득하고, 취득한 인덱스를 예측부(240)로 출력한다. 여기서, 엔트로피 복호부(200)는, 휘도 인트라 예측 모드 인덱스 및 색차 인트라 예측 모드 인덱스를 예측부(240)로 출력한다. 또한, 엔트로피 복호부(200)는, 각 블록의 형상(애스펙트비) 등의 정보를 취득하고, 취득한 정보를 예측부(240)로 출력한다.
역양자화·역변환부(210)는, 블록 단위로 역양자화 처리 및 역직교 변환 처리를 행한다. 역양자화·역변환부(210)는, 역양자화부(211)와, 역변환부(212)를 갖는다.
역양자화부(211)는, 화상 부호화 장치(1)의 양자화부(122)가 행하는 양자화 처리에 대응하는 역양자화　처리를 행한다. 역양자화부(211)는, 엔트로피 복호부(200)로부터 출력된 양자화 직교 변환 계수를, 양자화 파라미터(Qp) 및 양자화 행렬을 이용하여 역양자화한다. 이것에 의해, 역양자화부(211)는, 복호 대상 블록의 직교 변환 계수를 복원하고, 복원한 직교 변환 계수를 역변환부(212)로 출력한다.
역변환부(212)는, 화상 부호화 장치(1)의 변환부(121)가 행하는 직교 변환 처리에 대응하는 역직교 변환 처리를 행한다. 역변환부(212)는, 역양자화부(211)로부터 출력된 직교 변환 계수에 대하여 역직교 변환 처리를 행하여 예측 잔차를 복원하고, 복원한 예측 잔차(복원 예측 잔차)를 합성부(220)로 출력한다.
합성부(220)는, 역변환부(212)로부터 출력된 예측 잔차와, 예측부(240)로부터 출력된 예측 블록을 화소 단위로 합성함으로써, 원래의 블록을 재구성(복호)하여, 블록 단위의 복호 화상을 메모리(230)로 출력한다.
메모리(230)는, 합성부(220)로부터 출력된 복호 화상을 기억한다. 메모리(230)는, 복호 화상을 프레임 단위로 기억한다. 메모리(230)는, 프레임 단위의 복호 화상을 화상 복호 장치(2)의 외부로 출력한다. 또한, 합성부(220)와 메모리(230) 사이에 루프 필터가 설치되어도 좋다.
예측부(240)는, 블록 단위로 예측을 행한다. 예측부(240)는, 인터 예측부(241)와, 인트라 예측부(242)와, 전환부(243)를 갖는다.
인터 예측부(241)는, 메모리(230)에 기억된 복호 화상을 참조 화상으로 이용하여, 복호 대상 블록을 인터 예측에 의해 예측한다. 인터 예측부(241)는, 엔트로피 복호부(200)로부터 출력된 인덱스 및 움직임 벡터 등에 따라 인터 예측을 행함으로써 인터 예측 블록을 생성하고, 생성된 인터 예측 블록을 전환부(243)로 출력한다.
인트라 예측부(242)는, 메모리(230)에 기억된 복호 화상을 참조하고, 엔트로피 복호부(200)로부터 출력된 인덱스에 기초하여, 복호 대상 블록을 인트라 예측에 의해 예측한다. 이것에 의해, 인트라 예측부(242)는, 인트라 예측 블록을 생성하고, 생성된 인트라 예측 블록을 전환부(243)로 출력한다.
구체적으로는, 인트라 예측부(172)는, 휘도 블록에 대해서 인트라 예측을 행하여, 휘도 인트라 예측 블록을 출력한다. 또한, 인트라 예측부(172)는, 색차 블록에 대해서 인트라 예측을 행하여, 색차 인트라 예측 블록을 출력한다.
인트라 예측부(172)는, 색차 블록의 인트라 예측을 행하는 것보다 전에, 이 색차 블록에 대응하는 휘도 블록의 인트라 예측을 행한다. 그리고, 인트라 예측부(172)는, 각 휘도 블록의 인트라 예측에 이용한 인트라 예측 모드를 메모리(230)에 기억시킨다.
전환부(243)는, 인터 예측부(241)로부터 입력되는 인터 예측 블록과 인트라 예측부(242)로부터 입력되는 인트라 예측 블록을 전환하여, 어느 하나의 예측 블록을 합성부(220)로 출력한다.
도 6은 본 실시형태에 따른 인트라 예측부(242)의 구성을 나타낸 도면이다. 인트라 예측부(242)는, 화상 복호 장치(2)에 설치되는 인트라 예측 장치에 상당한다.
도 6에 도시된 바와 같이, 인트라 예측부(242)는, 휘도 예측 모드 결정부(242a)와, 휘도 인트라 예측부(242b)와, 색차 후보 특정부(242c)와, 색차 예측 모드 결정부(242d)와, 색차 예측 모드 변환부(242e)와, 색차 인트라 예측부(242f)를 갖는다.
휘도 예측 모드 결정부(242a)는, 엔트로피 복호부(200)로부터 출력된 휘도 인트라 예측 모드 인덱스 및 휘도 블록의 애스펙트비에 기초하여, 휘도 블록에 적용할 인트라 예측 모드를 결정하고, 결정한 인트라 예측 모드의 모드 번호를 휘도 인트라 예측부(242b) 및 메모리(230)로 출력한다. 구체적으로는, 휘도 예측 모드 결정부(242a)는, 비정방형의 휘도 블록에 대해서, 그 애스펙트비에 따라, 휘도 인트라 예측 모드 인덱스가 나타내는 인트라 예측 모드를 광각 인트라 예측 모드로 치환한다.
휘도 인트라 예측부(242b)는, 휘도 예측 모드 결정부(242a)로부터 출력된 모드 번호가 나타내는 인트라 예측 모드에 의해, 휘도 블록에 인접한 복호 완료의 휘도 참조 화소를 참조하여 휘도 블록의 인트라 예측을 행한다. 이것에 의해, 휘도 인트라 예측부(242b)는, 휘도 인트라 예측 블록을 출력한다.
색차 후보 특정부(242c)는, 표 2에 나타낸 바와 같이, 휘도 블록에 적용한 인트라 예측 모드의 모드 번호와, 미리 규정된 복수의 예측 모드(복수의 디폴트 모드)에 기초하여, 색차 블록에 적용 가능한 복수의 인트라 예측 모드 후보를 생성하고, 생성된 인트라 예측 모드 후보를 색차 예측 모드 결정부(242d)로 출력한다. 예컨대, 색차 후보 특정부(242c)는, 휘도 블록에 적용한 인트라 예측 모드의 모드 번호가 「0」(Planar 예측)인 경우에는, 인트라 예측 모드 후보를 구성하는 모드 번호로서, 「66」, 「50」, 「18」, 「1」, 「0」을 색차 예측 모드 결정부(242d)로 출력한다.
여기서, 색차 후보 특정부(242c)는, 색차 블록에 적용할 인트라 예측 모드의 후보 중 하나로서, 이 색차 블록에 대응하는 휘도 블록에 적용한 인트라 예측 모드의 모드 번호를 DM으로서 특정한다. DM은 표 2에 나타낸 「X」에 상당한다.
색차 예측 모드 결정부(242d)는, 엔트로피 복호부(200)로부터 출력된 색차 인트라 예측 모드 인덱스와, 색차 후보 특정부(242c)로부터 출력된 복수의 인트라 예측 모드 후보에 기초하여, 복수의 인트라 예측 모드 후보 중에서 색차 블록에 적용할 인트라 예측 모드를 결정하고, 결정한 인트라 예측 모드의 모드 번호를 색차 인트라 예측부(242f)로 출력한다.
표 2에 나타낸 바와 같이, 색차 예측 모드 결정부(242d)는, 휘도 블록에 적용한 인트라 예측 모드가 디폴트 모드가 아니며, 또한 색차 인트라 예측 모드 인덱스가 「4」인 경우, 색차 블록에 적용할 인트라 예측 모드로서 DM(즉, 휘도 블록에 적용한 인트라 예측 모드)을 결정한다.
색차 예측 모드 변환부(242e)는, 색차 신호의 수평 방향 해상도가 휘도 신호에 비해 낮은 색차 포맷, 구체적으로는, 색차 포맷이 4:2:2인 경우, DM 변환 처리를 행한다. 구체적으로는, 색차 예측 모드 변환부(242e)는, 색차 후보 특정부(242c)에 의해 특정된 DM을, 변환 전의 모드 번호를 변환 후의 모드 번호와 대응시키는 변환 테이블을 이용하여 변환한다.
색차 예측 모드 변환부(242e)는, 색차 예측 모드 결정부(242d)가 인트라 예측 모드를 결정하기 전에, 변환 테이블을 이용하여 DM의 변환을 행하여도 좋다. 색차 예측 모드 변환부(242e)는, 색차 예측 모드 결정부(242d)가 인트라 예측 모드로서 DM을 결정한 경우에만, 변환 테이블을 이용하여 DM의 변환을 행하여도 좋다. 또한, 색차 예측 모드 변환부(242e)는, 색차 예측 모드 결정부(242d)가 인트라 예측 모드로서 모드 번호 「66」을 결정한 경우에도, 변환 테이블을 이용하여 모드 번호 「66」의 변환을 행하여도 좋다.
색차 예측 모드 변환부(242e)는, 테이블 기억부(242e1)와, 변환부(242e2)를 갖는다. 본 실시형태에 있어서, 테이블 기억부(242e1)는, 변환 테이블로서, 애스펙트비마다 준비된 복수의 변환 테이블을 기억한다. 변환부(242e2)는, 색차 블록에 대응하는 휘도 블록의 애스펙트비에 대응하는 변환 테이블을 테이블 기억부(242e1)로부터 취득하고, 취득한 변환 테이블을 이용하여 DM을 변환하고, 변환 후의 DM의 모드 번호를 출력한다.
변환 테이블은, WAIP를 고려한 구성으로 되어 있다. 구체적으로는, 변환 테이블은, 방향성 예측에 대해서, 변환 전의 모드 번호 중 모드 번호가 작은 순으로 일정수의 모드 번호를, 변환 후의 모드 번호 중 모드 번호가 큰 순으로 일정수의 모드 번호와 대응시킨다.
우선, 색차 블록에 대응하는 휘도 블록의 애스펙트비(W:H)가 1:1 및 2:1인 경우에 이용하는 변환 테이블을 표 3에 나타낸다. 또한, 「W」는 블록 폭을 화소수로 나타내고, 「H」는 블록 높이를 화소수로 나타낸다.
Figure pat00003
도 7의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 2:1인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 7의 (A)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 2:1인 경우, 휘도 블록이 가로로 긴 형상이기 때문에, 이 형상에 맞게 원래의 모드 번호 「2」에서 「7」까지의 인트라 예측 모드가 삭제되고, 시계 방향으로 모드 번호 「66」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「2」에서 「7」이 된다.
도 7의 (B)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 2:1인 경우, 색차 블록이 정방형이 되기 때문에, 광각의 인트라 예측 모드는 추가되지 않는다.
도 7의 (A) 및 (B)에 도시된 바와 같이, 휘도 블록의 모드 번호 「2」에서 「7」까지는, 색차 블록의 모드 번호 「61」에서 「66」까지에 대응한다. 표 3에 나타낸 변환 테이블은, 이러한 대응 관계에 기초한 구성을 갖고 있고, 변환 전의 모드 번호 「2」에서 「7」까지가 변환 후의 모드 번호 「61」에서 「66」까지로 대응되어 있다.
다음에, 색차 블록에 대응하는 휘도 블록의 애스펙트비(W:H)가 4:1인 경우에 이용하는 변환 테이블을 표 4에 나타낸다.
Figure pat00004
표 4에 나타낸 바와 같이, 변환 전의 모드 번호 「10」, 「11」에 대하여 변환 후의 모드 번호 「5」, 「7」이 대응되어 있다는 점에서 표 3과 상이하지만, 변환 전의 모드 번호 「2」에서 「7」까지가 변환 후의 모드 번호 「61」에서 「66」까지로 대응되어 있다는 점은 표 3과 동일하다.
도 8의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 4:1인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 8의 (A)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 4:1인 경우, 휘도 블록이 가로로 긴 형상이기 때문에, 이 형상에 맞게 원래의 모드 번호 「2」에서 「11」까지의 인트라 예측 모드가 삭제되고, 시계 방향으로 모드 번호 「66」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「2」에서 「11」이 된다.
도 8의 (B)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 4:1인 경우, 색차 블록의 애스펙트비(W:H)가 2:1이 되기 때문에, 이 형상에 맞게 원래의 모드 번호 「2」에서 「7」까지의 인트라 예측 모드가 삭제되고, 시계 방향으로 모드 번호 「66」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「2」에서 「7」이 된다.
도 8의 (A) 및 (B)에 도시된 바와 같이, 휘도 블록의 모드 번호 「2」에서 「7」까지는, 색차 블록의 모드 번호 「61」에서 「66」까지에 대응한다. 표 4에 나타낸 변환 테이블은, 이러한 대응 관계에 기초한 구성을 갖고 있다.
다음에, 색차 블록에 대응하는 휘도 블록의 애스펙트비(W:H)가 8:1인 경우에 이용하는 변환 테이블을 표 5에 나타낸다.
Figure pat00005
표 5에 나타낸 바와 같이, 변환 전의 모드 번호 「10」, 「11」, 「12」, 「13」에 대하여 변환 후의 모드 번호 「5」, 「7」, 「9」, 「11」이 각각 대응되어 있다는 점에서 표 3과 상이하지만, 변환 전의 모드 번호 「2」에서 「7」까지가 변환 후의 모드 번호 「61」에서 「66」까지로 대응되어 있다는 점은 표 3과 동일하다.
도 9의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 8:1인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 9의 (A)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 8:1인 경우, 휘도 블록이 가로로 긴 형상이기 때문에, 이 형상에 맞게 원래의 모드 번호 「2」에서 「13」까지의 인트라 예측 모드가 삭제되고, 시계 방향으로 모드 번호 「66」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「2」에서 「13」이 된다.
도 9의 (B)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 8:1인 경우, 색차 블록의 애스펙트비(W:H)가 4:1이 되기 때문에, 이 형상에 맞게 원래의 모드 번호 「2」에서 「11」까지의 인트라 예측 모드가 삭제되고, 시계 방향으로 모드 번호 「66」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「2」에서 「11」이 된다.
도 9의 (A) 및 (B)에 도시된 바와 같이, 휘도 블록의 모드 번호 「2」에서 「7」까지는, 색차 블록의 모드 번호 「61」에서 「66」까지에 대응한다. 표 5에 나타낸 변환 테이블은, 이러한 대응 관계에 기초한 구성을 갖고 있다.
다음에, 색차 블록에 대응하는 휘도 블록의 애스펙트비(W:H)가 1:2인 경우에 이용하는 변환 테이블을 표 6에 나타낸다.
Figure pat00006
표 6에 나타낸 바와 같이, 변환 전의 모드 번호 「61」, 「62」에 대하여 변환 후의 모드 번호 「57」, 「57」이 각각 대응되어 있다는 점에서 표 3과 상이하지만, 변환 전의 모드 번호 「2」에서 「7」까지가 변환 후의 모드 번호 「61」에서 「66」까지로 대응되어 있다는 점은 표 3과 동일하다.
도 10의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 1:2인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 10의 (A)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 1:2인 경우, 휘도 블록이 세로로 긴 형상이기 때문에, 이 형상에 맞게 원래의 모드 번호 「61」에서 「66」까지의 인트라 예측 모드가 삭제되고, 반시계 방향으로 모드 번호 「2」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「61」에서 「66」이 된다.
도 10의 (B)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 1:2인 경우, 색차 블록의 애스펙트비(W:H)가 1:4가 되기 때문에, 이 형상에 맞게 원래의 모드 번호 「57」에서 「66」까지의 인트라 예측 모드가 삭제되고, 반시계 방향으로 모드 번호 「2」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「57」에서 「66」이 된다.
도 10의 (A) 및 (B)에 도시된 바와 같이, 휘도 블록의 모드 번호 「2」에서 「7」까지는, 색차 블록의 모드 번호 「61」에서 「66」까지에 대응한다. 표 6에 나타낸 변환 테이블은, 이러한 대응 관계에 기초한 구성을 갖고 있다.
다음에, 색차 블록에 대응하는 휘도 블록의 애스펙트비(W:H)가 1:4 및 1:8인 경우에 이용하는 변환 테이블을 표 7에 나타낸다.
Figure pat00007
표 7에 나타낸 바와 같이, 변환 전의 모드 번호 「57」, 「58」, 「61」, 「62」에 대하여 변환 후의 모드 번호 「55」, 「55」, 「57」, 「57」이 각각 대응되어 있다는 점에서 표 3과 상이하지만, 변환 전의 모드 번호 「2」에서 「7」까지가 변환 후의 모드 번호 「61」에서 「66」까지로 대응되어 있다는 점은 표 3과 동일하다.
도 11의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 1:4인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 11의 (A)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 1:4인 경우, 휘도 블록이 세로로 긴 형상이기 때문에, 이 형상에 맞게 원래의 모드 번호 「57」에서 「66」까지의 인트라 예측 모드가 삭제되고, 반시계 방향으로 모드 번호 「2」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「57」에서 「66」이 된다.
도 11의 (B)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 1:4인 경우, 색차 블록의 애스펙트비(W:H)가 1:8이 되기 때문에, 이 형상에 맞게 원래의 모드 번호 「55」에서 「66」까지의 인트라 예측 모드가 삭제되고, 반시계 방향으로 모드 번호 「2」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「55」에서 「66」이 된다.
도 11의 (A) 및 (B)에 도시된 바와 같이, 휘도 블록의 모드 번호 「2」에서 「7」까지는, 색차 블록의 모드 번호 「61」에서 「66」까지에 대응한다. 표 7에 나타낸 변환 테이블은, 이러한 대응 관계에 기초한 구성을 갖고 있다.
도 12의 (A) 및 (B)는 휘도 블록의 애스펙트비(W:H)가 1:8인 경우에 있어서의 휘도 블록(Y) 및 색차 블록(C)의 관계를 나타낸 도면이다.
도 12의 (A)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 1:8인 경우, 휘도 블록이 세로로 긴 형상이기 때문에, 이 형상에 맞게 원래의 모드 번호 「55」에서 「66」까지의 인트라 예측 모드가 삭제되고, 반시계 방향으로 모드 번호 「2」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「55」에서 「66」이 된다.
도 12의 (B)에 도시된 바와 같이, 휘도 블록의 애스펙트비(W:H)가 1:8인 경우, 색차 블록의 애스펙트비(W:H)가 1:16이 되기 때문에, 이 형상에 맞게 원래의 모드 번호 「53」에서 「66」까지의 인트라 예측 모드가 삭제되고, 반시계 방향으로 모드 번호 「2」보다 광각의 인트라 예측 모드가 추가된다. 추가된 광각 인트라 예측 모드의 모드 번호가 「53」에서 「66」이 된다.
도 12의 (A) 및 (B)에 도시된 바와 같이, 휘도 블록의 모드 번호 「2」에서 「7」까지는, 색차 블록의 모드 번호 「61」에서 「66」까지에 대응한다. 표 7에 나타낸 변환 테이블은, 이러한 대응 관계에 기초한 구성을 갖고 있다.
색차 인트라 예측부(242f)는, 색차 예측 모드 결정부(242d)로부터 출력된 모드 번호가 나타내는 인트라 예측 모드, 구체적으로는, 색차 예측 모드 변환부(242e)에 의한 변환 후의 모드 번호에 의해, 색차 블록에 인접한 복호 완료의 색차 참조 화소를 참조하여 색차 블록의 인트라 예측을 행함으로써, 색차 인트라 예측 블록을 출력한다.
이와 같이, 본 실시형태에 따른 변환 테이블(표 3 내지 표 7)은, WAIP의 광각인 인트라 예측 모드, 즉, -135°에서 +45°까지의 각도 범위에서 멀어지는 예측 방향을 고려한 구성으로 되어 있다. 이것에 의해, -135°보다 반시계 방향으로 큰 각도의 광각 인트라 예측 모드나, +45°보다 시계 방향으로 큰 각도의 광각 인트라 예측 모드로 DM을 변환 가능해지기 때문에, 색차 블록의 형상에 맞게 DM을 변환할 수 있다. 따라서, 색차 블록의 예측 효율을 향상시킬 수 있다.
<변경례>
전술한 실시형태에 있어서, 색차 예측 모드 변환부(242e)는, 색차 포맷이 4:2:2인 경우, 휘도 블록의 애스펙트비에 따라 색차 인트라 예측 모드의 변환을 행하고 있다. 이러한 구성에 있어서는, 휘도 블록의 애스펙트비와 색차 블록의 애스펙트비의 차이를 엄밀하게 고려하고 있기 때문에, 색차 블록에 적용하는 인트라 예측 방향의 정밀도가 높아지고, 부호화 효율이 개선된다.
한편, 전술한 실시형태에서는, 휘도 블록의 애스펙트비에 따라 복수의 변환 테이블을 유지할 필요가 있으며, 변환 테이블을 유지하기 위해 필요한 메모리량이 증대한다.
그래서, 본 변경례에서는, 색차 예측 모드 변환부(242e)는, 휘도 블록의 애스펙트비에 관계없이, 표 8에 나타낸 하나의 변환 테이블에 의해 색차 인트라 예측 모드를 변환한다. 구체적으로는, 테이블 기억부(242e1)는, 변환 테이블로서 하나의 변환 테이블을 기억한다. 변환부(242e2)는, 이 변환 테이블을 테이블 기억부(242e1)로부터 취득하고, 취득한 변환 테이블을 이용하여 DM을 변환한다.
Figure pat00008
본 변경례에 따르면, 색차 블록의 인트라 예측 방향의 정밀도를 향상시키면서, 변환 테이블을 유지하기 위한 메모리량을 저감할 수 있다.
<그 밖의 실시형태>
화상 부호화 장치(1)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램이 제공되어도 좋다. 화상 복호 장치(2)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램이 제공되어도 좋다. 프로그램은, 컴퓨터 판독 가능 매체에 기록되어 있어도 좋다. 컴퓨터 판독 가능 매체를 이용하면, 컴퓨터에 프로그램을 인스톨하는 것이 가능하다. 여기서, 프로그램이 기록된 컴퓨터 판독 가능 매체는, 비일과성의 기록 매체여도 좋다. 비일과성의 기록 매체는, 특별히 한정되는 것은 아니지만, 예컨대, CD-ROM이나 DVD-ROM 등의 기록 매체여도 좋다.
화상 부호화 장치(1)가 행하는 각 처리를 실행하는 회로를 집적화하여, 화상 부호화 장치(1)를 반도체 집적 회로(칩 세트, SoC)에 의해 구성하여도 좋다. 화상 복호 장치(2)가 행하는 각 처리를 실행하는 회로를 집적화하고, 화상 복호 장치(2)를 반도체 집적 회로(칩 세트, SoC)에 의해 구성하여도 좋다.
이상, 도면을 참조하여 실시형태에 대해서 상세히 설명하였으나, 구체적인 구성은 전술한 것에 한정되지 않고, 요지를 벗어나지 않는 범위 내에서 여러 가지 설계 변경 등을 하는 것이 가능하다.
본원은, 일본국 특허 출원 제2019-117928호(2019년 6월 25일 출원)의 우선권을 주장하고, 그 내용 전부가 본원 명세서에 삽입되어 있다.

Claims (6)

  1. 휘도 신호 및 색차 신호에 의해 구성되는 화상을 분할하여 얻어진 휘도 블록 및 색차 블록에 대하여 인트라 예측을 행하는 인트라 예측 장치에 있어서,
    상기 색차 블록에 적용할 인트라 예측 모드의 후보 중 하나로서, 상기 색차 블록에 대응하는 상기 휘도 블록에 적용한 인트라 예측 모드의 모드 번호를 특정하는 색차 후보 특정부와,
    상기 색차 신호의 수평 방향 해상도가 상기 휘도 신호의 수평 방향 해상도에 비해 낮고, 또한 상기 색차 신호의 수직 방향 해상도가 상기 휘도 신호의 수직 방향 해상도와 동일한, 색차 포맷이 적용되는 경우, 변환 테이블을 이용하여, 상기 색차 후보 특정부에 의해 특정된 변환 전의 모드 번호를 변환하고 변환 후의 모드 번호를 출력하는 색차 예측 모드 변환부를 포함하고,
    상기 변환 테이블은,
    방향성 예측에 대해서, 상기 변환 전의 모드 번호 중 좌측 하부 방향에 대응하는 인트라 예측 모드를 포함하는 일정수의 모드 번호를, 상기 변환 후의 모드 번호 중 우측 상부 방향에 대응하는 인트라 예측 모드를 포함하는 일정수의 모드 번호와 대응시키는 것을 특징으로 하는 인트라 예측 장치.
  2. 제1항에 있어서, 상기 변환 테이블은,
    상기 변환 전의 모드 번호 중 모드 번호 "2", "3", "4", "5", "6", 및 "7"을, 상기 변환 후의 모드 번호 중 모드 번호 "61", "62", "63", "64", "65" 및 "66"과 각각 대응시키는 것을 특징으로 하는 인트라 예측 장치.
  3. 휘도 신호 및 색차 신호에 의해 구성되는 화상을 분할하여 얻어진 휘도 블록 및 색차 블록에 대하여 인트라 예측을 행하는 인트라 예측 장치에 있어서,
    상기 색차 블록에 적용할 인트라 예측 모드의 후보 중 하나로서, 상기 색차 블록에 대응하는 상기 휘도 블록에 적용한 인트라 예측 모드의 모드 번호를 특정하는 색차 후보 특정부와,
    수평 방향에 있어서 상기 휘도 신호의 해상도에 대한 상기 색차 신호의 해상도의 비가, 수직 방향에 있어서 상기 휘도 신호의 해상도에 대한 상기 색차 신호의 해상도의 비와 다른 포맷이 상기 색차 블록 및 상기 대응하는 휘도 블록에 적용되는 경우, 변환 테이블을 이용하여, 상기 색차 후보 특정부에 의해 특정된 변환 전의 모드 번호를 변환하고 변환 후의 모드 번호를 출력하는 색차 예측 모드 변환부를 포함하고,
    상기 변환 테이블은,
    방향성 예측에 대해서, 상기 변환 전의 모드 번호 중 모드 번호가 작은 순으로 일정수의 모드 번호를, 상기 변환 후의 모드 번호 중 모드 번호가 큰 순으로 일정수의 모드 번호와 대응시키는 것을 특징으로 하는 인트라 예측 장치.
  4. 제3항에 있어서, 상기 변환 테이블은,
    상기 변환 전의 모드 번호 중 모드 번호 "2", "3", "4", "5", "6", 및 "7"을, 상기 변환 후의 모드 번호 중 모드 번호 "61", "62", "63", "64", "65" 및 "66"과 각각 대응시키는 것을 특징으로 하는 인트라 예측 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 기재된 인트라 예측 장치를 포함하는 것을 특징으로 하는 화상 복호 장치.
  6. 컴퓨터를 제1항 내지 제4항 중 어느 한 항에 기재된 인트라 예측 장치로서 기능시키는 것을 특징으로 하는 매체에 저장된 프로그램.
KR1020227034512A 2019-06-25 2020-06-23 인트라 예측 장치, 화상 복호 장치, 및 프로그램 KR20220138876A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2019-117928 2019-06-25
JP2019117928 2019-06-25
PCT/JP2020/024675 WO2020262408A1 (ja) 2019-06-25 2020-06-23 イントラ予測装置、画像復号装置、及びプログラム
KR1020217042048A KR102452870B1 (ko) 2019-06-25 2020-06-23 인트라 예측 장치, 화상 복호 장치, 및 프로그램

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217042048A Division KR102452870B1 (ko) 2019-06-25 2020-06-23 인트라 예측 장치, 화상 복호 장치, 및 프로그램

Publications (1)

Publication Number Publication Date
KR20220138876A true KR20220138876A (ko) 2022-10-13

Family

ID=74060616

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227034512A KR20220138876A (ko) 2019-06-25 2020-06-23 인트라 예측 장치, 화상 복호 장치, 및 프로그램
KR1020217042048A KR102452870B1 (ko) 2019-06-25 2020-06-23 인트라 예측 장치, 화상 복호 장치, 및 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217042048A KR102452870B1 (ko) 2019-06-25 2020-06-23 인트라 예측 장치, 화상 복호 장치, 및 프로그램

Country Status (6)

Country Link
US (1) US11431970B2 (ko)
EP (1) EP3993411A4 (ko)
JP (3) JP7030246B2 (ko)
KR (2) KR20220138876A (ko)
CN (2) CN116866574A (ko)
WO (1) WO2020262408A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114208167A (zh) * 2019-08-06 2022-03-18 寰发股份有限公司 具有帧内预测模式映射的视频数据的编码或解码方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012176405A1 (ja) 2011-06-20 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
JP6013513B2 (ja) * 2012-01-20 2016-10-25 パンテック カンパニー リミテッド 画面内予測方法及び画像復号化装置
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
SI3697090T1 (sl) 2013-03-29 2022-04-29 Jvckenwood Corporation Naprava za dekodiranje slik, postopek za dekodiranje slik, program za dekodiranje slik
EP2983360A4 (en) * 2013-04-05 2016-11-16 Mitsubishi Electric Corp COLOR IMAGE DEVICE, COLOR IMAGE DECODER, COLOR IMAGE PROCESS AND COLOR IMAGE DECODING METHOD
AU2013202653A1 (en) 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
CN110089115B (zh) * 2016-08-26 2021-07-06 夏普株式会社 图像解码装置、图像编码装置
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
JP2019117928A (ja) 2017-12-26 2019-07-18 京セラ株式会社 電極内蔵構造体およびこれを備える静電チャック
CN117692638A (zh) * 2018-04-01 2024-03-12 有限公司B1影像技术研究所 图像编码/解码方法、介质和传送比特流的方法
US10999596B2 (en) * 2018-06-19 2021-05-04 Qualcomm Incorporated Unification of affine motion field derivation and affine motion compensation
US10897617B2 (en) * 2018-07-24 2021-01-19 Qualcomm Incorporated Rounding of motion vectors for adaptive motion vector difference resolution and increased motion vector storage precision in video coding
US11019332B2 (en) * 2019-03-29 2021-05-25 Qualcomm Incorporated Chroma intra prediction in video coding
US11172200B2 (en) * 2019-06-24 2021-11-09 Qualcomm Incorporated Intra-prediction mode for screen content coding of video coding
US11825101B2 (en) * 2020-10-05 2023-11-21 Qualcomm Incorporated Joint-component neural network based filtering during video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
[비특허문헌 1] JVET-M1001 Versatile Video Coding(Draft 4)

Also Published As

Publication number Publication date
US20220124324A1 (en) 2022-04-21
JP7242930B2 (ja) 2023-03-20
JP7415067B2 (ja) 2024-01-16
WO2020262408A1 (ja) 2020-12-30
JP7030246B2 (ja) 2022-03-04
KR102452870B1 (ko) 2022-10-07
JPWO2020262408A1 (ko) 2020-12-30
KR20220002697A (ko) 2022-01-06
EP3993411A4 (en) 2022-08-10
CN114097224A (zh) 2022-02-25
JP2023071949A (ja) 2023-05-23
EP3993411A1 (en) 2022-05-04
US11431970B2 (en) 2022-08-30
CN116866574A (zh) 2023-10-10
US20220385894A1 (en) 2022-12-01
JP2022084603A (ja) 2022-06-07
CN114097224B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
KR102064154B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20220151140A (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR102081350B1 (ko) 인트라 예측 방법과 이를 이용한 부호화기 및 복호화기
WO2021004152A1 (zh) 图像分量的预测方法、编码器、解码器以及存储介质
JP7424982B2 (ja) 画像符号化装置、画像復号装置、及びプログラム
JP7357736B2 (ja) 符号化装置、復号装置、及びプログラム
KR20180039323A (ko) 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
JP7415067B2 (ja) イントラ予測装置、画像復号装置、及びプログラム
JP2023138826A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7451161B2 (ja) 符号化装置、復号装置、及びプログラム
JP7441638B2 (ja) 符号化装置、復号装置、及びプログラム
JP7219030B2 (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム
US11997262B2 (en) Intra prediction device, image decoding device and program
JP7361498B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
WO2021100450A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7388900B2 (ja) 符号化装置、復号装置、及びプログラム
JP7396883B2 (ja) 符号化装置、復号装置、及びプログラム
JP7444599B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
KR20180040827A (ko) 부호화 유닛의 그룹을 사용하는 비디오 코딩 방법 및 장치
JP2023086397A (ja) イントラ予測装置、復号装置、及びプログラム
KR20210135250A (ko) 화상 부호화 장치, 화상 복호 장치 및 프로그램

Legal Events

Date Code Title Description
A107 Divisional application of patent