KR102673135B1

KR102673135B1 - 화상 처리 장치 및 화상 처리 방법

Info

Publication number: KR102673135B1
Application number: KR1020247003320A
Authority: KR
Inventors: 마사루 이케다
Original assignee: 소니그룹주식회사
Priority date: 2018-03-29
Filing date: 2018-12-20
Publication date: 2024-06-10
Also published as: KR20240019383A; EP3780602A4; RU2020131227A3; JP2023101812A; PH12020551525A1; TWI824940B; CN116634149A; TW202325024A; JP7294322B2; TWI800624B; AU2018416684B2; JPWO2019187412A1; MX2020009875A; US20230239471A1; CA3094818A1; AU2018416684A1; KR102632984B1; BR112020019125A2; TW202406345A; TW201946467A

Abstract

본 발명은 화상 처리 장치 및 화상 처리 방법을 제공한다. 부호화 스트림을 복호하여 복호 화상을 생성하는 복호부와, 상기 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 판정부와, 상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 필터링부를 구비하는, 화상 처리 장치.

Description

화상 처리 장치 및 화상 처리 방법 {IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 개시는, 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

영상 부호화 방식의 표준 사양의 하나인 H.265/HEVC에서는, 부호화 시에 발생하는 블록 변형에 기인하는 화질의 열화를 억제하기 위해, 복호 화상의 블록 경계에 디블록 필터가 적용된다. H.265/HEVC에서는, 휘도 성분에 적용될 수 있는 디블록 필터가 위크 필터와 스트롱 필터의 2종류인 한편, 색차 성분에 적용될 수 있는 디블록 필터는 위크 필터의 1종류뿐이었다.

또한, 현재, H.265/HEVC보다도 부호화 효율을 더 향상시킬 것을 목적으로 하여, ITU-T와 ISO/IEC의 공동의 표준화 단체인 JVET(Joint Video Experts Team)에 의해, 차세대의 영상 부호화 방식인 FVC(Future Video Coding)의 표준화 작업이 진행되고 있다(예를 들어, 비특허문헌 1 참조).

FVC의 표준화 작업에서는, 하기 비특허문헌 2에 있어서, 색차 성분에 적용될 수 있는 디블록 필터를, 휘도 성분에 적용될 수 있는 디블록 필터와 마찬가지로 2종류로 변경하고, 색차 성분에 대해서도 스트롱 필터가 적용될 수 있는 방법이 제안되어 있다.

J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, "Algorithm Description of Joint Exploration Test Model(JEM7)", JVET-G1001, Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017 Seung-Hwan Kim, Jie Zhao, Misra Kiran and Andrew Segall, "Improvement of chroma deblocking filter", JVET-D0108, Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15-21O ctober 2016

상기와 같은 디블록 필터의 적용 필요 여부는, 블록 경계의 경계 강도를 사용하여 판정되어 있고, 블록 경계의 경계 강도의 산출은, 색차 성분의 정보가 사용되는 일 없이, 휘도 성분의 정보에 기초하여 행해지고 있었다. 그러나, 복호 화상의 색차 성분에 대한 디블록 필터의 적용 필요 여부를, 휘도 성분의 정보에 기초하여 특정되는 경계 강도를 사용하여 판정하면, 적절하게 디블록 필터를 적용할 수 없어, 블록 변형이 남아 버릴 우려가 있었다.

그래서, 본 개시에서는, 복호 화상의 색차 성분에 대하여, 더 적절하게 디블록 필터를 적용하는 것이 가능한 구조를 제안한다.

본 개시에 의하면, 부호화 스트림을 복호하여 복호 화상을 생성하는 복호부와, 상기 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 판정부와, 상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 필터링부를 구비하는, 화상 처리 장치가 제공된다.

또한, 본 개시에 의하면, 부호화 스트림을 복호하여 복호 화상을 생성하는 것과, 상기 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 것과, 상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 것을 포함하는 화상 처리 방법이 제공된다.

또한, 본 개시에 의하면, 로컬 복호된 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 판정부와, 상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 필터링부와, 상기 필터링부에 의해 상기 디블록 필터가 적용된 상기 복호 화상을 사용하여, 화상을 부호화하는 부호화부를 구비하는 화상 처리 장치.

또한, 본 개시에 의하면, 로컬 복호된 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 것과, 상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 것과, 상기 디블록 필터가 적용된 상기 복호 화상을 사용하여, 화상을 부호화하는 것을 포함하는 화상 처리 방법이 제공된다.

이상 설명한 바와 같이 본 개시에 의하면, 복호 화상의 색차 성분에 대하여, 더 적절하게 디블록 필터를 적용하는 것이 가능하다.

또한, 상기한 효과는 반드시 한정적인 것은 아니고, 상기한 효과와 함께, 또는 상기한 효과 대신에, 본 명세서에 나타난 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.

도 1은 HEVC에 있어서의 bS의 산출에 대하여 설명하기 위한 표이다.
도 2는 비특허문헌 2에 있어서의 bS의 산출에 대하여 설명하기 위한 표이다.
도 3은 수직의 블록 경계 BB를 사이에 두고 인접하는, 2개의 블록 Bp 및 블록 Bq내의 색차 성분(U성분, V성분)의 화소의 일례를 나타내는 설명도이다.
도 4는 본 개시의 일 실시 형태에 있어서의 bS의 산출에 대하여 설명하기 위한 표이다.
도 5는 동 실시 형태에 관한 화상 처리 장치의 일 양태인 화상 부호화 장치(10)의 구성의 일례를 나타내는 블록도이다.
도 6은 동 실시 형태에 관한 화상 처리 장치의 일 양태인 화상 복호 장치(60)의 구성의 일례를 나타내는 블록도이다.
도 7은 동 실시 형태에 관한 디블록 필터(26)의 상세한 구성의 일례를 나타내는 블록도이다.
도 8은 경계 강도 산출부(261)에 의해 산출되는 bS의 일례를 나타내는 표이다.
도 9는 동 실시 형태에 관한 디블록 필터(26)에 의한 처리의 흐름의 일례를 나타내는 흐름도이다.
도 10은 경계 강도 산출부(261)에 의해 실행되는 경계 강도 산출 처리의 흐름을 설명하기 위한 흐름도이다.
도 11은 경계 강도 산출부(261)에 의해 산출되는 bS의 변형예를 나타내는 표이다.
도 12a는 도 11의 변형예에 대응하는 경계 강도 산출 처리의 흐름의 일례를 설명하기 위한 흐름도 전반부이다.
도 12b는 도 11의 변형예에 대응하는 경계 강도 산출 처리의 흐름의 일례를 설명하기 위한 흐름도 후반부이다.
도 13은 하드웨어 구성예를 나타내는 설명도이다.
도 14는 bS의 산출의 일 변형예를 나타내는 표이다.

이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.

또한, 본 명세서에서 개시되는 범위는, 실시예의 내용에 한정되는 것은 아니고, 출원 당시에 있어서 공지로 되어 있는 이하의 참조 문헌 REF1 내지 REF3의 내용도, 참조에 의해 본 명세서에 포함된다. 즉, 이하의 참조 문헌 REF1 내지 REF3에 기재되어 있는 내용도 서포트 요건에 대하여 판단할 때의 근거가 된다. 예를 들어, 참조 문헌 REF2에 기재되어 있는 Quad-Tree Block Structure, 참조 문헌 REF3에 기재되어 있는 QTBT(Quad Tree Plus Binary Tree) Block Structure가 발명의 상세한 설명에 있어서 직접적으로 정의되어 있지 않은 경우에도, 본 개시의 범위 내이고, 특허 청구범위의 서포트 요건을 만족시키는 것으로 한다. 또한, 예를 들어 파싱(Parsing), 신택스(Syntax), 시맨틱스(Semantics) 등의 기술 용어에 대해서도 마찬가지로, 발명의 상세한 설명에 있어서 직접적으로 정의되어 있지 않은 경우에도, 본 개시의 범위 내이고, 특허 청구범위의 서포트 요건을 만족시키는 것으로 한다.

REF1: Recommendation ITU-T H.264(04/2017) "Advanced video coding for generic audiovisual services", April 2017

REF2: Recommendation ITU-T H.265, (12/2016) "High efficiency video coding", December 2016

REF3: J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, "Algorithm Description of Joint Exploration Test Model(JEM7)", JVET-G1001, Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017

또한, 이하에는, 특별히 기재가 없는 경우, YUV 420 포맷의 신호를 예로 들어 설명을 행하고, 휘도 성분을 Y성분, 색차 성분을 U성분, V성분으로 하여 나타내는 경우가 있다. 단, 이하에 설명하는 기술은, YUV 444 포맷이나 YUV 422 포맷 등, 다른 포맷의 신호에 대해서도 마찬가지로 적용하는 것이 가능하다. 또한, 휘도 성분과 색차 성분의 표현은, 대상으로 하는 신호에 따라 다른 것이고, 예를 들어 휘도 성분과 색차 성분이 YCbCr로 표현되는 신호에 대해서도, 이하에 설명하는 기술을 마찬가지로 적용하는 것이 가능하다.

또한, 본 명세서에 있어서 사용되는 이하의 용어는, 하기와 같이 정의된다.

색차 관련 파라미터란, 색차에 관련되는 파라미터 전반을 의미한다. 예를 들어, 색차 관련 파라미터는, 각 TU(Transform Unit)에 포함되는 색차 성분의 변환 계수나, 각 TU에 있어서의 색차 성분의 유의 계수(비제로의 변환 계수)의 유무를 나타내는 플래그 등, 색차 성분의 변환 계수에 관한 정보를 포함할 수 있다. 단, 색차 관련 파라미터는 이러한 예에 한정되지 않고, 색차에 관련되는 다양한 파라미터일 수 있다.

디블록 필터 적용 필요 여부란, 디블록 필터를 적용해야 할지 여부를 의미한다. 예를 들어, 디블록 필터 적용 필요 여부를 판정하는 것이란, 디블록 필터를 적용해야 할지 여부를 판정하는 것을 의미한다. 또한, 디블록 필터 적용 필요 여부의 판정 결과란, 디블록 필터를 적용해야 할지 여부를 판정한 결과이고, 예를 들어 당해 판정 결과는, 적용하거나, 혹은 적용하지 않아도 되는 것의 어느 것을 나타내는 정보일 수 있다.

라지 블록 판정이란, 판정 대상으로 되는 블록이 큰 블록인지 여부의 판정을 의미한다. 본 명세서에 있어서, 판정 대상으로 되는 블록은, 후술하는 바와 같이, 블록 경계를 사이에 두는 블록일 수 있다. 또한, 라지 블록 판정은, 블록의 크기(블록 사이즈)를 소정의 역치와 비교함으로써 행해질 수 있다. 또한, 라지 블록 판정이 행해지는 케이스나, 라지 블록 판정의 상세에 대해서는 후술한다.

또한, 설명은 이하의 순서로 행하는 것으로 한다.

1. 개요

1-1. 기존의 디블록 필터

1-2. 본 개시에 관한 기술의 개요

2. 장치의 개요

2-1. 화상 부호화 장치

2-2. 화상 복호 장치

3. 디블록 필터

3-1. 구성예

3-2. 처리의 흐름

3-3. 변형예

4. 하드웨어 구성예

5. 결론

<1. 개요>

[1-1. 기존의 방법]

HEVC 등의 기존의 화상 부호화 방식에 있어서의 디블록 필터에 관한 처리는, 적용 필요 여부 판정 처리, 필터 강도의 판정 처리 및 필터링 처리(필터 적용 처리)를 포함한다. 이하에는, 기존의 디블록 필터에 관한 처리에 대하여, HEVC의 디블록 필터를 예로 들어 설명한다. 또한, 이하에는, 복호 화상(부호화 시에 로컬 복호된 화상도 포함함)의 색차 성분에 대한 디블록 필터에 대하여 주로 설명하고, 복호 화상의 휘도 성분에 대한 디블록 필터에 관한 설명은 적절히 생략한다.

디블록 필터에 관한 처리로서, 먼저 적용 필요 여부 판정 처리가 행해진다. 적용 필요 여부 판정 처리는, 복호 화상의 블록 경계(Block Boundary)에 디블록 필터를 적용해야 할지 여부를 판정하는 처리이다. 또한, HEVC에 있어서, 블록 경계는, 참조 문헌 REF2에 기재되어 있는 Quad-Tree Block Structure의 블록 구조에 기초하여 특정된다. 구체적으로는, 최소의 블록 단위인 8×8화소 블록(샘플 그리드)의 에지 중, TU(Transform Unit) 경계 혹은 PU(Prediction Unit) 경계 중 적어도 어느 한쪽이라는 조건을 만족시키는 에지가, HEVC에 있어서의 블록 경계로서 특정된다.

적용 필요 여부 판정 처리는, 블록 경계의 경계 강도(Boundary Strength: 이하, bS라고 칭하는 경우가 있음)에 기초하여 행해진다. HEVC에 있어서 bS는, 특정된 블록 경계의 4라인마다 산출된다. 블록 경계가 수직 경계인 경우에는, 상기 라인은, 수직 경계와 직교하는 행에 상당한다. 또한, 블록 경계가 수평 경계인 경우에는, 상기 라인은, 수평 경계와 직교하는 열에 상당한다.

도 1은, HEVC에 있어서의 bS의 산출에 대하여 설명하기 위한 표이다. 도 1에 나타낸 바와 같이, HEVC에 있어서 bS는, 인트라 예측에 관한 조건인 조건 A, Y성분의 유의 계수에 관한 조건인 조건 B1 및 움직임 벡터(MV)와 참조 픽처에 관한 조건인 조건 B2의 진위(만족되거나 만족되지 않거나)에 기초하여 산출된다. 도 1을 참조하면, 조건 A가 진인 경우에 bS는 2로 설정된다. 또한, 조건 A가 위이고, 조건 B1, 조건 B2 중 적어도 한쪽이 진인 경우에 bS는 1로 설정된다. 그리고, 조건 A, 조건 B1 및 조건 B2가 모두 위인 경우에 bS는 0으로 설정된다. 또한, 도 1에 나타내는 조건 A, 조건 B1, 조건 B2는, 이하와 같은 조건이다.

-조건 A: bS 산출 대상의 라인 중 가장 위의 라인의 화소를 포함하여 블록 경계를 사이에 두는 CU(Coding Unit) 중 적어도 어느 한쪽의 부호화 모드가 인트라 예측 모드이다

-조건 B1: 블록 경계가 TU 경계이고, bS 산출 대상의 라인 중 가장 위의 라인의 화소를 포함하여 블록 경계를 사이에 두는 2개의 TU 중 적어도 어느 한쪽에 Y성분의 유의 계수가 존재한다

-조건 B2: bS 산출 대상의 라인 중 가장 위의 라인의 화소를 포함하여 블록 경계를 사이에 두는 2개의 CU 사이에서, MV의 차의 절댓값이 1화소 이상, 또는 움직임 보상의 참조 픽처가 다르거나, MV의 수가 다르다

또한, HEVC에 있어서는, 상기와 같이 설정된 bS가 1 이상인 블록 경계를 대상으로, 복호 화상의 휘도 성분(Y성분)에 대한 디블록 필터가 적용될 수 있다. 그 때문에, HEVC에 있어서, 조건 B1, 조건 B2가 만족되는지 여부에 따라, 복호 화상의 휘도 성분에 대한 디블록 필터의 적용 필요 여부의 판정 결과는 다를 수 있다.

또한, HEVC에 있어서, 복호 화상의 휘도 성분에 대한 디블록 필터로서, 필터 강도가 큰 스트롱 필터와, 필터 강도가 작은 위크 필터가 준비되어 있다. bS가 1 이상인 경우, 복호 화상의 휘도 성분에 대한 디블록 필터에 관한 처리는, 가일층의 조건에 기초하는 가일층의 적용 필요 여부 판정 처리가 행해진 후에, 필터 강도의 판정 처리, 필터링 처리로 이어진다. 이들 처리의 상세에 대해서는 상기 참조 문헌 REF2에 기재되어 있고, 여기서의 설명은 생략한다.

한편, HEVC에 있어서의 복호 화상의 색차 성분(U성분, V성분)에 대한 디블록 필터는, bS가 2인 블록 경계만을 대상으로 하여 적용된다. 그 때문에, 도 1에 나타낸 바와 같이, 조건 B1, 조건 B2가 만족되는지 여부는, HEVC에 있어서, 복호 화상의 색차 성분에 대한 디블록 필터의 적용 필요 여부 판정에 영향을 끼치지 않는다.

또한, HEVC에 있어서, 복호 화상의 색차 성분에 대하여 적용될 수 있는 디블록 필터는 위크 필터뿐이다. 그 때문에, 복호 화상의 색차 성분에 대하여, 필터 강도의 판정 처리는 불필요하고, bS가 2인 경우에는, 복호 화상의 색차 성분에 대하여 위크 필터가 적용된다.

그런데, 상기 참조 문헌 REF3에 기재된 바와 같이, FVC에 있어서의 QTBT Block Structure에 의한 블록 분할에서는, HEVC에 있어서의 Quad-Tree Block Structure에 의한 블록 분할보다도, 더 큰 사이즈의 블록이 선택될 수 있다. 편평한 영역(영역 내의 화소값의 변화가 작은 영역)에 있어서의 블록의 사이즈가 큰 경우, 블록 변형이 발생하기 쉽다. 그 때문에, 더 큰 사이즈의 블록이 선택될 수 있는 FVC에 있어서, HEVC와 마찬가지로 복호 화상의 색차 성분에 대하여 적용될 수 있는 디블록 필터를 위크 필터만으로 한 경우, 색차 성분에 있어서, 현저한 블록 변형이 남아 버릴 우려가 있었다. 이러한 상황을 감안하여, 복호 화상의 색차 성분에 대한 디블록 필터를 개선하는 것이 요망되고 있다.

예를 들어, 비특허문헌 2에서는, 색차 성분에 적용될 수 있는 디블록 필터를, 휘도 성분에 적용될 수 있는 디블록 필터와 마찬가지로 2종류로 변경하고, 색차 성분에 대해서도, 스트롱 필터를 적용할 수 있는 방법이 제안되어 있다. 또한, 비특허문헌 2에서는, bS가 2인 경우뿐만 아니라, bS가 1인 경우라도, 복호 화상의 색차 성분에 대하여 디블록 필터가 적용될 수 있는 것이 기재되어 있다.

도 2는, 비특허문헌 2에 있어서의 bS의 산출에 대하여 설명하기 위한 표이다. 도 2에 나타낸 바와 같이, 비특허문헌 2에 있어서, 도 2에 나타낸 HEVC의 예와 마찬가지로, 상술한 조건 A, 조건 B1, 조건 B2에 기초하여 bS가 산출된다. 단, 상술한 바와 같이, 비특허문헌 2에서는, bS가 2인 경우뿐만 아니라, bS가 1인 경우에도 복호 화상의 색차 성분에 대하여 디블록 필터가 적용될 수 있다. 그 때문에, 도 2에 나타낸 바와 같이, 비특허문헌 2에 있어서, 조건 B1, 조건 B2가 만족되는지 여부에 따라, 복호 화상의 색차 성분(U성분, V성분)에 대한 디블록 필터의 적용 필요 여부의 판정 결과는 다를 수 있다.

이하에는, 비특허문헌 2에 있어서 복호 화상의 색차 성분에 적용될 수 있는 디블록 필터에 관한, 적용 필요 여부 판정 처리, 필터 강도의 판정 처리 및 필터링 처리에 대하여, 도 3을 참조하면서 설명한다. 도 3은, 수직의 블록 경계 BB를 사이에 두고 인접하는, 2개의 블록 Bp 및 블록 Bq 내의 색차 성분(U성분, V성분)의 화소의 일례를 나타내는 설명도이다. 또한, 여기서는 수직 경계를 예로 들어 설명하지만, 당연히, 여기서 설명되는 사항은 수평 경계에도 마찬가지로 적용 가능하다. 또한, 도 3에는, 색차 성분에 있어서 블록 Bp 및 블록 Bq가 4×4인 예를 나타내고 있지만, 여기서 설명되는 사항은, 다른 사이즈의 블록에도 마찬가지로 적용 가능하다.

도 3의 예에 있어서, 블록 Bp 내의 색차 성분의 화소는, p_{i, j}라는 기호로 나타나 있다. i는 열의 인덱스, j는 행의 인덱스이다. 열의 인덱스 i는, 블록 경계 BB에 가까운 열로부터 차례로(도면 중 좌측으로부터 우측으로) 0, 1, 2, 3으로 번호 부여되어 있다. 행의 인덱스 j는, 위로부터 아래로 0, 1, 2, 3으로 번호 부여되어 있다. 한편, 블록 Bq 내의 색차 성분의 화소는, q_{k, j}라는 기호로 나타나 있다. k는 열의 인덱스, j는 행의 인덱스이다. 열의 인덱스 k는, 블록 경계 BB에 가까운 열로부터 차례로(도면 중 우측으로부터 좌측으로) 0, 1, 2, 3으로 번호 부여되어 있다.

도 2를 참조하여 설명한 바와 같이 bS가 산출된 후, 이하와 같이 3개의 조건을 사용하여, 적용 필요 여부 판정 처리 및 필터 강도의 판정 처리가 행해진다. 이러한 처리는, YUV 420 포맷의 경우, 색차 성분에 있어서의 2라인마다 행해지고, 예를 들어 도 3에 나타내는 예에서는 라인 L11과 라인 L12에 관한 판정과, 라인 L21과 라인 L22에 관한 판정이 따로따로 행해진다. 또한, 라인마다의 판정은, 판정 대상의 라인의 화소를 사용하여 행해진다. 이하에는, 라인 L11과 라인 L12를 예로 들어, 적용 필요 여부 판정 처리, 필터 강도의 판정 처리 및 필터링 처리에 대하여 설명한다.

먼저, 적용 필요 여부 판정 처리에서는, 이하의 조건 C91 및 조건 C92가 진 인지 여부가 차례로 판정된다.

-조건 C91: (bS==2||bS==1&&(block_width>16&&block_height>16)))

-조건 C92: d<beta

또한, 상기한 조건 C91에 있어서 block_width 및 block_height는, 도 3에 나타낸 바와 같이, 각각 판정의 대상으로 되는 블록 경계에 관한 블록(예를 들어, CU)의 수평 방향의 사이즈와 수직 방향의 사이즈이다.

또한, 상기 조건 C92에 있어서의 변수 beta는, 에지 판정 역치이고, 변수 beta의 초기값은, 양자화 파라미터에 따라 부여된다. 또한 변수 beta의 값은, 슬라이스 헤더 내의 파라미터로 유저에 의해 지정 가능하다. 또한, 상기 조건 C92에 있어서의 변수 d는, 이하의 식(1) 내지 (7)에 의해 산출된다.

또한, 상기 조건 C92는, 참조되는 라인이 다른 것을 제외하고, HEVC에 있어서 휘도 성분에 적용되는 디블록 필터의 적용 필요 여부 판정 처리에 있어서 사용되는 조건(이하, 휘도 성분에 있어서의 조건이라고 칭함)과 마찬가지이다. 휘도 성분에 있어서의 조건에서는 1라인째의 화소와 4라인째의 화소가 참조되어, 4라인마다 판정이 행해지고 있었다. 한편, YUV 420 포맷에서는, 색차 성분(U성분, V성분)의 화소 밀도가 휘도 성분의 화소 밀도의 절반이기 때문에, 상기 조건 C92에서는, 1 라인째인 라인 L11의 화소와 2라인째인 라인 L12의 화소가 참조되어 2라인마다 판정이 행해진다.

상기 조건 C91, 조건 C92 중 적어도 어느 한쪽이 위인 경우에는, 복호 화상의 색차 성분에 디블록 필터가 적용되지 않는다. 한편, 상기 조건 C91, 조건 C92의 양쪽이 진인 경우, 처리는 필터 강도의 판정 처리로 진행된다.

필터 강도의 판정 처리에서는, 스트롱 필터와 위크 필터 중, 어느 필터를 적용할지 판정하기 위해, 이하의 조건 C93이 진인지 여부가 판정된다.

-조건 C93:(block_width>16&&block_height>16)

또한, 상기한 조건 C93에 있어서의 block_width 및 block_height는, 조건 C91에 있어서의 block_width 및 block_height와 마찬가지로, 각각 판정의 대상으로 되는 블록 경계에 관한 블록의 수평 방향의 사이즈와 수직 방향의 사이즈이다.

상기 조건 C93이 진인 경우에는, 대상으로 되는 블록 경계에 있어서 복호 화상의 색차 성분에 스트롱 필터가 적용되고, 상기 조건 C93이 위인 경우에는, 대상으로 되는 블록 경계에 있어서 복호 화상의 색차 성분에 위크 필터가 적용된다.

비특허문헌 2에 있어서 색차 성분에 적용되는 스트롱 필터는, HEVC에 있어서 휘도 성분에 적용되는 스트롱 필터와 마찬가지이고, 이하의 식(8) 내지 (13)과 같이 표현된다.

또한, 상기한 식(8) 내지 (13)에 있어서, p_i 및 q_k는 디블록 필터 적용 전의 색차 성분의 화소값이다. 또한, p_i', 및 q_k'은, 디블록 필터 적용 후의 색차 성분의 화소값이다. 여기서, i 및 k는 각각 상술한 블록 Bp, 블록 Bq 내의 열의 인덱스이고, 식(8) 내지 (13)에서는 행의 인덱스는 생략되어 있다. 또한, t_C는 양자화 파라미터에 따라 부여되는 파라미터이다. 또한, Clip3(a, b, c)은, 값 c를 a≤c≤b의 범위에서 클립하는 클리핑 처리를 나타낸다.

비특허문헌 2에 있어서 색차 성분에 적용되는 위크 필터는, HEVC에 있어서 색차 성분에 적용되는 위크 필터와 동일하기 때문에, 여기서의 설명은 생략한다.

이상, 비특허문헌 2에 있어서 복호 화상의 색차 성분에 적용될 수 있는 디블록 필터에 관한 처리에 대하여 설명했다. 상술한 방법에 의하면, 휘도 성분에 대해서뿐만 아니라, 색차 성분에 대해서도, 조건에 따라 스트롱 필터를 적용하는 것이 가능하다.

그러나, 도 2를 참조하여 설명한 바와 같이, 비특허문헌 2에 있어서 bS의 산출에 사용되는 조건 B1은 HEVC의 경우와 마찬가지로 휘도 성분(Y성분)의 유의 계수의 유무에 의존하고 있고, 기타의 조건을 포함해도, 색차 성분(U성분, V성분)의 정보가 사용되어 있지 않다. 그러나, 휘도 성분의 공간 패턴과 색차 성분 각각의 공간 패턴은, 반드시 일치하지는 않는다. 따라서, 색차 성분에 대한 디블록 필터의 적용 필요 여부의 판정을, 휘도 성분의 정보에 기초하는 조건에 따라 행하면, 블록 변형이 발생하고 있음에도, 적절하게 디블록 필터가 적용되지 않아, 블록 변형이 남아 버릴 우려가 있었다.

또한, bS가 1인 경우, 비특허문헌 2에 있어서 적용 필요 여부 판정 처리에 사용되는 조건 C91이 진으로 되기 위해서는, 판정의 대상으로 되는 블록 경계에 관한 블록의 수평 방향의 사이즈와 수직 방향의 사이즈의 양쪽이 16보다 클 필요가 있다. 그러나, 참조 문헌 REF3에 기재된 바와 같이, FVC에 있어서의 블록(예를 들어, CU)의 형상은, 정사각형뿐만 아니라, 비정사각형인 직사각형일 수 있다. 그리고, 블록 변형은, 블록 경계와 동일한 방향의 사이즈보다도, 블록 경계와 직교하는 방향의 사이즈에 의존하여 발생하기 쉬운 경향이 있다. 그 때문에, 블록의 형상에 따라서는, 비특허문헌 2의 적용 필요 여부 판정 처리에서는, 적절하게 디블록 필터가 적용되지 않고, 블록 변형이 남아 버릴 우려가 있었다.

또한, 비특허문헌 2에 있어서의 스트롱 필터는, HEVC에 있어서 적용되는 스트롱 필터와 마찬가지이다. 한편, 상술한 바와 같이, FVC에서는, HEVC에 있어서의 블록 분할보다도, 더 큰 사이즈의 블록이 선택될 수 있기 때문에, 비특허문헌 2에 있어서의 스트롱 필터를 적용한다고 해도, 충분히 블록 변형을 경감시킬 수 없을 우려가 있었다.

[1-2. 본 개시의 일 실시 형태의 개요]

그래서, 상기 사정을 일 착안점으로 하여 본 개시의 일 실시 형태를 창작하는 데 이르렀다. 본 개시의 일 실시 형태에 의한 화상 처리 장치는, 복호 화상의 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도(bS)에 기초하여, 복호 화상의 색차 성분에 대한 디블록 필터 적용의 필요 여부를 판정하는 적용 필요 여부 판정 처리를 행한다. 이하, 본 개시의 일 실시 형태의 개요에 대하여 설명한다.

도 4는, 본 실시 형태에 있어서의 bS의 산출에 대하여 설명하기 위한 표이다. 도 4에 나타낸 바와 같이, 인트라 예측에 관한 조건인 조건 A, Y성분의 유의 계수에 관한 조건인 조건 B1-Y, U성분의 유의 계수에 관한 조건인 조건 B1-U, V성분의 유의 계수에 관한 조건인 조건 B1-V 및 MV와 참조 픽처에 관한 조건인 조건 B2에 기초하여 산출된다.

도 4를 참조하면, 조건 A가 진인 경우에 bS는 16으로 설정된다. 또한, 조건 A가 위이고, 조건 B2가 진인 경우, bS는 1로 설정된다. 그리고, 조건 A와 조건 B2가 위이고, 또한 조건 B1-Y, 조건 B1-U 및 조건 B1-V 중 어느 하나라도 진인 경우, bS는 2 내지 14 사이의 값으로 설정된다. 그리고, 조건 A, 조건 B1-Y, 조건 B1-U, 조건 B1-V 및 조건 B2가 모두 위인 경우에 bS는 0으로 설정된다. 또한, 도 4에 나타내는 조건 A, 조건 B1-Y, 조건 B2는, 각각 도 1을 참조하여 설명한 조건 A, 조건 B1, 조건 B2와 동일하다. 또한, 본 실시 형태에 관한 bS의 산출 방법에 대해서는 나중에 더 상세하게 설명한다.

또한, 도 4에 나타내는 조건 B1-U 및 조건 B1-V는, 조건 B1-Y에 있어서의 Y성분의 유의 계수의 유무 대신에 각각 U성분의 유의 계수의 유무 및 V성분의 유의 계수의 유무를 판정에 사용하는 조건에 상당하고, 이하와 같이 표현된다. 또한, 이하의 조건 B1-U 및 조건 B1-V의 진위는, 각 TU에 있어서의 색차 성분의 유의 계수의 유무를 나타내는 플래그(색차 관련 파라미터의 일례)에 기초하여 판정하는 것이 가능하다.

-조건 B1-U: 블록 경계가 TU 경계이고, bS 산출 대상의 라인 중 가장 위의 라인의 화소를 포함하여 블록 경계를 사이에 두는 2개의 TU 중 적어도 어느 한쪽에 U성분의 유의 계수가 존재한다

-조건 B1-V: 블록 경계가 TU 경계이고, bS 산출 대상의 라인 중 가장 위의 라인의 화소를 포함하여 블록 경계를 사이에 두는 2개의 TU 중 적어도 어느 한쪽에 V성분의 유의 계수가 존재한다

본 실시 형태에서는, 상기와 같은 색차에 관련되는 조건 B1-U, 조건 B1-V를 사용하여 산출된 bS에 기초하여, 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부의 판정이 행해진다. 이러한 구성에 의해, 색차 성분에 대하여 더 적절하게 디블록 필터를 적용하는 것이 가능해진다.

또한, 본 실시 형태에서는, 후술하는 바와 같이, 블록 경계와 직교하는 방향의 사이즈에 더 기초하여, 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부의 판정이 행해진다. 이러한 구성에 의해, 블록의 형상이 비정사각형인 직사각형의 경우에도 더 적절하게 디블록 필터를 적용하는 것이 가능해진다.

또한, 본 실시 형태에서는, 후술하는 바와 같이, 비특허문헌 2에 있어서의 스트롱 필터보다도 강도가 큰(로우패스 특성이 강함) 스트롱 필터가 복호 화상의 색차 성분에 대하여 적용될 수 있다. 또한, 이러한 스트롱 필터를 더 적절하게 적용하기 위해, 본 실시 형태에서는, 비특허문헌 2에 있어서의 필터 강도의 판정 처리와는 다른 방법으로 필터 강도의 판정이 행해진다. 이러한 구성에 의해, 블록 변형을 더 경감할 수 있다.

이상, 본 개시의 일 실시 형태의 개요에 대하여 설명하였다. 이하에는, 상술한 효과를 실현하기 위한, 본 실시 형태의 구성 및 동작에 대하여 순차 상세하게 설명한다.

<2. 장치의 개략 구성>

먼저, 도 5 및 도 6을 사용하여, 본 명세서에서 개시하는 기술을 적용 가능한 일례로서의 장치의 개략 구성을 설명한다. 본 명세서에서 개시하는 기술은, 예를 들어 화상 부호화 장치 및 화상 복호 장치에 적용 가능하다.

[2-1. 화상 부호화 장치]

도 5는, 본 개시의 일실시 형태에 관한 화상 처리 장치의 일 양태인 화상 부호화 장치(10)의 구성의 일례를 나타내는 블록도이다.

도 5를 참조하면, 화상 부호화 장치(10)는, 재배열 버퍼(11), 제어부(12), 감산부(13), 직교 변환부(14), 양자화부(15), 가역 부호화부(16), 축적 버퍼(17), 역양자화부(21), 역직교 변환부(22), 가산부(23), 인루프 필터(24), 프레임 메모리(30), 스위치(31), 모드 설정부(32), 인트라 예측부(40) 및 인터 예측부(50)를 구비한다.

재배열 버퍼(11)는, 부호화해야 할 영상을 구성하는 일련의 화상을, 부호화 처리에 관한 GOP(Group of Pictures) 구조에 따라 재배열한다. 재배열 버퍼(11)는, 재배열 후의 화상을 제어부(12), 감산부(13), 인트라 예측부(40) 및 인터 예측부(50)로 출력한다.

제어부(12)는, 외부 또는 미리 지정된 처리 단위의 블록 사이즈에 기초하여, 화상을 처리 단위의 블록으로 분할한다. 제어부(12)에 의한 블록 분할에 의해, Quad-Tree Block Structure, 또는 QTBT(Quad Tree Plus Binary Tree) Block Structure의 CU가 처리 단위로서 형성되어도 된다. 또한, 제어부(12)는, 부호화 처리에 관한 파라미터를, 예를 들어 RDO(Rate-Distortion Optimization)에 기초하여 결정한다. 결정된 파라미터는, 각 부로 공급된다.

감산부(13)는, 재배열 버퍼(11)로부터 입력되는 화상과 예측 화상의 차분인 예측 오차를 산출하고, 산출한 예측 오차를 직교 변환부(14)로 출력한다.

직교 변환부(14)는, 각 영역 내에 설정되는 하나 이상의 변환 블록(TU)의 각각에 대하여 직교 변환 처리를 실행한다. 여기서의 직교 변환은 예를 들어, 이산 코사인 변환 또는 이산 사인 변환 등이어도 된다. 보다 구체적으로는, 직교 변환부(14)는, 감산부(13)로부터 입력되는 예측 오차를, 변환 블록마다, 공간 영역의 화상 신호로부터 주파수 영역의 변환 계수로 변환된다. 그리고, 직교 변환부(14)는, 변환 계수를 양자화부(15)로 출력한다.

또한, 직교 변환부(14)는, 직교 변환에 의해 얻어진 변환 계수에 기초하여, 각 TU에 있어서의 유의 계수의 유무를 나타내는 플래그를 성분마다(Y성분, U성분, V성분마다) 생성하여, 가역 부호화부(16) 및 인루프 필터(24)로 출력해도 된다. 또한, 직교 변환부(14)에 의해 생성되는, 각 TU에 있어서의 U성분의 유의 계수의 유무를 나타내는 플래그 및 각 TU에 있어서의 V성분의 유의 계수의 유무를 나타내는 플래그는, 색차 관련 파라미터에 포함된다.

양자화부(15)에는, 직교 변환부(14)로부터 입력되는 변환 계수 및 나중에 설명하는 레이트 제어부(18)로부터의 레이트 제어 신호가 공급된다. 양자화부(15)는 변환 계수를 양자화하고, 양자화후의 변환 계수(이하, 양자화 데이터라고도 칭함)를 가역 부호화부(16) 및 역양자화부(21)로 출력한다. 또한, 양자화부(15)는, 레이트 제어부(18)로부터의 레이트 제어 신호에 기초하여 양자화 스케일을 전환함으로써, 가역 부호화부(16)에 입력되는 양자화 데이터의 비트 레이트를 변화시킨다.

가역 부호화부(16)는, 양자화부(15)로부터 입력되는 양자화 데이터를 부호화함으로써, 부호화 스트림을 생성한다. 또한, 가역 부호화부(16)는, 디코더에 의해 참조되는 다양한 파라미터를 부호화하고, 부호화 파라미터를 부호화 스트림으로 삽입한다. 가역 부호화부(16)에 의해 부호화되는 파라미터는, 상술한 제어부(12)에 의해 결정된 파라미터를 포함할 수 있다.

또한, 가역 부호화부(16)에 의해 부호화되는 파라미터는, 색차 관련 파라미터를 포함할 수 있다. 가역 부호화부(16)에 의해 부호화되는 색차 관련 파라미터는, 예를 들어 상술한 바와 같이 직교 변환부(14)로부터 입력되는 각 TU에 있어서의 U성분의 유의 계수의 유무를 나타내는 플래그 및 각 TU에 있어서의 V성분의 유의 계수의 유무를 나타내는 플래그를 포함한다. 가역 부호화부(16)는, 생성한 부호화 스트림을 축적 버퍼(17)로 출력한다.

축적 버퍼(17)는, 가역 부호화부(16)로부터 입력되는 부호화 스트림을 반도체 메모리 등의 기억 매체를 사용하여 일시적으로 축적한다. 그리고, 축적 버퍼(17)는, 축적한 부호화 스트림을, 전송로의 대역에 따른 레이트로, 도시하지 않은 전송부(예를 들어, 통신 인터페이스 또는 주변 기기와의 접속 인터페이스 등)로 출력한다.

레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량을 감시한다. 그리고, 레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량에 따라 레이트 제어 신호를 생성하고, 생성한 레이트 제어 신호를 양자화부(15)로 출력한다. 예를 들어, 레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량이 적을 때에는, 양자화 데이터의 비트 레이트를 저하시키기 위한 레이트 제어 신호를 생성한다. 또한, 예를 들어 레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량이 충분히 클 때에는, 양자화 데이터의 비트 레이트를 높이기 위한 레이트 제어 신호를 생성한다.

역양자화부(21), 역직교 변환부(22) 및 가산부(23)는, 로컬 디코더를 구성한다. 로컬 디코더는, 부호화된 데이터로부터 복호 화상을 로컬 복호하는 역할을 갖는다.

역양자화부(21)는, 양자화부(15)에 의해 사용된 것과 동일한 양자화 파라미터로 양자화 데이터를 역양자화하여, 변환 계수를 복원한다. 그리고, 역양자화부(21)는, 복원한 변환 계수를 역직교 변환부(22)로 출력한다.

역직교 변환부(22)는, 역양자화부(21)로부터 입력되는 변환 계수에 대하여 역직교 변환 처리를 실행함으로써, 예측 오차를 복원한다. 그리고, 역직교 변환부(22)는, 복원한 예측 오차를 가산부(23)로 출력한다.

가산부(23)는, 역직교 변환부(22)로부터 입력되는 복원된 예측 오차와 인트라 예측부(40) 또는 인터 예측부(50)로부터 입력되는 예측 화상을 가산함으로써, 복호 화상(리콘트라스트 화상)을 생성한다. 그리고, 가산부(23)는, 생성한 복호 화상을 인루프 필터(24) 및 프레임 메모리(30)로 출력한다.

인루프 필터(24)는, 복호 화상의 화질의 향상을 목적으로 하여 일련의 인루프 필터를 적용한다. 예를 들어, 참조 문헌 REF3의 「2.5. In-loop filtering」에 기재되어 있는 바와 같이, 4개의 인루프 필터가, 양방향 필터, 디블록 필터, 적응 오프셋 필터 및 적응 루프 필터의 순서로 적용되어도 된다. 도 5에 나타내는 인루프 필터(24)는, 예를 들어 양방향 필터(25), 디블록 필터(26a), 적응 오프셋 필터(27) 및 적응 루프 필터(28)를 포함하고, 상기 4개의 인루프 필터가 차례로 적용될 수 있다. 그러나, 인루프 필터(24)는 이러한 구성에 한정되지 않고, 4개의 인루프 필터 중, 어느 필터를 적용할지, 또한 어느 순서로 적용할지는, 적절히 선택 가능할 수 있다. 또한, 디블록 필터(26a)에 대해서는, 나중에 상세하게 설명한다.

인루프 필터(24)는, 인루프 필터가 적용된 복호 화상을 프레임 메모리(30)로 출력한다.

프레임 메모리(30)는, 가산부(23)로부터 입력되는 필터링 전의 복호 화상 및 인루프 필터(24)로부터 입력되는 인루프 필터가 적용된 복호 화상을 기억 매체를 사용하여 기억한다.

스위치(31)는, 인트라 예측을 위해 사용되는 필터링 전의 복호 화상을 프레임 메모리(30)로부터 판독하고, 판독한 복호 화상을 참조 화상으로 하여 인트라 예측부(40)에 공급한다. 또한, 스위치(31)는, 인터 예측을 위해 사용되는 필터링 후의 복호 화상을 프레임 메모리(30)로부터 판독하고, 판독한 복호 화상을 참조 화상으로 하여 인터 예측부(50)에 공급한다.

모드 설정부(32)는, 인트라 예측부(40) 및 인터 예측부(50)로부터 입력되는 비용의 비교에 기초하여, 블록마다 예측 부호화 모드를 설정한다. 모드 설정부(32)는, 인트라 예측 모드를 설정한 블록에 대해서는, 인트라 예측부(40)에 의해 생성되는 예측 화상을 감산부(13) 및 가산부(23)로 출력함과 함께, 인트라 예측에 관한 정보를 가역 부호화부(16)로 출력한다. 또한, 모드 설정부(32)는, 인터 예측 모드를 설정한 블록에 대해서는, 인터 예측부(50)에 의해 생성되는 예측 화상을 감산부(13) 및 가산부(23)로 출력함과 함께, 인터 예측에 관한 정보를 가역 부호화부(16)로 출력한다.

인트라 예측부(40)는, 원 화상 및 복호 화상에 기초하여, 인트라 예측 처리를 실행한다. 예를 들어, 인트라 예측부(40)는, 탐색 범위에 포함되는 예측 모드 후보의 각각에 대하여, 예측 오차 및 발생하는 부호량에 기초하는 비용을 평가한다. 이어서, 인트라 예측부(40)는, 비용이 최소로 되는 예측 모드를 최적의 예측 모드로서 선택한다. 또한, 인트라 예측부(40)는, 선택한 최적의 예측 모드에 따라 예측 화상을 생성한다. 그리고, 인트라 예측부(40)는, 최적의 예측 모드를 나타내는 예측 모드 정보를 포함하는 인트라 예측에 관한 정보, 대응하는 비용 및 예측 화상을, 모드 설정부(32)로 출력한다.

인터 예측부(50)는, 원 화상 및 복호 화상에 기초하여, 인터 예측 처리(움직임 보상)를 실행한다. 예를 들어, 인터 예측부(50)는, 어떤 탐색 범위에 포함되는 예측 모드 후보의 각각에 대하여, 예측 오차 및 발생하는 부호량에 기초하는 비용을 평가한다. 이어서, 인터 예측부(50)는, 비용이 최소로 되는 예측 모드, 즉 압축률이 가장 높아지는 예측 모드를, 최적의 예측 모드로서 선택한다. 또한, 인터 예측부(50)는, 선택한 최적의 예측 모드에 따라 예측 화상을 생성한다. 그리고, 인터 예측부(50)는, 인터 예측에 관한 정보, 대응하는 비용 및 예측 화상을, 모드 설정부(32)로 출력한다.

[2-2. 화상 복호 장치]

계속해서, 이상과 같이 부호화된 데이터의 복호에 대하여 설명한다. 도 6은, 본 실시 형태에 관한 화상 처리 장치의 일 양태인 화상 복호 장치(60)의 구성의 일례를 나타내는 블록도이다. 도 6을 참조하면, 축적 버퍼(61), 가역 복호부(62), 역양자화부(63), 역직교 변환부(64), 가산부(65), 인루프 필터(66), 재배열 버퍼(72), D/A(Digital to Analogue) 변환부(73), 프레임 메모리(80), 셀렉터(81a 및 81b), 인트라 예측부(90), 그리고 인터 예측부(100)를 구비한다.

축적 버퍼(61)는, 도시하지 않은 전송부(예를 들어, 통신 인터페이스 또는 주변 기기와의 접속 인터페이스 등)를 통해 화상 부호화 장치(10)로부터 수신되는 부호화 스트림을 기억 매체를 사용하여 일시적으로 축적한다.

가역 복호부(62)는, 축적 버퍼(61)로부터 입력되는 부호화 스트림을, 부호화 시에 사용된 부호화 방식에 따라 복호하고, 양자화 데이터를 생성한다. 가역 복호부(62)는, 생성한 양자화 데이터를 역양자화부(63)로 출력한다.

또한, 가역 복호부(62)는, 부호화 스트림으로부터, 각종 파라미터를 파싱한다. 가역 복호부(62)에 의해 파싱되는 파라미터는, 예를 들어 인트라 예측에 관한 정보 및 인터 예측에 관한 정보를 포함할 수 있다. 가역 복호부(62)는, 인트라 예측에 관한 정보를 인트라 예측부(90)로 출력한다. 또한, 가역 복호부(62)는, 인터 예측에 관한 정보를 인터 예측부(100)로 출력한다.

또한, 가역 복호부(62)에 의해 파싱되는 파라미터는, 색차 관련 파라미터를 포함할 수 있다. 가역 복호부(62)는, 색차 관련 파라미터를, 인루프 필터(66)로 출력한다. 또한, 가역 복호부(62)에 의해 파싱되는 색차 관련 파라미터는, 예를 들어 상술한 각 TU에 있어서의 U성분의 유의 계수의 유무를 나타내는 플래그 및 각 TU에 있어서의 V성분의 유의 계수의 유무를 나타내는 플래그를 포함한다.

역양자화부(63)는, 가역 복호부(62)로부터 입력되는 양자화 데이터를, 부호화 시에 사용된 것과 동일한 양자화 스텝에서 역양자화하고, 변환 계수를 복원한다. 역양자화부(63)는, 복원한 변환 계수를 역직교 변환부(64)로 출력한다.

역직교 변환부(64)는, 부호화 시에 사용된 직교 변환 방식에 따라, 역양자화부(63)로부터 입력되는 변환 계수에 대하여 역직교 변환을 행함으로써, 예측 오차를 생성한다. 역직교 변환부(64)는, 생성한 예측 오차를 가산부(65)로 출력한다.

가산부(65)는, 역직교 변환부(64)로부터 입력되는 예측 오차와, 셀렉터(71b)로부터 입력되는 예측 화상을 가산함으로써, 복호 화상을 생성한다. 그리고, 가산부(65)는, 생성한 복호 화상을 인루프 필터(66) 및 프레임 메모리(80)로 출력한다.

인루프 필터(66)는, 복호 화상의 화질의 향상을 목적으로 하여 일련의 인루프 필터를 적용한다. 예를 들어, 참조 문헌 REF3의 「2.5. In-loop filtering」에 기재되어 있는 바와 같이, 4개의 인루프 필터가, 양방향 필터, 디블록 필터, 적응 오프셋 필터 및 적응 루프 필터의 순서로 적용되어도 된다. 도 6에 나타내는 인루프 필터(66)는, 예를 들어 양방향 필터(67), 디블록 필터(26b), 적응 오프셋 필터(69) 및 적응 루프 필터(70)를 포함하고, 상기 4개의 인루프 필터가 차례로 적용될 수 있다. 그러나, 인루프 필터(66)는 이러한 구성에 한정되지 않고, 4개의 인루프 필터 중, 어느 필터를 적용할지, 또한 어느 순서로 적용할지는, 적절히 선택 가능할 수 있다. 또한, 디블록 필터(26b)에 대해서는, 나중에 상세하게 설명한다.

인루프 필터(66)는, 인루프 필터가 적용된 복호 화상을 재배열 버퍼(72) 및 프레임 메모리(80)로 출력한다.

재배열 버퍼(72)는, 인루프 필터(66)로부터 입력되는 화상을 재배열함으로써, 시계열의 일련의 화상을 생성한다. 그리고, 재배열 버퍼(72)는, 생성한 화상을 D/A 변환부(73)로 출력한다.

D/A 변환부(73)는, 재배열 버퍼(72)로부터 입력되는 디지털 형식의 화상을 아날로그 형식의 화상 신호로 변환한다. 그리고, D/A 변환부(73)는, 예를 들어 화상 복호 장치(60)와 접속되는 디스플레이(도시하지 않음)에 아날로그 화상 신호를 출력함으로써, 영상을 표시시킨다.

프레임 메모리(80)는, 가산부(65)로부터 입력되는 필터링 전의 복호 화상 및 인루프 필터(66)로부터 입력되는 인루프 필터가 적용된 복호 화상을 기억 매체를 사용하여 기억한다.

셀렉터(81a)는, 가역 복호부(62)에 의해 취득되는 예측 모드 정보에 따라, 화상 내의 블록마다, 프레임 메모리(80)로부터의 화상의 출력처를 인트라 예측부(90)와 인터 예측부(100) 사이에서 전환한다. 예를 들어, 셀렉터(81a)는, 인트라 예측 모드가 지정된 경우에는, 프레임 메모리(80)로부터 공급되는 필터링 전의 복호 화상을 참조 화상으로 하여 인트라 예측부(90)로 출력한다. 또한, 셀렉터(81a)는, 인터 예측 모드가 지정된 경우에는, 필터링 후의 복호 화상을 참조 화상으로 하여 인터 예측부(100)로 출력한다.

셀렉터(81b)는, 가역 복호부(62)에 의해 취득되는 예측 모드 정보에 따라, 가산부(65)로 공급해야 할 예측 화상의 출력원을 인트라 예측부(90)와 인터 예측부(100) 사이에서 전환한다. 예를 들어, 셀렉터(81b)는, 인트라 예측 모드가 지정된 경우에는, 인트라 예측부(90)로부터 출력되는 예측 화상을 가산부(65)로 공급한다. 또한, 셀렉터(81b)는, 인터 예측 모드가 지정된 경우에는, 인터 예측부(100)로부터 출력되는 예측 화상을 가산부(65)로 공급한다.

인트라 예측부(90)는, 가역 복호부(62)로부터 입력되는 인트라 예측에 관한 정보와 프레임 메모리(80)로부터의 참조 화상에 기초하여 인트라 예측 처리를 행하여, 예측 화상을 생성한다. 그리고, 인트라 예측부(90)는, 생성한 예측 화상을 셀렉터(81b)로 출력한다.

인터 예측부(100)는, 가역 복호부(62)로부터 입력되는 인터 예측에 관한 정보와 프레임 메모리(80)로부터의 참조 화상에 기초하여 인터 예측 처리를 행하여, 예측 화상을 생성한다. 그리고, 인터 예측부(100)는, 생성한 예측 화상을 셀렉터(81b)로 출력한다.

<3. 디블록 필터>

[3-1. 디블록 필터의 구성예]

본 섹션에서는, 도 5에 나타낸 화상 부호화 장치(10)의 디블록 필터(26a) 및 도 6에 나타낸 화상 복호 장치(60)의 디블록 필터(26b)의 구성의 일례를 설명한다. 또한, 디블록 필터(26a) 및 디블록 필터(26b)의 구성은, 공통이어도 된다. 따라서, 이하의 설명에서는, 특별히 양자를 구별할 필요가 없는 경우에는, 디블록 필터(26a) 및 디블록 필터(26b)를 디블록 필터(26)라고 총칭한다.

본 실시 형태에 관한 디블록 필터(26)는, 상술한 바와 같이, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 bS에 기초하여, 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정한다. 또한, 본 실시 형태에 관한 디블록 필터(26)는, 상술한 바와 같이, 블록 경계와 직교하는 방향의 사이즈에 더 기초하여, 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정한다. 또한, 본 실시 형태에 관한 디블록 필터(26)는, 상술한 바와 같이, 비특허문헌 2에 있어서의 스트롱 필터보다도 강도가 큰(로우패스 특성이 강한) 스트롱 필터를 복호 화상의 색차 성분에 대하여 적용할 수 있다. 또한, 이러한 스트롱 필터를 더 적절하게 적용하기 위해, 본 실시 형태에서는, 비특허문헌 2에 있어서의 필터 강도의 판정 처리와는 다른 방법으로 필터 강도를 판정한다. 또한, 이하에는, 주로 복호 화상의 색차 성분에 대하여 적용되는 디블록 필터에 관한 디블록 필터(26)의 기능에 대하여 설명하고, 휘도 성분에 대하여 적용되는 디블록 필터에 관한 디블록 필터(26)의 기능에 대해서는 적절히 생략한다.

도 7은, 본 실시 형태에 관한 디블록 필터(26)의 상세한 구성의 일례를 나타내는 블록도이다. 도 7을 참조하면, 디블록 필터(26)는, 경계 강도 산출부(261)와, 판정부(263)와, 필터링부(269)를 갖는다.

(1) 경계 강도 산출부

경계 강도 산출부(261)는, 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 bS(경계 강도)를 산출한다. YUV 420 포맷의 신호가 대상인 경우, 경계 강도 산출부(261)는, 복호 화상의 휘도 성분에 있어서의 4라인 단위, 즉 복호 화상의 색차 성분에 있어서의 2라인 단위로 bS를 산출한다.

본 실시 형태에 있어서 경계 강도 산출부(261)가 bS의 산출에 사용하는 색차 관련 파라미터는, 각 TU에 있어서의 U성분의 유의 계수의 유무를 나타내는 플래그 및 각 TU에 있어서의 V성분의 유의 계수의 유무를 나타내는 플래그를 포함한다. 도 7에 나타낸 바와 같이, 경계 강도 산출부(261)에는, 각 TU에 있어서의 각 성분(Y성분, U성분, V성분)의 유의 계수의 유무를 나타내는 플래그가 직교 변환부(14), 혹은 가역 복호부(62)로부터 입력된다.

경계 강도 산출부(261)는, 도 4를 참조하여 설명한 조건 A, 조건 B1-Y, 조건 B1-U, 조건 B1-V 및 조건 B2에 기초하여 bS를 산출한다. 즉, 경계 강도 산출부(261)는, bS의 산출 대상인 블록 경계를 사이에 두는 TU에, 색차 성분의 유의 계수가 존재하는지 여부에 기초하여 bS를 산출한다. 또한, 본 실시 형태에 관한 경계 강도 산출부(261)는, bS의 산출 대상인 블록 경계를 사이에 두는 TU에, Y성분, U성분, V성분의 각 성분의 유의 계수가 존재하는지 여부를 독립적으로 판정함으로써, bS를 산출할 수 있다. 이러한 구성에 의해, 도 2를 참조하여 설명한 바와 같이 Y성분의 유의 계수가 존재하는지 여부에 기초하여 bS를 산출하는 것 보다도, U성분, V성분에 적합한 bS가 산출되어, 더 적절하게 디블록 필터를 적용하는 것이 가능해진다.

도 8을 참조하여, 경계 강도 산출부(261)에 의한 bS의 산출에 대하여 더 상세하게 설명한다. 도 8은, 경계 강도 산출부(261)에 의해 산출되는 bS의 일례를 나타내는 표이다. 경계 강도 산출부(261)에 의해 산출되는 bS는, 복수의 비트에 의해 표현될 수 있다. 도 8에 나타나는 예에서는, bS는 5비트로 표현된다. 또한, 당해 복수의 비트에는, Y성분, U성분, V성분의 각 성분에 대응하는 비트가 적어도 하나씩 포함되도록, bS가 산출되어도 된다. 이러한 구성에 의해, 후술하는 판정부(263)가 bS에 기초하여 디블록 필터 적용 필요 여부를 판정할 때에, 판정의 대상으로 되는 성분마다 대응하는 bS의 비트를 참조함으로써, 용이하게 판정을 행하는 것이 가능해진다.

또한, 경계 강도 산출부(261)는, bS에 포함되는 각 비트가 각 조건의 진위에 대응하도록 bS를 산출해도 된다. 도 8에 나타내는 예에서는, 각 조건이 진인 경우, 당해 조건에 대응하는 비트가 1이고, 각 조건이 위인 경우, 당해 조건에 대응하는 비트가 0이도록 bS가 산출된다. 또한, 도 8에 나타내는 예에서는, bS가 5비트로 표현되고, bS의 5비트째가 인트라 예측에 관한 조건 A와, bS의 4비트째가 Y성분의 유의 계수에 관한 조건 B1-Y와, bS의 3비트째가 U성분의 유의 계수에 관한 조건 B1-U와, bS의 2비트째가 V성분의 유의 계수에 관한 조건 B1-V와, bS의 1비트째가 MV와 참조 픽처에 관한 조건 B2와, 각각 대응하고 있다. 단, bS의 각 비트와 각 조건의 대응은, 도 8에 나타낸 예에 한정되지 않는다. 예를 들어, Y성분, U성분, V성분의 각 성분에 각각 대응하는 bS의 4비트째, 3비트째, 2비트째의 순번이 교체되어도 된다.

(2) 판정부

판정부(263)는, 도 7에 나타낸 바와 같이, 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 적용 필요 여부 판정부(265)와, 당해 복호 화상의 색차 성분에 적용되는 디블록 필터의 필터 강도를 판정하는 필터 강도 판정부(267)를 포함한다. 이하, 적용 필요 여부 판정부(265) 및 필터 강도 판정부(267)의 기능에 대하여 순차 설명을 행한다.

또한, 이하의 설명에서는, 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부 및 필터 강도의 판정에 대하여 주로 설명하고, 휘도 성분에 대한 판정에 대해서는 적절히 설명을 생략한다. 또한, 본 실시 형태에 관한 적용 필요 여부 판정부(265) 및 필터 강도 판정부(267)는, U성분과 V성분의 각각에 대하여 독립적으로, 디블록 필터 적용 필요 여부 및 필터 강도를 판정한다.

적용 필요 여부 판정부(265)는, 복호 화상의 블록 경계를 대상으로 하여, 경계 강도 산출부(261)에 의해 상술한 바와 같이 산출된 bS(경계 강도)에 기초하여, 당해 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정한다.

또한, 적용 필요 여부 판정부(265)는, 또한 당해 블록 경계를 사이에 두는 블록의 블록 사이즈에 기초하여 당해 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정해도 된다. 또한, 이하에는 이러한 블록 사이즈에 기초하는 판정을 라지 블록 판정이라고 호칭하는 경우가 있다. 또한, 적용 필요 여부 판정부(265)는, 모든 블록 경계에 대하여 항상 라지 블록 판정을 행할 필요는 없고, bS에 따라 라지 블록 판정을 행할지 여부를 결정해도 된다. 또한, 라지 블록 판정이 행해지는 케이스나, 라지 블록 판정의 상세에 대해서는 후술한다.

본 실시 형태에 관한 적용 필요 여부 판정부(265)는, 이하의 조건 C1의 판정과, 조건 C2의 판정에 의해, 디블록 필터 적용 필요 여부를 판정한다.

-조건 C1: (bS==16||(조건 C11&& 조건 C12))

-조건 C2: d<beta

상기한 조건 C1에 있어서의 조건 C11은, 라지 블록 판정을 행할지 여부를 판정하기 위한 조건이고, 조건 C12는 라지 블록 판정에 관한 조건이다. bS가 16인 경우, 즉 인트라 예측에 관한 조건 A가 만족되는 경우에는, 라지 블록 판정을 행할 필요없이 조건 C1은 진이라고 판정될 수 있다. 그 때문에, 라지 블록 판정을 행할지 여부를 판정하기 위한 조건 C11은, bS가 인터 예측에 관련되는 값을 갖는 경우에 진으로 될 수 있다. 또한, 이와 같이, bS가 16인 경우에 라지 블록 판정을 스킵하여 조건 C1을 진이라고 판정함으로써, 라지 블록 판정에 관한 처리량을 억제할 수 있다.

또한, 조건 C1의 조건 C11이 위인 경우에도, 조건 C12의 판정(라지 블록 판정)은 행해지지 않아, 조건 C1이 위라고 판정된다. 이러한 구성에 의해, 라지 블록 판정에 관한 처리량을 억제할 수 있다.

조건 C11은, 각 성분의 유의 계수에 관한 조건, 혹은 상술한 조건 B2가 진인 경우에 진으로 되어도 된다. 즉, 조건 C11은, 판정 대상으로 되는 성분에 따라 달라도 된다. 예를 들어, 판정 대상이 U성분인 경우의 조건 C11은 이하의 조건 C11-U와 같은 조건이어도 되고, 판정 대상이 V성분인 경우의 조건 C11은 이하의 조건 C11-V와 같은 조건이어도 된다.

-조건 C11-U: (bS&0x04||bS&0x01)

-조건 C11-V: (bS&0x02||bS&0x01)

또한, 적용 필요 여부 판정부(265)는, 블록 경계를 사이에 두는 블록에 있어서의 상기 블록 경계와 직교하는 방향의 사이즈에 기초하여 라지 블록 판정을 행한다. 이러한 구성에 의해, 블록의 형상이 비정사각형인 직사각형의 경우에, 블록 변형의 발생에 영향을 끼치기 쉬운, 블록 경계와 직교하는 방향의 사이즈에 기초하여, 디블록 필터의 적용 필요 여부를 판정하는 것이 가능해진다.

또한, 적용 필요 여부 판정부(265)는, 블록 경계를 사이에 두는 블록에 있어서의 블록 경계와 직교하는 방향의 사이즈가 소정의 역치보다 큰지 여부에 기초하여 라지 블록 판정을 행해도 된다. 이 라지 블록 판정에서 사용되는 역치는 한정되는 것은 아니지만, 예를 들어 16이어도 된다. 블록 경계와 직교하는 방향의 사이즈가 작고, 특히 16 이하인 경우에는, 블록 노이즈가 눈에 띄기 어렵기 때문에, 이러한 구성에 의해, 불필요한 디블록 필터의 적용을 회피하는 것이 가능해진다. 예를 들어, 라지 블록 판정에 관한 조건 C12는, 이하와 같은 조건이어도 된다.

-조건 C12: (EDGE_VER&&block_width>16)||(EDGE_HOR&&block_height>16)

또한, 상기한 조건 C12에 있어서, EDGE_VER은, 판정의 대상으로 되는 블록 경계가 수직 경계인 것을 의미하고, EDGE_HOR은, 판정의 대상으로 되는 블록 경계가 수평 경계인 것을 의미한다.

또한, 상기한 조건 C2는, 상술한 조건 C92와 동일하기 때문에, 여기서의 설명은 생략한다. 또한, 상기한 조건 C2의 판정은, 조건 C1이 진이었던 경우에 행해지고, 조건 C1이 위였던 경우에는, 조건 C2의 판정이 행해지는 일 없이, 디블록 필터를 적용하지 않는다고 판정된다. 조건 C2의 판정은, 상술한 식(1) 내지 (7)과 같이 변수 d를 산출하는 처리를 필요로 하고, 조건 C1의 판정보다도 처리량이 크기 때문에, 조건 C1 후에 조건 C2의 판정을 행함으로써, 처리량을 억제하는 것이 가능하다.

또한, 필터 강도 판정부(267)는, 상술한 바와 같이 조건 C1, 조건 C2에 의해 디블록 필터 적용 필요 여부가 판정된 후에, 복호 화상의 색차 성분에 적용되는 디블록 필터의 필터 강도를 다시 판정한다. 본 실시 형태에서 적용될 수 있는 디블록 필터는, 후술하는 바와 같이, 더 약한 강도를 갖는 위크 필터와, 더 강한 강도를 갖는 스트롱 필터의 2종류여도 된다. 그리고, 후술하는 필터링부(269)는, 필터 강도 판정부(267)에 의해 판정된 필터 강도에 따라, 위크 필터와 스트롱 필터의 어느 것을 적용한다.

필터 강도 판정부(267)는, 디블록 필터를 적용한다고 판정된 경우에, 필터 강도를 판정한다. 필터 강도의 판정을 디블록 필터 적용 필요 여부의 판정보다도 나중에 행함으로써, 필터 강도의 판정에 관한 처리를 억제하는 것이 가능해진다.

또한, 필터 강도 판정부(267)는, 블록 경계의 근방에 위치하는 화소의 색차 성분의 파형에 기초하여, 필터 강도를 판정한다. 이하, 파형에 기초하는 판정에 대하여 설명한다. 필터 강도 판정부(267)는, 이하의 파형에 기초하는 조건 C3에 의해, 필터 강도를 판정한다.

-조건 C3: (조건 C31&& 조건 C32&& 조건 C33)

-조건 C31: |p₃－p₀|＋|q₃－q₀|<(beta>>3)

-조건 C32: |p₂－2*p₁＋p₀|＋|q₂－2*q₁＋q₀|<(beta>>2)

-조건 C33: |p₀－q₀|<((t_c*5＋1)>>1)

필터 강도 판정부(267)는, 블록 경계의 근방에 위치하는 화소 중, 2개의 라인에 포함되는 화소에 대하여, 상기한 조건 C3의 판정을 행한다. 상기 C3에서 사용되는 조건 C31, 조건 C32, 조건 C33은 라인마다 판정된다. 또한, 조건 C31, 조건 C32, 조건 C33에 있어서의 p_i, q_k, p_i', q_k', beta 및 t_C에 대해서는, 이미 상기에서 설명했기 때문에 여기서의 설명은 생략한다.

조건 C31, 조건 C32 및 조건 C33은, 각 라인에 포함되는 화소를 사용하여 판정하는 조건이다. 더 구체적으로는 조건 C31은, 각 라인에 포함되는 화소의 색차 성분의 블록 내에 있어서의 평탄도에 관한 조건이다. 또한, 조건 C32는, 각 라인에 포함되는 화소의 색차 성분의 블록 내에 있어서의 연속성의 판정에 관한 조건이다. 또한, 조건 C33은, 각 라인에 포함되는 화소의 색차 성분의 블록간의 갭(차분)에 관한 조건이고, 더 구체적으로는 블록 경계에 인접하는 화소값을 사용하여, 블록간의 갭을 판정하기 위한 조건이다.

조건 C31이 진인 경우에는, 각 블록 내에 있어서 색차 성분의 파형의 평탄도가 높다. 또한, 조건 C32가 진인 경우에는, 각 블록 내에 있어서 색차 성분의 파형은 연속성이 높다. 또한, 조건 C32가 진인 경우에는, 색차 성분의 파형은 블록 경계에 있어서 큰 갭을 갖는다.

상기한 바와 같이 조건 C3은, 상기한 조건 C31, 조건 C32, 조건 C33 모두가 진인 경우에 진이라고 판정된다. 또한, 필터 강도 판정부(267)는 상기한 조건 C3을 라인마다 판정한다. 단, 상술한 바와 같이 필터 강도는 2라인 단위로 판정된다. 즉, 연속하는 2개의 라인의 양쪽에 있어서 상기한 조건 C3이 진인 경우에 당해 2개 라인에 스트롱 필터가 적용되고, 위인 경우에 당해 2개의 라인에 위크 필터가 적용되도록, 필터 강도가 판정된다.

(3) 필터링부

필터링부(269)는, 적용 필요 여부 판정부(265)에 의한 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용한다. 또한, 상술한 바와 같이 필터링부(269)는, 필터 강도 판정부(267)에 의해 판정된 필터 강도에 따라, 위크 필터, 또는 스트롱 필터를 디블록 필터로서 적용한다.

본 실시 형태에 관한 필터링부(269)에 의해, 색차 성분에 대하여 적용되는 위크 필터는, 예를 들어 상술한 비특허문헌 2나 HEVC에 있어서 복호 화상의 색차 성분에 대하여 적용되는 위크 필터와 동일해도 된다. 한편, 본 실시 형태에 있어서 색차 성분에 대하여 적용되는 스트롱 필터는, 비특허문헌 2에 있어서 색차 성분에 대하여 적용되는 스트롱 필터(HEVC에 있어서 휘도 성분에 대하여 적용되는 스트롱 필터)와는 달라도 된다. 이하, 본 실시 형태에 있어서, 색차 성분에 대하여 적용되는 스트롱 필터의 예에 대하여 설명한다.

본 실시 형태에 있어서 색차 성분에 대하여 적용되는 스트롱 필터의 계수는, 스트롱 필터의 적용 대상 범위의 중심 위치에 있어서 2이고, 기타의 위치에 있어서 1이어도 된다. 또한, 필터링부(269)는, 블록 경계로부터 양측 3화소까지를 스트롱 필터의 적용 대상 범위로 하고, 적용 대상 범위의 중심 위치의 양측의 3화소를 참조 화소로 하고, 적용 대상 범위에 포함되는 화소의 색차 성분에 스트롱 필터를 적용해도 된다. 예를 들어, p₀을 적용 대상 범위의 중심 위치로 한 스트롱 필터는, 이하의 식(14)와 같이 표현된다.

또한, 상기한 식(14)에 있어서 w는 적절히 설정될 수 있는 가중치이고, 예를 들어 1, 혹은 2로 설정되어도 된다. 또한, Clip3(a, b, c)은, 상술한 바와 같이 값 c를 a≤c≤b의 범위에서 클립하는 클리핑 처리를 나타낸다.

이러한 스트롱 필터를 적용함으로써, 상술한 비특허문헌 2에 있어서 색차 성분에 대하여 적용되는 스트롱 필터보다도 강한 디블록 필터를 적용하는 것이 가능해진다.

그런데, 스트롱 필터의 적용 대상 범위의 중심 위치가 블록 경계로부터 2화소째, 또는 3화소째인 경우, 참조 화소에는, 블록 경계로부터 5화소 이상 이격된 화소가 포함된다. 그러나, 블록 경계로부터 5화소 이상 이격된 화소는, 필터 강도의 판정에 사용되어 있지 않고, 참조 화소로서 사용하는 데 적합하지 않은 경우가 있다. 그 때문에, 필터링부(269)는, 블록 경계로부터 5화소 이상 이격된 화소 대신에, 블록 경계로부터 4화소째의 화소의 화소값을, 패딩함으로써 참조 화소의 화소값으로서 사용해도 된다.

예를 들어, p₁을 적용 대상 범위의 중심 위치로 한 스트롱 필터는, 이하의 식(15)와 같이 표현된다.

마찬가지로, p₂를 적용 대상 범위의 중심 위치로 한 스트롱 필터는, 이하의 식(16)과 같이 표현된다.

또한, 마찬가지로, q₀ 내지 q₃을 적용 대상 범위의 중심 위치로 한 스트롱 필터는, 각각 이하의 식(17) 내지 (19)와 같이 표현된다.

[3-2. 처리의 흐름]

이상, 본 실시 형태에 관한 디블록 필터(26)의 구성예에 대하여 설명했다. 계속해서, 본 실시 형태에 관한 디블록 필터(26)에 의한 처리의 흐름에 대하여 설명한다. 도 9는, 본 실시 형태에 관한 디블록 필터(26)에 의한 처리의 흐름의 일례를 나타내는 흐름도이다. 또한, 이하에는, 디블록 필터(26)에 의한 처리 중, 본 실시 형태의 특징에 관한 처리에 대하여 설명을 행하고, 다른 처리에 대한 설명은 적절히 생략한다.

먼저, 경계 강도 산출부(261)에 의해, bS(경계 강도)가 산출된다(S10). 여기서, 도 10을 참조하여, bS의 산출 방법에 대하여 더 상세하게 설명한다. 도 10은, 경계 강도 산출부(261)에 의해 실행되는 경계 강도 산출 처리(S10)의 흐름을 설명하기 위한 흐름도이다.

먼저, 경계 강도 산출부(261)는 bS를 0으로 초기화한다(S102). 계속해서, 경계 강도 산출부(261)는, 인트라 예측에 관한 조건인 조건 A의 진위를 판정한다(S104). 조건 A가 진인 경우(S104에 있어서 예), bS는 16으로 설정된다(S106).

한편, 조건 A가 위인 경우(S104에 있어서 아니오), 경계 강도 산출부(261)는, 움직임 벡터(MV)와 참조 픽처에 관한 조건인 조건 B2의 진위를 판정한다(S108). 조건 B2가 진(S108에 있어서 예)인 경우, bS는 1로 설정된다(S110).

한편, 조건 B2가 위인 경우(S108에 있어서 아니오), 경계 강도 산출부(261)는, Y성분의 유의 계수의 유무에 관한 조건인 조건 B1-Y의 진위를 판정한다(S112). 조건 B1-Y가 진(S112에 있어서 예)인 경우, bS에 8이 가산된(S114) 후에, 처리는 스텝 S116으로 진행된다. 한편, 조건 B1-Y가 위(S112에 있어서 아니오)인 경우, 처리는 그대로 스텝 S116으로 진행된다.

스텝 S116에 있어서, 경계 강도 산출부(261)는, U성분의 유의 계수의 유무에 관한 조건인 조건 B1-U의 진위를 판정한다. 조건 B1-U가 진(S116에 있어서 예)인 경우, bS에 4가 가산된 (S118) 후에, 처리는 스텝 S120으로 진행된다. 한편, 조건 B1-U가 위(S116에 있어서 아니오)인 경우, 처리는 그대로 스텝 S120으로 진행된다.

스텝 S120에 있어서, 경계 강도 산출부(261)는, V성분의 유의 계수의 유무에 관한 조건인 조건 B1-V의 진위를 판정한다. 조건 B1-V가 진(S120에 있어서 예)인 경우, bS에 2가 가산된(S122) 후에, 경계 강도 산출 처리(S10)는 종료된다. 조건 B1-V가 위(S120에 있어서 아니오)인 경우, 경계 강도 산출 처리(S10)는 그대로 종료된다.

도 9로 돌아가 디블록 필터(26)에 의한 처리의 흐름의 설명을 계속한다. 스텝 S20에 있어서, 판정부(263)의 적용 필요 여부 판정부(265)가, 상술한 조건 C1의 진위를 판정한다. 조건 C1이 위인 경우(S20에 있어서 아니오), 처리는 종료된다.

한편, 조건 C1이 진인 경우(S20에 있어서 예), 적용 필요 여부 판정부(265)는, 상술한 조건 C2의 진위를 판정한다(S30). 조건 C2가 위인 경우(S30에 있어서 아니오), 처리는 종료된다.

한편, 조건 C2가 진인 경우(S30에 있어서 예), 판정부(263)의 필터 강도 판정부(267)는, 상술한 조건 C3의 진위를 판정함으로써, 필터 강도를 판정한다(S40). 조건 C3이 진인 경우(S40에 있어서 예), 필터링부(269)는 블록 경계의 근방에 위치하는 화소의 색차 성분에 스트롱 필터를 적용한다(S50). 한편, 조건 C3이 위인 경우(S40에 있어서 아니오), 필터링부(269)는 블록 경계의 근방에 위치하는 화소의 색차 성분에 위크 필터를 적용한다(S60).

이상, 본 실시 형태에 관한 디블록 필터(26)에 의한 처리의 흐름에 대하여 설명했다. 또한, 도 9, 도 10을 참조하여 설명한 상술한 처리는, 예를 들어 YUV 420 포맷의 경우, 복호 화상의 휘도 성분에 있어서의 4라인 단위, 즉 복호 화상의 색차 성분에 있어서의 2라인 단위로 행해질 수 있다.

[3-3. 변형예]

도 11은, 경계 강도 산출부(261)에 의해 산출되는 bS의 변형예를 나타내는 표이다. 도 8의 예와 마찬가지로, bS는, 여기서도 5비트로 표현되어 있다. 또한, bS의 복수의 비트에는, Y성분, U성분, V성분의 각 성분에 대응하는 비트가 적어도 하나씩 포함된다. bS의 5비트째(최상위 비트)가 인트라 예측에 관한 조건 A와, bS의 4비트째가 Y성분의 유의 계수에 관한 조건 B1-Y와, bS의 3비트째가 U성분의 유의 계수에 관한 조건 B1-U와, bS의 2비트째가 V성분의 유의 계수에 관한 조건 B1-V와, bS의 1비트째(최하위 비트)가 MV와 참조 픽처에 관한 조건 B2와, 각각 대응한다.

도 8의 예와는 달리, 본 변형예에서는, 특히 조건 B1-Y가 위인(즉, bS가 8 미만인) 경우에, bS의 1비트째가 1로 설정된다. 결과적으로, 도 8의 예에서는 bS가 0, 1, 2, 4, 6, 8, 10, 12, 14 또는 16이라는 10가지의 값 중 어느 것을 취하는 것에 비해, 본 변형예에서는, bS는 0, 1, 2, 3, 4, 5, 6, 7, 8, 10, 12, 14 또는 16이라는 13가지의 값 중 어느 것을 취한다.

도 12a 및 도 12b는, 도 11의 변형예에 대응하는 경계 강도 산출 처리의 흐름의 일례를 설명하기 위한 흐름도이다. 처리의 개시 전에, bS는 0으로 초기화되어 있는 것으로 한다. 도 12a를 참조하면, 먼저, 경계 강도 산출부(261)는, 인트라 예측에 관한 조건인 조건 A의 진위를 판정한다(S150). 조건 A가 진인 경우에는, bS는 16으로 설정되고(S152), 경계 강도 산출 처리는 종료된다.

조건 A가 위인 경우, 경계 강도 산출부(261)는, Y성분의 유의 계수의 유무에 관한 조건인 조건 B1-Y의 진위를 판정한다(S154). 조건 B1-Y가 진인 경우에는 bS에 8이 가산되고(S156), 조건 B1-Y가 위인 경우에는 8의 가산은 스킵된다(S158). 이어서, U성분의 유의 계수의 유무에 관한 조건인 조건 B1-U의 진위가 판정되고(S160), 조건 B1-U가 진인 경우에는 bS에 4가 가산되고(S162), 조건 B1-U가 위인 경우에는 4의 가산은 스킵된다(S164). 이어서, V성분의 유의 계수의 유무에 관한 조건인 조건 B1-V의 진위가 판정되고(S166), 조건 B1-V가 진인 경우에는 bS에 2가 가산되고(S168), 조건 B1-V가 위인 경우에는 2의 가산은 스킵된다(S170).

도 12b를 참조하면, 그 후의 처리는, Y성분의 유의 계수의 유무에 관한 조건인 조건 B1-Y가 진이었는지 또는 위였지에 의존하여 분기된다(S172). 조건 B1-Y가 진인 경우에는, bS의 4비트째가 1과 동등하고, 즉 bS는 8 이상의 값(14, 12, 10 또는 8)으로 설정되어 있고(S174), 후술하는 MV 체크가 실행되는 일 없이 경계 강도 산출 처리는 종료된다.

한편, 조건 B1-Y가 위인 경우에는, 경계 강도 산출부(261)는, MV 체크를 실행한다(S176). 여기서의 MV 체크는, 움직임 벡터와 참조 픽처에 관한 조건인 조건 B2의 진위의 판정을 의미한다. 조건 B2가 진인 경우에는 bS에 1이 가산되고(S178), 조건 B2가 위인 경우에는 1의 가산은 스킵된다(S180).

<4. 하드웨어 구성예>

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 13은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.

도 13에 나타나는 컴퓨터(800)에 있어서, CPU(Central Processing Unit)(801), ROM(Read Only Memory)(802), RAM(Random Access Memory)(803)은, 버스(804)를 통해 서로 접속되어 있다.

버스(804)에는 또한, 입출력 인터페이스(810)도 접속되어 있다. 입출력 인터페이스(810)에는, 입력부(811), 출력부(812), 기억부(813), 통신부(814) 및 드라이브(815)가 접속되어 있다.

입력부(811)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등을 포함한다. 출력부(812)는, 예를 들어 디스플레이, 스피커, 출력 단자 등을 포함한다. 기억부(813)는, 예를 들어 하드 디스크, RAM 디스크, 불휘발성이 메모리 등을 포함한다. 통신부(814)는, 예를 들어 네트워크 인터페이스를 포함한다. 드라이브(815)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(821)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(801)가, 예를 들어 기억부(813)에 기억되어 있는 프로그램을, 입출력 인터페이스(810) 및 버스(804)를 통해, RAM(803)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(803)에는 또한, CPU(801)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

컴퓨터(CPU(801))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(821)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(821)를 드라이브(815)에 장착함으로써, 입출력 인터페이스(810)를 통해, 기억부(813)에 인스톨할 수 있다.

또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수도 있다. 그 경우, 프로그램은, 통신부(814)에서 수신하여, 기억부(813)에 인스톨할 수 있다.

기타, 이 프로그램은, ROM(802)이나 기억부(813)에, 미리 인스톨해 둘 수도 있다.

<5. 결론>

이상 설명한 바와 같이, 본 개시의 실시 형태에 따르면, 복호 화상의 색차 성분에 대하여, 더 적절하게 디블록 필터를 적용하는 것이 가능하다.

이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 자라면, 특허 청구범위에 기재된 기술적 사상의 범주 내에 있어서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하고, 이것들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해되어야 한다.

(색차 관련 파라미터)

예를 들어, 상기 실시 형태에서는, 색차 관련 파라미터로서 각 TU에 있어서의 색차 성분의 유의 계수의 유무를 나타내는 플래그가 사용되는 예를 설명했지만, 본 기술은 이러한 예에 한정되지 않는다. 예를 들어 색차 성분의 변환 계수 그 자체가, 색차 관련 파라미터에 포함되어도 된다. 이러한 경우, 경계 강도 산출부(261)는, 색차 성분의 변환 계수로부터, 각 TU에 있어서의 색차 성분의 유의 계수의 유무를 판정함으로써, bS를 산출해도 된다. 또한, 상기 실시 형태에 관련하여, 조건 B1-Y, B1-U 또는 B1-V가 만족되는지 여부뿐만 아니라, 조건 B2가 만족되는지 여부에 따라 bS의 값이 다른 예를 도 4에 나타냈다. 그러나, 도 14에 나타내는 대체적인 예과 같이, 예를 들어 처리 비용의 증대를 억제하기 위해, 색차 성분 U 및 V의 양쪽에 대하여 조건 B2가 만족되는지의 판정이 생략되어도 된다.

(라지 블록 판정의 역치)

상기 실시 형태에서는, 라지 블록 판정에서 사용되는 역치가 16인 예를 설명했지만, 본 기술은 이러한 예에 한정되지 않고, 8이나 32로 설정되어도 된다. 또한, YUV 444 포맷의 경우, YUV 420 포맷에서 사용되는 역치 이상의 역치가 라지 블록 판정에 있어서 사용되어도 된다.

(스트롱 필터)

상기 실시 형태에서는, 식(15) 내지 (19)로 표현되는 스트롱 필터가 색차 성분에 대하여 적용되는 예를 설명했지만, 본 기술에 있어서 적용되는 스트롱 필터는 이러한 예에 한정되지 않는다. 색차 성분에 대하여 적용되는 스트롱 필터는, 위크 필터보다도 필터 강도가 강한 필터이면 된다. 예를 들어 비특허문헌 2에 있어서 색차 성분에 대하여 적용되는 스트롱 필터(HEVC에 있어서 휘도 성분에 대하여 적용되는 스트롱 필터)가 본 기술에 있어서 색차 성분에 대하여 적용되어도 된다.

(본 기술의 적용 대상)

본 기술은, 임의의 화상 부호화·복호 방식에 적용할 수 있다. 즉, 상술한 본 기술과 모순되지 않는 한, 변환(역변환), 양자화(역양자화), 부호화(복호), 예측 등, 화상 부호화·복호에 관한 각종 처리의 사양은 임의이고, 상술한 예에 한정되지 않는다. 또한, 상술한 본 기술과 모순되지 않는 한, 이들 처리 중 일부를 생략해도 된다.

(블록)

또한, 본 명세서에 있어서, 화상(픽처)의 부분 영역이나 처리 단위로서 설명에 사용하는 「블록」(처리부를 나타내는 블록이 아님)은, 특별히 언급하지 않는 한, 픽처 내의 임의의 부분 영역을 나타내고, 그 크기, 형상 및 특성 등은 한정되지 않는다. 예를 들어, 「블록」에는, 상술한 참조 문헌 REF1 내지 REF3에 기재된 TB(Transform Block), TU(Transform Unit), PB(Prediction Block), PU(Prediction Unit), SCU(Smallest Coding Unit), CU(Coding Unit), LCU(Largest Coding Unit), CTB(Coding Tree Block), CTU(Coding Tree Unit), 변환 블록, 서브 블록, 매크로 블록, 타일 또는 슬라이스 등, 임의의 부분 영역(처리 단위)이 포함되는 것으로 한다.

(처리 단위)

이상에 있어서 설명한 각종 정보가 설정되는 데이터 단위나, 각종 처리의 대상으로 하는 데이터 단위는, 각각 임의이고 상술한 예에 한정되지 않는다. 예를 들어, 이들 정보나 처리가, 각각, TU(Transform Unit), TB(Transform Block), PU(Prediction Unit), PB(Prediction Block), CU(Coding Unit), LCU(Largest Coding Unit), 서브 블록, 블록, 타일, 슬라이스, 픽처, 시퀀스, 또는 컴포넌트마다 설정되도록 해도 되고, 그것들의 데이터 단위의 데이터를 대상으로 하도록 해도 된다. 물론, 이 데이터 단위는, 정보나 처리마다 설정될 수 있는 것이고, 모든 정보나 처리의 데이터 단위가 통일되어 있을 필요는 없다. 또한, 이들 정보의 저장 장소는 임의이고, 상술한 데이터 단위의 헤더나 파라미터 세트 등에 저장되도록 해도 된다. 또한, 복수 개소에 저장되도록 해도 된다.

또한, 상기 실시 형태에서는, 2라인 단위로 색차 성분에 대한 디블록 필터 처리가 행해지고 있지만, 본 기술은 이러한 예에 한정되지 않는다. 예를 들어, YUV 444 포맷의 경우, 4라인 단위로 색차 성분에 대한 디블록 필터 처리가 행해져도 된다. 이러한 경우, 적용 필요 여부 판정부(265)는, 상술한 조건 C3의 판정에 있어서, 1라인째와 3라인째를 참조하여, 판정을 행해도 된다.

(제어 정보)

이상에 있어서 설명한 본 기술에 관한 제어 정보를 부호화측으로부터 복호측으로 전송하도록 해도 된다. 예를 들어, 상술한 본 기술을 적용하는 것을 허가(또는 금지)할지 여부를 제어하는 제어 정보(예를 들어, enabled_flag)를 전송하도록 해도 된다. 또한, 예를 들어 상술한 본 기술을 적용하는 대상(또는 적용하지 않는 대상)을 나타내는 제어 정보를 전송하도록 해도 된다. 예를 들어, 본 기술을 적용하는(또는, 적용을 허가 혹은 금지하는) 블록 사이즈(상한 혹은 하한, 또는 그 양쪽), 프레임, 컴포넌트 또는 레이어 등을 지정하는 제어 정보를 전송하도록 해도 된다.

(블록 사이즈 정보)

본 기술을 적용하는 블록의 사이즈를 지정하는 데 있어서, 직접적으로 블록 사이즈를 지정할뿐만 아니라, 간접적으로 블록 사이즈를 지정하도록 해도 된다. 예를 들어, 사이즈를 식별하는 식별 정보를 사용하여 블록 사이즈를 지정하도록 해도 된다. 또한, 예를 들어 기준이 되는 블록(예를 들어, LCU나 SCU 등)의 사이즈와의 비 또는 차분에 의해 블록 사이즈를 지정하도록 해도 된다. 예를 들어, 신택스 요소 등으로서 블록 사이즈를 지정하는 정보를 전송하는 경우에, 그 정보로서, 상술한 바와 같은 간접적으로 사이즈를 지정하는 정보를 사용하도록 해도 된다. 이와 같이 함으로써, 그 정보의 정보량을 저감시킬 수 있어, 부호화 효율을 향상시킬 수 있는 경우도 있다. 또한, 이 블록 사이즈의 지정에는, 블록 사이즈의 범위의 지정(예를 들어, 허용되는 블록 사이즈의 범위의 지정 등)도 포함한다.

(기타)

또한, 본 명세서에 있어서 「플래그」란, 복수의 상태를 식별하기 위한 정보이고, 진(1) 또는 위(0)의 2상태를 식별할 때에 사용하는 정보뿐만 아니라, 3 이상의 상태를 식별하는 것이 가능한 정보도 포함된다. 따라서, 이 「플래그」가 취할 수 있는 값은, 예를 들어 1/0의 2치여도 되고, 3치 이상이어도 된다. 즉, 이 「플래그」를 구성하는 bit수는 임의이고, 1bit여도 되고 복수 bit여도 된다. 또한, 식별 정보(플래그도 포함함)는, 그 식별 정보를 비트 스트림에 포함하는 형태뿐만 아니라, 어느 기준이 되는 정보에 대한 식별 정보의 차분 정보를 비트 스트림에 포함하는 형태도 상정되기 때문에, 본 명세서에 있어서는, 「플래그」나 「식별 정보」는, 그 정보뿐만 아니라, 기준이 되는 정보에 대한 차분 정보도 포함한다.

또한, 부호화 데이터(비트 스트림)에 관한 각종 정보(메타데이터 등)는, 부호화 데이터에 관련되어 있으면, 어느 형태로 전송 또는 기록되도록 해도 된다. 여기서, 「관련된다」라는 용어는, 예를 들어 한쪽의 데이터를 처리할 때에 다른 쪽의 데이터를 이용할 수 있도록(링크시킬 수 있도록) 하는 것을 의미한다. 즉, 서로 관련된 데이터는, 하나의 데이터로서 모아져도 되고, 각각 개별의 데이터로 해도 된다. 예를 들어, 부호화 데이터(화상)에 관련된 정보는, 그 부호화 데이터(화상)와는 별도의 전송로 상에서 전송되도록 해도 된다. 또한, 예를 들어 부호화 데이터(화상)에 관련된 정보는, 그 부호화 데이터(화상)와는 별도의 기록 매체(또는 동일한 기록 매체의 별도의 기록 에어리어)에 기록되도록 해도 된다. 또한, 이 「관련됨」은, 데이터 전체가 아니라, 데이터의 일부여도 된다. 예를 들어, 화상과 그 화상에 대응하는 정보가, 복수 프레임, 1프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련되도록 해도 된다.

또한, 본 명세서에 있어서, 「합성한다」, 「다중화한다」, 「부가한다」, 「일체화한다」, 「포함한다」, 「저장한다」, 「인입한다」, 「꽂는다」, 「삽입한다」 등의 용어는, 예를 들어 부호화 데이터와 메타 데이터를 하나의 데이터로 통합하는 것과 같은, 복수의 것을 하나로 통합하는 것을 의미하고, 상술한 「관련된다」의 하나의 방법을 의미한다.

본 기술은, 장치 또는 시스템을 구성하는 모든 구성, 예를 들어 시스템 LSI(Large Scale Integration) 등으로서의 프로세서, 복수의 프로세서 등을 사용하는 모듈, 복수의 모듈 등을 사용하는 유닛, 유닛에 또한 기타의 기능을 부가한 세트 등(즉, 장치의 일부 구성)으로서 실시할 수도 있다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 상관없다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해 접속되어 있는 복수의 장치 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.

또한, 예를 들어 하나의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 된다. 또한, 시스템 전체적인 구성이나 동작이 실질적으로 동일하면, 어느 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 된다. 또한, 예를 들어 본 기술은, 하나의 기능을, 네트워크를 통해 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 예를 들어 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다. 또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다. 환언하면, 하나의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 하나의 스텝으로서 통합하여 실행할 수도 있다.

또한, 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서에 따라 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행해진 때 등의 필요한 타이밍에 개별로 실행되도록 해도 된다. 즉, 모순이 발생하지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 또한, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합하여 실행되도록 해도 된다.

또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적이지 않다. 즉, 본 개시에 관한 기술은, 상기한 효과와 함께, 또는 상기한 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.

또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.

(1)

부호화 스트림을 복호하여 복호 화상을 생성하는 복호부와,

상기 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 판정부와,

상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 필터링부

를 구비하는, 화상 처리 장치.

(2)

상기 색차 관련 파라미터는, 색차 성분의 변환 계수에 관한 정보를 포함하고,

상기 경계 강도는, 상기 경계 강도의 산출 대상인 상기 블록 경계를 사이에 두는 블록에 상기 색차 성분의 유의 계수가 존재하는지 여부에 기초하여 산출되는, 상기 (1)에 기재된 화상 처리 장치.

(3)

상기 경계 강도는, 상기 경계 강도의 산출 대상인 상기 블록 경계를 사이에 두는 블록에 각 성분의 유의 계수가 존재하는지 여부를 독립적으로 판정함으로써 산출되는, 상기 (2)에 기재된 화상 처리 장치.

(4)

상기 경계 강도는, 복수의 비트에 의해 표현되고,

상기 복수의 비트에는, 각 성분에 대응하는 비트가 적어도 하나씩 포함되는, 상기 (1) 내지(3) 중 어느 한 항에 기재된 화상 처리 장치.

(5)

상기 판정부는, 상기 경계 강도에 기초하는 판정과, 상기 블록 경계를 사이에 두는 블록의 블록 사이즈를 사용한 라지 블록 판정에 의해, 상기 디블록 필터 적용 필요 여부를 판정하는, 상기 (1) 내지 (4) 중 어느 한 항에 기재된 화상 처리 장치.

(6)

상기 판정부는, 상기 경계 강도가 인터 예측에 관련되는 값을 갖는 경우에, 상기 라지 블록 판정을 행하는, 상기 (5)에 기재된 화상 처리 장치.

(7)

상기 판정부는, 상기 블록 경계를 사이에 두는 블록에 있어서의 상기 블록 경계와 직교하는 방향의 사이즈에 기초하여, 상기 라지 블록 판정을 행하는, 상기 (5) 또는 (6)에 기재된 화상 처리 장치.

(8)

상기 판정부는, 상기 블록 경계를 사이에 두는 블록에 있어서의 상기 블록 경계와 직교하는 방향의 사이즈가 16보다 큰지 여부에 기초하여, 상기 라지 블록 판정을 행하는, 상기 (7)에 기재된 화상 처리 장치.

(9)

상기 필터링부는, 상기 디블록 필터로서, 위크 필터, 또는 스트롱 필터를 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 적용하는, 상기 (1) 내지 (8) 중 어느 한 항에 기재된 화상 처리 장치.

(10)

상기 스트롱 필터의 계수는, 상기 스트롱 필터의 적용 대상 범위의 중심 위치에 있어서 2이고, 기타의 위치에 있어서 1인, 상기 (9)에 기재된 화상 처리 장치.

(11)

상기 필터링부는, 상기 블록 경계로부터 양측 3화소까지를 상기 스트롱 필터의 적용 대상 범위로 하고, 상기 적용 대상 범위의 중심 위치의 양측의 3화소를 참조 화소로 하고, 상기 적용 대상 범위에 포함되는 화소의 색차 성분에 상기 스트롱 필터를 적용하는, 상기 (9) 또는 (10)에 기재된 화상 처리 장치.

(12)

상기 필터링부는, 상기 블록 경계로부터 5화소 이상 이격된 화소 대신에, 상기 블록 경계로부터 4화소째의 화소값을, 패딩함으로써 상기 참조 화소의 화소값으로서 사용하는, 상기 (11)에 기재된 화상 처리 장치.

(13)

상기 필터링부는, 양자화 파라미터에 기초하여 특정되는 파라미터 t_C에 기초하는 클리핑 처리를 행하여, 상기 스트롱 필터를 적용하는, 상기 (10) 내지 (12) 중 어느 한 항에 기재된 화상 처리 장치.

(14)

상기 판정부는, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 적용되는 상기 디블록 필터의 필터 강도를 더 판정하고,

상기 필터링부는, 상기 판정부에 의해 판정된 상기 필터 강도에 따라, 상기 위크 필터, 또는 상기 스트롱 필터를 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 적용하는, 상기 (9) 내지 (13) 중 어느 한 항에 기재된 화상 처리 장치.

(15)

상기 판정부는, 상기 디블록 필터 적용 필요 여부의 판정 후에, 상기 필터 강도를 판정하는, 상기 (14)에 기재된 화상 처리 장치.

(16)

상기 판정부는, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분의 파형에 기초하여 상기 필터 강도를 판정하는, 상기 (15)에 기재된 화상 처리 장치.

(17)

상기 판정부는, 상기 블록 경계의 근방에 위치하는 화소 중, 2개의 라인에 포함되는 화소의 색차 성분의 평탄도에 관한 조건, 연속성에 관한 조건 및 갭에 관한 조건에 기초하여 상기 필터 강도를 판정하고,

상기 필터링부는, 상기 평탄도에 관한 조건, 상기 연속성에 관한 조건, 상기 갭에 관한 조건 중, 모든 조건이 만족된다고 판정된 경우에 상기 스트롱 필터를 적용하고, 적어도 하나의 조건이 만족되지 않는다고 판정된 경우에 상기 위크 필터를 적용하는, 상기 (16)에 기재된 화상 처리 장치.

(18)

부호화 스트림을 복호하여 복호 화상을 생성하는 것과,

상기 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 것과,

상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 것

을 포함하는 화상 처리 방법.

(19)

로컬 복호된 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 판정부와,

상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 필터링부와,

상기 필터링부에 의해 상기 디블록 필터가 적용된 상기 복호 화상을 사용하여, 화상을 부호화하는 부호화부

를 구비하는 화상 처리 장치.

(20)

로컬 복호된 복호 화상의 블록 경계를 대상으로 하여, 색차에 관련되는 색차 관련 파라미터를 사용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 것과,

상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 것과,

상기 디블록 필터가 적용된 상기 복호 화상을 사용하여, 화상을 부호화하는 것

을 포함하는 화상 처리 방법.

10: 화상 부호화 장치
16: 가역 부호화부
26: 디블록 필터
60: 화상 복호 장치
62: 가역 복호부
261: 경계 강도 산출부
263: 판정부
265: 적용 필요 여부 판정부
267: 필터 강도 판정부
269: 필터링부

Claims

부호화 스트림을 복호하여 복호 화상을 생성하는 복호부와,
상기 복호 화상의 블록 경계를 대상으로 하고, 직교 변환에 의해 얻어진 색차 성분의 변환 계수에 관한 정보인 색차 관련 파라미터를 이용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 판정부와,
상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 필터링부
를 구비하고,
상기 경계 강도는, 상기 색차 관련 파라미터에 기초하여, 상기 경계 강도의 산출 대상인 상기 블록 경계를 사이에 두는 블록에, 상기 색차 성분에 포함되는 성분 중 제1 성분의 유의 계수가 존재하는지 여부 또는 제2 성분의 유의 계수가 존재하는지 여부를 독립적으로 판정함으로써, 상기 제1 성분 및 상기 제2 성분 각각에 대하여 독립적으로 산출되고,
상기 판정부는,
상기 경계 강도에 기초한 판정과, 상기 블록 경계를 사이에 두는 블록의 상기 블록 경계와 직교하는 방향과 평행한 방향 중 상기 직교하는 방향의 사이즈에 기초한 라지 블록 판정에 의해, 상기 디블록 필터 적용 필요 여부를 판정하는,
화상 처리 장치.
제1항에 있어서,
상기 판정부는, 상기 경계 강도가 인터 예측과 관련된 값을 갖는 경우에, 상기 라지 블록 판정을 행하는,
화상 처리 장치.
제1항에 있어서,
상기 색차 성분은 U성분 및 V성분으로 이루어지고, 상기 제1 성분은 상기 U성분이고, 상기 제2 성분은 상기 V성분인,
화상 처리 장치.
제1항에 있어서,
상기 색차 관련 파라미터는 상기 직교 변환의 변환 블록 내에 유의 계수가 포함되는지 여부를 나타내는 플래그를 포함하는,
화상 처리 장치.
제1항에 있어서,
상기 경계 강도는 복수의 비트로 표현되며,
상기 복수의 비트에는 각 성분에 대응하는 비트가 적어도 하나씩 포함되는,
화상 처리 장치.
제1항에 있어서,
상기 판정부는, 상기 블록 경계를 사이에 두는 블록에 있어서의 상기 블록 경계와 직교하는 방향의 사이즈가 16보다 큰지 여부에 기초하여, 상기 라지 블록 판정을 행하는,
화상 처리 장치.
제1항에 있어서,
상기 필터링부는, 상기 디블록 필터로서, 위크 필터 또는 스트롱 필터를 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 적용하는,
화상 처리 장치.
제7항에 있어서,
상기 스트롱 필터의 계수는, 상기 스트롱 필터의 적용 대상 범위의 중심 위치에 있어서 2이고, 기타의 위치에 있어서 1인,
화상 처리 장치.
제7항에 있어서,
상기 필터링부는, 상기 블록 경계로부터 양측 3화소까지를 상기 스트롱 필터의 적용 대상 범위로 하고, 상기 적용 대상 범위의 중심 위치의 양측의 3화소를 참조 화소로 하고, 상기 적용 대상 범위에 포함되는 화소의 색차 성분에 상기 스트롱 필터를 적용하는,
화상 처리 장치.
제9항에 있어서,
상기 필터링부는, 상기 블록 경계로부터 5화소 이상 이격된 화소 대신에, 상기 블록 경계로부터 4화소째의 화소값을, 패딩함으로써 상기 참조 화소의 화소값으로서 사용하는,
화상 처리 장치.
제8항에 있어서,
상기 필터링부는, 양자화 파라미터에 기초하여 특정되는 파라미터 t_C에 기초하는 클리핑 처리를 행하여, 상기 스트롱 필터를 적용하는,
화상 처리 장치.
제7항에 있어서,
상기 판정부는, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 적용되는 상기 디블록 필터의 필터 강도를 더 판정하고,
상기 필터링부는, 상기 판정부에 의해 판정된 상기 필터 강도에 따라, 상기 위크 필터 또는 상기 스트롱 필터를 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 적용하는,
화상 처리 장치.
제12항에 있어서,
상기 판정부는, 상기 디블록 필터 적용 필요 여부의 판정 후에, 상기 필터 강도를 판정하는,
화상 처리 장치.
제13항에 있어서,
상기 판정부는, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분의 파형에 기초하여 상기 필터 강도를 판정하는,
화상 처리 장치.
제14항에 있어서,
상기 판정부는, 상기 블록 경계의 근방에 위치하는 화소 중, 2개의 라인에 포함되는 화소의 색차 성분의 평탄도에 관한 조건, 연속성에 관한 조건, 및 갭에 관한 조건에 기초하여 상기 필터 강도를 판정하고,
상기 필터링부는, 상기 평탄도에 관한 조건, 상기 연속성에 관한 조건, 상기 갭에 관한 조건 중, 모든 조건이 만족된다고 판정된 경우에 상기 스트롱 필터를 적용하고, 적어도 하나의 조건이 만족되지 않는다고 판정된 경우에 상기 위크 필터를 적용하는,
화상 처리 장치.
부호화 스트림을 복호하여 복호 화상을 생성하는 것과,
상기 복호 화상의 블록 경계를 대상으로 하고, 직교 변환에 의해 얻어진 색차 성분의 변환 계수에 관한 정보인 색차 관련 파라미터를 이용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 것과,
상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 것
을 포함하고,
상기 경계 강도는, 상기 색차 관련 파라미터에 기초하여, 상기 경계 강도의 산출 대상인 상기 블록 경계를 사이에 두는 블록에, 상기 색차 성분에 포함되는 성분 중 제1 성분의 유의 계수가 존재하는지 여부 또는 제2 성분의 유의 계수가 존재하는지 여부를 독립적으로 판정함으로써, 상기 제1 성분 및 상기 제2 성분 각각에 대하여 독립적으로 산출되고,
상기 판정하는 것은,
상기 경계 강도에 기초한 판정과, 상기 블록 경계를 사이에 두는 블록의 상기 블록 경계와 직교하는 방향과 평행한 방향 중 상기 직교하는 방향의 사이즈에 기초한 라지 블록 판정에 의해, 상기 디블록 필터 적용 필요 여부를 판정하는 것인,
화상 처리 방법.
로컬 복호에 의한 처리로 복호된 복호 화상의 블록 경계를 대상으로 하고, 직교 변환에 의해 얻어진 색차 성분의 변환 계수에 관한 정보인 색차 관련 파라미터를 이용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 판정부와,
상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 필터링부와,
상기 필터링부에 의해 상기 디블록 필터가 적용된 상기 복호 화상을 이용하여, 화상을 부호화하는 부호화부
를 구비하고,
상기 경계 강도는, 상기 색차 관련 파라미터에 기초하여, 상기 경계 강도의 산출 대상인 상기 블록 경계를 사이에 두는 블록에, 상기 색차 성분에 포함되는 성분 중 제1 성분의 유의 계수가 존재하는지 여부 또는 제2 성분의 유의 계수가 존재하는지 여부를 독립적으로 판정함으로써, 상기 제1 성분 및 상기 제2 성분 각각에 대하여 독립적으로 산출되고,
상기 판정부는,
상기 경계 강도에 기초한 판정과, 상기 블록 경계를 사이에 두는 블록의 상기 블록 경계와 직교하는 방향과 평행한 방향 중 상기 직교하는 방향의 사이즈에 기초한 라지 블록 판정에 의해, 상기 디블록 필터 적용 필요 여부를 판정하는,
화상 처리 장치.
로컬 복호에 의한 처리로 복호된 복호 화상의 블록 경계를 대상으로 하고, 직교 변환에 의해 얻어진 색차 성분의 변환 계수에 관한 정보인 색차 관련 파라미터를 이용하여 산출된 경계 강도에 기초하여, 상기 복호 화상의 색차 성분에 대한 디블록 필터 적용 필요 여부를 판정하는 것과,
상기 디블록 필터 적용 필요 여부의 판정 결과에 기초하여, 상기 블록 경계의 근방에 위치하는 화소의 색차 성분에 디블록 필터를 적용하는 것과,
상기 디블록 필터가 적용된 상기 복호 화상을 이용하여, 화상을 부호화하는 것
을 포함하고,
상기 경계 강도는, 상기 색차 관련 파라미터에 기초하여, 상기 경계 강도의 산출 대상인 상기 블록 경계를 사이에 두는 블록에, 상기 색차 성분에 포함되는 성분 중 제1 성분의 유의 계수가 존재하는지 여부 또는 제2 성분의 유의 계수가 존재하는지 여부를 독립적으로 판정함으로써, 상기 제1 성분 및 상기 제2 성분 각각에 대하여 독립적으로 산출되고,
상기 판정하는 것은,
상기 경계 강도에 기초한 판정과, 상기 블록 경계를 사이에 두는 블록의 상기 블록 경계와 직교하는 방향과 평행한 방향 중 상기 직교하는 방향의 사이즈에 기초한 라지 블록 판정에 의해, 상기 디블록 필터 적용 필요 여부를 판정하는 것인,
화상 처리 방법.