KR20210099125A - 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법, 및 컴퓨터 프로그램 - Google Patents

화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210099125A
KR20210099125A KR1020217021575A KR20217021575A KR20210099125A KR 20210099125 A KR20210099125 A KR 20210099125A KR 1020217021575 A KR1020217021575 A KR 1020217021575A KR 20217021575 A KR20217021575 A KR 20217021575A KR 20210099125 A KR20210099125 A KR 20210099125A
Authority
KR
South Korea
Prior art keywords
block
image
mode
intensity
deblocking filter
Prior art date
Application number
KR1020217021575A
Other languages
English (en)
Inventor
고지 오카와
마사토 시마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20210099125A publication Critical patent/KR20210099125A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

블록이 포함되는 화상 내의 화소를 사용하여 해당 블록의 예측 화소를 도출하는 제1 모드, 블록이 포함되는 화상과는 다른 화상의 화소를 사용하여 해당 블록의 예측 화소를 도출하는 제2 모드, 블록이 포함되는 화상 내의 화소와 해당 블록이 포함되는 화상과는 다른 화상의 화소의 양쪽을 사용하여 해당 블록의 예측 화소를 생성하는 제3 모드 중 어느 것을 예측 처리에 있어서 사용하는 것이 가능하다. 제1, 2 블록 중 적어도 어느 것에 있어서 제3 모드가 사용되는 경우, 제1, 2 블록 경계에 대하여 행하는 디블로킹 필터 처리의 강도를, 제1, 2 블록 중 적어도 어느 것에 있어서 제1 모드가 사용되는 경우와 동일한 강도로 한다.

Description

화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법
본 발명은, 화상 부호화 기술, 화상 복호 기술에 관한 것이다.
동화상의 압축 기록의 부호화 방식으로서, H.264/AVC 부호화 방식(이하, H.264라고 기재함)이나 HEVC(High Efficiency Video Coding) 부호화 방식(이하, HEVC라고 기재함)이 알려져 있다. HEVC에서는 부호화 효율 향상을 위해, 종래의 매크로 블록(16 화소×16 화소)보다 큰 사이즈의 기본 블록이 채용되었다. 이 큰 사이즈의 기본 블록은 CTU(Coding Tree Unit)라고 불리고, 그 사이즈는 최대 64 화소×64 화소이다. CTU는 또한 예측이나 변환을 행하는 단위가 되는 서브 블록으로 분할된다.
또한 HEVC에 있어서는, 역양자화ㆍ역변환 처리 후의 신호와 예측 화상을 가산한 재구성 화상의 블록 경계에 적응적인 디블로킹 필터 처리를 행함으로써, 시각적으로 두드러지기 쉬운 블록 변형을 억제할 수 있어, 예측 화상에 대한 화질 열화의 전반을 방지할 수 있었다. 특허문헌 1에서는, 이와 같은 디블로킹 필터에 관한 기술이 개시되어 있다.
근년, HEVC의 후계로서 또한 고효율인 부호화 방식의 국제 표준화를 행하는 활동이 개시되었다. JVET(Joint Video Experts Team)가 ISO/IEC와 ITU-T 사이에서 설립되고, VVC(Versatile Video Coding) 부호화 방식(이하, VVC)으로서 표준화가 진행되고 있다. 부호화 효율 향상을 위해, 종래의 인트라 예측, 인터 예측에 더하여, 인트라 예측 화소와 인터 예측 화소의 양쪽을 사용한 새로운 예측 방법(이하, 가중치 부여 인트라ㆍ인터 예측이라고 호칭함)이 검토되고 있다.
일본 특허 공표 제2014-507863호 공보
VVC에 있어서도, HEVC와 마찬가지로 디블로킹 필터의 도입이 검토되고 있다. 또한 VVC에서는, 종래의 인트라 예측, 인터 예측에 더하여, 인트라 예측 화소와 인터 예측 화소의 양쪽을 사용하여 새로운 예측 화소를 생성하는 가중치 부여 인트라ㆍ인터 예측의 도입이 검토되고 있다. HEVC에서는 디블로킹 필터의 강도의 결정 방법은 인트라 예측ㆍ인터 예측과 같은 예측 방법을 전제로 하고 있다. 한편, 새로운 예측 방법인 가중치 부여 인트라ㆍ인터 예측에 대한 방법도 인터 예측과 동일한 방법으로 디블로킹 필터의 강도가 결정되지만, 이것으로는 블록 경계의 변형을 충분히 억제할 수 없다는 과제가 있었다. 본 발명에서는, 가중치 부여 인트라ㆍ인터 예측에 대한 디블로킹 필터 처리의 강도를 적절하게 결정하고, 블록 경계에 발생하는 변형을 억제하기 위한 기술을 제공한다.
본 발명의 일 양태는, 화상을 블록마다 예측 처리를 행하여 부호화하는 부호화 수단과, 적어도, 제1 블록과, 당해 제1 블록과 인접하는 제2 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를, 상기 제1 블록의 예측 처리에서 사용되는 모드, 및, 상기 제2 블록의 예측 처리에서 사용되는 모드에 기초하여 결정하는 결정 수단과, 상기 결정 수단이 결정한 강도에 따른 디블로킹 필터 처리를, 상기 경계에 대하여 행하는 처리 수단을 구비하고, 상기 부호화 수단은, 부호화의 대상의 블록이 포함되는 화상 내의 화소를 사용하여, 당해 대상의 블록의 예측 화소를 도출하는 제1 모드, 부호화의 대상의 블록이 포함되는 화상과는 다른 화상의 화소를 사용하여, 당해 대상의 블록의 예측 화소를 도출하는 제2 모드, 및, 부호화의 대상의 블록이 포함되는 화상 내의 화소와, 당해 대상의 블록이 포함되는 화상과는 다른 화상의 화소의 양쪽을 사용하여, 당해 대상의 블록의 예측 화소를 생성하는 제3 모드 중 어느 것을, 예측 처리에 있어서 사용하는 것이 가능하고, 상기 결정 수단은, 상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서, 상기 제3 모드가 사용되는 경우, 상기 제1 블록과 상기 제2 블록의 상기 경계에 대하여 행하는 디블로킹 필터 처리의 강도를, 상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서 상기 제1 모드가 사용되는 경우와 동일한 강도로 하는 것을 특징으로 한다.
본 발명의 구성에 의하면, 가중치 부여 인트라ㆍ인터 예측에 대한 디블로킹 필터 처리의 강도를 적절하게 결정하여, 블록 경계에 발생하는 변형을 억제할 수 있다.
본 발명의 그 밖의 특징 및 이점은, 첨부 도면을 참조로 한 이하의 설명에 의해 밝혀질 것이다. 또한, 첨부 도면에 있어서는, 동일하거나 또는 마찬가지의 구성에는, 동일한 참조 번호를 첨부한다.
첨부 도면은 명세서에 포함되고, 그 일부를 구성하고, 본 발명의 실시 형태를 나타내고, 그 기술과 함께 본 발명의 원리를 설명하기 위해 사용된다.
도 1은 화상 부호화 장치의 기능 구성예를 도시하는 블록도이다.
도 2는 화상 복호 장치의 기능 구성예를 도시하는 블록도이다.
도 3은 부호화 처리의 흐름도이다.
도 4는 복호 처리의 흐름도이다.
도 5는 컴퓨터 장치의 하드웨어 구성예를 도시하는 블록도이다.
도 6은 비트 스트림의 구성예를 도시하는 도면이다.
도 7은 디블로킹 필터 처리의 일례를 나타내는 도면이다.
이하, 첨부 도면을 참조하여, 본 발명의 실시 형태에 대해서 설명한다. 또한, 이하 설명하는 실시 형태는, 본 발명을 구체적으로 실시한 경우의 일례를 나타내는 것으로, 특허 청구의 범위에 기재한 구성의 구체적인 실시 형태의 하나이다. 예를 들어, 이하의 설명에 있어서, 「기본 블록」이나 「서브 블록」과 같은 어구를 사용하지만, 각 실시 형태는 화상 부호화 기술에 있어서 「블록」이나 「유닛」 등의 명칭으로 불리는 다양한 처리 단위에 응용 가능하다.
[제1 실시 형태]
우선, 본 실시 형태에 따른 화상 부호화 장치의 기능 구성예에 대해서 도 1의 블록도를 사용하여 설명한다. 제어부(199)는 화상 부호화 장치 전체의 동작 제어를 행한다. 블록 분할부(102)는 입력 화상(동화상을 구성하는 각 프레임의 화상 또는 정지 화상)을 복수의 기본 블록으로 분할하고, 해당 분할한 각각의 기본 블록(분할 화상)을 출력한다.
예측부(103)는 기본 블록마다, 해당 기본 블록을 복수의 서브 블록(분할 화상)으로 분할한다. 그리고 예측부(103)는 서브 블록마다, 프레임 내 예측(인트라 예측), 프레임간 예측(인터 예측) 또는 프레임 내 예측과 프레임간 예측의 양자를 가중치 부여하여 조합하는 가중치 부여 인트라ㆍ인터 예측을 행하여 예측 화상을 생성한다. 그리고 예측부(103)는 서브 블록마다, 예측 화상과 서브 블록의 차분을 예측 오차로서 구한다. 또한 예측부(103)는 기본 블록을 어떻게 서브 블록으로 분할한 것인지를 나타내는 정보, 예측 모드, 움직임 벡터 등의 예측에 필요한 정보를 예측 정보로서 생성한다.
변환ㆍ양자화부(104)는 서브 블록마다의 예측 오차를 직교 변환함으로써, 서브 블록마다의 변환 계수(직교 변환 계수)를 생성한다. 그리고 변환ㆍ양자화부(104)는 각각의 서브 블록의 변환 계수를 양자화함으로써 해당 서브 블록의 양자화 계수를 생성한다.
역양자화ㆍ역변환부(105)는 변환ㆍ양자화부(104)에 의해 생성된 각각의 서브 블록의 양자화 계수를, 해당 서브 블록의 양자화에 사용한 양자화 매트릭스를 사용하여 역양자화하여 변환 계수를 생성하고, 해당 변환 계수를 역직교 변환하여 예측 오차를 생성한다.
화상 재생부(106)는 예측부(103)가 생성된 예측 정보에 기초하여, 프레임 메모리(107)에 저장되어 있는 부호화 완료의 화상 데이터로부터 예측 화상을 생성하고, 해당 예측 화상과, 역양자화ㆍ역변환부(105)가 생성된 예측 오차로부터 화상을 재생한다. 그리고 화상 재생부(106)는 해당 재생한 화상을 프레임 메모리(107)에 저장한다. 프레임 메모리(107)에 저장되어 있는 화상은, 예측부(103)가 다른 프레임의 화상에 대해서 예측(예측 처리)을 행할 때 참조되는 화상이 된다.
인루프 필터부(108)는 프레임 메모리(107)에 저장되어 있는 화상에 대하여, 디블로킹 필터나 샘플 어댑티브 오프셋 등의 인루프 필터 처리를 행한다.
필터 처리 강도 계산부(112)는 예측부(103)로부터 출력되는 예측 정보와, 변환ㆍ양자화부(104)로부터 출력되는 양자화 계수를 사용하여, 서로 인접하는 서브 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도(bS값)를 계산한다.
서로 인접하는 2개의 서브 블록 중 한쪽을 서브 블록 P, 다른 쪽을 서브 블록 Q라고 칭하면, 서브 블록 P와 서브 블록 Q의 경계에 대하여 행하는 디블로킹 필터 처리의 강도인 bS값은 이하와 같이 하여 계산된다.
ㆍ서브 블록 P 및 서브 블록 Q 중 적어도 한쪽이 인트라 예측 또는 가중치 부여 인트라ㆍ인터 예측이 적용된 서브 블록인 경우는 bS값=2로 한다
ㆍ상기 이외, 서브 블록 P 및 서브 블록 Q 중 적어도 한쪽의 서브 블록에 비영의 직교 변환 계수가 존재하는 경우는 bS값=1
ㆍ상기 이외, 서브 블록 P의 움직임 벡터와 서브 블록 Q의 움직임 벡터의 차의 절댓값(크기)이 규정값 이상(예를 들어 1 화소 이상)인 경우는 bS값=1
ㆍ상기 이외, 서브 블록 P와 서브 블록 Q의 움직임 보상의 참조 화상이 다르거나, 움직임 벡터의 수가 다른 경우, bS값=1
ㆍ상기 이외, bS값=0
여기서, bS값이 클수록, 강도가 강한 디블로킹 필터를 사용한 디블로킹 필터 처리를 실시하는 것으로 한다. 본 실시 형태에서는, bS값=0에서는 디블로킹 필터 처리가 실시되지 않고, bS값=1에서는 휘도 성분에만 디블로킹 필터 처리가 실시된다. bS값=2에서는 휘도 성분 및 색차 성분에 디블로킹 필터 처리가 실시된다. 즉 본 실시 형태에 있어서는, bS값은 디블로킹 필터 처리를 행할지 여부를 나타내거나, 휘도 성분이나 색차 성분과 같은 디블로킹 필터 처리의 대상이 되는 신호(화상 성분)의 종류를 나타내고 있지만, 이에 한정되는 것은 아니다. 디블로킹 필터 처리의 강도의 종류는 수가 더 많아도 되고 적어도 된다. 디블로킹 필터 처리의 강도에 따른 처리의 내용도 달라도 된다.
예를 들어, H.264의 디블로킹 필터 처리와 같이, bS값이 0 내지 4의 오단계의 값을 취해도 된다. 본 실시 형태에서는 가중치 부여 인트라ㆍ인터 예측을 사용한 서브 블록의 경계에 대한 디블로킹 필터 처리의 강도는, 해당 서브 블록이 인트라 예측을 사용했을 때와 동일한 값으로 되어 있다. 이것은 bS값=2, 즉 최대의 강도인 것을 나타내고 있지만, 본 실시 형태는 이에 한정되는 것은 아니다. 본 실시 형태에 있어서의 bS값=1과 bS값=2 사이에 중간적인 bS값을 마련하고, 서브 블록 P와 서브 블록 Q 중 적어도 한쪽이 가중치 부여 인트라ㆍ인터 예측의 경우는, 이 중간적인 bS값을 사용하는 구성으로 해도 된다. 그 경우, 휘도 성분에는 통상의 bS값=2일 때와 마찬가지의 디블로킹 필터 처리를 실시하고, 색차 성분에는 bS값=2일 때보다도 평활 효과의 강도가 약한 디블로킹 필터 처리를 실시하는 것도 가능하다. 이에 의해, 가중치 부여 인트라ㆍ인터 예측을 사용한 서브 블록의 경계에 대해서는, 중간적인 평활하는 정도의 디블로킹 필터 처리를 실시할 수 있다. 이상과 같이, 단순히 「디블로킹 필터 처리의 강도」라고 칭하는 경우는, 디블로킹 필터 처리를 행하는 대상이 되는 신호(휘도 성분 또는 색차 성분)를 바꾸거나, 디블로킹 필터에 의해 신호를 보정하는 평활 효과의 강도를 바꾸거나 함으로써, 디블로킹 필터 처리의 강도를 바꾸는 것을 의미하는 것으로 한다.
이상과 같이, 프레임 메모리(107)에 저장되어 있는 재생 화상(복호 화상)에 있어서 인접하는 각각의 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를, 해당 각각의 블록의 예측 부호화의 과정에서 얻은 정보에 기초하여 결정한다.
본 실시 형태에서는, 서브 블록의 경계를 포함하는 8 화소×8 화소의 화상 영역에 대하여 디블로킹 필터를 적용함으로써, 해당 화상 영역에 대한 디블로킹 필터 처리를 실현시킨다.
여기서, 인루프 필터부(108)가 행하는 디블로킹 필터 처리에 대해서, 도 7의 예를 들어 상세하게 설명한다. 도 7에서는, 8 화소×8 화소의 사이즈를 갖는 서브 블록 P(도 7에서는 블록 P라고 칭하고 있음)의 우측 옆에 8 화소×8 화소의 사이즈를 갖는 서브 블록 Q(도 7에서는 블록 Q라고 칭하고 있음)가 인접하고 있다. 여기서, 서브 블록 P와 서브 블록 Q의 경계 부분(서브 블록 P의 우측 단부의 4 화소(가로)×8 화소(세로)와 서브 블록 Q의 좌측 단부의 4 화소(가로)×8 화소(세로)로 이루어지는 8 화소(가로)×8 화소(세로))에 대하여 디블로킹 필터 처리를 행한다고 한다. 이때, 경계 부분의 상반분과 하반분의 각각에 대하여 이하에 설명하는 처리를 행함으로써, 해당 상반분과 해당 하반분의 각각에 대하여 디블로킹 필터 처리를 실현시킬 수 있다. 여기서, 경계 부분의 상반분이란, 서브 블록 P의 우측 상부의 4 화소(가로)×4 화소(세로)와 서브 블록 Q의 좌측 상부의 4 화소(가로)×4 화소(세로)로 이루어지는 8 화소(가로)×4 화소(세로)의 화상 영역을 가리킨다. 또한 경계 부분의 하반분이란, 서브 블록 P의 우측 하부의 4 화소(가로)×4 화소(세로)와 서브 블록 Q의 좌측 하부의 4 화소(가로)×4 화소(세로)로 이루어지는 8 화소(가로)×4 화소(세로)의 화상 영역을 가리킨다.
이하에서는, 경계 부분의 하반분에 대한 디블로킹 필터 처리에 대해서 설명한다. 이하에 설명하는 디블로킹 필터 처리는, 경계 부분의 상반분에도 마찬가지로 적용된다.
도 7의 p00 내지 p33이 기재된 각 직사각형은, 서브 블록 P의 우측 하부의 4 화소(가로)×4 화소(세로)의 화상 영역에 있어서의 각 화소를 나타내고 있고, p00 내지 p33은 화소값을 나타내고 있다. 도 7의 q00 내지 q33은, 서브 블록 Q의 좌측 하부의 4 화소(가로)×4 화소(세로)의 화상 영역에 있어서의 각 화소를 나타내고 있고, q00 내지 q33은 화소값을 나타내고 있다. 먼저, 휘도 신호에 관해, bS값≥1의 경우, 하기의 식을 사용하여 필터링 처리를 행할지 여부를 판정한다.
|p20-2×p10+p00|+|p23-2×p13+p03|+|q20-2×q10+q00|+|q23-2×q13+q03|<β
여기서, β는 서브 블록 P의 양자화 파라미터와 서브 블록 Q의 양자화 파라미터의 평균값으로부터 구해지는 값이다. 이 부등식이 충족되어 있는 경우에만, 디블로킹 필터 처리를 행한다고 판단한다. 디블로킹 필터 처리를 행하는 경우, 다음에 평활화 효과가 다른 스트롱 필터링과 위크 필터링 중 어느 것을 사용하는 것인지를 판정한다. 이하의 (1) 내지 (6)의 부등식이 모두 충족되어 있으면 평활 효과가 강한 스트롱 필터링을 사용한다고 판단하고, 그 이외의 경우는 평활 효과가 스트롱 필터링보다도 약한 위크 필터링을 사용한다고 판단한다.
(1) 2×(|p20-2×p10+p00|+|q20-2×q10+q00|)<(β>>2)
(2) 2×(|p23-2×p13+p03|+|q23-2×q13+q03|)<(β>>2)
(3) |p30-p00|+|q00-q30|<(β>>3)
(4) |p33-p03|+|q03-q33|<(β>>3)
(5) |p00-q00|<((5×tc+1)>>1)
(6) |p03-q03|<((5×tc+1)>>1)
여기서, >>N(N=1 내지 3)은 N 비트 산술 우측 시프트 연산을 의미하고, tc는 bS값과 서브 블록 P의 양자화 파라미터와 서브 블록 Q의 양자화 파라미터로부터 구해지는 값이다.
휘도 신호에 대한, 평활 효과가 강한 스트롱 필터링 처리는, 필터링 후의 화소를 p'0k, p'1k, p'2k, q'0k, q'1k, q'2k(k=0 내지 3)로 하면, 이하의 식으로 표시된다.
p'0k=Clip3(p0k-2×tc, p0k+2×tc, (p2k+2×p1k+2×p0k+2×q0k+q1k+4)>>3)
p'1k=Clip3(p1k-2×tc, p1k+2×tc, (p2k+p1k+p0k+q0k+2)>>2)
p'2k=Clip3(p2k-2×tc, p2k+2×tc, (2×p3k+3×p2k+p1k+p0k+q0k+4)>>3)
q'0k=Clip3(q0k-2×tc, q0k+2×tc, (q2k+2×q1k+2×q0k+2×p0k+p1k+4)>>3)
q'1k=Clip3(q1k-2×tc, q1k+2×tc, (q2k+q1k+q0k+p0k+2)>>2)
q'2k=Clip3(q2k-2×tc, q2k+2×tc, (2×q3k+3×q2k+q1k+q0k+p0k+4)>>3)
여기서, Clip3(a, b, c)은, c의 범위가 a≤b≤c가 되도록 클립 처리하는 함수이다. 한편, 휘도 신호에 대한, 평활 효과가 약한 위크 필터링 처리는 이하와 같이 실시된다.
Δ=(9×(q0k-p0k)-3×(q1k-p1k)+8)>>4
|Δ|<10×tc
이 부등식이 충족되지 않는 경우는, 디블로킹 필터 처리는 실시되지 않고, 충족되는 경우는, 화소값 p0k 및 화소값 q0k에 대하여 이하에 나타내는 처리를 행하는 것으로 한다.
Δ=Clip3(-tc, tc, Δ)
p'0k=Clip1Y(p0k+Δ)
q'0k=Clip1Y(q0k-Δ)
여기서, Clip1Y(a)는, a의 범위가 0≤a≤(휘도 신호의 비트 심도로 표현 가능한 최댓값)이 되도록 클립 처리를 행하는 함수이다. 또한 다음의 조건을 충족할 때,
|p20-2×p10+p00|+|p23-2×p13+p03|<(β+(β>>1))>>3)
|q20-2×q10+q00|+|q23-2×q13+q03|<(β+(β>>1))>>3)
각각 p1k, q1k에 대하여 이하의 필터 처리가 행해진다.
Δp=Clip3(-(tc>>1), tc>>1, (((p2k+p0k+1)>>1)-p1k+Δ)>>1)
p'1k=Clip1Y(p1k+Δp)
Δq=Clip3(-(tc>>1), tc>>1, (((q2k+q0k+1)>>1)-q1k+Δ)>>1)
q'1k=Clip1Y(q1k+Δq)
색차 신호의 디블로킹 필터 처리에 대해서는, bS값=2일 때만 이하의 처리가 행해진다.
Δ=Clip3(-tc, tc, ((((q0k-p0k)<<2)+p1k-q1k+4)>>3))
p'0k=Clip1C(p0k+Δ)
p'0k=Clip1C(p0k-Δ)
여기서, Clip1C(a)는 a의 범위가 0≤a≤(색차 신호의 비트 심도로 표현 가능한 최댓값)이 되도록 클립 처리를 행하는 함수이다. 본 실시 형태에서는, 디블로킹 필터 처리의 강도를 나타내는 bS값은, 디블로킹 필터의 처리 대상의 신호의 종류를 나타내고, 그것과는 별도로 평활화 효과가 높은 스트롱 필터, 평활화 효과가 약한 위크 필터를 화소값의 조건에 따라서 구분지어 사용하였다. 그러나 이에 한정되는 것은 아니다. 예를 들어, bS값에 따라서 신호의 종류뿐만 아니라 평활화 효과의 강약이 결정되어도 되고, 평활화 효과의 강약만이 bS값에 의해 결정되고, 신호의 종류는 또한 다른 조건에 의해 결정되어도 된다.
부호화부(109)는 변환ㆍ양자화부(104)에 의해 생성된 양자화 계수와, 예측부(103)에 의해 생성된 예측 정보를 부호화하여 부호화 데이터를 생성한다. 통합 부호화부(110)는 부호화부(109)에 의해 생성된 부호화 데이터와, 입력 화상의 복호에 필요한 정보를 포함하는 헤더 데이터를 포함하는 비트 스트림을 생성하여 출력한다.
다음에, 본 실시 형태에 따른 화상 부호화 장치의 동작에 대해서 설명한다. 블록 분할부(102)는 입력 화상을 복수의 기본 블록으로 분할하고, 해당 분할한 각각의 기본 블록을 출력한다.
예측부(103)는 기본 블록마다, 해당 기본 블록을 복수의 서브 블록(분할 화상)으로 분할한다. 그리고 예측부(103)는 서브 블록마다, 이하의 어느 예측 방법을 사용하여 부호화하는 것인지를 결정한다.
ㆍ수평 예측이나 수직 예측 등의 인트라 예측
ㆍ참조 프레임으로부터 움직임 보상을 행하는 인터 예측
ㆍ인트라 예측과 인터 예측을 조합한 가중치 부여 인트라ㆍ인터 예측
본 실시 형태에서 사용되는 예측 방법에 대해서, 다시 설명한다. 인트라 예측에서는, 부호화 대상이 되는 블록(부호화 대상 블록)의 공간적으로 주변에 위치하는 부호화 완료 화소를 사용하여 부호화 대상 블록의 예측 화소를 생성(도출)하고, 수평 예측이나 수직 예측, DC 예측 등의 인트라 예측 방법을 나타내는 인트라 예측 모드도 생성한다.
인터 예측에서는, 부호화 대상 블록과는 시간적으로 다른 프레임의 부호화 완료 화소를 사용하여 부호화 대상 블록의 예측 화소를 생성하고, 참조하는 프레임이나 움직임 벡터 등을 나타내는 움직임 정보도 생성한다.
가중치 부여 인트라ㆍ인터 예측에서는, 전술한 인트라 예측에 의해 생성된 화소값과 전술한 인터 예측에 의해 생성된 화소값을 가중 평균하여(양쪽을 사용하여), 부호화 대상 블록의 예측 화소의 화소값을 생성한다. 예측 화소의 화소값은, 예를 들어, 하기의 식 (1)을 사용하여 계산한다(기본 블록의 사이즈가 8 화소×8 화소의 경우의 식).
p[x][y]=(w×pInter[x][y]+(8-w)×pIntra[x][y])>>3)… (1)
단, 「>>」은 우측으로의 비트 시프트를 나타낸다. 상기의 식 (1)에 있어서, p[x][y]는 부호화 대상 블록 내의 좌표(x, y)에 있어서의 산출된 가중치 부여 인트라ㆍ인터 예측에 의한 예측 화소의 화소값이다. pInter[x][y]는 부호화 대상 블록 내의 좌표(x, y)에 있어서의 인터 예측에 의한 화소값, pInter[x][y]는 부호화 대상 블록 내의 좌표(x, y)에 있어서의 인터 예측에 의한 화소값을 나타내고 있다. w는 인터 예측의 화소값 및 인트라 예측의 화소값에 대한 가중치값을 나타내고 있고, 본 실시 형태에서는 w=4일 때 인터 예측의 화소값과 인트라 예측의 화소값에 대한 가중치가 동일해진다. 바꿔 말하면, w>4이면 인터 예측의 화소값에 대한 가중치가 증가하고, w<4이면 인트라 예측의 화소값에 대한 가중치가 증가한다. 가중치값 w의 결정 방법은 특별히 한정하지 않지만, 인트라 예측 모드나 인터 예측의 움직임 벡터의 크기, 부호화 대상 블록의 위치 등에 따라서 결정되는 것으로 한다. 이렇게 해서 가중치 부여 인트라ㆍ인터 예측에서는, 부호화 대상 블록의 예측 화소를 생성하고, 예측 화소의 생성에 사용된 인트라 예측 모드나 움직임 정보도 생성한다.
그리고 예측부(103)는 결정한 예측 방법 및 부호화 완료의 화소로부터 예측 화상을 생성하고, 서브 블록과 예측 화상으로부터 예측 오차를 생성한다. 또한 예측부(103)는 기본 블록을 어떻게 서브 블록으로 분할한 것인지를 나타내는 정보, 예측 모드, 움직임 벡터 등의 예측에 필요한 정보를 예측 정보로서 생성한다.
변환ㆍ양자화부(104)는 서브 블록마다의 예측 오차를 직교 변환함으로써, 서브 블록마다의 변환 계수를 생성한다. 그리고 변환ㆍ양자화부(104)는 각각의 서브 블록의 변환 계수를 양자화함으로써 해당 서브 블록의 양자화 계수를 생성한다.
역양자화ㆍ역변환부(105)는 변환ㆍ양자화부(104)에 의해 생성된 각각의 서브 블록의 양자화 계수를, 해당 서브 블록의 양자화에 사용한 양자화 매트릭스를 사용하여 역양자화하여 변환 계수를 생성하고, 해당 변환 계수를 역직교 변환하여 예측 오차를 생성한다.
화상 재생부(106)는 예측부(103)가 생성된 예측 정보에 기초하여, 프레임 메모리(107)에 저장되어 있는 부호화 완료 화상 데이터로부터 예측 화상을 생성하고, 해당 예측 화상과, 역양자화ㆍ역변환부(105)가 생성된 예측 오차로부터 화상을 재생한다. 그리고 화상 재생부(106)는 해당 재생한 화상을 프레임 메모리(107)에 저장한다.
필터 처리 강도 계산부(112)는 예측부(103)로부터 출력되는 예측 정보와, 변환ㆍ양자화부(104)로부터 출력되는 양자화 계수를 사용하여 상기의 처리를 행함으로써, 서로 인접하는 서브 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를 계산한다.
인루프 필터부(108)는 프레임 메모리(107)에 저장되어 있는 화상에 대하여 디블로킹 필터나 샘플 어댑티브 오프셋 등의 인루프 필터 처리를 행한다. 인루프 필터부(108)에서 행하는 디블로킹 필터 처리는, 필터 처리 강도 계산부(112)가 구한 강도에 기초하고 있다.
부호화부(109)는 변환ㆍ양자화부(104)에 의해 생성된 양자화 계수와, 예측부(103)에 의해 생성된 예측 정보를 엔트로피 부호화하여 부호화 데이터를 생성한다. 엔트로피 부호화의 방법은 특별히 지정하지 않지만, 골롬 부호화, 산술 부호화, 허프만 부호화 등을 사용할 수 있다.
통합 부호화부(110)는 부호화부(109)에 의해 생성된 부호화 데이터나 헤더 데이터 등을 다중화하여 비트 스트림을 생성하고, 해당 생성한 비트 스트림을 출력한다.
이상 설명한 화상 부호화 장치에 의한 입력 화상의 부호화 처리에 대해서, 도 3의 흐름도에 따라서 설명한다. 스텝 S301에서는, 통합 부호화부(110)는 화상의 부호화에 필요한 헤더를 부호화하여 헤더 데이터(부호화 데이터)를 생성한다.
스텝 S302에서는, 블록 분할부(102)는 입력 화상을 복수의 기본 블록으로 분할한다. 스텝 S303에서는, 예측부(103)는 스텝 S302에서 분할된 각각의 기본 블록 중 미선택의 1개를 선택 기본 블록으로서 선택한다. 그리고 예측부(103)는 서브 블록 분할 방법(본 실시 형태에서는 인트라 예측, 인터 예측, 가중치 부여 인트라ㆍ인터 예측 중 어느 하나의 예측 방법)을 결정하고, 해당 결정한 서브 블록 분할 방법에 따라서 선택 기본 블록을 복수의 서브 블록으로 분할한다. 또한 예측부(103)는 서브 블록 단위로 예측 방법을 결정한다. 그리고 예측부(103)는 서브 블록마다, 프레임 메모리(107) 내의 화상을 사용하여, 결정한 예측 방법에 따라서 예측을 행함으로써 예측 화상을 생성하고, 서브 블록과 해당 예측 화상의 차분을 예측 오차로서 구한다. 또한 예측부(103)는 서브 블록 분할 방법을 나타내는 정보, 예측 모드, 움직임 벡터 등의 예측에 필요한 정보를 예측 정보로서 생성한다.
스텝 S304에서는, 변환ㆍ양자화부(104)는 서브 블록마다의 예측 오차를 직교 변환함으로써, 서브 블록마다의 변환 계수를 생성한다. 그리고 변환ㆍ양자화부(104)는 각각의 서브 블록의 변환 계수를 양자화하고, 해당 서브 블록의 양자화 계수를 생성한다.
스텝 S305에서는, 역양자화ㆍ역변환부(105)는 스텝 S304에서 생성된 각각의 서브 블록의 양자화 계수를, 해당 서브 블록의 양자화에서 사용한 양자화 매트릭스를 사용하여 역양자화하여 변환 계수를 생성한다. 그리고 역양자화ㆍ역변환부(105)는 해당 생성된 변환 계수를 역직교 변환하여 예측 오차를 생성한다.
스텝 S306에서는, 화상 재생부(106)는 예측부(103)가 생성된 예측 정보에 기초하여, 프레임 메모리(107)에 저장되어 있는 부호화 처리 완료의 화상 데이터로부터 예측 화상을 생성한다. 그리고 화상 재생부(106)는 해당 예측 화상과, 역양자화ㆍ역변환부(105)가 생성된 예측 오차로부터 화상을 재생한다. 그리고 화상 재생부(106)는 해당 재생한 화상을 프레임 메모리(107)에 저장한다.
스텝 S307에서는, 부호화부(109)는 변환ㆍ양자화부(104)에 의해 생성된 양자화 계수와, 예측부(103)에 의해 생성된 예측 정보를 엔트로피 부호화하여 부호화 데이터를 생성한다. 통합 부호화부(110)는 부호화부(109)에 의해 생성된 부호화 데이터와, 헤더 데이터를 다중화하여 비트 스트림을 생성한다.
스텝 S308에서는, 제어부(199)는 모든 기본 블록이 부호화되었는지 여부를 판단한다. 이 판단의 결과, 모든 기본 블록이 부호화된 경우에는, 처리는 스텝 S309로 진행하고, 아직 부호화되어 있지 않은 기본 블록이 남아있는 경우에는, 처리는 스텝 S303으로 진행한다.
스텝 S309에서 필터 처리 강도 계산부(112)는 예측부(103)가 구한 예측 정보와 변환ㆍ양자화부(104)가 구한 양자화 계수를 사용하여 상기의 처리를 행함으로써, 서로 인접하는 서브 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를 계산한다.
스텝 S310에서는, 인루프 필터부(108)는 프레임 메모리(107)에 저장되어 있는 화상에 대하여, 디블로킹 필터나 샘플 어댑티브 오프셋 등의 인루프 필터 처리를 행한다. 서로 인접하는 서브 블록의 경계에 대하여 행하는 디블로킹 필터 처리는, 해당 경계에 대해서 필터 처리 강도 계산부(112)가 구한 강도에 기초하고 있다.
이와 같이 본 실시 형태에 따르면, 특히 스텝 S309에 있어서, 가중치 부여 인트라ㆍ인터 예측을 사용한 서브 블록의 경계에 대하여 변형 보정 효과가 높은 디블로킹 필터를 설정할 수 있다. 이에 의해, 블록 변형을 억제할 수 있어, 주관 화질을 향상시킬 수 있다. 또한, 디블로킹 필터 처리의 강도의 계산에 새로운 연산을 필요로 하지 않으므로, 실장의 복잡도를 높이는 경우도 없다.
또한, 본 실시 형태에서는, 디블로킹 필터 처리의 강도(bS값)에 의해서, 휘도 또는 색차의 블록 경계에 대한 디블로킹 필터 처리의 유무가 변경되는 구성으로 하였지만, 강도(bS값)에 의해서, 필터 자체의 평활 효과의 강도를 변경하는 구성으로 해도 된다. 예를 들어, 디블로킹 필터 처리의 강도(bS값)가 클 때에는 보다 탭 길이가 길고 보정 효과가 높은 필터를 사용하고, 디블로킹 필터 처리의 강도(bS값)가 작을 때에는 보다 탭 길이가 짧고 보정 효과가 낮은 필터를 사용할 수도 있다. 이에 의해, 디블로킹 필터 처리의 유무 이외의 방법으로 필터의 강도, 즉 보정 효과를 조정하는 것이 가능하게 된다.
[제2 실시 형태]
본 실시 형태를 포함하는 이하의 각 실시 형태에서는, 제1 실시 형태와의 차분에 대해서 설명하고, 이하에서 특별히 언급하지 않는 한 제1 실시 형태와 마찬가지인 것으로 한다. 본 실시 형태에서는, 화상 부호화 장치는 도 3의 흐름도에 따라서 이하와 같은 처리를 행한다.
본 실시 형태에 따른 비트 스트림의 구성예를 도 6에 도시한다. 픽처 헤더에는 디블로킹 필터링 처리의 강도의 가중치 부여 역치(강도 가중치 부여 역치)인 filter_weight_threshold가 저장되어 있다. 이것은 가중치 부여 인트라ㆍ인터 예측에 있어서의 가중치값 w에 의해서, 디블로킹 필터의 bS값의 산출에 있어서, 당해의 서브 블록을 인트라 예측을 적용한 서브 블록, 인터 예측을 적용한 서브 블록의 어느 쪽으로서 취급하는지를 정하는 역치이다.
스텝 S309에서는, 필터 처리 강도 계산부(112)는 bS값을 계산한다. 구체적으로는 이하의 부등식이 성립하는 경우에는, 가중치 부여 인트라ㆍ인터 예측의 서브 블록은 인트라 예측의 서브 블록으로서 bS값이 계산된다.
w<filter_weight_threshold
예를 들어 filter_weight_threshold의 값이 4일 때, 4 미만의 w를 갖는 가중치 부여 인트라ㆍ인터 예측의 서브 블록은 모두 인트라 예측의 서브 블록으로서 취급된다. 4 이상의 w를 갖는 가중치 부여 인트라ㆍ인터 예측의 서브 블록은 모두 인터 예측의 서브 블록으로서 취급된다. 이하의 표에, 도 7의 서브 블록 P와 서브 블록 Q가, 인트라 예측, 인터 예측, 가중치 부여 인트라ㆍ인터 예측(w=3), 가중치 부여 인트라ㆍ인터 예측(w=5)의 각각으로 부호화되었을 때의 bS값의 일례를 나타낸다.
Figure pct00001
이 표에서는, filter_weight_threshold=4로 하고 있다. 예를 들어, 인접하는 서브 블록 P 및 서브 블록 Q 중 적어도 한쪽이 인트라 예측 또는 가중치 부여 인트라ㆍ인터 예측(w=3)에서 부호화되어 있는 경우, 해당 한쪽은 인트라 예측 블록으로서 취급되므로, bS값을 2로 한다. 또한, 서브 블록 P 및 서브 블록 Q의 모두 인터 예측 또는 가중치 부여 인트라ㆍ인터 예측(w=5)에서 부호화되어 있는 경우는, 서브 블록 P도 서브 블록 Q도 인터 예측 블록으로서 취급되므로, bS값은 0 또는 1로 한다. 0으로 할지 1로 할지의 판단은 제1 실시 형태에 있어서의 필터 처리 강도 계산부(112)와 마찬가지이며, 서브 블록 P 및 서브 블록 Q의 비영의 직교 변환 계수의 유무나 움직임 벡터의 수나 크기의 차, 참조 화상의 차 등에 의해 결정된다.
필터 처리 강도 계산부(112)는, 이와 같은 표의 데이터를 참조하여 bS값을 결정하고 있다. 또한, 본 실시 형태에서는 filter_weight_threshold를 픽처 헤더에 저장하고 있지만, 저장처는 특정한 저장처에 한정되는 것은 아니라, 예를 들어, 시퀀스 헤더에 저장해도 된다. 또한 본 실시 형태에서는, bS값의 계산 시에 가중치 부여 인트라ㆍ인터 예측의 서브 블록을 인트라 예측의 서브 블록, 인터 예측의 서브 블록 중 어느 쪽으로서 취급할지를 판정하기 위한 정보로서 강도 가중치 부여 역치를 헤더에 저장하였다. 그러나, 이에 한정되는 것은 아니다. 반드시 인트라 예측의 서브 블록으로서 취급한다는 것을 나타내는 플래그 정보를 저장해도 되고, 반드시 인터 예측의 서브 블록으로서 취급한다고 하는 것을 나타내는 정보를 저장해도 된다. 또는, filter_weight_threshold의 값으로부터 미리 4를 감산해 둔 것을 강도 가중치 부여 역치 filter_weight_threshold_minus4로 해도 된다. 이에 의해, filter_weight_threshold_minus4의 값은 0 및 그 주변의 값으로 설정될 가능성이 높아지므로, 골롬 부호화 등에 의해 정보 자체의 부호량을 감소할 수 있다.
이와 같이, 본 실시 형태에 따르면, 복잡한 처리를 필요로 하지 않고, 가중치 부여 인트라ㆍ인터 예측의 서브 블록에 대한 디블로킹 필터 처리의 강도를 결정할 수 있다. 또한, 유저가 자유롭게 가중치 부여 인트라ㆍ인터 예측의 블록의 디블로킹 필터 처리의 강도를 조정할 수 있다.
또한, 본 실시 형태에서는 필터의 강도를 결정하기 위한 정보를 헤더에 출력했지만, 이에 한정되는 것은 아니다. 미리 w의 값에 의해 가중치 부여 인트라ㆍ인터 예측의 서브 블록을 인트라ㆍ인터 중 어느 쪽으로서 취급하는지를 일의적으로 정하고 있어도 된다. 또한, bS값에 관계없이, 인트라의 가중치가 강할수록 강하게 평활화하는 디블로킹 필터가 걸려 있어도 된다. 이에 의해, 강도 가중치 부여 역치분의 부호량을 절약함과 함께, 예측 모드에 의해 디블로킹 필터 처리를 고정화함으로써, 실장 복잡도를 저하시킬 수 있다.
[제3 실시 형태]
본 실시 형태에서는, 제1 실시 형태에 따른 화상 부호화 장치에 의해 부호화된 입력 화상을 복호하는 화상 복호 장치에 대해서 설명한다. 본 실시 형태에 따른 화상 복호 장치의 기능 구성예에 대해서, 도 2의 블록도를 사용하여 설명한다.
제어부(299)는 화상 복호 장치 전체의 동작 제어를 행한다. 분리 복호부(202)는 화상 부호화 장치에 의해 생성된 비트 스트림을 취득하고, 해당 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호화 데이터를 분리하고, 비트 스트림의 헤더에 존재하는 부호화 데이터를 복호한다. 본 실시 형태에서는, 분리 복호부(202)는 상기의 통합 부호화부(110)와 역동작을 행한다.
복호부(203)는 분리 복호부(202)에 의해 비트 스트림으로부터 분리된 부호화 데이터를 복호함으로써, 양자화 계수 및 예측 정보를 취득한다. 역양자화ㆍ역변환부(204)는 상기의 화상 부호화 장치가 갖는 역양자화ㆍ역변환부(105)와 마찬가지의 동작을 행하는 것이다. 역양자화ㆍ역변환부(204)는 양자화 계수에 대한 역양자화를 행함으로써 변환 계수를 취득하고, 해당 변환 계수에 대하여 역직교 변환을 행함으로써 예측 오차를 취득한다.
화상 재생부(205)는 복호부(203)에 의해 복호된 예측 정보에 기초하여 프레임 메모리(206)에 저장되어 있는 화상을 참조함으로써 예측 화상을 생성한다. 그리고 화상 재생부(205)는 해당 생성된 예측 화상과, 역양자화ㆍ역변환부(204)에 의해 얻어진 예측 오차를 사용하여, 재생 화상을 생성하고, 해당 생성한 재생 화상을 프레임 메모리(206)에 저장한다.
필터 처리 강도 계산부(209)는 복호부(203)에 의해 복호된 예측 정보와 양자화 계수를 사용하여, 인접하는 서브 블록간의 경계에 대한 디블로킹 필터 처리의 강도인 bS값을 필터 처리 강도 계산부(112)와 마찬가지로 결정한다.
인루프 필터부(207)는 프레임 메모리(206)에 저장되어 있는 재생 화상에 대하여 인루프 필터부(108)와 마찬가지로 디블로킹 필터 등의 인루프 필터 처리를 행한다. 인루프 필터부(207)에 의한 디블로킹 필터 처리는, 필터 처리 강도 계산부(209)가 구한 bS값에 대응하는 디블로킹 필터 처리이다.
프레임 메모리(206)에 저장되어 있는 재생 화상은, 제어부(299)에 의해 적절히 출력된다. 재생 화상의 출력처는 특정한 출력처에 한정되지 않고, 예를 들어, 디스플레이 등의 표시 장치의 표시 화면에 재생 화상을 표시해도 되고, 프로젝터 등의 투영 장치에 대하여 해당 재생 화상을 출력해도 된다.
다음에, 상기의 구성을 갖는 화상 복호 장치의 동작(비트 스트림의 복호 처리)에 대해서 설명한다. 본 실시 형태에서는, 분리 복호부(202)에 입력되는 비트 스트림은, 동화상에 있어서의 프레임마다의 비트 스트림인 것으로 하지만, 정지 화상의 비트 스트림이어도 상관없다.
분리 복호부(202)은 화상 부호화 장치에 의해 생성된 1 프레임분의 비트 스트림을 취득하고, 해당 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호화 데이터를 분리하고, 비트 스트림의 헤더에 존재하는 부호화 데이터를 복호한다. 또한 분리 복호부(202)는 픽처 데이터의 기본 블록 단위의 부호화 데이터를 복호부(203)에 출력한다.
복호부(203)는 분리 복호부(202)에 의해 비트 스트림으로부터 분리된 부호화 데이터를 복호함으로써, 양자화 계수 및 예측 정보를 취득한다. 이 예측 정보에는, 각각의 서브 블록이 이하의 어느 예측 방법으로 부호화된 것인지를 나타내는 정보가 포함되어 있다.
ㆍ수평 예측이나 수직 예측 등의 인트라 예측
ㆍ참조 프레임으로부터 움직임 보상을 행하는 인터 예측
ㆍ인트라 예측과 인터 예측을 조합한 가중치 부여 인트라ㆍ인터 예측
역양자화ㆍ역변환부(204)는 각각의 서브 블록의 양자화 계수에 대한 역양자화를 행함으로써 변환 계수를 취득하고, 해당 변환 계수에 대하여 역직교 변환을 행함으로써 예측 오차를 취득한다.
화상 재생부(205)는 복호부(203)에 의해 복호된 예측 정보에 기초하여 프레임 메모리(206)에 저장되어 있는 화상을 참조함으로써 예측 화상을 생성한다. 그리고 화상 재생부(205)는 해당 생성된 예측 화상과, 역양자화ㆍ역변환부(204)에 의해 얻어진 예측 오차를 사용하여, 재생 화상을 생성하고, 해당 생성한 재생 화상을 프레임 메모리(206)에 저장한다.
필터 처리 강도 계산부(209)는 복호부(203)에 의해 복호된 예측 정보와 양자화 계수를 사용하여, 인접하는 서브 블록간의 경계에 대한 디블로킹 필터 처리의 강도인 bS값을 필터 처리 강도 계산부(112)와 마찬가지로 결정한다.
인루프 필터부(207)는 프레임 메모리(206)에 저장되어 있는 재생 화상에 대하여, 인루프 필터부(108)와 마찬가지로 디블로킹 필터 등의 인루프 필터 처리를 행한다. 인루프 필터부(207)에 의한 디블로킹 필터 처리는, 필터 처리 강도 계산부(209)가 구한 bS값에 대응하는 디블로킹 필터 처리이다.
본 실시 형태에서는, 제1 실시 형태와 마찬가지로 bS값은, 디블로킹 필터의 처리 대상의 신호(화상 성분)의 종류를 나타내고, 그것과는 별도로 평활화 효과가 높은 스트롱 필터, 평활화 효과가 약한 위크 필터를 화소값의 조건에 따라서 구분지어 사용한다. 그러나 이에 한정되는 것은 아니다. 예를 들어 bS값에 따라서 신호의 종류뿐만 아니라 평활화 효과의 강약이 결정되어도 되고, 평활화 효과의 강약만이 bS값에 의해 결정되고, 신호의 종류는 또 다른 조건에 의해서 결정되어도 된다.
이상 설명한 화상 복호 장치에 의한 1 프레임분의 비트 스트림의 복호 처리에 대해서, 도 4의 흐름도에 따라서 설명한다. 스텝 S401에서는, 분리 복호부(202)는 화상 부호화 장치에 의해 생성된 1 프레임분의 비트 스트림을 취득한다. 그리고 분리 복호부(202)는 해당 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호화 데이터를 분리하고, 비트 스트림의 헤더에 존재하는 부호화 데이터를 복호한다.
스텝 S402 내지 S405의 처리는, 입력 화상에 있어서의(화상 내의) 각각의 기본 블록에 대해서 행해진다. 스텝 S402에서는, 복호부(203)는 분리 복호부(202)에 의해 비트 스트림으로부터 분리된 부호화 데이터를 복호함으로써, 양자화 계수 및 예측 정보를 취득한다.
스텝 S403에서는, 역양자화ㆍ역변환부(204)는 복호 대상의 서브 블록 양자화 계수에 대한 역양자화를 행함으로써 변환 계수를 취득하고, 해당 변환 계수에 대하여 역직교 변환을 행함으로써 예측 오차를 취득한다.
스텝 S404에서는, 화상 재생부(205)는 복호부(203)에 의해 복호된 예측 정보에 기초하여 프레임 메모리(206)에 저장되어 있는 화상을 참조함으로써 예측 화상을 생성한다. 그리고 화상 재생부(205)는 해당 생성된 예측 화상과, 역양자화ㆍ역변환부(204)에 의해 얻어진 예측 오차를 사용하여, 재생 화상을 생성하고, 해당 생성한 재생 화상을 프레임 메모리(206)에 저장한다.
스텝 S405에서는, 제어부(299)는 비트 스트림에 포함되어 있는 모든 기본 블록의 복호가 완료되었는지 여부를 판단한다. 이 판단의 결과, 비트 스트림에 포함되어 있는 모든 기본 블록의 복호가 완료된 경우에는, 처리는 스텝 S406으로 진행한다. 한편, 비트 스트림에 포함되어 있는 모든 기본 블록 중 복호가 아직 완료되어 있지 않은 기본 블록이 남아있는 경우에는, 상기 복호가 아직 완료되어 있지 않은 기본 블록에 대해서 스텝 S402 이후의 처리를 반복한다.
스텝 S406에서는, 필터 처리 강도 계산부(209)는 복호부(203)에 의해 복호된 예측 정보와 양자화 계수를 사용하여, 인접하는 서브 블록간의 경계에 대한 디블로킹 필터 처리의 강도인 bS값을 필터 처리 강도 계산부(112)와 마찬가지로 결정한다.
스텝 S407에서는, 인루프 필터부(207)는 스텝 S404에서 프레임 메모리(206)에 저장한 재생 화상에 대하여, 인루프 필터부(108)와 마찬가지로 디블로킹 필터 등의 인루프 필터 처리를 행한다. 인루프 필터부(207)에 의한 디블로킹 필터 처리는, 스텝 S406에서 필터 처리 강도 계산부(209)가 구한 bS값에 대응하는 디블로킹 필터 처리이다.
이와 같이, 본 실시 형태에 따르면, 제1 실시 형태에 따른 화상 부호화 장치에 의해 생성된, 가중치 부여 인트라ㆍ인터 예측에서 부호화된 서브 블록에 대하여 적절한 디블로킹 필터를 적용한 비트 스트림을 복호할 수 있다.
또한, 본 실시 형태에서는, 디블로킹 필터 처리의 강도(bS값)에 의해, 휘도 또는 색차의 블록 경계의 필터의 유무가 변경되는 구성으로 했지만, 디블로킹 필터 처리의 강도(bS값)에 의해, 필터 자체의 평활 효과의 강도를 변경하는 구성으로 해도 된다. 예를 들어, 디블로킹 필터 처리의 강도(bS값)가 클 때에는 보다 탭 길이가 길고 보정 효과가 높은 필터를 사용하고, 디블로킹 필터 처리의 강도(bS값)가 작을 때에는 보다 탭 길이가 짧고 보정 효과가 낮은 필터를 사용할 수도 있다. 이에 의해, 필터의 유무 이외의 방법으로 필터의 강도, 즉 보정 효과를 조정한 비트 스트림을 복호하는 것이 가능하게 된다.
[제4 실시 형태]
본 실시 형태에서는, 제2 실시 형태에 따른 화상 부호화 장치에 의해 부호화된 입력 화상을 복호하는 화상 복호 장치에 대해서 설명한다. 본 실시 형태에서는, 도 4의 흐름도에 따른 처리에 있어서, 이하의 점이 제3 실시 형태와 다르다.
스텝 S401에서는, 분리 복호부(202)는 도 6에서 도시되는 비트 스트림으로부터 복호 처리에 관한 정보나 계수에 관한 부호화 데이터를 분리하고, 비트 스트림의 헤더에 존재하는 부호화 데이터를 복호한다. 이 복호에서는, 픽처 헤더 중의 강도 가중치 부여 역치인 filter_weight_threshold를 복호한다.
스텝 S406에서는, 필터 처리 강도 계산부(209)는 bS값을 계산한다. 또한, 본 실시 형태에서는, bS값을 0으로 할지 1로 할지의 판단은 제3 실시 형태의 필터 처리 강도 계산부(209)와 마찬가지이다.
본 실시 형태에서는, filter_weight_threshold는 픽처 헤더 내에 존재하고 있지만, 이에 한정되는 것은 아니라, 예를 들어, 시퀀스 헤더 내에 존재해도 된다. 또한 본 실시 형태에서는, bS값의 계산 시에 가중치 부여 인트라ㆍ인터 예측의 블록을 인트라 예측의 서브 블록, 인터 예측의 서브 블록 중 어느 쪽으로서 취급할지를 판정하기 위한 정보로서 강도 가중치 부여 역치를 복호하였다. 그러나, 이에 한정되는 것은 아니다. 반드시 인트라 예측의 서브 블록으로서 취급한다고 하는 것을 나타내는 플래그 정보를 복호해도 되고, 반드시 인터 예측의 서브 블록으로서 취급한다고 하는 것을 나타내는 정보를 복호해도 된다. 또는, filter_weight_threshold의 값으로부터 미리 4를 감산해 둔 것을 강도 가중치 부여 역치 filter_weight_threshold_minus4로서 복호해도 된다. 이에 의해, filter_weight_threshold_minus4의 값은 0 및 그 주변의 값으로 설정될 가능성이 높아지므로, 정보 자체의 부호량이 적은 비트 스트림을 복호할 수 있다.
이와 같이, 본 실시 형태에 따르면, 복잡한 처리를 필요로 하지 않고, 가중치 부여 인트라ㆍ인터 예측의 서브 블록에 대한 디블로킹 필터 처리의 강도를 결정할 수 있다. 또한, 유저가 자유롭게 가중치 부여 인트라ㆍ인터 예측의 서브 블록 디블로킹 필터 처리의 강도를 조정한 비트 스트림을 복호할 수 있다.
또한, 본 실시 형태에서는 필터의 강도를 결정하는 정보를 헤더로부터 복호했지만, 이에 한정되는 것은 아니다. 미리 w의 값에 의해 가중치 부여 인트라ㆍ인터 예측의 서브 블록을 인트라ㆍ인터의 어느 쪽으로서 취급할지를 일의적으로 정해도 된다. 또한, bS값에 관계없이, 인트라의 가중치가 강할수록 강하게 평활화하는 디블로킹 필터가 걸려 있어도 된다. 이에 의해, 강도 가중치 부여 역치분의 부호량을 절약한 비트 스트림을 복호함과 함께, 예측 모드에 의해 디블로킹 필터 처리를 고정화함으로써, 실장 복잡도를 저하시킬 수 있다.
[제5 실시 형태]
도 1, 도 2에 도시한 각 기능부는 모두 하드웨어로 실장해도 되지만, 일부를 소프트웨어(컴퓨터 프로그램)로 실장해도 된다. 그 경우, 프레임 메모리(107)나 프레임 메모리(206)를 메모리 장치로서 갖고, 해당 컴퓨터 프로그램을 실행 가능한 컴퓨터 장치는, 상기의 화상 부호화 장치나 화상 복호 장치에 적용할 수 있다. 상기의 화상 부호화 장치나 화상 복호 장치에 적용 가능한 컴퓨터 장치의 하드웨어 구성예에 대해서, 도 5의 블록도를 사용하여 설명한다.
CPU(501)는, RAM(502)이나 ROM(503)에 저장되어 있는 컴퓨터 프로그램이나 데이터를 사용하여 각종의 처리를 실행한다. 이에 의해 CPU(501)는, 컴퓨터 장치 전체의 동작 제어를 행함과 함께, 상기의 화상 부호화 장치나 화상 복호 장치가 행하는 것으로서 상술한 각 처리를 실행 또는 제어한다.
RAM(502)은, ROM(503)이나 외부 기억 장치(506)로부터 로드된 컴퓨터 프로그램이나 데이터, I/F(인터페이스)(507)를 개재하여 외부로부터 수신한 데이터(예를 들어 상기의 동화상이나 정지 화상의 데이터)를 저장하기 위한 에어리어를 갖는다. 또한 RAM(502)은, CPU(501)가 각종의 처리를 실행할 때 사용하는 워크 에어리어를 갖는다. 이와 같이 RAM(502)은, 각종의 에어리어를 적절히 제공할 수 있다. ROM(503)에는, 컴퓨터 장치의 설정 데이터나 기동 프로그램 등이 저장되어 있다.
조작부(504)는 키보드, 마우스, 터치 패널 등의 유저 인터페이스이며, 유저가 조작함으로써, 각종의 지시를 CPU(501)에 대하여 입력할 수 있다.
표시부(505)는 액정 화면이나 터치 패널 화면 등에 의해 구성되어 있고, CPU(501)에 의한 처리 결과를 화상이나 문자 등으로서 표시할 수 있다. 예를 들어, 상기의 화상 복호 장치에 의해 복호되는 재생 화상을 이 표시부(505)에 표시시켜도 된다. 또한, 표시부(505)는 화상이나 문자를 투영하는 프로젝터 등의 투영 장치이어도 된다.
외부 기억 장치(506)는 하드디스크 드라이브 장치 등의 대용량 정보 기억 장치이다. 외부 기억 장치(506)에는, OS(오퍼레이팅 시스템), 상기의 화상 부호화 장치나 화상 복호 장치가 행하는 것으로서 상술한 각종의 처리를 CPU(501)에 실행 또는 제어시키기 위한 컴퓨터 프로그램이나 데이터가 보존되어 있다. 외부 기억 장치(506)에 보존되어 있는 컴퓨터 프로그램에는, 상기의 프레임 메모리(107)나 프레임 메모리(206) 이외의 각 기능부의 기능을 CPU(501)에 실현시키기 위한 컴퓨터 프로그램이 포함되어 있다. 또한, 외부 기억 장치(506)에 보존되어 있는 데이터에는, 상기의 설명에서 기지의 정보로서 설명한 것(강도 가중치 부여 역치, 표 1의 테이블 데이터 등) 등, 부호화나 복호에 필요한 각종의 정보가 포함되어 있다.
외부 기억 장치(506)에 보존되어 있는 컴퓨터 프로그램이나 데이터는, CPU(501)에 의한 제어에 따라서 적절히 RAM(502)에 로드되고, CPU(501)에 의한 처리 대상이 된다. 또한, 상기의 프레임 메모리(107)나 프레임 메모리(206)는 RAM(502), 외부 기억 장치(506) 등의 메모리 장치에 의해 실장 가능하다.
I/F(507)는 외부의 기기와의 사이의 데이터 통신을 행하기 위한 인터페이스로서 기능하는 것이다. 예를 들어, 외부의 서버 장치나 촬상 장치로부터 동화상이나 정지 화상을 I/F(507)를 개재하여 RAM(502)이나 외부 기억 장치(506)에 취득할 수 있다.
CPU(501), RAM(502), ROM(503), 조작부(504), 표시부(505), 외부 기억 장치(506), I/F(507)는 모두 버스(508)에 접속되어 있다. 또한, 도 5에 도시한 구성은, 상기의 화상 부호화 장치나 화상 복호 장치에 적용 가능한 컴퓨터 장치의 하드웨어 구성의 일례에 지나지 않고, 각종의 변경/변형이 가능하다.
[제6 실시 형태]
상기의 각 실시 형태에서는 서브 블록을 부호화 단위로 하였다. 그러나, 부호화 단위는 서브 블록에 한정되지 않고, 예를 들어 기본 블록을 부호화 단위로 해도 된다. 또한, 상기의 설명에 있어서 사용한 수치는 구체적인 설명을 행하기 위해 사용한 것이며, 상기의 각 실시 형태가, 사용한 수치에 한정되는 것을 의도한 것은 아니다. 예를 들어, 상기의 설명에 있어서 사용한 w의 값이나 강도 가중치 부여 역치의 값이나 블록의 사이즈 등은 일례이며, 상기의 수치에 한정되지 않는다.
또한, 상기의 각 실시 형태에서는, 화상 복호 장치는 화상 부호화 장치와는 별개의 장치인 것으로서 설명했지만, 화상 복호 장치와 화상 부호화 장치를 1개의 장치에 통합해도 된다. 그 경우, 이 장치는 입력 화상을 부호화하고, 필요에 따라서 해당 부호화한 입력 화상을 복호할 수 있다.
또한, 디블로킹 필터를 적용하는 대상은 서브 블록의 경계에 한정되지 않고, 예를 들어, 변환 유닛의 경계이어도 된다. 또한, 상기의 실시 형태에서는, 디블로킹 필터의 사이즈를 8 화소×8 화소로 하였지만, 이 사이즈로 한정되지 않는다. 또한, 변환 유닛의 사이즈는 서브 블록과 동일한 사이즈이어도 되고, 서브 블록과 다른 사이즈이어도 된다.
또한, 이상 설명한 각 실시 형태의 일부 또는 전부를 적절히 조합하여 사용해도 상관없다. 또한, 이상 설명한 각 실시 형태의 일부 또는 전부를 선택적으로 사용해도 상관없다.
(그 밖의 실시예)
본 발명은 상술한 실시 형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개재하여 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개 이상의 프로세서가 프로그램을 판독하고 실행하는 처리에서도 실현 가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실현 가능하다.
본 발명은 상기 실시 형태에 한정되는 것은 아니며, 본 발명의 정신 및 범위로부터 이탈하는 일 없이, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 공개하기 위해, 이하의 청구항을 첨부한다.
본원은, 2018년 12월 17일 제출한 일본 특허 출원 제2018-235911을 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용의 모두를, 여기에 원용한다.
102:블록 분할부
103:예측부
104:변환ㆍ양자화부
105:역양자화ㆍ역변환부
106:화상 재생부
107:프레임 메모리
108:인루프 필터부
109:부호화부
110:통합 부호화부
112:필터 처리 강도 계산부
202:분리 복호부
203:복호부
204:역양자화ㆍ역변환부
205:화상 재생부
206:프레임 메모리
207:인루프 필터부
209:필터 처리 강도 계산부
299:제어부

Claims (14)

  1. 화상을 블록마다 예측 처리를 행하여 부호화하는 부호화 수단과,
    적어도, 제1 블록과, 당해 제1 블록과 인접하는 제2 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를, 상기 제1 블록의 예측 처리에서 사용되는 모드, 및, 상기 제2 블록의 예측 처리에서 사용되는 모드에 기초하여 결정하는 결정 수단과,
    상기 결정 수단이 결정한 강도에 따른 디블로킹 필터 처리를, 상기 경계에 대하여 행하는 처리 수단
    을 구비하고,
    상기 부호화 수단은,
    부호화의 대상의 블록이 포함되는 화상 내의 화소를 사용하여, 당해 대상의 블록의 예측 화소를 도출하는 제1 모드,
    부호화의 대상의 블록이 포함되는 화상과는 다른 화상의 화소를 사용하여, 당해 대상의 블록의 예측 화소를 도출하는 제2 모드, 및,
    부호화의 대상의 블록이 포함되는 화상 내의 화소와, 당해 대상의 블록이 포함되는 화상과는 다른 화상의 화소의 양쪽을 사용하여, 당해 대상의 블록의 예측 화소를 생성하는 제3 모드 중 어느 것을,
    예측 처리에 있어서 사용하는 것이 가능하고,
    상기 결정 수단은,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서, 상기 제3 모드가 사용되는 경우,
    상기 제1 블록과 상기 제2 블록의 상기 경계에 대하여 행하는 디블로킹 필터 처리의 강도를,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서 상기 제1 모드가 사용되는 경우와 동일한 강도로 하는
    것을 특징으로 하는 화상 부호화 장치.
  2. 제1항에 있어서,
    상기 결정 수단은,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서, 상기 제3 모드가 사용되는 경우,
    상기 제1 블록과 상기 제2 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를,
    상기 제1 블록과 상기 제2 블록의 양쪽에 있어서 상기 제2 모드가 사용되는 경우보다도 강한 강도로 하는 것을 특징으로 하는 화상 부호화 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 처리 수단은, 상기 블록에 있어서의 휘도 성분 및 색차 성분 중으로부터 상기 강도에 따라서 상기 디블로킹 필터 처리의 대상으로 하는 성분을 선택함으로써, 상기 강도에 따른 디블로킹 필터 처리를 행하는 것을 특징으로 하는 화상 부호화 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 처리 수단은, 상기 디블로킹 필터 처리를 행할지 여부를 상기 강도에 따라서 선택함으로써, 상기 강도에 따른 디블로킹 필터 처리를 행하는 것을 특징으로 하는 화상 부호화 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 결정 수단은, 평활화 효과가 다른 필터 중 상기 경계에 있어서의 휘도 성분에 적용하는 필터를, 상기 경계에 있어서의 화소의 화소값에 기초하여 결정하는 것을 특징으로 하는 화상 부호화 장치.
  6. 부호화된 화상을 블록마다 복호하는 화상 복호 장치이며,
    상기 블록마다 예측 처리를 행하여 상기 화상을 복호하는 복호 수단과,
    적어도, 제1 블록과, 당해 제1 블록과 인접하는 제2 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를, 상기 제1 블록의 예측 처리에서 사용되는 모드와, 상기 제2 블록의 예측 처리에서 사용되는 모드에 기초하여 결정하는 결정 수단과,
    상기 결정 수단이 결정한 강도에 따른 디블로킹 필터 처리를 상기 경계에 대하여 행하는 처리 수단
    을 구비하고,
    상기 복호 수단은,
    복호의 대상의 블록이 포함되는 화상 내의 화소를 사용하여, 당해 대상의 블록의 예측 화소를 도출하는 제1 모드,
    복호의 대상의 블록이 포함되는 화상과는 다른 화상의 화소를 사용하여, 당해 대상의 블록의 예측 화소를 도출하는 제2 모드, 및,
    복호의 대상의 블록이 포함되는 화상 내의 화소와, 당해 대상의 블록이 포함되는 화상과는 다른 화상의 화소의 양쪽을 사용하여, 당해 대상의 블록의 예측 화소를 생성하는 제3 모드 중 어느 것을,
    예측 처리에 있어서 사용하는 것이 가능하고,
    상기 결정 수단은,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서, 상기 제3 모드가 사용되는 경우,
    상기 제1 블록과 상기 제2 블록의 상기 경계에 대하여 행하는 디블로킹 필터 처리의 강도를,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서 상기 제1 모드가 사용되는 경우와 동일한 강도로 하는
    것을 특징으로 하는 화상 복호 장치.
  7. 제6항에 있어서,
    상기 결정 수단은,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서, 상기 제3 모드가 사용되는 경우,
    상기 제1 블록과 상기 제2 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를,
    상기 제1 블록과 상기 제2 블록의 양쪽에 있어서 상기 제2 모드가 사용되는 경우보다도 강한 강도로 하는 것을 특징으로 하는 화상 복호 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 처리 수단은, 상기 블록에 있어서의 휘도 성분 및 색차 성분 중으로부터 상기 강도에 따라서 상기 디블로킹 필터 처리의 대상으로 하는 성분을 선택함으로써, 상기 강도에 따른 디블로킹 필터 처리를 행하는 것을 특징으로 하는 화상 복호 장치.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 처리 수단은, 상기 디블로킹 필터 처리를 행할지 여부를 상기 강도에 따라서 선택함으로써, 상기 강도에 따른 디블로킹 필터 처리를 행하는 것을 특징으로 하는 화상 복호 장치.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 결정 수단은, 평활화 효과가 다른 필터 중 상기 경계에 있어서의 휘도 성분에 적용하는 필터를, 상기 경계에 있어서의 화소의 화소값에 기초하여 결정하는 것을 특징으로 하는 화상 복호 장치.
  11. 화상을 블록마다 예측 처리를 행하여 부호화하는 부호화 공정과,
    적어도, 제1 블록과, 당해 제1 블록과 인접하는 제2 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를, 상기 제1 블록의 예측 처리에서 사용되는 모드, 및, 상기 제2 블록의 예측 처리에서 사용되는 모드에 기초하여 결정하는 결정 공정과,
    상기 결정 공정에 있어서 결정한 강도에 따른 디블로킹 필터 처리를 상기 경계에 대하여 행하는 처리 공정
    을 갖고,
    상기 부호화 공정에 있어서,
    복호의 대상의 블록이 포함되는 화상 내의 화소를 사용하여, 당해 대상의 블록의 예측 화소를 도출하는 제1 모드,
    복호의 대상의 블록이 포함되는 화상과는 다른 화상의 화소를 사용하여, 당해 대상의 블록의 예측 화소를 도출하는 제2 모드, 및,
    복호의 대상의 블록이 포함되는 화상 내의 화소와, 당해 대상의 블록이 포함되는 화상과는 다른 화상의 화소의 양쪽을 사용하여, 당해 대상의 블록의 예측 화소를 생성하는 제3 모드 중 어느 것을,
    예측 처리에 있어서 사용하는 것이 가능하고,
    상기 결정 공정에 있어서,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서, 상기 제3 모드가 사용되는 경우,
    상기 제1 블록과 상기 제2 블록의 상기 경계에 대하여 행하는 디블로킹 필터 처리의 강도를,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서 상기 제1 모드가 사용되는 경우와 동일한 강도로 하는
    것을 특징으로 하는 화상 부호화 방법.
  12. 부호화된 화상을 블록마다 복호하는 화상 복호 방법이며,
    상기 블록마다 예측 처리를 행하여 상기 화상을 복호하는 복호 공정과,
    적어도, 제1 블록과, 당해 제1 블록과 인접하는 제2 블록의 경계에 대하여 행하는 디블로킹 필터 처리의 강도를, 상기 제1 블록의 예측 처리에서 사용되는 모드와, 상기 제2 블록의 예측 처리에서 사용되는 모드에 기초하여 결정하는 결정 공정과,
    상기 결정 공정에 있어서 결정한 강도에 따른 디블로킹 필터 처리를 상기 경계에 대하여 행하는 처리 공정
    을 갖고,
    상기 복호 공정에 있어서,
    복호의 대상의 블록이 포함되는 화상 내의 화소를 사용하여 당해 대상의 블록의 예측 화소를 도출하는 제1 모드,
    복호의 대상의 블록이 포함되는 화상과는 다른 화상의 화소를 사용하여 당해 대상의 블록의 예측 화소를 도출하는 제2 모드, 및,
    복호의 대상의 블록이 포함되는 화상 내의 화소와, 당해 대상의 블록이 포함되는 화상과는 다른 화상의 화소의 양쪽을 사용하여 당해 대상의 블록의 예측 화소를 생성하는 제3 모드 중 어느 것을,
    예측 처리에 있어서 사용하는 것이 가능하고,
    상기 결정 공정에 있어서,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서, 상기 제3 모드가 사용되는 경우,
    상기 제1 블록과 상기 제2 블록의 상기 경계에 대하여 행하는 디블로킹 필터 처리의 강도를,
    상기 제1 블록과 상기 제2 블록 중 적어도 어느 것에 있어서 상기 제1 모드가 사용되는 경우와 동일한 강도로 하는
    것을 특징으로 하는 화상 복호 방법.
  13. 컴퓨터를, 제1항 내지 제5항 중 어느 한 항에 기재된 화상 부호화 장치의 각 수단으로서 기능시키기 위한 컴퓨터 프로그램.
  14. 컴퓨터를, 제6항 내지 제10항 중 어느 한 항에 기재된 화상 복호 장치의 각 수단으로서 기능시키기 위한 컴퓨터 프로그램.
KR1020217021575A 2018-12-17 2019-11-11 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법, 및 컴퓨터 프로그램 KR20210099125A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-235911 2018-12-17
JP2018235911A JP7418152B2 (ja) 2018-12-17 2018-12-17 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
PCT/JP2019/044115 WO2020129463A1 (ja) 2018-12-17 2019-11-11 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法

Publications (1)

Publication Number Publication Date
KR20210099125A true KR20210099125A (ko) 2021-08-11

Family

ID=71100427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217021575A KR20210099125A (ko) 2018-12-17 2019-11-11 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법, 및 컴퓨터 프로그램

Country Status (9)

Country Link
US (2) US11570433B2 (ko)
EP (1) EP3902252A4 (ko)
JP (2) JP7418152B2 (ko)
KR (1) KR20210099125A (ko)
CN (7) CN116916046A (ko)
BR (1) BR112021011632A2 (ko)
RU (1) RU2763292C1 (ko)
TW (2) TWI782853B (ko)
WO (1) WO2020129463A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023140151A (ja) * 2022-03-22 2023-10-04 キヤノン株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507863A (ja) 2011-01-14 2014-03-27 テレフオンアクチーボラゲット エル エム エリクソン（パブル） デブロッキングフィルタリング

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
CN1843037B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于编码混合内部-相互编码块的方法和装置
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
AU2011241283B2 (en) * 2010-04-13 2015-02-05 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
KR20160093105A (ko) * 2010-04-23 2016-08-05 엠앤케이홀딩스 주식회사 영상 부호화 장치 및 방법
SG187062A1 (en) * 2010-07-15 2013-02-28 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US9872019B2 (en) * 2010-07-20 2018-01-16 Sk Telecom Co., Ltd. Method and device for deblocking-filtering, and method and device for encoding and decoding using same
CN101909212B (zh) * 2010-08-05 2012-08-22 上海交通大学 可重构多媒体SoC的多标准宏块预测系统
US8787443B2 (en) * 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
WO2012128540A2 (ko) * 2011-03-21 2012-09-27 엘지전자 주식회사 움직임 벡터 예측자 선택 방법 및 이를 이용하는 장치
CN107197254B (zh) * 2011-09-09 2020-03-03 太阳专利托管公司 解码方法及解码装置
US9167269B2 (en) * 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
MX2016004705A (es) * 2013-10-14 2016-07-18 Microsoft Technology Licensing Llc Caracteristicas del modo de prediccion copia de bloque interno para codificacion y decodificacion de imagen y video.
EP3158753B1 (en) * 2014-06-19 2021-12-08 VID SCALE, Inc. Intra block copy coding with block vector derivation
JP6579393B2 (ja) * 2014-10-06 2019-09-25 ソニー株式会社 画像処理装置および方法
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
CN113518221B (zh) * 2016-10-14 2024-03-01 联发科技股份有限公司 视频编码或解码方法及相应装置
US10708591B2 (en) * 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
TW201842782A (zh) * 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
JP2019021968A (ja) * 2017-07-11 2019-02-07 キヤノン株式会社 画像符号化装置及びその制御方法
CN117956166A (zh) * 2018-12-07 2024-04-30 华为技术有限公司 一种编码器、解码器及去块滤波器的边界强度的对应推导方法
JP2022513433A (ja) * 2018-12-11 2022-02-08 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 画像をデブロッキングするための方法及び装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507863A (ja) 2011-01-14 2014-03-27 テレフオンアクチーボラゲット エル エム エリクソン（パブル） デブロッキングフィルタリング

Also Published As

Publication number Publication date
TWI755653B (zh) 2022-02-21
CN116886939A (zh) 2023-10-13
US11570433B2 (en) 2023-01-31
EP3902252A1 (en) 2021-10-27
CN116916044A (zh) 2023-10-20
TW202218423A (zh) 2022-05-01
JP2020098985A (ja) 2020-06-25
CN116896646A (zh) 2023-10-17
US20230122782A1 (en) 2023-04-20
TW202038612A (zh) 2020-10-16
JP2024024080A (ja) 2024-02-21
WO2020129463A1 (ja) 2020-06-25
JP7418152B2 (ja) 2024-01-19
CN116916045A (zh) 2023-10-20
US20210306629A1 (en) 2021-09-30
BR112021011632A2 (pt) 2021-08-31
CN116896647A (zh) 2023-10-17
EP3902252A4 (en) 2022-11-09
RU2763292C1 (ru) 2021-12-28
CN113243107B (zh) 2023-08-01
TWI782853B (zh) 2022-11-01
CN116916046A (zh) 2023-10-20
CN113243107A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
JP4666411B2 (ja) 画像復号方法および画像復号装置
JP2009290463A (ja) 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム
JP2024024080A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
JP4643437B2 (ja) 情報処理装置
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR20220051022A (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법, 및 비일시적인 컴퓨터 판독가능한 저장 매체
WO2023181607A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
CN113196760B (zh) 图像编码设备、图像解码设备、控制方法和存储介质
KR20220055495A (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법, 및 컴퓨터 프로그램
KR20220024120A (ko) 부호화 장치, 복호 장치, 및 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)