KR20220024120A - 부호화 장치, 복호 장치, 및 프로그램 - Google Patents

부호화 장치, 복호 장치, 및 프로그램 Download PDF

Info

Publication number
KR20220024120A
KR20220024120A KR1020217041741A KR20217041741A KR20220024120A KR 20220024120 A KR20220024120 A KR 20220024120A KR 1020217041741 A KR1020217041741 A KR 1020217041741A KR 20217041741 A KR20217041741 A KR 20217041741A KR 20220024120 A KR20220024120 A KR 20220024120A
Authority
KR
South Korea
Prior art keywords
block
transform
unit
blocks
filter
Prior art date
Application number
KR1020217041741A
Other languages
English (en)
Other versions
KR102550503B1 (ko
Inventor
슌스케 이와무라
šœ스케 이와무라
아츠로 이치가야
심페이 네모토
Original Assignee
닛폰 호소 교카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛폰 호소 교카이 filed Critical 닛폰 호소 교카이
Priority to KR1020237021738A priority Critical patent/KR20230098729A/ko
Publication of KR20220024120A publication Critical patent/KR20220024120A/ko
Application granted granted Critical
Publication of KR102550503B1 publication Critical patent/KR102550503B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

부호화 장치는, 부호화 대상 블록과 부호화 대상 블록을 예측하여 얻은 예측 블록과의 차를 나타내는 잔차 신호에 대해 변환 처리 및 양자화 처리를 행하는 변환·양자화부와, 상기 변환·양자화부에 의해 얻은 변환 계수에 대해 역양자화 처리 및 역변환 처리를 행함으로써 잔차 신호를 복원하는 역양자화·역변환부와, 복원한 잔차 신호와 예측 블록을 합성함으로써 부호화 대상 블록을 복원하는 합성부와, 복원한 블록과 상기 복원한 블록에 인접하는 블록을 포함하는 2개의 블록의 경계에 대한 필터 처리를 행하는 디블로킹 필터와, 상기 2개의 블록에 대해 적용된 상기 변환 처리의 종별에 기초하여 디블로킹 필터를 제어하는 필터 제어부를 구비한다.

Description

부호화 장치, 복호 장치, 및 프로그램
본 개시는 부호화 장치, 복호 장치, 및 프로그램에 관한 것이다.
HEVC(High Efficiency Video Coding), 및 차세대의 부호화 방식인 VVC(Versatile Video Coding)에서는, 부호화 루프 내 필터로서, 블록 단위로 부호화 처리를 행할 때의 블록의 경계 부분의 왜곡을 억제하기 위한 디블로킹 필터가 채용되고 있다(예컨대, 비특허문헌 1 참조).
디블로킹 필터를 제어하는 필터 제어부는, 부호화 대상 블록과 그 인접 블록을 포함하는 2개의 블록 중 적어도 한쪽에 인트라 예측이 적용되는 경우, 상기 2개의 블록의 경계에 대한 디블로킹 필터를 적용한다.
필터 제어부는, 2개의 블록 어느 것에 대해서도 인터 예측이 적용되는 경우이며, 2개의 블록에 적용하는 움직임 벡터의 차가 미리 규정한 임계값 이상인 경우에는, 상기 2개의 블록의 경계에 디블로킹 필터를 적용하도록 제어한다. 이것은, 움직임 벡터가 상이한 경우에는 블록 경계에 불연속성을 발생시킬 가능성이 높기 때문이다.
필터 제어부는, 2개의 블록 중 적어도 한쪽의 블록에 비(非)제로 계수가 존재하는 경우에는, 움직임 벡터의 차가 임계값 미만이어도, 상기 2개의 블록의 경계에 디블로킹 필터를 적용하도록 제어한다. 이것은, 비제로 계수의 역변환에 의해, 잔차 신호의 에너지가 블록 전체에 분포하기 때문에, 움직임 벡터가 동일했다고 해도 양 블록의 경계에 불연속성이 발생할 가능성이 높기 때문이다.
또한, HEVC 및 VVC에서는, 잔차 신호에 변환을 적용하지 않는 변환 스킵이 도입되어 있다. 변환 스킵에서는, DCT(Discrete Cosine Transform)나 DST(Discrete Sine Transform) 등의 변환을 실시하지 않고, 잔차 신호를 스케일링하여 변환 계수로 한다. 이 때문에, 급준한 에지를 포함하는 잔차 신호나 국소적인 영역만 에너지가 높은 잔차 신호에 대해 변환 스킵을 선택함으로써, 엔트로피 증대를 억제할 수 있다.
비특허문헌 1: Recommendation ITU-T H.265, (12/2016), "High efficiency video coding", International Telecommunication Union
제1 양태에 따른 부호화 장치는, 화상을 분할하여 얻은 블록을 부호화하는 부호화 장치로서, 상기 블록과 상기 블록을 예측하여 얻은 예측 블록과의 차를 나타내는 잔차 신호에 대해 변환 처리 및 양자화 처리를 행하는 변환·양자화부와, 상기 변환·양자화부에 의해 얻은 변환 계수에 대해 역양자화 처리 및 역변환 처리를 행함으로써 상기 잔차 신호를 복원하는 역양자화·역변환부와, 상기 복원한 잔차 신호와 상기 예측 블록을 합성함으로써 상기 블록을 복원하는 합성부와, 상기 복원한 블록과 상기 복원한 블록에 인접하는 블록을 포함하는 2개의 블록의 경계에 대한 필터 처리를 행하는 디블로킹 필터와, 상기 2개의 블록에 대해 적용된 상기 변환 처리의 종별에 기초하여 상기 디블로킹 필터를 제어하는 필터 제어부를 구비하는 것을 요지로 한다.
제2 양태에 따른 복호 장치는, 화상을 분할하여 얻은 블록을 복호하는 복호 장치로서, 부호화 스트림을 복호함으로써, 상기 블록에 대응하는 양자화 변환 계수를 출력하는 엔트로피 복호부와, 상기 엔트로피 복호부가 출력하는 변환 계수에 대해 역양자화 처리 및 역변환 처리를 행함으로써 잔차 신호를 복원하는 역양자화·역변환부와, 상기 복원한 잔차 신호와 상기 블록을 예측하여 얻은 예측 블록을 합성함으로써 상기 블록을 복원하는 합성부와, 상기 복원한 블록과 상기 복원한 블록에 인접하는 블록을 포함하는 2개의 블록의 경계에 대한 필터 처리를 행하는 디블로킹 필터와, 상기 2개의 블록에 대해 적용된 상기 역변환 처리의 종별에 기초하여 상기 디블로킹 필터를 제어하는 필터 제어부를 구비하는 것을 요지로 한다.
제3 양태에 따른 프로그램은, 컴퓨터를 제1 양태에 따른 부호화 장치로서 기능시키는 것을 요지로 한다.
제4 양태에 따른 프로그램은, 컴퓨터를 제2 양태에 따른 복호 장치로서 기능시키는 것을 요지로 한다.
도 1은 실시형태에 따른 부호화 장치의 구성을 도시한 도면이다.
도 2는 실시형태에 따른 디블로킹 필터의 동작예를 도시한 도면이다.
도 3은 실시형태에 따른 필터 제어부의 동작의 구체예를 도시한 도면이다.
도 4는 실시형태에 따른 복호 장치의 구성을 도시한 도면이다.
도 5는 실시형태에 따른 필터 제어부의 동작예를 도시한 도면이다.
2개의 블록 중 적어도 한쪽의 블록에 비제로 계수가 존재하는 경우라도, 상기 비제로 계수가 존재하는 블록에 변환 스킵이 적용되어 있는 경우에는, 비제로 계수는 스케일링 등의 조정 후, 그대로 출력된다. 이 때문에, 블록 전체에 에너지가 분포하는 일은 없고, 블록 간의 불연속성이 발생하지 않는다.
종래의 디블로킹 필터 제어에서는, 변환 스킵을 포함하는 변환 종별을 고려하여 디블로킹 필터를 제어하고 있지 않기 때문에, 상기한 바와 같이 블록 간의 불연속성이 발생하지 않는 경우라도 디블로킹 필터를 적용할 수 있다. 따라서, 복호된 화상에 흐려짐이 발생하여, 화질의 저하나 부호화 효율의 저하를 일으킬 우려가 있다.
그래서, 본 개시는 디블로킹 필터를 적절히 제어함으로써 화질이나 부호화 효율을 향상시키는 것을 목적으로 한다.
도면을 참조하여, 실시형태에 따른 부호화 장치 및 복호 장치에 대해 설명한다. 실시형태에 따른 부호화 장치 및 복호 장치는, MPEG로 대표되는 동화상의 부호화 및 복호를 각각 행한다. 이하의 도면의 기재에서, 동일 또는 유사한 부분에는 동일 또는 유사한 부호를 붙이고 있다.
<부호화 장치의 구성>
먼저, 본 실시형태에 따른 부호화 장치의 구성에 대해 설명한다. 도 1은 본 실시형태에 따른 부호화 장치(1)의 구성을 도시한 도면이다. 부호화 장치(1)는, 화상을 분할하여 얻은 부호화 대상 블록을 부호화하는 장치이다.
도 1에 도시된 바와 같이, 부호화 장치(1)는, 블록 분할부(100)와, 감산부(110)와, 변환·양자화부(120)와, 엔트로피 부호화부(130)와, 역양자화·역변환부(140)와, 합성부(150)와, 디블로킹 필터(160)와, 필터 제어부(161)와, 메모리(170)와, 예측부(180)를 갖는다.
블록 분할부(100)는, 동화상을 구성하는 프레임(혹은 픽처) 단위의 입력 화상을 복수의 화상 블록으로 분할하고, 분할에 의해 얻은 화상 블록을 감산부(110)에 출력한다. 화상 블록의 사이즈는, 예컨대 32×32 화소, 16×16 화소, 8×8 화소, 또는 4×4 화소 등이다. 화상 블록의 형상은 정사각형에 한하지 않고 직사각형(비정사각형)이어도 좋다. 화상 블록은, 부호화 장치(1)가 부호화를 행하는 단위(부호화 대상 블록)이고, 또한 복호 장치가 복호를 행하는 단위(복호 대상 블록)이다. 이러한 화상 블록은 CU(Coding Unit)라고 불리는 경우가 있다.
블록 분할부(100)는, 휘도 신호와 색차 신호에 대해 블록 분할을 행한다. 이하에서, 블록 분할의 형상이 휘도 신호와 색차 신호에서 동일한 경우에 대해 주로 설명하지만, 휘도 신호와 색차 신호에서 분할을 독립적으로 제어 가능해도 좋다. 휘도 블록 및 색차 블록을 특별히 구별하지 않을 때에는 간단히 부호화 대상 블록이라고 부른다.
감산부(110)는, 블록 분할부(100)로부터 출력되는 부호화 대상 블록과, 부호화 대상 블록을 예측부(180)가 예측하여 얻은 예측 블록과의 차분(오차)을 나타내는 예측 잔차를 산출한다. 감산부(110)는, 블록의 각 화소값으로부터 예측 블록의 각 화소값을 감산함으로써 예측 잔차를 산출하고, 산출한 예측 잔차를 변환·양자화부(120)에 출력한다. 이하에서, 블록 단위의 예측 잔차를 포함하는 신호를 잔차 신호라고 부른다.
변환·양자화부(120)는, 블록 단위로 변환 처리 및 양자화 처리를 행한다. 변환·양자화부(120)는, 변환부(121)와, 양자화부(122)를 갖는다.
변환부(121)는, 감산부(110)로부터 출력되는 잔차 신호에 대해 변환 처리를 행하여 주파수 성분마다의 변환 계수를 산출하고, 산출한 변환 계수를 양자화부(122)에 출력한다. 변환 처리(변환)란, 화소 영역의 신호를 주파수 영역의 신호로 변환하는 처리를 말하고, 예컨대, 이산 코사인 변환(DCT: Discrete Cosine Transform)이나 이산 사인 변환(DST: Discrete Sine Transform), 카루넨 루베 변환(KLT: Karhunen-Loeve Transform), 및 이들을 정수화한 변환 등을 말한다.
본 실시형태에서, 변환부(121)는, 잔차 신호에 대한 변환을 행하지 않는 변환 스킵을 포함하는 복수 종별의 변환 처리 중에서 선택된 종별의 변환 처리를 행한다. 구체적으로는, 변환부(121)는, 수평 방향 및 수직 방향의 각각에 대해, 잔차 신호에 대해 적용하는 변환 처리의 종별을 선택한다. 예컨대, DCT2, DST7, DCT8 등의 변환(이들을 정수화한 변환을 포함함)의 후보 중, 어떤 변환을 적용할지를 선택한다. 변환부(121)는, 선택한 변환 처리의 종별을 나타내는 변환 종별 정보를 엔트로피 부호화부(130) 및 필터 제어부(161)에 출력한다.
변환부(121)는, 변환 스킵을 선택할 수 있다. 예컨대, 변환부(121)는, 급준한 에지를 포함하는 잔차 신호나 국소적인 영역만 에너지가 높은 잔차 신호에 대해 변환 스킵을 선택한다. 변환부(121)는, 변환 스킵을 선택한 경우, DCT나 DST 등의 변환을 실시하지 않고, 잔차 신호를 스케일링 처리 등에 의해 조정한 것을 변환 계수로서 출력한다. 변환부(121)는, 수평 방향 및 수직 방향의 한쪽에만 변환 스킵을 적용할 수 있어도 좋고, 양쪽에 변환 스킵을 적용할 수 있어도 좋다. 이하에서, 변환 스킵을 수평 방향 및 수직 방향의 양쪽에 적용하는 경우에 대해 주로 설명한다.
또한, 변환부(121)는, 예컨대 부호화 대상 블록마다의 발생 정보량과 신호 왜곡의 선형 결합이 최소가 되도록 최적화(즉, RD 최적화)함으로써 변환 처리의 종별을 선택해도 좋고, 부호화 대상 블록의 블록 사이즈나 분할 형상, 예측 처리의 종별에 기초하여 변환 처리의 종별을 선택해도 좋다.
양자화부(122)는, 변환부(121)로부터 출력되는 변환 계수를 양자화 파라미터(Qp) 및 양자화 행렬을 이용하여 양자화하고, 양자화한 변환 계수를 엔트로피 부호화부(130) 및 역양자화·역변환부(140)에 출력한다. 또한, 양자화 파라미터(Qp)는, 블록 내의 각 변환 계수에 대해 공통적으로 적용되는 파라미터이며, 양자화의 조잡함을 정하는 파라미터이다. 양자화 행렬은, 각 변환 계수를 양자화할 때의 양자화값을 요소로서 갖는 행렬이다.
엔트로피 부호화부(130)는, 양자화부(122)로부터 출력되는 변환 계수에 대해 엔트로피 부호화를 행하고, 데이터 압축을 행하여 부호화 스트림(비트 스트림)을 생성하며, 부호화 스트림을 부호화 장치(1)의 외부에 출력한다. 엔트로피 부호화에는, 허프만 부호나 CABAC(Context-based Adaptive Binary Arithmetic Coding; 콘텍스트 적응형 2치 산술 부호) 등을 이용할 수 있다.
엔트로피 부호화부(130)는, 블록 분할부(100)로부터 각 부호화 대상 블록의 사이즈·형상 등의 정보를 취득하고, 변환부(121)로부터 변환 종별 정보를 취득하며, 예측부(180)로부터 예측에 관한 정보(예컨대, 예측 모드나 움직임 벡터의 정보)를 취득하고, 이들 정보의 부호화도 행한다.
역양자화·역변환부(140)는, 블록 단위로 역양자화 처리 및 역변환 처리를 행한다. 역양자화·역변환부(140)는, 역양자화부(141)와, 역변환부(142)를 갖는다.
역양자화부(141)는, 양자화부(122)가 행하는 양자화 처리에 대응하는 역양자화 처리를 행한다. 구체적으로는, 역양자화부(141)는, 양자화부(122)로부터 출력되는 변환 계수를, 양자화 파라미터(Qp) 및 양자화 행렬을 이용하여 역양자화함으로써 변환 계수를 복원하고, 복원한 변환 계수를 역변환부(142)에 출력한다.
역변환부(142)는, 변환부(121)가 행하는 변환 처리에 대응하는 역변환 처리를 행한다. 예컨대, 변환부(121)가 DCT를 행한 경우에는, 역변환부(142)는 역DCT를 행한다. 역변환부(142)는, 역양자화부(141)로부터 출력되는 변환 계수에 대해 역변환 처리를 헹하여 잔차 신호를 복원하고, 복원한 잔차 신호인 복원 잔차 신호를 합성부(150)에 출력한다. 단, 변환부(121)가 변환 스킵을 적용한 경우, 역변환부(142)는 역변환 처리를 하지 않고, 변환부(121)가 행한 계수의 조정의 역처리를 행한다.
합성부(150)는, 역변환부(142)로부터 출력되는 복원 잔차 신호를, 예측부(180)로부터 출력되는 예측 블록과 화소 단위로 합성한다. 합성부(150)는, 복원 잔차 신호의 각 화소값과 예측 블록의 각 화소값을 가산하여 부호화 대상 블록을 복원(복호)하고, 복원한 블록 단위의 복호 화상(복원 블록)을 디블로킹 필터(160)에 출력한다.
디블로킹 필터(160)는, 복원 블록과 상기 복원 블록에 인접하는 블록을 포함하는 2개의 블록(이하, 「필터 대상 블록쌍」이라고 부름)의 경계에 대한 필터 처리인 디블로킹 필터 처리를 행하고, 디블로킹 필터 처리 후의 복원 블록을 메모리(170)에 출력한다. 디블로킹 필터 처리는, 블록 단위의 처리에 기인하는 신호 열화를 경감하기 위한 처리이며, 필터 대상 블록쌍의 경계에서의 신호의 갭을 평활화하는 필터 처리이다. 디블로킹 필터(160)는, 일반적으로 신호의 변동을 완만하게 하는 로우 패스 필터로서 구성되어 있다.
필터 제어부(161)는, 디블로킹 필터(160)를 제어한다. 구체적으로는, 필터 제어부(161)는, 필터 대상 블록쌍에 대한 디블로킹 필터 처리를 행할지의 여부, 및 디블로킹 필터(160)의 필터 강도(BS: Boundary Strength)를 제어한다. 필터 강도(BS)란, 디블로킹 필터 처리에 의해 화소의 보정을 어느 정도 허용할지의 파라미터를 말한다. 또한, 디블로킹 필터 처리를 행할지의 여부의 제어는, 필터 강도(BS)를 1 이상으로 할지 또는 제로로 할지의 제어라고 간주할 수 있다.
구체적으로는, 필터 제어부(161)는, 필터 대상 블록쌍의 경계 근방 영역에서의 화소값의 변동이나, 예측 모드, 양자화 파라미터, 움직임 보상 예측(인터 예측)에 이용하는 움직임 벡터의 값에 기초하여, 디블로킹 필터(160)를 제어한다. 본 실시형태에서, 필터 제어부(161)는, 필터 대상 블록쌍에 대해 적용된 변환 처리의 종별이 변환 스킵인지의 여부에 더욱 기초하여 디블로킹 필터(160)를 제어한다.
도 2는 본 실시형태에 따른 디블로킹 필터(160)의 동작예를 도시한 도면이다. 도 2에서, 블록 Q는, 부호화 대상 블록에 대응하는 복원 블록이고, 블록 P는, 이 블록 Q에 인접하는 복원 블록이다.
도 2에 도시된 예에서는, 디블로킹 필터(160)가 디블로킹 필터 처리를 행하는 블록 사이즈는 8×8 화소이다. 필터 제어부(161)는, 예컨대 하기의 표 1에 기초하여 필터 강도(BS)를 구한다. 본 실시형태에서는, 필터 강도(BS)의 값은 0, 1, 2 중 어느 하나로 한다.
Figure pct00001
도 2 및 표 1에 나타내는 바와 같이, 필터 제어부(161)는, 블록 P 및 Q 중 적어도 한쪽에 인트라 예측이 적용되어 있는 경우, BS의 값을 2로 한다.
한편, 필터 제어부(161)는, 블록 P 및 Q의 양쪽에 움직임 보상 예측(인터 예측)이 적용되어 있고, 또한 적어도 이하의 (가), (나), (다) 중 하나의 조건을 만족시키는 경우에는, BS값을 1로 하고, 그 외의 경우에는, BS값을 0으로 한다.
(가) 블록 P 및 Q의 움직임 벡터의 차의 절대값이 임계값(예컨대 1화소) 이상인 것.
(나) 블록 P 및 Q 중 적어도 한쪽이 유의한 변환 계수(즉, 비제로 계수)를 포함하고, 상기 비제로 계수를 포함하는 블록이 변환 스킵 블록이 아닌 것.
(다) 블록 P 및 Q의 움직임 벡터의 수 또는 참조 화상이 상이한 것.
필터 제어부(161)는, 필터 강도(BS)의 값이 0인 경우에는 디블로킹 필터 처리를 행하지 않도록 디블로킹 필터(160)를 제어한다. 이하, 도 2에 도시된 수직 블록 경계를 예로 설명한다.
필터 제어부(161)는, 필터 강도(BS)의 값이 1 또는 2인 경우에는, 다음식 (1)을 만족시키는 경우에만, 디블로킹 필터 처리를 행하도록 디블로킹 필터(160)를 제어해도 좋다.
Figure pct00002
또한, 필터 제어부(161)는, 디블로킹 필터 처리를 행하는 경우, 이하의 조건식 (2)∼(7)을 전부 만족시키는 경우에 강한 필터를 적용하고, 그 이외의 경우에 약한 필터를 적용해도 좋다.
Figure pct00003
단, 임계값 β 및 tC의 값은, 인접하는 블록 P와 블록 Q의 양자화 파라미터의 평균값 Qav에 따라 변한다.
메모리(170)는, 디블로킹 필터(160)로부터 출력되는 복원 블록을 프레임 단위로 복호 화상으로서 축적한다. 메모리(170)는, 기억하고 있는 복호 화상을 예측부(180)에 출력한다.
예측부(180)는, 블록 단위로 예측 처리를 행함으로써, 부호화 대상 블록에 대응하는 예측 블록을 생성하고, 생성한 예측 블록을 감산부(110) 및 합성부(150)에 출력한다. 예측부(180)는, 인터 예측부(181)와, 인트라 예측부(182)와, 전환부(183)를 갖는다.
인터 예측부(181)는, 메모리(170)에 기억된 복호 화상을 참조 화상으로서 이용하여, 블록 매칭 등의 수법에 의해 움직임 벡터를 산출하고, 부호화 대상 블록을 예측하여 인터 예측 블록을 생성하며, 생성한 인터 예측 블록을 전환부(183)에 출력한다. 인터 예측부(181)는, 복수의 참조 화상을 이용하는 인터 예측(전형적으로는, 쌍예측)이나, 하나의 참조 화상을 이용하는 인터 예측(편방향 예측) 중에서 최적의 인터 예측 방법을 선택하고, 선택한 인터 예측 방법을 이용하여 인터 예측을 행한다. 인터 예측부(181)는, 인터 예측에 관한 정보(움직임 벡터 등)를 엔트로피 부호화부(130) 및 필터 제어부(161)에 출력한다.
인트라 예측부(182)는, 복수의 인트라 예측 모드 중에서, 부호화 대상 블록에 적용하는 최적의 인트라 예측 모드를 선택하고, 선택한 인트라 예측 모드를 이용하여 부호화 대상 블록을 예측한다. 인트라 예측부(182)는, 메모리(170)에 기억된 복호 화상 중, 부호화 대상 블록에 인접하는 복호 완료 화소값을 참조하여 인트라 예측 블록을 생성하고, 생성한 인트라 예측 블록을 전환부(183)에 출력한다. 또한, 인트라 예측부(182)는, 선택한 인트라 예측 모드에 관한 정보를 엔트로피 부호화부(130) 및 필터 제어부(161)에 출력한다.
전환부(183)는, 인터 예측부(181)로부터 출력되는 인터 예측 블록과 인트라 예측부(182)로부터 출력되는 인트라 예측 블록을 전환하여, 어느 하나의 예측 블록을 감산부(110) 및 합성부(150)에 출력한다.
이와 같이, 본 실시형태에 따른 부호화 장치(1)는, 부호화 대상 블록과 부호화 대상 블록을 예측하여 얻은 예측 블록과의 차를 나타내는 잔차 신호에 대해 변환 처리 및 양자화 처리를 행하는 변환·양자화부(120)와, 변환·양자화부(120)에 의해 얻은 변환 계수에 대해 역양자화 처리 및 역변환 처리를 행함으로써 잔차 신호를 복원하는 역양자화·역변환부(140)와, 복원한 잔차 신호와 예측 블록을 합성함으로써 부호화 대상 블록을 복원하는 합성부(150)와, 복원한 블록과 상기 복원한 블록에 인접하는 블록을 포함하는 2개의 블록(필터 대상 블록쌍)의 경계에 대한 필터 처리를 행하는 디블로킹 필터(160)를 갖는다.
다음으로, 본 실시형태에 따른 필터 제어부(161)의 동작의 상세에 대해 설명한다.
전술한 바와 같이, 필터 제어부(161)는, 부호화 대상 블록에 대응하는 복원 블록과 상기 복원 블록에 인접하는 블록을 포함하는 필터 대상 블록쌍 중 적어도 한쪽에 인트라 예측이 적용되는 경우, 필터 대상 블록쌍의 경계에 대한 디블로킹 필터를 적용한다. 이것은, 인트라 예측이 적용되는 경우에는 블록 경계에 불연속성을 발생시킬 가능성이 높기 때문이다.
또한, 필터 제어부(161)는, 필터 대상 블록쌍 어느 것에 대해서도 인터 예측이 적용되는 경우이며, 필터 대상 블록쌍에 적용하는 움직임 벡터의 차가 미리 규정한 임계값 이상인 경우에는, 상기 필터 대상 블록쌍의 경계에 디블로킹 필터를 적용한다. 이것은, 움직임 벡터가 상이한 경우에는 블록 경계에 불연속성을 발생시킬 가능성이 높기 때문이다.
또한, 필터 제어부(161)는, 필터 대상 블록쌍 중 적어도 한쪽의 블록에 비제로 계수가 존재하는 경우에는, 움직임 벡터의 차가 임계값 미만이어도, 상기 필터 대상 블록쌍의 경계에 디블로킹 필터를 적용한다. 이것은, 비제로 계수의 역변환에 의해, 잔차 신호의 에너지가 블록 전체에 분포하기 때문에, 움직임 벡터가 동일했다고 해도 양 블록의 경계에 불연속성이 발생할 가능성이 높기 때문이다.
그러나, 필터 대상 블록쌍 중 적어도 한쪽의 블록에 비제로 계수가 존재하는 경우라도, 상기 비제로 계수가 존재하는 블록에 변환 스킵이 적용되어 있는 경우에는, 비제로 계수는 스케일링 등의 조정 후, 그대로 출력된다. 이 때문에, 블록 전체에 에너지가 분포하는 일은 없고, 블록 간의 불연속성이 발생하지 않는다.
그래서, 본 실시형태에서는, 필터 제어부(161)는, 필터 대상 블록쌍 중 적어도 한쪽에 비제로 계수가 존재하고, 또한, 상기 필터 대상 블록쌍 중 비제로 계수가 존재하는 블록에 변환 스킵이 적용되어 있는 경우에는, 디블로킹 필터 처리를 적용하지 않도록 디블로킹 필터(160)를 제어한다. 이에 의해, 블록 간의 불연속성이 발생하지 않는 경우에서의 디블로킹 필터 처리를 불필요하게 함으로써, 복호된 화상에 흐려짐이 발생하거나, 화질의 저하나 부호화 효율의 저하를 일으키거나 하는 것을 방지할 수 있다.
도 3은 본 실시형태에 따른 필터 제어부(161)의 동작의 구체예를 도시한 도면이다. 도 3에서, 블록 P 및 블록 Q는 필터 대상 블록쌍을 구성하고, 각 블록에 인터 예측이 적용되어 있는 것으로 한다. 또한, 도 3에서의 블록 내의 화살표는 움직임 벡터를 나타내고 있고, 블록 P의 움직임 벡터 및 블록 Q의 움직임 벡터가 동일한 것으로 한다.
도 3의 (a)에 도시된 바와 같이, 필터 제어부(161)는, 필터 대상 블록쌍의 어느 것에도 비제로 계수가 존재하지 않는 경우, 필터 대상 블록쌍의 경계에 대한 디블로킹 필터 처리를 적용하지 않는다.
도 3의 (b)에 도시된 바와 같이, 필터 제어부(161)는, 필터 대상 블록쌍 중 적어도 한쪽에 비제로 계수가 존재하고, 또한, 상기 비제로 계수가 존재하는 블록에 변환 스킵이 적용되어 있지 않은 경우, 필터 대상 블록쌍의 경계에 대한 디블로킹 필터 처리를 적용한다. 구체적으로는, 필터 제어부(161)는, 블록 P에 비제로 계수가 존재하고, 또한, 블록 P에 변환 스킵이 적용되어 있지 않기 때문에, 필터 대상 블록쌍의 경계에 대한 디블로킹 필터 처리를 적용한다.
도 3의 (c)에 도시된 바와 같이, 필터 제어부(161)는, 필터 대상 블록쌍 중 적어도 한쪽에 비제로 계수가 존재하고, 또한, 상기 비제로 계수가 존재하는 블록에 변환 스킵이 적용되어 있는 경우, 필터 대상 블록쌍의 경계에 대한 디블로킹 필터 처리를 적용하지 않는다. 구체적으로는, 필터 제어부(161)는, 블록 P에 비제로 계수가 존재하고, 또한, 블록 P에 변환 스킵(TranSkip)이 적용되어 있기 때문에, 필터 대상 블록쌍의 경계에 대한 디블로킹 필터 처리를 적용한다.
도 3의 (d)에 도시된 바와 같이, 필터 제어부(161)는, 필터 대상 블록쌍의 양쪽에 비제로 계수가 존재하고, 또한, 상기 비제로 계수가 존재하는 블록에 변환 스킵이 적용되어 있지 않은 경우, 필터 대상 블록쌍의 경계에 대한 디블로킹 필터 처리를 적용한다. 구체적으로는, 필터 제어부(161)는, 블록 P 및 Q의 양쪽에 비제로 계수가 존재하고, 블록 P에 변환 스킵(TranSkip)이 적용되어 있으며, 블록 Q에 변환 스킵(TranSkip)이 적용되어 있지 않기 때문에, 필터 대상 블록쌍의 경계에 대한 디블로킹 필터 처리를 적용한다.
<복호 장치의 구성>
다음으로, 본 실시형태에 따른 복호 장치의 구성에 대해, 전술한 부호화 장치의 구성과의 상위점을 주로 설명한다. 도 4는 본 실시형태에 따른 복호 장치(2)의 구성을 도시한 도면이다. 복호 장치(2)는, 부호화 스트림으로부터 복호 대상 블록을 복호하는 장치이다.
도 4에 도시된 바와 같이, 복호 장치(2)는, 엔트로피 복호부(200)와, 역양자화·역변환부(210)와, 합성부(220)와, 디블로킹 필터(230)와, 필터 제어부(231)와, 메모리(240)와, 예측부(250)를 갖는다.
엔트로피 복호부(200)는, 부호화 장치(1)에 의해 생성된 부호화 스트림을 복호하여, 각종의 시그널링 정보를 복호한다. 구체적으로는, 엔트로피 복호부(200)는, 복호 대상 블록에 적용된 변환 처리에 관한 정보(예컨대, 변환 종별 정보)를 취득하고, 취득한 정보를 역변환부(212) 및 필터 제어부(231)에 출력한다. 또한, 엔트로피 복호부(200)는, 복호 대상 블록에 적용된 예측에 관한 정보(예컨대, 예측 종별 정보, 움직임 벡터 정보)를 취득하고, 취득한 정보를 예측부(250) 및 필터 제어부(231)에 출력한다.
또한, 엔트로피 복호부(200)는, 부호화 스트림을 복호하고, 양자화된 변환 계수를 취득하며, 취득한 변환 계수를 역양자화·역변환부(210)[역양자화부(211)]에 출력한다.
역양자화·역변환부(210)는, 블록 단위로 역양자화 처리 및 역변환 처리를 행한다. 역양자화·역변환부(210)는, 역양자화부(211)와, 역변환부(212)를 갖는다.
역양자화부(211)는, 부호화 장치(1)의 양자화부(122)가 행하는 양자화 처리에 대응하는 역양자화 처리를 행한다. 역양자화부(211)는, 엔트로피 복호부(200)로부터 출력되는 양자화 변환 계수를, 양자화 파라미터(Qp) 및 양자화 행렬을 이용하여 역양자화함으로써, 복호 대상 블록의 변환 계수를 복원하고, 복원한 변환 계수를 역변환부(212)에 출력한다.
역변환부(212)는, 부호화 장치(1)의 변환부(121)가 행하는 변환 처리에 대응하는 역변환 처리를 행한다. 역변환부(212)는, 역양자화부(211)로부터 출력되는 변환 계수에 대해 역변환 처리를 행하여 잔차 신호를 복원하고, 복원한 잔차 신호(복원 잔차 신호)를 합성부(220)에 출력한다. 본 실시형태에서, 역변환부(212)는, 엔트로피 복호부(200)로부터 출력되는 변환 종별 정보에 기초하여, 역변환을 행하지 않는 변환 스킵을 포함하는 복수 종별의 역변환 처리 중에서 선택된 종별의 역변환 처리를 행한다. 변환 스킵의 경우, 역변환부(212)는 역변환 처리를 하지 않고, 부호화 장치(1)의 변환부(121)가 행한 계수의 조정의 역처리를 행한다.
합성부(220)는, 역변환부(212)로부터 출력되는 잔차 신호와, 예측부(250)로부터 출력되는 예측 블록을 화소 단위로 합성함으로써, 복호 대상 블록을 복원(복호)하고, 복원 블록을 디블로킹 필터(230)에 출력한다.
디블로킹 필터(230)는, 부호화 장치(1)의 디블로킹 필터(160)와 동일한 동작을 행한다. 디블로킹 필터(230)는, 합성부(220)로부터 출력되는 복원 블록과 상기 복원 블록에 인접하는 블록을 포함하는 필터 대상 블록쌍의 경계에 대한 디블로킹 필터 처리를 행하고, 디블로킹 필터 처리 후의 복원 블록을 메모리(240)에 출력한다.
필터 제어부(231)는, 엔트로피 복호부(200)로부터 출력되는 정보에 기초하여, 부호화 장치(1)의 필터 제어부(161)와 동일한 동작을 행한다. 필터 제어부(231)는, 예컨대 표 1에 나타낸 방법으로 필터 강도(BS)를 선택하고, 선택한 필터 강도(BS)에 따라 디블로킹 필터(230)를 제어한다.
메모리(240)는, 디블로킹 필터(230)로부터 출력되는 복원 블록을 프레임 단위로 복호 화상으로서 기억한다. 메모리(240)는, 프레임 단위의 복호 화상을 복호 장치(2)의 외부에 출력한다.
예측부(250)는, 블록 단위로 예측을 행한다. 예측부(250)는, 인터 예측부(251)와, 인트라 예측부(252)와, 전환부(253)를 갖는다.
인터 예측부(251)는, 메모리(240)에 기억된 복호 화상을 참조 화상으로서 이용하여, 복호 대상 블록을 인터 예측에 의해 예측한다. 인터 예측부(251)는, 엔트로피 복호부(200)로부터 출력되는 움직임 벡터 정보를 이용하여 인터 예측을 행함으로써 인터 예측 블록을 생성하고, 생성한 인터 예측 블록을 전환부(253)에 출력한다.
인트라 예측부(252)는, 메모리(240)에 기억된 복호 화상 중 복호 대상 블록에 인접하는 참조 화소를 참조하여, 엔트로피 복호부(200)로부터 출력되는 정보에 기초하여, 복호 대상 블록을 인트라 예측에 의해 예측한다. 그리고, 인트라 예측부(252)는, 인트라 예측 블록을 생성하고, 생성한 인트라 예측 블록을 전환부(253)에 출력한다.
전환부(253)는, 인터 예측부(251)로부터 출력되는 인터 예측 블록과 인트라 예측부(252)로부터 출력되는 인트라 예측 블록을 전환하여, 어느 하나의 예측 블록을 합성부(220)에 출력한다.
이와 같이, 본 실시형태에 따른 복호 장치(2)는, 부호화 스트림을 복호함으로써, 복호 대상 블록에 대응하는 양자화 변환 계수를 출력하는 엔트로피 복호부(200)와, 엔트로피 복호부(200)가 출력하는 변환 계수에 대해 역양자화 처리 및 역변환 처리를 행함으로써 잔차 신호를 복원하는 역양자화·역변환부(210)와, 복원한 잔차 신호와 복호 대상 블록을 예측하여 얻은 예측 블록을 합성함으로써 블록을 복원하는 합성부(220)와, 복원한 블록과 상기 복원한 블록에 인접하는 블록을 포함하는 필터 대상 블록쌍의 경계에 대한 필터 처리를 행하는 디블로킹 필터(230)와, 필터 대상 블록쌍에 대해 적용된 역변환 처리의 종별에 기초하여 디블로킹 필터(230)를 제어하는 필터 제어부(231)를 갖는다.
여기서, 필터 제어부(231)는, 도 3에 도시된 바와 같은 동작을 행한다. 구체적으로는, 필터 제어부(231)는, 필터 대상 블록쌍 중 적어도 한쪽에 비제로 계수가 존재하고, 또한, 필터 대상 블록쌍 중 비제로 계수가 존재하는 블록에 변환 스킵이 적용되어 있지 않은 경우, 디블로킹 필터 처리를 행하도록 디블로킹 필터(230)를 제어한다.
한편, 필터 제어부(231)는, 필터 대상 블록쌍 중 적어도 한쪽에 비제로 계수가 존재하고, 또한, 필터 대상 블록쌍 중 비제로 계수가 존재하는 블록에 변환 스킵이 적용되어 있는 경우, 디블로킹 필터 처리를 행하지 않도록 디블로킹 필터(230)를 제어한다. 이에 의해, 블록 간의 불연속성이 발생하지 않는 경우에서의 디블로킹 필터 처리를 불필요하게 함으로써, 복호된 화상에 흐려짐이 발생하거나, 화질의 저하나 부호화 효율의 저하를 일으키거나 하는 것을 방지할 수 있다.
<필터 제어부의 동작예>
다음으로, 본 실시형태에 따른 필터 제어부(161) 및 필터 제어부(231)의 동작예에 대해 설명한다. 필터 제어부(161) 및 필터 제어부(231)는 동일한 동작을 행하기 때문에, 여기서는 필터 제어부(231)를 예로 들어 설명한다. 도 5는 본 실시형태에 따른 필터 제어부(231)의 동작예를 도시한 도면이다.
도 5에 도시된 바와 같이, 단계 S1에서, 필터 제어부(231)는, 블록 P 및 Q를 포함하는 필터 대상 블록쌍 중 적어도 한쪽에 인트라 예측이 적용되어 있는지의 여부를 판정한다. 필터 대상 블록쌍 중 적어도 한쪽에 인트라 예측이 적용되어 있는 경우(단계 S1: YES), 단계 S2에서, 필터 제어부(231)는, 디블로킹 필터 처리를 행하도록 디블로킹 필터(230)를 제어한다. 구체적으로는, 필터 제어부(231)는, 필터 강도(BS)=2를 선택한다.
필터 대상 블록쌍의 어느 것도 인트라 예측이 적용되어 있지 않은 경우(단계 S1: NO), 단계 S3에서, 필터 제어부(231)는, 대상 블록쌍의 움직임 벡터의 차가 임계값 이상인지의 여부를 판정한다. 대상 블록쌍의 움직임 벡터의 차가 임계값 이상인 경우(단계 S3: YES), 단계 S4에서, 필터 제어부(231)는, 디블로킹 필터 처리를 행하도록 디블로킹 필터(230)를 제어한다. 구체적으로는, 필터 제어부(231)는, 필터 강도(BS)=1을 선택한다.
대상 블록쌍의 움직임 벡터의 차가 임계값 이상이 아닌 경우(단계 S3: NO), 단계 S5에서, 필터 제어부(231)는, 대상 블록쌍 중 적어도 한쪽에 비제로 계수가 포함되는지의 여부를 판정한다. 대상 블록쌍 중 적어도 한쪽에 비제로 계수가 포함되어 있지 않는 경우(단계 S5: NO), 단계 S7에서, 필터 제어부(231)는, 디블로킹 필터 처리를 행하지 않도록 디블로킹 필터(230)를 제어한다. 구체적으로는, 필터 제어부(231)는, 필터 강도(BS)=0을 선택한다.
대상 블록쌍 중 적어도 한쪽에 비제로 계수가 포함되어 있는 경우(단계 S5: YES), 단계 S6에서, 필터 제어부(231)는, 비제로 계수가 포함되는 블록에 변환 스킵이 적용되어 있는지의 여부를 판정한다. 비제로 계수가 포함되는 블록에 변환 스킵이 적용되어 있지 않은 경우(단계 S6: NO), 단계 S4에서, 필터 제어부(231)는, 디블로킹 필터 처리를 행하도록 디블로킹 필터(230)를 제어한다. 구체적으로는, 필터 제어부(231)는, 필터 강도(BS)=1을 선택한다. 한편, 비제로 계수가 포함되는 블록에 변환 스킵이 적용되어 있는 경우(단계 S6: YES), 단계 S7에서, 필터 제어부(231)는, 디블로킹 필터 처리를 행하지 않도록 디블로킹 필터(230)를 제어한다. 구체적으로는, 필터 제어부(231)는, 필터 강도(BS)=0을 선택한다.
<그 외의 실시형태>
부호화 장치(1)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램이 제공되어도 좋다. 복호 장치(2)가 행하는 각 처리를 컴퓨터에 실행시키는 프로그램이 제공되어도 좋다. 프로그램은, 컴퓨터 판독 가능 매체에 기록되어 있어도 좋다. 컴퓨터 판독 가능 매체를 이용하면, 컴퓨터에 프로그램을 인스톨하는 것이 가능하다. 여기서, 프로그램이 기록된 컴퓨터 판독 가능 매체는, 비일과성의 기록 매체여도 좋다. 비일과성의 기록 매체는, 특별히 한정되는 것은 아니지만, 예컨대, CD-ROM이나 DVD-ROM 등의 기록 매체여도 좋다.
부호화 장치(1)가 행하는 각 처리를 실행하는 회로를 집적화하여, 부호화 장치(1)를 반도체 집적 회로(칩 세트, SoC)에 의해 구성해도 좋다. 복호 장치(2)가 행하는 각 처리를 실행하는 회로를 집적화하여, 복호 장치(2)를 반도체 집적 회로(칩 세트, SoC)에 의해 구성해도 좋다.
이상, 도면을 참조하여 실시형태에 대해 상세히 설명하였으나, 구체적인 구성은 전술한 것에 한정되는 일은 없고, 요지를 일탈하지 않는 범위 내에서 여러 가지 설계 변경 등을 하는 것이 가능하다.
본원은 일본국 특허 출원 제2019-117924호(2019년 6월 25일 출원)의 우선권을 주장하며, 그 내용 전부가 본원 명세서에 편입되어 있다.

Claims (8)

  1. 화상을 분할하여 얻은 블록을 부호화하는 부호화 장치로서,
    상기 블록과 상기 블록을 예측하여 얻은 예측 블록과의 차를 나타내는 잔차 신호에 대해 변환 처리 및 양자화 처리를 행하는 변환·양자화부와,
    상기 변환·양자화부에 의해 얻은 변환 계수에 대해 역양자화 처리 및 역변환 처리를 행함으로써 상기 잔차 신호를 복원하는 역양자화·역변환부와,
    상기 복원한 잔차 신호와 상기 예측 블록을 합성함으로써 상기 블록을 복원하는 합성부와,
    상기 복원한 블록과 상기 복원한 블록에 인접하는 블록을 포함하는 2개의 블록의 경계에 대한 필터 처리를 행하는 디블로킹 필터와,
    상기 2개의 블록에 대해 적용된 상기 변환 처리의 종별에 기초하여 상기 디블로킹 필터를 제어하는 필터 제어부를 구비하는 것을 특징으로 하는 부호화 장치.
  2. 제1항에 있어서, 상기 필터 제어부는, 상기 2개의 블록에 대해 적용된 상기 변환 처리의 종별이 변환 스킵인지의 여부에 기초하여, 상기 디블로킹 필터를 제어하는 것을 특징으로 하는 부호화 장치.
  3. 제2항에 있어서, 상기 필터 제어부는,
    상기 변환 계수에 비(非)제로 계수가 존재하는지의 여부를 상기 2개의 블록의 각각에 대해 판정하고,
    상기 2개의 블록 중 적어도 한쪽에 비제로 계수가 존재하고, 또한, 상기 2개의 블록 중 비제로 계수가 존재하는 블록에 상기 변환 스킵이 적용되어 있지 않은 경우, 상기 필터 처리를 행하도록 상기 디블로킹 필터를 제어하며,
    상기 2개의 블록 중 적어도 한쪽에 비제로 계수가 존재하고, 또한, 상기 2개의 블록 중 비제로 계수가 존재하는 블록에 상기 변환 스킵이 적용되어 있는 경우, 상기 필터 처리를 행하지 않도록 상기 디블로킹 필터를 제어하는 것을 특징으로 하는 부호화 장치.
  4. 화상을 분할하여 얻은 블록을 복호하는 복호 장치로서,
    부호화 스트림을 복호함으로써, 상기 블록에 대응하는 양자화 변환 계수를 출력하는 엔트로피 복호부와,
    상기 엔트로피 복호부가 출력하는 변환 계수에 대해 역양자화 처리 및 역변환 처리를 행함으로써 잔차 신호를 복원하는 역양자화·역변환부와,
    상기 복원한 잔차 신호와 상기 블록을 예측하여 얻은 예측 블록을 합성함으로써 상기 블록을 복원하는 합성부와,
    상기 복원한 블록과 상기 복원한 블록에 인접하는 블록을 포함하는 2개의 블록의 경계에 대한 필터 처리를 행하는 디블로킹 필터와,
    상기 2개의 블록에 대해 적용된 상기 역변환 처리의 종별에 기초하여 상기 디블로킹 필터를 제어하는 필터 제어부를 구비하는 것을 특징으로 하는 복호 장치.
  5. 제4항에 있어서, 상기 필터 제어부는, 상기 2개의 블록에 대해 적용된 상기 역변환 처리의 종별이 변환 스킵인지의 여부에 기초하여, 상기 디블로킹 필터를 제어하는 것을 특징으로 하는 복호 장치.
  6. 제5항에 있어서, 상기 필터 제어부는,
    상기 변환 계수에 비제로 계수가 존재하는지의 여부를 상기 2개의 블록의 각각에 대해 판정하고,
    상기 2개의 블록 중 적어도 한쪽에 비제로 계수가 존재하고, 또한, 상기 2개의 블록 중 비제로 계수가 존재하는 블록에 상기 변환 스킵이 적용되어 있지 않은 경우, 상기 필터 처리를 행하도록 상기 디블로킹 필터를 제어하며,
    상기 2개의 블록 중 적어도 한쪽에 비제로 계수가 존재하고, 또한, 상기 2개의 블록 중 비제로 계수가 존재하는 블록에 상기 변환 스킵이 적용되어 있는 경우, 상기 필터 처리를 행하지 않도록 상기 디블로킹 필터를 제어하는 것을 특징으로 하는 복호 장치.
  7. 컴퓨터를 제1항에 기재된 부호화 장치로서 기능시키는 것을 특징으로 하는 프로그램.
  8. 컴퓨터를 제4항에 기재된 복호 장치로서 기능시키는 것을 특징으로 하는 프로그램.
KR1020217041741A 2019-06-25 2020-06-23 부호화 장치, 복호 장치, 및 프로그램 KR102550503B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237021738A KR20230098729A (ko) 2019-06-25 2020-06-23 부호화 장치, 복호 장치, 및 프로그램

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019117924 2019-06-25
JPJP-P-2019-117924 2019-06-25
PCT/JP2020/024676 WO2020262409A1 (ja) 2019-06-25 2020-06-23 符号化装置、復号装置、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237021738A Division KR20230098729A (ko) 2019-06-25 2020-06-23 부호화 장치, 복호 장치, 및 프로그램

Publications (2)

Publication Number Publication Date
KR20220024120A true KR20220024120A (ko) 2022-03-03
KR102550503B1 KR102550503B1 (ko) 2023-06-30

Family

ID=74060609

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237021738A KR20230098729A (ko) 2019-06-25 2020-06-23 부호화 장치, 복호 장치, 및 프로그램
KR1020217041741A KR102550503B1 (ko) 2019-06-25 2020-06-23 부호화 장치, 복호 장치, 및 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237021738A KR20230098729A (ko) 2019-06-25 2020-06-23 부호화 장치, 복호 장치, 및 프로그램

Country Status (6)

Country Link
US (2) US11647233B2 (ko)
EP (1) EP3993415A4 (ko)
JP (2) JP7069421B2 (ko)
KR (2) KR20230098729A (ko)
CN (2) CN114051727B (ko)
WO (1) WO2020262409A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170127090A1 (en) * 2014-05-29 2017-05-04 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110125153A (ko) * 2010-05-12 2011-11-18 에스케이 텔레콤주식회사 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
WO2012167712A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
WO2012167711A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
TWI535222B (zh) * 2012-06-29 2016-05-21 Sony Corp Image processing apparatus and method
KR102294016B1 (ko) * 2014-12-05 2021-08-25 성균관대학교산학협력단 변환생략을 참조하는 디블록킹 필터링을 이용한 영상의 부호화/복호화 방법 및 이를 이용하는 장치
US9967577B2 (en) * 2015-08-31 2018-05-08 Microsoft Technology Licensing, Llc Acceleration interface for video decoding
WO2018123444A1 (ja) 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
KR20190100980A (ko) 2017-12-27 2019-08-30 캐논 톡키 가부시키가이샤 정전척, 성막장치, 기판흡착방법, 성막방법, 및 전자 디바이스의 제조방법
US11902510B2 (en) * 2019-05-30 2024-02-13 Hfi Innovation Inc. Video processing methods and apparatuses for determining deblocking filter decision in video coding systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170127090A1 (en) * 2014-05-29 2017-05-04 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1: Recommendation ITU-T H.265, (12/2016), "High efficiency video coding", International Telecommunication Union

Also Published As

Publication number Publication date
US20220116665A1 (en) 2022-04-14
KR20230098729A (ko) 2023-07-04
CN114051727A (zh) 2022-02-15
EP3993415A4 (en) 2023-05-31
JP2022093657A (ja) 2022-06-23
US11647233B2 (en) 2023-05-09
JPWO2020262409A1 (ko) 2020-12-30
JP7069421B2 (ja) 2022-05-17
JP7130890B2 (ja) 2022-09-05
US20230239514A1 (en) 2023-07-27
EP3993415A1 (en) 2022-05-04
KR102550503B1 (ko) 2023-06-30
CN114051727B (zh) 2024-03-29
CN118018731A (zh) 2024-05-10
WO2020262409A1 (ja) 2020-12-30

Similar Documents

Publication Publication Date Title
WO2018061588A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
WO2020239038A1 (en) Video processing methods and apparatuses for determining deblocking filter decision in video coding systems
JP7142180B2 (ja) 符号化装置、復号装置、及びプログラム
US11991356B2 (en) Deblocking filter control device and program
US20230122782A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium
KR102505364B1 (ko) 복호 장치, 프로그램, 및 복호 방법
KR102550503B1 (ko) 부호화 장치, 복호 장치, 및 프로그램
JP7483725B2 (ja) 符号化装置、復号装置、及びプログラム
JP7474772B2 (ja) 符号化装置、復号装置、及びプログラム
JP7343702B2 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
JP7396883B2 (ja) 符号化装置、復号装置、及びプログラム
WO2021045059A1 (ja) 符号化装置、復号装置、及びプログラム
JP2021052249A (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant