KR102166220B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR102166220B1
KR102166220B1 KR1020207005974A KR20207005974A KR102166220B1 KR 102166220 B1 KR102166220 B1 KR 102166220B1 KR 1020207005974 A KR1020207005974 A KR 1020207005974A KR 20207005974 A KR20207005974 A KR 20207005974A KR 102166220 B1 KR102166220 B1 KR 102166220B1
Authority
KR
South Korea
Prior art keywords
unit
filter
deblocking filter
image
processing
Prior art date
Application number
KR1020207005974A
Other languages
English (en)
Other versions
KR20200024958A (ko
Inventor
마사루 이케다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47423858&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102166220(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Priority to KR1020207027807A priority Critical patent/KR102477475B1/ko
Publication of KR20200024958A publication Critical patent/KR20200024958A/ko
Application granted granted Critical
Publication of KR102166220B1 publication Critical patent/KR102166220B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 기술은, 디블록킹 필터 처리에 있어서, 적절하게 필터링이 행해지도록 하는 화상 처리 장치와 화상 처리 방법에 관한 것이다. 디블록킹 처리 전에는, 255(실선)인 화소 p0i의 값은, 종래의 디블록킹 처리 후에 159(점선)로 되어, 크게 변화되어 버린다. 따라서, 강 필터링에 있어서 클립값이 10인 클립 처리를 행함으로써, 디블록킹 처리 전에는, 255(실선)인 화소 p0i의 값은, 245(굵은 선)로 되어, 종래에 있어서 발생하였던 화소값의 변화를 최소한으로 억제할 수 있다. 본 개시는, 예를 들면 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 화상 처리 방법 {IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}
이 기술은, 화상 처리 장치와 화상 처리 방법에 관한 것이다. 상세하게는, 디블록킹(deblocking) 필터 처리에 있어서, 적절하게 필터링을 행할 수 있도록 한다.
최근, 화상 정보를 디지털로서 취급하고, 그때, 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG2(ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission) 13818-2) 등의 방식에 준거한 장치가, 방송국 등의 정보 배신(配信) 및 일반 가정에 있어서의 정보 수신의 양쪽에 있어서 보급되고 있다. 또한, MPEG2 등에 비해, 그 부호화, 복호에 보다 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현될 수 있는 H.264 및 MPEG4 Part10(AVC(Advanced Video Coding))이라 불리는 방식도 사용되게 되었다. 또한, 요즘, 하이비전 화상의 4배인, 4000×2000화소 정도의 고해상도 화상의 압축이나 배신 등을 효율적으로 행할 수 있도록, 차세대 화상 부호화 방식인 HEVC(High Efficiency Video Coding)의 표준화 작업이 행해지고 있다.
차세대 화상 부호화 방식인 HEVC(High Efficiency Video Coding)의 표준화 작업에서는, JCTVC-A119(하기 비특허 문헌 1 참조)에 있어서, 8×8화소 이상의 크기의 블록마다 디블록 필터를 적용하는 것이 제안되고 있다. JCTVC-A119에 있어서 제안된 방법에서는, 디블록 필터를 적용하는 최소 단위의 블록 사이즈가 확대됨으로써, 1개의 매크로 블록 내에서 동일한 방향의 복수의 블록 경계에 대한 필터링 처리를 병렬적으로 실행하는 것이 가능해진다.
K. Ugur(Nokia), K. R. Andersson(LM Ericsson), A. Fuldseth(Tandberg Telecom), "JCTVC-A119 : Video coding technology proposal by Tandberg, Nokia, and Ericsson", Documents of the first meeting of the Joint Collaborative Team on Video Coding(JCT-VC), Dresden, Germany, 15-23 April, 2010.
그러나, 종래의 디블록킹 필터 처리에 있어서는, 적절하게 필터링이 이루어지지 않았다.
따라서, 이 기술에서는, 디블록킹 필터 처리에 있어서, 적절하게 필터링이 행해지도록 하는 것을 목적으로 한다.
이 기술의 제1 측면의 화상 처리 장치는, 계층 구조를 갖는 단위로 부호화된 부호화 스트림을 복호하여 화상을 생성하는 복호부와, 상기 복호부에 의해 생성된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하는 필터부와, 상기 디블록킹 필터의 강도로서 스트롱 필터(strong filtering)가 적용되는 경우에, 상기 복호부에 의해 생성된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록, 상기 필터부를 제어하는 제어부를 구비한다.
상기 제어부는, 상기 디블록킹 필터를 적용할 때에 변화하는 부분의 값에 클립 처리를 적용할 수 있다.
상기 제어부는, 하기 식에 따라서, 상기 클립 처리를 적용한다.
Figure 112020021353910-pat00001
여기서, i=0,7, pv는 클립값이다.
상기 제어부는, 상기 디블록킹 필터의 파라미터의 정수배의 값을, 클립 처리를 행할 때에 사용하는 클립값으로서 설정할 수 있다.
상기 제어부는, 상기 디블록킹 필터의 파라미터의 2배의 값을, 클립 처리를 행할 때에 사용하는 클립값으로서 설정할 수 있다.
상기 블록 경계에 적용하는 디블록킹 필터의 강도를 판정하는 필터 강도 판정부를 더 구비하고, 상기 필터부는, 상기 필터 강도 판정부에 의해 판정된 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하고, 상기 제어부는, 상기 필터 강도 판정부에 의해 스트롱 필터가 적용된다고 판정된 경우에, 상기 복호부에 의해 생성된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록, 상기 필터부를 제어할 수 있다.
상기 필터 강도 판정부는, 복수의 라인을 처리 단위로 하여, 상기 디블록킹 필터의 강도를 판정할 수 있다.
상기 필터 강도 판정부는, 4라인을 처리 단위로 하여, 상기 디블록킹 필터의 강도를 판정할 수 있다.
복수의 라인을 처리 단위로 하여, 상기 블록 경계에 디블록킹 필터를 적용할지 여부를 판정하는 필터 필요 여부 판정부를 더 구비하고, 상기 필터 강도 판정부는, 상기 필터 필요 여부 판정부에 의해 디블록킹 필터를 적용한다고 판정된 경우에, 상기 디블록킹 필터의 강도를 판정할 수 있다.
이 기술의 제1 측면의 화상 처리 방법은, 화상 처리 장치가, 계층 구조를 갖는 단위로 부호화된 부호화 스트림을 복호하여 화상을 생성하고, 생성된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하고, 상기 디블록킹 필터의 강도로서 스트롱 필터가 적용되는 경우에, 생성된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록 제어한다.
이 기술의 제2 측면의 화상 처리 장치는, 화상을 부호화할 때에 로컬 디코드된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하는 필터부와, 상기 디블록킹 필터의 강도로서 스트롱 필터가 적용되는 경우에, 상기 로컬 디코드된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록, 상기 필터부를 제어하는 제어부와, 상기 디블록킹 필터가 적용된 화상을 사용하여, 상기 화상을 계층 구조를 갖는 단위로 부호화하는 부호화부를 구비한다.
상기 제어부는, 상기 디블록킹 필터를 적용할 때에 변화하는 부분의 값에 클립 처리를 적용할 수 있다.
상기 제어부는, 하기 식에 따라서, 상기 클립 처리를 적용한다.
Figure 112020021353910-pat00002
여기서, i=0,7, pv는 클립값이다.
상기 제어부는, 상기 디블록킹 필터의 파라미터의 정수배의 값을, 클립 처리를 행할 때에 사용하는 클립값으로서 설정할 수 있다.
상기 제어부는, 상기 디블록킹 필터의 파라미터의 2배의 값을, 클립 처리를 행할 때에 사용하는 클립값으로서 설정할 수 있다.
상기 블록 경계에 적용하는 디블록킹 필터의 강도를 판정하는 필터 강도 판정부를 더 구비하고, 상기 필터부는, 상기 필터 강도 판정부에 의해 판정된 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하고, 상기 제어부는, 상기 필터 강도 판정부에 의해 스트롱 필터가 적용된다고 판정된 경우에, 상기 복호부에 의해 생성된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록, 상기 필터부를 제어할 수 있다.
상기 필터 강도 판정부는, 복수의 라인을 처리 단위로 하여, 상기 디블록킹 필터의 강도를 판정할 수 있다.
상기 필터 강도 판정부는, 4라인을 처리 단위로 하여, 상기 디블록킹 필터의 강도를 판정할 수 있다.
복수의 라인을 처리 단위로 하여, 상기 블록 경계에 디블록킹 필터를 적용할지 여부를 판정하는 필터 필요 여부 판정부를 더 구비하고, 상기 필터 강도 판정부는, 상기 필터 필요 여부 판정부에 의해 디블록킹 필터를 적용한다고 판정된 경우에, 상기 디블록킹 필터의 강도를 판정할 수 있다.
이 기술의 제2 측면의 화상 처리 방법은, 화상 처리 장치가, 화상을 부호화할 때에 로컬 디코드된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하고, 상기 디블록킹 필터의 강도로서 스트롱 필터가 적용되는 경우에, 상기 로컬 디코드된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록 제어하고, 상기 디블록킹 필터가 적용된 화상을 사용하여, 상기 화상을 계층 구조를 갖는 단위로 부호화한다.
이 기술의 제1 측면에 있어서는, 계층 구조를 갖는 단위로 부호화된 부호화 스트림을 복호하여 화상이 생성되고, 생성된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터가 실시된다. 그리고, 상기 디블록킹 필터의 강도로서 스트롱 필터가 적용되는 경우에, 생성된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록 제어된다.
이 기술의 제2 측면에 있어서는, 화상을 부호화할 때에 로컬 디코드된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터가 실시된다. 그리고, 상기 디블록킹 필터의 강도로서 스트롱 필터가 적용되는 경우에, 상기 로컬 디코드된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록 제어되고, 상기 디블록킹 필터가 적용된 화상을 사용하여, 상기 화상이 계층 구조를 갖는 단위로 부호화된다.
이 기술에 의하면, 디블록킹 필터 처리에 있어서, 적절하게 필터 처리를 가할 수 있다.
도 1은 종래의 디블록킹 필터 처리를 설명하기 위한 도면이다.
도 2는 화상 부호화 장치에 적용한 경우의 구성을 도시하는 도면이다.
도 3은 화상 부호화 동작을 도시하는 흐름도이다.
도 4는 인트라 예측 처리(intra-prediction process)를 도시하는 흐름도이다.
도 5는 인터 예측 처리(inter-prediction process)를 도시하는 흐름도이다.
도 6은 화상 복호 장치에 적용한 경우의 구성을 도시하는 도면이다.
도 7은 화상 복호 동작을 도시하는 흐름도이다.
도 8은 디블록킹 필터 처리부의 기본적인 동작을 설명하기 위한 도면이다.
도 9는 디블록킹 필터 처리부의 제1 실시 형태의 구성을 도시하는 도면이다.
도 10은 디블록킹 필터 처리부의 제1 실시 형태의 동작을 도시하는 흐름도이다.
도 11은 필터 연산부의 구성을 도시하는 도면이다.
도 12는 필터 연산부의 구성을 도시하는 도면이다.
도 13은 필터 연산부의 동작을 설명하기 위한 도면이다.
도 14는 필터 연산부의 동작을 설명하기 위한 도면이다.
도 15는 제5 실시 형태의 동작을 도시하는 흐름도이다.
도 16은 종래의 디블록킹 필터 처리를 설명하기 위한 도면이다.
도 17은 본 기술(제6 실시 형태)을 설명하기 위한 도면이다.
도 18은 본 기술(제6 실시 형태)을 설명하기 위한 도면이다.
도 19는 본 기술의 디블록킹 필터 처리에 사용되는 화소를 명시하는 도면이다.
도 20은 종래의 강 필터링에 의해 변화하는 화소값에 대하여 설명하는 도면이다.
도 21은 클립 처리가 부가된 강 필터링에 의한 효과에 대하여 설명하는 도면이다.
도 22는 디블록킹 필터 처리부의 제6 실시 형태의 구성을 도시하는 도면이다.
도 23은 디블록킹 필터 처리부의 제6 실시 형태의 동작을 도시하는 흐름도이다.
도 24는 디블록킹 필터 처리부의 제7 실시 형태의 구성을 도시하는 도면이다.
도 25는 디블록킹 필터 처리부의 제8 실시 형태의 구성을 도시하는 도면이다.
도 26은 디블록킹 필터 처리부의 제8 실시 형태의 동작을 도시하는 흐름도이다.
도 27은 휘도 신호의 블록킹 처리에 대하여 설명하는 흐름도이다.
도 28은 R3W2의 경우의 예를 설명하는 도면이다.
도 29는 다시점 화상 부호화 방식의 예를 도시하는 도면이다.
도 30은 본 기술을 적용한 다시점 화상 부호화 장치의 주된 구성예를 도시하는 도면이다.
도 31은 본 기술을 적용한 다시점 화상 복호 장치의 주된 구성예를 도시하는 도면이다.
도 32는 계층 화상 부호화 방식의 예를 도시하는 도면이다.
도 33은 본 기술을 적용한 계층 화상 부호화 장치의 주된 구성예를 도시하는 도면이다.
도 34는 본 기술을 적용한 계층 화상 복호 장치의 주된 구성예를 도시하는 도면이다.
도 35는 텔레비전 장치의 개략적인 구성의 일례를 도시한 도면이다.
도 36은 휴대 전화기의 개략적인 구성의 일례를 도시한 도면이다.
도 37은 기록 재생 장치의 개략적인 구성의 일례를 도시한 도면이다.
도 38은 촬상 장치의 개략적인 구성의 일례를 도시한 도면이다.
이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 종래 기술
2. 화상 부호화 장치에 적용한 경우의 구성
3. 화상 부호화 장치의 동작
4. 화상 복호 장치에 적용한 경우의 구성
5. 화상 복호 장치의 동작
6. 디블록킹 필터 처리부의 기본적인 동작
7. 디블록킹 필터 처리부의 제1 실시 형태
8. 디블록킹 필터 처리부의 제2 실시 형태
9. 디블록킹 필터 처리부의 제3 실시 형태
10. 디블록킹 필터 처리부의 제4 실시 형태
11. 디블록킹 필터 처리부의 제5 실시 형태
12. 제6 내지 제8 실시 형태의 설명
13. 디블록킹 필터 처리부의 제6 실시 형태
14. 디블록킹 필터 처리부의 제7 실시 형태
15. 디블록킹 필터 처리부의 제8 실시 형태
16. 제9 실시 형태
17. 제10 실시 형태(다시점 화상 부호화ㆍ다시점 화상 복호 장치)
18. 제11 실시 형태(계층 화상 부호화ㆍ계층 화상 복호 장치)
19. 응용예
<1. 종래 기술>
종래의 디블록킹 필터 처리에 대하여 도 1을 참조하여 설명한다.
도 1의 (A)에 도시한 바와 같이, 예를 들면 LCU(Largest Coding Unit) 단위로 래스터순으로 디블록킹 필터 처리를 행하는 경우, 상측 블록인 LCUu에 있어서, 블록간의 경계 BB로부터 소정 라인분의 화상 데이터가 라인 메모리에 기억되고, 이 화상 데이터와, 그 후에 얻어지는 하측 블록인 LCUl의 화상 데이터를 사용하여 수직 필터 처리가 행해진다. 예를 들면, 도 1의 (B)에 도시한 바와 같이, 블록간의 경계 BB로부터 각각 3라인분을 수직 필터 처리의 처리 범위로 하여, 경계 BB로부터 4라인분의 화상 데이터를 사용하여 필터 연산을 행하는 경우, 상측 블록인 LCUu의 경계 BB로부터 4라인의 화상 데이터가 라인 메모리에 기억된다. 또한, 도면에서는, 디블록킹 필터의 대상 화소를 이중 동그라미(◎)로 나타내고 있고, 디블록킹 필터의 필터 처리 범위의 상측 경계를 「DBU」, 하측 경계를 「DBL」로서 나타내고 있다.
이와 같이, 필터 연산에 사용되는 화상 데이터를 블록간의 경계 BB로부터 소정 라인분만큼 라인 메모리에 기억해 두기 때문에, 수평 방향의 화소수가 증대되면 라인 메모리의 메모리 용량이 커져 버렸던 것이다.
<2. 화상 부호화 장치에 적용한 경우의 구성>
도 2는 본 기술의 화상 처리 장치를 화상 부호화 장치에 적용한 경우의 구성을 도시하고 있다. 화상 부호화 장치(10)는, 아날로그/디지털 변환부(A/D 변환부)(11), 화면 재배열 버퍼(12), 감산부(13), 직교 변환부(14), 양자화부(15), 가역 부호화부(16), 축적 버퍼(17), 레이트 제어부(18)를 구비하고 있다. 또한, 화상 부호화 장치(10)는, 역양자화부(21), 역직교 변환부(22), 가산부(23), 디블록킹 필터 처리부(24), 프레임 메모리(25), 셀렉터(26), 인트라 예측부(31), 움직임 예측ㆍ보상부(32), 예측 화상ㆍ최적 모드 선택부(33)를 구비하고 있다.
A/D 변환부(11)는, 아날로그의 화상 신호를 디지털의 화상 데이터로 변환하여 화면 재배열 버퍼(12)로 출력한다.
화면 재배열 버퍼(12)는, A/D 변환부(11)로부터 출력된 화상 데이터에 대하여 프레임의 재배열을 행한다. 화면 재배열 버퍼(12)는, 부호화 처리에 관한GOP(Group of Pictures) 구조에 따라서 프레임의 재배열을 행하고, 재배열 후의 화상 데이터를 감산부(13)와 인트라 예측부(31)와 움직임 예측ㆍ보상부(32)로 출력한다.
감산부(13)에는, 화면 재배열 버퍼(12)로부터 출력된 화상 데이터와, 후술하는 예측 화상ㆍ최적 모드 선택부(33)에서 선택된 예측 화상 데이터가 공급된다. 감산부(13)는, 화면 재배열 버퍼(12)로부터 출력된 화상 데이터와 예측 화상ㆍ최적 모드 선택부(33)로부터 공급된 예측 화상 데이터의 차분인 예측 오차 데이터를 산출하여, 직교 변환부(14)로 출력한다.
직교 변환부(14)는, 감산부(13)로부터 출력된 예측 오차 데이터에 대하여, 이산 코사인 변환(DCT; Discrete Cosine Transform), 카루넨 루베 변환(Karhunen-Loeve transform) 등의 직교 변환 처리를 행한다. 직교 변환부(14)는, 직교 변환 처리를 행함으로써 얻어진 변환 계수 데이터를 양자화부(15)로 출력한다.
양자화부(15)에는, 직교 변환부(14)로부터 출력된 변환 계수 데이터와, 후술하는 레이트 제어부(18)로부터 레이트 제어 신호가 공급되고 있다. 양자화부(15)는 변환 계수 데이터의 양자화를 행하여, 양자화 데이터를 가역 부호화부(16)와 역양자화부(21)로 출력한다. 또한, 양자화부(15)는, 레이트 제어부(18)로부터의 레이트 제어 신호에 기초하여 양자화 파라미터(양자화 스케일)를 전환하여, 양자화 데이터의 비트 레이트를 변화시킨다.
가역 부호화부(16)에는, 양자화부(15)로부터 출력된 양자화 데이터와, 후술하는 인트라 예측부(31)와 움직임 예측ㆍ보상부(32) 및 예측 화상ㆍ최적 모드 선택부(33)로부터 예측 모드 정보가 공급된다. 또한, 예측 모드 정보에는, 인트라 예측 또는 인터 예측에 따라서, 예측 블록 사이즈를 식별 가능하게 하는 매크로 블록 타입, 예측 모드, 움직임 벡터 정보, 참조 픽처 정보 등이 포함된다. 가역 부호화부(16)는, 양자화 데이터에 대하여 예를 들면 가변 길이 부호화 또는 산술 부호화 등에 의해 가역 부호화 처리를 행하여, 부호화 스트림을 생성하여 축적 버퍼(17)로 출력한다. 또한, 가역 부호화부(16)는, 예측 모드 정보를 가역 부호화하여, 부호화 스트림의 헤더 정보에 부가한다.
축적 버퍼(17)는, 가역 부호화부(16)로부터의 부호화 스트림을 축적한다. 또한, 축적 버퍼(17)는, 축적한 부호화 스트림을 전송로에 따른 전송 속도로 출력한다.
레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량의 감시를 행하고, 빈 용량에 따라서 레이트 제어 신호를 생성하여 양자화부(15)로 출력한다. 레이트 제어부(18)는, 예를 들면 축적 버퍼(17)로부터 빈 용량을 나타내는 정보를 취득한다. 레이트 제어부(18)는 빈 용량이 적어져 있을 때, 레이트 제어 신호에 의해 양자화 데이터의 비트 레이트를 저하시킨다. 또한, 레이트 제어부(18)는 축적 버퍼(17)의 빈 용량이 충분히 클 때, 레이트 제어 신호에 의해 양자화 데이터의 비트 레이트를 높게 한다.
역양자화부(21)는, 양자화부(15)로부터 공급된 양자화 데이터의 역양자화 처리를 행한다. 역양자화부(21)는, 역양자화 처리를 행함으로써 얻어진 변환 계수 데이터를 역직교 변환부(22)로 출력한다.
역직교 변환부(22)는, 역양자화부(21)로부터 공급된 변환 계수 데이터의 역직교 변환 처리를 행함으로써 얻어진 데이터를 가산부(23)로 출력한다.
가산부(23)는, 역직교 변환부(22)로부터 공급된 데이터와 예측 화상ㆍ최적 모드 선택부(33)로부터 공급된 예측 화상 데이터를 가산하여 복호 화상 데이터를 생성하여, 디블록킹 필터 처리부(24)와 프레임 메모리(25)로 출력한다.
디블록킹 필터 처리부(24)는, 화상의 부호화 시에 발생하는 블록 왜곡을 감소시키기 위한 필터 처리를 행한다. 디블록킹 필터 처리부(24)는, 가산부(23)로부터 공급된 복호 화상 데이터로부터 블록 왜곡을 제거하는 필터 처리를 행하고, 필터 처리 후의 화상 데이터를 프레임 메모리(25)로 출력한다. 또한, 디블록킹 필터 처리부(24)는, 수직 방향의 블록간의 경계 검출에 의해 검출된 경계에 따라서, 경계의 상측에 위치하는 블록에 있어서의 필터 연산에 사용하는 화상 범위를 제어한다. 이와 같이, 필터 연산에 사용하는 화상 범위를 제어함으로써, 디블록킹 필터 처리부(24)는, 화상 데이터를 기억하는 라인 메모리의 메모리 용량을 삭감해도, 수직 필터 처리를 행할 수 있도록 한다. 또한, 상세는 후술한다.
프레임 메모리(25)는, 가산부(23)로부터 공급된 복호 화상 데이터와 디블록킹 필터 처리부(24)로부터 공급된 필터 처리 후의 복호 화상 데이터를 참조 화상의 화상 데이터로서 유지한다.
셀렉터(26)는, 인트라 예측을 행하기 위해서 프레임 메모리(25)로부터 판독된 필터 처리 전의 참조 화상 데이터를 인트라 예측부(31)에 공급한다. 또한, 셀렉터(26)는, 인터 예측을 행하기 위해서 프레임 메모리(25)로부터 판독된 필터 처리 후의 참조 화상 데이터를 움직임 예측ㆍ보상부(32)에 공급한다.
인트라 예측부(31)는, 화면 재배열 버퍼(12)로부터 출력된 부호화 대상 화상의 화상 데이터와 프레임 메모리(25)로부터 판독한 필터 처리 전의 참조 화상 데이터를 사용하여, 후보로 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행한다. 또한, 인트라 예측부(31)는, 각 인트라 예측 모드에 대하여 비용 함수값을 산출하여, 산출한 비용 함수값이 최소로 되는 인트라 예측 모드, 즉 부호화 효율이 최량으로 되는 인트라 예측 모드를, 최적 인트라 예측 모드로서 선택한다. 인트라 예측부(31)는, 최적 인트라 예측 모드에서 생성된 예측 화상 데이터와 최적 인트라 예측 모드에 관한 예측 모드 정보 및 최적 인트라 예측 모드에서의 비용 함수값을 예측 화상ㆍ최적 모드 선택부(33)로 출력한다. 또한, 인트라 예측부(31)는, 후술하는 바와 같이 비용 함수값의 산출에서 사용할 발생 부호량을 얻기 위해서, 각 인트라 예측 모드의 인트라 예측 처리에 있어서, 인트라 예측 모드에 관한 예측 모드 정보를 가역 부호화부(16)로 출력한다.
움직임 예측ㆍ보상부(32)는, 매크로 블록에 대응하는 모든 예측 블록 사이즈에서 움직임 예측ㆍ보상 처리를 행한다. 움직임 예측ㆍ보상부(32)는, 화면 재배열 버퍼(12)로부터 판독된 부호화 대상 화상에 있어서의 각 예측 블록 사이즈의 화상마다, 프레임 메모리(25)로부터 판독된 필터 처리 후의 참조 화상 데이터를 사용하여 움직임 벡터를 검출한다. 또한, 움직임 예측ㆍ보상부(32)는, 검출한 움직임 벡터에 기초하여 복호 화상에 움직임 보상 처리를 실시하여 예측 화상의 생성을 행한다. 또한, 움직임 예측ㆍ보상부(32)는, 각 예측 블록 사이즈에 대하여 비용 함수값을 산출하여, 산출한 비용 함수값이 최소로 되는 예측 블록 사이즈, 즉 부호화 효율이 최량으로 되는 예측 블록 사이즈를, 최적 인터 예측 모드로서 선택한다. 움직임 예측ㆍ보상부(32)는, 최적 인터 예측 모드에서 생성된 예측 화상 데이터와 최적 인터 예측 모드에 관한 예측 모드 정보 및 최적 인터 예측 모드에서의 비용 함수값을 예측 화상ㆍ최적 모드 선택부(33)로 출력한다. 또한, 움직임 예측ㆍ보상부(32)는, 비용 함수값의 산출에서 사용할 발생 부호량을 얻기 위해서, 각 예측 블록 사이즈에서의 인터 예측 처리에 있어서, 인터 예측 모드에 관한 예측 모드 정보를 가역 부호화부(16)로 출력한다. 또한, 움직임 예측ㆍ보상부(32)는, 인터 예측 모드로서, 스킵드 매크로 블록이나 다이렉트 모드에서의 예측도 행한다.
예측 화상ㆍ최적 모드 선택부(33)는, 인트라 예측부(31)로부터 공급된 비용 함수값과 움직임 예측ㆍ보상부(32)로부터 공급된 비용 함수값을, 매크로 블록 단위로 비교하여, 비용 함수값이 적은 쪽을, 부호화 효율이 최량으로 되는 최적 모드로서 선택한다. 또한, 예측 화상ㆍ최적 모드 선택부(33)는, 최적 모드에서 생성한 예측 화상 데이터를 감산부(13)와 가산부(23)로 출력한다. 또한, 예측 화상ㆍ최적 모드 선택부(33)는, 최적 모드의 예측 모드 정보를 가역 부호화부(16)로 출력한다. 또한, 예측 화상ㆍ최적 모드 선택부(33)는, 슬라이스 단위로 인트라 예측 또는 인터 예측을 행하도록 해도 된다.
또한, 청구항에 있어서의 부호화부는, 예측 화상 데이터를 생성하는 인트라 예측부(31)나 움직임 예측ㆍ보상부(32), 예측 화상ㆍ최적 모드 선택부(33), 감산부(13), 직교 변환부(14), 양자화부(15), 가역 부호화부(16) 등으로 구성된다.
<3. 화상 부호화 장치의 동작>
도 3은 화상 부호화 처리 동작을 도시하는 흐름도이다. 스텝 ST11에 있어서, A/D 변환부(11)는 입력된 화상 신호를 A/D 변환한다.
스텝 ST12에 있어서 화면 재배열 버퍼(12)는, 화면 재배열을 행한다. 화면 재배열 버퍼(12)는, A/D 변환부(11)로부터 공급된 화상 데이터를 기억하고, 각 픽처의 표시하는 순서로부터 부호화하는 순서로의 재배열을 행한다.
스텝 ST13에 있어서 감산부(13)는, 예측 오차 데이터의 생성을 행한다. 감산부(13)는, 스텝 ST12에서 재배열된 화상의 화상 데이터와 예측 화상ㆍ최적 모드 선택부(33)에서 선택된 예측 화상 데이터의 차분을 산출하여 예측 오차 데이터를 생성한다. 예측 오차 데이터는, 원래의 화상 데이터에 비해 데이터량이 작다. 따라서, 화상을 그대로 부호화하는 경우에 비해, 데이터량을 압축할 수 있다. 또한, 예측 화상ㆍ최적 모드 선택부(33)에서 인트라 예측부(31)로부터 공급된 예측 화상과 움직임 예측ㆍ보상부(32)로부터의 예측 화상의 선택이 슬라이스 단위로 행해질 때, 인트라 예측부(31)로부터 공급된 예측 화상이 선택된 슬라이스에서는, 인트라 예측이 행해진다. 또한, 움직임 예측ㆍ보상부(32)로부터의 예측 화상이 선택된 슬라이스에서는 인터 예측이 행해진다.
스텝 ST14에 있어서 직교 변환부(14)는 직교 변환 처리를 행한다. 직교 변환부(14)는, 감산부(13)로부터 공급된 예측 오차 데이터를 직교 변환한다. 구체적으로는, 예측 오차 데이터에 대하여 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환이 행해져, 변환 계수 데이터가 출력된다.
스텝 ST15에 있어서 양자화부(15)는 양자화 처리를 행한다. 양자화부(15)는, 변환 계수 데이터를 양자화한다. 양자화 시에는, 후술하는 스텝 ST25의 처리에서 설명되는 바와 같이, 레이트 제어가 행해진다.
스텝 ST16에 있어서 역양자화부(21)는 역양자화 처리를 행한다. 역양자화부(21)는, 양자화부(15)에 의해 양자화된 변환 계수 데이터를 양자화부(15)의 특성에 대응하는 특성으로 역양자화한다.
스텝 ST17에 있어서 역직교 변환부(22)는 역직교 변환 처리를 행한다. 역직교 변환부(22)는, 역양자화부(21)에 의해 역양자화된 변환 계수 데이터를 직교 변환부(14)의 특성에 대응하는 특성으로 역직교 변환한다.
스텝 ST18에 있어서 가산부(23)는, 복호 화상 데이터의 생성을 행한다. 가산부(23)는, 예측 화상ㆍ최적 모드 선택부(33)로부터 공급된 예측 화상 데이터와, 이 예측 화상과 대응하는 위치의 역직교 변환 후의 데이터를 가산하여, 복호 화상 데이터를 생성한다.
스텝 ST19에 있어서 디블록킹 필터 처리부(24)는, 디블록킹 필터 처리를 행한다. 디블록킹 필터 처리부(24)는, 가산부(23)로부터 출력된 복호 화상 데이터를 필터링하여 블록 왜곡을 제거한다. 또한, 디블록킹 필터 처리부(24)는, 화상 데이터를 기억하는 라인 메모리의 메모리 용량을 삭감해도, 수직 필터 처리를 행할 수 있도록 한다. 구체적으로는, 디블록킹 필터 처리부(24)는, 수직 방향의 블록간의 경계 검출에 의해 검출된 경계에 따라서, 경계의 상측에 위치하는 블록에 있어서의 필터 연산에 사용하는 화상 범위를 제어한다.
스텝 ST20에 있어서 프레임 메모리(25)는, 복호 화상 데이터를 기억한다. 프레임 메모리(25)는, 디블록킹 필터 처리 전의 복호 화상 데이터를 기억한다.
스텝 ST21에 있어서 인트라 예측부(31)와 움직임 예측ㆍ보상부(32)는, 각각 예측 처리를 행한다. 즉, 인트라 예측부(31)는, 인트라 예측 모드의 인트라 예측 처리를 행하고, 움직임 예측ㆍ보상부(32)는, 인터 예측 모드의 움직임 예측ㆍ보상 처리를 행한다. 이 처리에 의해, 후보로 되는 모든 예측 모드에서의 예측 처리가 각각 행해져, 후보로 되는 모든 예측 모드에서의 비용 함수값이 각각 산출된다. 그리고, 산출된 비용 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드가 선택되고, 선택된 예측 모드에서 생성된 예측 화상과 그 비용 함수 및 예측 모드 정보가 예측 화상ㆍ최적 모드 선택부(33)에 공급된다.
스텝 ST22에 있어서 예측 화상ㆍ최적 모드 선택부(33)는, 예측 화상 데이터의 선택을 행한다. 예측 화상ㆍ최적 모드 선택부(33)는, 인트라 예측부(31) 및 움직임 예측ㆍ보상부(32)로부터 출력된 각 비용 함수값에 기초하여, 부호화 효율이 최량으로 되는 최적 모드로 결정한다. 또한, 예측 화상ㆍ최적 모드 선택부(33)는, 결정한 최적 모드의 예측 화상 데이터를 선택하여, 감산부(13)와 가산부(23)에 공급한다. 이 예측 화상이, 상술한 바와 같이, 스텝 ST13, ST18의 연산에 이용된다.
스텝 ST23에 있어서 가역 부호화부(16)는, 가역 부호화 처리를 행한다. 가역 부호화부(16)는, 양자화부(15)로부터 출력된 양자화 데이터를 가역 부호화한다. 즉, 양자화 데이터에 대하여 가변 길이 부호화나 산술 부호화 등의 가역 부호화가 행해져, 데이터 압축된다. 이때, 상술한 스텝 ST22에 있어서 가역 부호화부(16)에 입력된 예측 모드 정보(예를 들면 매크로 블록 타입이나 예측 모드, 움직임 벡터 정보, 참조 픽처 정보 등을 포함함) 등도 가역 부호화된다. 또한, 양자화 데이터를 가역 부호화하여 생성된 부호화 스트림의 헤더 정보에, 예측 모드 정보의 가역 부호화 데이터가 부가된다.
스텝 ST24에 있어서 축적 버퍼(17)는, 축적 처리를 행하여 부호화 스트림을 축적한다. 이 축적 버퍼(17)에 축적된 부호화 스트림은 적절히 판독되어, 전송로를 통하여 복호측에 전송된다.
스텝 ST25에 있어서 레이트 제어부(18)는, 레이트 제어를 행한다. 레이트 제어부(18)는, 축적 버퍼(17)에서 부호화 스트림을 축적할 때, 오버플로우 또는 언더플로우가 축적 버퍼(17)에서 발생하지 않도록, 양자화부(15)의 양자화 동작의 레이트를 제어한다.
다음에, 도 3의 스텝 ST21에 있어서의 예측 처리를 설명한다. 인트라 예측부(31)는 인트라 예측 처리를 행한다. 인트라 예측부(31)는 처리 대상의 블록의 화상을, 후보로 되는 모든 인트라 예측 모드에서 인트라 예측한다. 또한, 인트라 예측에 있어서 참조되는 참조 화상의 화상 데이터는, 디블록킹 필터 처리부(24)에 의해 필터 처리가 행해지지 않고 프레임 메모리(25)에 기억되어 있는 참조 화상 데이터가 사용된다. 인트라 예측 처리의 상세는 후술하지만, 이 처리에 의해, 후보로 되는 모든 인트라 예측 모드에서 인트라 예측이 행해져, 후보로 되는 모든 인트라 예측 모드에 대하여 비용 함수값이 산출된다. 그리고, 산출된 비용 함수값에 기초하여, 모든 인트라 예측 모드 중에서, 부호화 효율이 최량으로 되는 1개의 인트라 예측 모드가 선택된다. 움직임 예측ㆍ보상부(32)는 인터 예측 처리를 행한다. 움직임 예측ㆍ보상부(32)는, 프레임 메모리(25)에 기억되어 있는 필터 처리 후의 참조 화상 데이터를 사용하여, 후보로 되는 모든 인터 예측 모드(모든 예측 블록 사이즈)의 인터 예측 처리를 행한다. 인터 예측 처리의 상세는 후술하지만, 이 처리에 의해, 후보로 되는 모든 인터 예측 모드에서 예측 처리가 행해져, 후보로 되는 모든 인터 예측 모드에 대하여 비용 함수값이 산출된다. 그리고, 산출된 비용 함수값에 기초하여, 모든 인터 예측 모드 중에서, 부호화 효율이 최량으로 되는 1개의 인터 예측 모드가 선택된다.
도 4의 흐름도를 참조하여 인트라 예측 처리에 대하여 설명한다. 스텝 ST31에서 인트라 예측부(31)는, 각 예측 모드의 인트라 예측을 행한다. 인트라 예측부(31)는, 프레임 메모리(25)에 기억되어 있는 필터 처리 전의 복호 화상 데이터를 사용하여, 인트라 예측 모드마다 예측 화상 데이터를 생성한다.
스텝 ST32에서 인트라 예측부(31)는, 각 예측 모드에 대한 비용 함수값을 산출한다. 예를 들면, 후보로 되는 모든 예측 모드에 대하여, 임시로 가역 부호화 처리까지를 행하여, 다음 식 (1)로 나타내어지는 비용 함수값을 각 예측 모드에 대하여 산출한다.
Figure 112020021353910-pat00003
Ω는, 당해 블록 내지 매크로 블록을 부호화하기 위한 후보로 되는 예측 모드의 전체 집합을 나타내고 있다. D는, 예측 모드에서 부호화를 행한 경우의 복호 화상과 입력 화상의 차분 에너지(왜곡)를 나타내고 있다. R은, 직교 변환 계수나 예측 모드 정보 등을 포함한 발생 부호량, λ는, 양자화 파라미터 QP의 함수로서 주어지는 라그랑제 승수이다.
또한, 후보로 되는 모든 예측 모드에 대하여, 예측 화상의 생성 및 움직임 벡터 정보나 예측 모드 정보 등의 헤더 비트까지를 산출하고, 다음 식 (2)로 나타내어지는 비용 함수값을 각 예측 모드에 대하여 산출한다.
Figure 112020021353910-pat00004
Ω는, 당해 블록 내지 매크로 블록을 부호화하기 위한 후보로 되는 예측 모드의 전체 집합을 나타내고 있다. D는, 예측 모드에서 부호화를 행한 경우의 복호 화상과 입력 화상의 차분 에너지(왜곡)를 나타내고 있다. Header_Bit는, 예측 모드에 대한 헤더 비트, QPtoQuant는, 양자화 파라미터 QP의 함수로서 주어지는 함수이다.
스텝 ST33에서 인트라 예측부(31)는, 최적 인트라 예측 모드를 결정한다. 인트라 예측부(31)는, 스텝 ST32에 있어서 산출된 비용 함수값에 기초하여, 그들 중에서 비용 함수값이 최소값인 1개의 인트라 예측 모드를 선택하여 최적 인트라 예측 모드로 결정한다.
다음에, 도 5의 흐름도를 참조하여, 인터 예측 처리에 대하여 설명한다. 스텝 ST41에서 움직임 예측ㆍ보상부(32)는, 각 예측 모드에 대하여 움직임 벡터와 참조 화상을 각각 결정한다. 즉, 움직임 예측ㆍ보상부(32)는, 각 예측 모드의 처리 대상의 블록에 대하여, 움직임 벡터와 참조 화상을 각각 결정한다.
스텝 ST42에서 움직임 예측ㆍ보상부(32)는, 각 예측 모드에 대하여 움직임 보상을 행한다. 움직임 예측ㆍ보상부(32)는, 각 예측 모드(각 예측 블록 사이즈)에 대하여, 스텝 ST41에서 결정된 움직임 벡터에 기초하여, 참조 화상에 대한 움직임 보상을 행하여, 각 예측 모드에 대하여 예측 화상 데이터를 생성한다.
스텝 ST43에서 움직임 예측ㆍ보상부(32)는, 각 예측 모드에 대하여 움직임 벡터 정보의 생성을 행한다. 움직임 예측ㆍ보상부(32)는, 각 예측 모드에서 결정된 움직임 벡터에 대하여, 부호화 스트림에 포함시키는 움직임 벡터 정보를 생성한다. 예를 들면, 메디안 예측 등을 사용하여 예측 움직임 벡터를 결정하고, 움직임 예측에 의해 검출한 움직임 벡터와 예측 움직임 벡터의 차를 나타내는 움직임 벡터 정보를 생성한다. 이와 같이 하여 생성된 움직임 벡터 정보는, 다음 스텝 ST44에 있어서의 비용 함수값의 산출에도 사용되고, 최종적으로 예측 화상ㆍ최적 모드 선택부(33)에서 대응하는 예측 화상이 선택된 경우에는, 예측 모드 정보에 포함되어 가역 부호화부(16)로 출력된다.
스텝 ST44에서 움직임 예측ㆍ보상부(32)는, 각 인터 예측 모드에 대하여, 비용 함수값의 산출을 행한다. 움직임 예측ㆍ보상부(32)는, 상술한 식 (1) 또는 식 (2)를 사용하여 비용 함수값의 산출을 행한다.
스텝 ST45에서 움직임 예측ㆍ보상부(32)는, 최적 인터 예측 모드를 결정한다. 움직임 예측ㆍ보상부(32)는, 스텝 ST44에 있어서 산출된 비용 함수값에 기초하여, 그들 중에서 비용 함수값이 최소값인 1개의 예측 모드를 선택하여 최적 인터 예측 모드로 결정한다.
<4. 화상 복호 장치에 적용한 경우의 구성>
입력 화상을 부호화하여 생성된 부호화 스트림은, 소정의 전송로나 기록 매체 등을 통하여 화상 복호 장치에 공급되어 복호된다.
도 6은 화상 복호 장치의 구성을 도시하고 있다. 화상 복호 장치(50)는, 축적 버퍼(51), 가역 복호부(52), 역양자화부(53), 역직교 변환부(54), 가산부(55), 디블록킹 필터 처리부(56), 화면 재배열 버퍼(57), D/A 변환부(58)를 구비하고 있다. 또한, 화상 복호 장치(50)는, 프레임 메모리(61), 셀렉터(62, 65), 인트라 예측부(63), 움직임 보상부(64)를 구비하고 있다.
축적 버퍼(51)는, 전송되어 온 부호화 스트림을 축적한다. 가역 복호부(52)는, 축적 버퍼(51)로부터 공급된 부호화 스트림을, 도 2의 가역 부호화부(16)의 부호화 방식에 대응하는 방식으로 복호한다. 또한, 가역 복호부(52)는, 부호화 스트림의 헤더 정보를 복호하여 얻어진 예측 모드 정보를 인트라 예측부(63)나 움직임 보상부(64)로 출력한다.
역양자화부(53)는, 가역 복호부(52)에서 복호된 양자화 데이터를, 도 2의 양자화부(15)의 양자화 방식에 대응하는 방식으로 역양자화한다. 역직교 변환부(54)는, 도 2의 직교 변환부(14)의 직교 변환 방식에 대응하는 방식으로 역양자화부(53)의 출력을 역직교 변환하여 가산부(55)로 출력한다.
가산부(55)는, 역직교 변환 후의 데이터와 셀렉터(65)로부터 공급되는 예측 화상 데이터를 가산하여 복호 화상 데이터를 생성하여 디블록킹 필터 처리부(56)와 프레임 메모리(61)로 출력한다.
디블록킹 필터 처리부(56)는, 가산부(55)로부터 공급된 복호 화상 데이터에 대하여, 도 2의 디블록킹 필터 처리부(24)와 마찬가지로 필터 처리를 행하여, 블록 왜곡을 제거하여 화면 재배열 버퍼(57)와 프레임 메모리(61)로 출력한다.
화면 재배열 버퍼(57)는 화상의 재배열을 행한다. 즉, 도 2의 화면 재배열 버퍼(12)에 의해 부호화의 순서를 위해서 재배열된 프레임의 순서가, 원래의 표시의 순서로 재배열되어, D/A 변환부(58)로 출력된다.
D/A 변환부(58)는, 화면 재배열 버퍼(57)로부터 공급된 화상 데이터를 D/A 변환하여, 도시하지 않은 디스플레이에 출력함으로써 화상을 표시시킨다.
프레임 메모리(61)는, 가산부(55)로부터 공급된 필터 처리 전의 복호 화상 데이터와 디블록킹 필터 처리부(56)로부터 공급된 필터 처리 후의 복호 화상 데이터를, 참조 화상의 화상 데이터로서 유지한다.
셀렉터(62)는, 가역 복호부(52)로부터 공급된 예측 모드 정보에 기초하여, 인트라 예측이 행해진 예측 블록의 복호가 행해질 때, 프레임 메모리(61)로부터 판독된 필터 처리 전의 참조 화상 데이터를 인트라 예측부(63)에 공급한다. 또한, 셀렉터(26)는, 가역 복호부(52)로부터 공급된 예측 모드 정보에 기초하여, 인터 예측이 행해진 예측 블록의 복호가 행해질 때, 프레임 메모리(61)로부터 판독된 필터 처리 후의 참조 화상 데이터를 움직임 보상부(64)에 공급한다.
인트라 예측부(63)는, 가역 복호부(52)로부터 공급된 예측 모드 정보에 기초하여 예측 화상의 생성을 행하고, 생성한 예측 화상 데이터를 셀렉터(65)로 출력한다.
움직임 보상부(64)는, 가역 복호부(52)로부터 공급된 예측 모드 정보에 기초하여, 움직임 보상을 행하여, 예측 화상 데이터를 생성하여 셀렉터(65)로 출력한다. 즉, 움직임 보상부(64)는, 예측 모드 정보에 포함되는 움직임 벡터 정보와 참조 프레임 정보에 기초하여, 참조 프레임 정보에 의해 나타내어진 참조 화상에 대하여 움직임 벡터 정보에 기초하는 움직임 벡터에 의해 움직임 보상을 행하여, 예측 화상 데이터를 생성한다.
셀렉터(65)는, 인트라 예측부(63)에서 생성된 예측 화상 데이터를 가산부(55)에 공급한다. 또한, 셀렉터(65)는, 움직임 보상부(64)에서 생성된 예측 화상 데이터를 가산부(55)에 공급한다.
또한, 청구항에 있어서의 복호부는, 가역 복호부(52), 역양자화부(53), 역직교 변환부(54), 가산부(55), 인트라 예측부(63), 움직임 보상부(64) 등으로 구성된다.
<5. 화상 복호 장치의 동작>
다음에, 도 7의 흐름도를 참조하여, 화상 복호 장치(50)에서 행해지는 화상 복호 동작에 대하여 설명한다.
스텝 ST51에서 축적 버퍼(51)는, 전송되어 온 부호화 스트림을 축적한다. 스텝 ST52에서 가역 복호부(52)는, 가역 복호 처리를 행한다. 가역 복호부(52)는, 축적 버퍼(51)로부터 공급되는 부호화 스트림을 복호한다. 즉, 도 2의 가역 부호화부(16)에 의해 부호화된 각 픽처의 양자화 데이터가 얻어진다. 또한, 가역 복호부(52), 부호화 스트림의 헤더 정보에 포함되어 있는 예측 모드 정보의 가역 복호를 행하여, 얻어진 예측 모드 정보를 디블록킹 필터 처리부(56)나 셀렉터(62, 65)에 공급한다. 또한, 가역 복호부(52)는, 예측 모드 정보가 인트라 예측 모드에 관한 정보인 경우, 예측 모드 정보를 인트라 예측부(63)로 출력한다. 또한, 가역 복호부(52)는, 예측 모드 정보가 인터 예측 모드에 관한 정보인 경우, 예측 모드 정보를 움직임 보상부(64)로 출력한다.
스텝 ST53에 있어서 역양자화부(53)는 역양자화 처리를 행한다. 역양자화부(53)는, 가역 복호부(52)에 의해 복호된 양자화 데이터를, 도 2의 양자화부(15)의 특성에 대응하는 특성으로 역양자화한다.
스텝 ST54에 있어서 역직교 변환부(54)는, 역직교 변환 처리를 행한다. 역직교 변환부(54)는, 역양자화부(53)에 의해 역양자화된 변환 계수 데이터를, 도 2의 직교 변환부(14)의 특성에 대응하는 특성으로 역직교 변환한다.
스텝 ST55에 있어서 가산부(55)는, 복호 화상 데이터의 생성을 행한다. 가산부(55)는, 역직교 변환 처리를 행함으로써 얻어진 데이터와, 후술하는 스텝 ST59에서 선택된 예측 화상 데이터를 가산하여 복호 화상 데이터를 생성한다. 이에 의해 원래의 화상이 복호된다.
스텝 ST56에 있어서 디블록킹 필터 처리부(56)는, 디블록킹 필터 처리를 행한다. 디블록킹 필터 처리부(56)는, 가산부(55)로부터 출력된 복호 화상 데이터의 필터 처리를 행하여, 복호 화상에 포함되어 있는 블록 왜곡을 제거한다.
스텝 ST57에 있어서 프레임 메모리(61)는, 복호 화상 데이터의 기억 처리를 행한다.
스텝 ST58에 있어서 인트라 예측부(63)와 움직임 보상부(64)는, 예측 처리를 행한다. 인트라 예측부(63)와 움직임 보상부(64)는, 가역 복호부(52)로부터 공급되는 예측 모드 정보에 대응하여 각각 예측 처리를 행한다.
즉, 가역 복호부(52)로부터 인트라 예측의 예측 모드 정보가 공급된 경우, 인트라 예측부(63)는, 예측 모드 정보에 기초하여 인트라 예측 처리를 행하여, 예측 화상 데이터를 생성한다. 또한, 가역 복호부(52)로부터 인터 예측의 예측 모드 정보가 공급된 경우, 움직임 보상부(64)는, 예측 모드 정보에 기초하여 움직임 보상을 행하여, 예측 화상 데이터를 생성한다.
스텝 ST59에 있어서, 셀렉터(65)는 예측 화상 데이터의 선택을 행한다. 즉, 셀렉터(65)는, 인트라 예측부(63)로부터 공급된 예측 화상과 움직임 보상부(64)에서 생성된 예측 화상 데이터를 선택하여 가산부(55)에 공급하여, 상술한 바와 같이, 스텝 ST55에 있어서 역직교 변환부(54)의 출력과 가산시킨다.
스텝 ST60에 있어서 화면 재배열 버퍼(57)는 화면 재배열을 행한다. 즉 화면 재배열 버퍼(57)는, 도 2의 화상 부호화 장치(10)의 화면 재배열 버퍼(12)에 의해 부호화를 위해서 재배열된 프레임의 순서가, 원래의 표시 순서로 재배열된다.
스텝 ST61에 있어서, D/A 변환부(58)는, 화면 재배열 버퍼(57)로부터의 화상 데이터를 D/A 변환한다. 이 화상이 도시하지 않은 디스플레이에 출력되어, 화상이 표시된다.
<6. 디블록킹 필터 처리부의 기본적인 동작>
일반적으로, H.264/AVC 또는 HEVC 등의 화상 부호화 방식에 있어서의 디블록 필터 처리는, 필터링 필요 여부 판정을 행하고, 필터링이 필요하다고 판별된 블록간의 경계에 대하여 필터링 처리를 행한다.
블록간의 경계는, 수평 방향으로 블록간의 경계 검출을 행하여 검출되는 경계, 즉 좌우로 인접하는 블록간의 경계(이하 「수직 경계」라 함)를 포함한다. 또한, 블록간의 경계는, 수직 방향으로 블록간의 경계 검출을 행하여 검출되는 경계, 즉 상하로 인접하는 블록간의 경계(이하 「라인 경계」라 함)를 포함한다.
도 8은 경계를 사이에 두고 인접하는 2개의 블록 BKa 및 BKb 내의 화소의 일례를 도시하는 설명도이다. 여기에서는 수직 경계를 예로 들어 설명하지만, 라인 경계에도 동등하게 적용 가능하다. 도 8의 예에 있어서, 블록 BKa 내의 화소의 화상 데이터를, 「pi,j」라는 기호로 나타내고 있다. i는 화소의 열 인덱스, j는 화소의 행 인덱스이다. 또한, 최소 부호화 처리 단위는, 8화소×8화소의 블록 단위로 하여, 열 인덱스 i는, 수직 경계에 가까운 열부터 순서대로(우측으로부터 좌측으로) 0, 1, 2, 3으로 번호가 부여되어 있다. 행 인덱스 j는, 위로부터 아래로 0, 1, 2, …, 7로 번호가 부여되어 있다. 또한, 블록 BKa의 좌측 절반은 도면 중에서 생략되어 있다. 한편, 블록 BKb 내의 화소의 화상 데이터는, 「qk,j」라는 기호로 나타내어져 있다. k는 화소의 열 인덱스, j는 화소의 행 인덱스이다. 열 인덱스 k는, 수직 경계에 가까운 열부터 순서대로(좌측으로부터 우측으로) 0, 1, 2, 3으로 번호가 부여되어 있다. 또한, 블록 BKb의 우측 절반도 또한 도면 중에서 생략되어 있다.
경계에 디블록 필터를 적용해야 한다고 판정된 경우, 예를 들면 수직 경계에 대해서는 당해 경계의 좌우의 화소의 필터링 처리가 행해진다. 휘도 성분에 대해서는, 화상 데이터의 값에 따라서 필터 강도가 강(strong) 필터와 약(weak) 필터 사이에서 전환된다.
ㆍ휘도 성분의 필터링
강도 선택에서는, 식 (3) 내지 식 (5)의 판별 조건을 만족시키는지 여부를 1라인마다(또는 1열마다) 판정하고, 식 (3) 내지 식 (5)의 판별 조건을 모두 만족시키는 경우에는 강 필터, 어느 하나라도 판정 조건이 만족되지 않은 경우에는 약 필터가 선택된다.
Figure 112020021353910-pat00005
또한, 식 (3)에 있어서의 「d」는, 식 (6)에 기초하여 산출되는 값이다. 또한, 식 (4), (5)에 있어서의 「β」와, 식 (5)에 있어서의 「tc」는, 표 1에 나타내는 바와 같이, 양자화 파라미터 Q에 기초하여 설정되는 값이다.
Figure 112020021353910-pat00006
Figure 112020021353910-pat00007
약 필터링에서는, 식 (7) 내지 식 (11)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다.
Figure 112020021353910-pat00008
강 필터링에서는, 식 (12) 내지 식 (18)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다.
Figure 112020021353910-pat00009
또한, 색차 성분의 필터링에서는, 식 (19) 내지 식 (21)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 색차 성분이 산출된다.
Figure 112020021353910-pat00010
또한, 상술한 식에 있어서 「Clip1Y」 「Clip1c」는, 식 (22), (23)의 연산을 나타내고 있고, 식 (22), (23)의 「Clip3(x, y, z)」는 식 (24)에 의해 결정되는 값을 나타내고 있다.
Figure 112020021353910-pat00011
또한, 라인 경계에 대해서는, 수직 경계에 있어서 수평 방향으로 화소를 사용하여 라인마다 행해지고 있는 연산을, 수직 방향으로 화소를 사용하여 열마다 행하여 필터링 처리가 행해진다.
디블록킹 필터 처리에 있어서, 라인 메모리가 필요해지는 처리는 수직 필터 처리이며, 이하, 수직 필터 처리에 있어서 라인 메모리의 메모리 용량의 삭감에 대하여 상세하게 설명한다. 또한, 화상 부호화 장치(10)의 디블록킹 필터 처리부(24)와 화상 복호 장치(50)의 디블록킹 필터 처리부(56)는, 동일한 구성 및 동일한 동작으로 되어 있어, 디블록킹 필터 처리부(24)에 대해서만 설명을 행한다.
<7. 디블록킹 필터 처리부의 제1 실시 형태>
도 9는 디블록킹 필터 처리부의 제1 실시 형태의 구성을 예시하고 있다. 디블록킹 필터 처리부(24)는, 라인 메모리(241), 라인 경계 검출부(242), 필터 강도 판정부(243), 계수 메모리(244), 필터 연산부(245), 필터 제어부(246)를 구비하고 있다.
라인 메모리(241)는, 필터 제어부(246)로부터의 제어 신호에 기초하여, 가산부(23)로부터 공급된 화상 데이터를 기억한다. 또한, 기억하고 있는 화상 데이터를 판독하여, 라인 경계 검출부(242), 필터 강도 판정부(243), 필터 연산부(245)로 출력한다.
라인 경계 검출부(242)는, 수직 필터 처리를 행하는 라인 경계를 검출한다. 라인 경계 검출부(242)는, 가산부(23)로부터 공급된 화상 데이터나 라인 메모리(241)로부터 판독된 화상 데이터를 사용하여 상술한 필터링 필요 여부 판정 처리를 블록마다 행하여, 수직 필터 처리를 행하는 라인 경계를 검출한다. 라인 경계 검출부(242)는, 검출 결과를 필터 강도 판정부(243)로 출력한다.
필터 강도 판정부(243)는, 상술한 바와 같이 필터 강도의 판정을 행한다. 필터 강도 판정부(243)는, 수직 필터 처리를 행하는 라인 경계를 사이에 두고 인접하는 2개의 블록의 화상 데이터를 사용하여, 강 필터링 또는 약 필터링 중 어느 강도로 수직 필터 처리를 행할지 판정하고, 판정 결과를 필터 연산부(245)로 출력한다.
계수 메모리(244)는, 디블록킹 필터 처리의 필터 연산에 사용하는 필터 계수를 기억하고 있다.
필터 연산부(245)는, 가산부(23)로부터 공급된 화상 데이터나 라인 메모리(241)에 기억되어 있는 화상 데이터 및 계수 메모리(244)로부터 판독한 필터 계수를 사용하여, 필터 강도 판정부(243)에서 판정된 필터 강도로 필터 연산을 행한다. 필터 연산부(245)는, 수직 필터 처리가 이루어진 화상 데이터를 프레임 메모리(25)로 출력한다. 또한, 필터 연산부(245)는, 필터 제어부(246)로부터 공급된 블록 경계 판정 결과에 기초하여, 라인 경계의 상측에 위치하는 블록에 있어서의 필터 연산에 사용하는 화상 범위를 제어한다.
필터 제어부(246)는, 라인 메모리(241)를 제어하여, 블록 내의 하단부측의 소정 라인수분의 화상 데이터를 기억시킨다. 또한, 기억되어 있는 화상 데이터의 판독을 행한다. 또한, 필터 제어부(246)는 라인 경계 판정부(2461)를 구비하고 있다. 라인 경계 판정부(2461)는, 래스터 스캔 방향으로 순차적으로 처리가 행해지는 블록 단위 예를 들면 LCU간의 라인 경계인지 판정하여 판정 결과를 필터 연산부(245)로 출력한다. 필터 연산부(245)는, 라인 메모리의 메모리 용량이 삭감되어 있어도 수직 필터 처리를 행할 수 있도록 제어한다.
도 10은 디블록킹 필터 처리부의 제1 실시 형태의 동작을 도시하고 있다. 스텝 ST71에서 디블록킹 필터 처리부(24)는 라인 경계의 검출을 행한다. 디블록킹 필터 처리부(24)는, 수직 필터 처리를 행하는 라인 경계를 검출한다.
스텝 ST72에서 디블록킹 필터 처리부(24)는, 필터 강도의 판정을 행한다. 디블록킹 필터 처리부(24)는, 수직 필터 처리를 행하는 라인 경계에 대한, 강 필터와 약 필터 중 어느 필터 강도로 할지 판정한다.
스텝 ST73에서 디블록킹 필터 처리부(24)는, 수직 필터 처리를 행하는 경계가 LCU간의 라인 경계인지 판별한다. 디블록킹 필터 처리부(24)는, 수직 필터 처리를 행하는 경계가 LCU간의 라인 경계인 경우는 스텝 ST74로 진행하고, 경계가 LCU간의 라인 경계가 아닌 경우에는 스텝 ST75로 진행한다.
스텝 ST74에서 디블록킹 필터 처리부(24)는, 범위 삭감 수직 필터 처리를 행한다. 디블록킹 필터 처리부(24)는, 상측에 인접하는 LCU에 대하여 필터 연산에 사용하는 화상 범위를 삭감하여 수직 필터 처리를 행하여 스텝 ST76으로 진행한다.
스텝 ST75에서 디블록킹 필터 처리부(24)는, 통상 수직 필터 처리를 행한다. 디블록킹 필터 처리부(24)는, 필터 연산에 사용하는 화상 범위를 삭감하지 않고 미리 설정된 탭 및 계수를 사용하여 수직 필터 처리를 행하여 스텝 ST76으로 진행한다.
스텝 ST76에서 디블록킹 필터 처리부(24)는, 경계의 수직 필터 처리가 완료되었는지 판별한다. 디블록킹 필터 처리부(24)는, 경계의 각 열의 수직 필터 처리가 완료되지 않은 경우에는 스텝 ST76으로 되돌아가서, 다음 열의 처리를 행한다. 또한, 경계의 각 열의 수직 필터 처리가 완료된 경우는, 스텝 ST77로 진행한다.
스텝 ST77에서 디블록킹 필터 처리부(24)는, 화면의 마지막까지 처리가 완료되었는지 판별한다. 디블록킹 필터 처리부(24)는, 화면의 마지막까지 처리가 행해지지 않은 경우에는 스텝 ST71로 되돌아가서, 새로운 경계를 검출하여 수직 필터 처리를 행한다. 또한, 디블록킹 필터 처리부(24)는, 화면의 마지막까지 처리가 행해진 경우, 11화면의 처리를 종료한다.
[필터 연산부의 구성과 동작]
도 11과 도 12는 필터 연산부의 구성을 도시하고 있다. 필터 연산부(245)는, 탭 변경 수직 필터 처리를 행하는 경우, 화상 데이터를 기억하는 라인수를 삭감해도, 수직 필터 처리를 행할 수 있도록, 탭의 화상 데이터의 변경 또는 탭수의 변경을 행한다. 또한, 도 11은 탭의 화상 데이터를 변경하여 수직 필터 처리를 행하는 경우의 필터 연산부의 구성을 도시하고 있다. 또한, 도 12는 탭수를 변경하여 수직 필터 처리를 행하는 경우의 필터 연산부의 구성을 도시하고 있다.
도 11에 있어서, 필터 연산부(245)는, 데이터 기억부(2451)와 데이터 선택부(2452) 및 연산 처리부(2453)를 구비하고 있다.
데이터 기억부(2451)는, 라인 메모리의 메모리 용량을 삭감한 경우에, 삭감되어 있는 라인의 위치의 탭으로서 사용하는 화상 데이터를 기억한다. 데이터 기억부(2451)는, 기억하고 있는 화상 데이터를, 삭감되어 있는 라인의 위치의 탭의 화상 데이터로서 데이터 선택부(2452)로 출력한다.
데이터 선택부(2452)는, 데이터 기억부(2451)에 기억되어 있는 화상 데이터와, 라인 메모리에 기억되어 있는 화상 데이터의 선택을 행하고, 선택한 화상 데이터를 연산 처리부(2453)로 출력한다.
연산 처리부(2453)는, 가산부(23)와 데이터 선택부(2452)로부터 공급된 화상 데이터와 계수 메모리(244)로부터 판독한 필터 계수를 사용하여 연산을 행하여, 수직 필터 처리 후의 화상 데이터를 생성하여 프레임 메모리(25)로 출력한다.
도 12에 있어서, 필터 연산부(245)는, 연산 처리부(2455)와 연산 처리부(2456)를 구비하고 있다.
연산 처리부(2455)는 소정의 탭수로 연산 처리를 행하여, 수직 필터 처리 후의 화상 데이터를 데이터 선택부(2457)로 출력한다.
연산 처리부(2456)는, 라인 메모리의 삭감에 따라서 탭수를 삭감함으로써, 삭감되어 있는 라인의 화상 데이터를 사용하지 않고 연산 처리를 행하여, 수직 필터 처리 후의 화상 데이터를 데이터 선택부(2457)로 출력한다.
데이터 선택부(2457)는, 경계가 LCU간의 라인 경계인지 여부에 따라서, 화상 데이터의 선택을 행한다. 데이터 선택부(2457)는, 경계가 LCU간의 라인 경계가 아닌 경우, 연산 처리부(2455)로부터 출력된 화상 데이터를 선택한다. 또한, 데이터 선택부(2457)는, 경계가 LCU간의 라인 경계인 경우, 연산 처리부(2456)로부터 출력된 화상 데이터를 선택한다.
도 13은 필터 연산부(245)의 동작을 설명하기 위한 도면이다. 인접하는 2개의 블록 BKu, BKl의 각 화소의 화상 데이터를 도시하고 있다. 여기서, 수직 필터 처리의 필터 처리 범위는, 경계(라인 경계) BB로부터 각각 3화소의 범위로 하여, 경계 BB로부터 각각 4화소를 탭으로 하여 필터 연산을 행한다. 필터 강도 판정에 의해 강 필터링이 판정된 경우, 상술한 식 (12) 내지 식 (18)의 연산을 연산 처리부(2453, 2455)에서 열마다 행한다. 또한, 필터 강도 판정에 의해 약 필터링이 판정된 경우, 상술한 식 (7) 내지 식 (10)의 연산을 연산 처리부(2453, 2455)에서 열마다 행한다.
LCU 단위로 래스터순으로 디블록킹 필터 처리를 행하는 경우, 수직 필터 처리가 강 필터링으로 판정되어 상술한 식 (12) 내지 식 (18)의 연산을 행하기 위해서는, 도 13의 (A)에 도시한 바와 같이 경계 BB의 상측의 블록 BKu에 있어서, 경계 BB로부터 4라인분의 화상 데이터를 라인 메모리에 기억해 둘 필요가 있다.
여기서, 필터 연산부(245)는, 경계 BB의 상측에 위치하는 블록에 있어서의 필터 연산에 사용하는 화상 범위를 제어함으로써, 라인 메모리의 메모리 용량을 삭감해도, 수직 필터 처리를 행할 수 있도록 한다. 예를 들면, 도 13의 (B)에 도시한 바와 같이 경계 BB로부터 3라인분의 화상 데이터를 기억하고, 이 기억된 화상 데이터를 사용하여 수직 필터 처리를 행한다. 즉, 도 11에 도시한 연산 처리부(2453)는, 식 (25)의 연산을 행한다. 또한, 도 12에 도시한 연산 처리부(2456)는, 식 (26)의 연산을 행하고, 데이터 선택부(2457)는, 연산 처리부(2456)로부터의 화상 데이터를 선택하여 출력한다. 또한, 식 (25), (26)에 있어서, i는 화소의 열 인덱스를 나타내고 있고, 필터 처리를 8×8화소의 블록 단위로 행하는 경우 「i=0 내지 7」로 된다.
Figure 112020021353910-pat00012
연산 처리부(2453)는, 상측의 블록 BKu에 있어서, 필터 처리 범위의 상단부의 화소를 상측 방향으로 복사하여 사용한다. 즉, 데이터 기억부(2451)에 기억한 필터 처리 범위의 상단부의 화소의 화상 데이터 p2를 화상 데이터 p3으로서 사용함으로써, 식 (25)의 연산에 의해 필터 처리 후의 화상 데이터 p2i'를 산출한다.
연산 처리부(2456)에서는, 탭수를 삭감하고, 탭수의 삭감에 대응하여 변경되어 있는 계수를 사용함으로써, 식 (26)의 연산에 의해 필터 처리 후의 화상 데이터 p2i'를 산출한다. 이 경우의 계수의 변경은, 탭 범위의 상단부의 화소의 복사에 대응시켜, 화상 데이터 p2의 계수를 「3→5」로 변경한다.
또한, 경계 BB가 LCU간의 라인 경계가 아닌 경우에는, 라인 메모리(241)의 화상 데이터를 사용할 필요가 없기 때문에, 필터 연산에 사용하는 화상 범위를 좁게 하지 않고 종래와 마찬가지의 필터 연산을 행한다. 즉, 도 11에 도시한 연산 처리부(2453)는, 종래와 마찬가지의 필터 연산을 행한다. 또한, 도 12에 도시한 연산 처리부(2455)는, 종래와 마찬가지의 필터 연산을 행하고, 데이터 선택부(2457)는, 연산 처리부(2455)로부터의 화상 데이터를 선택하여 출력한다.
이와 같이, 경계가 래스터 스캔 방향으로 순차적으로 처리가 행해지는 블록의 라인 경계인 경우, 필터 연산에 사용하는 화상 범위를 제어함으로써, 라인 메모리의 메모리 용량을 삭감해도, 삭감 전과 마찬가지로 디블록킹 필터 처리를 행할 수 있다. 또한, 예를 들면 4K×2K의 화상에 있어서의 1라인은, 2K×1K의 화상의 2라인분에 상당한다. 또한, H.264/AVC 방식에서는, 4라인분의 라인 메모리를 구비하고 있고, 4K×2K의 화상에 있어서의 1라인분의 메모리 용량은, H.264/AVC 방식의 50％의 메모리 용량에 상당한다. 즉, 고해상도 화상에 있어서 메모리 용량의 삭감 효과가 높아진다.
<8. 디블록킹 필터 처리부의 제2 실시 형태>
디블록킹 필터 처리부의 제2 실시 형태는, 제1 실시 형태에 대하여, 연산 처리부(2453)와 연산 처리부(2456)의 동작이 상이하다.
강 필터링에 있어서 경계 BB가 LCU간의 라인 경계인 경우, 상술한 식 (12) 내지 식 (18)의 연산을 행하는 경우에는, 도 13의 (A)에 도시한 바와 같이 경계 BB의 상측의 블록 BKu에 있어서, 경계 BB로부터 4라인분의 화상 데이터를 라인 메모리에 기억해 둘 필요가 있다.
여기서, 필터 연산부(245)는, 경계 BB의 상측에 위치하는 블록에 있어서의 필터 연산에 사용하는 화상 범위를 제어함으로써, 라인 메모리의 메모리 용량을 삭감해도, 수직 필터 처리를 행할 수 있도록 한다. 예를 들면, 도 13의 (B)에 도시한 바와 같이 경계 BB로부터 3라인분의 화상 데이터를 기억하고, 이 기억된 화상 데이터를 사용하여 수직 필터 처리를 행한다. 즉, 도 11에 도시한 연산 처리부(2453)는, 식 (27)의 연산을 행한다. 또한, 도 12에 도시한 연산 처리부(2456)는, 식 (28)의 연산을 행하고, 데이터 선택부(2457)는, 연산 처리부(2456)로부터의 화상 데이터를 선택하여 출력한다. 또한, 식 (27), (28)에 있어서, i는 화소의 열 인덱스를 나타내고 있고, 필터 처리를 8×8화소의 블록 단위로 행하는 경우 「i=0 내지 7」로 된다.
Figure 112020021353910-pat00013
연산 처리부(2453)는, 상측의 블록 BKu에 있어서, 필터 처리 범위의 상단부의 화소를 기준으로 하여 미러 복사를 행한다. 즉, 데이터 기억부(2451)에 화상 데이터 p1을 기억하고, 이 화상 데이터 p1을 필터 처리 범위의 상단부의 화소를 기준으로 하여 미러 복사하여 화상 데이터 p3으로서 사용함으로써, 식 (27)의 연산에 의해 필터 처리 후의 화상 데이터 p2i'를 산출한다.
연산 처리부(2456)에서는, 탭수를 삭감하고, 탭수의 삭감에 대응하여 변경되어 있는 계수를 사용함으로써, 식 (28)의 연산에 의해 필터 처리 후의 화상 데이터 p2i'를 산출한다. 이 경우의 계수의 변경은, 필터 처리 범위의 상단부의 화소를 기준으로 한 미러 복사에 대응시켜, 화상 데이터 p1의 계수를 「2→3」으로 변경한다.
또한, 경계 BB가 LCU간의 라인 경계가 아닌 경우에는, 라인 메모리(241)의 화상 데이터를 사용할 필요가 없기 때문에, 필터 연산에 사용하는 화상 범위를 좁게 하지 않고 종래와 마찬가지의 필터 연산을 행한다. 즉, 도 11에 도시한 연산 처리부(2453)는, 종래와 마찬가지의 필터 연산을 행한다. 또한, 도 12에 도시한 연산 처리부(2455)는, 종래와 마찬가지의 필터 연산을 행하고, 데이터 선택부(2457)는, 연산 처리부(2455)로부터의 화상 데이터를 선택하여 출력한다.
이와 같이, 경계가 래스터 스캔 방향으로 순차적으로 처리가 행해지는 블록의 라인 경계인 경우, 필터 연산에 사용하는 화상 범위를 제어함으로써, 제1 실시 형태와 마찬가지로, 메모리 용량을 삭감해도 디블록킹 필터 처리를 행할 수 있다.
<9. 디블록킹 필터 처리부의 제3 실시 형태>
디블록킹 필터 처리부의 제3 실시 형태는, 제1, 제2 실시 형태에 대하여, 연산 처리부(2453)와 연산 처리부(2456)의 동작이 상이하다.
도 14는 필터 연산부(245)의 동작을 설명하기 위한 도면이다. 인접하는 2개의 블록 BKu, BKl의 각 화소의 화상 데이터를 도시하고 있다. 여기서, 수직 필터 처리의 필터 처리 범위는, 경계(라인 경계) BB로부터 각각 3화소의 범위로 하고, 경계 BB로부터 각각 4화소를 탭으로 하여 필터 연산을 행한다. 필터 강도 판정에 의해 강 필터링이 판정된 경우, 상술한 식 (12) 내지 식 (18)의 연산을 연산 처리부(2453, 2455)에서 열마다 행한다. 또한, 필터 강도 판정에 의해 약 필터링이 판정된 경우, 상술한 식 (7) 내지 식 (10)의 연산을 연산 처리부(2453, 2455)에서 열마다 행한다.
LCU 단위로 래스터순으로 디블록킹 필터 처리를 행하는 경우, 수직 필터 처리가 강 필터링으로 판정되어 상술한 식 (12) 내지 식 (18)의 연산을 행하기 위해서는, 도 14의 (A)에 도시한 바와 같이 경계 BB의 상측의 블록 BKu에 있어서, 경계 BB로부터 4라인분의 화상 데이터를 라인 메모리에 기억해 둘 필요가 있다.
여기서, 필터 연산부(245)는, 필터 처리 범위와 경계 BB의 상측에 위치하는 블록에 있어서의 필터 연산에 사용하는 화상 범위를 제어함으로써, 라인 메모리의 메모리 용량을 삭감해도, 수직 필터 처리를 행할 수 있도록 한다. 예를 들면, 도 14의 (B)에 도시한 바와 같이, 상측의 블록 BKu에 있어서의 필터 처리 범위를 경계 BB로부터 2화소의 범위로 하여, 경계 BB로부터 2라인분의 화상 데이터를 기억한다. 또한, 이 기억된 화상 데이터를 사용하여, 제1 실시 형태와 마찬가지로 수직 필터 처리를 행한다. 즉, 도 11에 도시한 연산 처리부(2453)는, 식 (29), (30)의 연산을 행한다. 또한, 도 12에 도시한 연산 처리부(2456)는, 식 (31), (32)의 연산을 행하고, 데이터 선택부(2457)는, 연산 처리부(2456)로부터의 화상 데이터를 선택하여 출력한다. 또한, 식 (29) 내지 (32)에 있어서, i는 화소의 열 인덱스를 나타내고 있고, 필터 처리를 8×8화소의 블록 단위로 행하는 경우 「i=0 내지 7」로 된다.
Figure 112020021353910-pat00014
연산 처리부(2453)는, 상측의 블록 BKu에 있어서, 필터 처리 범위의 상단부의 화소를 상측 방향으로 복사하여 사용한다. 즉, 데이터 기억부(2451)에 기억한 필터 처리 범위의 상단부의 화소의 화상 데이터 p1을 화상 데이터 p2로서 사용함으로써, 식 (29), (30)의 연산에 의해 필터 처리 후의 화상 데이터 p1i', p0i'를 산출한다.
연산 처리부(2456)에서는, 탭수를 삭감하고, 탭수의 삭감에 대응하여 변경되어 있는 계수를 사용함으로써, 식 (31), (32)의 연산에 의해 필터 처리 후의 화상 데이터 p1i', p0i'를 산출한다. 이 경우의 계수의 변경은, 탭 범위의 상단부의 화소의 복사에 대응시켜, 식 (31)에 있어서의 화상 데이터 p1의 계수를 「1→2」, 식 (32)에 있어서의 화상 데이터 p1의 계수를 「2→3」으로 변경한다.
또한, 경계 BB가 LCU의 경계가 아닌 경우에는, 라인 메모리(241)의 화상 데이터를 사용할 필요가 없기 때문에, 필터 연산에 사용하는 화상 범위를 좁게 하지 않고 종래와 마찬가지의 필터 연산을 행한다. 즉, 도 11에 도시한 연산 처리부(2453)는, 종래와 마찬가지의 필터 연산을 행한다. 또한, 도 12에 도시한 연산 처리부(2455)는, 종래와 마찬가지의 필터 연산을 행하고, 데이터 선택부(2457)는, 연산 처리부(2455)로부터의 화상 데이터를 선택하여 출력한다.
이와 같이, 경계가 래스터 스캔 방향으로 순차적으로 처리가 행해지는 블록의 라인 경계인 경우, 필터 처리 범위와 필터 연산에 사용하는 화상 범위를 제어하여 메모리 용량을 삭감해도, 삭감 전과 마찬가지로 디블록킹 필터 처리를 행할 수 있다. 또한, 메모리 용량을 보다 많은 삭감하는 것이 가능해진다.
<10. 디블록킹 필터 처리부의 제4 실시 형태>
디블록킹 필터 처리부의 제4 실시 형태는, 제3 실시 형태에 대하여, 연산 처리부(2453)와 연산 처리부(2456)의 동작이 상이하다.
강 필터링에 있어서 경계 BB가 LCU간의 라인 경계인 경우, 상술한 식 (12) 내지 식 (18)의 연산을 행하는 경우에는, 도 14의 (A)에 도시한 바와 같이 경계 BB의 상측의 블록 BKu에 있어서, 경계 BB로부터 4라인분의 화상 데이터를 라인 메모리에 기억해 둘 필요가 있다.
여기서, 필터 연산부(245)는, 필터 처리 범위와 경계 BB의 상측에 위치하는 블록에 있어서의 필터 연산에 사용하는 화상 범위를 제어함으로써, 라인 메모리의 메모리 용량을 삭감해도, 수직 필터 처리를 행할 수 있도록 한다. 예를 들면, 도 14의 (B)에 도시한 바와 같이, 상측의 블록 BKu에 있어서의 필터 처리 범위를 경계 BB로부터 2화소의 범위로 하여, 경계 BB로부터 2라인분의 화상 데이터를 기억한다. 또한, 이 기억된 화상 데이터를 사용하여, 제2 실시 형태와 마찬가지로 수직 필터 처리를 행한다. 즉, 도 11에 도시한 연산 처리부(2453)는, 식 (33), (34)의 연산을 행한다. 또한, 도 12에 도시한 연산 처리부(2456)는, 식 (35), (36)의 연산을 행하고, 데이터 선택부(2457)는, 연산 처리부(2456)로부터의 화상 데이터를 선택하여 출력한다. 또한, 식 (33) 내지 (36)에 있어서, i는 화소의 열 인덱스를 나타내고 있고, 필터 처리를 8×8화소의 블록 단위로 행하는 경우 「i=0 내지 7」로 된다.
Figure 112020021353910-pat00015
연산 처리부(2453)는, 상측의 블록 BKu에 있어서, 필터 처리 범위의 상단부의 화소를 기준으로 하여 미러 복사를 행한다. 즉, 데이터 기억부(2451)에 화상 데이터 p0을 기억하고, 화상 데이터 p0을 필터 처리 범위의 상단부의 화소를 기준으로 하여 미러 복사하여 화상 데이터 p2로서 사용함으로써, 식 (33), (34)의 연산에 의해 화상 데이터 p1i', p0i'를 산출한다.
연산 처리부(2456)에서는, 탭수를 삭감하고, 탭수의 삭감에 대응하여 변경되어 있는 계수를 사용함으로써, 식 (35), (36)의 연산에 의해 필터 처리 후의 화상 데이터 p1i', p0i'를 산출한다. 이 경우의 계수의 변경은, 필터 처리 범위의 상단부의 화소를 기준으로 한 미러 복사에 대응시켜, 식 (35)에 있어서의 화상 데이터 p0의 계수를 「1→2」, 식 (36)에 있어서의 화상 데이터 p0의 계수를 「2→3」으로 변경한다.
또한, 경계 BB가 LCU간의 라인 경계가 아닌 경우에는, 라인 메모리(241)의 화상 데이터를 사용할 필요가 없기 때문에, 필터 연산에 사용하는 화상 범위를 좁게 하지 않고 종래와 마찬가지의 필터 연산을 행한다. 즉, 도 11에 도시한 연산 처리부(2453)는, 종래와 마찬가지의 필터 연산을 행한다. 또한, 도 12에 도시한 연산 처리부(2455)는, 종래와 마찬가지의 필터 연산을 행하고, 데이터 선택부(2457)는, 연산 처리부(2455)로부터의 화상 데이터를 선택하여 출력한다.
이와 같이, 경계가 래스터 스캔 방향으로 순차적으로 처리가 행해지는 블록의 라인 경계인 경우, 필터 처리 범위와 필터 연산에 사용하는 화상 범위를 제어하여 메모리 용량을 삭감해도, 삭감 전과 마찬가지로 디블록킹 필터 처리를 행할 수 있다. 또한, 메모리 용량을 보다 많이 삭감하는 것이 가능해진다.
<11. 디블록킹 필터 처리부의 제5 실시 형태>
상술한 디블록킹 필터 처리부는, 경계 BB가 LCU간의 라인 경계인지 여부에 따라서, 경계의 상측에 위치하는 블록에 있어서의 필터 연산에 사용하는 화상 범위의 제어나 필터 처리 범위의 제어를 행하도록 하고 있다. 다음에, 제5 실시 형태에서는, LCU간의 라인 경계만 화상 범위의 제어를 행하는 모드와, 경계 BB가 LCU간의 라인 경계인지 여부에 상관없이 화상 범위의 제어를 행하는 모드를 설정한 경우를 설명한다.
도 15는 제5 실시 형태의 동작을 도시하는 흐름도이다. 스텝 ST81에서 디블록킹 필터 처리부(24)는 라인 경계의 검출을 행한다. 디블록킹 필터 처리부(24)는, 수직 필터 처리를 행하는 라인 경계를 검출한다.
스텝 ST82에서 디블록킹 필터 처리부(24)는, 필터 강도의 판정을 행한다. 디블록킹 필터 처리부(24)는, 수직 필터 처리를 행하는 라인 경계에 대한, 강 필터링과 약 필터링 중 어느 필터 강도로 할지 판정한다.
스텝 ST83에서 디블록킹 필터 처리부(24)는, LCU간의 라인 경계만 범위 삭감 수직 필터 처리, 즉, 필터 연산에 사용하는 화상 범위를 삭감하여 수직 필터 처리를 행할지 판별한다. 디블록킹 필터 처리부(24)는, LCU간의 라인 경계뿐만 아니라, LCU보다도 크기가 작은 블록의 라인 경계에 대해서도 범위 삭감 수직 필터 처리를 행하는 경우는, 스텝 ST84로 진행한다. 또한, 디블록킹 필터 처리부(24)는, 범위 삭감 수직 필터 처리를 LCU간의 라인 경계만 행하는 경우는 스텝 ST85로 진행한다.
디블록킹 필터 처리부(24)는, 예를 들면 프레임 단위로 설정된 양자화 파라미터에 기초하여, 범위 삭감 수직 필터 처리를 LCU간의 라인 경계에 대해서만 행할지 판별한다. 양자화 파라미터가 작은 경우에는, 양자화 파라미터가 큰 경우에 비해 화질이 양호하다. 따라서, 디블록킹 필터 처리부(24)는, 양자화 파라미터가 미리 설정한 임계값보다도 큰 경우에, LCU간의 라인 경계에만 범위 삭감 수직 필터 처리를 행하고, LCU보다도 크기가 작은 블록의 라인 경계에 대해서는 통상 수직 필터 처리를 행함으로써 화질을 향상시키는 모드라고 판정하고 스텝 ST84로 진행한다. 또한, 디블록킹 필터 처리부(24)는, 양자화 파라미터가 미리 설정한 임계값 이하인 경우는, LCU간의 라인 경계뿐만 아니라 LCU보다도 크기가 작은 블록간의 라인 경계에 대해서도 범위 삭감 수직 필터 처리를 행함으로써 제어를 용이하게 하는 모드라고 판정하고 스텝 ST85로 진행한다.
스텝 ST84에서 디블록킹 필터 처리부(24)는, 수직 필터 처리를 행하는 경계가 LCU간의 라인 경계인지 판별한다. 디블록킹 필터 처리부(24)는, 수직 필터 처리를 행하는 경계가 LCU간의 라인 경계인 경우에는 스텝 ST85로 진행하고, 경계가 LCU보다도 크기가 작은 블록의 라인 경계의 경우에는 스텝 ST86으로 진행한다.
스텝 ST85에서 디블록킹 필터 처리부(24)는, 범위 삭감 수직 필터 처리를 행한다. 디블록킹 필터 처리부(24)는, 인접하는 상측 블록에 대하여 필터 연산에 사용하는 화상 범위를 삭감하여 수직 필터 처리를 행하고 스텝 ST87로 진행한다. 또한, 범위 삭감 수직 필터 처리에서는 필터 대상 범위를 삭감해도 된다.
스텝 ST86에서 디블록킹 필터 처리부(24)는, 통상 수직 필터 처리를 행한다. 디블록킹 필터 처리부(24)는, 필터 연산에 사용하는 화상 범위를 삭감하지 않고 수직 필터 처리를 행하고 스텝 ST87로 진행한다.
스텝 ST87에서 디블록킹 필터 처리부(24)는, 경계의 수직 필터 처리가 완료되었는지 판별한다. 디블록킹 필터 처리부(24)는, 경계의 각 열의 수직 필터 처리가 완료되지 않은 경우에는 스텝 ST87로 되돌아가서, 다음 열의 처리를 행한다. 또한, 경계의 각 열의 수직 필터 처리가 완료된 경우는, 스텝 ST88로 진행한다.
스텝 ST88에서 디블록킹 필터 처리부(24)는, 화면의 마지막까지 처리가 완료되었는지 판별한다. 디블록킹 필터 처리부(24)는, 화면의 마지막까지 처리가 행해지지 않은 경우에는 스텝 ST81로 되돌아가서, 새로운 경계를 검출하고 수직 필터 처리를 행한다. 또한, 디블록킹 필터 처리부(24)는, 화면의 마지막까지 처리가 행해진 경우, 1화면의 처리를 종료한다.
이와 같은 처리를 행하면, 라인 메모리의 메모리 용량을 삭감할 수 있을 뿐만 아니라, 범위 삭감 수직 필터 처리를 LCU간의 라인 경계뿐만 아니라 다른 라인 경계에도 행하면, 필터 처리의 전환이 필요없이 제어가 용이해진다. 또한, 범위 삭감 수직 필터 처리를 LCU간의 라인 경계만 행하도록 하면, 양호한 화질을 얻을 수 있다.
<12. 제6 내지 제8 실시 형태의 설명>
[종래의 설명]
또한, 상기 설명에 있어서는, 필터 연산에 사용하는 화상 범위를 좁게 함으로써, 화상 범위에 포함되지 않은 탭의 화상 데이터로서, 화상 범위 내의 탭의 화상 데이터를 복사 또는 미러 복사하여 사용하는 예를 설명하였다. 여기서, 본 명세서에 있어서의 복사는 Padding과 동의이다.
이와 같은 본 기술과 마찬가지로, LCU의 라인 경계에 있어서만 Padding을 이용하여 필터 처리를 행하는 방법이, 종래, JCTVC-F053에 있어서 제안되어 있다.
도 16을 참조하여, HEVC 방식에 있어서의 휘도 신호의 강(strong) 필터의 필터 처리와, Padding을 이용한 필터 처리에 대하여 설명한다.
도 16은, 라인 경계를 사이에 두고 상하로 인접하는 2개의 블록 BKu 및 BKl 내의 화소의 일례를 도시하는 설명도이다. 도 16의 예에 있어서, 블록 BKu 내의 화소의 화상 데이터를, 「pji」라는 기호로 나타내고 있다. j는 화소의 행 인덱스, i는 화소의 열 인덱스이다. 또한, 최소 부호화 처리 단위는, 8화소×8화소의 블록 단위로 하고, 행 인덱스 j는, 라인 경계 BB에 가까운 행부터 순서대로(아래로부터 위로) 0, 1, 2, 3으로 번호가 부여되어 있다. 열 인덱스 i는, 블록에 있어서의 우측으로부터 좌측으로 0, 1, 2, … 7로 번호가 부여되어 있다. 또한, 블록 BKu의 상반부는 도면 중에서 생략되어 있다. 한편, 블록 BKl 내의 화소의 화상 데이터는, 「qki」라는 기호로 나타내어져 있다. k는 화소의 행 인덱스, i는 화소의 열 인덱스이다. 행 인덱스 k는, 라인 경계 BB에 가까운 행부터 순서대로(위로부터 아래로) 0, 1, 2, 3으로 번호가 부여되어 있다. 또한, 블록 BKl의 하반부도 또한 도면 중에서 생략되어 있다.
HEVC 방식에 있어서의 휘도 신호의 강 필터링에서는, 식 (37) 내지 식 (42)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다. 또한, 식 (37) 내지 식 (42)는, 식 (14), 식 (16), 식 (13), 식 (17), 식 (12) 및 식 (18)에 각각 대응하는 식이다.
Figure 112020021353910-pat00016
여기서, Clip0 -255는, 0 이하인 경우, 0으로 잘라올리고, 255 이상인 경우, 255로 잘라버리는 클립 처리를 나타내고 있다. 이후의 식에 대해서도 마찬가지이다.
이에 반해, 상술한 종래의 제안에 있어서는, LCU의 라인 경계만이지만, R2W2 삭감에서 Padding을 이용한 필터 처리가 행해진다. 여기서, R2W2란, LCU의 라인 경계 상의 2화소를 참조하여, LCU의 라인 경계 상의 2화소에 필터 처리가 적용되는 것을 나타낸다.
종래의 제안에 있어서의 휘도 신호의 강 필터링에서는, 식 (43) 내지 식 (47)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다.
Figure 112020021353910-pat00017
여기서, 종래의 제안에 있어서의 강 필터링의 식 (43)은, HEVC 방식에 있어서의 강 필터링의 식 (37)의 「p2i」가 「p1i」로 교체되어 있는 점이 상이하다. 종래의 제안에 있어서의 강 필터링의 식 (45)는, HEVC 방식에 있어서의 강 필터링의 식 (39)의 「p2i」가 「p1i」로 교체되어 있는 점이 상이하다. 종래의 제안에 있어서의 강 필터링에 있어서는, HEVC 방식에 있어서의 강 필터링의 식 (41)에 대응하는 식이 삭제되어 있는 점이 상이하다.
또한, 종래의 제안에 있어서의 강 필터링의 식 (44), 식 (46) 및 식 (47)은, HEVC 방식에 있어서의 강 필터링의 식 (38), 식 (40) 및 식 (42)에 각각 공통되어 있다.
즉, 종래의 제안에 있어서는, 블록 Bku의 라인 경계 BB로부터 위로 3행째의 행의 화소 「p2i」가 참조되지 않으므로, 그 대신에, 동일한 열의 바로 아래의 행의 화소 「p1i」가 복사(Padding)되어 사용되고 있다.
또한, 블록 Bku의 라인 경계 BB로부터 위로 3행째의 행의 화소 「p20」에는, 필터 처리가 실시되지 않으므로, 종래의 제안에 있어서의 강 필터링에 있어서는, HEVC 방식에 있어서의 강 필터링의 식 (41)에 대응하는 식이 삭제되어 있다.
이상과 같이 함으로써, 종래의 제안에 있어서는, HEVC 방식보다도, 라인 메모리의 메모리 용량이 커지는 것을 억제하고 있다.
그러나, 4k 화상의 경우에는 대량의 라인 메모리를 가질 필요가 있으므로, 디블록킹 처리에 있어서, 라인 메모리를 삭감하는 것이 더 요구되고 있다. 또한, 라인 메모리 삭감 시에는, 이 종래의 제안 방법보다도, 디블록킹의 블록 노이즈 리덕션의 기능을 유지할 것이 요구되고 있다.
여기서, HEVC 방식의 블록간의 경계 판정에 있어서는, 다음 식 (48)에 나타내어지는 바와 같이, 라인 경계를 사이에 둔 양측에서, 기울기 일정의 파형을 처리 대상으로 하고 있다. 따라서, 본 기술에 있어서는, 이하에 상세하게 설명하지만, 블록간의 경계 판정에 있어서의 파형의 기울기를 이용함으로써, LCU의 라인 경계의 디블록킹 처리를 행한다.
Figure 112020021353910-pat00018
[본 기술의 설명(선형 근사)]
도 17의 예에 있어서는, 식 (48)의 HEVC 방식의 블록간의 경계 판정식이 도시되어 있다.
식 (48)의 좌변의 제1항은, 도 17에 도시된 바와 같이, 블록 Bku의 좌측으로부터 3열째의 화소를 판정하는 식이며, 다음과 같이, 차분의 차분(2차 차분), 즉, 기울기가 일정한 2차 미분으로 나타낼 수 있다.
p22-2*p12+p02=(p22-p12)-(p12-p02)
식 (48)의 좌변의 제2항 내지 제4항은, 각각, 블록 Bku의 좌측으로부터 6열째의 화소를 판정하는 식, 블록 Bkl의 좌측으로부터 3열째의 화소를 판정하는 식, 블록 Bkl의 좌측으로부터 6열째의 화소를 판정하는 식이다. 식 (48)의 좌변의 제2항 내지 제4항에 대해서도, 마찬가지라고 할 수 있다.
이와 같이, HEVC 방식의 블록간의 경계 판정에 있어서는, 기울기 일정의 파형을 처리 대상으로 하고 있기 때문에, LCU의 라인 경계의 디블록킹 처리에 있어서는, 블록간의 경계 판정에 있어서의 파형의 기울기를 이용한다.
종래 기술에 있어서는, LCU의 라인 경계의 디블록킹 처리에 있어서는, 참조할 수 없는 화소에 대해서는, 복사(Padding)가 이용되었다. 이에 반해, 본 기술에 있어서는, LCU의 라인 경계의 디블록킹 처리에 있어서는, 참조할 수 없는 화소에 대하여 파형의 기울기를 이용한 선형 근사를 행한다.
즉, 본 기술의 LCU의 라인 경계의 디블록킹 처리에 있어서는, 다음의 선형 근사의 식 (49)가 사용된다.
Figure 112020021353910-pat00019
또한, 도 18에 도시된 바와 같이, p2i, p1i, p0i의 화소값에 기울기가 있는 경우, 종래의 R2W2에 의한 복사(Padding)에 있어서는, p2i의 화소값은 참조할 수 없다. 따라서, p2i의 화소값 대신에, 해칭(hatching)의 동그라미로 나타내어지는 바와 같이, 바로 아래의 p1i의 화소값이 복사(Padding)되어 사용되지만, 실제의 p2i의 화소값은, 점선의 동그라미의 위치이므로, 오차가 발생해 버린다.
이에 반해, 본 기술의 R2W2에 의한 1차 선형 예측에 있어서는, p2i의 화소값은 참조할 수 없으므로, p2i의 화소값은, 해칭의 동그라미로 나타내어지는 바와 같이, p1i 및 p0i의 화소값에 기울기로부터 1차 선형에 의해 예측된 화소값(=실제와 동일한 화소값)이 사용된다.
이상과 같이 함으로써, 화소값에 기울기가 있는 경우에 있어서는, 본 기술에 의하면, 종래의 복사(Padding)의 방법보다도 오차가 발생하는 일이 없다. 따라서, R2W2이어도, 디블록킹의 블록 노이즈 리덕션의 기능을 유지하면서, 라인 메모리의 삭감을 실현할 수 있다.
또한, 예를 들면 4K×2K의 화상에 있어서의 1라인은, 2K×1K의 화상의 2라인분에 상당한다. 또한, H.264/AVC 방식에서는, 4라인분의 라인 메모리를 구비하고 있고, 4K×2K의 화상에 있어서의 1라인분의 메모리 용량은, H.264/AVC 방식의 50％의 메모리 용량에 상당한다. 즉, 고해상도 화상에 있어서 메모리 용량의 삭감 효과가 높아진다.
또한, p2i, p1i, p0i의 화소값에 기울기가 없는 경우에는, 실질적으로 바로 아래의 p1i의 화소값이 사용되는 것과 동등해진다. 이 경우도, R2W2이어도, 디블록킹의 블록 노이즈 리덕션의 기능을 유지하면서, 라인 메모리의 삭감을 실현할 수 있다.
[R2W2의 경우의 필터 처리]
다음에, R2W2의 경우의 휘도 신호의 필터 처리에 대하여 설명한다. R2는 참조되는 화소를 나타내고, W2는 필터 처리가 적용되는 화소를 나타낸다. 즉, R2W2란, 도 19에 도시된 바와 같이, LCU의 라인 경계 상의 2화소를 참조하여, LCU의 라인 경계 상의 2화소에 필터 처리가 적용되는 것을 나타낸다.
또한, 도 19의 예에 있어서는, 도 16에 있어서의 블록 BKu 내의 라인 경계 BB로부터 위로 3열째와 4열째의 화소를 참조할 수 없는 것이 명시되어 있다.
비교로서 재차 나타내어지지만, HEVC 방식에 있어서의 휘도 신호의 강 필터링에서는, 식 (50) 내지 식 (55)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다. 또한, 식 (50) 내지 식 (55)는, 식 (37) 내지 식 (42)에 각각 대응하는 식이다.
Figure 112020021353910-pat00020
이에 반해, 본 기술의 R2W2의 경우의 휘도 신호의 강 필터링에서는, 식 (56) 내지 식 (60)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다.
Figure 112020021353910-pat00021
여기서, R2W2의 경우의 강 필터링의 식 (56)은, 선형 근사의 식 (49)에 의해, HEVC 방식에 있어서의 강 필터링의 식 (50)의 「p2i+2*p1i+2*p0i」가 「4*p1i+p0i」로 교체되어 있는 점이 상이하다.
R2W2의 경우의 강 필터링의 식 (58)은, 선형 근사의 식 (49)에 의해, HEVC 방식에 있어서의 강 필터링의 식 (52)의 「p2i+p1i+p0i」가 「3*p1i」로 교체되어 있는 점이 상이하다.
R2W2의 경우의 강 필터링에 있어서는, HEVC 방식에 있어서의 강 필터링의 식 (54)에 대응하는 식이 삭제되어 있는 점이 상이하다.
즉, 본 기술의 R2W2의 경우에 있어서는, 블록 Bku의 라인 경계 BB로부터 위로 3행째의 행의 화소 「p2i」가 참조되지 않으므로, 그 대신에, 선형 근사의 식 (49)가 대입되어 사용된다.
또한, 블록 Bku의 라인 경계 BB로부터 위로 3행째의 행의 화소 「p20」에는, 필터 처리가 실시되지 않으므로, R2W2의 경우의 강 필터링에 있어서는, HEVC 방식에 있어서의 강 필터링의 식 (54)에 대응하는 식이 삭제된다.
다음에, 라인 경계에 있어서의 휘도 신호의 약 필터링의 판정식과 약 필터링에 대하여 설명한다.
우선, HEVC 방식에 있어서의 휘도 신호의 약 필터링의 판정식과 약 필터링에서는, 식 (61) 내지 식 (63)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다. 또한, 식 (61) 내지 식 (63)에 있어서의 제1 식째가, 약 필터링의 판정식이다.
Figure 112020021353910-pat00022
여기서, Clip0 -255는, 상술한 바와 같이, 0 이하인 경우, 0으로 잘라올리고, 255 이상인 경우, 255로 잘라버리는 클립 처리를 나타내고 있다. 또한, Clip(- tc )- tc는, -tc 이하인 경우, -tc로 잘라올리고, tc 이상인 경우, tc로 잘라버리는 클립 처리를 나타내고 있다. tc2에 대한 클립도 마찬가지이다. 또한, 이후의 식에 대해서도 마찬가지이다. 또한, tc는, 표 1에 나타낸 바와 같이, 파라미터 Q에 기초하여 설정되는 값이다.
이에 반해, R2W2의 경우의 휘도 신호의 약 필터링의 판정식과 약 필터링에서는, 식 (64) 내지 식 (66)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다. 또한, 식 (64) 내지 식 (66)에 있어서의 제1 식째가, 약 필터링의 판정식이다.
Figure 112020021353910-pat00023
여기서, R2W2의 경우의 식 (65) 중, 약 필터링의 식인 제2 식째의 tc2의 클립 내는, 선형 근사의 식 (49)에 의해, HEVC 방식에 있어서의 식 (62) 중, 제2 식째의 tc2의 클립 내와 상이하다. 즉, 제2 식째의 tc2의 클립 내는, HEVC 방식의 제2 식째의 tc2의 클립 내 「((((p2i+p0i+1)>>1)-p1i+delta)>>1)」이, 「((((p1i+p1i+1)>>1)-p1i+delta)>>1)」로 교체되어 있다.
또한, R2W2의 경우의 식 (65) 중, 약 필터링의 판정식인 제1 식째의 if문 내는, HEVC 방식에 있어서의 식 (62) 중, 제1 식째의 if문 내와 상이하다. 즉, 제1 식째의 if문 내는, HEVC 방식의 제1 식째의 if문 내 「abs(p22-2*p12+p02)+abs(p25-2*p15+p05)」가, 「abs(0-(p12-p02))+abs(0-(p15-p05))」로 교체되어 있다.
즉, 식 (65) 중, 제1 식째에 대해서는, 선형 근사가 아니고, 다음 식 (67)에 나타내어지는, 바로 아래의 화소에서의 복사(padding)가 행해진다. 바꾸어 말하면, 「abs(0-(p12-p02))」에 있어서의 0은, 「0=p22-p12」를 나타내고 있고, 「abs(0-(p15-p05))」에 있어서의 0은, 「0=p25-p15」를 나타내고 있다.
Figure 112020021353910-pat00024
이것은, 필터링의 판정식에 있어서의 기울기에 대한 판정에 관하여, 선형 근사를 사용하면, 실제로는 스루할 수 없는 것에 대한 판정까지 스루해 버리기 때문이다. 따라서, 약 필터링의 판정식에 있어서의 기울기의 판정에 대해서는, 식 (67)에 나타내어지는 바와 같이, 바로 아래의 화소에서의 복사(padding)가 행해지는 것으로 한다. 이것은, 다음에 설명하는 강 필터링의 판정식이나 블록간의 경계 판정식에 대해서 동일하다고 할 수 있다.
다음에, 라인 경계에 있어서의 휘도 신호의 블록간의 경계 판정식과 강 필터링의 판정식에 대하여 설명한다.
우선, HEVC 방식에 있어서의 휘도 신호의 블록간의 경계 판정식은, 다음 식 (68)로 나타내어지고, 강 필터링의 판정식은, 다음 식 (69)로 나타내어진다.
Figure 112020021353910-pat00025
Figure 112020021353910-pat00026
이에 반해, 본 기술의 R2W2의 경우의 블록간의 경계 판정식은, 다음 식 (70)으로 나타내어지고, 강 필터링의 판정식은, 다음 식 (71)로 나타내어진다.
Figure 112020021353910-pat00027
Figure 112020021353910-pat00028
R2W2의 경우의 블록간의 경계 판정의 식 (70)의 if문 내의 제1 항목 및 제2 항목은, 복사(padding)의 식 (67)에 의해, HEVC 방식에 있어서의 블록간의 경계 판정의 식 (68)의 if문 내의 제1 항목 및 제2 항목과 상이하다. 즉, if문 내의 제1 항목과 제2 항목은, HEVC 방식의 if문 내의 제1 항목과 제2 항목 「abs(p22-2*p12+p02)+abs(p25-2*p15+p05)」가, 「abs(0-(p12-p02))+abs(0-(p15-p05))」로 교체되어 있다.
또한, R2W2의 경우의 강 필터링 판정의 식 (71)의 1행째의 절대값 내가, 복사(padding)의 식 (67)에 의해, HEVC 방식에 있어서의 강 필터링 판정의 식 (69)의 1행째의 절대값 내와 상이하다. 즉, 식 (71)의 1행째의 절대값 내는, 식 (69)의 1행째의 절대값 내 「abs(p22-2*p12+p02)+abs(p25-2*p15+p05)」가, 「abs(0-(p12-p02))+abs(0-(p15-p05))」로 교체되어 있다.
또한, R2W2의 경우의 강 필터링 판정의 식 (71)의 첫번째 「and」 이후의 식이, HEVC 방식에 있어서의 강 필터링 판정의 식 (69)의 첫번째 「and」 이후의 식과 상이하다. 즉, 식 (71)의 첫번째 「and」 이후의 식은, 식 (69)의 첫번째 「and」 이후의 식 「(|p3i-p0i<<1|+|q0i-q3i|)」<(β>>3))」이, 「(|p1i-p0i<<1|+|q0i-q3i|)」<(β>>3))」으로 교체되어 있다.
또한, 이 부분의 판정은, 화소값의 크기의 판정이므로, 선형 근사의 식 (49) 및 복사(padding)의 식 (67)이 사용되고 있다. 즉, 식 (71)의 첫번째 「and」 이후의 식은, 식 (69)의 첫번째 「and」 이후의 식에 있어서, 우선, 「p3i」가, 복사에 의해 「p2i」에 근사되고, 그 후, 「p2i」가, 선형에 의해 「2*p1i-p0i」에 근사되어 생성되어 있다.
[R2W1의 경우의 필터 처리]
다음에, R2W1의 경우의 휘도 신호의 필터 처리에 대하여 설명한다. R2는 참조되는 화소를 나타내고, W1은 필터 처리가 적용되는 화소를 나타낸다. 즉, R2W1이란, 도 19에 도시된 바와 같이, LCU의 라인 경계 상의 2화소를 참조하여, LCU의 라인 경계 상의 1화소에 필터 처리가 적용되는 것을 나타낸다.
R2W1의 경우의 본 기술의 휘도 신호의 강 필터링에서는, 식 (72) 내지 식 (75)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다.
Figure 112020021353910-pat00029
여기서, R2W1의 경우의 강 필터링의 식 (72)는, 선형 근사의 식 (49)에 의해, HEVC 방식에 있어서의 강 필터링의 식 (50)의 「p2i+2*p1i+2*p0i」가 「4*p1i+p0i」로 교체되어 있는 점이 상이하다.
R2W1의 경우의 강 필터링에 있어서는, HEVC 방식에 있어서의 강 필터링의 식 (52) 및 식 (54)에 대응하는 식이 삭제되어 있는 점이 상이하다.
즉, 본 기술에 있어서는, 블록 Bku의 라인 경계 BB로부터 위로 3행째의 행의 화소 「p2i」가 참조되지 않으므로, 그 대신에, 선형 근사의 식 (49)가 대입되어 사용된다.
또한, 블록 Bku의 라인 경계 BB로부터 위로 2행째의 행의 화소 「p10」 및 3행째의 행의 화소 「p20」에는, 필터 처리가 실시되지 않는다. 따라서, R2W1의 경우의 강 필터링에 있어서는, HEVC 방식에 있어서의 강 필터링의 식 (52) 및 식 (54)에 대응하는 식이 삭제된다.
다음에, 라인 경계에 있어서의 휘도 신호의 약 필터링의 판정식과 약 필터링에 대하여 설명한다.
R2W1의 경우의 휘도 신호의 약 필터링의 판정식과 약 필터링에서는, 식 (76) 및 식 (77)의 연산을 행함으로써, 필터 처리 범위의 각 화소의 휘도 성분이 산출된다.
Figure 112020021353910-pat00030
여기서, R2W1의 경우, 블록 Bku의 라인 경계 BB로부터 위로 2행째의 행의 화소 「p10」에는, 필터 처리가 실시되지 않는다. 따라서, R2W1의 경우의 약 필터링의 판정식과 약 필터링에 있어서는, HEVC 방식에 있어서의 식 (62)에 대응하는 식이 삭제된다.
다음에, 라인 경계에 있어서의 휘도 신호의 블록간의 경계 판정식과 강 필터링의 판정식에 대하여 설명한다.
R2W1의 경우의 블록간의 경계 판정식은, 다음 식 (78)로 나타내어지고, 강 필터링의 판정식은, 다음 식 (79)로 나타내어진다.
Figure 112020021353910-pat00031
Figure 112020021353910-pat00032
R2W1의 경우의 블록간의 경계 판정의 식 (78)의 if문 내의 제1 항목 및 제2 항목은, 복사(padding)의 식 (67)에 의해, HEVC 방식에 있어서의 블록간의 경계 판정의 식 (68)의 if문 내의 제1 항목 및 제2 항목과 상이하다. 즉, if문 내의 제1 항목과 제2 항목은, HEVC 방식의 if문 내의 제1 항목과 제2 항목 「abs(p22-2*p12+p02)+abs(p25-2*p15+p05)」가, 「abs(0-(p12-p02))+abs(0-(p15-p05))」로 교체되어 있다.
또한, R2W1의 경우의 강 필터링 판정의 식 (79)의 1행째의 절대값 내가, 복사(padding)의 식 (67)에 의해, HEVC 방식에 있어서의 강 필터링 판정의 식 (69)의 1행째의 절대값 내와 상이하다. 즉, 식 (79)의 1행째의 절대값 내는, 식 (69)의 1행째의 절대값 내 「abs(p22-2*p12+p02)+abs(p25-2*p15+p05)」가, 「abs(0-(p12-p02))+abs(0-(p15-p05))」로 교체되어 있다.
또한, R2W1의 경우의 강 필터링 판정의 식 (79)의 첫번째 「and」 이후의 식이, HEVC 방식에 있어서의 강 필터링 판정의 식 (69)의 첫번째 「and」 이후의 식과 상이하다. 즉, 식 (79)의 첫번째 「and」 이후의 식은, 식 (69)의 첫번째 「and」 이후의 식 「(|p3i-p0i<<1|+|q0i-q3i|)」<(β>>3))」이, 「(|p1i-p0i<<1|+|q0i-q3i|)」<(β>>3))」으로 교체되어 있다.
R2W2의 경우에 상술한 바와 같이, 이 부분의 판정은, 화소값의 크기의 판정이므로, 선형 근사의 식 (49) 및 복사(padding)의 식 (67)이 사용되고 있다. 즉, 식 (79)의 첫번째 「and」 이후의 식은, 식 (69)의 첫번째 「and」 이후의 식에 있어서, 우선, 「p3i」가 「p2i」에 근사되고, 그 후, 「p2i」가 「2*p1i-p0i」에 근사되어 생성되어 있다.
또한, 이상의 선형 근사에 의한 판정 처리를 실현하기 위한 구성예와 동작에 대해서는, 디블록킹 필터 처리부의 제6 및 제7 실시 형태로서, 후술하는 도 22 내지 도 24를 참조하여 설명한다.
또한, 상술한 바와 같이, 본 기술에 있어서는, 라인 경계에 있어서의 블록간의 경계 판정과 강 필터링 판정식을, 선형 근사의 식 (49) 및 복사(padding)의 식 (67)을 사용하여 변경하고 있다. 이 때문에, 상기 판정식을 잘못하여 스루 하고, 잘못하여 디블록킹 필터 처리가 행해져 버린 경우의 대응으로서, 강 필터링 처리에 클립 처리를 추가한다.
[본 기술의 설명(강 필터링에 있어서의 클립 처리)]
다음에, 제8 실시 형태인 강 필터링에 있어서의 클립 처리에 대하여 설명한다. R2W2의 경우의 휘도 신호의 강 필터링은, 클립 처리가 추가된, 다음 식 (80) 내지 식 (84)를 사용하는 것도 가능하다.
Figure 112020021353910-pat00033
강 필터링의 식 (80)은, 필터링 후의 p00의 산출식이다. 강 필터링의 식 (80)에 있어서는, 식 (56)에 있어서의 0 내지 255의 클립 처리 내와, p00의 차분에 대하여 (-tc) 내지 tc의 클립 처리가 실시된 값이, p00에 가산된 것에 대하여, 0 내지 255에 의한 클립 처리가 행해지고 있다.
강 필터링의 식 (81)은, 필터링 후의 q00의 산출식이다. 강 필터링의 식 (81)에 있어서는, 식 (57)에 있어서의 0 내지 255의 클립 처리 내와, q00의 차분에 대하여 (-tc) 내지 tc의 클립 처리가 실시된 값이, q00에 가산된 것에 대하여, 0 내지 255에 의한 클립 처리가 행해지고 있다.
강 필터링의 식 (82)는, 필터링 후의 p10의 산출식이다. 강 필터링의 식 (82)에 있어서는, 식 (58)에 있어서의 0 내지 255의 클립 처리 내와, p10의 차분에 대하여 (-tc) 내지 tc의 클립 처리가 실시된 값이, p10에 가산된 것에 대하여, 0 내지 255에 의한 클립 처리가 행해지고 있다.
강 필터링의 식 (83)은, 필터링 후의 q10의 산출식이다. 강 필터링의 식 (83)에 있어서는, 식 (59)에 있어서의 0 내지 255의 클립 처리 내와, q10의 차분에 대하여 (-tc) 내지 tc의 클립 처리가 실시된 값이, q10에 가산된 것에 대하여, 0 내지 255에 의한 클립 처리가 행해지고 있다.
강 필터링의 식 (84)는, 필터링 후의 q20의 산출식이다. 강 필터링의 식 (84)에 있어서는, 식 (60)에 있어서의 0 내지 255의 클립 처리 내와, q20의 차분에 대하여 (-tc) 내지 tc의 클립 처리가 실시된 값이, q20에 가산된 것에 대하여, 0 내지 255에 의한 클립 처리가 행해지고 있다.
이상과 같이 함으로써, 과도한 필터 처리가 가해지는 것을 억제하는 것이 가능하다.
또한, 여기서, Matthias Narroschke, Tomas Wedi, Semih Esenlik, "Results for modified decisions for deblocking", JCTVC-G590, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting, Geneva, CH, 21-30 November, 2011(이하, 비특허 문헌 2라 칭함)이 제안되어 있다.
비특허 문헌 2에 있어서는, 블록 단위로 강 필터링ㆍ약 필터링의 판정 처리가 기재되어 있다. 그러나, 비특허 문헌 2에 기재된 판정 처리에서는, 주목 라인과 그 라인이 포함되는 블록 단위의 판정이 상이한 경우(주목 라인은 약 필터링의 판정인 것에 반해, 그것을 포함하는 블록은 강 필터링 판정으로, 주목 라인에 강 필터링이 적용되는 경우), 과도한 필터 처리가 가해진다.
또한, 비특허 문헌 2에 있어서는, 강 필터링, 약 필터링의 판정 처리가 4라인 단위로 행해지기 때문에, 판정과 필터링 처리 사이에서 미스매치가 일어난다. 미스매치의 예로서는, 강으로 판정될 필요가 있는 데, 약 필터가 행해지거나, 약으로 판정될 필요가 있는 데, 강 필터가 행해지거나 한다.
또한, HEVC 방식(HM-5.0)에 있어서의 휘도 신호의 강 필터링에서는, 다음 식 (85) 내지 식 (89)가 채용되고 있다.
Figure 112020021353910-pat00034
본 기술에서는, 판정 처리의 미스매치 및 판정 처리의 불완전함을 해소하기 위해서, 다음 식 (90) 내지 식 (94)로 나타내는 클립 처리를 적용하는 것도 가능하다. 또한, 식 (90)에 있어서는, 필터 처리에 의해 변화하는 부분 Δ값에 클립 처리를 행하고 싶기 때문에, p0i가 클립 처리에서 벗어나 있다. 다른 식 (91) 내지 식 (94)에 대해서도 마찬가지이다.
Figure 112020021353910-pat00035
여기서, 클립값 pv는, 파라미터 tc의 1배, 2배, 3배, 4배, 5배, 6배, 7배, 8배 중 어느 하나로 한다. 즉, pv=tc, 2*tc, 3*tc, 4*tc, 5*tc, 6*tc, 7*tc, 8*tc이다. 또한, 클립값 pv는, 파라미터 tc의 2배가 적합하다고 생각되지만, 1 내지 8배 중 어느 하나이어도 된다고 상정된다. 또한, 동등의 효과가 얻어지면, 1 내지 8배로는 한정되지 않는다.
또한, tc는 양자화 파라미터 QP에 따라서 변동한다. 따라서, 클립값에 있어서의 tc에 관한 배수도 QP가 커지면 커지도록(즉, QP에 따라서 변동하도록) 하는 것도 가능하다. 이 클립 처리에 관한 파라미터(클립값이나 클립값에 있어서의 tc에 관한 배수의 값)는, 미리 설정되어 있어도 되고, 부호화 스트림에 부가하여, 복호측으로 전송하는 것도 가능하다.
또한, 상술한 식 (90) 내지 식 (94)는, 다음 식 (95) 내지 식 (99)와 같이 클립 처리를 행하도록 해도 된다.
Figure 112020021353910-pat00036
여기서, 상술한 HEVC 방식(HM-5.0)에 있어서의 휘도 신호의 강 필터링의 식 (85) 내지 식 (89)는, 라인 경계에 있어서의 휘도 신호의 강 필터링의 식이다. 즉, HEVC 방식(HM-5.0)에 있어서, 휘도 신호의 강 필터링은, 실제로는, 다음 식 (100) 내지 식 (105)로 나타내어져 있다.
Figure 112020021353910-pat00037
이들 식 (100) 내지 식 (105)에 대응하여, 본 기술에서는, 판정 처리의 미스매치 및 판정 처리의 불완전함을 해소하기 위해서, 휘도 신호의 강 필터링에, 다음 식 (106) 내지 식 (111)로 나타내는 바와 같이, 클립 처리를 적용하는 것이 가능하다. 또한, 식 (106)의 제1 식에 있어서는, 상술한 식 (90) 내지 식 (94)의 예와 마찬가지로, 필터 처리에 의해 변화하는 부분 Δ값에 클립 처리를 행하고 싶기 때문에, p0i가 클립 처리에서 벗어나 있다. 다른 식 (107) 내지 식 (111)의 제1 식에 대해서도 마찬가지이다.
Figure 112020054754236-pat00086
여기서, 클립값 pv는, 파라미터 tc의 1배, 2배, 3배, 4배, 5배, 6배, 7배, 8배 중 어느 하나로 한다. 즉, pv=tc, 2*tc, 3*tc, 4*tc, 5*tc, 6*tc, 7*tc, 8*tc이다. 또한, 클립값 pv는, 파라미터 tc의 2배가 적합하다고 생각되지만, 1 내지 8배 중 어느 하나이어도 된다고 상정된다. 또한, 동등의 효과가 얻어지면, 1 내지 8배로는 한정되지는 않는다.
또한, tc는, 양자화 파라미터 QP에 따라서 변동한다. 따라서, 클립값에 있어서의 tc에 관한 배수도 QP가 커지면 커지도록(즉, QP에 따라서 변동하도록) 하는 것도 가능하다. 이 클립 처리에 관한 파라미터(클립값이나 클립값에 있어서의 tc에 관한 배수의 값)은, 미리 설정되어 있어도 되고, 부호화 스트림에 부가하여, 복호측으로 전송하는 것도 가능하다.
도 20은, 실험에 의한, 상술한 식 (100) 내지 식 (105)의 HEVC 방식(HM-5.0)에 있어서의 휘도 신호의 강 필터링에 의해 변화하는 화소값의 최대값을 도시하는 도면이다.
AI_HE, RA_HE, LB_HE 및 LP_HE는, 본 실험의 컨디션을 나타내고 있다. AI_HE 는, 실험이 ALL INTRA High Efficiency에서 행해진 것을 나타내고 있다. RA_HE는, 실험이 Random Access High Efficiency에서 행해진 것을 나타내고 있다. LB_HE는, 실험이 Low Delay B High Efficiency에서 행해진 것을 나타내고 있다. LP_HE는, 실험이 Low Delay P High Efficiency에서 행해진 것을 나타내고 있다.
AI_HE, RA_HE, LB_HE 및 LP_HE의 아래에 나타내어지는 「22, 27, 32, 37」은, 실험에 사용된 양자화 파라미터의 값이다. 또한, Class A 내지 Class F는, 실험에 사용된 테스트 시퀀스의 종류를 나타내고 있다.
도 20에 도시된 바와 같이, HEVC 방식(HM-5.0)에 있어서의 휘도 신호의 강 필터링에 의해 변화하는 화소값은, 즉, 클립 처리가 없는 경우에 강 필터링에 의해 변화하는 화소값은, 경우에 따라서는 100 이상 크게 변화되어 버린다.
따라서, 휘도 신호의 강 필터링에 클립 처리를 적용한다. 이에 의해, 다음 도 21에 도시된 바와 같이, 판정 처리의 미스매치 및 판정 처리의 불완전함의 영향을 최소한으로 억제할 수 있다.
도 21의 예에 있어서는, 실선으로 나타내어지는 엣지(블록 경계가 아님)가 있는 경우에서, 본래는 디블록킹 처리를 행하고 싶지 않지만, 비특허 문헌 2의 기술에 의해, 디블록킹 처리가 실시되어 버리면, 점선으로 나타내어지는 바와 같이 화소값이 크게 변화되어 버린다.
예를 들면, 디블록킹 처리 전에는, 실선으로 나타내어지는 바와 같이, 화소 p2i, 화소 p1i 및 화소 p0i의 값은 255이고, 화소 q0i, 화소 q1i 및 화소 q2i의 값은 0이며, 화소 p0i 및 화소 q0i의 값의 차 D는 255이다.
이에 반해, 점선으로 나타내어지는 바와 같이, 디블록킹 처리 후의 화소 p2i의 값은 223으로 되고, 화소 p1i의 값은 191로 되고, 화소 p0i의 값은 159로 되어, 화소 p2i, 화소 p1i 및 화소 p0i의 화소값이 크게 변화되어 버렸다. 또한, 디블록킹 처리 후의 화소 q0i의 값은 96으로 되고, 화소 q1i의 값은 64로 되고, 화소 q2i의 값은 32로 되어, 화소 q0i, 화소 q1i 및 화소 q2i의 화소값이 크게 변화되어 버렸다.
이와 같은 경우에, 예를 들면 상술한 식 (106) 내지 식 (111)의 강 필터링에 있어서, 클립값이 10인 클립 처리를 행한다.
이에 의해, 굵은 선으로 나타내어지는 바와 같이, 디블록킹 후, 화소 p2i, 화소 p1i 및 화소 p0i의 값은 245로 되고, 화소 q0i, 화소 q1i 및 화소 q2i의 값은 255로 되어, 상술한 화소값의 변화를 최소한으로 억제할 수 있다.
또한, 이상의 강 필터링에 있어서의 클립 처리를 실현하기 위한 구성예와 동작에 대해서는, 디블록킹 필터 처리부의 제8 실시 형태로서, 후술하는 도 25 내지 도 27을 참조하여 설명한다.
<13. 디블록킹 필터 처리부의 제6 실시 형태>
[디블록킹 필터 처리부의 구성예]
도 22는 디블록킹 필터 처리부의 제6 실시 형태의 구성을 예시하고 있다. 디블록킹 필터 처리부(24)는, 화상 메모리(71), 블록 경계 판정부(72-1), 필터 강도 판정부(73-1), 필터 연산부(74-1), 셀렉터(75), 계수 메모리(76) 및 필터 제어부(77)를 포함하도록 구성된다. 디블록킹 필터 처리부(24)는, 또한, 라인 경계 블록 경계 판정부(72-2), 라인 경계 필터 강도 판정부(73-2) 및 라인 경계 필터 연산부(74-2)를 포함하도록 구성되어 있다.
화상 메모리(71)는, 도 9의 라인 메모리(241)에 상당하는 부이며, 라인 메모리로 구성되어 있다. 화상 메모리(71)는, 가산부(23)로부터 공급된 화상 데이터를 기억한다. 화상 메모리(71)는, 기억하고 있는 화상 데이터를 판독하여, 블록 경계 판정부(72-1), 필터 강도 판정부(73-1) 및 필터 연산부(74-1)에 공급한다. 화상 메모리(71)는, 또한, 기억하고 있는 화상 데이터를 판독하여, 라인 경계 블록 경계 판정부(72-2), 라인 경계 필터 강도 판정부(73-2) 및 라인 경계 필터 연산부(74-2)에도 공급한다.
또한, 라인 경계가 아닌 곳에서는, 화상 메모리(71)에 화상 데이터는 기억되지 않고, 가산부(23)로부터 공급된 화상 데이터가 각 부에 공급되어, 그것이 처리되는 경우도 있다. 그러나, 도 22의 예에 있어서는, 설명의 편의상, 화상 메모리(71)를 경유한 화상 데이터가 처리되는 것으로서 설명한다.
블록 경계 판정부(72-1)는, 제어부(77)의 제어 하에, 블록간의 경계 판정을 행한다. 즉, 블록 경계 판정부(72-1)는, 화상 메모리(71)로부터 판독된 화상 데이터를 사용하여 상술한 블록간의 경계 판정 처리를 블록마다 행하여, 필터 처리를 행하는 블록간의 경계를 검출한다. 블록 경계 판정부(72-1)는, 검출 결과를 필터 강도 판정부(73-1)로 출력한다.
필터 강도 판정부(73-1)는, 제어부(77)의 제어 하에, 상술한 바와 같이 필터 강도의 판정을 행한다. 즉, 필터 강도 판정부(73-1)는, 화상 메모리(71)로부터의, 블록의 경계를 사이에 두고 인접하는 2개의 블록의 화상 데이터를 사용하여, 라인마다, 강 필터링 또는 약 필터링 중 어느 강도로 필터 처리를 행할지 판정하고, 판정 결과를 필터 연산부(74-1)로 출력한다.
필터 연산부(74-1)는, 제어부(77)의 제어 하에, 화상 메모리(71)에 기억되어 있는 화상 데이터 및 계수 메모리(76)로부터 판독한 필터 계수를 사용하여, 라인마다, 필터 강도 판정부(73-1)에서 판정된 필터 강도로 필터 연산을 행한다. 필터 연산부(74-1)는, 필터 처리가 이루어진 화상 데이터를 셀렉터(75)로 출력한다.
라인 경계 블록 경계 판정부(72-2)는, 제어부(77)의 제어 하에, LCU의 라인 경계인 경우에, 블록간의 경계 판정을 행한다. 즉, 라인 경계 블록 경계 판정부(72-2)는, 화상 메모리(71)로부터 판독된 화상 데이터를 사용하여 상술한 블록간의 경계 판정 처리를 블록마다 행하여, 필터 처리를 행하는 블록간의 경계를 검출한다. 라인 경계 블록 경계 판정부(72-2)는, 검출 결과를 라인 경계 필터 강도 판정부(73-2)로 출력한다.
라인 경계 필터 강도 판정부(73-2)는, 제어부(77)의 제어 하에, LCU의 라인 경계인 경우에, 상술한 바와 같이 필터 강도의 판정을 행한다. 즉, 라인 경계 필터 강도 판정부(73-2)는, 화상 메모리(71)로부터의, 블록의 경계를 사이에 두고 인접하는 2개의 블록의 화상 데이터를 사용하여, 라인마다, 강 필터링 또는 약 필터링 중 어느 강도로 필터 처리를 행할지 판정하고, 판정 결과를 라인 경계 필터 연산부(74-2)로 출력한다.
라인 경계 필터 연산부(74-2)는, 제어부(77)의 제어 하에, 화상 메모리(71)에 기억되어 있는 화상 데이터 및 계수 메모리(76)로부터 판독한 필터 계수를 사용하여, 라인마다, 라인 경계 필터 강도 판정부(73-2)에서 판정된 필터 강도로 필터 연산을 행한다. 라인 경계 필터 연산부(74-2)는, 필터 처리가 이루어진 화상 데이터를 셀렉터(75)로 출력한다.
셀렉터(75)는, 제어부(77)의 제어 하에, 필터 연산부(74-1)로부터의 화상 데이터 또는 라인 경계 필터 연산부(74-2)로부터의 화상 데이터 중 어느 쪽인가를 선택하고, 선택한 화상 데이터를, 프레임 메모리(25)로 출력한다.
계수 메모리(76)는, 디블록킹 필터 처리의 필터 연산에 사용하는 필터 계수를 기억하고 있다. 계수 메모리(76)는, 기억하고 있는 필터 계수를 판독하여, 필터 연산부(74-1) 및 라인 경계 필터 연산부(74-2)에 공급한다.
제어부(77)는, 디블록킹 필터 처리부(24)의 각 부를 제어한다. 제어부(77)는, 예를 들면 화상 메모리(71)를 제어하여, 블록 내의 하단부측의 소정 라인수분의 화상 데이터를 기억시키고, 기억되어 있는 화상 데이터의 판독을 행한다. 제어부(77)는, LCU 내 라인 판정부(77A)를 포함하도록 구성되어 있다.
LCU 내 라인 판정부(77A)는, 래스터 스캔 방향으로 순차적으로 처리가 행해지는 블록 단위로, 예를 들면 LCU간의 라인 경계인지 판정하여 판정 결과를, 블록 경계 판정부(72-1), 필터 강도 판정부(73-1) 및 필터 연산부(74-1)에 공급하고, 라인 경계가 아닌 경우에, 처리를 행하게 한다. 또한, LCU 내 라인 판정부(77A)는, 그 판정 결과를, 라인 경계 블록 경계 판정부(72-2), 라인 경계 필터 강도 판정부(73-2) 및 라인 경계 필터 연산부(74-2)에도 공급하고, 라인 경계인 경우에, 처리를 행하게 한다. 또한, LCU 내 라인 판정부(77A)는, 그 판정 결과를, 셀렉터(75)에 공급하고, 라인 경계인 경우, 라인 경계 필터 연산부(74-2)로부터의 화상 데이터를 선택시키고, 라인 경계가 아닌 경우, 필터 연산부(74-1)로부터의 화상 데이터를 선택시킨다.
또한, 도 22의 디블록킹 필터 처리부(24)에 있어서는, 예를 들면 R2W2 처리를 행하는 것이 미리 설정되어 있어도 되고, 도 9의 예와 마찬가지로, 필터 처리 범위나 필터 연산 범위를 제어할 수 있도록 구성해도 된다.
[디블록킹 필터 처리부의 동작]
다음에, 도 23의 흐름도를 참조하여, 도 22의 디블록킹 필터 처리부(24)의 디블록킹 처리에 대하여 설명한다. 또한, 도 23의 예에 있어서는, R2W2의 처리가 행해지는 경우에 대하여 설명한다.
스텝 S91에 있어서, LCU 내 라인 판정부(77A)는, 래스터 스캔 방향으로 순차적으로 처리가 행해지는 블록 단위로, 걸리는 필터가, LCU 경계의 수직 필터인지 여부를 판정한다. 즉, 스텝 S91에 있어서는, LCU간의 라인 경계이며, 걸리는 필터가 수직 필터인지 여부가 판정된다.
스텝 S91에 있어서, 걸리는 필터가, LCU 경계의 수직 필터라고 판정된 경우, 처리는, 스텝 S92로 진행된다. 스텝 S92에 있어서, 라인 경계 블록 경계 판정부(72-2)는, 제어부(77)의 제어 하에, LCU의 라인 경계인 경우에, 라인 경계의 블록간의 경계 판정을 행한다.
즉, 라인 경계 블록 경계 판정부(72-2)는, 화상 메모리(71)로부터 판독된 화상 데이터를 사용하여, 상술한 식 (70)에 의해, 블록간의 경계 판정 처리를 블록마다 행하여, 필터 처리를 행하는 블록간의 경계를 검출한다. 라인 경계 블록 경계 판정부(72-2)는, 검출 결과를 라인 경계 필터 강도 판정부(73-2)로 출력한다.
스텝 S93에 있어서, 라인 경계 필터 강도 판정부(73-2)는, 제어부(77)의 제어 하에, LCU의 라인 경계인 경우에, 상술한 바와 같이, 라인 경계의 필터 강도의 판정을 행한다.
즉, 라인 경계 필터 강도 판정부(73-2)는, 화상 메모리(71)로부터의, 블록의 경계를 사이에 두고 인접하는 2개의 블록의 화상 데이터를 사용하여, 강 필터링 또는 약 필터링 중 어느 강도로 필터 처리를 행할지 판정한다. 또한, 상술한 식 (71)에 의해 강 필터링의 판정이 행해진다. 또한, 상술한 식 (64) 내지 식 (66)의 제1 식째에 의해, 약 필터링의 판정이 행해진다. 라인 경계 필터 강도 판정부(73-2)는, 판정 결과를 라인 경계 필터 연산부(74-2)로 출력한다.
스텝 S94에 있어서, 라인 경계 필터 연산부(74-2)는, 제어부(77)의 제어 하에, 라인 경계의 필터 처리를 행한다. 즉, 라인 경계 필터 연산부(74-2)는, 화상 메모리(71)에 기억되어 있는 화상 데이터 및 계수 메모리(76)로부터 판독한 필터 계수를 사용하여, 라인 경계 필터 강도 판정부(73-2)에서 판정된 필터 강도로 필터 연산을 행한다.
강 필터링의 경우, 상술한 식 (56) 내지 식 (60)에 의해 필터 연산이 행해진다. 또한, 약 필터링의 경우, 상술한 식 (64) 내지 식 (66)의 제2 식째 및 제3 식째에 의해 필터 연산이 행해진다. 라인 경계 필터 연산부(74-2)는, 필터 처리가 이루어진 화상 데이터를 셀렉터(75)로 출력한다.
LCU 내 라인 판정부(77A)는, 스텝 S95에 있어서, 처리 대상의 라인이, LCU에 있어서의 마지막 8라인째인지 여부를 판정한다. 스텝 S95에 있어서, 처리 대상의 라인이, LCU에 있어서의 마지막 8라인째가 아니라고 판정된 경우, 처리는, 스텝 S93으로 되돌아가서, 그 이후의 처리가 반복된다.
또한, 스텝 S95에 있어서, 처리 대상의 라인이, LCU에 있어서의 마지막 8라인째라고 판정된 경우, 처리는, 스텝 S100으로 진행된다.
한편, 스텝 S91에 있어서, 걸리는 필터가, LCU 경계의 수직 필터가 아니라고 판정된 경우, 처리는, 스텝 S96으로 진행된다. 스텝 S96에 있어서, 블록 경계 판정부(72-1)는, 제어부(77)의 제어 하에, 블록간의 경계 판정을 행한다.
즉, 블록 경계 판정부(72-1)는, 화상 메모리(71)로부터 판독된 화상 데이터를 사용하여, 상술한 식 (68)에 의해, 블록간의 경계 판정 처리를 블록마다 행하여, 필터 처리를 행하는 블록간의 경계를 검출한다. 블록 경계 판정부(72-1)는, 검출 결과를 필터 강도 판정부(73-1)로 출력한다.
필터 강도 판정부(73-1)는, 스텝 S97에 있어서, 제어부(77)의 제어 하에, 상술한 바와 같이 필터 강도의 판정을 행한다. 즉, 필터 강도 판정부(73-1)는, 화상 메모리(71)로부터의, 블록의 경계를 사이에 두고 인접하는 2개의 블록의 화상 데이터를 사용하여, 라인마다, 강 필터링 또는 약 필터링 중 어느 강도로 필터 처리를 행할지 판정한다. 또한, 상술한 식 (69)에 의해 강 필터링의 판정이 행해진다. 또한, 상술한 식 (61) 내지 식 (63)의 제1 식째에 의해, 약 필터링의 판정이 행해진다. 필터 강도 판정부(73-1)는, 판정 결과를 필터 연산부(74-1)로 출력한다.
필터 연산부(74-1)는, 스텝 S98에 있어서, 제어부(77)의 제어 하에, 블록 경계의 필터 연산을 행한다. 즉, 필터 연산부(74-1)는, 화상 메모리(71)에 기억되어 있는 화상 데이터 및 계수 메모리(76)로부터 판독한 필터 계수를 사용하여, 라인마다, 필터 강도 판정부(73-1)에서 판정된 필터 강도로 필터 연산을 행한다.
강 필터링의 경우, 상술한 식 (50) 내지 식 (55)에 의해 필터 연산이 행해진다. 또한, 약 필터링의 경우, 상술한 식 (61) 내지 식 (63)의 제2 식째 및 제3 식째에 의해 필터 연산이 행해진다. 필터 연산부(74-1)는, 필터 처리가 이루어진 화상 데이터를 셀렉터(75)로 출력한다.
LCU 내 라인 판정부(77A)는, 스텝 S99에 있어서, 처리 대상의 라인이, LCU에 있어서의 마지막 8라인째인지 여부를 판정한다. 스텝 S99에 있어서, 처리 대상의 라인이, LCU에 있어서의 마지막 8라인째가 아니라고 판정된 경우, 처리는, 스텝 S97로 되돌아가서, 그 이후의 처리가 반복된다.
또한, 스텝 S99에 있어서, 처리 대상의 라인이, LCU에 있어서의 마지막 8라인째라고 판정된 경우, 처리는, 스텝 S100으로 진행된다.
스텝 S100에 있어서, LCU 내 라인 판정부(77A)는, 화상의 마지막 블록인지 여부를 판정한다. 즉, 스텝 S100에 있어서는, 화면 내의 또 한번의 블록의 라인 경계인지가 판정된다.
스텝 S100에 있어서, 화상의 마지막 블록이라고 판정된 경우, 디블록킹 처리는 종료된다. 스텝 S100에 있어서, 화상의 마지막 블록이 아니라고 판정된 경우, 처리는, 스텝 S91로 되돌아가서, 래스터 스캔순으로 다음 LCU에 대하여 그 이후의 처리가 반복된다.
또한, 도 22의 예에 있어서는, 필터 연산부(74-1)에 있어서 라인 경계 이외의 경우의 계수를 사용하고, 라인 경계 필터 연산부(74-2)에 있어서 라인 경계의 경우의 계수를 사용하여, 어느 쪽을 사용할지가, LCU 내 라인 판정부(77A)에 있어서 선택된다. 이에 의해, 라인 경계에 있어서의 필터 처리와 라인 경계 이외의 필터 처리를 전환하도록 하는 예를 설명하였다.
이에 반해, 사용하는 계수를 1개로 하여, 판독하는 화소의 어드레스를 제어함으로써, 라인 경계에 있어서의 필터 처리와 라인 경계 이외의 필터 처리를 전환하도록 하는 것도 가능하다.
예를 들면, R2W2의 강 필터링에 있어서의 P00의 산출을 예로 설명한다. HEVC 방식에 있어서의 강 필터링의 식 (50)에 있어서,
p(블록 BKu)에 관한 항은, 「p2i+2*P1i+2*q0i」로 되어 있다.
한편, HEVC 방식에 있어서의 강 필터링의 식 (56)에 있어서는,
p(블록 BKu)에 관한 항은, 「4*P1i+q0i」로 되어 있다.
여기서, 4*P1i+q0i=q0i+2*P1i+2*P1i이다.
즉, 식 (50)에 있어서의 p에 관한 항도, 식 (56)에 있어서의 p에 관한 항도, 계수는, 좌측으로부터, 1, 2, 2가 사용되고 있다. 따라서, 동일한 계수를 사용하여, 그 계수의 승산 대상의 화소값을 교체하는 것(판독하는 어드레스를 변경하는 것)만으로, 라인 경계에 있어서의 필터 처리와 라인 경계 이외의 필터 처리를 전환하도록 하는 것이 가능하다.
<14. 디블록킹 필터 처리부의 제7 실시 형태>
[디블록킹 필터 처리부의 구성예]
도 24는 디블록킹 필터 처리부의 제7 실시 형태의 구성을 도시하고 있다.
도 24의 예에 있어서, 디블록킹 필터 처리부(24)는, 화상 메모리(71), 블록 경계 판정부(72), 필터 강도 판정부(73), 필터 연산부(74), 계수 메모리(76) 및 제어부(77)를 포함하도록 구성되어 있다.
또한, 도 24의 디블록킹 필터 처리부(24)는, 화상 메모리(71), 계수 메모리(76), 제어부(77)는, 도 22의 디블록킹 필터 처리부(24)와 공통되어 있다.
도 24의 디블록킹 처리부(24)는, 블록 경계 판정부(72-1)와 라인 경계 블록 경계 판정부(72-2)가 통합되어, 블록 경계 판정부(72)로 교체된 점이, 도 22의 디블록킹 필터 처리부(24)와 상이하다. 도 24의 디블록킹 처리부(24)는, 필터 강도 판정부(73-1)와 라인 경계 필터 강도 판정부(73-2)가 통합되어, 필터 강도 판정부(73)로 교체된 점이, 도 22의 디블록킹 필터 처리부(24)와 상이하다. 도 24의 디블록킹 처리부(24)는, 필터 연산부(74-1)와 라인 경계 필터 연산부(74-2)가 통합되어, 필터 연산부(74)로 교체된 점이, 도 22의 디블록킹 필터 처리부(24)와 상이하다.
또한, 도 24의 디블록킹 처리부(24)는, 제어부(77)의 LCU 내 라인 판정부(77A)가, LCU 내 라인 판정부(77B)로 교체된 점이, 도 22의 디블록킹 필터 처리부(24)와 상이하다.
즉, LCU 내 라인 판정부(77B)는, R2W2의 강 필터링에 있어서의 P00의 산출을 예로, 상술한 바와 같이, 화상 메모리(71)로부터 판독되는 화소의 어드레스를 제어한다. 따라서, 화상 메모리(71)는, LCU 내 라인 판정부(77B)에 의한 제어에 기초하여, 화소를 판독하고, 판독한 화소를, 블록 경계 판정부(72), 필터 강도 판정부(73), 필터 연산부(74)에 공급한다.
블록 경계 판정부(72)는, 블록간의 경계 판정을 행한다. 즉, 블록 경계 판정부(72)는, 화상 메모리(71)로부터 판독된 화상 데이터를 사용하여 상술한 블록간의 경계 판정 처리를 블록마다 행하여, 필터 처리를 행하는 블록간의 경계를 검출한다. 블록 경계 판정부(72)는, 검출 결과를 필터 강도 판정부(73)로 출력한다.
필터 강도 판정부(73)는, 상술한 바와 같이 필터 강도의 판정을 행한다. 즉, 필터 강도 판정부(73)는, 화상 메모리(71)로부터의, 블록의 경계를 사이에 두고 인접하는 2개의 블록의 화상 데이터를 사용하여, 라인마다, 강 필터링 또는 약 필터링 중 어느 강도로 필터 처리를 행할지 판정하고, 판정 결과를 필터 연산부(74)로 출력한다.
필터 연산부(74)는, 화상 메모리(71)에 기억되어 있는 화상 데이터 및 계수 메모리(76)로부터 판독한 필터 계수를 사용하여, 라인마다, 필터 강도 판정부(73)에서 판정된 필터 강도로 필터 연산을 행한다. 필터 연산부(74)는, 필터 처리가 이루어진 화상 데이터를 프레임 메모리(25)로 출력한다.
또한, 도 24의 디블록킹 처리부(24)에 의한 디블록킹 필터 처리는, 도 23을 참조하여 상술한 디블록킹 필터 처리와 기본적으로 마찬가지의 처리이므로, 그 설명은 생략된다.
이상과 같이, 필터 연산에 사용하는 화상 범위가 좁아짐으로써 참조할 수 없게 된 화소에 대하여, 블록의 경계 판정에 있어서의 파형의 기울기를 사용하여 보간하도록 하였다. 이에 의해, 화소값간에 기울기가 있는 경우의 디블록킹 처리에 대하여, LCU의 라인 경계에 있어서 화상 범위를 좁게 해도 행할 수 있게 된다.
또한, 필터 연산에 사용하는 화상 범위가 좁아짐으로써 참조할 수 없게 된 화소에 대하여, 블록의 경계 판정, 및 강약 필터의 판정에 있어서는, 블록의 경계 판정에 있어서의 파형의 기울기와 Padding을 사용하여 보간하도록 하였다. 이에 의해, 화소값간에 기울기가 있는 경우의 디블록킹의 판정 처리에 대하여, LCU의 라인 경계에 있어서 화상 범위를 좁게 해도, 행할 수 있게 된다.
이상에 의해, LCU의 라인 경계에 있어서는, 화상 범위를 좁게 해도, 디블록킹 처리의 기능을 유지하면서, 라인 메모리의 삭감을 실현하는 것이 가능하다.
<15. 디블록킹 필터 처리부의 제8 실시 형태>
[디블록킹 필터 처리부의 구성예]
도 25는 디블록킹 필터 처리부의 제8 실시 형태의 구성을 도시하고 있다.
도 25의 예에 있어서, 디블록킹 필터 처리부(24)는, 화상 메모리(81), 블록 경계 판정부(82), 필터 강도 판정부(83), 필터 연산부(84), 계수 메모리(85) 및 제어부(86)를 포함하도록 구성되어 있다.
화상 메모리(81)는, 도 22의 화상 메모리(71)에 상당하는 부이며, 라인 메모리로 구성되어 있다. 화상 메모리(81)는, 가산부(23)로부터 공급된 화상 데이터를 기억한다. 화상 메모리(81)는, 기억하고 있는 화상 데이터를 판독하여, 블록 경계 판정부(82), 필터 강도 판정부(83) 및 필터 연산부(84)에 공급한다.
또한, 라인 경계가 아닌 곳에서는, 화상 메모리(81)에 화상 데이터는 기억되지 않고, 가산부(23)로부터 공급된 화상 데이터가 각 부에 공급되어, 그것이 처리되는 경우도 있다. 그러나, 도 25의 예에 있어서는, 설명의 편의상, 화상 메모리(81)를 경유한 화상 데이터가 처리되는 것으로서 설명한다.
블록 경계 판정부(82)는, 제어부(86)의 제어 하에, 8라인마다, 경계를 도출하고, 판정에 사용하는 파라미터를 산출하거나 하여, 4라인마다, 블록간의 경계 판정을 행한다. 즉, 블록 경계 판정부(82)는, 화상 메모리(81)로부터 판독된 화상 데이터를 사용하여, TU 및 PU의 경계를 도출하고, BS값을 도출한다. 또한, 블록 경계 판정부(82)는, 처리 대상의 경계에 인접하는 2개의 영역의 양자화 파라미터 QP의 평균을 구하여, 평균 QP(양자화 파라미터)를 산출하고, 산출한 평균 QP에 기초하여, 파라미터 tc 및 β를 산출한다.
그리고, 블록 경계 판정부(82)는, 화상 메모리(81)로부터의, 블록의 경계를 사이에 두고 인접하는 2개의 블록의 화상 데이터와, 산출한 파라미터를 사용하여, 4라인마다, 필터를 행할지 여부를 판정한다. 블록 경계 판정부(82)는, 블록 경계 판정부(82)는, 경계 판정 결과와 함께, 산출한 파라미터를, 필터 강도 판정부(83)에 공급한다.
필터 강도 판정부(83)는, 제어부(86)의 제어 하에, 4라인마다, 필터 강도의 판정을 행한다. 즉, 필터 강도 판정부(83)는, 블록 경계 판정부(82)에 의해 필터를 행한다고 판정된 경우, 강 필터링 또는 약 필터링 중 어느 강도로 필터 처리를 행할지 판정하고, 판정 결과를 필터 연산부(84)로 출력한다.
필터 연산부(84)는, 제어부(86)의 제어 하에, 화상 메모리(81)에 기억되어 있는 화상 데이터 및 계수 메모리(85)로부터 판독한 필터 계수를 사용하여, 4라인마다, 필터 강도 판정부(83)에서 판정된 필터 강도로 필터 연산을 행한다. 특히, 필터 강도 판정부(83)에 의해 강 필터를 행한다고 판정된 경우, 필터 연산부(84)는, 상술한 식 (106) 내지 식 (111)을 사용하여, 클립 처리가 부가된 강 필터 처리를 행한다. 필터 연산부(84)는, 필터 처리가 이루어진 화상 데이터를 후단의 프레임 메모리(25)로 출력한다.
계수 메모리(85)는, 디블록킹 필터 처리의 필터 연산에 사용하는 필터 계수를 기억하고 있다. 계수 메모리(85)는, 기억하고 있는 필터 계수를 판독하여, 필터 연산부(84)에 공급한다.
제어부(86)는, 도시하지 않은 조작부(복호측의 경우, 가역 복호부(52))로부터 정보(디블록킹 필터의 ON/OFF 정보, 파라미터 β, tc의 각 오프셋값 및 클립 처리에 관한 파라미터 등)를 입력한다. 또한, 제어부(86)에는, 예측 모드 정보나 양자화 파라미터 등 디블록킹 필터에 필요한 파라미터도 공급된다.
예를 들면, 제어부(86)는, 입력되는 정보를, 대응하는 부에 공급하거나, 입력되는 ON/OFF 정보에 기초하여, 디블록킹 필터 처리부(24)의 각 부를 제어한다.
제어부(86)는, 예를 들면 화상 메모리(81)를 제어하여, 블록 내의 하단부측의 소정 라인수분의 화상 데이터를 기억시키고, 기억되어 있는 화상 데이터의 판독을 행한다. 또한, 제어부(86)는, 필터 연산부(84)를 제어하여, 강 필터를 행하는 경우에, 클립 처리가 부가된 강 필터 처리를 행하게 한다. 그때, 제어부(86)는, 이 클립 처리에 관한 파라미터(예를 들면, 클립값 pv나 클립값에 있어서의 tc의 배수값)를 필터 연산부(84)에 공급한다.
[디블록킹 필터 처리부의 동작]
다음에, 도 26의 흐름도를 참조하여, 도 25의 디블록킹 필터 처리부(24)의 디블록킹 처리에 대하여 설명한다.
예를 들면, 도시하지 않은 조작부(복호측의 경우, 가역 복호부(52))를 통하여 ON/OFF 정보, β 오프셋의 값 및 Tc 오프셋의 값, 클립 처리에 관한 파라미터가 제어부(86)에 입력된다. 또한, 제어부(86)에는, 예측 모드 정보나 양자화 파라미터 등 디블록킹 필터에 필요한 파라미터도 공급된다.
스텝 S201에 있어서, 제어부(86)는, 필터의 오프셋(β 오프셋 및 Tc 오프셋)을 설정하고, 설정한 오프셋의 정보를, 필터 강도 판정부(83)에 공급한다.
스텝 S202에 있어서, 제어부(86)는, ON/OFF 정보에 기초하여, 디블록킹 필터가 이용 불가인지 여부를 판정한다. 스텝 S202에 있어서, 디블록킹 필터가 이용 불가라고 판정한 경우, 디블록킹 필터 처리는 종료된다.
스텝 S202에 있어서, 디블록킹 필터가 이용 불가가 아니라고 판정된 경우, 제어부(86)는, 블록 경계 판정부(82), 필터 강도 판정부(83) 및 필터 연산부(84)에, 그 취지를 통지하고, 처리는, 스텝 S203으로 진행된다. 그때, 각 부에 필요한 파라미터 등도 제어부(86)로부터 공급된다.
스텝 S203에 있어서, 블록 경계 판정부(82)는, 8라인 단위로, TU와 PU의 경계를 도출한다. 스텝 S204에 있어서, 블록 경계 판정부(82)는, 스텝 S203에서 도출한 TU와 PU의 경계 등의 정보나, 제어부(86)로부터의 예측 모드 정보 등을 기초로, BS(Boundary Strength)값의 도출을 행한다.
스텝 S205에 있어서, 블록 경계 판정부(82), 필터 강도 판정부(83) 및 필터 연산부(84)는, 휘도 경계의 필터 처리를 행한다. 이 휘도 경계의 필터 처리는, 다음 도 27을 참조하여 후술하지만, 스텝 S205의 처리에 의해, 휘도 신호에 대하여, 휘도 경계의 필터가 실시된다.
스텝 S206에 있어서, 블록 경계 판정부(82), 필터 강도 판정부(83) 및 필터 연산부(84)는, 색차 경계의 필터 처리를 행한다. 스텝 S206의 처리에 의해, 색차 신호에 대하여, 색차 경계의 필터가 실시된다.
스텝 S207에 있어서, 제어부(86)는, 모든 경계를 처리하였는지 여부를 판정한다. 스텝 S207에 있어서, 모든 경계를 처리하지 않았다고 판단된 경우, 처리는, 스텝 S205로 되돌아가서, 그 이후의 처리가 반복된다. 스텝 S207에 있어서, 모든 경계를 처리하였다고 판정된 경우, 처리는, 스텝 S208로 진행된다.
스텝 S208에 있어서, 제어부(86)는, 모든 CU를 처리하였는지 여부를 판정한다. 스텝 S208에 있어서, 아직 모든 CU를 처리하지 않았다고 판단된 경우, 처리는, 스텝 S203으로 되돌아가서, 그 이후의 처리가 반복된다.
스텝 S208에 있어서, 모든 CU를 처리하였다고 판정된 경우, 디블록킹 필터 처리는 종료된다.
[휘도 경계의 필터 처리의 예]
다음에, 도 27의 흐름도를 참조하여, 도 26의 스텝 S205에 있어서의 휘도 경계의 필터 처리에 대하여 설명한다.
블록 경계 판정부(82)는, 스텝 S231에 있어서, 8라인 단위로, BS값이 0보다 큰지 여부를 판정한다. 스텝 S231에 있어서, BS값이 0보다 크지는 않다고 판정된 경우, 휘도 경계의 필터 처리는 종료된다. 즉, 이 경우의 휘도 경계에는, 필터 연산부(84)에 의한 필터 처리는 실시되지 않고, 필터 전의 화소값이 그대로 출력된다.
스텝 S231에 있어서, BS값이 0보다 크다고 판정된 경우, 처리는, 스텝 S232로 진행된다. 스텝 S232에 있어서, 블록 경계 판정부(82)는, 8라인 단위로, 화소 메모리(81)로부터의 화소값을 사용하여, 처리 대상의 경계에 인접하는 2개의 영역의 양자화 파라미터 QP의 평균을 구하여, 평균 QP(양자화 파라미터)를 산출한다. 이때의 양자화 파라미터 QP는, 제어부(86)로부터 공급된다.
스텝 S233에 있어서, 블록 경계 판정부(82)는, 8라인 단위로, 스텝 S232에 의해 산출된 평균 QP에 기초하여, 파라미터 tc 및 β를 산출한다.
스텝 S234에 있어서, 블록 경계 판정부(82)는, 4라인 단위의 필터의 on/off 판정을 행한다. 즉, 블록 경계 판정부(82)는, 산출한 파라미터 β 등을 사용하여, 4라인 단위의 필터의 on/off 판정을 행한다. 이 판정 처리에는, 예를 들면, 상술한 식 (68)이 사용된다.
스텝 S234에 있어서의 on/off 판정 결과는, 경계 판정 결과로서, 산출한 파라미터와 함께, 필터 강도 판정부(83)에 공급된다.
또한, 스텝 S235에 있어서, 필터 강도 판정부(83)는, 4라인 단위의 필터 강도 판정을 행한다. 즉, 필터 강도 판정부(83)는, 블록 경계 판정부(82)에 의해 산출된 파라미터 β나 파라미터 tc 등을 사용하여, 4라인 단위의 필터 강도 판정을 행한다. 이 판정 처리에는, 예를 들면 상술한 식 (69)나 식 (61) 내지 식 (63)에 있어서의 제1 식째가 사용된다.
스텝 S234에 있어서의 on/off 판정 결과 및 스텝 S235에 있어서의 필터 강도 판정 결과는, 필터 연산부(84)에 공급된다. 또한, 이때, 파라미터 tc도 필터 연산부(84)에 공급된다.
스텝 S236에 있어서, 필터 연산부(84)는, 필터 강도 판정부(83)로부터의 판정 결과에 기초하여, 처리 대상의 4라인에 대하여, 강 필터를 적용할지 여부를 판정한다. 스텝 S236에 있어서, 처리 대상의 4라인에 대하여, 강 필터를 적용한다고 판정된 경우, 처리는, 스텝 S237로 진행된다.
스텝 S237에 있어서, 필터 연산부(84)는, 제어부(86)에 의한 제어 하에, 상술한 식 (106) 내지 식 (111)을 사용하여, 클립 처리가 부가된 강 필터 처리를 행한다. 필터 연산부(84)는, 필터 처리 후의 화소값을, 후단으로 출력한다.
스텝 S236에 있어서, 강 필터를 적용하지 않는다고 판정된 경우, 스텝 S238에 있어서, 필터 연산부(84)는, 필터 강도 판정부(83)로부터의 판정 결과에 기초하여, 처리 대상의 4라인에 대하여, 약 필터를 적용할지 여부를 판정한다. 스텝 S238에 있어서, 약 필터를 적용한다고 판정된 경우, 처리는, 스텝 239로 진행된다.
스텝 S239에 있어서, 필터 연산부(84)는, 약 필터 처리를 행한다. 필터 연산부(84)는, 필터 처리 후의 화소값을, 후단으로 출력한다.
스텝 S238에 있어서, 약 필터를 적용하지 않는다고 판정된 경우, 처리는, 스텝 240으로 진행된다. 스텝 S240에 있어서, 필터 연산부(84)는, 필터 강도 판정부(83)로부터의 판정 결과에 기초하여, 처리 대상의 4라인에 대하여, 처리를 실시하지 않고, 그대로, 필터 처리 후의 화소값을, 후단으로 출력한다.
스텝 S240에 있어서, 필터 연산부(84)는, 8라인의 처리가 완료되었는지 여부를 판정하고, 8라인의 처리가 완료되었다고 판정한 경우, 휘도 신호의 디블록킹을 종료한다. 스텝 S240에 있어서, 8라인의 처리가 아직 완료되지 않았다고 판정된 경우, 처리는, 스텝 S234로 되돌아가서, 그 이후의 처리가 반복된다.
이상과 같이, 강 필터를 적용한다고 판정된 경우에, 클립 처리가 부가된 강 필터링을 행하도록 하였으므로, 판정 처리의 미스매치 및 판정 처리의 불완전함의 영향을 최소한으로 억제할 수 있다. 이에 의해, 디블록킹 처리에 있어서, 적절하게 필터링이 행해지도록 할 수 있다.
또한, 상기 설명에 있어서는, 선형 근사 및 클립 처리가 부가된 강 필터링에 대하여 설명하였다. 그리고, 선형 근사의 설명에 있어서는, 예로서, R2W2 및 R2W1의 경우에 대하여 설명하였지만, R3W2, R1W1의 경우도 마찬가지의 방법으로 선형 근사의 처리를 행하는 것이 가능하다.
<16. 제9 실시 형태>
[R3W2의 예]
다음에, 도 28을 참조하여, R3W2의 예의 경우에 대하여 설명한다. 도 28의 예에 있어서는, 실선 상의 흰색 동그라미가 디블록 필터 전의, 도 16에 도시된 경계 BB 부근의 p2i, p1i, p0i, q0i, q1i, q2i의 각 화소값을 나타내고 있다. 도 28에 도시된 바와 같이, 블록 BKu와 블록 BKl의 단차(갭)는, D=p0i-q0i이다.
또한, 점선 상의 동그라미는, HEVC 방식에 있어서의 휘도 신호의 강 필터링 후의 각 화소값을 나타내고 있다. 즉, 이 경우, 필터 전의 화소값과 강 필터링 후의 화소값의 차는, q2i에 대하여, 1/8*D이고, q1i에 대하여, 2/8*D이며, q0i에 대하여, 3/8*D이다. 마찬가지로, 필터 전의 화소값과 강 필터링 후의 화소값의 차는, p0i에 대하여, 3/8*D이고, p1i에 대하여, p2i에 대하여, 2/8*D이고, 1/8*D이다.
여기서, R3W2의 경우의 휘도 신호의 필터 처리를 생각하면, p2i에 대해서는 필터링이 행해지지 않는다. 즉, p2i는, 실선 상에 있는 점선 동그리미의 화소값으로 되어, p1i의 점선으로 나타내어지는 화소값과의 차가 커져, 실선 상에 있는 점선 동그라미로 나타내어지는 p2i의 화소값과, 점선으로 나타내어지는 p1i의 화소값 사이만, 급한 기울기를 갖게 된다.
따라서, R3W2의 경우에는, 이 기울기가 완만해지도록, p0i의 필터 전의 화소값(흰색 동그라미)과, 강 필터링 후의 화소값(해칭 동그라미)의 차 Δp1i는, 다음 식 (112)로 나타내어진다.
Figure 112020021353910-pat00039
즉, 이 식 (112)는, Δp1i가, p0i의 필터 전의 화소값(흰색 동그라미)과, 강 필터링 후의 화소값(해칭 동그라미)의 차 Δp0i의 절반의 값인 3/16*D를 취하도록 유도되어 있던 것이다.
그리고, 식 (112)의 마지막 근사식에 있어서의 우변의 제2 항목이, 필터 전의 화소값(흰색 동그라미)이므로, 식 (112)의 마지막 근사식에 있어서의 우변의 제1 항목은, 해칭 동그라미로 나타내어지는 p1i의 강 필터링 후의 화소값을 나타내고 있게 된다.
즉, 식 (112)의 마지막 근사식에 있어서의 우변의 제1 항목의 각 화소값에 승산되어 있는 계수를, R3W2의 경우의 강 필터링의 계수로서 사용한다. 이에 의해, R3W2의 경우의 강 필터링 후의 결과를, 도 28의 굵은 선의 기울기로 나타내어지는 바와 같이, 종래의 점선의 기울기와 비교하여 완만하게 할 수 있다.
또한, R3W2의 경우의 강 필터링의 판정식은, 다음 식 (113)으로 나타내어진다.
Figure 112020021353910-pat00040
R3W2의 경우의 강 필터링 판정의 식 (113)의 첫번째 「and」 이후의 식이, HEVC 방식에 있어서의 강 필터링 판정의 식 (69)의 첫번째 「and」 이후의 식과 상이하다. R3W2이므로, p3i를 참조할 수 없기 때문에, Padding(즉, p3i=p2i)이 적용된다.
따라서, 식 (113)의 첫번째 「and」 이후의 식은, 식 (69)의 첫번째 「and」 이후의 식 「(|p3i-p0i<<1|+|q0i-q3i|)」<(β>>3))」이, 「(|p2i-p0i<<1|+|q0i-q3i|)」<(β>>3))」으로 교체되어 있는 부분만이 상이하다.
또한, R3W2의 경우의 강 필터링에 대해서는, 상술한 식 (112)로부터, p10에 관련되는 식이, 식 (114)에 나타내어지는 바와 같이, HEVC 방식에 있어서의 강 필터링의 식 (52)와 상이하다.
Figure 112020021353910-pat00041
또한, R3W2의 경우의 강 필터링에 대해서는, HEVC 방식에 있어서의 강 필터링의 P20에 관련되는 식 (54)는, 필요없으므로 제외되어 있다.
이상에 의해, R3W2의 경우의 강 필터링에 대해서도, 정밀도를 열화시키지 않도록 행할 수 있다.
또한, 본 명세서에 있어서, 디블록 필터의 처리 단위의 크기는, 예를 들면 H.264/AVC의 매크로 블록의 크기나 HEVC에 있어서의 부호화 단위의 부호화 트리 블록(Coding Tree Block)의 크기 등이어도 된다. 또한, 본 명세서에 있어서, 블록 또는 매크로 블록이라는 용어는, HEVC의 문맥에 있어서의 부호화 단위(CU : Coding Unit), 예측 단위(PU : Prediction Unit), 변환 단위(TU : Transform Unit)도 포함하는 것으로 한다.
명세서 중에 있어서 설명한 일련의 처리는 하드웨어 또는 소프트웨어 또는 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시킨다. 또는, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것도 가능하다.
예를 들면, 프로그램은 기록 매체로서의 하드 디스크나 ROM(Read Only Memory)에 미리 기록해 둘 수 있다. 또는, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등의 리무버블 기록 매체에, 일시적 또는 영속적으로 저장(기록)해 둘 수 있다. 이와 같은 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터, 컴퓨터에 무선 전송하거나, LAN(Local Area Network), 인터넷 등의 네트워크를 통하여, 컴퓨터에 유선으로 전송한다. 컴퓨터에서는, 그와 같이 하여 전송되어 오는 프로그램을 수신하고, 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
<19. 제10 실시 형태>
[다시점 화상 부호화ㆍ다시점 화상 복호에의 적용]
상술한 일련의 처리는, 다시점 화상 부호화ㆍ다시점 화상 복호에 적용할 수 있다. 도 29는 다시점 화상 부호화 방식의 일례를 도시한다.
도 29에 도시된 바와 같이, 다시점 화상은, 복수의 시점의 화상을 포함하고, 그 복수의 시점 중 소정의 1개의 시점의 화상이, 베이스 뷰의 화상으로 지정되어 있다. 베이스 뷰의 화상 이외의 각 시점의 화상은, 논베이스 뷰의 화상으로서 취급된다.
도 29와 같은 다시점 화상 부호화를 행하는 경우, 각 뷰(동일 뷰)에 있어서, 강 필터링의 클립 처리에 관한 파라미터(예를 들면, 클립값이나 클립값에 있어서의 tc에 관한 배수 등)을 설정할 수 있다. 또한, 각 뷰(다른 뷰)에 있어서, 다른 뷰에서 설정된 강 필터링의 클립 처리에 관한 파라미터를 공유할 수도 있다.
이 경우, 베이스 뷰에 있어서 설정된 클립 처리에 관한 파라미터가, 적어도 1개의 논베이스 뷰에서 사용된다. 혹은, 예를 들면 논베이스 뷰(view_id=0)에 있어서 설정된 클립 처리에 관한 파라미터가, 베이스 뷰 및 논베이스 뷰(view_id=1)의 적어도 어느 한쪽에서 사용된다.
또한, 각 뷰(동일 뷰)에 있어서, 강 필터링의 클립 처리에 관한 파라미터를 설정할 수도 있다. 또한, 각 뷰(상이한 뷰)에 있어서, 다른 뷰에서 설정된 강 필터링의 클립 처리에 관한 파라미터를 공유할 수도 있다.
이 경우, 베이스 뷰에 있어서 설정된 클립 처리에 관한 파라미터가, 적어도 1개의 논베이스 뷰에서 사용된다. 혹은, 예를 들면 논베이스 뷰(view_id=0)에 있어서 설정된 클립 처리에 관한 파라미터가, 베이스 뷰 및 논베이스 뷰(view_id=1)의 적어도 어느 한쪽에서 사용된다.
이에 의해, 디블록킹 처리에 있어서, 적절하게 필터링이 행해지도록 할 수 있다.
[다시점 화상 부호화 장치]
도 30은 상술한 다시점 화상 부호화를 행하는 다시점 화상 부호화 장치를 도시하는 도면이다. 도 30에 도시된 바와 같이, 다시점 화상 부호화 장치(600)는, 부호화부(601), 부호화부(602) 및 다중화부(603)를 갖는다.
부호화부(601)는, 베이스 뷰 화상을 부호화하여, 베이스 뷰 화상 부호화 스트림을 생성한다. 부호화부(602)는, 논베이스 뷰 화상을 부호화하여, 논베이스 뷰 화상 부호화 스트림을 생성한다. 다중화부(603)는, 부호화부(601)에 있어서 생성된 베이스 뷰 화상 부호화 스트림과, 부호화부(602)에 있어서 생성된 논베이스 뷰 화상 부호화 스트림을 다중화하여, 다시점 화상 부호화 스트림을 생성한다.
이 다시점 화상 부호화 장치(600)의 부호화부(601) 및 부호화부(602)에 대하여, 화상 부호화 장치(10)(도 1)를 적용할 수 있다. 이 경우, 다시점 화상 부호화 장치(600)는, 부호화부(601)가 설정한 강 필터링의 클립 처리에 관한 파라미터와, 부호화부(602)가 설정한 강 필터링의 클립 처리에 관한 파라미터를 설정하여 전송시킨다.
또한, 상술한 바와 같이 부호화부(601)가 설정한 강 필터링의 클립 처리에 관한 파라미터를, 부호화부(601) 및 부호화부(602)에서 공유하여 사용하도록 설정하여 전송시키도록 해도 된다. 반대로, 부호화부(602)가 설정한 강 필터링의 클립 처리에 관한 파라미터를, 부호화부(601) 및 부호화부(602)에서 공유하여 사용하도록 설정하여 전송시키도록 해도 된다.
[다시점 화상 복호 장치]
도 31은, 상술한 다시점 화상 복호를 행하는 다시점 화상 복호 장치를 도시하는 도면이다. 도 31에 도시된 바와 같이, 다시점 화상 복호 장치(610)는, 역다중화부(611), 복호부(612) 및 복호부(613)를 갖는다.
역다중화부(611)는, 베이스 뷰 화상 부호화 스트림과 논베이스 뷰 화상 부호화 스트림이 다중화된 다시점 화상 부호화 스트림을 역다중화하여, 베이스 뷰 화상 부호화 스트림과, 논베이스 뷰 화상 부호화 스트림을 추출한다. 복호부(612)는, 역다중화부(611)에 의해 추출된 베이스 뷰 화상 부호화 스트림을 복호하여, 베이스 뷰 화상을 얻는다. 복호부(613)는, 역다중화부(611)에 의해 추출된 논베이스 뷰 화상 부호화 스트림을 복호하여, 논베이스 뷰 화상을 얻는다.
이 다시점 화상 복호 장치(610)의 복호부(612) 및 복호부(613)에 대하여, 화상 복호 장치(50)(도 6)를 적용할 수 있다. 이 경우, 다시점 화상 복호 장치(610)는, 부호화부(601)가 설정하고, 복호부(612)가 복호한 강 필터링의 클립 처리에 관한 파라미터와, 부호화부(602)가 설정하고, 복호부(613)가 복호한 강 필터링의 클립 처리에 관한 파라미터를 사용하여 처리를 행한다.
또한, 상술한 바와 같이 부호화부(601)(또는, 부호화(602))가 설정한 강 필터링의 클립 처리에 관한 파라미터를, 부호화부(601) 및 부호화부(602)에서 공유하여 사용하도록 설정하여 전송되고 있는 경우가 있다. 이 경우, 다시점 화상 복호 장치(610)에 있어서는, 부호화부(601)(또는, 부호화(602))가 설정하고, 복호부(612)(또는 복호부(613))가 복호한 강 필터링의 클립 처리에 관한 파라미터를 사용하여 처리가 행해진다.
<18. 제11 실시 형태>
[계층 화상 부호화ㆍ계층 화상 복호에의 적용]
상술한 일련의 처리는, 계층 화상 부호화ㆍ계층 화상 복호에 적용할 수 있다. 도 32는 다시점 화상 부호화 방식의 일례를 도시한다.
도 32에 도시된 바와 같이, 계층 화상은, 복수의 계층(해상도)의 화상을 포함하고, 그 복수의 해상도 중 소정의 1개의 계층의 화상이, 베이스 레이어의 화상으로 지정되어 있다. 베이스 레이어의 화상 이외의 각 계층의 화상은, 논베이스 레이어의 화상으로서 취급된다.
도 32와 같은 계층 화상 부호화(공간 스케일러빌리티)를 행하는 경우, 각 레이어(동일 레이어)에 있어서, 강 필터링의 클립 처리에 관한 파라미터를 설정할 수 있다. 또한, 각 레이어(상이한 레이어)에 있어서, 다른 레이어에서 설정된 강 필터링의 클립 처리에 관한 파라미터를 공유할 수 있다.
이 경우, 베이스 레이어에 있어서 설정된 강 필터링의 클립 처리에 관한 파라미터가, 적어도 1개의 논베이스 레이어에서 사용된다. 혹은, 예를 들면 논베이스 레이어(layer_id=0)에 있어서 설정된 강 필터링의 클립 처리에 관한 파라미터가, 베이스 레이어 및 논베이스 레이어(layer_id=1)의 적어도 어느 한쪽에서 사용된다.
또한, 각 레이어(동일 레이어)에 있어서, 강 필터링의 클립 처리에 관한 파라미터를 설정할 수도 있다. 또한, 각 레이어(상이한 레이어)에 있어서, 다른 뷰에서 설정된 강 필터링의 클립 처리에 관한 파라미터를 공유할 수도 있다.
이 경우, 베이스 레이어에 있어서 설정된 강 필터링의 클립 처리에 관한 파라미터가, 적어도 1개의 논베이스 레이어에서 사용된다. 혹은, 예를 들면 논베이스 레이어(layer_id=0)에 있어서 설정된 강 필터링의 클립 처리에 관한 파라미터가, 베이스 레이어 및 논베이스 레이어(layer_id=1)의 적어도 어느 한쪽에서 사용된다.
이에 의해, 디블록킹 처리에 있어서, 적절하게 필터링이 행해지도록 할 수 있다.
[계층 화상 부호화 장치]
도 33은 상술한 계층 화상 부호화를 행하는 계층 화상 부호화 장치를 도시하는 도면이다. 도 33에 도시된 바와 같이, 계층 화상 부호화 장치(620)는, 부호화부(621), 부호화부(622) 및 다중화부(623)를 갖는다.
부호화부(621)는, 베이스 레이어 화상을 부호화하여, 베이스 레이어 화상 부호화 스트림을 생성한다. 부호화부(622)는, 논베이스 레이어 화상을 부호화하여, 논베이스 레이어 화상 부호화 스트림을 생성한다. 다중화부(623)는, 부호화부(621)에 있어서 생성된 베이스 레이어 화상 부호화 스트림과, 부호화부(622)에 있어서 생성된 논베이스 레이어 화상 부호화 스트림을 다중화하여, 계층 화상 부호화 스트림을 생성한다.
이 계층 화상 부호화 장치(620)의 부호화부(621) 및 부호화부(622)에 대하여, 화상 부호화 장치(10)(도 1)를 적용할 수 있다. 이 경우, 계층 화상 부호화 장치(620)는, 부호화부(621)가 설정한 강 필터링의 클립 처리에 관한 파라미터와, 부호화부(602)가 설정한 강 필터링의 클립 처리에 관한 파라미터를 설정하여 전송시킨다.
또한, 상술한 바와 같이 부호화부(621)가 설정한 강 필터링의 클립 처리에 관한 파라미터를, 부호화부(621) 및 부호화부(622)에서 공유하여 사용하도록 설정하여 전송시키도록 해도 된다. 반대로, 부호화부(622)가 설정한 강 필터링의 클립 처리에 관한 파라미터를, 부호화부(621) 및 부호화부(622)에서 공유하여 사용하도록 설정하여 전송시키도록 해도 된다.
[계층 화상 복호 장치]
도 34는 상술한 계층 화상 복호를 행하는 계층 화상 복호 장치를 도시하는 도면이다. 도 34에 도시된 바와 같이, 계층 화상 복호 장치(630)는, 역다중화부(631), 복호부(632) 및 복호부(633)를 갖는다.
역다중화부(631)는, 베이스 레이어 화상 부호화 스트림과 논베이스 레이어 화상 부호화 스트림이 다중화된 계층 화상 부호화 스트림을 역다중화하여, 베이스 레이어 화상 부호화 스트림과, 논베이스 레이어 화상 부호화 스트림을 추출한다. 복호부(632)는, 역다중화부(631)에 의해 추출된 베이스 레이어 화상 부호화 스트림을 복호하여, 베이스 레이어 화상을 얻는다. 복호부(633)는, 역다중화부(631)에 의해 추출된 논베이스 레이어 화상 부호화 스트림을 복호하여, 논베이스 레이어 화상을 얻는다.
이 다시점 화상 복호 장치(630)의 복호부(632) 및 복호부(633)에 대하여, 화상 복호 장치(50)(도 6)를 적용할 수 있다. 이 경우, 다시점 화상 복호 장치(630)는, 부호화부(621)가 설정하고, 복호부(632)가 복호한 강 필터링의 클립 처리에 관한 파라미터와, 부호화부(622)가 설정하고, 복호부(633)가 복호한 강 필터링의 클립 처리에 관한 파라미터를 사용하여 처리를 행한다.
또한, 상술한 바와 같이 부호화부(621)(또는, 부호화(622))가 설정한 강 필터링의 클립 처리에 관한 파라미터를, 부호화부(621) 및 부호화부(622)에서 공유하여 사용하도록 설정하여 전송되고 있는 경우가 있다. 이 경우, 다시점 화상 복호 장치(630)에 있어서는, 부호화부(621)(또는, 부호화(622))가 설정하고, 복호부(632)(또는, 복호부(633))가 복호한 강 필터링의 클립 처리에 관한 파라미터를 사용하여 처리가 행해진다.
<19. 응용예>
상술한 실시 형태에 관한 화상 부호화 장치(10) 및 화상 복호 장치(50)는, 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신 및 셀룰러 통신에 의한 단말기에의 배신 등에 있어서의 송신기 혹은 수신기, 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하는 기록 장치, 또는, 이들 기억 매체로부터 화상을 재생하는 재생 장치 등의 다양한 전자 기기에 응용될 수 있다. 이하, 4개의 응용예에 대하여 설명한다.
[제1 응용예]
도 35는 상술한 실시 형태를 적용한 텔레비전 장치의 개략적인 구성의 일례를 도시하고 있다. 텔레비전 장치(900)는, 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907), 스피커(908), 외부 인터페이스부(909)를 갖고 있다. 또한, 텔레비전 장치(900)는, 제어부(910), 유저 인터페이스부(911) 등을 갖고 있다.
튜너(902)는, 안테나(901)를 통하여 수신되는 방송 신호로부터 원하는 채널의 신호를 추출하고, 추출한 신호를 복조한다. 그리고, 튜너(902)는, 복조에 의해 얻어진 부호화 비트 스트림을 디멀티플렉서(903)로 출력한다. 즉, 튜너(902)는, 화상이 부호화되어 있는 부호화 스트림을 수신하는, 텔레비전 장치(900)에 있어서의 전송 수단으로서의 역할을 갖는다.
디멀티플렉서(903)는, 부호화 비트 스트림으로부터 시청 대상의 프로그램의 영상 스트림 및 음성 스트림을 분리하고, 분리한 각 스트림을 디코더(904)로 출력한다. 또한, 디멀티플렉서(903)는, 부호화 비트 스트림으로부터 EPG(Electronic Program Guide) 등의 보조적인 데이터를 추출하고, 추출한 데이터를 제어부(910)에 공급한다. 또한, 디멀티플렉서(903)는, 부호화 비트 스트림이 스크램블되어 있는 경우에는, 디스크램블을 행해도 된다.
디코더(904)는, 디멀티플렉서(903)로부터 입력되는 영상 스트림 및 음성 스트림을 복호한다. 그리고, 디코더(904)는, 복호 처리에 의해 생성되는 영상 데이터를 영상 신호 처리부(905)로 출력한다. 또한, 디코더(904)는, 복호 처리에 의해 생성되는 음성 데이터를 음성 신호 처리부(907)로 출력한다.
영상 신호 처리부(905)는, 디코더(904)로부터 입력되는 영상 데이터를 재생하여, 표시부(906)에 영상을 표시시킨다. 또한, 영상 신호 처리부(905)는, 네트워크를 통하여 공급되는 어플리케이션 화면을 표시부(906)에 표시시켜도 된다. 또한, 영상 신호 처리부(905)는, 영상 데이터에 대하여, 설정에 따라서, 예를 들면 노이즈 제거 등의 추가적인 처리를 행해도 된다. 또한, 영상 신호 처리부(905)는, 예를 들면 메뉴, 버튼 또는 커서 등의 GUI(Graphical User Interface)의 화상을 생성하고, 생성한 화상을 출력 화상에 중첩해도 된다.
표시부(906)는, 영상 신호 처리부(905)로부터 공급되는 구동 신호에 의해 구동되어, 표시 디바이스(예를 들면, 액정 디스플레이, 플라즈마 디스플레이 또는 OLED 등)의 영상면 상에 영상 또는 화상을 표시한다.
음성 신호 처리부(907)는, 디코더(904)로부터 입력되는 음성 데이터에 대하여 D/A 변환 및 증폭 등의 재생 처리를 행하여, 스피커(908)로부터 음성을 출력시킨다. 또한, 음성 신호 처리부(907)는, 음성 데이터에 대하여 노이즈 제거 등의 추가적인 처리를 행해도 된다. 외부 인터페이스부(909)는, 텔레비전 장치(900)와 외부 기기 또는 네트워크를 접속하기 위한 인터페이스이다. 예를 들면, 외부 인터페이스부(909)를 통하여 수신되는 영상 스트림 또는 음성 스트림이, 디코더(904)에 의해 복호되어도 된다. 즉, 외부 인터페이스부(909)도 또한, 화상이 부호화되어 있는 부호화 스트림을 수신하는, 텔레비전 장치(900)에 있어서의 전송 수단으로서의 역할을 갖는다.
제어부(910)는, CPU(Central Processing Unit) 등의 프로세서, 및 RAM(Random Access Memory) 및 ROM(Read Only Memory) 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램, 프로그램 데이터, EPG 데이터 및 네트워크를 통하여 취득되는 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들면 텔레비전 장치(900)의 기동 시에 CPU에 의해 읽어들여져, 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들면 유저 인터페이스부(911)로부터 입력되는 조작 신호에 따라서, 텔레비전 장치(900)의 동작을 제어한다.
유저 인터페이스부(911)는, 제어부(910)와 접속된다. 유저 인터페이스부(911)는, 예를 들면 유저가 텔레비전 장치(900)를 조작하기 위한 버튼 및 스위치, 및 원격 제어 신호의 수신부 등을 갖는다. 유저 인터페이스부(911)는, 이들 구성 요소를 통하여 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성한 조작 신호를 제어부(910)로 출력한다.
버스(912)는, 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스부(909) 및 제어부(910)를 서로 접속한다.
이와 같이 구성된 텔레비전 장치(900)에 있어서, 디코더(904)는, 상술한 실시 형태에 관한 화상 복호 장치(50)의 기능을 갖는다. 그것에 의해, 텔레비전 장치(900)에서의 화상의 복호 시에, 디블록킹 필터 처리에 있어서, 적절하게 필터링을 행할 수 있다.
[제2 응용예]
도 36은 상술한 실시 형태를 적용한 휴대 전화기의 개략적인 구성의 일례를 도시하고 있다. 휴대 전화기(920)는, 안테나(921), 통신부(922), 음성 코덱(923), 스피커(924), 마이크로폰(925), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931), 조작부(932) 및 버스(933)를 구비한다.
안테나(921)는 통신부(922)에 접속된다. 스피커(924) 및 마이크로폰(925)은 음성 코덱(923)에 접속된다. 조작부(932)는 제어부(931)에 접속된다. 버스(933)는 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930) 및 제어부(931)를 서로 접속한다.
휴대 전화기(920)는, 음성 통화 모드, 데이터 통신 모드, 촬영 모드 및 화상 통화 모드를 포함하는 다양한 동작 모드에서, 음성 신호의 송수신, 전자 메일 또는 화상 데이터의 송수신, 화상의 촬상 및 데이터의 기록 등의 동작을 행한다.
음성 통화 모드에 있어서, 마이크로폰(925)에 의해 생성되는 아날로그 음성 신호는, 음성 코덱(923)에 공급된다. 음성 코덱(923)은, 아날로그 음성 신호를 음성 데이터로 변환하고, 변환된 음성 데이터를 A/D 변환하여 압축한다. 그리고, 음성 코덱(923)은, 압축 후의 음성 데이터를 통신부(922)로 출력한다. 통신부(922)는, 음성 데이터를 부호화 및 변조하여, 송신 신호를 생성한다. 그리고, 통신부(922)는, 생성한 송신 신호를 안테나(921)를 통하여 기지국(도시 생략)에 송신한다. 또한, 통신부(922)는, 안테나(921)를 통하여 수신되는 무선 신호를 증폭 및 주파수 변환하여, 수신 신호를 취득한다. 그리고, 통신부(922)는, 수신 신호를 복조 및 복호하여 음성 데이터를 생성하고, 생성한 음성 데이터를 음성 코덱(923)으로 출력한다. 음성 코덱(923)은, 음성 데이터를 신장 및 D/A 변환하여, 아날로그 음성 신호를 생성한다. 그리고, 음성 코덱(923)은, 생성한 음성 신호를 스피커(924)에 공급하여 음성을 출력시킨다.
또한, 데이터 통신 모드에서, 예를 들면 제어부(931)는, 조작부(932)를 통한 유저에 의한 조작에 따라서, 전자 메일을 구성하는 문자 데이터를 생성한다. 또한, 제어부(931)는, 문자를 표시부(930)에 표시시킨다. 또한, 제어부(931)는, 조작부(932)를 통한 유저로부터의 송신 지시에 따라서 전자 메일 데이터를 생성하고, 생성한 전자 메일 데이터를 통신부(922)로 출력한다. 통신부(922)는, 전자 메일 데이터를 부호화 및 변조하여, 송신 신호를 생성한다. 그리고, 통신부(922)는, 생성한 송신 신호를 안테나(921)를 통하여 기지국(도시 생략)에 송신한다. 또한, 통신부(922)는, 안테나(921)를 통하여 수신되는 무선 신호를 증폭 및 주파수 변환하여, 수신 신호를 취득한다. 그리고, 통신부(922)는, 수신 신호를 복조 및 복호하여 전자 메일 데이터를 복원하고, 복원한 전자 메일 데이터를 제어부(931)로 출력한다. 제어부(931)는, 표시부(930)에 전자 메일의 내용을 표시시킴과 함께, 전자 메일 데이터를 기록 재생부(929)의 기억 매체에 기억시킨다.
기록 재생부(929)는, 판독 기입 가능한 임의의 기억 매체를 갖는다. 예를 들면, 기억 매체는, RAM 또는 플래시 메모리 등의 내장형 기억 매체이어도 되고, 하드 디스크, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드 등의 외부 장착형 기억 매체이어도 된다.
또한, 촬영 모드에 있어서, 예를 들면 카메라부(926)는, 피사체를 촬상하여 화상 데이터를 생성하고, 생성한 화상 데이터를 화상 처리부(927)로 출력한다. 화상 처리부(927)는, 카메라부(926)로부터 입력되는 화상 데이터를 부호화하고, 부호화 스트림을 기록 재생부(929)의 기억 매체에 기억시킨다.
또한, 화상 통화 모드에 있어서, 예를 들면 다중 분리부(928)는, 화상 처리부(927)에 의해 부호화된 영상 스트림과, 음성 코덱(923)으로부터 입력되는 음성 스트림을 다중화하고, 다중화한 스트림을 통신부(922)로 출력한다. 통신부(922)는, 스트림을 부호화 및 변조하여, 송신 신호를 생성한다. 그리고, 통신부(922)는, 생성한 송신 신호를 안테나(921)를 통하여 기지국(도시 생략)에 송신한다. 또한, 통신부(922)는, 안테나(921)를 통하여 수신되는 무선 신호를 증폭 및 주파수 변환하여, 수신 신호를 취득한다. 이들 송신 신호 및 수신 신호에는, 부호화 비트 스트림이 포함될 수 있다. 그리고, 통신부(922)는, 수신 신호를 복조 및 복호하여 스트림을 복원하고, 복원한 스트림을 다중 분리부(928)로 출력한다. 다중 분리부(928)는, 입력되는 스트림으로부터 영상 스트림 및 음성 스트림을 분리하고, 영상 스트림을 화상 처리부(927), 음성 스트림을 음성 코덱(923)으로 출력한다. 화상 처리부(927)는, 영상 스트림을 복호하여, 영상 데이터를 생성한다. 영상 데이터는, 표시부(930)에 공급되고, 표시부(930)에 의해 일련의 화상이 표시된다. 음성 코덱(923)은, 음성 스트림을 신장 및 D/A 변환하여, 아날로그 음성 신호를 생성한다. 그리고, 음성 코덱(923)은, 생성한 음성 신호를 스피커(924)에 공급하여 음성을 출력시킨다.
이와 같이 구성된 휴대 전화기(920)에 있어서, 화상 처리부(927)는, 상술한 실시 형태에 관한 화상 부호화 장치(10) 및 화상 복호 장치(50)의 기능을 갖는다. 그것에 의해, 휴대 전화기(920)에서의 화상의 부호화 및 복호 시에, 디블록킹 필터 처리에 있어서, 적절하게 필터링을 행할 수 있다.
[제3 응용예]
도 37은 상술한 실시 형태를 적용한 기록 재생 장치의 개략적인 구성의 일례를 도시하고 있다. 기록 재생 장치(940)는, 예를 들면 수신한 방송 프로그램의 음성 데이터 및 영상 데이터를 부호화하여 기록 매체에 기록한다. 또한, 기록 재생 장치(940)는, 예를 들면 다른 장치로부터 취득되는 음성 데이터 및 영상 데이터를 부호화하여 기록 매체에 기록해도 된다. 또한, 기록 재생 장치(940)는, 예를 들면 유저의 지시에 따라서, 기록 매체에 기록되어 있는 데이터를 모니터 및 스피커 상에서 재생한다. 이때, 기록 재생 장치(940)는, 음성 데이터 및 영상 데이터를 복호한다.
기록 재생 장치(940)는, 튜너(941), 외부 인터페이스부(942), 인코더(943), HDD(Hard Disk Drive)(944), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(On-Screen Display)부(948), 제어부(949) 및 유저 인터페이스부(950)를 구비한다.
튜너(941)는, 안테나(도시 생략)를 통하여 수신되는 방송 신호로부터 원하는 채널의 신호를 추출하고, 추출한 신호를 복조한다. 그리고, 튜너(941)는, 복조에 의해 얻어진 부호화 비트 스트림을 셀렉터(946)로 출력한다. 즉, 튜너(941)는, 기록 재생 장치(940)에 있어서의 전송 수단으로서의 역할을 갖는다.
외부 인터페이스부(942)는, 기록 재생 장치(940)와 외부 기기 또는 네트워크를 접속하기 위한 인터페이스이다. 외부 인터페이스부(942)는, 예를 들면 IEEE1394 인터페이스, 네트워크 인터페이스, USB 인터페이스 또는 플래시 메모리 인터페이스 등이어도 된다. 예를 들면, 외부 인터페이스부(942)를 통하여 수신되는 영상 데이터 및 음성 데이터는, 인코더(943)에 입력된다. 즉, 외부 인터페이스부(942)는, 기록 재생 장치(940)에 있어서의 전송 수단으로서의 역할을 갖는다.
인코더(943)는, 외부 인터페이스부(942)로부터 입력되는 영상 데이터 및 음성 데이터가 부호화되어 있지 않은 경우에, 영상 데이터 및 음성 데이터를 부호화한다. 그리고, 인코더(943)는, 부호화 비트 스트림을 셀렉터(946)로 출력한다.
HDD(944)는, 영상 및 음성 등의 콘텐츠 데이터가 압축된 부호화 비트 스트림, 각종 프로그램 및 그 밖의 데이터를 내부의 하드 디스크에 기록한다. 또한, HDD(944)는, 영상 및 음성의 재생 시에, 이들 데이터를 하드 디스크로부터 판독한다.
디스크 드라이브(945)는, 장착되어 있는 기록 매체에의 데이터의 기록 및 판독을 행한다. 디스크 드라이브(945)에 장착되는 기록 매체는, 예를 들면 DVD 디스크(DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등) 또는 Blu-ray(등록 상표) 디스크 등이어도 된다. 셀렉터(946)는, 영상 및 음성의 기록 시에는, 튜너(941) 또는 인코더(943)로부터 입력되는 부호화 비트 스트림을 선택하고, 선택한 부호화 비트 스트림을 HDD(944) 또는 디스크 드라이브(945)로 출력한다. 또한, 셀렉터(946)는, 영상 및 음성의 재생 시에는, HDD(944) 또는 디스크 드라이브(945)로부터 입력되는 부호화 비트 스트림을 디코더(947)로 출력한다.
디코더(947)는, 부호화 비트 스트림을 복호하여, 영상 데이터 및 음성 데이터를 생성한다. 그리고, 디코더(947)는, 생성한 영상 데이터를 OSD부(948)로 출력한다. 또한, 디코더(904)는, 생성한 음성 데이터를 외부의 스피커로 출력한다. OSD부(948)는, 디코더(947)로부터 입력되는 영상 데이터를 재생하여, 영상을 표시한다. 또한, OSD부(948)는, 표시하는 영상에, 예를 들면 메뉴, 버튼 또는 커서 등의 GUI의 화상을 중첩해도 된다.
제어부(949)는, CPU 등의 프로세서, 및 RAM 및 ROM 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램 및 프로그램 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들면 기록 재생 장치(940)의 기동 시에 CPU에 의해 읽어들여져, 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들면 유저 인터페이스부(950)로부터 입력되는 조작 신호에 따라서, 기록 재생 장치(940)의 동작을 제어한다.
유저 인터페이스부(950)는 제어부(949)와 접속된다. 유저 인터페이스부(950)는, 예를 들면 유저가 기록 재생 장치(940)를 조작하기 위한 버튼 및 스위치, 및 원격 제어 신호의 수신부 등을 갖는다. 유저 인터페이스부(950)는, 이들 구성 요소를 통하여 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성한 조작 신호를 제어부(949)로 출력한다.
이와 같이 구성된 기록 재생 장치(940)에 있어서, 인코더(943)는, 상술한 실시 형태에 관한 화상 부호화 장치(10)의 기능을 갖는다. 또한, 디코더(947)는, 상술한 실시 형태에 관한 화상 복호 장치(50)의 기능을 갖는다. 그것에 의해, 기록 재생 장치(940)에서의 화상의 부호화 및 복호 시에, 디블록킹 필터 처리에 있어서, 적절하게 필터링을 행할 수 있다.
[제4 응용예]
도 38은 상술한 실시 형태를 적용한 촬상 장치의 개략적인 구성의 일례를 도시하고 있다. 촬상 장치(960)는, 피사체를 촬상하여 화상을 생성하고, 화상 데이터를 부호화하여 기록 매체에 기록한다.
촬상 장치(960)는, 광학 블록(961), 촬상부(962), 카메라 신호 처리부(963), 화상 처리부(964), 표시부(965), 외부 인터페이스부(966), 메모리(967), 미디어 드라이브(968), OSD부(969), 제어부(970), 유저 인터페이스부(971) 및 버스(972)를 구비한다.
광학 블록(961)은, 포커스 렌즈 및 조리개 기구 등을 갖는다. 광학 블록(961)은, 피사체의 광학상을 촬상부(962)의 촬상면에 결상시킨다. 촬상부(962)는, CCD 또는 CMOS 등의 이미지 센서를 갖고, 촬상면에 결상한 광학상을 광전 변환에 의해 전기 신호로서의 화상 신호로 변환한다. 그리고, 촬상부(962)는, 화상 신호를 카메라 신호 처리부(963)로 출력한다.
카메라 신호 처리부(963)는, 촬상부(962)로부터 입력되는 화상 신호에 대하여 니 보정, 감마 보정, 색 보정 등의 다양한 카메라 신호 처리를 행한다. 카메라 신호 처리부(963)는, 카메라 신호 처리 후의 화상 데이터를 화상 처리부(964)로 출력한다.
화상 처리부(964)는, 카메라 신호 처리부(963)로부터 입력되는 화상 데이터를 부호화하여, 부호화 데이터를 생성한다. 그리고, 화상 처리부(964)는, 생성한 부호화 데이터를 외부 인터페이스부(966) 또는 미디어 드라이브(968)로 출력한다. 또한, 화상 처리부(964)는, 외부 인터페이스부(966) 또는 미디어 드라이브(968)로부터 입력되는 부호화 데이터를 복호하여, 화상 데이터를 생성한다. 그리고, 화상 처리부(964)는, 생성한 화상 데이터를 표시부(965)로 출력한다. 또한, 화상 처리부(964)는, 카메라 신호 처리부(963)로부터 입력되는 화상 데이터를 표시부(965)로 출력하여 화상을 표시시켜도 된다. 또한, 화상 처리부(964)는, OSD부(969)로부터 취득되는 표시용 데이터를, 표시부(965)로 출력하는 화상에 중첩해도 된다.
OSD부(969)는, 예를 들면 메뉴, 버튼 또는 커서 등의 GUI의 화상을 생성하고, 생성한 화상을 화상 처리부(964)로 출력한다.
외부 인터페이스부(966)는, 예를 들면 USB 입출력 단자로서 구성된다. 외부 인터페이스부(966)는, 예를 들면 화상의 인쇄 시에, 촬상 장치(960)와 프린터를 접속한다. 또한, 외부 인터페이스부(966)에는, 필요에 따라서 드라이브가 접속된다. 드라이브에는, 예를 들면 자기 디스크 또는 광 디스크 등의 리무버블 미디어가 장착되고, 리무버블 미디어로부터 판독되는 프로그램이, 촬상 장치(960)에 인스톨될 수 있다. 또한, 외부 인터페이스부(966)는, LAN 또는 인터넷 등의 네트워크에 접속되는 네트워크 인터페이스로서 구성되어도 된다. 즉, 외부 인터페이스부(966)는, 촬상 장치(960)에 있어서의 전송 수단으로서의 역할을 갖는다.
미디어 드라이브(968)에 장착되는 기록 매체는, 예를 들면 자기 디스크, 광자기 디스크, 광 디스크 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어이어도 된다. 또한, 미디어 드라이브(968)에 기록 매체가 고정적으로 장착되어, 예를 들면 내장형 하드디스크 드라이브 또는 SSD(Solid State Drive)와 같은 비가반성의 기억부가 구성되어도 된다.
제어부(970)는, CPU 등의 프로세서와 RAM 및 ROM 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램 및 프로그램 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들면 촬상 장치(960)의 기동 시에 CPU에 의해 읽어들여져, 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들면 유저 인터페이스부(971)로부터 입력되는 조작 신호에 따라서, 촬상 장치(960)의 동작을 제어한다.
유저 인터페이스부(971)는 제어부(970)와 접속된다. 유저 인터페이스부(971)는, 예를 들면 유저가 촬상 장치(960)를 조작하기 위한 버튼 및 스위치 등을 갖는다. 유저 인터페이스부(971)는, 이들 구성 요소를 통하여 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성한 조작 신호를 제어부(970)로 출력한다.
버스(972)는, 화상 처리부(964), 외부 인터페이스부(966), 메모리(967), 미디어 드라이브(968), OSD부(969) 및 제어부(970)를 서로 접속한다.
이와 같이 구성된 촬상 장치(960)에 있어서, 화상 처리부(964)는, 상술한 실시 형태에 관한 화상 부호화 장치(10) 및 화상 복호 장치(50)의 기능을 갖는다. 그것에 의해, 촬상 장치(960)에서의 화상의 부호화 및 복호 시에, 디블록킹 필터 처리에 있어서, 적절하게 필터링을 행할 수 있다.
또한, 본 명세서에서는, 강 필터링의 클립 처리에 관한 파라미터 등의 각종 정보가, 부호화 스트림에 다중화되어, 부호화측으로부터 복호측으로 전송되는 예에 대하여 설명하였다. 그러나, 이들 정보를 전송하는 방법은 이러한 예에 한정되지 않는다. 예를 들면, 이들 정보는, 부호화 비트 스트림에 다중화되지 않고, 부호화 비트 스트림과 관련지어진 별개의 데이터로서 전송되어도 또는 기록되어도 된다. 여기서, 「관련짓다」라는 용어는, 비트 스트림에 포함되는 화상(슬라이스 혹은 블록 등, 화상의 일부이어도 됨)과 당해 화상에 대응하는 정보를 복호 시에 링크시킬 수 있도록 하는 것을 의미한다. 즉, 정보는, 화상(또는 비트 스트림)과는 다른 전송로 상에서 전송되어도 된다. 또한, 정보는, 화상(또는 비트 스트림)과는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에리어)에 기록되어도 된다. 또한, 정보와 화상(또는 비트 스트림)은, 예를 들면 복수 프레임, 1프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어져도 된다.
또한, 본 기술은, 상술한 실시 형태에 한정하여 해석되어서는 안된다. 이 실시 형태는, 예시라는 형태로 본 기술을 개시하고 있고, 본 기술의 요지를 일탈하지 않는 범위에서 당업자가 실시 형태의 수정이나 대용을 이룰 수 있는 것은 자명하다. 즉, 본 기술의 요지를 판단하기 위해서는, 청구 범위를 참작해야 한다.
또한, 본 기술의 화상 처리 장치는 이하와 같은 구성도 취할 수 있다.
(1) 계층 구조를 갖는 단위로 부호화된 부호화 스트림을 복호하여 화상을 생성하는 복호부와,
상기 복호부에 의해 생성된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하는 필터부와,
상기 디블록킹 필터의 강도로서 스트롱 필터가 적용되는 경우에, 상기 복호부에 의해 생성된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록, 상기 필터부를 제어하는 제어부를 구비하는, 화상 처리 장치.
(2) 상기 제어부는, 상기 디블록킹 필터를 적용할 때에 변화하는 부분의 값에 클립 처리를 적용하는 (1)에 기재된 화상 처리 장치.
(3) 상기 제어부는, 하기 식에 따라서, 상기 클립 처리를 적용하는 (2)에 기재된 화상 처리 장치.
Figure 112020021353910-pat00042
여기서, i=0,7, pv는 클립값이다.
(4) 상기 제어부는, 상기 디블록킹 필터의 파라미터의 정수배의 값을, 클립 처리를 행할 때에 사용하는 클립값으로서 설정하는 (3)에 기재된 화상 처리 장치.
(5) 상기 제어부는, 상기 디블록킹 필터의 파라미터의 2배의 값을, 클립 처리를 행할 때에 사용하는 클립값으로서 설정하는 (4)에 기재된 화상 처리 장치.
(6) 상기 블록 경계에 적용하는 디블록킹 필터의 강도를 판정하는 필터 강도 판정부를 더 구비하고,
상기 필터부는, 상기 필터 강도 판정부에 의해 판정된 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하고,
상기 제어부는, 상기 필터 강도 판정부에 의해 스트롱 필터가 적용된다고 판정된 경우에, 상기 복호부에 의해 생성된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록, 상기 필터부를 제어하는 (1) 내지 (5) 중 어느 하나에 기재된 화상 처리 장치.
(7) 상기 필터 강도 판정부는, 복수의 라인을 처리 단위로 하여, 상기 디블록킹 필터의 강도를 판정하는 (6)에 기재된 화상 처리 장치.
(8) 상기 필터 강도 판정부는, 4라인을 처리 단위로 하여, 상기 디블록킹 필터의 강도를 판정하는 (7)에 기재된 화상 처리 장치.
(9) 복수의 라인을 처리 단위로 하여, 상기 블록 경계에 디블록킹 필터를 적용할지 여부를 판정하는 필터 필요 여부 판정부를 더 구비하고,
상기 필터 강도 판정부는, 상기 필터 필요 여부 판정부에 의해 디블록킹 필터를 적용한다고 판정된 경우에, 상기 디블록킹 필터의 강도를 판정하는 (7)에 기재된 화상 처리 장치.
(10) 화상 처리 장치가,
계층 구조를 갖는 단위로 부호화된 부호화 스트림을 복호하여 화상을 생성하고,
생성된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하고,
상기 디블록킹 필터의 강도로서 스트롱 필터가 적용되는 경우에, 생성된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록 제어하는, 화상 처리 방법.
(11) 화상을 부호화할 때에 로컬 디코드된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하는 필터부와,
상기 디블록킹 필터의 강도로서 스트롱 필터가 적용되는 경우에, 상기 로컬 디코드된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록, 상기 필터부를 제어하는 제어부와,
상기 디블록킹 필터가 적용된 화상을 사용하여, 상기 화상을 계층 구조를 갖는 단위로 부호화하는 부호화부를 구비하는, 화상 처리 장치.
(12) 상기 제어부는, 상기 디블록킹 필터를 적용할 때에 변화하는 부분의 값에 클립 처리를 적용하는 (11)에 기재된 화상 처리 장치.
(13) 상기 제어부는, 하기 식에 따라서, 상기 클립 처리를 적용하는 (12)에 기재된 화상 처리 장치.
Figure 112020021353910-pat00043
여기서, i=0,7, pv는 클립값이다.
(14) 상기 제어부는, 상기 디블록킹 필터의 파라미터의 정수배의 값을, 클립 처리를 행할 때에 사용하는 클립값으로서 설정하는 (13)에 기재된 화상 처리 장치.
(15) 상기 제어부는, 상기 디블록킹 필터의 파라미터의 2배의 값을, 클립 처리를 행할 때에 사용하는 클립값으로서 설정하는 (14)에 기재된 화상 처리 장치.
(16) 상기 블록 경계에 적용하는 디블록킹 필터의 강도를 판정하는 필터 강도 판정부를 더 구비하고,
상기 필터부는, 상기 필터 강도 판정부에 의해 판정된 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하고,
상기 제어부는, 상기 필터 강도 판정부에 의해 스트롱 필터가 적용된다고 판정된 경우에, 상기 복호부에 의해 생성된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록, 상기 필터부를 제어하는 (11) 내지 (15) 중 어느 하나에 기재된 화상 처리 장치.
(17) 상기 필터 강도 판정부는, 복수의 라인을 처리 단위로 하여, 상기 디블록킹 필터의 강도를 판정하는 (16)에 기재된 화상 처리 장치.
(18) 상기 필터 강도 판정부는, 4라인을 처리 단위로 하여, 상기 디블록킹 필터의 강도를 판정하는 (17)에 기재된 화상 처리 장치.
(19) 복수의 라인을 처리 단위로 하여, 상기 블록 경계에 디블록킹 필터를 적용할지 여부를 판정하는 필터 필요 여부 판정부를 더 구비하고,
상기 필터 강도 판정부는, 상기 필터 필요 여부 판정부에 의해 디블록킹 필터를 적용한다고 판정된 경우에, 상기 디블록킹 필터의 강도를 판정하는 (17)에 기재된 화상 처리 장치.
(20) 화상 처리 장치가,
화상을 부호화할 때에 로컬 디코드된 화상의 블록과 상기 블록에 인접하는 인접 블록의 경계인 블록 경계에 적용하는 디블록킹 필터의 강도에 따라서, 상기 블록 경계에 디블록킹 필터를 실시하고,
상기 디블록킹 필터의 강도로서 스트롱 필터가 적용되는 경우에, 상기 로컬 디코드된 화상의 휘도 성분을 대상으로 하여, 상기 디블록킹 필터에 클립 처리를 적용하도록 제어하고,
상기 디블록킹 필터가 적용된 화상을 사용하여, 상기 화상을 계층 구조를 갖는 단위로 부호화하는, 화상 처리 방법.
10 : 화상 부호화 장치
11 : A/D 변환부
12, 57 : 화면 재배열 버퍼
13 : 감산부
14 : 직교 변환부
15 : 양자화부
16 : 가역 부호화부
17 : 축적 버퍼
18 : 레이트 제어부
21, 53 : 역양자화부
22, 54 : 역직교 변환부
23, 55 : 가산부
24, 56 : 디블록킹 필터 처리부
25, 61 : 프레임 메모리
26, 62, 65 : 셀렉터
31, 63 : 인트라 예측부
32 : 움직임 예측ㆍ보상부
33 : 예측 화상ㆍ최적 모드 선택부
50 : 화상 복호 장치
51 : 축적 버퍼
52 : 가역 복호부
61 : 프레임 메모리
64 : 움직임 보상부
71 : 화상 메모리
72, 72-1 : 블록 경계 판정부
72-2 : 라인 경계 블록 경계 판정부
73, 73-1 : 필터 강도 판정부
73-2 : 라인 경계 필터 강도 판정부
74, 74-1 : 필터 연산부
74-2 : 라인 경계 필터 연산부
75 : 셀렉터
76 : 계수 메모리
77 : 제어부
77A, 77B : LCU 내 라인 판정부
241 : 라인 메모리
242 : 라인 경계 검출부
243 : 필터 강도 판정부
244 : 계수 메모리
245 : 필터 연산부
246 : 필터 제어부
2451 : 데이터 기억부
2452 : 데이터 선택부
2453, 2455, 2456 : 연산부
2457 : 데이터 선택부
2461 : 라인 경계 판정부

Claims (16)

  1. 화상 처리 장치로서,
    비트 스트림에 대해 복호 처리를 행하여 복호 화상을 생성하는 복호부;
    상기 복호부에 의해 생성된 상기 복호 화상의 블록 경계 부근에 위치한 화소에 대해 디블록킹 필터를 적용할지 여부를 판정하는 필터 여부 판정부 - 상기 디블록킹 필터는 제1 디블록킹 필터 및 상기 제1 디블록킹 필터보다 큰 필터 강도를 갖는 제2 디블록킹 필터를 포함함 -;
    상기 블록 경계 부근에 위치하고 상기 필터 여부 판정부에 의해 판정됨에 따라 상기 디블록킹 필터가 적용되는 상기 화소를 대상으로 취함으로써, 상기 제1 디블록킹 필터를 적용할지 또는 상기 제2 디블록킹 필터를 적용할지 여부를 판정하는 필터 강도 판정 유닛; 및
    상기 제2 디블록킹 필터가 적용되기 전의 화소값에 대하여 상기 제2 디블록킹 필터가 적용된 후의 화소값의 변화값을 클립하기 위해 제1 클립값보다 큰 값으로서 작용하는 제2 클립값을 사용하여 상기 제2 디블록킹 필터를 적용하는 필터부
    를 포함하고,
    상기 제1 클립값은, 상기 제1 디블록킹 필터가 적용되기 전의 상기 화소값에 대하여 상기 제1 디블록킹 필터가 적용된 후의 상기 화소값의 변화값이 클립되는 경우에 사용되는 클립값인, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 필터부는 하기 식에 따라서, 상기 제2 디블록킹 필터가 적용되기 전의 상기 화소값에 대하여 상기 제2 디블록킹 필터가 적용된 후의 상기 화소값의 변화값을 클립하는, 화상 처리 장치.
    Figure 112020054754236-pat00087

    여기서, pv는 상기 제2 디블록킹 필터의 클립값이고
    pN', qN'(N=0, 1, 2)는 상기 제2 디블록킹 필터가 적용된 후의 화소값이고
    pM, qM(M=0, 1, 2, 3)은 상기 제2 디블록킹 필터가 적용되기 전의 화소값이고
    N, M은 상기 블록 경계 부근에 위치하는 상기 화소의 위치를 나타내는 인덱스이다.
  3. 제1항에 있어서,
    상기 필터부는, 상기 제1 디블록킹 및 상기 제2 디블록킹 필터를 포함하는 상기 디블록킹 필터의 강도를 선택할 때에 사용되는 파라미터의 정수배의 값을 상기 제2 클립값으로 설정하여, 상기 제2 디블록킹 필터가 적용되기 전의 상기 화소값에 대한 상기 제2 디블록킹 필터가 적용된 후의 상기 화소값의 변화값을 클립하는, 화상 처리 장치.
  4. 제3항에 있어서,
    상기 필터부는, 상기 파라미터의 ±2배의 값을 상기 제2 클립값으로 설정하여, 상기 제2 디블록킹 필터가 적용되기 전의 상기 화소값에 대한 상기 제2 디블록킹 필터가 적용된 후의 상기 화소값의 변화값을 클립하는, 화상 처리 장치.
  5. 제4항에 있어서,
    상기 필터부는, 상기 제2 디블록킹 필터가 적용되는 경우에, 하기 식에 따라서, 상기 제2 디블록킹 필터가 적용되기 전의 상기 화소값에 대한 상기 제2 디블록킹 필터가 적용된 후의 상기 화소값의 변화값을 클립하는, 화상 처리 장치.
    Figure 112020054754236-pat00088

    여기서, tc는 상기 제1 디블록킹 필터 또는 상기 제2 디블록킹 필터의 선택에 사용되는 파라미터이고
    pN', qN'(N=0, 1, 2)는 상기 제2 디블록킹 필터가 적용된 후의 화소값이고
    pM, qM(M=0, 1, 2, 3)은 상기 제2 디블록킹 필터가 적용되기 전의 화소값이고
    N, M은 상기 블록 경계 근방에 위치하는 상기 화소의 위치를 나타내는 인덱스이다.
  6. 제5항에 있어서,
    상기 제2 디블록킹 필터는 상기 복호 화상의 상기 블록 경계 근방에 위치하는 상기 화소의 휘도 성분에 적용되는 필터인, 화상 처리 장치.
  7. 제6항에 있어서,
    상기 제1 디블록킹 필터는, 상기 블록 경계 근방에 위치하는 4화소에 대하여 필터를 적용하는 약 필터이고,
    상기 제2 디블록킹 필터는, 상기 블록 경계 근방에 위치하는 6화소에 대하여 필터를 적용하는 강 필터인, 화상 처리 장치.
  8. 제6항에 있어서,
    상기 블록 경계는, 직교 변환을 행하는 단위로서 작용하는 변환 유닛의 경계 또는 예측 처리를 행하는 단위로서 작용하는 예측 유닛의 경계인, 화상 처리 장치.
  9. 화상 처리 방법으로서,
    화상 처리 장치로 하여금,
    비트 스트림에 대해 복호 처리를 행하여 복호 화상을 생성하고,
    생성된 상기 복호 화상의 블록 경계 부근에 위치한 화소에 대해 디블록킹 필터를 적용할지 여부를 판정하고 - 상기 디블록킹 필터는 제1 디블록킹 필터 및 상기 제1 디블록킹 필터보다 큰 필터 강도를 갖는 제2 디블록킹 필터를 포함함 -.
    상기 블록 경계 부근에 위치하고 판정됨에 따라 상기 디블록킹 필터가 적용되는 상기 화소를 대상으로 취함으로써, 상기 제1 디블록킹 필터를 적용할지 또는 상기 제2 디블록킹 필터를 적용할지 여부를 판정하고,
    상기 제2 디블록킹 필터가 적용되기 전의 화소값에 대하여 상기 제2 디블록킹 필터가 적용된 후의 화소값의 변화값을 클립하기 위해 제1 클립값보다 큰 값으로서 작용하는 제2 클립값을 사용하여 상기 제2 디블록킹 필터를 적용하게 하고,
    상기 제1 클립값은, 상기 제1 디블록킹 필터가 적용되기 전의 상기 화소값에 대하여 상기 제1 디블록킹 필터가 적용된 후의 상기 화소값의 변화값이 클립되는 경우에 사용되는 클립값인, 화상 처리 방법.
  10. 제9항에 있어서,
    하기 식에 따라서, 상기 제2 디블록킹 필터가 적용되기 전의 상기 화소값에 대하여 상기 제2 디블록킹 필터가 적용된 후의 상기 화소값의 변화값이 클립되는, 화상 처리 방법.
    Figure 112020054754236-pat00089

    여기서, pv는 상기 제2 디블록킹 필터의 클립값이고
    pN', qN'(N=0, 1, 2)는 상기 제2 디블록킹 필터가 적용된 후의 화소값이고
    pM, qM(M=0, 1, 2, 3)은 상기 제2 디블록킹 필터가 적용되기 전의 화소값이고
    N, M은 상기 블록 경계 부근에 위치하는 상기 화소의 위치를 나타내는 인덱스이다.
  11. 제9항에 있어서,
    상기 제1 디블록킹 및 상기 제2 디블록킹 필터를 포함하는 상기 디블록킹 필터의 강도를 선택할 때에 사용되는 파라미터의 정수배의 값이 상기 제2 클립값으로 설정되어, 상기 제2 디블록킹 필터가 적용되기 전의 상기 화소값에 대한 상기 제2 디블록킹 필터가 적용된 후의 상기 화소값의 변화값을 클립하는, 화상 처리 방법.
  12. 제11항에 있어서,
    상기 파라미터의 ±2배의 값이 상기 제2 클립값으로 설정되어, 상기 제2 디블록킹 필터가 적용되기 전의 상기 화소값에 대한 상기 제2 디블록킹 필터가 적용된 후의 상기 화소값의 변화값을 클립하는, 화상 처리 방법.
  13. 제12항에 있어서,
    상기 제2 디블록킹 필터가 적용되는 경우에, 하기 식에 따라서, 상기 제2 디블록킹 필터가 적용되기 전의 상기 화소값에 대한 상기 제2 디블록킹 필터가 적용된 후의 상기 화소값의 변화값이 클립되는, 화상 처리 방법.
    Figure 112020054754236-pat00090

    여기서, tc는 상기 제1 디블록킹 필터 또는 상기 제2 디블록킹 필터의 선택에 사용되는 파라미터이고
    pN', qN'(N=0, 1, 2)는 상기 제2 디블록킹 필터가 적용된 후의 화소값이고
    pM, qM(M=0, 1, 2, 3)은 상기 제2 디블록킹 필터가 적용되기 전의 화소값이고
    N, M은 상기 블록 경계 근방에 위치하는 상기 화소의 위치를 나타내는 인덱스이다.
  14. 제13항에 있어서,
    상기 제2 디블록킹 필터는 상기 복호 화상의 상기 블록 경계 근방에 위치하는 상기 화소의 휘도 성분에 적용되는 필터인, 화상 처리 방법.
  15. 제14항에 있어서,
    상기 제1 디블록킹 필터는, 상기 블록 경계 근방에 위치하는 4화소에 대하여 필터를 적용하는 약 필터이고,
    상기 제2 디블록킹 필터는, 상기 블록 경계 근방에 위치하는 6화소에 대하여 필터를 적용하는 강 필터인, 화상 처리 방법.
  16. 제15항에 있어서,
    상기 블록 경계는, 직교 변환을 행하는 단위로서 작용하는 변환 유닛의 경계 또는 예측 처리를 행하는 단위로서 작용하는 예측 유닛의 경계인, 화상 처리 방법.
KR1020207005974A 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법 KR102166220B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207027807A KR102477475B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2011143461 2011-06-28
JPJP-P-2011-143461 2011-06-28
JP2011240550 2011-11-01
JPJP-P-2011-240550 2011-11-01
JPJP-P-2011-243839 2011-11-07
JP2011243839 2011-11-07
JPJP-P-2012-009326 2012-01-19
JP2012009326 2012-01-19
PCT/JP2012/063606 WO2013001957A1 (ja) 2011-06-28 2012-05-28 画像処理装置と画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197022468A Division KR102105497B1 (ko) 2011-06-28 2012-05-28 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 화상 처리 방법,

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027807A Division KR102477475B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법

Publications (2)

Publication Number Publication Date
KR20200024958A KR20200024958A (ko) 2020-03-09
KR102166220B1 true KR102166220B1 (ko) 2020-10-15

Family

ID=47423858

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020177011888A KR102010160B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR1020197021650A KR102071201B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR1020137033700A KR102009050B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR1020207005974A KR102166220B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법
KR1020207027807A KR102477475B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법
KR1020197022468A KR102105497B1 (ko) 2011-06-28 2012-05-28 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 화상 처리 방법,
KR1020197020753A KR102067368B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법
KR1020197021962A KR102067369B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020177011888A KR102010160B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR1020197021650A KR102071201B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR1020137033700A KR102009050B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020207027807A KR102477475B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법
KR1020197022468A KR102105497B1 (ko) 2011-06-28 2012-05-28 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 화상 처리 방법,
KR1020197020753A KR102067368B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법
KR1020197021962A KR102067369B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체

Country Status (20)

Country Link
US (7) US10291937B2 (ko)
EP (6) EP2728870A4 (ko)
JP (6) JP6070553B2 (ko)
KR (8) KR102010160B1 (ko)
CN (15) CN107454400B (ko)
AU (3) AU2012277049B2 (ko)
BR (2) BR122015001053B1 (ko)
CA (2) CA3059756C (ko)
CO (1) CO6842008A2 (ko)
DK (1) DK3313074T3 (ko)
ES (1) ES2893754T3 (ko)
HU (1) HUE056075T2 (ko)
MX (2) MX356762B (ko)
MY (1) MY167204A (ko)
PH (1) PH12018501265A1 (ko)
RU (4) RU2607243C2 (ko)
SG (3) SG10201404907QA (ko)
TW (3) TWI571104B (ko)
WO (1) WO2013001957A1 (ko)
ZA (1) ZA201309214B (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY167204A (en) * 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
TWI652941B (zh) 2011-11-03 2019-03-01 太陽專利信託 用於解區塊之有效修整技術（二）
US9414064B2 (en) * 2011-11-25 2016-08-09 Sun Patent Trust Image processing method and image processing apparatus
US8921511B2 (en) 2012-07-27 2014-12-30 E I Du Pont De Nemours And Company Process for forming an aramid copolymer
US9973784B2 (en) 2012-09-20 2018-05-15 Sony Corporation Image processing device and method
US9445130B2 (en) * 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
US9628822B2 (en) * 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
JP7310139B2 (ja) * 2016-12-28 2023-07-19 ソニーグループ株式会社 画像処理装置及び画像処理方法
CN106911934B (zh) * 2017-03-01 2020-03-03 北京奇艺世纪科技有限公司 块效应去除方法及去块效应滤波器
WO2018225593A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
US10448009B1 (en) * 2017-12-14 2019-10-15 Amazon Technologies, Inc. Determining sample adaptive offset filter parameters
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
KR102632984B1 (ko) * 2018-03-29 2024-02-05 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
JPWO2019225459A1 (ja) 2018-05-23 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
KR102584455B1 (ko) * 2018-09-24 2023-10-05 후아웨이 테크놀러지 컴퍼니 리미티드 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법
WO2020073969A1 (en) * 2018-10-10 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking
KR102606722B1 (ko) * 2018-10-12 2023-11-24 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서 디블로킹 필터를 위한 장치 및 방법
CA3119935A1 (en) 2018-11-14 2020-05-22 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
CN117157977A (zh) * 2021-03-31 2023-12-01 瑞典爱立信有限公司 超长抽头去块
US20230245286A1 (en) * 2022-01-28 2023-08-03 V-Silicon Semiconductor (Hefei) Co., Ltd. 2d recursive de-banding

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2435757C (en) * 2001-11-29 2013-03-19 Matsushita Electric Industrial Co., Ltd. Video coding distortion removal method and apparatus using a filter
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP4580626B2 (ja) * 2002-07-11 2010-11-17 パナソニック株式会社 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US7995849B2 (en) 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
CN101616330B (zh) * 2003-07-16 2012-07-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
KR100855466B1 (ko) * 2004-01-27 2008-09-01 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
KR100614647B1 (ko) * 2004-07-02 2006-08-22 삼성전자주식회사 디블록킹 필터에서의 효과적인 에지 필터링 연산을 위한레지스터 어레이 구조
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
KR100722972B1 (ko) * 2004-10-26 2007-05-30 삼성전자주식회사 디지털방송 수신기의 영상신호 처리 장치 및 방법
KR100843196B1 (ko) 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
RU2276355C1 (ru) * 2005-01-27 2006-05-10 Олег Федорович Меньших Устройство распознавания внутренних неоднородностей объекта
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
JP4825524B2 (ja) 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
JP4605052B2 (ja) * 2006-03-03 2011-01-05 日本電気株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
TWI384437B (zh) * 2006-12-18 2013-02-01 Sony Corp An image signal processing device, an image signal processing method, and a computer program product
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8913670B2 (en) 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
US8145977B2 (en) * 2007-10-15 2012-03-27 Joseph Schweiray Lee Methods and apparatus for providing error correction to unwritten pages and for identifying unwritten pages in flash memory
WO2009051719A2 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometically partitioned super blocks
CN101472177B (zh) * 2007-12-27 2013-03-06 宝利微电子系统控股公司 一种块效应检测方法
JP5232175B2 (ja) * 2008-01-24 2013-07-10 パナソニック株式会社 動画像圧縮装置
WO2009126299A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing Deblocking filtering for displaced intra prediction and template matching
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
KR101073150B1 (ko) * 2009-08-28 2011-10-12 성균관대학교산학협력단 공통 데이터 패스 구조를 포함하는 디블록킹 필터링 연산 장치 및 그 방법
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
DK3177017T3 (da) 2010-06-04 2020-03-02 Sony Corp Kodning af en qp og en delta qp for billedblokke, der er større end en minimumsstørrelse
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
CN106385586A (zh) 2010-12-07 2017-02-08 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US9565436B2 (en) * 2011-01-14 2017-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method for filter control and a filtering control device
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
US9338476B2 (en) * 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MY167204A (en) * 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
EP2869560A4 (en) 2012-06-29 2016-09-07 Sony Corp DEVICE AND METHOD OF ENCODING
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
‘Test Model under Consideration’, (JCTVC-B205), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 2nd Meeting: Geneva, CH, 2010.09.16.
Masaru Ikeda, et al., ‘Non-CE10: Introduction of strong filter clipping in deblocking filter’, (JCTVC-H0275), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 5th Meeting: Geneva, CH, 2012.01.31.
Matthias Narroschke, et al., ‘CE12.2: Results for parallel deblocking filter decisions’, (JCTVC-E224), JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 5th Meeting: Geneva, CH, 2011.03.14.

Also Published As

Publication number Publication date
MX352108B (es) 2017-11-09
AU2017202655A1 (en) 2017-05-11
CN113347420A (zh) 2021-09-03
SG10201404907QA (en) 2014-10-30
SG10201507034QA (en) 2015-10-29
US20240056611A1 (en) 2024-02-15
EP3313074B1 (en) 2021-09-22
SG10201507031PA (en) 2015-10-29
AU2017202655B2 (en) 2018-07-26
JP2015136147A (ja) 2015-07-27
CN110611810A (zh) 2019-12-24
US10291937B2 (en) 2019-05-14
KR102105497B1 (ko) 2020-04-29
KR20170055554A (ko) 2017-05-19
RU2643468C1 (ru) 2018-02-01
CN113347419A (zh) 2021-09-03
CN110602492A (zh) 2019-12-20
CN107426571B (zh) 2019-12-10
CN107295335A (zh) 2017-10-24
CN107318019A (zh) 2017-11-03
CA3059756C (en) 2022-10-18
BR122015001053B1 (pt) 2019-07-09
ES2893754T3 (es) 2022-02-10
KR102067368B1 (ko) 2020-01-16
TW201304550A (zh) 2013-01-16
CN107454401A (zh) 2017-12-08
TWI542195B (zh) 2016-07-11
CN107426571A (zh) 2017-12-01
AU2015213302B2 (en) 2017-04-06
CA2837055C (en) 2019-12-31
KR20190090888A (ko) 2019-08-02
US11039172B2 (en) 2021-06-15
CO6842008A2 (es) 2014-01-20
US20210344965A1 (en) 2021-11-04
KR20140043758A (ko) 2014-04-10
JP2018113698A (ja) 2018-07-19
CN110519592A (zh) 2019-11-29
CN107318019B (zh) 2020-02-28
US11647231B2 (en) 2023-05-09
MY167204A (en) 2018-08-13
TW201707450A (zh) 2017-02-16
KR102009050B1 (ko) 2019-08-08
EP3313075B1 (en) 2021-12-29
AU2015213302A1 (en) 2015-09-03
CN110611811B (zh) 2021-07-06
JPWO2013001957A1 (ja) 2015-02-23
KR20190090066A (ko) 2019-07-31
CN110611812A (zh) 2019-12-24
CN104113764A (zh) 2014-10-22
CN103609126B (zh) 2017-09-08
MX2013015405A (es) 2015-10-27
CN107318018B (zh) 2019-11-01
KR20200115675A (ko) 2020-10-07
JP2017060202A (ja) 2017-03-23
JP6065037B2 (ja) 2017-01-25
JP6468380B2 (ja) 2019-02-13
MX356762B (es) 2018-06-12
CA3059756A1 (en) 2013-01-03
US20160286240A1 (en) 2016-09-29
EP2728870A4 (en) 2015-01-14
CN110611812B (zh) 2021-07-06
CN110611810B (zh) 2021-06-01
CN103609126A (zh) 2014-02-26
TW201603560A (zh) 2016-01-16
CN107454400B (zh) 2020-10-20
BR112013033183B1 (pt) 2019-07-16
KR102071201B1 (ko) 2020-01-29
PH12018501265A1 (en) 2021-01-18
TWI571104B (zh) 2017-02-11
RU2013156835A (ru) 2015-06-27
ZA201309214B (en) 2014-06-25
HUE056075T2 (hu) 2022-01-28
EP4009637A1 (en) 2022-06-08
CN110602492B (zh) 2021-06-01
US11838556B2 (en) 2023-12-05
EP3001684A3 (en) 2016-07-20
AU2012277049B2 (en) 2017-04-06
CN110519592B (zh) 2021-06-01
CN107454400A (zh) 2017-12-08
AU2012277049A1 (en) 2013-12-12
CN107454401B (zh) 2019-11-19
US20140112396A1 (en) 2014-04-24
EP3313074A1 (en) 2018-04-25
KR102477475B1 (ko) 2022-12-14
US20190230383A1 (en) 2019-07-25
JP6468381B2 (ja) 2019-02-13
CN107318018A (zh) 2017-11-03
US11051043B2 (en) 2021-06-29
EP4009638A1 (en) 2022-06-08
BR112013033183A2 (pt) 2017-03-01
KR102067369B1 (ko) 2020-01-16
TWI637626B (zh) 2018-10-01
CN107295335B (zh) 2020-03-17
EP2728870A1 (en) 2014-05-07
DK3313074T3 (da) 2021-10-25
KR20190088573A (ko) 2019-07-26
JP2018113699A (ja) 2018-07-19
CN110611811A (zh) 2019-12-24
US10298958B2 (en) 2019-05-21
JP6459005B2 (ja) 2019-01-30
US20230232049A1 (en) 2023-07-20
EP3001684A2 (en) 2016-03-30
RU2608476C2 (ru) 2017-01-18
KR20190092623A (ko) 2019-08-07
RU2015103069A (ru) 2015-06-20
CA2837055A1 (en) 2013-01-03
JP6477939B2 (ja) 2019-03-06
JP2018113697A (ja) 2018-07-19
JP6070553B2 (ja) 2017-02-01
KR20200024958A (ko) 2020-03-09
KR102010160B1 (ko) 2019-08-12
US20240031610A1 (en) 2024-01-25
BR122015001053A2 (pt) 2018-03-20
US20190191186A1 (en) 2019-06-20
RU2607243C2 (ru) 2017-01-10
WO2013001957A1 (ja) 2013-01-03
RU2680349C1 (ru) 2019-02-19
EP3313075A1 (en) 2018-04-25
CN104113764B (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
KR102166220B1 (ko) 화상 처리 장치 및 화상 처리 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent