KR20190107944A - 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법 - Google Patents

복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법 Download PDF

Info

Publication number
KR20190107944A
KR20190107944A KR1020180029298A KR20180029298A KR20190107944A KR 20190107944 A KR20190107944 A KR 20190107944A KR 1020180029298 A KR1020180029298 A KR 1020180029298A KR 20180029298 A KR20180029298 A KR 20180029298A KR 20190107944 A KR20190107944 A KR 20190107944A
Authority
KR
South Korea
Prior art keywords
filter
pixel
post
deblocking
image
Prior art date
Application number
KR1020180029298A
Other languages
English (en)
Inventor
변주원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180029298A priority Critical patent/KR20190107944A/ko
Priority to US16/233,792 priority patent/US20190289331A1/en
Priority to CN201910159383.XA priority patent/CN110278442A/zh
Priority to TW108108310A priority patent/TW201941608A/zh
Publication of KR20190107944A publication Critical patent/KR20190107944A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법이 개시된다. 본 개시의 기술적 사상의 일측면에 따른 필터링 방법은, 상기 복원 영상에 포함된 복수의 복원 블록들 간의 경계의 열화를 제거하기 위한 디블록킹(de-blocking) 필터링을 수행하는 단계, 상기 디블록킹 필터링의 수행과 병렬적으로 상기 복원 블록들 각각의 픽셀 파라미터들을 생성하는 단계 및 상기 픽셀 파라미터들을 기반으로 상기 복원 블록들에 대한 포스트-디블록킹 필터링을 수행하는 단계를 포함한다.

Description

복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법{Image processing apparatus for performing filtering on restored images and filtering method thereof}
본 개시의 기술적 사상은 영상 처리 장치에 관한 것으로서, 상세하게는 복원 영상에 대한 필터링 동작을 수행하는 영상 처리 장치 및 이의 필터링 방법에 관한 것이다.
고해상도 또는 고화질 비디오 컨텐트를 재생, 저장할 수 있는 하드웨어의 개발 및 보급에 따라, 고해상도 또는 고화질 영상 컨텐츠를 효과적으로 부호화하거나 복호화하는 영상 코덱의 필요성이 증대하고 있다. 특히, 차세대 영상 코덱의 경우 복원 영상에 대하여 디블록킹 필터링을 수행한 후에 포스트-디블록킹 필터링을 수행한다. 이 때에, 포스트-디블록킹 필터링을 위한 포스트-디블록킹 필터를 결정하기 위해 디블록킹 필터에 의해 디블록된 복원 영상을 이용하여 픽셀 파라미터들을 생성함에 따라 디블록킹 필터링 결과가 픽셀 파라미터에 반영되어, 디블록킹 필터링 결과의 정확도에 픽셀 파라미터가 의존하는 경향이 있었다. 또한, 디블록킹 필터링 동작이 완료된 후에 픽셀 파라미터를 생성하게 되어, 영상 처리 시간이 비효율적으로 소요되고, 더 나아가, 영상 코덱의 하드웨어 구현에 있어서 복잡도가 상승하는 문제가 있었다.
본 발명의 기술적 사상이 해결하려는 과제는, 원본 영상과 복원 영상 간의오차를 최소화하기 위한 필터링 동작을 수행하는 영상 처리 장치 및 이의 필터링 방법을 제공하는 데에 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 영상 처리 장치의 복원 영상에 대한 필터링 방법에 있어서, 상기 복원 영상에 포함된 복수의 복원 블록들 간의 경계의 열화를 제거하기 위한 디블록킹(de-blocking) 필터링을 수행하는 단계, 상기 디블록킹 필터링의 수행과 병렬적으로 상기 복원 블록들 각각의 픽셀 파라미터들을 생성하는 단계 및 상기 픽셀 파라미터들을 기반으로 상기 복원 블록들에 대한 포스트-디블록킹 필터링을 수행하는 단계를 포함한다.
한편, 본 개시의 기술적 사상의 다른 일측면에 따른 영상 처리 장치는, 복원 영상을 수신하고, 상기 복원 영상에 포함된 복수의 복원 블록들 간의 경계의 열화를 제거하는 디블록킹 필터링을 수행하는 디블록킹 필터, 상기 복원 영상을 수신하고, 상기 디블록킹 필터링과 병렬적으로 상기 복원 블록들 각각의 픽셀 파라미터들을 생성하는 픽셀 파라미터 생성부 및 상기 픽셀 파라미터들 및 상기 디블록된 복원 영상을 수신하고, 이를 기반으로 포스트-디블록킹 필터링을 수행하는 포스트-디블록킹 필터를 포함한다.
한편, 본 개시의 기술적 사상의 일측면에 따른 컴퓨터 프로그램은, 하드웨어와 결합되어, 복원 영상에 포함된 복수의 복원 블록들 간의 경계의 열화를 제거하기 위한 디블록킹 필터링을 수행하는 단계, 상기 디블록킹 필터링의 수행과 병렬적으로 상기 복원 블록들 각각의 픽셀 파라미터들을 생성하는 단계 및 상기 픽셀 파라미터들을 기반으로 상기 복원 블록들에 대한 포스트-디블록킹 필터링을 수행하는 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된다.
본 발명의 기술적 사상의 영상 처리 장치 및 이의 필터링 방법에 따르면, 디블록킹 필터링 동작과 픽셀 파라미터 생성 동작을 병렬적으로 수행함으로써, 부호화 또는 복호화 동작 수행에 소요되는 시간을 단축할 수 있으며, 시간 단축에 따른 영상 송신 장치 또는 영상 수신 장치의 버퍼를 효율적으로 이용할 수 있다. 또한, 생성되는 픽셀 파라미터들은 디블록킹 필터링 결과와는 독립적일 수 있는 바, 이에 따라, 좀 더 노이즈에 강한 부호화 또는 복호화 동작을 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 포함하는 영상 처리 시스템을 나타내는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 부호화부의 개략적인 블록도를 나타낸다.
도 3은 본 개시의 일 실시 예에 따른 복호화부의 개략적인 블록도를 나타낸다.
도 4는 본 개시의 일 실시 예에 따른 도 2 또는 도 3의 인-루프 필터링부의 동작을 설명하기 위한 개략적인 블록도이다.
도 5는 본 개시의 일 실시 예에 따른 필터링 방법을 설명하기 위한 순서도이다.
도 6a 내지 도 6d는 도 4의 제1 픽셀 파라미터에 관한 내용을 설명하기 위한 도면이다.
도 7은 도 4의 제2 픽셀 파라미터에 관한 내용을 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 개시의 일 실시 예에 따른 영상 처리 장치의 버퍼 이용에 대하여 설명하기 위한 도면이다.
도 9a 및 도 9b는 본 개시의 일 실시 예에 따른 픽셀 파라미터 보상과 관련된 인-루프 필터링부의 동작을 설명하기 위한 도면이다.
도 10a 내지 도 10c는 본 개시의 일 실시 예에 따른 인-루프 필터링부의 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 부호화 단위의 개념을 도시한다.
도 12는 본 개시의 실시 예들에 따른 영상 처리 방법이 소프트웨어적으로 구현되는 예를 나타내는 블록도이다.
도 13은 전술한 실시 예들에 따른 영상 처리 장치를 포함하는 컴퓨팅 시스템을 도시한 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 포함하는 영상 처리 시스템을 나타내는 블록도이다.
도 1에 도시된 영상 처리 시스템(10)은 본 발명의 실시 예에 따른 영상 처리 장치로서 영상 송신 장치(100) 및 영상 수신 장치(200)를 포함할 수 있다. 또는, 본 발명의 실시 예에 따른 영상 처리 장치는 영상을 송신하는 기능 및 수신하는 기능을 함께 포함할 수 있으며, 이에 따라 영상 처리 장치는 영상 처리 시스템(10)에 해당할 수도 있다.
영상 처리 시스템(10)은 다양한 종류의 시스템에 해당할 수 있다. 일 예로서, 영상 처리 시스템(10)에서 영상 송신 장치(100)와 영상 수신 장치(200)는 무선 또는 유선 네트워크를 통해 서로 영상을 포함하는 정보를 송수신할 수 있다. 만약, 영상 처리 시스템(10)이 무선 통신 시스템에 해당하는 경우, 영상 송신 장치(100) 및 영상 수신 장치(200)는 각각 영상을 부호화하여 기지국으로 송신하거나 기지국으로부터 수신된 영상을 복호화하는 스마트 폰 등의 단말 장치일 수 있다. 또는, 영상 처리 시스템(10)은 인터넷 방송이나 IPTV 등 다양한 종류의 네트워크 시스템에 해당할 수 있다.
영상 송신 장치(100)는 MPEG, H.264/AVC, VP8 및 HEVC 등 다양한 영상 표준에 기반하여 부호화(encoding) 동작을 수행할 수 있다. 영상 부호화 동작은 소정 단위의 영상(예컨대, 프레임 영상)에 대해 수행될 수 있으며, 각각의 프레임 영상은 인터 예측(inter prediction)에 기반하여 압축되거나 또는 인트라 예측(intra prediction)에 기반하여 압축될 수 있다. 인트라 예측에 기반하는 경우, 현재 프레임 영상은 이전 프레임 영상을 참조함이 없이 압축될 수 있다. 또한, 인터 예측에 기반하는 경우, 현재 프레임 영상은 하나 이상의 이전 프레임 영상(예컨대, 복원 영상)을 참조함에 의해 압축될 수 있다. 이하에서는, 본 발명의 실시 예들이 HEVC 의 영상 표준을 참조하여 설명될 것이나, 본 발명의 실시 예들은 H.264 등 전술한 다양한 영상 표준들에 적용될 수도 있을 것이다.
본 발명의 예시적인 실시 예에 따라, 영상 송신 장치(100)는 부호화부(110), 및 패킷타이저(130)를 포함할 수 있다. 또한, 영상 수신 장치(200)는 디패킷타이저(210) 및 복호화부(220)를 포함할 수 있다.
부호화부(110)는 최대 코딩 유닛(Largest Coding Unit, LCU)에 기반하는 부호화 동작을 수행할 수 있다. 일 예로서, 프레임 영상에 대해 최대 코딩 유닛이 정의될 수 있으며, 다양한 영상 표준들에 따라 상기 최대 코딩 유닛은 매크로블록으로 지칭될 수도 있다. 일 예로서, 최대 코딩 유닛은 64*64 픽셀들을 포함하는 사이즈에 해당할 수 있다.
부호화를 수행함에 있어서 최대 코딩 유닛은 다수 개의 코딩 유닛(Coding Unit, CU)들로 분할될 수 있다. 상기 최대 코딩 유닛 또는 코딩 유닛이 부호화 단위에 해당할 수 있으며, 부호화부(110)는 부호화 단위에 따라 픽셀 값들에 대한 주파수 변환 및 양자화 동작을 수행할 수 있다. 이에 따라, 변환 및 양자화가 수행되는 단위는 코딩 유닛에 상응할 수 있으며, 또한 변환 및 양자화가 수행되는 단위의 최대값(예컨대, 최대 변환 사이즈)은 상기 최대 코딩 유닛에 상응할 수 있다.
부호화부(110)는 인터 예측을 수행하기 위하여 부호화된 프레임 영상에 대해 역양자화 및 역변환 등을 통한 복호화 동작을 수행하여 복원 영상을 생성할 수 있다. 복원 영상은 일반적으로 원본 영상에 비하여 주관적 품질을 저해하는 아티팩트(artifact)를 포함할 수 있다. 예를 들어, 아티팩트는 블록 아티팩트, 노이즈 아티팩트들을 포함할 수 있다. 복원 영상에서 아티팩트를 제거하기 위해 복원 영상은 디블록킹 필터(102)로 전달될 수 있다. 디블록킹 필터(102)는 복원 영상에서 나타나는 블록 현상을 제거할 수 있다. 즉, 디블록킹 필터(102)는 부호화 단위별로 입력 영상의 부호화가 수행되고, 이후, 복호화된 복원 영상에서 나타나는 블록 현상을 제거하기 위한 영상 처리 필터일 수 있다. 디블록킹 필터(102)는 최대 부호화 단위 또는 트리 구조의 부호화 단위의 경계영역에 위치하는 픽셀들에 대해 블록 현상을 경감시키기 위한 디블록킹 필터링을 수행할 수 있다.
본 개시의 일 실시 예에 따른 부호화부(110)는 디블록킹 필터링 수행과 병렬적으로 픽셀 파라미터 생성부(104)를 통해 픽셀 파라미터들을 생성할 수 있다. 픽셀 파라미터는 복원 영상에 포함된 아티팩트를 제거하기 위한 포스트-디블록킹 필터(미도시)의 필터 파라미터를 결정하기 위해 필요한 정보다. 픽셀 파라미터 생성부(104)는 디블록킹 필터(102)로 입력되는 동일한 복원 영상을 수신할 수 있으며, 복원 영상에 포함된 복원 블록들 각각의 픽셀 값을 기반으로 복원 블록마다 그에 대응하는 픽셀 파라미터들을 생성할 수 있다. 블록(또는, 복원 블록) 단위는 향후 포스트-디블록킹 필터(미도시)가 적용되는 단위일 수 있다. 일 예로, 포스트-디블록킹 필터는 디링잉(deringing) 필터 및 적응적 루프(Adaptive Loop) 필터 중 적어도 하나를 포함할 수 있다. 픽셀 파라미터 생성부(104)에서 생성된 픽셀 파라미터를 기반으로 디링잉 필터 또는 적응적 루프 필터의 필터 파라미터가 결정될 수 있으며, 이에 대한 구체적인 내용은 후술한다.
일 실시 예로, 디블록킹 필터(102)에 의해 디블록된 복원 영상과 픽셀 파라미터 생성부(104)에서 생성된 픽셀 파라미터들은 포스트-디블록킹 필터(미도시)로 출력될 수 있다. 픽셀 파라미터들을 기반으로 포스트-디블록킹 필터(미도시)의 필터 파라미터가 결정될 수 있으며, 디블록된 복원 영상에 대하여 결정된 필터 파라미터에 대응하는 포스트-디블록킹 필터(미도시)가 적용될 수 있다.
한편, 패킷타이저(120)는 전술한 바와 같이 부호화된 프레임 영상의 데이터를 비트스트림 형태로 영상 수신 장치(200)로 전송할 수 있다. 패킷타이저(130)는 부호화된 데이터에 대한 패킷화(packetization) 동작을 수행하고, 네트워크를 통해 패킷(Packet)(또는, 비트스트림)을 영상 수신 장치(200)로 전송할 수 있다. 더 나아가, 패킷(Packet)에는 부호화된 데이터와 함께, 픽셀 파라미터 생성부(104)에서 생성된 픽셀 파라미터들 및 포스트-디블록킹 필터(미도시)의 파라미터들 중 적어도 하나가 부호화되어 포함될 수 있다.
영상 수신 장치(200)는 패킷(Packet)을 수신하고, 디패킷타이저(210)는 네트워크를 통해 수신된 패킷(Packet)으로부터 실제 정보 부분(예컨대, 페이로드(payload))를 추출할 수 있다. 복호화부(220)는 수신된 정보에 대한 복호화 동작을 통해 프레임 영상을 복원할 수 있다.
복호화부(220)는 디블록킹 필터(222) 및 픽셀 파라미터 생성부(224)를 포함할 수 있다. 일 실시 예로, 복호화부(220)는 디블록킹 필터(222)에 의한 디블록킹 필터링 수행과 병렬적으로 픽셀 파라미터 생성부(224)를 통해 픽셀 파라미터들을 생성할 수 있다. 디블록킹 필터(222) 및 픽셀 파라미터 생성부(224)의 동작은 부호화부(110)의 디블록킹 필터(102) 및 픽셀 파라미터 생성부(104)와 동일 또는 유사한바, 구체적인 서술은 생략한다.
위와 같은 실시 예에 따르면, 디블록킹 필터링 동작과 픽셀 파라미터 생성 동작을 병렬적으로 수행함으로써, 부호화 또는 복호화 동작 수행에 소요되는 시간을 단축할 수 있으며, 시간 단축에 따른 영상 송신 장치 또는 영상 수신 장치의 버퍼를 효율적으로 이용할 수 있다. 또한, 생성되는 픽셀 파라미터들은 디블록킹 필터링 결과와는 독립적일 수 있는 바, 이에 따라, 좀 더 노이즈에 강한 부호화 또는 복호화 동작을 수행할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 부호화부의 개략적인 블록도를 나타낸다.
도 2를 참조하면, 부호화부(300)는 영상 분할부(310), 변환부(320), 양자화부(330), 역양자화부(340), 역변환부(350), 인-루프 필터링부(ILF), 복호 영상 버퍼(370), 예측부(380) 및 엔트로피 부호화부(390)를 포함할 수 있다. 인-루프 필터링부(ILF)는 디블록킹 필터(362), 픽셀 파라미터 생성부(364) 및 포스트-디블록킹 필터(366)를 포함할 수 있다. 예측부(380)는 인터 예측부(381) 및 인트라 예측부(385)를 포함할 수 있다.
영상 분할부(310)는 부호화부(300)에 입력된 입력 영상(Input image)(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛으로 분할할 수 있다. 예를 들어, 처리 유닛은 코딩 트리 유닛(Coding Tree Unit; CTU), 코딩 유닛(Coding Unit; CU), 예측 유닛(Prediction Unit; PU) 또는 변환 유닛(Transform Unit; TU)일 수 있다.
다만, 상기 용어들은 본 개시에 대한 설명의 편의를 위해 사용할 뿐이며, 본 개시는 해당 용어의 정의에 한정되지 않는다, 또한, 본 명세서에서는 설명의 편의를 위해, 영상 신호를 부호화 또는 복호화하는 과정에서 이용되는 단위로서 코딩 유닛 또는 타겟 유닛이라는 용어를 사용하지만, 본 개시는 이에 한정되지 않으며 내용에 따라 적절하게 해석 가능할 것이다.
부호화부(300)는 입력 영상에서 인터 예측부(381) 또는 인트라 예측부(385)로부터 출력된 예측 신호(prediction singal)를 감산하여 잔여 신호(residual signal)를 생성할 수 있고, 생성된 잔여 신호는 변환부(320)로 전송될 수 있다. 변환부(320)는 잔여 신호에 변환 기법을 적용하여 변환 계수(transform coefficient)를 생성할 수 있다. 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다. 양자화부(330)는 변환 계수를 양자화하여 엔트로피 부호화부(390)로 전송하고, 엔트로피 부호화부(390)는 양자화된 신호(quantized signal)를 엔트로피 복호화하여 비트스트림으로 출력할 수 있다. 양자화부(330)로부터 출력된 양자화된 신호는 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 신호는 역양자화부(340) 및 역변환부(350)를 통해 역양자화 및 역변환을 적용함으로써 잔여 신호를 복원할 수 있다. 복원된 잔여 신호를 인터 예측부(381) 또는 인트라 예측부(385)로부터 출력된 예측 신호에 더함으로써 복원 영상이 생성될 수 있다.
한편, 위와 같은 압축 과정에서 인접한 블록들이 서로 다른 양자화 파라미터에 의해 양자화됨으로써 블록 경계가 보이는 열화가 발생될 수 있다. 이러한 열화를 줄이기 위해 디블록킹 필터(362)는 복원 영상을 수신하여 디블록킹 필터링을 수행할 수 있다. 본 개시의 일 실시 예로, 픽셀 파라미터 생성부(364)는 복원 영상을 수신하여, 포스트-디블록킹 필터링을 수행을 위한 픽셀 파라미터들을 디블록킹 필터링 동작과 병렬적으로 생성할 수 있다. 포스트-디블록킹 필터(366)는 픽셀 파라미터들을 기반으로 필터 파라미터가 결정될 수 있으며, 디블록된 복원 영상에 대하여 블록 단위로 원본 영상과 복원 영상의 차이를 최소화하기 위한 포스트-디블록킹 필터링 동작을 수행하여, 필터링된 신호를 생성할 수 있다.
복호 영상 버퍼(370)에 전송된 필터링된 신호는 예측 필터(미도시)로 전송되어 예측 성능을 향상시키기 위한 필터링 동작이 수행될 수 있다. 예를 들어, 예측 필터(미도시)는 위너(Wiener) 필터일 수 있다. 또한, 복호 영상 버퍼(370)는 필터링된 신호를 저장할 수 있다.
복호 영상 버퍼(370)에 저장된 필터링된 신호는 예측부(380)로 전송되어 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 필터링된 신호는 인터 예측부(381)에서 참조 영상으로 이용될 수 있다. 이와 같이, 필터링된 신호를 화면간 예측 모드에서 참조 영상으로 이용함으로써 부호화 효율을 향상시킬 수 있다.
인터 예측부(381)는 복원 영상 또는 복호 영상 버퍼(370)에 저장된 필터링된 신호를 참조하여 시간적 중복성 및/또는 공간적 중복성을 제거하기 위해 시간적 예측 및/또는 공간적 예측을 수행할 수 있다. 여기서, 예측을 수행하기 위해 이용되는 참조 영상은 이전 시간에 부호화/복호화 시 블록 단위로 양자화와 역양자화를 거친 변환된 신호이기 때문에, 블로킹 아티팩트나 링잉 아티팩트가 존재할 수 있다.
따라서, 인터 예측부(381)는 이러한 신호의 불연속이나 양자화로 인한 성능 저하를 해결하기 위해, 로우패스 필터(lowpass filter)를 적용함으로써 픽셀들 사이의 신호를 서브 픽셀 단위로 보간할 수 있다. 여기서, 서브 픽셀은 보간 필터를 적용하여 생성된 가상의 픽셀을 의미하고, 정수 픽셀은 복원 영상에 존재하는 실제 픽셀을 의미할 수 있다. 보간 방법으로는 선형 보간, 양선형 보간(bi-linear interpolation), 위너 필터 등이 적용될 수 있다.
보간 필터는 복원 영상에 적용되어 예측의 정밀도를 향상시킬 수 있다. 예를 들어, 인터 예측부(381)는 정수 픽셀에 보간 필터를 적용하여 보간 픽셀을 생성하고, 보간 픽셀들(interpolated pixels)로 구성된 보간 블록(interpolated block)을 예측 블록(prediction block)으로 사용하여 예측을 수행할 수 있다.
인트라 예측부(385)는 현재 부호화를 진행하려고 하는 블록의 주변에 있는 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 인트라 예측부(385)는 인트라 예측을 수행하기 위해 다음과 같은 과정을 수행할 수 있다. 먼저, 예측 신호를 생성하기 위해 필요한 참조 샘플을 준비할 수 있다. 그리고, 준비된 참조 샘플을 이용하여 예측 신호를 생성할 수 있다. 이후, 예측 모드를 부호화하게 된다. 이때, 참조 샘플은 참조 샘플 패딩 및/또는 참조 샘플 필터링을 통해 준비될 수 있다. 참조 샘플은 예측 및 복원 과정을 거쳤기 때문에 양자화 에러가 존재할 수 있다. 따라서, 이러한 에러를 줄이기 위해 인트라 예측에 이용되는 각 예측 모드에 대해 참조 샘플 필터링 과정이 수행될 수 있다.
인터 예측부(381) 또는 상기 인트라 예측부(385)를 통해 생성된 예측 신호(prediction signal)는 복원 영상을 생성하기 위해 이용되거나 잔여 신호를 생성하기 위해 이용될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 복호화부의 개략적인 블록도를 나타낸다.
도 3을 참조하면, 복호화부(400)는 엔트로피 복호화부(410), 역양자화부(420), 역변환부(420), 인-루프 필터링부(ILF), 복호 영상 버퍼(470) 및 예측부(480)를 포함할 수 있다.
복호화부(400)를 통해 출력된 복원 영상은 재생 장치를 통해 재생될 수 있다. 복호화부(400)는 비트스트림을 수신할 수 있고, 비트스트림은 엔트로피 복호화부(410)를 통해 엔트로피 복호화될 수 있다.
역양자화부(420)에서는 양자화 스텝 사이즈 정보를 이용하여 엔트로피 복호화된 신호로부터 변환 계수(transform coefficient)를 획득할 수 있다. 역변환부(230)에서는 변환 계수를 역변환하여 잔여 신호를 획득할 수 있다. 획득된 잔여 신호를 인터 예측부(481) 또는 인트라 예측부(485)로부터 출력된 예측 신호에 더함으로써 복원 영상이 생성된다.
인-루프 필터링부(ILF)는 디블록킹 필터(462), 픽셀 파라미터 생성부(464) 및 포스트-디블록킹 필터(466)를 포함할 수 있다. 디블록킹 필터(462)는 복원 영상을 수신하여 디블록킹 필터링을 수행할 수 있다. 본 개시의 일 실시 예로, 픽셀 파라미터 생성부(464)는 복원 영상을 수신하여, 포스트-디블록킹 필터링을 수행을 위한 픽셀 파라미터들을 디블록킹 필터링 동작과 병렬적으로 생성할 수 있다. 포스트-디블록킹 필터(466)는 픽셀 파라미터들을 기반으로 필터 파라미터가 결정될 수 있으며, 디블록된 복원 영상에 대하여 블록 단위로 원본 영상과 복원 영상의 차이를 최소화하기 위한 포스트-디블록킹 필터링 동작을 수행하여, 필터링된 신호를 생성할 수 있다.
다른 실시 예로서, 포스트-디블록킹 필터(466)에 대한 필터 파라미터는 도 2의 부호화부(300)로부터 전송될 수 있으며, 또는 다른 코딩 정보로부터 유도될 수 있다.
인-루프 필터링부(ILF)는 디블록킹 필터링 및 포스트-디블록킹 필터링을 수행하여 필터링된 신호를 생성하고, 필터링된 신호를 재생 장치로 전송하거나, 복호 영상 버퍼(470)로 전송할 수 있다. 복호 영상 버퍼(470)에 전송된 필터링된 신호는 예측 필터(미도시)로 전송되어 통해 예측 성능을 향상시키기 위해 다시 필터링될 수 있다.
복호 영상 버퍼(470)에 저장된 필터링된 신호는 예측부(480)로 전송되어 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 필터링된 신호는 인터 예측부(481)에서 참조 영상으로 이용될 수 있다. 복호 영상 버퍼(470)는 필터링된 신호 또는 예측 필터링된 신호를 인터 예측부(481)에서의 참조 영상으로 사용하기 위해 저장할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 도 2 또는 도 3의 인-루프 필터링부의 동작을 설명하기 위한 개략적인 블록도이다.
도 4를 참조하면, 인-루프 필터링부(ILF)는 디블록킹 필터(362), 픽셀 파라미터 생성부(364) 및 포스트-디블록킹 필터(366)를 포함할 수 있다. 포스트-디블록킹 필터(366)는 디링잉 필터(366a) 및 적응적 루프 필터(366b) 중 적어도 하나를 포함할 수 있다. 일 실시 예로, 포스트-디블록킹 필터(366)가 디링잉 필터(366a) 및 적응적 루프 필터(366b)를 포함할 때에, 디링잉 필터링 동작 및 적응적 루프 필터링 동작을 순차적으로 수행할 수 있다. 디링잉 필터링 동작과 적응적 루프 필터링 동작은 실시 예에 따라 동작 순서는 서로 변경될 수 있다. 한편, 도 4에 도시된 포스트-디블록킹 필터(366)의 구성은 예시적 실시 예에 불과한 바, 이에 국한되지 않으며, 복원 영상과 원본 영상의 차이를 효과적으로 줄일 수 있는 하나 이상의 필터를 더 포함할 수 있다.
디블록킹 필터(362)는 복원 영상(RI)를 수신하고, 디블록킹 필터링을 수행하여 디블록된 복원 영상(DB_RI)을 생성할 수 있다. 일 실시 예로, 픽셀 파라미터 생성부(364)는 제1 파라미터 생성부(364a) 및 제2 파라미터 생성부(364b)를 포함할 수 있다. 제1 파라미터 생성부(364a)는 디링잉 필터(366a)에 대응하는 필터 파라미터를 결정하기 위해 필요한 제1 픽셀 파라미터를 디블록킹 필터링 동작과 병렬적으로 생성할 수 있다. 제1 픽셀 파라미터는 디링잉 필터(366a)가 적용되는 단위 별로 생성될 수 있다. 제2 파라미터 생성부(364b)는 적응적 루프 필터(366b)에 대응하는 필터 파라미터를 결정하기 위해 필요한 제2 픽셀 파라미터를 디블록킹 필터링 동작과 병렬적으로 생성할 수 있다. 제2 픽셀 파라미터는 적응적 루프 필터(366b)가 적용되는 단위 별로 생성될 수 있다.
일 실시 예에 따라 제1 픽셀 파라미터 생성부(364a) 및 제2 픽셀 파라미터 생성부(364b)는 각각 병렬적으로 제1 픽셀 파라미터, 제2 픽셀 파라미터를 생성할 수 있다. 또한, 디링잉 필터링 동작, 적응적 루프 필터링 동작 순서에 부합하는 생성 순서에 따라 제1 픽셀 파라미터 생성부(364a) 및 제2 픽셀 파라미터 생성부(364b)는 각각 제1 픽셀 파라미터, 제2 픽셀 파라미터를 순차적으로 생성할 수 있다. 예를 들어, 디링잉 필터링 동작 후에 적응적 루프 필터링 동작이 수행되는 때에, 제1 픽셀 파라미터 생성부(364a)가 제1 픽셀 파라미터를 생성하고, 이후, 제2 픽셀 파라미터 생성부(364b)가 제2 픽셀 파라미터를 생성할 수 있다. 제1 픽셀 파라미터에 관한 구체적인 내용은 도 6a 내지 도 6d에서 설명하고, 제2 픽셀 파라미터에 관한 구체적인 내용은 도 7에서 설명하도록 한다.
또한, 포스트-디블록킹 필터(366)에 포함된 필터의 종류에 따라 더 많은 개수의 파라미터 생성부들을 포함할 수 있으며, 각각의 파라미터 생성부들은 병렬적으로 또는 소정의 순서를 기반으로 픽셀 파라미터들을 생성할 수 있다.
포스트-디블록킹 필터(366)는 디블록킹 필터(362)로부터 디블록된 복원 영상(DB_RI)을 수신하고, 픽셀 파라미터 생성부(364)로부터 제1 픽셀 파라미터 및 제2 픽셀 파라미터 중 적어도 하나를 포함하는 픽셀 파라미터(PX_PM)를 수신할 수 있다.
제1 파라미터 생성부(364a)는 디링잉 필터링 대상이 되는 복원 영상의 복원 블록 단위(또는, 최대 부호화 단위)별로 각 복원 블록에 포함된 픽셀들의 값을 기반으로 제1 픽셀 파라미터들을 생성할 수 있다. 구체적으로, 제1 파라미터 생성부(364a)는 각 복원 블록에 포함된 픽셀들의 값을 이용하여 각 복원 블록들의 방향을 나타내는 정보인 제1 픽셀 파라미터들을 생성할 수 있다.
디링잉 필터(366a)는 제1 픽셀 파라미터들을 참조하여 디블록된 복원 영상(DB_RI)에 포함된 복원 블록들에 대응하는 복원 블록의 방향에 따라 필터 파라미터가 결정될 수 있다. 일 예로, 제1 방향을 갖는 제1 복원 블록에 대하여 제1 필터 파라미터를 갖는 디링잉 필터(366a)가 적용될 수 있으며, 제2 방향을 갖는 제2 복원 블록에 대하여 제2 필터 파라미터를 갖는 디링잉 필터(366a)가 적용될 수 있다. 일 실시예로, 디링잉 필터(366a)의 필터 파라미터는 디링잉 필터(366a)의 탭(tap)의 위치를 복원 블록의 위치로 변환하는 데에 이용되는 정보를 포함할 수 있다. 즉, 디링잉 필터(366a)의 필터 파라미터는 디링잉 필터링 동작을 위해 결정되어야 하는 디링잉 필터의 값을 의미할 수 있다.디링잉 필터(366a)는 디블록된 복원 영상(DB_RI)의 복원 블록들간의 경계 근처의 에지에 대한 링잉 아티팩트를 제거할 수 있다. 일 실시예로, 디링잉 필터(366a)가 적용되는 복원 영상은 디블록된 복원 영상(DB_RI)이 적응적 루프 필터링된 것일 수 있다.
적응적 루프 필터(366b)는 픽셀 값 보정 대상인 현재 픽셀의 주변에 위치한 주변 픽셀의 값과 주변 픽셀에 대한 계수를 연산하여 결정된 보정 값을 이용하여 현재 픽셀의 값을 보정할 수 있다. 적응적 루프 필터(366b)는 복원 영상에 포함된 복원 블록 단위(또는, 최대 부호화 단위)별로 픽셀 값을 보정할 수 있다. 상기 복원 영상은 디블록된 복원 영상(DB_RI)이거나 디링잉 필터링된 복원 영상일 수 있다. 적응적 루프 필터(366b)의 필터 파라미터는 제2 픽셀 파라미터를 기반으로 결정될 수 있다. 즉, 타겟 복원 블록에 대하여 적응적 루프 필터링 동작을 수행할 때에, 적응적 루프 필터(366b)의 모양, 필터(366b)의 크기 및 필터(366b)의 계수 중 적어도 하나를 제2 픽셀 파라미터를 기반으로 결정될 수 있다.
도 5는 본 개시의 일 실시 예에 따른 필터링 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 영상 처리 장치(예를 들면, 도 1의 영상 송신 장치(100))는 입력 영상을 부호화하여 부호화된 영상 데이터를 생성할 수 있다(S100). 영상 처리 장치는 부호화된 영상 데이터를 복호화하여 복원 영상을 생성할 수 있다(S110). 이후, 영상 처리 장치는 복원 영상에 디블록킹 필터를 적용하여 디블록된 복원 영상을 생성할 수 있다(S120). 또한, 영상 처리 장치는 디블록킹 필터링 동작과 병렬적으로 복원 영상을 이용하여 복원 영상에 포함된 복원 블록들 별로 픽셀 파라미터들을 생성할 수 있다(S130). 영상 처리 장치는 생성된 픽셀 파라미터를 기반으로 포스트-디블록킹 필터에 대한 필터 파라미터를 결정할 수 있다(S140). 영상 처리 장치는 디블록킹 필터에 의해 디블록된 복원 영상에 포스트-디블록킹 필터를 적용할 수 있다(S150).
한편, 영상 처리 장치가 디블록킹 필터링 동작과 픽셀 파라미터 생성 동작을 병렬적으로 수행하는 특징은 도 1의 영상 수신 장치(200)에도 적용될 수 있음은 분명하다.
도 6a 내지 도 6c는 도 4의 제1 픽셀 파라미터에 관한 내용을 설명하기 위한 도면이고, 도 6d는 디링잉 동작을 설명하기 위한 도면이다.
도 4 및 도 6a를 참조하면, 제1 파라미터 생성부(364a)는 복원 영상(RI)을 수신하여, 복수의 복원 블록들로 분할할 수 있다(S200). 분할된 복원 블록들은 고정되거나 가변적인 크기를 가질 수 있다. 이후, 제1 파라미터 생성부(364a)는 복원 블록들 각각에 대한 방향을 식별할 수 있다(S202). 일 실시 예로, 제1 파라미터 생성부(364a)는 각각의 복원 블록들에 포함된 픽셀들의 패턴이 어느 방향과 가장 일치하는지 결정함으로써, 복원 블록들 각각에 대한 방향을 식별할 수 있으며, 식별 결과에 따른 제1 픽셀 파라미터들을 생성할 수 있다. 제1 파라미터 생성부(364a)는 복원 블록들 각각에 대한 방향을 다양한 방식으로 식별할 수 있으며, 복원 블록들 각각에 대한 방향을 식별하기 위한 하나의 실시 예는 도 6b 및 도 6c에서 서술한다.
도 6b를 더 참조하면, 제1 파라미터 생성부(364a)는 모든 복원 블록들 또는일부의 복원 블록들에 대하여 순차적으로 복원 블록들 각각에 대응하는 방향을 식별하는 동작을 수행할 수 있다. 이하에서는, 복원 블록들 중 방향 식별 동작 대상이 되는 타겟 복원 블록의 방향을 식별하는 제1 파라미터 생성부(364a)의 동작을 서술한다.
제1 파라미터 생성부(364a)의 동작을 서술하기에 앞서 도 6c를 참조하여, 방향 블록(Directional block; DB)에 대하여 설명한다. 방향 블록(DB)은 소정의 방향을 따르는 픽셀들에 대한 라인 번호를 가질 수 있다. 예를 들어, 방향 블록(DB)은 대각선 방향의 복수의 픽셀 라인들을 포함하고, 방향 블록(DB)의 좌측 상단 코너의 라인(L1)에 포함된 픽셀들은 '0' 값을 가질 수 있다. 이와 같이, 방향 블록(DB)의 픽셀 라인들(L1~L8)에 포함된 픽셀들은 각각 소정의 값(0~7)을 가질 수 있다. 방향 블록(DB)의 픽셀 라인들은 미리 결정된 방향들의 세트 중 어느 하나일 수 있다. 일 실시 예로, 방향 블록(DB)의 픽셀 라인들은 4개의 미리 결정된 방향 중 어느 하나일 수 있다. 4개의 미리 결정된 방향은 0도, 45도, 90도 및 135도의 방향일 수 있으며, 도 6c에 도시된 방향 블록(DB)은 45도의 방향을 가질 수 있다.
도 6b로 돌아오면, 제1 파라미터 생성부(364a)는 적어도 4개의 방향들 중 어느 하나의 방향에 대응하는 방향 블록을 선택할 수 있다(S210). 제1 파라미터 생성부(364a)는 타겟 복원 블록에 포함된 각 픽셀들의 픽셀 값과 픽셀을 포함하는 선택된 방향 블록의 픽셀 라인 간의 평균 제곱 차이(mean-square difference)의 합과 관련된 파라미터를 계산할 수 있다(S212). 제1 파라미터 생성부(364a)는 위와 같은 방식으로 나머지 방향들에 대응하는 방향 블록들을 이용하여 나머지 방향들 각각에 대한 파라미터를 계산할 수 있다(S214). 제1 파라미터 생성부(364a)는 적어도 4개의 방향들 중 최소 값을 갖는 평균 제곱 차이의 합과 관련된 파라미터에 대응하는 방향을 타겟 복원 블록의 방향으로 결정할 수 있다(S216). 제1 파라미터 생성부(364a)는 다음 타겟 복원 블록을 선택하여 단계 S210 내지 단계 S216을 수행할 수 있다. 그 결과, 제1 파라미터 생성부(364a)는 복원 블록들의 방향을 식별하고, 복원 블록들 각각의 방향을 나타내는 제1 픽셀 파라미터들을 생성할 수 있다.
도 6d를 더 참조하면, 디링잉 필터(366a)의 필터 파라미터는 디블록된 복원 블록들 각각에 대응하는 복원 블록들의 식별된 방향을 나타내는 제1 픽셀 파라미터들을 기반으로 결정될 수 있다(S220). 디블록된 복원 블록들은 디블록된 복원 영상(DB_RI)에 포함된 것이다. 이후, 디블록된 복원 블록들 각각에 결정된 필터 파라미터를 갖는 디링잉 필터(366a)를 적용함으로써 디링잉 필터링 동작을 수행할 수 있다(S222).
도 7은 도 4의 제2 픽셀 파라미터에 관한 내용을 설명하기 위한 도면이다.
도 7를 참조하면, 적응적 루프 필터가 적용되는 복원 블록(또는, 최대 코딩 유닛) 내의 샘플 픽셀들(A~I)이 도시되어 있으며, 샘플 픽셀 E는 현재 샘플 픽셀을 나타내고，샘플 픽셀 A, B, C, D, F, G, H 및 I는 그 주변의 샘플 픽셀들을 나타낸다. 샘플 픽셀 E와 B，H의 차이를 기반으로 E의 수직 방향의 변화도를 알 수 있고， E와 D ，F의 차이를 이용하여 E의 수평 방향의 변화도를 알 수 있다. E와 A，I의 차이를 이용하여 좌상향 대각선 방향의 변화도를 알 수 있고， E와 C， G의 차이를 이용하여 우상향 대각선 방향의 변화도를 알 수 있다. 수평 방향의 변화도，수직 방향의 변화도，대각선 방향의 변화도 등을 기반으로 상기 샘플 픽셀 E에 대한 영상 특성을 알 수 있으며, 이는 영상의 복잡도를 대변할 수 있으며 이를 기반으로 복원 블록에서의 영상의 활동성을 도출 할 수 있다. 활동성은 필터링의 대상이 되는 타겟 복원 블록 내의 텍스처 또는 에러의 특성을 나타내는 지표이다. 또한，상기 수직 방향의 변화도, 상기 수평 방향의 변화도 및 대각선 방향의 변화도 등의 비교를 통하여 해당 영역에 대한 영상의 방향성을 획득할 수 있다. 방향성은 필터링의 대상이 되는 타겟 복원 블록 내의 텍스처 또는 에러의 방향성을 나타내는 지표이다.
한편， 도 7에서는 9 개의 샘플 픽셀들을 이용하여 영상의 특성을 계산하였으나，더 많은 또는 더 적은 샘플 픽셀들을 이용하여 영상의 특성을 계산할 수도 있다.
일 실시 예로, 제2 픽셀 파라미터는 적응적 루프 필터링 대상이 되는 타겟복원 블록의 활동성 및 방향성 중 적어도 하나를 나타내는 정보일 수 있다. 전술한 바와 같이, 도 4의 적응적 루프 필터(366b)의 필터 파라미터는 제2 픽셀 파라미터를 기반으로 결정될 수 있다. 일 예로, 적응적 루프 필터(366b)의 적응적 루프 필터의 모양, 필터의 크기 및 필터의 계수 중 적어도 하나는 제2 픽셀 파라미터를 기반으로 결정될 수 있다. 다만, 이는 예시적 실시 예에 불과한 바, 이에 국한되지 않으며, 제2 픽셀 파라미터는 적응적 루프 필터(366b)의 모양, 필터(366b)의 크기 및 필터(366b)의 계수 중 적어도 하나를 결정하기 위해 필요한 다양한 정보로 구현될 수 있다.
도 8a 및 도 8b는 본 개시의 일 실시 예에 따른 영상 처리 장치의 버퍼 이용에 대하여 설명하기 위한 도면이다.
도 8a를 참조하면, 본 개시의 일 실시 예에 따른 영상 처리 장치의 인-루프 필터링부(ILF)는 제N 스테이지(Stage N)에서 복원 영상을 이용한 디블록킹 필터링 동작과 픽셀 파라미터 생성 동작을 병렬적으로 수행할 수 있도록 구현된 디블록킹 필터(462)와 픽셀 파라미터 생성부(364)를 포함할 수 있다. 영상 처리 장치는 버퍼(buff)를 더 포함할 수 있고, 포스트-디블록킹 필터(366)에 의한 포스트-디블록킹 필터링 동작을 수행하기 전까지 버퍼(buff)는 복원 영상에 대응하는 원본 영상을 저장할 수 있다. 원본 영상은 제N+1 스테이지(Stage N+1)에서 포스트-디블록킹 필터링 동작을 수행하기 전까지 영상 처리 장치에서 이용될 수 있다. 이에 따라, 버퍼(buff)에 저장된 원본 영상은 제N 스테이지(Stage N)가 완료되는 T1 시간 이후에 삭제될 수 있다. 다른 실시예로, 버퍼(buff)에 저장된 원본 영상은 디블록된 복원 영상 및 생성된 픽셀 파라미터들이 포스트-디블록킹 필터(366)로 전송이 완료된 때에 삭제될 수 있다.
도 8b를 참조하면, 종래의 영상 처리 장치의 인-루프 필터링부(ILF')는 제N 스테이지(Stage N)에서 복원 영상을 이용한 디블록킹 필터링 동작을 수행하고, 제N+1 스테이지(Stage N+1)에서 디블록된 복원 영상을 이용한 픽셀 파라미터 생성 동작을 직렬적으로 수행할 수 있도록 구현된 디블록킹 필터(362')와 픽셀 파라미터 생성부(364')를 포함할 수 있다. 영상 처리 장치는 버퍼(buff')를 더 포함할 수 있고, 포스트-디블록킹 필터(366')에 의한 포스트-디블록킹 필터링 동작을 수행하기 전까지 버퍼(buff')는 복원 영상에 대응하는 원본 영상을 저장할 수 있다. 원본 영상은 제N+2 스테이지(Stage N+2)에서 포스트-디블록킹 필터링 동작을 수행하기 전까지 영상 처리 장치에서 이용될 수 있다. 이에 따라, 버퍼(buff')에 저장된 원본 영상은 제N+1 스테이지(Stage N+1)가 완료되는 T2 시간 이후에 삭제될 수 있다.
본 개시의 일 실시 예에 따른 영상 처리 장치는 디블록킹 필터링 동작과 픽셀 파라미터 생성 동작을 병렬적으로 수행함으로써 포스트-디블록킹 필터링을 수행하기까지의 스테이지 수를 종래보다 감소시킬 수 있으며, 버퍼(buff)에 복원 영상에 대응하는 원본 영상을 저장하는 시간을 감소시킬 수 있다. 또한, 버퍼(buff) 내의 원본 영상이 삭제된 공간에 다른 원본 영상을 저장하는 등의 버퍼(buff)에 대한 효율적인 사용이 가능하고, 결과적으로 버퍼(buff)의 크기를 줄일 수 있는 효과가 있다.
도 9a 및 도 9b는 본 개시의 일 실시 예에 따른 픽셀 파라미터 보상과 관련된 인-루프 필터링부의 동작을 설명하기 위한 도면이다.
도 9a를 참조하면, 인-루프 필터링부(ILFa)는 디블록킹 필터(362'), 픽셀 파라미터 생성부(364) 및 포스트-디블록킹 필터(366)를 포함할 수 있다. 디블록킹 필터(362')는 복원 영상(RI)을 수신하여, 디블록킹 필터링을 수행할 수 있으며, 디블록된 복원 영상(DB_RI)을 생성할 수 있다. 일 실시 예로, 디블록킹 필터(362')는 복원 영상(RI)과 디블록된 복원 영상(DB_RI) 간의 픽셀 값의 차이를 나타내는 차이 정보(DIFF_I)를 생성할 수 있다. 차이 정보(DIFF_I)는 디블록된 복원 영상(DB_RI)의 복원 블록 별로 생성될 수 있다.
픽셀 파라미터 생성부(364)는 제1 파라미터 생성부(364a) 및 제2 파라미터 생성부(364b)를 포함할 수 있으며, 구체적인 내용은 도 4에서 서술된 바, 이하 생략한다. 픽셀 파라미터 생성부(364)는 포스트-디블록킹 필터(366)에 대한 픽셀 파라미터를 결정하기 위해 필요한 픽셀 파라미터(PX_PM)를 생성할 수 있다.
일 실시 예로, 포스트-디블록킹 필터(366)는 디링잉 필터(366a), 적응적 루프 필터(366b) 및 픽셀 파라미터 보상부(366c)를 포함할 수 있다. 픽셀 파라미터 보상부(366c)는 차이 정보(DIFF_I) 및 픽셀 파라미터(PX_PM)를 수신할 수 있다. 픽셀 파라미터 보상부(366c)는 차이 정보(DIFF_I)를 기반으로 픽셀 파라미터(PX_PM)를 보상할 수 있다. 즉, 픽셀 파라미터 보상부(366c)는 차이 정보(DIFF_I)를 통해 복원 블록(RI)의 블록 아티팩트 성분을 인지하고, 이러한 블록 아티팩트 성분이 반영된 픽셀 파라미터(PX_PM)에서 블록 아티팩트 성분이 제거되도록 보상할 수 있다. 픽셀 파라미터 보상부(366c)는 보상된 픽셀 파라미터를 디링잉 필터(366a) 및/또는 적응적 루프 필터(366b)에 제공할 수 있다. 디링잉 필터(366a) 및 적응적 루프 필터(366b)의 구체적인 내용은 도 4에서 서술된 바, 이하 생략한다.
도 9b를 참조하면, 도 9a와 다르게 픽셀 파라미터 보상부(366c')는 복원 영상(RI), 디블록된 복원 영상(DB_RI) 및 픽셀 파라미터(PX_PM)를 수신할 수 있다. 픽셀 파라미터 보상부(366c')는 복원 영상(RI)과 디블록된 복원 영상(DB_RI) 간의 픽셀 값의 차이를 나타내는 차이 정보를 생성할 수 있다. 차이 정보(DIFF_I)는 디블록된 복원 영상(DB_RI)의 복원 블록 별로 대응되는 정보를 포함할 수 있다. 픽셀 파라미터 보상부(366c')는 차이 정보를 기반으로 픽셀 파라미터(PX_PM)를 보상할 수 있다. 이외의 구성은 도 9a와 동일, 유사한 바, 구체적인 서술은 생략한다.
도 10a 및 도 10b는 본 개시의 일 실시 예에 따른 인-루프 필터링부의 동작을 설명하기 위한 도면이다.
도 10a를 참조하면, 인-루프 필터링부(ILF)는 디블록킹 필터(362), 픽셀 파라미터 생성부(364) 및 포스트-디블록킹 처리부(366)를 포함할 수 있다. 일 실시 예로, 픽셀 파라미터 생성부(364)는 디블록킹 필터(362)가 포스트-디블록킹 필터(366)로의 디블록된 복원 영상(DB_RI)의 출력 타이밍과 일치하도록 픽셀 파라미터(PX_PM)의 출력 타이밍을 조정할 수 있다. 일 실시 예로, 픽셀 파라미터 생성부(364)가 복원 영상(RI)을 이용한 픽셀 파라미터 생성 동작을 디블록킹 필터(362)의 디블록킹 필터링 동작보다 더 빠르게 완료할 수 있다. 이 때에, 픽셀 파라미터 생성부(364)는 생성된 픽셀 파라미터(PX_PM)를 바로 포스트-디블록킹 필터(366)로 출력하지 않고, 디블록킹 필터(362)의 디블록된 블록 영상(DB_RI)의 출력 타이밍과 일치하도록 픽셀 파라미터(PX_PM)를 출력할 수 있다. 픽셀 파라미터 생성부(364)는 픽셀 파라미터(PX_PM)의 출력 타이밍을 조정하기 위한 지연 회로를 더 포함할 수 있다. 지연 회로는 복수의 지연 소자들을 포함할 수 있다. 다만, 이는 예시적 실시 예에 불과한 바, 이에 국한되지 않으며, 픽셀 파라미터 생성부(364)의 픽셀 파라미터 생성 동작이 디블록킹 필터(362)의 디블록킹 필터링 동작보다 더 느리게 완료되는 경우에는, 디블록킹 필터(362)에서 디블록된 블록 영상(DB_RI)의 출력 타이밍을 조정할 수 있다.
포스트-디블록킹 필터(366)는 디링잉 필터(366a), 적응적 루프 필터(366b) 및 인터페이스(366c)를 포함할 수 있다. 인터페이스(366c)는 출력 타이밍이 동일, 유사한 디블록된 복원 영상(DB_RI) 및 픽셀 파라미터(PX_PM)를 수신하여 디링잉 필터(366a) 및 적응적 루프 필터(366b) 중 적어도 하나에 출력할 수 있다.
도 10b를 더 참조하면, 도 10a와 다르게, 픽셀 파라미터 생성부(364)는 픽셀 파라미터(PX_PM)의 출력 타이밍을 조절하지 않고, 생성된 픽셀 파라미터(PX_PM)를 인터페이스(366d)로 바로 출력할 수 있다. 인터페이스(366d)는 픽셀 파라미터 버퍼(366d_1) 및 신호 매칭부(366d_2)를 포함할 수 있다. 도 10b에서는 인터페이스(366d)가 포스트-디블록킹 필터(366) 내부에 배치된 것으로 구현되었으나, 이는 예시적 실시 예로서, 이에 국한되지 않고, 포스트-디블록킹 필터(366) 외부에 배치될 수도 있다. 픽셀 파라미터 버퍼(366d_1)는 픽셀 파라미터 생성부(364)로부터 수신된 픽셀 파라미터(PX_PM)를 순차적으로 저장할 수 있다. 도 10c를 더 참조하면, 인터페이스(366d)는 픽셀 파라미터(PX_PM)의 저장 순서에 부합하는 플래그 정보(Flag)를 생성하여 테이블(TB)로 관리할 수 있다. 일 예로, 픽셀 파라미터 버퍼(366d_1)는 디블록된 복원 영상의 복원 블록들 각각에 대응하는 제1 내지 제n 픽셀 파라미터(PX_PM1~PX_PMn)를 순차적으로 저장할 수 있으며, 인터페이스(366d)는 저장 순서에 부합하는 플래그 정보들(Flag1~Flagn)을 생성하여 제1 내지 제n 픽셀 파라미터(PX_PM1~PX_PMn)에 태깅(tagging)할 수 있다.
신호 매칭부(366d_2)는 테이블(TB)의 플래그 정보(Flag)를 참조하여, 먼저 저장된 픽셀 파라미터(PX_PM)와 픽셀 파라미터(PX_PM)에 대응하는 복원 블록을 매칭하고, 매칭된 픽셀 파라미터(PX_PM_M) 및 매칭된 복원 블록(DB_RB_M)을 동시에 디링잉 필터(366a) 및 적응적 루프 필터(366b) 중 적어도 하나로 출력할 수 있다.
디링잉 필터(366a) 또는 적응적 루프 필터(366b)는 매칭된 픽셀 파라미터(PX_PM_M)를 참조하여 필터 파라미터를 결정할 수 있으며, 매칭된 복원 블록(DB_RB_M)에 대하여 포스트-디블록킹 필터링 동작을 수행할 수 있다.
도 11은 본 개시의 일 실시 예에 따른 부호화 단위의 개념을 도시한다.
부호화 단위는, 전술한 변환 사이즈나 코딩 유닛에 상응하는 단위일 수 있다.
도 11을 참조하면, 부호화 단위의 크기는 폭x높이로 표현되며, 크기 64x64인 부호화 단위부터, 32x32, 16x16, 8x8를 포함할 수 있다. 크기 64x64의 최대 부호화 단위는 크기 64x64, 64x32, 32x64, 32x32의 부호화 단위들로 분할될 수 있고, 크기 32x32의 부호화 단위는 크기 32x32, 32x16, 16x32, 16x16의 부호화 단위들로, 크기 16x16의 부호화 단위는 크기 16x16, 16x8, 8x16, 8x8의 부호화 단위들로, 크기 8x8의 부호화 단위는 크기 8x8, 8x4, 4x8, 4x4의 부호화 단위들로 분할될 수 있다.
일 예로서, 프레임 영상(A)의 해상도가 1920x1080에 해당하고, 부호화 단위의 최대 크기는 64, 최대 심도가 2로 설정될 수 있다. 또는, 프레임 영상(B)의 경우에 대해서는, 해상도가 1920x1080에 해당하고, 부호화 단위의 최대 크기는 64, 최대 심도가 3로 설정될 수 있다. 또는, 프레임 영상(C)의 경우에 대해서는, 해상도가 352x288에 해당하고, 부호화 단위의 최대 크기는 16, 최대 심도가 1로 설정될 수 있다. 도 11에 도시된 최대 심도는, 최대 부호화 단위로부터 최소 부호화 단위까지의 총 분할 횟수를 나타낸다.
해상도가 높거나 데이터량이 많은 경우 부호화 효율의 향상 뿐만 아니라 영상 특성을 정확히 반영하기 위해 부호화 단위의 최대 크기가 상대적으로 큰 것이 바람직하다. 따라서, 해상도가 높은 프레임 영상(A, B)은 부호화 단위의 최대 크기가 64로 선택될 수 있다.
프레임 영상(A)의 최대 심도는 2이므로, 프레임 영상(A)의 부호화 단위(D)는 장축 크기가 64인 최대 부호화 단위로부터, 2회 분할하며 심도가 두 계층 깊어져서 장축 크기가 32, 16인 부호화 단위들까지 포함할 수 있다. 반면, 프레임 영상(C)의 최대 심도는 1이므로, 프레임 영상(C)의 부호화 단위(F)는 장축 크기가 16인 부호화 단위들로부터, 1회 분할하며 심도가 한 계층 깊어져서 장축 크기가 8인 부호화 단위들까지 포함할 수 있다.
한편, 프레임 영상(B)의 최대 심도는 3이므로, 프레임 영상(B)의 부호화 단위(G)는 장축 크기가 64인 최대 부호화 단위로부터, 3회 분할하며 심도가 세 계층 깊어져서 장축 크기가 32, 16, 8인 부호화 단위들까지 포함할 수 있다. 심도가 깊어질수록 세부 정보의 표현능력이 향상될 수 있다.
도 12는 본 개시의 실시 예들에 따른 영상 처리 방법이 소프트웨어적으로 구현되는 예를 나타내는 블록도이다.
도 12를 참조하면, 영상 처리 장치(500)는 프로세서(510) 및 워킹 메모리(520)를 포함할 수 있다. 워킹 메모리(520)는 컴퓨터로 읽을 수 있는 기록매체일 수 있다. 프로세서(510)는 워킹 메모리(520)에 저장된 컴퓨터 프로그램들을 실행할 수 있다. 워킹 메모리(520)는 전술한 실시 예들에 따른 필터링 동작을 수행하기 위한 각종 기능들 중 적어도 일부를 소프트웨어적으로 처리하기 위한 컴퓨터 프로그램들을 저장할 수 있으며, 컴퓨터 프로그램들은 그 기능에 따라 인-루프 필터링 모듈(525)을 포함할 수 있다.
일 예로서, 프로세서(510)는 본 발명의 실시 예들에 따른 복원 영상에 대한필터링 동작을 전반적으로 제어할 수 있다. 예컨대, 프로세서(510)는 인-루프 필터링 모듈(525)을 실행함으로써 디블록킹 필터링 동작과 픽셀 파라미터 생성 동작을 병렬적으로 수행할 수 있다. 또한, 프로세서(510)는 인-루프 필터링 모듈(525)을 실행함으로써 상기 병렬 동작을 수행함에 있어서 파생되는 출력 타이밍 제어, 픽셀 파라미터 관리 등에 관련된 동작을 수행할 수 있다.
도 13은 전술한 실시 예들에 따른 영상 처리 장치를 포함하는 컴퓨팅 시스템을 도시한 블록도이다.
도 13을 참조하면, 컴퓨팅 시스템(600)은 어플리케이션 프로세서(Application Processor, 610), 메모리 장치(620), 저장 장치(630), 입출력 장치(640), 파워 서플라이(650) 및 이미지 센서(660) 등을 포함할 수 있다. 한편, 도 13에는 도시되지 않았지만, 컴퓨팅 시스템(600)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트들(ports)을 더 포함할 수 있다.
어플리케이션 프로세서(610)는 시스템 온 칩(System On Chip, SoC)으로 구현될 수 있다. 어플리케이션 프로세서(610)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시 예에 따라, 어플리케이션 프로세서(610)는 마이크로프로세서(micro-processor), 중앙 처리 장치 (Central Processing Unit(CPU))를 포함할 수 있다. 어플리케이션 프로세서(610)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(620), 저장 장치(630) 및 입출력 장치(640)와 통신을 수행할 수 있다. 메모리 장치(620)는 컴퓨팅 시스템(600)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(620)는 DRAM(dynamic random access memory), 모바일 DRAM, SRAM, 플래시 메모리, PRAM, FRAM, RRAM 및/또는 MRAM 등으로 구현될 수 있다. 저장 장치(630)는 SSD(solid state drive), HDD(hard disk drive), 또는 CD-ROM 등을 포함할 수 있다. 입출력 장치(640)는 키보드(heyboard), 키 패드(keypad), 마우스(mouse) 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(650)는 컴퓨팅 시스템(600)의 동작에 필요한 동작 전압을 공급할 수 있다.
어플리케이션 프로세서(610)는 본 발명의 실시 예에 따른 영상 처리 동작을 수행하는 코덱 모듈(611)을 포함할 수 있으며, 코덱 모듈(611)은 인-루프 필터(611_1)를 포함할 수 있다. 인-루프 필터(611_1)는 디블록킹 필터링 동작과 픽셀 파라미터 생성 동작을 병렬적으로 수행할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시 예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시 예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

  1. 영상 처리 장치의 복원 영상에 대한 필터링 방법에 있어서,
    상기 복원 영상에 포함된 복수의 복원 블록들 간의 경계의 열화를 제거하기위한 디블록킹(de-blocking) 필터링을 수행하는 단계;
    상기 디블록킹 필터링의 수행과 병렬적으로 상기 복원 블록들 각각의 픽셀 파라미터들을 생성하는 단계; 및
    상기 픽셀 파라미터들을 기반으로 상기 복원 블록들에 대한 포스트-디블록킹 필터링을 수행하는 단계를 포함하는 필터링 방법.
  2. 제1항에 있어서,
    상기 디블록킹 필터링 수행의 대상이 되는 복원 영상과 상기 픽셀 파라미터들의 생성 기반이 되는 복원 영상은 동일한 것을 특징으로 하는 필터링 방법.
  3. 제1항에 있어서,
    상기 픽셀 파라미터는,
    상기 포스트-디블록킹 필터링을 수행하는 포스트-디블록킹 필터에 대한 필터 파라미터를 결정하기 위해 필요한 정보인 것을 특징으로 하는 필터링 방법.
  4. 제1항에 있어서,
    상기 픽셀 파라미터들을 생성하는 단계는,
    상기 포스트-디블록킹 필터링을 수행하는 포스트-디블록킹 필터로의 상기 디블록된(deblocked) 복원 영상의 출력 타이밍과 일치하도록 상기 포스트-디블록킹 필터로의 상기 픽셀 파라미터들의 출력 타이밍을 조정하는 단계를 더 포함하는 것을 특징으로 하는 필터링 방법.
  5. 제1항에 있어서,
    상기 필터링 방법은,
    상기 픽셀 파라미터들을 버퍼에 순차적으로 저장하는 단계; 및
    상기 디블록된 복원 블록들 중 제1 디블록된 복원 블록과 상기 픽셀 파라미터들 중 상기 제1 디블록된 복원 블록에 대응하는 제1 픽셀 파라미터를 상기 포스트-디블록킹 필터링을 수행하는 포스트-디블록킹 필터로 동시에 출력하는 단계를 더 포함하는 것을 특징으로 하는 필터링 방법.
  6. 제1항에 있어서,
    상기 포스트-디블록킹 필터링을 수행하는 단계는,
    상기 디블록된 복원 블록들에 대하여 디링잉(deranging) 필터를 적용하는 단계를 더 포함하는 것을 특징으로 하는 필터링 방법.
  7. 제6항에 있어서,
    상기 픽셀 파라미터는,
    상기 디링잉 필터가 적용되는 상기 디블록된 복원 블록에 대응하는 복원 블록의 방향을 나타내는 정보인 것을 특징으로 하는 필터링 방법.
  8. 제1항에 있어서,
    상기 포스트-디블록킹 필터링을 수행하는 단계는,
    상기 디블록된 복원 블록들에 대하여 적응적 루프(adaptive loop) 필터를 적용하는 단계를 더 포함하는 것을 특징으로 하는 필터링 방법.
  9. 제8항에 있어서,
    상기 픽셀 파라미터는,
    상기 적응적 루프 필터가 적용되는 상기 디블록된 복원 블록과 관련된 상기 적응적 루프 필터의 모양, 필터의 크기 및 필터의 계수 중 적어도 하나의 값을 결정하기 위한 정보인 것을 특징으로 하는 필터링 방법.
  10. 제1항에 있어서,
    상기 포스트-디블록킹 필터링을 수행하는 단계는,
    상기 디블록된 복원 블록들에 대하여 디링잉 필터를 적용하는 단계; 및
    상기 디링잉 필터가 적용된 상기 디블록된 복원 블록들에 대하여 적응적 루프 필터를 적용하는 단계를 더 포함하는 것을 특징으로 하는 필터링 방법.
  11. 제1항에 있어서,
    상기 필터링 방법은,
    상기 디블록킹 필터링 결과 생성된 디블록된 복원 영상 및 상기 생성된 픽셀 파라미터들이 상기 포스트-디블록킹 필터링을 수행하는 포스트-디블록킹 필터로 전송이 완료된 때에, 상기 복원 영상에 대응하는 원본 영상을 상기 영상 처리 장치의 버퍼로부터 삭제하는 단계를 더 포함하는 것을 특징으로 하는 필터링 방법.
  12. 제1항에 있어서,
    상기 픽셀 파라미터들을 생성하는 단계는,
    상기 복원 블록들 각각에 포함된 픽셀들의 값을 기반으로 상기 픽셀 파라미터들을 생성하는 것을 특징으로 하는 필터링 방법.
  13. 영상 처리 장치에 있어서,
    복원 영상을 수신하고, 상기 복원 영상에 포함된 복수의 복원 블록들 간의 경계의 열화를 제거하는 디블록킹 필터링을 수행하는 디블록킹 필터;
    상기 복원 영상을 수신하고, 상기 디블록킹 필터링과 병렬적으로 상기 복원 블록들 각각의 픽셀 파라미터들을 생성하는 픽셀 파라미터 생성부; 및
    상기 픽셀 파라미터들 및 상기 디블록된 복원 영상을 수신하고, 이를 기반으로 포스트-디블록킹 필터링을 수행하는 포스트-디블록킹 필터를 포함하는 영상 처리 장치.
  14. 제13항에 있어서,
    상기 영상 처리 장치는, 상기 복원 영상에 대응하는 원본 영상을 저장하는 버퍼를 더 포함하고,
    상기 원본 영상은, 상기 디블록킹 필터링 결과 생성된 디블록된 복원 영상 및 상기 생성된 픽셀 파라미터들이 상기 포스트-디블록킹 필터로 전송이 완료된 때에, 상기 버퍼로부터 삭제되는 것을 특징으로 하는 영상 처리 장치.
  15. 제13항에 있어서,
    상기 포스트-디블록킹 필터는,
    디링잉(deranging) 필터 및 적응적 루프 필터 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 처리 장치.
  16. 제15항에 있어서,
    상기 디링잉 필터는,
    상기 픽셀 파라미터들을 참조하여 상기 복원 블록들 각각에 대응하는 방향에 따라 상기 디잉링 필터의 필터 파라미터가 결정되는 것을 특징으로 하는 영상 처리 장치.
  17. 제15항에 있어서,
    상기 적응적 루프 필터는,
    상기 픽셀 파라미터들을 기반으로 정해진 적응적 루프 필터의 모양, 필터의 크기 및 필터의 계수를 이용하여 상기 디블록된 복원 영상을 필터링하는 것을 특징으로 하는 영상 처리 장치.
  18. 제13항에 있어서,
    상기 픽셀 파라미터 생성부는,
    상기 픽셀 파라미터들에 대한 상기 포스트-디블록킹 필터로의 출력 타이밍과 상기 디블록킹 필터의 상기 디블록된 복원 영상에 대한 상기 포스트-디블록킹 필터로의 출력 타이밍과 일치하도록 상기 픽셀 파라미터들의 출력 타이밍을 조정하기 위한 지연 회로를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  19. 제13항에 있어서,
    상기 픽셀 파라미터 생성부로부터 생성된 순으로 상기 픽셀 파라미터들이 저장되는 버퍼를 더 포함하고,
    상기 포스트-디블록킹 필터는,
    상기 버퍼로부터 타겟 복원 블록에 대응하는 상기 픽셀 파라미터를 참조하여 상기 디블록된 복원 영상에 대하여 복원 블록 단위로 상기 포스트-디블록킹 필터링을 수행하는 것을 특징으로 하는 영상 처리 장치.
  20. 하드웨어와 결합되어,
    복원 영상에 포함된 복수의 복원 블록들 간의 경계의 열화를 제거하기 위한 디블록킹 필터링을 수행하는 단계;
    상기 디블록킹 필터링의 수행과 병렬적으로 상기 복원 블록들 각각의 픽셀 파라미터들을 생성하는 단계; 및
    상기 픽셀 파라미터들을 기반으로 상기 복원 블록들에 대한 포스트-디블록킹 필터링을 수행하는 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터 프로그램.
KR1020180029298A 2018-03-13 2018-03-13 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법 KR20190107944A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180029298A KR20190107944A (ko) 2018-03-13 2018-03-13 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
US16/233,792 US20190289331A1 (en) 2018-03-13 2018-12-27 Image processing apparatus for performing filtering on restored images and filtering method thereof
CN201910159383.XA CN110278442A (zh) 2018-03-13 2019-03-04 用于对恢复的图像执行滤波的图像处理装置及其滤波方法
TW108108310A TW201941608A (zh) 2018-03-13 2019-03-12 影像處理設備、濾波方法、非暫態電腦可讀取記錄媒體以及影像裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180029298A KR20190107944A (ko) 2018-03-13 2018-03-13 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법

Publications (1)

Publication Number Publication Date
KR20190107944A true KR20190107944A (ko) 2019-09-23

Family

ID=67903592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180029298A KR20190107944A (ko) 2018-03-13 2018-03-13 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법

Country Status (4)

Country Link
US (1) US20190289331A1 (ko)
KR (1) KR20190107944A (ko)
CN (1) CN110278442A (ko)
TW (1) TW201941608A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US11170481B2 (en) * 2018-08-14 2021-11-09 Etron Technology, Inc. Digital filter for filtering signals
TWI789669B (zh) * 2020-12-31 2023-01-11 致茂電子股份有限公司 電子裝置及其影像處理方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284844B2 (en) * 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
US9516326B1 (en) * 2005-12-09 2016-12-06 Nvidia Corporation Method for rotating macro-blocks of a frame of a video stream
SG140508A1 (en) * 2006-08-31 2008-03-28 St Microelectronics Asia Multimode filter for de-blocking and de-ringing
CN102132566B (zh) * 2008-10-07 2015-05-20 株式会社Ntt都科摩 图像加工装置及方法、动态图像编码装置及方法、动态图像解码装置及方法、以及编码解码系统和方法
US20130101027A1 (en) * 2011-06-20 2013-04-25 Matthias Narroschke Deblocking control by individual quantization parameters
PL2774359T3 (pl) * 2011-11-04 2016-06-30 Sun Patent Trust Filtrowanie deblokujące ze zmodyfikowanym wyprowadzaniem intensywności granicy bloku obrazu
CA2939434C (en) * 2014-03-04 2021-02-16 Microsoft Techology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
EP3138293A4 (en) * 2014-04-29 2017-05-24 Microsoft Technology Licensing, LLC Encoder-side decisions for sample adaptive offset filtering
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
CN107211128B (zh) * 2015-03-10 2021-02-09 苹果公司 自适应色度下采样和色彩空间转换技术
US10432932B2 (en) * 2015-07-10 2019-10-01 Mozilla Corporation Directional deringing filters
WO2017083784A1 (en) * 2015-11-11 2017-05-18 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
US10575007B2 (en) * 2016-04-12 2020-02-25 Microsoft Technology Licensing, Llc Efficient decoding and rendering of blocks in a graphics pipeline
US10157480B2 (en) * 2016-06-24 2018-12-18 Microsoft Technology Licensing, Llc Efficient decoding and rendering of inter-coded blocks in a graphics pipeline
US10212456B2 (en) * 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video
US20190116359A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Guided filter for video coding and processing

Also Published As

Publication number Publication date
TW201941608A (zh) 2019-10-16
US20190289331A1 (en) 2019-09-19
CN110278442A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
KR20190107944A (ko) 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
ES2866894T3 (es) Predicción de coeficientes de filtro a partir de filtros fijos para codificación de video
KR101894512B1 (ko) 고효율 비디오 코딩 중 깊이 기반 블록 파티셔닝의 제공 방법 및 장치
KR20200118784A (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR20220006134A (ko) 영상 부호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
KR20190029732A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2019525679A (ja) クロス成分フィルタ
KR102323427B1 (ko) 영상 부호화 방법 및 장치
KR20170002460A (ko) 임베디드 블록 파티셔닝을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR20200005648A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2022518612A (ja) ビデオ復号化方法、ビデオ復号化装置、及び非一時的コンピュータ可読記憶媒体
KR20210036405A (ko) 비디오 디코딩 방법 및 비디오 디코더
CN111448798A (zh) 基于块形状的视频编码和解码的方法和装置
KR20180009048A (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
CN112106372A (zh) 用于混合帧内预测的方法和设备
US10382792B2 (en) Method and apparatus for encoding and decoding video signal by means of transform-domain prediction
JP2022548204A (ja) 変換スキップモードで映像データを符号化するための方法及び装置
CN112997497A (zh) 用于帧内预测的方法和装置
RU2782437C1 (ru) Преобразование цвета для видеокодирования
JP7418561B2 (ja) 変換に基づく映像コーディング方法及びその装置
JP7476402B2 (ja) 画像コーディングシステムにおいて変換カーネルセットに関する情報に対するコンテキストコーディング
CN110677645B (zh) 一种图像预测方法及装置
WO2023212254A1 (en) Methods and devices for high precision intra prediction
WO2023192336A1 (en) Methods and devices for high precision intra prediction
WO2023154359A1 (en) Methods and devices for multi-hypothesis-based prediction