KR20200087879A - 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치 - Google Patents

영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치 Download PDF

Info

Publication number
KR20200087879A
KR20200087879A KR1020207020246A KR20207020246A KR20200087879A KR 20200087879 A KR20200087879 A KR 20200087879A KR 1020207020246 A KR1020207020246 A KR 1020207020246A KR 20207020246 A KR20207020246 A KR 20207020246A KR 20200087879 A KR20200087879 A KR 20200087879A
Authority
KR
South Korea
Prior art keywords
filter
input
loop
block
function block
Prior art date
Application number
KR1020207020246A
Other languages
English (en)
Other versions
KR102242039B1 (ko
Inventor
조엘 솔
윤페이 정
치안 수
펑 인
시아오안 루
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43385768&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20200087879(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Priority to KR1020217010993A priority Critical patent/KR102350436B1/ko
Publication of KR20200087879A publication Critical patent/KR20200087879A/ko
Application granted granted Critical
Publication of KR102242039B1 publication Critical patent/KR102242039B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치가 제공된다. 장치는 픽처 내의 복수개의 영역에 대해서 이미지 데이터를 부호화하는 비디오 인코더(l00)를 포함한다. 해당 비디오 인코더(l00)는 상기 복수개의 영역에 대한 영역 분할 정보에 기초하여 상기 이미지 데이터를 필터링하는 다수의 필터를 포함한다. 상기 복수개의 영역에 대한 영역 분할 정보는 상기 다수의 필터 간에 공유된다.

Description

영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치{METHODS AND APPARATUS FOR COLLABORATIVE PARTITION CODING FOR REGION BASED FILTERS}
관련 출원의 교차 참조
본 출원은 미국 특허 가출원 제61/223,523호(출원일: 2009년 7월 7일, 대리인 문서 번호: PU090094)의 우선권을 주장하며, 그 전문은 본 명세서에 참조로 포함된다.
기술 분야
본 발명은 일반적으로 비디오 부호화 및 복호화에 관한 것으로, 특히 영역 기반 필터에 대해서 협력적 분할 부호화(collaborative partition coding)하는 방법 및 장치에 관한 것이다.
최근, 영역 기반 인-루프 및 아웃-루프 필터(region based in-loop and out-loop filters), 예컨대, 보간 필터, 디블로킹(de-blocking)/디아티팩팅(de-artifacting) 필터, 전/후처리 필터, 루프 필터 등이, 부호화 효율 및 지각 품질(perceptual quality)을 향상시키기 위하여 비디오 부호화에 있어서 출현하고 있다. 이러한 필터는 통상 컨텐트 혹은 율-왜곡(rate-distortion: RD) 값에 의거해서 비디오 프레임을 다수의 영역으로 분할한다. 이어서, 필터 구조 및/또는 파라미터들이 각 영역의 국부적인 컨텐트 특성에 대해서 적응될 수 있다. 이 접근법은 만족스럽지 못한 비디오 신호에 대해서도 잘 작업한다. 그러나, 영역 기판 필터는 통상 분할/구획(partition/segmentation)들을 부호화하기 위하여 오버헤드 비트를 소비해야만 하고, 이는 그 적응(화)(adaptation)에 의해 초래되는 전체적인 성능을 저하시킬 것이다. 이것은 다중 영역 기반 필터가 인코더/디코더(encoder/decoder)에 동시에 존재할 경우에도 특히 마찬가지이며, 구획은 각 필터에 대해서 독립적으로 행해진다. 모든 필터의 구획을 부호화하는데 드는 비트는 너무 많이 요구되므로, 이들 필터로부터 얻어지는 이득을 없앨 수 있다.
블록 적응형 루프 필터(Block Adaptive Loop Filter: BALF)
첫번째 종래 기술의 접근법에 있어서, 블록 기반 적응형 루프 필터가 제안되어 있는 바, 여기서 재구축된 프레임이 위너 필터(Wiener filter)에 의해 원래의 프레임을 향하여 복구된다. 위너 필터의 계수는 인코더에서 추정되고 보조 정보로서 디코더에 전송된다. 위너 필터가 재구축된 프레임을 원래의 프레임으로 전면적으로 복구할 수 있다고 해도, 국부적으로 화소의 열화가 있다. 열화된 영역은 장래의 부호화 프레임에 대한 예측 효율을 저감시키므로, 이들 영역을 필터링하지 않는 것은 부호화 성능을 향상시킬 것이다. BALF에 있어서, 상기 프레임은 동등한 크기의 블록으로 분할되고, 블록이 필터링되는지의 여부를 제어하기 위하여 스위치 플래그가 각 블록에 대해서 사용된다. 두번째 종래 기술의 접근법에 있어서, 프레임의 가변 크기 블록이 필터링되는지의 여부를 나타내기 위하여 쿼드-트리 방식(quad-tree scheme)이 도입된다. 이 가변 크기 블록 방식을 이용할 경우, 필터 성능이 동등-크기 블록 방식보다 양호하더라도 블록의 크기 및 위치를 부호화하기 위한 오버헤드가 너무 많이 요구되고 있다.
시공간 적응형 루프 필터(Spatio-Temporal Adaptive Loop Filter: STALF)
희소성-기반 노이즈 제거 기술(sparsity-based de-noising techniques)에 영감을 받아서, 비직선 인-루프 필터(nonlinear in-loop filter)가 세번째 종래 기술의 접근접에서 제안되어 있다. 이 비직선 인-루프 필터는 오버-완료(over-complete) 변환 영역에서의 계수를 역치화함으로써 얻어진다. 디아티팩팅 작업을 위하여, 예를 들어, 역치 등과 같은 필터링 파라미터의 선택이 중요하다. 적용된 역치는 보다 양호한 잡음 제거 추정치를 강조하는데 이용되는 평균 가중치를 계산하는데 뿐만 아니라 필터의 잡음 제거 능력을 제어하는데도 중대한 부분 역할한다. 상기 세번째 종래 기술의 접근법에 있어서, 양자화 파라미터(quantization parameter: QP) 및 부호화 모드 정보에 의거한 화소 부류 당 선택된 역치가 부호화되어 디코더에 보조 정보로서 전송된다. 이 역치는 비디오 컨텐트에 기초하여 적응하지 못한다.
블록 기반 필터 파라미터 적응 방식(block based filter parameter adaptation scheme)은 또한 비디오 압축에 있어서 상기 희소성 기반 디아티팩팅 필터의 성능을 향상시키는데 이용하기 위하여 제안되었다. 더욱 구체적으로는, 필터 파라미터의 적응은 양자화 파라미터 및 부호화 정보뿐만 아니라 비디오 시퀀스의 영역들에도 기초하여, 시공간 적응을 달성한다. 각 영역에서, 필터 파라미터(예컨대, 역치)는, 상기 영역 정보 및 상기 파라미터들이 신호화될 필요가 있으므로, 율-왜곡 값에 기초하여 선택된다.
다중 영역 기반 필터
인코더/디코더에 존재하는 하나 이상의 영역 기반 필터가 있을 경우, 프레임의 분할 혹은 구획이 각 필터에 대해서 독립적으로 수행된다. 분할 정보도 또한 각 필터에 대해서 디코더에 전송될 필요가 있고, 이것은 구획이 통상 비디오 컨텐트와 강한 상관을 지니기 때문에 용장성으로 된다.
래 기술의 이들 및 기타 결점과 단점들은 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치에 관한 본 발명에 의해 해소된다.
본 발명의 일 양상에 의하면, 장치가 제공된다. 해당 장치는 픽처 내의 복수개의 영역에 대한 이미지 데이터를 부호화하는 비디오 인코더를 포함한다. 상기 비디오 인코더는 상기 복수개의 영역에 대한 영역 분할 정보(region partition information)에 기초하여 이미지 데이터를 필터링하는 다수의 필터(multiple filters)를 포함한다. 상기 복수개의 영역에 대한 영역 분할 정보는 상기 다수의 필터 간에 공유된다.
본 발명의 다른 양상에 의하면, 비디오 인코더에 있어서의 방법이 제공된다. 해당 방법은 픽처 내의 복수개의 영역에 대한 이미지 데이터를 부호화하는 단계를 포함한다. 상기 이미지 데이터는 상기 복수개의 영역에 대한 영역 분할 정보에 기초하여 다수의 필터에 의해 필터링된다. 상기 복수개의 영역에 대한 영역 분할 정보는 상기 다수의 필터 간에 공유된다.
본 발명의 또 다른 양상에 의하면, 장치가 제공된다. 해당 장치는 픽처 내의 복수개의 영역에 대한 이미지 데이터를 복호화하는 비디오 디코더를 포함한다. 해당 비디오 디코더는 상기 복수개의 영역에 대한 영역 분할 정보에 기초하여 상기 이미지 데이터를 필터링하는 다수의 필터를 포함한다. 해당 복수개의 영역에 대한 영역 분할 정보는 상기 다수의 필터 간에 공유된다.
본 발명의 다른 양상에 의하면, 비디오 디코더에 있어서의 방법이 제공된다. 해당 방법은 픽처 내의 복수개의 영역에 대한 이미지 데이터를 복호화하는 단계를 포함한다. 상기 이미지 데이터는 상기 복수개의 영역에 대한 영역 분할 정보에 기초하여 다수의 필터에 의해 필터링된다. 상기 복수개의 영역에 대한 영역 분할 정보는 상기 다수의 필터 간에 공유된다.
본 발명의 이들 및 기타 양상, 특성 및 이점들은 첨부 도면과 관련하여 읽게 될 이하의 예시적인 실시형태의 상세한 설명으로부터 명백해질 것이다.
본 발명은 이하의 예시적인 도면에 따라 더욱 잘 이해될 수 있다.
도 1은 본 발명의 일 실시형태에 따라서 본 발명이 적용될 수 있는 예시적인 비디오 인코더의 블록도;
도 2는 본 발명의 일 실시형태에 따라서 본 발명이 적용될 수 있는 예시적인 비디오 디코더의 블록도;
도 3은 본 발명의 일 실시형태에 따라서 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 부호화하는 예시적인 방법의 흐름도;
도 4는 본 발명의 일 실시형태에 따라서 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 복호화하는 예시적인 방법의 흐름도;
도 5는 본 발명의 일 실시형태에 따라서 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 부호화하는 다른 예시적인 방법의 흐름도;
도 6은 본 발명의 일 실시형태에 따라서 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 복호화하는 다른 예시적인 방법의 흐름도;
도 7은 본 발명의 일 실시형태에 따라서 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 부호화하는 또 다른 예시적인 방법의 흐름도;
도 8은 본 발명의 일 실시형태에 따라서 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 복호화하는 또 다른 예시적인 방법의 흐름도.
본 발명은 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치에 관한 것이다.
본 명세서는 본 발명의 원리에 대해서 설명하고 있다. 따라서 당업자라면, 비록 여기에서 명시적으로 설명하거나 도시하지는 않았더라도, 본 발명의 원리를 구체화하고 본 발명의 본질과 범위 내에 있는 여러 가지 구성을 강구해낼 수 있을 것이다.
여기에 인용된 예와 조건문들은 모두 본 발명자(들)가 기술 발전에 기여한 본 발명의 원리와 그 개념을 독자들이 이해하는데 도움을 주고자 한 것이며, 그러한 특정 예와 조건으로 한정되지 않는 것으로 해석하여야 한다.
더욱이 여기서 본 발명의 원리, 양상 및 실시형태들뿐만 아니라 그의 구체적인 실시예를 기재하는 모든 설명문들은 그 구조적 기능적 등가물을 포괄하는 것이다. 그 외에도 그와 같은 등가물은 현재 공지된 등가물은 물론 장래에 개발될 등가물, 즉, 구조를 불문하고 동일 기능을 수행하도록 개발되는 구성요소를 포함하도록 의도되어 있다.
따라서, 예컨대, 당업자라면 여기서 제시된 블록도가 본 발명을 구체화하는 예시적인 회로의 개념도를 나타냄을 잘 알 것이다. 마찬가지로, 순서도, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독 매체에서 실체적으로 표현될 수 있고 따라서 컴퓨터 또는 프로세서가 명시적으로 나타나 있든지 없든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 여러 가지 프로세스를 나타냄을 이해할 필요가 있다.
상기 도면들에 도시된 각종 구성요소의 기능은 전용 하드웨어는 물론 적절한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어를 통해 제공될 수 있다. 이 기능들은, 프로세서를 통해 제공되는 경우에는, 단일의 전용 프로세서, 단일의 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서를 통해 제공될 수 있다. 더욱이, "프로세서"나 "제어기"라는 용어를 명시적으로 사용하더라도 이들이 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 의미하는 것으로 해석해서는 안되고 DSP(Digital Signal Processor) 하드웨어, 소프트웨어를 저장하는 ROM(Read-Only Memory), RAM(Random Access Mmeory) 및 비휘발성 저장 장치를 아무런 제한없이 암시적으로 포함할 수 있다.
종래의 및/또는 통상적인 다른 하드웨어가 또한 포함될 수 있다. 마찬가지로, 도면들에 도시된 스위치는 모두 단지 개념적인 것이다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호 작용을 통해, 또는 수동으로도 수행될 수 있으며, 본 명세서로부터 더 구체적으로 이해할 수 있는 바와 같이, 실행자가 특정 기술을 선택할 수 있다.
특허청구범위에서, 특정 기능을 수행하기 위한 수단으로 표현된 구성요소는 모두 예컨대 a) 그 기능을 수행하는 회로 요소들의 조합, 또는 b) 펌웨어, 마이크로코드 등을 포함한 임의의 형태의 소프트웨어로서 그 기능을 수행하는 그 소프트웨어를 실행하는 적당한 회로와 조합된 소프트웨어를 포함하여, 그 기능을 수행하는 어떠한 방식도 모두 포함하는 것이다. 그러한 특허청구범위에 기재된 본 발명의 원리는 여러 가지 기재된 수단이 제공하는 기능들이 특허청구범위가 필요로 하는 방식으로 조합되고 묶여진다는 사실에 있다. 따라서, 이러한 기능들을 제공할 수 있는 수단은 모두 여기에 표시된 수단들과 등가인 것으로 간주된다.
명세서에서 본 발명의 "일 실시형태" 또는 "하나의 실시형태"는 물론 그 파생어는 그 실시형태와 관련하여 기재된 특수한 특성, 구조, 특징 등이 본 발명의 적어도 하나의 실시형태에 포함된다는 것을 의미한다. 따라서 본 명세서 전체에 걸쳐 여러 곳에서 나타나는 "일 실시형태에서" 또는 "하나의 실시형태에서"라는 구절은 물론 그 파생어도 반드시 같은 실시형태를 말하는 것은 아니다.
예컨대 "A/B", "A 및/또는 B" 및 "A와 B 중 적어도 어느 하나"의 경우에서 "/", "및/또는" 및 "적어도 어느 하나"를 사용하는 것은 첫번째 옵션 (A)만, 두번째 옵션 (B)만, 양 옵션 (A 및 B)를 선택하는 것을 포함하는 것임을 알아야 한다. 추가 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 어느 하나"의 경우에 이러한 구절은 첫번째 옵션 (A)만, 두번째 옵션 (B)만, 세번째 옵션 (C)만, 첫번째 옵션 (A)와 두번째 옵션 (B)만, 첫번째 옵션 (A)와 세번째 옵션 (C)만, 두번째 옵션 (B)와 세번째 옵션 (C)만, 세가지 옵션 모두(A, B 및 C)를 선택하는 것을 포함하는 것이다. 이것은 당업자라면 쉽게 알 수 있는 바와 같이 더 많은 옵션에 대해서도 확장될 수 있다.
또, 본 명세서에서 이용되는 바와 같이, "픽처" 및 "이미지"란 단어는 호환가능하게 이용되며, 비디오 시퀀스(video sequence)로부터의 정지 화상 혹은 영상을 의미한다. 공지된 바와 같이, 픽처는 하나의 프레임(frame) 혹은 필드(field)일 수 있다.
또, 본 명세서에서 이용되는 바와 같이, "픽처 영역"(또는 단순히 "영역"이라 약칭됨)이란 문구는, 예를 들어, 임의의 크기의 하나 이상의 블록 혹은 임의의 형상을 포함하고/하거나 다르게는 이들로부터 제작된 픽처의 일부를 의미한다. 상기 하나 이상의 블록은, 예를 들어, 수퍼 매크로블록, 매크로블록, 매크로블록 분할, 서브-매크로블록 분할 등에 관한 것일 수 있다.
또한, 본 명세서에서 이용되는 바와 같이, "영역 분할 정보"란 문구는 픽터가 어떻게 픽처 영역들로 분할되는지를 의미한다. 따라서, 이러한 영역 분할 정보는, 예를 들어, 픽처가 동등한 크기로 중첩되지 않은 블록들로 분할된다면 블록 크기, 또는 픽처가 대상체에 의거해서 분할된다면 대상체 가장자리부를 포함할 수 있지만, 이들로 제한되는 것은 아니다.
또, 본 명세서에서 이용되는 바와 같이, "신호"(signal)란 단어는 대응하는 디코더에 대해서 무엇인가를 표시하는 것을 의미한다. 예를 들어, 인코더는 인코더 측 상에서 어떠한 영역 분할 정보 및 필터 파라미터들이 사용되는 것을 디코더에 알리기 위하여, 영역 분할 정보 및/또는 필터 파라미터들을 신호화할 수 있다(즉, 신호로 보낼 수 있다). 이와 같이 해서, 해당 동일한 영역 분할 정보 및 필터 파라미터들이 인코더 측과 디코더 측의 양쪽 모두에서 이용될 수 있다. 따라서, 예를 들어, 인코더는 디코더가 특정 세트의 영역 분할 정보 및 필터 파라미터들을 이용할 수 있도록 디코더에 해당 동일한 특정 세트의 영역 분할 정보 및 필터 파라미터들을 전송할 수 있거나, 또는 디코더가 특정 영역 분할 정보 및 필터 파라미터들뿐만 아니라 다른 것들도 이미 지니고 있다면, 신호화(시그널링)는 단순히 디코더가 그 특정 세트의 영역 분할 정보 및 필터 파라미터들을 인지하여 선택할 수 있도록 (전송없이) 하는데 이용될 수 있다. 임의의 실제 영역 분할 정보 및 필터 파라미터들의 전송을 피하기 위하여, 비트 절약화가 실현될 수 있다. 신호화가 다양한 방식으로 달성될 수 있다는 것을 이해할 필요가 있다. 예를 들어, 하나 이상의 신택스 요소, 플래그 등이 대응하는 디코더에 대해서 정보를 신호화하는 데 이용될 수 있다.
또, 본 명세서에서 이용되는 바와 같이, "하이 레벨 신택스"(high level syntax)란 매크로블록 층의 위쪽에서 계층적으로 존재하는 비트스트림 내에 존재하는 신택스를 의미한다. 예를 들어, 하이 레벨 신택스는, 본 명세서에서 이용되는 바와 같이, 슬라이스 헤더 레벨(slice header level), SEI(Supplemental Enhancement Information) 레벨, PPS(Picture Parameter Set) 레벨, SPS(Sequence Parameter Set) 레벨 및 NAL(Network Abstraction Layer) 단위 헤더 레벨에서의 신택스를 지칭할 수 있지만, 이들로 제한되는 것은 아니다.
또, 본 발명의 하나 이상의 예에서는 공유된 구획 정보(혹은 분할 정보)를 이용하는 두 인-루프 필터(필터 1 및 필터 2)에 대해서 그렇게 설명될 수 있지만, 본 발명은 이것으로 제한되지 않고, 따라서, 본 발명의 정신과 범위를 유지하면서, 다른 개수의 필터도 본 명세서에 제공된 본 발명의 교시 내용에 따라서 이용될 수 있음을 이해할 필요가 있다.
도 1을 참조하면, 본 발명이 적용되는 비디오 인코더가 참조번호 (100)으로 일반적으로 표시되어 있다.
비디오 인코더(100)는 결합기(combiner)(185)의 비반전 입력(non-inverting input)과 신호 통신(signal communication)하는 출력을 지니는 프레임 정렬 버퍼(frame ordering buffer)(110)를 포함한다. 결합기(185)의 출력은 변환기 및 양자화기(125)의 제1입력과의 신호 통신에 연관된다. 변환기 및 양자화기(125)의 출력은 엔트로피 코더(145)의 제1입력 및 역변환기 및 역양자화기(150)의 제1입력과의 신호 통신에 연관된다. 엔트로피 코더(145)의 출력은 결합기(190)의 제1비반전 입력과의 신호 통신에 연관된다. 결합기(190)의 출력은 출력 버퍼(135)의 제1입력과의 신호 통신에 연관된다.
인코더 제어기(105)의 제1출력은 프레임 정렬 버퍼(110)의 제2입력, 역변환기 및 역양자화기(150)의 제2입력, 픽처-타입 결정 모듈(115)의 입력, 매크로블록-타입(MB-타입) 결정 모듈(120)의 제1입력, 인트라 예측 모듈(160)의 제2입력, 디블로킹 필터(deblocking filter)(165)의 제2입력, 움직임 보상기(170)의 제1입력, 움직임 추정기(175)의 제1입력 및 기준 픽처 버퍼(180)의 제2입력과의 신호 통신에 연관된다
인코더 제어기(105)의 제2출력은 SEI(Supplemental Enhancement Information) 삽입기(inserter)(130)의 제1입력, 변환기 및 양자화기(125)의 제2입력, 엔트로피 코더(145)의 제2입력, 출력 버퍼(135)의 제2입력 및 SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set) 삽입기(140)의 입력과의 신호 통신에 연관된다.
SEI 삽입기(130)의 출력은 결합기(190)의 제2비반전 입력과의 신호 통신에 연관된다.
픽처-타입 결정 모듈(115)의 제1출력은 프레임 정렬 버퍼(110)의 제3입력과의 신호 통신에 연관된다. 픽처-타입 결정 모듈(115)의 제2출력은 매크로블록-타입 결정 모듈(120)의 제2입력과의 신호 통신에 연관된다.
SPS 및 PPS 삽입기(140)의 출력은 결합기(190)의 제3비반전 입력과의 신호 통신에 연관된다.
역양자화기 및 역변환기(150)의 출력은 결합기(119)의 제1비반전 입력과의 신호 통신에 연관된다. 결합기(119)의 출력은 인트라 예측 모듈(160)의 제1입력 및 분할 최적화기(partition optimizer)(165)의 제1입력과의 신호 통신에 연관된다. 분할 최적화기(165)의 출력은 필터-1(166)의 입력과의 신호 통신에 연관된다. 필터-1(166)의 출력은 필터-2(167)의 입력과의 신호 통신에 연관된다. 필터-2(167)의 출력은 기준 픽처 버퍼(180)의 제1입력과의 신호 통신에 연관된다. 기준 픽처 버퍼(180)의 출력은 움직임 추정기(175)의 제2입력 및 움직임 보상기(170)의 제3입력과의 신호 통신에 연관된다. 움직임 추정기(175)의 제1출력은 움직임 보상기(170)의 제2입력과의 신호 통신에 연관된다. 움직임 추정기(175)의 제2출력은 엔트로피 코더(145)의 제3출력과의 신호 통신에 연관된다.
움직임 보상기(170)의 출력은 스위치(197)의 제1입력과의 신호 통신에 연관된다. 인트라 예측 모듈(160)의 출력은 스위치(197)의 제2입력과의 신호 통신에 연관된다. 매크로블록-타입 결정 모듈(120)의 출력은 스위치(197)의 제3입력과의 신호 통신에 연관된다. 스위치(197)의 제3입력은 스위치의 "데이터" 입력(제어 입력, 즉, 제3입력과 비교해서)이 움직임 보상기(170) 혹은 인트라 예측 모듈(160)에 의해 제공되는 것인지의 여부를 판정한다. 스위치(197)의 출력은 결합기(119)의 제2비반전 입력 및 결합기(185)의 반전 입력과의 신호 통신에 연관된다.
프레임 정렬 버퍼(110)의 제1입력 및 인코더 제어기(105)의 입력은, 입력 픽처(101)를 수신하기 위하여, 인코더(100)의 입력으로서 이용가능하다. 또한, SEI 삽입기(130)의 제2입력은, 메타데이터를 수신하기 위하여, 인코더(100)의 입력으로서 이용가능하다. 출력 버퍼(135)의 출력은, 비트스트림을 출력하기 위하여, 인코더(100)의 출력으로서 이용가능하다.
도 2를 참조하면, 본 발명의 적용될 수 있는 비디오 디코더가 참조 번호 (200)으로 일반적으로 표시되어 있다.
비디오 디코더(200)는 엔트로피 디코더(245)의 제1입력과의 신호 통신에 연관된 출력을 지니는 입력 버퍼(210)를 포함한다. 엔트로피 디코더(245)의 제1출력은 역변환기 및 역양자화기(250)의 제1입력과의 신호 통신에 연관된다. 역변환기 및 역양자화기(250)의 출력은 결합기(225)의 제2비반전 입력과의 신호 통신에 연관된다. 결합기(225)의 출력은 디블로킹 필터(265)의 제2입력 및 인트라 예측 모듈(260)의 제1입력과의 신호 통신에 연관된다. 분할 생성기(265)의 제2출력은 필터-1(266)의 제1입력과의 신호 통신에 연관된다. 필터-1(266)의 출력은 필터-2(267)의 제1입력과의 신호 통신에 연관된다. 필터-2(267)의 출력은 기준 픽처 버퍼(280)의 제1입력과의 신호 통신에 연관된다. 기준 픽처 버퍼(280)의 출력은 움직임 보상기(270)의 제2입력과의 신호 통신에 연관된다
엔트로피 디코더(245)의 제2출력은 움직임 보상기(270)의 제3입력, 디블로킹 필터(265)의 제1입력 및 인트라 추정기(260)의 제3입력과의 신호 통신에 연관된다. 엔트로피 디코더(245)의 제3출력은 디코더 제어기(205)의 입력과의 신호 통신에 연관된다. 디코더 제어기(205)의 제1출력은 엔트로피 디코더(245)의 제2입력과의 신호 통신에 연관된다. 디코더 제어기(205)의 제2출력은 역변환기 및 역양자화기(250)의 제2입력과의 신호 통신에 연관된다. 디코더 제어기(205)의 제3출력은 디블로킹 필터(265)의 제3입력, 필터-1(266)의 제2입력 및 필터-2(267)의 제2입력과의 신호 통신에 연관된다. 디코더 제어기(205)의 제4입력은 인트라 예측 모듈(260)의 제2입력, 움직임 보상기(270)의 제1입력 및 기준 픽처 버퍼(280)의 제2입력과의 신호 통신에 연관된다.
움직임 보상기(270)의 출력은 스위치(297)의 제1입력과의 신호 통신에 연관된다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제2입력과의 신호 통신에 연관된다. 스위치(297)의 출력은 결합기(225)의 제1비반전 입력과의 신호 통신에 연관된다.
입력 버퍼(210)의 입력은, 입력 비트스트림을 수신하기 위하여, 디코더(200)의 입력으로서 이용가능하다. 디블로킹 필터(265)의 제1출력은, 출력 픽처를 출력하기 위하여, 디코더(200)의 출력으로서 이용가능하다.
위에서 언급된 바와 같이, 본 발명은 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치에 관한 것이다. 본 발명들은 각종 영역 기반 필터로부터의 구획 결과 간에 많은 일관성이 있는 것을 관찰하였는 바, 그 이유는 이들이 부호화 모드와 같은 비디오 부호화 정보, 또는 비디오 컨텐트 자체에 기초하고 있기 때문이다. 이 관찰 및 지식에 의해 동기를 부여받아, 본 발명자들은 부호화 효율을 더욱 향상시키기 위하여, 영역 기반 필터의 분할/구획 정보에 대한 협력적 부호화 접근법을 제안한다.
이와 같이 해서, 본 발명이 하나 이상의 실시형태에 따라서, 인코더/디코더 내에서 다수의 영역 기반 필터에 대해서 분할 정보를 협력적으로 부호화하는 방법 및 장치가 제공된다. 인-루프 혹은 아웃-루프 필터 내의 영역의 대부분이 비디오 컨텐트 통계자료에 적응시키길 원하므로, 해당 비디오 컨텐트 통계 자료에 의거해서 그들의 분할 혹은 구획이 상관을 지닌다. 이와 같이 해서, 하나의 필터의 분할 정보가 더 많은 오버헤드 비트를 소비하는 것을 피하기 위하여 다른 필터와 공유될 수 있다.
하나의 실시형태에서, 분할/구획은 픽처 율-왜곡(RD) 값에 의거해서 행해져 공동으로 최적화될 수 있다. 이와 같이 해서, 출력 분할/구획은 RD 의미에서 최적화되고, 그 최적화에 합치하는 모든 필터에 의해 이용될 수 있다. 하나의 픽처의 각 분할에 있어서, 상이한 필터가 그 영역에 대한 상이한 필터링 파라미터를 설정할 수 있어, 상기 적응을 실현한다. 다른 실시형태에서, 구획/분할 정보는 부호화 정보, 픽처 컨텐트 등에 의거해서 파리미터 적응을 공동으로 고려함으로써 결정된다.
다른 실시형태에서, 상기 분할은 하나의 필터에 대해서 수행되어 최적화될 수 있다. 이어서, 이 필터의 출력 분할은 몇몇 다른 필터를 위하여 이용될 수 있다. 이 방식은 분할/구획 최적화에서의 복잡성을 감소시킬 수 있지만, 아마도 필터링 성능을 저하시킬 수도 있다.
다른 실시형태에서, 상기 필터들 중 몇몇은 동일한 영역 구획/분할 정보를 공유하는 한편, 다른 필터는 그들 자신의 구획/분할을 이용한다.
영역 구획/분할 정보는, 예를 들어, 하이 레벨 신택스 혹은 영역 레벨 신택스를 이용해서 신호화될 수 있다. 대안적으로, 영역 구획/분할 정보는 미리 부호화된 영역/픽처/시퀀스로부터 추론(inferred)될 수 있다.
신택스
표 1은 본 발명의 실시형태에 따라서 예시적인 슬라이스 헤더 신택스 요소들을 표시하고 있다.
Figure pat00001
표 1의 신택스 요소들의 일부의 의미는 다음과 같다:
share_partition_flag = 1은 협력적 분할 접근법이 슬라이스를 위해서 사용되는 것을 특정한다. share_partition_flag = 0은 협력적 분할 접근법이 사용되지 않는 것을 특정하며, 따라서, 이는 각 필터가 그 자신의 분할을 사용할 것임을 의미한다.
shared_filter_seg_info는 다수의 필터 간에 공유되는 필터 구획 정보를 특정한다.
filter_seg_info[i]는 공유된 구획 정보를 사용하지 않는다면 i번째 필터의 필터 구획 정보를 특정한다.
도 3을 참조하면, 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 부호화하는 예시적인 방법이 참조 번호 (300)으로 일반적으로 표시되어 있다. 상기 방법(300)은 루프 제한 블록(310)으로 제어를 진행하는 개시 블록(305)을 포함한다. 루프 제한 블록(310)은 (여러 이용가능한) 구획 접근들에 대해서 루프를 개시하고, 루프 제한 블록(315)으로 제어를 진행한다. 루프 제한 블록(315)은 (현재의) 구획 접근에 의해 각 (이용가능한) 분할에 대해서 루프를 개시하고, 루프 제한 블록(320)으로 제어를 진행한다. 루프 제한 블록(320)은 필터 파라미터 세트에 대해서 루프를 개시하고, 기능 블록(325)으로 제어를 진행한다. 기능 블록(325)은 제1필터(필터-1)를 이용해서 필터링을 수행하고, 기능 블록(330)으로 제어를 진행한다. 기능 블록(330)은 제2필터(필터-2)를 이용해서 필터링을 수행하고, 루프 제한 블록(335)으로 제어를 진행한다. 루프 제한 블록(335)은 필터 파라미터 세트에 대해서 루프를 종료하고, 기능 블록(340)으로 제어를 진행한다. 기능 블록(340)은 (예컨대, 율-왜곡 값 및/또는 몇몇 다른 기준에 의거해서) 이 분할에 대해서 최상의 필터 파라미터들을 설정하고, 루프 제한 블록(345)으로 제어를 진행한다. 루프 제한 블록(345)은 구획 접근에 의해 각 분할에 대해서 루프를 종료하고, 루프 제한 블록(350)으로 제어를 진행한다. 루프 제한 블록(350)은 구획 접근들에 대해서 루프를 종료하고, 기능 블록(355)으로 제어를 진행한다. 기능 블록(355)은 (예컨대, 율-왜곡 값 및/또는 몇몇 다른 기준에 의거해서) 최상의 구획을 설정하고, 기능 블록(360)으로 제어를 진행한다. 기능 블록(360)은 공유 구획을 부호화하고, 기능 블록(365)으로 제어를 진행한다. 기능 블록(365)은 상기 분할에 대해서 필터 파라미터들을 부호화하고, 종료 블록(399)으로 제어를 진행한다.
도 4를 참조하면, 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 복호화하는 예시적인 방법이 참조 번호 (400)으로 일반적으로 표시되어 있다. 이 방법(400)은 기능 블록(410)으로 제어를 진행하는 개시 블록(405)을 포함한다. 기능 블록(410)은 현재의 구획을 파싱(parsing)하고, 기능 블록(415)으로 제어를 진행한다. 기능 블록(415)은 각 분할에 대해서 필터 파라미터들을 파싱하고, 루프 제한 블록(420)으로 제어를 진행한다. 루프 제한 블록(420)은 각 분할에 대해서 루프를 개시하고, 기능 블록(425)으로 제어를 진행한다. 기능 블록(425)은 필터 파라미터들을 설정하고, 기능 블록(430)으로 제어를 진행한다. 기능 블록(430)은 필터-1을 이용해서 필터링을 수행하고, 기능 블록(435)으로 제어를 진행한다. 기능 블록(435)은 필터-2를 이용해서 필터링을 수행하고, 루프 제한 블록(440)으로 제어를 진행한다. 루프 제한 블록(440)은 각 분할에 대해서 루프를 종료하고, 종료 블록(499)으로 제어를 진행한다.
도 5를 참조하면, 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 부호화하는 다른 예시적인 방법이 참조 번호 (500)으로 일반적으로 표시되어 있다. 이 방법(500)은 루프 제한 블록(510)으로 제어를 진행하는 개시 블록(505)을 포함한다. 루프 제한 블록(510)은 (여러 이용가능한) 구획 접근들에 대해서 루프를 개시하고, 루프 제한 블록(515)으로 제어를 진행한다. 루프 제한 블록(515)은 (현재의) 구획 접근에 의해 각 (이용가능한) 분할에 대해서 루프를 개시하고, 루프 제한 블록(520)으로 제어를 진행한다. 루프 제한 블록(520)은 필터 파라미터 세트에 대해서 루프를 개시하고, 기능 블록(525)으로 제어를 진행한다. 기능 블록(525)은 필터-1을 이용해서 필터링을 수행하고, 루프 제한 블록(535)으로 제어를 진행한다. 루프 제한 블록(535)은 필터 파라미터 세트에 대해서 루프를 종료하고, 기능 블록(540)으로 제어를 진행한다. 기능 블록(540)은 (예컨대, 율-왜곡 값 및/또는 몇몇 다른 기준에 의거해서) 이 분할에 대해서 최상의 필터 파라미터들을 설정하고, 루프 제한 블록(545)으로 제어를 진행한다. 루프 제한 블록(545)은 구획 접근에 의해 각 분할에 대해서 루프를 종료하고, 루프 제한 블록(550)으로 제어를 진행한다. 루프 제한 블록(550)은 구획 접근들에 대해서 루프를 종료하고, 기능 블록(555)으로 제어를 진행한다. 기능 블록(555)은 (예컨대, 율-왜곡 값 및/또는 몇몇 다른 기준에 의거해서) 최상의 구획을 설정하고, 기능 블록(560)으로 제어를 진행한다. 기능 블록(560)은 공유 구획을 부호화하고, 기능 블록(562)으로 제어를 진행한다. 기능 블록(562)은 공유 구획을 가진 필터-2에 대해서 최상의 필터 파라미터들을 찾고, 기능 블록(565)으로 제어를 진행한다. 기능 블록(565)은 필터-1 및 필터-2에 대해서 필터 파라미터들을 부호화하고, 종료 블록(599)으로 제어를 진행한다.
도 6을 참조하면, 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 복호화하는 다른 예시적인 방법이 참조 번호 (600)으로 일반적으로 표시되어 있다. 이 방법(600)은 기능 블록(610)으로 제어를 진행하는 개시 블록(605)을 포함한다. 기능 블록(610)은 하나의 구획을 파싱하고, 기능 블록(615)으로 제어를 진행한다. 기능 블록(615)은 필터-1 및 필터-2에 대해서 각 분할에 대한 필터 파라미터를 파싱하고, 루프 제한 블록(620)으로 제어를 진행한다. 루프 제한 블록(620)은 각 분할에 대해서 루프를 개시하고, 기능 블록(625)으로 제어를 진행한다. 기능 블록(625)은 필터 파라미터들을 설정하고, 기능 블록(630)으로 제어를 진행한다. 기능 블록(630)은 필터-1을 이용해서 필터링을 수행하고, 기능 블록(635)으로 제어를 진행한다. 기능 블록(635)은 필터-2를 이용해서 필터링을 수행하고, 루프 제한 블록(640)으로 제어를 진행한다. 루프 제한 블록(640)은 각 분할에 대해서 루프를 종료하고, 종료 블록(699)으로 제어를 진행한다.
도 7을 참조하면, 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 부호화하는 또 다른 예시적인 방법이 참조 번호 (700)으로 일반적으로 표시되어 있다. 이 방법(700)은 루프 제한 블록(710)으로 제어를 진행하는 개시 블록(705)을 포함한다. 루프 제한 블록(710)은 (여러 이용가능한) 구획 접근들에 대해서 루프를 개시하고, 루프 제한 블록(715)으로 제어를 진행한다. 루프 제한 블록(715)은 (현재의) 구획 접근에 의해 각 분할에 대해서 루프를 개시하고, 루프 제한 블록(720)으로 제어를 진행한다. 루프 제한 블록(720)은 필터 파라미터 세트에 대해서 루프를 개시하고, 기능 블록(725)으로 제어를 진행한다. 기능 블록(725)은 필터-1을 이용해서 필터링을 수행하고, 기능 블록(730)으로 제어를 진행한다. 기능 블록(730)은 필터-2를 이용해서 필터링을 수행하고, 루프 제한 블록(735)으로 제어를 진행한다. 루프 제한 블록(735)은 필터 파라미터 세트에 대해서 루프를 종료하고, 기능 블록(740)으로 제어를 진행한다. 기능 블록(740)은 (예컨대, 율-왜곡 값 및/또는 몇몇 다른 기준에 의거해서) 이 분할에 대해서 최상의 필터 파라미터들을 설정하고, 루프 제한 블록(745)으로 제어를 진행한다. 루프 제한 블록(745)은 구획 접근에 의해 각 분할에 대해서 루프를 종료하고, 루프 제한 블록(750)으로 제어를 진행한다. 루프 제한 블록(750)은 구획 접근들에 대해서 루프를 종료하고, 기능 블록(755)으로 제어를 진행한다. 기능 블록(755)은 (예컨대, 율-왜곡 값 및/또는 몇몇 다른 기준에 의거해서) 최상의 구획을 설정하고, 기능 블록(758)으로 제어를 진행한다. 기능 블록(758)은 필터-3에 대한 최상의 필터 파라미터들 및 구획을 찾고, 기능 블록(760)으로 제어를 진행한다. 기능 블록(760)은 필터-3에 대해서 공유 구획 및 (임의의 비공유) 구획을 부호화하고, 기능 블록(765)으로 제어를 진행한다. 기능 블록(765)은 필터-1, 필터-2 및 필터-3에 대해서 필터 파라미터들을 부호화하고, 종료 블록(799)으로 제어를 진행한다.
도 8을 참조하면, 영역 기반 필터에 대해서 협력적 분할 부호화를 이용해서 픽처 데이터를 복호화하는 또 다른 예시적인 방법이 참조 번호 (800)으로 일반적으로 표시되어 있다. 이 방법(800)은 루프 제한 블록(810)으로 제어를 진행하는 개시 블록(805)을 포함한다. 기능 블록(810)은 필터-3에 대해서 공유 구획 및 (비공유) 구획을 파싱하고, 기능 블록(815)으로 제어를 진행한다. 기능 블록(815)은 필터-1, 필터-2 및 필터-3에 대해서 각 분할에 대한 필터 파라미터를 파싱하고, 루프 제한 블록(820)으로 제어를 진행한다. 루프 제한 블록(820)은 각 분할에 대해서 루프를 개시하고, 기능 블록(825)으로 제어를 진행한다. 기능 블록(825)은 필터 파라미터들을 설정하고, 기능 블록(830)으로 제어를 진행한다. 기능 블록(830)은 필터-1을 이용해서 필터링을 수행하고, 기능 블록(835)으로 제어를 진행한다. 기능 블록(835)은 필터-2를 이용해서 필터링을 수행하고, 루프 제한 블록(838)으로 제어를 진행한다. 루프 제한 블록(838)은 각 분할에 대해서 루프를 종료하고, 기능 블록(840)으로 제어를 진행한다. 기능 블록(840)은 필터-3에 그의 구획 및 필터 파라미터들을 적용하고, 종료 블록(899)으로 제어를 진행한다.
이하, 본 발명의 다수의 부수적인 이점/특징의 몇몇에 대해 설명하지만, 이들의 일부는 위에서 언급되어 있는 것이다. 예를 들어, 하나의 이점/특성은 픽처 내의 복수개의 영역에 대해서 이미지 데이터를 부호화하는 비디오 인코더를 구비한 장치이다. 상기 비디오 인코더는 복수개의 영역에 대한 영역 분할 정보에 기초하여 상기 이미지 데이터를 필터링하는 다수의 필터를 포함한다. 상기 복수개의 영역에 대한 영역 분할 정보는 상기 다수의 필터 간에 공유된다.
또한, 기타 이점/특성은 전술한 바와 같은 비디오 인코더를 구비한 장치이며, 여기서 상기 영역 분할 정보는 부호화 정보 및 픽처 컨텐트 중 적어도 하나에 의거하여 필터 파라미터 적응과 조합된다.
기타 이점/특성은 전술한 바와 같은 비디오 인코더를 구비한 장치이며, 여기서 상기 다수의 필터에 대한 필터 파라미터들 및 영역 분할 정보 중 적어도 하나는 하나 이상의 하이 레벨 신택스 요소 혹은 하나 이상의 영역 레벨 신택스 요소를 이용해서 신호화되거나, 또는 미리 부호화된 영역들, 미리 부화화된 픽처들 및 미리 부호화된 비디오 시퀀스들 중 적어도 하나로부터 대응하는 디코더에 의해 추론되며, 상기 픽처는 현재 부호화된 비디오 시퀀스에 대응한다.
기타 이점/특성은 전술한 바와 같은 비디오 인코더를 구비한 장치이며, 여기서 상기 다수의 필터는 적어도 하나의 인-루프 필터, 적어도 하나의 아웃-루프 필터, 적어도 하나의 전처리 필터 및 적어도 하나의 후처리 필터 중 적어도 하나를 포함한다.
또한, 기타 이점/특성은 전술한 바와 같은 비디오 인코더를 구비한 장치이며, 여기서 상기 영역 분할 정보가 기초로 하고 있는, 상기 복수개의 영역으로의 상기 픽처의 분할은, 상기 다수의 필터에 의해 공동으로 최적화된다.
또한, 기타 이점/특성은 전술한 바와 같은 비디오 인코더를 구비한 장치이며, 여기서 상기 영역 분할 정보가 기초로 하고 있는, 상기 복수개의 영역으로의 상기 픽처의 분할은, 상기 다수의 필터 중 하나에 의해 공동으로 최적화되고, 또한 상기 다수의 필터 중 다른 것과는 공유된다.
또한, 기타 이점/특성은 전술한 바와 같은 비디오 인코더를 구비한 장치이며, 여기서 상기 복수개의 영역에 대한 영역 분할 정보는 상기 다수의 필터 중 적어도 2개에 의해 공유되는 한편 상기 다수의 필터 중 적어도 다른 하나는 사용될 상기 영역 분할 정보를 결정한다.
본 발명의 이들 및 기타 특성 및 이점들은 본 명세서의 교시 내용에 의거해서 당업자에 의해 용이하게 규명될 수 있다. 본 발명의 교시 내용은 하드웨어, 소프트웨어, 펌웨어, 전용 프로세서 혹은 이들의 조합의 각종 형태로 구현될 수 있다는 것을 이해할 필요가 있다.
가장 바람직하게는, 본 발명의 교시 내용은 하드웨어와 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는 프로그램 저장 장치에 명백히 내장된 어플리케이션 프로그램으로서 구현될 수 있다. 해당 어플리케이션 프로그램은 임의의 적절한 구조를 포함하는 기계에 업로드되어 해당 기계에 의해 실행될 수 있다. 바람직하게는, 상기 기계는 하나 이상의 중앙처리장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입/출력("I/O") 인터페이스 등과 같은 하드웨어를 지니는 컴퓨터 플랫폼 상에서 구현된다. 상기 컴퓨터 플랫폼은 또한 운용 시스템 및 마이크로명령 코드를 포함할 수 있다. 본 명세서에 기재된 각종 처리 및 기능은 마이크로명령 코드의 일부 혹은 어플리케이션 프로그램의 일부일 수 있고, 이는 CPU에 의해 실행될 수 있다. 또, 각종 기타 주변 장치가 추가의 데이터 저장장치 및 인쇄 장치 등과 같은 컴퓨터 플랫폼에 연결될 수 있다.
첨부된 도면에 표시된 구성 시스템 요소들 및 방법의 몇몇은 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 요소들 혹은 방법의 기능 블록들 간의 실제 연결관계는 본 발명이 프로그래밍되는 방식에 따라 다를 수 있다는 것 또한 이해할 필요가 있다. 본 명세서의 교시 내용을 고려하면, 당업자는 본 발명의 이들 및 유사한 구현 혹은 배치 형태를 생각해낼 수 있을 것이다.
예시적인 실시형태가 첨부 도면을 참조하여 본 명세서에서 설명되어 있지만, 본 발명은 이들 정확한 실시형태로 제한되지 않고, 각종 변화와 수정이 본 발명의 범위 혹은 정신으로부터 벗어나는 일없이 당업자에 의해 수행될 수 있다는 것을 이해할 필요가 있다. 이러한 모든 변화와 수정은 첨부된 특허청구범위에 기재된 바와 같은 본 발명의 범위 내에 포함되도록 의도되어 있다.

Claims (1)

  1. 장치 및 방법.
KR1020207020246A 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치 KR102242039B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217010993A KR102350436B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22352309P 2009-07-07 2009-07-07
US61/223,523 2009-07-07
PCT/US2010/001917 WO2011005317A2 (en) 2009-07-07 2010-07-07 Methods and apparatus for collaborative partition coding for region based filters

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197029786A Division KR102135339B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217010993A Division KR102350436B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200087879A true KR20200087879A (ko) 2020-07-21
KR102242039B1 KR102242039B1 (ko) 2021-04-20

Family

ID=43385768

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020187028727A KR102033025B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020227000661A KR102542401B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020197029786A KR102135339B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020177029604A KR101907122B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020237019148A KR20230093060A (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020217010993A KR102350436B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020127003260A KR101788292B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020207020246A KR102242039B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치

Family Applications Before (7)

Application Number Title Priority Date Filing Date
KR1020187028727A KR102033025B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020227000661A KR102542401B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020197029786A KR102135339B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020177029604A KR101907122B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020237019148A KR20230093060A (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020217010993A KR102350436B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR1020127003260A KR101788292B1 (ko) 2009-07-07 2010-07-07 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치

Country Status (10)

Country Link
US (4) US9743081B2 (ko)
EP (2) EP2452498B1 (ko)
JP (1) JP5702378B2 (ko)
KR (8) KR102033025B1 (ko)
CN (3) CN102484708A (ko)
DK (1) DK2452498T3 (ko)
ES (1) ES2855298T3 (ko)
HU (1) HUE053687T2 (ko)
PL (1) PL2452498T3 (ko)
WO (1) WO2011005317A2 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100272191A1 (en) * 2008-01-14 2010-10-28 Camilo Chang Dorea Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
BRPI0921986A2 (pt) * 2008-11-25 2018-06-05 Thomson Licensing métodos e aparelho para filtralçao por eliminação de artefatos à base de matrizes esparsas para codificação e decodificação de vídeo
KR102033025B1 (ko) 2009-07-07 2019-10-16 톰슨 라이센싱 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR101438471B1 (ko) * 2011-01-03 2014-09-16 미디어텍 인크. 필터 유닛 기반 인-루프 필터링 방법
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
EP2521357A1 (de) * 2011-05-06 2012-11-07 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Filterung von kodierten Bildpartitionen
JP5552093B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
WO2013144144A1 (en) * 2012-03-30 2013-10-03 Panasonic Corporation Syntax and semantics for adaptive loop filter and sample adaptive offset
US9237343B2 (en) * 2012-12-13 2016-01-12 Mitsubishi Electric Research Laboratories, Inc. Perceptually coding images and videos
BR112016013761B1 (pt) 2014-05-23 2023-03-14 Huawei Technologies Co., Ltd Método e aparelho para reconstruir blocos de imagem utilizando predição, e meio de armazenamento legível por computador
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
AU2017204643B2 (en) 2017-07-07 2020-05-14 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
CN112740689B (zh) * 2018-09-18 2024-04-12 华为技术有限公司 视频编码器、视频解码器及对应方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008057308A2 (en) * 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5176310U (ko) 1974-11-20 1976-06-16
JPH035596A (ja) 1989-05-31 1991-01-11 Maeda Corp 裏込め注入工法
JP2643537B2 (ja) * 1990-05-31 1997-08-20 日本電気株式会社 動画復号化装置のポストフィルタ制御方式
DE4118571A1 (de) 1991-06-06 1992-12-10 Philips Patentverwaltung Vorrichtung zur steuerung des quantisierers eines hybrid-kodierers
GB9802112D0 (en) 1998-01-30 1998-04-01 Shimadzu Res Lab Europe Ltd Method of trapping ions in an ion trapping device
US7177358B2 (en) * 2000-06-27 2007-02-13 Mitsubishi Denki Kabushiki Kaisha Picture coding apparatus, and picture coding method
ATE454016T1 (de) 2001-09-12 2010-01-15 Panasonic Corp Bildkodierungs- und biddekodierungsverfahren
CN1514649A (zh) * 2003-08-11 2004-07-21 深圳市中太多媒体通信有限公司 一种用于视频信号压缩的图像前处理方法
WO2005029798A1 (en) * 2003-09-15 2005-03-31 Intel Corporation Adaptive iq imbalance correction for multicarrier wireless communication systems
EP1641274B1 (en) 2004-09-23 2013-06-05 Panasonic Corporation Video coding employing an image de-graining loop-filter
JP4191729B2 (ja) 2005-01-04 2008-12-03 三星電子株式会社 イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ
US7657098B2 (en) * 2005-05-02 2010-02-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing mosquito noise in decoded video sequence
CN2849791Y (zh) 2005-07-15 2006-12-20 上海儒竞电子科技有限公司 基于高精度电阻网络的直流电源电路
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
JP5176310B2 (ja) 2006-12-04 2013-04-03 新日鐵住金株式会社 レールのテルミット溶接方法及びロングレール
US20120114808A1 (en) 2010-11-10 2012-05-10 Sara Lee Corporation Packaging for food product
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
EP2161936A1 (en) 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
EP2262267A1 (en) 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
KR102033025B1 (ko) 2009-07-07 2019-10-16 톰슨 라이센싱 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
KR102145782B1 (ko) * 2011-10-31 2020-08-19 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 컴퓨터 독취 가능한 기억 매체
GB201617444D0 (en) * 2016-10-14 2016-11-30 Fujitsu Ltd Processing digital image to remove unwanted portion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008057308A2 (en) * 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chien W-J; Karczewicz M: "Adaptive Filter Based on Combination of Sum-Modified Laplacian Filter Indexing and Quadtree Partitioning", VCEG-AL27, 3 July 2009. *
Y-W HUANG et al: "Adaptive Quadtree-based Multi-reference Loop filter", 2009-04-16, VCEG-AK24. *

Also Published As

Publication number Publication date
US20170318290A1 (en) 2017-11-02
US11483556B2 (en) 2022-10-25
CN102484708A (zh) 2012-05-30
KR102542401B1 (ko) 2023-06-13
CN105791831A (zh) 2016-07-20
ES2855298T3 (es) 2021-09-23
KR20210043027A (ko) 2021-04-20
DK2452498T3 (da) 2021-02-22
JP2012533215A (ja) 2012-12-20
JP5702378B2 (ja) 2015-04-15
US20120114048A1 (en) 2012-05-10
KR20220011206A (ko) 2022-01-27
KR102350436B1 (ko) 2022-01-14
US11895296B2 (en) 2024-02-06
EP2452498A2 (en) 2012-05-16
US9743081B2 (en) 2017-08-22
KR20120034780A (ko) 2012-04-12
WO2011005317A2 (en) 2011-01-13
KR101788292B1 (ko) 2017-10-19
KR20230093060A (ko) 2023-06-26
KR102135339B1 (ko) 2020-07-20
KR20180113636A (ko) 2018-10-16
US20230027586A1 (en) 2023-01-26
US10708590B2 (en) 2020-07-07
KR101907122B1 (ko) 2018-10-12
HUE053687T2 (hu) 2021-07-28
US20200366892A1 (en) 2020-11-19
KR20190119173A (ko) 2019-10-21
WO2011005317A3 (en) 2011-03-24
KR102033025B1 (ko) 2019-10-16
KR102242039B1 (ko) 2021-04-20
EP2452498B1 (en) 2020-12-16
CN107295339A (zh) 2017-10-24
EP3748967A1 (en) 2020-12-09
KR20170118259A (ko) 2017-10-24
CN107295339B (zh) 2020-06-26
PL2452498T3 (pl) 2021-06-14

Similar Documents

Publication Publication Date Title
KR102135339B1 (ko) 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
JP6104975B2 (ja) スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
KR20120081121A (ko) 비디오 인코딩 및 디코딩에서의 크로마 성분에 대한 예측 픽셀의 적응성 필터링을 위한 방법 및 장치
KR20090106505A (ko) 멀티 뷰 코딩된 비디오에서 조도 보상 및/또는 컬러 보상에 대한 코딩 아티팩트 감소 방법 및 장치
JP6479548B2 (ja) アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant