KR20110001990A - 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치 - Google Patents

영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치 Download PDF

Info

Publication number
KR20110001990A
KR20110001990A KR1020100063209A KR20100063209A KR20110001990A KR 20110001990 A KR20110001990 A KR 20110001990A KR 1020100063209 A KR1020100063209 A KR 1020100063209A KR 20100063209 A KR20100063209 A KR 20100063209A KR 20110001990 A KR20110001990 A KR 20110001990A
Authority
KR
South Korea
Prior art keywords
filter
loop
image
loop filter
block
Prior art date
Application number
KR1020100063209A
Other languages
English (en)
Inventor
최병두
조대성
심동규
정광수
Original Assignee
삼성전자주식회사
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 광운대학교 산학협력단 filed Critical 삼성전자주식회사
Publication of KR20110001990A publication Critical patent/KR20110001990A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

본 발명에 따른 영상 데이터를 부호화하는 부호화기에 구비되고, 디블록킹 필터링된 영상 데이터의 에러를 제거하는 인 루프 필터 장치는, 상기 디블록킹 필터링된 영상의 블록 경계와 블록 내부에 대하여 서로 상이한 필터 계수를 사용하여 인 루프 필터링을 수행하기 위한 인 루프 필터들을 생성하는 인 루프 필터 생성부와, 상기 생성된 인 루프 필터들을 사용하여 상기 영상의 블록 경계와 블록 내부 중 적어도 하나에 대하여 선택적 필터링을 수행하는 인 루프 필터 적용부와, 상기 생성된 인 루프 필터들의 계수, 상기 블록 경계 또는 상기 블록 내부 중 상기 생성된 인 루프 필터가 적용되는 영역을 지시하기 위한 정보, 상기 인 루프 필터가 적용되는 블록의 크기, 현재 프레임에 대해 생성된 인 루프 필터를 사용할지 또는 이전 프레임에 대해 생성된 인 루프 필터를 사용할지 여부를 지시하는 플래그 중 적어도 하나를 포함하는 인 루프 필터 정보를 생성하는 루프 필터 정보 생성부를 포함한다.

Description

영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치{APPARATUS AND METOHD OF IN LOOP FILTERING AN IMAGE DATA AND ENCODING/DECODING APPARATUS USING THE SAME}
본 발명은 동영상 부호화/복호화 장치 및 그 방법에 관한 것으로, 특히 디블록킹 필터링이 적용된 이후에 인 루프 필터링을 통하여 동영상 부호화의 효율을 향상시킬 수 있는 동영상 부호화/복호화 장치 및 그 방법에 관한 것이다.
동영상 압축을 위한 기존의 부호화 표준 기술들, H.261, H.263, MPEG(Motion Picture Expert Group)-1, MPEG-2, MPEG-4, 그리고 H.264 등은 조금씩 차이는 있으나, 일반적으로 움직임 추정과 보상, 변환 부호화, 그리고 엔트로피 부호화를 포함하는 유사한 구조로 구성되어 있다. 특히, H.264는 디블록킹 필터를 인 루프 필터로 두고 복원된 영상 내에 존재하는 블록경계 왜곡을 최소화하여, 주관적인 화질 향상뿐만 아니라 움직임 추정과 보상 과정에서 더 정밀한 예측을 가능하게 하여 전체적인 부호화 효율을 높이는 것으로 알려져 있다. 이러한 디블록킹 필터는 낮은 비트레이트 영상에서 좋은 성능을 보이지만, 고화질 영상에서 거의 성능이 없거나, 오히려 부호화 성능을 저하시키는 문제가 있다. 또한, 인 루프 필터는 복원된 영상과 상기 복원영상의 원본 영상과의 에러를 최소화하는 필터로써, 고화질 영상에서 디블록킹 필터를 같이 사용하지 않고도 부호화 효율을 높이는 효과가 있어 최근 표준화 이슈가 되고 있다.
일반적인 인 루프 필터에서는 부호화 과정 중에 영상 슬라이스마다 하나의 필터를 생성하고, 상기 생성된 필터를 복원된 영상에 동일하게 적용하고 있다. 이러한 방법은 한 슬라이스 내에서 하나의 필터를 사용하기 때문에 영상블록 마다의 특성을 고려하지 못하고 있다.
본 발명은 디블록킹 필터링이 적용된 영상 데이터에 대해 수행되는 인 루프 필터링 장치 및 방법을 제공한다.
본 발명은 상기 인 루프 필터링 장치 및 방법을 이용하는 영상 데이터 부호화/복호화 장치를 제공한다.
본 발명에 따른 영상 데이터를 부호화하는 부호화기에 구비되고, 디블록킹 필터링된 영상 데이터의 에러를 제거하는 인 루프 필터 장치는, 인 루프 필터링을 위해서 상기 디블록킹 필터링된 영상의 블록 경계에 대하여 제1 필터 계수를 사용하는 제1 루프 필터와 상기 디블록킹 필터링된 영상의 블록 내부에 대하여 제2 필터 계수를 사용하는 제2 루프 필터를 생성하는 인 루프 필터 생성부와, 상기 생성된 인 루프 필터들을 사용하여 상기 영상의 블록 경계와 블록 내부 중 적어도 하나에 대하여 선택적 필터링을 수행하는 인 루프 필터 적용부와, 상기 생성된 인 루프 필터들의 계수, 상기 블록 경계 또는 상기 블록 내부 중 상기 생성된 인 루프 필터가 적용되는 영역을 지시하기 위한 정보, 상기 선택적인 인 루프 필터가 적용되는 블록의 크기, 현재 프레임에 대해 생성된 인 루프 필터를 사용할지 또는 이전 프레임에 대해 생성된 인 루프 필터를 사용할지 여부를 지시하는 플래그 중 적어도 하나를 포함하는 인 루프 필터 정보를 생성하는 루프 필터 정보 생성부를 포함한다.
본 발명에 따른 영상 데이터를 복호화하는 복호화기에 구비되고, 디블록킹 필터링된 영상 데이터의 에러를 제거하는 인 루프 필터 장치는, 상기 복호화기에 의해 복호된 신호로부터 인 루프 필터 정보를 수신하는 인 루프 필터 정보 수신부와, 상기 인 루프 필터 정보에 따라 디블록킹 필터링된 영상의 블록 경계에 대하여 제1 필터 계수를 사용하는 제1 인 루프 필터와 상기 디블록킹 필터링된 영상의 블록 내부에 대하여 제2 필터 계수를 사용하는 제2 인 루프 필터를 사용하여 상기 영상의 블록 경계와 블록 내부 중 적어도 하나에 대하여 선택적 필터링을 수행하는 인 루프 필터 적용부를 포함한다.
본 발명에 따른 영상 데이터를 부호화하는 영상 부호화 장치는, 부호화 대상이 되는 원본 영상의 예측 영상을 생성하는 영상 예측부와, 상기 원본 영상과 상기 예측 영상 간의 차분 신호를 생성하는 차분 신호 생성부와, 상기 차분 신호와 상기 예측 영상을 이용하여 복호화된 영상에 대하여 에러를 제거하는 디블록킹 필터링을 수행하는 디블록킹 필터부와, 상기 디블록킹 필터링된 영상의 블록 내부와 블록 경계를 구분하여 필터링을 수행하는 인 루프 필터부를 포함한다.
본 발명에 따른 영상의 슬라이스의 영상 블록의 인 루프 필터링을 수행하기 위한 인 루프 필터들을 생성하는 방법은, 상기 영상 블록의 블록 경계에 대한 제1 필터 계수를 사용하는 제1 인 루프 필터를 생성하는 과정과, 상기 영상 블록의 블록 내부에 대한 제2 필터 계수를 사용하는 제2 인 루프 필터를 생성하는 과정을 포함한다.
본 발명에 따른 영상의 영상 블록에 대해 인 루프 필터링을 수행하기 위한 방법은, 상기 영상 블록의 경계 또는 상기 영상 블록의 내부에 인 루프 필터링이 적용되는지 여부를 결정하는 과정과, 상기 경계 또는 내부에 적용될 인 루프 필터링이 결정되었는지 여부에 따라 최적의 필터를 선택하는 과정을 포함한다.
본 발명은 영상을 부호화할 때 움직임 추정과 보상 과정에서 더 정밀한 예측을 가능하게 하여 부호화 효율을 높이는 효과가 있다. 또한, SVC의 공간적 확장성 부호화, 화질적 확장성 부호화, 시간적 확장성 부호화에 확장되어 적용함으로써 부호화 효율을 높이는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 영상블록의 특성과 문맥 정보 기반의 적응적인 인 루프 필터를 이용한 동영상 부호화 장치의 블록 구성도,
도 2는 본 발명의 실시 예에 따른 동영상 복호화 장치의 블록 구성도,
도 3은 4X4 크기의 4개의 인접 영상 블록들에서 본 발명의 실시 예에 따라 인 루프 필터링이 이루어지는 블록 내부와 블록 경계를 표시하기 위한 도면,
도 4는 본 발명의 실시 예에 따라 동영상 부호화 장치에 구비된 인 루프 필터부의 동작 흐름도,
도 5는 본 발명의 실시 예에 따라 동영상 복호화 장치에 구비된 인 루프 필터부의 동작 흐름도,
도 6은 본 발명의 실시 예에 따라 블록 경계에 대해 인 루프 필터링을 적용하는 예를 도시한 도면,
도 7은 본 발명의 실시 예에 따라 블록 내부에 대해 인 루프 필터링을 적용하는 예를 도시한 도면,
도 8은 본 발명의 실시 예에 따라 인 루프 필터 정보가 전송되는 예를 도시한 도면.
이하에서 설명하는 본 발명은 동영상 압축 기술 중의 하나인 인 루프 필터에 관한 것으로서, 동영상 부호화 과정 중에서 복원된(reconstructed) 영상과 상기 영상에 대한 원본 영상과의 에러를 최소화하는 영상블록의 경계와 내부에 서로 다른 적응적인 인 루프 필터를 생성하고 적용함으로써, 부호화 에러를 제거하여 차후 영상을 부호화할 때, 움직임 추정과 보상과정에서 더 정밀한 예측을 가능하게 하여 부호화 효율을 높일 수 있는 인 루프 필터링 기술을 제안한다.
또한, 이하에서 설명하는 본 발명은 비디오 압축에서, 부호화 후 복원된 영상과 원본과의 에러를 최소화하는 인 루프 필터를 슬라이스(Slice)마다 하나씩 생성하고, 이를 복원된 영상에 적용하여 인 루프 필터링하는 방법으로 부호화 효율을 높이는 효과가 있다. 자세하게는, 한 슬라이스 내에서도 영상 블록에 따라 인 루프 필터의 계수(Coefficient)가 상이하게 결정되며, 인 루프 필터 크기와 영상 블록 크기가 다르게 결정될 수 있다. 그리고 영상 블록에 적용된 인 루프 필터 계수와 영상 블록에서의 인 루프 필터링을 수행할지를 지시하는 정보, 인 루프 필터 크기가 복호화기에 전송된다. 또한, 인 루프 필터링이 적용되는 영상 블록의 크기와 같은 영상 블록 정보가 복호화기에 별도로 전송되어, 부호화기 및 복호화기 각각에서 인 루프(in-loop) 형태로 필터링이 수행된다. 본 명세서에서는 인 루프 필터의 계수, 인 루프 필터의 크기, 영상 블록에서 인 루프 필터링을 수행할 지 여부를 지시하는 정보, 영상 블록 정보를 인 루프 필터링 정보라고 칭하기로 한다.
그리고, 본 발명에 따른 복호화 장치에서 영상 신호를 복호화하기 위해서는 역양자화 및 역 이산여현변환을 수행하여 생성한 차분신호 결과에, 예측 영상을 보상해 주어 원래의 영상을 구하고 디블록킹 필터를 적용한 다음, 수신된 필터 정보에 따라서 영상블록의 경계와 내부에 인 루프 필터를 적용하여 복호화한다. 그러므로 본 발명에서는 인 루프 필터에 대한 필터 정보를 따로 부호화하여 전송한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 영상블록의 특성과 문맥 정보 기반의 적응적인 인 루프 필터를 이용한 동영상 부호화 장치의 블록 구성도이다.
본 발명에 따른 동영상 부호화 장치는, 도 1에 도시된 바와 같이, 영상 예측부(10), 차분신호를 생성하는 차분신호 생성기(11), 부호화부(12), 및 복호화부(13), 디블록킹 필터부(14), 인 루프 필터부(15)를 포함하여 이루어진다.
영상 예측부(10)는 움직임 예측부(101), 움직임 보상부(102), 인트라 예측 선택부(103), 인트라 예측부(104)를 포함한다. 영상 예측부(10)는 현재 부호화 대상이 되는 원본 영상(1)에 대하여 예측 영상을 생성한다. 그러면, 감산기(11)는 현재 부호화 대상이 되는 원본 영상인 현재 프레임(1)에서 영상 예측부(10)에서 생성된 예측 영상을 감산하여 차분 신호를 생성하고, 생성된 차분 신호를 부호화부(12)로 출력하게 된다.
즉, 영상 예측부(10)는 부호화 대상이 되는 현재 프레임(Fn)(1)에서 소정의 크기의 한 블록을 부호화하기 위해서 움직임 예측이나 추정을 하고, 감산기(11)는 현재 블록에 대한 차분 신호(Dn)를 생성한다.
부호화부(12)는 이산여현변환부(121), 양자화부(122), 재정렬부(123), 엔트로피 인코더(124)를 포함하여 이루어지는 것으로서, 감산기(11)에서 출력되는 차분신호에 대해 이산여현변환부(121)에서 이산여현변환을 수행하고, 상기 이산여현변화된 신호에 대해 양자화부(122)에서 양자화를 수행하고, 상기 양자화된 신호에 대해 재정렬부(123)에서 재정렬을 수행하고, 재정렬된 신호에 대해 엔트로피 인코더(124)에서 엔트로피 인코딩 과정을 통하여 영상을 부호화하여 NAL(Network Abstract Layer)를 통해 전송한다.
한편, 복호화부(13)는 역양자화부(131), 역이산여현변환부(132), 가산기(133)를 포함하여 이루어지는 것으로서, 다음 블록 또는 다음 프레임을 부호화하기 위해서 현재 블록 또는 현재 프레임을 부호화하는 과정에서도 원래 블록을 보상하여 영상을 복원하는 것이다.
보다 상세하게 설명하면, 복호화부(13)는 부호화부(12)에서 이산여현변환 및 양자화된 차분신호 크기(양자화부(122)의 출력)에 대해 역양자화부(132)에서 역양자화 과정을 수행하고, 역양자화된 신호에 대해 역이산여현변환부(132)에서 역이산여현변환을 수행함으로써 원래의 차분신호 크기를 복원한다. 그런 후, 복호화부(13)는 그 복원된 차분신호(차분 영상)(D'n)에 상기 영상 예측부(10)에서 출력된 예측 영상을 가산하여 원 영상을 복원함으로써, 복원된 영상을 디블록킹 필터부(14)로 출력한다.
디블록킹 필터부(14)는 디블록킹 필터처리부(141)를 포함한다. 디블로킹 필터부(14)는 복호화부(13)에서 생성된 복원 영상에서 영상블록 경계간에 생성된 부호화 에러를 최소화함으로써 주관적 화질과 객관적 화질을 향상시킨다.
인 루프 필터부(15)는 인 루프 필터 생성부(151), 인 루프 필터 적용부(152), 인 루프 필터 정보 생성부(153), 필터 저장부(154)를 포함하여 이루어지는 것으로서, 상기 디블록킹 필터 처리부(141)에서 출력되는 디블록킹 필터가 적용된 영상의 블록 경계와 블록 내부에 서로 다른 필터 계수를 생성하고 그 계수를 적용하여 블록 내부와 블록 경계에 각각 다른 인 루프 필터링을 수행하는 것이다.
구체적으로, 인 루프 필터 생성부(151)에서는 디블록킹된 영상의 블록 경계와 블록 내부에 서로 다른 필터 계수를 갖는 인 루프 필터를 생성한다.
그럼 이하에서 본 발명의 실시 예에 따라 4X4 크기의 4개의 인접 영상 블록들에서 인 루프 필터링이 이루어지는 블록 내부와 블록 경계를 도 3을 참조하여 살펴보기로 한다.
예를 들어, 본 발명의 실시 예에 따른 인 루프 필터 생성부(151)는 도 3과 같이 크기가 4X4인 네 개의 인접 영상 블록들(30, 31, 32, 33)에 대해서 영상의 블록 내부와 블록 경계에서 각각 서로 다른 특성을 갖는 필터를 생성할 수 있다. 영상에서 인 루프 필터링이 적용될 영역에 대한 정보는 구체적으로 영상의 블록 내부영역(34, 35, 36, 37)인지 또는 블록 경계영역(38, 39) 인지로 구분 될 수 있으며, 영상의 블록 내부인 경우에는 블록 경계에서 보다 블록 왜곡이 상대적으로 약하게 발생하므로 좀 더 약한 필터 강도를 갖는 필터 계수를 적용할 수 있다.
반대로 영상의 블록 경계인 경우에는 블록 내부보다 블록 왜곡이 상대적으로 강하게 발생하기 때문에 좀 더 강한 필터 특성을 갖는 필터 계수를 적용할 수 있다. 여기서, 영상의 블록 내부와 블록 경계 별로 각각 생성되는 인 루프 필터의 크기는 같을 수도 있고 서로 다를 수도 있다. 또한, 상기 영상 블록의 단위는 4X4에 국한되지 않고 가변적이다. 영상을 Quadtree 단위로 분할하여 다양한 크기의 각 블록마다 적용 가능하다. 상기 영상 블록 단위의 명칭은 다양할 수 있으며, 일 예로 코딩 유닛(Coding Unit), 예측 유닛(Prediction Unit), 변환 유닛(Transform Unit)으로 칭해지기도 한다.본 발명에의 실시 예에 따른 인 루프 필터 생성부(151)는 원본 영상인 현재 프레임(Fn)(1)과 디블록킹 필터부(14)에서 디블록킹 필터링된 영상과의 비교를 통해서 평균 제곱 오차(Mean Square Error : MSE)를 줄이는 방향으로 인 루프 필터 계수를 생성한다. 본 발명에서는 이러한 방법의 일 예로서 위너 필터(Wiener Filter) 기술을 사용하여 인 루프 필터에 사용될 계수를 생성할 수 있다.
그리고, 인 루프 필터 적용부(152)는 상기 인 루프 필터 생성부(151)가 생성한 현재 프레임의 필터 계수와 필터 저장부(154)에 저장된 이전 프레임의 필터 계수 중 최적의 필터 계수를 선택한다.
이때는 인 루프 필터 적용부(152)는 이전 프레임과 현재 프레임에 대해 MSE를 사용하여 계산한 에러 값과 현재 프레임에 적용될 필터 계수를 전송함으로써 발생될 오버헤드를 고려한 코스트(Cost) 값을 고려하여 최적의 필터 계수를 선택할 수 있다.
인 루프 필터 적용부(152)는 새로 생성한 인 루프 필터를 사용하는 것이 최적이라고 판단되면, 필터 저장부(154)에 저장된 필터 계수를 상기 새로 생성한 인 루프 필터 계수로 업데이트 한다. 그러나, 새로 생성한 인 루프 필터보다 이전에 필터 저장부(154)에 저장된 필터 계수가 최적이라고 판단된다면, 필터 저장부(154)에 저장된 이전 필터 계수를 사용하여 인 루프 필터링을 수행한다. 그리고, 인 루프 필터 정보 생성부(153)는 상기 인 루프 필터 적용부(152)가 현재 인 루프 필터 생성부(151)가 생성한 필터 계수를 사용하여 인 루프 필터링을 수행했는지 아니면 필터 저장부(154)에 저장된 이전 프레임의 필터 계수를 사용했는지를 지시하는 플래그를 생성한다. 예컨대 플래그가 "1"이라면, 인 루프 필터링의 필터 계수를 인 루프 필터 생성부(151)가 현재 프레임에 대해 생성한 필터 계수를 사용할 것을 나타내고, "0"이라면, 이전 프레임에 해당하는 필터 계수를 사용하여 인 루프 필터링을 수행할 것을 나타낸다. 또한, 이전에 필터 저장부(154)에 저장된 필터 계수가 하나가 아니라 여러 개일 경우, 인 루프 필터 정보 생성부(153)는 필터 저장부(154)에 저장되어 있는 여러 개의 필터 계수들 중 최적의 필터 계수로 결정된 필터 계수를 지시하는 인덱스 정보를 생성하여 인 루프 필터 정보에 포함하여 전송한다.
다음으로 인 루프 필터 적용부(152)는 인 루프 필터 생성부(151)에서 생성된 인 루프 필터와 필터 저장부(154)에 저장된 인 루프 필터 중 최적의 인 루프 필터를 기반으로 영상의 블록 경계와 블록 내부에 서로 다른 필터를 적용하여 영상을 필터링한다.
상기 인 루프 필터 적용부(152)에서 영상의 블록 내부와 블록 경계에 각각 적용된 필터에 대한 정보는 인 루프 필터 정보 생성부(153)를 통해 부호화부(12)에서 부호화되어 동영상 복호화 장치로 전송된다.
본 발명에서 인 루프 필터 정보는 블록 경계 또는 블록 내부에 적용된 필터 계수, 블록 내부 또는 블록 경계에 인 루프 필터를 적용할 것인지를 알리는 인 루프 필터 적용 여부에 대한 정보, 인 루프 필터가 적용될 블록 경계 또는 블록 내부의 영역의 크기를 알리는 영역 크기 정보와 이전 프레임에 적용된 인 루프 필터 계수를 그대로 사용할지를 알리는 플래그를 포함한다. 구체적으로 본 발명의 실시 예에 따른 인 루프 필터 정보는 도 8과 같이 슬라이스(800)단위로 보낼 수도 있고 매크로블록(810) 단위로 보낼 수도 있다. 만약, 상기 인 루프 필터 정보가 슬라이스 단위로 전송된다면, 인 루프 필터 정보는 슬라이스 헤더(802)에 포함되어 전송될 수 있으며, 매크로블록 단위로 전송된다면, 매크로블록(810)에 포함되어 전송될 수 있다.
도 2는 본 발명에 따른 동영상 복호화 장치의 블록 구성도로서, 크게 복호화부(20), 영상 복원부(21), 디블록킹 필터부(22), 인 루프 필터부(23)를 포함하여 이루어진다.
복호화부(20)는 엔트로피 디코더(201), 재정렬부(202), 역양자화부(203) 및 역이산여현변환부(204)를 포함한다. 복호화부(20)는 도 1의 동영상 부호화 장치로부터 수신한 비트열을 엔트로피 디코더(201)에서 엔트로피 디코딩을 수행하고, 엔트로피 디코딩이 수행된 신호에 대해 재정렬부(202)가 데이터 재정렬을 수행하고, 데이터 재정렬된 신호에 대해 역양자화부(203)에서 역양자화를 수행하고 상기 역양자화된 신호에 대해 역이산여현변환부(204)에서 역이산여현변환 동작을 수행하여 복호화 과정을 수행하여 동영상 부호화 장치에서 전송한 차분 신호를 복호화한다.
영상 복원부(21)는 움직임 보상부(211), 인트라 예측부(212), 가산기(213)를 포함하여 이루어지는 것으로서, 복호화부(20)에서 복호화된 차분신호(D'n)와 참조 프레임(이전 영상)(F'n -1)(2)을 이용하여 원래의 영상을 복원하여 디블록킹 필터부(22)로 출력한다.
디블록킹 필터부(22)는 디블록킹 필터 처리부(221)를 포함하여 이루어지는 것으로서, 상기 가산기(213)에 의해 복원된 영상에 대해서 영상 블록 경계간에 생성되는 부호화 에러를 제거하여 주관적 화질과 객관적 화질을 향상시킨다.
인 루프 필터부(23)는 인 루프 필터 정보 수신부(231), 인 루프 필터 적용부(232)를 포함하여 이루어진다.
구체적으로, 인 루프 필터 정보 수신부(231)는 복호화부(20)에 의해 복호화된 인 루프 필터 정보를 수신한다. 본 발명에 따른 인 루프 필터 정보는 블록 경계 또는 블록 내부에 적용된 필터 계수, 블록 내부 또는 블록 경계에 인 루프 필터를 적용할 것인지를 알리는 인 루프 필터 적용 여부에 대한 정보, 인 루프 필터가 적용될 블록 경계 또는 블록 내부의 영역의 크기를 알리는 영역 크기 정보와 이전 프레임에 적용된 인 루프 필터 계수를 그대로 사용할지를 알리는 플래그를 포함한다.
그리고, 인 루프 필터 정보 수신부(231)는 수신된 인 루프 필터 정보에 포함된 플래그를 체크하여 인 루프 필터의 계수를 업데이트할지 아니면 이전의 인 루프 필터의 계수를 사용할지를 결정한다. 만약, 상기 플래그가 인 루프 필터 계수를 업데이트할 것을 지시(플래그가 "1"일 경우)한다면, 인 루프 필터 정보 수신부(231)는 상기 인 루프 필터 정보에 포함된 필터계수를 필터 저장부(233)에 업데이트 시킨다. 반면, 상기 플래그가 "0"일 경우에는, 인 루프 필터 정보 수신부(231)는 필터 저장부(233)에 저장되어 있는 이전 프레임에 대한 인 루프 필터 계수를 사용하여 인 루프 필터링을 수행할 것을 인 루프 필터 적용부(232)에 알린다.
만약, 필터 저장부(233)에 이전의 인 루프 필터 계수가 저장되어 있지 않다면, 인 루프 필터 정보 수신부(132)는 수신된 필터 계수를 필터 저장부(233)에 저장한다.
인 루프 필터 정보 수신부(132)는 상기 플래그가 "0"이고, 필터 저장부(233)에 이전에 저장된 필터 계수들이 여러 개라면, 상기 필터 저장부(233)에 저장된 필터 계수들 중 최적의 필터 계수로 결정된 필터 계수를 지시하기 위한 인덱스 정보도 영상 부호화 장치로부터 수신할 것이다. 인 루프 필터 정보 수신부(132)가 상기 인덱스 정보를 수신하였다면, 인 루프 필터 적용부(132)는 상기 필터 저장부(2333)에 저장된 필터 계수들 중 상기 인덱스 정보가 지시하는 필터의 계수를 적용하여 디블록킹 필터 처리된 영상에 대하여 인 루프 필터링을 적용할 것이다.
그리고, 인 루프 필터 적용부(232)는 상기 플래그가 "1"이라면, 상기 수신된 인 루프 필터 정보에 포함된 인 루프 필터 계수를 적용한 필터를 상기 디블록킹된 영상의 블록 내부와 블록 경계에 대하여 실제적인 인 루프 필터링을 수행하고, 상기 플래그가 "0"이라면, 필터 저장부(233)에 저장되어 있는 이전 프레임에 대한 필터 계수를 사용하여 인 루프 필터링을 수행한다.
예를 들어, 부호화 장치에서와 같이 영상 블록 내부(34, 35, 36, 37) 또는 블록 경계(38, 39)에 따라 서로 다른 특성을 갖는 필터 계수가 적용될 수 있다. 상술한 바와 같이 영상 블록 내부에 대해서는 영상 블록의 경계에서 보다 블록왜곡이 상대적으로 약하게 발생하므로 좀 더 약한 필터 강도를 갖는 필터가 적용될 수 있다. 반대로 영상 블록 경계인 경우에는 영상 블록 내부보다 블록 왜곡이 상대적으로 강하게 발생하기 때문에 좀 더 강한 필터 특성을 갖는 필터가 적용될 수 있다. 여기서, 영상블록의 내부와 경계에 따라 적용되는 필터의 크기는 같을 수도 있고 서로 다를 수도 있다. 그리고 도 3에서는 본 발명의 실시 예에 따라 인 루프 필터가 적용되는 영상 블록의 크기(Size)를 4X4로 예를 들었으나, 이에 국한되지 않고 다양한 크기를 갖도록 결정될 수 있다.
또한, 본 발명에 따라 인 루프 필터 적용부(232)는 상기 인 루프 필터 적용 여부에 대한 정보를 근거로 영상 블록 내부와 블록 경계 중 인 루프 필터가 적용될 영역을 결정할 수 있으며, 상기 블록 내부와 블록 경계에 인 루프 필터가 적용되어야 함이 결정되면, 상기 영역 크기 정보를 근거로 상기 인 루프 필터가 적용될 영역의 크기에 해당하는 영상 블록 내부와 영상 블록 경계에 대하여 상기 수신한 필터 계수를 적용한 인 루프 필터링을 수행한다. 만약, 상기 인 루프 필터 적용 여부에 대한 정보가 영상 블록 내부 또는 블록 경계 중 어느 하나에 대해서만 할 것을 지시한다면, 인 루프 필터 적용부(232)는 지시된 블록의 영역에 대해서만 인 루프 필터링이 수행될 것이고, 상기 인 루프 필터 적용 여부에 대한 정보가 인 루프 필터를 적용하지 말 것을 지시한다면, 인 루프 필터 적용부(232)는 영상 블록에 대하여 인 루프 필터링을 수행하지 않을 것이다.
이와 같이 본 발명의 실시 예에 따라 인 루프 필터 정보 수신부(231)에 의해서 수신되는 필터에 대한 정보는 도 8과 같이 슬라이스(800)단위로 정보가 수신될 수도 있고 매크로블록(810)단위로 수신될 수도 있다.
그리고 본 발명에 따른 인 루프 필터는 상기 예에서와 같은 형태로 SVC(Scalable Video Coding)의 공간적 확장성 부호화, 화질적 확장성 부호화, 시간적 확장성 부호화에 각각 확장되어 적용될 수 있다.
도 4는 본 발명의 실시 예에 따라 동영상 부호화 장치에 구비된 인 루프 필터부의 동작 흐름도이다.
400단계에서 인 루프 필터부는 블록 경계에 적용할 인 루프 필터를 생성하고, 405단계에서 블록 내부에 적용할 인 루프 필터를 생성한다. 좀더 상세히 설명하자면, 400단계와 405단계에서는 인 루프 필터부는 블록 내부와 블록 경계에서 각각 인 루프 필터링을 수행하기 위한 필터의 필터 계수를 생성한다. 본 명세서에서는 필터 계수와 필터를 동일한 의미로서 사용하기도 한다.
그리고, 410단계에서 인 루프 필터부는 블록 경계 혹은 블록 내부에 인 루프 필터를 사용하여 인 루프 필터링을 수행할 것인지를 결정하고, 인 루프 필터링을 수행할 것으로 결정하였다면, 415단계에서 현재 생성된 필터와 이전에 저장된 필터를 비교하여 최적의 필터를 선택한다. 420단계에서 인 루프 필터부는 상기 415단계에서 선택된 필터가 현재 생성된 필터인지 여부를 검사하고, 현재 생성된 필터라면, 425단계에서 이전에 저장된 필터를 현재 생성된 필터로 갱신하고, 430단계에서 인 루프 필터링 영역을 결정한다.
반면, 상기 420단계에서 선택된 필터가 현재 생성된 필터가 아니라면, 이전에 생성된 필터가 선택된 것이므로, 인 루프 필터부는 430단계로 바로 진행하여 인 루프 필터링 영역을 결정한다.
435단계에서 인 루프 필터부는 선택된 인 루프 필터를 사용하여 결정된 인 루프 영역에 대해 인 루프 필터링을 수행하고, 440단계에서 인 루프 필터 정보를 부호화하여 전송한다.
만약, 상기 415단계에서 이전에 저장된 필터들이 여러 개라면, 그 중 선택된 최적의 필터를 지시하기 위한 인덱스 정보도 생성되어 후술할 440단계에서 인루프 필터 정보 부호화되어 전송될 것이다.
도 5는 본 발명의 실시 예에 따라 동영상 복호화 장치에 구비된 인 루프 필터부의 동작 흐름도이다. 500단계에서 인 루프 필터부는 인 루프 필터링을 위한 인 루프 필터 정보를 수신한다. 505단계에서 인 루프 필터부는 상기 인 루프 필터 정보에 포함된 인 루프 필터 적용 여부에 대한 정보를 근거로 블록 경계 혹은 블록 내부에 인 루프 필터를 적용할 것인지를 판단하고, 인 루프 필터를 결정하기로 판단되었다면, 510단계에서 인 루프 필터링 영역을 결정한다.
그리고, 인 루프 필터부는 515단계에서 이전 인 루프 필터 계수를 사용할지 여부를 검사하는데, 이는 상기 수신된 인 루프 필터 정보에 포함된 정보(예컨대 플래그)를 검사함으로써 알 수 있다.
상기 515단계의 검사결과, 이전 필터 계수를 사용한다면, 인 루프 필터부는 520단계에서 이전에 저장된 필터 계수로 인 루프 필터링을 수행한다. 만약, 상기 515단계에서 이전 필터 계수를 사용하는 것으로 결정되고, 이전에 저장된 필터 계수들이 여러 개라면, 520단계에서는 그 중 최적으로 선택된 필터 계수를 지시하는 인덱스 정보에 해당하는 필터 계수를 이용하여 인 루프 필터링을 수행할 것이다.
반면, 상기 515단계의 검사결과, 이전 필터 계수를 사용하지 않는다면, 현재 수신된 인 루프 필터를 사용하여 인 루프 필터링을 수행하여야 하므로, 525단계에서 상기 인 루프 필터 정보에 포함된 필터 계수로 인 루프 필터링을 수행한 후 530단계에서 상기 수신된 인 루프 필터 계수로 이전에 저장된 인 루프 필터 계수를 갱신한다.
도 6은 본 발명의 실시 예에 따라 블록 경계에 대해 인 루프 필터링을 적용하는 예를 도시한 도면이다.
도 6에서 참조번호 600은 복원된 현재 프레임을 나타내며, 참조번호 604는 16X16 매크로블록을 나타내고, 참조번호 602는 매크로블록(604)에서 인 루프 필터링된 영역을 나타낸다. 도 6에서는 참조번호 604인 블록의 경계에 인 루프 필터링을 수행하는 것을 상세히 보여주고 있다. 도 6에서는 16X16 매크로블록이 또 다시 8X8 크기의 영상 블록들로 나뉘어져 있다.
참조번호 606은 본 발명의 실시 예에 따라 인 루프 필터링을 수행하기 위한 5X5 크기의 2 차원 필터이며, 참조번호 608은 2차원 필터(606)의 센터 포인트(Center point)를 의미한다. 도 6에서는 필터(606)의 센터 포인트(608)가 매크로블록(604)의 경계 지점에 위치하여 있는 것을 보여주고 있고, 이러한 경우에는 블록 경계에 해당하는 인 루프 필터 계수를 적용하여 필터링을 수행하게 된다.
도 7은 본 발명의 실시 예에 따라 블록 내부에 대해 인 루프 필터링을 적용하는 예를 도시한 도면이다.
도 7에서는 복원된 현재 프레임(600)의 16X16 매크로블록에서 블록 내부에 대하여 인 루프 필터링을 수행하는 것을 상세히 보여주고 있다. 참조번호 702는 16X16 매크로블록(604)에서 블록 내부에 인 루프 필터링이 수행되는 영역을 표시한 것이다. 참조번호 706은 본 발명의 실시 예에 따라 인 루프 필터링을 수행하기 위한 5X5 크기의 2 차원 필터이며, 참조번호 708은 2차원 필터(706)의 센터 포인트(Center point)를 의미한다. 도 7에서는 필터(706)의 센터 포인트(708)가 매크로블록(604)의 블록 내부에 위치하여 있는 것을 보여주고 있고, 이러한 경우에는 블록 내부에 해당하는 인 루프 필터 계수를 적용하여 필터링을 수행하게 된다.
도 6과 도 7에서는 필터의 형상(shape)을 사각형인 것으로 가정하여 설명하였으나, 그 외에도 마름모형, 타원형, 삼각형, 원형 등의 형상을 가질 수 있다.
아래의 <표 1>은 본 발명의 실시 예와 같이 영상 블록의 내부와 영상 블록의 경계에 서로 다른 인 루프 필터링을 적용할 경우의 효과를 보이고 있다.
Figure pat00001
상기 <표 1>은 H.264 JM 기반의 720p 크기를 갖는 영상의 테스트 결과이며, 100 frames, High profile, CABAC(Context-Adaptive Binary Arithmetic Coding) on이고, GOP(Group of Picture) Structure는 IPPP인 경우의 조건에서의 테스트 결과이다.
<표 1>에서 QP는 양자화 파라미터(Quantization Parameter)를 의미하고, reference는 기존의 방식에 따른 Bitrate와 PSNR 값들을 나타내며, proposed는 본 발명에 따른 Bitrate와 PSNR(Peak Signal-to-Noise Ratio) 값들을 나타낸다.
본 발명에 따른 부호화 성능의 객관적 지표로서 Reference와 proposed에 대한 비교 결과인 BDPSNR(Bjonteggard PSNR) 과 BDBitrate(Bjonteggard Delta Bitrate)를 살펴보면, BDPSNR의 (+)부호와 BDBitrate의 (-)부호는 부호화 성능의 향상을 나타내고 있다.
본 발명의 실시 예들은 컴퓨터 기록 매체 상에서 컴퓨터 기록이 가능한 코드로서 수행될 수 있다. 상기 컴퓨터 기록 매체는 컴퓨터 시스템에 의하여 이후에 읽힐 수 있는 데이터를 저장할 수 있는 어떠한 데이터 저장 장치도 된다. 상기 컴퓨터 기록 매체의 예는 ROM(read-only memory), RAM(random-access memory), CD-ROM, 자기 테잎, 플로피 디스크와 광학적 데이터 저장 장치를 포함한다.
상기 컴퓨터 기록 매체는 네트워크로 연결된 컴퓨터를 통해서 분산될 수 있어서, 상기 컴퓨터 기록 가능한 코드는 분산 방식으로 저장되고 수행될 수 있다. 또한, 본 발명의 실시 예는 컴퓨터 캐리어 파형과 같은 기록 가능한 전송 매체를 통하여 송신되는 컴퓨터 프로그램으로서 기록될 수 있고, 범용 또는 상기 프로그램을 실행할 수 있는 특수 목적 컴퓨터에서 수신되고 실행될 수 있다. 또한, 상기 동영상 부호화 장치와 상기 동영상 복호화 장치의 하나 또는 그 이상의 유닛들은 컴퓨터 기록 매체에서 저장되는 컴퓨터 프로그램을 실행할 수 있는 프로세서 또는 마이크로 프로세서를 포함할 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (24)

  1. 영상 데이터를 부호화하는 부호화기에 구비되고, 디블록킹 필터링된 영상 데이터의 에러를 제거하는 인 루프 필터 장치에 있어서,
    인 루프 필터링을 수행하기 위한 상기 디블록킹 필터링된 영상의 블록 경계에 대해 제1 필터 계수를 사용하는 제1 인 루프 필터와 상기 디블록킹된 영상의 블록 내부에 대하여 제2 필터 계수를 사용하는 제2 인 루프 필터를 생성하는 인 루프 필터 생성부와,
    상기 생성된 제1 인 루프 필터를 사용하여 상기 영상의 블록 경계와 상기 생성된 제2 인 루프 필터를 사용하여 상기 블록 내부 중 적어도 하나에 대하여 선택적 필터링을 수행하는 인 루프 필터 적용부와,
    상기 생성된 제1 및 제2 인 루프 필터들의 제1 및 제2 계수들, 상기 블록 경계 또는 상기 블록 내부 중 상기 생성된 인 루프 필터가 선택적으로 적용되는 영역을 지시하기 위한 정보, 상기 선택적 인 루프 필터가 적용되는 블록의 크기, 현재 프레임에 대해 생성된 인 루프 필터를 사용할지 또는 이전 프레임에 대해 생성된 인 루프 필터를 사용할지 여부를 지시하는 플래그 중 적어도 하나를 포함하는 인 루프 필터 정보를 생성하는 루프 필터 정보 생성부를 포함하는 인 루프 필터 장치.
  2. 제1 항에 있어서,
    상기 인 루프 필터 생성부는,
    상기 영상의 블록 경계의 상기 제1 인 루프 필터와 상기 영상의 블록 내부의 제2 인 루프 필터는 서로 상이함을 특징으로 하는 인 루프 필터 장치.
  3. 제1 항에 있어서,
    상기 디블록킹 필터링된 영상의 블록 크기가 가변적일 경우, 상기 디블록킹 필터링된 영상의 블록 경계 폭은 가변적임 음을 특징으로 하는 인 루프 필터 장치.
  4. 제1 항에 있어서,
    상기 제1 및 제2 인 루프 필터는 1차원 필터(1 Dimension filter) 또는 2차원 필터(2 Dimension filter) 중 하나를 사용함을 특징으로 하는 인 루프 필터 장치.
  5. 제1 항에 있어서,
    상기 제1 및 제2 인 루프 필터가 2차원 필터일 경우에는,
    상기 제1 및 제2 필터의 형상(shape)은 사각형, 마름모형, 타원형, 삼각형 중 하나임을 특징으로 하는 인 루프 필터 장치.
  6. 제1 항에 있어서,
    상기 인 루프 필터 정보는,
    이전 프레임들에서 생성된 필터 계수들이 복수 개라면, 상기 이전 프레임들에 대한 상기 복수 개의 필터 계수들 중 최적의 필터 계수를 지시하기 위한 인덱스 정보를 포함하는 인 루프 필터 장치.
  7. 제1 항에 있어서,
    상기 인 루프 필터 적용부는,
    상기 제1 및 제2 필터 계수 중 적어도 하나 또는 상기 이전 프레임들의 저장된 필터 계수 중 선택된 최적의 필터 계수를 사용하여 상기 선택적 필터링을 수행함을 특징으로 하는 인 루프 필터 장치.
  8. 제7 항에 있어서,
    상기 인 루프 필터 적용부는,
    원본 영상과 디블록킹 필터링된 영상 사이의 평균 제곱 오차(Mean Square Error : MSE)를 사용하여 계산된 에러와 선택된 최적 필터 계수를 전송하는 오버헤드에 의한 코스트 중 적어도 하나에 따라 상기 최적의 필터 계수를 선택함을 특징으로 하는 인 루프 필터 장치.
  9. 영상 데이터를 복호화하는 복호화기에 구비되고, 디블록킹 필터링된 영상 데이터의 에러를 제거하는 인 루프 필터 장치에 있어서,
    상기 복호화기에 의해 복호된 신호로부터 인 루프 필터 정보를 수신하는 인 루프 필터 정보 수신부와,
    상기 수신된 인 루프 필터 정보에 따라 상기 디블록킹 필터링된 영상의 블록 경계에 대한 제1 필터 계수를 사용하는 제1 인 루프 필터와 상기 디블록킹 필터링된 영상의 블록 내부에 대하여 제2 필터 계수를 사용하는 제2 인 루프 필터 사용하여 상기 디블록킹 필터링된 영상의 블록 경계와 블록 내부 중 적어도 하나에 대하여 선택적 필터링을 수행하는 인 루프 필터 적용부를 포함하는 인 루프 필터 장치.
  10. 제9 항에 있어서,
    상기 영상의 블록 경계의 상기 제1 필터 계수는 상기 영상의 블록 내부의 상기 제2 필터 계수와 상이함을 특징으로 하는 인 루프 필터 장치.
  11. 제9 항에 있어서,
    상기 디블록킹 필터링된 영상의 블록 크기가 가변적일 경우, 상기 디블록킹 필터링된 영상의 블록 경계 폭은 가변 적임음을 특징으로 하는 인 루프 필터 장치.
  12. 제9 항에 있어서,
    상기 제1 및 제2 인 루프 필터는 1차원 필터(1 Dimension filter) 또는 2차원 필터(2 Dimension filter) 중 하나를 사용함을 특징으로 하는 인 루프 필터 장치.
  13. 제9 항에 있어서,
    상기 제1 및 제2 인 루프 필터가 2차원 필터일 경우에는,
    상기 제1 및 제2 인 루프 필터의 형상(shape)은 사각형, 마름모형, 타원형, 삼각형 중 하나임을 특징으로 하는 인 루프 필터 장치.
  14. 제9 항에 있어서,
    상기 인 루프 필터 적용부는,
    상기 수신된 인 필터 정보에 따라 상기 제1 및 제2 필터 계수 적어도 하나 또는 저장된 이전 프레임의 필터 계수 중 선택된 최적 필터링 계수를 사용하여 상기 선택적 필터링을 수행함을 특징으로 하는 인 루프 필터 장치.
  15. 영상 데이터를 부호화하는 영상 부호화 장치에 있어서,
    부호화 대상이 되는 원본 영상의 예측 영상을 생성하는 영상 예측부와,
    상기 원본 영상과 상기 예측 영상 간의 차에 따라 차분 신호를 생성하는 차분 신호 생성부와,
    상기 차분 신호와 상기 예측 영상을 이용하여 복호화된 영상에 대하여 에러를 제거하는 디블록킹 필터링을 수행하는 디블록킹 필터부와,
    상기 디블록킹 필터링된 영상의 블록 내부와 블록 경계를 구분하여 필터링을 수행하는 인 루프 필터부를 포함하는 영상 부호화 장치.
  16. 제15 항에 있어서,
    상기 인 루프 필터부는,
    상기 디블록킹 필터링된 영상의 블록 경계에 적용될 제1 인 루프 필터에 대한 필터 계수와 상기 디블록킹 필터링된 영상의 블록 내부에 적용될 제2 인 루프 필터의 계수를 서로 상이하게 설정함을 특징으로 하는 영상 부호화 장치.
  17. 제15 항에 있어서,
    상기 인 루프 필터부는,
    상기 디블록킹 필터링된 영상의 블록 크기가 가변적일 경우, 상기 디블록킹 필터링된 영상의 블록 경계 폭은 가변 적임 음을 특징으로 하는 영상 부호화 장치.
  18. 제16 항에 있어서,
    상기 제1 및 제2 인 루프 필터는 1차원 필터(1 Dimension filter) 또는 2차원 필터(2 Dimension filter) 중 하나를 사용함을 특징으로 하는 영상 부호화 장치.
  19. 제16 항에 있어서,
    상기 제1 및 제2 인 루프 필터가 2차원 필터일 경우에는,
    상기 제1 및 제2 인 필터의 형상(shape)은 사각형, 마름모형, 타원형, 삼각형 중 하나임을 특징으로 하는 영상 부호화 장치.
  20. 영상 슬라이스의 영상 블록의 인 루프 필터링을 수행하기 위한 인 루프 필터들을 생성하기 위한 방법에 있어서,
    상기 영상 블록의 블록 경계에 대한 제1 필터 계수를 사용하는 제1 인 루프 필터를 생성하는 과정과,
    상기 영상 블록의 블록 내부에 대한 제2 필터 계수를 사용하는 제2 인 루프 필터를 생성하는 과정을 포함하는 인 루프 필터 생성 방법.
  21. 컴퓨터 기록 매체에 있어서,
    상기 청구항 20항의 방법을 수행하기 위한 컴퓨터에 의해 수행될 수 있는 프로그램을 저장하고 있는 컴퓨터가 읽기 가능한 기록 매체.
  22. 영상의 영상 블록을 인 루프 필터링을 수행하기 위한 방법에 있어서,
    상기 영상 블록의 내부 또는 상기 영상 블록의 경계에 상기 인 루프 필터링이 적용될지 여부를 결정하는 과정과,
    상기 경계 또는 내부에 적용될 상기 인 루프 필터링이 결정되었는지 여부에 따라 최적의 인 루프 필터를 선택하고, 상기 선택된 최적의 필터를 사용하여 상기 인 루프 필터링을 수행하는 과정을 포함하는 인 루프 필터링 방법.
  23. 제22항에 있어서,
    상기 최적 필터를 선택하는 과정은,
    상기 인 루프 필터링이 상기 경계에 적용될 때 제1 인 루프 필터를 선택하고, 상기 내부에 적용될 때 제2 인 루프 필터를 선택하는 과정과,
    상기 선택된 인 루프 필터와 저장된 이전 필터로부터 최적의 필터를 선택하는 과정을 포함하는 인 루프 필터링 방법.
  24. 컴퓨터 기록 매체에 있어서,
    상기 청구항 22항의 방법을 수행하기 위한 컴퓨터에 의해 수행될 수 있는 프로그램을 저장하고 있는 컴퓨터가 읽기 가능한 기록 매체.
KR1020100063209A 2009-06-30 2010-06-30 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치 KR20110001990A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US22177009P 2009-06-30 2009-06-30
US61/221,770 2009-06-30

Publications (1)

Publication Number Publication Date
KR20110001990A true KR20110001990A (ko) 2011-01-06

Family

ID=43380719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100063209A KR20110001990A (ko) 2009-06-30 2010-06-30 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치

Country Status (2)

Country Link
US (1) US20100329361A1 (ko)
KR (1) KR20110001990A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130078320A (ko) * 2011-12-30 2013-07-10 광주과학기술원 깊이 영상 부호화 방법 및 장치
US9237351B2 (en) 2012-02-21 2016-01-12 Samsung Electronics Co., Ltd. Encoding/decoding apparatus and method for parallel correction of in-loop pixels based on measured complexity, using video parameter
KR20160064419A (ko) * 2014-11-28 2016-06-08 삼성전자주식회사 움직임 보상 정보를 수정하는 데이터 처리 시스템과 데이터 처리 방법
WO2016204372A1 (ko) * 2015-06-18 2016-12-22 엘지전자 주식회사 영상 코딩 시스템에서 필터 뱅크를 이용한 영상 필터링 방법 및 장치
US9894422B2 (en) 2014-02-18 2018-02-13 Lg Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010043806A2 (fr) * 2008-10-14 2010-04-22 France Telecom Codage et decodage avec elimination d'un ou plusieurs predicteurs predetermines
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
US9445129B2 (en) * 2010-04-13 2016-09-13 Sun Patent Trust Image coding method and image decoding method
US20120014441A1 (en) * 2010-07-15 2012-01-19 Sharp Laboratories Of America, Inc. Parallel video coding based on boundaries
US20120019727A1 (en) * 2010-07-21 2012-01-26 Fan Zhai Efficient Motion-Adaptive Noise Reduction Scheme for Video Signals
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9247265B2 (en) * 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US20120082225A1 (en) * 2010-10-01 2012-04-05 Qualcomm Incorporated Selective indication of transform sizes
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
US9462280B2 (en) 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
EP2661879B1 (en) 2011-01-03 2019-07-10 HFI Innovation Inc. Method of filter-unit based in-loop filtering
CN102081795B (zh) * 2011-01-14 2012-05-23 天津大学 基于稀疏表示的自动去块效应方法
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
CN105120271B (zh) * 2011-04-21 2018-05-15 寰发股份有限公司 视频编解码方法与装置
US8908979B2 (en) * 2011-06-16 2014-12-09 Samsung Electronics Co., Ltd. Shape and symmetry design for filters in video/image coding
US20130101027A1 (en) * 2011-06-20 2013-04-25 Matthias Narroschke Deblocking control by individual quantization parameters
US20130163660A1 (en) * 2011-07-01 2013-06-27 Vidyo Inc. Loop Filter Techniques for Cross-Layer prediction
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
JP5649539B2 (ja) * 2011-09-15 2015-01-07 日本放送協会 動画像符号化装置及びそのプログラム
JP5649540B2 (ja) * 2011-09-15 2015-01-07 日本放送協会 動画像符号化装置及びそのプログラム
EP2767089A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTERING
EP2769550A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTRATION
CN103051892B (zh) * 2011-10-14 2015-12-09 联发科技股份有限公司 内嵌式回路滤波方法以及内嵌式回路滤波装置
US8913656B2 (en) * 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
AU2012327672B2 (en) * 2011-10-24 2015-09-03 Hfi Innovation Inc. Method and apparatus for non-cross-tile loop filtering
US20130142251A1 (en) * 2011-12-06 2013-06-06 Sony Corporation Syntax extension of adaptive loop filter in hevc
KR102157481B1 (ko) * 2012-01-19 2020-09-18 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
US9596463B2 (en) * 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
WO2014053519A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US20180048890A1 (en) * 2015-03-02 2018-02-15 Lg Electronics Inc. Method and device for encoding and decoding video signal by using improved prediction filter
US11405611B2 (en) 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
TW201842782A (zh) 2017-04-06 2018-12-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
JP7350082B2 (ja) * 2019-03-07 2023-09-25 オッポ広東移動通信有限公司 ループフィルタリング方法、装置およびコンピュータ記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
US8311091B1 (en) * 2005-06-03 2012-11-13 Visualon, Inc. Cache optimization for video codecs and video filters or color converters
CA2638465A1 (en) * 2007-08-01 2009-02-01 Jean-Yves Chouinard Learning filters for enhancing the quality of block coded still and video images
US8195001B2 (en) * 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130078320A (ko) * 2011-12-30 2013-07-10 광주과학기술원 깊이 영상 부호화 방법 및 장치
US9237351B2 (en) 2012-02-21 2016-01-12 Samsung Electronics Co., Ltd. Encoding/decoding apparatus and method for parallel correction of in-loop pixels based on measured complexity, using video parameter
US9894422B2 (en) 2014-02-18 2018-02-13 Lg Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
KR20160064419A (ko) * 2014-11-28 2016-06-08 삼성전자주식회사 움직임 보상 정보를 수정하는 데이터 처리 시스템과 데이터 처리 방법
WO2016204372A1 (ko) * 2015-06-18 2016-12-22 엘지전자 주식회사 영상 코딩 시스템에서 필터 뱅크를 이용한 영상 필터링 방법 및 장치
US10602140B2 (en) 2015-06-18 2020-03-24 Lg Electronics, Inc. Method and device for filtering image using filter bank in image coding system

Also Published As

Publication number Publication date
US20100329361A1 (en) 2010-12-30

Similar Documents

Publication Publication Date Title
KR20110001990A (ko) 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
KR102398644B1 (ko) 인트라 예측 정보 부호화 방법 및 장치
JP6636573B2 (ja) 映像復号化方法
KR101749269B1 (ko) 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법
JP5801363B2 (ja) 符号化及び復号化のための装置及び方法並びにコンピュータプログラム
KR102287414B1 (ko) 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터
CN106878717B (zh) 推导帧内预测模式的方法和设备
KR101864910B1 (ko) 화소 레벨 적응 인트라-평활화
CN107682698B (zh) 用于编码和解码图像信息的方法、装置以及解码器可读存储介质
JP2020018024A (ja) ビデオ符号化方法、ビデオ復号方法、ビデオエンコーダ、及びビデオデコーダ
TWI647951B (zh) 影像編碼設備
KR102393178B1 (ko) 복원 블록을 생성하는 방법 및 장치
WO2011125729A1 (ja) 画像処理装置と画像処理方法
KR101260157B1 (ko) 인트라코딩된 이미지 또는 프레임에 대한 인루프 디블로킹
KR101907122B1 (ko) 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR101885382B1 (ko) 공간적으로 변하는 잔류물 코딩을 위한 방법 및 장치
KR20130045148A (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
JP2006295913A (ja) 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
KR20120079180A (ko) 동화상 복호화 방법 및 장치
KR20130011878A (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
JP2015164335A (ja) スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
JP7467687B2 (ja) 符号化・復号方法及び装置
KR20140129420A (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid