KR20100136907A - 비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치 - Google Patents

비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치 Download PDF

Info

Publication number
KR20100136907A
KR20100136907A KR1020100033226A KR20100033226A KR20100136907A KR 20100136907 A KR20100136907 A KR 20100136907A KR 1020100033226 A KR1020100033226 A KR 1020100033226A KR 20100033226 A KR20100033226 A KR 20100033226A KR 20100136907 A KR20100136907 A KR 20100136907A
Authority
KR
South Korea
Prior art keywords
adaptive
encoding mode
loop filtering
encoding
image
Prior art date
Application number
KR1020100033226A
Other languages
English (en)
Inventor
정세윤
최해철
임성창
김종호
이하현
조숙희
최진수
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20100136907A publication Critical patent/KR20100136907A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 부호화 및 복호화를 위한 적응적 인루프 필터링 방법과 그 장치에 관한 것이다.
본 발명의 일 실시 예에 따른 적응적 인루프 필터링 방법은, 블록 왜곡이 제거된 복원 영상의 k(k=1,2,3…,n)번째 화소가 기 설정된 부호화 모드에 해당하는지를 판단하는 부호화 모드 판단 단계와, 상기 k번째 화소가 기 설정된 부호화 모드에 해당하는 경우에만, 상기 k번째 화소에 대응하는 필터 계수를 계산하는 단계 및 계산된 필터 계수를 이용하여 상기 블록 왜곡이 제거된 복원 영상에 대한 필터링 연산을 수행함으로써, 적응적 인루프 필터링된 복원 영상을 생성하는 단계를 포함한다.

Description

비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치{Method and apparatus of adaptive in-loop filtering to compensate encoding mode for video encoding and decoding}
본 발명의 실시 예들은 비디오 부호화 및 복호화를 위한 적응적 인루프 필터링 방법과 그 장치에 관한 것으로서, 비디오 부호화 압축 성능을 개선시키기 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-01, 과제명: 차세대DTV핵심기술개발-무안경개인형3D방송기술개발].
최근, 비디오 부호화 표준화 과정에서, 적응적 인루프 필터링(Adaptive in-loop filtering) 기법이 제안되고 있다. 적응적 인루프 필터링 기법은 부호화기에서, 복원 영상(reconstructed image)에 위너 필터(Wiener filter)를 적용함으로써 원본 영상과 필터링된 복원 영상과의 오차를 줄이고, 부호화 성능을 높인다. 이때, 적응적 인루프 필터링 기법은 복원 영상을 복호화된 영상 버퍼(Decoded picture buffer, DPB)에 저장하기 전에 위너 필터에 기초하여 인루프 필터를 설계하고, 복원 영상에 필터를 적용한다. 또한, 적응적 인루프 필터링 기법은 복원 영상의 필터링에 사용된 필터 계수 정보를 비트 스트림에 포함시켜 부호화함으로써, 복호기에서도 동일한 필터를 사용할 수 있도록 한다.
적응적 인루프 필터링 기법에 있어서, 주요 쟁점은 "필터 계수 정보를 어떻게 잘 부호화 할 것인지?"와 "필터를 어떻게 설계 할 것인가?"이다.
도 1은 종래의 적응적 인루프 필터링을 이용한 비디오 부호화 장치의 구성을 나타낸다.
도 1을 참조하면, 비디오 부호화 장치(100)는 영상 예측부(110), 차분신호 생성부(120), 변환 및 양자화부(130), 엔트로피 인코딩부(140), 역양자화부(150), 역 변환부(160), 복원영상 생성부(170), 디블로킹 필터부(180) 및 적응적 인루프 필터부(190)을 포함한다.
영상 예측부(110)는, 참조 프레임을 이용하여 현재 부호화 대상이 되는 원본 영상(101)에 대한 예측 영상을 생성한다. 이때, 참조 프레임은 적응적 인루프 필터부(190)로부터 출력되는 적응적 인루프 필터링된 영상을 의미한다.
영상 예측부(110)는, 도 1에 도시된 바와 같이, 움직임 추정부(111), 인트라 예측부(113), 움직임 보상부(115), 인트라 보간부(117)를 포함하여 구성될 수 있다. 움직임 추정부(111)는 참조 프레임으로부터 원본 영상(101)의 움직임을 예측하고, 움직임 보상부(115)는 참조 프레임의 움직임을 보상한다. 인트라 예측부(113)는, 예측 영상을 인트라 모드로 생성하는 경우에 인트라 예측을 수행하고, 인트라 보간부(117)는 인트라 예측에 의하여 복원 영상으로부터 예측 영상을 생성한다.
차분신호 생성부(120)는, 원본 영상(101)에서 영상 예측부(110)에 의하여 생성된 예측 영상을 감산하여 차분신호를 생성한다. 즉, 원본 영상(101)에서 하나의 영상 블록을 부호화 하는 경우, 영상 예측부(110)는 부호화 대상이 되는 영상 블록에 대한 예측 영상 블록을 생성하고, 차분신호 생성부(120)는 부호화 대상이 되는 영상 블록에 대한 차분신호를 생성할 수 있다.
변환 및 양자화부(130)는, 이산여현변환을 수행함으로써, 입력 데이터를 변환하고, 변환된 데이터를 양자화한다.
엔트로피 인코딩부(140)는, 변환 및 양자화부(130)에 의해 생성된 양자화 계수와, 움직임 벡터 등을 엔트로피 부호화 함으로써, 부호화 스트림을 생성한다.
역양자화부(150)는, 변환 및 양자화부(130)로부터 출력되는 신호에 대해 역양자화를 수행한다.
역 변환부(160)는, 역양자화부(150)로부터 출력되는 신호에 대해 역이산여여현변환을 수행한다.
복원영상 생성부(170)는, 역 변환부(160)로부터 출력되는 신호와 예측 영상을 이용하여 원본 영상에 대한 복원영상을 생성한다.
디블로킹 필터부(180)는 복원 영상에 디블로킹 필터링을 수행함으로써, 블록 왜곡이 제거된 복원 영상을 생성한다.
적응적 인루프 필터부(190)는, 블록 왜곡이 제거된 복원 영상에 위너 필터(Wiener filter)를 적용함으로써 원본 영상(101)과 블록 왜곡이 제거된 복원 영상과의 오차를 줄인다.
도 2는 종래의 적응적 인루프 필터링을 이용한 비디오 복호화 장치의 구성을 나타낸다.
도 2를 참조하면, 비디오 복호화 장치(200)는, 예측영상 생성부(210), 엔트로피 디코딩부(240), 역변환부(260), 디블로킹 필터부(280) 및 적응적 인루프 필터부(290)을 포함한다.
엔트로피 디코딩부(240)는 입력 비트열(201)에 대해 엔트로피 디코딩을 수행한다. 이때, 엔트로피 디코딩부(240)는 엔트로피 디코딩된 입력비트열(201)로부터 양자화 계수와 움직임 벡터를 추출할 수 있다.
도 2에서, 예측영상 생성부(210), 역변환부(260), 디블로킹 필터부(280) 및 적응적 인루프 필터부(290)의 기능 및 동작은 각각 도 1의 예측영상 생성부(110), 역변환부(160), 디블로킹 필터부(180) 및 적응적 인루프 필터부(190)와 유사하기 때문에, 상세한 설명을 생략한다.
종래의 적응적 인루프 필터링 기법은 적응적 인루프 필터를 설계할 때, 필터가 적용될 영역의 부호화 모드를 고려하지 않는다. 즉, 종래의 적응적 인루프 필터링 기법은 프레임 또는 블록들에 대해 통계적인 데이터에 기반하여, 필터를 설계한다. 또한, 종래의 적응적 인루프 필터링 기법은 프레임 또는 슬라이스(slice) 단위로 필터 계수를 계산한다.
따라서, 필터가 적용될 영역의 부호화 모드를 고려함으로써 부호화 성능을 개선하고, 부호화 모드 고려에 따른 오버헤드(overhead)를 최소화하는 방안이 요구된다.
본 발명의 실시 예들은 비디오 부호화 및 복호화 시, 부호화 효율을 높일 수 있는 새로운 적응적 인루프 필터링 방법 및 장치를 제공하고자 한다.
또한, 본 발명의 실시 예들은 필터가 적용될 영역의 부호화 모드를 고려함으로써 부호화 성능을 개선하고, 부호화 모드 고려에 따른 오버헤드(overhead)를 최소화하는 적응적 인루프 필터링 방법 및 장치를 제공하고자 한다.
본 발명의 일 실시 예에 따른 적응적 인루프 필터링 방법은, 블록 왜곡이 제거된 복원 영상의 k(k=1,2,3…,n)번째 화소가 기 설정된 부호화 모드에 해당하는지를 판단하는 부호화 모드 판단 단계와, 상기 k번째 화소가 기 설정된 부호화 모드에 해당하는 경우에만, 상기 k번째 화소에 대응하는 필터 계수를 계산하는 단계 및 계산된 필터 계수를 이용하여 상기 블록 왜곡이 제거된 복원 영상에 대한 필터링 연산을 수행함으로써, 적응적 인루프 필터링된 복원 영상을 생성하는 단계를 포함한다.
이때, 상기 기 설정된 부호화 모드는 SKIP 모드 또는 DIRECT 모드일 수 있다.
이때, 상기 k번째 화소가 기 설정된 부호화 모드에 해당하는 경우에만, 상기 k번째 화소에 대응하는 필터 계수를 계산하는 단계는, 상기 k번째 화소가 기 설정된 부호화 모드에 해당하면, 상기 k번째 화소에 대응하는 자기 상관 계수 행렬 및 상기 k번째 화소에 대응하는 상호 상관 벡터를 업데이트하는 단계와, 상기 k번째 화소가 기 설정된 부호화 모드에 해당하지 않으면, 상기 블록 왜곡이 제거된 복원 영상의 k+1번째 화소에 대하여 상기 부호화 모드 판단 단계를 적용하는 단계 및 상기 블록 왜곡이 제거된 복원 영상의 모든 화소에 대하여 상기 부호화 모드 판단 단계가 적용된 경우에, 업데이트된 자기 상관 계수 행렬 및 업데이트된 상호 상관 벡터를 이용하여 상기 필터 계수를 계산하는 단계를 포함할 수 있다.
이때, 본 발명의 일 실시 예에 따른 적응적 인루프 필터링 방법은, 상기 기 설정된 부호화 모드에 해당하지 않는 화소들에 대한 필터링 계수를 계산하는 단계 및 상기 기 설정된 부호화 모드에 해당하지 않는 화소들에 대한 필터링 계수를 이용하여, 상기 블록 왜곡이 제거된 복원 영상에 대한 필터링 연산을 수행하는 단계를 더 포함할 수 있다.
이때, 본 발명의 일 실시 예에 따른 적응적 인루프 필터링 방법은, 현재 부호화 대상이 되는 원본 영상에 대한 예측 영상을 생성하는 예측 영상 생성부에 상기 적응적 인루프 필터링된 복원 영상을 제공하는 단계를 더 포함할 수 있다.
이때, 본 발명의 일 실시 예에 따른 적응적 인루프 필터링 방법은, 현재 복호화 대상이 되는 입력 비트열에 대한 예측 영상을 생성하는 예측 영상 생성부에 상기 적응적 인루프 필터링된 복원 영상을 제공하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 적응적 인루프 필터링 장치는, 블록 왜곡이 제거된 복원 영상의 k(k=1,2,3…,n)번째 화소가 기 설정된 부호화 모드에 해당하는지를 판단하는 부호화 모드 판단부와, 상기 k번째 화소가 기 설정된 부호화 모드에 해당하는 경우에만 상기 k번째 화소에 대응하는 필터 계수를 계산하는 필터 계수 계산부 및 계산된 필터 계수를 이용하여 상기 블록 왜곡이 제거된 복원 영상에 대한 필터링 연산을 수행함으로써, 적응적 인루프 필터링된 복원 영상을 생성하는 적응적 인루프 필터링 수행부를 포함한다.
본 발명의 실시 예들에 따르면, 비디오 부호화 및 복호화 시, 부호화 효율을 높일 수 있다.
또한, 본 발명의 실시 예들에 따르면, 필터가 적용될 영역의 부호화 모드를 고려함으로써 부호화 성능을 개선하고, 부호화 모드 고려에 따른 오버헤드(overhead)를 최소화 할 수 있다.
또한, 본 발명의 실시 예들은, 부호화 모드에서 우수한 성능을 보이는 기 설정된 부호화 모드에 해당하는 영역에만 적응적 인루프 필터링을 적용함으로써, 기 설정된 부호화 모드에 해당하는 영역의 부호화 효율을 더욱 높일 수 있다.
도 1은 종래의 적응적 인루프 필터링을 이용한 비디오 부호화 장치의 구성을 나타낸다.
도 2는 종래의 적응적 인루프 필터링을 이용한 비디오 복호화 장치의 구성을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 적응적 인루프 필터링 장치의 구성을 나타낸다.
도 4는 본 발명의 다른 일 실시 예에 따른 적응적 인루프 필터링 장치의 구성을 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 적응적인 인루프 필터링 방법을 나타낸다.
도 6은 도 5의 부호화 모드 판단 및 필터 계수 계산의 예를 나타내는 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 적응적인 인루프 필터링을 이용한 부호화 장치의 구성을 나타낸다.
도 8은 본 발명의 일 실시 예에 따른 적응적인 인루프 필터링을 이용한 복호화 장치의 구성을 나타낸다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 3은 본 발명의 일 실시 예에 따른 적응적 인루프 필터링 장치의 구성을 나타낸다. 도 3의 적응적 인루프 필터링 장치(300)는 디블로킹 필터링 과정 이후에 적용된다.
도 3을 참조하면, 적응적 인루프 필터링 장치(300)는 부호화 모드 판단부(301), 필터 계수 계산부(303) 및 적응적 인루프 필터링 수행부(305)를 포함한다.
부호화 모드 판단부(301)는, 블록 왜곡이 제거된 복원 영상을 수신한다. 이때, 블록 왜곡은 디블로킹 필터부(미도시 함)에 의하여 제거된다. 부호화 모드 판단부(301)는 블록 왜곡이 제거된 복원 영상의 k(k=1,2,3…,n)번째 화소가 기 설정된 부호화 모드에 해당하는지를 판단한다. 이때, 기 설정된 부호화 모드는 부호화 성능에 영향을 미치는 정도, 발생 빈도, 율-왜곡 비용 등을 고려하여 결정될 수 있다. 예를 들어, 기 설정된 부호화 모드는 SKIP 모드 또는 DIRECT 모드 일 수 있다. H.264/AVC에서 부호화 장치는 SKIP 모드 영역에 대한 매크로 블록 타입(macro block type), 움직임 벡터(motion vector), 양자화된 변환 계수(quantized transformed coefficient) 등을 복호화 장치로 전송하지 않는다. H.264/AVC에서 부호화 장치는 플래그 비트(flag bit)를 이용하여, 해당 블록이 SKIP 모드 인지 아닌지를 복호화 장치에게 알려준다. DIRECT 모드는 전송하거나 저장해야 할 데이터 중 움직임 벡터와 참조 영상 색인(reference picture index)이 제외된 모드이다. DIRECT 모드는 공간적(spatial) DIRECT 모드와 시간적(temporal) DIRECT 모드로 나뉜다. 공간적 DIRECT 모드는 현재 블록 주위에 존재하는 블록들의 움직임 벡터를 이용하여 움직임을 보상한다. 시간적 DIRECT 모드는 참조 영상에 존재하는 움직임 벡터를 영상 순서 번호(Picture order count)를 이용하여 크기조정(scaling)한 후, 계산된 움직임 벡터가 가리키는 블록을 이용하여 움직임을 보상한다.
SKIP 모드는 이전 또는 이후 참조 영상의 대응 영역과 부호화 대상이 되는 영역이 유사한 경우가 많이 발생하는 부호화 모드이다. SKIP 모드는 율-왜곡 비용이 다른 부호화 모드의 율-왜곡 비용 보다 상대적으로 작으며, 최소 1bit의 부호 심볼만을 필요로 하기 때문에, 부호화 성능에 가장 큰 기여를 하는 모드이다. SKIP 모드는 현재 부호화 대상이 되는 블록의 픽셀 값을 참조 프레임의 블록 내의 픽셀 값들로 사용한다. 따라서, 한 프레임 단위로 단일 필터를 구하는 방식은 SKIP 모드 영역에 대해 적합하지 않을 수 있다.
필터 계수 계산부(303)는, 블록 왜곡이 제거된 복원 영상의 k번째 화소가 기 설정된 부호화 모드에 해당하는 경우에만, 상기 k번째 화소에 대응하는 필터 계수를 계산한다. 필터 계수 계산부(303)는, k번째 화소에 대응하는 자기 상관 계수 행렬 및 상호 상관 벡터를 업데이트하고, 블록 왜곡이 제거된 복원 영상의 모든 화소에 대하여 상기 부호화 모드 판단이 적용된 경우에, 업데이트된 자기 상관 계수 행렬 및 업데이트된 상호 상관 벡터를 이용하여 필터 계수를 계산할 수 있다.
여기서, 필터 계수는 적응적 인루프 필터링에 적용되는 필터 계수 이고, 위너-호프 방법(Wiener-Hofp method)을 이용하여 계산할 수 있다. 적응적 인루프 필터링에 사용되는 필터는 원본 영상과 필터링이 적용된 복원 영상 간의 MSE(mean square error) 값을 최소화 하는 위너 필터이다. 이때, MSE는 수학식 1에 의하여 구할 수 있다.
[수학식 1]
Figure pat00001
수학식 1에서, z k 는 위너 필터를 적용한 화소값이고, x k 는 원본 영상의 화소값이다. 수학식 1에 기재된 바와 같이, z k 는 k번째 화소의 주변 화소들 y i 와 각 주변 화소들에 대응하는 필터 계수 c i 의 곱들의 전체 합으로 계산된다. 필터 계수 c i 는 R yy C=R xy 의 형태로 표시되는 수학식 2를 이용하여 계산할 수 있다.
[수학식 2]
Figure pat00002
수학식 2에서, R yy 는 자기상관 행렬(autocorrelation matrix)이고, R xy 는 상호상관 벡터(cross correlation vector)이다. 이때, 상호상관 벡터는 원본 영상과 복원 영상을 이용하여 추정할 수 있고, 자기상관 행렬은 원본 영상으로부터 추정할 수 있다. 또한, 필터 계수 행렬 C는 자기상관 행렬의 역행렬을 수학식 2의 양변에 곱해 줌으로써 구할 수 있다. 한편, 종래의 적응적 인루프 필터링 기법은 수학식 2를 프레임 또는 슬라이스 단위의 영상 전체에 대해 적용하였다. 그러나, 본 발명의 실시 예에 따른 적응적 인루프 필터링은 기 설정된 부호화 모드 영역에 대해서만 수학식 2를 적용한다.
적응적 인루프 필터링 수행부(305)는, 계산된 필터 계수를 이용하여 상기 블록 왜곡이 제거된 복원 영상에 대한 필터링 연산을 수행함으로써, 적응적 인루프 필터링된 복원 영상을 생성한다. 즉, 적응적 인루프 필터링 수행부(305)는, 블록 왜곡이 제거된 복원 영상에 대하여, SKIP 모드 또는 DIRECT 모드 영역에 대해서만 적응적 인루프 필터링된 복원 영상을 생성할 수 있다. 적응적 인루프 필터링된 복원 영상은 예측 영상 생성부(미도시 함)로 제공되어 현재 부호화 대상이 되는 원본 영상에 대한 예측 영상을 생성하는데 이용되거나, 현재 복호화 대상이 되는 입력 비트열에 대한 예측 영상을 생성하는데 이용될 수 있다.
도 4는 본 발명의 다른 일 실시 예에 따른 적응적 인루프 필터링 장치의 구성을 나타낸다. 도 4의 적응적 인루프 필터링 장치(400)는 디블로킹 필터링 과정 이후에 적용된다.
도 4를 참조하면, 적응적 인루프 필터링 장치(400)는 부호화 모드 판단부(401), 필터 계수 계산부(403), 적응적 인루프 필터링 수행부(405) 및 추가적인 적응적 인루프 필터링 수행부(407)를 포함한다.
부호화 모드 판단부(401), 필터 계수 계산부(403), 적응적 인루프 필터링 수행부(405)는 각각 도 3의 부호화 모드 판단부(301), 필터 계수 계산부(303) 및 적응적 인루프 필터링 수행부(305)와 동일한 기능 및 동작을 수행한다.
추가적인 적응적 인루프 필터링 수행부(407)는 기 설정된 부호화 모드 이외의 부호화 모드를 위한 적응적인 인루프 필터링을 수행한다. 즉, 추가적인 적응적 인루프 필터링 수행부(407)는 기 설정된 부호화 모드에 해당하지 않는 화소들에 대한 필터링 계수를 계산하고, 기 설정된 부호화 모드에 해당하지 않는 화소들에 대한 필터링 계수를 이용하여, 상기 블록 왜곡이 제거된 복원 영상에 대한 필터링 연산을 수행할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 적응적인 인루프 필터링 방법을 나타낸다. 도 5의 적응적인 인루프 필터링 방법은 단일 또는 복수의 프로세서로 구성되는 적응적인 인루프 필터링 장치에 의하여 수행될 수 있다.
510단계에서, 적응적인 인루프 필터링 장치는 블록 왜곡이 제거된 복원 영상의 k번째 화소가 기 설정된 부호화 모드에 해당하는지를 판단한다.
520단계에서, 적응적인 인루프 필터링 장치는 k번째 화소가 기 설정된 부호화 모드에 해당하는 경우에만, 상기 k번째 화소에 대응하는 필터 계수를 계산한다.
530단계에서, 적응적인 인루프 필터링 장치는 계산된 필터 계수를 이용하여 블록 왜곡이 제거된 복원 영상에 대한 필터링 연산을 수행함으로써, 적응적 인루프 필터링된 복원 영상을 생성한다.
540단계에서, 적응적인 인루프 필터링 장치는 적응적 인루프 필터링된 복원 영상을 예측 영상 생성부로 제공한다.
도 6은 도 5의 부호화 모드 판단 및 필터 계수 계산의 예를 나타내는 흐름도이다.
도 6을 참조하면, 601단계에서 적응적인 인루프 필터링 장치는 블록 왜곡이 제거된 복원 영상의 k번째 화소가 기 설정된 부호화 모드에 해당하는지를 판단한다.
603단계에서, 적응적인 인루프 필터링 장치는 k번째 화소가 기 설정된 부호화 모드에 해당하면, k번째 화소에 대응하는 자기 상관 계수 행렬 및 상기 k번째 화소에 대응하는 상호 상관 벡터를 업데이트한다. 즉, 적응적인 인루프 필터링 장치는 k번째 화소가 기 설정된 모드에 해당하면, 수학식 2에 기재된 자기 상관 계수 행렬 및 상호 상관 벡터를 업데이트한다. 한편, 적응적인 인루프 필터링 장치는 k번째 화소가 기 설정된 부호화 모드에 해당하지 않으면, k를 k+1로 설정하고, 601단계로 되돌아가, 다음 화소에 대하여 부호화 모드를 판단한다. 즉 블록 왜곡이 제거된 복원 영상의 k+1번째 화소에 대하여 부호화 모드를 판단한다.
605단계에서, 적응적인 인루프 필터링 장치는 블록 왜곡이 제거된 복원 영상의 모든 화소에 대하여 부호화 모드 판단 단계가 적용되었는지를 판단한다.
607단계에서, 적응적인 인루프 필터링 장치는 업데이트된 자기 상관 계수 행렬 및 업데이트된 상호 상관 벡터를 이용하여 필터 계수를 계산한다. 한편, 블록 왜곡이 제거된 복원 영상의 모든 화소에 대하여 부호화 모드 판단 단계가 적용되지 않은 경우에, 적응적인 인루프 필터링 장치는 k를 k+1로 설정하고, 601단계로 되돌아가, 다음 화소에 대하여 부호화 모드를 판단한다. 즉 블록 왜곡이 제거된 복원 영상의 k+1번째 화소에 대하여 부호화 모드를 판단한다.
도 7은 본 발명의 일 실시 예에 따른 적응적인 인루프 필터링을 이용한 부호화 장치의 구성을 나타낸다.
도 7을 참조하면, 적응적인 인루프 필터링을 이용한 부호화 장치(700)는 영상 예측부(710), 차분신호 생성부(720), 변환 및 양자화부(730), 엔트로피 인코딩부(740), 역양자화부(750), 역 변환부(760), 복원영상 생성부(770), 디블로킹 필터부(780) 및 기 설정된 모드를 위한 적응적 인루프 필터부(190)을 포함한다.
이때, 기 설정된 모드는 SKIP 모드 또는 DIRECT 모드 일 수 있다.
영상 예측부(710), 차분신호 생성부(720), 변환 및 양자화부(730), 엔트로피 인코딩부(740), 역양자화부(750), 역 변환부(760), 복원영상 생성부(770) 및 디블로킹 필터부(780)는 각각 도 1의 영상 예측부(110), 차분신호 생성부(120), 변환 및 양자화부(130), 엔트로피 인코딩부(140), 역양자화부(150), 역 변환부(160), 복원영상 생성부(170), 디블로킹 필터부(180)와 동일한 기능 및 동작을 수행할 수 있다.
기 설정된 모드를 위한 적응적 인루프 필터부(790)는 도 3 또는 도 4에 도시된 적응적 인루프 필터링 장치로 구성될 수 있다. 따라서, 기 설정된 모드를 위한 적응적 인루프 필터부(790)는 적응적 인루프 필터링된 복원 영상을 예측 영상 생성부(710)로 제공한다. 이때, 예측 영상 생성부(710)는 적응적 인루프 필터링된 복원 영상을 이용하여 현재 부호화 대상이 되는 원본 영상(701)에 대한 예측 영상을 생성할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 적응적인 인루프 필터링을 이용한 복호화 장치의 구성을 나타낸다.
도 8을 참조하면, 적응적인 인루프 필터링을 이용한 복호화 장치(800)는, 예측영상 생성부(810), 엔트로피 디코딩부(840), 역변환부(860), 디블로킹 필터부(880) 및 기 설정된 모드를 위한 적응적 인루프 필터부(890)을 포함한다.
이때, 기 설정된 모드는 SKIP 모드 또는 DIRECT 모드 일 수 있다.
예측영상 생성부(810), 엔트로피 디코딩부(840), 역변환부(860) 및 디블로킹 필터부(880)는 각각 도 2의 예측영상 생성부(210), 엔트로피 디코딩부(240), 역변환부(260), 디블로킹 필터부(280) 와 동일한 기능 및 동작을 수행할 수 있다. 따라서, 기 설정된 모드를 위한 적응적 인루프 필터부(890)는 적응적 인루프 필터링된 복원 영상을 예측 영상 생성부(810)로 제공한다. 이때, 예측 영상 생성부(810)는 적응적 인루프 필터링된 복원 영상을 이용하여 현재 복호화 대상이 되는 입력 비트열(801)에 대한 예측 영상을 생성할 수 있다.
한편, 본 발명의 일 실시 예에 따른 적응적인 인루프 필터링을 이용한 부호화/복호화 장치는, 율-왜곡 기반의 부호화 모드 결정 시, SKIP 모드 또는 DIRECT 모드가 더 많이 발생되도록 할 수 있다. 이때, SKIP 모드 또는 DIRECT 모드의 율-왜곡 비용(rate-distortion cost)은 수학식 3과 같이 표시될 수 있다.
[수학식 3]
Figure pat00003
수학식 3에서,
Figure pat00004
는 SKIP 모드 혹은 DIRECT 모드로 선택된 블록 내의 픽셀 값들에 적응적 인루프 필터를 적용할 경우 감소하는 왜곡을 나타낸다. 이때,
Figure pat00005
는 통계치 또는 실험값에 의하여 결정될 수 있다.
Figure pat00006
는 임의의 상수이고, Rate는 부호화에 필요한 정보 크기를 나타낸다.
본 발명의 실시 예들에 따른 방법은 단일 또는 복수의 프로세서에 의하여 수행될 수 있다. 또한, 본 발명의 실시 예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (1)

  1. 블록 왜곡이 제거된 복원 영상의 k(k=1,2,3…,n)번째 화소가 기 설정된 부호화 모드에 해당하는지를 판단하는 부호화 모드 판단 단계;
    상기 k번째 화소가 기 설정된 부호화 모드에 해당하는 경우에만, 상기 k번째 화소에 대응하는 필터 계수를 계산하는 단계; 및
    계산된 필터 계수를 이용하여 상기 블록 왜곡이 제거된 복원 영상에 대한 필터링 연산을 수행함으로써, 적응적 인루프 필터링된 복원 영상을 생성하는 단계를 포함하는 적응적 인루프 필터링 방법.
KR1020100033226A 2009-06-19 2010-04-12 비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치 KR20100136907A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090055033 2009-06-19
KR1020090055033 2009-06-19

Publications (1)

Publication Number Publication Date
KR20100136907A true KR20100136907A (ko) 2010-12-29

Family

ID=43510813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100033226A KR20100136907A (ko) 2009-06-19 2010-04-12 비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치

Country Status (1)

Country Link
KR (1) KR20100136907A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069996A1 (ko) * 2011-11-09 2013-05-16 에스케이텔레콤 주식회사 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR101364085B1 (ko) * 2012-02-28 2014-02-21 전자부품연구원 비디오 압축 시스템의 ｓａｏ 처리 장치 및 그 방법
US9237351B2 (en) 2012-02-21 2016-01-12 Samsung Electronics Co., Ltd. Encoding/decoding apparatus and method for parallel correction of in-loop pixels based on measured complexity, using video parameter

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069996A1 (ko) * 2011-11-09 2013-05-16 에스케이텔레콤 주식회사 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
US9538173B2 (en) 2011-11-09 2017-01-03 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image by using adaptive loop filter on frequency domain using conversion
US9237351B2 (en) 2012-02-21 2016-01-12 Samsung Electronics Co., Ltd. Encoding/decoding apparatus and method for parallel correction of in-loop pixels based on measured complexity, using video parameter
KR101364085B1 (ko) * 2012-02-28 2014-02-21 전자부품연구원 비디오 압축 시스템의 ｓａｏ 처리 장치 및 그 방법

Similar Documents

Publication Publication Date Title
KR101365575B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR100716998B1 (ko) 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
EP2323407A1 (en) Video image encoding method, video image decoding method, video image encoding apparatus, video image decoding apparatus, program and integrated circuit
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
KR20110017302A (ko) 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
JP2011229145A (ja) 符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法、および関連装置
KR20050119422A (ko) 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR20130051029A (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR20120117613A (ko) 동영상 부호화 장치 및 방법
EP2252059B1 (en) Image encoding and decoding method and device
KR20090090152A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20100136907A (ko) 비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치
KR20080084890A (ko) 동영상 부호화 및 재생 방법 및 장치
KR20140022122A (ko) 율―왜곡 최적화를 이용한 비디오 부호화 방법 및 장치
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR101419689B1 (ko) Ｈ.264/ａｖｃ 복호기에서 역양자화 및 역변환을 수행하는 복호화 장치 및 이를 이용한 복호화 방법
KR20210023911A (ko) 인트라 예측 방법 및 장치
KR20120126500A (ko) 분산비디오 코덱 장치 및 이를 이용한 전경 영역 분할 보조정보 생성 방법
KR20190109373A (ko) 영상 부호화/복호화 장치 및 방법
WO2011105230A1 (ja) フィルタ係数符号化装置、フィルタ係数復号装置、動画像符号化装置、動画像復号装置、および、データ構造
KR20060034294A (ko) 엔코딩 방법 및 디바이스

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination