KR20030014705A - 프레임들의 시퀀스를 인코딩하는 방법 - Google Patents

Abstract

본 발명은 3D 볼륨으로서 고려된 프레임들에 적용된 필터링 단계를 관련시키는 3차원(3D) 서브대역 분해에 의해 프레임들의 시퀀스를 인코딩하기 위한 방법에 관한 것이다. 분해는 커버되지 않은 영역들에 대응하는 2중 접속된 픽셀들을 유도하는 움직임 추정 및 보상 후에 프레임들의 연속적인 그룹들에 적용된다. 최소화 표준은 기준 프레임의 2중 접속된 픽셀의 시간 필터링을 위해 현재 프레임에서 세부 서브대역의 최소 에너지를 유도하는 픽셀을 선택하기 위해 제공된다. 3D 분해의 시간 부분은 상기 방식의 예측 단계에서 기준 프레임에서 인접한 윈도우들로부터 픽셀들의 평균을 이용하는 오버랩된 움직임 보상을 포함하는 리프팅 방식에 기초한 시간 필터링을 포함하는 시간 웨이브렛 변형일 수 있다.

Description

프레임들의 시퀀스를 인코딩하는 방법{Method of encoding a sequence of frames}

멀티미디어 애플리케이션들의 최근의 확장 및 이종의 네트워크들 상에서 압축된 비트스트림들의 전달에 대한 요구는 비디오 코더들을 위한 매우 중요한 특징으로서 확장성을 고려하게 하였다. 3차원(3D) 웨이브렛 분해들은 자연 공간 해상도 및 프레임 레이트 확장성을 제공한다. 예컨대, 1997년 3월 25일부터 27일,U.S.A, Snowbird, Proceedings of Data Compression Conference pp.251-260에서 B. J. Kim과 W. A. Pearlman의 "An embedded wavelet video coder using three-dimensional set partitioning in hierarchical trees(SPIHT)"에 기술된 3D SPIHT 알고리즘과 같은 내장된 코딩 알고리즘들(embedded coding algorithms)은 계층적 트리들에서 계수들의 상세한 스캐닝(in-depth scanning) 및 비트플레인 인코딩(bitplane encoding)을 이용함으로써 원하는 SNR 확장성을 유도한다. 프레임들의 시퀀스에 적용된 포괄적인 코딩/디코딩 방식은 큰 변위들을 고려하기 위해 연속적인 프레임들 사이의 움직임의 방향으로 시간 다중 해상도 분석(temporal multiresolution analysis)을 포함할 수 있고(더 정확하게는, Haar 필터들은 움직임 보상된 프레임들 상에 각각의 해상도 레벨에서 적용되고), 상기 시간 분석은 결과적인 시간 서브 대역들의 공간 다중 해상도 분석이 수반된다. 코딩 방법은 문맥 상의 산수 코더(contextual arithmetic coder)가 수반된 수정된 3D SPIHT 알고리즘이다. 이런 방식으로, 확장성은 시간 및 공간 해상도들뿐만 아니라 품질에서도 달성된다.

그러나, 몇몇 작업들이 확장 가능한 코딩 알고리즘 및 공간 웨이브렛 변형들의 가능한 개선을 제기하였지만, 3D 분해들에 이용된 시간 웨이브렛 변형의 특수성들을 이용하는 방향으로의 노력은 거의 없었다. 시간 웨이브렛 변형은 움직임 추정 단계에 기인하여 고유하게 비선형이다. 예컨대, 1998, Journal of Fourier Analysis applications, vol.4, pp.247-269에서, I. Daubechies와 W.S Weldens의 "Factoring wavelet transforms into lifting steps" 에 기술된 소위 리프팅방식(lifting scheme)은 웨이브렛 변형들을 세우기 위한 탄력적인 프레임 워크(flexible framework)를 제공한다(1차원 신호들을 처리하고, 이미지 코딩 또는 특징 추출을 위한 적합한 분해들을 제공하기 위한 그 중요성은 이미 증명되었다). 이 방식의 이점들은 복잡도("배치(in-place)" 추정)와 부가적인 기능들 양쪽에 대해 존재하고, 모든 선형 웨이브렛 분해는 이 형태로 놓일 수 있을 뿐만 아니라, 그것은 예측-갱신 단계들에서 비선형 연산자들의 도입을 또한 허용한다.

시간 다중 해상도 분석에 관련된 중요한 이슈는 시간 필터 길이의 선택으로, 긴 필터들은 연속적인 프레임들 사이에 존재하는 시간 상호 관계의 더 나은 이점을 취한다. 그러나, 1994년, IEEE Transactions on Image Processing, vol.3, no.5, J.R. Ohm의 "Tree-dimensional subband coding with motion compensation"에서는 상기 긴 필터들이 움직임을 흐리게 하고, 버퍼 메모리 요구들(필터 길이에 대응하는) 및 실시간 애플리케이션들에서 바람직하지 않은 디코더 측의 재구성 지연(reconstruction delay)을 증가시키는 것이 보인다. 더욱이, 코딩 효율은 더 긴 필터들을 갖는 시간 분석을 실행함으로써 현저하게 증가되지 않는다. 그러므로, 하르 필터들(Haar filters)은 시간 필터링에 더 양호하다. 더욱이, 하르 필터들이 시간 분해를 위해 이용될 때, 움직임 추정 및 움직임 보상(ME/MC)은 2개에 의한 시간 다운샘플링(temporal downsampling)에 기인하여 입력 시퀀스의 2개의 프레임들마다 실행된다. 시간 근사 서브 대역들 상에 몇몇 분해 레베들 상에서 이 프로시저를 반복함으로써, ME/MC 연산들의 총 수는 예측 방식과 대충 동일하다.

그런, 움직임 보상된 시간 필터링은 2중 접속 및 비접속된 픽셀들, 즉 2번필터링된 또는 전혀 필터링되지 않는 픽셀들의 문제를 일으킨다. 1999년 2월, IEEE Trans. on Image Processing, vol.8, no. 2. pp. 155-164, S. J. Choi와 J.W. Woods의 "Motion-compensated 3D subband coding of video"에 제안된 해법은 현재 프레임의 픽셀과 동일한 위치에서 고역 통과 계수(high-pass coefficient)를 계산하고, 움직임 보상된 기준 프레임의 같은 장소에 배치된 픽셀을 저역 통과 계수(low-pass coefficient)로서 취할 수 있다. 다중 접속된 픽셀들의 경우에, 위에서 아래로 현재 프레임을 스캐닝하고, 그것에 포인팅하는 현재 프레임의 제 1 픽셀을 저역 통과 계수의 계산을 위해 고려하는 것은 가능하다.

주어진 해상도 레벨에서, 하나는 시간 고주파수 서브대역의 픽셀들을 H[m.n]으로, 저주파수 서브대역의 픽셀들을 L[m,n]로, 픽셀(m,n)과 연관된 움직임 벡터의 2개의 성분들을 (u_m,n,v_m,n)로 표시할 수 있다. 분수의 펠 움직임 추정(fractional pel motion estimation)이 허용되면, 움직임 벡터의 정수 부분은에 의해 표시될 것이다. 그러므로, Choi의 방법에서, 접속된 픽셀들을 위한 고역 및 저역 통과 서브대역들을 계산하는 것을 허용하는 방정식들은 다음과 같다.

여기서,은 필드 X의 보간된 값을 위한 것이다. 비접속된 픽셀들에 대해, 고주파수 성분은 앞서와 같이 얻어지고, 저주파수 값들은 기준 픽셀들의 단순히 스케일링된 값들이다.

하르 벼형을 위한 리프팅 방식의 특정 경우로서, 다음과 같은 움직임 방향으로 시간의 저역 통과 필터링을 기록하는 것은 가능하다.

(1)과 함께 고려된 이 방정식은 시간 하르 리프팅에 이용된 비선형 연산자들 P(예측) 및 U(갱신)의 형태로 추론하는 것을 허용한다. 분수의 펠 움직임 추정의 경우에, P가 보간(I)이 수반된 움직임 보상 연산자(C)임을 알 수 있다. 한편, U는, 보간이 수반된 반대 부호를 갖는, P에서와 동일한 움직임 벡터들을 이용하는 움직임 보상 연산자로 식별될 수 있다. 결국, 이들 연산들인 다음과 같이 표시될 것이다.

및 (p,q)에 의한 위치

이들 표시들로, 접속된 픽셀들의 시간 분석은 다음과 같이 기록될 수 있다.

반면, 합성 부분에 대해,

접속된 픽셀들(기준 프레임의 비접속된 픽셀들은 상기 식(3)으로부터 직접 얻어진다)에 대해,

본 발명은 일반적으로 비디오 압축에 관한 것으로, 특히, 3D 볼륨으로서 고려되는 프레임들의 시퀀스에 대응하는 3D 공간-시간 데이터(spatio-temporal data)에 적용된 공간 및 시간 필터링 단계에 관련시키는 3차원(3D) 서브대역 분해(subband decomposition)에 의해 프레임들의 시퀀스를 인코딩하기 위한 방법으로서, 상기 분해는 시간 분해(temporal decomposition)의 각각의 레벨에서 저주파수 시간 서브대역들에서 블록-기반 움직임 추정 및 보상 연산들의, 각각의 그룹의 프레임들 상의 구현 후에만 프레임들의 연속적인 그룹들에 적용되고, 이 보상 연산은, 필터링된 픽셀들 중에서, 움직임동안 커버되지 않은 기준 프레임의 영역들에 현재 프레임에서 대응하는 2중-접속된 픽셀들을 유도하는, 상기 인코딩 방법에 관한 것이다.

그러므로, 본 발명의 목적은 커버되지 않은 존들(zones)의 처리를 개선하기 위해 갱신 연산자를 수정하도록 그런 리프팅 공식을 이용하는 것이다.

이를 위해, 본 발명은, 상세한 설명의 도입부에 한정한 것과 같은 인코딩 방법에 관한 것으로, 2중 접속된 픽셀들의 상기 식별 단계는 최소화 표준에 기초한 결정 단계가 수반되고, 기준 프레임의 2중 접속된 픽셀의 시간 필터링에 대해 현재 프레임에서 세부 서브대역의 최소 에너지를 유도하는 픽셀을 선택하는 것이 제공되고, 고려된 에너지는 고주파수 시간 서브대역에서 상기 2중 접속된 픽셀 주위의 평균 에너지이며, 상기 평균 에너지는 저역 통과 필터링 연산에 의해 계산되는 것을 특징으로 하는, 상기 인코딩 방법에 관한 것이다.

제안된 기술적 해법은 기준 프레임 A의 주어진 위치의 픽셀을 세부 서브대역의 에너지를 최소화함으로써 얻어지는 현재 프레임 B의 가장 가까운 값으로 연관시키는 것이다.

특히 이로운 실시예에서, 상기 최소화 표준은 에너지 표준에, 후보 접속된픽셀들(candidate connected pixels)과 연관된 움직임 벡터들의 노름(norm)의 최소화를 수행하는 두번째 것을 결합하기 위해 제공된다.

그런 경우에, 움직임 벡터들의 노름에 기초한 상기 최소화 표준은 너무 큰 움직임 벡터들을 최적화하는 것을 고려하지 않기 위해 상기 노름의 값들에 적용된 문턱값을 이용할 수 있다.

본 발명의 다른 목적은, 블록-기반 움직임 보상에 관련된 블록킹 아티팩트들(blocking artefacts)을 줄이기 이해 갱신 연산자를 수정하도록 리프팅 공식을 이용하는 것이다.

이를 위해, 본 발명은, 앞에서 규정된 것과 같은 인코딩 방법으로서, 상기 3D 분해의 시간 부분은 각각의 분해 레벨에서 스플리팅 단계(splitting step), 예측 단계 및 갱신 단계를 연속적으로 포함하는 소위 리프팅 방식에 기초한 시간 필터링을 포함하는 시간 웨이브렛 변형이며, 상기 방법은, 상기 시간 필터링이 예측 단계에서 상기 블록-기반 움직임 추정에 의해 유도된 블록킹 아티팩트들을 줄이기 위해, 기준 프레임에서 인접한 윈도우들(windows)로부터 픽셀들의 평균을 이용하는 오버랩된 움직임 보상(overlapped motion compensation)을 포함하는 것을 특징으로 하는, 상기 인코딩 방법에 관한 것이다.

비접속 및 2중 접속된 픽셀들의 문제는 움직이는 객체들에 의해 커버되지 않는 영역들의 그것에 밀접하게 관련된다. 실제로, 시간 T에서 프레임의 공통 부분에 대응하고, 시간 T+△T에서 분리되는 2개의 객체들을 고려한다. 이 경우에, 현재 프레임의 2개의 영역들은 기준(또는 이전) 프레임의 동일한 영역에 대한 움직임 보상(motion compensation)만큼 대응할 것이다. 객체들 중 하나에 대해, 이 영역은 커버되지 않은 영역이 될 것이다. 이 영역은 기준 프레임에 2중 접속된 것으로 나타날 것이다. 이들 2중 접속된 픽셀들에 연관하는, 이미 인용된 문헌 "비디오의 움직임-보상된 3D 서브대역 코딩"에 기술된 접근에 관해서는, 리프팅 방식(lifting scheme)에 기초하여 몇몇 표준들(criteria)을 적용함으로써 이 선택을 최적화하는 것이 제안된다. 여기에 이용된 메인 구조 특성(main structural property)은 갱신 단계(일시적인 저주파수 서브대역의 계산)에 대해 예측 단계(고주파수 서브대역)로부터 이용 가능한 모든 정보 및 저주파수 서브 대역에서의 캐주얼 정보(casual information)를 이용하는 것이 가능하다는 것이다.

제 1 제안된 표준에 대응하는 기본 아이디어는 2개의 움직이는 객체들의 세부 서브대역의 에너지에 관련된다. 제 1 객체가 시간 T에서 전경 상에 있다면, 제 2 객체의 커버되지 않은 영역은 세부 계수들(detail coefficients)의 더 높은 에너지로 오르게 될 것이다. 제 2 표준은 움직임 필드의 조정(regularization)의 조건이다. 몇 가지 픽셀들이 기준 프레임에서 동일한 픽셀에 접속되면, 가장 작은 변위(displacement)를 갖는 것은 필터링을 위해 선택될 것이다.

이들 아이디어들은 위의 비선형 리프팅 프레임 워크 내에 형식화될 수 있다. 기준 프레임의 다중-접속된 픽셀들의 경우에, 하나가 위치(p, q)에서 그것들 중 하나를 고려하고, 2개의 픽셀들이 2개의 대응하는 움직임 벡터들(u_m1,n1,v_m1,n1) 및(u_m2,n2,v_m2,n2)을 갖는 현재 프레임의 위치들(m₁, n₁) 및 (m₂, n₂)에서 움직임 추정 알고리즘에 의해 발견되면, 하나는,

을 갖는다.

이 관찰을 이용하여, 방정식들(5) 및 (6)은 세부 서브대역에서 2개의 상이한 값들 H[m₁,n₁] 및 H[m₂,n₂]를 산출하는 2개의 픽셀들(m₁,n₁) 및 (m₂,n₂)의 각각에 대해 기록될 수 있다. 따라서, 근사 서브대역의 값은 이들 2개의 값들(양쪽의 값들이 완벽한 재구성을 허용하는 것을 주목한다) 중 어느 하나를 이용하여 계산될 수 있다. 실제로, 기준 프레임의 픽셀(p,q)에 접속된 현재 프레임의 모든 픽셀들(m,n)의 세트를 지정하는 P_(p,q)는 완벽한 재구성 특성이 다음과 같은 어떤 연산자 f에 대해 보증되는 것을 감지할 수 있다.

연산자 f의 선택을 위한 하나의 표준은 프레임 B에서의 "가장 가까운" 값에 A[p,q]를 연관하기 위해 세부 서브대역의 에너지를 최소화하는 것이다. 이는 다음과 같은 픽셀(m₀,n₀)을 저역 통과 필터링하기 위해 이용하는 것을 의미한다.

Choi의 알고리즘에 대해, 제안된 알고리즘에서 분류 맵(classificationmap)(픽셀들이 접속되고 그렇지 않은 것을 말하는)을 디코더에 전송하는 것은 필요하지 않다. 디코더가 인코더의 그것에 대한 대칭 프로시저의 다음에 오기 때문에, 고주파수 계수들의 에너지 상에서 이루어진 결정들(decisions)로부터 오는 동일한 분류 맵이 이상적으로 존재할 것이다.

그럼에도 불구하고, 단일 픽셀의 값에 기초한 결정은 충분히 확고하지 않다. 특히, 이전 예에서, 고주파수 서브대역의 2개의 값들은, SPIHT 알고리즘에 이용된 진보적인 양자화 전략에 기인하여 동일한 양자화 단계들로 양자화되지 않을 수 잇다. 따라서, 이는 잘못된 결정을 유도할 수 있다. 위의 결정은 고려된 픽셀 주변의 DFD(displaced frame difference)의 평균 에너지를 비교함으로써 모다 확고하게 이루어질 수 있다.

여기서, S(p,q)는 픽셀(p,q) 주위의 이웃이고, u(k,l)는 중앙 포인트에 대한 그 거리에 의존하여 이웃 S(p,q)의 각각의 픽셀에 대한 가중 인자에 대응한다. 예컨대, 하나는 u(k,l) = α^(|k|+|l|)을 선택할 수 있고, 여기서, α> 0은 망각 인자(forgetting factor)이다.

최소화 표준의 제 2 항은 움직임 벡터의 노름(norm)이고,. 조정된 표준은으로서 표현될 수 있고, λ는 조정 파라미터이다. 움직임 벡터가 너무 크면, 그 값은 전혀 신뢰할 수 없고, 따라서, 최적화를 위해 고려될 수 없다. 이는 다음의 표준을 산출한다.

여기서, s는 실험적으로 결정되는 문턱값이다. 그러므로, 페널티(penalty)는 상기 문턱값보다 더 큰 움직임 벡터들로 주어진다.

그러나, 블록-기반 움직임 추정 알고리즘은 블록킹 아티팩트들(blocking artefacts)에 의해 애를 먹는다. 결과적인 움직임-보상 프레임들에 적용되는 공간 변형(spatial transform)이 웨이브렛 분석(wavelet analysis)이면, 이 아티팩트들은 원치 않는 큰 웨이브렛 계수들을 유도하고, 따라서, 코딩 효율의 감소를 유도한다. 이전의 비선형 리프팅 공식으로부터 추론될 수 있는 개선은 블록킹 아티팩트들을 줄이기 위해 시간 필터링 알고리즘 내에 오버랩된 움직임 보상을 야기하는 가능성에 관한 것이다. 이 연산은 예측 단계에서 기준 프레임에서 인접 윈도우들로부터 픽셀들의 평균을 관련시킨다.

예컨대, 하나의 픽셀의 오버랩을 고려하면, 블록의 제 1(각각, 최종) 로우에 속하는 픽셀들의 고역 통과 필터링은 이 경우에 다음과 같이 판독된다.

여기서, β는 상수이고, 0 < β< 1이다.

유사한 처리는 다음 방정식들에 따라 각각의 블록의 제 1(각각, 최종) 칼럼에 적용된다.

상수 β는 실험적으로 결정된다. 현재의 경우에, 상수 β=0.2는 최상의 결과들을 유도하였다.

Claims (4)

1. 3차원 (3D) 볼륨으로서 고려된 프레임들의 시퀀스에 대응하는 3D 공간-시간 데이터에 적용된 공간 및 시간 필터링 단계를 관련시키는 3D 서브 대역 분해에 의해 상기 프레임들의 시퀀스를 인코딩하기 위한 방법으로서,

   상기 분해는, 상기 시간 분해의 각각의 레벨에서 저주파수 시간 서브대역들에서의 블록-기반 움직임 추정 및 보상 연산들의, 각각의 그룹의 프레임들 상의 구현 후에만, 프레임들의 연속적인 그룹들에 적용되고,

   이 보상 연산은, 상기 필터링된 픽셀들 중에서, 움직임 동안 커버되지 않은 기준 프레임의 영역들에 현재 프레임에서 대응하는 2중 접속된 픽셀들을 유도하는, 상기 프레임들의 시퀀스 인코딩 방법에 있어서,

   2중 접속된 픽셀들의 상기 식별 단계가 최소화 표준에 기초한 결정 단계가 수반되고, 상기 현재 프레임에서 상기 기준 프레임의 2중 접속된 픽셀의 상기 시간 필터링을 위해, 세부 서브대역의 최소 에너지를 유도하는 픽셀을 선택하기 위해 제공되며,

   상기 고려된 에너지는 고주파수 시간 서브대역에서 상기 2중 접속된 픽셀 주위의 평균 에너지이며,

   상기 평균 에너지는 저역 통과 필터링 연산에 의해 계산되는 것을 특징으로 하는, 프레임들의 시퀀스 인코딩 방법.
2. 제 1 항에 있어서,

   상기 최소화 표준은 상기 에너지 표준에, 후보 접속된 픽셀들과 연관된 움직임 벡터들의 노름(norm)의 최소화를 수행하는 두번째 것을 결합하기 위해 제공되는 것을 특징으로 하는, 프레임들의 시퀀스 인코딩 방법.
3. 제 2 항에 있어서,

   상기 움직임 벡터들의 노름에 기초한 상기 최소화 표준은, 너무 큰 움직임 벡터들을 최적화하는 것을 고려하지 않기 위해, 상기 노름의 값들에 적용된 문턱값을 이용하는, 프레임들의 시퀀스 인코딩 방법.
4. 제 1 항에 있어서,

   상기 3D 분해의 시간 부분은, 각각의 분해 레벨에서 스플리팅 단계, 예측 단계와 갱신 단계를 연속적으로 포함하는 소위 리프팅 방식에 기초한 시간 필터링을 포함하는 시간 웨이브렛 변형이고,

   상기 방법은, 상기 시간 필터링이 상기 블록-기반 움직임 추정에 의해 야기된 상기 블록킹 아티팩트들을 줄이기 위해, 상기 예측 단계에서 상기 기준 프레임에서 인접한 윈도우들로부터 픽셀들의 평균을 이용하는 오버랩된 움직임 보상을 포함하는 것을 특징으로 하는, 프레임들의 시퀀스 인코딩 방법.