KR100381061B1 - 모션벡터필드코딩 - Google Patents

Abstract

본 발명의 비디오 코덱은 모션벡터 필드에 대한 모션계수들의 수를 최소화하는 모션필드 코더를 포함한다. 상기 코더내에 제1 블록은 모션벡터 필드의 신규 행렬 표현을 형성하는 수단을 포함한다. 신규로 코딩되는 모션벡터 필드는 선형이다. 제2 주블록은 만일 공통 모션필드를 사용하여 결합 세그먼트 영역이 예측될 수 있다면 인접 세그먼트들의 쌍을 머징하는 수단을 포함한다. 머징 정보는 디코더로 전송된다. 제3 주블록은 모션필드 기저함수를 제거하는 수단을 포함한다. 각 제거 단계 이후에는 제곱예측 오차가 계산되고 오차의 변화가 허용될 수 없을때까지 제거동작이 계속된다. 선형 행렬식의 해를 구함으로써 최종 모션계수들이 계산된다. 결과적으로 각 세그먼트에 대하여 저감된 수의 모션계수들이 구해진다. 상기 모션 계수들은 디코더로 전송된다.

Description

모션 벡터 필드 코딩{Motion vector field coding}

모션 보상 예측(motion compensated prediction)은 대다수 비디오 코딩 구성의 핵심적인 구성요소이다. 도 1에는 모션 보상을 사용하여 비디오 시퀀스들을 압축하는 엔코더의 구성을 도시하였다. 상기 엔코더의 필수 구성요소들은 모션보상 예측블록(1), 모션평가기(2), 및 모션필드코더(3)이다. 모션보상 비디오코더들의 동작원리는 코딩된 일명 현재 프레임인 입력 프레임과 예측 프레임사이의 차이인 예측 오차를 압축하는 것이다. 즉, 예측오차는 수학식 1과 같다.

예측 프레임은 모션보상 예측블록(1)으로써 구성되며로 표시되고 기준프레임으로 칭해지는 이전 또는 이미 코딩된 다른 프레임의 픽셀값과, 상기 현재 프레임과 상기 기준 프레임 사이의 픽셀들의 모션벡터들을 사용하여 구축된다. 모션벡터들은 모션필드 평가기(2)에 의하여 계산되고, 다음으로 결과적인 벡터필드는 예측기 블록(1)에 인가되기 전에 어떤 방법으로 코딩된다. 그리하여, 예측 프레임은,

가 된다. 숫자쌍은 현재 프레임내의 위치에 있는 픽셀의 모션벡터라 칭하고, 여기서,와는 이 픽셀의 수평 및 수직 변위값이다. 현재 프레임내에 있는 모든 픽셀들의 모션벡터 집합은 모션벡터필드라 칭한다. 코딩된 모션벡터필드는 역시 모션정보로서 디코더로 전송된다.

도 2의 디코더에서 현재 프레임의 픽셀들은 기준 프레임내에서 픽셀들의 예측들을 찾음으로써 재구성된다. 모션 보상 예측블록(21)은 수신된 모션정보와 기준 프레임(본 도면에서 기준 프레임은 현재 프레임과 동일하다)을 사용하여 예측 프레임을 발생한다. 다음으로 예측 오차 디코더(22)에서는 디코딩된 예측오차가 예측 프레임에 합산되어 그 결과는 원 현재프레임이 된다.

모션 보상(MC: motion compensated) 예측의 개괄적인 목적은 디코더로 전송하는데 필요한 정보의 양을 최소화하는 것이다. 즉,의 에너지와 같은 측정된 예측오차의 양을 최소화하고 모션벡터 필드를 나타내는데 필요한 정보의 양을 최소화하여야 한다.

에이치. 엔구엔(H.Nguen)과, 이. 드브아(E.Dubois)에 의한 자료 ["Representation of motion information for image coding(이미지 코딩을 위한 모션정보의 표현)", 캠브리지(Cambridge), 메사츄세츠(Massachussetts), 1990년 3월 26 ~ 18, 픽쳐 코딩 심포지움(Picture Coding Symposium) '90 회보, pp. 841 ~ 845]에 모션필드 코딩 기법들에 대한 개론이 기술되어 있다. 엄지 법칙(rule of thumb)에 따라 예측오차를 저감시키는데는 그 엔코딩에 보다 많은 비트를 써야 하는 것과 같이 보다 복잡한 모션필드를 요구한다. 따라서, 비디오 엔코딩의 전체적인 목표는 예측오차 측정값을 가능한 낮게 유지하면서 동시에 모션벡터필드를 가능한 콤팩트하게 엔코딩하는 것이다.

도 1의 모션필드 평가블록(1)은 주어진 세그먼트의 모든 픽셀들에 대하여 예를들어 제곱예측오차와 같이 상기 세그먼트내의 예측오차의 어떤 측정값을 최소화시키는 모션벡터들을 계산한다. 모션필드 평가기법들은 모션필드 모델상에서, 또한 선택된 예측오차 측정값을 최소화하는 알고리즘상에서 차이가 있다.

상기 프레임 내에는 픽셀들의 수가 매우 많기 때문에 각 픽셀에 대한 개별적인 모션벡터를 전송하는 것은 효율적이지 않다. 대신에, 대부분의 비디오 코딩 구성에서는 변수들이 거의 없이도 세그먼트에 대한 모든 모션벡터들을 기술할 수 있도록 현재 프레임이 보다 큰 이미지 세그먼트들로 나누어진다. 이미지 세그먼트들은 국제표준 ISO/IEC MPEG-1 또는 ITU-T H.261에 따른 코덱(codec)들에서 사용되는 16×16 픽셀블록들과 같은 제곱블록들(square blocks)일 수 있으며, 또는 이를테면 세그먼트화 알고리즘에 의하여 구해지는 완전히 임의적인 형상의 영역들로 구성될 수도 있다. 실제적으로 세그먼트들은 최소한 수십개 미만의 픽셀들을 포함한다.

세그먼트내에 있는 픽셀들의 모션벡터들을 콤팩트하게 표현하기 위하여 그 값들은 거의 변수들 없는 함수로 기술되는 것이 바람직하다. 그러한 함수는 모션벡터 필드 모델이라 칭한다. 알려진 모델군은 모션벡터들이 모션필드 기저함수들의 선형 조합인 선형 모션 모델들이다. 그러한 모델들에서 이미지 세그먼트들의 모션벡터들은 다음의 일반공식인 수학식 3에 의하여 기술된다.

여기서, 변수들은 모션계수들이라 칭하며 디코더로 전송된다. 함수들은 엔코더 및 디코더 모두에 고정되고 알려진 모션필드 기저함수들이라 칭한다.

상술한 공식을 구비하는 선형 모션 모델을 사용할 때의 문제점은 어떻게 예측오차를 가능한 낮게 유지하면서 동시에 디코더로 전송되는 모션계수들의 수를 최소화하느냐 하는 것이다. 이러한 과정은 엔코더 내의 모션필드 코딩블록(3)에 의하여 수행된다(도 1 참조). 이 과정은 블록(2)에 의하여 수행되는 계산적으로 매우 복잡한 모션필드 평가 이후에 수행된다. 따라서, 모션필드 코딩은 엔코상에 추가적인 부담을 주지 않도록 계산적으로 단순한 것이 매우 중요하다.

디코더로 전송하는데 필요한 모션계수들의 총 수는 이미지 내에 있는 세그먼트들의 수와 세그먼트당 모션계수들의 수에 모두 의존한다. 따라서, 모션계수들의 총 수를 줄이기 위해서는 최소한 두가지 방법이 있다.

첫 번째 방법은 공통 모션벡터 필드에 의하여 예측될 수 있는 세그먼트들을 함께 결합(머징)함에 의하여 예측오차를 크게 증가시키지 않고 그 세그먼트들의 수를 줄이는 것이다. 매우 빈번하게 인접한, 이를테면 이웃한 세그먼트들은 동일 모션집합에 의하여 잘 예측될 수 있기 때문에 프레임 내의 세그먼트들의 수는 저감될 수있다. 그러한 세그먼트들을 결합하는 과정은 모션 지원 머징(motion assisted merging)이라 칭한다.

두 번째 방법은 각 세그먼트에 대하여 가능한 계수들이 없이도 만족할만하게 낮은 예측오차를 얻을 수 있도록 허용하는 모션모델을 선택하는 것이다. 모션의 양과 복잡성은 프레임들 사이, 및 세그먼트들 사이에서 변화하기 때문에 세그먼트당 항상 N + M 모션계수들을 사용하는 것은 효율적이지 않다. 모든 세그먼트에 대하여 만족할만하게 낮은 예측오차를 얻을 수 있도록 허용하는 모션계수들의 최소수가 무엇인지를 찾아낼 필요가 있다. 그러한 적응적 계수선택 과정은 모션계수 제거라 칭한다.

도 3에는 세그먼트들로 나누어진 프레임을 나타내었다. 모션계수 코딩을 위한 종래기술의 기법들은 모션지원 머징(motion assisted merging)을 위한 몇가지 기법들을 포함한다. 모든 세그먼트들에 대하여 모션벡터들이 평가되어진 다음에는 모션지원 머징이 수행된다. 그것은 그들 각각의 모션계수들,과 함께 인접세그먼트들,의 모든 쌍을 고려하여 수행된다. 결합된 세그먼트들,영역은로 표시된다. 만일,의 개별 예측들로부터 유발되는 오차에 걸쳐 예측오차의 과도한 증가를 초래하지 않고 영역을 하나의 모션계수들의 집합에 의하여 예측될 수 있다면,,는 머징된다. 모션지원 머징 방법은 함께 결합되는 세그먼트들의 양호한 예측을 가능하게 하는 단일 모션계수들집합을 구하는 방법상에서 근본적으로 차이가 있다.

첫 번 째 방법은 철저한 모션평가에 의한 머징으로 알려져 있다. 이 방법은 "스크래치(scratch)로부터" 인접 세그먼트들,의 모든 쌍에 대한 모션변수들의 신규집합을 평가한다. 만일에 대한 예측오차가 과도하게 증가되지 않으면 세그먼트들,은 머징된다. 비록 이 방법은 머징될 수 있는 세그먼트들을 잘 선택할 수는 있음에도 불구하고 엔코더의 복잡성을 수 차의 크기들로 증가시키기 때문에 구현하기가 적합하지 않다.

또 다른 방법은 모션필드 확장에 의한 머징으로 알려져 있다. 이 방법은 예측오차를 과도하게 증가시킴이 없이영역이 모션변수들또는을 사용하여 예측될 수 있는지를 테스트한다. 이 방법은 어떤 신규의 모션평가를 요구하지 않기 때문에 계산의 복잡성이 매우 낮음을 특징으로 한다. 하지만, 상기 방법은 한 세그먼트에 대하여 계산된 계수들에 의한 모션보상이 인접 세그먼트들 역시도 거의 예측하지 못하기 때문에 아주 빈번하게 세그먼트들을 머징하지 못한다.

또 다른 방법은 모션필드 피팅(fitting)에 의한 머징으로 알려져 있다. 이 방법에서 모션계수들은 근사화 방법에 의하여 계산된다. 이는 세그먼트들 각각에서 거의 모션벡터들을 평가하지 않고 수행된다. 세그먼트들,내의 몇몇 모션벡터들을 도 3에 도시하였다. 세그먼트에 대한 모션필드는 이러한 벡터들에 걸쳐 몇몇 알려진 피팅방법을 사용하여 공통모션 벡터필드를 피팅함에 의하여 수행된다. 이 방법은 피팅에 의하여 구한 모션필드가 충분히 정밀하지 않고 종종 허용할 수 없는 예측오차의 증가를 유발한다는 단점이 있다.

각기 다른 모델들에 의하여 모션평가를 수행하고 가장 적합한 것을 선택하는 방법은 에이치. 니콜라스(H. Nicolas)와 씨. 래비트(C. Labit)에 의한 자료 ["Region-based motion estimation using determinstic relaxation schemes for image sequnce coding(이미지 시퀀스 코딩을 위한 결정론적 이완 구성을 사용하는 영역 기반 모션 평가)", 음향, 음성 및 신호처리에 관한 국제회의(International Conference on Acoustics, Speech and Signal Processing) 1994년 회보, pp. III265~268]와, 피. 시코니(P. Cicconi)와 에이치. 니콜라스(H. Nicolas)에 의한 자료 ["Efficient region-based motion estimation and symmetry orientedsegmentation for image sequence coding(이미지 시퀀스 코딩을 위한 효율적 영역 기초 모션평가 및 대칭 지향적 세그먼트화)", 비디오 기술의 회로 및 시스템에 관한 IEEE 회보(IEEE Trans. on Circuits and Systems for Video Technology), Vol. 4, No. 3, 1994년 6월, pp 357~364]에서 제안된다. 상기 방법들은 각기 다른 모델들로써 모션평가를 수행하고 가장 적합한 모델을 선택함으로써 모션의 복잡성에 의존하여 모션모델을 적용하는 것을 시도하고 있다. 이러한 방법들의 주요 단점은 계산적 복잡성이 높고 실제 테스트될 수 있는 각기 다른 모션 필드 모델들의 양이 적다는 것이다.

상술한 방법들의 단독적으로는 동시에 예측오차의 측정값을 가능한 낮게 유지하면서 디코더로 발송되는 모션계수들의 수를 최소화하고자하는 문제를 해결할 수 없다.

본 발명은 개괄적으로 비디오 압축에 관한 것으로, 더 상세하게는 평가된 모션필드를 코딩하고 비디오 시퀀스 내에서 모션정보를 생성하는 방법에 관한 것이다.

도 1은 알려진 엔코더의 구성도이다.

도 2는 알려진 디코더의 구성도이다.

도 3은 머징을 위한 인접 세그먼트들을 도시한 도면이다.

도 4는 모션필드 근사화에 의한 머징을 나타낸 도면이다.

도 5는 본 발명에 따른 모션필드 코더를 도시한 도면이다.

도 6은 QR 모션 분석기의 구성도이다.

본 발명의 목적은 예측오차를 크게 증가시키지 않으면서 몇몇 알려진 모션평가기에 의하여 만들어지는 모션필드 벡터정보의 양을 저감시키는 모션필드 코더를 제공하는 것이다. 상기 모션필드 코더는 가용의 신호처리기들 또는 범용 마이크로프로세서들상에서 실제적인 구현을 허용할 수 있도록 복잡성이 낮아야 한다.

본 발명에 따르면 상기 모션필드 코더는 세 개의 주블록들을 포함한다.

첫 번째 블록은 QR 모션분석기라 칭한다. 상기 QR 분석기는 모션필드 평가기에 의하여 만들어진 입력 모션필드의 새로운 표현을 찾는 임무를 수행한다. 상기신규 표현은 제2 주블록에 인가된다. 이 제1 주블록내의 동작들은 행렬 연산들을 구비하는 복수의 단계들을 포함한다. 제1 단계에서는 예측 프레임이 모션 벡터들에 대하여 선형적이도록 몇몇 알려진 근사화 방법을 사용하여 상기 예측 프레임이 선형화된다. 제2 단계에서는 제곱 예측오차를 최소화하도록 행렬과 행렬이 구성된다. 제3 단계에서는 행렬를 2개의 행렬의 곱으로 분해하기 위해 알려진 QR 인수분해 알고리즘이 사용된다. 더욱이, 보조 벡터는 인수 행렬와 행렬로부터 계산된다. 행렬과 보조벡터의 일부는 제2 주블록에 인가된다.

세그먼트 머징 블록으로 불리우는 제2 주블록은 공통 모션필드를 사용하여 그 결합 영역이 예측될 수 있는지의 여부를 찾음으로써 인접한 세그먼트 쌍에 대하여 머징 연산을 수행한다. 상기 행렬연산들에서 행렬식이 우선 형성되고 그 다음에는 알려진 행렬계산 방법들을 사용하여 인수행렬들이 처리된다. 그 결과는 한 행렬이 머징된 세그먼트들의 영역내에서 제곱예측오차를 계산하기에 용이한 것을 기초로 하는 항들을 포함하는 행렬식이 된다. 만일 제곱예측 오차의 변화가 선택된 조건에 대하여 허용가능하면 세그먼트들이 머징된다.

모든 세그먼트들 쌍이 고려되고 나서 상기 세그먼트 머징블록의 출력은,

i) 저감된 세그먼트 수에 의한 새로운 이미지 분할

ii) 각 세그먼트에 대하여 상기 블록은 행렬과 행렬을 출력하고,

iii) 디코더로 발송되는 정보를 머징하고 디코더가 머징된 세그먼트들을 식별하도록 지원한다.

제3 주블록은 계수제거블록이라 칭한다. 상기 블록은 현재 프레임의 세그먼트들로의 신규 분할을 입력으로서 수신하고, 모든 프레임에 대하여 상기 블록은 세그먼트 머징 블록에 의하여 만들어진 행렬들,, 및을 수신한다. 모든 세그먼트의 모션벡터들은 모션계수들의 수로 표현된다. 모션계수 제거블록은 각 세그먼트들에 대하여 예측오차를 과도하게 증가시키지 않고 모션필드 모델을 단순화하는 것이 가능한지를 결정한다. 몇몇 기저함수들은 모션모델로부터 제거되며, 여기서 이러한 단순화된 모션필드 모델을 기술하는데에는 보다 적은 계수들이 요구된다.

상기 제3 주블록에서의 연산은 그 행렬식이 먼저 인수 행렬들의 한 열과 행을 제거함으로써 수정되고 다음으로 그 행렬식이 삼각화(triangularize)되는 행렬연산이다. 한 열 및 행의 제거는 모션모델로부터 하나의 기저함수를 제거하는 것에 해당한다. 한 기저함수를 제거함에 의하여 유발되는 세그먼트에 대한 제곱예측오차의 변화는 등식내의 한 항의 제곱과 동일하다.

만일 예측오차의 변화가 선택된 조건에 대하여 허용가능하면 계수집합으로부터 하나의 계수가 제거된다. 이러한 행렬연산을 계속해서 반복함으로써 세그먼트들에 대한 계수들이 더 저감될 수 있다. 충분한 양의 계수들이 제거된 다음에 결과적인 선형식을 푸는 것에 의하여 세그먼트에 대한 최종 모션계수들이 계산된다. 상기 등식은 역대입(backsubstitution)과 같은 잘 알려진 알고리즘들 중의 하나를 사용하여 풀어질 수 있다.

상기 제3 주블록은 모든 처리된 세그먼트에 대하여 모션필드 모델로부터 어느 기저함수들이 제거되었는지를 알려주는 선택정보를 출력한다. 또한, 상기 블록은 잔여 기저함수들에 해당하는 신규 모션계수들을 출력한다. 선택정보와 모션계수들은 모두 디코더로 전송된다.

도 5에는 본 발명에 따른 모션필드 엔코더를 도시하였다. 상기 엔코더는 도 1의 블록(3)에 해당하지만, 입력으로서 기준프레임과 현재 프레임을 구비한다. 이 블록에 대한 제3 입력은 도 1의 모션필드 평가블록(2)에 의하여 만들어진 모션벡터 필드이다.

만일 비디오 엔코더의 출력이 세그먼트들로 나누어진 압축된 프레임이고 세그먼트들의 각각은 모션계수들을 동반한다고 가정하면,라고 할 때 좌표들을 갖는개의 픽셀로 이루어진 세그먼트에 대하여, 모션필드코더의 임무는 모션벡터들이 그 필드가

의 형태인 선형 모션 모델로써 기술되는 압축된 모션벡터 필드의 모션계수들을 찾는 것이다. 이때 모션필드 코더는 제곱예측오차를 수학식 5와 같이 최소화한다.

상기 임무를 만족시키기 위하여, 상기 모션필드 엔코더는 QR 모션분석기 블록, 세그먼트 머징블록 및 모션계수 제거블록의 세 개의 주요 빌딩블록(building block)들로 이루어진다. 상기 세그먼트 머징블록과 상기 모션계수 제거블록은 제곱예측오차의 증가를 유발하는 모션정보의 양을 저감시킨다.

QR 모션분석기의 목적은 모션필드의 신규표현을 찾는 것이다. 이 신규표현은 나중에 머징된 세그먼트들과 계수제거에 대한 모션계수들을 빠르고 유동적으로 찾기 위한 다른 두 블록들에서 사용된다.

QR 모션분석기의 연산은 다음의 단계들로 이루어진다.

제1 단계는 오차의 선형화 단계이다. 이 단계에서는 몇몇 알려진 근사화 방법을 사용하여 수학식 7의 오차프레임이 근사화됨으로써 상기 프레임은에 대하여 선형적으로된다. 다음으로 수학식 5에서의 합에 속하는 요소들은 계수의 선형적 조합이 된다.

제2 단계는 행렬들의 구축단계이다. 행렬들의 구축은 수학식 6의 최소화가 행렬식의 최소화와 완전히 등가라는 사실을 기초로 하며, 여기서 E_i`와 y_i`는 수학식 7과 같다.

제3 단계는 QR 인수분해 단계이다. 잘 알려진 QR 인수분해 알고리즘은 지. 에이치. 골르브(G. H. Golub)와 씨. 반 론(C. van loan)에 의한 자료["Matrix computation(행렬계산)", 제2 판, Johns Hopkins University Press(존스 홉킨스 대학출판), 1989]에 기술되어 있다. 이 알고리즘은를 수학식 8과 같이 두 행렬의 곱으로 분해하는데 사용된다.

이 단계에서는 수학식 9와 같이 보조벡터가 계산된다. 여기서, 수학식 9는 다음과 같다.

제4 단계에서는 QR 모션분석기 블록의 출력이 계산된다. 상기 출력은 행렬의 처음 N + M 행들로 구성된 행렬과의 처음 N + M 성분들로 이루어진 벡터를 포함한다.

세그먼트 머징블록에서 머징 연산은 인접 세그먼트들와쌍에 대하여 도 4에 도시한 바와 같이 모션계수에 의하여 기술되는 공통 모션필드를 사용하여 그들의 조합 영역이 예측될 수 있는지를 찾음으로써 수행된다. 머징연산은 다음의 단계들로 이루어진다.

제1 단계는 행렬계산 단계를 포함한다. 본 발명은 선형 등식 시스템:

을 풀어 모션 계수들 c_ij을 찾을 수 있다는 종래에 알려지지 않은 성질을 사용한다. 여기서,,및,는 각각 세그먼트들와에 대하여 QR 분석기 블록에 의하여 이미 만들어진 것이다.

제2 단계는 제1 단계에서 구한 행렬들의 삼각화 단계이다. 행렬들,은 상부 삼각형이고 수학식 10의 시스템은 상술한 자료의 교훈에 따라

의 형태를 갖는다. 여기서, 부호 ×는 영이 아닌 요소를 나타낸다. 상술한 자료의 교훈에 따르면, 상기 시스템은 행들의 추가레 이어지는 행들에 스칼라들을 승산한 일련의 승산값을 인가함으로써 삼각화되어 이를테면 다음의 형태로 변환된다.

제3 단계에서는 머징오차가 평가된다. 세그먼트들와의 머징에 기인한 영역에서의 제곱예측 오차의 변화는 상술한 자료의 교훈에 따라 수학식 13과 같이 계산되며, 즉,

마지막으로, 제4 단계에서는 수학식 13에서의 제곱예측오차의 변화가 선택된 조건에 의하여 허용가능한 경우 세그먼트들이 머징된다. 결과적인 신규 세그먼트에 대하여 행렬과 벡터는 수학식 12의 시스템의 처음 N+M 열들을 취함으로써 구축되어, 이를테면 다음의 공식으로 주어진다.

프레임의 모든 세그먼트 쌍들이 고려된 다음에 세그먼트 머징블록의 출력이 구해진다. 상기 출력은 세 종류의 정보를 포함한다. 첫 번째로 상기 정보는 저감된 수의 세그먼트로써 이미지의 신규분할을 제공한다. 두 번째로 상기 정보는 각 신규 세그먼트에 대하여 블록출력 행렬, 벡터를 제공한다. 세 번째로 상기 정보는 디코더로 발송되고 상기 디코더가 머징된 세그먼트들을 식별하도록 지원하는 머징 정보를 제공한다.

이제 등식의 시스템을 풀어 세그먼트에 대한 모션계수들이 계산될 수 있으나, 다음 블록의 계수제거 블록이 사용된다면 그러한 계산은 필요하지 않다.

이제는 계수제거 블록의 연산을 고려한다. 상기 블록은 입력으로서 현재 프레임의 세그먼트들로의 신규분할을 수신하며, 모든 세그먼트에 대하여 상기 블록은 세그먼트 머징블록에 의하여 이전에 만들어진 행렬들,, 및를 수신한다. 모든 세그먼트의 모션벡터들은 N+M 모션계수들로써 나타낼 수 있다.

모션계수 제거블록은 주어진 세그먼트에 대하여 예측오차의 과도한 증가없이 모션필드 모델을 단순화하는 것이 가능한지를 결정한다. 몇몇 기저함수들이 본 발명의 배경기술 부분에 기술된 수학식 3의 모델로부터 제거되면 단순화된 모션필드 모델이 구해진다. 그러한 단순화된 모션필드 모델을 기술하는데는 보다 적은 계수들이 요구된다.

번째 기저함수(및번째 계수)가 모션필드 모델로부터 제거될 수 있는지를 알아내기 위하여 세그먼트들에 대하여 다음의 절차가 수행된다.

제1 단계는로부터번째 열을,로부터번째 성분을 제거함으로써 선형 등식 시스템:

이 수정되는 행렬수정 단계를 포함한다.

제2 단계는 등식 내의 시스템이 알려진 방법으로 행들의 추가후 이어지는 행들에 스칼라들을 승산함으로써 얻어지는 일련의 승산값을 인가함으로써 삼각화되어 이를테면 다음과 같은 형태:

로 변환되는 행렬 삼각화 단계를 포함한다.

제3 단계는 오차평가 단계를 포함한다.번째 계수의 제거에 의하여 유발되는 세그먼트에 대한 제곱예측오차의 변화는 단순하게 수학식 16의항과 동일하다.

제4 단계는 계수들의 제거 단계를 포함한다. 만일 예측오차의 변화가 선택된 조건에 의하여 허용가능한 경우 계수가 계수집합으로부터 제거된다. 계수들의 신규번호는 이제 N+M-1이 되고 행렬와 벡터는 다음의 형태:

로 수정된다. 세그먼트에 대한 계수들의 수는 수학식 15에서 행렬들인 수학식 17을 사용하고 제1 단계 내지 제4 단계를 반복함으로써 더 저감될 수 있다.

제5 단계는 계수계산 단계를 포함한다. 충분한 양의 계수들이 제거된 다음에 이 단계가 시작된다. 이 단계에서는 선형 등식 시스템:

의 해를 구함으로써 세그먼트 에 대한 최종 모션계수들이 계산된다. 여기서, 행렬와 벡터는 이전의 제1 내지 제4 단계들의 결과이다. 상기 수학식은 역대입과 같은 잘 알려진 알고리즘들 중의 하나를 사용함으로써 풀 수 있다.

상기 모션계수 제거블록은 모든 처리 세그먼트들에 대하여 모션필드 모델로부터 어느 기저함수들이 제거되었는지를 디코더로 알려주는 선택정보를 출력한다. 더욱이 상기 블록은 잔여 기저함수들에 해당하는 신규 모션계수들을 출력한다. 선택정보와 모션계수들은 모두 디코더로 전송된다.

모든 블록들에서의 모든 단계들의 결과로서 본 발명에 따른 모션필드 코더는 디코더로 어느 세그먼트들이 머징되는지를 알려주는 머징정보, 디코더로 어느 기저함수들이 제거되는지 알려주는 선택정보 및 모션계수정보를 발생한다.

종래기술의 해법에 비하여 본 발명의 주요 장점은 예측오차의 큰 증가를 유발하지 않고 모션정보의 양을 크게 저감시킬 수 있다는 것이다. 더욱이 전체 시스템의 복잡성이 낮아 가용의 신호처리기나 범용 마이크로프로세서로 실제로 구현가능하다.

세그먼트 머징 블록은 개별 세그먼트들에 대하여 평가된 주어진 모션벡터들로부터 결합 세그먼트들의 모션벡터들을 찾을 수 있는 고유의 능력을 갖는다. 세그먼트 머징블록들이 생성하는 모션벡터들은 결합 세그먼트들에 대하여 최소의 제곱오차를 유지한다는 점에서 사실상 최적이라는 것이 입증될 수 있다. 이는 이 블록이 제곱예측 오차의 아주 적당한 증가로 세그먼트들의 수를 극적으로 저감시킬 수 있다는 것을 설명한다.

모션계수 제거블록은 비디오 장면내의 모션에 대한 실제적인 양과 형식에 모션모델을 즉시 적응시키는 매우 강력한 도구이다. 이 블록은 모션필드 기저함수들의 모든 가능한 조합들과 같은 매우 많은 수의 모델들에 의하여 예측결과(세그먼트에 대한 제곱 예측 오차값)를 용이하게 테스트할 수 있다. 종래기술에서는 이러한 정도의 유연성을 구비하지 않는다. 이러한 구성의 큰 장점은 모션평가의 절차를 반복할 필요가 없기 때문에 계산적으로 단순하다는 것이다.

QR 모션분석기 다음에 모션평가기를 사용함으로써 상기 모션필드 코더는 모든 소망의 이미지 세그먼트들의 조합 또는 세그먼트내 모든 소망의 모션필드모델에 대하여 아주 간단한 선형등식을 풀어 신규 모션정보를 찾을 수 있다.

본 발명의 바람직한 실시예에서는 12 계수들을 갖는 2차 다항식 모션벡터필드 모델이 사용된다.

실제적으로 이 모델은 비디오 시퀀스들에서 아주 복잡한 모션일지라도 아주 잘 취급할 수 있으며 양호한 예측결과를 낳는다.

QR 모션분석기 블록에서는라 할 때 점:

상의 모든 픽셀에서의의 테일러(Taylor) 전개를 사용하여 제1 단계의 선형화가 수행된다.

의 성질을 사용하여 예측오차는,

가 된다. 보조값은 다음의 공식:

을 사용하여 계산된다. 여기서 함수는 수학식 4a와 수학식 4b에서 정의된 기저함수이다.

수학식 9에서 행렬 E`과 벡터 y`는 다음의 공식들을 사용하여 구축된다.

과는 다음의 공식:

을 사용하여 계산된 기준 프레임의 수평 및 수직경사값이다.

도 6에는 QR 모션분석기의 구성도를 도시하였다. 행 선택블록은 입력 행렬의 처음 N+M 행들 만을 선택한다. 세그먼트 머징블록에서는 세그먼트 머징에 대하여 다음의 전략이 사용된다.

1) 전체 프레임에서 허용 제곱예측오차의 증가에 해당하는 임계값(T)이 선택된다.

2) 인접 세그먼트들의 모든 쌍들에 대하여 수학식 13을 사용하여가 계산된다.

3) 가장 작은를 갖는 세그먼트 쌍이 머징된다.

4) 모든 머징된 세그먼트쌍에 해당하는의 합이 T 보다 클때까지 2) ~ 3)이 반복된다.

수학식 11의 시스템을 삼각화하기 위해서는 기븐스(Givens) 회전이 사용된다.

계수제거를 위하여 모션계수 제거블록에서는 다음의 전략이 사용된다.

1) 전체 프레임에서 허용 제곱예측오차의 증가에 해당하는 임계값(T)이 선택된다.

2) 모든 세그먼트들과 모든 기저함수들에 대하여 수학식 16을 사용하여이 계산된다.

3) 가장 작은을 갖는 세그먼트의 기저함수가 제거된다.

4) 각기 다른 세그먼트들 내의 모든 제거된 기저함수들에 해당하는의 합이 T 보다 클때까지 2) ~ 3)이 반복된다.

기븐스 회전 시퀀스를 사용하여 수학식 16의 시스템이 삼각화된다.

역대입 알고리즘을 사용하여 수학식 18을 풂으로써 세그먼트들의 최종 모션계수들이 계산된다.

오직및의 정수 좌표계 만에 대하여,및의 픽셀값들이 정의된다. 많은 경우에또는가 정수가 아니면 상기 픽셀값은 정수 좌표계에 의하여 가장 근접한 픽셀들의 쌍선형 보간(bilinear interpolation)을 사용하여 계산된다.

상기 시스템은 본 발명의 사상 및 범위를 벗어남이 없이 다양한 방법으로 구현될 수 있다. 예를들어, 수학식 3에는 다양한 선형 모션 모델들이 사용될 수 있다. 수학식 5의 항들을 선형화하기 위하여 다양한 방법이 사용될 수 있다. 또한, 두 세그먼트들을 머징 또는 머징하지 않을 것인지를 결정하기 위하여 다양한 조건들이 사용될 수 있다. 주어진 기저함수가 상기 모델로부터 제거되어야 하는지를 결정하기 위한 전략은 변경될 수 있다. 수학식 10과 수학식 15에서의 행렬들의 삼각화는 다양한 알고리즘을 사용하여 수행될 수 있으며, 수학식 18을 풂에 의한 최종 계수들의 계산은 선형식 시스템을 풀기 위한 많은 알려진 알고리즘들을 사용하여 수행될 수도 있다. 최종적으로, 비정수 좌표계에서,및의 값들을 평가하는데 다양한 보간법(interpolation method)들이 사용될 수 있다.

Claims (11)

1. 코딩된 모션 벡터필드를 제공하기 위한 모션필드 코더를 포함하여 비디오 시퀀스의 현재 프레임을 코딩하는 비디오 코덱에 있어서, 상기 모션필드 코더는,

   현재 프레임, 기준 프레임, 및 모션벡터필드를 수신하도록 배치되고, 현재 프레임의 복수의 이미지 세그먼트들에서 각 세그먼트에 대하여 벡터와 기저함수 집합으로 표현되는 N+M 모션계수 집합을 기초로 선형 모션모델과 관련된 모션벡터필드의 신규표현을 찾도록 배치되며, 현재 프레임의 각 세그먼트에 대하여는 행렬이고는 벡터라고 할 때 행렬표현을 기초로한 현재 프레임 세그먼트와 기준 프레임의 세그먼트를 기초로 한 예측오차 함수를 근사화하는 예측오차 선형화 수단과, 각 현재 프레임 세그먼트에 대하여 상기 행렬 표현으로부터 R¹ _ic_i= z¹ _i이고 제1 행렬 R¹ _i의 열의 수가 모션계수들 N+M의 수와 동일한 제1 행렬 R¹ _i및 제1 벡터 Z¹ _i를 형성하는 행렬처리 수단을 포함하는 모션분석기;

   상기 제1 행렬 R¹ _i및 상기 제1 벡터 Z¹ _i를 수신하기 위하여 상기 모션 분석기에 접속되고, 현재 프레임의 인접 세그먼트들의 쌍에 대하여 제1 행렬들 R¹ _i, R¹ _j및 제1 벡터들 Z¹ _i, Z¹ _j의 각 쌍으로부터 머징 행렬 R¹ _ij과 머징 벡터 Z¹ _ij를 결정하며, 제1 행렬 R¹ _i및 제1 벡터 Z¹ _i의 쌍들을 미리 정의된 한계 이내의 예측오차를 발생시키는 머징 행렬 R¹ _ij과 머징 벡터 Z¹ _ij로 교체하고, 해당 세그먼트 쌍들을 머징하는 세그먼트 머징수단; 및

   상기 세그먼트 머징수단에 접속되어 잔류 제1 행렬 R¹ _i및 제1 벡터 Z¹ _i와 교체 머징행렬R¹ _ij및 머징 벡터 z¹ _k를 수신하고, 현재 프레임의 각 세그먼트 또는 머징 세그먼트에 대하여 근사화된 예측오차 함수의 변화가 미리 정의된 한계 이내이도록 저감된 모션계수집합을 결정하기 위하여 해당 행렬및 벡터 Z^k _ij를 사용하며, 각 세그먼트 또는 머징 세그먼트에 대하여 상기 저감된 모션계수들의 수와 계수들이 제거된 표시를 포함하는 현재 프레임의 엔코딩 버전을 제공하도록 베치된 계수제거 수단;을 포함하는 것을 특징으로 하는 비디오 코덱.
2. 제1항에 있어서, 현재 프레임의 각 세그먼트에 대하여 모션 분석기에 의하여근사화되는 상기 예측오차 함수는,

   일 때인 것을 특징으로 하는 비디오 코덱.
3. 제1항 또는 제2항에 있어서 상기 행렬처리 수단은 행렬를 행렬및의 곱으로 분해하고 Z_i=Q^T _iy_i인 보조벡터를 형성하며, 행렬의 첫 N+M 행들로부터 R¹ _i, 벡터의 첫 N+M 성분들로부터 벡터 Z¹ _i를 형성하는 QR 인수분해 수단을 포함하는 것을 특징으로 하는 비디오 코덱.
4. 제1항 또는 제2항에 있어서 상기 세그먼트 머징수단은

   를 머징된 인접 세그먼트 쌍의 N+M 모션계수 집합이라 할 때 인접 세그먼트 쌍들에 대하여 등식

   을

   의 형태로 삼각화하는 수단을 포함하는 것을 특징으로 하는 비디오 코덱.
5. 제4항에 있어서, 상기 세그먼트 머징수단은 다음의 수학식:

   에 따라 각 인접 세그먼트들쌍에 대하여 제곱예측오차의 변화를 계산함으로써 예측오차가 미리 정의된 한계 이내인지를 결정하도록 배치된 것을 특징으로 하는 비디오 코덱.
6. 제4항에 있어서, 상기 세그먼트 머징수단은 삼각화된 행렬식:

   의 첫 N+M 열을 사용하여 상기 머징 행렬 R¹ _ij과 상기 머징벡터 Z¹ _ij를 결정하도록 배치된 것을 특징으로 하는 비디오 코덱.
7. 제1항 또는 제2항에 있어서, 상기 현재 프레임의 엔코딩 버전은 머징된 세그먼트들의 식별을 포함하는 것을 특징으로 하는 비디오 코덱.
8. 제1항 또는 제2항에 있어서, 상기 계수제거 수단은 행렬 R¹ _k로부터번째 열을, 벡터로부터번째 성분을 선택적으로 제거하여 저감된 행렬식 R¹ _kc_k= Z¹ _k을 제공함으로써 각 세그먼트에 대하여 저감된 수의 모션계수를 결정하도록 배치된 것을 특징으로 하는 비디오 코덱.
9. 제8항에 있어서, 상기 계수제거 수단은 저감된 행렬식을 다음 형태:

   로 삼각화하고에 따라 제곱예측오차의 변화를 계산하도록 배치된 것을 특징으로 하는 비디오 코덱.
10. 제9항에 있어서, 상기 계수제거 수단은 제곱 예측오차의 변화가 미리 정의된 한계 이내이면 계수행렬로부터 모션계수를 제거하고 두 번째로 언급된 삼각화 행렬식의 최하부 행을 제거함으로써 상기 행렬식을 재공식화하도록 배치된 것을 특징으로 하는 비디오 코덱.
11. 제1항 또는 제2항에 있어서, 상기 계수제거 수단은 행렬식 R¹ _kc_k= Z¹ _k또는 상기 행렬식의 저감된 행렬식에 대한 해를 구함으로써 모션계수를 결정하도록 배치된 것을 특징으로 하는 비디오 코덱.