KR100400962B1 - 영상데이터를모션보상인코딩하는인코더와그방법및영상데이터를디코딩하는디코더 - Google Patents

Abstract

본 발명은 매우 낮은 예측오차를 유지하는 동시에 모션벡터 필드들에 대한 빠르고 간결한 인코딩을 가능하게 하는 영상의 모션보상(motion compensated: MC) 코딩과 MC 예측구조에 관한 것이다. 예측오차와 모션벡터 필드의 표현에 필요한 비트의 수를 저감함에 의하여, 비트율의 실제적인 절약이 달성된다. 모션필드를 표현하는데 필요한 비트율의 저감은 세그멘트들에 대한 영상프레임들로의 머징, 모션필드 모델의 적응화, 및 직교 다항식을 기초로 한 모션필드 모델의 사용에 의하여 달성된다.

Description

영상 데이터를 모션 보상 인코딩하는 인코더와 그 방법 및 영상 데이터를 디코딩하는 디코더

모션 보상 예측(motion compensated prediction)은 대다수 비디오 코딩 구성의 핵심적인 구성요소이다. 도 1에는 모션 보상을 사용하여 비디오 시퀀스들을 압축하는 인코더의 구성을 도시하였다. 상기 인코더의 필수 구성요소들은 모션보상 예측블록(1), 모션평가기(2), 및 모션필드코더(3)이다. 모션보상 비디오코더들의 동작원리는 코딩된 일명 현재 프레임인 코딩될 입력 프레임과 예측 프레임사이의 차이인 예측 오차를 압축하는 것이다. 즉, 예측오차는 수학식 1과 같다.

[수학식 1]

예측 오차의 압축은 통상 일정한 정도의 정보 손실을 유발한다.로 표시되는 압축된 예측오차는 디코더로 발송된다. 예측 프레임은 모션보상 예측블록(1)에 의하여 구성되고, 기준 프레임이라 칭하는로 표시되는 이전 또는 이미 코딩된 일정 다른 프레임의 픽셀값과, 현재 프레임과 기준 프레임 사이의 평가된 픽셀 운동을 기술하는 모션벡터들을 사용하여 구축된다. 모션벡터들은 모션필드 평가기(2)에 의하여 계산되고, 다음으로 결과적인 모션벡터 필드는 예측기 블록(1)에 인가되기 이전에 일정한 방법으로 코딩된다. 그러면, 예측프레임은:

[수학식 2]

가 된다.

수자들의 쌍는 현재프레임내의 위치(x,y)상의 픽셀에 대한 모션벡터라고 칭하며, 여기서, 및는 이러한 픽셀의 수평 및 수직변위이다. 현재 프레임내의 모든 픽셀들에 대한 모션벡터 집합은 모션 벡터 필드라고 칭한다. 코딩된 모션벡터 필드는 또한 모션정보로써 디코더로 전송된다.

도 2에 도시한 디코더에서, 현재 프레임의 픽셀들은 기준 프레임으로부터 픽셀들의 예측값을 구함에 의하여 재구성된다. 모션보상 예측블록(21)은 수신된 모션정보와 기준 프레임을 사용하여 예측프레임을발생한다. 예측오차 디코더(22)내에서는, 디코딩된 예측오차 프레임이 예측프레임과 합산되어 결과적으로 근사 현재프레임이 된다.

모션보상(motion compensated:MC) 예측인코더의 개괄적인 목적은 디코더로 전송될 필요가 있는 정보의 양을 최소화하는 것이다. 상기 예측인코더는 일정한 기준에 따라 측정된 예측오차의 양, 예를들어,과 결합된 에너지를 최소화하여야 하며, 모션벡터 필드를 표현하는데 요구되는 정보의 양을 최소화하여야 한다.

엔. 구엔(N. Nguen)과, 이. 드봐스(E. Dubois)에 의한 " 이미지 코딩을 위한 모션정보의 표현(Representation of motion information for image coding), 픽처 코딩 심포지움 '90 회보 (Proc. Picture Coding Symposium '90), 메사츄세츠(Massachusetts), 캠브리지(Cambridge), 1990년 3월 18 ~ 26일, pp. 841 ~ 845"에서는 모션필드 코딩 기술에 대하여 개괄적으로 개시하고 있다.

대체로, 예측오차의 저감은 보다 개량된 복잡한 모션필드를 요구하며, 이를 테면, 보다 많은 비트들이 그 인코딩에 사용되어야 한다. 따라서, 영상 인코딩의 전체적인 목표는 가능한 한 간결하고 동시에 예측오차의 측정값은 가능한 한 낮추면서 모션벡터 필드를 인코딩하는 것이다.

프레임내에의 픽셀 수는 매우 많기 때문에, 각 픽셀에 대하여 모션벡터를 개별적으로 전송하는 것은 효율적이지 않다. 대신에, 대부분의 코딩구조에서는 도 3에 도시한 바와 같이 현재프레임이 이미지 세그멘트들로 분할됨으로써, 세그먼트의 모든 모션벡터들은 약간의 변수들에 의하여 기술될 수 있다. 이미지 세그멘트들은정사각형 블록들(square blocks)일 수도 있다. 예를들어, 코덱에서는 국제표준 (ISO/IEC MPEG-1, 또는 ITU-T H.261)에 따라 16×16 픽셀블록들이 사용될 수 있으며, 또는 일예로 세그멘트화 알고리즘에 의하여 구해진 완전히 임의적 형태의 영역들로 구성될 수도 있다.

도 1의 모션필드 예측블록(1)은 주어진 세그멘트의 모든 픽셀들에 대하여 모션벡터들을 계산함으로써 이 세그멘트내에서 정사각형 예측오차와 같은 일정 예측오차 측정값을 최소화한다. 모션필드 평가 기술은 모션필드 모델과 선택된 예측오차 측정값의 최소화 알고리즘에 따라 구분된다.

세그멘트들내 픽셀들의 모션벡터들을 간결하게 표현하기 위해서는, 그 값들이 매우 적은 변수들의 함수로써 기술되는 것이 요구된다. 이러한 함수는 모션벡터 필드모델이라고 칭한다. 알려진 모델 그룹으로써는 모션벡터들이 모션필드 기초 함수들의 선형적 조합에 의하여 근사화되는 선형 모션모델이 있다. 이러한 모델에서는 이미지 세그멘트들의 모션벡터들이 일반공식:

[수학식 3]

에 의하여 기술되고, 여기서, c_i는 모션계수들이라 칭하며, 이 계수는 디코더로 전송된다. 함수는 모션필드 기초함수라고 칭하며, 인코더와 디코더로 알려진 고정 형태를 가진다.

상술한 공식을 구비한 선형 모션모델을 사용할 경우의 문제는 어떻게 계산적으로 간단한 방법으로 동시에 선택된 예측오차값과 같은 일정한 왜곡 측정값을 가능한 한 낮게 유지하면서 디코더로 발송되는 모션계수들 c_i의 수를 최소화할 것인가 하는 것이다.

디코더로 발송하도록 요구되는 모션 데이터의 총 양은 이미지내의 세그멘트들의 수와 세그멘트당 모션계수들의 수에 의존한다. 따라서, 모션데이터의 총 양을 저감시키는데는 적어도 두가지 방법이 존재한다.

첫 번째 방법은 공통 모션벡터 필드에 의하여 예측될 수 있는 세그멘트들을 함께 결합(머징)함에 의하여 예측오차를 크게 증가시키지 않고 그 세그멘트들의 수를 줄이는 것이다. 프레임내 세그멘트들은 이를테면, 이웃함(neighbouring)과 같이 인접하는 경우가 매우 많아, 그 세그멘트들은 동일한 모션계수 집합에 의하여 양호하게 예측될 수 있기 때문에, 상기 세그멘트들의 수는 저감될 수 있다. 이러한 세그멘트들을 결합하는 과정은 모션 지원 머징(motion assisted merging)이라고 칭한다. 도 3에는 세그멘트들로 분할된 프레임을 나타내었다. 종래의 모션계수 코딩 기술은 몇가지 모션지원 머징 기법들을 포함한다. 모든 세그멘트들에 대하여 모션벡터들이 평가되고 난 다음에는 모션지원 머징이 수행된다. 이는 각각 모션계수들 c_i와 c_j를 가지는 모든 인접 세그멘트들 S_i와 S_j의 쌍을 고려함에 의하여 수행된다. 세그멘트들 S_i와 S_j의 결합 영역은 S_ij라고 표시한다. 만일 영역(S_ij)이 S_i와 S_j의 개별적인 예측으로 인한 오차에 대하여 예측오차의 과도한 증가를 초래하지 않는 하나의 모션계수들 c_ij의 집합에 의하여 예측될 수 있으면, S_i와 S_j는 머징된다. 모션 지원 머징 방법은 기본적으로 서로 결합된 세그멘트들에 대한 양호한 예측을 가능하게 하는 단일 모션계수들 c_ij집합을 구하는 방법에 따라 구분된다.

한가지 방법은 철저한 모션평가에 의한 머징으로 알려져 있다. 이 방법은 "스크래치(scratch)로부터" 인접 세그멘트들 S_i, S_j의 모든 쌍에 대한 모션변수들 c_ij의 신규집합을 평가한다. 만일 S_ij에 대한 예측오차가 과도하게 증가되지 않으면 세그멘트들 S_i, S_j은 머징된다. 비록 이 방법은 머징될 수 있는 세그멘트들을 잘 선택할 수는 있음에도 불구하고 인코더의 복잡성을 수 차의 크기들로 증가시키기 때문에 구현하기가 적합하지 않다.

또 다른 방법은 모션필드 확장에 의한 머징으로 알려져 있다. 이 방법은 예측오차를 과도하게 증가시킴이 없이 S_ij영역이 모션변수들 c_i또는 c_j을 사용하여 예측될 수 있는지를 테스트한다. 이 방법은 어떤 신규의 모션평가를 요구하지 않기 때문에 계산의 복잡성이 매우 낮음을 특징으로 한다. 하지만, 상기 방법은 한 세그멘트에 대하여 계산된 계수들에 의한 모션보상이 인접 세그멘트들 역시도 거의 예측하지 못하기 때문에 아주 빈번하게 세그멘트들을 머징하지 못한다.

또 다른 방법은 모션필드 피팅(fitting)에 의한 머징으로 알려져 있다. 이 방법에서 모션계수들 c_ij은 근사화 방법에 의하여 계산된다. 이는 세그멘트들 각각에서 거의 모션벡터들을 평가하지 않고 수행된다. 세그멘트들 S_i, S_j내의 몇몇 모션벡터들을 도 3에 도시하였다. 세그멘트 S_ij에 대한 모션필드는 이러한 벡터들에 걸쳐 몇몇 알려진 피팅방법을 사용하여 공통모션 벡터필드를 피팅함에 의하여 수행된다. 이 방법은 피팅에 의하여 구한 모션필드가 충분히 정밀하지 않고 종종 허용할 수 없는 예측오차의 증가를 유발한다는 단점이 있다.

모션계수들의 수를 최소화하기 위한 두 번째 방법은 각 세그멘트에 대하여 가능한 한 적은 계수에 의하여 만족할 만하게 낮은 예측오차를 달성하는 모션모델을 선택하는 것이다. 모션의 양과 복잡성은 프레임들 사이와 세그먼트들 사이에서 변화하기 때문에, 세그멘트 마다 항시 모든 N+M 모션계수들을 사용하는 것은 효율적이지 않다. 모든 세그멘트에 대하여 만족할 만하게 낮은 예측오차를 제공하는 모션 계수들의 최소 수를 알아낼 필요가 있다. 이러한 적응적 계수 선택 과정은 모션 계수 제거라고 칭한다.

각기 다른 모델들에 의하여 모션평가를 수행하고 가장 적합한 것을 선택하는 방법은 에이치. 니콜라스(H. Nicolas)와 씨. 래비트(C. Labit)에 의한 자료 ["Region-based motion estimation using determinstic relaxation schemes for image sequence coding(이미지 시퀀스 코딩을 위한 결정론적 이완 구성을 사용하는 영역 기반 모션 평가)", 음향, 음성 및 신호처리에 관한 국제회의(International Conference on Acoustics, Speech and Signal Processing) 1994년 회보, pp. III265~268]와, 피. 시코니(P. Cicconi)와 에이치. 니콜라스(H. Nicolas)에 의한 자료 ["Efficient region-based motion estimation and symmetry orientedsegmentation for image sequence coding(이미지 시퀀스 코딩을 위한 효율적 영역 기초 모션평가 및 대칭 지향적 세그멘트화)", 비디오 기술의 회로 및 시스템에 관한 IEEE 회보(IEEE Trans. on Circuits and Systems for Video Technology), Vol. 4, No. 3, 1994년 6월, pp 357~364]에서 제안된다. 상기 방법들은 각기 다른 모델들로써 모션평가를 수행하고 가장 적합한 모델을 선택함으로써 모션의 복잡성에 의존하여 모션모델을 적용하는 것을 시도하고 있다. 이러한 방법들의 주요 단점은 계산적 복잡성이 높고 실제 테스트될 수 있는 각기 다른 모션 필드 모델들의 양이 적다는 것이다.

비록 상술한 방법들은 예측된 영상의 정확도를 타당한 수준으로 유지하면서도 디코더로 발송되는 모션정보의 양을 어느정도 저감시키지만, 그 양을 더 저감시킬 필요성이 있다.

본 발명은 개괄적으로 영상 압축에 관한 것이다. 더 상세하게는 본 발명은 영상 데이터에 대하여 모션 보상 인코딩을 수행하는 인코더와 그 방법에 관한 것이다. 또한, 본 발명은 그리하여 인코딩된 영상데이터를 디코딩하는 디코더에 관한 것이다.

도 1은 알려진 인코더의 구성도이다.

도 2는 알려진 디코더의 구성도이다.

도 3은 머징을 위한 인접 세그멘트들을 도시한 도면이다.

도 4는 모션필드 근사화에 의한 머징을 나타낸 도면이다.

도 5는 본 발명의 바람직한 실시예에 따른 모션필드 코더를 도시한 도면이다.

도 6은 QR 모션 분석기의 구성도이다.

도 7은 본 발명의 바람직한 실시예에 따른 모션보상 예측블록을 도시한 구성도이다.

도 8은 본 발명의 바람직한 실시예에 따른 디코더를 도시한 블록도이다.

본 발명의 목적은 모션벡터 필드의 왜곡이 허용 불가능하게 되지 않게 일정한 알려진 모션 평가기에 의하여 큰 계수로써 발생된 모션벡터 필드 데이터의 양을 저감시킬 수 있도록 하는 모션보상 비디오 인코더 및 방법과, 모션보상 인코딩된 영상 데이터를 디코딩하는 비디오 디코더를 제공하는 것이다. 상기 모션필드 인코더는 가용의 신호처리기들 또는 범용 마이크로프로세서들상에서 실제적인 구현을 허용할 수 있도록 복잡성이 낮아야 한다.

본 발명의 첫 번째 태양에 따른 영상데이터의 모션보상 인코딩을 수행하는 인코더는,

제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하는 입력단을 구비하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하도록 이루어지며, 상기 제1 영상프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 출력단을 구비하는 모션필드 평가수단;

상기 모션필드 평가수단으로부터 상기 제1 평가 모션벡터 필드를 수신하는 입력단을 구비하고, 영상프레임을 제1 세그멘트 S_i와 제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기 모션벡터 필드를 나타내는 제1 모션계수를 포함하는 압축된 모션정보를 구하도록 이루어진 모션필드 인코딩수단;

상기 기준프레임 R_ref과 상기 압축된 모션정보를 기초로 예측 영상데이터 프레임을 예측하는 모션보상 예측수단;

상기 제1 영상데이터 프레임을 수신하는 입력단을 구비하고, 상기 예측 영상 데이터 프레임과 상기 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하도록 이루어지는 계산수단;

상기 예측오차 프레임을 인코딩하는 예측오차 인코딩 수단:

상기 제1 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 수단;을 포함하고, 상기 모션 인코딩 수단은,

상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써 근사화함으로써, c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트내의 왜곡에 대한 미리 정의된 측정값이 Ec-y의 함수가 되도록 각 세그멘트에 대하여 왜곡행렬 E과 왜곡벡터 y를 계산하고 저장하는 수단;

행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된 기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR=E이도록 상기 왜곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 수단;

행렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산하는 수단;

각 세그먼트에 대하여 행렬 R과 벡터 z를 추가 열로써 포함하는 열확장 행렬 A을 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의 모든 행들을 선택하는 수단;

일정 한계내에서 상기 예측오차를 증가시키는 세그멘트의 선택적 조합을 기초로 세그멘트들을 머징하는 수단;

상기 제1 세그멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행로 이루어진 행 확장 행렬 B을 발생하는 수단; 및

행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 의한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 수단;

상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여 직교 기저에 의하여 상기 다항식 기저함수들을 직교 기저함수 f_i로 대체하고, 상기 직교 기저함수와 상기 입력행렬 M을 사용하여 제2 모션계수를 계산하도록 이루어진 직교화 수단; 및

제2 모션계수를 수신하는 입력단을 구비하고, 상기 제2 모션계수를 양자화하고, 양자화후에 제2 모션계수를 출력하도록 이루어진 양자화 수단;을 포함하는 것을 특징으로 한다.

본 발명의 두 번째 태양에 따른 영상데이터의 모션보상 인코딩을 수행하는 인코더는,

제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하는 입력단을 구비하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하도록 이루어지며, 상기 제1 영상프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 출력단을 구비하는 모션필드 평가수단;

상기 모션필드 평가수단으로부터 상기 제1 평가 모션벨터 필드를 수신하는 입력단을 구비하고, 영상프레임을 제1 세그멘트 S_i와 제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기모션벡터 필드를 나타내는 제1 모션계수를 포함하는 압축된 모션정보플 구하도록 이루어진 모션필드 인코딩수단;

상기 기준프레임 R_ref과 상기 압축된 모션정보를 기초로 예측 영상데이터 프레임을 예측하는 모션보상 예측수단;

상기 제1 영상데이터 프레임을 수신하는 입력단을 구비하고, 상기 예측 영상 데이터 프레임과 상기 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하도록 이루어지는 계산수단;

상기 예측오차 프레임을 인코딩하는 예측오차 인코딩 수단;

상기 제1 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 수단:을 포함하고,

상기 모션 인코딩 수단은,

상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써 근사화함으로써, c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트내의 왜곡에 대한 미리 정의된 측정값이 Ec-y의 함수가 되도록 각 세그멘트에 대하여 왜곡행렬 E과 왜곡벡터 y를 계산하고 저장하는 수단;

행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된 기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR = E이도록 상기 왜곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 수단;

행렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산하는 수단;

각 세그멘트에 대하여 행렬 R과 벡터 z를 추가 열로써 포함하는 열확장 행렬 A을 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의 모든 행들을 선택하는 수단;

일정 한계내에서 상기 예측오차를 증가시키는 세그멘트이 선택적 조합을 기초로 세그멘트들을 머징하는 수단;

상기 제1 세그멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행로 이루어진 행 확장 행렬 B을 발생하는 수단; 및

행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 의한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 수단;

상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여, 직교 기저함수에 의하여 상기 다항식 기저함수들을 직교 기저함수 f_i로 대체하고, 상기 입력행렬을 상기 직교 기저함수에 해당하는 제3 행렬로 수정하도록 이루어진 직교화 수단;

상기 제3 행렬을 입력으로써 수신하여, 상기 제3 행렬에서 상기 기저함수들의 i번째 기저함수에 해당하는 R에 따른 i번째 열을 제거함으로써 상기 제3 행렬을 수정하도록 이루어지며, 행렬을 공급하는 출력단을 구비하는 제거수단;

상기 제4 행렬을 사용하여 제2모션계수들을 계산하는 수단; 및

상기 제2 모션계수를 수신하는 입력단을 구비하고, 상기 제2 모선계수를 양자화하도록 이루어진 양자화 수단;을 포함하는 것을 특징으로 한다.

본 발명의 첫 번째 태양에 따른 영상데이터의 모션보상 인코딩을 수행하는 인코딩방법은,

제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하며, 상기 제1 영상프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 단계;

상기 제1 평가 모션벡터 필드를 수신하고, 영상프레임을 제1 세그멘트 S_i와 제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기 모션벡터 필드를 나타내는 제1 모션계수를 포함하는 압축된 모션정보를 구하는 단계;

상기 기준프레임 R_ref과 상기 압축된 모션정보를 기초로 예측 영상데이터 프레임을 예측하는 단계;

상기 제1 영상데이터 프레임을 수신하고, 상기 예측 영상데이터 프레임과 상기 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하는 단계;

상기 예측오차 프레임을 인코딩하는 단계;

상기 제1 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 단계;를 포함하고,

상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써 근사화함으로써, c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트내의 왜곡에 대한 미리 정의된 측정값이 Ec-y의 함수가 되도록 각 세그멘트에 대하여 왜곡행렬 E과 왜곡벡터 y를 계산하고 저장하는 단계;

행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된 기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR=E이도록 상기 왜곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 단계;

행렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산하는 단계;

각 세그멘트에 대하여 행렬 R과 벡터 z를 추가 열로써 포함하는 열확장 행렬 A을 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의 모든 행들을 선택하는 단계;

일정 한계내에서 상기 예측오차를 증가시키는 세그멘트의 선택적 조합을 기초로 세그멘트들을 머징하는 단계;

상기 제1 세피멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행로 이루어진 행 확장 행렬 B을 발생하는 단계; 및

행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 의한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 단계;

상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여 직교 기저함수에 의하여 상기 다항식 기저함수들을 직교 기저함수 f_i로 대체하고, 상기 직교 기저함수와 상기 입력행렬 M을 사용하여 제2 모션계수를 계산하도록 이루어진 직교화하는 단계; 및

제2 모션계수를 수신하여 상기 제2 모션계수를 양자화하는 단계;를 포함한다.

본 발명의 두 번째 태양에 따른 영상데이터의 모션보상 인코딩을 수행하는 인코딩방법은,

제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하며, 상기 제1 영상프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 단계;

상기 제1 평가 모션벡터 필드를 수신하고, 영상프레임을 제1 세그멘트 S_i와제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기 모션벡터 필드를 나타내는 제1 모선계수를 포함하는 압축된 모션정보를 구하는 단계;

상기 기준프레임 R_ref과 상기 압축된 모션정보를 기초로 예측 영상데이터 프레임을 예측하는 단계;

상기 제1 영상데이터 프레임을 수신하고, 상기 예측 영상데이터 프레임과 상기 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하는 단계;

상기 예측오차 프레임을 인코딩하는 단계;

상기 제1 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 단계;를 포함하고,

상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써 근사화함으로써, c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트내의 왜곡에 대한 미리 정의된 측정값이 Ec-y의 함수가 되도록 각 세그멘트에 대하여 왜곡행렬 E과 왜곡벡터y를 계산하고 저장하는 단계;

행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된 기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR=E이도록 상기 웨곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 단계;

행렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산히는 단계;

각 세그멘트에 대하여 행렬 R과 벡터 z를 추가 열로써 포함하는 열확장 행렬 A을 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의 모든 행들을 선택하는 단계;

일정 한계내에서 상기 예측오차를 증가시키는 세그멘트의 선택적 조합을 기초로 세그멘트들을 머징하는 단계;

상기 제1 세그멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행로 이루어진 행 확장 행렬 B을 발생하는 단계; 및

행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 의한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 단계;

상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여, 직교 기저함수에 의하여 상기 다항식 기저함수들을 직교 기지함수 f_i로 대체하고, 상기 입력행렬을 상기 직교 기저함수에 해당하는 제3 행렬로 수정하도록 이루어진 직교화 단계;

상기 제3 행렬을 입력으로써 수신하고, 상기 제3 행렬에서 상기 기저함수들의 i번째 기저함수에 해당하는 R에 따른 i번째 열을 제거함으로써 상기 제4 행렬로 수정하여, 상기 제4 행렬을 공급하는 단계;

상기 제4 행렬을 사용하여 제2 모션계수들을 계산하는 단계; 및

상기 제2 모션계수를 수신하여 상기 제2 모션계수를 양자화하는 단계;를 포함한다.

인코딩된 영상데이터를 모션보상 디코딩하는 본 발명에 따른 디코더는,

영상데이터 프레임을 저장하는 수단;

상기 저장된 영상데이터 프레임과 수신된 모션정보를 기초로 영상데이터 프레임을 예측하는 수단;

수신된 예측오차 데이터를 디코딩하여 예측오차 프레임은 구하는 수단: 및

상기 예측 영상데이터 프레임과 상기 디코딩된 예측오차 프레임을 기초로 갱신된 영상데이터 프레임을 계산하여 출력하며, 갱신된 영상데이터 프레임을 상기 저장수단에 저장하는 수단;을 포함하고,

상기 영상데이터 프레임 예측수단은,

수신된 모션데이터를 상기 갱신된 양상데이터 프레임을 세그멘트들(S_i)로 분할하는 것에 관한 데이터, 모션필드 모델 기초함수들의 집합에서 기저함수들을 선택하는 것에 관한 데이터, 및 선택된 기저함수들의 계수들에 관한 데이터중에서 적어도 둘 이상으로 디멀티플렉싱하는 수단;

상기 선택된 기저함수들과 계수들로부터 각 세그멘트(S_i)내의 상기 모션벡터필드를 재구성하는 수단; 및

상기 재구성된 모션벡터 필드와 상기 저장된 영상데이터 프레임을 기초로 상기 예측프레임을 계산하는 수단;을 포함한다.

영상데이터의 모션보상 인코딩을 수행하는 인코더와, 인코딩된 영상데이터를 모션보상 디코딩하는 디코더를 포함하는 본 발명의 첫 번째 태양에 따른 영상처리시스템은,

상기 인코더가,

제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하는 입력단을 구비하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하도록 이루어지며 상기 제1 영상프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 출력단을 구비하는 모션필드 평가수단;

상기 모션필드 평가수단으로부터 상기 제1 평가 모션벡터 필드를 수신하는 입력단을 구비하고, 영상프레임을 제1 세그멘트 S_i와 제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기 모션벡터 필드를 나타내는 제1 모션계수를 포함하는 압축된 모션정보를 구하도록 이루어진 모션필드 인코딩수단;

상기 기준프레임 R_ref과 상기 압축된 모션정보를 기초로 예측 영상데이터 프레임을 예측하는 모션보상 예측수단;

상기 제1 영상데이터 프레임을 수신하는 입력단을 구비하고, 상기 예측 영상데이터 프레임과 상기 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하도록 이루어지는 계산수단;

상기 예측오차 프레임을 인코딩하는 예측오차 인코딩 수단;

상기 제1 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 수단;을 포함하고,

상기 모션 인코딩 수단은,

상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써 근사화함으로써, c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트내의 왜곡에 대한 미리 정의된 측정값이 Ec-y의 참수가 되도록 각 세그멘트에 대하여 왜곡행렬 E과 왜곡벡터 y를 계산하고 저장하는 수단;

행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된 기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR=E이도록 상기 왜곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 수단;

행렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산하는 수단;

각 세그멘트에 대하여 행렬 R과 벡터 z를 추가 열로써 포함하는 열확장 행렬 A를 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의모든 행들을 선택하는 수단;

일정 한계내에서 상기 예측오차를 증가시키는 세그멘트의 선택적 조합을 기초로 세그멘트들을 머징하는 수단;

상기 제1 세그멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행로 이루어진 행 확장 행렬 B을 발생하는 수단; 및

행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 의한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 수단;

상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여 직교 기저함수에 의하여 상기 다항식 기저함수들을 직교 기저함수 f_i로 대체하고, 상기 직교 기저함수와 상기 입력행렬 M을 사용하여 제2 모션계수를 계산하도록 이루어진 직교화 수단; 및

제1 모션계수를 수신하는 입력단을 구비하고, 상기 제2 모션계수를 양자화하도록 이루어진 양자화 수단;을 포함하고,

상기 디코더는,

영상데이터 프레임을 저장하는 수단;

상기 저장된 영상데이터 프레임과 수신된 모션정보를 기초로 영상데이터 프레임을 예측하는 수단;

수신된 예측오차 데이터를 디코딩하여 예측오차 프레임을 구하는 수단; 및

상기 예측 영상데이터 프레임과 상기 디코딩된 예측오차 프레임을 기초로 갱신된 영상데이터 프레임을 계산하여 출력하며, 갱신된 영상데이터 프레임을 상기 저장수단에 저장하는 수단;을 포함하고,

상기 영상데이터 프레임 예측수단은,

수신된 모션데이터를 상기 갱신된 양상데이터 프레임을 세그멘트들(S_i)로 분할하는 것에 관한 데이터, 모션필드 모델 기초함수들의 집합에서 기저함수들을 선택하는 것에 관한 데이터, 및 선택된 기저함수들의 계수들에 관한 데이터중에서 적어도 둘 이상으로 디멀티플렉싱하는 수단;

상기 선택된 기저함수들과 계수들로부터 각 세그멘트(S_i)내의 상기 모션벡터필드를 재구성하는 수단; 및

상기 재구성된 모션벡터 필드와 상기 저장된 영상데이터 프레임을 기초로 상기 예측프레임을 계산하는 수단;을 포함한다.

영상데이터의 모션보상 인코딩을 수행하는 인코더와, 인코딩된 영상데이터를 모션보상 디코딩하는 디코더를 포함하는 본 발명의 두 번째 태양에 따른 영상처리시스템은,

상기 인코더는,

제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하는 입력단을 구비하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하도록이루어지며, 상기 제1 영상프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 출력단을 구비하는 모션필드 평가수단;

상기 모션필드 평가수단으로부터 상기 제1 평가 모션벡터 필드를 수신하는 입력단을 구비하고, 영상 프레임을 제1 세그멘트 S_i와 제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기 모션벡터 필드를 나타내는 제1 모션계수를 포함하는 압축된 모션정보를 구하도록 이루어진 모션필드 인코딩수단;

상기 기준프레임 R_ref과 상기 압축된 모션정보를 기초로 예측 영상데이터 프레임을 예측하는 모션보상 예측수단;

상기 제1 영상데이터 프레임을 수신하는 입력단을 구비하고, 상기 예측 영상데이터 프레임과 상지 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하도록 이루어지는 계산수단;

상기 예측오차 프레임을 인코딩하는 예측오차 인코딩 수단;

상기 제1 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 수단;을 포함하고,

상기 모션 인코딩 수단은,

상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써 근사화함으로써, c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트내의 왜곡에 대한 미리 정의된 측정갑이 Ec-y의 함수가 되도록 각 세그멘트에 대하여 왜곡행렬 E과 왜곡벡터 y를 계산하고 저장하는 수단;

행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된 기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR=E이도록 상기 왜곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 수단;

행렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산하는 수단;

각 세그멘트에 대하여 행렬 R과 벡터 z를 추가 열로써 표함하는 열확장 행렬 A을 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의 모든 행들을 선택하는 수단;

일정 한계내에서 상기 예측오차를 증가시키는 세그멘트이 선택적 조합을 기초로 세그멘트들을 머징하는 수단;

상기 제1 세그멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행로 이루어진 행 확장 행렬 B을 발생하는 수단; 및

행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 의한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 수단;

상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여, 직교 기저함수에 의하여 상기 다항식 기저함수들을 직교 기저함수 f_i로 대체하고, 상기 입력행렬을 상기 직교 기저함수에 해당하는 제3 행렬로 수정하도록 이루어진 직교화 수단;

상기 제3 행렬을 입력으로써 수신하여, 상기 제3 행렬에서 상기 기저함수들의 i번째 기저함수에 해당하는 R에 따른 i번째 열을 제거함으로써 상기 제4 행렬로 수정하여, 상기 제4 행렬을 공급하는 출력단을 구비하는 제거수단;

상기 제4 행렬을 사용하여 제2모션계수들을 계산하는 수단; 및

상기 제2 모션계수를 수신하는 입력단을 구비하고, 상기 제2 모션계수를 양자화하도록 이루어진 양자화 수단;을 포함하고,

상기 디코더는,

영상데이터 프레임을 저장하는 수단;

상기 저장된 영상데이터 프레임과 수신된 모션정보를 기초로 영상데이터 프레임을 예측하는 수단;

수신된 예측오차 데이터를 디코딩하여 예측오차 프레임을 구하는 수단(84); 및

상기 예측 영상데이터 프레임과 상기 디코딩된 예측오차 프레임을 기초로 갱신된 영상데이터 프레임을 계산하여 출력하며, 갱신된 영상데이터 프레임을 상기 저장수단에 저장하는 수단;을 포함하고,

상기 영상데이터 프레임 예측수단은,

수신된 모션데이터를 상기 갱신된 양상데이터 프레임을 세그멘트들(S_i)로 분할하는 것에 관한 데이터, 모션필드 모델 기초함수들의 집합에서 기저함수들을 선택하는 것에 관한 데이터, 및 선택된 기저함수들의 계수들에 관한 데이터중에서 적어도 둘 이상으로 디멀티플렉싱하는 수단;

상기 선택된 기저함수들과 계수들로부터 각 세그멘트(S_i)내의 상기 모션벡터필드를 재구성하는 수단; 및

상기 재구성된 모션벡터 필드와 상기 저장된 영상데이터 프레임을 기초로 상기 예측프레임을 계산하는 수단;을 포함한다.

본 발명의 실시예들은 첨부된 청구항의 독립항들에서 정의된다.

본 발명의 첫 번째 실시예에 따른 인코더는 세그멘트들에 대한 머징을 수행하고 계산적으로 효율적인 방법으로 머징된 세그멘트들에 대하여 왜곡을 최소화하는 모션 계수 집합을 구한다. 이러한 본 발명의 태양은 필요시 세그멘트 머징에 의하여 간단하고 효율적인 왜곡 평가를 가능하게 한다. 바람직하기는 이러한 태양에 따른 인코더는 미리 정의된 측정값에 따른 추가 왜곡을 계산하고 추가 왜곡들이 예를들어 주어진 임계값 이하이거나 달성된 비트율 저감에 대하여 허용가능한 것과 같이 허용가능 수준인 경우에는 그 세그멘트들을 머징함에 의하여 영상 프레임의 인접 세그멘트들에 대하여 적응적 머징을 수행하는 것이 바람직하다. 이러한 왜곡의 계산에 대하여 선택된 측정값은 일예로 세그멘트내의 에너지 또는 제곱 예측오차와 같은 예측오차에 대한 측정값이 될 수 있으나 이에 한정되지는 않는다. 또 다른 측정값은 예를들어 원 프레임과 인코딩 및 디코딩 이후에 복구된 원 프레임 사이의 제곱편차가 될 수 있다. 이러한 목적을 위하여 상기 모션 필드 인코더는 비디오 인코더내에 세 개의 주블록들을 포함한다.

첫 번째 블록은 QR 모션분석기라 칭한다. 상기 QR 분석기는 모션필드 평가기에 의하여 만들어진 입력 모션 벡터 필드의 새로운 표현을 찾는 임무를 수행한다. 상기 신규 표현은 제2 주블록에 인가된다. 이 제1 주블록내의 동작들은 행렬연산들을 구비하는 복수의 단계들을 포함한다. 제1 단계에서는 예측 프레임이 선형함수의 모션 벡터들이 되도록 몇몇 알려진 근사화 방법을 사용하여 선형화된다. 제2 단계에서는 예를들어 제곱 예측오차와 같은 적당한 예측오차값을 최소화하도록 행렬 E_i과 행렬 y_i이 구성된다. 행렬 E_i은 두 행렬 Q_i와 R_i의 곱으로 분해된다. 또한, 계수 행렬 Q_i와 행렬 y_i로부터 보조 벡터 z_i가 계산된다. 행렬 R_i과 보조벡터 z_i의 일부는 제2 주블록에 인가된다.

세그멘트 머징 블록으로 불리우는 제2 주블록은 세그멘트들 S_i와 S_j의 쌍에 대하여 머징연산을 수행한다. 상기 제2 블록은 결합된 영역에 대하여 S_i과, S_j의 결합영역내의 모션이 공통 모션필드를 사용하여 예측될 수 있는지의 여부를 점검하는 것이 바람직하다. 머징 연산에서는 상기 계수행렬들을 기초로 행렬식이 우선 구성되고, 그 다음에는 알려진 행렬계산 방법들을 사용하여 계수행렬들이 처리된다. 그결과, 간단하고 효율적인 방법으로 고려 대상인 세그멘트 쌍에 대하여 공통적인 모션 계수들을 계산할 수 있도록 하는 행렬식이 만들어진다. 이거한 계수들을 사용함으로써, 머징된 세그멘트들의 영역내에서 선택된 왜곡 측정값이 계산될 수 있다. 상기 왜곡 측정값은 왜곡 측정으로써 제곱 예측 오차가 사용되면, 결과적인 행렬들중의 하나에 포함된 항들을 기초로 용이하게 계산될 수 있다. 만일, 예측오차 측정값의 변화가 선택된 조건에 대하여 허용가능하면, 상기 세그멘트들은 머징된다. 세그멘트에 대한 머징이 과도한 왜곡을 유발하는 경우에는 머징이 일어나지 않는 것이 바람직하다.

모든 세그멘트들 쌍이 고려되고 나서 상기 세그멘트 머징블록의 출력은, 저감된 세그멘트 수에 의한 새로운 이미지 분할이 된다. 또한, 각 세그멘트에 대하여 상기 블록은 간단하고 효율적이 방법으로 모든 모션 계수들을 계산할 수 있도록 하는 행렬 R¹ _k과 행렬 z¹ _k을 출력한다. 또한, 상기 인코더는 프레임내에서 결과적인 신규 세그멘트들을 재구성할 수 있도록 하는 정보를 디코더로 공급한다.

본 발명의 이러한 태양에 따른 세그멘트 머징 블록은 세그멘트들이 하나로 머징될 수 있는지에 대하여 계산적으로 간단하게 결정할 수 있도록 한다. 가능한 한 많은 블록들을 머징하는 것은 각 인접한 세그멘츠 쌍에 대하여 머징이 가능한지를 결정하고, 프레임내에 머징할 수 있는 인접 세그멘트들이 존재하지 않을 때까지 상기 과정을 반복함에 의하여 달성될 수 있다.

본 발명의 일실시예에 따르면, 세그멘트 머징에 의하여 발생되는 왜곡의 양은 기저함수들의 선형적 조합에 의하여 모션벡터 필드를 근사화함에 따른 부가적인 왜곡에 대한 선형 근사화를 기초로 계산될 수 있다.

제3 주블록은 직교화 블록이라 칭한다. 이 블록은 입력으로써 현재프레임의 세그멘트들로의 분할로 모든 세그멘트들 S_k에 대하여 세그멘트 머징블록으로부터 행렬 R¹ _k과 z¹ _k을 수신한다. 상기 블록은 영상 세그멘트의 모션벡터들을 나타내는 다항식 기저함수를 직교 다항식으로 대체한다. 직교화는 모션필드 모델이 모션계수들을 양자화함에 따른 양자화 오차에 덜 민감하도록 하고, 보다 적은 비트로써 모션벡터 필드를 표현할 수 있도록 한다.

본 발명의 두 번째 태양에 따른 인코더는 세그멘트의 모션벡터 필드를 표시하는 계수집합에서 계수들을 제거하고 왜곡 측정값과 관련하여 칙적 잔류 계수들을 계산적으로 효율적인 방법으로 구할 수 있도록 하는 제4 블록을 추가적으로 포함한다. 또한, 필요시, 본 발명의 이러한 태양은 이러한 집합의 특정 계수에 대한 제거가 모션 필드에서 현저하게 왜곡을 증가시키는지의 여부를 점검할 수 있게 한다. 이러한 점검은 계산적으로 효율적인 방법으로 수행됨으로써 각 세그멘트 S_i에 대하여 상기 집합의 계수가 이러한 점검이 용이하다. 누락될 경우 왜곡을 현저하게 증가시키는 것으로 밝혀진 계수들을 디코더로 전송하기만 하면 된다.

본 발명의 세 번째 태양에 따른 인코더는 본 발명의 첫 번째 태양에서의 제1 주블록과 유사한 방법으로 동작하는 제1 주블록을 포함한다. 또한, 상기 인코더는 상기 두 번째 태양의 제4 주블록과 등가적인 제2 주블록을 포함한다. 상기 제2 주블록은 모든 세그멘트 S_i에 대하여 상기 제1 블록에 의해 발생된 행렬 R_i과 보조벡터 z_i를 수신한다. 상기 제2 주블록은 필요시 행렬 R_i과 보조벡터 z_i를 기초로 상기 세그멘트들에 대하여 허용 불가능하게 왜곡을 증가시키지 앎고 모델로부터 기저함수들을 제거함으로써 모션 필드 모델을 간략화할 수 있는지를 결정한다.

이 제2 주블록의 동작은 행렬연산이며, 상기 행렬은 행렬식 R_ic=z_i의 행과 열을 제거함으로써 우선 수정되는 행렬 연산이며, 여기서 c는 상기 모델의 계수들 c_i을 포함하는 벡터이다. 한 열과 행을 제거하는 것은 모션 모델로부터 하나의 기저함수를 제거하는 것에 해당한다. 다음으로 상기 행렬식은 삼각화된다. 저감된 기저함수 집합에 해당하는 모션계수들은 결과적인 선형 등식을 푸는 것에 의하여 계산된다. 상기 등식은 역대입(backsubstitution) 또는 기타 잘 알려진 알고리즘들을 사용하여 풀어질 수 있다. 만일 예측오차가 왜곡 측정값으로써 사용되면, 기저함수의 제거에 의하여 유발된 세그멘트에 대한 변화는 결과적인 등식내의 한 항의 간단한 미리 정의된 함수가 된다.

상기 세그멘트에 대하여 보다 많은 계수들이 이러한 행렬 연산들을 계속 반복함에 의하여 제거될 수 있다. 이러한 접근 방법을 사용함으로써, 사용자는 각기 다른 저감된 기저함수 집합을 사용할 경우 그 왜곡 수준을 구할 수 있다.

계수제거 블록은 처리된 모든 세그멘트들에 대하여 어느 기저함수들이 모션필드 모델로부터 제거되었는지를 나타내는 선택정보를 출력한다. 또한, 상기 블록은 잔류 기저함수들에 해당하는 새로운 모션계수들을 출력한다. 선택정보와 모션계수들은 모두 디코더로 전송된다.

기저함수 집합으로부터 기저함수를 제거하는 것은 제거된 기저함수에 해당하는 계수값을 설정하는 것과 완전히 등가적이다. 즉, 대안적인 실시예에서 상기 인코더는 모션 계수들 다음에 선택정보를 출력하는 대신에, 영과 동일한 값들을 가지고 제거된 기저함수들에 해당하는 계수를 가지는 모든 모션 계수들을 출력한다.

바람직하기는, 모션보상 비디오 인코더는 적응적으로 세그멘트들을 머징하는 것과 세그멘트 머징의 출력을 직교화하는 것과 전체적인 왜곡에 대하여 중요하지 않은 모션계수들을 제거하는 장점을 가진다. 이러한 실시예의 인코더는 상술한 네 블록들, 즉, 본 발명의 첫 번째 태양에 따른 일면 QR 모션분석기, 세그멘트 머징블록, 직교화 블록과, 본 발명의 두 번째 태양에 따른 계수제거 블록을 모두 포함한다. 상기 계수 제거블록은 현재의 세그멘트들의 분할을 수신하고, 상기 세그멘트 머징블록으로부터 행렬 R¹ _k과 z¹ _k를 수신하여, 모션필드 모델을 세그멘트 머징으로부터 구한 세그멘트들에 대하여 직교화한다. 다음으로 계수제거 블록은 직교화블록에 의하여 발생된 모든 세그멘트들 S_k에 대한 행렬과을 수신한다. 인접 세그멘트에 대한 머징이후와 계수 제거를 위한 R¹과 벡터 z¹의 연산 이후에만 각 세그멘트에 대한 계수들 c_i이 전송을 위하여 계산됨으로써, 비디오 디코더에 의하여 출력된 모션 데이터의 양에 대한 실질적인 저감이 이루어지게 된다.

바람직하기는, 본 발명에 따른 비디오 인코더와 디코더는 예를들어, 수신된영상 프레임들에 대한 인코딩 및 압축을 수행하고, 본 발명에 따라 인코딩된 영상 데이터를 디코딩하기 위하여 사용되는 하나이상의 집적회로와 같이 하드웨어에 의하여 구현된다.

영상코딩 기술분야에서는 각기 다른 영상 프레임영역들은 각기 다른 코딩규칙을 사용하여 코딩되는 것이 일반적이다. 이러한 코딩모드의 가변성은 또한 코덱(codec)내에서 사용되는 모션보상 예측방법을 포함한다. 몇가지 모드들은 ISO MPEG-1 및 MPEG-2 비디오 코딩 표준 뿐만 아니라 ITU H.261 및 H.263과 같은 모든 최신 비디오 코덱들에서 사용된다.

예를들어, 몇몇 영상 프레임 영역들은 전혀 시간적인 예측을 사용하지 않고 코딩된다(일명 인트라 블록들). 이러한 이미지 영역들의 경우에는 모션 계수들이 전송되지 않으며, 그 영역들은 다른 이전의 이미지들을 참조하지 않고 코딩된다. 본 발명의 실제적인 실시예는 이러한 인트라 코딩과 결합된다.

또한, 일반적인 비디오 이미지 시퀀스들에서 많은 영상 프레임 영역들은 수 프레임 동안 정적인 상태를 유지(이를테면, 움직임이 없는)한다. 정적인 상태를 유지하고 있는 영역을 검출하는 것은 영상 프레임 영역의 모션을 평가하는 것보다 계산적으로 훨씬 용이하다. 따라서, 실제적인 비디오 코덱들은 어떠한 움직임이 있는지와 전송하는 것이 요구되는 모션 변수들이 전혀 없는 정적인 예측모드를 포함하는지를 감지하기 위하여 종종 상기 영역을 점검한다. 본 발명의 실제적인 실시예는 이러한 정적 모드를 결합한다.

MPEG 비디오 코딩 표준들은 또한 두 개의 기준 프레임들에 대하여 모션 평가가 수행되는 코딩 모드들을 포함한다(쌍방향 예측). 결과적으로 인코딩될 영역에 대하여 두 개의 각기 다른 예측이 수행된다. 상기 인코더는 이러한 예측들중에서 더 나은 것을 결정하여 사용하거나 두 예측을 조합하여 사용(예를들어, 평균화에 의하여)하도록 결정하는 것이 가능하다. 상기 모드에 관한 결정은 디코더로 전송하는 것이 요구된다. ITU H.263 표준은 또한 두 개의 기준 프레임을 사용하는 시간적 예측 모드를 포함한다. 본 발명은 복수의 기준 프레임들을 사용하는 유사한 기술로부터 장점을 취한다는 것이 명백하다.

따라서 당업자에 있어서 본 발명은 비디오 코덱내에서 종래 기술의 코딩모드들(인트라 코딩, 정적 코딩, 또는 복수의 기준 프레임들과 같은)과 함께 사용되는 하나이상의 코딩모드에 대한 기초가 될 수 있다는 것이 명백하다.

이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들을 기술하기로 한다.

도 1에 도시한 비디오 인코더의 출력은 세그멘트들 S_i로 분할된 압축프레임이 되고, 각 세그멘트 S_i는 개별적인 세그멘트의 각 픽셀 (x,y)에 대한 모션벡터들에 관한 정보를 수반한다. 다음으로, i=1,2,...,P 에 대하여 좌표들 (x_i,y_i)을 갖는 P 개의 픽셀로 이루어진 세그멘트 S_i에 대하여, 모션필드 인코더(3)는 모션필드 평가블록(2)에 의하여 출력된 모션벡터 필드를 구하는 것이다.로 표시되는 모션계수들은을,

[수학식 4a]

[수학식 4b]

의 형태의 선형 근사화 모델에 사용하여,

[수학식 5]

로 주어지는 제곱예측오차(square prediction error: SPE)를 최소화하도록 가능한 한 정밀하게 근사화하는 모션벡터 필드를 나타낸다.

도 5에는 본 발명에 따른 비디오 인코더내 모션필드 인코더의 실시예를 나타내었다. 이는 도 1의 블록(3)에 해당하지만, 기준 프레임과 현재 프레임을 입력한다. 이 블록으로의 세 번째 입력은 도 1의 모션필드 평가블록(2)에 의하여 발생된 모션벡터 필드이다.

상기 역할을 완수하기 위하여 모션필드 인코더(3)는 QR 모션분석기 블록(31), 세그멘트 머징블록(32), 직교화블록(32b), 및 모션계수제거블록(33)의 네 개의 주요 빌딩블록(building block)들로 구성된다. 세그멘트 머징블록(32)과 직교화 블록(32b), 및 모션계수 제거블록(33)은 예측을 부정확하게 하고 그에 따라 제곱예측오차의 증가를 유발하는 모션정보의 양을 저감시킨다.

QR 모션분석기의 목적은 세그멘트 머징, 직교화, 및 계수제거가 예측오차에 얼마나 큰 영향을 주는지를 효율적으로 결정하기에 적합한 모션필드의 새로운 표현을 찾는 것이다. 이러한 새로운 표현은 머징된 세그멘트와 계수제거에 대한 모션계수들에 대한 빠르고 유동적인 결정을 위한 다른 세 블록들에서 다음에 사용된다. 도 6에는 본 발명에 따른 QR 모션 분석기의 일실시예를 도시하였다. 이 블록은 기준프레임 입력 R_ref을 수신하는 경사필터(41)를 포함한다.

경사필터의 출력들 G_x, G_y은 행렬 E를 구축하기 위한 블록(42)과 벡터 y 를 구축하기 위한 블록(45)으로 입력된다. 행렬 구축블록(42)은 기준프레임 R_ref에 대한선형화를 수행하며, 이로써 근사화된 기준프레임은과의 선형함수가 되고, 또한 블록(42)은 이러한 선형화를 기초로 상기 수학식 5a와 수학식 5b 내 계수 c_i의 벡터 c가 승산되는 행렬 E가 계산되며 만일가 선형 모션모델에 대한 기저함수의 선형적 조합으로 대치되면 결과적인 예측오차로써 해석될 수 있다.

빌딩벡터 y를 구축하기 위한 블록(45)은 현재프레임 I_n, 기준프레임 R_ref, 경사필터(41)의 출력 G_x, G_y및 도 1 내의 블록(2)에 의하여 평가된 모션벡터들을 수신하여, 이러한 입력들로부터 상기 벡터 y를 계산한다.

행렬 E와 벡터 y는 QR 인수분해기 블록(43)과 행렬 승산기 블록(46)에 의하여 각각 수신된다. 이러한 블록들의 기능은 주어진 세그멘트의 모든 픽셀들에 대하여를 기저함수 f_i의 선형적 조합으로써 표현함에 따른 예측오차가 고유 예측오차에 가능한 한 근접하도록 계수들 c_i을 구할 준비를 하기 위한 행렬 E와 벡터 y의 좌표변환으로써 간주될 수 있다. 이는 이하에서 보다 상세하게 기술하기로 한다.

블록(43)은 행렬 E를 행렬 Q의 좌표내에서 표현함에 따른 결과적인 행렬 R을 출력하며, 또한 행렬 Q를 출력한다. 블록(46)은 상기 벡터 y 뿐만 아니라 블록(43)으로부터 행렬 Q를 수신하여, 행렬 Q 좌표에서의 y를 표시하는 벡터 z를 구한다. 행렬 Q는 직교적인 것이 바람직하다. 이하에서 보다 상세하게 기술되어지는 바와 같이, E와 y를 각각 R과 z로 표현하는 것은 인접한 세그멘트들이 허용가능한 수준의 예측오차 증가로써 머징될 것인지를 결정하는 것과, 이를테면 수학식 5a와 수학식 5b에서 계수들 c_i의 집합에서 비유효 계수들을 제거하는데 있어 머징된 또는 머징되지 않은 모션벡터 필드을 표현하는데 필요한 최소 계수 수를 구하는데 매우 유리하다.

블록(44)과 블록(47)은 각각 행렬 R과 벡터 z를 수신하여 이들로부터 세그멘트 머징 및/또는 모션 계수 제거의 효과를 판정하는데 요구되는 행들을 선택한다. 이러한 동작들은 상기 계수들 c_i을 계산할 필요없이 R과 z를 기초로 수행된다. 또한, 모든 행 연산은 R의 행과 z의 해당 행을 모두 참조하므로 R과 z는 세그멘트 머징 및/또는 모션 계수 제거를 목적으로 R의 열들을 포함하고 추가 열로써 벡터 z를 포함하는 단일 열 확장 행렬 A로써 간주된다. 따라서, 블록(44)과 블록(47)은 A의 적절한 행들을 선택하고, A의 선택된 행들을 포함하는 수정된 행렬 A'을 출력함에 의하여, 행렬 A를 연산하기 위한 하나의 블록으로써 간주되고 구현될 수 있다. A'은 R 의 R¹으로 표시되는 선택 행들과 z의 z¹으로 표시되는 선택 행들을 포함한다.

세그멘트 머징블록(32)은 R¹과 z¹, 즉, 각 세그멘트에 대한 행렬 A'을 수신하여 동일한 계수 집합으로 두 세그멘트 S_i, S_j의 모션벡터 필드들을 표현함으로써 두 세그멘트들을 머징하는 것이 허용가능한 수준의 예측오차 증가를 유발하는지를 판정한다. 이는 세그멘트 S_i에 대한 행렬 A'_i과 세그멘트 S_j에 대한 행렬 A'_j의 모든 행들을 포함하는 열 확장 행렬 B를 발생함에 의하여 수행된다. 세그멘트 S_i, S_j는인접할 수 있으나, 반드시 그러할 필요는 없다. 행렬 B는 예를들어 행렬 B의 삼각화에 의하여 좌표 변환됨으로써 수정된 행렬 B'이 된다. 도 5에서 블록(32)은 벡터들 z¹ _i및 z¹ _j에 의한 열들과 행렬들 R¹ _i및 R¹ _j에 의한 B'의 열들 내에서 영을 가지는 행들의 행렬 B'내에서 선택된 구성요소들로부터 세그멘트 머징이 가능한지를 판정한다. 계속적인 상기 좌표변환은 직교적인 것이 바람직하다. 다음으로 머징으로 인한 추가적인 예측오차는 상기 선택된 구성요소들의 제곱의 합이 된다.

직교화블록(32b)는 각 세그멘트에 대하여 프레임 재분할 이후에 해당 세그멘트가 머징되지 않고 남아 있으면 상기 행렬 A'을 수시한고, 머징된 세그멘트들의 경우에는 행렬 B'을 수신하며, 세그멘트 머징블록(32)으로부터 머징정보를 수신한다. 다음으로 블록(32b)은 이러한 세그멘트들을 표현하는 다항식 기저함수들을 직교다항식들로 대체함으로써 행렬 A' 또는 B'을 수정한다. 세그멘트화 정보를 가지는 수정된 행렬들은 블록(33)으로 출력된다. 수정된 행렬들은 그들이 머징되지 않은 것, 또는 머징된 것으로부터 나온 것인지에 따라 각각과로 표시된다.

각 세그멘트에 대하여 도 5의 모션계수 제거블록은(33)은

프레임 재분할 이후 해당 세그멘트가 머징되지 않고 남아 있으면 상기 행렬을, 머징된 세그멘트들의 경우에는을 수신하여, 허용가능한 수준의 예측오차 증가로써 계수 c_i의 제거가 가능한지를 판정한다. 이는 블록(33)에 의하여 행렬또는 행렬으로부터 이를테면 계수 c_i에 해당하는 행을 감산함에 의하여 수행된다. 다음으로 계수제거에 따라 발생되는 추가적인 예측오차는 상기 변환행렬의 선택된 구성요소로부터 계산될 수 있으며, 여기서 선택된 상기 구성요소는 상기 변환 행렬의 z¹에 의한 열과 R¹으로 인하여 모든 열들에서 영을 가지는 이 행렬의 행에 위치하는 것이다.

도 5에서 승산기(34)는 블록(32)로부터 머징정보를 수신하며, 여기서 상기 정보는 전송을 위하여 선택된 계수들 c_i에 관한 정보이며, 선택된 계수들 c_i은 최종적으로 상기 변환행렬을 기초로 블록(33)에 의하여 계산된다. 승산기(34)에 의하여 전송된 정보는 다음으로 비디오 디코더(미도시)로 출력된다.

더 상세하게, QR 모션분석기의 연산은 다음의 단계들로 이루어진다.

제1 단계는 오차의 선형화 단계이다. 이 단계에서는 몇몇 알려진 근사화 방법을 사용하여 수학식 5의 오차프레임 R_ref이 근사화됨으로써 상기 프레임은에 대하여 선형적으로 된다. 다음으로 수학식 5에서의 합에 속하는 구성요소들은 계수 c_i의 선형적 조합이 된다.

[수학식 6]

본 발명의 바람직한 실시예에서는 12 계수들을 가지는 이차 다항식 모션벡터 필드 모델:

[수학식 7a]

[수학식 7b]

이 사용된다. 실제적으로 이 모델은 비디오 시퀀스내의 모션이 매우 복잡하더라도 아주 잘 처리하며, 양호한 예측결과를 얻는다.

QR 모션 분석기 블록에서는, i=1,2,...,P 라 할 때 점:

주변의 모든 픽셀 (x_i,y_i)의 R_ref에 대한 테일러(Taylor) 전개를 사용하여 제1 단계의 선형화가 수행된다.의 성질을 사용하면 예측오차는,

가 된다. 보조값 g_j(x,y)은 다음의 공식:

을 사용하여 계산된다. 여기서 함수 f_j(x_i,y_i)는 수학식 4a와 수학식 4b, 특히 수학식 7a와 수학식 7b에서 정의된 모션필드 모델에 따른 미리 정의된 기저함수이다.

제2 단계는 행렬들의 구축단계이다. 행렬들의 구축은 수학식 6에 의한 SPE의최소화가 행렬식 (Ec-y)^T(Ec-y)의 최소화와 완전히 등가라는 사실을 기초로 하며, 여기서 E와 y는 수학식 7과 같다.

[수학식 8]

수학식 8에서 행렬 E와 벡터 y는 다음 공식들:

을 사용하여 구축된다.

G_x(x,y) 와 G_y(x,y) 는 다음 공식:

을 사용하여 계산된 기준프레임 R_ref(x,y)의 수평 및 수직 경사값이다.

R_ref(x,y), G_x(x,y), 및 G_y(x,y)의 픽셀값은 정수 좌표계들 x와 y에 대하여만 정의된다. x 또는 y가 정수가 아니면 그 픽셀값은 예를들어 정수 좌표계와 가장 가까운 픽셀들에 대한 쌍일차 보간(bilinear interpolation)을 사용하여 계산된다.

제3 단계는 QR 인수분해 단계이다. 행렬의 QR 인수분해는 잘 알려져 있으며, 적절한 알고리즘들이 지. 에이치. 골르브(G. H. Golub)와 씨. 반 론(C. van loan)에 의한 자료["Matrix computation(행렬계산)", 제2 판, Johns Hopkins University Press(존스 홉킨스 대학출판), 1989]에 개시되어 있다. 이 알고리즘은 E를 수학식 9과 같이 두 행렬의 곱으로 분해하는데 사용된다.

[수학식 9]

다시 말하면, R은 Q 좌표계에서의 E의 표현이다. Q는 직교적인 것이 바람직하며, 이로써 이를테면, R의 N+M+1 에서 P 행들이 모두 영인 것과 같이, R이 역삼각형을 취한다.

이 단계에서는 수학식 9와 같이 보조벡터 z가 계산된다. 여기서, 수학식 9는 다음과 같다.

[수학식 10]

제4 단계에서는 QR 모션분석기 블록의 출력이 계산된다. 상기 출력은 행렬 R의 처음 N+M 행들로 구성된 행렬 R¹과 z의 처음 N+M 성분들로 이루어진 벡터 z¹를 포함한다.

세그멘트 머징블록에서 머징 연산은 인접 세그멘트들 S_i와 S_j쌍에 대하여 도 4에 도시한 바와 같이 모션계수 c_ij에 의하여 기술되는 공통 모션필드를 사용하여그들의 조합 영역 S_ij이 예측될 수 있는지를 판정함으로써 수행된다. 머징연산은 다음의 단계들로 이루어진다.

제1 단계는 행렬계산 단계를 포함한다. 본 발명은 머징된 세그멘트 S_ij내의 예측오차를 최소화하는 모션 계수들 c_ij은 역시 스칼라값:

[수학식 11]

을 최소화한다는 종래에 알려지지 않은 성질을 사용한다. 여기서, R¹ _i, z¹ _i및 R¹ _j, z¹ _j는 각각 세그멘트들 S_i와 S_j에 대하여 상술한 바와 같은 QR 분석기 블록에 의하여 이미 만들어진 것이다. 이러한 수학식 10의 최소화는

[수학식 12]

의 등식에 대한 위에서 정의된 시스템을 최소 제곱적으로 푸는 것과 등가적이다.

제2 단계는 제1 단계에서 구한 행렬들의 삼각화 단계이다. 상술한 자료의 교훈에 따라 세그멘트 S_i에 대한 E의 인수분해, 즉 E_i와, 세그멘트 S_j에 대한 E의 인수분해, 즉 E_j가 사용되면, 행렬들은 역삼각형으로 되고 수학식 12에서:

의 시스템은,

[수학식 13]

의 형태를 가지며, 여기서, 부호 ×는 영이 아닌 요소를 나타내고,는 벡터의,는의 k번째 성분을 표시한다.

수학식 13의 시스템은 행들에 스칼라에 의한 일련의 승산을 인가하고, 그 다음에 행들을 부가함에 따라 삼각화되어, 이를테면 다음의 형태:

[수학식 14]

로 변환된다. 이러한 삼각화를 위하여 상술한 자료들에 따른 QR 인수분해가 사용될 수 있다.

제3 단계에서는 머징오차가 평가된다. 세그멘트들 S_i와 S_j의 머징에 기인한 세그멘트 S_ij에서의 제곱예측 오차의 변화는 수학식 13에 따라 계산된다.

[수학식 15]

본 실시예에서는 수학식 13의 QR 인수분해에 따라 직교적인 Q를 얻게 됨으로써 수학식 15은 매우 간결하게 된다. 하지만, 이러한 인수분해에서는 Q의 특성들에 따라 예측오차에 대한 측정값으로써 제곱예측오차가 사용될 경우에는,는 개괄적으로 k=1,...,N+M 이라할 때 q² _k의 함수가 되고, 물론 예측오차에 대한 다른 측정값들이 실제적이며, 따라서, q_k와사이의 다른 함수적인 관계가 사용될 수 있다.

마지막으로, 제4 단계에서는 수학식 15에서의 제곱예측오차의 변화가 선택된 조건에 의하여 허용가능한 경우 세그멘트들이 머징된다. 세그멘트 머징블록은 세그멘트 머징을 위하여 다음의 전략을 사용한다.

1) 전체 프레임에서 허용 제곱예측오차의 증가에 해당하는 임계값(T)이 선택된다.

2) 인접 세그멘트들의 모든 쌍들에 대하여 수학식 13을 사용하여가 계산된다.

3) 가장 작은를 갖는 세그멘트 쌍이 머징된다.

4) 모든 머징된 세그멘트쌍에 해당하는의 합이 T 보다 클때까지 2) ~ 3)이 반복된다.

수학식 13의 시스템을 삼각화하기 위해서는 기븐스(Givens) 회전의 시퀀스가 사용될 수 있다.

결과적인 신규 세그멘트 S_ij에 대하여 행렬 R¹ _ij과 벡터 z¹ _ij는 수학식 14의 시스템의 처음 N+M 열들을 취함으로써 구축되어, 이를테면 다음의 공식으로 주어진다.

[수학식 16]

프레임의 모든 세그멘트 쌍들이 고려된 다음에 세그멘트 머징블록의 출력이 구해진다. 상기 출력은 세 종류의 정보를 포함한다. 첫 번째로 상기 정보는 저감된 수의 세그멘트로써 이미지의 신규분할을 제공한다. 두 번째로 각 신규 세그멘트에 대하여 상기블록은 행렬 R¹ _k, 벡터 z¹ _k를 출력한다. 세 번째로 상기 블록은 디코더로 발송되는 머징정보를 제공하며, 상기 머징정보는 머징된 세그멘트들을 식별하도록 지원한다.

이제 등식의 시스템을 풀어 세그멘트 S_k에 대한 모션계수들이 계산될 수 있으나, 계수제거 블록(33)이 사용된다면 그러한 계산은 필요하지 않다. 또한, 이하에서 보다 상세하게 기술되어지는 바와 같이, 이 단계에서는 계수제거를 수행하기 이전에, 직교화블록(32b)내에서 세그멘트 머징으로부터 구한 세그멘트들에 관한 모션필드 모델을 직교화하는 것이 유리하다.

이 블록은 현재의 세그멘트들의 분할을 수신하고, 모든 세그멘트를 S_k에 대하여 상기 세그멘트 머징블록으로부터 수학식 16에 나타낸 행렬 R¹ _k과 z¹ _k을 수신한다. 이 직교화 블록에서는 직교 기저함수 f_i(·)가 직교 다항식로 대체된다. 다음으로 이 세그멘트에 대한 모션벡터 필드가:

[수학식 17a]

[수학식 17b]

와 같이 표현될 수 있다.

수학식 4a와 수학식 4b의 모션벡터필드는 수학식 17a와 수학식 17b의 그것과 완전히 등가적이지만, 계수가 c_i에 비하여 양자화에 덜 민감하여 더 적은 비트로써 표현될 수 있기 때문에 후자가 사용된다.

직교적 다항 기저함수의 계산은 비디오 인코더와 비디오 디코더내에 각 세그멘트의 형태와 모션모델에 대한 미리 정의된 기저함수들 f_i을 기초로 다음과 같이 수행된다.

개괄적으로, 통상의 다항식들의 임의의 형태를 가지는 세그멘트 영역내에서 직교적인 다항식들로 변환하기 위하여는 예를들어 그램-슈미트(Gramm-Schmidt) 알고리즘과 같은 잘 알려진 직교화 알고리즘들이 사용될 수 있다. 하지만, 주어진 세그멘트 주변의 사각형에 대하여 모션필드 기저함수를 직교화하는 것이 덜 복잡하다.

주어진 세그멘트 주변의 사각형에 대하여 모션필드 기저함수를 직교화는 다음과 같이 수행될 수 있다. N₁×N₁픽셀의 사각형에 대하여 일차원 다항식, 예를들어 르잔드르(Legendre) 다항식의 두 시퀀스가 계산된다.

i=1,..., N+M이라 할 때 이차원적(2-D) 직교다항 기저함수는 일차원(1-D) 직교 다항식:

[수학식 18]

의 텐서(tensor)곱으로써 구축된다.

다항식들의 선택에 관한 상세한 내용은 에이. 에이컨스(A. Akansu) 및 알. 하다드(R. Haddad)에 의한 "다해상 신호 분해(Multiresolution Signal Decomposition), 아카데믹 출판(Academic Press Inc.), 미국, 1992, pp. 55 ~ 56"에서 취할 수 있다.

직교 다항 기저함수는 k=1,2,...,i라 할때 다항식 기저함수 f_k(·)의 선형적 조합:

[수학식 19]

으로써 표현할 수 있도록 선택된다.

이러한 가정은 비직교에서 직교 기저함수로의 변환이 간단한 행렬 연산으로써 낮은 계산적 복잡성에 의하여 구현될 수 있도록 한다.

세그멘트의 모션벡터 필드를 기술하는 행렬들 R¹ _k과 z¹ _k은 기저함수들의 f_i(.)에서 그의 직교적 버전으로의 변화를 반영하도록 다시 계산될 필요가 있다. 수학식 19를 만족하는 직교적 다항식 기저함수에 해당하는 새로운 행렬과이,

[수학식 20]

[수학식 21]

에 따라 행렬 R¹ _k과 벡터 z¹ _k를 사용하여 계산될 수 있다.

행렬 T 는:

[수학식 22]

에 의하여 주어지며, 여기서, t_k,i는 수학식 23로부터 취해진다. i =1,...,N+M이라 할 때 직교다항 기저함수에 해당하는 세그멘트 S_ij에 대한 신규 모션벡터 계수가 i =1,...,N+M이라 할 때 직교다항 기저함수 f_i(.) 에 해당하는 계수들를 사용하여

[수학식 23]

을 계산하거나,

[수학식 24]

의 시스템을 푸는 것에 의하여 계산될 수 있다.

계수 제거 블록(33)은 입력으로써 현재 프레임의 세그멘트들로의 신규분할을 수신하며, 모든 세그멘트 S_k에 대하여 상기 블록은 직교화 블록에 의하여 만들어진 행렬들과을 수신한다. 모든 세그멘트에 대한 모션 벡터 필드들은 N+M 모션 필드 모델 기저함수들로써 나타낼 수 있으며, 여기서 N과 M은에 대한 모션필드 모델에 의하여 결정된다.

모션계수 제거블록(33)은 세그멘트 S_k에 대하여 상술한 바와 같이 예측오차를 과도하게 증가시키지 않고도 모션 필드 모델을 단순화하는 것이 가능한지를 결정한다. 수학식 17a와 수학식 17b의 모델로부터 일정 기저함수들이 제거되면 간략화한 모션모델 필드가 구해지며, 이러한 간략화된 모션필드 모델을 기술하는데는 보다 적은 계수들이 요구된다.

i 번째 기저함수(및 i 번째 계수)가 모션필드 모델로부터 제거될 수 있는지를 알아내기 위하여 블록(33)에 의하여 세그멘트들에 대해 다음의 절차가 수행된다.

제1 단계는로부터 i 번째 열을,로부터 i 번째 성분을 제거함으로써 수학식 24의 선형 등식 시스템이 수정되는 행렬수정 단계를 포함한다.

제2 단계는 상술한 자료에 기술된 상기 QR 인수분해 알고리즘을 사용하거나 기븐스(Givens) 회전의 시퀀스를 사용하는 행렬 삼각화 단계를 포함하는 것이 바람직하다. 즉, 수학식 15의 시스템은 행들에 대하여 일련의 승산을 사용하고, 그 다음에는 행들을 부가함에 의하여 알려진 방법으로 삼각화되어, 이를테면, 다음과 같은 형태:

[수학식 25]

로 변환된다.

제3 단계는 오차평가 단계를 포함한다. i 번째 계수의 제거에 의하여 유발되는 세그멘트에 대한 제곱예측오차의 변화는 단순하게 수학식 16의항과 동일하다. 또한, 이것은 직교적인 QR 인수분해에서의 Q를 기초로 유효하게 된다. 개괄적으로 Q의 특성과 예측오차에 대한 측정값에 따라 제곱예측오차는의 함수가 된다.

제4 단계는 계수들의 제거 단계를 포함한다. 만일 예측오차의 변화가 선택된조건에 의하여 허용가능한 경우 계수 c_i가 계수집합으로부터 제거된다. 계수들의 신규번호는 이제 N+M-1이 된다. 행렬과 벡터는 예를들어 다음의 형태:

[수학식 26]

의 QR 인수분해에 의하여 수정된다.

세그멘트에 대한 계수들의 수는 화학식 26을 기초로 제1 단계 내지 제4 단계를 반복함으로써 더 저감될 수 있다.

모션계수 제거블록에서는 계수제거를 위하여 다음의 전략이 사용된다.

1) 전체 프레임에서 허용 제곱예측오차의 증가에 해당하는 임계값(t)이 선택된다.

2) 모든 세그멘트들과 그 기저함수들에 대하여 수학식 16을 사용하여이 계산된다.

3) 가장 작은을 가지는 세그멘트에 대한 기저함수가 제거된다.

4) 각기 다른 세그멘트들 내의 제거된 모든 기저함수들에 해당하는 모든의 합이 t 보다 클때까지 2) ~ 3)이 반복된다.

마지막으로, 제5 단계는 계수계산 단계를 포함한다. 이 단계에서는 적절한계수 제거 다음에 수학식 24의 선형 등식 시스템의 해를 구함으로써 세그멘트 S_k에 대한 최종 모션계수들이 계산된다. 여기서, 행렬와 벡터는 이전의 제1 내지 제4 단계들의 결과이다. 상기 수학식은 역대입(backsubstitution)과 같은 잘 알려진 알고리즘들 중의 하나를 사용함으로써 풀 수 있다.

도 7에는 도 1의 모션 보상 예측블록(1)에 대한 바람직한 실시예를 도시하였다. 이 블록은 모션필드 코딩블록(3)에 의하여 출력된 모션정보와, 기준 프레임 R_ref(x,y)을 수신한다. 이러한 정보를 기초로 블록(1)은 예측프레임 P_n(x,y)을 출력한다. 도 7에 도시한 바와 같이, 모션보상 예측블록(1)은 모션필드 인코딩블록(3)으로부터 멀티플렉싱된 모션정보를 수신하여 이미지 분할 정보, 계수선택 정보, 및 전송된 모션계수들의 값과 같은 디멀티플렉싱된 모션정보 성분들을 출력하는 디멀티플렉서(11)를 포함한다. 참조번호(12)는 상기 이미지 분할정보와 기준 프레임을 수신하여 이미지 분할 정보에 따른 이미지 분할에 의한 프레임 세그멘트들을 출력하는 이미지 분할블록을 표시한다. 참조번호(13)는 기저함수 구축블록을 표시한다. 이 블록은 미리 정의된 기저함수 집합에서 모션필드 인코딩블록(3)내의 모션계수 제거블록(33)에 의하여 발생된 선택정보에 표시된 특정 기저함수들을 선택한다. 참조번호(14)는 상기 기준프레임 R_ref의 각 세그멘트에 대하여 결합된 기저함수 선택 및 결합된 모션계수들을 수신하여 모션벡터들을 계산하고, 이러한 모션벡터들을 기초로 각 세그멘트의 각 픽셀 (x,y)에 대한 예측프레임 P_n(x,y)을 계산하는세그멘트 예측블록을 표시한다. 모션보상 예측블록(1)은 그 구조와 기능적으로 도 2에 도시한 비디오 디코더의 모션보상 예측블록(21)에 해당한다. 두 모션보상 예측블록들은 도 1에 도시한 비디오 디코더의 모션필드 코딩블록(3)에 의하여 출력된 정보를 기초로 예측을 수행한다.

도 8에는 본 발명의 실시예에 따른 모션보상 디코더의 블록도를 도시하였다. 도 8을 참조하면, 상기 디코더는

영상데이터 프레임을 저장하는 수단(81);

상기 저장된 영상데이터 프레임과 수신된 모션정보를 기초로 영상데이터 프레임을 예측하는 수단(82);

수신된 예측오차 데이터를 디코딩하여 예측오차 프레임을 구하는 수단(84); 및

상기 예측 영상데이터 프레임과 상기 디코딩된 예측오차 프레임을 기초로 갱신된 영상데이터 프레임을 계산하여 출력하며, 갱신된 영상데이터 프레임을 상기 저장수단에 저장하는 수단(85);을 포함하고,

상기 영상데이터 프레임 예측수단은,

수신된 모션데이터를 상기 갱신된 양상데이터 프레임을 세그멘트들(S_i)로 분할하는 것에 관한 데이터, 모션필드 모델 기초함수들의 집합에서 기저함수들을 선택하는 것에 관한 데이터, 및 선택된 기저함수들의 계수들에 관한 데이터중에서 적어도 둘 이상으로 디멀티플렉싱하는 수단(11);

상기 선택된 기저함수들과 계수들로부터 각 세그멘트(S_i)내의 상기 모션벡터필드를 재구성하는 수단(13); 및

상기 재구성된 모션벡터 필드와 상기 저장된 영상데이터 프레임을 기초로 상기 예측프레임을 계산하는 수단(83);을 포함한다.

상술한 모든 블록들내 단계들의 결과로써, 본 발명에 따른 모션필드 인코더는 디코더에게 어느 세그멘트들이 머징되는지를 알려주는 머징정보, 디코더에게 어느 기저함수들이 제거되는지를 알려주는 선택정보, 및 계수정보를 발생한다.

본 발명이 종래기술 해법에 비하여 가지는 주요 장점은 예측오차를 크게 증가시키지 않고 모션정보의 양을 큰 비율로 줄일 수 있다는 것이다. 또한 가용의 신호처리기들 또는 일반적인 범용 마이크로프로세서상에서 실제적인 구현을 할 수 있도록 전체적인 시스템의 복잡성이 낮다.

세그멘트 머징블록은 개별적인 세그멘트들에 대하여 평가된 주어진 모션벡터들로부터 결합된 세그멘트들에 대한 모션벡터들을 구하는 독특한 능력을 가진다. 이는 상기 블록이 발생하는 모션벡터들이 결합 세그멘트에 대하여 낮은 제곱오차를 유지하는 면에서 실제적으로 최적이라는 것이 입증될 수 있다. 이로써 다만 온당한 제곱예측오차만의 증가로써 극적으로 세그멘트들의 수를 저감시킬 수 있는 이 블록의 역할이 설명된다.

본 발명에 따른 직교화블록을 사용함으로써 양자화 오차에 덜 민감한 모션필드 모델이 제공되고, 따라서 모션계수들을 양자화하는데 있어 보다 적은 비트들이사용될 수 있다.

모션계수 제거블록은 모션모델을 장면내의 실질적인 양과 종류의 모션에 순간적으로 적응시키는 매우 강력한 도구가 된다. 이 블록은 많은 수의 모델, 이를테면, 모션필드 기저함수들에 대한 모든 가능한 조합들을 가지는 예측의 결과(세그멘트에 대한 제곱예측오차의 값)를 용이하게 점검할 수 있다. 이러한 구조의 중요한 장점은 모션평가 과정을 반복할 필요가 없으므로 계산적으로 간단하다는 것이다.

QR 모션분석이 뒤따르는 모션평가를 사용함으로써, 모션필드 코더는 매우 간단한 선형 등식 시스템을 푸는 것에 의하여 모든 소망 이미지 세그멘트 조합 또는 세그멘트내의 모든 소망의 모션필드 모델에 대하여 새로운 모션계수들을 구할 수 있다.

본 발명에 따르면 영상 품질을 적게 떨어뜨리면서 큰 정도의 모션데이터 저감을 위해서는 세그멘트 머징, 직교화 및 계수제거 블록들이 조합되는 것이 바람직하다.

상기 시스템은 본 발명의 정신과 범위를 벗어남이 없이 다양한 방법으로 구현될 수 있다. 일예로 수학식 3에서는 다양한 선형 모션 모델들이 사용될 수 있다. 수학식 5의 항들을 선형화하는데는 다양한 방법들이 사용될 수 있다. 또한, 다양한 기준들이 두 세그멘트들을 머징할 것인지를 결정하는데 사용될 수 있다. 주어진 기저함수가 상기 모델로부터 제거되어야 하는지를 결정하는 전략은 변형될 수 있다. 수학식 12과 수학식 24에서 행렬들의 삼각화는 다양한 알고리즘들을 사용하여 수행될 수 있으며, 수학식 24을 푸는 것에 의하여 최종적인 계수들을 계산하는 것은 선형등식 시스템을 푸는 많은 알려진 알고리즘들을 사용하여 수행될 수 있다. 또한, 비정수 좌표내의 R_ref(x,y), G_x(x,y), 및 G_y(x,y)값들을 결정하기 위하여 보간방법들이 사용될 수 있다.

Claims (8)

1. 영상데이터의 모션보상 인코딩을 수행하는 인코더에 있어서,

   제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하는 입력단을 구비하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하도록 이루어지며, 상기 제1 영상프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 출력단을 구비하는 모션필드 평가수단(2);

   상기 모션벡터 평가수단으로부터 상기 제1 평가 모션벡터 필드를 수신하는 입력단을 구비하고, 영상프레임을 제1 세그멘트 S_i와 제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기 모션벡터 필드를 나타내는 제1 모션계수를 포함하는 압축된 모션정보를 구하도록 이루어진 모션필드 인코딩수단(3);

   상기 기준프레임 R_ref과 상기 압축된 모션졍보를 기초로 예측 영상데이터 프레임을 예측하는 모션보상 예측수단(1);

   상기 제1 영상데이터 프레임을 수신하는 입력단을 구비하고, 상기 예측 영상 데이터 프레임과 상기 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하도록 이루어지는 계산수단(6);

   상기 예측오차 프레임을 인코딩하는 예측오차 인코딩 수단(4);

   상기 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 수단(8);을 포함하고,

   상기 모션 인코딩 수단은,

   상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써, 근사화함으로써 c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트내의 왜곡에 대한 미리 정의된 측정값이 Ec-y의 함수가 되도록 각 세그멘트에 게하여 왜곡핸렬 E과 왜곡벡터 y를 계산하고 저장하는 수단(41,42,45);

   행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR = E이도록 상기 왜곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 수단(43);

   행렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산하는 수단(46);

   각 세그멘트에 대하여 행렬 R과 벡터 z를 추가 열로써 포함하는 열확장 행렬 A을 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의 모든 행들을 선택하는 수단(44,47);

   일정 한계내에서 상기 예측오차를 증가시키는 세그멘트의 선택적 조합을 기초로 세그멘트들을 머징하는 수단(32);

   상기 제1 세그멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행로 이루어진 행 확장 행렬 B을 발생하는 수단(32); 및

   행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 대한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 수단(32);

   상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여 직교 기저함수에 의하여 상기 다항식 기저함수들을 직교 기저함수 f_i로 대체하고, 상기 직교 기저함수와 상기 입력행렬 M을 사용하여 제2 모션계수를 계산하도록 이루어진 직교화 수단(32b); 및

   제2 모션계수를 수신하는 입력단을 구비하고, 상기 제2 모션계수를 양자화하도록 이루어진 양자화 수단;을 포함하는 것을 특징으로 하는 모션보상 영상 데이터 인코더.
2. 영상데이터의 모션보상 인코딩을 수행하는 인코더에 있어서,

   제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하는 입력단을 구비하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하도록 이루어지며, 상기 제1 영상프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 출력단을 구비하는 모션필드 평가수단(2);

   상기 모션필드 평가수단으로부터 상기 제1 평가 모션벡터 필드를 수신하는 입력단을 구비하고, 영상프레임을 제1 세그멘트 S_i와 제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기 모션벡터 필드를 나타내는 제1 모선계수를 포함하는 압축된 모션정보를 구하도록 이루어진 모션필드 인코딩수단(3);

   상기 기준프레임 R_ref과 상기 압축된 모션정보를 기초로 예측 영상데이터 프레임을 예측하는 모션보상 예측수단(1);

   상기 제1 영상데이터 프레임을 수신하는 입력단을 구비하고, 상기 예측 영상데이터 프레임과 상기 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하도록 이루어지는 계산수단(6);

   상기 예측오차 프레임을 인코딩하는 예측오차 인코딩 수단(4);

   상기 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 수단(8);을 포함하고,

   상기 모션 인코딩 수단은,

   상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써 근사화함으로써, c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트내의 왜곡에 대한 미리 정의된 측정값이 Ec-y의 함수가 되도록 각 세그멘트에 대하여 왜곡행렬 E과 왜곡벡터 y를 계산하고 저장하는 수단(41,42,45);

   행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된 기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR=E이도록 상기 왜곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 수단(43);

   핼렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산하는 수단(46);

   각 세그멘트에 대하여 행렬 R과 벡터 z를 추가 열로써 포함하는 열확장 행렬 A을 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의 모든 행들을 선택하는 수단(44,47);

   일정 한계내에서 상기 예측오차를 증가시키는 세그멘트의 선택적 조합을 기초로 세그멘트들을 머징하는 수단(32);

   상기 제1 세그멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행들로 이루어진 행 확장 행렬 B을 발생하는 수단(32); 및

   행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 의한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 수단(32);

   상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여, 직교 기저함수에 의하여 상기 다항식 기저함수들을 직교 기저함수 f_i로 대체하고, 상기 입력행렬을 상기 직교 기저함수에 해당하는 제3 행렬로 수정하도록 이루어진 직교화 수단(32b);

   상기 제3 행렬을 입력으로써 수신하여, 상기 제3 행렬에서 상기 기저함수들의 i번째 기저함수에 해당하는 R에 따른 i번째 열을 제거함으로써 상기 제4 행렬로 수정하도록 이루어지며, 상기 제4 행렬을 공급하는 출력단을 구비하는 제거수단(33);

   상기 제4 행렬을 사용하여 제2 모션계수들을 계산하는 수단; 및

   상기 제2 모션계수를 수신하는 입력단을 구비하고, 상기 제2 모션계수를 양자화하도록 이루어진 양자화 수단;을 포함하는 것을 특징으로 하는 모션보상 영상 데이터 인코더.
3. 제1항에 있어서, 상기 직교화 수단은 k=1,2,..,i, k와 i는 인덱스들, t 값들은 승산자들이며, N+M은 주어진 세그멘트의 모션벡터 필드를 표현하는 계수들의 수라 할때:

   인 다항식 기저함수들 f_k(·)의 선형적 조합으로써 직교 기저함수들을 선택하는 수단;을 포함하는 것을 특징으로 하는 모션보상 영상데이터 인코더.
4. 영상데이터의 모션보상 인코딩을 수행하는 방법에 있어서,

   (a) 제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하며, 상기 제1 영상 프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 단계;

   (b) 상기 제1 평가 모션벡터 필드를 수신하고, 영상프레임을 제1 세그멘트 S_i와 제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기 모션벡터 필드를 나타내는 제1 모션계수를 포함하는 압축된 모션정보를 구하는 단계;

   (c) 상기 기준프레임 R_ref과 상기 압축된 모션정보를 기초로 예측 영상데이터 프레임을 예측하는 단계;

   (d) 상기 제1 영상데이터 프레임을 수신하고, 상기 예측 영상데이터 프레임과 상기 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하는 단계;

   (e) 상기 예측오차 프레임을 인코딩하는 단계;

   (f) 상기 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 단계;를 포함하고,

   (g) 상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써 근사화함으로써, c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트의 왜곡에 대한 미리 정의된 측정값이 Ec-y의 함수가 되도록 각 세그멘트에 대하여 왜곡행렬 E과 왜곡벡터 y를 계산하고 저장하는 단계;

   (h) 행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된 기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR=E이도록 상기 왜곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 단계;

   (i) 행렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산하는 단계;

   (j) 각 세그멘트에 대하여 행렬 R과 벡터 z를 추가 열로써 포함하는 열확장 행렬 A을 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의 모든 행들을 선택하는 단계;

   (k) 일정 한계내에서 상기 예측오차를 증가시키는 세그멘트의 선택적 조합을 기초로 세그멘트들을 머징하는 단계;

   (l) 상기 제1 세그멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행로 이루어진 행 확장 행렬 B을 발생하는 단계;

   (m) 행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 의한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 단계; 및

   (o) 상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여 직교 기저함수에 의하여 상기 다항식 기저함수들을 직교 기저함수 f_i로 대체하고, 상기 직교 기저함수와 상기 입력행렬 M을 사용하여 제2 모션계수를 계산하도록 이루어진 직교화하는 단계; 및

   (q) 제2 모션계수를 수신하여 상기 제2 모션계수를 양자화하는 단계;를 포함하는 것을 특징으로 하는 모션보상 영상데이터 인코딩방법.
5. 영상데이터의 모션보상 인코딩을 수행하는 방법에 있어서,

   (a) 제1 영상데이터 프레임 I_n과 기준프레임 R_ref을 수신하고, 영상프레임 픽셀들의 장면 모션 변위를 기술하는 모션벡터필드를 평가하며, 상기 제1 영상프레임, 상기 모션벡터 필드, 및 상기 기준프레임 R_ref을 출력하는 단계;

   (b) 상기 제1 평가 모션벡터 필드를 수신하고, 영상프레임을 제1 세그멘트 S_i와 제2 세그멘트 S_j; 상기 제1 영상데이터 프레임 및 상기 기준프레임 R_ref의 적어도 두 세그멘트들로 분할하여, 상기 보션벡터 필드를 나타내는 제1 모션계수를 포함하는 압축된 모션정보를 구하는 단계;

   (c) 상기 기준프레임 R_ref과 상기 압축된 모션정보를 기초로 예측 영상데이터 프레임을 예측하는 단계;

   (d) 상기 제1 영상데이터 프레임을 수신하고, 상기 예측 영상데이터 프레임과 상기 제1 영상데이터 프레임을 기초로 예측오차 프레임을 계산하는 단계;

   (e) 상기 예측오차 프레임을 인코딩하는 단계;

   (f) 상기 모션계수들과 상기 예측오차 프레임을 디코더로 전송하는 단계;를 포함하고,

   (g) 상기 모션벡터필드를 다항식 기저함수 f_i집합의 계수들 c_i로써 근사화함으로써, c를 상기 모션계수들 c_i의 벡터라 할 때 각 세그멘트내의 왜곡에 대한 미리 정의된 측정값이 Ec-y의 함수가 되도록 각 세그멘트에 대하여 왜곡행렬 E과 왜곡벡터 y를 계산하고 저장하는 단계;

   (h) 행렬 E의 모든 열 벡터들에 대한 모든 가능한 선형적 조합에 의하여 정의된 기저 벡터공간인 행렬 Q의 모든 열 집합의 부분집합이고, 행렬 Q의 열들은 서로에 대하여 직교적이며 det이고 QR=E이도록 상기 왜곡행렬 E을 제1 행렬 Q과 제2 행렬 R로 분해하는 단계;

   (i) 행렬 Q^-1을 상기 제1 행렬 Q의 역행렬이라 할 때, z=Q^-1y에 따라 보조벡터 z를 계산하는 단계;

   (j) 각 세그멘트에 대하여 행렬 R과 벡터 z를 추가 열로써 포함하는 열확장 행렬 A을 발생하고, 행렬 R에 따라 모든 열들에서 영이 아닌 성분들을 가지는 행렬 A의 모든 행들을 선택하는 단계;

   (k) 일정 한계내에서 상기 예측오차를 증가시키는 세그멘트이 선택적 조합을 기초로 세그멘트들을 머징하는 단계;

   (l) 상기 제1 세그멘트 S_i에 대한 행렬 A의 상기 선택 행들과, 상기 제2 세그멘트 S_j에 대한 행렬 A의 상기 선택행로 이루어진 행 확장 행렬 B을 발생하는 단계; 및

   (m) 행렬 R에 따른 열들 내에 가능한 한 많은 행들이 영으로 채워지는 수정된 행렬 B'을 구하기 위하여 행렬 B의 행들에 영이 아닌 스칼라들에 의한 일련의 승산과 행렬 B의 행들의 합산을 수행하는 단계;

   (n) 상기 행렬들 A, B 및 B'중 하나를 입력행렬 M으로써 수신하여, 직교 기저함수에 의하여 상기 다항식 기저함수들을 직교 기저함수 f_i로 대체하고, 상기 입력행렬을 상기 직교 기저함수에 해당하는 제3 행렬로 수정하도록 이루어진 직교화 단계;

   (o) 상기 제3 행렬을 입력으로써 수신하고, 상기 제3 행렬에서 상기 기저함수들의 i번째 기저함수에 해당하는 R에 따른 i번째 열을 제거함으로써 상기 제4 행렬로 수정하여, 상기 제4 행렬을 공급하는 단계;

   (p) 상기 제4 행렬을 사용하여 제2 모션계수들을 계산하는 단계; 및

   (q) 상기 제2 모션계수를 수신하여 상기 제2 모션계수를 양자화하는 단계;를 포함하는 것을 특징으로 하는 모션보상 영상데이터 인코딩방법.
6. 인코딩된 영상데이터를 모션보상 디코딩하는 디코더에 있어서,

   영상데이터 프레임을 저장하는 수단(81);

   상기 저장된 영상데이터 프레임과 수신된 모션정보를 기초로 영상데이터 프레임을 예측하는 수단(82);

   수신된 예측오차 데이터를 디코딩하여 예측오차 프레임을 구하는 수단(84); 및

   상기 예측 영상데이터 프레임과 상기 디코딩된 예측오차 프레임을 기초로 갱신된 영상데이터 프레임을 계산하여 출력하며, 갱신된 영상데이터 프레임을 상기 저장수단에 저장하는 수단(85);을 포함하고,

   상기 영상데이터 프레임 예측수단은,

   수신된 모션데이터를 상기 갱신된 영상데이터 프레임을 세그멘트들(S_i)로 분할하는 것에 관한 데이터, 모션필드 모델 기초함수들의 집합에서 기저함수들을 선택하는 것에 관한 데이터, 및 선택된 기저함수들의 계수들에 관한 데이터중에서 적어도 둘 이상으로 디멀티플렉싱하는 수단(11);

   상기 선택된 기저함수들과 계수들로부터 각 세그멘트(S_i)내의 상기 모션벡터필드를 재구성하는 수단(13); 및

   상기 재구성된 모션벡터 필드와 상기 저장된 영상데이터 프레임을 기초로 상기 예측프레임을 계산하는 수단(83);을 포함하는 것을 특징으로 하는 모션보상 영상데이터 디코더.
7. 제6항에 있어서, 상기 모션벡터필드를 재구성하는 수단(13)은 상기 갱신된 영상데이터 프레임의 각 세그멘트(S_i)에 대하여 상기 기저함수 집합의 각 구성요소의 구조에 관한 데이터를 수신하도록 이루어진 것을 특징으로 하는 모션보상 영상데이터 디코더.
8. 제6항 또는 제7항에 있어서, 상기 모션벡터필드를 재구성하는 수단(13)은 각 세그멘트(S_i)에 대하여 세그멘트(S_i)의 형태에 의하여 결정된 영역에 대해 서로 직교적인 상기 모션필드 모델 기저함수 집합을 계산하도록 이루어진 것을 특징으로 하는 모션보상 영상데이터 디코더.