KR19980702924A - 다중 프레임에 대한 움직임 결정값의 좌표를 정하기 위한 방법및 장치 - Google Patents

Abstract

본 발명은 신호 레코드에서의 향상된 움직임 추정에 관한 것이다. 1개의 기준 이미지와 각 프레임이 입력 신호의 복수의 샘플로 이루어진 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 추정하기 위한 방법은, (1) 각 프레임에 대하여, 기준 이미지로부터 프레임까지 운동 영역을 추정하는 단계와, (2) 각 프레임에 대해서, 각 행이 1개의 프레임에 대응하며, 기준 이미지의 각 성분에 대한 움직임 벡터의 각 성분을 포함하는 움직임 행렬로 추정된 운동 영역을 변환하는 단계와, (3) 움직임 행렬에 대한 주성분 분석을 수행하여, 움직임 스코어 벡터라고 칭한 복수의 열벡터로 이루어진 움직임 스코어 행렬과 움직임 로딩 벡터라고 칭한 복수의 행벡터로 이루어진 움직임 로딩 행렬을 획득하고, 각 움직임 스코어 벡터가 각 프레임에 대한 1개의 성분에 대응하고, 각 움직임 로딩 벡터의 각 성분이 기준 이미지의 1개의 성분에 대응하며, 상기 움직임 스코어 행렬의 1열과 1개의 움직임 로딩 벡터가 함께 1개의 인수를 구성하고, 인수의 번호가 상기 프레임의 번호보다 낮거나 같도록 하는 단계와, (4) 각 프레임에 대하여, 움직임 로딩 벡터와 프레임에 대응하는 움직임 스코어를 곱해서, 각 프레임에 대한 움직임 가설을 생성하는 단계와, (5) 각 프레임에 대하여, 상기 부대 정보로서 움직임 가설을 사용하여, 기준 이미지로부터 상기 프레임까지 운동 영역을 추정하고, 상기 기준 이미지와 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 나타내는 단계(5)에서 추정된 운동 영역을 출력하는 단계를 구비한다.

Description

다중 프레임에 대한 움직임 결정값의 좌표를 정하기 위한 방법 및 장치

관련된 출원

본원은 본 발명과 동일한 출원인에게 양도된 이하의 출원과 관련되어 있다.

-데이터 스트림의 다중 프레임에 근거한 단편화 방법 및 장치(대리인 파일: IDT 013 W0)

-깊이 모델링 및 이동 물체의 깊이 정보 제공방법 및 장치(대리인 파일: IDT 15 WO)

발명의 분야

본 발명은 일반적으로 1세트의 큰 관련된 데이터 레코드의 각각의 파라미터화에 관한 것이다. 특히, 관련된 신호 레코드, 즉 비디오 프레임의 세트에서의 개량된 움직임 추정에 관한 것이다.

발명의 배경

비디오 모델링 및 압축에 있어서, 움직임 추정 및 움직임 보상은 중요하다. 그것에 대해서 이동물체 및 다른 움직임없이 비디오 압축 및 상호작용하는 비디오 게임과 같은 응용예에서 효율적으로 설명하는 것은 어렵다. Singh Ajit(1991, Optical Flow Computation. IEEE Computer Society Press)는 움직임 추정을 위한 일반적인 방법을 설명한다.

움직임 추정은 통상 하나의 프레임에서 다른 하나의 프레임으로, 예를 들면 프레임 m에서 프레임 n으로 행해지는데, 그것의 강도에 대해서는 Im 및 In이라는 용어를 사용한다.

양호한 통계적 움직임 추정의 정밀도가 요구되는 경우, 움직임 추정에서 효율적으로 이용가능한 정보를 모두 사용하는 것은 중요하다. 그 의미는 물리적인 이동 물체 또는 현상들이 몇몇 프레임에서 반복적으로 관측되면, 움직임 추정이 이들 반복 관측된 프레임 사이에서 좌표지정되는 경우 향상된 정밀도를 얻을 수 있다는 것을 의미한다.

그러나, 운동 영역는 특히, Im 또는 In의 각 개별적인 픽셀에 대한 1개의 수직 및 수평 움직임 파라미터와 함께, 전체 운동 영역가 결정되는 경우 통상 계산적으로 요구하는 동작이다.

또한, 움직임 추정은 매우 큰 메모리를 요구할 것이다. 많은 프레임에 대한 어떤 동시의 움직임 추정은 예외적으로 요구되는 것이다.

한편, 2개의 개별적인 프레임에만 근거해서는 전 운동 영역 추정이 불충분하게 결정된다. 즉, 이들 중 어느 하나만이 묘사된 물체의 원래의 물리적인 이동에 대응하지만, 많은 픽셀에 대해서는, 동일하게 양호한 피트에 의해서 다수의 서로 다른 움직임 추정을 찾을 수 있다.

물리적인 물체가 몇 개의 프레임 상에 계층적으로 이동하는 것이 관측될 때, 그들의 움직임은 일반적으로 그들의 참된 2차원(2D) 운동 영역가 알려진 경우, 이들이 프레임에서 프레임으로 조직적인 유사물을 갖도록 하는 것이다. 이들 조직적인 유사물에 의해, 이론적으로 다수의 관련 프레임의 운동 영역는 비교적 적은 독립적인 파라미터로 모델링될 수 있다. 이 모델링은 매우 효율적인 압축 및 비디오의 편집 기술을 교대로 이끌었을 것이다.

그러나, 사실상, 참된 운동 영역는 경험적인 데이터로부터 결정될 수 없다. 먼저, 원데이터에서의 약간의 랜덤 노이즈 기여도 때문에, 상기 획득된 운동 영역에 약간의 랜덤 에러가 있을 것이다. 더욱 심하게, 전 운동 영역의 불충분한 결정 성질 때문에, '참된' 운동 영역을 찾을 가능성이 작다. 1세트의 서로 다른 거짓 움직임 추정은 각 프레임에 대해서 선택될 수도 있다.

이와 같이, 개별적인 프레임 쌍에 근거하여, 다수의 프레임에 대한 움직임을 결정하기 위한 현재의 방법 및 장치는 몇 가지의 문제점을 갖는다. 즉,

1. 서로 다른 프레임에 대한 움직임 추정에서의 좌표지정의 부족에 의해 움직임 추정 필드의 세트를 효율적으로 모델링하여, 충실도의 손실없이 이들의 좋은 압축 및 좋은 편집능력 제어를 달성하는 것은 어렵다.

2. 이 방법은 동일한 규칙적인 물체 또는 현상이 몇 개의 프레임에서 보여지는 안정화를 이용하지 않기 때문에, 이 움직임 추정은 이 이미지에서의 랜덤 노이즈에 대한 감도에 의해 불필요하게 부정확하게 된다.

3. 이 움직임 추정은 많은 움직임 추정 문제의 불충분한 결정 성질 때문에, 불필요하게 부정확하게 된다. 이 부정확한 결과는 개별적인 프레임 쌍에 잘 맞는 오버 파라메터화(over-parameterization)를 나타내지만, 나쁜 내삽/외삽 성질을 갖고, 참되지만, 알려지지 않은 물리적 움직임에 좋은 근사화를 주지 않는다.

4. 컴퓨터 메모리에서 동시에 많은 프레임을 처리하여 움직임 추정의 좌표를 결정하는 것은 연산처리상 그리고 메모리적으로 많은 요구가 있다.

발명의 목적

그러므로, 본 발명의 목적은, 좋은 압축 및 좋은 편집능력 제어를 주기 위해 움직임 추정의 세트가 효율적으로 모델링될 수 있도록, 1세트의 많은 메모리에 대한 움직임 추정의 좌표를 정하는 기법을 제공하는 것에 있다.

본 발명의 또 다른 목적은 몇 개의 프레임에 의해 공유된 한편의 구조적인 움직임 패턴과, 각 프레임에 대하여 유일하고 랜덤 노이즈 효과 및 추정의 모호성 때문에 가능한 다른 한편의 정확한 움직임 패턴을 식별하여 각 프레임에 대한 움직임 추정에서 보다 높은 정확도를 얻기 위해 1세트의 많은 프레임에 대한 움직임 추정의 좌표를 정하는 것에 있다.

또 다른 목적은 다른 프레임의 움직임 추정과의 좌표지정에 대하여 확률적으로 바이어스된 각 프레임에 대한 움직임 추정의 제약에 의해 참되고 알려지지 않은 통상의 움직임 패턴의 보다 정확한 모델링을 달성하는 것에 있다.

또 다른 목적은 매우 큰 처리 전원 또는 컴퓨터 메모리를 요구하지 않고도 다수의 관련 프레임의 좌표지정을 하는 기법을 실행하는 것에 있다.

또 다른 목적은 확률적인 바이어스 제약에 대한 비선형 및 선형 모델링 방법을 사용할 수 있는 방법을 제공하는 것에 있다.

또 다른 목적은 그 자체의 움직임 추정을 향상시키기 위해 움직임 데이터 이외의 데이터의 다중프레임 모델링을 이용하는 기법을 제공하는 것에 있다.

마지막으로, 본 발명의 목적은 움직임 추정, 움직임 모델링 및 움직임 보상을 이용하여 바이리니어 모델링에 보다 적합한 움직임 데이터 이외의 다중프레임 데이터를 만드는 방법을 제공하는 것에 있다.

표시법 및 정의

이하, 심볼 '*'은 필요한 경우에 곱셈에 사용된다(도 6에서는 제외, 여기서, 그것은 반복을 상징한다). 심볼 'x'는 행렬의 치수를 나타내기 위해 사용된다(예를 들면, 사이즈 = n행 x n열). 강조활자의 대문자는 데이터 행렬을 나타내고, 강조활자의 소문자는 데이터 벡터를 나타낸다. 주성분 분석(Principal Component Analysis), PCA, 바이리니어 모델링 및 BLM은 이하에서는 같은 뜻으로 시공간적인 부분공간 모델링을 나타내는데 사용된다.

발명의 요약

몇 개의 프레임 상의 움직임 추정의 좌표지정은 바이리니어 모델링에 의해 움직임 추정을 근사화함으로써 획득된다. 이 바이리니어 모델은 몇 개의 프레임의 운동 영역의 부분공간 근사화를 나타낸다. 바이리니어 모델의 파라미터, 즉 로딩벡터, 스코어 벡터 및 나머지는 주성분 분석 또는 일부 관련된 방법에 의해 추정된다. 바이리니어 모델은 기준 이미지와 관련하여 정의된다.

주어진 프레임의 움직임 추정은 이 움직임 추정 전에 성립된 예비의 바이리니어 움직임 파라미터를 사용함으로써 간소화, 안정화된다. 이들 예비의 바이리니어 파라미터값은 움직임 추정을 위한 관련 개시 가설을 생성하고, 이전에 다른 프레임에서 찾은 대응하는 움직임 패턴 쪽으로 프레임에 대한 움직임 추정을 이끌기 위해 사용된다.

끝으로 바이리니어 움직임 모델은 1세트의 관련 프레임에서 물체의 공통 움직임 패턴을 요약한다.

다중프레임 바이리니어 움직임 모델링의 몇 개의 서로 다른 제어구조에 대해서 기술한다.

가중치 재설정 및 최적의 스케일링뿐만 아니라 시공간적인 평활화를 포함하여, 특정 바이리니어 파라미터 추정방법에 대해서 기술한다.

바이리니어 움직임 모델링은 유연한 패턴 인식에 대해서 뿐만 아니라 향상된 움직임 추정에 대해서, 2개의 서로 다른 방법으로 움직임 보상 강도 변화의 바이리니어 모델링과 결합된다.

도 1은 1개의 움직임 방향으로 프레임 사이즈(nv×nh 픽셀) 운동 영역(여기서는, 델타 수직 어드레스, 즉 수직 움직임, 기준 이미지 R에서 이미지 n까지의 각 픽셀에 대한DV _Rn)가 어떻게 nv*nh 성분를 가진 1차원의 벡터로서 연장될 수 있는가를 나타낸 도면,

도 2는 양움직임 방향이 동시에 모델링된 경우에 대하여, 2개의 프레임 사이즈(nv×nh 픽셀) 운동 영역(수직, 수평방향에 대한DA _Rn=[DV _Rn및DH _Rn])가 어떻게 2nv*nh 성분를 가진 1차원의 벡터로서 함께 연장될 수 있는가를 나타낸 도면,

도 3은 행렬X가 2개의 낮은 랭크 행렬T*P ^T 의 바이리니어 적에 나머지 행렬E를 더해서 어떻게 모델링될 수 있는가를 나타낸 도면,

도 4는 1개의 단일 프레임에 속한 도 3의 파라미터를 나타낸 도면,

도 5는 프레임의 전체 시퀀스 또는 시퀀스가 움직임 추정(블록 EstMovSeq), 모델추정(블록 EstModel) 및 가설생성(블록 EstHypSeq)에 대하여 공동으로 처리되는 바람직한 제 1실시예를 나타낸 도면,

도 6은 움직임 추정(블록 EstMov), 모델갱신(블록 EstModel) 및 가설추정(블록 EstHyp)의 반복적인 조합과 관련된 바람직한 제 2실시예의 부분에 대한 블록도,

도 7은 일부 프레임 n의 움직임 추정에 입력된 가설의 데이터 구조를 나타낸 도면,

도 8은 가설에 대한 포인트 추정 및 그것의 기대된 통계적인 성질을 반영하는 다양한 가설의 영향력 척도에 대하여 일부 프레임 n에 대한 움직임 추정자로부터의 출력의 데이터 구조를 나타내는 도면.

도 9는 움직임의 포인트 추정값 및 그것의 통계적 성질의 추정값을 반영하는 그것의 신뢰도 정보에 대하여, 필드가 어떻게 다른 필드의 움직임 추정값을 나타내는 모델에 적합한가에 따라 프레임에 주어진 운동 영역가 하나의 픽셀씩 변경되는 EstHyp 작동자의 반복적인 변형물에서의 슬랙정보의 규칙에 근거한 처리.

기본사상

전체 시퀀스에 대한 유효하고 신뢰할 수 있는 움직임 표현뿐만 아니라 각 프레임에 대한 유효하고 신뢰할 수 있는 운동 영역을 설립하기 위해 비디오 코딩에서 주요성이 주어지면, 본 발명은 많은 프레임으로부터 움직임정보를 축적 사용할 수 있어, 제한된 컴퓨터 자원으로도, 추정 모호성, 폐색문제 및 노이즈 감도를 줄일 수 있다.

상기 기본사상은 무엇이든지 계층적인 움직임 패턴을 1세트의 프레임 내의 1세트의 픽셀에서 찾게 되는 공통 수학적인 모델 설명을 개발하고 유지하는 것이며, 각 개별적인 프레임에 대한 움직임 추정의 향상을 위해 이것을 사용하는 것이다. 계층적인 움직임 패턴을 요약하는 수학적인 모델은 서로 다른 종류일 수 있다. 한편, 이 모델은 많은 독립적인 파라미터를 충분히 갖고 있어, 필요한 움직임을 충분히 설명한다. 한편, 불충한 결정밖에 못하게 되는 통계적 제한, 노이즈 감도 움직임 추정 문제점을 충분히 간소화해야 한다. 그러므로, 모델의 독립적인 파라미터의 수는 모델링 유연성(언더피팅(underfitting)을 피함)의 필요 및 노이즈 제거(오버피팅(overfitting)을 피함)의 필요에 의존하여 역학적이어야 한다.

수학적인 모델에서의 파라미터는 각 프레임에 대한 움직임 추정을 향상시키기 위해 프레임 사이의 계층적인 공통 변동 패턴을 계산하기 위해 사용된다. 이들 모델 파라미터는 프레임 세트에 대한 계층적인 움직임 정보를 축적하고 결합하기 위해 적합한 방법으로 교대로 추정된다.

수학적인 모델링 형태를 적용할 수 있는 하나의 종류는 부분공간 모델 또는 '바이리니어 모델'로서 보여질 수 있는 다중치수의 부가적인 모델에 의해 공통 변화 패턴을 근사화하는 것이다. 본 발명의 중심은 이 부분공간 모델이 1치수이상을 포함하는 것이다. 이 중심은 또한 부분공간 모델의 제한이 이론대신에 성립된 데이터라는 것이고, 즉, 사인, 코사인과 같은 수학적인 기능으로부터가 아닌 경험적인 데이터로부터 적어도 부분적으로 결정된다는 것이다.

상기 방법은 2D 이미지의 적용, 즉 압축을 위한 비디오 부호화에서의 움직임의 파라미터화 또는 편집제어를 고려하여 설명될 것이다. 또한, 1D 데이터 구조(사운드 분석에서의 시간 왜곡, 프로세스 제어에서의 라인 카메라 움직임 추정) 및 3D 데이터 구조(예를 들어, 사람의 두뇌의 MRI 스캔)에 적용할 수 있다.

다중프레임 모델링에 대한 움직임 데이터 표현법

비디오에서의 운동 영역는 수직 보상 DV 및 수평보상 DH를 갖는다. 그들은 집합적으로 광학 플로우 필드 또는 운동 영역 DA('델타 어드레스')라고 칭할 것이다.

일부 비디오 부호화 방법에 있어서, 몇몇 신호 레코드는 1개의 공통 '기준 이미지'에 관련되어 있다. 이것의 일례는 특허 출원 WO95/08240에 설명된 바와 같이 IDLE 부호기 형태, 관련 프레임 n=1, 2, ....의 주어진 시퀀스에서의 주어진 픽셀의 세그먼트(공간적인 '홀론')에 대하여, 상기 움직임, 다수의(연속적인) 프레임에 대한 다른 모델링된 변화 정보 및 강도 변호가 공통 '확장된 기준 이미지 모델'(인덱스 R로 상징된)에 관하여 직접 또는 간접적으로 표현되는 데이터 분석에 대한 방법 및 장치이다. 기준 이미지 모델을 사용하는 IDLE 형태의 디코더는 WO95/34172 비디오 이미지를 복호화하기 위한 장치 및 방법에 설명되어 있다.

따라서, 아래 첨자의 운동 영역 DR_Rn는 입력 프레임 n을 근사화하기 위해 기준 이미지 모델에서의 개별적인 픽셀이 수직 및 수평방향으로 어떻게 이동될 것인가를 나타낸다.

본 발명에 있어서, 각 프레임 방향은 별도로 모델링될 것이다.

도 1은 nv×nh 화소를 가진 수식 운동 영역 DR_Rn가 nv*nh 성분를 가진 행벡터로서 어떻게 배열될 수 있는가를 나타낸다. 몇몇 프레임에 대한 운동 영역는 함께 모델링될 수 있는 동일 크기의 몇몇 벡터를 나타낸다.

본 발명에 있어서, 서로 다른 운동 영역 방향은 또한 공동으로 모델링될 수 있다. 도 2는 수직 및 수평 운동 영역가 현재 2*nv*nh 성분를 가진 1개의 행벡터에 어떻게 저장될 수 있는가를 나타낸다. 다시, 몇몇 프레임에 대한 벡터는 동일 크기를 가질 수 있어, 함께 모델링될 수 있다.

움직임 데이터의 부분공간 인수 모델링

본 발명에 있어서, 1세트의 프레임에 대한 추정된 운동 영역는 주어진 포인트에서 시퀀스 모델과 함께 모델링되고, 이 모델은 개별적인 프레임에 대한 움직임 추정을 안정화하기 위해 사용되는데, 이들 신규 움직임 추정은 시퀀스 모델 등을 향상시키기 위해 사용된다.

바람직한 모델링 방법의 수행은 예를 들어 백전파(back propagation)(예를 들면, Adaptive Neural Networks, 즉 Perceptron, Madaline 및 Backpropagation의 Widrow, B. 및 Lehr, M.A. (1990)30년. Proceedings fo the IEEE, vol 78, 9, pp 1415-1442를 참조)에 의해 추정된 다소의 숨겨진 노드를 가진 신경망과 같은 독립적으로 추정된 파라미터의 제한된 수를 가진 여러 가지의 사용이다. 이 여러 가지의 형태 중에서, 공간 및 부분공간으로서 보여질 수 있는 바이리니어 형태는 연산속도, 유연한 이행의 선택, 충분히 이해한 이론적인 성질 및 쉽게 해석된 결과 때문에 바람직하다. 이것에 대해서는 Martens, H. 및 Naes, t.(1989) Multivariate Calobration. J. Wiley 및 Sons Ltd, Chichester UK에 상세히 설명되어 있다.

공통 참조 위치의 사용에 의해 향상된 부분공간 모델링

몇몇 프레임에 대한 운동 영역가 함께 충분히 모델링되기 위해, 그들은 공통 참조 위치에 바람직하게 표현되어야 한다. 또한, 강도 변화 및 다른 성분의 성질의 충분한 모델링을 하기 위해서 이 공통 참조 위치의 사용은 중요하다. 모델링을 위한 이 참조 위치에 반송되기 위해 이들 성질은 보상된 움직임이어야 한다. 기준 이미지 I_R는 예를 들면, 시퀀스 n=1, 2, ..., N에서의 처음, 중간, 마지막 이미지 또는 몇몇 프레임들로부터의 정보의 결합일 수 있다. 비디오 시퀀스에 대한 인코딩 처리의 시작을 제외하고, 통상 2이상의 세그먼트(홀론)가 별도로 다소 모델링되어 있기 때문에, 각각은 그 자신의 기준 이미지 정보를 갖고 있다. 홀론 내의 단편화에 대한 상세는 상술한 특허 출원 "데이터 스트림의 다중 프레임에 근거한 단편화 방법 및 장치"에 주어지고, 다중 프레임의 깊이 추정에 대해서는 상술한 출원 "깊이 모델링 및 이동 물체의 깊이 정보 제공방법 및 장치"에 상세히 설명되어 있다. 서로다른 홀론에 대한 기준 이미지 정보는 몇몇 기준 이미지 I_R(홀론), 홀론=1, 2, ...,에 별도로 저장되고, 콜라주 기준 이미지 I_R에 공동으로 저장될 수도 있다.

1개의 공통 참조 위치에서의 공간적인 파라미터의 표시법은 움직임 추정에 대하여 3가지의 이점을 갖는다.

1) 이 움직임 추정은 입력 데이터 노이즈에 대하여, 부수적인 움직임 추정 에러에 대해서 보다 강하기 때문에, 신뢰도 및 유효성을 더 가질 것이다.

2) 서로 다른 관련 프레임으로부터의 움직임 추정은 보다 쉽게 수학적으로 모델링될 수 있기 때문에, 압축 및/또는 편집(비디오 코딩을 위한)하기가 보다 쉽고, 나중에 제어(비디오 게임 및 가상현실을 위한)하기가 보다 쉽다.

3) 다양한 이미지로부터의 정보가 효율적이고 통계적인 제약으로 기능하기 때문에, 이 움직임 추정 처리는 보다 빠르다.

부분공간 모델링의 대수설명

일부 필요한 대수 툴에 대해서 먼저 기술할 것이다.

부분공간 모델링의 목적은 다소 탄력적이만, 충분히 제한적인 1세트의 운동 영역 추정에서의 계층적인 공변화의 모델을 획득하는 것에 있다. 부분공간의 설명은 바이리니어 인수 모델로서 공식화될 수 있다.

바이리니어 모델링에 대해서는 H. Martens & Naes, T. (1989) Multivariate Calibration. J. Wiley & Sons Ltd Chichester UK에 상세히 설명되어 있다. 여기서부터는, 요약이다.

즉, 다수의 프레임 n=1, 2, ....nFrames으로부터의 운동 영역 벡터는 행렬로 배열되고, 간결하고 여전히 탄력적인 근사화를 찾아 움직임 추정을 향상시키기 위해 모델링을 다중 진동시킨다.

도 3에서의 행렬X의 각 행은 1이상의 움직임 방향에서의 한 개의 프레임의 운동 영역 벡터일 수도 있다. 모든 프레임에 대한 데이터가 동일 참조 위치에서 표시되면,X에서의 각 열은 그것의 대응하는 '참조 위치 픽셀' 화소=1, 2, ..., nPels의 관측된 성질로서 보여질 수도 있다.

예를 들면, 참조 픽셀 I_R의 강도값을 한정하는 배열된 움직임 데이터가 관련 프레임 I_n=1, 2, ...., nFrames를 재구성하기 위해 이동되어야 한다는 것을 나타내는 이들 관측된 성질은 바이리니어 모델(BLM)에 의해 근사화될 수도 있다. 즉 행렬X는 다수의 아래첨자 공통 변화 현상('잠복변수', 인수, 주요보상)f=1, 2, ...nFactors＋나머지의 합으로서 기록될 수 있다.

X = X ₁ ＋X ₂ ＋....＋X _nFactors＋E

여기서,X는 모델링대상의 데이터이고, 그것은 모델링된 각 프레임에 대한 1행과, 동시에 모델링되어야 하는 각 픽셀변수에 대한 1열을 갖는다(예를 들면, 각 픽셀에 대한 1개의 수평 움직임 성분 및 1개의 수직 움직임 성분).

X ₁,X ₂,...., X ₄,...., X _nFactors는X의 주요 계층적인 공변화 패턴,X와 같은 행렬 크기의 개별적인 인수 기여도이다.

E는X와 동일한 행렬크기의 에러 또는 모델링되지 않은 나머지이다.

각 인수 기여도 f=1, 2, ..., nFactors는 2개의 벡터의 외부의 적으로서 정의된다.

X _f = t _f *p _f ^T

여기서,t _f는 각 프레임에 대하여 1개의 성분를 가진 열벡터이다. 각 성분 t_nf는 이 인수 f가 프레임n에서 그 자체를 어떻게 나타내는가를 설명한다. 벡터t _f 는 스코어 벡터라고 칭하고, 그것의 값은＋, 0 또는 -일 수도 있다.

벡터p _f ^T(벡터p _f의 전환)는 분석된 각 변수(예를 들어, 각 픽셀에 대하여)에 대하여 1개의 성분를 갖는 행벡터이다. 각 성분 p_fk는 이 인수 f가 각 변수 k에 대해서 그 자체를 어떻게 나타내는가를 설명한다. 여기서, 벡터p _f는 인수 f의 로딩벡터라고 칭한다. 그것의 값은 -, 0 또는＋일 수도 있다.t _f 또는p _f의 벡터길이에 대한 제한은 통상 대수의 모호성을 밀접하게 결합하는 것을 피하기 위해 부과된다. 예를 들면,t _n의 정사각형 성분의 합은 1이어야 한다.

그래서, 전 인수 모델이 기록될 수 있고, 또는 행렬 형태에 대해서 도 3에 나타나 있다.

X = t _f *p _f ^T +E

X = T*P ^T +E(1)

여기서,T=[t _f, f=1, 2, .., nFactors]는 바이리니어 인수에 대한스코어의행열인데, 그것은 모델링된 각 프레임에 대한 1행과, 모델링된 각 바이리니어인수,f=1, 2, ....,nFactors에 대한 1열을 갖는다.

P ^T=[p _f, f=1, 2, .., nFactors]는 바이리니어 인수에 대한 로딩의 행렬인데, 그것은 동시에 모델링되어야 하는 각 픽셀변수에 대한 1열과, 모델링된 각 바이리니어 인수 f=1, 2, ....,nFactors의 1행 갖는다. 이 위첨자^T는 '이항된' 것을 의미한다.

인수 기여도 행렬 적T*P ^T는 데이터 행렬X의 근사화로서 표현될 수 있기 때문에, 행렬XHat라고 칭한다.

X = XHat＋E

XHat는 스코어T및 로딩P가 nFactors 치수의 부분공간에 놓인 nFactors 열벡터를 갖는다는 의미에서X의 부분공간 근사화를 나타낸다.T부분공간은 관련 프레임 사이의 주요 변화 및 공변화를 설명하고,P부분공간은 관련 변수(픽셀) 사이의 대응하는 주요 변화 및 공변화를 설명한다.

바이리니어 및 선형 모델링의 추정방법

바이리니어 모델링(BLM)

상술한 Martens & Naes 1989뿐만 아니라 Jolliffe, I. T.(1986) Principal Component Analysis. Springer Series in Statistics, Springer-Verlag New York 및 Jackson, J. E. (1991) A User's guide to principal components. J. Wiley & Sons, Inc. New York에 설명된 바와 같이, 행렬X로부터 대부분 현저한 부분공간을 추출하기 위한 다수의 방법이 있다. 그들과 공통적인 것은 그들이 나머지E에 다소의 계층적이지 않거나 유일한 변화를 남겨두고, 가능한 적은 인수로XHat에서X의 주요 공변화 패턴을 추출하는 것이다. 주요 보상 분석(Principal Component Analysis : pca) 또는 통계적으로 주요한 단일값 분해(작은 단일값 구조 제거)는 본 발명의 배경에 사용될 수 있다.

움직임 추정의 좌표가 지정되어야 하는 외부의 정보가 이용가능하면, PLS 복귀가 사용될 수도 있다. 이것의 일례는 Y변수로서 프레임에 대한 사운드 정보(예를 들면, 서로 다른 주파수 채널에서 또는 서로 다른 필터로부터의 에너지)를 사용하고, 여기서 설명된 바와 같이 X변수로서 움직임 데이터를 사용하는 것이다. 또 다른 예는 Y변수로서 시간이 이용된 움직임 데이터를 사용하는 것이다.

수직 및 수평 움직임은 좌표지정 방법으로, 바람직하게는, 2블록 바이리니어 모델링을 사용하여, 예를 들면, PLS2 복귀,(Martens, H. 및 Naes, T.(1989) Multivariate Calibration. J. Wiley & Sons Ltd, Chichester UK)에 의해 모델링될 수도 있다.

움직임이 1이상의 물체(홀론)에 대해서 추정되면, 움직임 데이터의 바이리니어 모델링은 Consensus PCA(Gelade, P., Martens, H., Martens, M., Kalvenes, S. 및 Esbensen, K. (1988) Multivariate comparison of laboratory measurements. Proceedings, Symposium in Applied Statistics, Copenhagen Jan 25-27 1988, Uni-C, Copenhagen Danmark, pp 15-30)와 같은 일부 N-웨이 1차 방법(계층적인 다중블록 바이리니어 방법 또는 바이리니어 일치 방법)을 사용하여 좌표를 지정할 수도 있다.

공통 부분공간 모델P ^T 내의 운동 영역의 표시는, 시퀀스에서 모델링된 모든 움직임이 1세트의 공통 '계층적인 움직임 패턴'에 속한다는 것을 확실하게 한다.

부가적인 제약은 가능하면 언제나 평활한 공간적인 이동을 주기 위해 스코어t _n에 부가될 수도 있고, 비슷하게 이 로딩는 공간적인 움직임 패턴도 주기 위해 평활하게 될 수도 있다. 이들 부가적인 제약은 바이리니어 랭크 축소 모델링 후에 부가될 수도 있고, 또는 실제의 바이리니어 모델링에 포함될 수도 있다.

랭크 축소 모델 추정 방법을 본 필요성에 맞추기 위한 본 발명의 다양한 관점은 후술한다. pca의 랭크 축소와 시공간적인 평활화를 통합하기 위한 관점 및, 지연된 적응성의 포인트 추정을 위한 관점은 프레임간 좌표지정을 향상시킨다.

이들 모델에 보유되어야 하는 인수 f=1, 2, ....의 수는 상술한 Jolliffe(1986), Jackson(1991) 또는 Martens & Maes 1989에 의해 설명된 바와 같이, 예를 들면 교차확인에 의해 결정될 수도 있다.

선형 모델링

로딩 행렬 부분공간P는 분석된 모든 프레임에 대하여 다소 유효하다는 것을 찾게 된 계층적인 움직임 패턴을 나타내기 때문에, 동일 시퀀스 내의 개별적인 프레임 n에서 찾은 움직임 벡터가 이 부분공간P내의 표시법을 근사화시켜야 하다는 것을 기대할 수 있다. 부분공간P내의 그것의 위치는 그것의 스코어 벡터t _n=[t_n1, t_n2, ..., t_n,nFactors]에 대응한다.

그래서, 도 4에 나타낸 바와 같이, 바이리니어 모델은 개별적인 프레임 n에 대해서 기록될 수 있다.

X _n=t _n*P ^T＋e _n(2)

단,

데이터 :x _n는 1×nPels이고,

스코어 :t _n는 1×nFactors이며,

로딩 :P ^T는 nFactors×nPels이고,

나머지 :e _n은 1×nPels이다.

오프셋은 바이리니어 모델(confr. Martens, H. 및 Naes, T.(1989) Multivariate Calibration. J. Wiley & Sons Ltd, Chichester UK)에 포함될 수도 있다. 즉 이것은 본 설명에 있어서 간단히 무시될 것이다.

프레임 n,X _n에 대한 움직임 데이터(예를 들면, 배열된 운동 영역 추정) 및 부분공간 로딩P에 근거하여, 스코어t _n및잉여 벡터e _n이 추정될 수 있다. 일반적으로 작은 잉여벡터에서 이 성분를 만드는 한, 다수의 서로 다른 추정방법이 사용될 수 있다. 가중치를 설정한 1차 복귀는 1개의 좋은 방법이다(Weisberg S(1985) Applied linear regrission. 2nd., J. Wiley & Sons, New York, 및 Martens, H. 및 Naes, T.(1989) Multivariate Calibraion. J. Wiley & Sons Ltd, Chechester UK 참조). 즉, 대각선의 가중치를 설정한 행렬W에 대하여, 스코어가 다음과 같이 추정된다.

t _n=x _n*W*P*(P ^T*W*P)^-1(3)

움직임에 대하여, 강도변화 및 다른 데이터 도메인에 대하여, 스코어를 추정하기 위한 복귀방법의 대안은 일부 기준, 예를 들면, 스코어의 개시값으로부터 스코어에 따라 변형된 기준 이미지 I_R과 기준 이미지로부터 근사화되어야 하는 프레임 I_n사이의 부적합한 강도의 기능을 최소화하도록 스코어에서의 연속적인 개량이 요구되는 비선형의 반복적인 최적화, 예를 들면, 표준 SIMPLEX 최적화(J.A. Nelder 및 R. Mead, 'A Simplex method for function minimization', Computer Journal 7, p. 308-313 참조)이다. 또, 회귀접근과 비선형의 반복적인 적합의 결합이 사용된다.

역으로, 식(1)에서의 바이리니어 모델은 또 각 개별적인 픽셀에 대해서 기록될 수 있다.

X _pel=T*p _pel＋e _pel(4)

단,

X _pel는 nFrames×1

T는 nFrames×nFactors

p _pel은 nFactors×1

e _pel은 nFrames×1이다.

따라서, 데이터X _pel이 어떤 1세트의 프레임 n=1, 2, ...., nFrames의 일부 신규 픽셀에 대하여 이용가능한 경우와, 스코어 T가 다른 픽셀에 근거하여 1세트의 인수 f=1, 2, ..., nFactors에 대한 이들 프레임에 대하여 이용가능한 경우, 그러나, 그들 로딩값p _pel이 이들 신규 픽셀에 대해서 알려지지 않은 경우에, 이들 로딩값은 스코어T에 데이터X _pel를 전달함으로써, 예를 들면 통상 가장 적은 스퀘어 회귀에 의해 추정될 수 있다.

p _pel= (T ^t *T) ^-1 *T ^t *X _pel(5)

이 점에 있어서는 특정 발명과 관련하여 이하에 상세히 설명한다.

1세트 또는 부분집합의 프레임으로부터의 운동 영역 DA_pel,n, n=1, 2, ....가 데이터X로서 정의된 경우, 가장 주요한 X의 열공간에 놓인 로딩 부분공간P ^T은 시퀀스에서의 몇몇 프레임에 공통인 얼마간의 움직임 정보를 나타낸다. 각 프레임에 대하여 개별적으로 추정되고, 또는 다수의 프레임에 대하여 공동으로(이하 참조) 추정된 프레임 n=1, 2, ....의 스코어 벡터t _n는 각 개별적인 프레임 n=1, 2, ....에 이 공통 움직임 정보P ^T를 반송한다.

바이리니어 모델에서의 파라미터, 즉 로딩 및 스코어 파라미터T, P뿐만 아니라, 나머지는 통계적인 추정 프로세스에서 생기는데, 예를 들면, 거의 없는 제 1인수를X의 단일값을 분해하여 얻는다. 이들 인수는X에서의 관련된 주요정보를 이상적으로 나타낸다. 그러나, 그들은 또 다소의 추정 노이즈를 포함한다. 바이리니어 모델은, 모델에서의 인수의 수가 바이리니어 모델의 파라미터를 결정하기 위해 사용된 관측의 수와 비교되는 하부측에 보다 좋은 분리를 준다.

불확실한 모델 파라미터의 공분산T, P는 근사화 이론에 의해 추정될 수도 있다. 예를 들면, E의 나머지 성분이 통상 분배된다고 가정하면, 이들 불확실한 것들이 아래와 같이 추정될 수 있다.

스코어의 공분산 : Cov(t _n)=(P ^T P)^-1*s²

로딩의 공분산 : Cov(p _pel)=(T ^T T)^-1*s²

재구성된 데이터P ^T P와 나머지의 공분산

E: Cov(t _n p _pel)=(h_n+h_pel)*s²(6)

단,

프레임의 지렛대 n=h_n=diag(T(T ^T T)^-1 T ^T)

픽셀의 지렛대 화소=h_pel=diag(P(P ^T P)^-1 P ^T)

재구성된 운동 영역의 불확실성에 대한 선택적인 정보(즉,x _nHyp)는 다음으로부터 획득될 수 있다.

a) 운동 영역 적용후의 나머지 강도 : 화소에 대한 큰＋또는 -의 나머지의 강도는 예를 들면, 폐색문제 또는 계층적인 강도 변화 때문에, 무효환 움직임을 지시한다.

b) 슬랙 : 운동 영역의 모호성 또는 불확실성의 추정은, 결과의 부적합한 강도가 어떤 강도 노이즈 레벨과 비교하여 상당히 증가하기 전에 픽셀에 대한 움직임 값이x _nHyp에서의 그것의 현재 값으로부터 서로 다른 방향으로 얼마나 많이 변경될 수 있는가를 검출함으로써 획득될 수 있다.

신규 물체에 대한 스코어의 추정에서는, 서로 다른 인수에 대한 스코어의 공분산이 프레임의 노이즈 공분산 s_n ²: Cov(t _n)=(P ^T P)^-1*s_n ²으로부터 추정될 수도 있다. 신규 픽셀의 로딩을 추정할 때는, 서로다른 인수에 대한 로딩의 공분산이 픽셀의 노이즈 공분산 s_pel ²: Cov(p _pel)=(T ^T T)^-1*s_pel ²으로부터 추정되어도 된다. 관련된 공분산은 예를 들면, Martens, H. 및 Naes, t.(1989)저, Chichester Uk, J. Wiley 및 Sons사의 Multivariate Calobration에 기술된 바와 같이, 이전의 지식에 근거되어도 되고, 또는 오버피팅에 대하여 적당한 수정 후에 그들 자신의 데이터로부터 추정되어도 된다.

일부 적용 예에 있어서, 어떤 공지된 변화 패턴은 이전에 발생할 것이라고 기대된다. 그러한 선행 변화 패턴을 설명하는 파라미터는 모델링에 포함되어도 되기 때문에, 그들 자체의 데이터로부터 대응하는 파라미터를 추정하기 위한 필요성을 제거할 수 있다. 공지된 공간적 변화 패턴이 이용가능하면, 그들은 스코어만이 추정되어야 하는 인수로서, 로딩 행렬P에 포함되어도 된다. 공지된 시간적 변화 패턴이 이용가능하면, 그들은 로딩만이 추정되어야 하는 인수로서, 스코어 행렬T에 포함되어도 된다. 그들 공간적, 시간적 파라미터가 알려지게 되면, 그들은 어떤 파라미터의 추정없이 바이리니어 로딩 및 스코어 모델에 포함될 수 있다.

움직임 추정자의 선택

움직임 추정자는 바람직하게 그것의 관련 가설 충격 추정 및x _nHyp 정보를 사용할 수 있는 어떤 종류의 추정형태 중 하나이어야 한다. DA_Rn=x _n의 움직임 추정에 있어서, 기준 이미지I _R와 현재 이미지I _n사이의 양호한 적합의 이점은 바이리니어x _nHyp에 의해 전달된 바와 같이, 다른 가설에 적합한 것에 대해서 뿐만 아니라 다른 프레임의 움직임 추정과의 양호한 일치의 이점에 대해서, 예를 들면, 시공간적인 평활화에 대하여, 균형을 이룬다는 것이다. 그러한 움직임 추정자의 일례는 WO95/26539 움직임을 추정하기 위한 방법 및 장치에 있다.

이 움직임 추정자는 바람직하게I _R에서의 각 픽셀위치가I _nw.r.t 선택적인 다양한 움직임에 부적합하다는 것을I _R에서의 픽셀 위치로부터의 오프셋으로서 사용된 일부 기대 운동 영역 부근에 맵핑하는 것에 근거한다.I _R에서의 각 픽셀위치에 대해서, 움직임 추정자에 입력되는 다양한 가설은 더 적게 불충분한 결정밖에 못한 움직임 추정을 하기 위해 사용된다. 즉, 서로 다른 선택적인 움직임에 대한 경험적인 부적합성은, 움직임이 이 가설에 따라 기대되는 이들 영역에서 0쪽으로 축소된다. 다음의 공간적인 평활화는 연속적인 운동 영역에 제공하기 위해 축소된 부적합한 데이터에 인가되고, 이 최소의 평활화된 축소된 부적합성은 그것의 예비적인 움직임 추정으로서I _R에서의 각 픽셀에 대해서 획득된다. 이 움직임 추정은 또 깊이/폐색 분석에 따라 필터링되어 변경되어, 결과적으로 바이리니어 행렬 대수학에 대하여x _n라고 칭한 움직임 추정 DA_Rn가 된다.

선택적으로, 움직임 추정자는 위상 상관관계에 근거하여, 검출된 서로다른 움직임이 화상의 서로다른 부분에 속하는 것으로 생각하는 해석절차 전에 온 주요 움직임 형태를 검출하고, 이 가설은 위상 상관관계 맵(phase-correlation map)(예를 들면,x _nHyp이 유효성을 갖는 여분의 수정을 부가)과 다음의 해석위상(interpretation phase)(위상 정정 움직임 및 가설이 일치하는 움직임에 프리미엄을 줌)을 변경하기 위해 사용되어도 된다.

또, 다른 움직임 추정자가 사용되어도 된다.

움직임 추정에 관한 바이리니어 모델링의 응용

상술한 바이리니어 모델링 툴은 3가지의 서로 다른 목적을 위해 사용된 본 발명에 있다.

1) 개별적인 프레임에 대한 움직임 추정의 향상

2) 프레임의 시퀀스에 대한 움직임 모델링

3) 다중도메인 모델링에 의한 움직임 추정의 향상

이들 각각은 아래와 같이 간단히 약술될 것이다.

1) 개별적인 프레임에 대한 움직임 추정의 향상

관련된 프레임의 시퀀스에서 개별적인 프레임에 대한 움직임 추정에 대해서, 이 시퀀스에서의 다른 프레임에 근거한 바이리니어 모델은 개별적인 프레임에 대하여 추정된 운동 영역DA _n을 향상시키기 위해 사용된다. 이것은 움직임 가설을 사용하여 움직임 추정의 통계적인 변경뿐만 아니라, 검색처리에 대한 개시점(오프셋)의 바이리니어 제한을 수반할 수도 있다.

바이리니어 모델 가설을 사용함으로써 신뢰할 수 있는 모델 정보가 매우 많이 사용되고, 보다 덜 신뢰할 수 있는 모델 정보가 단지 매우 적게 또는 전혀 사용되지 않는다.

오프셋 및 가설은 선행의 움직임 추정에 제한되거나, 또는 움직임 추정동안 반복적으로 갱신될 수도 있다. 이것은 이하에 보다 상세히 설명될 것이다.

신뢰할 수 있는 운동 영역 데이터DA _n와 바이리니어 모델 사이의 부적합한 나머지가 아직 모델링되지 않은 신규 움직임 패턴을 나타내기 때문에, 또는 데이터에서 또는 이용가능한 바이리니어 모델에서의 에러 때문에, 바이리니어 모델에 적합하지 않는 픽셀을 검출하는데 사용된다.

바이리니어 부분공간 모델에 근거한 가설의 생성

다른 프레임으로부터의 웨이(way)정보는, 움직임 추정이 바이리니어 예상 가설x _n Hyp의 형태로 있는 동안 개별적인 프레임 n에 전달된다.

x _n Hyp=t _n*P ^T(7)

또는, 프레임 n에서의 개별적인 픽셀에 대하여,

x _n,pel Hyp=t _n*p _pel

로딩P는 공통 기준 이미지에 대하여 다른 프레임에 대한 움직임 데이터로부터 추정되었다. 프레임 n에 대한 스코어t _n는 먼저 시간적인 예측에 의해 다른 프레임으로부터 추정되고, 바이리니어 모델링이 움직임 추정에서 반복적으로 사용되면, 신규 스코어는 상술한 바와 같이 로딩P에 대하여 예비적인 추정x _n를 모델링함으로써 획득되어도 된다. 또한, 가설을 포함해서 예를 들면, 상술한 바와 같이, 대응하는 공분산 Cov(t _n p _pel) 또는 각 픽셀에 대하여 추정된 통계적인 다른 신뢰도이다.

이 바이리니어 가설은 2개의 서로 다른 방법으로, 즉 아래와 같은 방법으로 사용될 수도 있다.

a) cpu 및 메모리, 시간에 대한 오프셋 또는 개시점으로서, 움직임 추정의 검색처리를 요구하는 메모리를 절약하기 위해

b) 정확도 및 프레임간 좌표지정, 즉 예를 들면 데이터의 노이즈 레벨 내에 이 결과를 제공하도록 강도차이를 변경하기 위해 사용된 선행의 통계적 기대값을 향상시키기 위해

본 발명에 있어서, 이 시스템에 사용된 움직임 추정자가 그러한 오프셋 및 부가의 통계적인 분배 기대값 가설을 이용할 수 있는 형태이면, 바이리니어 부분공간 가설x _n Hyp은 대응하는 프레임에 대한 움직임 추정의 안정화 및 좌표지정에 사용된다. 이것의 주요효과는 다음과 같이 요약될 수 있다.

서로 다른 프레임의 움직임을 연결하기 위한 바이리니어 가설x _n Hyp없이, 개별적인 프레임 n에 대하여 픽셀에 대한 전 운동 영역 추정이 통상 불충분한 결정밖에 못하게 된다. 즉 동일하게 일어날 수 있는 양호한 적합성을 가진 몇몇 선택적인 움직임이 있기 때문에, 주어진 프레임에 대한 상당히 서로다른 운동 영역을 우연히 줄 수도 있다. 입력 프레임에서의 열강도 노이즈로, 이들 선택적인 움직임중 어느것이 선택되는가는 매우 랜덤하다. 이것은 어려운 운동 영역의 모델링을 교대로 하여, 결과적으로 불충분한 압축 등을 하게 된다. 게다가, 검색처리에 대한 좋은 개시점이 없으면, 움직임 추정은 cpu 및 메모리를 매우 많이 요구할 수 있다.

움직임 추정 처리에서 바이리니어 가설x _n Hyp를 이용하여, 각 프레임의 각 픽셀에 대해서 움직임 패턴이 다른 프레임에서 찾은 계층적이고, 신뢰할 수 있는 움직임에 대응하도록(선택적인 양호한 적합한 움직임의 세트로부터) 선택된다. 또한, 검색처리에 대한 양호한 개시점에 의해, 움직임 추정이 cpu 및 메모리를 덜 요구하게 된다.

각 픽셀에는 데이터에 대하여 주어진 1세트의 가셀에 대응하는 몇몇 서로 다른 바이리니어 가설이 있을 수도 있다. 다른 형태의 가설(예를 들면, 시간에 맞춘 스코어에 대한 평활화, 로딩에 대한 평활화 또는 공간에서의 운동 영역)은 여전히 다른, 부가적인 가설을 산출할 수도 있다.

서로 다른 가설은 주어진 움직임 추정에 동시에 사용될 수도 있다.

가설은 기대된 결과의 가정된 확률 분배를 반영

프레임에 대한 각 가설x _n Hyp은 다른 프레임에 의해 형성된 부분공간에서의 이용가능한 정보로부터 판정하여,x _n이 위치할 것으로 기대되는 통계적인 확률 분배 내의 포인트 추정을 나타낸다. 포인트 추정과 관련하여 가설이 있는 것이 얼마나 정확하고 얼마나 중요한가에 대해서 보다 상세히 설명할 것이다. 이것은 도 7에 약술되어 있다.

그러므로, 각 픽셀에 대하여 그러한 각 가설x _n Hyp710, 720의 실제값은 그것과 관련된 신뢰도 추정을 갖고, 이들로부터 1세의 가설 영향력 척도(Hypothesis Impact Measures)가 움직임 추정에 입력된 후에 계산될 수 있다. 이하의 것은 가설의 유효성에 대한 기술자의 실제적인 1개의 세트이다.

1)가설 강도 750.이것은 입력 강도 데이터의 부적합성에 대하여 가설이 얼마나 강하게 카운트될 것인가를 제한한다.

신뢰할 수 없거나, 불만족스러운 가설을 가진 픽셀은 낮은 가중치를 받으므로, 이 가설은 이 픽셀에 대한 다음의 움직임 추정에서 거의 없거나 전혀 없는 충격을 가질 것이다.

2)가설 이동범위 730. 이것은, 각 개별적인 픽셀에 대한 가설이 서로 다른 선택적인 움직임에 얼마나 신뢰도를 줄 것인가를 제한한다.

3)가설 전파범위 740. 이것은, 근방의 픽셀의 움직임 추정후에 이 가설이 얼마나 영향을 미칠 것인가를 제한한다.

2) 프레임의 시퀀스에 대한 움직임 모델링

2번째의 상당히 관련된 운동 영역의 바이리니어 모델링의 사용은 움직임 패턴의 모델링을 향상시키는 방법에 관계가 있다. 즉 주요한 고유의 구조 또는 관련된 주요 인수 구조를 몇몇 관련된 프레임으로부터의 운동 영역로부터 추출함으로써, 동일한 기준 이미지 좌표 시스템이 주어지면, 그 결과의 신호/잡음비는 상당히 향상될 수 있다.

1세트의 관련된 프레임의 추정된 운동 영역에 대하여,DA _Rn,n=1, 2, ..., nFrames는 바이리니어 로딩P ^T, 대응하는 스코어T및 나머지E에 의해 스팬된 부분공간에 관하여, 이들 움직임 추정의 바이리니어 모델링으로 이들 프레임에 공통적인 움직임 패턴을 추출한다.

추정된 운동 영역의 이 공통 모델링은 한 번만 또는 반복적으로 행해져도 된다. 반복적인 모델링의 경우에, 추정된 운동 영역는 어떤 규칙에 의해 변경되어, 낮은 치수의 공통 바이리니어 모델에 최적의 적합성을 줄 수도 있다.

이들 선택적인 것들의 상세는 바람직한 실시예에서 설명한다.

3)다중도메인 모델링에 의한 움직임 추정의 향상

움직임 추정동안, 개별적인 프레임 1)에 대하여, 또는 관련 프레임의 시퀀스 2)에 대하여, 강도, 깊이, 투과성 또는 분류 가능성과 같은 다른 도메인에서의 추정 변화는 움직임 데이터의 바이리니어 근사화와 비슷하게, 바이리니어 근사화에 의해 모델링될 수도 있다. 예컨대, 움직임 추정에 제공되어야 할 시퀀스 이미지에서 단계적인 색변화가 있는 경우, 예를 들면, 밝기의 변화 때문에, 이들 강도 변화는 움직임 추정에 에러를 줄 수도 있다. 시퀀스에서 일부 계층적인 강도 변화를 허용함으로써, 움직임 추정은 보다 정확하게 될 수 있다. 그러나, 너무 많은 강도 변화가 시퀀스에서 허용되면, 움직임 추정은 파괴될 수 있다.

허용된 강도 변화 패턴의 다중인수 1차 또는 바이리니어 모델링은 탄력적이고, 움직임 때문에 나타나지 않는 여전히 간단하고 충분한 계층적인 강도 변화의 요약을 제공한다. 강도 변화 로딩이 알려져 있거나 이전에 추정되어 있는 경우에, 강도 도메인에서의 잘못된 모델링 움직임 효과의 확률은 최소화된다.

비슷하게, 깊이, 투과성 또는 분류확률의 다중인수 1차 또는 바이리니어 모델링은 다른 방법으로 움직임 추정을 방해하는 계층적인 변화를 수정함으로써 움직임 추정 및 모델링을 향상시킬 수 있다. 그러나, 너무 많은 유연성을 허용한 경우, 이들 선택적인 도메인에서의 적응성의 수정은 움직임 추정을 파괴할 수 있다. 그러므로, 이러한 다중도메인 모델링은 강제로 행해져야 한다. 즉 정확하게 유효한 변화 패턴만이 다중도메인 모델에 포함되어야 한다. 바이리니어 모델이 점차 줄어 불확실하게 됨으로 반복적인 처리동안 이 제약은 완화될 수 있다.

움직임 추정에 관하여 바이리니어 다중도메인 모델링의 사용은 바람직한 제 5 및 제 6 실시예에서 보다 상세히 설명한다.

바람직한 실시예

움직임 추정의 안정화 및 운동 영역 모델링의 간소화는 1세트의 관련 프레임에서의 주어진 홀론(또는 전체 프레임)에 대하여 다양한 방법으로 행해질 수 있다.

움직임 추정의 다중프레임 좌표지정에 대한 본 발명의 제 1실시예는 도 5에서 설명한다. 그것은 1)모든 프레임n=1, 2, 3, .....에 대하여(참조 프레임 R에 대하여) 운동 영역 DA_Rn를 추정, 2)모든 프레임에 대하여부분공간 및 가설을 추정하는 것을 반복하는 것으로 이루어진다.

제 2실시예에 대해서는 도 6 및 도 7에 보다 상세히 설명되어 있다. 그것은 반복적인 추정 처리시 어떤 단계에서의 어떤 프레임에 대하여, 이 단계에서 이용가능한 어떠한 부분공간 정보라도, 개별적인 프레임에 대한 움직임 추정의 안정화에 대하여, 사용하고, 획득된 개별적인 움직임 추정으로 부분공간 추정을 갱신/다운데이팅하는 것으로 이루어져 있다.

제 3실시예는 바이리니어 파라미터의 추정에 통합된 부가적인 최적화 기준으로서 시공간적인 평활화를 포함하는 바이리니어 모델링 툴을 사용한다. 그것은 이들 데이터의 행렬에 대하여 주어진 1세트의 통계적인 가중치 및 주어진 1세트의 입력 데이터에서 동작한다.

제 4실시예는 몇몇 형태의 부가적인 정보 및 가설이 바이리니어 파라미터의 추정에 합병되도록 허용하는 바이리니어 모델링 툴을 이용한다.

제 5실시예는 계층적으로 강도가 수정된 이미지에 대하여 향상된 움직임 추정을 허용하도록 움직임 도메인 및 강도 도메인에서 바이리니어 및 다중인수 1차 모델링을 이용한다.

제 6실시예는 반복적인 팬턴 인식 검색 처리와 강도 도메인( 및 선택적으로 움직임 도메인) 내의 이전에 경험적으로 추정된 바이리니어 모델의 결합에 근거하여 제 5실시예의 패턴 인식 확장을 나타낸다.

바람직한 제 1실시예: 전체 시퀀스에 대한 움직임 추정후의 바이리니어 모델링

도 5는 시퀀스에 대하여 가장 간단한 형태로 동작하는 본 발명에 따른 장치(500)의 제 1실시예를 나타낸다. 개별적인 프레임(가능한 신뢰도 정보를 더함)에 대한 입력 강도I _n, n=1, 2, ... (510)에 근거하여, 그리고 기준 이미지 모델I _R(530)에 근거하여, 그것은 570에 소망의 움직임 추정DA _Rn, n=1, 2, ...을, 580에 최종 가설을 전송 또는 출력한다. 장치(500)는 블록(540, 560)에 각각 저장된 중간결과를 포함해서, 전체 시퀀스에 대한 블록(520) EstMovSeq에서 행해진 움직임 추정 및 블록(550) EstHypSeq에서 만든 가설을 가짐으로써 동작한다. EstMovSeq(520)는 관련된 프레임에 대한 강도I _n, n=1, 2, ... 및 기준 이미지 모델의 부분으로서 저장된 바이리니어 모델 정보에 근거하여, 그리고 무엇이든지 가설정보(560)가 이용가능한 것을 사용하여, 운동 영역을 추정한다. EstModel(590)는 움직임의 바이리니어 모델 부분공간(아마도, 계층적인 강도 변화의 것)을 추정하고, 이것으로 기준 이미지 모델(530) 내의 바이리니어 모델 정보를 갱신한다. EstHypSeq(550)는 기준 이미지 모델(530) 내의 신규 바이리니어 모델 정보 및 EstMovSeq(520)로부터의 출력(540)에 근거하여 각 프레임에 대한 가설을 예측한다.

알고리즘은 아래와 같이 기록될 수 있다.

필요하다면, 시퀀스를 보다 짧고, 보다 균일한 시퀀스로 분리한다.

1개의 공지된 방법은 시퀀스 내의 각 프레임에 대한 강도 또는 컬러 분산의 히스토그램을 계산하고, 프레임 쌍에 대한 히스토그램 사이의 유사성 척도를 계산하는 것이며, 프레임쌍 사이의 히스토그램의 유사성이 작은 경우에는 장면이동이 있다고 가정하는 것이다. 이 방법은 일부 장면이동을 포착할 것이다.

1이상의 홀론의 기준 이미지I _R, 예를 들면, 서브시퀀스 내의 어떤 프레임, 시퀀스 내의 특정 프레임의 특정 세그먼트, 또는 몇몇 이미지로부터 축적된 합성 세그먼트를 한정하라.

요약:

각 균일한 시퀀스 및 홀론에 대하여:

While sequence estimate not converged

Form hypotheses of the motion field for all frames in EstHypSeq 550

Estimate motion field for all frames in EstMovSeq 520

Estimate the bilineat motion model subspace in EstModel 590

Check convergence for the sequence

End of while sequence estimate not converged

다음에, 바람직한 제 1실시예에 관하여 보다 상세히 설명할 것이다.

While sequence estimate not converged

Form hypotheses of the motion field for all frames in EstHypSeq 550

식 (7)로부터 EstHypSeq(550) 내의 각 프레임에 대한 운동 영역 추정의 가설x _n Hyp를 갱신하라. 부가적인 가설은 또한 (예를 들면, 시간적인 내삽/외삽에 의해)공식화될 수 있지만, 그들의 폐색은 제 2실시예에서 설명한다.

다른 홀론으로부터 추정된 깊이/폴딩 및 폐색을 포함하여, 이 추정의 불확실성을 액세하고, 가설 분배의 신뢰도 파라미터를 결정하라. 일반적인 부분공간 모델P에 매우 적합한 프레임(T에서의 낮은 프레임 지렛대)은 매우 많은 부분공간 제한에 그들 자신이 영향을 미치지 않고 높은 일반적인 가설 강도를 받고, 다른 프레임은 낮은 강도를 받는다. 추정된 가설의 불확실성 분산이 낮은 픽셀은 비교적 높은 강도를 받는다.x _n Hyp이 강도 데이터에 인가된 경우 대응하는 것에 좋은 적합성을 주도록 가설을 찾는 픽셀은 비교적 높은 강도를 받는다. 불확실하다고 생각되는 픽셀은 추정된 홀론내 또는 홀론간 폐색 근방 또는 내부에 있기 때문에 낮은 가중치를 받는다.

이 가설 범위는, 부분공간이 제한되기 전에 반복적인 처리시 일찍이 이동범위 및 전파범위가 일반적으로 비교적 크게 설정되도록 제한된다. 추정 처리가 진행하고P가 충분히 제한됨에 따라, 이 범위는 일반적으로 축소된다. 개별적인 픽셀에 대한 가설 이동 범위는 만족스럽지만 부정확한 가설을 가진 픽셀에 대하여 이 가설은 정확한 가설을 가진 픽셀에 대해서보다 넓은 움직임 범위를 넘어서 다소 적용가능한 것으로 간주되도록 설정된다. 픽셀이 더 불명확한 가설을 갖는다면, 이 가설 전파 범위는, 매우 명확한 가설을 가진 픽셀이 다른 픽셀(예를 들면, 그 근방의 픽셀)의 가설에 영향을 미치게 하도록 설정된다.

Estimate motion field for all frames in EstMovSeq 520

이용가능한 정보, 즉I _n,I _R(또는 바람직하게는 알려진 것과 반대로,I _R의 일부 변형)에 및 그들의 불확실성에 근거하여, 참조 프레임I _R에서I _n, n=1, 2, ...., nFrames까지 운동 영역x _n=DA _Rn를 추정하라. 게다가, 움직임 추정은 예를 들면, 홀론내 깊이/폴딩의 추정 및 다른 홀론으로부터의 폐색을 더하여, 미리 추정된 바이리니어 로딩 및 가설강도, 가설범위 및 가설 전파범위와 같은 가설의 분배 파라미터에 근거하여, 다양한 가설을 이용함으로써 안정화된다.

Estimate the bilineat motion model subspace in EstModel 590

움직임 데이터X=(x_n, n=1, 2, ...., nFrames)의 바이리니어 모델링, 예를 들면, 단일값 분해 또는 식 1에 따른 가중치를 설정한 비선형 반복적인 스퀘어(Nipals) 모델링에 의해, 또는 시공간적인 평활화(바람직한 제 3실시예 참조) 및/또는 반복적인 최적의 스케일링(바람직한 제 4실시예 참조)을 포함하는 바이리니어 추정자에 의해 EstModel 590 내의 움직임 부분공간의 스코어 및 로딩을 추정하라.

이 추정은 로딩P, 스코어T및 나머지E를 산출한다. 예를 들면, 교차확신에 의해 통계적으로P,T에서의 인수의 최적 수(바람직하게는 낮은 수)를 결정하라. 선택적으로, 참조 위치에 이동된 나머지의 강도 변화의 비슷한 바이리니어 모델링을 하라.

주어진 프레임에 대한 움직임 데이터가 양호한 재구성을 허용하지 않으면, 그리고/또는 움직임 데이터X가 대응하는 스코어 및 로딩으로부터 재구성될 수 없으면, 장면 이동이 발생하고, 모델링이 각각에 대하여 개별적으로 행해져야 하는 2개의 서로 다른 서브시퀀스로 현재의 서브시퀀스가 분리되어야 한다고 가정할 수도 있다.

Check convergence for the sequence

End of while sequence estimate not converged

요약하면, 바람직한 제 1실시예에 있어서, 각각은 EstHypSeq 550 내의 모든 프레임의 가설을 먼저 추정해서, EstMovSeq 520 내의 모든 프레임에 대한 움직임을 추정하며, 모든 신규 정보를 동시에 사용하여 EstModel 590 내의 홀론에 대한 모델을 추정/갱신하는 것으로 이루어진 시퀀스를 통과한다.

바람직한 제 2실시예: 각 프레임에 대한 움직임 추정후의 바이리니어 모델 갱신

바람직한 제 2실시예에 있어서, 바이리니어 모델은, 모든 프레임이 움직임 추정을 통과하는 대신에 각 프레임에 대한 움직임 추정 후에 갱신된다. 이것에 대해서는 도 6에 설명되어 있다.

또, 그것은 관련 프레임의 서브시퀀스에, 그리고 전 프레임 또는 세그먼트를 나타내는 홀론에 적용된다.

시퀀스 내의 프레임 사이의 움직임 추정의 좌표지정을 최적화하기 위해, 이 시스템은 1회이상 시퀀스를 통과한다. 각 패스에 대하여 그것은 관련 프레임을 통해서 반복한다. 각 프레임에 대한 움직임 추정을 최적화하기 위해, 이 시스템은 가설의 재추정(EstHyp)과 움직임의 추정(EstMov)의 좌표를 반복적으로 지정한다. 1개의 프레임에 대한 집중은 없지만, 기준 이미지 모델은 다소 일정하게 유지된다. 일단 이것이 1개의 프레임에 대해서 집중되면, 이 프레임에 대하여 획득된 운동 영역는 EstModel 내의 바이리니어 기준 이미지 모델을 갱신하도록 EstModel에 이용된다.

도 6에 요약된 알고리즘은 아래와 같이 기술될 수 있다.

Estimate motion in sequence (600) :

While sequence estimate not converged

For frame n=1 : nFrames (630)

From input image data (610) and available model information (630),

estimate motion (670)

and update the model (630) :

While frame iterations not converged

Form hypotheses of the motion field x_nHyp in EstHyp (650) :

Eestimate motion field x_nfor the frame in EstMov (620)

Check convergence for the iterations for this frame

End while frame iterations not converged.

Estimate the bilinear motion model subspace (630) in EstModel (690)

End for frame n=1: nFrames (630)

Check convergence for the sequence

End of while sequence estimate not converged

보다 상세히 말하면, 바람직한 제 2실시예는 아래의 단계로 이루어진다.

Estimate motion in sequence (600) :

While sequence estimate not converged

For frame n=1 : nFrames (630)

From input image data (610) and available model information (630),

estimate motion (670)

and update the model (630) :

While frame iterations not converged

Form hypotheses of the motion field x_nHyp in EstHyp (650) :

몇몇 가설이 이용가능한 정보에 근거하여 형성될 수 있다.

시간적 예측 :스코어t _Rn, m=1, 2, ....이 전프레임 또는 후프레임으로부터, 다른 공간적인 해상도로부터 또는 이전의 시퀀스 반복으로부터 이용가능하고, 평활한 시간적 움직임이 기대되면, 선형의 예측, 예를 들면:

t _n Hyp ₁= b₀＋b₁*t _n-1＋b₂*t _n-2+.....

x _n Hyp ₁=t _n Hyp ₁*P ^T

을 이용하여, 이들로부터 시간적인 예측을 하려고 시도하기 때문에, 예상 값이 모델에 대한 데이터의 선형의 회귀에 의해 추출된 시간 시리즈 내의 정상적인 것을 표현한다.

이 가설의 통계적인 불확실성의 공분산은 또 시간 시리즈의 모델링으로부터 추정된 스코어의 불확실성에 근거하여, 추정될 수도 있고, 로딩을 통해서 전달될 수도 있다. 즉,

Cov(x _n Hyp ₁)=P*Cov(t _n Hyp ₁)*P _T

여기서, Cov(t _n Hyp ₁)는 시간적인 예측의 공분산의 어떤 기준 통계적 추정이다.

선택적으로, 예를 들면, 시행 및 에러로 이 프레임에 대한 홀론의 로컬 깊이 필드를 추정하라. 또, 기준 이미지 모델에 이 예측된 움직임을 인가하는 경우에 획득된 강도의 부적합성을 추정하라.

바이리니어 적합성: 운동 영역x _n가 이전의 반복에서 이미 추정되었다면(그 추정 불확실성의 척도, 추정된 깊이 필드 및 선택적인 움직임 및, 관련된 강도 부적합성의 추정을 포함해서), 원래의 적은 스퀘어 회귀로, 즉

t _n Hyp ₂=x _n*P*(P ^T*P)^-1

또는, 이것의 일부 가중치를 설정한 혹은 가중치를 재설정한 변형물로 스코어를 추정하라.

또한 대응하는 불확실성의 공분산을 추정하라.

Cov(x _n Hyp ₂)=(P ^T*P)^-1*s² _×

단, s² _×는x _n의 추정된 불확실성의 공분산이다. 부가적인 공분산은 로딩P의 추정된 불확실성 때문에 부가될 수도 있다.

여기서 설명된 바와 같이, 변화정보x _n는 예를 들면, 참조위치에서의 운동 영역DA _Rn로서 표현됨으로, 참조 위치에 표현된 바이리니어 로딩P와 양립할 수 있다. 선택적으로, 변화정보는 프레임 n에서의 픽셀의 위치, 예를 들면 반전된 운동 영역DA _nR에 표시될 수도 있고, 로딩P의 호환가능한 변형물로 프로젝트될 수도 있고, 즉,P는 운동 영역DA _Rn를 이용하여 그 동일한 위치에 일시적으로 이동했다.

프레임 n에 대한 운동 영역 정보와 시퀀스 내의 다른 프레임으로부터의 모델 정보 사이의 최적의 대응관계는 반복적인 가중치를 재설정한 방식에 의해 획득될 수 있다. 분리된 픽셀은 반복적으로 가중치를 재설정하는 방식을 이용함으로써 국부적으로 검출될 수 있고, 가중치를 하향 설정할 수 있어, 스코어의 추정에 대한 폐색 등의 효과를 줄일 수 있다.

선형의 모델링과 평활화 가정의 통합에 대해서는 바람직한 제 3실시예에서 설명한다. 선형의 모델링에 입력된 데이터의 변경을 수반하는 가중치를 재설정하는 방식에 대한 규칙의 기초가 되는 알고리즘은 바람직한 제 4실시예에서 설명한다.

분석된 시퀀스 내의 움직임의 기대값 다이나믹에 대하여 이용가능한 정보는 시간적인 평활화에 관하여 획득된 스코어 추정t _n를 변경하도록 인가될 수 있다.

일단 스코어t _n Hyp ₂=t _n가 추정되었다면, 가설t _n Hyp ₂, 예를 들면

x_n Hyp ₂=t _n Hyp ₂*P ^T

를 생성하라.

또, 도 7에 약술된 바와 같이, 이 가설 포인트 추정의 통계적 확률 분산의 간소화된 추정을 생성하라. 결과적으로가설 영향력 척도가 된다. 즉, 부분적으로 높은 픽셀 지렛대, 다이어그램(P(P ^T P)^-1 P ^T) 또는 프레임 지렛대, 다이어그램(T(T ^T P)^-1 T ^T)을 가진 픽셀, 비정상의 바이리니어 나머지E또는 디코딩 강도 에러DI에는 다른 픽셀보다 높은 불확실성이 주어진다.

이들 불확실성은 포인트 추정 x_n Hyp ₂가 다음의 움직임 추정에 얼마나 인가되는가를 제한하는 다양한가설 영향력 척도를 계산하기 위한 기준을 형성한다. 바람직한 실시예에 있어서, 가설에서의 픽셀의 불확실성이 높으면 높을 수록, 낮아지는 것은 그것의 강도 750 이고, 작아지는 것은 그것의 이동범위 730 및 전달범위 740이다.

또, 다른 원리에 근거한 가설은 이 단계에서 추정될 수도 있고, 다음의 움직임 추정에서x _n Hyp ₁과 비슷하게 사용될 수 있다.

다른 가설의 원리는 여전히 운동 영역의 공간적 미분을 액세스하는 것과 그것의 불확실성에 근거가 될 수도 있다. 즉,

정확도 우위 필터링 x _n Hyp ₄: 양호한 움직임을 찾지 못한 화소에서(재구성된 이미지와 실제 입력된 이미지I _n사이의 적합성에 의해 판단된 바와 같이), 움직임 추정은 상기 정확도 우위 필터링과 비슷하게, 보다 성공적인 움직임 추정을 갖는 다른 관련 화소로부터의 움직임 추정과 교체될 수도 있고, 따라서 이 불확실성은 제한된다. 즉, 불확실성이 전파된다.

물리적으로 불가능한 움직임 필터링 x _n Hyp ₅:x _n가 물리적으로 불가능하다는 것을 나타내는 이미지 부분들을 수정한다. 일부 화소에 대한 운동 영역의 공간적인 미분이 1보다 크면, 이것은 동일한 움직임 패턴이 증폭되는 경우에 폴딩으로 된다는 것이다. 이들 화소에서의 선택적인 움직임이 동일한 움직임에 대하여 적합성을 찾을 수 있으면, 이들 선택적인 움직임은x _n Hyp ₅에 삽입된다. 불확실성은 서로 다른 물리적 가정의 가능성 및 데이터x _n에 대한 그들의 적합성에 근거가 된다.

다른 공간적인 좌표지정 시스템으로부터의 예측 x _n Hyp ₆

운동 영역 추정은 서로 다른 좌표지정 표시, 예를 들면 서로다른 공간적인 해상도에서 획득될 수도 있고, 곧 사용되는 좌표지정 표시로 변경될 수도 있다. 그러한 선택적인 추정은 가설로서도 사용될 수 있어, 서로다른 좌표지정 표시를 만족시키는 움직임 추정을 찾을 확률은 증가된다. 다른 좌표지정 표시에서의 불확실성은 운동 영역 데이터로 변형된다.

Estimate motion field x_nfor the frame in EstMov (620)

이용가능한 정보, 즉 강도I _n및I _R(또는 역으로I _R를 일부 변형) 및 불확실한 것들, 다양한 가설x _n Hyp및 그들의 영향력 척도 등에 근거하여, 참조 프레임에서 프레임 n까지 운동 영역x _n=DA _Rn를 추정하라. 세그먼트(물체, 홀론) 사이에 폐색이 발생하면, 이것은 움직임 추정에 대하여 수정되어야 한다.

확률 밀도 함수가 운동 영역x _n를 어떻게 변경할 것인가에 관한 간소화된 통계적 설명을 이 추정으로 산출해야 한다.

전형적으로, 출력은 관련된 각 좌표(예를 들면, 수직, 수평, 깊이)에 대한 값을 가진 포인트 추정x _n을 포함해야 한다. 그러나, 그것은 어쩌면 그러한 1개의 포인트 추정보다 많이 가질 수 있다.

포인트 추정x _n은 불확실성 '표준편차(standard deviation)' 추정을 가져야 한다. 이것은 유효성 정보(획득된 움직임 추정이 적용가능하거나 가능하지 않다고 보이면 표시한다)뿐만 아니라 통계적인 신뢰도 정보(추정 정확도, 입력 데이터에서의 노이즈에 대한 감도)에 근거되어도 된다.

추정 운동 영역의 신뢰도 추정은, 운동 영역가 추정되었던 강도I _R및I _n에 어떤 표준편차의 랜덤 노이즈가 부가되면 발생할 것으로 보이는운동영역x _n로부터의 표준편차 또는 '슬랙' 이다. 그러한 슬랙에 대해서x _n에서의 각 화소의 몇 개의 불확실한 것, 즉 수평한 불확실성에 대하여 좌우측, 수직한 불확실성에 대하여 상하측, 깊이 불확실성에 대하여 순방향 및 역방향이 있을 수 있다. 불확실한 것은 또 다른 치수의 방향으로, 그리고 가정된 2이상의 강도 노이즈 레벨에 대하여 주어질 수 있다.

추정된 운동 영역의 유효성 추정은, 주어진 픽셀 x_n,pel에 대하여 나쁜 강도 적합성의 운동 영역 추정이 디코딩에 전달된다는 것이고, 보다 불확실한 것은 운동 영역 추정이 수정된다는 것이다. 또 다른 유효성 추정은,I _n에서의 볼 수 없다고 생각되는I _R에서의 픽셀이 어쩌면 불확실한 움직임 추정을 갖는다는 것이다.

Check convergence for the iterations for this frame

End while frame iterations not converged.

Estimate the bilinear motion model subspace (630) in EstModel (690)

움직임 데이터( 및 선택적으로, 강도 데이터)의 이 바이리니어 모델링은 다양한 방법으로 행해질 수 있다. 이 분석은 본 프레임 n을 포함하는 1세트의 프레임의 움직임 추정X=[x _m, m=..., n, ...]에 대해서, 예를 들면, 가중치 QR 또는X ^T의 단일값 분해에 의해 새로이 수행될 수도 있다.

바이리니어 모델 갱신

선택적으로, 증가한 갱신, 예를 들면, 단일값 분해에 기초가 된 가중치를 설정한 적응성의 QR 알고리즘에 의해, 또는 가중치를 설정한 니폴 주성분 분석(컨퍼런스, 영국 키체스터 UK의 J. Wiley & Sons 사의 Martens, H. Naes, t.(1989)저 Multivariate Calibration)에 의해 수행될 수도 있다. 신규 프레임 n의 효과x _n는 이 방법으로 구모델이 부가될 수도 있다.

프레임 n이 이미 구모델P _old에 제공되었다면,x _n(이전에는x _n-x _n)에서의 차이만이 이 갱신에 사용된다.

X는 다음과 같이 모델링될 수 있다.

X=USV ^T+E

단, 행렬U,S및V는X의 단일값 분해에 의해 계산되고, 나머지 행렬E는X의 중요하지 않는 치수(예를 들면, 픽셀 상의 교차확인에 의해 판정된 바와 같이)를 포함한다.

그래서, 신규로딩은

P _new=VS ^T

이고, 갱신된 스코어는 즉

그것의 기본적인 형태로P에 대한 추정 프로세서(및T, 함축적이거나 명백한)는 목적지로서 가능한 많은 (가중치를 설정한)변화 데이터X에서의 분산/공분산을 설명해야 한다. 그러나, 계산시간을 절약하기 위해, 전체가 집중할 때가지 이 프로세서가 반복되어 하는 것은 아니다.

그러나,P및T에 대한 이 추정 프로세스는 또 부가적인 정보 및 부가적인 요구를 설명할 수도 있다.

바이리니어 모델링과 평활화 가정의 통합에 대해서는 바람직한 제 3실시예에서 설명한다. 바이리니어 모델링에 입력된 데이터의 변화를 포함하는 가중치를 설정한 방식에 대한 규칙의 기본이 되는 알고리즘에 대해서는 바람직한 제 4실시예에서 설명한다.

End for frame n=1 : nFrame

Check converagence for the sequence

움직임 추정X, 움직임 모델TP ^T또는I _n, n=1, 2, ..., N에 대한 부적합성의 변화가 어떤 한계보다 아래에 있다면, 또는 최대의 반복이 도달되었다면, 다음의 반복을 종료시킨다.

End of while sequence estimate not converged

이 알고리즘은 전프레임에 적용되고, 또는 단편화 및 깊이 추정이 수반되면, 각 공간적인 세그먼트(홀론)에 대해서 반복된다.

도 6에서의 블록도는 움직임 추정과 개별적인 프레임에 대한 가설 추정 사이에서 균형을 이루는 반복성에 대하여 상세히 설명한다. 이 균형동작(600)은 입력으로서 프레임의 강도I _n(610) 및 운동 영역가 추정되는 이용가능한 기준 이미지 모델(630)을 입력한다. 이 모델은 무엇이든지 부분공간 로딩 또는 로드P(640) 및 다른 프레임의 추정된 스코어T(660)뿐만 아니라 기준 이미지 강도I _R와, 이용가능한 그들의 관련 불확실성 통계를 포함한다. 이것은 670에 이 프레임에 대한 움직임 추정을 전달하고, 기준 이미지 모델(630)의 갱신된 변형물뿐만 아니라 이 프레임에 대한 가설을 680에 전달한다.

EstHyp 작동장치(650)는 예를 들면, 다른 프레임으로부터 생긴 시간적인 외삽/내삽에 의해 움직임 추정에 대한 가설을 초기에 발생한다.

EstMov 작동장치(620)는 무엇이든지 이용가능한 가설x _n Hyp를 이용하여 기준 이미지I _R-I _n로부터 운동 영역x _n를 추정한다.

이 프레임에 대한 반복이 집중되지 않는 한, EstModel 모듈(690)은 로딩P에 대해서 획득된 데이터x _n를 모델링함으로써 신규 스코어를 추정한다. 이 프레임에 대한 반복이 집중되었거나 반대로 정지된 경우에, EstModel(690)은 또 로딩P를 갱신한다.

반복적인 프로세스 동안, EstHyp 작동장치(650)는 반복된 움직임 추정에 대한 신규 가설을 발생하고, 예를 들면 이용가능한 부분공간 로딩P에 대한 예비적인 움직임 추정x _n을 추정 스코어t _n에 일치시켜서 1개의 가설을 발생한다.

게다가, EstHyp(650)는 스코어 T 공간에서의 세분된 시간의 연속 모델링으로 가설을 예측하는 초기 형태를 세분해도 된다. 또, 평활 등(상술한 바와 같이)에 근거하는 다른 가설은 EstHyp(650)에서 형성될 수도 있다. 가설x _n Hyp의 결과는 갱신된 움직임 추정에 대한 EstMov(620)에 반송된다.

도 8은 1개의 프레임에 대한 EstHyp(650)으로부터의 출력(680)의 바람직한 데이터 구조를 약술한다. 이 구조는 수직(810) 움직임 추정DVHyp및 수평(820) 움직임 추정DHHyp으로 이루어진 포인트 추정과, 선택적으로 깊이 방향의 움직임도 포함한다. 이들 방향의 각각에 대하여, 이 가설에 대한 분배정보는 일반적인 가설 강도(850)뿐만 아니라, 가설 시프트 범위(830) 및 전파범위(840)를 포함한다.

도 9는 1개의 프레임에 대한 EstMov(620) 작동장치로부터의 데이터 구조(670)를 약술한다. 이 구조는 수평(910) 움직임 추정DV _Rn및 수직(920) 움직임 추정DH _Rn(및 선택적으로 깊이 변화 추정)으로 이루어진다. 게다가, 이 구조는 선택적으로 움직임 추정자 EstMov(620)로부터의 통계적으로 불확실한 정보로 이루어질 수도 있다. 움직임 추정의 신뢰도는 강도 노이즈(슬랙)에 대한 각각의 움직임 방향에서 감도에 의해 표시된다. 움직임 추정의 유효성은, 움직임 추정이I _R(또는 그것의 변형, 상기의 컨퍼런스)를 디코딩하기 위해 사용될 때 생긴 강도에 부적합한 것으로서 표시된다. 또 다른 유효성 추정은 분명한 폐색의 존재로서 표시된다.

신뢰도 정보에는 1, 2 또는 그 이상의 슬랙 파라미터가 있을 수 있다. 2개의 슬랙 표현(930, 940)은 즉, 수직 움직임 추정에 대한 상하측 슬랙과, 수평 움직임 추정에 대한 좌우측 슬랙을 나타낸다.I _n의 강도가 어떤 노이즈의 표준편차에 의해 임의로 변경되었다면 주어진 포인트 추정 DV 및 DH에서 멀리 떨어진 곳에 움직임 추정이 어떻게 도달할 수 있는가의 추정을 이들의 각각이 나타낼 수도 있다. 따라서, 그들은 움직임 추정의 비대칭의 표준 편차를 추정한 대로 나타날 수 있다.

유효성 정보는 아무리 컬러 공간 치수가 소망하는 것이라도 부적합한 강도(950, 960, 970)를 포함한다. 즉 그 예로서 R, G, B컬러 공간에 대하여 상기 강도를 준다.

요약하면, 바람직한 제 2실시예는 반복하는 것으로 그 프레임에 대한 움직임 추정을 향상시키도록 바이리니어 시퀀스 모델 정보가 무엇이든지 시퀀스 인코딩의 주어진 단계에서 주어진 프레임에 이용가능한 것을 사용한다. 바이리니어 시퀀스 모델에서 항상 존재하는 추정에러가, 특히 모델이 이전의 거의 없는 프레임에만 근거하는 경우의 초기의 인코딩 프로세스시, 주어진 프레임의 데이터 내의 정보를 희생시켜서 전파되는 것을 피하기 위해, 명확하고 낮은 불확실성을 갖는 모델정보만 이 향상에 사용되도록 주의하라. 그래서, 바이리니어 시퀀스 모델 정보는 프레임에 대한 움직임 추정 후에 갱신된다. 갱신된 모델의 변형물은 다음 프레임 등의 움직임 추정을 향상시키기 위해 교대로 사용된다. 이 프로세서는 시퀀스 내의 프레임 시리즈에 대해서는 한 번만 수행되고, 또는 시퀀스에 대해서는 몇 회 반복된다.

바람직한 제 3실시예: 향상된 바이리니어 모델링 툴

바람직한 제 3실시예는, 선형의 스코어 추정의 부분으로서 시간적인 평활화 및 바이리니어 로딩 및 스코어의 추정에서의 시공간적인 평활화를 이용하는 점에서 바람직한 제 1 및 제 2실시예의 향상을 미리제공한다. 게다가, 이 실시예는 처음의 몇몇의 통계적인 성질을 향상시키도록 입력 데이터의 적응성의 통계적인 가중치를 허용한다.

상기 선형의 스코어 추정 및 바이리니어 모델 추정에서, 각 프레임은 행렬X의 1라인을 발생하고, 스코어의 추정에는 시간적인 연속성의 개념이 없다.

반대로, 바이리니어 모델 추정에서, 각 픽셀은 1개의 변수(행렬X의 1열)를 발생한다. 일단 이 변수가 한정되면, 변수들 사이에는 공간적인 지역의 개념이 없게 된다. 즉, 각 픽셀은 실제의 기준 이미지에 속하는 것에 관계없이 처리된다.

본 발명에 있어서, 시공간적인 제약은 이들 모델 파라미터의 선형 및 바이리니어 추정에 포함될 수도 있다. 바람직한 제 3실시예는 이들 제약을 이용하여 직접적으로 파라미터를 추정하게 된다.

고정된 로딩에 대한 스코어의 시간적 평활화

EstHypSeq 550(도 5) 및 EstHyp 650(도 6)에서 가설을 예측하는 것에 있어서, 스코어는 시간의 연속 모델링, 예를 들면, ARMA 모델에 의해 예측되고, 시간의 연속적인 모델에 적합한 보수적인 파라미터로 시간적인 평활을 향상시킨다.

반대로, 현재의 로딩P에 프레임 n에 대한 데이터x _n를 적합시키는데 근거가 된 가설은, 예를 들면, 식(3)에서는 시간적인 평활에 대하여 어떤 가설도 없다. 바람직한 제 3실시예에 있어서, 그러한 시간적인 평활은 이하의 동작에 의해 획득된다.

상술한 바와 같이, 시간적인 외삽/내삽t _n Hyp ₁및 그것의 공분산 Cos(t _n Hyp ₁)를 추정하라. 또, 상술한 바와 같이, 현재의 프레임에 대한 예비적인 시간적 스코어t _n Hyp _Prelim및 그것의 불확실한 공분산Cos(t _n Hyp _Prelim)를 추정하라.

그들의 공분산에서 판정된 바와 같이,t _n Hyp _Prelim가 통계적으로 값t _n Hyp ₁을 가질 수 있었던 확률에 따라t _n Hyp ₁에 대하여t _n Hyp _Prelim를 변경하라. 예를 들면,

t _n Hyp ₂=t _n Hyp ₁*w_n＋t _n Hyp _Prelimn*(1-w_n)

단, 2개이 스코어에 대한 2개의 가설이 뚜렷하게 서로 다르지 않을 때, 가중치 w_n는 그것의 최대, 예를 들면, 0. 5이고, 그들이 보다 뚜렷하게 서로다른 경우 0에 접근한다. 즉

w_n=0.5*확률('t _n Hyp _Prelim은t _n Hyp ₁'와 같다고 나타난다)

또는 보다 공식으로

w_n=0.5*(1-확률 또는 가설을 거절(t _n Hyp _Prelim은t _n Hyp ₁'와 동일하지 않음)

이 확률은 종래의 중요한 테스트에서 추정된다.

이 방법에 있어서, 데이터x _n및 이용가능한 바이리니어 로딩P의 불확실성 때문에 추정 에러는 시간적인 예측의 불확실성에 대해서 균형을 이룬다.

바이리니어 모델링에서 로딩 및 스코어의 시공간적 평활화

바이리니어 모델링에서 시공간적인 평활화를 용이하게 하기 위해, 유력한 방법으로 주성분 분석에 대한 알고리즘의 특정 변형물이 사용된다.

개별적인 인수를 추출하기 위한 유력한 방법은 일부 문헌에서는 'NIPALS 방법'(Martens, H. 및 Naes, T.(1989) Multivariate Calibration. J. Wiley & Sons Ltd, Chichester UK)이라고 칭한다.

NIPALS의 주요 성분 알고리즘에서 데이터X로부터 신규 인수를 제거하기 위해, 이전의 인수 1, 2, ...., f-1의 효과는 먼저 데이터 행렬로부터 추출된다. 그래서, 반복적인 프로세스시, 신규 인수에 대한t스코어는 그것의 로딩p의 예비적인 값에 나머지 행렬X의 각 행을 투사함으로써 추정된다. 반대로, 로딩p는 획득된 예비적인 스코어t에 나머지 행렬X의 각 열을 투사함으로써 획득된다. 인수의 스케일링이 수행된 후 이 프로세스는 소방하는 집중이 달성될 때까지 반복된다.

이것은 통상 개별적인 인수 f=1, 2, ....에 대해서 행해지지만, 인수가 그 해답의 전체 부분공간 순위를 확실하게 하도록 직각을 이루게 되면, 몇몇 인수에 대해서 동시에 행해진다.

본 발명에 있어서, 평활화 단계는 시간적인 스코어에 대해서 뿐만 아니라 시간적인 로딩에 대해서 각각 포함된다.

변경된 주성분 분석에 대한 이중으로 평활화된 NIPALS 알고리즘의 바람직한 실시예가 있다. 즉

초기화:

f=0 인수수

E=V _frames*X*V _Pels나머지=이중으로 가중치를 설정한 초기의 행렬

단,V _frames= 대각선 및 역으로 각 프레임의 불확실한 표준 편차에 비례하는 프레임에 대한 가중치 행렬(X에서의 라인). 이들 가중치는 외부 정보(예를 들면, 상술한 바와 같이, 슬랙정보)에 근거하여 이전에 추정될 수도 있다. 부가적인 로버스트니스(robustness)는 이전의 반복으로부터 나머지에 근거하여 불확실한 분산을 재계산함으로써 달성된다.

V _Pels=대각선 및 역으로 각 픽셀의 불확실한 표준편차에 비례하는 화소에 대한 가중치 행렬(X에서의 라인). 또, 이들이 우선하여 주어질 수도 있고, 가중치의 재설정에 의해 더 세분될 수도 있다.

바이리니어 모델링:

충분하지 않은 인수 a:

f=f+1

w ^T=스퀘어의 가장 높은 합을 가진E에서 라인으로서 획득된 일부 시작 로딩

벡터

집중되지 않는 동안:

p ^T=공간적인 연속성을 제공하기 위한 로딩 w^T의 평활화된 변형물 :

1. w의 불확실성 분산을 추정, 예를 들면:

s _w ²=(t ^T*t)^-1*s² _×

단, s² _×=데이터X의 추정된 불확실성 분산

또, 스코어t에서의 불확실성 때문에 부가적인 분산이 부가될 수도 있다.

2. 로패스 콘벌루션 필터링에 의한 평활 로딩w, 예를 들면:

w _smoothed=S _LP*w, 단S _LP는 로패스 평활화 행렬.

보다 진보된 평활화는 부가적인 입력으로서 불확실한 단편화 정보를 받고, 불확실한 세그먼트 영역을 지나서 평활화를 피한다.

3. 평활화되지 않은 로딩과 평활화된 로딩을 결합:

p=w*v_f＋w _smoothed*(1-v_f)

단, v_f는 가중치이다. 일 실시예는 각 픽셀에 대한 개별적인 가중치 v_f,pel를 한정하는 것이기 때문에, 픽셀의 평활된 로딩이 그것의 평활되지 않은 로딩과 상당히 다르지 않은 경우에, 가중치는 그것의 최대, 예를 들면 1. 0이 된다. w_smoothed가 w_pel과 상당히 다른 경우에는 이 가중치가 0에 접근한다. 즉,

v_f,pel=1*(1-가설을 거부할 확률(w_smoothed,pel는 w_pel'와 같지 않음))

이 확률은 픽셀의 표준 불확실성 편차 s_w,pel에 대한 (w_smoothed-w_pel)의 종래의 주요한 표준 테스트에서 추정된다.

따라서, 이 실행에 있어서, 평활화는 단지 입력 데이터X에 근거한 추정을 통계적으로 위반하지 않는 정도로 적용된다.

p ^T p=1이도록p ^T를 스케일

예비적인 스코어 추정을 계산:

u=E*p

t=시간적인 연속성을 제공하기 위한 스코어 벡터 u의 평활화된 변형물. 본 실시예에 있어서, 이 평활화는 로딩에 대한 평활화와 비슷하게 행해진다. 즉, 이것을 단지 입력 데이터X에 근거한 추정을 통계적으로 위반하지 않는 정도로 적용된다.

w^T=t^T*E(예비적인 로딩 추정)

마지막 반복 때문에t에서의 집중된 w. r. t 변화를 체크

그리고 집중되지 않는 동안

q=(P ^T*P)^-1 P ^T*w(직각의 로딩 세트를 안전하게 하기 위해 이전의 로딩에 w를

투사)

이전의 인수에 이 인수 로딩을 직각화:

p=w-P*q

p ^T*p=1이도록 일정한 길이에p ^T를 스케일

P내에q를 포함

이 인수 로딩에 대한 스코어 추정:

u=E*p

t=u또는 선택적으로u의 평활된 변형물.

T내에t를 포함

이 인수의 효과를 추출:

E=E-t*p ^T

충분한 인수가 있다면, 예를 들면, 교차확인으로 체크

그리고 충분한 인수가 없는 동안

가중치를 하향 설정:

가중치를 설정하지 않은 스코어=V _frames ^-1*T

가중치를 설정하지 않은 로딩=P ^T V _Pels ^-1

가중치를 설정하지 않은 나머지=V _frames ^-1 E*V _Pels ^-1

평활화된 바이리니어 모델링의 로버스트의 통계적인 변형물이 이하의 가중치의 재설정 방식에 의해 획득된다.

즉, 공지된 로딩으로부터의 스코어의 선형 회귀 추정과 같이, 로딩 및 스코어의 바이리니어 추정은 로버스트 방법으로 수행될 수도 있다.

즉, 신규 가중치V _frames,V _Pels는 추정된 파라미터에 대한 적합한 수정 후, 예를 들면, 지렛대 수정후(Martens, H. 및 Naes, t.(1989) Multivariate Calibration. J. Wiley & Sons Ltd, Chichester UK 참조), 가중치를 정하지 않은 나머지로부터 계산될 수도 있고, 그 바이리니어 분석이 반복될 수도 있다. 특별한 요구사항은 예를 들면, 크지만, 유일한 분산, 즉X에서의 어떤 다른 프레임에 의해 분할되지 않은 강한 변화 패턴을 갖고 있는 것처럼 보이는 프레임이, 먼저 다소의 인수가 통계적으로 가장 적합거나 신뢰할 수 있는 인수를 나타낸다는 것을 확보하기 위해 아래로 가중치가 설정될 수도 있다는 것에 포함되어도 된다.

피라미드 모델링

움직임 추정에서의 바이리니어 모델링은 공간 및 시간에 있어서 거대하게 사용될 수도 있다. 공간적인 피라미드 동작의 일 실시예는 시퀀스 내의 주요 홀론을 식별하기 위해, 낮은 해상도로 프레임에 대한 공간적인 단편화, 바이리니어 모델링, 움직임 추정을 수행한 후에, 보다 높은 프레임 해상도로 동일한 프로세스에 예비적인, 불확실한 입력가설로서 스코어 및 공간적 파라미터(적합한 확장 및 스케일링후)를 사용하는 것이다. 시간적인 피라미드 동작의 일 실시예는 프레임의 부분집합에 대해서 먼저 움직임 추정, 바이리니어 모델링 및 공간적인 단편화를 수행하여, 다른 프레임에 대한 불확실한 입력가설을 발생하여 내삽된 스코어를 사용하는 것이다.

다중홀론 모델링

바람직한 실시예에 있어서, 움직임 추정 및 바이리니어 모델링은 개별적이고 이미 식별된 홀론('입력 홀론')에 대해서, 또는 완전하고 세그먼트되지 않은 이미지I _n에 대해서 수행될 수도 있다. 어느 쪽의 경우든, 입력 홀론 사이의 중첩을 해결하기 위해서는 확득된 운동 영역, 바이리니어 모델 및 세그먼트의 다중 홀론 사후 처리가 바람직하다.

그러한 사후 처리는 불명확한 홀론 소속으로 인접한 픽셀의 '할로(halo)'를 각 홀론에 저장하는 것에 근거하고, 즉, 시험적으로만 홀론의 탓으로 돌릴 수 있다(이와 같이, 다른 홀론에 일시적으로 저장되고, 또는 불명확한 픽셀의 리스트를 분리함으로). 이 움직임 추정에 있어서, 그러한 시험적인 할로 픽셀은 모든 관련 홀론과, 그들의 소속물에 대해서 맞게 만들어짐으로써, 그리고 움직임 추정치의 결과에 따라 갱신된 서로 다른 홀론에 그들의 소속물을 적합시킴으로써 특별하게 처리된다. 그러한 할로 홀론은 바이리니어 모델링에 있어서 매우 낮은 가중치를 받고, 또는 수동으로(예를 들면, 주요 성분 회귀에 의해, Martens, H. 및 Naes, T.(1989) Multivariate Calibration. J. Wiley & Sons Ltd, Chichester UK 참조) 맞춰지게 된다.

여분의 변수

데이터 행렬X에서의 부가적인 열은 데이터의 다른 블록에서 '외부의 스코어"로부터 형성될 수도 있다. 그러한 '외부 스코어'의 소스는 아래와 같다.

일부 다른 데이터 도메인의 바이리니어 모델링으로부터의 스코어,

(예를 들면, 동일한 홀론의 움직임 보상 강도 나머지), 또는

서로 다른 공간적인 해상도에서의 동일한 홀론으로부터의 스코어,

다른 홀론으로부터의 스코어, 또는

사운드와 같은 외부 데이터로부터의 스코어

(예를 들면, 이들 동일한 프레임의 사운드 진동 에너지 스펙트럼의 바이리니어 모델링 후).

그러한 부가적인 변수에 대한 가중치는, 그들의 불확실성 레벨이 모델링 대상의 최종 데이터 행렬 X에서 가중치를 설정한 픽셀의 것과 비슷하게 되도록 변경되어야 한다.

움직임 데이터의 계층적 바이리니어 모델링

바이리니어 모델에서 그들의 정보를 추출하는 일없이 서서히 불확실한 픽셀 또는 외부 스코어들을 합병하기 위한 선택적인 방법은 PLS 회귀(Martens, H. 및 Naes, T.(1989) Multivariate Calibration. J. Wiley & Sons Ltd, Chichester UK) 또는 Consensus PCA/PLS(Gelade, P., Martins, H., Martens, M., Kalvenses, S., 및 Esbensen, K.(1988) Multivariate comparison of laboratory measurements. Proceeding, Symosium in Applide Statistics, Copenhagen Jan 25-27 1998, Uni-C, Copenhagen Danmark, pp 15-30)와 같은 2 또는 그이상의 블록 모델링과 1개의 블록 바이리니어 모델링을 교체하는 것이다. 이 방법에 있어서, 불확실한 픽셀 및 외부 스코어는 그들이 서로 잘 맞게 되면 모델링에 확실하게 기여하지만, 그들이 서로 맞지 않으면 소극적인 방법으로 모델링에 강하게 영향을 미치지 않는다. 어떠한 방법에 있어서, 이들 불확실한 픽셀 및 외부스코어는 획득된 바이리니어 모델에 적합하게 된다.

현해상도 및 현도메인에서 현재의 홀론의 모델링으로부터의 스코어는 Consensus PCA/PLS 알고리즘(Gelade, P., Martins, H., Martens, M., Kalvenses, S., 및 Esbensen, K.(1988) Multivariate comparison of laboratory measurements. Proceeding, Symosium in Applide Statistics, Copenhagen Jan 25-27 1998, Uni-C, Copenhagen Danmark, pp 15-30)에 나타난 바와 같이, 다른 도메인에서 또는 다른 해상도에서 또는 다른 홀론에 대한 '외부 스코어'로서 교대로 사용될 수도 있다.

그러한 계층적인 다중블록 모델링은 움직임 보상 강도 변화 데이터와 같은 다른 도메인으로부터의 데이터에 대해서도 사용될 수 있다.

바람직한 제 4실시예: 데이터 성분의 개별적인 가중치 설정 및 지연된 포인트 추정

3개의 바람직한 제 1실시예에서 기술된 선형 및 바이리니어 모델링 단계에 있어서, 움직임 추정 데이터X=[x _nn=1, 2, ....]가 통계적인 파라미터 추정치에 입력되는 것은 당연한 일로 생각되었다.X에서의 에러에 대해서 통계적인 최적화 또는 확고화는 바람직한 제 3실시예에서 a) 부가적인 제약(시공간적인 평활화)을 포함해서 또는 b)X의 행렬에 대한 가중치 설정 및 가중치 재설정을 포함해서 달성되었다. 그러나,X에서의 데이터 성분는 개별적으로 가중치를 설정하지 않았다. 또, 모델링 처리동안 영향을 미친X에서의 실제의 값도 아니었다.

어떤 경우에는, 프레임 n, 픽셀 화소 x_n,pel에 대해서X에서의 개별적인 데이터 성분의 영향력를 변경할 필요가 있다. 예를 들면, 일부 데이터 성분는 폐색 때문이든지, 그들이 예비적인 선형 또는 바이리니어 모델링에서E에서의 매우 큰 개별적인 외부의 나머지 e_frane,pel에 상승을 주기 때문에, 또는 그들이 디코딩에 대해서 비정상적으로 높은 개별적인 강도 에러를 표시하기 때문이든지, 특히 불확실하다고 이전에 알려져 있거나 생각될 수도 있다.

바람직한 제 4실시예는 개별적인 가중치 하향 설정, 데이터값의 규칙의 기본이 되는 변경을 적용하거나, 특히 X에서의 문제가 되는 데이터 성분에 대해서 이들을 결합할 수 있다. 총괄하여, 여기서는 이들 기술은 '최적의 스케일링'이라고 칭한다.

보다 일반적으로 말하면, 바람직한 제 4실시예는 이전의 바람직한 실시예와 관련하여 이용될 수 있고, 그들을 본 발명의 전체 목적과 양립시킬 수 있다. 즉, 바이리니어 모델을 통해서 몇몇 프레임에 대한 움직임 추정값의 좌표위치 결정으로 움직임 추정값 및 움직임 모델링을 향상시킬 수 있다.

움직임 추정은 통상 불확실한 결정밖에 못하는 프로세스이다. 따라서, 움직임의 모호성은 추정 프로세스시 초기의 움직임 추정 da_Rn에 대한 포인트 추정(추정값)에서의 추정 에러를 피할 수 없게 된다. 이들 에러는 너무 늦어져서, 즉 초기의 에러가 이미 다음에 프레임에서의 움직임의 모호성을 최소화하기 위해 나중에 사용되었던 바이리니어 모델에 이르게 되어, 나중에 시퀀스에서 그들 자신만을 표시할 것이다. 그러므로, 이들 초기의 에러는 소망하지 않는 방법으로 전파될 수도 있고, 움직임의 추정의 효율적인 프레임간 좌표위치결정에 불필요한 방해물이 될 수도 있다. 일반적으로, 움직임 데이터의 적당한 모델링에 필요한 바이리니어 인수의 수는 너무 높게 된다.

바람직한 제 4실시예에 있어서, 이 문제점은 개별적인 불확실한 데이터의 가중치 하향 설정에 의해, 또는 '지연된 포인트 추정'의 기술에 의해 해결된다. 각 프레임 n=1, 2, ...nFrames에 대한 운동 영역는 표면상 그것의 '가장 좋은' 값(그것의 포인트 추정값) x_n,pel에 대해서 뿐만 아니라 다른 통계적인 성질에 대해서 추정, 저장된다. 그래서, 보다 많은 프레임에 대한 움직임 데이터가 이용가능하게 됨으로 최대 프레임간 좌표결정을 확보하도록 이들 통계적인 성질이 사용된다. 즉 특별한 불확실성 또는 특별한 모호성을 가진 개별적인 포인트 추정 x_n,pel또는 가중치가 변경된다.

개별적인 데이터 성분의 가중치 설정

개별적인 데이터 성분의 영향력를 변경하기 위한 하나의 방법은 선형 회귀에서 특정 가중치가 데이터 성분에 속하는 것으로 생각하여, 스코어 또는 로딩을 추정하는 것이다. 이 방법에 있어서, 특별히 신뢰할 수 없다고 액세스된 데이터 성분는 행 가중치와 열 가중치의 적으로부터 기대된 것보다 낮은 가중치를 받는다. 즉 그들은 분실값으로서 다소 처리된다. 역으로, 특별히 정보를 제공한다고 판단된 데이터 성분에는 높은 가중치가 주어진다.

프레임의 스코어를 추정하기 위한 공지된 로딩에 프레임의 운동 영역의 회귀를 위해, 그리고 픽셀의 로딩을 추정하기 위한 공지된 스코어에 픽셀의 움직임의 회귀를 위해, 이것은 매우 잘 동작한다. 단일 인수 바이리니어 모델링에 대해서도 잘 동작할 수 있다.

그러나, 그러한 내부의 세부적인 계량은 공지된 바이리니어 추정 알고리즘을 지지하여 기하학적인 가정을 위반한다. 그러므로, 1이상의 인수는X에서 기대되는 것일 때, 바이리니어 모델링에서 문제점을 집중시키고, 기대, 소장하지 않은 파라미터값을 이끌 수도 있다.

외부의 불리한 효과 및 미발견값(missing values)을 감소시키기 위한 몇 개의 선택적인 방법은 예를 들면, Nonlinear Multivariate Analysis, Albert Gifi(1990), J. Wiley & Sons Ltd, Chichester UK에 설명된 바와 같이, 상기 다운계량 방법 대신에 사용된다.

바람직한 제 4실시예의 선택적인 변형물은 단지 통계적인 가중치 대신에, 입력 행렬X에서의 개별적인 데이터 성분 x_n,pel의 그들 자신의 실제값을 변경한다.

개별적인 데이터 성분 값의 변경

불확실한 범위가 추정될 수 있는 경우에, 선형 또는 바이리니어 모델링으로부터 판정된 바와 같이, 바람직한 제 4실시예는 또한 개별적인 데이터 성분의 값을 변경함으로 그들은 다른 픽셀 및 다른 프레임으로부터의 값에 보다 많이 대응한다. 이 변경을 지배하는 규칙의 주요한 특징은, 데이터가 단지 그들 자신의 불확실한 범위 내에서만 변경될 수 있다는 점이다. 그에 의해, 여전히 향상된 프레임간 프레임 및 픽셀간 좌표결정이 달성됨으로 입력 데이터의 정보 내용은 위배되지 않는다.

입력 포인트 추정x_n,pel의 불확실성이 높을 수록, 다른 보다 확실한 포인트에서의 정보로부터 더 영향을 받게 되는 값이라고 간주된다. 그 영향은 선형 또는 바이리니어 모델 재구성을 통해서 온다.

도 8에 나타낸 바와 같이, 데이터 성분의 불확실성 범위는 2형태의 척도, 즉, 유효성(획득된 포인트 추정x_n,pel이 관련된 것인지?) 및 신뢰도(포인트 추정x_n,pel의 값이 얼마나 정확한지?)로부터 작성된다.

프레임 n에서의 픽셀의 추정된 움직임의 유효성은 A) 디코딩(850, 860, 870)에 대해서 그 강도의 부적합한 에러의 크기뿐만 아니라, B) 폐색된, 보이지 않는 물체(880)를 나타내지 않을 확률의 판단으로부터 바람직하게 추정된다. 기준 이미지내의 강도가 픽셀의 강도와 전혀 대응하지 않는 픽셀이 프레임 n으로 이동한다고 가정하면, 그것은 예비적인 움직임 포인트 추정을 매우 무효한 w. r. t.라고 간주된다. 그러므로, 이 움직임 포인트 추정은 바이리니어 모델에 대한 영향력를 갖도록 허락하지 않아야 하고, 대신에 보다 유효한 데이터 포인트에 근거하여 찾은 움직임 패턴에 보다 밀착하도록 변경될 수는 있다. 게다가, 프레임 n내의 또 다른 세그먼트 뒤에 은폐된 것같이 보이는 기준 이미지내의 1개의 세그먼트를 나타내는 픽셀은 또 무효하고 간주되어 처리된다.

프레임 n 내의 픽셀의 추정된 움직임의 신뢰도는 다음으로부터 바람직하게 추정된다.

a) 슬랙 추정: 예비적인 움직임 추정이 이미지(830, 840)의 디코딩에 대한 받아들이기 어려운 결과를 갖기 전에 얼마나 많이 변경될 수 있는가를 추정, 그리고

b) 선형 또는 바이리니어 모델링에 있어서, 이전의 반복시 바이리니어 모델에 대한 부적합성.

개별적인 데이터 성분의 이 처리는 선형 및 바이리니어 모델링에 각각 사용될 수도 있다. 예를 들어, 이 원리를 이용하면, 바람직한 제 2실시예의 의사코드(pseude-code)는 아래와 같이 변경될 수 있었다(상세한 것을 이후에 설명함). 즉,

Estimate motion in sequence (600):

While sequence estimate not converged (1000)

For frame n=1 : nFrames

From input image data (610) and available model information (630),

estimate motion (670)

and update the model (630):

Form start hypotheses of the motion field x_nHyp in EstHyp (650)

While frame iterations not converged

Estimate motion field x_nfor the frame in EstMov(620)

Modify the estimated motion for frame n: (1005)

While rule-based regression iteration not converged (1010)

Determine uncertainty of pixels in x_nbased on validity and reliability

estimation(1020)

Determine regression weights for pixels based on uncertainty of x_n(1030)

Estimate scores t_nby weighted regression of x_non loadings p^T(1040)

Reconstruct motion field x_nHat=t_n*p'(1050)

Modify values x_n=f( x_nHat, uncertainty of x_n) (1060)

Check convergence of rule-based regression iteration: Is t_nstabile?

(1070)

End While rule-based regression iteration

Form hypotheses of the motion field x_nHyp in EstHyp (650)

Check convergence for the iterations for this frame

End while frame iterations not converged

Estimate the bilinear motion model subspace (630) in EstModel (690):

Modify the estimated motions for many frames: (1100)

While rule-based bilinear x-modelling iteration has not converged (1110)

Determine uncertainty of each elements x_i,pel, i=1, 2, ...., n in x (1120)

Determine least squares of each for frames, pels and individual data

elements in x (1130)

Estimate scores T and loadings P (incl. rank) from weighted bilinear

modelling of x (1140)

Reconstruct motion field matrix XHat=T*P^T(1150)

Modify values X=f(XHat, uncertainty of X) (1160)

Check convergence for the rule-based bilinear x modelling: Is T stabile?

(1170)

End While rule-based bilinear modelling iteration

End for frame n = 1:Frames

Check convergence for the sequence

End of while sequence estimate not converged

슬랙 정보 구조의 구현은 도 8에 나타나 있다. 슬랙은 다양한 방향으로 액세스될 수도 있고, 다음에 예에서는 수평 및 수직으로 액세스되었다.

도 9는 4개의 픽셀에 대한 슬랙 정보의 간단하지만, 효율적인 사용을 나타낸다. 즉, 픽셀 포인트 a 905, b 925, c 945 및 d 965는 예비적인 포인트 추정값 x_a, x_b, x_c, x_d으로 각각 이동된 후의 픽셀의 위치를 나타낸다. 픽셀 주변의 사각형 910, 930, 950, 970은, 움직임 x_a, x_b, x_c, x_d이 중요한 강도 에러, 즉 I_n에서의 열잡음 때문에 무작의로 발생될 수 없는 재구성될 프레임 I_n에 대한 강도 에러를 발생하는 일없이 변경될 수 있는 영역을 나타낸다.

도 9는 사각형 슬랙 범위 910으로 표시된 바와 같이, 픽셀에 대한 움직임 추정 a 905가 비대칭의 불확실성 범위를 갖는다는 것을 나타낸다. 즉, 움직임이 더 위쪽으로 또는 더 좌측으로 이 픽셀에 대한 나쁜 피트를 줄 것이고, 움직임이 나쁜 강도 피트를 일으키는 일없이 아래쪽으로 특히 멀리 우측으로 변경될 수도 있다. 그러한 효과는 예를 들면, 재구성될 프레임 I_n이 아래쪽으로, 위치 a의 우측으로 매우 평평하게 되면서, 단지 위쪽으로, 위치 a의 좌측으로 경사진 궤적(steep) 강도를 갖는 경우에 발생할 수 있다. 따라서, 예를 들면, 예비적인 수평 움직임 포인트 추정값 dh_n,a이 좌측이 아닌 우측으로 변경될 수도 있고, 예비적인 수직 움직임 포인트 추정값 dh_n,a은 도면에서 보면 위쪽이 아닌 아래쪽으로 변경될 수도 있다. 따라서, 픽셀 a 905에 대한 움직임 추정값은 중요한 강도 에러를 일으키는 일없이 포인트 915쪽으로 변경되었다. 게다가, 픽셀 b는 크고 비대칭의 불확실성 범위를 갖는다. 여전히, 픽셀 b 925에 대한 움직임 추정값은 이 픽셀에 대해서 추정된 움직임 정보를 방해하는 일없이 포인트 935쪽으로 변경될 수 없다.

픽셀 c 945 주위의 작은 사각형 950은, 이 픽셀에 대해서 예비적인 움직임 포인트 추정값이 받아들이기 어렵게 높은 강도의 부적합성을 찾기 전에는 어떤 방향으로 많이 변경될 수 없다는 것을 나타낸다. 이것은 구성대상의 프레임 강도 In가 포인트 b로부터 모든 방향으로 궤적 기울기를 갖기 때문이다. 여전히, 픽셀 b 945에 대한 움직임 추정값은 중요한 강도 에러를 일으키는 일없이 포인트 955쪽으로 변경될 수 있다. 게다가, 픽셀 d는 좁은 불확실성 범위를 갖는다. 그것의 움직임은 이 픽셀 d에 대하여 추정된 움직임 정보 970을 방해하는 일없이 그것의 추정값 965에서 포인트 975쪽으로 변경될 수 없다.

이 불확실성 범위의 정보는 지연된 포인트 추정을 위해, 즉 예비적인 포인트 추정x _n의 값을 변경하기 위해 사용됨으로 개별적인 움직임 추정값의 모호성 내에서 몇 개의 프레임에 대한 움직임 데이터의 향상된 호환성을 확보할 수도 있다.

규칙의 기본이 되는 '최적의 스케일링(Optimal Scaling)'은 움직임 추정 동안 서로 다른 단계에서 적용될 수 있어 1) 1개의 프레임에 대한 움직임 추정 내에서(아래의 단계 1000), 2) 시퀀스 움직임 모델의 재모델링 내에서(아래의 단계 1100) 호환성을 최적화한다.

Modifying the estimated motion for frame n (1005) :

1)의 경우에x _n가 다른 프레임의 명확한 계층적인 변화를 스패닝하는 부분공간 로딩 행렬P에 복귀된다. 이 프레임에 대한P(단계 1040)에x _n를 투사함으로써 확정된 인수 스코어t _n가 된다. 이들은 이 프레임에 대하여 갱신된 움직임 추정에 입력으로서 반복적으로(단계 1060) 사용된 바이리니어 재구성x _n Hat=t _n*P ^T(단계 1050)를 교대로 발생한다. 도 9에 있어서,x _n Hat에서의 픽셀의 바이리니어 재구성 값이 그것의 수용가능한 범위 내에 있는 경우에, 가설값이 이 픽셀에 대한 원래의x _n값만큼 좋은 것으로 간주될 수 있음으로,x _n에 삽입된다.

한편, 바이리니어 재구성 값x _n Hat이 움직임 추정값 주변의 수용가능한 범위 외부에 있으면, 바이리니어 재구성 값이 사용될 수 없다. 이것은 포인트 935, 975로 표시되어 있다. 그러한 경우에, 하나는 가장 좋은 추정값으로서 변경 불가능한 x_n에서의 움직임 추정값(여기서는, 925, 965)을 유지하든지, 또는 x_n에서의 성분를 수용 가능한 범위(938, 978) 내에 있지만 바이리니어 재구성에 가장 근접한 값으로 대체하든지 하는 것이다. 어떤 경우에는 프레임 n에서의 1개의 픽셀에 대한 움직인 추정값(예를 들면, 905, 925, 945 또는 965)이 예를 들면, 유효성 문제 때문에 특히 불확실하다고 생각된다. 즉 그것은 프레임 n에서의 폐색에 의해 제공된 보이지 않는 물체를 반영하는 것처럼 보인다. 그러한 경우에 있어서, 이 재구성이 명확한 신뢰도 범위 외부에 있더라도(예를 들면, 값 965에서 975에 가까운 값으로 픽셀 d를 변경함), x_n,pel의 변경된 값은 바이리니어 재구성x_n,pelHat에 접근할 수 있다.

변경된 움직임 벡터에 반복된 회귀

움직임 벡터x _n에서의 에러가 로딩P에x _n를 회귀함으로써 획득된 스코어t _n에서 에러를 일으킨다. 상기 변경은 부분공간P에x _n의 피트를 증가시킨 후에, 갱신된 회귀(1040)가 낮은 에러를 신규의 스코어t _n에 줄 것으로 기대될 수도 있다. 따라서, 스코어 추정값t _n 은 로딩P에 변경된 움직임 벡터x _n를 다시 투사함으로써 세분될 수 있고, 움직임 데이터의 규칙의 기본이 되는 변경이 다시 적용되며, 소망하는 동안 이 반복적인 회귀 처리가 반복된다. 각각의 신규 스코어 추정에는, 픽셀에 대한 신규 가중치가 사용될 수도 있다. 이것의 하나의 구현은 수용가능한 범위(937, 977)쪽으로 그들의 거리 DIST_n,pel에 다소 반비례하는 이들 픽셀, 예를 들면, 가중치_n,pel=1/(1+DIST_n,pel)을 아래쪽으로 계량하는 것이다.

개량된 가설을 가진 반복된 움직임 추정

상기 회귀의 반복 집중 후에,x _n의 변경된 값은 이 프레임에 대하여 갱신된 움직임 추정(단계 650)에 대해서 공급되는 가설x _n Hyp(단계 1050)내에 삽입되고, 이 반복적인 움직임 추정 처리는 소망하는 동안 반복된다.

그래서, 최종의 움직임 추정x _n은 이 프레임에 대한 초기의 움직임 추정x _n과는 다른 결과를 나타내고, 이 변경은 그 자체의 프레임 n에 대한 강도의 정확함의 중요한 손실없이 다른 프레임으로부터의 움직임 추정 정보를 보다 나은 좌표결정에 준다. 도 9에서의 결과가 픽셀 a, b, c, d 에 대한 이 최종의 움직임 추정 반복을 나타내었다면, 그들 움직임 추정값(905, 925, 945, 965)은 값(915, 938, 955, 978)으로 대체될 수도 있다.

Modify the estimated motions for many frames (단계 1110):

상기 바람직한 제 4실시예의 알고리즘은, 움직임 데이터의 비슷한 규칙의 기본이 되는 변경이 로딩 부분공간P의 추정동안 어떻게 적용될 수 있는가를 나타낸다. 향상된 바이리니어 모델링에 대한 내부의 반복에 있어서, 모델링 대상의 시퀀스 움직임 데이터X는 이전에 추정된 바이리니어 재구성XHat(단계 1150)에 따라 단계 1160에서 변경되어, 불확실성 범위 내에서 보다 나은 내부의 좌표결정을 확보한 후, 바이리니어 모델을 갱신한다.

전체 시퀀스를 모델링하기 위한 외부의 반복에 있어서(단계 1000), 바이리니어 움직임 모델에 근거한 움직임 가설은 프레임에 대한 움직임 추정을 향상시키기 위해 사용되고, 그 획득된 움직임 추정은 바이리니어 시퀀스 모델을 갱신하기 위해 사용된다. 바람직한 제 1실시예와 관련하여, 프레임의 전체 시퀀스가 움직임에 대해서 분석되었을 때마다 이 외부의 반복이 행해진다. 바람직한 제 2실시예에 있어서, 신규 프레임이 움직임에 대해서 분석되었을 때마다 점진적으로 행해지는 것이 바람직하다.

다른 모델링 방법

상기 랭크가 감소하는 바이리니어 모델링은 양방향 프레임×화소 시스템에 적용되었다. 스코어에 대한 선형 시간 계열 모델 또는 로딩에 대한 선형 공간 예측 모델, 또는 컬러 채널에 대한 선형 인수 분해 모델이라고 가정하면, 3개의 방향 또는 더 높은 방향의 선형 시스템에까지 확장될 수도 있다. 이것은 향상된 전체의 압축뿐만 아니라 향상된 움직임 안정화를 줄 수 있다. 선택적으로, 더 많은 수의 홀론, 더 많은 이미지 해상도 등으로부터 바이리니어 구조를 결합하려고 하는 바이리니어 방법도 사용될 수 있다. Consensus PCA/PLS(Gelade, P., Martens, H., Martens, M., Kalvenes, S. 및 Esbensen, K. (1988)저, Multivariate comparison of laboratory measurements. Proceedings, Symposium in Applied Statistics, Copenhagen Jan 25-27 1998, Uni-C, Copenhagen Danmark, pp 15-30)은 선택적인 것이다.

부가적인 바이리니어 모델링 이외의 모델링 방법으로서는 예를 들면, 고정된 부가적인 승산의 모델링이 사용될 수도 있다. 예를 들면, 바이리니어 모델링 전에 미리 처리하여 사용될 수 있는 선택적인 것은 Martens, H. 및 Naes, T.(1989) Multivariate Calibration. J. Wiley & Sons Ltd, Chichester Uk에 기술된 바와 같이, Multiplicative Signal Correction(MSC) 및 그것의 확장부분이다.

의사인수의 사용

이전의 좋은 로딩이 알려져 있는 경우에, 이들은 상술한 바와 같이 추정된 로딩 대신에 또는 추정된 로딩에 덧붙여 사용될 수도 있다. 특히, 밀접하게 결합된 움직임에 대응하는 로딩이 사용될 수도 있다.

바람직한 제 5실시예: 움직임 모델링과 강도 모델링 결합

본 내용에 있어서, 동일한 물체를 포함하는 2개의 프레임, 즉 참조 프레임 R과 프레임 n 사이의 움직임 추정은 프레임 n에 프레임 R로부터의 물체가 이용된다고 하는 다양한 가정하에, 2개의 프레임 I_n대 I_R의 강도를 비교하는 것에 관계한다. 그러나, 그 자체의 물체의 강도가 프레임 R과 프레임 n 사이에서 변하고, 이 강도 변화가 수정되지 않으면, 이들 강도 변화는 움직임으로서 실수로 처리될 수도 있고, 비효율적인 모델링이 될 수도 있다.

역으로, 본 내용에서의 강도 변화의 모델링 및 추정은 기준 이미지의 강도와 프레임 n의 강도를 비교하는 것으로 이루어진다. 프레임 n에서의 물체가 참조 프레임에 그것의 위치와 관련하여 이동되었고, 이 움직임이 보상되지 않았다면, 그것은 강도 변화로서 실수로 처리될 수도 있고, 다시 비효율적인 모델링이 될 수도 있다.

본 실시예는 움직임 도메인에서 또는 강도 변화 도메인에서 바이리니어 모델링을 사용하여 그러한 실수를 최소화한다.

실시예의 제 1변형물에 있어서, 움직임 추정은 바이리니어 강도 변화 모델링에 의해 향상된다. 즉, 어떤 것은 예를 들어서 이전의 경험에 근거하여 또는 물체의 광강도는 변화하지만, 그 물체가 기준 이미지와 관련하여는 이동하지 않는 1세트의 프레임의 강도I _n의 PCA에 의해 바이리니어 강도 변화 모델(강도 스코어 및 로딩으로 이루어짐)을 정했다고 가정한다. 제 1변형물은 다음의 단계로 이루어진다.

시퀀스 내의 각 프레임에 대해서

1. 프레임의 강도 변화 스코어 추정

(예를 들어서, 다른 프레임의 강도 스코어로부터의 외삽/내삽에 의해)

2. 그 강도 변화 스코어와 강도 변화 로딩 행렬의 적으로서 이 프레임에 대

한 강도 변화DI _Rn를 계산

3. 이 프레임에 대하여 강도가 수정된 참조 프레임을 생성

C _R=I _R＋DI _Rn

4. 이 보고서 기술된 방법 중의 하나로C _R에서I _R까지 운동 영역DI _Rn를 추정.

실시예의 제 2변형물에 있어서, 강도 변화 추정은 바이리니어 움직임 모델링에 의해 향상된다. 즉, 예를 들어서, 어떤 것은 이전의 경험에 근거하여 또는 물체는 이동하지만, 그 물체의 광강도는 기준 이미지와 관련하여 변화하지 않는 1세트의 프레임의 운동 영역DI _Rn의 PCA에 의해 바이리니어 움직임 모델(움직임 스코어 및 로딩으로 이루어짐)을 정했다고 가정한다. 이 제 2변형물은 다음의 단계로 이루어진다.

시퀀스 내의 각 프레임에 대하여

1. 프레임의 움직임 스코어 추정

(예를 들면, 다른 프레임의 움직임 스코어로부터의 외삽/내삽에 의해)

2. 그것의 움직임 스코어와 로딩 행렬의 적으로서 이 프레임에 대한 움직임

필드DI _Rn를 계산

3. 운동 영역DI _Rn를 사용하여 예를 들면, 참조 위치로 반송되는I _n으로 움

직임이 수정된 강도 변화를 생성:

J _n=MoveBack(DI _Rn를 사용하는I _n)

4. 참조위치에서 강도변화 추정:

DI _Rn=J _n-I _R

이 실시예의 제 3변형물에 있어서, 제 1 및 제 2변형물은 연속적으로 결합된다. 즉, 어떤 것은 예를 들어서, 이전의 경험에 근거하여 또는 물체의 광강도는 변화하지만, 그 물체가 기준 이미지와 관련하여는 이동하지는 않는 1세트의 프레임의 강도I _n의 PCA에 의해 바이리니어 강도 변화 모델(강도 스코어 및 로딩으로 이루어짐)을 정했다고 가정한다. 이 제 3변형물은 다음의 단계로 이루어진다.

1. 바이리니어 강도 변화 모델을 사용하여, 제 1변형물에 따른 1 또는 그 이상 의 프레임에 대한 운동 영역DI _Rn를 추정.

2. 이들 운동 영역로부터 바이리니어 움직임 모델을 추정 또는 갱신.

3. 획득된 바이리니어 움직임 모델을 사용하여, 제 2변형물에 따른 1 또는 그 이상의 프레임에 대한 강도 변화 필드DI _Rn를 추정.

이 실시예의 제 4변형물에 있어서, 제 2 및 제 1변형물은 연속적으로 결합된다. 즉, 어떤 것은 예를 들어서, 이전의 경험에 근거하여 또는 물체는 이동하지만, 그 물체의 광강도는 기준 이미지와 관련하여 변화하지 않는 1세트의 프레임의 운동 영역DI _Rn의 PCA에 의해 바이리니어 움직임 모델(움직임 스코어 및 로딩으로 이루어짐)을 정했다고 가정한다. 이 제 4변형물은 다음의 단계로 이루어진다.

1. 바이리니어 움직임 모델을 사용하여, 제 2변형물에 따른 1 또는 그 이상의 프레임에 대한 강도 변화 필드DI _Rn를 추정.

2. 이들 강도 변화 필드로부터 바이리니어 강도 변화 모델을 추정 또는 갱신.

3. 획득된 바이리니어 강도 변화 모델을 사용하여, 제 1변형물에 따른 1 또는 그 이상의 프레임에 대한 운동 영역DI _Rn를 추정.

이 실시예의 제 5변형물은 중간에 바이리니어 모델의 갱신과 함께, 실시예의 제 1 및 제 2변형물 간을 반복하는 것으로 이루어진다. 개시 단계는 변형물 1 또는 변형물 2로 선택될 수 있다. 이 실시예에 있어서, 변형물 1은 개시 단계이다. 그래서, 이전의 바이리니어 강도 변화 모델은 예를 들어서, 상술한 바와 같이 성립되고, 제 5변형물은 다음의 단계로 이루어진다.

1. 바이리니어 강도 변화 모델을 사용하여, 제 1변형물에 따른 1 또는 그 이상 의 프레임에 대한 운동 영역DI _Rn를 추정.

2. 이들 운동 영역로부터 바이리니어 움직임 모델을 추정 또는 갱신.

3. 바이리니어 움직임 모델을 사용하여, 제 2변형물에 따른 1 또는 그 이상의 프레임에 대한 강도 변화 필드DI _Rn를 추정.

4. 이들 강도 변화 필드로부터 바이리니어 강도 변화 모델을 추정 또는 갱 신.

5. 수속 체크: 예를 들어서, 움직임 스코어가 안정한지 ?

6. 수속할 때까지 단계 1-5를 반복.

이 실시예의 제 6변형물은 제 5의 변형물과 비슷하다. 그러나, 바이리니어 모델은 강도 변화 및 움직임에 대해서 존재한다고 가정하고, 그들의 로딩은 이 변형물 내에서 갱신되지 않는다. 제 6변형물은 다음의 단계로 이루어진다.

1. 바이리니어 강도 변화 모델을 사용하여, 제 1변형물에 따른 1 또는 그 이상 의 프레임에 대한 운동 영역DI _Rn를 추정.

2. 바이리니어 움직임 모델을 사용하여, 제 2변형물에 따른 1 또는 그 이상의 프레임에 대한 강도 변화 필드DI _Rn를 추정.

3. 수속 체크: 예를 들어서, 움직임 스코어가 안정한지 ?

4. 수속할 때까지 단계 1-3 반복.

반복적인 변형물 5, 6에서의 제 1반복 후에, 강도 변화 스코어는 강도 변화 로딩 행렬에 추정된 움직임이 보상된 강도 변화 필드DI _Rn를 회귀함으로써 추정될 수도 있다. 게다가, 제 1반복 후에, 회귀에 의해서 든지, 또는 비선형의 반복적인 최소화에 의해 추정된 운동 영역DI _Rn를 움직임 로딩 행렬과 관련시킴으로써 움직임 스코어가 추정될 수도 있다. 후자의 경우에 있어서, 최소화되어야 할 판정기준은 움직임이 보상된 강도 변화 필드DI _Rn로부터 바이리니어 강도 변화 모델의 추정된 효과를 뺀 후의 나머지 강도 에러의 작용일 수도 있다. 부가적인 제약들은 예를 들어서, 보상된 움직임DI _Rn을 비정상적으로 기준 이미지 내의 다소의 픽셀로 감소시키는 운동 영역와 같은 무가치한 해답에 대해서 보호하기 위해, 이 판정기준에 포함될 수도 있다.

수정에 있어서의 제약들:최적의 효율을 위해, 이 실시예는 움직임 추정 과 강도 변화 추정에 대한 어떤 제약들과 함께 작용한다. 이 실시예의 제 5변형물에 있어서, 이들 제약들은 반복을 계속함으로써 점점 완화될 수도 있다.

한편, 움직임 추정에 있어서의 강도 수정에 대한 제약들은 모델링되지 않은 움직임을 반영하는 것이라고 여겨지지 않거나, 또는 움직임 추정에서의 인공물을 도입하지 않는 강도 수정만이 적용되도록 하는 것이다. 이것은 특히 초기의 반복적인 처리시, 1이상의 프레임에 대한 큰 스코어 또는 인접한 프레임의 소그룹을 갖지 않는 바이리니어 강도 변화 정보가 0가까이 개산되고, 또는 그 강도 수정이 공간적으로 평활하게 된다는 것을 의미한다.

다른 한편에서는, 강도 변화 추정에서의 움직임 보상에 대한 제약들은, 기대되지 않은 폴딩 효과를 주지 않는 움직임만이 허용되도록 하는 것이고, 이것의 의미는 특히 반복적인 처리를 시작할 때, 유효한 폐색에 대한 명확한 지시가 수립되지 않으면, 움직임 보상 필드가 폴딩을 피하도록 평활하게 된다는 것을 의미한다.

본 실시예에 대하여 상술한 방법은 피라미드형에 적용될 수도 있다. 이것의 일례는, 이전의 바이리니어 모델이 서로 다른 공간적인 해상도에서 추정되었고, 해상도의 차이를 수정하도록만 개산되었다는 것이다.

모든 다른 방법과 비슷한 상기 방법은 주어진 프레임의 시퀀스에 대해서 반복적으로 적용될 수 있다.

동시에 일어나는 2중 도메인 변화 추정 및 모델링:한편, 움직임 추정 및 바이리니어 다중프레임 움직임 모델링은 수정된 이미지의 강도에 근거하여 수행된다. 다른 한편에서는 강도 변화 추정 및 바이리니어 다중 프레임 강도 모델링은 움직임이 보상된 이미지 강도에 근거하여 수행된다.

바이리니어 모델에 근거한 도메인 수정:한편, 움직임 추정에 사용된 강도 수정은 가장 이용 가능한 바이리니어 강도 모델에 근거하지만, 부가적인 제약들에 지배를 받게 된다. 다른 한편, 강도 변화 추정 반복에서 어드레스 수정(움직임 보상)에 대해서 사용된 운동 영역는 가장 이용 가능한 바이리니어 움직임 모델에 근거하지만, 부가적인 제약들에 지배를 받게 된다.

수정에서의 제약들:한편, 움직임 추정에 사용되어야 할 강도 수정에 대한 제약들은 모델링되지 않은 움직임 또는 엣지 내삽 효과를 반영하는 것으로 여겨지지 않는 강도 수정만 적용되도록 하는 것이다. 이 의미는 특히 초기의 반복적인 처리시에, 1이상의 프레임에 대한 큰 스코어 또는 인접한 프레임의 소그룹을 갖지 않는 바이리니어 강도 변화 정보가 0가까이 개산되고, 또는 이들 강도 수정이 공간적으로 평활하게 된다는 것을 의미한다. 다른 한편, 강도 변화 추정에 사용되어야 할 움직임 보상에 대한 제약들은 기대되지 않는 효과를 주지 않는 움직임만 허용되도록 하는 것이다. 이 의미는 특히 반복적인 처리의 시작에서, 유효한 폐색에 대한 명확한 지시가 수립되지 않으면 움직임 보상 필드는 폴딩을 피하도록 평활하게 된다는 것을 의미한다.

모델링에 있어서의 가중치 하향 설정의 불확실한 정보: 바이리니어 모델링에 있어서, 특히 높은 불확실성을 갖는다고 검출된 픽셀 및 픽셀 영역은 예를 들어서, 명확한 폐색 또는 엣지효과 때문에, 다른 픽셀에 대해서 가중치를 하향 설정한다. 게다가, 불확실한 프레임도 가중치를 하향 설정한다. 특히, 어떤 프레임에 대한 어떤 화소의 불확실한 단일 관측은 바람직한 제 4실시예에서 기술된 발명에 의해, 미발견값으로서 다소 처리되고, 보다 확실한 관측에 따르도록 바이리니어 추정 처리에서 변경된다.

바람직한 제 6실시예: 유연하고, 여전히 제약이 있는 패턴 인식

움직임 추정과 결합된 바이리니어 강도 모델링의 또 다른 응용의 예는 계산의 요구가 제한된 유연한 패턴 인식을 허용할 것으로 생각된다.

요약:여기서, 전체 패턴 인식 목적은 1 또는 그 이상의 식별할 수 있는 물체와의 조화를 검색하여, 이미지에서 식별할 수 없는 물체를 찾아서 식별하고, 그 양을 재는 것이다. 이 움직임 추정은 식별할 수 없는 물체가 이미지에 있는 조사결과에 관계한다. 바이리니어 강도 모델의 역할은 각 식별할 수 있는 물체가 관련 물체의 전체 클래스를 나타내도록 하는 것이다. (각 물체에 대한 바이리니어 움직임 모델도 사용될 수 있다). 끝으로 획득된 바이리니어 모델의 파라미터는 찾아낸 물체에 대해서 질과 양에 관한 상세한 정보를 제공한다.

밀접하게 결합된 움직임 추정을 사용하는 응용의 예:검색대상 물체의 패턴에서의 계층적인 변화는 먼저 물체의 식별할 수 있는 이미지에 근거하여, 강도 도메인에서의 바이리니어 모델링에 의해 근사화된다. 그래서, 식별할 수 없는 이미지에서 이 물체를 찾기 위해, 이 모델은 서로 다른 위치에 반복적으로 적용된다. 이것은 너무 많은 자유도의 손실없이, 그리고 너무 많은 계산의 요구없이 식별할 수 있는 계층적인 변화에 대한 자동적인 수정을 허용한다.

예를 들어서, 페이스(face)의 예:

교정:서로 다른 페이스의 다수의 이미지는 참조 모델을 추정하기 위해 표시된다.

움직임 보상 교정:이미지는 눈, 코, 입 등의 최대 오버랩을 주도록 변환을 밀접하게 결합함으로써 선택적으로 정규화되었다. 그러한 움직임 보상에 대한 상세한 것은 WO95/08240 데이터 분석에 대한 방법 및 장치뿐만 아니라, 바람직한 제 5실시예에서 주어진다.

강도 모델링 교정:검정색 & 흰색 또는 다양한 컬러 채널에서의 강도는 바이리니어 강도 모델링에 의해 근사화된다. 이 강도 참조 모델링은 전형적인 1개의 페이스,-'참조 페이스'-를 먼저 선택하는 것으로 이루어지고, 이것은 주어진 한 사람의 하나의 이미지 또는 몇 사람의 이미지의 일부 집합체일 수 있다. 그래서, 이 평균 기준 이미지 부근의 변화는 예를 들어서, 교차확인에 의해 판정된 바와 같이, 중요한 강도 인수만을 보유하여, 주된 보상 분석에 의해 모델링될 수도 있다. 아마도, 이 교정에 사용된 정규화된 페이스는 후에 내삽에 의해 동일한 통계적 집단으로부터 많은 다른 프레임의 적당히 예측한 근사화를 할 수 있도록 다양하게 충분히 선택되었다. 그러한 바이리니어 참조 교정 모델을 확대하는 방법에 관한 상세한 것은 상술한 예를 들면, Martens & Naes 1989에서 주어진다. 인위적으로 창조된 부가적인 로딩, 모델링, 예를 들면, 광 변화 조건은 강도 로딩 세트에 포함될 수도 있다.

예측:동일한 통계적 집단으로부터 신규 페이스의 식별할 수 없는 위치를 찾기 위해, 획득된 교정 결과는 동시의 움직임 추정 및 강도 변화 추정에 사용된다.

움직임 추정 예측:식별할 수 없는 이미지 강도 및 바이리니어 강도 참조 모델(참조 페이스 및 강도 인수 로딩)은 서로 관련하여 반복적으로 교체된다. 이것은 서로 다른 위치로 식별할 수 없는 이미지를 이동하고, 참조 위치에 이동되지 않은 보다 복잡한 바이리니어 강도 참조 모델을 유지함으로써 가장 쉽게 획득된다.

강도 추정 예측:각각의 변위에 대해서, 바이리니어 참조 모델은 예를 들면, 일부의 빠른 회귀 기법으로, 강도 스코어를 추정하도록 대응하는 이미지 강도에 적합하게 된다. 가중치를 재설정한 일부분의 가장 적은 스퀘어 회귀는 예를 들어서, 시가레트(sigarettes) 또는 기대되지 않은 다른 작은 비정상적인 것 때문에 외부의 픽셀의 효과를 줄이기 위해 사용될 수도 있다.

이미지의 강도와 바이리니어 참조 모델(1 또는 그이상의 컬러 채널에서) 사이의 (가중치가 설정된) 부적합한 나머지가 계산, 평가된다.

최종의 예측 결과:가중치를 설정한 가장 작은 부적합한 나머지를 주는 변위는 식별할 수 없는 페이스의 위치로서 획득될 수도 있고, 대응하는 강도 스코어 및 나머지는 주어진 식별할 수 없는 페이스의 특성을 나타내는 파라미터로서 획득될 수도 있다.

결합된 움직임과 강도 모델링:식별할 수 없는 페이스가 바이리니어 모델링(선택적인 정규화 후에)에 사용된 것 이외의 크기 및 기울기를 갖도록 하기 위해, 예측 처리가 서로 다른 의사변환(affine transformation) 스코어에 의해 개산, 회전된 정규화된 강도 모델과 함께 반복될 수도 있고, 전체의 가장 좋은 피트를 찾을 수도 있다. 그에 의해, 위치뿐만 아니라 면의 크기 및 기울기가 추정된다.

일반적인 움직임 추정을 사용하는 응용의 예:

선택적으로, 움직임 추정 및 부가된 움직임 모델링은 강도 차이 및 거친 의사 움직임뿐만 아니라 다른 형태의 외형 차이가 허용되도록 교정 위상에 사용될 수도 있다. 이것은 운동 영역의 바이리니어 모델링 또는 의사변화후의 그들 나머지에 의해 행해질 수도 있고, 결과적으로 다양한 인수에 대한 움직임 스코어 및 움직임 로딩으로 된다. 부가적으로, 예를 들어서, 헤드쪽으로 기울어지거나 방향을 변경하고, 미소짓거나 웃는 것에서 발생하는 식별할 수 있는 전형적인 움직임 패턴을 스패닝하는 여분의 인수는 움직임 모델에 포함될 수도 있다. 즉, 이들 여분의 인수의 로딩은 참조 면과 사람의 움직임 추정을 포함하는 제어된 실험으로부터 획득되었고, 기울어지거나 방향을 바꾸거나 이야기하고 있을 때 볼 수 있었다.

다음에, 참조 모델은 2개의 모델 도메인, 즉, 1개의 참조위치(예를 들어서, 평균 면, 또는 1개의 전형적인 면)에 속하는 움직임 모델 및 강도 변화 모델을 포함한다. 움직임 모델은 거친 의사 움직임 모델링 및 정교한 바이리니어 움직임 모델을 포함한다. 어떤 형상의 변화 및 어떤 강도 변화에 대해서 허용하는 이 2중 도메인의 제약된 바이리니어 모델링은 다양한 검색처리에 사용된다.

그러한 검색처리는 식별할 수 없는 이미지에 적용된 다양한 의사 움직임(전환, 스케일링, 회전)부근에 모델을 적용하는 것이다. 즉, 의사 움직임에 대해서는 이동된 식별할 수 없는 이미지와 기준 이미지 사이에서 또는 바이리니어 움직임 내의 그것의 일부 변환과 강도 변화 모델 사이에서, 국부적인 움직임 추정을 수행한다. 이 획득된 국부적인 운동 영역는 참조 모델의 움직임 로딩에 회귀되어, 허용된 정교한 움직임의 부분공간 내에서 국부적인 움직임 스코어를 추정하고, 식별할 수 없는 면의 계층적인 정교한 위치결정 및 재형성을 추정한다.

움직임이 보상된 입력 이미지 및 기준 이미지 사이의 강도차는 바이리니어 강도 로딩에 투사되어 강도 스코어 및 결과의 강도의 나머지 이미지 및 부적합한 분산을 추정한다. 상술한 바와 같이, 가장 낮은 부적합한 분산을 가진 의사 움직임은 최종의 것으로서 선택되고, 결과의 강도의 나머지뿐만 아니라, 강도 변화 및 밀접하게 관련이 없는 움직임에 대한 그 대응하는 바이리니어 스코어는 개별적인 비의사 면의 특징을 준다. 이들 데이터는 예를 들면, 보다 상세한 패턴 인식 목적에 사용될 수도 있다.

단지 크기 및 기울기 수정에 덧붙여, 전체 면 형상 수정도 포함될 수 있다. 이 경우에, 면 형상의 변화의 전체 바이리니어 모델링은 이 발명에 포함된다. 즉, 교정 위상 동안, 기준 이미지에 관하여, 서로 다른 정규화된 면 이미지에 대한 계층적인 형상 변화는 움직임 추정에 의해 검출될 수도 있고, 선형의 움직임 모델링에 의해서 요약될 수도 있다. 게다가, 움직임 보상 면 이미지의 계층적인 강도 변화는 이전의 실시예에서 설명한 바와 같이, 참조위치에서 차이 이미지로서 검출되고, 바이리니어 강도 모델링에 의해 요약된다. 인식할 수 있는 면에 대해서 예측하는 패턴 인식동안, 검색처리는 예를 들어서, 비선형의 반복적인 나머지의 최소화를 이용하여(J.A. Nelder and R. Mead, 'A simplex method for function minimization', Computer Journal, vol. 7, p. 308-313), 움직임 모델 및 강도 변화 모델의 스코어를 추정하는 처리와 함께 추가된다.

식별할 수 없는 이미지는 2 또는 그이상의 모델(예를 들어서, 남자 얼굴의 모델, 여자 얼굴의 모델, 아이들 얼굴의 모델)을 사용하여 검색될 수도 있고, 어떤 이미지 영역에 대하여 가장 좋은 피트를 나타내는 모델이 선택될 수도 있다.

전환

상기 바람직한 실시예에서의 추정처리에 반복적인 단계가 있다는 점에서, 다양한 제어 파라미터는 반복수의 작용 및 모델 수행능력으로서 완화될 수도 있다. 완화 대상의 파라미터 중에는 다음과 같은 것이 있다. 즉,

1) 평활화 파라미터: 예를 들어서, 'Optic Flow Computation', A. Singh, (1991), IEEE Computer Society Press, pp. 38-41에 기술된 바와 같이, 움직임 추정에 대한 평활화 파라미터가 완화될 수도 있다. 초기의 추정처리시, 보다 어려운 평활화는 이 처리시에 보다 늦게 행해져야 한다.

2) 피라미드 영향력 파라미터: 계층적이고, 다중 해상도의 움직임 추정의 경우에 있어서, 1개의 해상도 레벨로부터 영향력 결과를 조절하는 파라미터가 완화될 수도 있다. 초기의 추정처리시, 낮은 해상도 결과는 이 처리시 보다 늦게 높은 영향력를 가질 수도 있다.

3) 강도 영향력 파라미터: 다중 도메인 추정 및 모델링에서의 강도 변화에 대해서 수정할 때, 몇 개의 프레임에 대해서 일관되고, 비교적 참된 강도 변화를 반영한다고 확신하며, 강도 변화로서 거짓으로 처리된 움직임을 모델링한 강도 변화만이 허용되어야 한다. 이것은, 임대(letting) 강도변화가 추정처리의 초기 단계의 강도수정에 대해서 다소의 영향력를 갖음으로써 부분적으로 달성될 수 있다.

4) 상세한 것에 대한 단편화 감도: 초기의 추정처리시에, 추정된 움직임 정보 및 다른 정보는 비교적 불확실하다. 따라서, 초기의 추정처리시에는 그들 불확실성에 대해서, 너무 작은 공간적인 항목에 근거한 세그먼트에 부분적으로 최적화될 수도 있다. 여전히 이미지에 대해서 작동하는 대부분의 단편화 방법은 작은 세목이 어떻게 고려될 것인가에 영향을 미치는 한계값을 갖는다.

다른 응용의 예

수학적인 바이리니어 모델을 통해서 서로 다른 프레임에 대한 움직임 추정의 좌표를 결정하기 위한 상기 기법은 다른 형태의 데이터에도 적용 가능하다. 그러한 데이터의 예는 다음과 같은 것이 있다.

사운드

진동 시간 시리즈

사운드 프레임은 고정되거나, 또는 변화하는 시간의 길이에 대해서 기록된 에너지 벡터를 나타낼 수도 있고, 시간의 작용으로서 주어질 수도 있다. 이 경우에, '움직임 추정'은 예를 들어서, 단어 또는 문장의 사람의 서로 다른 발음의 속도차를 설명하는 참조 사운드 프레임과 비교하여 시간 패턴에서 단기간 시간적인 이동을 검출할 수도 있다. 동일한 단어 또는 문장의 많은 반복적인 프레임(레코딩)으로부터 시간 이동의 바이리니어 모델링은 수반된 계층적인 타이밍 변화의 모델을 생성하는 역할을 한다. 프레임의 시간 보상 에너지 벡터의 바이리니어 모델링은 사운드에서의 부가적인 계층적인 강도 변화를 나타낸다. 바이리니어 모델은 비디오 이미지에 대해서 설명한 바와 같이 단기간 시간적인 이동의 다음 '움직임' 추정을 용이하게 하는데 교대로 사용될 수 있다.

진동 주파수 스펙트럼

선택적으로, 사운드 프레임은 기록된 시간 프레임의 푸리에 변환 및 서브밴드(subband)/웨이브렛(wavelet) 변환후에, 예를 들어서, 주파수 스펙트럼으로서 주어질 수도 있다. 이 경우에, '움직임 추정'은 예를 들어서, 주어진 악기가 서로 다른 음의 고저로 재생될 때 그 상음 시리즈가 어떻게 계층적으로 이용하는지를 설명하는 참조 주파수 스펙트럼에 관한 각 프레임의 주파수 스펙트럼에서 이동을 검출할 수도 있다. 추정된 주파수 편이의 바이리니어 모델링은 이 음의 고저가 변경될 때 이 상음 시리즈가 어떻게 계층적으로 이용하는가를 나타낸다. 음의 고조가 수정된 강도의 바이리니어 모델링은 주파수 편이의 범위를 넘어선 계층적인 강도 변화를 나타낸다. 바이리니어 모델은 주파수 편이의 다음의 '움직임' 추정을 용이하게 하는데 교대로 사용될 수 있다.

진동 에너지 이미지

서로 다른 시간 스케일에 대한 변화를 수용하기 위해, 사운드 프레임은 1이상의 치수로 기록될 수도 있다. 비디오 이미지와 비슷한 2방법의 예는 각 프레임이 사운드 에너지의 주파수 스펙트럼을 나타내는 경우에 밀리초(종좌표) 대 시간, 예를 들어서, 1000밀리초(횡좌표)에 대해서 기록된다. 참조 프레임에 관한 움직임 추정은 주파수편이 및 시간적인 지연의 검출을 허용한다. 몇 개의 프레임에 대한 움직임의 다음의 바이리니어 모델링은 주파수 및 타이밍 시프트에서 계층적인 패턴을 검출한다. 움직임 보상 에너지의 바이리니어 모델링은 주파수 및 타이밍 시프트의 범위를 넘어서 강도에서 계층적인 패턴을 검출한다. 이들 바이리니어 모델은 다음의 움직임 추정을 향상시키도록 피드백된다.

사운드에 대한 수반된 바이리니어 모델 파라미터(스코어, 로딩 및 잔여물)는 음성 데이터의 디지탈 방식의 압축에 대해서 사용될 수도 있다. 그들은 또한 비디오 게임 등에서 사운드의 사후 편집에 대해서 사용된 사운드 패턴의 소형의 모델을 주기 위해 사용될 수도 있다. 그들은 또한 진동 데이터가 자동차, 선박 또는 비행기에서 서로 다른 진동 센서와 같은 기계적인 장비로부터 오는 경우에 처리 제어 및 자동적인 에러 경보에 대해서 사용될 수 있다. 사운드 스코어는 대응하는 이미지 정보에 관련되고, 또는 바이리니어 이미지 스코어는 비디오 압축, 립 동기화(lip synchronization) 등에 대해서, 동일한 시간 프레임을 대략 형성한다. 사운드 데이터의 바이리니어 모델링은 예를 들어서, PLS2 회귀(Martens & Naes 1989) 또는 Consensus PCA/PLS(Martens & Martens 1986, Geladi et al 1988)에 의해 비디오 데이터의 바이리니어 모델링과 공동으로 수행될 수도 있다.

결합된 움직임 추정과 바이리니어 모델링의 다른 적용예는 분석화학에 있다.

즉, 본 발명의 적용예는 좌표 결정된 추정 및 분광에서의 다중 관측에 관한 계층적인 위치 변화 및 강도 변화의 모델링이다. 이것의 일례는 NMR(unclear magnetic resonance)분광기 사용법이고, 소위 '케미컬 시프트'(이전의 비디오 코딩 설명에서의 '움직임'에 대응) 및 예를 들어서, 관련된 케미컬 샘플이외의 서로 다른 1세트내에서 서로 다른 주파수('픽셀')로 기록된, 다양한 형태의 분자의 작용(가능한 '홀론')의 피크 높이에서의 집중 제어 변화('강도 변화')를 추정, 모델링하는 것으로 이루어진다. 전자 스핀 공진(Electron spin resonance : ESR) 분광기 사용법은 비슷하게 분석될 수 있다.

또 다른 형태의 케미컬 적용예는 예를 들어서, X-레이에서 라디오 주파수까지 다양한 전자기 파장 범위 내의 다양한 종류(예를 들어서, 전송, 반사, 플라우어경과, Raman)의 분광 광도계(spectrophotometry)이다. 예를 들어서, 자외전/가시광선/적외선 범위에 있어서, 본 발명의 적용예는 관련된 케미컬 샘플('프레임이 시퀀스')이외의 서로 다른 1세트에서 서로 다른 파장, 파수 또는 결과시간('픽셀')으로 기록된 다양한 형태의 분자 또는 분자의 그룹(가능한 '홀론')의 집중 제어 흡광도 변화('강도 변화') 및 용제가 유도된 파장 시프트('움직임')를 검출하는 것에 대응할 수 있다.

본 발명의 적용예의 클래스는 색층분석 및 전기영동(electrophoresis)과 같은 물리적인 분리 기법 및 흐름 주입 분석에 관계한다. 예를 들면, 화확 혼합물의 고압 유체 색층분석에 있어서, 본 발명의 적용예는 관련된 케미컬 샘플('프레임의 시퀀스')이외의 서로 다른 1세트에서 서로 다른 색층분석 보유 시간('픽셀')으로 기록된 다양한 화학 혼합물(가능한 '홀론')의 집중 제어 검출기 신호 변화('강도 변화') 및 보유 시간 변화('고정된 열의 위상에서의 변화에 의해 유도된 '움직임')를 검출하는 것에 대응할 수 있다.

그러한 양에 관한 분석 적용예에 있어서, 홀론의 중첩효과는 통상 어떠한 폐색에도 관계없이 함께 부가될 수 있기 때문에, 홀론들을 결합하는 방법은 일반적으로 비디오 코딩보다 간단하다. 따라서, 단편화에 대한 필요성은 비디오 코딩에서보다 적다.

다른 적용예는 다음과 같다.

2D 다중채널 컬러 비디오 이미지, 초음파 이미지 또는 인공위성 이미지, 레이더 이미지 데이터, 컴퓨터 X선 다층촬영으로부터의 2D 또는 3D 이미지, 또는 Magnetic Resonance Imaging, 1D 라인 카메라 데이터.

본 발명은 그것의 바람직한 실시예를 참조하여 특히 나타나고 설명되었지만, 형식상 다양한 변화 및 세목은 본 발명의 정신 및 범위를 벗어나지 않고 본원에서 만들 수 있는 본 발명이 속하는 기술분야에 능숙한 당업자로부터 이해할 수 있을 것이다. 특히, '복수의'라는 것은 " 1 또는 그 이상 "의 의미로 해석될 수 있다.

Claims (50)

1개의 기준 이미지와 각 프레임이 입력신호의 복수의 샘플로 이루어진 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 추정하기 위한 방법에 있어서,

(1) 각 프레임에 대해서, 기준 이미지로부터 프레임까지의 운동 영역을 추정하는 단계와,

(2) 각 프레임에 대해서, 각 행이 1개의 프레임에 대응하며 기준 이미지의 각 성분에 대한 움직임 벡터의 각 성분을 포함하는 움직임 행렬로 추정된 운동 영역을 변환하는 단계와,

(3) 움직임 행렬에 대한 주성분 분석을 수행하여, 움직임 스코어 벡터라고 칭한 복수의 열벡터로 이루어진 움직임 스코어 행렬과 움직임 로딩 벡터라고 칭한 복수의 행벡터로 이루어진 움직임 로딩 행렬을 획득하고, 각 움직임 스코어 벡터가 각 프레임에 대한 1개의 성분에 대응하고, 각 움직임 로딩 벡터의 각 성분이 기준 이미지의 1개의 성분에 대응하며, 상기 움직임 스코어 행렬의 1열과 1개의 움직임 로딩 벡터가 함께 1개의 인수를 구성하고, 인수의 번호가 상기 프레임의 번호보다 낮거나 같도록 하는 단계와,

(4) 각 프레임에 대하여, 움직임 로딩 벡터와 프레임에 대응하는 움직임 스코어를 곱해서, 각 프레임에 대한 움직임 가설을 생성하는 단계와,

(5) 각 프레임에 대하여, 부대 정보로서 움직임 가설을 사용하여, 기준 이미지로부터 상기 프레임까지 운동 영역을 추정하고,

상기 기준 이미지와 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 나타내는 단계(5)에서 추정된 운동 영역을 출력하는 단계를 구비한 것을 특징으로 하는 방법.

제 1 항에 있어서,

단계(2) 내지 단계(5)는 상기 시퀀스를 통해서 복수의 경로를 따라 반복되는 것을 특징으로 하는 방법.

1개의 기준 이미지와 각 프레임이 입력신호의 복수의 샘플로 이루어진 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 추정하기 위한 방법에 있어서,

(1) 최초의 상기 프레임에 대해서, 기준 이미지로부터 프레임까지의 움직임을 추정하는 단계와,

(2) 각 행이 기준 이미지의 각 성분에 대한 움직임 벡터의 각 성분을 포함하고, 각 프레임에 대해서 1행을 갖는 움직임 행렬을 형성하는 단계와,

(3) 움직임 행렬의 주성분 분석을 수행함으로써, 각 성분이 이미지의 1개의 성분에 대한 1차원의 움직임 벡터에 대응하는 움직임 로딩 벡터라고 칭한 복수의 행벡터로 이루어진 행렬과, 각 행이 1개의 프레임에 대응하는 움직임 스코어 벡터라고 칭한 복수의 열로 이루어진 행렬로 되는 단계와,

(4) 다음의 상기 프레임에 대하여, 이전 스코어로부터 외삽을 사용하여 스코어를 예측하고, 예측된 스코어와 로드를 합께 곱해서, 각 프레임에 대한 움직임 가설을 생성하는 단계와,

(5) 상기 다음 프레임에 대해서, 부대 정보로서 움직임 가설을 사용하여, 기준 이미지로부터 프레임까지 운동 영역을 추정하는 단계와,

(6) 시퀀스내에 더 이상의 프레임이 존재하지 않을 때까지 단계(2) 내지 단계(5)를 반복하는 단계를 구비하며,

상기 단계(5)에서 추정된 운동 영역는 움직임을 나타내는 것을 특징으로 하는 방법.

1개의 기준 이미지와 각 프레임이 입력신호의 복수의 샘플로 이루어진 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 추정하기 위한 방법에 있어서,

(1) 기준 이미지로부터 상기 시퀀스 내의 처음 프레임까지의 움직임을 추정하는 단계와,

(2) 기준 이미지의 각 성분에 대한 움직임 벡터의 각 성분을 포함하고, 각 프레임에 대해서 1행을 갖는 움직임 행벡터를 형성하는 단계와,

(3) 신규 움직임 행벡터에 근거하여 바이리니어 모델을 갱신함으로써, 각 성분이 이미지의 1개의 성분에 대한 1차원의 움직임 벡터에 대응하는 움직임 로딩 벡터라고 칭한 복수의 행벡터로 이루어진 행렬과, 각 행이 1개의 프레임에 대응하는 스코어 벡터라고 칭한 복수의 열벡터로 이루어진 행렬로 되는 단계와,

(4) 다음의 상기 프레임에 대해서, 이전 움직임 스코어로부터 외삽을 사용하여 스코어를 예측하고, 예측된 움직임 스코어와 움직임 로딩 벡터를 곱해서, 각 프레임에 대한 움직임 가설을 생성하는 단계와,

(5) 상기 시퀀스 내의 다음 프레임에 대해서, 부대 정보로서 움직임 가설을 사용하여, 기준 이미지로부터 프레임까지 운동 영역을 추정하는 단계와,

(6) 상기 시퀀스 내의 최종 프레임이 처리될 때까지 단계(2) 내지 단계(5)를 반복하는 단계를 구비하며,

상기 단계(5)에서 추정된 운동 영역는 움직임을 나타내는 것을 특징으로 하는 방법.

제 3 항 또는 제 4 항 중 어느 한 항에 있어서,

단계(2) 내지 단계(6)는 상기 시퀀스를 통해서 복수의 경로를 따라 반복되는 것을 특징으로 하는 방법.

제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

단계(5)후에,

(5b) 단계(5)에서 찾은 운동 영역에 근거하여 바이리니어 모델을 재추정하는 단계와,

(5c) 재추정된 바이리니어 모델로부터 움직임 로딩 벡터와 주어진 프레임에 대한 스코어를 곱해서, 제 2움직임 가설을 생성하는 단계와,

(5d) 부대 정보로서 상기 제 2움직임 가설을 사용하여, 기준 이미지로부터 프레임까지 운동 영역을 추정하는 단계를 더 구비하며,

단계(5d)에서 추정된 운동 영역는 움직임을 나타내는 것을 특징으로 하는 방법.

제 6 항에 있어서,

상기 단계(2) 내지 단계(5d)는 상기 시퀀스를 통해서 복수의 경로를 따라 반복되는 것을 특징으로 하는 방법.

제 1 항 내지 제 7 항 중 어느 한 항에 있어서,

주성분 분석의 수행 또는 단계(3)에서의 바이리니어 모델의 갱신 및 단계(4)에서의 움직임 가설의 형성은 움직임 가설에 대한 불확실성 추정을 전달하는 방법을 사용하여 행해지고, 이들 불확실성 추정은 단계(5)에서의 움직임 추정에서 부대 정보로서 움직임 가설의 영향력의 정도를 제어하는데 사용되는 것을 특징으로 하는 방법.

제 1 항 내지 제 8 항 중 어느 한 항에 있어서,

단계(3)에서 추정된 움직임 로딩 벡터와 움직임 스코어 벡터의 수집은 움직임을 나타내는 것을 특징으로 하는 방법.

제 1 항 내지 제 9 항 중 어느 한 항에 있어서,

중간 단계에서, 움직임 행렬의 중간 바이리니어 모델이 사용되며, 상기 중간 단계에서의 상기 중간 바이리니어 모델은 감소된 공간적인 해상도의 움직임 로딩 벡터를 갖고, 상기 중간 바이리니어 모델은 전체 공간적 해상도에서 움직임 분석에 대한 부대 정보로서 사용되는 것을 특징으로 하는 방법.

제 10 항에 있어서,

전체 공간적 해상도에서 움직임 분석에 대한 부대 정보로서 상기 중간 바이리니어 모델을 사용함으로써, 피라미드 영향력 파라미터에 의한 영향을 받고, 상기 피라미드 영향력 파라미터에 대한 큰 값은 상기 부대 정보에 대한 강한 영향에 의한 것이고, 상기 피라미드 영향력 파라미터는 경로수의 감소 함수인 것을 특징으로 하는 방법.

제 2 항, 제 5 항 또는 제 7 항 중 어느 한 항에 있어서,

상기 움직임 추정은 평활 파라미터에 따라 수행되고, 상기 평활 파라미터는 상기 평활 파라미터의 높은 값에 대하여 보다 평활한 운동 영역을 생성하는 효과를 갖으며, 경로 수의 감소 함수인 것을 특징으로 하는 방법.

제 2 항, 제 5 항 또는 제 7 항 중 어느 한 항에 있어서,

상기 움직임 가설은 가설 영향력 파라미터에 따라 형성되고, 큰 가설 영향력 파라미터는 상기 움직임 추정에 대해서 큰 영향력를 갖는 움직임 가설을 이끌고, 상기 평활 파라미터는 경로 수의 증가 함수인 것을 특징으로 하는 방법.

제 1 항 내지 제 13 항 중 어느 한 항에 있어서,

단편화 영역는 상기 기준 이미지의 일부분을 선택하는데 사용되고, 상기 움직임 추정은 상기 기준 이미지의 상기 선택된 부분에 대해서만 수행되는 것을 특징으로 하는 방법.

각 프레임이 입력신호의 복수의 샘플로 이루어진 프레임의 시퀀스의 부분인 기준 이미지를 단편화하기 위한 방법에 있어서,

(1) 제 1 항 내지 제 14 항 중 어느 한 항의 방법에 따라 움직임을 추정하는 단계와,

(2) 추정된 움직임에 근거하여 상기 기준 이미지를 단편화함으로써 복수의 단편화 영역로 되는 단계를 구비하고,

상기 복수의 단편화 영역는 상기 기준 이미지의 단편화를 나타내는 것을 특징으로 하는 방법.

1개의 기준 이미지와 각 프레임이 입력신호의 복수의 샘플로 이루어진 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 단편화 방식으로 추정하기 위한 방법에 있어서,

(1) 제 15 항의 방법에 따라 상기 기준 이미지를 단편화함으로써, 복수의 단편화 영역을 생성하는 단계와,

(2) 각 단편화 영역에 대해서, 제 14 항의 방법에 따라 움직임을 추정하는 단계와,

(3) 복수의 경로를 따라 단계(1) 및 단계(2)를 반복하는 단계를 구비하고,

최종 경로에서 단계(2)에서 추정된 움직임의 수집은 상기 단편화 방식의 움직임을 나타내는 것을 특징으로 하는 방법.

제 16 항에 있어서,

상기 기준 이미지의 단편화는 세그먼트 상세 파라미터에 의존하고, 상기 세그먼트 상세 파라미터의 높은 값은 보다 상세한 단편화를 이끌며, 경로 수의 증가 함수인 것을 특징으로 하는 방법.

제 1 항 내지 제 17 항 중 어느 한 항에 있어서,

중간단계에서, 최적의 스케일링은 바이리니어 모델에 대해서 수행되는 것을 특징으로 하는 방법.

제 1 항 내지 제 18 항 중 어느 한 항에 있어서,

주성분 분석 또는 바이리니어 모델 갱신은 가중치의 재설정을 포함하는 것을 특징으로 하는 방법.

제 1 항 내지 제 19 항 중 어느 한 항에 있어서,

주성분 분석 또는 바이리니어 모델 갱신은 입력 데이터에서의 미발견값을 처리하기 위한 메카니즘을 포함하고, 상기 미발견값은 대응하는 주어진 프레임에 대해서 상기 움직임 추정을 성공하지 못한 상기 참조 프레임의 영역에 대응하는 것을 특징으로 하는 방법.

제 1 항 내지 제 20 항 중 어느 한 항에 있어서,

상기 프레임은 사전처리 단계에서의 위치 및 강도로 정규화되는 것을 특징으로 하는 방법.

제 1 항 내지 제 21 항 중 어느 한 항에 있어서,

상기 움직임 행렬은 동일 프레임에 대한 보조 데이터 행렬의 바이리니어 모델로부터 스코어를 증가시키고,

상기 보조 데이터 행렬은,

다른 홀론에 대한 움직임,

강도 변화,

초기 단계에서 추정된 움직임,

또 다른 공간적 해상도에서 추정된 움직임 중 한 개의 데이터를 포함하는 것을 특징으로 하는 방법.

제 1 항 내지 제 22 항 중 어느 한 항에 있어서,

상기 주성분 분석 또는 바이리니어 모델 갱신은 상기 움직임 로딩 벡터를 평활화하기 위한 단계를 포함하는 것을 특징으로 하는 방법.

제 1 항 내지 제 23 항 중 어느 한 항에 있어서,

상기 주성분 분석 또는 바이리니어 모델 갱신은 상기 움직임 스코어 벡터를 평활화하기 위한 단계를 포함하는 것을 특징으로 하는 방법.

제 1 항 내지 제 24 항 중 어느 한 항에 있어서,

상기 기준 이미지에는 각 공간적 치수에 대해서 1개의 움직임 행렬이 있고, 상기 각 움직임 벡터의 상기 각 성분은 상기 공간적 치수에 대응하는 움직임 행렬로 배치되는 것을 특징으로 하는 방법.

이동된 제 2이미지의 변형물로서 1개의 제 1이미지를 근사화하여, 이 동작이 이미 알고 있는 공간적 움직임 패턴의 한계 세트에 따라 수행되도록 하는 방법에 있어서,

(1) 복수의 움직임 로딩 벡터로서 나타난 상기 움직임 패턴을 나타내고, 각 로딩 벡터의 각 성분이 상기 제 2이미지의 1개의 성분에 대응하는 단계와,

(2) 상기 제 2이미지로부터 상기 제 2이미지까지 움직임을 추정하는 단계와,

(3) 단계(2)에서 찾은 움직임을 상기 움직임 로딩 벡터 상에 회귀하여, 움직임 스코어를 생성하는 단계를 구비하고,

상기 움직임 스코어는 상기 제 2이미지를 이동시켜서 상기 제 1이미지를 근사화하는 방법을 설명하는 것을 특징으로 하는 방법.

이동된 제 2이미지의 변형물로서 1개의 제 1이미지를 근사화하여, 이 동작이 이 이미 알고 있는 공간적 움직임 패턴의 한계 세트에 따라서 수행되도록 하는 방법에 있어서,

(1) 복수의 움직임 로딩 벡터로서 상기 움직임 패턴을 나타내고, 각 움직임 로딩 벡터의 각 성분이 상기 제 2이미지의 1개의 성분에 대응하는 단계와,

(2) 1세트의 움직임 스코어를 개시값으로 초기화하고, 상기 움직임 스코어의 수가 상기 움직임 로딩 벡터의 수와 같은 단계와,

(3) 복수의 시행 스코어 조합의 각각에 대해서, 상기 움직임 로딩 벡터와 상기 시행 스코어 조합을 곱해서 운동 영역을 계산하고, 재구성을 생성하는 상기 운동 영역에 따라 상기 제 2이미지를 이동하며, 상기 재구성과 상기 제 1이미지 사이의 차이에 따라 충실도 척도를 계산하고, 각 시행 스코어 조합이 상기 움직임 스코어의 섭동으로서 계산되는 단계와,

(4) 상기 시행 스코어 조합과 상기 충실도 척도에 의존하는 신규 움직임 스코어를 계산하는 단계와,

(5) 단계(3) 및 단계(4)를 반복하는 단계를 구비하며,

단계(4)의 최종 반복에 의해 계산된 상기 움직임 스코어는 상기 제 2이미지를 이동시켜서 상기 제 1이미지를 근사화하는 방법을 설명하는 것을 특징으로 하는 방법.

이미지 시퀀스 내의 1개의 프레임의 기준 이미지에 관한 움직임을 추정하여, 강도 변화 모델이 상기 이미지 시퀀스에 대해서 이미 존재하는 강도 로딩 벡터와 강도 스코어 벡터로 이루어지도록 하는 방법에 있어서,

(1) 관련 프레임으로부터 강도 스코어로부터의 내삽 또는 외삽에 의해 상기 프레임에 대한 강도 스코어를 예측하는 단계와,

(2) 단계(1)에서 예측된 강도 스코어와 강도 로딩 벡터의 적에 상기 기준 이미지를 더하여 강도가 수정된 기준 이미지를 계산하는 단계와,

(3) 상기 강도가 수정된 기준 이미지로부터 상기 프레임까지의 움직임을 추정하는 단계를 구비하며,

단계(3)에서 추정된 상기 움직임은 상기 프레임의 상기 기준 이미지에 관한 움직임을 나타내는 것을 특징으로 하는 방법.

이미지 시퀀스 내의 1개의 프레임의 기준 이미지에 관한 강도 변화를 추정하여, 움직임 모델이 상기 이미지 시퀀스에 대해서 이미 존재하는 움직임 로딩 벡터와 움직임 스코어 벡터로 이루어지도록 하는 방법에 있어서,

(1) 관련 프레임으로부터의 움직임 스코어에 근거하여, 상기 프레임에 대한 움직임 스코어를 예측하는 단계와,

(2) 상기 움직임 로딩 벡터와 단계(1)에서 예측된 움직임 스코어를 곱해서 운동 영역을 계산하는 단계와,

(3) 단계(2)에서 계산된 운동 영역에 따라 후방으로 상기 프레임을 이동하는 단계와,

(4) 상기 움직임이 보상된 이미지와 상기 기준 이미지 사이의 차이를 계산하는 단계를 구비하며,

단계(4)에서의 상기 차이는 상기 프레임의 상기 기준 이미지에 관한 상기 강도 변화를 나타내는 것을 특징으로 하는 방법.

기준 이미지에 관한 프레임, 복수의 강도 로딩 벡터, 복수의 움직임 로딩 벡터 및 상기 프레임에 대한 초기의 강도 변화 스코어를 설명하는 방법에 있어서,

(1) 상기 프레임에 대한 강도 스코어와 강도 변화 로딩 벡터의 적에 상기 기준 이미지를 더해서 강도가 수정된 기준 이미지를 계산하는 단계와,

(2) 상기 강도가 수정된 기준 이미지로부터 상기 프레임까지의 움직임을 추정하는 단계와,

(3) 단계(2)에서 추정된 움직임을 상기 움직임 로딩 벡터에 투사하여, 상기 프레임에 대한 움직임 스코어를 생성하는 단계와,

(4) 움직임 로딩 벡터와 단계(3)에서 생성된 움직임 스코어를 곱해서 운동 영역을 계산하는 단계와,

(5) 단계(4)에서 계산된 운동 영역에 따라 후방으로 상기 프레임을 이동하여, 움직임 보상 이미지를 생성하는 단계와,

(6) 단계(5)에서 생성된 움직임 보상 이미지와 상기 기준 이미지 사이의 강도차이를 계산하는 단계와,

(7) 단계(6)에서 계산된 차이를 상기 강도 변화 로딩 벡터에 투사하여, 상기 프레임에 대한 강도 변화 스코어를 생성하는 단계와,

(8) 0 또는 그 이상의 횟수로 단계(1) 내지 단계(7)를 반복하는 단계를 구비하며,

단계(3)에서 생성된 움직임 스코어와 단계(7)에서 생성된 강도 변화 스코어가 함께 상기 설명을 포함하는 것을 특징으로 하는 방법.

이미지 시퀀스 내의 각 프레임에 관한 기준 이미지의 강도 변화 및 움직임을 추정하기 위한 방법에 있어서,

(1) 강도 스코어 벡터와 강도 로딩 벡터로 이루어진 강도 변화 모델을 공백상태로 초기화하는 단계와,

(2) 움직임 스코어 벡터와 움직임 로딩 벡터로 이루어진 움직임 모델을 공백상태로 초기화하는 단계와,

(3) 아직 처리되지 않은 프레임을 선택하는 단계와,

(4) 공백상태가 아닌 강도 변화 모델이 이용 가능하면, 관련 프레임에 대응하는 스코어의 내삽 또는 외삽으로 강도 스코어를 예측하고, 강도 로딩 벡터와 상기 프레임에 대해서 예측된 강도 스코어를 곱해서 강도 수정을 계산하며, 상기 기준 이미지에 상기 강도 수정을 더해서 강도가 수정된 기준 이미지를 계산하지 않으면, 상기 기준 이미지와 같도록 강도가 수정된 기준 이미지를 설정하는 단계와,

(5) 상기 강도가 수정된 기준 이미지로부터 상기 프레임까지의 움직임을 추정하는 단계와,

(6) 단계(5)에서 추정된 움직임에 따라 상기 움직임 모델을 갱신하는 단계와,

(7) 상기 프레임에 대한 움직임 스코어와 움직임 로딩 벡터를 곱해서 움직임 보상 필드를 계산하는 단계와,

(8) 움직임 보상 필드에 따라 후방으로 상기 프레임을 이동하여, 움직임이 보상된 이미지를 생성하는 단계와,

(9) 상기 움직임이 보상된 이미지와 상기 기준 이미지 사이의 차이를 계산하는 단계와,

(10) 단계(9)에서 계산된 차이에 따라 상기 강도 모델을 갱신하는 단계와,

(11) 상기 시퀀스 내의 각 프레임에 대하여 단계(3) 내지 단계(10)를 반복하는 단계를 구비하며,

단계(6)의 최종 반복으로 인한 움직임 로딩 벡터 및 움직임 스코어 벡터와, 단계(10)의 최종 반복으로 인한 강도 로딩 벡터 및 강도 스코어 벡터가 함께 시퀀스 내의 각 프레임에 관한 기준 이미지의 강도 변화 및 움직임을 나타내는 것을 특징으로 하는 방법.

이미지 시퀀스 내의 각 프레임에 관한 기준 이미지의 강도 변화 및 움직임을 추정하기 위한 방법에 있어서,

(1) 강도 스코어 벡터와 강도 로딩 벡터로 이루어진 강도 변화 모델을 공백상태로 초기화하는 단계와,

(2) 움직임 스코어 벡터와 움직임 로딩 벡터로 이루어진 움직임 모델을 공백상태로 초기화하는 단계와,

(3) 여전히 처리되지 않은 프레임을 선택하는 단계와,

(4) 공백상태가 아닌 움직임 모델이 이용 가능하면, 관련 프레임에 대응하는 스코어의 내삽 또는 외삽으로 움직임 스코어를 예측하고, 예측된 움직임 스코어와 움직임 로딩 벡터를 곱해서 움직임 보상 필드를 계산하며, 움직임이 보상된 이미지를 이와 같이 생성하는 움직임 보상 필드를 사용하여 후방으로 상기 프레임을 이동하지 않으면, 상기 프레임과 같도록 움직임이 보상된 이미지를 설정하는 단계와,

(5) 상기 움직임이 보상된 이미지와 상기 기준 이미지 사이의 차이를 계산하는 단계와,

(6) 단계(5)에서 계산된 차이에 따라 상기 강도 모델을 갱신하는 단계와,

(7) 단계(6)에서 갱신된 강도 로딩 벡터와 상기 프레임에 대응하는 단계(6)에서 갱신된 강도 스코어를 곱해서 강도 수정을 계산하는 단계와,

(8) 상기 기준 이미지에 상기 강도 수정을 더해서, 강도가 수정된 이미지를 획득하는 단계와,

(9) 상기 강도가 수정된 이미지로부터 상기 프레임까지의 움직임을 추정하는 단계와,

(10) 단계(9)에서 추정된 움직임으로 움직임 모델을 갱신하는 단계와,

(11) 단계(3) 내지 단계(10)를 반복하는 단계를 구비하며,

단계(10)의 최종 반복으로 인한 움직임 로딩 벡터 및 움직임 스코어 벡터와, 단계(6)의 최종반복으로 인한 강도 로딩 벡터 및 강도 스코어 벡터가 함께 시퀀스 내의 각 프레임에 관한 기준 이미지의 강도변화 및 움직임을 나타내는 것을 특징으로 하는 방법.

제 31 항 또는 제 32 항 중 어느 한 항에 있어서,

제 26 항에 따른 방법에 의해 계산된 강도 스코어 또는 움직임 스코어는 상기 예측된 움직임 스코어 또는 상기 예측된 강도 스코어 대신에 사용되는 것을 특징으로 하는 방법.

제 31 항 내지 제 33 항 중 어느 한 항에 있어서,

강도 모델링은 불확실성을 계산하는 것과, 상기 불활실성에 의존하여 상기 강도 수정으로부터 평활화, 곱셉 또는 뺄셈을 하여 상기 불확실성에 따라 상기 강도 수정을 조절하는 것을 포함한 것을 특징으로 하는 방법.

제 31 항 내지 제 34 항 중 어느 한 항에 있어서,

상기 강도 수정은 강도 완화 파라미터에 따라 조절되고, 작은 강도 완화 파라미터는 작은 강도 수정으로 인한 것이고, 상기 강도 완화 파라미터는 반복 감소 함수인 것을 특징으로 하는 방법.

제 31 항 내지 제 35 항 중 어느 한 항에 있어서,

움직임 모델링은 불활실성을 계산하는 것과, 상기 불확실성에 따라 상기 움직임 보상 필드를 평활화하는 것을 포함하는 것을 특징으로 하는 방법.

제 31 항 내지 제 36 항 중 어느 한 항에 있어서,

상기 움직임은 움직임 완화 파라미터에 따라 평활화되고, 작은 움직임 완화 파라미터는 다소의 평활화에 의한 것이고, 상기 움직임 완화 파라미터는 반복 감소 함수인 것을 특징으로 하는 방법.

제 29 항 내지 제 30 항 또는 제 32 항 내지 제 37 항 중 어느 한 항에 있어서,

단계(3) 내지 단계(11)는 몇 개의 경로를 따라 반복되는 것을 특징으로 하는 방법.

제 29 항 내지 제 38 항 중 어느 한 항에 있어서,

후방으로의 이동 단계후, 곱셈의 신호 수정이 수행되는 것을 특징으로 하는 방법.

제 1 항 내지 제 39 항 중 어느 한 항에 있어서,

상기 움직임 모델은 공백상태로 초기화되는 대신에 1세트의 선택된 움직임 패턴에 따라 초기화되는 것을 특징으로 하는 방법.

제 29 항 내지 제 40 항 중 어느 한 항에 있어서,

상기 강도 모델은 공백상태로 초기화되는 대신에 1세트의 선택된 강도 패턴에 따라 초기화되는 것을 특징으로 하는 방법.

1개의 기준 이미지와 각 프레임이 입력신호의 복수의 샘플로 이루어진 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 추정하기 위한 장치에 있어서,

(1) 기준 이미지로부터 시퀀스 내의 각 프레임까지 운동 영역을 추정하는 수단과,

(2) 각 행이 1개의 프레임에 대응하며, 기준 이미지의 각 성분에 대한 움직임 벡터의 각 성분을 포함하는 움직임 배열로 추정된 운동 영역을 변환하는 수단과,

(3) 움직임 배열의 주성분 분석을 수행함으로써, 로딩벡터라고 칭한 복수의 행벡터로 이루어지며 각 성분이 이미지의 1개의 성분에 대한 1차원의 움직임 벡터에 대응하는 배열과, 움직임 스코어 벡터라고 칭한 복수의 열벡터로 이루어지며 상기 배열의 각 행이 1개의 프레임에 대응하는 행렬로 되는 수단과,

(4) 로딩 벡터와 각 프레임에 대응하는 움직임 스코어를 곱해서, 각 프레임에 대한 움직임 가설을 생성하는 수단과,

(5) 부대 정보로서 움직임 가설을 사용하여, 기준 이미지로부터 프레임까지 각 프레임에 대하여 운동 영역을 추정하는 수단과, 상기 기준 이미지와 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 나타내는 단계(5)에서 추정된 운동 영역을 출력하는 수단을 구비한 것을 특징으로 하는 장치.

제 2 항 내지 제 41 항 중 어느 한 항에 따라 사용되도록 개조된 제 43 항의 장치.

1개의 기준 이미지와 공간적인 패턴으로 배열된 복수의 데이터 샘플로 구성되는 프레임의 시퀀스 내의 각 프레임 사이의 움직임을 나타내며, 상기 데이터 처리 시스템에 의해 실행되는 응용 프로그램에 의해 액세스를 위한 데이터 처리 시스템의 메모리에 존재하고, 상기 응용 프로그램에 의해 사용된 데이터베이스 내에 존재하는 정보로 구성되며,

(1) 각 로딩벡터의 각 성분이 상기 기준 이미지의 1개의 성분에 대응하는 로딩 벡터라고 칭한 복수의 움직임 패턴과,

(2) 각 움직임 스코어 벡터가 상기 프레임 중 하나에 대응하고, 로딩벡터의 수와 동일한 성분의 수로 이루어지며, 각 움직임 스코어 벡터의 각 움직임 스코어 성분는 대응하는 로딩 벡터가 상기 1개의 프레임에 대한 전체 움직임에 얼마나 많이 기여해야 하는가를 나타내는 복수의 움직임 스코어 벡터를 구비한 것을 특징으로 하는 데이터 구조.

제 2 항 내지 제 41 항 중 어느 한 항에 따라 사용되도록 개조된 제 44 항의 데이터 구조.

제 45 항의 데이터 구조에 의해 나타난 움직임을 포함하는 데이터 캐리어.

제 1 항 내지 제 41 항의 방법에 의해 생성된 움직임을 포함하는 데이터 캐리어.

제 1 항 내지 제 41 항 또는 제 47 항의 방법에 의해 생성된 인코드된 신호를 포함하는 전송 신호를 생성하는 장치.

제 45 항 또는 제 46 항의 데이터 구조에 의해 나타나고, 제 1 항 내지 제 41 항의 방법에 의해 생성된 움직임을 포함하는 데이터 캐리어의 판독에 사용되도록 개조된 장치.

제 46 항 내지 제 47 항 중 어느 한 항에 따른 데이터 캐리어 및 판독 장치를 구비한 시스템.