KR20040068291A - 이미지 시퀀스에서의 우세한 모션을 추정하는 방법 - Google Patents

이미지 시퀀스에서의 우세한 모션을 추정하는 방법 Download PDF

Info

Publication number
KR20040068291A
KR20040068291A KR10-2004-7009616A KR20047009616A KR20040068291A KR 20040068291 A KR20040068291 A KR 20040068291A KR 20047009616 A KR20047009616 A KR 20047009616A KR 20040068291 A KR20040068291 A KR 20040068291A
Authority
KR
South Korea
Prior art keywords
motion
return
image
representation
coordinates
Prior art date
Application number
KR10-2004-7009616A
Other languages
English (en)
Other versions
KR100950617B1 (ko
Inventor
프랜소와 리클러크
실바니 마리크
Original Assignee
톰슨 라이센싱 에스.에이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 에스.에이. filed Critical 톰슨 라이센싱 에스.에이.
Publication of KR20040068291A publication Critical patent/KR20040068291A/ko
Application granted granted Critical
Publication of KR100950617B1 publication Critical patent/KR100950617B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

본 발명은, 이미지와 연관된 모션 벡터 필드의 계산(1)을 수행하며, 좌표들 xi 및 yi를 갖는 이미지 요소 및 컴포넌트들 ui 및 vi를 갖는 하나 이상의 모션 벡터들을 정의하는 프로세스로서,
ui = tx + k.xi
vi = ty + k.yi
- 상기 tx 및 ty는 모션의 트랜스레이션 컴포넌트를 나타내는 벡터 컴포넌트들이고, k는 모션의 줌 컴포넌트를 특징짓는 발산 팩터임-
의 간략화된 파라미터 표현을 기초로 모션(2)을 모델링하는 단계와,
평면들 (x,u) 및 (y,u)와, 변수들 xi, yi, ui 및 vi의 축들을 각각 나타내는 x, y, u 및 v에 의해 정의되는 2개의 모션 표현 공간들 각각에서 로부스트 선형 복귀(robust linear regression)(3)를 하는 단계와,
원점 및 복귀선들의 기울기에서의 좌표에 기초하여 파라미터들 tx, ty 및 k(4, 5)를 계산하는 단계를 수행할 수 있다. 또한, 본 발명은 비디오 인덱싱 또는 메터데이터의 발생용 키 이미지의 선택에 관한 것이다.

Description

이미지 시퀀스에서의 우세한 모션을 추정하는 방법{METHOD FOR ESTIMATING THE DOMINANT MOTION IN A SEQUENCE OF IMAGES}
통상인 모션 모델의, MPEG 타입 압축 비디오 스트림으로부터 기인하는 모션 벡터에 기초하여, 추정에 의존하는 모션 분석 프로세스가 알려져 있다.
여기서, u 및 v는 모션 필드의 위치 (xi, yi)에 있는 벡터의 컴포넌트이다. 모션 모델의 유사(affine) 파라미터, a, b, c, d, e 및 f의 추정은 리스트 스퀘어 에러 최소화(least squares error minimization)의 기술에 의존한다. 이러한 프로세스가 M.A. Smith와 T.Kanade에 의한 논문, "Video Skimming and Characterization through the Combination of Image and LanguageUnderstanding"(IEEE 1998 International Workshop 회보의 페이지 61 및 70에 실린 Content-Based Access of Image and Video Databases)에 개시되어 있다. 이 논문의 저자는, 명확한 모션을 식별하여 분류하기 위해, 필드의 벡터의 공간 컴포넌트의 수단와뿐만 아니라, 모션의 밀접한 관련이 있는 모델의 파라미터를 이용한다. 예를 들면, 모션이 줌인지 여부를 판단하기 위해, 조건에 의해, 벡터 필드의 수렴 지점(x0, y0)이 존재하여, u(x0, y0)=0과, v(x0, y0)=0이 되는지를 검증한다. 벡터와의 컴포넌트의 평균을 분석하여 패닝샷의 가정을 테스트한다.
모션 모델의 식별 없이, MPEG 비디오 스트림으로부터 기인하는 벡터 필드를 직접 이용하는 모션 분석 프로세스도 알려져 있다. O.N. Gerek와 Y. Altunbasak에 의한 논문, "Key Frame Selection from MPEG Video Data"(1997 congress의 Visual Communications and Image Processing의 페이지 920-925)에 이러한 프로세스가 개시되어 있다. 이 방법은, MPEG 2진 트레인의 이미지와 관련된 각 모션 필드에 대하여, 벡터 필드의 2개의 히스토그램을 구축하는 것으로 이루어지는데, 그 하나는 그들의 방향의 함수로서 벡터의 발생을 차팅하는 것이고, 다른 하나는 그들의 진폭의 함수로서 벡터의 발생을 차팅하는 것이다. 이러한 히스토그램의 예가 도 1 및 도 2에 도시되어 있는데, 도 1은 이미지 내의 명확한 모션이 줌인 것이고, 도 2는 우세한 모션이 패닝샷인 형상을 도시한다.
그럼 다음, 2개의 히스토그램 각각에 대하여, 히스토그램의 각 클래스(또는"빈(bin)")의 모션 벡터의 수와 관련된 변화의 임계치(thresholding)를 이용하여, "줌"과 "패닝" 타입의 우세한 모션의 존재를 식별한다.
Gerek와 Altunbasak가 제안한 방법은, 우세한 모션의 카테고리에 관하여 순수하게 질적인 정보를 제공하지만, 모션의 진폭에 관한 양적인 추정이 종종 필요하다. 모션의 파라미터 모델을 추정하는 것에 기초하는 Smith와 Kanade가 제안한 방법은 양적인 정보는 제공하나 종종 꽤 신뢰성이 떨어지곤 한다. 구체적으로, 이들 방법들은 서로 다른 명확한 모션 이후의 수 개의 오브젝트의 처리된 비디오 화면의 존재에 대해서는 고려하고 있지 않다. 제2 오브젝트와 관련된 벡터에 대한 고려가 우세한 모션의 파라미터의 리스트 스퀘어 추정을 상당 부분 왜곡하기 쉽다. 여기서, 제2 오브젝트는, 이미지 내에서 가장 큰 영역을 차지하는 우세한 모션과 관련된 적어도 하나의 다른 오브젝트보다 더 작은 영역을 차지하는 오브젝트로 정의된다. 또한, 이미지의 모션 내에 단일의 오브젝트가 존재하는 경우라도, 모션의 분석을 위한 기초로서 역할을 하는 압축 비디오 스트림의 벡터가 항상 이미지의 명확한 실제 모션의 모델의 실상을 반영하는 것은 아니다. 구체적으로, 이들 벡터들은 모션 보상 이후에 전송될 정보량을 최소화할 목적으로 계산되는 것으로, 이미지의 화소의 물리적인 모션을 추정할 목적으로 계산되는 것은 아니다.
압축 스트림으로부터 기인하는 벡터에 기초한 모션의 모델의 신뢰성 있는 추정은, 이미지의 메인 오브젝트의 물리적인 모션에 대응하지 않는 벡터 뿐만 아니라, 우세한 모션에 후속하지 않는 제2 오브젝트에 관한 모션 벡터의 계산으로부터 자동 제거하는, 로부스트 방법의 이용을 필요로 한다.
우세한 모션의 파라미터 모델을 추정하는 로부스트 방법에 대해서는 압축 비디오 스트림의 이용과는 다른 컨텍스트에 이미 제안되어 있다. 그 일 예가 P.Bouthemy, M.Gelgon 및 F.Ganansia에 의해, 1999년 10월 IEEE 저널, Circuits and Systems for Video Technology volume 9 No.7에 출판된, "A unified approach to shot change detection and camera motion characterization"에 개시되어 있다. 이들 방법들은 구현하기가 매우 복잡하다는 단점이 있다.
<발명의 요약>
여기에 제시된 본 발명의 목적은 전술한 우세한 모션을 추정하기 위한 방법들의 단점을 경감해 보고자 하는 것이다.
본 발명의 서브젝트는, 이미지와 연관된 모션 벡터 필드의 계산을 수행하며, 좌표들 xi 및 yi를 갖는 이미지 요소 및 컴포넌트들 ui 및 vi를 갖는 하나 이상의 모션 벡터들을 정의하는, 이미지의 시퀀스에서 우세한 모션을 검출하는 프로세스로서,
ui = tx + k.xi
vi = ty + k.yi
- 상기 tx 및 ty는 모션의 트랜스레이션 컴포넌트를 나타내는 벡터 컴포넌트들이고, k는 모션의 줌 컴포넌트를 특징짓는 발산 팩터임-
의 간략화된 파라미터 표현을 기초로 모션을 모델링하는 단계와,
평면들 (x,u) 및 (y,u)와, 변수들 xi, yi, ui 및 vi의 축들을 각각 나타내는 x, y, u 및 v에 의해 정의되는 2개의 모션 표현 공간들 각각에서 로부스트 선형 복귀(robust linear regression)를 하는 단계와,
원점 및 복귀선들의 기울기에서의 좌표에 기초하여 파라미터들 tx, ty 및 k(4, 5)를 계산하는 단계를 수행하는 것을 특징으로 하는 프로세스이다.
실현 모드에 따르면, 상기 로부스트 복귀는 라인들 j의 세트- ri,j는 라인 j에 대해 좌표들 xi, ui 또는 yi, vi를 갖는 i번째 샘플의 레지두얼(residual)임-중에서, 최소인 상기 레지두얼의 스퀘어(squares) 세트의 중성값을 제공하는 하나를 탐색하는 것으로 이루어지는 스퀘어의 최소 중선의 방법이다.
실현 모드에 따르면, 상기 레지두얼의 스퀘어의 최소 중선에 대한 탐색은 고려되는 모션의 표현의 공간에서 랜덤하게 드로잉된 샘플의 쌍에 의해 각각 결정되는 미리결정된 라인의 수에 적용된다.
실현 모드에 따르면, 프로세스가, 상기 로부스트 복귀 이후에, 제2 논로부스트(nonrobust) 선형 복귀가 상기 모션 모델의 파라미터의 추정을 세분화(refine)하는 것을 가능하게 한다. 이 제2 선형 복귀는 상기 제1 로부스트 복귀로부터 일어나는 복귀 레지두얼이 미리결정된 임계를 초과하는 상기 표현 공간에서의 포인트들을 배제할 수 있다.
실현 모드에 따르면, 프로세스는 상기 각각의 표현 공간에서 계산된 복귀 라인들의 방향 계수의 동일성 테스트를 수행하며, 상기 테스트는 먼저 상기 각각의 표현 공간에서 2개의 분리된 복귀들을 수행하고, 둘째로 상기 2개의 표현 공간들의 샘플들의 세트상에서 글로벌 기울기 복귀를 수행함에 의해 얻어지는 레지두얼의 스퀘어의 합의 비교에 기초하고, 상기 테스트가 긍적적인 경우, 각각의 표현 공간에서 얻어진 상기 복귀 라인들의 방향 계수의 산술 평균에 의해 상기 모델의 파라미터 k를 추정한다.
본 발명은 또한 프로세스의 구현을 위한 디바이스에 관한 것이다.
매우 단순하지만, 충분히 현실적인 비디오 이미지 내의 우세한 모션의 파라미터적인 모델을 이용하여, 프로세스는 저감된 가격으로, 모션 모델의 식별의 로부스트 방법의 실현을 허용한다. 보다 구체적으로는, 본 발명에서 설명되는 프로세스의 주요한 혜택은 모션 벡터의 컴포넌트의 적절한 표시 공간을 사용하여, 모션 모델의 파라미터의 식별을 이중 선형 복귀로 감소시키는 것이 가능하다는데 있다.
본 발명은 비디오 샷에서 우세한 모션(dominant motion)을 추정하기 위한 프로세스 및 디바이스에 관한 것으로, 보다 구체적으로는 이 프로세스는 모션 보상을 이용하여 압축 스킴으로 비디오와 함께 전송된 모션 필드의 분석에 기초한다. 이러한 스킴은 MPEG-1, MPEG-2 및 MPEG-4 비디오 압축 표준에서 구현된다.
도 1은 "줌(zoom)"에 대응하는 이론적 모션 벡터의 필드.
도 2는 우세한 배경의 모션이 "패닝(panning)" 타입인 장면에 대응하는 이론적 모션 벡터의 필드이고, 이것은 또한 우세한 모션으로부터 모션 분리(distinct)를 따르는 제2 의 오브젝트를 포함한다.
도 3은 본 발명에서 이용되는 모션 벡터 표현의 공간을 도시하는 도면.
도 4는 본 발명에서 이용되는 공간 표현에서 중심에 위치한 줌 모션에 대한 이론적 벡터의 분산을 도시하는 도면.
도 5는 본 발명에서 이용되는 표현 공간내의 이미지에 대한 글로벌 기울기(oblique) 공간 모션에 대한 이론적 벡터의 분산을 도시하는 도면.
도 6은 본 발명에서 이용되는 표현 공간내의 공간 및 줌의 결합 모션에 대한이론적 벡터의 분산을 도시하는 도면.
도 7은 본 발명에서 이용되는 표현 공간내의 정지 장면(제로 모션)에 대한 이론적 벡터의 분산을 도시하는 도면.
도 8은 우세 모션을 검출하기 위한 방법의 플로우챠트.
본 발명의 다른 특징 및 장점들은 다음의 무제한적인 실시예에 의한 설명 및 첨부 도면에 의해 명확하게 알 수 있다.
이미지 시퀀스내의 우세 모션의 특성화는 명백하게 우세한 모션의 파라메트릭(parametric) 모델의 식별을 포함한다. 모션 벡터 필드의 이용이 압축 비디오 스트림에서 발생하는 경우에, 이러한 모델은 2차원(2D) 이미지 평면내에 외형상의 모션을 나타내야 한다. 이러한 모델은 3차원 공간내의 오브젝트의 모션의 이미지 평면상으로의 투사(projection)를 근접시켜 얻어진다. 이러한 예를 통해, 상기 6개의 파라미터(a, b, c, d, e, f)를 갖는 유사(affine) 모델은 본 문헌에서 통상적으로 채택된다.
제안된 프로세스는 기본적으로, 비디오 스트림내에 제공되는 모션 벡터 필드의 기초상에서 모션의 이러한 파라메트릭 모델을 식별하는데 존재하고, 예컨대, MPEG-1, MPEG-2 및 MPEG-4 표준내에서 이용되는 것과 같은 모션 보상 기술을 코딩 원리가 요구할 때 비디오 스트림의 디코딩을 수행하기 위한 것이다. 그러나, 여기 본 발명에 개시된 프로세스는 또한 처리된 비디오 시퀀스를 구성하는 이미지에 기초한 개별적인 프로시져에 의해 계산된 모션 벡터 필드에서 적용가능하다.
본 발명의 기재중에서, 채택된 모션 모델은 다음과 같이 정의되며 SLM(단순화된 선형 모델(simplified linear model)의 두문자 표현)으로 명칭되는 4개의 파라미터(tx, ty, k, θ)를 갖는 단순화된 선형 모델로부터 도출된다.
여기서, (ui, vi)t: 좌표(xi, yi)t를 갖는 이미지 평면의 화소와 관련된 외형상 모션 벡터의 컴포넌트,
(xg, yg)t: 2D 장면으로서 카메라에 의해 촬영된 3D 장면의 근사를 위한 기준점의 좌표, 이 기준점은 이미지의 좌표 (0, 0)t를 갖는 점으로 간주됨,
(tx, ty)t: 모션의 트렌스레이션 컴포넌트를 표현하는 벡터,
k : 모션의 줌 컴포넌트를 나타내는 발산 조건
θ: 카메라의 축 근방에서의 모션의 회전각.
예컨대, 비디오 시퀀스내에서 광학적 줌인, 카메라의 이동 및 광학적 변환에 의해 야기되는 우세한 모션을 식별하는 것이 본 추구하는 목적이다. 특히, 비디오 무선의 구성, 트렌스레이션 및 줌의 모션들을 서로 그룹화, 그 조합, 및 모션의 부재, 즉, 정적 또는 정지 샷등에서 통계적으로 가장 널리 이용되는 카메라 모션을 식별하는 것을 포함한다. 실제로 매우 드물게 관찰되는 카메라 회전 효과는 고려되지 않았다 : 따라서 이러한 모델은이라는 가정에 의해 3개의 파라미터(tx, ty, k)로 제한된다.
다음에, 벡터 및 이미지내의 공간적 위치의 컴포넌트간의 2개의 선형 관계를 얻는다:
모션의 단순화된 파라메트릭 표현의 장점은, 모션 모델의 트렌스레이션 및 줌 파라미터의 2개의 컴포넌트를 각각 기술하는 파라미터들(tx, ty, k)이 모션 ui= f(xi) 및 vi= f(yi)로 표현되는 공간내에서 선형 복귀에 의해 추정된다. 따라서, 도 3에 도시된 바와 같이, 일반적으로 이러한 공간내의 모션 벡터 필드의 표현은 그 각각에 대하여 기울기 k 주위에 분산된 점들의 클러스터를 제공한다.
단순화된 모션 모델의 파라미터를 추정하는 프로시져는 각각의 모션 표현 공간내의 로부스트 타입의 선형 복귀의 적용에 기초한다. 선형 복귀는 점들의 클러스터에 최상의 적합한 선(line)을 결정하는 수학적 연산이며, 이것은 예컨대, 이러한 선에 대한 각각의 점드로부터 거리의 스퀘어의 합을 최소화하는 것이다. 이러한 연산은, 본 발명내에서, 로부스트 통계적 추정 기술의 도움으로 구현되고, 데이터내의 아웃리어(outlier)의 존재에 관한 둔감(insensitivity)의 정도를 보장하게 된다. 특히, 우세한 모션의 모델의 추정은 다음과 같은 것을 무시하게 된다:
- 우세한 모션으로부터 구별되는 제2의 모션을 따르는 몇몇 오브젝트의 이미지내의 존재,
- 물리적인 오브젝트의 모션을 표현하지 않는 모션 벡터의 존재. 구체적으로, 압축 비디오 스트림내에서 전송되는 모션 벡터는, 이미지화된 장면을 구성하는 오브젝트의 실제 모션을 제공하기 위한 목적이 아니라 모션 보상후에 전송되는 레지두얼 정보의 양을 최소화하기 위한 목적으로 계산된다.
도 8은 시퀀스내의 우세한 모션을 추정하는 방법의 다양한 단계를 도시한다. 이러한 각 단계는 다음에 더 정확하게 설명된다.
제1 단계는 그 각각이 처리된 비디오 시퀀스의 이미지와 관련된 모션 벡터 필드의 표준화를 수행한다. 이러한 벡터 필드는 모션 추정기의 도움으로, 알고리즘의 적용 이전에 계산되는 것으로 가정된다. 모션의 추정은 소위 "블록 매칭(block-matching)"이라고 하는 방법에서, 이미지의 화소의 직각 블록에 대해 수행되거나, 벡터가 이미지의 각 화소에 대해 추정되는 곳에서의 밀집한 벡터 필드를 제공한다. 본 발명은 양호하게 그러나 배타적이지는 않게, 이용된 벡터 필드가 비디오 인코더에 의해 계산되고, 디코딩을 위해 압축 비디오스트림내에서 전송되는 경우를 다룬다. 이용되는 인코딩 스킴이 MPEG-1 또는 MPEG-2 표준중 하나에 부합하는 전형적인 경우에, 모션 벡터는, 현재의 이미지로부터의 임시적인 거리가 가변하는 기준 프레임에 비례하여, 이미지의 직각 블록당 하나의 벡터의 비율로 현재의 이미지에 대해 추정된다. 또한, 소위 양방으로 예정되는 "B"프레임에 대해서는, 2개의 모션 벡터가 하나 및 동일한 블록, 현재의 이미지로부터 과거의 기준 프레임으로의 하나의 포인팅, 및 현재의 이미지로부터 미래의 기준 프레임으로의 그 외의것에 대해 수행된다. 따라서, 벡터 필드를 표준화하는 단계는 후속 단계에서 동일한 지속기간 동안의 일시적 기간 및 동일한 방향에서의 포인팅을 통해 계산되는 벡터를 다루는데 필수적이다. V, Kobla 및 D.Doermann의 논문 "Compressed domain video indexing techniques using DCT and motion vector information in MPEG video"의 SPIE vol. 3022, 1997의 의사록, 단락 3.2의 페이지 200 내지 211에는 이러한 표준화를 수행할 수 있도록 하는 방법이 개시되어 있다. MPEG 모션 벡터 계산 간격을 통해 모션의 선형 근접에 기초한 더 간단한 기술도 역시 이용될 수 있다.
참조부호 2의 제2 단계는 전에 나타난 모션 표현 공간의 구성을 수행한다. 컴포넌트 (ui, vi)t, 및 위치 (xi, yi)t를 갖는 모션 필드의 각각의 벡터는 2개의 공간 ui= f(xi) 및 vi= f(yi)의 각각내의 포인트에 의해 표현된다.
모션 필드의 벡터 표현에 대응하는 포인트들 (xi, ui) 및 (yi, vi)의 각각의 쌍은 다음과 같이 표현되는 공간의 각각의 복귀선에 비례해서 모델화될 수 있다.
여기서, (a0, b0)는 공간 ui= f(xi)내에서 계산되는 복귀선의 파라미터이고, εui는 대응하는 레지두얼 에러이다.
(a1, b1)은 공간 vi= f(yi)내에서 계산되는 복귀선의 파라미터이고, εvi는 대응하는 레지두얼 에러이다
도 3은 표준화된 모션 벡터 필드에 기초하여 2개의 공간을 구성한 후 얻어진 포인트들의 클러스터를 도시한다.
표시 공간 각각에 선형 복귀의 완료시 획득된 파라미터들 (a0, b0)와 (a1, b1)은 우세한 모션 모델의 파라미터의 추정치를 제공한다. 따라서, 기울기 a0와 a1은 줌 컴포넌트를 나타내는 발산 파라미터 k의 이중 추정치에 대응하는 반면, 원점 b0와 b1에서의 좌표는 공간 컴포넌트 tx 및 ty의 평가치에 대응한다.
도 4 내지 도 7은 가능한 구성의 몇가지 예를 나타낸다.
- 도 4에서의 중앙 줌의 경우의 데이터 분포,
- 도 5에서의 기울기 공간 모션의 경우의 데이터 분포,
- 도 6에서의 중앙을 벗어난 줌(줌 및 공간을 결합한 모션)의 경우의 데이터 분포
- 도 7에서의 모션의 부재의 경우의 데이터 분포.
다음 단계(3)는 이미지의 2차 오브젝트의 모션, 또는 관련되어 있는 화소들의 물리적 모션을 전송할 수 없는 벡터에 해당하는 것들로부터 실제 우세 모션을 나타내는 데이터 포인트들을 분리할 목적으로 모션 표시 공간들 각각에 대한 확고한 선형 복귀를 수행한다.
확고한 추정 기술의 몇가지 패밀리들이 있다. 본 발명의 바람직한 실시예에 따르면, 복귀 라인은 스퀘어(square)의 최소 중선(median)의 기준을 만족하는 방식으로 계산된다. 이하에 간략하게 제공된 이 계산 방법은 P. Meer, D. Mintz 및 A. Rosenfeld에 의해, 컴퓨터 비젼의 국제 저널(International Journal of Computer Vision)에 볼륨 6 No. 1, 1991, 페이지 59 내지 70에 "Robust Regression Methods for Computer Vision"라는 표제의 단락 3에 보다 완벽하게 기술되어 있다.
복귀 파라미터(복귀 라인의 기울기 및 절편(intercept))의 세트를 추정하기 위해 탐색하는 모션 표시 공간의 i번째 샘플의 레지두얼 ri,j를 불러내는 것은 다음 기준을 만족하도록 계산된다:
레지두얼 ri,j는 파라미터들 Ej를 이용한 복귀 라인에 의해 i번째 샘플의 모델링과 관련된 - 고려된 표시 공간에 따라 - 레지두얼 에러 εui또는 εvi에 대응한다. 이 비선형 극소 문제에 대한 솔루션은 모든 가능한 라인들 중에서 Ej에 의해 정의된 라인에 대한 검색을 필요로 한다. 계산을 한정하기 위하여, 검색은 연구중인 표시 공간의 샘플들중에서 랜덤하게 끄집어 낸 p 쌍의 포인트들로 정의된, 유한 세트의 p 복귀 라인에 제한된다. p 라인들 각각에 대해, 레지두얼들의 스퀘어는 중선값을 나타내는 레지두얼 제곱의 스퀘어를 식별하는 방식으로 계산 및 분류된다. 복귀 라인은 레지두얼의 제곱의 가장 작은 이들 중선값을 제공하는 것으로서 추정된다.
레지두얼의 세트에 대해서라기 보다 중선 레지두얼의 제곱에 대해서만 복귀라인을 선택하는 것은 복귀 절차에 확고한 네이춰(nature)를 준다. 구체적으로, 중심을 벗어난 데이터 포인트들에 대응하기 쉬운, 외항값(extreme values)의 레지두얼을 무시할 수 있게 한다.
예를 들면, p = 2 라인들을 테스팅함으로써, 우세한 모션을 나타낸다고 말할 수 있는, p쌍들 중 적어도 하나가 2개의 중심을 벗어나지 않은 샘플들로 구성될 확률은 1에 매우 가깝다. 만일 중심을 벗어난 샘플들의 비율이 50％ 이하라면, 가정된 바와 같이, 중심을 벗어난 샘플을 포함하지 않는 한 쌍은 적어도 하나의 중심을 벗어난 샘플을 포함하는 임의의 쌍의 포인트들보다 -따라서 더 낮은 중선 제곱 레지두얼을 나타내는 - 샘플들의 클러스터에 훨씬 더 적합한 복귀 라인을 제공한다. 궁극적으로 획득된 복귀 라인은 2개의 중심을 벗어나지 않은 샘플들에 의해 정의되어, 이로써 중심을 벗어난 샘플들에 관련한 방법의 확고함을 보장한다는 것이 거의 확실하다.
각 표시 공간내의 확고한 추정에 의해 취득된 복귀 라인들은 중심을 벗어난 샘플들을 식별하는데 사용된다. 이러한 목적으로 인해, 중심을 벗어나지 않은 샘플들과 관련된 레지두얼의 표준 편차의 확고한 추정치가 가우시안 분포를 따른다는 가정하에서 발견된 최적의 복귀 라인에 대응하는 레지두얼의 제곱의 중선값의 함수로서 계산되며, 레지두얼의 절대치가의 K 배를 초과하는 샘플은 2.5로 고정되는 것이 유리하다.
그러나, 이 단계 3에서, 종래의 확고하지 않은 선형 복귀는 중심을 벗어난 것으로서 식별된 샘플들을 배제하고, 각 표시 공간의 샘플에 대해 최종적으로 수행된다. 이들 복귀는 프로세스에서 이어서 사용되게 될 파라미터들 (a0, b0) 및 (a1, b1)의 세밀한 추정치를 제공한다.
다음 단계 4는 표시 공간 각각에 복귀 라인의 선형성 테스트를 수행한다. 이 테스트는 각 공간내에 포인트들의 클러스터들이 라인들을 따라 실제적으로 대략 분포되어 있는 것을, 복귀 라인의 루틴 존재를 보장하지 않고, 검증하는 것을 목적으로 한다.
선형 테스트는 중심을 벗어난 샘플들에 포함된 선형 복귀로부터 발생된 레지두얼의 표준 편차와 선정된 임계치를 비교함으로써 각 표시 공간내에서 수행된다. 임계치는 프로세스의 단계 1에서 모션 벡터에 적용된 시간적인 표준화에 따라 좌우된다. 표준화후, 각 벡터가 2개의 서로 얽혀진 프레임들 분리하는 시간격, 즉 50 Hz의 전송에 대해 40 ms에 대응하는 배치를 나타내는 경우에, 이 임계치는 6으로 고정되는 것이 유리할 수 있다.
만일 2개의 표시 공간에서 수행된 선형 테스트들 중 적어도 하나가 실패하는 경우, 현재 이미지에 대응하는 모션 필드는 우세한 모션의 모델의 확실한 추정을 허용하지 않는 것으로 고려된다. 우세한 모션 추정 절차의 실패를 신호하는 플래그가 설정되고 다음 이미지가 처리된다.
반대의 경우에, 모션 모델의 발산 파라미터 k의 이중 추정을 제공하는 기울기 a0와 a1이 현저하게 상이하지 않은지를 검증하는 것으로 이루어진 다음 단계 5로 진행한다. 2개의 복귀 기울기의 동일성 테스트는 임의의 통계 작업시 다루는 공지의 문제가 있으며; 예를 들면, Wiley에 의해 공표된 "Linear Statistical Inference and its Application"(2판) C.R Rao에 의한 책에서 편차 분석에 이바지한 챕터를 참고할 수 있을 것이다. 이 테스트는 모션 벡터 필드에 대한 2개의 표시 공간의 중심을 벗어난 샘플들의 세트에 포함된 글로벌 복귀 슬로프를 계산함으로써 종래의 방식으로 수행된다. 다음으로, 중앙을 벗어나지 않은 샘플들에만 포함된 - 분리된 복귀에 관련된 레지두얼의 제곱의 합의 2개의 공간에 걸친 합에 대한 -, 데이터의 세트를 통해 이 글로벌 기울기 추정에 관련된 레지두얼의 제곱의 합의 비율을 형성한다. 이 비율은 선정된 임계치와 비교되며; 만일 비율이 임계치를 초과하면, 2개의 모션 표시 공간에서의 복귀 기울기의 동일성의 가정이 충분히 유효하지 않은 것이다. 우세한 모션 추정 절차의 실패가 설정되고 다음 이미지가 처리된다. 테스트의 결과가 긍정적인 경우에, 우세한 모션 모델의 발산 계수 k의 값은 표시 공간 각각에서 구해진 복귀 기울기들 a0및 a1의 수학적 평균에 의해 추정된다. 파라미터들 tx및 ty는 표시 공간내의 선형 복귀로부터 발생하는 절편 b0및 b1의 값에 의해 각기 추정된다.
모션 모델이 유효한 것으로서 간주되는 경우에, 단계 4 및 5에서 수행된 테스트들이 연속적으로 패스되는 경우, 우세한 모션의 분류는 다음 단계 6 동안 수행된다.
추정된 파라미터의 벡터 θ= (k, tx, ty)t는 우세한 모션, 즉
- 스태틱(static),
- 퓨어 공간(pure translation),
- 퓨어 줌(pure zoom),
- 줌과 결합된 공간
을 분류하는 카테고리를 결정하는데 활용된다.
분류 알고리즘은 이하 테이블에 따라 모델의 파라미터의 무효 테스트에 기초한다.
모델 파라미터
스태틱 k = 0 tx= 0 ty= 0
공간 k = 0 (tx, ty) ≠(0, 0)
줌 k ≠0 tx= 0 ty= 0
줌 + 공간 k ≠0 (tx, ty) ≠(0, 0)
샘플 기술에 따르면, 모델의 파라미터의 추정의 무효 테스트는 그들의 절대치와 임계치를 간단하게 비교함으로써 수행될 수도 있다. 데이터 분포의 통계학적 모델링에 기초하여, 보다 정교한 기술이 사용될 수도 있다. 이 통계학적인 프레임워크내에서, 유사 테스트에 기초한 모델의 파라미터의 무효를 결정하기 위한 예시적인 알고리즘은 P. Bouthemy, M. Gelgon 및 F. Ganansia에 의해 1999년 10월자 IEEE journal Circuit and Systems for Video Technology 에 볼륨 9 No. 7 페이지 1030 내지 1044에 "A unified approach to shot change detection and camera motion characterization"이라는 표제로 제공되어 있다.
본 발명의 어플리케이션은 키 이미지의 선택에 기초하는 비디오 인덱싱에 관한 것이다.
특히, 비디오 인덱싱 절차는 비디오 스트림에서 처리될 정보의 볼륨을 시퀀스로부터 선택된 키 이미지의 세트로 제한하고자 하는 프리프로세싱으로 일반적으로 시작한다. 비디오 인덱싱 프로세싱 및 특히 비주얼 속성의 추출은, 각각이 비디오의 세그먼트의 컨텐츠를 나타내는 이들 키 이미지들상에서 배타적으로 수행된다. 이상적으로, 키 이미지의 세트는 비디오의 포괄적인 서머리(exhaustive summary)를 형성해야 하며, 키 이미지들의 비주얼 컨텐츠들간의 리던던시(redundancy)는 인덱싱 절차의 계산 부담을 최소화하기 위해 회피되야 한다. 각각의 비디오 샷내의 우세한 모션을 추정하기 위한 프로세스는 이를 우세한 모션에 적용함에 의해 이들 기준에 관한, 각각의 샷내에서 키 이미지들의 선택을 최적화할 수 있다. 예컨대, 샷내에서 파라미터 tx(각각 ty)에 의해 추정된, 이미지의 수평(각각 수직) 트랜스레이션을 집합화하고, 이 집합이 이미지의 폭(각각 높이)를 초과할 때 새로운 키 이미지를 샘플링하는 것이 가능하다.
전술한 프로세스는 또한 메타데이터의 발생에 활용될 수 있다. 우세한 모션은 종종 비디오의 슈팅 동안 카메라 모션과 일치한다. 소정의 디렉터(director)는 임의의 감정 또는 감각을 뷰어에게 통신하기 위해 특정 카메라 모션 시퀀스를 사용한다. 본 발명에서 설명되는 프로세스는 비디오에서 이들 특정 시퀀스를 검출하고 결과적으로 비디오의 소정 부분에서 디렉터에 의해 생성된 분위기(atmosphere)에 관한 메타데이터를 제공하는 것이 가능할 수 있다.
우세한 모션 검출의 다른 어플리케이션은 검출이거나 또는 샷에서 브레이크의 검출을 돕는 것이다. 특히, 시퀀스에서 우세한 모션 속성의 급속한 변화는 샷에서 브레이크에 의해 단지 야기될 수 있다.
결국, 본 발명에서 설명되는 프로세스는 각각의 이미지에서 우세한 모션의 지원의 식별을 가능하게 한다. 이런 지원은 사실 연관된 벡터가 우세한 모션의 센스 내에서 아웃리어(outlier)로서 식별되지 않는 픽셀의 세트와 일치한다. 우세한 모션의 지원을 알면, 이런 모션에 후행하는 오브젝트의 세그멘테이션을 제공한다. 이런 세그멘테이션은 이미지의 구성 오브젝트의 분리된 인덱싱을 수행하여 이미지의 전체가 아닌 오브젝트에 관한 부분 요청의 프로세싱을 가능하게 하거나, 또는 예컨대 MPEG-4 비디오 압축 표준에서 특정된 오브젝트 기반 비디오 압축 알고리즘의 프레임내에서 수행되도록 활용될 수 있다.

Claims (10)

  1. 이미지와 연관된 모션 벡터 필드의 계산(1)을 수행하며, 좌표들 xi 및 yi를 갖는 이미지 요소 및 컴포넌트들 ui 및 vi를 갖는 하나 이상의 모션 벡터들을 정의하는 이미지의 시퀀스에서 우세한 모션을 추정하는 프로세스에 있어서,
    ui = tx + k.xi
    vi = ty + k.yi
    - 상기 tx 및 ty는 모션의 트랜스레이션 컴포넌트를 나타내는 벡터 컴포넌트들이고, k는 모션의 줌 컴포넌트를 특징짓는 발산 팩터임-
    의 간략화된 파라미터 표현을 기초로 모션(2)을 모델링하는 단계와,
    평면들 (x,u) 및 (y,u)와, 변수들 xi, yi, ui 및 vi의 축들을 각각 나타내는 x, y, u 및 v에 의해 정의되는 2개의 모션 표현 공간들 각각에서 로부스트 선형 복귀(robust linear regression)(3)를 하는 단계와,
    원점 및 복귀선들의 기울기에서의 좌표에 기초하여 파라미터들 tx, ty 및 k(4, 5)를 계산하는 단계
    를 수행할 수 있는 프로세스.
  2. 제1항에 있어서, 상기 로부스트 복귀(3)는 라인들 j의 세트- ri,j는 라인 j에 대해 좌표들 xi, ui 또는 yi, vi를 갖는 i번째 샘플의 레지두얼(residual)임-중에서, 최소인 상기 레지두얼의 스퀘어(squares) 세트의 중성값을 제공하는 하나를 탐색하는 것으로 이루어지는 스퀘어의 최소 중선의 방법인 프로세스.
  3. 제2항에 있어서, 상기 레지두얼(3)의 스퀘어가 최소 중선에 대한 탐색은 고려되는 모션의 표현의 공간에서 랜덤하게 드로잉된 샘플의 쌍에 의해 각각 결정되는 미리결정된 라인의 수에 적용되는 프로세스.
  4. 제1항에 있어서, 상기 로부스트 복귀 이후에, 제2 논로부스트(nonrobust) 선형 복귀가 상기 모션 모델의 파라미터의 추정을 세분화(refine)하는 것을 가능하게 하는 프로세스.
  5. 제3항에 있어서, 상기 제2 선형 복귀는 상기 제1 로부스트 복귀로부터 일어나는 복귀 레지두얼이 미리결정된 임계를 초과하는 상기 표현 공간에서의 포인트들을 배제하는 프로세스.
  6. 제1항에 있어서, 상기 각각의 표현 공간(4)에서 계산된 복귀 라인들의 방향 계수의 동일성(5) 테스트를 수행하며,
    상기 테스트는 먼저 상기 각각의 표현 공간에서 2개의 분리된 복귀들을 수행하고 둘째로 상기 2개의 표현 공간들의 샘플들의 세트상에서 글로벌 기울기 복귀를 수행함에 의해 얻어지는 레지두얼의 스퀘어의 합의 비교에 기초하고,
    상기 테스트가 긍적적인 경우, 각각의 표현 공간에서 얻어진 상기 복귀 라인들의 방향 계수의 산술 평균에 의해 상기 모델의 파라미터 k를 추정하는 프로세스.
  7. 제1항에 있어서, 상기 우세한 모션은 tx, ty 및 k의 값들에 의존하는, 트랜스레이션(translation), 줌, 트랜스레이션 및 줌의 조합 및 스태틱 이미지와 같은 카테고리들중 하나로 분류되는 프로세스.
  8. 제1항에 있어서, 상기 모션 벡터 필드는 MPEG-1, MPEG-2 또는 MPEG-4 압축 표준들에 부합하는 알고리즘들과 같은, 모션 보상을 이용하는 압축 알고리즘에 의해 고려되는 비디오 시퀀스의 인코딩으로부터 일어나는 프로세스.
  9. 청구항 제1항에 따른 프로세스를 키 이미지들의 선택으로의 어플리케이션으로서, 이미지는 여러 이미지들을 통해, 계산된 파라미터들 tx, ty 또는 k에 관한 정보의 총 함수로서 선택되는 어플리케이션.
  10. 이미지와 연관된 모션 벡터 필드를 계산하며, 좌표들 xi 및 yi를 갖는 이미지 요소 및 컴포넌트들 ui 및 vi를 갖는 하나 이상의 모션 벡터들을 정의하기 위한 회로(1)를 포함하는 이미지의 시퀀스에서 우세한 모션을 추정하기 위한 디바이스에 있어서,
    ui = tx + k.xi
    vi = ty + k.yi
    - 상기 tx 및 ty는 모션의 트랜스레이션 컴포넌트를 나타내는 벡터 컴포넌트들이고, k는 모션의 줌 컴포넌트를 특징짓는 발산 팩터임-
    의 간략화된 파라미터 표현을 기초로 모션(2)의 모델링과,
    복귀 라인들을 제공하기 위하여, 평면들 (x,u) 및 (y,u)와, 변수들 xi, yi, ui 및 vi의 축들을 각각 나타내는 x, y, u 및 v에 의해 정의되는 2개의 모션 표현 공간들 각각에서 로부스트 선형 복귀(robust linear regression)(3)와,
    원점 및 복귀선들의 기울기에서의 좌표에 기초하여 파라미터들 tx, ty 및 k(4, 5)의 계산
    을 수행하기 위한 계산 수단을 포함하는 디바이스.
KR1020047009616A 2001-12-19 2002-12-12 이미지 시퀀스에서의 도미넌트 모션을 추정하는 방법 KR100950617B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0116466A FR2833797B1 (fr) 2001-12-19 2001-12-19 Procede d'estimation du mouvement dominant dans une sequence d'images
FR01/16466 2001-12-19
PCT/FR2002/004316 WO2003055228A1 (fr) 2001-12-19 2002-12-12 Procede d'estimation du mouvement dominant dans une sequence d'images

Publications (2)

Publication Number Publication Date
KR20040068291A true KR20040068291A (ko) 2004-07-30
KR100950617B1 KR100950617B1 (ko) 2010-04-01

Family

ID=8870690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047009616A KR100950617B1 (ko) 2001-12-19 2002-12-12 이미지 시퀀스에서의 도미넌트 모션을 추정하는 방법

Country Status (9)

Country Link
US (1) US20050163218A1 (ko)
EP (1) EP1468568A1 (ko)
JP (1) JP4880198B2 (ko)
KR (1) KR100950617B1 (ko)
CN (1) CN100411443C (ko)
AU (1) AU2002364646A1 (ko)
FR (1) FR2833797B1 (ko)
MX (1) MXPA04005991A (ko)
WO (1) WO2003055228A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431900B2 (en) 2018-03-21 2022-08-30 Samsung Electronics Co., Ltd. Image data processing method and device therefor

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003244192A1 (en) * 2003-06-25 2005-01-13 Nokia Corporation Image data compression parameter value controlling digital imaging device and image data compression parameter value decision method
AR049593A1 (es) * 2004-07-20 2006-08-16 Qualcomm Inc Metodo y aparato para predecir el vector de movimiento en compresion de video temporal.
FR2875662A1 (fr) 2004-09-17 2006-03-24 Thomson Licensing Sa Procede de visualisation de document audiovisuels au niveau d'un recepteur, et recepteur apte a les visualiser
JP5082856B2 (ja) * 2005-11-30 2012-11-28 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
CN101878486B (zh) 2007-11-30 2016-10-26 杜比实验室特许公司 处理运动图像序列的方法和设备
JP5039921B2 (ja) * 2008-01-30 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 圧縮システム、プログラムおよび方法
JPWO2009128208A1 (ja) * 2008-04-16 2011-08-04 株式会社日立製作所 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法
RU2011110246A (ru) * 2008-09-24 2012-09-27 Сони Корпорейшн (JP) Устройство и способ обработки изображений
TWI477144B (zh) * 2008-10-09 2015-03-11 Htc Corp 影像調整參數計算方法及裝置，及其電腦程式產品
CN101726256B (zh) * 2008-10-27 2012-03-28 鸿富锦精密工业（深圳）有限公司 从影像轮廓中搜寻拐点的计算机系统及方法
CN102377992B (zh) * 2010-08-06 2014-06-04 华为技术有限公司 运动矢量的预测值的获取方法和装置
JP2012084056A (ja) * 2010-10-14 2012-04-26 Foundation For The Promotion Of Industrial Science 物体検出装置
US9442904B2 (en) * 2012-12-21 2016-09-13 Vmware, Inc. Systems and methods for applying a residual error image
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
AU2015406855A1 (en) 2015-08-24 2018-03-15 Huawei Technologies Co., Ltd. Motion vector field coding and decoding method, coding apparatus, and decoding apparatus
JP2021513054A (ja) * 2018-02-02 2021-05-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像位置合わせ及び回帰解析を用いたシリアルポジトロンエミッショントモグラフィ（ｐｅｔ）検査における標準取り込み値（ｓｕｖ）のスケーリング差の補正
CN111491183B (zh) * 2020-04-23 2022-07-12 百度在线网络技术（北京）有限公司 一种视频处理方法、装置、设备及存储介质
US11227396B1 (en) * 2020-07-16 2022-01-18 Meta Platforms, Inc. Camera parameter control using face vectors for portal

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0181034B1 (ko) * 1995-03-18 1999-05-01 배순훈 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
EP1229740A3 (en) * 1996-01-22 2005-02-09 Matsushita Electric Industrial Co., Ltd. Method and device for digital image encoding and decoding
KR20010042310A (ko) * 1999-02-01 2001-05-25 요트.게.아. 롤페즈 비디오 시퀀스를 위한 디스크립터 및 그 디스크립터를사용하는 영상 검색 시스템
EP1050849B1 (en) * 1999-05-03 2017-12-27 Thomson Licensing Process for estimating a dominant motion between two frames
EP1050850A1 (en) * 1999-05-03 2000-11-08 THOMSON multimedia Process for estimating a dominant motion between two frames
US6865582B2 (en) * 2000-01-03 2005-03-08 Bechtel Bwxt Idaho, Llc Systems and methods for knowledge discovery in spatial data
JP3681342B2 (ja) * 2000-05-24 2005-08-10 三星電子株式会社 映像コーディング方法
WO2002003256A1 (en) * 2000-07-05 2002-01-10 Camo, Inc. Method and system for the dynamic analysis of data
US7499077B2 (en) * 2001-06-04 2009-03-03 Sharp Laboratories Of America, Inc. Summarization of football video content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431900B2 (en) 2018-03-21 2022-08-30 Samsung Electronics Co., Ltd. Image data processing method and device therefor

Also Published As

Publication number Publication date
CN1608380A (zh) 2005-04-20
MXPA04005991A (es) 2004-09-27
AU2002364646A1 (en) 2003-07-09
CN100411443C (zh) 2008-08-13
JP2005513929A (ja) 2005-05-12
KR100950617B1 (ko) 2010-04-01
JP4880198B2 (ja) 2012-02-22
WO2003055228A1 (fr) 2003-07-03
FR2833797A1 (fr) 2003-06-20
FR2833797B1 (fr) 2004-02-13
US20050163218A1 (en) 2005-07-28
EP1468568A1 (fr) 2004-10-20

Similar Documents

Publication Publication Date Title
KR100950617B1 (ko) 이미지 시퀀스에서의 도미넌트 모션을 추정하는 방법
US11501507B2 (en) Motion compensation of geometry information
Yuan et al. Detecting motion regions in the presence of a strong parallax from a moving camera by multiview geometric constraints
Chien et al. Fast video segmentation algorithm with shadow cancellation, global motion compensation, and adaptive threshold techniques
Deng et al. Unsupervised segmentation of color-texture regions in images and video
Sawhney et al. Independent motion detection in 3D scenes
JP2005513929A6 (ja) 画像のシーケンスにおける主要な動きを推定する方法
US20080253617A1 (en) Method and Apparatus for Determining the Shot Type of an Image
Weiss et al. Perceptually organized EM: A framework for motion segmentation that combines information about form and motion
US20030035583A1 (en) Segmentation unit for and method of determining a second segment and image processing apparatus
Zhu et al. Handling occlusions in video‐based augmented reality using depth information
CN112115980A (zh) 基于光流跟踪和点线特征匹配的双目视觉里程计设计方法
CN110599522B (zh) 一种视频序列中动态目标检测剔除方法
Farin Evaluation of a feature-based global-motion estimation system
Chen et al. Variational fusion of time-of-flight and stereo data for depth estimation using edge-selective joint filtering
Heuer et al. Global motion estimation in image sequences using robust motion vector field segmentation
Bab-Hadiashar et al. Optic flow calculation using robust statistics
JP2961272B1 (ja) 特徴ベクトルを利用した物体の認識装置および方法
Argyros et al. Independent 3d motion detection based on depth elimination in normal flow fields
Zhu et al. Occlusion registration in video-based augmented reality
JP2807137B2 (ja) 立体形状検出方法
Kruse Scene segmentation from dense displacement vector fields using randomized Hough transform
Wei et al. Multiple feature clustering algorithm for automatic video object segmentation
CN106791845A (zh) 一种用于多视点图像编码的快速视差估计方法
Chang et al. Disparity Estimation Using Fast Motion-Search Algorithm and Local Image Characteristics

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130305

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160219

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee