KR100256194B1

KR100256194B1 - 비디오 순차내에서 이동을 추정하는 방법 및 시스템

Info

Publication number: KR100256194B1
Application number: KR1019970701899A
Authority: KR
Inventors: 제임스 씨. 브레일런; 타너 오즈케릭; 아겔로스 케이. 가트사겔로스
Original assignee: 비센트 비.인그라시아; 모토로라 인코포레이티드
Priority date: 1995-07-24
Filing date: 1996-06-12
Publication date: 2000-05-15
Also published as: TW299553B; AU682135B2; CN1159276A; EP0783821A1; KR970706697A; CA2200732A1; AU6275596A; US5717463A; WO1997004600A1; EP0783821A4

Abstract

본 발명은 비디오 순차내에서 이동을 추정하는 방법 및 시스템을 제공한다. 본 발명은 이동 물체의 경계 뿐만 아니라 변위 벡터 필드의 매우 정확한 추정을 제공한다. 시스템은 예비처리기(102), 공간 적응 이동 추정기(104), 이동 경계 추정기(106), 및 이동 분석기(108)를 포함한다. 예비처리기(102)는 제1 변위 벡터 필드 추정을 제공하고, 공간 적응 이동 추정기(104)는 제1 물체 경계 추정을 제공한다. 이동 경계 추정기(106)와 이동 분석기(108)는 제1 추정의 정확도를 개선한다.

Description

비디오 순차내에서 이동을 추정하는 방법 및 시스템

비디오 순차는 3차원(3-D) 화면을 2차원(2-D) 영상 평면에 투사한 것을 시간적으로 표본화하여 구성된다. 이 화면내에서 발생된 3-D 이동은 이러한 투사의 2-D 변위로 포착된다. 현재의 2-D 영상 평면에서 특정한 화상 요소, 즉 픽셀(pixel)의 변위는 이전의 영상 평면에서 특정한 픽셀의 위치를 지시하는 벡터로 나타내질 수 있다. 변위 벡터 필드(DVF)는 소정의 영상 평면 세트 사이에서 모든 픽셀의 이동을 설명하므로, 영상 평면으로 투사된 물체의 3-D 이동을 나타낸다.

비디오 순차내에서의 DVF의 정확한 추정은 많은 영상 순차 처리의 응용에서 중요하다. 비디오 부호화, 프레임 보간, 물체 트래킹(tracking), 및 공간과 시간상의 이동 보상 필터링이 비디오 순차에 존재하는 프레임간 상관관계를 사용하도록 DVF의 정확한 추정을 요구하는 모든 응용이다.

매우 낮은 비트 비율(VLBR)로 디지탈 비디오를 압축시키는 것은 통신 분야에서 매우 중요한 문제이다. 일반적으로, VLBR은 초당 63 킬로비트(Kbps)를 넘지 않는 것으로 고려되고 공중 교환 전화 네트워크와 셀방식 시스템과 같은 현존하는 개인 통신 시스템과 관련된다. 이러한 시스템에서 요구시 비디오를 제공하는 서비스와 비디오 회의와 같은 서비스를 제공하는데는 300 대 1의 비로 압축된 디지탈 비디오 순차에 포함되는 정보가 요구된다. 이와 같은 큰 압축비를 이루기 위해서는 비디오 순차에 주어지는 모든 용장도(redundancy)가 제어되어야 한다.

H.261, MPEG1, 및 MPEG2와 같은 현재의 표준은 블록 이동이 보상된 이산코싸인 변환(DCT) 접근법을 이용하여 디지탈 비디오 순차의 압축을 제공한다. 이러한 비디오 부호화 기술은 두 단계의 처리를 사용하여 비디오 순차에 주어지는 용장도를 제거한다. 첫 번째 단계에서는 블록 정합(BM) 이동 추정과 보상 알고리즘 이 두 개의 시간적으로 인접한 프레임(frame)간에 발생하는 이동을 추정한다. 프레임은 추정된 이동에 대해 보상되고 다른 영상을 형성하도록 비교된다. 두 개의 시간적으로 인접한 프레임간의 차이를 취함으로서 모든 현존하는 시간적인 용장도가 제거된다. 남아있는 정보만이 이동 추정 및 보상 알고리즘에서 보상될 수 없는 새로운 정보이다.

두 번째 단계에서는 이 새로은 정보가 DCT를 이용해 주파수 정의역으로 변환된다. DCT는 이러한 새로운 정보의 에너지를 약간의 저주파수 성분으로 간결화시키는 성질을 갖는다. 비디오 순차의 또 다른 압축은 부호화되는 고주파수 정보의 양을 제한함으로서 얻어진다.

비디오 부호화에 대해 이러한 접근법으로 제공되는 압축의 대부분은 이동 추정 및 보상 알고리즘에 의해 얻어진다. 즉, 강도 및 색에 대한 정보에 대하여, 비디오 순차에 존재하는 이동에 관한 정보를 전달하는 것이 훨씬 더 효과적이다. 이동 정보는 현재 강도 프레임에서의 특정한 위치에서 이전 강도 프레임에서 유래된 같은 위치까지의 점인 벡터를 이용해 나타내진다. BM에서, 위치는 같은 크기를 갖는 소정의 겹치지 않는 블록이다. 이러한 블록에 포함된 모든 픽셀은 같은 이동을 갖는 것으로 가정된다. 비디오 순차의 현 프레임에서 특정한 블록과 관련된 운동 벡터는 최상의 정합을 위해 이전의 시간적으로 인접한 프레임에서 소정의 탐색 영역에 걸쳐 탐색함으로서 발견된다. 이러한 최상의 정합은 일반적으로 두 블록 사이의 MSE(mean-squared-error)나 MAD(mean-absolute-difference)를 이용해 결정된다. 운동 벡터는 현재 프레임에서의 블록 중심에서 이전 프레임에서 최상의 정합을 제공하는 블록의 중심까지를 지시한다.

추정된 운동 벡터를 사용하여, 이전 프레임의 복사는 현재 프레임의 예측을 제공하는 각 벡터에 의해 변경된다. 이러한 동작은 운동 보상이라 칭하여진다. 상술된 바와 같이, 예측된 프레임은 DCT에 의해 공간 주파수 정의역으로 변환된 차이 프레임을 산출하도록 현재 프레임으로부터 감산된다. 이러한 공간 주파수 계수는 양자화되고 엔트로피(entropy) 부호화되어 원래 비디오 순차의 또 다른 압축을 제공한다. 운동 벡터와 DCT 계수는 모두 디코더에 전달되어, 복호화된 비디오 순차를 산출하도록 역동작이 실행된다.

비디오 순차내에서 DVF를 추정하는 것은 매우 어려운 문제이다. 정확한 추정을 얻는데 어려움의 두가지 주요 원인은 DVF의 비정체성과 문제점의 잘못 제출된 특성이다. 잘못 제출된 것은 해결법의 존재, 해결법의 유일성, 및 해결법의 연속성으로 특징지워지는 잘 체출된 문제점에 대한 헤이다머드(Hadamard)의 정의를 위반한 것으로부터 생긴다. 변위 필드를 추정하는 문제는 이러한 세가지 모두의 특징을 위반한다. 영상 순차에서 이동하는 물체는 특정한 면적을 차지하고 다른 부분은 덮지 않는다; 이러한 위치에서는 DVF가 정의되지 않아 해결법이 존재하지 않는다. 카메라의 필드 깊이에서의 물체 변형 및 변화는 또한 DVF가 정의되지 않는 영역을 발생시킬 수 있다. 소정의 영상 순차에 대해 많은 변위 필드가 데이터를 만족시킬 수 있으므로, 해결법은 유일하지 않다. 몇몇 영상 순차에서는 국부 강도값에서의 약간의 수정이 변위 추정의 크기 및/또는 방향에서 큰 변화를 일으킬 수 있으므로, 연속성도 또한 위반된다. 유용한 결과가 얻어져도 DVF 추정의 문제가 잘못 제출된 것이라는 사실은 고려되어야 한다.

DVF의 비정체성은 이동 화면 중 덮힌 부분이나 덮히지 않은 부분으로 인해 이동이 정의되지 않은 영역으로부터 뿐만 아니라, 물체의 경계에서 비연속성을 일으키는 화면내에서 다른 궤도를 따라 이동하는 물체로부터 기인한다. DVF의 비정체성은 추정에서 사용되는 접근법이 적용될 수 있어야 함을 의미한다. 즉, 정체적인 것으로 가정된 접근법은 다른 이동 물체간의 경계를 왜곡시키는 DVF의 추정이 된다. 이동 경계에서의 이러한 왜곡은 직접적으로 물체를 왜곡시키게 되므로, 차이 영상의 엔트로피(entropy)를 증가시킨다.

블록내의 이동은 일정하다는 BM에 의해 사용되는 가정은 DVF를 추정하는 데에서의 문제점을 효과적으로 억제함으로, 더 이상 문제점은 잘못 제출된 것이 아니다. 그러나, 이와 같은 가정은 또한 이동 경계가 유지되어야 하면 블록 경계와 일치하여야 함을 요구한다. 이는 실제 순차에서 거의 발생되지 않으므로, DVF의 추정에서의 실질적인 에러는 경계에서 생긴다. 이러한 에러는 DVF의 경계가 흐려지는 것으로 설명될 수 있다. 예를 들어, 블록이 이동 물체와 정체된 배경을 포함하면, 물체의 크기에 따라 정체된 배경 일부가 대치되거나 이동 물체가 정체된 배경으로 다루어진다. 어떠한 경우에서도 이전 프레임의 이동 보상된 블록은 현 프레임에서 블록을 예측하는데 부족하므로, 증가된 엔트로피를 갖는 DFD 영상이 생기게 된다.

최근 보급되어 사용되는 DVF 추정을 위한 또 다른 접근법은 공간과 시간상의 경사(gradient) 접근법이다. 공간과 시간상의 경사를 근거로 한 이동 추정 알고리즘은 DVF의 초기 추정을 근거로 이전 프레임에서의 시간 경사와 공간 경사를 이용해 각 픽셀에서 변위 프레임 차이(DFD)를 최소화함으로서 유도된다. 이 최소화를 실행하는 한 가지 일반적인 접근법은 DVF의 예측을 이용해 DFD를 먼저 선형화하는 것이다. 작동점은 근방에서 모든 픽셀이 같은 형태로 이동한다고 가정하면, 단일 방정식 대신에 1차 방정식의 세트가 생기게 된다. 근방이 재귀적인 계산 능력을 허용하면, 이러한 접근법으로부터 기인된 알고리즘은 일반적으로 픽셀 재귀(PR) 이동 추정기로 칭하여진다. 비록 PR 알고리즘이 이동 방향을 따라 이전 프레임에서 공간 경사를 계산하도록 공간 보간을 요구할 수 있지만, PR 알고리즘은 일반적으로 BM 알고리즘보다 빠르고, 서브픽셀 정확도를 위한 공간 보간을 요구하지 않는다. 더욱이, PR 알고리즘은 순수한 병진 운동형의 이동보다 더 복잡한 종류의 이동을 다루도록 확장될 수 있다.

블록 정합과 유사하게, PR 알고리즘의 실행은 또한 달리 이동하는 물체를 분리하는 경계에서 어려움을 겪는다. 즉, 이러한 이동 경계에서는 국부 근방에 있는 픽셀이 유사한 이동을 겪지 않는다. 그렇다고 가정하면, PR 알고리즘은 이러한 경계 부근에서 부정확한 추정을 제공한다. 블록 정합의 경우에서와 같이, 이러한 경계 부근에서의 부족한 DVF의 추정은 DFD의 엔트로피를 현저하게 증가시키게 된다.

블록 정합 및 공간과 시간상의 경사 접근법에는 모두 수개의 주요 문제점이 있다. 예를 들어, 블록 또는 국부 근방내의 이동이 균등하다고 가정하면, DVF내에서 수개의 경계가 손상된다. 블록 정합 알고리즘은 회전과 같은 복잡한 종류의 이동을 단일 블록내에서 분석할 수 없다. 또한, 서브픽셀 정확도를 위해 공간 보간을 요구한다. 공간-시간 경사 접근법은 DFD의 선형화가 DVF의 초기 예측에 많이 의존한다는 사실로부터 어려움을 겪는다. 이러한 어려움으로 DFD의 엔트로피가 증가되어, 매우 낮은 비트비율의 부호화 응용에서 사용이 금지된다. 매우 낮은 비트비율은 64kbits/sec로 정의된다.

그러므로, 비디오 순차내에서 정확하게 이동을 추정하는 방법 및 시스템이 필요하다. 그 방법 및 시스템은 DVF내에 조재하는 불연속성이나 경계를 추정하고 잘못 제출된 문제점을 해겨하도록 변위 벡터 필드(DVF)의 추정을 정규화하는데 요구된다.

본 발명은 일반적으로 비디오 부호화에 관한 것으로, 특히 비디오 부호화에서 이동 추정을 사용하는 것에 관한 것이다.

제1도는 본 발명에 따라 이동을 추정하는 시스템의 바람직한 실시예를 도시한 도면.

제2도는 본 발명에 따른 예비처리기의 바람직한 실시예를 도시한 도면.

제3도는 본 발명에 따른 공간 적응 이동 추정기의 바람직한 실시예를 도시한 도면.

제4도는 본 발명에 따른 제1 DVF 갱신 회로의 바람직한 실시예를 도시한 도면.

제5도는 본 발명에 따른 이동 경계 추정기의 바람직한 실시예를 도시한 도면.

제6도는 본 발명에 따른 이동 분석기의 바람직한 실시예를 도시한 도면.

제7도는 본 발명에 따라 이동을 추정하는 방법의 바람직한 실시예를 실행하는 단계의 흐름도.

제8도는 본 발명에 따라 분할하는 방법의 바람직한 실시예를 실행하는 단계의 흐름도.

제9도는 본 발명에 따라 이동을 적응성 있게 추정하는 방법의 바람직한 실시예를 실행하는 단계의 흐름도.

제10도는 본 발명에 따라 이동 경계를 추정하는 방법의 바람직한 실시예를 실행하는 단계의 흐름도.

제11도는 본 발명에 따라 이동을 분석하는 방법의 바람직한 실시예를 실행하는 단계의 흐름도.

본 발명은 비디오 순차내에서 이동 물체의 경계 뿐만 아니라 변위의 매우 정확한 추정을 얻기 위한 방법을 제공한다. 그러므로, 경계의 비정체성과 잘못 제출된 문제점은 동시에 해결된다. 비디오 순차 내에서의 물체 경계의 추정은 현재의 영상 프레임을 유사한 강도의 영역으로 분할하여 얻어진다. 이러한 영역을 분리하는 경계는 순차내에서 물체의 경계인 것으로 고려된다. 이러한 물체 경계 정보는 DVF의 제1 추정을 결정하는데 사용된다.

DVF의 제1 추정을 사용해, 물체 경계의 제1 추정은 개선된 각 경계의 위치를 정혹하게 알고 이동하지 않는 추정에서 찾아진 경계를 제거하여 얻어진다. 이동물체 경계의 이러한 추정을 근거로, 제2의 개선된 DVF의 추정이 또한 결정된다. 마지막 단계로 DVF의 제2 추정과 추정된 이동 물체 경계가 소정의 DVF 모델을 근거로 더 정제된다. 이러한 모델은 전형적으로 카메라 초점 길이나 위치의 변화로 인한 명백한 물체 이동 및 관찰 필드에서의 물체 회전과 같은 복잡한 종류의 이동을 고려한다. DVF의 제3 추정과 이동 물체 경계의 제2 추정은 이러한 모델을 DVF의 제2 추정과 이동 물체 경계 추정에 맞춘 결과이다.

도 1, 즉 번호(100)는 본 발명에 따라 이동을 추정하는 시스템의 바람직한 실시예를 도시한 도면이다. 시스템은 예비처리기(102), 공간 적응 이동 추정기(104), 이동 경계 추정기(106), 및 이동 분석기(108)를 포함한다. 예비처리기(102)는 시간 k에서의 현재 강도 프레임(110)(f_k)의 물체 경계 추정(112)을 제공한다. 이 물체 경계 추정(112), 현재의 강도 프레임(110)(f_k), 및 이전의 강도 프레임(114)(f_k-1)을 근거로, 공간 적응 이동 추정기(104)는 제1 DVF 추정(116)

을 제공한다. DVF는 시간 분리된 프레임 (f_k) 및 (f_k-1) 동안 발생하는 화면내에서 이동을 특성을 나타낸다. 제1 DVF 추정(116) 및 물체 경계 추정(112)은 모두 이동 경계 추정기(106)와 이동 분석기(108)에서 더 정제된다. 특히, 제1 DVF 추정(116)

를 사용해, 이동 경계 추정기(106)는 물체 경계 추정(112)을 정제하여 이동 경계에 대응하지 않는 강도 경계를 제거한다. 이동 경계 추정기(106)의 출력은 제1 이동 물체 경계 추정(118)

으로, 비디오 순차내에서 이동하는 물체의 경계만을 나타낸다. 또한, 제2 DVF 추정(120)

결과를 출력하는 이동 경계 추정기(106)에서는 제1 DVF 추정(116)에서의 부정확성이 제거된다. 이러한 부정확성은 일반적으로 잡음을 포함한 입력 비디오 순차의 변조에 인한 것이다. 이동 분석기(108)는 물체 이동의 원리를 근거로 접근하는 모델화를 이용해 추정

및

를 더 정제한다. 제3 DVF 추정(122)

과 제2 이동 물체 경계 추정(125)

는 각각 매우 정확한 DVF 및 이동 물체 경계의 추정을 나타낸다.

도 2, 즉 번호(200)는 본 발명에 따른 예비처리기의 바람직한 실시예를 도시한 도면이다. 시스템은 규칙 통계 필터(202)와, 영역 성장기(206) 및 영역 병합기(208)로 구성된 물체 경계 추정기를 포함한다. 예비처리 단계의 주요 기능은 현재 강도 프레임(210)을 영역 또는 물체로 정확히 분할한 것을 공간 적응 이동 추정기(104)에 제공하는 것이다. 이를 달성하기 위해, 현재 강도프레임(fk)(210)의 복사본의 먼저 규칙 통계 필터(202)를 사용해 각각 여과처리된다. 이러한 동작은 분할에 앞서 순차로부터 작은 물체를 제거하기 위해 실행된다. 일반적으로 비디오 순차에서의 조도 변화의 결과로, 실제 물체가 아닌 이러한 작은 물체는 그 물체에서 이동을 정확히 추정하는 공간 적응 이동 추정기(104)의 기능을 감쇠시킬 수 있다. 전형적으로 영상 프레임으로부터 더 작은 물체를 제거하는데 사용되는 필터 7 × 7 미디언 필터(median filter)이다. 이러한 필터는 다음의 동작으로 설명된다.

y_k(i,j) = median{f_k(i-3,j-3), f_k(i-3,j-2), ......, f_k(i+3,j+2), f_k(i+3,j+3)}

여기서, y_k(i,j)는 f_k(i,j)를 여과처리한 버전이다. 여과처리된 출력(212), y_k(i,j)는 f_k(i,j)(210)와 49개의 부근 공간 근방의 중간값이다. 7 × 7 보다 작은 공간 지원 또는 크기를 갖는 물체는 이 필터에 의해 제거된다. 상술된 바와 같이, 이러한 작은 물체는 분할 결과의 정확성을 감쇠시키는 것을 피하기 위해 영상 프레임의 분할에 앞서 제거되어야 한다.

여과처리된 출력에 포함된 물체 경계는 두 단계의 처리 과정(204)을 이용해 추정된다. 첫 번째 단계(206)는 영역 성장이라 칭하여지고, 여기서는 각 픽셀이 그 근방과 비교된다. 이 비교를 근거로, 픽셀은 그 근방과 같은 물체에 속하는가 또는 새로운 물체에 속하는가로 분류된다. 픽셀(i,j)의 분류를 결정하는데 사용되는 시험은 다음에 의해 주어진다.

｜y_k(i,j) - y_k(i-m,j-n)｜≤ T (1)

여기서, m과 n은 {-1, 0, 1}의 값중에서 취해질 수 있다. 한계값(T)은 y_k(i,j)가 y_k(i-m,j-n)과 같은 물체의 멤버인가를 결정하는데 사용된다. 두 근방 픽셀간의 차이의 절대값, ｜y_k(i,j) - y_k(i-m,j-n)｜이 T보다 작으면, 픽셀(i,j)는 픽셀(i-m,j-n)과 같은 물체의 멤버로 분류된다. 이 물체는 Obj(i-m,i-n)으로 표시된다. 차이가 T보다 크면, 픽셀(i,j)는 Obj(i-m,i-n)의 멤버가 아닌 것으로 고려된다. (i,j)의 근방이 모두 분류되지 않았을 때나 y_k(i,j)가 근방 물체의 멤버가 아닌 것으로 결정될 때, 픽셀(i,j)은 새로운 물체의 초기 픽셀로 분류된다.

한계값(T)은 전형적으로 소정의 값으로 고정된다. 이러한 접근법의 결점은 이 값이 분할되는 특정한 영상에 의존한다는 것이다. 이러한 의존도를 제거하는 접근법은 다음의 식에 의해 설명된다.

여기서, MIN 및 MAX는 Obj(i-m,i-n)내에 포함된 최대 및 최소 강도값이고, T₁은 다시 소정의 매개변수이다. 각 픽셀이 특정한 물체에 속하는 것으로 분류된 후, 그 물체의 최대 및 최소값은 조정이 필요한가를 결정하도록 시험된다. 시험 및 조정은 다음과 같다.

if(y_k(i,j)≤MIN), → MIN = y_k(i,j),

및

if(y_k(i,j)≤MAX), → MAX = y_k(i,j) (3)

이 동작은 특정한 강도 프레임에 적용될 수 있는 각 물체에 대해 조절가능한 윈도우(window)를 제공하는 효과를 갖는다. 전형적으로, 한계값(T₁)에 대한 소정의 값은 25이다. 윈도우, 즉 한계값을 조절하는 이 방법은 넓은 폭의 다양한 비디오 순차에 걸쳐 일관된 분할을 제공하는데 매우 효과적이다.

물체 경계 추정 처리과정의 두 번째 단계에서는 각 물체가 근방 물체와 병합되어야 하는가 여부를 결정하도록 시험된다. 물체의 경계선을 따라 위치하는 픽셀은 근방 물체의 경계선상에 있는 픽셀과 비교된다. 이 경계선 픽셀간의 차이가 작으면, 물체는 병합된다. 특히, 두 근방 물체의 경계선 픽셀에는 다음의 시험이 행해진다.

if(｜y_k(i,j) - y_k(i-m,j-n)｜≤ T₂)→merge(Obj(i,j) ＆ Obj(i-n,j-m)) (4)

여기서, T₂는 전형적으로 30으로 설정되는 소정의 매개변수이다.

다시 작은 물체의 생성에 대한 보호를 위해 두 번째 비교가 또한 실행된다. 이러한 작은 물체는 일반적으로 영역 성장 알고리즘이 물체 경계로 해석하는 조도 변화를 점차적으로 변화시킨 결과이다. 이 시험은 물체의 크기, 즉 한 물체내에 포함된 픽셀수를 소정의 제3 한계값과 비교한다. 픽셀수가 이 소정의 한계값보다 작으면, 물체는 근방 물체와 병합한다. 이러한 병합 동작은 현재 물체에 가장 유사한 근방 물체를 이용해 실행된다. 두 근방 물체간의 유사성 정도는 식(4)에서 설명된 경계선 차이를 이용해 측정된다. 전형적으로, 크기 한계값은 256 픽셀로 설정된다. 영역 병합 동작은 영역 성장 동작중에 형성될 수 있는 작은 물체를 제거하는데 효과적이다.

다른 분할 접근법에 대한 이러한 두 단계의 물체 경계 추정 접근법(204)의 이점은 연속적이고 폐쇄된 경계를 제공하는 것이 보장된다는 점이다. 일반적으로 한 비디오 순차내의 물체는 연속적이고 폐쇄된 경계에 의해 정의되므로, 이동 추정과 분석의 응용을 위해 이는 매우 중요한 결과이다. 더욱이, 한 강도 프레임내에 포함된 경계는 대응하는 DVF 경계의 큰 세트이다. 그러므로, DVF에 주어진 비연 속성이나 경계도 연속적이고 폐쇄되고, 또한 잘 정의된다.

예비처리기(102)의 출력은 물체 경계 추정(216)(S_k)이다. 물체 경계 추정(216)(S_k)은 y_k(i,j)(212)내의 각 픽셀을 멤버로 속하는 물체에 대응하는 한 값에 지정한다. 경계는 물체의 번호지정 순서가 변화는 위치를 결정함으로서 S_k(216)으로부터 회복된다. 이전의 강도 프레임(f_k-1)(114) 및 현재의 강도 프레임(f_k)(110)과 조합된 물체 경계(S_k)(216)는 DVF

의 제 1 추정(116)을 결정하도록 공간 적응 이동 추정기(104)에 의해 사용된다. 상술된 바와 같이, 물체 경계 추정(S_k)(112)은 DVF(d_k)의 비연속성을 포함하므로, 달리 이동하는 물체사이에서 경계의 제 1 추정으로 고려된다. 선 처리의 제 1 또는 초기 추정은 공간 적응 이동 추정 알고리즘이 이러한 비연속성에 적용되는 기계로서 사용된다.

도 3, 즉 번호(300)는 본 발명에 따른 공간 적응 이동 추정기의 바람직한 실시예를 도시한 도면이다. 공간 적응 이동 추정기(104)은 인과관계의 룩업 테이블(look-up table)(312), DVF 예측기(318), 및 제1 DVF 갱신 결정기(320)를 포함한다. 공간 적응 이동 추정기로의 입력은 추정 물체 경계(S_k)(304), 지난 변위 추정 중 소정의 인과 관계의 국부 근방(d_k)(306), 이전의 강도 프레임(f_k-1)(308), 및 현재의 강도 프레임(f_k)(310)이다. 인과관계의 룩업 테이블(312)는 소정의 자동 복귀(AR) 예측 계수(314)의 세트와 대응하는 예측 불확실성(316)을 저장한다.

인과관계의 AR 예측 계수(314)의 소정의 세트와 대응하는 불확실성항(316)은 전형적으로 경험에 의해 발견된다. 일반적으로, 최소 제곱 추정 접근법이 원형 또는 이전에 추정도니 DVF상에 사용된다. 물체 경계 추정(S_k)(304)을 근거로, 소정의 AR 예측 계수(314)의 서브세트, a(m,n｜S_k)와 그에 대응하는 불확실성항, w(i,j｜S_k)(316)이 DVF 예측기(318)와 제1 DVF 갱신 결정기(320)에서 사용되도록 룩업 테이블(312)로부터 선택된다. DVF 예측기 회로는 AR 예측 계수(314)의 서브세트와 변위 벡터의 국부 근방(306)을 근거로 DVF의 예측을 결정한다. 예측 동작은 다음의 식에 의해 설명된다.

여기서,

는 현재 영상 프레임의 픽셀 위치 r=(i,j)에서 발생된 이동의 예측 이고, a(m,n｜S_k)는 국부 지원(R)을 갖는 AR 예측 계수이다.

국부 근방(R)은 다음의 위치로 구성된다. 열(column) 방향으로 바로 좌측에 있는 픽셀(i.j-1), 행(row) 방향으로 위이고 열 방향으로 좌측에 있는 픽셀(i-1,j-1), 행 방향으로 위에 있는 픽셀(i-1,j), 및 행 방향으로 위치고 열 방향으로 우측에 있는 픽셀(i-1,j+1). R의 선택은 이행시 이루어지고 특정한 시간에 영상 및 변위 정보를 나타내는데 사용되는 2차원 데이터 세트를 통해 진행하도록 사용된 방법에 의존하는 것을 알아야 한다. 이러한 특정한 R에 대해, 데이터는 상단 행에서 시작하여 각행에 걸쳐 좌측으로부터 우측으로 억세스되는 것으로 가정한다. 영상 데이터 및 변위 데이터를 통해 진행되는 다른 방법이 또한 사용될 수도 있다. 이는 국부 근방(R)에 대한 약간의 수정을 요구하지만, 동작은 같다.

식(5)에 의해 설명되고 상술된 바와 같이, 물체 경계가 소정의 국부 근방(R)에 주어짐을 물체 경계 추정(304)(S_k)이 나타내면, AR 계수 a(m,n｜S_k)(314)는 다른 물체에 속하는 변위 벡터와 예측에 포함되지 않도록 적용된다. 상기 식이 근거로 된 비정체성 가정은 모든 DVF에 걸쳐 유효하므로, 일관되게 정확한 예측이 주어진다. 물체 경계 부근의 변위 벡터의 혼합 또는 흐려짐으로 인하여 정체 모델에 의해 초래되는 부정확성이 완화된다.

예측된 변위 벡터

(324), 관련된 불확실성항 w(i,j｜S_k)(316), 이전의 강도 프레임(f_k-1)(308), 및 현재의 강도 프레임(f_k)(310)은 제1 DVF 갱신 결정기(320)에 입력된다. 제1 DVF 갱신 회로는 예측된 변위 벡터

(324)를 갱신하여 제1 DVF 추정(322)을 결과로 제공한다.

도 4, 즉 번호(400)는 본 발명에 따른 제1 DVF 갱신 결정기의 바람직한 실시예를 도시한 도면이다. 제1 갱신 회로는 이동 보상 유닛(402)과 이득 계산기(404)을 포함한다. 이동 보상 유닛(402)에 의해 실행되는 이동 보상 동작은 다음의 식에 의해 설명되는 비선형 동작이다.

여기서,

(422)은 이동 보상된 이전 프레임이다.

(422)은 이전 프레임 f_k-1(408)에서

에 공간적으로 위치하는 픽셀의 강도값을 취함으로서 찾아진다. 이동 보상된 값

은 현재 프레임 f_k(r)(412) 중 위치(r)의 픽셀값으로부터 감산되어 변위 프레임 차이(DFD) 신호(424) e_k(i,j)가 된다. DFD(424) 신호는 예측된 변위 벡터

의 정확성과 관련된 에러 신호이다. DFD 신호 e_k(i,j)(424)는 이득항(426)과 곱하여지고 DVF 예측(406)에 가산되어 제1 DVF 추정(414)이 된다.

이득 계산기(404)에 의해 결정된 이득은 DVF 예측(406)

을 갱신하기 앞서 DFD 신호 e_k(r)(424)의 크기를 조절하는데 사용된다. 이득을 계산하는데 사용되는 표현식은 u(r)이 예측

(406)에서의 에러일 때 이동 보상된 프레임을 공간 위치

에 대해 선형화하고 u(r)의 최상의 선형 추정에 대해 풀어서 얻어진다. 이득 K(i,j)(426)의 결과식은 다음과 같이 주어진다.

K(i,j) = [G^T(i,j)G(i,j) + w(i,j)]^-1G(i,j)

여기서, G(i,j)는 국부 근방(R)의 각 픽셀에 대해 이동 보상된 이전 프레임(422)에서 구해진 공간 경사(gradient)의 n × 2 매트릭스이다. 특히, 상술된 국부 근방(R)에 대해, G(i,j)는 다음과 같이 주어진다.

여기서,

는 이동 보상된 이전 프레임(422)

중 픽셀 위치(i,j)에서 구해진 2차원 공간 경사이다.

상술된 바와 같이, 이득 계산기에 의해 결정된 이득 K(i,j)(426)은 DFD 신호(424)의 크기를 조절하는데 사용된다. 이와 같이 크기가 조절된 DFD 신호는 예측된 변위 벡터(406)

에 가산되어 제1 DVF 추정(414)

가 된다.

를 갱신하는데 사용되는 동작이 다음의 식에서 보다 상세히 설명된다.

여기서, E(i,j)는 국부 근방(R)내의 각 픽셀에 대해 구해진 DFD이다.

도 5, 즉 번호(500)는 본 발명에 따른 이동 경계 추정기의 바람직한 실시예를 도시한 도면이다. 이동 경계 추정기(106)은 비인과 관계의 룩업 테이블(510), 이동물체 경계 추정기(506), DVF 추정기(508), 및 비인과관계의 DVF 국부 근방(502)을 포함한다. 이동 물체 경계 추정기로의 입력은 물체 경계 추정(S_k)(526), 제1 DVF 추정

(524), 이전의 강도 프레임(f_k-1)(528), 및 현재의 강도 프레임(f_k)(530)이다. 이동 물체 경계 결정기(504)은 반복적인 해석에서 사용가능하도록 이동 물체 경계의 현재 추정을 저장한다. 특히, 이동 물체 경계 추정기(506)에 의해 제공된 해석은 개선된 해석을 위한 초기 조건으로 사용될 수 있다. 이러한 반복 실행 방법이 이후 논의된다. 이동 물체 경계 추정기(506)는 물체 경계 추정(526)으로 초기화된다.

이동 물체 경계 추정기(506)는 물체 경계(S_k)(526)와 대응하는 DVF의 제1 추정(524)을 근거로 이동 물체 경계

(546)의 추정을 제공한다. 이동 물체 경계 추정기(506)는 이동 모서리 결정기(514), 모서리 연속성 결정기(516), 및 이동 물체 갱신 결정기(518)으로 구성된다. 이동 물체 경계(1_k)(546)의 추정은 제1 추정(S_k)을 조절함으로서 결정된다. 경계의 공지된 통계적 특징을 근거로 하고 신용 측정의 사용을 통해 특징지워지는 이러한 조절로, 이동 물체에 속하지 않는 경계가 제거된다. 사용되는 특정한 신용 측정은 이후 상세히 설명된다. 상술된 바와 같이, 이동 물체 경계 추정기(506)는 물체 경계 추정(526)으로 초기화된다.

이동 모서리 결정기(514)은 픽셀(i,j)이 이동 물체 경계의 일부인가 여부를 평가하고 신용 측정을 현재 추정

에 지정한다. 이러한 평가는 인접한 변위 벡터를 비교함으로서 실행된다. 특히, 평가와 그에 대응하는 신용 측정(540)은 다음에 의해 주어진다.

D(i,j) = (d_k(i,j) - d_k(i,j)²+ (d_k(i,j) - d_k(i-1,j))²

신용 측정 D(i,j)(540)이 크면, 이동 물체 경계가 있기 쉽다. 반대로, D(i,j)(540)이 작으면, 이동 물체 경계가 존재할 가능성이 적다.

이동 모서리 결정기(514)와 유사하게, 모서리 연속성 결정기(516)은 또한 신용 측정(542)을 픽셀(i,j)에서의 이동 물체 경계의 현재 추정에 지정한다. 그러나, 이러한 신용 측정(542)은 근방 경계 요소값의 함수이다. 비디오 화면내의 물체가 폐쇄된 연속 곡선상에 높인 경계를 갖는다는 가정을 근거로, 픽셀(i,j)은 이러한 곡선상에 놓여 있으면, 또는 놓여 있는 경우에만 경계 요소이다. 다른 말로 하면, 픽셀(i,j)이 이동 경계 요소인 것으로 결정되면, 특정한 방향으로 인접한 픽셀 대부분이 또한 경계 요소이다. 상기의 특징은 다음의 식으로 표현된다.

C(i,j) = 0.5((l(i,j) + l(i-1,j) + l(i,j-1))

이동 물체 갱신 결정기는 초기 물체 경계 측정(526) S_k(i,j)인 이동 물체 경계의 현재 추정과 신용 측정 D(i,j)(54) 및 C(i,j)(542)을 근거로 픽셀(i,j)에서의 이동 물체 경계 추정

를 조절한다. 이동 물체 경계 갱신 결정기의 특징을 나타내는 식은 다음과 같이 주어진다.

여기서

L(i,j) = β(α[(1-ε·C(i,j)) + (1 - S_h(i,j))] - λ²D(i,j)),

계수 α 및 β는 각 신용 측정이 추정

에 영향을 줄수 있는 양을 제어하는데 사용되는 소정의 매개변수이다. 매개변수 β(556)은 갱신 결정기의 응답을 제어하는데 사용된다. β가 작으면, 조절된

에 대한 신용 측정의 효과도 또한 작다. 한편, β가 크면, 조절되는

신용 측정에 의해 좌우된다. 전형적으로,

및

의 추정은 반복적으로 행해지므로, β는 작은 값으로 초기화되고 각각 새로운 반복이 시작될 때 천천히 증가된다. β를 증가시키고

의 추정을 정제하는 결정은 추정 단말기(512)에서 이루어진다. 이후 추정 단말 회로(514)가 보다 상세히 논의된다.

DVF 추정기(508)는 진보된 예측 결정기(520)와 제2 DVF 갱신 결정기(522)로 구성된다. 상술된 DVF 예측기(318)와 유사하게, 진보된 예측 결정기(520)는 이동 물체 경계 추정(536)을 근거로 DVF의 예측을 제공한다. 이러한 이동 물체 경계 추정(546)

를 사용해, 소정의 비인과관계 AR 예측 계수의 서브세트

와 그에 대응하는 비확실성항

이 진보된 예측 결정기(520)와 제2 DVF 갱신 결정기(522)에서 사용되는 위한 비인과 관계의 룩업 테이블(520)로부터 선택된다. 진보된 예측 결정기(520)는 AR 예측 계수(548)의 서브 세트와 변위 벡터의 국부 근방 R을 근거로 DVF의 예측을 결정하다. 국부 근방 R은 DVF 예측기(318)에 의해 사용되던 R과 다른 것임을 알아야 한다. 이 차이는 DVF의 완전한 추정이 이미 존재한다는 사실로부터 생긴다. 그러므로, DVF 예측기에서 존재하는 주사에 대한 의존성은 진보된 예측기에 대해서는 문제점이 되지 않는다. 다른 말로 하면, 이전에 추정된 변위 벡터만을 포함하는 근방을 사용해야 하는 제한이 더 이상 필요없다. 국부 근방 R은 주위의 가장 근접한 근방 픽셀(i,j)을 포함한다. 특히, R은 다음의 픽셀, 즉 (i,j-1), (i,j+1), (i-1,j), (i+1,j)을 포함한다. 식(5)에 의해 설명된 모델에 부가하여, 진보된 예측기는 또한 예측을 더 강요하는 확고한 본체 가정을 사용하다. 확고한 본체 가정은 물체내의 모든 픽셀이 유사한 운동을 행한다는 것을 조건으로 지정한다.

이러한 부가되는 제한을 식(5)에서 설명된 AR 모델과 조합하는 이점은 DVF의 가능한 특징이 어 포스티어리어리(A Posteriori) 확률 밀도 함수의 형태로 유도될 수 있는 점이다. 진보된 예측 유닛은 어 포스티어리어리 함수를 최대화하는 변위 벡터

의 예측을 결정한다. 전형적으로, 이러한 최대화 과정은 다음의 반복 알고리즘을 이용해 실행된다.

여기서,

Δ = -μ[D(i,j)(1-l(i,j)) + D(i+1,j)(1-l(i,j))]이고,

ν은 정정 단계 크기로, 가장 경사가 급한 하강 최소화 단계와 같고, 또한 n은 반복 회수이다. 반복을 시작하는데 허용되는 초기 조건은

이다. 제1 DVF 추정

는 고질의 값이므로, 반복으로부터 기인된 개선량은 적다. 일반적으로 실행되는 반복 회수는 1로 고정된다. 그러나, 반복을 종료하기 위해 반복하는 사이의 퍼센트 변화를 주시하는 기준어 또한 사용될 수 있다. 특히,

반복이 종료된다. 전형적으로 한계값(T)은 10^-3으로 설정된다. 다시 제1 DVF 추정의 질로 인해 정정 단계 크기는 값 0.1로 고정된다.

진보된 예측 결정기(520)에 의해 제공되는 예측

은 제2 DVF 예측

(534)를 만들도록 제2 DVF 갱신 결정기(522)에 의해 갱신된다. 제2 DVF 갱신 결정기(522)는 제1 DVF 갱신 결정기(320)에 대해 설명된 바와 같은 방법으로 갱신된다.

상술된 바와 같이,

(534) 및

(532)에 대해 연관된 해결법은 전형적으로 반복 처리를 이용해 해결된다. 즉,

및

를 얻기 위해 사용되는 단계는 초기 조건으로 이전의 결과를 사용해 반복된다. 더욱이, β는 각 반복 이후 증가되어 신용 측정에 더 많은 가중치를 제공한다. 반복에 의해

및

모두의 전체적인 정확도가 개선뙨다. 또 다른 반복이 실행되는가 여부를 결정하는 것은 반복 단말기에서 결정되며, 반복 회수가 고정된 수로 설정되거나 반복하는 사이의 퍼세트 변화를 근거로 결정될 수 있다. 전형적으로, 최대 3회 반복이 설정된다. 그러나, 반복하는 사이의 퍼센트 변화가 한계값 이하이면, 반복은 종료된다. 특히, 다음이 만족되면, 반복이 종료된다.

및

도 6, 즉 번호(600)는 본 발명에 따른 이동 분석기의 바람직한 실시예를 도시한 도면이다. DVF의 매개변수화된 표현을 제공하는 이동 분석기로 입력으로

및

를 사용한다. 이동 분석기는 병진 운동 추정기(604), 줌(zoom) 추정기(606), 회전 추정기(608), 및 중심 결정기(612)를 포함한다. 선 처리

와 DVF

의 제2 추정이 이동 분석기 유닛에 입력된다. 이러한 입력과 4개의 매개변수 이동 모델을 근거로, 선 처리와 DVF의 제3 및 최종 세트의 추정이 결정된다.

4개의 매개변수 이동 모델은 확고한 본체로서 선 처리에 의해 정의된 물체를 이용해 DVF를 특징지운다. 특히, 특정한 물체내에 포함된 각 픽셀의 변위는 다음의 식에 의해 특징지워진다.

d_k(i,j)=t_k(i,j｜Obj(i,j))+Z(Obj(i,j)·cp(i,j｜Obj(i,j))+θ(Obj(i,j))·cp(i,j)｜Obj(i,j)) 여기서, t_k(i,j｜Obj(i,j))=[t_x,k(i,j｜Obj(i,j)), t_y,k(i,j｜Obj(i,j))]^T는 d_k(i,j)의 병진 운동 선분을 나타내는 벡터이고, Z(Obj(i,j))와 θ(Obj(i,j))는 줌 및 회전 성분을 나타낸다. 이러한 4개의 매개변수 각각이 물체 Obj(i,j)에 의존하고 특정한 픽셀(i,j)이 지정됨을 주시하는 것은 중요하다. 더욱이, 항 cp(i,j｜Obj(i,j))은 Obj(i,j)의 중심에서 픽셀(i,j)까지의 거리를 나타낸다. 각 물체 중심의 위치는 중심 결정기(612)에 의해 정해진다. 추정

를 근거로, 각 물체의 중심은 Obj(i,j)에서 최대 및 최소 수평과 수직 픽셀 위치를 포함하는 두선의 교차점에 있는 것으로 결정된다.

병진 운동 추정기는 각 물체에 대한 병진 운동 성분을 결정하다. 이는 각 물체에 걸쳐 수평 및 수직 변위성분을 평균화함으로서 이루어진다. 특히, 병진 성분 t_x,k및 t_y,k는 다음의 식을 이용해 계산된다.

및

여기서, N은 Obj(i,j)내에 포함된 픽셀의 총수이다.

줌 추정기(606)은 줌 매개변수 Z(Obj(i,j))를 추정한다. 이 매개변수는 물체의 초점 거리에서 발생될 수 있는 변화를 특징화하는데 사용된다. 이러한 변화는 카메라에 의해서나 카메라 위치에서 멀리 또는 더 가깝게 움직이는 물체의 이동에 의해서 발생될 수 있다. 조밀한 DVF, dk(i,j)를 이용해, 줌 매개변수 Z(Obj(i,j))는 다음 식에 의해 물체 Obj(i,j)에 대해 추정된다.

여기서, cx(i,j)와 cy(i,j)는 픽셀(i,j)를 포함하는 물체에 대한 중심의 수평 및 수직 지표를 나타내고, Γ(i,j)=(i-cxci,j))²+(j-cy(i,j))²이다.

회전 추정기(608)는 각 물체에대해 회전 매개변수 θ(Obj(i,j))를 추정한다. 회전 매개변수는 물체에서 발생될 수 있는 회전을 특징화하는데 사용된다. 이러한 회전은 일반적으로 물체 이동의 결과로, Z(Obj(i,j))를 결정하는데 사용되는 것과 유사한 방법으로 추정된다. 특히, 회전 매개변수 θ(Obj(i,j))는 다음의 식을 이용해 추정된다.

상술된 바와 같이, 이러한 4개의 DVF의 매개변수 표현은 선 처리 l_k의 추정을 정제하는데 사용된다. 4개의 이동 매개변수를 근거로, 각 물체는 근방의 물체와 비교된다. 물체가 근방 영역과 유사한 것으로 결정되면, 이는 단일 영역을 형성하도록 병합된다. 다음의 4가지 조건이 만족되면 두 영역은 유사한 것으로 결정된다.

조건 1.

(t_x,k(i,j｜Region(i,j))-t_x,k(i+n,j+m｜Region(i+n,j+m)))²≤ P₁

조건 2.

(t_y,k(i,j｜Region(i,j))-t_y,k(i+n,j+m｜Region(i+n,j+m)))²≤ P₂

조건 3.

(Z(i,j｜Region(i,j))-Z(i+n,j+m｜Region(i+n,j+m))) ≤ P₃

조건 4.

(θ(i,j｜Region(i,j))-θ(i+n,j+m｜Region(i+n,j+m))) ≤ P₄

여기서, (i+n,j+m)은 근방 영역 Obj(i+n,j+m)의 위치를 나타낸다.

도 7, 즉 번호(700)는 본 발명에 따라 이동을 추정하는 방법의 바람직한 실시예를 실행하기 위한 단계의 흐름도이다. 현재의 강도 프레임은 비디오 순차에 의해 포착된 화면에 포함되는 물체의 경계를 결정하도록 예비처리기를 이용해 분할된다(702). 이러한 경계는 비디오 순차에 달리 이동하고 있는 물체에 적용하도록 공간 적응 이동 추정기에 의해 사용된다. 공간 적응 이동 추정기에 의해 제1 DVF 추정이 제공된다(704). 제1 DVF 추정과 물체 경계의 추정기를 근거로, 이동 물체 경계의 제1 추정과 제2 DVF 추정이 얻어진다(706). 이동 물체 경계의 제1 추정과 제2 DVF 추정을 분석하고 모델화하여 제3 DVF 추정과 이동 물체 경계의 제2 추정이 제공된다.

도 8, 즉 번호(800)는 본 발명에 따라 분할하는 방법의 바람직한 실시예를 실행하기 위한 단계의 흐름도이다. 제1 단계는 규칙 통계 필터를 이용해 여과처리함으로서 영상 프레임으로부터 잡음을 제거하는 것이다(802). 다음의 픽셀은 영역 성장기를 이용해 물체로 그룹화된다.(804). 마지막 단계는 소정의 비교 시험과 영역 병합기를 이용해 작은 물체를 더 큰 물체로 병합하는 것을 포함한다(806).

도 9, 즉 번호(900)는 본 발명에 따라 이동을 적응성 있게 추정하는 방법의 바람직한 실시예를 실행하기 위한 단계의 흐름도이다. 먼저, 물체 경계 추정을 근거로, 적어도 하나의 인과관계 예측 계수와 인과관계 불확실성 매개변수를 제공하도록 인과관계 룩업 테이블이 억세스된다(902). 다음에는 앞서 추정된 변위 벡터를 포함하는 메모리 장치로부터, 인과관계의 국부 근방이 소정의 초기화로 설정된다(904). 다음에는 앞서 추정된 변위 벡터와 적어도 하나의 인과관계 예측 계수를 근거로 현재 변위 벡터의 예측이 결정된다(906). 예측된 변위 벡터는 제1 변위 추정이 되도록 갱신되고 인과관계의 국부 근방에 저장된다(908). 처리 과정은 전체의 현재 강도 프레임에 대해 반복되어(910)는 제1 DVF 추정이 주어진다.

도 10, 즉 번호(1000)는 본 발명에 따라 이동 경계를 추정하는 방법의 바람직한 실시예를 실행하기 위한 단계의 흐름도이다. 제1 DVF 추정과 제2 추정 DVF의 앞서 추정된 변위 벡터는 비인과관계의 국부 근방 메모리에 저장된다(1002). 앞서 추정된 물체 경계는 이동 물체 경계 결정기에 저장된다(1004). 물체 경계와 앞서 추정된 변위 벡터를 사용해 이동 물체 경계의 제1 추정이 결정된다(1006). 이동 물체 경계의 제1 추정을 근거로, 적어도 하나의 비인과관계 예측 계수와 비인과관계 불확실성 매개변수를 제공하도록 비인과관계의 룩업 테이블이 억세스된다(1008). 다음에는 앞서 추정된 변위 벡터, 적어도 하나의 비인과관계 예측 계수, 및 DVF 갱신 결정기를 근거로, 현재 변위 벡터의 제2 추정이 결정된다(1010). 이러한 추정 처리과정은 현재 강도 프레임내의 모든 픽셀이 그와 관련된 변위 벡터를 갖을 때까지 반복된다(1012). 처리 과정은 이동 경계 추정과 DVF의 제2 추정에서 퍼센트 총변화가 한계값 세트 이하일 때 종료된다(1014).

도 11, 즉 번호(1100)는 본 발명에 따라 이동을 분석하는 방법의 바람직한 실시예를 실행하기 위한 단계의 흐름도이다. 먼저, 각 물체의 중심이 결정된다(1102). 다음에는 각 물체에 대해 병진 운동의 추정이 결정된다(1104). 이는 각 물체에 대한 줌 매개변수의 추정으로 이어진다(1106). 또한, 각 물체에 대해 회전 매개변수의 추정이 결정된다(1108). 마지막으로, 병진, 회전, 및 줌 매개변수가 추정된 DVF에 모델을 적용시키는데 사용된다(1110).

도 1 내지 도 6에서 설명된 시스템은 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), GA(Gate Array), 및 컴퓨터의/를 위한 유형 매체와 같은 다양한 실시예에서 실행될 수 있다.

Claims

이동을 추정하는 시스템에 있어서,

A) 제1 물체 경계 추정을 제공하도록 현재의 강도 프레임을 분할하기 위해 현재의 강도 프레임을 수신하도록 동작가능하게 연결된 예비처리기;

B) 제1 변위 벡터 필드 추정, 즉 제1 DVF 추정을 제공하기 위해 현재의 강도 프레임과 이전의 강도 프레임을 수신하도록 동작가능하게 연결되고 예비처리기에 동작가능하게 연결된 공간 적응 이동 추정기; 및

C) 제2 변위 벡터 필드 추정, 즉 제2 DVF 추정과 제1 이동 물체 경계 추정을 제공하기 위해 현재의 강도 프레임과 이전의 강도 프레임을 수신하도록 동작 가능하게 연결되고 공간 적응 이동 추정기 및 예비처리기에 동작가능하게 연결된 이동 경계 추정기를 포함하는 것을 특징으로 하는 시스템.
제1항에 있어서, 상기 예비처리기가: 현재의 강도 프레임으로부터 작은 물체와 잡음을 제거하기 위해 현재의 강도 프레임을 수신하도록 연결된 규칙 통계 필터; 및 물체 경계 추정을 제공하기 위해 규칙 통계 필터에 연결된 물체 경계 추정기를 포함하고, 상기 공간 적응 이동 추정기가: 물체 경계 추정을 근거로 적어도 하나의 인과관계 예측 계수와 인과관계 불확실성 매개변수를 제공하기 위해 물체 경계 추정을 수신하도록 연결된 인과관계의 룩업 테이블; 앞서 추정된 DVF를 저장하고, DVF 추정 이전에 소정의 초기화로 설정되는 인과관계의 국부 근방; 앞서 추정된 DVF와 적어도 하나의 인과관계 예측 계수를 근거로 DVF 예측을 제공하기 위해 인과관계의 룩업 테이블과 인과관계의 국부 근방에 연결되는 DVF 예측기; 및 앞서 추정된 DVF로 저장되는 인과관계 국부 근방으로의 입력인 제1 DVF 추정을 제공하기 위해 DVF 예측, 인과관계의 불확실성 매개변수, 현재의 강도 프레임, 및 이전의 강도 프레임을 수신하도록 연결된 제1 DVF 갱신 결정기를 포함하고, 상기 이동 경계 추정기가: 앞서 추정된 DVF를 저장하고, 제1 DVF 추정에 의해 초기화되는 비인과관계의 국부 근방; 앞서 추정된 이동 물체 경계를 저장하고, 물체 경계 추정에 의해 초기화되는 이동 물체 경계 유닛; 제1 이동 물체 경계 추정을 제공하기 위해 비인과관계의 국부 근방과 이동물체 경계 유닛에 연결된 이동 물체 추정기; 제1 이동 물체 경계 추정을 근거로 적어도 하나의 비인과관계 예측 계수와 비인과관계 불확실성 매개변수를 제공하기 위해 이동 물체 추정기에 연결된 비인과관계의 룩업 테이블; 제2 DVF 추정을 제공하기 위해 이동 물체 추정기와 비인과관계의 룩업 테이블에 연결된 DVF 추정기; 및 종료시 제1 이동 물체 경계 추정과 제2 DVF 추정을 전달하기 위해 이동물체 추정기와 DVF 추정기에 연결된 추정 단말기를 포함하고, 제1 이동 물체 경계 추정은 이동 물체 경계 유닛으로의 입력이고, 제2 DVF 추정은 비인과 관계의 국부 근방으로의 입력이고, 또한 더 선택된 경우, 상기 예비처리기내의 물체 경계 추정기가 조절가능한 창을 근거로 픽셀을 영역으로 그룹화하는 영역 성장기와, 소정의 비교 시험을 근거로 작은 영역을 병합하는 영역 병합기를 포함하는 것을 특징으로 하는 시스템.
제1항에 있어서,

D) 제2 DVF 추정과 제1 이동 물체 경계 추정을 근거로 제3 DVF 추정과 제2 이동 물체 경계 추정을 제공하기 위해 이동 경계 추정기에 동작가능하게 연결된 이동 분석기를 더 포함하고, 더 선택된 경우, 상기 이동 분석기가: 영역 위치와 중심점을 제공하기 위해 제1 이동 물체 경계 추정을 수신하도록 연결된 중심 결정기; 병진 운동 추정을 제공하기 위해 제2 DVF 추정과 중심점을 수신하도록 연결된 병진 운동 추정기; 줌 추정을 제공하기 위해 중심점, 영역 위치, 및 병진 운동 추정을 수신하도록 연결된 줌 추정기; 회전 추정을 제공하기 위해 중심점, 영역 위치, 및 병진 운동 추정을 수신하도록 연결된 회전 추정기; 및 병진 운동 추정, 줌 추정, 및 회전 추정을 근거로 제3 DVF 추정과 제2 이동 물체 경계 추정을 제공하기 위해 병진 운동 추정기, 줌 추정기, 및 회전 추정기에 연결된 모델 적용 유닛을 포함하는 것을 특징으로 하는 시스템.
제1항에 있어서, 상기 시스템이 유형 매체로 구현되되, 상기 유형 매체는 컴퓨터 디스켓; 및 상기 유형 매체는 컴퓨터의 메모리 유닛 중 어느 하나인 것을 특징으로 하는 시스템.
제1항에 있어서, 상기 시스템이 디지털 신호 처리기(Digital Signal Processor, DSP), 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 및 게이트 어레이(gate array) 중 어느 하나로 구현되는 것을 특징으로 하는 시스템.
이동을 추정하는 방법에 있어서, 물체 경계 추정을 제공하도록 예비처리기를 이용해 현재의 강도 프레임을 분할하는 단계; 제1 변위 벡터 필드 추정, 즉 제1 DVF 추정을 제공하도록 이전 강도 프레임에서 현재 강도 프레임으로의 이동을 적응성 있게 추정하는 단계; 및 제2 변위 벡터 필드 추정, 즉 제2 DVF 추정과 제1 이동 물체 경계 추정을 제공하도록 물체 경계 추정과 제1 DVF 추정을 근거로 이동 경계를 추정하는 단계를 포함하는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 분할하는 단계가: 현재의 강도 프레임으로부터 작은 영역과 잡음을 제거하도록 규칙 통계 필터를 이용해 현재의 강도 프레임을 여과처리하는 단계; 조절가능한 창을 근거로 픽셀을 영역으로 그룹화하는 영역 성장 단계; 및 소정의 비교 시험을 근거로 작은 영역을 병합하는 영역 병합 단계를 포함하고, 상기 적응성 있게 이동을 추정하는 단계가: 물체 경계 추정을 근거로 적어도 하나의 인과관계 예측 계수와 인과관계 불확실성 매개변수를 제공하도록 인과관계의 룩업 테이블과 억세스하는 단계; 앞서 추정된 DVF를 인과관계를 국부 근방에 저장하고, 인과관계의 국부 근방은 DVF 추정 이전에 소정의 초기화로 설정되는 단계; 앞서 추정된 DVF와 적어도 하나의 인과관계 예측 계수를 근거로 DVF를 예측하는 단계; 및 앞서 추정된 DVF로 저장되는 인과관계 국부 근방으로의 입력인 제1 DVF 추정을 제공하도록 예측된 DVF를 갱신하는 단계를 포함하고, 상기 이동 경계를 추정하는 단계가: 제1 DVF 추정에 의해 초기화되는 비인과관계의 국부 근방에 앞서 추정된 DVF를 정하는 단계; 물체 경계 추정에 의해 초기화되는 이동 물체 경계 유닛에 앞서 추정된 이동 물체 경계를 저장하는 단계; 제1 이동 물체 경계 추정을 제공하도록 이동 물체를 추정하는 단계; 제1 이동 물체 경게 추정을 근거로 적어도 하나의 비인과관계 예측 계수와 비인과관계 불확실성 매개변수를 제공하도록 비인과관계의 룩업 테이블과 억세스하는 단계; 및 제2 DVF 추정을 제공하도록 DVF를 추정하는 단계를 포함하고, 전체의 프레임이 추정되었을 때 추정 단계를 종료하고, 종료시 제1 이동 물체 경계 추정과 제2 DVF 추정을 전달하는 것을 특징으로 하는 방법.
제6항에 있어서, 제2 DVF 추정과 제1 이동 물체 경계 추정을 근거로 제3 DVF 추정과 제2 이동 물체 경계 추정을 제공하도록 이동을 분석하는 단계를 더 포함하고, 더 선택된 경우, 이동을 분석하는 단계가; 영역 위치와 중심점을 제공하도록 중심을 결정하는 단계; 병진 운동 추정을 제공하도록 병진 운동을 추정하는 단계; 줌 추정을 제공하도록 줌을 추정하는 단계; 회전 추정을 제공하도록 회전을 추정하는 단계; 및 병진 운동 추정, 줌 추정, 및 회전 추정을 소정의 모델에 적용하는 단계를 포함하는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 방법의 단계가 컴퓨터용 유형 매체로 구현되되, 상기 유형 매체는 컴퓨터 디스켓 및 컴퓨터의 메머리 유닛 중 어느 하나인 것을 특징으로 하는 방법.
제6항에 있어서, 상기 방법의 단계들은, 디지털 신호 처리기(Digital Signal Processor, DSP)용 유형 매체, 주문형 집적 회로(Application Specific Integrated Circuit, ASIC)용 위한 유형 매체, 및 게이트 어레이용 유형 매체 중 어느 하나로 구현되는 것을 특징으로 하는 방법.