KR19980701771A

KR19980701771A - 트래킹된 다수개의 이미지 표시 영역에서의 이미지 목표 영역 추정법

Info

Publication number: KR19980701771A
Application number: KR1019970705167A
Authority: KR
Inventors: 케이쓰 제임스 한나; 라케쉬 쿠마르
Original assignee: 윌리암 제이.버크; 사르노프 코포레이션
Priority date: 1995-01-30
Filing date: 1996-01-30
Publication date: 1998-06-25
Also published as: WO1996024113A1; JPH11504772A; JP3523266B2; DE69627138D1; US5581629A; CA2212013A1; EP0811202B1; EP0811202A1; DE69627138T2; EP0811202A4; KR100377068B1

Abstract

본 발명은 한 주기의 시간을 통해 이미지 센서(304A)에 의해 측정된 화면에 대해 특정한 위치를 갖는 목표 영역에 소정 패턴을 삽입하기 위한 이미지 프로세싱 방법에 관한 것이다.

본 발명에 따른 방법은 목표 영역의 이미지 패턴에 대해 화면내 표시영역(A,B,C,D)의 다수개의 미리 트레이닝된 기준 이미지 패턴의 포즈 및 위치의 상대적인 포지션을 저장하는 세계 지도(332)를 사용한다. 또한 본 발명에 따른 방법은, 모양과 크기 및 포지션이 시간에 따라 변하고, 현재 이미지에 관계되는 주기적 시변정수를 이용하는( parametric ) 모델 추정에서의 부정확함에도 불구하고, 상기 화면의 연속적인 각각의 이미지 프레임내에서 표시되는 상기 다수개의 표시 영역중 상기 한 표시영역에서의 포지션, 크기 및 모양으로부터 상기 화면의 계속하여 연속된 각각의 이미지 프레임내에서 상기 특정한 위치의 포지션과 크기를 추론하기 위한 동적인 계산 단계를 포함한다.

Description

트래킹된 다수개의 이미지 표시 영역에서의 이미지 목표 영역 추정법

본 출원과 동일한 양수인에게 양도되어 1993년 9월 3일에 출원되고, 국제 공개 번호 WO 93/06691로 공개되어 공동계류중인 미국 특허 출원 번호 08/115,810의 발표문이 참조문헌으로 본 발명내에서 인용된다. 상기 특허 출원에서 알 수 있는 바와 같이, 패턴-키 삽입은 전경과 배경을 혼합하므로써 복합 이미지를 이끌어내는데 사용된다. 이러한 목적을 위하여 이용되는 실행 기술은, 목표 영역의 위치가 배경 이미지내의 다수개의 표시(landmark) 영역중 트래킹된 어느 하나의 위치로부터 추정될 수 있는 기술중 하나이다. 각각의 다수개 표시 영역의 위치는 목표 위치와는 다른 방향으로 옮겨질 수 있다. 따라서, 만일 표시 영역 자체가 상기 이미지의 특정 가장자리를 완전히 또는 부분적으로 벗어나서 이동하는 비디오의 화면인 경우에, 트래킹된 다수개의 표시 영역중의 적어도 하나는 상기 이미지내에 남아 있는 상태가 되기 때문에, 시계의 이미지 필드(image field of view) 외부에 목표 영역 자신의 위치가 부분적 또는 전체적으로 존재하더라도 목표 영역 자체에 대한 추론된 트래킹은 여전히 계속 지속될 수 있다. 게다가, 이미지 내부의 트래킹된 다수개의 표시 영역중 일부는 화면내의 전경 물체의 출현에 의해 때때로 차단될 수 있으므로, 이러한 때에는 목표 위치를 추정하기 위하여 사용될 수 없다. 이러한 경우에 있어서, 이미지내의 트래킹된 다수개의 표시 영역중 다른 하나가 대신 사용되어져야 한다. 그러나, 목표 패턴의 위치를 추정하는 데 사용하기 위하여, 트래킹된 하나의 표시 영역을 트래킹된 다른 하나의 표시 영역으로 바꾸는 것은 목표 패턴의 위치 추정를 불안정하게 하는 모델 에러(model error)들을 야기하는 것이 밝혀졌다.

각각의 트랙킹된 다수개의 표시 영역에 보다 높은 등급의 모델들을 적용시키므로써 이와 같은 모델 에러들을 줄일 수 있으므로 그것들(다수개의 표시 영역)은 보다 좋게 트래킹된다. 이와 같은 보다 높은 등급의 모델은 하나의 이미지 프레임으로부터의 추정에는 안정적이지 못하며, 국부적 추정에서 바이어싱된 오류들은 앞의 것의 모델링을 곤란하게 하는 추정 오류를 유발시킨다.

본 출원과 역시 동일한 양수인에게 양도되어 국제 공개 번호 WO 95/27262로 공개되고, 공동계류중인 1994년 3월 31일 출원된 미국 특허 출원 번호 08/222,207의 발표문이 참조문헌으로 본 발명내에서 인용된다. 상기 특허 출원에서는, 트래킹된 다수개의 표시 영역중 특정한 하나의 위치로부터 목표 영역을 추정하는데 이용하기 위한 상이한 시간 간격에서 다수개의 표시 영역중 상이한 표시 영역들이 트래킹되어질 때에도, 목표 패턴의 안정적인 비디오 삽입을 수행하는 효과적인 방법이 제시된다. 특히, 전경 물체에 의한 차단 또는 개방, 또는 전화면에 걸쳐 카메라가 상하 좌우로 움직(pan)이거나 급격하게 확대 또는 축소 동작(zoom)을 행할 때, 출현과 사라짐에 기인하여, 상기 트래킹 표시 영역은 다수개의 표시 영역중의 하나에서 다른 하나로 변환된다. 이러한 동작은 표시 영역이 가시적일 때와, 현재 이미지를 상관시키는 모델이 기준 이미지에 정확하게 알맞을 때에만, 전 시간에 걸쳐 변화하지 않는다.

본 발명은 비디오 이미지등과 같은 배경 이미지의 목표 영역내부로 외부 이미지 데이터의 패턴-키(pattern-key) 삽입에 이용하기 적합한 개선된 방법에 관한 것이다.

도 1은 전술한 특허 출원 일련 번호 08/115,810 의 도 6과 동일한 것으로서, 표시 영역을 트래킹하는 실시예.

도 2는 전 영역의 이미지중 상대적으로 넓은 부분을 차지하는 화면의 이미지.

도 3은 전 영역의 이미지중 상대적으로 좁은 부분을 차지하는 화면의 이미지.

본 발명은, 예를 들어: (1) 표시 영역이 본질적으로 제공되지 않은 물체의 출현에 의해 차단되어짐에 의하여, (2)그림자와 같은 조명 효과에 의하여 표시 영역에서 휘도 구조의 모양 변화(단지, 전반적인 밝기의 크기에 있어서의 변화와 상반된)에 의하여, 또는 (3)시계의 필드에서 사라짐에 의하여 발행되는, 시간에 따라 이미지내의 표시 영역이 변화할 때와, 현재 이미지와 관련된 주기적 시변정수를 이용하는(parametric) 모델이 미리 트레이닝된(pre-trained) 기준 이미지와 일치하지 않을 때, 이미지내의 목표 패턴의 위치를 안정적으로 추정하기 위한 개선된 방법을 제공한다.

특히, 본 발명은 한 주기를 통해 이미지 센서에 의해 측정된 화면에 관하여 특정한 위치를 갖는 목표 위치에 소정 패턴을 삽입하기 위한 개선된 이미지 프로세싱 방법을 제공하며, 여기에서 상기 방법은, 목표 영역의 이미지 패턴에 관하여 화면내 표시 영역내에서 미리 트레이닝된 다수개의 기준 이미지 패턴중 적어도 하나의 포즈(pose) 및 위치의 상대적인 포지션(position)이 저장되어 있는 세계 지도(world map)를 사용하며,; 그리고 상기 방법은, 화면의 연속적인 각각의 이미지 프레임내에 표시된 다수개의 표시 영역중 하나의 모양, 크기 및 포지션으로부터, 화면의 진행중인 연속적인 각각의 이미지 프레임내에서 표현된 다수개의 표시 영역중 특정 위치의 모양, 크기 및 포지션를 추론하기 위한 계산 단계를 포함한다.

상기 개선된 방법에 있어서, 상기 계산 단계는 (a) 연속적인 이미지 프레임중에서의 제1 생성 이미지와, 연속적인 이미지 프레임의 제1 생성 이미지 필드에 의해 표시되는 다수개의 표시 영역중 하나의 포지션, 크기 및 모양을 결정하기 위한, 미리 트레이닝된 기준 이미지 패턴 사이에서 계산되는 포지션에서의 이미지 변화(image-change-in-position) 변수를 갖는 모델을 처음에 사용하는 단계와; (b) 연속적인 이미지 프레임들중에서 현재 이미지 필드에 의해 표시되는 다수개의 표시 영역중 하나의 포지션과 크기 및 모양을 결정하기 위한 현재 이미지 필드에 선행하는 연속적인 이미지 프레임 필드의 소정 함수에 의해 동적으로 계산되어지는 포지션에서의 이미지 변화 변수를 갖는 모델을 사용하는 단계를 포함한다.

본 발명의 상기 기술들은 도면을 참조한 아래와 같은 상세한 설명을 고려하여 쉽게 이해될 수 있다.

전술한 출원 번호 08/115,810의 특허는 대체적으로, 비디오 이미지와 같은(제1 목표 패턴이 광고 게시판상에 위치할 수 있는) 이미지내의 제1 목표 패턴을 삽입된 제2의 목표 패턴으로 대치시키는 다양한 방법을 제시한다. 여기에서 제시된 바와 같이, 제1 목표 패턴의 위치는 상기 화면내의 다수개 또는 한개 표시의 상대적인 포지션에서 제1 목표 패턴의 포지션을 추론하므로써, 직접적, 선택적 또는 간접적으로 검출될 수 있다. 도 1은 성취 가능한 하나의 간접적인 방법을 도시한다.

도 1을 참조하면, 배경 화면(304A)은 텔레비젼 카메라와 같은 이미지 센서의 현재 시계 필드로 구성된다. 도시된 바와 같이, 상기 현재 시계 필드는 상기 목표(로고 패턴을 포함한 광고 게시판 A )와 표시(B(하나의 나무)와, C( 한채의 집))을 포함하며, 각각의 목표(A)와 표시(B와C)는 서로로부터 적당한 위치에 배치되어 있다. 상기 현재 시계 필드인 블록(330)과, 상기 세계 지도인 블럭(332)에 표시된 바와 같이, 표시 영역의 현재 시계 필드(330)를 구성하는 상기 목표(A)와 표시(B와C)는 표시 영역의 세계 지도(332)의 패턴의 포즈와 상대적인 포지션을 저장하는 부분만을 형성한다. 이렇게 저장된 패턴(트레이닝(training) 단계 동안에 초기에 기록되는 패턴)은 표시 영역의 현재 시계 필드의 외부에 존재할 수 있는 표시(D와 E) 역시 포함한다. 그러나, 상기 패턴은 표시 영역 이전 또는 이후의 시계 필드내에 포함될 수도 있다. 두 센서(300A)와 블럭(332)으로부터의 입력들에 응답하여, 패턴(A)이 완전히 또는 부분적으로 현재 시계 필드내에 위치하거나, 또는 현재 시계 필드내에 하나 또는 그 이상의 표시가 있을 경우, 수단(310A)은 목표(A)의 위치를 지시하는 출력을 유도할 수 있다. 수단(310A)은 패턴(B 또는 C)을 검출하여, 패턴(A)의 포지션을 추론하기 위한 세계 지도를 사용하여 패턴(A)의 위치를 검출한다. 상기 수단(310A(1))의 출력 즉, 패턴(A)의 위치는, 상술한 방법으로 포즈를 추정하는, 도시되지 않은 수단(310A(2))에 인가된다. 상기 수단(310A(2))의 출력은 비디오 스위치(도시되지 않음)에 연결된다.

상기 목표 자체가 현재 시계 필드내에서 제외되는 것이 발생할 때도 역시, 표시 영역 트래킹은 유용하므로, 하나 또는 그 이상의 제외되지 않은 표시들의 위치로부터 목표의 위치가 추정되여야 한다.

표시 영역 트래킹은 단지 목표 패턴이 특정한 방향으로 상기 현재 시계 필드내에 유입되는지 또는 사라지는지에 관한 문제만을 해결할 수 있다. 표시 영역내의 각각의 표시 패턴들이 목표 패턴의 우측에 존재하는 도 1에 도시된 예에서, 표시 패턴 트래킹은 단지 이미지의 좌측 상의 현재 시계 필드에서 상기 목표 패턴이 사라지는지의 문제만를 해결한다.

다수개 표시의 트래킹은 상기 문제를 해결한다. 하나의 표시(또는 목표) 패턴을 검출하는 대신에, 시스템은, 상기 목표 패턴의 위치를 추정하는데 어떠한 패턴(들)이 가장 많이 기여하는가에 의존하는 상이한 표시 영역내의 하나 또는 그 이상의 표시 패턴을 추출한다. 예를 들어, 목표 패턴이 좌측의 현재 시계 필드에서 사라지면, 상기 시스템은 목표 패턴의 우측을 향하여 표시 패턴을 검출하도록 결정한다. 반면에 상기 목표 패턴이 우측의 현재 시계 필드에서 사라지면, 상기 시스템은 상기 목표 패턴의 좌측을 향하여 표시 패턴을 검출하도록 결정한다. 하나 이상의 표시 패턴이 관찰되면, 목표 위치를 보다 정확하게 추정하기 위하여, 상기 시스템은 한번에 하나 이상의 표시 패턴을 검출하도록 결정한다. 선행기술에서 알려진 바와 같이, 일련의 화면내의 다음 이미지에서의 패턴 검출을 제어하기 위하여 일련의 배경화면내의 이전 이미지에서의 패턴 검출 결과를 이용하므로써 이러한 시스템이 구현된다. 특히, 상기 시스템은 이전 이미지내의 다른 표시 패턴의 근사적인 포지션를 추정하기 위하여, 이전 이미지에서 검출되는 표시 영역의 포지션을 사용한다. 이러한 포지션들은 하나의 표시 패턴으로부터 목표 패턴의 위치를 추정하는 것과 동일한 방법으로 추정된다. 이때 상기 시스템은 현재 이미지내에서 이전 이미지의 목표 패턴에서 가장 가깝고, 이전 이미지의 경계에서 충분히 이격된 표시 패턴을 검출하도록 결정한다. 결과적으로, 검출된 표시 영역이 사라지는 배경 화면의 시계 필드에 근접될 때, 상기 시스템은 이미지의 경계로부터 보다 더 먼 또다른 표시 영역을 검출하도록 결정한다.

트레이닝하는 단계 동안에, 선택된 표시 영역의 형태가 시간에 따라 변화하는 문제가 발생한다. 상술한 특허 출원 일련 번호 No, 08/115,810에서 기술된 매칭 기술은 이러한 환경에서 인지 및 트래킹이 가능하기 때문에, 전체적인 화면 밝기의 변화에 의해 발생한 형태의 변화는 문제화되지 않는다. 그러나 휘도 구조의 모양(크기와는 상반되어)을 변화시키는 환경은 많이 문제화된다. 휘도 구조에 있어서의 약간의 변화는 화면내에서의 대상의 실질적인 변화에 기인한다.; 예를 들어 화면내에 차가 주차되어 있을 수 있으나, 세계 지도에 저장되기 위해 화면이 기록된 시점(즉, 트레이닝하는 단계)인, 보다 이른 시간에는 상기 차가 존재하지 않을 수 있다. 실제 물체에서는, 직접 반사가 변하는 것보다 표시 이미지가 조명 효과에 기인하게 되면, 다른 다른 변화가 발생한다. 일예로 그림자가 포함된다. 휘도 구조의 모양이 조명의 방향에 강하게 의존하기 때문에, 이러한 형태의 표시는 시간을 통해 변화한다. 이러한 변화를 유도할 수 있는 두가지의 문제점이 존재한다. 첫번째, 다음의 시간 간격에 해당하는 표시와 트레이닝 단계에서 식별된 표시는 매칭되지 않을 수 있어서, 상술한 특허 출원 번호 No, 08/115,810에서 서술된 인지 및 거친(coarse) 트래킹 단계에 기여할 필요가 없게 된다. 둘째, 상기 표시가 인지 및 거친 트래킹 단계에 대하여 충분히 잘 매칭될지라도 상술한 특허 출원 일련 번호 08/115,810에서 기술한 정확한 정렬 단계(precise alignment)의 이행은 불리한 영향을 받을 수 있다. 이는 미리 트레이닝된 표시에 현재 표시 이미지를 높은 정확도로 정렬시켜야 하기 때문이다.

화면내에서, 현재 이미지를 트레이닝하는 이미지와 현재 표시 이미지 사이에서의 어떠한 2D(2차원) 트랜스폼(transeform)을 유발하지 않는 3D(3차원) 포지션을 갖는 표시를 사용할 때, 또 다른 문제점이 발생한다. 상기 문제점은, 상술한 특허 출원 번호 No, 08/115,810에서 서술된 정확한 정렬(alignment) 단계가 이미지 분석(resolution)이 처리되는 지점에서 약 1 내지 2 화소의 유용한 범위만을 갖는다는 것이다. 트레이닝 이미지와 현재 이미지 사이에 적합한 모델이 표시에 걸쳐 이러한 크기의 에러를 갖는다면, 이때 상기 정확한 정렬 단계는 재현 가능한 결과를 발생시키지 않을 수 있다. 비디오 삽입에 있어서, 부정확하지 않고, 재현가능한 정확한 정렬 단계의 결과는 약간의 잘못된 포지션을 제외하고는 안정적인 삽입이며, 반면에 재현성이 없는 결과는 안정적이지 못한 삽입이이며, 이는 주목할 만한 것으로서, 일반적으로는 모델 재현성이 모델 정확성 보다 더 중요하다.

본 발명은, 이러한 문제를 해결하기 위하여, 동적으로 획득된 최신 표시 정보를 갖는 트레이닝 단계에서 획득된 표시 정보를 포함한다. 트레이닝 단계에서 획득된 표시 정보는 화면의 초기 식별(initial identification )에 유용하며, 화면내의 물체의 추정된 포지션의 유동(drift)을 방지하는데 이용된다. 동적으로 획득된 표시 정보는, 수십 또는 수백개의 필드에 이전에 위치 설정된 포지션에 대하여 화면내의 포지션을 위치 설정하는 목적을 갖는다. 동적으로 표시를 획득하는 것은 세가지의 중요한 이점을 갖는다. 첫째, 표시는 트레이닝 이미지내의 것보다 가장 최근의 것으로 획득되므로, 좀처럼 변화되지 않는다. 이러한 것은 인식 및 트레킹 요소를 보다 안정화시키고, 상술된 표시가 변하는 환경에서 정확한 정렬 단계의 정확성을 향상시킨다. 둘째, 카메라가 일반적으로 상하 좌우로 움직이거나 급격하게 축소 확대 동작을 지속적인 방식으로 행하기 때문에, 표시가 획득될 때의 카메라의 포즈는 카메라의 현재 포즈와 보다 더 유사하게 되는 경향이 있다. 이것의 결과는, 최근에 확득된 표시 이미지와 현재 이미지에 적합한 모델이 정확하게 매칭되는 경향이 강하게 되어, 정확한 정렬 단계를 차례로 재현 가능하게 하므로서 비디오 삽입을 안정화시킨다는 것이다. 또한 상기 모델이 더 정확하게 맞기 때문에, 상기 모델내의 에러들에 기인한 분리영역 제거(outlier rejection)이 보다 효과적으로 이행된다. 분리 영역 제거는, 목표 영역의 위치 추정의 정확도를 방해할 수 있는 표시의 잘못된 매칭을 방지하는데 이용된다. 셋째, 땅의 구조나 복잡한 화면과 같은 불특정 표시를 포함하는 이미지 영역이 트래킹을 위해 사용될 수 있다.

본 발명의 구현을 위한 제1 실시예는, 세계 지도에 저장되어 있는 미리 트레이닝된 표시 영역을 이용하여 초기 인식 및 위치 설정을 수행하고, 연속적인 필드 쌍(pair) 각각의 이미지들 사이에서 계산되어진 포지션 차이를 적분(integrating )하므로써 후속의 포지션 설정을 수행하는 것이다. 추정 과정에서의 작은 에러들은 빠르게 축적되기 때문에, 적분을 포함한 계산은 유동(drift)에 영향을 받기 쉽다. 상기 제1 실시예는, 계산된 포지션의 작은 요소들이 현재 이미지와 미리 트레이닝된 이미지로부터 유도되도록 하므로써 상기 문제에 대한 제1 해결 방법을 제공한다.

특히, 현재 이미지내의 표시 영역의 포지션(P)은 다음과 같이 표시될 수 있다.

여기에서 상대적인 포지션 요소인 Q(n)는 연속적인 필드의 연속적인 필드 쌍 각각의 이미지들 사이에서 계산되는 포지션에서의 이미지 변화(image-change-in-positon) 변수들을 갖는 모델이며, 절대적인 포지션 요소인 R(n)은 현재 필드 이미지와 미리 트레이닝된 기준 이미지 패턴 사이에서 계산되는 포지션에서의 이미지 변화(image-change-in-positon) 변수들을 갖는 모델이다. 또 α는 0에서 1 까지의 값을 갖는 가중치(weighting ) 변수이며, 동적으로 재생되는 표시 영역과 미리 트레이닝된 표시 영역으로부터의 포지션 추정(P)의 상대적인 기여도를 제어한다. α의 특정한 값으로 0은 제1 포지션 추정을 수행하기 위한 화면의 제1 필드내에서 사용되며, 0,9는 안정적인 트래킹이 이루어질때까지 다음 4개의 필드내에서 사용되고, 0,99는 이후의 필드들에서 사용된다.

상기 Q(n) 모델이 재현가능하게 계산되어질 때, 상기 제1 실시예는 높은 정확성과, 거의 제로-평균을 갖는 추정 에러를 갖으면서 동작한다. 근사한 제로-평균 에러는, 상기 에러들이 적분 단계에서 축적되고, 결과가 거의 제로가 되어, 포지션 추정에 불리하게 영향을 미치지 않는 이점을 갖는다. 일반적으로,(도 2에 도시된 바와 같은) 상대적으로 넓은 이미지 영역이 연속적인 필드의 상대적인 포지션을 계산하는데 이용될 때, 이러한 적절한 조건이 발생한다. 상의 겹침(aliasing) 또는 상의 변화에 의해 야기되는 국부적 바이어스의 영향은 상기 넓은 영역에 결쳐 평균처리되며, 국부적인 영향이 전체적으로는 상관되지 않는다고 가정하면 국부적인 에러들은 더해져서 전체 결과상에서는 중요하지 않거나 제로의 영향을 갖게 된다. 또한 포지션 추정을 수행하기 위해 사용되는 영역은 필드에서 필드로 연속적으로 동일하며, 따라서 분석되는 영역의 좁은 부분에 카메라의 이동이 있으면, 시계 필드로부터 사라지거나 나타나는 이미지 영역에 기인한 결과에 대한 어떠한 영향도 최소화된다.

그러나, 많은 트래킹과 비디오 삽입의 응용에 있어서, 이러한 적절한 조건들, 즉 동작되는 제1 실시예에 의해 제공되는 제1 해결 방법이 잘 동작되어지도록 하는 조건들은 존재하지 않는다. 예를 들면, 외부 물체가 상당한 퍼센트의 시계 필드를 덮고 있기 때문에 넓은 영역의 이미지를 사용하는 것이 종종 불가능하다. 이러한 환경에서 트래킹을 수행하는 것은, 상대적으로 좁은 이미지 영역이 사용되어져야 하는 것을 의미하고, 필드에서 필드로 연속적으로 변하는 이미지 영역상에서 포지션 추정이 수행되는 것을 의미한다. (도3에 도시된 바와 같이) 좁은 이미지 영역을 사용하는 것은, 특히 포지션 추정을 위해 사용되는 중요한 표시 영역내에서의 변화에 의해 발생하는 추정 과정에서의 국부적 바이어스는 결과에 상당한 영향을 미친는 것을 의미한다. 게다가, (상술한 특허 출원 일련 번호 08/115,810과 08/222,207에서 설명된 바와 같이) 어떤 표시 영역이 개방(unocclude )되는 가에 의해 결정되는 연속적인 필드상의 다수개의 표시 영역 중 상이한 것들을 사용하여 포지션 추정이 계산된다. 제로-평균 에러가 반드시 되는 것이 아닌 포지션 추정내의 작은 에러가 결과가 된다. 상술한 식을 사용하여, 이러한 것이 적분될 때, 포지션 추정(P)의 부정확한 추정을 야기시키는 적분된 에러에 의하여 중요한 결과 요소가 존재할 수 있다. 이것은, 상술한 특허 출원 일련 번호 08/115,810 과 08/222,207에서 서술된 기술에서는 고정된 기준 이미지 패턴에 대하여 트랜스폼(transform)이 계산되기 때문에 문제시되지 않는다. 상기 포지션 추정에 있어서 작은 에러들은 적분되지 않으며, 그것들은 중요하지 않다.

본 발명을 구현하기 위한 제2 실시예는, 적절한 조건에 의존하지 않는 제2 해결 방법을 제공하며, 이것은 동작하는 상기 제1 해결 방법이 존재하도록 한다. 상기 제2 해결 방법은, 연속적인 필드 쌍 각각의 이미지들 사이에서가 아니라, 소정의 매시간마다 정기적으로 업데이트되는 동적인 기준 이미지 패턴과 현재 이미지와의 사이에서 포지션 추정을 수행한다. 특히, 시간의 함수로서 상기 포지션(P)은 다음과 같은 식으로서 표시될 수 있다.

또 일반적으로,

으로 표시된다. 여기에서, T는 연속적인 이미지 프레임중 제1 생성 이미지 필드의 시작에서부터 경과된 시간이다.: T₁는 특정한 업데이트 시간 간격이며,;k는 적어도 1의 값을 갖는 정수이며,; R(n₀)는 현재 필드 이미지와 미리 트레이닝된 기준 이미지 패턴의 사이에서 계산된 포지션에서의 이미지 변화 변수들을 갖는 모델이며,; R(n_K)는 현재 필드 이미지와 kT₁시간에서의 현재 필드 이미지와의 사이에서 계산된 포지션에서의 이미지 변화 변수들을 갖는 모델이다. (후속의 필드 이미지는 원래 사용되는 미리 트레이닝된 기준 이미지 패턴을 대신하여 가장 최근의 대리 기준 이미지 패턴으로 사용된다.)

이러한 접근은, 현재 이미지와 비교되어지는 이미지 영역이 동적인 것 보다는 고정되기 때문에, 적어도 업데이트 시간 간격을 통해, 포지션 추정에서 제로-평균 형태의 에러가 존재함을 의미한다. 실시예의 방법에 따라, 포지션 추정에 있어서의 에러가 한 필드당 1/20 화소가 되면, 어떠한 제로-평균 형태의 에러들도 초당 60Hz*1/20=3 화소의 비율로는 가능성 있게 축적될 수 없다. 그러나, 기준 이미지 패턴이 단지 매 4초(T₁=4초)당 업데이트된다면, 어떠한 제로-평균 형태의 에러의 효과도 3개의 화소 즉, 초당 0,0125개의 화소까지 감소되지 않는다. 0,1개 화소의 에러가 발견되어진다면, 0,1/0,0125=8초 이후에 에러는 가능성 있게 감지된다.

선택적으로, 상술한 가중치 변수α와 상기 절대 위치 요소 R(n₀)는 장기간에 걸친 포지션 추정의 유동을 방지하기 위하여 사용된다. 이러한 경우,

상기 예에 있어서, 유동 포지션 에러, 즉 시간의 경과에 따라 축적되는 경향이 있는 에러는 상기 마지막 식에서 제공된 절대적인 포지션 요소R(n₀)에 의해 감소되고, 심지어 1에 근접한값을 갖는 포지션 추정에 상당한 영향을 미치게 된다. (1) 현재 필드 이미지와 kT₁시간에서의 현재 이미지 사이에서 계산된, 포지션에서의 이미지 변화 변수인 R(n_k)는 240개와 동일하거나 더 작은 총 필드 수(4초*60Hz), 240개 이상이 될 수 없는 필드 수를 포함하는 반면에, (2) 현재 필드 이미지와 미리 트레이닝된 기준 이미지 패턴 사이에서 계산된, 포지션에서의 이미지 변화 변수인 R(n₀)는 총 240 에서 (k+1)* 240개 필드 사이의 필드를 포함하기 때문에, 상기한 것들은 사실이다. 이는 K의 값이 시간이 경과함에 더욱 증가할수록, 상기 R(n_K)에 대한 R(n₀)의 상대적인 중요성은 시간의 경과를 두고 더욱더 증가하게 되기 때문이다.

이상에서는 본 발명의 양호한 일 실시예에 따라 본 발명이 설명되었지만, 첨부된 청구 범위에 의해 한정되는 바와 같은 본 발명의 사상을 일탈하지 않는 범위 내에서 다양한 변형이 가능함은 본 발명이 속하는 기술 분야의 당업자에게는 명백하다.

Claims

목표 영역이 주기적인 시간을 통하여 이미지 센서에 의해 측정된 화면에 대해 특정한 위치를 갖으며, 상기 목표 영역의 이미지 패턴에 대하여 상기 화면내 표시 영역의 미리 트레이닝된 다수 기준 이미지 패턴중 적어도 하나의 포즈 및 위치의 상대적인 포지션을 저장한 세계 지도를 사용하고, 상기 화면의 연속적인 각각의 이미지 프레임내에서 표시되는 상기 다수개의 표시 영역중 상기 하나에서의 포지션, 크기 및 모양으로부터 상기 화면의 계속된 연속적인 각각의 이미지 프레임내에서 상기 특정한 위치의 포지션, 크기를 추론하기 위한 계산 단계를 포함하며, 그리고 상기 화면의 연속적인 각각의 이미지 프레임내에서 표시되는 상기 다수개의 표시 영역중 상기 한 표시 영역의 휘도 구조는 상기 다수개의 표시 영역중 상기 한 표시 영역의 미리 트레이닝된 기준 이미지 패턴의 휘도 구조에 대하여 시간에 따라 변화하며, 복합 이미지를 유도하기 위하여 배경 이미지내의 상기 목표 영역내에 외부 전경 이미지 데이터의 패턴-키 삽입을 이용한 이미지 프로세싱 방법에 있어서,

상기 계산 단계는,

a)상기 연속적인 이미지 프레임의 제1 생성 이미지 필드에 의해 표시되는 상기 다수개의 표시 영역중 상기 한 표시 영역의 포지션, 크기 및 모양를 결정하기 위하여 상기 미리 트레이닝된 기준 이미지 패턴과, 상기 연속적인 이미지 필드의 제1 생성 이미지 필드와의 사이에서 계산되는 포지션에서의 이미지 변화 변수를 갖는 모델을 처음으로 사용하는 단계와,

b) 이어, 상기 연속적인 이미지 프레임의 현재 이미지 필드에 의해 표시되는 상기 다수개의 표시영역중 상기 한 표시 영역의 포지션, 크기 및 형태를 결정하기 위한 상기 현재 이미지 필드에 앞선 상기 연속적인 이미지 필드중 그들의 이미지 필드수에 대한 소정 함수에 상응하여 동적으로 계산되는 포지션에서의 이미지 변화 변수들을 갖는 모델을 사용하는 단계를 포함하는 것을 특징으로 하는 이미지 프로세싱 방법.
제 1 항에 있어서, 단계(b)에서 상기 다수개의 표식 영역중 상기 한 표시 영역의 현재 이미지 필드의 포지션을 P라고 하여, 상기 소정 함수는

의 식을 포함하며,

상기 n은 연속적인 이미지 프레임의 제1 이미지 프레임의 제1 필드에서 시작하고 상기 현재 이미지 필드까지 연장하는 일련의 연속적인 필드내의 현재 이미지 필드의 초기 숫자이며,

상기 Q(n)은 상기 현재 이미지 필드를 포함하여 현재 이미지 필드까지 상기 연속적인 이미지 프레임의 필드 쌍 각각의 이미지들 사이에서 계산되는 포지션에서의 이미지 변화 변수들을 갖는 모델이며,

상기 R(n)은 현재 필드 이미지와 미리 트레이닝된 기준 이미지 패턴 사이에서 계산되는 포지션에서의 이미지 변화 변수들을 갖는 모델이며,

상기 α는 가중치변수로서, 0의 값은 상기 연속적인 이미지 프레임의 제1 생성 쌍에서 사용되며, 0에서 1 까지의 값은 상기 연속적인 이미지 프레임중 상기 제1 생성 쌍의 필드에 연속하여 발생하는 상기 연속적인 각각의 이미지 프레임 쌍에서 사용되어지는 것을 특징으로 하는 이미지 프로세싱 방법.
제 2 항에 있어서, 상기 가중치 변수 α는 상기 연속적인 이미지 프레임중에서 제2 생성 필드에서 제5 생성 필드 쌍에서는 각각 실질적으로 0,9의 값을 갖으며, 상기 연속적인 이미지 프레임중에서 상기 제5 생성 쌍의 필드에 연속하여 발생하는 상기 연속적인 각각의 이미지 프레임 필드 쌍 동안에는 0,99의 값을 갖는 것을 특징으로 하는 하는 이미지 프로세싱 방법.
제 1 항에 있어서, 상기 단계(b)에서 상기 다수개의 표시 영역중 한 표시 영역에서의 상기 현재 이미지 필드의 포지션은 P이며,;

로 표시되는 식을 포함하며,

상기 T는 연속적인 이미지 프레임중 제1 생성 이미지 필드의 시작에서부터 경과된 시간이며,: 상기 T₁는 특정한 업데이트 시간 간격이며,;k는 적어도 1의 값을 갖는 정수이며,; 상기 R(n₀)는 현재 필드 이미지와 미리 트레이닝된 기준 이미지 패턴의 사이에서 계산된 포지션에서의 이미지 변화 변수들을 갖는 모델이며,; 상기 R(n_K)는 현재 필드 이미지와 상기 kT₁시간에서의 현재 필드 이미지와의 사이에서 계산된 포지션에서의 이미지 변화 변수들을 갖는 모델인 것을 특징으로 하는 하는 이미지 프로세싱 방법.
제 4 항에 있어서, 상기 연속적인 이미지 프레임의 필드는 50Hz 또는 60Hz의 필드율로 발생되며, 상기 특정한 업데이트 시간 간격 T₁은 실질적으로 4초인 것을 특징으로 하는 이미지 프로세싱 방법.
제 1 항에 있어서, 상기 단계(b)에서 상기 다수개의 표시 영영중 상기 한 표시 영역의 상기 현재 이미지 필드의 포지션은 P이며,;

로 표시되는 식을 포함하며,

상기 T는 연속적인 이미지 프레임중 제1 생성 이미지 필드의 시작에서부터 경과된 시간이며,: 상기 T₁는 특정한 업데이트 시간 간격이며,;상기 k는 적어도 1의 값을 갖는 정수이며,; 상기 R(n₀)는 현재 필드 이미지와 미리 트레이닝된 기준 이미지 패턴의 사이에서 계산된 포지션에서의 이미지 변화 변수들을 갖는 모델이며,; 상기 R(n_K)는 현재 필드 이미지와 상기 kT₁시간에서의 현재 필드 이미지와의 사이에서 계산된 포지션에서의 이미지 변화 변수들을 갖는 모델인 것을 특징으로 하는 하는 이미지 프로세싱 방법.
제 6 항에 있어서, 상기 가중치 변수α는 실질적으로 0,99의 값을 갖는 것을 특징으로 하는 이미지 프로세싱 방법.
제 7 항에 있어서, 상기 연속적인 이미지 프레임의 필드는 50 또는 60Hz의 필드율로 발생되며, 상기 특정한 업데이트 시간 간격 T₁은 실질적으로 4초인 것을 특징으로 하는 이미지 프로세싱 방법.