KR101104144B1

KR101104144B1 - 모션 분석 시스템

Info

Publication number: KR101104144B1
Application number: KR1020087020138A
Authority: KR
Inventors: 니콜라스 가우데; 빈센트 듀발
Original assignee: 엔디에스 리미티드
Priority date: 2006-03-23
Filing date: 2006-03-23
Publication date: 2012-01-13
Also published as: KR20090006823A; US8170109B2; IL193290A; IL193290A0; EP1997073A1; HK1129475A1; AU2006340623B2; CN101401127A; EP1997073B1; WO2007107685A1; CN101401127B; US20090310681A1; ATE450019T1; DE602006010747D1; AU2006340623A1

Abstract

제1이미지 프레임의 노멀라이징된 프레임 엘리먼트에 이미지 프로세싱 필터를 적용하고, 연관된 필터링된 픽셀값을 가진 필ㅇ터링된 프레임 엘리먼트를 산출하는 이미지 프로세서, 필터링된 픽셀값 중 최고값을 가진 필터링된 프레임 엘리먼트로부터 제1기준 픽셀을 선택하기 위한 픽셀 선택기, 제1기준 픽셀의 위치에 적용된 제1광 플로우를 결정하기 위한 광 플로우 모듈, 노멀라이징된 프레임 엘리먼트의 노멀라이징된 픽셀값과 제2이미지 프레임의 노멀라이징된 프레임 엘리먼트 사이의 패턴 매칭을 수행하고, 복수의 패턴 매칭 점수를 산출하는 패턴 매칭 모듈, 및 패턴 매칭 점수 중 최소값을 기초로 모션 백터를 결정하기 위한 모션 백터 결정기를 포함하는 모션 백터의 실시간 결정을 위한 컴퓨터 시스템이 개시된다. 관련된 장치 및 방법 또한 개시된다.

컴퓨터 시스템, 이미지 스트림 수신기, 이미지 프레임, 픽셀값, 프레임 엘리먼트, 이미지 분해기, 이미지 노멀라이저, 이미지 프로세싱 필터, 이미지 프로세서, 픽셀 선택기, 광 플로우 모듈, 패턴 매칭 점수, 패턴 매칭 모듈, 변위 백터, 모션 백터, 모션 백터 결정기.

Description

모션 분석 시스템{SYSTEM FOR ANALYSIS OF MOTION}

본 발명은 비디오 이미지 프레임의 한 스트림으로 이미징된 오브젝트의 모션 백터의 효율적인 계산에 관한 것이다.

비디오 이미지 프레임의 한 스트림으로 이미징된 오브젝트의 모션 백터의 실시간 계산은 전형적으로 특별한 하드웨어를 사용하거나, 집중적인 프로세싱을 요구하는 소프트웨어를 사용하여 수행된다.

종래 기술의 모션 필드 추정은 주로 유체 매트릭스 및 타겟 트래킹과 같은, 특수 어플리케이션을 위한 하드웨어를 위해 전용되었다. 이러한 어플리케이션은 전형적으로 고가의 장비 또는 정밀한 추정을 필요로 한다. 광 플로우 개념의 "가벼운" 실시간 구현방법을 구현한 제품은 현재 존재하지 않는다.

쌍방향 게임을 제공하기 위해 연결된 카메라, 및 모션 디텍션을 사용하는 시스템은, 예컨대, 'Sony Playstation®'이다. 'Sony' 제품의 이름은 'EyeToy™'이고, 'EyeToy™'의 다른 변형은 'EyeToy:Play 2™'이다. 'Sony EyeToy™'에 대한 예시적인 참조문헌은 월드 와이드 웹:

'www.us.playstation.com/pressreleases.aspx?id=283'에서 찾을 수 있다.

아래의 참조문헌은 또한 최신 기술을 나타내는 것으로 생각된다:

'Iu et al'의 미국특허 제6,658,059호;

'Griessl et al'의 미국특허 제6,370,196호;

'Konolige'의 미국 공개특허출원 2005/0100207;

'SRI International'의 PCT 공개특허출원 WO 98/03021;

'Dynapel Systems Inc.'의 PCT 공개특허출원 WO 01/96982;

'Queen Mary & Westfield College'의 PCT 공개특허출원 WO 05/006762;

'Sony Corporation'의 EP 특허출원번호 EP 0 557 007; 및

'GMD - Forschungszentrum Informationstechnik Gmbh'의 EP 특허 EP 0 966 727.

본 발명은 비디오 이미지 프레임의 스트림으로 이미징된 오브젝트의 모션 백터를, 실시간으로, 결정하기 위한 개선된 시스템 및 방법을 제공하고자 한다.

본 발명은, 그것의 바람직한 실시예로서, 어플리케이션이 오브젝트의 모션 백터를 계산상으로 효율적인 방법으로 결정하는 것을 가능하게 한다. 실시간으로 계산을 수행하기 위해, 비교적 약한 CPU 타입의 셋탑 박스에서, 사용은 광 원리, 패턴 매칭, 및 오브젝트 모션의 확률적 형태의 혼합으로 이루어진다.

모션 백터의 결정은 표준 프로세서를 가진 셋탑 박스와 같은, 저가의 하드웨어 상에서, 실시간으로 수행되는 모션 백터의 추정치로 수렴하는, 오리지널 방법으로, 상이한 계산 방법을 조합함으로써 단순화된다.

본 발명의 한 바람직한 실시예는 "PILOTIME"이란 이름의 셋탑 박스 상에서 실행하기 위해 개발되었다. "PILOTIME" 셋탑 박스는 프랑스 92100 볼로그네-빌란코트 콰이 알폰세 레 갈로 46, 'THOMSON'으로부터 상업적으로 이용가능하다. "PILOTIME" 셋탑 박스 상의 구현은 비교적 일반적이고, 비교적 저가의 디바이스 상에서 광 플로우 개념의 실시간 구현을 설명한다.

본 발명의 한 바람직한 실시예에 따라, 모션 백터는 다음과 같이 결정된다:

첫째, 제1이미지 프레임 내의 한 존이 선택되고, 이 존은 움직이는 오브젝트를 포함하는 것이 바람직하다. 이 존은 본 명세서에서 프레임 엘리먼트라 하는, 블록으로 하위-분할된다. 프레임 엘리먼트는 연관된 픽셀값을 가진 복수의 픽셀을 포함한다. 각각의 프레임 엘리먼트 내에, 픽셀값은 제1이미지 프레임에 광도 변화 효과를 피하기 위해, 각각의 프레임 엘리먼트와 비교하여 노멀라이징되는 것이 바람직하다.

모션 백터는 제1이미지의 각각의 프레임 엘리먼트에 대하여 개별적으로 결정됨을 이해해야 한다. 움직이는 오브젝트를 묘사하는 프레임 엘리먼트에 대하여 결정된 모션 백터는 그 오브젝트의 모션 백터와 실질적으로 동일한 것이 바람직할 것이고, 움직이는 오브젝트를 묘사하지 않는 프레임 엘리먼트는 배경의 모션 백터를 가지는 것이 바람직하다.

둘째, 하나 이상의 기준 픽셀이 각각의 노멀라이징된 프레임 엘리먼트에서 선택되는 것이 전형적이다.

셋째, 광 플로우는 각각의 기준 픽셀에 대하여 계산되고, 광 플로우 라인, 및 그 광 플로우 라인에 대한 에러 범위를 산출한다. 광 플로우 라인, 및 에러 범위는 한 영역을 형성한다.

넷째, 제1이미지 프레임의 각각의 노멀라이징된 프레임 엘리먼트는 실행된 패턴 매칭 단계를 가지고, 이 패턴 매칭은 제1이미지 프레임의 노멀라이징된 프레임 엘리먼트와 제2의, 전형적으로 바로 다음의, 이미지 프레임의 노멀라이징된 테스트 프레임 엘리먼트 사이에 있다.제1이미지 프레임의 노멀라이징된 프레임 엘리먼트에 상대적인, 노멀라이징된 테스트 프레임 엘리먼트의 변위는 상술된 영역 내에 있도록 한정되는 것이 바람직하다. 패턴 매칭의 결과는 그 테스트 프레임 엘리먼트의 대응 변위와 연관된, 패턴 매칭 점수, 및 변위 백터이다.

가장 잘 맞는 변위에 대응하는, 가장 낮은 패턴 매칭 점수가 선택되고, 대응하는 변위 백터는 그 오브젝트의 모션 백터를 계산하기 위해 사용된다.

본 발명은, 그것의 바람직한 실시예로서, 계산을 간단히 하기 위해 이차 방정식에 대한 근사화(approximation)를 사용하는 것이 일반적이다.

본 발명의 전형적인 사용은, 그것의 바람직한 실시예로서, 제한하지 않는 예로서, 'Pong-Classic' 및 'Arkanoid'-형 게임과 같은, 쌍방향 게임 어플리케이션을 강화하는, 셋탑 박스에 연결된 웹캠에 의해 생성된 화면 내의 오브젝트의 모션 백터를, 실시간으로, 평가하는 것이다.

본 발명의 바람직한 실시예는 하이-엔드 피처가 저가의 하드웨어를 사용하여 스포츠, 교육, 및 피트니스(fitness) 게임 어플리케이션을 위한 사용자-STB 인터액션을 풍부하게 하는 것을 가능케 한다.

용어 "이미지", 및 그것의 모든 문법적 형태는 본 명세서 및 청구항에서, 용어 "이미지 프레임", 및 "디지털 이미지", 및 그들의 대응 문법적 형태와 상호치환적으로 사용되었다.

그러므로, 본 발명의 한 바람직한 실시예에 따라 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한, 복수의 동작적으로 연결된 엘리먼트를 포함하는 컴퓨터 시스템이 제공되어 있고, 본 컴퓨터 시스템은 상기 이미지 프레임의 스트림을 수신하기 위한 이미지 스트림 수신기; 복수의 픽셀 및 복수의 연관된 픽셀값을 포함하는 상기 이미지 프레임 각각을 복수의 프레임 엘리먼트로 분해하기 위한 이미지 분해기; 상기 이미지 프레임 각각의 상기 프레임 엘리먼트의 상기 픽셀값을 노멀라이징하고, 그로 인해 복수의 연관된 노멀라이징된 픽셀값을 가진 복수의 노멀라이징된 프레임 엘리먼트를 산출하는 이미지 노멀라이저; 상기 제1이미지 프레임의 상기 노멀라이징된 프레임 엘리먼트 중 하나에 이미지 프로세싱 필터를 적용하고 ,복수의 연관된 필터링된 픽셀값을 가진 필터링된 프레임 엘리먼트를 산출하기 위한 이미지 프로세서; 제1기준 픽셀이 상기 필터링된 픽셀값 중 최고값을 가지도록 상기 필터링된 프레임 엘리먼트로부터 상기 제1기준 픽셀을 선택하기 위한 픽셀 선택기; 상기 제1기준 픽셀의 위치에 적용된 광 플로우 식을 기초로 제1광 플로우를 결정하기 위한 광 플로우 모듈; 상기 제1이미지 프레임의 하나의 노멀라이징된 프레임 엘리먼트, 및 각각이 하나의 패턴 매칭 점수를 가진 테스트 프레임 엘리먼트이고, 복수의 패턴 매칭 점수를 산출하는, 상기 제2이미지 프레임의 상기 노멀라이징된 프레임 엘리먼트의 상기 노멀라이징된 픽셀값 사이에 패턴 매칭을 수행하기 위한 패턴 매칭 모듈; 및 상기 패턴 매칭 점수 중 최소값을 가진 테스트 프레임 엘리먼트 중 하나와 연관된 변위 백터를 적어도 부분적으로 기초로 하여 모션 백터를 결정하기 위한 모션 백터 결정기를 포함하고, 상기 패턴 매칭은 상기 테스트 프레임 엘리먼트 중 각각의 하나에 대하여, 상기 하나의 노멀라이징된 프레임 엘리먼트의 위치와 상기 하나의 테스트 프레임 엘리먼트의 위치 사이의 변위 백터가 상기 제1광 플로우를 적어도 부분적으로 기초로 하는 영역에 의해 제한되도록 수행된다.

또한, 본 발명의 한 바람직한 실시예에 따라, 상기 비디오 이미지 프레임의 스트림은 컬러 이미지 프레임의 스트림이고, 각각의 하나의 픽셀에 대하여 연관된 하나의 픽셀값은 하나의 픽셀과 연관된 광도 컴포넌트의 값이다.

또한, 본 발명의 한 바람직한 실시예에 따라, 이미지 프로세싱 필터는 대조비 강화 필터이다.

또한, 본 발명의 한 바람직한 실시예에 따라, 대조비 강화 필터는 소벨(Sobel) 필터이다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 하나의 노멀라이징된 프레임 엘리먼트의 노멀라이징된 픽셀값과 하나의 테스트 프레임 엘리먼트의 대응하는 노멀라이징된 픽셀값 사이의 차이의 절대값의 합을 기초로 패턴 매칭 점수를 계산한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 제1라인이 제2라인과 교차하도록, 제1라인과 제2라인을 경계로 하는 영역을 형성하고, 제3라인은 제1라인과 제2라인 사이의 각을 이등분하고, 이 제3라인은 제1광 플로우의 방향을 적어도 부분적으로 기초로 하는 방향이고, 제3라인 및 제1라인은 각 엡실론(epsilon)의 범위를 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 제1광 플로우에 독립적으로 각 엡실론을 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 픽셀 선택기는 필터링된 프레임 엘리먼트로부터 제2기준 픽셀을 더 선택하고, 광 프로우 모듈은 제2기준 픽셀의 위치에 적용된 광 플로우 방정식을 기초로 제2광 플로우를 결정하고, 패턴 매칭 모듈은 제2광 플로우와 제3라인 사이의 각도 차이가 각 엡실론보다 작거나 같은지 체크하는 것을 포함하는 일관성 체크를 실행하도록 동작한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 픽셀 선택기는 제2기준 픽셀이 필터링된 픽셀값의 제2최대값을 가지도록, 필터링된 프레임 엘리먼트로부터 제2기준 픽셀을 더 선택하고, 이때 광 플로우 모듈은 제2기준 픽셀의 위치에 적용된 광 플로우 방정식을 기초로 제2광 플로우를 더 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 제1광 플로우와 제2광 플로우 사이의 각도 차이를 기초로 각 엡실론을 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 픽셀 선택기는 제3기준 픽셀이 필터링된 픽셀값의 제3최대값을 가지도록, 필터링된 프레임 엘리먼트로부터 제3기준 픽셀을 더 선택하고, 이때 광 플로우 모듈은 제3기준 픽셀의 위치에 적용된 광 플로우 방정식을 기초로 제3광 플로우를 더 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 제1이미지 프레임의 이전의 노멀라이징된 프레임 엘리먼트의 모션 백터를 결정하는데 사용되는 각도 엡실론의 값을 적어도 부분적으로 기초로 하여 각도 엡실론을 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패던 매칭 모듈은 제3광 플로우와 제1광 플로우 사이의 각도 차이가 각 엡실론보다 작거나 같은지를 체크하는 것을 포함하는 일관성 체크를 수행하도록 동작한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 교점과 영역 내의 임의의 위치 사이의 거리가 임계치보다 작도록, 그 영역을 제한한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 임계치는 이미지 프레임의 가장 작은 치수의 1/4이다.

또한, 본 발명의 한 바람직한 실시예에 따라, 최대 물리적 속도를 대응하는 변위로 변환함으로써 임계치를 결정하는 단계를 포함하고, 이 변환은 비디오 이미지 프레임의 스트림의 프레임 레이트, 및 적어도 하나의 광 특성을 적어도 부분적으로 기초로 한다.

또한,

제1이미지 프레임 및 제2이미지를 포함하는 비디오 이미지 프레임의 스트림내의, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터를, 프로세서에 의해, 실시간 결정하는 방법으로서,

상기 이미지 프레임의 스트림을 수신하는 단계;

각각의 상기 이미지 프레임을 각각이 복수의 픽셀, 및 복수의 연관된 픽셀값을 가진 복수의 프레임 엘리먼트로 분해하는 단계;

각각의 상기 이미지 프레임의 상기 프레임 엘리먼트의 상기 픽셀값을 노멀라이징하고, 그로 인해 복수의 연관된 노멀라이징된 픽셀값을 가진 복수의 노멀라이징된 프레임 엘리먼트를 산출하는 단계;

상기 제1이미지 프레임의 상기 노멀라이징된 프레임 엘리먼트 중 하나에 이미지 프로세싱 필터를 적용하고, 복수의 연관된 필터링된 픽셀값을 가진 필터링된 프레임 엘리먼트를 산출하는 단계;

상기 필터링된 프레임 엘리먼트로부터 제1기준 픽셀을, 상기 제1기준 픽셀이 상기 필터링된 픽셀값 중 최대값을 가지도록 선택하는 단계;

상기 제1기준 픽셀의 위치에 적용된 광 플로우 식을 기초로 제1광 플로우를 결정하는 단계;

상기 제1이미지 프레임의 하나의 노멀라이징된 프레임 엘리먼트, 및 각각이 하나의 패턴 매칭 점수를 가진 테스트 프레임 엘리먼트이고, 복수의 패턴 매칭 점수를 산출하는, 상기 제2이미지 프레임의 상기 노멀라이징된 프레임 엘리먼트의 상기 노멀라이징된 픽셀값 사이에 패턴 매칭을 수행하는 단계; 및

상기 패턴 매칭 점수 중 최소값을 가진 테스트 프레임 엘리먼트 중 하나와 연관된 변위 백터를 적어도 부분적으로 기초로 하여 모션 백터를 결정하는 단계를 포함하고,

상기 패턴 매칭은 상기 테스트 프레임 엘리먼트 중 각각의 하나에 대하여, 상기 하나의 노멀라이징된 프레임 엘리먼트의 위치와 상기 하나의 테스트 프레임 엘리먼트의 위치 사이의 변위 백터가 상기 제1광 플로우를 적어도 부분적으로 기초로 하는 영역에 의해 제한되도록 수행되는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지를 포함하는 비디오 이미지 프레임의 스트림내의, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터를, 프로세서에 의해, 실시간 결정하는 방법.본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 제1이미지 프레임의 이전 프레임 엘리먼트의 최대값을 기초로, 그리고 제1이미지 프레임의 이전 프레임 엘리먼트의 모션 백터를 기초로 최대값을 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 수평 변위의 절대값과 수직 변위의 절대값의 합과 같은 거리를 계산한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 점수의 최소값이 제1타겟 점수보다 크다면, 모션 백터 결정기는 보션 백터를 0 크기가 되도록 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 제2타겟 점수보다 작은 패턴 매칭 점수가 산출되면 가능한 빨리 패턴 매칭을 종료한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 모듈은 제2타겟 점수를 제1이미지 프레임의 하나의 노멀라이징된 프레임 엘리먼트의 픽셀값의 평균의 5%로 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 변위 백터는 시작과 끝을 가지고, 디스플레이 백터의 시작은 교점이고, 패턴 매칭 모듈은 교점에서 변위 백터의 끝과 제1테스트 프레임 엘리먼트와 제1패턴 매칭을 수행하고, 그 영역을 통해 변위 백터의 끝을 스캐닝함으로써 추가적인 테스트 프레임 엘리먼트와 추가적인 패턴 매칭을 수행한다.

또한, 본 발명의 다른 바람직한 실시예에 따라 제1이미지 프레임 및 제2이미지를 포함하는 비디오 이미지 프레임의 스트림내의, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터를, 프로세서에 의해, 실시간 결정하는 방법이 제공되어 있고, 본 방법은 상기 이미지 프레임의 스트림을 수신하는 단계; 각각의 상기 이미지 프레임을 각각이 복수의 픽셀, 및 복수의 연관된 픽셀값을 가진 복수의 프레임 엘리먼트로 분해하는 단계; 각각의 상기 이미지 프레임의 상기 프레임 엘리먼트의 상기 픽셀값을 노멀라이징하고, 그로 인해 복수의 연관된 노멀라이징된 픽셀값을 가진 복수의 노멀라이징된 프레임 엘리먼트를 산출하는 단계; 상기 제1이미지 프레임의 상기 노멀라이징된 프레임 엘리먼트 중 하나에 이미지 프로세싱 필터를 적용하고, 복수의 연관된 필터링된 픽셀값을 가진 필터링된 프레임 엘리먼트를 산출하는 단계; 상기 필터링된 프레임 엘리먼트로부터 제1기준 픽셀을, 상기 제1기준 픽셀이 상기 필터링된 픽셀값 중 최대값을 가지도록 선택하는 단계; 상기 제1기준 픽셀의 위치에 적용된 광 플로우 식을 기초로 제1광 플로우를 결정하는 단계; 상기 제1이미지 프레임의 하나의 노멀라이징된 프레임 엘리먼트, 및 각각이 하나의 패턴 매칭 점수를 가진 테스트 프레임 엘리먼트이고, 복수의 패턴 매칭 점수를 산출하는, 상기 제2이미지 프레임의 상기 노멀라이징된 프레임 엘리먼트의 상기 노멀라이징된 픽셀값 사이에 패턴 매칭을 수행하는 단계; 및 상기 패턴 매칭 점수 중 최소값을 가진 테스트 프레임 엘리먼트 중 하나와 연관된 변위 백터를 적어도 부분적으로 기초로 하여 모션 백터를 결정하는 단계를 포함하고, 상기 패턴 매칭은 상기 테스트 프레임 엘리먼트 중 각각의 하나에 대하여, 상기 하나의 노멀라이징된 프레임 엘리먼트의 위치와 상기 하나의 테스트 프레임 엘리먼트의 위치 사이의 변위 백터가 상기 제1광 플로우를 적어도 부분적으로 기초로 하는 영역에 의해 제한되도록 수행된다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭하는 단계는 하나의 노멀라이징된 프레임 엘리먼트의 노멀라이징된 픽셀값과 테스트 프레임 엘리먼트의 대응 노멀라이징된 픽셀값 사이의 차이의 절대값의 합을 기초로 패턴 매칭 점수를 계산하는 단계를 포함한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 상기 영역은 제1라인 및 제2라인을 경계로 하고, 제1라인은 제2라인과 교점에서 교차하고, 제3라인은 제1라인과 제2라인 사이의 각을 이등분하고, 제3라인은 제1광 플로우의 방향을 적어도 부분적으로 기초로 하는 방향이고, 제3라인 및 제1라인은 각도 엡실론의 범위를 결정한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 필터링된 프레임 엘리먼트로부터 제2기준 픽셀을 선택하는 단계, 제2기준 픽셀의 위치에 적용된 광 플로우 식을 기초로 제2광 플로우를 결정하는 단계, 및 제2광 플로우와 제3라인 사이의 각도 차이가 각도 엡실론보다 작거나 같은지를 체크하는 단계를 포함하는 일관성 체크를 수행하는 단계를 포함한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 제2기준 픽셀이 필터링된 픽셀값의 제2최고값을 가지도록 필터링된 프레임 엘리먼트로부터 제2기준 픽셀을 선택하는 단계, 제2기준 픽셀의 위치에 적용된 광 플로우 방정식을 기초로 제2광 플로우를 결정하는 단계, 제3기준 픽셀이 필터링된 픽셀값의 제3최고값을 가지도록, 필터링된 프레임 엘리먼트로부터 제3기준 픽셀을 선택하는 단계, 제3기준 픽셀의 위치에 적용된 광 플로우 방정식을 기초로 제3광 플로우를 결정하는 단계, 및 제1광 플로우로부터 제3광 플로우의 각도 차이가 각도 엡실론보다 작거나 같은지를 체크하는 단계를 포함하는, 일관선 체크를 수행하는 단계를 포함한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 교점과 상기 영역 내의 임의의 위치 사이의 거리가 임계치보다 작도록 상기 영역을 제한하는 단계를 포함한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 수평 변위의 절대값과 수직 변위의 절대값의 합으로써 거리를 계산하는 단계를 포함한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭 점수의 최소값이 제1타겟 점수보다 크다면 모션 백터를 0 크기로 결정하는 단계를 포함한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 패턴 매칭은 제2타겟 점수보다 작은 패턴 매칭 점수가 산출되면 가능한 빨리 종료한다.

또한, 본 발명의 한 바람직한 실시예에 따라, 변위 백터는 시작과 끝을 가지고, 디스플레이 백터의 시작은 교점이고, 교점에서 변위 백터의 끝과, 제1테스트 프레임 엘리먼트와 제1패턴 매칭, 및 상기 영역을 통해 변위 백터의 끝을 스캐닝함으로써, 추가적인 테스트 프레임 엘리먼트와 추가적인 패턴 매칭을 수행한다.

본 발명은 아래 도면과 실시예를 통해 더욱 완전히 이해될 것이다:

도 1은 본 발명의 바람직한 실시예에 따라 구성되고 동작하는 시스템의 간단한 도면이고;

도 2A는 움직이는 오브젝트를 도시하는 이미지의 간단한 도면이고;

도 2B는 도 2A의 움직이는 오브젝트를 도시하는 이미지와 도 1의 시스템에 의해 결정된 움직이는 오브젝트의 모션 백터의 간단한 도면이고;

도 3은 도 1의 시스템의 오퍼레이션의 바람직한 방법의 간단한 플로우 차트이고;

도 4는 도 1의 시스템에 의해 선택된 복수의 기준 픽셀의 간단한 도면이고;

도 5는 도 1의 시스템에 의해 산출된 복수의 광 플로우 라인의 간단한 도면이고;

도 6은 제1이미지 프레임의 노멀라이징된 프레임 엘리먼트, 제2이미지 프레임의 변위된 노멀라이징된 테스트 프레임 엘리먼트, 및 도 1의 시스템에 의해 사용되는 변위에 대한 스캐닝 패턴의 간단한 도면이고,

도 7A 및 8B는 도 1의 시스템에 의해 사용되는 스캐닝 패턴을 제한하는데 사용되는 라인의 간단한 도면이고; 그리고

도 8A-8C는 도 1의 시스템에 의해 수행되는 상위한 변위에서의, 패턴 매칭의 간단한 도면이다.

지금부터, 본 발명의 한 바람직한 실시예에 따라 구성되고 동작하는 시스템(10)의 간단한 도면인 도 1을 참조한다.

도 1은 전형적인 셋팅 예인 시스템(10)을 도시한다. 시스템(10)은 셋탑 박스(15) 내에 구현되는 것이 바람직하다. 셋탑 박스(15)는 비디오 디스플레이(20), 제한하지 않는 예로서, 텔레비전 디스플레이에 동작적으로 연결되어 있는 것이 전형적이다. 셋탑 박스(15)는 웹캠(25)에 동작적으로 연결되어 있는 것이 바람직하다. 그러나, 당업자들은 셋탑 박스(15)가 제한하지 않는 예로서, 비디오 이미지 프레임 스트림의 방송, 포인트 투 포인트 전송, 및 레코딩의 재생 등의 임의의 적합한 디지털 비디오 소스에 연결될 수 있음이 이해될 것이다. 도 1의 예에서, 웹캠(25)은 움직이는 오브젝트(120)를 저글링하는 사람(110)의 비디오 이미지 프레임의 스트림을 제공하도록 위치되어 있다.

시스템(10)은 다음의 기능 모듈을 포함하는 것이 바람직하다:

디지털 비디오 소스로부터 비디오 이미지 프레임의 스트림을 수신하도록 동작하는 것이 바람직한 이미지 스트림 수신기(30);

이미지 스트림 수신기(30)로부터 수신된 이미지를, N픽셀×N픽셀의, 프레임 엘리먼트라고도 하는, 서브-이미지로 분해하도록 동작하는 것이 전형적인 이미지 분해기(35);

도 3을 참조하여 아래에 더욱 상세하게 서술된 바와 같은, 이미지 분해기(35)에 의해 생성된 프레임 엘리먼트를 노멀라이징하도록 동작하는 것이 일반적인 노멀라이저(40);

도 3을 참조하여 아래에 더욱 상세하게 서술된 바와 같은, 노멀라이저(40)에 의해 생성된 노멀라이징된 프레임 엘리먼트에 이미지 프로세싱 필터를 적용하도록 동작하는 것이 바람직한 이미지 필터(45);

도 3 및 도 4를 참조하여 아래에 더욱 상세하게 서술된 바와 같은, 이미지 필터(45)에 의해 생성된 필터링된 프레임 엘리먼트를 기초로, 기준 픽셀, 또는 "관심 위치"인 픽셀을 선택하도록 동작하는 것이 전형적인 픽셀 선택기(55);

도 3 및 도 5를 참조하여 아래에 더욱 상세하게 서술된 바와 같은, 픽셀 선택기(55)에 의해 선택된, 적어도 일부의 기준 픽셀에 대한 광 플로우를 계산하도록 동작하는 것이 일반적인 광 플로우 모듈(60);

도 3, 6, 7A-7B, 및 8A-8C를 참조하여 아래에 더욱 상세하게 서술된 바와 같은, 제1이미지 프레임의 노멀라이징된 프레임 엘리먼트와 제2이미지 프레임의 노멀라이징된 테스트 프레임 엘리먼트 사이에 패턴 매칭, 및 패턴 매칭 점수를 산출을 수행하도록 동작하는 것이 바람직한 패턴 매칭 모듈(62); 및

패턴 매칭 모듈(62)로부터의 패턴 매칭 점수를 기초로 모션 백터를 결정하도록 동작하는 것이 전형적인 모션 백터 결정기(65).

지금부터, 도 2A 및 2B를 참조한다. 도 2A는 움직이는 오브젝트(120)를 도시하는 이미지 프레임(200)의 간단한 도면이다. 도 2B는 도 2A의 움직이는 오브젝트(120)를 도시하는 이미지(230), 및 도 1의 시스템(10)에 의해 결정된 움직이는 오브젝트(120)의 모션 백터(240)의 간단한 도면이다.

도 2A는 사람(110)이 오브젝트(120)를 저글링하고 있는 비디오 이미지 프레 임의 스트림의 제1이미지 프레임(200)을 도시한다.

도 2B는 비디오 이미지 프레임의 스트림에서 이후 위치, 바람직하게는 바로 다음 이미지로부터의 제2이미지 프레임(230)을 도시한다. 도 2B에서 오브젝트(120)의 위치는 도 2A에서 오브젝트(120)의 위치와 상대적으로 이동된다.

모션 백터(240)는 이미지 프레임(200) 내의 오브젝트(120)의 위치에서 이미지(230) 내의 오브젝트(120)의 위치로의 오브젝트(120)의 변위를 도시함으로써, 오브젝트(120)의 모션을 나타낸다.

상기 스트림의 비디오 이미지 프레임에 이미징된 오브젝트(120)의 모션 백터(240)를 결정하기 위해, 아래의 단계가 수행되는 것이 바람직하다.

한 스트림의 비디오 이미지 프레임이 도 1의 시스템(10)에 제공된다.

지금부터, 도 1의 시스템(10)의 동작의 바람직한 방법의 간단한 플로우 차트인 도 3을 참조한다. 또한 도 1을 참조한다.

적어도 제1이미지 프레임(200)(도 2A), 및 제2이미지 프레임(230)(도 2B)을 포함하는, 상기 스트림의 비디오 이미지 프레임은 이미지 스트림 수신기(30)에 의해 수신되는 것이 바람직하다. 제1이미지 프레임(200), 및 제1이미지 프레임(200) 바로 다음인 것이 바람직한 제2이미지 프레임(230)은 이미지 스트림 수신기(30)에 의해 선택된다(단계(300)).

분해기(35)는 제1이미지 프레임(200) 및 제2이미지 프레임(230)을 N×N픽셀 크기의 프레임 엘리먼트로 분해하는 것이 바람직하다(단계(305)).

분해기(35)는 부분적인 이미지가 충분한 경우에 전체 이미지 상에 불필요한 프로세싱을 수행하지 않기 위해, 제1이미지 프레임(200) 내에, 그리고 제2이미지 프레임(230) 내의 관심 존만 분해하는 것이 바람직하다. 관심 존은 어플리케이션 특정인 것이 전형적이다. 제한하지 않는 예로서, 'Pong-Classic' 게임에 대하여, 시스템(10)은 제1이미지 프레임(200) 및 제2이미지 프레임(230)의 두 개의 마주한 에지 부근의 이동만 검색하는 것이 전형적이고, 그로 인해, 필연적으로 두 개의 마주한 에지 부근에서 제1이미지 프레임(200) 및 제2이미지 프레임(230)을 분해한다.

그 이미지의 각각의 프레임 엘리먼트는 N×N 정방형 매트릭스로 정의된다. 예를 들어, p번째 프레임 엘리먼트는 다음과 같이 정의된다:

(식 1)

여기서, I_x _,y는 프레임 엘리먼트 좌표(x,y)에서, 이미지의 단일 픽셀값이다. 픽셀값은 아래에 설명된다.

제1이미지 프레임(200)의 각각의 프레임 엘리먼트 및 제2이미지 프레임(230)의 각각의 프레임 엘리먼트는 다른 프레임 엘리먼트와 독립적으로 프로세싱되는 것이 전형적이다(단계(310)). 노멀라이제이션이 이미지 내의 광도 변화 효과, 제한하지 않는 예로서, 그림자, 빛, 및/또는 노이즈를 피하기 위해 수행되는 것이 바람직하다. 노멀라이징된 프레임 엘리먼트는 프로세싱될 프레임 엘리먼트에 특정된 노멀라이제이션 팩터에 의해 각각의 픽셀값을 나눔으로써 산출된다(단계(320)). p-번째 프레임 엘의 노멀라이제이션 팩터,

는 아래의 식 2에 의해 정의되는 것이 바람직하다:

(식 2)

그레이 스케일 이미지에 대하여, 단일 픽셀의 픽셀값은 주지된 바와 같이, 검은색에서 흰색까지의 범위 내의, 광도의 단일 값인 것이 전형적이다.

컬러 이미지에 대하여, 각각의 픽셀은 한 세트의 세 개의 값을 포함하는 것이 전형적이다. 이 세 개의 값은 제한하지 않는 예로서, 예컨대, 적색, 녹색, 청색(RGB) 컬러 스페이스; 및 색상(hue), 휘도, 세츄레이션 컬러 스페이스와 같은, 다양한 컬러 스페이스를 사용하여, 픽셀 컬러, 및 부가적인 픽셀 특성을 정의한다.

오브젝트의 모션 백터는 이미지(200) 내의 각각의 프레임 엘리먼트에 대하여 개별적으로 결정되는 것이 바람직하다(단계(325)). 오브젝트가 프레임 엘리먼트보다 큰 경우에, 오브젝트는 복수의 모션 백터와 연관되는 것이 전형적이고, 각각의 모션 백터는 프레임 엘리먼트와 유일하게 연관되는 것이 바람직하다. 오브젝트가 프레임 엘리먼트보다 더 작은 경우에, 하나의 프레임 엘리먼트는 그 오브젝트의 모션에 대응하는 모션 백터를 산출하는 것이 전형적이고, 다른 프레임 엘리먼트는 그 오브젝트에 대한 임의의 상당한 모션의 모션 백터를 산출하지 않거나, 다른 오브젝트의 움직임에 대응하는 모션 백터를 산출하는 것이 전형적이다.

프레임 엘리먼트의 크기는 어플리케이션 특정인 것이 전형적이고, 일반적으로 디지털 비디오 소스의 해상도, 오브젝트의 크기, 및 이미지 프레임의 크기 중 하나 이상에 의존한다. 제한하지 않는 예로서, VGA 프레임(640픽셀×480픽셀)에 대하여, 각각의 프레임 엘리먼트의 크기는 8픽셀×8픽셀이고, HDTV(High Difinition TV) 프레임에 대하여, 각각의 프레임 엘리먼트의 크기는 16픽셀×16픽셀이다.

노멀라이제이션 후, 대조비 강화 필터, 바람직하게는 소벨 필터가 제1이미지 프레임(200)의 노멀라이징된 프레임 엘리먼트 각각에 적용되고(단계(330)), 제1이미지 프레임(200)의 필터링된 노멀라이징된 프레임 엘리먼트를 산출하는 것이 바람직하다. 당업자들은 임의의 적합한 대조비 필터, 제한하지 않는 예로서, 고대역 필터, 및 편차 필터(deviation filter)가 사용될 수 있음이 이해될 것이다.

노멀라이징된 프레임 엘리먼트, p의 p-번째 필터링된 노멀라이징된 프레임 엘리먼트, S_p는 다음 식을 사용하여 결정된다:

(식 3)

여기서, 오퍼랜드, NormalizedEliment_p, 및 F_sobel은 각각 그 이미지의 p-번째 노멀라이징된 프레임 엘리먼트, 및 소벨 필터이고,

오퍼레이터는 주지된 바와 같이, 프레임 엘리먼트에 필터를 적용하는 오퍼레이션을 의미한다.

제한하지 않는 예로서, 본 발명의 한 바람직한 실시예에 사용된 소벨 필터는 다음과 같다:

(식 4)

식 3 및 식 4을 전개하면 다음과 같다:

(식 5)

여기서, I'(x,y)는 제1이미지 프레임(200)의 노멀라이징된 프레임 엘리먼트 내의 좌표(x,y)에서의 노멀라이징된 픽셀값이다.

제1이미지 프레임(200)의 필터링된 노멀라이징된 프레임 엘리먼트의 각각의 하나 내에, 필터링된 픽셀값의 로컬 최대값의 위치가 선택되는 것이 바람직하고(단계(335)), "기준 픽셀"이라 불리는, 선택된 픽셀의 위치를 산출한다. 도 3의 단계(335)는 지금부터 도 4를 참조하여 더욱 상세하게 설명된다.

지금부터, 도 1의 시스템(10)에 의해 선택된 복수의 기준 픽셀(420)의 간단한 도면인 도 4를 참조한다.

도 4는 도 2A의 제1이미지 프레임(200), 및 제1이미지 프레임(200) 내, 프레임 엘리먼트(410)를 도시한다. 프레임 엘리먼트(410)는 8픽셀×8픽셀의 크기를 가진 것으로 도시되어 있다. 프레임 엘리먼트(410) 내에, 수 개의 기준 픽셀(420)이 도시되어 있다. 기준 픽셀(420)은 필터링된 노멀라이징된 픽셀값의 로컬 최대값을 포함하는 픽셀 위치에 위치한다. 기준 픽셀(420)은 프레임 엘리먼트(410) 내 높은 대조비의 위치에 위치하는 것이 전형적이다.

픽셀 선택기(55)(도 1)는 필터링된 노멀라이징된 프레임 엘리먼트의 최고 픽셀값을 가진 3개의 기준 픽셀(420)을 선택하는 것이 바람직하다. 그러나, 본 발명의 대안의 바람직한 실시예에 따라, 도 7A, 및 도 7B를 참조하여 아래 서술된 바와 같이, 하나 이상의 기준 픽셀(420)이 사용될 수 있다.

지금부터, 도 1의 시스템(10)에 의해 생성된 복수의 광 플로우 라인의 간단한 도면인 도 5를 참조한다. 또한, 도 3을 참조한다. 도 5는 도 4의 'View V'로 표시된 영역의 확대된 도면이다.

도 5는 제1기준 픽셀(510), 제2기준 픽셀(520), 제3기준 픽셀(530), 및 추가 기준 픽셀(540)을 포함하는, 프레임 엘리먼트(410)를 도시한다.

3개의 기준 픽셀, 즉 기준 픽셀(510, 520, 530)은 프레임 엘리먼트(410) 내의 3개의 가장 큰 필터링된 노멀라이징된 픽셀값을 가진다. 제1기준 픽셀(510)은 최대의 필터링된 노멀라이징된 픽셀값을 가진다. 제2기준 픽셀(520)은 두번째로 큰 필터링된 노멀라이징된 픽셀값을 가진다. 제3기준 픽셀(530)은 세번째로 큰 필터링된 노멀라이징된 픽셀값을 가진다. 추가 기준 픽셀(540)은 또한 기준 픽셀(510, 520, 530)과 마찬가지로, 로컬 최대값인 필터링된 노멀라이징된 픽셀값을 가진다. 추가 기준 픽셀(540)은 필터링된 노멀라이징된 프레임 엘리먼트(410) 내에 3개 이상의 기준 픽셀이 존재할 수 있음을 보여주는 좋은 예이다.

광 플로우 모듈(60)은 각각의 기준 픽셀(510, 520, 530)의 위치에서, 각각 광 플로우 식(아래의 식 6)을 적용함으로써, 선택된 기준 픽셀(510, 520, 530)에 대한, 광 플로우(515, 525, 535)를 생성하는 것이 바람직하다(도 3의 단계(340)). 광 플로우 모듈(60)이 광 플로우(515, 525, 535)를 생성하는 방법의 더욱 상세한 설명이 식 6을 참조하여 아래에 제공된다. 광 플로우(515), 광 플로우(525), 및 광 플로우(535)는 수평 기준 방향과 함께, 각각, 각 α₁(517), 각 α₂(527), 각 α₃(537)의 범위를 정한다.

광 플로우 모듈(60)(도 1)에 의해 사용되는 것이 바람직한 광 플로우 식은 다음과 같이 주어진다:

(식 6)

여기서, I'(x,y)는 그 이미지 내의 위치, i의 좌표(x,y)에서의 이미지의 노멀라이징된 픽셀값이다.

위 공식은

,

, 및

가 작을 때, 가장 정확함을 이해해야 한다. 비디오 이미지 프레임의 스트림의 경우에, 예컨대,

가 연속된 이미지 프레임 간의 시간 인터벌과 실질적으로 동일할 때,

는 일반적으로 작은 것으로 간주되고; 그리고

, 및

는

, 및

가 한 픽셀의 크기와 실질적으로 동일할 때 작은 것으로 간주된다.

식 6의 항,

, 및

는 각각 모션 백터의 x 컴포넌트, V_x, 및 y 컴포넌트, V_y를 나타낸다.

식 6은 제1이미지 프레임(200)과 제2이미지 프레임(230) 간의 시간 차이를

=1과 같이, 한 단위의 시간으로 정의함으로써 간단히 하는 것이 바람직하다.

V_x 및 V_y, 및

=1을 식 6에 치환하는 것은 다음과 같은 직선의 방정식을 제공한다:

(식 7)

여기서, a(i), 및 b(i)는 각각 직선의 기울기와 절편이고, 위치, i에서 이미지에 적용된 광 플로우 식 7에 의해 산출된다.

식 7은 두 개의 모르는 값, V_x, 및 V_y를 가진 방정식임을 알아야 한다.

식 7은 지금부터 a(i) 및 b(i)에 대하여 개별적으로 해를 구한다:

(식 8)

(식 9)

여기서, I'₁(xi,yi)는 좌표(xi,yi)에서 제1이미지의 노멀라이징된 픽셀값인 것이 바람직하고; I'₂(xi,yi)는 좌표(xi,yi)에서 제2이미지 프레임의 노멀라이징된 픽셀값인 것이 바람직하고; 그리고 I'₂(xi,yi-1)은 좌표(xi,yi-1)에서, I'₂(xi,yi)의 y 좌표보다 1 작은 y 좌표를 가진 위치에서, 제2이미지 프레임의 노멀라이징된 픽셀값인 것이 바람직하다. 당업자들은 식 8 및 9의 다른 항이 좌표값에 관한 적합한 수정과 함께 실질적으로 동일한 방법으로 정의되었음이 이해될 것이다.

제한하지 않는 예로서, I'₁(xi,yi)는 제1이미지 프레임(200)의 제1기준 픽셀(510)의 노멀라이징된 값인 것이 바람직하고, I'₂(xi,yi)는 제1기준 픽셀(510)의 위치에 위치한 제2이미지 프레임(230)의 노멀라이징된 픽셀값인 것이 바람직하고, I'₂(xi,yi-1)는 제1기준 픽셀(510) 아래에 위치한, 제2이미지 프레임(230)의 노멀라이징된 픽셀값인 것이 바람직하다. 당업자들은 식 8 및 9의 다른 항이 좌표값에 관한적합한 수정과 함께 실질적으로 동일한 방법으로 정의됨이 이해될 것이다.

그러므로, 광 플로우 라인(515, 525, 535)은 각각, 기준 픽셀(510, 520, 530)에서 제1이미지 프레임(200)의 노멀라이징된 프레임 엘리먼트(410)에 식 8, 및 식 9를 적용함으로써 생성되고, 그로 인해, 각각의 기준 픽셀(510, 520, 530)에 대한 a(i), 및 b(i)를 결정하는 것이 바람직하다. 계산된 값 a(i), 및 b(i)는 광 플로우 라인(515, 525, 535)을 각각 결정하기 위해, 각각의 기준 픽셀(510, 520, 530)에 대하여 식 7에 대입되는 것이 바람직하다.

식 7-9는 각각의 기준 픽셀(510, 520, 530)에 대한 직선을 형성하는, 광 플 로우(515, 525, 535)의 기울기, a(i), 및 절편, b(i)을 결정하기 위해 사용됨을 이해해야 한다. 그러나, 광 플로우(510, 520, 530)의 크기는 알 수 없는 것이 전형적이다.

그러므로, 일반적으로, 광 플로우 라인은 이미지 프레임의 에지에 의해서만 제한되는 것이 전형적이다.

지금부터, 제1이미지 프레임(200)의 노멀라이징된 프레임 엘리먼트(410),제2이미지 프레임(230)(도 2b)의 변위된 노멀라이징된 테스트 프레임 엘리먼트(650), 및 도 1의 시스템(10)에 의해 사용되는 변위에 대한 스캐닝 패턴(629)의 간단한 도면인 도 6을 참조한다. 또한, 도 1 및 3을 참조한다.

소개하자면, 패턴 매칭 모듈(62)은 제`200의 노멀라이징된 프레임 엘리먼트(410)와 제2이미지 프레임(230)의 노멀라이징된 테스트 프레임 엘리먼트(650) 사이에 패턴 매칭을 수행하는 것이 바람직하다. 그러므로, 패턴 매칭 모듈(62)은 분해기(35)가 제2이미지 프레임(230)의 테스트 프레임 엘리먼트을 산출하게 하고; 그리고 노멀라이저(40)가 테스트 프레임 엘리먼트를 노멀라이징하고, 패턴 매칭 동안 요구되는, 제1이미지 프레임(200)의 프레임 엘리먼트(410)와 상대적인 다양한 변위에서 제2이미지 프레임(230)의 노멀라이징된 테스트 프레임 엘리먼트(650)를 산출하도록 명령하는 것이 바람직하다.

변위는 한 시간에 한 픽셀만큼 증가되는 것이 바람직하다. 하나의 이러한 변위는, 제한하지 않는 예로서, 제1이미지 프레임(200)의 프레임 엘리먼트(410)의 위치에서 제2이미지 프레임(230)의 노멀라이징된 테스트 프레임 엘리먼트(650)의 위치로로 뻗은, 변위 백터(660)에 의해 도시되어 있다.

효율성은 좋은 매치가 예상되는 영역(625)에서만 패턴 매칭을 실행함으로써 얻어지고, 그로 인해 불필요한 계산을 줄이는 것이 바람직하다. 이 영역(625)을 판단하는 것은 도 6, 7A, 및 7B를 참조하여 아래에 더욱 상세하게 설명된다.

도 6은 노멀라이징된 프레임 엘리먼트(410), 및 교점(630)에서 교차하는 두 라인, 제1라인(610) 및 제2라인(620)을 도시한다. 상술된 변위는 교점(630)으로부터의 변위로 측정되는 것이 전형적이다. 제1라인(610), 및 제2라인(62)을 결정하는 방법은 도 7A 및 도 7B를 참조하여 아래에 더욱 상세하게 설명된다.

프레임 엘리먼트(410)의 위치 및 테스트 프레임 엘리먼트(650)의 위치는 전형적으로 프레임 엘리먼트 내의 소정의 픽셀에 관하여 정의됨을 이해해야 한다. 고정된 픽셀은 특정 코너인 것이 바람직하고, 이 코너는 두 프레임 엘리먼트 내에서 동일한 코너이다. 교점(630)은 노멀라이징된 프레임 엘리먼트(410)의 위치에 위치하는 것이 바람직하다.

패턴 매칭 모듈(62)은 식 15를 참조하여 아래에 더욱 상세하게 서술된 바와 같이, 테스트 프레임 엘리먼트(650)와 프레임 엘리먼트(410) 사이에 패턴 매칭을 수행하고, 패턴 매칭 점수를 산출한다(도 3의 단계(345)).

도 6은 또한 제1라인(610)과 제2라인(620) 사이에 그려진, 라인 세그먼트 방향의 백터를 도시한다. 이 백터는 테스트 프레임 엘리먼트(650)가 전형적으로 교점(630)으로부터 변위된 스캐닝 패턴(629)을 설명한다. 패턴 매칭 모듈(62)(도 1)은 교점(630)에 대응하는, 0의 변위에서 스캐닝을 시작한다. 패턴 매칭 모듈은 백 터(631)를 따라, 그 다음 백터(632)를 따라, 그 다음 백터(633)를 따라, 그 다음 백터(634)를 따라, 정지 조건에 도달할 때까지, 한 픽셀씩 증가하여 변위를 변경함으로써 스캐닝을 계속하는 것이 전형적이다. 정지 조건은 일반적으로 충분히 좋은 매치가 달성되었을 것, 및 전체 영역(625)이 스캐닝되었을 것 중 하나를 포함한다. 정지 조건은 도 8A-8C를 참조하여 아래에 더욱 상세하게 설명된다.

패턴 매칭 모듈(62)은 이미지 분해기(35)가 스캐닝 패턴 내의 각각의 변위에서 제2이미지 프레임(230)의 `테스트 프레임 엘리먼트(650)를 산출하도록 명령하는 것이 전형적이다. 패턴 매칭 모듈(62)은 또한 테스트 프레임 엘리먼트(650)를 노멀라이징하도록 노멀라이저(40)에 명령하고, 노멀라이징된 테스트 프레임 엘리먼트(650)를 산출한다. 그 다음, 패턴 매칭 모듈(62)은 도 8A-8C를 참조하여 아래에 더욱 상세하게 서술된 바와 같이, 패턴 매칭을 수행한다. 패턴 매칭 모듈(62)은 패턴 매칭 점수를 산출하고, 그 패턴 매칭 점수를 테스트 프레임 엘리먼트(650)의 변위에 대응하는 변위 백터(660)와 연관시킨다.

본 발명의 가장 바람직한 실시예에 따라, 두 라인 사이에 한정된 영역(625)의 스캐닝과 함께, 교점(630)으로부터 영역(625)이 확장할 수 있는 거리에 대한 제한이 부가된다. 이 제한(또는 거리의 임계치)은, 적어도 초기에, 전형적으로, 이미지 프레임의 1/4의 거리이다. 이미지 프레임이 전형적으로 직방형이므로, 이 제한은 일반적으로 이미지 프레임의 더 작은 치수의 1/4의 거리이다.

본 발명의 가장 바람직한 실시예에 따라, 모션 백터가 이전 비디오 이미지 프레임에 대하여 결정된 때, 패턴 매칭 모듈(62)은 그 모션 백터와 연관된 변위 백 터(660)의 값을 기록하는 것이 전형적이다. 후속 결정이, 그 비디오 이미지 프레임의 스트림 내에 이 후에 취해진, 제1이미지 프레임(200), 및 제2이미지 프레임(230)을 사용하여, 수행될 때, 제한은 일반적으로 이전에 기록된 변위 백터의 값의 두 배이다.

영역(625)을 제한하는 것은 계산을 상당히 절약함을 이해해야 한다.

본 발명의 다른 바람직한 실시예에 따라, 스캐닝은 제1이미지 프레임(200)의 이전 프레임 엘리먼트를 위해 사용된 스캐닝 제한; 및 이전 프레임 엘리먼트에 대하여 결정된 모션 백터에 대응하는 변위를 기초로 하는 거리로 제한되는 것이 바람직하다. 그러므로, 스캐닝 제한은 이전 스캐닝 제한을 기초로 조절가능하고, 이전의 "가장 적합한" 테스트 프레임에 대한 실제 거리에 의해 조절된다.

스캐닝이 상술된 바와 같이 제한되는 방법의 제한하지 않는 한 예는

이고, 여기서: L_p는 프레임 엘리먼트, p에 대한 스캐닝 제한이고; L_p _-1은 바로 전 프레임 엘리먼트, p-1로부터의 스캐닝 제한이고; 그리고 D_p _-1은 프레임 엘리먼트, p-1에 대하여 결정된 모션 백터에 대응하는 변위이다. 전형적인 스캐닝 제한 및 변위는 다음과 같다:

p=1에 대하여, 제1플레임 엘리먼트에 대응하는, 초기값은 스캐닝 제한, L₁으로 선택됨을 이해해야 한다. 전형적인 스캐닝 제한은 변위가 (5픽셀에서 25픽셀로) 변하는 동안이라 하더라도, 스캐닝 제한이 그 변위에 근접한 값으로 신속하게 수렴됨을 보여준다. 그러므로, 스캐닝 제한은 변위를 결정할 만큼 큰 영역을 유지하면서, 계산상 큰 절약을 제공한다.

D는 아래 서술된 바와 같이 결정되는 것이 바람직하다.

거리, D를 계산하기 위해 최적화 단계가 사용되는 것이 바람직하다. 테스트 프레임 엘리먼트(650)의 변위가 계산되고 스캐닝 제한과 비교될 필요가 있기 때문에, 거리, D의 계산을 최적화하는 것이 전형적으로 유리하다. 이미지 프레임 내의, 두 픽셀, P₁과 P₂ 사이의 거리, D는

으로 계산되는 것이 바람직하고, 여기서, x₁은 픽셀, p₁의 x-좌표이고; x₂은 픽셀, p₁의 x-좌표이고; y₁은 픽셀, p₁의 y-좌표이고; 그리고 y₂은 픽셀, p₂의 y-좌표이다.

본 발명의 대안의 바람직한 실시예에 따라, 거리, D는 다음과 같이 계산된다:

거리, D를 계산하는 바람직한 방법의 최적화는 절대값 계산 및 덧셈 오퍼레이션이 곱셈 오퍼레이션 및 제곱근 계산 보다 덜 계산 집약적이기 때문에, 계산 부하를 매우 줄인다.

모든 변위 백터에 대하여,대응하는 모션 백터가 존재함을 이해해야 한다. 시간 분의 변위는 속도이므로, 변위 백터(660)를 제1이미지(200)와 제2이미지(230) 간의 시간,

로 나누는 것은 그것의 단위가 단위 시간당 픽셀인, 모션 백터를 산출한다. 모션 백터는 일반적으로 실계에서 그 오브젝트의 실제 움직임의 표현이고, 물리적 제약에 따른다. 속도에 대응하는, 모션 백터의 크기는 물리적으로 가능한 속도의 범위 내에 있도록 요구되는 것이 전형적이다.

아래의 식 10은 모션 백터에 대한 전형적인 크기 제약을 정의한다:

(식 10)

여기서, V_max는 각각의 어플리케이션에 특정된, 모션 백터에 대한 실제적인 상한값이다. 전형적으로, V_max는 상술된 최대의 물리적으로 가능한 속도에 대응한다. 예를 들어, 테니스 게임에 사용하도록 의도된 어플리케이션에서 최대의 물리적으로 가능한 속도는 테니스 게임에서 테니스 공의 최대 속도인 것이 전형적이다. 대안으로서, V_max는 하나의 인터-프레임 시간 기간에 1/4 프레임의 변위와 동일한 속도에 대응할 수 있다.

제한하지 않는 예로서, VGA 레졸루션에서, 초당 20 프레임의 속도로, 웹캠으로부터 대략 4미터 거리에서 누군가의 저글링 오브젝트의, 시스템 이미징에 의해 측정된 전형적인 모션 백터는 대략 1/20초마다 10픽셀이 되도록 측정된다.

카메라 렌즈의 타입, 및 카메라 렌즈로부터 오브젝트의 거리와 같은 광 특성을 기초로, 물리적 속도 V_max를 모션 백터의 임계치로 변환하는 것, 및 비디오 이미지 프레임의 스트림의 프레임 레이트를 기초로 모션 백터의 임계치를 변위로 변환하는 것은 주지되어 있다. 그러므로, 스캐닝 제한(또는 스캐닝을 위한 거리의 임계치)은 최대 물리적 속도를 대응하는 변위로 변환함으로써 결정되는 것이 바람직하고, 이 변환은 비디오 이미지 프레임의 스트림의 프레임 레이트, 및 웹캠(25)의 광 특성을 기초로 하는 것이 전형적이다.

또한, 비디오 이미지 프레임의 스트림의 프레임 레이트가 주어져 있을 때, 대응하는 모션 백터로부터 변위 백터를 결정하는 것, 및 변위 백터로부터 모션 백터를 결정하는 것은 주지되어 있다.

본 발명의 한 바람직한 실시예에 따라, 스코어링 프로세스는 상기 식 10의 조건을 벗어난 변위 백터를 무효화시킴으로써 최적화되는 것이 일반적이다.

지금부터, 도 1의 시스템(10)에 의해 사용되는 스캐닝 패턴을 제한하는데 사용되는 라인의 간단한 도면인, 도 7A 및 도 7B를 참조한다. 도 6을 참조하여 서술된 바와 같이, 제1라인(610) 및 제2라인(620)은 패턴 매칭이 수행되는 영역(625)을 형성한다. 도 7A는 또한 제1라인(610)과 제2라인(620) 사이의 각을 이등분하고, 제1라인(610)과 제3라인(720) 사이의 각, ε(730), 및 제2라인(620)과 제3라인(720) 사이에 각도, ε을 산출하는 제3라인(720)을 도시한다. 도 7A는 또한 수평 기준선(710)으로부터 측정된, 교점(630), 및 대응 각, α₁(517), α₂(527), 및 α₃(537)을 통해 그려진 제1광 플로우 라인(515), 제2광 플로우 라인(525), 및 제3 광 플로우 라인(535)을 도시한다.

그러므로, 영역(625)은 제1라인(610) 및 제2라인(620)이 교점(630)을 통과하고, 각각의 라인(610, 620)은 제3라인(720)으로부터 각도 ε(730)만큼 변위되도록, 제3라인(720), 각도 ε(730), 교점(630)의 위치로부터 결정된다.

패턴 매칭 모듈(62)은 3개의 광 플로우 라인(515, 525, 및 535)의 평균이 되도록 제3라인(720)을 계산하고; 각도 ε를 제3라인(720) 방향에 대하여 광 플로우 라인(515, 525, 및 535)의 변동성의 측정값으로 결정하고; 그리고 교점(630)의 위치를 프레임 엘리먼트(410)의 위치로부터 0 변위에 대응하도록 결정하는 것이 바람직하다.

변동성의 측정값을 결정하는 것은 지금부터 아래에 설명된다.

경험적인 결과인 (식 8 및 8에 의해 계산된) a(i), 및 b(i)는 디지털화 에러, 및 제1이미지 프레임(200), 및 제2이미지 프레임(230) 내의 부산물에 의해 발생되는 몇몇 변동성을 포함함을 이해해야 한다. 그러므로, 본 발명의 가장 바람직한 실시예에 따라, 변동성 측정을 수행하기 위해 셋업 단계가 사용된다. 시스템(10)에 동작적으로 연결된 웹캠(25)에 의해 이미징되는 사용자는 이동을 실행하도록 지시를 받는다. 시스템(10)은 광 플로우 모듈(60)이 광 플로우 라인을 생성하는 동안, 모션 백터를 결정하는 프로세스를 거치고, 패턴 매칭 모듈(62)은 그 광 플로우 라인 사이의 변동성을 결정하고, 각도 ε를 결정하기 위해 이 변동성을 사용한다.

대안으로써, 변동성의 측정이 셋업 단계에서 수행되지 않는다면, a 및 b의 변동성에 대한 디폴트 값이 사용된다. a 및 b의 변동성에 대한 디폴트 값은 다래에, 식 11 및 12에 나타나 있다.

(식 11)

(식 12)

여기서, a_i 및 b_i는 i-번째 광 플로우 라인의 a 및 b 컴포넌트이고,

및

는 n개의 광 플로우 라인의 a, b 컴포넌트의 중간값(mean)이고, n은 계산에 포함된 광 플로우 라인의 개수이다. 변동성은 3개의 광 플로우 라인(515, 525, 및 535)과 함께 측정되는 것이 전형적이다.

본 발명의 대안의 바람직한 실시예에서, 최적화는 아래의 식 13, 및 14에 나타난 바와 같이 변동성을 계산하기 위해 사용되는 것이 바람직하다.

(식 13)

(식 14)

여기서, 변동성은 식 11 및 12로 정의된다.

예시의 방법으로, 경험적 결과는 초당 20-25 이미지 프레임의 프레임 레이트에서, 이미징 비디오 카메라로부터 대략 4미터의 거리에서 오브젝트를 저글링하는 사람, b의 변동성은 전형적으로 ±10°이다. 변동성은 전형적으로 프레임 레이트에 반비례한다.

변동성에 대한 디폴트 값은 특정 어플리케이션에 따라 변하기 쉽다. 예를 들어, 제한하지 않는 예로서, 모션 백터가 수식 컴포넌트만 가질 것으로 예상되는 'Pong Classic'과 같은, 어플리케이션에서, 제3라인(720)은 0 수평 컴포넌트를 가지도록 정의되는 것이 바람직하고, 수평 방향으로 변동성이 없는 것으로 간주되는 것이 전형적이다.

지금부터, 도 7B를 참조한다. 본 발명의 다른 바람직한 실시예에 따라, 패턴 매칭 모듈(62)은 영역(625)을 다음과 같이 정의한다:

제2광 플로우 라인(525)은 영역(625)의 한 경계를 형성하고;

제1광 플로우 라인(515)은 영역(625)(도 6)을 이등분하고;

각 ε(730)은 제1광 플로우 라인(515)과 제2광 플로우 라인(525) 사이의 각으로 정의되고; 그리고

제2라인(620)은 제2광 플로우 라인(525)과 마주한 측에서, 제1광 플로우 라인(515)으로부터 각도 ε(730)에 있도록 정의된다.

옵션으로서, 일관성 체크가 제3광 플로우 라인(535)과 제1광 플로우 라인(515) 사이의 각 ε₁과 각 ε을 비교하는 패턴 매칭 모듈(62)에 의해 수행된다. 제3광 플로우 라인이 더 아래 라인(740)과 각 ε₂에 의해 도시된 바와 같이, 각 ε(730)보다 더 큰, 각 ε₂에 있다면, 패턴 매칭 모듈(62)은 일반적으로 광 플로우 라인이 일관성 없는 것으로 판단한다.

당업자들은 상술된 일관성 체크가 도 7A를 참조하여 서술된 영역(625)에서 수행될 수 있음이 이해될 것이다. 제한하지 않는 예로서, 패턴 매칭 모듈은 광 플로우 라인(515, 525, 및 535) 중 적어도 하나와 제3라인(720)에 의해 범위가 정해진 각을 비교하고, 범위가 정해진 각이 각 ε보다 크다면, 패턴 매칭 모듈(62)은 일반적으로 광 플로우 라인이 일관성 없는 것으로 판단한다.

지금부터, 도 1의 시스템(10)에 의해 수행되는, 상이한 변위에서, 패턴 매칭의 간단한 도면인 도 8A-8C를 참조한다. 또한 도 1, 도 2, 및 도 3을 참조한다.

도 8A는 제1이미지 프레임(200) 내의, 사람(110), 오브젝트(120), 및 오브젝트(120)의 일부를 포함하는 프레임 엘리먼트(410)를 도시한다.

도 8B는 제2이미지 프레임(230) 내의 사람(110), 및 오브젝트(120)를 도시한다. 도 8B의 오브젝트(120)는 도 8A의 제1이미지 프레임(200) 내의 오브젝트(120)의 위치와 상이한 제2이미지 프레임(230) 내의 위치에 위치한다. 도 8B는 도 8A의 프레임 엘리먼트(410)의 위치, 및 그 프레임 엘리먼트(410)로부터 변위 백터(815) 만큼 변위된 위치에 위치한 테스트 프레임 엘리먼트(810)를 도시한다.

패턴 매칭 모듈(62)에 의해 산출된, 패턴 매칭 점수는 변위 백터(815)에 의해 변위된, 테스트 프레임 엘리먼트(810)가 언더라잉 이미지(230)와 얼마나 잘 맞 는지의 정도이다.

패턴 매칭 점수는 제1프레임 엘리먼트(410)의 노멀라이징된 픽셀값과 대응하는 테스트 프레임 엘리먼트(810)의 노멀라이징된 픽셀값 사이의 차이의 제곱의 합을 기초로 계산되는 것이 바람직하고, 전형적으로 식 15를 사용한다:

(식 15).

식 15에서, 아래의 표기가 사용된다:

V_x 및 V_y는 변위 백터(815)의 x 및 y 컴포넌트이고;

는 제2이미지 프레임(230)의 테스트 프레임 엘리먼트(810)인, 프레임 엘리먼트, p에 대한 노멀라이제이션 팩터(식 2)이고, 여기서 테스트 프레임 엘리먼트(810)는 제1프레임 엘리먼트(410)와 상대적으로, x 방향으로 Vx만큼, y 방향으로 Vy만큼 변위되고;

I'_2p(x+V_x _,y+V_y)는 제2이미지 프레임(230)의 테스트 프레임 엘리먼트(810)의 좌표, x+V_x, y+V_y에서의 픽셀값이고;

은 제1이미지 프레임(200)의 프레임 엘리먼트(410)의 프레임 엘리먼트, p에 대한 노멀라이제이션 팩터(식 2)이고; 그리고

I'_1p(x,y)은 제1이미지 프레임(200)의 프레임 엘리먼트(410)의 좌표, x, y에서의 픽셀값이다.

본 발명의 다른 바람직한 실시예에 따라, 패턴 매칭 점수는 제1프레임 엘리먼트(410)의 노멀라이징된 픽셀값과 대응하는 테스트 프레임 엘리먼트(810)의 노멀라이징된 픽셀값 사이의 차이의 절대값의 합을 기초로 계산되는 것이 바람직하고, 전형적으로 식 16을 사용한다:

(식 16)

식 16에서 사용된 표기는 식 15에서 사용된 표기와 동일하다.

패턴 매칭 점수는 일반적으로 제1이미지 프레임(200)의 노멀라이징된 프레임 엘리먼트(410)와 제2이미지 프레임(230)의 노멀라이징된 테스트 프레임 엘리먼트(810) 사이의 유사 정도에 반비례한다. 패턴 매칭 점수가 낮을수록, 제1이미지 프레임(200) 내의 노멀라이징된 프레임 엘리먼트(410)가 제2이미지 프레임(230) 내의 노멀라이징된 테스트 프레임 엘리먼트(810)와 더 유사하다. 도 8B에서, 오브젝트(120)는 부분적으로 테스트 프레임 엘리먼트(810) 내에 있다. 또한, 도 8B에서, 오브젝트(120)는 도 8A의 오브젝트(120)가 도 8A의 프레임 엘리먼트(410)에 관하여 위치된 것과 유사한 방식으로 테스트 프레임 엘리먼트(810)에 관하여 위치된다. 그러므로, 노멀라이징된 프레임 엘리먼트(410)와 노멀라이징된 테스트 프레임 엘리 먼트(810) 사이의 유사성이 높고, 패턴 매칭 모듈(62)은 낮은 점수를 산출하는 것이 바람직하다.

도 8C는 제2이미지 프레임(230) 내의 사람(110) 및 오브젝트(120)를 도시한다. 도 8C의 오브젝트(120)는 도 8B의 오브젝트(120)와 동일한 이미지 좌표에 위치한다. 도 8C는 도 8A의 프레임 엘리먼트(410)의 위치, 및 프레임 엘리먼트(410)의 위치로부터 변위 백터(825) 만큼 변위된 위치의 테스트 프레임 엘리먼트(820)를 도시한다. 도 8C에서, 오브젝트(120)는 테스트 프레임 엘리먼트(810) 내에 있지만, 도 8A의 프레임 엘리먼트(410) 내의 오브젝트(120)와 매우 상이하게 위치되어 있다. 유사성이 낮고, 패턴 매칭 모듈(62)(도 1)은 전형적으로 높은 점수를 산출한다.

도 8A-8C의 예에서, 도 8C의 변위 백터(825)가 받은 점수는 변위된 테스트 프레임 엘리먼트(820)가 이미지(230)는 물론, 변위된 테스트 프레임 엘리먼트(810)와 맞지 않기 때문에, 도 8B의 변위 백터(815)가 받은 점수 보다 더 높음을 이해해야 한다.

테스트 프레임 엘리먼트의 변위에 대응하는 패턴 매칭 점수가 계산된 후, 패턴 매칭 모듈(62)은 가장 낮은 패턴 매칭 점수를 가진 변위 백터(815)를 선택하는 것이 바람직하다(도 3의 단계(350)). 그 다음, 모션 백터 결정기(65)는 변위 백터(815)를 기초로, 변위 백터(815)를 제1이미지 프레임(200)과 제2이미지 프레임(230) 사이의 시간으로 나눔으로써, 모션 백터를 결정한다(단계(355)).

모션 백터 결정기(65)는 패턴 매칭 모듈이 제1타겟 점수보다 모두 더 큰 패 턴 매칭 점수를 산출하면, 모션 백터를 0 크기로 결정하는 것이 바람직하다. 제1타겟 점수는 제1이미지 프레임(200)의 제1프레임 엘리먼트(410)의 노멀라이징된 픽셀값의 평균의 15%와 동일한 것이 전형적이다.

또한, 패턴 매칭 모듈(62)은 제2타겟 점수보다 낮은 패턴 매칭 점수를 산출한 때 스캐닝을 중단하는 것이 바람직하고, 모션 백터 결정기(65)는 제2타겟 점수보다 낮은 패턴 매칭 점수를 산출한 제1변위를 기초로 모션 백터를 결정한다. 제2타겟 점수는 전형적으로 제1이미지 프레임(200)의 제1프레임 엘리먼트(410)의 노멀라이징된 픽셀값의 평균의 5%와 동일한 것이 전형적이다.

상술된 방법은 제1이미지 프레임(200)과 제2이미지 프레임(230)을 사용하여 제1모션 백터를 결정하는데 사용되고, 제3이미지 및 제4이미지를 사용하여 제2모션 백터를 결정하는데 다시 사용되는 것이 바람직하다. 제1모션 백터 및 제2모션 백터가 실질적으로 동일하다면, 모션 백터의 값은 일관성 있는 것으로 간주되는 것이 바람직하다. 그렇지 않다면, 추가적인 모션 백터의 결정이 상이한 쌍의 이미지에 대하여, 두 연속적인 모션 백터의 결정이 실질적으로 동일할 때까지 수행되는 것이 바람직하다.

제한하지 않는 예로서, 도 6 및 7A를 참조하여 상술된 예의 어플리케이션이 다시 고려된다. 본 예의 어플리케이션은 웹캠에서 대략 4미터 거리에서 오브젝트를 저글링하는 사람을 이미징하는 도 1의 시스템(10)을 포함한다. 본 예의 어플리케이션에서, 도 1의 시스템(10)은

일 때, 제1모 션 백터가 제2모션 백터와 실질적으로 동일한 것으로 정의하고, 여기서 V₁은 제1모션 벡터이고, V2는 제₂모션 백터이고, Len은 백터의 길이를 측정하는 함수이다. 함수 Len(V)은 다음과 같이 정의된다:

.

제3이미지 및 제4이미지를 사용하여 제2모션 백터를 결정하는 것은 제1결정의 제2이미지 프레임을 제2결정의 제1이미지 프레임(200)으로서 사용함으로써, 그리고 제3이미지를 제2결정의 제2이미지 프레임(230)으로서 사용함으로써 수행될 수 있다.

모션 백터 결정기(65)는 모션 백터를, 제한하지 않는 예로서, 초당 픽셀 단위로 결정하는 것이 일반적이다. 또한, 제한하지 않는 예로서, 초당 미터와 같은 다른 단위로의 모션 백터의 변환이 디지털 비디오 소스의 광 및 물리적 데이터를 기초로 쉽게 수행됨이 주지되어 있다.

본 발명의 소프트웨어 컴포넌트는, 필요하다면, ROM(read only memory) 내에 구행될 수 있음을 이해해야 한다. 소프트웨어 컴포넌트는, 필요하다면, 종래의 기술을 사용하여, 하드웨어로 구현되는 것이 일반적이다.

명료함을 위해, 개개의 실시예의 문맥에 서술된, 본 발명의 다양한 피처는 또한 단일 실시예와 조합하여 제공될 수 있음을 이해해야 한다. 반대로, 간략함을 위해, 단일 실시예의 문맥에 서술된 다양한 피처는 또한 개별적으로 또는 임의의 적합한 하위조합으로 제공될 수 있다.

당업자들은 본 발명이 특별히 도시되고 서술된 상기 내용에 의해 제한되지 않음을 이해해야 한다. 본 발명의 범위는 다음의 청구항에 의해서만 제한된다.

Claims

제1이미지 프레임(200) 및 제2이미지 프레임(230)을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트(410)의 모션 백터(240)의 실시간 결정을 위한 컴퓨터 시스템(10)으로서, 상기 컴퓨터 시스템은

상기 이미지 프레임의 스트림을 수신하기 위한 이미지 스트림 수신기(30);

복수의 픽셀 및 복수의 연관된 픽셀값을 포함하는 상기 이미지 프레임 각각을 복수의 프레임 엘리먼트로 분해하기 위한 이미지 분해기(35);

상기 이미지 프레임 각각의 상기 프레임 엘리먼트의 상기 픽셀값을 노멀라이징하고, 그로 인해 복수의 연관된 노멀라이징된 픽셀값을 가진 복수의 노멀라이징된 프레임 엘리먼트를 산출하는 이미지 노멀라이저(40);

상기 제1이미지 프레임의 상기 노멀라이징된 프레임 엘리먼트 중 하나에 이미지 프로세싱 필터(45)를 적용하여, 복수의 연관된 필터링된 픽셀값을 가진 필터링된 프레임 엘리먼트를 산출하기 위한 이미지 프로세서;

제1기준 픽셀이 상기 필터링된 픽셀값 중 최고값을 가지도록 상기 필터링된 프레임 엘리먼트로부터 상기 제1기준 픽셀(510)을 선택하기 위한 픽셀 선택기(55);

상기 제1기준 픽셀(510)의 위치에 적용된 광 플로우 식을 기초로 제1광 플로우(515)를 결정하기 위한 광 플로우 모듈(60);

상기 제1이미지 프레임의 하나의 노멀라이징된 프레임 엘리먼트 및 상기 제2이미지 프레임의 노멀라이징된 프레임 엘리먼트의 노멀라이징된 픽셀값 사이에 패턴 매칭을 수행하기 위한 패턴 매칭 모듈(62)로서 상기 제2이미지 프레임의 노멀라이징된 프레임 엘리먼트의 각각은 하나의 패턴 매칭 점수를 가지는 테스트 프레임 엘리먼트인 패턴 매칭 모듈(62); 및

상기 패턴 매칭 점수 중 최소값을 가진 테스트 프레임 엘리먼트 중 하나와 연관된 변위 백터(660)를 적어도 기초로 하여 모션 백터를 결정하기 위한 모션 백터 결정기(65)를 포함하고 있으며,

상기 패턴 매칭은 상기 테스트 프레임 엘리먼트 중 각각의 하나에 대하여, 상기 하나의 노멀라이징된 프레임 엘리먼트의 위치와 상기 하나의 테스트 프레임 엘리먼트의 위치 사이의 변위 백터가 적어도 상기 제1광 플로우를 기초로 하는 영역(625)에 의해 제한되어 수행되는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 1 항에 있어서, 상기 비디오이미지 프레임의 스트림은 컬러 이미지 프레임의 스트림이고, 상기 픽셀의 각각의 하나에 대하여, 상기 픽셀값 중 연관된 하나는 상기 픽셀과 연관된 광도 컴포넌트의 값인 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 1 항에 있어서, 상기 이미지 프로세싱 필터(45)는 대조비 강화 필터인 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 3 항에 있어서, 상기 대조비 강화 필터는 소벨 필터인 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 1 항에 있어서, 상기 패턴 매칭 모듈(62)은 상기 하나의 노멀라이징된 프레임 엘리먼트의 상기 노멀라이징된 픽셀값과 대응하는 상기 하나의 테스트 프레임 엘리먼트의 노멀라이징된 픽셀값 사이의 차이의 절대값의 합을 기초로 상기 패턴 매칭 점수를 계산하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 패턴 매칭 모듈(62)은제1라인(610) 및 제2라인(620)을 경계로 하는 영역(625)을 정의하고,

상기 제1라인은 상기 제2라인과 교점(630)에서 교차하고;

제3라인(720)은 상기 제1라인과 상기 제2라인 사이의 각을 이등분하고;

상기 제3라인은 적어도 상기 제1광 플로우(515)의 방향에 기초하는 방향이고; 그리고

상기 제3라인과 상기 제1라인의 사이 각도를 각도 엡실론(ε,730)으로 하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 6 항에 있어서, 상기 패턴 매칭 모듈(62)은 상기 제1광 플로우(515)에 독립적으로 상기 각도 엡실론(730)를 결정하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 6 항에 있어서, 상기 픽셀 선택기(55)는 상기 필터링된 프레임 엘리먼트로부터 제2기준 픽셀(520)을 더 선택하고;

상기 광 플로우 모듈은 상기 제2기준 픽셀(520)의 위치에 적용된 광 플로우 식을 기초로 제2광 플로우(525)를 더 결정하고; 그리고

상기 패턴 매칭 모듈(62)은 상기 제2광 플로우와 상기 제3라인 사이의 각도 차이가 상기 각도 엡실론과 같거나 작은지를 체크하는 단계를 포함하는 일관성 체크를 수행하도록 동작하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 6 항에 있어서, 상기 픽셀 선택기(55)는 상기 필터링된 프레임 엘리먼트로부터 제2기준 픽셀(520)을 상기 제2기준 픽셀이 상기 필터링된 픽셀값 중 두번째 높은 값을 가지도록 더 선택하고, 상기 광 플로우 모듈(60)은 상기 제2기준 픽셀의 위치에 적용된 상기 광 플로우 식을 기초로 제2광 플로우(525)를 더 결정하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 9 항에 있어서, 상기 패턴 매칭 모듈(62)은 상기 제1광 플로우(515)와 상기 제2광 플로우(525) 사이의 각도 차이를 기초로 각도 엡실론(730)을 결정하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 9 항에 있어서, 상기 픽셀 선택기(55)는 상기 필터링된 프레임 엘리먼트로부터 제3기준 픽셀(530)을, 상기 제3기준 픽셀이 상기 필터링된 픽셀값 중 세번째 높은 값을 가지도록 더 선택하고, 상기 광 플로우 모듈(60)은 상기 제3기준 픽셀의 위치에 적용된 광 플로우 식을 기초로 제3광 플로우(535)를 더 결정하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 6 항에 있어서, 상기 패턴 매칭 모듈(62)은 적어도 상기 제1이미지 프레임의 이전의 노멀라이징된 프레임 엘리먼트의 모션 백터를 결정하는데 사용된 각도 엡실론의 값을 기초로 하여 상기 각도 엡실론을 결정하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 11 항에 있어서, 상기 패턴 매칭 모듈(62)은 상기 제3광 플로우(535)와 상기 제1광 플로우(515) 사이의 각도 차이가 상기 각도 엡실론과 같거나 작은지를 체크하는 단계를 포함하는 일관성 체크를 수행하도록 동작하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 6 항에 있어서, 상기 패턴 매칭 모듈(62)은 상기 교점과 상기 영역 내의 임의의 위치 사이의 거리가 임계치보다 작도록 상기 영역(625)을 제한하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 14 항에 있어서, 상기 임계치는 이미지 프레임의 최소 치수의 1/4인 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 14 항에 있어서 비디오 이미지 프레임의 스트림에서 오브젝트의 최대 물리 속도를 대응하는 변위로 변환함으로써 상기 임계치를 결정하는 단계를 더 포함하고, 상기 변환은 적어도 상기 비디오 이미지 프레임의 스트림의 프레임 레이트 및 적어도 하나의 광 특성을 기초로 하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 14 항에 있어서, 패턴 매칭 모듈(62)은 상기 제1이미지 프레임의 이전 프레임 엘리먼트의 임계치, 및 상기 제1이미지 프레임의 상기 이전 프레임 엘리먼트의 모션 백터를 기초로 상기 임계치를 결정하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 14 항에 있어서, 상기 패턴 매칭 모듈(62)은 상기 거리를 수평 변위의 절대값 및 수직 변위의 절대값의 합으로서 계산하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 1 항에 있어서, 상기 패턴 매칭 점수 중 최소값이 제1타겟 점수보다 크다면, 상기 모션 백터 결정기는 상기 모션 백터를 0 크기로 결정하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 1 항에 있어서, 상기 패턴 매칭 모듈(62)은 제2타겟 점수보다 작은 패턴 매칭 점수가 산출된 후 바로 패턴 매칭을 종료하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 20 항에 있어서, 상기 패턴 매칭 모듈(62)은 제2타겟 점수를 상기 제1이미지 프레임의 상기 하나의 노멀라이징된 프레임 엘리먼트의 픽셀값의 평균의 5%로 결정하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제 6 항에 있어서, 상기 변위 백터(660)는 시작과 끝을 가지고, 상기 변위 백터의 상기 시작은 상기 교점이고, 상기 패턴 매칭 모듈은 제1테스트 프레임 엘리먼트와 상기 교점에 있는 상기 변위 백터의 끝과 제1패턴 매칭을 수행하고; 그리고 상기 영역(625)에 걸쳐 상기 변위 백터의 상기 끝을 스캐닝함으로써 추가적인 테스트 프레임 엘리먼트와 추가적인 패턴 매칭을 수행하는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지 프레임을 포함하는 비디오 이미지 프레임의 스트림에서, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터의 실시간 결정을 위한 컴퓨터 시스템.
제1이미지 프레임 및 제2이미지를 포함하는 비디오 이미지 프레임의 스트림내의, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터를, 프로세서에 의해, 실시간 결정하는 방법으로서,

상기 이미지 프레임의 스트림을 수신하는 단계(300);

각각의 상기 이미지 프레임을 각각이 복수의 픽셀, 및 복수의 연관된 픽셀값을 가진 복수의 프레임 엘리먼트로 분해하는 단계(305);

각각의 상기 이미지 프레임의 상기 프레임 엘리먼트의 상기 픽셀값을 노멀라이징하고(320), 그로 인해 복수의 연관된 노멀라이징된 픽셀값을 가진 복수의 노멀라이징된 프레임 엘리먼트를 산출하는 단계(310);

상기 제1이미지 프레임의 상기 노멀라이징된 프레임 엘리먼트 중 하나에 이미지 프로세싱 필터를 적용하여(330), 복수의 연관된 필터링된 픽셀값을 가진 필터링된 프레임 엘리먼트를 산출하는 단계;

상기 필터링된 프레임 엘리먼트로부터 제1기준 픽셀을, 상기 제1기준 픽셀이 상기 필터링된 픽셀값 중 최대값을 가지도록 선택하는 단계(335);

상기 제1기준 픽셀의 위치에 적용된 광 플로우 식을 기초로 제1광 플로우를 결정하는 단계(340);

상기 제1이미지 프레임의 하나의 노멀라이징된 프레임 엘리먼트 및 상기 제2이미지 프레임의 노멀라이징된 프레임 엘리먼트의 노멀라이징된 픽셀값 사이에 패턴 매칭을 수행하는 단계(345)로서 상기 제2이미지 프레임의 노멀라이징된 프레임 엘리먼트의 각각은 하나의 패턴 매칭 점수를 가지는 테스트 프레임 엘리먼트인 패턴 매칭을 수행하는 단계(345); 및

상기 패턴 매칭 점수 중 최소값을 가진 테스트 프레임 엘리먼트 중 하나와 연관된 변위 백터를 적어도 기초로 하여 모션 백터를 결정하는 단계(355)를 포함하고 있으며,

상기 패턴 매칭은 상기 테스트 프레임 엘리먼트 중 각각의 하나에 대하여, 상기 하나의 노멀라이징된 프레임 엘리먼트의 위치와 상기 하나의 테스트 프레임 엘리먼트의 위치 사이의 변위 백터가 적어도 상기 제1광 플로우를 기초로 하는 영역(625)에 의해 제한되어 수행되는 것을 특징으로 하는 제1이미지 프레임 및 제2이미지를 포함하는 비디오 이미지 프레임의 스트림내의, 이미지 프레임 내의 프레임 엘리먼트의 모션 백터를, 프로세서에 의해, 실시간 결정하는 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제