KR101632963B1 - 비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법 - Google Patents

비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101632963B1
KR101632963B1 KR1020117019652A KR20117019652A KR101632963B1 KR 101632963 B1 KR101632963 B1 KR 101632963B1 KR 1020117019652 A KR1020117019652 A KR 1020117019652A KR 20117019652 A KR20117019652 A KR 20117019652A KR 101632963 B1 KR101632963 B1 KR 101632963B1
Authority
KR
South Korea
Prior art keywords
interest
region
video stream
frame
frames
Prior art date
Application number
KR1020117019652A
Other languages
English (en)
Other versions
KR20110138212A (ko
Inventor
나다브 이스라엘
아이타이 캇츠
두디 코헨
암논 셴펠드
Original Assignee
아이사이트 모빌 테크놀로지 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이사이트 모빌 테크놀로지 엘티디 filed Critical 아이사이트 모빌 테크놀로지 엘티디
Publication of KR20110138212A publication Critical patent/KR20110138212A/ko
Application granted granted Critical
Publication of KR101632963B1 publication Critical patent/KR101632963B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비디오 스트림에 있어서의 물체 검출 및 트랙킹을 위한 시스템 및 방법을 제공한다. 비디오 스트림의 프레임들을 관심 영역으로 분할하고, 각각의 관심 영역에 대해, 당해 영역이 트랙킹되는 물체의 적어도 일부분을 포함하는 확률을 산출한다. 이어서, 각 프레임의 관심 영역을 산출된 확률에 기초하여 분류한다. 이어서, 비디오 프레임에서의 관심 영역의 분류를 보고하는 관심 영역(RI) 프레임이 각각의 비디오 프레임에 대해 생성된다. 이어서, 상기 물체의 모션을 판정하기 위해, 2개 이상의 RI 프레임을 비교한다. 또한, 본 발명은, 본 발명의 상기 방법을 실행하는 시스템을, 당해 시스템을 포함하는 장치와 함께, 제공한다. 상기 장치는, 예를 들어 휴대형 컴퓨터, 휴대 전화 또는 오락 기기일 수 있다.

Description

비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법{SYSTEM AND METHOD FOR OBJECT RECOGNITION AND TRACKING IN A VIDEO STREAM}
본 발명은 물체 검출 및 트랙킹을 위한 방법 및 시스템, 그리고 이러한 시스템을 포함하는 장치에 관한 것이다.
이하의 종래 기술에 관한 공표물은 본 발명의 이해와 관련있는 것으로 본다.
Digital Image Processing by Rafael C. Gonzalez, Richard E. Woods and Steven L. Eddins, Prentice Hall (2004), 10.4.2-Region Growing.
E. Deja, M.M. Deja, Dictionary of Distances, Elsevier (2006).
Mahalanobis, P C (1936). "On the generalised distance in statistics". Proceedings of the National Institute of Sciences of India 2 (1): 49-55).
Itakura F., "Line spectrum representation of linear predictive coefficients of speech signals," J. Acoust.Soc. Am., 57, 537(A), 1975.
James M. Abello, Panos M. Pardalos, and Mauricio G. C. Resende (editors)(2002). Handbook of Massive Data Sets. Springer.
E.R. Berlekamp, Algebraic Coding Theory, McGraw-Hill 1968.
Richard W. Hamming. Error Detecting and Error Correcting Codes, Bell System Technical Journal 26(2): 147-160, 1950.
Dan Gusfield. Algorithms on strings, trees, and sequences: computer science and computational biology. Cambridge University Press, New York, NY, USA, 1997).
미국특허 제5,767,842호 및 제6,650,318호
데이터 처리 장치에의 데이터 입력은, 키보드, 마우스 또는 조이스틱 등의 데이터 입력 장치를 사용하여 이루어진다. 전자 장치가 계속하여 소형화되어오고 있음에도 불구하고, 각종의 관련 데이터 입력 장치의 사이즈는, 사용자의 손 크기에 맞추어져야 하기 때문에, 실질적으로는 감소시킬 수 없다. 따라서, 사용자의 손을 장치에 접촉시키지 않아도 되는 데이터 입력 방법이 고안되어져 왔다. 코르스(Korth)에게 부여된 미국특허 제5,767,842호 및 아논(Arnon)에게 부여된 미국특허 제6,650,318호에는, 예를 들어 카메라를 사용하여 사용자의 손과 손가락 모션을 모니터하는 광학 시스템이 개시되어 있다. 소프트웨어 애플리케이션은 이들 모션을 물리적으로 존재하지 않는 컴퓨터 키보드나 다른 입력 장치상의 조작으로서 해석한다. 이들 시스템에서는, 카메라가 고정된 위치를 가지며, 따라서 화상의 배경이 일정하게 유지된다. 이와 같이 하면, 소프트웨어 애플리케이션은, 각 화상에서의 사용자의 손을 검출하기 위해 일정한 배경에 존재하는 정보를 사용할 수 있다. 그러므로, 이 시스템은 사용 중에 움직이는 장치에서 사용될 수 없는데, 왜냐하면, 이 경우에는, 화상의 배경이 일정하지 않으며, 따라서 화상 중에 신뢰할 수 있는 배경 정보가 없기 때문이다. 사용 중에 움직이는 장치는, PDA(personal digital assistant), 휴대 전화, 디지털 카메라, 모바일 게임기 등의 휴대형 장치를 포함한다.
국제 특허 공보 WO 2008/139399는 이미지들의 시퀀스에서 물체의 모션에 과한 모션 관련 특징을 판정하기 위한 방법을 개시한다. 이들 이미지는 이미지들로부터 1차 특징을 추출하도록 처리되고, 1차 특징의 통계학적 값은 계산되며, 물체의 모션 관련 특징을 판정하는데 사용된다.
공보 "비주얼 관심 포인트의 학습 및 선택된 제어에 의해 실시간 제스처 인식" (Kirishima et al, IEEE transactions on Pattern analysis and machine Intelligence, IEEE Service Center, Los Alamitos, Caliif, US., pages 351~364)는 이미지들의 시퀀스에서 동적으로 변화하는 관심의 영역으로부터 비주얼 특징을 계산하고, 각각의 비주얼 특징에 확률 밀도 함수를 할당함으로써 제스처의 인식을 개시한다.
본 발명의 제1 양태에서, 본 발명은 비디오 스트림에서의 물체 검출 및 트랙킹을 위한 시스템을 제공한다. 본 발명의 시스템은 두 가지 별개의 논리 체계에 기초하고 있다. 제1 체계는, 비디오 스트림을, 영역에 존재하는 트랙킹된 물체의 확률을 산출하는 책임을 독립적으로 맡는, 환경에서 단독의 모션 센서로서 기능하는 관심 영역으로 분할한다. 제2 체계는 시간에 대하여 영역의 세트의 거동을 모니터하고, 확률의 패턴에 기초하여, 트랙킹된 물체의 위치 및 모션 파라미터를 산출한다.
본 발명의 시스템은 당해 시스템에 의해 해석되는 비디오 스트림의 프레임을 저장하는 메모리를 포함한다. 프로세서는 메모리에 저장된 비디오 스트림의 프레임을 불러온다. 물체 검출 모듈은, 각 프레임의 관심 영역을, 미리 결정된 트랙킹되는 물체의 적어도 일부분이 관심 영역에 포함되는 확률에 따라 분류한다. 후술하는 바와 같이, 물체 검출 모듈에 의한 물체 검출은 프레임에 있어서의 상기 물체의 에지 검출을 수반하지 않는다. 물체 트랙킹 모듈은 상기 물체 검출 모듈로부터 출력된 분류된 프레임을 그 입력 신호로서 수신하고, 계속되는 분류된 프레임과 비교하여 물체의 모션을 판정한다. 본 발명의 시스템은, 키보드, 마우스 또는 조이스틱과 같은 상기 장치와 관련된 임의의 입력 장치 대신에, 또는 그에 부가하여 상기 장치에 오퍼레이팅 시스템(OS) 커맨드를 입력하는데 사용될 수 있다. 본 발명의 시스템은 개인용 컴퓨터(PC), PDA, 랩탑 또는 팜 플롯과 같은 휴대형 컴퓨터, 휴대 전화, 라디오 또는 오락 기기, 운송 기구, 디지털 카메라, 모바일 게임기, 컴퓨터화된 의료용 장치 및 스마트 하우스 제품과 같은 임의 유형의 데이터 처리 장치에서 사용될 수 있다.
적용에 따라, 프로세서는 미리 결정된 물체 모션 세트 중에서 트래킹된 물체의 모션 패턴을 식별하는 패턴 인식 모듈을 선택적으로 포함하여도 된다. 상기 시스템은 하나 이상의 미리 결정된 모션 패턴 각각에 대해 관련된 OS 커맨드를 제공하는 룩업 테이블을 저장하는 OS 커맨드 실행 모듈을 더 포함하여도 된다. 미리 결정된 물체 모션 중의 하나가 식별되는 경우, 그 모션과 관련지어진 OS 커맨드가 시스템에 의해 실행된다.
본 발명의 제2 양태에 있어서, 본 발명은, 본 발명의 시스템을 포함하는 데이터 처리 장치를 제공한다. 데이터 처리 장치는, 예를 들어 개인용 컴퓨터(PC), PDA, 랩탑과 같은 휴대형 컴퓨터, 휴대 전화, 라디오 또는 오락 기기, 운송 기구, 디지털 카메라나 모바일 게임기일 수 있다. 본 발명의 장치는, 전술한 바와 같이, 물체 검출 및 물체 트랙킹을 실행하도록 구성된 비디오 카메라와 프로세서를 구비한다. 검출 및 트랙킹되는 물체는, 예를 들어 사용자의 손 또는 손가락이거나 손에 쥘 수 있는 스타일러스 또는 다른 미리 규정되거나 특정된 장치일 수 있다.
본 발명의 장치는 각각의 인식된 모션에 대해 관련지어진 OS 커맨드를 제공하는 룩업 테이블을 저장하는 메모리를 포함한다. 패턴 인식 모듈에 의해 모션 패턴이 검출되면, 상기 룩업 테이블에서 당해 모션과 관련지어진 OS 커맨드가 참조되고, 당해 모션과 관련지어진 OS 커맨드가 실행된다. OS 커맨드는, 예를 들어 스피커 온/오프, MP3/IPTV에서의 다음/이전 트랙, GPS 애플리케이션에 있어서의 지도 보기의 제어 및 보이스메일 서비스의 스위치 온과 같은 활성 기능이 될 수 있다.
본 발명의 이 양태에 따르면, 비디오 스트림의 프레임들이 2 이상의 관심 영역으로 분할된다. 각각의 관심 영역에 대하여, 그 관심 영역의 화소의 통계학적 해석이 수행된다. 예를 들어, 통계학적 해석은 상기 관심 영역의 화소에 대해 정의된 하나 이상의 함수 각각에 대하여 히스토그램을 생성하는 것을 포함한다. 상기 함수는, 예를 들어 화소의 적색, 녹색 또는 청색 중 어느 하나의 강도이거나, 화소의 색상, 순도 또는 휘도 중 어느 하나일 수 있다. 상기 히스토그램은 단일 변수 히스토그램이거나 또는 화소 특성의 n-튜플(n-tuples)의 빈도를 총계낸 다중 변수 히스토그램일 수 있다. 상기 통계학적 해석은 하나 이상의 상기 히스토그램 중 어느 하나의 평균치, 최빈치, 표준 편차 또는 분산과 같은 통계학적 파라미터의 값을 산출하는 것을 포함할 수 있다. 관심 영역의 상기 통계학적 해석 결과를 사용하여 영역이 검출되는 물체의 적어도 일부분을 포함하는 확률에 따라 영역을 분류한다. 해석된 각각의 프레임에 대하여, 프레임의 관심 영역의 분류의 표상인 "관심 영역(RI) 프레임"이 생성된다.
하나 이상의 패턴 검출 모듈이 사용되어 RI 프레임으로부터 물체의 특정한 모션 패턴을 검출한다. 각각의 패턴 검출 모듈은 상기 패턴 검출 모듈에 의해 검출된 특정한 모션 패턴이 시간 구간 동안에 발생하는 확률을 출력한다. 하나 이상의 패턴 인식 모듈의 출력은 가장 일어났을 가능성이 높은 모션 패턴을 판정하는 모션 인식 모듈에 입력된다. 모션 검출 모듈의 판정은 상기 패턴 인식 모듈로부터 입력된 확률을 기초로 하며, 실행 중인 애플리케이션이나 오퍼레이팅 시스템으로부터의 입력 등의 외부 입력을 고려할 수도 있다.
따라서, 본 발명의 제1 양태에 있어서, 본 발명은, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템으로서,
(a) 물체 검출 모듈(45) 및 물체 트랙킹 모듈(47)을 포함하는 프로세서(46)를 포함하며,
상기 물체 검출 모듈(45)은,
(i) 비디오 스트림의 복수의 프레임을 관심의 통계학적으로 정의된 관심 영역으로 분할된 이후에, 비디오 스트림에 있어서 복수의 프레임의 각각에서 복수의 관심 영역 각각에 대하여, 관심 영역에서 픽셀의 통계학적 해석을 실행하고,
(ii) 상기 실행된 통계학적 해석에 기초하여 복수의 프레임의 각각에서 관심 영역을 분류하고, 각각의 비디오 프레임에 대해 관심 영역(RI) 프레임을 생성하되, 상기 RI 프레임은 관심 영역의 분류를 보고하고, 관심 영역의 분류는 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수인, 분류 및 생성하도록 구성되며,
상기 물체 트랙킹 모듈(47)은,
연속된 RI 프레임에서 관심 영역의 분류를 비교하여 물체의 모션을 판정하도록 구성된, 시스템을 제공한다.
본 발명의 시스템의 물체 트랙킹 모듈은 하나 이상의 패턴 검출 모듈을 포함할 수 있으며, 각각의 상기 패턴 검출 모듈은, 어느 시간 구간(time window) 동안에 트랙킹된 물체의 특정한 모션 패턴이 상기 시간 구간 동안에 일어난 확률을 산출하도록 구성된다. 상기 물체 트랙킹 모듈은, 상기 하나 이상의 패턴 검출 모듈에 의해 생성된 확률을 기초로 하여, 가장 일어났을 가능성이 높은 모션 패턴을 판정하는 모션 인식 모듈을 더 포함할 수 있다. 상기 모션 인식 모듈의 판정은 외부 신호를 고려하는 것을 수반할 수도 있다.
상기 본 발명의 시스템은, 식별된 모션 패턴에 관련지어진 OS 커맨드를 실행하도록 구성된 오퍼레이팅 시스템(OS) 커맨드 실행 모듈을 더 포함할 수 있다.
본 발명의 제2 양태에 있어서, 본 발명은, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 방법으로서,
(i) 비디오 스트림의 복수의 프레임을 관심의 통계학적으로 정의된 관심 영역으로 분할된 이후에, 비디오 스트림에 있어서 복수의 프레임의 각각에서 복수의 관심 영역 각각에 대하여, 관심 영역에서 픽셀의 통계학적 해석을 실행하는 단계와,
(ii) 상기 실행된 통계학적 해석에 기초하여 각각의 비디오 프레임에서 관심 영역을 분류하고, 복수의 비디오 프레임의 각각에 대해 관심 영역(RI) 프레임을 생성하는 단계로서, 상기 RI 프레임은 관심 영역의 분류를 보고하고, 관심 영역의 분류는 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수인, 분류 및 생성 단계를 포함하고,
(iii) 연속된 RI 프레임에서 관심 영역의 분류를 비교하여 물체의 모션을 판정하는 단계를 포함하는 방법을 제공한다.
관심 영역이 상기 트랙킹되는 물체의 적어도 일부분을 포함하는 확률은,
(a) 상기 비디오 스트림에서의 각 프레임의 하나 이상의 관심 영역 각각에 대해, 당해 관심 영역의 화소의 통계학적 해석을 산출하는 단계와,
(b) 상기 비디오 스트림의 하나 이상의 이전 프레임의 관심 영역의 통계학적 해석을 포함하는 계산에서 상기 관심 영역의 별개의 분류를 산출하는 단계를 포함하는 방법으로 취득될 수 있다.
상기 통계학적 해석은, 상기 관심 영역의 화소에 대해 정의된 하나 이상의 함수 각각에 대한 히스토그램을 생성하는 것을 포함할 수 있다. 하나 이상의 상기 함수는,
(a) 상기 화소의 적색, 녹색 또는 청색 중 어느 하나의 강도, 및
(b) 상기 화소의 색상, 순도 또는 휘도 중의 어느 하나를 포함하는 그룹으로부터 선택될 수 있다.
상기 본 발명의 방법은, 하나 이상의 상기 함수의 통계학적 파라미터 값의 산출을 더 포함할 수 있다. 하나 이상의 상기 통계학적인 파라미터는,
(a) 평균치
(b) 최빈치
(c) 표준 편차, 및
(d) 분산
을 포함하는 그룹으로부터 선택될 수 있다.
2 이상의 RI 프레임을 비교하는 단계는,
(a) 각각의 프레임에 대해, 그리고 상기 프레임의 상기 분류된 관심 영역 각각에 대해, 상기 관심 영역의 분류를, 상기 프레임을 포함하는 어느 시간 구간에서 얻어진 복수의 프레임의 상기 관심 영역의 분류와 비교하는 것과,
(b) 상기 비교를 기초로 하여, 선택된 상기 관심 영역이 트랙킹되는 상기 물체를 포함하는지의 여부를 판정하는 것과,
(c) 이 판정을 기초로 하여, 상기 관심 영역이 트랙킹되는 상기 물체를 포함하는지의 여부에 따라 상기 관심 영역을 재분류하는 것과,
(d) 어느 시간 구간 동안에 2 이상의 상기 영역의 상태에 있어서의 변화를 기초로 하여, 상기 물체의 모션의 하나 이상의 트랙킹 파라미터를 산출하는 것을 포함할 수 있다.
상기 트랙킹 파라미터는,
(a) 상기 물체의 이동 방향;
(b) 상기 물체의 이동 속도
(c) 상기 물체의 가속도
(d) 화소에 있어서의 상기 물체의 폭
(e) 화소에 있어서의 상기 물체의 높이
(f) 프레임에 있어서의 상기 물체의 위치를 포함하는 그룹으로부터 선택될 수 있다.
본 발명의 다른 양태에 있어서, 본 발명은, 본 발명의 시스템을 포함하는 데이터 처리 장치를 제공한다. 상기 데이터 처리 장치는,
(a) 개인용 컴퓨터(PC);
(b) PDA 또는 랩탑 등의 휴대형 컴퓨터;
(c) 휴대 전화;
(d) 라디오;
(e) 오락 기기;
(f) 스마트 홈(Smart Home);
(g) 운송 기구(vehicle);
(h) 디지털 카메라;
(i) 주방 기구;
(j) 미디어 플레이어 또는 미디어 시스템;
(k) 위치 기반 장치;
(l) 휴대형 게임기;
(m) 피코 프로젝터 또는 내장형 프로젝터;
(n) 의료용 디스플레이 장치;
(o) 차내(in-car)/기내(in-air) 정보 시스템을 포함하는 그룹으로부터 선택될 수 있다.
본 발명의 장치는 비디오 카메라와 디스플레이 스크린 중의 일방 또는 양방을 더 포함할 수 있다.
상기 트랙킹되는 물체의 상기 모션 패턴 중 하나 이상은,
(a) 상기 시간 구간 동안에 상기 물체의 폭이 화소에 있어서 증가됨;
(b) 상기 시간 구간 동안에 상기 물체의 폭이 화소에 있어서 감소됨;
(c) 상기 물체가 상기 카메라에 보다 가까이 이동됨;
(d) 상기 물체가 상기 카메라로부터 멀어지게 이동됨;
(e) 상기 물체가 소정 경로에서 이동됨;
(f) 상기 물체가 회전됨;
(g) 상기 물체가 움직이지 않음;
(h) 상기 물체가 임의의 유형의 모션을 취함;
(i) 상기 물체가 플리킹(flicking) 모션을 취함;
(j) 상기 물체가 가속됨;
(k) 상기 물체가 감속됨;
상기 물체가 이동 후 정지됨을 포함하는 그룹으로부터 선택될 수 있다.
상기 프로세서는, 식별된 모션 패턴에 관련지어진 상기 장치의 OS 커맨드를 실행하도록 구성된 오퍼레이팅 시스템(OS) 커맨드 실행 모듈을 더 포함할 수 있다. 상기 OS 커맨드는,
(a) 상기 장치의 디스플레이 스크린 상에 표시된 가상의 키를 누르는 것;
(b) 상기 장치의 디스플레이 스크린 상에 나타나는 커서를 상기 스크린 상의 새로운 위치로 이동시키는 것;
(c) 선택 캐러셀(carousel)을 회전시키는 것;
(d) 데스크탑 사이에 절환하는 것;
(e) 중앙 처리 유닛 상에 소정의 소프트웨어 애플리케이션을 실행시키는 것;
(f) 애플리케이션을 턴-오프하는 것;
(g) 스피커를 턴-온 또는 턴-오프하는 것;
(h) 볼륨의 높임/줄임;
(i) 미디어 플레이어에서 또는 IPTV 채널간에 다음 또는 이전의 트랙으로 건너 뛰는 것;
(j) GPS 애플리케이션을 제어하는 것;
(k) 보이스메일 서비스를 스위칭-온 하는 것;
(l) 포토/뮤직 앨범 갤러리에서 항행(navigating)하는 것;
(m) 웹 페이지, 이메일, 서류 또는 지도를 스크롤링하는 것;
(n) 모바일 게임에서의 액션을 제어하는 것;
(o) 인터랙티브 비디오 또는 만화 콘텐츠를 제어하는 것;
을 포함하는 그룹으로부터 선택될 수 있다.
본 발명에 따른 시스템은 적합하게 프로그래밍된 컴퓨터가 될 수 있음을 알 수 있다. 마찬가지로, 본 발명은, 본 발명의 방법을 실행하기 위한 컴퓨터 판독가능한 컴퓨터 프로그램을 상정(想定)하고 있다. 또한 본 발명은, 본 발명의 방법을 실행하기 위한 기계에 의해 실행될 수 있는 명령어의 프로그램을 구체적으로 구현하는 기계 판독가능한 메모리도 상정하고 있다.
이하, 본 발명을 이해하고 실제 본 발명을 어떻게 실시할 수 있는지를 알기 위해, 첨부 도면을 참조하여, 제한을 두려는 것이 아닌 실시예를 통해, 본 발명의 실시형태를 설명한다.
도 1은 관심 영역들로 분할된 복수의 프레임으로 이루어진 비디오 스트림을 개략적으로 나타내는 도면.
도 2는 본 발명의 일 실시형태에 따른 물체 검출 및 트랙킹을 위한 시스템을 나타내는 도면.
도 3은 본 발명의 일 실시형태에 따른 물체 검출 방법을 보여주는 도면.
도 4a는 비디오 스트림의 3개의 프레임을 보여주는 도면이며, 도 4b는 도 4a의 프레임들로부터 얻어진 관심 영역(RI) 프레임들을 나타내는 도면.
도 5는 본 발명의 일 실시형태에 따른 물체 트랙킹을 위한 방법을 나타내는 도면.
도 6은 물체 검출 및 트랙킹을 위한 본 발명의 시스템을 포함하는 데이터 처리 장치를 나타내는 도면.
도 7은 모션 패턴의 예와, 각종의 디바이스에서의 OS 커맨드의 실행에 있어서의 당해 모션 패턴의 사용을 보여주는 도면.
도 1은 비디오 프레임(4)의 시퀀스로 이루어진 비디오 시퀀스(2)를 개략적으로 나타내고 있다. 도 1에는 4개의 프레임(4a, 4b, 4c, 4d)이 도시되어 있다. 이것은 단지 예시일 뿐이며, 비디오 시퀀스(2)는 비디오 프레임을 2 이상의 임의의 개수로 포함하면 된다. 각각의 프레임은, 관심 영역(6)으로 분할되는 복수의 화소로 구성되며, 관심 영역은 도 1에서 점선(8)으로 그 경계가 표시되어 있다. 도 1에 도시된 프레임(4)은 36개(6개의 관심 영역 6열)의 관심 영역(6)으로 분할되어 있다. 이것은 단지 예시일 뿐이며, 프레임(4)은 2개 이상의 임의의 개수의 관심 영역으로 분할되어 있으면 된다. 관심 영역은 어떠한 형상을 가져도 좋으며 겹쳐져도 된다.
도 2는 본 발명의 일 실시형태에 따른, 비디오 스트림(2) 등의 비디오 스트림에 있어서의 물체 검출 및 트랙킹을 위한 시스템(40)을 도시하고 있다. 비디오 스트림(2)은 메모리(44)에 입력된다. 메모리(44)는, 그 메모리(44)에 저장된 비디오 스트림(2)의 프레임(6)을 가지고 오는 프로세서(46)에 의해 액세스되어질 수 있다. 후술하는 바와 같이, 프로세서(46)는 비디오 스트림(2)을 해석하는 물체 검출 모듈(45), 및 물체 검출 모듈(45)의 출력을 해석하는 물체 트랙킹 모듈(47)을 포함한다. 물체 검출 모듈(45)은, 각 프레임의 관심 영역을, 당해 관심 영역이 트랙킹되는 물체의 적어도 일부분을 포함할 확률에 따라 분류한다. 물체 트랙킹 모듈(47)은, 물체 검출 모듈(45)에 의해 출력되는 분류된 프레임을 그 입력으로서 수신하고, 계속되는 프레임에서 관심 영역의 분류를 비교함으로써, 물체의 모션을 판정한다.
시스템(40)은 OS 커맨드 실행 모듈(51)을 더 포함하여도 된다. 이 경우에, 메모리(44)는 하나 이상의 미리 결정된 모션 패턴의 각각에 대하여 관련지어진 OS 커맨드를 제공하는 룩업 테이블을 저장한다. 상기 미리 결정된 물체 모션 중 하나가 식별되면, 그 모션과 관련지어진 OS 커맨드가 실행된다.
사용자 입력 장치(48)는, 후술하는 바와 같이, 비디오 스트림(2)의 식별, 또는 프로세서(46)에 의해 해석될 파라미터와 같은 임의의 관련 데이터를 시스템(40)으로 입력하기 위해 사용될 수 있다. 비디오 스트림(2)은, 처리 결과와 함께, CRT 스크린, LCD 또는 프린터 등의 디스플레이 장치(50) 상에 표시될 수 있다.
도 3은, 본 발명의 일 실시형태에 따라 프로세서(46)의 물체 검출 모듈(45)에 의해 실행되는 비디오 스트림(2)의 어느 프레임에 있어서의 물체 검출을 위한 프로세스(20)를 보여준다. 이 프로세스는, 프레임을 메모리(44)로부터 취출하고 2개 이상의 관심 영역(6)으로 분할하는 스텝 18로부터 시작된다. 관심 영역은, Rafael C. Gonzalez, Richard E. Woods and Steven L. Eddins, Digital Image Processing, Prentice Hall (2004), Section 10.4.2 (Region Growing)에 개시된 것처럼, 시드 기반 영역 확장 기법(seeded region growing)과 같은 공지의 물체 분할 기술을 사용하여 동적으로 생성될 수 있다. 혹은, 관심 영역은 프레임을 36개의 영역으로 분할하는 고정된 6 X 6 행렬에 의한 바와 같은 일 군의 영역으로서 정적으로 규정될 수도 있다. 이어서, 스텝 24에서는 프레임에서 관심 영역(6)이 선택되고, 스텝 26에서는 관심 영역에 있는 화소의 통계학적 해석이 행해진다. 예를 들어, 상기 통계학적 해석은 상기 영역의 화소에 대해 정의된 하나 이상의 함수 각각에 대한 히스토그램(10)의 생성을 포함할 수 있다. 상기 함수는, 예를 들어 화소의 적색, 녹색 또는 청색 중 어느 하나의 강도이거나, 화소의 색상, 순도 또는 휘도 중 어느 하나일 수 있다. 상기 히스토그램은 단일 변수 히스토그램이거나 또는 화소 특성의 n-튜플(n-tuples)의 빈도를 총계낸 다중 변수 히스토그램일 수 있다. 상기 통계학적 해석은 하나 이상의 상기 히스토그램 중 어느 하나의 평균치, 최빈치, 표준 편차 또는 분산과 같은 통계학적 파라미터의 값을 산출하는 것을 포함할 수 있다. 상기 통계학적 해석의 결과는 메모리(44)에 저장된다.
스텝 30에서는, 막 해석된 관심 영역이 분류된다. 관심 영역의 분류는, 당해 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수이다. 관심 영역의 분류는, 비디오 스트림 중 현재의 프레임에 있어서의 관심 영역의 통계학적 해석과, 하나 이상의 이전 프레임에 있어서의 관심 영역의 통계학적 해석을 포함하는 방법으로 판정된다. 일 실시형태에서는, 거리 함수가 적용되어 당해 영역을 통과하는 트랙킹된 물체를 나타내는 파라미터 및 통계학적 특성에 대한 선택된 영역에 있어서의 각종 파라미터 및 통계학적 특성의 상사도를 산출한다. 영역 및 물체 파라미터는 예를 들어 서로 다른 형상과 윤곽 및 그들의 빈도의 존재를 포함하며, 통계학적 특성은 예를 들어 색상, 휘도 및 순도 및 컬러 패턴의 히스토그램을 포함할 수 있다. 조합된 거리 결과가 이전 프레임에 있어서의 관심 영역의 결과와 비교된다. 예를 들어, 색상 파라미터에 있어서의 거리는 트랙킹된 물체와 동일한 컬러의 물체가 영역에 진입했음을 나타낸다. 이것은 당해 영역이 트랙킹된 물체를 포함하는 보다 높은 확률로 분류되도록 한다. 상기 거리 함수는, 예를 들어 유클리디안 거리(Euclidean Distance) (E. Deja, M.M. Deja, Dictionary of Distances, Elsevier (2006)), 마하라노비스 거리(Mahalanobis Distance) (Mahalanobis, P C (1936). "On the generalised distance in statistics". Proceedings of the National Institute of Sciences of India 2 (1): 49-55), 이타쿠라 사이토 거리(Itakura saito Distance) (Itakura F., "Line spectrum representation of linear predictive coefficients of speech signals," J. Acoust.Soc. Am., 57, 537(A), 1975), 체비세프 거리(Chebyshev Distance) (James M. Abello, Panos M. Pardalos, and Mauricio G. C. Resende (editors) (2002). Handbook of Massive Data Sets. Springer.), 리 거리(Lee Distance) (E.R. Berlekamp, Algebraic Coding Theory, McGraw-Hill 1968), 해밍 거리(Hamming Distance) (Richard W. Hamming. Error Detecting and Error Correcting Codes, Bell System Technical Journal 26(2): 147-160, 1950), 또는 레벤슈타인 거리(Levenshtein Distance) (Dan Gusfield. Algorithms on strings, trees, and sequences: computer science and computational biology. Cambridge University Press, New York, NY, USA, 1997).가 될 수 있다. 선택된 관심 영역의 분류는 메모리(44)에 저장된다(스텝 31).
스텝 32에서는, 검출 모듈(45)에 의해 프레임의 다른 관심 영역을 해석할 것인지의 여부가 판정된다. 만일 "예"일 경우, 프로세스는 현재의 프레임의 다른 관심 영역을 선택하여 스텝 24로 되돌아간다. 그렇지 않으면, 비디오 프레임에 대해 "관심 영역(RI) 프레임"이 생성되는 스텝 34로 프로세스가 이어지고, 당해 프로세스는 종료한다. 입력된 비디오 프레임 중의 RI 프레임은 프레임의 관심 영역의 분류의 표상(representation)이다. 도 4a는, 서로 다른 세 시각(각각 시각 t0, t1, t2)에서 얻어진 비디오 스트림의 세 개의 프레임(110a, b, c)을 나타내고 있다. 본 예에서, 프레임들은 점선(112)으로 나타내는 고정적인 관심 영역으로 임의적으로 분할된다. 혹은, 관심 영역으로의 프레임의 동적 분할 방법을 사용할 수도 있다. 예를 들어, 한 세트의 미리 설정된 시드(seed) 영역을 통계적 동질성을 유지하는 보다 넓은 에리어로 확장시킨다. 예를 들어, 도 4의 허공 에리어에 위치된 시드 영역은, 그 영역이 색상(hue) 히스토그램과 에지 빈도가 현저히 변화하는 그라운드와 만날 때까지 확장한다. 이 분할 프로세스는, 트랙킹될 것으로 예상되는 모션의 축에 대한 사전 지식이나, 본래의 관심 그룹으로부터 제거되어야 하는 고변동 영역을 결정하는, 수개의 프레임의 통계학적 해석에 의해 도움받을 수 있다. 트랙킹 대상 물체(114)가 t0로부터 t2까지의 시간 간격 동안 프레임 중에서 이동하였다. 도 4b는 비디오 프레임(110a, 110b, 110c)에 각기 대응하는 관심 영역 프레임(116a, 116b, 116c)를 나타내고 있다. 도 4의 예에서, 각각의 관심 영역은, 물체(114)의 적어도 일부분이 관심 영역에 위치하는 지(도 4b에서 관심 영역을 크로스 해칭하여 표시)의 여부에 따라서, 또는 관심 영역이 물체(114)의 적어도 일부분을 포함하지 않는지(도 4b에서 해칭되지 않은 관심 영역)의 여부에 따라서 두 개의 분류 중 하나로 분류되었다. 따라서, 시각 t0에서 취득된 RI 프레임(116a)에 있어서, 프레임의 좌측에 위치된 영역(117a)는 물체(114)를 포함하는 것으로서 분류되었다. 이러한 분류는, 예를 들어 트랙킹된 물체의 색상 히스토그램과 선택된 영역의 히스토그램 사이의 유클리디안 거리를 측정함으로써, 영역과 트랙킹된 물체의 상사도(similarity rating)를 산출함으로써 얻을 수 있다. 같은 방법을 사용하여, 중간 프레임(116b)에서 두 영역(117b 및 117c)은 물체(114)를 포함하는 것으로 분류되었고, 나중 프레임(116c)에서 두 영역(117d 및 117e)은 물체(114)를 포함하는 것으로 분류되었다.
트랙킹 모듈(47)은 비디오 스트림의 어느 시간 구간 동안에 검출 모듈(45)에 의해 생성된 RI 프레임을 그 입력으로서 수신한다. 트랙킹 모듈(47)은 검출 모듈(45)과 동시에 동작하여, 검출 모듈(45)에 의해 생성되었을 때 분류된 프레임을 수신하여도 된다. 혹은, 트랙킹 모듈(47)은 검출 모듈(45)과 순차적으로 동작하여, 비디오 스트림의 모든 프레임이 분류된 후에만 그 분류된 프레임을 수신하여도 된다.
도 5는 본 발명의 일 실시형태에 따라 물체 트랙킹 모듈(47)에 의해 실행되는 물체 트랙킹 프로세스를 나타내고 있다. 스텝 52에서, 시간 구간의 RI 프레임들이 트랙킹 모듈(47)에 입력되며, 스텝 54에서는, RI 프레임들이 랜덤 노이즈의 제거를 위해 필터링된다. 이어서, 필터링된 RI 프레임들은 하나 이상의 독립된 패턴 검출 모듈(56)에 입력된다. 각각의 패턴 검출 모듈(56)은 필터링된 RI 프레임들로부터의 물체의 특정 모션 패턴을 검출하고, 당해 시간 구간 동안에 패턴 검출 모듈의 특정 모션 패턴이 일어나는 확률을 출력한다. 각각의 패턴 검출 모듈(56)은 입력된 RI 프레임의 일부 또는 전부에 대하여 패턴 인식 테스트를 적용한다. 예를 들어, 도 4b를 다시 참조하면, 패턴 검출 모듈(56)은 프레임의 좌측에서부터 프레임의 우측으로 물체의 모션을 검출한다. 하나 이상의 패턴 인식 모듈(56)의 출력이 모션 인식 모듈(58)에 입력된다. 모션 인식 모듈(58)은 당해 시간 구간 동안에 가장 일어났을 가능성이 높은 모션 패턴을 판정한다. 모션 검출 모듈(58)의 판정은 하나 이상의 패턴 검출 모듈(56)로부터 입력된 확률을 기초로 하며, 또한, 예를 들어 실행되고 있는 애플리케이션 또는 오퍼레이팅 시스템으로부터의 입력 등의 외부 입력을 고려할 수도 있다. 그리고나서, 모션 인식 모듈(58)의 모션 판정이 출력되고(스텝 60), 당해 프로세스는 종료한다.
도 6은 본 발명의 본 양태의 일 실시형태에 따른, 시스템(40)을 포함하는 데이터 처리 장치(72)를 도시하고 있다. 데이터 처리 장치(72)는, 예를 들어, 개인용 컴퓨터(PC), PDA, 랩탑 또는 팜 플롯(palm plot)과 같은 휴대형 컴퓨터, 또는 휴대 전화, 라디오 또는 기타 오락 기기, 운송 기구, 디지털 카메라 또는 이동형 게임기일 수 있다. 데이터 처리 장치(72)는 비디오 카메라(76)를 구비한다. 데이터 처리 장치(72)에는, 디스플레이 스크린(74) 및 데이터 처리 장치(72)에 데이터를 입력하기 위한 복수의 키(80)를 구비한 키패드(78)와 같은 각종 데이터 입력 장치가 제공될 수 있다.
카메라(76)는 점선으로 표시된 원추형 또는 피라미드형 체적 공간(86)을 바라본다. 카메라(76)는, 데이터 처리 장치(72) 상에 고정된 위치를 가져서, 이 경우 뷰잉 공간(86)이 데이터 처리 장치(72)에 대해 고정될 수도 있으며, 또는 데이터 처리 장치(72) 상에서의 위치를 변경할 수 있어서, 이 경우 뷰잉 공간(86)을 데이터 처리 장치(72)에 대해 선택가능할 수도 있다. 카메라(76)에 의해 촬상된 화상은 카메라(76)에 의해 디지털화되어 프로세서(46)에 입력된다(마찬가지로, 도 2 참조). 프로세서(46)의 물체 검출 모듈(45)은, 상술한 바와 같이, 카메라(76)에 의해 취득된 프레임에서 소정의 물체(94)를 검출한다. 물체(94)는, 예를 들어 사용자의 손가락이나 쫙 펼친 손, 주먹 쥔 손 또는 손등과 같은 여러 자세의 손 전체가 될 수 있다. 사용자는, 장치(72)가 손에 들고 사용하는 장치인 경우에는, 자신의 다른 편 손(89)을 사용하여 사용중에 장치(72)를 붙잡고 있을 수 있다. 손(89)은, 키패드(78) 상의 활성화 키(80)와 같은 데이터 처리 장치(72)와 관련지어진 실제의 입력 장치를 활성화시키는 데 사용될 수도 있다.
메모리(44)는 각 테스트에 대해 관련지어진 OS 커맨드를 제공하는 룩업 테이블을 저장한다. 패턴 식별 모듈(49)에 의해 모션 패턴이 검출되면, 당해 모션과 관련지어진 OS 커맨드가 메모리(44)에 저장된 룩업 테이블에서 참조되고, 이어서 당해 모션과 관련지어진 OS 커맨드가 OS 실행 모듈(51)에 의해 실행된다. OS 커맨드는, 예를 들어 디스플레이 스크린에 표시된 가상의 키를 누르는 것, 디스플레이 스크린 상에 나타나는 커서를 그 스크린 상의 새로운 위치로 이동시키는 것, 메모리(44)에 저장된 소프트웨어 애플리케이션을 프로세서(46) 상에 실행시키는 것, 또는 데이터 처리 장치(72)를 턴 오프하는 것이 될 수 있다. 상기 장치는 OS 커맨드가 실행되었음 나타내는 표시를 제공할 수도 있다. 예를 들어, 가상의 키보드 상의 키를 누르는 것에 대응하는 OS 커맨드는, 스크린(4) 상에 가상의 키보드 상에서 눌려진 키를 잠시 보여주거나, 그 키의 외형을 잠시 변경함으로써 표시될 수 있다. OS 커맨드가 실행되었음을 표시하는 다른 가능한 방법은, 스크린(4) 상에 눌려진 키나 커서의 외형을 잠시 확대하거나 달리 변경하는 것, 스크린(4) 상에 아이콘을 표시하는 것, 소리를 발생시키는 것, 그리고 장치를 진동시키는 것을 포함한다.
도 7은 패턴 검출 모듈(56)에 의해 인식될 수 있는 모션 패턴의 예, 및 정보 처리 장치(72)의 종류에 따라 어떻게 그 모션 패턴들을 사용하여 OS 커맨드를 실행하는지를 보여준다. 모션(100)은 정보 처리 장치(72) 쪽으로 손을 이동하는 것으로 구성된다. 모션(102)은 정보 처리 장치(72) 쪽으로 손을 이동하고 나서, 당해 정보 처리 장치로부터 손을 멀리 이동시키는 것으로 구성된다. 모션(104)은 정보 처리 장치 위에서 손을 좌측으로부터 우측으로 이동시키는 것으로 구성되고, 모션(106)은 정보 처리 장치 위에서 손을 우측으로부터 좌측으로 이동시키는 것으로 구성된다.

Claims (30)

  1. 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템(40)으로서,
    (a) 물체 검출 모듈(45) 및 물체 트랙킹 모듈(47)을 포함하는 프로세서(46)를 포함하며,
    상기 물체 검출 모듈(45)은,
    (i) 비디오 스트림의 복수의 프레임을 복수의 통계학적으로 정의된 관심 영역으로 분할된 이후에, 비디오 스트림에 있어서 복수의 프레임의 각각에서 복수의 관심 영역 각각에 대하여, 관심 영역에서 픽셀의 통계학적 해석을 실행하고,
    (ii) 상기 실행된 통계학적 해석에 기초하여 복수의 프레임의 각각에서 관심 영역을 분류하고, 각각의 비디오 프레임에 대해 관심 영역(RI) 프레임을 생성하되, 상기 RI 프레임은 관심 영역의 분류를 보고하고, 관심 영역의 분류는 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수인, 분류 및 생성하도록 구성되며,
    상기 물체 트랙킹 모듈(47)은 연속된 RI 프레임에서 관심 영역의 분류를 비교하여 물체의 모션을 판정하도록 구성된, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  2. 제 1 항에 있어서,
    상기 물체 트랙킹 모듈(47)은 하나 이상의 패턴 검출 모듈을 포함하고, 각각의 패턴 검출 모듈은, 어느 시간 구간(time window) 동안에 트랙킹된 물체의 특정한 모션 패턴이 상기 시간 구간 동안에 일어난 확률을 산출하도록 구성된, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  3. 제 2 항에 있어서,
    상기 물체 트랙킹 모듈은, 하나 이상의 패턴 검출 모듈에 의해 생성된 확률을 기초로 하여 가장 일어났을 가능성이 높은 모션 패턴을 판정하는 모션 인식 모듈을 더 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    식별된 모션 패턴에 관련지어진 OS 커맨드를 실행하도록 구성된 오퍼레이팅 시스템(OS) 커맨드 실행 모듈(51)을 더 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    관심 영역이 트랙킹되는 물체의 적어도 일부분을 포함하는 확률은,
    (a) 상기 비디오 스트림에서의 각 프레임의 하나 이상의 관심 영역 각각에 대해, 관심 영역의 화소의 통계학적 해석을 산출하는 단계와,
    (b) 상기 비디오 스트림의 하나 이상의 이전 프레임의 관심 영역의 통계학적 해석을 포함하는 계산에서 관심 영역의 별개의 분류를 산출하는 단계를 포함하는 방법으로 취득하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  6. 제 5 항에 있어서,
    상기 통계학적 해석은 상기 관심 영역의 화소에 대해 정의된 하나 이상의 함수 각각에 대한 히스토그램을 생성하는 것을 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  7. 제 6 항에 있어서,
    하나 이상의 상기 함수는,
    (a) 화소의 적색, 녹색 또는 청색 중 어느 하나의 강도(intensity), 및
    (b) 화소의 색상(hue), 순도(saturation) 또는 휘도(luminance) 중 어느 하나를 포함하는 그룹으로부터 선택되는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  8. 제 6 항에 있어서,
    하나 이상의 상기 함수의 통계학적 파라미터 값의 산출을 더 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  9. 제 8 항에 있어서,
    하나 이상의 통계학적인 파라미터는,
    (a) 평균치(average)
    (b) 최빈치(mode)
    (c) 표준 편차, 및
    (d) 분산(variance)을 포함하는 그룹으로부터 선택되는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  10. 제 6 항에 있어서,
    상기 통계학적 해석은, 하나 이상의 생성된 히스토그램과 트랙킹되는 물체의 존재를 나타내는 히스토그램 사이의 거리를 산출하는 것을 더 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  11. 제 4 항에 있어서,
    2 이상의 RI 프레임을 비교하는 단계는,
    (a) 각각의 프레임에 대해, 그리고 프레임의 분류된 관심 영역 각각에 대해, 관심 영역의 분류를, 프레임을 포함하는 어느 시간 구간에서 얻어진 복수의 프레임의 관심 영역의 분류와 비교하는 것과,
    (b) 상기 비교를 기초로 하여, 선택된 관심 영역이 트랙킹되는 물체를 포함하는지의 여부를 판정하는 것과,
    (c) 상기 판정을 기초로 하여, 관심 영역이 트랙킹되는 물체를 포함하는지의 여부에 따라 관심 영역을 재분류하는 것과,
    (d) 어느 시간 구간 동안에 2 이상의 영역의 상태에 있어서의 변화를 기초로 하여 물체의 모션의 하나 이상의 트랙킹 파라미터를 산출하는 것을 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  12. 제 11 항에 있어서,
    상기 트랙킹 파라미터는,
    (a) 물체의 이동 방향;
    (b) 물체의 이동 속도
    (c) 물체의 가속도
    (d) 화소에 있어서의 물체의 폭
    (e) 화소에 있어서의 물체의 높이
    (f) 프레임에 있어서의 물체의 위치를 포함하는 그룹으로부터 선택되는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 시스템.
  13. 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 방법으로서,
    (i) 비디오 스트림의 복수의 프레임을 복수의 통계학적으로 정의된 관심 영역으로 분할된 이후에, 비디오 스트림에 있어서 복수의 프레임의 각각에서 복수의 관심 영역 각각에 대하여, 관심 영역에서 화소의 통계학적 해석을 실행하는 단계와,
    (ii) 상기 실행된 통계학적 해석에 기초하여 각각의 비디오 프레임에서 관심 영역을 분류하고, 복수의 비디오 프레임의 각각에 대해 관심 영역(RI) 프레임을 생성하는 단계로서, 상기 RI 프레임은 관심 영역의 분류를 보고하고, 관심 영역의 분류는 관심 영역에서의 트랙킹된 물체의 존재 확률을 기술하는 이산 함수인, 분류 및 생성 단계를 포함하고,
    (iii) 연속된 RI 프레임에서 관심 영역의 분류를 비교하여 물체의 모션을 판정하는 단계를 포함하는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 방법.
  14. 제 13 항에 있어서,
    관심 영역이 트랙킹되는 물체의 적어도 일부분을 포함하는 확률은,
    (a) 비디오 스트림에서의 각 프레임의 하나 이상의 관심 영역 각각에 대해, 관심 영역의 화소의 통계학적 해석을 산출하는 단계와,
    (b) 비디오 스트림의 하나 이상의 이전 프레임의 관심 영역의 통계학적 해석을 포함하는 계산에서 관심 영역의 별개의 분류를 산출하는 단계를 포함하는 방법으로 취득되는, 비디오 스트림에 있어서 물체 검출 및 트랙킹을 위한 방법.
  15. 제 1 항 내지 제 3 항 중 어느 한 항에 따른 시스템을 포함하는 데이터 처리 장치.
  16. 제 15 항에 있어서,
    트랙킹되는 물체의 모션 패턴 중 하나 이상은,
    (a) 시간 구간 동안에 물체의 폭이 화소에 있어서 증가됨;
    (b) 시간 구간 동안에 물체의 폭이 화소에 있어서 감소됨;
    (c) 물체가 카메라에 보다 가까이 이동됨;
    (d) 물체가 카메라로부터 멀어지게 이동됨;
    (e) 물체가 소정 경로에서 이동됨;
    (f) 물체가 회전됨;
    (g) 물체가 움직이지 않음;
    (h) 물체가 임의의 유형의 모션을 취함;
    (i) 물체가 플리킹(flicking) 모션을 취함;
    (j) 물체가 가속됨;
    (k) 물체가 감속됨;
    (l) 물체가 이동 후 정지됨을 포함하는 그룹으로부터 선택되는, 데이터 처리 장치.
  17. 제 15 항에 있어서,
    상기 프로세서는 식별된 모션 패턴에 관련지어진 상기 장치의 OS 커맨드를 실행하도록 구성된 오퍼레이팅 시스템(OS) 커맨드 실행 모듈을 더 포함하고,
    하나 이상의 OS 커맨드는,
    (a) 상기 장치의 디스플레이 스크린 상에 표시된 가상의 키를 누르는 것;
    (b) 상기 장치의 디스플레이 스크린 상에 나타나는 커서를 스크린 상의 새로운 위치로 이동시키는 것;
    (c) 선택 캐러셀(carousel)을 회전시키는 것;
    (d) 데스크탑 사이에 절환하는 것;
    (e) 중앙 처리 유닛 상에 소정의 소프트웨어 애플리케이션을 실행시키는 것;
    (f) 애플리케이션을 턴-오프하는 것;
    (g) 스피커를 턴-온 또는 턴-오프하는 것;
    (h) 볼륨의 높임/줄임;
    (i) 미디어 플레이어에서 또는 IPTV 채널간에 다음 또는 이전의 트랙으로 건너 뛰는 것;
    (j) GPS 애플리케이션을 제어하는 것;
    (k) 보이스메일 서비스를 스위칭-온 하는 것;
    (l) 포토/뮤직 앨범 갤러리에서 항행(navigating)하는 것;
    (m) 웹 페이지, 이메일, 서류 또는 지도를 스크롤링하는 것;
    (n) 모바일 게임에서의 액션을 제어하는 것;
    (o) 인터랙티브 비디오 또는 만화 콘텐츠를 제어하는 것을 포함하는 그룹으로부터 선택되는, 데이터 처리 장치.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020117019652A 2009-02-02 2010-02-02 비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법 KR101632963B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US20215709P 2009-02-02 2009-02-02
US61/202,157 2009-02-02

Publications (2)

Publication Number Publication Date
KR20110138212A KR20110138212A (ko) 2011-12-26
KR101632963B1 true KR101632963B1 (ko) 2016-06-23

Family

ID=42104703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117019652A KR101632963B1 (ko) 2009-02-02 2010-02-02 비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법

Country Status (6)

Country Link
US (2) US9405970B2 (ko)
EP (1) EP2391972B1 (ko)
JP (1) JP5816098B2 (ko)
KR (1) KR101632963B1 (ko)
CN (1) CN102356398B (ko)
WO (1) WO2010086866A1 (ko)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US9269154B2 (en) * 2009-01-13 2016-02-23 Futurewei Technologies, Inc. Method and system for image processing to classify an object in an image
CN102356398B (zh) * 2009-02-02 2016-11-23 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
EP2428870A1 (en) * 2010-09-13 2012-03-14 Samsung Electronics Co., Ltd. Device and method for controlling gesture for mobile device
US8890803B2 (en) 2010-09-13 2014-11-18 Samsung Electronics Co., Ltd. Gesture control system
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
US8782566B2 (en) 2011-02-22 2014-07-15 Cisco Technology, Inc. Using gestures to schedule and manage meetings
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US9733789B2 (en) 2011-08-04 2017-08-15 Eyesight Mobile Technologies Ltd. Interfacing with a device via virtual 3D objects
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
KR20140069124A (ko) 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9492749B2 (en) * 2012-03-05 2016-11-15 Capcom Co., Ltd. Game program and game system
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9299159B2 (en) * 2012-11-09 2016-03-29 Cyberlink Corp. Systems and methods for tracking objects
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
WO2014109125A1 (ja) * 2013-01-09 2014-07-17 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR102203810B1 (ko) * 2013-10-01 2021-01-15 삼성전자주식회사 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
EP3055836B1 (en) * 2013-10-11 2019-03-20 Mauna Kea Technologies Method for characterizing images acquired through a video medical device
CN104574433A (zh) * 2013-10-14 2015-04-29 株式会社理光 对象跟踪方法和设备、跟踪特征选择方法
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9607015B2 (en) 2013-12-20 2017-03-28 Qualcomm Incorporated Systems, methods, and apparatus for encoding object formations
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
TWI509454B (zh) * 2014-02-17 2015-11-21 Noodoe Corp 基於動作偵測之作業啟始方法及系統，及相關電腦程式產品
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US10127783B2 (en) * 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9170707B1 (en) 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9575566B2 (en) * 2014-12-15 2017-02-21 Intel Corporation Technologies for robust two-dimensional gesture recognition
CN105791906A (zh) * 2014-12-15 2016-07-20 深圳Tcl数字技术有限公司 信息推送的方法和系统
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US9767378B2 (en) * 2015-08-31 2017-09-19 Sony Corporation Method and system to adaptively track objects
CN106621336B (zh) * 2015-10-30 2019-07-26 网易（杭州）网络有限公司 一种fps游戏场景地图设计可视化验证方法及系统
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9659380B1 (en) 2016-01-07 2017-05-23 International Business Machines Corporation Object position tracking using motion estimation
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
US20180082428A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Use of motion information in video data to track fast moving objects
US20180204344A1 (en) * 2017-01-17 2018-07-19 Thika Holdings Llc Method and system for data encoding from media for mechanical output
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10410086B2 (en) 2017-05-30 2019-09-10 Google Llc Systems and methods of person recognition in video streams
US10803598B2 (en) 2017-06-21 2020-10-13 Pankaj Chaurasia Ball detection and tracking device, system and method
US10304207B2 (en) * 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN113168706A (zh) * 2018-12-05 2021-07-23 瑞典爱立信有限公司 视频流的帧中的对象位置确定
CN109740557B (zh) * 2019-01-10 2021-05-28 北京市商汤科技开发有限公司 对象检测方法及装置、电子设备和存储介质
CN109816700B (zh) * 2019-01-11 2023-02-24 佰路得信息技术(上海)有限公司 一种基于目标识别的信息统计方法
GB201903509D0 (en) * 2019-03-14 2019-05-01 Smith Andrew James Cyclic movement detection and synchronisation appartus
US11354534B2 (en) 2019-03-15 2022-06-07 International Business Machines Corporation Object detection and identification
CN110189364B (zh) * 2019-06-04 2022-04-01 北京字节跳动网络技术有限公司 用于生成信息的方法和装置，以及目标跟踪方法和装置
US11164047B2 (en) 2019-07-22 2021-11-02 International Business Machines Corporation Object detection optimization
US11555910B2 (en) 2019-08-02 2023-01-17 Motional Ad Llc Merge-split techniques for sensor data filtering
WO2021060684A1 (ko) * 2019-09-29 2021-04-01 주식회사 작당모의 머신 러닝을 이용한 영상 내 객체 인식 방법 및 장치
US11182906B2 (en) 2019-11-24 2021-11-23 International Business Machines Corporation Stream object tracking with delayed object detection
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
US11533428B2 (en) 2020-01-23 2022-12-20 Samsung Electronics Co., Ltd. Electronic device and method for controlling electronic device
EP3901819B1 (en) 2020-04-20 2024-04-10 Tata Consultancy Services Limited Detecting and validating a user activity captured from multiple sensors
KR102376665B1 (ko) * 2020-09-28 2022-03-22 한국생산기술연구원 불투명 부재를 이용한 비접촉식 인식 장치 및 방법
US11682218B2 (en) 2021-03-17 2023-06-20 Geotab Inc. Methods for vehicle data collection by image analysis
US11669593B2 (en) 2021-03-17 2023-06-06 Geotab Inc. Systems and methods for training image processing models for vehicle data collection
US11800065B2 (en) 2021-08-19 2023-10-24 Geotab Inc. Mobile image surveillance systems and methods
US11693920B2 (en) 2021-11-05 2023-07-04 Geotab Inc. AI-based input output expansion adapter for a telematics device and methods for updating an AI model thereon
US11989949B1 (en) 2023-03-31 2024-05-21 Geotab Inc. Systems for detecting vehicle following distance

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210573A (ja) 2004-01-26 2005-08-04 Mitsubishi Electric Corp 映像表示システム
WO2008139399A2 (en) 2007-05-15 2008-11-20 Philips Intellectual Property & Standards Gmbh Method of determining motion-related features and method of performing motion classification

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69204045T2 (de) 1992-02-07 1996-04-18 Ibm Verfahren und Vorrichtung zum optischen Eingang von Befehlen oder Daten.
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
US7650015B2 (en) * 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6650318B1 (en) 2000-10-13 2003-11-18 Vkb Inc. Data input device
JP4079690B2 (ja) * 2002-05-23 2008-04-23 株式会社東芝 物体追跡装置及び方法
CN1266656C (zh) * 2003-12-30 2006-07-26 上海交通大学 视频监控系统的智能化报警处理方法
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US7733369B2 (en) * 2004-09-28 2010-06-08 Objectvideo, Inc. View handling in video surveillance systems
US7796780B2 (en) * 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
JP2007087089A (ja) * 2005-09-21 2007-04-05 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識プログラムおよびジェスチャ認識方法
JP2007122218A (ja) * 2005-10-26 2007-05-17 Fuji Xerox Co Ltd 画像分析装置
US8121347B2 (en) * 2006-12-12 2012-02-21 Rutgers, The State University Of New Jersey System and method for detecting and tracking features in images
WO2010030984A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting a displayed element relative to a user
CN102356398B (zh) * 2009-02-02 2016-11-23 视力移动技术有限公司 用于视频流中的对象识别和跟踪的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210573A (ja) 2004-01-26 2005-08-04 Mitsubishi Electric Corp 映像表示システム
WO2008139399A2 (en) 2007-05-15 2008-11-20 Philips Intellectual Property & Standards Gmbh Method of determining motion-related features and method of performing motion classification

Also Published As

Publication number Publication date
US9405970B2 (en) 2016-08-02
JP2012517044A (ja) 2012-07-26
US20110291925A1 (en) 2011-12-01
EP2391972B1 (en) 2015-05-27
JP5816098B2 (ja) 2015-11-18
WO2010086866A1 (en) 2010-08-05
US20160343145A1 (en) 2016-11-24
CN102356398A (zh) 2012-02-15
CN102356398B (zh) 2016-11-23
EP2391972A1 (en) 2011-12-07
KR20110138212A (ko) 2011-12-26

Similar Documents

Publication Publication Date Title
KR101632963B1 (ko) 비디오 스트림에 있어서 물체 인식 및 트랙킹을 위한 시스템 및 방법
US11137834B2 (en) Vehicle system and method for detection of user motions performed simultaneously
US20180024643A1 (en) Gesture Based Interface System and Method
EP2374089B1 (en) Method, apparatus and computer program product for providing hand segmentation for gesture analysis
US8269842B2 (en) Camera gestures for user interface control
CN112784810B (zh) 手势识别方法、装置、计算机设备和存储介质
US8553931B2 (en) System and method for adaptively defining a region of interest for motion analysis in digital video
US20140198031A1 (en) Palm gesture recognition method and device as well as human-machine interaction method and apparatus
US20130182898A1 (en) Image processing device, method thereof, and program
US10671841B2 (en) Attribute state classification
US20130135192A1 (en) Gesture recognition apparatus, method thereof and program therefor
CN117581275A (zh) 眼睛注视分类
JP2018156597A (ja) 情報処理装置、プログラム、及び情報処理方法
Lai et al. Real-time Hand Gesture Recognition System and Application.
CN111722717A (zh) 手势识别方法、装置及计算机可读存储介质
CN117406905A (zh) 触控区域分类方法、装置、电子设备及计算机可读介质
Purkayastha Integrating gesture recognition and speech recognition in a touch-less human computer interaction system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190618

Year of fee payment: 4