KR20040068987A - 비디오내의 추적된 오브젝트들의 궤적을 효과적으로저장하는 방법 - Google Patents

비디오내의 추적된 오브젝트들의 궤적을 효과적으로저장하는 방법 Download PDF

Info

Publication number
KR20040068987A
KR20040068987A KR10-2004-7010114A KR20047010114A KR20040068987A KR 20040068987 A KR20040068987 A KR 20040068987A KR 20047010114 A KR20047010114 A KR 20047010114A KR 20040068987 A KR20040068987 A KR 20040068987A
Authority
KR
South Korea
Prior art keywords
coordinates
current
video
specific object
objects
Prior art date
Application number
KR10-2004-7010114A
Other languages
English (en)
Inventor
코헨로버트에이.
브로드스키토마스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040068987A publication Critical patent/KR20040068987A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing

Abstract

향상된 궤적들의 저장을 위한 프로세스 및 시스템은 종래의 방법들 및 시스템들 보다 저장 소요들을 감소시킨다. 비디오 콘텐트 분석 모듈은 비디오 프레임내의 오브젝트들을 자동으로 식별하고, 각각의 오브젝트(i)의 (xi, yi) 좌표들을 결정한다. 오브젝트(i) 각각을 위한 기준 좌표들(xrefi, yrefi)은 오브젝트가 최초 식별되었을 때 (xi, yi)로 설정된다. 후속 프레임들에 대하여, 새로운 좌표들(xnewi, ynewi)이 기준 좌표들로부터 주어진 거리 보다 작은 경우, 즉, |(xnewi, ynewi)-(xrefi, yrefi)|2<e인 경우, 이때, 현재의 좌표들은 무시된다. 그러나, 오브젝트가 거리(e) 보다 많이 이동한 경우, 현재의 좌표들(xnewi, ynewi)이 오브젝트의 궤적 리스트내에 저장되고, 기준 좌표들(xrefi, yrefi)을 오브젝트의 현 위치로 설정한다. 이 프로세스는 모든 후속 비디오 프레임들에 대하여 반복된다. 그후, 결과적인 축소된 궤적 리스트들은 그들이 생성되는 동안 또는 그들이 완료되었을 때, 메모리 또는 디스크에 기록될 수 있다.

Description

비디오내의 추적된 오브젝트들의 궤적을 효과적으로 저장하는 방법{Method for efficiently storing the trajectory of tracked objects in video}
종래 기술에서, 비디오 시퀀스내에서 오브젝트들이 추적될 때, 궤적 좌표들이 일반적으로 비디오의 각 프레임을 위해 생성된다. 예로서, 초당 30 프레임들을 생성하는 NTSC 표준하에서, 비디오 시퀀스내의 각각의 오브젝트를 위한 새로운 위치 또는 좌표가 각 프레임을 위해 반드시 생성 및 저장되어야 한다.
이 프로세스는 극도로 비효율적이며, 방대한 저장량들을 필요로 한다. 예로서, 비디오 시퀀스내의 오브젝트들이 추적될 때, 단 한시간 동안의 궤적 데이터를 저장하기 위해 2메가바이트가 넘는 저장부가 필요하다. 따라서, 모든 궤적들의 저장은 비실용적이지는 않더라도 비용이 많이 소요된다.
종래 기술의 비효율성을 극복하기 위한 시도들이 존재한다. 예로서, 공간을 절약하기 위해서, 매 비디오 프레임을 위한 좌표들이 압축된다. 한가지 단점은 궤적들의 압축이 프로세스에 지연을 도입한다는 것이다. 압축에 무관하게, 여전히 각프레임을 위한 좌표들이 생성된다. 부가적으로, 비디오 프레임의 격자-기반 분할에 기초하여 매 프레임을 위한 비디오내의 움직임의 위치를 저장하는 디바이스들에 의해 궤적들의 생성을 회피하려는 시도가 이루어졌다. 이들 디바이스들은 여전히 각 프레임을 위한 데이터를 저장하며, 움직임의 위치의 정확도가 궤적들의 생성에 필적될 수 없다.
본 발명은 비디오 시퀀스들내의 오브젝트들의 추적(tracking)에 관한 것이다. 특히, 본 발명은 오브젝트 궤적들을 추적하기 위해 사용되는 좌표들의 저장에 관한 것이다.
도 1A 내지 도 1C는 도 1A에 대한 도 1B의 움직임이 도 1C의 수학식을 충족하지 못하는, 본 발명의 제 1 양태를 예시하는 도면.
도 2A 내지 도 2C는 도 2A에 대한 도 2B의 움직임이 도 2C의 수학식을 충족하는, 본 발명의 제 2 양태를 예시하는 도면.
도 3A 내지 도 3C는 박스 바운딩 기술에 속하는 본 발명의 다른 양태를 예시하는 도면.
도 4는 본 발명에 따라 사용되는 시스템의 개략도.
도 5A 및 도 5B는 본 발명의 일 양태를 예시하는 플로우 차트.
따라서, 본 발명의 목적은 종래 기술의 단점들을 조치하는 시스템 및 방법을 제공하는 것이다.
본 발명의 제 1 양태에서, 매 프레임 이후 그 이동을 저장하지 않고, 오브젝트들이 미리 결정된 양 보다 많이 이동할 때에만 좌표들이 저장된다.
이 특징은 종래의 방법들 보다 메모리 또는 디스크 사용량의 방대한 절감들을 가능하게 한다. 부가적으로, 좌표들을 생성하기 위해 종래에 처리되던 프레임당 생성의 프랙션들에 대한 필요성이 크게 감소된다.
비디오 콘텐트 분석 모듈이 자동으로 비디오 프레임내의 오브젝트들을 식별하고, 각각의 오브젝트(i)의 (xi, yi) 좌표들을 결정한다. 오브젝트가 최초 식별될 때, 오브젝트(i) 각각을 위한 기준 좌표들(xrefi, yrefi)이 (xi, yi)로 설정된다. 후속 프레임들을 위하여, 새로운 좌표들(xnewi, ynewi)이 기준 좌표들로부터 주어진거리 보다 작은 경우, 즉, ||(xnewi, ynewi)-(xrefi, yrefi)||2<ε인 경우, 이때, 현재의 좌표들은 무시된다. 그러나, 오브젝트가 거리(ε) 보다 많이 이동한 경우, 현재의 좌표들(xnewi, ynewi)이 오브젝트의 궤적 리스트내에 저장되고, 기준 좌표들(xrefi, yrefi)을 오브젝트의 현 위치로 설정한다. 이 프로세스는 모든 후속 비디오 프레임들에 대하여 반복된다. 그후, 결과적인 축소된 궤적 리스트들은 그들이 생성되는 동안 또는 그들이 완료되었을 때, 메모리 또는 디스크에 기록될 수 있다.
본 발명은 쇼핑 몰 등 같은 특정 영역내의 이동을 추적하는 비디오 감시 보안 시스템을 포함하는 다수의 영역들에 사용될 수 있다. VCR 같은 일 영역을 스캔/비디오테입 녹화하는 표준 비디오 카메라들을 위해 통상적으로 소요되는 저장량은 종종 방대한 불필요한 테이프들의 라이브러리를 생성할 수 있다. 부가적으로, 테이프 저장 영역들을 무용하게 하거나 다른 장소로의 운반을 위해 비용을 지불하지 않도록 신속히 테이프들을 재사용하는 경향이 있다. 본 발명의 축소 저장은 보안 영역들의 영구적 저장을 매우 보다 실용적이게 하며, 후속하는 범법 행위가 수행되기 이전에 범죄자에 의해 "정찰"(예로서, 범법 행위를 저지르기 이전에 범죄자에 의해 관찰)되는 지 여부를 관찰하기 위해 수사관들에게 기록을 제공할 수 있다.
또한, 상업적 설정에서, 본 발명은 예로서, 소매 상점에서, 계산대 줄에서 그들이 얼마나 오래 대기하여야 하는지를 알아보기 위해 사람들을 추적하도록 적용될 수 있다.
따라서, 비디오내의 추적된 오브젝트들의 궤적을 저장하기 위한 방법은
(a) 제 1 비디오 프레임내의 오브젝트들을 식별하는 단계,
(b) 제 1 비디오 프레임내의 단계 (a)에서 식별된 오브젝트들 각각을 위한 제 1 기준 좌표들(xrefi, yrefi)을 결정하는 단계,
(c) 제 1 기준 좌표들(xrefi, yrefi)을 저장하는 단계,
(d) 제 2 비디오 프레임내의 오브젝트들을 식별하는 단계,
(e) 제 2 비디오 프레임내의 오브젝트들의 현재의 기준 좌표들(xnewi, ynewi)을 결정하는 단계, 및
(f) 오브젝트 궤적 리스트내에 특정 오브젝트의 현재의 기준 좌표들을 저장하고, 특정 오브젝트에 대해
||(xnewi, ynewi)-(xrefi, yrefi)||2≥ε,(여기서, ε는 미리 결정된 임계량)조건이 충족되는 경우,
제 1 기준 좌표들(xrefi, yrefi)을 현재의 기준 좌표들(xnewi, ynewi)로 대체하며,
조건이 충족되지 않을 때, 후속 비디오 프레임들(210)과의 비교를 위해 제 1 기준 좌표들(xrefi, yrefi)을 유지하는 단계를 포함한다.
이 방법은 (g) 저장 영역을 부가적인 좌표들로 갱신하고, 단계 (f)에서 조건이 충족될 때마다 현재의 기준 좌표들을 새로운 값들로 갱신하도록, 비디오 시퀀스내의 제 2 비디오 프레임에 후속하는 모든 비디오 프레임들에 대해 단계들 (e) 및 (f)를 반복하는 단계를 더 포함할 수 있다.
선택적으로, 이 방법은 최종 좌표가 단계(f)의 조건이 충족되지 않더라도, 오브젝트의 최종 좌표들(즉, 오브젝트가 사라지고 궤적이 종료하기 직전 좌표들)을 저장하는 단계를 포함할 수 있다.
단계(f)에서 저장된 특정 오브젝트를 위한 오브젝트 궤적 리스트는 프로세서의 임시 메모리를 포함하고,
이 방법은 하기의 단계를 선택적으로 포함할 수 있다.
(h) 비디오 시퀀스의 모든 프레임들이 단계들 (a) 내지 (g)에 의해 처리된 이후 임시 메모리내에 저장된 모든 좌표들로부터 영구 저장부에 오브젝트 궤적 리스트를 기록하는 단계.
단계 (h)에서 언급된 영구 저장부는 자기 디스크, 광 디스크 및 자기-광 디스크 또는 심지어 테이프 중 적어도 하나를 포함할 수 있다. 대안적으로, 영구 저장부는 네트워크 서버에 배열될 수 있다.
단계 (e)의 현재의 기준 좌표들(xnewi, ynewi)의 결정은 박스 바운딩 기술(310, 320)을 사용함으로써 (i) 실질적으로 직접적으로 카메라를 향한 방향, 및, (ii) 실질적으로 직접적으로 카메라로부터 멀어지는 방향 중 하나로 이동하는 오브젝트들의 크기 추적을 포함할 수 있다. 박스 바운딩 기술은
(i) 특정 오브젝트의 기준 바운딩 박스(wref, href)를 결정하는 단계로서, w는 특정 오브젝트의 폭을 나타내고, h는 특정 오브젝트의 높이를 나타내는 기준 바운딩 박스 결정 단계, 및
(ii) 하위단계들(ii)(a) 및 (ii)(b)에서
(ii)(a) |wi-wrefi|>δw;
(ii)(a) |hi-hrefi|>δh조건들 중 어느 하나가 충족되는 경우
현재의 바운딩 박스(wi, hi)를 저장하는 단계를 포함할 수 있다.
여기서, δw및 δh는 미리 결정된 임계값이다.
대안적으로, 박스 바운딩 기술은
(i) 특정 오브젝트의 기준 바운딩 박스(wref, href)의 면적 a=wrefi *을 결정하는 단계로서, h는 특정 오브젝트의 높이를 나타내는 면적 결정 단계,
(ii) 현재의 바운딩 박스의 면적의 변화(δa)가 미리 결정된 양 보다 큰 경우, 현재의 바운딩 박스(wi, hi)의 좌표들을 저장하는 단계를 포함할 수 있다.
도 1A 내지 도 1C는 본 발명의 제 1 양태를 예시한다. 도 1A에 도시된 바와 같이, 프레임(105)은 오브젝트(100)(본 경우에는 사람을 나타내는 스틱 피겨(stick figure))를 포함한다. 이해를 돕기 위해, X 방향 및 Y 방향 양자 모두에 수치 스케일들이 프레임에 추가되어 있다. x,y 좌표들은 예로서, 오브젝트 화소들의 덩어리의 중심을 사용함으로써, 또는 박스 바운딩 기술(후술됨)의 경우에는 오브젝트 바운딩 박스의 중심을 사용함으로써 얻어질 수 있다는 것을 인지하여야 한다.
본 기술의 통상적인 지식을 가진 자는 스케일들이 단지 예시적 목적들을 위한 것일 뿐이며, 그 사이의 공간들 및/또는 수치값들은 청구된 발명을 이 스케일에 한정하지 않는다는 것을 이해하여야 한다. 오브젝트(100)는 이 특정 오브젝트를 위한 x,y 기준점으로서 이제 사용되는 위치(xrefi, yrefi)에서 식별되었다.
식별된 오브젝트들은 예로서, 사람들을 가져야 할 필요는 없으며, 테이블들, 의자들 및 책상들 같은 실내의 무생물 오브젝트들을 포함할 수 있다는 것을 인지하여야 한다. 본 기술에 공지된 바와 같이, 이들 오브젝트들은 예로서, 그 색상, 형상, 크기 등에 의해 식별될 수 있다. 배경으로부터 이동하는 오브젝트들을 분리시키기 위해 배경 추출 기술이 사용되는 것이 적합하다. 이 기술이 사용되는 한가지 방식은 배경 장면의 외관을 학습하고, 그후, 학습된 배경과 다른 이미지 화소들을 식별하는 것이다. 이런 화소들은 일반적으로 포어그라운드 오브젝트들에 대응한다. 출원인들은 여기에 논문들, A. Elgammal, D. Harwood 및 L. Davis의 "Non-pamaretric Model for Background Subraction(Proc. Europen Conf. on Computer vision, pp. Ⅱ : 751-767, 2000)" 및 C. Stauffer, W.E.L. Grimson의 "Adaptive Background Mixture Models for Real-time Tracking(Proc. Computer Vision and Pattern Recognition, pp. 246-252,1999)"를 당업자가 오브젝트 인식을 제공하는 방법 중 일부에 대한 참고 자료의 제공으로서 배경 자료로 참조로 통합한다. Stauffer의 참조문헌에서, 단순한 추적이 새로운 프레임내의 각각의 오브젝트를 이전 프레임내의 가장 근접한 오브젝트와 동일한 번호로 표시함으로써, 거리에 기초하여 연속적 프레임들내의 오브젝트들을 링크한다. 부가적으로, 오브젝트들은 여기에 배경 자료로서 참조로 통합되어 있는 T. Cormen, C. Leiserson 및 R. Rivest의 "Introduction to Algorithms(MIT Press, 1990, chapter 22.1)"에 기술된 바와 같은 연결-콤포넌트 알고리즘에 의해 포어그라운드 화소들을 그룹화함으로써 식별될 수 있다. 마지막으로, 오브젝트들은 여기에 그 내용이 참조로 통합되어 있는 2001년 11월 19일자로 출원된, 발명의 명칭이 "Computer Vision Method and System for Blob-Based Analysis Using a Probabilistic Network"인 미국 특허 출원 번호09/988,946호에 기술된 바와 같이 추적될 수 있다.
대안적으로, 오브젝트들은 수동으로 식별될 수 있다. 도 1B에 도시된 바와 같이, 오브젝트(100)는 제 1 프레임(105)의 (xrefi, yrefi)로부터 거리를 두고 있는 (xnewi, ynewi)의 좌표들을 가지는 제 2 프레임(110)내에서 포착된 새로운 위치로 이동되었다.
당업자는 오브젝트들이 식별 및 추적될 수 있는 다수의 방식들이 존재하지만, 본 발명은 오브젝트들의 식별 및 추적의 특정 유형에 무관하게 적용할 수 있다는 것을 인지할 것이다. 저장부의 절감량은 식별 및 추적의 유형에 무관하다.
본 발명의 일 양태에 따라서, 매 프레임 및 매 오브젝트에 대하여 새로운 좌표들을 저장하지 않고, 알고리즘이 제 2 프레임내의 오브젝트(100)에 의한 이동이 특정 미리 결정된 양 보다 큰지 여부가 결정된다. 이동이 미리 결정된 양 보다 작은 경우에, 도 1B를 위한 좌표들은 저장되지 않는다. 제 1 프레임(105)에서 식별된 기준 좌표들은 후속 프레임에 대하여 계속 사용된다.
도 2A는 그 좌표들이 제 3 프레임(210)내의 움직임을 추적하기 위해 사용되는 프레임(105)을 다시 예시한다(독자의 편의를 위해). 제 1 프레임(105)내의 그 위치에 대한, 제 3 프레임내의 오브젝트(100)에 의한 이동량은 미리 결정된 임계값 보다 크다. 따라서, 도 2B내의 오브젝트(100)의 좌표들은 이제 구 (xrefi, yrefi)에 대하여 새로운 기준 좌표들(신 (xrefi, yrefi)로 도면에 표시된 바와 같이)이 된다. 따라서, 오브젝트(100)의 궤적은 프레임 2내의 좌표들을 저장할 필요 없이 프레임들 1 및 3내의 좌표들을 포함한다. 예로서, 초당 30 프레임들을 생성하는 NTSC 같은 표준들에서, 미리 결정된 이동량은 현저한 양들의 좌표들을 저장할 필요가 없도록 설정될 수 있다는 것을 이해하여야 한다. 이 프로세스는 현재까지 알려지지 않은 압축의 효율을 허용할 수 있다.
미리 결정된 임계값으로서 사용되는 이동량은 특정 응용들에 맞춰질 수 있으며, 임계값이 동적으로 계산되거나 분석 프로세스동안 변경되는 것을 포함한다. 동적 계산은 평균 오브젝트 속도, 오브젝트의 일반적 크기, 오브젝트의 중요도 또는 비디오의 기타 통계치들 같은 인자들에 기초할 수 있다.
예로서, 보다 큰 임계량들이 보다 효과적인 저장을 허용하는 반면에, 보안 필름에서, 추적 대상 물품들이 극도로 가치가 있는 것일 때, 매우 작은 움직임의 량들이 사용될 수 있으며, 이는 저장 용량 및/또는 비용에 기초하여 중요한 고려사항이 될 수 있다. 부가적으로, 임계량은 좌표들의 궤적이 필요에 따라 실제 이동에 근접하도록 용도에 특정될 수 있다. 달리 말해서, 임계량이 너무 큰 경우, 저장되지 않는 서로 다른 방향들로의 이동이 존재할 수 있다. 따라서, 움직임의 궤적은 단지, 물론 불필요할 수 있는 절감된 좌표들 사이에서, 종래의 각 개별 프레임을 위한 추적 및 저장에서 결정되는 정확한 경로를 포함하는 것이 될 수 있다. 압축의 다수의 형태들에서, 일반적으로, 오브젝트들의 표현의 소정 정도의 삭감이 존재한다는 것을 인지하여야 한다.
도 3A 내지 3C는 박스 바운딩 기술에 속하는 본 발명의 다른 양태를 예시한다. 본 기술의 통상적인 지식을 가진 자들은 카메라가 도시되어 있지만, 비디오 이미지는 비디오 서버, DVD, 비디오테이프 등으로부터 올 수 있다는 것을 이해할 것이다. 오브젝트들이 카메라를 향해 또는 그로부터 멀어지는 방향으로 직접적으로 이동할 때, 그 좌표들은 저장을 위한 새로운 궤적 좌표들을 생성하기에 충분히 변화하지 않을 수 있다. 박스 바운딩 기술은 이 문제점을 극복할 수 있는 한가지 방식이다. 예로서, 직접적으로 카메라를 향해 또는 카메라로부터 멀어지는 방향으로 이동하는 오브젝트의 경우에, 오브젝트의 크기는 관련 방향에 따라 보다 크게 또는 보다 작게 나타난다.
도 3A 내지 도 3C는 크기 추적을 사용한 박스 바운딩 기술을 예시한다. 도 3A에 도시된 바와 같이, 바운딩 박스(305)는 제 1 프레임(310)의 오브젝트(307)의 폭 및 높이를 나타낸다.
도 3B의 제 3 프레임(312)에 도시된 바와 같이, 오브젝트(307)의 바운딩 박스(310)가 변경된다(이들 도면들이 설명 목적들을 위한 것이기 때문에, 이들은 반드시 스케일에 따라 그려진 것은 아니다.).
도 3C에 도시된 바와 같이, 박스 바운딩 기술은 후속 프레임의 바운딩 박스의 폭이 이전 프레임의 기준 박스의 폭과 다르거나, 특정 프레임의 바운딩 박스의 높이가 기준 프레임의 바운딩 박스의 높이와 다른 경우에 제 2 프레임(312)내의 오브젝트의 좌표를 저장하며, 이 경우, 편차는 미리 결정된 임계값 보다 크다. 대안적으로, 바운딩 박스의 면적(폭 x 높이)이 마찬가지로 사용될 수 있으며, 그래서, 바운딩 박스(310)의 면적이 미리 결정된 양만큼 기준 바운딩 박스(305)의 면적과 다른 경우에, 제 2 프레임의 좌표가 저장된다.
도 4는 본 발명에 따른 시스템의 일 실시예를 예시한다. 모든 엘리먼트들 사이의 연결부들은 유선, 무선, 광섬유 등의 소정의 조합일 수 있다는 것을 이해하여야 한다. 부가적으로, 아이템들 중 일부는 인터넷을 비제한적으로 포함하는 네트워크를 경유하여 접속될 수 있다. 도 4에 도시된 바와 같이, 카메라(405)는 특정 영역의 이미지들을 포착하고, 프로세서(410)에 정보를 중계한다. 프로세서(410)는 비디오 프레임내의 오브젝트들을 식별하고 각각의 오브젝트를 위한 좌표들을 결정하는 비디오 콘텐트 분석 모듈(415)을 포함한다. 각각의 오브젝트를 위한 현재의 기준 좌표들이 예로서, RAM(420)에 저장될 수 있지만, 메모리의 다른 유형들이 사용될 수 있다는 것을 이해하여야 한다. 궤적이 경로이기 때문에, 식별된 오브젝트들의 최초 기준 좌표들도 영구 저장 영역(425)에 저장된다. 이 영구 저장 영역은 자기 디스크, 광 디스크, 자기 광 디스크, 디스켓, 테이프 등이나, 소정의 다른 유형의 저장부일 수 있다. 이 저장부는 프로세서(410)와 동일 유닛내에 배치되거나, 원격적으로 저장될 수 있다. 저장부는 사실 서버(430)의 일부이거나 서버에 의해 액세스될 수 있다. 비디오 콘텐트 모듈이 프레임내의 오브젝트의 움직임이 미리 결정된 임계값만큼 기준 좌표들의 값을 초과하는 것을 결정할 때마다, RAM(420)내의 현재의 기준 좌표들이 갱신되고, 영구적으로 저장된다(425). 이 시스템이 단지 특정 임계량을 초과한 움직임의 저장만을 고려하기 때문에, 매 프레임을 기록하기에 충분한 용량 또는 저장부를 제공할 필요가 없으며, 저장 용량이 감소되거나, 대부분의 경우들에는 제거된다. 또한, 저장부가 비디오 테이프일 수 있다는 것도 인지하여야 한다.
출원인들의 도 5A 및 5B는 본 발명의 본 프로세스의 개요를 제공하는 플로우 차트를 예시한다.
단계 500에서, 제 1 비디오 프레임내의 오브젝트들이 식별된다.
단계 510에서, 제 1 비디오 프레임에서 식별된 오브젝트들 각각을 위한 기준 좌표들이 결정된다. 이들 기준 좌표들의 결정은 소정의 공지된 방법에 의해, 예로서, 오브젝트 바운딩 박스의 중심 또는 오브젝트 화소들의 덩어리의 중심을 사용하여 알려질 수 있다.
단계 520에서, 단계 510에서 결정된 제 1 기준 좌표들이 저장된다. 일반적으로, 이들 좌표들은 오브젝트의 궤적을 기록하는 영구적 유형의 메모리내에 저장될 수 있다. 그러나, 좌표들은 각 단계 이후 저장될 필요가 없다는 것을 이해하여야 한다. 달리 말해서, 좌표들은 테이블내의 프로세서에 의해 추적될 수 있으며, 모든 프레임들이 처리된 이후, 궤적이 그때 저장될 수 있다.
단계 530에서, 제 2 비디오 프레임내의 오브젝트들이 식별된다.
단계 540에서, 제 2 비디오 프레임내의 오브젝트들의 현재의 기준 좌표들의 결정이 이루어진다. 이들 좌표들은 제 1 프레임에서와 같거나 같지 않을 수 있다. 도 5B에 도시된 바와 같이, 단계 550에서, 특정 오브젝트의 현재의 기준 좌표들이 오브젝트 궤적 리스트에 저장되고, 특정 오브젝트를 위해 하기의 조건, 즉, ||(xnewi, ynewi)-(xrefi, yrefi)||2≥ε을 충족하는 경우에 그 특정 오브젝트의 제 1 기준 좌표들을 대체하기 위해 사용된다. 그러나, 조건이 충족되지 않을 때, 제 1기준 좌표들이 후속 비디오 프레임들과의 비교를 위해 유지된다. 프로세스는 모든 비디오 프레임들이 소진될 때까지 지속된다. 전술한 바와 같이, 오브젝트 궤적 리스트는 테이블 및/또는 프로세서내의 임시 저장 영역일 수 있으며, 이는 추후 예로서, 하드 드라이브, 기록형 CD ROM, 테이프, 비휘발성 전자 저장부 등 상에 저장된다. 본 발명의 개념 또는 첨부된 청구범위의 범주로부터 벗어나지 않고, 본 기술의 통상적인 지식을 가진 자에 의해 다양한 변형들이 본 발명에 이루어질 수 있다. 예로서, 비디오 프레임들내의 오브젝트를 식별하기 위해 사용되는 방법의 유형 및 추가 좌표들 및 후속 프레임들의 저장을 결정하기 위해 제공된 임계값들은 청구된 발명의 범주내에서 당업자에 의해 모두 변경될 수 있다. 부가적으로, 예로서, 미리 결정된 양의 시간 이후, 미리 결정된 움직임 임계값이 도달되지 않는 경우에도 특정 프레임의 좌표들이 저장되는, 시간 간격이 프로세스에 도입될 수 있다. 또한, x 및 y 이외의 좌표들이 사용되거나(예로서, z), x, y 좌표들이 다른 공간, 평면 또는 좌표 시스템으로 변환되고 새로운 공간에서 측정이 이루어질 수 있다는 것도 본 발명의 개념 및 첨부된 청구범위의 범주내에 포함되며, 당업자들이 이해할 수 있다. 예로서, 이미지들이 측정 이전에 원근 변환을 받는 경우가 있을 수 있다. 부가적으로, 측정된 거리는 |xnew-xrew|+|ynew-yref|≥ε처럼 보다 덜 계산 집약적인 척도 같은 유클리드 거리 이외의 것일 수 있다.

Claims (18)

  1. 비디오내의 추적된 오브젝트들의 궤적을 저장하기 위한 방법에 있어서,
    (a) 제 1 비디오 프레임(105)내의 오브젝트들(100)을 식별하는 단계와,
    (b) 상기 제 1 비디오 프레임내의 단계 (a)에서 식별된 상기 오브젝트들 각각을 위한 제 1 기준 좌표들(xrefi, yrefi)을 결정하는 단계와,
    (c) 상기 제 1 기준 좌표들(xrefi, yrefi)을 저장하는 단계와,
    (d) 제 2 비디오 프레임(110)내의 상기 오브젝트들(100)을 식별하는 단계,
    (e) 상기 제 2 비디오 프레임(110)내의 상기 오브젝트들(100)의 현재의 기준 좌표들(xnewi, ynewi)을 결정하는 단계와,
    (f) 오브젝트 궤적 리스트내에 특정 오브젝트의 상기 현재의 기준 좌표들을 저장하고, 상기 특정 오브젝트에 대해
    ||(xnewi, ynewi)-(xrefi, yrefi)||2≥ε, (여기서, ε는 미리 결정된 임계량) 조건이 충족되는 경우,
    상기 제 1 기준 좌표들(xrefi, yrefi)을 상기 현재의 기준 좌표들(xnewi, ynewi)로 대체하며,
    상기 조건이 충족되지 않을 때, 후속 비디오 프레임들(210)과의 비교를 위해상기 제 1 기준 좌표들(xrefi, yrefi)을 유지하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서, (g) 상기 저장 영역을 부가적인 좌표들로 갱신하고, 단계 (f)에서 상기 조건이 충족될 때마다 상기 현재의 기준 좌표들을 새로운 값들로 갱신하도록, 상기 비디오 시퀀스내의 상기 제 2 비디오 프레임에 후속하는 모든 비디오 프레임들에 대해 단계들 (e) 및 (f)를 반복하는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서, 상기 조건 단계 (f)가 충족되지 않을 때, 상기 비디오 시퀀스내의 상기 후속 비디오 프레임들의 최종 프레임의 최종 좌표들로서 상기 특정 오브젝트의 상기 현재의 좌표들을 저장하는, 방법.
  4. 제 1 항에 있어서, 상기 단계(f)에서 상기 조건이 충족되지 않더라도, 상기 비디오 시퀀스내의 후속 비디오 프레임들로부터 궤적이 종료하고 상기 특정 오브젝트가 사라지기 이전에 최종 좌표들로서 상기 현재의 좌표들을 저장하는 단계를 더 포함하는 방법.
  5. 제 1 항에 있어서, 상기 단계(f)에서 저장된 특정 오브젝트에 대한 상기 오브젝트 궤적 리스트는 프로세서의 임시 메모리를 포함하고,
    (h) 상기 비디오 시퀀스의 모든 프레임들이 단계들 (a) 내지 (g)에 의해 처리된 이후 상기 임시 메모리내에 저장된 모든 좌표들로부터 영구 저장부(permanent storage)에 상기 오브젝트 궤적 리스트를 기록하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서, 단계 (e)에서 상기 현재의 기준 좌표들(xnewi, ynewi)의 결정은 박스 바운딩 기술(310, 320)을 사용함으로써 (i) 실질적으로 직접 카메라를 향한 방향 및, (ii) 실질적으로 직접 카메라로부터 멀어지는 방향 중 하나로 이동하는 상기 오브젝트들의 크기 추적(size tracking)을 포함하는, 방법.
  7. 제 2 항에 있어서, 단계 (e)에서 상기 현재의 기준 좌표들(xnewi, ynewi)의 결정은 박스 바운딩 기술을 사용함으로써 (i) 실질적으로 직접 카메라를 향한 방향 및, (ii) 실질적으로 직접 카메라로부터 멀어지는 방향 중 하나로 이동하는 상기 오브젝트들의 크기 추적을 포함하는, 방법.
  8. 제 5 항에 있어서, 단계 (e)에서 상기 현재의 기준 좌표들(xnewi, ynewi)의 결정은 박스 바운딩 기술을 사용함으로써 (i) 실질적으로 직접 카메라를 향한 방향 및, (ii) 실질적으로 직접 카메라로부터 멀어지는 방향 중 하나로 이동하는 상기 오브젝트들의 크기 추적을 포함하는, 방법.
  9. 제 6 항에 있어서, 상기 박스 바운딩 기술은,
    (i) 상기 특정 오브젝트의 기준 바운딩 박스(wref, href)를 결정하는 단계로서, w는 상기 특정 오브젝트의 폭을 나타내고, h는 상기 특정 오브젝트의 높이를 나타내는, 상기 기준 바운딩 박스 결정 단계와,
    (ii) 하위 단계들(ii)(a) 및 (ii)(b)에서
    (ii)(a) |wi-wrefi|>δw;
    (ii)(a) |hi-hrefi|>δh조건들 중 어느 하나가 충족되는 경우,
    현재의 바운딩 박스(wi, hi)를 저장하는 단계를 포함하는, 방법.
  10. 제 6 항에 있어서, 상기 현재의 기준 좌표들이 임계값(ε)에 도달하였는지 여부의 결정은 상기 박스 바운딩 기술과 (xnewi, ynewi) 및 (xrefi, yrefi)에서의 차이들의 조합을 포함하는, 방법.
  11. 제 8 항에 있어서, 상기 박스 바운딩 기술은,
    (i) 상기 특정 오브젝트의 기준 바운딩 박스(wref, href)를 결정하는 단계로서, w는 상기 특정 오브젝트의 폭을 나타내고, h는 상기 특정 오브젝트의 높이를 나타내는, 상기 기준 바운딩 박스 결정 단계와,
    (ii) 하위 단계들(ii)(a) 및 (ii)(b)에서
    (ii)(a) |wi-wrefi|>δw;
    (ii)(a) |hi-hrefi|>δh조건들 중 어느 하나가 충족되는 경우,
    현재의 바운딩 박스(wi, hi)를 저장하는 단계를 포함하는, 방법.
  12. 제 9 항에 있어서, 상기 박스 바운딩 기술은,
    (i) 상기 특정 오브젝트의 기준 바운딩 박스(wref, href)를 결정하는 단계로서, w는 상기 특정 오브젝트의 폭을 나타내고, h는 상기 특정 오브젝트의 높이를 나타내는, 상기 기준 바운딩 박스 결정 단계와,
    (ii) 하위 단계들(ii)(a) 및 (ii)(b)에서
    (ii)(a) |wi-wrefi|>δw;
    (ii)(a) |hi-hrefi|>δh조건들 중 어느 하나가 충족되는 경우,
    현재의 바운딩 박스(wi, hi)를 저장하는 단계를 포함하는, 방법.
  13. 제 7 항에 있어서, 상기 박스 바운딩 기술은,
    (i) 상기 특정 오브젝트의 기준 바운딩 박스(wref, href)의 면적 a=wrefi *을 결정하는 단계로서, w는 상기 특정 오브젝트의 폭을 나타내고, h는 상기 특정 오브젝트의 높이를 나타내는, 상기 면적 결정 단계와,
    (ii) 상기 현재의 바운딩 박스의 상기 면적의 변화(δa)가 미리 결정된 양보다 큰 경우, 현재의 바운딩 박스(wi, hi)의 좌표들을 저장하는 단계를 포함하는, 방법.
  14. 제 8 항에 있어서, 상기 박스 바운딩 기술은,
    (i) 상기 특정 오브젝트의 기준 바운딩 박스(wref, href)의 면적 a=wrefi *을 결정하는 단계로서, w는 상기 특정 오브젝트의 폭을 나타내고, h는 상기 특정 오브젝트의 높이를 나타내는, 상기 면적 결정 단계와,
    (ii) 상기 현재의 바운딩 박스의 상기 면적의 변화(δa)가 미리 결정된 양 보다 큰 경우, 현재의 바운딩 박스(wi, hi)의 좌표들을 저장하는 단계를 포함하는, 방법.
  15. 제 9 항에 있어서, 상기 박스 바운딩 기술은,
    (i) 상기 특정 오브젝트의 기준 바운딩 박스(wref, href)의 면적 a=wrefi *을 결정하는 단계로서, w는 상기 특정 오브젝트의 폭을 나타내고, h는 상기 특정 오브젝트의 높이를 나타내는, 상기 면적 결정 단계,
    (ii) 상기 현재의 바운딩 박스의 상기 면적의 변화(δa)가 미리 결정된 양 보다 큰 경우, 현재의 바운딩 박스(wi, hi)의 좌표들을 저장하는 단계를 포함하는,방법.
  16. 제 1 항에 있어서, 상기 특정 오브젝트의 상기 미리 결정된 임계량(ε)은 상기 특정 오브젝트의 중요도의 지정, 상기 특정 오브젝트의 크기 및 평균 오브젝트 속도 중 하나에 따라 동적으로 계산되는, 방법.
  17. 비디오내의 추적된 오브젝트의 궤적을 저장하기 위한 시스템에 있어서,
    프로세서(410)와,
    상기 프로세서에 이미지들을 제공하기 위한 비디오 입력(405)과,
    상기 프로세서(410)에 제공된 상기 이미지내의 오브젝트들의 좌표들을 추적하기 위한 비디오 콘텐트 분석 모듈(415)과,
    오브젝트 궤적들의 저장을 위한 수단(425)을 포함하고,
    상기 비디오 콘텐트 모듈(415)은 상기 이미지들의 제 1 기준 프레임내에서 식별된 각각의 오브젝트에 기준 좌표값을 할당하고, 상기 제 1 프레임에 대한 후속 프레임내의 상기 오브젝트의 움직임의 량이 상기 기준 좌표값으로부터 임계값을 초과할 때에만 상기 기준 좌표값을 후속 프레임의 값으로 갱신하는, 시스템.
  18. 비디오내의 추적된 오브젝트들의 궤적을 저장하기 위한 방법에 있어서,
    (a) 제 1 비디오 프레임내의 오브젝트들을 식별하는 단계(500)와,
    (b) 상기 제 1 비디오 프레임내의 단계 (a)에서 식별된 상기 오브젝트들 각각에 대한 제 1 기준 좌표들(xrefi, yrefi)을 결정하는 단계(510)와,
    (c) 상기 제 1 기준 좌표들(xrefi, yrefi)을 저장하는 단계(520)와,
    (d) 제 2 비디오 프레임내의 상기 오브젝트들을 식별하는 단계(530)와,
    (e) 상기 제 2 비디오 프레임내의 상기 오브젝트들의 현재의 기준 좌표들(xnewi, ynewi)을 결정하는 단계(540)와,
    (f) 오브젝트 궤적 리스트내에 특정 오브젝트의 상기 현재의 기준 좌표들을 저장하고, 상기 특정 오브젝트에 대해
    |xnewi-xrefi|+|(ynewi-yrefi)|≥ε, (여기서, ε는 미리 결정된 임계량) 조건이 충족되는 경우,
    상기 제 1 기준 좌표들(xrefi, yrefi)을 상기 현재의 기준 좌표들(xnewi, ynewi)로 대체하며,
    상기 조건이 충족되지 않을 때, 후속 비디오 프레임들과의 비교를 위해 상기 제 1 기준 좌표들(xrefi, yrefi)을 유지하는 단계(550)를 포함하는 방법.
KR10-2004-7010114A 2001-12-27 2002-12-10 비디오내의 추적된 오브젝트들의 궤적을 효과적으로저장하는 방법 KR20040068987A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/029,730 2001-12-27
US10/029,730 US20030126622A1 (en) 2001-12-27 2001-12-27 Method for efficiently storing the trajectory of tracked objects in video
PCT/IB2002/005377 WO2003060548A2 (en) 2001-12-27 2002-12-10 Method for efficiently storing the trajectory of tracked objects in video

Publications (1)

Publication Number Publication Date
KR20040068987A true KR20040068987A (ko) 2004-08-02

Family

ID=21850560

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7010114A KR20040068987A (ko) 2001-12-27 2002-12-10 비디오내의 추적된 오브젝트들의 궤적을 효과적으로저장하는 방법

Country Status (7)

Country Link
US (1) US20030126622A1 (ko)
EP (1) EP1461636A2 (ko)
JP (1) JP2005515529A (ko)
KR (1) KR20040068987A (ko)
CN (1) CN1613017A (ko)
AU (1) AU2002353331A1 (ko)
WO (1) WO2003060548A2 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
SE527467C2 (sv) * 2003-12-22 2006-03-14 Abb Research Ltd Förfarande för positionering och ett positioneringssystem
WO2007038986A1 (en) 2005-09-30 2007-04-12 Robert Bosch Gmbh Method and software program for searching image information
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
US8588583B2 (en) * 2007-08-22 2013-11-19 Adobe Systems Incorporated Systems and methods for interactive video frame selection
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
US8929588B2 (en) 2011-07-22 2015-01-06 Honeywell International Inc. Object tracking
US9438947B2 (en) 2013-05-01 2016-09-06 Google Inc. Content annotation tool
US10115032B2 (en) * 2015-11-04 2018-10-30 Nec Corporation Universal correspondence network
KR101803275B1 (ko) * 2016-06-20 2017-12-01 (주)핑거플러스 영상 컨텐츠에 포함된 오브젝트와 매핑 가능한 상품의 위치를 트래킹하는 영상 컨텐츠의 전처리 방법, 이를 실행하는 서버 및 좌표 입력자 장치
US10970855B1 (en) 2020-03-05 2021-04-06 International Business Machines Corporation Memory-efficient video tracking in real-time using direction vectors
CN113011331B (zh) * 2021-03-19 2021-11-09 吉林大学 机动车是否礼让行人的检测方法、装置、电子设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5213281A (en) * 1991-08-30 1993-05-25 Texas Instruments Incorporated Method and apparatus for tracking an aimpoint with arbitrary subimages
GB9215102D0 (en) * 1992-07-16 1992-08-26 Philips Electronics Uk Ltd Tracking moving objects
JP3487436B2 (ja) * 1992-09-28 2004-01-19 ソニー株式会社 ビデオカメラシステム
JP3268953B2 (ja) * 1995-02-27 2002-03-25 三洋電機株式会社 追尾領域設定装置，動きベクトル検出回路およびそれを用いた被写体追尾装置
US6185314B1 (en) * 1997-06-19 2001-02-06 Ncr Corporation System and method for matching image information to object model information
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6741725B2 (en) * 1999-05-26 2004-05-25 Princeton Video Image, Inc. Motion tracking using image-texture templates
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
US6731805B2 (en) * 2001-03-28 2004-05-04 Koninklijke Philips Electronics N.V. Method and apparatus to distinguish deposit and removal in surveillance video
US6985603B2 (en) * 2001-08-13 2006-01-10 Koninklijke Philips Electronics N.V. Method and apparatus for extending video content analysis to multiple channels
US8316407B2 (en) * 2005-04-04 2012-11-20 Honeywell International Inc. Video system interface kernel
US9077882B2 (en) * 2005-04-05 2015-07-07 Honeywell International Inc. Relevant image detection in a camera, recorder, or video streaming device
US7529646B2 (en) * 2005-04-05 2009-05-05 Honeywell International Inc. Intelligent video for building management and automation
US7876361B2 (en) * 2005-07-26 2011-01-25 Honeywell International Inc. Size calibration and mapping in overhead camera view

Also Published As

Publication number Publication date
WO2003060548A2 (en) 2003-07-24
JP2005515529A (ja) 2005-05-26
WO2003060548A3 (en) 2004-06-10
US20030126622A1 (en) 2003-07-03
CN1613017A (zh) 2005-05-04
EP1461636A2 (en) 2004-09-29
AU2002353331A1 (en) 2003-07-30

Similar Documents

Publication Publication Date Title
JP4320141B2 (ja) 要約映像生成のための方法とシステム
Elhabian et al. Moving object detection in spatial domain using background removal techniques-state-of-art
US5083860A (en) Method for detecting change points in motion picture images
US7620207B2 (en) Linking tracked objects that undergo temporary occlusion
CN100538743C (zh) 通过实时视频动作分析理解视频内容
US8384791B2 (en) Video camera for face detection
US5684898A (en) Method and apparatus for background determination and subtraction for a monocular vision system
KR20040068987A (ko) 비디오내의 추적된 오브젝트들의 궤적을 효과적으로저장하는 방법
JP5088507B2 (ja) 同一性判定装置、同一性判定方法および同一性判定用プログラム
GB2409028A (en) Face detection
EP1542152B1 (en) Object detection
GB2409030A (en) Face detection
WO2007007693A1 (en) Dynamic generative process modeling
GB2409029A (en) Face detection
CN114549582A (zh) 一种轨迹地图生成方法、装置及计算机可读存储介质
EP1134984B1 (en) Object region data generating method, object region data generating apparatus, approximation polygon generating method, and approximation polygon generating apparatus
JP4572175B2 (ja) 非定常映像検出装置，非定常映像検出方法及びその方法を実装したプログラム
CN114066933A (zh) 一种多目标跟踪方法、系统及相关设备
Dhananjaya et al. Detection of objects in aerial videos for object extraction and tracking for UAV applications
Li et al. GMM-based efficient foreground detection with adaptive region update
Porikli Multi-Camera Surveillance: Objec-Based Summarization Approach
Landabaso et al. Hierarchical representation of scenes using activity information
Baser et al. Real time foreground segmentation for video sequences with dynamic background
Ilamathi et al. Transprecision Gaussian Average Background Modelling Technique for Multi-vehicle Tracking Applications
El-Said et al. Real-Time Motion Detection For Storage Videos In Surveillance Cameras

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid