KR100757261B1 - Tracking method and system for tracking with multiple point-of view - Google Patents
Tracking method and system for tracking with multiple point-of view Download PDFInfo
- Publication number
- KR100757261B1 KR100757261B1 KR1020050061686A KR20050061686A KR100757261B1 KR 100757261 B1 KR100757261 B1 KR 100757261B1 KR 1020050061686 A KR1020050061686 A KR 1020050061686A KR 20050061686 A KR20050061686 A KR 20050061686A KR 100757261 B1 KR100757261 B1 KR 100757261B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- subject
- information
- tracking
- input
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
- G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 영상 입력 장치의 FOV(field of view)가 서로 겹치도록 구성되는 다수의 영상 입력 장치로부터 영상을 입력받는 단계와, 상기 입력된 다수의 영상을 분석하여 피사체의 움직임을 탐지하는 단계와, 상기 탐지된 피사체를 포함하는 영상에 대해서 탐지 영역 최적화를 수행하는 단계와, 상기 탐지 영역 최적화가 수행된 영상에 대해서 상기 피사체의 영상 추적을 수행하는 단계와, 상기 영상 추적된 피사체의 영상에 대해서 공간 일치 작업을 수행하는 단계와, 상기 공간 일치된 영상에 대해서 피사체 정보 분석을 수행하여 정보 분석 결과를 생성하는 단계를 포함하는 다중 시야 추적 방법에 관한 것이다.The present invention includes the steps of receiving images from a plurality of image input devices configured to overlap the field of view (FOV) of the image input device, detecting the movement of the subject by analyzing the plurality of input images; Performing detection region optimization on an image including the detected subject, performing image tracking of the subject on the image on which the detection region optimization has been performed, and performing space on an image of the image-tracked subject And performing a matching operation and generating an information analysis result by performing subject information analysis on the spatially matched image.
본 발명에 따르면, 기존의 보안 시스템에서 하나의 카메라를 이용하여 피사체의 추적을 수행함으로써 피사체가 다른 물체에 의한 간섭이 발생하는 경우 판별이 어려운 단점을 개선하여 영상 입력 장치의 FOV가 서로 겹치도록 다수의 카메라를 배치하고 피사체를 추적함으로써 피사체의 위치 추적뿐만 아니라 이동 궤적, 출입 시간, 피사체의 상태(이동, 정지, 서있는 상태, 앉아 있는 상태 등), 시야 방향, 높이 정보 등의 다수의 정보를 동시에 획득하여 추적의 오차를 최소화하며 정보 손실을 최소화할 수 있다.According to the present invention, by tracking the subject using one camera in the existing security system, it is difficult to discriminate when the subject is caused by other objects, thereby improving the disadvantage that a plurality of FOVs of the image input apparatus overlap each other. By positioning the camera and tracking the subject, you can track not only the subject's position but also a large number of information such as movement trajectory, entrance time, subject's state (movement, stop, standing state, sitting state, etc.), view direction and height information. Acquisition can minimize tracking errors and minimize information loss.
영상 추적, 다중 시야, 피사체, 간섭, 정보 손실 최소화, FOV, 탐지 영역 최적화, 공간 일치 Image Tracking, Multiple Field of View, Subjects, Interference, Minimizing Information Loss, Field of View, Optimizing Detection Area, Spatial Matching
Description
도 1은 종래의 추적 시스템의 흐름도.1 is a flow chart of a conventional tracking system.
도 2는 종래의 추적 시스템의 구성도.2 is a block diagram of a conventional tracking system.
도 3은 본 발명에 따른 다중 시야 추적 방법의 흐름도.3 is a flow chart of a multi-view tracking method according to the present invention.
도 4는 본 발명에 따른 다중 시야 추적 시스템의 블록도.4 is a block diagram of a multiple field of view tracking system in accordance with the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
110: 광역 감시 장치 120: 카메라110: wide area monitoring device 120: camera
130: 지역 감시 장치 210: 영상 입력 장치130: area monitoring device 210: video input device
220: 영상 입력 및 제어부 230: 피사체 정보 분석부220: image input and control unit 230: subject information analyzer
240: 정보 저장부 240: 통신 인터페이스부240: information storage unit 240: communication interface unit
본 발명은 다중 시야 추적 방법 및 추적 시스템에 관한 것으로, 더욱 구체적으로는 기존의 보안 시스템에서 하나의 카메라를 이용하여 피사체의 추적을 수행함으로써 피사체가 다른 물체에 의한 간섭이 발생하는 경우 판별이 어려운 단점을 개선하여 영상 입력 장치의 FOV가 서로 겹치도록 다수의 카메라를 배치하고 피사체를 추적함으로써 피사체의 위치 추적뿐만 아니라 이동 궤적, 출입 시간, 피사체의 상태(이동, 정지, 서있는 상태, 앉아 있는 상태 등), 시야 방향, 높이 정보 등의 다수의 정보를 동시에 획득하여 추적의 오차를 최소화하며 정보 손실을 최소화할 수 있는 다중 시야 추적 방법 및 추적 시스템에 관한 것이다.The present invention relates to a multi-view tracking method and a tracking system. More specifically, it is difficult to discriminate when an object is caused by another object by tracking a subject using one camera in a conventional security system. By arranging a plurality of cameras so that the FOVs of the image input devices overlap each other and tracking the subject, the movement trajectory, the entrance time, and the state of the subject (moving, stopping, standing, sitting, etc.) The present invention relates to a multi-view tracking method and a tracking system capable of simultaneously acquiring a plurality of pieces of information such as field direction and height information to minimize tracking errors and minimize information loss.
보안 시스템은 카메라 등의 영상 수집을 통한 보안 시스템과 센서 기반 보안 시스템으로 구분될 수 있다. 이 중 센서 기반 보안 시스템(침입 감지, 적외선, 화재 감지)은 사용자의 다양한 욕구를 충족하지 못하는 단점으로 영상 위주의 보안 시스템 및 영상과 센서의 결합 형태의 보안 시스템의 수요가 증가하고 있다.The security system may be classified into a security system through image acquisition such as a camera and a sensor-based security system. Among them, sensor-based security systems (intrusion detection, infrared ray, fire detection) are failing to satisfy various needs of users. There is an increasing demand for a video-based security system and a combination of image and sensor.
이러한 영상 보안 시스템은 실시간으로 보안 영역을 감시 하고 감시 영역의 영상을 저장하여 필요시 재생할 수 있다는 장점이 있다. 또한 최근에는 카메라를 이용한 영상 보안 시스템에 지능적인 요소를 추가하여 단순한 감시의 역할 뿐만이 아니라 다양한 역할도 수행할 수 있도록 발전하는 추세이다. 예컨대 이러한 영상 보안 시스템을 통하여 움직임을 추적하여 움직임 정보를 이용하여 영상을 저장하거나 영상 내에 들어온 사람의 위치를 판별하여 지능형 가전을 제어하는 등의 응용 애플리케이션도 개발되고 있다.Such a video security system has the advantage of monitoring the security area in real time and storing the image of the surveillance area and replaying it when necessary. In recent years, by adding an intelligent element to a video security system using a camera, it is evolving to perform various roles as well as simple surveillance. For example, application applications are being developed such as tracking a motion through such a video security system to store an image using motion information or to determine a location of a person who enters the image to control an intelligent home appliance.
하지만 이러한 종래의 영상 보안 시스템에서는 하나의 카메라를 이용하여 피사체, 예컨대 사람의 이동에 대한 추적을 수행하므로 피사체가 이동하여 다른 물체 에 의해 겹치거나 가려지는 경우에는 피사체의 영상 기반 추적을 수행하는데 어려움이 있다. However, such a conventional video security system tracks the movement of a subject, such as a person, by using a single camera, so when the subject is moved and overlapped or covered by another object, it is difficult to perform image-based tracking of the subject. have.
따라서 영상 보안 시스템에서 다수의 카메라를 배치하고 이를 이용한 영상 추적을 수행하는 기술이 개발되고 있다.Therefore, a technology for arranging a plurality of cameras and performing image tracking using the same in a video security system has been developed.
예컨대 김화윤 등에 의해서 1999년 10월 11일자로 출원되고 2001년 5월 7일자로 공개된 "다중 객체 환경에서의 고속 이동체 추적 감시 방법"이라는 명칭의 특허출원번호 제10-1999-0043796호 또는 주식회사 네트웍코리아에 의해서 2000년 4월 28일자로 출원되고 2002년 11월 30일자로 등록된 "다중 이동물체 추적/감시 시스템"이라는 명칭의 특허등록번호 제10-0364582호 또는 아만 제임스 에이. 등에 의해서 2001년 5월 19일자로 출원되고 2001년 10월 27일자로 공개된 "다중 물체 추적 시스템"이라는 명칭의 특허출원번호 제10-2001-7006357호는 이러한 다수의 카메라를 사용한 영상 추적 시스템을 개시하고 있다.For example, Patent Application No. 10-1999-0043796 filed on October 11, 1999 and published on May 7, 2001 by Kim Hwa Yoon et al. Patent Registration No. 10-0364582 or Aman James A. filed April 28, 2000 and registered on November 30, 2002, entitled "Multiple Moving Object Tracking / Monitoring System." Patent Application No. 10-2001-7006357, filed May 19, 2001 and published October 27, 2001, discloses an image tracking system using a number of such cameras. It is starting.
도 1은 상기 특허출원번호 제10-1999-0043796호에 개시된 추적 시스템의 흐름도이다. 1 is a flow chart of the tracking system disclosed in the patent application No. 10-1999-0043796.
상기 특허출원번호 제10-1999-0043796호는 영상 입력단을 고정형 카메라와 이동형 카메라로 구성하며, 이동형 카메라는 팬/틸트 드라이버(Pan/Tilt Driver)가 장착되어 있도록 구성한다. The patent application No. 10-1999-0043796 is composed of a fixed camera and a mobile camera, the image input terminal, the mobile camera is configured to be equipped with a pan / tilt driver (Pan / Tilt Driver).
도시되듯이 고정형 카메라는 일정 영역에 대해 계속적인 감시를 수행하며(S110), 이동형 카메라는 각기 다른 감시 영역에 대해 순환 감시를 수행한다. As shown, the stationary camera performs continuous monitoring on a certain area (S110), and the mobile camera performs circular monitoring on different monitoring areas.
이때, 고정형 카메라의 입력 정보로부터 움직임 정보를 추출하여(S120) 기준치 이상의 속도로 움직이는 이동체가 식별 되었을 경우 이동형 카메라에 추적 명령을 하달하고 고정형 카메라는 동영상으로 현장 정보를 저장한다(S130). At this time, by extracting the motion information from the input information of the fixed camera (S120), when a moving object moving at a speed higher than the reference value is identified, a tracking command is issued to the mobile camera, and the fixed camera stores the site information as a video (S130).
명령을 하달받은 이동형 카메라(102)는 추적영역 연속 영상열을 획득하여(S140), 입력 영상열로부터 움직임 추정 기법에 의한 분석을 통하여 이동체의 움직임 방향을 예측하고(S150), 드라이버(Pan/Tilt Driver)의 구동량을 결정하고(S160), 이를 이용하여 동영상을 저장한다(S170). The mobile camera 102 receiving the command acquires the continuous video sequence of tracking areas (S140), predicts the moving direction of the moving object through analysis by the motion estimation technique from the input image sequence (S150), and the driver (Pan / Tilt). The driving amount of the driver is determined (S160), and the video is stored using the same (S170).
도 2는 상기 특허등록번호 제10-0364582호에 개시된 추적 시스템의 구성도이다. 2 is a configuration diagram of the tracking system disclosed in Patent Registration No. 10-0364582.
도시되듯이 상기 특허등록번호 제10-0364582호에 개시된 추적 시스템은 광역 감시 장치(110)와 다수의 지역 감시 장치(130a 내지 130n)를 포함한다. 광역 감시 장치(110)는 고정된 카메라(120)를 이용하여 감시 범위 내에 존재하는 복수의 이동 물체의 움직임을 동시에 추출하여 이들 정보를 등록하고, 등록된 복수의 이동 물체 중에서 추적대상이 되는 적어도 하나 이상의 이동 물체를 선택하고, 선택된 적어도 하나 이상의 이동 물체를 제 1 감시영역에서 추적하고, 선택된 적어도 하나 이상의 이동 물체가 상기 제 1 감시영역을 벗어나면 이동 물체 추적명령을 출력한다. As shown, the tracking system disclosed in Patent Registration No. 10-0364582 includes a wide
지역 감시 장치(130a 내지 130n)는 팬/틸트로 움직이며 각각 독립된 제 2 감시영역을 감시하며, 광역 감시 장치(110)로부터 선택된 적어도 하나 이상의 이동 물체에 대한 추적명령이 입력되면 복수의 지역 감시 장치(130a 내지 130n)를 순차적으로 구동하여 선택된 이동 물체가 제 2 감시영역을 벗어날 때까지 추적 및 주밍하면서 감시한다. The
광역 감시 장치(110)와 다수의 지역 감시 장치(130a 내지 130n)는 선택된 적어도 하나 이상의 이동 물체의 움직임을 동시에 추출하여 각각의 이동 물체의 움직 임 영역을 효과적으로 분리/병합시켜 실시간으로 추적/감시를 수행한다.The wide
또한 특허출원번호 제10-2001-7006357호에 개시된 추적 시스템은 X-Y축 추적용 상부 카메라와 주파수 선택 필터가 부설된 추적 카메라의 조합을 이용하여 설정 영역 내의 다중 물체의 이동을 추적하는 시스템에 관한 것이다. 또한 Z축 추적용 원근 카메라 및 주파수 선택 필터가 부설된 추적 카메라도 적용된다. In addition, the tracking system disclosed in Patent Application No. 10-2001-7006357 relates to a system for tracking the movement of multiple objects in a setting area by using a combination of a tracking camera equipped with an XY axis tracking upper camera and a frequency selective filter. . Also applied is a perspective camera for tracking Z-axis and a tracking camera with a frequency selection filter.
이 경우 피추적체에는 팻치, 스티커 및 테이프와 같은 주파수 선택 반사 물질로 표시가 되고, 추적 시스템은 반사 물질에서 반사가 일어나도록 전체 추적 영역에 선택 에너지를 방사한다.In this case, the traced object is marked with frequency selective reflective materials such as patches, stickers and tapes, and the tracking system radiates the selective energy to the entire tracking area so that the reflective material can reflect.
이에 대해서 추적 카메라는 다른 파장의 빛들은 차단되고 반사된 에너지만을 수신하기 때문에 로컬 컴퓨터 시스템은 추적 카메라부터의 영상을 수신하여 상기 표시들의 위치를 추적하고, 미리 설정된 피추적체의 최대 속도와 최대 크기 등의 정보와 계산된 이동 정보 및 위치 정보를 이용하여 추적 시스템은 필터링되지 않은 영상에서부터 배경을 제외한 원하는 피추적 물체의 영상을 추출한다.On the other hand, since the tracking camera receives light of different wavelengths and receives only reflected energy, the local computer system receives an image from the tracking camera to track the positions of the marks, and sets the maximum speed and the maximum size of the preset tracked object. The tracking system extracts the image of the desired traced object excluding the background from the unfiltered image by using the information of, and the calculated movement and position information.
이러한 종래의 다수의 카메라를 이용하여 추적을 하는 발명은 일반적으로 다중 카메라를 사용하였다고는 하지만 하나의 카메라를 이용하여 넓은 영역을 감시하고 다른 카메라는 탐지된 정보를 이용하여 확대 포착하는 방식을 사용하였다. 하지만 이러한 경우 추적할 때 필히 생기는 겹침이나 가려짐을 해결할 수 없기 때문에 정확한 추적은 불가능한 실정이다. Although the conventional invention of tracking using multiple cameras generally uses multiple cameras, one camera is used to monitor a large area and the other camera uses the detected information to enlarge and capture. . In this case, however, accurate tracking is impossible because it is impossible to resolve overlapping or occlusion that occurs when tracking.
예컨대 특허출원번호 제10-1999-0043796호 또는 특허등록번호 제10-0364582호에 개시된 추적 시스템은 넓은 지역을 감시하는 하나의 카메라를 고정시켜놓고 이 카메라로부터 받아들인 정보를 이용하여 이동 카메라로 피사체를 확대 포착하는 방법에 대해서 개시하고 있으나 이러한 경우에도 종래의 하나의 카메라를 사용하는 경우와 마찬가지로 피사체의 겹침이나 가려짐을 해결하지 못하는 단점이 있다.For example, the tracking system disclosed in Patent Application No. 10-1999-0043796 or Patent Registration No. 10-0364582 fixes a single camera that monitors a large area and uses the information received from the camera to capture a subject with a mobile camera. Although a method of enlarging and capturing is disclosed in this case, there is a disadvantage in that overlapping or covering of a subject cannot be solved as in the case of using a conventional camera.
또한 특허출원번호 제10-2001-7006357호에 개시된 추적 시스템은 겹침이나 가려짐을 해결하기 위해 천장에서 내려다보는 방식의 카메라를 설치하였으나 특허출원번호 제10-2001-7006357호에 개시된 추적 시스템 역시 공간의 제약을 받는 단점이 있으며 특히 주파수 선택 반사 물질 등의 사용으로 인하여 피사체가 제한되는 단점이 있으므로 범용 영상 추적 시스템에 적용이 어려운 단점이 있다.In addition, the tracking system disclosed in Patent Application No. 10-2001-7006357 installed a camera looking down from the ceiling to resolve overlapping or obstruction, but the tracking system disclosed in Patent Application No. 10-2001-7006357 also includes There is a disadvantage in that it is restricted, and in particular, the subject is limited due to the use of a frequency selective reflective material, which makes it difficult to apply to a general image tracking system.
따라서 기존의 보안 시스템에서 하나의 카메라를 이용하여 피사체의 추적을 수행함으로써 피사체가 다른 물체에 의한 간섭이 발생하는 경우 판별이 어려운 단점을 개선한 추적 장치에 대한 필요성이 커지고 있다.Therefore, the need for a tracking device that improves the disadvantage of difficult to discriminate when the subject is caused by other objects by tracking the subject using one camera in the existing security system is increasing.
본 발명의 목적은 기존의 보안 시스템에서 하나의 카메라를 이용하여 피사체의 추적을 수행함으로써 피사체가 다른 물체에 의한 간섭이 발생하는 경우 판별이 어려운 단점을 개선하여 영상 입력 장치의 FOV가 서로 겹치도록 다수의 카메라를 배치하고 피사체를 추적함으로써 피사체의 위치 추적뿐만 아니라 이동 궤적, 출입 시간, 피사체의 상태(이동, 정지, 서있는 상태, 앉아 있는 상태 등), 시야 방향, 높이 정보 등의 다수의 정보를 동시에 획득하여 추적의 오차를 최소화하며 정보 손실을 최소화할 수 있는 다중 시야 추적 방법 및 추적 시스템을 제공하는 데 있다.An object of the present invention is to track the subject using a single camera in the existing security system to improve the disadvantage that it is difficult to discriminate when the subject is caused by the interference of other objects so that the FOV of the image input device overlaps each other By positioning the camera and tracking the subject, you can track not only the subject's position but also a large number of information such as movement trajectory, entrance time, subject's state (movement, stop, standing state, sitting state, etc.), view direction and height information. It is to provide a multi-view tracking method and tracking system that can be obtained by minimizing the error of tracking and minimizing information loss.
본 발명의 다른 목적은 상기 다중 시야 추적 방법을 구현하는 프로그램을 기 록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.Another object of the present invention is to provide a computer-readable recording medium recording a program for implementing the multi-view tracking method.
상기 기술적 과제를 달성하기 위하여, 본 발명은 영상 입력 장치의 FOV(field of view)가 서로 겹치도록 구성되는 다수의 영상 입력 장치로부터 영상을 입력받는 단계와, 상기 입력된 다수의 영상을 분석하여 피사체의 움직임을 탐지하는 단계와, 상기 탐지된 피사체를 포함하는 영상에 대해서 탐지 영역 최적화를 수행하는 단계와, 상기 탐지 영역 최적화가 수행된 영상에 대해서 상기 피사체의 영상 추적을 수행하는 단계와, 상기 영상 추적된 피사체의 영상에 대해서 공간 일치 작업을 수행하는 단계와, 상기 공간 일치된 영상에 대해서 피사체 정보 분석을 수행하여 정보 분석 결과를 생성하는 단계를 포함하는 다중 시야 추적 방법을 제공한다.In order to achieve the above technical problem, the present invention comprises the steps of receiving an image from a plurality of image input device is configured so that the field of view (FOV) of the image input device overlap each other, and analyzing the plurality of input images to the subject Detecting a motion of the target, performing detection region optimization on the image including the detected subject, performing image tracking of the subject on the image on which the detection region optimization is performed, and performing the image. A method of tracking multiple images includes performing spatial matching on an image of a tracked subject and generating information analysis results by performing subject information analysis on the spatially matched image.
본 발명의 일 특징에 따라 추적 공간 내에 배치되어 영상을 입력하는 다수의 영상 입력 장치와, 상기 다수의 영상 입력 장치로부터 입력되는 영상을 분석하여 피사체의 움직임을 탐지하며 상기 다수의 영상 입력 장치를 제어하기 위한 제어 명령을 생성하는 영상 입력 및 제어부와, 상기 영상 입력 및 제어부에서 입력되는 피사체의 영상을 이용하여 피사체의 정보를 생성하는 피사체 정보 분석부와, 상기 피사체 정보 분석부에서 생성된 상기 피사체의 정보를 저장하는 정보 저장부와, 상기 피사체 정보 분석부에서 생성된 상기 피사체의 정보를 통신망을 이용하여 전송하는 통신 인터페이스부를 포함하는 다중 시야 추적 시스템이 제공된다.According to an aspect of the present invention, a plurality of image input apparatuses disposed in a tracking space for inputting an image and an image input from the plurality of image input apparatuses are analyzed to detect movement of a subject and to control the plurality of image input apparatuses. An image input and control unit for generating a control command, a subject information analyzing unit generating information of a subject using an image of a subject input from the image input and control unit, and a subject information analyzing unit There is provided a multi-view tracking system including an information storage unit for storing information and a communication interface unit for transmitting information of the subject generated by the subject information analyzer using a communication network.
또한 본 발명은 다수의 영상 입력 장치로부터 영상을 입력받는 기능과, 상기 입력된 다수의 영상을 분석하여 피사체의 움직임을 탐지하는 기능과, 상기 탐지된 피사체를 포함하는 영상에 대해서 탐지 영역 최적화를 수행하는 기능과, 상기 탐지 영역 최적화가 수행된 영상에 대해서 상기 피사체의 영상 추적을 수행하는 기능과, 상기 영상 추적된 피사체의 영상에 대해서 공간 일치 작업을 수행하는 기능과, 상기 공간 일치된 영상에 대해서 피사체 정보 분석을 수행하여 정보 분석 결과를 생성하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.The present invention also provides a function of receiving images from a plurality of image input devices, analyzing a plurality of input images to detect movement of a subject, and optimizing a detection region for an image including the detected subject. A function of performing image tracking of the subject on an image on which the detection area optimization is performed, a function of performing spatial matching on the image of the image tracked subject, and performing the spatial match on the image. A computer readable recording medium having recorded thereon a program for realizing a function of performing subject information analysis to generate an information analysis result.
이하, 본 발명의 다중 시야 추적 방법 및 추적 시스템을 도면을 참조로 하여 보다 구체적으로 설명한다.Hereinafter, the multi-view tracking method and tracking system of the present invention will be described in more detail with reference to the drawings.
도 3은 본 발명에 따른 다중 시야 추적 방법의 흐름도이다.3 is a flowchart of a multi-view tracking method according to the present invention.
도시되듯이 우선 다수의 영상 입력 장치로부터 영상을 입력받는다(S210). 예컨대 동일한 공간에 다수의 카메라를 배치하고 다수의 카메라로부터 동시에 영상을 입력받는다. 이러한 다수의 카메라 각각은 FOV(field of view)가 영상이 겹치거나 가려지는 경우에도 추적이 용이하도록 각 카메라의 FOV가 서로 겹치도록 구성되는 것이 바람직하다.As shown, first, an image is received from a plurality of image input devices (S210). For example, a plurality of cameras are arranged in the same space and images are simultaneously input from multiple cameras. Each of the plurality of cameras is preferably configured such that the field of view (FOV) of each camera overlaps each other so that tracking is easy even when the image overlaps or is blocked.
이후 입력된 영상을 분석하여 피사체의 움직임을 탐지한다(S220).Thereafter, the motion of the subject is detected by analyzing the input image (S220).
피사체의 움직임을 탐지하기 위해서는 우선 배경 영상을 형성하고 이를 통하여 피사체의 움직임을 탐지하도록 구성할 수 있다.In order to detect the movement of the subject, a background image may be first formed, and thus the movement of the subject may be detected.
예컨대 다수의 카메라로부터 영상이 입력되면, 각 화소 위치별로 영상값을 누적한 다음 이 누적 값들의 평균을 이용하여 초기 배경 영상을 형성한다. 이러한 초기 배경 영상을 이후 입력되는 영상의 차이를 비교하면 피사체의 움직임을 탐지 할 수 있다.For example, when images are input from a plurality of cameras, image values are accumulated for each pixel position, and then an initial background image is formed using the average of the accumulated values. When the initial background image is compared with the difference between the input images, the movement of the subject can be detected.
또한 이후 주기적으로 배경 영상을 갱신하는 과정을 포함할 수도 있다.In addition, the process may include periodically updating the background image.
이후 탐지 영역 최적화를 수행한다(S230).Afterwards, detection area optimization is performed (S230).
탐지된 움직임 영역을 그대로 사용하는 것은 노이즈의 발생 등 다수의 에러 발생 요인을 내포하기 때문에 부적절하다. 따라서 이진화, 모폴로지 알고리즘, 사이즈 필터링, 중심 영역 확인 등의 방법을 사용하여 탐지 영역을 최적화하여 추적을 수행하는 것이 바람직하다.Using the detected motion region as it is is inappropriate because it includes many error sources such as noise. Therefore, it is desirable to perform tracking by optimizing the detection area using a method such as binarization, morphology algorithm, size filtering, and center area checking.
이후 영상 추적을 수행한다(S240).Thereafter, image tracking is performed (S240).
즉 탐지된 움직임 영역에 대해서 각각의 움직임 영역이 이전 프레임에서 어떤 움직임 영역이었는지를 비교하여 추적하게 된다. 이러한 비교 방법으로 색 정보 매칭, 거리 매칭, 영역 매칭을 사용하여 각각의 매칭 값을 구한 후 가장 적절한 영역으로 추적하게 된다.That is, the detected motion regions are tracked by comparing which motion regions each movement region was in the previous frame. In this comparison method, each matching value is obtained using color information matching, distance matching, and region matching, and then traced to the most appropriate region.
이후 공간 일치 작업을 수행한다(S250).After that, the space matching operation is performed (S250).
즉 각 카메라에서 추적된 피사체를 하나의 공간상에서 서로 일치시켜 최종 추적을 수행하게 된다. 각 카메라의 영상을 하나의 공통된 공간으로 사영 변환(Projective Transformation)을 하여 특징점을 일치시켜 최종적인 사용자의 위치를 파악한다.In other words, the subject tracked by each camera is matched with each other in one space to perform the final tracking. Projective transformation of each camera's image into one common space is performed to match the feature points to determine the end user's location.
이후 피사체 정보 분석을 수행한다(S260).Then, subject information analysis is performed (S260).
피사체의 위치 파악이 끝나면 피사체의 출입시간 및 탐지 공간 내에 있는 시간을 확인하고 위치별 이동 궤적을 파악하게 된다. 또한 예컨대 피사체가 사람인 경우 각 카메라에서 탐지된 영역의 높이와 얼굴 색 정보를 이용하여 사람의 키 높이를 측정과 시야 방향을 분석하게 된다. 그리고 위치와 키 높이 정보를 이용하여 사람의 상태를 마지막으로 분석한다.After the location of the subject is completed, the movement time of each subject is checked by checking the entrance time and the time within the detection space of the subject. For example, when the subject is a human, height height of the area detected by each camera and face color information are used to measure the height of the person and analyze the direction of view. Finally, the human condition is analyzed using the location and height information.
이후 분석 정보 저장 및 전송을 수행한다(S270).Thereafter, the analysis information is stored and transmitted (S270).
즉 피사체의 정보[위치, 이동궤적, 출입시간, 사람의 상태(이동, 정지, 서있기, 앉기), 시야 방향, 키 높이 정보 등]을 저장하고 이를 통신망을 통하여 외부로전송한다.That is, information of the subject (position, movement trajectory, entrance time, human state (movement, stop, standing, sitting), direction of view, key height information, etc.) is stored and transmitted to the outside through the communication network.
도 4는 본 발명에 따른 다중 시야 추적 시스템의 블록도이다.4 is a block diagram of a multiple field of view tracking system in accordance with the present invention.
도시되듯이 본 발명에 따른 다중 시야 추적 시스템은 다수의 영상 입력 장치(210a 내지 210n)와, 영상 입력 및 제어부(220)와, 피사체 정보 분석부(230)와, 정보 저장부(240)와, 통신 인터페이스부(250)를 포함한다. As shown, the multi-view tracking system according to the present invention includes a plurality of
다수의 영상 입력 장치(210a 내지 210n)는 예컨대 팬/틸트 기능을 구비하는 카메라이며, 탐지 공간 내에 배치되어 영상을 입력하도록 구성된다. 이 경우 다수의 영상 입력 장치(210a 내지 210n) 각각은 영상이 겹치거나 가려지는 경우에도 추적이 용이하도록 각 영상 입력 장치의 FOV가 서로 겹치도록 구성되는 것이 바람직하다.The plurality of
영상 입력 및 제어부(220)는 다수의 영상 입력 장치(210a 내지 210n)로부터 입력되는 영상을 분석하여 움직임을 탐지하며 다수의 영상 입력 장치(210a 내지 210n)를 제어하기 위한 제어 명령을 생성한다.The image input and
이를 위하여 영상 입력 및 제어부(220)는 도시되지는 않았지만, 다수의 영상 입력 장치(210a 내지 210n)로부터 입력되는 영상을 이용하여 배경 영상을 생성하는 배경 영상 생성부와, 배경 영상과 이후 다수의 영상 입력 장치로부터 입력되는 영상을 비교하여 피사체의 움직임을 탐지하는 움직임 탐지부와, 피사체를 포함하는 영상에 대해서 탐지 영역 최적화를 수행하는 탐지 영역 최적화부와, 탐지 영역 최적화가 수행된 영상에 대해서 피사체의 영상 추적을 수행하기 위한 제어 명령을 발생하는 영상 처리 장치 제어부와, 영상 추적된 피사체의 영상에 대해서 공간 일치 작업을 수행하는 공간 일치부를 포함한다. 영상 처리 장치 제어부는 다수의 영상 입력 장치(210a 내지 210n)에 대해서 팬/틸트, 줌 등의 제어 명령을 전송하여 영상 추적을 수행하도록 구성된다. 영상 처리 장치 제어부를 제외한 각각의 상세한 설명은 도 3을 참조로 설명된 본 발명에 따른 다중 시야 추적 방법을 참조할 수 있다.For this purpose, although not shown, the image input and
피사체 정보 분석부(230)는 영상 입력 및 제어부(220)에서 입력되는 피사체의 영상을 이용하여 피사체의 정보를 추출한다.The
정보 저장부(240)는 피사체 정보 분석부(230)에서 생성된 피사체의 정보를 저장한다.The
통신 인터페이스부(250)는 피사체 정보 분석부(230)에서 생성된 피사체 정보를 통신망을 이용하여 전송하기 위한 인터페이스이다.The
또한 본 발명에 따른 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체는 도 3 및 도 4를 참조로 설명된 본 발명에 따른 다중 시야 추적 방법 및 추적 시스템에 대한 설명을 참조할 수 있으므로 상세한 설명을 생략한다.In addition, the computer-readable recording medium recording a program for realizing the function according to the present invention may refer to the description of the multi-view tracking method and the tracking system according to the present invention described with reference to FIGS. 3 and 4. Detailed description will be omitted.
이러한 본 발명에 따른 다중 시야 추적 방법 및 추적 시스템은 예컨대 카메라를 이용한 보안시스템이나 DVR 등에 적용되어서 실시간으로 사용자의 정보(출입 시간, 위치, 이동궤적 등)를 파악하고 저장할 수 있다. Such a multi-view tracking method and a tracking system according to the present invention can be applied to, for example, a security system or a DVR using a camera to grasp and store information (entry time, location, movement trajectory, etc.) of a user in real time.
또한 더 나아가서 홈 오토메이션 시스템에서 사용자 정보를 이용한 지능형 가전 제어에 적용될 수 있다. 즉 사용자의 위치나 출입 시간에 따른 사용자 정보를 획득하여 홈 오토메이션 시스템과 연계하여 지능형 가전 제어가 가능하다. 이러한 홈 오토메이션 시스템과의 연계는 기존의 센서 네트워크 또는 이동통신 망을 이용한 가전 제어에 비교하였을 때 자동적으로 피사체, 즉 사람의 상태를 분석하여 이를 통하여 가전의 제어를 수행할 수 있다는 점에서 의의가 있다.Furthermore, it can be applied to intelligent home appliance control using user information in home automation system. In other words, intelligent home appliances can be controlled by acquiring user information according to the location or access time of the user and in connection with the home automation system. The linkage with the home automation system is meaningful in that it can analyze the state of a subject, that is, a person, and control the home appliance automatically, as compared to the home appliance control using a conventional sensor network or a mobile communication network. .
비록 본 발명이 구성이 구체적으로 설명되었지만 이는 단지 본 발명을 예시하기 위한 것이며, 본 발명의 보호 범위가 이들에 의해 제한되는 것은 아니며, 본 발명의 보호 범위는 청구범위의 기재를 통하여 정하여진다.Although the present invention has been described in detail, this is for illustrative purposes only, and the protection scope of the present invention is not limited thereto, and the protection scope of the present invention is defined through the description of the claims.
이상 설명한 바와 같이, 본 발명에 따르면 기존의 보안 시스템에서 하나의 카메라를 이용하여 피사체의 추적을 수행함으로써 피사체가 다른 물체에 의한 간섭이 발생하는 경우 판별이 어려운 단점을 개선하여 영상 입력 장치의 FOV가 서로 겹치도록 다수의 카메라를 배치하고 피사체를 추적함으로써 피사체의 위치 추적뿐만 아니라 이동 궤적, 출입 시간, 피사체의 상태(이동, 정지, 서있는 상태, 앉아 있는 상태 등), 시야 방향, 높이 정보 등의 다수의 정보를 동시에 획득하여 추적의 오차를 최소화하며 정보 손실을 최소화할 수 있다.As described above, according to the present invention, by tracking a subject using a single camera in the existing security system, it is difficult to discriminate when the subject is caused by another object. Thus, the FOV of the image input apparatus is improved. By arranging multiple cameras so that they overlap each other and tracking the subject, not only tracking the position of the subject, but also moving trajectory, time of entry, state of the subject (movement, stop, standing state, sitting state, etc.), field of view, height information, etc. By simultaneously acquiring the information, the error of tracking can be minimized and the information loss can be minimized.
Claims (30)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050061686A KR100757261B1 (en) | 2005-07-08 | 2005-07-08 | Tracking method and system for tracking with multiple point-of view |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050061686A KR100757261B1 (en) | 2005-07-08 | 2005-07-08 | Tracking method and system for tracking with multiple point-of view |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070006390A KR20070006390A (en) | 2007-01-11 |
KR100757261B1 true KR100757261B1 (en) | 2007-09-11 |
Family
ID=37871652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050061686A KR100757261B1 (en) | 2005-07-08 | 2005-07-08 | Tracking method and system for tracking with multiple point-of view |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100757261B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101467663B1 (en) * | 2013-01-30 | 2014-12-01 | 주식회사 엘지씨엔에스 | Method and system of providing display in display monitoring system |
KR20210023431A (en) | 2019-08-23 | 2021-03-04 | 한국기계연구원 | Position tracking system using a plurality of cameras and method for position tracking using the same |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101048441B1 (en) * | 2009-08-31 | 2011-07-12 | 한국산업기술대학교산학협력단 | Object tracking method and device therefor in multi-camera system |
KR101153481B1 (en) * | 2010-05-11 | 2012-06-11 | 아주대학교산학협력단 | Pan-tilt-zoom camera and object detection method thereof |
WO2012005387A1 (en) * | 2010-07-05 | 2012-01-12 | 주식회사 비즈텍 | Method and system for monitoring a moving object in a wide area using multiple cameras and an object-tracking algorithm |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010000107A (en) * | 2000-04-28 | 2001-01-05 | 이종법 | System tracking and watching multi moving object |
KR20040041297A (en) * | 2002-11-11 | 2004-05-17 | (주) 에이치비전 | Method for tracing and displaying multiple object movement using multiple camera videos |
KR20050024915A (en) * | 2003-09-05 | 2005-03-11 | 학교법인 포항공과대학교 | Method and system for matching stereo image using a plurality of image line |
-
2005
- 2005-07-08 KR KR1020050061686A patent/KR100757261B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010000107A (en) * | 2000-04-28 | 2001-01-05 | 이종법 | System tracking and watching multi moving object |
KR20040041297A (en) * | 2002-11-11 | 2004-05-17 | (주) 에이치비전 | Method for tracing and displaying multiple object movement using multiple camera videos |
KR20050024915A (en) * | 2003-09-05 | 2005-03-11 | 학교법인 포항공과대학교 | Method and system for matching stereo image using a plurality of image line |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101467663B1 (en) * | 2013-01-30 | 2014-12-01 | 주식회사 엘지씨엔에스 | Method and system of providing display in display monitoring system |
KR20210023431A (en) | 2019-08-23 | 2021-03-04 | 한국기계연구원 | Position tracking system using a plurality of cameras and method for position tracking using the same |
Also Published As
Publication number | Publication date |
---|---|
KR20070006390A (en) | 2007-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7385626B2 (en) | Method and system for performing surveillance | |
US7796154B2 (en) | Automatic multiscale image acquisition from a steerable camera | |
US10719946B2 (en) | Information processing apparatus, method thereof, and computer-readable storage medium | |
US9262668B2 (en) | Distant face recognition system | |
US9363487B2 (en) | Scanning camera-based video surveillance system | |
EP2467805B1 (en) | Method and system for image analysis | |
US11263446B2 (en) | Method for person re-identification in closed place, system, and terminal device | |
WO2014122884A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
KR101743386B1 (en) | Video monitoring method, device and system | |
KR102050821B1 (en) | Method of searching fire image based on imaging area of the ptz camera | |
CN101814130A (en) | Iris identification device by using camera array and multimodal biometrics identification method | |
WO2003100726A1 (en) | Security camera system for tracking moving objects in both forward and reverse directions | |
TW201301897A (en) | Surveillance system | |
KR20120124785A (en) | Object tracking system for tracing path of object and method thereof | |
KR100757261B1 (en) | Tracking method and system for tracking with multiple point-of view | |
KR101212082B1 (en) | Image Recognition Apparatus and Vison Monitoring Method thereof | |
KR102282470B1 (en) | Camera apparatus and method of object tracking using the same | |
KR102333803B1 (en) | System and method for setting of video surveillance area | |
KR101324221B1 (en) | System for tracking object using capturing and method thereof | |
KR20130068343A (en) | System and method for multiple ptz camera control based on intelligent multi-object tracking algorithm | |
KR20160048428A (en) | Method and Apparatus for Playing Video by Using Pan-Tilt-Zoom Camera | |
JP4985742B2 (en) | Imaging system, method and program | |
JP7176868B2 (en) | monitoring device | |
JP2012103901A (en) | Intrusion object detection device | |
KR100982342B1 (en) | Intelligent security system and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130621 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140708 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150626 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160901 Year of fee payment: 10 |