WO2012023766A2 - 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 - Google Patents

열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 Download PDF

Info

Publication number
WO2012023766A2
WO2012023766A2 PCT/KR2011/005950 KR2011005950W WO2012023766A2 WO 2012023766 A2 WO2012023766 A2 WO 2012023766A2 KR 2011005950 W KR2011005950 W KR 2011005950W WO 2012023766 A2 WO2012023766 A2 WO 2012023766A2
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
camera
surveillance
person
image
Prior art date
Application number
PCT/KR2011/005950
Other languages
English (en)
French (fr)
Other versions
WO2012023766A3 (ko
Inventor
김수언
최만용
박정학
안봉영
Original Assignee
한국표준과학연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국표준과학연구원 filed Critical 한국표준과학연구원
Priority to GB1217859.6A priority Critical patent/GB2492689B/en
Priority to JP2013520678A priority patent/JP5688456B2/ja
Priority to US13/637,987 priority patent/US9274204B2/en
Priority to CN201180039379.1A priority patent/CN103168467B/zh
Publication of WO2012023766A2 publication Critical patent/WO2012023766A2/ko
Publication of WO2012023766A3 publication Critical patent/WO2012023766A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a security camera tracking surveillance system and method, and more particularly, security camera tracking that can accurately identify a person in the surveillance area and obtain a high-resolution image for identifying the identity of the person accurately
  • a surveillance system and method are provided.
  • Some of the cameras on the road are installed to capture the required area through the camera's posture control (adjust the shooting direction).
  • Most security surveillance cameras that monitor intruders are global surveillance cameras that capture the entire surveillance area within a certain distance and angle of view.
  • Such a global surveillance camera has a limitation of resolution because it monitors a wide area determined by a fixed camera, and thus, the image captured by the global surveillance camera does not accurately identify a face of a person in the surveillance region.
  • FIG. 1 is a diagram illustrating a target object segmented image obtained by using a difference imaging algorithm.
  • This method adds the influence of the current frame to the background image as a reference by checking every frame before the current image, and is a technique mainly used when generating the background image.
  • Temporal smoothing method Use pixel mean value of previous frame
  • -Region-based method A method of finding a piece of an image including feature points in one image by using correlation with the next image.
  • Block Matching Method is a method of comparing the difference between the mean squares and the absolute value of the mean of pixels.
  • FIG. 2 is a diagram illustrating a tracking method using feature point extraction of an object.
  • the computational process for matching features or blocks is complex (real-time processing delay) and a database of object features on the system is required for object detection.
  • Binary Phase Extraction JTC (BPEJTC) Tracking System: Use of binary phase-type optical JTC with excellent discrimination for similar images
  • 3 is a diagram illustrating a tracking method using stereo.
  • the conventional tracking method uses a method of detecting and tracking motion, and second, a method of tracking motion using a difference between frames. Is that.
  • L is a Gaussian blurring image
  • G is a Gaussian function
  • D is a Difference of Gausian (DoG) function
  • m is a magnitude of a feature point
  • ⁇ is a direction. Represent each vector.
  • the present invention has been invented to solve the above problems, using a simple algorithm to accurately identify a person in the surveillance area and to obtain a high-resolution identification image that can accurately identify the identity of the person To provide a camera tracking surveillance system and method for the purpose.
  • the infrared thermal imaging camera for capturing a preset surveillance region to provide a thermal image
  • a tracking and monitoring camera for tracking and zooming in on the target person within the surveillance area
  • a posture control device configured to perform posture control of the tracking surveillance camera so that the tracking surveillance camera tracks a target person within the surveillance region
  • Image processing for binarizing the thermal image of the surveillance region provided by the infrared thermal imaging camera based on a threshold value to identify a person in the surveillance region and extracting the position coordinates of the person, and based on the extracted position coordinates, It provides a security camera tracking surveillance system using the thermal image coordinates, including; a control system for receiving and storing the identification image of the target taken by the tracking surveillance camera while controlling the driving of the control device.
  • it characterized in that it further comprises a global surveillance camera to record the same surveillance area and the captured image to the control system to record the visual image for checking the entire situation.
  • it characterized in that it further comprises an infrared illumination device for providing infrared illumination to enable night shooting of each camera.
  • the infrared illumination device for the tracking surveillance camera is characterized in that the tracking surveillance camera is installed to move integrally.
  • a plurality of tracking surveillance cameras and a plurality of individual attitude control devices for attitude control of each tracking surveillance camera are provided so as to enable simultaneous or sequential acquisition of identification images for multiple targets within the surveillance area. do.
  • the present invention comprises the steps of photographing the surveillance region set by the infrared thermal imaging camera to the control system; Performing a video processing of binarizing a thermal image of the surveillance region provided from the infrared thermal imaging camera based on a threshold value by a control system to identify a person in the surveillance region and extracting position coordinates of the person; Controlling the driving of the posture control device based on the extracted position coordinates by the control system; Tracking and zooming-in photographing a person who is a target in a surveillance area by a tracking surveillance camera by driving the posture control device; The control system provides a security camera tracking and monitoring method using a thermal image coordinates comprising a; receiving and storing the identification image of the target taken by the tracking surveillance camera.
  • the global surveillance camera further comprises the step of transmitting the captured image and the captured image of the same surveillance area to the control system so that the visible image for confirming the entire situation is recorded.
  • control system identifies a plurality of people in the surveillance area and extracts the position coordinates of each person from the thermal image, and the operation of the posture control device and the operation of the tracking surveillance camera are sequentially performed for each person based on the extracted position coordinates.
  • identification image for the multiple targets is sequentially obtained.
  • a plurality of tracking surveillance cameras and a plurality of individual posture control device for the posture control of each tracking surveillance camera is provided, so that identification images can be acquired simultaneously or sequentially for the multiple targets in the surveillance area. do.
  • control system controls the posture of the tracking surveillance camera through the posture control device for the enlarged photographing of the face portion that can identify the target, the upper region of a predetermined ratio of the entire area corresponding to the identified person It is characterized in that the posture control to be enlarged by the tracking surveillance camera.
  • the security camera tracking monitoring system and method by using a simple algorithm that binarizes the thermal image of the surveillance area based on the threshold value, the person in the surveillance area is identified and then identified as a target.
  • the tracking and surveillance camera tracks and enlarges the target to obtain a high resolution image for identification.
  • the system can be configured by combining a global surveillance camera, a thermal imaging camera serving as a sensor for identifying a person, and a tracking surveillance camera for tracking and zooming in on a person identified from thermal imaging information of a thermal imaging camera.
  • Global surveillance cameras and tracking surveillance cameras complement each other's shortcomings, enabling more effective surveillance.
  • the tracking surveillance camera can perform sequential tracking and magnification shooting for several targets based on the position coordinates acquired from the thermal image, effective monitoring of multiple targets is possible, and the plurality of tracking surveillance cameras and attitude control With the device, simultaneous multiple targets can be monitored.
  • the present invention is applied to the movie industry or sports (eg, ice rink, etc.) field can be effectively used to track and zoom in on a specific object.
  • FIG. 1 is a diagram illustrating a target object segmented image obtained by using a conventional difference imaging algorithm.
  • FIG. 2 is a diagram illustrating a tracking method using a conventional feature point extraction.
  • 3 is a view showing a tracking method using a conventional stereo.
  • FIG. 4 is a diagram illustrating an example of an algorithm of a conventionally known tracking equation.
  • FIG. 5 is a perspective view showing a main body configuration of a security camera tracking and monitoring system according to the present invention.
  • FIG. 6 is a block diagram showing the configuration of a security camera tracking monitoring system according to the present invention.
  • FIG 7 and 8 are diagrams showing the analysis results of the simulation performed by the present inventors.
  • FIG. 9 is a view for explaining a person recognition method using a thermal image in the present invention.
  • FIG. 10 is an exemplary view showing a security camera tracking monitoring process according to the present invention.
  • FIG. 11 is a configuration diagram of a system equipped with a plurality of tracking surveillance cameras in the tracking monitoring system according to the present invention.
  • the present invention identifies a person in a surveillance area from a thermal image captured by a thermal imaging camera, extracts a position coordinate of a person, and based on the extracted position coordinate, a tracking surveillance camera tracks and enlarges a person, thereby identifying a high resolution identity.
  • a security camera tracking surveillance system and method using thermal image coordinates configured to acquire an identification image.
  • FIG. 5 is a perspective view showing the main body configuration of the security camera tracking monitoring system according to the present invention
  • Figure 6 is a block diagram showing the configuration of a security camera tracking monitoring system according to the present invention.
  • FIG 7 and 8 are diagrams showing the analysis results of the simulation performed by the present inventors.
  • Figure 9 is a view for explaining a person recognition method using a thermal image in the present invention
  • Figure 10 is an exemplary view showing a security camera tracking monitoring process according to the present invention
  • Figure 11 is a tracking monitoring system according to the present invention Is a configuration diagram of a system equipped with a plurality of tracking surveillance cameras and attitude control devices.
  • the present invention provides a zoom control tracking method of a dynamic tracking surveillance camera using a position coordinate of a thermal image in order to solve a problem that a face of a conventional security surveillance camera is difficult to identify a human face in a wide range of surveillance. It is configured to use.
  • the dynamic tracking surveillance camera tracks the target with quick posture control and obtains a high resolution identification image by referring to the position coordinates and size information of the person acquired from the thermal image. Face recognition becomes possible.
  • the camera tracking monitoring system of the present invention is composed of a combination of three types of camera, looking at the configuration, as shown in Figure 5 and 6, the camera tracking monitoring system according to the present invention, the overall monitoring
  • a thermal imaging camera 10 serving as a sensor for identifying a person and acquiring position coordinates with respect to an area
  • a tracking surveillance camera 20 for tracking and zooming in on a target person to obtain an image for identification, and an entire surveillance area.
  • a global surveillance camera 40 for capturing a visual image for checking the overall situation by shooting
  • a posture control device 30 for controlling the posture of the tracking surveillance camera 20 at high speed, and obtained from each camera 10, 20, 40.
  • a control system 50 for processing the video signal.
  • infrared cameras 60 and 70 may be added to each camera 10, 20, and 40 to provide infrared illumination to enable night photography.
  • the tracking surveillance camera may be dynamically posture controlled as illustrated.
  • Infrared illumination device 60 for tracking surveillance cameras installed in 20 and integrally moving, and providing thermal imaging camera 10 and global surveillance camera 40 for global surveillance of the same surveillance area.
  • Infrared illumination device 70 for global monitoring may be installed.
  • the global surveillance camera 40 is responsible for recording a wide surveillance area, and the thermal imaging camera 10 set to the same angle of view as the global surveillance camera 40 monitors the heat source that is the target in the surveillance area.
  • the dynamic tracking and surveillance camera 20 is posture controlled by the posture control device 30 based on the thermal image coordinates (position coordinates of the heat source in the surveillance region obtained from the thermal image) to track and zoom the target. You will be in charge of shooting.
  • the thermal imaging camera 10 is used as an element that effectively finds only the person in the entire surveillance area, and the target coordinates obtained from the thermal imaging of the thermal imaging camera 10 are used.
  • the tracking and surveillance camera 20 is to track the target and obtain facial data.
  • a thermal imaging camera 10 serving as a wide-ranging monitoring sensor for detecting a person who is a target for the surveillance area, and a tracking and monitoring camera 20 for tracking and zooming in the target and acquiring a high resolution image
  • a new method of video tracking that combines a global surveillance camera 40 for recording an image for checking the entire situation in the surveillance area, more efficient tracking and monitoring is possible, and the disadvantages of each camera are mutually significant. It can be supplemented.
  • the thermal imaging camera 10 is a camera that serves as a sensor for detecting a heat source appearing in the surveillance area, when a heat source having a temperature of a specific temperature distribution, such as a human, appears in the surveillance area It is a camera to detect this.
  • the thermal imaging camera 10 photographs the inside of the surveillance area and the thermal image obtained therefrom is transmitted to the control system 50, and the control system 50 analyzes the thermal image obtained to identify a person therefrom and simultaneously locates the person. Coordinate and size information is obtained.
  • a conventional infrared (IR) thermal imaging camera 10 which detects infrared rays emitted from an object and implements them as an image may be used, which is an infrared ray radiated at a wavelength according to its body temperature from a person. It detects whether the person appears in the surveillance area by realizing the image.
  • IR infrared
  • the thermal image photographed by the thermal imaging camera 10 is managed after being transmitted to the control system 50, and the control system 50 identifies a person from the thermal image captured by the thermal imaging camera 10
  • the position coordinates are extracted in real time.
  • the position coordinates of a person obtained through global monitoring of the thermal imaging camera 10 in the control system 50 may be a posture control device 30 that allows the dynamic tracking and surveillance camera 20 to track and enlarge a person to obtain an image. Used as the position coordinate of).
  • the tracking and surveillance camera 20 is a camera for tracking and zooming (zooming in) the person detected by the thermal imaging camera 10 to capture a high resolution image capable of facial recognition, which is acquired from the thermal image as described above. Based on the positional coordinates of the person who is being tracked, the person moving in the surveillance area is tracked and photographed.
  • the tracking and surveillance camera 20 may use a still camera or a video camera having a zooming function, and a conventional CCD camera or a CMOS camera having a telephoto lens may be used.
  • the tracking and monitoring camera 20 in the support (1) equipped with each camera is mounted via the posture control device 30, because the posture control is essential to track and enlarge the person moving in the surveillance area to shoot. It is connected to the attitude control device 30 is mounted.
  • the high resolution identification image taken by the tracking and monitoring camera 20 is transmitted to the control system 50 to be stored.
  • the global surveillance camera 40 is a fixed camera provided to photograph the entire preset surveillance region, and a general global surveillance camera 40 employing a CCD or a CMOS may be used.
  • the global surveillance camera 40 captures a scene occurring in the entire surveillance area in real time and transmits it to the control system 50.
  • the image captured by the global surveillance camera 40 is entirely controlled by the control system 50. It is stored and used for checking the situation.
  • Equation (1) the angle of view setting formula for selecting the CCD camera to be used for the global surveillance camera 40 and the tracking surveillance camera 20 is as shown in Equation (1) below, and the size of the CCD sensor according to the calculation is shown in Table 1. .
  • the size of the CCD was selected by Equation (1), and computer simulation was performed to analyze the effect and range of visibility when applied to a real site.
  • the simulation program used 3DMAX 9.0 of AUTODESK Co., Ltd., a general-purpose program, and the results of the simulation are as shown in FIGS. 7 and 8.
  • each camera as described above is mounted on the support (1) fixed to the fixed structure, such as the ground or building, in particular in the case of the tracking surveillance camera 20 as described above by the posture control device 30 Is equipped to be made.
  • the posture control device 30 is configured to control the posture by moving the tracking and monitoring camera 20 up, down, left and right according to a control signal output from the control system 50, and tracks the target object to be taken and tracked. The shooting direction of the surveillance camera 20 is adjusted.
  • the configuration of the posture control device 30 is not particularly limited as long as the drive is controlled by an electrical signal to automatically control the posture of the camera to track and photograph the target object.
  • the posture control device 30 since the posture control device for the camera is implemented and used in various ways to control the shooting direction and posture of the camera, it is not specifically limited herein.
  • control system 50 is a component that performs the integrated control, data transmission and management of the system as a whole, each camera 10, 20, 40, posture control device 30, infrared illumination device 60 70 controls the driving of the camera, and receives the captured images from each camera to process, analyze, store, and manage and store various data generated in each process.
  • control system 50 is basically to receive and store the image taken by the global surveillance camera 40 and the thermal imaging camera 10 used for global surveillance, the control system 50 Since the image of the stored global surveillance camera 40 is recorded in a situation occurring in the entire surveillance area, it may be used for later confirmation of the situation.
  • the thermal image photographed by the thermal imaging camera 10 is used to identify a person appearing in the surveillance area in real time and extract its position coordinates.
  • the use of identification has the advantage of being able to recognize people by binarization without complex algorithms.
  • the calculation of the tracking method can be much simpler than the conventional tracking calculation shown in FIG. 4, in which the control system 50 sets a threshold value of a thermal image of the surveillance region captured by the thermal imaging camera 10 in advance.
  • the control system 50 sets a threshold value of a thermal image of the surveillance region captured by the thermal imaging camera 10 in advance.
  • FIG. 9 is a diagram showing a binarized image.
  • Equation (2) it is possible to identify and extract the position coordinates of the person moving in the thermal image capturing the entire surveillance region, and the control system 50 is the thermal image F (x, y) By identifying whether each pixel is larger or smaller than the threshold value and identifying a person, the coordinates x and y corresponding to the person identified in the binarized image DP (x, y) are extracted.
  • the left side represents an original image acquired by the infrared thermal imaging camera 10, that is, the thermal image
  • the right side represents an image after the binarization processing.
  • control system 50 controls a posture of the tracking surveillance camera 20 so that the tracking surveillance camera 20 can track a person having the corresponding coordinates based on the extracted coordinates x and y.
  • a control signal for zooming in and zooming out the tracking and monitoring camera 20 is output.
  • the posture control device 30 controls the posture of the tracking surveillance camera 20 at high speed according to a control signal output from the control system 50 to track a person identified in the surveillance area.
  • the tracking and surveillance camera 20 when the tracking and surveillance camera 20 is enlarged and photographed the person of the coordinates, the identification image is taken to the transmission is stored and transmitted to the control system 50, and the enlarged photographing to enable the tracking and face recognition of the person After the process is completed, the tracking and monitoring camera 20 stops tracking and enters the standby mode for tracking of the next target.
  • the tracking and surveillance camera 20 enlarges and photographs the person based on the positional coordinates of the person acquired from the thermal image, it is preferable that the subject corresponds to the person so that the face portion of the person whose identity can be identified can be concentrated and zoomed. It is possible to be set to concentrate zooming only the upper region of a predetermined ratio in the region.
  • the posture control is performed by the control system 50 so that the tracking and surveillance camera 20 enlarges and captures a predetermined ratio of the upper area of the entire area corresponding to the identified person for the enlarged picture of the face where the target can be identified. It is to control the attitude of the tracking and monitoring camera 20 through the device 30.
  • the upper body from the waist to the face of the person, or from the shoulder to the face, or only the face portion can be enlarged and photographed. More accurate identification can be confirmed from the image photographed by the camera 20.
  • the control system 50 when several targets simultaneously appear in the monitoring area, the control system 50 undergoes the same analysis process based on the thermal image data captured by the thermal imaging camera 10.
  • the driving of the posture control device 30 and the tracking and monitoring camera 20 is controlled to perform tracking and zooming imaging step by step with respect to the second and third targets.
  • zooming is performed for thermal image processing and intruder identification, coordinate extraction and tracking of the first target, and image acquisition with face recognition. It shows that tracking and zooming are performed for the two targets in the same process.
  • image information for identifying the first target is obtained through the tracking and monitoring camera 20
  • image information for identifying the second and third targets is obtained by tracking the coordinates of the next target.
  • a system may be configured by including a plurality of tracking surveillance cameras 20 and a plurality of individual attitude control devices 30 for attitude control of each tracking surveillance camera 20.
  • each tracking surveillance camera 20 can obtain image information simultaneously or sequentially for different targets by the respective posture control device 30. In this much moving place, there is an advantage in that it is possible to take an accurate identification image for a large number of people.
  • the present invention provides a global surveillance camera 40 for recording a general situation in the entire surveillance area, a thermal imaging camera 10 serving as a sensor for quickly identifying only a human in the surveillance area, and tracking only a person in the surveillance area.
  • the tracking and surveillance camera 20 to enlarge and shoot, the posture control device 30 to control the posture at high speed so that the tracking and surveillance camera 20 can track and zoom in on only a person, and receive and store the images captured by each camera.
  • the tracking and control of the posture control device 30 so that the target tracking and enlarged photographing of the monitoring camera 20 is possible.
  • a control system 50 for controlling the driving.
  • the tracking and surveillance camera 20 is configured to track and enlarge the target mainly on the face where the identity of the target person can be identified using the position coordinates of the person acquired from the thermal image. There is an advantage of collecting image information that can be accurately identified.
  • the present invention described above can be effectively used not only for security surveillance for expanding the shooting of an external intruder in a specific place, but also for tracking and zooming in on a specific object in the movie industry or sports (eg, ice rink).
  • a high resolution video camera capable of zooming and attitude control may be used as the tracking surveillance camera.
  • 60, 70 infrared lighting device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법에 관한 것으로서, 간단한 알고리즘을 이용하여 감시영역 내에서 사람을 정확히 식별하고 사람의 신원을 정확히 확인 가능한 고해상도의 신원 확인용 영상을 획득할 수 있는 보안용 카메라 추적 감시 시스템 및 방법을 제공하는데 그 목적이 있는 것이다. 상기한 목적을 달성하기 위해, 본 발명은 열화상 카메라에 의해 촬영되는 열화상으로부터 감시영역 내에서 사람을 식별 및 사람의 위치좌표를 추출하고 추출된 위치좌표를 기초로 하여 추적감시카메라가 사람을 추적 및 확대 촬영함으로써 고해상도의 신원 확인용 영상을 획득하도록 구성된다.

Description

열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
본 발명은 보안용 카메라 추적 감시 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 감시영역 내에서 사람을 정확히 식별하고 사람의 신원을 정확히 확인 가능한 고해상도의 신원 확인용 영상을 획득할 수 있는 보안용 카메라 추적 감시 시스템 및 방법에 관한 것이다.
최근 카메라를 이용한 다양한 형태의 감시 시스템이 산업분야에 널리 활용되고 있으며, 이러한 카메라 감시 시스템은 보안용 및 단속용으로도 적극 활용되고 있다.
도로상에 설치된 일부 차량 단속용 카메라(예컨대, 주정차 단속이나 끼어들기 단속용 카메라)의 경우 카메라의 자세 제어(촬영방향 조정)를 통해 필요한 영역을 촬영하도록 설치되고 있으나, 현재 특정 장소를 촬영하여 방문자나 침입자를 감시하는 대부분의 보안용 감시 카메라는 특정 거리와 화각 범위 내의 감시영역 전체를 촬영하는 전역감시카메라이다.
이러한 전역감시카메라는 고정형 카메라로 정해진 넓은 영역을 감시하므로 해상도의 한계를 가지며, 이로 인해 전역감시카메라에 의해 촬영된 영상으로는 감시영역 내에 있는 사람의 얼굴을 정확히 식별하지 못하는 경우가 대부분이다.
따라서, 근래에 들어 카메라가 동적으로 사람을 추적하는 시스템을 개발하고 있다.
하지만, 아직까지 추적 기술의 완성도가 낮아 실제 현장에 적용하기에는 무리가 있으며, 현재까지 개발된 CCD 영상에만 의존한 추적 알고리즘으로는 화면에서 움직이는 대상물이 너무나 다양하고 많기 때문에 인간만을 효과적으로 추적할 수 없는 것이 현실이다.
이에 카메라가 인간만을 정확히 추적하여 촬영하도록 하는 기술이 필요한 실정이며, 또한 감시 대상이 여러 명일 경우 다중 타깃에 대한 감시의 기술 개발이 절실한 실정이다.
종래에 알려진 추적과 관련된 대표적인 방법과 이들의 기술적 취약점을 살펴보면 다음과 같다.
1) 배경과 대상물체 분할의 대표적인 방법(차 영상 알고리즘/배경 차이 기법)
- 차 영상 알고리즘(Difference Picture Algorithm)
일정 시간 지연된 두 개의 영상을 비교하여 물체를 배경으로부터 분리하는 방법으로, 고정된 배경에서 움직이는 물체를 효과적으로 검출 가능하다.
도 1은 차 영상 알고리즘을 이용하여 얻은 대상물체 분할 영상을 나타내는 도면이다.
- 배경 차이 기법(Background Model)
현재 영상 이전의 매 프레임을 검사하여 기준이 되는 배경 영상에 현재 프레임의 영향을 추가시키는 방법이며, 배경 영상 생성시 주로 사용하는 기법이다.
ㆍ시간적 평활법 : 이전 프레임들의 화소값 평균치를 사용
ㆍ시간적 중간치법 : 임의의 화소에서 이전 프레임에 나타난 값을 사용
- 기술적 취약점
움직임이 미세하거나 없는 경우 물체 검출이 불가하고(배경으로 인식), 물체의 경계가 배경과 비슷한 경우 인식 오차가 발생하며, 카메라와 배경이 동시에 움직이는 경우 또는 배경만 움직이는 경우 배경과 물체 분할이 불가하다.

2) 이동물체의 검출 및 추적(특징기반 방법/영역기반 방법)
- 특징기반 방법
ㆍ광류(Optical Flow)를 이용한 방법 : 짧은 시간 내에 얻어진 연속 두 프레임에 대해 공간적 변화만 존재하며 화소 자체의 빛 에너지는 보존되는 특징을 이용한 방법
ㆍ직선을 이용한 방법 : 하나의 영상에서 직선의 수가 적고 선 자체가 뚜렷한 특징을 가지고 있으므로 잠재적인 정합의 경우의 수를 줄일 수 있음.
ㆍ구석 점(Corner Point)을 이용한 방법 : 특징 플로우 기반 정보로 이동물체의 형태를 특징지어 물체 추적
- 영역기반 방법 : 한 영상에서 특징점을 포함한 일정 영역의 영상 조각을 가지고 다음 영상과 상관관계(Correlation)를 이용하여 찾는 방법
- 블록 정합법(Block Matching Method): 상관관계는 화소 기준의 평균 제곱의 차이값, 절대값 차이의 합을 가지고 비교하는 방법
도 2는 물체의 특징점 추출을 이용한 추적 방법을 나타내는 도면이다.
- 기술적 취약점
특징 또는 블록의 정합을 위한 연산 과정이 복잡하고(실시간 처리 지연), 물체 검출을 위하여 시스템상에서 물체 특징에 관한 데이터베이스화가 요구된다.

3) 스테레오 기반 물체 추적(광 JTC 추적/BPEJTC 추적)
좌/우측 스테레오 입력 영상에서 추적 물체까지의 거리 정보를 획득하고 좌표로 양측 카메라를 제어하여 물체를 추적하는 기술이다.
- 광 JTC(Joint Transform Correlator) 추적 시스템 : 두 표적 영상신호를 광 JTC 입력 평면에 위치시켜 프레임간의 위치변화 측정을 기초로 영상의 이동 궤적 추적
- BPEJTC(Binary Phase Extraction JTC) 추적 시스템 : 비슷한 영상들에 대해 우수한 판별력을 지닌 이진 위상 형태의 광 JTC 이용
도 3은 스테레오를 이용한 추적 방법을 나타내는 도면이다.
- 기술적 취약점
배경 잡음이 많거나 좌우측 영상의 배경이 서로 다른 경우, 그리고 카메라의 이동에 따른 배경 변화가 발생할 경우 추적이 불가하다.

위에서 살펴본 바와 같이 종래의 추적 방법의 취약점을 정리하면, 첫 번째로 종래의 추적 방법은 움직임을 감지하여 추적하는 방법을 사용한다는 것이고, 두 번째로 프레임간의 차를 이용하여 움직임을 추적하는 방법을 사용한다는 것이다.
이들 방법은 결론적으로 수학적 접근을 사용하거나 알고리즘이 지나치게 복잡하여 실시간 구현에 용이하지 않고, 움직임이 없는 경우 사람 인식 및 추적이 불가능하다.
도 4는 종래 알려진 추적 계산식의 알고리즘의 일례를 나타낸 것으로, L은 가우시안 블러링 영상을, G는 가우시안 함수를, D는 DoG(Difference of Gausian) 함수를, m는 특징점의 크기를, θ는 방향 벡터를 각각 나타낸다.
이에 간단한 추적 계산식을 사용하여 실시간으로 정확히 대상물체를 식별할 수 있도록 하는 기술 개발이 필요하다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 발명한 것으로서, 간단한 알고리즘을 이용하여 감시영역 내에서 사람을 정확히 식별하고 사람의 신원을 정확히 확인 가능한 고해상도의 신원 확인용 영상을 획득할 수 있는 보안용 카메라 추적 감시 시스템 및 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위해, 본 발명은, 미리 설정된 감시영역을 촬영하여 열화상으로 제공하는 적외선 열화상 카메라와; 상기 감시영역 내에서 타깃이 되는 사람을 추적 및 확대 촬영하는 추적감시카메라와; 상기 감시영역 내에서 추적감시카메라로 하여금 타깃이 되는 사람을 추적하도록 상기 추적감시카메라의 자세 제어를 수행하는 자세제어장치와; 상기 적외선 열화상 카메라가 제공하는 감시영역의 열화상을 임계값을 기준으로 이진화하는 영상처리를 수행하여 감시영역의 사람을 식별 및 사람의 위치좌표를 추출하고, 추출된 위치좌표에 기초하여 상기 자세제어장치의 구동을 제어하면서 추적감시카메라에 의해 촬영되는 타깃의 신원 확인용 영상을 전송받아 저장하는 제어시스템;을 포함하여 구성되는 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템을 제공한다.
바람직한 실시예에서, 동일한 상기 감시영역을 촬영 및 촬영된 영상을 제어시스템에 전송하여 전체 상황 확인용 가시영상이 녹화되도록 하는 전역감시카메라를 더 포함하는 것을 특징으로 한다.
또한 상기 각 카메라의 야간 촬영이 가능하도록 적외선 조명을 제공하는 적외선 조명장치를 더 포함하는 것을 특징으로 한다.
또한 추적감시카메라용 적외선 조명장치는 추적감시카메라에 설치되어 일체로 움직이도록 구비되는 것을 특징으로 한다.
또한 상기 감시영역 내에서 다중 타깃에 대해 신원 확인용 영상의 동시 또는 순차 획득이 가능하도록 복수의 추적감시카메라와, 각 추적감시카메라의 자세 제어를 위한 복수의 개별 자세제어장치가 구비되는 것을 특징으로 한다.
그리고, 본 발명은, 적외선 열화상 카메라가 설정된 감시영역을 촬영하여 제어시스템에 제공하는 과정과; 제어시스템이 상기 적외선 열화상 카메라로부터 제공되는 감시영역의 열화상을 임계값을 기준으로 이진화하는 영상처리를 수행하여 감시영역의 사람을 식별 및 사람의 위치좌표를 추출하는 과정과; 제어시스템이 추출된 위치좌표에 기초하여 자세제어장치의 구동을 제어하는 과정과; 상기 자세제어장치의 구동에 의해 추적감시카메라가 감시영역 내에서 타깃이 되는 사람을 추적 및 확대 촬영하는 과정과; 제어시스템이 추적감시카메라에 의해 촬영되는 타깃의 신원 확인용 영상을 전송받아 저장하는 과정;을 포함하여 구성되는 열화상 좌표를 이용한 보안용 카메라 추적 감시 방법을 제공한다.
바람직한 실시예에서, 전역감시카메라가 동일한 상기 감시영역을 촬영 및 촬영된 영상을 제어시스템에 전송하여 전체 상황 확인용 가시영상이 녹화되도록 하는 과정을 더 포함하는 것을 특징으로 한다.
또한 상기 제어시스템이 열화상으로부터 감시영역 내 복수의 사람을 식별 및 각 사람의 위치좌표를 추출하고, 추출된 위치좌표에 기초하여 각 사람에 대해 자세제어장치의 구동 및 추적감시카메라의 작동이 순차적으로 이루어지면서 다중 타깃에 대한 신원 확인용 영상이 순차적으로 획득되도록 하는 것을 특징으로 한다.
또한 복수의 추적감시카메라와 각 추적감시카메라의 자세 제어를 위한 복수의 개별 자세제어장치가 구비되어, 상기 감시영역 내에서 다중 타깃에 대해 신원 확인용 영상이 동시 또는 순차적으로 획득되도록 하는 것을 특징으로 한다.
또한 상기 타깃의 신원 확인이 가능한 얼굴부위의 확대 촬영을 위하여, 상기 제어시스템이 자세제어장치를 통해 추적감시카메라의 자세를 제어하되, 식별된 사람에 해당하는 전체 영역 중 미리 정해진 비율의 상부 영역이 추적감시카메라에 의해 확대 촬영되도록 자세 제어하는 것을 특징으로 한다.
이에 따라, 본 발명에 따른 보안용 카메라 추적 감시 시스템 및 방법에 의하면, 임계값을 기준으로 감시영역의 열화상을 이진화하는 간단한 알고리즘을 이용하여 감시영역의 사람을 식별한 뒤 식별된 사람을 타깃으로 하여 추적감시카메라가 타깃을 추적 및 확대 촬영하도록 함으로써 고해상도의 신원 확인용 영상을 획득할 수 있게 된다.
또한 본 발명에서는 전역감시카메라와 사람의 식별을 위한 센서 역할의 열화상 카메라, 열화상 카메라의 열화상 정보로부터 식별된 사람을 추적 및 확대 촬영하는 추적감시카메라가 조합되어 시스템이 구성될 수 있는 바, 전역감시카메라와 추적감시카메라가 상호 간의 단점을 보완하게 되면서 더욱 효과적인 감시가 가능해진다.
또한 본 발명에서는 추적감시카메라가 열화상으로부터 취득되는 위치좌표에 기초하여 여러 타깃에 대한 순차적인 추적 및 확대 촬영을 수행할 수 있으므로 다중 타깃의 효과적인 감시가 가능하고, 복수의 추적감시카메라와 자세제어장치를 이용하는 경우 동시 다중 타깃의 감시가 가능해진다.
또한 이러한 본 발명은 영화산업이나 스포츠(예컨대, 아이스링크 등) 분야에 적용하면 특정 대상을 추적하여 확대 촬영하는데 효과적으로 활용될 수 있다.
도 1은 종래의 차 영상 알고리즘을 이용하여 얻은 대상물체 분할 영상을 나타내는 도면이다.
도 2는 종래의 특징점 추출을 이용한 추적 방법을 나타내는 도면이다.
도 3은 종래의 스테레오를 이용한 추적 방법을 나타내는 도면이다.
도 4는 종래 알려진 추적 계산식의 알고리즘의 일례를 나타내는 도면이다.
도 5는 본 발명에 따른 보안용 카메라 추적 감시 시스템의 본체 구성을 나타내는 사시도이다.
도 6은 본 발명에 따른 보안용 카메라 추적 감시 시스템의 구성을 나타내는 블럭도이다.
도 7과 도 8은 본 발명자가 수행한 시뮬레이션의 해석 결과를 나타내는 도면이다.
도 9는 본 발명에서 열화상을 이용한 사람 인식 방법을 설명하기 위한 도면이다.
도 10은 본 발명에 따른 보안용 카메라 추적 감시 과정을 나타내는 예시 도면이다.
도 11은 본 발명에 따른 추적 감시 시스템에서 복수의 추적감시카메라가 장착된 시스템의 구성도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명하기로 한다.
본 발명은 열화상 카메라에 의해 촬영되는 열화상으로부터 감시영역 내에서 사람을 식별 및 사람의 위치좌표를 추출하고 추출된 위치좌표를 기초로 하여 추적감시카메라가 사람을 추적 및 확대 촬영함으로써 고해상도의 신원 확인용 영상을 획득하도록 구성되는 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법에 관한 것이다.
도 5는 본 발명에 따른 보안용 카메라 추적 감시 시스템의 본체 구성을 나타내는 사시도이고, 도 6은 본 발명에 따른 보안용 카메라 추적 감시 시스템의 구성을 나타내는 블럭도이다.
또한 도 7과 도 8은 본 발명자가 수행한 시뮬레이션의 해석 결과를 나타내는 도면이다.
또한 도 9는 본 발명에서 열화상을 이용한 사람 인식 방법을 설명하기 위한 도면이고, 도 10은 본 발명에 따른 보안용 카메라 추적 감시 과정을 나타내는 예시 도면이며, 도 11은 본 발명에 따른 추적 감시 시스템에서 복수의 추적감시카메라 및 자세제어장치가 장착된 시스템의 구성도이다.
본 발명은, 해상도의 한계로 인하여 종래의 보안 감시 카메라로는 넓은 전역 범위 감시에서 사람의 얼굴을 식별하기 어려웠던 문제점을 해결하기 위하여, 열화상의 위치좌표를 이용한 동적 추적감시카메라의 줌 제어 추적 방식을 이용하도록 구성된다.
즉, 열화상에서 취득되는 사람의 위치좌표와 크기 정보를 참조하여 동적 추적감시카메라가 빠른 자세 제어로 타깃을 추적하면서 집중 줌밍(Zooming)하여 고해상도의 신원 확인용 영상을 획득하도록 함으로써 효과적인 타깃의 추적 및 얼굴 인식이 가능해진다.
이를 위하여, 본 발명의 카메라 추적 감시 시스템은 3가지 타입의 카메라를 조합하여 구성되는데, 그 구성을 살펴보면, 도 5 및 도 6에 도시된 바와 같이, 본 발명에 따른 카메라 추적 감시 시스템은, 전체 감시영역에 대하여 사람의 식별 및 위치좌표 획득을 위한 센서 역할의 열화상 카메라(10), 타깃이 되는 사람을 추적 및 확대 촬영하여 신원 확인용 영상을 획득하는 추적감시카메라(20), 전체 감시영역을 촬영하여 전체 상황 확인용 가시영상을 획득하는 전역감시카메라(40), 상기 추적감시카메라(20)의 자세를 고속 제어하는 자세제어장치(30), 각 카메라(10,20,40)로부터 획득된 영상신호를 처리하는 제어시스템(50)을 포함하여 구성된다.
이에 더하여, 각 카메라(10,20,40)에 대해 야간 촬영이 가능하도록 적외선 조명을 제공하는 적외선 조명장치(60,70)가 부가될 수 있으며, 예시된 바와 같이 동적으로 자세 제어되는 추적감시카메라(20)에 설치되어 일체로 움직이는 추적감시카메라용 적외선 조명장치(60)와, 동일한 감시영역을 대상으로 전역 감시를 수행하는 열화상 카메라(10)와 전역감시카메라(40)에 대해 조명을 제공하는 전역감시용 적외선 조명장치(70)가 설치될 수 있다.
상기한 구성에서, 전역감시카메라(40)가 넓은 감시영역을 녹화하는 기능을 맡게 되고, 전역감시카메라(40)와 동일 화각으로 설정된 열화상 카메라(10)가 감시영역 내 타깃이 되는 열원을 감시하는 기능을 맡게 되며, 열화상 좌표(열화상으로부터 취득되는 감시영역 내 열원의 위치좌표)를 기초로 동적 추적감시카메라(20)가 자세제어장치(30)에 의해 자세 제어되면서 타깃을 추적 및 줌밍 촬영하는 기능을 맡게 된다.
요컨대, 전역 감시에 전역감시카메라(40)와 열화상 카메라(10)를 동시에 이용하되, 전역감시카메라(40)를 통해 전체 상황 확인용 가시영상을 획득하고, 열화상 카메라(10)를 통해서는 단지 사람의 식별 및 위치좌표를 획득하는 바, 전체 감시영역 내에서 사람만을 효과적으로 찾아내는 요소로 열화상 카메라(10)를 이용하고, 열화상 카메라(10)의 열화상으로부터 얻어지는 타깃의 좌표를 이용하여 추적감시카메라(20)가 타깃을 추적 및 안면 데이터를 획득하도록 하는 것이다.
이와 같이 본 발명에서는 감시영역에 대해 타깃이 되는 사람을 감지하는 광범위 감시 센서 역할의 열화상 카메라(10)와, 타깃의 추적 및 줌밍(확대), 고해상도의 영상 취득을 위한 추적감시카메라(20)와, 감시영역 내 전체 상황 확인을 위한 영상을 녹화하기 위한 전역감시카메라(40)를 조합한 새로운 방식의 영상 추적 기술이 적용됨으로써, 보다 효율적인 추적, 감시가 가능해지고, 각 카메라가 가지는 단점이 상호 보완될 수 있게 된다.
각 구성에 대해 좀더 상세히 설명하면, 상기 열화상 카메라(10)는 감시영역 내에 나타나는 열원을 감지하기 위한 센서 역할의 카메라로, 인간과 같이 특정 온도 분포의 체열을 가지고 있는 열원이 감시영역 내에 나타나게 되면 이를 감지하기 위한 카메라이다.
즉, 열화상 카메라(10)가 감시영역 내를 촬영하여 그로부터 획득되는 열화상이 제어시스템(50)으로 전송되고, 제어시스템(50)은 획득된 열화상을 분석하여 그로부터 사람을 식별하는 동시에 위치좌표 및 크기 정보를 취득하게 된다.
이러한 열화상 카메라(10)로는 물체에서 방사되는 적외선을 감지하여 이를 화상으로 구현하는 통상의 적외선(IR) 열화상 카메라(10)가 사용될 수 있고, 이는 사람으로부터 그 체온에 따른 파장대로 방사되는 적외선을 감지하여 화상으로 구현함으로써 감시영역 내에 사람이 나타나는지를 감지하게 된다.
상기 열화상 카메라(10)에 의해 촬영되는 열화상은 제어시스템(50)으로 전송된 뒤 관리되며, 제어시스템(50)에서는 열화상 카메라(10)에 의해 촬영된 열화상에서 사람을 식별하고 사람의 위치좌표를 실시간으로 추출하게 된다.
제어시스템(50)에서 열화상 카메라(10)의 전역 감시를 통해 얻어진 사람의 위치좌표는 동적 추적감시카메라(20)가 사람을 추적 및 확대 촬영하여 영상을 획득할 수 있게 해주는 자세제어장치(30)의 위치좌표로 사용된다.
다음으로, 추적감시카메라(20)는 열화상 카메라(10)에 의해 감지된 사람을 추적 및 줌밍(줌 확대)하여 안면 인식이 가능한 고해상도의 영상을 촬영하는 카메라로, 상술한 바와 같이 열화상에서 취득된 사람의 위치좌표에 기초하여 감시영역 내에서 움직이는 사람을 추적 및 촬영하게 된다.
상기 추적감시카메라(20)는 줌밍 기능을 가지는 스틸 카메라 또는 동영상 카메라의 사용이 가능한데, 망원 렌즈를 구비한 통상의 CCD 카메라나 CMOS 카메라가 사용될 수 있다.
또한 각 카메라가 장착된 지지대(1)에서 추적감시카메라(20)는 자세제어장치(30)를 매개로 하여 장착되며, 감시영역 내에서 움직이는 사람을 추적하고 확대하여 촬영하기 위해서는 자세 제어가 필수적이므로 자세제어장치(30)에 연결되어 장착된다.
상기 추적감시카메라(20)에 의해 촬영되는 고해상도의 신원 확인용 영상은 제어시스템(50)으로 전송되어 저장되게 된다.
다음으로, 전역감시카메라(40)는 미리 설정된 감시영역 전체를 촬영하도록 구비되는 고정형 카메라로서, CCD나 CMOS를 채용한 통상의 전역감시카메라(40)가 사용될 수 있다.
상기 전역감시카메라(40)는 전체 감시영역 내에서 발생하는 장면을 실시간으로 촬영하여 제어시스템(50)으로 전송하게 되는데, 전역감시카메라(40)에 의해 촬영된 영상은 제어시스템(50)에서 전체 상황 확인용으로 저장되어 활용되게 된다.
참고로, 전술한 전역감시카메라(40)와 추적감시카메라(20)로 CCD 카메라를 사용할 경우를 가정하여 본 발명자에 의해 수행된 시뮬레이션의 해석 결과를 도 7과 도 8을 참조하여 설명하기로 한다.
먼저, 전역감시카메라(40)와 추적감시카메라(20)에 사용될 CCD 카메라의 선정을 위한 화각 설정 공식은 아래 식(1)과 같고, 계산에 따른 CCD 센서의 크기 선정은 표 1에 나타낸 바와 같다.
Figure PCTKR2011005950-appb-I000001
(1)
여기서,
Figure PCTKR2011005950-appb-I000002
이다.
Figure PCTKR2011005950-appb-T000001

카메라의 선정을 위해 상기 식(1)으로 CCD의 크기를 선정하고, 이를 컴퓨터 시뮬레이션을 수행하여 실제 현장에 적용했을 때 가시성에 있어 어떤 효과와 범위를 갖는지를 분석하였다.
시뮬레이션 프로그램은 범용 프로그램인 AUTODESK 사(社)의 3DMAX 9.0을 사용하였고, 시뮬레이션의 결과는 도 7 및 도 8에 나타낸 바와 같다.
도 7은 전체적인 감시영역인 거리와 화각 범위를 보여준다. 본 시뮬레이션에서 추적감시카메라(20)의 타깃의 안면을 식별할 수 있는 최대 거리는 17m이며, 전역감시카메라(40)의 최대 화각 범위는 58°임을 알 수 있다.
도 8은 전역감시카메라(40)와 추적감시카메라(20) 각각에서 보여지는 영상을 나타낸 것이다.
한편, 상기와 같은 각 카메라는 지상이나 건물 등의 고정 구조물에 고정 설치되는 지지대(1)에 장착되며, 특히 추적감시카메라(20)의 경우 전술한 바와 같이 자세제어장치(30)에 의해 자세 제어가 이루어질 수 있도록 장착된다.
자세제어장치(30)는 제어시스템(50)으로부터 출력되는 제어신호에 따라 추적감시카메라(20)를 상하 좌우로 움직여주어 자세 제어할 수 있게 구성되는데, 타깃이 되는 물체를 추적하여 촬영할 수 있도록 추적감시카메라(20)의 촬영방향을 조절해주게 된다.
이러한 자세제어장치(30)의 구성은 전기적인 신호에 의해 구동이 제어되어 자동으로 카메라의 자세를 제어해줌으로써 타깃이 되는 물체를 추적, 촬영할 수 있도록 해주는 구성이면 특별히 제한되지 않고 채택될 수 있다.
자세제어장치(30)의 구체적인 구성에 대해서는, 카메라용 자세제어장치가 카메라의 촬영방향 및 자세를 제어하기 위해 산업적으로 다양하게 구현되어 사용되고 있으므로, 본 명세서에서 특정하게 한정하여 설명하지 않는다.
다음으로, 상기 제어시스템(50)은 시스템 전반의 통합적인 제어, 데이터 전송 및 관리를 수행하는 구성부로서, 각 카메라(10,20,40)와 자세제어장치(30), 적외선 조명장치(60,70)의 구동을 제어하고 각 카메라로부터 촬영된 영상을 전송받아 영상의 처리 및 분석, 저장, 그리고 각 과정에서 발생하는 각종 데이터의 관리 및 저장을 수행하게 된다.
보다 상세하게는, 상기 제어시스템(50)은 기본적으로 전역 감시에 사용되는 전역감시카메라(40)와 열화상 카메라(10)에 의해 촬영되는 영상을 전송받아 저장하게 되는데, 제어시스템(50)에 저장되는 전역감시카메라(40)의 영상은 전체 감시영역 내에서 발생하는 상황을 녹화한 것이므로 이후 상황 확인용으로 활용될 수 있다.
또한 열화상 카메라(10)에 의해 촬영되는 열화상은 실시간으로 감시영역 내에 나타난 사람을 식별하고 그 위치좌표를 추출하는데 사용되며, 열화상을 이용한 사람 인식 및 위치 추적은 열화상의 일정 온도 이상에 대한 식별을 이용하므로 복잡한 알고리즘 없이 이진화에 의해 사람을 인식할 수 있는 장점이 있게 된다.
따라서, 추적 방법에 대한 계산도 도 4에 나타낸 종래의 추적 계산식에 비해 매우 간단해질 수 있는데, 제어시스템(50)은 열화상 카메라(10)에 의해 촬영된 감시영역의 열화상을 미리 설정된 임계값(Threshold)을 사용하여 이진화하는 영상처리를 수행함으로써 감시영역 내 사람을 식별하고 열화상 내에서 식별된 사람의 위치좌표를 추출하게 된다.
이러한 과정에서 사용되는 추적 계산식은 다음의 식(2)에 나타낸 바와 같으며, 도 9는 이진화 처리된 영상을 나타내는 도면이다.
Figure PCTKR2011005950-appb-I000003
(2)
여기서,
Figure PCTKR2011005950-appb-I000004
이다.
상기 식(2)의 계산식을 이용하면, 전체 감시영역을 촬영한 열화상 내에서 이동하는 사람의 위치좌표를 식별하여 추출하는 것이 가능해지며, 제어시스템(50)은 열화상 F(x,y)에서 각 화소별로 임계값보다 큰지 작은지를 판별하여 사람을 식별함과 동시에 이진화된 영상 DP(x,y)에서 식별된 사람에 해당하는 좌표 x, y를 추출하게 된다.
도 9를 참조하면, 좌측은 적외선 열화상 카메라(10)에 의해 획득된 원화상, 즉 열화상을 나타내고, 우측은 이진화 처리 후의 영상을 나타낸다.
또한 제어시스템(50)은 상기와 같이 추출된 좌표 x, y에 기초하여 추적감시카메라(20)가 해당 좌표의 사람을 추적할 수 있도록 추적감시카메라(20)의 자세를 제어하기 위한 제어신호를 출력하고, 동시에 추적감시카메라(20)를 줌 확대 동작시키기 위한 제어신호를 출력하게 된다.
이로써 자세제어장치(30)는 제어시스템(50)에서 출력되는 제어신호에 따라 추적감시카메라(20)의 자세를 고속 제어하여 감시영역 내 식별된 사람을 추적하도록 하게 된다.
한편, 추적감시카메라(20)가 해당 좌표의 사람을 확대하여 촬영하게 되면 확대 촬영된 신원 확인용 영상은 제어시스템(50)으로 전송되어 저장되고, 사람의 추적 및 얼굴 인식이 가능하도록 확대 촬영하는 과정이 완료되고 나면 추적감시카메라(20)는 추적을 중단하고 다음 타깃의 추적을 위해 대기 모드로 진입하게 된다.
이와 같이 열화상으로부터 취득된 사람의 위치좌표를 기초로 추적감시카메라(20)가 사람을 확대 촬영함에 있어서, 바람직하게는 신원 확인이 가능한 사람의 얼굴부위를 집중 줌밍하여 촬영할 수 있도록 사람에 해당하는 영역에서 미리 정해진 비율의 상부 영역만을 집중 줌밍하도록 설정되는 것이 가능하다.
타깃의 신원 확인이 가능한 얼굴부위의 확대 촬영을 위하여, 추적감시카메라(20)가 식별된 사람에 해당하는 전체 영역 중 미리 정해진 비율의 상부 영역을 확대 촬영하도록, 상기 제어시스템(50)이 자세제어장치(30)를 통해 추적감시카메라(20)의 자세를 제어하게 하는 것이다.
이 경우, 추적감시카메라(20)의 줌밍 정도와 비율의 설정에 따라 사람의 허리부터 얼굴까지의 상반신, 또는 어깨 위부터 얼굴까지, 또는 얼굴 부위만 집중 확대하여 촬영하는 것이 가능해지며, 이에 추적감시카메라(20)에 의해 촬영된 영상으로부터 보다 정확한 신원 확인이 가능해진다.
또한 본 발명의 추적 감시 시스템 및 방법에 있어서, 감시영역 내에 여러 타깃이 동시에 등장할 경우, 제어시스템(50)은 열화상 카메라(10)에 의해 촬영된 열화상 데이터를 토대로 하여 동일 분석 과정을 거쳐 제2, 제3의 타깃에 대해 단계적으로 추적 및 줌밍 촬영을 수행하도록 자세제어장치(30) 및 추적감시카메라(20)의 구동을 제어하게 된다.
도 10을 참조하면, 감시영역 내에 두 사람의 침입자가 발생하였을 때, 열화상 처리 및 침입자 식별, 제1타깃의 좌표 추출 및 추적, 얼굴 인식이 가능한 영상 획득을 위한 줌밍 촬영이 수행되고, 이어 제2타깃에 대해 동일한 과정으로 추적 및 줌밍 촬영이 수행됨을 나타내고 있다.
즉, 추적감시카메라(20)를 통해 제1타깃의 신원 확인을 위한 영상 정보가 획득되고 나면, 다음 타깃의 좌표를 추적하여 제2, 제3타깃의 신원 확인을 위한 영상 정보를 획득하게 되는 것이다.
또한 도 11에 나타낸 바와 같이, 복수의 추적감시카메라(20)와, 각 추적감시카메라(20)의 자세 제어를 위한 복수의 개별 자세제어장치(30)를 구비하여 시스템을 구성할 수 있는 바, 이 경우 여러 사람이 감시영역 내에 등장할 경우 각각의 자세제어장치(30)에 의해 각 추적감시카메라(20)가 상이한 타깃에 대해 동시 또는 순차적으로 영상 정보를 획득할 수 있게 되며, 이러한 시스템에서는 사람이 많이 이동하는 곳에서 다수의 사람에 대하여 정확한 신원 확인용 영상을 촬영할 수 있다는 이점이 있게 된다.
이와 같이 하여, 본 발명은 전체 감시영역 내의 일반적인 상황을 녹화하는 전역감시카메라(40), 감시영역 내에서 인간만을 빠르게 식별하기 위한 센서 역할의 열화상 카메라(10), 감시영역 내의 사람만을 추적 및 확대하여 촬영하는 추적감시카메라(20), 추적감시카메라(20)가 사람만을 추적하여 확대 촬영할 수 있도록 고속으로 자세 제어해주는 자세제어장치(30), 각 카메라에 의해 촬영된 영상을 전송받아 저장하고 특히 열화상 카메라(10)에 의해 촬영된 열화상 정보에 기초하여 사람의 영상 좌표를 실 좌표로 환산한 뒤 추적감시카메라(20)의 타깃 추적 및 확대 촬영이 가능하도록 자세제어장치(30)의 구동을 제어하는 제어시스템(50)을 포함하여 구성된다.
이로써 본 발명에서는 열화상에서 취득되는 사람의 위치좌표를 이용하여 추적감시카메라(20)로 하여금 타깃이 되는 사람의 신원 확인이 가능한 얼굴부위를 위주로 타깃을 추적 및 확대 촬영하도록 구성되는 바, 보다 정밀하고 정확한 신원 확인이 가능한 영상 정보를 수집할 수 있는 이점이 있게 된다.
이와 더불어 상술한 본 발명은 특정 장소의 외부 침입자 발생시 이를 확대 촬영하기 위한 보안 감시용뿐만 아니라 영화산업이나 스포츠(예컨대, 아이스링크 등) 분야에서 특정 대상을 추적하여 확대 촬영하는 데에도 효과적으로 활용될 수 있으며, 이 경우 추적감시카메라로는 줌밍 및 자세 제어가 가능한 고해상도의 동영상 카메라가 사용될 수 있다.
이상으로 본 발명의 실시예에 대하여 상세하게 설명하였는 바, 본 발명의 권리범위는 이에 한정되는 것이 아니고, 다음의 특허청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 포함된다.

[부호의 설명]
1 : 지지대
10 : 열화상 카메라
20 : 추적감시카메라
30 : 자세제어장치
40 : 전역감시카메라
50 : 제어시스템
60, 70 : 적외선 조명장치

Claims (10)

  1. 미리 설정된 감시영역을 촬영하여 열화상으로 제공하는 적외선 열화상 카메라(10)와;
    상기 감시영역 내에서 타깃이 되는 사람을 추적 및 확대 촬영하는 추적감시카메라(20)와;
    상기 감시영역 내에서 추적감시카메라(20)로 하여금 타깃이 되는 사람을 추적하도록 상기 추적감시카메라(20)의 자세 제어를 수행하는 자세제어장치(30)와;
    상기 적외선 열화상 카메라(10)가 제공하는 감시영역의 열화상을 임계값을 기준으로 이진화하는 영상처리를 수행하여 감시영역의 사람을 식별 및 사람의 위치좌표를 추출하고, 추출된 위치좌표에 기초하여 상기 자세제어장치(30)의 구동을 제어하면서 추적감시카메라(20)에 의해 촬영되는 타깃의 신원 확인용 영상을 전송받아 저장하는 제어시스템(50);
    을 포함하여 구성되는 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템.

  2. 청구항 1에 있어서,
    동일한 상기 감시영역을 촬영 및 촬영된 영상을 제어시스템(50)에 전송하여 전체 상황 확인용 가시영상이 녹화되도록 하는 전역감시카메라(40)를 더 포함하는 것을 특징으로 하는 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템.

  3. 청구항 1 또는 청구항 2에 있어서,
    상기 각 카메라(10,20,40)의 야간 촬영이 가능하도록 적외선 조명을 제공하는 적외선 조명장치(60,70)를 더 포함하는 것을 특징으로 하는 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템.

  4. 청구항 3에 있어서,
    추적감시카메라(20)용 적외선 조명장치(60)는 추적감시카메라(20)에 설치되어 일체로 움직이도록 구비되는 것을 특징으로 하는 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템.

  5. 청구항 1에 있어서,
    상기 감시영역 내에서 다중 타깃에 대해 신원 확인용 영상의 동시 또는 순차 획득이 가능하도록 복수의 추적감시카메라(20)와, 각 추적감시카메라(20)의 자세 제어를 위한 복수의 개별 자세제어장치(30)가 구비되는 것을 특징으로 하는 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템.

  6. 적외선 열화상 카메라(10)가 설정된 감시영역을 촬영하여 제어시스템(50)에 제공하는 과정과;
    제어시스템(50)이 상기 적외선 열화상 카메라(10)로부터 제공되는 감시영역의 열화상을 임계값을 기준으로 이진화하는 영상처리를 수행하여 감시영역의 사람을 식별 및 사람의 위치좌표를 추출하는 과정과;
    제어시스템(50)이 추출된 위치좌표에 기초하여 자세제어장치(30)의 구동을 제어하는 과정과;
    상기 자세제어장치(30)의 구동에 의해 추적감시카메라(20)가 감시영역 내에서 타깃이 되는 사람을 추적 및 확대 촬영하는 과정과;
    제어시스템(50)이 추적감시카메라(20)에 의해 촬영되는 타깃의 신원 확인용 영상을 전송받아 저장하는 과정;
    을 포함하여 구성되는 열화상 좌표를 이용한 보안용 카메라 추적 감시 방법.

  7. 청구항 6에 있어서,
    전역감시카메라(40)가 동일한 상기 감시영역을 촬영 및 촬영된 영상을 제어시스템(50)에 전송하여 전체 상황 확인용 가시영상이 녹화되도록 하는 과정을 더 포함하는 것을 특징으로 하는 열화상 좌표를 이용한 보안용 카메라 추적 감시 방법.

  8. 청구항 6에 있어서,
    상기 제어시스템(50)이 열화상으로부터 감시영역 내 복수의 사람을 식별 및 각 사람의 위치좌표를 추출하고, 추출된 위치좌표에 기초하여 각 사람에 대해 자세제어장치(30)의 구동 및 추적감시카메라(20)의 작동이 순차적으로 이루어지면서 다중 타깃에 대한 신원 확인용 영상이 순차적으로 획득되도록 하는 것을 특징으로 하는 열화상 좌표를 이용한 보안용 카메라 추적 감시 방법.

  9. 청구항 6에 있어서,
    복수의 추적감시카메라(20)와 각 추적감시카메라(20)의 자세 제어를 위한 복수의 개별 자세제어장치(30)가 구비되어, 상기 감시영역 내에서 다중 타깃에 대해 신원 확인용 영상이 동시 또는 순차적으로 획득되도록 하는 것을 특징으로 하는 열화상 좌표를 이용한 보안용 카메라 추적 감시 방법.

  10. 청구항 6에 있어서,
    상기 타깃의 신원 확인이 가능한 얼굴부위의 확대 촬영을 위하여, 상기 제어시스템(50)이 자세제어장치(30)를 통해 추적감시카메라(20)의 자세를 제어하되, 식별된 사람에 해당하는 전체 영역 중 미리 정해진 비율의 상부 영역이 추적감시카메라(20)에 의해 확대 촬영되도록 자세 제어하는 것을 특징으로 하는 열화상 좌표를 이용한 보안용 카메라 추적 감시 방법.

PCT/KR2011/005950 2010-08-16 2011-08-12 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 WO2012023766A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
GB1217859.6A GB2492689B (en) 2010-08-16 2011-08-12 Camera tracing and surveillance system and method for security using thermal image coordinate
JP2013520678A JP5688456B2 (ja) 2010-08-16 2011-08-12 熱画像座標を用いた保安用カメラ追跡監視システム及び方法
US13/637,987 US9274204B2 (en) 2010-08-16 2011-08-12 Camera tracing and surveillance system and method for security using thermal image coordinate
CN201180039379.1A CN103168467B (zh) 2010-08-16 2011-08-12 使用热图像坐标的安防摄像机追踪和监控系统及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100078870A KR101172747B1 (ko) 2010-08-16 2010-08-16 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
KR10-2010-0078870 2010-08-16

Publications (2)

Publication Number Publication Date
WO2012023766A2 true WO2012023766A2 (ko) 2012-02-23
WO2012023766A3 WO2012023766A3 (ko) 2012-04-12

Family

ID=45605535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005950 WO2012023766A2 (ko) 2010-08-16 2011-08-12 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법

Country Status (6)

Country Link
US (1) US9274204B2 (ko)
JP (1) JP5688456B2 (ko)
KR (1) KR101172747B1 (ko)
CN (1) CN103168467B (ko)
GB (1) GB2492689B (ko)
WO (1) WO2012023766A2 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10196088B2 (en) * 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
KR101411426B1 (ko) * 2012-03-06 2014-07-01 충남대학교산학협력단 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법
US10271010B2 (en) * 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
WO2015135099A1 (zh) * 2014-03-10 2015-09-17 李文嵩 智能住宅定位装置
KR101586452B1 (ko) * 2014-03-19 2016-01-18 국방과학연구소 거리 적응적 탐지 문턱값 적용에 의한 적외선 해상 표적 탐지장치 구현 방법
US9813643B2 (en) * 2014-06-06 2017-11-07 Flir Systems, Inc. Thermal recognition systems and methods
CN104079881B (zh) * 2014-07-01 2017-09-12 中磊电子（苏州）有限公司 监控装置与其相关的监控方法
CN105450971A (zh) * 2014-08-15 2016-03-30 深圳Tcl新技术有限公司 视频通话的隐私保护方法、装置及电视机
KR101488407B1 (ko) * 2014-09-30 2015-02-03 한국표준과학연구원 높이 변화가 가능한 고속 고분해 팬틸트 장치
EP3012777B1 (en) 2014-10-23 2017-03-15 Axis AB Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
EP3016383B1 (en) 2014-11-03 2017-06-21 Axis AB Method, device, and system for pre-processing a video stream for subsequent motion detection processing
TWI554976B (zh) * 2014-11-17 2016-10-21 財團法人工業技術研究院 監控系統及其影像處理方法
KR102282456B1 (ko) * 2014-12-05 2021-07-28 한화테크윈 주식회사 평면도에 히트맵을 표시하는 장치 및 방법
DE102015104768B4 (de) * 2015-03-27 2023-03-16 Bundesdruckerei Gmbh Zugangssystem mit Personenerkennungsvorrichtung
CN104853153A (zh) * 2015-04-29 2015-08-19 南宁燎旺车灯有限责任公司 一种汽车近红外夜视系统
CN104853094A (zh) * 2015-04-30 2015-08-19 广东欧珀移动通信有限公司 一种拍照方法及装置
CN104902182B (zh) * 2015-05-28 2019-04-19 努比亚技术有限公司 一种实现连续自动对焦的方法和装置
KR101600527B1 (ko) 2015-10-05 2016-03-08 (주)나인정보시스템 열화상 카메라를 이용한 이동 물체 추적 및 자동 조명 제어 시스템
KR20160010633A (ko) 2016-01-08 2016-01-27 주식회사 유아세이프 열화상 융합 카메라를 이용한 침입자 감시 및 경보 시스템
US11430199B2 (en) 2016-12-09 2022-08-30 Google Llc Feature recognition assisted super-resolution method
CN106842350B (zh) * 2016-12-26 2020-04-10 首都师范大学 同平台不同分辨率传感器联合动目标检测系统及检测方法
KR101977305B1 (ko) * 2017-06-12 2019-05-13 (주)티에스이 셀 얼라인을 통한 디스플레이 패널의 열화상 검사장치
CN111950967A (zh) * 2018-02-01 2020-11-17 湖南人文科技学院 一种基于热特性图像的库存管理系统
CN110318953B (zh) * 2018-03-30 2021-01-26 北京金风科创风电设备有限公司 风电机组电控系统的温度监控方法和设备
CN108810492A (zh) * 2018-07-09 2018-11-13 安徽博豪信息技术有限公司 一种可移动的视频监控器
CA3054216C (en) 2018-09-05 2023-08-01 Honeywell International Inc. Methods and systems for improving infection control in a facility
TWI691939B (zh) * 2018-10-15 2020-04-21 財團法人工業技術研究院 用以監視熱源的雙視角影像裝置及其影像處理方法
US10978199B2 (en) 2019-01-11 2021-04-13 Honeywell International Inc. Methods and systems for improving infection control in a building
KR102129734B1 (ko) * 2019-02-11 2020-07-03 (주)지니가치 인공지능 기반의 영상 감시 시스템
IT201900004643A1 (it) * 2019-03-28 2020-09-28 Cielo S R L Sistema e metodo di telerilevamento, tracciabilità e identificazione degli occupanti di un determinato ambiente
DE112019007277T5 (de) * 2019-05-03 2022-05-12 Toyota Motor Europe Bilderfassungseinrichtung zur Verfolgung eines Objekts
WO2020237565A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 一种目标追踪方法、装置、可移动平台及存储介质
CN111131778A (zh) * 2019-12-23 2020-05-08 富德康(北京)科技股份有限公司 一种通过热成像进行跟踪拍摄的装置及方法
US11022495B1 (en) 2020-03-06 2021-06-01 Butlr Technologies, Inc. Monitoring human location, trajectory and behavior using thermal data
US12050133B2 (en) 2020-03-06 2024-07-30 Butlr Technologies, Inc. Pose detection using thermal data
US11320312B2 (en) 2020-03-06 2022-05-03 Butlr Technologies, Inc. User interface for determining location, trajectory and behavior
CN111522260A (zh) * 2020-04-24 2020-08-11 徐建红 基于信息抓取识别及大数据的智能辅助服务方法及其系统
US11620594B2 (en) 2020-06-12 2023-04-04 Honeywell International Inc. Space utilization patterns for building optimization
US11783658B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Methods and systems for maintaining a healthy building
US11625964B2 (en) 2020-06-15 2023-04-11 Honeywell International Inc. Methods and systems for temperature screening using a mobile device
US11914336B2 (en) 2020-06-15 2024-02-27 Honeywell International Inc. Platform agnostic systems and methods for building management systems
US11783652B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Occupant health monitoring for buildings
CN111738132B (zh) * 2020-06-17 2024-03-05 银河水滴科技（北京）有限公司 人体温度的测量方法、装置、电子设备及可读存储介质
US11823295B2 (en) 2020-06-19 2023-11-21 Honeywell International, Inc. Systems and methods for reducing risk of pathogen exposure within a space
US11184739B1 (en) 2020-06-19 2021-11-23 Honeywel International Inc. Using smart occupancy detection and control in buildings to reduce disease transmission
US11619414B2 (en) 2020-07-07 2023-04-04 Honeywell International Inc. System to profile, measure, enable and monitor building air quality
US11402113B2 (en) 2020-08-04 2022-08-02 Honeywell International Inc. Methods and systems for evaluating energy conservation and guest satisfaction in hotels
US11894145B2 (en) 2020-09-30 2024-02-06 Honeywell International Inc. Dashboard for tracking healthy building performance
US11662115B2 (en) 2021-02-26 2023-05-30 Honeywell International Inc. Hierarchy model builder for building a hierarchical model of control assets
US11372383B1 (en) 2021-02-26 2022-06-28 Honeywell International Inc. Healthy building dashboard facilitated by hierarchical model of building control assets
US11474489B1 (en) 2021-03-29 2022-10-18 Honeywell International Inc. Methods and systems for improving building performance
WO2022265551A1 (en) * 2021-06-18 2022-12-22 Hjn Sverige Ab Multimodal modelling system
US20230029566A1 (en) * 2021-07-27 2023-02-02 Electronics And Telecommunications Research Institute Method and system for detecting unmanned aerial vehicle using plurality of image sensors
CN116205952B (zh) * 2023-04-19 2023-08-04 齐鲁空天信息研究院 人脸识别与跟踪的方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990079810A (ko) * 1998-04-09 1999-11-05 구자홍 감시용 카메라의 자동 추적 장치
KR20060095612A (ko) * 2005-02-28 2006-09-01 삼인데이타시스템 (주) 불법 주정차 무인 단속 시스템 및 그 방법
KR20090061405A (ko) * 2007-12-11 2009-06-16 주식회사 메타켐 비접촉식 다중 적외선 온도센서를 이용한 자동 추적 장치및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11284988A (ja) 1998-03-27 1999-10-15 Mitsubishi Electric Corp 監視カメラ装置
JP2001321005A (ja) * 2000-03-07 2001-11-20 Mec Engineering Service Co Ltd 監視装置、監視制御部、監視システム及び養殖場監視システム
US7439847B2 (en) * 2002-08-23 2008-10-21 John C. Pederson Intelligent observation and identification database system
US20020163577A1 (en) * 2001-05-07 2002-11-07 Comtrak Technologies, Inc. Event detection in a video recording system
US20030093805A1 (en) * 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
JP3756452B2 (ja) * 2002-01-18 2006-03-15 本田技研工業株式会社 赤外線画像処理装置
US20050128291A1 (en) * 2002-04-17 2005-06-16 Yoshishige Murakami Video surveillance system
US7382896B2 (en) * 2002-08-13 2008-06-03 Hitachi Kokusai Electric Inc. Object detection method and apparatus which perform object detection using set parameters
JP3702260B2 (ja) * 2002-09-19 2005-10-05 株式会社東芝 目標角速度計測装置および目標角速度計測方法
JP4175180B2 (ja) * 2003-05-29 2008-11-05 松下電工株式会社 監視通報システム
JP2005033570A (ja) * 2003-07-04 2005-02-03 Chuo Electronics Co Ltd 移動体画像提供方法、移動体画像提供システム
JP2005277698A (ja) * 2004-03-24 2005-10-06 Opt Kk 監視カメラおよび監視方法
US7599521B2 (en) * 2004-11-30 2009-10-06 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
US7965314B1 (en) * 2005-02-09 2011-06-21 Flir Systems, Inc. Foveal camera systems and methods
CN100544410C (zh) * 2006-10-17 2009-09-23 马涛 主动红外跟踪系统
JP2010519860A (ja) * 2007-02-21 2010-06-03 ピクセル ベロシティー，インク． 広域監視のための拡張可能なシステム
CN201114551Y (zh) * 2007-10-31 2008-09-10 北京航空航天大学 多模多目标精密跟踪装置
KR101010864B1 (ko) 2008-09-23 2011-01-25 한국표준과학연구원 보안감시용 적외선 열화상 카메라 시스템의 문턱값 능동 설정 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990079810A (ko) * 1998-04-09 1999-11-05 구자홍 감시용 카메라의 자동 추적 장치
KR20060095612A (ko) * 2005-02-28 2006-09-01 삼인데이타시스템 (주) 불법 주정차 무인 단속 시스템 및 그 방법
KR20090061405A (ko) * 2007-12-11 2009-06-16 주식회사 메타켐 비접촉식 다중 적외선 온도센서를 이용한 자동 추적 장치및 방법

Also Published As

Publication number Publication date
GB2492689B (en) 2016-06-22
KR20120016479A (ko) 2012-02-24
WO2012023766A3 (ko) 2012-04-12
JP5688456B2 (ja) 2015-03-25
GB2492689A (en) 2013-01-09
GB201217859D0 (en) 2012-11-21
CN103168467A (zh) 2013-06-19
KR101172747B1 (ko) 2012-08-14
JP2013535896A (ja) 2013-09-12
CN103168467B (zh) 2016-06-15
US9274204B2 (en) 2016-03-01
US20130135468A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
KR101172747B1 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
CN108111818B (zh) 基于多摄像机协同的运动目标主动感知方法和装置
Wheeler et al. Face recognition at a distance system for surveillance applications
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
US20150015787A1 (en) Automatic extraction of secondary video streams
KR100691348B1 (ko) 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템
KR101964861B1 (ko) 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
Kitahara et al. Stealth vision for protecting privacy
CN110633648B (zh) 一种自然行走状态下的人脸识别方法和系统
KR20150021351A (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
Neves et al. Acquiring high-resolution face images in outdoor environments: A master-slave calibration algorithm
Lim et al. Image-based pan-tilt camera control in a multi-camera surveillance environment
CN107547865A (zh) 跨区域人体视频目标跟踪智能监控方法
Abd Manap et al. Smart surveillance system based on stereo matching algorithms with IP and PTZ cameras
KR20200010690A (ko) 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법
KR101834882B1 (ko) 광학영상카메라와 열영상카메라가 일체형으로 구성되어 객체를 감지하는 카메라 장치
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
Fahn et al. A high-definition human face tracking system using the fusion of omni-directional and PTZ cameras mounted on a mobile robot
KR20120002723A (ko) 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
CN111465937A (zh) 采用光场相机系统的脸部检测和识别方法
Hossain et al. A real-time face to camera distance measurement algorithm using object classification
Marchesotti et al. Cooperative multisensor system for real-time face detection and tracking in uncontrolled conditions
Liao et al. A new calibration method and its application for the cooperation of wide-angle and pan-tilt-zoom cameras
Ko et al. Stereo camera-based intelligence surveillance system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11818366

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13637987

Country of ref document: US

ENP Entry into the national phase

Ref document number: 1217859

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20110812

WWE Wipo information: entry into national phase

Ref document number: 1217859.6

Country of ref document: GB

ENP Entry into the national phase

Ref document number: 2013520678

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11818366

Country of ref document: EP

Kind code of ref document: A2