KR101653820B1 - System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same - Google Patents

System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same Download PDF

Info

Publication number
KR101653820B1
KR101653820B1 KR1020150128749A KR20150128749A KR101653820B1 KR 101653820 B1 KR101653820 B1 KR 101653820B1 KR 1020150128749 A KR1020150128749 A KR 1020150128749A KR 20150128749 A KR20150128749 A KR 20150128749A KR 101653820 B1 KR101653820 B1 KR 101653820B1
Authority
KR
South Korea
Prior art keywords
thermal sensing
thermal
information
camera
tracking
Prior art date
Application number
KR1020150128749A
Other languages
Korean (ko)
Inventor
노종호
Original Assignee
웅진보안시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웅진보안시스템(주) filed Critical 웅진보안시스템(주)
Priority to KR1020150128749A priority Critical patent/KR101653820B1/en
Application granted granted Critical
Publication of KR101653820B1 publication Critical patent/KR101653820B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H04N5/372
    • H04N5/374
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Marketing (AREA)

Abstract

The present invention relates to an object and situation sensing system based on thermal detection. The preset invention comprises: a first row thermal sensing camera (10-1) to an N^th row thermal sensing camera (10-n; n is an integer equivalent to or higher than two) forming a group of thermal sensing cameras for photographing images and acquiring the information about the image including thermal sensing information; and a thermal sensing based tracking server (30) for receiving the information about the images including the thermal sensing information through the request of information about one thermal sensing camera (10u) among the first to N^th row thermal sensing cameras (10-1 to 10-n), saving the same in a database (34), tracking a certain object by using a series of thermal sensing cameras along the way of tracking moving paths, automatically making determination based on the thermal sensing about a situation associated with the object tracked, and transmitting the determination information to a managing server (30) through a network (20). By this composition, the present invention can track an object precisely even at dawn and in the evening where constant light sources are not available. In addition, the present invention is capable of sensing and tracking heat normally generated by an object such as the human body, vehicles, and animals through a certain kind of thermal sensing. Also, based on the initially sensed heated state of the object, a plurality of cameras can successively sense and track the heat of the object. Meanwhile, the present invention, based on the tracking information of an object, can make the tracking promptly sense other situations such as an explosion, flooding, and fire caused by heat.

Description

열 감지 기반의 대상체 및 상황 감지 시스템{System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same} TECHNICAL FIELD [0001] The present invention relates to a thermal sensing object and a situation sensing system,

본 발명은 열 감지 기반의 대상체 및 상황 감지 시스템에 관한 것으로, 보다 구체적으로는, 다수의 열 감지가 가능한 카메라를 이용해 특정된 사람이나 차량 등의 대상체를 추적하기 위한 시스템과 그 시스템의 운영방법을 제공하도록 하기 위한 열 감지 기반의 대상체 및 상황 감지 시스템에 관한 것이다.
More particularly, the present invention relates to a system for tracking a target object such as a person or a vehicle using a camera capable of detecting a plurality of heat and a method of operating the system To a thermal sensing based object and a situation sensing system for providing the same.

PTZ(Pan Tilt Zoom) 카메라를 배치하여 특정 객체를 인식하고 추적하는 시스템에서 객체를 인식하는 방법으로 주로 사용되는 것은 영상 처리를 통해 객체를 인식하는 방법과 음성인식을 통해 객체를 인식하는 방법이 있다.PTZ (Pan Tilt Zoom) A method of recognizing an object in a system that recognizes and tracks a specific object by arranging a camera is mainly a method of recognizing an object through image processing and a method of recognizing an object through speech recognition .

그 중에서, 영상 처리에 의해 객체를 인식하는 방법은 영상 처리된 이미지로부터 객체를 지정하면, 해당 객체에 대한 마킹(marking) 이후, 객체와 미리 설정된 오차범위에 해당하는 유사범위에 대한 추적을 통해 객체를 추적하는 방식을 취하고 있다. 그러나 이러한 경우 어두운 저녁에는 무용지물이 되는 한계점이 있다.Among them, a method of recognizing an object by image processing is as follows. When an object is designated from an image-processed image, after marking the object, the object is traced to a similar range corresponding to a predetermined error range, Of the total. However, in such a case, there is a limit to become obsolete in the dark evening.

한편, 음성인식에 의해 객체를 인식하는 방법은 3차원 공간 상에 복수 개의 마이크를 배치하여 공간에서 소리가 나는 방향을 3차원적으로 인식하고 그 방향으로 카메라를 패닝(Panning) 또는 틸팅(Tilting) 하는 방법이 주로 사용되어 왔다.In the method of recognizing an object by speech recognition, a plurality of microphones are arranged in a three-dimensional space to three-dimensionally recognize a sound direction in a space, and a camera is panned or tilted in that direction, Have been used.

그러나, 음성 인식 방법에 의하더라도, 소음원으로부터 직접 감지되는 소음이 아닌 주위 구조물에 의해 반사된 소음에 기초하여 방향을 계산할 경우 진짜 소음원과 전혀 다른 방향을 추적하게 된다.However, even in the speech recognition method, when the direction is calculated based on the noise reflected by the surrounding structure rather than the noise directly sensed by the noise source, the direction is completely different from the true noise source.

이러한 상황은 다른 위험 상황을 감시하지 못하게 함으로써, 음원 감지에 따른 카메라 작동을 오히려 불필요하게 만들 수 있다.
This situation can make it unnecessary to operate the camera according to the sound source detection by preventing other dangerous situations from being monitored.

[관련기술문헌][Related Technical Literature]

1. 대상체 추적을 위한 센서노드장치 및 시스템(Sensor node device and system for tracking objects) (특허출원번호 제10-2012-0070604호)1. Sensor node device and system for tracking objects (Patent Application No. 10-2012-0070604)

2. 영상신호로부터 대상물체를 추적하는 방법 및 그 장치(Method and apparatus for tracking an object from video data)(특허출원번호 제10-2002-0012155호)
2. Method and apparatus for tracking an object from a video signal (Patent Application No. 10-2002-0012155)

본 발명은 상기의 문제점을 해결하기 위한 것으로, 일정한 광원이 제공되지 못하는 저녁 시간 및 새벽 시간에서도 정밀하게 대상체에 대한 추적이 가능하도록 하기 위한 열 감지 기반의 대상체 및 상황 감지 시스템, 그리고 이를 이용한 대상체 추적 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems and it is an object of the present invention to provide a thermal sensing based object and a situation sensing system for accurately tracking a target object even in evening and early morning hours when a certain light source can not be provided, Method.

또한, 본 발명은 특정의 열감지를 통해 사람, 차량, 동물 등의 대상체가 통상적으로 발열하는 열을 감지하여 추적할 수도 있고, 최초에 감지된 대상체의 발열 상태를 기초로 하여 대상체의 발열을 다수의 카메라에서 연속하여 감지하며 추적할 있도록 하기 위한 열 감지 기반의 대상체 및 상황 감지 시스템, 그리고 이를 이용한 대상체 추적 방법을 제공하기 위한 것이다.In addition, the present invention can detect and track the heat normally generated by a target such as a person, a vehicle, an animal, or the like through a specific thermal sensation, or can detect the heat generated by the object, The object of the present invention is to provide a thermal sensing based object and a situation sensing system for continuously detecting and tracking a camera, and a method for tracking an object using the same.

또한, 본 발명은 특정의 대상체에 대한 추적을 기초로 대상체를 추적하고 있는 카메라가 감시하고 있는 지역의 상황 예로써 특정의 열에 의한 화재, 홍수, 폭발 등의 여러 상황을 신속하게 감지하여 통보할 수 있도록 하기 위한 열 감지 기반의 대상체 및 상황 감지 시스템, 그리고 이를 이용한 대상체 추적 방법을 제공하기 위한 것이다.In addition, the present invention can promptly detect and notify various situations such as fire, flood, and explosion due to a specific heat as an example of an area monitored by a camera that tracks a target based on tracking of a specific object And a method for tracking a target object using the same.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 열 감지 기반의 대상체 및 상황 감지 시스템은, 열 감지 정보를 포함하는 영상 이미지 정보를 촬영하여 습득하는 열 감지 카메라 집합체(10)를 이루는 각 제 1 열 감지 카메라(10-1) 내지 제 n 열 감지 카메라(10-n)(n은 2 이상의 자연수); 및 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n) 중 하나의 대상 열화상 카메라(10u)에 대한 정보 요청을 통해 열 감지 정보를 포함하는 영상 이미지 정보를 수신한 뒤, 데이터베이스(34)에 저장하여, 특정된 대상체에 대한 이동 경로 추적에 따른 일련의 열 감지 카메라를 이용한 추적, 추적되는 대상체와 연관된 상황에 대한 열 감지 기반으로 자동적인 판단을 통한 판단 정보를 네트워크(20)를 통해 관리기관 서버(40)로 전송하는 열 감지 기반 추적 서버(30); 를 포함하는 것을 특징으로 한다.In order to accomplish the above object, a thermal sensing based object and a situation sensing system according to an embodiment of the present invention includes a thermal sensing camera assembly 10 for capturing and acquiring image image information including thermal sensing information, 1 thermal sensor camera 10-1 to an nth thermal sensor camera 10-n (n is a natural number of 2 or more); And the first to n-th thermal sensing cameras 10-1 to 10-n, and then transmits the image sensing information including the thermal sensing information to the database 34), and it is possible to perform tracking using a series of thermal sensing cameras according to tracing of a moving path to a specified object, determination information based on a thermal sensation based on a thermal sensing of a situation related to the tracked object, To a management agency server (40) through a thermal sensing based tracking server (30); And a control unit.

이때, 각 열 감지 카메라(10-1 내지 10-n)는, 열 감지 정보를 획득하기 위한 열 화상 카메라와, 영상 이미지 정보를 획득하기 위한 촬상소자(CMOS, CCD)를 포함하는 일반 카메라의 하이브리드 형식(제 1 타입)으로 형성되거나, 적외선 기반의 열 감지 카메라를 이용해 열 감지 정보를 획득한 뒤 열 감지 정보를 하나의 영상 이미지 정보로 변환하는 변환 모듈을 별도로 구비하는 형식(제 2 타입)으로 형성되는 것을 특징으로 한다.At this time, each of the thermal sensing cameras 10-1 to 10-n includes a hybrid of a general camera including an infrared camera for acquiring thermal sensing information and an image sensing device (CMOS, CCD) for acquiring image image information (First type), or a type (second type) in which a conversion module for acquiring thermal sensing information using an infrared-based thermal sensing camera and converting thermal sensing information into one image image information is separately provided Is formed.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 열 감지 기반의 대상체 추적 방법은, 열 감지 기반 추적 서버(30)가 네트워크(20)를 통해 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n, n은 2 이상의 자연수) 중 하나의 대상 열화상 카메라(10u)로부터 열 감지 정보를 포함하는 영상 이미지 정보 습득하는 제 1 단계; 열 감지 기반 추적 서버(30)가 습득된 영상 이미지 정보로부터 하나의 대상체에 대한 추출 및 특정을 수행하는 제 2 단계; 열 감지 기반 추적 서버(30)가 특정된 대상체에 대한 열 감지 정보를 습득된 열 감지 정보를 포함하는 영상 이미지 정보로부터 추출하는 제 3 단계; 열 감지 기반 추적 서버(30)가 추출된 열 감지 정보를 피티제트(PTZ) 좌표값을 연산하는 제 4 단계; 열 감지 기반 추적 서버(30)가 피티제트(PTZ) 좌표값에 따라 다음 경로에 해당하는 제 m 차순위 대상 열화상 카메라(m은 1 이상의 자연수로 초기값은 1)에 대한 식별번호 습득하는 제 5 단계; 및 열 감지 기반 추적 서버(30)가 상기 식별번호에 해당하는 열 감지 카메라에 의해 습득된 영상 이미지 정보로부터 추출된 대상체의 열 감지 정보와 매칭되는 피티제트(PTZ) 좌표값을 연산하여, 연산된 피티제트(PTZ) 좌표값을 네트워크(20)를 통해 관리기관 서버(40)로 전송하는 제 6 단계; 를 포함하는 것을 특징으로 한다.In order to accomplish the above object, a thermal sensing based object tracking method according to an embodiment of the present invention is characterized in that the thermal sensing based tracking server 30 is connected to the first to nth thermal sensing cameras 10-1 To 10-n, and n is a natural number of 2 or more), from the subject thermal imager 10u; A second step in which the thermal-based tracking server 30 performs extraction and identification of one object from the acquired image image information; A third step of the thermal-based tracking server (30) extracting thermal sensing information for the specified object from the image image information including the acquired thermal sensing information; A fourth step in which the thermal sensing based tracking server 30 calculates the PTZ coordinate values of the extracted thermal sensing information; Based on the PTZ coordinate value, the thermal-sensing-based tracking server 30 acquires an identification number for the m-th order subject thermal imager camera (m is an integer of 1 or more and an initial value is 1) step; (PTZ) coordinate value matching with the thermal sensing information of the object extracted from the image image information acquired by the thermal sensing camera corresponding to the identification number, and outputs the calculated A sixth step of transmitting the PTZ coordinate values to the management institution server 40 through the network 20; And a control unit.

이때, 상기 제 6 단계 이후, 열 감지 기반 추적 서버(30)가 네트워크(20)를 통해 관리기관 서버(40)로부터 추적 완료 여부에 대한 메시지 수신을 대기한 뒤, 수신된 메시지가 추적 완료인지 판단을 수행하는 제 7 단계; 및 판단 결과 추적 미완료인 경우, 열 감지 기반 추적 서버(30)가 상기 제 m 차순위 대상 열 감지 카메라의 차수 m의 초기값에 해당하는 1에 해당하는 제 1 차순위 대상 열 감지 카메라의 피티제트(PTZ) 좌표값에 따라 다음 경로(+1)에 해당하는 제 2 차순위 대상 열화상 카메라에 대한 식별번호 습득하도록 상기 제 5 단계로 회귀하여, 상기 제 5 단계 내지 상기 제 7 단계의 과정으로 대상체에 대한 추적이 완료될 때까지 반복적으로 수행하는 제 8 단계; 를 더 포함하는 것을 특징으로 한다.After the sixth step, after the heat-sensing-based tracking server 30 waits for a message about completion of tracking from the management institution server 40 via the network 20, it determines whether the received message is tracked ; And if the tracking result is incomplete, the thermal-based tracking server 30 receives the PTZ of the first-order subject thermal-sensitive camera corresponding to 1 corresponding to the initial value of the order m of the m-th order subject thermal- ) To the fifth step so as to acquire an identification number for the second-order target thermal imaging camera corresponding to the next path (+1) according to the coordinate values, and the fifth step to the seventh step An eighth step of repeatedly performing the tracking until the tracking is completed; And further comprising:

또한, 상기 제 8 단계는, 판단 결과 추적 완료인 경우 열 감지 기반 추적 서버(30)가 대상체에 대한 열 감지 기반의 추적을 완료하는 것을 특징으로 한다. In the eighth step, if the result of the determination is traced, the thermal-based tracking server 30 completes thermal-based tracking of the object.

특히, 상기 데이터 베이스는, 대상체에서 발산하는 고유의 열감지 특성치가 미리 저장된 대상체 데이터 테이블과, 재해상황시 열감지 지점에서 발산되는 고유의 열감지 특성치가 미리 저장된 재해상황 데이터 테이블을 갖추고, 상기 각각의 데이터 테이블과 연동되어 대상체의 열감지 특성치의 변화를 실시간으로 감지하여 데이터 출력하기 위한 대상체 변화량 감지 모듈과, 재해상황시 시간대별로 열감지 특성치의 변화를 실시간으로 감지하여 데이터 출력하기 위한 재해상황 변화량 감지 모듈을 갖추어 구성된다.In particular, the database may include a table of object data in which a unique thermal sensation characteristic value emitted from a target object is previously stored, and a disaster condition data table in which a unique thermal sensation characteristic value emitted from a thermal sensation point in a disaster situation is stored in advance, A change amount detection module for detecting a change in the thermal sensation characteristic value of the object in real time in cooperation with a data table of the object and outputting the data; Sensing module.

여기서, 상기 대상체 변화량 감지 모듈과 재해상황 변화량 감지 모듈은 GIS와 연동되도록 구성되어 대상체의 추적과 재해상황의 발생지점을 보다 정확하게 인지할 수 있도록 구성된다.Here, the object change detection module and the disaster situation change amount detection module are configured to be interlocked with the GIS, so that the object can be tracked and the occurrence point of a disaster situation can be recognized more accurately.

한편, 본 발명은 다수의 열 감지 카메라 중 차량이 운행되는 도로 상의 카메라에 차량의 번호판을 촬영하기 위한 스냅카메라를 부설하거나, 이미 도로 상에 설치된 차량 운행 감시 카메라와 전술된 열 감지 카메라를 연동시키고, 번호판 인식모듈과 연결하여 추적차량이나 법규 위반차량의 차량번호를 인식할 수 있도록 구성된다.
Meanwhile, in the present invention, a snap camera for photographing a license plate of a vehicle is attached to a camera on a road on which a vehicle is operated among a plurality of heat sensing cameras, or a vehicle driving surveillance camera already installed on the road is interlocked with the above- , And the license plate recognition module, so that the vehicle number of the traced vehicle or the illegal vehicle can be recognized.

본 발명의 실시예에 따른 열 감지 기반의 대상체 및 상황 감지 시스템, 그리고 이를 이용한 대상체 추적 방법은, 일정한 광원이 제공되지 못하는 저녁 시간 및 새벽 시간에서도 정밀하게 대상체에 대한 추적이 가능한 효과를 제공한다. A thermal sensing based object and a situation sensing system according to an embodiment of the present invention and an object tracking method using the same provide effects of precisely tracking objects even in evening and early morning hours when a certain light source is not provided.

또한, 본 발명의 다른 실시예에 따른 열 감지 기반의 대상체 및 상황 감지 시스템, 그리고 이를 이용한 대상체 추적 방법은, 특정의 열감지를 통해 사람, 차량, 동물 등의 대상체가 통상적으로 발열하는 열을 감지하여 추적할 수도 있고, 최초에 감지된 대상체의 발열 상태를 기초로 하여 대상체의 발열을 다수의 카메라에서 연속하여 감지하며 추적할 수 있는 효과를 제공한다.In addition, according to another embodiment of the present invention, a thermal sensing based object and a situation sensing system, and a method of tracking a target object using the same, detect heat normally generated by a target object such as a person, vehicle, The heat of the object can be continuously detected and tracked by a plurality of cameras on the basis of the heat state of the initially sensed object.

뿐만 아니라, 본 발명의 다른 실시예에 따른 열 감지 기반의 대상체 및 상황 감지 시스템, 그리고 이를 이용한 대상체 추적 방법은, 특정의 대상체에 대한 추적을 기초로 대상체를 추적하고 있는 카메라가 감시하고 있는 지역의 상황 예로써 특정의 열에 의한 화재, 홍수, 폭발 등의 여러 상황을 신속하게 감지하여 통보할 수 있는 효과를 제공한다.
In addition, according to another embodiment of the present invention, a thermal sensing based object and a situation sensing system and a method for tracking a target object using the same, As an example of the situation, it provides the effect of promptly detecting and reporting various situations such as fire, flood, explosion, etc. caused by a specific heat.

도 1은 본 발명의 실시예에 따른 열 감지 기반의 대상체 및 상황 감지 시스템을 나타내는 도면이다.
도 2는 도 1의 열 감지 기반의 대상체 및 상황 감지 시스템 중 열 감지 기반 추적 서버(30)의 구성을 나타내는 블록도이다.
도 3은 도 2의 열 감지 기반 추적 서버(30) 중 대상체 추적 모듈(32)의 구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 열 감지 기반의 대상체 및 상황 감지 방법을 나타내는 흐름도이다.
도 5는 본 발명의 추가실시예1 블록도.
도 6은 본 발명의 추가실시예2 블록도.
FIG. 1 is a diagram illustrating a thermal sensing based object and a situation sensing system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating the configuration of a thermal-based tracking server 30 among the thermal-sensing-based object and the situation sensing system of FIG.
FIG. 3 is a block diagram illustrating the configuration of the object tracking module 32 in the thermal-based tracking server 30 of FIG.
FIG. 4 is a flowchart illustrating a method of detecting a subject and a thermal sensing based on the present invention.
5 is a block diagram of a further embodiment 1 of the present invention;
6 is a block diagram of a further embodiment 2 of the present invention;

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
In the present specification, when any one element 'transmits' data or signals to another element, the element can transmit the data or signal directly to the other element, and through at least one other element Data or signal can be transmitted to another component.

도 1은 본 발명의 실시예에 따른 열 감지 기반의 대상체 및 상황 감지 시스템을 나타내는 도면이다. 도 1을 참조하면, 열 감지 기반의 대상체 및 상황 감지 시스템은 제 1 열 감지 카메라(10-1) 내지 제 n 열 감지 카메라(10-n)(n은 2 이상의 자연수)로 이루어지는 열 감지 카메라 집합체(10), 네트워크(20), 열 감지 기반 추적 서버(30) 및 관리기관 서버(40)를 포함한다.FIG. 1 is a diagram illustrating a thermal sensing based object and a situation sensing system according to an embodiment of the present invention. 1, a thermal sensing based object and a situation sensing system includes a thermal sensing camera assembly 10-1 composed of a first thermal sensing camera 10-1 to an nth thermal sensing camera 10-n (n is a natural number of 2 or more) (10), a network (20), a thermal sense based tracking server (30), and an administrative agency server (40).

열 감지 카메라 집합체(10)를 이루는 각 제 1 열 감지 카메라(10-1) 내지 제 n 열 감지 카메라(10-n)(n은 2 이상의 자연수)는 열 감지 정보를 포함하는 영상 이미지 정보를 촬영하여 습득한다.Each of the first to nth thermal sensing cameras 10-1 to 10-n (n is a natural number of 2 or more) constituting the thermal sensing camera assembly 10 captures image image information including thermal sensing information .

여기서, 각 열 감지 카메라(10-1 내지 10-n)는 열 감지 정보를 획득하기 위한 열 화상 카메라와, 영상 이미지 정보를 획득하기 위한 CMOS 및/또는 CCD 등의 촬상소자를 포함하는 일반 카메라의 하이브리드 형식으로 형성되거나, 적외선 기반의 열 감지 카메라를 이용해 열 감지 정보를 획득한 뒤, 열 감지 정보를 하나의 영상 이미지 정보로 변환하는 변환 모듈을 별도로 구비하는 형식으로 형성될 수 있다. Here, each of the thermal sensing cameras 10-1 to 10-n includes a thermal camera for acquiring thermal sensed information, a general camera including an imaging device such as a CMOS and / or a CCD for acquiring image image information A hybrid module or a conversion module for acquiring thermal sensing information using an infrared-based thermal sensing camera and then converting the thermal sensing information into a single image image information.

각 열 감지 카메라(10-1 내지 10-n)는 습득된 열 감지 정보를 포함하는 영상 이미지 정보를 네트워크(20)를 통해 열 감지 기반 추적 서버(30)로 전송한다. Each of the thermal sensing cameras 10-1 to 10-n transmits image image information including the learned thermal sensing information to the thermal sensing based tracking server 30 via the network 20. [

네트워크(20)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 네트워크(20)가 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 네트워크(20)는 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 네트워크(20)는 열 감지 카메라 집합체(10), 열 감지 기반 추적 서버(30) 및 관리기관 서버(40), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다. The network 20 is a communication network that is a high speed period network of a large communication network capable of a large capacity, long distance voice and data service, and may be a next generation wired and wireless network for providing Internet or high-speed multimedia service. When the network 20 is a mobile communication network, it may be a synchronous mobile communication network or an asynchronous mobile communication network. As an embodiment of the asynchronous mobile communication network, a WCDMA (Wideband Code Division Multiple Access) communication network is exemplified. In this case, although not shown in the drawings, the network 20 may include a Radio Network Controller (RNC). Meanwhile, although the WCDMA network is exemplified, it may be a next generation communication network such as a 3G LTE network or a 4G network, or an IP network based on other IP. The network 20 serves to communicate signals and data between the thermal sensing camera assembly 10, the thermal sensing based tracking server 30 and the management agency server 40, and other systems.

열 감지 기반 추적 서버(30)는 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n, n은 2 이상의 자연수) 중 하나의 대상 열화상 카메라(10u)에 대한 정보 요청을 통해 열 감지 정보를 포함하는 영상 이미지 정보를 수신한 뒤, 데이터베이스(34)에 저장하여, 특정된 대상체에 대한 이동 경로 추적에 따른 일련의 열 감지 카메라를 이용한 추적, 추적되는 대상체와 연관된 상황에 대한 열 감지 기반으로 자동적인 판단을 통한 판단 정보를 네트워크(20)를 통해 관리기관 서버(40)로 전송한다. 또한, 열 감지 기반 추적 서버(30)는 추적되는 대상체의 경로 정보인 피티제트(PTZ) 좌표값도 네트워크(20)를 통해 관리기관 서버(40)로 전송할 수 있다.
The thermal sensing based tracking server 30 receives the information request for one of the target thermal imagers 10u among the first to nth thermal sensing cameras 10-1 to 10-n and n is a natural number of 2 or more, And then stores the image information in the database 34 so that it can be tracked using a series of thermal sensing cameras according to the movement path trace for the specified object, To the management institution server 40 through the network 20. The management server 40 receives the determination information through the network 20, The thermal-based tracking server 30 may also transmit PTZ coordinate values, which are path information of the tracked object, to the management agency server 40 via the network 20.

도 2는 도 1의 열 감지 기반의 대상체 및 상황 감지 시스템 중 열 감지 기반 추적 서버(30)의 구성을 나타내는 블록도이다. 도 2를 참조하면, 열 감지 기반 추적 서버(30)는 송수신부(31), 대상체 추적 모듈(32), 상황 감지 모듈(33) 및 데이터베이스(34)를 포함한다.FIG. 2 is a block diagram illustrating the configuration of a thermal-based tracking server 30 among the thermal-sensing-based object and the situation sensing system of FIG. 2, the thermal-based tracking server 30 includes a transceiver 31, an object tracking module 32, a situation sensing module 33, and a database 34. [

송수신부(31)는 네트워크(20)를 통해 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n), 그리고 관리기관 서버(40)와 데이터 및 신호를 유선 및 무선 방식을 통해 송수신한다. The transceiver 31 transmits and receives data and signals to and from the first to nth thermal sensing cameras 10-1 to 10-n and the management institution server 40 via the network 20 in a wired and wireless manner .

대상체 추적 모듈(32)은 송수신부(31)에 대한 제어를 통해 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n) 중 정보 요청을 전송한 적어도 하나 이상으로 습득된 영상 이미지 정보로부터 하나의 대상체에 대한 추출 및 특정을 수행한다. The object tracking module 32 receives the image information obtained from at least one or more than one of the first through n-th thermal sensing cameras 10-1 through 10-n through the control of the transceiver 31 And extracts and specifies one object.

대상체 추적 모듈(32)은 특정된 대상체에 대한 열 감지 정보를 기습득된 열 감지 정보를 포함하는 영상 이미지 정보로부터 추출한 뒤, 추출된 열 감지 정보를 피티제트(PTZ) 좌표값을 연산한다.The object tracking module 32 extracts the thermal sensed information for the specified object from the image information including the sensed thermal sensed information, and then calculates the PTZ coordinate value of the extracted thermal sensed information.

대상체 추적 모듈(32)은 피티제트(PTZ) 좌표값에 따라 다음 경로에 해당하는 차순위 대상 열화상 카메라에 대한 식별번호를 데이터베이스(34)로부터 습득한 뒤, 식별번호에 해당하는 열 감지 카메라에 의해 습득된 영상 이미지 정보로부터 추출된 대상체의 열 감지 정보와 매칭되는 피티제트(PTZ) 좌표값을 연산하여, 연산된 피티제트(PTZ) 좌표값을 네트워크(20)를 통해 관리기관 서버(40)로 전송하도록 송수신부(31)를 제어한다. The object tracking module 32 acquires from the database 34 the identification number for the next target thermal imaging camera corresponding to the next path in accordance with the PTZ coordinate value, (PTZ) coordinate value matching with the thermal sensing information of the object extracted from the acquired image image information, and outputs the calculated PTZ coordinate value to the management institution server 40 via the network 20 And controls the transmission / reception unit 31 to transmit.

상황 감지 모듈(33)은 대상체 추적 모듈(32)에 의해 추적되고 있는 대상체의 상황을 실시간으로 감지한 뒤, 상황 정보를 생성하여 네트워크(20)를 통해 관리기관 서버(40)로 전송하도록 송수신부(31)를 제어한다. The situation detection module 33 detects the status of the object being tracked by the object tracking module 32 in real time and generates situation information and transmits it to the management institution server 40 through the network 20, (31).

보다 구체적으로, 상황 감지 모듈(33)은 미리 설정된 시간 이상으로 대상체가 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n) 중 하나의 열 감지 카메라에 의해 영상 이미지 정보로 획득되는 경우, 해당 열 감지 카메라가 감지하고 있는 지역의 상황으로 열에 의한 화재, 홍수, 폭발 등의 여러 상황을 신속하게 감지하여 통보할 수 있다. 이를 위해 상황 감지 모듈(33)은 데이터베이스(34)에 저장된 상황에 대한 열 기반 상황 이미지를 추출한 뒤, 영상 이미지 정보에서 열 기반 상황 이미지와 유사범위의 것을 매칭하여, 상황 정보를 생성한다. 여기서 유사범위의 것은 영상 대비를 통해 수행되며, 동일한 이미지의 스케일의 업/다운, 일부 왜곡, 열 화상의 범위, 기울어진 것, 삐뚤어진 것을 포함하여 수행되는 것이 바람직하다. More specifically, when the object is acquired as image image information by one of the first to nth thermal sensing cameras 10-1 to 10-n at a predetermined time or longer , It is possible to quickly detect and notify various situations such as fire, flood, and explosion due to heat due to the local situation detected by the thermal sensing camera. To this end, the situation detection module 33 extracts a column-based situation image for the situation stored in the database 34, and generates situation information by matching the similarity range with the column-based situation image in the image image information. Here, the similar range is performed through the image contrast, and is preferably performed including up / down of the scale of the same image, partial distortion, range of the thermal image, inclination, and skew.

데이터베이스(34)는 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 데이터베이스의 형태 등 다양한 방식으로 구현될 수 있으며, 데이터베이스에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다.
The database 34 may refer to a functional and structural combination of software and hardware that stores information corresponding to each database. The DB may be implemented as at least one table, and may further include a separate DBMS (Database Management System) for searching, storing, and managing information stored in the database. Also, it can be implemented in various ways such as a linked-list, a tree, and a relational database, and includes all data storage media and data structures capable of storing information corresponding to a database.

도 3은 도 2의 열 감지 기반 추적 서버(30) 중 대상체 추적 모듈(32)의 구성을 나타내는 블록도이다. 도 3을 참조하면, 대상체 추적 모듈(32)은 스위칭 입력 수단(32a), 이미지 처리 수단(32b), 연산 수단(32c), 카메라 제어 수단(32d), 데이터 호환 처리수단(32e), 인식 데이터 처리수단(32f), 그리고 관리기관 전송 수단(32g)을 구비한다.FIG. 3 is a block diagram illustrating the configuration of the object tracking module 32 in the thermal-based tracking server 30 of FIG. 3, the object tracking module 32 includes a switching input means 32a, an image processing means 32b, an operation means 32c, a camera control means 32d, a data compatibility processing means 32e, Processing means 32f, and management agency transmitting means 32g.

스위칭 입력 수단(32a)은 각 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n)로부터 원본 영상 추출모듈(11)을 통해 스트림 형태로 추출된 이미지를 수신하도록 송수신부(31)를 제어한다. 보다 구체적으로, 스위칭 입력 수단(32a)은 각 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n)가 설치된 지역에서 현금이나 각종 귀중품의 도난, 사고나 화재와 같은 재난 등의 사건이 발생시 사건발생현장 부근의 감지 카메라에 의해 사건현장의 열 감지 기반의 촬영영상을 스트림 형태로 추출된 이미지를 수신하게 된다. The switching input means 32a includes a transmission / reception unit 31 for receiving images extracted in a stream form from the first through n-th thermal imaging cameras 10-1 through 10-n through the original image extraction module 11 . More specifically, the switching input means 32a detects events such as theft of cash or various valuables, accidents such as an accident or a fire in the areas where the first through n-th thermal imaging cameras 10-1 through 10-n are installed When the event occurs, the detection camera in the vicinity of the incident scene receives the image extracted in the stream form of the thermal sensing based on the incident scene.

스위칭 입력 수단(32a)은 스트림 형태로 추출된 이미지를 전송한 열 감지 카메라의 규격과 종류를 데이터베이스(34)로부터 추출한 뒤, 추출된 규격과 종류별 데이터를 이미 설정되어 구분된 데이터 테이블(34a)의 해당 그룹에 입력한다. The switching input means 32a extracts the standard and the type of the thermal sensing camera which has transmitted the extracted image in the stream form from the database 34 and then outputs the extracted standard and the data for each type to the data table 34a Type in the group.

이후, 스위칭 입력 수단(32a)은 데이터 테이블의 해당 그룹에 입력된 열 감지 카메라로부터 촬영된 영상 이미지가 실시간 입력되면, 이미 입력된 데이터 테이블(34a)의 해당 그룹에 저장된 데이터를 로딩하여 실시간 입력된 영상 데이터로 패킷화하여 처리하게 된다.Thereafter, the switching input means 32a loads the data stored in the corresponding group of the data table 34a, which has already been inputted, in real time when the video image photographed from the thermal sensing camera inputted in the corresponding group of the data table is input in real time, And packetized into video data for processing.

이와 같이 스위칭 입력 수단(32a)에 의해 영상 데이터를 처리하는 과정에서 경로 추적에 따른 다른 열 감지 카메라를 구동시키고자 할 경우, 이미 입력된 데이터 테이블(34a)의 해당 그룹에 저장된 영상 이미지를 로딩하여 구동시키고자 하는 열 감지 카메라로 구동데이터를 전송함으로써, 영상 이미지를 수신한 열 감지 카메라를 영상 이미지와 이어지는 프레임으로 작동되도록 팬/틸트/요잉을 수행할 수 있다.In the case of driving another thermal sensing camera according to the path trace in the process of processing the image data by the switching input means 32a, the image image stored in the corresponding group of the already inputted data table 34a is loaded By transmitting the driving data to the thermal sensing camera to be driven, it is possible to perform the pan / tilt / yaw operation so that the thermal sensing camera receiving the image image operates as a frame following the image image.

이미지 처리 수단(32b)은 원본 영상 추출모듈(11)을 통해 영상 이미지를 수신이 완료되면, 데이터베이스(34)의 각 데이터 테이블(34a)의 데이터를 호출한다. 호출된 데이터가 로딩되면, 이미지 처리 수단(32b)에서는 호출된 데이터에 의해 대상체와 주변 사물을 구분하고 대상체를 인식한 후, 대상체와 주변 사물의 이미지를 처리가능한 데이터로 변환함으로써, 각 대상체에 대해서는 경로 추적이 수행되고, 주변 사물에 대해서는 상황 판단 정보가 생성될 수 있도록 한다. The image processing unit 32b calls the data of each data table 34a of the database 34 when the image image is received through the original image extracting module 11. [ When the called data is loaded, the image processing means 32b distinguishes the object from the surrounding objects, recognizes the object, and then converts the image of the object and surrounding objects into data that can be processed, Path tracking is performed, and situation determination information is generated for surrounding objects.

연산 수단(32c)은 이미지 처리 수단(32b)에 의해 인식된 열 감지 카메라와 대상체의 거리 및 객체의 속도를 이용하여 피티제트(PTZ) 좌표값을 연산한 뒤, 연산된 대상체의 피티제트(PTZ) 좌표값을 피티제트(PTZ) 좌표값을 카메라 제어 수단(32d)으로 전송한다.The calculation means 32c calculates a PTZ coordinate value using the distance between the thermal sensing camera and the object recognized by the image processing means 32b and the velocity of the object and then calculates the PTZ coordinate value using the calculated PTZ (PTZ) coordinate value to the camera control means 32d.

연산 수단(32c)은 열 감지 카메라의 설치된 높이(h), 열 감지 카메라와 지면에 수직인 선의 각도(q)를 이용하여 하기의 수학식 1을 통해 열 감지 카메라와 대상체의 거리(r)를 연산할 수 있다.The calculation means 32c calculates the distance r between the thermal sensing camera and the object through the following Equation 1 using the height h of the thermal sensing camera and the angle q of the line perpendicular to the thermal sensing camera and the ground .

Figure 112015088407287-pat00001
Figure 112015088407287-pat00001

r은 열 감지 카메라와 대상체의 거리, h는 열 감지 카메라의 설치된 높이, q는 열 감지 카메라와 지면에 수직인 선의 각도.
r is the distance between the thermal sensing camera and the object, h is the installed height of the thermal sensing camera, and q is the angle of the line perpendicular to the thermal sensing camera and ground.

한편, 연산 수단(32c)은 각 열 감지 카메라로부터 수신된 영상 이미지를 다수의 부분으로 나누어 각 부분마다 기 설정된 줌(zoom) 좌표값을 이용하여 피티제트(PTZ) 좌표값을 연산할 수 있다. On the other hand, the calculation means 32c divides the image image received from each thermal sensing camera into a plurality of portions, and calculates the PTZ coordinate values using preset zoom coordinate values for each portion.

카메라 제어 수단(32d)은 연산 수단(32c)에 의해 피티제트(PTZ) 좌표값을 이용하여 대상체의 경로 예상 정보를 생성한 뒤, 경로 예상 진행 방향으로 차순위의 열 감지 카메라에 대한 팬/틸트/요잉이 수행되도록 제어 명령을 생성하여 해당 차순위의 열 감지 카메라로 전송하도록 송수신부(31)를 제어한다. The camera control means 32d generates route prediction information of the object using the PTZ coordinate value by the calculation means 32c and then generates the pan / tilt / Generates a control command so that yawing is performed, and controls the transmission / reception unit 31 to transmit the control command to the thermal sensing camera of the corresponding order.

인식 데이터 처리수단(32f)은 이미지 처리 수단(32b)에 의해 인식된 대상체 및 주변 사물 정보를 이용해 대상체의 모션감지, 형상감지, 생체인식, 색체인식, 좌표인식 데이터와, 주변 사물의 지리정보, 모션감지, 형상감지, 색체인식, 좌표인식 데이터를 각기 생성한다.The recognition data processing means 32f uses the object information and the surrounding object information recognized by the image processing means 32b to detect motion of the object, shape detection, biometrics, color matching, coordinate recognition data, Motion detection, shape detection, color recognition, and coordinate recognition data, respectively.

이후, 인식 데이터 처리수단(32f)은 대상체에 대한 모션감지, 형상감지, 생체인식, 색체인식, 좌표인식 데이터에 해당하는 제 1 데이터 그룹과, 주변 사물의 지리정보, 모션감지, 형상감지, 색체인식, 좌표인식 데이터에 해당하는 제 2 데이터 그룹으로 가공한다. 이때, 가공은 이진부호, 펄스 등의 형태로 신호로 변환하는 것을 의미한다. Then, the recognition data processing means 32f generates a first data group corresponding to motion detection, shape detection, biometrics, color recognition, and coordinate recognition data for a target object, geographic information of surrounding objects, motion detection, And the second data group corresponding to the recognition and coordinate recognition data. At this time, processing means conversion into signals in the form of binary codes, pulses, and the like.

인식 데이터 처리수단(32f)은 현재 및 차순위 열 감지 카메라에 대해서 카메라 제어 수단(32d)에 의해 제 1 데이터 그룹을 이용해 대상체에 초점을 두고 대상체를 연속적으로 추적하여 촬영할 수 있도록 하기 위한 데이터를 생성하는 것이다.The recognition data processing means 32f generates data for enabling the camera control means 32d to continuously track and photograph the target object by focusing on the target object by using the first data group for the current and the next order thermal imaging cameras will be.

즉, 인식 데이터 처리수단(32f)에 의해 생성된 제 1 데이터 그룹 및 제 2 데이터 그룹은 카메라 제어 수단(32d)로 전송됨으로써, 카메라 제어 수단(32d)은 대상체 외의 주변 사물 데이터를 제거한 상태에서 대상체에 초점을 두고 대상체를 연속적으로 추적하며 촬영을 수행할 수 있게 된다.That is, the first data group and the second data group generated by the recognition data processing unit 32f are transmitted to the camera control unit 32d, so that the camera control unit 32d cancels the surrounding object data, The subject can be continuously tracked and the photographing can be performed.

이때, 주변 사물 데이터의 제거는 대상체의 이동하는 경로에서 대상체와의 중첩에 의해 대상객체를 오인, 혼동할 수 있는 여지를 제거하기 위한 것으로, 이로 인해 대상체를 더욱 명확하게 인식하여 확인 및 추적할 수 있게 된다.In this case, the removal of the surrounding object data is intended to eliminate the possibility of confusion or misunderstanding of the target object by overlapping with the object in the moving path of the object. Therefore, the object can be recognized more clearly .

관리기관 전송 수단(32g)은 카메라 제어 수단(32d)에 의해 촬영된 영상 이미지, 그리고 상술한 추적 경로에 따른 피티제트(PTZ) 좌표값 정보를 네트워크(20)를 통해 관리기관 서버(40)로 전송하도록 송수신부(31)를 제어한다.
The management agency transmission means 32g transmits the image captured by the camera control means 32d and the PTZ coordinate value information according to the above described trace route to the management institution server 40 via the network 20 And controls the transmission / reception unit 31 to transmit.

도 4는 본 발명의 실시예에 따른 열 감지 기반의 대상체 및 상황 감지 방법을 나타내는 흐름도이다. 도 4를 참조하면, 열 감지 기반 추적 서버(30)는 네트워크(20)를 통해 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n, n은 2 이상의 자연수) 중 하나의 대상 열화상 카메라(10u)로부터 열 감지 정보를 포함하는 영상 이미지 정보 습득한다(S11).FIG. 4 is a flowchart illustrating a method of detecting a subject and a thermal sensing based on the present invention. Referring to Fig. 4, the thermal-based tracking server 30 is connected to the network 20 via a network 20, which is an object thermal image of one of the first through n-th thermal sensing cameras 10-1 through 10-n (n is a natural number of 2 or more) And acquires image image information including thermal sensed information from the camera 10u (S11).

단계(S11) 이후, 열 감지 기반 추적 서버(30)는 단계(S11)에서 습득된 영상 이미지 정보로부터 하나의 대상체에 대한 추출 및 특정을 수행한다(S12).After step S11, the thermal-based tracking server 30 performs extraction and specification of one object from the image image information acquired in step S11 (S12).

단계(S12) 이후, 열 감지 기반 추적 서버(30)는 단계(S12)에서 특정된 대상체에 대한 열 감지 정보를 단계(S11)에서 습득된 열 감지 정보를 포함하는 영상 이미지 정보로부터 추출한다(S13).After step S12, the thermal-based tracking server 30 extracts the thermal sensing information for the object specified in step S12 from the image image information including the thermal sensing information learned in step S11 (S13 ).

단계(S13) 이후, 열 감지 기반 추적 서버(30)는 단계(S13)에서 추출된 열 감지 정보를 피티제트(PTZ) 좌표값을 연산한다(S14).After step S13, the thermal-based tracking server 30 calculates the PTZ coordinate value of the thermal sensing information extracted in step S13 (S14).

단계(S14) 이후, 열 감지 기반 추적 서버(30)는 피티제트(PTZ) 좌표값에 따라 다음 경로에 해당하는 제 m 차순위 대상 열화상 카메라(m은 1 이상의 자연수로 초기값은 1)에 대한 식별번호 습득한다(S15).After the step S14, the thermal-based tracking server 30 determines whether or not the m-th order subject thermal imager (m is a natural number equal to or greater than 1 and whose initial value is 1) corresponding to the next path according to the PTZ coordinate value The identification number is obtained (S15).

단계(S15) 이후, 열 감지 기반 추적 서버(30)는 식별번호에 해당하는 열 감지 카메라에 의해 습득된 영상 이미지 정보로부터 추출된 대상체의 열 감지 정보와 매칭되는 피티제트(PTZ) 좌표값을 연산하여(S16), 연산된 피티제트(PTZ) 좌표값을 네트워크(20)를 통해 관리기관 서버(40)로 전송한다.After the step S15, the thermal-based tracking server 30 calculates a PTZ coordinate value matching with the thermal sensing information of the object extracted from the image information acquired by the thermal sensing camera corresponding to the identification number (PTZ) coordinate values to the management institution server 40 through the network 20 (S16).

단계(S16) 이후, 열 감지 기반 추적 서버(30)는 네트워크(20)를 통해 관리기관 서버(40)로부터 추적 완료 여부에 대한 메시지 수신을 대기한 뒤, 수신된 메시지가 추적 완료인지 판단을 수행한다(S17).After the step S16, the thermal-based tracking server 30 waits for the message about the completion of tracking from the management institution server 40 through the network 20, and then determines whether the received message is tracked (S17).

단계(S17)의 판단 결과 추적 완료인 경우 열 감지 기반 추적 서버(30)는 대상체에 대한 열 감지 기반의 추적을 완료한다. 반대로, 단계(S17)의 판단 결과 추적 미완료인 경우, 열 감지 기반 추적 서버(30)는 단계(S15)에서의 제 m 차순위 대상 열 감지 카메라의 차수 m의 초기값에 해당하는 1에 해당하는 제 1 차순위 대상 열 감지 카메라의 피티제트(PTZ) 좌표값에 따라 다음 경로(+1)에 해당하는 제 2 차순위 대상 열화상 카메라에 대한 식별번호 습득하도록 단계(S15)로 회귀함으로써, 단계(S15) 내지 단계(S17)의 과정을 대상체에 대한 추적이 완료될 때까지 단계(S18)과 같이 m에 대한 값에 1을 합산하는 과정을 통해 반복적으로 수행한다.
As a result of the determination in step S17, if the tracking is completed, the thermal-based tracking server 30 completes tracking of the thermal-based tracking for the object. On the other hand, if it is determined in step S17 that the tracking is not completed, the thermal-based tracking server 30 determines whether the m- The process returns to step S15 to acquire the identification number for the second-rank target infrared camera corresponding to the next path (+1) according to the PTZ coordinate value of the first-order target thermal camera, The process of step S17 is repeatedly performed until the tracking of the target object is completed by adding 1 to the value of m as in step S18.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) .

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.

<추가실시예 1>&Lt; Additional Embodiment 1 &

도 5는 본 발명의 추가실시예 블록도이다.Figure 5 is a block diagram of a further embodiment of the present invention.

도면을 참조하면, 추가실시예의 열 감지 기반의 대상체 및 상황 감지 시스템은 열 감지에 의해 대상체를 추적하기 위한 보다 구체적인 실시예를 제시한다. 즉, 상기 감지 시스템은 대상체가 인체, 동물, 차량 등이거나 홍수, 화재 등의 재해상황 발생시 이들 상황을 보다 정확하게 인지시킬 수 있도록 하기 위한 구성이다.Referring to the drawings, a thermal sensing based object and a situation sensing system of a further embodiment provide a more specific embodiment for tracking an object by thermal sensing. That is, the detection system is a structure for allowing a target body to recognize the situation more accurately when a disaster such as a human body, an animal, a vehicle, or the like occurs.

이를 위해, 상기 감지 시스템은 데이터베이스(34)가 인체, 동물, 차량 등에서 발산하는 고유의 열감지 특성치가 미리 저장된 대상체 데이터 테이블(34a)과, 홍수, 화재 등의 재해상황시 열감지 지점에서 발산되는 고유의 열감지 특성치가 미리 저장된 재해상황 데이터 테이블(34b)을 갖추어 구성된다.To this end, the sensing system includes a target object data table 34a in which a database 34 stores a unique heat sensing characteristic value emitted from a human body, an animal, a vehicle, etc., And a disaster situation data table 34b in which a unique thermal sense characteristic value is stored in advance.

또한, 상기 감지 시스템은 각각의 데이터 테이블(34a, 34b)과 연동되어 상황 감지 모듈(33)에 인체, 동물, 차량 등의 열감지 특성치의 변화를 실시간으로 감지하여 데이터 출력하기 위한 대상체 변화량 감지 모듈(33a)과, 홍수, 화재 등의 재해상황시 시간대별로 열감지 특성치의 변화를 실시간으로 감지하여 데이터 출력하기 위한 재해상황 변화량 감지 모듈(33b)을 갖추어 구성된다.In addition, the sensing system may include a target variation detecting module 33 for detecting a change in the heat sensing characteristic values of a human body, an animal, a vehicle, etc. in real time and outputting data to the situation sensing module 33 in cooperation with the respective data tables 34a, 34b, And a disaster situation change amount detection module 33b for detecting a change in the thermal sensation characteristic value in real time in the event of a disaster such as flood or fire and outputting the sensed data in real time.

따라서, 상기 감지 시스템은 대상체 또는 재해상황을 열 감지에 의해 인식할 때 각 데이터 테이블(34a, 34b)의 데이터에 의해 인체, 동물, 차량 등의 대상체 구분이나 재해상황을 보다 명확하게 인지할 수 있게 된다. 또한, 상기 각각의 변화량 감지 모듈(33a, 33b)에 의해 대상체의 추적이나 재해상황의 변화를 보다 정확하게 인지할 수 있게 된다.Accordingly, when the sensing system recognizes the object or the disaster by heat sensing, it is possible to more clearly recognize the distinction of a target object such as a human body, an animal, a vehicle, or a disaster by data of the data tables 34a and 34b do. In addition, the change amount detection modules 33a and 33b can more accurately recognize changes in the tracking of the object or the disaster situation.

일예로써, "대상체가 월담을 하여 3인의 동반자 만나 도주"하는 상황이라 할 경우 대상체 데이터 테이블(34a)에서는 상기 대상체와 동반자가 각각의 열 발산 특성에 따라 인체임을 인지하고, 상기 대상체 변화량 감지모듈(34b)에 의해 월담의 상황과 3인의 동반자와 접촉하는 상황을 보다 정확하게 인식할 수 있도록 하게 된다.For example, in the case of "a subject walks and escapes with three companions", the object data table 34a recognizes that the object and the companion are human bodies according to respective heat dissipation characteristics, 34b) will be able to more accurately recognize the situation of the walleman and the situation in contact with the three companions.

두번째 예로써, 특정의 지점에 화재가 발생한 경우 상기 재해상황 데이터 테이블(33b)에 의해 열 발산특성이 특정의 넓이와 시간으로 지속되어 화재임을 인지할 수 있게 되며, 상기 재해상황 변화량 감지모듈(33b)에 의해 화재의 종류와 확산속도 등의 기본 데이터를 정확하게 인식할 수 있게 된다.
As a second example, when a fire occurs at a specific point, the disaster state data table 33b allows the heat dissipation characteristic to be continued for a certain width and time to recognize that the fire is present. The disaster state change amount detection module 33b ), It is possible to accurately recognize basic data such as the type of fire and the diffusion speed.

이와 같은 추가실시예1의 감지 시스템은 일반의 추적 카메라 시스템(주로 음영방식에 의한 동영상 움직임 예측 방식의 시스템)에 의한 대상체 및 재해상황 감시의 에러발생을 최소화시킬 수 있게 되며, 특히, 정확한 대상체 및 재해상황의 인지와 이들의 변화를 정확하게 인식하여 그에 대한 신속할 대응을 실시할 수 있게 된다.The detection system of the additional embodiment 1 can minimize the occurrence of errors in object and disaster situation monitoring by a general tracking camera system (mainly a system of motion prediction method based on shadowing), and in particular, The recognition of the disaster situation and the change of the disaster can be accurately recognized, and quick response to the disaster can be realized.

특히, 상기 대상체 변화량 감지 모듈(33a)과 재해상황 변화량 감지 모듈(33b)은 GIS(Geographic Information System : 지리정보시스템)(60)와 연동되도록 구성되어 대상체의 추적과 재해상황의 발생지점을 보다 정확하게 인지할 수 있도록 구성될 수도 있다.
Particularly, the object change detection module 33a and the disaster situation change amount detection module 33b are configured to be interlocked with a GIS (Geographic Information System) 60 to more accurately track the occurrence of the object and the occurrence point of the disaster situation Or may be configured to recognize.

<추가실시예2>&Lt; Additional Example 2 >

도 6은 본 발명의 추가실시예2의 블록도이다.6 is a block diagram of a further embodiment 2 of the present invention.

도면을 참조하면, 본 발명 추가실시예2의 감지 시스템은 열 감지에 의해 대상체가 차량으로 인지된 경우, 차량의 번호판을 인식하기 위한 구성을 제시한다.Referring to the drawings, a sensing system according to a second embodiment of the present invention provides a configuration for recognizing a license plate of a vehicle when the object is recognized as a vehicle by heat sensing.

이를 위해, 상기 다수의 열 감지 카메라(10) 중 차량이 운행되는 도로 상의 카메라에 차량의 번호판을 촬영하기 위한 스냅카메라(12)를 부설하거나, 이미 도로 상에 설치된 차량 운행 감시 카메라와 전술된 열 감지 카메라(10)를 연동시키고, 번호판 인식모듈(50)과 연결하여 추적차량이나 법규 위반차량의 차량번호를 인식할 수 있도록 구성된다.
To this end, a snap camera 12 for photographing a license plate of a vehicle on the road on which the vehicle is running among the plurality of heat detecting cameras 10 is installed, or a snapshot camera 12 already installed on the road, The detection camera 10 is interlocked with the license plate recognition module 50, and the vehicle number of the tracking vehicle or the illegal vehicle is recognized.

10-1 내지 10-n : 제 1 내지 제 n 열 감지 카메라
11 : 원본 영상 추출모듈 20 : 네트워크
30 : 열 감지 기반 추적 서버 31 : 송수신부
32 : 대상체 추적 모듈 32a : 스위칭 입력 수단
32b : 이미지 처리 수단 32c : 연산 수단
32d : 카메라 제어 수단 32e : 데이터 호환 처리수단
32f : 인식 데이터 처리수단 32g : 관리기관 전송 수단
33 : 상황 감지 모듈 34 : 데이터베이스
40 : 관리기관 서버
10-1 to 10-n: First to nth thermal sensing cameras
11: Original image extraction module 20: Network
30: Thermal sensing based tracking server 31: Transmitting /
32: object tracking module 32a: switching input means
32b: image processing means 32c: calculation means
32d: camera control means 32e: data compatibility processing means
32f: recognition data processing means 32g: management institution transfer means
33: situation detection module 34: database
40: management institution server

Claims (8)

열 감지 정보를 포함하는 영상 이미지 정보를 촬영하여 습득하는 열 감지 카메라 집합체(10)를 이루는 각 제 1 열 감지 카메라(10-1) 내지 제 n 열 감지 카메라(10-n)(n은 2 이상의 자연수); 및 제 1 내지 제 n 열 감지 카메라(10-1 내지 10-n) 중 하나의 대상 열화상 카메라(10u)에 대한 정보 요청을 통해 열 감지 정보를 포함하는 영상 이미지 정보를 수신한 뒤, 데이터베이스(34)에 저장하여, 특정된 대상체에 대한 이동 경로 추적에 따른 일련의 열 감지 카메라를 이용한 추적, 추적되는 대상체와 연관된 상황에 대한 열 감지 기반으로 자동적인 판단을 통한 판단 정보를 네트워크(20)를 통해 관리기관 서버(40)로 전송하는 열 감지 기반 추적 서버(30); 를 포함하는 것을 특징으로 하는 열 감지 기반의 대상체 및 상황 감지 시스템에 있어서,
상기 데이터 베이스(34)는, 대상체에서 발산하는 고유의 열감지 특성치가 미리 저장된 대상체 데이터 테이블(34a)과, 재해상황시 열감지 지점에서 발산되는 고유의 열감지 특성치가 미리 저장된 재해상황 데이터 테이블(34b)을 갖추고,
상기 각각의 데이터 테이블(34a, 34b)과 연동되어 대상체의 열감지 특성치의 변화를 실시간으로 감지하여 데이터 출력하기 위한 대상체 변화량 감지 모듈(33a)과, 재해상황시 시간대별로 열감지 특성치의 변화를 실시간으로 감지하여 데이터 출력하기 위한 재해상황 변화량 감지 모듈(33b)을 갖추어 구성된 것을 특징으로 하는 열 감지 기반의 대상체 및 상황 감지 시스템.
Each of the first to nth thermal sensing cameras 10-1 to 10-n (n is an integer of 2 or more) constituting the thermal sensing camera set 10 to acquire and acquire image image information including thermal sensing information, Natural number); And the first to n-th thermal sensing cameras 10-1 to 10-n, and then transmits the image sensing information including the thermal sensing information to the database 34), and it is possible to perform tracking using a series of thermal sensing cameras according to tracing of a moving path to a specified object, determination information based on a thermal sensation based on a thermal sensing of a situation related to the tracked object, To a management agency server (40) through a thermal sensing based tracking server (30); The system of claim 1, further comprising:
The database 34 includes a target object data table 34a in which a unique thermal sense characteristic value diffusing from a target object is previously stored and a disaster condition data table 34a in which a unique thermal sense characteristic value, 34b,
A target object change amount detection module 33a for detecting a change in the thermal sense characteristic value of the object in real time in cooperation with each of the data tables 34a and 34b and outputting the data in a real time, And a disaster state change amount detection module (33b) for detecting the disaster state change amount and outputting the data.
청구항 1에 있어서, 각 열 감지 카메라(10-1 내지 10-n)는,
열 감지 정보를 획득하기 위한 열 화상 카메라와, 영상 이미지 정보를 획득하기 위한 촬상소자(CMOS, CCD)를 포함하는 일반 카메라의 하이브리드 형식(제 1 타입)으로 형성되거나, 적외선 기반의 열 감지 카메라를 이용해 열 감지 정보를 획득한 뒤 열 감지 정보를 하나의 영상 이미지 정보로 변환하는 변환 모듈을 별도로 구비하는 형식(제 2 타입)으로 형성되는 것을 특징으로 하는 열 감지 기반의 대상체 및 상황 감지 시스템.
2. The system of claim 1, wherein each of the thermal sensing cameras (10-1 through 10-n)
(First type) of a general camera that includes an infrared camera for acquiring thermal sensing information and an imaging device (CMOS, CCD) for acquiring image information, or an infrared-based thermal sensing camera And a conversion module for converting the thermal sensing information into one image image information after acquiring the thermal sensing information by using the thermal sensing information.
삭제delete 삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
상기 대상체 변화량 감지 모듈(33a)과 재해상황 변화량 감지 모듈(33b)은 GIS(60)와 연동되도록 구성되어 대상체의 추적과 재해상황의 발생지점을 보다 정확하게 인지할 수 있도록 구성된 것을 특징으로 하는 열 감지 기반의 대상체 및 상황 감지 시스템.
The method according to claim 1,
The object change detection module 33a and the disaster situation change detection module 33b are configured to be interlocked with the GIS 60 so as to be able to track the object and recognize the occurrence point of the disaster situation more accurately. Based object and situation detection system.
청구항 1에 있어서,
다수의 열 감지 카메라(10) 중 차량이 운행되는 도로 상의 카메라에 차량의 번호판을 촬영하기 위한 스냅카메라(12)를 부설하거나, 이미 도로 상에 설치된 차량 운행 감시 카메라와 전술된 열 감지 카메라(10)를 연동시키고, 번호판 인식모듈(50)과 연결하여 추적차량이나 법규 위반차량의 차량번호를 인식할 수 있도록 구성된 것을 특징으로 하는 열 감지 기반의 대상체 및 상황 감지 시스템.
The method according to claim 1,
A snap camera 12 for photographing a license plate of a vehicle on a road on which a vehicle is running among a plurality of heat detecting cameras 10 is installed or a vehicle running surveillance camera already installed on the road and a thermal camera 10 ), And is connected to the license plate recognition module (50) so as to recognize the vehicle number of the tracking vehicle or the illegally operated vehicle.
KR1020150128749A 2015-09-11 2015-09-11 System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same KR101653820B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150128749A KR101653820B1 (en) 2015-09-11 2015-09-11 System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150128749A KR101653820B1 (en) 2015-09-11 2015-09-11 System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same

Publications (1)

Publication Number Publication Date
KR101653820B1 true KR101653820B1 (en) 2016-09-05

Family

ID=56939060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150128749A KR101653820B1 (en) 2015-09-11 2015-09-11 System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same

Country Status (1)

Country Link
KR (1) KR101653820B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827671B1 (en) 2017-02-06 2018-02-09 한국도로공사 Detection System for Overheated Vehicle
KR102347330B1 (en) * 2020-10-05 2022-01-07 윤원섭 Safety management monitoring system using thermal imaging camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064675A (en) * 2007-12-17 2009-06-22 한국전자통신연구원 Visual surveillance camera and visual surveillance method using collaboration of cameras
KR20140105307A (en) * 2013-02-22 2014-09-01 국방과학연구소 Trespass detecting apparatus and control method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064675A (en) * 2007-12-17 2009-06-22 한국전자통신연구원 Visual surveillance camera and visual surveillance method using collaboration of cameras
KR20140105307A (en) * 2013-02-22 2014-09-01 국방과학연구소 Trespass detecting apparatus and control method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827671B1 (en) 2017-02-06 2018-02-09 한국도로공사 Detection System for Overheated Vehicle
KR102347330B1 (en) * 2020-10-05 2022-01-07 윤원섭 Safety management monitoring system using thermal imaging camera

Similar Documents

Publication Publication Date Title
US9928707B2 (en) Surveillance system
KR102104088B1 (en) Uwb-based location tracking and ai combined intelligent object tracking video monitoring system
KR101647370B1 (en) road traffic information management system for g using camera and radar
KR101248054B1 (en) Object tracking system for tracing path of object and method thereof
CN103686131A (en) Monitoring apparatus and system using 3d information of images and monitoring method using the same
KR101496390B1 (en) System for Vehicle Number Detection
KR101644857B1 (en) CCTV apparatus and system for crime prevention based on detection of object, information collection method using the same
CN111246172A (en) Linkage image acquisition device and image acquisition method
KR101492473B1 (en) Context-aware cctv intergrated managment system with user-based
KR102397837B1 (en) An apparatus and a system for providing a security surveillance service based on edge computing and a method for operating them
US10341616B2 (en) Surveillance system and method of controlling the same
KR101442669B1 (en) Method and apparatus for criminal acts distinction using intelligent object sensing
KR102183903B1 (en) Surveillance camera and control method thereof
KR20220000226A (en) A system for providing a security surveillance service based on edge computing
KR102472369B1 (en) Object tracking system based on sound source asking for emegency help and tracking method using the same
KR101372327B1 (en) Safety management system of school zone and the service method
KR102107957B1 (en) Cctv monitoring system for detecting the invasion in the exterior wall of building and method thereof
KR101653820B1 (en) System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same
JP6253950B2 (en) Image surveillance system
KR20220000216A (en) An apparatus for providing a security surveillance service based on deep learning distributed processing
KR102270858B1 (en) CCTV Camera System for Tracking Object
KR100844640B1 (en) Method for object recognizing and distance measuring
KR20230020184A (en) Video analysis device using fixed camera and moving camera
KR20220000209A (en) Recording medium that records the operation program of the intelligent security monitoring device based on deep learning distributed processing
KR101859883B1 (en) Network device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190806

Year of fee payment: 4