KR101881524B1

KR101881524B1 - The apparatus and method of video surveillance system using intelligent based location information and action cognitive information in subject for video

Info

Publication number: KR101881524B1
Application number: KR1020180046922A
Authority: KR
Inventors: 박영기; 심명휘
Original assignee: 박영기
Priority date: 2018-04-23
Filing date: 2018-04-23
Publication date: 2018-07-24

Abstract

The present invention relates to a hybrid long-distance intelligent image monitoring apparatus and method composed of object behavior cognition information data and object real-time location information data. The hybrid long-distance intelligent image monitoring apparatus comprises: a first smart PTZ camera module (110), a first measurement controller (120), a first wired/wireless communications module (130), and an intelligent control server (140). The distance of an object can be measured in real time.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a hybrid remote intelligent video surveillance apparatus and method for real-time location information data for a subject,

본 발명에서는 10m~20,000m에 위치한 피사체의 거리를 측정할 수 있고, 지능형관제서버 또는 현장용 지능형제어부를 통해, GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 추적하는 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스 상 또는 프로그램 화면에, 최종 지능형 모션정보(행위 인지정보 데이터 + 실시간 위치 정보데이터(피사체의 시간, 위치, 이동방향, 이동거리, 이동속도))를 표출시키도록 제어할 수 있는 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시장치 및 방법에 관한 것이다.According to the present invention, it is possible to measure the distance of a subject located at 10 m to 20,000 m, and, in a state in which it is linked with a GIS or a designated map through an intelligent control server or an intelligent control unit for the field, (Motion recognition information data + real time position information data (time, position, moving direction, moving distance, moving speed) of the subject) on the generated point box for the object or on the program screen And more particularly, to a hybrid remote intelligent video surveillance apparatus and method for real-time positional information data for a subject.

영상감시시스템은 디지털화, 네트워크화, 고화질화, 고성능, 지능형 등으로 빠르게 발전하고 있다. Video surveillance systems are rapidly evolving into digitization, networking, high image quality, high performance, and intelligent.

이에 따라 과거 불빛이 있는 야간 감시, 100m이내의 근거리 감시에서 불빛이 없는 야간 감시, 수 km까지 감시할 수 있는 원거리 감시가 가능하게 되었다. As a result, nighttime surveillance with past light, near-night surveillance within 100m, nighttime surveillance without light, and remote surveillance with surveillance up to several km have become possible.

최근 교통감시시스템, 국방경계감시시스템, 항만감시시스템, 해양감시시스템, 방범시스템, 외곽감시시스템 등 야간 및 원거리 감시를 이용하는 분야가 다양하게 증가하고 있다. In recent years, various fields such as traffic monitoring system, defense boundary monitoring system, port monitoring system, marine monitoring system, crime prevention system, and outer surveillance system are increasingly used for nighttime and long distance surveillance.

야간 감시 및 원거리 감시가 가능한 영상감시시스템으로 구성된다.And a video surveillance system capable of night surveillance and remote surveillance.

이러한 영상감시시스템은 감시자가 직접 회전형 카메라를 구동하여 감시영역을 지정하거나, 자동으로 구동되어 목표 감시 구역을 실시간 촬영하여 침입 또는 위험상황을 인식 및 표출하는 방식으로 운용되고 있다. Such a video surveillance system is operated by a surveillant directly driving a rotatable camera to designate a surveillance area, or to automatically detect and display a target surveillance area in real time to recognize intruding or dangerous situations.

종래기술로, 국내공개특허공보 제10-2015-0131659호에서 레이저거리측정기를 이용한 동작감지센서로 회전되는 CCTV가 제시된 바 있으나, In the prior art, CCTV has been proposed in Korean Patent Laid-Open Publication No. 10-2015-0131659, which is rotated by a motion sensor using a laser range finder,

이는 피사체를 추적하여 카메라의 화각을 확보할 뿐 카메라의 실시간 위치, 피사체의 실시간 위치정보(피사체의 시간, 위치, 이동방향, 이동거리, 이동속도)를 제공하지 않아, 피사체의 파손, 화재, 사고 등 발생시, 현장구조팀이 우왕좌왕하여 골든타임을 놓쳐버리는 문제점이 있었다.This does not provide the real-time position of the camera, the real-time position information of the subject (time, position, moving direction, moving distance, moving speed) of the subject only by securing the angle of view of the camera by tracking the subject, In the event of a back injury, the rescue team lost their Golden Time.

또한, 이웃하는 또 다른 영상감시카메라간의 데이터공유가 안되고, 피사체 감지 및 추적거리가 50m~100m 이내로 짧으며, 무엇보다 실시간 촬영 영상에 추가적으로 피사체의 행위 인지정보 데이터가 없어, 원격지의 중앙관제센터 서버에서 피사체에 대한 행위 인지정보가 떨어져, 구조 및 대응방안에 대한 명령체계 혼선으로 인해, 제2의 인명피해를 발생시키는 문제점이 있었다.In addition, it is not possible to share data between neighboring video surveillance cameras, the object detection and tracking distance is as short as 50 m to 100 m, and moreover, in addition to the real- There is a problem that the second person's life damage is generated due to the command system confusion about the structure and the countermeasures.

국내공개특허공보 제10-2015-0131659호Korean Patent Publication No. 10-2015-0131659

상기의 문제점을 해결하기 위해 본 발명에서는 스마트 ST형 레이저 원거리측정모듈을 통해 10m~20,000m에 위치한 피사체를 향하여 1.2마이크로미터~2.5마이크로미터의 파워펄스를 전송하고, 되돌아오는 펄스를 통해 피사체의 거리를 실시간으로 측정할 수 있고, 지능형관제서버 또는 현장용 지능형제어부를 통해, GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 추적하는 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스 상 또는 프로그램 화면에, 최종 지능형 모션정보(행위 인지정보 데이터 + 실시간 위치 정보데이터)를 표출시키도록 제어할 수 있는 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시장치 및 방법을 제공하는데 그 목적이 있다. In order to solve the above problems, in the present invention, a power pulse of 1.2 micrometers to 2.5 micrometers is transmitted toward a subject located at 10 m to 20,000 m through a smart ST type laser distance measuring module, and a distance And generates a point box for the object to be tracked while tracking the object at a long distance in a state in which it is linked with the GIS or the designated map through the intelligent control server or the intelligent control unit for the field, A hybrid intelligent remote intelligence system comprising a point-of-action box or a program screen, which can be controlled to display final intelligent motion information (action recognition information data + real-time position information data) And an object of the present invention is to provide a video surveillance apparatus and method.

상기의 목적을 달성하기 위해 본 발명에 따른 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시장치는In order to accomplish the above object, a hybrid remote intelligent video surveillance apparatus comprising real-time positional information data for a subject,

카메라 전용 폴, 아치, 가로등주, 신호등주, 전광판, 전주, 통신주 중 어느 하나에 선택위치되어, 10m~20,000m에 위치한 카메라 촬영 대상인 피사체를 상하, 좌우로 움직이면서 확대, 축소하여 피사체를 촬영시키는 제1 스마트형 PTZ카메라모듈(110)과,A first camera which is located at any one of a camera-dedicated pole, an arch, a streetlight, a traffic light, an electric signboard, a pole, and a telescope and which is located at a distance of 10 m to 20,000 m, A smart PTZ camera module 110,

제1 스마트형 PTZ카메라모듈 일측에 위치되어, 위치기반서비스를 수신하여 제1 스마트형 PTZ카메라모듈의 위치정보를 파악한 후, 제1 스마트형 PTZ카메라모듈과 피사체간의 거리를 측량하고, 팬틸트의 회전 및 각도조절에 따라 제1 스마트형 PTZ카메라모듈에서 피사체에 대한 실시간 방위각 및 각도를 측량하도록 제어하는 제1 측량 컨트롤러부(120)과,The first smart PTZ camera module is located at one side of the first smart PTZ camera module and receives the location based service to grasp the position information of the first smart PTZ camera module, measures the distance between the first smart PTZ camera module and the subject, A first measurement controller 120 for controlling the first smart PTZ camera module to measure a real-time azimuth and an angle with respect to a subject according to rotation and angle adjustment;

원격지에 위치한 지능형제어서버와 연결되어, 제1 스마트형 PTZ형 카메라모듈에서 촬영한 피사체영상데이터와, 제1 측량 컨트롤러부에서 측량한 실시간 위치 정보데이터를 지능형제어서버로 전달시키고, 지능형제어서버로부터 제어명령신호를 전송받아 제1 스마트형 PTZ형 카메라모듈 또는 제1 측량 컨트롤러부로 전달시키는 제1 유무선통신모듈(130)과,And transmits the object image data photographed by the first smart PTZ type camera module and the real time location information data measured by the first surveying controller unit to the intelligent control server, A first wired / wireless communication module (130) for receiving a control command signal and transmitting the received control command signal to a first smart type PTZ camera module or a first measurement controller,

서버형태로 이루어져 중앙 관제센터 내부 일측에 위치되고, 제1 스마트형 PTZ카메라모듈, 제1 측량 컨트롤러부, 제1 유무선통신모듈과 연결되어, 각 기기의 전반적인 동작을 제어하고, GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 제1 스마트형 PTZ카메라모듈로부터 전송된 실시간 촬영 영상 또는 GIS, 지정맵에 추적하는 피사체용 포인트박스를 생성시킨 후, 추적하는 피사체용 포인트박스를 생성시킨 후, 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어하는 지능형제어서버(140)로 구성됨으로서 달성된다.Server and is connected to the first smart PTZ camera module, the first surveying controller, and the first wired / wireless communication module to control the overall operation of each device, A point box for a subject to be tracked in a real-time shot image or a GIS or a designated map transmitted from the first smart PTZ camera module is generated while tracking a subject at a long distance in a state in which the subject is linked, Control is performed so as to display final intelligent motion information made of action recognition information data together with real-time position information data on the time, position, moving direction, moving distance, and moving speed of the subject on the point box for the object or on the program screen And an intelligent control server (140).

또 다른 본 발명에 따른 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시장치는The hybrid remote intelligent video surveillance apparatus according to another embodiment of the present invention comprises real-time positional information data for a subject,

박스형상으로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 메인본체(210)와,A main body 210 formed in a box shape and protecting and supporting each device from external pressure,

메인본체 상단에 위치되고, 지능형제어부의 제어신호에 따라 구동되어, 10m~20,000m에 위치한 카메라 촬영 대상인 피사체를 상하, 좌우로 움직이면서 확대, 축소하여 피사체를 촬영시키는 제2 스마트형 PTZ카메라모듈(220)과,A second smart PTZ camera module 220 which is located at the upper end of the main body and is driven in accordance with the control signal of the intelligent control unit to enlarge and reduce the subject moving up and down and left and right to photograph the subject, )and,

메인본체의 내부공간 일측에 위치되어, 위치기반서비스를 수신하여 제2 스마트형 PTZ카메라모듈의 위치정보를 파악한 후, 제2 스마트형 PTZ카메라모듈과 피사체간의 거리를 측량하고, 팬틸트의 회전 및 각도조절에 따라 제2 스마트형 PTZ카메라모듈에서 피사체에 대한 실시간 방위각 및 각도를 측량하도록 제어하는 제2 측량 컨트롤러부(230)과,The first smart PTZ camera module is located at one side of the inner space of the main body, receives the location-based service to grasp the position information of the second smart PTZ camera module, measures the distance between the second smart PTZ camera module and the subject, A second measurement controller unit 230 for controlling the second smart PTZ camera module to measure a real-time azimuth angle and an angle with respect to the subject according to the angle adjustment,

메인본체의 내부공간 타측에 위치되어, 원격지에 위치한 중앙관제센터 서버쪽으로 지능형제어부에서 연산제어한 최종 지능형 모션정보(실시간 위치 정보데이터 + 행위 인지정보 데이터)를 송신시키고, 이에 따른 응답신호로서 제어명령신호를 수신받아 현장용 지능형제어부로 전달시키는 제2 유무선통신모듈(240)과,(The real-time position information data + action recognition information data) computed and controlled by the intelligent control unit toward the central control center server located at the remote location, and transmits the control command A second wired / wireless communication module 240 receiving the signal and transmitting the signal to the intelligent control unit for the field,

유무선통신모듈 일측에 위치되고, 제2 스마트형 PTZ카메라모듈, 제2 측량 컨트롤러부, 제2 유무선통신모듈과 연결되어, 각 기기의 전반적인 동작을 제어하고, GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 제2 스마트형 PTZ카메라모듈로부터 전송된 실시간 촬영 영상 또는 GIS, 지정맵에 추적하는 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어하는 현장용 지능형제어부(250)로 구성됨으로서 달성된다.And a second wired / wireless communication module connected to the second smart PTZ camera module, the second surveying controller, and the second wired / wireless communication module to control the overall operation of each device, A point box for a subject to be tracked in a real-time shot image or a GIS or a designated map transmitted from the second smart PTZ camera module is generated while tracking a subject at a long distance, and then, on the generated point box for the object or on the program screen, And an intelligent control unit 250 for controlling the in-situ intelligent control unit 250 to display the final intelligent motion information including the real-time positional information data on the time, position, moving direction, moving distance, and moving speed together with the action recognition information data.

또한, 본 발명에 따른 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시방법은In addition, the hybrid remote intelligent video surveillance method comprising the action-aware information data for a subject and the real-time location information data for a subject according to the present invention

제1 스마트형 PTZ카메라모듈상에서 실시간 촬영 위치를 설정하는 단계(S110)와,A step S110 of setting a real-time photographing position on the first smart PTZ camera module,

제1 스마트형 PTZ카메라모듈을 통해 실시간 영상촬영하는 단계(S120)와,A step S120 of photographing in real time through the first smart PTZ camera module,

제1 위치기반서비스 수신부(Location Based Service)를 통해 이동통신망이나 위성항법장치(GPS)에서 얻은 위치정보를 수신받는 단계(S130)와,A step (S130) of receiving position information obtained from a mobile communication network or a GPS (Global Positioning System) through a first location-based service receiver,

실시간 영상내 피사체 수동 또는 자동으로 선택하는 단계(S140)와,A step S140 of manually or automatically selecting a subject in the real-time image,

제1 피사체위치좌표연산제어부를 통해 피사체의 방위각, 각도정보를 연산하여 피사체의 방위각, 각도정보를 획득하는 단계(S150)와,(S150) of calculating the azimuth and angle information of the subject through the first subject position coordinate calculation control unit to obtain the azimuth and angle information of the subject,

제1 스마트 ST형 레이저 원거리측정모듈을 통해 제1 스마트형 PTZ카메라모듈과 피사체 사이의 실거리 정보를 획득하는 단계(S160)와,(S160) of acquiring the actual distance information between the first smart PTZ camera module and the object through the first smart ST type laser distance measurement module,

제1 유무선통신모듈을 통해 지능형제어서버와 연결되어, 제1 스마트형 PTZ형 카메라모듈에서 촬영한 피사체영상데이터와, 제1 측량 컨트롤러부에서 측량한 실시간 위치 정보데이터를 지능형제어서버쪽으로 전송시키는 단계(S170)와,Transmitting the object image data photographed by the first smart PTZ camera module and the real-time position information data measured by the first surveying controller unit to the intelligent control server, connected to the intelligent control server through the first wired / wireless communication module, (S170)

지능형제어서버의 제1 위치표출제어부가 구동되어, GIS 또는 지정맵과 연동되어 피사체의 위치를 표출시키는 단계(S180)와,A step S180 of driving the first position display control unit of the intelligent control server to display the position of the subject in cooperation with the GIS or the designated map,

지능형제어서버에서 피사체 실시간 이동 위치를 추적하면서, 이동속도를 연산제어하는 단계(S190)와,A step (S190) of computing and controlling the moving speed while tracking the subject real time moving position in the intelligent control server,

지능형제어서버에서 GIS 또는 지정맵에서 피사체용 포인트박스를 생성시키는 단계(S190a)와,A step (S190a) of creating a point box for the object in the GIS or the designated map in the intelligent control server,

지능형제어서버에서 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께, 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어하는 단계(S190b)로 이루어짐으로서 달성된다.The intelligent control server displays the final intelligent motion information made of the behavior recognition information data together with the real-time position information data on the time, position, moving direction, moving distance, and moving speed of the subject on the point box for the object or on the program screen (Step S190b).

또 다른, 본 발명에 따른 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시방법은The hybrid remote intelligent video surveillance method according to another aspect of the present invention, which is made up of real-time location information data for a subject,

제2 스마트형 PTZ카메라모듈상에서 실시간 촬영 위치를 설정하는 단계(S210)와,A step S210 of setting a real-time photographing position on the second smart PTZ camera module,

제2 스마트형 PTZ카메라모듈을 통해 실시간 영상촬영하는 단계(S220)와,A step S220 of photographing in real time through the second smart PTZ camera module,

제2 위치기반서비스 수신부(Location Based Service)를 통해 이동통신망이나 위성항법장치(GPS)에서 얻은 위치정보를 수신받는 단계(S230)와,A step (S230) of receiving location information obtained from a mobile communication network or a GPS (Global Positioning System) through a second location-based service receiving unit,

실시간 영상내 피사체 수동 또는 자동으로 선택하는 단계(S240)와,A step S240 of manually or automatically selecting a subject in the real-time image,

제2 피사체위치좌표연산제어부를 통해 피사체의 방위각, 각도정보를 연산하여 피사체의 방위각, 각도정보를 획득하는 단계(S250)와,(S250) of calculating the azimuth and angle information of the subject through the second subject position coordinate calculation control unit to obtain azimuth and angle information of the subject,

제2 스마트 ST형 레이저 원거리측정모듈을 통해 제2 스마트형 PTZ카메라모듈과 피사체 사이의 실거리 정보를 획득하는 단계(S260)와,Acquiring real distance information between the second smart PTZ camera module and the subject through the second smart ST type laser remote measurement module (S260)

현장용 지능형제어부의 제2 위치표출제어부가 구동되어, GIS 또는 지정맵과 연동되어 피사체의 위치를 표출시키는 단계(S270)와,A step S270 of driving the second position display control unit of the intelligent control unit for the scene to display the position of the subject in cooperation with the GIS or the designated map,

현장용 지능형제어부의 제2 피사체추적제어부가 구동되어, 제2 측량 컨트롤러부로부터 센싱된 피사체를 추적하면서, 피사체의 이동속도를 연산제어시키는 단계(S280)와,The second object tracking control unit of the intelligent control unit for the field is driven to operate and control the movement speed of the object while tracking the object sensed from the second measurement controller unit (S280)

현장용 지능형제어부에서 GIS 또는 지정맵에서 피사체용 포인트박스를 생성시키는 단계(S290)와,A step (S290) of creating a point box for the object in the GIS or the designated map in the intelligent control unit for the field,

현장용 지능형제어부에서 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께, 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어하는 단계(S290a)로 이루어짐으로서 달성된다.The intelligent control unit for the field displays the final intelligent motion information composed of the behavior recognition information data together with the real time position information data on the time, position, moving direction, moving distance and moving speed of the subject on the point box for the object or the program screen (S290a).

이상에서 설명한 바와 같이, 본 발명에서는 As described above, in the present invention,

첫째, 스마트 ST형 레이저 원거리측정모듈을 통해 10m~20,000m에 위치한 피사체를 향하여 1.2마이크로미터~2.5마이크로미터의 파워펄스를 전송하고, 되돌아오는 펄스를 통해 피사체의 거리를 실시간으로 측정할 수 있어, 기존에 비해 2배~6배 향상된 원거리인 20,000m까지 피사체를 추적하여 피사체의 거리를 측정할 수 있다.First, a power pulse of 1.2 micrometers to 2.5 micrometers is transmitted toward a subject located at 10m to 20,000m through a smart ST type laser distance measurement module, and the distance of the subject can be measured in real time through the return pulse, You can measure the distance of the subject by tracking the subject to a distance of 20,000 meters, which is 2 to 6 times better than the conventional one.

둘째, 기존 제품에 응용되어 손쉽게 설치할 수 있어, 호환성이 우수하다.Second, it can be easily applied to existing products and has excellent compatibility.

셋째, 지능형관제서버 또는 현장용 지능형제어부를 통해, GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 추적하는 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스 상 또는 프로그램 화면에, 최종 지능형 모션정보(행위 인지정보 데이터 + 실시간 위치 정보데이터)를 표출시키도록 제어할 수 있어, 기존보다 80% 향상된 피사체의 정확한 위치파악을 통해, 사고발생 및 구조요청시, 골든타임을 놓치지 않고, 신속하게 응급조치를 취할 수 있다.Third, the pointing box for the object to be tracked is generated while tracking the object at a long distance while being linked with the GIS or the designated map through the intelligent control server or the intelligent control unit for the field, Can be controlled to display final intelligent motion information (action recognition information data + real-time position information data), and it is possible to miss the golden time in case of an accident and rescue request through the accurate position determination of the object improved by 80% Emergency measures can be taken quickly.

넷째, 피사체의 행위 인지정보 데이터를 통해, 원격지의 중앙관제센터 서버에서 기존 보다 80% 향상된 정확한 피사체의 행위 인지정보를 통해 피사체가 어떤 상황에 있는지를 인지할 수 있어, 기존보다 2배~4배 빠른 명령체계를 통해 제2의 인명피해를 사전에 막을 수 있다.Fourth, through the action data of the subject, the central control center server at the remote place can recognize the situation of the subject by correcting the action information of the correct object by 80% The second order of life damage can be prevented in advance through the quick command system.

다섯째, 행위 인지정보 데이터 + 실시간 위치 정보데이터(피사체의 시간, 위치, 이동방향, 이동거리, 이동속도)로 이루어진 새로운 한국판 원거리 지능형 영상감시 시스템을 구축시킬 수 있다.Fifth, it is possible to construct a new Korean version remote intelligent video surveillance system consisting of motion recognition information data + real time position information data (time, location, moving direction, moving distance, moving speed of the subject).

도 1은 본 발명에 따른 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시장치(1)의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 서버용 하이브리드식 원거리 지능형 영상감지장치의 구성요소를 도시한 블럭도,
도 3은 본 발명에 따른 서버용 하이브리드식 원거리 지능형 영상감지장치의 구성요소를 도시한 사시도.
도 4는 본 발명에 따른 제1 스마트형 PTZ카메라모듈의 구성요소 중 제1 원거리형 피사체줌카메라부의 동일선상 하단 일측에 제1 스마트 ST형 레이저 원거리측정모듈이 형성되어 구성된 것을 도시한 일실시예도,
도 5는 본 발명에 따른 제1 스마트형 PTZ카메라모듈의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 제1 원거리형 피사체줌카메라부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 제1 원거리형 피사체줌카메라부 및 제2 원거리형 피사체줌카메라부의 구성 요소를 도시한 내부단면도,
도 8은 본 발명에 따른 원거리형 제1 줌렌즈부 및 원거리형 제2 줌렌즈부의 구성요소를 도시한 구성도,
도 9는 본 발명에 따른 제1 측량 컨트롤러부의 구성요소를 도시한 블럭도,
도 10은 본 발명에 따른 제1 스마트 ST형 레이저 원거리측정모듈의 구성요소를 도시한 블럭도,
도 11은 본 발명에 따른 제1 스마트 ST형 레이저 원거리측정모듈의 구성요소를 도시한 사시도,
도 12는 본 발명에 따른 제1 ST형 펄스구동 레이저 다이오드 송신부의 구성요소를 도시한 회로도,
도 13은 본 발명에 따른 제1 애벌런치 광다이오드(Avalanche Photo Diode)센서의 구성요소를 도시한 회로도,
도 14는 본 발명에 따른 제1 ST형 펄스구동 레이저 다이오드 수신부의 구성요소를 도시한 구성도,
도 15는 본 발명에 따른 제1 ST형 펄스구동 레이저 거리연산제어부의 구성요소를 도시한 블럭도,
도 16은 본 발명에 따른 제1 거리연산부 및 제2 거리연산부를 통해 전류의 시간 변화량에 따른 메모리 캐패시터 C에서의 전압변화를 측정하여 거리를 연산시키는 것을 도시한 일실시예도,
도 17은 본 발명에 따른 제1 피사체위치좌표연산부 및 제2 피사체위치좌표연산부를 통해 제1, 2 스마트형 PTZ카메라모듈의 좌표를 도시한 일실시예도,
도 18은 본 발명에 제1 스마트형 PTZ카메라모듈 및 제2 스마트형 PTZ카메라모듈의 화면에서의 실시간 촬영 영상프레임을 나타낸 일실시예도,
도 19는 본 발명에 따른 제1 피사체위치좌표연산부 및 제2 피사체위치좌표연산부를 통해 카메라 좌표를 전체 좌표로 변환한 것을 도시한 일실시예도,
도 20은 본 발명에 따른 제1 피사체위치좌표연산부 및 제2 피사체위치좌표연산부를 통해 실시간 방위각 및 각도로 이루어진 위치좌표(θ)와, 이동방향(φ)으로 변환한 것을 도시한 일실시예도,
도 21은 본 발명에 따른 지능형제어서버의 구성요소를 도시한 블럭도,
도 22는 본 발명에 따른 현장용 하이브리드식 원거리 지능형 영상감지장치의 구성요소를 도시한 블럭도,
도 23은 본 발명에 따른 현장용 하이브리드식 원거리 지능형 영상감지장치의 구성요소를 도시한 사시도,
도 24는 본 발명에 따른 제2 원거리형 피사체줌카메라부의 동일선상 하단 일측에 제2 스마트 ST형 레이저 원거리측정모듈이 형성되어 구성된 것을 도시한 일실시예도,
도 25는 본 발명에 따른 제2 스마트형 PTZ카메라모듈의 구성요소를 도시한 블럭도,
도 26은 본 발명에 따른 제2 원거리형 피사체줌카메라부의 구성요소를 도시한 블럭도,
도 27은 본 발명에 따른 제2 측량 컨트롤러부의 구성요소를 도시한 블럭도,
도 28은 본 발명에 따른 제2 스마트 ST형 레이저 원거리측정모듈의 구성요소를 도시한 블럭도,
도 29는 본 발명에 따른 제2 스마트 ST형 레이저 원거리측정모듈의 구성요소를 도시한 사시도,
도 30은 본 발명에 따른 제2 ST형 펄스구동 레이저 거리연산제어부의 구성요소를 도시한 블럭도,
도 31은 본 발명에 따른 현장용 지능형제어부의 구성요소를 도시한 블럭도,
도 32는 본 발명에 따른 서버용 하이브리드식 원거리 지능형 영상감시장치 중 제1 스마트형 PTZ카메라모듈, 제1 스마트 ST형 레이저 원거리측정모듈, 제1 유무선통신모듈이 한강변 둔치의 가로등주 일측에 설치되고, 지능형제어서버가 원격지의 중앙관제센터 일측에 설치된 것을 도시한 일실시예도,
도 33은 본 발명에 따른 서버용 하이브리드식 원거리 지능형 영상감시장치의 구성요소 중 제1 스마트형 PTZ카메라모듈을 통해 실시간 영상촬영하고, 지능형제어서버에서 피사체 실시간 이동 위치를 추적하는 것을 도시한 일실시예도,
도 34는 본 발명에 따른 지능형제어서버에서 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께, 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어하는 것을 도시한 일실시예도,
도 35는 본 발명에 따른 현장용 하이브리드식 원거리 지능형 영상감시장치의 구성요소인 제2 스마트형 PTZ카메라모듈, 제2 스마트 ST형 레이저 원거리측정모듈, 제2 유무선통신모듈, 현장용 지능형 제어부가 한강변 둔치의 가로등주 일측에 현장설치된 것을 도시한 일실시예도,
도 36은 본 발명에 따른 현장용 하이브리드식 원거리 지능형 영상감시장치의 구성요소 중 제2 스마트형 PTZ카메라모듈을 통해 실시간 영상촬영하고, 현장용 지능형제어부의 제2 피사체추적제어부를 통해 제2 측량 컨트롤러부로부터 센싱된 피사체를 추적하는 것을 도시한 일실시예도,
도 37은 본 발명에 따른 현장용 지능형제어부에서 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께, 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어하는 것을 도시한 일실시예도,
도 38은 본 발명에 따른 하이브리드식 원거리 지능형 영상감시장치 중 서버용 하이브리드식 원거리 지능형 영상감지장치를 통한 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시방법을 도시한 순서도,
도 39는 본 발명에 따른 하이브리드식 원거리 지능형 영상감시장치 중 현장용 하이브리드식 원거리 지능형 영상감지장치를 통한 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시방법을 도시한 순서도.FIG. 1 is a block diagram showing components of a hybrid remote intelligent video surveillance apparatus 1, which is composed of real-time positional information data for a subject,
FIG. 2 is a block diagram illustrating components of a hybrid remote intelligent image sensing apparatus for a server according to the present invention.
3 is a perspective view illustrating components of a hybrid remote intelligent image sensing apparatus for a server according to the present invention.
4 is a view showing an embodiment of a first smart ST type laser distance measurement module formed on one side of the first long distance type subject zoom camera unit among the components of the first smart type PTZ camera module according to the present invention ,
5 is a block diagram illustrating components of a first smart PTZ camera module according to the present invention,
FIG. 6 is a block diagram showing the components of the first distant subject zooming camera unit according to the present invention,
FIG. 7 is an internal sectional view showing the components of the first long distance subject zooming camera unit and the second long distance subject zooming camera unit according to the present invention,
FIG. 8 is a diagram showing the components of the first zoom lens unit of the distance type and the second zoom lens unit of the distance type according to the present invention,
9 is a block diagram showing the components of the first surveying controller unit according to the present invention,
FIG. 10 is a block diagram showing the components of the first smart ST type laser distance measuring module according to the present invention,
11 is a perspective view showing the components of the first smart ST type laser distance measuring module according to the present invention,
12 is a circuit diagram showing components of a first ST-type pulse-driving laser diode transmitter according to the present invention,
13 is a circuit diagram showing components of a first avalanche photodiode sensor according to the present invention,
FIG. 14 is a diagram showing the components of a first ST-type pulse-driving laser diode receiving unit according to the present invention,
FIG. 15 is a block diagram showing the components of the first ST-type pulse-driving laser distance calculation control unit according to the present invention,
16 is a diagram illustrating an example of calculating a distance by measuring a change in voltage in a memory capacitor C according to a time variation of a current through a first distance calculator and a second distance calculator according to the present invention.
17 is a diagram illustrating the coordinates of the first and second smart PTZ camera modules through the first subject position coordinate calculation unit and the second subject position coordinate calculation unit according to the present invention.
18 is a diagram showing a real-time photographed image frame on the screen of the first smart PTZ camera module and the second smart PTZ camera module according to the present invention,
FIG. 19 is a diagram illustrating an example in which camera coordinates are converted into global coordinates through a first subject position coordinate calculation unit and a second subject position coordinate calculation unit according to the present invention.
FIG. 20 is a diagram showing an example in which the position coordinate (?) And the movement direction (?) Of the real-time azimuth angle and the angle are transformed into the movement direction (?) Through the first subject position coordinate calculation unit and the second subject position coordinate calculation unit,
21 is a block diagram showing the components of the intelligent control server according to the present invention,
FIG. 22 is a block diagram illustrating components of a field hybrid type remote intelligent image sensing apparatus according to the present invention.
23 is a perspective view illustrating components of a field hybrid type remote intelligent image sensing apparatus according to the present invention,
24 is a view showing an embodiment in which a second smart ST type laser distance measurement module is formed on the same side of a lower side of the second long distance type subject zoom camera unit according to the present invention,
25 is a block diagram illustrating components of a second smart PTZ camera module according to the present invention,
26 is a block diagram showing the components of the second long distance type zooming camera according to the present invention,
27 is a block diagram showing the components of the second surveying controller unit according to the present invention,
28 is a block diagram showing the components of a second smart ST type laser distance measuring module according to the present invention,
29 is a perspective view showing components of a second smart ST type laser distance measuring module according to the present invention,
30 is a block diagram showing components of a second ST-type pulse-driving laser distance-calculation control unit according to the present invention,
31 is a block diagram showing the components of the intelligent control unit for the field according to the present invention,
FIG. 32 is a block diagram showing a first smart type PTZ camera module, a first smart ST type laser long distance measurement module, and a first wired / wireless communication module of a hybrid remote intelligent video surveillance device for a server according to the present invention, In an embodiment showing that the control server is installed at one side of the central control center at the remote site,
FIG. 33 illustrates an embodiment of real-time image capturing through the first smart PTZ camera module among components of the hybrid remote intelligent video surveillance apparatus for servers according to the present invention, and tracking of the real-time moving position of the object in the intelligent control server ,
FIG. 34 is a diagram showing the relationship between real time position information data on the time, position, moving direction, moving distance, and moving speed of the subject on the point box for the object or the program screen in the intelligent control server according to the present invention, In an embodiment showing control to display final intelligent motion information,
FIG. 35 is a block diagram of a second smart PTZ camera module, a second smart ST type laser remote measurement module, a second wired / wireless communication module, and a field intelligent control unit, which are components of the field hybrid type remote intelligent video surveillance apparatus according to the present invention, In one embodiment, which is shown as being installed on the side of the streetlight,
FIG. 36 is a flowchart illustrating a method for real-time image capturing through a second smart PTZ camera module among the components of the field hybrid type remote intelligent video surveillance apparatus according to the present invention, In an embodiment that illustrates tracking a sensed subject,
FIG. 37 is a diagram showing an example of a scene-based intelligent control unit according to the present invention. The intelligent control unit according to the present invention includes real-time positional information data on time, position, moving direction, In an embodiment showing control to display final intelligent motion information,
FIG. 38 shows a hybrid remote intelligent video surveillance method comprising real-time positional information data for a subject, action-aware information data for a subject through a hybrid remote intelligent image sensing apparatus for a hybrid of the hybrid intelligent video surveillance apparatus according to the present invention Flowchart,
FIG. 39 shows a hybrid remote intelligent video surveillance method comprising real-time positional information data for a subject, action-aware information data for a subject, and a hybrid type remote intelligent video surveillance device according to the present invention, Flowchart.

먼저, 본 발명에서 설명되는 피사체는 촬영 대상이 되는 사람이나 물체로서, 도로, 차량, 선박, 건물, 산, 강, 나무 등 카메라에 실시간 촬영되어 영상으로 보이는 모든 대상을 말한다.First, the subject described in the present invention is a person or an object to be photographed, and refers to all objects that are photographed in real time on a camera such as a road, a vehicle, a ship, a building, a mountain, a river,

다음으로, 본 발명에서 설명되는 제1 스마트 ST 형 레이저 원거리측정모듈에서, ST 형은 위치 표시를 실시간으로 가능하다는 뜻에서, S ign(표시), T elecom(실시간 통신)의 약어로서, 독창적으로 개발한 10m~20,000m에 위치한 피사체를 향하여 1.2마이크로미터~2.5마이크로미터의 파워펄스를 전송하고, 되돌아오는 펄스를 통해 피사체의 거리를 실시간으로 측정할 수 있는 제1, 2 스마트 ST 형 레이저 원거리측정모듈을 부각시키기 위해 설정한 구성명칭이다.Next, in the first smart ST type laser remote measurement module described in the present invention, the ST type is an abbreviation of S ign (display) and T elecom (real time communication) The first and second smart ST type laser remote measurement which can transmit the power pulse of 1.2 micrometer ~ 2.5 micrometer toward the object located at 10m ~ 20,000m and to measure the distance of the subject in real time through the return pulse. This is the name of the configuration set to highlight the module.

본 발명과 선행기술의 구체적인 차이점은A specific difference between the present invention and the prior art is that

첫째, 10m~20,000m에 위치한 피사체의 거리를 측정할 수 있다는 점이고,First, we can measure the distance of the object in 10m ~ 20,000m,

둘째, 지능형관제서버 또는 현장용 지능형제어부를 통해, GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 실시간 촬영 영상 또는 GIS, 지정맵에 추적하는 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스상에 피사체의 행위를 시간별로 인지하고, 인지된 행동에 따라 시작된 위치, 끝난 위치를 인지된 모든 행위에 따라 나타내는 최종 지능형 모션정보(행위 인지정보 데이터 + 실시간 위치 정보데이터(피사체의 시간, 위치, 이동방향, 이동거리, 이동속도))를 표출시키도록 제어할 수 있다는 점이다.Second, a point box for a subject to be tracked on a real-time photographed image, a GIS, and a designated map is generated while tracking a subject at a long distance while being linked with a GIS or a designated map through an intelligent control server or a field intelligent control unit, (Motion recognition information data + real-time positional-information data (real-time positional information data), which indicates the position of the subject based on the perceived behavior, The moving direction, the moving distance, and the moving speed) of the user.

또한, 본 발명에 따른 피사체용 포인트박스는 실시간 촬영 영상, GIS, 지정맵 중 어느 하나 또는 둘 이상에 선택되어 형성된다. Further, a point box for a subject according to the present invention is formed by selecting one or two or more of a real-time shot image, a GIS, and a designated map.

이는 사각형, 원형, 삼각형, 별형 중 어느 하나가 선택되어 형성된다.It is formed by selecting any one of a square, a circle, a triangle, and a star.

이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명에 따른 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시장치(1)의 구성요소를 도시한 블럭도에 관한 것으로, 이는 크게 서버용 하이브리드식 원거리 지능형 영상감지장치(100)와, 현장용 하이브리드식 원거리 지능형 영상감지장치(200)로 구성된다.FIG. 1 is a block diagram showing the components of a hybrid remote intelligent video surveillance apparatus 1 comprising real-time positional information data for a subject's action-aware information data and a subject according to the present invention, An intelligent image sensing apparatus 100, and a field hybrid type remote intelligent image sensing apparatus 200.

[서버용 [For server 하이브리드식Hybrid expression 원거리 지능형 영상감지장치(100)] Remote intelligent image sensing device (100)]

상기 서버용 하이브리드식 원거리 지능형 영상감지장치(100)는 서버용 지능형알고리즘형태로 이루어져 중앙 관제센터 내부 일측에 위치되어, GIS 또는 지정맵과 연동시킨 상태에서, 실시간 촬영 영상에서 피사체를 추적하면서, 추적하는 피사체용 포인트박스를 생성시킨 후, 피사체용 포인트박스 상 또는 프로그램 화면에, 현장에서 전송된 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께, 서버상에서 연산된 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 하이브리드식 구조로 표출시키도록 제어하는 역할을 한다.The hybrid remote intelligent image sensing apparatus 100 for a server is configured in the form of an intelligent algorithm for a server and is located at one side of the central control center and linked with a GIS or a designated map, A point box for the object, and then, on the point box for the object or on the program screen, real-time position information data on the time, position, moving direction, moving distance, And controls the final intelligent motion information including the cognitive information data to be displayed in the hybrid type structure.

이는 도 2 및 도 3에 도시한 바와 같이, 제1 스마트형 PTZ카메라모듈(110), 제1 측량 컨트롤러부(120), 제1 유무선통신모듈(130), 지능형제어서버(140)로 구성된다.2 and 3, the first smart PTZ camera module 110, the first surveying controller 120, the first wired / wireless communication module 130, and the intelligent control server 140 .

먼저, 본 발명에 따른 제1 스마트형 PTZ카메라모듈(110)에 관해 설명한다.First, the first smart PTZ camera module 110 according to the present invention will be described.

상기 제1 스마트형 PTZ카메라모듈(110)은 카메라 전용 폴, 아치, 가로등주, 신호등주, 전광판, 전주, 통신주 중 어느 하나에 선택위치되어, 10m~20,000m에 위치한 카메라 촬영 대상인 피사체를 상하, 좌우로 움직이면서 확대, 축소하여 피사체를 촬영시키는 역할을 한다. The first smart PTZ camera module 110 is selectively positioned in any one of a camera-dedicated pole, an arch, a streetlight, a signal light, an electric signboard, a pole, To zoom in and out to shoot the subject.

이는 도 4 및 도 5에 도시한 바와 같이, 제1 팬구동부(111), 제1 틸트구동부(112), 제1 원거리형 피사체줌카메라부(113)로 구성된다.As shown in FIGS. 4 and 5, the first fan driving unit 111, the first tilt driving unit 112, and the first remote zoom zoom camera unit 113 are configured.

그리고, 상기 제1 스마트형 PTZ카메라모듈의 형태는 박스+팬틸트형 및 스피드돔형, 포지셔닝형 중 사용자의 목적과 용도에 따라 다양한 형태로 형성된다.The first smart PTZ camera module may be formed in various forms according to the purpose and use of the user, such as a box + pan / tilt type, a speed dome type, and a positioning type.

첫째, 본 발명에 따른 제1 팬구동부(111)에 관해 설명한다.First, the first fan driving unit 111 according to the present invention will be described.

상기 제1 팬구동부(111)는 상단 직립구조로 형성된 제1 원거리형 피사체줌카메라부, 제1 측량 컨트롤러부를 좌우로 0°~360°회전구동시키는 역할을 한다.The first fan driving unit 111 drives the first remote zoom zooming camera unit, which is formed in an upper standing upright structure, and the first measurement controller unit to rotate left and right by 0 ° to 360 °.

이는 팬구동모터가 구성된다.This constitutes a fan drive motor.

여기서, 팬구동모터는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성된다.Here, the fan drive motor is configured by selecting any one of a stepping motor, an AC motor, and a BLDC motor.

또한, 본 발명에 따른 제1 팬구동부의 회전각도는 사용자의 목적과 용도에 따라 다양한 회전각도로 형성된다.In addition, the rotation angle of the first fan driving unit according to the present invention is formed at various rotation angles according to the purpose and use of the user.

둘째, 본 발명에 따른 제1 틸트구동부(112)에 관해 설명한다.Second, the first tilt driver 112 according to the present invention will be described.

상기 제1 틸트구동부(112)는 제1 원거리형 피사체줌카메라부, 제1 측량 컨트롤러부를 상하로 -90°~40°각도로 기울어서 구동시키는 역할을 한다.The first tilt driving unit 112 functions to tilt the first remote zoom camera unit and the first measurement controller unit up and down at an angle of -90 ° to 40 °.

이는 틸트구동모터가 구성된다.This constitutes a tilt driving motor.

여기서, 틸트구동모터는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성된다.Here, the tilt driving motor is configured by selecting any one of a stepping motor, an AC motor, and a BLDC motor.

상기 -90°는 사용목적과 용도에 따라 하상(下上)으로 구동되는 상방향을 "-"로 설정하거나, 또는 상하(上下)로 구동되는 하방향을 "-"로 설정한다.The above -90 占 setting the upper direction driven to the lower (upper) direction to "-" or the lower direction driven up and down to "-" depending on the purpose of use and use.

또한, 본 발명에 따른 제1 틸트구동부의 각도는 사용자의 목적과 용도에 따라 다양한 각도로 형성된다.In addition, the angle of the first tilt driver according to the present invention is formed at various angles according to the purpose and use of the user.

셋째, 본 발명에 따른 제1 원거리형 피사체줌카메라부(113)에 관해 설명한다.Third, the first distant subject zoom camera unit 113 according to the present invention will be described.

상기 제1 원거리형 피사체줌카메라부(113)는 10m~20,000m에 위치한 카메라 촬영 대상인 피사체를 상하, 좌우로 움직이면서 확대, 축소하여 피사체를 촬영시키는 역할을 한다.The first remote zoom zoom camera unit 113 enlarges and reduces a subject, which is a subject of camera shooting, located at 10 m to 20,000 m while vertically and horizontally moving, thereby photographing a subject.

이는 도 4에 도시한 바와 같이, 동일선상의 하단 일측에 제1 스마트 ST형 레이저 원거리측정모듈(122)이 형성되어 구성된다.As shown in FIG. 4, the first smart ST type laser long distance measurement module 122 is formed on the lower one side of the collinear line.

이는 도 6에 도시한 바와 같이, 원거리형 제1a 렌즈군(113a), 원거리형 제2a 렌즈군(113b), 원거리형 제3a 렌즈군(113c), 원거리형 제1 줌렌즈부(113d), 원거리형 제4a 렌즈군(113e), 원거리형 제5a 렌즈군(113f), 원거리형 제1 촬상면(113g), 원거리형 제1 이미지센서모듈(113h)로 구성된다.As shown in Fig. 6, the first lens group 113a, the second a-lens group 113b, the third a-lens group 113c, the first zoom lens group 113d, A fourth type a lens group 113e, a fifth type a fifth lens group 113f, a first type long distance imaging surface 113g, and a first type remote image sensor module 113h.

상기 원거리형 제1a 렌즈군(113a)은 카메라모듈본체의 선단부에 위치되어, 촬영하고자 하는 객체에서부터 양의 굴절력을 가진다.The distant first a lens group 113a is located at the distal end of the camera module body and has a positive refractive power from an object to be imaged.

이는 구면(Sphere)형상으로 형성되고, 유리 재질 또는 합성수지 재질 또는 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.It is formed in a spherical shape, and is made of a glass material, a synthetic resin material, a germanium material, or a zinc selenide material.

상기 원거리형 제1a 렌즈군은 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The curvature radius, the center thickness, and the effective diameter of the distant-type first a lens group are formed in various sizes according to the purpose and use of the user.

상기 원거리형 제2a 렌즈군(113b)은 원거리형 제1a 렌즈군 후단에 위치되어, 음의 굴절력을 가진다.The long-distance 2a lens group 113b is located at the rear end of the first-a lens group of the distant type and has a negative refracting power.

이는 비구면(Asphere)형상으로 형성되고, 유리 재질 또는 합성수지 재질 또는 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.It is formed in an aspherical shape, and is made of a glass material, a synthetic resin material, a germanium material, or a zinc selenide material.

상기 원거리형 제2 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The radius of curvature, the center thickness, and the effective diameter of the second lens group of the long distance type are formed in various sizes according to the purpose and use of the user.

상기 원거리형 제3a 렌즈군(113c)은 원거리형 제2a 렌즈군 후단에 위치되어, 양의 굴절력을 가진다.The remote type third a lens group 113c is located at the rear end of the distance-type second lens group, and has a positive refractive power.

이는 구면(Sphere)형상으로 형성되고, 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.It is formed in a spherical shape and is made of germanium material or zinc selenide material.

상기 원거리형 제3a 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The curvature radius, the center thickness, and the effective diameter of the aberration type lens group 3a are formed in various sizes according to the purpose and use of the user.

상기 원거리형 제1 줌렌즈부(113d)는 도 7에 도시한 바와 같이, 원거리형 제3a 렌즈군과 원거리형 제4a 렌즈군 사이에 위치되어, 전진운동 또는 후진운동하면서 초점을 조절시키는 역할을 한다.As shown in FIG. 7, the distant first zoom lens unit 113d is located between the long distance 3a lens group and the long distance 4a lens group, and adjusts the focus while advancing or moving backward .

이는 도 8에 도시한 바와 같이, 제1 전류센서부(113d-1), 제1 액츄에이터부(113d-2), 제1 리듀서부(113d-3), 제1 줌렌즈(113d-4)로 구성된다.8, the first actuator unit 113d-1, the first actuator unit 113d-2, the first reducer unit 113d-3, and the first zoom lens 113d-4 are constituted by the first current sensor unit 113d- do.

상기 제1 전류센서부(113a-1)는 1,000mm용 줌렌즈 구동 전류신호, 1,500mm용 줌렌즈 구동 전류신호, 2,000mm용 줌렌즈 구동 전류신호 중 어느 하나를 선택하여 센싱시킨 후, 제1 액츄에이터쪽으로 센싱한 전류센싱신호를 전달시키는 역할을 한다. 여기서, 1,000mm용 줌렌즈 구동 전류신호, 1,500mm용 줌렌즈 구동 전류신호, 2,000mm용 줌렌즈 구동 전류신호는 자체 프로그램 셋팅되어 구동되거나 또는, 원격지의 지능형 관리서버의 제어신호에 따라 구동되도록 구성된다.The first current sensor unit 113a-1 selects and senses any one of the zoom lens driving current signal for 1,000 mm, the zoom lens driving current signal for 1,500 mm, and the zoom lens driving current signal for 2,000 mm, And transmits a current sensing signal. Here, the zoom lens driving current signal for 1,000 mm, the zoom lens driving current signal for 1,500 mm, and the zoom lens driving current signal for 2,000 mm are configured to be driven by their own program or driven according to the control signal of the remote intelligent management server.

상기 제1 액츄에이터부(113a-2)는 제1 전류센서부로부터 전달된 전류센싱신호에 따라 제1 리듀서부쪽으로 전진운동의 힘, 또는 후진운동의 힘을 전달시키는 역할을 한다.The first actuator unit 113a-2 transmits a forward movement force or a backward movement force to the first reducer unit according to the current sensing signal transmitted from the first current sensor unit.

상기 제1 리듀서부(113a-3)는 제1 액츄에이터부(113a-2)로부터 전진운동의 힘을 전달받아 제1 줌렌즈를 전진시켜 초점거리를 줄이고, 제1 액츄에이터로부터 후진운동의 힘을 전달받아 제1 줌렌즈를 후진시켜 초점거리를 늘리는 역할을 수행시키는 역할을 한다.The first reducer unit 113a-3 receives the forward movement force from the first actuator unit 113a-2, advances the first zoom lens to reduce the focal length, and receives the backward movement force from the first actuator 113a-3 And functions to increase the focal distance by moving the first zoom lens backward.

상기 제1 줌렌즈(113a-3)는 제1 리듀서부 전단에 위치되고, 20,000m 원거리상에 위치한 피사체의 촬영영역존을 형성시키는 역할을 한다. 이는 1,000mm용 줌렌즈, 1,500mm용 줌렌즈, 2,000mm용 줌렌즈 중 어느 하나가 선택되어 구성된다.The first zoom lens 113a-3 is located at the front end of the first reducer unit and serves to form a photographing area zone of a subject located at a distance of 20,000m. This is configured by selecting one of a zoom lens for 1,000 mm, a zoom lens for 1,500 mm, and a zoom lens for 2,000 mm.

상기 1,000mm용 줌렌즈는 900m ~ 10km에 위치한 2m크기(사람크기)의 피사체 형태를 식별하여 촬영영역존을 형성시키는 역할을 한다. 이는 안개나 해무 등 기후에 따라 편차가 발생된다. 그리고, 재질은 유리 재질 또는 합성수지 재질 또는 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.The 1,000-mm zoom lens functions to identify a 2-m (human-sized) object shape located at 900 m to 10 km to form an imaging area zone. This causes variations depending on the weather, such as fog or sea. The material is made of glass or synthetic resin, Germanium or zinc selenide.

상기 1,500mm용 줌렌즈는 14km ~ 15km에 위치한 2m크기(사람크기)의 피사체 형태를 식별하여 촬영영역존을 형성시키는 역할을 한다. 이는 안개나 해무 등 기후에 따라 편차 발생된다. 그리고, 재질은 유리 재질 또는 합성수지 재질 또는 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.The 1,500mm zoom lens identifies a 2m-size (human-sized) object shape located at 14km to 15km to form an imaging area zone. This is caused by the weather, such as fog and sea. The material is made of glass or synthetic resin, Germanium or zinc selenide.

상기 2,000mm용 줌렌즈는 18km ~ 20km에 위치한 2m크기(사람크기)의 피사체 형태를 식별하여 촬영영역존을 형성시키는 역할을 한다. 이는 안개나 해무 등 기후에 따라 편차 발생된다. 그리고, 재질은 유리 재질 또는 합성수지 재질 또는 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다. The 2,000mm zoom lens identifies a 2m-size (human-sized) object shape located at 18km to 20km to form an imaging area zone. This is caused by the weather, such as fog and sea. The material is made of glass or synthetic resin, Germanium or zinc selenide.

상기 원거리형 제4a 렌즈군(113a-4)은 제1 줌렌즈 후단에 위치되어, 음의 굴절력을 가진다.The fourth-a lens group of long-distance type 113a-4 is located at the rear end of the first zoom lens, and has a negative refractive power.

상기 원거리형 제4a 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The radius-of-curvature, the center thickness, and the effective diameter of the fourth-a lens group of the long distance type are formed in various sizes depending on the purpose and use of the user.

상기 원거리형 제5a 렌즈군(113a-5)은 원거리형 제4a 렌즈군 후단에 위치되어, 양의 굴절력을 가진다.The fifth-a lens group of the longest distance (113a-5) is located at the rear end of the fourth-a lens group of the long-distance type, and has a positive refractive power.

상기 원거리형 제5a 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The curvature radius, the center thickness, and the effective diameter of the long distance type 5a lens group are formed in various sizes according to the purpose and use of the user.

상기 원거리형 제1 촬상면(113a-6)은 원거리형 제5a 렌즈군 후단에 위치되어, 원거리형 제5a 렌즈군으로부터 전달받은 음의 굴절력으로 광학상(光學像)으로 결상시키는 역할을 한다.The long-distance first imaging surface 113a-6 is positioned at the rear end of the fifth-a lens group of the long distance type, and serves to form an optical image by negative refracting power transmitted from the fifth-a lens group of the long distance type.

상기 원거리형 제1 이미지센서모듈(113a-7)은 원거리형 제1 촬상면에서 촬영된 빛의 정보를 전기적 신호로 변환시켜 피사체영상촬영데이터를 생성시키는 역할을 한다.The remote type first image sensor module 113a-7 converts the information of light photographed on the first type of remote sensing surface into an electrical signal to generate subject image sensing data.

이는 제1 이미지센서부, 제1 AFE(Analog Front End)부, 제1 카메라 ISP부, 제1 영상데이터전송부로 구성된다.This is composed of a first image sensor unit, a first AFE (Analog Front End) unit, a first camera ISP unit, and a first image data transmission unit.

상기 제1 이미지센서부는 원거리형 제1 촬상면에서 들어온 빛의 정보를 아날로그 신호로 변환시킨 후, 제1 AFE(Analog Front End)부로 전달시키는 역할을 한다.The first image sensor unit converts information of light received from the first type of remote sensing surface into an analog signal and then transmits the analog signal to a first AFE (Analog Front End) unit.

상기 제1 AFE(Analog Front End)부는 제1 이미지센서부로부터 전달된 아날로그 신호에서 노이즈를 제거한 순신호만을 추출하여 디지털 신호로 변환시키는 역할을 한다.The first AFE (Analog Front End) part extracts only a pure signal from which the noise is removed from the analog signal transmitted from the first image sensor part, and converts the extracted pure signal into a digital signal.

상기 제1 카메라 ISP부는 제1 AFE(Analog Front End)부를 통하여 디지털 신호로 입력된 영상신호에서 색상/휘도 등의 이미지 정보를 검출하고 증폭 및 분리하여, 원거리의 위치한 피사체를 촬영한 피사체영상촬영데이터를 생성시키는 역할을 한다.The first camera ISP unit detects, amplifies, and separates image information such as color / brightness from a video signal input as a digital signal through a first AFE (Analog Front End) unit, captures subject image capturing data .

상기 제1 영상데이터전송부는 제1 카메라 ISP부에서 생성된 피사체 영상촬영데이터를 지능형제어서버로 전송시키는 역할을 한다.The first image data transmission unit transmits the subject image capturing data generated by the first camera ISP unit to the intelligent control server.

또한, 본 발명에 따른 제1 스마트형 PTZ카메라모듈은 야간 및 기후와 환경에 따른 촬영을 위하여 적외선 투광기, 레이저 투광기, 열화상카메라, 편광필터, 원편광필터, 적외선필터 등이 추가부착되어 구성된다.The first smart PTZ camera module according to the present invention is further equipped with an infrared light projector, a laser light projector, a thermal imaging camera, a polarizing filter, a circular polarizing filter, an infrared ray filter, etc. for photographing at nighttime, .

그리고, 상기 제1 스마트형 PTZ카메라모듈은 수동설정모드 또는 자동설정모드(제1 스마트형 PTZ카메라모듈의 프리셋, 투어링)로 구동된다.The first smart PTZ camera module is driven by a manual setting mode or an automatic setting mode (presetting and touring of the first smart PTZ camera module).

또한, 본 발명에 따른 원거리형 제1a 렌즈군(113a), 원거리형 제2a 렌즈군(113b), 원거리형 제3a 렌즈군(113c), 원거리형 제1 줌렌즈부(113d), 원거리형 제4a 렌즈군(113e), 원거리형 제5a 렌즈군(113f)으로 이루어진 제1 원거리형 피사체줌카메라부(113)는 렌즈 mm에 따라 원거리형 제3a 렌즈군(113c) + 원거리형 제1 줌렌즈부(113d)의 2개 구성요소로 구성되거나, 또는 원거리형 제3a 렌즈군(113c) + 원거리형 제1 줌렌즈부(113d) + 원거리형 제4a 렌즈군(113e)의 3개 구성요소로 구성되거나, 또는 렌즈 mm에 따라 원거리형 제1a 렌즈군(113a) + 원거리형 제2a 렌즈군(113b) + 원거리형 제3a 렌즈군(113c) + 원거리형 제1 줌렌즈부(113d)의 4개 구성요소로 구성되거나, 또는 원거리형 제2a 렌즈군(113b) + 원거리형 제3a 렌즈군(113c) + 원거리형 제1 줌렌즈부(113d) + 원거리형 제4a 렌즈군(113e) + 원거리형 제5a 렌즈군(113f)의 5개 구성요소로 구성된다.The zoom lens system according to the present invention includes the first a-lens group 113a, the second a-lens group 113b, the third a-lens group 113c, the first zoom lens unit 113d, The first long distance zoom lens unit 113 includes a lens group 113e and a fifth lens group 113a of a long distance type. The zoom lens unit 113 includes a long distance type third lens group 113c and a long distance zoom lens unit 113c Or a third type of the fourth a-lens group 113a, and the third type of the third type of lens group 113c, the first type zoom lens group 113b, Or the distance type first a lens group 113a and the long distance type 2a lens group 113b and the long distance type third a lens group 113c and the distance type first zoom lens unit 113d according to the lens type, The second a-lens group 113a, the second a-lens group 113b, the second a-lens group 113b, the fourth a-a lens group 113e, and a lens group 113f.

그리고, 본 발명에 따른 제1 원거리형 피사체줌카메라부(113)는 렌즈 mm 및 구성에 있어서, 렌즈의 구성 및 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The first long distance subject zoom camera unit 113 according to the present invention has a lens mm and a configuration in which the configuration of the lens and the radius of curvature, the center thickness, and the effective diameter of the lens group are various sizes .

또한, 본 발명에 따른 제1 원거리형 피사체줌카메라부(113)는 50~1500mm, 4.3~ 129mm 등 위 렌즈 구성에 따라 앞부분의 mm와 뒷부분의 mm가 변경되어 구성된다. 여기서, 4.3 ~ 129mm 이라 함은 4.3mm 에서 129mm까지의 해당하는 mm, 예를들어 5mm, 50mm, 100mm에 대한 화각 및 배율을 모두 포함하는 것을 말한다.In addition, the first long distance zoom zoom camera unit 113 according to the present invention is configured by changing the mm of the front portion and the mm of the rear portion according to the upper lens configuration, such as 50 to 1500 mm, 4.3 to 129 mm. Here, the term " 4.3 to 129 mm " refers to all of the angles of view and magnification for corresponding mm from 4.3 mm to 129 mm, for example, 5 mm, 50 mm, and 100 mm.

다음으로, 본 발명에 따른 제1 측량 컨트롤러부(120)에 관해 설명한다.Next, the first measurement controller unit 120 according to the present invention will be described.

상기 제1 측량 컨트롤러부(120)는 제1 스마트형 PTZ카메라모듈 일측에 위치되어, 위치기반서비스를 수신하여 제1 스마트형 PTZ카메라모듈의 위치정보를 파악한 후, 제1 스마트형 PTZ카메라모듈과 피사체간의 거리를 측량하고, 팬틸트의 회전 및 각도조절에 따라 제1 스마트형 PTZ카메라모듈에서 피사체에 대한 실시간 방위각 및 각도를 측량하도록 제어하는 역할을 한다.The first measurement controller unit 120 is located at one side of the first smart PTZ camera module, receives the location-based service, obtains the location information of the first smart PTZ camera module, And measures the real-time azimuth and angle with respect to the subject in the first smart type PTZ camera module according to the rotation and angle adjustment of the pan tilt.

이는 도 9에 도시한 바와 같이, 제1 위치기반서비스 수신부(121), 제1 스마트 ST형 레이저 원거리측정모듈(122), 제1 피사체위치좌표연산제어부(123)로 구성된다.9, it is composed of a first position-based service receiving unit 121, a first smart ST type laser distance measurement module 122, and a first subject position coordinate calculation control unit 123.

첫째, 본 발명에 따른 제1 위치기반서비스 수신부(121)에 관해 설명한다.First, the first location-based service receiving unit 121 according to the present invention will be described.

상기 제1 위치기반서비스 수신부(Location Based Service)(121)는 이동통신망이나 위성항법장치(GPS)를 통해 얻은 위치정보를 수신받는 역할을 한다.The first location-based service receiver 121 receives location information obtained through a mobile communication network or a GPS (Global Positioning System).

둘째, 본 발명에 따른 제1 스마트 ST형 레이저 원거리측정모듈(122)에 관해 설명한다.Second, the first smart ST type laser long distance measurement module 122 according to the present invention will be described.

상기 제1 스마트 ST형 레이저 원거리측정모듈(122)은 제1 스마트형 PTZ카메라모듈과 동일선상의 하단 일측에 위치되어, 10m~20,000m에 위치한 피사체를 향하여 1.2마이크로미터~2.5마이크로미터의 파워펄스를 전송하고, 되돌아오는 펄스를 통해 피사체의 거리를 실시간으로 측정하는 역할을 한다.The first smart ST type laser remote measurement module 122 is located at a lower side of the same line as the first smart PTZ camera module and transmits power pulses of 1.2 to 2.5 micrometers toward a subject located at 10 m to 20,000 m. And measures the distance of the subject in real time through the returning pulse.

이는 도 10 및 도 11에 도시한 바와 같이, 제1 ST형 펄스구동 레이저 다이오드 송신부(122a), 제1 ST형 펄스구동 레이저 다이오드 수신부(122b), 제1 ST형 펄스구동 레이저 거리연산제어부(122c)로 구성된다.10 and 11, the first ST-type pulse driving laser diode transmitting section 122a, the first ST-type pulse driving laser diode receiving section 122b, the first ST-type pulse driving laser distance calculating control section 122c ).

[제1 [First STST 형 펄스구동 레이저 다이오드 송신부(122a)]Type pulse drive laser diode transmitting unit 122a)

상기 제1 ST형 펄스구동 레이저 다이오드 송신부(122a)는 제1 스마트형 PTZ카메라모듈의 전면방향에 위치한 피사체를 향하여 1.2마이크로미터~2.5마이크로미터의 파워펄스를 송신시키는 역할을 한다.The first ST type pulse driving laser diode transmitting unit 122a transmits a power pulse of 1.2 micrometers to 2.5 micrometers toward a subject located in the front direction of the first smart PTZ camera module.

이는 임계전류 이상으로 전류를 흘려서 밀도반전을 일으켜 제1 ST형 펄스구동 레이저 다이오드(122a-1)가 동작하도록 구성된다.This is configured such that the first ST type pulse drive laser diode 122a-1 operates by causing a current to flow above the threshold current to cause density inversion.

제1 ST형 펄스구동 레이저 다이오드 구동을 위한 회로는 도 12에 도시한 바와 같다.The circuit for driving the first ST-type pulse drive laser diode is as shown in Fig.

즉, 실리콘 제어 정류소자가 오픈되어 있는 동안 캐패시터가 충전된다.That is, the capacitor is charged while the silicon controlled rectifying element is open.

실리콘 제어 정류소작 전압 펄스에 의해서 트리거되면 실리콘 제어 정류소자는 닫히고 캐패시터는 제1 ST형 펄스구동 레이저 다이오드가 있는 경로로 방전한다.When triggered by a silicon controlled rectifier voltage pulse, the silicon controlled rectifier closes and the capacitor discharges to the path with the first ST type pulse-driven laser diode.

그리고, 실리콘 제어 정류소자는 입력주파수가 변하여도 일정한 트러거펄스를 생성시키도록 로직설계된다.And, the silicon control rectifier is designed to generate a constant trigger pulse even if the input frequency changes.

캐패시터(C10)에 직렬로 연결되어 있는 저항(R30)은 캐패시터가 방전할 때 전류를 제한시키는 역할과 스위칭시 발생되는 링잉현상을 줄이는 역할을 한다.The resistor R30 connected in series to the capacitor C10 serves to limit the current when the capacitor discharges and to reduce the ringing phenomenon occurring during switching.

또한 제1 ST형 펄스구동 레이저 다이오드(D15) 옆의 다이오드(D12,D13)는 제1 ST형 펄스구동 레이저 다이오드를 보호해주는 역할과 링잉(ringing)현상을 감소시키는 역할을 해준다.The diodes D12 and D13 beside the first ST type pulse drive laser diode D15 serve to protect the first type ST type pulse drive laser diode and reduce the ringing phenomenon.

본 발명에 따른 제1 ST형 펄스구동 다이오드는 일예로, 160nSec 펄스폭에서 동작할 경우에 5~175W의 출력 파워를 낼 수 있도록 구성된다.The first ST-type pulse driving diode according to the present invention is configured to output an output power of 5 to 175 W when operating at a pulse width of 160 nSec.

그리고, 펄스폭이 작을수록 출력파워가 증가하는데 1~30nSec의 펄스폭에서는 10W~500W까지 출력을 증가시킬 수가 있다.As the pulse width decreases, the output power increases. However, the output can be increased from 10W to 500W at a pulse width of 1 to 30 nsec.

이로 인해, 1.2마이크로미터~2.5마이크로미터의 파워펄스를 생성시킬 수 있다.As a result, a power pulse of 1.2 micrometers to 2.5 micrometers can be generated.

[제1 [First STST 형 펄스구동 레이저 다이오드 수신부(122b)]Type pulse drive laser diode receiving section 122b)

상기 제1 ST형 펄스구동 레이저 다이오드 수신부(122b)는 제1 ST형 펄스구동 레이저 다이오드 송신부를 통해 피사체에 송신되어 부딪히고 돌아오는 신호를 수신하는 역할을 한다.The first ST-type pulse-driving laser diode receiving unit 122b receives the signal that is transmitted to the subject via the first ST-type pulse-driving laser diode transmitting unit and strikes and returns.

이는 검출센서로서, 포토다이오드, PIN 다이오드, 애벌런치 광다이오드(Avalanche Photo Diode), MSM(Metalsemiconductor-Metal) Photodiode, 포토트랜지스터(Phototransistor) 중 어느 하나가 선택되어 구성된다.As the detection sensor, any one of a photodiode, a PIN diode, an Avalanche Photo Diode, an MSM (Metalsemiconductor-Metal) Photodiode, and a phototransistor is selected and configured.

본 발명에서는 제1 애벌런치 광다이오드(Avalanche Photo Diode)센서(122b-1)로 구성된다.In the present invention, a first avalanche photodiode sensor 122b-1 is used.

두개의 신호 즉, 송신을 알려주는 신호와 수신을 알려주는 신호를 처리한다.It handles two signals: a signal that indicates transmission and a signal that indicates reception.

광송신신호(시작 펄스)는 PIN-광다이오드를 사용하여 송신빛의 일부를 받아서 수신부에 송신신호를 알려주고, 광수신(정지 펄스)신호는 피사체에 부딪혀 돌아오는 신호를 받는다.The optical transmission signal (start pulse) uses a PIN-photodiode to receive a part of the transmission light and informs the reception part of the transmission signal, and the light reception (stop pulse) signal receives a signal coming back from the object.

피사체에 부딪혀 돌아오는 신호검출은 제1 애벌런치 광다이오드(Avalanche Photo Diode)센서(122b-1)를 사용하여 검출한다.The detection of the signal coming back from the object is detected using the first avalanche photo diode sensor 122b-1.

여기서, 제1 애벌런치 광다이오드(Avalanche Photo Diode)센서(122b-1)를 사용하는 이유는 피사체에 부딪혀 되돌아오는 신호의 크기가 매우 작으므로 PIN-광다이오드를 사용하여 돌아오는 신호를 검출하려고 하면 PIN-광다이오드의 감도가 매우 낮기 때문에 되돌아오는 신호를 검출해 내기가 어렵기 때문에 제1 애벌런치 광다이오드(Avalanche Photo Diode) 센서를 사용한다. Here, the reason why the first avalanche photo diode sensor 122b-1 is used is that the size of the signal coming back from the object is very small. Therefore, if a signal to be returned using the PIN-photodiode is detected Since the sensitivity of the PIN-photodiode is very low, a first avalanche photodiode sensor is used because it is difficult to detect a returning signal.

즉, PIN-광다이오드센서 대신에 제1 애벌런치 광다이오드(Avalanche Photo Diode)센서를 사용하는 것이 잡음으로 인한 영향을 줄일 수가 있다.That is, the use of the first Avalanche Photo Diode sensor instead of the PIN-photodiode sensor can reduce the influence of noise.

이것은 신호대 잡음비(Signal-to-Noise Ratio)가 PIN-광다이오드센서보다 애벌런치 This is because the signal-to-noise ratio is higher than the PIN-photodiode sensor

광다이오드(Avalanche Photo Diode)센서가 더욱 뛰어나기 때문이다.This is because the Avalanche Photo Diode sensor is superior.

즉, 대역폭이 높고 노이즈가 높은 곳에서는 제1 애벌런치 광다이오드(Avalanche Photo Diode)센서가 유리하며, 증폭 노이즈가 낮은 곳에서는 PIN-광다이오드의 사용이 유리하다.That is, a first Avalanche Photo Diode sensor is advantageous in a high bandwidth and high noise region, and a PIN-photodiode is advantageously used in a low amplification noise region.

본 발명에 따른 제1 애벌런치 광다이오드(Avalanche Photo Diode)센서(122b-1)는 일예로, EG&G사의 C30902E또는 ZETEX사의 FMMT413가 사용된다.The first avalanche photodiode sensor 122b-1 according to the present invention uses, for example, C30902E of EG & G or FMMT413 of ZETEX.

상기 FMMT413는 도 13에 도시한 바와 같이, NPN 실리콘 플래너 바이폴라 트랜지스터로서, 애벌런치모드에서 구동되고, 50A 피크의 애벌런치 전류특성과, 응답시간이 보통 0.5nSec로 빠르며, 낮은 노이즈와 벌크 암전류(bulk dark current) 특성을 가진다.The FMMT 413 is an NPN silicon planar bipolar transistor driven in the avalanche mode and has an avalanche current characteristic of 50 A peak and a response time of 0.5 nSec, dark current.

또한, 본 발명에 따른 제1 ST형 펄스구동 레이저 다이오드 수신부(122b)는 도 14에 도시한 바와 같이, 제1 트랜스임피던스 전치증폭기(122b-2), 제1 비교기(122b-3)가 포함되어 구성된다.14, the first ST-type pulse-driving laser diode receiving unit 122b according to the present invention includes a first trans-impedance preamplifier 122b-2 and a first comparator 122b-3 .

상기 제1 트랜스임피던스전치증폭기(122b-2)는 제1 애벌런치 광다이오드(Avalanche Photo Diode)센서에서 검출한 신호를 증폭시키는 역할을 한다.The first trans-impedance preamplifier 122b-2 amplifies a signal detected by a first avalanche photodiode sensor.

상기 제1 비교기(122b-3)는 제1 트랜스임피던스전치증폭기를 증폭된 신호에다가 미리 설정된 기준신호를 비교하여, 피사체에 부딪혀 돌아오는 신호인 광수신(정지펄스)신호를 생성시킨다.The first comparator 122b-3 compares the amplified signal of the first trans-impedance preamplifier with a predetermined reference signal to generate a light reception (stoppage) signal, which is a signal coming back from the object.

[제1 [First STST 형 펄스구동 레이저 거리연산제어부(122c)]Type pulse drive laser distance calculation control section 122c)

상기 제1 ST형 펄스구동 레이저 거리연산제어부(122c)는 광송신신호(시작 펄스)와 피사체에 부딪혀 돌아오는 신호인 광수신(정지 펄스)신호사이의 시간을 연산하여, 피사체까지의 거리를 연산제어시키는 역할을 한다.The first ST-type pulse-driving laser distance arithmetic and control part 122c calculates the time between an optical transmission signal (start pulse) and a light reception (stop pulse) signal which is a signal coming back from the object and calculates the distance to the object Control.

이는 광송신신호(시작 펄스)와 광수신(펄스)신호 사이의 시간간격을 혼합(아날로그+디지털)방식으로 측정한다.This measures the time interval between the optical transmission signal (start pulse) and the optical reception (pulse) signal in a mixed (analog + digital) manner.

즉, 오실레이터의 기준 클럭에 의해 시간 측정을 하고, 클럭주기 사이의 짧은 간격은 아날로그 방식에 의해 측정함으로써, 전체 측정시간은 아날로그측정부와 디지털 측정부의 합으로써 측정할 수 있다.That is, the time measurement is performed by the reference clock of the oscillator, and the short interval between the clock periods is measured by the analog method, so that the total measurement time can be measured as the sum of the analog measurement section and the digital measurement section.

이렇게 측정함으로써 해상도를 수 pSec까지 향상시킬 수가 있다.By this measurement, the resolution can be improved to several pSec.

즉, 본 특허에서는 짧은 거리에 대해서는 높은 정밀도를 얻을 수 있는 아날로그 방식과, 먼거리에서도 일정한 선형성을 유지할 수 있는 디지털방식을 혼합하여 거리측정을 한다.That is, in this patent, distance measurement is performed by mixing an analog method capable of obtaining high accuracy for a short distance and a digital method capable of maintaining a constant linearity even at a long distance.

상기 제1 ST형 펄스구동 레이저 거리연산제어부(122c)는 도 15에 도시한 바와 같이, 제1 기준클럭부(122c-1), 제1 시작정지로직부(122c-2), 제1-64비트 계수부(122c-3), 제1 거리연산부(122c-4)로 구성된다.As shown in FIG. 15, the first ST-type pulse-driving laser distance calculation control section 122c includes a first reference clock section 122c-1, a first start stop stop section 122c-2, A counting unit 122c-3, and a first distance calculating unit 122c-4.

상기 제1 기준클럭부(122c-1)는 기준클럭수를 설정시키는 역할을 한다.The first reference clock part 122c-1 serves to set the reference clock number.

상기 제1 시작정지로직부(122c-2)는 시작펄스의 상승지점부터 다음 클럭까지의 시간간격을 T1으로 설정하고, 정지펄스의 상승지점부터 다음 클럭까지의 시간간격을 T2로 설정하여, T1,T2....T12까지의 TTL 레벨 출력을 형성시키는 역할을 한다.The first start stop stop section 122c-2 sets the time interval from the rising point of the start pulse to the next clock to T1, sets the time interval from the rising point of the stop pulse to the next clock to T2, And forms a TTL level output from T2 to T12.

상기 제1-64비트 계수부(122c-3)는 기준클럭에 의해서 동기화되어 시작정지로직부의 T12의 시간간격을 측정하여 계수하는 역할을 한다.The 1-th 64-bit coefficient unit 122c-3 is synchronized with the reference clock to measure and count the time interval of T12 of the start stop position.

아날로그 부분은 T1,T2의 시간간격 동안 일정한 전류에 의해서 메모리 캐패시터를 충전시킴으로써 그때의 충전시간 동안 계수함으로써 높은 정밀도의 시간을 측정할 수 있다.The analog portion can measure a high precision time by counting during the charging time by charging the memory capacitor with a constant current for a time interval of T1, T2.

한번(single-shot)측정은 선형성이 떨어질 수 있는 단점이 있어 여러번 같은 지점을 측정하여 평균화함으로써 정밀도와 정확성을 높일 수 있다.Single-shot measurements have the disadvantage that the linearity may deteriorate, so that accuracy and accuracy can be improved by measuring and averaging the same points several times.

상기 제1 거리연산부(122c-4)는 전류의 시간 변화량에 따른 메모리 캐패시터 C에서의 전압변화를 측정하여 거리를 연산시키는 역할을 한다.The first distance calculator 122c-4 calculates the distance by measuring the voltage change in the memory capacitor C according to the time variation of the current.

이는 수학식 1와 같이 표현된다.This is expressed by Equation (1).

여기서, V에 대해서 정리하면 다음의 수학식 2와 같이 표현된다.Here, V is expressed in the following equation (2).

따라서, 전류와 캐패시터 C의 값에 따라 전압의 변화량이 측정되고, 이러한 전압의 변화량을 통해 광송신신호(시작 펄스)와 피사체에 부딪혀 돌아오는 신호인 광수신(정지 펄스)신호사이의 왕복시간이 측정된다.Therefore, the amount of change in voltage is measured according to the current and the value of the capacitor C, and the round trip time between the optical transmission signal (start pulse) and the optical reception (stop pulse) signal, which is a signal coming back from the object, .

이어서, 다음의 수학식 3을 통해, 피사체와 제1 스마트형 PTZ카메라모듈 사이의 거리가 측정된다.Then, the distance between the subject and the first smart type PTZ camera module is measured by the following Equation (3).

여기서, c는 빛의 속도를 나타내고, Δt는 광송신신호(시작 펄스)와 피사체에 부딪혀 돌아오는 신호인 광수신(정지 펄스)신호사이의 왕복시간을 말한다.Here, c represents the speed of light, and? T represents a round trip time between an optical transmission signal (start pulse) and a light reception (stop pulse) signal which is a signal returning from the object.

즉, 도 16에 도시한 바와 같이, 상기 제1 거리연산부(122c-4)는 캐패시터의 충방전시 발생되는 전류비율(i_1,i-2)에 의해서 매우 긴 램프신호를 발생시키고, 다시 이 램프신호는 비교기의 입력으로 들어가서 TTL 레벨의 출력이 나온다.That is, as shown in FIG. 16, the first distance calculator 122c-4 generates a very long lamp signal by the current ratio (i_1, i-2) generated during charging and discharging of the capacitor, The signal enters the comparator's input and outputs a TTL level output.

이 출력을 낮은 클럭 신호로 사용해서 카운터함으로써 기존에 비해, 수ps~수백 ps까지의 높은 정밀도를 얻을 수가 있다.By using this output as a low clock signal and counting it, it is possible to obtain high precision from several ps to several hundreds of ps.

셋째, 본 발명에 따른 제1 피사체위치좌표연산제어부(123)에 관해 설명한다.Third, the first subject position coordinate calculation control unit 123 according to the present invention will be described.

상기 제1 피사체위치좌표연산제어부(123)는 제1 스마트형 PTZ카메라모듈의 팬틸트의 회전 및 각도조절에 따라 메인본체를 기준으로 피사체에 대한 실시간 방위각 및 각도로 이루어진 위치좌표와 이동방향을 연산제어시키는 역할을 한다.The first subject position coordinate calculation control unit 123 calculates the position coordinates and the moving direction, which are real time azimuths and angles with respect to the subject, with respect to the main body in accordance with rotation and angle adjustment of the pan tilt of the first smart PTZ camera module Control.

먼저, 제1 스마트형 PTZ카메라모듈의 좌표는 도 17에 도시한 바와 같이, X축, Y축, Z축으로 표시된다.First, the coordinates of the first smart PTZ camera module are represented by X-axis, Y-axis and Z-axis, as shown in Fig.

화면상의 이동해야 하는 위치가 (u_p,v_p)일 경우, Zoom의 위치에 따른 전체 화면에 대한 화각을 알고 있으면, (u_p,v_p)에서의 수학식 4처럼, α(가로로 이동해야 할 위치),β(세로로 이동해야 할 위치)를 연산시킬 수가 있다.If it is necessary to move the location on the screen (u _p, v _p) one, if you know the angle of view on the full screen according to the position of the Zoom, as Equation (4) in the (u _p, v _p), α (See the horizontal (Position to be moved) and? (Position to be moved vertically).

도 18은 본 발명에 따른 제1 스마트형 PTZ카메라모듈의 화면에서의 실시간 촬영 영상프레임을 나타낸 일실시예도에 관한 것으로, 도 18을 바탕으로, 처음 초기 좌표를 -Z축으로 (0,0,-1)로 설정한 후에 초기 좌표를 카메라좌표로 변환하면, 수학식 5와 같이 표현할 수 있다. 18 is a diagram showing a real-time photographed image frame on a screen of a first smart PTZ camera module according to the present invention. Referring to FIG. 18, -1) and then transforming the initial coordinates into camera coordinates, it can be expressed as Equation (5).

여기서, R(Y_u,α)는 Y축을 기준으로 α만큼의 회전을 의미하고, R(X_u,β)는 X축을 기준으로 β만큼의 회전을 의미한다.Here, R (Y _u , α) means rotation by α with respect to the Y axis, and R (X _u , β) means rotation by β with respect to the X axis.

이어서, 카메라 좌표를 전체 좌표로 변환하면, 도 19에 도시한 바와 같이 되고, 수학식 6과 같이 표현된다.Subsequently, when the camera coordinate is converted into the whole coordinate, it is as shown in Fig. 19, and is expressed by the following equation (6).

여기서, 수학식 7을 이용하여 P_w(X_w,Y_w,Z_w) 값을 연산하면, 도 20에 도시한 바와 같이, 실시간 방위각 및 각도로 이루어진 위치좌표(θ)와, 이동방향(φ)는 다음의 수학식 7과 같이 된다.When the values of _Pw ( _Xw , _Yw , _Zw ) are calculated using Equation (7), as shown in FIG. 20, the position coordinate (?) Made of the real-time azimuth and angle and the moving direction Is expressed by the following equation (7).

또한, 본 발명에 따른 제1 측량 컨트롤러부(120)는 제1-3축 디지털 나침반(124)이 포함되어 구성된다.In addition, the first measurement controller 120 according to the present invention includes a first-third axis digital compass 124.

상기 제1-3축 디지털 나침반(124)은 메인본체 일측에 위치되어, 제1 스마트 PTZ카메라모듈의 현재 방위각과 각도를 측량하는 역할을 한다.The first 1-3 axis digital compass 124 is located at one side of the main body and serves to measure the current azimuth and angle of the first smart PTZ camera module.

또한, 본 발명에 따른 제1 측량 컨트롤러부(120)에서는 제1 스마트형 PTZ카메라모듈의 실시간 위치정보와 피사체의 실시간 위치정보에 대해, 제1 스마트형 PTZ카메라모듈의 홈 포지션을 기초로 하는 절대좌표가 아닌 위치기반서비스에서 수신된 위도 및 경도를 기초로 한 절대좌표를 제공하도록 구성된다.In addition, in the first measurement controller 120 according to the present invention, with respect to the real-time position information of the first smart PTZ camera module and the real-time position information of the object, And to provide absolute coordinates based on the latitude and longitude received in the location based service rather than the coordinates.

그리고, 위치기반서비스에서 수신된 위도 및 경도가 아닌 특수 목적에 의해 지정된 좌표값을 기초로 한 절대좌표를 표현하도록 구성된다.And is configured to express absolute coordinates based on coordinate values specified by a special purpose rather than the latitude and longitude received in the location-based service.

다음으로, 본 발명에 따른 제1 유무선통신모듈(130)에 관해 설명한다.Next, the first wired / wireless communication module 130 according to the present invention will be described.

상기 제1 유무선통신모듈(130)은 원격지에 위치한 지능형제어서버와 연결되어, 제1 스마트형 PTZ형 카메라모듈에서 촬영한 피사체영상데이터와, 제1 측량 컨트롤러부에서 측량한 실시간 위치 정보데이터를 지능형제어서버로 전달시키고, 지능형제어서버로부터 제어명령신호를 전송받아 제1 스마트형 PTZ형 카메라모듈 또는 제1 측량 컨트롤러부로 전달시키는 역할을 한다.The first wired / wireless communication module 130 is connected to an intelligent control server located at a remote location, and transmits object image data photographed by the first smart PTZ camera module and real-time location information data measured by the first surveying controller unit, And transmits the control command signal from the intelligent control server to the first smart PTZ camera module or the first measurement controller unit.

이는 무선통신모듈로서 WiFi통신모듈이 구성되고, 유선통신모듈로서 BACNET TCP/IP, BACNET MS/TP, Modbus RTU 중 어느 하나가 선택되어 구성된다.The WiFi communication module is configured as a wireless communication module, and one of BACNET TCP / IP, BACNET MS / TP, and Modbus RTU is selected and configured as a wired communication module.

상기 WiFi통신모듈은 무선기술을 접목한 것으로, 고성능 무선통신을 가능하게 하는 무선랜 기술로 구성된다.The WiFi communication module incorporates wireless technology and is composed of a wireless LAN technology that enables high performance wireless communication.

상기 무선랜은 네트워크 구축시 유선을 사용하지 않고 전파나 빛등을 이용하여 네트워크를 구축하는 방식으로서, 2.4GHz의 주파수 대역을 사용한다.The wireless LAN uses a frequency band of 2.4 GHz, which is a method of building a network using radio wave or light without using a wire when constructing a network.

또한, 본 발명에 따른 제1 유무선통신모듈(130)은 무선통신모듈로서, 근거리무선통신모듈, 이동통신(5G, 4G, 3G)모듈 중 어느 하나가 선택되어 이루어지고, The first wired / wireless communication module 130 according to the present invention is a wireless communication module in which one of the short-range wireless communication module and the mobile communication (5G, 4G, 3G) module is selected,

유선통신모듈로서, 동선 케이블을 연결할수 있는 이더넷모듈, RS-232모듈, RS-485모듈, RS-422모듈, 또는 광케이블을 연결할수 있는 이더넷모듈, RS-232모듈, RS-485모듈, RS-422모듈 중 어느 하나가 선택되어 이루어진다. RS-232 module, RS-485 module, RS-422 module, Ethernet module that can connect optical cable, RS-232 module, RS-485 module, RS- 422 modules are selected.

다음으로, 본 발명에 따른 지능형제어서버(140)에 관해 설명한다.Next, the intelligent control server 140 according to the present invention will be described.

상기 지능형제어서버(140)는 서버형태로 이루어져 중앙 관제센터 내부 일측에 위치되고, 제1 스마트형 PTZ카메라모듈, 제1 측량 컨트롤러부, 제1 유무선통신모듈과 연결되어, 각 기기의 전반적인 동작을 제어하고, GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 제1 스마트형 PTZ카메라모듈로부터 전송된 실시간 촬영 영상 또는 GIS, 지정맵에 추적하는 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어하는 역할을 한다.The intelligent control server 140 is located at a side of the central control center, and is connected to the first smart PTZ camera module, the first surveying controller unit, and the first wired / wireless communication module, And generates a point box for a subject to be tracked in a real-time shot image or a GIS or a designated map transmitted from the first smart PTZ camera module while tracking a long distance subject while interlocked with a GIS or a designated map, Control is performed so that the final intelligent motion information consisting of the behavior recognition information data is displayed along with the real-time position information data on the time, the position, the movement direction, the movement distance, and the movement speed of the subject on the generated point box or the program screen for the object It plays a role.

이는 도 21에 도시한 바와 같이, 제1 위치표출제어부(141), 제1 피사체추적제어부(142), 제1 모션히스토리이미지(MHI : Motion History Image) 생성부(143), 제1 최종 지능형모션정보제어부(144)로 구성된다.21, the first position display control unit 141, the first object tracking control unit 142, the first motion history image (MHI) generating unit 143, the first final intelligent motion And an information control unit 144.

첫째, 본 발명에 따른 제1 위치표출제어부(141)에 관해 설명한다.First, the first position display control section 141 according to the present invention will be described.

상기 제1 위치표출제어부(141)는 GIS 또는 지정맵과 연동되어 위치를 표출시키도록 제어하는 역할을 한다.The first position display control unit 141 controls the display of the position in cooperation with the GIS or the designated map.

둘째, 본 발명에 따른 제1 피사체추적제어부(142)에 관해 설명한다.Second, the first object tracking control unit 142 according to the present invention will be described.

상기 제1 피사체추적제어부(142)는 제1 측량 컨트롤러부로부터 센싱된 피사체를 추적하면서, 피사체의 이동속도를 연산제어시키는 역할을 한다.The first subject tracking control unit 142 tracks and controls the moving speed of the subject while sensing the subject sensed from the first measurement controller unit.

이는 서버용 칼만필터(Kalman Filter)를 통해 움직이는 피사체의 다음위치를 예측하고, 예측한 위치와 탐지된 위치를 서버용 헝가리안 알고리즘엔진부(Hungraian Algorithm)로 할당시킨다.It predicts the next position of the moving object through Kalman Filter for Server, and assigns the predicted position and the detected position to the Hungarian Algorithm for the server.

즉, 이동하거나 움직이는 피사체의 추적에 높은 성능과 빠른 연산속도의 특성을 가진다.In other words, it has high performance and fast computing speed in tracking moving or moving subjects.

추적에는 서버용 칼만필터(Kalman Filter)를 이용하여 다음 프레임에서 객체의 바운딩박스를 예측하기 위한 바운딩박스의 상태는 수학식 8과 같이 모델링이 된다.The state of the bounding box for predicting the bounding box of the object in the next frame using the Kalman filter for server is modeled as shown in equation (8).

여기서, u 와 u 는 피사체용 포인트박스의 중앙의 수평과 수직 픽셀의 위치를 나타낸다. Here, u and u indicate the positions of the horizontal and vertical pixels in the center of the point box for the subject.

크기 s 와 r 은 피사체용 포인트박스의 크기와 종횡비를 나타낸다. The sizes s and r represent the size and aspect ratio of the point box for the subject.

종횡비는 일정하다고 가정한다. Assume that the aspect ratio is constant.

탐지된 피사체용 포인트박스가 예측하려는 피사체용 포인트박스에 할당되면, 탐지된 피사체용 포인트박스는 서버용 칼만필터(Kalman Filter)를 통해 모델의 속도를 옵티멀하게 구하는 데에 사용된다. If the detected point box for the object is assigned to the point box for the object to be predicted, the detected point box for the object is used to optimally obtain the speed of the model through a Kalman filter for the server.

일예로, 탐지된 피사체용 포인트박스가 없다면 선형 속도 모델에 의해 상태가 예측된다. For example, if there is no point box for the detected object, the state is predicted by the linear velocity model.

서버용 헝가리안 알고리즘엔진부(Hungraian Algorithm)은 최적화 알고리즘의 일종으로 할당 문제를 Polynomial 시간에 해결하기 위한 방법으로 객체 탐지 단계에서 추출되는 피사체용 포인트박스를 서버용 칼만필터(Kalman Filter)로 예측한 피사체용 포인트박스에 할당할 때 사용된다.The Hungarian Algorithm for Servers is a kind of optimization algorithm which is a method to solve allocation problem in Polynomial time. It is a method for estimating object point box extracted from object detection step by Kalman filter for server It is used when assigning to a point box.

셋째, 본 발명에 따른 제1 모션히스토리이미지(MHI : Motion History Image) 생성부(143)에 관해 설명한다.Third, a first motion history image (MHI) generation unit 143 according to the present invention will be described.

상기 제1 모션히스토리이미지(MHI : Motion History Image) 생성부(143)는 제1 스마트형 PTZ카메라모듈에서 촬영한 동영상 중 피사체의 행위를 인지하기 위해서 시간적 정보가 포함된 특징을 갖는 모션히스토리이미지(MHI : Motion History Image)를 실시간 촬영 영상의 피사체에서 추출하여 생성시키는 역할을 한다.The first motion history image (MHI) generation unit 143 generates a motion history image (MHI) having a feature including temporal information in order to recognize an action of a subject among moving images captured by the first smart PTZ camera module MHI: Motion History Image) from a subject of a real-time image.

여기서, 모션히스토리이미지(MHI : Motion History Image)는 시간적 정보와 외형 정보가 동시에 나타나는 단일이미지로서, 걷기, 조깅, 달리기, 복싱, 손흔들기, ?는 행위, 도망치는 행위, 박수치기, 달리는 차, 추돌사고 등을 모두 포함한다.Here, a motion history image (MHI) is a single image in which temporal information and appearance information are displayed at the same time. The motion history image (MHI) is a single image in which motion information such as walking, jogging, running, boxing, hand waving, Collision accident, and the like.

이는 다음의 수학식 9와 같이, 현재프레임 h(x,y,t) 과 이전프레임h(x,y,t-1) 간의 차영상을 이용한다. This uses the difference image between the current frame h (x, y, t) and the previous frame h (x, y, t-1)

수학식 9와 같이, 시간 t에서 모션히스토리 이미지는 이전 프레임으로 모션히스토리 이미지로 연산할 수 있다. As shown in equation (9), at time t, the motion history image can be calculated as the motion history image with the previous frame.

그러므로 시간적 특징이 모든 프레임에 대해서 계산될 필요가 없다. Therefore, the temporal feature need not be calculated for every frame.

이미지에서 최근에 움직인 부분은 밝게 표현된다. The most recently moved part of the image is brightly displayed.

수학식 9를 보면 n은 모션 히스토리에서 프레임 용량의 최대치를 말한다. In Equation (9), n denotes the maximum value of the frame capacity in the motion history.

n 이 크면 모션 히스토리는 긴시간의 모션이 담기고 작으면 가장 최근의 움직임을 제외하고는 무시되어 밝기가 0이 된다.If n is large, the motion history contains a long time motion, and if it is small, the brightness is ignored except for the most recent motion.

넷째, 본 발명에 따른 제1 최종 지능형모션정보제어부(144)에 관해 설명한다.Fourth, the first final intelligent motion information control unit 144 according to the present invention will be described.

상기 제1 최종 지능형모션정보제어부(144)는 GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 제1 스마트형 PTZ카메라모듈로부터 전송된 실시간 촬영 영상 또는 GIS, 지정맵에 추적하는 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스상에 피사체의 행위를 시간별로 인지하고, 인지된 행동에 따라 시작된 위치, 끝난 위치를 인지된 모든 행위에 따라 나타내는 최종 지능형 모션정보(행위 인지정보 데이터 + 실시간 위치 정보데이터)를 표출시키도록 서버상에서 제어하는 역할을 한다.The first final intelligent motion information control unit 144 tracks the object in a long distance in the state of being interlocked with the GIS or the designated map and tracks the real-time photographed image or the GIS and the designated map transmitted from the first smart PTZ camera module A point box for a subject is generated, and then the action of the subject is recognized on the generated point box for the object by time, and the final intelligent motion information indicating the position started and ended according to the perceived action according to all perceived actions Cognition information data + real-time position information data) on the server.

이는 동영상이 고정된 카메라 영상이고 피사체가 사람인 경우를 대상으로 설명한다.This explains the case where the moving image is a fixed camera image and the subject is a person.

먼저, 트레이닝 과정에서는 트레이닝을 위한 학습 데이터에서 피사체인 사람이 위치한 영역을 추출하고 행동을 라벨링하고, 특징 이미지인 모션 히스토리 이미지를 생성하여 서버용 CNN(컨볼루션 뉴럴 네트워크(Convolutional Neural Network))모델로 행동 인지를 학습한다. First, in the training process, the region in which the person who is the subject is located is extracted from the training data for training, the behavior is labeled, and a motion history image, which is a feature image, is generated and used as a CNN (Convolutional Neural Network) Learning.

이어서, 입력 영상에서 피사체용 포인트박스를 형성시켜 피사체(사람)를 탐지하고, 피사체추적제어부를 통해 추적하며, 피사체위치좌표연산제어부를 통해 연산제어된 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도로 이루어진 실시간 위치 정보데이터와 함께 행위 인지정보데이터를 메모리부에 저장시킨다.Then, a point box for a subject is formed on the input image to detect a subject (person), tracked through a subject tracking control unit, and the time, position, moving direction, moving distance, And stores the behavior recognition information data in the memory unit together with the real-time position information data composed of the moving speed.

이어서, 추적된 피사체의 피사체용 포인트박스 상 또는 프로그램 화면에, 모션 히스토리 이미지를 생성하고, 학습된 CNN 모델에 따라 행동을 인지하여 실시간 위치 정보데이터(피사체의 시간, 위치, 이동방향, 이동거리, 이동속도)가 포함된 최종 지능형 모션정보를 생성한다.Subsequently, a motion history image is generated on a point box or a program screen for a subject of the tracked subject, the motion is recognized according to the learned CNN model, and real time positional information data (time, position, moving direction, Movement speed) of the final intelligent motion information.

이처럼 본 발명에 따른 제1 최종 지능형모션정보제어부(144)는 GIS 또는 지정맵과 연동되어, 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스 상 또는 프로그램 화면에, 최종 지능형 모션정보(행위 인지정보 데이터 + 실시간 위치 정보데이터)를 표출시킬 수 있어, 기존보다 80% 향상된 피사체의 정확한 위치파악을 통해, 사고발생 및 구조요청시, 골든타임을 놓치지 않고, 신속하게 응급조치를 취할 수 있다.In this way, the first final intelligent motion information control unit 144 according to the present invention generates the final intelligent motion information (hereinafter referred to as " final intelligent motion information ") on the created point box for the object or on the program screen after interlocking with the GIS or the designated map, Action awareness information data + real-time position information data) can be displayed, and it is possible to take urgent action quickly without missing the golden time when an accident occurs and the rescue request is made, by grasping the accurate position of the object by 80% .

[현장용 [On-site use 하이브리드식Hybrid expression 원거리 지능형 영상감지장치(200)] Remote intelligent image sensing device (200)]

상기 현장용 하이브리드식 원거리 지능형 영상감지장치(200)는 현장용 지능형알고리즘형태로 이루어져, 현장의 카메라 전용 폴, 아치, 가로등주, 신호등주, 전광판, 전주, 통신주 중 어느 하나에 선택위치되어, GIS 또는 지정맵과 연동시킨 상태에서, 실시간 촬영 영상에서 피사체를 추적하면서, 추적하는 피사체용 포인트박스를 생성시킨 후, 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께, 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 현장에서 하이브리드식 구조로 표출시키도록 제어하는 역할을 한다.The on-site hybrid remote intelligent image sensing apparatus 200 is configured in the form of an intelligent algorithm for on-site use, and is selectively positioned in any one of a camera dedicated pole, an arch, a streetlight, a signal light, an electric signboard, The pointing box for the object to be tracked is generated while tracking the object in the real-time shot image in a state in which the object is linked with the pointing box for the object or the program screen and the time, position, And the final intelligent motion information including the behavior recognition information data is displayed on the field in a hybrid scheme.

이는 도 22에 도시한 바와 같이, 메인본체(210), 제2 스마트형 PTZ카메라모듈(220), 제2 측량 컨트롤러부(230), 제2 유무선통신모듈(240), 현장용 지능형제어부(250)로 구성된다.22, the main body 210, the second smart PTZ camera module 220, the second surveying controller 230, the second wired / wireless communication module 240, the intelligent controller 250 for the field, .

먼저, 본 발명에 따른 메인본체(210)에 관해 설명한다.First, the main body 210 according to the present invention will be described.

상기 메인본체(210)는 박스형상으로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.The main body 210 is formed in a box shape and protects and supports each device from external pressure.

이는 도 23에 도시한 바와 같이, 하단 일측에 지지부가 형성되고, 지지부 상단에 제2 스마트형 PTZ카메라모듈이 형성되며, 제2 스마트형 PTZ카메라모듈과 동일선상의 하단 일측에 제2 측량 컨트롤러부가 형성되고, 내부공간 타측에 제2 유무선통신모듈이 형성되고, 제2 유무선통신모듈 일측에 현장용 지능형제어부가 형성되어 구성된다.23, a second smart type PTZ camera module is formed on the upper end of the support part, and a second measurement controller part is provided on the lower end side of the same line as the second smart type PTZ camera module, A second wired / wireless communication module is formed on the other side of the inner space, and an intelligent control part for the field is formed on one side of the second wired / wireless communication module.

상기 메인본체는 카메라 전용 폴, 아치, 가로등주, 신호등주, 전광판, 전주, 통신주, 고속도로 감시카메라 중 어느 하나에 선택위치되어 구성된다.The main body is selectively disposed on any one of a camera-dedicated pole, an arch, a streetlight, a signal light, an electric signboard, a pole, a communication pole, and a highway surveillance camera.

다음으로, 본 발명에 따른 제2 스마트형 PTZ카메라모듈(220)에 관해 설명한다.Next, the second smart PTZ camera module 220 according to the present invention will be described.

상기 제2 스마트형 PTZ카메라모듈(220)은 메인본체 상단에 위치되고, 지능형제어부의 제어신호에 따라 구동되어, 10m~20,000m에 위치한 카메라 촬영 대상인 피사체를 상하, 좌우로 움직이면서 확대, 축소하여 피사체를 촬영시키는 역할을 한다.The second smart PTZ camera module 220 is located at the upper end of the main body and is driven in accordance with a control signal of the intelligent controller to enlarge and reduce a subject, which is a subject of camera shooting, located at 10m to 20,000m, As shown in FIG.

이는 도 25에 도시한 바와 같이, 제2 팬구동부(221), 제2 틸트구동부(222), 제2 원거리형 피사체줌카메라부(223)로 구성된다.As shown in FIG. 25, the second fan driving unit 221, the second tilt driving unit 222, and the second remote zoom zoom camera unit 223 are provided.

그리고, 상기 제2 스마트형 PTZ카메라모듈의 형태는 박스+팬틸트형 및 스피드돔형, 포지셔닝형 중 사용자의 목적과 용도에 따라 다양한 형태로 형성된다.The second smart PTZ camera module may be formed in various forms according to the purpose and use of the user, such as a box + pan / tilt type, a speed dome type, and a positioning type.

첫째, 본 발명에 따른 제2 팬구동부(221)에 관해 설명한다.First, the second fan drive unit 221 according to the present invention will be described.

상기 제2 팬구동부(221)는 상단 직립구조로 형성된 제2 원거리형 피사체줌카메라부, 제2 측량 컨트롤러부를 좌우로 0°~360°회전구동시키는 역할을 한다.The second fan driving unit 221 drives the second distance-type subject zoom camera unit and the second measurement controller unit, which are formed in an upper standing upright structure, to rotate left and right by 0 ° to 360 °.

이는 팬구동모터가 구성된다.This constitutes a fan drive motor.

또한, 본 발명에 따른 제2 팬구동부의 회전각도는 사용자의 목적과 용도에 따라 다양한 회전각도로 형성된다.In addition, the rotation angle of the second fan drive unit according to the present invention is formed at various rotation angles according to the purpose and the purpose of the user.

둘째, 본 발명에 따른 제2 틸트구동부(222)에 관해 설명한다.Second, the second tilt driver 222 according to the present invention will be described.

상기 제2 틸트구동부(222)는 제2 원거리형 피사체줌카메라부, 제2 측량 컨트롤러부를 상하로 -90°~40°각도로 기울어서 구동시키는 역할을 한다.The second tilt driving unit 222 functions to tilt the second remote zoom zoom camera unit and the second measurement controller unit up and down at an angle of -90 ° to 40 °.

또한, 본 발명에 따른 제2 틸트구동부(222)의 각도는 사용자의 목적과 용도에 따라 다양한 각도로 형성된다.In addition, the angle of the second tilt driver 222 according to the present invention is formed at various angles according to the purpose and use of the user.

셋째, 본 발명에 따른 제2 원거리형 피사체줌카메라부(223)에 관해 설명한다.Third, the second long distance subject zoom camera unit 223 according to the present invention will be described.

상기 제2 원거리형 피사체줌카메라부(223)는 10m~20,000m에 위치한 카메라 촬영 대상인 피사체를 상하, 좌우로 움직이면서 확대, 축소하여 피사체를 촬영시키는 역할을 한다.The second remote zoom zoom camera unit 223 enlarges and reduces a subject, which is a subject of camera shooting, located at 10 m to 20,000 m while moving the camera up and down and left and right, thereby photographing a subject.

이는 도 24에 도시한 바와 같이, 동일선상의 하단 일측에 제2 스마트 ST형 레이저 원거리측정모듈(232)이 형성되어 구성된다.As shown in FIG. 24, the second smart ST type laser distance measurement module 232 is formed on the lower one side of the collinear line.

상기 제2 원거리형 피사체줌카메라부(223)는 도 26에 도시한 바와 같이, 원거리형 제1b 렌즈군(223a), 원거리형 제2b 렌즈군(223b), 원거리형 제3b 렌즈군(223c), 원거리형 제2 줌렌즈부(223d), 원거리형 제4b 렌즈군(223e), 원거리형 제5b 렌즈군(223f), 원거리형 제2 촬상면(223g), 원거리형 제2 이미지센서모듈(223h)로 구성된다.As shown in Fig. 26, the second long distance type zoom lens camera unit 223 includes a long distance first b lens group 223a, a long distance second b lens group 223b, a long distance third b lens group 223c, The second type zoom lens unit 223d, the fourth type fourth lens group 223e, the fifth type fifth lens group 223f, the second type second distance imaging unit 223g, the second type remote image sensor module 223h, .

상기 원거리형 제1b 렌즈군(223a)은 카메라모듈본체의 선단부에 위치되어, 촬영하고자 하는 객체에서부터 양의 굴절력을 가진다.The distant first b lens group 223a is located at the distal end of the camera module body and has positive refractive power from the object to be imaged.

상기 원거리형 제1b 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The curvature radius, the center thickness, and the effective diameter of the distant-type first b lens group are formed in various sizes according to the purpose and use of the user.

상기 원거리형 제2b 렌즈군(223b)은 원거리형 제1b 렌즈군 후단에 위치되어, 음의 굴절력을 가진다.The distant-type second lens group 223b is located at the rear end of the distant-type first lens group 22b, and has a negative refractive power.

상기 원거리형 제2b 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The curvature radius, the center thickness, and the effective diameter of the long distance type 2b lens group are formed in various sizes according to the purpose and use of the user.

상기 원거리형 제3b 렌즈군(223c)은 원거리형 제2b 렌즈군 후단에 위치되어, 양의 굴절력을 가진다.The remote type third lens group 223c is located at the rear end of the second lens group of the distant type and has a positive refractive power.

상기 원거리형 제3b 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The curvature radius, the center thickness, and the effective diameter of the long distance type 3b lens group are formed in various sizes according to the purpose and use of the user.

상기 원거리형 제2 줌렌즈부(223d)는 도 7에 도시한 바와 같이, 원거리형 제3b 렌즈군과 원거리형 제4b 렌즈군 사이에 위치되어, 전진운동 또는 후진운동하면서 초점을 조절시키는 역할을 한다.As shown in FIG. 7, the long-distance second zoom lens unit 223d is positioned between the long distance type 3b lens group and the long distance type 4b lens group, and adjusts the focus while moving forward or backward .

이는 도 8에 도시한 바와 같이, 제2 전류센서부(223d-1), 제2 액츄에이터부(223d-2), 제2 리듀서부(223d-3), 제2 줌렌즈(223d-4)로 구성된다.8, the second actuator 223d-1, the second actuator 223d-2, the second reducer 223d-3, and the second zoom lens 223d-4 do.

상기 제2 전류센서부(223d-1)는 1,000mm용 줌렌즈 구동 전류신호, 1,500mm용 줌렌즈 구동 전류신호, 2,000mm용 줌렌즈 구동 전류신호 중 어느 하나를 선택하여 센싱시킨 후, 액츄에이터쪽으로 센싱한 전류센싱신호를 제2 액츄에이터부쪽으로 전달시키는 역할을 한다. 여기서, 1,000mm용 줌렌즈 구동 전류신호, 1,500mm용 줌렌즈 구동 전류신호, 2,000mm용 줌렌즈 구동 전류신호는 자체 프로그램 셋팅되어 구동되거나 또는, 현장용 지능형 관리서버의 제어신호에 따라 구동되도록 구성된다.The second current sensor unit 223d-1 senses any one of the zoom lens driving current signal for 1,000 mm, the zoom lens driving current signal for 1,500 mm, and the zoom lens driving current signal for 2,000 mm, And transmits the sensing signal to the second actuator. Here, the zoom lens driving current signal for 1,000 mm, the zoom lens driving current signal for 1,500 mm, and the zoom lens driving current signal for 2,000 mm are configured to be driven by their own program or to be driven according to the control signal of the intelligent management server for the field.

상기 제2 액츄에이터부(223d-2)는 제2 전류센서부로부터 전달된 전류센싱신호에 따라 제2 리듀서부쪽으로 전진운동의 힘, 또는 후진운동의 힘을 전달시키는 역할을 한다.The second actuator unit 223d-2 transmits a forward movement force or a backward movement force to the second reducer unit according to the current sensing signal transmitted from the second current sensor unit.

상기 제2 리듀서부(223d-3)는 제2 액츄에이터로부터 전진운동의 힘을 전달받아 줌렌즈를 전진시켜 초점거리를 줄이고, 제2 액츄에이터로부터 후진운동의 힘을 전달받아 제2 줌렌즈를 후진시켜 초점거리를 늘리는 역할을 수행시키는 역할을 한다.The second reducer unit 223d-3 receives the forward movement force from the second actuator to advance the zoom lens to reduce the focal distance, and receives the backward movement force from the second actuator to move the second zoom lens backward, And to increase the number of employees.

상기 제2 줌렌즈(223d-4)는 제2 리듀서부 전단에 위치되고, 20,000m 원거리상에 위치한 피사체의 촬영영역존을 형성시키는 역할을 한다.The second zoom lens 223d-4 is located at the front end of the second reducer unit and serves to form a photographing area zone of a subject located at a distance of 20,000 m.

이는 1,000mm용 줌렌즈, 1,500mm용 줌렌즈, 2,000mm용 줌렌즈로 구성된다.It consists of a zoom lens for 1,000mm, a zoom lens for 1,500mm, and a zoom lens for 2,000mm.

상기 2,000mm용 줌렌즈는 18km ~ 20km에 위치한 2m크기(사람크기)의 피사체 형태를 식별하여 촬영영역존을 형성시키는 역할을 한다. 이는 안개나 해무 등 기후에 따라 편차 발생된다. 그리고, 재질은 유리 재질 또는 합성수지 재질 또는 게르마늄(Germanium) 재질 또는 셀렌화아연(Zinc Selenide) 재질로 이루어진다.The 2,000mm zoom lens identifies a 2m-size (human-sized) object shape located at 18km to 20km to form an imaging area zone. This is caused by the weather, such as fog and sea. The material is made of glass or synthetic resin, Germanium or zinc selenide.

상기 원거리형 제4b 렌즈군(223e)은 원거리형 제2 줌렌즈부 후단에 위치되어, 음의 굴절력을 가진다.The remote type fourth lens group 223e is located at the rear end of the second zoom lens unit of the distant type and has a negative refractive power.

상기 원거리형 제4b 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The radius-of-curvature, the central thickness, and the effective diameter of the long distance type 4b lens group are formed in various sizes according to the purpose and use of the user.

상기 원거리형 제5b 렌즈군(223f)은 원거리형 제4b 렌즈군 후단에 위치되어, 양의 굴절력을 가진다.The remote type 5b lens group 223f is positioned at the rear end of the fourth type 4b lens group and has a positive refractive power.

상기 원거리형 제5b 렌즈군은 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.In the long distance type 5b lens group, the radius of curvature, the center thickness, and the effective diameter are formed in various sizes depending on the purpose and use of the user.

상기 원거리형 제2 촬상면(223g)은 원거리형 제5b 렌즈군 후단에 위치되어, 원거리형 제5b 렌즈군으로부터 전달받은 음의 굴절력으로 광학상(光學像)으로 결상시키는 역할을 한다.The long distance second imaging surface 223g is located at the rear end of the long distance type 5b lens group and serves to form an optical image by negative refracting power transmitted from the long distance type 5b lens group.

상기 원거리형 제2 이미지센서모듈(223h)은 원거리형 촬상면에서 촬영된 빛의 정보를 전기적 신호로 변환시켜 피사체영상촬영데이터를 생성시키는 역할을 한다.The remote type second image sensor module 223h converts the information of the light taken from the remote sensing surface into an electrical signal to generate the object imaging data.

이는 제2 이미지센서부, 제2 AFE(Analog Front End)부, 제2 카메라 ISP부, 제2 영상데이터전송부로 구성된다.This is composed of a second image sensor unit, a second AFE (Analog Front End) unit, a second camera ISP unit, and a second image data transmission unit.

상기 제2 이미지센서부는 원거리형 제2 촬상면에서 들어온 빛의 정보를 아날로그 신호로 변환시킨 후, 제2 AFE(Analog Front End)부로 전달시키는 역할을 한다.The second image sensor unit converts information of light received from the second type of distant second sensing surface into an analog signal and then transmits the analog signal to a second AFE (Analog Front End) unit.

상기 제2 AFE(Analog Front End)부는 제2 이미지센서부로부터 전달된 아날로그 신호에서 노이즈를 제거한 순신호만을 추출하여 디지털 신호로 변환시키는 역할을 한다.The second AFE (Analog Front End) part extracts only a pure signal from which the noise is removed from the analog signal transmitted from the second image sensor part, and converts the extracted pure signal into a digital signal.

상기 제2 카메라 ISP부는 제2 AFE(Analog Front End)부를 통하여 디지털 신호로 입력된 영상신호에서 색상/휘도 등의 이미지 정보를 검출하고 증폭 및 분리하여 원거리의 피사체를 영상촬영한 피사체 영상촬영데이터를 생성시키는 역할을 한다.The second camera ISP unit detects image information such as color / luminance from a video signal input as a digital signal through a second AFE (Analog Front End) unit, amplifies and separates the image information, and captures subject image capturing data It is also responsible for creating.

상기 제2 영상데이터전송은 제2 카메라 ISP부에서 생성된 피사체 영상촬영데이터를 현장용 지능형제어부로 전송시키는 역할을 한다.The second image data transmission is for transmitting the subject image capturing data generated by the second camera ISP unit to the intelligent control unit for the field.

또한, 본 발명에 따른 제2 스마트형 PTZ카메라모듈은 야간 및 기후와 환경에 따른 촬영을 위하여 적외선 투광기, 레이저 투광기, 열화상카메라, 편광필터, 원편광필터, 적외선필터 등이 추가부착되어 구성된다.The second smart PTZ camera module according to the present invention is further equipped with an infrared light projector, a laser light projector, a thermal imaging camera, a polarizing filter, a circular polarization filter, an infrared ray filter, etc. for photographing at nighttime, .

그리고, 상기 제2 스마트형 PTZ카메라모듈(220)은 수동설정모드 또는 자동설정모드(제2 스마트형 PTZ카메라모듈의 프리셋, 투어링)로 구동된다.The second smart PTZ camera module 220 is driven by a manual setting mode or an automatic setting mode (preset, touring of the second smart PTZ camera module).

또한, 본 발명에 따른 원거리형 제1b 렌즈군(223a), 원거리형 제2b 렌즈군(223b), 원거리형 제3b 렌즈군(223c), 원거리형 제2 줌렌즈부(223d), 원거리형 제4b 렌즈군(223e), 원거리형 제5b 렌즈군(223f)으로 이루어진 제2 원거리형 피사체줌카메라부(223)는 렌즈 mm에 따라 원거리형 제3b 렌즈군(223c) + 원거리형 제2 줌렌즈부(223d)의 2개 구성요소로 구성되거나, 또는 원거리형 제3b 렌즈군(223c) + 원거리형 제2 줌렌즈부(223d) + 원거리형 제4b 렌즈군(223e)의 3개 구성요소로 구성되거나, 또는 렌즈 mm에 따라 원거리형 제1b 렌즈군(223a) + 원거리형 제2b 렌즈군(223b) + 원거리형 제3b 렌즈군(223c) + 원거리형 제2 줌렌즈부(223d)의 4개 구성요소로 구성되거나, 또는 원거리형 제2b 렌즈군(223b) + 원거리형 제3b 렌즈군(223c) + 원거리형 제2 줌렌즈부(223d) + 원거리형 제4b 렌즈군(223e) + 원거리형 제5b 렌즈군(223f)의 5개 구성요소로 구성된다.Further, the distant first b lens group 223a, the distant second b lens group 223b, the distant third b lens group 223c, the distant second zoom lens unit 223d, the distant fourth b The second long distance subject zoom camera section 223 composed of the lens group 223e and the long distance type 5b lens group 223f includes a long distance type third lens group 223c and a long distance second zoom lens section 223c 223d, 223d, 223d, 223d, 223d, 223d, 223d, 223d, 223d, 223d, 223d, Or the distance type first b lens group 223a, the long distance second b lens group 223b, the long distance type third b lens group 223c, and the long distance second zoom lens unit 223d, depending on the lens mm. The second type zoom lens group 223b, the second type zoom lens group 223b, the second type zoom lens group 223c, the second type zoom lens group 223d, the fourth type fourth type zoom lens group 223e, b lens group 223f.

그리고, 본 발명에 따른 제2 원거리형 피사체줌카메라부(223)는 렌즈 mm 및 구성에 있어서, 렌즈의 구성 및 렌즈군의 곡률반경, 중심두께, 유효직경은 사용자의 목적과 용도에 따라 다양한 사이즈로 형성된다.The second long distance zoom zoom camera unit 223 according to the present invention has a lens mm and a configuration in which the lens configuration and the radius of curvature, the center thickness, and the effective diameter of the lens group are various sizes .

또한, 본 발명에 따른 제2 원거리형 피사체줌카메라부(223)는 50~1500mm, 4.3~ 129mm 등 위 렌즈 구성에 따라 앞부분의 mm와 뒷부분의 mm가 변경되어 구성된다. 여기서, 4.3 ~ 129mm 이라 함은 4.3mm 에서 129mm까지의 해당하는 mm, 예를들어 5mm, 50mm, 100mm에 대한 화각 및 배율을 모두 포함하는 것을 말한다. In addition, the second remote type zoom zoom camera unit 223 according to the present invention is constructed by changing the mm of the front portion and the mm of the rear portion according to the upper lens configuration such as 50 to 1500 mm, 4.3 to 129 mm. Here, the term " 4.3 to 129 mm " refers to all of the angles of view and magnification for corresponding mm from 4.3 mm to 129 mm, for example, 5 mm, 50 mm, and 100 mm.

다음으로, 본 발명에 따른 제2 측량 컨트롤러부(230)에 관해 설명한다.Next, the second measurement controller unit 230 according to the present invention will be described.

상기 제2 측량 컨트롤러부(230)는 메인본체의 내부공간 일측에 위치되어, 위치기반서비스를 수신하여 제2 스마트형 PTZ카메라모듈의 위치정보를 파악한 후, 제2 스마트형 PTZ카메라모듈과 피사체간의 거리를 측량하고, 팬틸트의 회전 및 각도조절에 따라 제2 스마트형 PTZ카메라모듈에서 피사체에 대한 실시간 방위각 및 각도를 측량하도록 제어하는 역할을 한다.The second measurement controller unit 230 is located at one side of the inner space of the main body and receives the location-based service to obtain location information of the second smart PTZ camera module, And controls the second smart PTZ camera module to measure the real-time azimuth angle and angle with respect to the subject according to the rotation and angle adjustment of the pan tilt.

이는 도 27에 도시한 바와 같이, 제2 위치기반서비스 수신부(231), 제2 스마트 ST형 레이저 원거리측정모듈(232), 제2 피사체위치좌표연산제어부(233)로 구성된다.As shown in FIG. 27, the second position-based service receiving unit 231, the second smart ST-type laser long distance measurement module 232, and the second subject position coordinate calculation control unit 233.

첫째, 본 발명에 따른 제2 위치기반서비스 수신부(231)에 관해 설명한다.First, the second location-based service receiving unit 231 according to the present invention will be described.

상기 제2 위치기반서비스 수신부(Location Based Service)(231)는 이동통신망이나 위성항법장치(GPS)를 통해 얻은 위치정보를 수신받는 역할을 한다.The second location-based service receiver 231 receives location information obtained through a mobile communication network or a GPS (Global Positioning System).

둘째, 본 발명에 따른 제2 스마트 ST형 레이저 원거리측정모듈(232)에 관해 설명한다.Second, a description will be given of a second smart ST type laser distance measurement module 232 according to the present invention.

상기 제2 스마트 ST형 레이저 원거리측정모듈(232)은 제2 스마트형 PTZ카메라모듈과 동일선상의 하단 일측에 위치되어, 10m~20,000m에 위치한 피사체를 향하여 1.2마이크로미터~2.5마이크로미터의 파워펄스를 전송하고, 되돌아오는 펄스를 통해 피사체의 거리를 실시간으로 측정하는 역할을 한다.The second smart ST type laser remote measurement module 232 is located at the lower one side of the same line as the second smart type PTZ camera module and is provided with a power pulse of 1.2 micrometers to 2.5 micrometers toward a subject located at 10 m to 20,000 m And measures the distance of the subject in real time through the returning pulse.

이는 도 28 및 도 29에 도시한 바와 같이, 제2 ST형 펄스구동 레이저 다이오드 송신부(232a), 제2 ST형 펄스구동 레이저 다이오드 수신부(232b), 제2 ST형 펄스구동 레이저 거리연산제어부(232c)로 구성된다.28 and 29, the second ST type pulse drive laser diode transmission section 232a, the second ST type pulse drive laser diode reception section 232b, the second ST type pulse drive laser distance operation control section 232c ).

[제2 [Second STST 형 펄스구동 레이저 다이오드 송신부(232a)]Type pulse drive laser diode transmitter 232a)

상기 제2 ST형 펄스구동 레이저 다이오드 송신부(232a)는 메인본체의 전면방향에 위치한 피사체를 향하여 1.2마이크로미터~2.5마이크로미터의 파워펄스를 송신시키는 역할을 한다.The second ST-type pulse-driving laser diode transmitter 232a transmits power pulses of 1.2 to 2.5 micrometers toward a subject positioned in the front direction of the main body.

이는 임계전류 이상으로 전류를 흘려서 밀도반전을 일으켜 제2 ST형 펄스구동 레이저 다이오드(232a-1)가 동작하도록 구성된다.This is configured such that the second ST-type pulse-driving laser diode 232a-1 is operated by flowing a current in excess of the threshold current to cause density inversion.

제2 ST형 펄스구동 레이저 다이오드 구동을 위한 회로는 도 12에 도시한 바와 같다.The circuit for driving the second ST-type pulse drive laser diode is as shown in Fig.

실리콘 제어 정류소작 전압 펄스에 의해서 트리거되면 실리콘 제어 정류소자는 닫히고 캐패시터는 제2 ST형 펄스구동 레이저 다이오드가 있는 경로로 방전한다.When triggered by a silicon controlled rectifier voltage pulse, the silicon controlled rectifier closes and the capacitor discharges to the path with the second ST pulse-driven laser diode.

또한 제2 ST형 펄스구동 레이저 다이오드(D15) 옆의 다이오드(D12, D13)는 제2 ST형 펄스구동 레이저 다이오드를 보호해주는 역할과 링잉(ringing)현상을 감소시키는 역할을 해준다.Further, the diodes D12 and D13 beside the second ST-type pulse driving laser diode D15 serve to protect the second ST-type pulse driving laser diode and reduce the ringing phenomenon.

본 발명에 따른 제2 ST형 펄스구동 레이저 다이오드는 일예로, 160nSec 펄스폭에서 동작할 경우에 5~175W의 출력 파워를 낼 수 있도록 구성된다.The second ST-type pulse driving laser diode according to the present invention is configured to be capable of outputting an output power of 5 to 175 W when operating at a pulse width of 160 nSec.

[제2 [Second STST 형 펄스구동 레이저 다이오드 수신부(232b)]Type pulse drive laser diode receiving section 232b)

상기 제2 ST형 펄스구동 레이저 다이오드 수신부(232b)는 제2 ST형 펄스구동 레이저 다이오드 송신부를 통해 피사체에 송신되어 부딪히고 돌아오는 신호를 수신하는 역할을 한다.The second ST-type pulse-driving laser diode receiving unit 232b receives the signal that is transmitted to the subject through the second ST-type pulse-driving laser diode transmitting unit and strikes and returns.

본 발명에서는 제2 애벌런치 광다이오드(Avalanche Photo Diode)센서(232b-1)로 구성된다.In the present invention, a second avalanche photodiode sensor 232b-1 is used.

피사체에 부딪혀 돌아오는 신호검출은 제2 애벌런치 광다이오드(Avalanche Photo Diode)센서를 사용하여 검출한다.Detection of a signal coming back from the object is detected using a second Avalanche Photo Diode sensor.

여기서, 제2 애벌런치 광다이오드(Avalanche Photo Diode)센서를 사용하는 이유는 피사체에 부딪혀 되돌아오는 신호의 크기가 매우 작으므로 PIN-광다이오드를 사용하여 돌아오는 신호를 검출하려고 하면 PIN-광다이오드의 감도가 매우 낮기 때문에 되돌아오는 신호를 검출해 내기가 어렵기 때문에, 제2 애벌런치 광다이오드(Avalanche Photo Diode) 센서를 사용한다. Here, the reason for using the second Avalanche Photo Diode sensor is that the size of the signal coming back from the object is very small. Therefore, if a PIN-photodiode is used to detect a return signal, Since the sensitivity is very low, it is difficult to detect a returning signal, so a second avalanche photodiode sensor is used.

즉, PIN-광다이오드센서 대신에 제2 애벌런치 광다이오드(Avalanche Photo Diode)센서(232b-1)를 사용하는 것이 잡음으로 인한 영향을 줄일 수가 있다.That is, using the second Avalanche Photo Diode sensor 232b-1 instead of the PIN-photodiode sensor can reduce the influence of noise.

즉, 대역폭이 높고 노이즈가 높은 곳에서는 제2 애벌런치 광다이오드(Avalanche Photo Diode)센서가 유리하며, 증폭 노이즈가 낮은 곳에서는 PIN-광다이오드의 사용이 유리하다.That is, a second Avalanche Photo Diode sensor is advantageous in a high-bandwidth and high-noise region, and a PIN-photodiode is advantageously used in a low amplification noise region.

본 발명에 따른 애벌런치 광다이오드(Avalanche Photo Diode)센서(232b-1)는 일예로, EG&G사의 C30902E또는 ZETEX사의 FMMT413가 사용된다.An Avalanche Photo Diode sensor 232b-1 according to the present invention uses, for example, C30902E of EG & G or FMMT413 of ZETEX.

또한, 본 발명에 따른 제2 ST형 펄스구동 레이저 다이오드 수신부(232b)는 도 14에 도시한 바와 같이, 제2 트랜스임피던스 전치증폭기(232b-2), 제2 비교기(232b-3)가 포함되어 구성된다.The second ST-type pulse drive laser diode receiving section 232b according to the present invention includes a second transimpedance preamplifier 232b-2 and a second comparator 232b-3 as shown in FIG. 14 .

상기 제2 트랜스임피던스전치증폭기(232b-2)는 제2 애벌런치 광다이오드(Avalanche Photo Diode)센서에서 검출한 신호를 증폭시키는 역할을 한다.The second trans-impedance preamplifier 232b-2 amplifies a signal detected by a second avalanche photodiode sensor.

상기 제2 비교기(232b-3)는 제2 트랜스임피던스전치증폭기를 증폭된 신호에다가 미리 설정된 기준신호를 비교하여, 피사체에 부딪혀 돌아오는 신호인 광수신(정지펄스)신호를 생성시킨다.The second comparator 232b-3 compares the amplified signal of the second trans-impedance preamplifier with a preset reference signal, and generates a light reception (stop pulse) signal that is a signal to return to the object.

[제2 [Second STST 형 펄스구동 레이저 거리연산제어부(232c)]-Type pulse-driving laser distance calculation control unit 232c)

상기 제2 ST형 펄스구동 레이저 거리연산제어부(232c)는 광송신신호(시작 펄스)와 피사체에 부딪혀 돌아오는 신호인 광수신(정지 펄스)신호 사이의 시간을 연산하여, 피사체까지의 거리를 연산제어시키는 역할을 한다.The second ST-type pulse-driving laser distance arithmetic and control part 232c calculates the time between the optical transmission signal (start pulse) and the optical reception (stop pulse) signal which is a signal coming back from the object and calculates the distance to the object Control.

즉, 오실레이터의 기준 클럭에 의해 시간 측정을 하고, 클럭주기 사이의 짧은 간격은 아날로그 방식에 의해 측정함으로써, 전체 측정시간은 아날록측정부와 디지털 측정부의 합으로써 측정할 수 있다.That is, the time is measured by the reference clock of the oscillator, and the short interval between the clock periods is measured by the analog method, and the total measurement time can be measured as the sum of the analog measuring part and the digital measuring part.

상기 제2 ST형 펄스구동 레이저 거리연산제어부(232c)는 도 30에 도시한 바와 같이, 제2 기준클럭부(232c-1), 제2 시작정지로직부(232c-2), 제2-64비트 계수부(232c-3), 제2 거리연산부(232c-4)로 구성된다.As shown in Fig. 30, the second ST-type pulse-driving laser distance computation control section 232c includes a second reference clock section 232c-1, a second start stop clock section 232c-2, A counting unit 232c-3, and a second distance calculator 232c-4.

상기 제2 기준클럭부(232c-1)는 기준클럭수를 설정시키는 역할을 한다.The second reference clock section 232c-1 serves to set the reference clock number.

상기 제2 시작정지로직부(232c-2)는 시작펄스의 상승지점부터 다음 클럭까지의 시간간격을 T1으로 설정하고, 정지펄스의 상승지점부터 다음 클럭까지의 시간간격을 T2로 설정하여, T1,T2....T12까지의 TTL 레벨 출력을 형성시키는 역할을 한다.The second start stop stop section 232c-2 sets the time interval from the rising point of the start pulse to the next clock to T1, sets the time interval from the rising point of the stop pulse to the next clock to T2, And forms a TTL level output from T2 to T12.

상기 제2-64비트 계수부(232c-3)는 기준클럭에 의해서 동기화되어 시작정지로직부의 T12의 시간간격을 측정하여 계수하는 역할을 한다.The second 2-64 bit counting unit 232c-3 is synchronized with the reference clock to measure the time interval of T12 at the start stop position and count the time interval.

상기 제2 거리연산부(232c-4)는 전류의 시간 변화량에 따른 메모리 캐패시터 C에서의 전압변화를 측정하여 거리를 연산시키는 역할을 한다.The second distance calculator 232c-4 calculates the distance by measuring the voltage change in the memory capacitor C according to the time variation of the current.

이는 수학식 10과 같이 표현된다.This is expressed by Equation (10).

여기서, V에 대해서 정리하면 다음의 수학식 11과 같이 표현된다.Here, V is expressed in the following Equation (11).

이어서, 다음의 수학식 12를 통해, 피사체와 메인본체사이의 거리가 측정된다.Then, the distance between the subject and the main body is measured through the following expression (12).

즉, 도 16에 도시한 바와 같이, 캐패시터의 충방전시 발생되는 전류비율(i_1,i-2)에 의해서 매우 긴 램프신호를 발생시키고, 다시 이 램프신호는 비교기의 입력으로 들어가서 TTL 레벨의 출력이 나온다.That is, as shown in FIG. 16, a very long ramp signal is generated by the current ratio (i_1, i-2) generated during charging and discharging of the capacitor. The ramp signal again enters the input of the comparator, .

셋째, 본 발명에 따른 제2 피사체위치좌표연산제어부(233)에 관해 설명한다.Third, the second subject position coordinate calculation control unit 233 according to the present invention will be described.

상기 제2 피사체위치좌표연산제어부(233)는 제2 스마트형 PTZ카메라모듈의 팬틸트의 회전 및 각도조절에 따라 메인본체를 기준으로 피사체에 대한 실시간 방위각 및 각도로 이루어진 위치좌표와 이동방향을 연산제어시키는 역할을 한다.The second subject position coordinate calculation control unit 233 calculates the position coordinates and the moving direction of the subject based on the real body azimuth and angle with reference to the main body in accordance with the rotation and angle adjustment of the pan tilt of the second smart PTZ camera module Control.

먼저, 제2 스마트형 PTZ카메라모듈의 좌표는 도 17에 도시한 바와 같이, X축, Y축, Z축으로 표시된다.First, the coordinates of the second smart PTZ camera module are represented by X-axis, Y-axis and Z-axis, as shown in Fig.

화면상의 이동해야 하는 위치가 (u_p,v_p)일 경우, Zoom의 위치에 따른 전체 화면에 대한 화각을 알고 있으면, (u_p,v_p)에서의 수학식 13처럼, α(가로로 이동해야 할 위치),β(세로로 이동해야 할 위치)를 연산시킬 수가 있다.If it is necessary to move the location on the screen (u _p, v _p) one, like equation (13) in Knowing the angle of view on the full screen according to the position of the Zoom, (u _p, v _p), α (See the horizontal (Position to be moved) and? (Position to be moved vertically).

도 18은 본 발명에 따른 제2 스마트형 PTZ카메라모듈의 화면에서의 실시간 촬영 영상프레임을 나타낸 일실시예도에 관한 것으로, 도 18을 바탕으로, 처음 초기 좌표를 -Z축으로 (0,0,-1)로 설정한 후에 초기 좌표를 카메라좌표로 변환하면, 수학식 14와 같이 표현할 수 있다. 18 is a diagram showing a real-time photographed image frame on a screen of a second smart PTZ camera module according to the present invention. Referring to Fig. 18, the initial initial coordinates are plotted on the -Z axis (0, -1) and then transforming the initial coordinates into camera coordinates, it can be expressed as Equation (14).

이어서, 카메라 좌표를 전체 좌표로 변환하면, 도 19에 도시한 바와 같이 되고, 수학식 15와 같이 표현된다.Subsequently, when the camera coordinate is converted into the whole coordinate, it is as shown in Fig. 19, and is expressed by the following expression (15).

여기서, 수학식 15을 이용하여 P_w(X_w,Y_w,Z_w) 값을 연산하면, 도 20에 도시한 바와 같이, 실시간 방위각 및 각도로 이루어진 위치좌표(θ)와, 이동방향(φ)는 다음의 수학식 16과 같이 된다.When the values of _Pw ( _Xw , _Yw , _Zw ) are calculated using Equation (15), as shown in FIG. 20, the position coordinate (?) Made of the real time azimuth and angle and the moving direction Is expressed by the following equation (16).

또한, 본 발명에 따른 제2 측량 컨트롤러부(230)는 제2-3축 디지털 나침반(234)이 포함되어 구성된다.In addition, the second surveying controller unit 230 according to the present invention includes a second-axis-axis digital compass 234.

상기 제2-3축 디지털 나침반(234)은 메인본체 일측에 위치되어, 메인본체의 현재 방위각과 각도를 측량하는 역할을 한다.The second 2-3 axis digital compass 234 is located at one side of the main body and serves to measure the current azimuth and angle of the main body.

또한, 본 발명에 따른 제2 측량 컨트롤러부(230)에서는 제2 스마트형 PTZ카메라모듈의 실시간 위치정보와 피사체의 실시간 위치정보에 대해, 제2 스마트형 PTZ카메라모듈의 홈 포지션을 기초로 하는 절대좌표가 아닌 위치기반서비스에서 수신된 위도 및 경도를 기초로 한 절대좌표를 제공하도록 구성된다.In addition, the second measurement controller unit 230 according to the present invention controls the second real-time position information of the second smart PTZ camera module and the real-time position information of the object based on the absolute position based on the home position of the second smart PTZ camera module And to provide absolute coordinates based on the latitude and longitude received in the location based service rather than the coordinates.

다음으로, 본 발명에 따른 제2 유무선통신모듈(240)에 관해 설명한다.Next, the second wired / wireless communication module 240 according to the present invention will be described.

상기 제2 유무선통신모듈(240)은 메인본체의 내부공간 타측에 위치되어, 원격지에 위치한 중앙관제센터 서버쪽으로 지능형제어부에서 연산제어한 최종 지능형 모션정보(실시간 위치 정보데이터 + 행위 인지정보 데이터)를 송신시키고, 이에 따른 응답신호로서 제어명령신호를 수신받아 현장용 지능형제어부로 전달시키는 역할을 한다.The second wired / wireless communication module 240 is located on the other side of the internal space of the main body, and transmits final intelligent motion information (real-time position information data + action recognition information data) calculated and controlled by the intelligent controller to the central control center server located at a remote location And transmits a control command signal as a response signal to the intelligent control unit for the field.

또한, 본 발명에 따른 제2 유무선통신모듈(240)은 무선통신모듈로서, 근거리무선통신모듈, 이동통신(5G, 4G, 3G)모듈 중 어느 하나가 선택되어 이루어지고, In addition, the second wired / wireless communication module 240 according to the present invention is a wireless communication module in which any one of a short-range wireless communication module and a mobile communication module (5G, 4G, 3G)

다음으로, 본 발명에 따른 현장용 지능형제어부(250)에 관해 설명한다.Next, the intelligent control unit 250 according to the present invention will be described.

상기 현장용 지능형제어부(250)는 유무선통신모듈 일측에 위치되고, 제2 스마트형 PTZ카메라모듈, 제2 측량 컨트롤러부, 제2 유무선통신모듈과 연결되어, 각 기기의 전반적인 동작을 제어하고, GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 제2 스마트형 PTZ카메라모듈로부터 전송된 실시간 촬영 영상 또는 GIS, 지정맵에 추적하는 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어하는 역할을 한다.The intelligent control unit 250 is located at one side of the wired / wireless communication module, and is connected to the second smart PTZ camera module, the second surveying controller unit, and the second wired / wireless communication module to control the overall operation of each device, A point box for a subject to be tracked in a real-time photographed image or a GIS and a designated map transmitted from the second smart PTZ camera module is generated while tracking a subject at a long distance while being linked with a designated map, Real time positional information data on the time, position, moving direction, moving distance, and moving speed of the subject on the box or program screen to display the final intelligent motion information made of the behavior recognition information data.

이는 도 31에 도시한 바와 같이, 제2 위치표출제어부(251), 제2 피사체추적제어부(252), 제2 모션히스토리이미지(MHI : Motion History Image) 생성부(253), 제2 최종 지능형모션정보제어부(254)로 구성된다.31, the second position display control section 251, the second object tracking control section 252, the second motion history image (MHI) generation section 253, the second final intelligent motion And an information control unit 254.

첫째, 본 발명에 따른 제2 위치표출제어부(251)에 관해 설명한다.First, the second position display controller 251 according to the present invention will be described.

상기 제2 위치표출제어부(251)는 GIS 또는 지정맵과 연동되어 위치를 표출시키도록 제어하는 역할을 한다.The second position display control unit 251 controls to display the position in cooperation with the GIS or the designated map.

둘째, 본 발명에 따른 제2 피사체추적제어부(252)에 관해 설명한다.Second, the second object tracking control unit 252 according to the present invention will be described.

상기 제2 피사체추적제어부(252)는 제2 측량 컨트롤러부로부터 센싱된 피사체를 추적하면서, 피사체의 이동속도를 연산제어시키는 역할을 한다.The second subject tracking control unit 252 controls the movement speed of the subject while tracking the subject sensed from the second measurement controller unit.

이는 현장용 칼만필터(Kalman Filter)를 통해 움직이는 피사체의 다음위치를 예측하고, 예측한 위치와 탐지된 위치를 현장용 헝가리안 알고리즘엔진부(Hungraian Algorithm)로 할당시킨다.This predicts the next position of the moving object through the Kalman Filter and assigns the predicted position and the detected position to the Hungarian Algorithm for the field.

추적에는 현장용 칼만필터(Kalman Filter)를 이용하여 다음 프레임에서 객체의 바운딩박스를 예측하기 위한 바운딩박스의 상태는 수학식 17과 같이 모델링이 된다.The state of the bounding box for predicting the bounding box of the object in the next frame using the field Kalman filter is modeled as follows.

탐지된 피사체용 포인트박스가 예측하려는 피사체용 포인트박스에 할당되면, 탐지된 피사체용 포인트박스는 현장용 칼만필터(Kalman Filter)를 통해 모델의 속도를 옵티멀하게 구하는 데에 사용된다. When the detected point box for the object is assigned to the point box for the object to be predicted, the detected point box for the object is used to optimally obtain the speed of the model through the on-site Kalman filter.

현장용 헝가리안 알고리즘엔진부(Hungraian Algorithm)은 최적화 알고리즘의 일종으로 할당 문제를 Polynomial 시간에 해결하기 위한 방법으로 객체 탐지 단계에서 추출되는 피사체용 포인트박스를 현장용 칼만필터(Kalman Filter)로 예측한 피사체용 포인트박스에 할당할 때 사용된다.The Hungarian Algorithm (Hungarian Algorithm) is a kind of optimization algorithm for solving allocation problem in Polynomial time. It is a method for estimating the point box for the object extracted from the object detection step by the Kalman Filter It is used when assigning to a point box.

셋째, 본 발명에 따른 제2 모션히스토리이미지(MHI : Motion History Image) 생성부(253)에 관해 설명한다.Third, a second motion history image (MHI) generation unit 253 according to the present invention will be described.

상기 제2 모션히스토리이미지(MHI : Motion History Image) 생성부(253)는 제2 스마트형 PTZ카메라모듈에서 촬영한 동영상 중 피사체의 행위를 인지하기 위해서 시간적 정보가 포함된 특징을 갖는 모션히스토리이미지(MHI : Motion History Image)를 실시간 촬영 영상의 피사체에서 추출하여 생성시키는 역할을 한다.The second motion history image (MHI) generation unit 253 generates a motion history image (MHI) having a characteristic including temporal information to recognize the motion of the subject among the moving images captured by the second smart PTZ camera module MHI: Motion History Image) from a subject of a real-time image.

이는 다음의 수학식 18과 같이, 현재프레임 h(x,y,t) 과 이전프레임h(x,y,t-1) 간의 차영상을 이용한다. This uses the difference image between the current frame h (x, y, t) and the previous frame h (x, y, t-1) as shown in Equation 18 below.

수학식 18와 같이, 시간 t에서 모션히스토리 이미지는 이전 프레임으로 모션히스토리 이미지로 연산할 수 있다. As shown in equation (18), at time t, the motion history image can be calculated as the motion history image with the previous frame.

수학식 18을 보면 n은 모션 히스토리에서 프레임 용량의 최대치를 말한다. In Equation (18), n denotes the maximum value of the frame capacity in the motion history.

넷째, 본 발명에 따른 제2 최종 지능형모션정보제어부(254)에 관해 설명한다.Fourth, the second final intelligent motion information control unit 254 according to the present invention will be described.

상기 제2 최종 지능형모션정보제어부(254)는 GIS 또는 지정맵과 연동시킨 상태에서, 원거리의 피사체를 추적하면서, 제2 스마트형 PTZ카메라모듈로부터 전송된 실시간 촬영 영상 또는 GIS, 지정맵에 추적하는 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스상에 피사체의 행위를 시간별로 인지하고, 인지된 행동에 따라 시작된 위치, 끝난 위치를 인지된 모든 행위에 따라 나타내는 최종 지능형 모션정보(행위 인지정보 데이터 + 실시간 위치 정보데이터)를 표출시키도록 현장제어하는 역할을 한다.The second final intelligent motion information control unit 254 tracks the object in a long distance in the state of being interlocked with the GIS or the designated map and tracks the real-time photographed image or the GIS and the designated map transmitted from the second smart PTZ camera module A point box for a subject is generated, and then the action of the subject is recognized on the generated point box for the object by time, and the final intelligent motion information indicating the position started and ended according to the perceived action according to all perceived actions Cognition information data + real-time position information data).

먼저, 트레이닝 과정에서는 트레이닝을 위한 학습 데이터에서 피사체인 사람이 위치한 영역을 추출하고 행동을 라벨링하고, 특징 이미지인 모션 히스토리 이미지를 생성하여 현장용 CNN(컨볼루션 뉴럴 네트워크(Convolutional Neural Network))모델로 행동 인지를 학습한다. First, in the training process, the region where the person who is the subject is located is extracted from the learning data for training, the behavior is labeled, and a motion history image, which is a feature image, is generated and used as a CNN (Convolutional Neural Network) Learning.

이처럼 본 발명에 따른 제2 최종 지능형모션정보제어부(254)는 GIS 또는 지정맵과 연동되어, 피사체용 포인트박스를 생성시킨 후, 생성된 피사체용 포인트박스 상 또는 프로그램 화면에, 최종 지능형 모션정보(행위 인지정보 데이터 + 실시간 위치 정보데이터)를 표출시킬 수 있어, 기존보다 80% 향상된 피사체의 정확한 위치파악을 통해, 사고발생 및 구조요청시, 골든타임을 놓치지 않고, 신속하게 응급조치를 취할 수 있다.In this way, the second final intelligent motion information control unit 254 according to the present invention generates the final intelligent motion information (for example, Action awareness information data + real-time position information data) can be displayed, and it is possible to take urgent action quickly without missing the golden time when an accident occurs and the rescue request is made, by grasping the accurate position of the object by 80% .

이하, 본 발명에 따른 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시방법의 구체적인 동작과정에 관해 설명한다.Hereinafter, a specific operation process of the hybrid remote intelligent video surveillance method comprising the action-aware information data for a subject and real-time positional information data for a subject according to the present invention will be described.

[서버용 [For server 하이브리드식Hybrid expression 원거리 지능형 영상감지장치를 통한 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 Action recognition information data for the object through the remote intelligent image sensing device, and real-time position information data for the object 하이브리드식Hybrid expression 지능형 Intelligent 영상감Visual sense 시방법]Specification]

도 38은 본 발명에 따른 하이브리드식 원거리 지능형 영상감시장치 중 서버용 하이브리드식 원거리 지능형 영상감지장치를 통한 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시방법을 도시한 순서도에 관한 것이다.FIG. 38 shows a hybrid remote intelligent video surveillance method comprising real-time positional information data for a subject, action-aware information data for a subject through a hybrid remote intelligent image sensing apparatus for a hybrid of the hybrid intelligent video surveillance apparatus according to the present invention FIG.

도 32에 도시한 바와 같이, 본 발명에 따른 서버용 하이브리드식 원거리 지능형 영상감시장치 중 제1 스마트형 PTZ카메라모듈, 제1 스마트 ST형 레이저 원거리측정모듈, 제1 유무선통신모듈이 한강변 둔치의 가로등주 일측에 설치되고, 지능형제어서버가 원격지의 중앙관제센터 일측에 설치되었다고 가정한다.32, the first smart PTZ camera module, the first smart ST type laser remote measurement module, and the first wired / wireless communication module among the hybrid remote intelligent video surveillance devices for servers according to the present invention are installed on one side And that the intelligent control server is installed at one side of the central control center at the remote place.

먼저, 제1 스마트형 PTZ카메라모듈상에서 실시간 촬영 위치를 설정한다(S110).First, a real-time photographing position is set on the first smart PTZ camera module (S110).

이는 수동설정모드 또는 자동설정모드(제1 스마트형 PTZ카메라모듈의 프리셋, 투어링)로 구동된다.This is driven by the manual setting mode or the automatic setting mode (presetting, touring of the first smart PTZ camera module).

다음으로, 도 33에 도시한 바와 같이, 제1 스마트형 PTZ카메라모듈을 통해 실시간 영상촬영한다(S120).Next, as shown in FIG. 33, a real-time image is shot through the first smart PTZ camera module (S120).

여기서, 제1 스마트형 PTZ카메라모듈은 10m~20,000m에 위치한 카메라 촬영 대상인 피사체를 상하, 좌우로 움직이면서 확대, 축소하여 피사체를 촬영시킨다.Here, the first smart type PTZ camera module enlarges and reduces a subject, which is a target of camera shooting, located at 10 m to 20,000 m, moving up and down, left and right, and photographs a subject.

다음으로, 제1 위치기반서비스 수신부(Location Based Service)를 통해 이동통신망이나 위성항법장치(GPS)에서 얻은 위치정보를 수신받는다(S130).Next, location information obtained from a mobile communication network or a GPS (Global Positioning System) is received through a first location-based service receiving unit (S130).

다음으로, 실시간 영상내 피사체 수동 또는 자동으로 선택한다(S140).Next, the subject in the real-time image is selected manually or automatically (S140).

이는 운영자에 의해 수동타켓설정, 또는 자동설정(영상처리기술에 의한 객체인식(차량, 사람, 낙석, 선박 등))시킨다.This allows the operator to manually set the target, or automatically set (object recognition (vehicle, person, rockfall, ship, etc.) by image processing technology).

다음으로, 제1 피사체위치좌표연산제어부를 통해 피사체의 방위각, 각도정보를 연산하여 피사체의 방위각, 각도정보를 획득한다(S150).Next, the azimuth and angle information of the subject are calculated through the first subject position coordinate calculation control unit to acquire the azimuth and angle information of the subject (S150).

여기서, 제1 피사체위치좌표연산제어부는 제1 스마트형 PTZ카메라모듈의 팬틸트의 회전 및 각도조절에 따라 메인본체를 기준으로 피사체에 대한 실시간 방위각 및 각도로 이루어진 위치좌표와 이동방향을 연산제어시킨다. Here, the first subject position coordinate calculation control unit computes and controls the position coordinates and the moving direction, which are real-time azimuth angles and angles with respect to the subject, with reference to the main body according to rotation and angle adjustment of the pan tilt of the first smart PTZ camera module .

다음으로, 제1 스마트 ST형 레이저 원거리측정모듈을 통해 제1 스마트형 PTZ카메라모듈과 피사체 사이의 실거리 정보를 획득한다(S160).Next, the actual distance information between the first smart PTZ camera module and the subject is acquired through the first smart ST type laser remote measurement module (S160).

여기서, 제1 스마트 ST형 레이저 원거리측정모듈은 10m~20,000m에 위치한 피사체를 향하여 1.2마이크로미터~2.5마이크로미터의 파워펄스를 전송하고, 되돌아오는 펄스를 통해 피사체의 거리를 실시간으로 측정한다.Here, the first smart ST type laser distance measuring module transmits a power pulse of 1.2 micrometers to 2.5 micrometers toward a subject located at 10 m to 20,000 m, and measures the distance of the subject in real time through a returning pulse.

다음으로, 제1 유무선통신모듈을 통해 지능형제어서버와 연결되어, 제1 스마트형 PTZ형 카메라모듈에서 촬영한 피사체영상데이터와, 제1 측량 컨트롤러부에서 측량한 실시간 위치 정보데이터를 지능형제어서버쪽으로 전송시킨다.(S170).Next, object image data photographed by the first smart PTZ camera module and real-time position information data measured by the first surveying controller are connected to the intelligent control server through the first wired / wireless communication module and connected to the intelligent control server (S170).

다음으로, 지능형제어서버의 제1 위치표출제어부가 구동되어, GIS 또는 지정맵과 연동되어 피사체의 위치를 표출시킨다(S180).Next, the first position display control section of the intelligent control server is driven to display the position of the subject in cooperation with the GIS or the designated map (S180).

다음으로, 도 33에 도시한 바와 같이, 지능형제어서버에서 피사체 실시간 이동 위치를 추적하면서, 이동속도를 연산제어한다(S190).Next, as shown in Fig. 33, the intelligent control server calculates and controls the moving speed while tracking the subject real-time moving position (S190).

이는 GIS 또는 지정맵에서 피사체 실시간 이동 위치를 추적하거나, 또는 제1 스마트형 PTZ형 카메라모듈에서 전송된 피사체영상데이터상에서 피사체 실시간 이동 위치를 추적하도록 프로그램 구성된다.It is programmed to track the subject's real-time movement position in a GIS or a designated map, or to track the subject's real-time movement position on the subject's image data transmitted from the first smart PTZ camera module.

다음으로, 지능형제어서버에서 제1 스마트형 PTZ카메라모듈로부터 전송된 실시간 촬영 영상 또는 GIS, 지정맵에 추적하는 피사체용 포인트박스를 생성시킨다(S190a).Next, in step S190a, the intelligent control server generates a point-of-view box for the object to be tracked in the real-time shot image or the GIS and the designated map transmitted from the first smart PTZ camera module.

이는 피사체영상데이터상에서도 피사체용 포인트박스가 생성되도록 구성되낟.This is also configured to create a point box for the subject on the subject image data.

끝으로, 도 34에 도시한 바와 같이, 지능형제어서버에서 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께, 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어한다(S190b).Finally, as shown in Fig. 34, in the intelligent control server, on the point box for the object or on the program screen, real-time position information data on the time, position, moving direction, And controls the final intelligent motion information composed of the information data to be displayed (S190b).

[현장용 [On-site use 하이브리드식Hybrid expression 원거리 지능형 영상감지장치를 통한 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 Action recognition information data for the object through the remote intelligent image sensing device, and real-time position information data for the object 하이브리드식Hybrid expression 지능형 Intelligent 영상감Visual sense 시방법]Specification]

도 39는 본 발명에 따른 하이브리드식 원거리 지능형 영상감시장치 중 현장용 하이브리드식 원거리 지능형 영상감지장치를 통한 피사체용 행위 인지정보 데이터·피사체용 실시간 위치 정보데이터로 이루어진 하이브리드식 원거리 지능형 영상감시방법을 도시한 순서도에 관한 것이다.FIG. 39 shows a hybrid remote intelligent video surveillance method comprising real-time positional information data for a subject, action-aware information data for a subject, and a hybrid type remote intelligent video surveillance device according to the present invention, FIG.

도 35에 도시한 바와 같이, 본 발명에 따른 현장용 하이브리드식 원거리 지능형 영상감시장치의 구성요소인 제2 스마트형 PTZ카메라모듈, 제2 스마트 ST형 레이저 원거리측정모듈, 제2 유무선통신모듈, 현장용 지능형 제어부가 한강변 둔치의 가로등주 일측에 현장설치된다고 가정한다.35, the second smart PTZ camera module, the second smart ST type laser long distance measurement module, the second wired / wireless communication module, and the intelligent field intelligence module, which are components of the field hybrid type remote intelligent video surveillance device according to the present invention, It is assumed that the control unit is installed on the side of the street lamp of the Han river.

먼저, 제2 스마트형 PTZ카메라모듈상에서 실시간 촬영 위치를 설정한다(S210).First, a real-time photographing position is set on the second smart PTZ camera module (S210).

이는 수동설정모드 또는 자동설정모드(제2 스마트형 PTZ카메라모듈의 프리셋, 투어링)로 구동된다.This is driven by the manual setting mode or the automatic setting mode (presetting, touring of the second smart PTZ camera module).

다음으로, 도 36에 도시한 바와 같이, 제2 스마트형 PTZ카메라모듈을 통해 실시간 영상촬영한다(S220).Next, as shown in FIG. 36, a real-time image is shot through the second smart PTZ camera module (S220).

여기서, 제2 스마트형 PTZ카메라모듈은 10m~20,000m에 위치한 카메라 촬영 대상인 피사체를 상하, 좌우로 움직이면서 확대, 축소하여 피사체를 촬영시킨다.Here, the second smart PTZ camera module enlarges and reduces a subject, which is a target of camera shooting, located at 10 m to 20,000 m, moving up and down, left and right, and photographs a subject.

다음으로, 제2 위치기반서비스 수신부(Location Based Service)를 통해 이동통신망이나 위성항법장치(GPS)에서 얻은 위치정보를 수신받는다(S230).Next, location information obtained from a mobile communication network or a GPS (Global Positioning System) is received through a second location-based service receiving unit (S230).

다음으로, 실시간 영상내 피사체 수동 또는 자동으로 선택한다(S240).Next, a subject in the real-time image is manually or automatically selected (S240).

다음으로, 제2 피사체위치좌표연산제어부를 통해 피사체의 방위각, 각도정보를 연산하여 피사체의 방위각, 각도정보를 획득한다(S250).Next, the azimuth and angle information of the subject are calculated through the second subject position coordinate calculation control unit to acquire the azimuth and angle information of the subject (S250).

여기서, 제2 피사체위치좌표연산제어부는 제2 스마트형 PTZ카메라모듈의 팬틸트의 회전 및 각도조절에 따라 메인본체를 기준으로 피사체에 대한 실시간 방위각 및 각도로 이루어진 위치좌표와 이동방향을 연산제어시킨다. Here, the second subject position coordinate calculation control unit computes and controls the position coordinates and the moving direction, which are real-time azimuth angles and angles with respect to the subject, with reference to the main body in accordance with rotation and angle adjustment of the pan tilt of the second smart PTZ camera module .

다음으로, 제2 스마트 ST형 레이저 원거리측정모듈을 통해 제2 스마트형 PTZ카메라모듈과 피사체 사이의 실거리 정보를 획득한다(S260).Next, the actual distance information between the second smart PTZ camera module and the subject is acquired through the second smart ST type laser remote measurement module (S260).

여기서, 제2 스마트 ST형 레이저 원거리측정모듈은 10m~20,000m에 위치한 피사체를 향하여 1.2마이크로미터~2.5마이크로미터의 파워펄스를 전송하고, 되돌아오는 펄스를 통해 피사체의 거리를 실시간으로 측정한다.Here, the second Smart ST type laser distance measuring module transmits a power pulse of 1.2 micrometers to 2.5 micrometers toward a subject located at 10 m to 20,000 m, and measures the distance of the subject in real time through a returning pulse.

다음으로, 현장용 지능형제어부의 제2 위치표출제어부가 구동되어, GIS 또는 지정맵과 연동되어 피사체의 위치를 표출시킨다(S270).Next, the second position display control unit of the intelligent control unit for the field is driven to display the position of the subject in cooperation with the GIS or the designated map (S270).

다음으로, 도 36에 도시한 바와 같이, 현장용 지능형제어부의 제2 피사체추적제어부가 구동되어, 제2 측량 컨트롤러부로부터 센싱된 피사체를 추적하면서, 피사체의 이동속도를 연산제어시킨다(S280).Next, as shown in FIG. 36, the second object tracking control section of the intelligent control section for the field is driven to perform the operation control of the object moving speed while tracking the object sensed from the second measurement controller section (S280).

이는 GIS 또는 지정맵에서 피사체 실시간 이동 위치를 추적하거나, 또는 제2 스마트형 PTZ형 카메라모듈에서 전송된 피사체영상데이터상에서 피사체 실시간 이동 위치를 추적하도록 프로그램 구성된다.It is programmed to track a subject's real-time movement location in a GIS or a designated map, or to track a subject's real-time movement location on the subject's image data transmitted in a second smart PTZ camera module.

다음으로, 현장용 지능형제어부에서 제2 스마트형 PTZ카메라모듈로부터 전달된 실시간 촬영 영상 또는 GIS, 지정맵에 추적하는 피사체용 포인트박스를 생성시킨다.(S290).Next, the intelligent control unit for the field creates a point-of-interest point box to be tracked on the real-time shot image or the GIS and the designated map transmitted from the second smart PTZ camera module (S290).

끝으로, 도 37에 도시한 바와 같이, 현장용 지능형제어부에서 피사체용 포인트박스 상 또는 프로그램 화면에, 피사체의 시간, 위치, 이동방향, 이동거리, 이동속도에 관한 실시간 위치 정보데이터와 함께, 행위 인지정보 데이터로 이루어진 최종 지능형 모션정보를 표출시키도록 제어한다(S290a).Finally, as shown in FIG. 37, in the intelligent control unit for the field, on the point box for the object or on the program screen, real-time positional information data on the time, position, moving direction, moving distance, And controls the final intelligent motion information including information data to be displayed (S290a).

이때, 제2 유무선통신모듈을 통해, 원격지에 위치한 중앙관제센터 서버쪽으로 지능형제어부에서 연산제어한 최종 지능형 모션정보(실시간 위치 정보데이터 + 행위 인지정보 데이터)를 송신시키고, 이에 따른 응답신호로서 제어명령신호를 수신받아 현장용 지능형제어부로 전달시킨다.At this time, the final intelligent motion information (real-time position information data + action recognition information data) computed and controlled by the intelligent control unit is transmitted to the central control center server located at the remote place via the second wired / wireless communication module, The signal is received and transmitted to the intelligent control unit for the field.

1 : 하이브리드식 원거리 지능형 영상감시장치
100 : 서버용 하이브리드식 원거리 지능형 영상감지장치
110 : 제1 스마트형 PTZ카메라모듈 120 : 제1 측량 컨트롤러부
130 : 제1 유무선통신모듈 140 : 지능형제어서버
200 : 현장용 하이브리드식 원거리 지능형 영상감지장치
210 : 메인본체
220 : 제2 스마트형 PTZ카메라모듈
230 : 제2 측량 컨트롤러부
240 : 제2 유무선통신모듈
250 : 현장용 지능형제어부1: Hybrid Remote Intelligent Video Surveillance System
100: Hybrid Remote Intelligent Image Sensor for Servers
110: first smart type PTZ camera module 120: first measurement controller unit
130: first wired / wireless communication module 140: intelligent control server
200: On-site Hybrid Intelligent Image Sensor
210: main body
220: second smart type PTZ camera module
230: second surveying controller unit
240: second wired / wireless communication module
250: Intelligent control unit for the field

Claims

A first camera which is located at any one of a camera-dedicated pole, an arch, a streetlight, a traffic light, an electric signboard, a pole, and a telescope and which is located at a distance of 10 m to 20,000 m, A smart PTZ camera module 110,
The first smart PTZ camera module is located at one side of the first smart PTZ camera module and receives the location based service to grasp the position information of the first smart PTZ camera module, measures the distance between the first smart PTZ camera module and the subject, A first measurement controller 120 for controlling the first smart PTZ camera module to measure a real-time azimuth and an angle with respect to a subject according to rotation and angle adjustment;
And transmits the object image data photographed by the first smart PTZ type camera module and the real time location information data measured by the first surveying controller unit to the intelligent control server, A first wired / wireless communication module (130) for receiving a control command signal and transmitting the received control command signal to a first smart type PTZ camera module or a first measurement controller,
Server and is connected to the first smart PTZ camera module, the first surveying controller, and the first wired / wireless communication module to control the overall operation of each device, A point box for a subject to be tracked in a real-time shot image or a GIS and a designated map transmitted from the first smart PTZ camera module is generated while tracking a long distance subject in a state of being interlocked with each other, And an intelligent control server 140 for controlling the intelligent control server 140 to display the final intelligent motion information including the real-time positional information data on the time, position, moving direction, moving distance, And a hybrid type air conditioner comprising real-time position information data for a subject Rigid video surveillance system.

The apparatus as claimed in claim 1, wherein the first measurement controller unit (120)
A first location based service 121 receiving location information obtained through a mobile communication network or a GPS (Global Positioning System)
A power pulse of 1.2 micrometers to 2.5 micrometers is transmitted toward a subject located at 10 m to 20,000 m located on the lower side of the same line as the first smart type PTZ camera module and the distance of the subject is measured in real time A first smart ST-type laser long distance measurement module 122 for measuring the first smart ST-
A first subject position coordinate calculation control unit 123 for controlling the position coordinate and the moving direction of the subject based on the rotation and angle of the pan tilt of the first smart PTZ camera module, Wherein the motion sensing unit is configured to detect the motion of the subject based on the position information of the object.

3. The method of claim 2, wherein the first smart ST-type laser long distance measurement module (122)
A first ST type pulse driving laser diode transmitting unit 122a for transmitting a power pulse of 1.2 micrometers to 2.5 micrometers toward a subject positioned in the front direction of the first smart PTZ camera module,
A first ST-type pulse-driving laser diode receiving unit 122b for receiving a signal transmitted to the subject through the first ST-type pulse-driving laser diode transmitting unit and colliding with the object,
A first ST-type pulse-driving laser distance calculation control unit 122c for calculating a time between an optical transmission signal (start pulse) and a light reception (stop pulse) signal, which is a signal returning from a subject, Wherein the motion sensing unit is configured to detect the motion of the subject based on the position information of the object.

2. The system according to claim 1, wherein the intelligent control server (140)
A first position display control section 141 for controlling the position to be displayed in conjunction with the GIS or the designated map,
A first subject tracking control section 142 for calculating and controlling the moving speed of the subject while tracking the subject sensed from the first measurement controller section,
A motion history image (MHI) having a feature including temporal information is extracted from a subject of a real-time photographic image to recognize an action of the subject from a moving image captured by the first smart PTZ camera module, A motion history image (MHI) generation unit 143,
A point box for a subject to be tracked in a real-time shot image or a GIS and a designated map transmitted from the first smart PTZ camera module is generated while tracking a long distance subject in a state interlocked with a GIS or a designated map, (Motion recognition information data + real-time position information data (real-time position information data)), which indicates the position of the subject based on the perceived behavior, And a first final intelligent motion information control unit (144) for controlling the server on the server so as to display the real intelligence position information for the object.

A main body 210 formed in a box shape and protecting and supporting each device from external pressure,
A second smart PTZ camera module 220 which is located at the upper end of the main body and is driven in accordance with the control signal of the intelligent control unit to enlarge and reduce the subject moving up and down and left and right to photograph the subject, )and,
The first smart PTZ camera module is located at one side of the inner space of the main body, receives the location-based service to grasp the position information of the second smart PTZ camera module, measures the distance between the second smart PTZ camera module and the subject, A second measurement controller unit 230 for controlling the second smart PTZ camera module to measure a real-time azimuth angle and an angle with respect to the subject according to the angle adjustment,
(The real-time position information data + action recognition information data) computed and controlled by the intelligent control unit toward the central control center server located at the remote location, and transmits the control command A second wired / wireless communication module 240 receiving the signal and transmitting the signal to the intelligent control unit for the field,
And a second wired / wireless communication module connected to the second smart PTZ camera module, the second surveying controller, and the second wired / wireless communication module to control the overall operation of each device, A point box for a subject to be tracked on a real-time shot image or a GIS and a designated map transmitted from the second smart PTZ camera module is generated while tracking a long distance subject, and then a point box for a subject or a program screen And an intelligent control unit (250) for controlling to display final intelligent motion information, which is composed of motion recognition information data, together with real-time positional information data on position, movement direction, movement distance and movement speed. Hybrid intelligent video surveillance system consisting of real-time position information data for action-aware information data and subject.

The apparatus as claimed in claim 5, wherein the second measurement controller unit (230)
A second location-based service receiver 231 receiving location information obtained through a mobile communication network or a GPS (Global Positioning System)
A power pulse of 1.2 micrometers to 2.5 micrometers is transmitted toward a subject located at 10 m to 20,000 m located on the lower side of the same line as the second smart PTZ camera module and the distance of the subject is determined in real time A second smart ST-type laser distance measurement module 232 for measuring the distance between the first smart ST-
A second subject position coordinate calculation controller 233 for calculating and controlling the position coordinates and the moving direction of the subject based on the rotation and angle of the pan tilt of the second smart PTZ camera module, Wherein the motion sensing unit is configured to detect the motion of the subject based on the position information of the object.

7. The apparatus of claim 6, wherein the second smart ST-type laser long distance measurement module (232)
A second ST type pulse drive laser diode transmitter 232a for transmitting a power pulse of 1.2 micrometers to 2.5 micrometers toward a subject located in the front direction of the main body,
A second ST type pulse drive laser diode receiving section 232b which is transmitted to the subject via the second ST type pulse drive laser diode transmitting section and receives a signal which is collided and returned,
A second ST-type pulse-driving laser distance calculation control unit 232c for calculating the time between an optical transmission signal (start pulse) and a light reception (stop pulse) signal, which is a signal returning from a subject, Wherein the motion sensing unit is configured to detect the motion of the subject based on the position information of the object.

6. The system of claim 5, wherein the field intelligent controller (250)
A second position display control section 251 for controlling the position to be displayed in conjunction with the GIS or the designated map,
A second subject tracking control section 252 for calculating and controlling the moving speed of the subject while tracking the subject sensed from the second measurement controller section,
A motion history image (MHI) having a feature including temporal information is extracted from a subject of a real-time photographic image to recognize an action of a subject in a moving image photographed by the second smart PTZ camera module, A motion history image (MHI) generation unit 253,
A point box for a subject to be tracked in a real-time shot image or a GIS and a designated map transmitted from the second smart PTZ camera module is generated while tracking a long distance subject in a state of being linked with a GIS or a designated map, (Motion recognition information data + real-time position information data (real-time position information data)), which indicates the position of the subject based on the perceived behavior, And a second final intelligent motion information control unit (254) for performing on-scene control so as to display the second intelligent motion information for the object.

A step S110 of setting a real-time photographing position on the first smart PTZ camera module,
A step S120 of photographing in real time through the first smart PTZ camera module,
A step (S130) of receiving position information obtained from a mobile communication network or a GPS (Global Positioning System) through a first location-based service receiver,
A step S140 of manually or automatically selecting a subject in the real-time image,
(S150) of calculating the azimuth and angle information of the subject through the first subject position coordinate calculation control unit to obtain the azimuth and angle information of the subject,
(S160) of acquiring the actual distance information between the first smart PTZ camera module and the object through the first smart ST type laser distance measurement module,
Transmitting the object image data photographed by the first smart PTZ camera module and the real-time position information data measured by the first surveying controller unit to the intelligent control server, connected to the intelligent control server through the first wired / wireless communication module, (S170)
A step S180 of driving the first position display control unit of the intelligent control server to display the position of the subject in cooperation with the GIS or the designated map,
A step (S190) of computing and controlling the moving speed while tracking the subject real time moving position in the intelligent control server,
A step (S190a) of generating a point-of-view box for a subject to be tracked in a real-time shot image or a GIS and a designated map transmitted from the first smart PTZ camera module in the intelligent control server,
The intelligent control server displays the final intelligent motion information made of the behavior recognition information data together with the real-time position information data on the time, position, moving direction, moving distance, and moving speed of the subject on the point box for the object or on the program screen (Step S190b). The hybrid intelligent video surveillance method according to claim 1, further comprising:

A step S210 of setting a real-time photographing position on the second smart PTZ camera module,
A step S220 of photographing in real time through the second smart PTZ camera module,
A step (S230) of receiving location information obtained from a mobile communication network or a GPS (Global Positioning System) through a second location-based service receiving unit,
A step S240 of manually or automatically selecting a subject in the real-time image,
(S250) of calculating the azimuth and angle information of the subject through the second subject position coordinate calculation control unit to obtain azimuth and angle information of the subject,
Acquiring real distance information between the second smart PTZ camera module and the subject through the second smart ST type laser remote measurement module (S260)
A step S270 of driving the second position display control unit of the intelligent control unit for the scene to display the position of the subject in cooperation with the GIS or the designated map,
The second object tracking control unit of the intelligent control unit for the field is driven to operate and control the movement speed of the object while tracking the object sensed from the second measurement controller unit (S280)
A step (S290) of generating a real-time shot image or a GIS transmitted from the second smart PTZ camera module in the intelligent control unit for the scene, and a point box for the object to be tracked in the designated map,
The intelligent control unit for the field displays the final intelligent motion information composed of the behavior recognition information data together with the real time position information data on the time, position, moving direction, moving distance and moving speed of the subject on the point box for the object or the program screen (Step S290a). The hybrid intelligent video surveillance method according to claim 1, further comprising: