KR102196086B1 - Method for autonomous balancing PTZ of camera and system for providing traffic information therewith - Google Patents

Method for autonomous balancing PTZ of camera and system for providing traffic information therewith Download PDF

Info

Publication number
KR102196086B1
KR102196086B1 KR1020200120434A KR20200120434A KR102196086B1 KR 102196086 B1 KR102196086 B1 KR 102196086B1 KR 1020200120434 A KR1020200120434 A KR 1020200120434A KR 20200120434 A KR20200120434 A KR 20200120434A KR 102196086 B1 KR102196086 B1 KR 102196086B1
Authority
KR
South Korea
Prior art keywords
ptz
vehicle
level value
value
extracted
Prior art date
Application number
KR1020200120434A
Other languages
Korean (ko)
Inventor
정준호
김준규
강동효
임탁규
한학용
최대순
조형기
Original Assignee
주식회사 아이티아이비전
에스트래픽(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티아이비전, 에스트래픽(주) filed Critical 주식회사 아이티아이비전
Priority to KR1020200120434A priority Critical patent/KR102196086B1/en
Application granted granted Critical
Publication of KR102196086B1 publication Critical patent/KR102196086B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23296—
    • H04N5/23299—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a PTZ autonomous posture correction method of a camera and a traffic information system using the same, which are configured to detect an unexpected situation based on a dual camera consisting of a visible light camera and a thermal imaging camera, thereby complementing the disadvantages of a single camera to increase a vehicle detection rate remarkably to increase the accuracy and reliability of the accident detection, and are designed to enable PTZ (Pan-Tilt-Zoom) control of a general camera and a thermal imaging camera manufactured as an integrated unit, and at the same time are configured to automatically calculate and control an optimal PTZ value according to a preset period (T), thereby optimizing the PTZ status of the camera according to external forces such as wind, vibration, and shake, or external environments such as weather, illumination, and time to increase the accuracy and reliability of traffic detection.

Description

카메라의 PTZ 자율 자세보정 방법 및 이를 이용한 교통정보 시스템{Method for autonomous balancing PTZ of camera and system for providing traffic information therewith}Method for autonomous balancing PTZ of camera and system for providing traffic information therewith

본 발명은 카메라의 PTZ 자율 자세보정 방법 및 이를 이용한 교통정보 시스템에 관한 것으로서, 상세하게로는 일체형으로 제작되는 일반카메라 및 열화상 카메라가 PTZ(Pan-Tilt-Zoom) 제어가 가능하도록 설계됨과 동시에 기 설정된 주기(T)에 따라 PTZ 최적값 산출 및 제어가 자동으로 이루어지도록 구성됨으로써 바람, 진동 및 흔들림 등의 외력 또는 날씨, 조도, 시간 등의 외부환경에 따른 카메라 PTZ 상태를 최적화하여 촬영이 이루어지도록 하여 교통검지의 정확성 및 신뢰도를 높일 수 있는 카메라의 PTZ 자율 자세보정 방법 및 이를 이용한 교통정보 시스템에 관한 것이다.The present invention relates to a PTZ autonomous posture correction method of a camera and a traffic information system using the same, and in detail, a general camera and a thermal imaging camera manufactured as an integrated unit are designed to enable PTZ (Pan-Tilt-Zoom) control. It is configured to automatically calculate and control the optimal PTZ value according to a preset period (T), so that the camera PTZ condition is optimized according to external forces such as wind, vibration and shaking, or external environment such as weather, illumination, time, etc. The present invention relates to a PTZ autonomous posture correction method for a camera that can increase the accuracy and reliability of traffic detection by making it possible to increase traffic detection and a traffic information system using the same.

최근 정보통신 기술이 발달하고 텔레매틱스 기기의 보급 및 유비쿼터스 환경이 구축됨에 따라 지능형 교통시스템(ITS, Intelligent Transportation System)이 연구되어 널리 사용되고 있다.With the recent development of information and communication technology, the spread of telematics devices and the establishment of a ubiquitous environment, intelligent transportation systems (ITS) have been studied and widely used.

이러한 지능형 교통시스템(ITS)은 1차적으로 차량을 감지하여 차량정보를 생성한 후, 생성된 차량정보를 분석 및 가공하여 교통정보를 생성함과 동시에 돌발 상황 발생여부를 생성하도록 구성되었기 때문에 객체를 얼마나 정확하게 감지할 수 있는지에 따라 지능형 교통시스템(ITS)의 성능이 결정되고, 이에 따라 차량 검지의 정확성 및 신뢰도를 높이기 위한 다양한 연구가 진행되고 있다.This intelligent transportation system (ITS) is configured to generate vehicle information by first detecting a vehicle, then analyze and process the generated vehicle information to generate traffic information and at the same time create whether an unexpected situation has occurred. The performance of an intelligent transportation system (ITS) is determined according to how accurately it can be detected, and various studies are being conducted to increase the accuracy and reliability of vehicle detection.

일반적으로 지능형 교통시스템(ITS)에 있어서, 감지영역을 모니터링하면서 돌발 상황 발생여부를 판단하기 위한 목적으로 가시광 CCTV 카메라가 널리 사용되고 있으나, 가시광 CCTV 카메라는 직사광선의 유입, 빛의 산란, 부족한 광량 및 조도 등의 다양한 변수로 인해 객체를 정확하게 검출하지 못하는 구조적 한계를 갖는다.In general, in intelligent traffic systems (ITS), visible light CCTV cameras are widely used for the purpose of determining whether an unexpected situation occurs while monitoring the detection area, but visible light CCTV cameras are used for direct sunlight inflow, light scattering, insufficient light and illuminance. It has a structural limitation in that it cannot accurately detect an object due to various variables such as.

이에 따라 본 출원인은 국내등록특허 제10-1852057호(발명의 명칭 : 영상 및 열화상을 이용한 돌발 상황 감지시스템)를 통해 가시광 카메라 및 열화상 카메라를 융합하여 객체를 감지하도록 구성함으로써 단일 가시광 카메라로만 객체 감지가 이루어지는 경우와 비교하여 객체 검지율을 개선하도록 하였다.Accordingly, the applicant of the present invention is configured to detect an object by fusion of a visible light camera and a thermal imaging camera through the domestic registration patent No. 10-1852057 (name of the invention: an unexpected situation detection system using video and thermal images). Compared with the case where object detection is performed, the object detection rate is improved.

도 1은 국내등록특허 제10-1852057호에 개시된 돌발 상황 감지시스템을 나타내는 구성도이다.1 is a block diagram showing an unexpected situation detection system disclosed in Korean Patent Registration No. 10-1852057.

도 1의 돌발 상황 감지시스템(이하 종래기술이라고 함)(100)은 도로에 이격되게 설치되는 돌발 상황 감지기(103-1), ..., (103-N)들과, 기 할당된 돌발 상황 감지기들로부터 데이터를 전송받아 외부로 송출하는 로컬서버(102-1), ..., (102-N)들과, 로컬서버(102-1), ..., (102-N)들로부터 전송받은 영상을 저장 및 모니터링 하는 관제센터서버(105)와, 관제센터서버(105) 및 로컬서버(102-1), ..., (102-N)들 사이의 데이터 이동경로를 제공하는 통신망(110)으로 이루어진다.The sudden situation detection system (hereinafter referred to as the prior art) 100 of FIG. 1 includes the sudden situation detectors 103-1, ..., (103-N) installed spaced apart on the road, and the previously assigned sudden situation. From the local servers 102-1, ..., (102-N) that receive data from the detectors and transmit them to the outside, and the local servers 102-1, ..., (102-N) A communication network that provides a data movement path between the control center server 105 that stores and monitors the transmitted image, and the control center server 105 and the local server 102-1, ..., (102-N) It consists of (110).

교통검지기(103-1), ..., (103-N)들은 기 설정된 감지영역을 촬영하는 카메부(132)와, 카메라부(132)에 의해 촬영된 영상분석을 통해 돌발 상황 발생여부를 판별하는 컨트롤러(131)로 이루어진다.Traffic detectors (103-1), ..., (103-N) through the camera unit 132 for photographing a preset detection area, and the camera unit 132 It consists of a controller 131 to determine.

교통검지기(103-1), ..., (103-N)들은 기 설정된 감지영역을 촬영하는 카메라부(132)와, 카메라부(132)에 의해 촬영된 영상분석을 통해 돌발 상황 발생여부를 판별하는 컨트롤러(131)로 이루어진다.Traffic detectors (103-1), ..., (103-N) through the camera unit 132 that photographs a preset detection area and the image captured by the camera unit 132 to determine whether an unexpected situation has occurred. It consists of a controller 131 to determine.

카메라부(132)는 감지영역을 촬영하여 일반영상을 획득하는 카메라(133)와, 감지영역을 촬영 하여 열화상을 획득하는 열화상 카메라(134)와, 돌발 상황 발생 시 구동되어 돌발 상황을 집중 촬영하는 추적카메라(135)로 이루어진다.The camera unit 132 includes a camera 133 that captures a detection area to obtain a general image, a thermal imaging camera 134 that captures a detection area to acquire a thermal image, and is driven when an unexpected situation occurs to focus the unexpected situation. It consists of a tracking camera 135 to shoot.

이와 같이 구성되는 종래기술(100)은 카메라(133) 및 열화상 카메라(134)가 일체형으로 제작됨과 동시에 PTZ(Pan-Tilt-Zoom) 제어 가능하도록 구성됨으로써 객체 검출 및 트래킹(Tracking) 하여 단일 카메라로 구동될 때 검지가 불가능한 객체들의 감지가 가능하여 검지율을 현저히 높일 수 있는 장점을 갖는다.In the prior art 100 configured as described above, the camera 133 and the thermal imaging camera 134 are manufactured as an integrated unit and are configured to control PTZ (Pan-Tilt-Zoom), thereby detecting and tracking an object. It has the advantage of remarkably increasing the detection rate by enabling detection of objects that cannot be detected when driven by.

통상적으로 종래기술(100)과 같은 PTZ 카메라는 최초 PTZ 설정이 정확한 데이터를 기반으로 이루어지는 것이 아니라, 숙련된 기술자 또는 관리자의 모니터 육안 확인을 통해 이루어지기 때문에 카메라 세팅의 정밀도 및 정확성이 운영자의 숙련도에 따라 달라지는 문제점이 발생한다.In general, PTZ cameras such as the prior art (100), the initial PTZ setting is not made based on accurate data, but because it is made through the visual check of the monitor of a skilled technician or manager, the precision and accuracy of the camera setting depends on the operator's skill level. Different problems arise.

또한 종래기술(100)은 도로의 차량을 촬영하기 위해 실외에 설치되어 바람, 외부 진동 및 흔들림 등의 외력에 의해 영향을 많이 받는 특성을 갖는다. 이에 따라 종래기술(100)은 바람, 진동 및 흔들림 등의 외력에 의해 최초 PTZ 설정값으로부터 변경되는 현상이 비일비재하게 발생하나, 종래기술(100)에는 이러한 PTZ를 재설정하기 위한 별도의 기술 및 방법이 전혀 기재되어 있지 않기 때문에 교통검지의 정확성 및 신뢰도가 떨어지는 구조적 한계를 갖는다.In addition, the prior art 100 is installed outdoors in order to photograph a vehicle on the road, and has a characteristic that is greatly affected by external forces such as wind, external vibration, and shaking. Accordingly, in the prior art 100, the phenomenon of changing from the initial PTZ setting value by external forces such as wind, vibration, and shaking occurs uncommonly, but the prior art 100 has a separate technology and method for resetting such PTZ. Since it is not described at all, it has a structural limitation in which the accuracy and reliability of traffic detection are poor.

일반적으로, PTZ 카메라는 날씨(우천, 우설 등), 조도, 시간 등의 외부 환경에 따라 PTZ 최적값이 소정 변경되는 특성을 가지나, 종래기술(100)은 이러한 PTZ 카메라의 특성을 전혀 감안하지 않은 것으로서, 최초 설정되어 고정된 PTZ 값으로 촬영을 수행함에 따라 획득영상의 선명도를 극대화시키지 못하는 문제점이 발생한다.In general, PTZ cameras have characteristics in which the optimal PTZ value is changed depending on external environments such as weather (rainy weather, snow, etc.), illuminance, and time, but the prior art 100 does not take into account the characteristics of such a PTZ camera at all. As a result, there is a problem in that the sharpness of the acquired image cannot be maximized as the photographing is performed with the initially set and fixed PTZ value.

즉 외력(바람, 진동, 흔들림 등) 또는 외부환경(날씨, 조도 등)의 특성에 따라 PTZ 최적값이 변경되는 PTZ 카메라의 특성을 감안하여, 주기적으로 PTZ 제어값을 최적으로 자동 설정하여 획득영상의 선명도를 극대화시켜 교통검지의 정확성 및 신뢰도를 높이기 위한 기술 및 방법에 대한 연구가 시급한 실정이다.In other words, in consideration of the characteristics of PTZ cameras that change the optimal PTZ value according to the characteristics of external force (wind, vibration, shaking, etc.) or external environment (weather, illuminance, etc.), the image acquired by automatically setting the PTZ control value optimally Research on technologies and methods to increase the accuracy and reliability of traffic detection by maximizing the clarity of traffic is urgent.

본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 가시광 카메라 및 열화상 카메라로 이루어지는 듀얼카메라를 기반으로 차량검지 및 돌발 상황 검지가 이루어지도록 구성됨으로써 단일 카메라로 구성될 때의 단점을 상호 보완하여 차량 검지의 정확성 및 신뢰도를 현저히 높일 수 있는 카메라의 PTZ 자율 자세보정 방법 및 이를 이용한 교통정보 시스템을 제공하기 위한 것이다.The present invention is to solve such a problem, and the problem of the present invention is that it is configured to detect a vehicle and detect an unexpected situation based on a dual camera consisting of a visible light camera and a thermal imaging camera, thereby eliminating the disadvantages of a single camera. It is to provide a PTZ autonomous posture correction method of a camera that can significantly increase the accuracy and reliability of vehicle detection by complementing each other and a traffic information system using the same.

또한 본 발명의 다른 해결과제는 일체형으로 제작되는 일반카메라 및 열화상 카메라가 PTZ(Pan-Tilt-Zoom) 제어가 가능하도록 설계됨과 동시에 기 설정된 주기(T)에 따라 PTZ 최적값 산출 및 제어가 자동으로 이루어지도록 구성됨으로써 바람, 진동 및 흔들림 등의 외력 또는 날씨, 조도, 시간 등의 외부환경에 따른 카메라 PTZ 상태를 최적화하여 촬영이 이루어지도록 하여 교통검지의 정확성 및 신뢰도를 높일 수 있는 카메라의 PTZ 자율 자세보정 방법 및 이를 이용한 교통정보 시스템을 제공하기 위한 것이다.In addition, another problem of the present invention is that the general camera and thermal imaging camera manufactured as an integrated unit are designed to enable PTZ (Pan-Tilt-Zoom) control, and at the same time, the optimal PTZ value calculation and control are automatically performed according to a preset period (T). PTZ autonomy of the camera that can increase the accuracy and reliability of traffic detection by optimizing the camera PTZ status according to external forces such as wind, vibration and shaking, or external environment such as weather, illumination, time, etc. It is to provide a posture correction method and a traffic information system using the same.

상기 과제를 해결하기 위한 본 발명의 해결수단은 도로에 이격되게 설치되어 차량을 감지하는 교통검지기들을 포함하는 교통정보 시스템에 있어서: 상기 교통검지기들은 PTZ(Pan-Tilt-Zoom) 제어가 지원됨과 동시에 일체형으로 제작되는 가시광 카메라 및 열화상 카메라; 상기 가시광 카메라 및 상기 열화상 카메라에 의해 획득된 영상 및 열화상을 분석하여 차량을 검지하는 컨트롤러를 포함하고, 상기 컨트롤러는 기 설정된 주기(T) 마다 상기 가시광 카메라 및 상기 열화상 카메라의 PTZ 최적값을 검출한 후, 검출된 PTZ 최적값에 따라 상기 가시광 카메라 및 상기 열화상 카메라의 세팅이 이루어지도록 제어하는 PTZ 최적 관리부를 더 포함하고, 상기 컨트롤러는 상기 가시광 카메라의 팬-틸트-줌(PTZ)의 이동량의 범위를 분류한 레벨값이 기 설정되어 저장되는 메모리를 더 포함하고, 상기 PTZ 최적 관리부의 동작 과정인 PTZ 최적 관리방법(S1)은 상기 가시광 카메라의 PTZ 레벨값을 초기화시키는 단계10(S10); 현재 설정된 PTZ 레벨값의 상태로 상기 가시광 카메라를 제어한 후, 상기 가시광 카메라의 촬영이 이루어지도록 하여 영상을 획득하는 단계20(S20); 상기 단계20(S20)에서 획득된 영상을 분석하여 차량객체 및 도로객체를 검출하며, 1)차량객체 검출 시, 검출된 차량객체의 크기(픽셀크기)를 산출한 후, 산출된 차량객체 크기정보를 해당 PTZ 레벨값과 매칭시켜 차량 프로파일을 생성한 후, 생성된 차량 프로파일을 상기 메모리에 저장하며, 2)도로객체 검출 시, 검출된 도로객체의 지향방향(각도)과 카메라의 지향방향(각도)을 검출한 후, 이들의 차이값(△θ)을 산출하며 산출된 차이값(△θ)을 해당 PTZ 레벨값과 매칭시켜 도로 프로파일을 생성한 후 생성된 도로 프로파일을 상기 메모리에 저장하는 단계30(S30); 현재 팬-레벨값(PL)이 최종 레벨값인지 여부를 판단하는 단계40(S40); 상기 단계40(S40)에서 현재 팬-레벨값(PL)이 최종 레벨값이 아니라고 판단될 때 진행되며, 현재 팬-레벨값(PL)에 ‘1’을 추가(PL=PL+1)하며, 다음 단계로 상기 단계20(S20)을 진행하는 단계50(S50); 상기 단계40(S40)에서 팬-레벨값(TL)이 최종 레벨값이라고 판단될 때 진행되며, 현재 틸트-레벨값(TL)이 최종 레벨값인지 여부를 판단하는 단계60(S60); 상기 단계60(S60)에서 현재 틸트-레벨값(TL)이 최종 레벨값이 아니라고 판단될 때 진행되며, 현재 틸트-레벨값(TL)에 ‘1’을 추가(TL=TL+1)하는 단계70(S70); 상기 단계70(S70) 이후에 진행되며, 현재 팬-레벨값(PL)을 ‘1’로 초기화한 후, 다음 단계로 상기 단계20(S20)을 진행하는 단계80(S80); 상기 단계60(S60)에서 현재 팬-레벨값(TL)이 최종 레벨값이라고 판단될 때 진행되며, 현재 줌-레벨값(ZL)이 최종 레벨값인지 여부를 판단하는 단계90(S90); 상기 단계90(S90)에서 줌-레벨값(ZL)이 최종 레벨값이라고 판단될 때 진행되며, 현재 줌-레벨값(TL)에 ‘1’을 추가(ZL=ZL+1)하는 단계100(S100); 상기 단계100(S100) 이후에 진행되며, 틸트-레벨값(TL)을 ‘1’로 초기화하는 단계110(S110); 상기 단계110(S110) 이후에 진행되며, 팬-레벨값(PL)을 ‘1’로 초기화한 후, 다음 단계로 상기 단계20(S20)을 진행하는 단계120(S120)을 포함하고, 상기 PTZ 최적 관리부는 상기 PTZ 최적 관리방법(S1)에 의해 각 PTZ 레벨값에 대응되는 영상들을 분석하여 상기 가시광 카메라의 PTZ를 최적화시키는 것이다.The solution of the present invention for solving the above problem is in a traffic information system including traffic detectors that are installed on a road and detect a vehicle: The traffic detectors support PTZ (Pan-Tilt-Zoom) control and at the same time A visible light camera and a thermal imaging camera manufactured integrally; And a controller configured to detect a vehicle by analyzing an image and a thermal image acquired by the visible light camera and the thermal imaging camera, and the controller includes an optimal PTZ value of the visible light camera and the thermal imaging camera at every preset period (T) After detecting, the PTZ optimal management unit for controlling settings of the visible light camera and the thermal imaging camera to be made according to the detected PTZ optimal value, wherein the controller includes a pan-tilt-zoom (PTZ) of the visible light camera. The method further includes a memory for pre-set and storing a level value of the range of movement amount, and the PTZ optimal management method (S1), an operation process of the PTZ optimal management unit, is a step 10 of initializing the PTZ level value of the visible light camera ( S10); After controlling the visible light camera in a state of the currently set PTZ level value, the step of obtaining an image by shooting the visible light camera 20 (S20); The image obtained in step 20 (S20) is analyzed to detect a vehicle object and a road object, and 1) when the vehicle object is detected, the size (pixel size) of the detected vehicle object is calculated, and then the calculated vehicle object size information Is matched with the PTZ level value to generate a vehicle profile, and then the generated vehicle profile is stored in the memory. 2) When a road object is detected, the direction (angle) of the detected road object and the direction of the camera (angle) ), calculating the difference value (△θ), matching the calculated difference value (△θ) with the corresponding PTZ level value to generate a road profile, and then storing the generated road profile in the memory 30 (S30); Step 40 (S40) of determining whether the current pan-level value PL is the final level value; The process proceeds when it is determined that the current fan-level value PL is not the final level value in step 40 (S40), and '1' is added to the current fan-level value PL (PL=PL+1), Step 50 (S50) of proceeding to step 20 (S20) to the next step; A step 60 (S60) of determining whether or not the current tilt-level value TL is the final level value, and proceeds when it is determined in step 40 (S40) that the pan-level value TL is the final level value; The process proceeds when it is determined in step 60 (S60) that the current tilt-level value TL is not the final level value, and adding '1' to the current tilt-level value TL (TL=TL+1) 70 (S70); Step 80 (S80) of proceeding after step 70 (S70), initializing the current fan-level value (PL) to '1', and then proceeding to step 20 (S20) to the next step; A step 90 (S90) of determining whether the current pan-level value TL is the final level value, and determining whether the current zoom-level value ZL is the final level value in the step 60 (S60); The process proceeds when it is determined that the zoom-level value ZL is the final level value in step 90 (S90), and a step 100 of adding '1' to the current zoom-level value TL (ZL=ZL+1) ( S100); A step 110 (S110) of initializing the tilt-level value TL to '1', which proceeds after the step 100 (S100); It proceeds after the step 110 (S110), and after initializing the fan-level value (PL) to '1', the step 120 (S120) of proceeding to the step 20 (S20) as a next step, and the PTZ The optimal management unit optimizes the PTZ of the visible light camera by analyzing images corresponding to each PTZ level value by the PTZ optimal management method (S1).

삭제delete

또한 본 발명에서 상기 PTZ 최적 관리방법(S1)은 상기 단계90(S90)에서 현재 줌-레벨값(ZL)이 최종 레벨값이라고 판단될 때 진행되며, 상기 메모리를 탐색하여 상기 단계30(S30)에 의해 상기 메모리에 저장된 차량 프로파일 데이터들인 차량인식 테이블을 추출한 후, 추출된 차량인식 테이블로부터 첫 번째 순서의 차량 프로파일을 추출하는 단계130(S130); 현재 추출된 차량 프로파일로부터 차량객체 크기정보를 추출하는 단계140(S140); 상기 단계140(S140)에 의해 추출된 차량객체 크기를 기 설정된 설정범위와 비교하는 단계150(S150); 상기 단계150(S150)에서 추출된 차량객체 크기가 설정범위를 벗어날 때 진행되며, 상기 단계130(S130)에 의해 추출된 차량인식 테이블에서, 다음 순서의 차량 프로파일이 존재하는지를 탐색하며, 만약 추출된 차량인식 테이블에서 다음 순서의 차량 프로파일이 존재하지 않을 때 동작을 종료하는 단계160(S160); 상기 단계160(S160)에서 차량인식 테이블에 다음 순서의 차량 프로파일이 존재한다고 판단될 때 진행되며, 다음 순서의 차량 프로파일을 추출한 후, 다음 단계로 상기 단계140(S140)을 진행하는 단계170(S170); 상기 단계150(S150)에서 차량객체 크기가 설정범위에 포함될 때 진행되며, 해당 PTZ 레벨값에 대응되는 도로 프로파일을 추출하는 단계180(S180); 상기 단계180(S180)에 의해 추출된 도로 프로파일에 포함된 차이값(△θ)을 기 설정된 임계치와 비교하며, 만약 추출된 차이값(△θ)이 임계치를 초과하면, 다음 단계로 상기 단계160(S160)을 진행하는 단계190(S190); 상기 단계190(S190)에서 차이값(△θ)이 임계치 이하라고 판단될 때 진행되며, 현재 PTZ 레벨값을 PTZ 최적값으로 설정하는 단계200(S200)을 더 포함하는 것이 바람직하다.In addition, in the present invention, the PTZ optimal management method (S1) proceeds when it is determined in step 90 (S90) that the current zoom-level value (ZL) is the final level value, and the step 30 (S30) by searching the memory. After extracting a vehicle recognition table, which is vehicle profile data stored in the memory, by extracting a vehicle profile in a first order from the extracted vehicle recognition table (S130); Step 140 (S140) of extracting vehicle object size information from the currently extracted vehicle profile; Step 150 (S150) comparing the size of the vehicle object extracted in step 140 (S140) with a preset range; The process proceeds when the size of the vehicle object extracted in step 150 (S150) is out of the set range, and in the vehicle recognition table extracted in step 130 (S130), it is searched for the existence of the next vehicle profile, and if the extracted Step 160 (S160) of terminating the operation when there is no vehicle profile in the next sequence in the vehicle recognition table; The process proceeds when it is determined in step 160 (S160) that the vehicle profile of the next sequence exists in the vehicle recognition table, and after extracting the vehicle profile of the next sequence, the step of proceeding to the step 140 (S140) to the next step 170 (S170) ); Step 180 (S180) of extracting a road profile corresponding to the PTZ level value, which is performed when the vehicle object size is included in the set range in step 150 (S150); The difference value Δθ included in the road profile extracted in step 180 (S180) is compared with a preset threshold value, and if the extracted difference value Δθ exceeds the threshold value, the next step is step 160 Step 190 (S190) of proceeding to (S160); The process proceeds when it is determined that the difference value Δθ is less than or equal to the threshold value in step 190 (S190), and it is preferable to further include a step 200 (S200) of setting the current PTZ level value as the optimal PTZ value.

또한 본 발명에서 상기 PTZ 최적 관리방법(S1)은 상기 단계30(S30)에 의해 저장된 각 PTZ 레벨값으로 촬영된 개별영상들을 가공하여 파노라마 영상을 생성하는 단계230(S230); 상기 단계230(S230)에 의해 생성된 파노라마 영상을 구성하는 각 개별영상에 대응되는 도로 프로파일 데이터들을 추출하는 단계240(S240); 상기 단계240(S240)에 의해 추출된 도로 프로파일 데이터들을 참조하여, 추출된 도로 프로파일들 각각에 포함된 차이값(△θ)들을 추출한 후, 추출된 차이값(△θ)들 각각을 임계치와 비교하여 차이값(△θ)이 임계치를 초과하는 개별영상들을 파노라마 영상으로부터 제거하는 단계250(S250); 상기 단계250(S250)에 의해 남아있는 파노라마 영상의 개별영상들 각각의 PTZ 레벨값에 대응되는 차량 프로파일 데이터들인 차량인식 테이블을 추출한 후, 추출된 차량인식 테이블에서, 첫 번째 순서의 차량 프로파일을 추출하는 단계251(S251); 현재 추출된 차량 프로파일에 포함된 차량객체 크기정보를 추출하는 단계260(S260); 상기 단계260(S260)에 의해 추출된 차량객체 크기를 기 설정된 설정범위와 비교하는 단계270(S270); 상기 단계270(S270)에서 추출된 차량객체 크기가 설정범위를 벗어난다고 판단될 때 진행되며, 상기 단계251(S251)에 의해 추출된 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하는지를 판단하며, 만약 추출된 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하지 않는다고 판단되면, 동작을 종료하는 단계280(S280); 상기 단계280(S280)에서 상기 단계251(S251)에 의해 추출된 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하는지를 판단될 때 진행되며, 추출된 차량인식 테이블에 다음 순서의 차량 프로파일을 추출한 후, 다음 단계로 상기 단계260(S260)을 진행하는 단계290(S290); 상기 단계270(S270)에서 추출된 차량객체 크기가 설정범위에 포함된다고 판단될 때 진행되며, 해당 PTZ 레벨값을 PTZ 최적값으로 결정하는 단계291(S291)을 더 포함하는 것이 바람직하다.In addition, in the present invention, the PTZ optimal management method (S1) includes steps 230 (S230) of generating a panoramic image by processing individual images photographed with each PTZ level value stored in step 30 (S30); Step 240 (S240) of extracting road profile data corresponding to each individual image constituting the panoramic image generated by the step 230 (S230); After extracting the difference values Δθ included in each of the extracted road profiles by referring to the road profile data extracted in step 240 (S240), each of the extracted difference values Δθ is compared with a threshold value. And removing individual images whose difference value Δθ exceeds the threshold value from the panoramic image 250 (S250); After extracting the vehicle recognition table, which is vehicle profile data corresponding to the PTZ level value of each of the individual images of the panoramic image remaining in step 250 (S250), the vehicle profile in the first order is extracted from the extracted vehicle recognition table. Step 251 (S251); Step 260 (S260) of extracting vehicle object size information included in the currently extracted vehicle profile; Step 270 (S270) comparing the size of the vehicle object extracted in step 260 (S260) with a preset range; The process proceeds when it is determined that the size of the vehicle object extracted in step 270 (S270) is out of the set range, and it is determined whether the vehicle profile in the following order exists in the vehicle recognition table extracted in step 251 (S251), and if Step 280 (S280) of terminating the operation when it is determined that the vehicle profile of the next sequence does not exist in the extracted vehicle recognition table; The process proceeds when it is determined in step 280 (S280) whether the vehicle profile in the next order exists in the vehicle recognition table extracted in step 251 (S251), and after extracting the vehicle profile in the next order in the extracted vehicle recognition table, Step 290 (S290) of proceeding to step 260 (S260) as a next step; The process proceeds when it is determined that the size of the vehicle object extracted in step 270 (S270) is included in the set range, and it is preferable to further include step 291 (S291) of determining the PTZ level value as the optimal PTZ value.

또한 본 발명에서 상기 PTZ 최적 관리방법(S1)은 상기 단계30(S30)에 의해 저장된 각 PTZ 레벨값의 도로 프로파일 데이터인 차량인식 테이블을 상기 메모리로부터 추출하는 단계330(S330); 상기 단계330(S330)에 의해 추출된 차량인식 테이블의 차량 프로파일들 각각의 차량객체 크기를 기 설정된 설정범위와 비교하며, 차량객체 크기가 설정범위를 벗어나는 PTZ 레벨값은 제거시키되, 차량객체 크기가 설정범위에 포함되는 PTZ 레벨값은 제거시키지 않는 방식으로 필터링을 수행하는 단계340(S340); 상기 단계340(S340)에 의해 남은 PTZ 레벨값에 대응되는 도로 프로파일 데이터들인 도로인식 테이블을 추출하는 단계350(S350); 상기 단계350(S350)에 의해 추출된 도로인식 테이블의 도로 프로파일들 각각의 차이값(△θ)들을 추출한 후, 추출된 각 차이값(△θ)을 임계치와 비교하며, 차이값(△θ)이 임계치를 초과하는 PTZ 레벨값은 제거시키되, 차이값(△θ)이 임계치 이하인 PTZ 레벨값은 제거시키지 않는 방식으로 필터링을 수행하는 단계360(S360); 상기 단계360(S360)에 의해 남은 PTZ 레벨값들에 대응되는 영상들을 추출한 후, 추출된 각 영상을 분석하여 각 영상으로부터 번호판영상을 추출하는 단계370(S370); 상기 단계370(S370)에 의해 추출된 각 번호판영상의 선명도(s)를 검출하는 단계380(S380); 상기 단계380(S380)에 의해 검출된 각 번호판영상의 선명도(s)들을 비교하여 가장 높은 선명도를 갖는 번호판영상을 검출하는 단계390(S390); 상기 단계390(S390)에서 가장 선명도가 높은 번호판영상에 대응되는 PTZ 레벨값을 PTZ 최적값으로 결정하는 단계391(S391)을 더 포함하는 것이 바람직하다.In the present invention, the optimal PTZ management method (S1) includes a step 330 (S330) of extracting a vehicle recognition table, which is road profile data of each PTZ level value stored in step 30 (S30), from the memory; The vehicle object size of each of the vehicle profiles of the vehicle recognition table extracted in step 330 (S330) is compared with a preset setting range, and the PTZ level value in which the vehicle object size is out of the setting range is removed, but the vehicle object size is Step 340 (S340) of performing filtering in a manner that does not remove the PTZ level value included in the setting range; Step 350 (S350) of extracting road profile data corresponding to the remaining PTZ level value in step 340 (S340); After extracting the difference values (Δθ) of each of the road profiles of the road recognition table extracted in step 350 (S350), the extracted difference values (Δθ) are compared with a threshold value, and the difference value (Δθ) Step 360 (S360) of performing filtering in such a way that PTZ level values exceeding the threshold are removed, but PTZ level values whose difference values Δθ are less than or equal to the threshold are not removed; Step 370 (S370) of extracting images corresponding to the remaining PTZ level values in step 360 (S360) and then analyzing each extracted image to extract a license plate image from each image; Step 380 (S380) of detecting the sharpness (s) of each license plate image extracted by the step 370 (S370); Step 390 (S390) of comparing the sharpness (s) of each license plate image detected in step 380 (S380) to detect a license plate image having the highest sharpness; In step 390 (S390), it is preferable to further include a step 391 (S391) of determining a PTZ level value corresponding to the license plate image having the highest definition as the optimal PTZ value.

상기 과제와 해결수단을 갖는 본 발명에 따르면 가시광 카메라 및 열화상 카메라로 이루어지는 듀얼카메라를 기반으로 차량 검지 및 돌발 상황 검지가 이루어지도록 구성됨으로써 단일 카메라로 구성될 때의 단점을 상호 보완하여 차량 검지의 정확성 및 신뢰도를 현저히 높일 수 있게 된다.According to the present invention having the above problems and solutions, vehicle detection and accidental situation detection are made based on a dual camera consisting of a visible light camera and a thermal imaging camera, thereby complementing the disadvantages of a single camera. The accuracy and reliability can be significantly improved.

또한 본 발명에 의하면 일체형으로 제작되는 일반카메라 및 열화상 카메라가 PTZ(Pan-Tilt-Zoom) 제어가 가능하도록 설계됨과 동시에 기 설정된 주기(T)에 따라 PTZ 최적값 산출 및 제어가 자동으로 이루어지도록 구성됨으로써 바람, 진동 및 흔들림 등의 외력 또는 날씨, 조도, 시간 등의 외부환경에 따른 카메라 PTZ 상태를 최적화하여 촬영이 이루어지도록 하여 교통검지의 정확성 및 신뢰도를 높일 수 있게 된다.In addition, according to the present invention, the general camera and the thermal imaging camera manufactured as an integrated unit are designed to enable PTZ (Pan-Tilt-Zoom) control, and at the same time, the optimal PTZ value is calculated and controlled according to a preset period (T). By being configured, it is possible to increase the accuracy and reliability of traffic detection by optimizing the camera PTZ status according to external forces such as wind, vibration and shaking, or external environments such as weather, illumination, and time.

도 1은 국내등록특허 제10-1852057호에 개시된 돌발 상황 감지시스템을 나타내는 구성도이다.
도 2는 본 발명의 일실시예인 교통정보 시스템을 나타내는 구성도이다.
도 3은 도 2의 예시도이다.
도 4는 도 2의 가시광 카메라에 의해 획득된 일반영상을 나타내는 예시도이다.
도 5는 도 2의 열화상 카메라에 의해 획득된 열화상을 나타내는 예시도이다.
도 6은 도 5의 컨트롤러를 나타내는 블록도이다.
도 7은 도 6의 교통상황 분석부를 나타내는 블록도이다.
도 8은 도 6의 PTZ 최적 관리부의 동작 과정을 설명하기 위한 플로차트이다.
도 9는 도 8의 PTZ 최적 관리방법의 제2 실시예를 나타내는 플로차트이다.
도 10은 도 8의 PTZ 최적 관리방법의 제3 실시예를 나타내는 플로차트이다.1 is a block diagram showing an unexpected situation detection system disclosed in Korean Patent Registration No. 10-1852057.
2 is a block diagram showing a traffic information system according to an embodiment of the present invention.
3 is an exemplary view of FIG. 2.
4 is an exemplary view showing a general image acquired by the visible light camera of FIG. 2.
5 is an exemplary view showing a thermal image acquired by the thermal imaging camera of FIG. 2.
6 is a block diagram showing the controller of FIG. 5.
7 is a block diagram illustrating a traffic condition analysis unit of FIG. 6.
FIG. 8 is a flowchart illustrating an operation process of the PTZ optimal management unit of FIG. 6.
9 is a flowchart showing a second embodiment of the optimal PTZ management method of FIG. 8.
10 is a flowchart showing a third embodiment of the optimal PTZ management method of FIG. 8.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.

도 2는 본 발명의 일실시예인 교통정보 시스템을 나타내는 구성도이고, 도 3은 도 2의 예시도이다.2 is a block diagram showing a traffic information system according to an embodiment of the present invention, and FIG. 3 is an exemplary diagram of FIG. 2.

본 발명의 일실시예인 교통정보 시스템(1)은 일체형으로 제작되는 일반카메라(33) 및 열화상 카메라(34)의 PTZ(Pan-Tilt-Zoom) 제어가 가능하도록 설계됨과 동시에 기 설정된 주기(T) 마다 PTZ 최적값 산출 및 제어가 자동으로 이루어지도록 구성됨으로써 바람, 진동 및 흔들림 등의 외력 또는 날씨, 조도, 시간 등의 외부 환경에 따른 카메라 PTZ 상태를 최적화하여 촬영이 이루어짐에 따라 획득영상의 선명도를 높여 교통검지의 정확성 및 신뢰도를 극대화시킬 수 있을 뿐만 아니라 영상분석 데이터를 기반으로 작업이 이루어짐에 따라 작업의 정밀도 및 효율성을 극대화시키기 위한 것이다.Traffic information system 1 according to an embodiment of the present invention is designed to enable PTZ (Pan-Tilt-Zoom) control of the general camera 33 and the thermal imaging camera 34, which are manufactured as an integrated unit, and at the same time, a preset period (T ) Each time, the PTZ optimum value is calculated and controlled automatically, so that the sharpness of the acquired image as the shooting is performed by optimizing the camera PTZ status according to external forces such as wind, vibration and shaking, or external environment such as weather, illumination, and time. This is to maximize the accuracy and reliability of traffic detection by increasing the value, as well as to maximize the precision and efficiency of the work as work is performed based on image analysis data.

또한 본 발명의 교통정보 시스템(1)은 도 2와 3에 도시된 바와 같이, 도로(R)의 구조물(90) 상부에 설치되어 기 설정된 촬영영역(S)을 촬영하여 영상을 획득한 후, 획득영상을 분석하여 차량객체를 검출한 후, 차량정보 및 돌발 상황 발생정보를 생성하는 교통검지기(3-1), ..., (3-N)들과 교통검지기(3-1), ..., (3-N)들로부터 전송받은 영상을 저장 및 모니터링 함과 동시에 전송받은 차량정보 및 돌발 상황 발생정보를 분석 및 가공하여 교통정보를 생성하는 교통관제서버(5)와, 교통관제서버(5) 및 교통검지기(3-1), ..., (3-N)들 사이의 데이터 이동경로를 제공하는 통신망(10)으로 이루어진다.In addition, as shown in Figs. 2 and 3, the traffic information system 1 of the present invention is installed on the upper part of the structure 90 of the road R to capture a preset photographing area S to acquire an image, Traffic detectors (3-1), ..., (3-N) and traffic detectors (3-1), which generate vehicle information and unexpected situation occurrence information after analyzing acquired images to detect vehicle objects. .., Traffic control server 5, which generates traffic information by storing and monitoring images transmitted from (3-N) and analyzing and processing the transmitted vehicle information and unexpected situation information, and traffic control server (5) and traffic detectors (3-1), ..., consisting of a communication network (10) that provides a data movement path between (3-N).

통신망(10)은 교통관제서버(5) 및 교통검지기(3-1), ..., (3-N)들 사이의 데이터통신을 지원하며, 상세하게로는 광역통신망(WAN), 이동통신망, 유선통신망, 4G/5G/LTE 등의 공지된 다양한 통신방식이 적용될 수 있다.The communication network 10 supports data communication between the traffic control server 5 and the traffic detectors (3-1), ..., (3-N), and in detail, a wide area network (WAN), a mobile communication network , Wired communication network, 4G/5G/LTE, and other known communication methods can be applied.

교통관제서버(5)는 교통검지기(3-1), ..., (3-N)들로부터 전송받은 영상을 저장함과 동시에 이를 모니터링 한다.The traffic control server 5 stores the images transmitted from the traffic detectors 3-1, ..., (3-N) and monitors them at the same time.

또한 교통관제서버(5)는 교통검지기(3-1), ..., (3-N)들로부터 전송받은 차량정보를 분석 및 가공하여 교통정보를 생성한 후, 생성된 교통정보를 저장함과 동시에 접속된 클라이언트(Client)의 요청에 따라 교통정보를 제공한다. 이때 교통관제서버(5)에서 생성되는 교통정보는 해당 구간의 교통량, 정체율, 평균속도 등을 포함한다.In addition, the traffic control server 5 generates traffic information by analyzing and processing vehicle information transmitted from traffic detectors 3-1, ..., (3-N), and then stores the generated traffic information. At the same time, traffic information is provided according to the request of the connected client. At this time, the traffic information generated by the traffic control server 5 includes the traffic volume, congestion rate, and average speed of the corresponding section.

또한 교통관제서버(5)는 교통검지기(3-1), ..., (3-N)들로부터 전송받은 돌발 상황 발생정보를 저장함과 동시에 이를 모니터링 하여 돌발 상황에 대한 후속절차를 수행한다. 이때 돌발 상황은 갓길주정차, 역주행, 접촉사고, 차량고정, 낙하물 등으로 이루어진다.In addition, the traffic control server 5 stores the unexpected situation occurrence information transmitted from the traffic detectors 3-1, ..., and (3-N) and monitors it to perform a follow-up procedure for the unexpected situation. At this time, the sudden situation consists of parking and stopping on the shoulder, driving backwards, contact accidents, vehicle fixing, and falling objects.

교통검지기(3-1), ..., (3-N)들은 도로에 이격되게 설치되어 기 설정된 검지영역(S)을 촬영 및 열-탐지하여 영상(일반영상 및 열화상)을 획득한 후, 획득영상을 분석하여 차량정보 및 돌발 상황 발생정보를 생성함과 동시에 생성된 차량정보, 돌발 상황 발생정보 및 획득영상을 교통관제서버(5)로 전송한다.Traffic detectors (3-1), ..., (3-N) are installed at a distance on the road to capture and heat-detect a preset detection area (S) to acquire images (general images and thermal images). , The acquired image is analyzed to generate vehicle information and unexpected situation occurrence information, and at the same time, the generated vehicle information, unexpected situation occurrence information, and acquired image are transmitted to the traffic control server 5.

도 2를 참조하여 교통검지기(3)를 살펴보면, 교통검지기(3)는 도 2에 도시된 바와 같이, 겐트리(Gentry), 지주-암 등의 도로 구조물에 설치되는 하우징(31)과, 하우징(31)의 팬-틸트(Pan-tilt) 각도를 제어하는 팬-틸트 구동부(32)와, 촬영렌즈가 하우징(31)의 전면에 노출되게 설치되어 기 설정된 촬영영역(S)을 촬영하여 가시광 영상인 일반영상을 획득하는 일반카메라(33)와, 하우징(31)의 전면에 노출되게 설치되어 기 설정된 촬영영역(S)을 열-탐지 및 추적하여 열화상을 획득하는 열화상 카메라(34)와, 일반카메라(33) 및 열화상 카메라(34)에 의해 획득된 영상 및 열화상을 분석하여 차량을 검지한 후, 차량정보 및 돌발 상황 발생정보를 생성하여 교통관제서버(5)로 전송함과 동시에 기 설정된 주기(T) 마다 카메라(33), (34)들의 PTZ 최적값을 산출 및 제어하는 컨트롤러(30)로 이루어진다.Looking at the traffic detector 3 with reference to FIG. 2, the traffic detector 3 includes a housing 31 installed on road structures such as a gantry and a post-arm, as shown in FIG. The pan-tilt driving unit 32 that controls the pan-tilt angle of 31 and the photographing lens are installed to be exposed on the front of the housing 31 to capture a preset photographing area (S) for visible light. A general camera 33 that acquires a general image, which is an image, and a thermal imaging camera 34 that acquires a thermal image by thermally detecting and tracking a preset photographing area S that is installed to be exposed on the front of the housing 31 Wow, after detecting the vehicle by analyzing the image and thermal image acquired by the general camera 33 and the thermal imaging camera 34, the vehicle information and the unexpected occurrence information are generated and transmitted to the traffic control server 5 At the same time, it consists of a controller 30 that calculates and controls the optimal PTZ values of the cameras 33 and 34 at each preset period T.

도 4는 도 2의 일반카메라에 의해 획득된 일반영상을 나타내는 예시도이고, 도 5는 도 2의 열화상 카메라에 의해 획득된 열화상을 나타내는 예시도이다.FIG. 4 is an exemplary diagram showing a general image acquired by the general camera of FIG. 2, and FIG. 5 is an exemplary diagram illustrating a thermal image acquired by the thermal imaging camera of FIG. 2.

일반카메라(33)는 통상의 가시광 카메라이며, 기 설정된 촬영영역(S)을 촬영하여 도 4의 가시광 영상인 일반영상(210)을 획득하는 장치이다.The general camera 33 is a conventional visible light camera, and is a device that captures a preset photographing area S to obtain a general image 210 which is a visible light image of FIG. 4.

또한 일반카메라(33)는 촬영에 의해 획득된 일반영상을 컨트롤러(30)로 출력한다.In addition, the general camera 33 outputs a general image acquired by photographing to the controller 30.

또한 일반카메라(33)는 줌(Zoom) 제어가 지원됨에 따라 컨트롤러(30)의 제어를 통해 줌인(Zoom-In) 또는 줌아웃(Zoom-Out) 하여 촬영 가능하게 된다.In addition, as the general camera 33 supports zoom control, it is possible to take a picture by zooming in or zooming out through the control of the controller 30.

열화상 카메라(34)는 촬영영역(S)을 열 추적 및 탐지하여 도 5의 열화상(220)을 획득하는 장치이다.The thermal imaging camera 34 is a device that acquires the thermal image 220 of FIG. 5 by thermally tracking and detecting the photographing area S.

또한 열화상 카메라(34)는 열 추적 및 탐지에 의해 획득된 열화상(220)을 컨트롤러(30)로 출력한다.In addition, the thermal imaging camera 34 outputs the thermal image 220 obtained by thermal tracking and detection to the controller 30.

또한 열화상 카메라(34)는 줌(Zoom) 제어가 지원됨에 따라 컨트롤러(30)의 제어를 통해 줌인(Zoom-In) 또는 줌아웃(Zoom-Out) 하여 열-탐지 및 추적이 가능하게 된다.In addition, as the thermal imaging camera 34 supports zoom control, thermal detection and tracking are possible by zooming in or zooming out through the control of the controller 30.

팬-틸트 구동부(32)는 컨트롤러(30)의 제어에 따라 하우징(31)의 팬-틸트 회전각도를 제어하는 장치이다. 이때 일반카메라(33) 및 열화상 카메라(34)는 일체형으로 제작되어 하우징(31)의 내부에 설치되면서 촬영렌즈가 하우징(31)의 전면에 노출되게 설치됨에 따라 팬-틸트 구동부(32)의 제어에 따라 팬-틸트 회전각도가 결정되게 된다. 이때 컨트롤러(30)는 기 설정된 주기(T) 마다 PTZ 최적값을 산출한 후, 산출된 PTZ 최적값에 따라 일반카메라(33) 및 열화상 카메라(34)가 세팅되도록 이를 제어함으로써 바람, 진동 및 흔들림 등의 외력 또는 날씨, 조도, 시간 등의 외부 환경에 따른 카메라 PTZ 상태를 최적화하여 촬영이 이루어짐에 따라 획득영상의 선명도를 높여 교통검지의 정확성 및 신뢰도를 극대화시킬 수 있을 뿐만 아니라 영상분석 데이터를 기반으로 PTZ 설정이 이루어져 작업의 정밀도 및 효율성을 극대화시키기 위한 것이다.The pan-tilt driving unit 32 is a device that controls the pan-tilt rotation angle of the housing 31 under the control of the controller 30. At this time, the general camera 33 and the thermal imaging camera 34 are integrally manufactured and installed inside the housing 31 so that the photographing lens is installed to be exposed to the front of the housing 31, so that the pan-tilt driving unit 32 The pan-tilt rotation angle is determined according to the control. At this time, the controller 30 calculates the PTZ optimum value for each preset period (T), and then controls it so that the general camera 33 and the thermal imaging camera 34 are set according to the calculated PTZ optimum value. By optimizing the camera PTZ status according to external forces such as shaking or external environment such as weather, illumination, time, etc., it is possible to maximize the accuracy and reliability of traffic detection by maximizing the accuracy and reliability of traffic detection by increasing the clarity of the acquired image as the shooting takes place. PTZ is set based on this to maximize the precision and efficiency of work.

이와 같이 본 발명은 일반카메라(33) 및 열화상 카메라(34)가 일체형으로 제작됨과 동시에 PTZ 제어 가능하도록 구성됨으로써 각 카메라(33), (34)의 단점이 상호 보완되어 검지율을 극대화시킬 수 있을 뿐만 아니라 외력 및 외부 환경에 대응하여 PTZ를 최적화하여 촬영을 수행할 수 있게 된다.As described above, in the present invention, the general camera 33 and the thermal imaging camera 34 are integrally manufactured and configured to control PTZ at the same time, so that the disadvantages of the cameras 33 and 34 are complemented and the detection rate can be maximized. In addition, it is possible to perform shooting by optimizing PTZ in response to external forces and external environments.

도 6은 도 5의 컨트롤러를 나타내는 블록도이다.6 is a block diagram showing the controller of FIG. 5.

컨트롤러(30)는 도 6에 도시된 바와 같이, 제어부(300)와, 메모리(301), 통신 인터페이스부(302), 데이터 입출력부(303), 제1 영상분석 및 제1 객체 검지부(304), 제2 영상분석 및 제2 객체 검지부(305), 최종객체 결정부(306), 차량정보 생성부(307), 교통상황 분석부(308), PTZ 최적 관리부(309)로 이루어진다.As shown in FIG. 6, the controller 30 includes a control unit 300, a memory 301, a communication interface unit 302, a data input/output unit 303, a first image analysis and a first object detection unit 304. , A second image analysis and second object detection unit 305, a final object determination unit 306, a vehicle information generation unit 307, a traffic condition analysis unit 308, and a PTZ optimal management unit 309.

제어부(300)는 컨트롤러(30)의 O.S(Operating System)이며, 제어대상(301), (302), (303), (304), (305), (306), (307), (308), (309)들을 관리 및 제어한다.The control unit 300 is an OS (Operating System) of the controller 30, and the control targets 301, 302, 303, 304, 305, 306, 307, 308 , Manage and control 309.

또한 제어부(300)는 데이터 입출력부(303)를 통해 일반카메라(33)로부터 일반영상을 수신 받으면, 수신된 일반영상을 제1 영상분석 및 제1 객체 검지부(304)로 입력한다.Also, when receiving a general image from the general camera 33 through the data input/output unit 303, the controller 300 inputs the received general image to the first image analysis and first object detection unit 304.

또한 제어부(300)는 데이터 입출력부(303)를 통해 열화상 카메라(34)로부터 열화상을 수신 받으면, 수신된 열화상을 제2 영상분석 및 제2 객체 검지부(305)로 입력한다.In addition, when receiving a thermal image from the thermal imaging camera 34 through the data input/output unit 303, the controller 300 inputs the received thermal image to the second image analysis and second object detection unit 305.

또한 제어부(300)는 기 설정된 주기(T) 마다 PTZ 최적 관리부(309)를 실행시킴으로써 카메라(33), (34)들이 외력 및 외부 환경에 대응하는 최적의 PTZ로 촬영을 수행하도록 하여 획득영상의 선명도를 극대화시키도록 한다.In addition, the control unit 300 executes the PTZ optimal management unit 309 every preset period (T) so that the cameras 33 and 34 perform shooting at the optimal PTZ corresponding to the external force and the external environment. Try to maximize clarity.

또한 제어부(300)는 최종객체 결정부(306)에 의해 결정된 최종객체 정보를 차량정보 생성부(307) 및 교통상황 분석부(308)로 입력한다.In addition, the control unit 300 inputs the final object information determined by the final object determination unit 306 to the vehicle information generation unit 307 and the traffic condition analysis unit 308.

또한 제어부(300)는 통신 인터페이스부(302)를 제어하여 차량정보 생성부(307)에 의해 생성된 차량정보 또는 교통상황 분석부(308)에 의해 생성된 돌발 상황 확인정보가 교통관제서버(5)로 전송되도록 한다.In addition, the control unit 300 controls the communication interface unit 302 to transmit the vehicle information generated by the vehicle information generation unit 307 or the unexpected situation confirmation information generated by the traffic condition analysis unit 308 to the traffic control server 5 ).

메모리(301)에는 일반카메라(33)의 촬영에 의해 획득된 일반영상과, 열화상 카메라(34)의 열 추적 및 탐지에 의해 획득된 열화상이 임시 저장된다.The memory 301 temporarily stores a general image acquired by photographing by the general camera 33 and a thermal image acquired by thermal tracking and detection by the thermal imaging camera 34.

또한 메모리(301)에는 차량정보 생성부(307)에 의해 생성되는 차량정보와, 교통상황 분석부(308)에 의해 생성되는 돌발 상황 발생정보가 임시 저장된다.In addition, in the memory 301, vehicle information generated by the vehicle information generating unit 307 and unexpected situation occurrence information generated by the traffic condition analyzing unit 308 are temporarily stored.

또한 메모리(301)에는 해당 교통검지기(3)의 통신주소, 위치정보, 고유ID가 기 설정되어 저장된다.In addition, in the memory 301, the communication address, location information, and unique ID of the traffic detector 3 are preset and stored.

통신 인터페이스부(32)는 통신망(10)을 통해 교통관제서버(5)와 데이터를 송수신한다.The communication interface unit 32 transmits and receives data to and from the traffic control server 5 through the communication network 10.

데이터 입출력부(303)는 일반카메라(33), 열화상 카메라(34) 및 팬틸트 구동부(32)와 데이터를 입출력한다.The data input/output unit 303 inputs and outputs data to and from the general camera 33, the thermal imaging camera 34, and the pan/tilt driving unit 32.

이때 본 발명에서는 컨트롤러(30)와, 부속장비(32), (33), (34)들 사이의 데이터 송수신이 데이터 입출력부(303)를 통해 이루어지는 것으로 예를 들어 설명하였으나, 컨트롤러(30)와, 부속장비(32), (33), (34)들은 통신 인터페이스부(302)를 통해 데이터통신을 수행하는 것으로 구성될 수 있다.At this time, in the present invention, it has been described for example that data transmission and reception between the controller 30 and the accessory devices 32, 33, and 34 is performed through the data input/output unit 303, but the controller 30 and , Accessory devices 32, 33, and 34 may be configured to perform data communication through the communication interface unit 302.

제1 영상분석 및 제1 객체 검지부(304)는 일반카메라(33)의 촬영에 의해 획득된 일반영상이 입력되면, 메모리(301)에 저장된 기 설정된 영상분석 알고리즘을 이용하여 입력된 일반영상을 분석하여 차량, 보행자 및 낙하물(물체) 등의 제1 객체(Object)를 검출한다.The first image analysis and first object detection unit 304 analyzes the input general image using a preset image analysis algorithm stored in the memory 301 when a general image acquired by photographing by the general camera 33 is input. Thus, a first object such as a vehicle, a pedestrian, and a falling object (object) is detected.

예를 들어, 제1 영상분석 및 제1 객체 검지부(304)는 영상이 입력되면, 입력영상을 전처리한 후, 딥러닝모델을 이용하여 객체를 검출하도록 구성될 수 있고, 이러한 영상분석을 통해 객체를 검출하는 방법 및 기술은 영상분석시스템에 있어서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.For example, when an image is input, the first image analysis and first object detection unit 304 may be configured to pre-process the input image and then detect the object using a deep learning model. Since the method and technology for detecting is a technology commonly used in an image analysis system, a detailed description will be omitted.

또한 제1 영상분석 및 제1 객체 검지부(304)에 의해 검출된 제1 객체의 정보는 제어부(300)의 제어에 따라 최종객체 결정부(306)로 입력된다.In addition, information on the first object detected by the first image analysis and the first object detection unit 304 is input to the final object determination unit 306 under the control of the controller 300.

제2 영상분석 및 제2 객체 검지부(305)는 열화상 카메라(34)의 열 추적 및 탐지에 의해 획득된 열화상이 입력되면, 메모리(301)에 저장된 기 설정된 열화상 분석 알고리즘을 이용하여 입력된 열화상을 분석하여 열화상으로부터 차량, 보행자, 결빙 등의 제2 객체를 검출한다. 이때 열화상 분석을 통해 객체를 검출하는 방법 및 기술은 열화상 분석시스템에 있어서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.When a thermal image obtained by thermal tracking and detection of the thermal imaging camera 34 is input, the second image analysis and second object detection unit 305 inputs it using a preset thermal image analysis algorithm stored in the memory 301. The resulting thermal image is analyzed to detect second objects such as vehicles, pedestrians, and freezing from the thermal image. At this time, since the method and technology for detecting an object through thermal image analysis is a technology commonly used in a thermal image analysis system, a detailed description will be omitted.

또한 제2 영상분석 및 제2 객체 검지부(305)에 의해 검출된 제2 객체의 정보는 제어부(300)의 제어에 따라 최종객체 결정부(306)로 입력된다.In addition, information on the second object detected by the second image analysis and the second object detection unit 305 is input to the final object determination unit 306 under the control of the controller 300.

이와 같이 본 발명의 컨트롤러(30)는 일반카메라(33) 및 열화상 카메라(34)에 의해 획득된 일반영상 및 열화상을 분석하여 제1, 2 객체들을 각각 검출함으로써 1)차량 및 보행자 등의 객체를 중복하여 검출할 수 있기 때문에 검지율 및 정확성을 개선시킬 수 있을 뿐만 아니라 2)일반카메라(33)에 의해 검출될 수 없는 결빙 등의 제2 객체가 열화상 분석을 통해 검출 가능함과 동시에 열화상 카메라에 의해 검출될 수 없는 낙하물 등의 제1 객체가 일반영상의 분석을 통해 검출 가능하기 때문에 상호 단점을 보완하여 감지율을 현저히 높일 수 있게 된다.As described above, the controller 30 of the present invention analyzes the general image and thermal image acquired by the general camera 33 and the thermal imager 34 to detect the first and second objects, respectively, so that 1) vehicles and pedestrians Since objects can be duplicated and detected, detection rate and accuracy can be improved, as well as 2) second objects such as freezing that cannot be detected by the general camera 33 can be detected through thermal image analysis. Since a first object such as a falling object that cannot be detected by an image camera can be detected through analysis of a general image, it is possible to remarkably increase the detection rate by compensating for mutual disadvantages.

최종객체 결정부(306)는 제1, 2 영상분석 및 제1 객체 검지부(304), (305)들에 의해 검출된 제1, 2 객체들을 활용하여 최종객체를 검출한다.The final object determination unit 306 detects the final object by using the first and second objects detected by the first and second image analysis and the first object detection units 304 and 305.

차량정보 생성부(307)는 최종객체 결정부(306)에 검출된 최종객체들을 분석하여, 최종객체의 종류, 속도, 색상, 크기, 차간거리, 점유율, 정체율 등의 차량정보를 생성한다.The vehicle information generation unit 307 analyzes the final objects detected by the final object determination unit 306, and generates vehicle information such as the type, speed, color, size, inter-vehicle distance, occupancy rate, and congestion rate of the final object.

또한 차량정보 생성부(307)에 의해 생성된 차량정보는 제어부(300)의 제어에 따라 메모리(301)에 임시 저장됨과 동시에 통신 인터페이스부(302)를 통해 교통관제서버(5)로 전송된다.In addition, the vehicle information generated by the vehicle information generation unit 307 is temporarily stored in the memory 301 under the control of the controller 300 and transmitted to the traffic control server 5 through the communication interface unit 302.

도 7은 도 6의 교통상황 분석부를 나타내는 블록도이다.7 is a block diagram illustrating a traffic condition analysis unit of FIG. 6.

교통상황 분석부(308)는 최종객체 결정부(306)에 의해 결정된 최종객체의 궤적을 분석하여 돌발 상황이 발생되었는지를 판별한 후, 돌발 상황이 발생되었다고 판단될 때, 돌발 상황 발생정보를 생성한다. 이때 교통상황 분석부(308)에 의해 생성된 돌발 상황 발생정보는 제어부(300)의 제어에 따라 통신 인터페이스부(302)를 통해 교통관제서버(5)로 전송됨과 동시에 메모리(301)에 임시 저장된다.The traffic situation analysis unit 308 analyzes the trajectory of the final object determined by the final object determination unit 306 to determine whether an unexpected situation has occurred, and then, when it is determined that an unexpected situation has occurred, generates information about the occurrence of the unexpected situation. do. At this time, the unexpected situation occurrence information generated by the traffic situation analysis unit 308 is transmitted to the traffic control server 5 through the communication interface unit 302 under the control of the control unit 300 and temporarily stored in the memory 301. do.

또한 교통상황 분석부(308)는 도 7에 도시된 바와 같이, 최종객체 검출모듈(381)과, 궤적추적모듈(382), 안개여부 판단모듈(383), 차량사고 판단모듈(384), 결빙 판단모듈(385), 역주행 판단모듈(386), 낙하물 판단모듈(387), 불법주정차 판단모듈(388), 보행자 판단모듈(389), 서행차량 판단모듈(3891, 돌발 상황 발생정보 생성모듈(3892)로 이루어진다.In addition, as shown in FIG. 7, the traffic condition analysis unit 308 includes a final object detection module 381, a trajectory tracking module 382, a fog determination module 383, a vehicle accident determination module 384, and freezing. Judgment module 385, reverse driving judgment module 386, falling object judgment module 387, illegal parking judgment module 388, pedestrian judgment module 389, slow-going vehicle judgment module 3891, accident occurrence information generation module 3892 ).

이때 교통상황 분석부(308)의 각 모듈은 소프트웨어로 구현되는 것이 바람직하며, 각 모듈의 기능은 도 7에 한정되지 않으며, 사용자(User)의 선택에 따라 택일되어 사용되거나 또는 새로운 기능의 모듈이 추가될 수 있음은 당연하다.At this time, each module of the traffic condition analysis unit 308 is preferably implemented as software, and the function of each module is not limited to FIG. 7, and is selected and used according to the user's selection, or a module of a new function is used. It is natural that it can be added.

최종객체 검출모듈(381)은 최종객체 결정부(306)에 의해 결정된 최종객체들 각각의 위치정보를 검출한다.The final object detection module 381 detects location information of each of the final objects determined by the final object determination unit 306.

궤적추적모듈(382)은 최종객체 검출모듈(381)에 의해 검출된 최종객체들 각각의 위치정보를 활용하여 각 최종객체의 궤적을 추적한다.The trajectory tracking module 382 tracks the trajectory of each final object by using the location information of each of the final objects detected by the final object detection module 381.

예를 들어, 궤적추적모듈(382)은 SURF 알고리즘, 칼만필터, 헝가리안 할당 알고리즘, ANN 탐색 알고리즘 등이 적용될 수 있고, 이러한 영상분석을 통한 객체추적 기술 및 방법은 통상적으로 사용되는 기술 및 방법이기 때문에 상세한 설명은 생략하기로 한다.For example, the trajectory tracking module 382 may apply a SURF algorithm, a Kalman filter, a Hungarian allocation algorithm, an ANN search algorithm, etc., and object tracking techniques and methods through image analysis are commonly used techniques and methods. Therefore, detailed description will be omitted.

안개여부 판단모듈(383)은 제1 영상분석 및 제1 객체 검지부(304)에 의해 검출되는 제1 객체들의 수량(N1)과 제2 영상분석 및 제2 객체 검지부(305)에 의해 검출되는 제2 객체들의 수량(N2)을 산출한 후 산출된 수량들의 차이절대값이 기 설정된 임계치 미만일 때 해당 영역에 안개가 많아 시야가 확보되지 않은 것으로 판단한다.The fog determination module 383 includes the number N1 of the first objects detected by the first image analysis and the first object detection unit 304, and the second image analysis and the second object detection unit 305. 2 After calculating the quantity of objects N2, when the absolute difference between the calculated quantities is less than a preset threshold, it is determined that the field of view is not secured due to the large amount of fog.

또한 만약 안개여부 판단모듈(383)에 의해 해당 영역에 안개가 발생하였다고 판단되면, 제어부(300)의 제어에 따라 돌발 상황 발생정보 생성모듈(3892)이 실행된다.In addition, if it is determined that fog has occurred in the corresponding area by the fog determination module 383, the sudden situation occurrence information generation module 3896 is executed under the control of the controller 300.

차량사고 판단모듈(384)은 궤적추적모듈(382)에 의해 검출된 각 최종객체의 궤적정보를 분석하여 차량사고가 발생되었는지를 판단한다.The vehicle accident determination module 384 analyzes the trajectory information of each final object detected by the trajectory tracking module 382 to determine whether a vehicle accident has occurred.

이때 차량사고 판단모듈(384)은 검출된 최종객체들의 속도가 점차 낮아지다가 ‘0’이 됨과 동시에 후속 최종객체들의 속도가 정차하는 경우 차량사고가 발생하였다고 판단할 수 있다.At this time, the vehicle accident determination module 384 may determine that a vehicle accident has occurred when the speed of the detected final objects gradually decreases and then becomes "0" and the speed of the subsequent final objects stops.

또한 만약 차량사고 판단모듈(384)에 의해 차량 사고가 발생하였다고 판단되면, 제어부(300)의 제어에 따라 돌발 상황 발생정보 생성모듈(3892)이 구동된다.In addition, if it is determined that a vehicle accident has occurred by the vehicle accident determination module 384, the accidental occurrence information generation module 3892 is driven under the control of the controller 300.

결빙 판단모듈(385)은 제1 영상분석 및 제1 객체 검지부(304)에서는 검출되지 못하고 제2 영상분석 및 제2 객체 검지부(305)에 의해서만 검출되는 제2 객체들 중 온도가 임계치 미만이면서 도로의 온도와의 차이가 특정 값 이상으로 차이나는 경우, 해당 제2 객체를 결빙으로 판단한다.The freezing determination module 385 is a road with a temperature of less than a threshold among the second objects that are not detected by the first image analysis and first object detection unit 304 but only detected by the second image analysis and second object detection unit 305. When the difference with the temperature of is more than a specific value, the second object is determined as freezing.

또한 결빙 판단모듈(385)에 의해 노면에 결빙이 형성되었다고 판단되면, 제어부(300)의 제어에 따라 돌발 상황 발생정보 생성모듈(3892)이 실행된다.In addition, when it is determined that ice formation has been formed on the road surface by the ice determination module 385, the accidental occurrence information generation module 3892 is executed under the control of the controller 300.

역주행 판단모듈(386)은 궤적추적모듈(382)에 의해 검출된 궤적정보를 분석하여 동일한 차선 상에서 이동방향이 반대인 최종객체가 검출되는 경우 해당 최종객체를 역주행 차량이라고 판단한다.The reverse driving determination module 386 analyzes the trajectory information detected by the trajectory tracking module 382 and determines that the final object is a reverse driving vehicle when a final object whose movement direction is opposite is detected on the same lane.

또한 만약 역주행 판단모듈(386)에 의해 역주행 차량이 검출되면, 제어부(300)의 제어에 따라 돌발 상황 발생정보 생성모듈(3892)이 구동된다.In addition, if the reverse driving vehicle is detected by the reverse driving determination module 386, the sudden situation occurrence information generation module 3892 is driven under the control of the controller 300.

낙하물 판단모듈(387)은 궤적추적모듈(382)에 의해 검출된 궤적정보를 분석하여 이전 프레임 상에는 존재하지 않았던 최종객체가 검출된 이후 해당 최종 객체의 속도가 임계치 미만인 경우 도로에 낙하물이 떨어졌다고 판단한다.The falling object determination module 387 analyzes the trajectory information detected by the trajectory tracking module 382 and determines that the falling object has fallen on the road when the speed of the final object is less than the threshold value after the final object that did not exist in the previous frame is detected. do.

불법주정차 판단모듈(388)은 궤적추적모듈(382)에 의해 검출된 궤적정보를 분석하여 불법주정차 차량을 검출한다.The illegal parking determination module 388 analyzes the trajectory information detected by the trajectory tracking module 382 to detect illegal parking and stop vehicles.

또한 불법주정차 판단모듈(388)에 의해 불법주정차 차량이 검출되면, 제어부(300)의 제어에 따라 돌발 상황 발생정보 생성모듈(3892)이 구동된다.In addition, when an illegal parking vehicle is detected by the illegal parking determination module 388, the unexpected situation occurrence information generation module 3896 is driven under the control of the controller 300.

보행자 판단모듈(389)은 궤적추적모듈(382)에 의해 검출된 궤적정보를 분석하여 도로 상에 보행자가 존재하는지를 판단한다.The pedestrian determination module 389 analyzes the trajectory information detected by the trajectory tracking module 382 to determine whether a pedestrian exists on the road.

이때 보행자 판단모듈(389)은 검출된 최종객체들 중 속도가 임계치 미만이면서 도로 상에 위치한 최종객체를 보행자라고 판단한다.At this time, the pedestrian determination module 389 determines that the final object located on the road while the speed is less than the threshold among the detected final objects is a pedestrian.

또한 만약 보행자 판단모듈(389)에 의해 보행자가 검출되면, 제어부(300)의 제어에 따라 돌발 상황 발생정보 생성모듈(3892)이 구동된다.In addition, if a pedestrian is detected by the pedestrian determination module 389, the accidental occurrence information generation module 3892 is driven under the control of the controller 300.

서행차량 판단모듈(3891)은 궤적추적모듈(382)에 의해 검출된 궤적정보를 분석하여 서행차량을 검출한다.The slowing vehicle determination module 3891 detects the slowing vehicle by analyzing the trajectory information detected by the trajectory tracking module 382.

이때 서행차량 판단모듈(3891)은 검출된 최종객체들 중 다른 차량객체들에 비교하여 속도가 작은 차량을 서행차량이라고 판단한다.At this time, the slow-moving vehicle determination module 3891 determines that a vehicle having a small speed is a slow-moving vehicle by comparing it with other vehicle objects among the detected final objects.

또한 만약 서행차량 판단모듈(3891)에 의해 서행차량이 검출되면, 제어부(300)의 제어에 따라 돌발 상황 발생정보 생성모듈(3892)이 실행된다.In addition, if the slowing vehicle is detected by the slowing vehicle determination module 3891, the sudden situation occurrence information generation module 3896 is executed under the control of the controller 300.

돌발 상황 발생정보 생성모듈(3892)은 안개여부 판단모듈(383), 차량사고 판단모듈(384), 결빙 판단모듈(385), 역주행 판단모듈(386), 낙하물 판단모듈(387), 불법주정차 판단모듈(388), 보행자 판단모듈(389) 및 서행차량 판단모듈(3891) 중 적어도 하나 이상에 감지대상이 검출되는 경우 구동된다.The unexpected situation occurrence information generation module 3892 includes a fog determination module 383, a vehicle accident determination module 384, an ice determination module 385, a reverse driving determination module 386, a falling object determination module 387, and an illegal parking determination. It is driven when a detection target is detected by at least one of the module 388, the pedestrian determination module 389, and the slow moving vehicle determination module 3891.

또한 돌발 상황 발생정보 생성모듈(3892)은 실행 시, 돌발 상황에 관련된 내용정보, 영상프레임, 위치정보를 포함하는 돌발 상황 발생정보를 생성한다.In addition, when executed, the unexpected situation occurrence information generation module 3896 generates information about the occurrence of an unexpected situation including content information, image frames, and location information related to the unexpected situation.

또한 돌발 상황 발생정보 생성모듈(3892)에 의해 생성되는 돌발 상황 발생정보는 제어부(300)의 제어에 따라 교통관제서버(5)로 전송된다.In addition, the unexpected situation occurrence information generated by the sudden situation occurrence information generation module 3892 is transmitted to the traffic control server 5 under the control of the control unit 300.

도 8은 도 6의 PTZ 최적 관리부의 동작 과정을 설명하기 위한 플로차트이다.FIG. 8 is a flowchart illustrating an operation process of the PTZ optimal management unit of FIG. 6.

도 8의 PTZ 최적 관리방법(S1)은 도 7의 PTZ 최적 관리부(309)의 동작 과정을 설명하기 위한 순서도이다.The optimal PTZ management method (S1) of FIG. 8 is a flowchart illustrating an operation process of the optimal PTZ management unit 309 of FIG. 7.

PTZ 최적 관리방법(S1)은 도 8에 도시된 바와 같이, PTZ 레벨값 초기화단계(S10)와, 촬영 및 영상획득단계(S20), 영상분석 및 저장단계(S30), 팬-레벨값(PL) 최종값 여부 판단단계(S40), 팬-레벨값(PL) 추가단계(S50), 틸트-레벨값(TL) 최종값 여부 판단단계(S60), 틸트-레벨값(TL) 추가단계(S70), 팬-레벨값(PL) 초기화단계(S80), 줌-레벨값(ZL) 최종값 여부 판단단계(S90), 줌-레벨값(ZL) 추가단계(S100), 틸트-레벨값(TL) 초기화단계(S110), 팬-레벨값(PL) 초기화단계(S120), 차량인식 테이블 추출단계(S130), 차량객체 크기정보 추출단계(S140), 차량객체 크기 정상여부 판단단계(S150), 다음 프로파일 존재여부 탐색단계(S160), 다음 프로파일 추출단계(S170), 해당 레벨값의 도로 프로파일 추출단계(S180), 도로지향각도 정상여부 판단단계(S190), PTZ 최적값 설정단계(S191), PTZ 제어단계(S192)로 이루어진다.As shown in FIG. 8, the optimal PTZ management method (S1) includes a PTZ level value initialization step (S10), a photographing and image acquisition step (S20), an image analysis and storage step (S30), and a pan-level value (PL). ) Final value determination step (S40), pan-level value (PL) addition step (S50), tilt-level value (TL) final value determination step (S60), tilt-level value (TL) addition step (S70 ), pan-level value (PL) initialization step (S80), zoom-level value (ZL) final value determination step (S90), zoom-level value (ZL) addition step (S100), tilt-level value (TL) ) Initialization step (S110), fan-level value (PL) initialization step (S120), vehicle recognition table extraction step (S130), vehicle object size information extraction step (S140), vehicle object size determination step (S150), Next profile existence search step (S160), next profile extraction step (S170), road profile extraction step of the corresponding level value (S180), road orientation angle determination step (S190), PTZ optimum value setting step (S191), It consists of a PTZ control step (S192).

PTZ 레벨값 초기화단계(S10)는 가시광 카메라(33)의 팬-틸트-줌(PTZ)의 레벨값을 초기화시키는 단계이다. 이때 레벨값은 가시광 카메라(33)에서 지원되는 팬-틸트-줌(PTZ)의 이동량의 범위를 분류한 데이터를 의미한다.The PTZ level value initialization step (S10) is a step of initializing the level value of the pan-tilt-zoom (PTZ) of the visible light camera 33. In this case, the level value refers to data obtained by classifying the range of the movement amount of the pan-tilt-zoom PTZ supported by the visible light camera 33.

예를 들어, 가시광 카메라(33)의 패닝(Panning)의 회전 가능한 각도는 팬-레벨값(PL)들로 분류 및 설정되어 저장되고, 가시광 카메라(33)의 틸팅(Tilting)의 회전 가능한 각도는 틸트-레벨값(TL)들로 분류 및 설정되어 저장되고, 가시광 카메라(33)의 지원 가능한 줌(Zoom) 크기는 줌-레벨값(ZL)들로 분류 및 설정되어 저장된다.For example, the rotatable angle of panning of the visible light camera 33 is classified and set as pan-level values (PL) and stored, and the rotatable angle of the tilting of the visible light camera 33 is It is classified and set as tilt-level values TL, and is stored, and the supportable zoom size of the visible light camera 33 is classified and set as zoom-level values ZL and stored.

즉 PTZ 레벨값 초기화단계(S10)는 팬-레벨값(PL), 틸트-레벨값(TL) 및 줌-레벨값(ZL)들 각각을 ‘1’로 초기화시킨다.That is, in the PTZ level value initialization step (S10), each of the pan-level value (PL), the tilt-level value (TL), and the zoom-level value (ZL) is initialized to '1'.

촬영 및 영상획득단계(S20)는 PTZ 레벨값 초기화단계(S10)에 의해 PTZ 레벨값이 초기화된 상태로 가시광 카메라(33)가 세팅되면, 초기화 상태의 가시광 카메라(33)로 트리거신호(Trigger-signal)를 출력하여 가시광 카메라(33)의 촬영이 이루어지도록 함과 동시에 가시광 카메라(33)의 촬영에 의해 획득된 영상을 획득하는 단계이다.In the shooting and image acquisition step (S20), when the visible light camera 33 is set with the PTZ level value initialized by the PTZ level value initialization step (S10), a trigger signal (Trigger- signal) to be photographed by the visible light camera 33 and at the same time obtaining an image obtained by photographing by the visible light camera 33.

영상분석 및 저장단계(S30)는 촬영 및 영상획득단계(S20)에서 획득된 영상을 분석하여 차량객체 및 도로객체를 검출하는 단계이다. 이때 영상프레임의 분석을 통해 차량, 도로 등의 특정 객체를 검출하는 기술 및 방법은 영상분석시스템에 있어서 통상적으로 사용되는 기술 및 방법이기 때문에 상세한 설명은 생략하기로 한다.The image analysis and storage step (S30) is a step of detecting a vehicle object and a road object by analyzing the image acquired in the photographing and image acquisition step (S20). At this time, since the technology and method for detecting a specific object such as a vehicle or a road through the analysis of the image frame is a technology and method commonly used in the image analysis system, a detailed description will be omitted.

또한 영상분석 및 저장단계(S30)는 차량객체가 검출되면, 검출된 차량객체의 크기(픽셀크기)를 산출한 후, 산출된 차량객체 크기정보를 해당 PTZ 레벨값과 매칭시켜 차량 프로파일을 생성하며, 생성된 차량 프로파일을 메모리에 저장한다.In addition, in the image analysis and storage step (S30), when a vehicle object is detected, the size (pixel size) of the detected vehicle object is calculated, and then the calculated vehicle object size information is matched with a corresponding PTZ level value to generate a vehicle profile. , Save the generated vehicle profile to the memory.

또한 영상분석 및 저장단계(S30)는 도로객체가 검출되면, 검출된 도로객체의 지향방향(각도)과 카메라의 지향방향(각도)을 검출한 후, 이들의 차이값(△θ)을 산출하며, 산출된 차이값(△θ)을 해당 PTZ 레벨값과 매칭시켜 도로 프로파일을 생성하며, 생성된 도로 프로파일을 메모리에 저장한다.In addition, in the image analysis and storage step (S30), when a road object is detected, the orientation direction (angle) of the detected road object and the orientation direction (angle) of the camera are detected, and then the difference value (Δθ) is calculated. , A road profile is generated by matching the calculated difference value (Δθ) with a corresponding PTZ level value, and the generated road profile is stored in a memory.

이때 도로지향방향이라고 함은 프레임 상에서 도로의 길이(주행)방향의 각도를 의미하고, 카메라 지향방향이라고 함은 카메라의 촬영 각도를 의미한다.At this time, the road-oriented direction means the angle of the length (driving) direction of the road on the frame, and the camera-oriented direction means the shooting angle of the camera.

팬-레벨값(PL) 최종값 여부 판단단계(S40)는 현재 팬-레벨값(PL)이 최종 레벨값인지 여부를 판단하는 단계이다.The pan-level value (PL) determining whether the final value (S40) is a step of determining whether the current pan-level value (PL) is the final level value.

또한 팬-레벨값(PL) 최종값 여부 판단단계(S40)는 만약 현재 팬-레벨값(PL)이 최종 레벨값이 아니면, 다음 단계로 팬-레벨값(PL) 추가단계(S50)를 진행하며, 만약 현재 팬-레벨값(PL)이 최종 레벨값이면, 다음 단계로 틸트-레벨값(TL) 최종값 여부 판단단계(S60)를 진행한다.In addition, in the pan-level value (PL) determination step (S40), if the current pan-level value (PL) is not the final level value, the pan-level value (PL) addition step (S50) proceeds to the next step. And, if the current pan-level value PL is the final level value, the next step proceeds to determining whether the tilt-level value TL is the final value (S60).

팬-레벨값(PL) 추가단계(S50)는 팬-레벨값(PL) 최종값 여부 판단단계(S40)에서 현재 팬-레벨값(PL)이 최종 레벨값이 아니라고 판단될 때 진행되며, 현재 팬-레벨값(PL)에 ‘1’을 추가(PL=PL+1)하며, 다음 단계로 촬영 및 영상획득단계(S20)로 돌아가 이후 과정을 재반복한다.The pan-level value (PL) addition step (S50) proceeds when it is determined that the current pan-level value (PL) is not the final level value in the pan-level value (PL) determination step (S40), and the current A '1' is added to the pan-level value PL (PL=PL+1), and the next step returns to the shooting and image acquisition step S20, and the subsequent process is repeated.

틸트-레벨값(TL) 최종값 여부 판단단계(S60)는 팬-레벨값(TL) 최종값 여부 판단단계(S40)에서 팬-레벨값(TL)이 최종 레벨값이라고 판단될 때 진행되며, 현재 틸트-레벨값(TL)이 최종 레벨값인지 여부를 판단하는 단계이다.The tilt-level value (TL) determination step (S60) is performed when the pan-level value (TL) is determined to be the final level value in the pan-level value (TL) determination step (S40), This is a step of determining whether the current tilt-level value TL is the final level value.

또한 틸트-레벨값(TL) 최종값 여부 판단단계(S60)는 만약 현재 틸트-레벨값(TL)이 최종 레벨값이 아니면, 다음 단계로 틸트-레벨값(TL) 추가단계(S70)를 진행하며, 만약 현재 틸트-레벨값(TL)이 최종 레벨값이면, 다음 단계로 줌-레벨값(ZL) 최종값 여부 판단단계(S90)를 진행한다.In addition, in the determining whether the tilt-level value TL is the final value (S60), if the current tilt-level value TL is not the final level value, the tilt-level value TL additional step (S70) proceeds to the next step. And, if the current tilt-level value TL is the final level value, the next step proceeds to a step S90 of determining whether the zoom-level value ZL is the final value.

틸트-레벨값(TL) 추가단계(S70)는 틸트-레벨값(TL) 최종값 여부 판단단계(S60)에서 현재 틸트-레벨값(TL)이 최종 레벨값이 아니라고 판단될 때 진행되며, 현재 틸트-레벨값(TL)에 ‘1’을 추가(TL=TL+1)하는 단계이며, 다음 단계로 PL 초기화단계(S80)를 진행한다.The tilt-level value (TL) addition step (S70) proceeds when it is determined that the current tilt-level value (TL) is not the final level value in the final tilt-level value (TL) determination step (S60). This is a step of adding '1' to the tilt-level value TL (TL=TL+1), and a PL initialization step (S80) is performed as the next step.

PL 초기화단계(S80)는 현재 팬-레벨값(PL)을 ‘1’로 초기화하는 단계이며, 다음 단계로 촬영 및 영상획득단계(S20)로 돌아가 이후 과정을 재반복한다.The PL initialization step (S80) is a step of initializing the current pan-level value (PL) to '1', and the next step returns to the photographing and image acquisition step (S20) and repeats the subsequent process again.

줌-레벨값(ZL) 최종값 여부 판단단계(S90)는 현재 줌-레벨값(ZL)이 최종 레벨값인지 여부를 판단하는 단계이다.The determining whether the zoom-level value ZL is a final value (S90) is a step of determining whether the current zoom-level value ZL is a final level value.

또한 줌-레벨값(ZL) 최종값 여부 판단단계(S90)는 만약 현재 줌-레벨값(ZL)이 최종 레벨값이 아니라고 판단되면, 다음 단계로 줌-레벨값(ZL) 추가단계(S100)를 진행하며, 만약 현재 줌-레벨값(ZL)이 최종 레벨값이라고 판단되면, 다음 단계로 차량인식 테이블 추출단계(S130)를 진행한다.In addition, if it is determined that the zoom-level value (ZL) is the final value (S90), if it is determined that the current zoom-level value (ZL) is not the final level value, the next step is to add the zoom-level value (ZL) (S100). When it is determined that the current zoom-level value ZL is the final level value, the vehicle recognition table extraction step S130 is performed as a next step.

줌-레벨값(ZL) 추가단계(S100)는 줌-레벨값(ZL) 최종값 여부 판단단계(S90)에서 줌-레벨값(ZL)이 최종 레벨값이라고 판단될 때 진행되며, 현재 줌-레벨값(TL)에 ‘1’을 추가(ZL=ZL+1)하는 단계이며, 다음 단계로 틸트-레벨값(TL) 초기화단계(S110)를 진행한다.The zoom-level value (ZL) addition step (S100) proceeds when it is determined that the zoom-level value (ZL) is the final level value in the determining whether the zoom-level value (ZL) is the final value (S90), and the current zoom- This is a step of adding '1' to the level value TL (ZL=ZL+1), and the tilt-level value TL initialization step S110 is performed as the next step.

틸트-레벨값(TL) 초기화단계(S110)는 틸트-레벨값(TL)을 ‘1’로 초기화하는 단계이다.The tilt-level value TL initialization step S110 is a step of initializing the tilt-level value TL to '1'.

팬-레벨값(PL) 초기화단계(S120)는 팬-레벨값(PL)을 ‘1’로 초기화하는 단계이며, 다음 단계로 촬영 및 영상획득단계(S20)로 돌아가 이후 과정을 재반복한다.The pan-level value (PL) initialization step (S120) is a step of initializing the pan-level value (PL) to '1', and the next step returns to the photographing and image acquisition step (S20) and repeats the subsequent process again.

차량인식 테이블 추출단계(S130)는 줌-레벨값(ZL) 최종값 여부 판단단계(S90)에서 현재 줌-레벨값(ZL)이 최종 레벨값이라고 판단될 때 진행되며, 영상분석 및 저장단계(S30)에 의해 저장된 데이터들을 탐색하여 이들 중 차량 프로파일 데이터들인 차량인식 테이블을 추출한 후, 추출된 차량인식 테이블에서, 첫 번째 순서의 차량 프로파일을 추출하는 단계이다.The vehicle recognition table extraction step (S130) is performed when the current zoom-level value (ZL) is determined to be the final level value in the zoom-level value (ZL) determination step (S90), and the image analysis and storage step ( This is a step of searching the data stored by S30), extracting a vehicle recognition table, which is vehicle profile data among them, and then extracting a vehicle profile in the first order from the extracted vehicle recognition table.

즉 차량인식 테이블 추출단계(S130)는 모든 PTZ 레벨값들로 촬영된 영상들 중 차량객체가 검출되지 않은 영상은 필터링 하되, 차량객체가 검출된 영상들만을 활용하여 PTZ 최적화가 이루어지도록 한다.That is, in the vehicle recognition table extraction step (S130), an image in which a vehicle object is not detected among images captured with all PTZ level values is filtered, but PTZ optimization is performed using only images in which the vehicle object is detected.

차량객체 크기정보 추출단계(S140)는 차량인식 테이블 추출단계(S130)에 의해 추출되거나 또는 다음 프로파일 추출단계(S170)에 의해 추출된 차량 프로파일로부터 차량객체 크기정보를 추출하는 단계이다. 이때 순서라고 함은 PTZ의 레벨값을 작은 크기부터의 순서를 의미한다.The vehicle object size information extraction step (S140) is a step of extracting vehicle object size information from the vehicle profile extracted by the vehicle recognition table extraction step (S130) or the next profile extraction step (S170). At this time, the order means the order of the PTZ level values from the smallest size.

차량객체 크기 정상여부 판단단계(S150)는 차량객체 크기정보 추출단계(S140)에 의해 추출된 차량객체 크기정보를 기 설정된 설정범위와 비교하는 단계이다.The determining whether the vehicle object size is normal (S150) is a step of comparing the vehicle object size information extracted by the vehicle object size information extraction step (S140) with a preset range.

이때 설정범위는 현재의 PTZ 제어값이 최적이라고 판단할 수 있는 차량객체의 픽셀크기 범위를 의미한다.In this case, the setting range means the range of the pixel size of the vehicle object that can be determined that the current PTZ control value is optimal.

또한 차량객체 크기 정상여부 판단단계(S150)는 만약 차량객체 크기가 설정범위에 포함되면, 다음 단계로 해당 레벨값의 도로 프로파일 추출단계(S180)를 진행하며, 만약 차량객체 크기가 설정범위를 벗어나면, 다음 프로파일 존재여부 탐색단계(S160)를 진행한다.In addition, in the determining whether the vehicle object size is normal (S150), if the vehicle object size is included in the set range, the next step is the road profile extraction step (S180) of the corresponding level value, and if the vehicle object size is out of the set range. If so, the next profile existence search step (S160) is performed.

다음 프로파일 존재여부 탐색단계(S160)는 차량객체 크기 정상여부 판단단계(S150)에서 차량객체 크기가 설정범위를 벗어난다고 판단될 때 진행되며, 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하는지를 판단하는 단계이다.The next profile existence search step (S160) proceeds when it is determined that the vehicle object size is out of the set range in the vehicle object size determination step (S150), and determines whether the vehicle profile in the next order exists in the vehicle recognition table. Step.

또한 다음 프로파일 존재여부 탐색단계(S160)는 만약 차량인식 테이블 추출단계(S130)에 의해 추출된 차량인식 테이블에 다음 순서의 차량 프로파일이 존재한다고 판단되면, 다음 단계로 다음 프로파일 추출단계(S170)를 진행하며, 만약 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하지 않는다고 판단되면, 동작을 종료한다.In addition, the next profile existence search step (S160), if it is determined that the vehicle profile in the next order exists in the vehicle recognition table extracted by the vehicle recognition table extraction step (S130), the next profile extraction step (S170) is performed as the next step. The process proceeds, and if it is determined that the vehicle profile of the next sequence does not exist in the vehicle recognition table, the operation is terminated.

다음 프로파일 추출단계(S170)는 다음 프로파일 존재여부 탐색단계(S160)에서 차량인식 테이블에 다음 순서의 차량 프로파일이 존재한다고 판단될 때 진행되며, 차량인식 테이블로부터 다음 순서의 차량 프로파일을 추출하는 단계이다.The next profile extraction step (S170) is performed when it is determined that a vehicle profile in the next order exists in the vehicle recognition table in the search step (S160) for the existence of the next profile, and is a step of extracting a vehicle profile in the next order from the vehicle recognition table. .

또한 다음 프로파일 추출단계(S170)는 다음 단계로 차량객체 크기정보 추출단계(S140)로 돌아가 과정을 반복한다. 이때 차량객체 크기정보 추출단계(S140)는 다음 프로파일 추출단계(S170)에 의해 추출된 차량 프로파일로부터 차량객체 크기정보를 추출한 후, 전술하였던 과정을 반복한다.In addition, the next profile extraction step (S170) returns to the vehicle object size information extraction step (S140) as the next step and repeats the process. At this time, in the vehicle object size information extraction step (S140), the vehicle object size information is extracted from the vehicle profile extracted by the next profile extraction step (S170), and then the above-described process is repeated.

해당 레벨값의 도로 프로파일 추출단계(S180)는 차량객체 크기 정상여부 판단단계(S150)에서 차량객체 크기가 설정범위에 포함된다고 판단될 때 진행되며, 해당 PTZ 레벨값의 도로 프로파일 정보를 추출한다. 이때 도로 프로파일 정보에는, 도로객체의 지향방향(각도) 및 카메라의 지향방향(각도)의 차이값(△θ) 정보가 포함된다.The road profile extraction step (S180) of the corresponding level value is performed when it is determined that the vehicle object size is included in the set range in the determination step (S150) of whether the vehicle object size is normal, and the road profile information of the corresponding PTZ level value is extracted. At this time, the road profile information includes information on a difference value (Δθ) between the orientation direction (angle) of the road object and the orientation direction (angle) of the camera.

도로지향각도 정상여부 판단단계(S190)는 해당 레벨값의 도로 프로파일 추출단계(S180)에 의해 검출된 차이값(△θ)을 기 설정된 임계치와 비교하는 단계이며, 1)만약 차이값(△θ)이 임계치를 초과하면, 다음 단계로 다음 프로파일 존재여부 탐색단계(S160)로 돌아가 이후 과정을 반복하고, 2)만약 차이값(△θ)이 임계치 이하이면, 다음 단계로 PTZ 최적값 설정단계(S191)를 진행한다.The determining whether the road orientation angle is normal (S190) is a step of comparing the difference value (Δθ) detected by the road profile extraction step (S180) of the corresponding level value with a preset threshold, 1) If the difference value (Δθ) ) Exceeds the threshold value, the next step returns to the next profile presence search step (S160) and repeats the subsequent process. 2) If the difference value Δθ is less than the threshold value, the next step is the PTZ optimal value setting step ( S191) proceeds.

이때 임계치는 카메라의 촬영방향이 정상이라고 판단할 수 있는 도로지향방향 및 카메라 지향방향의 차이값의 최대값으로 정의된다.At this time, the threshold is defined as the maximum value of the difference value between the camera-oriented direction and the road-oriented direction that can be determined that the photographing direction of the camera is normal.

PTZ 최적값 설정단계(S191)는 도로지향각도 정상여부 판단단계(S190)에서 차이값(△θ)이 임계치 미만일 때 진행되며, 해당 PTZ 레벨값을 PTZ 최적값으로 결정하는 단계이다.The PTZ optimal value setting step (S191) is performed when the difference value (Δθ) is less than the threshold value in the determining whether the road orientation angle is normal (S190), and is a step of determining the corresponding PTZ level value as the PTZ optimal value.

PTZ 제어단계(S192)는 가시광 카메라(33) 및 열화상 카메라(34)가 PTZ 최적값 설정단계(S191)에 의해 설정된 PTZ 최적값으로 세팅되도록 이들을 제어하는 단계이다.The PTZ control step S192 is a step of controlling the visible light camera 33 and the thermal imaging camera 34 to be set to the optimal PTZ values set by the PTZ optimal value setting step S191.

도 9는 도 8의 PTZ 최적 관리방법의 제2 실시예를 나타내는 플로차트이다.9 is a flowchart showing a second embodiment of the optimal PTZ management method of FIG. 8.

도 9의 제2 PTZ 최적 관리방법(S200)은 본 발명의 PTZ최적 관리부(309)의 동작 과정의 제2 실시예를 나타낸 것이다.The second PTZ optimal management method (S200) of FIG. 9 shows a second embodiment of the operation process of the PTZ optimal management unit 309 of the present invention.

또한 제2 PTZ 최적 관리방법(S200)은 도 9에 도시된 바와 같이, 전술하였던 도 8과 동일한 동작 및 과정으로 이루어지는 PTZ 레벨값 초기화단계(S10)와, 촬영 및 영상획득단계(S20), 영상분석 및 저장단계(S30), 팬-레벨값(PL) 최종값 여부 판단단계(S40), 팬-레벨값(PL) 추가단계(S50), 틸트-레벨값(TL) 최종값 여부 판단단계(S60), 틸트-레벨값(TL) 추가단계(S70), 팬-레벨값(PL) 초기화단계(S80), 줌-레벨값(ZL) 최종값 여부 판단단계(S90), 줌-레벨값(ZL) 추가단계(S100), 틸트-레벨값(TL) 초기화단계(S110), 팬-레벨값(PL) 초기화단계(S120)를 포함한다.In addition, as shown in FIG. 9, the second PTZ optimal management method (S200) includes a PTZ level value initialization step (S10), a photographing and image acquisition step (S20), and an image comprising the same operations and processes as in FIG. Analysis and storage step (S30), pan-level value (PL) final value determination step (S40), pan-level value (PL) addition step (S50), tilt-level value (TL) final value determination step ( S60), tilt-level value (TL) addition step (S70), pan-level value (PL) initialization step (S80), zoom-level value (ZL) final value determination step (S90), zoom-level value ( ZL) an additional step (S100), a tilt-level value (TL) initialization step (S110), and a pan-level value (PL) initialization step (S120).

또한 제2 PTZ 최적 관리방법(S200)은 파노라마 영상 생성단계(S230)와, 도로 프로파일 추출단계(S240), 제1 필터링 단계(S250), 차량인식 테이블 추출단계(S251), 차량 객체크기 정보 추출단계(S260), 차량객체 크기 정상여부 판단단계(S270), 다음 프로파일 존재여부 탐색단계(S280), 다음 차량 프로파일 추출단계(S290), 제2 PTZ 최적값 설정단계(S291), 제2 PTZ 제어단계(S292)를 더 포함한다.In addition, the second PTZ optimal management method (S200) includes a panorama image generation step (S230), a road profile extraction step (S240), a first filtering step (S250), a vehicle recognition table extraction step (S251), and vehicle object size information extraction. Step (S260), determining whether the vehicle object size is normal (S270), searching for the existence of the next profile (S280), extracting the next vehicle profile (S290), setting the second PTZ optimum value (S291), and controlling the second PTZ It further includes step S292.

파노라마 영상 생성단계(S230)는 영상분석 및 저장단계(S30)에 의해 저장된 영상, 즉 각 PTZ 레벨값으로 촬영된 영상들을 가공 및 활용하여 파노라마 영상을 생성하는 단계이다.The panoramic image generation step (S230) is a step of generating a panoramic image by processing and utilizing the images stored in the image analysis and storage step (S30), that is, images captured with each PTZ level value.

이때 복수개의 영상들을 병합 및 정합하여 파노라마 영상을 생성하는 기술 및 방법은 영상처리시스템에서 통상적으로 사용되는 기술 및 방법이기 때문에 상세한 설명은 생략하기로 한다. At this time, since a technique and method for generating a panoramic image by merging and matching a plurality of images is a technique and a method commonly used in an image processing system, a detailed description will be omitted.

도로 프로파일 추출단계(S240)는 영상분석 및 저장단계(S30)에 의해 생성된 각 PTZ 레벨값에 대한 도로 프로파일 데이터들을 추출하는 단계이다.The road profile extraction step (S240) is a step of extracting road profile data for each PTZ level value generated by the image analysis and storage step (S30).

제1 필터링 단계(S250)는 우선, 도로 프로파일 추출단계(S240)에 의해 추출된 도로 프로파일 데이터들을 참조하여, 파노라마 영상의 개별영상들 중 도로 객체를 인식하지 못한, 즉 도로 프로파일이 생성되지 않은 PTZ 레벨값의 개별영상들을 1차적으로 제거한다.The first filtering step (S250) first refers to the road profile data extracted by the road profile extraction step (S240), and the PTZ that does not recognize a road object among individual images of the panoramic image, that is, a road profile is not generated. The individual images of the level value are firstly removed.

또한 제1 필터링 단계(S250)는 도로 프로파일 추출단계(S240)에 의해 추출된 도로 프로파일들 각각에 포함된 차이값(△θ)들을 추출한 후, 추출된 차이값(△θ)들 각각을 임계치와 비교하며, 1차 필터링 된 파노라마 영상의 개별영상들 중 차이값(△θ)이 임계치 이상인 개별영상들을 제거하는 2차 필터링 작업을 수행한다.In addition, in the first filtering step (S250), after extracting the difference values (Δθ) included in each of the road profiles extracted by the road profile extraction step (S240), each of the extracted difference values (Δθ) to a threshold value It compares, and performs a second filtering operation of removing individual images whose difference value Δθ is greater than or equal to a threshold value among individual images of the first filtered panoramic image.

차량인식 테이블 추출단계(S251)는 제1 필터링 단계(S250)를 통과하고 남은 파노라마 영상의 개별영상들 각각의 PTZ 레벨값에 대응되는 차량 프로파일 데이터들인 차량인식 테이블을 추출한 후, 추출된 차량인식 테이블로부터 첫 번째 순서의 차량 프로파일을 추출하는 단계이다.In the vehicle recognition table extraction step (S251), after the vehicle recognition table, which is vehicle profile data corresponding to the PTZ level value of each of the individual images of the panoramic image remaining after passing through the first filtering step (S250), is extracted, the extracted vehicle recognition table This is the step of extracting the vehicle profile in the first order from.

차량객체 크기정보 추출단계(S260)는 차량인식 테이블 추출단계(S251)에 의해 추출되거나 또는 다음 프로파일 추출단계(S290)에 의해 추출된 차량 프로파일에 포함된 차량객체 크기정보를 추출하는 단계이다. 이때 순서는 PTZ 레벨값의 순서를 의미한다.The vehicle object size information extraction step (S260) is a step of extracting the vehicle object size information included in the vehicle profile extracted by the vehicle recognition table extraction step (S251) or the next profile extraction step (S290). At this time, the order means the order of the PTZ level values.

차량객체 크기 정상여부 판단단계(S270)는 차량객체 크기정보 추출단계(S260)에 의해 추출된 차량객체 크기정보를 기 설정된 설정범위와 비교하는 단계이다.The determining whether the vehicle object size is normal (S270) is a step of comparing the vehicle object size information extracted by the vehicle object size information extraction step (S260) with a preset range.

이때 설정범위는 현재의 PTZ 제어값이 최적이라고 판단할 수 있는 차량객체의 픽셀크기 범위를 의미한다.In this case, the setting range means the range of the pixel size of the vehicle object that can be determined that the current PTZ control value is optimal.

또한 차량객체 크기 정상여부 판단단계(S270)는 만약 차량객체 크기가 설정범위에 포함되면, 다음 단계로 PTZ 최적값 설정단계(S291)를 진행하며, 만약 차량객체 크기가 설정범위를 벗어나면, 다음 프로파일 존재여부 탐색단계(S280)를 진행한다.In addition, in the determining whether the vehicle object size is normal (S270), if the vehicle object size is included in the setting range, the PTZ optimum value setting step (S291) is performed as the next step.If the vehicle object size is out of the setting range, the next Proceeds to the step of searching for the existence of a profile (S280).

다음 프로파일 존재여부 탐색단계(S280)는 차량객체 크기 정상여부 판단단계(S270)에서 차량객체 크기가 설정범위를 벗어난다고 판단될 때 진행되며, 차량인식 테이블 추출단계(S251)에 의해 추출된 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하는 판단하는 단계이다.The next profile presence search step (S280) proceeds when it is determined that the vehicle object size is out of the set range in the vehicle object size determination step (S270), and vehicle recognition extracted by the vehicle recognition table extraction step (S251) This is the step of determining that the next vehicle profile exists in the table.

또한 다음 프로파일 존재여부 탐색단계(S270)는 만약 차랑인식 테이블에 다음 순서의 차량 프로파일이 존재한다고 판단되면, 다음 단계로 다음 프로파일 추출단계(S290)를 진행하며, 만약 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하지 않는다고 판단되면, 동작을 종료한다.In addition, in the next profile existence search step (S270), if it is determined that the vehicle profile in the next order exists in the vehicle car recognition table, the next profile extraction step (S290) proceeds to the next step. If it is determined that the profile does not exist, the operation is terminated.

다음 프로파일 추출단계(S290)는 다음 프로파일 존재여부 탐색단계(S280)에서 차량인식 테이블에 다음 순서의 차량 프로파일이 존재한다고 판단될 때 진행되며, 차량인식 테이블로부터 다음 순서의 차량 프로파일을 추출하는 단계이다.The next profile extraction step (S290) is performed when it is determined that a vehicle profile in the next order exists in the vehicle recognition table in the search step (S280) for the existence of the next profile, and is a step of extracting a vehicle profile in the next order from the vehicle recognition table. .

또한 다음 프로파일 추출단계(S290)는 다음 단계로 차량객체 크기정보 추출단계(S260)로 돌아가 과정을 반복한다. 이때 차량객체 크기정보 추출단계(S260)는 다음 프로파일 추출단계(S290)에 의해 추출된 차량 프로파일로부터 차량객체 크기정보를 추출한 후, 전술하였던 과정을 반복한다.In addition, the next profile extraction step (S290) returns to the vehicle object size information extraction step (S260) as the next step and repeats the process. At this time, in the vehicle object size information extraction step (S260), after extracting the vehicle object size information from the vehicle profile extracted by the next profile extraction step (S290), the above-described process is repeated.

제2 PTZ 최적값 설정단계(S291)는 차량객체 크기 정상여부 판단단계(S270)에서 차량객체 크기가 설정범위에 포함된다고 판단될 때 진행되며, 해당 PTZ 레벨값을 PTZ 최적값으로 결정하는 단계이다.The second PTZ optimal value setting step (S291) is performed when it is determined that the vehicle object size is within the setting range in the determining whether the vehicle object size is normal (S270), and is a step of determining the corresponding PTZ level value as the PTZ optimal value. .

제2 PTZ 제어단계(S292)는 가시광 카메라(33) 및 열화상 카메라(34)가 제2 PTZ 최적값 설정단계(S291)에 의해 설정된 PTZ 최적값으로 세팅되도록 이들을 제어하는 단계이다.The second PTZ control step S292 is a step of controlling the visible light camera 33 and the thermal imaging camera 34 to be set to the optimal PTZ values set by the second PTZ optimal value setting step S291.

도 10은 도 8의 PTZ 최적 관리방법의 제3 실시예를 나타내는 플로차트이다.10 is a flowchart showing a third embodiment of the optimal PTZ management method of FIG. 8.

도 10의 제3 PTZ 최적 관리방법(S300)은 본 발명의 PTZ최적 관리부(309)의 동작 과정의 제3 실시예를 나타낸 것이다.The third optimal PTZ management method (S300) of FIG. 10 shows a third embodiment of the operation process of the optimal PTZ management unit 309 of the present invention.

또한 제3 PTZ 최적 관리방법(S300)은 도 10에 도시된 바와 같이, 전술하였던 도 8과 동일한 동작 및 과정으로 이루어지는 PTZ 레벨값 초기화단계(S10)와, 촬영 및 영상획득단계(S20), 영상분석 및 저장단계(S30), 팬-레벨값(PL) 최종값 여부 판단단계(S40), 팬-레벨값(PL) 추가단계(S50), 틸트-레벨값(TL) 최종값 여부 판단단계(S60), 틸트-레벨값(TL) 추가단계(S70), 팬-레벨값(PL) 초기화단계(S80), 줌-레벨값(ZL) 최종값 여부 판단단계(S90), 줌-레벨값(ZL) 추가단계(S100), 틸트-레벨값(TL) 초기화단계(S110), 팬-레벨값(PL) 초기화단계(S120)를 포함한다.In addition, the third PTZ optimal management method (S300), as shown in FIG. 10, includes a PTZ level value initialization step (S10), a photographing and image acquisition step (S20), and an image composed of the same operations and processes as in FIG. Analysis and storage step (S30), pan-level value (PL) final value determination step (S40), pan-level value (PL) addition step (S50), tilt-level value (TL) final value determination step ( S60), tilt-level value (TL) addition step (S70), pan-level value (PL) initialization step (S80), zoom-level value (ZL) final value determination step (S90), zoom-level value ( ZL) an additional step (S100), a tilt-level value (TL) initialization step (S110), and a pan-level value (PL) initialization step (S120).

또한 제3 PTZ 최적 관리방법(S300)은 차량인식 테이블 추출단계(S330)와, 제1 필터링 단계(S340), 도로인식 테이블 추출단계(S350), 제2 필터링 단계(S360), 각 잔여영상별 번호판영상 추출단계(S370), 각 번호판영상별 선명도 검출단계(S380), 선명도 비교 및 최고 선명도 선별단계(S390), 제3 PTZ 최적값 설정단계(S391), 제3 PTZ 제어단계(S392)를 더 포함한다.In addition, the third PTZ optimal management method (S300) includes a vehicle recognition table extraction step (S330), a first filtering step (S340), a road recognition table extraction step (S350), a second filtering step (S360), and each residual image. License plate image extraction step (S370), sharpness detection step for each license plate image (S380), sharpness comparison and highest sharpness selection step (S390), 3rd PTZ optimum value setting step (S391), and 3rd PTZ control step (S392). Include more.

차량인식 테이블 추출단계(S330)는 영상분석 및 저장단계(S30)에 의해 저장된 각 PTZ 레벨값의 도로 프로파일 데이터인 차량인식 테이블을 메모리로부터 추출하는 단계이다.The vehicle recognition table extraction step S330 is a step of extracting a vehicle recognition table, which is road profile data of each PTZ level value stored by the image analysis and storage step S30, from a memory.

제1 필터링 단계(S340)는 차량인식 테이블 추출단계(S330)에 의해 추출된 차량인식 테이블의 차량 프로파일들 각각의 차량객체 크기를 기 설정된 설정범위와 비교하는 단계이다.The first filtering step (S340) is a step of comparing the vehicle object size of each of the vehicle profiles of the vehicle recognition table extracted by the vehicle recognition table extraction step (S330) with a preset range.

또한 제1 필터링 단계(S340)는 만약 차량객체 크기가 설정범위에 포함되면, 해당 PTZ 레벨값의 영상을 제거시키지 않되, 만약 차량객체 크기가 설정범위를 벗어나면, 해당 PTZ 레벨값의 영상을 제거시키는 방식으로 영상을 필터링한다.In addition, the first filtering step (S340) does not remove the image of the corresponding PTZ level value if the vehicle object size is within the set range, but if the vehicle object size is out of the set range, the image of the corresponding PTZ level value is removed. The image is filtered by

도로인식 테이블 추출단계(S350)는 제1 필터링 단계(S340)에 의해 남은 잔여 영상들 각각에 대한 도로 프로파일 데이터들인 도로인식 테이블을 추출하는 단계이다.The road recognition table extraction step S350 is a step of extracting a road recognition table that is road profile data for each of the remaining images remaining by the first filtering step S340.

제2 필터링 단계(S360)는 도로인식 테이블 추출단계(S350)에 의해 추출된 도로인식 테이블의 도로 프로파일들 각각의 차이값(△θ)을 추출한 후, 추출된 차이값(△θ)을 임계치와 비교하는 단계이다.In the second filtering step (S360), after extracting the difference value (△θ) of each of the road profiles of the road recognition table extracted by the road recognition table extraction step (S350), the extracted difference value (△θ) This is the step of comparing.

또한 제2 필터링 단계(S360)는 만약 차이값(△θ)이 임계치 미만이면, 해당 PTZ 레벨값의 영상을 제거시키지 않되, 만약 차이값(△θ)이 임계치 이상이면, 해당 PTZ 레벨값의 영상을 제거시키는 방식으로 영상을 필터링한다.In addition, in the second filtering step (S360), if the difference value (Δθ) is less than the threshold, the image of the corresponding PTZ level value is not removed, but if the difference value (Δθ) is greater than the threshold, the image of the corresponding PTZ level value. The image is filtered in a way that removes.

각 잔여영상별 번호판영상 추출단계(S370)는 제1, 2 필터링단계(S340), (S360)에 의해 필터링되지 않고 남은 잔여영상들 각각을 분석하여, 각 잔여영상으로부터 차량번호판 영상을 검출하는 단계이다.The license plate image extraction step for each residual image (S370) is a step of analyzing each of the remaining images remaining unfiltered by the first and second filtering steps (S340) and (S360), and detecting the license plate image from each residual image. to be.

이때 차량영상으로부터 번호판이미지를 검출하는 기술 및 방법은 공지된 기술 및 방법이기 때문에 상세한 설명은 생략하기로 한다.At this time, since the technology and method for detecting the license plate image from the vehicle image is a known technology and method, a detailed description will be omitted.

각 번호판영상별 선명도 검출단계(S380)는 각 잔여영상별 번호판영상 추출단계(S370)에 의해 추출된 번호판영상들 각각의 선명도(s)를 검출하는 단계이다.The sharpness detection step (S380) for each license plate image is a step of detecting the sharpness (s) of each of the license plate images extracted by the license plate image extraction step (S370) for each residual image.

선명도 비교 및 최고 선명도 선별단계(S390)는 각 번호판영상별 선명도 검출단계(S380)를 통해 선명도가 가장 높은 잔여영상을 검출하는 단계이다.The sharpness comparison and the highest sharpness selection step (S390) is a step of detecting a residual image having the highest sharpness through the sharpness detection step (S380) for each license plate image.

제3 PTZ 최적값 설정단계(S391)는 선명도 비교 및 최고 선명도 선별단계(S390)에 의해 선명도가 가장 높은 잔여영상에 대응되는 PTZ 레벨값을 PTZ 최적값으로 결정하는 단계이다.The third PTZ optimal value setting step (S391) is a step of determining a PTZ level value corresponding to the residual image having the highest sharpness as the PTZ optimal value by the sharpness comparison and highest sharpness selection step (S390).

제3 PTZ 제어단계(S392)는 가시광 카메라(33) 및 열화상 카메라(34)가 제3 PTZ 최적값 설정단계(S391)에 의해 설정된 PTZ 최적값으로 세팅되도록 이들을 제어하는 단계이다.The third PTZ control step S392 is a step of controlling the visible light camera 33 and the thermal imaging camera 34 to be set to the optimal PTZ values set by the third PTZ optimal value setting step S391.

이와 같이 본 발명의 일실시예인 교통정보 시스템(1)은 가시광 카메라(33) 및 열화상 카메라(34)로 이루어지는 듀얼카메라를 기반으로 차량검지 및 돌발 상황 검지가 이루어지도록 구성됨으로써 단일 카메라로 구성될 때의 단점을 상호 보완하여 차량 검지의 정확성 및 신뢰도를 현저히 높일 수 있게 된다.As described above, the traffic information system 1 according to an embodiment of the present invention is configured to perform vehicle detection and unexpected situation detection based on a dual camera consisting of a visible light camera 33 and a thermal imaging camera 34, thereby being configured as a single camera. It is possible to remarkably increase the accuracy and reliability of vehicle detection by complementing the shortcomings.

또한 본 발명의 교통정보 시스템(1)은 일체형으로 제작되는 일반카메라 및 열화상 카메라가 PTZ(Pan-Tilt-Zoom) 제어가 가능하도록 설계됨과 동시에 PTZ 최적 관리부(309)가 기 설정된 주기(T)에 따라 PTZ 최적값 산출 및 제어가 자동으로 이루어지도록 구성됨으로써 바람, 진동 및 흔들림 등의 외력 또는 날씨, 조도, 시간 등의 외부환경에 따른 카메라 PTZ 상태를 최적화하여 촬영이 이루어지도록 하여 교통검지의 정확성 및 신뢰도를 높일 수 있게 된다.In addition, the traffic information system 1 of the present invention is designed to enable PTZ (Pan-Tilt-Zoom) control for general cameras and thermal imaging cameras that are manufactured as an integrated unit, and at the same time, the PTZ optimal management unit 309 has a preset period (T). The accuracy of traffic detection by optimizing the PTZ status of the camera according to external forces such as wind, vibration and shaking, or external environment such as weather, illumination, time, etc. And it is possible to increase the reliability.

1:교통정보 시스템 3-1, ..., 3-N:교통검지기들
5:교통관제서버 10:통신망
31:하우징 32:팬-틸트 구동부
33:일반카메라 34:열화상 카메라
35:컨트롤러 210:일반영상
220:열화상 300:제어부
301:메모리 302:통신 인터페이스부
303:데이터 입출력부 304:제1 영상분석 및 제1 객체 검지부
305:제2 영상분석 및 제2 객체 검지부
306:최종객체 결정부 307:차량정보 생성부
308:교통상황 분석부 309:PTZ 최적 관리부
S1:PTZ 최적 관리방법 S10:PTZ 레벨값 초기화단계
S20:촬영 및 영상획득단계 S30:영상분석 및 저장단계
S40:팬-레벨값(PL) 최종값 여부 판단단계 S50:팬-레벨값(PL) 추가단계 S60:틸트-레벨값(TL) 최종값 여부 판단단계
S70:틸트-레벨값(TL) 추가단계 S80:팬-레벨값(PL) 초기화단계
S90:줌-레벨값(ZL) 최종값 여부 판단단계
S100:줌-레벨값(ZL) 추가단계 S110:틸트-레벨값(TL) 초기화단계
S120:팬-레벨값(PL) 초기화단계 S130:차량인식 테이블 추출단계
S140:차량객체 크기정보 추출단계
S150:차량객체 크기 정상여부 판단단계
S160:다음 프로파일 존재여부 탐색단계 S170:다음 프로파일 추출단계
S180:해당 레벨값의 도로 프로파일 추출단계
S190:도로지향각도 정상여부 판단단계
S191:PTZ 최적값 설정단계 S192:PTZ 제어단계
S200:제2 PTZ 최적 관리방법 S300:제3 PTZ 최적 관리방법1: Traffic information system 3-1, ..., 3-N: traffic detectors
5: traffic control server 10: communication network
31: housing 32: pan-tilt drive
33: general camera 34: thermal imaging camera
35: controller 210: general video
220: thermal image 300: control unit
301: memory 302: communication interface unit
303: data input/output unit 304: first image analysis and first object detection unit
305: second image analysis and second object detection unit
306: final object determination unit 307: vehicle information generation unit
308: Traffic condition analysis unit 309: PTZ optimal management unit
S1: PTZ optimal management method S10: PTZ level value initialization step
S20: Shooting and image acquisition step S30: Image analysis and storage step
S40: Pan-level value (PL) final value determination step S50: Pan-level value (PL) addition step S60: Tilt-level value (TL) final value determination step
S70: Tilt-level value (TL) additional step S80: Pan-level value (PL) initialization step
S90: Determine whether the zoom-level value (ZL) is the final value
S100: Zoom-level value (ZL) additional step S110: Tilt-level value (TL) initialization step
S120: Fan-level value (PL) initialization step S130: Vehicle recognition table extraction step
S140: vehicle object size information extraction step
S150: Step of determining whether the vehicle object size is normal
S160: search step for the existence of the next profile S170: step for extracting the next profile
S180: Step of extracting the road profile of the level value
S190: Determining whether the road orientation angle is normal
S191: PTZ optimum value setting step S192: PTZ control step
S200: 2nd PTZ optimal management method S300: 3rd PTZ optimal management method

Claims (5)

도로에 이격되게 설치되어 차량을 감지하는 교통검지기들을 포함하는 교통정보 시스템에 있어서:
상기 교통검지기들은
PTZ(Pan-Tilt-Zoom) 제어가 지원됨과 동시에 일체형으로 제작되는 가시광 카메라 및 열화상 카메라;
상기 가시광 카메라 및 상기 열화상 카메라에 의해 획득된 영상 및 열화상을 분석하여 차량을 검지하는 컨트롤러를 포함하고,
상기 컨트롤러는
기 설정된 주기(T) 마다 상기 가시광 카메라 및 상기 열화상 카메라의 PTZ 최적값을 검출한 후, 검출된 PTZ 최적값에 따라 상기 가시광 카메라 및 상기 열화상 카메라의 세팅이 이루어지도록 제어하는 PTZ 최적 관리부를 더 포함하고,
상기 컨트롤러는
상기 가시광 카메라의 팬-틸트-줌(PTZ)의 이동량의 범위를 분류한 레벨값이 기 설정되어 저장되는 메모리를 더 포함하고,
상기 PTZ 최적 관리부의 동작 과정인 PTZ 최적 관리방법(S1)은
상기 가시광 카메라의 PTZ 레벨값을 초기화시키는 단계10(S10);
현재 설정된 PTZ 레벨값의 상태로 상기 가시광 카메라를 제어한 후, 상기 가시광 카메라의 촬영이 이루어지도록 하여 영상을 획득하는 단계20(S20);
상기 단계20(S20)에서 획득된 영상을 분석하여 차량객체 및 도로객체를 검출하며, 1)차량객체 검출 시, 검출된 차량객체의 크기(픽셀크기)를 산출한 후, 산출된 차량객체 크기정보를 해당 PTZ 레벨값과 매칭시켜 차량 프로파일을 생성한 후, 생성된 차량 프로파일을 상기 메모리에 저장하며, 2)도로객체 검출 시, 검출된 도로객체의 지향방향(각도)과 카메라의 지향방향(각도)을 검출한 후, 이들의 차이값(△θ)을 산출하며 산출된 차이값(△θ)을 해당 PTZ 레벨값과 매칭시켜 도로 프로파일을 생성한 후 생성된 도로 프로파일을 상기 메모리에 저장하는 단계30(S30);
현재 팬-레벨값(PL)이 최종 레벨값인지 여부를 판단하는 단계40(S40);
상기 단계40(S40)에서 현재 팬-레벨값(PL)이 최종 레벨값이 아니라고 판단될 때 진행되며, 현재 팬-레벨값(PL)에 ‘1’을 추가(PL=PL+1)하며, 다음 단계로 상기 단계20(S20)을 진행하는 단계50(S50);
상기 단계40(S40)에서 팬-레벨값(TL)이 최종 레벨값이라고 판단될 때 진행되며, 현재 틸트-레벨값(TL)이 최종 레벨값인지 여부를 판단하는 단계60(S60);
상기 단계60(S60)에서 현재 틸트-레벨값(TL)이 최종 레벨값이 아니라고 판단될 때 진행되며, 현재 틸트-레벨값(TL)에 ‘1’을 추가(TL=TL+1)하는 단계70(S70);
상기 단계70(S70) 이후에 진행되며, 현재 팬-레벨값(PL)을 ‘1’로 초기화한 후, 다음 단계로 상기 단계20(S20)을 진행하는 단계80(S80);
상기 단계60(S60)에서 현재 팬-레벨값(TL)이 최종 레벨값이라고 판단될 때 진행되며, 현재 줌-레벨값(ZL)이 최종 레벨값인지 여부를 판단하는 단계90(S90);
상기 단계90(S90)에서 줌-레벨값(ZL)이 최종 레벨값이라고 판단될 때 진행되며, 현재 줌-레벨값(TL)에 ‘1’을 추가(ZL=ZL+1)하는 단계100(S100);
상기 단계100(S100) 이후에 진행되며, 틸트-레벨값(TL)을 ‘1’로 초기화하는 단계110(S110);
상기 단계110(S110) 이후에 진행되며, 팬-레벨값(PL)을 ‘1’로 초기화한 후, 다음 단계로 상기 단계20(S20)을 진행하는 단계120(S120)을 포함하고,
상기 PTZ 최적 관리부는
상기 PTZ 최적 관리방법(S1)에 의해 각 PTZ 레벨값에 대응되는 영상들을 분석하여 상기 가시광 카메라의 PTZ를 최적화시키는 것을 특징으로 하는 교통정보 시스템.In the traffic information system including traffic detectors installed at a distance from the road to detect vehicles:
The traffic detectors
PTZ (Pan-Tilt-Zoom) control is supported and at the same time, visible light camera and thermal imaging camera manufactured integrally;
A controller for detecting a vehicle by analyzing an image and a thermal image acquired by the visible light camera and the thermal imaging camera,
The controller is
After detecting the optimal PTZ values of the visible light camera and the thermal imaging camera at every preset period (T), the PTZ optimal management unit controls the settings of the visible light camera and the thermal imaging camera according to the detected PTZ optimal value. Including more,
The controller is
Further comprising a memory in which a level value obtained by classifying a range of a movement amount of a pan-tilt-zoom (PTZ) of the visible light camera is preset and stored,
The PTZ optimal management method (S1), which is the operation process of the PTZ optimal management unit, is
Step 10 (S10) of initializing the PTZ level value of the visible light camera;
After controlling the visible light camera in a state of the currently set PTZ level value, the step of obtaining an image by allowing the visible light camera to be photographed (S20);
The image obtained in step 20 (S20) is analyzed to detect a vehicle object and a road object, and 1) when the vehicle object is detected, the size (pixel size) of the detected vehicle object is calculated, and then the calculated vehicle object size information Is matched with the PTZ level value to generate a vehicle profile, and then the generated vehicle profile is stored in the memory. 2) When a road object is detected, the direction (angle) of the detected road object and the direction of the camera (angle) ), calculating the difference value (△θ), matching the calculated difference value (△θ) with the corresponding PTZ level value to generate a road profile, and then storing the generated road profile in the memory 30 (S30);
Step 40 (S40) of determining whether the current pan-level value PL is the final level value;
The process proceeds when it is determined that the current fan-level value PL is not the final level value in step 40 (S40), and '1' is added to the current fan-level value PL (PL=PL+1), Step 50 (S50) of proceeding to step 20 (S20) to the next step;
A step 60 (S60) of determining whether or not the current tilt-level value TL is the final level value, and proceeds when it is determined in step 40 (S40) that the pan-level value TL is the final level value;
The process proceeds when it is determined in step 60 (S60) that the current tilt-level value TL is not the final level value, and adding '1' to the current tilt-level value TL (TL=TL+1) 70 (S70);
Step 80 (S80) of proceeding after step 70 (S70), initializing the current fan-level value (PL) to '1', and then proceeding to step 20 (S20) to the next step;
A step 90 (S90) of determining whether the current pan-level value TL is the final level value, and determining whether the current zoom-level value ZL is the final level value in the step 60 (S60);
The process proceeds when it is determined that the zoom-level value ZL is the final level value in step 90 (S90), and a step 100 of adding '1' to the current zoom-level value TL (ZL=ZL+1) ( S100);
A step 110 (S110) of initializing the tilt-level value TL to '1', which proceeds after the step 100 (S100);
Proceeding after the step 110 (S110), including a step 120 (S120) of initializing the fan-level value (PL) to '1' and then proceeding to the step 20 (S20) to the next step,
The PTZ optimal management unit
A traffic information system, characterized in that the PTZ of the visible light camera is optimized by analyzing images corresponding to each PTZ level value by the PTZ optimal management method (S1). 삭제delete 제1항에 있어서, 상기 PTZ 최적 관리방법(S1)은
상기 단계90(S90)에서 현재 줌-레벨값(ZL)이 최종 레벨값이라고 판단될 때 진행되며, 상기 메모리를 탐색하여 상기 단계30(S30)에 의해 상기 메모리에 저장된 차량 프로파일 데이터들인 차량인식 테이블을 추출한 후, 추출된 차량인식 테이블로부터 첫 번째 순서의 차량 프로파일을 추출하는 단계130(S130);
현재 추출된 차량 프로파일로부터 차량객체 크기정보를 추출하는 단계140(S140);
상기 단계140(S140)에 의해 추출된 차량객체 크기를 기 설정된 설정범위와 비교하는 단계150(S150);
상기 단계150(S150)에서 추출된 차량객체 크기가 설정범위를 벗어날 때 진행되며, 상기 단계130(S130)에 의해 추출된 차량인식 테이블에서, 다음 순서의 차량 프로파일이 존재하는지를 탐색하며, 만약 추출된 차량인식 테이블에서 다음 순서의 차량 프로파일이 존재하지 않을 때 동작을 종료하는 단계160(S160);
상기 단계160(S160)에서 차량인식 테이블에 다음 순서의 차량 프로파일이 존재한다고 판단될 때 진행되며, 다음 순서의 차량 프로파일을 추출한 후, 다음 단계로 상기 단계140(S140)을 진행하는 단계170(S170);
상기 단계150(S150)에서 차량객체 크기가 설정범위에 포함될 때 진행되며, 해당 PTZ 레벨값에 대응되는 도로 프로파일을 추출하는 단계180(S180);
상기 단계180(S180)에 의해 추출된 도로 프로파일에 포함된 차이값(△θ)을 기 설정된 임계치와 비교하며, 만약 추출된 차이값(△θ)이 임계치를 초과하면, 다음 단계로 상기 단계160(S160)을 진행하는 단계190(S190);
상기 단계190(S190)에서 차이값(△θ)이 임계치 이하라고 판단될 때 진행되며, 현재 PTZ 레벨값을 PTZ 최적값으로 설정하는 단계200(S200)을 더 포함하는 것을 특징으로 하는 교통정보 시스템.The method of claim 1, wherein the PTZ optimal management method (S1)
The process proceeds when it is determined in step 90 (S90) that the current zoom-level value (ZL) is the final level value, and a vehicle recognition table that is vehicle profile data stored in the memory by searching the memory and in step 30 (S30) After extracting, step 130 (S130) of extracting a vehicle profile in a first order from the extracted vehicle recognition table;
Step 140 (S140) of extracting vehicle object size information from the currently extracted vehicle profile;
Step 150 (S150) comparing the size of the vehicle object extracted in step 140 (S140) with a preset range;
The process proceeds when the size of the vehicle object extracted in step 150 (S150) is out of the set range, and in the vehicle recognition table extracted in step 130 (S130), it is searched for the existence of the next vehicle profile, and if the extracted Step 160 (S160) of terminating the operation when there is no vehicle profile in the next sequence in the vehicle recognition table;
The process proceeds when it is determined in step 160 (S160) that the vehicle profile of the next sequence exists in the vehicle recognition table, and after extracting the vehicle profile of the next sequence, the step of proceeding to the step 140 (S140) to the next step 170 (S170) );
Step 180 (S180) of extracting a road profile corresponding to the PTZ level value, which is performed when the vehicle object size is included in the set range in step 150 (S150);
The difference value Δθ included in the road profile extracted in step 180 (S180) is compared with a preset threshold value, and if the extracted difference value Δθ exceeds the threshold value, the next step is step 160 Step 190 (S190) of proceeding to (S160);
The traffic information system further comprises a step 200 (S200) of setting the current PTZ level value as the optimal PTZ value, and proceeds when it is determined in the step 190 (S190) that the difference value Δθ is less than the threshold value. . 제1항에 있어서, 상기 PTZ 최적 관리방법(S1)은
상기 단계30(S30)에 의해 저장된 각 PTZ 레벨값으로 촬영된 개별영상들을 가공하여 파노라마 영상을 생성하는 단계230(S230);
상기 단계230(S230)에 의해 생성된 파노라마 영상을 구성하는 각 개별영상에 대응되는 도로 프로파일 데이터들을 추출하는 단계240(S240);
상기 단계240(S240)에 의해 추출된 도로 프로파일 데이터들을 참조하여, 추출된 도로 프로파일들 각각에 포함된 차이값(△θ)들을 추출한 후, 추출된 차이값(△θ)들 각각을 임계치와 비교하여 차이값(△θ)이 임계치를 초과하는 개별영상들을 파노라마 영상으로부터 제거하는 단계250(S250);
상기 단계250(S250)에 의해 남아있는 파노라마 영상의 개별영상들 각각의 PTZ 레벨값에 대응되는 차량 프로파일 데이터들인 차량인식 테이블을 추출한 후, 추출된 차량인식 테이블에서, 첫 번째 순서의 차량 프로파일을 추출하는 단계251(S251);
현재 추출된 차량 프로파일에 포함된 차량객체 크기정보를 추출하는 단계260(S260);
상기 단계260(S260)에 의해 추출된 차량객체 크기를 기 설정된 설정범위와 비교하는 단계270(S270);
상기 단계270(S270)에서 추출된 차량객체 크기가 설정범위를 벗어난다고 판단될 때 진행되며, 상기 단계251(S251)에 의해 추출된 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하는지를 판단하며, 만약 추출된 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하지 않는다고 판단되면, 동작을 종료하는 단계280(S280);
상기 단계280(S280)에서 상기 단계251(S251)에 의해 추출된 차량인식 테이블에 다음 순서의 차량 프로파일이 존재하는지를 판단될 때 진행되며, 추출된 차량인식 테이블에 다음 순서의 차량 프로파일을 추출한 후, 다음 단계로 상기 단계260(S260)을 진행하는 단계290(S290);
상기 단계270(S270)에서 추출된 차량객체 크기가 설정범위에 포함된다고 판단될 때 진행되며, 해당 PTZ 레벨값을 PTZ 최적값으로 결정하는 단계291(S291)을 더 포함하는 것을 특징으로 하는 교통정보 시스템.The method of claim 1, wherein the PTZ optimal management method (S1)
Step 230 (S230) of generating a panoramic image by processing individual images captured with each PTZ level value stored in step 30 (S30);
Step 240 (S240) of extracting road profile data corresponding to each individual image constituting the panoramic image generated by the step 230 (S230);
After extracting the difference values Δθ included in each of the extracted road profiles by referring to the road profile data extracted in step 240 (S240), each of the extracted difference values Δθ is compared with a threshold value. And removing individual images whose difference value Δθ exceeds the threshold value from the panoramic image 250 (S250);
After extracting the vehicle recognition table, which is vehicle profile data corresponding to the PTZ level value of each of the individual images of the panoramic image remaining in step 250 (S250), the vehicle profile in the first order is extracted from the extracted vehicle recognition table. Step 251 (S251);
Step 260 (S260) of extracting vehicle object size information included in the currently extracted vehicle profile;
Step 270 (S270) comparing the size of the vehicle object extracted in step 260 (S260) with a preset range;
The process proceeds when it is determined that the size of the vehicle object extracted in step 270 (S270) is out of the set range, and it is determined whether the vehicle profile in the following order exists in the vehicle recognition table extracted in step 251 (S251), and if Step 280 (S280) of terminating the operation when it is determined that the vehicle profile of the next sequence does not exist in the extracted vehicle recognition table;
The process proceeds when it is determined in step 280 (S280) whether the vehicle profile in the next order exists in the vehicle recognition table extracted in step 251 (S251), and after extracting the vehicle profile in the next order in the extracted vehicle recognition table, Step 290 (S290) of proceeding to step 260 (S260) as a next step;
It proceeds when it is determined that the size of the vehicle object extracted in step 270 (S270) is included in the setting range, and further comprises step 291 (S291) of determining a corresponding PTZ level value as a PTZ optimum value. system. 제1항에 있어서,
상기 PTZ 최적 관리방법(S1)은
상기 단계30(S30)에 의해 저장된 각 PTZ 레벨값의 도로 프로파일 데이터인 차량인식 테이블을 상기 메모리로부터 추출하는 단계330(S330);
상기 단계330(S330)에 의해 추출된 차량인식 테이블의 차량 프로파일들 각각의 차량객체 크기를 기 설정된 설정범위와 비교하며, 차량객체 크기가 설정범위를 벗어나는 PTZ 레벨값은 제거시키되, 차량객체 크기가 설정범위에 포함되는 PTZ 레벨값은 제거시키지 않는 방식으로 필터링을 수행하는 단계340(S340);
상기 단계340(S340)에 의해 남은 PTZ 레벨값에 대응되는 도로 프로파일 데이터들인 도로인식 테이블을 추출하는 단계350(S350);
상기 단계350(S350)에 의해 추출된 도로인식 테이블의 도로 프로파일들 각각의 차이값(△θ)들을 추출한 후, 추출된 각 차이값(△θ)을 임계치와 비교하며, 차이값(△θ)이 임계치를 초과하는 PTZ 레벨값은 제거시키되, 차이값(△θ)이 임계치 이하인 PTZ 레벨값은 제거시키지 않는 방식으로 필터링을 수행하는 단계360(S360);
상기 단계360(S360)에 의해 남은 PTZ 레벨값들에 대응되는 영상들을 추출한 후, 추출된 각 영상을 분석하여 각 영상으로부터 번호판영상을 추출하는 단계370(S370);
상기 단계370(S370)에 의해 추출된 각 번호판영상의 선명도(s)를 검출하는 단계380(S380);
상기 단계380(S380)에 의해 검출된 각 번호판영상의 선명도(s)들을 비교하여 가장 높은 선명도를 갖는 번호판영상을 검출하는 단계390(S390);
상기 단계390(S390)에서 가장 선명도가 높은 번호판영상에 대응되는 PTZ 레벨값을 PTZ 최적값으로 결정하는 단계391(S391)을 더 포함하는 것을 특징으로 하는 교통정보 시스템.The method of claim 1,
The PTZ optimal management method (S1)
Step 330 (S330) of extracting a vehicle recognition table, which is road profile data of each PTZ level value stored in step 30 (S30), from the memory;
The vehicle object size of each of the vehicle profiles of the vehicle recognition table extracted in step 330 (S330) is compared with a preset setting range, and the PTZ level value in which the vehicle object size is out of the setting range is removed, but the vehicle object size is Step 340 (S340) of performing filtering in a manner that does not remove the PTZ level value included in the setting range;
Step 350 (S350) of extracting road profile data corresponding to the remaining PTZ level value in step 340 (S340);
After extracting the difference values (Δθ) of each of the road profiles of the road recognition table extracted in step 350 (S350), the extracted difference values (Δθ) are compared with a threshold value, and the difference value (Δθ) Step 360 (S360) of performing filtering in a manner in which PTZ level values exceeding the threshold value are removed, but PTZ level values whose difference value Δθ is less than or equal to the threshold value are not removed;
Step 370 (S370) of extracting images corresponding to the remaining PTZ level values in step 360 (S360) and then analyzing each extracted image to extract a license plate image from each image;
Step 380 (S380) of detecting the sharpness (s) of each license plate image extracted by the step 370 (S370);
Step 390 (S390) of comparing the sharpness (s) of each license plate image detected in step 380 (S380) to detect a license plate image having the highest sharpness;
And a step 391 (S391) of determining a PTZ level value corresponding to the license plate image having the highest definition as the optimal PTZ value in step 390 (S390).
KR1020200120434A 2020-09-18 2020-09-18 Method for autonomous balancing PTZ of camera and system for providing traffic information therewith KR102196086B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200120434A KR102196086B1 (en) 2020-09-18 2020-09-18 Method for autonomous balancing PTZ of camera and system for providing traffic information therewith

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200120434A KR102196086B1 (en) 2020-09-18 2020-09-18 Method for autonomous balancing PTZ of camera and system for providing traffic information therewith

Publications (1)

Publication Number Publication Date
KR102196086B1 true KR102196086B1 (en) 2020-12-29

Family

ID=74090265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200120434A KR102196086B1 (en) 2020-09-18 2020-09-18 Method for autonomous balancing PTZ of camera and system for providing traffic information therewith

Country Status (1)

Country Link
KR (1) KR102196086B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102301932B1 (en) * 2021-06-01 2021-09-15 주식회사 아이티아이비전 Traffic signal control system using blending on region of interest for dual-camera
KR102396020B1 (en) * 2021-10-08 2022-05-10 아룸테크 주식회사 Apparatus and method for detecting location of event occurrence point using cctv camera pan/tilt
KR102472075B1 (en) * 2022-07-14 2022-11-30 주식회사 비츠에스앤지 System and method for supporting automatic detection service based on real-time road image and radar signal analysis results

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101043912B1 (en) * 2009-05-25 2011-06-29 한국산업기술대학교산학협력단 System for Controlling Vehicle Transport Signal of Intersection using Day and Night Integrated Traffic Image Detector
KR101852057B1 (en) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 unexpected accident detecting system using images and thermo-graphic image
KR101852058B1 (en) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 unexpected accident detecting method using dual camera
KR101973695B1 (en) * 2017-11-30 2019-04-29 유에프엠시스템즈 주식회사 Fusion vehicle detection system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101043912B1 (en) * 2009-05-25 2011-06-29 한국산업기술대학교산학협력단 System for Controlling Vehicle Transport Signal of Intersection using Day and Night Integrated Traffic Image Detector
KR101852057B1 (en) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 unexpected accident detecting system using images and thermo-graphic image
KR101852058B1 (en) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 unexpected accident detecting method using dual camera
KR101973695B1 (en) * 2017-11-30 2019-04-29 유에프엠시스템즈 주식회사 Fusion vehicle detection system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102301932B1 (en) * 2021-06-01 2021-09-15 주식회사 아이티아이비전 Traffic signal control system using blending on region of interest for dual-camera
KR102396020B1 (en) * 2021-10-08 2022-05-10 아룸테크 주식회사 Apparatus and method for detecting location of event occurrence point using cctv camera pan/tilt
KR102472075B1 (en) * 2022-07-14 2022-11-30 주식회사 비츠에스앤지 System and method for supporting automatic detection service based on real-time road image and radar signal analysis results

Similar Documents

Publication Publication Date Title
KR102196086B1 (en) Method for autonomous balancing PTZ of camera and system for providing traffic information therewith
CN109922251B (en) Method, device and system for quick snapshot
KR101647370B1 (en) road traffic information management system for g using camera and radar
JP4140591B2 (en) Imaging system and imaging method
KR101530255B1 (en) Cctv system having auto tracking function of moving target
US9100567B2 (en) Imaging device comprising two optical systems
US11159711B2 (en) Image-capturing apparatus
KR101496390B1 (en) System for Vehicle Number Detection
CN107111764B (en) Events triggered by the depth of an object in the field of view of an imaging device
KR101974105B1 (en) Photographing system and method for increasing recognition rate of vehicle number
KR101625538B1 (en) Car Number Recognition system
CN109685062B (en) Target detection method, device, equipment and storage medium
KR101372838B1 (en) Multi-function vehicle photographing system and method
KR102162130B1 (en) Enforcement system of illegal parking using single camera
JP7305965B2 (en) Video surveillance system parameter setting method, device and video surveillance system
KR102183903B1 (en) Surveillance camera and control method thereof
JP2005173787A (en) Image processor detecting/recognizing moving body
EP2725781A1 (en) Method of setting focus of a digital video camera and a digital video camera doing the same
KR20170140954A (en) Security camera device and security camera system
KR102347026B1 (en) Video analysis device using a multi camera consisting of a plurality of fixed cameras
CN113301256B (en) Low-power-consumption multi-target continuous automatic monitoring camera module and camera method thereof
KR102296135B1 (en) System for providing traffic information using PTZ optimizing method
KR20230152410A (en) Video analysis device using a multi camera consisting of a plurality of fixed cameras
KR20200010691A (en) Character recognition and traffic control system using heterogeneous camera
KR100761817B1 (en) A ccd camera system for effectively tracking a motion of objects and a method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant