KR102024149B1 - Smart selevtive intelligent surveillance system - Google Patents
Smart selevtive intelligent surveillance system Download PDFInfo
- Publication number
- KR102024149B1 KR102024149B1 KR1020190039216A KR20190039216A KR102024149B1 KR 102024149 B1 KR102024149 B1 KR 102024149B1 KR 1020190039216 A KR1020190039216 A KR 1020190039216A KR 20190039216 A KR20190039216 A KR 20190039216A KR 102024149 B1 KR102024149 B1 KR 102024149B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- control
- controller
- image
- control target
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
Abstract
Description
본 발명은 관제 시스템에 관한 것으로서, CCTV를 통해 획득되는 다수의 관제 대상 영상을 분석하고, 분석된 관제 대상 영상을 관제사가 미리 설정해 둔 관제 시나리오 정보에 따라 관제사별로 분배하며, 관제사가 미리 설정해 둔 우선 순위 정보에 따라 디스플레이 장치에서 미리 설정된 위치에 관제 대상 영상을 자동으로 표시하도록 함으로써 선별적이고 중요도에 따른 집중 관찰 기능을 제공할 수 있는 지능형 스마트 선별 관제 시스템에 관한 것이다.The present invention relates to a control system, which analyzes a plurality of control target images obtained through CCTV, and distributes the analyzed control target images for each controller according to the control scenario information previously set by the controller, and the controller first sets the priorities. The present invention relates to an intelligent smart screening control system capable of providing a selective and focused observation function by automatically displaying a control target image at a predetermined position in a display device according to ranking information.
최근 범죄나 각종 사고, 재난 등과 같은 상황에서 CCTV에 의한 영상을 활용하는 빈도가 크게 증가하고 있다. 또한, 범죄나 각종 사고 및 재난 발생시 이를 사전에 파악하여 예방하는 용도로도 활용되고 있어서, CCTV의 설치 또한 크게 증가하고 있는 실정이다.Recently, the frequency of using CCTV images in a crime, various accidents, disasters, etc. has increased significantly. In addition, it is also used to prevent and detect in the event of crime, various accidents and disasters, the installation of CCTV is also increasing significantly.
CCTV에 의해 획득되는 영상은 지자체, 관공서 또는 경찰 관련 부서로 실시간으로 전달되고 다수의 관제사들이 수신되는 영상들을 다수의 모니터를 이용하여 모니터링하게 된다. 이 때, 하나의 모니터에는 다수의 영상들이 격자 형태로 표시되는데 이들 영상은 특별한 규칙이 없이 랜덤하게 또는 미리 설정된 CCTV에 대해서 번갈아 제공되는 것이 보통이다. 따라서, 관제사는 모니터에 표시되는 아무런 규칙없이 제공되는 복수개의 CCTV 영상을 번갈아가면서 계속 집중 관찰해야 하는데 이는 관제사의 피로도를 증가시키고 주의력을 감소시키게 되므로, 관제 효율을 저하시키는 주요 요인으로 작용한다.The images acquired by CCTV are delivered in real time to local governments, government offices or police departments, and multiple controllers monitor the images using multiple monitors. At this time, a plurality of images are displayed in a grid form on one monitor, and these images are usually provided alternately for random or preset CCTV without any special rules. Therefore, the controller must continuously focus on the plurality of CCTV images provided without any rules displayed on the monitor, which increases the fatigue of the controller and reduces the attention, thereby acting as a major factor to reduce the control efficiency.
본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로서, CCTV를 통해 획득되는 다수의 관제 대상 영상을 분석하고, 분석된 관제 대상 영상을 관제사가 미리 설정해 둔 관제 시나리오 정보에 따라 관제사별로 분배함으로써 관제 효율을 높일 수 있는 지능형 스마트 선별 관제 시스템을 제공하는 것을 목적으로 한다.The present invention is to solve the problems as described above, by analyzing a plurality of control target images obtained through CCTV, the control efficiency by distributing the analyzed control target image by controller according to the control scenario information previously set by the controller The purpose of the present invention is to provide an intelligent smart screening control system.
또한, 본 발명은, 관제사가 미리 설정해 둔 관제 시나리오 정보에 포함된 우선 순위 정보에 따라 디스플레이 장치에서 미리 설정된 위치에 관제 대상 영상을 자동으로 표시하도록 함으로써 선별적이고 중요도에 따른 집중 관찰 기능을 제공할 수 있는 지능형 스마트 선별 관제 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention can provide a selective and important concentration observation function by automatically displaying the control target image at a predetermined position in the display device according to the priority information included in the control scenario information preset by the controller. It is another object to provide an intelligent smart screening control system.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 지능형 스마트 선별 관제 시스템으로서, 영상 관리 시스템으로부터 실시간으로 영상 정보를 수신하고, 수신된 영상 정보를 분석하여 복수개의 관제 터미널에서 각각 관제할 대상이 되는 관제 대상 영상을 결정하고 관제 대상 영상에 대한 관제 대상 관련 정보를 생성하여 관제 분배 서버로 전송하는 영상 분석 서버; 관제사별 관제 시나리오 정보에 기초하여 상기 영상 분석 서버로부터 수신되는 관제 대상 관련 정보를 각 관제 터미널로 분배하여 전송하는 관제 분배 서버; 및 상기 관제 분배 서버로부터 전송되는 관제 대상 관련 정보에 기초하여 영상 관리 시스템으로부터 수신되는 복수개의 관제 대상 영상을 관제사별 관제 시나리오 정보에 포함된 관제사별 우선 순위 정보에 기초하여 디스플레이 장치의 화면상에 표시하는 관제 터미널을 포함하는 지능형 스마트 선별 관제 시스템을 제공한다.In order to solve the above problems, the present invention is an intelligent smart screening control system, which receives video information from a video management system in real time, analyzes the received video information, and becomes a target to be controlled in each of a plurality of control terminals. An image analysis server for determining a control target image, generating control target related information about the control target image, and transmitting the control target image to a control distribution server; A control distribution server for distributing control object related information received from the video analysis server to each control terminal based on control scenario information for each controller; And displaying a plurality of control target images received from the video management system based on control object related information transmitted from the control distribution server on the screen of the display device based on priority information for each controller included in control scenario information for each controller. It provides an intelligent smart screening control system including a control terminal.
여기에서, 상기 영상 분석 서버는, 영상 관리 시스템으로부터 실시간으로 스트리밍되어 입력되는 영상 정보에 의해 표시되는 영상으로부터 객체를 검출하고, 객체가 검출된 시점으로부터의 영상을 관제 대상 영상으로 결정하며, 검출된 객체의 종류를 나타내는 객체 분류 정보를 생성하고, 객체의 움직임을 추적하여 객체 위치 정보를 생성하는 객체 검출부; 및 객체 검출부에서 결정된 관제 대상 영상에 대한 관제 대상 관련 정보를 생성하고, 생성된 관제 대상 관련 정보를 관제 분배 서버로 전송하는 관제 대상 관련 정보 생성부를 포함할 수 있다.Here, the video analysis server detects an object from an image displayed by video information input and streamed in real time from an image management system, and determines an image from a point in time at which the object is detected as a control target image, An object detector configured to generate object classification information indicating a type of object and to track object movement to generate object position information; And a control object related information generating unit for generating control object related information on the control object image determined by the object detection unit and transmitting the generated control object related information to the control distribution server.
또한, 상기 관제 대상 관련 정보는, 카메라 정보, 시간 정보, 이벤트 모드 정보, 객체 분류 정보, 객체 위치 정보 및 객체 정지 영상 정보로 구성되는 이벤트 데이터와, 카메라 정보, 시간 정보, 객체 분류 정보 및 객체 위치 정보로 구성되는 트래킹 데이터를 포함할 수 있다.The control target related information may include event data including camera information, time information, event mode information, object classification information, object location information, and object still image information, and camera information, time information, object classification information, and object location. It may include tracking data composed of information.
또한, 상기 카메라 정보는 객체 검출부에서 객체가 검출된 영상 정보를 전송한 CCTV의 식별자이고, 상기 시간 정보는 객체가 검출된 시점을 나타내는 시간을 나타내는 정보이고, 상기 이벤트 모드 정보는 객체가 검출되었음을 알리는 이벤트 시작 정보와 객체 검출이 종료된 경우를 나타내는 이벤트 종료 정보로 구성되고, 상기 객체 위치 정보는 영상 정보에 의해 표시되는 영상을 x축 및 y축 평면에 나타내었을 때 객체가 해당 평면에서 존재하는 위치에 대한 좌표 정보이고, 상기 객체 분류 정보는, 검출된 객체가 어떤 것인가에 대한 종류를 나타내는 정보이고, 상기 객체 정지 영상 정보는, 객체가 검출된 시점의 영상 이미지일 수 있다.In addition, the camera information is an identifier of a CCTV that transmits the image information detected by the object in the object detector, the time information is information indicating the time indicating the object is detected, the event mode information indicating that the object is detected It consists of event start information and event end information indicating the end of object detection, the object position information is the position of the object in the plane when the image represented by the image information on the x-axis and y-axis plane The object classification information may be information indicating a kind of detected object, and the object still image information may be a video image of a point in time at which an object is detected.
또한, 상기 관제 분배 서버는, 영상 분석 서버와 데이터를 송수신하는 서버 통신부; 관제 터미널과 데이터를 송수신하는 터미널 통신부; 관제 터미널을 통해 전송되는 관제사별 관제 시나리오 정보를 저장하고 관리하는 관제 시나리오 정보 관리부; 상기 관제사별 관제 시나리오 정보에 기초하여 각각의 관제사가 사용하고 있는 관제 터미널로 전송할 관제 대상 관련 정보를 관제사별로 결정하는 필터링부; 및 상기 필터링부에 의해 결정된 관제사별 관제 대상 관련 정보를 터미널 통신부를 통해 관제사가 사용하고 있는 관제 터미널로 분배하여 전송하는 분배부를 포함할 수 있다.In addition, the control distribution server, the server communication unit for transmitting and receiving data with the image analysis server; Terminal communication unit for transmitting and receiving data with the control terminal; A control scenario information management unit which stores and manages control scenario information for each controller transmitted through the control terminal; A filtering unit which determines, for each controller, control object related information to be transmitted to the control terminal used by each controller based on the controller scenario information for each controller; And it may include a distribution unit for distributing the control object-specific information for each controller determined by the filtering unit through the terminal communication unit to distribute to the control terminal used by the controller.
또한, 상기 관제사별 관제 시나리오 정보는, 관제사별로 특정 시간대에 디스플레이 장치를 통해 표시할 관제 대상 영상을 결정하기 위한 정보로서, 관제사 ID, 관제 시간 정보, 관제 카메라 정보 및 이벤트 정보로 구성될 수 있다.In addition, the control scenario information for each controller is information for determining a control target image to be displayed on the display device at a specific time slot for each controller, and may include controller ID, control time information, control camera information, and event information.
또한, 상기 관제 카메라 정보는, 각 관제사가 관제 터미널의 디스플레이 장치를 통해 표시할 관제 대상 영상을 전송하는 CCTV의 식별자인 CCTV ID와 각각의 CCTV ID에 대해 설정된 우선 순위 정보를 포함할 수 있다.In addition, the control camera information may include a CCTV ID which is an identifier of a CCTV for transmitting a control target image to be displayed by each controller through a display device of a control terminal and priority information set for each CCTV ID.
또한, 상기 우선 순위 정보는, 각각의 CCTV ID에 대하여 CCTV ID에 상응하는 관제 대상 영상을 관제사가 사용하고 있는 관제 터미널의 디스플레이 장치의 화면상의 어느 위치에 구분하여 표시할지에 대한 정보를 나타내는 것일 수 있다.In addition, the priority information may indicate information on which positions on the screen of the display device of the control terminal used by the controller to display the control target image corresponding to the CCTV ID for each CCTV ID have.
또한, 상기 필터링부는, 관제사별 관제 시나리오 정보에 포함되어 있는 정보들과 관제 대상 관련 정보에 포함되어 있는 정보들을 비교하여 관제사별 관제 대상 관련 정보를 결정할 수 있다.The filtering unit may determine the control target related information for each controller by comparing the information included in the control scenario information for each controller with the information included in the control target information.
또한, 상기 필터링부는, 상기 영상 분석 서버로부터 전송되는 복수개의 관제 대상 관련 정보들에 포함되어 있는 객체 분류 정보와 관제사별 관제 시나리오 정보에 포함되어 있는 이벤트 정보를 비교하고, 객체 분류 정보와 이벤트 정보가 동일한 경우, 관제 대상 관련 정보에 포함되어 있는 카메라 정보와 관제사별 관제 시나리오 정보에 포함되어 있는 관제 카메라 정보를 비교하고, 관제 대상 관련 정보에 포함되어 있는 카메라 정보와 관제 카메라 정보가 동일한 경우, 해당 관제 대상 관련 정보를 해당 관제사가 사용하고 있는 관제 터미널로 전송해야 할 관제 대상 관련 정보로 결정하고, 각 관제 대상 관련 정보에 상응하는 관제 카메라 정보에 포함되어 있는 CCTV ID에 대해 설정되어 있는 우선 순위 정보를 각각 확인하고 관제사 ID, 각각의 관제 대상 관련 정보 및 관제 대상 관련 정보에 상응하는 우선 순위 정보를 분배부로 전송하는 과정을 상기 영상 분석 서버로부터 전송되는 복수개의 관제 대상 관련 정보에 대해 병렬적으로 동시에 수행할 수 있다.The filtering unit may compare the object classification information included in the plurality of control object related information transmitted from the image analysis server with the event information included in the control scenario information for each controller, and the object classification information and the event information may be In the same case, the camera information included in the control target information is compared with the control camera information included in the control scenario information for each controller, and when the camera information and the control camera information included in the control target information are the same, the corresponding control The target-related information is decided as the control target information to be transmitted to the control terminal used by the controller, and the priority information set for the CCTV ID included in the control camera information corresponding to each control target information is determined. Check each controller ID, each control target May be relevant information and control the target performs a process of transmitting the priority information distribution part corresponding to the information at the same time in parallel to the plurality of control target information transmitted from the image analysis server.
또한, 상기 분배부는, 상기 필터링부에서 전달된 관제사별로 결정된 관제 대상 관련 정보를 우선 순위 정보 및 관제사 ID에 기초하여 터미널 통신부에서 사용하는 UDP 인터페이스를 통해 각각의 관제 터미널로 관제 대상 관련 정보를 전송할 수 있다.The distribution unit may transmit the control object related information to each control terminal through a UDP interface used by the terminal communication unit based on the priority information and the controller ID based on the control object related information determined for each controller transmitted from the filtering unit. have.
또한, 상기 분배부는, 관제 대상 관련 정보의 종류, 관제사 ID, 우선 순위 정보의 순으로 구성된 UDP 포트 번호에 의해 터미널 통신부를 통해 관제 대상 관련 정보를 각 관제 터미널로 전송할 수 있다.The distribution unit may transmit the control object related information to each control terminal through the terminal communication unit based on the UDP port number configured in the order of the control object related information, the controller ID, and the priority information.
또한, 상기 관제 터미널은, 상기 수신한 관제 대상 관련 정보에 포함된 카메라 정보에 상응하는 관제 대상 영상을 영상 관리 시스템으로 요청하고, 상기 영상 관리 시스템은 해당 관제 대상 영상을 실시간으로 스트리밍 방식으로 관제 터미널로 전송할 수 있다.The control terminal may request a control target image corresponding to camera information included in the received control target related information to an image management system, and the image management system may control the control target image in real time by streaming. Can be sent to.
또한, 상기 관제 터미널은, 상기 관제 대상 관련 정보가 수신된 UDP 포트에 상응하는 우선 순위 정보에 따라 디스플레이 장치의 미리 설정된 화면상의 위치에 상기 관제 대상 영상을 표시할 수 있다.The control terminal may display the control target image at a position on a preset screen of the display apparatus according to priority information corresponding to the UDP port where the control target related information is received.
또한, 상기 관제 터미널은, 관제 대상 관련 정보에 포함되어 있는 시간 정보 및 객체 위치 정보에 기초하여 관제 대상 영상 위에 객체가 존재함을 나타내는 객체 강조 표시를 제공할 수 있다.The control terminal may provide an object highlight display indicating that an object exists on the control target image based on time information and object position information included in the control target related information.
본 발명에 의하면, CCTV를 통해 획득되는 다수의 관제 대상 영상을 분석하고, 분석된 관제 대상 영상을 관제사가 미리 설정해 둔 관제 시나리오 정보에 따라 관제사별로 분배함으로써 관제 효율을 높일 수 있는 지능형 스마트 선별 관제 시스템을 제공할 수 있다.According to the present invention, an intelligent smart screening control system which analyzes a plurality of control target images acquired through CCTV and distributes the analyzed control target images for each controller according to the control scenario information previously set by the controller, thereby increasing control efficiency. Can be provided.
또한, 본 발명에 의하면, 관제사가 미리 설정해 둔 관제 시나리오 정보에 포함된 우선 순위 정보에 따라 디스플레이 장치에서 미리 설정된 위치에 관제 대상 영상을 자동으로 표시하도록 함으로써 선별적이고 중요도에 따른 집중 관찰 기능을 제공할 수 있는 지능형 스마트 선별 관제 시스템을 제공할 수 있다.In addition, according to the present invention, by providing a selective and important concentration monitoring function by automatically displaying the control target image in the preset position on the display device according to the priority information included in the control scenario information preset by the controller. Can provide intelligent smart screening control system.
도 1은 본 발명의 일실시예에 의한 지능형 스마트 선별 관제 시스템(100)의 전체적인 구성 및 연결 관계를 나타낸 도면이다.
도 2는 영상 분석 서버(10)의 구성을 나타낸 도면이다.
도 3은 관제 대상 관련 정보의 일예를 나타낸 것이다.
도 4는 관제 분배 서버(20)의 구성을 나타낸 도면이다.
도 5는 관제 시나리오 정보의 일예를 나타낸 것이다.
도 6은 필터링부(24)의 동작을 나타낸 흐름도이다.
도 7 및 도 8은 분배부(25)에 의한 UDP 포트 번호를 생성하는 과정을 설명하기 위한 도면이다.1 is a view showing the overall configuration and connection relationship of the intelligent smart
2 is a diagram illustrating a configuration of the
3 illustrates an example of control object related information.
4 is a diagram illustrating a configuration of the
5 shows an example of control scenario information.
6 is a flowchart illustrating an operation of the
7 and 8 are diagrams for explaining a process of generating a UDP port number by the
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 의한 지능형 스마트 선별 관제 시스템(100)의 전체적인 구성 및 연결 관계를 나타낸 도면이다.1 is a view showing the overall configuration and connection relationship of the intelligent smart
도 1을 참조하면, 지능형 스마트 선별 관제 시스템(100, 이하, 간단히 "관제 시스템(100)"이라 한다)은, 영상 분석 서버(10), 관제 분배 서버(20) 및 관제 터미널(30)을 포함한다.Referring to FIG. 1, the intelligent smart screening control system 100 (hereinafter, simply referred to as “
영상 분석 서버(10)는 영상 관리 시스템(200)과 연결되어 영상 관리 시스템(200)으로부터 실시간으로 영상 정보를 수신하고, 수신된 영상 정보를 분석하여 복수개의 관제 터미널(30)에서 각각 관제할 대상이 되는 관제 대상 영상을 결정하고 관제 대상 영상에 대한 관제 대상 관련 정보를 생성하여 관제 분배 서버(20)로 전송하는 기능을 수행한다.The
여기에서, 영상 관리 시스템(200)은 복수개의 CCTV(300)로부터 실시간으로 전송되는 스트리밍 영상 정보를 수신하고 저장하는 등과 같은 기능을 수행한다. 이러한 영상 관리 시스템(200) 자체는 본 발명의 직접적인 목적이 아니며 종래 기술에 의해 알려져 있는 것을 사용할 수 있으므로, 여기에서는 상세 설명은 생략한다.Here, the
영상 관리 시스템(200)은 CCTV(300)로부터 수신되는 영상 정보를 실시간으로 영상 분석 서버(10)로 전송하는데, 예컨대 RTSP(Real Time Streaming Protocol)에 의해 영상 정보를 전송할 수 있다. The
여기에서, 영상 정보는 CCTV(300)에서 촬영된 실시간의 스트리밍 영상 자체의 데이터 뿐 아니라 각각의 CCTV(300)의 식별자(ID)인 카메라 정보를 포함할 수 있다.Here, the image information may include camera information which is an identifier (ID) of each
CCTV(300)는 원격지에 설치되어 영상을 실시간으로 획득하여 영상 관리 시스템(200)으로 전송하는 종래의 장치를 의미한다. CCTV(300) 또한 본 발명의 직접적인 목적이 아니며 종래 기술에 의해 잘 알려져 있으므로 이에 대해서도 상세 설명은 생략한다.CCTV 300 refers to a conventional device that is installed in a remote place to obtain an image in real time and transmit it to the
관제 분배 서버(20)는 관제사별 관제 시나리오 정보에 기초하여 상기 영상 분석 서버(10)로부터 수신되는 관제 대상 관련 정보를 각 관제 터미널(30)로 분배하여 전송하는 기능을 수행한다.The
관제 분배 서버(20)는, 영상 분석 서버(10)로부터 관제 대상 관련 정보를 수신하고 관제 터미널(30)을 통해 관제사별 관제 시나리오 정보를 수신하여 관제사별로 저장해 둔다. The
관제 터미널(30)은, 적어도 2 이상의 복수개로 구성되고, 상기 관제 분배 서버(20)로부터 전송되는 관제 대상 관련 정보에 기초하여 영상 관리 시스템(10)으로부터 수신되는 복수개의 관제 대상 영상을 관제사별 관제 시나리오 정보에 포함된 관제사별 우선 순위 정보에 기초하여 디스플레이 장치의 화면상에 표시하는 기능을 수행한다.The
관제 터미널(30)은 관제 분배 서버(20)로부터 수신한 관제 대상 관련 정보에 기초하여 영상 관리 시스템(200)으로 관제 대상 영상을 요청하고 영상 관리 시스템(200)으로부터 관제 대상 영상을 수신하여 디스플레이 장치의 화면상에 표시한다.The
관제 터미널(30)은, 예컨대 컴퓨터와 모니터와 같은 디스플레이 장치로 구성될 수 있다. 디스플레이 장치는 2 이상의 복수개로 구성될 수 있으며, 각각의 디스플레이 장치의 화면상에는 복수개의 관제 대상 영상이 예컨대 4×4 형태의 격자 방식으로 분할되어 표시되는데, 관제 터미널(30)은 관제사별 관제 시나리오 정보에 포함되어 있는 우선 순위 정보에 기초하여 영상 관리 시스템(200)으로부터 수신되는 복수개의 관제 대상 영상을 미리 설정된 디스플레이 장치의 화면상의 위치에 구분하여 표시한다.The
관제사는 관제 터미널(30)의 디스플레이 장치의 화면에 우선 순위 정보에 따라 구분되어 표시되는 복수개의 관제 대상 영상을 감시하여 응급 상황이 발생한 경우 적절한 조치를 취하게 된다.The controller monitors a plurality of control target images displayed according to priority information on the screen of the display device of the
이하, 도 2 이하를 참조하여 각 구성 요소에 대해 보다 상세하게 설명하기로 한다.Hereinafter, each component will be described in more detail with reference to FIG. 2.
도 2는 영상 분석 서버(10)의 구성을 나타낸 도면이다.2 is a diagram illustrating a configuration of the
도 2를 참조하면, 영상 분석 서버(10)는, 객체 검출부(11) 및 관제 대상 관련 정보 생성부(12)를 포함한다.Referring to FIG. 2, the
객체 검출부(11)는, 영상 관리 시스템(200)으로부터 실시간으로 스트리밍되어 입력되는 영상 정보에 의해 표시되는 영상으로부터 객체(object)를 검출하고, 객체가 검출된 시점으로부터의 영상을 관제 대상 영상으로 결정한다. The
또한, 객체 검출부(11)는, 검출된 객체의 종류를 나타내는 객체 분류 정보를 생성하고, 객체의 움직임을 추적하여 객체 위치 정보를 생성하는 기능을 수행한다.In addition, the
여기에서, 객체(object)는 예컨대 차량, 자전거, 오토바이, 사람 등과 같은 것일 수 있으며, 본 발명에 의한 관제 시스템(100)에서 관제의 대상이 될 수 있는 의미를 갖는 사물을 의미한다. Here, the object may be, for example, a vehicle, a bicycle, a motorcycle, a person, or the like, and means an object having a meaning that may be an object of control in the
본 발명에 의한 관제 시스템(100)은, 길거리나 특정 장소에 배치되는 CCTV(300)에 의해 획득되는 영상에 기초하여 범죄 예방, 재난 방지, 기록 확보 등의 목적을 위한 관제를 수행하므로, 이러한 점에서 본 발명에서의 객체는 움직임이 있는 차량, 사람 또는 차량과 사람의 복합체인 것이 대표적이지만 이에 한정되는 것은 아니며 관제 목적에 따라 기타 다른 객체를 정의할 수도 있다.The
한편, 객체 위치 정보는 영상 정보에 의해 표시되는 영상을 x축 및 y축 평면에 나타내었을 때 객체가 해당 평면에서 존재하는 위치에 대한 좌표 정보일 수 있다.Meanwhile, the object position information may be coordinate information about a position where an object exists in the corresponding plane when the image displayed by the image information is displayed on the x-axis and y-axis planes.
예컨대, 객체 위치 정보는, 객체를 포함하는 사각형을 나타내기 위한 좌표 정보로서, 사각형의 4개의 꼭지점 중에서 좌상단 꼭지점의 좌표 정보와 우하단 꼭지점의 좌표 정보로 구성될 수 있다.For example, the object position information is coordinate information for indicating a rectangle including an object, and may be composed of coordinate information of an upper left vertex and coordinate information of a lower right corner among four vertices of the rectangle.
객체가 시간의 흐름에 따라 움직이는 경우, 객체 검출부(11)는 각 시간별로 객체 위치 정보를 생성한다.When the object moves over time, the
여기에서, 객체 분류 정보는, 검출된 객체가 어떤 것인가에 대한 종류를 나타내는 정보를 의미하는데, 예컨대 차량, 사람, 차량과 사람의 복합체 중 어느 하나일 수 있다.Here, the object classification information refers to information indicating the type of the detected object, for example, may be any one of a vehicle, a person, a complex of a vehicle and a person.
주어진 영상으로부터 차량, 사람 또는 차량과 사람의 복합체인 객체를 검출하고 객체 위치 정보를 생성하고 객체 분류 정보를 생성하는 방법으로는, 예컨대, 인공 지능(AI)에 의해 객체 검출부(11)를 학습시키고, 입력되는 영상으로부터 차량, 사람 또는 차량과 사람의 복합체를 검출하고 영상에서 이들 객체의 좌표를 판별하여 객체 위치 정보를 생성하는 방법을 사용할 수 있다. As a method of detecting an object that is a vehicle, a person, or a complex of a vehicle and a person from a given image, generating object position information, and generating object classification information, for example, the
객체 검출부(11)는 이러한 종래 기술에 의해 알려진 것을 사용할 수 있으며, 본 발명의 직접적인 목적은 아니므로 여기서는 상세 설명은 생략한다.The
한편, 관제 대상 관련 정보 생성부(12)는 객체 검출부(11)에서 결정된 관제 대상 영상에 대한 관제 대상 관련 정보를 생성하고, 생성된 관제 대상 관련 정보를 관제 분배 서버(20)로 전송하는 기능을 수행한다.Meanwhile, the control target related
여기에서, 관제 대상 관련 정보는, 관제 대상 영상과 관련된 메타(meta) 정보를 의미하며, 이벤트(event) 데이터와 트래킹(tracking) 데이터로 구성될 수 있다.Here, the control object-related information means meta information related to the control object image, and may include event data and tracking data.
도 3은 관제 대상 관련 정보의 일예를 나타낸 것이다.3 illustrates an example of control object related information.
이벤트 데이터는, 객체 검출부(11)에서 검출되었을 때를 이벤트로 보고 해당 이벤트와 관련된 데이터를 의미하며, 도 3에 나타낸 바와 같이, 예컨대, 카메라 정보, 시간 정보, 이벤트 모드 정보, 객체 분류 정보, 객체 위치 정보 및 객체 정지 영상 정보를 포함할 수 있다.The event data refers to an event when detected by the
카메라 정보는 객체 검출부(11)에서 객체가 검출된 영상 정보를 전송한 CCTV(300)의 식별자(ID) 정보이다. CCTV(300)의 식별자는 미리 각각의 CCTV(300)마다 고유하게 부여되어 있으며, CCTV(300)와 결합된 영상 관리 시스템(100)에서 파악할 수 있는 정보이며, 영상 관리 시스템(100)은 영상 분석 서버(10)로 영상 정보를 전송하면서 이와 함께 전송할 수 있으므로, 영상 분석 서버(10(는 객체가 검출된 영상 정보를 전송한 CCTV(300)의 식별자(ID) 정보인 카메라 정보를 획득할 수 있다.The camera information is identifier (ID) information of the
시간 정보는 객체가 검출된 시점을 나타내는 시간을 나타내며, 객체가 검출된 시점을 이벤트가 발생한 시점으로 정의하고 이 때의 타임 스탬프(timestamp)를 시간 정보로 볼 수 있다. The time information represents a time indicating the point in time at which the object is detected, and a time point in which the object is detected may be defined as a time point in which an event occurs, and the timestamp at this time may be viewed as time information.
이벤트 모드 정보는 객체가 검출되었음을 알리는 이벤트 시작 정보와 객체 검출이 종료된 경우를 나타내는 이벤트 종료 정보로 구성된다. 예컨대, 이벤트 시작 정보는 "0", 이벤트 종료 정보는 "1"과 같이 설정해 둘 수 있다.The event mode information includes event start information indicating that an object has been detected and event end information indicating when object detection has ended. For example, the event start information may be set as "0" and the event end information as "1".
객체 위치 정보는 전술한 바와 같이 객체 검출부(11)에서 획득되며, 영상 정보에 의해 표시되는 영상을 x축 및 y축 평면에 나타내었을 때 객체가 해당 평면에서 존재하는 위치에 대한 좌표 정보를 의미한다. 이는 앞서 설명한 바와 같이 객체를 포함하는 사각형을 나타내는 좌표 정보인 것이 바람직하다.The object position information is obtained by the
객체 분류 정보는, 전술한 바와 같이 검출된 객체가 어떤 것인가에 대한 종류를 나타내는 정보로서 객체 검출부(11)에 의해 획득되며, 객체를 차량, 사람 또는 차량과 사람의 복합체로 분류하고, 예컨대 차량=0, 사람=1, 차량과 사람의 복합체=2 등과 같이 표시할 수 있다.The object classification information is obtained by the
객체 정지 영상 정보는, 객체가 검출된 시점의 영상 이미지를 의미하며, 객체 검출부(11)가 객체를 검출할 때 해당 시점에서의 영상 정보를 캡쳐하여 이미지 형태의 썸네일(thumbnail) 파일로 생성된다.The object still image information refers to a video image of a point in time at which an object is detected. When the
한편, 트래킹 데이터는, 객체 검출부(21)에서 검출된 객체에 대해 움직임이 발생하는 경우, 해당 객체의 움직임과 관련된 데이터를 의미하며, 도 3에 나타낸 바와 같이, 카메라 정보, 시간 정보, 객체 분류 정보, 객체 위치 정보를 포함할 수 있다.On the other hand, the tracking data means data related to the movement of the object when a movement occurs in the object detected by the
이들은 앞서 이벤트 데이터에서 설명한 바와 동일하므로 상세 설명은 생략한다. These are the same as described above in the event data, so detailed description thereof will be omitted.
이와 같이, 관제 대상 관련 정보 생성부(12)는 객체 검출부(11)에서 객체가 검출되어 관제 대상 영상으로 결정된 경우 해당 관제 대상 영상에 대한 관제 대상 관련 정보로서 이벤트 데이터와 트래킹 데이터를 생성하고, 이들을 관제 분배 서버(20)로 전송한다.As such, when the object is detected by the
여기에서, 이벤트 데이터는, 이벤트가 발생할 때마다, 즉, 객체가 검출될 때마다 생성되고, 트래킹 데이터는 검출된 객체의 움직임이 발생할 때마다 시간의 흐름에 상응하여 생성되어 관제 분배 서버(20)로 전송된다.Here, event data is generated every time an event occurs, that is, every time an object is detected, and tracking data is generated corresponding to the passage of time each time the movement of the detected object occurs, so that the
다음으로, 관제 분배 서버(20)의 구성 및 동작을 설명한다.Next, the configuration and operation of the
도 4는 관제 분배 서버(20)의 구성을 나타낸 도면이다.4 is a diagram illustrating a configuration of the
관제 분배 서버(20)는, 전술한 바와 같이, 관제사별 관제 시나리오 정보에 기초하여 상기 영상 분석 서버(10)로부터 수신되는 관제 대상 관련 정보를 각 관제 터미널(30)로 분배하여 전송하는 기능을 수행한다.As described above, the
도 4를 참조하면, 관제 분배 서버(20)는, 서버 통신부(21), 터미널 통신부(22), 관제 시나리오 정보 관리부(23), 필터링부(24) 및 분배부(25)를 포함한다.Referring to FIG. 4, the
서버 통신부(21)는, 영상 분석 서버(10)와 본 발명을 위해 필요한 데이터를 송수신하기 위한 수단으로서, 본 발명에서는 예컨대 TCP/IP 인터페이스에 의해 영상 분석 서버(10)와 데이터를 송수신한다. 서버 통신부(21)는 TCP/IP 인터페이스를 통해 영상 분석 서버(10)로부터 관제 대상 관련 정보를 수신하고, 이를 필터링부(24) 및 분배부(25)로 전달한다.The
터미널 통신부(22)는, 관제 터미널(30)과 본 발명을 위해 필요한 데이터를 송수신하기 위한 수단으로서, 본 발명에서는 UDP 인터페이스를 통해 관제 터미널(30)과 데이터를 송수신한다. 터미널 통신부(22)는 후술하는 바와 같이, 관제 시나리오 정보 관리부(23), 필터링부(24) 및 분배부(25)의 동작에 의해 관제 대상 관련 정보를 각각의 관제 터미널(30)로 분배하여 전송하는 기능을 수행한다.The
또한, 터미널 통신부(22)는 관제 터미널(30)을 통해 전송되는 관제사별 시나리오 정보를 수신하여 관제 시나리오 정보 관리부(23)로 전달하는 기능도 수행한다.In addition, the
관제 시나리오 정보 관리부(23)는, 관제 터미널(30)을 통해 전송되는 관제사별 관제 시나리오 정보를 저장하고 관리하는 수단이다. 또한, 관제 시나리오 정보 관리부(23)는 관제사가 관제 시나리오를 설정할 수 있도록 하는 사용자 인터페이스를 관제 터미널(30)을 통해 관제사에게 제공하고, 이를 통해 관제사가 선택한 관제사별 관제 시나리오 정보를 수신하고 이를 저장해 둔다.The control scenario
여기에서, 관제사별 관제 시나리오 정보라 함은, 관제사별로 특정 시간대에 디스플레이 장치를 통해 표시할 관제 대상 영상을 결정하기 위한 정보를 의미한다.Here, the control scenario information for each controller refers to information for determining a control target image to be displayed through the display apparatus at a specific time slot for each controller.
도 5는 관제 시나리오 정보의 일예를 나타낸 것이다.5 shows an example of control scenario information.
도 5를 참조하면, 관제 시나리오 정보는, 관제사 ID, 관제 시간 정보, 관제 카메라 정보 및 이벤트 정보로 구성된다.Referring to FIG. 5, the control scenario information includes a controller ID, control time information, control camera information, and event information.
관제사 ID는, 각 관제사에게 고유하게 부여되는 식별자이고, 관제 시간 정보는, 관제 시나리오 정보가 적용되는 시간을 의미한다. The controller ID is an identifier uniquely assigned to each controller, and the control time information means a time when the control scenario information is applied.
관제 시간 정보는, 관제 시나리오 정보가 관제 분배 서버(20)에서 적용되는 시간대를 의미하며, 계절, 월, 주, 일, 시각 등으로 구분하여 설정될 수 있다.The control time information refers to a time zone in which control scenario information is applied by the
관제 시간 정보는, 복수개로 설정될 수 있으며 각 시간 정보에 따라 서로 다른 관제 시나리오 정보를 구성할 수 있다. 도 5에서는 2개의 시간대(T1, T2)로 구분하여 해당 시간대에 적용되는 2개의 관제 시나리오 정보가 구성되어 있다.The control time information may be set in plural and may configure different control scenario information according to each time information. In FIG. 5, two control scenario information applied to the corresponding time zones are divided into two time zones T1 and T2.
관제 카메라 정보는, 각 관제사가 관제 터미널(30)의 디스플레이 장치를 통해 표시할 관제 대상 영상을 전송하는 CCTV(300)의 식별자인 CCTV ID와 각각의 CCTV ID에 대해 설정된 우선 순위 정보를 포함한다.The control camera information includes a CCTV ID, which is an identifier of the
여기서, 각각의 CCTV ID는 전술한 바와 같이 관제 시나리오 정보 관리부(23)를 통해 제공되는 인터페이스에 의해 사용자가 선택한 CCTV(300)들의 ID이다. 이러한 CCTV ID는 예컨대 복수개의 관심 분야, 위치, 설치 장소, 카메라 채널 등과 같은 정보를 확인하고 관제사가 원하는 CCTV들을 개별적으로 또는 그룹으로 선택하는 방식에 의해 설정될 수 있다.Here, each CCTV ID is the ID of the CCTV (300) selected by the user by the interface provided through the control scenario
한편, 우선 순위 정보는, 각각의 CCTV ID에 대하여 CCTV ID에 상응하는 관제 대상 영상을 관제사가 사용하고 있는 관제 터미널(300)의 디스플레이 장치의 화면상의 어느 위치에 구분하여 표시할지에 대한 정보를 의미한다. 전술한 바와 같이, 관제 터미널(30)별로 디스플레이 장치는 2 이상의 복수개로 구성되며, 각각의 디스플레이 장치에는 복수개의 관제 대상 영상이 예컨대 4×4 형태의 격자 방식으로 분할되어 표시되는데, 관제 터미널(30)은 우선 순위 정보에 따라 미리 설정된 디스플레이 장치의 화면상의 위치에 영상 관리 시스템(200)으로부터 수신되는 각각의 CCTV ID에 상응하는 복수개의 관제 대상 영상을 구분하여 표시한다.Meanwhile, the priority information means information on which position on the screen of the display device of the
예컨대, 하나의 디스플레이 장치의 화면상에 4×4 형태의 격자 형태로 16개의 관제 대상 영상이 표시되는 경우, 좌상단으로부터 우측방향으로 그리고 그 아래 칸으로 이동해서 다시 우측 방향으로 배치되는 것과 같이, 순차적으로 높은 우선 순위를 갖는 관제 대상 영상이 표시되도록 설정해 둘 수 있다.For example, when 16 control target images are displayed in the form of a 4 × 4 grid on a screen of one display device, the images are sequentially moved from the upper left to the right and to the lower cell and arranged again in the right direction. Can be set to display the control target image having a high priority.
복수개의 디스플레이 장치인 경우에는, 우선 순위가 높은 순서대로 하나씩 각각의 디스플레이 장치의 화면상의 좌상단으로부터 차례대로 배치하는 방식을 사용할 수도 있다.In the case of a plurality of display devices, a method of arranging them in order from the upper left on the screen of each display device one by one in order of high priority may be used.
우선 순위 정보는, 우선 순위 정보 관리부(23)가 관제 터미널(30)을 통해 제공하는 인터페이스를 통해 관제사가 원하는 정보를 선택 입력하는 방식으로 설정될 수 있다.The priority information may be set in such a manner that the controller selects and inputs desired information through an interface provided by the
우선 순위 정보는 도 5에 나타낸 바와 같이, HIHI, HIGH, MID, LOW, LOLO의 5 단계의 우선 순위에 따라 설정될 수 있으며, HIHI가 가장 높은 우선 순위이며 순차적으로 LOLO까지 낮은 순위에 해당한다.As shown in FIG. 5, the priority information may be set according to the priority of five levels of HIHI, HIGH, MID, LOW, and LOLO. HIHI is the highest priority and sequentially corresponds to the low priority up to LOLO.
한편, 이벤트 정보는, 관제사가 관제 대상 영상에서 관제하고자 하는 객체의 종류를 나타내는 정보로서, 앞서 객체 분류 정보에서 설명한 바와 같이, 사람, 차량, 사람과 차량의 복합체 중 어느 하나 이상으로 구성될 수 있다.On the other hand, the event information is information indicating the type of the object that the controller wants to control in the control target image, as described above in the object classification information, may be composed of any one or more of a person, a vehicle, a complex of a person and a vehicle. .
필터링부(24)는, 상기 관제사별 관제 시나리오 정보에 기초하여 관제사가 사용하고 있는 관제 터미널(30)로 전송할 관제 대상 관련 정보를 관제사별로 결정하는 수단이다.The
필터링부(24)는, 관제사별 관제 시나리오 정보에 포함되어 있는 정보들과 관제 대상 관련 정보에 포함되어 있는 정보들을 비교하여, 관제사별 관제 대상 관련 정보를 결정할 수 있다.The
도 6은 필터링부(24)의 동작을 나타낸 흐름도이다.6 is a flowchart illustrating an operation of the
우선, 필터링부(24)는, 영상 분석 서버(10)로부터 전송되는 복수개의 관제 대상 관련 정보들에 포함되어 있는 객체 분류 정보와 관제사별 관제 시나리오 정보에 포함되어 있는 이벤트 정보를 비교한다(S100).First, the
객체 분류 정보와 이벤트 정보가 동일한 경우, 관제 대상 관련 정보에 포함되어 있는 카메라 정보와 관제사별 관제 시나리오 정보에 포함되어 있는 관제 카메라 정보를 비교한다(S110).When the object classification information and the event information are the same, the camera information included in the control target-related information is compared with the control camera information included in the control scenario information for each controller (S110).
관제 대상 관련 정보에 포함되어 있는 카메라 정보와 관제 카메라 정보가 동일한 경우, 해당 관제 대상 관련 정보를 해당 관제사가 사용하고 있는 관제 터미널(30)로 전송해야 할 관제 대상 관련 정보로 결정하고, 각 관제 대상 관련 정보에 상응하는 관제 카메라 정보에 포함되어 있는 CCTV ID에 대해 설정되어 있는 우선 순위 정보를 각각 확인하고(S120), 관제사 ID, 각각의 관제 대상 관련 정보 및 관제 대상 관련 정보에 상응하는 우선 순위 정보를 분배부(25)로 전송한다(S130).If the camera information included in the control target information is the same as the control camera information, the control target information is determined as the control target related information to be transmitted to the
이러한 과정을 영상 분석 서버(10)로부터 전송되는 복수개의 관제 대상 관련 정보에 대해 병렬적으로 동시에 수행하면, 각각의 관제사가 사용하고 있는 관제 터미널로 전송할 관제 대상 관련 정보를 우선 순위 정보와 함께 관제사별로 결정할 수 있다.When this process is performed in parallel on a plurality of control object related information transmitted from the
필터링부(24)는, 관제사별로 결정된 관제 대상 관련 정보를 우선 순위 정보 및 관제사 ID와 함께 분배부(25)로 전달한다.The
분배부(25)는, 상기 필터링부(24)에 의해 결정된 관제사별 관제 대상 관련 정보를 터미널 통신부(22)를 통해 관제사가 사용하고 있는 관제 터미널(30)로 분배하여 전송하는 수단이다.The
분배부(25)는 필터링부(24)에서 전달된 관제사별로 결정된 관제 대상 관련 정보를 우선 순위 정보 및 관제사 ID에 기초하여 터미널 통신부(22)에서 사용하는 UDP 인터페이스를 통해 각각의 관제 터미널(30)로 관제 대상 관련 정보를 전송하는데, 이 때 관제 대상 관련 정보와 관제사 ID 및 우선 순위 정보를 이용한 UDP 포트 번호를 통해 각각의 관제 터미널(30)로 관제 대상 관련 정보를 전송할 수 있다.The
즉, 분배부(25)는, 관제 대상 관련 정보의 종류, 관제사 ID, 우선 순위 정보의 순으로 구성된 UDP 포트 번호에 의해 터미널 통신부(22)를 통해 관제 대상 관련 정보를 각 관제 터미널(30)로 전송할 수 있다.That is, the
도 7 및 도 8은 분배부(25)에 의한 UDP 포트 번호를 생성하는 과정을 설명하기 위한 도면이다.7 and 8 are diagrams for explaining a process of generating a UDP port number by the
도 7은 분배부(25)에서 UDP 포트 번호를 생성하는 규칙을 나타낸 것으로서, UDP 포트 번호를 5자리로 구성하고, 관제 대상 관련 정보의 종류(이벤트 데이터/트래킹 데이터)에 따라 UDP 포트의 베이스를 맨 앞자리 2와 3으로 구분해 둔다.FIG. 7 illustrates a rule for generating a UDP port number in the
그 다음 두 자리(XX)는 관제사 ID를 의미하며, 맨 마지막 자리에 추가되는 오프셋(offset)은 우선 순위 정보(HIHI, HIGH, MID, LOW, LOLO)에 따라 각각 0,1,2,3,4가 부여된다.The next two digits (XX) represent the controller ID, and the offset added to the last digit is 0,1,2,3, depending on the priority information (HIHI, HIGH, MID, LOW, LOLO). 4 is given.
도 8은 도 7과 같은 규칙에 의해 생성되는 UDP 포트 번호의 일예를 나타낸 것으로서, 관제사 ID가 11인 경우, 이벤트 데이터/트래킹 데이터별로 우선 순위 정보에 따라 UDP 포트 번호가 생성됨을 알 수 있다.FIG. 8 illustrates an example of a UDP port number generated by a rule as shown in FIG. 7. When the controller ID is 11, it can be seen that a UDP port number is generated according to priority information for each event data / tracking data.
예컨대, HIHI의 우선 순위를 갖는 이벤트 데이터에 대한 UDP 포트 번호는, 이벤트 데이터는 맨 앞자리가 2이고 관제사 ID가 11이므로, 앞 3자리는 211이 된다. 그리고, HIHI의 우선순위는 오프셋이 0이므로, UDP 포트 번호는 21100이 된다.For example, the UDP port number for the event data having a priority of HIHI is the first three digits since the event data has the first two digits and the controller ID is 11. Since the HIHI has an offset of 0, the UDP port number is 21100.
마찬가지 방식으로 각 관제사 ID별로 이벤트/트래킹 데이터 여부에 따라 우선 순위 정보에 기초한 UDP 포트 번호를 생성할 수 있고, 분배부(25)는 이와 같은 UDP 포트를 이용하여 터미널 통신부(22)를 통해 관제 대상 관련 정보를 UDP 브로드캐스팅 방식에 의해 각 관제사가 사용하는 관제 터미널(30)로 전송할 수 있다.In the same manner, each controller ID may generate a UDP port number based on priority information according to event / tracking data, and the
따라서, 분배부(25)는 각 관제사 ID에 상응하는 관제 터미널(30)로 우선 순위에 따라 관제 대상 관련 정보를 고속 전송할 수 있고, 관제 터미널(30)이 수신하는 관제 대상 관련 정보는 UDP 포트에 따라 미리 구분되어 있으므로 관제 터미널(30)은 각각의 UDP 포트로 수신되는 관제 대상 관련 정보를 디스플레이부의 미리 설정된 위치로 실시간으로 시간 지연없이 표시할 수 있게 된다.Accordingly, the
여기에서, 관제사 ID는 관제사별로 미리 고유하게 부여되어 있으며, 관제사가 특정 관제 터미널(30)에서 관제사 ID를 이용하여 관제 분배 서버(20)에 로그인하면 해당 관제 터미널(30) 및 관제 분배 서버(20)에서는 전술한 바와 같은 UDP 포트를 준비해 둘 수 있다. Here, the controller ID is previously uniquely assigned to each controller, and when the controller logs in to the
한편, 관제 터미널(30)은 전술한 바와 같은 UDP 포트를 통해 관제 대상 관련 정보를 수신하면, 관제 대상 관련 정보에 상응하는 관제 대상 영상을 영상 관리 시스템(200)으로 요청하고, 영상 관리 시스템(200)은 해당 관제 대상 영상을 실시간으로 스트리밍 방식으로 관제 터미널(30)로 전송한다.Meanwhile, when the
관제 터미널(30)은 관제 대상 관련 정보에 포함되어 있는 카메라 정보에 기초하여 상응하는 관제 대상 영상을 판별하고 해당 관제 대상 영상을 영상 관리 시스템(200)으로 요청할 수 있다.The
관제 터미널(30)은 관제 대상 영상이 수신되는 대로 해당 관제 대상 영상을 디스플레이 장치의 화면상에 표시하는데, 이 때 전술한 바와 같이 관제 대상 관련 정보가 수신된 UDP 포트에 따라 즉, 우선 순위 정보에 따라 디스플레이 장치의 미리 설정된 화면상의 위치에 해당 관제 대상 영상을 표시한다.The
예컨대, 가장 높은 우선 순위인 HIHI에 상응하는 UDP 포트로 수신되는 영상을 디스플레이 장치의 최상단의 좌측에 표시되도록 할 수 있다.For example, an image received through a UDP port corresponding to HIHI, which is the highest priority, may be displayed on the left side of the top of the display device.
또한, 관제 터미널(30)은 관제 대상 관련 정보에 포함되어 있는 시간 정보, 객체 위치 정보를 참조하면, 관제 대상 영상에 포함되어 있는 객체의 종류와 객체가 화면상에서 존재하는 위치를 알 수 있다. 따라서, 관제 터미널(30)은 객체 위치 정보를 참조하여 관제 대상 영상 위에 객체가 존재함을 나타내는 사각형 등과 같은 객체 강조 표시를 오버레이 방식으로 제공할 수 있다.In addition, when the
따라서, 관제사는 우선 순위별로 구분된 관제 대상 영상을 파악하면서, 객체 강조 표시에 의해 객체를 가시적으로 용이하게 파악할 수 있으므로 관제 효율을 높일 수 있는 장점이 있다.Therefore, the controller can easily grasp the object visually by highlighting the object while grasping the control target image classified by priority, thereby increasing the control efficiency.
이상에서, 본 발명의 바람직한 실시예를 설명하였으나 본 발명은 상기 실시예에 한정되지 않으며, 기타 다양한 수정 및 변형 실시가 가능함은 물론이다.In the above, the preferred embodiment of the present invention has been described, but the present invention is not limited to the above embodiment, and various other modifications and variations are possible, of course.
예컨대, 영상 관리 시스템(200)과 영상 분석 서버(10)는 별도의 구성인 것으로 설명하였으나, 이들을 통합 구성하여 하나의 장치로 구현할 수도 있을 것이다.For example, the
또한, 영상 분석 서버(10)와 관제 분배 서버(20) 또한 별도의 구성인 것으로 나타내었으나 이들 또한 통합 구성하여 하나의 시스템으로 구현하는 것도 가능하다.In addition, the
100...지능형 스마트 선별 관제 시스템
200...영상 관리 시스템
300...CCTV
10...영상 분석 서버
20...관제 분배 서버
30...관제 터미널100 ... intelligent smart sorting control system
200 ... Video Management System
300 ... CCTV
10 Video analytics server
20.Control Distribution Server
30.Control terminal
Claims (15)
영상 관리 시스템으로부터 실시간으로 영상 정보를 수신하고, 수신된 영상 정보를 분석하여 복수개의 관제 터미널에서 각각 관제할 대상이 되는 관제 대상 영상을 결정하고 관제 대상 영상에 대한 관제 대상 관련 정보를 생성하여 관제 분배 서버로 전송하는 영상 분석 서버;
관제사별 관제 시나리오 정보에 기초하여 상기 영상 분석 서버로부터 수신되는 관제 대상 관련 정보를 각 관제 터미널로 분배하여 전송하는 관제 분배 서버; 및
상기 관제 분배 서버로부터 전송되는 관제 대상 관련 정보에 기초하여 영상 관리 시스템으로부터 수신되는 복수개의 관제 대상 영상을 관제사별 관제 시나리오 정보에 포함된 관제사별 우선 순위 정보에 기초하여 디스플레이 장치의 화면상에 표시하는 관제 터미널
을 포함하고,
상기 관제 대상 관련 정보는, 카메라 정보, 시간 정보, 이벤트 모드 정보, 객체 분류 정보, 객체 위치 정보 및 객체 정지 영상 정보로 구성되는 이벤트 데이터와, 카메라 정보, 시간 정보, 객체 분류 정보 및 객체 위치 정보로 구성되는 트래킹 데이터를 포함하고,
상기 카메라 정보는 객체 검출부에서 객체가 검출된 영상 정보를 전송한 CCTV의 식별자이고, 상기 시간 정보는 객체가 검출된 시점을 나타내는 시간을 나타내는 정보이고, 상기 이벤트 모드 정보는 객체가 검출되었음을 알리는 이벤트 시작 정보와 객체 검출이 종료된 경우를 나타내는 이벤트 종료 정보로 구성되고, 상기 객체 위치 정보는 영상 정보에 의해 표시되는 영상을 x축 및 y축 평면에 나타내었을 때 객체가 해당 평면에서 존재하는 위치에 대한 좌표 정보이고, 상기 객체 분류 정보는, 검출된 객체가 어떤 것인가에 대한 종류를 나타내는 정보이고, 상기 객체 정지 영상 정보는, 객체가 검출된 시점의 영상 이미지이고,
상기 관제 분배 서버는,
영상 분석 서버와 데이터를 송수신하는 서버 통신부;
관제 터미널과 데이터를 송수신하는 터미널 통신부;
관제 터미널을 통해 전송되는 관제사별 관제 시나리오 정보를 저장하고 관리하는 관제 시나리오 정보 관리부;
상기 관제사별 관제 시나리오 정보에 기초하여 각각의 관제사가 사용하고 있는 관제 터미널로 전송할 관제 대상 관련 정보를 관제사별로 결정하는 필터링부; 및
상기 필터링부에 의해 결정된 관제사별 관제 대상 관련 정보를 터미널 통신부를 통해 관제사가 사용하고 있는 관제 터미널로 분배하여 전송하는 분배부
를 포함하고,
상기 관제사별 관제 시나리오 정보는, 관제사별로 특정 시간대에 디스플레이 장치를 통해 표시할 관제 대상 영상을 결정하기 위한 정보로서, 관제사 ID, 관제 시간 정보, 관제 카메라 정보 및 이벤트 정보로 구성되고,
상기 관제 카메라 정보는, 각 관제사가 관제 터미널의 디스플레이 장치를 통해 표시할 관제 대상 영상을 전송하는 CCTV의 식별자인 CCTV ID와 각각의 CCTV ID에 대해 설정된 우선 순위 정보를 포함하고,
상기 우선 순위 정보는, 각각의 CCTV ID에 대하여 CCTV ID에 상응하는 관제 대상 영상을 관제사가 사용하고 있는 관제 터미널의 디스플레이 장치의 화면상의 어느 위치에 구분하여 표시할지에 대한 정보를 나타내고,
상기 필터링부는, 관제사별 관제 시나리오 정보에 포함되어 있는 정보들과 관제 대상 관련 정보에 포함되어 있는 정보들을 비교하여 관제사별 관제 대상 관련 정보를 결정하되, 상기 영상 분석 서버로부터 전송되는 복수개의 관제 대상 관련 정보들에 포함되어 있는 객체 분류 정보와 관제사별 관제 시나리오 정보에 포함되어 있는 이벤트 정보를 비교하고, 객체 분류 정보와 이벤트 정보가 동일한 경우, 관제 대상 관련 정보에 포함되어 있는 카메라 정보와 관제사별 관제 시나리오 정보에 포함되어 있는 관제 카메라 정보를 비교하고, 관제 대상 관련 정보에 포함되어 있는 카메라 정보와 관제 카메라 정보가 동일한 경우, 해당 관제 대상 관련 정보를 해당 관제사가 사용하고 있는 관제 터미널로 전송해야 할 관제 대상 관련 정보로 결정하고, 각 관제 대상 관련 정보에 상응하는 관제 카메라 정보에 포함되어 있는 CCTV ID에 대해 설정되어 있는 우선 순위 정보를 각각 확인하고 관제사 ID, 각각의 관제 대상 관련 정보 및 관제 대상 관련 정보에 상응하는 우선 순위 정보를 분배부로 전송하는 과정을 상기 영상 분석 서버로부터 전송되는 복수개의 관제 대상 관련 정보에 대해 병렬적으로 동시에 수행하고,
상기 분배부는, 상기 필터링부에서 전달된 관제사별로 결정된 관제 대상 관련 정보를 우선 순위 정보 및 관제사 ID에 기초하여 터미널 통신부에서 사용하는 UDP 인터페이스를 통해 각각의 관제 터미널로 관제 대상 관련 정보를 전송하되, 관제 대상 관련 정보의 종류, 관제사 ID, 우선 순위 정보의 순으로 구성된 UDP 포트 번호에 의해 터미널 통신부를 통해 관제 대상 관련 정보를 각 관제 터미널로 전송하는 것을 특징으로 하는 지능형 스마트 선별 관제 시스템.
As an intelligent smart screening control system,
Receives video information from the video management system in real time, analyzes the received video information, determines the control target images to be controlled by each of the plurality of control terminals, and generates control information related to the control target image to distribute the control An image analysis server for transmitting to the server;
A control distribution server for distributing control object related information received from the video analysis server to each control terminal based on control scenario information for each controller; And
Displaying a plurality of control target images received from the video management system based on control object related information transmitted from the control distribution server on the screen of the display device based on priority information for each controller included in control scenario information for each controller. Control terminal
Including,
The control target related information includes event data including camera information, time information, event mode information, object classification information, object location information, and object still image information, and camera information, time information, object classification information, and object location information. Includes tracking data that is configured,
The camera information is an identifier of a CCTV that transmits the image information detected by the object in the object detection unit, the time information is information indicating a time indicating the time when the object is detected, the event mode information is the event start indicating that the object is detected Information and event end information indicating a case where object detection is finished, and the object position information indicates the position of the object in the plane when the image represented by the image information is represented on the x and y axis planes. Coordinate information, wherein the object classification information is information indicating a kind of detected object, the object still image information is a video image of a time point at which an object is detected,
The control distribution server,
Server communication unit for transmitting and receiving data with the image analysis server;
Terminal communication unit for transmitting and receiving data with the control terminal;
A control scenario information management unit which stores and manages control scenario information for each controller transmitted through the control terminal;
A filtering unit which determines, for each controller, control object related information to be transmitted to the control terminal used by each controller based on the controller scenario information for each controller; And
Distribution unit for distributing control target information for each controller determined by the filtering unit through the terminal communication unit to transmit to the control terminal used by the controller
Including,
The control scenario information for each controller is information for determining a control target image to be displayed through a display device at a specific time slot for each controller, and includes controller ID, control time information, control camera information, and event information.
The control camera information includes a CCTV ID, which is an identifier of a CCTV for transmitting a control target image to be displayed by each controller through a display device of a control terminal, and priority information set for each CCTV ID,
The priority information indicates information on which positions on the screen of the display device of the control terminal used by the controller to display the control target image corresponding to the CCTV ID for each CCTV ID,
The filtering unit compares the information included in the control scenario information for each controller with the information included in the control target related information, and determines the control target related information for each controller, but includes a plurality of control targets transmitted from the image analysis server. The object classification information included in the information is compared with the event information included in the control scenario information by controller, and when the object classification information and the event information are the same, the camera information included in the control target information and the control scenario by the controller are compared. When the control camera information included in the information is compared and the camera information included in the control target information is the same as the control camera information, the control target to be transmitted to the control terminal used by the controller Determined by relevant information, and for each control Check the priority information set for the CCTV ID included in the control camera information corresponding to the phase related information, and distribute the priority information corresponding to the controller ID, the information related to each control object, and the information related to the control object to the distribution unit. Simultaneously performing a transmission process on a plurality of control target related information transmitted from the image analysis server in parallel and simultaneously
The distribution unit transmits the control target related information to each control terminal through a UDP interface used by the terminal communication unit based on the priority information and the controller ID based on the control target information determined for each controller transferred from the filtering unit. An intelligent smart screening control system for transmitting control target related information to each control terminal through a terminal communication unit by a UDP port number configured in the order of information related to a target, a controller ID, and priority information.
상기 영상 분석 서버는,
영상 관리 시스템으로부터 실시간으로 스트리밍되어 입력되는 영상 정보에 의해 표시되는 영상으로부터 객체를 검출하고, 객체가 검출된 시점으로부터의 영상을 관제 대상 영상으로 결정하며, 검출된 객체의 종류를 나타내는 객체 분류 정보를 생성하고, 객체의 움직임을 추적하여 객체 위치 정보를 생성하는 객체 검출부; 및
객체 검출부에서 결정된 관제 대상 영상에 대한 관제 대상 관련 정보를 생성하고, 생성된 관제 대상 관련 정보를 관제 분배 서버로 전송하는 관제 대상 관련 정보 생성부
를 포함하는 것을 특징으로 하는 지능형 스마트 선별 관제 시스템.
The method according to claim 1,
The video analysis server,
The object is detected from the image displayed by the video information input and streamed in real time from the video management system, the image from the time point at which the object is detected is determined as the control target image, and the object classification information indicating the type of the detected object is obtained. An object detector configured to generate the object position information by tracking the movement of the object; And
Control object related information generation unit which generates control object related information on the control target image determined by the object detection unit and transmits the generated control object related information to the control distribution server.
Intelligent smart screening control system comprising a.
상기 관제 터미널은, 상기 수신한 관제 대상 관련 정보에 포함된 카메라 정보에 상응하는 관제 대상 영상을 영상 관리 시스템으로 요청하고,
상기 영상 관리 시스템은 해당 관제 대상 영상을 실시간으로 스트리밍 방식으로 관제 터미널로 전송하는 것을 특징으로 하는 지능형 스마트 선별 관제 시스템.
The method according to claim 1,
The control terminal requests a control target image corresponding to camera information included in the received control object related information to the image management system.
The video management system intelligent smart screening control system, characterized in that for transmitting the control target video in real time streaming to the control terminal.
상기 관제 터미널은,
상기 관제 대상 관련 정보가 수신된 UDP 포트에 상응하는 우선 순위 정보에 따라 디스플레이 장치의 미리 설정된 화면상의 위치에 상기 관제 대상 영상을 표시하는 것을 특징으로 하는 지능형 스마트 선별 관제 시스템.
The method according to claim 13,
The control terminal,
And displaying the control target image at a predetermined position on a screen of a display device according to priority information corresponding to the UDP port at which the control target related information is received.
상기 관제 터미널은, 관제 대상 관련 정보에 포함되어 있는 시간 정보 및 객체 위치 정보에 기초하여 관제 대상 영상 위에 객체가 존재함을 나타내는 객체 강조 표시를 제공하는 것을 특징으로 하는 지능형 스마트 선별 관제 시스템.The method according to claim 14,
The control terminal is an intelligent smart screening control system, characterized in that for providing an object highlighting indicating that the object exists on the control target image based on the time information and object position information included in the control target information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190039216A KR102024149B1 (en) | 2019-04-03 | 2019-04-03 | Smart selevtive intelligent surveillance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190039216A KR102024149B1 (en) | 2019-04-03 | 2019-04-03 | Smart selevtive intelligent surveillance system |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102024149B1 true KR102024149B1 (en) | 2019-09-23 |
Family
ID=68069409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190039216A KR102024149B1 (en) | 2019-04-03 | 2019-04-03 | Smart selevtive intelligent surveillance system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102024149B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102092074B1 (en) | 2019-11-27 | 2020-03-23 | 주식회사 인텔리빅스 | Apparatus of Providing Smart Monitoring Service for Effective Monitoring and Driving Method Thereof |
KR102105892B1 (en) | 2019-11-25 | 2020-04-29 | 주식회사 인텔리빅스 | Apparatus for Smart Monitoring Service and Driving Method Thereof |
KR102125022B1 (en) | 2020-03-31 | 2020-06-19 | 김형진 | Method for operating video analyzing server, and method for providing video surveillance service using the same |
KR102206658B1 (en) * | 2020-08-14 | 2021-01-22 | 아이티플래닛 주식회사 | Vision camera system to be communicated with Terminal Operating System through middleware in a port container terminal and method thereof |
KR102206662B1 (en) * | 2020-08-14 | 2021-01-22 | 아이티플래닛 주식회사 | Vision camera system to manage an entrance and exit management of vehicles and to recognize objects of camera video data in a port container terminal and method thereof |
WO2023038188A1 (en) * | 2021-09-13 | 2023-03-16 | 한국전자기술연구원 | Mobile terminal-based gis video control system and method for providing video thereby |
KR20230039420A (en) * | 2021-09-14 | 2023-03-21 | 한국전자기술연구원 | Video management system based on mobility terminal and method for managing video thereof |
KR20230142171A (en) | 2022-04-01 | 2023-10-11 | 한국전자통신연구원 | Method and apparatus for cctv screening surveillance based on metaverse |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101652856B1 (en) * | 2015-12-24 | 2016-09-02 | 주식회사 프라비스시스템즈 | Apparatus for providing user interface screen based on control event in cctv |
KR20170048219A (en) * | 2015-10-26 | 2017-05-08 | 이형용 | Monitoring system for automatically selecting cctv, monitoring managing server for automatically selecting cctv and managing method thereof |
KR101954951B1 (en) * | 2017-08-31 | 2019-03-06 | 이정무 | Multi image displaying method |
-
2019
- 2019-04-03 KR KR1020190039216A patent/KR102024149B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170048219A (en) * | 2015-10-26 | 2017-05-08 | 이형용 | Monitoring system for automatically selecting cctv, monitoring managing server for automatically selecting cctv and managing method thereof |
KR101652856B1 (en) * | 2015-12-24 | 2016-09-02 | 주식회사 프라비스시스템즈 | Apparatus for providing user interface screen based on control event in cctv |
KR101954951B1 (en) * | 2017-08-31 | 2019-03-06 | 이정무 | Multi image displaying method |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021107209A1 (en) * | 2019-11-25 | 2021-06-03 | 주식회사 인텔리빅스 | Smart monitoring service device and method for operating device |
KR102105892B1 (en) | 2019-11-25 | 2020-04-29 | 주식회사 인텔리빅스 | Apparatus for Smart Monitoring Service and Driving Method Thereof |
KR102092074B1 (en) | 2019-11-27 | 2020-03-23 | 주식회사 인텔리빅스 | Apparatus of Providing Smart Monitoring Service for Effective Monitoring and Driving Method Thereof |
KR102125022B1 (en) | 2020-03-31 | 2020-06-19 | 김형진 | Method for operating video analyzing server, and method for providing video surveillance service using the same |
KR20210121993A (en) | 2020-03-31 | 2021-10-08 | 김형진 | Method for operating video analyzing server, and method for providing video surveillance service using the same |
KR102206658B1 (en) * | 2020-08-14 | 2021-01-22 | 아이티플래닛 주식회사 | Vision camera system to be communicated with Terminal Operating System through middleware in a port container terminal and method thereof |
KR102206662B1 (en) * | 2020-08-14 | 2021-01-22 | 아이티플래닛 주식회사 | Vision camera system to manage an entrance and exit management of vehicles and to recognize objects of camera video data in a port container terminal and method thereof |
WO2022035008A1 (en) * | 2020-08-14 | 2022-02-17 | 아이티플래닛 주식회사 | Vision camera system and method for managing vehicle access and recognizing object in port container terminal |
WO2023038188A1 (en) * | 2021-09-13 | 2023-03-16 | 한국전자기술연구원 | Mobile terminal-based gis video control system and method for providing video thereby |
KR20230039131A (en) * | 2021-09-13 | 2023-03-21 | 한국전자기술연구원 | Gis video control system based on mobility terminal and method for providing video thereof |
KR102592516B1 (en) | 2021-09-13 | 2023-10-23 | 한국전자기술연구원 | Gis video control system based on mobility terminal and method for providing video thereof |
KR20230039420A (en) * | 2021-09-14 | 2023-03-21 | 한국전자기술연구원 | Video management system based on mobility terminal and method for managing video thereof |
WO2023042953A1 (en) * | 2021-09-14 | 2023-03-23 | 한국전자기술연구원 | Mobile terminal-based video control system and video management method thereof |
KR102593622B1 (en) | 2021-09-14 | 2023-10-25 | 한국전자기술연구원 | Video management system based on mobility terminal and method for managing video thereof |
KR20230142171A (en) | 2022-04-01 | 2023-10-11 | 한국전자통신연구원 | Method and apparatus for cctv screening surveillance based on metaverse |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102024149B1 (en) | Smart selevtive intelligent surveillance system | |
US20190037178A1 (en) | Autonomous video management system | |
US7633520B2 (en) | Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system | |
EP3420544B1 (en) | A method and apparatus for conducting surveillance | |
US8682034B2 (en) | System for automated screening of security cameras | |
US20080291279A1 (en) | Method and System for Performing Video Flashlight | |
CA2824330C (en) | An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs | |
WO2005019837A2 (en) | Spherical surveillance system architecture | |
AU2001238024A1 (en) | System for automated screening of security cameras | |
KR101782339B1 (en) | image analysis system for analyzing image of multiple object and providing the result of analyzing | |
KR101596896B1 (en) | System for regulating vehicles using image from different kind camera and control system having the same | |
KR101933153B1 (en) | Control Image Relocation Method and Apparatus according to the direction of movement of the Object of Interest | |
KR101178886B1 (en) | High resolution digital ptz camera, monitoring system including high resolution digital ptz camera and data transmisson method thereof | |
CN107396054B (en) | Display method of monitoring video | |
CN101325727B (en) | Use the geometric digital video scanning system of 3D and method | |
JP7146416B2 (en) | Information processing device, information processing system, information processing method, and program | |
KR102030736B1 (en) | Apparatus for analyzing Multi-Distributed Video Data | |
JP2016165157A (en) | Video monitoring system | |
KR101870900B1 (en) | System and Method for Integrated Management of Multi-Purpose Duality System | |
KR101332820B1 (en) | System and Method for Tracking Object, Apparatus for Object Management and Driving Method Thereof, Image Device and Driving Method Thereof | |
US11809675B2 (en) | User interface navigation method for event-related video | |
KR101623331B1 (en) | Detection and close up shooting method using images of moving objects | |
KR20150121773A (en) | Distributed Intelligent Video Analysis System and Method | |
KR20180128877A (en) | Control Image Relocation Method and Apparatus according to the direction of movement of the Object of Interest | |
KR20080034540A (en) | Cctv control system using gps sensor and 3 axis magnetic field sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |