KR102143029B1 - Artificial intelligence cctv system - Google Patents

Artificial intelligence cctv system Download PDF

Info

Publication number
KR102143029B1
KR102143029B1 KR1020200040324A KR20200040324A KR102143029B1 KR 102143029 B1 KR102143029 B1 KR 102143029B1 KR 1020200040324 A KR1020200040324 A KR 1020200040324A KR 20200040324 A KR20200040324 A KR 20200040324A KR 102143029 B1 KR102143029 B1 KR 102143029B1
Authority
KR
South Korea
Prior art keywords
information
image
cctv
unit
artificial intelligence
Prior art date
Application number
KR1020200040324A
Other languages
Korean (ko)
Inventor
김창범
Original Assignee
아성글로벌(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아성글로벌(주) filed Critical 아성글로벌(주)
Priority to KR1020200040324A priority Critical patent/KR102143029B1/en
Application granted granted Critical
Publication of KR102143029B1 publication Critical patent/KR102143029B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G06K9/00221
    • G06K9/00791
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an artificial intelligence CCTV system including: a surveillance camera unit installed in an area in which an object moves and photographing the object in the area; an AI engine unit which analyzes recognition information of the object through deep learning-based machine learning based on the image information of the object photographed by the surveillance camera unit; and a mangement server which converts and manages the database into basic information and status information for each object based on the recognition information of the object analyzed by the AI engine unit. Therefore, the present invention can efficiently and in real-time grasp the current status information of the object through an object image captured by the CCTV system, thereby performing life crime prevention.

Description

인공지능형 CCTV 시스템{ARTIFICIAL INTELLIGENCE CCTV SYSTEM}Artificial intelligence CCTV system {ARTIFICIAL INTELLIGENCE CCTV SYSTEM}

본 발명은 CCTV에 의하여 촬영된 객체 영상을 통하여 객체의 현황 정보를 효율적으로 파악하여 생활 방범을 수행할 수 있는 인공지능형 CCTV 시스템에 관한 것이다.The present invention relates to an artificial intelligent CCTV system capable of performing life crime prevention by efficiently grasping current status information of an object through an object image captured by CCTV.

CCTV 관제 시스템(CCTV surveillance system)은 시설 관리 및 재난 대응, 방법, 교통 관리 등의 목적으로 다양한 분야에 적용되고 있다. 공공 기관을 중심으로 설치된 CCTV 카메라는 2013년 기준으로 약65,000여대이며 지속적으로 증가하고 있다. CCTV 카메라의 증가에 따라 한정된 공간에서 관제사가 감시해야 하는 영상은 많아지고 있다. 일반적으로 1명의 관제사가 감시하는데 적절한 카메라는 약 20*?*50대까지이다. 그리고, 관제사가 관제하는데 있어 12분이 지나면 약 45% 정도 감시 능력이 떨어지고 22분이 지나면 약 95% 정도 감소한다. 따라서, 효율적인 CCTV 관제 시스템의 운영을 위해서는 영상 이해 및 인식 기술을 기반으로 하는 지능형 CCTV시스템의 도입이 필요하다.CCTV surveillance systems are applied in various fields for the purpose of facility management, disaster response, methods, and traffic management. As of 2013, the number of CCTV cameras installed mainly by public institutions is about 65,000 units, and is constantly increasing. With the increase of CCTV cameras, the number of videos that the controller must monitor in a limited space is increasing. In general, there are about 20*?*50 cameras suitable for monitoring by one controller. And, when the controller is in control, the monitoring ability decreases by about 45% after 12 minutes, and by about 95% after 22 minutes. Therefore, in order to operate an efficient CCTV control system, it is necessary to introduce an intelligent CCTV system based on image understanding and recognition technology.

지능형 CCTV 시스템은 객체 검출(object detection), 추적(tracking), 상황 인식(event detection) 등의 복합적인 영상 처리 기술(video processing)이 요구된다. 객체 검출은 주로 보행자 또는 차량 검출 기법이 필요하고 상황에 따라서 화염 또는 연기 검출 기법이 요구된다.Intelligent CCTV systems require complex video processing techniques such as object detection, tracking, and event detection. Object detection mainly requires a pedestrian or vehicle detection technique, and a flame or smoke detection technique is required depending on the situation.

객체 검출 및 추적, 상황 인식 기법들이 다양하게 적용되는 지능형CCTV 시스템은 목표 객체 주변의 움직이는 객체에 의한 동적 배경, 시간 및 계절 그리고 일기의 변화에 따른 조명 변화에 의하여 정확하게 상황을 인식하는 것이 과제이다. 동적 배경과 실내에서 조명 변화에 대응하기 위하여 RGB-Depth 카메라 등을 적용하여 상황을 감지하는 연구도 진행되고 있다.The task of an intelligent CCTV system to which object detection and tracking and context recognition techniques are applied in various ways is to accurately recognize the situation by dynamic background by moving objects around the target object, time and season, and lighting changes according to changes in the weather. In order to cope with the dynamic background and changes in lighting indoors, research is being conducted to detect the situation by applying RGB-Depth cameras.

CCTV 관제 시스템은 도로 방범 시스템과 생활 방범 시스템을 포함할 수 있으며, 도로 방범 시스템은 행정 구역의 경계 지역을 중심으로 설치되어 차로 별 한 대의 고해상도 카메라를 이용하여 주행하는 차량의 차량 번호를 인식하고 인식된 결과를 전송한다. 생활 방범 시스템은 주택가를 중심으로 설치되어 넓은 지역의 영상을 동영상으로 압축 후 전송한다.The CCTV control system can include a road security system and a daily life security system, and the road security system is installed around the boundary area of an administrative area, and uses one high-resolution camera for each lane to recognize and recognize the vehicle number of the driving vehicle. Transmit the result. The security system for living is installed around residential areas, compressing the video of a large area and transmitting it.

등록특허공보 제10-1879444호 (공고일: 2018. 07. 17)Registered Patent Publication No. 10-1879444 (Announcement date: 2018. 07. 17)

전술한 문제점을 개선하기 위한 본 발명 실시예들의 목적은 CCTV에 의하여 촬영된 객체 영상을 통하여 객체의 현황 정보를 효율적이고 실시간으로 파악하여 생활 방범을 수행할 수 있는 인공지능형 CCTV 시스템을 제공하는 것이다.An object of the embodiments of the present invention for improving the above-described problem is to provide an artificial intelligent CCTV system capable of performing life crime prevention by efficiently and real-time grasping the current status information of an object through an object image captured by CCTV.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 의한 인공지능형 CCTV 시스템은 객체가 이동하는 구역에 설치되어 해당 구역의 객체를 촬영하는 감시 카메라부; 상기 감시 카메라부에 촬영된 객체의 영상 정보를 기초로 하여 딥 러닝 기반의 기계 학습을 통하여 객체의 인식정보를 분석하는 AI 엔진부; 및 상기 AI 엔진부에 의하여 분석된 객체의 인식정보를 기초로 객체별 기초 정보 및 현황 정보로 데이터베이스화하고 통합관리하는 관리서버를 포함할 수 있다.In order to achieve the above object, an artificial intelligent CCTV system according to an embodiment of the present invention includes a surveillance camera unit installed in an area where an object moves to photograph an object in the area; An AI engine unit that analyzes the recognition information of the object through deep learning-based machine learning based on the image information of the object captured by the surveillance camera unit; And a management server that converts into a database into basic information and status information for each object based on the recognition information of the object analyzed by the AI engine unit and manages it in an integrated manner.

상기 객체는 차량 및 사람을 포함하고, 차량의 인식정보는 차량의 번호정보, 색상정보, 기종정보, 이동시간정보, 이동횟수정보 및 진행방향정보를 포함하며, 사람의 인식정보는 사람의 인상정보, 의류정보, 헤어스타일정보, 신장정보, 촬영횟수정보 및 진행방향정보를 포함할 수 있다.The object includes a vehicle and a person, and the vehicle identification information includes vehicle number information, color information, model information, movement time information, movement frequency information and progress direction information, and the identification information of the person is impression information of the person. , Clothing information, hair style information, height information, shooting count information and progress direction information may be included.

상기 감시 카메라부는 복수 개의 CCTV 카메라를 포함하여 구성되고, 상기 복수 개의 CCTV 카메라는 광각 렌즈를 구비하여 촬영된 사진 이미지 또는 동영상을 프레임 처리하여 저장되거나 전송하되, 각각 촬영한 객체의 영상 정보를 네트워크를 통해 AI 엔진부로 실시간 전송할 수 있다.The surveillance camera unit is configured to include a plurality of CCTV cameras, and the plurality of CCTV cameras are provided with a wide-angle lens to frame-process the photographed image or video and store or transmit the image information of each captured object through a network. It can be transmitted in real time to the AI engine unit.

상기 AI 엔진부는 딥 러닝 기반의 인공지능 엔진을 포함하고, 상기 복수 개의 CCTV 카메라가 전송한 객체의 영상 정보들을 수신하여, 딥 러닝 기반의 기계학습을 통해 객체의 인식정보를 분석하고, 분석된 상기 객체의 인식정보를 네트워크를 통해 관리서버로 전송할 수 있다.The AI engine unit includes a deep learning-based artificial intelligence engine, receives image information of an object transmitted by the plurality of CCTV cameras, analyzes the recognition information of the object through deep learning-based machine learning, and analyzes the Object recognition information can be transmitted to the management server through the network.

상기 AI 엔진부는 3x3 컨볼루션 계층 및 1x1 컨볼루션 계층이 조합된 컨볼루션 신경망(Convolutional Neural Network) 계층을 이용하여 해당 객체의 인식정보를 추출하고, 상기 객체의 영상정보에 대하여, 제1 화각으로 운영되는 환경에서 416x416 픽셀로 학습된 가중치 파일을 이용하여 객체를 검출하여 학습하고, 제2 화각으로 운영되는 화각에서 320x320 픽셀로 학습한 가중치 파일을 이용하여 객체를 검출하여 학습하고, 상기 제1 화각이 상기 제2 화각보다 넓은 것을 특징으로 한다.The AI engine unit extracts the recognition information of the object using a convolutional neural network layer in which a 3x3 convolution layer and a 1x1 convolution layer are combined, and operates the image information of the object as a first angle of view. In the environment, the object is detected and learned using the weight file learned with 416x416 pixels, and the object is detected and learned using the weight file learned with 320x320 pixels in the field of view operated as the second angle of view, and the first angle of view is It is characterized in that it is wider than the second angle of view.

본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템은 CCTV에 의하여 촬영된 객체 영상을 통하여 객체의 현황 정보를 효율적이고 실시간으로 파악하여 생활 방범을 수행할 수 있다.The artificial intelligence CCTV system according to an embodiment of the present invention can perform life crime prevention by efficiently and real-time grasping the status information of the object through the object image captured by the CCTV.

본 발명의 일 실시예에 따르면, 인공 지능을 기반으로 객체의 현황 정보를 파악함으로써 방범 및 감시를 위한 적재적소에 활용할 수 있다.According to an embodiment of the present invention, it is possible to use it in a suitable place for crime prevention and monitoring by grasping the status information of an object based on artificial intelligence.

도 1은 본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템을 개략적으로 나타내는 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템의 각 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템에서의 CCTV 카메라를 나타내는 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템에서의 AI 엔진부를 나타내는 블럭도이다.
1 is a block diagram schematically showing an artificial intelligence CCTV system according to an embodiment of the present invention.
2 is a diagram showing each configuration of an artificial intelligent CCTV system according to an embodiment of the present invention.
3 is a block diagram showing a CCTV camera in an artificial intelligent CCTV system according to an embodiment of the present invention.
4 is a block diagram showing an AI engine unit in an artificial intelligence CCTV system according to an embodiment of the present invention.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다. The present invention as described above will be described in detail through the accompanying drawings and embodiments.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted as meanings generally understood by a person having ordinary knowledge in the technical field to which the present invention belongs, unless otherwise defined in the present invention. It should not be interpreted as a meaning or an excessively reduced meaning. In addition, when the technical term used in the present invention is a wrong technical term that does not accurately represent the spirit of the present invention, it should be understood as being replaced by a technical term that can be correctly understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted as defined in the dictionary or in context before and after, and should not be interpreted as an excessively reduced meaning.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expression used in the present invention includes a plural expression unless the context clearly indicates otherwise. In the present invention, terms such as “consisting of” or “comprising” should not be construed to include all of the various components, or various stages, described in the invention, including some of the components or some stages It may or may not be construed as further comprising additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.Further, terms including ordinal numbers such as first and second used in the present invention may be used to describe elements, but the elements should not be limited by terms. The terms are only used to distinguish one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar elements are assigned the same reference numerals regardless of the reference numerals, and redundant descriptions thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in the description of the present invention, when it is determined that detailed descriptions of related known technologies may obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easy understanding of the spirit of the present invention and should not be interpreted as limiting the spirit of the present invention by the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템을 개략적으로 나타내는 블럭도고, 도 2는 본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템의 각 구성을 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템에서의 CCTV 카메라를 나타내는 블럭도고, 도 4는 본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템에서의 AI 엔진부를 나타내는 블럭도이다.1 is a block diagram schematically showing an artificial intelligence CCTV system according to an embodiment of the present invention, FIG. 2 is a view showing each configuration of an artificial intelligence CCTV system according to an embodiment of the present invention, and FIG. A block diagram showing a CCTV camera in an artificial intelligence CCTV system according to an embodiment of the present invention, Figure 4 is a block diagram showing an AI engine unit in the artificial intelligence CCTV system according to an embodiment of the present invention.

도 1 내지 도 2를 참조하면, 본 발명의 일 실시예에 따른 인공지능형 CCTV 시스템은 CCTV에 의하여 촬영된 객체 영상을 통하여 객체의 현황 정보를 효율적이고 실시간으로 파악하여 생활 방범을 수행하기 위한 시스템이고, 이를 위하여 감시 카메라부(100), AI 엔진부(200) 및 관리서버(300)를 포함한다.1 to 2, the artificial intelligence CCTV system according to an embodiment of the present invention is a system for performing life crime prevention by efficiently and real-time grasping the status information of an object through an object image captured by CCTV. , To this end, it includes a surveillance camera unit 100, an AI engine unit 200 and a management server 300.

한편, 본 발명에서의 객체는 차량 및 사람을 포함하는 개념이다.Meanwhile, the object in the present invention is a concept including a vehicle and a person.

또한, 후술하는 차량의 인식정보는 차량의 번호정보, 색상정보, 기종정보, 이동시간정보, 이동횟수정보 및 진행방향정보를 포함하며, 사람의 인식정보는 사람의 인상정보, 의류정보, 헤어스타일정보, 신장정보, 촬영횟수정보 및 진행방향정보를 포함하게 된다.In addition, the identification information of the vehicle to be described later includes vehicle number information, color information, model information, movement time information, movement frequency information and progress direction information, and the identification information of a person includes impression information of a person, clothing information, and hairstyle. It includes information, height information, shooting count information, and progress direction information.

상기 감시 카메라부(100)는 객체가 이동하는 구역에 설치되어 해당 구역의 객체를 촬영하는 장치로서, 복수 개의 CCTV 카메라(110)를 포함하여 구성된다.The surveillance camera unit 100 is a device that is installed in an area in which the object moves and photographs an object in the area, and includes a plurality of CCTV cameras 110.

상기 복수 개의 CCTV 카메라(110)는 광각 렌즈를 구비하여 촬영된 사진 이미지 또는 동영상을 프레임 처리하여 저장되거나 전송하되, 각각 촬영한 객체의 영상 정보를 네트워크를 통해 AI 엔진부(200)로 실시간 전송할 수 있다.The plurality of CCTV cameras 110 are provided with a wide-angle lens to frame-process the photographed image or video to be stored or transmitted, but the image information of each photographed object can be transmitted in real time to the AI engine unit 200 through a network. have.

이때, CCTV 카메라(110)는 모듈 형태로 구비될 수 있는데, 촬영된 사진 이미지 또는 동영상을 프레임(frame) 처리하여 저장되거나 전송될 수 있도록 하고, 이를 위하여 렌즈, 이미지 센서, 증폭기, 아날로그/디지털 변환기 및 이미지신호 처리프로세서를 구비할 수 있다.At this time, the CCTV camera 110 may be provided in the form of a module, and the photographed image or video is processed to be stored or transmitted. For this purpose, a lens, an image sensor, an amplifier, and an analog/digital converter And an image signal processing processor.

상기 CCTV 카메라(110)는 차량 및 보행자의 다양한 정보에 대한 인식 기능이 제공될 수 있다.The CCTV camera 110 may be provided with a function of recognizing various information of vehicles and pedestrians.

도 3에 도시된 바와 같이, 본 인공지능형 CCTV 시스템에 사용되는 CCTV 카메라(110)는 영상 촬영부(111), 조명부(112), 조명 제어부(113), 제어부(114) 및 통신부(115)를 포함할 수 있다.As shown in FIG. 3, the CCTV camera 110 used in the present artificial intelligence CCTV system includes an image capture unit 111, a lighting unit 112, a lighting control unit 113, a control unit 114, and a communication unit 115. Can include.

상기 영상 촬영부(111)는 주행 차량뿐만 아니라 보행자의 주변 상황을 식별하도록 넓은 영역에 대한 촬상이 가능하도록 구현될 수 있다. 예를 들어, 영상 촬영부(111)는 1.0~3.0 메가 픽셀의 해상도를 가지고 이미지 센서는 CCD(charge coupled device), CMOS(complementary metal-oxide semiconductor)일 수 있다.The image capturing unit 111 may be implemented to capture a wide area so as to identify a surrounding situation of a pedestrian as well as a driving vehicle. For example, the image capture unit 111 may have a resolution of 1.0 to 3.0 megapixels, and the image sensor may be a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS).

또한, 상기 영상 촬영부(111)는 촬영된 영상을 영상 압축 표준을 기반으로 영상 데이터에 대한 압축을 수행하고 압축된 영상 데이터를 실시간으로 전송하는 기능이 지원되는 네트워크 카메라 또는 촬영된 영상의 순수 데이터만 처리할 수 있는 카메라일 수 있다.In addition, the image capturing unit 111 compresses the captured image based on the image compression standard and compresses the image data and transmits the compressed image data in real time. It may be a camera that can only handle.

이때, 상기 영상 촬영부(111)에서 촬상된 영상에 대한 영상 데이터에 대한 처리만이 가능한 경우, 영상 데이터에 대해 차량 번호 인식 알고리즘/얼굴 검출 알고리즘이 적용되어 그 결과가 생성되고 영상 데이터에 대한 영상 압축 표준 기술 기반의 압축 및 실시간 전송은 소프트웨어 모듈에서 수행될 수 있다.At this time, if only the image data for the image captured by the image capturing unit 111 can be processed, the vehicle number recognition algorithm/face detection algorithm is applied to the image data, and the result is generated and the image for the image data Compression and real-time transmission based on compression standard technology can be performed in a software module.

한편, 영상 압축 표준 기술을 기반으로 한 데이터 압축 및 실시간 전송을 처리하는 소프트웨어 알고리즘은 차량정보 인식 알고리즘/얼굴 검출 알고리즘과는 독립적인 구조로 처리될 수 있도록 설계되고 차량정보 인식 알고리즘/얼굴 검출 알고리즘의 처리 시간으로 인한 처리 지연이 발생하지 않을 수 있다. 영상압축 표준 기술을 기반으로 한 데이터 압축된 영상 데이터는 실시간 전송으로 관리서버(300)로 전송되고, 인식된 차량에 대한 정보는 관리서버(300)로 전송되고, 인식된 얼굴에 대한 정보는 관리서버(300)로 전송될 수 있다.Meanwhile, the software algorithm that processes data compression and real-time transmission based on the image compression standard technology is designed to be processed in a structure independent of the vehicle information recognition algorithm/face detection algorithm, and the vehicle information recognition algorithm/face detection algorithm Processing delay may not occur due to processing time. Data based on image compression standard technology The compressed image data is transmitted to the management server 300 by real-time transmission, information on the recognized vehicle is transmitted to the management server 300, and information on the recognized face is managed. It may be transmitted to the server 300.

또한, 상기 영상 촬영부(111)는 촬영된 영상에 대해 영상 압출 표준 기술을 준수하여 영상 데이터를 압축하고 이를 실시간으로 전송하는 기능을 지원하는 네트워크 카메라일 수 있다. 이러한 경우, 네트워크 카메라는 촬영된 영상을 8비트의 그레이 영상으로 변환한 후 차량 정보 인식 알고리즘을 처리하여 인식된 차량에 대한 정보가 생성될 수 있다. 인식된 차량에 대한 정보는 관리서버(300)로 전송되고 압축된 데이터는 실시간으로 전송되어 관리서버(300)의 운영 프로그램과 연계될 수 있다. 검출된 얼굴에 대한 정보에도 동일한 방법이 수행될 수 있다.In addition, the image capturing unit 111 may be a network camera that supports a function of compressing image data and transmitting it in real time by complying with an image extrusion standard technology for a captured image. In this case, the network camera may convert the captured image into an 8-bit gray image and then process the vehicle information recognition algorithm to generate information on the recognized vehicle. Information on the recognized vehicle is transmitted to the management server 300 and the compressed data is transmitted in real time to be linked with an operating program of the management server 300. The same method may be performed for information on the detected face.

또한 본 발명의 실시예에 따르면, 영상 촬영부(111)를 구성하는 카메라의 종류와는 관계없이 주행 차량에 대한 차량정보가 인식되거나 보행자가 검출된 경우, 정지 영상 및 이벤트 정보가 생성되고, 정지 영상 및 이벤트 정보가 관리서버(300)의 운영 프로그램에 연계될 수 있다. 즉, 본 발명의 실시예에 따르면, 차량 정보 인식, 동영상 압축 및 실시간 전송의 소프트웨어 기능을 처리하여 관리서버(300)와 외부 서버 간에 서로에 연계되는 데이터가 생성될 수 있다.In addition, according to an embodiment of the present invention, regardless of the type of camera constituting the image photographing unit 111, when vehicle information on a driving vehicle is recognized or a pedestrian is detected, a still image and event information are generated and stopped. Images and event information may be linked to an operating program of the management server 300. That is, according to an embodiment of the present invention, data linked to each other between the management server 300 and an external server may be generated by processing software functions of vehicle information recognition, video compression, and real-time transmission.

한편, 본 발명에서의 영상 촬영부(111)는 차량과 사람과 같은 객체에 대한 검출을 위해 우선 배경과 객체에 대한 분리를 수행할 수 있다.Meanwhile, the image capture unit 111 according to the present invention may first separate the background and the object in order to detect objects such as a vehicle and a person.

상기 영상 촬영부(111)는 임계 시간 동안 변하지 않는 부분을 배경, 변하는 부분을 객체로 인식할 수 있다.The image capturing unit 111 may recognize a portion that does not change during a critical time as a background and a portion that changes during a critical time as an object.

예를 들어, 영상 촬영부(111)는 일정 시간 동안 영상 촬상을 수행하고 촬상된 영상에서 일정 거리 이상 움직이는 부분과 일정 거리 이상 움직이지 않는 부분을 분리할 수 있다. 일정 거리 이상 움직이지 않는 부분은 배경으로 인식되고, 일정 거리 이상 움직이지 않는 부분은 객체로 인식될 수 있다.For example, the image capturing unit 111 may capture an image for a predetermined period of time and separate a portion that moves over a predetermined distance and a portion that does not move over a predetermined distance in the captured image. A part that does not move more than a certain distance may be recognized as a background, and a part that does not move more than a certain distance may be recognized as an object.

또는, 별도로 특정 프레임을 배경 프레임으로 설정하고 배경 프레임을 영상 촬영부(111)로 입력하여 배경에 대한 학습을 수행한 후 배경과 객체에 대한 분리를 수행할 수도 있다.Alternatively, it is possible to separately set a specific frame as a background frame and input the background frame to the image capture unit 111 to perform background learning, and then separate the background and the object.

배경과 객체에 대한 분리 후 배경을 기준으로 객체가 나타났는지 여부가 판단된다.After separating the background and the object, it is determined whether or not the object appears based on the background.

상기 영상 촬영부(111)는 가장 넓은 촬상 범위(이하 최대 촬영 범위)를 기본 범위로 설정하여 촬상을 수행할 수 있고, 객체의 움직임 및 객체의 판단이 필요한지 여부에 따라 추적하여 객체에 대한 촬상이 수행될 수도 있다.The image capturing unit 111 may perform imaging by setting the widest imaging range (hereinafter, the maximum shooting range) as a basic range, and tracking the object according to the movement of the object and whether or not it is necessary to determine the object to capture the object. It can also be done.

예를 들어, 영상 촬영부(111)는 적어도 하나의 보조 영상 촬상 장치를 포함할 수 있고, 적어도 하나의 보조 영상 촬상 장치는 객체에 대한 추적이 필요한 경우, 트리거되어 동작될 수 있다.For example, the image capturing unit 111 may include at least one auxiliary image capturing device, and at least one auxiliary image capturing device may be triggered and operated when tracking of an object is required.

객체가 나타난 경우, 객체에 대한 트래킹을 기반으로 객체에 대한 영상을 촬영한다.When an object appears, an image of the object is captured based on tracking of the object.

구체적으로 기본 카메라가 최대 촬영 범위에 대한 촬상을 수행할 수 있고, 객체에 대한 추가적인 탐색이 필요한 경우, 적어도 하나의 보조 영상 촬상 장치의 동작이 트리거 되어 객체의 움직임/객체 정보에 대한 탐색이 수행될 수 있다.Specifically, when the primary camera can capture the maximum shooting range and additional search for an object is required, the operation of at least one auxiliary image pickup device is triggered to perform a search for motion/object information of the object. I can.

기본 카메라는 계속적으로 최대 촬영 범위에 대한 영상 촬상을 수행하고 보조 영상 촬상 장치는 추가적으로 정밀한 트래킹이 필요한 객체에 대한 촬상을 수행할 수 있다. 보조 영상 촬상 장치는 객체의 예상 이동 범위를 고려하여 객체의 예상 이동 범위에 따라 객체에 대한 촬상을 수행할 수 있다.The primary camera continuously performs image capturing for the maximum photographing range, and the auxiliary image capturing device may additionally perform image capturing for an object requiring precise tracking. The auxiliary image capturing device may perform imaging of an object according to the expected movement range of the object in consideration of the expected movement range of the object.

구체적으로 기존의 객체가 사람인지, 차량인지 여부를 판단하고, 객체의 이동 경로/객체의 이동 속도를 고려하여 객체의 전체 모습 및 식별 정보(예를 들어, 차량 번호판 또는 사람의 얼굴)에 대한 촬상을 수행할 수 있다.Specifically, it determines whether an existing object is a person or a vehicle, and takes an image of the overall appearance and identification information (for example, a vehicle license plate or a person's face) of the object in consideration of the object's movement path/object movement speed. Can be done.

트래킹을 수행해야 할 객체가 복수개인 경우, 복수개의 객체 각각에 대해 복수의 보조 카메라가 할당되어 복수의 보조 카메라 각각이 복수개의 객체 각각에 대한 트래킹을 수행할 수 있다.When there are a plurality of objects to be tracked, a plurality of auxiliary cameras are allocated to each of the plurality of objects, so that each of the plurality of auxiliary cameras can perform tracking on each of the plurality of objects.

만약, 트래킹해야 할 객체가 많은 경우, 복수개의 객체가 그룹핑되어 복수의 보조 카메라 각각에 할당될 수도 있다. 예를 들어, 트래킹의 대상 객체의 개수가 10개이고, 객체에 대한 트래킹이 가능한 보조 카메라가 5개인 경우, 트래킹의 대상 객체는 5개의 그룹으로 그룹핑되어 보조 카메라 5개 각각에 할당될 수 있다.If there are many objects to be tracked, a plurality of objects may be grouped and assigned to each of a plurality of auxiliary cameras. For example, if the number of tracking target objects is 10 and there are 5 auxiliary cameras capable of tracking an object, the tracking target objects may be grouped into 5 groups and assigned to each of the 5 auxiliary cameras.

트래킹 대상 객체에 대한 그룹핑은 복수의 트래킹 대상 객체 각각의 위치/트래킹 대상 객체의 속도를 기반으로 결정될 수 있다. 트래킹 대상 객체가 사람인 경우, 사람의 현재 위치 및 사용자의 움직임 속도를 고려하여 트래킹 대상 객체에 대한 그룹핑이 수행될 수 있다. 사람의 현재 위치 및 사용자의 움직임 속도의 변화에 따라 트래킹 대상 객체에 대한 그룹핑이 재수행될 수도 있다. 예를 들어, A객체, B객체가 동일한 그룹이었다가 A객체의 속도가 빨라서 A객체가 C 객체와 더 인접해진 경우, A객체는 C 객체의 그룹으로 그룹을 전환할 수 있다.The grouping of the tracking target object may be determined based on the location of each of the plurality of tracking target objects/speed of the tracking target object. When the tracking target object is a person, grouping may be performed on the tracking target object in consideration of the current position of the person and the movement speed of the user. Grouping of the tracking target object may be performed again according to changes in the current position of the person and the movement speed of the user. For example, if object A and object B were in the same group, but object A became more adjacent to object C because the speed of object A was high, object A can switch the group to the group of object C.

상기 조명부(112)는 촬영되는 영상을 밝게 하기 위해 외부로부터 제어에 따라 조명을 제공하도록 구현될 수 있다. 예를 들어, 상기 조명부(112)는 730nm~740nm 적외선 LED(light emitting diode)로서 30m 이상의 조사 거리를 가질 수 있다.The lighting unit 112 may be implemented to provide lighting according to external control in order to brighten a captured image. For example, the lighting unit 112 may have an irradiation distance of 30 m or more as an infrared light emitting diode (LED) of 730 nm to 740 nm.

상기 조명 제어부(113)는 조명부(112)의 동작을 제어하기 위해 구현되는 구성으로, 외부 환경에 따라 조명의 세기를 제어하도록 구현될 수 있다.The lighting control unit 113 is a component implemented to control the operation of the lighting unit 112 and may be implemented to control the intensity of lighting according to an external environment.

상기 제어부(114)는 영상 촬영부(111)에 의해 촬영된 영상을 기반으로 차량 번호 인식 및 보행자를 검출하도록 구현될 수 있다. 또한, 상기 제어부(114)는 영상 촬영부(111) 및 조명 제어부(113)뿐 만 아니라 CCTV 카메라(110)를 구성하는 구성부에 대한 제어를 위해 구현될 수 있다. 상기 제어부(114)는 별도의 제어 시스템일 수 있다.The control unit 114 may be implemented to recognize a vehicle number and detect a pedestrian based on an image captured by the image capturing unit 111. In addition, the control unit 114 may be implemented to control not only the image capturing unit 111 and the lighting control unit 113, but also a constituent unit constituting the CCTV camera 110. The control unit 114 may be a separate control system.

상기 통신부(115)는 영상 촬영부(111)에 의해 촬영된 영상 정보와 제어부(114)에 의해 분석된 분석 정보를 관리서버(300)로 전송하기 위해 구현될 수 있다.The communication unit 115 may be implemented to transmit image information captured by the image capturing unit 111 and analysis information analyzed by the control unit 114 to the management server 300.

상기 AI 엔진부(200)는 감시 카메라부(100) 및/또는 관리서버(300)에 설치되는 엔진으로, 감시 카메라부(100)에 촬영된 객체의 영상 정보를 기초로 하여 딥 러닝 기반의 기계 학습을 통하여 객체의 인식정보를 분석하는 장치이다.The AI engine unit 200 is an engine installed in the surveillance camera unit 100 and/or the management server 300, and is a deep learning-based machine based on the image information of the object photographed by the surveillance camera unit 100. It is a device that analyzes the recognition information of an object through learning.

보다 구체적으로, 상기 AI 엔진부(200)는 딥 러닝(Deep Learning) 기반의 인공지능(Artificial Intelligence, 'AI') 엔진으로, 감시 카메라부(100)가 전송한 영상 정보들을 수신하여, 딥 러닝(Deep Learning) 기반의 기계학습을 통해 객체의 인식정보(이를테면, 차량의 번호정보, 색상정보, 기종정보, 이동시간정보, 이동횟수정보 및 진행방향정보나 보행자의 인상정보, 의류정보, 헤어스타일정보, 신장정보, 촬영횟수정보 및 진행방향정보)를 분석하고, 분석된 객체의 인식정보(이를테면, 차량의 번호정보, 색상정보, 기종정보, 이동시간정보, 이동횟수정보 및 진행방향정보나 보행자의 인상정보, 의류정보, 헤어스타일정보, 신장정보, 촬영횟수정보 및 진행방향정보)를 네트워크를 통해 관리서버(300)로 전송한다.More specifically, the AI engine unit 200 is an artificial intelligence ('AI') engine based on deep learning, and receives image information transmitted from the surveillance camera unit 100, and provides deep learning. Through (Deep Learning)-based machine learning, object recognition information (for example, vehicle number information, color information, model information, movement time information, movement frequency information and progress direction information, pedestrian impression information, clothing information, and hairstyle) Information, height information, photographing count information and progress direction information), and recognition information of the analyzed object (for example, vehicle number information, color information, model information, movement time information, movement frequency information and progress direction information or pedestrians Impression information, clothing information, hair style information, height information, photographing count information and progress direction information) are transmitted to the management server 300 through the network.

이 경우 네트워크는 감시 카메라부(100), AI 엔진부(200) 및 관리서버(300) 간 통신이 구현될 수 있도록 통신망을 제공하는데, 이를테면, 지그비(Zigbee), 알에프(RF), 와이파이(WiFi), 3G, 4G, 5G, LTE, LTE-A, 와이브로(Wireless Broadband Internet) 등의 무선통신망, PLC, JLC 등의 유선통신 또는 인터넷 Web, SNS(Social Network Service) 등을 사용할 수 있다.In this case, the network provides a communication network so that communication between the surveillance camera unit 100, the AI engine unit 200 and the management server 300 can be implemented, for example, Zigbee, RF, and WiFi. ), 3G, 4G, 5G, LTE, LTE-A, wireless communication networks such as WiBro (Wireless Broadband Internet), wired communication such as PLC, JLC, Internet Web, and SNS (Social Network Service).

다시 말해, 상기 AI 엔진부(200)는 딥 러닝 기반의 인공지능 엔진을 포함하고, 복수 개의 CCTV 카메라(110)가 전송한 객체의 영상 정보들을 수신하여, 딥 러닝 기반의 기계학습을 통해 객체의 인식정보를 분석하고, 분석된 객체의 인식정보를 네트워크를 통해 관리서버(300)로 전송할 수 있다.In other words, the AI engine unit 200 includes an artificial intelligence engine based on deep learning, receives image information of an object transmitted by a plurality of CCTV cameras 110, and provides the object through deep learning-based machine learning. The recognition information may be analyzed, and the recognition information of the analyzed object may be transmitted to the management server 300 through a network.

이하에서는, AI 엔진부(200)를 이용한 보행자의 얼굴 인식 방법을 일 예로 들어 설명하기로 한다.Hereinafter, a method of recognizing a pedestrian's face using the AI engine unit 200 will be described as an example.

구체적으로, 하기의 방법은 CCTV가 객체의 얼굴과 같은 특징되는 부분에 대한 정보를 추출하여 객체의 특징 정보를 결정하기 위한 방법으로, CCTV 또는 CCTV와 통신 가능한 관리서버(300)에서 수행될 수 있다.Specifically, the following method is a method for determining the characteristic information of the object by extracting information on the characteristic part such as the face of the object by the CCTV, and may be performed in the management server 300 capable of communicating with CCTV or CCTV. .

객체의 특징 정보는 보행자의 얼굴 이미지, 객체의 키와 같은 신체 정보를 포함할 수 있다.The object feature information may include body information such as a pedestrian's face image and an object's height.

CCTV를 통해 기록된 영상 정보 내의 객체(예를 들어, 보행자)에 대한 정보는 계속적으로 분석되고 객체에 대한 식별을 위해 활용될 수 있다.Information on an object (eg, a pedestrian) in the video information recorded through CCTV is continuously analyzed and may be utilized for identification of the object.

예를 들어, CCTV는 일정 기간 동안 촬상된 영상 정보를 1차적으로 분석하여 객체의 1차 특징 정보를 추출할 수 있다. 많은 객체의 특징 정보를 추출하는 것은 프로세싱을 위한 시간 및 자원이 많이 소모되므로, 1차 특징 정보는 상대적으로 간략하게 추출될 수 있다. 예를 들어, 1차 특징 정보로서 성별, 1차 오차 범위 키 정보, 머리 스타일과 같은 보행자의 큰 특징 정보만이 추출될 수 있다.For example, the CCTV may extract primary feature information of an object by primarily analyzing image information captured for a certain period of time. Since extracting feature information of many objects consumes a lot of time and resources for processing, primary feature information can be extracted relatively simply. For example, as the primary feature information, only large feature information of a pedestrian such as gender, primary error range key information, and hair style may be extracted.

이후, 1차 특징 정보의 유사도가 제1 임계 범위 이상인 보행자가 a번 다시 촬상되는 경우, 1차 특징 정보보다 상세한 특징 정보인 2차 특징 정보의 추출이 수행될 수 있다. 2차 특징 정보는 1차 특징 정보보다 상세한 특징 정보로서 보행자의 얼굴의 윤곽, 체형에 대한 정보일 수 있다. 2차 특징 정보의 추출을 통해 1차 특징 정보가 유사도가 임계 범위 이상인 보행자에 대한 보다 상세한 정보를 추출하여 그룹핑할 수 있다.Thereafter, when a pedestrian having a similarity of the primary feature information equal to or greater than the first threshold range is photographed again a times, extraction of secondary feature information that is more detailed feature information than the primary feature information may be performed. The secondary feature information is more detailed feature information than the primary feature information, and may be information on the contour and body shape of a pedestrian's face. Through the extraction of secondary feature information, more detailed information about pedestrians whose similarity is greater than or equal to a threshold range of primary feature information can be extracted and grouped.

마찬가지 방식으로 2차 특징 정보의 유사도가 제2 임계 범위 이상인 보행자가 b번 다시 촬상되는 경우, 2차 특징 정보보다 상세한 특징 정보인 3차 특징 정보의 추출이 수행될 수 있다. 3차 특징 정보는 2차 특징 정보보다 상세한 특징 정보로서 보행자의 얼굴의 눈, 코, 입, 귀 등에 대한 정보일 수 있다.In the same way, when a pedestrian having a similarity of the secondary feature information equal to or greater than the second threshold range is photographed again b times, extraction of tertiary feature information, which is more detailed feature information than the secondary feature information, may be performed. The third feature information is more detailed feature information than the second feature information, and may be information about the eyes, nose, mouth, and ears of a pedestrian's face.

3차 특징 정보의 추출을 통해 2차 특징 정보가 유사도가 임계 범위 이상인 보행에 대한 보다 상세한 정보를 추출할 수 있다.Through the extraction of the tertiary feature information, more detailed information on the gait in which the secondary feature information has a similarity greater than or equal to a critical range may be extracted.

이러한 점진적인 방식으로 보행자를 분류하고, 보행자의 특성 정보를 추출할 수 있다. 이러한 방식으로 객체에 대한 분석을 점진적으로 수행함으로써 불필요한 프로세싱 부하를 방지하면서도, 효과적으로 계속적으로 등장하는 보행자에 대한 식별을 진행할 수 있다.Pedestrians can be classified in such a gradual manner, and characteristic information of pedestrians can be extracted. By progressively performing the analysis on the object in this manner, it is possible to effectively identify pedestrians continuously appearing while preventing unnecessary processing load.

이러한 식별을 수행하는 경우, 계속적으로 촬영된 객체에 대해서는 별도의 태그 정보를 부여하여 관리할 수 있고, 이러한 태그 정보를 기반으로 보행자를 식별하고, 해당 객체에 대해서는 별도의 분석을 수행하지 않고, 새로운 객체에 대한 분석을 위해 프로세싱 파워를 쓸 수 있다.In the case of performing such identification, separate tag information can be assigned to and managed for continuously photographed objects, and pedestrians are identified based on this tag information, and no separate analysis is performed on the object, and new Processing power can be used to analyze objects.

즉, 계속적으로 지나가는 객체는 태그 정보로서 관리되고, CCTV에 의해 촬상된 1차 특징 정보가 새로운 객체에 대해서는 새롭게 구체적인 판단을 수행할 수 있다.That is, an object that continuously passes is managed as tag information, and a detailed determination can be newly performed on an object whose primary feature information captured by CCTV is new.

만약, CCTV에 촬상된 새로운 객체가 임계 개수 이상인 경우, 전술한 1차 특징 정보, 2차 특징 정보 및 3차 특징 정보를 추출하는 점진적인 방식으로 객체에 대한 분석을 수행하고, 만약, CCTV에 촬상된 새로운 객체가 임계 개수 미만인 경우, 전술한 바로 2차 특징 정보 또는 3차 특징 정보를 추출하는 방식으로 객체에 대한 분석을 수행할 수도 있다.If the number of new objects captured by CCTV is greater than or equal to the threshold number, the object is analyzed in a gradual manner to extract the above-described primary feature information, secondary feature information, and tertiary feature information. When the number of new objects is less than the threshold number, the object may be analyzed by extracting the second feature information or the third feature information as described above.

본 발명의 실시예에 따르면 객체에 대한 분석을 위한 프로세싱의 양이 예측되고, 프로세싱 양을 고려하여 객체에 대해 1차 특징 정보를 추출할지, 2차 특징 정보를 추출할지 3차 특징 정보를 추출할지 여부가 결정될 수 있다.According to an embodiment of the present invention, the amount of processing for analysis on an object is predicted, and whether to extract primary feature information, secondary feature information or tertiary feature information for an object in consideration of the processing amount. Whether or not can be determined.

예를 들어, 신규 객체가 상대적으로 많지 않은 경우, 전술한 임계 회수(a, b) 가 상대적으로 낮게 조정되어 기존에 1차 특징 정보만 추출하였던 객체들에 대해 2차 특징 정보 또는 3차 특징 정보의 추출이 수행될 수 있다. 반대로 신규 객체가 상대적으로 많은 경우, 전술한 임계 회수(a, b)가 상대적으로 높게 조정되어 기존에 1차 특징 정보만 추출하였던 객체들에 대해 2차 특징 정보 또는 3차 특징 정보의 추출이 뒤로 미뤄지고 우선적으로 1차 특징 정보에 대한 추출만이 수행될 수 있다.For example, when there are not many new objects relatively, the above-described threshold number of times (a, b) is adjusted relatively low, so that secondary feature information or tertiary feature information for objects that have previously extracted only primary feature information The extraction of can be performed. On the contrary, when there are relatively many new objects, the above-described threshold number (a, b) is adjusted relatively high, so that the extraction of secondary feature information or tertiary feature information for objects that previously only extracted primary feature information Deferred and preferentially, only the extraction of the primary feature information can be performed.

전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.The above-described method may be implemented as an application or in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, or the like alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the computer-readable recording medium are specially designed and configured for the present invention, and may be known and available to those skilled in the computer software field.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CDROMs and DVDs, and magnetic-optical media such as floptical disks. , And a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

또한, 상기 AI 엔진부(200)는 3x3 컨볼루션 계층 및 1x1 컨볼루션 계층이 조합된 컨볼루션 신경망(Convolutional Neural Network) 계층을 이용하여 해당 객체의 인식정보를 추출하고, 상기 객체의 영상정보에 대하여, 제1 화각으로 운영되는 환경에서 416x416 픽셀로 학습된 가중치 파일을 이용하여 객체를 검출하여 학습하고, 제2 화각으로 운영되는 화각에서 320x320 픽셀로 학습한 가중치 파일을 이용하여 객체를 검출하여 학습할 수 있다.In addition, the AI engine unit 200 extracts recognition information of the object by using a convolutional neural network layer in which a 3x3 convolution layer and a 1x1 convolution layer are combined, and the image information of the object , In the environment operated by the first angle of view, an object is detected and learned using a weight file learned with 416x416 pixels, and the object is detected and learned by using the weight file learned with 320x320 pixels at the second angle of view. I can.

이때, 상기 제1 화각이 상기 제2 화각보다 넓은 것이 바람직하다.In this case, it is preferable that the first angle of view is wider than the second angle of view.

보다 구체적으로, 상기 AI 엔진부(200)는 딥 러닝 알고리즘 중에서 영상처리 분야에서 주로 사용되는 CNN(Convolutional Neural Network)을 이용하여 데이터를 학습하고 검출하여 다양한 객체 검출용 영상처리 알고리즘의 단점들을 개선할 수 있다.More specifically, the AI engine unit 200 learns and detects data using a convolutional neural network (CNN) mainly used in the image processing field among deep learning algorithms to improve the disadvantages of image processing algorithms for detecting various objects. I can.

이를 위하여, 상기 AI 엔진부(200)는 도 4에 도시된 바와 같이, 검출부(210), 인식부(220) 및 영상 모니터링부(230)를 포함한다.To this end, the AI engine unit 200 includes a detection unit 210, a recognition unit 220, and an image monitoring unit 230, as shown in FIG. 4.

상기 검출부(210)는 미리 정의된 검출 딥 러닝 네트워크를 이용하여 감시 카메라부(100)에 의하여 촬영된 영상 정보에 대해 미리 설정된 적어도 하나의 객체를 검출할 수 있다. The detection unit 210 may detect at least one object preset with respect to the image information captured by the surveillance camera unit 100 using a predefined detection deep learning network.

상기 검출부(210)는, 딥 러닝 기반으로 감시 카메라부(100)에 의하여 촬영된 영상 정보 속 다양한 객체를 검출하는 구성 수단으로, 딥 네트워크를 사용하여 사람 검출, 얼굴 검출, 차량 검출 및 번호판 검출 등을 수행할 수 있다. 여기서, 검출부(210)는 입력 비디오에 대해서 일정 시간 간격으로 자동 객체검출을 수행하고, 검출된 객체에 대해 딥 러닝 네트워크를 이용하여 추적 기술을 적용함으로써 실시간 처리할 수 있으며, 물체가 검색되는 영역을 최소화하는 방법을 적용하여 딥 네트워크를 설계하고 트레이닝(training)할 수 있다.The detection unit 210 is a configuration means for detecting various objects in image information captured by the surveillance camera unit 100 based on deep learning, and uses a deep network to detect a person, detect a face, detect a vehicle, detect a license plate, etc. Can be done. Here, the detection unit 210 performs automatic object detection on the input video at regular time intervals, and can process the detected object in real time by applying a tracking technology using a deep learning network. Deep networks can be designed and trained by applying a minimization method.

또한, 상기 검출부(210)는 검출 딥 네트워크를 이용하여 식별 가능한 물체를 포함하는 감시카메라 영상에 대해 자동으로 객체를 검출한다. 여기서, 자동으로 검출되는 물체(또는 객체)는 사람, 얼굴, 차량(번호판), 이륜차 등을 포함할 수 있다. 구체적으로, 검출부(210)는 딥 러닝 기반 네트워크를 활용하여 사람 영역을 검출하고, 검출된 사람 영역 내에서 얼굴 검출 딥 네트워크를 활용하여 얼굴 영역을 검출한다. 마찬가지로, 검출부(210)는 차량 검출 딥 네트워크를 활용하여 CCTV 영상 내 존재하는 차량들을 검출하고, 검출된 차량 영상 내에서 번호판 영역을 검출할 수 있다. In addition, the detection unit 210 automatically detects an object with respect to a surveillance camera image including an identifiable object using a detection deep network. Here, the automatically detected object (or object) may include a person, a face, a vehicle (license plate), a two-wheeled vehicle, and the like. Specifically, the detection unit 210 detects a human region using a deep learning-based network, and detects a face region using a face detection deep network within the detected human region. Likewise, the detection unit 210 may detect vehicles existing in the CCTV image by using the vehicle detection deep network, and detect a license plate area within the detected vehicle image.

또한, 검출부(210)는 입력 영상 내 사람들을 자동으로 검출하고, 사람의 위치, 자세, 이동방향 등의 다양한 정보를 포함하는 사람 관련 정보를 빠르게 추출하기 위한 관심 영역 기반의 고속 사람 검출용 네트워크를 사용할 수 있다.In addition, the detection unit 210 automatically detects people in the input image, and provides a high-speed human detection network based on a region of interest for quickly extracting human-related information including various information such as a location, posture, and movement direction of the person. Can be used.

본 실시예에 따른 검출부(210)는, 기존의 영상처리 알고리즘의 단점을 개선하여 다양한 조도 변화와 열화된 영상에서 강건한 다중객체 검출하기 위하여, 컨볼루션 신경망(Convolutional Neural Network)을 이용하여 데이터를 학습하고 검출할 수 있다. The detection unit 210 according to the present embodiment learns data using a convolutional neural network in order to detect robust multi-objects in various illuminance changes and deteriorated images by improving the disadvantages of the existing image processing algorithm. And can be detected.

좀 더 구체적으로, 검출부(210)는, 24개의 CNN(Convolutional Neural Network) 계층으로 설계하여 높은 정밀도의 객체 검출을 처리할 수 있으며, 33 convolution layer와 11 convolution layer를 조합하여 네트워크의 연산량을 줄임으로써 빠르게 처리할 수 있다.More specifically, the detection unit 210 can process object detection with high precision by designing with 24 convolutional neural network (CNN) layers, and by combining 33 convolution layers and 11 convolution layers to reduce the amount of network computation. You can do it quickly.

또한, 검출부(210)는, 감시 카메라부(100)에 의하여 촬영된 영상을 416x416 픽셀과 320320 픽셀 크기의 두 가지 형태로 학습할 수 있다. 좀 더 구체적으로, 입력영상에 대하여, 제1 화각으로 운영되는 환경에서 416416 픽셀로 학습된 가중치 파일을 이용하여 객체를 검출하여 학습하고, 제2 화각으로 운영되는 화각에서 320320 픽셀로 학습한 가중치 파일을 이용하여 객체를 검출하여 학습함으로써 검출성능을 향상시킬 수 있다. 이때, 제1 화각은 제2 화각보다 넓은 화각으로 운영되는 환경을 의미할 수 있다. In addition, the detection unit 210 may learn the image captured by the surveillance camera unit 100 in two formats of 416x416 pixels and 320320 pixels. More specifically, with respect to the input image, an object is detected and learned using a weight file learned with 416416 pixels in an environment operated with a first angle of view, and a weight file learned with 320320 pixels in a second field of view. The detection performance can be improved by detecting and learning an object using. In this case, the first angle of view may mean an environment operated with a wider angle of view than the second angle of view.

상기 인식부(220)는 미리 정의된 인식 딥 러닝 네트워크와 검출부(210)를 통해 검출된 객체에 대한 검출 결과에 기초하여 해당 객체에 대한 정보를 인식할 수 있다.The recognition unit 220 may recognize information on a corresponding object based on a predefined recognition deep learning network and a detection result of the object detected through the detection unit 210.

또한, 인식부(220)의 인공지능 영상분석은 입력되는 영상에 대해서 차량, 보행자의 객체를 학습된 가중치 파일을 이용하여 검출할 수 있으며, 하나의 화면에서 검출하는 객체의 종류와 개수에는 제한이 없다. In addition, the artificial intelligence image analysis of the recognition unit 220 can detect the objects of vehicles and pedestrians with respect to the input image using the learned weight file, and the type and number of objects detected on one screen are limited. none.

상기 영상 모니터링부(230)는 인식부(220)에서 인식된 정보를 입력 영상과 함께 제공하여 해당 영상을 모니터링 할 수 있도록 한다.The image monitoring unit 230 provides the information recognized by the recognition unit 220 together with the input image so that the corresponding image can be monitored.

이러한 영상 모니터링부(230)의 인공지능 영상분석은 OnVif 또는 RTSP 표준 프로토콜을 지원하는 다양한 CCTV에 대해서 영상분석이 가능하며, 인공지능 영상분석과 함께 CCTV 카메라 데이터를 저장분배 서버에 녹화하는 기능과 함께 실시간 영상확인이 가능하다.The artificial intelligence video analysis of the video monitoring unit 230 enables video analysis for various CCTVs that support OnVif or RTSP standard protocols, along with the function of recording CCTV camera data in a storage distribution server along with artificial intelligence video analysis. Real-time video check is possible.

또한, 영상 모니터링부(230)는 영상 분석 결과, 차량번호 인식, 차량 및 보행자 검출과정이 수행되면 객체를 포함하는 바운딩 박스로 표출할 수 있다.In addition, when the image analysis result, vehicle number recognition, and vehicle and pedestrian detection processes are performed, the image monitoring unit 230 may display a bounding box including an object.

본 발명에 따르면, CCTV로부터 획득한 영상에서 차량, 보행자 정보 등 다양한 객체를 검출하기 위한 기존의 영상처리 알고리즘의 단점들을 개선하기 위해서 딥 러닝 알고리즘 중에서 영상처리 분야에서 주로 사용되는 CNN(Convolutional Neural Network)을 이용하여 데이터를 학습하고 검출할 수 있다.According to the present invention, a convolutional neural network (CNN) mainly used in the image processing field among deep learning algorithms in order to improve the shortcomings of existing image processing algorithms for detecting various objects such as vehicle and pedestrian information from images acquired from CCTV. You can learn and detect data using.

상기 관리서버(300)는 AI 엔진부(200)에 의하여 분석된 객체의 인식정보를 기초로 객체별 기초 정보 및 현황 정보로 데이터베이스화하고 통합관리하는 서버장치이다.The management server 300 is a server device that converts and manages the database into basic information and status information for each object based on the recognition information of the object analyzed by the AI engine unit 200.

보다 구체적으로, 상기 관리서버(300)는 AI 엔진부(200)에서 분석된 객체의 인식정보(이를테면, 차량의 번호정보, 색상정보, 기종정보, 이동시간정보, 이동횟수정보 및 진행방향정보나 보행자의 인상정보, 의류정보, 헤어스타일정보, 신장정보, 촬영횟수정보 및 진행방향정보)를 수신하여, 이를 토대로 각각의 객체별 현황상태를 데이터베이스화하고 통합적으로 관리한다.More specifically, the management server 300 includes recognition information of the object analyzed by the AI engine unit 200 (for example, vehicle number information, color information, model information, movement time information, movement frequency information, and progress direction information, or Pedestrian impression information, clothing information, hair style information, height information, photographing count information, and progress direction information) are received, and based on this, the status status of each object is converted into a database and managed in an integrated manner.

이 경우 관리서버(300)로 PC, LM 등을 사용하여 구현할 수 있지만, 이에 한정되지 아니하고 다양하게 응용하여 실시할 수 있음은 당연하다.In this case, the management server 300 may be implemented using a PC, LM, etc., but it is natural that the management server 300 is not limited thereto and can be applied in various ways.

이하에서는, 본 발명에 따른 인공지능형 CCTV 시스템을 이용한 차량 인식 및 활용 과정을 간단히 설명한다.Hereinafter, a vehicle recognition and utilization process using the artificial intelligent CCTV system according to the present invention will be briefly described.

우선, 복수 개의 CCTV 카메라(110)는 해당 구역의 영상의 움직임을 감지하여, 차량, 사람, 물체 등의 움직임 정보를 획득한다.First, a plurality of CCTV cameras 110 detect motion of an image in a corresponding area and acquire motion information of a vehicle, a person, an object, and the like.

다음으로, 복수 개의 CCTV 카메라(110)는 획득한 움직임 관련 영상을 적절한 크기(이를테면, 1/10 ~ 1/15)로 압축한다.Next, the plurality of CCTV cameras 110 compress the acquired motion-related images to an appropriate size (for example, 1/10 to 1/15).

다음으로, 복수 개의 CCTV 카메라(110)는 압축된 움직임 관련 영상을 유선통신(PLC, JLC 등)을 통해 AI 엔진부(200)로 실시간 전송한다.Next, the plurality of CCTV cameras 110 transmits the compressed motion-related images to the AI engine unit 200 in real time through wired communication (PLC, JLC, etc.).

다음으로, AI 엔진부(200)는 기계학습을 통해 객체의 인식정보(이를테면, 차량의 번호정보, 색상정보, 기종정보, 이동시간정보, 이동횟수정보 및 진행방향정보나 보행자의 인상정보, 의류정보, 헤어스타일정보, 신장정보, 촬영횟수정보 및 진행방향정보)를 분석하고, 분석된 객체의 인식정보(이를테면, 차량의 번호정보, 색상정보, 기종정보, 이동시간정보, 이동횟수정보 및 진행방향정보나 보행자의 인상정보, 의류정보, 헤어스타일정보, 신장정보, 촬영횟수정보 및 진행방향정보)를 네트워크를 통해 관리서버(300)로 전송한다.Next, the AI engine unit 200 recognizes the object through machine learning (for example, vehicle number information, color information, model information, movement time information, movement frequency information and progress direction information or pedestrian impression information, clothing Information, hairstyle information, height information, shooting count information and progress direction information), and recognition information of the analyzed object (for example, vehicle number information, color information, model information, moving time information, moving count information and progress) Direction information or pedestrian impression information, clothing information, hair style information, height information, photographing count information and progress direction information) are transmitted to the management server 300 through the network.

마지막으로, 관리서버(300)는 AI 엔진부(200)에서 분석된 객체의 인식정보(이를테면, 차량의 번호정보, 색상정보, 기종정보, 이동시간정보, 이동횟수정보 및 진행방향정보나 보행자의 인상정보, 의류정보, 헤어스타일정보, 신장정보, 촬영횟수정보 및 진행방향정보)를 수신하고, 이를 토대로 각각의 객체별 현황상태를 데이터베이스화하고 통합적으로 관리한다.Finally, the management server 300 is the recognition information of the object analyzed by the AI engine unit 200 (for example, vehicle number information, color information, model information, movement time information, movement frequency information and progress direction information or pedestrian Impression information, clothing information, hair style information, height information, shooting count information and progress direction information) are received, and based on this, the status status of each object is converted into a database and managed in an integrated manner.

이때, 보행자의 인상정보에는 보행자의 인상착의(즉, 모자, 가방, 안경 등 사물 및 연령 정보)일 수 있고, 의류 정보는 옷 형태 및 색상 정보일 수 있으며, 헤어스타일 정보는 장발, 삭발, 단발 등의 머리 형태 정보일 수 있다.At this time, the impression information of the pedestrian may be the impression of the pedestrian (i.e., information on objects and ages such as hats, bags, glasses, etc.), the clothing information may be information on the shape and color of the clothes, and the hairstyle information is long hair, shaved hair, short hair It may be information about the shape of the head of the back.

한편, 상기 CCTV 카메라(110)의 하단에는 고무재의 진동흡수방지부가 더 설치될 수도 있다. 이러한 진동흡수방지부의 원료 함량비는 고무 58 중량%, 카아본블랙 32중량%, 산화방지재 5 중량%, 촉진재인 유황 3중량%, 레소르시놀 수지 2 중량%를 혼합한다.Meanwhile, a vibration absorption prevention part of rubber material may be further installed at the lower end of the CCTV camera 110. The raw material content ratio of the vibration-absorbing part is 58% by weight of rubber, 32% by weight of carbon black, 5% by weight of antioxidant, 3% by weight of sulfur as an accelerator, and 2% by weight of resorcinol resin.

카아본블랙은 내마모성을 증대시키는 것이므로 이를 첨가하되, 함유량이 32 중량% 미만이면, 탄성과 내마모성이 줄어들며, 32 중량%가 초과 되면 주 성분인 고무의 함량이 상대적으로 적게 되어 탄성력이 떨어질 우려가 있으므로, 32 중량%를 혼합한다.Carbon black is to increase abrasion resistance, so it is added, but if the content is less than 32% by weight, elasticity and abrasion resistance decrease, and if it exceeds 32% by weight, the content of rubber, which is the main component, is relatively small, and elasticity may decrease. , 32% by weight are mixed.

산화방지제는 3C (N-PHENYL-N'-ISOPROPYL- P-PHENYLENEDIAMINE) 또는 RD(POLYMERIZED 2,2,4-TRIMETHYL-1,2- DIHYDROQUINOLINE)을 선택하여 5 중량%를 첨가하는 것으로, 5 중량% 미만이면, 제품이 산화가 되기 쉽고, 너무 많이 첨가하여 5 중량%를 초과하면, 주 성분인 고무의 함량이 상대적으로 적게 되어 탄성력이 떨어질 우려가 있으므로, 또한 산화방지제의 가격이 비싸기 때문에 5 중량%가 적정하다.Antioxidant is 3C (N-PHENYL-N'-ISOPROPYL- P-PHENYLENEDIAMINE) or RD (POLYMERIZED 2,2,4-TRIMETHYL-1,2-DIHYDROQUINOLINE) to add 5% by weight, 5% by weight If the amount is less than 5% by weight, the product is easily oxidized, and if too much is added to exceed 5% by weight, the content of the rubber as the main component may be relatively small and the elasticity may decrease.In addition, since the price of the antioxidant is high, 5% by weight Is appropriate.

촉진제인 유황은 3 중량%를 혼합한다. 3 중량% 미만은 성형시 가열공정에서 가황작용 효과가 미미하므로, 3 중량%을 첨가한다. 3 중량%를 초과하면, 주 성분인 고무의 함량이 상대적으로 적게 되어 탄성력이 떨어질 우려가 있으므로, 3 중량%가 적정하다.Sulfur as an accelerator is mixed in 3% by weight. If it is less than 3% by weight, 3% by weight is added since the effect of vulcanization in the heating process during molding is insignificant. If it exceeds 3% by weight, since the content of the rubber as the main component is relatively small, the elasticity may be lowered, so 3% by weight is appropriate.

레소르시놀 수지는 접착력 향상을 위하여 2 중량%을 첨가한다.Resorcinol resin is added in 2% by weight to improve adhesion.

따라서 본 발명은 여러 방향에 탄성을 갖는 합성고무로 보강되므로 CCTV 카메라(110)의 탄성, 인성 및 강성이 증대되므로 내구성이 향상되며, 이에 따라 다양한 구조체에 장착될 CCTV 카메라(110)의 수명이 증대된다.Therefore, the present invention is reinforced with synthetic rubber having elasticity in various directions, so that the elasticity, toughness and rigidity of the CCTV camera 110 are increased, so that the durability is improved, and thus the life of the CCTV camera 110 to be mounted on various structures is increased. do.

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.In the above, preferred embodiments according to the present invention have been illustrated and described. However, the present invention is not limited to the above-described embodiments, and any person with ordinary knowledge in the technical field to which the present invention pertains without departing from the gist of the present invention appended to the claims will be able to implement various modifications. .

100: 감시 카메라부 110: CCTV 카메라
111: 영상 촬영부 112: 조명부
113: 조명 제어부 114: 제어부
115: 통신부 200: AI 엔진부
210: 검출부 220: 인식부
230: 영상 모니터링부 300: 관리서버
100: surveillance camera unit 110: CCTV camera
111: image photographing unit 112: lighting unit
113: lighting control unit 114: control unit
115: communication unit 200: AI engine unit
210: detection unit 220: recognition unit
230: image monitoring unit 300: management server

Claims (5)

객체가 이동하는 구역에 설치되어 해당 구역의 객체를 촬영하는 감시 카메라부;
상기 감시 카메라부에서 촬영된 객체의 영상 정보를 기초로 하여 딥 러닝 기반의 기계 학습을 통하여 객체의 인식정보를 분석하는 AI 엔진부; 및
상기 AI 엔진부에 의하여 분석된 객체의 인식정보를 기초로 객체별 기초 정보 및 현황 정보로 데이터베이스화하고 통합관리하는 관리서버를 포함하고,
상기 감시 카메라부는 복수 개의 CCTV 카메라를 포함하며,
상기 복수 개의 CCTV 카메라는 광각 렌즈를 구비하여 촬영된 사진 이미지 또는 동영상을 프레임 처리하여 저장하거나 전송하되, 각각 촬영한 객체의 영상 정보를 네트워크를 통해 AI 엔진부로 실시간 전송하고,
상기 AI 엔진부는 딥 러닝 기반의 인공지능 엔진을 포함하고, 상기 복수 개의 CCTV 카메라가 전송한 객체의 영상 정보들을 수신하여, 딥 러닝 기반의 기계학습을 통해 객체의 인식정보를 분석하고, 분석된 상기 객체의 인식정보를 네트워크를 통해 관리서버로 전송하며,
상기 CCTV 카메라는,
가장 넓은 촬상 범위인 최대 촬영 범위를 기본 범위로 설정하여 상기 최대 촬영 범위에 대한 촬상을 수행하는 기본 카메라; 및
상기 객체에 대한 추적이 필요한 경우 트리거되어 해당 객체에 대한 촬상을 수행하는 복수 개의 보조 카메라를 구비하는 영상 촬영부를 포함하며,
상기 보조 카메라의 개수가 추적 대상 객체의 개수보다 적은 경우, 복수 개의 추적 대상 객체가 그룹핑되어 보조 카메라에 각각 할당되되,
상기 추적 대상 객체에 대한 그룹핑은 해당 추적 대상 객체 각각의 위치 및 속도를 기반으로 결정되고,
상기 추적 대상 객체의 위치 및 속도의 변화에 따라 해당 추적 대상 객체에 대한 그룹핑이 재수행되는 것을 특징으로 하는 인공지능형 CCTV 시스템.
A surveillance camera unit installed in an area in which the object moves and photographs an object in the area;
An AI engine unit that analyzes the recognition information of the object through deep learning-based machine learning based on the image information of the object captured by the surveillance camera unit; And
It includes a management server that converts into a database into basic information and status information for each object based on the recognition information of the object analyzed by the AI engine unit and manages it in an integrated manner,
The surveillance camera unit includes a plurality of CCTV cameras,
The plurality of CCTV cameras are provided with a wide-angle lens to frame-process the photographed image or video to store or transmit, but transmits the image information of each photographed object to the AI engine unit in real time through a network,
The AI engine unit includes a deep learning-based artificial intelligence engine, receives image information of an object transmitted by the plurality of CCTV cameras, analyzes the recognition information of the object through deep learning-based machine learning, and analyzes the Transmits object recognition information to the management server through the network
The CCTV camera,
A basic camera configured to set a maximum photographing range, which is the widest photographing range, as a default range to perform imaging of the maximum photographing range; And
Triggered when tracking of the object is required, and includes an image capture unit having a plurality of auxiliary cameras to perform imaging of the object,
When the number of auxiliary cameras is less than the number of objects to be tracked, a plurality of objects to be tracked are grouped and allocated to the auxiliary cameras, respectively,
The grouping of the object to be tracked is determined based on the position and speed of each object to be tracked,
An artificial intelligence CCTV system, characterized in that grouping for a corresponding object to be tracked is re-performed according to a change in the position and speed of the object to be tracked.
제1항에 있어서,
상기 객체는 차량 및 사람을 포함하고,
차량의 인식정보는 차량의 번호정보, 색상정보, 기종정보, 이동시간정보, 이동횟수정보 및 진행방향정보를 포함하며,
사람의 인식정보는 사람의 인상정보, 의류정보, 헤어스타일정보, 신장정보, 촬영횟수정보 및 진행방향정보를 포함하는 것을 특징으로 하는 인공지능형 CCTV 시스템.
The method of claim 1,
The objects include vehicles and people,
Vehicle identification information includes vehicle number information, color information, model information, movement time information, movement frequency information, and direction information,
The artificial intelligence CCTV system, characterized in that the recognition information of a person includes impression information of a person, clothing information, hair style information, height information, shooting count information, and progress direction information.
삭제delete 삭제delete 제2항에 있어서,
상기 AI 엔진부는
3x3 컨볼루션 계층 및 1x1 컨볼루션 계층이 조합된 컨볼루션 신경망(Convolutional Neural Network) 계층을 이용하여 해당 객체의 인식정보를 추출하고,
상기 객체의 영상정보에 대하여,
제1 화각으로 운영되는 환경에서 416x416 픽셀로 학습된 가중치 파일을 이용하여 객체를 검출하여 학습하고,
제2 화각으로 운영되는 화각에서 320x320 픽셀로 학습한 가중치 파일을 이용하여 객체를 검출하여 학습하며,
상기 제1 화각이 상기 제2 화각보다 넓은 것을 특징으로 하는 인공지능형 CCTV 시스템.
According to claim 2,
The AI engine unit
The recognition information of the object is extracted using a convolutional neural network layer in which a 3x3 convolution layer and a 1x1 convolution layer are combined,
With respect to the image information of the object,
In an environment operated at the first angle of view, an object is detected and learned using a weight file learned with 416x416 pixels,
It detects and learns an object using a weight file learned with 320x320 pixels at the angle of view operated as the second angle of view,
Artificial intelligence CCTV system, characterized in that the first angle of view is wider than the second angle of view.
KR1020200040324A 2020-04-02 2020-04-02 Artificial intelligence cctv system KR102143029B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200040324A KR102143029B1 (en) 2020-04-02 2020-04-02 Artificial intelligence cctv system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200040324A KR102143029B1 (en) 2020-04-02 2020-04-02 Artificial intelligence cctv system

Publications (1)

Publication Number Publication Date
KR102143029B1 true KR102143029B1 (en) 2020-08-10

Family

ID=72049401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200040324A KR102143029B1 (en) 2020-04-02 2020-04-02 Artificial intelligence cctv system

Country Status (1)

Country Link
KR (1) KR102143029B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102233288B1 (en) * 2020-10-05 2021-03-29 주식회사 영국전자 Face Identification Heat Detection and Tracking System with multiple cameras
WO2022035008A1 (en) * 2020-08-14 2022-02-17 아이티플래닛 주식회사 Vision camera system and method for managing vehicle access and recognizing object in port container terminal
KR102376479B1 (en) * 2021-11-26 2022-03-18 (주)혜성에스앤피 Method, device and system for controlling for automatic recognition of object based on artificial intelligence
KR20220122218A (en) * 2021-02-26 2022-09-02 충남대학교산학협력단 Automatic door system and control method thereof
KR20220141017A (en) * 2021-04-12 2022-10-19 주식회사 엘지유플러스 Server for distinguishing video analysis target and control method thereof
KR102482545B1 (en) * 2022-05-25 2022-12-29 주식회사 유투에스알 AI-based path prediction method
KR20230061164A (en) 2021-10-28 2023-05-08 스마트쿱(주) Apparatus and method for constructing dataset for artificial intelligence learning based on 3D authoring tool for object recognition
WO2023085520A1 (en) * 2021-11-15 2023-05-19 세종대학교산학협력단 Method and system for de-identifying robust face in cctv image by using multi-model

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104536A (en) * 2009-03-18 2010-09-29 (주)에스엔알 High reliance auto surveillance method, device and system
KR101879444B1 (en) 2018-03-05 2018-07-17 (주)아성정보 Method and apparatus for operating CCTV(closed circuit television)
KR101935399B1 (en) * 2018-07-11 2019-01-16 주식회사 두원전자통신 Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm
KR102043192B1 (en) * 2019-05-27 2019-11-11 주식회사 인콘 Cctv searching method and apparatus using deep learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104536A (en) * 2009-03-18 2010-09-29 (주)에스엔알 High reliance auto surveillance method, device and system
KR101879444B1 (en) 2018-03-05 2018-07-17 (주)아성정보 Method and apparatus for operating CCTV(closed circuit television)
KR101935399B1 (en) * 2018-07-11 2019-01-16 주식회사 두원전자통신 Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm
KR102043192B1 (en) * 2019-05-27 2019-11-11 주식회사 인콘 Cctv searching method and apparatus using deep learning

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022035008A1 (en) * 2020-08-14 2022-02-17 아이티플래닛 주식회사 Vision camera system and method for managing vehicle access and recognizing object in port container terminal
KR102233288B1 (en) * 2020-10-05 2021-03-29 주식회사 영국전자 Face Identification Heat Detection and Tracking System with multiple cameras
KR20220122218A (en) * 2021-02-26 2022-09-02 충남대학교산학협력단 Automatic door system and control method thereof
KR102518332B1 (en) * 2021-02-26 2023-04-04 충남대학교산학협력단 Automatic door system and control method thereof
KR20220141017A (en) * 2021-04-12 2022-10-19 주식회사 엘지유플러스 Server for distinguishing video analysis target and control method thereof
KR102527133B1 (en) * 2021-04-12 2023-05-02 주식회사 엘지유플러스 Server for distinguishing video analysis target and control method thereof
KR20230061164A (en) 2021-10-28 2023-05-08 스마트쿱(주) Apparatus and method for constructing dataset for artificial intelligence learning based on 3D authoring tool for object recognition
WO2023085520A1 (en) * 2021-11-15 2023-05-19 세종대학교산학협력단 Method and system for de-identifying robust face in cctv image by using multi-model
KR102376479B1 (en) * 2021-11-26 2022-03-18 (주)혜성에스앤피 Method, device and system for controlling for automatic recognition of object based on artificial intelligence
KR102482545B1 (en) * 2022-05-25 2022-12-29 주식회사 유투에스알 AI-based path prediction method

Similar Documents

Publication Publication Date Title
KR102143029B1 (en) Artificial intelligence cctv system
KR102560308B1 (en) System and method for exterior search
CN108009473B (en) Video structuralization processing method, system and storage device based on target behavior attribute
CN108053427B (en) Improved multi-target tracking method, system and device based on KCF and Kalman
CN108062349B (en) Video monitoring method and system based on video structured data and deep learning
Gowsikhaa et al. Automated human behavior analysis from surveillance videos: a survey
CN108052859B (en) Abnormal behavior detection method, system and device based on clustering optical flow characteristics
Sivaraman et al. A general active-learning framework for on-road vehicle recognition and tracking
US8923556B2 (en) Method and apparatus for detecting people within video frames based upon multiple colors within their clothing
US20140333775A1 (en) System And Method For Object And Event Identification Using Multiple Cameras
KR101731243B1 (en) A video surveillance apparatus for identification and tracking multiple moving objects with similar colors and method thereof
Jadhav et al. Smart traffic control system using image processing
KR20180135898A (en) Systems and methods for training object classifiers by machine learning
US20110043689A1 (en) Field-of-view change detection
Zin et al. Fusion of infrared and visible images for robust person detection
CN105975938A (en) Smart community manager service system with dynamic face identification function
US20190138833A1 (en) Accurate roi extraction aided by object tracking
KR102122850B1 (en) Solution for analysis road and recognition vehicle license plate employing deep-learning
US20210406604A1 (en) Training of an object recognition neural network
Jeyabharathi et al. Vehicle Tracking and Speed Measurement system (VTSM) based on novel feature descriptor: Diagonal Hexadecimal Pattern (DHP)
CN104102921A (en) Video detection method and video detection device based on face recognition
KR102609461B1 (en) Imaging device, apparatus and method for managing of fowl comprising the same
CN105227918B (en) A kind of intelligent control method
US11455785B2 (en) System and method for use in object detection from video stream
Yang et al. A two-stream information fusion approach to abnormal event detection in video

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant