KR102667465B1 - Linked artificial intelligence-based CCTV system - Google Patents
Linked artificial intelligence-based CCTV system Download PDFInfo
- Publication number
- KR102667465B1 KR102667465B1 KR1020230148260A KR20230148260A KR102667465B1 KR 102667465 B1 KR102667465 B1 KR 102667465B1 KR 1020230148260 A KR1020230148260 A KR 1020230148260A KR 20230148260 A KR20230148260 A KR 20230148260A KR 102667465 B1 KR102667465 B1 KR 102667465B1
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- cctv
- image data
- subject
- data
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 94
- 238000003860 storage Methods 0.000 claims abstract description 45
- 238000004891 communication Methods 0.000 claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims description 34
- 238000007726 management method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 18
- 230000005856 abnormality Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 17
- 230000015654 memory Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002041 carbon nanotube Substances 0.000 description 1
- 229910021393 carbon nanotube Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002159 nanocrystal Substances 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
본 발명은 연동형 인공지능 기반 CCTV 시스템에 있어서, 인공지능 기반 CCTV를 포함하며, 상기 인공지능 기반 CCTV와 유무선으로 네트워크적으로 연결된 관리서버를 포함하며, 상기 인공지능 기반 CCTV는 영상을 촬상하는 렌즈를 포함하는 카메라; 상기 카메라에 전원을 공급하는 전원공급부; 복수의 CCTV와 네트워크적으로 연결되어 데이터를 송수신하는 통신부; 복수의 CCTV로부터 및 상기 카메라로부터 촬상된 영상데이터를 저장하는 저장부; 및 상기 인공지능 기반 CCTV의 동작을 제어하는 제어부;를 포함하며, 상기 제어부는 인공지능 모듈에 기초하여 상기 영상데이터에서 기 설정된 피사체 또는 상기 피사체에 대응하여 기 설정된 무빙패턴 중 어느 하나를 식별하면 상기 영상데이터에서 식별된 상기 피사체가 포착된 시간구간의 영상데이터를 상기 관리서버에 송신하는 것을 특징으로 한다.The present invention relates to a linked artificial intelligence-based CCTV system, which includes an artificial intelligence-based CCTV, a management server connected to the artificial intelligence-based CCTV through a wired or wireless network, and the artificial intelligence-based CCTV includes a lens that captures images. A camera including; A power supply unit that supplies power to the camera; A communication unit that is network-connected to a plurality of CCTVs and transmits and receives data; a storage unit that stores image data captured from a plurality of CCTVs and from the camera; and a control unit that controls the operation of the artificial intelligence-based CCTV, wherein the control unit identifies one of a preset subject or a preset moving pattern corresponding to the subject in the image data based on an artificial intelligence module. Characterized in that the image data of the time section in which the subject identified in the image data was captured is transmitted to the management server.
Description
본 발명은 연동형 인공지능 기반 CCTV 시스템에 있어서, 보다 구체적으로 CCTV 카메라가 입수한 영상을 서버로 전송하지 않고 카메라 자체(엣지 단계)에서 인공지능 기술로 데이터를 생산하고 저장하는 인공지능 기반 CCTV 카메라시스템에 관한 것이다.The present invention relates to a linked artificial intelligence-based CCTV system, and more specifically, to an artificial intelligence-based CCTV camera that produces and stores data using artificial intelligence technology in the camera itself (edge stage) without transmitting the images obtained by the CCTV camera to the server. It's about the system.
카메라로부터 입력된 인간의 얼굴에서 특징점을 추출하여 인간의 얼굴을 식별하는 얼굴인식 기술과 카메라로부터 입력된 형태를 분석하여 사물이나 동작을 판단하는 객체 인식 기술은 인공지능 기술의 보급에 따라 널리 활용되고 있다. 그러나 이러한 기술을 적용하기 위해서는 가공된 데이터를 저장할 수 있는 스토리지와 이들 데이터를 필요할 때 즉시 불러내고 검색할 수 있는 프로세서가 필요하다. 최근 영상을 입수하여 제공하는 CCTV 카메라의 숫자가 늘어나면서, 그들로부터 입수되는 영상정보와 데이터의 전송 양은 기하급수적으로 증가하고 있다. 따라서, 전체 CCTV 카메라를 관리하고 통제하는 센터는 지속하여 저장장치와 프로세서를 증설해야 한다. Face recognition technology, which identifies human faces by extracting feature points from human faces input from a camera, and object recognition technology, which judges objects or movements by analyzing shapes input from cameras, are being widely used with the spread of artificial intelligence technology. there is. However, in order to apply this technology, storage that can store processed data and a processor that can immediately retrieve and retrieve this data when needed are required. Recently, as the number of CCTV cameras that obtain and provide video has increased, the amount of video information and data transmitted from them is increasing exponentially. Therefore, the center that manages and controls all CCTV cameras must continuously expand storage devices and processors.
한편, 저장장치, 운영 프로세서, 데이터 전송 양을 줄이기 위한 대안으로 CCTV 카메라에 저장장치와 프로세서를 내장한 인공지능 기반 CCTV 카메라가 등장하였다. 그러나 이 장치들 또한 가격이 고가여서 기존의 CCTV 카메라를 대체하기에는 많은 비용이 소요된다. 더욱이, CCTV 카메라마다 인공지능 프로세서를 탑재하는 것은 투자의 낭비일 수 있다. Meanwhile, as an alternative to reduce the amount of storage devices, operating processors, and data transmission, artificial intelligence-based CCTV cameras with storage devices and processors built into CCTV cameras have emerged. However, these devices are also expensive, so it costs a lot of money to replace existing CCTV cameras. Moreover, installing an artificial intelligence processor in each CCTV camera may be a waste of investment.
이상과 같이, 통제센터의 스토리지나 프로세서의 용량을 증설하는 방안이나 전체 CCTV 카메라를 인공지능 카메라로 교체하는 방안은 설치 비용 측면에서 많은 부담이 따른다.As mentioned above, plans to increase the capacity of the control center's storage or processor or replace all CCTV cameras with artificial intelligence cameras carry a significant burden in terms of installation costs.
이에, 본 발명은 상술한 문제점을 해결하기 위한 것으로 한 대의 인공지능 기반 CCTV를 복수의 일반 CCTV와 연동시키고, 한 대의 인공지능 기반 CCTV에 내장된 저장장치와 프로세서가 그에 연동된 다수의 CCTV 카메라로부터 입력된 영상정보에 대해 인공지능 기능을 수행하고 저장하여, 통제센터 내 서버의 저장장치나 프로세서를 증설할 필요가 없으며, 기존에 설치된 일반 CCTV 중 일부만을 인공지능 기반 CCTV 카메라로 교체하여도 인공지능 기능의 수행이 가능해지며, Accordingly, the present invention is intended to solve the above-mentioned problems by linking one artificial intelligence-based CCTV with a plurality of general CCTVs, and the storage device and processor built into one artificial intelligence-based CCTV from a plurality of CCTV cameras linked to it. By executing and storing artificial intelligence functions on the input video information, there is no need to expand the storage device or processor of the server in the control center, and even if only some of the existing general CCTVs are replaced with artificial intelligence-based CCTV cameras, artificial intelligence Functions can be performed,
고가인 인공지능 기반 CCTV 카메라의 설치 대수를 줄이고, CCTV 카메라와 통제센터의 서버 간에 데이터 전송을 최소화할 수 있어, 이를 통해 입력된 영상정보로부터 데이터를 얻고자 하는 통제센터는 필요에 따라 적기에 그리고 신속하게 검색할 수 있는 연동형 인공지능 기반 CCTV 시스템을 제공하는 것이다.It is possible to reduce the number of expensive artificial intelligence-based CCTV cameras installed and minimize data transmission between CCTV cameras and the control center's server. Through this, the control center that wishes to obtain data from the input video information can do so in a timely and timely manner as needed. The goal is to provide a linked artificial intelligence-based CCTV system that can be quickly searched.
본 발명의 일 실시예에 따른, 연동형 인공지능 기반 CCTV 시스템에 있어서, 인공지능 기반 CCTV를 포함하며, 상기 인공지능 기반 CCTV와 유무선으로 네트워크적으로 연결된 관리서버를 포함하며, 상기 인공지능 기반 CCTV는 영상을 촬상하는 렌즈를 포함하는 카메라; 상기 카메라에 전원을 공급하는 전원공급부; 복수의 CCTV와 네트워크적으로 연결되어 데이터를 송수신하는 통신부; 복수의 CCTV로부터 및 상기 카메라로부터 촬상된 영상데이터를 저장하는 저장부; 및 상기 인공지능 기반 CCTV의 동작을 제어하는 제어부;를 포함하며, 상기 제어부는 인공지능 모듈에 기초하여 상기 영상데이터에서 기 설정된 피사체 또는 상기 피사체에 대응하여 기 설정된 무빙패턴 중 어느 하나를 식별하면 상기 영상데이터에서 식별된 상기 피사체가 포착된 시간구간의 영상데이터를 상기 관리서버에 송신하는 것을 특징으로 한다. According to an embodiment of the present invention, a linked artificial intelligence-based CCTV system includes an artificial intelligence-based CCTV, and a management server connected to the artificial intelligence-based CCTV through a wired or wireless network, and the artificial intelligence-based CCTV. is a camera including a lens that captures images; A power supply unit that supplies power to the camera; A communication unit that is network-connected to a plurality of CCTVs and transmits and receives data; a storage unit that stores image data captured from a plurality of CCTVs and from the camera; and a control unit that controls the operation of the artificial intelligence-based CCTV, wherein the control unit identifies one of a preset subject or a preset moving pattern corresponding to the subject in the image data based on an artificial intelligence module. Characterized in that the image data of the time section in which the subject identified in the image data was captured is transmitted to the management server.
상기 관리서버와 네트워크적으로 연결된 컴퓨팅장치를 더 포함하며, It further includes a computing device network connected to the management server,
상기 컴퓨팅장치는 사용자입력을 위한 사용자입력부; 및 상기 인공지능 기반 CCTV로부터 수신된 복수의 데이터를 표시하도록 하는 디스플레이부;를 포함하며, 상기 제어부는 상기 사용자입력부로부터 상기 인공지능 기반 CCTV가 복수의 모드 중 데이터 저장에 대한 제1모드로 상기 영상데이터를 수집하도록 하는 제1사용자입력을 수신하면, 상기 제1사용자입력에 대응하여 상기 제1모드로 상기 복수의 CCTV 및 상기 카메라로부터 수신되는 복수의 영상데이터를 저장하며, 상기 제1모드는 상기 복수의 CCTV로부터 수신된 제1영상데이터를 상기 저장부에 저장하되, 상기 피사체 및 상기 무빙패턴이 식별된 구간은 상기 제1영상데이터의 원본데이터로 제1화질로 저장하며, 상기 피사체 및 상기 무빙패턴이 식별되지 않은 구간은 상기 제1화질보다 품질이 낮은 제2화질로 저장하는 것을 특징으로 한다. The computing device includes a user input unit for user input; And a display unit configured to display a plurality of data received from the artificial intelligence-based CCTV, wherein the control unit selects the image from the user input unit to select the artificial intelligence-based CCTV as a first mode for data storage among a plurality of modes. When receiving a first user input to collect data, a plurality of image data received from the plurality of CCTVs and the cameras are stored in the first mode in response to the first user input, and the first mode is the first mode. The first image data received from a plurality of CCTVs is stored in the storage unit, and the section in which the subject and the moving pattern are identified is stored in first image quality as original data of the first image data, and the subject and the moving pattern are stored in the storage unit. The section in which the pattern is not identified is stored in a second image quality that is lower in quality than the first image quality.
연동형 인공지능 기반 CCTV 시스템에 있어서, 인공지능 기반 영상처리장치를 포함하며, 상기 인공지능 기반 영상처리장치와 유무선으로 네트워크적으로 연결된 관리서버를 포함하며, 상기 영상처리장치는 복수의 CCTV와 네트워크적으로 연결되어 데이터를 송수신하는 통신부; 복수의 CCTV로부터 송신된 영상데이터를 저장하는 저장부; 및 상기 영상처리장치의 동작을 제어하는 제어부;를 포함하며, 상기 제어부는 인공지능 모듈에 기초하여 상기 영상데이터에서 기 설정된 피사체 또는 상기 피사체에 대응하여 기 설정된 무빙패턴 중 어느 하나를 식별하면 상기 영상데이터에서 식별된 상기 피사체가 포착된 구간을 상기 관리서버에 송신하는 것을 특징으로 한다.In the linked artificial intelligence-based CCTV system, it includes an artificial intelligence-based image processing device, and a management server connected to the artificial intelligence-based image processing device through a wired or wireless network, wherein the image processing device is connected to a plurality of CCTVs and a network. A communication unit that is connected to transmit and receive data; a storage unit that stores image data transmitted from a plurality of CCTVs; and a control unit that controls the operation of the image processing device, wherein the control unit identifies one of a preset subject or a preset moving pattern corresponding to the subject in the image data based on an artificial intelligence module. The section in which the subject identified in the data is captured is transmitted to the management server.
한 대의 인공지능 기반 CCTV를 복수의 일반 CCTV와 연동시키고, 한 대의 인공지능 기반 CCTV에 내장된 저장장치와 프로세서가 그에 연동된 다수의 CCTV 카메라로부터 입력된 영상정보에 대해 인공지능 기능을 수행하고 저장하여, 통제센터 내 서버의 저장장치나 프로세서를 증설할 필요가 없으며, 기존에 설치된 일반 CCTV 중 일부만을 인공지능 기반 CCTV 카메라로 교체하여도 인공지능 기능의 수행이 가능해지며, One artificial intelligence-based CCTV is linked with multiple general CCTVs, and the storage device and processor built into one artificial intelligence-based CCTV performs artificial intelligence functions and stores video information input from multiple CCTV cameras linked to it. Therefore, there is no need to expand the storage device or processor of the server in the control center, and the artificial intelligence function can be performed even if only some of the existing general CCTV cameras are replaced with artificial intelligence-based CCTV cameras.
고가인 인공지능 기반 CCTV 카메라의 설치 대수를 줄이고, CCTV 카메라와 통제센터의 서버 간에 데이터 전송을 최소화할 수 있어, 이를 통해 입력된 영상정보로부터 데이터를 얻고자 하는 통제센터는 필요에 따라 적기에 그리고 신속하게 검색할 수 있는 연동형 인공지능 기반 CCTV 시스템을 제공할 수 있다.It is possible to reduce the number of expensive artificial intelligence-based CCTV cameras installed and minimize data transmission between CCTV cameras and the control center's server. Through this, the control center that wishes to obtain data from the input video information can do so in a timely and timely manner as needed. It is possible to provide a linked artificial intelligence-based CCTV system that can be quickly searched.
도 1은 본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템의 기본 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템에서 영상처리장치가 동작하는 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템에서 관제서버를 통해 동작하는 구성을 도시한 도면이다.Figure 1 is a diagram showing the basic configuration of a linked artificial intelligence-based CCTV system according to an embodiment of the present invention.
Figure 2 is a diagram showing the configuration of an image processing device operating in a linked artificial intelligence-based CCTV system according to an embodiment of the present invention.
Figure 3 is a diagram showing a configuration operating through a control server in a linked artificial intelligence-based CCTV system according to an embodiment of the present invention.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numbers or symbols refer to components that perform substantially the same function, and the size of each component in the drawings may be exaggerated for clarity and convenience of explanation. However, the technical idea of the present invention and its core configuration and operation are not limited to the configuration or operation described in the following examples. In describing the present invention, if it is determined that a detailed description of a known technology or configuration related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부 뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다. 또한, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된 (designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.In embodiments of the present invention, terms containing ordinal numbers, such as first, second, etc., are used only for the purpose of distinguishing one element from another element, and singular expressions are plural unless the context clearly indicates otherwise. Includes expressions of In addition, in embodiments of the present invention, terms such as 'consist', 'include', and 'have' refer to the presence of one or more other features, numbers, steps, operations, components, parts, or combinations thereof. Alternatively, it should be understood that the possibility of addition is not excluded in advance. Additionally, in an embodiment of the present invention, a 'module' or 'unit' performs at least one function or operation, may be implemented as hardware or software, or may be implemented as a combination of hardware and software, and may be integrated into at least one module. and can be implemented with at least one processor. Additionally, in an embodiment of the present invention, at least one of the plurality of elements refers to not only all of the plurality of elements, but also each one of the plurality of elements excluding the others or a combination thereof. In addition, "configured to" may mean "suitable for," "having the capacity to," "~ It can be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.” “Configured (or set to)” may not necessarily mean “specifically designed to” in terms of hardware. Instead, in some contexts, the expression “a device configured to” may mean that the device is “capable of” working with other devices or components. For example, the phrase "processor configured (or set) to perform A, B, and C" refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored on a memory device. , may refer to a general-purpose processor (e.g., CPU or application processor) capable of performing the corresponding operations.
이하, 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세하게 설명한다. 이는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위한 것이며, 이로 인해, 본 발명의 기술적인 사상 및 범주가 한정되는 것은 아님을 밝혀 둔다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. This is intended to provide a detailed description so that a person skilled in the art can easily carry out the invention, and therefore does not limit the technical idea and scope of the present invention. .
도 1은 본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템의 기본 구성을 도시한 도면이며, 도 2는 본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템에서 영상처리장치가 동작하는 구성을 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템에서 관제서버를 통해 동작하는 구성을 도시한 도면이다.Figure 1 is a diagram showing the basic configuration of a linked artificial intelligence-based CCTV system according to an embodiment of the present invention, and Figure 2 shows an image processing device in the linked artificial intelligence-based CCTV system according to an embodiment of the present invention. This is a diagram illustrating an operating configuration, and Figure 3 is a diagram illustrating a configuration operating through a control server in a linked artificial intelligence-based CCTV system according to an embodiment of the present invention.
도 1 내지 도 3을 참조하여, 본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템은 인공지능 기반 CCTV(100)를 포함한다. 본 발명에 따른 CCTV, 즉 Closed-Circuit Television은 특정 지역을 감시하기 위해 설치된 비디오 카메라로부터 받은 영상을 한정된 모니터로 전송하는 시스템을 의미하며, 이는 공공장소, 건물, 교통체계 등 다양한 장소에서 주로 사용되며, 보안 감시의 목적을 가진다. 한편, 본 발명에 따른 CCTV는 전통적인 방식으로 비디오 테이프 레코더에 영상을 기록하는 아날로그 CCTV와 디지털 방식을 사용하여 데이터를 저장하고 전송하는 디지털 CCTV를 모두 포함할 수 있으며, 본 발명에서는 CCTV를 영상의 해상도와 품질이 우수하며, 쉽게 확장 및 통합이 가능한 디지털 CCTV를 전제로 하여 작성한다. 다만, 이에 한정되는 것이 아닌 영상, 소리 등을 기록할 수 있는 모든 형태의 실시예를 포함할 수 있다. 1 to 3, the linked artificial intelligence-based CCTV system according to an embodiment of the present invention includes an artificial intelligence-based CCTV 100. CCTV, or Closed-Circuit Television, according to the present invention refers to a system that transmits images received from a video camera installed to monitor a specific area to a limited monitor. It is mainly used in various places such as public places, buildings, and transportation systems. , has the purpose of security surveillance. Meanwhile, the CCTV according to the present invention may include both analog CCTV, which records images on a video tape recorder in a traditional manner, and digital CCTV, which stores and transmits data using a digital method. In the present invention, CCTV is used to record images on a video tape recorder. It is written based on the premise of digital CCTV that is of excellent quality and can be easily expanded and integrated. However, it is not limited to this and may include all types of embodiments capable of recording images, sounds, etc.
한편, 본 발명에 따른 CCTV는 네트워크 연결을 통해 원격에서 감시 영상을 확인할 수 있고, 고해상도의 영상을 제공하며, 클라우드 저장소와의 연동도 가능한 IP카메라를 포함할 수 있으며, 즉, 본 발명에 따른 CCTV는 사용자의 요구와 환경에 따라 적절히 선택되어 사용될 수 있다. Meanwhile, the CCTV according to the present invention may include an IP camera that can check surveillance images remotely through a network connection, provides high-resolution images, and can also be linked to cloud storage, that is, the CCTV according to the present invention. can be appropriately selected and used depending on the user's needs and environment.
본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템은 인공지능 기반 CCTV(100)를 포함한다. 인공지능, 또는 AI(Artificial Intelligence)는 기계가 인간의 지능을 모방하여 학습, 추론, 자동화된 결정을 내릴 수 있는 기술을 의미하며, 이는 기계 학습, 딥러닝, 신경망 등 다양한 알고리즘과 모델에 기반한다. 특히, CCTV 분야에서 인공지능은 영상인식, 패턴인식 등의 분야에서 활용되어 특정 객체나 움직임을 자동으로 탐지하고 분석할 수 있다.The linked artificial intelligence-based CCTV system according to an embodiment of the present invention includes an artificial intelligence-based CCTV (100). Artificial intelligence, or AI (Artificial Intelligence), refers to a technology that allows machines to learn, reason, and make automated decisions by imitating human intelligence. It is based on various algorithms and models such as machine learning, deep learning, and neural networks. . In particular, in the CCTV field, artificial intelligence can be used in fields such as image recognition and pattern recognition to automatically detect and analyze specific objects or movements.
보다 구체적으로, 본 발명에서의 인공지능 모델 실시예로는 컨볼루션 신경망(Convolutional Neural Network, CNN)을 기반으로 하는 영상 인식 모델을 사용할 수 있으며, CNN은 영상 데이터의 로컬 패턴을 탐지하는 데 특화되어 있어, CCTV 영상에서의 피사체나 움직임 패턴의 특징을 정밀하게 인식할 수 있다.More specifically, an image recognition model based on a convolutional neural network (CNN) can be used as an artificial intelligence model embodiment in the present invention, and CNN is specialized in detecting local patterns of image data. Therefore, it is possible to precisely recognize the characteristics of subjects or movement patterns in CCTV images.
또한, 순환 신경망(Recurrent Neural Network, RNN) 또는 그 변형인 LSTM(Long Short-Term Memory) 모델을 사용하여 시간적 순서를 가진 데이터, 즉 연속적인 CCTV 영상에서 피사체의 움직임 패턴을 예측하고 분석하는 것도 사용이 가능하며, 이를 통해 피사체의 이동 경로나 행동 패턴을 인식할 수 있고, 더 나아가, 본 발명에서는 위의 두 모델을 결합한 형태로 사용하여, 영상 내의 피사체를 정확하게 인식하고 그 피사체의 움직임을 연속적으로 추적할 수 있는 모델을 구현할 수 있다. 이렇게 구현된 인공지능 모델은 CCTV 영상에서 복잡한 상황이나 다양한 움직임 패턴도 정밀하게 인식하고 분석하는 데 큰 도움을 제공한다.In addition, Recurrent Neural Network (RNN) or its variant, Long Short-Term Memory (LSTM) model, is used to predict and analyze subject movement patterns in temporally ordered data, that is, continuous CCTV images. This is possible, and through this, the subject's movement path or behavior pattern can be recognized. Furthermore, in the present invention, the above two models are used in a combined form to accurately recognize the subject in the video and continuously track the subject's movement. A model that can be traced can be implemented. The artificial intelligence model implemented in this way provides great help in precisely recognizing and analyzing complex situations or various movement patterns in CCTV footage.
한편, 본 발명의 일 실시예로 인공지능 모듈이 영상 데이터에서 사전에 설정된 피사체나 그 피사체의 움직임 패턴을 식별하게 되는데, CCTV로부터 촬영된 영상 데이터 중에서 인공지능이 피사체나 움직임 패턴을 식별한 구간만을 효율적으로 관리서버(500)에 전송하게 되어 네트워크 트래픽 및 저장 공간을 최적화할 수 있다. 따라서, 본 발명의 연동형 인공지능 기반 CCTV 시스템은 효율적인 영상 처리와 데이터 관리를 가능하게 하여 전통적인 CCTV 시스템보다 우수한 성능을 제공할 수 있다. Meanwhile, in one embodiment of the present invention, the artificial intelligence module identifies a preset subject or a movement pattern of the subject in the image data. Among the image data captured from CCTV, only the section in which the artificial intelligence identified the subject or movement pattern is identified. By efficiently transmitting data to the management server 500, network traffic and storage space can be optimized. Therefore, the linked artificial intelligence-based CCTV system of the present invention can provide better performance than traditional CCTV systems by enabling efficient image processing and data management.
본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템은 인공지능 기반 CCTV(100)와 유무선으로 네트워크적으로 연결된 관리서버(500)를 포함한다. 본 발명에 따른 관리서버(500)는 복수의 CCTV(200) 내 카메라로부터 수집된 데이터를 중앙에서 관리, 분석, 저장하는 시스템을 의미하며, 본 발명의 일 실시예에 따른 관리서버(500)는 현장에 직접 설치되어 CCTV와 직접 연결되며, 데이터를 온프레미스 환경에서 저장하는 로컬 서버, 인터넷을 통해 CCTV 데이터를 원격으로 저장하고 관리하여 대용량의 데이터를 안전하게 보관하며 원격 접속이 가능한 클라우드 서버, 로컬과 클라우드의 장점을 모두 결합한 형태로, 중요한 데이터는 로컬에, 대용량 데이터는 클라우드에 저장하는 하이브리드 서버 등을 포함할 수 있다.The linked artificial intelligence-based CCTV system according to an embodiment of the present invention includes an artificial intelligence-based CCTV (100) and a management server (500) connected to a wired or wireless network. The management server 500 according to the present invention refers to a system that centrally manages, analyzes and stores data collected from cameras within a plurality of CCTVs 200. The management server 500 according to an embodiment of the present invention is A local server that is installed directly on site and connected directly to CCTV and stores data in an on-premise environment; a cloud server that stores and manages CCTV data remotely over the Internet to safely store large amounts of data and allows remote access; It combines all the advantages of the cloud and can include hybrid servers that store important data locally and large amounts of data in the cloud.
본 발명의 일 실시예에 따른 인공지능 기반 CCTV(100)는 카메라, 전원공급부, 통신부, 저장부 및 제어부를 포함한다. The artificial intelligence-based CCTV 100 according to an embodiment of the present invention includes a camera, a power supply unit, a communication unit, a storage unit, and a control unit.
본 발명의 일 실시예에 따른 카메라는 영상 또는 사진을 촬영하기 위한 장치를 의미하며, 본 발명에 따른 카메라의 구성에는 렌즈, 센서, 셔터 등이 포함되며, 이를 통해 주변의 빛을 센서에 포착하여 디지털 또는 아날로그 형태의 이미지로 변환한다.A camera according to an embodiment of the present invention refers to a device for taking videos or photos, and the configuration of the camera according to the present invention includes a lens, sensor, shutter, etc., through which the surrounding light is captured by the sensor. Converts images to digital or analog format.
한편, 본 발명에 따른 카메라는 디지털 이미지 센서와 반사경을 사용하는 전통적인 디지털 카메라로, 고화질의 이미지를 제공하는 DSLR, 반사경이 없어 보다 경량화되어 있으나, DSLR과 비슷한 성능을 제공하는 미러리스, 휴대성을 중시한 소형의 카메라인 컴팩트, 스포츠나 액션 씬을 촬영하기 위한 액션, 주변 환경을 360도로 촬영할 수 있게 설계된 360도 등 CCTV 시스템의 목적을 구현할 수 있는 모든 종류의 카메라를 포함할 수 있다. Meanwhile, the camera according to the present invention is a traditional digital camera using a digital image sensor and a reflector, a DSLR that provides high-quality images, a mirrorless camera that is lighter but provides similar performance to a DSLR and is portable because it does not have a reflector. It can include all types of cameras that can implement the purpose of a CCTV system, such as compact cameras that are small and important, action cameras for filming sports or action scenes, and 360-degree cameras designed to film the surrounding environment in 360 degrees.
한편, 본 발명의 일 실시예에 따른 구체적 카메라는 4K 해상도를 지원하는 미러리스 카메라를 사용할 수 있으며, 이는 24.2 메가픽셀의 CMOS 센서, 최대 ISO 25600, 5축 이미지 안정화, 최대 10프레임/초의 연속 촬영 기능을 갖추고 있고, 또한, 무선 연결 기능을 통해 촬영된 이미지나 영상을 즉시 전송하거나 공유할 수 있으며, 이를 통해 CCTV 환경에서도 선명하고 고화질의 영상 데이터를 효과적으로 촬영하고 저장할 수 있다. 다만, 이는 일 예시일 뿐이며 영상 데이터를 촬상하고 저장할 수 있는 모든 형태의 카메라로 구현될 수 있고, 권리범위가 이에 한정되는 것은 아니다. Meanwhile, a specific camera according to an embodiment of the present invention may use a mirrorless camera supporting 4K resolution, which has a 24.2 megapixel CMOS sensor, up to ISO 25600, 5-axis image stabilization, and continuous shooting at up to 10 frames/sec. It is equipped with a wireless connection function that allows you to immediately transmit or share captured images or videos. Through this, you can effectively capture and store clear, high-definition video data even in a CCTV environment. However, this is only an example and can be implemented with any type of camera that can capture and store video data, and the scope of rights is not limited to this.
본 발명의 일 실시예에 따른 전원공급부는 장치의 작동을 위해 필요한 전력을 제공하는 역할을 하며, 전기 에너지를 저장하거나 변환하는 역할을 수행하여, 장치의 안정적인 작동을 수행하도록 한다.The power supply unit according to an embodiment of the present invention serves to provide power necessary for operation of the device, and performs a role of storing or converting electrical energy to ensure stable operation of the device.
한편, 본 발명의 일 실시예에 따른 전원공급부는 휴대 가능한 장치에 적합하며, 특정 용량의 전기 에너지를 저장하는데 사용되는 배터리, 외부 전원을 장치에 적합한 전압과 전류로 변환하여 공급하는 AC 어댑터, 태양광을 전기 에너지로 변환하여 장치에 전원을 공급하는 태양열 패널, 전원 중단 시 장치가 계속 작동할 수 있도록 일시적으로 전원을 공급하도록 하는 업스(무정전 전원 공급 장치) 등을 포함할 수 있으며, 상술한 예시에 한정되는 것이 아닌 전력을 공급할 수 있는 모든 형태의 실시예를 포함할 수 있다.Meanwhile, the power supply unit according to an embodiment of the present invention is suitable for portable devices, and includes a battery used to store electrical energy of a specific capacity, an AC adapter that converts external power into voltage and current suitable for the device and supplies it, and a solar power supply unit according to an embodiment of the present invention. This may include solar panels that convert light into electrical energy to power devices, uninterruptible power supplies (UPS) that provide temporary power to ensure continued operation of devices in the event of a power outage, examples of the above. It is not limited to, but may include all types of embodiments capable of supplying power.
한편, 본 발명의 구체적인 전원공급부의 실시예로는 입력 전압이 100-240V AC, 주파수 50/60Hz의 AC 어댑터를 사용할 수 있으며, 출력 전압 12V DC, 최대 출력 전류 2A를 제공하여 CCTV 장치에 안정적인 전력을 공급하며, 이때 어댑터는 과전압, 과전류, 과열 등의 보호 기능을 내장하여 장치의 안정성을 높이고, 전원 공급 중 발생할 수 있는 잠재적인 위험을 최소화할 수 있도록 구현될 수 있다. Meanwhile, as a specific embodiment of the power supply unit of the present invention, an AC adapter with an input voltage of 100-240V AC and a frequency of 50/60Hz can be used, and an output voltage of 12V DC and a maximum output current of 2A are provided to provide stable power to CCTV devices. In this case, the adapter can be implemented with built-in protection functions such as overvoltage, overcurrent, and overheating to increase the stability of the device and minimize potential risks that may occur during power supply.
본 발명의 일 실시예에 따른 통신부는 복수의 CCTV(200)와 네트워크적으로 연결되어 데이터를 송수신하도록 구현될 수 있다. The communication unit according to an embodiment of the present invention may be implemented to be network connected to a plurality of CCTVs 200 to transmit and receive data.
본 발명의 일 실시예에 따른 통신부는 사용자단말기 또는 외부의 다른 전자장치 등과 유무선 통신 방식으로 통신할 수 있다. 따라서 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로도 구현될 수 있다. 예컨대, Wi-Fi, 블루투스, 지그비(Zigbee), 적외선 통신, Radio Control, UWM(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다. 통신부는 BLE(Bluetooth Low Energy), SPP(Serial Port Profile), Wi-Fi Direct, 적외선 통신, Zigbee, NFC(Near Field Communication) 등의 통신 모듈을 포함할 수 있다. 또한 통신부는 Device, S/W module, Circuit, Chip 등의 형태로 구현될 수 있다.The communication unit according to an embodiment of the present invention can communicate with a user terminal or other external electronic devices through wired or wireless communication. Therefore, in addition to a connection unit including a connector or terminal for wired connection, it can be implemented in various other communication methods. For example, it may be configured to perform one or more of Wi-Fi, Bluetooth, Zigbee, infrared communication, Radio Control, Ultra-Wide Band (UWM), Wireless USB, and Near Field Communication (NFC). The communication unit may include communication modules such as BLE (Bluetooth Low Energy), SPP (Serial Port Profile), Wi-Fi Direct, infrared communication, Zigbee, and NFC (Near Field Communication). Additionally, the communication unit can be implemented in the form of a device, S/W module, circuit, chip, etc.
본 발명의 일 실시예에 따른 통신부는 상기의 다양한 통신 모듈을 포함할 수 있는데, 통신사별 IoT망을 갖는 IoT통신모듈을 포함할 수 있으며, IoT통신모듈은 별개의 통신부를 가진 복수의 사물들이 네트워크를 통해 연결되어 다양한 플랫폼을 기반으로 서비스를 가능하도록 하는 모든 IoT통신망을 의미할 수 있다. 이와 같은 IoT통신모듈을 이용하면 설정된 지역 내에서 보다 원활한 통신망이 제공될 수 있다.The communication unit according to an embodiment of the present invention may include the various communication modules described above. It may include an IoT communication module having an IoT network for each communication company, and the IoT communication module may include a network of a plurality of objects having separate communication units. It can refer to all IoT communication networks that are connected through and enable services based on various platforms. By using such IoT communication modules, a more seamless communication network can be provided within the designated area.
본 발명의 일 실시예에 따른 저장부는 통신부를 통해 복수의 CCTV(200), 컴퓨팅장치(400)로부터 정보를 수신하거나, 외부 플랫폼으로부터 정보를 수신하여, 이를 저장할 수 있으며, 제어부에 의해 수신된 영상정보를 수신하여, 이를 저장할 수 있다. 저장부는 후술할 제어부의 처리 및 제어에 따라서 다양한 데이터를 저장할 수 있다. 저장부는 제어부에 의해 엑세스되어, 데이터의 독취, 기록, 수정, 삭제, 갱신 등을 수행할 수 있다. 저장부는 인공지능 기반 CCTV(100)에 대한 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive), SSD(solid-state drive) 등과 같은 비휘발성 메모리를 포함할 수 있다. 또한, 저장부는 제어부에 의해 처리되는 데이터가 임시로 로딩되기 위한 버퍼, 램 등과 같은 휘발성 메모리를 포함할 수 있다.The storage unit according to an embodiment of the present invention may receive information from a plurality of CCTVs 200 and a computing device 400 through a communication unit, or may receive information from an external platform and store the image received by the control unit. Information can be received and stored. The storage unit can store various data according to the processing and control of the control unit, which will be described later. The storage unit is accessed by the control unit to read, record, modify, delete, update, etc. data. The storage unit includes flash memory, hard-disc drive, and solid-state drive (SSD) to preserve data regardless of whether or not system power is provided to the artificial intelligence-based CCTV (100). It may include non-volatile memory such as the like. Additionally, the storage unit may include volatile memory such as a buffer or RAM for temporarily loading data processed by the control unit.
본 발명의 일 실시예에 따른 제어부는 인공지능 기반 CCTV(100)의 제반 구성들이 동작하기 위한 제어를 수행할 수 있다. 제어부는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비활성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드 된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은 인공지능 기반 CCTV(100) 외에도 다른 외부의 전자장치에도 저장될 수 있다.The control unit according to an embodiment of the present invention may perform control to operate various components of the artificial intelligence-based CCTV (100). The control unit includes a control program (or instructions) that allows performing such control operations, an inactive memory in which the control program is installed, a volatile memory in which at least a part of the installed control program is loaded, and at least one that executes the loaded control program. It may include a processor or CPU (Central Processing Unit). Additionally, such a control program can be stored in other external electronic devices in addition to the artificial intelligence-based CCTV 100.
제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 인공지능 기반 CCTV(100)의 제조 시에 인공지능 기반 CCTV(100)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 인공지능 기반 CCTV(100)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 외부 서버로부터 본 발명에 따른 인공지능 기반 CCTV(100)로 다운로드 될 수도 있으나, 이에 한정되는 것은 아니다. 한편, 제어부는 device, S/W module, circuit, chip 등의 형태 또는 그 조합으로 구현될 수 있다.The control program may include program(s) implemented in the form of at least one of BIOS, device driver, operating system, firmware, platform, and application program. As an embodiment, the application program is pre-installed or stored in the artificial intelligence-based CCTV (100) at the time of manufacturing the artificial intelligence-based CCTV (100), or is received by receiving application data from the outside when used in the future. It can be installed in the artificial intelligence-based CCTV (100) based on the data. Data of the application may, for example, be downloaded from an external server to the artificial intelligence-based CCTV 100 according to the present invention, but is not limited thereto. Meanwhile, the control unit may be implemented in the form of a device, S/W module, circuit, chip, etc., or a combination thereof.
본 발명의 일 실시예에 따른 제어부는 인공지능 모듈에 기초하여 영상데이터에서 기 설정된 피사체 또는 피사체에 대응하여 기 설정된 무빙패턴 중 어느 하나를 식별하면 영상데이터에서 식별된 피사체가 포착된 시간구간의 영상데이터를 관리서버(500)에 송신할 수 있다. Based on an artificial intelligence module, the control unit according to an embodiment of the present invention identifies any one of a preset subject or a preset moving pattern corresponding to the subject in the image data, and then images the time section in which the subject identified in the image data was captured. Data can be transmitted to the management server 500.
보다 구체적으로, 본 발명의 일 실시예에 따른 제어부는 특정 알고리즘을 기반으로 영상 내에서 움직임이 감지될 때 해당 움직임이 사전에 정의된 무빙패턴 중 하나와 일치하는지 식별하며, 예컨대, 무빙패턴이 '사람이 걷는 모양'이라고 가정하면, 제어부는 CCTV 영상에서 사람의 걷는 움직임을 실시간으로 감지하고 분석하며, 이때 제어부는 먼저 영상에서 사람의 형태와 움직임의 패턴을 추출한다. 이를 위해 딥러닝 기반의 객체 탐지 알고리즘과 시계열 데이터 분석 알고리즘을 활용할 수 있다. 한편, 감지된 움직임이 '사람이 걷는 모양'과 일치하면, 해당 움직임이 발생한 시간구간의 영상데이터를 분리하고, 분리된 영상데이터는 압축 및 인코딩 과정을 거쳐서 네트워크 대역폭을 최적화하고, 관리서버(500)로 실시간으로 전송한다.More specifically, the control unit according to an embodiment of the present invention identifies whether the movement matches one of predefined moving patterns when movement is detected in the image based on a specific algorithm, for example, the moving pattern is ' Assuming that it is 'the shape of a person walking', the control unit detects and analyzes the person's walking movement in the CCTV video in real time. At this time, the control unit first extracts the person's shape and movement pattern from the video. For this purpose, deep learning-based object detection algorithms and time series data analysis algorithms can be utilized. Meanwhile, if the detected movement matches the 'shape of a person walking', the video data of the time section in which the movement occurred is separated, the separated video data goes through a compression and encoding process to optimize network bandwidth, and the management server (500 ) is transmitted in real time.
한편, 본 발명의 일 실시예에 따른 제어부는 비정상적인 움직임이 감지될 경우 알람을 발생시키는 기능도 포함할 수 있다. 예컨대, '사람이 넘어지는 모양'이나 '달리는 모양'과 같은 비정상적인 움직임을 감지하면 관리서버(500)나 연결된 다른 장치로 경고 메시지를 전송하여 신속한 대응이 가능하도록 구현될 수 있다.Meanwhile, the control unit according to an embodiment of the present invention may also include a function to generate an alarm when abnormal movement is detected. For example, when abnormal movements such as 'a person falling' or 'a person running' are detected, a warning message can be sent to the management server 500 or another connected device to enable a quick response.
본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템은 관리서버(500)와 네트워크적으로 연결된 컴퓨팅장치(400)를 포함한다. The linked artificial intelligence-based CCTV system according to an embodiment of the present invention includes a management server 500 and a computing device 400 network-connected.
본 발명의 일 실시예에 따른 컴퓨팅장치(400)는 예컨대, 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅, 데이터 처리를 중앙 서버가 아닌 데이터가 발생하는 주변(edge)에서 데이터를 처리하는 에지 컴퓨팅 환경 등을 포함하며, 기재된 것만으로 구성이 한정되는 것은 아니다.Computing device 400 according to an embodiment of the present invention may be, for example, a personal computer, server computer, handheld or laptop device, mobile device (mobile phone, PDA, media player, etc.), multiprocessor system, consumer electronic device, mini It includes computers, mainframe computers, distributed computing including any of the above-mentioned systems or devices, and edge computing environments where data is processed at the edge where the data is generated rather than at a central server. The composition is not limited.
본 발명의 일 실시예에 따른 컴퓨팅장치(400)는 적어도 하나의 프로세서 및 메모리를 포함할 수 있다. 여기서, 프로세서은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다.Computing device 400 according to an embodiment of the present invention may include at least one processor and memory. Here, the processor may include, for example, a central processing unit (CPU), a graphics processing unit (GPU), a microprocessor, an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), etc., and may include a plurality of You can have a core.
메모리는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅장치(400)는 추가적인 스토리지를 포함할 수 있다. 스토리지는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지에 저장된 컴퓨터 판독 가능한 명령은 프로세서에 의해 실행되기 위해 메모리에 로딩될 수 있다.The memory may be volatile memory (eg, RAM, etc.), non-volatile memory (eg, ROM, flash memory, etc.), or a combination thereof. Additionally, computing device 400 may include additional storage. Storage includes, but is not limited to, magnetic storage, optical storage, etc. Computer-readable instructions for implementing one or more embodiments disclosed herein may be stored in the storage, and other computer-readable instructions for implementing an operating system, application program, etc. may also be stored. Computer-readable instructions stored in storage may be loaded into memory for execution by a processor.
또한, 컴퓨팅장치(400)는 사용자입력부 및 출력 장치를 포함할 수 있다. 사용자입력부는 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 장치는 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 장치는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 사용자입력부 또는 출력 장치로서 사용할 수도 있다. 또한, 컴퓨팅 장치는 컴퓨팅 장치가 다른 디바이스와 통신할 수 있게 하는 통신모듈을 포함할 수 있다. 여기서, 통신모듈은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 장치를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 통신모듈은 유선 접속 또는 무선 접속을 포함할 수 있다.Additionally, the computing device 400 may include a user input unit and an output device. The user input unit may include, for example, a keyboard, mouse, pen, voice input device, touch input device, infrared camera, video input device, or any other input device. Additionally, the output device may include, for example, one or more displays, speakers, printers, or any other output devices. Additionally, the computing device may use an input device or output device provided in another computing device as a user input unit or output device. Additionally, the computing device may include a communication module that allows the computing device to communicate with other devices. Here, the communication module may include a modem, network interface card (NIC), integrated network interface, radio frequency transmitter/receiver, infrared port, USB connection, or other interface for connecting the computing device to other computing devices. The communication module may include a wired connection or a wireless connection.
컴퓨팅장치(400)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속 (PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크에 의해 상호 접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.Each component of the computing device 400 may be connected by various interconnections such as buses (e.g., peripheral component interconnect (PCI), USB, firmware (IEEE 1394), optical bus structure, etc.), They may also be interconnected by a network. As used herein, terms such as "component", "system", etc. generally refer to computer-related entities that are hardware, a combination of hardware and software, software, or software in execution.
본 발명의 일 실시예에 따른 컴퓨팅장치(400)는 인공지능 기반 CCTV(100)로부터 수신된 복수의 데이터를 표시하도록 하는 디스플레이부를 포함할 수 있으며, 디스플레이부는 디스플레이를 구현하는 방식은 한정되지 않으며, 예컨대 액정(Liquid Crystal), 플라즈마(Plasma), 발광 다이오드(Light-Emitting Diode), 유기발광 다이오드(Organic Light-Emitting Diode), 면전도 전자총(Surface-Conduction Electron-Emitter), 탄소 나노 튜브(Carbon Nano-Tube), 나노 크리스탈(Nano-Crystral) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 디스플레이부는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동부 등을 포함한다. 한편, 디스플레이부는 백라이트유닛 없이, 자발광 소자인 OLED 패널로 구현될 수 있다. The computing device 400 according to an embodiment of the present invention may include a display unit that displays a plurality of data received from the artificial intelligence-based CCTV 100, and the method of implementing the display of the display unit is not limited. For example, Liquid Crystal, Plasma, Light-Emitting Diode, Organic Light-Emitting Diode, Surface-Conduction Electron-Emitter, Carbon Nanotube -Tube), Nano-Crystal, etc. can be implemented in various display methods. In the case of a liquid crystal display unit, the display unit includes a liquid crystal display panel, a backlight unit that supplies light to the liquid crystal display panel, and a panel driver that drives the liquid crystal display panel. Meanwhile, the display unit can be implemented as an OLED panel, which is a self-luminous device, without a backlight unit.
본 발명의 일 실시예에 따른 제어부는 사용자입력부로부터 인공지능 기반 CCTV(100)가 복수의 모드 중 데이터 저장에 대한 제1모드로 영상데이터를 수집하도록 하는 제1사용자입력을 수신하면, 제1사용자입력에 대응하여 제1모드로 복수의 CCTV(200) 및 상기 카메라로부터 수신되는 복수의 영상데이터를 저장할 수 있다. When the control unit according to an embodiment of the present invention receives a first user input from the user input unit that causes the artificial intelligence-based CCTV 100 to collect image data in the first mode for data storage among the plurality of modes, the first user In response to the input, a plurality of CCTVs 200 and a plurality of image data received from the cameras can be stored in the first mode.
보다 구체적으로, 본 발명의 일 실시예에 따른 제어부는 제1사용자입력이 수신되면, 연동된 복수의 CCTV(200) 내 마련된 카메라들로부터 영상데이터를 실시간으로 획득하며, 이때 각각의 CCTV 내 카메라로부터 입력되는 영상데이터가 별도의 중앙 서버나 저장장치로 바로 전송되는 것이 아니라, 인공지능 기반 CCTV(100)에 내장된 저장부에 저장된다. 이때, 인공지능 기반 CCTV(100)의 제어부는 영상데이터에 포함된 다양한 정보를 분석하고 인식하기 위한 알고리즘을 실행하며, 예컨대, 움직임 패턴, 특정 객체의 식별, 빛의 변화 등 다양한 변수들을 실시간으로 분석하여 필요한 데이터만을 추출하고 분류하며, 이렇게 처리된 데이터는 저장부에 저장되며, 필요에 따라 통제센터의 관리서버(500)로 전송될 수 있다.More specifically, when the first user input is received, the control unit according to an embodiment of the present invention acquires video data in real time from cameras provided in a plurality of linked CCTVs 200, and at this time, from each camera in the CCTV. The input video data is not directly transmitted to a separate central server or storage device, but is stored in the storage unit built into the artificial intelligence-based CCTV (100). At this time, the control unit of the artificial intelligence-based CCTV (100) executes an algorithm to analyze and recognize various information included in the video data, and analyzes various variables in real time, such as movement patterns, identification of specific objects, and changes in light. Only necessary data is extracted and classified, and the processed data is stored in the storage unit and, if necessary, can be transmitted to the management server 500 of the control center.
이를 통해, 통제센터 내의 관리서버(500)에서 복수의 CCTV(200)로부터 들어오는 대량의 영상데이터를 직접 처리하거나 저장하는 부담 없이, 이미 인공지능 기반 CCTV(100)에서 처리되고 분류된 데이터만을 관리하면 되므로, 서버의 저장장치나 프로세서의 증설, 그리고 관련 인프라의 확장에 따른 비용을 크게 절감될 수 있다. Through this, the management server 500 in the control center can manage only the data that has already been processed and classified in the artificial intelligence-based CCTV 100 without the burden of directly processing or storing large amounts of video data coming from multiple CCTVs 200. Therefore, costs associated with expansion of server storage devices or processors, and expansion of related infrastructure can be greatly reduced.
한편, 본 발명의 일 실시예에 따른 인공지능 기반 CCTV(100)는 복잡한 알고리즘에 기초하여 동작될 수 있으며, 예컨대, 특정 지역에 있는 다수의 사람들의 움직임을 분석하여, 특이한 움직임 패턴을 갖는 개체나 사람을 식별하며, 또한, 주변 환경의 변화, 예컨대 날씨의 변동, 주변 조명의 변화 등도 인식하여, 이에 따른 영상의 품질 조정도 자동으로 수행할 수 있다. Meanwhile, the artificial intelligence-based CCTV 100 according to an embodiment of the present invention may be operated based on a complex algorithm, for example, by analyzing the movements of a large number of people in a specific area, It can identify people and also recognize changes in the surrounding environment, such as changes in weather and changes in surrounding lighting, and automatically adjust the quality of the image accordingly.
일 실시예로, 한 쇼핑몰의 주차장에서 이 인공지능 기반 CCTV 시스템이 구현되었다면, 쇼핑몰 내의 수백 대의 CCTV 카메라 중 특정 카메라가 차량의 불법 주차를 영상을 촬상하면, 인공지능 기반 CCTV(100)는 이를 분석하여 차량 번호판을 인식하고, 불법 주차된 차량의 위치와 번호판 정보를 저장한다. 이렇게 저장된 정보는 필요한 경우 통제센터의 관리서버(500)로 전송되어, 경비원에게 알림을 보내거나 해당 차량의 주인에게 경고 메시지를 전송하는 등의 조치를 취할 수 있다.As an example, if this artificial intelligence-based CCTV system is implemented in the parking lot of a shopping mall, when a specific camera among hundreds of CCTV cameras in the shopping mall captures a video of illegal parking of a vehicle, the artificial intelligence-based CCTV 100 analyzes the video. This recognizes vehicle license plates and stores the location and license plate information of illegally parked vehicles. If necessary, the stored information can be transmitted to the control center's management server 500 to take actions such as sending a notification to a security guard or sending a warning message to the owner of the vehicle.
더 나아가, 불법 주차 외에도 주차장 내의 이상 행동을 감지하는데 활용될 수 있다. 예컨대, 주차장에서 길게 주차된 차량 주변에 사람들이 모여있거나, 특정 차량이 여러 번 출입하는 등의 행동 패턴을 인식하면, 이를 통제센터에 알리거나 보안 요원에게 경고를 보낼 수 있다. 이처럼 인공지능 기반 CCTV(100)는 단순한 영상 기록 외에도 다양한 상황에서의 대응 능력을 갖추고 있어, 보안과 효율성을 동시에 높일 수 있다. Furthermore, it can be used to detect abnormal behavior in parking lots in addition to illegal parking. For example, if a behavior pattern is recognized, such as people gathering around long-parked vehicles in a parking lot or a specific vehicle entering and exiting multiple times, this can be notified to the control center or an alert can be sent to security personnel. In this way, the artificial intelligence-based CCTV (100) has the ability to respond to various situations in addition to simple video recording, thereby improving security and efficiency at the same time.
본 발명의 일 실시예에 따른 제1모드는 제어부가 복수의 CCTV(200)로부터 수신된 제1영상데이터를 저장부에 저장하되, 피사체 및 상기 무빙패턴이 식별된 구간은 제1영상데이터의 원본데이터로 제1화질로 저장하며, 피사체 및 무빙패턴이 식별되지 않은 구간은 제1화질보다 품질이 낮은 제2화질로 저장하도록 하는 것이다. In the first mode according to an embodiment of the present invention, the controller stores the first image data received from a plurality of CCTVs 200 in the storage, and the section in which the subject and the moving pattern are identified is the original of the first image data. Data is saved in first image quality, and sections in which subjects and moving patterns are not identified are saved in second image quality, which is lower quality than the first image quality.
즉, 본 발명의 일 실시예에 따른 제1모드의 작동 방식은 효율적인 저장 공간 활용을 목적으로 한다. 예컨대, 제어부는 복수의 CCTV(200)로부터 수신되는 영상데이터 중에서 사람, 차량 또는 특정 동물과 같은 피사체가 포착되거나 무빙패턴이 감지되는 시점을 식별하며, 이러한 시간구간은 원본 데이터의 최대 해상도와 색상 깊이로 저장되어, 세부적인 정보나 높은 화질의 영상이 필요한 경우에 활용될 수 있도록 하며, 반면 피사체나 무빙패턴이 감지되지 않는 시점의 영상데이터는 필요한 최소한의 화질 정보만을 보존하고 나머지는 압축하거나 제거하여 저장 공간을 절약한다. 예컨대, 제1화질이 4K 해상도일 경우, 제2화질은 720p나 그 이하의 해상도로 저장될 수 있고, 이를 통해 전반적인 저장 용량을 줄일 수 있으며, 저장부의 수명도 연장시킬 수 있다.That is, the operation method of the first mode according to an embodiment of the present invention aims to utilize storage space efficiently. For example, the control unit identifies the point in time when a subject such as a person, vehicle, or specific animal is captured or a moving pattern is detected among the video data received from the plurality of CCTVs 200, and this time period determines the maximum resolution and color depth of the original data. It is stored as a video file so that it can be used when detailed information or high-quality video is needed. On the other hand, video data at a time when a subject or moving pattern is not detected is stored only at the minimum necessary quality information and the rest is compressed or removed. Saves storage space. For example, if the first quality is 4K resolution, the second quality can be stored at 720p or lower resolution, which can reduce the overall storage capacity and extend the life of the storage unit.
또한, 본 발명의 일 실시예에 따른 제어부는 사용자가 특정 시점의 영상을 검색하거나 회상할 때, 원본 해상도의 영상데이터와 압축 해상도의 영상데이터를 구분하여 제공하며, 따라서 중요한 이벤트나 사건이 발생한 시점의 영상은 높은 화질로 확인이 가능하며, 그 외의 일상적인 상황에서는 낮은 화질의 영상으로도 충분히 상황을 파악할 수 있다. 이러한 방식으로 제1모드는 저장 공간의 효율성과 영상의 화질을 동시에 최적화한다.In addition, the control unit according to an embodiment of the present invention provides the original resolution image data and the compressed resolution image data separately when the user searches for or recalls an image at a specific point in time, and therefore provides the image data at the original resolution and when an important event or incident occurred. The video can be viewed in high quality, and in other everyday situations, the situation can be sufficiently understood even with low quality video. In this way, the first mode simultaneously optimizes storage space efficiency and video quality.
한편, 본 발명의 일 실시예에 따른 연동형 인공지능 기반 CCTV 시스템에 있어서, 인공지능 기반 CCTV(100) 외에도 카메라 기능이 포함되지 않고, 일반적 CCTV와 연결되어 상술한 인공지능 기반 CCTV(100)의 기능과 동일한 역할을 하는 영상처리장치(300)를 통해 구현될 수 있다. Meanwhile, in the linked artificial intelligence-based CCTV system according to an embodiment of the present invention, in addition to the artificial intelligence-based CCTV 100, a camera function is not included, and the above-described artificial intelligence-based CCTV 100 is connected to a general CCTV. It can be implemented through the image processing device 300 that performs the same function.
보다 구체적으로, 본 발명의 일 실시예에 따른 영상처리장치(300)는 특정한 카메라 하드웨어 내부에 탑재되지 않는 독립적인 하드웨어 혹은 소프트웨어 모듈로서, 영상 데이터의 처리 및 분석을 위한 기능을 수행한다. 기본적으로, 이 장치는 다양한 영상처리 알고리즘과 프로토콜을 내장하고 있어, 다양한 유형의 CCTV와 연동이 가능하다.More specifically, the image processing device 300 according to an embodiment of the present invention is an independent hardware or software module that is not mounted inside specific camera hardware, and performs functions for processing and analyzing image data. Basically, this device has various image processing algorithms and protocols built in, so it can be linked with various types of CCTV.
한편, 본 발명의 일 실시예에 따른 영상처리장치(300)는 디지털 신호 프로세서(DSP), 그래픽 처리 장치(GPU), 또는 전용 ASIC(Application-Specific Integrated Circuit)와 같은 특수한 하드웨어 칩을 포함할 수 있으며, 이를 통해 고속의 영상 처리 및 특히 실시간 분석과 같은 높은 처리 능력이 요구되는 작업을 수행할 수 있다. Meanwhile, the image processing device 300 according to an embodiment of the present invention may include a special hardware chip such as a digital signal processor (DSP), a graphics processing unit (GPU), or a dedicated application-specific integrated circuit (ASIC). This allows you to perform tasks that require high processing power, such as high-speed image processing and especially real-time analysis.
구체적인 실시예로, 본 발명의 일 실시예에 따른 영상처리장치(300)는 4K UHD 영상을 실시간으로 처리할 수 있는 고성능 GPU를 탑재하고 있으며, 이를 위한 전용 쿨링 시스템 및 최소 16GB의 램을 갖추고 있으며, 또한 영상의 명암, 색상, 텍스처 및 움직임 패턴을 분석하고, 특정 이벤트나 사물을 식별하기 위한 딥러닝 알고리즘을 실행할 수 있고, 인터페이스 포트를 통해 다양한 CCTV와 연결될 수 있으며, 외부에서 영상 데이터 스트림을 수신하여 처리한 후 결과를 인공지능 기반 CCTV(100)로 전송하도록 구현될 수 있다. In a specific embodiment, the image processing device 300 according to an embodiment of the present invention is equipped with a high-performance GPU capable of processing 4K UHD images in real time, and is equipped with a dedicated cooling system and at least 16GB of RAM for this purpose. , It can also analyze the contrast, color, texture and movement patterns of the video, run deep learning algorithms to identify specific events or objects, and can be connected to various CCTVs through the interface port and receive video data streams from the outside. After processing, the results can be implemented to be transmitted to the artificial intelligence-based CCTV (100).
한편, 본 발명의 일 실시예에 따른 제어부는 사용자입력에 기초하여 복수의 모드 중 제2모드로 복수의 CCTV(200)로부터 수신된 제2영상데이터를 분류 및 처리할 수 있다. Meanwhile, the control unit according to an embodiment of the present invention may classify and process the second image data received from the plurality of CCTVs 200 in a second mode among the plurality of modes based on user input.
즉, 본 발명의 일 실시예에 따른 제2모드는 저조도나 특정 환경 조건에서의 영상 데이터를 최적화하도록 하며, 제2모드에서, 영상처리장치(300)는 저조도 환경에서 발생할 수 있는 노이즈 제거 및 영상의 명도와 대비를 자동으로 조정하도록 구현될 수 있다. 또한, 비나 눈과 같은 기상 조건에서 발생하는 왜곡을 보정하며, CCTV의 렌즈로 인한 왜곡 또한 최소화한다. 이와 함께, 움직이는 객체에 대한 동적인 추적 기능을 통해, 해당 객체가 화면 밖으로 벗어나더라도 계속해서 추적할 수 있다.That is, the second mode according to an embodiment of the present invention optimizes image data in low-light or specific environmental conditions, and in the second mode, the image processing device 300 removes noise that may occur in a low-light environment and optimizes the image. It can be implemented to automatically adjust the brightness and contrast. In addition, it corrects distortion that occurs in weather conditions such as rain or snow, and also minimizes distortion caused by CCTV lenses. In addition, the dynamic tracking function for moving objects allows continued tracking even if the object leaves the screen.
한편, 본 발명의 일 실시예에 따른 제2모드는 영상의 시간적 분석을 수행할 수 있는데, 예컨대, 제2모드를 활성화한 상태에서 CCTV는 주차장의 주차 패턴, 건물 출입구에서의 특정 시간대별 인원 흐름, 또는 공장에서의 특정 기계 작동 패턴 등을 식별하고 분석하며, 이를 통해, 특정 시간대 별 주차 패턴에 기초하여 주차장 출입문을 개폐하도록 할 수 있고, 교통에 있어서 특정 시간대에 정체가 발생하는 것이 식별되면, 정체가 없는 도로의 신호등의 차량출입 신호의 시간을 줄이고 정체가 많은 도로의 신호등의 차량출입 신호의 시간을 늘리도록 제어할 수 있고, 이를 통해 효과적인 리소스 배포나 경보 설정, 교통제어 등을 도와줄 수 있는 통계적 데이터를 제공할 수 있다. Meanwhile, the second mode according to an embodiment of the present invention can perform temporal analysis of video. For example, with the second mode activated, CCTV monitors parking patterns in parking lots and the flow of people at specific times at the building entrance. , or by identifying and analyzing specific machine operation patterns at the factory, and through this, parking lot doors can be opened and closed based on parking patterns at specific times. When it is identified that traffic congestion occurs at specific times, It can be controlled to reduce the vehicle entry/exit signal time of traffic lights on roads without congestion and increase the vehicle entry/exit signal time of traffic lights on heavily congested roads. This can help with effective resource distribution, alarm setting, and traffic control. Statistical data can be provided.
한편, 본 발명의 일 실시예에 따른 복수의 모드 중 제3모드는 복수의 CCTV(200)로부터 수신된 제3영상데이터에 대하여 음성 및 음향 정보를 분석하는 것에 중점을 두며, 이때 영상 데이터와 병행하여 얻어진 오디오 데이터의 분석을 통해 더욱 정확한 사건 및 상황 판단을 가능하게 한다.Meanwhile, the third mode among the plurality of modes according to an embodiment of the present invention focuses on analyzing voice and sound information for the third video data received from the plurality of CCTVs 200, and at this time, the third mode is used in parallel with the video data. Through analysis of the obtained audio data, more accurate judgment of events and situations is possible.
일 예로, 본 발명에 따른 영상처리장치(300)는 제3모드에서 음성 및 음향 정보를 추출하여, 특정 소리나 주파수 패턴을 감지하며, 예컨대, 깨진 유리 소리, 큰 소리의 폭발, 비명 소리와 같은 특이한 소리를 감지하면 이에 대한 알림을 즉시 관제서버를 통해 제공하며, 또한, 음성 인식 기능을 통해 특정 단어나 문장을 인식하고, 이를 바탕으로 특정 상황을 판단할 수 있다. 예컨대, 제3모드를 활성화한 상태에서 CCTV는 박물관 내에서의 소음 분석을 통해 특정 전시물 앞에서의 관람객들의 반응을 파악하며 또는 학교나 사무실에서의 음성 패턴을 분석하여 특정 상황, 예를 들어 비상 상황이나 특정 이벤트를 빠르게 인식하고 대응할 수 있다. As an example, the image processing device 300 according to the present invention extracts voice and sound information in the third mode and detects a specific sound or frequency pattern, such as the sound of broken glass, a loud explosion, or a scream. When an unusual sound is detected, a notification about it is immediately provided through the control server. In addition, the voice recognition function can recognize specific words or sentences and determine a specific situation based on this. For example, with the third mode activated, CCTV analyzes noise in a museum to determine the reactions of visitors in front of specific exhibits, or analyzes voice patterns in schools or offices to detect specific situations, such as emergency situations. You can quickly recognize and respond to specific events.
한편, 본 발명의 일 실시예에 따른 제어부는 제1영상데이터에서 피사체의 무빙패턴이 기 설정된 이상감지도를 초과한 경우에 제1영상데이터의 전체를 원본데이터인 제1화질로 저장하며, 이상감지도 이하인 경우에 피사체만 제1화질로 저장하고 나머지는 영역은 제2화질로 저장하도록 제어할 수 있다. 이를 통해 보다 효율적인 저장공간 관리를 할 수 있다.Meanwhile, the control unit according to an embodiment of the present invention stores the entire first image data as the first image quality, which is the original data, when the moving pattern of the subject in the first image data exceeds the preset abnormality detection degree. If the detection level is lower than the detection level, it can be controlled to save only the subject in first image quality and the remaining areas in second image quality. This allows for more efficient storage space management.
보다 구체적으로, 본 발명에 따른 제어부는 상기한 방식을 통해 영상의 중요한 부분과 그렇지 않은 부분을 구분하여 저장, 이에 따라 저장장치의 저장 공간을 보다 효율적으로 활용하고, 저장 공간의 낭비를 최소화하도록 구현될 수 있다. 예컨대, 제어부는 영상 내에서 움직임이 감지된 픽셀 또는 영역에 대하여 고화질로 저장하며, 정적인 또는 움직임이 없는 영역에 대해서는 저화질로 저장하며, 이를 통해 긴 시간동안 움직임이 없는 배경에서의 리소스 활용도를 향상시킬 수 있다. More specifically, the control unit according to the present invention is implemented to distinguish important and non-important parts of the image and store them through the above-mentioned method, thereby utilizing the storage space of the storage device more efficiently and minimizing the waste of storage space. It can be. For example, the control unit stores pixels or areas where movement is detected in the image in high quality, and stores static or motionless areas in low quality, thereby improving resource utilization in backgrounds that do not move for a long time. You can do it.
또한, 본 발명의 일 실시예에 따른 제어부는 사용자가 직접 이상감지도의 기준을 설정할 수 있게 하여, 특정 환경 또는 상황에 맞게 민감도를 조절할 수 있다. 이를 통해, 예를 들어, 특정 시간대에는 민감도를 높여 더욱 정밀한 움직임을 감지하고, 다른 시간대에는 민감도를 낮춰 저장 공간을 절약할 수 있다.Additionally, the control unit according to an embodiment of the present invention allows the user to directly set a standard for abnormality detection, thereby adjusting the sensitivity to suit a specific environment or situation. This allows, for example, to detect more precise movements by increasing sensitivity at certain times, and to save storage space by lowering sensitivity at other times.
한편, 본 발명의 일 실시예에 따른 이상감지도는 기 설정된 기준 하에 결정될 수 있는데, 예컨대, 영상 프레임 사이에서 움직임을 보이는 픽셀의 개수를 카운트한다. 예를 들어, 제1영상데이터의 전체 프레임 내에서 전체 픽셀 중 5% 이상이 움직임을 보일 때, 이를 '상당한 움직임'으로 판단하여 이를 이상감지도의 기준으로 결정할 수 있으며, 연속된 두 프레임 사이의 움직이는 픽셀의 평균 이동 거리를 측정하여, 평균 이동 거리가 10픽셀 이상일 경우, 빠른 움직임으로 판단하고 이상감지도의 기준으로 결정할 수 있으며, 연속된 프레임들 사이에서 움직임의 방향을 분석하여 복수의 CCTV(200)가 출입구를 감시 중일 때, 피사체의 움직임이 출입구 방향이 아닌, 즉 출입구에서 벗어나는 방향으로 이루어진다면, 이를 이상한 패턴으로 간주하여 이상감지도의 기준으로 결정할 수 있다. 한편, 상술한 예시를 모두 종합하여, 3개의 기준 중 적어도 2개 이상이 감지되면 이상감지도의 기준을 초과하는 것으로 판단할 수 있다. Meanwhile, the abnormality detection degree according to an embodiment of the present invention may be determined based on a preset standard, for example, counting the number of pixels that show movement between image frames. For example, when more than 5% of the total pixels within the entire frame of the first video data show movement, this can be judged as 'significant motion' and determined as the standard for anomaly detection, and the By measuring the average moving distance of moving pixels, if the average moving distance is more than 10 pixels, it is judged to be fast movement and can be determined as a standard for abnormality detection. By analyzing the direction of movement between consecutive frames, multiple CCTV (CCTV) When 200) is monitoring a doorway, if the subject's movement is not in the direction of the doorway, that is, in a direction away from the doorway, this can be regarded as an abnormal pattern and determined as a standard for abnormality detection. Meanwhile, by combining all of the above-described examples, if at least two of the three criteria are detected, it can be determined that the abnormality detection criteria are exceeded.
한편, 본 발명의 일 실시예에 따른 이상감지도는 보다 객관적이며, 빠른 동작 수행을 위해 [수학식1]에 기초하여 결정될 수 있다. Meanwhile, the abnormality detection degree according to an embodiment of the present invention is more objective and can be determined based on [Equation 1] for faster operation performance.
[수학식1][Equation 1]
상기 [수학식1]에서 SA는 이상감지도를 의미하며, v는 피사체의 움직임의 속도(픽셀/프레임)을 의미하며, d는 움직임의 방향성(0에서 1까지로 설정되며, 1에 가까울수록 올바른 방향과 일치), a는 전체 프레임에서 피사체가 움직이는 픽셀의 비율, f는 피사체의 움직임의 빈도(프레임/초), p는 피사체 자체의 크기(픽셀)을 의미하며, 여기서 로그함수는 v의 값이 크게 증가할 경우, 이 증가의 폭을 상대적으로 줄여줌으로써 피사체가 과도하게 큰 움직임의 속도가 발생한 경우, 이를 그대로 반영하면 다른 변수의 영향력이 상대적으로 줄어들 수 있으므로, 이를 조정하기 위함이며, 지수함수는 a와 f의 값에 따라 그 결과가 급격하게 증가하도록 하여, 특정 조건에서의 이상 행동의 유효성이 높은 것을 반영하기 위함이며, 구체적으로, 특정 영역에서 빈번하게 움직임이 감지되는 경우, 이는 도난이나 불법 행위 등의 가능성이 크므로, 지수함수를 통해 이상행동에 대한 이상감지도가 급격하게 증가하도록 하기 위함이다. 즉, 본 발명의 일 실시예에 따른 로그와 지수함수의 사용은 특정 상황에 적합하게 설계되도록 하여, 보다 객관적인 이상감지도 추산이 이루어지도록 하는 효과가 있다.In [Equation 1], SA refers to the abnormality detection map, v refers to the speed of movement of the subject (pixel/frame), and d refers to the direction of movement (set from 0 to 1, the closer to 1). corresponds to the correct direction), a is the proportion of pixels in which the subject moves in the entire frame, f is the frequency of the subject's movement (frames/sec), p is the size of the subject itself (pixels), where the logarithm of v is If the value increases significantly, the width of this increase is relatively reduced, so if the subject has an excessively large movement speed, the influence of other variables may be relatively reduced if this is reflected, so this is adjusted. The function causes the result to increase rapidly depending on the values of a and f, to reflect the high effectiveness of abnormal behavior under certain conditions. Specifically, when movement is frequently detected in a specific area, this is a sign of theft. Since there is a high possibility of illegal activity, etc., the purpose is to rapidly increase abnormality detection for abnormal behavior through an exponential function. In other words, the use of logarithmic and exponential functions according to an embodiment of the present invention has the effect of allowing a more objective abnormality detection estimate to be made by designing it to be suitable for a specific situation.
100: 인공지능 기반 CCTV
200: 복수의 CCTV
300: 영상처리장치
400: 컴퓨팅장치
500: 관리서버100: Artificial intelligence-based CCTV
200: Multiple CCTVs
300: Image processing device
400: Computing device
500: Management server
Claims (3)
인공지능 기반 CCTV를 포함하며,
상기 인공지능 기반 CCTV와 유무선으로 네트워크적으로 연결된 관리서버를 포함하며,
상기 인공지능 기반 CCTV는
영상을 촬상하는 렌즈를 포함하는 카메라;
상기 카메라에 전원을 공급하는 전원공급부;
복수의 CCTV와 네트워크적으로 연결되어 데이터를 송수신하는 통신부;
복수의 CCTV로부터 및 상기 카메라로부터 촬상된 영상데이터를 저장하는 저장부; 및
상기 인공지능 기반 CCTV의 동작을 제어하는 제어부;를 포함하며,
상기 제어부는 인공지능 모듈에 기초하여 상기 영상데이터에서 기 설정된 피사체 또는 상기 피사체에 대응하여 기 설정된 무빙패턴 중 어느 하나를 식별하면 상기 영상데이터에서 식별된 상기 피사체가 포착된 시간구간의 영상데이터를 상기 관리서버에 송신하며,
상기 관리서버와 네트워크적으로 연결된 컴퓨팅장치를 더 포함하며,
상기 컴퓨팅장치는 사용자입력을 위한 사용자입력부; 및 상기 인공지능 기반 CCTV로부터 수신된 복수의 데이터를 표시하도록 하는 디스플레이부;를 포함하며,
상기 제어부는 상기 사용자입력부로부터 상기 인공지능 기반 CCTV가 복수의 모드 중 데이터 저장에 대한 제1모드로 상기 영상데이터를 수집하도록 하는 제1사용자입력을 수신하면,
상기 제1사용자입력에 대응하여 상기 제1모드로 상기 복수의 CCTV 및 상기 카메라로부터 수신되는 복수의 영상데이터를 저장하며,
상기 제1모드는 상기 복수의 CCTV로부터 수신된 제1영상데이터를 상기 저장부에 저장하되, 상기 피사체 및 상기 무빙패턴이 식별된 구간은 상기 제1영상데이터의 원본데이터로 제1화질로 저장하며, 상기 피사체 및 상기 무빙패턴이 식별되지 않은 구간은 상기 제1화질보다 품질이 낮은 제2화질로 저장하며,
상기 제어부는 상기 제1영상데이터에서 상기 피사체의 무빙패턴이 기 설정된 이상감지도를 초과한 경우에 상기 제1영상데이터의 전체를 원본데이터인 상기 제1화질로 저장하며, 상기 이상감지도 이하인 경우에 상기 피사체만 상기 제1화질로 저장하고 나머지는 영역은 상기 제2화질로 저장하도록 제어하며,
상기 제어부는 상기 제1영상데이터의 전체 프레임 내에서 전체 픽셀 중 5% 이상이 움직임을 보일 때, 연속된 두 프레임 사이의 움직이는 픽셀의 평균 이동 거리를 측정한 평균 이동 거리가 10픽셀 이상일 때 및 피사체의 움직임이 출입구에서 벗어나는 방향으로 감지된 때 중 적어도 2이상이 감지되면 상기 이상감지도를 초과하는 것으로 판단하는 것을 특징으로 하는 연동형 인공지능 기반 CCTV 시스템.In the linked artificial intelligence-based CCTV system,
Includes artificial intelligence-based CCTV,
It includes a management server connected to the artificial intelligence-based CCTV and a wired or wireless network,
The artificial intelligence-based CCTV is
A camera including a lens for capturing images;
A power supply unit that supplies power to the camera;
A communication unit that is network-connected to a plurality of CCTVs and transmits and receives data;
a storage unit that stores image data captured from a plurality of CCTVs and from the camera; and
It includes a control unit that controls the operation of the artificial intelligence-based CCTV,
When the control unit identifies either a preset subject or a preset moving pattern corresponding to the subject in the image data based on an artificial intelligence module, the control unit generates the image data of the time section in which the subject identified in the image data was captured. Sent to the management server,
It further includes a computing device network connected to the management server,
The computing device includes a user input unit for user input; And a display unit that displays a plurality of data received from the artificial intelligence-based CCTV,
When the control unit receives a first user input from the user input unit that causes the artificial intelligence-based CCTV to collect the image data in a first mode for data storage among a plurality of modes,
Stores a plurality of image data received from the plurality of CCTVs and the cameras in the first mode in response to the first user input,
The first mode stores first image data received from the plurality of CCTVs in the storage unit, and stores the section in which the subject and the moving pattern are identified as original data of the first image data in first image quality. , the section in which the subject and the moving pattern are not identified is stored in a second image quality that is lower in quality than the first image quality,
The control unit stores the entire first image data as the first image quality, which is original data, when the moving pattern of the subject in the first image data exceeds a preset anomaly detection degree, and when the anomaly detection degree is lower than the anomaly detection degree. Controlling so that only the subject is saved in the first image quality and the remaining areas are saved in the second image quality,
The control unit detects movement when more than 5% of all pixels within the entire frame of the first video data show movement, when the average moving distance measured by measuring the average moving distance of moving pixels between two consecutive frames is more than 10 pixels, and when the subject A linked artificial intelligence-based CCTV system characterized in that it is determined that the abnormality detection level is exceeded when at least two of the times when movement is detected in a direction away from the entrance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230148260A KR102667465B1 (en) | 2023-10-31 | 2023-10-31 | Linked artificial intelligence-based CCTV system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230148260A KR102667465B1 (en) | 2023-10-31 | 2023-10-31 | Linked artificial intelligence-based CCTV system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102667465B1 true KR102667465B1 (en) | 2024-05-20 |
Family
ID=91282533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230148260A KR102667465B1 (en) | 2023-10-31 | 2023-10-31 | Linked artificial intelligence-based CCTV system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102667465B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140124497A (en) * | 2013-04-17 | 2014-10-27 | (주)정직한기술 | Monitoring camera system for transmitting image of which picture quality is varied adpatively based event |
| KR20220000226A (en) * | 2020-06-25 | 2022-01-03 | 주식회사 자비스넷 | A system for providing a security surveillance service based on edge computing |
-
2023
- 2023-10-31 KR KR1020230148260A patent/KR102667465B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140124497A (en) * | 2013-04-17 | 2014-10-27 | (주)정직한기술 | Monitoring camera system for transmitting image of which picture quality is varied adpatively based event |
| KR20220000226A (en) * | 2020-06-25 | 2022-01-03 | 주식회사 자비스넷 | A system for providing a security surveillance service based on edge computing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10529206B2 (en) | Security devices and associated audio/video communication methods | |
| US10708496B2 (en) | Analytics based power management for cameras | |
| CN109040709B (en) | Video monitoring method and device, monitoring server and video monitoring system | |
| US9615063B2 (en) | Method and apparatus for visual monitoring | |
| US20150161449A1 (en) | System and method for the use of multiple cameras for video surveillance | |
| US20160210759A1 (en) | System and method of detecting moving objects | |
| US10657783B2 (en) | Video surveillance method based on object detection and system thereof | |
| WO2019014355A1 (en) | Pre-roll image capture implemented by a power-limited security device | |
| CN107123242A (en) | A kind of intelligent building Video Surveillance Alarm System | |
| Fawzi et al. | Embedded real-time video surveillance system based on multi-sensor and visual tracking | |
| US10586130B2 (en) | Method, system and apparatus for providing access to videos | |
| TW202006676A (en) | Computer system and resource arrangement method thereof | |
| EP3559858A1 (en) | Rgbd sensing based object detection system and method thereof | |
| CN201967042U (en) | Movable monitoring device | |
| KR102667465B1 (en) | Linked artificial intelligence-based CCTV system | |
| KR102033903B1 (en) | Monitering System for Secuirty and Driving Method Thereof | |
| US11792592B2 (en) | Methods of controlling a digital display based on sensor data, and related systems | |
| US20230419505A1 (en) | Automatic exposure metering for regions of interest that tracks moving subjects using artificial intelligence | |
| KR102421043B1 (en) | Apparatus for Processing Images and Driving Method Thereof | |
| KR102193497B1 (en) | A Safety Network System Using Automatic and Remote Control of Bus Ride Stations by Using IOT Technology | |
| KR102144712B1 (en) | Management server of smart urban led system and controlling method thereof | |
| KR102678000B1 (en) | People counting control system based on artificial intelligence CCTV | |
| KR102641534B1 (en) | Cloud-edge integrated platform system | |
| US11962880B2 (en) | Systems and methods for enhanced performance of camera devices | |
| WO2022059122A1 (en) | Monitoring system, analyzing device, and ai model generating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |