KR102555845B1 - 지능형 cctv 및 이를 이용하는 감시시스템 - Google Patents
지능형 cctv 및 이를 이용하는 감시시스템 Download PDFInfo
- Publication number
- KR102555845B1 KR102555845B1 KR1020210070699A KR20210070699A KR102555845B1 KR 102555845 B1 KR102555845 B1 KR 102555845B1 KR 1020210070699 A KR1020210070699 A KR 1020210070699A KR 20210070699 A KR20210070699 A KR 20210070699A KR 102555845 B1 KR102555845 B1 KR 102555845B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image data
- processing unit
- mode
- recognition model
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 9
- 230000001815 facial effect Effects 0.000 claims description 17
- 239000000779 smoke Substances 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 15
- 241001465754 Metazoa Species 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical group OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Abstract
CCTV에서 촬영되는 영상데이터에서 객체검출 등의 영상처리를 수행할 수 있는 본 발명의 일 실시예에 따른 지능형 CCTV는 타깃 지점을 촬영하여 영상데이터를 생성하는 촬영부; 및 얼굴인식모드, 객체인식모드, 피플카운팅모드, 화재감지모드, 번호판감지모드, 움직임 감지모드 중 적어도 하나의 모드로 설정되어 상기 영상데이터를 처리하는 프로세싱부; 상기 처리된 영상데이터를 관제서버로 전송하는 통신부를 포함하고, 상기 프로세싱부는, 상기 촬영부에 탈착가능하게 결합되는 GPU 모듈로 구성되는 것을 특징으로 한다.
Description
본 발명은 지능형 CCTV에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 식별항목에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 식별항목에 기재된다고 하여 종래 기술이라고 인정되는 것은 아니다.
CCTV 관제 시스템(CCTV surveillance system)은 시설 관리 및 재난 대응, 방법, 교통 관리 등의 목적으로 다양한 분야에 적용되고 있다. 공공 기관을 중심으로 설치된 CCTV 카메라는 2013년 기준으로 약 65,000여 대이며 지속적으로 증가하고 있다. CCTV 카메라의 증가에 따라 한정된 공간에서 관제사가 감시해야 하는 영상은 많아지고 있다. 일반적으로 1명의 관제사가 감시하는데 적절한 카메라는 약 20~50대까지이다. 그리고, 관제사가 관제하는 데 있어 12분이 지나면 약 45% 정도 감시 능력이 떨어지고 22분이 지나면 약 95% 정도 감소한다. 따라서, 효율적인 CCTV 관제 시스템의 운영을 위해서는 영상 이해 및 인식 기술을 기반으로 하는 지능형 CCTV시스템의 도입이 필요하다.
지능형 CCTV 시스템은 객체 검출(object detection), 추적(tracking), 상황 인식(event detection) 등의 복합적인 영상 처리 기술(video processing)이 요구된다. 객체 검출은 주로 보행자 또는 차량 검출 기법이 필요하고 상황에 따라서 화염 또는 연기 검출 기법이 요구된다.
종래의 지능형 CCTV의 경우, CCTV를 통해 촬영된 영상데이터를 관제서버로 전송하고, 관제서버에서 영상 처리를 수행하였다. 이에 따라, 관제서버에서 대량의 데이터 처리가 필요하게 되어 서버 구축 비용이나 유지비용이 상승한다는 문제가 있었다.
또한, 관제서버에서는 하나의 CCTV가 아니라 다수의 CCTV의 영상처리가 수행됨에 따라 연산처리 속도가 느리다는 문제가 있었다.
본 발명은 CCTV에서 촬영되는 영상데이터에서 객체검출 등의 영상처리를 수행할 수 있는 지능형 CCTV를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 CCTV에 별도의 NVIDIA GPU 모듈을 장착하여 CCTV 단에서 영상처리를 수행할 수 있는 지능형 CCTV를 제공하는 것을 그 목적으로 한다.
본 발명의 일 실시예에 따른 지능형 CCTV는 타깃 지점을 촬영하여 영상데이터를 생성하는 촬영부; 및 얼굴인식모드, 객체인식모드, 피플카운팅모드, 화재감지모드, 번호판감지모드, 움직임 감지모드 중 적어도 하나의 모드로 설정되어 상기 영상데이터를 처리하는 프로세싱부; 상기 처리된 영상데이터를 관제서버로 전송하는 통신부를 포함하고, 상기 프로세싱부는, 상기 촬영부에 탈착가능하게 결합되는GPU 모듈로 구성되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 지능형 CCTV의 바람직한 특징에 따르면, 상기 프로세싱부는, 복수개의 얼굴이미지를 미리 정해진 학습알고리즘으로 학습하여 얼굴의 특징점을 추출하는 얼굴인식모델을 생성하고, 복수개의 사람이미지를 미리 정해진 학습알고리즘으로 학습하여 사람의 수를 측정하는 피플카운팅모델을 생성하며, 차량, 사람, 동물을 포함하는 객체 별로 수집된 복수개의 객체이미지를 미리 정해진 학습알고리즘으로 학습하여 객체의 특징을 추출하는 객체인식모델을 생성하고, 복수개의 연기 및 화재이미지를 미리 정해진 학습알고리즘으로 학습하여 화재인식모델을 생성하며, 복수개의 번호판이미지를 미리 정해진 학습알고리즘으로 학습하여 차량번호를 추출하는 번호판인식모델을 생성하고, 객체의 동작 별로 구분되어 있는 복수개의 동작이미지를 미리 정해진 학습알고리즘으로 학습하여 움직임감지모델을 생성하는 모델링부를 포함한다.
본 발명의 일 실시예에 따른 지능형 CCTV의 바람직한 특징에 따르면, 상기 얼굴인식모델, 화재인식모델, 번호판인식모델은 yolo v4 알고리즘으로 학습되고, 상기 객체인식모델은 hog 알고리즘으로 학습되며, 상기 피플카운팅모델은 cnn 알고리즘으로 학습되고, 상기 움직임 감지모델은 Mean-Shift 및 CAMShift 알고리즘으로 학습된다.
본 발명의 일 실시예에 따른 지능형 CCTV의 바람직한 특징에 따르면, 상기 프로세싱부는, 상기 타깃 지점이 보안지대인 경우, 상기 얼굴인식모드로 설정되고, 상기 영상데이터를 얼굴인식모델에 입력하여 상기 타깃 지점에서 촬영되는 얼굴 특징점 정보를 추출하고, 추출된 특징점 정보와 미리 저장된 보안지대에 접근 가능한 복수개의 얼굴 특징점 정보와 일치여부를 판단하여 일치하지 않는 경우, 상기 영상데이터에 해당 인원에 미리 정해진 색의 바운딩 박스를 표시한다.
본 발명의 일 실시예에 따른 지능형 CCTV의 바람직한 특징에 따르면, 상기 프로세싱부는, 공개 수배자이미지 및 실종자이미지들을 얼굴인식모델에 입력하여 추출된 공개 수배자 및 실종자들의 얼굴 특징점 정보를 저장하고 있고, 상기 얼굴인식모드로 설정되어 상기 타깃 지점에서 촬영되는 영상데이터를 상기 얼굴인식모델에 입력하여 영상데이터 상에 포함된 얼굴들의 특징점 정보를 추출하고, 추출된 특징점 정보와 상기 공개 수배자 및 실종자들의 얼굴의 특징점 정보와 비교하여 일치여부를 판단하여 일치하는 경우, 일치하는 신상정보를 관제서버로 전송한다.
본 발명의 일 실시예에 따른 지능형 CCTV의 바람직한 특징에 따르면, 상기 프로세싱부는, 상기 타깃 지점이 주차금지 구역인 경우, 상기 번호판감지모드로 설정되고, 상기 영상데이터를 번호판추출모델에 입력하여 차량의 번호판을 추출하고, 번호판 정보를 생성하여 상기 관제서버로 전송한다.
본 발명은 CCTV에서 촬영되는 영상데이터에서 객체검출 등의 영상처리를 수행할 수 있기 때문에, 관제사 없이도 효율적으로 감시 및 감독을 수행할 수 있을 뿐만 아니라, 관제사의 피로도로 인한 오차가 발생하지 않기 때문에 신뢰도 및 정확도가 향상된다는 효과가 있다.
또한, 본 발명은 CCTV에 별도의 NVIDIA GPU 모듈을 장착하여 CCTV 단에서 영상처리를 수행할 수 있기 때문에, 관제서버의 구축비용을 낮출 수 있을 뿐만 아니라, 기존의 CCTV에 NVIDIA GPU 모듈을 장착할 수 있어 CCTV 시스템 구축에도 비용을 절감할 수 있다는 효과가 있다.
또한, 본 발명은 CCTV 단에서 영상 처리가 수행되기 때문에, CCTV를 복수개로 증가시키더라도, 종래와 같이 관제서버에서 복수개의 CCTV에 의해 촬영된 영상데이터들을 처리하여 연산처리 속도가 저하되지 않을 뿐만 아니라, 관제서버의 결함이 발생하더라도 영상데이터를 수신할 서버만 대체하면 되기 때문에 결함 복구속도 및 서버 안정성이 향상된다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 지능형 cctv를 이용하는 감시시스템을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 지능형 CCTV(200)의 구성을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 프로세싱부(220)의 구성을 보여주는 도면이다.
도 4는 각 모델들이 영상데이터 상에 영상 처리를 수행한 것을 보여주는 일예이다.
도 2는 본 발명의 일 실시예에 따른 지능형 CCTV(200)의 구성을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 프로세싱부(220)의 구성을 보여주는 도면이다.
도 4는 각 모델들이 영상데이터 상에 영상 처리를 수행한 것을 보여주는 일예이다.
본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다. 단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. "포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분 품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제3 항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목, 또는 제3 항목 각각뿐만 아니라 제1 항목, 제2 항목, 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항 목의 조합을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들에 대해 설명한다.
본 발명에 따른 지능형 CCTV를 이용하는 감시시스템은 영상데이터를 생성하고, 영상데이터 상에서 얼굴인식, 객체인식, 피플카운팅, 연기감지, 번호판감지, 움직임 감지를 수행할 수 있다.
특히, 본 발명에 따른 지능형 CCTV를 이용하는 감시시스템은 에지 컴퓨팅 환경을 구축하여 종래 관제서버에서 수행되었던 영상데이터 처리를 클라이언트 측에서 수행하여 관제서버의 연산 부하를 최소화시킬 수 있을 뿐만 아니라, 관제서버의 구축비용을 최소화시킬 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 지능형 cctv를 이용하는 감시시스템을 보여주는 도면이다. 도 1에 도시된 바와 같이, 본 발명에 따른 지능형 CCTV를 이용하는 감시시스템(100)은 지능형 CCTV(200) 및 관제서버(300)를 포함한다.
본 발명에 따른 지능형 CCTV(200)는 영상데이터를 생성하고, 영상데이터를 처리하여 관제서버(300)로 전송한다. 구체적으로, 지능형 CCTV(200)는 타겟 지점을 촬영하여 영상데이터를 생성한다. 지능형 CCTV(200)는 얼굴인식모드, 객체인식모드, 피플카운팅모드, 화재감지모드, 번호판감지모드, 움직임감지모드 중 적어도 하나의 모드로 설정되어 생성된 영상데이터를 처리하여 관제서버(300)로 전송한다.
이하, 본 발명에 따른 지능형 CCTV(200)에 대해 도 2를 참조하여 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 지능형 CCTV(200)의 구성을 보여주는 도면이다. 도 2에 도시된 바와 같이, 지능형 CCTV(200)는 촬영부(210), 프로세싱부(220), 및 통신부(230)를 포함한다.
본 발명에 따른 촬영부(210)는 타깃 지점을 촬영하여 영상데이터를 생성한다.
일 예로, 촬영부(210)는 카메라로 구성될 수 있다. 예컨대, 촬영부(210)는 effective pixel이 1920 x 1080(FHD) 이상이고, 신호대 잡음비가 50dB 이상이며, 작동환경이 -30°C ~ +60°C 내에서 동작되고, 전원 규격이 DC 12V인 카메라일 수 있다. 다만, 이는 하나의 예일 뿐 촬영부(210)는 각 사항들 중 적어도 하나를 충족하지 않는 카메라이거나 카메라 외의 촬영하기 위한 장치일 수 있으며, 이에 한정되지 않는다.
촬영부(210)는 생성된 영상데이터를 프로세싱부(220)로 전달한다.
프로세싱부(220)는 촬영부(210)에 의해 생성된 영상데이터를 처리한다.
이를 위해, 본 발명에 따른 프로세싱부(220)는 GPU 모듈로 구성될 수 있다. 예컨대, GPU 모듈은 NVIDIA Jetson GPU 모듈로 구성될 수 있다. 특히, 고가의 지능형 CCTV를 구축하기 위해서는 하나의 CCTV 당 1000만원 이상의 비용이 소모되나, 본 발명은 별도의 NVIDIA Jetson GPU 모듈로 프로세싱부(220)를 구축함으로써, 비용을 획기적으로 감축할 수 있다.
일 실시예에 있어서, 프로세싱부(220)는 촬영부(210)에 탈착가능하게 결합될 수 있다. 일반적으로, 기존 CCTV를 철거 후 지능형 CCTV를 구축되지만, 본 발명은 기존의 일반적인 CCTV에 프로세싱부(220)로 구성되는 NVIDIA Jetson GPU 모듈을 결합시켜 지능형 CCTV(200)로 구축할 수도 있다.
일 실시예에 있어서, 본 발명에 따른 프로세싱부로 구성되는 NVIDIA Jetson GPU 모듈은 GPU는 NVIDIA Volta architecture with 384 NVIDIA CUDA® cores and 48 Tensor cores 이상의 스펙을 보유하고, CPU는 6-core NVIDIA Carmel ARM®v8.2 64-bit CPU, 6 MB L2 + 4 MB L3 이상을 스펙을 보유하며, Memory는 8 GB 128-bit LPDDR4x @ 51.2GB/s이상의 스펙을 보유하고, Storage는 micro SD를 이용할 수 있다.
예컨대, NVIDIA Jetson GPU 모듈은 GPU는 512-core Volta GPU with Tensor cores로 구성되고, CPU는 8-core ARM v8.2 64-bit CPU, 8MB L2, 4MB L3로 구성되며, Memory는 32GB 256-Bit LPDDR4x/ 137GB/s로 구성되고, Storage는 32GB emmc 5.1로 구성될 수 있다.
이에 따라, 본 발명은 별도의 철거비용이나 제반비용을 절감할 수 있다는 효과가 있다.
일 실시예에 있어서, 프로세싱부(220)는 얼굴인식모드, 객체인식모드, 피플카운팅모드, 화재감지모드, 번호판감지모드, 움직임감지모드 중 적어도 하나의 모드로 설정되어 영상데이터를 처리할 수 있다.
프로세싱부(220)는 얼굴인식모드로 설정되면, 영상데이터 상에 포함된 얼굴로부터 특징점 정보를 추출하고, 추출된 특징점 정보와 미리 저장된 복수개의 특징점 정보들과 비교할 수 있다. 프로세싱부(220)는 비교결과 추출된 특징점 정보와 일치하는 특징점 정보가 있는 경우, 해당 특징점 정보에 매핑된 사람의 정보를 관제서버(300)로 전달할 수 있다.
프로세싱부(220)는 객체인식모드로 설정되면, 영상데이터 상에 포함된 객체로부터 객체의 특징 정보를 추출하고, 추출된 특징 정보와 미리 저장된 복수개의 특징 정보들과 비교할 수 있다. 프로세싱부(220)는 비교결과 추출된 특징 정보와 일치하는 특징 정보가 있는 경우, 해당 특징 정보에 매핑된 객체의 정보를 관제서버(300)로 전달할 수 있다.
프로세싱부(220)는 피플카운팅모드로 설정되면, 영상데이터 상에 포함된 사람의 수를 카운팅하여 카운팅 정보를 생성하고, 카운팅 정보를 관제서버(300)로 전달할 수 있다.
프로세싱부(220)는 화재감지모드로 설정되면, 영상데이터 상에 포함된 연기 및 불꽃의 포함여부를 판단하고, 연기 및 불꽃이 포함되면 화재발생정보를 관제서버(300)로 전달할 수 있다.
프로세싱부(220)는 번호판감지모드로 설정되면, 영상데이터 상에 포함된 차량번호를 추출하고, 차량번호를 관제서버(300)로 전달할 수 있다.
프로세싱부(220)는 움직임감지모드로 설정되면, 영상데이터 상에 포함된 객체들의 움직임 여부를 판단하고, 움직임정보를 생성하여 관제서버(300)로 전달할 수 있다.
이와 같이, 본 발명에 따른 프로세싱부(220)는 얼굴인식, 객체인식, 피플카운팅, 연기감지, 번호판감지, 움직임 감지를 수행할 수 있다.
일 실시예에 있어서, 프로세싱부(220)는 촬영부(210)가 촬영하는 타깃지점에 따라 모드를 설정하고, 해당 모드에 따라 영상데이터 상에 처리를 수행할 수 있다.
예컨대, 프로세싱부(210)는 타깃 지점이 보안지대인 경우, 얼굴인식모드로 설정될 수 있다. 이러한 경우, 프로세싱부(220)는 영상데이터로부터 얼굴 특징점 정보를 추출하고, 추출된 특징점 정보와 미리 저장된 보안지대에 접근 가능한 복수개의 얼굴 특징점 정보와 일치여부를 판단할 수 있다. 프로세싱부(220)는 추출된 얼굴 특징점 정보와 일치하는 얼굴 특징점 정보가 없는 경우, 거동수상자 발생 정보를 생성하여 관제서버(300)로 전달할 수 있다. 또한, 프로세싱부(220)는 영상데이터 상에 해당 얼굴에 미리 정해진 색의 바운딩 박스를 표시할 수 있다.
예컨대, 프로세싱부(210)는 타깃지점이 주차금지구역인 경우, 번호판감지모드로 설정되고, 영상데이터에서 차량의 번호판을 추출하여 번호판 정보를 생성하고, 번호판 정보를 관제서버(300)로 전달할 수 있다.
일 실시예에 있어서, 프로세싱부(220)는 관제서버(300)로부터 공개 수배자 및 실종자 수색요청을 수신하는 경우, 공개수배자 및 실종자 수색을 수행할 수 있다. 예컨대, 프로세싱부(220)는 얼굴인식모드로 설정되고, 타깃 지점에서 촬영되는 영상데이터로부터 영상데이터 상에 포함된 얼굴들의 특징점 정보를 추출하고, 추출된 특징점 정보와 공개수배자 및 실종자들의 얼굴의 특징점 정보와 비교하여 일치여부를 판단할 수 있다. 프로세싱부(220)는 일치하는 경우, 얼굴의 특징점 정보에 매핑되어 저장되어 있는 공개수배자 및 실종자 신상정보 중 일치하는 신상정보를 관제서버(300)로 전달할 수 있다. 이러한 경우, 프로세싱부(220)는 공개 수배자 이미지 및 실종자이미지들로부터 추출된 공개수배자 및 실종자들의 얼굴 특징점 정보를 저장하고 있을 수 있다.
이하, 본 발명에 따른 프로세싱부(220)에 대해 도 3을 참조하여 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 프로세싱부(220)의 구성을 보여주는 도면이다.
본 발명에 따른 프로세싱부(220)는 모델링부(250), 얼굴인식모델(252), 피플카운팅모델(253), 객체인식모델(254), 화재인식모델(255), 번호판인식모델(256), 움직임감지모델(257), 데이터베이스(260), 입력부(265), 및 모드 선택부(270)를 포함한다.
모델링부(250)는 얼굴인식모델(252), 피플카운팅모델(253), 객체인식모델(254), 화재인식모델(255), 번호판인식모델(256), 움직임감지모델(257)을 생성할 수 있다.
모델링부(250)는 학습데이터를 이용하여 미리 정해진 학습알고리즘으로 각각의 모델을 생성할 수 있다.
모델링부(250)는 복수개의 얼굴이미지를 미리 정해진 학습알고리즘으로 학습하여 얼굴의 특징점을 추출하는 얼굴인식모델(252)을 생성할 수 있다. 이에 따라, 얼굴인식모델(252)은 영상데이터가 입력되면 영상데이터에 포함된 얼굴의 특징점을 추출할 수 있다.
일 실시예에 있어서, 얼굴인식모델(252)은 영상데이터 상에 얼굴을 바운딩박스하여 표시할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 얼굴인식모델(253)은 영상데이터 상에 얼굴을 바운딩 박스하여 표시할 수 있다.
일 실시예에 있어서, 얼굴인식모델(252)을 생성하기 위한 학습알고리즘은 YOLO V4 알고리즘을 이용할 수 있다.
모델링부(250)는 복수개의 사람이미지를 미리 정해진 학습알고리즘으로 학습하여 사람의 수를 측정하는 피플카운팅모델(253)을 생성할 수 있다. 이에 따라, 피플카운팅모델(253)은 영상데이터가 입력되면 영상데이터 상에 포함된 사람 수 정보를 생성할 수 있다. 여기서 사람수 정보는 카운팅 정보를 의미한다.
일 실시예에 잇어서, 피플카운팅모델(253)은 영상데이터 상에 사람을 바운딩박스하여 표시할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 피플카운팅모델(253)은 영상데이터 상에 사람을 바운딩 박스하여 표시할 수 있다.
일 실시예에 있어서, 피플카운팅모델(253)을 생성하기 위한 학습알고리즘은 CNN 알고리즘을 이용할 수 있다.
모델링부(250)는 차량, 사람, 동물을 포함하는 객체 별로 수집된 복수개의 객체이미지를 미리 정해진 학습알고리즘으로 학습하여 객체인식모델(254)을 생성할 수 있다. 이에 따라, 객체인식모델(254)은 영상데이터 상에 포함된 객체 중 차량, 사람, 동물을 구분하여 객체정보를 생성할 수 있다. 여기서 객체는 차량, 사람, 동물을 예로 들었으나, 이는 하나의 예일 뿐, 학습되는 객체이미지에 따라 서로 다른 객체들을 구분하여 객체정보를 생성할 수 있을 것이다.
일 실시예에 있어서, 객체인식모델(254)은 영상데이터 상에 차량, 사람, 동물 별로 서로 다른 바운딩 박스를 생성할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 화재인식모델(255)은 영상데이터 상에 포함된 객체들을 바운딩박스하여 표시할 수 있다.
일 실시예에 있어서, 객체인식모델(254)을 생성하기 위한 학습알고리즘은 hog 알고리즘을 이용할 수 있다.
일 실시예에 있어서, 모델링부(250)는 복수개의 연기 및 불꽃이미지를 미리 정해진 학습알고리즘으로 학습하여 화재인식모델(255)을 생성할 수 있다. 이에 따라, 화재인식모델(255)은 영상데이터 상에 화재발생여부를 판단하여 화재발생정보를 생성할 수 있다.
일 실시예에 있어서, 화재인식모델(255)은 영상데이터 상에 연기 및 불꽃을 바운딩박스하여 표시할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 화재인식모델(255)은 영상데이터 상에 포함된 연기 및 불꽃을 바운딩박스하여 표시할 수 있다.
일 실시예에 있어서, 모델링부(250)는 복수개의 번호판이미지를 미리 정해진 학습알고리즘으로 학습하여 차량번호를 추출하는 번호판인식모델(256)을 생성할 수 있다. 이에 따라, 번호판인식모델(256)은 영상데이터 상에 포함된 차량 번호판으로부터 차량번호를 추출할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 번호판인식모델(256)은 차량번호를 추출할 수 있다.
일 실시예에 있어서, 화재인식모델(255)은 영상데이터 상에 연기 및 불꽃을 바운딩박스하여 표시할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 화재인식모델(255)은 영상데이터 상에 포함된 연기 및 불꽃을 바운딩박스하여 표시할 수 있다.
일 실시예에 있어서, 화재인식모델(255)을 생성하기 위한 학습알고리즘은 YOLO V4 알고리즘을 이용할 수 있다.
일 실시예에 있어서, 모델링부(250)는 객체의 동작 별로 구분되어 있는 복수개의 동작이미지를 미리 정해진 학습알고리즘으로 학습하여 움직임감지모델(256)을 생성할 수 있다. 이에 따라, 움직임감지모델(256)은 영상데이터 상에 움직임이 발생하는 객체에 대한 정보를 생성할 수 있다.
일 실시예에 있어서, 움직임감지모델(256)은 영상데이터 상에 움직임이 감지되는 객체를 바운딩박스하여 표시할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 움직임감지모델(256)은 영상데이터 상에 움직임이 감지되는 객체를 바운딩박스하여 표시할 수 있다.
일 실시예에 있어서, 움직임감지모델(256)을 생성하기 위한 학습알고리즘은 Mean-shift 및 CAMShift알고리즘을 이용할 수 있다.
데이터베이스(260)에는 복수개의 학습데이터가 저장되어 있다. 여기서 학습데이터는 얼굴이미지, 객체이미지, 연기이미지, 불꽃이미지, 번호판이미지, 동작이미지를 포함한다. 또한, 데이터베이스(260)에는 공개 수배자이미지 및 실종자이미지들을 얼굴인식모델에 입력하여 추출된 공개 수배자 및 실종자들의 얼굴 특징점 정보를 저장되어 있을 수 있다. 또한, 데이터베이스(260)에는 보안지대에 접근 가능한 복수개의 얼굴 특징점 정보를 저장되어 있을 수 있다.
입력부(265)는 설정된 모드에 따라 얼굴인식모델(252), 피플카운팅모델(253), 객체인식모델(254), 화재인식모델(255), 번호판인식모델(256), 움직임감지모델(257) 중 적어도 하나의 모델에 영상데이터를 입력할 수 있다.
모드 선택부(270)는 프로세싱부(220)는 얼굴인식모드, 객체인식모드, 피플카운팅모드, 화재감지모드, 번호판감지모드, 움직임감지모드 중 적어도 하나의 모드로 설정한다. 이와 같이, 본 발명은 모드를 하나 이상 선택하여 설정할 수 있다. 예컨대, 본 발명은 얼굴인식을 수행하면서 연기감지 또는 번호판감지를 수행할 수 있다.
일 실시예에 있어서, 모드 선택부(270)는 타깃지점에 따라 모드를 선택할 수 있다. 예컨대, 모드 선택부(270)는 타깃 지점이 보안지대인 경우, 얼굴인식모드를 선택할 수 있다. 또한, 모드 선택부(270)는 타깃 지점이 주차금지 구역인 경우, 번호판감지모드를 선택할 수 있다.
일 실시예에 있어서, 모드 선택부(270)는 관제서버(300)의 요청에 따라 모드를 선택할 수 있다. 예컨대, 모드 선택부(270)는 관제서버(300)로 공개수배자 및 실종자 수색요청이 수신되면, 얼굴인식모드를 선택할 수 있다.
한편, 통신부(230)는 관제서버(300)와 송수신을 수행한다.
통신부(230)는 프로세싱부(220)에 의해 처리된 영상데이터를 관제서버(300)로 전송한다. 또한, 통신부(230)는 관제서버(300)로 신상정보, 화재발생정보, 거동수상자 발생 정보, 사람수 정보, 객체정보, 움직임정보, 사람정보, 번호판 정보 등 프로세싱부(220)에 의해 생성된 정보를 관제서버(300)로 전송한다. 또한, 통신부(230)는 관제서버(300)로부터 모드를 선택하기 위한 요청을 수신할 수 있다. 예컨대, 통신부(230)는 공개수배자 및 실종자 수색요청을 관제서버(300)로부터 수신할 수 있다.
일 실시예에 있어서, 통신부(230)는 외부 IP를 할당받아 관제서버(300)와 송수신할 수 있다. 이에 따라, 통신부(230)에는 지능형 CCTV(100) 별로 서로 다른 IP가 할당되어 있을 수 있다.
한편, 관제서버(300)는 지능형 cctv(200)로부터 촬영되고 처리된 영상데이터를 수신할 수 있다. 이와 같이, 본 발명은 관제서버(300)가 지능형 cctv(200)에 의해 처리된 영상데이터를 수신하여 서버의 부하가 감소되어 연산처리 속도가 향상될 수 있다는 효과가 있다.
또한, 관제서버(300)는 지능형 cctv(200)로부터 신상정보, 화재발생정보, 거동수장자 발생정보, 사람수 정보, 객체 정보, 움직임정보, 사람정보, 번호판 정보 등의 생성된 정보를 수신할 수 있다.
또한, 관제서버(300)는 모드를 선택하기 위한 요청을 지능형 cctv(200)로 전송할 수 있다.
본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 본 발명이 복수개의 프로그램으로 분할되어 구현되는 경우 각 프로그램은 서로 다른 매체에 탑재될 수 있다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한 다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (6)
- 타깃 지점을 촬영하여 영상데이터를 생성하는 촬영부;
얼굴인식모드, 객체인식모드, 피플카운팅모드, 화재감지모드, 번호판감지모드, 움직임 감지모드 중 적어도 하나의 모드로 설정되어 상기 영상데이터를 처리하는 프로세싱부; 및
상기 처리된 영상데이터를 관제서버로 전송하는 통신부를 포함하고,
상기 프로세싱부는,
상기 촬영부에 탈착가능하게 결합되는 GPU 모듈로 구성되고
상기 프로세싱부는,
복수개의 얼굴이미지를 미리 정해진 학습알고리즘으로 학습하여 얼굴의 특징점을 추출하는 얼굴인식모델을 생성하고, 복수개의 사람이미지를 미리 정해진 학습알고리즘으로 학습하여 사람의 수를 측정하는 피플카운팅모델을 생성하며, 차량, 사람, 동물을 포함하는 객체 별로 수집된 복수개의 객체이미지를 미리 정해진 학습알고리즘으로 학습하여 객체의 특징을 추출하는 객체인식모델을 생성하고, 복수개의 연기 및 화재이미지를 미리 정해진 학습알고리즘으로 학습하여 화재인식모델을 생성하며, 복수개의 번호판이미지를 미리 정해진 학습알고리즘으로 학습하여 차량번호를 추출하는 번호판인식모델을 생성하고, 객체의 동작 별로 구분되어 있는 복수개의 동작이미지를 미리 정해진 학습알고리즘으로 학습하여 움직임감지모델을 생성하는 모델링부를 포함하고
상기 얼굴인식모델, 화재인식모델, 번호판인식모델은 yolo v4 알고리즘으로 학습되고,
상기 객체인식모델은 hog 알고리즘으로 학습되며,
상기 피플카운팅모델은 cnn 알고리즘으로 학습되고,
상기 움직임 감지모델은 Mean-Shift 및 CAMShift 알고리즘으로 학습되고,
상기 프로세싱부는,
상기 타깃 지점이 보안지대인 경우, 상기 얼굴인식모드로 설정되고, 상기 영상데이터를 얼굴인식모델에 입력하여 상기 타깃 지점에서 촬영되는 얼굴 특징점 정보를 추출하고, 추출된 특징점 정보와 미리 저장된 보안지대에 접근 가능한 복수개의 얼굴 특징점 정보와 일치여부를 판단하여 일치하지 않는 경우, 상기 영상데이터에 해당 인원에 미리 정해진 색의 바운딩박스를 표시하고
상기 프로세싱부는,
공개 수배자이미지 및 실종자이미지들을 얼굴인식모델에 입력하여 추출된 공개 수배자 및 실종자들의 얼굴 특징점 정보를 저장하고 있고,
상기 얼굴인식모드로 설정되어 상기 타깃 지점에서 촬영되는 영상데이터를 상기 얼굴인식모델에 입력하여 영상데이터 상에 포함된 얼굴들의 특징점 정보를 추출하고, 추출된 특징점 정보와 상기 공개 수배자 및 실종자들의 얼굴의 특징점 정보와 비교하여 일치여부를 판단하여 일치하는 경우, 일치하는 신상정보를 관제서버로 전송하고
상기 프로세싱부는
얼굴인식모드로 설정되면, 영상데이터 상에 포함된 얼굴로부터 특징점 정보를 추출하고, 추출된 특징점 정보와 미리 저장된 복수개의 특징점 정보들과 비교하여, 비교결과 추출된 특징점 정보와 일치하는 특징점 정보가 있는 경우, 해당 특징점 정보에 매핑된 사람의 정보를 관제서버로 전달하고
상기 프로세싱부는
객체인식모드로 설정되면, 영상데이터 상에 포함된 객체로부터 객체의 특징 정보를 추출하고, 추출된 특징 정보와 미리 저장된 복수개의 특징 정보들과 비교하여, 비교결과 추출된 특징 정보와 일치하는 특징 정보가 있는 경우, 해당 특징 정보에 매핑된 객체의 정보를 관제서버로 전달하고,
상기 프로세싱부는
피플카운팅모드로 설정되면, 영상데이터 상에 포함된 사람의 수를 카운팅하여 카운팅 정보를 생성하고, 카운팅 정보를 관제서버로 전달하고,
상기 프로세싱부는
화재감지모드로 설정되면, 영상데이터 상에 포함된 연기 및 불꽃의 포함여부를 판단하고, 연기 및 불꽃이 포함되면 화재발생정보를 관제서버로 전달하는 것을 특징으로 하는 지능형 CCTV.
- 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 프로세싱부는,
상기 타깃 지점이 주차금지 구역인 경우, 상기 번호판감지모드로 설정되고, 상기 영상데이터를 번호판추출모델에 입력하여 차량의 번호판을 추출하고, 번호판 정보를 생성하여 상기 관제서버로 전송하는 것을 특징으로 하는 지능형 CCTV.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210070699A KR102555845B1 (ko) | 2021-06-01 | 2021-06-01 | 지능형 cctv 및 이를 이용하는 감시시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210070699A KR102555845B1 (ko) | 2021-06-01 | 2021-06-01 | 지능형 cctv 및 이를 이용하는 감시시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220162351A KR20220162351A (ko) | 2022-12-08 |
| KR102555845B1 true KR102555845B1 (ko) | 2023-07-17 |
Family
ID=84436984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210070699A KR102555845B1 (ko) | 2021-06-01 | 2021-06-01 | 지능형 cctv 및 이를 이용하는 감시시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102555845B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102588080B1 (ko) | 2023-04-07 | 2023-10-12 | 주식회사 와치캠 | Cctv영상분석방법 및 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014179991A (ja) | 2013-03-14 | 2014-09-25 | Samsung Electronics Co Ltd | 映像データ処理方法及びこれをサポートする電子装置 |
| KR101808587B1 (ko) | 2017-08-03 | 2017-12-13 | 주식회사 두원전자통신 | 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 |
| KR102251777B1 (ko) | 2020-09-11 | 2021-05-13 | 주식회사 세연테크 | 프록시 기능을 지원하는 지능형 영상 감시 장치 및 그 구동방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101818984B1 (ko) * | 2015-12-31 | 2018-01-16 | 동의대학교 산학협력단 | 깊이정보를 이용한 안면인식시스템 |
| KR20190079925A (ko) * | 2017-12-28 | 2019-07-08 | 군산대학교산학협력단 | 차량번호 인식용 감시 카메라 및 이를 탑재한 차량 |
-
2021
- 2021-06-01 KR KR1020210070699A patent/KR102555845B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014179991A (ja) | 2013-03-14 | 2014-09-25 | Samsung Electronics Co Ltd | 映像データ処理方法及びこれをサポートする電子装置 |
| KR101808587B1 (ko) | 2017-08-03 | 2017-12-13 | 주식회사 두원전자통신 | 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 |
| KR102251777B1 (ko) | 2020-09-11 | 2021-05-13 | 주식회사 세연테크 | 프록시 기능을 지원하는 지능형 영상 감시 장치 및 그 구동방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220162351A (ko) | 2022-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220343665A1 (en) | Systems and methods for machine learning-based site-specific threat modeling and threat detection | |
| US10599958B2 (en) | Method and system for classifying an object-of-interest using an artificial neural network | |
| US11222239B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
| WO2018148628A1 (en) | Detection of risky objects in image frames | |
| CN104919794A (zh) | 用于从主从式相机跟踪系统提取元数据的方法和系统 | |
| JP2018207222A (ja) | カメラ及びパラメータ登録方法 | |
| CN105389562A (zh) | 一种时空约束的监控视频行人重识别结果的二次优化方法 | |
| CN111428572B (zh) | 信息处理方法、装置、电子设备和介质 | |
| KR20190093799A (ko) | Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법 | |
| JP2018205900A (ja) | 監視システム及び監視方法 | |
| KR102555845B1 (ko) | 지능형 cctv 및 이를 이용하는 감시시스템 | |
| CN111553305A (zh) | 一种违章视频识别系统和方法 | |
| Yussiff et al. | Parallel Kalman filter-based multi-human tracking in surveillance video | |
| Vivek Anand et al. | Image validation with virtualization in blockchain based internet of things | |
| Shivthare et al. | Suspicious activity detection network for video surveillance using machine learning | |
| Song et al. | A low false negative filter for detecting rare bird species from short video segments using a probable observation data set-based EKF method | |
| Yanakova et al. | Facial recognition technology on ELcore semantic processors for smart cameras | |
| KR102343348B1 (ko) | 적외선 영상 데이터 획득 방법, 적외선 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 | |
| Benito-Picazo et al. | Deep learning-based anomalous object detection system powered by microcontroller for ptz cameras | |
| Fenzi et al. | ASEV—Automatic situation assessment for event-driven video analysis | |
| JP2018142137A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| Yasmeen et al. | Suspicious Activity Detection Using CCTV Surveillance Video | |
| KR102643330B1 (ko) | 에지 네트워크 클라우드 시스템 | |
| CN113011576A (zh) | 识别案件类型的方法及装置 | |
| Upadhyay et al. | Face Mask Detection Using Convolutional Neural Network (CNN) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |