KR101850286B1 - 딥 러닝 기반 cctv용 영상 인식 방법 - Google Patents

딥 러닝 기반 cctv용 영상 인식 방법 Download PDF

Info

Publication number
KR101850286B1
KR101850286B1 KR1020170081211A KR20170081211A KR101850286B1 KR 101850286 B1 KR101850286 B1 KR 101850286B1 KR 1020170081211 A KR1020170081211 A KR 1020170081211A KR 20170081211 A KR20170081211 A KR 20170081211A KR 101850286 B1 KR101850286 B1 KR 101850286B1
Authority
KR
South Korea
Prior art keywords
data
control object
deep learning
face
image
Prior art date
Application number
KR1020170081211A
Other languages
English (en)
Inventor
주영복
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020170081211A priority Critical patent/KR101850286B1/ko
Application granted granted Critical
Publication of KR101850286B1 publication Critical patent/KR101850286B1/ko

Links

Images

Classifications

    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00268—
    • G06K9/00288—
    • G06K9/00664—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥 러닝 기반 CCTV용 영상 인식 방법을 공개한다. 이 방법은 복수개의 CCTV 및 관제 센터 서버를 구비하는 영상 인식 시스템의 딥 러닝 기반 CCTV용 영상 인식 방법에 있어서, (a) 영상 녹화부가 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 단계; (b) 배경 추출부가 상기 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 하고 추출 데이터를 출력하는 단계; (c) 영상 분석부가 상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여, 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 단계; 및 (d) 특징 벡터 산출부가 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아, 딥러닝 기법을 이용하여 기 저장된 패턴과 비교하여 상기 관제 대상의 특징 벡터를 산출하는 단계;를 포함하고, 상기 복수개의 CCTV 각각에서 산출된 상기 특징 벡터가 기계 대 기계 방식에 따라 연동된 다른 CCTV에 전달되어, 지능적 연계를 통해 상기 관제 대상을 통합 추적 및 감시하는 것을 특징으로 한다.

Description

딥 러닝 기반 CCTV용 영상 인식 방법{A deep learning based image recognition method for CCTV}
본 발명은 딥 러닝 기반 CCTV용 영상 인식 방법에 관한 것으로서, 특히 복수개의 CCTV에딥러닝기술을적용하여 관제 구역을 감시 요원 없이 다양한 모니터 상황에 대해 실시간으로 자동 모니터링하고, 각 CCTV에 입력되는영상에대한특징점 벡터를 추출하여 네트워크 트래픽을 감소시키며, 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태로 관제 대상을 추적 및 감시할 수 있는 딥 러닝 기반 CCTV용 영상 인식 방법에 관한 것이다.
외부 및 특정 지역에는 많은 보안용 CCTV 시스템이 설치되어 있다.
예를 들면, 빌딩, 아파트단지 등의 경비중앙 관리실에서 모니터링되는 CCTV들도 있고, 보안업체에서 관리하는 CCTV, 경찰 및 관공서에서 범죄 예방, 쓰레기 투기 등의 공익 목적으로 설치 및 관리되는 CCTV들도 있다.
하지만, 이를 모니터링하는 인원의 한계 때문에 감시자가 각각의 카메라들에 대한 영상을 전체적으로 확인하는 것은 불가능한 것이 현실이다.
이러한 부분을 보완하기 위해, CCTV 전문업체에서는 물체 및 인체감지 기능, 특정인 또는 특정집단의 지정 트래킹 기능 등, 많은 부가 기능들을 접목시키고 있다.
하지만, 이러한 기능들은 모니터 화면을 모니터링하는 사람이 직접 조작해야 하며, 또는 이러한 기능들이 소프트웨어적으로 처리가 된다고 하더라도 모니터링 인원이 직접 눈으로 관찰하는 것에 대한 보조적인 기능에 불과하다.
이에 따라, 종래의 CCTV 시스템은 실시간 감시요원의 모니터링의 경우, 주의력의 지속에 한계가 있어 한 조사 결과에 의하면 모니터링 요원 1인당 평균 10대 이상의 CCTV를 관리하면서 2대 이상을 동시 모니터링 해야 하기 때문에 20분 경과 시 약 90 %의 이상 상황을 놓치게 된다는 통계가 있다.
그리고, 종래의 고정형 CCTV는 원거리에 위치한 객체를 확인하기 위해 카메라를 줌 인(Zoom-In)하게 되면 해상도가 현저히 낮아질 뿐 아니라, CCTV 기능이 범죄 발생 후 이를 확인하거나, 또는 증거를 확보하기 위한 수동적인 대처 방법으로 사용될 뿐이다.
예를 들면, 엘리베이터 내에서의 영유아 납치사건, 엘리베이터 내의 폭행/폭력 및 성추행/성폭행 사건, 건물 내 및 아파트 단지 내의 외곽 지역에서의 범죄, 노상의 범죄 등 범죄가 발생된 시점에 적극적으로 대응하는 것이 아니라, 범죄가 일어난 후에 이러한 범죄의 증거 확보의 수단으로 주로 활용되는 것이 현실이다.
종래의 CCTV 시스템의 이와 같은 문제점을 해결하기 위하여 모니터 요원이 일일이 감시 영상을 모니터링하지 않아도, 획득한 영상을 실시간으로 분석하여 감시 구역 내에 출입하는 물체(사람, 차량 등)를 실시간으로 탐지하고, 이를 추적하며, 이들의 행위를 파악하여 위험 상황이 예측되는 경우, 필요한 조처(경보 발생, 출입 통제 등)를 실시간으로 취할 수 있는 지능형 무인 모니터링 CCTV 시스템이 개발되기는 하였으나, 인지 결과의 신뢰도가 매우 저조하고, 긴급상황에 즉각적으로 대처할 수 없으며 획득된 영상과 기 저장된 영상만을 비교하기 때문에 다양한 데이터 유형의 영상에 대응할 수 없는 한계가 있었다.
또한, 종래의 CCTV 시스템은 주로 고정형 CCTV를 구비하므로 커버할 수 있는 영역이 제한되어 있어, 관제 대상이 사람, 차량 등의 이동체인 경우 하나의 고정형 CCTV에서 포착된 위험 상황 등이 해당 고정형 CCTV의 시야에서 벗어나게 되면 소정의 관제 센터 서버에서 이를 감지하여 다른 관제 구역에 설치된 고정형 CCTV를 통해서만 이동체 관제 대상을 추적 및 감시할 수 있다.
즉, CCTV 시스템에서 복수개의 CCTV 간에 통합 연동된 형태의 추적이나 감시가 불가능한 한계가 있었다.
한편, 인공 지능(Artificial Intelligence, AI)은 인간의 뇌와 뉴런 신경망을 모방해 언젠가는 컴퓨터나 로봇들이 인간처럼 사고하고 행동하게 하는 것이다.
예를 들어, 우리는 사진만으로 개와 고양이를 아주 쉽게 구분할 수 있지만 컴퓨터는 구분하지 못한다.
이를 위해 “머신 러닝(Machine Learning, ML)” 기법이 고안되었는데, 이 기법은 많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술로서, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다.
데이터를 어떻게 분류할 것인가에 따라, 의사결정 나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트 벡터 머신(support vector machine, SVM), 그리고 인공 신경망(Artificial neural network) 등 많은 머신 러닝 알고리즘이 등장했다.
그 중에 인공 신경망 알고리즘에서 파생된 딥 러닝(Deep Learning, DL)은 인공 신경망을 이용하여 데이터를 군집화하거나 분류하는데 사용하는 기술이다.
머신 러닝과 인지 과학에서의 인공 신경망은 생물학의 신경망(동물의 중추 신경계)에서 영감을 얻은 통계학적 학습 알고리즘이다.
인공 신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(node)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다.
인공 신경망을 이용하는 딥 러닝의 핵심은 분류를 통한 예측이다.
수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯 컴퓨터가 데이터를 나눈다.
이 같은 분별 방식은 지도자(감독자/교사)의 신호(정답) 입력에 의해서 문제에 최적화되어 가는 지도(감독/교사) 학습과 지도자의 교사 신호를 필요로 하지 않는 비지도(감독/교사) 학습이 있다.
일반적으로 입력으로부터 값을 계산하는 뉴런 시스템의 상호 연결로 표현되고 적응성이 있어 패턴 인식과 같은 기계 학습을 수행할 수 있다.
데이터로부터 학습하는 다른 기계 학습과 같이, 신경망은 일반적으로 규칙 기반 프로그래밍으로 풀기 어려운 컴퓨터 비전(vision) 또는 음성 인식과 같은 다양한 범위의 문제를 푸는 데 이용된다.
즉, 어떠한 데이터가 있을 때 이를 컴퓨터가 인지할 수 있는 형태(예를 들어 이미지의 경우 픽셀정보를 열 벡터로 표현하는 툴)로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 심층 신경망(deep neural networks), 합성 곱 신경망(convolutional neural network), 순환 신경망(Recurrent neural network)와 같은 다양한 딥 러닝 기법들이 컴퓨터 비젼, 음성 인식, 자연어 처리, 음성/신호 처리 등의 분야에 적용되어 우수한 성능의 응용 프로그램들이 개발되고 있다.
한편, 기계 대 기계(Machine To Machine, M2M) 방식은 방송 통신망을 이용하여 사람이나 지능화된 기기에게 사물정보를 제공하거나, 사람이나 지능화된 기기가 사물의 상태를 제어하기 위한 통신을 의미한다.
M2M은 IOT(Internet of Things), 사물지능 통신(O2N : Object to Object Intelligent Network)란 이름으로도 불린다.
과거 1990년대 전후반의 M2M 통신은 단순한 P2P(Point-to-Point) 연결을 위한 일대일 혹은 일대 다수의 통신을 의미하였다면, 궁극적으로 M2M 통신에서 지향하고자 하는 것은 위치 인식, 상황 인식, 증강 현실 도입 등으로 개인 혹은 상황에 맞춤적으로 인간의 제어 없이 또는 인간의 개입을 최소화한 상태에서 자동적으로 동작하면서 보다 향상된 M2M 통신 서비스의 품질과 안정성을 목표로 한다.
M2M 통신은 종래의 u-City, u-Health, u-교통, u-환경 사업 등을 통해 사회 현안 해결, 재난 및 재해 방지, 에너지 절감 등에 기여할 수 있는 필수적인 인프라로 활용될 수 있다.
현재 대표적으로 원격검침, 건물 또는 시설물 관리, 자판기 관리, 실내 조명 조절 서비스, 교통 정보 및 차량 관제, 긴급 출동, 화재 경보기, 방범 경보 장치, 텔레매틱스, 무선 결재 분야 서비스 등 매우 다양한 서비스가 M2M 서비스로서 제공되고 있다.
또한, 최근에는 맥박계, 심전도계 등의 의료기기에 적용되어 원격 진료 서비스 등을 포함하는 이헬스(e-Health) 분야에서의 적용도 활발하게 진행되고 있다.
M2M 통신은 사물 장치간의 통신으로 기존의 사람 중심의 H2H(Human-to-Human) 통신과는 여러 특징에서 차이를 보인다.
이러한 특성의 차이에서부터 기술적으로 필요한 기술이 달라질 수 있고 M2M 통신을 이용하는 활용 분야에 따라서도 필요한 특성은 조금씩 달라질 수 있다.
이에, 본 발명자들은 복수개의 CCTV에딥러닝기술을적용하여 관제 구역을 감시 요원 없이 다양한 모니터 상황에 대해 실시간으로 자동 모니터링하고, 각 CCTV에 입력되는영상에대한특징점 벡터를 추출하여 네트워크 트래픽을 감소시키며, 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태로 관제 대상을 추적 및 감시할 수 있는 딥 러닝 기반 CCTV용 영상 인식 방법을 발명하기에 이르렀다.
KR 10-1688218 B1
본 발명의 목적은 복수개의 CCTV에딥러닝기술을적용하여 관제 구역을 감시 요원 없이 실시간으로 자동 모니터링하고, 각 CCTV에 입력되는영상에대한특징점 벡터를 추출하여 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태의 추적 및 감시를 할 수 있는 딥 러닝 기반 CCTV용 영상 인식 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법은 복수개의 CCTV 및 관제 센터 서버를 구비하는 영상 인식 시스템의 딥 러닝 기반 CCTV용 영상 인식 방법에 있어서, (a) 영상 녹화부가 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 단계; (b) 배경 추출부가 상기 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 하고 추출 데이터를 출력하는 단계; (c) 영상 분석부가 상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여, 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 단계; 및 (d) 특징 벡터 산출부가 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아, 딥러닝 기법을 이용하여 기 저장된 패턴과 비교하여 상기 관제 대상의 특징 벡터를 산출하는 단계;를 포함하고, 상기 복수개의 CCTV 각각에서 산출된 상기 특징 벡터가 기계 대 기계 방식에 따라 연동된 다른 CCTV에 전달되어, 지능적 연계를 통해 상기 관제 대상을 통합 추적 및 감시하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법은 상기 (d) 단계 이후에, 상기 특징 벡터 산출부가 상기 관제 대상에 대한 강화 학습 및 클라우딩 계산을 수행하는 단계; 및 상기 강화 학습 및 상기 클라우딩 계산된 결과가 상기 관제 센터 서버 내 빅 데이터베이스에 저장되는 단계;를 더 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법의 상기 (c) 단계는 (c-1) 상황 인지부가 상기 추출 데이터를 인가받아 상기 차영상을 분석하여 상기 상황 데이터를 출력하는 단계; (c-2) 대상 특징 분석부가 상기 추출 데이터를 인가받아 특징 기반 기법을 이용하여 상기 관제 대상의 인상 착의에 대한 상기 공간 특징을 추출하여 상기 특징 데이터를 출력하는 단계; 및 (c-3) 얼굴 인식부가 상기 추출 데이터를 인가받아 주요 성분 분석 기법을 이용하여 차원을 축소시키고, 상기 관제 대상의 상기 벡터 공간을 생성하여 상기 관제 대상의 얼굴을 판별하여 상기 얼굴 데이터를 출력하는 단계;를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법의 상기 (c-1) 단계에서 상기 관제 대상이 차량인 경우, 상기 영상 녹화부가 관제 구역의 일정 범위 지역에 대한 동영상을 실시간으로 촬영하여 상기 녹화 데이터를 생성하는 단계; 제어부가 상기 녹화 데이터를 인가받아 촬영 객체의 출현 여부를 판단하는 단계; 촬영 객체가 출현된 것으로 판단된 경우, 상기 제어부가 상기 촬영 객체를 촬영된 배경에서 분리하여 상기 촬영 객체가 차량인지 여부를 판단하고, 상기 촬영 객체의 이동 벡터를 산출하는 단계; 상기 촬영 객체가 차량인 것으로 판단된 경우, 상기 제어부가 상기 산출된 이동 벡터의 이동 방향 및 이동 속도를 판단하는 단계; 및 상기 판단된 이동 방향 및 이동 속도에 따라, 상기 제어부가 차량의 역주행 상황, 고장 상황 및 충돌 사고 상황 중 어느 하나 이상을 인지하는 단계;를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법은 상기 이동 방향이 역방향인 것으로 판단된 경우, 상기 제어부가 차량의 상기 역주행 상황으로 인지하는 단계; 상기 이동 속도가 일정시간 0인 것으로 판단된 경우, 상기 제어부가 차량의 상기 고장 상황으로 인지하는 단계; 및 상기 이동 속도가 일정시간 0이고, 2대 이상의 차량이 근접해 있는 것으로 판단된 경우, 상기 제어부가 차량의 상기 충돌 사고 상황으로 인지하는 단계;를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법의 상기 (c) 단계는 상기 이동 정보를 통해 상기 관제 대상의 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하는 단계; 및 상기 형상 정보를 통해 상기 관제 대상의 크기, 중심 위치, 색상 및 형태 중 어느 하나 이상에 대한 이진 라벨링 객체 성분을 분석하는 단계;를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법의 상기 (c-3) 단계는 상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법의 상기 (c-3) 단계는 상기 딥 러닝 기법의 학습 단계에서 상기 관제 대상의 얼굴 이미지들을 하나의 집합으로 취합하는 단계; 상기 취합된 얼굴 이미지들의 고유한 벡터를 찾는 단계; 상기 관제 대상과 유사한 패턴의 복수개의 고유한 얼굴을 선택하여 얼굴 영역에 상기 관제 대상의 얼굴 이미지를 투영하는 단계; 및 상기 딥 러닝 기법의 인식 단계에서 획득한 동일한 얼굴 영역에 새로운 얼굴을 상기 주요 성분 분석 기법에 의해 투영하여 상기 관제 대상의 얼굴을 판별하는 단계;를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법은 복수개의 CCTV 및 관제 센터 서버를 구비하는 영상 인식 시스템의 딥 러닝 기반 CCTV용 영상 인식 방법에 있어서, (a) 영상 녹화부가 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 단계; (b) 배경 추출부가 상기 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 하고 추출 데이터를 출력하는 단계; (c) 영상 분석부가 상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여, 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 단계; 및 (d) 특징 벡터 산출부가 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아, 딥러닝 기법을 이용하여 기 저장된 패턴과 비교하여 상기 관제 대상의 특징 벡터를 산출하는 단계;를 포함하고, 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터는 상기 관제 대상의 이미지 픽셀 정보의 열 벡터로 처리 및 전송되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법은 복수개의 CCTV 및 관제 센터 서버를 구비하는 영상 인식 시스템의 딥 러닝 기반 CCTV용 영상 인식 방법에 있어서, (a) 영상 녹화부가 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 단계; (b) 배경 추출부가 상기 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 하고 추출 데이터를 출력하는 단계; (c) 영상 분석부가 상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여, 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 단계; 및 (d) 특징 벡터 산출부가 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아, 딥러닝 기법을 이용하여 기 저장된 패턴과 비교하여 상기 관제 대상의 특징 벡터를 산출하는 단계;를 포함하고, 상기 특징 벡터 산출부는 상기 상황 데이터로부터 이벤트 유무 및 종류에 대한 데이터를, 상기 특징 데이터로부터 대상 특징 판정 데이터를, 상기 얼굴 데이터로부터 얼굴 여부 판정 및 인식 결과 데이터를 열 벡터로 변환하여 상기 특징 벡터를 산출하는 것을 특징으로 한다.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
본 발명에 의할 경우, 복수개의 CCTV로부터 획득되는 영상에 딥러닝기술을적용하여 상황 인지, 대상 특징, 얼굴 인식 등에 대해 빅 데이터베이스화가 가능하므로, 다양한 모니터 상황에 대해 자동으로 판단이 가능해 진다.
또한, 입력영상에대한 특징점을 정확하게 추출하여 영상 인식률을 향상시키고, 처리 및 전송할 데이터 용량을 최소화시키며, 종래의 CCTV 시스템이 관제 센터 서버와 영상 정보를 이미지 데이터로 전송할 때 수반되는 네트워크 트래픽을 획기적으로 감소시킬 수 있게 된다.
또한, 복수개의 CCTV 중 해당 고정형 CCTV의 시야에서 벗어나게 되어도 관제 센터 서버에서 관제 대상을 복수개의 CCTV 각각을 연이어 일일이 추적 확인하여 관제 대상의 이동 궤적을 추적 및 감시할 필요 없이 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태의 추적 및 감시가 가능하게 된다.
또한, 복수개의 CCTV 각각에서 분석 및 산출된 특징 벡터를 인접한 CCTV에 연속적으로 전달하므로, 특징 벡터를 수신한 CCTV에서 별도로 영상 재해석을 할 필요가 없어져 제품의 신뢰도 및 데이터 처리 속도가 향상된다.
도 1은 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 방법을 구현하기 위한 영상 인식 시스템의 블록도이다.
도 2는 도 1에 도시된 영상 인식 시스템 내 복수개의 CCTV(100-1 내지 100-N) 각각의 블록도이다.
도 3은 도 1 및 도 2에 도시된 영상 인식 시스템을 이용한 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 방법의 동작을 설명하기 위한 순서도이다.
도 4는 도 3에 도시된 딥 러닝 기반 CCTV용 영상 인식 방법 내 단계(S300)의 부분 동작을 설명하기 위한 순서도이다.
도 5는 도 4에 도시된 단계(S310)의 부분 동작을 설명하기 위한 순서도이다.
도 6은 도 5에 도시된 단계(S317) 및 단계(S318)의 부분 동작을 설명하기 위한 순서도이다.
도 7은 도 4에 도시된 단계(S330)의 부분 동작을 설명하기 위한 순서도이다.
도 8은 도 4에 도시된 단계(S330)의 부분 동작을 위한 얼굴 인식부(133)의 처리 과정에 대한 개념도이다.
도 9는 도 1에 도시된 영상 인식 장치 내 얼굴 인식부(133)의 동작 원리를 설명하기 위한 개념도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있다.
더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니다.
이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있다.
또한, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있다.
또한, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있다.
한편, 상기 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용된다.
하지만, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 한다.
또한, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
더욱이, 본 발명의 명세서에서는, "부", "기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미한다.
이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.
도 1은 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 방법을 구현하기 위한 영상 인식 시스템의 블록도로서, 복수개의 CCTV(100-1 내지 100-N), 광 링크부(200) 및 관제 센터 서버(300)를 구비하고, 관제 센터 서버(300)는 운영 단말기(310), 관제 상황판(320) 및 빅 데이터베이스(330)를 구비한다.
도 2는 도 1에 도시된 영상 인식 시스템 내 복수개의 CCTV(100-1 내지 100-N) 각각의 블록도로서, 영상 녹화부(110), 배경 추출부(120), 영상 분석부(130), 특징 벡터 산출부(140), 제어부(150) 및 인공 지능부(160)를 구비하고, 영상 분석부(130)는 상황 인지부(131), 대상 특징 분석부(132) 및 얼굴 인식부(133)를 포함한다.
도 3은 도 1 및 도 3에 도시된 영상 인식 시스템을 이용한 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 방법의 동작을 설명하기 위한 순서도이다.
도 1 내지 도 3을 참조하여 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 방법의 개략적인 동작을 설명하면 다음과 같다.
영상 녹화부(110)가 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력한다(S100).
배경 추출부(120)가 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 하고 추출 데이터를 출력한다(S200).
영상 분석부(130)가 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여, 관제 대상의 공간 특징을 추출하고 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력한다(S300).
특징 벡터 산출부(140)가 상황 데이터, 특징 데이터 및 얼굴 데이터를 인가받아, 딥러닝 기법을 이용하여 기 저장된 패턴과 비교하여 관제 대상의 특징 벡터를 산출한다(S400).
복수개의 CCTV 각각에서 산출된 특징 벡터가 기계 대 기계 방식에 따라 연동된 다른 CCTV에 전달되어, 지능적 연계를 통해 관제 대상을 통합 추적 및 감시한다(S500).
특징 벡터 산출부(140)는 관제 대상에 대한 강화 학습 및 클라우딩 계산(Clouding Computing)을 수행하여(S600) 관제 센터 서버(300)에 위치한 빅 데이터베이스(330)에 저장한다(S700).
본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 방법의 상세한 동작 설명은 후술하도록 한다.
도 4는 도 3에 도시된 딥 러닝 기반 CCTV용 영상 인식 방법 내 단계(S300)의 부분 동작을 설명하기 위한 순서도이다.
도 1 내지 도 4를 참조하여 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 방법 내 단계(S300)의 개략적인 동작을 설명하면 다음과 같다.
상황 인지부(131)가 추출 데이터를 인가받아 차영상을 분석하여 상황 데이터를 출력한다(S310).
대상 특징 분석부(132)가 추출 데이터를 인가받아 특징 기반 기법을 이용하여 관제 대상의 인상 착의에 대한 공간 특징을 추출하여 특징 데이터를 출력한다(S320).
얼굴 인식부(133)가 추출 데이터를 인가받아 주요 성분 분석 기법을 이용하여 차원을 축소시키고, 관제 대상의 벡터 공간을 생성하여 관제 대상의 얼굴을 판별하여 얼굴 데이터를 출력한다(S330).
도 5는 도 4에 도시된 단계(S310)의 부분 동작을 설명하기 위한 순서도이다.
도 1 내지 도 5를 참조하여 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법 내 단계(S310)의 개략적인 동작을 설명하면 다음과 같다.
먼저, 영상 녹화부(110)가 관제 구역의 일정 범위 지역에 대한 동영상을 실시간으로 촬영하여 녹화 데이터를 생성한다(S311).
제어부(150)가 녹화 데이터를 인가받아 촬영 객체의 출현 여부를 판단한다(S312).
촬영 객체가 출현된 것으로 판단된 경우(S313), 제어부(150)가 촬영 객체를 촬영된 배경에서 분리하여(S314) 촬영 객체가 차량인지 여부를 판단하고, 촬영 객체의 이동 벡터를 산출한다(S315).
촬영 객체가 차량인 것으로 판단된 경우(S316), 제어부(150)가 산출된 이동 벡터의 이동 방향 및 이동 속도를 판단한다(S317).
판단된 이동 방향 및 이동 속도에 따라, 제어부(150)가 차량의 역주행 상황, 고장 상황 및 충돌 사고 상황 중 어느 하나 이상을 인지한다(S318).
단계(S313)에서 촬영 객체가 출현된 것으로 판단되지 않은 경우 및 단계(S316)에서 촬영 객체가 차량인 것으로 판단되지 않은 경우, 단계(S311)로 궤환하여 이후 동작을 반복한다.
도 6은 도 5에 도시된 단계(S317) 및 단계(S318)의 부분 동작을 설명하기 위한 순서도이다.
도 1 내지 도 6을 참조하여 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 방법 내 단계(S317) 및 단계(S318)의 개략적인 동작을 설명하면 다음과 같다.
이동 방향이 역방향인 것으로 판단된 경우(S811), 제어부(150)가 차량의 역주행 상황으로 인지한다(S812).
이동 속도가 일정시간 0인 것으로 판단된 경우(S813), 제어부(150)가 차량의 고장 상황으로 인지한다(S814).
이동 속도가 일정시간 0이고, 2대 이상의 차량이 근접해 있는 것으로 판단된 경우(S815), 제어부(150)가 차량의 충돌 사고 상황으로 인지한다(S816).
단계(S813)에서 이동 속도가 일정시간 0인 것으로 판단되지 않은 경우 및 단계(S815)에서 2대 이상의 차량이 근접해 있는 것으로 판단되지 않은 경우, 단계(S811)로 궤환하여 이후 동작을 반복한다.
도 7은 도 4에 도시된 단계(S330)의 부분 동작을 설명하기 위한 순서도이다.
도 1 내지 도 7을 참조하여 본 발명의 딥 러닝 기반 CCTV용 영상 인식 방법 내 단계(S330)의 개략적인 동작을 설명하면 다음과 같다.
딥 러닝 기법의 학습 단계에서 관제 대상의 얼굴 이미지들을 하나의 집합으로 취합한다(S331).
이때, 취합된 얼굴 이미지들의 고유한 벡터를 찾는다(S332).
관제 대상과 유사한 패턴의 복수개의 고유한 얼굴을 선택하여(S333) 얼굴 영역에 관제 대상의 얼굴 이미지를 투영한다(S334).
딥 러닝 기법의 인식 단계에서 획득한 동일한 얼굴 영역에 새로운 얼굴을 주요 성분 분석 기법에 의해 투영하여(S335) 관제 대상의 얼굴을 판별한다(S336).
도 1 내지 도 7을 참조하여 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 방법의 상세한 동작을 구체적인 실시예를 들어 설명하면 다음과 같다.
먼저, 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 시스템이 설치된 관제 구역에 범죄 용의자로 의심되는 사람(이하, 관제 대상)이 진입했다고 가정한다.
영상 녹화부(110)는 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 관제 대상의 얼굴, 크기, 복장 등의 인상 착의에 대한 형상 정보 및 이동 방향, 이동 속도 등의 이동 정보에 대한 녹화 데이터를 출력한다.
이때, 영상 녹화부(110)에 내장된 카메라는 고정 가시 CCTV 카메라에 열적외선 카메라 및 이동추적 카메라를 일체형으로 구성하여 야간, 안개, 우천 등의 특이 상황에서도 정확한 영상 분석이 가능할 뿐 아니라, 자동 아날로그 줌-인(Zoom In)을 가능하게 하여 원거리에 위치한 관제 대상을 신속한 카메라 자세 제어와 고해상도로 촬영이 가능하다.
배경 추출부(120)는 영상 녹화부(110)로부터 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 및 등록하고, 추출 데이터를 출력한다.
상황 인지부(131)는 배경 추출부(120)로부터 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여 상황 데이터를 출력한다.
즉, 관제 대상의 이동 정보를 통해 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하고, 관제 대상의 형상 정보를 통해 크기, 중심 위치, 색상, 형태 등에 대한 이진 라벨링 객체(Binary Labeling Object: BLOB) 성분을 분석한다.
상황 인지부(131)의 동작에 대한 다양한 실시예에 대해서는 후술하도록 한다.
대상 특징 분석부(132)는 배경 추출부(120)로부터 추출 데이터를 인가받아 특징 기반 기법을 이용하여 관제 대상의 눈, 코, 입 등의 인상 착의에 대한 공간 특징을 추출하여 특징 데이터를 출력하고, 기하학을 이용하여 관제 대상의 외형에 대한 위치 및 공간 특성을 입력한다.
대상 특징 분석부(132)의 동작 원리에 대해서는 후술하도록 한다.
얼굴 인식부(133)는 배경 추출부(120)로부터 추출 데이터를 인가받아 주요 성분 분석 (Principal Component Analysis) 기법을 이용하여 차원을 축소시키고, 관제 대상의 벡터 공간을 생성한다.
즉, 학습 단계에서는 관제 대상인 사람의 얼굴 이미지들을 하나의 집합으로 취합하고, 취합된 얼굴 이미지들의 고유한 벡터를 찾은 후 관제 대상인 사람과 유사한 패턴의 m개의 고유한 얼굴을 선택하여 얼굴 영역에 관제 대상의 얼굴 이미지를 투영한다.
또한, 인식 단계에서는 학습 단계에서 획득한 동일한 얼굴 영역에 새로운 얼굴을 주요 성분 분석 기법에 의해 투영한다.
이때, 차원을 축소시키는 이유는 배경 추출부(120)로부터 인가받은 추출 데이터의 용량이 너무 방대하여 관제 대상의 중요한 특징만 추출하여 처리할 데이터 용량을 최소화시키기 위함이다.
따라서, 얼굴 인식부(133)는 학습 단계를 통해 관제 대상의 얼굴 벡터 공간을 구성하고, 인식 단계를 통해 관제 대상이 사람의 얼굴인지 여부와 누구의 얼굴인지를 판별하여 얼굴 데이터를 출력한다.
얼굴 인식부(133)의 동작 원리에 대해서는 후술하도록 한다.
특징 벡터 산출부(140)는 상황 인지부(131), 대상 특징 분석부(132), 얼굴 인식부(133) 각각으로부터 인지된 관제 대상의 상황 데이터, 분석된 특징 데이터, 인식된 얼굴 데이터를 인가받아, 인공 지능부(160)의 딥러닝(Deep Learning) 동작과 연동되어 빅 데이터베이스(330)에 기 저장된 패턴과 비교하여 관제 대상의 특징 벡터를 산출한다.
즉, 인공 신경망(Artificial neural network)에 형성되어 있는 신경 레이어(Layer)들을 상호 연결하여 빅 데이터베이스(330)에 기 저장된 패턴 중 관제 대상과 유사한 패턴이 인가되면 해당 신경 레이어에 가중치(Weight)를 더하는 등 학습 과정에 의해 심층 신경망이 조정 및 업데이트된다.
본 실시예의 경우, 관제 대상의 인지된 상황 데이터, 분석된 특징 데이터, 인식된 얼굴 데이터는 단순히 이미지의 픽셀 데이터로 처리 및 전송되지 않고, 컴퓨터가 인지할 수 있는 형태인 관제 대상의 이미지 픽셀 정보의 열 벡터로 처리 및 전송되어 학습에 적용된다.
따라서, 특징 벡터 산출부(140)는 인지된 관제 대상의 상황 데이터로부터 이벤트 유무 및 종류에 대한 데이터와, 분석된 관제 대상의 특징 데이터로부터 대상 특징 판정 데이터 및 인식된 관제 대상의 얼굴 데이터로부터 얼굴 여부 판정 및 인식 결과 데이터를 열 벡터로 변환하여 관제 대상의 특징 벡터를 산출한다.
이를 통하여 종래의 복수개의 CCTV 시스템이 관제 센터 서버(300)와 영상 정보를 이미지 데이터로 전송할 때 수반되는 네트워크 트래픽을 획기적으로 감소시킬 수 있게 된다.
이와 같은 과정을 통해 복수개의 CCTV 각각에서 산출된 특징 벡터는 기계 대 기계(Machine To Machine, M2M) 방식에 따라 연동된 다른 CCTV에 광 링크부(200)를 통해 전달되어 CCTV 모듈 간 지능적 연계를 통해 통합 연동된 형태의 추적 및 감시를 하게 된다.
예를 들어, 복수개의 CCTV 중 제1 관제 구역에 설치된 제1 CCTV에서 범죄 용의자로 의심되는 관제 대상을 포착하여 영상 녹화부(110), 배경 추출부(120), 상황 인지부(131), 대상 특징 분석부(132), 얼굴 인식부(133) 및 특징 벡터 산출부(140)가 인공 지능부(160)와 연동하여 최종 산출한 관제 대상의 특징 벡터를 제2 내지 제N 관제 구역에 설치된 제2 내지 제N CCTV에 연속적으로 전달한다.
이를 통하여 복수개의 CCTV 중 해당 고정형 CCTV의 시야에서 관제 대상이 벗어나게 되어도 관제 센터 서버(300)에서 관제 대상을 복수개의 CCTV 각각을 연이어 일일이 추적 확인하여 관제 대상의 이동 궤적을 추적 및 감시할 필요 없이 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태의 관제 대상의 추적 및 감시가 가능하게 된다.
또한, 복수개의 CCTV 각각에서 분석 및 산출된 관제 대상의 특징 벡터를 인접한 CCTV에 연속적으로 전달하므로, 관제 대상의 특징 벡터를 수신한 CCTV에서 별도로 영상 재해석을 할 필요가 없어진다.
한편, 특징 벡터 산출부(140)는 관제 대상에 대한 강화 학습 및 클라우딩 계산(Clouding Computing)을 수행하여 관제 센터 서버(300)에 위치한 빅 데이터베이스(330)에 저장한다.
이렇게 빅 데이터베이스(330)에 저장된 데이터는 추후 또 다른 인식 단계에서 수많은 데이터 속에서 데이터의 군집화 및 분류를 통해 관제 대상의 형상의 패턴을 발견하여 관제 대상의 정확한 형상의 예측에 활용된다.
상황 인지부(131)의 동작
도 4는 도 3에 도시된 딥 러닝 기반 CCTV용 영상 인식 방법 내 단계(S300)의 부분 동작을 설명하기 위한 순서도이다.
도 5는 도 4에 도시된 단계(S310)의 부분 동작을 설명하기 위한 순서도이다.
예를 들어, 관제 대상이 사람이 아닌 차량으로서, 교통 관제 센터에 본 발명의 영상 인식 시스템이 설치한 경우, 도 4 및 도 5에 도시된 알고리즘에 따라 차량의 역주행, 고장 및 사고 여부에 대한 상황을 인지한다.
즉, 영상 녹화부(110)는 관제 구역의 일정 범위 지역에 대한 동영상을 실시간으로 촬영하여 영상 정보를 생성하면, 제어부(150)는 영상 녹화부(110)로부터 촬영되는 영상 정보를 인가받아 촬영 객체의 출현 여부를 판단한다.
제어부(150)는 촬영된 객체를 촬영된 배경에서 분리하여 촬영 객체가 관제 대상인 차량인지 여부를 판단하고, 촬영 객체의 이동 벡터를 산출한다.
촬영 객체가 차량인 것으로 판단된 경우 제어부(150)에서 산출된 이동 벡터의 이동 방향을 판단하고, 차량이 아닌 것으로 판단된 경우 단계(S200)로 궤환한다.
이동 벡터의 이동 방향이 역방향인 것으로 판단된 경우 제어부(150)는 차량이 비정상적인 역주행 중인 것으로 인지하고, 이동 방향이 순방향인 것으로 판단된 경우 제어부(150)는 차량이 정상적인 정주행 중인 것으로 인지한다.
또한, 제어부(150)에서 감지된 이동 벡터의 이동 속도를 판단하여 이동 속도가 일정시간 0인 경우 차량이 고장인 상황으로 인지한다.
만일, 단계(S200)에서 제어부(150)에서 판단된 이동 벡터의 이동 속도가 일정시간 0인 동시에 2대 이상의 차량이 근접해 있는 것으로 판단된 경우 차량이 충돌 사고인 상황으로 인지한다.
그 밖에, 상황 인지부(131)는 어떤 혼잡한 상황에서도 위험상 상황을 인지하고 판별할 수 있다.
예를 들어, 백화점, 할인점, 공연장 등 공적 책임이 따르는 장소에서 고객 및 직원의 미끄러짐을 감지하고, 교량, 선박에서의 차량 또는 사람의 추락, 자살 시도 등을 감지할 수 있다.
상황 인지부(131)는 비 혼잡지역에서도 의심스런 상황을 인지하고 판별할 수 있다.
예를 들어, 은행, 박물관 등 관제 구역 내에서 배회하는 사람을 감시하다가 침입, 절도, 방화, 도주 행위 등 수상 행동을 감지할 수 있고, 비 혼잡지역에 방치된 물체를 감지하여 잠재적 폭탄이나 분실물 등을 판별할 수 있다.
상황 인지부(131)는 공공 장소에서 군중 수를 계산하고 과도한 군중시 과밀 상황을 인지하고 경보할 수 있다.
예를 들어, 백화점, 쇼핑 센터, 공연장 등 일정 공간 안에서의 인원을 계산 하여, 일정 인원 초과시(% 혹은 수량) 경보 발생으로 사전 안전을 확보할 수 있다.
대상 특징 분석부(132)의 동작 원리
대상 특징 분석부(132)는 특징 기반 방법을 이용하여 공간 특징(눈, 코, 입)을 먼저 추출한 후, 공간 특징들의 위치와 공간 특성(기하학과 외형)을 입력한다.
보통 얼굴에 많은 특징들이 있고 대부분의 얼굴 인식 결과의 성능은 얼굴 인식을 위하여 최적의 특징들을 어떻게 선택하는지에 의해서 결정해야 하기 때문에 특징 기반 방법의 대부분은 복잡하다.
하지만, 순전한 기하학적 방법, 동적 연결 구조 방법, 숨겨진 마코브 모델 방법은 전체론적인 매칭 방법보다 더 좋은 성능을 가진다.
먼저, 순전한 기하학적 방법은 실제적인 얼굴 특징(눈, 코, 입)을 사람 얼굴의 관점과 이런 특징들의 기하학적인 설계로 만든다.
즉, 눈, 코, 입의 위치 관계와 눈과 코 거리, 눈과 입 거리를 이용하여 얼굴을 인식한다.
다음으로, 동적 연결 구조 방법은 탄력 있는 묶음의 그래프 매치에 의해 개별적인 얼굴을 나타내기 위하여 그래프 이미지를 사용하여 동적 연결 구조를 만든다.
하나의 얼굴 이미지를 나타내기 위한 이미지 그래프는 에지에 의해 다양하게 연결된 노드들이 기하학적으로 구성된다.
복잡한 가보 파형 계수의 한 집합의 각 노드는 공간 특징들로서 사용되고, 학습되는 이미지들의 집합은 복수개의 이미지에서 일치하는 이미지 그래프 묶음에 의해 나타나진다.
마지막으로, 숨겨진 마코브 모델 방법은 관찰의 결과에서 한 집합에 대하여 통계적인 모델을 제공한다.
숨겨진 마코브 모델의 파라미터들은 얼굴을 위한 통계적 모델의 형태로 설계될 수 있고, 하나 또는 그 이상의 학습 관찰 결과가 주어진다.
숨겨진 마코브 모델의 인식을 사용하기 위하여, 관찰 결과는 알려지지 않은 얼굴로부터 추출된 후, 숨겨진 마코브 모델은 동일하게 각 얼굴이 계산된 것에 의해 생성된다.
숨겨진 마코브 모델 방법은 가장 높은 동일성을 가질 때 알려지지 않은 얼굴의 신원을 확인할 수 있다.
얼굴 인식부(133)의 동작 원리
도 7은 도 4에 도시된 단계(S330)의 부분 동작을 설명하기 위한 순서도이다.
도 8은 도 4에 도시된 단계(S330)의 부분 동작을 위한 얼굴 인식부(133)의 처리 과정에 대한 개념도이다.
도 9는 도 1에 도시된 영상 인식 장치 내 얼굴 인식부(133)의 동작 원리를 설명하기 위한 개념도이다.
도 7 및 도 8에서 보는 바와 같이, 관제 대상의 얼굴을 인식하기 위해 얼굴 인식부(133)는 하나의 이미지를 처리한다.
특징 점의 패턴을 결정하고, 다른 사람들로부터 다른 개별적인 포인트를 만든다.
얼굴의 평균값 기반의 랜덤 한 패턴을 만들어 각각 선택된 것에 대하여 얼굴 이미지와 인식하기 위한 목표 얼굴을 비교한다.
양 얼굴이 매치되지 않으면 목표 얼굴과 일치하는 얼굴을 만들 때까지 새로운 패턴들을 생성한다.
목표 얼굴과 일치하는 얼굴을 검색하여 실제 관제 대상의 얼굴과의 일치를 위하여 빅 데이터베이스(330)를 써치한다.
도 9에서 보는 바와 같이, 얼굴 인식부(133)는 얼굴 벡터 공간 상(on the face vector space)에 위치하는 제1 및 제2 관제 대상(SO1, SO2)을 얼굴로 인식한다.
그리고, 얼굴 벡터 공간의 상부(off the face vector space)에 위치하는 제3 및 제4 관제 대상(SO3, SO4)을 얼굴이 아닌 것으로 인식한다.
본 실시예에서는 얼굴로 인식된 제1 및 제2 관제 대상(SO1, SO2) 중에 제1 관제 대상(SO1)만 학습 단계에서 학습되어 있다고 가정한다.
따라서, 얼굴 인식부(133)는 제1 관제 대상(SO1)을 학습된 얼굴들 중 제1 얼굴(F1)로 인식되고, 제2 관제 대상(SO2)은 학습된 얼굴들 중에서 발견되지 않으므로 빅 데이터베이스(330)에 새 얼굴(F2)로 등록되어 추후 인식 단계에서 활용된다.
이와 같이, 본 발명은 복수개의 CCTV에딥러닝기술을적용하여 관제 구역을 감시 요원 없이 실시간으로 자동 모니터링하고, 각 CCTV에 입력되는영상에대한특징점 벡터를 추출하여 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태의 추적 및 감시를 할 수 있는 딥 러닝 기반 CCTV용 영상 인식 방법을 제공한다.
이를 통하여, 복수개의 CCTV로부터 획득되는 영상에 딥러닝기술을적용하여 상황 인지, 대상 특징, 얼굴 인식 등에 대해 빅 데이터베이스화가 가능하므로, 다양한 모니터 상황에 대해 자동으로 판단이 가능해 진다.
또한, 입력영상에대한 특징점을 정확하게 추출하여 영상 인식률을 향상시키고, 처리 및 전송할 데이터 용량을 최소화시키며, 종래의 CCTV 시스템이 관제 센터 서버와 영상 정보를 이미지 데이터로 전송할 때 수반되는 네트워크 트래픽을 획기적으로 감소시킬 수 있게 된다.
또한, 복수개의 CCTV 중 해당 고정형 CCTV의 시야에서 벗어나게 되어도 관제 센터 서버에서 관제 대상을 복수개의 CCTV 각각을 연이어 일일이 추적 확인하여 관제 대상의 이동 궤적을 추적 및 감시할 필요 없이 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태의 추적 및 감시가 가능하게 된다.
또한, 복수개의 CCTV 각각에서 분석 및 산출된 특징 벡터를 인접한 CCTV에 연속적으로 전달하므로, 특징 벡터를 수신한 CCTV에서 별도로 영상 재해석을 할 필요가 없어져 제품의 신뢰도 및 데이터 처리 속도가 향상된다.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
100-1 내지 100-N: 복수개의 CCTV
110 : 영상 녹화부
120 : 배경 추출부
130 : 영상 분석부
131 : 상황 인지부
132 : 대상 특징 분석부
133 : 얼굴 인식부
140 : 특징 벡터 산출부
150 : 제어부
160 : 인공 지능부
200 : 광 링크부
300 : 관제 센터 서버
310 : 운영 단말기
320 : 관제 상황판
330 : 빅 데이터베이스

Claims (9)

  1. 복수개의 CCTV 및 관제 센터 서버를 구비하는 영상 인식 시스템의 딥 러닝 기반 CCTV용 영상 인식 방법에 있어서,
    (a) 영상 녹화부가 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 단계;
    (b) 배경 추출부가 상기 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 하고 추출 데이터를 출력하는 단계;
    (c) 영상 분석부가 상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여, 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 단계; 및
    (d) 특징 벡터 산출부가 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아, 딥러닝 기법을 이용하여 기 저장된 패턴과 비교하여 상기 관제 대상의 특징 벡터를 산출하는 단계;
    를 포함하고,
    상기 (c) 단계는
    상기 이동 정보를 통해 상기 관제 대상의 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하는 단계; 및
    상기 형상 정보를 통해 상기 관제 대상의 크기, 중심 위치, 색상 및 형태 중 어느 하나 이상에 대한 이진 라벨링 객체 성분을 분석하는 단계;
    를 포함하며,
    상기 복수개의 CCTV 각각에서 산출된 상기 특징 벡터가 기계 대 기계 방식에 따라 연동된 다른 CCTV에 전달되어, 지능적 연계를 통해 상기 관제 대상을 통합 추적 및 감시하는 것을 특징으로 하는,
    딥 러닝 기반 CCTV용 영상 인식 방법.
  2. 제 1 항에 있어서,
    상기 (d) 단계 이후에,
    상기 특징 벡터 산출부가 상기 관제 대상에 대한 강화 학습 및 클라우딩 계산을 수행하는 단계; 및
    상기 강화 학습 및 상기 클라우딩 계산된 결과가 상기 관제 센터 서버 내 빅 데이터베이스에 저장되는 단계;
    를 더 포함하는 것을 특징으로 하는,
    딥 러닝 기반 CCTV용 영상 인식 방법.
  3. 제 1 항에 있어서,
    상기 (c) 단계는
    (c-1) 상황 인지부가 상기 추출 데이터를 인가받아 상기 차영상을 분석하여 상기 상황 데이터를 출력하는 단계;
    (c-2) 대상 특징 분석부가 상기 추출 데이터를 인가받아 특징 기반 기법을 이용하여 상기 관제 대상의 인상 착의에 대한 상기 공간 특징을 추출하여 상기 특징 데이터를 출력하는 단계; 및
    (c-3) 얼굴 인식부가 상기 추출 데이터를 인가받아 주요 성분 분석 기법을 이용하여 차원을 축소시키고, 상기 관제 대상의 상기 벡터 공간을 생성하여 상기 관제 대상의 얼굴을 판별하여 상기 얼굴 데이터를 출력하는 단계;
    를 포함하는 것을 특징으로 하는,
    딥 러닝 기반 CCTV용 영상 인식 방법.
  4. 제 3 항에 있어서,
    상기 (c-1) 단계에서
    상기 관제 대상이 차량인 경우,
    상기 영상 녹화부가 관제 구역의 일정 범위 지역에 대한 동영상을 실시간으로 촬영하여 상기 녹화 데이터를 생성하는 단계;
    제어부가 상기 녹화 데이터를 인가받아 촬영 객체의 출현 여부를 판단하는 단계;
    촬영 객체가 출현된 것으로 판단된 경우, 상기 제어부가 상기 촬영 객체를 촬영된 배경에서 분리하여 상기 촬영 객체가 차량인지 여부를 판단하고, 상기 촬영 객체의 이동 벡터를 산출하는 단계;
    상기 촬영 객체가 차량인 것으로 판단된 경우, 상기 제어부가 상기 산출된 이동 벡터의 이동 방향 및 이동 속도를 판단하는 단계; 및
    상기 판단된 이동 방향 및 이동 속도에 따라, 상기 제어부가 차량의 역주행 상황, 고장 상황 및 충돌 사고 상황 중 어느 하나 이상을 인지하는 단계;
    를 포함하는 것을 특징으로 하는,
    딥 러닝 기반 CCTV용 영상 인식 방법.
  5. 제 4 항에 있어서,
    상기 영상 인식 방법은
    상기 이동 방향이 역방향인 것으로 판단된 경우, 상기 제어부가 차량의 상기 역주행 상황으로 인지하는 단계;
    상기 이동 속도가 일정시간 0인 것으로 판단된 경우, 상기 제어부가 차량의 상기 고장 상황으로 인지하는 단계; 및
    상기 이동 속도가 일정시간 0이고, 2대 이상의 차량이 근접해 있는 것으로 판단된 경우, 상기 제어부가 차량의 상기 충돌 사고 상황으로 인지하는 단계;
    를 포함하는 것을 특징으로 하는,
    딥 러닝 기반 CCTV용 영상 인식 방법.
  6. 삭제
  7. 제 3 항에 있어서,
    상기 (c-3) 단계는
    상기 딥 러닝 기법의 학습 단계에서 상기 관제 대상의 얼굴 이미지들을 하나의 집합으로 취합하는 단계;
    상기 취합된 얼굴 이미지들의 고유한 벡터를 찾는 단계;
    상기 관제 대상과 유사한 패턴의 복수개의 고유한 얼굴을 선택하여 얼굴 영역에 상기 관제 대상의 얼굴 이미지를 투영하는 단계; 및
    상기 딥 러닝 기법의 인식 단계에서 획득한 동일한 얼굴 영역에 새로운 얼굴을 상기 주요 성분 분석 기법에 의해 투영하여 상기 관제 대상의 얼굴을 판별하는 단계;
    를 포함하는 것을 특징으로 하는,
    딥 러닝 기반 CCTV용 영상 인식 방법.
  8. 복수개의 CCTV 및 관제 센터 서버를 구비하는 영상 인식 시스템의 딥 러닝 기반 CCTV용 영상 인식 방법에 있어서,
    (a) 영상 녹화부가 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 단계;
    (b) 배경 추출부가 상기 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 하고 추출 데이터를 출력하는 단계;
    (c) 영상 분석부가 상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여, 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 단계; 및
    (d) 특징 벡터 산출부가 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아, 딥러닝 기법을 이용하여 기 저장된 패턴과 비교하여 상기 관제 대상의 특징 벡터를 산출하는 단계;
    를 포함하고,
    상기 (c) 단계는
    상기 이동 정보를 통해 상기 관제 대상의 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하는 단계; 및
    상기 형상 정보를 통해 상기 관제 대상의 크기, 중심 위치, 색상 및 형태 중 어느 하나 이상에 대한 이진 라벨링 객체 성분을 분석하는 단계;
    를 포함하며,
    상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터는 상기 관제 대상의 이미지 픽셀 정보의 열 벡터로 처리 및 전송되는 것을 특징으로 하는,
    딥 러닝 기반 CCTV용 영상 인식 방법.
  9. 복수개의 CCTV 및 관제 센터 서버를 구비하는 영상 인식 시스템의 딥 러닝 기반 CCTV용 영상 인식 방법에 있어서,
    (a) 영상 녹화부가 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 단계;
    (b) 배경 추출부가 상기 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 하고 추출 데이터를 출력하는 단계;
    (c) 영상 분석부가 상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여, 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 단계; 및
    (d) 특징 벡터 산출부가 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아, 딥러닝 기법을 이용하여 기 저장된 패턴과 비교하여 상기 관제 대상의 특징 벡터를 산출하는 단계;
    를 포함하고,
    상기 (c) 단계는
    상기 이동 정보를 통해 상기 관제 대상의 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하는 단계; 및
    상기 형상 정보를 통해 상기 관제 대상의 크기, 중심 위치, 색상 및 형태 중 어느 하나 이상에 대한 이진 라벨링 객체 성분을 분석하는 단계;
    를 포함하며,
    상기 특징 벡터 산출부는 상기 상황 데이터로부터 이벤트 유무 및 종류에 대한 데이터를, 상기 특징 데이터로부터 대상 특징 판정 데이터를, 상기 얼굴 데이터로부터 얼굴 여부 판정 및 인식 결과 데이터를 열 벡터로 변환하여 상기 특징 벡터를 산출하는 것을 특징으로 하는,
    딥 러닝 기반 CCTV용 영상 인식 방법.

KR1020170081211A 2017-06-27 2017-06-27 딥 러닝 기반 cctv용 영상 인식 방법 KR101850286B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170081211A KR101850286B1 (ko) 2017-06-27 2017-06-27 딥 러닝 기반 cctv용 영상 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170081211A KR101850286B1 (ko) 2017-06-27 2017-06-27 딥 러닝 기반 cctv용 영상 인식 방법

Publications (1)

Publication Number Publication Date
KR101850286B1 true KR101850286B1 (ko) 2018-04-19

Family

ID=62087772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170081211A KR101850286B1 (ko) 2017-06-27 2017-06-27 딥 러닝 기반 cctv용 영상 인식 방법

Country Status (1)

Country Link
KR (1) KR101850286B1 (ko)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942808B1 (ko) 2018-11-13 2019-01-29 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR102011402B1 (ko) 2018-08-21 2019-08-16 한밭대학교 산학협력단 쿠다를 사용하여 gpu 리소스를 분배하는 지능형 얼굴 인식과 트래킹 시스템
KR102015959B1 (ko) 2018-08-16 2019-08-28 주식회사 플랜비 사물 인터넷 카메라를 이용하는 딥러닝 기반의 지능형 방범 시스템 및 그의 처리 방법
KR20190125624A (ko) * 2018-04-30 2019-11-07 서울대학교산학협력단 딥-러닝을 통한 무선신호 전파 채널 해석을 이용한 실내공간의 구조를 예측하는 방법
KR20190143527A (ko) 2018-06-08 2019-12-31 부산대학교 산학협력단 머신 러닝을 통한 영상 인식을 위한 장치 및 방법
KR20200046152A (ko) 2018-10-16 2020-05-07 서울시립대학교 산학협력단 얼굴 인식 방법 및 얼굴 인식 장치
KR20200058260A (ko) 2019-01-18 2020-05-27 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
KR20200063298A (ko) 2018-11-19 2020-06-05 주식회사 코아아이티 머신 러닝을 이용한 반입/반출 금지물 자동 판별 장치
KR20200071886A (ko) * 2018-12-06 2020-06-22 이노뎁 주식회사 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
KR102127276B1 (ko) 2018-12-11 2020-06-26 주식회사 인텔리빅스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR20200094844A (ko) 2019-01-23 2020-08-10 한국전자통신연구원 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법
KR20200094818A (ko) 2019-01-17 2020-08-10 주식회사 엠제이비전테크 인공지능 기반 차량 검색 시스템
KR20200103194A (ko) * 2019-02-18 2020-09-02 세종대학교산학협력단 영상 기반 비정상 상황 모니터링 방법 및 시스템
JP2020140591A (ja) * 2019-03-01 2020-09-03 ＫＢ−ｅｙｅ株式会社 管理サーバ、交通制御システム、交通制御方法および交通制御プログラム
KR102201096B1 (ko) 2020-06-11 2021-01-11 주식회사 인텔리빅스 실시간 cctv 영상분석장치 및 그 장치의 구동방법
CN113158847A (zh) * 2021-04-07 2021-07-23 深圳市金泉和科技有限公司 一种基于人工智能的不安全行为检测方法
KR20210103210A (ko) 2020-02-13 2021-08-23 주식회사 인텔리빅스 영상처리장치 및 그 장치의 구동방법
KR20210117637A (ko) * 2020-03-19 2021-09-29 주식회사 아이오라이트 딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 방법 및 이를 이용한 데이터 전송 방법
CN113536846A (zh) * 2020-04-17 2021-10-22 无锡锦铖人工智能科技有限公司 一种跨摄像头人员追踪智能分析系统
KR102350381B1 (ko) 2021-04-20 2022-01-12 진테크이엔지(주) 인공지능 기반 선박 안전관리 시스템
CN114113198A (zh) * 2020-09-01 2022-03-01 中国石油化工股份有限公司 用于测试岩石流体包裹体均一温度的方法及系统
KR102374174B1 (ko) * 2020-12-28 2022-03-14 주식회사 세원이앤티 스마트 방화문
KR102383377B1 (ko) 2021-06-02 2022-04-08 (주)트루엔 차량용 번호판을 인식하기 위한 전자 장치
KR20220072316A (ko) 2020-11-25 2022-06-02 주식회사 넥스트케이 다객체의 이벤트 검출을 위한 영상분석장치 및 그 장치의 구동방법
KR102432673B1 (ko) * 2022-03-14 2022-08-16 케이원에코텍 주식회사 Cctv 영상을 이용하여 수영장에서 뛰는 사람을 감시하는 모니터링 및 안전경보 시스템
KR102432675B1 (ko) * 2022-03-14 2022-08-16 케이원에코텍 주식회사 Cctv 영상을 이용한 수영장 입수자의 이상징후 및 익사사고 모니터링 및 안전경보 시스템
US11527000B2 (en) 2020-01-22 2022-12-13 Korea Institute Of Science And Technology System and method for re-identifying target object based on location information of CCTV and movement information of object
US11657272B2 (en) 2019-07-15 2023-05-23 Hyundai Motor Company Apparatus for crash performance prediction and method thereof
KR20230075538A (ko) * 2021-11-23 2023-05-31 숭실대학교산학협력단 객체 추적 장치 및 방법
WO2023096084A1 (ko) * 2021-11-25 2023-06-01 한국전자기술연구원 엣지 기반 cctv에서 주변 환경정보에 최적화된 ai 모델을 선택 및 적용하여 영상을 분석하는 시스템 및 방법
KR102624302B1 (ko) * 2023-04-05 2024-01-15 주식회사 상상이노베이션 범죄 예방을 위한 고보조명 시스템 및 조명 출력 제어 방법
WO2024075950A1 (ko) * 2022-10-07 2024-04-11 한국전자기술연구원 엣지 cctv를 위한 엣지 ai 모델 생성 방법 및 시스템
KR20240079248A (ko) 2022-11-28 2024-06-05 포항공과대학교 산학협력단 도로위험 안내 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743689B1 (ko) * 2016-09-07 2017-06-07 주식회사 엠제이비전테크 통합 방범 지능형 cctv의 영상 처리 방법 및 통합 방범 지능형 cctv 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743689B1 (ko) * 2016-09-07 2017-06-07 주식회사 엠제이비전테크 통합 방범 지능형 cctv의 영상 처리 방법 및 통합 방범 지능형 cctv 시스템

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190125624A (ko) * 2018-04-30 2019-11-07 서울대학교산학협력단 딥-러닝을 통한 무선신호 전파 채널 해석을 이용한 실내공간의 구조를 예측하는 방법
KR102114033B1 (ko) * 2018-04-30 2020-05-25 서울대학교 산학협력단 딥-러닝을 통한 무선신호 전파 채널 해석을 이용한 실내공간의 구조를 예측하는 방법
KR20190143527A (ko) 2018-06-08 2019-12-31 부산대학교 산학협력단 머신 러닝을 통한 영상 인식을 위한 장치 및 방법
KR102015959B1 (ko) 2018-08-16 2019-08-28 주식회사 플랜비 사물 인터넷 카메라를 이용하는 딥러닝 기반의 지능형 방범 시스템 및 그의 처리 방법
KR102011402B1 (ko) 2018-08-21 2019-08-16 한밭대학교 산학협력단 쿠다를 사용하여 gpu 리소스를 분배하는 지능형 얼굴 인식과 트래킹 시스템
KR20200046152A (ko) 2018-10-16 2020-05-07 서울시립대학교 산학협력단 얼굴 인식 방법 및 얼굴 인식 장치
KR101942808B1 (ko) 2018-11-13 2019-01-29 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR20200063298A (ko) 2018-11-19 2020-06-05 주식회사 코아아이티 머신 러닝을 이용한 반입/반출 금지물 자동 판별 장치
KR102187376B1 (ko) 2018-12-06 2020-12-04 이노뎁 주식회사 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
KR20200071886A (ko) * 2018-12-06 2020-06-22 이노뎁 주식회사 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
KR102127276B1 (ko) 2018-12-11 2020-06-26 주식회사 인텔리빅스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR20200094818A (ko) 2019-01-17 2020-08-10 주식회사 엠제이비전테크 인공지능 기반 차량 검색 시스템
KR20200058260A (ko) 2019-01-18 2020-05-27 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
KR20200094844A (ko) 2019-01-23 2020-08-10 한국전자통신연구원 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법
KR20200103194A (ko) * 2019-02-18 2020-09-02 세종대학교산학협력단 영상 기반 비정상 상황 모니터링 방법 및 시스템
KR102172239B1 (ko) * 2019-02-18 2020-10-30 세종대학교산학협력단 영상 기반 비정상 상황 모니터링 방법 및 시스템
JP2020140591A (ja) * 2019-03-01 2020-09-03 ＫＢ−ｅｙｅ株式会社 管理サーバ、交通制御システム、交通制御方法および交通制御プログラム
US11657272B2 (en) 2019-07-15 2023-05-23 Hyundai Motor Company Apparatus for crash performance prediction and method thereof
US11527000B2 (en) 2020-01-22 2022-12-13 Korea Institute Of Science And Technology System and method for re-identifying target object based on location information of CCTV and movement information of object
KR20210103210A (ko) 2020-02-13 2021-08-23 주식회사 인텔리빅스 영상처리장치 및 그 장치의 구동방법
KR102311805B1 (ko) * 2020-03-19 2021-10-12 주식회사 아이오라이트 딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 방법 및 이를 이용한 데이터 전송 방법
KR20210117637A (ko) * 2020-03-19 2021-09-29 주식회사 아이오라이트 딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 방법 및 이를 이용한 데이터 전송 방법
CN113536846A (zh) * 2020-04-17 2021-10-22 无锡锦铖人工智能科技有限公司 一种跨摄像头人员追踪智能分析系统
CN113536846B (zh) * 2020-04-17 2023-08-15 平湖神州博海科技有限公司 一种跨摄像头人员追踪智能分析系统
KR102201096B1 (ko) 2020-06-11 2021-01-11 주식회사 인텔리빅스 실시간 cctv 영상분석장치 및 그 장치의 구동방법
CN114113198A (zh) * 2020-09-01 2022-03-01 中国石油化工股份有限公司 用于测试岩石流体包裹体均一温度的方法及系统
KR20220072316A (ko) 2020-11-25 2022-06-02 주식회사 넥스트케이 다객체의 이벤트 검출을 위한 영상분석장치 및 그 장치의 구동방법
KR102374174B1 (ko) * 2020-12-28 2022-03-14 주식회사 세원이앤티 스마트 방화문
CN113158847A (zh) * 2021-04-07 2021-07-23 深圳市金泉和科技有限公司 一种基于人工智能的不安全行为检测方法
KR102350381B1 (ko) 2021-04-20 2022-01-12 진테크이엔지(주) 인공지능 기반 선박 안전관리 시스템
KR102383377B1 (ko) 2021-06-02 2022-04-08 (주)트루엔 차량용 번호판을 인식하기 위한 전자 장치
KR20230075538A (ko) * 2021-11-23 2023-05-31 숭실대학교산학협력단 객체 추적 장치 및 방법
KR102647320B1 (ko) * 2021-11-23 2024-03-12 숭실대학교산학협력단 객체 추적 장치 및 방법
WO2023096084A1 (ko) * 2021-11-25 2023-06-01 한국전자기술연구원 엣지 기반 cctv에서 주변 환경정보에 최적화된 ai 모델을 선택 및 적용하여 영상을 분석하는 시스템 및 방법
KR102432673B1 (ko) * 2022-03-14 2022-08-16 케이원에코텍 주식회사 Cctv 영상을 이용하여 수영장에서 뛰는 사람을 감시하는 모니터링 및 안전경보 시스템
KR102432675B1 (ko) * 2022-03-14 2022-08-16 케이원에코텍 주식회사 Cctv 영상을 이용한 수영장 입수자의 이상징후 및 익사사고 모니터링 및 안전경보 시스템
WO2024075950A1 (ko) * 2022-10-07 2024-04-11 한국전자기술연구원 엣지 cctv를 위한 엣지 ai 모델 생성 방법 및 시스템
KR20240079248A (ko) 2022-11-28 2024-06-05 포항공과대학교 산학협력단 도로위험 안내 시스템 및 그 방법
KR102624302B1 (ko) * 2023-04-05 2024-01-15 주식회사 상상이노베이션 범죄 예방을 위한 고보조명 시스템 및 조명 출력 제어 방법

Similar Documents

Publication Publication Date Title
KR101850286B1 (ko) 딥 러닝 기반 cctv용 영상 인식 방법
Yogameena et al. Computer vision based crowd disaster avoidance system: A survey
KR102172239B1 (ko) 영상 기반 비정상 상황 모니터링 방법 및 시스템
WO2008103206A1 (en) Surveillance systems and methods
KR20200017594A (ko) 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법
KR101814040B1 (ko) 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치
Dung et al. Algorithm for fire detection using a camera surveillance system
CN114359976B (zh) 一种基于人物识别的智能安防方法与装置
Jang et al. Detection of dangerous situations using deep learning model with relational inference
Mukto et al. Design of a real-time crime monitoring system using deep learning techniques
Siddique et al. Analysis of real-time hostile activitiy detection from spatiotemporal features using time distributed deep CNNs, RNNs and attention-based mechanisms
Dwivedi et al. A novel approach for suspicious activity detection with deep learning
KR102286229B1 (ko) 특징벡터 기반 싸움 이벤트 인식 방법
KR20130047131A (ko) 이동형 단말기를 이용한 영상감시 방법 및 시스템
Agarwal et al. Suspicious Activity Detection in Surveillance Applications Using Slow-Fast Convolutional Neural Network
El Gemayel et al. Automated face detection and control system using computer vision based video analytics to avoid the spreading of Covid-19
Rachna et al. Real-time violence detection using deep neural networks and DTW
KR20230064095A (ko) 딥러닝 기반 영상분석을 통한 이상행동 탐지 장치 및 방법
Velychko et al. Artificial Intelligence Based Emergency Identification Computer System
Moyo et al. COVID-19 Face Mask Detection Alert System
Dijk et al. Intelligent sensor networks for surveillance
Üstek et al. Two-Stage Violence Detection Using ViTPose and Classification Models at Smart Airports
Blauensteiner et al. A socio-technical approach for event detection in security critical infrastructure
Pawar et al. A novel approach to detect crimes and assist law enforcement agency using deep learning with cctvs and drones
Harika Palivela et al. Smart surveillance system using face and optical character recognition for secure environment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant