KR20180107930A - 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 - Google Patents

딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 Download PDF

Info

Publication number
KR20180107930A
KR20180107930A KR1020170036874A KR20170036874A KR20180107930A KR 20180107930 A KR20180107930 A KR 20180107930A KR 1020170036874 A KR1020170036874 A KR 1020170036874A KR 20170036874 A KR20170036874 A KR 20170036874A KR 20180107930 A KR20180107930 A KR 20180107930A
Authority
KR
South Korea
Prior art keywords
deep learning
tracking
detected
detection
region
Prior art date
Application number
KR1020170036874A
Other languages
English (en)
Other versions
KR101995107B1 (ko
Inventor
노용만
김성태
김형일
장진혁
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020170036874A priority Critical patent/KR101995107B1/ko
Publication of KR20180107930A publication Critical patent/KR20180107930A/ko
Application granted granted Critical
Publication of KR101995107B1 publication Critical patent/KR101995107B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템이 개시된다. 본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 시스템은 미리 정의된 검출 딥 러닝 네트워크를 이용하여 감시 카메라 영상에 대해 미리 설정된 적어도 하나의 객체를 검출하는 검출부; 미리 정의된 인식 딥 러닝 네트워크와 상기 객체에 대한 검출 결과에 기초하여 상기 검출된 객체에 대한 정보를 인식하는 인식부; 및 미리 정의된 추적 딥 러닝 네트워크와 상기 검출된 객체에 대한 검출 결과에 기초하여 상기 검출된 객체를 추적하는 추적부를 포함하고, 상기 검출부는 컨볼루션 신경망(CNN; convolution neural network) 기반의 히트 맵(heat map) 생성 방법을 포함하는 영역 제안 추출(region proposal extraction)을 이용하여 상기 객체를 검출할 수 있다.

Description

딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 {Method and system for artificial intelligence based video surveillance using deep learning}
본 발명은 스마트 관제를 위한 인공지능 기반 영상 감시 기술에 관한 것으로서, 보다 구체적으로 CCTV로 촬영된 입력 비디오에 대해 인공지능 딥 러닝 기술 기반으로 객체의 검출, 인식 및 추적할 수 있는 인공지능 기반 영상 감시 방법 및 시스템에 관한 것이다.
다양한 범죄 및 사고를 예방하기 위해 CCTV 감시(surveillance)가 활성화 되고 있으며, 스마트폰과 연동하는 감시 시스템이 개발되는 등 일상 생활 공간으로 적용이 확대되고 있다. CCTV 감시의 적용범위가 확대됨에 따라 하나의 감시 시스템에서도 엄청난 양의 비디오 데이터가 생산되고 있다. 따라서, 방대한 양의 비디오 데이터를 한 관리자의 모니터링에 의해 위험을 탐지하고 상황 분석을 하는 것은 불가능하게 되고 있다. 현재 시장에서는 4세대 CCTV 핵심인 스마트 감시 기능이 최신 기술로 적용되고 있다.
스마트 기능으로서 사람 검출 및 차량 검출과 같은 영상인식 기술이 CCTV에 접목되고 있으나 방대한 영상 데이터 분석은 한계가 있다. 따라서 인간과 같은 판단능력을 가지고 방대한 CCTV 감시 영상을 지능적으로 분석할 수 있는 고도화된 영상 인식 기술 기반 영상 감시 방법이 요구되고 있다.
기존 CCTV 영상 인식 기술은 실제 환경에서 적용할 때 기상조건이나 주변 조명상태, 그리고 영상 내 객체의 모양 변화 때문에 인식 성능이 저하되어 실용성 문제가 대두되고 있다. 뿐만 아니라, 기존 CCTV에 탑재되는 영상 인식 기술은 기초적인 물체 검출 기술이며 감시 체계관리에 도움이 되지만 한계가 있다. 방대한 양의 비디오 분석을 위해서는 고성능의 객체 검출 및 인식 기술과 더불어 상황인식 및 예측과 같은 지능화 수준의 영상인식 기술이 요구되고 있다.
따라서, 고성능의 객체 검출 및 인식 기술과 더불어 상황 예측과 같은 지능화 수준의 영상 인식을 위한 인공지능 CCTV 영상 감시 기술의 필요성이 대두된다.
본 발명의 실시예들은, CCTV로 촬영된 입력 비디오에 대해 인공지능 딥 러닝 기술 기반으로 객체 예를 들어, 사람, 얼굴, 차량, 화재 등의 검출, 인식 및 추적할 수 있는 인공지능 기반 영상 감시 방법 및 시스템을 제공한다.
본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 시스템은 미리 정의된 검출 딥 러닝 네트워크를 이용하여 감시 카메라 영상에 대해 미리 설정된 적어도 하나의 객체를 검출하는 검출부; 미리 정의된 인식 딥 러닝 네트워크와 상기 객체에 대한 검출 결과에 기초하여 상기 검출된 객체에 대한 정보를 인식하는 인식부; 및 미리 정의된 추적 딥 러닝 네트워크와 상기 검출된 객체에 대한 검출 결과에 기초하여 상기 검출된 객체를 추적하는 추적부를 포함한다.
상기 검출부는 컨볼루션 신경망(CNN; convolution neural network) 기반의 히트 맵(heat map) 생성 방법을 포함하는 영역 제안 추출(region proposal extraction)을 이용하여 상기 객체를 검출할 수 있다.
상기 검출부는 상기 객체의 속성들을 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법에 기초하여 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행함으로써, 상기 객체를 검출할 수 있다.
상기 검출부는 상기 감시 카메라 영상에 대해 영역 제안 추출을 수행하고, 상기 추출된 영역 제안들로부터 컨볼루션 신경망 기반의 특성 추출을 통해 상기 영역 제안들 각각의 특성들을 추출함으로써, 상기 객체를 검출할 수 있다.
상기 추적부는 상기 검출된 객체에 대한 이전 추적 결과와 현재 추적 결과의 신뢰도를 측정하고, 상기 측정된 신뢰도가 일정 이하인 경우 온라인으로 딥 러닝 모델을 업데이트함으로써, 상기 검출된 객체를 추적할 수 있다.
나아가, 본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 시스템은 상기 검출부 및 상기 인식부와 연동하고, 사고와 위험에 대해 미리 학습된 사고 예측 딥 러닝 네트워크와 상기 검출된 객체 및 상기 인식된 객체 정보에 기초하여 위험 요소를 예측하는 예측부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 방법은 미리 정의된 검출 딥 러닝 네트워크를 이용하여 감시 카메라 영상에 대해 미리 설정된 적어도 하나의 객체를 검출하는 단계; 미리 정의된 인식 딥 러닝 네트워크와 상기 객체에 대한 검출 결과에 기초하여 상기 검출된 객체에 대한 정보를 인식하는 단계; 및 미리 정의된 추적 딥 러닝 네트워크와 상기 검출된 객체에 대한 검출 결과에 기초하여 상기 검출된 객체를 추적하는 단계를 포함한다.
상기 검출하는 단계는 컨볼루션 신경망(CNN; convolution neural network) 기반의 히트 맵(heat map) 생성 방법을 포함하는 영역 제안 추출(region proposal extraction)을 이용하여 상기 객체를 검출할 수 있다.
상기 검출하는 단계는 상기 객체의 속성들을 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법에 기초하여 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행함으로써, 상기 객체를 검출할 수 있다.
상기 검출하는 단계는 상기 감시 카메라 영상에 대해 영역 제안 추출을 수행하고, 상기 추출된 영역 제안들로부터 컨볼루션 신경망 기반의 특성 추출을 통해 상기 영역 제안들 각각의 특성들을 추출함으로써, 상기 객체를 검출할 수 있다.
상기 추적하는 단계는 상기 검출된 객체에 대한 이전 추적 결과와 현재 추적 결과의 신뢰도를 측정하고, 상기 측정된 신뢰도가 일정 이하인 경우 온라인으로 딥 러닝 모델을 업데이트함으로써, 상기 검출된 객체를 추적할 수 있다.
나아가, 본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 방법은 사고와 위험에 대해 미리 학습된 사고 예측 딥 러닝 네트워크와 상기 검출된 객체 및 상기 인식된 객체 정보에 기초하여 위험 요소를 예측하는 단계를 더 포함할 수 있다
본 발명의 실시예들에 따르면, CCTV로 촬영된 입력 비디오에 대해 인공지능 딥 러닝 기술 기반으로 객체 예를 들어, 사람, 얼굴, 차량, 화재 등의 검출, 인식 및 추적할 수 있다.
본 발명의 실시예들에 따르면, 고성능의 영상 감시가 가능하고, 예측 딥 네트워크를 통해 하이 레벨 비전 기술을 구현함으로써, 감시 시스템 시장에서 지능형 영상 감시 핵심 기술 확보가 가능하며 국가적으로 산업 경쟁력을 높일 수 있다.
뿐만 아니라, 기존 4세대 스마트 CCTV에서 할 수 없었던 딥 러닝 기술로 인공 지능형 예측 기술을 구현함으로써, 기술적 파급력을 높일 수 있다.
본 발명의 실시예들에 따르면, CCTV, 드론카메라, 바디카메라 등 다양한 감시 카메라 환경에 적용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 시스템에 대한 개념도를 나타낸 것이다.
도 2는 CNN 기반의 히트 맵 생성을 통한 영역 제안 추출을 설명하기 위한 일 예시도를 나타낸 것이다.
도 3은 인공지능 기반 사람 검출 프레임워크에 대한 일 예시도를 나타낸 것이다.
도 4는 인공지능 기반 얼굴 검출 프레임워크에 대한 일 예시도를 나타낸 것이다.
도 5는 사고 예측을 포함하는 인공지능 기반 감시 시스템에 대한 일 실시예의 개념도를 나타낸 것이다.
도 6은 객체 인식 및 사고 예측 딥 러닝 네트워크에 대한 일 실시예 구성을 나타낸 것이다.
도 7은 사고 예측 딥 러닝 네트워크 학습에 대한 일 예시도를 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 방법에 대한 동작 흐름도를 나타낸 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 실시예들은, 스마트 관제를 위한 인공지능 기반 영상 감시 기술에 관한 것으로, CCTV로 촬영된 입력 비디오에 대해 인공지능 딥 러닝 기술 기반으로 객체의 검출, 인식 및 추적을 수행하는 것을 그 요지로 한다.
이 때, 본 발명은 물체(또는 객체) 검출, 인식, 추적 및 예측과 같은 영상 감시 핵심 기술을 딥 러닝 기반의 딥 네트워크들로 구성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 시스템에 대한 개념도를 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 인공지능 기반 영상 감시 시스템은 검출부(DetectionNet), 인식부(RecognitionNet) 및 추적부(TrackingNet)를 포함한다.
검출부는 딥 러닝 기반으로 객체를 검출하는 구성 수단으로, 딥 네트워크를 사용하여 사람 검출, 얼굴 검출, 자동차 검출 및 번호판 검출 등을 수행한다.
여기서, 검출부는 입력 비디오에 대해서 일정 시간 간격으로 자동 객체검출을 수행하고, 검출된 객체에 대해 딥 러닝 네트워크를 이용하여 추적 기술을 적용함으로써 실시간 처리할 수 있으며, 물체가 검색되는 영역을 최소화하는 방법을 적용하여 딥 네트워크를 설계하고 트레이닝(training)할 수 있다.
검출부는 검출 딥 네트워크를 이용하여 식별 가능한 물체를 포함하는 감시카메라 영상에 대해 자동으로 객체를 검출한다.
여기서, 자동으로 검출되는 물체(또는 객체)는 사람, 얼굴, 자동차, 번호판 등을 포함할 수 있다.
구체적으로, 검출부는 딥 러닝 기반 네트워크를 활용하여 사람 영역을 검출하고, 검출된 사람 영역 내에서 얼굴 검출 딥 네트워크를 활용하여 얼굴 영역을 검출한다. 마찬가지로, 검출부는 자동차 검출 딥 네트워크를 활용하여 영상 내 존재하는 자동차들을 검출하고, 검출된 자동차 영상 내에서 번호판 영역을 검출한다.
이 때, 검출부는 검출된 각 객체의 위치 정보, 크기 정보, 그리고 검출의 신뢰도 값을 출력할 수 있다.
나아가, 검출부는 물체의 크기를 사전에 모르기 때문에 영상에서 미리 설정된 스케일들 각각에서 물체 영역 검색을 하면서 객체 존재 유무를 확인할 수 있다.
또한, 검출부는 입력 영상 내 사람들을 자동으로 검출하고, 사람의 위치, 자세, 이동방향 등의 다양한 정보를 포함하는 사람 관련 정보를 빠르게 추출하기 위한 관심 영역 기반의 고속 사람 검출용 네트워크를 사용할 수 있다.
실제 환경에서의 사람 검출은 검출 성능의 정확도뿐만 아니라 검출의 속도가 매우 중요하다. 예를 들어, 자율주행 자동차의 경우 보행자 검출 속도는 사고 발생여부를 결정짓는 중요한 요소이며, 감시 시스템 등의 환경에서는 단순히 검출에서 그치는 것이 아니라 검출된 사람의 다양한 특성을 제공해주는 것이 필요하다.
이를 위해, 검출부는 도 2에 도시된 바와 같이, 빠른 속도로 후보영역을 추출하는 영역 제안 추출(region proposal extraction)을 이용할 수도 있다. 영역 제안 추출의 일 예로 컨볼루션 신경망(CNN; convolution neural network) 기반의 히트 맵(heat map) 생성 방법 등이 사용될 수 있다.
여기서, CNN 기반의 히트 맵 생성 방법은 도 3에 도시된 바와 같이, CNN기반의 네트워크를 통해 객체 후보영역에 대한 확률 값을 나타내는 2차원 맵을 의미하는 히트 맵을 생성하고, 이를 이용하여 영역 제안을 추출할 수 있다.
도 2에서의 영역 제안 네트워크는 노란색으로 표시된 총 5개의 컨볼루션 레이어로 구성된 영역 제안 네트워크로, 첫 번째와 두 번째 컨볼루션 레이어에는 초록색으로 표시된 맥스풀링 레이어(maxpooling layer)와 파란색으로 표시된 정규화 레이어(normalization layer)가 연결될 수 있다.
이 때, 다섯 번째 컨볼루션 레이어에서 얻은 확률분포 맵을 얻게 되고, 이를 이용하여 높은 확률 값을 갖는 영역들을 추출하여 최종적으로 가장 오른쪽에 도시된 바와 같이 영역 제안을 획득할 수 있다. 여기서, 도 2에 도시된 확률분포 맵에서 파란색으로 표시된 부분은 확률 값 '0'을 나타내고, 빨간색으로 갈수록 '1'에 가까운 높은 확률 값을 나타내는 것을 의미할 수 있다.
또한, 검출부는 검출된 후보영역이 실제 사람인지 분류하는 문제를 효율적으로 해결하기 위하여, 사람의 속성들 예를 들어, 보행자 크기, 포즈, 모자, 안경 등의 사람의 속성들을 활용한 멀티 태스킹 러닝(multi-tasking learning) 방법을 사용할 수도 있다.
여기서, 멀티 태스킹 러닝 방법은 추출된 영역 제안들로부터 실제 CNN 기반의 네트워크(CNN-based feature extraction)를 통해 특성을 추출하고 최종 검출을 수행하는 단계로, CNN 기반의 네트워크는 사람 검출과 관련된 여러 가지 태스크들 예를 들어, 보행자 크기, 보행자 포즈 등을 공통적으로 만족하는 방향으로 학습하여 좀 더 효과적인 특성을 학습할 수 있다. 즉, 기존 사람검출과 관련된 객체 함수가 아래 <수학식 1>과 같다면 수학식 1을 T 개의 태스크로 확장하여 아래 <수학식 2>와 같은 객체 함수를 만족하도록 네트워크를 학습할 수 있다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
여기서, N은 학습데이터 개수를 의미하고,
Figure pat00003
Figure pat00004
는 i번째 학습데이터의 특성 벡터(feature vector)를 의미하며,
Figure pat00005
Figure pat00006
는 i번째 학습데이터의 t번째 태스크의 라벨(label) 값을 의미하고,
Figure pat00007
Figure pat00008
는 t번째 태스크의 로스 함수(loss function)를 의미할 수 있다.
즉, 도 3에 도시된 바와 같이, 인공지능 기반 사람 검출 프레임워크에서는 도 2에 도시된 네트워크를 통해 영역 제안 추출을 수행하고, 추출된 영역 제안들로부터 CNN 기반의 특성 추출을 통해 특성들 예컨대, 영역 제안들 각각의 특성들을 추출함으로써, 최종 검출을 수행한다.
이 때, 특성 추출을 위한 CNN 네트워크는 도 3에 도시된 바와 같이 멀티 태스킹 러닝 방법으로 학습함으로써, 특성 추출에 대한 성능을 향상시킬 수 있다.
검출부의 얼굴 검출 모듈은 사람 검출 모듈에 의해 획득된 사람 영역을 포함하는 영상 입력에 대해 얼굴 검출 딥 네트워크를 이용하여 얼굴 영역을 검출하고, 검출된 얼굴 영역에 대한 위치정보, 크기정보, 그리고 검출 신뢰도 값을 출력한다.
이 때, 얼굴 검출 모듈은 사람 검출 모듈에 의해 획득된 사람 영역에 대해 얼굴 검출을 수행하기 때문에 검색 영역 감소로 인해 빠르고 효율적인 얼굴 검출을 수행할 수 있다.
얼굴 검출 모듈은 사람 검출 네트워크와 마찬가지로 도 4에 도시된 바와 같이, 히트 맵을 추출하여 얼굴 후보 영역을 추출할 수 있는데, 다양한 크기로 영상에 나타나는 얼굴들에 대한 고성능의 얼굴 검출을 수행하기 위해 다중 스케일로 얼굴 맵을 추출한다.
이 때, 단일 스케일에서 히트 맵을 추출하는 것은 도 2와 유사한 네트워크를 통해 이루어질 수 있다.
얼굴 후보영역에 대해 최종적으로 얼굴인지 아닌지 판단하는 딥 네트워크에서는 검출된 영역을 표시하는 바운딩 박스(bounding box)가 보다 정확한 위치에 위치하도록 멀티 태스크 러닝 방법을 사용한다.
즉, 얼굴 검출 모듈은 도 4에 도시된 바와 같이 사람 검출 모듈을 통해 추출된 사람 영역에 대해 얼굴 컴포넌트 정보 기반의 다중스케일 히트 맵을 추출하고, 추출된 다중스케일 히트 맵을 통해 얼굴 후보 영역을 추출하며, 추출된 얼굴 후보 영역에 대한 멀티 태스크 러닝 방법을 통해 최종 얼굴 영역의 추출과 바운딩 박스 조정을 수행함으로써, 얼굴 검출 결과를 제공한다.
그리고, 검출부의 자동차 검출 모듈과 번호판 검출 모듈은 상술한 사람 검출 모듈 및 얼굴 검출 모듈과 유사한 방식으로, 딥 러닝 네트워크를 통해 입력 영상 내의 자동차 영역을 검출하고, 검출된 자동차 영역에서 번호판 영역을 검출할 수 있다.
인식부는 검출부에 의해 검출된 객체 검출 결과에 대한 딥 러닝 네트워크를 통해 검출된 객체에 대해 어떤 사람이 존재하는지 예를 들어, 사람의 식별 정보(ID)를 통해 어떤 사람이 존재하는지 인식하고, 자동차의 번호판(license plate)에 있는 번호 정보를 자동으로 인식한다.
이 때, 인식부는 인식을 수행하기 전 영상품질이 좋은 영상에 대해 신뢰성이 높은 인식을 수행하기 위하여 영상품질 측정을 수행할 수 있으며, 평가되는 영상품질은 해상도, 밝기, 자세 정보, 물체 정렬, 블러(blur) 정보에 기반하여 평가될 수 있다.
인식부는 측정된 영상품질에 기반하여 인식이 가능한 객체에 대해서 딥 러닝 구조에 의해 인식을 수행하고, 얼굴에 대해서는 DB 등록 유무, 사람의 ID, 인식 신뢰도 값을 출력하며, 자동차 번호판에 대해서는 인식된 자동차 번호 정보를 출력한다.
이 때, 인식부는 검출 네트워크와 마찬가지로 실시간 처리를 위해 일정 주기에 대해 자동 객체 인식을 수행하고, 추적 네트워크와 연동할 수 있으며, 고성능의 인식을 위해 영상 내에서 활용할 수 있는 다중 정보 예를 들어, 다중 특징, 컬러 정보 등의 정보에 기반한 딥 러닝 구조를 사용할 수 있다.
추적부는 추적 네트워크를 이용하여 검출된 객체에 대해 추적을 수행하거나 영상에서 사용자에 의해 초기화된 객체에 대한 추적을 수행한다.
여기서, 추적부는 객체의 추적을 통해서 객체의 위치 정보, 크기 정보, 그리고 움직임 정보가 출력될 수 있으며, 높은 신뢰도를 갖는 추적을 위해서 추적 결과에 대해 신뢰도를 측정하여 객체가 드리프트(drift)되는 현상을 최소화할 수 있다.
뿐만 아니라, 추적부는 실시간의 객체 추적을 위해 상대적으로 얕은 딥 러닝 구조를 이용할 수 있고, 고 신뢰성을 갖는 추적을 위해 온라인 학습이 가능한 딥 러닝 구조를 이용할 수도 있다.
물체추적 딥 네트워크에서의 온라인 학습에 대해 설명하면, 기존에 학습된 모델로만 물체추적을 수행하게 되면, 조명변화, 자세변화, 그리고 가리움 같은 현상이 발생했을 때 추적 결과가 드리프트가 생기기 때문에 이전에 추적된 결과와 현재 추적된 결과 사이의 비교를 통해 물체추적의 신뢰도를 측정하고, 신뢰도가 일정 이하로 떨어질 경우에는 온라인으로 딥 러닝 모델을 업데이트할 수 있다.
이 때, 추적부는 전체 레이어를 모두 업데이트하는 경우 많은 연산시간이 요구되므로, CNN의 마지막 완결 연결 레이어(fully-connected layer)에 대해 파인 튜닝(fine-tuning)을 수행하여 모델을 업데이트할 수 있다.
추적부는 온라인으로 모델을 업데이트 하기 위해 현재 객체의 위치에 해당하는 샘플을 포지티브(positive)로 놓고 포지티브(positive) 주변 영역을 네거티브(negative)로 놓은 후 학습을 수행하고, 다음 온라인 업데이트까지 일정 프레임 수에 대한 포지티브와 네거티브 샘플 정보를 누적하여 온라인 학습에 활용한다. 추적부는 이러한 방법을 통해 가리움과 같은 현상으로 인해 추적 결과가 드리프트되는 현상을 방지할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 시스템은 객체 검출, 인식 및 추적과 관련된 구성 수단을 딥 러닝 기반의 네트워크를 이용하여 구성함으로써, 예측 딥 네트워크를 통해 하이 레벨 비전 기술을 구현하고, 이를 통해 감시 시스템의 지능형 영상 감시 핵심 기술을 확보할 수 있다.
본 발명에 따른 인공지능 기반 영상 감시 시스템의 동작 시나리오에 대한 일 예는, CCTV 감시 카메라로 촬영하는 상황에서 수상한 사람이 영상에 나타났을 경우 물체 검출 네트워크인 검출부인 DetectionNet를 통해 사람을 검출하고 추가적으로 얼굴의 위치를 검출한다.
이 때, 검출된 사람에 관해 계속해서 인식 네트워크를 수행할 경우, 동작 시간도 오래 걸리고 저품질의 영상으로 인한 성능 저하가 존재하기에 이를 해결하기 위해 다음과 같은 방법으로 시스템이 동작할 수 있다.
추적 네트워크인 추적부의 TrackingNet에서 검출된 사람이 움직이는 동선을 지속해서 따라가게 된다.
이 때, 추적 중인 얼굴의 품질이 좋은 경우 예를 들어, 가려짐이 없고 조명상태가 나쁘지 않은 상황이 포착되면 인식 네트워크인 인식부의 RecognitionNet에서 해당 얼굴에 관한 인식을 진행하고 해당 사람의 신원정보를 파악할 수 있다.
인식 결과 해당 사람이 사전에 등록된 안전한 사람인지, 또는 범인 데이터베이스에 존재하는 수상한 사람인지 등에 관해 판단함으로써, 수상한 사람으로 판단되는 경우 감시 본부에 보고할 수 있다.
또한, 본 발명에 따른 딥 러닝을 이용한 인공 지능 기반 감시 시스템은 도 5에 도시된 일 예와 같은 구조로 전체 시스템이 구성될 수도 있다. 즉, 본 발명에 따른 딥 러닝을 이용한 인공 지능 기반 감시 시스템은 검출된 물체에 관해 물체 인식 딥 네트워크(deep net for object detection, deep net for object recognition)와 사고 예측 딥 러닝 네트워크(deep net for accident prediction)를 연동하여 위험 및 사고 예측, 범죄 예측, 교통 사고 예측 등에 사용될 수 있다. 영상에 나타나는 물체를 검출, 인식하는 것을 넘어서 안전 및 사고데이터와 인공지능 기술에 기반하여 학습된 딥 네트워크에 의해 위험 및 사고 등을 예측하고, 이를 시각화하여 감시 시스템으로 활용할 수도 있다.
사고 예측 딥 러닝 네트워크는 도 6에 도시된 바와 같이, 물체 검출과 물체 인식 및 상황 인식을 통해 얻은 정보를 활용하여 미래 또는 이후 일정 시간 범위 내에서 발생할 위험/사고, 범죄를 예측한다. 위험 및 사고의 경우에는 CCTV 관찰을 통해 사고(예를 들어, 화재, 폭발 등), 다수의 군중, 이상행위, 또는 범죄자의 정보(예를 들어, 범죄자의 얼굴 또는 범죄 차량)로부터 위험 요소를 예측할 수 있다.
본 발명은 딥 러닝 기술로 현재 차량의 수와 흐름, 군중정보, 행동인식으로부터 미래의 범죄 사고를 예측을 수행 한다.
이 때, 본 발명에 따른 시스템은 감시 비디오의 시공간 변화에 따른 상관정보 추출, 다중 객체 및 카메라 정보 데이터로부터 딥 러닝 네트워크를 통해 예측을 수행할 수 있다.
본 발명에서는 사고예측 딥 네트워크를 학습하기 위해서 도 7에 도시된 바와 같이, CCTV로부터 추출된 정보 예를 들어, 범죄자, 군중, 차량, 그리고 상황정보 및 안전, 사고와 관련된 정부 부처 데이터를 활용함으로써, 범죄, 교통 사고, 위험 및 사고 예측을 위한 딥 러닝 구조를 학습할 수 있다.
이 때, 예측 네트워크 구조로 RNN, DAE, DNN 기반 데이터 표현 방법, 그리고 멀티 모달 딥 러닝 네트워크 융합에 관한 구조를 이용할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 인공지능 기반 영상 감시 방법에 대한 동작 흐름도를 나타낸 것으로, 상술한 도 1 내지 도 7의 시스템에서의 동작 흐름도를 나타낸 것이다.
도 8을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 영상 감시 방법은 검출부에서 미리 정의된 검출 딥 러닝 네트워크를 이용하여 감시 카메라 영상에 대해 미리 설정된 적어도 하나의 객체를 검출한다(S810).
여기서, 단계 S810은 딥 네트워크를 사용하여 사람 검출, 얼굴 검출, 자동차 검출 및 번호판 검출 등을 수행할 수 있으며, 빠른 속도로 후보영역을 추출하는 영역 제안 추출(region proposal extraction) 예를 들어, 컨볼루션 신경망(CNN; convolution neural network) 기반의 히트 맵(heat map) 생성 방법을 이용하여 감시 카메라 영상에 대해 객체를 검출할 수 있다.
이 때, 단계 S810은 객체의 속성들을 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법에 기초하여 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행함으로써, 객체를 검출할 수 있다. 구체적으로, 단계 S810은 감시 카메라 영상에 대해 영역 제안 추출을 수행하고, 추출된 영역 제안들로부터 컨볼루션 신경망 기반의 특성 추출을 통해 영역 제안들 각각의 특성들을 추출함으로써, 객체를 검출할 수 있다.
인식부에서 미리 정의된 인식 딥 러닝 네트워크와 객체에 대한 검출 결과에 기초하여 검출된 객체에 대한 정보를 인식한다(S820).
여기서, 단계 S820은 인식을 수행하기 전 영상품질이 좋은 영상에 대해 신뢰성이 높은 인식을 수행하기 위하여 영상품질 측정을 수행할 수 있으며, 평가되는 영상품질은 해상도, 밝기, 자세 정보, 물체 정렬, 블러(blur) 정보 중 적어도 하나를 포함할 수 있다.
추적부에서 미리 정의된 추적 딥 러닝 네트워크와 검출된 객체에 대한 검출 결과에 기초하여 검출된 객체를 추적한다(S830).
여기서, 단계 S830은 검출된 객체에 대한 이전 추적 결과와 현재 추적 결과의 신뢰도를 측정하고, 측정된 신뢰도가 일정 이하인 경우 온라인으로 딥 러닝 모델을 업데이트함으로써, 검출된 객체를 추적할 수 있고, 이를 통해 신뢰성이 높은 추적을 수행할 수 있다.
나아가, 단계 S830은 온라인으로 모델을 업데이트 하기 위해 현재 객체의 위치에 해당하는 샘플을 포지티브(positive)로 놓고 포지티브(positive) 주변 영역을 네거티브(negative)로 놓은 후 학습을 수행하고, 다음 온라인 업데이트까지 일정 프레임 수에 대한 포지티브와 네거티브 샘플 정보를 누적하여 온라인 학습에 활용함으로써, 가리움과 같은 현상으로 인해 추적 결과가 드리프트되는 현상을 방지할 수 있다.
예측부에서 사고와 위험에 대해 미리 학습된 사고 예측 딥 러닝 네트워크와 검출된 객체 및 인식된 객체 정보에 기초하여 위험 요소를 예측한다(S840).
즉, 단계 S840은 검출된 물체에 관해 물체 인식 딥 네트워크(deep net for object detection, deep net for object recognition)와 사고 예측 딥 러닝 네트워크(deep net for accident prediction)를 연동하여 위험 및 사고 예측, 범죄 예측, 교통 사고 예측 등의 사고 및 위험 예측을 수행할 수 있다.
여기서, 단계 S840은 CCTV 관찰을 통해 사고(예를 들어, 화재, 폭발 등), 다수의 군중, 이상행위, 또는 범죄자의 정보(예를 들어, 범죄자의 얼굴 또는 범죄 차량)로부터 위험 요소를 예측할 수 있다.
비록, 도 8의 인공지능 기반 영상 감시 방법에서 설명하지 않았더라도, 도 8의 인공지능 기반 영상 감시 방법은 상술한 도 1 내지 도 7의 시스템에서 설명한 내용을 모두 포함할 수 있다는 것은 이 기술분야에 종사하는 당업자라면 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

  1. 미리 정의된 검출 딥 러닝 네트워크를 이용하여 감시 카메라 영상에 대해 미리 설정된 적어도 하나의 객체를 검출하는 검출부;
    미리 정의된 인식 딥 러닝 네트워크와 상기 객체에 대한 검출 결과에 기초하여 상기 검출된 객체에 대한 정보를 인식하는 인식부; 및
    미리 정의된 추적 딥 러닝 네트워크와 상기 검출된 객체에 대한 검출 결과에 기초하여 상기 검출된 객체를 추적하는 추적부
    를 포함하는 인공지능 기반 영상 감시 시스템.
  2. 제1항에 있어서,
    상기 검출부는
    컨볼루션 신경망(CNN; convolution neural network) 기반의 히트 맵(heat map) 생성 방법을 포함하는 영역 제안 추출(region proposal extraction)을 이용하여 상기 객체를 검출하는 것을 특징으로 하는 인공지능 기반 영상 감시 시스템.
  3. 제1항에 있어서,
    상기 검출부는
    상기 객체의 속성들을 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법에 기초하여 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행함으로써, 상기 객체를 검출하는 것을 특징으로 하는 인공지능 기반 영상 감시 시스템.
  4. 제1항에 있어서,
    상기 검출부는
    상기 감시 카메라 영상에 대해 영역 제안 추출을 수행하고, 상기 추출된 영역 제안들로부터 컨볼루션 신경망 기반의 특성 추출을 통해 상기 영역 제안들 각각의 특성들을 추출함으로써, 상기 객체를 검출하는 것을 특징으로 하는 인공지능 기반 영상 감시 시스템.
  5. 제1항에 있어서,
    상기 추적부는
    상기 검출된 객체에 대한 이전 추적 결과와 현재 추적 결과의 신뢰도를 측정하고, 상기 측정된 신뢰도가 일정 이하인 경우 온라인으로 딥 러닝 모델을 업데이트함으로써, 상기 검출된 객체를 추적하는 것을 특징으로 하는 인공지능 기반 영상 감시 시스템.
  6. 제1항에 있어서,
    상기 검출부 및 상기 인식부와 연동하고, 사고와 위험에 대해 미리 학습된 사고 예측 딥 러닝 네트워크와 상기 검출된 객체 및 상기 인식된 객체 정보에 기초하여 위험 요소를 예측하는 예측부
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 영상 감시 시스템.
  7. 미리 정의된 검출 딥 러닝 네트워크를 이용하여 감시 카메라 영상에 대해 미리 설정된 적어도 하나의 객체를 검출하는 단계;
    미리 정의된 인식 딥 러닝 네트워크와 상기 객체에 대한 검출 결과에 기초하여 상기 검출된 객체에 대한 정보를 인식하는 단계; 및
    미리 정의된 추적 딥 러닝 네트워크와 상기 검출된 객체에 대한 검출 결과에 기초하여 상기 검출된 객체를 추적하는 단계
    를 포함하는 인공지능 기반 영상 감시 방법.
  8. 제7항에 있어서,
    상기 검출하는 단계는
    컨볼루션 신경망(CNN; convolution neural network) 기반의 히트 맵(heat map) 생성 방법을 포함하는 영역 제안 추출(region proposal extraction)을 이용하여 상기 객체를 검출하는 것을 특징으로 하는 인공지능 기반 영상 감시 방법.
  9. 제7항에 있어서,
    상기 검출하는 단계는
    상기 객체의 속성들을 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법에 기초하여 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행함으로써, 상기 객체를 검출하는 것을 특징으로 하는 인공지능 기반 영상 감시 방법.
  10. 제7항에 있어서,
    상기 검출하는 단계는
    상기 감시 카메라 영상에 대해 영역 제안 추출을 수행하고, 상기 추출된 영역 제안들로부터 컨볼루션 신경망 기반의 특성 추출을 통해 상기 영역 제안들 각각의 특성들을 추출함으로써, 상기 객체를 검출하는 것을 특징으로 하는 인공지능 기반 영상 감시 방법.
  11. 제7항에 있어서,
    상기 추적하는 단계는
    상기 검출된 객체에 대한 이전 추적 결과와 현재 추적 결과의 신뢰도를 측정하고, 상기 측정된 신뢰도가 일정 이하인 경우 온라인으로 딥 러닝 모델을 업데이트함으로써, 상기 검출된 객체를 추적하는 것을 특징으로 하는 인공지능 기반 영상 감시 방법.
  12. 제7항에 있어서,
    사고와 위험에 대해 미리 학습된 사고 예측 딥 러닝 네트워크와 상기 검출된 객체 및 상기 인식된 객체 정보에 기초하여 위험 요소를 예측하는 단계
    를 더 포함하는 것을 특징으로 하는 인공지능 기반 영상 감시 방법.
KR1020170036874A 2017-03-23 2017-03-23 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 KR101995107B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170036874A KR101995107B1 (ko) 2017-03-23 2017-03-23 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170036874A KR101995107B1 (ko) 2017-03-23 2017-03-23 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180107930A true KR20180107930A (ko) 2018-10-04
KR101995107B1 KR101995107B1 (ko) 2019-07-01

Family

ID=63863335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170036874A KR101995107B1 (ko) 2017-03-23 2017-03-23 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101995107B1 (ko)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942808B1 (ko) 2018-11-13 2019-01-29 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR101942491B1 (ko) * 2018-11-08 2019-04-11 주식회사 싸인텔레콤 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템
KR20190095200A (ko) 2019-07-26 2019-08-14 엘지전자 주식회사 영상 내 물체 인식 장치 및 방법
CN110164213A (zh) * 2019-06-06 2019-08-23 南京睦泽信息科技有限公司 一种基于ai视频分析的多终端远程教育培训系统
CN110602404A (zh) * 2019-09-26 2019-12-20 马鞍山问鼎网络科技有限公司 一种智能化安全管理实时监测系统
KR102085285B1 (ko) * 2019-10-01 2020-03-05 한국씨텍(주) 딥러닝 영상분석 기반의 얼굴 인식 및 홍채 위치 인식 시스템
KR102093477B1 (ko) * 2018-10-26 2020-03-25 오토아이티(주) 이종 카메라 기반의 위험지역 안전관리 방법 및 장치
CN111127509A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置和计算机可读存储介质
KR20200056068A (ko) * 2018-11-14 2020-05-22 이병섭 Mvs 기반의 무인항공기를 갖춘 객체 추적 시스템
KR20200056498A (ko) * 2018-11-09 2020-05-25 주식회사 에스원 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템
KR20200058260A (ko) 2019-01-18 2020-05-27 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
KR20200064185A (ko) * 2018-11-19 2020-06-08 한국전력공사 배전설비 검출장치
KR20200071655A (ko) * 2018-12-11 2020-06-19 라온피플 주식회사 교통상황 정보 제공 장치 및 방법
KR102127276B1 (ko) 2018-12-11 2020-06-26 주식회사 인텔리빅스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR102133913B1 (ko) * 2019-11-21 2020-07-15 문병국 딥러닝 기반의 객체인식을 이용한 객체별 맞춤 정보제공 안내전광판 시스템 및 그 제어 방법
KR102139582B1 (ko) 2019-12-05 2020-07-29 주식회사 인텔리빅스 다중 roi 및 객체 검출 dcnn 기반의 cctv 영상분석장치 및 그 장치의 구동방법
KR20200094844A (ko) 2019-01-23 2020-08-10 한국전자통신연구원 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
KR102144974B1 (ko) * 2019-11-08 2020-08-14 주식회사 알체라 화재 검출 시스템
KR20200098755A (ko) * 2019-02-11 2020-08-21 경북대학교 산학협력단 표적 추적 기반의 화재 감시 장치 및 화재 감시 방법
KR20200104105A (ko) * 2019-02-26 2020-09-03 서훈이 이미지를 이용한 융합 정보 제작 장치 및 방법
KR20200119369A (ko) * 2019-03-22 2020-10-20 홍익대학교 산학협력단 객체 검출 장치 및 방법
KR20200125364A (ko) * 2019-04-25 2020-11-04 한양대학교 산학협력단 동영상에서 객체 추적 방법 및 객체 추적을 위한 학습 방법
KR102187441B1 (ko) * 2019-07-22 2020-12-07 고려대학교 산학협력단 비정상 운전 판별이 가능한 드론
KR20200136736A (ko) * 2019-05-28 2020-12-08 주식회사 엠제이비전테크 Cctv 영상 기반 딥 러닝을 이용한 다중객체 검출 시스템
KR102201096B1 (ko) 2020-06-11 2021-01-11 주식회사 인텔리빅스 실시간 cctv 영상분석장치 및 그 장치의 구동방법
KR20210036250A (ko) * 2019-09-25 2021-04-02 (주)송우인포텍 Cctv 영상 기반 데이터 처리 방법 및 그 시스템
US11019087B1 (en) 2019-11-19 2021-05-25 Ehsan Adeli Computer vision-based intelligent anomaly detection using synthetic and simulated data-system and method
KR20210103210A (ko) 2020-02-13 2021-08-23 주식회사 인텔리빅스 영상처리장치 및 그 장치의 구동방법
KR102297575B1 (ko) * 2021-02-19 2021-09-07 유비트론(주) 지능형 영상 감시 시스템 및 방법
KR20210125371A (ko) * 2020-04-08 2021-10-18 한국전자통신연구원 교통 상황 분석 방법 및 장치
KR20220019377A (ko) * 2020-08-10 2022-02-17 세종대학교산학협력단 딥러닝을 이용한 드론 검출 장치 및 방법
US11335012B2 (en) 2020-10-21 2022-05-17 Samsung Electronics Co., Ltd. Object tracking method and apparatus
KR20220080631A (ko) * 2020-12-07 2022-06-14 부경대학교 산학협력단 실시간 다중 객체 검출 장치 및 방법
KR20230054055A (ko) 2021-10-15 2023-04-24 한국딥러닝 주식회사 딥러닝 기반의 다중 객체 인식 시스템
KR102538548B1 (ko) 2022-10-17 2023-05-31 김형주 딥러닝 기반의 객체 인식 및 모니터링 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977924B2 (en) 2018-12-06 2021-04-13 Electronics And Telecommunications Research Institute Intelligent river inundation alarming system and method of controlling the same
KR20240039644A (ko) 2022-09-19 2024-03-27 동의대학교 산학협력단 Yolo 기반 영상을 이용한 차량 분류와 화재 감지 장치 및 방법
KR102606750B1 (ko) * 2023-09-08 2023-11-29 메이사플래닛 주식회사 도로 추출 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110484A (ko) * 2013-03-08 2014-09-17 부산대학교 산학협력단 영상정보를 이용한 위험 행동 검지방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110484A (ko) * 2013-03-08 2014-09-17 부산대학교 산학협력단 영상정보를 이용한 위험 행동 검지방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Li, Hanxi, Yi Li, and Fatih Porikli. "Deeptrack: Learning discriminative feature representations online for robust visual tracking." IEEE Transactions on Image Processing 25.4, 2016.4.* *
Ning, Guanghan, et al. "Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking." arXiv preprint arXiv:1607.05781, 2016.7.19.* *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093477B1 (ko) * 2018-10-26 2020-03-25 오토아이티(주) 이종 카메라 기반의 위험지역 안전관리 방법 및 장치
CN111127509B (zh) * 2018-10-31 2023-09-01 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置和计算机可读存储介质
CN111127509A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置和计算机可读存储介质
KR101942491B1 (ko) * 2018-11-08 2019-04-11 주식회사 싸인텔레콤 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템
KR20200056498A (ko) * 2018-11-09 2020-05-25 주식회사 에스원 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템
KR101942808B1 (ko) 2018-11-13 2019-01-29 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR20200056068A (ko) * 2018-11-14 2020-05-22 이병섭 Mvs 기반의 무인항공기를 갖춘 객체 추적 시스템
KR20200064185A (ko) * 2018-11-19 2020-06-08 한국전력공사 배전설비 검출장치
KR102127276B1 (ko) 2018-12-11 2020-06-26 주식회사 인텔리빅스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR20200071655A (ko) * 2018-12-11 2020-06-19 라온피플 주식회사 교통상황 정보 제공 장치 및 방법
KR20200058260A (ko) 2019-01-18 2020-05-27 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
KR20200094844A (ko) 2019-01-23 2020-08-10 한국전자통신연구원 딥러닝을 이용한 얼굴 인식 장치 및 그것의 동작 방법
KR20200098755A (ko) * 2019-02-11 2020-08-21 경북대학교 산학협력단 표적 추적 기반의 화재 감시 장치 및 화재 감시 방법
KR20200104105A (ko) * 2019-02-26 2020-09-03 서훈이 이미지를 이용한 융합 정보 제작 장치 및 방법
KR20200119369A (ko) * 2019-03-22 2020-10-20 홍익대학교 산학협력단 객체 검출 장치 및 방법
KR20200125364A (ko) * 2019-04-25 2020-11-04 한양대학교 산학협력단 동영상에서 객체 추적 방법 및 객체 추적을 위한 학습 방법
KR20200136736A (ko) * 2019-05-28 2020-12-08 주식회사 엠제이비전테크 Cctv 영상 기반 딥 러닝을 이용한 다중객체 검출 시스템
CN110164213A (zh) * 2019-06-06 2019-08-23 南京睦泽信息科技有限公司 一种基于ai视频分析的多终端远程教育培训系统
KR102187441B1 (ko) * 2019-07-22 2020-12-07 고려대학교 산학협력단 비정상 운전 판별이 가능한 드론
KR20190095200A (ko) 2019-07-26 2019-08-14 엘지전자 주식회사 영상 내 물체 인식 장치 및 방법
KR20210036250A (ko) * 2019-09-25 2021-04-02 (주)송우인포텍 Cctv 영상 기반 데이터 처리 방법 및 그 시스템
CN110602404A (zh) * 2019-09-26 2019-12-20 马鞍山问鼎网络科技有限公司 一种智能化安全管理实时监测系统
KR102085285B1 (ko) * 2019-10-01 2020-03-05 한국씨텍(주) 딥러닝 영상분석 기반의 얼굴 인식 및 홍채 위치 인식 시스템
KR102144974B1 (ko) * 2019-11-08 2020-08-14 주식회사 알체라 화재 검출 시스템
WO2021091021A1 (ko) * 2019-11-08 2021-05-14 주식회사 알체라 화재 검출 시스템
US11019087B1 (en) 2019-11-19 2021-05-25 Ehsan Adeli Computer vision-based intelligent anomaly detection using synthetic and simulated data-system and method
KR102133913B1 (ko) * 2019-11-21 2020-07-15 문병국 딥러닝 기반의 객체인식을 이용한 객체별 맞춤 정보제공 안내전광판 시스템 및 그 제어 방법
KR102139582B1 (ko) 2019-12-05 2020-07-29 주식회사 인텔리빅스 다중 roi 및 객체 검출 dcnn 기반의 cctv 영상분석장치 및 그 장치의 구동방법
KR20210103210A (ko) 2020-02-13 2021-08-23 주식회사 인텔리빅스 영상처리장치 및 그 장치의 구동방법
KR20210125371A (ko) * 2020-04-08 2021-10-18 한국전자통신연구원 교통 상황 분석 방법 및 장치
KR102201096B1 (ko) 2020-06-11 2021-01-11 주식회사 인텔리빅스 실시간 cctv 영상분석장치 및 그 장치의 구동방법
CN111523528B (zh) * 2020-07-03 2020-10-20 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
CN111523528A (zh) * 2020-07-03 2020-08-11 平安国际智慧城市科技股份有限公司 基于规模识别模型的策略发送方法、装置和计算机设备
KR20220019377A (ko) * 2020-08-10 2022-02-17 세종대학교산학협력단 딥러닝을 이용한 드론 검출 장치 및 방법
US11335012B2 (en) 2020-10-21 2022-05-17 Samsung Electronics Co., Ltd. Object tracking method and apparatus
KR20220080631A (ko) * 2020-12-07 2022-06-14 부경대학교 산학협력단 실시간 다중 객체 검출 장치 및 방법
KR102297575B1 (ko) * 2021-02-19 2021-09-07 유비트론(주) 지능형 영상 감시 시스템 및 방법
KR20230054055A (ko) 2021-10-15 2023-04-24 한국딥러닝 주식회사 딥러닝 기반의 다중 객체 인식 시스템
KR102538548B1 (ko) 2022-10-17 2023-05-31 김형주 딥러닝 기반의 객체 인식 및 모니터링 시스템

Also Published As

Publication number Publication date
KR101995107B1 (ko) 2019-07-01

Similar Documents

Publication Publication Date Title
KR101995107B1 (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
Muhammad et al. Efficient deep CNN-based fire detection and localization in video surveillance applications
Sharma et al. Fisher’s linear discriminant ratio based threshold for moving human detection in thermal video
CN108133172B (zh) 视频中运动对象分类的方法、车流量的分析方法及装置
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
Kumar et al. Study of robust and intelligent surveillance in visible and multi-modal framework
KR101731243B1 (ko) 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
Nam et al. Intelligent video surveillance system: 3-tier context-aware surveillance system with metadata
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
KR102384299B1 (ko) 폭행 감지 기능을 구비한 cctv 촬영 장치 및 cctv 영상에 기초한 폭행 감지 방법
Saif et al. Moving object detection using dynamic motion modelling from UAV aerial images
Aradhya Object detection and tracking using deep learning and artificial intelligence for video surveillance applications
Dung et al. Algorithm for fire detection using a camera surveillance system
Singh et al. Vehicle detection and accident prediction in sand/dust storms
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
Ihekoronye et al. Aerial supervision of drones and other flying objects using convolutional neural networks
KR102494953B1 (ko) 딥러닝 기반 온-디바이스 실시간 교통제어 시스템
KR102556447B1 (ko) 패턴 분석을 통한 상황 판단 시스템
Teja Static object detection for video surveillance
Zhang et al. Critical Infrastructure Security Using Computer Vision Technologies
Yadav et al. Video anomaly detection for pedestrian surveillance
Demars et al. Multispectral detection and tracking of multiple moving targets in cluttered urban environments
EP4341913A2 (en) System for detection and management of uncertainty in perception systems, for new object detection and for situation anticipation
Cao et al. Vision-based flying targets detection via spatiotemporal context fusion
Das et al. DriCon: On-device just-in-time context characterization for unexpected driving events

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant