KR102658563B1 - 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들 - Google Patents
영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들 Download PDFInfo
- Publication number
- KR102658563B1 KR102658563B1 KR1020190029529A KR20190029529A KR102658563B1 KR 102658563 B1 KR102658563 B1 KR 102658563B1 KR 1020190029529 A KR1020190029529 A KR 1020190029529A KR 20190029529 A KR20190029529 A KR 20190029529A KR 102658563 B1 KR102658563 B1 KR 102658563B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- video
- surveillance
- surveillance area
- video surveillance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000012544 monitoring process Methods 0.000 title description 5
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 238000004458 analytical method Methods 0.000 claims description 50
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 description 28
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
개시된 영상 감시장치는, 감시 영역에 대한 영상을 촬영하는 촬영부와, 촬영부에 의한 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부와, 감시 영역에 대한 환경이 반영되도록 촬영 영상을 이용해 객체 탐지부를 추가 학습시키는 학습부를 포함한다.
Description
본 발명은 영상을 촬영하여 감시하는 장치와 촬영 영상을 분석하는 서버장치 및 이들 장치들이 영상으로부터 객체를 검출하기 위해 학습하는 방법들에 관한 것이다.
CCTV(Closed Circuit Television), 휴대폰 카메라 등을 활용한 다양한 컴퓨터 비젼 기술이 사진(이미지) 및 동영상(비디오)에 적용되어 사진이나 동영상으로부터 사람, 자동차, 동물 등의 원하는 객체를 검출하고 인식할 수 있게 되었고, 딥 러닝(Deep Learning) 등의 기계 학습법과 접목하여 객체 검출 및 인식의 정확성 향상을 도모하고 있으나, 만족할만한 수준에 이르지 못하였다.
일 실시예에 따르면, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기에 대하여 감시 영역에 대한 촬영 영상을 이용해 감시 영역의 환경을 적응적으로 추가 학습시키는 영상 감시장치 및 그 학습 방법을 제공한다.
또한, 다른 실시예에 따르면, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 서버단의 객체 탐지기에 대하여 영상 감시장치의 촬영 영상을 이용하여 감시 영역의 환경을 추가로 학습시키는 영상 분석 서버장치 및 그 학습 방법을 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제 1 관점에 따른 영상 감시장치는, 감시 영역에 대한 영상을 촬영하는 촬영부와, 상기 촬영부에 의한 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부와, 상기 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지부를 추가 학습시키는 학습부를 포함할 수 있다.
본 발명의 제 2 관점에 따른, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함하는 영상 감시장치의 학습 방법은, 감시 영역에 대한 영상을 촬영하는 단계와, 상기 감시 영역에 대한 환경이 반영되도록 상기 감시 영역의 촬영 영상을 이용해 상기 객체 탐지기를 추가 학습시키는 단계를 포함할 수 있다.
본 발명의 제 3 관점에 따른 영상 분석 장치는, 영상 감시장치의 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부와, 상기 영상 감시장치의 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지부를 추가 학습시키는 학습부를 포함할 수 있다.
본 발명의 제 4 관점에 따라, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함하는 영상 분석 장치의 학습 방법은, 영상 감시장치로부터 감시 영역에 대한 촬영 영상을 수신하는 단계와, 상기 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지기를 추가 학습시키는 단계를 포함할 수 있다.
본 발명의 실시예에 의하면, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기에 대하여 감시 영역에 대한 촬영 영상을 이용해 감시 영역의 환경을 적응적으로 추가 학습시킨다. 이로써, 객체 탐지 및 인식 기능이 감시 영역의 환경에 최적화되어 객체 검출 및 인식의 정확성이 크게 향상되는 효과가 있다.
도 1은 본 발명의 실시예들에 따른 영상 감시 및 분석 시스템의 구성도이다.
도 2는 본 발명의 제 1 실시예에 따른 영상 감시장치의 구성도이다.
도 3은 본 발명의 제 1 실시예에 따른 영상 감시장치의 학습 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 제 2 실시예에 따른 영상 분석 서버장치의 구성도이다.
도 5는 본 발명의 제 2 실시예에 따른 영상 분석 서버장치의 학습 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예들에 따른 학습 방법에 의한 객체 검출 및 인식 결과를 예시한 도면이다.
도 2는 본 발명의 제 1 실시예에 따른 영상 감시장치의 구성도이다.
도 3은 본 발명의 제 1 실시예에 따른 영상 감시장치의 학습 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 제 2 실시예에 따른 영상 분석 서버장치의 구성도이다.
도 5는 본 발명의 제 2 실시예에 따른 영상 분석 서버장치의 학습 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예들에 따른 학습 방법에 의한 객체 검출 및 인식 결과를 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예들에 따른 영상 감시 및 분석 시스템(100)의 구성도이다.
도 1을 참조하면 영상 감시 및 분석 시스템(100)은 영상 감시장치(110), 영상 분석 서버장치(120), 모니터링 장치(130)를 포함한다.
이러한 영상 감시 및 분석 시스템(100)은 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 영상 감시장치(110) 또는 영상 분석 서버장치(120)에 포함하며, 영상 감시장치(110) 또는 영상 분석 서버장치(120)는 영상 감시장치(110)에 의한 감시 영역의 촬영 영상을 이용해 객체 탐지기에 감시 영역의 환경을 적응적으로 추가 학습시킨다. 예를 들어, 영상 감시 및 분석 시스템(100)은 감시 영역에 설치되기 전에 오프라인 러닝(Offline Learning)을 통해 객체를 탐지 및 인식할 수 있도록 객체 탐지기가 초기 학습되고, 감시 영역에 설치된 후에 온라인 러닝(Online Learning)을 통해 감시 영역의 환경을 영상 감시장치(110) 또는 영상 분석 서버장치(120)의 객체 탐지기에 추가 학습시킬 수 있다. 이를 위해, 영상 감시장치(110) 또는 영상 분석 서버장치(120)는 마이크로프로세서(microprocessor) 등과 같은 컴퓨팅 연산장치를 포함할 수 있다.
도 2는 영상 감시장치(110)에 객체 탐지기로서 객체 탐지부(112)가 포함된 본 발명의 제 1 실시예를 나타낸 것이고, 이러한 제 1 실시예에 따르면 영상 분석 서버장치(120) 또한 객체 탐지기를 포함할 수 있다.
도 1 및 도 2를 참조하여 본 발명의 제 1 실시예에 따른 영상 감시 및 분석 시스템(100)에 대하여 살펴보기로 한다.
영상 감시장치(110)는 감시 영역의 영상을 촬영하는 촬영부(111)를 포함하고, 촬영 영상을 포함한 각종 정보를 영상 분석 서버장치(120) 및 모니터링 장치(130)와 송수신하는 통신부(114)를 포함한다. 예를 들어, 영상 감시장치(110)는 CCTV(Closed Circuit Television)용 카메라로 구현될 수 있으나, 이에 한정되는 것은 아니고 감시 영역의 영상을 촬영할 수 있는 모든 장치를 포함할 수 있다.
이러한 영상 감시장치(110)는 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부(112)를 포함할 수 있다. 객체 탐지부(112)는 감시 영역의 촬영 영상을 실시간으로 분석하여 객체를 탐지 및 인식하고, 객체 인식 결과를 영상 분석 서버장치(120) 및 모니터링 장치(130)로 전송하도록 통신부(114)를 제어한다. 객체 탐지부(112)는 객체를 탐지하고 인식하도록 미리 설계된 신경망을 학습하고, 학습된 신경망을 기반으로 촬영 영상 내의 객체를 탐지 및 인식할 수 있다. 예를 들어, 객체 탐지부(112)는 학습 결과인 딥 러닝 웨이트 파일(Deep learning weight file)을 이용하여 객체를 탐지 및 인식할 수 있다.
영상 감시장치(110)는 감시 영역에 대한 촬영 영상을 이용해 객체 탐지부(112)에 대하여 감시 영역의 환경을 적증적으로 추가 학습시키는 학습부(113)를 포함할 수 있다. 학습부(113)는 기 설정된 실행 조건에 기초하여 객체 탐지부(112)의 추가 학습이 필요한지 여부를 판단할 수 있는데, 실행 조건으로는 초기화 후 촬영부(111)의 감시 영역에 대한 촬영 영상의 수, 촬영 시간 또는 객체 탐지부(112)에 의한 객체의 검출 횟수 중 하나 이상이 기 설정될 수 있다. 예를 들어, 감시 영역에 대한 촬영 영상의 수가 "1"일 때, 객체의 검출 횟수가 "0"일 때, 감시 영역에 외부의 객체가 들어오지 않을 가능성이 높은 시각(예컨대, 야간 등) 등이 추가 학습이 필요한지 여부를 판단할 수 있는 실행 조건으로서 미리 설정될 수 있다. 학습부(113)는 촬영부(111)의 촬영 영상으로부터 획득한 감시 영역에 대한 환경을 네거티브 세트(negative set)로 학습을 진행하여 과적합(overfitting)하는 학습법을 수행할 수 있다. 예를 들어, 촬영부(111)에 의한 감시 영역에 대한 촬영 영상의 수가 "1"이면 영상 감시 및 분석 시스템(100)을 감시 영역에 설치하고 있는 중 또는 설치한 직후일 가능성이 매우 높기 때문에 최초의 촬영 영상에는 객체 탐지 및 인식의 대상이 되는 원하는 객체가 없는 상태로 간주함으로써, 추가 학습을 통해 객체 탐지부(112)의 딥 러닝 웨이트 파일을 영상 감시장치(110)에 의한 감시 영역의 환경에 최적화되도록 미세하게 변형시킬 수 있다.
영상 분석 서버장치(120)는 영상 감시장치(110)로부터 전송된 객체 인식 결과에 기초하여 사전에 정의된 하나 이상의 이벤트를 감지할 수 있고, 감지된 이벤트에 따른 정보를 모니터링 장치(130)로 전송할 수 있다. 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 영상 분석 서버장치(120)는 복수의 영상 감시장치(110)를 통합 운용하거나 중앙 제어할 수 있다.
모니터링 장치(130)는 영상 감시장치(110)로부터 촬영된 영상을 수신하여 실시간으로 디스플레이할 수 있다. 그리고, 모니터링 장치(130)는 영상 분석 서버장치(120)로부터 수신한 정보에 따라 경보 발생 등과 같은 적절한 이벤트를 발생시킬 수 있다. 또한, 모니터링 장치(130)는 영상 감시장치(110)로부터 전송된 객체 인식 결과를 실시간으로 디스플레이할 수 있고, 객체 인식 결과에 대한 운영자 등에 의한 판단 정보를 객체의 인식 결과에 대한 피드백으로서 영상 감시장치(110) 또는 영상 분석 서버장치(120)로 전송할 수 있다.
도 3은 본 발명의 제 1 실시예에 따른 영상 감시장치(100)의 학습 방법을 설명하기 위한 흐름도이다.
도 1 내지 도 3을 참조하여 제 1 실시예에 따른 영상 감시장치(100)의 학습 방법에 대해 자세히 살펴보기로 한다.
먼저, 영상 감시 및 분석 시스템(100)을 유통 및 설치하기 전에 영상 감시장치(110)의 객체 탐지부(112)가 추후 감시 영역에서 객체를 탐지하고 인식할 수 있도록 하기 위해 미리 설계된 신경망을 초기 학습시킨다. 예를 들어, 컨볼루션 신경망(CNN: Convolutional Neural Network)이나 순환 신경망(RNN: Recurrent Neural Network) 또는 컨볼루션 신경망과 순환 신경망의 조합 등 다양한 신경망을 이용하여 오프라인 러닝을 수행할 수 있고, 학습 결과로서 딥 러닝 웨이트 파일이 생성될 수 있다. 이처럼, 객체를 탐지 및 인식할 수 있도록 초기 학습시킨 객체 탐지부(112)를 포함하는 영상 감시장치(110)가 공장 등에서 제조되어 유통될 수 있고, 객체 탐지부(112)가 초기 학습된 상태가 초기화 상태이다(S310).
이후, 영상 감시장치(110)를 소정의 감시 영역에 설치하고, 영상 분석 서버장치(120) 및 모니터링 장치(130)와 통신망을 통해 연결하여 온라인 상태를 구축한다.
그러면, 영상 감시장치(110)의 촬영부(111)는 감시 영역에 대하여 영상을 촬영할 수 있는 상태에 놓이고, 학습부(113)는 기 설정된 실행 조건에 기초하여 객체 탐지부(112)의 추가 학습이 필요한지 여부를 판단한다. 여기서, 실행 조건으로는 초기화 후 촬영부(111)의 감시 영역에 대한 촬영 영상의 수, 촬영 시간 또는 객체 탐지부(112)에 의한 객체의 검출 횟수 중 하나 이상이 기 설정될 수 있다. 예를 들어, 감시 영역에 대한 촬영 영상의 수가 "1"일 때가 실행 조건으로 사전에 설정된 경우, 촬영부(111)가 감시 영역을 최초로 촬영(S320)한 때에 학습부(113)는 실행 조건이 만족하는 것으로 파악하여 객체 탐지부(112)에 대한 추가 학습이 필요한 것으로 판단할 수 있다(S330).
학습부(113)가 객체 탐지부(112)에 대하여 수행하는 추가 학습은 촬영부(111)에 의해 촬영된 감시 영역의 촬영 영상이 이용된다. 예를 들어, 학습부(113)는 촬영부(111)의 촬영 영상으로부터 획득한 감시 영역에 대한 환경을 네거티브 세트로 학습을 진행하여 과적합하는 온라인 러닝을 수행할 수 있다. 예를 들어, 촬영 영상으로부터 추출될 수 있는 감시 영역의 실내 구조, 실외 조명 상황, 실내 가구 배치 등과 같은 환경 정보가 객체 탐지부(112)에 적응적으로 추가 학습될 수 있다. 영상 감시 및 분석 시스템(100)을 감시 영역에 설치하고 있는 중 또는 설치한 직후에 촬영된 영상 내에는 객체 탐지 및 인식의 대상이 되는 원하는 객체가 없는 상태로 간주하고, 네거티브 세트를 이용한 추가 학습을 통해 객체 탐지부(112)의 초기 학습에 의해 생성되어 있던 딥 러닝 웨이트 파일을 영상 감시장치(110)에 의한 감시 영역의 환경에 최적화되도록 미세하게 변형시킬 수 있다. 여기서, 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 서로 다른 감시 영역에서 운용 중인 복수의 객체 탐지부(112)는 서로 다른 감시 영역에 의한 서로 다른 실내 구조, 서로 다른 실외 조명 환경, 서로 다른 실내 가구 배치 등이 추가로 학습될 수 있다(S340).
이후, 영상 감시장치(110)의 객체 탐지부(112)는 단계 S340를 통해 감시 영역의 환경에 최적화된 상태에서 촬영부(111)에 의한 감시 영역의 촬영 영상에서 원하는 객체를 탐지 및 인식하고, 객체 인식 결과를 영상 분석 서버장치(120) 및 모니터링 장치(130)로 전송하도록 통신부(114)를 제어한다(S350).
도 4는 영상 분석 서버장치(120)에 객체 탐지기로서 객체 탐지부(121)가 포함된 본 발명의 제 2 실시예를 나타낸 것이고, 이러한 제 2 실시예에 따르면 영상 분석 서버장치(120) 또한 객체 탐지기를 포함할 수 있다.
도 1 및 도 4를 참조하여 본 발명의 제 2 실시예에 따른 영상 감시 및 분석 시스템(100)에 대하여 살펴보기로 한다.
영상 감시장치(110)는 감시 영역의 영상을 촬영하고, 촬영 영상을 포함한 각종 정보를 영상 분석 서버장치(120) 및 모니터링 장치(130)와 송수신할 수 있다. 예를 들어, 영상 감시장치(110)는 CCTV용 카메라로 구현될 수 있으나, 이에 한정되는 것은 아니고 감시 영역의 영상을 촬영할 수 있는 모든 장치를 포함할 수 있다.
이러한 영상 감시장치(110)는 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함할 수 있다. 영상 감시장치(110)는 객체 탐지기를 이용해 감시 영역의 촬영 영상을 실시간으로 분석하여 객체를 탐지 및 인식한 후, 객체 인식 결과를 영상 분석 서버장치(120) 및 모니터링 장치(130)로 전송할 수 있다. 객체 탐지기는 객체를 탐지하고 인식하도록 미리 설계된 신경망을 학습하고, 학습된 신경망을 기반으로 촬영 영상 내의 객체를 탐지 및 인식할 수 있다. 예를 들어, 객체 탐지기는 학습 결과인 딥 러닝 웨이트 파일을 이용하여 객체를 탐지 및 인식할 수 있다.
영상 분석 서버장치(120)는 영상 감시장치(110)로부터 전송된 감시 영역에 대한 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부(121)를 포함할 수 있고, 영상 감시장치(110) 및 모니터링 장치(130)와 각종 정보를 송수신할 수 있는 통신부(123)를 포함할 수 있다. 객체 탐지부(112)는 감시 영역의 촬영 영상을 실시간으로 분석하여 객체를 탐지 및 인식하고, 객체 인식 결과를 영상 감시장치(110) 및 모니터링 장치(130)로 전송하도록 통신부(123)를 제어한다. 객체 탐지부(121)는 객체를 탐지하고 인식하도록 미리 설계된 신경망을 학습하고, 학습된 신경망을 기반으로 촬영 영상 내의 객체를 탐지 및 인식할 수 있다. 예를 들어, 객체 탐지부(121)는 학습 결과인 딥 러닝 웨이트 파일을 이용하여 객체를 탐지 및 인식할 수 있다. 또한, 객체 탐지부(121)는 영상 감시장치(110)로부터 전송된 객체 인식 결과에 기초하여 사전에 정의된 하나 이상의 이벤트를 감지할 수 있고, 감지된 이벤트에 따른 정보를 모니터링 장치(130)로 전송하도록 통신부(123)를 제어할 수 있다. 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 객체 탐지부(121)는 복수의 영상 감시장치(110)를 통합 운용하거나 중앙 제어할 수 있다.
영상 분석 서버장치(120)는 감시 영역에 대한 촬영 영상을 이용해 객체 탐지부(121)에 대하여 감시 영역의 환경을 적응적으로 추가 학습시키는 학습부(122)를 포함할 수 있다. 여기서, 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 서로 다른 감시 영역에 의한 서로 다른 실내 구조, 서로 다른 실외 조명 환경, 서로 다른 실내 가구 배치 등이 추가로 학습될 수 있다. 학습부(122)는 기 설정된 실행 조건에 기초하여 객체 탐지부(121)의 추가 학습이 필요한지 여부를 판단할 수 있는데, 실행 조건으로는 초기화 후 영상 감시장치(110)의 감시 영역에 대한 촬영 영상의 수, 촬영 시간 또는 객체의 인식 결과에 대한 모니터링 장치(130)의 피드백 결과 중 하나 이상이 기 설정될 수 있다. 예를 들어, 감시 영역에 대한 촬영 영상의 수가 "1"일 때, 감시 영역에 외부의 객체가 들어오지 않을 가능성이 높은 시각(예컨대, 야간 등), 객체의 인식 결과에 대한 피드백 결과가 "거짓(false)"일 때 등이 추가 학습이 필요한지 여부를 판단할 수 있는 실행 조건으로서 미리 설정될 수 있다. 학습부(122)는 영상 감시장치(110)의 촬영 영상으로부터 획득한 감시 영역에 대한 환경을 네거티브 세트(negative set)로 학습을 진행하여 과적합(overfitting)하는 학습법을 수행할 수 있다. 예를 들어, 영상 감시장치(110)에 의한 감시 영역에 대한 촬영 영상의 수가 "1"이면 영상 감시 및 분석 시스템(100)을 감시 영역에 설치하고 있는 중 또는 설치한 직후일 가능성이 매우 높기 때문에 최초의 촬영 영상에는 객체 탐지 및 인식의 대상이 되는 원하는 객체가 없는 상태로 간주함으로써, 추가 학습을 통해 객체 탐지부(121)의 딥 러닝 웨이트 파일을 영상 감시장치(110)에 의한 감시 영역의 환경에 최적화되도록 미세하게 변형시킬 수 있다.
모니터링 장치(130)는 영상 감시장치(110)로부터 촬영된 영상을 수신하여 실시간으로 디스플레이할 수 있다. 그리고, 모니터링 장치(130)는 영상 분석 서버장치(120)로부터 수신한 정보에 따라 경보 발생 등과 같은 적절한 이벤트를 발생시킬 수 있다. 또한, 모니터링 장치(130)는 영상 감시장치(110) 또는 영상 분석 서버장치(120)로부터 전송된 객체 인식 결과를 실시간으로 디스플레이할 수 있고, 객체 인식 결과에 대한 운영자 등에 의한 판단 정보를 객체의 인식 결과에 대한 피드백으로서 영상 감시장치(110) 또는 영상 분석 서버장치(120)로 전송할 수 있다.
도 5는 본 발명의 제 2 실시예에 따른 영상 감시장치(100)의 학습 방법을 설명하기 위한 흐름도이다.
도 1, 도 4 및 도 5를 참조하여 제 2 실시예에 따른 영상 감시장치(100)의 학습 방법에 대해 자세히 살펴보기로 한다.
먼저, 영상 감시 및 분석 시스템(100)을 유통 및 설치하기 전에 영상 감시장치(110)의 객체 탐지기 및 영상 분석 서버장치(120)의 객체 탐지부(121)가 영상 내에 포함된 객체를 탐지하고 인식할 수 있도록 하기 위해 미리 설계된 신경망을 초기 학습시킨다. 예를 들어, 컨볼루션 신경망이나 순환 신경망 또는 컨볼루션 신경망과 순환 신경망의 조합 등 다양한 신경망을 이용하여 오프라인 러닝을 수행할 수 있고, 학습 결과로서 딥 러닝 웨이트 파일이 생성될 수 있다. 이처럼, 객체를 탐지 및 인식할 수 있도록 초기 학습시킨 객체 탐지기를 포함하는 영상 감시장치(110) 및 객체 탐지부(121)를 포함하는 영상 분석 서버장치(120)가 공장 등에서 제조되어 유통될 수 있고, 오프라인 러닝에 의해 초기 학습된 상태가 초기화 상태이다.
이후, 영상 감시장치(110)를 소정의 감시 영역에 설치하고, 영상 분석 서버장치(120) 및 모니터링 장치(130)와 통신망을 통해 연결하여 온라인 상태를 구축한다.
그러면, 영상 감시장치(110)는 감시 영역에 대하여 영상을 촬영할 수 있는 상태에 놓이고, 영상 분석 서버장치(120)의 학습부(122)는 기 설정된 실행 조건에 기초하여 객체 탐지부(121)의 추가 학습이 필요한지 여부를 판단한다. 여기서, 실행 조건으로는 초기화 후 영상 감시장치(110)의 감시 영역에 대한 촬영 영상의 수, 촬영 시간 또는 객체의 인식 결과에 대한 모니터링 장치(130)의 피드백 결과 중 하나 이상이 기 설정될 수 있다. 예를 들어, 감시 영역에 대한 촬영 영상의 수가 "1"일 때가 실행 조건으로 사전에 설정된 경우, 영상 감시장치(110)가 감시 영역을 최초로 촬영(S510)하여 영상 분석 서버장치(120) 및 모니터링 장치(130)에 전송하였을 때에 학습부(122)는 실행 조건이 만족하는 것으로 파악하여 객체 탐지부(121)에 대한 추가 학습이 필요한 것으로 판단할 수 있다(S520).
학습부(122)가 객체 탐지부(121)에 대하여 수행하는 추가 학습은 영상 감시장치(110)에 의해 촬영된 감시 영역의 촬영 영상이 이용된다. 예를 들어, 촬영 영상으로부터 추출될 수 있는 감시 영역의 실내 구조, 실외 조명 상황, 실내 가구 배치 등과 같은 환경 정보가 객체 탐지부(121)에 적응적으로 추가 학습될 수 있다. 여기서, 학습부(122)는 영상 감시장치(110)의 촬영 영상으로부터 획득한 감시 영역에 대한 환경을 네거티브 세트로 학습을 진행하여 과적합하는 온라인 러닝을 수행함으로써 새로운 과적합 모델을 생성할 수 있다. 영상 감시 및 분석 시스템(100)을 감시 영역에 설치하고 있는 중 또는 설치한 직후에 촬영된 영상 내에는 객체 탐지 및 인식의 대상이 되는 원하는 객체가 없는 상태로 간주하고, 네거티브 세트를 이용한 추가 학습을 통해 객체 탐지부(121)의 초기 학습에 의해 생성되어 있던 딥 러닝 웨이트 파일을 영상 감시장치(110)에 의한 감시 영역의 환경에 최적화되도록 미세하게 변형시킬 수 있다(S530).
그리고, 객체 탐지부(121)는 단계 S530의 추가 학습에 의해 생성된 과적합 모델을 영상 감시장치(110)로 전송하도록 통신부(123)를 제어할 수 있고, 통신부(123)는 객체 탐지부(121)는 단계 S530에서 생성된 과적합 모델을 객체 탐지부(121)의 제어에 따라 영상 감시장치(110)로 송신할 수 있다(S540).
그러면, 영상 감시장치(110)는 영상 분석 서버장치(120)로부터 추가 학습의 결과물인 과적합 모델을 수신할 수 있고, 초기 학습된 상태인 객체 탐지기는 추가 학습된 과적합 모델을 적용하는 온라인 러닝을 수행할 수 있다. 이로써, 영상 감시장치(110)는 감시 영역의 환경에 최적화된다. 여기서, 영상 감시장치(110)가 복수의 감시 영역에서 각각 운용되는 경우에 서로 다른 감시 영역에 의한 서로 다른 실내 구조, 서로 다른 실외 조명 환경, 서로 다른 실내 가구 배치 등이 추가로 학습될 수 있다.이후, 영상 감시장치(110)는 감시 영역의 환경에 최적화된 상태에서 감시 영역의 영상을 촬영하고, 촬영 영상에서 원하는 객체를 탐지 및 인식하며, 객체 인식 결과를 영상 분석 서버장치(120) 및 모니터링 장치(130)로 전송할 수 있다.
한편, 단계 S520에서 영상 분석 서버장치(120)의 학습부(122)는 영상 감시장치(110)에 의한 객체의 인식 결과에 대한 모니터링 장치(130)의 피드백 결과에 기초하여 객체 탐지부(121)의 추가 학습이 필요한 실행 조건이 만족하는지를 판단할 수 있다. 예를 들어, 모니터링 장치(130)로부터 객체의 인식 결과에 대한 피드백 결과로서, "거짓(false)"이 수신(S510)될 때에 기 설정된 실행 조건이 만족하는 것으로 파악하여 추가 학습이 필요한 것으로 판단할 수 있다(S520). 이후, 앞서 설명한 바와 같이 단계 S530 및 S540이 수행될 수 있다.
도 6은 본 발명의 실시예들에 따른 학습 방법에 의한 객체 검출 및 인식 결과를 예시한 도면으로서, 왼쪽은 초기 학습(오프라인 러닝) 상태의 객체 탐지 및 인식의 결과이고, 오른쪽은 초기 학습(오프라인 러닝) 및 추가 학습(온라인 러닝) 상태의 객체 탐지 및 인식의 결과이다. 초기 학습 시에는 수십만장의 사람 영상을 이용해 딥 러닝을 수행하였고, 추가 학습 시에는 감시 영역에 대한 최초 1장의 촬영 영상을 이용해 약 10번에 걸쳐서 반복 학습하는 딥 러닝을 수행하였다. 초기 학습만 수행한 경우에는 왼쪽 하단에서 사람이 아닌 객체에 대해 사람으로 오류 인식하였으나 추가 학습을 수행한 경우에는 이러한 오류 인식이 발생하지 않았다.
지금까지 설명한 바와 같이 본 발명의 실시예들에 의하면, 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기에 대하여 감시 영역에 대한 촬영 영상을 이용해 감시 영역의 환경을 추가로 학습시킨다. 이로써, 객체 탐지 및 인식 기능이 감시 영역의 환경에 최적화되어 객체 검출 및 인식의 정확성이 크게 향상되는 효과가 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 의하면, 객체의 탐지 및 인식을 위해 초기 학습된 객체 탐지기에 대하여 감시 영역의 환경을 추가로 학습시켜 객체 탐지 및 인식 기능을 감시 영역의 환경에 최적화시킴으로써, 객체 검출 및 인식의 정확성이 크게 향상된다. 이러한 본 발명의 실시예들은 CCTV(Closed Circuit Television) 감시 시스템을 포함하여 침입 감지 및 보안 기술분야에 적용 및 이용할 수 있다.
100: 영상 감시 및 분석 시스템
110: 영상 감시장치 111: 촬영부
112: 객체 탐지부 113: 학습부
114: 통신부
120: 영상 분석 서버장치 121: 객체 탐지부
122: 학습부 123: 통신부
130: 모니터링 장치
110: 영상 감시장치 111: 촬영부
112: 객체 탐지부 113: 학습부
114: 통신부
120: 영상 분석 서버장치 121: 객체 탐지부
122: 학습부 123: 통신부
130: 모니터링 장치
Claims (8)
- 영상 감시장치로서,
감시 영역에 대한 영상을 촬영하는 촬영부와,
상기 촬영부에 의한 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부와,
상기 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지부를 추가 학습시키는 학습부를 포함하고,
상기 학습부는, 기 설정된 실행 조건에 기초하여 상기 객체 탐지부의 추가 학습이 필요한지 여부를 판단하되, 상기 실행 조건은 상기 촬영부의 초기화 후 상기 촬영 영상의 수, 촬영 시간 또는 상기 객체의 검출 횟수 중 하나 이상을 포함하며, 상기 기 설정된 실행 조건의 촬영 영상 중 적어도 일부를 객체 탐지 및 인식의 대상이 되는 객체가 없는 상태로 간주해 네거티브 세트(negative set)로서 상기 추가 학습을 진행하여 과적합(overfitting)하고,
상기 초기 학습은 상기 영상 감시장치가 상기 감시 영역에 설치되기 전에 수행된 것이며,
상기 추가 학습은 상기 영상 감시장치를 상기 감시 영역에 설치하고 있는 중 또는 설치한 직후에 상기 영상 감시장치에 의해 촬영된 상기 감시 영역에 대한 촬영 영상을 이용해 반복 학습을 진행하는
영상 감시장치. - 삭제
- 삭제
- 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함하는 영상 감시장치의 학습 방법으로서,
감시 영역에 대한 영상을 촬영하는 단계와,
상기 감시 영역에 대한 환경이 반영되도록 상기 감시 영역의 촬영 영상을 이용해 상기 객체 탐지기를 추가 학습시키는 단계를 포함하고,
상기 추가 학습시키는 단계는, 기 설정된 실행 조건에 기초하여 상기 객체 탐지기의 추가 학습이 필요한지 여부를 판단하되, 상기 실행 조건은 상기 영상 감시장치의 초기화 후 상기 촬영 영상의 수, 촬영 시간 또는 상기 객체의 검출 횟수 중 하나 이상을 포함하며, 상기 기 설정된 실행 조건의 촬영 영상 중 적어도 일부를 객체 탐지 및 인식의 대상이 되는 객체가 없는 상태로 간주해 네거티브 세트로서 상기 추가 학습을 진행하여 과적합하고,
상기 초기 학습은 상기 영상 감시장치가 상기 감시 영역에 설치되기 전에 수행된 것이며,
상기 추가 학습은 상기 영상 감시장치를 상기 감시 영역에 설치하고 있는 중 또는 설치한 직후에 상기 영상 감시장치에 의해 촬영된 상기 감시 영역에 대한 촬영 영상을 이용해 반복 학습을 진행하는
영상 감시장치의 학습 방법. - 영상 감시장치의 촬영 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지부와,
상기 영상 감시장치의 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지부를 추가 학습시키는 학습부를 포함하고,
상기 학습부는, 기 설정된 실행 조건에 기초하여 상기 객체 탐지부의 추가 학습이 필요한지 여부를 판단하되, 상기 실행 조건은 상기 영상 감시장치의 초기화 후 상기 촬영 영상의 수, 촬영 시간 또는 상기 객체의 인식 결과에 대한 피드백 결과 중 하나 이상을 포함하며, 상기 기 설정된 실행 조건의 촬영 영상 중 적어도 일부를 객체 탐지 및 인식의 대상이 되는 객체가 없는 상태로 간주해 네거티브 세트로서 상기 추가 학습을 진행하여 과적합하고,
상기 초기 학습은 상기 영상 감시장치가 상기 감시 영역에 설치되기 전에 수행된 것이며,
상기 추가 학습은 상기 영상 감시장치를 상기 감시 영역에 설치하고 있는 중 또는 설치한 직후에 상기 영상 감시장치에 의해 촬영된 상기 감시 영역에 대한 촬영 영상을 이용해 반복 학습을 진행하는
영상 분석 장치. - 삭제
- 삭제
- 영상으로부터 객체를 검출하여 인식하도록 초기 학습된 객체 탐지기를 포함하는 영상 분석 장치의 학습 방법으로서,
영상 감시장치로부터 감시 영역에 대한 촬영 영상을 수신하는 단계와,
상기 감시 영역에 대한 환경이 반영되도록 상기 촬영 영상을 이용해 상기 객체 탐지기를 추가 학습시키는 단계를 포함하고,
상기 추가 학습시키는 단계, 기 설정된 실행 조건에 기초하여 상기 객체 탐지기의 추가 학습이 필요한지 여부를 판단하되, 상기 실행 조건은 상기 영상 감시장치의 초기화 후 상기 촬영 영상의 수, 촬영 시간 또는 상기 객체의 인식 결과에 대한 피드백 결과 중 하나 이상을 포함하며, 상기 기 설정된 실행 조건의 촬영 영상 중 적어도 일부를 객체 탐지 및 인식의 대상이 되는 객체가 없는 상태로 간주해 네거티브 세트로서 상기 추가 학습을 진행하여 과적합하고,
상기 초기 학습은 상기 영상 감시장치가 상기 감시 영역에 설치되기 전에 수행된 것이며,
상기 추가 학습은 상기 영상 감시장치를 상기 감시 영역에 설치하고 있는 중 또는 설치한 직후에 상기 영상 감시장치에 의해 촬영된 상기 감시 영역에 대한 촬영 영상을 이용해 반복 학습을 진행하는
영상 분석 장치의 학습 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190029529A KR102658563B1 (ko) | 2019-03-14 | 2019-03-14 | 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190029529A KR102658563B1 (ko) | 2019-03-14 | 2019-03-14 | 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200115723A KR20200115723A (ko) | 2020-10-08 |
| KR102658563B1 true KR102658563B1 (ko) | 2024-04-17 |
Family
ID=72897261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190029529A KR102658563B1 (ko) | 2019-03-14 | 2019-03-14 | 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102658563B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102629421B1 (ko) * | 2023-07-25 | 2024-01-30 | (주)아이나래컴퍼니 | IoT 기반의 유기동물 포획 탐지 및 관리 방법, 유기동물포획 탐지 및 관리 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014085795A (ja) | 2012-10-23 | 2014-05-12 | Toshiba Corp | 学習画像収集装置、学習装置及び対象物検出装置 |
| KR101476799B1 (ko) * | 2013-07-10 | 2014-12-26 | 숭실대학교산학협력단 | 깊이 정보를 이용한 객체 검출 시스템 및 방법 |
| JP2018112996A (ja) * | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | 映像認識装置、映像認識方法及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170109304A (ko) * | 2016-03-21 | 2017-09-29 | 한국전자통신연구원 | 객체 인식을 위한 캐스케이드 분류기의 병렬 학습 방법 |
| KR101910542B1 (ko) | 2017-06-21 | 2018-10-22 | 에스케이 텔레콤주식회사 | 객체 검출을 위한 영상분석 서버장치 및 방법 |
-
2019
- 2019-03-14 KR KR1020190029529A patent/KR102658563B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014085795A (ja) | 2012-10-23 | 2014-05-12 | Toshiba Corp | 学習画像収集装置、学習装置及び対象物検出装置 |
| KR101476799B1 (ko) * | 2013-07-10 | 2014-12-26 | 숭실대학교산학협력단 | 깊이 정보를 이용한 객체 검출 시스템 및 방법 |
| JP2018112996A (ja) * | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | 映像認識装置、映像認識方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200115723A (ko) | 2020-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109040709B (zh) | 视频监控方法及装置、监控服务器及视频监控系统 | |
| US20160019427A1 (en) | Video surveillence system for detecting firearms | |
| JP2018207222A (ja) | カメラ及びパラメータ登録方法 | |
| Fawzi et al. | Embedded real-time video surveillance system based on multi-sensor and visual tracking | |
| KR102174784B1 (ko) | 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법 | |
| JP2018205900A (ja) | 監視システム及び監視方法 | |
| US9065975B2 (en) | Method and apparatus for hands-free control of a far end camera | |
| US20240046701A1 (en) | Image-based pose estimation and action detection method and apparatus | |
| Shin et al. | Design and implementation of IoT-based intelligent surveillance robot | |
| KR102658563B1 (ko) | 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들 | |
| KR102424098B1 (ko) | 딥러닝을 이용한 드론 검출 장치 및 방법 | |
| KR101695127B1 (ko) | 영상을 이용한 집단 행동 분석 방법 | |
| Yoon et al. | Tracking System for mobile user Based on CCTV | |
| Salisbury et al. | Crowdar: augmenting live video with a real-time crowd | |
| KR102081577B1 (ko) | Cctv를 활용한 지능형 화재 감지 시스템 | |
| KR20210013865A (ko) | 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법 | |
| KR20210024935A (ko) | 영상 감시장치, 영상 분석 장치 및 온라인 기계 학습 방법 | |
| Kim et al. | An intelligent collaboration framework between edge camera and video analysis system | |
| KR20120118339A (ko) | 지능형 무인 감시 서비스 방법 | |
| Nishanthini et al. | Smart Video Surveillance system and alert with image capturing using android smart phones | |
| Rodelas et al. | Intruder detection and recognition using different image processing techniques for a proactive surveillance | |
| CN213715948U (zh) | 基于深度学习的轻量级和多姿态人脸检测与识别系统 | |
| Priya et al. | Elink-A Safe Secured Device | |
| Yoon et al. | Tracking model for abnormal behavior from multiple network CCTV using the Kalman Filter | |
| Li et al. | Unified Physical Threat Monitoring System Aided by Virtual Building Simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |