KR102151912B1 - 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법 - Google Patents

비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법 Download PDF

Info

Publication number
KR102151912B1
KR102151912B1 KR1020200010219A KR20200010219A KR102151912B1 KR 102151912 B1 KR102151912 B1 KR 102151912B1 KR 1020200010219 A KR1020200010219 A KR 1020200010219A KR 20200010219 A KR20200010219 A KR 20200010219A KR 102151912 B1 KR102151912 B1 KR 102151912B1
Authority
KR
South Korea
Prior art keywords
image
image acquisition
learning
neuromorphic
monitoring server
Prior art date
Application number
KR1020200010219A
Other languages
English (en)
Inventor
이정민
Original Assignee
이정민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이정민 filed Critical 이정민
Priority to KR1020200010219A priority Critical patent/KR102151912B1/ko
Application granted granted Critical
Publication of KR102151912B1 publication Critical patent/KR102151912B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비디오 감시 시스템에 관한 발명으로서, 상기 비디오 감시 시스템은 영상을 획득하는 복수의 영상 획득 장치, 상기 복수의 영상 획득 장치에 각각 연결되는 복수의 뉴로모픽 장치, 및 관리자 장치를 포함하며, 상기 복수의 뉴로모픽 장치 각각은 뉴로모픽 회로를 이용하여 상기 영상의 적어도 일부에 대하여 학습을 수행하도록 구성될 수 있다. 그 밖의 다양한 실시예가 가능하다.

Description

비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법{VIDEO SURVEILLANCE SYSTEM AND METHOD PERFORMED THEREAT}
본 발명은 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법에 관한 것이다.
일정한 공간적 범위 내에서의 환경 관리 및 안전의 관리를 위하여, CCTV (closed circuit television, 폐쇄회로 텔레비전)와 같은 영상 획득 장치를 이용하여 영상을 획득하는 경우가 점점 증가하고 있다. 비디오 감시 시스템의 관리자는 다수의 영상 획득 장치를 이용하여 현장의 영상을 획득하고, 다수의 영상 획득 장치를 이용하여 획득된 다수의 영상을 모니터링하여 현장의 상황 정보를 파악하는 것이 요구된다.
종래의 비디오 감시 시스템에서는 다수의 영상 획득 장치를 이용하여 획득된 다수의 영상으로부터 이상 상황을 찾아내기 위한 관리자가 항시적으로 대기할 것이 요구되었다. 따라서, 다수의 영상 획득 장치를 이용하여 획득된 다수의 영상을 모니터링하기 위한 인력이 많이 요구된다. 이러한 종래의 비디오 감시 시스템에서는 모니터링을 위한 관리 인력을 운영하기 위하여 높은 비용이 요구된다는 문제가 있다.
또한, 딥러닝을 이용하여 영상을 학습하는 지능형 분석 장비가 제안된 바 있다. 이러한 종래의 지능형 분석 장비는 딥러닝을 이용하여 영상을 학습하므로, 원하는 정확도를 내면서 객체를 인식하게 되기 위해서는 영상 속에서 빛의 양, 객체의 움직임 등이 변함에 따라 변화하는 모든 영상을 학습할 것이 요구되어 처리할 데이터의 양의 방대하며, 고해상도 영상을 처리하는 경우 더욱 데이터 양이 증가한다. 또한, 종래의 딥러닝을 이용한 분석 장비는 이러한 방대한 데이터를 서버에서 중앙 집중적으로 처리하므로 서버 비용이 높다. 나아가, 종래의 딥러닝을 이용한 분석 장비는 정확도가 낮기 때문에 객체 오인식의 빈도가 높다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법을 제공하는 데 있다.
종래의 비디오 감시 시스템에서는 다수의 영상 획득 장치를 이용하여 획득된 다수의 영상으로부터 이상 상황을 찾아내기 위한 관리자가 항시적으로 대기할 것이 요구되었다. 따라서, 다수의 영상 획득 장치를 이용하여 획득된 다수의 영상을 모니터링하기 위한 인력이 많이 요구된다. 이러한 종래의 비디오 감시 시스템에서는 모니터링을 위한 관리 인력을 운영하기 위하여 높은 비용이 요구된다는 문제가 있다.
또한, 딥러닝을 이용하여 영상을 학습하는 지능형 분석 장비가 제안된 바 있다. 이러한 종래의 지능형 분석 장비는 딥러닝을 이용하여 영상을 학습하므로, 원하는 정확도를 내면서 객체를 인식하게 되기 위해서는 영상 속에서 빛의 양, 객체의 움직임 등이 변함에 따라 변화하는 모든 영상을 학습할 것이 요구되어 처리할 데이터의 양의 방대하며, 고해상도 영상을 처리하는 경우 더욱 데이터 양이 증가한다. 또한, 종래의 딥러닝을 이용한 분석 장비는 이러한 방대한 데이터를 서버에서 중앙 집중적으로 처리하므로 서버 비용이 높다. 나아가, 종래의 딥러닝을 이용한 분석 장비는 정확도가 낮기 때문에 객체 오인식의 빈도가 높다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비디오 감시 시스템은, 영상을 획득하는 복수의 영상 획득 장치, 상기 복수의 영상 획득 장치에 각각 연결되는 복수의 뉴로모픽 장치, 및 관리자 장치를 포함하며, 상기 복수의 뉴로모픽 장치 각각은 뉴로모픽 회로를 이용하여 상기 영상의 적어도 일부에 대하여 학습을 수행하도록 구성될 수 있다.
여기서, 상기 복수의 뉴로모픽 장치 각각은 엣지 컴퓨팅 방식으로 상기 영상의 적어도 일부에 대하여 학습을 수행하도록 구성될 수 있다.
여기서, 상기 비디오 감시 시스템은 모니터링 서버를 더 포함하고, 상기 모니터링 서버는 상기 복수의 영상 획득 장치를 통하여 획득된 복수의 영상을 상기 관리자 장치에 전송하고, 상기 관리자 장치에서 이루어진 관리자 입력을 상기 복수의 뉴로모픽 장치 중 대응되는 뉴로모픽 장치에 전달하도록 구성될 수 있다.
여기서, 상기 복수의 뉴로모픽 장치 각각은 상기 관리자 장치에서 이루어진 관리자 입력에 기초하여 상기 영상의 적어도 일부에 대하여 학습을 수행하도록 구성될 수 있다.
여기서, 상기 복수의 뉴로모픽 장치 각각은: 상기 관리자 장치에서 이루어진 입력에 기초하여 상기 영상의 적어도 일부를 관심 영역으로서 확인하고, 상기 관심 영역에 대하여 배경 학습을 수행하도록 구성될 수 있다.
여기서, 상기 복수의 뉴로모픽 장치 각각은: 상기 배경 학습에 기초하여 상기 관심 영역 내 하나 이상의 객체를 검출하고, 상기 하나 이상의 객체 중 관리자가 선택한 적어도 하나의 객체에 대한 학습을 수행하도록 구성될 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 획득 장치에 연결되는 뉴로모픽 장치에서 수행되는 방법은, 상기 영상 획득 장치에 의하여 획득된 영상을 상기 영상 획득 장치로부터 전달받는 동작, 및 뉴로모픽 회로를 이용하여, 상기 영상의 적어도 일부에 대하여 학습을 수행하는 동작을 포함할 수 있다.
여기서, 상기 학습을 수행하는 동작은 엣지 컴퓨팅 방식으로 수행될 수 있다.
여기서, 상기 방법은 관리자 장치에서 이루어진 입력에 기초하여 상기 영상의 적어도 일부를 관심 영역으로서 확인하는 동작을 더 포함할 수 있다.
여기서, 상기 학습을 수행하는 동작은 상기 관심 영역에 대하여 배경 학습을 수행하는 동작을 포함할 수 있다.
여기서, 상기 방법은 상기 배경 학습에 기초하여 상기 관심 영역 내 하나 이상의 객체를 검출하는 동작을 더 포함하고, 상기 학습을 수행하는 동작은 상기 하나 이상의 객체 중 관리자가 선택한 적어도 하나의 객체에 대한 학습을 수행하는 동작을 더 포함할 수 있다.
본 발명에 따른 비디오 감시 시스템은 영상의 적어도 일부에 대하여 뉴로모픽 회로를 이용한 학습을 수행하는 뉴로모픽 장치를 포함하므로, 영상을 분석하기 위한 과정의 적어도 일부가 자동적으로 수행될 수 있어, 사람에 의한 영상의 모니터링이 덜 요구되어, 비디오 감시 시스템을 운영하기 위한 비용을 절감할 수 있다.
또한, 본 발명에 따른 비디오 감시 시스템에서 에지 컴퓨팅이 사용됨에 따라, 네트워크에 연결되지 않아도 연산을 수행할 수 있으므로, 전송 지연과 서비스 장애를 줄일 수 있다. 또한, 에지 컴퓨팅이 사용됨에 따라 요구되는 소모 전력이 절감될 수 있다.
나아가, 본 발명에 따른 비디오 감시 시스템은 딥러닝을 이용하는 종래의 분석 장비와는 달리 뉴로모픽 방식을 이용하므로, 배경 환경이 시간에 따라서 변화하더라도 객체를 인식하는 데 문제가 없다. 따라서, 본 발명에 따른 비디오 감시 시스템은 학습할 데이터의 양이 적고, 객체 오인식의 빈도가 낮다. 또한, 종래의 분석 장비에서 서버에서 중앙 집중적으로 데이터를 처리하는 데 비해, 본 발명에 따른 비디오 감시 시스템은 에지 컴퓨팅이 사용됨에 따라 카메라단에서 데이터를 처리하므로 네트워크화에 따른 비용이 절감될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 감시 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 뉴로모픽 장치의 구조를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 비디오 감시 시스템에서 수행되는 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 비디오 감시 시스템에서 출력되는 대시보드 화면의 예시를 도시한다.
도 5는 본 발명의 일 실시예에 따른 비디오 감시 시스템에서 출력되는 지도뷰 화면의 예시를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 비디오 감시 시스템을 설명하기 위한 블록도이다. 비디오 감시 시스템은 뉴로모픽 장치가 적용된 영상 획득 장치를 포함할 수 있다. 다양한 실시예에 따라서, 영상 획득 장치는 폐쇄회로 텔레비전(CCTV) 장치일 수 있다. 영상 획득 장치는 CCTV 장치로 국한되지 않고, 영상을 획득할 수 있는 장치라면 제한되지 않는다. 다양한 실시예에 따라서, 뉴로모픽 장치는 영상 획득 장치와 별개의 칩으로서 구현되거나, 영상 획득 장치와 동일 칩 위에 일체로서 구현될 수 있다. 편의를 위하여, 이하의 설명에서 뉴로모픽 장치가 영상 획득 장치와 별개의 칩으로서 구현되는 예시를 중심으로 설명할 것이나, 뉴로모픽 장치가 영상 획득 장치와 동일 칩 위에 일체로서 구현된 경우에도 이하의 설명이 동일하게 적용될 수 있다는 것을 통상의 기술자는 이해할 수 있을 것이다.
다양한 실시예에 따라서, 뉴로모픽 장치는 뉴로모픽 회로를 포함할 수 있다. 뉴로모픽 회로는 신경망을 모방한 네트워크를 이용하여 연산을 수행할 수 있다. 뉴로모픽 연산에서, 입력 데이터는 하나 이상의 뉴런 레이어에 의하여 순차적으로 처리된다. 뉴런 레이어는 신경망에서의 뉴런에, 하나의 뉴런 레이어에서 다음 뉴런 레이어로의 데이터 전달은 신경망에서 뉴런 사이의 시냅스 연결에 대응된다. 예시적으로, 입력 데이터는 입력 뉴런 레이어, 하나 이상의 히든(hidden) 뉴런 레이어, 및 출력 뉴런 레이어를 순차적으로 거쳐 처리될 수 있다.
다양한 실시예에 따라서, 뉴로모픽 장치는 엣지 컴퓨팅을 사용하여 학습을 수행할 수 있다. 다양한 실시예에 따라서, 뉴로모픽 장치는 엣지 컴퓨팅을 사용하여 영상의 인코딩 및/또는 디코딩을 수행할 수 있다.
비디오 감시 시스템은 모니터링 서버를 포함할 수 있다. 모니터링 서버는 학습 데이터를 뉴로모픽 장치에 전달할 수 있다. 모니터링 서버는 영상 획득 장치에 의하여 획득된 영상을 영상 획득 장치로부터 획득할 수 있다. 모니터링 서버는 관리자 장치와 연결될 수 있다. 다양한 실시예에 따라서, 관리자 장치에 의하여 비디오 감시 시스템 소프트웨어를 실시할 때, 관리자 장치는 모니터링 서버와 통신할 수 있다.
모니터링 서버는 관리자 장치에 획득된 영상을 전달할 수 있다. 또한, 모니터링 서버는 관리자 장치로부터 입력을 전달받고, 관리자 장치에서의 입력을 뉴로모픽 장치가 적용된 영상 획득 장치에 전달할 수 있다. 다양한 실시예에 따라서, 관리자 장치에서의 입력은 획득된 영상 중 배경 학습이 진행될 관심 영역을 특정하는 입력일 수 있다. 다양한 실시예에 따라서, 관리자 장치에서의 입력은 관심 영역 내에서 검출된 객체 중 학습을 진행할 객체를 특정하는 입력일 수 있다.
다양한 실시예에 따라서, 모니터링 서버로부터 관리자 장치에서의 입력을 전달받은 뉴로모픽 장치는 관리자 장치에서의 입력에 기초하여 학습을 수행할 수 있다. 예를 들어, 뉴로모픽 장치는 관리자 장치에서의 입력에 의하여 특정된 관심 영역에 대하여 배경 학습을 수행할 수 있다. 또는, 뉴로모픽 장치는 관리자 장치에서의 입력에 의하여 특정된 객체에 대하여 학습을 수행할 수 있다.
다양한 실시예에 따라서, 뉴로모픽 장치는 서버를 통하여 획득된 영상 내의 적어도 하나의 객체에 대한 알람을 관리자 장치에 제공할 수 있다. 예를 들어, 뉴로모픽 장치는 관리자 입력에 의하여 특정된 객체를 학습하고, 학습되지 않은 객체가 영상으로부터 인식되는 경우 알람을 서버를 통하여 관리자 장치에 제공할 수 있다. 또는, 뉴로모픽 장치는 관리자 입력에 의하여 특정된 객체를 학습하고, 학습된 객체가 인식되는 경우 또는 학습되지 않은 객체가 영상으로부터 인식되는 경우 알람을 서버를 통하여 관리자 장치에 제공할 수 있다.
다양한 실시예에 따라서, 뉴로모픽 장치가 관리자 입력에 의하여 특정된 객체를 학습하고, 학습되지 않은 객체가 영상으로부터 인식되는 경우 알람을 서버를 통하여 관리자 장치에 제공하는 시나리오에서, 관리자는 알람이 제공될 때마다 새로운 객체를 인식하고, 그 중 일부에 대해서는 학습을 진행할 객체로 선택할 수 있다. 이 경우, 관리자의 선택에 의하여 뉴로모픽 장치에서 학습되는 객체의 수가 점점 증가하게 되고, 따라서, 알람이 제공되는 빈도가 점점 낮아질 수 있다. 즉, 본 발명에 따른 비디오 감시 시스템에서는, 모니터링을 위한 관리자의 입력량이 점점 덜 요구될 수 있다.
다양한 실시예에 따라서, 관리자 장치에서 현장에 알람을 제공해야 할 필요가 있을 때에는 현장에 알람을 제공할 수 있다. 현장에 알람을 제공하기 위한 통신 방법 및 통신되는 내용은 제한되지 않는다.
도 1에서는 편의상 뉴로모픽 장치가 적용된 영상 획득 장치가 1개만 도시되었으나, 다양한 실시예에 따라서, 본 발명에 따른 비디오 감시 시스템은 뉴로모픽 장치가 적용된 영상 획득 장치를 복수 개 포함할 수 있다.
도 1에서는 편의상 관리자 장치가 1개만 도시되었으나, 다양한 실시예에 따라서, 본 발명에 따른 비디오 감시 시스템은 관리자 장치를 복수 개 포함할 수 있다.
또한, 도 1에서는 모니터링 서버가 도시되었으나, 다양한 실시예에 따라서, 본 발명에 따른 비디오 감시 시스템은 모니터링 서버를 포함하지 않을 수 있다. 이 경우, 뉴로모픽 장치가 적용된 영상 획득 장치는 관리자 장치와 직접 통신함으로써 데이터를 주고받거나, 모니터링 서버 외의 전자 장치를 통하여 관리자 장치와 데이터를 주고받을 수 있다.
도 2는 본 발명의 일 실시예에 따른 뉴로모픽 장치의 구조를 설명하기 위한 블록도이다. 뉴로모픽 장치는 영상엣지 플랫폼, 뉴로모픽 모듈, 뉴로맵 방식의 머신러닝 모듈, 메타데이터 관리 모듈, 딥러닝 모듈, 및 통합 관리 모듈을 포함할 수 있다. 영상엣지 플랫폼은 영상 획득 장치에 의하여 획득된 영상을 인코딩하거나 디코딩할 수 있다. 뉴로모픽 모듈은 신경망을 모방한 네트워크를 이용하여 연산을 수행하기 위한 뉴로모픽 회로를 포함할 수 있다. 뉴로맵방식의 머신러닝 모듈은 본 명세서에서 뉴로모픽 장치가 수행하는 학습을 수행할 수 있다. 메타데이터 관리 모듈은 뉴로맵 방식의 머신러닝 모듈에 의하여 수행된 학습의 결과로서 획득되는 데이터를 관리할 수 있다. 다양한 실시예에 따라서, 메타데이터는 영상 내 객체에 관한 데이터일 수 있다. 예를 들어, 객체에 관한 메타데이터는 객체의 속성, 또는 패턴 중 적어도 하나를 나타내는 데이터일 수 있다. 통합 관리 모듈은 뉴로모픽 모듈, 뉴로맵 방식의 머신러닝 모듈, 메타데이터 관리 모듈, 및 딥러닝 모듈을 관리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 비디오 감시 시스템에서 수행되는 방법의 흐름도이다.
310 동작에서, 영상 획득 장치에 의하여 영상이 획득될 수 있다.
320 동작에서, 획득된 영상 중 관심 영역이 획득될 수 있다. 다양한 실시예에 따라서, 영상 획득 장치에 의하여 영상은 관리자 장치 상에 표시되고, 표시된 영상에 대한 관리자의 선택에 의하여 관심 영역이 특정될 수 있다.
330 동작에서, 뉴로모픽 모듈을 이용하여 관심 영역에 대하여 배경 학습이 수행될 수 있다. 다양한 실시예에 따라서, 배경 학습에서, 관심 영역으로 선택된 영역은 배경인 것으로 간주되기 때문에, 관심 영역의 선택은 관찰해야 할 객체가 없는 영상에서 수행되는 것이 바람직하다.
340 동작에서, 뉴로모픽 모듈을 이용하여 관심 영역 내 객체가 검출될 수 있다. 뉴로모픽 모듈은 배경 학습이 수행된 영상과 상이한 타이밍에서의 영상에 대하여 움직임 검출을 수행하고, 그 결과 관심 영역 내에서 하나 이상의 객체가 검출될 수 있다.
350 동작에서, 비디오 감시 시스템은 학습할 객체에 대한 관리자의 선택을 확인할 수 있다. 340 동작에서 확인된 하나 이상의 객체는 관리자 장치 상에 표시될 수 있고, 관리자 장치를 통하여 이루어진 관리자의 선택에 따라 관리자 장치 상에 표시된 하나 이상의 객체 중 학습할 객체가 특정될 수 있다.
360 동작에서, 뉴로모픽 모듈을 이용하여 선택된 객체에 대한 학습이 수행될 수 있다.
370 동작에서, 비디오 감시 시스템은 감시 모드로 전환할 수 있다. 다양한 실시예에 따라서, 관리자 장치를 통하여 이루어진 사용자의 입력에 따라서 비디오 감시 시스템은 감시 모드로 전환할 수 있다. 감시 모드에서, 비디오 감시 시스템은 영상 획득 장치를 이용하여 영상을 획득하고, 뉴로모픽 장치를 이용하여 획득된 영상에서 객체들을 인식할 수 있다. 다양한 실시예에 따라서, 감시 모드에서, 비디오 감시 시스템은 모든 객체의 움직임이 인식되는 것에 응답하여 알람을 발생시킬 수 있다. 또는, 비디오 감시 시스템은 감시 모드에서 학습이 수행된 객체를 제외한 다른 객체의 움직임이 인식되는 것에 응답하여 알람을 발생시킬 수 있다.
다양한 실시예에 따라서, 알람의 발생은 여러 가지 방법으로 사용자에게 표현될 수 있다. 예를 들어, 알람의 발생은 관리자 장치에서 로그 생성 및/또는 상태바에서의 알람으로 시각화될 수 있다. 예를 들어, 알람의 발생은 관리자 장치에서의 경고음 발생으로 표현될 수 있다. 예를 들어, 알람의 발생은 현장에 위치한 모바일 단말에 대한 노티피케이션의 형태로 현장에 위치한 작업자에게 전달될 수 있다.
도 4는 본 발명의 일 실시예에 따른 비디오 감시 시스템에서 출력되는 대시보드 화면의 예시를 도시한다. 대시보드 화면(400)은 비디오 감시 시스템과 관련된 소프트웨어가 실행되었을 때 표시될 수 있는 실행 화면 중 예시적인 실행 화면이다. 대시보드 화면(400)의 상단에는 지도뷰로 전환하기 위한 지도뷰 아이콘(410), 지도뷰 상태에서 대시보드 화면으로 전환하기 위한 대시보드 아이콘(411), 기 저장된 영상을 열기 위한 영상 열기 아이콘(412), 관심 영역의 설정을 위한 관심 영역 설정 아이콘(413), 배경 학습 수행을 개시하기 위한 배경 학습 아이콘(414), 움직임 검출을 개시하기 위한 움직임 검출 시작 아이콘(415), 감시 모드로의 전환을 위한 감시 시작 아이콘(416), 및 비디오 감시 시스템과 관련된 소프트웨어 종료를 위한 나가기 아이콘(417)이 표시될 수 있다.
대시보드 화면(400)에는 상태바(421), 영상 획득 장치로부터 획득된 실시간 영상(422), 및 실시간 영상(422)을 획득하고 있는 영상 획득 장치가 설치된 장소의 지도뷰(423)이 표시될 수 있다.
또한, 대시보드 화면(400)에는 알람 수신 타입 설정 윈도우(431), 실시간 감시 로그 윈도우(432), 객체 리스트 관리 윈도우(433), 및 학습 객체 관리 윈도우(434)가 표시될 수 있다. 알람 수신 타입 설정 윈도우(431)에서는 알람 수신 타입이 설정될 수 있다. 알람 수신 타입은 모든 객체의 움직임에 대응하여 알람을 수신하는 타입과, 학습되지 않은 객체의 움직임에 대응하여 알람을 수신하는 타입 중에서 선택될 수 있다. 실시간 감시 로그 윈도우(432)에는 알람의 한 형태로서 기록된 로그가 표시될 수 있다. 객체 리스트 관리 윈도우(433)에는 움직임 검출의 결과로 검출된 객체들이 표시될 수 있다. 관리자는 객체 리스트 관리 윈도우(433)에 표시된 객체들 중 적어도 하나를 선택할 수 있으며, 관리 윈도우(433)에 표시된 객체들 중 선택된 객체에 대해서는 학습이 수행될 수 있다. 학습 객체 관리 윈도우(434)에는 학습된 객체가 표시될 수 있다.
도 5는 본 발명의 일 실시예에 따른 비디오 감시 시스템에서 출력되는 지도뷰 화면의 예시를 나타낸다. 지도뷰 화면(500)에는 비디오 감시 시스템에 포함된 영상 획득 장치의 위치에 대한 마커(511, 512, 513, 514, 515, 516, 517)가 표시될 수 있다. 도 5의 예시에서 비디오 감시 시스템에 포함된 영상 획득 장치는 총 7개이다.
지도뷰 화면(500)에는 비디오 감시 시스템에 포함된 영상 획득 장치들 중 관리자에 의하여 선택된 영상 획득 장치에 관한 정보를 표시하는 오브젝트(520)가 표시될 수 있다. 또한, 지도뷰 화면(500)에는 오브젝트(520)에 대응되는 영상 획득 장치에서 획득되는 실시간 영상(521)이 표시될 수 있다.
지도뷰 화면(500)에는 실시간 감시 로그 윈도우(530)가 표시될 수 있으며, 실시간 감시 로그 윈도우(530)에는 알람의 한 형태로서 기록된 로그가 표시될 수 있다.
지도뷰 화면(500)에는 비디오 감시 시스템에 포함된 영상 획득 장치들 장치에서 획득되는 실시간 영상들(540)이 더 표시될 수 있다.
본 발명의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 비디오 감시 시스템에 있어서,
    영상을 획득하는 복수의 영상 획득 장치,
    상기 복수의 영상 획득 장치에 각각 연결되는 복수의 뉴로모픽 장치,
    상기 복수의 영상 획득 장치를 통하여 획득된 복수의 영상을 관리자 장치에 전송하도록 구성된 모니터링 서버, 및
    상기 관리자 장치를 포함하며,
    상기 관리자 장치는,
    상기 복수의 영상 중 하나의 제1 영상을 표시하고,
    상기 제1 영상 내의 일부 영역을 관심 영역으로서 특정하는 사용자 입력을 확인하고,
    상기 관심 영역을 나타내는 정보를 포함하는, 상기 사용자 입력에 대응하는 정보를 상기 모니터링 서버에 송신하도록 구성되고,
    상기 모니터링 서버는, 상기 관리자 장치로부터 수신된, 상기 사용자 입력에 대응하는 정보를, 상기 복수의 영상 획득 장치 중 상기 제1 영상을 획득한 제1 영상 획득 장치에 전달하도록 구성되고,
    상기 제1 영상 획득 장치는 뉴로모픽 장치를 이용하여 상기 사용자 입력에 대응하는 정보에 기초하여, 상기 관심 영역을 배경으로서 학습하는 배경 학습을 수행하도록 구성되는, 비디오 감시 시스템.
  2. 청구항 1에 있어서,
    상기 복수의 뉴로모픽 장치 각각은 엣지 컴퓨팅 방식으로 상기 영상의 적어도 일부에 대하여 학습을 수행하도록 구성되는, 비디오 감시 시스템.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 제1 영상 획득 장치는 상기 배경 학습 및 상기 제1 영상과 상이한 시간에 획득한 제2 영상에 기초하여, 상기 제2 영상의 상기 관심 영역 내 하나 이상의 객체를 검출하고, 상기 제2 영상 및 상기 하나 이상의 객체에 관한 정보를 상기 모니터링 서버에 송신하도록 구성되고,
    상기 모니터링 서버는 상기 제2 영상 및 상기 하나 이상의 객체에 관한 정보를 상기 관리자 장치에 전달하도록 구성되고,
    상기 관리자 장치는 상기 제2 영상을 표시하고, 상기 하나 이상의 객체 중 제1 객체에 대한 사용자의 선택을 확인하고, 상기 제1 객체에 대한 상기 사용자의 선택이 있었음을 상기 모니터링 서버에 알리도록 구성되고,
    상기 모니터링 서버는 상기 제1 객체에 대한 상기 사용자의 선택이 있었음을 상기 제1 영상 획득 장치에 알리도록 구성되고,
    상기 제1 영상 획득 장치는 상기 뉴로모픽 장치를 이용하여 상기 제1 객체에 대한 학습을 수행하도록 구성되는, 비디오 감시 시스템.
  7. 비디오 감시 시스템에서 수행되는 방법에 있어서,
    복수의 영상 획득 장치에 의하여 영상을 획득하는 동작,
    상기 복수의 영상 획득 장치에 의하여 획득된 영상을 관리자 장치에 전송하는 동작,
    상기 관리자 장치에서, 상기 복수의 영상 중 하나의 제1 영상을 표시하는 동작,
    상기 관리자 장치에서, 상기 제1 영상 내의 일부 영역을 관심 영역으로서 특정하는 사용자 입력을 확인하는 동작,
    상기 관심 영역을 나타내는 정보를 포함하는, 상기 사용자 입력에 대응하는 정보를 상기 관리자 장치로부터 모니터링 서버에 송신하는 동작,
    상기 사용자 입력에 대응하는 정보를, 상기 모니터링 서버로부터 상기 복수의 영상 획득 장치 중 상기 제1 영상을 획득한 제1 영상 획득 장치에 전달하는 동작, 및
    상기 제1 영상 획득 장치에서, 뉴로모픽 장치를 이용하여 상기 사용자 입력에 대응하는 정보에 기초하여, 상기 관심 영역을 배경으로서 학습하는 배경 학습을 수행하는 동작을 포함하는 방법.
  8. 청구항 7에 있어서,
    상기 학습을 수행하는 동작은 엣지 컴퓨팅 방식으로 수행되는, 방법.
  9. 삭제
  10. 청구항 7에 있어서,
    상기 제1 영상 획득 장치에서, 상기 배경 학습 및 상기 제1 영상과 상이한 시간에 획득한 제2 영상에 기초하여, 상기 제2 영상의 상기 관심 영역 내 하나 이상의 객체를 검출하는 동작,
    상기 제1 영상 획득 장치에서, 상기 제2 영상 및 상기 하나 이상의 객체에 관한 정보를 상기 모니터링 서버에 송신하는 동작,
    상기 모니터링 서버에서, 상기 제2 영상 및 상기 하나 이상의 객체에 관한 정보를 상기 관리자 장치에 전달하는 동작,
    상기 관리자 장치에서 상기 제2 영상을 표시하는 동작,
    상기 관리자 장치에서, 상기 하나 이상의 객체 중 제1 객체에 대한 사용자의 선택을 확인하는 동작,
    상기 관리자 장치에서, 상기 제1 객체에 대한 상기 사용자의 선택이 있었음을 상기 모니터링 서버에 알리는 동작,
    상기 모니터링 서버에서, 상기 제1 객체에 대한 상기 사용자의 선택이 있었음을 상기 제1 영상 획득 장치에 알리는 동작, 및
    상기 제1 영상 획득 장치에서, 상기 뉴로모픽 장치를 이용하여 상기 제1 객체에 대한 학습을 수행하는 동작을 더 포함하는 방법.
KR1020200010219A 2020-01-29 2020-01-29 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법 KR102151912B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200010219A KR102151912B1 (ko) 2020-01-29 2020-01-29 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200010219A KR102151912B1 (ko) 2020-01-29 2020-01-29 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법

Publications (1)

Publication Number Publication Date
KR102151912B1 true KR102151912B1 (ko) 2020-09-03

Family

ID=72450144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200010219A KR102151912B1 (ko) 2020-01-29 2020-01-29 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법

Country Status (1)

Country Link
KR (1) KR102151912B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101804358B1 (ko) * 2016-10-05 2017-12-26 주식회사 휴먼아이씨티 영상 분석을 이용한 설비 감시 시스템
KR101873202B1 (ko) * 2018-05-24 2018-07-02 주식회사 싸인텔레콤 Ai칩이 형성된 현장용 인공지능형 ai칩구동용 다채널 원샷카메라모듈
KR20190051175A (ko) * 2017-11-06 2019-05-15 전자부품연구원 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101804358B1 (ko) * 2016-10-05 2017-12-26 주식회사 휴먼아이씨티 영상 분석을 이용한 설비 감시 시스템
KR20190051175A (ko) * 2017-11-06 2019-05-15 전자부품연구원 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
KR101873202B1 (ko) * 2018-05-24 2018-07-02 주식회사 싸인텔레콤 Ai칩이 형성된 현장용 인공지능형 ai칩구동용 다채널 원샷카메라모듈

Similar Documents

Publication Publication Date Title
US11222239B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
EP3333851B1 (en) Automated object and activity tracking in a live video feed
JP7051267B2 (ja) 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
JP2021532434A (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
US20210124914A1 (en) Training method of network, monitoring method, system, storage medium and computer device
US11409492B2 (en) System including a plurality of display apparatus and control method thereof
KR101804358B1 (ko) 영상 분석을 이용한 설비 감시 시스템
CN109544870B (zh) 用于智能监控系统的报警判断方法与智能监控系统
CN112183166A (zh) 确定训练样本的方法、装置和电子设备
US20190034787A1 (en) Relative position encoding based networks for action recognition
CN114385869A (zh) 检测数据异常的方法、装置、存储介质及计算机设备
CN114022767A (zh) 一种电梯楼层定位方法、装置、终端设备及存储介质
KR20230069892A (ko) 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
CN113516251B (zh) 一种机器学习系统及模型训练方法
KR102151912B1 (ko) 비디오 감시 시스템 및 비디오 감시 시스템에서 수행되는 방법
CN112085281B (zh) 检测业务预测模型安全性的方法及装置
CN113901647A (zh) 一种零件工艺规程编制方法、装置、存储介质及电子设备
KR20230138703A (ko) 인공지능 기반으로 텍스트 및 비-텍스트 이미지를 포함하는 화면 정보를 인지하여 화면 상의 오브젝트에 이벤트를 발생시키는 방법 및 시스템
CN114238968A (zh) 应用程序检测方法及装置、存储介质及电子设备
WO2024117457A1 (ko) 무인점포 환경에서의 도난 방지 방법 및 시스템
US11682213B2 (en) Method and device for training image analysis neural network model and intelligent image capturing apparatus employing the same
US20230326322A1 (en) Systems and Methods for Disturbance Detection and Identification Based on Disturbance Analysis
JP2024022577A (ja) 表示装置の欠陥検知のためのシステム、方法および記憶媒体
KR20230146270A (ko) Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법
KR20230138314A (ko) 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant