KR102608625B1 - 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법 - Google Patents

효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법 Download PDF

Info

Publication number
KR102608625B1
KR102608625B1 KR1020230112609A KR20230112609A KR102608625B1 KR 102608625 B1 KR102608625 B1 KR 102608625B1 KR 1020230112609 A KR1020230112609 A KR 1020230112609A KR 20230112609 A KR20230112609 A KR 20230112609A KR 102608625 B1 KR102608625 B1 KR 102608625B1
Authority
KR
South Korea
Prior art keywords
surveillance
object detection
detection model
video
preset
Prior art date
Application number
KR1020230112609A
Other languages
English (en)
Inventor
박천규
Original Assignee
주식회사 에이아이프로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이아이프로 filed Critical 주식회사 에이아이프로
Priority to KR1020230112609A priority Critical patent/KR102608625B1/ko
Application granted granted Critical
Publication of KR102608625B1 publication Critical patent/KR102608625B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 명세서는 효율적 운영이 가능한 영상 감시 방법 및 장치를 개시한다. 본 명세서에 따른 영상 감시 방법은, (a) 프로세서가 감시 영상 데이터를 수신하고, 상기 감시 영상 데이터에서 미리 설정된 간격으로 감시 영상 프레임을 추출하는 단계; (b) 프로세서가 상기 추출된 감시 영상 프레임을 미리 설정된 적어도 하나 이상의 객체를 인식하는 객체 검출 모델에 입력하고, 상기 객체 검출 모델에서 객체 검출 여부에 대한 판단값을 수신하는 단계; 및 (c) 상기 수신된 판단값에 따라 객체 미검출인 경우, 프로세서가 상기 추출된 감시 영상 프레임을 미리 설정된 횟수 동안 상기 객체 검출 모델에 입력하지 않는 감시 완화 모드로 설정하는 단계;를 포함할 수 있다.

Description

효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법{EFFICIENTLY OPERABLE VIDEO MONITORING APPARATUS USING DEEP LEARNING MODEL AND METHOD THEREOF}
본 발명은 영상 감시에 관한 것이며, 보다 상세하게는 딥러닝 모델을 이용한 영상 감시 기술에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 명세서에 기재된 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래 기술을 구성하는 것은 아니다.
인공 신경망(Artificial Neural Network, ANN)은 인간의 뇌를 구성하고 있는 뉴런들을 수학적으로 모델링한 인공 뉴런들을 서로 연결하여 인공 지능을 구현한 것이다. 인공 신경망 즉, 인공 지능을 이용한 다양한 기술이 발전되고 있으며, 특히 영상 처리 분야에서 인공 지능의 발전이 많이 이루어지고 있다.
이러한 인공 지능은 영상 감시 분야에 사용되고 있다. CCTV와 같은 기존 영상 감시 시스템에 입력 영상에서 타겟 물체를 검출할 수 있는 인공 지능 모델을 결합하여 특정 이벤트 발생 여부를 모니터링하는 것이다.
다만, 이러한 영상 감시 시스템에서 가장 많은 전력을 소모하는 것이 타겟 물체를 검출하는 기능을 제공하는 인공 지능 모델이다. 타겟 물체가 촬영될 가능성이 매우 낮은 경우에도 인공 지능 모델은 감시 시간 내내 전력을 대량으로 소모하기 때문에 운영 측면에서 비효율성을 가지고 있다.
등록특허공보 제10-1624510호
본 명세서는 효율적 운영이 가능한 영상 감시 방법 및 장치를 제공하는 것을 목적으로 한다.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 명세서에 따른 영상 감시 방법은, (a) 프로세서가 감시 영상 데이터를 수신하고, 상기 감시 영상 데이터에서 미리 설정된 간격으로 감시 영상 프레임을 추출하는 단계; (b) 프로세서가 상기 추출된 감시 영상 프레임을 미리 설정된 적어도 하나 이상의 객체를 인식하는 객체 검출 모델에 입력하고, 상기 객체 검출 모델에서 객체 검출 여부에 대한 판단값을 수신하는 단계; 및 (c) 상기 수신된 판단값에 따라 객체 미검출인 경우, 프로세서가 상기 추출된 감시 영상 프레임을 미리 설정된 횟수 동안 상기 객체 검출 모델에 입력하지 않는 감시 완화 모드로 설정하는 단계;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 객체 검출 여부에 대한 판단값은 상기 객체 검출 모델이 인식한 객체의 신뢰도값이며, 상기 (c) 단계는, 프로세서가 상기 인식된 객체의 신뢰값이 미리 설정된 임계값 이하일 때 객체 미검출로 판단하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는 프로세서가 상기 수신된 판단값을 객체 감시 큐에 입력하는 것을 더 포함하는 단계이고, 상기 (c) 단계는 프로세서가 상기 객체 감시 큐에 가장 마지막으로 입력된 판단값을 포함하는 미리 설정된 개수의 판단값에 포함된 객체 미검출의 개수가 미리 설정된 기준 개수 이상이면, 상기 감시 완화 모드로 설정하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는 프로세서가 상기 수신된 판단값을 객체 감시 큐에 입력하는 것을 더 포함하는 단계이고, 상기 (c) 단계는 프로세서가 상기 객체 감시 큐에 가장 마지막으로 입력된 판단값을 포함하는 미리 설정된 개수의 판단값의 합이 미리 설정된 기준값 이하이면, 상기 감시 완화 모드로 설정하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 객체 검출 모델은 영상 프레임 내 서로 다른 객체를 인식하는 복수의 객체 검출 모듈을 포함하고, 상기 (b) 단계는, 프로세서가 복수의 객체 검출 모듈에서 출력된 각각의 판단값을 수신하는 단계이고, 상기 (c) 단계는, 프로세서가 상기 수신된 복수의 판단값에 따라 객체 검출 모듈별 감시 완화 모드를 각각 설정하는 단계일 수 있다.
본 명세서에 따른 영상 감시 방법은, 컴퓨터에서 영상 감시 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다.
상술한 과제를 해결하기 위한 본 명세서에 따른 영상 감시 장치는, 감시 영상 데이터를 수신하고, 상기 감시 영상 데이터에서 미리 설정된 간격으로 감시 영상 프레임을 추출하는 감시 영상 추출부; 감시 영상 프레임에서 미리 설정된 적어도 하나 이상의 객체의 포함 여부에 대한 판단값을 출력하는 객체 검출 모델; 및 상기 객체 검출 모델에서 수신된 판단값이 객체 미검출인 경우, 상기 추출된 감시 영상 프레임을 미리 설정된 횟수 동안 상기 객체 검출 모델에 입력하지 않는 감시 완화 모드로 설정하는 감시 모드 제어부;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 객체 검출 모델은, 상기 객체 검출 여부에 대한 판단값으로 인식한 객체의 신뢰도값을 출력하고, 상기 감시 모드 제어부는, 상기 인식된 객체의 신뢰값이 미리 설정된 임계값 이하일 때 객체 미검출로 판단할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 감시 모드 제어부는, 상기 객체 검출 모델에서 수신된 판단값을 객체 감시 큐에 입력하고, 상기 객체 감시 큐에 가장 마지막으로 입력된 판단값을 포함하는 미리 설정된 개수의 판단값에 포함된 객체 미검출의 개수가 미리 설정된 기준 개수 이상이면, 상기 감시 완화 모드로 설정할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 감시 모드 제어부는, 상기 객체 검출 모델에서 수신된 판단값을 객체 감시 큐에 입력하고, 상기 객체 감시 큐에 가장 마지막으로 입력된 판단값을 포함하는 미리 설정된 개수의 판단값의 합이 미리 설정된 기준값 이하이면, 상기 감시 완화 모드로 설정할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 객체 검출 모델은 영상 프레임 내 서로 다른 객체를 인식하는 복수의 객체 검출 모듈을 포함하고, 복수의 객체 검출 모듈에서 출력된 각각의 판단값을 출력하고, 상기 감시 모드 제어부는, 상기 수신된 복수의 판단값에 따라 객체 검출 모듈별 감시 완화 모드를 각각 설정할 수 있다.
본 명세서에 따른 영상 감시 장치는, 감시 영상 데이터를 출력하는 카메라; 및 영상 감시 장치;를 포함하는 영상 감시 시스템의 일 구성요소일 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 명세서의 일 측면에 따르면, 영상 감시를 위한 연산 및 전력 자원을 효율적으로 사용할 수 있다.
본 명세서의 다른 측면에 따르면, 효율적인 연산 및 전력 자원을 사용하면서도 영상 감시 본연의 기능을 충실히 수행할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에 따른 영상 감시 시스템의 개략적인 구성도이다.
도 2는 본 명세서에 따른 영상 감시 장치의 구성을 개략적으로 도시한 블록도이다.
도 3은 본 명세서에 따른 영상 감시 방법에 대한 참고도이다.
도 4는 본 명세서의 일 실시예에 따라 2이상의 판단값을 함께 고려하는 예시이다.
도 5는 본 명세서의 일 실시예에 따라 판단값이 수치값으로 출력된 예시이다.
도 6은 본 명세서의 다른 실시예에 따라 판단값이 수치값으로 출력된 예시이다.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 명세서에 따른 영상 감시 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본 명세서에 따른 영상 감시 시스템(10)은 카메라(100), 영상 감시 장치(200) 및 경고 장치(300)를 포함할 수 있다.
상기 카메라(100)는 특정 위치에 설치되어 촬영한 영상을 데이터로 출력할 수 있다. 본 명세서에서 상기 카메라(100)가 출력한 데이터를 "감시 영상 데이터"라고 명명한다. 상기 카메라(100)는 일명 CCTV에 해당할 수 있으며, 설치 위치, 감시 대상, 장비 특성, 영상 특성 등에 의해 제한되지 않는다.
상기 영상 감시 장치(200)는 상기 카메라(100)로부터 감시 영상 데이터를 수신하고, 수신된 감시 영상에서 객체 등장 여부를 모니터링할 수 있다. 만약 감시 영상 내에서 미리 설정된 특정 객체가 등장한 것으로 판단되면, 상기 영상 감시 장치(200)는 상기 경고 장치(300)를 통해 객체의 등장 사실을 알릴 수 있도록 제어 신호를 출력할 수 있다.
상기 경고 장치(300)는 상기 영상 감시 장치(200)에서 출력된 제어 신호에 의해 객체 등장 사실을 알리는 역할을 할 수 있다. 상기 경고 장치(300)는 객체 등장 사실을 시각적 또는 청각적으로 경고할 수 있도록 장치로서, 특정 형태나 장치에 제한되지 않는다.
도 2는 본 명세서에 따른 영상 감시 장치(200)의 구성을 개략적으로 도시한 블록도이다.
본 명세서에 따른 영상 감시 장치(200)는 감시 영상 추출부(210), 객체 검출 모델(220) 및 감시 모드 제어부(230)를 포함할 수 있다.
상기 감시 영상 추출부(210)는 감시 영상 데이터를 수신하고, 상기 감시 영상 데이터에서 미리 설정된 간격으로 감시 영상 프레임을 추출할 수 있다. 일반적인 동영상 데이터는 1초에 24 프레임 이상의 영상을 포함하고 있다. 본 명세서에 따른 영상 감시 장치(200)는 상기 카메라(100)로부터 수신된 감시 영상 데이터에 포함된 모든 영상 프레임마다 객체 등장 여부를 감시할 수도 있고, 감시 영상 데이터에 포함된 일부 영상 프레임만 추출하여 객체 등장 여부를 감시할 수도 있다. 영상 감시 시스템의 효율적인 운영을 위해서는 객체가 일정 시간동안 검출되지 않는 상황에서는 모든 영상 프레임에서 객체의 등장 여부를 감지하는 것 보다는 일부 영상 프레임을 사용하는 것이 권장될 수 있다. 따라서, 상기 감시 영상 추출부(210)는 영상 감시 시스템(10)의 운영 효율을 고려하여 프레임 추출 간격을 다양하게 설정할 수 있다. 반면, 모든 영상 프레임을 사용할 경우 상기 프레임 간격을 1로 설정하는 방식도 가능하므로, 상기 감시 영상 추출부(210)가 모든 영상 프레임을 사용하는 것을 배제하는 것은 아니다.
상기 객체 검출 모델(220)은 감시 영상 프레임에서 미리 설정된 적어도 하나 이상의 객체의 포함 여부에 대한 판단값을 출력할 수 있다. 상기 객체 검출 모델(220)은 입력 영상 내 어느 객체가 미리 설정된 객체에 해당하는지 여부에 대한 신뢰값(예: 0%~100%)을 출력할 수 있는 인공 신경망일 수 있다. 따라서 상기 객체 검출 모델(220)은, 상기 객체 검출 여부에 대한 판단값으로 인식한 객체의 신뢰도값을 출력할 수 있다. 상기 객체 검출 모델(220)이 인식하는 객체는 사람, 자동차, 화염, 연기, 자전거 등과 같이 다양하게 설정될 수 있다. 상기 객체 검출 모델(220)은 어느 하나의 객체만을 인식할 수도 있고, 복수의 객체를 인식할수 도 있다. 이 경우, 상기 객체 검출 모델(220)은 영상 프레임 내 서로 다른 객체를 인식하는 복수의 객체 검출 모듈을 포함하고, 복수의 객체 검출 모듈에서 출력된 각각의 판단값을 출력할 수 있다. 또한, 상기 객체 검출 모델(220)은 단순히 전체 영상의 카테고리를 판단하는 객체 분류(classification) 모델일 수 있다.
상기 감시 모드 제어부(230)은 상기 인식된 객체의 신뢰값이 미리 설정된 임계값 이하일 때 객체 미검출로 판단할 수 있다. 반면, 상기 감시 모드 제어부(230)은 상기 인식된 객체의 신뢰값이 미리 설정된 임계값 초과일 때 객체 검출로 판단할 수 있다.
상기 감시 모드 제어부(230)는 감시 모드를 제어할 수 있다. 본 명세서에 따른 영상 감시 장치(200)는 2가지 감시 모드를 포함할 수 있다. 하나는 상기 감시 영상 추출부(210)에서 추출된 감시 영상 프레임을 상기 객체 검출 모델(220)에 모두 입력하는 감시 강화 모드이고, 다른 하나는 상기 추출된 감시 영상 프레임을 미리 설정된 횟수 동안 상기 객체 검출 모델(220)에 입력하지 않는 감시 완화 모드이다. 앞서 언급하였듯이, 영상 감시 시스템에서 가장 많은 전력을 소모하는 것이 객체 등장 여부를 판단할 수 있는 인공 지능 모델 즉, 상기 객체 검출 모델(220)이다. 따라서, 앞선 영상 감시 결과에 따라 객체의 등장 가능성이 높을 때에는 객체 검출 모델(220)이 상대적으로 많은 감시 영상 프레임을 검사하는 것이 바람직하고, 앞선 영상 감시 결과에 따라 객체의 등장 가능성이 낮을 때에는 객체 검출 모델(220)이 상대적으로 적은 감시 영상 프레임을 검사하는 것이 바람직하다. 이를 위해, 본 명세서에 따른 상기 감시 모드 제어부(230)는 최초 동작시에는 감시 강화 모드를 설정하되, 상기 객체 검출 모델(220)에서 수신된 판단값이 객체 미검출이면, 감시 완화 모드로 설정하여 전력 및/또는 연산 자원을 효율적으로 사용하도록 제어할 수 있다.
이하에서는 본 명세서에 따른 영상 감시 방법에 대해서 설명하겠다. 본 명세서에 따른 영상 감시 방법은 본 명세서에 따른 영상 감시 장치(200)를 이용하여 객체의 등장 여부를 감시하는 방법이다. 따라서, 본 명세서에 따른 영상 감시 방법을 설명함에 있어서, 앞서 설명한 영상 감시 장치(200)의 각 구성에 대한 반복적인 설명은 생략한다.
한편, 본 명세서에 따른 감시 영상 추출부(210), 객체 검출 모델(220) 및 감시 모드 제어부(230)는 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 감시 영상 추출부(210), 객체 검출 모델(220) 및 감시 모드 제어부(230) 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 메모리 장치에 저장되고, 프로세서에 의해 실행될 수 있다. 이하 본 명세서에 따른 영상 감시 방법을 설명함에 있어서, 설명의 편의를 위해 각 단계는 프로세서에 의해 실행되는 것을 기준을 설명하겠다.
도 3은 본 명세서에 따른 영상 감시 방법에 대한 참고도이다.
도 3을 참조하면, 프로세서는 최초 동작시 감시 강화 모드를 설정할 수 있다. 그리고 프로세서는 감시 영상 데이터를 수신하고, 상기 감시 영상 데이터에서 미리 설정된 간격으로 감시 영상 프레임을 추출할 수 있다. 예를 들어, 상기 감시 영상 프레임은 1초에 1개씩 추출된 것을 가정하겠다. 그리고 추출된 감시 영상 프레임은 식별을 위해 번호가 도시되어 있다. 프로세서는 상기 추출된 감시 영상 프레임을 순차적으로 객체 검출 모델(220)에 입력할 수 있다. 도 3에 도시된 실시예에서는 객체 검출 모델(220)이 영상 내 사람을 검출하는 예시가 도시되어 있다. 따라서, 프로세서는 감시 영상 프레임을 상기 객체 검출(230)에 입력시킬 수 있다. 그 다음으로 프로세서는 상기 객체 검출 모델(220)에서 출력된 판단값을 수신할 수 있다. 도 3의 하단에 도시된 표는 감시 영상 프레임에 따른 객체 검출 모델(220)에서 출력된 판단값에 따라 객체 검출(True, T) 또는 객체 미검출(False, F)의 예시이다.
도 3 하단의 표를 살펴보면, 제일 위 칸에서 "Frame #"을 확인할 수 있다. 상기 "Frame #"은 감시 영상 프레임 번호로서, 상기 감시 영상 추출부(210)에서 추출한 감시 영상의 순서이다. 그리고 다음 칸에서 "추론 여부"를 확인할 수 있다. 상기 "추론 여부"는 감시 영상 프레임이 상기 객체 검출 모델(220)에 입력되었는지 여부를 의미한다. "O"표시는 감시 영상 프레임이 상기 객체 검출 모델(220)에 입력된 것을 의미하고, "X"표시는 감시 영상 프레임이 상기 객체 검출 모델(220)에 입력되지 않은 것을 의미한다. 다음 칸의 "Human"은 객체 검출 모델(220)의 판단값에 따른 결과를 의미한다. 그리고 상기 "T"와 "F"는 각 객체 인식 모듈에서 출력한 판단값이다. 마지막 칸의 "Mode"는 상기 감시 모드 제어부(230)에서 설정하는 것을 나타내는 것으로, 감시 강화 모드(Eager)는 "E"로 표시하고, 감시 완화 모드(Idle)는 "I"로 표시한다.
도 3 하단의 표에 도시된 예시를 통해 감시 모드 제어부(230)의 모드 변경 과정에 대해서 설명하겠다. 3번 감시 영상 프레임부터 7번 감시 영상 프레임을 살펴보면, 객체 검출 모델(220)의 판단값에 따라 영상 내 사람이 검출된 것을 의미하는 "T"가 포함되어 있다. 따라서 이 경우 감시 모드 제어부(230)는 감시 강화 모드 "E"를 유지한다. 이후 8번 감시 영상 프레임에서 객체 검출 모델의 판단값에 의해 "F"를 포함하고 있다. 이 경우, 감시 모드 제어부(230)는 감시 강화 모드 "E"에서 감시 완화 모드 "I"로 변경한다. 상기 감시 완화 모드는 추출된 감시 영상 프레임을 미리 설정된 횟수 동안 상기 객체 검출 모델에 입력하지 않는 모드이다. 도 3에 도시된 예시에서는 2 프레임 동안 감시 영상 프레임이 상기 객체 검출 모델(220)에 입력되지 않는 예시이다. 따라서, 9번 및 10번 감시 영상 프레임은 건너 뛰고, 11번 감시 영상 프레임이 상기 객체 검출 모델(220)에 입력되고, 또 다시 객체 검출 모델(220)의 판단값에 의해 "F"를 포함하고 있다. 따라서, 상기 감시 모드 제어부(230)는 감시 완화 모드 "I"를 유지할 수 있다. 이처럼 감시 완호 모드가 유지되는 동안 불필요한 연산을 생략할 수 있는바, 보다 효율적인 운영이 가능하다.
즉, 상기 감시 모드 제어부(230)는 상기 객체 검출 모델(220)에서 수신된 판단값이 객체 미검출인 경우, 상기 추출된 감시 영상 프레임을 미리 설정된 횟수 동안 상기 객체 검출 모델(220)에 입력하지 않는 감시 완화 모드로 설정할 수 있다. 반면, 상기 객체 검출 모델(220)에서 수신된 판단값이 객체 검출인 경우, 상기 추출된 감시 영상 프레임을 상기 객체 검출 모델(220)에 입력하는 감시 강화 모드로 설정할 수 있다.
한편, 도 3에 도시된 예시는 하나의 감시 영상 프레임을 기준으로 감시 모드를 설정하는 예시이다. 이 경우, 실제 객체가 등장하였음에도 우연히 해당 감시 영상 프레임에 촬영되지 않거나, 상기 객체 검출 모델(220)이 출력값을 "F"에 해당하도록 잘 못 출력할 수도 있다. 이러한 오판단의 가능성을 낮추고자 상기 감시 모드 제어부(230)는 2이상의 감시 영상 프레임을 함께 고려할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 감시 모드 제어부(230)는 상기 객체 검출 모델에서 수신된 판단값을 객체 감시 큐에 입력할 수 있다. 상기 객체 감시 큐(Queue)는 메모리 장치에 물리적 또는 논리적으로 할당된 저장 공간으로서, 상기 상기 객체 검출 모델(220) 출력된 판단값을 순차적으로 저장할 수 있다. 그리고 상기 객체 감시 큐는 설정된 저장 공간을 모두 채우게 되면, 가장 먼저 입력된 값을 삭제할 수 있다(FIFO).
이 경우, 상기 감시 모드 제어부(230)는 상기 객체 감시 큐에 가장 마지막으로 입력된 판단값을 포함하는 미리 설정된 개수의 판단값에 포함된 객체 미검출의 개수가 미리 설정된 기준 개수 이상이면, 상기 감시 완화 모드로 설정할 수 있다.
도 4는 본 명세서의 일 실시예에 따라 2이상의 판단값을 함께 고려하는 예시이다.
도 4를 참조하면, 상기 감시 모드 제어부(230)에 미리 설정된 판단값의 개수는 3개인인 예시이다. 3번 감시 영상 프레임부터 7번 감시 영상 프레임 동안 3개의 판단값에는 객체 검출 모델의 판단값에 따른 결과는 적어도 하나의 "T"가 포함되어 있다. 따라서 이 경우 감시 모드 제어부(230)는 감시 강화 모드 "E"를 유지한다. 이후 8번 감시 영상 프레임에 도달할 때, 상기 3개의 판단값에는 6번, 7번, 8번 감시 영상 프레임이 포함된다. 이때, 객체 검출 모델의 판단값에 따른 결과가 모두 "F"를 포함하고 있다. 이 경우 감시 모드 제어부(230)는 감시 강화 모드 "E"에서 감시 완화 모드 "I"로 변경한다. 이후 마찬가지로 상기 감시 완화 모드에서는 2 프레임 동안 감시 영상 프레임이 상기 객체 검출 모델(220)에 입력되지 않다. 이 경우, 상기 감시 모드 제어부(230)는 7번, 8번 및 11번 감시 영상 프레임에 대한 판단값에서, 객체 검출 모델의 판단값이 모두 "F"를 포함하고 있는바, 상기 감시 모드 제어부(230)는 감시 완화 모드 "I"를 유지할 수 있다. 이처럼 2이상의 감시 영상 프레임을 함께 고려하여 특정 프레임의 오류로 인한 위험을 방지할 수 있다.
한편, 본 명세서에 따른 영상 감시 장치(200)는 상기 객체 검출 모델(220)의 판단값을 이용하여 실제 경보의 출력 여부를 결정하는 이벤트 발생 판단부(240)를 더 포함할 수 있다. 상기 이벤트 발생 판단부(240)는 미리 설정된 기준 값 이상의 판단값이 존재할 때, 이벤트 발생을 알리는 경보를 출력할 수 있다. 예를 들어, 상기 이벤트 발생 판단부(240)는 상기 객체 검출 모델에서 객체 인식 판단값을 출력할 때, 이벤트 발생 경보를 출력할 수 있다. 다른 예를 들어, 상기 이벤트 발생 판단부(240)는 상기 감시 큐에 가장 마지막으로 입력된 판단값을 포함하는 미리 설정된 개수의 판단값이 미리 설정된 기준 개수 이상의 객체 등장 발생값일 때, 이벤트 발생 경보를 출력할 수 있다.
한편, 앞서 설명한 객체 검출 모델(220)은 객체 등장 여부에 대한 판단값으로 객체 검출(True, T) 또는 객체 미검출(False, F)을 출력하는 예시에 대해서 설명하였다. 그러나 본 명세서의 일 실시예에 따르면, 상기 객체 검출 모델(220)은 판단값을 수치값(예:0~1)으로 출력할 수도 있다. 예를 들어, 상기 객체 검출 모델(220)이 감시 영상 프레임에서 사람을 인식하는 모델인 경우, 상기 객체 검출 모델(220)은 영상 내 사람으로 판단되는 객체를 식별하고, 해당 객체가 실제 사람인 가능성에 대한 수치를 산출하여 출력할 수 있다.
이 경우, 상기 감시 모드 제어부(230)는 감시 강화 모드로 설정된 상태에서 상기 객체 검출 모델(220)에서 수신된 판단값이 미리 설정된 임계값 이하이면 감시 완화 모드로 설정할 수 있다. 상기 임계값은 환경 등 다양한 요소에 따라 설정될 수 있다.
도 5는 본 명세서의 일 실시예에 따라 판단값이 수치값으로 출력된 예시이다.
도 5를 참조하면, 도 3에 도시된 참고도에서 하단의 표 부분만 다시 예시로 제시되어 있다. 다만, 도 3과 비교할 때, 도 5에 도시된 예시에서는 판단값이 "T, F"가 아닌 구체적인 수치값으로 차이가 있다. 도 5에 도시된 예시는 미리 설정된 임계값은 "0.5"이다. 따라서, 이후 8번 감시 영상 프레임에서 객체 검출 모델의 판단값이 모두 0.5 이하이므로, 감시 모드 제어부(230)는 감시 강화 모드 "E"에서 감시 완화 모드 "I"로 변경할 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 감시 모드 제어부(230)는 상기 객체 감시 큐에 가장 마지막으로 입력된 판단값을 포함하는 미리 설정된 개수의 판단값의 합이 미리 설정된 기준값 이하이면, 상기 감시 완화 모드로 설정할 수 있다.
도 6은 본 명세서의 다른 실시예에 따라 판단값이 수치값으로 출력된 예시이다.
도 6을 참조하면, 도 4에 도시된 예시와 달리 판단값이 "T, F"가 아닌 구체적인 수치값으로 차이가 있다. 그리고 도 6에 도시된 예시는 미리 설정된 기준 합산값이 "0.5"이다. 3번 감시 영상 프레임부터 7번 감시 영상 프레임 동안 3개의 판단값에서 객체 검출 모델의 판단값의 합산값이 0.5를 초과한다. 따라서 이 경우 감시 모드 제어부(230)는 감시 강화 모드 "E"를 유지한다. 이후 8번 감시 영상 프레임에 도달할 때, 상기 3개의 판단값은 6번, 7번, 8번 감시 영상 프레임에 해당한다. 이때, 객체 검출 모델의 판단값의 합산값이 0.5 이하에 해당한다. 이 경우, 감시 모드 제어부(230)는 감시 강화 모드 "E"에서 감시 완화 모드 "I"로 변경한다. 이후 마찬가지로 상기 감시 완화 모드에서는 2 프레임 동안 감시 영상 프레임이 상기 객체 검출 모델(220)에 입력되지 않다. 이 경우, 상기 감시 모드 제어부(230)는 7번, 8번 및 11번 감시 영상 프레임에 대한 판단값에 대한 객체 검출 모델의 판단값의 합산값이 0.5 이하인바, 상기 감시 모드 제어부(230)는 감시 완화 모드 "I"를 유지할 수 있다.
한편, 상기 객체 검출 모델(220)이 영상 프레임 내 서로 다른 객체를 인식하는 복수의 객체 검출 모듈을 포함하고, 복수의 객체 검출 모듈에서 출력된 각각의 판단값을 출력하는 경우, 상기 감시 모드 제어부(230)는 상술한 감시 모드 설정에 있어서, 상기 수신된 복수의 판단값에 따라 객체 검출 모듈별 감시 완화 모드를 각각 설정할 수 있다.
또 한편, 상술한 예시에서는 검출 대상 객체가 사람인 경우를 중심으로 설명하였으나, 검출 대상 객체가 자동차와 같은 물건일 수도 있다. 그리고 카메라가 설치된 장소가 주차장과 같이 영상 내 자동차가 항상 존재하는 경우가 존재할 수 있다. 만약 새롭게 등장한 자동차만을 객체로 검출하고자 할 때, 기존 정차된 자동차로 인해 계속적으로 감시 강화 모드가 유지되고 감시 완화 모드가 설정되지 않을 수도 있다. 이 경우, 상기 감시 영상 추출부(210)는 영상 프레임을 비교하여 배경으로 인식된 영역을 제외시키고 영상 프레임 내 전경 즉, 새롭게 등장하거나 움직임이 있는 영역만 추출한 영상을 감시 영상 프레임으로 상기 객체 검출 모델(220)에 입력할 수 있다.
본 명세서에 따른 영상 감시 방법이 구현된 컴퓨터프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10 : 영상 감시 시스템
100 : 카메라 200 : 영상 감시 장치
210 : 감시 영상 추출부 220 : 객체 검출 모델
230 : 감시 모드 제어부 240 : 이벤트 발생 판단부
300 : 경고 장치

Claims (12)

  1. (a) 프로세서가 감시 영상 데이터를 수신하고, 상기 감시 영상 데이터에서 미리 설정된 간격으로 감시 영상 프레임을 추출하는 단계;
    (b) 프로세서가 상기 추출된 감시 영상 프레임을 미리 설정된 적어도 하나 이상의 객체를 인식하는 객체 검출 모델에 입력하고, 상기 객체 검출 모델이 인식한 객체의 신뢰도값을 수신하고, 상기 수신된 신뢰도값을 객체 감시 큐에 입력하는 단계; 및
    (c) 상기 인식된 객체의 신뢰값이 미리 설정된 임계값 이하일 때 객체 미검출로 판단하고, 상기 객체 감시 큐에 가장 마지막으로 입력된 신뢰도값을 포함하는 미리 설정된 개수의 신뢰도값에 포함된 객체 미검출의 개수가 미리 설정된 기준 개수 이상인 경우, 프로세서가 상기 추출된 감시 영상 프레임을 미리 설정된 횟수 동안 상기 객체 검출 모델에 입력하지 않는 감시 완화 모드로 설정하는 단계;를 포함하는 영상 감시 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 객체 검출 모델은 영상 프레임 내 서로 다른 객체를 인식하는 복수의 객체 검출 모듈을 포함하고,
    상기 (b) 단계는, 프로세서가 복수의 객체 검출 모듈에서 출력된 각각의판단값을 수신하는 단계이고,
    상기 (c) 단계는, 프로세서가 상기 수신된 복수의 판단값에 따라 객체 검출 모듈별 감시 완화 모드를 각각 설정하는 단계인, 영상 감시 방법.
  6. 컴퓨터에서 청구항 1 또는 청구항 5에 따른 영상 감시 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램.
  7. 감시 영상 데이터를 수신하고, 상기 감시 영상 데이터에서 미리 설정된 간격으로 감시 영상 프레임을 추출하는 감시 영상 추출부;
    감시 영상 프레임에서 미리 설정된 적어도 하나 이상의 객체의 포함 여부에 대한 신뢰도값을 출력하는 객체 검출 모델; 및
    상기 객체 검출 모델에서 수신된 신뢰도값을 객체 감시 큐에 입력하고, 상기 객체 검출 모델에서 수신된 신뢰도값이 미리 설정된 임계값 이하일 때 객체 미검출로 판단하고, 상기 객체 감시 큐에 가장 마지막으로 입력된 신뢰도값을 포함하는 미리 설정된 개수의 신뢰도값에 포함된 객체 미검출의 개수가 미리 설정된 기준 개수 이상이면, 상기 추출된 감시 영상 프레임을 미리 설정된 횟수 동안 상기 객체 검출 모델에 입력하지 않는 감시 완화 모드로 설정하는 감시 모드 제어부;를 포함하는 영상 감시 장치.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 청구항 7에 있어서,
    상기 객체 검출 모델은 영상 프레임 내 서로 다른 객체를 인식하는 복수의 객체 검출 모듈을 포함하고, 복수의 객체 검출 모듈에서 출력된 각각의 판단값을 출력하고,
    상기 감시 모드 제어부는, 상기 수신된 복수의 판단값에 따라 객체 검출 모듈별 감시 완화 모드를 각각 설정하는, 영상 감시 장치.
  12. 감시 영상 데이터를 출력하는 카메라; 및
    청구항 7 또는 청구항 11에 따른 영상 감시 장치;를 포함하는 영상 감시 시스템.
KR1020230112609A 2023-08-28 2023-08-28 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법 KR102608625B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230112609A KR102608625B1 (ko) 2023-08-28 2023-08-28 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230112609A KR102608625B1 (ko) 2023-08-28 2023-08-28 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102608625B1 true KR102608625B1 (ko) 2023-12-04

Family

ID=89165052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230112609A KR102608625B1 (ko) 2023-08-28 2023-08-28 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102608625B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101624510B1 (ko) 2015-11-02 2016-05-26 (주)코렉스시스템 다기능 범죄·화재감시 추적 시스템
KR20160081472A (ko) * 2014-12-31 2016-07-08 삼성에스디에스 주식회사 영상 촬영 장치, 영상 분석 장치 및 방법과 이를 이용한 영상 분석 시스템
KR20190046351A (ko) * 2017-10-26 2019-05-07 에스케이텔레콤 주식회사 침입 탐지방법 및 그 장치
KR20190046349A (ko) * 2017-10-26 2019-05-07 삼성에스디에스 주식회사 기계 학습 기반의 객체 검출 방법 및 그 장치
KR20230102273A (ko) * 2021-12-30 2023-07-07 주식회사 케이티 학습 영상 처리 시스템, 이를 이용한 학습 영상 자동 샘플링 방법 및 레이블링 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160081472A (ko) * 2014-12-31 2016-07-08 삼성에스디에스 주식회사 영상 촬영 장치, 영상 분석 장치 및 방법과 이를 이용한 영상 분석 시스템
KR101624510B1 (ko) 2015-11-02 2016-05-26 (주)코렉스시스템 다기능 범죄·화재감시 추적 시스템
KR20190046351A (ko) * 2017-10-26 2019-05-07 에스케이텔레콤 주식회사 침입 탐지방법 및 그 장치
KR20190046349A (ko) * 2017-10-26 2019-05-07 삼성에스디에스 주식회사 기계 학습 기반의 객체 검출 방법 및 그 장치
KR20230102273A (ko) * 2021-12-30 2023-07-07 주식회사 케이티 학습 영상 처리 시스템, 이를 이용한 학습 영상 자동 샘플링 방법 및 레이블링 방법

Similar Documents

Publication Publication Date Title
Amrutha et al. Deep learning approach for suspicious activity detection from surveillance video
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
US20150262068A1 (en) Event detection apparatus and event detection method
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
CN111738240A (zh) 区域监测方法、装置、设备及存储介质
CN109544870B (zh) 用于智能监控系统的报警判断方法与智能监控系统
CN111652185A (zh) 一种基于违章行为识别的安全施工方法、系统、装置及存储介质
KR20160056107A (ko) 지정된 사물 및 영역에 대한 감시시스템 및 감시방법
KR102608625B1 (ko) 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법
KR102277929B1 (ko) 얼굴 인식에 기반한 실시간 얼굴 마스킹 시스템 및 이를 이용한 실시간 얼굴 마스킹 방법
KR102556447B1 (ko) 패턴 분석을 통한 상황 판단 시스템
CN116977129A (zh) 智慧物业管理系统及其方法
CN116977900A (zh) 智能实验室监控报警系统及其方法
CN109145991B (zh) 图像组生成方法、图像组生成装置和电子设备
KR102411278B1 (ko) 멀티-모달 비디오 캡셔닝 기반 영상 보안 시스템 및 방법
WO2022198507A1 (zh) 障碍物检测方法、装置、设备和计算机存储介质
KR20230064095A (ko) 딥러닝 기반 영상분석을 통한 이상행동 탐지 장치 및 방법
CN117456610B (zh) 一种攀爬异常行为检测方法、系统及电子设备
CN111225178A (zh) 基于对象检测的视频监控方法及其系统
US20170277954A1 (en) System and method for early detecting disasters based on svm
KR102641536B1 (ko) 클라우드-에지 플랫폼
Aishwarya et al. A Framework for Identifying Theft Detection Using Multiple-Instance Learning
WO2021193352A1 (ja) 画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体
CN116912744A (zh) 基于物联网的智能监控系统及其方法
Pateriya et al. Fight Detection In Video Surveillance Using Kalman Filter & Blob Analysis

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant