KR20200080402A - 비정상 상황 탐지 시스템 및 방법 - Google Patents

비정상 상황 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR20200080402A
KR20200080402A KR1020180164506A KR20180164506A KR20200080402A KR 20200080402 A KR20200080402 A KR 20200080402A KR 1020180164506 A KR1020180164506 A KR 1020180164506A KR 20180164506 A KR20180164506 A KR 20180164506A KR 20200080402 A KR20200080402 A KR 20200080402A
Authority
KR
South Korea
Prior art keywords
image patch
image
abnormal situation
patch
abnormal
Prior art date
Application number
KR1020180164506A
Other languages
English (en)
Inventor
이승익
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180164506A priority Critical patent/KR20200080402A/ko
Publication of KR20200080402A publication Critical patent/KR20200080402A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명에 따른 비정상 상황 탐지 시스템에서의 탐지 방법은 영상 센서로부터 촬영된 영상을 수신하는 단계; 상기 수신한 영상이 분할된 이미지 패치를 추출하는 단계; 상기 이미지 패치의 일정 부분에 마스킹 영역을 생성하는 단계; 상기 마스킹 영역이 생성된 이미지 패치를 인공 신경망의 입력으로 설정하여 상기 마스킹 영역에 대한 예측 이미지 패치를 생성하는 단계 및 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도에 기초하여 비정상 상황 패치 여부를 판단하는 단계를 포함한다.

Description

비정상 상황 탐지 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING ABNORMAL SITUATION}
본 발명은 비정상 상황 탐지 시스템 및 방법에 관한 것으로, 보다 구체적으로는 실내외 이동형 플랫폼에 탑재된 영상 센서를 바탕으로 이동하는 상황에서의 비정상 상황 탐지 시스템 및 방법에 관한 것이다.
현재 범죄 예방을 목적으로 하는 CCTV와 같은 무인 카메라가 공공장소를 비롯한 우리 생활의 전반에 보편화되어 사용되고 있다. 이러한 CCTV는 이와 연계된 다수의 디스플레이 장치가 설치된 장소에서 감시원들이 모니터링 함으로써 촬영지역에서 비정상적인 상황 발생을 인지하게 된다.
그러나 이러한 종래의 카메라와 디스플레이 장치로 이루어진 모니터링 시스템은 감시원들이 항상 디스플레이 장치를 주시하고 있어야만 비정상적인 상황을 인지할 수 있다는 번거로운 문제점이 있고, 특히 고정된 장소에 설치되어 한정된 영역만을 촬영하고 있어 사각지대에서의 비정상 상황을 탐지하지 못하는 경우가 빈번하였다.
최근 영상감시 장치와 인공지능 기술의 발달로 영상을 기반으로 한 비정상 상황 탐지 시스템의 활용성이 매우 높아지고 있으나, 종래 기술과 같은 문제로 인하여 그 활용이 매우 제한되고 있다.
한편, 데이터 측면에서 바라보더라도 정상과 비정상을 구분하기 위하여 수집된 데이터에 정상과 비정상을 레이블링하고, 이를 지도 학습을 통하여 정상과 비정상을 구분하는 방법이 주를 이루어, 다양한 비정상 상황에 대한 대처가 어려운 문제가 있었다.
본 발명의 실시예는 이동하는 플랫폼 장치에 탑재된 영상 센서로부터 촬영된 영상을 기반으로 비정상 상황을 탐지하며, 비정상 상황에 대한 사전 정의가 없는 비정상 상황을 탐지할 수 있는 비정상 상황 탐지 시스템 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 비정상 상황 탐지 시스템에서의 탐지 방법은 영상 센서로부터 촬영된 영상을 수신하는 단계; 상기 수신한 영상이 분할된 이미지 패치를 추출하는 단계;
상기 이미지 패치의 일정 부분에 마스킹 영역을 생성하는 단계; 상기 마스킹 영역이 생성된 이미지 패치를 인공 신경망의 입력으로 설정하여 상기 마스킹 영역에 대한 예측 이미지 패치를 생성하는 단계 및 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도에 기초하여 비정상 상황 패치 여부를 판단하는 단계를 포함한다.
상기 영상 센서는 이동 플랫폼 장치에 구비될 수 있다.
상기 인공 신경망은 정상 상황에 대한 영상 입력을 기반으로 미리 학습될 수 있다.
상기 비정상 상황 패치 여부를 판단하는 단계는, 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도가 기 설정된 값 이하인 경우 상기 비정상 상황 패치로 판단할 수 있다.
상기 비정상 상황 패치 여부를 판단하는 단계는, 상기 수신한 영상에 대하여 가로로 x 등분, 세로로 y 등분하여 xy개의 그리드를 가지는 영역으로 분할하는 단계; 상기 비정상 상황 패치로 판단된 이미지 패치와 중첩되는 상기 xy개의 그리드 중 특정 그리드에 대하여 비정상 점수를 증가시키는 단계 및 기 설정된 비정상 점수 이상을 가지는 특정 그리드를 비정상 상황 그리드로 판별하는 단계를 포함할 수 있다.
상기 비정상 상황 패치 여부를 판단하는 단계는, 상기 판별된 비정상 상황 그리드를 상기 이미지 패치에 매핑시켜 출력시키는 단계를 더 포함할 수 있다.
본 발명에 따른 비정상 상황 탐지 방법은 상기 마스킹 영역이 생성된 이미지 패치를 상기 인공 신경망의 입력으로 설정하여 상기 인공 신경망을 학습시키는 단계를 더 포함할 수 있다.
상기 인공 신경망을 학습시키는 단계는, 상기 마스킹 영역이 생성된 이미지 패치를 상기 인공 신경망의 입력으로 설정하는 단계; 상기 마스킹 영역에 대한 예측 이미지 패치를 생성하는 단계; 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도를 산출하는 단계 및 상기 산출된 유사도의 오차를 기반으로 상기 인공 신경망을 학습하는 단계를 포함할 수 있다.
또한, 본 발명의 제 2 측면에 따른 비정상 상황 탐지 시스템은 영상을 촬영하는 영상 센서, 상기 촬영된 영상에 기초하여 비정상 상황을 탐지하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 촬영된 영상을 분할하여 이미지 패치를 추출하고, 상기 이미지 패치의 일정 부분에 마스킹 영역을 생성하여 인공 신경망의 입력으로 설정함에 따라 상기 마스킹 영역에 대한 예측 이미지 패치를 생성하고, 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 영역과의 유사도에 기초하여 비정상 상황 패치 여부를 판단한다.
상기 영상 센서는 이동 플랫폼 장치에 구비될 수 있다.
상기 프로세서는 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도가 기 설정된 값 이하인 경우 상기 비정상 상황 패치로 판단할 수 있다.
상기 프로세서는 상기 수신한 영상에 대하여 가로로 x 등분, 세로로 y 등분하여 xy개의 그리드를 가지는 영역으로 분할하고, 상기 비정상 상황 패치로 판단된 이미지 패치와 중첩되는 상기 xy개의 그리드 중 특정 그리드에 대하여 비정상 점수를 증가시킨 후, 기 설정된 비정상 점수 이상을 가지는 특정 그리드를 비정상 상황 그리드로 판별할 수 있다.
상기 프로세서는 상기 판별된 비정상 상황 그리드를 상기 이미지 패치에 매핑시켜 출력시킬 수 있다.
상기 프로세서는 상기 마스킹 영역이 생성된 이미지 패치를 상기 인공 신경망의 입력으로 설정하여 상기 인공 신경망을 학습시킬 수 있다.
상기 프로세서는 상기 마스킹 영역이 생성된 이미지 패치를 상기 인공 신경망의 입력으로 설정하여 상기 마스킹 영역에 대한 예측 이미지 패치를 생성하고, 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도를 산출하여, 상기 산출된 유사도의 오차를 기반으로 상기 인공 신경망을 학습할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 이동 플랫폼 장치를 이용하여 실내외 비정상 상황을 탐지할 수 있다.
특히, 비정상 상황을 탐지함에 있어서 정상 상황만을 모델 학습 대상으로 사용하기 때문에, 정상 상황과 비정상 상황을 구분하여 레이블링하고 이를 모델의 학습 데이터로 사용하는 기존의 전통적인 접근 방식과 달리, 정상 상황만 있으면 되기 때문에 별도의 시간과 인적 노력을 필요로 하지 않는다는 장점이 있다.
또한, 기존의 비정상 상황 탐지 시스템들은 CCTV와 같이 센서가 고정된 상황에서 비정상 상황을 탐지할 수 있었던 반면, 본 발명의 일 실시예는 이동형 플랫폼 장치에 탑재된 영상 센서를 통해 운용이 가능하다.
도 1은 본 발명의 일 실시예에 따른 비정상 상황 탐지 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비정상 상황 탐지 방법의 순서도이다.
도 3은 비정상 상황 탐지 방법을 설명하기 위한 일 예시도이다.
도 4는 앙상블 형성을 통한 그리드 별 비정상 점수를 산출하는 일 예시를 도시한 도면이다.
도 5는 인공 신경망을 학습하는 과정을 설명하기 위한 도면이다.
도 6은 비정상 상황 탐지의 일 예시를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 비정상 상황 탐지 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 비정상 상황 탐지 시스템(100)은 영상 센서(110), 메모리(120) 및 프로세서(130)를 포함한다.
영상 센서(110)는 주변 영상을 촬영한다. 이때, 영상 센서(110)는 RGB 카메라, 깊이 카메라 및 스테레오 카메라 중 하나 이상을 포함할 수 있으며, 그밖에 필요에 따라 적외선 센서, 레이저 센서, 라이다 센서 등을 함께 구비할 수도 있다.
메모리(120)에는 촬영된 영상에 기초하여 비정상 상황을 탐지하기 위한 프로그램이 저장되며, 프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 2 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 비정상 상황 탐지 시스템(100)에서 수행되는 비정상 상황 탐지 방법에 대하여 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 비정상 상황 탐지 방법의 순서도이다.
본 발명의 일 실시예에 따른 비정상 상황 탐지 방법은 먼저, 영상 센서(110)로부터 촬영된 주변의 영상을 수신한다(S110).
이때 영상 센서(110)는 로봇과 같이 이동을 동반하는 이동형 플랫폼 장치에 구비될 수 있다.
다음으로, 영상 센서(110)로부터 수신한 영상을 분할하여 이미지 패치를 추출하고(S120), 추출된 이미지 패치의 일정 부분에 마스킹 영역을 생성한다(S130). 즉, 추출된 이미지 패치에서 일정 부분을 가림으로써 마스킹 영역을 생성한다.
이와 같이 이미지 패치에 대하여 마스킹 영역이 생성되고 나면, 마스킹 영역이 생성된 이미지 패치를 인공 신경망의 입력으로 설정하여(S140), 마스킹 영역에 대한 예측 이미지 패치를 생성한다(S150).
이러한 인공 신경망은 정상 상황에 대한 영상 입력을 기반으로 미리 학습되어 있을 수 있으며, 마스킹 영역이 생성된 이미지 패치에서 마스킹 영역에이 원래 어떤 모습이었는지를 추측하여 예측 이미지 패치를 생성하게 된다.
인공 신경망이 입력된 이미지 패치의 마스킹 영역에 대한 예측을 수행하여 예측 이미지 패치를 생성하고 나면, 예측 이미지 패치와 원래 입력된 이미지 패치에서의 마스킹 영역과의 유사도를 판단하여 비정상 상황 패치 여부를 판단한다(S160).
이때, 본 발명의 일 실시예는 상기 생성된 예측 이미지 패치와 이미지 패치에서의 대응되는 마스킹 영역과의 유사도가 기 설정된 값 이하인 경우 비정상 상황 패치로 판단할 수 있다.
도 3은 비정상 상황 탐지 방법을 설명하기 위한 일 예시도이다.
도 3에 도시된 바와 같이 이동 플랫폼 장치는 영상 센서(110)를 통해 영상을 촬영하고(S210), 촬영된 영상으로부터 이미지 패치를 추출한다(S220).
그 다음 추출된 이미지 패치에서 일부분에 대하여 마스킹 영역을 처리함으로써 이미지를 가린다(S230).
이후 마스킹 영역이 생성된 이미지 패치를 인공 신경망(A)에 통과시켜 마스킹 영역에 대한 예측 이미지 패치를 생성한다(S240).
그 다음 예측 이미지 패치와 S220 단계에서 추출된 원본 패치와의 유사도를 비교하고(S250), 유사도가 일정 수준 이하로 떨어지게 되면 해당 이미지 패치는 비정상 상황을 지닌 패치로 규정하고, 일정 수준을 초과하는 경우에는 정상 상황을 지닌 패치로 규정한다.
하지만, 이렇게 패치 단위로 비정상 상황과 정상 상황을 판단하였다 하더라도, 영상의 특성상 순간적인 밝기 변화 등의 요인으로 인하여 실제 정상 상황을 비정상 상황으로 판단하거나, 그 반대의 경우가 많이 발생할 수 있다.
이러한 문제를 해소하기 위하여, 본 발명의 일 실시예는 앙상블 기법을 추가적으로 적용할 수 있다.
도 4는 앙상블 형성을 통한 그리드 별 비정상 점수를 산출하는 일 예시를 도시한 도면이다.
본 발명의 일 실시예는 비정상 상황을 보다 명확히 판단하기 위하여, 상기 영상에 대하여 가로로 x 등분, 세로로 y 등분하여 총 xy개의 그리드를 가지는 영역으로 분할한다.
그리고 비정상 상황 패치로 판단된 이미지 패치 Pk가, x, y 좌표를 가지는 그리드 G(x, y)와 중첩되는 경우 해당 그리드의 비정상 점수를 식 1과 같이 하나 증가시킨다.
[식 1]
Figure pat00001
이렇게 하면 xy개의 각각의 그리드마다 비정상 점수를 얻을 수 있으며, 이 중에서 기 설정된 비정상 점수 이상을 가지는 특정 그리드를 비정상 상황 그리드로 판별하여 앙상블을 형성한다.
이와 같이 비정상으로 판단된 그리드는 도 3과 같이 상기 이미지 패치에 그리드 매핑을 통하여 비정상임을 시각적으로 표현할 수 있다(S260).
한편, 본 발명의 일 실시예에서 이미지 패치의 가려진 영역인 마스킹 영역을 예측하는 인공 신경망(A)을 미리 학습하는 과정을 추가적으로 수행할 수 있다.
도 5는 인공 신경망(A)을 학습하는 과정을 설명하기 위한 도면이다.
인공 신경망(A)의 학습은 마스킹 영역이 설정된 이미지 패치를 인공 신경망의 입력으로 설정함으로써 수행될 수 있다.
구체적으로 마스킹 영역이 생성된 이미지 패치(P1)를 인공 신경망(A)의 입력으로 설정하면, 인공 신경망(A)은 마스킹 영역에 대한 예측을 수행하여 예측 이미지 패치(P2)를 생성한다.
이렇게 생성된 예측 이미지 패치(P2)와 원래 이미지 패치(P0)를 비교하여 마스킹 영역에 대한 유사도를 산출하고, 산출된 유사도의 오차를 이용하여 인공 신경망(A)이 학습된다.
단, 여기서 학습에 쓰이는 데이터는 정상 상황만을 지닌 이미지들이어야만 하며, 이는 이동 플랫폼 장치에서 감시 영역을 순찰하면서 촬영한 정상 상황 동영상에서 획득된다.
한편, 상술한 설명에서, 단계 S110 내지 S260은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1에서 이미 기술된 내용은 도 2 내지 도 5의 비정상 상황 탐지 방법에도 적용될 수 있다.
이와 같은 본 발명의 일 실시예에 따르면, 이동 플랫폼 장치를 이용하여 실내외 비정상 상황을 탐지할 수 있다.
특히, 비정상 상황을 탐지함에 있어서 정상 상황만을 모델 학습 대상으로 사용하기 때문에, 정상 상황과 비정상 상황을 구분하여 레이블링하고 이를 모델의 학습 데이터로 사용하는 기존의 전통적인 접근 방식과 달리, 정상 상황만 있으면 되기 때문에 별도의 시간과 인적 노력을 필요로 하지 않는다는 장점이 있다.
또한, 기존의 비정상 상황 탐지 시스템(100)들은 CCTV와 같이 센서가 고정된 상황에서 비정상 상황을 탐지할 수 있었던 반면, 본 발명의 일 실시예는 이동형 플랫폼 장치에 탑재된 영상 센서(110)를 통해 운용이 가능하다.
도 6은 비정상 상황 탐지의 일 예시를 설명하기 위한 도면이다.
도 6의 (a) 내지 (a3)를 참조하면, 입력 영상에 대하여 펼쳐진 우산이나 잘못 놓여진 선풍기와 같은 비정상 상황을 용이하게 탐지할 수 있다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 비정상 상황 탐지 시스템
110: 영상센서
120: 메모리
130: 프로세서

Claims (15)

  1. 비정상 상황 탐지 시스템에서의 탐지 방법에 있어서,
    영상 센서로부터 촬영된 영상을 수신하는 단계;
    상기 수신한 영상이 분할된 이미지 패치를 추출하는 단계;
    상기 이미지 패치의 일정 부분에 마스킹 영역을 생성하는 단계;
    상기 마스킹 영역이 생성된 이미지 패치를 인공 신경망의 입력으로 설정하여 상기 마스킹 영역에 대한 예측 이미지 패치를 생성하는 단계 및
    상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도에 기초하여 비정상 상황 패치 여부를 판단하는 단계를 포함하는 비정상 상황 탐지 방법.
  2. 제 1 항에 있어서,
    상기 영상 센서는 이동 플랫폼 장치에 구비되는 것을 특징으로 하는 비정상 상황 탐지 방법.
  3. 제 1 항에 있어서,
    상기 인공 신경망은 정상 상황에 대한 영상 입력을 기반으로 미리 학습된 것인 비정상 상황 탐지 방법.
  4. 제 1 항에 있어서,
    상기 비정상 상황 패치 여부를 판단하는 단계는,
    상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도가 기 설정된 값 이하인 경우 상기 비정상 상황 패치로 판단하는 것인 비정상 상황 탐지 방법.
  5. 제 1 항에 있어서,
    상기 비정상 상황 패치 여부를 판단하는 단계는,
    상기 수신한 영상에 대하여 가로로 x 등분, 세로로 y 등분하여 xy개의 그리드를 가지는 영역으로 분할하는 단계;
    상기 비정상 상황 패치로 판단된 이미지 패치와 중첩되는 상기 xy개의 그리드 중 특정 그리드에 대하여 비정상 점수를 증가시키는 단계 및
    기 설정된 비정상 점수 이상을 가지는 특정 그리드를 비정상 상황 그리드로 판별하는 단계를 포함하는 비정상 상황 탐지 방법.
  6. 제 5 항에 있어서,
    상기 비정상 상황 패치 여부를 판단하는 단계는,
    상기 판별된 비정상 상황 그리드를 상기 이미지 패치에 매핑시켜 출력시키는 단계를 더 포함하는 비정상 상황 탐지 방법.
  7. 제 1 항에 있어서,
    상기 마스킹 영역이 생성된 이미지 패치를 상기 인공 신경망의 입력으로 설정하여 상기 인공 신경망을 학습시키는 단계를 더 포함하는 비정상 상황 탐지 방법.
  8. 제 7 항에 있어서,
    상기 인공 신경망을 학습시키는 단계는,
    상기 마스킹 영역이 생성된 이미지 패치를 상기 인공 신경망의 입력으로 설정하는 단계;
    상기 마스킹 영역에 대한 예측 이미지 패치를 생성하는 단계;
    상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도를 산출하는 단계 및
    상기 산출된 유사도의 오차를 기반으로 상기 인공 신경망을 학습하는 단계를 포함하는 비정상 상황 탐지 방법.
  9. 비정상 상황 탐지 시스템에 있어서,
    영상을 촬영하는 영상 센서,
    상기 촬영된 영상에 기초하여 비정상 상황을 탐지하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 촬영된 영상을 분할하여 이미지 패치를 추출하고, 상기 이미지 패치의 일정 부분에 마스킹 영역을 생성하여 인공 신경망의 입력으로 설정함에 따라 상기 마스킹 영역에 대한 예측 이미지 패치를 생성하고, 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 영역과의 유사도에 기초하여 비정상 상황 패치 여부를 판단하는 것인 비정상 상황 탐지 시스템.
  10. 제 9 항에 있어서,
    상기 영상 센서는 이동 플랫폼 장치에 구비되는 것을 특징으로 하는 비정상 상황 탐지 시스템.
  11. 제 9 항에 있어서,
    상기 프로세서는 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도가 기 설정된 값 이하인 경우 상기 비정상 상황 패치로 판단하는 것인 비정상 상황 탐지 시스템.
  12. 제 9 항에 있어서,
    상기 프로세서는 상기 수신한 영상에 대하여 가로로 x 등분, 세로로 y 등분하여 xy개의 그리드를 가지는 영역으로 분할하고, 상기 비정상 상황 패치로 판단된 이미지 패치와 중첩되는 상기 xy개의 그리드 중 특정 그리드에 대하여 비정상 점수를 증가시킨 후, 기 설정된 비정상 점수 이상을 가지는 특정 그리드를 비정상 상황 그리드로 판별하는 것인 비정상 상황 탐지 시스템.
  13. 제 12 항에 있어서,
    상기 프로세서는 상기 판별된 비정상 상황 그리드를 상기 이미지 패치에 매핑시켜 출력시키는 것인 비정상 상황 탐지 시스템.
  14. 제 9 항에 있어서,
    상기 프로세서는 상기 마스킹 영역이 생성된 이미지 패치를 상기 인공 신경망의 입력으로 설정하여 상기 인공 신경망을 학습시키는 것인 비정상 상황 탐지 시스템.
  15. 제 14 항에 있어서,
    상기 프로세서는 상기 마스킹 영역이 생성된 이미지 패치를 상기 인공 신경망의 입력으로 설정하여 상기 마스킹 영역에 대한 예측 이미지 패치를 생성하고, 상기 생성된 예측 이미지 패치와 상기 이미지 패치에서의 대응되는 마스킹 영역과의 유사도를 산출하여, 상기 산출된 유사도의 오차를 기반으로 상기 인공 신경망을 학습하는 것인 비정상 상황 탐지 시스템.
KR1020180164506A 2018-12-18 2018-12-18 비정상 상황 탐지 시스템 및 방법 KR20200080402A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180164506A KR20200080402A (ko) 2018-12-18 2018-12-18 비정상 상황 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180164506A KR20200080402A (ko) 2018-12-18 2018-12-18 비정상 상황 탐지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20200080402A true KR20200080402A (ko) 2020-07-07

Family

ID=71603192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164506A KR20200080402A (ko) 2018-12-18 2018-12-18 비정상 상황 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20200080402A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112349056A (zh) * 2020-11-06 2021-02-09 暨南大学 一种电缆通道防外破智能前端监控及预警系统
KR20220023541A (ko) 2020-08-21 2022-03-02 연세대학교 산학협력단 동적 분별 신호 학습을 통한 산업로봇의 적응적 예지보전 장치 및 방법
KR20220056159A (ko) 2022-04-04 2022-05-04 김용원 물탱크 내의 스팀집 슈퍼히터에 전력공급한 스팀공급으로 스팀터빈을 구동하는 것과 슈퍼히터로 스팀을 공급하는 스팀청소기에 발전기들을 설치하는 것과 공기터빈의 흡입구들의 공기필터들 설치와 펠티에소자를 이용한 냉온 공기배출과 얼음제조기 시스템
KR20220080053A (ko) 2022-05-27 2022-06-14 김용원 다중 에어 레이어 튜브보트
KR102470187B1 (ko) * 2021-11-19 2022-11-23 부산대학교 산학협력단 비적대적 패치 생성 방법 및 시스템
KR20230054957A (ko) 2021-10-18 2023-04-25 라온피플 주식회사 비정상 객체 탐지 장치 및 방법
WO2023095250A1 (ja) * 2021-11-25 2023-06-01 株式会社日立国際電気 異常検知システム
US11803177B1 (en) 2021-06-14 2023-10-31 MakinaRocks Co., Ltd. Method and apparatus for detecting anomaly data

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220023541A (ko) 2020-08-21 2022-03-02 연세대학교 산학협력단 동적 분별 신호 학습을 통한 산업로봇의 적응적 예지보전 장치 및 방법
CN112349056A (zh) * 2020-11-06 2021-02-09 暨南大学 一种电缆通道防外破智能前端监控及预警系统
CN112349056B (zh) * 2020-11-06 2022-05-10 暨南大学 一种电缆通道防外破智能前端监控及预警系统
US11803177B1 (en) 2021-06-14 2023-10-31 MakinaRocks Co., Ltd. Method and apparatus for detecting anomaly data
KR20230054957A (ko) 2021-10-18 2023-04-25 라온피플 주식회사 비정상 객체 탐지 장치 및 방법
KR102470187B1 (ko) * 2021-11-19 2022-11-23 부산대학교 산학협력단 비적대적 패치 생성 방법 및 시스템
WO2023095250A1 (ja) * 2021-11-25 2023-06-01 株式会社日立国際電気 異常検知システム
KR20220056159A (ko) 2022-04-04 2022-05-04 김용원 물탱크 내의 스팀집 슈퍼히터에 전력공급한 스팀공급으로 스팀터빈을 구동하는 것과 슈퍼히터로 스팀을 공급하는 스팀청소기에 발전기들을 설치하는 것과 공기터빈의 흡입구들의 공기필터들 설치와 펠티에소자를 이용한 냉온 공기배출과 얼음제조기 시스템
KR20220080053A (ko) 2022-05-27 2022-06-14 김용원 다중 에어 레이어 튜브보트

Similar Documents

Publication Publication Date Title
KR20200080402A (ko) 비정상 상황 탐지 시스템 및 방법
US10223595B2 (en) Methods, devices and computer programs for tracking targets using independent tracking modules associated with cameras
US9213896B2 (en) Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera
US11574481B2 (en) Camera blockage detection for autonomous driving systems
US11356599B2 (en) Human-automation collaborative tracker of fused object
US20190171897A1 (en) System and method for automatically improving gathering of data using a data gathering device
US20230087330A1 (en) Object tracking
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
US20140198229A1 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
JP2017228082A (ja) 追跡装置、追跡方法、及びプログラム
KR101606476B1 (ko) 카메라의 다중 노출 영상을 이용한 신호등 자동 인식 장치 및 방법
CN111797733A (zh) 一种基于图像的行为识别方法、装置、设备和存储介质
JP2019154027A (ja) ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム
JP5780979B2 (ja) 車両状態検出装置、車両挙動検出装置及び車両状態検出方法
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP2015103188A (ja) 画像解析装置、画像解析方法及び画像解析プログラム
JP7125843B2 (ja) 障害検知システム
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
US11961308B2 (en) Camera blockage detection for autonomous driving systems
KR102516172B1 (ko) 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN109740518B (zh) 一种视频中对象的确定方法及装置
KR102161212B1 (ko) 움직임 검출 시스템 및 방법
EP4198817A1 (en) System, method, and computer program for retraining a pre-trained object classifier
US11704895B2 (en) Camera data normalization for an autonomous vehicle
JP7435298B2 (ja) 物体検出装置および物体検出方法