KR20200103194A - 영상 기반 비정상 상황 모니터링 방법 및 시스템 - Google Patents

영상 기반 비정상 상황 모니터링 방법 및 시스템 Download PDF

Info

Publication number
KR20200103194A
KR20200103194A KR1020190018379A KR20190018379A KR20200103194A KR 20200103194 A KR20200103194 A KR 20200103194A KR 1020190018379 A KR1020190018379 A KR 1020190018379A KR 20190018379 A KR20190018379 A KR 20190018379A KR 20200103194 A KR20200103194 A KR 20200103194A
Authority
KR
South Korea
Prior art keywords
context
agent device
probability value
camera
camera agent
Prior art date
Application number
KR1020190018379A
Other languages
English (en)
Other versions
KR102172239B1 (ko
Inventor
백성욱
이미영
칸 무하마드
울 하크 이자즈
아민 울라
박준렬
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020190018379A priority Critical patent/KR102172239B1/ko
Publication of KR20200103194A publication Critical patent/KR20200103194A/ko
Application granted granted Critical
Publication of KR102172239B1 publication Critical patent/KR102172239B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 비정상 상황을 예측하는 영상 기반 모니터링 시스템은, 데이터 통신을 통해 서로 정보를 공유하는 복수의 카메라 에이전트 장치들을 포함하되, 상기 카메라 에이전트 장치는 영상을 촬영하는 카메라 모듈; 데이터 통신을 수행하는 통신 모듈; 촬영된 영상에 기반하여 비정상 상황을 탐지하는 프로그램이 탑재된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 프로그램의 실행에 따라, 촬영된 영상에서 키 프레임들을 추출하고, 추출된 키 프레임에 대하여 객체 분석을 수행하고, 각 키 프레임에서 분석된 각 객체들을 각 객체 단위로 시간 순서에 따라 그룹핑한 각 객체의 시퀀스를 기계 학습 모델에 입력하여 각 객체의 행동을 결정하고, 상기 키 프레임들 중 동일 객체가 등장하는 키 프레임들을 시간 순서에 따라 그룹핑한 키 프레임의 시퀀스를 상기 기계 학습 모델에 입력하여 상기 각 객체의 행동이 이루어지는 문맥을 결정하고, 상기 각 객체의 행동과 상기 결정된 문맥 정보의 매칭 정도에 따라 비정상 상황이 발생할지 여부에 대한 예측 결과를 생성하고, 상기 예측 결과에 따라 경고 메시지 출력 여부를 결정한다.

Description

영상 기반 비정상 상황 모니터링 방법 및 시스템{METHOD AND SYSTEM FOR ABNORMAL SITUATION MONITORING BASED ON VIDEO}
본 발명은 영상에 기반하여 비정상 상황을 모니터링하는 시스템 및 그 방법에 관한 것이다.
최근에 많은 연구그룹들은 범죄 사건이나, 폭력적인 활동 기타 그 밖의 비정상적인 상황과 같은 바람직하지 않은 사건을 감시하고 예방하기 위해 감시 카메라와 같은 다양한 기술을 개발해왔다. 예를 들어, 카메라 기반의 시각센서를 사용하여 폭력행위를 감지하면, 치명적인 사고를 예방하기 위해 경찰서 등과 같은 치안 유지 기관에 관련 정보를 알려주는 기술이다.
이와 같이 비전 센서를 통한 인간 활동 및 행동 분석은 최근 각광받고 있는 연구 분야로서, 비디오 데이터에서 다양한 행동과 활동을 인식하기 위해 개발된 다양한 시스템이 알려져 있다.
예를 들어, 비디오 데이터로부터 특징을 추출하기 위해 시공간적 관심 지점을 이용한 시각센서를 이용하여 인간 행동을 감지하는 시스템이 개발되었다. 해당 기술은 시공간적 관심 지점들의 이전에 할당된 히스토그램 빈들 내의 상이한 관심 지점들 사이의 관계를 계산함으로써 특징들의 히스토그램을 생성한다. 그 후, 시스템은 사전 결정된 동작 유형에 대한 형상 히스토그램과 기준 히스토그램 사이의 매치 스코어의 합을 계산한다.
다른 기술로, 인간의 행동 인식 시스템에 기반한 3D 컨볼루션 뉴럴 네트워크가 제안되었다. 이 시스템은 여러 인접 프레임에 인코딩 된 모션 정보를 캡처하기 위해 3D 컨볼루션을 수행함으로써 여러 비디오 프레임에서 사람의 동작을 인식할 수 있다. 이 방법은 비디오 프레임에서 다중 채널을 생성하고 사람의 행동을 인식하기 위해 서로 다른 채널 정보를 결합하는 3D CNN모델을 사용하여 공간 및 시간 차원의 특징을 추출한다.
다른 기술로, 비디오 데이터에서 폭력적인 움직임을 감지하기 위한 기술로서, 비디오 프레임 내의 동작 코너 포인트의 라이트 스트림을 검출하는 기술이 제안되었다. 다음으로, 동작 각 점의 빛의 흐름에 따라 동작 엔트로피(motion entropy)를 계산하여 폭력 동작이 존재하는지 여부를 판단한다. 동작 코너 포인트는 배경의 코너 포인트에 의한 간섭 없이 동작을 효과적으로 캡처하는데 사용할 수 있을 뿐만 아니라 노이즈 간섭을 줄일 수 있다. 또한 동작 코너 포인트의 라이트 스트림만 계산해야 하므로 동작 없는 픽셀에 대한 라이트 스트림을 계산할 필요가 없어 계산 작업량이 크게 줄일 수 있다고 한다. 각 동작 연결 영역에 대해 동작 연결 영역에 있는 동작 코너 포인트의 라이트 스트림을 모두 합산하여 동작 엔트로피를 계산한 다음, 폭력적인 동작이 존재하는지 여부는 동작 엔트로피를 기반으로 판단한다.
다른 기술로, 사용자가 계획된 활동을 수행하고 피드백을 받을 수 있는 가상 환경을 제공하는 시스템이 제안되었다. 사용자는 특정 동작을 수행하도록 지시되고, 이 움직임은 이미지 스트림에서 캡쳐된다. 이 이미지 스트림은 사용자별 류먼 모델을 사용하여 추적되는 사용자의 움직임에 근접하도록 시각화된다. 추적된 운동을 기반으로 생체 역학량은 압력과 근육 힘과 같이 계산됩니다. 그런 다음 피드백이 사용자에게 제공된다.
다른 기술로, 각도를 가지고 배열된 다중 카메라 시스템을 개발하여 인식이 필요한 공간을 서로 다른 방향으로 분산시켜 다중 뷰 영상을 수집한다. 각 이미지는 2진수화 되고 크기가 줄어든다. 이들은 공간 정규화된 이미지에 대해 같은 간격으로 동일한 프레임에 시퀀스를 리샘플링하기 위해 시간적 정규화를 적용한다. 시간 정규화 단계 이후에, 각각의 중심 프레임 및 이웃하는 프레임과 함께 동작 흐름이 구성된다. 다음으로, 움직임 방향의 히스토그램이 계산되고 우세한 움직임 방향의 강도가 히스토그램으로 변환된다. 마지막으로, 움직임의 방향과 강도의 히스토그램에 의해 인간 움직임 패턴을 다중 뷰로부터 획득한다.
이와 같이, 다양한 모니터링 기술이 개발되고 있는데, 대부분의 방법은 복수의 카메라 또는 비전 센서가 중앙 관제 시스템에 의하여 관리되고, 카메라로부터 수신되는 신호에 기초하여 중앙 관제 시스템이 비정상 상황 발생 여부를 감지하는 방식을 채택하고 있다.
그러나, 비정상 상황이 발생하는 것을 미리 예측하기 위해서는 여러 카메라센서를 통해 실시간으로 정보를 수집하면서, 각 카메라 센서가 스스로 정보 처리를 수행할 수 있어야 한다. 또한, 각 카메라 센서가 처리한 정보를 서로 인접한 카메라 센서에 공유하여, 각 카메라 센서를 통해 연속적으로 정보를 수집하여 보다 정확하게 비정상 상황 발생 여부를 예측할 수 있어야 한다. 이를 통해, 범죄와 폭력이 발생하기 전에 이를 미리 치안 유지 기관 등에 경고하여 비정상 상황 발생을 최소화하도록 한다.
대한민국 등록특허 제 10-1936837호(발명의 명칭: 맵기반 지능형 영상통합 감시시스템 및 이를 이용한 감시 방법)
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 각각 개별적으로 비정상 상황을 탐지하는 복수의 카메라 에이전트 장치들을 통해 실시간으로 비정상 상황 발생과 관련한 정보를 수집하고 비정상 상황 발생 여부를 예측할 수 있게 하는 영상 기반 모니터링 시스템을 제공하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 비정상 상황을 예측하는 영상 기반 모니터링 시스템은, 데이터 통신을 통해 서로 정보를 공유하는 복수의 카메라 에이전트 장치들을 포함하되, 상기 카메라 에이전트 장치는 영상을 촬영하는 카메라 모듈; 데이터 통신을 수행하는 통신 모듈; 촬영된 영상에 기반하여 비정상 상황을 탐지하는 프로그램이 탑재된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 프로그램의 실행에 따라, 촬영된 영상에서 키 프레임들을 추출하고, 추출된 키 프레임에 대하여 객체 분석을 수행하고, 각 키 프레임에서 분석된 각 객체들을 각 객체 단위로 시간 순서에 따라 그룹핑한 각 객체의 시퀀스를 기계 학습 모델에 입력하여 각 객체의 행동을 결정하고, 상기 키 프레임들 중 동일 객체가 등장하는 키 프레임들을 시간 순서에 따라 그룹핑한 키 프레임의 시퀀스를 상기 기계 학습 모델에 입력하여 상기 각 객체의 행동이 이루어지는 문맥을 결정하고, 상기 각 객체의 행동과 상기 결정된 문맥 정보의 매칭 정도에 따라 비정상 상황이 발생할지 여부에 대한 예측 결과를 생성하고, 상기 예측 결과에 따라 경고 메시지 출력 여부를 결정한다.
또한, 본 발명의 다른 일 실시예에 따른 비정상 상황을 예측하는 영상 기반 모니터링 시스템을 이용한 영상 기반 모니터링 방법은 (a) 상기 영상 기반 모니터링 시스템에 포함된 제 1 카메라 에이전트 장치가 촬영된 영상에서 키 프레임들을 추출하는 단계, (b) 추출된 키 프레임에 대하여 객체 분석을 수행하고, 각 키 프레임에서 분석된 각 객체들을 각 객체 단위로 시간 순서에 따라 그룹핑한 각 객체의 시퀀스를 기계 학습 모델에 입력하여 각 객체의 행동을 결정하는 단계, (c) 상기 키 프레임들 중 동일 객체가 등장하는 키 프레임들을 시간 순서에 따라 그룹핑한 키 프레임의 시퀀스를 상기 기계 학습 모델에 입력하여 상기 각 객체의 행동이 이루어지는 문맥을 결정하는 단계, (d)상기 각 객체의 행동과 상기 결정된 문맥 정보의 매칭 정도에 따라 비정상 상황이 발생할지 여부에 대한 예측 결과를 생성하는 단계 및 (e) 상기 예측 결과에 따라 경고 메시지 출력 여부를 결정하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단에 의하면, 서로 개별적으로 영상을 촬영하고 그로부터 비정상 상황을 예측하는 복수의 카메라 에이전트 장치를 통해 비정상 상황의 발생 여부를 보다 신속하게 예측할 수 있다. 특히, 각각의 카메라 에이전트 장치는 자신이 획득한 비정상 상황에 대한 정보를 인접한 카메라 에이전트 장치와 공유하고 이를 이용하여 비정상 상황을 예측하게 함으로써, 보다 정확하고 신속한 의사 결정이 가능하도록 한다.
도 1은 본 발명의 일 실시예에 따른 비정상 상황을 예측하는 영상 기반 모니터링 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 에이전트 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 카메라 에이전트 장치에서 수행되는 비정상 상황 예측 방법을 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 카메라 에이전트 장치의 정보 공유 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 카메라 에이전트 장치의 정보 공유 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 비정상 상황 모니터링 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 비정상 상황 모니터링 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 비정상 상황 모니터링 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상의 시퀀스를 식별하는 과정을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 비정상 상황을 예측하는 영상 기반 모니터링 시스템을 도시한 도면이다.
영상 기반 모니터링 시스템(10)은 데이터 통신을 통해 서로 정보를 공유하는 복수의 카메라 에이전트 장치(100)들을 포함한다. 각각의 카메라 에이전트 장치(100)는 비정상 상황 발생 여부를 예측하고, 그에 따라 데이터 통신을 통해 치안 기관 관제 시스템(200)에 경고 메시지를 전송한다. 이때, 치안 기관 관제 시스템(200)은 각각의 카메라 에이전트 장치(100)의 경고 메시지를 수신하여, 경고 메시지를 출력한 카메라 에이전트 장치(100)와 인접한 치안 인력 또는 차량 등에 경고 메시지를 전달하여 그 주변에 비정상 상황이 발생할 것이라는 메시지를 전달할 수 있다.
도 2는 본 발명의 일 실시예에 따른 카메라 에이전트 장치의 구성을 도시한 도면이다.
각각의 카메라 에이전트 장치(100)는 프로세서(110), 메모리(120), 카메라 모듈(130) 및 통신 모듈(140)을 포함한다.
메모리(120)는 촬영된 영상에 기반하여 비정상 상황을 탐지하는 프로그램을 저장한다. 또한, 메모리(120)는 카메라 모듈(130)을 통해 촬영된 영상을 저장할 수 있다. 또한, 메모리(120)는 프로세서(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다.
여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 컴퓨터 프로그램이 저장되는 메모리(120)와 카메라 영상이 저장되는 메모리(120)의 구성은 상이할 수 있다. 예를 들어, 컴퓨터 프로그램은 비휘발성 저장 매체에 저장되어 있다가, 카메라 에이전트 장치(100)가 구동됨에 따라 RAM과 같은 휘발성 저장 매체로 이동될 수 있다. 또한, 카메라 영상은 HDD와 같은 대용량 스토리지 장치에 저장되었다가, 이후 설명할 영상 분석 등을 위해 휘발성 저장 매체 또는 비휘발성 저장 매체 등에 저장될 수 있다.
프로세서(110)는 비정상 상황을 예측하는 프로그램을 실행함에 따라, 비정상 상황 예측 방법을 수행한다. 이때, 비정상 상황은 폭력 상황, 시위 상황, 테러 상황 또는 화재나 기타 재난 상황 등 일상적으로는 나타나지 않는 상황을 의미한다. 프로세서(110)는 카메라 모듈(130)을 통해 촬영된 영상에서 키 프레임들을 추출하고, 추출된 키 프레임에 대하여 객체 분석을 수행하고, 각 키 프레임에서 분석된 각 객체들을 각 객체 단위로 그룹핑한 각 객체의 시퀀스를 기계 학습 모델에 입력하여 각 객체의 행동을 결정하고, 상기 키 프레임들을 그룹핑한 키 프레임의 시퀀스를 상기 기계 학습 모델에 입력하여 상기 각 객체의 행동이 이루어지는 문맥을 결정하고, 상기 각 객체의 행동과 상기 결정된 문맥 정보를 기초로 비정상 상황이 발생할지 여부에 대한 예측 결과를 생성하고, 예측 결과에 따라 경고 메시지 출력 여부를 결정한다. 프로세서(110)가 수행하는 각각의 동작에 대해서는 추후 보다 상세히 살펴보기로 한다.
여기서, 프로세서(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
카메라 모듈(130)은 CCTV 등과 같이, 미리 설정된 감시 영역 범위 내에서 소정 각도만큼 좌우측 또는 상하 방향으로 회전 이동하면서 영상을 촬영한다. 각각의 카메라 모듈(130)을 통해 촬영된 영상은 프로세서(110)에 의하여 처리되어 비정상 상황을 예측하는데 사용된다. 프로세서(110)에 의하여 카메라 모듈(130)의 영상 촬영이나 회전 동작이 제어된다.
또한, 카메라 에이전트 장치(100)는 GPS와 같은 위치 정보 센서를 포함할 수 있으며, 프로세서(110)는 이를 이용하여 자신의 위치 정보를 확인할 수 있다.
통신 모듈(140)은 주변의 카메라 에이전트 장치와 데이터 통신이 이루어지도록 하는 통신 인터페이스를 제공한다. 통신 모듈(140)은 프로세서(110)를 통해 결정된 문맥의 확률값, 예측 결과에 대한 확률값을 인접한 카메라 에이전트 장치에 전달하고, 각각의 카메라 에이전트 장치가 주변의 카메라 에이전트 장치에서 수신한 문맥의 확률값 및 예측 결과의 확률값을 추가적으로 고려하여, 예측 결과에 대한 확률값을 재산출하도록 한다.
여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
도 3은 본 발명의 일 실시예에 따른 카메라 에이전트 장치에서 수행되는 비정상 상황 예측 방법을 도시한 순서도이다.
먼저, 카메라 에이전트 장치(100)는 카메라 모듈(130)을 통해 촬영된 영상에서 키 프레임을 추출한다(S310). 이때, 카메라 에이전트 장치(100)는 촬영된 영상 중 배경 화면 외에 적어도 하나 이상의 객체가 등장하는 경우를 키 프레임으로 추출할 수 있다. 각각의 카메라 에이전트 장치(100)가 설치되는 장소는 모두 상이한데, 각 카메라 모듈(130)에게 할당되는 감시영역은 고정된다. 따라서, 각 카메라 에이전트 장치(100)는 설치 이후 감시영역을 촬영하고 학습하는 과정에서, 객체가 등장하지 않는 배경 화면을 학습할 수 있고, 이후 객체의 등장 여부를 별도로 검출할 수 있다. 이때, 객체는 주로 움직이는 물체로서 사람, 동물 또는 자동차 등을 포함하며, 사람 등에 의하여 운반되는 물건 등도 객체가 될 수 있다.
그리고, 추출된 키 프레임에서 각각의 객체를 분석하고(S320), 각 객체들을 각 객체 단위로 그룹핑한 각 객체의 시퀀스를 추출한다(S340). 키 프레임 내에는 복수의 객체가 존재할 수 있고, 이들을 서로 구분하여 각각의 객체를 추출할 수 있다. 그리고, 이와 같이 추출된 객체들이 촬영 영상에서 연속적으로 등장할 수 있는데, 이들 객체를 시간 순서에 따라 그룹핑하여 각 객체의 시퀀스를 생성할 수 있다.
또한, 객체를 분석하기 전의 각 키프레임을 중심으로 키 프레임의 시퀀스를 생성한다(S330). 즉, 키 프레임들 중 동일 객체가 등장하는 키 프레임들을 시간 순서에 따라 그룹핑하여 키 프레임의 시퀀스를 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상의 시퀀스를 식별하는 과정을 설명하기 위한 도면이다.
본 발명에서는 연속적으로 이어지는 키 프레임 단위로 각 객체의 특징을 추출하고, 객체의 행동을 특정하기 위해 컨볼루션 뉴럴 네트워크를 이용한 학습 모델을 사용한다. 특히, 시간적으로 서로 연속되는 키 프레임들을 입력으로 하고, 각 영상들의 시간적인 옵티컬 플로우를 특징으로 추출하는 컨볼루션 뉴럴 네트워크를 설계한다. 옵티컬 플로우는 추적된 타겟의 동작을 학습하는데 도움이 되는 일련의 연속 프레임에서 객체의 움직임 변경을 추출할 수 있도록 한다. 한편, 옵티컬 플로우를 특징으로 추출하는 컨볼루션 뉴럴 네트워크의 구성은 종래 기술에 해당하므로, 이에 대한 상세한 설명은 생략하기로 한다.
이와 같이 추출된, 각 객체의 시간적 특징을 키 프레임의 시간 순서에 따라 각각 수신하여 처리하는 복수의 LSTM에 전달하여, 각 객체들의 동작을 식별할 수 있다. 즉, 각 객체의 시퀀스가 나타내는 행위로서 보행, 달리기, 자전거 타기, 운전 등을 서로 구분하여 출력할 수 있게 된다.
도 9와 같은 구성을 통해, 각 객체의 시퀀스 또는 키 프레임의 시퀀스에 대하여 특징 정보를 추출하고, 각 객체의 시퀀스가 나타내는 행동을 결정할 수 있다. 또한, 각 객체의 행동이 이루어지는 문맥을 결정할 수 있다. 이때, 각 객체의 행동은 확률값의 형태로 산출되는데 각 객체의 시퀀스가 나타내는 행동들 중 그 확률값이 가장 큰 행동을 객체의 행동으로서 결정한다. 또한, 문맥을 결정할 때, 각 문맥별로 산출된 확률값에 기초하여 각 객체의 시퀀스가 나타내는 객체의 행동이 이루어지는 문맥을 결정한다.
다시 도 3을 참조하면, 키 프레임의 시퀀스를 기초로 각 객체의 행동이 이루어지는 문맥을 결정할 수 있다(S350). 앞서 설명한 바와 같이, 컨볼루션 뉴럴 네트워크를 통해 키 프레임의 시퀀스의 옵티컬 플로우의 특징을 추출하고, 이를 복수의 LSTM에 전달하여, 키 프레임 시퀀스의 문맥을 서로 식별할 수 있다. 이때, 복수의 후보 문맥중 확률값이 가장 크게 나타나는 문맥을 키프레임 시퀀스의 문맥으로서 결정한다.
문맥 정보는 각 객체의 행동이 이루어지는 주변 상황에 대한 정보를 포함한다. 예를 들면, 각 객체의 행동이 이루어지는 장소나, 시간적인 상황을 키 프레임의 시퀀스 단위로 식별하는 것이다.
그리고, 각 객체의 시퀀스에 의하여 식별되는 각 객체의 행동과 키 프레임의 시퀀스에 의하여 결정되는 문맥 정보를 기초로 비정상 상황을 예측한다(S360). 즉, 각 객체의 행동이 문맥 정보를 고려했을 때 행동에 해당하는지 비정상적인 행동에 해당하는지 여부를 확률값의 형태로 산출한다. 예를 들어, 학습 데이터에 비추어 비교해 볼 때, 각 객체의 행동이 문맥 정보와 매칭될 확률이 높은 행동인 경우에는 정상적인 행동으로 판단하고, 그렇지 않은 경우에는 비정상적인 행동으로 판단하게 된다. 만약, 비정상 행동으로 판단되는 경우에는 경고 메시지를 출력한다.
문맥 정보는 각 객체의 행동을 인식하는 데 중요한 역할을 수행하는 정보이다. 예를 들어, 객체가 수행하는 달리기 활동은 문맥 정보에 따라 정상으로 결정될 수도 있고, 비정상으로 인식될 수도 있다. 키 프레임 시퀀스에 의하여 인식되는 문맥 정보가 조깅 코스나 산책로 등과 같이 달리기가 일상적으로 이루어지는 환경이라면, 객체가 수행하는 달리기는 체육활동의 일부로서 정상적인 행동으로 고려될 수 있다. 그러나, 키 프레임 시퀀스에 의하여 인식되는 문맥 정보가 혼잡한 도로변이나 길거리와 같은 환경이라면, 객체가 수행하는 달리기는 수상한 행동으로서 인식될 수 있다.
도 4는 본 발명의 일 실시예에 따른 카메라 에이전트 장치의 정보 공유 과정을 설명하기 위한 도면이다.
각각의 카메라 에이전트 장치는 카메라 원본 영상을 이용하여, 앞서 도 3을 통해 설명한, 키 프레임 추출, 객체 분석, 객체의 활동 분석, 문맥 분석, 비정상 상황 예측 및 알림 메시지 전달 등의 동작을 순차적으로 수행한다. 이때, 각 단계에서 처리되는 정보는 도 4에 도시된 바와 같이, 계층화하여 표시될 수 있는데, 각 계층별로 추출되는 정보는 중요도는 높아지면서, 그 용량은 작아지게 된다. 본 발명에서는 실시간으로 정보를 공유할 수 있도록 하기 위해, 정보의 중요성은 높으면서도 용량은 작은 상위 계층의 정보를 인접한 카메라 에이전트 장치에 공유한다.
즉, 객체의 행동이 이루어졌던 상황을 분석한 문맥 분석 결과, 객체의 행동이 비정상 상황에 해당하는지 여부를 나타내는 의사 결정 결과 및 경고 메시지를 출력하였는지 여부에 대한 정보를 실시간으로 주변에 인접한 카메라 에이전트 장치에 공유한다. 이때, 주변에 인접한 카메라 에이전트 장치의 범위는 각 카메라 모듈에 대하여 설정된 감시 영역 중 적어도 일부를 함께 촬영하는 관계에 있는 카메라 에이전트 장치로 설정할 수 있다. 이와 같이 서로 인접한 카메라 에이전트 장치로 문맥 분석을 수행한 결과인 각 문맥의 확률값, 비정상 상황인지 여부를 나타내는 예측 결과에 대한 확률값, 예측 결과에 대한 확률값이 임계값 이상이어서 경고 메시지를 출력한 경우 경고 메시지를 출력하였다는 정보 등을 함께 공유한다.
이때, 각 카메라 에이전트 장치는 공유하는 정보를 시간 스탬프, 자신의 식별 정보 또는 자신의 위치 정보 등을 포함하는 메타 데이터와 함께 묶어 인접한 카메라 에이전트 장치로 전송할 수 있다. 만약, 비정상 상황이 서로 인접한 제 1 내지 제 3 카메라 에이전트 장치를 순차적으로 경유하여 일어난다면, 제 1 시점에 제 1 카메라 에이전트 장치가 산출하여 제 2 카메라 에이전트 장치에 제공한 정보는 제 2 시점에 모니터링을 수행하는 제 2 카메라 에이전트 장치에 영향을 줄 수 있고, 이는 보다 정확한 정보를 산출하는데 도움이 될 수 있다. 특히, 위치 정보나 시간 스탬프 정보에 기초하여 위치적으로나 시간적으로 서로 가까이 발생한 객체의 행동은 동일한 객체에 의하여 발생한 행동으로 취급하여, 각 객체의 행동에 대하여 비정상 상황인지 여부를 결정할 수 있도록 한다.
도 5는 본 발명의 일 실시예에 따른 카메라 에이전트 장치의 정보 공유 과정을 설명하기 위한 도면이다.
도시된 바와 같이, 제 1 카메라 에이전트 장치는 자체적으로 객체 분석에 따른 객체의 행동 분석, 문맥 분석 및 비정상 상황인지 여부를 예측하는 예측 결과를 출력한다. 이때, 제 1 카메라 에이전트와 인접한 제 2 카메라 에이전트 장치에서 전송된 문맥 분석 결과, 비정상 상황 예측 결과 및 경고 메시지 출력 정보를 수신하고, 이를 함께 고려하여 예측 결과에 대한 확률값을 재산출할 수 있다.
보다 상세히 설명하면, 제 1 카메라 에이전트 장치는 자신이 산출한 문맥 분석 결과와 제 2 카메라 에이전트 장치가 산출한 문맥 분석 결과를 비교하고, 비교 결과에 따라 객체의 행동이 이루어지는 상황을 나타내는 문맥을 결정한다. 예를 들어, 제 1 카메라 에이전트 장치는 키 프레임의 시퀀스를 기초로 A 라는 문맥(확률 75%), B 라는 문맥(확률 70%), C 라는 문맥(50%) 등의 순서로 각 문맥의 확률값을 산출하였고, 제 2 카메라 에이전트 장치는 키 프레임의 시퀀스를 기초로 B 라는 문맥(확률 80%), A 라는 문맥(확률 60%), C 라는 문맥(40%) 등의 순서로 각 문맥의 확률값을 산출하였다고 가정한다. 이때, 제 1 카메라 에이전트 장치는 확률값이 가장 큰 문맥인 제 2 카메라 에이전트 장치의 문맥 분석 결과를 반영하여, 키 프레임의 시퀀스의 문맥을 B라는 문맥으로 결정할 수 있다.
또 다른 실시예에 따르면, 제 1 카메라 에이전트 장치가 산출한 확률값에 제 1 가중치를 곱하고, 제 2 카메라 에이전트 장치가 산출한 확률값에 제2 가중치를 곱한 후, 각 문맥별로 제 1 가중치가 적용된 확률값과 제 2 가중치가 적용된 확률값을 합산하여 확률값이 가장 큰 문맥을 최종 문맥으로 결정할 수 있다. 한편, 예시를 위해 2개의 카메라 에이전트 장치 간의 문맥 분석 결과를 기초로 산출하는 과정을 설명하였으나, 서로 인접한 관계에 있다면 3개 이상의 카메라 에이전트가 각각 개별적으로 분석한 문맥 분석 결과를 기초로 각 카메라 에이전트가 최종 문맥을 결정할 수 있다.
다음으로, 비정상 상황 여부를 예측하는 단계에서는 제 1 카메라 에이전트 장치가 각 객체에 대하여 결정한 행동과 앞선 단계에서 결정한 최종 문맥 정보와 매칭될 확률에 기초하여 비정상 상황인지 여부를 결정한다. 그리고, 비정상 상황 여부를 판단할 때의 최종 문맥 정보에 기초하여 경고의 종류가 결정될 수 있다. 예를 들면, 비정상의 정도에 따라 경고 메시지를 등급별로 구분하거나, 폭력 상황, 시위 상황, 테러 상황 또는 화재 상황 등 그 문맥의 종류에 따라 경고의 종류가 구분될 수 있다.
한편, 각 카메라 에이전트 장치는 경고 출력 여부와 경고 메시지의 종류, 해당 경고 메시지가 출력된 횟수 등에 대한 정보를 서로 공유할 수 있다. 즉, 제 1 카메라 에이전트 장치는 인접한 제 2 카메라 에이전트 장치로부터 경고 출력에 대한 정보를 수신하는데, 경고 메시지가 어떤 종류인지 해당 경고 메시지가 몇 번 출력되었는지에 대한 정보를 확인할 수 있다. 이를 기초로, 제 1 카메라 에이전트 장치는 자신의 예측 결과를 통해 확인한 경고의 종류가 제 2 카메라 에이전트 장치로부터 수신한 경고의 종류와 동일한지 여부를 판단한다.
만약, 두 카메라 에이전트 장치가 예측한 경고가 상이하다면 제 1 카메라 에이전트 장치가 최종 문맥 정보에 기초하여 예측한 예측 결과를 기초로 경고 메시지를 출력한다. 이때, 경고 메시지의 출력횟수는 1로 갱신될 수 있다.
만약, 제 1 카메라 에이전트 장치와 제 2 카메라 에이전트 장치가 동일한 종류의 경고를 출력한다면, 경고 메시지의 출력 횟수를 1만큼 증가시키면서, 경고 메시지를 출력하고, 이에 대한 정보를 인접한 카메라 에이전트 장치로 전달한다. 따라서, 서로 순차적으로 인접한 N 개의 카메라 에이전트 장치가 동일한 종류의 경고 메시지를 출력하였다면, 최종 카메라 에이전트 장치는 경고 메시지의 출력횟수를 N으로 설정하여, 인접한 카메라 에이전트 장치에 전달하게 된다.
도 6은 본 발명의 일 실시예에 따른 비정상 상황 모니터링 방법을 설명하기 위한 도면이다.
먼저, 도면의 상부에 도시된 (a)는 종래 기술을 도시한 것으로, 각 카메라가 촬영한 정보가 중앙 관제 시스템으로 전달되어, 비정상 상황을 탐지하는 과정을 도시하고 있다. 각 카메라는 자신의 감시 영역에 해당하는 영상을 촬영하여 각각 중앙 관제 시스템으로 전달하게 된다.
본 발명의 경우, 복수의 카메라 에이전트 장치가 서로 인접한 카메라 에이전트 장치에 자신이 분석한 문맥 분석 결과, 비정상 상황 예측 결과 및 경고 메시지 출력 정보를 전달한다. 제 1 카메라 에이전트 장치가 객체가 뛰는 행동을 감지하고, 자신이 추출한 문맥 정보 상 비정상 상황이라고 판단되면, 이에 대한 정보를 제 2 카메라 에이전트 장치로 전달한다. 이때, 제 1 카메라 에이전트 장치의 위치 정보와 객체의 행동이 발생한 시간 정보가 함께 전달될 수 있다. 제 2 카메라 에이전트 장치는 소정의 시간이 경유한 후 객체의 행동을 인식하게 되는데, 해당 객체가 비정상 상황을 계속 유지하고 있다면, 제 2 카메라 에이전트 장치에 의해서 비정상 상황에 대한 정보가 탐지될 수 있다. 또한, 제 1 카메라 에이전트 장치에서 공유된 정보를 활용하여 비정상 상황에 대한 예측을 수행할 수 있고, 이를 이용하여 경고 메시지를 출력할 수 있다.
도 7은 본 발명의 일 실시예에 따른 비정상 상황 모니터링 방법을 설명하기 위한 도면이다.
도시된 바와 같이, 시위 군중이 이동하는 상황이 촬영된 경우, 각각의 카메라 에이전트 장치는 객체의 개수, 주변의 문맥 정보를 기초로 비정상 상황 발생 여부를 자체적으로 판단할 수 있다. 단순히 사람이 많은 수의 객체가 감지된 것만으로 비정상 상황을 판단하기 보다는, 기계 학습 모델에 의하여 판단된 문맥 정보가 함께 매칭되어 비정상 상황이 판단된다. 예를 들어, 군중 간에 폭력 사태가 일어날 조짐이 보이는 경우 등에 비정상 상황인 것으로 판단하고, 경고 메시지를 출력한다.
또한, 영상 정보를 통해 도로상의 차량이 밀집된 정도를 나타내는 트래픽 밀도 등을 감지할 수 있고, 이를 이용하여 추후 비정상 상황 발생 여부를 예측할 수 있다.
도 8은 본 발명의 일 실시예에 따른 비정상 상황 모니터링 방법을 설명하기 위한 도면이다.
예를 들어, A라는 객체의 경우 주요 시설인 은행 주변에 위치한 카메라 에이전트 장치를 통해 그 행동이 탐지될 것이나, 객체의 행동이 정상적인 걷기 행동이고, 문맥 정보에도 특이 사항이 없다면 정상 상황으로 판단될 것이다.
그란, B 라는 객체의 경우, 특정 지역에 오랜 시간 동안 머무는 행위가 감지되고, 그 주변에 주요 시설(예를 들면, 은행)이 위치하고 있다는 문맥 정보가 결합되면 비정상 상황이 발생한 것으로 판단하고, 이에 대한 정보를 주변의 카메라 에이전트 장치에 전달한다. 이러한 경고 정보는 주변의 치안 기관 단말에 전송될 수 있다. 또한, 이후 B 객체가 은행에서 나오는 A라는 객체를 추적하는 행동을 할 경우 카메라 에이전트 장치가 이를 감지하며, 비정상 상황이 발생할 것이라는 예측을 수행할 수 있다.
이상에서 설명한 본 발명의 실시예에 따른 비정상 상황 모니터링 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 기반 모니터링 시스템
110: 프로세서 120: 메모리
130: 카메라 모듈 140: 통신 모듈

Claims (16)

  1. 비정상 상황을 예측하는 영상 기반 모니터링 시스템에 있어서,
    데이터 통신을 통해 서로 정보를 공유하는 복수의 카메라 에이전트 장치들을 포함하되,
    상기 카메라 에이전트 장치는
    영상을 촬영하는 카메라 모듈;
    데이터 통신을 수행하는 통신 모듈;
    촬영된 영상에 기반하여 비정상 상황을 탐지하는 프로그램이 탑재된 메모리; 및
    상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 프로그램의 실행에 따라, 촬영된 영상에서 키 프레임들을 추출하고, 추출된 키 프레임에 대하여 객체 분석을 수행하고, 각 키 프레임에서 분석된 각 객체들을 각 객체 단위로 시간 순서에 따라 그룹핑한 각 객체의 시퀀스를 기계 학습 모델에 입력하여 각 객체의 행동을 결정하고, 상기 키 프레임들 중 동일 객체가 등장하는 키 프레임들을 시간 순서에 따라 그룹핑한 키 프레임의 시퀀스를 상기 기계 학습 모델에 입력하여 상기 각 객체의 행동이 이루어지는 문맥을 결정하고, 상기 각 객체의 행동과 상기 결정된 문맥 정보의 매칭 정도에 따라 비정상 상황이 발생할지 여부에 대한 예측 결과를 생성하고, 상기 예측 결과에 따라 경고 메시지 출력 여부를 결정하는 영상 기반 모니터링 시스템.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 객체에 대한 행동을 결정할 때, 각 행동별로 산출된 확률값에 기초하여 각 객체의 행동을 결정하고,
    상기 문맥을 결정할 때, 각 문맥별로 산출된 확률값에 기초하여 상기 객체의 행동이 이루어지는 문맥을 결정하고,
    상기 예측 결과가 발생할 확률값에 기초하여 상기 예측 결과를 결정하는 것인 영상 기반 모니터링 시스템.
  3. 제 2 항에 있어서,
    제 1 카메라 에이전트 장치는 상기 결정된 문맥의 확률값 및 상기 예측 결과에 대한 확률값을 인접한 카메라 에이전트 장치에 전달하고,
    하나 이상의 인접한 카메라 에이전트 장치에서 수신한 문맥의 확률값 및 예측 결과의 확률값을 추가적으로 고려하여, 상기 예측 결과에 대한 확률값을 재산출하되, 상기 제 1 카메라 에이전트 장치는 상기 카메라 모듈에 대하여 설정된 감시 영역의 적어도 일부를 함께 촬영하는 카메라 에이전트 장치를 상기 인접한 카메라 에이전트 장치로 설정하는 것인 영상 기반 모니터링 시스템.
  4. 제 3 항에 있어서,
    상기 제 1 카메라 에이전트 장치는 인접한 제 2 카메라 에이전트 장치가 산출한 문맥의 확률값 및 상기 제 1 카메라 에이전트 장치가 산출한 문맥의 확률값에 기초하여 문맥을 결정하되,
    상기 확률값이 가장 큰 문맥을 최종 문맥으로 결정하는 영상 기반 모니터링 시스템.
  5. 제 3 항에 있어서,
    상기 제 1 카메라 에이전트 장치는 인접한 제 2 카메라 에이전트 장치가 산출한 문맥의 확률값 및 상기 제 1 카메라 에이전트 장치가 산출한 문맥의 확률값에 기초하여 문맥을 결정하되,
    상기 제 1 카메라 에이전트 장치가 각 문맥별로 산출한 확률값에 제 1 가중치를 곱하고, 상기 제 2 카메라 에이전트 장치가 각 문맥별로 산출한 확률값에 제 2 가중치를 곱한 후, 각 문맥별로 제 1 가중치가 적용된 확률값과 제 2 가중치가 적용된 확률값을 합산하여 확률값이 가장 큰 문맥을 최종 문맥으로 결정하는 영상 기반 모니터링 시스템.
  6. 제 1 항에 있어서,
    제 1 카메라 에이전트 장치는 상기 경고 메시지의 출력 여부, 경고 메시지의 종류 및 해당 경고 메시지가 출력된 횟수에 대한 정보를 결정된 인접한 카메라 에이전트 장치에 전달하되,
    상기 제 1 카메라 에이전트 장치는 상기 카메라 모듈에 대하여 설정된 감시 영역의 적어도 일부를 함께 촬영하는 카메라 에이전트 장치를 상기 인접한 카메라 에이전트 장치로 설정하는 것인 영상 기반 모니터링 시스템.
  7. 제 1 항에 있어서,
    상기 기계 학습 모델은 상기 키 프레임별로 이미지의 옵티컬 플로우 특징을 추출하는 CNN(Convolution Neural Netwokr) 모듈 및
    상기 CNN 모듈의 출력 결과를 상기 키 프레임의 시간 순서에 따라 각각 수신하여 처리하는 복수의 LSTM(Long short-term memory) 모듈을 포함하는 영상 기반 모니터링 시스템.
  8. 비정상 상황을 예측하는 영상 기반 모니터링 시스템을 이용한 영상 기반 모니터링 방법에 있어서,
    (a) 상기 영상 기반 모니터링 시스템에 포함된 제 1 카메라 에이전트 장치가 촬영된 영상에서 키 프레임들을 추출하는 단계,
    (b) 추출된 키 프레임에 대하여 객체 분석을 수행하고, 각 키 프레임에서 분석된 각 객체들을 각 객체 단위로 시간 순서에 따라 그룹핑한 각 객체의 시퀀스를 기계 학습 모델에 입력하여 각 객체의 행동을 결정하는 단계,
    (c) 상기 키 프레임들 중 동일 객체가 등장하는 키 프레임들을 시간 순서에 따라 그룹핑한 키 프레임의 시퀀스를 상기 기계 학습 모델에 입력하여 상기 각 객체의 행동이 이루어지는 문맥을 결정하는 단계,
    (d) 상기 각 객체의 행동과 상기 결정된 문맥 정보의 매칭 정도에 따라 비정상 상황이 발생할지 여부에 대한 예측 결과를 생성하는 단계 및
    (e) 상기 예측 결과에 따라 경고 메시지 출력 여부를 결정하는 단계를 포함하는 영상 기반 모니터링 방법.
  9. 제 8 항에 있어서,
    상기 제 1 카메라 에이전트 장치는 상기 객체에 대한 행동을 결정할 때, 각 행동별로 산출된 확률값에 기초하여 각 객체의 행동을 결정하고,
    상기 문맥을 결정할 때, 각 문맥별로 산출된 확률값에 기초하여 상기 객체의 행동이 이루어지는 문맥을 결정하고,
    상기 예측 결과가 발생할 확률값에 기초하여 상기 예측 결과를 결정하는 것인 영상 기반 모니터링 방법.
  10. 제 9 항에 있어서,
    상기 제 1 카메라 에이전트 장치는 상기 결정된 문맥의 확률값 및 상기 예측 결과에 대한 확률값을 인접한 카메라 에이전트 장치에 전달하는 단계를 더 포함하는 영상 기반 모니터링 방법.
  11. 제 9 항에 있어서,
    상기 (c) 단계는 하나 이상의 인접한 카메라 에이전트 장치에서 수신한 문맥의 확률값을 추가적으로 고려하여 최종 문맥을 결정하고,
    상기 (d) 단계는 상기 결정된 최종 문맥을 기초로 상기 예측 결과에 대한 확률값을 재산출하되,
    상기 제 1 카메라 에이전트 장치는 상기 카메라 모듈에 대하여 설정된 감시 영역의 적어도 일부를 함께 촬영하는 카메라 에이전트 장치를 상기 인접한 카메라 에이전트 장치로 설정하는 것인 영상 기반 모니터링 방법.
  12. 제 11 항에 있어서,
    상기 (c) 단계는 상기 제 1 카메라 에이전트 장치와 인접한 제 2 카메라 에이전트 장치가 산출한 문맥의 확률값 및 상기 제 1 카메라 에이전트 장치가 산출한 문맥의 확률값에 기초하여 문맥을 결정하되,
    상기 확률값이 가장 큰 문맥을 상기 최종 문맥으로 결정하는 영상 기반 모니터링 방법.
  13. 제 11 항에 있어서,
    상기 (c) 단계는 상기 제 1 카메라 에이전트 장치와 인접한 제 2 카메라 에이전트 장치가 산출한 문맥의 확률값 및 상기 제 1 카메라 에이전트 장치가 산출한 문맥의 확률값에 기초하여 문맥을 결정하되,
    상기 제 1 카메라 에이전트 장치가 각 문맥별로 산출한 확률값에 제 1 가중치를 곱하고, 상기 제 2 카메라 에이전트 장치가 각 문맥별로 산출한 확률값에 제 2 가중치를 곱한 후, 각 문맥별로 제 1 가중치가 적용된 확률값과 제 2 가중치가 적용된 확률값을 합산하여 확률값이 가장 큰 문맥을 상기 최종 문맥으로 결정하는 영상 기반 모니터링 방법.
  14. 제 8 항에 있어서,
    상기 제 1 카메라 에이전트 장치는 상기 경고 메시지의 출력 여부, 경고 메시지의 종류 및 해당 경고 메시지가 출력된 횟수에 대한 정보를 결정된 인접한 카메라 에이전트 장치에 전달하는 단계를 더 포함하되,
    상기 제 1 카메라 에이전트 장치는 상기 카메라 모듈에 대하여 설정된 감시 영역의 적어도 일부를 함께 촬영하는 카메라 에이전트 장치를 상기 인접한 카메라 에이전트 장치로 설정하는 것인 영상 기반 모니터링 방법.
  15. 제 8 항에 있어서,
    상기 기계 학습 모델은 상기 키 프레임별로 이미지의 옵티컬 플로우 특징을 추출하는 CNN(Convolution Neural Netwokr) 모듈 및
    상기 CNN 모듈의 출력 결과를 상기 키 프레임의 시간 순서에 따라 각각 수신하여 처리하는 복수의 LSTM(Long short-term memory) 모듈을 포함하는 영상 기반 모니터링 방법.
  16. 제 8 항 내지 제 15 항 중 어느 한 항에 기재된 영상 기반 모니터링 방법을 실행하는 매체에 저장된 컴퓨터 프로그램.
KR1020190018379A 2019-02-18 2019-02-18 영상 기반 비정상 상황 모니터링 방법 및 시스템 KR102172239B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190018379A KR102172239B1 (ko) 2019-02-18 2019-02-18 영상 기반 비정상 상황 모니터링 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190018379A KR102172239B1 (ko) 2019-02-18 2019-02-18 영상 기반 비정상 상황 모니터링 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200103194A true KR20200103194A (ko) 2020-09-02
KR102172239B1 KR102172239B1 (ko) 2020-10-30

Family

ID=72449994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190018379A KR102172239B1 (ko) 2019-02-18 2019-02-18 영상 기반 비정상 상황 모니터링 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102172239B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306799B1 (ko) * 2020-10-15 2021-11-05 주식회사 유니유니 비식별화 데이터를 이용하여 안심 화장실 내 몰래 카메라 설치행동을 감지하는 딥러닝 기반의 이상행동탐지 시스템
KR20220124419A (ko) * 2021-03-03 2022-09-14 한국생산기술연구원 다차원 센서부를 활용한 천정 시야각 광역맵 기반 비정상 상황 인식장치 및 방법
KR20230036249A (ko) * 2021-09-07 2023-03-14 세종대학교산학협력단 Lstm 기반의 이상 인식 방법 및 시스템
CN116880351A (zh) * 2023-09-06 2023-10-13 国网江苏省电力有限公司无锡供电分公司 一种用于变电站基建的安全围栏装置及其控制方法
CN117152692A (zh) * 2023-10-30 2023-12-01 中国市政工程西南设计研究总院有限公司 基于视频监控的交通目标检测方法及系统
KR102616921B1 (ko) * 2022-12-27 2023-12-27 주식회사 베스트디지탈 Ai를 기반으로 하는 위험 상황 예측 방법 및 그 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220121105A (ko) * 2021-02-24 2022-08-31 삼성전자주식회사 타겟 영역 내의 객체의 위치를 추적하는 방법 및 이를 수행하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180028198A (ko) * 2016-09-08 2018-03-16 연세대학교 산학협력단 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
KR101850286B1 (ko) * 2017-06-27 2018-04-19 한국기술교육대학교 산학협력단 딥 러닝 기반 cctv용 영상 인식 방법
KR101897923B1 (ko) * 2017-09-20 2018-10-31 한국전력공사 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체
KR101936837B1 (ko) 2018-08-29 2019-01-09 서정원 맵기반 지능형 영상통합 감시시스템 및 이를 이용한 감시 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180028198A (ko) * 2016-09-08 2018-03-16 연세대학교 산학협력단 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
KR101850286B1 (ko) * 2017-06-27 2018-04-19 한국기술교육대학교 산학협력단 딥 러닝 기반 cctv용 영상 인식 방법
KR101897923B1 (ko) * 2017-09-20 2018-10-31 한국전력공사 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체
KR101936837B1 (ko) 2018-08-29 2019-01-09 서정원 맵기반 지능형 영상통합 감시시스템 및 이를 이용한 감시 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306799B1 (ko) * 2020-10-15 2021-11-05 주식회사 유니유니 비식별화 데이터를 이용하여 안심 화장실 내 몰래 카메라 설치행동을 감지하는 딥러닝 기반의 이상행동탐지 시스템
WO2022119080A1 (ko) * 2020-10-15 2022-06-09 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동감지 시스템 및 방법
KR20220124419A (ko) * 2021-03-03 2022-09-14 한국생산기술연구원 다차원 센서부를 활용한 천정 시야각 광역맵 기반 비정상 상황 인식장치 및 방법
KR20230036249A (ko) * 2021-09-07 2023-03-14 세종대학교산학협력단 Lstm 기반의 이상 인식 방법 및 시스템
KR102616921B1 (ko) * 2022-12-27 2023-12-27 주식회사 베스트디지탈 Ai를 기반으로 하는 위험 상황 예측 방법 및 그 시스템
CN116880351A (zh) * 2023-09-06 2023-10-13 国网江苏省电力有限公司无锡供电分公司 一种用于变电站基建的安全围栏装置及其控制方法
CN116880351B (zh) * 2023-09-06 2023-12-05 国网江苏省电力有限公司无锡供电分公司 一种用于变电站基建的安全围栏装置及其控制方法
CN117152692A (zh) * 2023-10-30 2023-12-01 中国市政工程西南设计研究总院有限公司 基于视频监控的交通目标检测方法及系统
CN117152692B (zh) * 2023-10-30 2024-02-23 中国市政工程西南设计研究总院有限公司 基于视频监控的交通目标检测方法及系统

Also Published As

Publication number Publication date
KR102172239B1 (ko) 2020-10-30

Similar Documents

Publication Publication Date Title
KR102172239B1 (ko) 영상 기반 비정상 상황 모니터링 방법 및 시스템
KR101850286B1 (ko) 딥 러닝 기반 cctv용 영상 인식 방법
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
KR102197946B1 (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
CN109040709B (zh) 视频监控方法及装置、监控服务器及视频监控系统
JP5121258B2 (ja) 不審行動検知システム及び方法
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
CN113256924A (zh) 一种轨道列车的监控系统，监控方法及监控装置
KR102384299B1 (ko) 폭행 감지 기능을 구비한 cctv 촬영 장치 및 cctv 영상에 기초한 폭행 감지 방법
CN103986910A (zh) 一种基于智能分析摄像机的客流统计方法和系统
CN114359976B (zh) 一种基于人物识别的智能安防方法与装置
KR20210062256A (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
KR20160103459A (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
KR102511287B1 (ko) 영상 기반 자세 예측 및 행동 검출 방법 및 장치
US20220351515A1 (en) Method for perceiving event tagging-based situation and system for same
Madhavi et al. Traffic Congestion Detection from Surveillance Videos using Deep Learning
CN114218992A (zh) 异常对象的检测方法及相关装置
JP2012128877A (ja) 不審行動検知システム及び方法
US11727580B2 (en) Method and system for gathering information of an object moving in an area of interest
KR101842488B1 (ko) 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템
CN114764895A (zh) 异常行为检测装置和方法
KR100879622B1 (ko) 비디오 기반 가상 경로 통과 물체 감지 방법
Yadav et al. Video anomaly detection for pedestrian surveillance
CN113259630B (zh) 一种多摄像头行人轨迹聚合系统和方法
CN115100572A (zh) 一种校园异常行为的分析系统及方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant