KR20230004421A

KR20230004421A - 인공지능 기반의 이상행동 감지 시스템

Info

Publication number: KR20230004421A
Application number: KR1020220187740A
Authority: KR
Inventors: 이재철; 이민희; 이영출; 김성수; 이수봉
Original assignee: 주식회사 아디아랩
Priority date: 2020-10-29
Filing date: 2022-12-28
Publication date: 2023-01-06
Also published as: KR20220057213A

Abstract

본 발명은 인공지능 기반의 이상행동 감지 시스템에 관한 발명으로, 본 발명은 이상행동에 대한 복수의 영상을 촬영하는 영상 촬영 장치 및 영상 촬영 장치에서 촬영된 복수의 영상을 수신하고, 기존에 이상행동과 관련된 행위를 학습한 결과를 바탕으로 생성된 이상행동 판단 알고리즘을 생성하여 이상행동 판단 알고리즘을 바탕으로 이 상행동이 발생될 상황인 제1 상황과 상기 이상행동이 발생된 상황인 제2 상황을 단계적으로 판단한 후, 이상행동의 제1 상황이 발생된 것으로 판단되면 제1 알림 데이터를 생성하여 출력하고, 이상행동의 제2 상황이 발생된 것으로 판단되면 제2 알림 데이터를 생성하여 출력하는 모니터링 장치를 포함할 수 있다. 이에 따라, 본 발명은 딥러닝을 기반으로 한 이상행동 판단 알고리즘을 이용하여 이상행동이 발생될 상황인 제1 상황과 이상행동이 발생된 상황인 제2 상황을 구분하여 단계적으로 판단하고 알려줌으로써 관제 관리자 또는 감시자가 이상행동 발생의 상황에 따라 적절한 대응을 할 수 있고, 빠르게 대응할 수 있다.

Description

인공지능 기반의 이상행동 감지 시스템{SYSTEM FOR DETECTING ABNORMAL BEHAVIOR BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능 기반의 이상행동 감지 시스템에 관한 것으로, 보다 구체적으로는 CCTV에서 녹화한 녹화 영상을 분석하여 이상 행동을 감지하고 이를 모니터링 장치로 알려줄 수 있는 인공지능 기반의 이상행동 감지 시스템에 관한 것이다.

최근 어린이집 또는 학교에서 이루어지는 체벌 또는 폭행 등이 사회적인 문제로 대두되고 있다. 상기의 문제를 해결하기 위해 최근 공공기관을 중심으로 CCTV를 이용한 영상 감시 시스템의 상용화가 진행되고 있다.

기존 영상 감시 시스템은 단순하게 주변 상황 감시하는 형태에서 벗어나 최근 자동으로 사물이나 사람의 특징적인 객체를 인식/추적할 수 있는 네크워크 기반의 지능형 영상 감시 시스템으로 빠르게 발전하고 있다.

그러나, 적은 수의 감시자가 육안으로 수십 대의 카메라를 전체적으로 확인하는 것은 불가능한 현실이다. 이러한 부분을 보완하기 위하여 물체 및 인체감지 기능, 특정인 또는 특정집단의 지정 트래킹 기능 등의 컴퓨터에 의한 지능화된 감시 방안들이 도입되었다.

종래의 기술을 살펴보면, 대한민국 등록특허공보 제10-1526499호와 같이, 통신 인터페이스가 구비된 적어도 하나 이상의 비디오 카메라; 상기 비디오 카메라로부터 촬영되는 영상데이터를 저장 및 관리하며, 선택된 영상으로부터 조건 지정에 따른 대상 객체를 식별하고, 움직임 객체 추정 시 움직임 객체의 구동축 영역을 판단하도록 영상을 분석하는 영상관리서버; 상기 비디오 카메라의 영상 데이터와 상기 비디오 카메라가 설치된 영역에 존재하는 스마트 장치로부터 수십되는 수집 데이터를 취합하여 영상을 분석하는 지능형 영상분석서버; 및 상기 비디오 카메라와 관제센터 간의 데이터 통신을 중계하며 이더넷 케이블을 통해 상기 비디오 카메라로 전원을 공급하기 위한 PoE 지원 파워 확장 장치;를 포함하는 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템이 개시되었다.

그러나, 상기 종래문헌의 감시 시스템은 영상데이터에서 객체를 식별하고 분석함에 있어, 다수의 사람이 등장하는 영상에서도 폭력을 정밀하게 검출하기 위한 정확성이나, 움직임이 많지 않은 영상으로부터 검출을 가능하게 하는 범용성이 떨어진다.

한국등록특허 제10-2126498호 (등록일 2020. 06. 25.) 한국등록특허 제10-1484263호 (등록일 2015. 01. 16.)

본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 영상 촬영 장치에 의해 촬영된 영상과 딥 러닝(Deep Learning) 기반의 알고리즘을 이용하여 정확도 높은 이상 행동 발생 여부를 모니터링하고 알릴 수 있는 인공지능 기반의 이상행동 감지 시스템을 제공하는데 그 목적이 있다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따른 인공지능 기반의 이상행동 감지 시스템은 이상행동에 대한 복수의 영상을 촬영하는 영상 촬영 장치 및 영상 촬영 장치에서 촬영된 복수의 영상을 수신하고, 기존에 이상행동과 관련된 행위를 학습한 결과를 바탕으로 생성된 이상행동 판단 알고리즘을 생성하여 이상행동 판단 알고리즘을 바탕으로 이상행동이 발생될 상황인 제1 상황과 상기 이상행동이 발생된 상황인 제2 상황을 단계적으로 판단한 후, 이상행동의 제1 상황이 발생된 것으로 판단되면 제1 알림 데이터를 생성하여 출력하고, 이상행동의 제2 상황이 발생된 것으로 판단되면 제2 알림 데이터를 생성하여 출력하는 모니터링 장치를 포함할 수 있다. 이에 따라, 본 발명은 딥 러닝을 기반으로 한 이상행동 판단 알고리즘을 이용하여 이상행동이 발생될 상황인 제1 상황과 이상행동이 발생된 상황인 제2 상황을 구분하여 단계적으로 판단하고 알려줌으로써 정확도 높은 이상 행동 발생 여부를 모니터링하고 알릴 수 있으며, 관제 관리자 또는 감시자가 이상행동 발생의 상황에 따라 빠르고 적절한 대응이 이루어지도록 할 수 있다.

본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 방법은 기존의 이상행동으로 판단될 수 있는 영상을 바탕으로 상기 이상행동의 행위 패턴을 학습하는 단계, 감시자에 의해 상기 이상행동으로 판단될 수 있는 행위 및 상기 이상행동으로 판단될 수 없는 행위가 포함된 영상 데이터가 저장되었는지 판단하는 단계, 감시자에 의해 입력된 영상 데이터가 저장된 것으로 판단되면 상기 저장된 영상 데이터 및 상기 학습 결과를 바탕으로 이상행동 판단 알고리즘을 생성 및 갱신하는 단계, 영상 촬영 장치에 의해 촬영된 복수의 영상을 수신하는 단계, 이상행동 판단 알고리즘을 실행하는 단계, 복수의 영상을 YOLO 모델 및 스켈레톤 모델 중 적어도 하나의 모델을 이용하여 분석하는 단계, 이상행동의 제1 상황이 발생하였는지 판단하는 단계, 제1 상황이 발생한 것으로 판단되면 제1 알림 데이터를 생성하고 출력하는 단계, 이상행동의 제2 상황이 발생하였는지 판단하는 단계, 제2 상황이 발생한 것으로 판단되면 제2 알림 데이터를 생성하고 출력하는 단계 및 제1 상황 발생시점부터 상기 제2 상황 종료시점까지의 영상을 저장하는 단계를 포함할 수 있다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은 딥 러닝 기반의 이상행동 판단 알고리즘이 YOLO 모델 및 스켈레톤 모델 중 적어도 하나의 모델을 포함하여 이상행동 발생 여부를 판단하고 모니터링함으로써 보다 정확도 높은 이상 행동 발생 여부를 모니터링할 수 있다.

본 발명은 폭력 등의 이상 행동이 일어날 수 있는 상황인 제1 상황과 폭력 등의 이상 행동이 일어난 상황인 제2 상황을 구분하여 단계적으로 감지함으로써 이상 행동의 발생을 예방할 수도 있고, 이상행동 발생에 대해 적절하게 대응할 수 있다.

본 발명은 이상행동이 일어날 수 있는 상황인 제1 상황과 이상행동이 일어난 상황인 제2 상황을 구분하여 관제 관리자 또는 감시자에게 알림으로써 상황에 적절하게 대응하는 것은 물론 빠르게 이상행동에 대해 대응할 수 있다.

본 발명은 YOLO 모델 및 스켈레톤 모델에 의해 객체를 기밀화할 수 있어 개인의 사생활을 보호할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템의 영상 촬영 장치의 상세 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템의 모니터링 장치의 구성을 개략적으로 나타낸 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템의 위험 경보를 알리는 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 방법을 나타낸 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 아래에서 제시되는 실시예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

본 발명의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자장치(예: 서버)를 포함할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

일시예에 따르면, 본 발명에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 인공지능 기반의 이상행동 감지 시스템(1000)은 복수 개의 폐쇄회로 텔레비전(Closed Circuit Television: CCTV, '이하, CCTV라고 지칭함., 100-1, 100-2, ??, 100-N) 및 모니터링 장치(200)를 포함할 수 있다.

복수 개의 CCTV(100-1, 100-2, ??, 100-N)는 관제 대상을 카메라를 통해 실시간으로 촬영하고, 촬영된 영상을 나중에 볼 수 있도록 저장할 수 있다. 도 1에서는 복수 개의 CCTV(100-1, 100-2, ??, 100-N)가 관제 대상을 촬영하는 장치로 설명하였으나, 이에 한정되는 것은 아니고, 관제 대상을 촬영하고 저장할 수 있는 영상 촬영 장치(100), 예를 들어, 디지털 영상 저장 전송장비(Digital Video Recorder: DVR)일 수도 있다. 이와 같이, 복수개의 CCTV(100-1, 100-2, ??, 100-N)에 의해 실시간으로 촬영된 영상들은 모니터링 장치(200)로 전송된다.

모니터링 장치(200)는 복수 개의 CCTV(100-1, 100-2, ??, 100-N)에 의해 촬영된 영상을 수신하여 이상행동 판단 알고리즘을 실행하여 이상행동이 발생한 것으로 판단되면 감시자에게 알릴 수 있다. 이상행동 판단 알고리즘은 기존에 이상행동과 관련된 행위를 학습한 결과를 바탕으로 생성되고 갱신되는 알고리즘일 수 있다. 이때, 이상 행동이란, 싸움, 폭행, 따돌림, 괴롭힘, 쓰러짐 등의 행위를 포함한다.

모니터링 장치(200)는 복수 개의 CCTV(100-1, 100-2, ??, 100-N)에 의해 촬영된 영상을 분석하여 제1 상황으로 판단된 경우와 제2 상황으로 판단된 경우를 구분하여 다른 방법으로 감시자에게 알릴 수 있다. 여기서, 제1 상황은 이상행동이 일어날 수 있는 상황이 감지된 경우, 즉 이상행동 발생 전의 상황이 감지된 경우이고, 제2 상황은 이상행동이 일어난 상황이 감지된 경우이다. 모니터링 장치(200)는 감시자에게 제1 상황 또는 제2 상황이 감지된 경우 모니터링 장치(200)의 디스플레이 또는 음성 출력부를 통해 제1 상황인 경우와 제2 상황인 경우를 구분하여 서로 다른 색상으로 표시되도록 하여 알리거나 스피커 등을 통해 경고음을 발생하여 알릴 수 있다.

이상행동 판단 알고리즘은 YOLO(You Only Look Once) 모델 및 스켈레톤(Skeleton) 모델 중 적어도 하나를 포함할 수 있다. 여기서, YOLO 모델과 스켈레톤 모델은 복수 개의 CCTV(100-1, 100-2, ??, 100-N)에 의해 촬영된 영상을 분석하여 이상행동으로 미리 학습된 행동들 및 표정의 특징을 추출할 수 있도록 한다. 또한, YOLO 모델과 스켈레톤 모델은 개인을 특정할 수 있는 특정 정보를 제거하여 이상행동을 분석할 수 있다. 여기서, 특정 정보 제거란 영상 속 사람의 정보를 기밀화하는 것으로, 예를 들어, 영상 속 사람을 모자이크 처리하는 것을 의미한다. 이에 따라, 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템(1000)은 제1 상황 및 제2 상황 감지 시 YOLO 모델 및 스켈레톤 모델 중 적어도 하나의 모델을 포함하는 이상행동 판단 알고리즘을 이용하여 이상행동을 판단할 수 있어 개인 사생활 보호가 가능할 수 있다.

도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템의 영상 촬영 장치의 상세 구성을 개략적으로 나타낸 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템(1000)의 복수 개의 CCTV(100-1, 100-2, ??, 100-N)와 같은 영상 촬영 장치(100) 각각은 카메라(110), 영상 전송부(120), 영상 녹화부(130) 및 컨트롤러(140)을 포함할 수 있다.

카메라(110)는 사람의 이상 행동을 모니터링 할 필요성이 있는 공간을 촬영하여 복수의 영상들을 생성한다. 이때, 카메라(110)를 통해 생성된 영상들은 정지 영상 및 동영상일 수 있다.

영상 전송부(120)는 모니터링 장치(200)와의 통신을 위한 인터페이스 회로를 포함한다. 보다 구체적으로, 영상전송부(120)는 카메라(110)에 의해 생성된 복수의 영상들을 모니터링 장치(200)에 전송한다.

영상 녹화부(130)는 카메라(110)에 의해 촬영된 정지 영상 및 동영상을 녹화한다. 영상 녹화부(130)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 영상 녹화부(130)는 카메라(110)의 동작, 기능 등을 구현 및/또는 제공하기 위하여 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 함께 저장될 수도 있다.

컨트롤러(140)는 영상 촬영 장치(100)의 전반적인 동작을 제어한다. 보다 구체적으로, 컨트롤러(140)는 영상 촬영 장치(100)에서 촬영된 영상들이 실시간으로 영상 전송부(120)를 통해 모니터링 장치(200)에 전송되도록 하고, 영상 촬영 장치(100)에 의해 촬영된 영상들이 영상 녹화부(130)에 녹화 및 저장되도록 제어할 수 있다.

도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템의 모니터링 장치의 구성을 개략적으로 나타낸 도면이고, 도 4a 및 도 4b는 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템의 위험 경보를 알리는 예를 나타낸 도면이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템(1000)의 모니터링 장치(200)는 영상 수신부(210), 데이터베이스부(220), 영상 분석부(230), 영상 판단부(240), 알림데이터 출력부(250) 및 제어부(260)를 포함할 수 있다.

영상 수신부(210)는 영상 촬영 장치(100)와의 통신을 위한 인터페이스 회로를 포함한다. 예를 들어, 영상 수신부(210)는 영상 촬영 장치(100)에 의해 촬영한 복수의 영상들을 수신할 수 있다.

데이터베이스부(220)에는 영상 수신부(210)를 통해 수신된 복수의 영상, 이상 행동을 감지할 수 있는 알고리즘이 저장될 수 있다. 여기서, 이상 행동을 감지할 수 있는 알고리즘은 기존에 발생했던 이상행동이 발생 영상 및 데이터를 바탕으로 학습된 프로그램일 수 있다. 데이터베이스부(220)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 데이터베이스부(220)에는 모니터링 장치(200)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.

데이터베이스부(220)에는 영상 수신부(210)를 통해 수신된 복수의 영상들을 바탕으로 YOLO 모델 또는 스켈레톤 모델을 이용하여 영상을 분석한 후, 이상행동이 발생할 수 있는 상황인 제1 상황 및 이상행동이 발생된 상황인 제2 상황을 단계적으로 판단할 수 있는 이상행동 판단 알고리즘이 저장될 수 있다. 이상행동 판단 알고리즘은 제1 상황이 미리 설정된 시간동안 지속되는 경우 제2 상황이 발생한 것으로 판단할 수 있다. 이상행동 판단 알고리즘은 기존에 발생했던 이상행동 발생 전 영상 및 이상행동이 발생된 영상을 바탕으로 학습되어 생성된 알고리즘일 수 있다.

데이터베이스부(220)에 저장된 이상행동 판단 알고리즘은 이상행동을 검출할 수 있는 YOLO 모델 및 스켈레톤 모델 중 적어도 하나를 포함할 수 있다. 보다 구체적으로, YOLO 모델 및 스켈레톤 모델은 영상 수신부(210)를 통해 수신된 복수의 영상에서 객체를 검출할 수 있는 모델이다. 여기서, 객체란 영상 속 사람 또는 사람의 행위일 수 있다. 보다 구체적으로, YOLO 모델은 하나의 영상 안의 객체를 라벨링하고, 필요한 객체만 라벨링할 수 있어 불필요한 요소의 학습을 줄일 수 있다. 여기서, 라벨링은 영상 속 사람의 특징적인 행동 및 표정을 구분지어 이상 행동을 감지할 수 있는 기술이다. 스켈레톤 모델 또한 영상 속 사람의 형태 정보를 뼈대화하는 모델로 불필요한 요소의 학습을 줄일 수 있다. 이와 같이, 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템은 YOLO 모델 및 스켈레톤 모델 중 적어도 하나를 포함하는 이상행동 판단 알고리즘을 이용하여 영상 촬영 장치(100)에 의해 촬영된 영상 속 이상행동을 감지함으로써 보다 명확하고 정밀한 이상행동 감지가 이루어질 수 있다.

이상행동 판단 알고리즘은 이상행동이 발생할 수 있는 상황으로 미리 학습된 행위, 예를 들어, 싸울 준비를 하는 자세, 팔을 드는 행위, 팔을 뻗는 행위, 발로 차기 전 다리를 드는 행위, 도구를 들고 휘두르려는 행위 등의 싸움이 일어나기 전의 행동이나 사람의 몸이 기울어지거나 균형을 잃는 움직임 등의 쓰러짐이 일어나기 전의 행동 및 이상 행동이 발생된 상황, 예를 들어, 폭력이 발생된 행위로 학습된 행위가 저장된 데이터와 영상 수신부(210)에 의해 수신된 영상과 비교하여 이상행동의 발생 여부를 판단할 수 있도록 한다.

데이터베이스부(220)는 이상행동 판단 알고리즘에 의해 이상행동이 발생한 것으로 판단되는 경우, 이상행동 발생 시점부터 종료 시점까지 복수 개의 CCTV(100-1, 100-2, ??, 100-N) 중 이상행동을 촬영한 해당 CCTV의 영상을 저장할 수 있다. 즉, 이상행동의 제1 상황의 시작부터 이상행동의 제2 상황 종료까지의 영상을 저장할 수 있다.

데이터베이스부(220)는 이상행동의 제1 상황과 제2 상황으로 판단될 수 있는 미리 저장된 행위가 아니더라도 감시자의 판단에 의해 이상행동으로 간주될 수 있는 영상을 저장할 수 있다. 이렇게 저장된 영상은 업데이트 데이터로 간주되어 추후 이상행동 판단 알고리즘 갱신 시 상기 저장된 영상의 행위가 이상행동의 행위로 저장될 수 있다.

데이터베이스부(220)는 이상행동 판단 알고리즘에 의해 이상행동의 제1 상황과 제2 상황으로 판단된 영상이나, 감시자에 의해 이상행동이 아니라고 판단되는 경우, 예를 들어, 웃는 표정으로 팔짱을 끼고 이동하는 행위, 어깨동무를 한 채 이동하는 행위 등의 친밀감 표시의 행위 영상을 저장할 수 있다. 이렇게 저장된 영상 또한 업데이트 데이터로 간주되어 추후 이상행동 판단 알고리즘 갱신 시 상기 저장된 행위가 이상행동의 행위가 아닌 것으로 저장되어 보다 명확한 이상행동을 판단하도록 할 수 있다.

데이터베이스부(220)는 이상행동의 제1 상황이 발생한 경우 생성되는 제1 알림 데이터 및 이상행동의 제2 상황이 발생한 경우 생성되는 제2 알림 데이터를 저장할 수 있다.

영상 분석부(230)는 영상 수신부(210)에서 수신한 영상을 YOLO 모델 또는 스켈레톤 모델을 이용하여 영상을 분석할 수 있다. 보다 구체적으로, YOLO 모델을 포함하는 알고리즘인 경우 영상 수신부(210)에서 수신한 영상 속 사람을 여러 개로 라벨링할 수 있고, 스켈레톤 모델을 포함하는 알고리즘인 경우 영상 수신부(210)에서 수신한 영상 속 사람을 뼈대화할 수 있다.

영상 판단부(240)는 영상 분석부(230)에 의해 분석된 영상을 바탕으로 이상행동 판단 알고리즘을 이용하여 영상 속 이상행동의 발생 여부를 판단할 수 있다. 영상 판단부(240)는 이상행동이 발생할 수 있는 제1 상황과 이상행동이 발생된 제2 상황을 구분하여 판단할 수 있다.

이상행동이 발생할 수 있는 제1 상황은 미리 학습된 내용을 바탕으로 판단될 수 있다. 예를 들어, 영상 판단부(240)는 영상 속 사람의 행위가 싸울 준비를 하는 자세, 팔을 드는 행위, 팔을 뻗는 행위, 발로 차기 전 다리를 드는 행위, 도구를 들고 휘두르려는 행위 등의 싸움이 일어나기 전의 행동이나 사람의 몸이 기울어지거나 균형을 잃는 움직임 등의 쓰러짐이 일어나기 전의 행위 등이 포함된 경우 이상행동이 발생할 수 있는 제1 상황으로 판단할 수 있다.

이상행동이 발생된 제2 상황은 미리 학습된 내용을 바탕으로 판단할 수 있다. 예를 들어, 영상 판단부(240)는 물리적 접촉이 발생한 경우, 즉, 영상 속 사람이 도구나 팔 및 다리를 뻗거나 휘둘러 쓰러짐이 발생한 경우 등의 행위가 포함된 경우 이상행동이 발생된 제2 상황으로 판단할 수 있다.

영상 판단부(240)는 이상행동의 제1 상황이 발생한 후, 미리 설정된 시간동안 제1 상황이 지속되는 경우 제2 상황이 발생한 것으로 판단할 수 있다. 이에 따라, 영상 판단부(240)는 이상행동의 제2 상황이 발생하지 않더라도 이상행동의 제1 상황이 특정 시간동안 지속된 경우 이상행동의 제2 상황이 발생할 가능성이 크므로 제2 상황이 발생한 것으로 미리 판단하여 이를 감시자에게 알림으로써 폭행 등의 이상행동의 발생을 예방할 수 있다.

알림데이터 출력부(250)는 영상 판단부(240)에 의해 판단된 결과 영상 속 행위가 이상행동으로 판단된 경우 이를 감시자에게 알리기 위한 알림 데이터를 생성하고 출력할 수 있다. 알림데이터 출력부(250)는 디스플레이부(251) 및 음성 출력부(252)를 포함할 수 있다. 이에, 알림데이터 출력부(250)는 시각적으로 또는 청각적으로 감시자에게 이상행동의 감지 또는 발생 여부를 알릴 수 있다.

알림데이터 출력부(250)는 영상 판단부(240)에 의한 영상 판단 결과 이상행동이 발생할 수 있는 경우의 제1 상황으로 판단된 경우와 이상행동이 발생된 경우의 제2 상황으로 판단된 경우 서로 다른 방법으로 감시자에게 알릴 수 있다. 예를 들어, 도 4a 및 도 4b와 같이, 복수 개의 CCTV(100-1, 100-2, ??, 100-N)가 디스플레이부(251)를 통해 감시자에게 표시된다면, 이상행동이 일어날 상황인 제1 상황으로 판단되면 도 4a와 같이 표시될 수 있고, 이상행동이 일어난 상황인 제2 상황으로 판단되면 도 4b와 같이 표시될 수 있다. 즉, 알림데이터 출력부(250)는 디스플레이부(251)를 통해 제1 상황과 제2 상황인 경우 서로 다른 색으로 표시되어 감시자에게 알릴 수 있다. 또한, 알림데이터 출력부(250)는 제1 상황과 제2 상황으로 판단된 경우 음성 출력부(252)를 통해 서로 다른 경고음으로 감시자에게 알릴 수 있다. 이에 따라, 본 발명의 일실시예에 따른 인공지능 기반의 이상행동 감지 시스템(1000)은 이상행동이 일어날 수 있는 상황인 제1 상황으로 판단된 경우와 이상행동이 일어난 상황인 제2 상황으로 판단된 경우에 시각적 및/또는 청각적으로 다르게 감시자에게 알림으로써 감시자의 인지 편의성을 향상시킬 수 있다.

제어부(260)는 모니터링 장치(200)의 전반적인 동작을 제어할 수 있다. 제어부(260)는 영상 촬영 장치(100)로부터 수신된 복수의 영상들을 수신하여 수신한 복수의 영상 전부를 딥 러닝 기반의 알고리즘인 이상행동 판단 알고리즘을 생성하고 갱신할 수 있다. 이러한 제어부(260)는 알고리즘 동작 제어부(261), 영상 저장 제어부(262) 및 이상행동 발생 알림 데이터 생성 제어부(263)를 포함할 수 있다.

알고리즘 동작 제어부(261)는 영상 수신부(210)에 의해 영상 촬영 장치(100)로부터 전송된 영상이 수신되면 데이터베이스부(220)에 저장된 이상행동 판단 알고리즘이 실행되도록 제어할 수 있다.

영상 저장 제어부(262)는 이상행동의 제1 상황과 제2 상황은 단계적으로 이루어지게 되는데, 제1 상황이 발생한 시점부터 해당 CCTV의 영상이 자동적으로 데이터베이스부(220)에 저장되도록 제어할 수 있다. 또한, 이상행동으로 판단될 수 있는 미리 학습된 행위 외에 감시자의 판단에 의해 감시자로부터 이상행동에 포함되는 행위 또는 이상행동으로 미리 학습되었으나 감시자의 판단에 의해 이상행동에 포함되지 않는 행위로 판단된 실시간 영상을 자동적으로 저장할 수 있다. 이렇게 감시자에 의해 이상행동에 포함되는 행위 또는 이상행동으로 미리 학습되었으나 감시자에 의해 이상행동에 포함되지 않는 행위로 판단된 영상은 추후 이상행동 판단 알고리즘 갱신 시 업데이트될 수 있는 업데이트 데이터로 저장될 수 있다.

이상행동 발생 알림 데이터 생성 제어부(263)은 영상 판단부(240)의 판단 결과 영상의 행위가 이상행동의 제1 상황으로 판단되면 제1 알림 데이터를 생성하고, 제2 상황이 발생된 것으로 판단되면 제2 알림 데이터를 생성하여 감시자에게 알릴 수 있다. 여기서, 제1 알림 데이터 및 제2 알림 데이터란 디스플레이부(251)에 의해 시각적으로 표시되는 표시 데이터 및 음성출력부(252)에 의해 청각적으로 알릴 수 있는 경보음 데이터일 수 있다. 여기서, 제1 알림 데이터와 제2 알림 데이터는 서로 다른 데이터일 수 있다. 즉, 이상행동 발생 알림 데이터 생성제어부(263)는 이상행동이 발생할 수 있는 상황인 제1 상황인지 또는 이상행동이 발생된 상황인 제2 상황인지에 따라 서로 다른 색 또는 메시지로 외부에 표시되도록 제어할 수 있고, 서로 다른 경보음이 발생되도록 제어할 수 있다.

이와 같이, 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템(1000)은 모니터링 장치(200)에서 딥 러닝 기반의 이상행동 판단 알고리즘을 이용하여 폭행, 싸움, 괴롭힘 등의 행위를 포함하는 이상행동 발생하기 전의 상황인 제1 상황과 이상행동이 발생된 상황인 제2 상황을 각각 판단하고 이를 모니터링 장치(200)를 관제하는 관제 담당자 또는 감시자에게 알림으로써 이상행동에 대한 대응이 적절하게 이루어질 수 있다. 보다 구체적으로, 이상행동의 제1 상황에 감시자가 대처하는 경우 이상행동 발생 전이므로 이상행동 발생을 예방할 수 있고, 이상행동의 제2 상황에 감시자가 대처하는 경우 자동적으로 영상이 저장되어 있으므로 객관적으로 사건이 해결되도록 할 수 있다.

도 5는 본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 방법을 나타낸 흐름도이다. 도 5의 동작들은 모니터링 장치(200)에 의해 수행될 수 있다.

도 5를 참조하면, 모니터링 장치(200)는, 먼저, 이상행동 발생 영상을 바탕으로 이상행동 발생 전 행위 및 이상행동 발생 후 행위 패턴을 학습할 수 있다(S501). 예를 들어, 모니터링 장치(200)는 이상행동 발생 전, 즉 이상행동이 일어날 상황인 제1 상황은 팔을 드는 행위, 쓰러지는 행위, 다리를 드는 행위, 도구를 드는 행위 등을 통해 학습할 수 있고, 제2 상황은 물리적 접촉이 있는 행위 등을 통해 학습할 수 있다.

이후, 학습된 패턴이 아닌 감시자의 자의적 판단에 의해 이상행동을 판단될 수 있는 데이터 또는 이상행동으로 학습되었으나 이상행동이 아닌 것으로 판단될 수 있는 데이터가 입력된 것이 있는지 여부를 판단한다(S502).

이후, 판단 결과, 감시자에 의해 입력된 데이터가 있는 것으로 판단되면, 모니터링 장치(200)는 학습 결과 및 감시자에 의해 입력된 데이터를 바탕으로 이상행동 판단 알고리즘을 생성 및 갱신할 수 있다(S503). 한편, 판단결과, 감시자에 의해 입력된 데이터가 없는 것으로 판단되면, 학습 결과만을 바탕으로 이상행동 판단 알고리즘을 생성할 수 있다(S504). 이렇게 생성되고 갱신되는 이상행동 판단 알고리즘은 데이터베이스부(220)에 저장되도록 제어할 수 있다.

이후, 모니터링 장치(200)는 복수 개의 CCTV(100-1, 100-2, ??, 100-N)에 의해 촬영된 복수의 영상을 수신할 수 있다(S505).

이후, 모니터링 장치(200)는 이상행동 판단 알고리즘을 실행하여(S506) 수신한 복수의 영상을 YOLO 모델 또는 스켈레톤 모델을 이용하여 분석한 후(S507), 이상행동 판단 알고리즘을 실행시켜 이상행동이 일어날 상황인 제1 상황의 발생 여부를 판단한다(S508).

판단 결과, 이상행동이 일어날 상황인 제1 상황으로 판단된 경우 제1 알림 데이터를 생성하여 디스플레이부(251) 및 음성출력부(252)에 의해 출력한다(S509). 한편, 판단 결과, 이상행동이 일어날 상황인 제1 상황으로 판단되지 않으면 감시자에 의해 이상행동으로 판단되어 입력된 데이터가 있는지 여부를 판단한다(S502).

이후, 모니터링 장치(200)는 이상행동 판단 알고리즘을 통해 이상행동이 일어날 상황인 제1 상황 발생여부 판단 후 이상행동의 제2 상황 발생 여부를 판단한다(S510).

판단 결과, 이상행동이 일어난 상황인 제2 상황으로 판단된 경우 제2 알림 데이터를 생성하여 디스플레이부(251) 및 음성출력부(252)에 의해 출력한다(S511). 한편, 판단 결과, 이상행동이 일어난 상황인 제2 상황으로 판단되지 않으면 미리 설정된 시간동안 이상행동의 제1 상황이 지속되었는지 판단한 후(S512), 미리 설정된 시간동안 이상행동의 제1 상황이 지속된 것으로 판단되면 이상행동의 제2 상황이 발생한 것으로 판단하여 제2 알림 데이터를 생성하여 디스플레이부(251) 및 음성출력부(252)에 의해 출력한다(S511). 또한, 판단결과, 미리 설정된 시간동안 이상행동의 제1 상황이 지속되지 않은 것으로 판단되면 감시자에 의해 이상행동으로 판단되어 입력된 데이터가 있는지 여부를 판단한다(S502). 이때, 제2 알림 데이터는 제1 알림 데이터와 다르게 표시될 수 있는 표시 데이터 및 다른 경보음을 갖는 경보음 데이터를 포함할 수 있다.

이후, 모니터링 장치(200)는 이상행동의 발생이 판단된 시점, 즉 이상행동의 제1 상황부터 제2 상황의 종료까지의 영상을 자동적으로 저장하면(S513) 하나의 영상에 대한 이상행동 발생 여부에 대한 감지 및 판단 과정이 종료된다.

본 발명의 다양한 실시예들에 따른 인공지능 기반의 이상행동 감지 시스템은 다음과 같이 설명될 수 있다.

본 발명의 일 실시예에 따른 인공지능 기반의 이상행동 감지 시스템은 이상행동에 대한 복수의 영상을 촬영하는 영상 촬영 장치 및 영상 촬영 장치에서 촬영된 복수의 영상을 수신하고, 기존에 이상행동과 관련된 행위를 학습한 결과를 바탕으로 생성된 이상행동 판단 알고리즘을 생성하여 이상행동 판단 알고리즘을 바탕으로 이상행동의 발생될 상황인 제1 상황과 이상행동이 발생된 상황인 제2 상황을 단계적으로 판단한 후, 이상행동의 제1 상황이 발생된 것으로 판단되면 제1 알림 데이터를 생성하여 출력하고, 이상행동의 제2 상황이 발생된 것으로 판단되면 제2 알림 데이터를 생성하여 출력하는 모니터링 장치를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 이상행동 판단 알고리즘은 YOLO 모델 및 스켈레톤 모델 중 적어도 하나의 모델을 포함할 수 있다.

본 발명의 다른 특징에 따르면, 모니터링 장치는 영상 촬영 장치에 의해 촬영한 복수의 영상들을 수신하는 영상 수신부, 이상행동 판단 알고리즘을 저장하고, 이상행동의 제1 상황 및 제2 상황이 발생한 것으로 판단되면 이상행동의 제1 상황 발생 시점부터 제2 상황의 종료 시점까지의 영상을 저장하는 데이터베이스부, 영상 수신부를 통해 수신된 영상을 YOLO 모델 및 스켈레톤 모델 중 적어도 하나의 모델을 이용하여 분석하는 영상 분석부, 영상 수신부를 통해 수신된 영상을 이상행동 판단 알고리즘을 바탕으로 이상행동의 제1 상황과 제2 상황의 발생 여부를 단계적으로 판단하는 영상 판단부, 영상 판단부의 판단 결과 이상행동의 제1 상황이 발생된 경우의 제1 알림 데이터와 이상행동의 제2 상황이 발생된 경우의 제2 알림 데이터를 출력하는 알림데이터 출력부 및 모니터링 장치의 전반적인 동작을 제어하는 제어부를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 제어부는 영상 수신부에 의해 영상이 수신되면 이상행동 판단 알고리즘이 실행되도록 제어하는 알고리즘 동작 제어부, 이상행동 판단 알고리즘, 이상행동의 제1 상황이 발생한 시점부터 제2 상황의 종료 시점까지의 영상 및 감시자의 판단에 의해 상기 영상 수신부에 수신된 영상 중 이상행동에 포함될 수 있는 영상이 저장되도록 제어하는 영상 저장 제어부 및 영상 판단부의 판단 결과 영상 수신부에 수신된 영상이 이상행동의 제1 상황으로 판단되면 제1 알림 데이터를 생성하고, 이상행동의 제2 상황으로 판단되면 제2 알림 데이터를 생성하는 이상행동 발생 알림 데이터 생성 제어부를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 제1 알림 데이터와 제2 알림 데이터는 서로 다른 표시 데이터 및 경보음 데이터를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 모니터링 장치는 이상행동의 제1 상황이 미리 설정된 시간동안 지속되는 경우 이상행동의 제2 상황이 발생한 것으로 판단하여 상기 제2 알림 데이터를 생성하여 출력할 수 있다.

본 발명의 다른 특징에 따르면, 이상행동의 제2 상황이 발생하였는지 판단하는 단계 이후 미리 설정된 시간동안 상기 이상행동의 제1 상황이 지속되었는지 판단하는 단계를 더 포함할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 제한하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 제한되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 제한적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

1000: 인공지능 기반의 이상행동 감지 시스템
100: 영상 촬영 장치
110: 카메라
120: 영상 전송부
130: 영상 녹화부
140: 컨트롤러
200: 모니터링 장치
210: 영상 수신부
220: 데이터베이스부
230: 영상 분석부
240: 영상 판단부
250: 알림데이터 출력부
251: 디스플레이부
252: 음성출력부
260: 제어부
261: 알고리즘 동작 제어부
262: 영상 저장 제어부
263: 이상행동 발생 알림 데이터 생성 제어부

Claims

이상행동에 대한 복수의 영상을 촬영하는 영상 촬영 장치; 및
상기 영상 촬영 장치에서 촬영된 복수의 영상을 수신하고, 기존에 이상행동과 관련된 행위를 학습한 결과를 바탕으로 생성된 이상행동 판단 알고리즘을 생성하여 상기 이상행동 판단 알고리즘을 바탕으로 이상행동이 발생될 상황인 제1 상황과 상기 이상행동이 발생된 상황인 제2 상황을 단계적으로 판단한 후, 상기 이상행동의 제1 상황이 발생된 것으로 판단되면 제1 알림 데이터를 생성하여 출력하고, 상기 이상행동의 제2 상황이 발생된 것으로 판단되면 제2 알림 데이터를 생성하여 출력하는 모니터링 장치;를 포함하고,
상기 모니터링 장치는,
상기 수신된 영상이 싸울 준비를 하는 자세, 팔을 드는 행위, 팔을 뻗는 행위, 발로 차기 전 다리를 드는 행위, 도구를 들고 휘두르려는 행위, 쓰러지는 행위 중 적어도 하나의 행위일 경우 상기 이상행동의 제1 상황으로 판단하고,
상기 수신된 영상이 물리적 접촉의 발생 또는 도구, 팔 및 다리 중 적어도 하나를 휘둘러 쓰러짐이 발생하는 행위일 경우 상기 이상행동의 제2 상황으로 판단하며,
상기 수신된 영상이 미리 학습되었으나 상기 모니터링 장치를 감시하는 감시자에 의해 이상행동에 포함되지 않는 행위로 판단되거나 상기 수신된 영상이 미리 학습되지 않은 영상이지만 상기 감시자에 의해 이상행동에 포함되는 것으로 판단된 경우 이상행동 판단 알고리즘 갱신 시 업데이트 되는 것을 포함하는 인공지능 기반의 이상행동 감지 시스템.
제1항에 있어서,
상기 이상행동 판단 알고리즘은 YOLO 모델 및 스켈레톤 모델 중 적어도 하나의 모델을 포함하는 인공지능 기반의 이상행동 감지 시스템.
제2항에 있어서,
상기 이상행동 판단 알고리즘은 상기 YOLO 모델을 이용하여 하나의 영상 안의 객체를 라벨링하고, 라벨링된 영상 속 객체의 특징적인 행동 및 표정을 구분지어 이상행동 발생 여부를 판단하는 인공지능 기반의 이상행동 감지 시스템.
제3항에 있어서, 상기 모니터링 장치는,
상기 영상 촬영 장치에 의해 촬영한 복수의 영상들을 수신하는 영상 수신부;
상기 이상행동 판단 알고리즘을 저장하고, 상기 이상행동의 제1 상황 및 제2 상황이 발생한 것으로 판단되면 상기 이상행동의 제1 상황 발생 시점부터 상기 제2 상황의 종료 시점까지의 영상을 저장하는 데이터베이스부;
상기 영상 수신부를 통해 수신된 영상을 상기 YOLO 모델 및 상기 스켈레톤 모델 중 적어도 하나의 모델을 이용하여 분석하는 영상 분석부;
상기 영상 수신부를 통해 수신된 영상을 상기 이상행동 판단 알고리즘을 바탕으로 이상행동의 상기 제1 상황과 상기 제2 상황의 발생 여부를 단계적으로 판단하는 영상 판단부;
상기 영상 판단부의 판단 결과 상기 이상행동의 제1 상황이 발생된 경우의 상기 제1 알림 데이터와 상기 이상행동의 제2 상황이 발생된 경우의 상기 제2 알림 데이터를 출력하는 알림데이터 출력부; 및
상기 모니터링 장치의 전반적인 동작을 제어하는 제어부;를 포함하는 인공지능 기반의 이상행동 감지 시스템.
제4항에 있어서, 상기 제어부는,
상기 영상 수신부에 의해 영상이 수신되면 상기 이상행동 판단 알고리즘이 실행되도록 제어하는 알고리즘 동작 제어부;
상기 이상행동 판단 알고리즘, 상기 이상행동의 제1 상황이 발생한 시점부터 상기 제2 상황의 종료 시점까지의 영상, 상기 감시자의 판단에 의해 상기 영상 수신부에 수신된 영상 중 이상행동에 포함될 수 있는 영상이 저장되도록 제어하는 영상 저장 제어부; 및
상기 영상 판단부의 판단 결과 상기 영상 수신부에 수신된 영상이 상기 이상행동의 제1 상황으로 판단되면 상기 제1 알림 데이터를 생성하고, 상기 이상행동의 제2 상황으로 판단되면 상기 제2 알림 데이터를 생성하는 이상행동 발생 알림 데이터 생성 제어부;를 포함하는 인공지능 기반의 이상행동 감지 시스템.
제5항에 있어서,
상기 제1 알림 데이터와 상기 제2 알림 데이터는 서로 다른 표시 데이터 및 경보음 데이터를 포함하는 인공지능 기반의 이상행동 감지 시스템.
제1항에 있어서,
상기 모니터링 장치는 상기 이상행동의 제1 상황이 미리 설정된 시간동안 지속되는 경우 상기 이상행동의 제2 상황이 발생한 것으로 판단하여 상기 제2 알림 데이터를 생성하여 출력하는 인공지능 기반의 이상행동 감지 시스템.
기존의 이상행동으로 판단될 수 있는 영상을 바탕으로 상기 이상행동의 행위 패턴을 학습하는 단계;
감시자에 의해 상기 이상행동으로 판단될 수 있는 행위 및 상기 이상행동으로 판단될 수 없는 행위가 포함된 영상 데이터가 저장되었는지 판단하는 단계;
상기 감시자에 의해 입력된 영상 데이터가 저장된 것으로 판단되면 상기 저장된 영상 데이터 및 상기 학습 결과를 바탕으로 이상행동 판단 알고리즘을 생성 및 갱신하는 단계;
영상 촬영 장치에 의해 촬영된 복수의 영상을 수신하는 단계;
상기 이상행동 판단 알고리즘을 실행하는 단계;
상기 복수의 영상을 YOLO 모델 및 스켈레톤 모델 중 적어도 하나의 모델을 이용하여 분석하는 단계;
상기 이상행동의 제1 상황이 발생하였는지 판단하는 단계;
상기 제1 상황이 발생한 것으로 판단되면 제1 알림 데이터를 생성하고 출력하는 단계;
상기 이상행동의 제2 상황이 발생하였는지 판단하는 단계;
상기 제2 상황이 발생한 것으로 판단되면 제2 알림 데이터를 생성하고 출력하는 단계; 및
상기 제1 상황 발생시점부터 상기 제2 상황 종료시점까지의 영상을 저장하는 단계;를 포함하고,
상기 이상행동의 제1 상황이 발생하였는지 판단하는 단계는,
상기 수신된 영상이 싸울 준비를 하는 자세, 팔을 드는 행위, 팔을 뻗는 행위, 발로 차기 전 다리를 드는 행위, 도구를 들고 휘두르려는 행위, 쓰러지는 행위 중 적어도 하나의 행위일 경우 상기 이상행동의 제1 상황으로 판단하고,
상기 이상행동의 제2 상황이 발생하였는지 판단하는 단계는,
상기 수신된 영상이 물리적 접촉의 발생 또는 도구, 팔 및 다리 중 적어도 하나를 휘둘러 쓰러짐이 발생하는 행위일 경우 상기 이상행동의 제2 상황으로 판단하며,
상기 수신된 영상이 미리 학습되었으나 상기 모니터링 장치를 감시하는 감시자에 의해 이상행동에 포함되지 않는 행위로 판단되거나 상기 수신된 영상이 미리 학습되지 않은 영상이지만 상기 감시자에 의해 이상행동에 포함되는 것으로 판단된 경우 이상행동 판단 알고리즘 갱신 시 업데이트 되는 것을 포함하는 인공지능 기반의 이상행동 감지 방법.
제8항에 있어서,
상기 이상행동의 제1 상황이 발생하였는지 판단하는 단계는 상기 YOLO 모델을 이용하여 하나의 영상 안의 객체를 라벨링하고, 라벨링된 영상 속 객체의 특징적인 행동 및 표정을 구분지어 이상행동 발생 여부를 판단하는 인공지능 기반의 이상행동 감지 방법.
제8항에 있어서,
상기 이상행동의 제2 상황이 발생하였는지 판단하는 단계 이후,
미리 설정된 시간동안 상기 이상행동의 제1 상황이 지속되었는지 판단하는 단계를 더 포함하는 인공지능 기반의 이상행동 감지 방법.