KR20220147185A - 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램 - Google Patents

이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220147185A
KR20220147185A KR1020210053810A KR20210053810A KR20220147185A KR 20220147185 A KR20220147185 A KR 20220147185A KR 1020210053810 A KR1020210053810 A KR 1020210053810A KR 20210053810 A KR20210053810 A KR 20210053810A KR 20220147185 A KR20220147185 A KR 20220147185A
Authority
KR
South Korea
Prior art keywords
human body
abnormal behavior
target human
skeleton information
target
Prior art date
Application number
KR1020210053810A
Other languages
English (en)
Other versions
KR102597266B1 (ko
Inventor
김진평
장규진
배현재
Original Assignee
재단법인차세대융합기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인차세대융합기술연구원 filed Critical 재단법인차세대융합기술연구원
Priority to KR1020210053810A priority Critical patent/KR102597266B1/ko
Publication of KR20220147185A publication Critical patent/KR20220147185A/ko
Application granted granted Critical
Publication of KR102597266B1 publication Critical patent/KR102597266B1/ko

Links

Images

Classifications

    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램에 관한 것으로서, 대상 공간의 영상을 획득하는 영상 획득 모듈, 및 영상 획득 모듈에 의해 획득된 영상 내에서 분석 대상이 되는 대상 인체를 검출하고, 미리 학습된 특징점 추출 모델을 이용하여 검출된 대상 인체 내의 복수의 특징점을 추출하며, 추출된 복수의 특징점을 링크시켜 대상 인체의 스켈레톤 정보를 생성하고, 생성되는 스켈레톤 정보의 시계열적 변화를 분석하여 대상 인체의 이상 행동을 예측하는 이상 행동 예측 모듈을 포함하는 것을 특징으로 한다.

Description

이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램{SYSTEM AMD METHOD FOR PREDICTING ABNORMAL BEHAVIOR, COMPUTER PROGRAM}
본 발명은 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 재난 안전 분야에서 사람의 위험 행동을 모니터링하기 위한, 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램에 관한 것이다.
CCTV 시스템은 대상 공간 내지 지역에서 발생하는 다양한 재난 상황을 감시하기 위한 시스템으로서, 대상 공간을 촬상하는 카메라와, 카메라를 통해 촬상된 영상을 관제 센터의 감시자가 확인하도록 출력하는 출력 장치(예: 모니터) 등을 포함하여 구성된다. 이러한 CCTV 시스템은 대상 공간에 위치한 사람의 이상 행동(예: 의료 사고의 발생 또는 범죄)을 모니터링하기 위한 용도로 널리 적용되고 있다.
종래의 CCTV 시스템에 의한 감시 작업은 감시자의 육안 확인에 전적으로 의존하고 있는 상황이며, 이에 따라 감시 대상의 증가로 인해 관제 센터에는 수백대의 출력 장치를 통해 출력되는 영상을 1인의 감시자가 커버해야 하는 한계에 도달한 실정이다. 감시자의 감시 부하가 증가함에 따라 그 감시 및 관리 효율성이 미흡하게 되어 각종 인명 사고 내지 범죄가 정확하게 모니터링되지 못하는 문제점이 존재한다.
따라서, CCTV 시스템에 있어서 감시 작업에 대한 감시자의 육안 확인 의존성을 최소화하고 보다 정확하게 재난 상황을 모니터링할 수 있는 시스템이 요청된다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2019-0054593호(2019.05.22. 공개)에 개시되어 있다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 CCTV 시스템에 있어서 감시 작업에 대한 감시자의 육안 확인 의존성을 제거하고 AI(Artificial Intelligence) 기법을 통해 대상 공간에서 인체의 이상 행동을 예측하는 방식을 적용함으로써, 감시자의 감시 부하를 저감시키고 감시 및 관리 효율성을 향상시키기 위한 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 일 측면에 따른 이상 행동 예측 시스템은 대상 공간의 영상을 획득하는 영상 획득 모듈, 및 상기 영상 획득 모듈에 의해 획득된 영상 내에서 분석 대상이 되는 대상 인체를 검출하고, 미리 학습된 특징점 추출 모델을 이용하여 상기 검출된 대상 인체 내의 복수의 특징점을 추출하며, 상기 추출된 복수의 특징점을 링크시켜 상기 대상 인체의 스켈레톤 정보를 생성하고, 상기 생성되는 스켈레톤 정보의 시계열적 변화를 분석하여 상기 대상 인체의 이상 행동을 예측하는 이상 행동 예측 모듈을 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 특징점 추출 모델은, 인체의 관절을 추출하도록 딥 러닝(Deep Learning)에 의해 미리 학습되어 있으며, 상기 이상 행동 예측 모듈은, 상기 특징점 추출 모델을 이용하여 상기 복수의 특징점으로서 상기 대상 인체의 복수의 관절을 추출하고, 상기 추출된 복수의 관절을 링크시켜 상기 대상 인체의 스켈레톤 정보를 생성하는 것을 특징으로 한다.
본 발명에 있어 상기 이상 행동 예측 모듈은, 상기 영상 획득 모듈에 의해 연속적으로 획득되는 제1 내지 제N 영상 프레임으로부터 상기 대상 인체의 제1 내지 제N 스켈레톤 정보를 생성하고, 상기 생성된 제1 내지 제N 스켈레톤 정보를 딥 러닝에 의해 미리 학습된 자세 분석 모델에 적용하여 상기 제1 내지 제N 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 상기 대상 인체의 이상 행동을 예측하는 것을 특징으로 한다.
본 발명에 있어 상기 이상 행동 예측 모듈은, 상기 자세 분석 모델을 통한 상기 제1 내지 제N 스켈레톤 정보의 시계열적 변화의 분석 결과로부터 도출되는 상기 대상 인체의 예측 자세를 미리 정의된 인체 행동 카테고리와 비교하는 방식으로 상기 대상 인체의 이상 행동을 예측하고, 상기 인체 행동 카테고리는 하나 이상의 정상 행동 카테고리 및 하나 이상의 위험 행동 카테고리로 구분되며, 상기 이상 행동 예측 모듈은, 상기 대상 인체의 예측 자세가 상기 위험 행동 카테고리에 포함되는 경우 상기 대상 인체의 이상 행동이 발생할 것으로 결정하는 것을 특징으로 한다.
본 발명에 있어 상기 이상 행동 예측 모듈은, 상기 자세 분석 모델을 통한 상기 제1 내지 제N 스켈레톤 정보의 시계열적 변화의 분석 결과로부터 도출되는 상기 대상 인체의 예측 자세가 상기 정상 행동 카테고리 및 상기 위험 행동 카테고리에 모두 포함되는 경우, 후속 분석 로직을 수행하여 상기 대상 인체의 이상 행동을 예측하되, 상기 후속 분석 로직은, 상기 영상 획득 모듈에 의해 획득된 차기 영상 프레임으로부터 상기 대상 인체의 차기 스켈레톤 정보를 생성하고, 상기 제1 내지 제N 스켈레톤 정보와 상기 차기 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 상기 대상 인체의 예측 자세를 도출하는 것으로 정의되는 것을 특징으로 한다.
본 발명에 있어 상기 이상 행동 예측 모듈은, 상기 대상 인체의 예측 자세가 상기 정상 행동 카테고리 및 상기 위험 행동 카테고리 중 어느 하나의 카테고리에 포함될 때까지 상기 후속 분석 로직을 연속적으로 수행하는 것을 특징으로 한다.
본 발명에 있어 상기 영상 획득 모듈 및 상기 이상 행동 예측 모듈은 상기 대상 공간에 설치되는 로컬 시스템으로 구현되고, 상기 이상 행동 예측 모듈은, 상기 대상 인체의 이상 행동을 예측한 결과를 상기 대상 공간과 원격지에 위치한 관제 서버로 전송하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 이상 행동 예측 방법은 대상 공간의 영상 내에서 분석 대상이 되는 대상 인체를 검출하는 단계, 미리 학습된 특징점 추출 모델을 이용하여 상기 검출된 대상 인체 내의 복수의 특징점을 추출하는 단계, 상기 추출된 복수의 특징점을 링크시켜 상기 대상 인체의 스켈레톤 정보를 생성하는 단계, 및 상기 생성되는 스켈레톤 정보의 시계열적 변화를 분석하여 상기 대상 인체의 이상 행동을 예측하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 컴퓨터 프로그램은 하드웨어와 결합되어, 대상 공간의 영상 내에서 분석 대상이 되는 대상 인체를 검출하는 단계, 미리 학습된 특징점 추출 모델을 이용하여 상기 검출된 대상 인체 내의 복수의 특징점을 추출하는 단계, 상기 추출된 복수의 특징점을 링크시켜 상기 대상 인체의 스켈레톤 정보를 생성하는 단계, 및 상기 생성되는 스켈레톤 정보의 시계열적 변화를 분석하여 상기 대상 인체의 이상 행동을 예측하는 단계를 실행시키기 위해 컴퓨터 판독 가능한 저장매체에 저장된 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 분석 대상이 되는 대상 인체의 특징점을 추출하여 스켈레톤 정보를 생성하고, 생성된 스켈레톤 정보의 시계열적 변화를 분석하여 대상 인체의 이상 행동을 예측하는 방식을 적용함으로써, 감시 작업에 대한 감시자의 육안 확인 의존성을 제거하여 감시 부하를 저감시킴과 동시에 감시 및 관리 효율성을 향상시키고 인체의 이상 행동을 보다 정확하게 모니터링할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이상 행동 예측 시스템을 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 이상 행동 예측 시스템에서 특징점 및 스켈레톤 정보를 보인 예시도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 이상 행동 예측 시스템에서 스켈레톤 정보의 시계열적 변화를 분석하는 과정을 보인 예시도이다.
도 5는 본 발명의 일 실시예에 따른 이상 행동 예측 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 이상 행동 예측 시스템을 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 이상 행동 예측 시스템에서 특징점 및 스켈레톤 정보를 보인 예시도이며, 도 3 및 도 4는 본 발명의 일 실시예에 따른 이상 행동 예측 시스템에서 스켈레톤 정보의 시계열적 변화를 분석하는 과정을 보인 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이상 행동 예측 시스템은 영상 획득 모듈(100), 이상 행동 예측 모듈(200) 및 관제 서버(300)를 포함할 수 있으며, 상기 각 구성으로 이루어지는 본 실시예의 이상 행동 예측 시스템은 앞서 언급한 CCTV 시스템으로 구현될 수 있다.
영상 획득 모듈(100)은 감시 대상이 되는 대상 공간 내에 설치되어 대상 공간의 영상을 획득할 수 있다. 대상 공간은 건물 내의 실내 공간 또는 외부의 실외 공간 등 본 실시예의 이상 행동 예측 시스템을 통해 감시하고자 하는 소정의 공간을 의미하며, 영상 획득 모듈(100)은 대상 공간 내의 소정 위치에 설치되어 대상 공간의 영상을 촬상하는 카메라로 구현될 수 있다.
이상 행동 예측 모듈(200)은 영상 획득 모듈(100)에 의해 획득된 영상 내에서 분석 대상이 되는 대상 인체를 검출하고, 미리 학습된 특징점 추출 모델을 이용하여 대상 인체 내의 복수의 특징점을 추출하며, 추출된 복수의 특징점을 링크시켜 대상 인체의 스켈레톤 정보를 생성하고, 생성되는 스켈레톤 정보의 시계열적 변화를 분석하여 대상 인체의 이상 행동을 예측하도록 동작할 수 있다.
즉, 앞서 언급한 것과 같이 종래 CCTV 시스템의 경우, 감시 작업이 감시자의 육안 확인에 전적으로 의존됨에 따라 감시자의 감시 부하가 증가하고 감시 및 관리 효율성이 미흡하게 되어 각종 인명 사고 내지 범죄가 정확하게 모니터링되지 못하는 문제점이 존재하며, 이를 위해 본 실시예에서는 이상 행동 예측 모듈(200)을 통해 대상 인체의 이상 행동을 예측하도록 하여 대상 공간에 존재하는 사람의 위험 상황을 인식하도록 함으로써, 감시 작업에 대한 감시자의 육안 확인 의존성을 제거하는 구성을 채용한다.
이상 행동 예측 모듈(200)은 영상 획득 모듈(100)과 유무선 통신이 가능한 컴퓨팅 디바이스 또는 프로세서로 구현될 수 있으며, 이에 따라 영상 획득 모듈(100) 및 이상 행동 예측 모듈(200)은 대상 공간에 설치되는 로컬 시스템으로 구현될 수 있다. 그리고, 이상 행동 예측 모듈(200)은 대상 인체의 이상 행동을 예측한 결과를 대상 공간과 원격지에 위치한 관제 서버(300)로 전송할 수 있다. 즉, 대상 공간에 로컬 시스템으로 구현되는 이상 행동 예측 모듈(200)을 통해 대상 인체의 이상 행동을 실시간으로 예측하여 대상 공간의 위험 상황을 보다 신속하고 정확하게 인식할 수 있으며, 그 예측 결과만을 관제 센터의 관제 서버(300)로 전송함으로써 관제 센터의 감시자의 감시 부하가 저감되는 범위 내에서 대상 공간의 상황이 정확하게 모니터링되도록 할 수 있다.
전술한 내용을 바탕으로, 이하에서는 이상 행동 예측 모듈(200)의 동작에 대하여 구체적으로 설명한다.
먼저, 이상 행동 예측 모듈(200)은 영상 획득 모듈(100)에 의해 획득된 영상 내에서 분석 대상이 되는 대상 인체를 검출한다. 즉, 이상 행동 예측 모듈(200)은 영상 획득 모듈(100)의 화각(FOV: Field Of View)에 해당하는 영상을 수신한 후, 수신된 영상에 HoG(Histogram of Oriented Gradient) 알고리즘과 같은 식별 알고리즘을 적용하여 영상 내에 위치한 사람(즉, 분석 대상이 되는 대상 인체)을 검출할 수 있다.
대상 인체가 검출되면, 이상 행동 예측 모듈(200)은 미리 학습된 특징점 추출 모델을 이용하여 대상 인체 내의 복수의 특징점을 추출하고, 추출된 복수의 특징점을 링크시켜 대상 인체의 스켈레톤 정보를 생성한다. 여기서, 특징점 추출 모델은 인체의 관절을 추출하도록 딥 러닝(Deep Learning)에 의해 미리 학습되어 이상 행동 예측 모듈(200)에 정의되어 있을 수 있으며, 이를테면 AI 컴퓨팅 모델로서 Jetson AGX Xavier가 적용될 수 있다. 이에 따라, 도 2에 도시된 것과 같이 이상 행동 예측 모듈(200)은 상기의 특징점 추출 모델을 이용하여 복수의 특징점으로서 대상 인체의 복수의 관절을 추출하고, 추출된 복수의 관절을 링크시켜 대상 인체의 스켈레톤 정보를 생성할 수 있다.
이후, 이상 행동 예측 모듈(200)은 전술한 과정을 통해 생성되는 스켈레톤 정보의 시계열적 변화를 자세 분석 모델을 통해 분석하여 대상 인체의 이상 행동을 예측한다. 상기한 자세 분석 모델은 시계열순으로 나열되는 복수의 스켈레톤 정보를 입력 데이터로 하고, 입력 데이터의 클래스로서 스켈레톤 정보에 해당하는 인체 행동 카테고리를 식별하도록 딥 러닝에 의해 미리 학습된 모델로서, 시계열 변화 분석을 위해 LSTM(Long Short-Term Memory) 모델로 정의되어 있을 수 있다.
대상 인체의 이상 행동을 예측하는 과정에 대하여 구체적으로 설명하면, 이상 행동 예측 모듈(200)은 영상 획득 모듈(100)에 의해 연속적으로 획득되는 제1 내지 제N 영상 프레임으로부터 대상 인체의 제1 내지 제N 스켈레톤 정보를 생성하고(N은 2 이상의 자연수), 생성된 제1 내지 제N 스켈레톤 정보를 자세 분석 모델에 적용하여 제1 내지 제N 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 대상 인체의 이상 행동을 예측할 수 있다. 즉, 이상 행동 예측 모듈(200)은 연속된 복수의 스켈레톤 정보(즉, 제1 내지 제N 스켈레톤 정보)의 시계열적 변화를 자세 분석 모델을 통해 분석하고, 그 분석 결과로부터 도출되는 대상 인체의 예측 자세를 미리 정의된 인체 행동 카테고리와 비교하는 방식으로 대상 인체의 이상 행동을 예측할 수 있다. 여기서, 인체 행동 카테고리는 하나 이상의 정상 행동 카테고리 및 하나 이상의 위험 행동 카테고리로 구분될 수 있다. 정상 행동 카테고리는 "걷기", "앉기", "운동" 등 인체의 위험 행동을 제외한 정상적인 행동 범주에 해당하는 카테고리로 정의되며, 위험 행동 카테고리는 "쓰러짐", "폭력 행위" 등 인체의 위험적인 행동 범주에 해당하는 카테고리로 정의된다. 이에 따라, 이상 행동 예측 모듈(200)은 대상 인체의 예측 자세가 위험 행동 카테고리에 포함되는 경우 대상 인체의 이상 행동이 발생할 것으로 결정할 수 있다.
도 3의 예시에서(N = 3), 이상 행동 예측 모듈(200)은 제1 내지 제3 스켈레톤 정보를 자세 분석 모듈에 적용하여 제1 내지 제3 스켈레톤 정보의 시계열적 변화를 분석하고, 그 분석 결과로부터 도출되는 대상 인체의 예측 자세를 "쓰러짐"으로 결정하며, 결정된 예측 자세는 위험 행동 카테고리에 포함되므로 대상 인체의 이상 행동이 발생할 것으로 결정할 수 있다.
한편, 이상 행동 예측 모듈(200)은 자세 분석 모델을 통한 제1 내지 제N 스켈레톤 정보의 시계열적 변화의 분석 결과로부터 도출되는 대상 인체의 예측 자세가 정상 행동 카테고리 및 위험 행동 카테고리에 모두 포함되는 경우, 대상 인체의 이상 행동을 정확하게 예측하기 위한 후속 분석 로직(후술)을 수행할 수 있다. 도 4를 참조하면(N = 3), 자세 분석 모델을 통한 제1 내지 제3 스켈레톤 정보의 시계열적 변화의 분석 결과로부터 도출되는 대상 인체의 예측 자세는 "운동" 및 "쓰러짐"에 해당할 수 있으며(이는 자세 분석 모델의 학습 정밀도에 의존한다), 이 경우는 예측 자세가 정상 행동 카테고리 및 위험 행동 카테고리에 모두 포함되는 경우에 해당하므로, 이상 행동 예측 모듈(200)은 대상 인체의 예측 자세를 정상 행동 카테고리 및 위험 행동 카테고리 중 어느 하나로 결정하기 위해 후속 분석 로직을 수행할 수 있다.
본 실시예에서 후속 분석 로직은 영상 획득 모듈(100)에 의해 획득된 차기 영상 프레임으로부터 대상 인체의 차기 스켈레톤 정보를 생성하고, 제1 내지 제N 스켈레톤 정보와 차기 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 대상 인체의 예측 자세를 도출하는 것으로 정의된다.
도 4의 예시에서, 제1 내지 제3 스켈레톤 정보만으로 대상 인체의 예측 자세를 확정할 수 없으므로, 이상 행동 예측 모듈(200)은 차기 영상 프레임(제4 영상 프레임)으로부터 차기 스켈레톤 정보(제4 스켈레톤 정보)를 생성하고, 제1 내지 제4 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 대상 인체의 예측 자세를 도출할 수 있다. 이에 따라, 대상 인체의 예측 자세는 정상 행동 카테고리 및 위험 행동 카테고리 중 어느 하나로 결정될 수 있다.
한편, 이상 행동 예측 모듈(200)은 대상 인체의 예측 자세가 정상 행동 카테고리 및 위험 행동 카테고리 중 어느 하나의 카테고리만에 포함될 때까지 후속 분석 로직을 연속적으로 수행할 수도 있다. 즉, 전술한 예시에서 제1 내지 제4 스켈레톤 정보의 시계열적 변화를 분석하였음에도 대상 인체의 예측 자세가 정상 행동 카테고리 및 위험 행동 카테고리에 모두 포함될 경우, 이상 행동 예측 모듈(200)은 제5 영상 프레임으로부터 제5 스켈레톤 정보를 생성하고 제1 내지 제5 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 대상 인체의 예측 자세를 도출할 수 있다. 이에 따라, 대상 인체의 예측 자세를 도출하기 위해 고려되는 스켈레톤 정보의 수가 자세 분석 모듈의 학습 정밀도에 능동적으로 결정되어 보다 효율적이고 정확하게 대상 인체의 자세가 예측될 수 있다.
도 5는 본 발명의 일 실시예에 따른 이상 행동 예측 방법을 설명하기 위한 흐름도로서, 도 5를 참조하여 본 실시예에 따른 이상 행동 예측 방법을 설명하며, 전술한 내용과 중복되는 설명을 배제하고 그 시계열적 구성을 중심으로 설명한다.
먼저, 이상 행동 예측 모듈(200)은 영상 획득 모듈(100)에 의해 획득된 대상 공간의 영상 내에서 분석 대상이 되는 대상 인체를 검출한다(S100).
이어서, 이상 행동 예측 모듈(200)은 미리 학습된 특징점 추출 모델을 이용하여 S100 단계에서 검출된 대상 인체 내의 복수의 특징점을 추출한다(S200). 특징점 추출 모델은 인체의 관절을 추출하도록 딥 러닝에 의해 미리 학습된 모델로서, 이에 따라 S200 단계에서 이상 행동 예측 모듈(200)은 특징점 추출 모델을 이용하여 복수의 특징점으로서 대상 인체의 복수의 관절을 추출한다.
이어서, 이상 행동 예측 모듈(200)은 S200 단계에서 추출된 복수의 특징점, 즉 복수의 관절을 링크시켜 대상 인체의 스켈레톤 정보를 생성한다(S300). S300 단계에서, 이상 행동 예측 모듈(200)은 영상 획득 모듈(100)에 의해 연속적으로 획득되는 제1 내지 제N 영상 프레임으로부터 대상 인체의 제1 내지 제N 스켈레톤 정보를 생성한다.
이어서, 이상 행동 예측 모듈(200)은 S300 단계에서 생성되는 스켈레톤 정보의 시계열적 변화를 분석하여 대상 인체의 이상 행동을 예측한다(S400). S400 단계에서, 이상 행동 예측 모듈(200)은 S300 단계에서 생성된 제1 내지 제N 스켈레톤 정보를 딥 러닝에 의해 미리 학습된 자세 분석 모델에 적용하여 제1 내지 제N 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 대상 인체의 이상 행동을 예측한다. 구체적으로, 이상 행동 예측 모듈(200)은 자세 분석 모델을 통한 제1 내지 제N 스켈레톤 정보의 시계열적 변화의 분석 결과로부터 도출되는 대상 인체의 예측 자세를 미리 정의된 인체 행동 카테고리와 비교하는 방식으로 대상 인체의 이상 행동을 예측하며, 대상 인체의 예측 자세가 위험 행동 카테고리에 포함되는 경우 대상 인체의 이상 행동이 발생할 것으로 결정한다.
한편, S400 단계에서 도출되는 대상 인체의 예측 자세가 상기 정상 행동 카테고리 및 상기 위험 행동 카테고리에 모두 포함되는 경우(S500), 이상 행동 예측 모듈(200)은 영상 획득 모듈(100)에 의해 획득되는 차기 영상 프레임으로부터 대상 인체의 차기 스켈레톤 정보를 생성하고, 제1 내지 제N 스켈레톤 정보와 차기 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 대상 인체의 예측 자세를 도출한다(S600). S600 단계는 대상 인체의 예측 자세가 정상 행동 카테고리 및 위험 행동 카테고리 중 어느 하나의 카테고리에 포함될 때까지 반복적으로 수행될 수 있으며, S600 단계에서 도출된 대상 인체의 예측 자세가 정상 행동 카테고리 및 위험 행동 카테고리 중 어느 하나에 포함되면(S700) 해당 카테고리에 따라 대상 인체의 자세를 예측한다(S800).
한편, 본 실시예에 따른 이상 행동 예측 방법은 하드웨어와 결합되어 전술한 S100 단계 내지 S800 단계를 실행시키기 위한 컴퓨터 프로그램으로 작성될 수 있으며, 컴퓨터로 판독 가능한 기록매체에 저장되어 상기 컴퓨터 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 판독 가능한 기록매체는 ROM, RAM, 하드 디스크, 플로피 디스크, 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 플래시 메모리(flash memory)와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 해당될 수 있다.
이와 같이 본 실시예는 분석 대상이 되는 대상 인체의 특징점을 추출하여 스켈레톤 정보를 생성하고, 생성된 스켈레톤 정보의 시계열적 변화를 분석하여 대상 인체의 이상 행동을 예측하는 방식을 적용함으로써, 감시 작업에 대한 감시자의 육안 확인 의존성을 제거하여 감시 부하를 저감시킴과 동시에 감시 및 관리 효율성을 향상시키고 인체의 이상 행동을 보다 정확하게 모니터링할 수 있다.
본 명세서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(Application-Specific Integrated Circuit)의 형태로 구현될 수 있다. 또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
본 발명은 차세대융합기술연구원이 지원한 과제(과제명: 차세대융합플랫폼 요소기술 개발 및 고도화 연구, 연구기간: 2021.02.10 ~ 2021.02.28, 과제번호: AICT-2020-0001)의 지원을 받아 수행된 연구 결과로부터 도출되었다.
100: 영상 획득 모듈
200: 이상 행동 예측 모듈
300: 관제 서버

Claims (9)

  1. 대상 공간의 영상을 획득하는 영상 획득 모듈; 및
    상기 영상 획득 모듈에 의해 획득된 영상 내에서 분석 대상이 되는 대상 인체를 검출하고, 미리 학습된 특징점 추출 모델을 이용하여 상기 검출된 대상 인체 내의 복수의 특징점을 추출하며, 상기 추출된 복수의 특징점을 링크시켜 상기 대상 인체의 스켈레톤 정보를 생성하고, 상기 생성되는 스켈레톤 정보의 시계열적 변화를 분석하여 상기 대상 인체의 이상 행동을 예측하는 이상 행동 예측 모듈;
    을 포함하는 것을 특징으로 하는 이상 행동 예측 시스템.
  2. 제1항에 있어서,
    상기 특징점 추출 모델은, 인체의 관절을 추출하도록 딥 러닝(Deep Learning)에 의해 미리 학습되어 있으며,
    상기 이상 행동 예측 모듈은, 상기 특징점 추출 모델을 이용하여 상기 복수의 특징점으로서 상기 대상 인체의 복수의 관절을 추출하고, 상기 추출된 복수의 관절을 링크시켜 상기 대상 인체의 스켈레톤 정보를 생성하는 것을 특징으로 하는 이상 행동 예측 시스템.
  3. 제1항에 있어서,
    상기 이상 행동 예측 모듈은, 상기 영상 획득 모듈에 의해 연속적으로 획득되는 제1 내지 제N 영상 프레임으로부터 상기 대상 인체의 제1 내지 제N 스켈레톤 정보를 생성하고, 상기 생성된 제1 내지 제N 스켈레톤 정보를 딥 러닝에 의해 미리 학습된 자세 분석 모델에 적용하여 상기 제1 내지 제N 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 상기 대상 인체의 이상 행동을 예측하는 것을 특징으로 하는 이상 행동 예측 시스템(N은 2 이상의 자연수).
  4. 제3항에 있어서,
    상기 이상 행동 예측 모듈은, 상기 자세 분석 모델을 통한 상기 제1 내지 제N 스켈레톤 정보의 시계열적 변화의 분석 결과로부터 도출되는 상기 대상 인체의 예측 자세를 미리 정의된 인체 행동 카테고리와 비교하는 방식으로 상기 대상 인체의 이상 행동을 예측하고,
    상기 인체 행동 카테고리는 하나 이상의 정상 행동 카테고리 및 하나 이상의 위험 행동 카테고리로 구분되며,
    상기 이상 행동 예측 모듈은, 상기 대상 인체의 예측 자세가 상기 위험 행동 카테고리에 포함되는 경우 상기 대상 인체의 이상 행동이 발생할 것으로 결정하는 것을 특징으로 하는 이상 행동 예측 시스템.
  5. 제4항에 있어서,
    상기 이상 행동 예측 모듈은, 상기 자세 분석 모델을 통한 상기 제1 내지 제N 스켈레톤 정보의 시계열적 변화의 분석 결과로부터 도출되는 상기 대상 인체의 예측 자세가 상기 정상 행동 카테고리 및 상기 위험 행동 카테고리에 모두 포함되는 경우, 후속 분석 로직을 수행하여 상기 대상 인체의 이상 행동을 예측하되,
    상기 후속 분석 로직은, 상기 영상 획득 모듈에 의해 획득된 차기 영상 프레임으로부터 상기 대상 인체의 차기 스켈레톤 정보를 생성하고, 상기 제1 내지 제N 스켈레톤 정보와 상기 차기 스켈레톤 정보의 시계열적 변화를 분석하는 방식으로 상기 대상 인체의 예측 자세를 도출하는 것으로 정의되는 것을 특징으로 하는 이상 행동 예측 시스템.
  6. 제5항에 있어서,
    상기 이상 행동 예측 모듈은, 상기 대상 인체의 예측 자세가 상기 정상 행동 카테고리 및 상기 위험 행동 카테고리 중 어느 하나의 카테고리에 포함될 때까지 상기 후속 분석 로직을 연속적으로 수행하는 것을 특징으로 하는 이상 행동 예측 시스템.
  7. 제1항에 있어서,
    상기 영상 획득 모듈 및 상기 이상 행동 예측 모듈은 상기 대상 공간에 설치되는 로컬 시스템으로 구현되고,
    상기 이상 행동 예측 모듈은, 상기 대상 인체의 이상 행동을 예측한 결과를 상기 대상 공간과 원격지에 위치한 관제 서버로 전송하는 것을 특징으로 하는 이상 행동 예측 시스템.
  8. 이상 행동 예측 모델에 의한 이상 행동 예측 방법으로서,
    대상 공간의 영상 내에서 분석 대상이 되는 대상 인체를 검출하는 단계;
    미리 학습된 특징점 추출 모델을 이용하여 상기 검출된 대상 인체 내의 복수의 특징점을 추출하는 단계;
    상기 추출된 복수의 특징점을 링크시켜 상기 대상 인체의 스켈레톤 정보를 생성하는 단계; 및
    상기 생성되는 스켈레톤 정보의 시계열적 변화를 분석하여 상기 대상 인체의 이상 행동을 예측하는 단계;
    를 포함하는 것을 특징으로 하는 이상 행동 예측 방법.
  9. 하드웨어와 결합되어,
    대상 공간의 영상 내에서 분석 대상이 되는 대상 인체를 검출하는 단계;
    미리 학습된 특징점 추출 모델을 이용하여 상기 검출된 대상 인체 내의 복수의 특징점을 추출하는 단계;
    상기 추출된 복수의 특징점을 링크시켜 상기 대상 인체의 스켈레톤 정보를 생성하는 단계; 및
    상기 생성되는 스켈레톤 정보의 시계열적 변화를 분석하여 상기 대상 인체의 이상 행동을 예측하는 단계;
    를 실행시키기 위해 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
KR1020210053810A 2021-04-26 2021-04-26 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램 KR102597266B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210053810A KR102597266B1 (ko) 2021-04-26 2021-04-26 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210053810A KR102597266B1 (ko) 2021-04-26 2021-04-26 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20220147185A true KR20220147185A (ko) 2022-11-03
KR102597266B1 KR102597266B1 (ko) 2023-11-03

Family

ID=84040937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210053810A KR102597266B1 (ko) 2021-04-26 2021-04-26 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102597266B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052867A (ja) * 2018-09-28 2020-04-02 株式会社Ａｘｉｖｅ 姿勢解析装置、姿勢解析方法、及びプログラム
KR20210020723A (ko) * 2019-08-14 2021-02-24 건국대학교 산학협력단 폭행 감지 기능을 구비한 cctv 촬영 장치 및 cctv 영상에 기초한 폭행 감지 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052867A (ja) * 2018-09-28 2020-04-02 株式会社Ａｘｉｖｅ 姿勢解析装置、姿勢解析方法、及びプログラム
KR20210020723A (ko) * 2019-08-14 2021-02-24 건국대학교 산학협력단 폭행 감지 기능을 구비한 cctv 촬영 장치 및 cctv 영상에 기초한 폭행 감지 방법

Also Published As

Publication number Publication date
KR102597266B1 (ko) 2023-11-03

Similar Documents

Publication Publication Date Title
US10007850B2 (en) System and method for event monitoring and detection
JP4924607B2 (ja) 不審行動検知装置および方法、プログラムおよび記録媒体
WO2014125882A1 (ja) 情報処理システム、情報処理方法及びプログラム
US20180232904A1 (en) Detection of Risky Objects in Image Frames
JP6532106B2 (ja) 監視装置、監視方法および監視用プログラム
CN112307868B (zh) 图像识别方法、电子设备和计算机可读介质
KR102384299B1 (ko) 폭행 감지 기능을 구비한 cctv 촬영 장치 및 cctv 영상에 기초한 폭행 감지 방법
WO2018179202A1 (ja) 情報処理装置、制御方法、及びプログラム
KR20180028198A (ko) 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
WO2020053953A1 (ja) 照合システム及び照合サーバ
KR102129771B1 (ko) Cctv 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 cctv 관리 시스템 장치 및 그 동작 방법
KR101979375B1 (ko) 감시 영상의 객체 행동 예측 방법
CN114218992A (zh) 异常对象的检测方法及相关装置
US11682384B2 (en) Method, software, and device for training an alarm system to classify audio of an event
CN117351405A (zh) 一种人群行为分析系统及方法
Varghese et al. Video anomaly detection in confined areas
CN111695404B (zh) 行人跌倒检测方法、装置、电子设备及存储介质
KR102597266B1 (ko) 이상 행동 예측 시스템 및 방법, 컴퓨터 프로그램
JP2014215747A (ja) 追跡装置、追跡システム、及び、追跡方法
KR102647139B1 (ko) 딥러닝 기반 영상분석을 통한 이상행동 탐지 장치 및 방법
CN112435240B (zh) 一种面向工人违规使用手机的深度视觉手机检测系统
Chen et al. Hybrid visual information analysis for on-site occupational hazards identification: a case study on stairway safety
KR20230024770A (ko) 인공지능 기반으로 낙상 사고를 판단하고, 보호자 단말로 낙상 발생 알림을 제공하는 장치, 방법
JP2018142137A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant