KR20230091380A - 행동인식 기반 위험 상황 감지 시스템 및 방법 - Google Patents

행동인식 기반 위험 상황 감지 시스템 및 방법 Download PDF

Info

Publication number
KR20230091380A
KR20230091380A KR1020210180444A KR20210180444A KR20230091380A KR 20230091380 A KR20230091380 A KR 20230091380A KR 1020210180444 A KR1020210180444 A KR 1020210180444A KR 20210180444 A KR20210180444 A KR 20210180444A KR 20230091380 A KR20230091380 A KR 20230091380A
Authority
KR
South Korea
Prior art keywords
image data
box
frame
coordinates
person
Prior art date
Application number
KR1020210180444A
Other languages
English (en)
Other versions
KR102615378B1 (ko
Inventor
김명호
임채현
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020210180444A priority Critical patent/KR102615378B1/ko
Publication of KR20230091380A publication Critical patent/KR20230091380A/ko
Application granted granted Critical
Publication of KR102615378B1 publication Critical patent/KR102615378B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 행동인식 기반 위험 상황 감지 시스템 및 방법에 관한 것으로, 본 발명에 따르면, 주거 공간에 설치되어 촬영을 수행하는 촬영부 및 상기 촬영부를 통해 촬영된 영상으로부터 이미지 데이터를 획득하고, 획득된 이미지 데이터에 블러 처리한 후 사람에 해당하는 객체의 행동을 인식하여 위험 상황에 대한 판단을 수행하는 위험 감지 장치를 포함하고, 상기 위험 감지 장치는 상기 촬영부로부터 촬영된 영상을 수신 받아 복수의 프레임을 포함하는 상기 이미지 데이터를 획득하고, 상기 이미지 데이터에 블러 처리하는 이미지 추출부; 블러 처리된 이미지 데이터에서 상기 객체를 검출하여, 검출된 객체에 따라 인원을 파악하고 전처리를 통해 객체 이미지 데이터를 생성하는 객체 검출부 및 파악된 인원에 따라 상기 객체 이미지 데이터로부터 행동을 인식하여 위험 상황 여부를 판단하는 행동 인식부를 포함하는 행동인식 기반 위험 상황 감지 시스템을 제공할 수 있다.
또한 위험 감지 장치가 촬영부로부터 촬영된 영상을 수신 받아 복수의 프레임을 포함하는 이미지 데이터를 획득하는 이미지 추출단계; 획득한 이미지 데이터에 블러 처리하는 블러 처리단계; 블러 처리된 이미지 데이터에서 사람에 해당하는 객체를 검출하여 인원을 파악하고, 전처리를 통해 객체 이미지 데이터를 생성하는 객체 검출단계; 파악된 인원에 따라 상기 객체 이미지 데이터로부터 행동을 인식하는 행동 인식단계 및 인식된 행동에 따라 위험 상황 여부를 판단하는 상황 판단단계를 포함하는 행동인식 기반 위험 상황 감지 방법을 제공할 수 있다.

Description

행동인식 기반 위험 상황 감지 시스템 및 방법{Behavioral recognition-based risk situation detection system and method}
본 발명은 행동인식 기반 위험 상황 감지 시스템 및 방법에 관한 것으로, 더욱 자세하게는 영상을 활용하여 1인 가구에서 발생할 수 있는 고독사 또는 주거침입의 위험상황을 감지하여 대처할 수 있도록 하되, 블러 처리를 통해 개인의 프라이버시를 보장할 수 있는 행동인식 기반 위험 상황 감지 시스템 및 방법에 관한 것이다.
1인 가구의 비율이 증가함에 따라 많은 문제들이 발생하고 있는데, 65세 이상의 독거노인들은 돌봐줄 사람이 없어 고독사 비율이 점차 증가하고 있고, 청년들에서도 1인 가구가 증가함에 따라 주거침입에 따른 많은 사건·사고가 발생하고 있다.
이에 독거노인들의 고독사 등 위험 상황을 예방하기 위해 노인의 상태를 실시간으로 감시할 수 있는 모니터링 시스템이 개발되고 있는데, 집안의 독거 노인을 육안으로 모니터링하고 평소와 다른 이상 징후가 탐지되면 이를 관련자에게 알릴 수 있도록 하는 비교적 단순한 형태의 수동 모니터링 시스템에서부터, 노인의 움직임을 세밀하게 분석하여 이상 징후의 조기 탐지 및 이상 징후를 효율적으로 판단하는 시스템까지, 다양한 분야에서의 연구가 진행되고 있다.
최근 모니터링 시스템에 딥러닝 기술이 활용되어 영상을 기반으로, 영상 정보 분석을 통해 자동으로 노인의 움직임을 판단하여 위험 상황을 감지할 수 있는 기술이 개발되고 있다.
그러나, 상기와 같은 모니터링 시스템은 한 사람에 대한 행동만을 인식할 수 있어 두 사람 이상에 대한 행동을 인식할 수 없는 한계를 가지고 있어 고독사뿐만 아니라 주거침입에 따른 위험 상황에 대한 판단을 할 수 없는 문제가 있다.
또한 모니터링 시스템은 주거공간에 대한 촬영이 지속적으로 이루어져야 하는 특징이 있어, 1인 가구의 연령층이 다양해짐에 따라 개인의 사생활이 노출되는 것에 대해 불편함을 가질 수 있는 문제가 있다.
따라서 개인의 프라이버시를 보장하면서도 한 사람 이상의 행동에 대해 인식하여 위험 상황을 판단할 수 있는 시스템에 대한 개발이 필요하다.
한국공개특허 제10-2021-0090771호(2020.01.10), 독거노인 전용 원격 모니터링 IoT 모듈러 하우스 시스템
상기와 같은 문제를 해결하고자, 본 발명은 영상을 활용하여 1인 가구에서 발생할 수 있는 고독사 또는 주거침입의 위험상황을 감지하여 대처할 수 있도록 하되, 블러 처리를 통해 개인의 프라이버시를 보장할 수 있는 행동인식 기반 위험 상황 감지 시스템 및 방법을 제공하는데 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 시스템은 주거 공간에 설치되어 촬영을 수행하는 촬영부 및 상기 촬영부를 통해 촬영된 영상으로부터 이미지 데이터를 획득하고, 획득된 이미지 데이터에 블러 처리한 후 사람에 해당하는 객체의 행동을 인식하여 위험 상황에 대한 판단을 수행하는 위험 감지 장치를 포함하고, 상기 위험 감지 장치는 상기 촬영부로부터 촬영된 영상을 수신 받아 복수의 프레임을 포함하는 상기 이미지 데이터를 획득하고, 상기 이미지 데이터에 블러 처리하는 이미지 추출부; 블러 처리된 이미지 데이터에서 상기 객체를 검출하여, 검출된 객체에 따라 인원을 파악하고 전처리를 통해 객체 이미지 데이터를 생성하는 객체 검출부 및 파악된 인원에 따라 상기 객체 이미지 데이터로부터 행동을 인식하여 위험 상황 여부를 판단하는 행동 인식부를 포함하는 행동인식 기반 위험 상황 감지 시스템을 제공할 수 있다.
또한 상기 이미지 추출부는, 상기 이미지 데이터에 가우시안 블러 필터를 적용하여 블러 처리하는 것을 특징으로 한다.
또한 상기 객체 검출부는, 블러 처리된 이미지 데이터의 프레임 별로 상기 객체에 대한 바운딩 박스(bounding box)를 추출하여 인원을 파악하는 인원 확인부 및 상기 인원 확인부로부터 파악된 인원 정보에 따라 상기 이미지 데이터의 각 프레임을 크롭(crop)하여 복수의 객체 프레임을 획득하는 것으로, 상기 객체 이미지 데이터를 생성하는 이미지 전처리부를 포함할 수 있다.
또한 상기 인원 확인부는, 복수의 바운딩 박스가 추출되어 상기 인원이 두 사람 이상이라고 파악될 경우, 상기 바운딩 박스 간의 교집합 영역 여부를 확인하는 것을 특징으로 한다.
또한 상기 이미지 전처리부는, 상기 인원이 한 사람으로 파악될 경우, 상기 프레임 별로 추출된 바운딩 박스를 왼쪽 상단 꼭짓점 좌표와 오른쪽 하단 꼭짓점 좌표로 변환하여 박스 꼭짓점 좌표 정보를 획득하고, 복수의 프레임을 기준으로 상기 박스 꼭짓점 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 최소최대 좌표를 추출하고, 상기 최소최대 좌표를 기준으로 크롭 영역을 설정하여 각 프레임을 크롭(crop)하는 것을 특징으로 한다.
또한 상기 이미지 전처리부는, 상기 인원이 두 사람 이상이라고 파악되되, 상기 바운딩 박스 간의 교집합 영역이 존재할 경우, 상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스들을 각각 왼쪽 상단 꼭짓점 좌표와 오른쪽 하단 꼭짓점 좌표로 변환하여 박스 꼭짓점 좌표 정보를 획득하고, 상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스의 상기 박스 꼭짓점 좌표 정보들을 토대로 박스 영역의 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 박스 영역 좌표 정보를 추출하고, 복수의 프레임을 기준으로 상기 박스 영역 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 최소최대 좌표를 추출하고, 상기 최소최대 좌표를 기준으로 크롭 영역을 설정하여 각 프레임을 크롭(crop)하는 것을 특징으로 한다.
또한 상기 행동 인식부는, 행동 인식 모델을 통해 파악된 인원에 따라 상기 객체 이미지 데이터로부터 행동을 인식하여 위험 상황 여부를 판단하되, 상기 행동 인식 모델은, 상기 객체 이미지 데이터의 복수의 객체 프레임 중 일부를 입력 받아 공간 및 색에 대한 특징을 추출하는 Slow 모델; 상기 Slow 모델 보다 많은 객체 프레임을 입력 받아 시간 변화에 따른 특징을 추출하는 Fast 모델 및 상기 인원을 기준으로 상기 Slow 모델과 Fast 모델로부터 추출된 특징을 종합하여 행동을 인식하고, 인식된 행동에 따라 위험 상황 여부에 대한 판단을 수행하는 예측부를 포함할 수 있다.
또한 본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 방법은 위험 감지 장치가 촬영부로부터 촬영된 영상을 수신 받아 복수의 프레임을 포함하는 이미지 데이터를 획득하는 이미지 추출단계; 획득한 이미지 데이터에 블러 처리하는 블러 처리단계; 블러 처리된 이미지 데이터에서 사람에 해당하는 객체를 검출하여 인원을 파악하고, 전처리를 통해 객체 이미지 데이터를 생성하는 객체 검출단계; 파악된 인원에 따라 상기 객체 이미지 데이터로부터 행동을 인식하는 행동 인식단계 및 인식된 행동에 따라 위험 상황 여부를 판단하는 상황 판단단계를 포함하는 행동인식 기반 위험 상황 감지 방법을 제공할 수 있다.
여기서 상기 객체 검출단계는, 블러 처리된 이미지 데이터의 프레임 별로 상기 객체에 대한 바운딩 박스(bounding box)를 추출하는 객체 추출단계 및 추출된 바운딩 박스에 따라 인원을 파악하는 인원 확인단계를 포함할 수 있다.
또한 상기 객체 검출단계는, 상기 인원 확인단계에서 파악된 인원 정보가 한 사람일 경우, 상기 프레임 별로 상기 바운딩 박스를 변환하여 박스 꼭짓점 좌표 정보를 획득하고, 상기 박스 꼭짓점 좌표 정보를 활용해 각 프레임을 크롭(crop)하여 상기 객체 이미지 데이터의 복수의 객체 프레임을 획득하는 제1 전처리단계를 더 포함할 수 있다.
또한 상기 제1 전처리단계는, 상기 프레임 별로 상기 바운딩 박스를 왼쪽 상단 꼭짓점 좌표와 오른쪽 하단 꼭짓점 좌표로 변환하여 박스 꼭짓점 좌표 정보를 획득하는 제1 좌표 변환단계; 복수의 프레임을 기준으로 상기 박스 꼭짓점 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 최소최대 좌표를 추출하고, 상기 최소최대 좌표를 기준으로 크롭 영역을 설정하는 제1 크롭영역 설정단계 및 상기 크롭 영역에 따라 각 프레임을 크롭(crop)하여 복수의 객체 프레임을 획득하는 제1 크롭 단계를 포함할 수 있다.
또한 상기 객체 검출단계는, 상기 인원 확인단계에서 파악된 인원 정보가 두 사람 이상일 경우, 상기 프레임의 상기 바운딩 박스 간의 교집합 영역 여부를 확인하는 교집합영역 판단단계 및 상기 바운딩 박스 간의 교집합 영역이 존재할 경우, 상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스들을 변환하여 박스 꼭짓점 좌표 정보를 획득하고, 상기 교집합 영역이 존재하는 바운딩 박스들의 상기 박스 꼭짓점 좌표 정보를 활용해 각 프레임을 크롭(crop)하여 상기 객체 이미지 데이터의 객체 프레임을 획득하는 제2 전처리단계를 더 포함할 수 있다.
또한 상기 제2 전처리단계는, 상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스들을 각각 왼쪽 상단 꼭짓점 좌표와 오른쪽 하단 꼭짓점 좌표로 변환하여 박스 꼭짓점 좌표 정보를 획득하는 제2 좌표 변환단계; 상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스의 상기 박스 꼭짓점 좌표 정보들을 토대로 박스 영역의 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 박스 영역 좌표 정보를 추출하는 박스영역 추출단계; 복수의 프레임을 기준으로 상기 박스 영역 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 최소최대 좌표를 추출하고, 상기 최소최대 좌표를 기준으로 크롭 영역을 설정하는 제2 크롭영역 설정단계 및 상기 크롭 영역에 따라 각 프레임을 크롭(crop)하여 복수의 객체 프레임을 획득하는 제2 크롭 단계를 포함할 수 있다.
또한 상기 상황 판단단계에서 위험 상황으로 판단될 경우, 경보 장치를 작동시키거나 등록된 단말로 긴급 연락을 수행하는 경보 및 긴급연락 단계를 더 포함할 수 있다.
상기와 같은 본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 시스템 및 방법은 영상을 활용하여 1인 가구에서 발생할 수 있는 고독사 또는 주거침입의 위험상황을 감지하는 것으로, 위험상황을 예방하거나 신속하게 대처할 수 있도록 한다.
또한 영상으로부터 획득된 이미지에 블러 처리를 하는 것으로 개인의 프라이버시를 보호하면서 위험상황을 감지할 수 있다.
또한 한 사람에 대한 행동만을 인식하는 것이 아닌 복수의 사람에 대한 행동을 인식하도록 하여 고독사 외에 주거침입 등 타인에 의한 위험상황도 감지할 수 있어, 다양한 위험상황에 대한 대처가 가능하다.
도 1은 본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 시스템을 나타낸 블록도.
도 2의 (a) 및 (b)는 도 1의 이미지 추출부에 의해 획득된 프레임과 블러 처리가 된 프레임을 나타낸 예시도.
도 3은 도 1의 객체 검출부의 구성을 나타낸 블록도.
도 4는 도 3의 인원 확인부를 통해 프레임에 바운딩 박스가 추출된 모습을 나타낸 예시도.
도 5의 (a) 내지 (d)는 인원이 한 사람일 경우 도 3의 이미지 전처리부를 통해 복수의 프레임을 기준으로 크롭 영역이 설정된 모습을 나타낸 예시도.
도 6은 도 5의 크롭 영역에 따라 크롭 되어 생성된 객체 프레임을 나타낸 예시도.
도 7은 인원이 두 사람인 경우 도 3의 이미지 전처리부를 통해 복수의 프레임을 기준으로 크롭 영역이 설정된 모습을 나타낸 예시도.
도 8은 도 7의 크롭 영역에 따라 크롭 되어 생성된 객체 프레임을 나타낸 예시도.
도 9는 도 1의 행동 인식부의 행동 인식 모델을 나타낸 개념도.
도 10은 본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 방법을 개략적으로 나타낸 흐름도.
도 11은 도 10의 S300 단계를 순차적으로 나타낸 흐름도.
도 12는 도 11의 S330 단계를 순차적으로 나타낸 흐름도.
도 13은 도 11의 S350 단계를 순차적으로 나타낸 흐름도.
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 행동인식 기반 위험 상황 감지 시스템 및 방법을 상세히 살펴보기로 한다.
도 1은 본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 시스템을 나타낸 블록도이고, 도 2의 (a) 및 (b)는 도 1의 이미지 추출부에 의해 획득된 프레임과 블러 처리가 된 프레임을 나타낸 예시이고, 도 3은 도 1의 객체 검출부의 구성을 나타낸 블록도이고, 도 4는 도 3의 인원 확인부를 통해 프레임에 바운딩 박스가 추출된 모습을 나타낸 예시도이고, 도 5의 (a) 내지 (d)는 인원이 한 사람일 경우 도 3의 이미지 전처리부를 통해 복수의 프레임을 기준으로 크롭 영역이 설정된 모습을 나타낸 예시도이고, 도 6은 도 5의 크롭 영역에 따라 크롭 되어 생성된 객체 프레임을 나타낸 예시도이고, 도 7은 인원이 두 사람 이상일 경우 도 3의 이미지 전처리부를 통해 복수의 프레임을 기준으로 크롭 영역이 설정된 모습을 나타낸 예시도이고, 도 8은 도 7의 크롭 영역에 따라 크롭 되어 생성된 객체 프레임을 나타낸 예시도이며, 도 9는 도 1의 행동 인식부의 행동 인식 모델을 나타낸 개념도이다.
본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 시스템(이하 '위험 상황 감지 시스템'이라 함)은 영상을 수신 받아 이미지 데이터를 추출하되 블러 처리 하여 개인의 사생활을 보호하고, 상기 이미지 데이터 내 객체(사람)의 행동을 인식하는 것으로, 위험 상황에 대한 감지를 할 수 있다.
위험 상황 감지 시스템은 위험 상황이 감지되면, 도 1과 같이, 경보 장치(W)를 작동시키거나 연락처로 사전 등록되어 있는 단말(T)로 긴급 연락을 수행하여, 주변에 알리는 것으로 위험 상황에 대한 대처가 이루어지도록 할 수 있다.
여기서 단말(T)은 보호자, 응급 기관 등 누구나 가지고 있는 불특정 다수가 소지하고 있는 단말일 수 있으며, 모바일 단말, PC, 태블릿 등 다양하게 적용될 수 있다.
도 1을 참조하면, 위험 상황 감지 시스템은 촬영부(1) 및 위험 감지 장치(2)를 포함할 수 있다.
촬영부(1)는 하나 이상이 주거 공간에 설치되어 촬영을 수행하는 것으로, 주거 공간 내에 존재하는 사람을 촬영할 수 있다.
또한 촬영부(1)는 위험 감지 장치(2)와 연동되어 촬영한 영상을 위험 감지 장치(2)로 전송할 수 있다.
여기서 촬영부(1)는 화상카메라일 수 있으나, 이에 한정되지 않고, 실시간 카메라일 수 있으며, 나아가 라이다, 열화상카메라 등으로 구성되어 필터 처리 없이 사생활 보호가 가능하도록 할 수도 있다.
위험 감지 장치(2)는 촬영부(1)를 통해 촬영된 영상으로부터 이미지 데이터를 획득하고, 획득된 이미지 데이터에 블러 처리한 후 사람에 해당하는 객체의 행동을 인식하여 위험 상황에 대한 판단을 수행할 수 있다.
이를 위해, 위험 감지 장치(2)는 이미지 추출부(20), 객체 검출부(21), 행동 인식부(22), 알림부(23) 및 데이터 베이스(24)를 포함할 수 있다.
이미지 추출부(20)는 촬영부(1)로부터 촬영된 영상을 수신 받아 이미지 데이터를 획득하고, 획득한 이미지 데이터에 블러 처리를 할 수 있다.
여기서 이미지 데이터는 영상으로부터 일정 시간 간격으로 추출된 복수의 프레임을 포함할 수 있으나, 이에 한정되지 않고, 일정 시간 간격이 아닌 불규칙한 시간 간격으로 추출될 수도 있다. 또한 이미지 데이터는 16 프레임이 바람직하나, 이에 한정되지는 않는다.
구체적으로, 이미지 추출부(20)는 파이썬 OpenCV 라이브러리를 이용하여 캡쳐를 통해 영상에서 복수의 프레임을 추출할 수 있으나, 이에 한정되지는 않는다.
또한 이미지 추출부(20)는 상기와 같이 획득된 이미지 데이터의 각 프레임에 가우시안 블러 필터를 적용하여 블러 처리를 함으로써, 도 2와 같이, 모자이크 효과를 줄 수 있다. 이는 사용자 개인의 사생활 보호를 보장하기 위한 것이다.
가우시안(Gaussian) 블러 필터는 프레임에 수학 함수를 적용하여 흐림 효과를 주는 것으로, 일정 범위 이상을 벗어나는 픽셀 값을 잘라내 프레임의 픽셀값을 균일하게 조정하여 흐림 효과를 주는 필터이다.
또한 이미지 추출부(20)는 프레임에 가우시안 블러 필터를 적용할 시 반경 값을 조정하여 흐림 정도를 조정할 수 있는데, 프레임 해상도를 파악하여 프레임에 따라 반경 값을 자동 조정하는 것으로, 가우시안 블록 필터를 적용할 수 있다. 그러나 이에 한정되지 않고, 반경 값은 기 설정될 수도 있다.
객체 검출부(21)는 인공지능 모델이 적용되어 이미지 추출부(20)로부터 블러 처리된 이미지 데이터에서 사람에 해당하는 객체를 검출하고, 인원에 따른 전처리 통해 객체 이미지 데이터를 생성할 수 있다. 이는 객체 영역에 해당하는 부분만을 데이터로 추출하여 행동 인식부(22)에서 이용되도록 함으로써 객체의 행동 인식이 보다 효율적으로 정확하게 이루어지도록 하기 위한 것이다.
도 3을 참조하면, 객체 검출부(21)는 인원 확인부(210) 및 이미지 전처리부(211)를 포함할 수 있다.
인원 확인부(210)는 블러 처리된 이미지 데이터의 프레임 별로 사람에 해당하는 객체에 대한 바운딩 박스(bounding box, BB)를 추출하여 인원을 파악할 수 있다.
이러한 인원 확인부(210)는 인공지능 모델 중 YOLO 모델이 적용되어 프레임에서 사람에 해당하는 객체에 대한 바운딩 박스(BB)를 추출할 수 있다.
YOLO 모델은 이미지 내에서 객체를 빠짐없이 탐지하여 위치 정보를 바운딩 박스로 표시하는 모델로서, 하나의 신경망을 Grid 방식을 통해 전체 이미지에 적용하여 주변 정보까지 처리할 수 있어, 기존 분류기 기반 객체 탐지 기법인 R-CNN, Fast R-CNN 등에 비하여 객체 검출 정확도가 우수하고, 매우 효율적이고 빠르게 객체를 탐지할 수 있어 실시간 객체 탐지가 가능할 수 있다.
보다 구체적으로, YOLO 모델은 하나의 합성곱 신경망(Convolutional neural network, CNN)으로 이루어질 수 있고, 합성곱 신경망(CNN)은 컨볼루션 레이어(convolution layer, Conv)와 전결합 레이어(fully connected layer, FC)로 구성될 수 있다.
컨볼루션 레이어(Conv)는 하나 이상으로 형성되어, 이미지 데이터의 프레임의 특징을 추출하는 것으로, 프레임을 S x S 그리드(Grid)로 나누고, 프레임에 대해 가중치를 적용하여 합성곱 연상을 통해 특징맵(feature map)을 생성할 수 있다. 이러한 하나의 컨볼루션 레이어(Conv)는 프레임의 픽셀 또는 그리드 셀을 대상으로 위치를 변경하면서 여러 번 반복하여 적용되어 프레임에 대해 특징을 추출할 수 있다.
여기서 사용되는 가중치들의 그룹을 가중치 커널(kernel)이라고 지칭할 수 있으며, 가중치 커널은 n x m x d의 3차원 행렬로 구성될 수 있는데, 프레임을 지정된 간격으로 순회하며 합성곱 연산을 통해 특징맵을 생성할 수 있다.
이때, 프레임이 복수의 채널(예를 들어, HSV의 3개의 채널)을 갖는 이미지라면, 가중치 커널은 프레임의 각 채널을 순회하며 합성곱 계산을 한 후, 채널 별 특징맵을 생성할 수 있다.
여기서, n은 프레임의 특정 크기의 행, m은 프레임의 특정 크기의 열, d는 프레임의 채널을 나타낼 수 있다.
전결합 레이어(FC)는 생성된 특징맵을 이용하여 객체에 대한 하나 이상의 바운딩 박스와 클래스 확률을 예측할 수 있다.
여기서 바운딩 박스(bounding box)는 (x,y,w,h,c) 좌표로 구성될 수 있는데, x,y는 바운딩 박스의 중심 좌표 값, w,h는 바운딩 박스의 너비와 높이 값, c는 신뢰 점수(confidence score)이다.
또한 클래스 확률은 그리드 셀 안에 객체가 있다는 조건 하에 그 객체가 어떤 클랜스(class)인지에 대한 조건부 확률이다.
또한 전결합 레이어(FC)는 바운딩 박스의 좌표와 클래스 확률을 이용하여 실제 객체에 대한 바운딩 박스를 선택해 낼 수 있으며, 사람에 해당하는 객체에 대한 바운딩 박스(BB)만을 추출할 수 있다. 이때, class specific confidence score와 IOU(Intersection over Union)을 이용하여 사람에 해당하는 객체에 대한 바운딩 박스(BB)만을 추출할 수 있다.
class specific confidence score는 바운딩 박스의 신뢰 점수(confidence score)와 클래스 확률(class probability)을 곱하는 것으로 구할 수 있고, IOU(Intersection over Union)는 교집합 영역 넓이/합집합 영역 넓이로 구할 수 있다.
이와 같이 인원 확인부(210)는 상기 YOLO 모델을 통해 사람에 해당하는 객체에 대한 바운딩 박스(BB)를 추출할 수 있다(도 4 참조).
이에 인원 확인부(210)는 추출된 바운딩 박스(BB)의 수에 따라 인원을 파악할 수 있으며, 인원 정보를 생성할 수 있다.
한편, 인원 확인부(210)는 복수의 바운딩 박스(BB)가 추출되어 인원이 두 사람 이상이라고 파악될 경우, 바운딩 박스(BB) 간의 교집합 영역 여부를 확인할 수 있다.
이에 인원 확인부(210)는 교집합 영역이 존재한다고 판단될 경우, 해당 이미지 데이터가 이미지 전처리부(211)에 의해 전처리 되도록 할 수 있으며, 존재하지 않는다고 판단될 경우, 해당 이미지 데이터에 대한 처리가 종료되도록 하여, 위험 상황이 아닌 '일반 상황'으로 판단되도록 할 수 있다.
이미지 전처리부(211)는 인원 확인부(210)로부터 파악된 인원 정보에 따라 이미지 데이터의 각 프레임을 크롭(crop)하여 복수의 객체 프레임을 획득하는 것으로, 객체 이미지 데이터를 생성할 수 있다.
이미지 전처리부(211)는 바운딩 박스를 이용하여 인원 정보에 따라 이미지 데이터의 각 프레임을 크롭(crop)할 수 있는데, 이에 대하여 도 5 내지 도 8을 참고하여 인원이 한 사람인 경우와 두 사람 이상인 경우로 나누어 자세하게 설명하기로 한다. 한편 도면에서 설명의 편의성을 위하여 4 프레임을 기준으로 나타내었으나, 이에 한정되지는 않는다.
일 예로, 도 5와 같이 인원이 한 사람으로 파악될 경우, 이미지 전처리부(211)는 먼저 프레임 별로 추출된 바운딩 박스(BB)의 좌표를 왼쪽 상단 꼭짓점 좌표 Pl(xl,yl)와 오른쪽 하단 꼭짓점 좌표 Pr(xr,yr)로 변환하여 박스 꼭짓점 좌표 정보를 획득할 수 있다.
그 다음 이미지 전처리부(211)는 복수의 프레임을 기준으로 박스 꼭짓점 좌표 정보(Pl, Pr)들을 비교하여 x좌표 기준 최소 값 상단 좌표 Pmin와 최대 값 하단 좌표 Pmax인 최소최대 좌표를 추출하고, 최소최대 좌표를 기준으로 박스 형태의 크롭 영역(CR)을 설정할 수 있다.
이에 이미지 전처리부(211)는 설정된 크롭 영역(CR)에 따라 각 프레임을 크롭 하여, 도 6과 같이, 복수의 객체 프레임을 획득할 수 있다.
다른 예로, 이미지 전처리부(211)는 인원이 두 사람 이상으로 파악될 경우에도 다른 전처리 과정을 통해 객체 이미지 데이터를 획득할 수 있는데, 인원이 두 사람인 경우에 해당하는 도 7 및 도 8을 이용하여 설명하기로 한다.
도 7을 참조하면, 이미지 전처리부(211)는 프레임 별로 교집합 영역이 존재하는 바운딩 박스(BB)들의 좌표를 각각 왼쪽 상단 꼭짓점 좌표 Pl(xl,yl)와 오른쪽 하단 꼭짓점 좌표 Pr(xr,yr)로 변환하여 교집합 영역이 존재하는 바운딩 박스(BB)들의 박스 꼭짓점 좌표 정보를 획득할 수 있다.
그 다음 이미지 전처리부(211)는 프레임 별로 교집합 영역이 존재하는 바운딩 박스(BB)의 박스 꼭짓점 좌표 정보들을 토대로 박스 영역 좌표 정보를 추출할 수 있다.
여기서 박스 영역 좌표 정보는 바운딩 박스(BB)들의 영역을 포함할 수 있는 최소한의 크기를 가지는 박스 영역의 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표일 수 있다.
그 다음 이미지 전처리부(211)는 복수의 프레임을 기준으로 박스 영역 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표 Pmin와 최대 값 하단 좌표 Pmax인 최소최대 좌표를 추출하고, 최소최대 좌표를 기준으로 박스 형태의 크롭 영역(CR)을 설정할 수 있다.
이에 이미지 전처리부(211)는 설정된 크롭 영역(CR)에 따라 각 프레임을 크롭 하여, 도 8과 같이, 복수의 객체 프레임을 획득할 수 있다.
이와 같은 과정으로 처리되는 경우는 인원이 두 사람 이상이되, 바운딩 박스 간의 교집합 영역이 존재하는 경우에 해당할 수 있다.
한편, 이미지 전처리부(211)는 최소최대 좌표를 기준으로 박스 형태의 크롭 영역(CR)을 설정할 시, 가우시안 블러 필터의 반경 값에 따라 크롭 영역(CR)에 대한 확장/축소 처리로 조정 과정을 추가로 진행할 수도 있다.
이와 같이 가우시안 블록 필터 적용에 의한 흐림 정도에 따라 크롭 영역(CR)을 확장시키거나 축소시켜 사생활 보호도와 검출 정확도를 조절할 수 있도록 한다.
예를 들어, 이미지 전처리부(211)는 반경 값이 기 설정된 기준 반경 값 보다 클 경우 크롭 영역(CR)을 일정 크기 확장시킬 수 있는데, 이는 사생활 보호도가 높아짐에 따라 객체와 주변환경 간의 경계가 모호해져 바운딩 박스 검출 정확도가 떨어질 수 있어 크롭 영역(CR)을 확장시켜 객체가 잘리는 경우 등을 최대한 방지하는 것으로 객체 검출 정확도를 높일 수 있다.
행동 인식부(22)는 인공지능 모델이 적용되어 파악된 인원에 따라 객체 이미지 데이터로부터 행동을 인식하여 위험 상황 여부를 판단할 수 있다.
보다 구체적으로, 행동 인식부(22)는 행동 인식 모델을 통해 객체 이미지 데이터로부터 객체의 행동을 인식할 수 있고, 인식된 행동에 따라 위험 상황을 감지할 수 있다.
행동 인식 모델(220)로 SlowFast 모델이 적용될 수 있는데, SlowFast 모델은 사람 눈의 세포에 따른 물체 정보 인식에 관한 연구에 착안해 제안된 모델 구조로서, end-to-end 방식으로 학습을 할 수 있다. 사람의 눈은 P-cells과 M-cells로 이루어졌는데, M-cells은 빠른 시간적 주기에 대한 정보를 받아들이고, 빠른 시각적 변화에 반응을 하되 공간적 자세한 특성에는 거의 반응을 하지 않는 반면, P-cells은 공간적 자세한 특성에 대해 반응하지만 시간적 정보에는 반응을 하지 않는 특징을 지니고 있는 것에 착안하여, 이미지에 대해 서로 다른 샘플링 비율을 정해 두 개의 모델을 학습시킨 후 최종적으로 특징을 합쳐 예측하는 모델로 SlowFast 모델이 제안된 것이다.
도 9를 참조하면, 행동 인식 모델(220)은 Slow 모델(221), Fast 모델(222) 및 예측부(223)를 포함할 수 있다. 도 9에서 C는 채널(Channel)의 수, T는 프레임의 수(시간 축), H,W는 프레임의 크기를 의미한다.
Slow 모델(221)은 낮은 프레임 비율로 객체 프레임이 입력되는 것으로, 객체 이미지 데이터의 복수의 객체 프레임 중 일부를 입력 받아 공간 및 색에 대한 특징을 추출할 수 있다.
Fast 모델(222)은 높은 프레임 비율로 객체 프레임이 입력되는 것으로, 즉 Slow 모델(221) 보다 많은 객체 프레임을 입력 받아 시간 변화에 따른 특징을 추출할 수 있다.
이때, Fast 모델(222)은 Slow 모델(221) 보다 α배 많게 객체 프레임이 입력될 수 있는데, 성능을 고려하여 α가 8로 설정되는 것이 바람직할 수 있다.
예를 들어, Slow 모델(221)에 2 객체 프레임이 입력될 경우 Fast 모델(222)에 16 객체 프레임이 입력될 수 있는 것이다.
또한 Fast 모델(222)은 Slow 모델(221) 보다 C와 T가 β배 작을 수 있는데, β가 1/8인 것이 바람직하나, 이에 한정되지는 않는다.
예측부(223)는 인원 정보를 기준으로 Slow 모델(221)과 Fast 모델(222)로부터 추출된 특징을 종합하여 행동을 인식할 수 있다.
예측부(223)는 한 사람인 경우, 특징을 통해 행동을 일반 상황인 앉기, 서기, 걷기, 눕기 등 중 하나로 인식하거나, 위험 상황인 넘어짐 등으로 인식할 수 있다.
또한 예측부(223)는 두 사람 이상인 경우, 특징을 통해 행동을 일반 상황인 안마, 터치 등 중 하나로 인식하거나, 위험 상황인 발차기, 밀기, 물건으로 치기, 칼로 찌르기, 다중 폭행 등 중 하나로 인식할 수 있다.
이에 예측부(223)는 인식된 행동에 따라 위험 상황 여부를 판단할 수 있고, '위험 상황'으로 판단될 경우 알림부(23)를 통해 대처가 가능하도록 할 수 있다.
알림부(23)는 예측부(223)로부터 '위험 상황'으로 판단될 경우, 경보 장치(W)를 작동시키거나 등록된 단말(T)로 긴급 연락을 수행할 수 있다.
이때 알림부(23)는 단말(T)로 긴급 연락을 수행할 시 메시지도 함께 전달할 수 있는데, 메시지에는 인식된 행동 정보, 그에 해당하는 객체 이미지 데이터 등이 포함될 수 있다.
또한 메시지에는 촬영부(1)와 연동될 수 있는 링크가 같이 첨부되어, 단말(T)을 통해 실시간으로 영상을 확인할 수 있도록 할 수 있으며, 이때 영상에 블러 처리가 이루어져 있을 수도 있다.
데이터 베이스(24)는 촬영부(1)로부터 전달 받은 영상, 이미지 추출부(20)로부터 추출된 이미지 데이터, 객체 검출부(21)로부터 생성된 객체 이미지 데이터, 행동 인식부(22)로부터 인식된 행동 정보, 위험 상황 판단 정보 등을 저장할 수 있다.
한편, 경보 장치(W)는 스피커, 경광등, 확성기 등 다양한 장치로 구성될 수 있다.
이러한 행동인식 기반 위험 상황 감지 시스템에 의해 이루어지는 위험 상황 감지 방법에 대하여 하기에서 구체적으로 설명하기로 한다.
도 10은 본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 방법을 개략적으로 나타낸 흐름도이고, 도 11은 도 10의 S300 단계를 순차적으로 나타낸 흐름도이고, 도 12는 도 11의 S330 단계를 순차적으로 나타낸 흐름도이며, 도 13은 도 11의 S341 단계를 순차적으로 나타낸 흐름도이다.
도 10을 참조하면, 본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 방법은 이미지 추출단계(S100), 블러 처리단계(S200), 객체 검출단계(S300), 행동 인식단계(S400), 상황 판단단계(S500), 경보 및 긴급연락 단계(S600)를 포함할 수 있다.
이미지 추출단계(S100)는 위험 감지 장치(2)가 촬영부(1)로부터 촬영된 영상을 수신 받아 복수의 프레임을 포함하는 이미지 데이터를 획득할 수 있다.
블러 처리단계(S200)는 위험 감지 장치(2)가 S100 단계에서 획득한 이미지 데이터에 블러 처리하는 단계로, 이미지 데이터의 각 프레임에 가우시안 블러 필터를 적용하여 블러 처리를 할 수 있다.
객체 검출단계(S300)는 위험 감지 장치(2)가 S200 단계에서 블러 처리된 이미지 데이터에서 사람에 해당하는 객체를 검출하여 인원을 파악하고, 전처리를 통해 객체 이미지 데이터를 생성할 수 있다.
도 11을 참조하면, S300 단계는 객체 추출단계(S310) 및 인원 확인단계(S320)를 포함하고, 인원 확인단계(S320)에서의 판단에 따라 진행되는 제1 전처리단계(S330), 교집합영역 판단단계(S340) 및 제2 전처리단계(S350)를 더 포함할 수 있다.
객체 추출단계(S310)는 S200 단계에서 블러 처리된 이미지 데이터의 프레임 별로 사람에 해당하는 객체에 대한 바운딩 박스(BB)를 추출할 수 있다. 사람에 해당하는 객체에 대한 바운딩 박스 추출 방법에 대해서는 상기 시스템에서 구체적으로 설명하였으므로, 생략하기로 한다.
인원 확인단계(S320)는 S310 단계에서 추출된 바운딩 박스(BB)의 수에 따라 인원을 파악하여 인원 정보를 생성할 수 있다. 이에 인원 정보에 따라 인원이 한 사람인지 두 사람인지를 확인할 수 있다.
S300 단계는 인원 정보가 한 사람일 경우, 제1 전처리단계(S330)를 더 포함할 수 있다.
제1 전처리단계(S330)는 프레임 별로 바운딩 박스(BB)를 변환하여 박스 꼭짓점 좌표 정보(Pl, Pr)를 획득하고, 박스 꼭짓점 좌표 정보(Pl, Pr)를 활용해 각 프레임을 크롭(crop)하여 객체 이미지 데이터의 복수의 객체 프레임을 획득할 수 있다.
도 12를 참조하면, S330 단계는 제1 좌표 변환단계(S331), 제1 크롭영역 설정단계(S332) 및 제1 크롭 단계(S333)를 포함할 수 있다.
제1 좌표 변환단계(S331)는 프레임 별로 바운딩 박스(BB)의 좌표를 왼쪽 상단 꼭짓점 좌표 Pl(xl,yl)와 오른쪽 하단 꼭짓점 좌표 Pr(xr,yr)로 변환하여 박스 꼭짓점 좌표 정보(Pl, Pr)를 획득할 수 있다.
제1 크롭영역 설정단계(S332)는 복수의 프레임을 기준으로 박스 꼭짓점 좌표 정보(Pl, Pr)들을 비교하여 x좌표 기준 최소 값 상단 좌표 Pmin와 최대 값 하단 좌표 Pmax인 최소최대 좌표를 추출하고, 최소최대 좌표를 기준으로 크롭 영역(CR)을 설정할 수 있다.
제1 크롭 단계(S333)는 S332 단계에서 설정된 크롭 영역(CR)에 따라 각 프레임을 크롭(crop)하여 복수의 객체 프레임을 획득할 수 있다.
또한 S300 단계는 인원 정보가 두 사람일 경우, 교집합영역 판단단계(S340) 및 제2 전처리단계(S350)를 더 포함할 수 있다.
교집합영역 판단단계(S340)는 프레임의 바운딩 박스(BB) 간의 교집합 영역 여부를 확인할 수 있다. S340 단계에서 바운딩 박스(BB) 간의 교집합 영역이 존재한다고 판단될 경우 S350 단계로 진행될 수 있다.
반면, S340 단계에서 바운딩 박스(BB) 간의 교집합 영역이 존재하지 않는다고 판단될 경우, 해당 이미지 데이터에 대한 처리는 종료하고 S100 단계부터 다시 진행될 수 있다.
제2 전처리단계(S350)는 S340 단계에서 바운딩 박스 간의 교집합 영역이 존재한다고 판단될 경우, 프레임 별로 교집합 영역이 존재하는 바운딩 박스(BB)들을 변환하여 박스 꼭짓점 좌표 정보(Pl, Pr)를 획득하고, 교집합 영역이 존재하는 바운딩 박스(BB)들의 박스 꼭짓점 좌표 정보(Pl, Pr)를 활용해 각 프레임을 크롭(crop)하여 상기 객체 이미지 데이터의 객체 프레임을 획득할 수 있다.
도 13을 참조하면, S350 단계는 제2 좌표 변환단계(S351), 박스영역 추출단계(S352), 제2 크롭영역 설정단계(S353) 및 제2 크롭 단계(S354)를 포함할 수 있다.
제2 좌표 변환단계(S351)는 프레임 별로 교집합 영역이 존재하는 바운딩 박스(BB)들의 좌표를 각각 왼쪽 상단 꼭짓점 좌표 Pl(xl,yl)와 오른쪽 하단 꼭짓점 좌표 Pr(xr,yr)로 변환하여 박스 꼭짓점 좌표 정보(Pl, Pr)를 획득할 수 있다.
박스영역 추출단계(S352)는 프레임 별로 S351 단계에서 변환된 박스 꼭짓점 좌표 정보(Pl, Pr)들을 토대로 박스 영역 좌표 정보를 추출할 수 있다.
여기서 박스 영역 좌표 정보는 박스 영역의 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표이다.
제2 크롭영역 설정단계(S353)는 복수의 프레임을 기준으로 각 프레임의 박스 영역 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표 Pmin와 최대 값 하단 좌표 Pmax인 최소최대 좌표를 추출하고, 최소최대 좌표를 기준으로 박스 형태의 크롭 영역(CR)을 설정할 수 있다.
제2 크롭 단계(S354)는 S353 단계에서 설정된 크롭 영역(CR)에 따라 각 프레임을 크롭(crop)하여 복수의 객체 프레임을 획득할 수 있다.
즉, S300 단계는 파악된 인원 수에 따라 전처리가 다르게 이루어져 객체 이미지 데이터를 얻을 수 있다.
행동 인식단계(S400)는 위험 감지 장치(2)가 파악된 인원에 따라 객체 이미지 데이터로부터 행동을 인식하는 단계로, 인공지능 모델 중 SlowFast 모델을 통해 객체의 행동을 인식할 수 있다.
상황 판단단계(S500)는 S400 단계에서 인식된 행동에 따라 위험 상황인지 일반 상황인지를 판단할 수 있다. S500 단계는 위험 상황으로 판단될 경우 S600 단계로 넘어가며, 일반 상황으로 판단될 경우 처음으로 돌아가 S100 단계부터 다시 진행되도록 할 수 있다.
경보 및 긴급연락 단계(S600)는 S500 단계에서 위험 상황으로 판단될 경우, 경보 장치(W)를 작동시키거나 등록된 단말(T)로 긴급 연락을 수행할 수 있다.
상기에서 설명한 바와 같이, 본 발명의 실시예에 따른 행동인식 기반 위험 상황 감지 시스템 및 방법은 영상을 활용하여 1인 가구에서 발생할 수 있는 고독사 또는 주거침입의 위험상황을 감지하는 것으로, 위험상황을 예방하거나 신속하게 대처할 수 있도록 한다.
또한 영상으로부터 획득된 이미지에 블러 처리를 하는 것으로 개인의 프라이버시를 보호하면서 위험상황을 감지할 수 있다.
또한 한 사람에 대한 행동만을 인식하는 것이 아닌 복수의 사람에 대한 행동을 인식하도록 하여 고독사 외에 주거침입 등 타인에 의한 위험상황도 감지할 수 있어, 다양한 위험상황에 대한 대처가 가능하다.
이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
1: 촬영부
2: 위험 감지 장치
20: 이미지 추출부
21: 객체 검출부
210: 인원 확인부
211: 이미지 전처리부
22: 행동 인식부
23: 알림부
24: 데이터 베이스
W: 경보 장치
T: 단말
BB: 사람에 해당하는 객체에 대한 바운딩 박스
CR: 크롭 영역

Claims (13)

  1. 주거 공간에 설치되어 촬영을 수행하는 촬영부 및
    상기 촬영부를 통해 촬영된 영상으로부터 이미지 데이터를 획득하고, 획득된 이미지 데이터에 블러 처리한 후 사람에 해당하는 객체의 행동을 인식하여 위험 상황에 대한 판단을 수행하는 위험 감지 장치를 포함하고,
    상기 위험 감지 장치는,
    상기 촬영부로부터 촬영된 영상을 수신 받아 복수의 프레임을 포함하는 상기 이미지 데이터를 획득하고, 상기 이미지 데이터에 블러 처리하는 이미지 추출부;
    블러 처리된 이미지 데이터에서 상기 객체를 검출하여, 검출된 객체에 따라 인원을 파악하고 전처리를 통해 객체 이미지 데이터를 생성하는 객체 검출부 및
    파악된 인원에 따라 상기 객체 이미지 데이터로부터 행동을 인식하여 위험 상황 여부를 판단하는 행동 인식부를 포함하는 행동인식 기반 위험 상황 감지 시스템.
  2. 제1항에 있어서,
    상기 객체 검출부는,
    블러 처리된 이미지 데이터의 프레임 별로 상기 객체에 대한 바운딩 박스(bounding box)를 추출하여 인원을 파악하는 인원 확인부 및
    상기 인원 확인부로부터 파악된 인원 정보에 따라 상기 이미지 데이터의 각 프레임을 크롭(crop)하여 복수의 객체 프레임을 획득하는 것으로, 상기 객체 이미지 데이터를 생성하는 이미지 전처리부를 포함하는 행동인식 기반 위험 상황 감지 시스템.
  3. 제2항에 있어서,
    상기 인원 확인부는,
    복수의 바운딩 박스가 추출되어 상기 인원이 두 사람 이상이라고 파악될 경우,
    상기 바운딩 박스 간의 교집합 영역 여부를 확인하는 것을 특징으로 하는 행동인식 기반 위험 상황 감지 시스템.
  4. 제3항에 있어서,
    상기 이미지 전처리부는,
    상기 인원이 한 사람으로 파악될 경우,
    상기 프레임 별로 추출된 바운딩 박스를 왼쪽 상단 꼭짓점 좌표와 오른쪽 하단 꼭짓점 좌표로 변환하여 박스 꼭짓점 좌표 정보를 획득하고,
    복수의 프레임을 기준으로 상기 박스 꼭짓점 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 최소최대 좌표를 추출하고,
    상기 최소최대 좌표를 기준으로 크롭 영역을 설정하여 각 프레임을 크롭(crop)하는 것을 특징으로 하는 행동인식 기반 위험 상황 감지 시스템.
  5. 제3항에 있어서,
    상기 이미지 전처리부는,
    상기 인원이 두 사람 이상이라고 파악되되, 상기 바운딩 박스 간의 교집합 영역이 존재할 경우,
    상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스들을 각각 왼쪽 상단 꼭짓점 좌표와 오른쪽 하단 꼭짓점 좌표로 변환하여 박스 꼭짓점 좌표 정보를 획득하고,
    상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스의 상기 박스 꼭짓점 좌표 정보들을 토대로 박스 영역의 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 박스 영역 좌표 정보를 추출하고,
    복수의 프레임을 기준으로 상기 박스 영역 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 최소최대 좌표를 추출하고,
    상기 최소최대 좌표를 기준으로 크롭 영역을 설정하여 각 프레임을 크롭(crop)하는 것을 특징으로 하는 행동인식 기반 위험 상황 감지 시스템.
  6. 제1항에 있어서,
    상기 행동 인식부는,
    행동 인식 모델을 통해 파악된 인원에 따라 상기 객체 이미지 데이터로부터 행동을 인식하여 위험 상황 여부를 판단하되,
    상기 행동 인식 모델은,
    상기 객체 이미지 데이터의 복수의 객체 프레임 중 일부를 입력 받아 공간 및 색에 대한 특징을 추출하는 Slow 모델;
    상기 Slow 모델 보다 많은 객체 프레임을 입력 받아 시간 변화에 따른 특징을 추출하는 Fast 모델 및
    상기 인원을 기준으로 상기 Slow 모델과 Fast 모델로부터 추출된 특징을 종합하여 행동을 인식하고, 인식된 행동에 따라 위험 상황 여부에 대한 판단을 수행하는 예측부를 포함하는 행동인식 기반 위험 상황 감지 시스템.
  7. 위험 감지 장치가 촬영부로부터 촬영된 영상을 수신 받아 복수의 프레임을 포함하는 이미지 데이터를 획득하는 이미지 추출단계;
    획득한 이미지 데이터에 블러 처리하는 블러 처리단계;
    블러 처리된 이미지 데이터에서 사람에 해당하는 객체를 검출하여 인원을 파악하고, 전처리를 통해 객체 이미지 데이터를 생성하는 객체 검출단계;
    파악된 인원에 따라 상기 객체 이미지 데이터로부터 행동을 인식하는 행동 인식단계 및
    인식된 행동에 따라 위험 상황 여부를 판단하는 상황 판단단계를 포함하는 행동인식 기반 위험 상황 감지 방법.
  8. 제7항에 있어서,
    상기 객체 검출단계는,
    블러 처리된 이미지 데이터의 프레임 별로 상기 객체에 대한 바운딩 박스(bounding box)를 추출하는 객체 추출단계 및
    추출된 바운딩 박스에 따라 인원을 파악하는 인원 확인단계를 포함하는 행동인식 기반 위험 상황 감지 방법.
  9. 제8항에 있어서,
    상기 객체 검출단계는,
    상기 인원 확인단계에서 파악된 인원 정보가 한 사람일 경우,
    상기 프레임 별로 상기 바운딩 박스를 변환하여 박스 꼭짓점 좌표 정보를 획득하고, 상기 박스 꼭짓점 좌표 정보를 활용해 각 프레임을 크롭(crop)하여 상기 객체 이미지 데이터의 복수의 객체 프레임을 획득하는 제1 전처리단계를 더 포함하는 행동인식 기반 위험 상황 감지 방법.
  10. 제9항에 있어서,
    상기 제1 전처리단계는,
    상기 프레임 별로 상기 바운딩 박스를 왼쪽 상단 꼭짓점 좌표와 오른쪽 하단 꼭짓점 좌표로 변환하여 박스 꼭짓점 좌표 정보를 획득하는 제1 좌표 변환단계;
    복수의 프레임을 기준으로 상기 박스 꼭짓점 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 최소최대 좌표를 추출하고, 상기 최소최대 좌표를 기준으로 크롭 영역을 설정하는 제1 크롭영역 설정단계 및
    상기 크롭 영역에 따라 각 프레임을 크롭(crop)하여 복수의 객체 프레임을 획득하는 제1 크롭 단계를 포함하는 행동인식 기반 위험 상황 감지 방법.
  11. 제8항에 있어서,
    상기 객체 검출단계는,
    상기 인원 확인단계에서 파악된 인원 정보가 두 사람 이상일 경우,
    상기 프레임의 상기 바운딩 박스 간의 교집합 영역 여부를 확인하는 교집합영역 판단단계 및
    상기 바운딩 박스 간의 교집합 영역이 존재할 경우, 상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스들을 변환하여 박스 꼭짓점 좌표 정보를 획득하고, 상기 교집합 영역이 존재하는 바운딩 박스들의 상기 박스 꼭짓점 좌표 정보를 활용해 각 프레임을 크롭(crop)하여 상기 객체 이미지 데이터의 객체 프레임을 획득하는 제2 전처리단계를 더 포함하는 행동인식 기반 위험 상황 감지 방법.
  12. 제11항에 있어서,
    상기 제2 전처리단계는,
    상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스들을 각각 왼쪽 상단 꼭짓점 좌표와 오른쪽 하단 꼭짓점 좌표로 변환하여 박스 꼭짓점 좌표 정보를 획득하는 제2 좌표 변환단계;
    상기 프레임 별로 교집합 영역이 존재하는 바운딩 박스의 상기 박스 꼭짓점 좌표 정보들을 토대로 박스 영역의 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 박스 영역 좌표 정보를 추출하는 박스영역 추출단계;
    복수의 프레임을 기준으로 상기 박스 영역 좌표 정보들을 비교하여 x좌표 기준 최소 값 상단 좌표와 최대 값 하단 좌표인 최소최대 좌표를 추출하고, 상기 최소최대 좌표를 기준으로 크롭 영역을 설정하는 제2 크롭영역 설정단계 및
    상기 크롭 영역에 따라 각 프레임을 크롭(crop)하여 복수의 객체 프레임을 획득하는 제2 크롭 단계를 포함하는 행동인식 기반 위험 상황 감지 방법.
  13. 제7항에 있어서,
    상기 상황 판단단계에서 위험 상황으로 판단될 경우, 경보 장치를 작동시키거나 등록된 단말로 긴급 연락을 수행하는 경보 및 긴급연락 단계를 더 포함하는 행동인식 기반 위험 상황 감지 방법.
KR1020210180444A 2021-12-16 2021-12-16 행동인식 기반 위험 상황 감지 시스템 및 방법 KR102615378B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210180444A KR102615378B1 (ko) 2021-12-16 2021-12-16 행동인식 기반 위험 상황 감지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210180444A KR102615378B1 (ko) 2021-12-16 2021-12-16 행동인식 기반 위험 상황 감지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230091380A true KR20230091380A (ko) 2023-06-23
KR102615378B1 KR102615378B1 (ko) 2023-12-19

Family

ID=86993848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210180444A KR102615378B1 (ko) 2021-12-16 2021-12-16 행동인식 기반 위험 상황 감지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102615378B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052270A (ja) * 1999-08-10 2001-02-23 Tokyu Community Corp 遠隔監視システム
KR101081861B1 (ko) * 2009-06-29 2011-11-09 주식회사세오 움직이는 객체의 영상정보에 기반한 폭행상황 검출방법
KR101932535B1 (ko) * 2012-08-27 2018-12-27 한화테크윈 주식회사 실내 감시 시스템 및 실내 감시 방법
KR20200040885A (ko) * 2018-03-06 2020-04-20 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 타겟 추적 방법 및 장치, 전자 기기, 저장 매체
CN112651292A (zh) * 2020-10-01 2021-04-13 新加坡依图有限责任公司(私有) 基于视频的人体动作识别方法、装置、介质及电子设备
KR20210090771A (ko) 2020-01-10 2021-07-21 한국기술교육대학교 산학협력단 독거노인 전용 원격 모니터링 IoT 모듈러 하우스 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052270A (ja) * 1999-08-10 2001-02-23 Tokyu Community Corp 遠隔監視システム
KR101081861B1 (ko) * 2009-06-29 2011-11-09 주식회사세오 움직이는 객체의 영상정보에 기반한 폭행상황 검출방법
KR101932535B1 (ko) * 2012-08-27 2018-12-27 한화테크윈 주식회사 실내 감시 시스템 및 실내 감시 방법
KR20200040885A (ko) * 2018-03-06 2020-04-20 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 타겟 추적 방법 및 장치, 전자 기기, 저장 매체
KR20210090771A (ko) 2020-01-10 2021-07-21 한국기술교육대학교 산학협력단 독거노인 전용 원격 모니터링 IoT 모듈러 하우스 시스템
CN112651292A (zh) * 2020-10-01 2021-04-13 新加坡依图有限责任公司(私有) 基于视频的人体动作识别方法、装置、介质及电子设备

Also Published As

Publication number Publication date
KR102615378B1 (ko) 2023-12-19

Similar Documents

Publication Publication Date Title
KR102553883B1 (ko) 비디오 감시 시스템에서 경보들을 발생시키는 방법
CN108027874B (zh) 使用深度摄像头的基于计算机视觉的安全系统
EP3333762A1 (en) Crowd analytics via one shot learning
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
JP2007209008A (ja) 監視装置
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
KR101075550B1 (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
JP3910626B2 (ja) 監視装置
US11689810B2 (en) Adaptable incident surveillance system
CN107122743A (zh) 安防监控方法、装置和电子设备
KR20190119212A (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
KR20210155655A (ko) 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
KR102580434B1 (ko) 위험 상황 감지 장치 및 위험 상황 감지 방법
KR102615378B1 (ko) 행동인식 기반 위험 상황 감지 시스템 및 방법
KR20210013865A (ko) 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법
KR102424098B1 (ko) 딥러닝을 이용한 드론 검출 장치 및 방법
KR20230064095A (ko) 딥러닝 기반 영상분석을 통한 이상행동 탐지 장치 및 방법
CN112818929B (zh) 一种人员斗殴检测方法、装置、电子设备及存储介质
KR102647328B1 (ko) 엣지형 감시카메라 ai 이상상황 탐지제어장치 및 방법
KR102671607B1 (ko) 영상 기반 재난 감지 방법 및 장치
KR20210094931A (ko) 영상 기반 재난 감지 방법 및 장치
TW202403664A (zh) 一種具安全照護及高隱私處理的跌倒及姿態辨識方法
CN113822222A (zh) 人脸反作弊方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant