KR102410286B1 - 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치 - Google Patents

딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치 Download PDF

Info

Publication number
KR102410286B1
KR102410286B1 KR1020210160602A KR20210160602A KR102410286B1 KR 102410286 B1 KR102410286 B1 KR 102410286B1 KR 1020210160602 A KR1020210160602 A KR 1020210160602A KR 20210160602 A KR20210160602 A KR 20210160602A KR 102410286 B1 KR102410286 B1 KR 102410286B1
Authority
KR
South Korea
Prior art keywords
fall
electronic device
module
determined
patient
Prior art date
Application number
KR1020210160602A
Other languages
English (en)
Inventor
김보형
홍천산
김범석
박성연
Original Assignee
주식회사 씨앤에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨앤에이아이 filed Critical 주식회사 씨앤에이아이
Priority to KR1020210160602A priority Critical patent/KR102410286B1/ko
Application granted granted Critical
Publication of KR102410286B1 publication Critical patent/KR102410286B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Emergency Management (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 다양한 실시 예에 따르면, 복수의 환자를 촬영하는 복수의 카메라 각각으로부터 영상을 획득하는 단계; 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계; 상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하는 단계; 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계; 및 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계;를 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치를 제공한다.

Description

딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치{METHOD FOR DETECTING A FALLING ACCIDENT BASED ON DEEP LEARNING AND ELECTRONIC DEVICE THEREOF}
딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치에 관한 것으로서, 보다 상세하게는, 딥러닝에 기반하여 복수의 영상으로부터 발생되는 낙상 사고를 감지하는 방법 및 그 전자장치에 관한 것이다.
낙상사고 동작 영상 데이터가 활용되는 글로벌 스마트 병원시장 규모는 153조원으로 전망되며(2027년 기준), 정부는 입원 환자의 실시간 모니터링 및 의료기관간 협진이 가능한 스마트 병원을 2025년까지 18개 구축할 예정에 있다.
의료 기관과 헬스케어 기술 관련 기존 기업에서는 낙상사고 예방 및 감지를 위한 다양한 기기를 개발하고 있으나 제품 특성에 따른 한계를 지니며, 기존에 구축된 AI 허브 데이터(사람 동작 영상 AI 데이터) 또한 낙상 감지 솔루션 개발에 한계를 지니고 있다.
환자의 입장에서 고려하면 환자들의 낙상사고에 의한 손상은 환자 개인의 삶의 질 저하, 총 의료비용 상승 등 경제적 손실과 함께 사회적 부담을 증가시킬 수 있다. 또한, 낙상 사고에 의해 환자 개개인은 골절, 뇌출혈에 이어 사망 위험성까지 존재할 수 있다.
이러한 상황에서 환자의 낙상 사고를 탐지할 수 있다면, 초기 대응을 빠르게 할 수 있고 환자의 사망 가능성 역시 줄일 수 있을 것이다. 또한, 인공지능 모델 등을 통해 낙상 사고의 가능성을 자동적으로 미리 판단할 수 있다면 경제적 이익까지 확보할 수 있을 것이다.
이에 따라, 본 발명자는 인공지능 모델을 이용하여 낙상 사고를 감지하는 방법 및 그를 이용한 시스템을 제안하고자 한다.
본 발명의 다양한 실시 예에 따르면, 딥러닝을 활용하여 의료기관 내부에서의 낙상 사고에 대해 실시간으로 빠르게 대처하는 것뿐 아니라 미리 방지하여 스마트 병원 도입을 추진하는 것을 다른 목적으로 한다.
또한, 본 발명은 카메라 등을 통해 확보한 복수 영상의 각 프레임 이미지를 기반으로 동시에 다수의 환자에 발생될 수 있는 낙상 사고를 감지하거나 예방하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따르면, 복수의 환자를 촬영하는 복수의 카메라 각각으로부터 영상을 획득하는 단계; 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계; 상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하는 단계; 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계; 및 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계;를 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법을 제공한다.
여기서, 상기 딥러닝 모듈은, mask regions with convolutional Neural Network(mask R-CNN) 아키텍처의 적어도 일부를 포함하며, 복수의 spatial-temporal graph convolutional neural network(ST-GCN)에 대하여 학습된 것일 수 있다.
여기서, 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계는, 상기 획득한 영상들 각각에 대하여 동일 또는 유사한 시점에 촬영된 프레임 이미지들을 하나의 이미지에 배치하여 새로운 프레임 이미지로 생성하는 단계; 및 상기 새로운 프레임 이미지에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계;를 포함할 수 있다.
여기서, 상기 키포인트 수는, 상기 사람의 특정 신체 위치를 나타내는 좌표의 수일 수 있다.
여기서, 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계는, 상기 낙상으로 결정되는 적어도 하나의 프레임에 기반하여 앞, 뒤 또는 옆으로 쓰러지는지, 주저 않는지, 또는 침대에서 떨어지는지에 대한 환자의 자세를 결정하는 단계;를 더 포함할 수 있다.
여기서, 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계는, 상기 환자의 자세에 따라서 지정된 패턴의 신호를 출력하는 것일 수 있다.
여기서, 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계는, 상기 낙상으로 결정되는 시점으로부터 지정된 시간 범위의 프레임 이미지들을 저장하는 것일 수 있다.
본 발명의 다양한 실시 예에 따르면, 복수의 카메라 및 적어도 하나의 신호기와 통신하는 통신부; 상기 통신부를 통하여 송수신하는 데이터를 저장하는 저장부; 복수의 환자를 촬영하는 상기 복수의 카메라 각각으로부터 영상을 획득하고, 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하며, 상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하고, 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하며, 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 상기 신호기를 통하여 낙상 알림을 처리하는 처리부;를 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치를 제공한다.
본 발명의 다양한 실시 예에 따르면, 딥러닝을 활용하여 의료기관 내부에서의 낙상 사고에 대해 실시간으로 빠르게 대처하는 것뿐 아니라 미리 방지하여 스마트 병원 도입을 추진하는 효과가 있다.
또한, 복수의 카메라를 통해서 촬영되는 복수의 영상으로부터 환자의 상태를 실시간으로 추적할 수 있고, 동시에 다수의 환자에 대하여 발생되는 낙상 사고를 처리할 수 있다.
또한, 카메라 등을 통해 확보한 영상의 각 프레임 이미지를 분석하고, 다양한 프레임 이미지들의 환자의 신체 특징 정보에 기반하여 환자 낙상 사고 가능성을 판단하는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 전자장치 및 연결된 장치들을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 전자장치에서 낙상 사고를 감지하는 동작의 구조를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 전자장치에서 낙상 사고를 감지하기 위한 동작의 구조를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 전자장치에서 수행하는 낙상 사고를 감지하는 동작의 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 전자장치에서 영상을 처리하는 동작을 도시한다.
이하에서, 첨부된 도면을 참조하여 실시 예들을 상세하게 설명한다. 그러나, 실시 예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 실시 예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시 예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안 된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시 예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
본 발명의 다양한 실시 예에 따르면, 전자장치는 카메라를 통해서 촬영되는 영상의 이미지에 기반하여 촬영되는 환자의 낙상을 감지하는 방법 및 그 전자장치를 제공한다.
이하, 도 1 내지 도 6을 참조하여 본 발명의 바람직한 실시 예들을 설명한다.
본 명세서에 첨부되는 도면들은 본 발명의 바람직한 일 실시 예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시 예에 따른 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 전자장치(100)는 처리부(110), 저장부(120), 및 통신부(130)를 포함할 수 있다.
처리부(110)는 카메라를 통해서 촬영되는 이미지에 기반하여 환자의 낙상 사고를 감지할 수 있다. 이하 본 발명의 다양한 실시 예에 따르면, 낙상 사고를 감지하는 대상이 되는 객체에 대하여 '환자'의 용어를 사용하고 있지만, 이에 한정하지 않고, 보호자, 방문객, 성인, 아이 등 사람의 형체를 가지고 낙상 사고의 대상이 될 수 있는 다양한 객체를 적용할 수 있음은 자명하다.
일 실시 예에 따르면, 처리부(110)는 통신부(130)를 통하여 적어도 하나의 카메라, 신호기(또는 신호발생기), 사용자 장치 또는 서버와 데이터를 송수신할 수 있다. 이때, 전자장치는 낙상 사고를 감지하기 위한 프로그램(앱, 어플, 툴, 플러그인 등, 이하 컨텐츠 추천 프로그램)을 통해서 수신되는 이미지(또는 영상)를 처리할 수 있고, 낙상 사고를 감지하는 경우 신호기를 통하여 지정된 신호를 출력하도록 처리할 수 있다.
여기서, 낙상 사고를 감지하기 위한 프로그램은 전자장치(100)의 저장부(120)에 설치된 상태로 처리부(110)에 의하여 동작될 수 있지만, 이에 한정하지 않고, 저장부(120)에 기설치된 다른 프로그램 또는 임시 설치 프로그램을 통하여 제공될 수도 있다. 일 실시 예에 따르면, 낙상사고를 감지하기 위한 프로그램은 전자장치(100)의 외부 장치에서 무료 또는 유로로 제공되는 데이터베이스의 적어도 일부를 통하여 처리되는 것일 수 있다.
처리부(110)는 연결된 적어도 하나의 카메라, 또는 전자장치(100)에 포함된 적어도 하나의 카메라를 통해서 이미지를 처리한다. 이때, 처리부(110)는 수신하는 영상으로부터 프레임 단위의 이미지(이하, 프레임 이미지)를 확인하고, 프레임 이미지에 포함된 복수의 객체(object)들을 감지(detect)할 수 있다.
처리부(110)는 프레임 이미지들에서 감지된 객체들의 움직임을 확인하고, 객체들이 특정 상황에 처했는지 여부를 확인할 수 있다. 예를 들면, 처리부(110)는 프레임 이미지들에서 환자가 촬영된 프레임 이미지를 확인할 수 있고, 프레임 이미지에 포함된 사람이 둘 이상인 것으로 확인되는 경우 각각의 환자에 대하여 감지한 것으로 결정할 수 있다.
처리부(110)는 프레임 이미지들에서 확인된 환자의 움직임에 기반하여 낙상 사고가 발생되었는지 여부를 확인할 수 있다. 일 실시 예에 따르면, 처리부(110)는 프레임 이미지의 감지된 환자로부터 특정 신체 위치를 확인하고, 특정 신체 위치에 대응되는 좌표 및 좌표의 움직임에 기반하여 낙상 사고가 발생되었는지 여부를 결정할 수 있다.
이때, 처리부(110)는 적어도 하나의 인공신경망 알고리즘을 적용하여 낙상 사고가 발생되었는지 여부를 결정할 수 있다. 일 실시 예에 ‹x르면, 처리부(110)는 컨볼루션 신경망(convolutional neural network, CNN) 아키텍처의 적어도 일부를 포함하는 인공신경망 알고리즘에 기반하여 프레임 이미지로부터 낙상 사고가 발생되었는지 여부를 결정할 수 있다. 보다 상세하게는, mask regions with convolutional Neural Network(mask R-CNN) 아키텍처의 적어도 일부 기능을 포함하는 인공신경망 알고리즘에 기반하여 프레임 이미지로부터 낙상 사고가 발생되었는지 여부를 결정할 수 있다.
저장부(120)는 전자장치(110)의 적어도 하나의 구성요소(예: 처리부(110) 또는 통신부(130)에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 낙상 사고를 감지하기 위한 프로그램(또는 소프트웨어), 카메라로부터 수신한 영상, 및 영상 각각으로부터 획득한 프레임 이미지, 및 이를 처리하기 위한 명령 및 입력 데이터 또는 출력 데이터를 포함할 수 있다.
저장부(120)는 낙상 사고를 감지하기 위한 인공신경망(또는 인공지능) 알고리즘 및 이와 관련된 메커니즘, 연산자, 언어모델, 학습 데이터 중 적어도 일부를 포함할 수 있다.
저장부(120)에 저장된 데이터는 처리부(110)의 지정된 동작에 기반하는 데이터 처리, 또는 전자장치(100)의 관리자 입력에 기반하여 변경, 수정, 삭제, 또는 생성될 수 있다.
저장부(120)는, 휘발성 메모리 또는 비휘발성 메모리를 포함하여 구성될 수 있다.
통신부(130)는 전자장치(100)와 적어도 하나의 다른 장치(예: 서버)의 유선 통신 채널의 수립, 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
통신부(130)는 처리부(110)에 종속적 또는 독립적으로 운영되고, 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신부(130)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다.
통신부(130)는 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크 및/또는 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자장치와 통신할 수 있다.
통신부(130)를 구성하는 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
다양한 실시 예에 따르면, 전자장치(100)는 상술한 구성요소들에 한정하지 않고, 영상을 촬영하는 카메라(미도시), 알람을 출력하는 신호부(미도시), 데이터를 입력하는 입력부(미도시), 및 데이터를 출력하는 출력부(미도시) 중 적어도 하나를 더 포함하여 구성될 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자장치(100) 또는 사용자 장치는 이동통신단말기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 internet protocol(IP) 단말기 등을 비롯한 모든 정보통신기기가 적용될 수 있다. 보다 상세하게, 전자장치(100)는 휴대폰, 피씨(personal computer, PC), 피엠피(portable multimedia player, PMP), 엠아이디(mobile internet device, MID), 스마트폰(smartphone), 태블릿 PC, 패블릿 PC, 노트북(notebook) 등을 예시할 수 있다. 본 발명의 다양한 실시 예에 따르면, 사용자 장치는 전자장치(100)를 통해서 치아보험 관련 서비스를 이용하는 고객의 장치(예: 고객 장치)로 설명할 수 있다.
특히, 전자장치(100)는 낙상 사고를 감지하기 위한 데이터를 처리하는 장치로서 워크스테이션(workstation), 또는 대용량의 데이터베이스(database) 중 적어도 일부를 포함하거나 또는 통신부(130)를 통하여 연결되도록 구성될 수 있다.
본 발명의 다양한 실시 예예 따르면, 전자장치(100)는 낙상 사고를 강지하는 동작의 인공신경망 알고리즘을 전자장치(100)가 처리하는 것으로 설명하고 있지만, 이에 한정하지 않고, 전자장치(100) 외부의 워크스테이션(workstation), 또는 대용량의 데이터베이스(database)와 연결되어 처리할 수 있다.
예를 들면, 전자장치(100)는 카메라로부터 수신되는 영상을 외부의 서버로 전송하거나, 카메라로부터 서버에 전송하도록 처리할 수 있다. 전자장치(100)는 서버에서 처리된 인공신경망 알고리즘의 결과를 수신하여 환자에게 낙상 사고가 발생되었는지 여부를 결정할 수 있다.
서버는 네트워크 상에 존재하는 하나의 엔티티로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)의 역할을 수행한다. 바람직한 일 실시 예에 따르면, 서버는 전자장치(100)의 처리에 기반하여 사용자 장치에 다양한 컨텐츠를 사용자 장치에 제공할 수 있다. 이때, 사용자 장치에 제공되는 컨텐츠는 전자장치(100)에 전송된 후 전자장치(100)가 사용자 장치에 전송할 수 있고, 또는 전자장치(100)의 처리에 의하여 서버에서 사용자 장치로 전송될 수 있다.
상술한 워크스테이션 또는 대용량의 데이터비에스는 서버에 포함되거나, 또는 서버에 연결될 수 있다.
다양한 실시 예에 따르면, 낙상 사고 감지를 위하여 요구되는 적어도 하나의 카메라 또는 신호기는 전자장치(100) 외부에서 통신부(130)를 통하여 전자장치(100)와 데이터를 송수신할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 전자장치 및 연결된 장치들을 도시한 도면이다.
전자장치(100)는 낙상 사고를 감지하기 위하여 카메라(210, 230) 및 신호기(250) 중 적어도 하나의 장치와 연결될 수 있다.
본 발명의 다양한 실시 예에 따르면, 카메라(210, 230)는 cctv, 열화상 카메라, 휴대폰 카메라 등 다양한 종류의 카메라를 포함하고, 전자장치(100)는 상기 카메라로부터 영상을 획득할 수 있다. 카메라(210, 230)로부터 획득한 영상들에 대해 전자장치(100)는 저장부(120)에 저장하고 이를 이용할 수 있다.
또한, 카메라(210, 230)는 의료기관(ex 병원, 요양원 등) 내부에 설치되어 복도, 병실, 침대 등을 촬영할 수 있다. 특히 침대를 촬영하는 경우, 해당 카메라는 침대 방향으로 고정되어 있을 수도 있고, 이동하면서 침대를 촬영할 수도 있을 것이다.
다양한 실시 예에 따르면, 의료기관 내부(ex 복도, 병실, 침대 등)를 촬영하는 카메라가 존재할 수 있으며, 도 2를 참고하면, 2개의 카메라(210, 230)를 도시하고 있지만, 카메라는 선택적으로 추가될 수도 있다.
전자장치(100)는 적어도 하나의 카메라를 컨트롤할 수 있고, 카메라(210, 230)로부터 영상을 획득할 수 있다. 여기서, 영상은 복도, 병실, 침대 및 침대 주변 영역을 촬영하는 영상 이미지에 해당할 수 있고, 복수의 침대 및 각 주변 영역을 촬영하는 영상 이미지에 해당할 수도 있다.
예를 들면, 카메라(210, 230)은 하나의 병실 또는 병실에 위치한 하나의 침대를 앵글(angle)을 달리하여 촬영하도록 설치될 수 있고, 또는 각각의 카메라가 각각의 병실 또는 각각의 병실에 위치한 침대를 촬영하도록 설치될 수 있다. 또 다른 예를 들면, 카메라(210, 230) 각각은 하나의 병실에 위치한 서로 다른 침대를 앵글(angle)에 포함하여 촬영하도록 설치될 수 있다.
도 2를 참고하면, 전자장치(100)는 2개의 카메라와 연결된 것으로 도시하고 있지만, 이에 한정하지 않고, 적어도 하나의 카메라가 추가로 연결될 수 있다. 뿐만 아니라, 전자장치(100)는 하나의 카메라가 연결되어 낙상 사고 감지를 수행할 수도 있다.
본 발명의 다양한 실시 예에 따르면, 신호기(260)는, 소리를 출력하는 버저(buzzer), 싸이렌, 스피커 중 적어도 하나 및/또는 빛을 출력하는 경광등 중 적어도 하나를 포함하고, 전자장치(100)는 낙상 사고의 발생, 또는 낙상 사고의 발생 가능성을 결정하는 경우 신호기(260)를 통해서 지정된 소리를 출력할 수 있다.
신호기(260)는 전자장치(100)에 포함되어 구성되거나, 카메라 주변, 또는 지정된 위치, 예를 들면, 간호사 데스크 주변, 병실 입구, 병실의 침대 주변에 위치할 수 있다.
다양한 실시 예에 따르면, 전자장치(100)는 통신부(130)를 통해 외부 웹, 외부 단말, 웨어러블 기기, 관제센터 등 다양한 장치에 낙상 사고 발생 또는 낙상 사고 경고 신호(또는 경고 신호 발생 사실)를 전달할 수 있고, 이를 기초로 스마트 병원을 구축할 수 있을 것이다.
참고로, 전자장치(100)는 낙상사고 가능성의 가중치를 기초로 신호기(260)의 경고 신호를 다르게 출력할 수 있다. 구체적으로, 낙상 사고가 이미 이루어진 경우 또는 낙상 사고의 가능성이 있는 경우, 낙상사고 가능성이 낮은 경우 등 환자의 낙상 사고 상황에 따라서 소리의 db, 소리의 패턴, 경광등 출력 여부 등을 다르게 출력하도록 처리할 수 있고, 이때 소리의 db, 소리의 패턴, 경광등 출력 여부 등은 필요에 따라서 선택적으로 결정 또는 조합될 수 있다
도 2를 참고하면, 전자장치(100)는 1개의 신호기와 연결된 것으로 도시하고 있지만, 이에 한정하지 않고, 적어도 하나의 신호기가 추가로 연결될 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자장치(100)가 적어도 하나의 카메라 또는 적어도 하나의 신호기와 연결된 것으로 설명하고 있지만, 연결된 것의 의미는 전자장치(100)의 내부에 포함된 것을 의미할 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 전자장치에서 낙상 사고를 감지하는 동작의 구조를 도시한다.
카메라를 통해서 촬영된 영상은 전자장치(100)의 mask regions with convolutional Neural Network(mask R-CNN)의 동작 일부에 기반하여 처리될 수 있다. 전자장치(100)는 mask R-CNN 모듈(301)에 기반하여, 영상들 각각의 프레임 이미지 상에서 검출된 환자의 위치에 대한 특정 좌표들을 결정할 수 있다. 일 실시 예에 따르면, mask R-CNN 모듈(301)의 처리 결과로 결정되는 환자의 위치에 대한 특정 좌표들은 각각의 프레임 이미지 상에서 환자의 신체 특정 위치에 대한 좌표일 수 있다.
전자장치(100)는 환자 위치에 대한 특정 좌표들을 이용하여 낙상 사고를 감지하기 위한 spatial-temporal graph convolutional neural network(ST-GCN)의 학습을 처리할 수 있다. 일 실시 예에 따르면, 전자장치(100)는 ST-GCN(303, 305)의 학습에 있어서 네거티브 샘플링(negative sampling), 역전파(backpropagation) 알고리즘, 및/또는 가중치 중 적어도 일부를 적용하여 발생되는 오차를 보정할 수 있다.
도 3에 따르면, 전자장치(100)의 낙상 사고를 감지하는 동작에서 인공신경망 알고리즘의 학습을 위하여 2개의 ST-GCN(303, 305) 모듈을 포함하는 것으로 도시하고 있지만, 이에 한정하지 않고, 적어도 하나의 ST-GCN 모듈을 추가로 포함할 수 있다.
전자장치(100)는 학습된 인공신경망 알고리즘에 기반하여 카메라 영상의 프레임 이미지를 입력으로 ST-GCN(305)의 연산 결과를 출력할 수 있고, 연산 결과를 fully connected layer(FC layer)의 입력으로 처리함으로써 특정 환자의 낙상 여부를 결정할 수 있다.
여기서, FC layer(307)는 낙상 발생 여부를 판단하기 위하여, ST-GCN(305)의 연산 결과를 기반으로 지정된 연산을 추가로 계산할 수 있다.
전자장치(100)는 ST-GCN(305)의 연산 결과에 포함된 키포인트 및 키포인트들의 변화에 기반하여 낙상 사고 및 낙상 사고가 발생한 환자를 결정할 수 있다.
도 3에 도시하고 있지는 않지만, 전자장치(100)는 낙상 사고가 발생된 환자에 대하여 신호비를 통하여 지정된 알림을 출력할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 전자장치에서 낙상 사고를 감지하기 위한 동작의 구조를 도시한다.
도 4는 mask R-CNN 아키텍처의 개략적인 동작의 구조에 관한 것이며, mask R-CNN 아키텍처는 backbone(401) 모듈, region proposal network(RPN)(403) 모듈, RoI align(405) 모듈, keypoint head(407) 모듈, bbox head(409) 모듈, 및 classification head(411)을 포함할 수 있다.
backbone(401) 모듈에서, 전자장치(100)는 적어도 하나의 프레임 이미지로부터 지정된 특징(feature)을 추출하고, 지정된 사이즈의 피처맵(feature map)을 생성할 수 있다.
backbone(401) 모듈은 CNN layer 및 activation layer의 결합에 기반하여 복수의 층(layer)으로 구성될 수 있다. 본 발명의 다양한 실시 예에 따르면, 백본 네트워크(backbone network)는 AlexNet, VGG16, ResNet 모델 중 적어도 하나의 기능에 기반하여 동작할 수 있다.
일 실시 예에 따르면, 전자장치(100)는 카메라로 촬영된 영상으로부터 획득한 프레임 이미지(최초 이미지, initial image)에 기반하여 지정된 사이즈, 예를 들면, 1x3x800x800 사이즈의 입력 이미지(input image)를 생성하고, 생성된 입력 이미지를 입력으로 backbone(401) 모듈에 설정된 알고리즘에 기반하여 처리하며, 1x256x100x100의 이미지를 결과물로 출력할 수 있다. 여기서, 1x3x800x800의 구조에서 1은 이미지 수, 3은 RGB 채널, 800, 800은 높이(height), 너비(width)로 정의되며, (1, 3, 3800, 800)로 표현될 수 있다.
이때, 전자장치(100)는 프레임 이미지를 1x3x800x800 사이즈의 입력 이미지(initial image)로 리사이징(resizing) 함에 있어서, 이중선형보간법(bilinear interpolation), 및/또는 패딩(padding)에 기반하여 프레임 이미지를 처리할 수 있다.
RPN(403) 모듈에서, 전자장치(100)는 backbone(401)의 결과물을 입력값으로, 지정된 사이즈의 앵커 박스(anchor box)를 선정하고, 그 앵커 박스 안에 객체가 있는지 없는지 결정할 수 있다.
여기서, 앵커박스는, 100x100 사이즈를 가지는 픽셀(pixel)에 대해, 각 픽셀을 기준으로 1:1, 2:1, 1:2 등 다양한 비율(ratio)의 앵커 박스를 만드는 것이다. 예를 들면, 지정된 특징을 추출하여 나온 결과물의 시각적 사이즈(예: HxW)가 100x100일 경우, 9개의 앵커 박스를 처리했을 때, 9*100*100 = 90000개의 픽셀이 결정될 수 있다.
전자장치(100)는 RPN(403) 모듈에 입력되는 이미지로부터 백그라운드(background)를 포함하여 검출된 객체에 대한 앵커 박스를 처리할 수 있다.
예를 들면, 입력된 이미지에 대하여 수행되는 1레이어의 처리 결과 1개의 배경과 1개의 환자를 검출한 경우 결과는 2x 앵커 박스로 출력할 수 있다. 전자장치(100)는 검출된 백그라운드의 앵커 박스를 카운트하여 인공신경망 알고리즘의 학습에 포함할 수 있고, 이를 위하여 각 메트릭스의 픽셀 값에는 해당 픽셀이 환자인지 여부에 대한 확률을 표시하는 신뢰값(confidence value)를 포함할 수 있다.
전자장치(100)는, RPN(403) 모듈의 처리 결과에서 지정된 임계(threshold)의 예상값(predicted value)을 만족(이상 또는 초과)하는 값들만 남도록 필터링(filtering)을 수행할 수 있다. 전자장치(100)는 [HxW] = 100x100에 대응하며, N이 이미지 수를 가지는 Nx256x100x100의 이미지를 출력하며, 이를 피처맵의 픽셀들에 대한 좌표를 입력 이미지의 800x800에 대응하여 매칭시킬 수 있다.
전자장치(100)는 이를 통하여 M개의 고정된 사이즈를 가지는 RoI 행렬(matrix, 매트릭스)를 생성할 수 있다.
이때, 앵커 박스들 중 적어도 일부는 사이즈가 다를 수 있고, 따라서 RoI 특징들의 공간 사이즈(spatial size)가 다를 수 있기 때문에, 전자장치(100)는 RoI align(405) 모듈의 처리에 기반하여 고정된 사이즈의 피처맵으로 특징값을 매핑시킬 수 있다.
RoI align(405) 모듈에서, 전자장치(100)는 RPN(403) 모듈의 처리 결과 각각에 대하여 설정된 RoI 영역(region)을 리사이징(resizing)할 수 있다. 예를 들면, 전자장치(100)는 처리 결과 각각에 대하여 설정된 RoI를 3x3 사이즈의 RoI로 처리하기 위한 프로세스를 수행할 수 있다.
여기서, 전자장치(100)는 설정된 RoI 내부에 3x3 풀링 레이어를 위하여 지정된 사이즈의 박스들를 생성하며, 각 박스에 대해서 4개의 point를 검출할 수 있다. 예를 들면, 전자장치(100)는 각 박스들의 너비 및 높이를 3등분해서 4개의 샘플링 포인트(sampling point)를 확인할 수 있다. 즉, 박스의 사이즈가 (3x3)이라면, sampling point는 (1,1), (1,2), (2,1), (2,2)로 결정될 수 있다. 전자장치(100)는 이 과정을 설정된 RoI 내부의 박스들에 대하여 적용할 수 있고, 따라서 3x3 ROI ALIGN을 처리하면, 4x9= 36개의 샘플링 포인트를 단일 ROI(예: RPN 결과)에 대해 생성할 수 있다. 그리고, 전자장치(100)는 이중선형보간법에 기반하여 기 결정된 샘플링 포인트에 들어갈 픽셀 값을 결정할 수 있다.
일 실시 예에 따르면, 전자장치(100)는 각 샘플링 포인트의 인접한 픽셀의 값에 기반하는 이중선형보간방정식을 통하여 픽셀 좌표를 결정할 수 있고, 이때, 각 픽셀의 값들도 이중선형보간방정식에 따라서 보존될 수 있다.
전자장치(100)는 각각의 박스의 샘플링 포인트들에 대하여 결정된 샘플링된 값에 대하여 맥스풀링(maxpooling)을 적용하여 지정된 수(예: 1개)의 값(예: 최대값)을 결정함으로써 3x3의 고정된 특징의 사이즈를 결정할 수 있다.
전자장치(100)는 Nx256x100x100의 이미지를 입력으로 RPN(403) 모듈 및 RoI align(405) 모듈의 프로세스를 수행하여 Mx256x14x14의 이미지를 결과 값으로 출력할 수 있다. 여기서, M은 RPN(403)을 통해서 결정된 고정된 사이즈의 RoI 행렬의 수로 결정되며, 환자의 수에 대한 변수로서 처리될 수 있다.
BBox head(409) 모듈 및/또는 classification head(411)에서, 전자장치(100)는 fully connected layer(FC layer)를 적용할 수 있다.
키포인트 헤드(keypoint head)(407) 모듈에서, 전자장치(100)는 각 박스에 대하여 17개의 키포인트를 가지는 transposed convolution을 적용함으로써 각 키포인트마다 좌표 매핑을 56x56 사이즈까지 확대시킬 수 있다.
전자장치(100)는 키포인트 헤드(407) 모듈의 결과에 기반하여 Mx17x56x56 사이즈의 마스크를 결정하고, 이를 입력 이미지에 대응되는 키포인트 좌표 (M, k, x, y)로 결정할 수 있다. 여기서, k는 키포인트의 수로서 일 실시 예에 따르면, 17로 결정될 수 있고, M은 환자의 수로 결정될 수 있다.
예를 들면, 전자장치(100)는 1x1x5x56에 존재하는 마스크에서 (x mask index, y mask index)의 좌표에 키포인트가 있다고 가정하면, x 값은 '(최초 이미지(또는 입력 이미지)의 높이 / 마스크 이미지의 높이) * x mask index'로 결정할 수 있고, y 값은 '(최초 이미지(또는 입력 이미지)의 너비 / 마스크 이미지의 너비) * y mask index'로 결정할 수 있다.
전자장치(100)는 이 과정을 M에 대응되는 17회 수행하여 각각의 x, y 좌표를 결정할 수 있고, 카메라를 통해 촬영된 영상의 프레임 이미지의 수가 T인 경우 (T, M, x, y)를 결정할 수 있다.
전자장치(100)는 키포인트 헤드(407) 모듈을 포함하는 헤드 모듈들의 결과에서 키포인트들은 각각의 프레임 이미지 상에서 확인되는 환자의 위치를 추론한 결과일 수 있다. 전자장치(100)는 헤드 모듈들의 추론 결과를 ST-GCN(305) 모듈의 입력 값으로 적용하여 환자에 대한 포즈 키포인트(pose keypoint)를 결정할 수 있다.
다양한 실시 예에 따르면, 전자장치(100)는 환자의 관절, 즉 키포인트들의 상태 변화들을 확인함으로써 포즈 키포인드를 결정할 수 있고, 환자가 어떠한 자세로 낙상하는지 여부를 결정할 수 있다.
예를 들면, 전자장치(100)는 포즈 키포인트의 변화에 기반하여 환자가 앞, 뒤 또는 옆으로 쓰러지는지, 주저 않는지, 침대에서 떨어지는지 등의 자세 변화를 탐지하고, 다양한 자세 변화로부터 낙상 여부를 감지할 수 있다.
전자장치(100)는 환자의 낙상 상태에 따라서 지정된 신호를 출력하도록 처리할 수 있다.
전자장치(100)는 헤드 모듈들의 추론 결과를 ST-GCN(예: 도 3의 303, 305) 모듈에 입력 값으로서 적용하기 위하여 (C, T, V, M)의 행렬로 치환할 수 있다. 여기서, C는 채널(x 좌표, y좌표)의 수, T는영상을 구성하는 프레임 이미지 수, V는 17개의 키포인트로서 환자의 특정 관절(node로서 표시될 수 있다)의 수에 대응, M은 영상에서 확인된 환자의 수로 정의될 수 있다.
전자장치(100)는 (C, T, V, M) 데이터 및 (C, T, V, M) 데이터로부터 결정된 환자 당 17개의 관절(node) 좌표들에 기반하여 ST-GCN 모듈을 학습시킬 수 있다. 전자장치(100)는 A개의 (C, T, V, M) 데이터를 ST-GCN 모듈에 적용함에 있어서, 입력 사이즈(input size)는 (N, C, T, V, M) 데이터에 대하여 지정된 학습 회수인 K번의 epochs 만큼 학습을 진행할 수 있다. 여기서, A는 N*K로 정의되며, N은 특정 배치 사이즈로 정의될 수 있다. 일 실시 예에 따르면, N은 RPN(403) 모듈을 통하여 검출된 객체의 수로 정의될 수 있다.
도 3의 ST-GCN(303, 305)는 아래의 수학식 (1) 기반하여 정의될 수 있다.
Figure 112021133910633-pat00001
(1)
여기서, A는 조정 행렬(adjacent matrix)이고, I는 단위행렬(identity matrix)이며, Λ는 대각 행렬(diagonal matrix)로서 관절(node)의 엣지(edge) 연결 개수를 표현하는 것이고, Λ는 Z 함수로 정의될 수 있다.
여기서, W는 가중행렬(weight matrix)로서, W의 요소들을 학습해서 ST-GCN들을 최적화를 진행할 수 있다.
F in , F out 은 2D 컨벌루션 네트웨크(convolution network)와 같이 피처맵(feature map) 들로서, 첫번째 레이어, 예를 들면, ST-GCN(303) 모듈의 연산을 처리할 때의 F in 은 (C,T,V,M)이 입력될 수 있고, ST-GCN(305) 모듈의 연산을 두번째 레이어로 가정했을 때의 첫번째 레이어의 결과를 두번째 레이어의 입력으로 처리할 수 있다. 다양한 실시 예에 따르면, 전자장치(100)는 첫번째 레이어의 결과 중 적어도 일부를 두번째 레이어의 입력으로 처리하거나, 또는 치환 등의 변형에 기반하여 첫번째 레이어의 결과를 두번째 레이어의 입력으로 처리할 수 있다.
전자장치(100)는 학습된 ST-GCN 모듈에 기반하여 카메라의 영상을 프레임 이미지 단위로 낙상 사고를 감지하는 동작을 수행할 수 있다. 이때, 전자장치(100)는 학습된 ST-GCN 모듈의 출력을 FC layer(307) 모듈을 통하여 처리함으로써 환자의 낙상을 결정할 수 있다.
FC layer(307) 모듈에서, 전자장치(100)는 평탄화(flatten) 및 다층퍼셉트론(multi-layer perceptron, MLP)을 수행하며, 환자의 행동 분석(action classification)를 수행할 수 있다.
전자장치(100)는 환자의 낙상을 감지하는 단계에서, 카메라로 촬영되는 영상의 각 프레임 이미지를 학습된 ST-GCN 모듈에 기반하여 처리한 결과 확인되는 환자의 관절(node) 각각의 움직임을 비교하고, 지정된 패턴 및/또는 범위의 움직임에 대하여 환자의 낙상을 결정하거나, 또는 낙상 가능성을 결정할 수 있다.
전자장치(100)는 환자의 관절 각각의 움직임을 비교함에 있어서, 지정된 수의 프레임 이미지에 대응하여 학습된 ST-GCN 모듈의 동작을 수행할 수 있다. 예를 들면, 전자장치(100)는 카메라 각각의 영상에 대하여 30장의 프레임 이미지가 누적되는 경우 학습된 ST-GCN 모듈의 동작을 수행할 수 있다.
전자장치(100)는 환자의 낙상 감지 동작을 수행함에 있어서, 파이썬 open CV 라이브러리에 기반하여 CCTV RTSP 서버에 위 알고리즘이 연동된 상태에서 처리할 수 있다. 더하여, 전자장치(100)는 별도의 서버와 CCTV RTSP Streaming Server가 연결된 상태에서, RTSP Streaming Server로부터 수신하는 영상에 기반하여 환자의 낙상 사고를 감지하는 동작을 수행할 수 있다.
전자장치(100)는 환자의 낙상 사고, 또는 낙상 사고의 가능성을 결정하는 경우, 신호기를 통하여 대응되는 신호를 출력하도록 처리할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 전자장치에서 수행하는 낙상 사고를 감지하는 동작의 흐름도이다.
전자장치(100)는 학습된 ST-GCN을 포함하는 인공신경망 알고리즘 및 카메라로부터 수신하는 영상의 프레임 이미지들에 기반하여 환자가 낙상하였는지 여부를 확인할 수 있다.
501 단계에서, 전자장치(100)는 복수의 환자를 촬영하는 복수의 카메라로부터 영상을 획득한다. 각각의 카메라는 의료기관 내부 또는 외부의 지정된 위치에 설치될 수 있다. 설치된 적어도 하나의 카메라는 낙상 사고가 발생될 수 있는 상태의 환자, 예를 들면, 침대에 누워있는 환자가 촬영될 수 있다.
503 단계에서, 전자장치(100)는 카메라로부터 수신한 영상을 구성하는 프레임 이미지에 포함된 환자, 환자 수, 및 환자 각각의 특정 신체에 대한 좌표를 나타내는 키포인트 수에 기반하여 행렬을 결정한다. 일 실시 예에 따르면, 전자장치(100)는 영상의 프레임 이미지들에 mask R-CCN(301) 모듈을 적용할 수 있다.
505 단계에서, 전자장치(100)는 프레임 이미지들 각각에 대하여 결정된 행렬을 학습된 연산 모듈의 입력 값으로 연산을 수행할 수 있다. 전자장치(100)는 적어도 둘 이상의 학습된 ST-GCN 모듈에 기반하여, 환자들 각각에 대한 키포인트들의 변화에 대한 데이터를 확인할 수 있다.
507 단계에서, 전자장치(100)는 연산 결과에 기반하여 낙상으로 결정되는 프레임 이미지를 결정한다. 전자장치(100)는 프레임 낙상으로 결정된 프레임 이미지에 기반하여 해당하는 환자를 결정할 수 있다.
일 실시 예에 따르면, 전자장치(100)는 환자 정보에 기반하여 해당 환자 또는 카메라의 위치를 결정할 수 있다.
예를 들면, 전자장치(100)는 각각의 영상 또는 영상으로 획득한 프레임 이미지에 대하여 영상을 촬영한 특정 카메라에 대한 식별 정보를 기록할 수 있다. 또는, 전자장치(100)는 특정 카메라, 카메라로 촬영된 영상, 해당 영상을 구성하는 프레임 이미지 중 적어도 일부에 기반하여 프레임 이미지로부터 검출된 환자에 대하여 식별 정보를 기록할 수 있다.
전자장치(100)는 식별 정보에 기반하여 강상 사고가 발생한 환자를 결정하고, 해당 환자의 낙상 상태에 대한 신호를 신호기를 통해서 출력할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 전자장치에서 영상을 처리하는 동작을 도시한다.
전자장치(100)는 낙상 사고 감지 동작을 수행함에 있어서 입력되는 입력 이미지를 처리함에 있어서, 복수의 카메라로 촬영된 영상 각각의 프레임 이미지를 하나의 이미지처럼 처리할 수 있다.
일 실시 예에 따르면, 전자장치(100)는 하나의 카메라로 촬영된 영상에 대해 하나의 쓰레드(thread)를 할당하며 하나의 쓰레드는 공유가 가능한 큐(queue)에 독립적으로 영상의 프레임을 저장할 수 있다. 전자장치(100)는 각각의 쓰레드에서 영상을 큐에 채워 넣으면 메인 쓰레드에서 각각의 큐에서 한 프레임씩 가져와서 화면에 붙여 넣어 합성된 프레임을 만들 수 있다. 이렇게 합성된 프레임은 마치 하나의 영상에서 스트리밍 되는 것과 같은 효과를 가지며, 추가적인 자원 없이 복수의 카메라를 통해서 촬영된 영상을 하나의 카메라에서 촬영된 영상처럼 처리할 수 있다.
전자장치(100)는 복수의 카메라 각각에 대하여 동일 또는 유사한 시점에 촬영된 프레임 이미지들을 하나의 이미지에 배치하여 하나의 새로운 프레임 이미지로 생성하고, 새로운 프레임 이미지를 입력 이미지로 처리할 수 있다.
전자장치(100)는 낙상 사고 감지 동작에서 영상의 프레임 이미지에 포함된 복수의 환자를 추적할 수 있다. 상술한 바와 같이 복수의 영상에 대한 프레임 이미지들을 하나의 합성된 이미지로 생성하는 경우, 합성된 이미지에 포함되는 복수의 프레임 이미지에 촬영되는 다양한 환자들을 추적할 수 있다.
합성된 프레임 이미지를 생성함에 있어서, 프레임 이미지들의 다양한 배치 방법이 사용될 수 있다. 본 발명의 다양한 실시 예에 따르면, 도 6에 도시된 바와 같이 다수의 영상들의 프레임을 격자 구조로 배치한 뒤 하나의 이미지를 구성하여 입력 이미지로 처리하여도 전자장치(100)는 복수의 영상에 대응되는 프레임 이미지들 각각에서 환자를 추적할 수 있다.
다양한 실시 예에 따르면, 720P 영상 기준 4개의 영상을 하나의 이미지로 처리하더라도 1080p 영상과 동일 또는 유사한 품질의 처리량이 요구되어 안정적인 성능을 보이며, 전자장치(100)는 도 4에 도시한 바와 같이 3개에 한정되지 않고 더 많은 영상을 동시에 처리할 수 있다.
전자장치(100)는 환자의 낙상 발생을 결정하는 경우, 낙상 또는 낙상 가능성을 결정한 시점 전후의 지정된 시간 범위에 대한 영상을 저장할 수 있다. 예를 들면, 전자장치(100)는 카메라의 영상을 처리함에 있어서, 낙상 감지 동작을 처리하는 시점의 프레임 이미지로부터 지정된 제1 시간 범위의 각 카메라에 대한 영상을 저장하며, 낙상 사고를 감지하는 경우, 해당 환자에 대하여 낙상 사고가 발생된 시점으로부터 지정된 제2 시간 범위의 해당 환자의 카메라에 대한 영상을 저장할 수 있다.
여기서, 제2 시간 범위는 제1 시간 범위에 제3 시간 범위를 더한 시간 범위일 수 있다. 예를 들면 전자장치(100)는 모든 영상에 대하여 낙상 감지 동작을 처리하는 시점으로부터 5초 범위의 영상을 저장하며, 낙상 사고를 감지한 환자에 대하여 5초 범위의 시간을 추가하여 10초 범의의 영상을 저장할 수 있다.
본 발명의 일 실시 예에 따르면, 복수의 환자를 촬영하는 복수의 카메라 각각으로부터 영상을 획득하는 단계; 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계; 상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하는 단계; 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계; 및 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계;를 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법을 제공한다.
여기서, 상기 딥러닝 모듈은, mask regions with convolutional Neural Network(mask R-CNN) 아키텍처의 적어도 일부를 포함하며, 복수의 spatial-temporal graph convolutional neural network(ST-GCN)에 대하여 학습된 것일 수 있다.
여기서, 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계는, 상기 획득한 영상들 각각에 대하여 동일 또는 유사한 시점에 촬영된 프레임 이미지들을 하나의 이미지에 배치하여 새로운 프레임 이미지로 생성하는 단계; 및 상기 새로운 프레임 이미지에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계;를 포함할 수 있다.
여기서, 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계는, 상기 새로운 프레임 이미지에 포함되는 복수의 프레임 이미지들 중에서 상기 낙상으로 결정된 적어도 하나의 프레임 이미지를 결정하는 단계;를 포함할 수 있다.
여기서, 상기 키포인트 수는, 상기 사람의 특정 신체 위치를 나타내는 좌표의 수일 수 있다.
여기서, 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계는, 상기 낙상으로 결정되는 적어도 하나의 프레임에 기반하여 앞, 뒤 또는 옆으로 쓰러지는지, 주저 않는지, 또는 침대에서 떨어지는지에 대한 환자의 자세를 결정하는 단계;를 더 포함할 수 있다.
여기서, 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계는, 상기 환자의 자세에 따라서 지정된 패턴의 신호를 출력하는 것일 수 있다.
여기서, 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계는, 상기 낙상으로 결정되는 시점으로부터 지정된 시간 범위의 프레임 이미지들을 저장하는 것일 수 있다.
본 발명의 다양한 실시 예에 따르면, 복수의 카메라 및 적어도 하나의 신호기와 통신하는 통신부; 상기 통신부를 통하여 송수신하는 데이터를 저장하는 저장부; 복수의 환자를 촬영하는 상기 복수의 카메라 각각으로부터 영상을 획득하고, 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하며, 상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하고, 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하며, 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 상기 신호기를 통하여 낙상 알림을 처리하는 처리부;를 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치를 제공한다.
본 발명의 다양한 실시 예에 따르면, 딥러닝을 활용하여 의료기관 내부에서의 낙상 사고에 대해 실시간으로 빠르게 대처하는 것뿐 아니라 미리 방지하여 스마트 병원 도입을 추진하는 효과가 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 복수의 카메라를 통해서 촬영되는 복수의 영상으로부터 환자의 상태를 실시간으로 추적할 수 있고, 동시에 다수의 환자에 대하여 발생되는 낙상 사고를 처리할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 카메라 등을 통해 확보한 영상의 각 프레임 이미지를 분석하고, 다양한 프레임 이미지들의 환자의 신체 특징 정보에 기반하여 환자 낙상 사고 가능성을 판단하는 효과가 있다.
이상과 같이 실시 예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.
예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다 해야 할 것이다.
100: 전자장치 110: 처리부
120: 저장부 130: 통신부
210, 230: 카메라 250: 신호기

Claims (8)

  1. 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법에 있어서,
    복수의 환자를 촬영하는 복수의 카메라 각각으로부터 영상을 획득하는 단계;
    상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계;
    상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하는 단계;
    상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계; 및
    상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계;를 포함하고,
    상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계는,
    상기 낙상으로 결정되는 적어도 하나의 프레임에 기반하여 앞, 뒤 또는 옆으로 쓰러지는지, 주저 않는지, 또는 침대에서 떨어지는지에 대한 환자의 자세를 결정하는 단계;를 더 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하고,
    상기 딥러닝 모듈은, mask regions with convolutional Neural Network(mask R-CNN) 아키텍처의 적어도 일부를 포함하며, 복수의 spatial-temporal graph convolutional neural network(ST-GCN)에 대하여 학습되어 있으며,
    상기 mask R-CNN 아키텍처에 backbone 모듈, RPN 모듈이 포함되어 있고, 상기 카메라를 통해 획득한 영상을 기초로 생성된 입력 이미지가 상기 backbone 모듈을 거쳐 상기 RPN 모듈에 입력되고, 상기 RPN 모듈에서는 지정된 사이즈의 앵커 박스를 선정하여 상기 앵커 박스에 객체의 존재 여부를 결정하며,
    상기 mask R-CNN 아키텍처에 포함된 헤드 모듈들의 연산 결과를 (C, T, V, M)의 행렬(단, C는 채널 수, T는 프레임 이미지 수, V는 키포인트, M은 환자의 수)로 치환하여, 상기 ST-GCN 모듈에 입력 값으로 적용하고,
    상기 ST-GCN 모듈은
    수식
    Figure 112022038003417-pat00008
    에 기초로 설정되며,
    상기 A는 조정 행렬이고, I는 단위행렬이며, W는 가중행렬이고, Λ는 대각 행렬로서 관절의 엣지 연결 개수를 표현하고,
    상기 ST-GCN 모듈에 의해 결정된 포즈 키포인트의 변화에 기반하여 상기 환자가 앞, 뒤 또는 옆으로 쓰러지는지, 주저 앉는지, 침대에서 떨어지는지에 대한 상기 환자의 자세 변화를 탐지하고 낙상 여부를 감지하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계는,
    상기 획득한 영상들 각각에 대하여 동일 또는 유사한 시점에 촬영된 프레임 이미지들을 하나의 이미지에 배치하여 새로운 프레임 이미지로 생성하는 단계; 및
    상기 새로운 프레임 이미지에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계;를 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법.
  4. 제1항에 있어서,
    상기 키포인트 수는, 상기 사람의 특정 신체 위치를 나타내는 좌표의 수인 것을 특징으로 하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계는,
    상기 환자의 자세에 따라서 지정된 패턴의 신호를 출력하는 것을 특징으로 하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법.
  7. 제1항에 있어서,
    상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계는,
    상기 낙상으로 결정되는 시점으로부터 지정된 시간 범위의 프레임 이미지들을 저장하는 것을 특징으로 하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법.
  8. 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치에 있어서,
    복수의 카메라 및 적어도 하나의 신호기와 통신하는 통신부;
    상기 통신부를 통하여 송수신하는 데이터를 저장하는 저장부;
    복수의 환자를 촬영하는 상기 복수의 카메라 각각으로부터 영상을 획득하고, 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하며, 상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하고, 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하며, 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 상기 신호기를 통하여 낙상 알림을 처리하는 처리부;를 포함하고,
    상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 처리부는,
    상기 낙상으로 결정되는 적어도 하나의 프레임에 기반하여 앞, 뒤 또는 옆으로 쓰러지는지, 주저 않는지, 또는 침대에서 떨어지는지에 대한 환자의 자세를 결정하는 단계;를 더 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하고,
    상기 딥러닝 모듈은, mask regions with convolutional Neural Network(mask R-CNN) 아키텍처의 적어도 일부를 포함하며, 복수의 spatial-temporal graph convolutional neural network(ST-GCN)에 대하여 학습되어 있으며,
    상기 mask R-CNN 아키텍처에 backbone 모듈, RPN 모듈이 포함되어 있고, 상기 카메라를 통해 획득한 영상을 기초로 생성된 입력 이미지가 상기 backbone 모듈을 거쳐 상기 RPN 모듈에 입력되고, 상기 RPN 모듈에서는 지정된 사이즈의 앵커 박스를 선정하여 상기 앵커 박스에 객체의 존재 여부를 결정하며,
    상기 mask R-CNN 아키텍처에 포함된 헤드 모듈들의 연산 결과를 (C, T, V, M)의 행렬(단, C는 채널 수, T는 프레임 이미지 수, V는 키포인트, M은 환자의 수)로 치환하여, 상기 ST-GCN 모듈에 입력 값으로 적용하고,
    상기 ST-GCN 모듈은
    수식
    Figure 112022038003417-pat00009
    에 기초로 설정되며,
    상기 A는 조정 행렬이고, I는 단위행렬이며, W는 가중행렬이고, Λ는 대각 행렬로서 관절의 엣지 연결 개수를 표현하고,
    상기 ST-GCN 모듈에 의해 결정된 포즈 키포인트의 변화에 기반하여 상기 환자가 앞, 뒤 또는 옆으로 쓰러지는지, 주저 앉는지, 침대에서 떨어지는지에 대한 상기 환자의 자세 변화를 탐지하고 낙상 여부를 감지하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치.
KR1020210160602A 2021-11-19 2021-11-19 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치 KR102410286B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210160602A KR102410286B1 (ko) 2021-11-19 2021-11-19 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210160602A KR102410286B1 (ko) 2021-11-19 2021-11-19 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치

Publications (1)

Publication Number Publication Date
KR102410286B1 true KR102410286B1 (ko) 2022-06-22

Family

ID=82216575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210160602A KR102410286B1 (ko) 2021-11-19 2021-11-19 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치

Country Status (1)

Country Link
KR (1) KR102410286B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580688B1 (ko) * 2022-10-26 2023-09-20 주식회사 에너자이 레이더 데이터에 기반한 낙상 감지 모델의 학습 방법
KR102628690B1 (ko) * 2023-07-04 2024-01-25 주식회사 클레버러스 이상행동 탐지 시스템
KR102628689B1 (ko) * 2023-07-04 2024-01-26 주식회사 클레버러스 이상행동 탐지 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102198337B1 (ko) * 2018-12-07 2021-01-04 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 매체.
KR102205964B1 (ko) * 2020-05-06 2021-01-21 주식회사 스위트케이 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법
KR102224453B1 (ko) * 2017-05-25 2021-03-08 삼성전자주식회사 위험 상황을 감지하는 방법 및 시스템
KR20210079823A (ko) * 2019-12-20 2021-06-30 삼성전자주식회사 전자 장치 및 이의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102224453B1 (ko) * 2017-05-25 2021-03-08 삼성전자주식회사 위험 상황을 감지하는 방법 및 시스템
KR102198337B1 (ko) * 2018-12-07 2021-01-04 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 매체.
KR20210079823A (ko) * 2019-12-20 2021-06-30 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102205964B1 (ko) * 2020-05-06 2021-01-21 주식회사 스위트케이 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580688B1 (ko) * 2022-10-26 2023-09-20 주식회사 에너자이 레이더 데이터에 기반한 낙상 감지 모델의 학습 방법
KR102628690B1 (ko) * 2023-07-04 2024-01-25 주식회사 클레버러스 이상행동 탐지 시스템
KR102628689B1 (ko) * 2023-07-04 2024-01-26 주식회사 클레버러스 이상행동 탐지 시스템

Similar Documents

Publication Publication Date Title
KR102410286B1 (ko) 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치
CN111383421B (zh) 隐私保护跌倒检测方法和系统
EP3755204B1 (en) Eye tracking method and system
US10853698B2 (en) System and method of using multi-frame image features for object detection
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
US20210312192A1 (en) Method and device for image processing and storage medium
US20200387718A1 (en) System and method for counting objects
CN110263634B (zh) 监控目标的监控方法、装置、计算机设备及存储介质
US20140240479A1 (en) Information processing apparatus for watching, information processing method and non-transitory recording medium recorded with program
CN113228626B (zh) 视频监控系统和方法
JP6737371B1 (ja) 情報処理装置、設備判定方法、コンピュータプログラム及び学習済モデルの生成方法
CN115984967A (zh) 基于深度学习的人体跌倒检测方法、装置及系统
KR20190119212A (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20200009530A (ko) 이상 개체 검출 시스템 및 방법
US11943567B2 (en) Attention focusing for multiple patients monitoring
JP7347577B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
KR20220019377A (ko) 딥러닝을 이용한 드론 검출 장치 및 방법
EP3819864A1 (en) Target object detection program and target object detection device
KR102039164B1 (ko) 다중 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN113660455B (zh) 一种基于dvs数据的跌倒检测方法、系统、终端
WO2021033453A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
CN113380383A (zh) 一种医疗监护方法、装置和终端
KR20150011714A (ko) 영상 방향 판단 장치
KR102039166B1 (ko) 순환 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20220046798A (ko) 폐 손상 진단 장치, 방법 및 기록매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant