KR102265500B1 - 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법 - Google Patents

증강현실 영상을 이용한 응급처치 평가 시스템 및 방법 Download PDF

Info

Publication number
KR102265500B1
KR102265500B1 KR1020190110681A KR20190110681A KR102265500B1 KR 102265500 B1 KR102265500 B1 KR 102265500B1 KR 1020190110681 A KR1020190110681 A KR 1020190110681A KR 20190110681 A KR20190110681 A KR 20190110681A KR 102265500 B1 KR102265500 B1 KR 102265500B1
Authority
KR
South Korea
Prior art keywords
aid
evaluation
emergency
unit
dummy
Prior art date
Application number
KR1020190110681A
Other languages
English (en)
Other versions
KR20210029445A (ko
Inventor
홍민
원준희
안재욱
문형준
송민주
성낙준
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020190110681A priority Critical patent/KR102265500B1/ko
Publication of KR20210029445A publication Critical patent/KR20210029445A/ko
Application granted granted Critical
Publication of KR102265500B1 publication Critical patent/KR102265500B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 응급처치 평가 시스템 및 방법에 관한 것으로, 더욱 상세하게는 응급상황에 따른 맥박, 심장박동, 호흡 등의 생체신호를 생성하는 실제 인체 더미에 다양한 응급상황별 모드영상을 오버레이하여 응급상황 증강현실 영상을 생성하여 표시하고, 카메라를 통해 응급상황에 따라 평가대상자가 인체 더미에 취하는 행동 및 응급환자인 인체 더미의 움직임을 촬영하여 동작 인식을 수행하고, 응급상황에 따른 응급처치 동작 판단 및 인체 더미로부터 수신되는 평가대상자의 행동에 따른 응급처치상태정보를 수신하여, 응급처치에 따른 동작 평가정보 및 응급처치상태정보에 따라 통합적인 응급처치 평가를 수행하는 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법에 관한 것이다.

Description

증강현실 영상을 이용한 응급처치 평가 시스템 및 방법{First-aid evaluation system using augmented reality and method thereof}
본 발명은 응급처치 평가 시스템 및 방법에 관한 것으로, 더욱 상세하게는 응급상황에 따른 맥박, 심장박동, 호흡 등의 생체신호를 생성하는 실제 인체 더미에 다양한 응급상황별 영상(이하 "모드영상"이라 함)을 오버레이하여 응급상황 증강현실 영상을 생성하여 표시하고, 카메라를 통해 응급상황에 따라 평가대상자가 인체 더미에 취하는 행동 및 응급환자인 인체 더미의 움직임을 촬영하여 동작 인식을 수행하고, 응급상황에 따른 응급처치 동작 판단 및 인체 더미로부터 수신되는 평가대상자의 행동에 따른 응급처치상태정보를 수신하여, 응급처치에 따른 동작 평가정보 및 응급처치상태정보에 따라 통합적인 응급처치 평가를 수행하는 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법에 관한 것이다.
일반적으로 사망 원인 중 3대 사망 원인은 뇌혈관 질환, 암, 교통사고와 자살 등의 사고로 인한 사망이다. 이들 사망 원인 중 뇌혈관 질환과 각종 사고는 응급처치로 예후가 달라질 수 있어 응급처치의 중요성이 강조되고 있다.
이러한 응급처치를 필요로 하는 응급상황으로는 심정지, 화상, 출혈, 저체온증, 척추손상, 골절, 쇼크, 폐쇄성 상처, 호흡곤란 등으로 다양하다.
이중 심정지의 경우 그 사람의 생명을 앗아가는 순간이므로 그에 대응하는 빠른 응급처치를 해야 하므로, 매체, 민방위 훈련, 동사무소 등과 같이 다양한 곳에서 심정지에 대한 응급처치 방법을 교육하고 있다. 심정지에 대한 응급처치는 기도 유지 및 심폐소생술(Cardiopulmonary Resuscitation: CPR) 등이 될 수 있을 것이다.
이처럼 심폐소생술은 교육이 활발하게 이루어지고 있으나, 다른 응급처치 상황에 대한 응급처치는 교육되고 있지 않으며, 심폐소생술 교육도 다수의 사람이 다른 사람이 시행하는 장면만을 보고 교육받으므로 실제 상황에서 제대로 심폐소생술을 수행할 수 없는 문제점이 있었다.
또한, 응급처치 상황에 빈번하게 노출되는 지자체, 소방서, 병원 및 군대 등의 구조대대원, 군 의무병 등도 다양한 응급처치 상황을 직접 경험하지 못한 경우 응급처치 상황에 적절한 응급처치를 숙지하지 못하고 있는 실정이다.
통상적으로 종래의 응급처치 교육이 훈련용 인체모형(마네킹)을 이용하여 실제 상황을 상상하면서 강사의 지시에 따라 절차를 학습하고 있다.
이러한 교육 방식은 보통 일대 다수를 교육하는 환경으로 이루어져 교육대상자의 학습 정도나 성과를 파악하기 어렵고 교육에 몰입하기도 어렵다. 또한 다양한 응급상황 및 여러 상황에 대응하는 절차의 제시가 어렵고, 심폐소생술 수행에 따른 정량적 피드백이 어려운 문제점이 있다.
이러한 문제점을 해결하기 위해 대한민국 공개특허 제10-2019-0087912호 [증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법](이하 "선행특허"라 함)은 훈련대상자의 머리에 착용되어 VR기기를 통해 촬영되는 마네킹을 포함하는 영상과 VR기기에 결합된 스마트폰의 CPR 상황에 있는 응급처치 가이드 정보를 결합하여 증강현실(AR) 영상을 생성하여 표시하고, 상기 가슴 압박 감지 구성 및 인공호흡 감지 구성을 구비하는 마네킹을 통해 훈련대상자가 취하는 CPR에 따른 압박의 강도, 압박의 횟수, 압박의 깊이, 압박의 사간, 인공호흡 횟수 및 인공호흡 시간을 측정하고, 측정된 정보에 따라 훈련대상자가 해당 CPR에 따른 응급처치에 대한 평가를 수행하는 기술을 개시하고 있다.
그러나 선행특허 또한 CPR이라는 응급처치만 교육할 수 있을 뿐 다양한 상황의 응급처치 방법을 학습할 수 없는 문제점이 있었다.
또한, 선행특허는 가이드 정보(영상)가 결합된 증강현실 영상만을 디스플레이하므로 실제 훈련대상자가 마네킹으로부터 실제와 같은 응급상황을 느낄 수 없어 실제 응급상황과 같은 집중도를 가질 수 없는 문제점이 있으며, 실제와 같은 응급처치를 수행하기 어려운 문제점이 있었다.
대한민국 공개특허 제10-2019-0087912호(2019.07.25. 공고)
따라서 본 발명의 목적은 응급상황에 따른 맥박, 심장박동, 호흡 등의 생체신호를 생성하는 실제 인체 더미에 다양한 응급상황별 영상(이하 "모드영상"이라 함)을 오버레이하여 응급상황 증강현실 영상을 생성하여 표시하고, 카메라를 통해 응급상황에 따라 평가대상자가 인체 더미에 취하는 행동 및 응급환자인 인체 더미의 움직임을 촬영하여 동작 인식을 수행하고, 응급상황에 따른 응급처치 동작 판단 및 인체 더미로부터 수신되는 평가대상자의 행동에 따른 응급처치상태정보를 수신하여, 응급처치에 따른 동작 평가정보 및 응급처치상태정보에 따라 통합적인 응급처치 평가를 수행하는 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 증강현실 영상을 이용한 응급처치 평가 시스템은: 인체 더미에 구성되어 응급상황 모드 정보에 대응하는 생체신호를 인체 더미에 발생시키고 평가대상자가 상기 인체 더미에 행하는 응급처치 동작에 따른 동작별 응급처치정보를 포함하는 응급처치상태정보를 전송하는 생체신호 제어장치; 및 카메라를 포함하는 증강현실 고글로 구성되어 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 오버레이한 증강현실 영상을 생성하여 표시하고, 그에 따른 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 생체신호 제어장치로부터 수신되는 상기 응급처치상태정보에 의해 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력하는 응급처치 평가부를 포함하는 것을 특징으로 한다.
상기 생체신호 제어장치는, 상기 생체신호 제어장치와 무선통신을 수행하는 더미 무선통신부; 상기 인체 더미의 심장 위치에 구성되어 생체신호인 심장박동에 대응하는 진동을 발생시키고 상기 심장박동의 진동에 동기화된 진동을 목 및 손목에 발생시키는 진동 발생기; 상기 인체 더미의 심장 위치를 포함하여 심장 주변에 적어도 하나 이상의 압력 센서를 구비하여 압력 센서별로 외부에서 가해지는 위치별 압력을 측정하여 출력하는 압력 측정부; 및 상기 진동 발생기를 제어하여 응급상황 모드 정보에 대응하는 생체신호인 진동을 인체 더미에 발생시키고, 상기 압력 측정부를 통해 평가대상자가 상기 인체 더미의 심장 부분에 가하는 응급처치 동작인 압력을 측정하여 응급처치정보를 포함하는 응급처치상태정보를 상기 더미 무선통신부를 통해 상기 응급처치 평가부로 전송하는 더미 제어부를 포함하는 것을 특징으로 한다.
상기 더미 제어부는, 상기 응급상황 모드 정보를 획득 및 저장하여 응급상황 모드를 설정하는 동작모드 설정부; 상기 응급상황 모드 정보에 포함된 심박정보에 따라 상기 진동 발생기를 제어하여 진동을 발생시키는 진동 제어부; 상기 압력 측정부를 통해 위치별 압력을 획득하는 압력 획득부; 상기 압력 측정부를 통해 측정되는 위치별 압력에 따라 압력이 가해지는 위치를 판단하고, 판단된 압력 위치정보를 출력하는 위치 판단부; 및 응급처치정보인 상기 압력 위치정보 및 위치별 압력을 포함하는 응급처치상태정보를 생성하는 응급처치상태정보 생성부; 및 상기 응급처치상태정보를 더미 무선통신부를 통해 상기 응급처치 평가부로 제공하는 응급처치상태정보 제공부를 포함하는 것을 특징으로 한다.
상기 생체신호 제어장치는, 상기 인체 더미의 입에서 내부로 형성되는 기도에 대응하는 기도 관의 끝단에 구성되어 상기 입 방향으로 주기적으로 호흡에 대응하는 공기를 생성하여 배출시키는 공기 생성부; 및 상기 인체 더미의 입 천장부 및 상기 기도 관의 끝단부에 형성되어 인공호흡에 의한 공기를 포함할 수 있는 들숨과 날숨의 공기압을 측정하는 공기압 측정부를 더 포함하되, 상기 더미 제어부는, 상기 공기압 측정부를 통해 상기 들숨 및 날숨의 공기압을 획득하는 기도 공기압 획득부를 더 포함하고, 상기 응급처치상태정보 생성부는 상기 들숨 및 날숨 각각에 대한 공기압을 더 포함한 응급처치상태정보를 생성하는 것을 특징으로 한다.
상기 생체신호 제어장치는, 상기 인체 더미의 기도에 대응하는 상기 기도 관의 중간에 구성되어 상기 기도 관을 차단하는 기도 팽창부를 더 포함하되, 상기 더미 제어부는, 상기 응급상황 모드 정보에 따라 상기 기도 팽창부를 제어하여 기도를 차단하는 기도 제어부를 더 포함하는 것을 특징으로 한다.
상기 응급처치 평가부는, 응급상황 모드별 응급상황 영상을 저장하는 모드영상 DB, 응급상황 모드별 동작에 대한 기준 동작정보를 저장하는 동작 평가 DB, 응급상황 모드별 기준 응급처치상태 정보를 저장하는 상태 평가 DB 및 평가대상자별 평가정보를 저장하는 평가 DB를 포함하는 단말 저장부; 상기 생체신호 제어장치와 무선통신을 수행하는 단말 통신부; 상기 카메라를 포함하여 상기 카메라의 렌즈에 투영되는 상에 대응하는 촬영영상을 생성하여 출력하는 카메라부; 상기 촬영영상 및 촬영영상에 응급상황 영상이 오버레이된 상기 증강현실 영상 중 어느 하나를 표시하는 단말 디스플레이부; 및 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 상기 모드영상 DB에서 로드하고, 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 로드된 상기 응급상황 영상을 오버레이한 증강현실 영상을 생성하여 상기 단말 디스플레이부에 표시하고, 상기 증강현실 영상을 통해 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 동작 평가 DB의 기준동작 정보를 비교하여 평가대상자의 응급상황 모드에 대응하는 동작을 평가하고, 상기 생체신호 제어장치로부터 수신되는 상기 응급처치상태정보와 상기 상태 평가 DB의 기준 응급처치상태정보를 비교하여 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력하는 단말 제어부를 포함하는 것을 특징으로 한다.
상기 응급처치 평가부는, 카메라를 포함하는 증강현실 고글로 구성되어 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 오버레이한 증강현실 영상을 생성하여 표시하고, 상기 생체신호 제어장치로부터 수신되는 응급처치상태정보 및 상기 증강현실 영상을 전송하는 증강현실 단말기; 및 상기 증강현실 단말기로부터 상기 증강현실 영상 및 응급처치상태정보를 수신하고, 수신된 증강현실 영상에 의해 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 응급처치상태정보에 의해 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력하는 응급처치 평가 서버를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 증강현실 영상을 이용한 응급처치 평가 방법은: 인체 더미에 구성되는 생체신호 제어장치 및 응급처치 평가부 각각이 다수의 응급상황에 대한 응급상황 모드 중 하나를 선택하여 설정하는 응급상황 모드 설정 과정; 상기 생체신호 제어장치가 응급상황 모드 정보에 대응하는 생체신호를 인체 더미에 발생시키고 평가대상자가 상기 인체 더미에 행하는 응급처치 동작에 따른 동작별 응급처치정보를 포함하는 응급처치상태정보를 전송하는 응급처치 상태정보 측정 과정; 및 상기 응급처치 평가부가 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 오버레이한 증강현실 영상을 생성하여 표시하고, 그에 따른 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 생체신호 제어장치로부터 수신되는 상기 응급처치상태정보에 의해 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력하는 응급처치 평가 과정을 포함하는 것을 특징으로 한다.
상기 응급처치 상태정보 측정 과정은, 상기 생체신호 제어장치의 더미 제어부가 상기 인체 더미의 심장 위치에 구성되는 진동 발생기를 제어하여 생체신호인 심장박동에 대응하는 진동을 발생시키고 상기 심장박동의 진동에 동기화된 진동을 목 및 손목에 발생시키는 진동 발생 단계; 상기 더미 제어부가 상기 인체 더미의 심장 위치를 포함하여 심장 주변에 적어도 하나 이상의 압력 센서를 구비하는 압력 측정부를 통해 압력 센서별로 외부에서 가해지는 위치별 압력을 측정하는 압력 측정 단계; 및 상기 더미 제어부가 상기 위치별 압력을 응급처치정보로써 포함하는 응급처치상태정보를 더미 무선통신부를 통해 상기 응급처치 평가부로 전송하는 응급처치상태정보 제공 단계를 포함하는 것을 특징으로 한다.
상기 응급처치 상태정보 측정 과정은, 상기 더미 제어부가 상기 인체 더미의 입에서 내부로 형성되는 기도에 대응하는 기도 관의 끝단에 구성되는 공개 생성부를 제어하여, 상기 응급상황 모드 정보에 따라 상기 입 방향으로 주기적으로 호흡에 대응하는 공기를 생성하여 배출시키는 공기 생성 단계; 및 상기 더미 제어부가 상기 인체 더미의 입 천장부 및 상기 기도 관의 끝 단부에 형성되는 공기압 측정부를 통해 인공호흡에 의한 공기를 포함할 수 있는 들숨과 날숨의 공기압을 측정하는 공기압 측정 단계를 더 포함하되, 응급처치상태정보 제공 단계는, 상기 더미 제어부가 상기 들숨 및 날숨 각각에 대한 공기압을 더 포함한 응급처치상태정보를 생성하여 제공하는 것을 특징으로 한다.
상기 응급처치 상태정보 측정 과정은, 상기 더미 제어부가 상기 응급상황 모드 정보에 따라 인체 더미의 기도에 대응하는 기도 관의 중간에 구성되어 상기 기도 관을 차단하는 기도 팽창부를 제어하여 기도를 차단하는 기도 제어 단계를 더 포함하는 것을 특징으로 한다.
응급처치 평가 과정은, 단말 제어부가 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 모드영상 DB에서 로드하고, 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 로드된 상기 응급상황 영상을 오버레이한 증강현실 영상을 생성하여 단말 디스플레이부에 표시하는 증강현실 영상 생성 단계; 상기 단말 제어부가 상기 증강현실 영상을 통해 상기 평가대상자의 동작을 인식하는 동작 인식 단계; 상기 단말 제어부가 인식된 동작과 동작 평가 DB의 기준동작 정보를 비교하여 평가대상자의 응급상황 모드에 대응하는 동작을 평가하는 동작 평가 단계; 상기 단말 제어부가 상기 생체신호 제어장치로부터 수신되는 상기 응급처치상태정보와 상태 평가 DB의 기준 응급처치상태정보를 비교하여 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하는 응급처치상태 평가 단계; 및 상기 동작 평가 및 응급처치상태정보에 의한 응급처치상태 평가를 통합하여 통합 응급처치 평가정보를 생성하여 출력하는 통합 응급처치 평가 단계를 포함하는 것을 특징으로 한다.
본 발명은 카메라를 통해 촬영되는 인체 더미를 포함하는 촬영 영상에 응급상황별 모드영상을 오버레이하여 표시하므로 평가대상자에게 실제 응급상황의 분위기와 시나리오를 제공할 수 있고, 이로 인해 평가대상자의 집중력을 향상시킬 수 있으며, 더욱 정확한 응급상황에서의 해당하는 응급처치 동작을 유도할 수 있는 효과가 있다.
또한, 본 발명은 인체 더미가 응급상황에 따른 생체신호를 발생하도록, 응급상황에 따른 환자 상태를 평가대상자에게 제공할 수 있으므로 해당 응급상황에 대한 보다 정확한 응급처치 방법을 학습시킬 수 있는 효과가 있다.
또한, 본 발명은 평가대상자가 해당 인체 더미에 행하는 응급처치 동작을 보다 정확하게 측정할 수 있는 효과가 있으며, 이로 인해 평가대상자의 응급처치에 대한 보다 정확한 평가를 수행할 수 있는 효과가 있다.
도 1은 본 발명에 따른 증강현실 영상을 이용한 응급처치 평가 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 증강현실 영상을 이용한 응급처치 평가 시스템의 인체 더미의 생체신호 제어장치의 상세 구성을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 증강현실 영상을 이용한 응급처치 평가 시스템의 증강현실 단말기의 구성을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 증강현실 영상을 이용한 응급처치 평가 시스템의 증강현실 단말기에서의 응급처치 평가 방법을 나타낸 흐름도이다.
도 5는 본 발명의 일실시예에 따른 증강현실 영상을 이용한 응급처치 평가 방법 중 인체 더미의 생체신호 제어장치를 통한 응급처치상태정보 수집 방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 증강현실 영상을 이용한 응급처치 평가 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템에서의 응급처치 평가 방법을 설명한다.
도 1은 본 발명에 따른 증강현실 영상을 이용한 응급처치 평가 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 증강현실 영상을 이용한 응급처치 평가 시스템은 생체신호 제어장치(100) 및 응급처치 평가부(400)를 포함한다.
생체신호 제어장치(100) 및 응급처치 평가부(400)는 직접 유선 및 무선 중 어느 하나로 연결되어 데이터 통신을 수행할 수도 있고, 유무선 데이터통신망(1)에 각각 무선으로 연결되어 유무선 데이터통신망(1)을 통해 상호 연결되어 데이터 통신을 수행할 수도 있을 것이다.
상기 유무선 데이터통신망(1)은 와이파이(WiFi)망을 포함하는 인터넷망, 3세대(3 Generation: 3G), 4G, 5G 등을 포함하는 이동통신망, 와이브로망 등 중 어느 하나 이상이 결합되어 있는 데이터통신망일 수 있을 것이다.
생체신호 제어장치(100)는 본 발명에 따른 인체 더미(2)의 내부에 구성된다.
인체 더미(2)는 탄성을 가지는 재질로 구성되며 수술 바늘로 꿰맬 수 있는 재질로 구성되는 것이 바람직할 것이다.
또한, 인체 더미(2)는 입 및 코를 구비하고, 입 및 코와 연결되어 인체 더미(2) 내측으로 향하는 기도 관(3) 및 식도 관을 구비하는 것이 바람직할 것이다.
생체신호 제어장치(100)는 응급상황 모드 정보에 대응하는 생체신호를 인체 더미에 발생시키고 평가대상자가 상기 인체 더미에 행하는 응급처치 동작에 따른 동작별 응급처치정보를 포함하는 응급처치상태정보를 응급처치 평가부(400)로 전송한다.
생체신호 제어장치(100)는 기도 관(3)의 내측 끝 단부에 구성되어 공기를 생성하여 상기 기도 관(3)을 통해 입으로 배출하는 공기 생성부(160)를 포함하고, 심장 위치(104), 목 위치(102, 103), 양측 손목 위치(101)에서 심박 및 맥박에 대응하는 진동을 발생시키는 진동 발생기(130)를 포함한다.
또한, 생체신호 제어장치(100)는 상기 기도 관(3)의 중간에 구성되어 상기 기도 관(3)의 내부 통로를 차단부재(151)로 차단하여 공기가 입으로 배출되지 못하도록 하는 기도 팽창부(150)를 포함할 수도 있을 것이다. 상기 차단부재(151)는 상기 기도 관(3)을 막을 수 있고 기도 관(3)을 통해 들어오는 의료기구의 터치에 의해 터지거나 제거될 수 있는 작은 풍선 형태가 될 수도 있고, 상기 기도 관(3)을 차단하는 단단한 막 형태일 수도 있을 것이다. 후자의 경우 기도 관(3)을 통해 들어오는 의료기구의 터치에 의한 압력을 감지하고 압력 감지 시 차단부재(151)가 기도 관(3)에서 제거될 수 있도록 구성되는 것이 바람직할 것이다.
따라서 상기 기도 팽창부(150)는 전자의 경우 상기 기도 관(3)에 작은 풍선에 공기를 넣고 공기를 넣은 입구를 열로 차단할 수 있는 구성을 구비하는 것이 바람직하고, 후자의 경우, 압력 감지 시 상기 차단부재(151)를 삽입하여 제거할 수 있는 솔레노이드 등의 구성을 포함하는 것이 바람직할 것이다.
응급처치 평가부(400)는 실시예에 따라 증강현실 단말기(200)만으로 구성될 수도 있고, 증강현실 단말기(200) 및 응급처치 평가 서버(300)를 포함하여 구성될 수도 있을 것이다.
제1실시예에 따라 증강현실 단말기(200)는 카메라를 포함하는 머리 착용 디스플레이(Head Mounted Display: 증강현실 고글, "증강현실 고글"이라 함) 형태로 구성되어 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 오버레이한 증강현실 영상을 생성하여 표시하고, 그에 따른 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 생체신호 제어장치로부터 수신되는 상기 응급처치상태정보에 의해 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력한다.
제2실시예에 따른 증강현실 단말기(200)는 카메라를 포함하는 증강현실 고글로 구성되어 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 오버레이한 증강현실 영상을 생성하여 표시하고, 상기 생체신호 제어장치로부터 수신되는 응급처치상태정보 및 상기 증강현실 영상을 전송한다.
제2실시예에 따른 응급처치 평가부(400)는 상기 증강현실 단말기(200)로부터 상기 증강현실 영상 및 응급처치상태정보를 수신하고, 수신된 증강현실 영상에 의해 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 응급처치상태정보에 의해 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력한다.
도 2는 본 발명에 따른 증강현실 영상을 이용한 응급처치 평가 시스템의 인체 더미의 생체신호 제어장치의 상세 구성을 나타낸 도면이다. 도 2를 참조하여 생체신호 제어장치(200)의 상세 구성 및 동작을 설명한다.
생체신호 제어장치(200)는 인체 더미 저장부(110), 더미 무선통신부(120), 진동 발생기(130), 압력 측정부(140) 및 더미 제어부(180)를 포함하고, 실시예에 따라 기도 팽창부(150), 공기 생성부(160), 공기압 측정부(170), 더미 입력부(190) 및 더미 디스플레이부(195)를 더 포함할 수 있을 것이다.
인체 더미 저장부(110)는 본 발명에 따른 생체신호 제어장치(200)의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램 수행 중에 발생하는 데이터 및 제어프로그램 수행에 필요한 데이터를 반영구적으로 저장하는 데이터영역을 포함한다.
더미 무선통신부(120)는 응급처치 평가부(400)부와 더미 제어부(180)가 데이터 통신을 수행할 수 있도록 한다. 상기 더미 무선통신부는 응급처치 평가부(400)의 증강현실 단말기(200)와 근거리 무선통신을 통해 직접 무선 연결되어 데이터 통신을 수행할 수 있도록 구성될 수도 있고, 유무선 데이터통신망(1)을 통해 증강현실 단말기(200)와 데이터 통신을 수행할 수 있도록 구성될 수도 있을 것이다. 상기 근거리 무선통신 방식으로는 블루투스(Bluetooth), 지그비(Zigbee), 광대역무선통신(Ultra Wide Band: UWB), 다이렉트 와이파이(Direct WiFi) 등이 될 수 있을 것이다.
진동 발생기(130)는 더미 제어부(180)의 제어를 받아 도 1의 심장 위치(104), 목 위치(102, 103), 양 손목(101)에 설치된 진동수단을 제어하여 해당 위치에 진동을 발생시킨다. 상기 진동수단은 진동 발생기(130)에서 출력되는 신호에 따른 서로 다른 주기의 진동을 발생시킬 수 있어야 할 것이다.
압력 측정부(140)는 심장위치를 포함하는 심장 주변에 적어도 하나 이상의 압력 측정 센서(141)를 구비하여 외부에서 가해지는 압력을 측정 센서별로 측정하여 더미 제어부(180)로 출력한다.
기도 팽장부(150)는 인체 더미(2)의 기도 관(3)의 중간에 설치되어 기도 관(3)을 차단부재(151)로 차단한다. 상기 차단부재(151)는 상술한 바와 같이 풍선 형태일 수도 있고, 단단한 막 형태로 구성될 수도 있을 것이다.
공기 생성부(160)는 상기 기도 관(3)의 인체 더미(3) 내측 끝 단부에 연결되어 공기를 생성하고, 생성된 공기를 상기 기도 관(3)을 통해 인체 더미(3)의 입 및 코로 배출시킨다.
공기압 측정부(170)는 입의 천장 부위에 구성되어 상기 기도 관(3)으로부터 밖으로 배출되는 날숨의 공기압을 측정하여 출력하는 제1공기압 측정부(171) 및 상기 공기 생성부(160) 부근의 기도 관(3)의 끝 부에 설치되어 입을 통해서 들어오는 들숨 또는 인공호흡에 의한 유입되는 공기의 공기압을 측정하여 출력하는 제2공기압 측정부(172)를 포함한다.
더미 입력부(190)는 응급상황 모드를 설정하기 위한 적어도 하나 이상의 키, 버튼 또는 스위치 등의 조작수단을 포함하고, 조작수단의 조작에 대응하는 조작 신호를 더미 제어부(180)로 출력한다.
더미 디스플레이부(195)는 상기 조작수단의 조작에 따른 응급상황 모드를 표시한다.
더미 제어부(180)는 동작모드 설정부(181), 진동 제어부(182), 압력 획득부(183), 위치 판단부(184), 응급처치 상태정보 생성부(187), 응급처치 상태정보 제공부(189)를 포함하고, 실시예에 따라 기도 제어부(185) 및 기도 공기압 획득부(186)를 포함하여 본 발명에 따른 생체신호 제어장치(100)의 전반적인 동작을 제어한다.
동작모드 설정부(181)는 일실시예에 따라 더미 입력부(190) 및 더미 디스플레이부(195)를 통해 다수의 응급상황 모드 중 어느 하나를 선택받아 응급상황 모드정보를 저장하여 응급상황 모드를 설정하거나, 다른 실시예에 따라 더미 무선통신부(120)를 통해 응급처치 평가부(400)로부터 응급상황 모드 정보를 수신 및 저장하여 응급상황 모드를 설정한다.
진동 제어부(182)는 상기 동작모드 설정부(181)을 통해 응급상황 모드가 설정되면, 설정된 응급상황 모드 정보에 따라 진동 발생기(130)를 제어하여 음급상황 모드 정보에 대응하는 진동, 즉 심박수 및 맥박을 발생시킨다.
압력 획득부(183)는 압력 측정부(140)를 통해 센서별 압력을 획득하여 저장한다.
위치 판단부(184)는 상기 압력 획득부(183)를 통해 센서별 압력을 로드하고, 센서별로 미리 설정된 위치정보에 의해 위치별 압력으로 변경하여 저장한다. 이는 심장위치에 대응하는 센서의 압력이 가장 큰지를 판단하여 CPR 응급상황 모드에서 심장이 제대로 압박되고 있는지를 판단하기 위한 것이다.
기도 제어부(185)는 상기 응급상황 모드 정보에 따라 기도 팽창부(150)를 제어하여 기도를 그대로 유지하거나 차단하도록 제어한다.
기도 공기압 획득부(186)는 공기압 측정부(170)의 제1공기압 측정부(171) 및 제2공기압 측정부(172)를 통해 인공호흡에 의한 공기를 포함하는 들숨과 날숨의 공기압을 획득한다.
응급처치상태정보 생성부(187)는 상기 제어되는 진동수, 즉 심박 수 및 맥박수, 위치별 압력, 기도 관(3)의 차단 여부, 들숨과 날숨의 공기압 정보 등을 포함하는 응급처치상태정보를 생성한다.
응급처치상태정보 제공부(189)는 상기 생성된 응급처치상태정보를 더미 무선통신부(120)를 통해 응급처치 평가부(400)의 증강현실 단말기(200)로 전송한다.
도 3은 본 발명의 일실시예에 따른 증강현실 영상을 이용한 응급처치 평가 시스템의 증강현실 단말기의 구성을 나타낸 도면으로, 응급처치 평가부(400)가 증강현실 단말기(200)로 구성되는 경우의 상세 구성을 나타낸 도면이다.
도 3을 참조하면, 응급처치 평가부인 증강현실 단말기(200)는 단말 저장부(210), 단말 디스플레이부(220), 단말 입력부(230), 단말 통신부(240), 카메라부(250), 방향 측정부(260) 및 단말 제어부(270)를 포함한다.
단말 저장부(210)는 본 발명에 따른 증강현실 단말기(200)의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램 수행 중에 발생되는 데이터 및 상기 제어프로그램 수행에 필요한 데이터를 반영구적으로 저장하는 데이터영역을 포함한다. 본 발명에 따라 상기 데이터영역에는 모드영상 DB(211), 동작 평가 DB(212), 상태 평가 DB(213) 및 평가 DB(214)가 구성될 수 있을 것이다.
상기 모드영상 DB(211)는 급상황 모드별 응급상황 영상을 저장한다.
동작 평가 DB(212)는 응급상황 모드별 동작에 대한 기준 동작정보를 저장한다.
상기 상태 평가 DB(213)는 응급상황 모드별 기준 응급처치상태 정보를 저장한다.
평가 DB(214)는 평가대상자별 평가정보를 저장한다.
단말 디스플레이부(220)는 다양한 정보를 텍스트, 그래픽, 정지영상, 동영상 등 중 어느 하나 이상으로 표시하며, 특히 본 발명에 따라 증강현실 영상을 디스플레이한다.
단말 입력부(230)는 다수의 기능을 선택할 수 있는 적어도 하나 이상의 버튼을 포함하고, 눌린 버튼에 대응하는 버튼신호를 단말 제어부(270)로 출력하는 버튼입력장치 등을 포함한다.
단말 통신부(240)는 상기 생체신호 제어장치(100)와 근거리 무선통신 방식으로 직접 연결되어 데이터 통신을 수행하거나, 상기 유무선 데이터통신망(1)을 통해 생체신호 제어장치(100)와 연결되어 데이터 통신을 수행한다.
카메라부(250)는 카메라를 포함하여, 카메라의 렌즈에 투영되는 상에 대응하는 촬영상을 생성하여 단말 제어부(270)로 출력한다.
방향 측정부(260)는 자이로센서 등을 포함하여 증강현실 단말기(200)를 착용한 평가대상자의 머리 회전 및 이동 방향을 측정하여 단말 제어부(270)로 출력한다.
단말 제어부(270)는 응급 모드 설정부(271), 모드영상 획득부(272), 증강현실 영상 생성부(273), 동작 인식부(274), 동작 평가부(275), 응급처치상태정보 획득부(276), 응급처치 평가부(277) 및 평가정보 출력부(278)를 포함하여 증강현실 단말기(200)의 전반적인 동작을 제어한다.
응급모드 설정부(271)는 단말 디스플레이부(220) 및 단말 입력부(230)를 통해 다수의 응급상황 모드 리스트를 제공하고, 상기 응급상황 모드 리스트의 응급상황 모드 중 임의의 하나를 선택받아 선택된 응급상황 모드에 대한 응급상황 모드 정보를 저장하여 응급 모드를 설정한다. 상술한 바와 같이 실시예에 따라 상기 응급상황 모드 정보는 단말 통신부(240)를 통해 생체신호 제어장치(100)로 전송될 수도 있을 것이다.
상기 응급상황 모드로는 심폐소생술(CPR) 응급상황 모드, 화상 응급상황 모드, 자상 및 절상에 따른 출혈 응급상황 모드, 저체온증 응급상황 모드, 척추손상 응급상황 모드, 골절 응급상황 모드, 쇼크 응급상황 모드, 호흡곤란 응급상황 모드, 총상 응급상황 모드 등이 있을 수 있을 것이다.
모드영상 획득부(272)는 응급상황 모드가 선택되면 선택된 응급상황 모드에 대응 응급상황 영상을 모드영상 DB(211)로부터 로드하여 출력한다.
증강현실 영상 생성부(273)는 상기 로드된 응급상황 영상을 카메라부(250)를 통해 획득되는 촬영영상에 오버레이하여 증강현실 영상을 생성하여 단말 디스플레이부(220)에 저장한다. 상기 촬영영상에 응급상황 영상을 오버레이하기 위해 증강현실 영상 생성부(273)는 촬영영상에서 인체 더미(2)를 인식하고, 인식된 인체 더미(2)를 기준으로 응급상황 영상을 오버레이한다.
다른 실시예에 따라 증강현실 영상 생성부(273)는 생성된 증강현실 영상을 상기 응급처치 평가 서버(300)로 전송할 수 있을 것이다.
동작 인식부(274)는 상기 증강현실 영상 생성부(273)에서 생성된 증강현실 영상으로부터 평가대상자 및 응급환자의 동작을 인식한다. 상기 평가대상자에 대한 동작 인식은 영상분석을 통해 평가대상자의 손의 움직임 및 증강현실 영상에서의 화면 움직임에 따른 평가대상자의 움직임에 의해 수행될 수 있으며, 방향 측정부(260)에 의한 평가대상자의 머리 이동 방향 및 회전방향 등에 의해 복합적으로 이루어질 수 있을 것이다. 또한, 상기 응급환자에 대한 동작 인식은 영상분석에 의존하여 이루어질 수 있으며, 인체 더미(2)의 목 관절, 팔 관절, 다리 관절 등의 관절에 꺾임을 검출할 수 있는 센서 등을 구비하여 신체의 꺽임 동작에 따른 인식 정보를 생체신호 제어장치(100)로부터 수신받아 수행될 수도 있고, 인체 더미(2)의 방향센서를 구비하여 인체 더미(2)의 움직임 방향 및 회전방향을 인식하고 인식된 정보를 생체신호 제어장치(100)로부터 더 제공받아 수행될 수도 있을 것이다.
상기 동작은 평가대상자의 인공호흡 동작, 심장 압박 동작, 기도 유지 동작, 절상 꿰맴 동작, 부목 대기 동작 등이 될 수도 있고, 응급환자의 목 젖힘 동작, 다리 올림 동작 등이 될 수 있을 것이다.
동작 평가부(275)는 동작 인식부(274)를 동작이 인식되면 인식된 동작과 동작 평가 DB(212)의 상기 선택된 응급상황 모드에 대한 기준 동작을 비교하여 동작 평가를 수행하고, 동작 평가정보를 출력한다.
응급처치상태정보 획득부(276)는 상기 평가대상자의 동작에 대응하여 일정 주기로 단말 통신부(240)를 통해 생체신호 제어장치(100)로부터 응급처치상태정보를 수신하여 저장한다.
응급처치 평가부(277)는 상기 생체신호 제어장치(100)로부터 수신된 응급처치상태정보와 상기 상태 평가 DB(213)의 상기 응급상황 모드에 대응하는 기준응급처치상태정보를 비교하여 응급처치상태 평가정보를 생성하고, 응급처치상태 평가정보와 상기 동작 평가정보를 통합적으로 분석하여 평가대상자에 대한 응급처치 평가정보를 생성하여 평가 DB(214)에 저장한다.
평가정보 출력부(278)는 상기 생성된 응급처치 평가정보를 단말 디스플레이부(220)를 통해 디스플레이하고, 단말 통신부(240)를 통해 미리 설정된 관리자의 관리자 단말기(미도시)로 전송하거나, 본 발명의 다른 실시예에 따라 응급처치 평가 서버(300)로 전송한다.
본 발명의 제2실시예에 따라 응급처치 평가부(400)를 증강현실 단말기(200) 및 응급처치 평가 서버(300)로 구성하는 경우, 상기 도 3의 동작 인식부(274), 동작 평가부(275), 응급처치상태정보 획득부(276), 응급처치 평가부(277) 및 평가정보 출력부(278)는 응급처치 평가 서버(300)의 서버 제어부(미도시)에 구성될 수 있으며, 동작 평가 DB(212), 상태 평가 DB(213) 및 평가 DB(214)는 응급처치 평가 서버(300)의 서버 저장부(미도시)에 구성되는 것이 바람직할 것이다.
모드영상 DB(211) 또한 서버 저장부에 구성될 수 있으며, 이 경우 증강현실 단말기(200)는 응급처치 평가 이벤트의 발생 시 또는 응급상황 모드 설정 시 단말 통신부(240)를 통해 응급처치 평가 서버(300)로 응급상황 모드 리스트를 요청하여 수신하고, 수신된 응급상황 모드 리스를 단말 디스플레이부(220)에 표시한 후 평가대상자의 선택을 받아 선택된 응급상황 모드에 대응하는 응급상황 모드영상을 수신받아 획득할 수도 있을 것이다.
또한 증강현실 단말기(200)는 응급상황 모드를 선택할 수 없고, 응급처치 평가 서버(300)에서 제시하는 응급상황 모드 정보를 수신받아 동작하도록 구성될 수도 있을 것이다.
도 4는 본 발명의 일실시예에 따른 증강현실 영상을 이용한 응급처치 평가 시스템의 증강현실 단말기에서의 응급처치 평가 방법을 나타낸 흐름도이다.
도 4를 참조하면, 우선 단말 제어부(270)는 응급처치 평가 이벤트가 발생하는지를 모니터링한다(S111). 상기 응급처치 평가 이벤트는 응급상황 모드 설정에 의해 발생될 수도 있고, 단말 입력부(230)로부터 응급처치 평가 명령의 입력 시 발생될 수도 있으며, 다른 실시예에 따라 응급처치 평가 서버(300)로부터 응급상황 모드 정보의 수신 시 발생될 수도 있을 것이다.
응급처치 평가 이벤트가 발생되면 단말 제어부(270)는 응급상황 모드 설정이 자동모드로 설정되어 있는지를 판단하고(S113), 자동모드로 설정되어 있으면 랜덤으로 응급상황 모드를 선택하거나 미리 설정된 순서에 따라 순차적으로 응급상황 모드를 선택하여 설정한다(S115).
반면, 자동모드가 설정되어 있으면 단말 제어부(270)는 단말 디스플레이부(220)를 통해 응급상황 모드 리스트를 표시하여 응급상황 모드를 선택할 것을 요청하고( S117), 응급상황 모드가 선택되는지를 검사한다(S119).
응급상황 모드가 선택되면 단말 제어부(270)는 선택된 응급상황 모드에 대응하는 응급상황 모드 정보를 로딩하여 설정한다(S121).
응급상황 모드 정보가 설정되면 단말 제어부(270)는 일실시예에 따라 생체신호 제어장치(100)로 인체 더미 구동 요청 신호를 전송하여 인체 더미(2)의 생체신호 제어장치(100)의 응급상황 모드 동작을 개시시킨다. 다른 실시예에 따라 생체신호 제어장치(100)는 자체의 더미 입력부(190) 및 더미 디스플레이부(195)를 통해 입력되는 증강현실 단말기(200)와 동일한 응급상황 모드 선택에 의해 증강현실 단말기(200)와 동일한 응급상황 모드로 동작할 수도 있을 것이다.
인체 더미가 구동되면 단말 제어부(270)는 설정 응급상황 모드에 대한 모드영상을 모드영상 DB(211)로부터 로드하고(S125), 카메라부(250)를 통해 입력되는 촬영영상에 오버레이하여 증강현실 영상을 생성한 후 단말 디스플레이부(220)에 표시한다(S127).
증강현실 영상이 표시되기 시작하면 단말 제어부(270)는 증강현실 영상(또는 촬영영상만)을 분석하여 평가대상자 및 응급환자의 움직임을 추적한다.
움직임 추적이 개시되면 단말 제어부(270)는 평가대상자 및 응급환자의 동작이 인식되는지를 모니터링하고(S131), 동작이 인식되면 인식동작과 설정된 응급상황 모드에 대한 기준 동작과 비교하여(S133), 동작 평가정보를 생성한다(S135).
상기 동작 평가정보가 생성되기 시작하면 단말 제어부(270)는 생체신호 제어장치(100)로부터 응급처치상태정보가 수신되는지를 검사하고(S137), 응급처치상태정보가 수신되면 수신 응급처치상태정보 및 상기 설정된 응급상황 모드의 기준 응급처치상태정보를 비교하여(S139) 응급처치 평가정보를 생성한다(S141).
응급처치 평가정보가 생성되면 단말 제어부(270)는 동작 평가정보 및 응급처치 평가정보를 종합적으로 분석하여 동작에 따른 통합 응급처치 평가정보를 생성하여 저장하고(S143), 단말 디스플레이부(220)에 표시한 후, 실시예에 따라 응급처치 평가 서버(300)로 전송하거나, 평가대상자의 관리자 단말기(미도시)로 전송하도록 구성될 수 있을 것이다(S145).
도 5는 본 발명의 일실시예에 따른 증강현실 영상을 이용한 응급처치 평가 방법 중 인체 더미의 생체신호 제어장치를 통한 응급처치상태정보 수집 방법을 나타낸 흐름도이다.
도 5를 참조하면, 더미 제어부(180)는 구동 이벤트가 발생되는지를 검사한다(S211). 상기 구동 이벤트는 상술한 바와 같이 실시예에 따라 증강현실 단말기(200)로부터 수신되는 인체 더미 구동 요청 신호에 의해 발생될 수도 있고, 더미 입력부(190)를 통해 입력되는 구동 요청 명령에 의해 발생될 수도 있을 것이다.
구동 이벤트가 발생되면 더미 제어부(180)는 각 실시예에 따른 동작 모드, 즉 응급상황 모드가 결정되는지를 검사한다(S213).
응급상황 모드가 결정되면 더미 제어부(180)는 결정된 응급상황 모드를 설정하고(S215), 진동 발생기(130), 기도 팽창부(150), 공기 생성부(160) 중 어느 하나 이상을 제어하여 응급상황 모드에 따른 생체신호를 생성시키기 시작한다(S217).
상기 생체신호가 생성되기 시작하면 더미 제어부(180)는 압력 측정부(140), 공기압 측정부(170) 중 어느 하나 이상을 통해 응급처치정보를 수집하고(S219), 수집된 응급처치정보를 포함하는 응급처치상태정보를 생성하여(S221) 증강현실 단말기(200)로 전송하기 시작한다(S123).
상기 생체신호의 생성과, 응급처치상태정보의 생성 및 전송은 증강현실 단말기(200)로부터 응급처치 평가 종료 요청 신호가 수신되거나 더미 입력부(190)를 통해 종료 명령이 입력될 때까지 지속적으로 수행될 것이다.
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
1: 유무선 데이터통신망 2: 인체 더미
3: 기도 관 100: 생체신호 제어장치
110: 인체 더미 저장부 120: 더미 무선통신부
130: 진동 발생기 140: 압력 측정부
150: 기도 팽창부 160: 공기 생성부
170: 공기압 측정부 171: 제1공기압 측정부
172: 제2공기압 측정부 180: 더미 제어부
181: 동작모드 설정부 182: 진동 제어부
183: 압력 획득부 184: 위치 판단부
185: 기도 제어부 186: 기도 공기압 획득부
187: 응급처치 상태정보 생성부 189: 응급처치 상태정보 제공부
190: 더미 입력부 195: 더미 디스플레이부
200: 증강현실 단말기 210: 단말 저장부
211: 모드영상 DB 212: 동작 평가 DB
213: 상태 평가 DB 214: 평가 DB
220: 단말 디스플레이부 230: 단말 입력부
240: 단말 통신부 250: 카메라부
260: 방향 측정부 270: 단말 제어부
271: 응급모드 설정부 272: 모드영상 획득부
273: 증강현실 영상 생성부 274: 동작 인식부
275: 동작 평가부 276: 응급처치상태정보 획득부
277: 응급처치 평가부 278: 평가정보 출력부

Claims (12)

  1. 인체 더미에 구성되어 응급상황 모드 정보에 대응하는 생체신호를 인체 더미에 발생시키고 평가대상자가 상기 인체 더미에 행하는 응급처치 동작에 따른 동작별 응급처치정보를 포함하는 응급처치상태정보를 전송하는 생체신호 제어장치; 및
    카메라를 포함하는 증강현실 고글로 구성되어 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 오버레이한 증강현실 영상을 생성하여 표시하고, 그에 따른 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 생체신호 제어장치로부터 수신되는 상기 응급처치상태정보에 의해 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력하는 응급처치 평가부를 포함하되,
    상기 생체신호 제어장치는,
    상기 생체신호 제어장치와 무선통신을 수행하는 더미 무선통신부;
    상기 인체 더미의 심장 위치에 구성되어 생체신호인 심장박동에 대응하는 진동을 발생시키고 상기 심장박동의 진동에 동기화된 진동을 목 및 손목에 발생시키는 진동 발생기;
    상기 인체 더미의 심장 위치를 포함하여 심장 주변에 적어도 하나 이상의 압력 센서를 구비하여 압력 센서별로 외부에서 가해지는 위치별 압력을 측정하여 출력하는 압력 측정부; 및
    상기 진동 발생기를 제어하여 응급상황 모드 정보에 대응하는 생체신호인 진동을 인체 더미에 발생시키고, 상기 압력 측정부를 통해 평가대상자가 상기 인체 더미의 심장 부분에 가하는 응급처치 동작인 압력을 측정하여 응급처치정보를 포함하는 응급처치상태정보를 상기 더미 무선통신부를 통해 상기 응급처치 평가부로 전송하는 더미 제어부를 포함하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 더미 제어부는,
    상기 응급상황 모드 정보를 획득 및 저장하여 응급상황 모드를 설정하는 동작모드 설정부;
    상기 응급상황 모드 정보에 포함된 심박정보에 따라 상기 진동 발생기를 제어하여 진동을 발생시키는 진동 제어부;
    상기 압력 측정부를 통해 위치별 압력을 획득하는 압력 획득부;
    상기 압력 측정부를 통해 측정되는 위치별 압력에 따라 압력이 가해지는 위치를 판단하고, 판단된 압력 위치정보를 출력하는 위치 판단부; 및
    응급처치정보인 상기 압력 위치정보 및 위치별 압력을 포함하는 응급처치상태정보를 생성하는 응급처치상태정보 생성부; 및
    상기 응급처치상태정보를 더미 무선통신부를 통해 상기 응급처치 평가부로 제공하는 응급처치상태정보 제공부를 포함하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 시스템.
  4. 제3항에 있어서,
    생체신호 제어장치는,
    상기 인체 더미의 입에서 내부로 형성되는 기도에 대응하는 기도 관의 끝단에 구성되어 상기 입 방향으로 주기적으로 호흡에 대응하는 공기를 생성하여 배출시키는 공기 생성부; 및
    상기 인체 더미의 입 천장부 및 상기 기도 관의 끝단부에 형성되어 인공호흡에 의한 공기를 포함할 수 있는 들숨과 날숨의 공기압을 측정하는 공기압 측정부를 더 포함하되,
    상기 더미 제어부는,
    상기 공기압 측정부를 통해 상기 들숨 및 날숨의 공기압을 획득하는 기도 공기압 획득부를 더 포함하고,
    상기 응급처치상태정보 생성부는
    상기 들숨 및 날숨 각각에 대한 공기압을 더 포함한 응급처치상태정보를 생성하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 시스템.
  5. 제4항에 있어서,
    상기 생체신호 제어장치는,
    상기 인체 더미의 기도에 대응하는 상기 기도 관의 중간에 구성되어 상기 기도 관을 차단하는 기도 팽창부를 더 포함하되,
    상기 더미 제어부는,
    상기 응급상황 모드 정보에 따라 상기 기도 팽창부를 제어하여 기도를 차단하는 기도 제어부를 더 포함하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 시스템.
  6. 제1항에 있어서,
    상기 응급처치 평가부는,
    응급상황 모드별 응급상황 영상을 저장하는 모드영상 DB, 응급상황 모드별 동작에 대한 기준 동작정보를 저장하는 동작 평가 DB, 응급상황 모드별 기준 응급처치상태 정보를 저장하는 상태 평가 DB 및 평가대상자별 평가정보를 저장하는 평가 DB를 포함하는 단말 저장부;
    상기 생체신호 제어장치와 무선통신을 수행하는 단말 통신부;
    상기 카메라를 포함하여 상기 카메라의 렌즈에 투영되는 상에 대응하는 촬영영상을 생성하여 출력하는 카메라부;
    상기 촬영영상 및 촬영영상에 응급상황 영상이 오버레이된 상기 증강현실 영상 중 어느 하나를 표시하는 단말 디스플레이부; 및
    상기 응급상황 모드 정보에 대응하는 응급상황 영상을 상기 모드영상 DB에서 로드하고, 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 로드된 상기 응급상황 영상을 오버레이한 증강현실 영상을 생성하여 상기 단말 디스플레이부에 표시하고, 상기 증강현실 영상을 통해 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 동작 평가 DB의 기준동작 정보를 비교하여 평가대상자의 응급상황 모드에 대응하는 동작을 평가하고, 상기 생체신호 제어장치로부터 수신되는 상기 응급처치상태정보와 상기 상태 평가 DB의 기준 응급처치상태정보를 비교하여 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력하는 단말 제어부를 포함하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 시스템.
  7. 제1항에 있어서,
    상기 응급처치 평가부는,
    카메라를 포함하는 증강현실 고글로 구성되어 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 오버레이한 증강현실 영상을 생성하여 표시하고, 상기 생체신호 제어장치로부터 수신되는 응급처치상태정보 및 상기 증강현실 영상을 전송하는 증강현실 단말기; 및
    상기 증강현실 단말기로부터 상기 증강현실 영상 및 응급처치상태정보를 수신하고, 수신된 증강현실 영상에 의해 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 응급처치상태정보에 의해 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력하는 응급처치 평가 서버를 포함하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 시스템.
  8. 인체 더미에 구성되는 생체신호 제어장치 및 응급처치 평가부 각각이 다수의 응급상황에 대한 응급상황 모드 중 하나를 선택하여 설정하는 응급상황 모드 설정 과정;
    상기 생체신호 제어장치가 응급상황 모드 정보에 대응하는 생체신호를 인체 더미에 발생시키고 평가대상자가 상기 인체 더미에 행하는 응급처치 동작에 따른 동작별 응급처치정보를 포함하는 응급처치상태정보를 전송하는 응급처치 상태정보 측정 과정; 및
    상기 응급처치 평가부가 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 오버레이한 증강현실 영상을 생성하여 표시하고, 그에 따른 상기 평가대상자의 동작을 인식하고, 인식된 동작과 상기 생체신호 제어장치로부터 수신되는 상기 응급처치상태정보에 의해 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하여 출력하는 응급처치 평가 과정을 포함하되,
    상기 응급처치 상태정보 측정 과정은,
    상기 생체신호 제어장치의 더미 제어부가 상기 인체 더미의 심장 위치에 구성되는 진동 발생기를 제어하여 생체신호인 심장박동에 대응하는 진동을 발생시키고 상기 심장박동의 진동에 동기화된 진동을 목 및 손목에 발생시키는 진동 발생 단계;
    상기 더미 제어부가 상기 인체 더미의 심장 위치를 포함하여 심장 주변에 적어도 하나 이상의 압력 센서를 구비하는 압력 측정부를 통해 압력 센서별로 외부에서 가해지는 위치별 압력을 측정하는 압력 측정 단계; 및
    상기 더미 제어부가 상기 위치별 압력을 응급처치정보로써 포함하는 응급처치상태정보를 더미 무선통신부를 통해 상기 응급처치 평가부로 전송하는 응급처치상태정보 제공 단계를 포함하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 응급처치 상태정보 측정 과정은,
    상기 더미 제어부가 상기 인체 더미의 입에서 내부로 형성되는 기도에 대응하는 기도 관의 끝단에 구성되는 공개 생성부를 제어하여, 상기 응급상황 모드 정보에 따라 상기 입 방향으로 주기적으로 호흡에 대응하는 공기를 생성하여 배출시키는 공기 생성 단계; 및
    상기 더미 제어부가 상기 인체 더미의 입 천장부 및 상기 기도 관의 끝 단부에 형성되는 공기압 측정부를 통해 인공호흡에 의한 공기를 포함할 수 있는 들숨과 날숨의 공기압을 측정하는 공기압 측정 단계를 더 포함하되,
    응급처치상태정보 제공 단계는,
    상기 더미 제어부가 상기 들숨 및 날숨 각각에 대한 공기압을 더 포함한 응급처치상태정보를 생성하여 제공하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 방법.
  11. 제10항에 있어서,
    상기 응급처치 상태정보 측정 과정은,
    상기 더미 제어부가 상기 응급상황 모드 정보에 따라 인체 더미의 기도에 대응하는 기도 관의 중간에 구성되어 상기 기도 관을 차단하는 기도 팽창부를 제어하여 기도를 차단하는 기도 제어 단계를 더 포함하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 방법.
  12. 제8항에 있어서,
    응급처치 평가 과정은,
    단말 제어부가 상기 응급상황 모드 정보에 대응하는 응급상황 영상을 모드영상 DB에서 로드하고, 상기 카메라를 통해 촬영되는 상기 인체 더미 및 상기 평가대상자의 동작을 포함하는 촬영 영상에 로드된 상기 응급상황 영상을 오버레이한 증강현실 영상을 생성하여 단말 디스플레이부에 표시하는 증강현실 영상 생성 단계;
    상기 단말 제어부가 상기 증강현실 영상을 통해 상기 평가대상자의 동작을 인식하는 동작 인식 단계;
    상기 단말 제어부가 인식된 동작과 동작 평가 DB의 기준동작 정보를 비교하여 평가대상자의 응급상황 모드에 대응하는 동작을 평가하는 동작 평가 단계;
    상기 단말 제어부가 상기 생체신호 제어장치로부터 수신되는 상기 응급처치상태정보와 상태 평가 DB의 기준 응급처치상태정보를 비교하여 상기 평가대상자가 상기 응급상황 모드 정보의 응급상황에 대응하는 응급처치를 수행하고 있는지를 평가하는 응급처치상태 평가 단계; 및
    상기 동작 평가 및 응급처치상태정보에 의한 응급처치상태 평가를 통합하여 통합 응급처치 평가정보를 생성하여 출력하는 통합 응급처치 평가 단계를 포함하는 것을 특징으로 하는 증강현실 영상을 이용한 응급처치 평가 방법.
KR1020190110681A 2019-09-06 2019-09-06 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법 KR102265500B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190110681A KR102265500B1 (ko) 2019-09-06 2019-09-06 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190110681A KR102265500B1 (ko) 2019-09-06 2019-09-06 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210029445A KR20210029445A (ko) 2021-03-16
KR102265500B1 true KR102265500B1 (ko) 2021-06-16

Family

ID=75224171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190110681A KR102265500B1 (ko) 2019-09-06 2019-09-06 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102265500B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075615A (ja) * 2013-10-09 2015-04-20 学校法人 日本歯科大学 医療用実習装置
KR101887805B1 (ko) * 2017-03-23 2018-08-10 최재용 증강현실 기반의 복강경 수술용 시뮬레이션 시스템 및 이를 이용한 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102045260B1 (ko) 2018-01-17 2019-12-02 대구보건대학교산학협력단 증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075615A (ja) * 2013-10-09 2015-04-20 学校法人 日本歯科大学 医療用実習装置
KR101887805B1 (ko) * 2017-03-23 2018-08-10 최재용 증강현실 기반의 복강경 수술용 시뮬레이션 시스템 및 이를 이용한 방법

Also Published As

Publication number Publication date
KR20210029445A (ko) 2021-03-16

Similar Documents

Publication Publication Date Title
US20240148464A1 (en) Augmented Reality Device for Providing Feedback to an Acute Care Provider
US10420701B2 (en) Cameras for emergency rescue
US8998828B2 (en) Visualization testing and/or training
KR20180058656A (ko) 현실-증강된 형태학적 방법
CN107077214A (zh) 用于在医院中使用的通信的方法和系统
WO2021111879A1 (ja) 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ
JP2017532129A (ja) 有効な人工呼吸を教授、演習及び遂行するためのシステム及び方法
JP6815104B2 (ja) 映像表示装置及び映像表示方法
US11179065B2 (en) Systems, devices, and methods for determining an overall motion and flexibility envelope
KR102265500B1 (ko) 증강현실 영상을 이용한 응급처치 평가 시스템 및 방법
KR20180097343A (ko) 심폐 소생술 훈련 시스템
KR101737448B1 (ko) 모바일기기와 센서를 이용한 심폐소생술 훈련 시스템 및 방법
US20190117129A1 (en) Systems, devices, and methods for determining an overall strength envelope
US20230157925A1 (en) Cameras for Emergency Rescue
KR20180097334A (ko) 심폐 소생술 훈련 시뮬레이션 방법
JP2020047025A (ja) 医療トレーニングを支援する情報処理装置
US20230355332A1 (en) Medical arm control system, medical arm device, medical arm control method, and program
RU2454166C2 (ru) Устройство интерактивной оценки зрительных, перцептивных и когнитивных способностей человека
TWI724858B (zh) 基於手勢動作的混合實境評量系統
WO2021020419A1 (ja) 医療画像処理装置および医療画像処理プログラム
KR20220065495A (ko) 아바타를 이용한 환자의 운동능력 평가 방법 및 운동능력 평가 장치
US20220406206A1 (en) Recording medium recorded with cardiopulmonary resuscitation training program, cardiopulmonary resuscitation training method, apparatus, and system
WO2017115740A1 (ja) 映像表示装置及び映像表示方法
KR102447460B1 (ko) Xr 기반 바늘 감압술 응급처치 교육훈련시스템
US20230237920A1 (en) Augmented reality training system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant