KR20220132384A - Smart Glass Interlocking Convergence Reality (MR) Automatic Defibrillator (AED) System Using Image Recognition Technology - Google Patents

Smart Glass Interlocking Convergence Reality (MR) Automatic Defibrillator (AED) System Using Image Recognition Technology Download PDF

Info

Publication number
KR20220132384A
KR20220132384A KR1020210037621A KR20210037621A KR20220132384A KR 20220132384 A KR20220132384 A KR 20220132384A KR 1020210037621 A KR1020210037621 A KR 1020210037621A KR 20210037621 A KR20210037621 A KR 20210037621A KR 20220132384 A KR20220132384 A KR 20220132384A
Authority
KR
South Korea
Prior art keywords
aed
smart glass
patient
user
image
Prior art date
Application number
KR1020210037621A
Other languages
Korean (ko)
Inventor
권종산
박진호
김성엽
Original Assignee
동서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교 산학협력단 filed Critical 동서대학교 산학협력단
Priority to KR1020210037621A priority Critical patent/KR20220132384A/en
Publication of KR20220132384A publication Critical patent/KR20220132384A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/38—Applying electric currents by contact electrodes alternating or intermittent currents for producing shock effects
    • A61N1/39—Heart defibrillators
    • A61N1/3993—User interfaces for automatic external defibrillators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/38—Applying electric currents by contact electrodes alternating or intermittent currents for producing shock effects
    • A61N1/39—Heart defibrillators
    • A61N1/3925—Monitoring; Protecting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Nursing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

The present invention relates to a smart glasses-linked merged reality (MR) automated external defibrillator (AED) system using image recognition technology. The smart glasses-linked MR AED system, according to the present invention, comprises: smart glasses; an OpenCV module; a storage device (DB); and a control unit. Therefore, the present invention has a remarkable effect of increasing the survival rate of patients by increasing the overall AED use rate.

Description

영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템{Smart Glass Interlocking Convergence Reality (MR) Automatic Defibrillator (AED) System Using Image Recognition Technology}Smart Glass Interlocking Convergence Reality (MR) Automatic Defibrillator (AED) System Using Image Recognition Technology

본발명은 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템에 관한 것으로, 보다 상세하게는 영상분석기법을 활용하여 현장을 인식하고 사용자에게 시청각적 UI를 통해 절차적으로 AED를 사용하는 과정을 알려주고 지시하여 사용자가 AED에 대한 지식이 전무 하여도 올바른 AED 사용을 유도하고 지시어조의 활용과 시스템의 신뢰성을 이용해 사용자가 느끼는 책임소재와 잘못된 조치에 대한 압박감을 경감시키게 되어, 스마트글래스를 활용한 혼합현실 환경에서 사용자는 자신의 시야내에서 환자와 AED 사용안내 자료를 동시에 확인하는 것으로 안내를 받음과 동시에 타임랙 없이 환자에게 응급조치를 시행할 수 있으므로, 최초목격자를 포함한 목격자들이 AED를 사용하는 것을 꺼리게 만드는 저해요인을 영상분석을 이용한 시스템으로 해결하여 전체적인 AED 사용률의 증가시켜 환자의 생존율이 상승되는 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템에 관한 것이다.The present invention relates to a smart glass-linked fused reality (MR) automatic external defibrillator (AED) system using image recognition technology. By informing and instructing the process of using the AED effectively, the user induces the correct use of the AED even if the user has no knowledge of the AED, and uses the instructional tone and the reliability of the system to reduce the user's sense of responsibility and the pressure for wrong actions. In the mixed reality environment using smart glasses, the user is informed by simultaneously checking the patient and the AED usage guide data within his/her field of vision, and at the same time, he can administer emergency measures to the patient without a time lag. Smart Glass Linked Convergence Reality (MR) Automated External Defibrillator using image recognition technology that increases patient survival rate by increasing the overall AED usage rate by solving the obstacles that make witnesses, including those who are reluctant to use the AED, with a system using image analysis (AED) system.

현재 다중이용시설로 분류된 장소(불특정 다수가 이용하는 대규모건물)에서 심장 정지 환자가 발생하면 시설내부에서 쉽게 찾을 수 있도록 설치 되어있는 AED를 사용하여 응급구조를 실시하는 것이 가능하다. 하지만 심정지 환자가 발생하면 최초목격자는 AED를 사용하지 않는다. 대신에 목격자는 시설의 훈련받은 직원에게 상황을 알리고 해당 직원이 응급구조를 진행한다. 최초목격자가 최단시간 내에 환자에게 사용되어야하는 AED가 몇몇 요인들로 인하여 사용이 저해되고 있음이 확인된다.If a cardiac arrest patient occurs in a place currently classified as a multi-use facility (a large building used by an unspecified number of people), it is possible to perform emergency rescue using the AED installed so that it can be easily found inside the facility. However, first-time witnesses do not use the AED when cardiac arrest occurs. Instead, witnesses inform the facility's trained staff of the situation, who will provide first aid. It is confirmed that the use of the AED, which should be used for the patient in the shortest time by the first eyewitness, is inhibited due to several factors.

현재 우리사회에서는 초등학생부터 성인에 이르기까지 CPR(심폐소생술)을 포함한 안전교육을 실시하여 응급구조 방법을 교육하고 있다. 심정지 환자의 경우에는 증상발생 직후로부터의 5분내외의 짧은 시간동안 응급조치의 유무로 생존율이 큰 폭으로 바뀌기 때문에 응급조치의 중요성이 매우 높은 것이 이유이다. 그렇기에 불특정 다수가 이용하는 다중이용시설의 경우에는 심정지 환자가 발생했을 때를 대비한 AED가 설치되어있으며 이는 법적으로 강제되어 있기 때문에 미설치된 건물은 매우 적다. 그렇지만 문제는 AED의 설치율이 아닌 사용률에 있다.Currently, in our society, from elementary school students to adults, safety education, including CPR (cardiopulmonary resuscitation), is provided to educate people on emergency rescue methods. In the case of cardiac arrest patients, the importance of emergency measures is very high because the survival rate changes significantly with the presence or absence of emergency measures for a short period of about 5 minutes or less immediately after the onset of symptoms. Therefore, in the case of multi-use facilities used by an unspecified number of people, AEDs are installed in case a cardiac arrest patient occurs. However, the problem lies in the usage rate, not the installation rate of AEDs.

사람들이 AED를 사용하여 적극적으로 응급처치를 하지 못하고 주저하게 만드는 저해요인으로 '사용법 모름' 요인이 전체 중 65%로 가장 높게 나왔다. AED를 사용하고 싶어도 방법을 정확하게 모르니 이후 발생할 법적책임소재와 잘못된 사용방법으로 환자에게 악영향을 끼치는 것을 두려워하는 심리가 주된 원인으로 작용한 것이다.'I don't know how to use' factor was the highest at 65% of the total as the impeding factor that made people hesitate to take first aid when using the AED. The main reason was the fear of adversely affecting the patient through the legal responsibility that would arise in the future and the wrong way to use the AED, as the main cause was that the person wanted to use the AED but did not know exactly how.

심정지 발생 환자는 발견자들의 초동대응이 얼마나 빠르고 정확하게 제공되었는가 아닌가에 따라서 이송 이후의 생존율과 그 후유증의 정도가 큰 폭으로 차이를 보이며 결정된다. 따라서 심정지 환자는 최초목격자에 의해서 최단시간으로 올바른 AED 사용조치가 실행되는 것이 생존율이 가장 높으며 가장 바람직한 시나리오이다. 하지만 실제상황에서 AED가 활용되는 사례들을 분석해보면 초기 발견자들은 환자의 구명활동에는 적극적으로 임하였으나 막상 가장 중요한 AED를 사용하는 것에는 다소 주저하는 경향이 보였으며 사용훈련을 받은 시설 직원을 기다린 것으로 본인이 주도적으로 응급조치를 하는 것은 아니었다.The survival rate after transport and the degree of its sequelae vary greatly depending on how quickly and accurately the first responders were provided for patients with cardiac arrest. Therefore, for patients with cardiac arrest, the highest survival rate and the most desirable scenario is that the correct AED use measures are executed in the shortest time by first-time witnesses. However, when analyzing the cases where AEDs are used in real situations, the early discoverers actively engaged in the rescue activities of patients, but they tended to be somewhat hesitant about using the AED, which is the most important thing. It was not that he was the one who took the initiative in first aid.

발견자들이 쉽게 AED를 사용하지 못하는 것에는 크게 두 가지 요소가 존재하였기 때문이다. 해당 요소들은 AED 사용저해 요인으로서 인식하여 해결하여야 하는 문제로 각각 '사용방법 모름', '오용으로 인한 책임부담'을 문제로 심지어 사용훈련을 받은 인원들도 내용은 기억하나 사용할 엄두가 나지 않았다고 답했으며 이는 결국 사용 의향은 있으나 실제로 사용은 하지 못하는 주된 이유이다.The reason that the discoverers could not easily use the AED was because two factors existed. These factors are problems that need to be recognized and resolved as factors impeding the use of AEDs, respectively, 'don't know how to use' and 'take responsibility for misuse'. and this is the main reason why they intend to use it, but cannot actually use it.

그리고 종래특허기술로서 등록특허공보 등록번호 10-1255088호에는 자동제세동기 보관함에 설치되어 전체적인 제어기능을 수행하는 중앙처리장치(10)와, 사용자의 지문정보를 중앙처리장치(10)에 보내어 지문을 인식 및 저장할 수 있도록 하는 지문인식장치(20)와, 사용자의 안면정보를 중앙처리장치(10)로 보내어 안면을 인식 및 저장할 수 있도록 하는 안면인식장치(30)와, 상기 안면인식장치(30)의 안면정보 인식 및 자동제세동기 보관함의 위치를 안내하는 조명을 제공하는 조명장치(40)와, 상기 사용자의 지문 및 안면정보가 중앙처리장치(10)를 통해 저장되면 자동제세동기 보관함의 도어 잠금이 해제되도록 하는 잠금장치(50)와, 상기 자동제세동기 보관함이 개방되면 이를 관리자 및 구급담당자에게 이를 알려주는 통신장치(70)로 이루어진 것을 특징으로 하는 사용자 인식을 이용한 자동제세동기 보관함 사용시스템이 공개되어 있다.In addition, as a prior patent technology, in Patent Publication No. 10-1255088, a central processing unit 10 installed in an AED storage box to perform overall control functions, and a user's fingerprint information sent to the central processing unit 10 to provide a fingerprint A fingerprint recognition device 20 for recognizing and storing the face recognition device 30, and a face recognition device 30 for sending the user's face information to the central processing unit 10 to recognize and store the face, and the face recognition device 30 ), a lighting device 40 that provides illumination for recognizing facial information and guiding the location of the AED storage box, and the door of the AED storage box when the user's fingerprint and facial information are stored through the central processing unit 10 A system for using an AED storage box using user recognition, characterized in that it comprises a locking device (50) for unlocking the lock and a communication device (70) notifying an administrator and a first-aid person when the AED storage box is opened. this is disclosed.

또한 공개특허공보 10-2019-0011480호에는 심전도 측정 유닛과, 제세동 전기 충격유닛과, 밧데리와, 제어유닛과, 무선 통신유닛과, 제세동 전극을 포함하는 제세동기 본체와, 상기 제세동기 본체와 무선연결을 위한 무선통신부와, 디스플레이와, 상기 제세동기 본체로 부터 전송된 심장파형을 분석하여 제세동기의 구동을 제어하기 위한 제어부를 포함하는 스마트 기기를 포함하고,In addition, Korean Patent Publication No. 10-2019-0011480 discloses a defibrillator body including an electrocardiogram measuring unit, a defibrillation electric shock unit, a battery, a control unit, a wireless communication unit, and defibrillation electrodes, and the defibrillator body and wireless A smart device comprising: a wireless communication unit for connection; a display;

상기 제세동기 본체는 스마트 기기와 무선 통신이 연결된 경우, 스마트 기기의 제어 명령에 따라서 제세동 기능을 수행하도록 구성되어 있고, 상기 스마트 기기는 시뮬레이션 명령과 제세동 실행 명령을 선택적으로 제세동기 본체에 전송하도록 구성되어 있고, 상기 제세동기 본체는 시뮬레이션 명령을 전송받는 경우, 심전도 측정 신호를 스마트 기기로 전송하고, 스마트기기는 전송받은 측정신호를 분석하여 제세동 전극의 부착 상태에 대한 양부를 판단하는 메시지를 디스플레이에 표시하도록 구성되어 있고, 상기 제세동기 본체는 제세동 실행명령을 전송받은 경우, 심전도 측정 신호를 스마트 기기로 전송하고, 스마트기기는 전송받은 측정신호를 분석하여 제세동 전극의 부착 상태에 대한 양부를 판단하는 메시지를 디스플레이에 표시하고, 측정신호를 분석하여 제세동 전극에 전기 충격을 인가하도록 하는 명령을 제세동기 본체로 전송하고, 제세동기 본체는 제세동 전극에 전기충격 인가 명령을 전달받아 전기충격을 인가하도록 구성된 것을 특징으로 하는 스마트 기기를 이용한 제세동기 제어 장치가 공개되어 있다.The defibrillator body is configured to perform a defibrillation function according to a control command of the smart device when wireless communication is connected with the smart device, and the smart device is configured to selectively transmit a simulation command and a defibrillation execution command to the defibrillator body When receiving a simulation command, the defibrillator body transmits an electrocardiogram measurement signal to the smart device, and the smart device analyzes the received measurement signal to determine whether the defibrillation electrode is attached or not, on the display. When the defibrillation execution command is received, the defibrillator body transmits an electrocardiogram measurement signal to the smart device, and the smart device analyzes the received measurement signal to determine whether the defibrillation electrode is attached or not. A message is displayed on the display, and a command to apply an electric shock to the defibrillation electrode is transmitted to the defibrillator body by analyzing the measurement signal, and the defibrillator body is configured to receive an electric shock application command to the defibrillation electrode and apply an electric shock. An apparatus for controlling a defibrillator using a smart device is disclosed.

또한 등록특허공보 등록번호 10-1780214호에는 자동제세동기를 이용한 응급 구조시스템이 공개되어 있다. 그러나 상기 종래기술들은 제세동기를 사용하는 상태에서 환자의 상태를 실시간으로 측정하고 이에 따른 적절한 조치를 피드백해주는 구성들이 나타나 있지 않으므로 사용자가 잘못사용하는 위험을 초래할 수 있다.Also, in Korean Patent Publication No. 10-1780214, an emergency rescue system using an automatic external defibrillator is disclosed. However, since the prior art techniques do not include configurations that measure the condition of a patient in real time while using the defibrillator and feed back an appropriate action accordingly, a risk of erroneous use by the user may occur.

따라서 본발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 해당 저해요인을 해소하기 위한 방법으로 영상분석기법을 활용하여 시스템이 현장을 인식하고 사용자에게 시청각적 UI를 통해 절차적으로 AED를 사용하는 과정을 알려주고 지시하여 사용자가 AED에 대한 지식이 전무 하여도 올바른 AED 사용을 유도하고 지시어조의 활용과 시스템의 신뢰성을 이용해 사용자가 느끼는 책임소재와 잘못된 조치에 대한 압박감을 경감시키고자 하는 것이다.Therefore, the present invention was devised to solve the above problems, and as a method to solve the obstacles, the system recognizes the scene by using the image analysis technique and uses the AED procedurally through the audiovisual UI to the user. By informing and instructing the process, the purpose is to induce the correct use of the AED even if the user has no knowledge of the AED, and to reduce the user's sense of responsibility and the pressure on wrong actions by using the instructional tone and the reliability of the system.

그러므로 본 발명에서는 최초목격자를 포함한 목격자들이 AED를 사용하는 것을 꺼리게 만드는 저해요인을 영상분석을 이용한 시스템으로 해결하여 최종적으로 AED 사용률을 증가시켜 환자의 생존율을 상승시키는 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템을 제공하고자 하는 것이다.Therefore, in the present invention, the barrier factor that makes witnesses, including first-time witnesses, reluctant to use the AED is solved with a system using image analysis, and finally, the AED use rate is increased and the patient's survival rate is increased by smart glass linkage using image recognition technology. This is to provide a fused reality (MR) automated external defibrillator (AED) system.

본발명은 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템카메라 모듈을 통해서 사용자의 시선을 따라 현장의 영상제원을 수집할 수 있는 스마트글래스;The present invention provides a smart glass that can collect image specifications of the field according to a user's gaze through a smart glass interlocking fused reality (MR) automatic external defibrillator (AED) system camera module using image recognition technology;

스마트글래스의 카메라 모듈을 통해 수집된 영상제원을 이미지 프로세싱 모듈을 사용하여 시스템이 필요로 하는 정보를 생성해내는 OpenCV 모듈;an OpenCV module that generates the information required by the system using the image processing module from the image data collected through the camera module of Smart Glass;

사전에 입력된 환자의 바이오 정보와 신상, 병력정보를 보관하는 스토리지 장치(DB);a storage device (DB) for storing the patient's bio-information, personal information, and medical history information entered in advance;

및 사용자가 착용한 스마트글래스(MR디바이스)의 카메라 모듈을 사용하여 현장의 영상제원을 획득하고 환자의 얼굴을 인식하여 DB에 등록된 환자의 병력과 신원을 파악하고 동시에 OpenCV 영상분석 프로세스를 통해 주변 사물을 인식하며,사용자에게 AED 사용법을 안내하는 제어부;로 구성되는 것을 특징으로 한다.And by using the camera module of the smart glass (MR device) worn by the user, it acquires on-site image specifications, recognizes the patient's face, identifies the patient's history and identity registered in the DB, and at the same time uses the OpenCV image analysis process to determine the surrounding area. It is characterized in that it consists of; a control unit that recognizes an object and guides the user how to use the AED.

따라서 본발명은 영상분석기법을 활용하여 현장을 인식하고 사용자에게 시청각적 UI를 통해 절차적으로 AED를 사용하는 과정을 알려주고 지시하여 사용자가 AED에 대한 지식이 전무 하여도 올바른 AED 사용을 유도하고 지시어조의 활용과 시스템의 신뢰성을 이용해 사용자가 느끼는 책임소재와 잘못된 조치에 대한 압박감을 경감시키게 되어,Therefore, the present invention recognizes the scene by using image analysis technique, informs and instructs the user of the process of using the AED procedurally through the audiovisual UI, and induces the correct use of the AED even if the user has no knowledge of the AED and provides instructions By using the use of the jaw and the reliability of the system, the user's sense of responsibility and the pressure of wrong actions are relieved,

스마트글래스를 활용한 혼합현실 환경에서 사용자는 자신의 시야내에서 환자와 AED 사용안내 자료를 동시에 확인하는 것으로 안내를 받음과 동시에 타임랙 없이 환자에게 응급조치를 시행할 수 있으므로, 최초목격자를 포함한 목격자들이 AED를 사용하는 것을 꺼리게 만드는 저해요인을 영상분석을 이용한 시스템으로 해결하여 전체적인 AED 사용률의 증가시켜 환자의 생존율이 상승되는 현저한 효과가 있다.In a mixed reality environment using smart glasses, the user is informed by simultaneously checking the patient and AED usage guide materials within his/her field of vision, and at the same time, he can administer emergency measures to the patient without a time lag. There is a remarkable effect of increasing the survival rate of patients by increasing the overall AED use rate by solving the obstacles that make them reluctant to use the AED with the system using image analysis.

도 1은 본발명의 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템 구성도1 is a configuration diagram of a smart glass-linked convergence reality (MR) automatic external defibrillator (AED) system using the image recognition technology of the present invention.

본발명은 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템카메라 모듈을 통해서 사용자의 시선을 따라 현장의 영상제원을 수집할 수 있는 스마트글래스;The present invention provides a smart glass that can collect image specifications of the field according to a user's gaze through a smart glass interlocking fused reality (MR) automatic external defibrillator (AED) system camera module using image recognition technology;

스마트글래스의 카메라 모듈을 통해 수집된 영상제원을 이미지 프로세싱 모듈을 사용하여 시스템이 필요로 하는 정보를 생성해내는 OpenCV 모듈;an OpenCV module that generates the information required by the system using the image processing module from the image data collected through the camera module of Smart Glass;

사전에 입력된 환자의 바이오 정보와 신상, 병력정보를 보관하는 스토리지 장치(DB);a storage device (DB) for storing the patient's bio-information, personal information, and medical history information entered in advance;

및 사용자가 착용한 스마트글래스(MR디바이스)의 카메라 모듈을 사용하여 현장의 영상제원을 획득하고 환자의 얼굴을 인식하여 DB에 등록된 환자의 병력과 신원을 파악하고 동시에 OpenCV 영상분석 프로세스를 통해 주변 사물을 인식하며,사용자에게 AED 사용법을 안내하는 제어부;로 구성되는 것을 특징으로 한다.And by using the camera module of the smart glass (MR device) worn by the user, it acquires on-site image specifications, recognizes the patient's face, identifies the patient's history and identity registered in the DB, and at the same time uses the OpenCV image analysis process to determine the surrounding area. It is characterized in that it consists of; a control unit that recognizes an object and guides the user how to use the AED.

또한 상기 사용법 안내는 영상과 사진의 시각자료와 음성안내를 포함한 청각자료를 혼합한 시청각자료로 구성된 디지털 자료들을 사용하며, 제어부는 사용자가 안내자료를 빠르게 인지하도록 디지털 자료들은 사용자가 행동 해야할 모션을 가상의 손 그래픽을 출력수단에 출력해 따라할 수 있도록 하는 것을 특징으로 한다.In addition, the usage guide uses digital materials composed of audiovisual materials that are mixed with audio data including visual data of images and photos and audio guides, and the control unit uses the digital data to determine the motion the user needs to act so that the user can quickly recognize the guide data. It is characterized in that the virtual hand graphic is output to the output means so that it can be followed.

또한 상기 출력수단은 디스플레이 스크린인 것을 특징으로 한다.In addition, the output means is characterized in that the display screen.

본발명을 첨부도면에 의해 상세히 설명하면 다음과 같다.도 1은 본발명의 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템 구성도이다.The present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a configuration diagram of a smart glass-linked convergence reality (MR) automatic external defibrillator (AED) system using the image recognition technology of the present invention.

시스템 제어부가 사용자에게 AED 사용방법을 실시간으로 제공 및 유도하여 사용법을 모르는 AED 사용훈련 미경험자도 AED를 올바르게 사용할 수 있도록 해주며 훈련 경험자의 경우 훈련을 받았지만, 실제 사용에 있어서 발생하는 부담감과 긴장감에 의해 AED 사용을 주저하는 현상은 시스템의 유도를 따르기만 하는 것으로 된다는 것을 안내하여 부담감과 긴장감을 감소시켜 AED 사용을 촉진한다.The system control unit provides and guides the user on how to use the AED in real time so that even those who have not experienced AED usage training who do not know how to use the AED can use the AED correctly. It promotes the use of AEDs by reducing burden and tension by guiding that reluctance to use the AED only follows the guidance of the system.

시스템이 사용자에게 AED 사용법을 실시간으로 알려주어야 하므로 사용자가 보고 있는 환경을 똑같이 인식할 필요가 있다. 따라서 혼합현실(MR)환경을 이용해 환자가 있는 현실세계와 AED 안내를 위한 디지털 시각자료를 한데 묶어 사용자에게 직관적이고 효과적으로 AED 사용을 안내하는 것으로 해결한다. 이때 사용자는 스마트글래스(MR디바이스)를 착용하게 되며 해당 장치의 카메라 모듈을 사용하여 현장의 영상제원을 시스템이 획득하게끔 한다. 시스템은 환자의 얼굴을 인식하여 DB에 등록된 환자의 병력과 신원을 파악하고 동시에 OpenCV 영상분석 프로세스를 통해 주변 사물(AED등 응급조치에 사용되는 물품)을 인식한다.Since the system has to inform the user how to use the AED in real time, it is necessary to recognize the environment the user is viewing in the same way. Therefore, it is solved by linking the real world with the patient and digital visual materials for AED guidance using a mixed reality (MR) environment and intuitively and effectively guiding the user to use the AED. At this time, the user wears smart glasses (MR device) and uses the camera module of the device to allow the system to acquire the image specifications of the field. The system recognizes the patient's face to identify the patient's medical history and identity registered in the DB, and at the same time recognizes surrounding objects (items used for emergency measures such as AED) through the OpenCV image analysis process.

시스템이 현장을 인식한 이후에는 사용자에게 AED 사용법을 안내하게 된다. 사용법 안내는 영상과 사진등의 시각자료와 음성안내를 포함한 청각자료를 혼합한 시청각자료로 구성된 디지털 자료들을 사용한다. 응급조치의 특성상 신속함과 정확성이 요구되므로 사용자가 안내자료를 빠르게 인지하도록 디지털 자료들은 사용자가 행동 해야할 모션을 가상의 손과 같은 그래픽을 출력해 따라할 수 있도록 한다. 환자의 얼굴을 분석하여 DB에 등록된 신상과 병력을 확인 가능하니 이송후 환자파악에 소모되는 시간도 절약된다.After the system recognizes the site, it will guide the user on how to use the AED. Instructions for use use digital materials composed of audiovisual materials that mix visual materials such as videos and photos and audio materials including audio guides. Since the nature of emergency measures requires quickness and accuracy, digital materials allow users to quickly recognize the guide materials by printing out graphics such as virtual hands to follow the motions the user needs to act. By analyzing the patient's face, it is possible to check the personal information and medical history registered in the DB, saving time spent in identifying the patient after transfer.

스마트글래스를 활용한 혼합현실 환경에서 사용자는 자신의 시야내에서 환자와 AED 사용안내 자료를 동시에 확인하는 것으로 안내를 받음과 동시에 타임랙 없이 환자에게 응급조치를 시행할 수 있다.In a mixed reality environment using smart glasses, the user is informed by simultaneously checking the patient and AED usage guide data within their field of vision, and at the same time, can provide emergency measures to the patient without a time lag.

본발명의 주요구성들에 대해 설명하면,스마트글래스(MR디바이스)는 스마트글래스의 카메라 모듈을 통해서 사용자의 시선을 따라 현장의 영상제원을 수집할 수 있다. 환자를 인식하여 DB와 대조해 그의 신원과 병력정보를 찾아내고, 그와 동시에 혼합현실 디스플레이를 통해서 사용자에게 디지털 자료를 이용해 AED의 사용을 절차에 따라 지시한다.When explaining the main components of the present invention, the smart glass (MR device) can collect the image specifications of the field according to the user's gaze through the camera module of the smart glass. Recognizes the patient and matches it with the database to find out his identity and medical history, while at the same time instructing the user to use the AED using digital data through the mixed reality display according to the procedure.

OpenCV 모듈은 스마트글래스의 카메라 모듈을 통해 수집된 영상제원을 C# 코드로 작성된 이미지 프로세싱 모듈을 사용하여 시스템이 필요로 하는 정보를 생성해낸다. 해당 이미지 프로세싱을 통해서 얻어지는 결과물은 환자의 얼굴 좌표, 환자의 흉강압박부위(CPR 적용부위), AED 전기자극 패드 부착위치 2곳(우측 빗장뼈 아래, 좌측 6번 갈비뼈 옆구리)을 특정해낸 이후 스마트글래스에게 AED 사용안내를 위한 디지털 자료를 제공한다.The OpenCV module generates the information required by the system using the image processing module written in C# code from the image data collected through the camera module of Smart Glass. The result obtained through the image processing is a smart glass after specifying the patient's face coordinates, the patient's chest compression site (CPR application site), and two AED electrical stimulation pad attachment locations (under the right clavicle, left 6th rib). Provides digital materials for AED usage guides.

스토리지 장치(DB)는 사전에 입력된 환자의 바이오 정보와 신상, 병력정보를 보관하고 있으며 스마트글래스가 현장의 환자 얼굴 인식정보를 이곳 스토리지에 저장된 정보와 대조하여 현장의 환자의 신원을 파악할 수 있도록 하는 저장하고 있다.The storage device (DB) stores the patient's bio information, personal information, and medical history information entered in advance, and Smart Glass compares the patient's face recognition information at the scene with the information stored in the storage to identify the patient's identity at the scene. are saving

다른 실시례로서, 스마트글래스의 카메라 모듈을 통해 상황을 인지하는 시스템의 제어부는 사용자가 잘못사용할 경우 경보수단을 작동하여 경보음을 알려준다. 또는 잘못된 행위에 대한 교정을 스피커를 통해 음성으로 알려주며, 제세동기를 사용하는 상황에서 환자에 연결된 심박수 등은 자동제세동기(AED) 시스템의 입력수단인 심박수감지센서,카메라 모듈 등에 의해 시스템에 입력되며 입력값이 시스템의 정해진 값과 차이가 많이 나면 제어부는 경고를 하거나 올바른 답을 음성으로 제시하여 사용자가 즉시 교정하게 한다. 이때 환자의 실시간 상태분석 및 음성지시는 사람이 아닌 AI를 활용한다.As another embodiment, the control unit of the system for recognizing the situation through the camera module of the smart glass operates the alarm means when the user uses it incorrectly to notify the alarm sound. Or, correction of wrong behavior is notified by voice through the speaker, and the heart rate connected to the patient when the defibrillator is used is input to the system by the heart rate sensor and camera module, which are the input means of the AED system. If the value differs greatly from the system's set value, the control unit gives a warning or provides the correct answer by voice so that the user can correct it immediately. At this time, real-time condition analysis and voice instructions of patients use AI, not humans.

따라서 본발명은 영상분석기법을 활용하여 현장을 인식하고 사용자에게 시청각적 UI를 통해 절차적으로 AED를 사용하는 과정을 알려주고 지시하여 사용자가 AED에 대한 지식이 전무 하여도 올바른 AED 사용을 유도하고 지시어조의 활용과 시스템의 신뢰성을 이용해 사용자가 느끼는 책임소재와 잘못된 조치에 대한 압박감을 경감시키게 되어, 스마트글래스를 활용한 혼합현실 환경에서 사용자는 자신의 시야내에서 환자와 AED 사용안내 자료를 동시에 확인하는 것으로 안내를 받음과 동시에 타임랙 없이 환자에게 응급조치를 시행할 수 있으므로, 최초목격자를 포함한 목격자들이 AED를 사용하는 것을 꺼리게 만드는 저해요인을 영상분석을 이용한 시스템으로 해결하여 전체적인 AED 사용률의 증가시켜 환자의 생존율이 상승되는 현저한 효과가 있다.Therefore, the present invention recognizes the scene by using image analysis technique, informs and instructs the user of the process of using the AED procedurally through the audiovisual UI, and induces the correct use of the AED even if the user has no knowledge of the AED and provides instructions By using the use of the jaw and the reliability of the system, the user's sense of responsibility and the pressure of wrong actions are relieved. Since first aid can be administered to the patient without a time lag as soon as the patient is informed about There is a remarkable effect of increasing the survival rate of

Claims (3)

카메라 모듈을 통해서 사용자의 시선을 따라 현장의 영상제원을 수집할 수 있는 스마트글래스;
스마트글래스의 카메라 모듈을 통해 수집된 영상제원을 이미지 프로세싱 모듈을 사용하여 시스템이 필요로 하는 정보를 생성해내는 OpenCV 모듈;
사전에 입력된 환자의 바이오 정보와 신상, 병력정보를 보관하는 스토리지 장치(DB);
및 제어부;로 구성되는 것을 특징으로 하는 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템Smart Glass that can collect image specifications of the field by following the user's gaze through the camera module;
an OpenCV module that generates the information required by the system using the image processing module from the image data collected through the camera module of Smart Glass;
a storage device (DB) for storing the patient's bio-information, personal information, and medical history information entered in advance;
and a control unit; a smart glass interlocking convergence reality (MR) automatic external defibrillator (AED) system using image recognition technology, characterized in that it consists of 제1항에 있어서, 상기 제어부는 사용자가 착용한 스마트글래스의 카메라 모듈을 사용하여 현장의 영상제원을 획득하는 것을 특징으로 하는 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템According to claim 1, wherein the control unit uses a smart glass camera module worn by the user to acquire the image specifications of the scene, smart glass interlocked convergence reality (MR) automatic external defibrillator (MR) using image recognition technology ( AED) system 제1항에 있어서, 상기 제어부는 획득한 영상제원에 의해 환자의 얼굴을 인식하여 DB에 등록된 환자의 병력과 신원을 파악하는 것을 특징으로 하는 영상인식 기술을 활용한 스마트글래스 연동 융합현실(MR) 자동제세동기(AED) 시스템According to claim 1, wherein the control unit recognizes the patient's face based on the acquired image specifications to identify the medical history and identity of the patient registered in the DB Smart Glass Linked Convergence Reality (MR) using image recognition technology ) Automatic External External Defibrillator (AED) System
KR1020210037621A 2021-03-23 2021-03-23 Smart Glass Interlocking Convergence Reality (MR) Automatic Defibrillator (AED) System Using Image Recognition Technology KR20220132384A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210037621A KR20220132384A (en) 2021-03-23 2021-03-23 Smart Glass Interlocking Convergence Reality (MR) Automatic Defibrillator (AED) System Using Image Recognition Technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210037621A KR20220132384A (en) 2021-03-23 2021-03-23 Smart Glass Interlocking Convergence Reality (MR) Automatic Defibrillator (AED) System Using Image Recognition Technology

Publications (1)

Publication Number Publication Date
KR20220132384A true KR20220132384A (en) 2022-09-30

Family

ID=83451417

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210037621A KR20220132384A (en) 2021-03-23 2021-03-23 Smart Glass Interlocking Convergence Reality (MR) Automatic Defibrillator (AED) System Using Image Recognition Technology

Country Status (1)

Country Link
KR (1) KR20220132384A (en)

Similar Documents

Publication Publication Date Title
CN108135772B (en) Portable medical device and method for personalized therapy guidance based on online stored profiles with body measurements
US10431008B2 (en) Remote assistance workstation, method and system with a user interface for remote assistance with spatial placement tasks via augmented reality glasses
KR102045260B1 (en) Simulation method for training first aid treatment using augmented reality and virtual reality
US10667988B2 (en) Cameras for emergency rescue
EP3317786B1 (en) Cardiopulmonary resuscitation coordination method, computer program product and system
CN108671401B (en) Intelligent medical Internet of things-cooperated AED automatic external defibrillator system and method
KR101445978B1 (en) Education system of Cardiopulmonary Resuscitation
KR101232868B1 (en) System for training of CPR and Defibrillator with including educational program
TW201801677A (en) Virtual reality system for psychological clinical application capable of providing a highly immersive environment for the patient to enhance illness evaluation or treatment effects
CN113409624A (en) Cardio-pulmonary resuscitation training system based on AR augmented reality technology
Song et al. 2020 Korean guidelines for cardiopulmonary resuscitation. Part 3. Adult basic life support
US20210393479A1 (en) Cameras for Emergency Rescue
Lee et al. Development of an extended reality simulator for basic life support training
Watson et al. BreathEZ: Using smartwatches to improve choking first aid
Higashi et al. Development and evaluation of a corrective feedback system using augmented reality for the high-quality cardiopulmonary resuscitation training
KR20220132384A (en) Smart Glass Interlocking Convergence Reality (MR) Automatic Defibrillator (AED) System Using Image Recognition Technology
KR20170013091A (en) guide system of automated external defibrillator
KR20230008406A (en) Hand gesture recognition-based cardiopulmonary resuscitation (CPR) and automated external defibrillator (AED) AR training system
RU2696429C2 (en) Pre-hospital system of medical care provision
KR20210028587A (en) AED based on Augmented Reality
CN113393716A (en) Visual intelligent interactive defibrillation training device and method
Lim et al. Singapore Basic Cardiac Life Support and Automated External Defibrillation Guidelines 2021
KR20160004836A (en) Education system and Education methods of Self-study CPR
Zhao et al. Enhancing body mechanics training for bedside care activities with a kinect-based system
Smith et al. 781 Drone delivered defibrillators (The 3D Project): a simulation study

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application