KR102362398B1 - Apparatus and method for training fire in the operating room - Google Patents

Apparatus and method for training fire in the operating room Download PDF

Info

Publication number
KR102362398B1
KR102362398B1 KR1020200001640A KR20200001640A KR102362398B1 KR 102362398 B1 KR102362398 B1 KR 102362398B1 KR 1020200001640 A KR1020200001640 A KR 1020200001640A KR 20200001640 A KR20200001640 A KR 20200001640A KR 102362398 B1 KR102362398 B1 KR 102362398B1
Authority
KR
South Korea
Prior art keywords
action
user
fire
operating room
action step
Prior art date
Application number
KR1020200001640A
Other languages
Korean (ko)
Other versions
KR20210088337A (en
Inventor
김희수
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Priority to KR1020200001640A priority Critical patent/KR102362398B1/en
Publication of KR20210088337A publication Critical patent/KR20210088337A/en
Application granted granted Critical
Publication of KR102362398B1 publication Critical patent/KR102362398B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 수술실 화재 훈련 장치는, 사용자의 움직임 정보를 획득하는 센서부와, 수술 중 화재 상황과 관련되는 가상 현실, 증강 현실 또는 혼합 현실과 관련된 영상 및 오디오를 출력하는 출력부와, 상기 가상 현실, 상기 증강 현실 또는 상기 혼합 현실을 구현하고, 상기 획득된 움직임 정보를 기반으로 상기 사용자의 화재 대처 행동을 인식하고, 상기 인식된 화재 대처 행동을 평가하는 프로세서를 포함할 수 있다.An operating room fire training apparatus according to an embodiment includes a sensor unit for acquiring user's movement information, and an output unit for outputting images and audio related to virtual reality, augmented reality, or mixed reality related to a fire situation during surgery; It may include a processor for implementing virtual reality, the augmented reality, or the mixed reality, recognizing the fire coping action of the user based on the obtained motion information, and evaluating the recognized fire coping action.

Description

수술실 화재 훈련 장치 및 방법{Apparatus and method for training fire in the operating room}Apparatus and method for training fire in the operating room

증강 현실, 가상 현실 또는 혼합 현실 기술을 이용하여 수술실에서 화재 발생시 의료진이 대처하는 행동을 훈련하기 위한 수술실 화재 훈련 장치 및 방법과 관련된다.It relates to an operating room fire training apparatus and method for training medical personnel to respond in the event of a fire in an operating room using augmented reality, virtual reality or mixed reality technology.

현재의 교육 시스템은 정보 통신 기술의 발달 및 컴퓨터, 스마트 폰의 대중화에 따라 대면 교육에서 장소에 제약을 받지 않는 여러 형태의 이러닝(e-Learning)으로 대체되고 있다. 초창기의 이러닝에서는 교과서와 같은 텍스트 기반 매체에 담긴 내용들을 단순히 디지털 콘텐츠로 옮기는 것과 같은 접근 방법이 많이 사용되었지만, 단순한 텍스트, 동영상 또는 플래시 기반의 일방형 교육 콘텐츠로 얻을 수 있는 교육 효과에는 여러 가지 한계점이 존재한다.The current education system is being replaced by various forms of e-Learning that are not restricted by place in face-to-face education according to the development of information and communication technology and the popularization of computers and smart phones. In the early days of e-learning, many approaches were used, such as simply transferring content from text-based media such as textbooks to digital content, but there are several limitations to the educational effect that can be obtained with simple text, video, or flash-based one-way educational content. this exists

이러한 점을 극복하기 위해서, 최근 가상현실(virtual reality), 증강현실(augmented reality) 및 혼합현실(mixed reality)이라 불리는 기술에 대한 관심이 높아지고 있다. 가상현실은 컴퓨터로 만들어 놓은 가상의 세계에서 사용자가 실제와 같은 체험을 할 수 있도록 하는 기술이고, 증강현실은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이고, 혼합현실은 현실과 가상을 결합하여 실물과 가상 객체들이 공존하는 새로운 환경을 만들고 사용자가 해당 환경과 실시간으로 상호작용을 함으로써 다양한 디지털 정보들을 보다 실감나게 체험할 수 있도록 하는 기술이다.In order to overcome this point, recently, interest in technologies called virtual reality, augmented reality, and mixed reality is increasing. Virtual reality is a technology that allows users to have a realistic experience in a virtual world created by a computer. is a technology that combines real and virtual to create a new environment in which real and virtual objects coexist, and enables users to experience various digital information more realistically by interacting with the environment in real time.

이러한 가상현실, 증강현실 및 혼합현실 기술을 학습 콘텐츠에 적용할 경우, 학습 장면에 대한 맥락인식(context-awareness)을 높이고, 학습자의 실제감과 몰입감을 촉진함으로써 학습효과를 향상시킬 수 있다.When these virtual reality, augmented reality, and mixed reality technologies are applied to learning content, the learning effect can be improved by increasing the context-awareness of the learning scene and facilitating the learner's sense of reality and immersion.

한편, 수술 중에 화재가 발생하게 되면 환자와 의료진 모두 위험에 빠지게 되므로, 의료진의 신속한 대처가 필수적이다. 정기적인 화재 훈련을 통해 수술실 화재 상황에 대한 의료진의 대처를 충분히 숙달시킴으로써 환자와 의료진의 안전을 보장할 수 있다. 따라서, 수술실 화재 상황에 대한 의료진의 대처 행동을 훈련 및 평가할 수 있는 기술 개발이 요구된다.On the other hand, if a fire occurs during surgery, both the patient and the medical staff are at risk, so it is essential for the medical staff to respond quickly. Through regular fire training, the safety of patients and medical staff can be ensured by sufficiently mastering the handling of medical staff in operating room fire situations. Therefore, there is a need to develop a technology capable of training and evaluating the coping behavior of medical staff in an operating room fire situation.

한국 공개특허공보 제10-2015-0018664호Korean Patent Publication No. 10-2015-0018664

증강 현실, 가상 현실 또는 혼합 현실 기술을 이용하여 수술실에서 화재 발생시 의료진이 대처하는 행동을 훈련하기 위한 수술실 화재 훈련 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide an operating room fire training apparatus and method for training medical staff to cope with a fire in an operating room using augmented reality, virtual reality or mixed reality technology.

일 양상에 따른 수술실 화재 훈련 장치는, 사용자의 움직임 정보를 획득하는 센서부와, 수술 중 화재 상황과 관련되는 가상 현실, 증강 현실 또는 혼합 현실과 관련된 영상 및 오디오를 출력하는 출력부와, 상기 가상 현실, 상기 증강 현실 또는 상기 혼합 현실을 구현하고, 상기 획득된 움직임 정보를 기반으로 상기 사용자의 화재 대처 행동을 인식하고, 상기 인식된 화재 대처 행동을 평가하는 프로세서를 포함할 수 있다.An operating room fire training apparatus according to an aspect includes a sensor unit for acquiring user movement information, an output unit for outputting images and audio related to virtual reality, augmented reality, or mixed reality related to a fire situation during surgery, and the virtual Realizing reality, the augmented reality, or the mixed reality, and recognizing the user's fire coping behavior based on the obtained motion information, and may include a processor for evaluating the recognized fire coping behavior.

상기 사용자는 수술실에서 수술을 진행하는 의료진 중 하나일 수 있다.The user may be one of the medical staff performing the operation in the operating room.

상기 사용자는 외과 의사, 마취과 의사 및 간호사 중 하나일 수 있다.The user may be one of a surgeon, an anesthesiologist, and a nurse.

상기 프로세서는 수술실 내 사용자의 역할별로 구축된 평가 기준을 기반으로 상기 인식된 화재 대처 행동을 평가할 수 있다.The processor may evaluate the recognized fire coping action based on the evaluation criteria established for each role of the user in the operating room.

상기 평가 기준은 행동 단계별 화재 대처 행동과 그에 대응하는 점수가 매칭된 테이블 형태로 구축될 수 있다.The evaluation criteria may be constructed in the form of a table in which fire coping actions for each action level and scores corresponding thereto are matched.

상기 프로세서는 상기 사용자의 화재 대처 행동을 행동 단계별로 평가하고, 행동 단계별 평가 결과를 종합하여 최종 평가할 수 있다.The processor may evaluate the fire coping behavior of the user for each action step, and may finally evaluate the action step-by-step evaluation result by synthesizing the result.

상기 프로세서는 행동 단계별 평가 점수가 해당 행동 단계의 기준 점수 미만이면, 해당 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.If the evaluation score for each action step is less than the reference score for the action step, the processor may induce re-education of the user for the action step.

상기 프로세서는 행동 단계별 소요 시간이 해당 행동 단계의 기준 시간을 초과하면, 해당 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.When the time required for each action step exceeds the reference time of the corresponding action step, the processor may induce re-education of the user for the action step.

상기 프로세서는 각 행동 단계별로 상기 사용자가 선택할 수 있는 하나 이상의 행동 선택지를 생성하여 상기 사용자에게 제공할 수 있다.The processor may generate one or more action options that the user can select for each action step and provide it to the user.

상기 프로세서는 사용자가 선택한 행동 선택지를 더 기반으로 상기 사용자의 화재 대처 행동을 인식할 수 있다.The processor may recognize the fire coping action of the user further based on the action option selected by the user.

상기 출력부는 HMD(head mounted display) 장치일 수 있다.The output unit may be a head mounted display (HMD) device.

다른 양상에 따른 수술실 화재 훈련 방법은, 사용자의 움직임 정보를 획득하는 단계와, 수술 중 화재 상황과 관련되는 가상 현실, 증강 현실 또는 혼합 현실을 구현하는 단계와, 상기 획득된 움직임 정보를 기반으로 상기 사용자의 화재 대처 행동을 인식하는 단계와, 상기 인식된 화재 대처 행동을 평가하는 단계를 포함할 수 있다.An operating room fire training method according to another aspect includes the steps of: acquiring movement information of a user; implementing virtual reality, augmented reality, or mixed reality related to a fire situation during surgery; It may include recognizing the user's fire coping action and evaluating the recognized fire coping action.

상기 사용자는 수술실에서 수술을 진행하는 의료진 중 하나일 수 있다.The user may be one of the medical staff performing the operation in the operating room.

상기 사용자는 외과 의사, 마취과 의사 및 간호사 중 하나일 수 있다.The user may be one of a surgeon, an anesthesiologist, and a nurse.

상기 인식된 화재 대처 행동을 평가하는 단계는 수술실 내 사용자의 역할별로 구축된 평가 기준을 기반으로 상기 인식된 화재 대처 행동을 평가하는 단계를 포함할 수 있다.Evaluating the recognized fire coping action may include evaluating the recognized fire coping action based on evaluation criteria established for each role of the user in the operating room.

상기 평가 기준은 행동 단계별 화재 대처 행동과 그에 대응하는 점수가 매칭된 테이블 형태로 구축될 수 있다.The evaluation criteria may be constructed in the form of a table in which fire coping actions for each action level and scores corresponding thereto are matched.

상기 인식된 화재 대처 행동을 평가하는 단계는 상기 사용자의 화재 대처 행동을 행동 단계별로 평가하고, 행동 단계별 평가 결과를 종합하여 최종 평가하는 단계를 포함할 수 있다.The step of evaluating the recognized fire coping action may include evaluating the user's fire coping action for each action step, and final evaluation by synthesizing the action step evaluation results.

상기 인식된 화재 대처 행동을 평가하는 단계는 행동 단계별 평가 점수가 해당 행동 단계의 기준 점수 미만이면, 해당 행동 단계에 대한 사용자의 재교육을 유도하는 단계를 포함할 수 있다.The step of evaluating the recognized fire coping action may include inducing re-education of the user for the action step when the evaluation score for each action step is less than the reference score for the action step.

상기 인식된 화재 대처 행동을 평가하는 단계는 행동 단계별 소요 시간이 해당 행동 단계의 기준 시간을 초과하면, 해당 행동 단계에 대한 사용자의 재교육을 유도하는 단계를 포함할 수 있다.The step of evaluating the recognized fire coping action may include inducing re-education of the user for the action step when the required time for each action step exceeds the reference time for the action step.

수술실 화재 훈련 방법은 각 행동 단계별로 상기 사용자가 선택할 수 있는 하나 이상의 행동 선택지를 생성하여 상기 사용자에게 제공하는 단계를 더 포함하고, 상기 사용자의 화재 대처 행동을 인식하는 단계에서 사용자가 선택한 행동 선택지를 더 기반으로 상기 사용자의 화재 대처 행동을 인식할 수 있다.The operating room fire training method further comprises the step of generating one or more action options that the user can select for each action step and providing the user with the action option selected by the user in the step of recognizing the user's fire coping action It is possible to recognize the fire response behavior of the user based on more.

수술실에서의 화재 상황을 현실감 있게 훈련할 수 있어 실제 수술실에서 화재 발생시 의료진 및 환자의 안전을 보장할 수 있다.The fire situation in the operating room can be trained realistically, so the safety of medical staff and patients can be guaranteed in case of a fire in the actual operating room.

또한, 수술실에서 화재 발생시 의료진에 의해 필수적으로 이루어져야 하는 항목들을 미리 훈련하는 것이 가능하다.In addition, it is possible to train in advance on items that must be performed by medical personnel in the event of a fire in the operating room.

도 1은 수술실 화재 훈련 장치의 일 실시예를 도시한 도면이다.
도 2는 프로세서의 일 실시예를 도시한 도면이다.
도 3은 프로세서의 다른 실시예를 도시한 도면이다.
도 4은 수술실 화재 훈련 방법의 일 실시예를 도시한 도면이다.
도 5는 사용자의 화재 대처 행동의 인식 및 평가 방법의 일 실시예를 도시한 도면이다.
도 6은 사용자의 화재 대처 행동의 인식 및 평가 방법의 다른 실시예를 도시한 도면이다.1 is a view showing an embodiment of an operating room fire training apparatus.
2 is a diagram illustrating an embodiment of a processor.
3 is a diagram illustrating another embodiment of a processor.
Figure 4 is a view showing an embodiment of the operating room fire training method.
5 is a diagram illustrating an embodiment of a method for recognizing and evaluating a user's fire coping behavior.
6 is a diagram illustrating another embodiment of a method for recognizing and evaluating a user's fire coping behavior.

이하, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings.

실시예들을 설명함에 있어서, 관련된 공기 기술에 대한 구체적인 설명이 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments, when it is determined that detailed descriptions of related air technologies may unnecessarily obscure the gist of the embodiments, detailed descriptions thereof will be omitted. And, the terms to be described later are terms defined in consideration of functions in the embodiments, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하고, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms such as first, second, etc. may be used to describe various components, but are used only for the purpose of distinguishing one component from other components. The singular expression includes the plural expression unless the context clearly dictates otherwise, and terms such as 'comprise' or 'have' refer to the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification. It is to be understood that this is not intended to indicate the existence of one or more other features or numbers, steps, operations, components, parts, or combinations thereof, or to exclude in advance the possibility of addition or existence of one or more other features.

또한, "일측", "타측", "상부", "하부" 등과 같은 방향성 용어는 개시된 도면들의 배향과 관련하여 사용된다. 실시예들의 구성 요소는 다양한 배향으로 위치 설정될 수 있으므로, 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.Also, directional terms such as “one side”, “the other side”, “top”, “bottom”, etc. are used in connection with the orientation of the disclosed figures. Since the components of the embodiments may be positioned in various orientations, the directional terminology is used for purposes of illustration and not limitation.

또한, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주 기능별로 구분한 것에 불과하다. 즉, 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있다.In addition, in the present specification, the classification of the constituent units is merely classified according to the main functions each constituent unit is responsible for. That is, two or more components may be combined into one component, or one component may be divided into two or more for each more subdivided function. In addition to the main function in charge of each component, each component may additionally perform some or all of the functions of other components. may be performed.

도 1은 수술실 화재 훈련 장치의 일 실시예를 도시한 도면이다. 도 1의 수술실 화재 훈련 장치(100)는 가상 현실, 증강 현실 또는 혼합 현실 기술을 이용하여, 수술 중 화재가 발생하는 경우에 수술실의 각 의료진의 화재 대처 행동을 평가하고 그 평가 결과를 제공하는 장치일 수 있다.1 is a view showing an embodiment of an operating room fire training apparatus. The operating room fire training device 100 of FIG. 1 evaluates the fire response behavior of each medical staff in the operating room when a fire occurs during surgery using virtual reality, augmented reality or mixed reality technology and provides the evaluation result can be

도 1을 참조하면, 수술실 화재 훈련 장치(100)는 입력부(110), 센서부(120), 출력부(130) 및 프로세서(140)를 포함할 수 있다.Referring to FIG. 1 , the operating room fire training apparatus 100 may include an input unit 110 , a sensor unit 120 , an output unit 130 , and a processor 140 .

입력부(110)는 사용자로부터 정보를 입력 받을 수 있다. 여기서 사용자는 수술실에서 수술을 진행하는 의료진 중 하나로서, 수술 집도의인 외과 의사, 마취과 의사 및 간호사 중 하나일 수 있으나, 이에 한정되는 것은 아니다.The input unit 110 may receive information from a user. Here, the user is one of the medical staff performing the operation in the operating room, and may be one of a surgeon, an anesthesiologist, and a nurse who is an operating surgeon, but is not limited thereto.

입력부(110)는 마이크로폰(111) 및 사용자 입력부(112)를 포함할 수 있다.The input unit 110 may include a microphone 111 and a user input unit 112 .

마이크로폰(111)은 사용자의 음성 데이터를 입력 받을 수 있다. 입력된 음성 데이터는 사용자 정보 획득, 실감형 입체 음향 생성, 사용자의 화재 대처 행동 인식 및 사용자의 화재 대처 행동 평가 등에 이용되거나, 음성 명령어로 활용될 수 있다. 여기서 사용자 정보는 사용자의 이름, 나이, 성별, 수술실 내 역할, 사번 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 일 실시예에 따르면, 마이크로폰(111)에는 사용자의 음성 데이터를 입력 받는 과정에서 발생되는 잡음을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다. The microphone 111 may receive the user's voice data. The input voice data may be used for obtaining user information, generating realistic 3D sound, recognizing a user's fire coping behavior, evaluating a user's fire coping action, etc., or may be used as a voice command. Here, the user information may include, but is not limited to, the user's name, age, gender, role in the operating room, employee number, and the like. According to an embodiment, various noise removal algorithms for removing noise generated in the process of receiving user's voice data may be implemented in the microphone 111 .

사용자 입력부(112)는 사용자로부터 사용자 정보 및/또는 다양한 조작신호를 입력 받을 수 있다. 입력된 조작신호는 수술실 화재 훈련 장치(100)의 동작을 제어하는데 이용될 수 있다. 일 실시예에 따르면, 사용자 입력부(112)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(touch pad), 조그 휠(Jog wheel), 조그 스위치(Jog switch), H/W 버튼 등을 포함할 수 있다. 특히, 터치 패드가 디스플레이와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.The user input unit 112 may receive user information and/or various manipulation signals from the user. The input manipulation signal may be used to control the operation of the operating room fire training apparatus 100 . According to an embodiment, the user input unit 112 may include a key pad, a dome switch, a touch pad, a jog wheel, a jog switch, and H/W. It may include a button and the like. In particular, when the touch pad forms a layer structure with the display, it may be referred to as a touch screen.

센서부(120)는 사용자의 주변 환경에 대한 정보, 사용자의 위치 정보, 사용자의 신체 움직임 정보 등을 획득할 수 있다. 센서부(120)는 카메라(121) 및 모션 센서(122)를 포함할 수 있다.The sensor unit 120 may acquire information about the user's surrounding environment, location information of the user, body movement information of the user, and the like. The sensor unit 120 may include a camera 121 and a motion sensor 122 .

카메라(121)는 사용자의 눈동자 움직임 영상, 사용자의 시선이 향하는 곳의 영상, 사용자의 주변 환경에 대한 정보 등을 획득할 수 있다. 획득된 영상은 실감형 입체 영상 생성, 사용자의 화재 대처 행동 인식, 사용자의 화재 대처 행동 평가 등에 이용될 수 있다. The camera 121 may acquire an image of the user's pupil movement, an image of a place to which the user's gaze is directed, information about the user's surrounding environment, and the like. The acquired image may be used for generating a realistic three-dimensional image, recognizing a user's fire coping behavior, and evaluating a user's fire coping behavior.

일 실시예에 따르면, 수술실 화재 훈련 장치(100)는 복수의 카메라(121)를 포함할 수 있고, 복수의 카메라(121)는 메트릭스 구조를 이루도록 배치될 수 있다. 수술실 화재 훈련 장치(100)는 매트릭스 구조를 이루는 카메라(121)를 통하여 다양한 각도 또는 초점을 갖는 복수의 영상 정보를 획득할 수 있다. 또한, 복수의 카메라(121)는 입체 영상을 구현하기 위한 좌 영상 및 우 영상을 획득할 수 있도록 스테레오(stereoscopic) 구조로 배치될 수 있다.According to an embodiment, the operating room fire training apparatus 100 may include a plurality of cameras 121, and the plurality of cameras 121 may be arranged to form a matrix structure. The operating room fire training apparatus 100 may acquire a plurality of image information having various angles or focal points through the camera 121 forming a matrix structure. In addition, the plurality of cameras 121 may be arranged in a stereoscopic structure to obtain a left image and a right image for realizing a stereoscopic image.

모션 센서(122)는 사용자의 위치 정보, 사용자의 움직임 정보 등을 획득할 수 있다. 획득된 위치 정보 및 움직임 정보는 실감형 입체 영상 생성, 사용자의 화재 대처 행동 인식, 사용자의 화재 대처 행동 평가 등에 이용될 수 있다. 모션 센서(122)는 수술실 화재 훈련 장치(100)의 구성 태양에 따라 1개 이상이 구비될 수 있다. 일 실시예에 따르면 모션 센서(122)는 지자기 센서, 가속도 센서, 자이로 센서, 고도계 등과 같은 각종 센서를 포함할 수 있다.The motion sensor 122 may acquire user location information, user movement information, and the like. The obtained location information and motion information may be used for generating a realistic 3D image, recognizing a user's fire coping behavior, and evaluating a user's fire coping behavior. One or more motion sensors 122 may be provided according to the configuration of the operating room fire training apparatus 100 . According to an embodiment, the motion sensor 122 may include various sensors such as a geomagnetic sensor, an acceleration sensor, a gyro sensor, and an altimeter.

출력부(130)는 가상 현실, 증강 현실 또는 혼합 현실과 관련된 영상, 오디오, 진동 등을 출력할 수 있다. 출력부(130)는 디스플레이(131), 스피커(132) 및 햅틱 모듈(133)을 포함할 수 있다.The output unit 130 may output an image, audio, vibration, etc. related to virtual reality, augmented reality, or mixed reality. The output unit 130 may include a display 131 , a speaker 132 , and a haptic module 133 .

디스플레이(131)는 수술실 화재 훈련 장치(100)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이(131)는 가상 현실, 증강 현실 또는 혼합 현실과 관련된 영상을 표시할 수 있다. 또한, 디스플레이(131)는 수술실 화재 훈련 장치(100)에서 구동되는 응용 프로그램의 실행 화면 정보, 또는 이러한 실행 화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.The display 131 may display information processed in the operating room fire training apparatus 100 . For example, the display 131 may display an image related to virtual reality, augmented reality, or mixed reality. In addition, the display 131 may display information on an execution screen of an application driven in the operating room fire training apparatus 100 , or user interface (UI) and graphic user interface (GUI) information according to the information on the execution screen.

일 실시예에 따르면, 디스플레이(131)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), LED(Light Emitting Diodes), QLED(Quantum dot light-emitting diodes), HMD(head mounted display) 등을 포함할 수 있으나 이에 한정되는 것은 아니다.According to an embodiment, the display 131 is a liquid crystal display (LCD), organic light emitting diodes (OLED), light emitting diodes (LEDs), quantum dot light-emitting diodes (QLEDs), head mounted display (HMD), etc. may include, but is not limited thereto.

스피커(132)는 오디오 데이터, 예컨대, 사용자의 음성, NPC(Non-Player Character)의 음성, 화재 소리 등과 같이 수술 중 화재 상황에서 발생할 수 있는 다양한 음향 데이터를 출력할 수 있다. 또한, 스피커(132)는 수술실 화재 훈련 장치(100)에서 수행되는 기능(예컨대, 사용자의 화재 대처 행동 평가 등)과 관련된 다양한 음향 데이터를 출력할 수 있다.The speaker 132 may output various acoustic data that may occur in a fire situation during surgery, such as audio data, for example, a user's voice, a non-player character (NPC) voice, a fire sound, and the like. In addition, the speaker 132 may output various acoustic data related to a function (eg, evaluation of a user's fire coping behavior, etc.) performed in the operating room fire training apparatus 100 .

햅틱 모듈(133)은 사용자가 느낄 수 있는 다양한 촉각 효과(예컨대, 진동 등)를 발생시킬 수 있다. 햅틱 모듈(133)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 프로세서(133)의 설정에 의해 제어될 수 있다. 예컨대, 햅틱 모듈(133)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수 있다.The haptic module 133 may generate various tactile effects (eg, vibration, etc.) that the user can feel. The intensity and pattern of vibration generated by the haptic module 133 may be controlled by a user's selection or setting of the processor 133 . For example, the haptic module 133 may synthesize and output different vibrations or output them sequentially.

또한, 햅틱 모듈(133)은 진동 이외에도 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.Also, in addition to vibration, the haptic module 133 is a pin arrangement that moves vertically with respect to the contact skin surface, the blowing force or suction force of air through the nozzle or suction port, the rubbing against the skin surface, contact with the electrode, electrostatic force, etc. Various tactile effects can be generated, such as the effect of heat absorption and the effect of reproducing a feeling of coolness and warmth using an element capable of absorbing heat or generating heat.

또한, 햅틱 모듈(133)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현될 수도 있다. 햅틱 모듈(133)은 수술실 화재 훈련 장치(100)의 구성 태양에 따라 1개 이상이 구비될 수 있다.In addition, the haptic module 133 may be implemented so that the tactile effect can be transmitted through direct contact, and the user can feel the tactile effect through a muscle sense of a finger or arm. One or more haptic modules 133 may be provided according to the configuration of the operating room fire training apparatus 100 .

한편, 일 실시예에 따라 디스플레이(131)가 HMD(head mounted display) 장치로 구현되는 경우, 마이크로폰(111), 사용자 입력부(112), 카메라(121), 모션 센서(122), 스피커(132) 및 햅틱 모듈(133) 등은 HMD 장치에 탑재될 수 있다.Meanwhile, according to an embodiment, when the display 131 is implemented as a head mounted display (HMD) device, the microphone 111 , the user input unit 112 , the camera 121 , the motion sensor 122 , and the speaker 132 . and the haptic module 133 may be mounted on the HMD device.

또한, 수술실 화재 훈련 장치(100)는 사용자의 손에 파지되거나 착용될 수 있는 형상으로 구현된 별도의 핸드 컨트롤 장치를 포함할 수 있다. 이 경우, 사용자 입력부(112), 모션 센서(122) 및 햅틱 모듈(133) 등은 핸드 컨트롤 장치에 탑재될 수 있다.In addition, the operating room fire training apparatus 100 may include a separate hand control device implemented in a shape that can be gripped or worn by the user's hand. In this case, the user input unit 112 , the motion sensor 122 , and the haptic module 133 may be mounted on the hand control device.

프로세서(140)는 수술실 화재 훈련 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(140)는 입력부(110), 센서부(120) 및 출력부(130)를 제어하여 가상 현실, 증강 현실 또는 혼합 현실을 구현하고, 사용자의 화재 대처 행동을 평가할 수 있다.The processor 140 may control the overall operation of the operating room fire training apparatus 100 . The processor 140 may control the input unit 110 , the sensor unit 120 , and the output unit 130 to implement virtual reality, augmented reality, or mixed reality, and evaluate the user's fire coping behavior.

이하, 도 2 및 도 3을 참조하여 프로세서(140)의 실시예들을 더욱 상세히 설명하기로 한다.Hereinafter, embodiments of the processor 140 will be described in more detail with reference to FIGS. 2 and 3 .

도 2는 프로세서의 일 실시예를 도시한 도면이다. 도 2의 프로세서(200)는 도 1의 프로세서(140)의 일 실시예일 수 있다.2 is a diagram illustrating an embodiment of a processor. The processor 200 of FIG. 2 may be an embodiment of the processor 140 of FIG. 1 .

도 2를 참조하면, 프로세서(200)는 가상 현실 구현부(210), 행동 인식부(220) 및 평가부(230)를 포함할 수 있다.Referring to FIG. 2 , the processor 200 may include a virtual reality implementation unit 210 , a behavior recognition unit 220 , and an evaluation unit 230 .

가상 현실 구현부(210)는 기 저장된 수술실 환경 정보, 입력부(110)를 통해 획득된 정보 및 센서부(120)를 통해 획득된 정보를 기반으로, 수술 중 화재 상황에 대한 가상 현실, 증강 현실 또는 혼합 현실을 구현할 수 있다. 예컨대, 가상 현실 구현부(210)는 기 저장된 수술실 환경 정보와, 입력부(110)를 통해 획득된 사용자 정보, 사용자의 음성 데이터 및 사용자의 조작 신호와, 센서부(120)를 통해 획득된 사용자의 주변 환경에 대한 정보, 사용자의 위치 정보 및 사용자의 신체 움직임 정보 등을 이용하여 수술 중 화재 상황에 대한 실감형 입체 영상, 실감형 입체 음향 및 사용자가 느낄 수 있는 다양한 촉각 효과 등을 생성함으로써, 수술 중 화재 상황에 대한 가상 현실, 증강 현실 또는 혼합 현실을 구현할 수 있다.Virtual reality implementation unit 210 is based on the pre-stored operating room environment information, information obtained through the input unit 110, and information obtained through the sensor unit 120, virtual reality, augmented reality, or Mixed reality can be implemented. For example, the virtual reality implementation unit 210 may include pre-stored operating room environment information, user information obtained through the input unit 110 , user voice data and user manipulation signals, and the user information obtained through the sensor unit 120 . By using information about the surrounding environment, location information of the user, and body movement information of the user, immersive stereoscopic images of the fire situation during surgery, immersive stereophonic sounds, and various tactile effects that the user can feel are generated. Virtual reality, augmented reality or mixed reality for heavy fire situations can be implemented.

행동 인식부(220)는 입력부(110)를 통해 획득된 정보 및 센서부(120)를 통해 획득된 정보를 기반으로, 사용자의 화재 대처 행동을 인식할 수 있다.The behavior recognition unit 220 may recognize the user's fire coping behavior based on the information acquired through the input unit 110 and the information acquired through the sensor unit 120 .

예를 들면, 행동 인식부(220)는 마이크로폰(111)을 통해 입력된 사용자의 음성 데이터와, 사용자 입력부(112)를 통해 입력된 다양한 조작 신호와, 모션 센서(122)를 통해 획득된 사용자의 위치 정보 및 사용자의 움직임 정보와, 카메라(121)를 통해 획득된 사용자의 눈동자 움직임 영상 및 사용자의 시선이 향하는 곳의 영상 등을 분석하여 사용자의 화재 대처 행동을 인식할 수 있다.For example, the behavior recognition unit 220 includes the user's voice data input through the microphone 111 , various manipulation signals input through the user input unit 112 , and the user's voice data input through the motion sensor 122 . The user's fire response behavior can be recognized by analyzing the location information and the user's movement information, the user's eye movement image obtained through the camera 121, the image of the user's gaze, and the like.

평가부(230)는 인식된 사용자의 화재 대처 행동을 평가하고 그 평가 결과를 사용자에게 제공할 수 있다. 예컨대, 평가부(230)는 소정의 평가 기준을 이용하여 사용자의 화재 대처 행동을 평가할 수 있다. 이때, 평가 기준은 수술실 내 사용자의 역할별로 구축되며, 각 행동 단계별 화재 대처 행동과 그에 대응하는 점수로 정의될 수 있다. 일 실시예에 따르면 평가 기준은 매칭 테이블 형태로 구축되어 프로세서(200)의 내부 메모리 또는 외부 메모리에 저장될 수 있다.The evaluation unit 230 may evaluate the recognized user's fire coping behavior and provide the evaluation result to the user. For example, the evaluation unit 230 may evaluate the user's fire coping behavior by using a predetermined evaluation criterion. In this case, the evaluation criteria are built for each role of the user in the operating room, and may be defined as a fire coping action for each action step and a score corresponding thereto. According to an embodiment, the evaluation criteria may be built in the form of a matching table and stored in the internal memory or external memory of the processor 200 .

예를 들면, 수술 집도의인 외과 의사에 대한 평가 기준은, 수술 중단을 결정하는 제1 행동 단계에서 수술 중단 결정에 5점을 부여하고, 수술 부위를 지혈하는 제2 행동 단계에서 연부 조직 거즈 패킹 및 압박에 5점, 전기 소작기(electrocautery)를 이용한 지혈에 3점, 개방된 혈관 봉합에 2점을 부여하고, 수술 부위를 봉합하는 제3 행동 단계에서 무균 테이핑에 5점, 스테플러(stapler)를 이용한 봉합에 5점, 피부하 조직 봉합에 3점, 피부 봉합에 2점, 무균 상처 봉합 테이프를 이용한 봉합에 2점을 부여하고, 수술 부위를 드레싱하는 제4 행동 단계에서는 반창고를 이용한 드레싱에 5점, 무균 테이핑에 5점, 거즈를 이용한 드레싱에 3점, 압박붕대를 이용한 드레싱에 3점을 부여하고, 환자를 대피시키는 제5 행동 단계에서는 환자를 들고 옮기는 행위에 5점을 부여할 수 있다.For example, the evaluation criteria for a surgeon who is an operating surgeon is to give 5 points to the decision to stop the operation in the first action step to decide to stop the operation, soft tissue gauze packing and 5 points for compression, 3 points for hemostasis using electrocautery, 2 points for closure of open vessels, 5 points for sterile taping, and a stapler in the third action step to close the surgical site 5 points for suture used, 3 points for subcutaneous tissue closure, 2 points for skin closure, and 2 points for closure using sterile wound closure tape. Points, 5 points for aseptic taping, 3 points for dressing using gauze, and 3 points for dressing using compression bandages. .

다른 예를 들면, 마취과 의사에 대한 평가 기준은, 수술 중단을 결정하는 제1 행동 단계에서 수술 중단 결정에 5점을 부여하고, 의료 가스의 차단을 결정하는 제2 행동 단계에서 의료 가스의 차단에 5점을 부여하고, 환자 호흡을 보조하는 제3 행동 단계에서 bag-mask의 확보에 3점, 마취기에서 환자를 분리시키는 행위에 3점, bag-mask ventilation 시행에 3점을 부여하고, 응급 마취약을 준비하고 수액 및 배액관 정리하는 제4 행동 단계에서 응급 마취약 준비에 3점, 수액선 정리에 3점, 배액관 클램핑(clamping) 및 정리에 3점을 부여하고, 환자를 대피시키는 제5 행동 단계에서 환자를 들고 옮기는 행위에 5점을 부여할 수 있다.For another example, the evaluation criteria for the anesthesiologist may give 5 points to the decision to stop the operation in the first action step for determining the interruption of the operation, and 5 points to the blocking of the medical gas in the second action step to determine the cut off of the medical gas. 5 points were given, 3 points were given to securing a bag-mask in the third action step of assisting the patient's breathing, 3 points were given to separating the patient from the anesthesia machine, 3 points were given to implementing bag-mask ventilation, and emergency anesthesia was given In the fourth action step of preparing and arranging the fluid and drainage tube, 3 points are given for preparing emergency anesthetic, 3 points for cleaning the drainage line, 3 points for clamping and clearing the drainage tube, and evacuating the patient in the fifth action step 5 points can be given to the act of carrying the patient.

또 다른 예를 들면, 간호사에 대한 평가 기준은, 대피 경로를 확인하고 안내하는 제1 행동 단계에서 대피 경로 확인에 5점, 대피 경로 안내에 5점을 부여하고, 의료 가스를 차단하는 제2 행동 단계에서 의료 가스 위치 확인에 5점, 의료 가스 차단에 5점을 부여하고, 화재 대피 물품을 준비하는 제3 행동 단계에서 휴대용 조명등 확보에 3점, 화재 마스크 또는 방독면 확보에 3점, 환자 들것 확보에 3점을 부여하고, 환자를 대피시키는 제4 행동 단계에서 환자를 들고 옮기는 행위에 5점을 부여할 수 있다.In another example, the evaluation criteria for the nurse is, in the first action step of confirming and guiding the evacuation route, assigning 5 points to the evacuation route confirmation, 5 points to the evacuation route guidance, and the second action to shut off the medical gas In the third action stage of preparing fire evacuation items, 5 points are given for checking the location of medical gas and 5 points for blocking medical gas, 3 points for securing a portable lighting lamp, 3 points for securing a fire mask or gas mask, 3 points for securing a patient stretcher 3 points can be given to , and 5 points can be given to the act of lifting and moving the patient in the fourth action step of evacuating the patient.

평가부(230)는 사용자의 화재 대처 행동을 각 행동 단계별로 평가하고, 각 행동 단계별 평가 결과를 종합하여 최종 평가할 수 있다. 이때, 각 행동 단계별 평가 결과는 각 행동 단계별 평가 점수와 각 행동 단계별 소요 시간을 포함하고, 최종 평가 결과는 최종 평가 점수와 최종 소요 시간을 포함할 수 있다.The evaluation unit 230 may evaluate the user's fire coping behavior for each action step, and may finally evaluate the result by synthesizing the evaluation result for each action step. In this case, the evaluation result for each action step may include an evaluation score for each action step and a time required for each action step, and the final evaluation result may include a final evaluation score and a final required time.

일 실시예에 따르면, 평가부(230)는 각 행동 단계별 평가 점수가 해당 행동 단계의 기준 점수 미만이 되면, 해당 행동 단계에 대한 사용자의 화재 대처를 실패로 판단하고 해당 행동 단계에 대한 사용자의 재교육을 유도할 수 있다. 예컨대, 평가부(230)는 실패한 행동 단계가 존재하는 경우, 다음 행동 단계로의 진행을 중단하고 실패한 행동 단계에 대한 사용자의 재교육을 유도하거나, 중단 없이 다음 행동 단계로 진행하고 최종 평가 완료 후에 실패한 행동 단계에 대한 정보를 제공함으로써, 실패한 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to an embodiment, when the evaluation score for each action step is less than the reference score for the action step, the evaluation unit 230 determines the user's fire response for the action step as a failure and re-education of the user for the action step. can induce For example, if there is a failed action step, the evaluation unit 230 stops the progress to the next action step and induces re-education of the user for the failed action step, or proceeds to the next action step without interruption and fails after the final evaluation is completed. By providing information on the behavioral stage, it is possible to induce re-education of the user on the failed behavioral stage.

다른 실시예에 따르면, 평가부(230)는 각 행동 단계별 평가 점수를 합산하여 최종 평가 점수를 산출하고, 최종 평가 점수가 기준 점수 미만이 되면 사용자의 화재 대처는 실패로 판단하고, 모든 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to another embodiment, the evaluation unit 230 calculates a final evaluation score by summing the evaluation scores for each action step, and when the final evaluation score is less than the reference score, it is determined that the user's fire response is a failure, and all action steps are performed. It can induce re-education of users.

또 다른 실시예에 따르면, 평가부(230)는 각 행동 단계별 소요 시간이 해당 행동 단계의 기준 시간을 초과하면 해당 행동 단계에 대한 사용자의 화재 대처를 실패로 판단하고 해당 행동 단계에 대한 사용자의 재교육을 유도할 수 있다. 예컨대, 평가부(230)는 실패한 행동 단계가 존재하는 경우, 다음 행동 단계로의 진행을 중단하고 실패한 행동 단계에 대한 사용자의 재교육을 유도하거나, 중단 없이 다음 행동 단계로 진행하고 최종 평가 완료 후에 실패한 행동 단계에 대한 정보를 제공함으로써, 실패한 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to another embodiment, if the time required for each action step exceeds the reference time of the action step, the evaluation unit 230 determines the user's fire response for the action step as a failure and re-education of the user for the action step can induce For example, if there is a failed action step, the evaluation unit 230 stops the progress to the next action step and induces re-education of the user for the failed action step, or proceeds to the next action step without interruption and fails after the final evaluation is completed. By providing information on the behavioral stage, it is possible to induce re-education of the user on the failed behavioral stage.

또 다른 실시예에 따르면, 평가부(230)는 최종 소요 시간이 기준 시간을 초과하면, 모든 행동 단계에 대한 화재 대처를 실패로 판단하고, 모든 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to another embodiment, when the final required time exceeds the reference time, the evaluation unit 230 may determine that the fire response for all action steps is a failure, and induce re-education of the user for all action steps.

도 3은 프로세서의 다른 실시예를 도시한 도면이다. 도 3의 프로세서(300)는 도 1의 프로세서(140)의 다른 실시예일 수 있다.3 is a diagram illustrating another embodiment of a processor. The processor 300 of FIG. 3 may be another embodiment of the processor 140 of FIG. 1 .

도 3을 참조하면, 프로세서(300)는 가상 현실 구현부(210), 선택지 정보 제공부(310), 행동 인식부(320) 및 평가부(230)를 포함할 수 있다. 여기서 가상 현실 구현부(210)와 평가부(230)는 도 2를 참조하여 전술한 바와 같으므로 그 상세한 설명은 생략하기로 한다.Referring to FIG. 3 , the processor 300 may include a virtual reality implementation unit 210 , an option information providing unit 310 , a behavior recognition unit 320 , and an evaluation unit 230 . Here, since the virtual reality implementation unit 210 and the evaluation unit 230 are the same as described above with reference to FIG. 2 , a detailed description thereof will be omitted.

선택지 정보 제공부(310)는 각 행동 단계별로 사용자가 선택할 수 있는 하나 이상의 행동 선택지(이하, 행동 단계별 행동 선택지)를 생성하여 사용자에게 제공할 수 있다. 이때, 행동 단계별 행동 선택지는 수술실 내 사용자의 역할에 따라 구별될 수 있다.The option information providing unit 310 may generate one or more action options that the user can select for each action step (hereinafter, action options for each action step) and provide it to the user. In this case, the action options for each action stage may be distinguished according to the role of the user in the operating room.

예를 들면, 사용자가 수술 집도의인 외과 의사인 경우, 행동 단계는 총 5 단계, 예컨대, 수술 중단을 결정하는 제1 행동 단계, 수술 부위를 지혈하는 제2 행동 단계, 수술 부위를 봉합하는 제3 행동 단계, 수술 부위를 드레싱하는 제4 행동 단계 및 환자를 대피시키는 제5 행동 단계로 구분될 수 있다. 이 경우, 선택지 정보 제공부(310)는 수술 중단을 결정하는 제1 행동 단계와 관련된 하나 이상의 행동 단계별 행동 선택지와, 수술 부위를 지혈하는 제2 행동 단계와 관련된 하나 이상의 행동 선택지와, 수술 부위를 봉합하는 제3 행동 단계와 관련된 하나 이상의 행동 선택지와, 수술 부위를 드레싱하는 제4 행동 단계와 관련된 하나 이상의 행동 선택지와, 환자를 대피시키는 제5 행동 단계와 관련된 하나 이상의 행동 선택지를 생성하여 사용자에게 제공할 수 있다.For example, if the user is a surgeon who is an operating surgeon, the action steps may include a total of 5 steps, for example, a first action step to decide to stop the operation, a second action step to stop the operation site, and a third action step to suture the operation site. It can be divided into an action step, a fourth action step of dressing the surgical site, and a fifth action step of evacuating the patient. In this case, the option information providing unit 310 includes one or more behavioral step-by-step behavioral options related to the first behavioral step for determining the cessation of surgery, one or more behavioral options related to the second behavioral step for hemostasis of the surgical site, and the surgical site Produce one or more action options associated with a third action step of suturing, one or more action options associated with a fourth action step of dressing the surgical site, and one or more action options associated with a fifth action step of evacuating the patient to the user can provide

다른 예를 들면, 사용자가 마취과 의사인 경우, 행동 단계는 총 5 단계, 예컨대, 수술 중단을 결정하는 제1 행동 단계, 의료 가스의 차단을 결정하는 제2 행동 단계, 환자 호흡을 보조하는 제3 행동 단계, 응급 마취약을 준비하고 수액 및 배액관 정리하는 제4 행동 단계 및 환자를 대피시키는 제5 행동 단계로 구분될 수 있다. 이 경우 선택지 정보 제공부(310)는 수술 중단을 결정하는 제1 행동 단계와 관련된 하나 이상의 행동 선택지와, 의료 가스의 차단을 결정하는 제2 행동 단계와 관련된 하나 이상의 행동 선택지와, 환자 호흡을 보조하는 제3 행동 단계와 관련된 하나 이상의 행동 선택지와, 응급 마취약을 준비하고 수액 및 배액관 정리하는 제4 행동 단계와 관련된 하나 이상의 행동 선택지와, 환자를 대피시키는 제5 행동 단계와 관련된 하나 이상의 행동 선택지를 생성하여 사용자에게 제공할 수 있다.For another example, if the user is an anesthesiologist, the action step may include a total of 5 steps, eg, a first action step to determine to stop the operation, a second action step to determine shut-off of medical gas, and a third action step to assist patient breathing. It can be divided into an action step, a fourth action step of preparing an emergency anesthetic and arranging the fluid and drainage tube, and a fifth action step of evacuating the patient. In this case, the option information providing unit 310 is one or more action options related to the first action step for determining the stop of the operation, one or more action options related to the second action step for determining the blockage of the medical gas, and assisting the patient's breathing one or more action options related to a third action step of performing an emergency, one or more action options related to a fourth action step of preparing emergency anesthetic and cleaning fluids and drains, and one or more action options related to a fifth action step of evacuating the patient. It can be created and provided to users.

또 다른 예를 들면, 사용자가 간호사인 경우, 행동 단계는 총 4 단계, 예컨대, 대피 경로를 확인하고 안내하는 제1 행동 단계, 의료 가스를 차단하는 제2 행동 단계, 화재 대피 물품을 준비하는 제3 행동 단계 및 환자를 대피시키는 제4 행동 단계로 구분될 수 있다. 이 경우 선택지 정보 제공부(310)는 대피 경로를 확인하고 안내하는 제1 행동 단계와 관련된 하나 이상의 행동 선택지와, 의료 가스를 차단하는 제2 행동 단계와 관련된 하나 이상의 행동 선택지와, 화재 대피 물품을 준비하는 제3 행동 단계와 관련된 하나 이상의 행동 선택지와, 환자를 대피시키는 제4 행동 단계와 관련된 하나 이상의 행동 선택지를 생성하여 사용자에게 제공할 수 있다.For another example, if the user is a nurse, the action steps may include a total of four steps, for example, a first action step for identifying and guiding an evacuation route, a second action step for shutting off the medical gas, and a second action step for preparing fire evacuation items. It can be divided into 3 action steps and 4 action steps to evacuate the patient. In this case, the option information providing unit 310 includes one or more action options related to the first action step for confirming and guiding the evacuation route, one or more action options related to the second action step for blocking the medical gas, and fire evacuation items. One or more action options related to the third action step of preparing and one or more action options related to the fourth action step of evacuating the patient may be generated and provided to the user.

일 실시예에 따르면, 행동 단계별 행동 선택지는 디스플레이(131)를 통해 시각적(예, 팝업창)으로 제공되거나, 스피커(132)를 통해 청각적(예, 안내 음성)으로 제공되거나, 햅틱 모듈(133)을 통해 촉각적(예, 진동)으로 제공될 수 있다. 행동 단계별 행동 선택지가 디스플레이(131)를 통해 시각적으로 제공되는 경우 이미지 또는 텍스트로 제공될 수 있으나 이는 일 실시예에 불과할 뿐 이에 한정되는 것은 아니다.According to an embodiment, the action option for each action step is provided visually (eg, a pop-up window) through the display 131 , or provided as an auditory (eg, guidance voice) through the speaker 132 , or the haptic module 133 . It can be provided tactilely (eg, vibration). When the action option for each action step is visually provided through the display 131 , it may be provided as an image or text, but this is only an example and is not limited thereto.

일 실시예에 따르면, 행동 단계별 행동 선택지는 각 행동 단계별로 제공될 수 있다. 예컨대, 전술한 바와 같이 사용자가 수술 집도의인 외과 의사인 경우, 사용자의 행동은 수술 중단을 결정하는 제1 행동 단계, 수술 부위를 지혈하는 제2 행동 단계, 수술 부위를 봉합하는 제3 행동 단계, 수술 부위를 드레싱하는 제4 행동 단계 및 환자를 대피시키는 제5 행동 단계로 구분될 수 있다. 이 경우, 선택지 정보 제공부(310)는 제1 행동 단계에서 수술 중단 결정과 관련된 하나 이상의 행동 선택지를 사용자에게 제공하며, 사용자가 수술 중단 결정과 관련된 하나 이상의 행동 선택지 중 하나의 행동 선택지를 선택하면 제2 행동 단계로 넘어가 수술 부위 지혈과 관련된 하나 이상의 행동 선택지를 사용자에게 제공할 수 있다. 이러한 방식으로 제3 행동 단계, 제4 행동 단계 및 제5 행동 단계를 순차적으로 진행하며, 행동 단계별 행동 선택지는 각 행동 단계별로 제공될 수 있다.According to an embodiment, an action option for each action step may be provided for each action step. For example, as described above, when the user is a surgeon who is an operating surgeon, the user's actions include a first action step of deciding to stop the operation, a second action step of hemostasis of the surgical site, a third action step of suturing the surgical site, It may be divided into a fourth action step of dressing the surgical site and a fifth action step of evacuating the patient. In this case, the option information providing unit 310 provides the user with one or more action options related to the decision to stop surgery in the first action step, and when the user selects one action option from one or more action options related to the decision to stop the surgery, A second action step may be passed to provide the user with one or more action options related to surgical site hemostasis. In this way, the third action step, the fourth action step, and the fifth action step are sequentially performed, and an action option for each action step may be provided for each action step.

행동 인식부(320)는 사용자의 화재 대처 행동을 인식할 수 있다. The behavior recognition unit 320 may recognize the user's fire response behavior.

예를 들면, 행동 인식부(320)는 선택지 정보 제공부(310)에서 생성 및 제공된 행동 단계별 행동 선택지에서 사용자가 각 행동 단계별로 하나의 행동 선택지를 선택하면, 선택된 행동 선택지를 기반으로, 사용자의 화재 대처 행동을 인식할 수 있다. 이때, 행동 인식부(320)는 선택된 행동 선택지의 행동을 사용자의 화재 대처 행동으로 인식할 수 있다. For example, when the user selects one action option for each action step from the action step-by-step action options generated and provided by the option information providing unit 310 , the action recognition unit 320 determines the user's Recognize fire-fighting behavior. In this case, the behavior recognition unit 320 may recognize the action of the selected action option as the user's action to cope with the fire.

다른 예를 들면, 행동 인식부(320)는 마이크로폰(111)을 통해 입력된 사용자의 음성 데이터와, 모션 센서(122)를 통해 획득된 사용자의 위치 정보 및 사용자의 움직임 정보와, 카메라(121)를 통해 획득된 사용자의 눈동자 움직임 영상 및 사용자의 시선이 향하는 곳의 영상 등을 분석하여 사용자의 행동을 인식할 수 있다.As another example, the behavior recognition unit 320 includes the user's voice data input through the microphone 111 , the user's location information and the user's movement information obtained through the motion sensor 122 , and the camera 121 . The user's behavior can be recognized by analyzing the user's eye movement image and the image of the user's gaze, obtained through

도 4은 수술실 화재 훈련 방법의 일 실시예를 도시한 도면이다. 도 4의 수술실 화재 훈련 방법은 도 1의 수술실 화재 훈련 장치(100)에 의해 수행될 수 있다.Figure 4 is a view showing an embodiment of the operating room fire training method. The operating room fire training method of FIG. 4 may be performed by the operating room fire training apparatus 100 of FIG. 1 .

도 1 및 도 4를 참조하면, 수술실 화재 훈련 장치(100)는 가상 현실, 증강 현실 또는 혼합 현실 구현에 필요한 정보를 획득할 수 있다(410). 예컨대, 수술실 화재 훈련 장치(100)는 입력부(110)를 통해 사용자 정보, 사용자의 음성 데이터 및 사용자의 조작 신호를 획득하거나 센서부(120)를 통해 사용자의 주변 환경에 대한 정보, 사용자의 위치 정보, 사용자의 신체 움직임 정보 등을 획득함으로써, 가상 현실, 증강 현실 또는 혼합 현실 구현에 필요한 정보를 획득할 수 있다.1 and 4 , the operating room fire training apparatus 100 may acquire information necessary for implementing virtual reality, augmented reality, or mixed reality ( 410 ). For example, the operating room fire training apparatus 100 obtains user information, user voice data, and a user's manipulation signal through the input unit 110 , or information about the user's surrounding environment through the sensor unit 120 , the user's location information , information necessary for realization of virtual reality, augmented reality, or mixed reality may be obtained by acquiring information on the user's body movement and the like.

수술실 화재 훈련 장치(100)는 획득된 정보를 기반으로 수술 중 화재 상황에 대한 가상 현실, 증강 현실 또는 혼합 현실을 구현할 수 있다(420). 예컨대, 수술실 화재 훈련 장치(100)는 기 저장된 수술실 환경 정보와, 입력부(110)를 통해 획득된 사용자 정보, 사용자의 음성 데이터 및 사용자의 조작 신호와, 센서부(120)를 통해 획득된 사용자의 주변 환경에 대한 정보, 사용자의 위치 정보 및 사용자의 신체 움직임 정보 등을 이용하여 수술 중 화재 상황에 대한 실감형 입체 영상, 실감형 입체 음향 및 사용자가 느낄 수 있는 다양한 촉각 효과 등을 생성함으로써, 수술 중 화재 상황에 대한 가상 현실, 증강 현실 또는 혼합 현실을 구현할 수 있다.The operating room fire training apparatus 100 may implement virtual reality, augmented reality, or mixed reality for the fire situation during surgery based on the obtained information ( 420 ). For example, the operating room fire training apparatus 100 includes pre-stored operating room environment information, user information obtained through the input unit 110 , user voice data, and a user's manipulation signal, and the user's information obtained through the sensor unit 120 . By using information about the surrounding environment, location information of the user, and body movement information of the user, immersive stereoscopic images of the fire situation during surgery, immersive stereophonic sounds, and various tactile effects that the user can feel are generated. Virtual reality, augmented reality or mixed reality for heavy fire situations can be implemented.

수술실 화재 훈련 장치(100)는 단계 410과 단계 420을 반복적으로 수행함으로써 사용자의 현재 상황에 맞게 가상 현실, 증강 현실 또는 혼합 현실을 구현할 수 있다.The operating room fire training apparatus 100 may implement virtual reality, augmented reality, or mixed reality according to the user's current situation by repeatedly performing steps 410 and 420 .

수술실 화재 훈련 장치(100)는 가상 현실, 증강 현실 또는 혼합 현실 구현이 완료되면, 사용자의 화재 대처 행동을 인식 및 평가할 수 있다(430).The operating room fire training apparatus 100 may recognize and evaluate the user's fire coping behavior when the implementation of virtual reality, augmented reality, or mixed reality is completed ( 430 ).

이하 도 5 및 도 6을 참조하여 사용자의 화재 대처 행동의 인식 및 평가 방법을 구체적으로 설명하기로 한다.Hereinafter, a method of recognizing and evaluating a user's fire coping behavior will be described in detail with reference to FIGS. 5 and 6 .

도 5는 사용자의 화재 대처 행동의 인식 및 평가 방법의 일 실시예를 도시한 도면이다. 도 5의 방법은 도 4의 단계 430의 일 실시예일 수 있다.5 is a diagram illustrating an embodiment of a method for recognizing and evaluating a user's fire coping behavior. The method of FIG. 5 may be an embodiment of step 430 of FIG. 4 .

도 1 및 도 5를 참조하면, 수술실 화재 훈련 장치(100)는 입력부(110)를 통해 획득된 정보 및 센서부(120)를 통해 획득된 정보를 분석하고(510) 그 분석 결과를 기반으로 사용자의 화재 대처 행동을 인식할 수 있다(520).1 and 5 , the operating room fire training apparatus 100 analyzes the information obtained through the input unit 110 and the information obtained through the sensor unit 120 (510), and based on the analysis result, the user It is possible to recognize the fire coping action of (520).

예를 들면, 수술실 화재 훈련 장치(100)는 마이크로폰(111)을 통해 입력된 사용자의 음성 데이터와, 사용자 입력부(112)를 통해 입력된 다양한 조작 신호와, 모션 센서(122)를 통해 획득된 사용자의 위치 정보 및 사용자의 움직임 정보와, 카메라(121)를 통해 획득된 사용자의 눈동자 움직임 영상 및 사용자의 시선이 향하는 곳의 영상 등을 분석하여 사용자의 화재 대처 행동을 인식할 수 있다.For example, the operating room fire training apparatus 100 includes the user's voice data input through the microphone 111 , various manipulation signals input through the user input unit 112 , and the user obtained through the motion sensor 122 . By analyzing the location information and the user's movement information, the user's eye movement image obtained through the camera 121, the image of the user's gaze, and the like, the user's fire coping behavior can be recognized.

수술실 화재 훈련 장치(100)는 인식된 사용자의 화재 대처 행동을 평가하고 그 평가 결과를 사용자에게 제공할 수 있다(530). 예컨대, 수술실 화재 훈련 장치(100)는 소정의 평가 기준을 이용하여 사용자의 화재 대처 행동을 평가할 수 있다. 이때, 평가 기준은 수술실 내 사용자의 역할별로 구축되며, 각 행동 단계별 화재 대처 행동과 그에 대응하는 점수로 정의될 수 있다. 일 실시예에 따르면 평가 기준은 매칭 테이블 형태로 구축되어 수술실 화재 훈련 장치(100)의 내부 메모리 또는 외부 메모리에 저장될 수 있다.The operating room fire training apparatus 100 may evaluate the recognized user's fire coping behavior and provide the evaluation result to the user ( 530 ). For example, the operating room fire training apparatus 100 may evaluate the user's fire coping behavior using a predetermined evaluation criterion. In this case, the evaluation criteria are built for each role of the user in the operating room, and may be defined as a fire coping action for each action step and a score corresponding thereto. According to an embodiment, the evaluation criteria may be built in the form of a matching table and stored in an internal memory or an external memory of the operating room fire training apparatus 100 .

일 실시예에 따르면 수술실 화재 훈련 장치(100)는 사용자의 화재 대처 행동을 각 행동 단계별로 평가하고, 각 행동 단계별 평가 결과를 종합하여 최종 평가할 수 있다. 이때, 각 행동 단계별 평가 결과는 각 행동 단계별 평가 점수와 각 행동 단계별 소요 시간을 포함하고, 최종 평가 결과는 최종 평가 점수와 최종 소요 시간을 포함할 수 있다.According to an embodiment, the operating room fire training apparatus 100 may evaluate the user's fire coping behavior for each behavioral stage, and may finally evaluate the result by synthesizing the evaluation results for each behavioral stage. In this case, the evaluation result for each action step may include an evaluation score for each action step and a time required for each action step, and the final evaluation result may include a final evaluation score and a final required time.

일 실시예에 따르면, 수술실 화재 훈련 장치(100)는 각 행동 단계별 평가 점수가 해당 행동 단계의 기준 점수 미만이 되면, 해당 행동 단계에 대한 사용자의 화재 대처를 실패로 판단하고 해당 행동 단계에 대한 사용자의 재교육을 유도할 수 있다. 예컨대, 수술실 화재 훈련 장치(100)는 실패한 행동 단계가 존재하는 경우, 다음 행동 단계로의 진행을 중단하고 실패한 행동 단계에 대한 사용자의 재교육을 유도하거나, 중단 없이 다음 행동 단계로 진행하고 최종 평가 완료 후에 실패한 행동 단계에 대한 정보를 제공함으로써, 실패한 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to an embodiment, the operating room fire training apparatus 100 determines that the user's fire response for the corresponding action step is a failure when the evaluation score for each action step is less than the reference score for the action step, and the user for the action step may lead to re-education. For example, if the operating room fire training device 100 has a failed action step, it stops progressing to the next action step and induces re-education of the user for the failed action step, or proceeds to the next action step without interruption and completes the final evaluation By providing information about the failed action step later, it is possible to induce re-education of the user on the failed action step.

다른 실시예에 따르면, 수술실 화재 훈련 장치(100)는 각 행동 단계별 평가 점수를 합산하여 최종 평가 점수를 산출하고, 최종 평가 점수가 기준 점수 미만이 되면 사용자의 화재 대처는 실패로 판단하고, 모든 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to another embodiment, the operating room fire training apparatus 100 calculates a final evaluation score by summing the evaluation scores for each action step, and when the final evaluation score is less than the reference score, it is determined that the user's fire response is a failure, and all actions It can induce re-education of users about the steps.

또 다른 실시예에 따르면, 수술실 화재 훈련 장치(100)는 각 행동 단계별 소요 시간이 해당 행동 단계의 기준 시간을 초과하면 해당 행동 단계에 대한 사용자의 화재 대처를 실패로 판단하고 해당 행동 단계에 대한 사용자의 재교육을 유도할 수 있다. 예컨대, 평가부(230)는 실패한 행동 단계가 존재하는 경우, 다음 행동 단계로의 진행을 중단하고 실패한 행동 단계에 대한 사용자의 재교육을 유도하거나, 중단 없이 다음 행동 단계로 진행하고 최종 평가 완료 후에 실패한 행동 단계에 대한 정보를 제공함으로써, 실패한 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to another embodiment, the operating room fire training apparatus 100 determines that the user's fire response for the corresponding action step is a failure when the time required for each action step exceeds the reference time of the action step, and the user for the action step may lead to re-education. For example, if there is a failed action step, the evaluation unit 230 stops the progress to the next action step and induces re-education of the user for the failed action step, or proceeds to the next action step without interruption and fails after the final evaluation is completed. By providing information on the behavioral stage, it is possible to induce re-education of the user on the failed behavioral stage.

또 다른 실시예에 따르면, 수술실 화재 훈련 장치(100)는 최종 소요 시간이 기준 시간을 초과하면, 모든 행동 단계에 대한 화재 대처를 실패로 판단하고, 모든 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to another embodiment, when the final required time exceeds the reference time, the operating room fire training apparatus 100 determines that the fire response for all action steps is a failure, and induces re-education of the user for all action steps. have.

도 6은 사용자의 화재 대처 행동의 인식 및 평가 방법의 다른 실시예를 도시한 도면이다. 도 5의 방법은 도 4의 단계 430의 다른 실시예일 수 있다.6 is a diagram illustrating another embodiment of a method for recognizing and evaluating a user's fire coping behavior. The method of FIG. 5 may be another embodiment of step 430 of FIG. 4 .

도 1 및 도 6을 참조하면, 수술실 화재 훈련 장치(100)는 각 행동 단계별로 사용자가 선택할 수 있는 하나 이상의 행동 단계별 행동 선택지를 생성하여 사용자에게 제공할 수 있다(610). 이때, 행동 단계별 행동 선택지는 수술실 내 사용자의 역할에 따라 구별될 수 있다.Referring to FIGS. 1 and 6 , the operating room fire training apparatus 100 may generate one or more action-step action options that the user can select for each action step and provide it to the user ( 610 ). In this case, the action options for each action stage may be distinguished according to the role of the user in the operating room.

예를 들면, 사용자가 수술 집도의인 외과 의사인 경우, 수술실 화재 훈련 장치(100)는 수술 중단을 결정하는 제1 행동 단계와 관련된 하나 이상의 행동 선택지와, 수술 부위를 지혈하는 제2 행동 단계와 관련된 하나 이상의 행동 선택지와, 수술 부위를 봉합하는 제3 행동 단계와 관련된 하나 이상의 행동 선택지와, 수술 부위를 드레싱하는 제4 행동 단계와 관련된 하나 이상의 행동 선택지와, 환자를 대피시키는 제5 행동 단계와 관련된 하나 이상의 행동 선택지를 생성하여 사용자에게 제공할 수 있다.For example, when the user is a surgeon who is an operating surgeon, the operating room fire training apparatus 100 may include one or more action options related to a first action step for determining an operation stop, and a second action step related to hemostasis of the surgical site. one or more action options associated with a third action step of suturing the surgical site, one or more action options associated with a fourth action step of dressing the surgical site, and a fifth action step of evacuating the patient One or more action options may be created and presented to the user.

다른 예를 들면, 사용자가 마취과 의사인 경우, 수술실 화재 훈련 장치(100)는 수술 중단을 결정하는 제1 행동 단계와 관련된 하나 이상의 행동 선택지와, 의료 가스의 차단을 결정하는 제2 행동 단계와 관련된 하나 이상의 행동 선택지와, 환자 호흡을 보조하는 제3 행동 단계와 관련된 하나 이상의 행동 선택지와, 응급 마취약을 준비하고 수액 및 배액관 정리하는 제4 행동 단계와 관련된 하나 이상의 행동 선택지와, 환자를 대피시키는 제5 행동 단계와 관련된 하나 이상의 행동 선택지를 생성하여 사용자에게 제공할 수 있다.For another example, when the user is an anesthesiologist, the operating room fire training apparatus 100 may include one or more action options related to a first action step of determining to stop the operation, and one or more action options related to a second action step of determining shut off of the medical gas. one or more action options, one or more action options associated with a third action step to assist patient breathing, one or more action options related to a fourth action step for preparing emergency anesthetics and clearing fluids and drains, and an agent for evacuating the patient One or more action options related to the 5 action steps may be generated and provided to the user.

또 다른 예를 들면, 사용자가 간호사인 경우, 수술실 화재 훈련 장치(100)는 대피 경로를 확인하고 안내하는 제1 행동 단계와 관련된 하나 이상의 행동 선택지와, 의료 가스를 차단하는 제2 행동 단계와 관련된 하나 이상의 행동 선택지와, 화재 대피 물품을 준비하는 제3 행동 단계와 관련된 하나 이상의 행동 선택지와, 환자를 대피시키는 제4 행동 단계와 관련된 하나 이상의 행동 선택지를 생성하여 사용자에게 제공할 수 있다.As another example, when the user is a nurse, the operating room fire training apparatus 100 may include one or more action options related to a first action step for identifying and guiding an evacuation route, and a second action step related to shutting off medical gas. One or more action options, one or more action options related to the third action step of preparing the fire evacuation article, and one or more action options related to the fourth action step of evacuating the patient may be generated and provided to the user.

일 실시예에 따르면, 행동 단계별 행동 선택지는 각 행동 단계별로 제공될 수 있다. 예컨대, 수술실 화재 훈련 장치(100)는 제1 행동 단계에서 수술 중단 결정과 관련된 하나 이상의 행동 선택지를 사용자에게 제공하며, 사용자가 수술 중단 결정과 관련된 하나 이상의 행동 선택지 중 하나의 행동 선택지를 선택하면 제2 행동 단계로 넘어가 수술 부위 지혈과 관련된 하나 이상의 행동 선택지를 사용자에게 제공할 수 있다. 이러한 방식으로 제3 행동 단계, 제4 행동 단계 및 제5 행동 단계를 순차적으로 진행하며, 행동 단계별 행동 선택지는 각 행동 단계별로 제공될 수 있다.According to an embodiment, an action option for each action step may be provided for each action step. For example, the operating room fire training apparatus 100 provides the user with one or more action options related to the decision to stop the operation in the first action step, and when the user selects one action option from the one or more action options related to the decision to stop the operation, the second action option Step 2 may proceed to provide the user with one or more action options related to surgical site hemostasis. In this way, the third action step, the fourth action step, and the fifth action step are sequentially performed, and an action option for each action step may be provided for each action step.

수술실 화재 훈련 장치(100)는 사용자의 화재 대처 행동을 인식할 수 있다(620). 예를 들면, 수술실 화재 훈련 장치(100)는 선택지 정보 제공부(310)에서 생성 및 제공된 행동 단계별 행동 선택지에서 사용자가 각 행동 단계별로 하나의 행동 선택지를 선택하면, 선택된 행동 선택지를 기반으로, 사용자의 화재 대처 행동을 인식할 수 있다. 이때, 수술실 화재 훈련 장치(100)는 선택된 행동 선택지의 행동을 사용자의 화재 대처 행동으로 인식할 수 있다. The operating room fire training apparatus 100 may recognize the user's fire coping behavior ( 620 ). For example, in the operating room fire training apparatus 100, when the user selects one action option for each action step from action options generated and provided by the option information providing unit 310, based on the selected action option, the user can recognize fire-fighting behavior of In this case, the operating room fire training apparatus 100 may recognize the action of the selected action option as the user's action to cope with the fire.

수술실 화재 훈련 장치(100)는 인식된 사용자의 화재 대처 행동을 평가하고 그 평가 결과를 사용자에게 제공할 수 있다(630). 예컨대, 수술실 화재 훈련 장치(100)는 소정의 평가 기준을 이용하여 사용자의 화재 대처 행동을 평가할 수 있다. 이때, 평가 기준은 수술실 내 사용자의 역할별로 구축되며, 각 행동 단계별 화재 대처 행동과 그에 대응하는 점수로 정의될 수 있다.The operating room fire training apparatus 100 may evaluate the recognized user's fire coping behavior and provide the evaluation result to the user ( 630 ). For example, the operating room fire training apparatus 100 may evaluate the user's fire coping behavior using a predetermined evaluation criterion. In this case, the evaluation criteria are built for each role of the user in the operating room, and may be defined as a fire coping action for each action step and a score corresponding thereto.

일 실시예에 따르면 수술실 화재 훈련 장치(100)는 사용자의 화재 대처 행동을 각 행동 단계별로 평가하고, 각 행동 단계별 평가 결과를 종합하여 최종 평가할 수 있다.According to an embodiment, the operating room fire training apparatus 100 may evaluate the user's fire coping behavior for each behavioral stage, and may finally evaluate the result by synthesizing the evaluation results for each behavioral stage.

일 실시예에 따르면, 수술실 화재 훈련 장치(100)는 각 행동 단계별 평가 점수가 해당 행동 단계의 기준 점수 미만이 되면, 해당 행동 단계에 대한 사용자의 화재 대처를 실패로 판단하고 해당 행동 단계에 대한 사용자의 재교육을 유도할 수 있다. 예컨대, 수술실 화재 훈련 장치(100)는 실패한 행동 단계가 존재하는 경우, 다음 행동 단계로의 진행을 중단하고 실패한 행동 단계에 대한 사용자의 재교육을 유도하거나, 중단 없이 다음 행동 단계로 진행하고 최종 평가 완료 후에 실패한 행동 단계에 대한 정보를 제공함으로써, 실패한 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to an embodiment, the operating room fire training apparatus 100 determines that the user's fire response for the corresponding action step is a failure when the evaluation score for each action step is less than the reference score for the action step, and the user for the action step may lead to re-education. For example, if the operating room fire training device 100 has a failed action step, it stops progressing to the next action step and induces re-education of the user for the failed action step, or proceeds to the next action step without interruption and completes the final evaluation By providing information about the failed action step later, it is possible to induce re-education of the user on the failed action step.

다른 실시예에 따르면, 수술실 화재 훈련 장치(100)는 각 행동 단계별 평가 점수를 합산하여 최종 평가 점수를 산출하고, 최종 평가 점수가 기준 점수 미만이 되면 사용자의 화재 대처는 실패로 판단하고, 모든 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to another embodiment, the operating room fire training apparatus 100 calculates a final evaluation score by summing the evaluation scores for each action step, and when the final evaluation score is less than the reference score, it is determined that the user's fire response is a failure, and all actions It can induce re-education of users about the steps.

또 다른 실시예에 따르면, 수술실 화재 훈련 장치(100)는 각 행동 단계별 소요 시간이 해당 행동 단계의 기준 시간을 초과하면 해당 행동 단계에 대한 사용자의 화재 대처를 실패로 판단하고 해당 행동 단계에 대한 사용자의 재교육을 유도할 수 있다. 예컨대, 평가부(230)는 실패한 행동 단계가 존재하는 경우, 다음 행동 단계로의 진행을 중단하고 실패한 행동 단계에 대한 사용자의 재교육을 유도하거나, 중단 없이 다음 행동 단계로 진행하고 최종 평가 완료 후에 실패한 행동 단계에 대한 정보를 제공함으로써, 실패한 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to another embodiment, the operating room fire training apparatus 100 determines that the user's fire response for the corresponding action step is a failure when the time required for each action step exceeds the reference time of the action step, and the user for the action step may lead to re-education. For example, if there is a failed action step, the evaluation unit 230 stops the progress to the next action step and induces re-education of the user for the failed action step, or proceeds to the next action step without interruption and fails after the final evaluation is completed. By providing information on the behavioral stage, it is possible to induce re-education of the user on the failed behavioral stage.

또 다른 실시예에 따르면, 수술실 화재 훈련 장치(100)는 최종 소요 시간이 기준 시간을 초과하면, 모든 행동 단계에 대한 화재 대처를 실패로 판단하고, 모든 행동 단계에 대한 사용자의 재교육을 유도할 수 있다.According to another embodiment, when the final required time exceeds the reference time, the operating room fire training apparatus 100 determines that the fire response for all action steps is a failure, and induces re-education of the user for all action steps. have.

이제까지 바람직한 실시 예들을 중심으로 살펴보았다. 당해 기술 분야에서 통상의 지식을 가진 자는 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.So far, preferred embodiments have been focused on. Those of ordinary skill in the art will understand that it can be implemented in a modified form without departing from the essential characteristics of the invention. Accordingly, the scope of the invention is not limited to the above-described embodiments and should be construed to include various embodiments within the scope equivalent to the content described in the claims.

100: 수술실 화재 훈련 장치
110: 입력부
120: 센서부
130: 출력부
140, 200, 300: 프로세서
111: 마이크로폰
112: 사용자 입력부
121: 카메라
122: 모션 센서
131: 디스플레이
132: 스피커
133: 햅틱 모듈
210: 가상 현실 구현부
220, 320: 행동 인식부
230: 평가부
310: 선택지 정보 제공부100: operating room fire training device
110: input unit
120: sensor unit
130: output unit
140, 200, 300: Processor
111: microphone
112: user input unit
121: camera
122: motion sensor
131: display
132: speaker
133: haptic module
210: virtual reality implementation unit
220, 320: behavior recognition unit
230: evaluation unit
310: option information providing unit

Claims (20)

사용자의 움직임 정보를 획득하는 센서부;
수술 중 화재 상황과 관련되는 가상 현실, 증강 현실 또는 혼합 현실과 관련된 영상 및 오디오를 출력하는 출력부; 및
상기 가상 현실, 상기 증강 현실 또는 상기 혼합 현실을 구현하고, 상기 획득된 움직임 정보를 기반으로 상기 사용자의 화재 대처 행동을 인식하고, 상기 인식된 화재 대처 행동을 행동 단계별로 평가하는 프로세서; 를 포함하고,
상기 사용자는 수술실에서 수술을 진행하는 외과 의사, 마취과 의사 및 간호사 중 하나이고,
외과 의사에 대한 행동 단계는 수술 중단을 결정하는 행동 단계, 수술 부위를 지혈하는 행동 단계, 수술 부위를 봉합하는 행동 단계, 수술 부위를 드레싱하는 행동 단계, 및 환자를 대피시키는 행동 단계를 포함하고,
마취과 의사에 대한 행동 단계는 수술 중단을 결정하는 행동 단계, 의료 가스의 차단을 결정하는 행동 단계, 환자 호흡을 보조하는 행동 단계, 응급 마취약을 준비하고 수액 및 배액관 정리하는 행동 단계, 및 환자를 대피시키는 행동 단계를 포함하고,
간호사에 대한 행동 단계는 대피 경로를 확인하고 안내하는 행동 단계, 의료 가스를 차단하는 행동 단계, 화재 대피 물품을 준비하는 행동 단계, 및 환자를 대피시키는 행동 단계를 포함하는,
수술실 화재 훈련 장치.a sensor unit for acquiring user's motion information;
an output unit for outputting images and audio related to virtual reality, augmented reality, or mixed reality related to a fire situation during surgery; and
a processor for implementing the virtual reality, the augmented reality, or the mixed reality, recognizing the user's fire coping action based on the obtained motion information, and evaluating the recognized fire coping action step by step; including,
The user is one of a surgeon, anesthesiologist, and nurse who perform surgery in an operating room;
The action step for the surgeon comprises the action step of deciding to stop the operation, the action step of hemostatic the surgical site, the action step of suturing the surgical site, the action step of dressing the surgical site, and the action step of evacuating the patient,
The action steps for the anesthesiologist include action steps to determine cessation of surgery, action steps to determine shutoff of medical gas, action steps to assist patient breathing, action steps to prepare emergency anesthetics and clear fluids and drains, and action steps to evacuate the patient including action steps to
wherein the action steps for the nurse include action steps for identifying and guiding an evacuation route, action steps for shutting off medical gas, action steps for preparing fire evacuation items, and action steps for evacuating the patient;
Operating room fire training device. 삭제delete 삭제delete 제1항에 있어서,
상기 프로세서는 수술실 내 사용자의 역할별로 구축된 평가 기준을 기반으로 상기 인식된 화재 대처 행동을 평가하는,
수술실 화재 훈련 장치.According to claim 1,
The processor evaluates the recognized fire response behavior based on the evaluation criteria built for each role of the user in the operating room,
Operating room fire training device. 제4항에 있어서,
상기 평가 기준은 행동 단계별 화재 대처 행동과 그에 대응하는 점수가 매칭된 테이블 형태로 구축되는,
수술실 화재 훈련 장치.5. The method of claim 4,
The evaluation criteria are constructed in the form of a table in which the fire response behavior for each action level and the corresponding score are matched,
Operating room fire training device. 제1항에 있어서,
상기 프로세서는 행동 단계별 평가 결과를 종합하여 상기 사용자의 화재 대처 행동을 최종 평가하는,
수술실 화재 훈련 장치.According to claim 1,
The processor is a final evaluation of the user's fire response behavior by synthesizing the evaluation results for each action step,
Operating room fire training device. 제1항에 있어서,
상기 프로세서는 행동 단계별 평가 점수가 해당 행동 단계의 기준 점수 미만이면, 해당 행동 단계에 대한 사용자의 재교육을 유도하는,
수술실 화재 훈련 장치.According to claim 1,
If the evaluation score for each action step is less than the reference score for the action step, the processor induces re-education of the user for the action step,
Operating room fire training device. 제1항에 있어서,
상기 프로세서는 행동 단계별 소요 시간이 해당 행동 단계의 기준 시간을 초과하면, 해당 행동 단계에 대한 사용자의 재교육을 유도하는,
수술실 화재 훈련 장치.According to claim 1,
When the time required for each action step exceeds the reference time of the action step, the processor induces re-education of the user for the action step,
Operating room fire training device. 제1항에 있어서,
상기 프로세서는 각 행동 단계별로 상기 사용자가 선택할 수 있는 하나 이상의 행동 선택지를 생성하여 상기 사용자에게 제공하는,
수술실 화재 훈련 장치.According to claim 1,
The processor generates one or more action options that the user can select for each action step and provides it to the user,
Operating room fire training device. 제9항에 있어서,
상기 프로세서는 사용자가 선택한 행동 선택지를 더 기반으로 상기 사용자의 화재 대처 행동을 인식하는,
수술실 화재 훈련 장치.10. The method of claim 9,
The processor recognizes the user's fire response action based on the action option selected by the user,
Operating room fire training device. 제1항에 있어서,
상기 출력부는 HMD(head mounted display) 장치인,
수술실 화재 훈련 장치.According to claim 1,
The output unit is a head mounted display (HMD) device,
Operating room fire training device. 사용자의 움직임 정보를 획득하는 단계;
수술 중 화재 상황과 관련되는 가상 현실, 증강 현실 또는 혼합 현실을 구현하는 단계;
상기 획득된 움직임 정보를 기반으로 상기 사용자의 화재 대처 행동을 인식하는 단계; 및
상기 인식된 화재 대처 행동을 행동 단계별로 평가하는 단계; 를 포함하고,
상기 사용자는 수술실에서 수술을 진행하는 외과 의사, 마취과 의사 및 간호사 중 하나이고,
외과 의사에 대한 행동 단계는 수술 중단을 결정하는 행동 단계, 수술 부위를 지혈하는 행동 단계, 수술 부위를 봉합하는 행동 단계, 수술 부위를 드레싱하는 행동 단계, 및 환자를 대피시키는 행동 단계를 포함하고,
마취과 의사에 대한 행동 단계는 수술 중단을 결정하는 행동 단계, 의료 가스의 차단을 결정하는 행동 단계, 환자 호흡을 보조하는 행동 단계, 응급 마취약을 준비하고 수액 및 배액관 정리하는 행동 단계, 및 환자를 대피시키는 행동 단계를 포함하고,
간호사에 대한 행동 단계는 대피 경로를 확인하고 안내하는 행동 단계, 의료 가스를 차단하는 행동 단계, 화재 대피 물품을 준비하는 행동 단계, 및 환자를 대피시키는 행동 단계를 포함하는,
수술실 화재 훈련 방법.obtaining user's motion information;
implementing virtual reality, augmented reality or mixed reality related to the fire situation during surgery;
recognizing the user's fire response behavior based on the acquired motion information; and
evaluating the recognized fire coping behavior for each action step; including,
The user is one of a surgeon, an anesthesiologist, and a nurse performing an operation in an operating room;
The action step for the surgeon comprises the action step of deciding to stop the operation, the action step of hemostatic the surgical site, the action step of suturing the surgical site, the action step of dressing the surgical site, and the action step of evacuating the patient,
The action steps for the anesthesiologist include action steps to determine cessation of surgery, action steps to determine shutoff of medical gas, action steps to assist patient breathing, action steps to prepare emergency anesthetics and clear fluids and drains, and action steps to evacuate the patient including action steps to
wherein the action steps for the nurse include action steps for identifying and guiding an evacuation route, action steps for shutting off medical gas, action steps for preparing fire evacuation items, and action steps for evacuating the patient;
Operating room fire training methods. 삭제delete 삭제delete 제12항에 있어서,
상기 인식된 화재 대처 행동을 평가하는 단계는,
수술실 내 사용자의 역할별로 구축된 평가 기준을 기반으로 상기 인식된 화재 대처 행동을 행동 단계별로 평가하는,
수술실 화재 훈련 방법.13. The method of claim 12,
The step of evaluating the recognized fire response behavior is,
Evaluating the recognized fire response behavior by action stage based on the evaluation criteria established for each role of the user in the operating room,
Operating room fire training methods. 제15항에 있어서,
상기 평가 기준은 행동 단계별 화재 대처 행동과 그에 대응하는 점수가 매칭된 테이블 형태로 구축되는,
수술실 화재 훈련 방법.16. The method of claim 15,
The evaluation criteria are constructed in the form of a table in which the fire response behavior for each action level and the corresponding score are matched,
Operating room fire training methods. 제12항에 있어서,
행동 단계별 평가 결과를 종합하여 상기 사용자의 화재 대처 행동을 최종 평가하는 단계; 를 더 포함하는,
수술실 화재 훈련 방법.13. The method of claim 12,
final evaluation of the fire response behavior of the user by synthesizing the evaluation results for each action step; further comprising,
Operating room fire training methods. 제12항에 있어서,
행동 단계별 평가 점수가 해당 행동 단계의 기준 점수 미만이면, 해당 행동 단계에 대한 사용자의 재교육을 유도하는 단계; 를 더 포함하는,
수술실 화재 훈련 방법.13. The method of claim 12,
inducing re-education of the user for the corresponding behavioral stage if the evaluation score for each behavioral stage is less than the reference score for the corresponding behavioral stage; further comprising,
Operating room fire training methods. 제12항에 있어서,
행동 단계별 소요 시간이 해당 행동 단계의 기준 시간을 초과하면, 해당 행동 단계에 대한 사용자의 재교육을 유도하는 단계; 를 더 포함하는,
수술실 화재 훈련 방법.13. The method of claim 12,
inducing re-education of the user for the corresponding action step when the required time for each action step exceeds the reference time for the action step; further comprising,
Operating room fire training methods. 제12항에 있어서,
각 행동 단계별로 상기 사용자가 선택할 수 있는 하나 이상의 행동 선택지를 생성하여 상기 사용자에게 제공하는 단계; 를 더 포함하고,
상기 사용자의 화재 대처 행동을 인식하는 단계에서 사용자가 선택한 행동 선택지를 더 기반으로 상기 사용자의 화재 대처 행동을 인식하는,
수술실 화재 훈련 방법. 13. The method of claim 12,
generating one or more action options that the user can select for each action step and providing it to the user; further comprising,
Recognizing the fire coping action of the user based on the action option selected by the user in the step of recognizing the fire coping action of the user,
Operating room fire training methods.
KR1020200001640A 2020-01-06 2020-01-06 Apparatus and method for training fire in the operating room KR102362398B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200001640A KR102362398B1 (en) 2020-01-06 2020-01-06 Apparatus and method for training fire in the operating room

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200001640A KR102362398B1 (en) 2020-01-06 2020-01-06 Apparatus and method for training fire in the operating room

Publications (2)

Publication Number Publication Date
KR20210088337A KR20210088337A (en) 2021-07-14
KR102362398B1 true KR102362398B1 (en) 2022-02-14

Family

ID=76862969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001640A KR102362398B1 (en) 2020-01-06 2020-01-06 Apparatus and method for training fire in the operating room

Country Status (1)

Country Link
KR (1) KR102362398B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102459506B1 (en) * 2021-09-09 2022-10-28 (주)비피에스 Apparatus for realistic virtual training and method thereof
KR20230084860A (en) * 2021-12-06 2023-06-13 주식회사 엘지에너지솔루션 Virtual reality-based fire response simulation method and device for secondary battery production
KR102606532B1 (en) * 2022-09-27 2023-11-29 (주)케이앤엘정보시스템 Disaster training device and disaster training system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101921579B1 (en) * 2017-06-22 2019-02-13 한국해양과학기술원 System and method for extinguishing fire based on mobile augmented reality

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150018664A (en) 2013-08-08 2015-02-24 맹준희 Education System using Tangible and interactive Virtual Learning
KR101644462B1 (en) * 2014-06-26 2016-08-03 한국원자력연구원 Apparatus and method for nuclear facilities decommissioning operator training
KR101692528B1 (en) * 2014-07-17 2017-01-03 정호조 Method and apparatus for disaster confrontation training program operating
KR101736440B1 (en) * 2015-03-09 2017-05-19 (주)굿게이트 Fire extinguisher for training, training system and method for corresponding to disaster based virtual reality using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101921579B1 (en) * 2017-06-22 2019-02-13 한국해양과학기술원 System and method for extinguishing fire based on mobile augmented reality

Also Published As

Publication number Publication date
KR20210088337A (en) 2021-07-14

Similar Documents

Publication Publication Date Title
KR102362398B1 (en) Apparatus and method for training fire in the operating room
Limbu et al. Using sensors and augmented reality to train apprentices using recorded expert performance: A systematic literature review
US20210393339A1 (en) Multi-panel graphical user interface for a robotic surgical system
KR102477325B1 (en) Multi-panel graphical user interface for robotic surgical systems
Vaughan et al. An overview of self-adaptive technologies within virtual reality training
JP7224288B2 (en) medical assistant
JP2021531504A (en) Surgical training equipment, methods and systems
US11944344B2 (en) Guidance system, method and devices thereof
US20050255434A1 (en) Interactive virtual characters for training including medical diagnosis training
US20210205027A1 (en) Context-awareness systems and methods for a computer-assisted surgical system
Zhang et al. Gastroenterology in the Metaverse: The dawn of a new era?
US11984045B2 (en) Surgical simulator systems and methods
Kanevsky et al. Making augmented and virtual reality work for the plastic surgeon
KR20200027729A (en) Apparatus and method for fire fighting in hospital based on a Virtual Reality
US11550470B2 (en) Grammar dependent tactile pattern invocation
JP7276334B2 (en) Information processing device, information processing method, and program
Semsar et al. How trainees use the information from telepointers in remote instruction
Dhanasree et al. Hospital emergency room training using virtual reality and leap motion sensor
Kaufmann et al. Telepresence surgery system enhances medical student surgery training
Marks et al. Head tracking based avatar control for virtual environment teamwork training
Ponder et al. Interactive scenario immersion: Health emergency decision training in JUST project
US11726559B2 (en) Gaze-initiated communications
JP2020134710A (en) Surgical operation training device
KR102579540B1 (en) Virtual reality clinical simulation system and virtual reality clinical simulation method for infection control in isolation ward
TWI711016B (en) Teaching and testing system with dynamic interaction and memory feedback capability

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant