KR20220126664A - Method and system for nursing practice education using virtual reality - Google Patents
Method and system for nursing practice education using virtual reality Download PDFInfo
- Publication number
- KR20220126664A KR20220126664A KR1020220029457A KR20220029457A KR20220126664A KR 20220126664 A KR20220126664 A KR 20220126664A KR 1020220029457 A KR1020220029457 A KR 1020220029457A KR 20220029457 A KR20220029457 A KR 20220029457A KR 20220126664 A KR20220126664 A KR 20220126664A
- Authority
- KR
- South Korea
- Prior art keywords
- nursing
- virtual
- user
- skill
- practice
- Prior art date
Links
- 230000000474 nursing effect Effects 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims abstract description 89
- 229940079593 drug Drugs 0.000 claims description 39
- 230000002093 peripheral effect Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 5
- 230000008451 emotion Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 2
- 238000007654 immersion Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 15
- 238000013312 nursing technique Methods 0.000 description 13
- 238000002347 injection Methods 0.000 description 11
- 239000007924 injection Substances 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 239000003814 drug Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000001990 intravenous administration Methods 0.000 description 5
- 238000010253 intravenous injection Methods 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 2
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 가상 현실을 이용하는 간호 실습 교육 방법 및 시스템에 관한 것이다. The present invention relates to a method and system for teaching nursing practice using virtual reality.
현실 세계에서 이루어지는 실습 교육은 물리적인 제약 조건 등에 의해, 자유롭게 수행되기 쉽지 않다. 이에 따라, 인터넷이나 가상 현실을 이용하는 실습 교육 방법 등이 개발되고 있다.Practical education in the real world is not easy to be freely performed due to physical constraints and the like. Accordingly, a practical education method using the Internet or virtual reality is being developed.
하지만, 웹기반 시뮬레이션은 단순 평면 스크린 상에서 단순 클릭 등 마우스 조작을 통해 프로그램이 진행되기 때문에, 사용자의 몰입감과 현존감(presence)이 상당히 떨어지는 단점이 있으며, 가상 현실 기술의 급속한 발전에 따라 가상 현실 기반의 실습 교육 방법이 각광받고 있다.However, the web-based simulation has a disadvantage in that the user's immersion and presence are considerably lowered because the program proceeds through mouse manipulation such as a simple click on a simple flat screen. Practical training methods are gaining popularity.
현재 가상 현실 기반의 실습 교육 방법은, 사용자가 손에 잡고 동작하는 컨트롤러를 통해 이루어지는데, 컨트롤러의 조작이 직관적이지 않아, 몰입감과 현존감이 떨어지는 문제가 있다. 이에 가상 현실 기반의 실습 교육 방법의 몰입감과 현존감을 높이기 위한 연구 개발이 이루어지고 있다.Currently, the virtual reality-based practical education method is performed through a controller that the user holds in his hand and operates, but the operation of the controller is not intuitive, so there is a problem that immersion and presence are reduced. Accordingly, research and development are being carried out to increase the sense of immersion and presence of virtual reality-based practical education methods.
관련 선행문헌으로, 대한민국 공개특허 제2015-0117165호, 제2020-0046958호, 제2020-0081540호가 있다.As related prior documents, there are Korean Patent Publication Nos. 2015-0117165, 2020-0046958, and 2020-0081540.
본 발명은, 몰입감과 현존감이 향상된, 가상 현실을 이용하는 간호 실습 교육 방법 및 시스템을 제공하기 위한 것이다.The present invention is to provide a nursing practice education method and system using virtual reality with improved immersion and presence.
또한 본 발명은, 사용자의 간호 술기 동작에 대한 다양한 피드백을 통해, 교육 효과가 높아질 수 있는, 간호 실습 교육 방법 및 시스템을 제공하기 위한 것이다.Another object of the present invention is to provide a nursing practice education method and system in which the educational effect can be increased through various feedbacks on the user's nursing skill operation.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 간호 실습을 위한 가상 현실 콘텐츠를 사용자에게 제공하는 단계; 상기 사용자의 손에 대한 이미지 및 상기 사용자의 음성을 이용하여, 상기 가상 현실 콘텐츠에 포함된 가상 객체에 대한 상기 사용자의 간호 술기 동작을 인식하는 단계; 및 상기 사용자에게 상기 간호 술기 동작에 따른 피드백을 제공하는 단계를 포함하는 가상 현실을 이용하는 간호 실습 교육 방법이 제공된다.According to an embodiment of the present invention for achieving the above object, the method comprising: providing virtual reality content for nursing practice to a user; recognizing a nursing skill operation of the user with respect to a virtual object included in the virtual reality content by using the image of the user's hand and the user's voice; and providing feedback according to the operation of the nursing skill to the user.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 의료 실습을 위한 가상 현실 콘텐츠를 사용자에게 제공하는 단계; 상기 사용자의 손에 대한 이미지 및 상기 사용자의 음성을 이용하여, 상기 가상 현실 콘텐츠에 포함된 가상 객체에 대한 상기 사용자의 의료 술기 동작을 인식하는 단계; 및 상기 사용자에게 상기 의료 술기 동작에 따른 피드백을 제공하는 단계를 포함하는 가상 현실을 이용하는 의료 실습 교육 방법이 제공된다.In addition, according to another embodiment of the present invention for achieving the above object, the method comprising: providing virtual reality content for medical practice to a user; recognizing the user's medical technique operation with respect to the virtual object included in the virtual reality content by using the image of the user's hand and the user's voice; and providing feedback according to the operation of the medical technique to the user.
또한 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 간호 실습을 위한 가상 현실 콘텐츠를 표시하며, 사용자의 간호 술기 동작에 따른 피드백이 제공되는 HMD; 상기 HMD를 착용한 상기 사용자의 손에 대한 이미지를 생성하는 카메라; 및 상기 이미지 또는 상기 사용자의 음성을 이용하여, 상기 가상 현실 콘텐츠에 포함된 가상 객체에 대한 상기 간호 술기 동작을 인식하고, 상기 피드백을 결정하는 간호 실습 교육 장치를 포함하는 가상 현실을 이용하는 간호 실습 시스템이 제공된다.In addition, according to another embodiment of the present invention for achieving the above object, there is provided an HMD that displays virtual reality content for nursing practice and provides feedback according to a user's nursing skill operation; a camera for generating an image of the user's hand wearing the HMD; and a nursing practice education apparatus for recognizing the nursing skill operation with respect to a virtual object included in the virtual reality content by using the image or the user's voice, and determining the feedback. this is provided
본 발명의 일실시예에 따르면, 직관적인 손동작을 이용하여 사용자가 가상 객체를 조작할 수 있도록 지원함으로써, 몰입감과 현존감이 향상된 간호 실습 교육이 이루어질 수 있다.According to an embodiment of the present invention, by supporting a user to manipulate a virtual object using an intuitive hand gesture, nursing practice education with improved immersion and presence can be achieved.
또한 본 발명의 일실시예에 따르면, 손동작 뿐만 아니라 음성이 함께 입력 모달로 이용되는 멀티 모달 방식을 지원함으로써, 몰입감과 현존감이 향상될 뿐만 아니라 교육 효과 역시 향상될 수 있다.In addition, according to an embodiment of the present invention, by supporting a multi-modal method in which not only hand gestures but also voice are used as input modal, immersion and presence can be improved as well as educational effects.
또한 본 발명의 일실시예에 따르면, 가상 객체의 인터랙션, 간호 술기 동작에 대한 평가 등의 피드백 뿐만 아니라, 퀴즈, 추가 미션 등의 다양한 형태의 피드백을 사용자에게 제공함으로써, 교육 효과가 향상될 수 있다.In addition, according to an embodiment of the present invention, the educational effect can be improved by providing various types of feedback such as quizzes and additional missions to the user, as well as feedback such as evaluation of virtual object interaction and nursing skill operation. .
또한 본 발명의 일실시예에 따르면, 사용자의 단편적인 세부 간호 술기 동작에 대한 즉각적 피드백뿐 아니라 사용자의 세부 간호 술기 동작에 대한 누적 결과값에 대한 통합 피드백을 사용자에게 제공함으로써, 사용자의 통합적인 간호역량을 촉진하는 학습 효과를 기대할 수 있다.In addition, according to an embodiment of the present invention, by providing the user with not only immediate feedback on the user's fragmentary detailed nursing skill action but also integrated feedback on the cumulative result value of the user's detailed nursing skill action, the user's integrated nursing care A learning effect that promotes competency can be expected.
도 1은 본 발명의 일실시예에 따른 가상 현실을 이용하는 간호 실습 교육 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 가상 현실을 이용하는 간호 실습 교육 방법을 설명하기 위한 도면이다.
도 3은 사용자의 정맥 주사 간호 술기 동작에 대한 피드백을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 간호 술기 동작을 인식하는 방법을 설명하기 위한 도면이다.
도 5는 간호 술기 동작의 섬세함 여부를 판단하기 위한 주변 영역을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 간호 술기 동작을 인식하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 간호 술기 동작을 인식하는 방법을 설명하기 위한 도면이다.1 is a diagram for explaining a nursing practice education system using virtual reality according to an embodiment of the present invention.
2 is a diagram for explaining a nursing practice education method using virtual reality according to an embodiment of the present invention.
3 is a diagram showing feedback on the operation of the intravenous nursing technique of the user.
4 is a diagram for explaining a method of recognizing a nursing skill operation according to an embodiment of the present invention.
5 is a diagram for explaining a peripheral area for determining whether a nursing skill operation is delicate.
6 is a diagram for explaining a method of recognizing a nursing skill operation according to another embodiment of the present invention.
7 is a diagram for explaining a method of recognizing a nursing skill operation according to another embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.
본 발명은, 가상 현실을 이용하는 간호 실습 교육 방법에 관한 발명으로서, 가상 환경에서, 사용자의 몰입감과 현존감을 높일 수 있는 간호 실습 교육 방법을 제안한다.The present invention relates to a nursing practice education method using virtual reality, and proposes a nursing practice education method capable of increasing a user's immersion and presence in a virtual environment.
전술된 바와 같이, 사용자가 손에 파지하는 컨트롤러를 이용하여 가상 환경의 가상 객체를 조작하는 방법은, 사용자의 몰입감과 현존감을 방해하기 때문에, 본 발명의 일실시예는 사용자의 몰입감과 현존감을 높이기 위해, 사용자의 손동작을 이용한다. 본 발명의 일실시예는 컨트롤러에 비해 직관적인 손동작을 이용하여 사용자가 가상 객체를 조작할 수 있도록 지원함으로써, 간호 실습 교육 과정에서 사용자의 몰입감과 현존감이 높아질 수 있다. As described above, since the method of manipulating a virtual object in a virtual environment using a controller held by the user in the hand interferes with the user's immersion and presence, an embodiment of the present invention enhances the user's immersion and presence. For this, the user's hand gestures are used. An embodiment of the present invention supports a user to manipulate a virtual object using an intuitive hand gesture compared to a controller, thereby increasing the user's immersion and presence in the nursing practice education process.
또한 본 발명의 일실시예는 손동작 뿐만 아니라, 사용자의 음성이 함께 입력 모달로 이용되는, 멀티 모달(multi modal) 방식을 지원한다. 간호 실습 과정의 간호 술기(nursing skill)에는, 사용자의 손동작을 이용하는 술기 뿐만 아니라, 특정 상황에서 사용자가 음성을 이용해 내용을 전달하는 술기도 포함되기 때문에, 손동작과 함께 음성을 이용해 간호 실습 교육을 제공함으로써, 사용자의 몰입감과 현존감이 더욱 높아질 수 있을 뿐만 아니라, 교육 효과도 높아질 수 있다.In addition, an embodiment of the present invention supports a multi-modal method in which not only a hand gesture but also a user's voice is used as an input modal. Nursing skill in the nursing practice process includes not only the skill using the user's hand gestures, but also the skill in which the user uses voice to deliver content in a specific situation, so nursing practice education is provided using voice along with hand gestures. By doing so, the user's sense of immersion and presence can be further increased, and the educational effect can also be increased.
이외 본 발명의 일실시예는 사용자의 몰입감과 현존감을 높일 수 있는 다양한 피드백 방법이나, 인터랙션 방법을 제안한다.In addition, one embodiment of the present invention proposes a variety of feedback methods or interaction methods that can increase the user's immersion and presence.
본 발명의 일실시예에 따른 가상 현실을 이용하는 간호 실습 교육 방법은 프로세서 및 메모리를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 보다 구체적으로 메모리와 전기적으로 연결된 프로세서에서 수행될 수 있다. The nursing practice education method using virtual reality according to an embodiment of the present invention may be performed in a computing device including a processor and a memory, and more specifically, may be performed in a processor electrically connected to the memory.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 가상 현실을 이용하는 간호 실습 교육 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a nursing practice education system using virtual reality according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 간호 실습 교육 시스템은 HMD(110), 카메라(120) 및 간호 실습 교육 장치(130)를 포함한다.Referring to FIG. 1 , a nursing practice education system according to an embodiment of the present invention includes an
사용자가 착용하는 HMD(110)는, 간호 실습을 위한 가상 현실 콘텐츠를 표시하며, 사용자의 간호 술기 동작에 따른 피드백을 사용자에게 제공한다. 가상 현실 콘텐츠는 간호 실습에 필요한 다양한 가상 객체를 포함하며, 가상 객체는 가상 병원, 가상 환자, 가상 보호자, 가상 의사, 가상 주사기, 가상 약물, 가상 의료 기기 등을 포함할 수 있다.The
피드백은, 간호 술기 동작에 대한 평가 결과나, 가상 현실 콘텐츠에 포함된 가상 객체의 인터랙션일 수 있다. 이러한 피드백은 시각 데이터 형태로 사용자가 시청하는 화면에 표시되거나, 청각 데이터 형태로 HMD(110)의 스피커를 통해 사용자에게 제공될 수 있다.The feedback may be an evaluation result of a nursing skill operation or an interaction of a virtual object included in virtual reality content. Such feedback may be displayed on the screen viewed by the user in the form of visual data or may be provided to the user through the speaker of the
카메라(120)는 사용자의 손에 대한 이미지를 생성한다. 카메라(120)는 HMD(110)에 부착되거나 또는 HMD(110)와 별도로 교육 장소에 설치될 수 있다. The
전술된 바와 같이, 본 발명의 일실시예에서는 사용자가 손동작을 이용하여, 가상 객체를 조작하기 때문에, 사용자의 손동작을 인식하기 위해 사용자의 손에 대한 이미지가 획득된다. 획득된 손에 대한 이미지는, 가상 이미지 형태로 가상 현실 콘텐츠와 함께 HMD(110)에 표시되며, 인식된 손동작에 대응되도록 가상 이미지가 표시된다. As described above, in an embodiment of the present invention, since the user manipulates a virtual object using a hand gesture, an image of the user's hand is acquired in order to recognize the user's hand gesture. The acquired image of the hand is displayed on the
간호 실습 교육 장치(130)는 HMD(110)로 가상 현실 콘텐츠를 전송하며, 손에 대한 이미지 및 사용자의 음성을 이용하여, 가상 현실 콘텐츠에 의한 가상 환경에서, 가상 객체에 대한 간호 술기 동작을 인식한다. 간호 실습 교육 장치(130)는 손에 대한 이미지에서 사용자의 손을 검출하고, 검출된 손을 가상 환경에서 가상 이미지 형태로 표시하며, 사용자는 자신의 손에 대한 가상 이미지를 보면서, 자신의 손을 이용하여 가상 객체를 조작할 수 있다.The nursing
사용자가 간호 실습 과정에서 간호 술기를 수행하기 위해 손동작을 취하면, 간호 실습 교육 장치(130)는 손에 대한 이미지를 통해 사용자의 손동작을 인식한다. 인식된 손동작은, 가상 객체에 대한 간호 술기 동작에 대응될 수 있으며, 손동작 인식은, 다양한 모션 인식 알고리즘이나 인공 신경망을 통해 수행될 수 있다.When the user takes a hand gesture to perform a nursing skill in the nursing practice process, the nursing
그리고 간호 실습 교육 장치(130)는 간호 술기 동작에 따른 피드백을 결정한다. 결정된 피드백은 전술된 HMD(110)를 통해 사용자에게 제공된다. 또한 간호 실습 교육 장치(130)는 HMD의 마이크 등을 통해 입력되는 사용자의 음성을 분석하여, 입력된 음성에 따른 피드백을 HMD(110)를 통해 사용자에게 제공할 수 있다.In addition, the nursing
한편, 간호 실습 교육 장치(130)는 실시예에 따라서, 전술된 피드백 뿐만 아니라 교육 효과를 높이기 위해, 사용자의 답변을 요구하는 퀴즈나 추가 미션을 HMD(110)를 통해 사용자에게 제공할 수 있다.Meanwhile, according to an embodiment, the nursing
도 2는 본 발명의 일실시예에 따른 가상 현실을 이용하는 간호 실습 교육 방법을 설명하기 위한 도면이며, 도 3은 사용자의 정맥 주사 간호 술기 동작에 대한 피드백을 나타내는 도면이다. 도 2에서는 간호 실습 교육 장치에서 수행되는 간호 실습 교육 방법이 일실시예로서 설명된다. FIG. 2 is a diagram for explaining a nursing practice education method using virtual reality according to an embodiment of the present invention, and FIG. 3 is a diagram showing feedback on a user's intravenous nursing technique operation. In FIG. 2 , a nursing practice education method performed in a nursing practice education apparatus is described as an embodiment.
도 2를 참조하면, 본 발명의 일실시예에 따른 간호 실습 교육 장치는 간호 실습을 위한 가상 현실 콘텐츠를 사용자에게 제공(S210)한다. 가상 현실 콘텐츠는 HMD를 통해 사용자에게 제공될 수 있다. Referring to FIG. 2 , the nursing practice education apparatus according to an embodiment of the present invention provides virtual reality content for nursing practice to the user ( S210 ). The virtual reality content may be provided to the user through the HMD.
그리고 간호 실습 교육 장치는, 사용자의 손에 대한 이미지 및 사용자의 음성을 이용하여, 가상 현실 콘텐츠에 포함된 가상 객체에 대한 사용자의 간호 술기 동작을 인식(S220)하며, 사용자에게 간호 술기 동작에 따른 피드백을 제공(S230)한다.In addition, the nursing practice education apparatus recognizes the user's nursing skill operation with respect to the virtual object included in the virtual reality content by using the user's voice and the image of the user's hand (S220), and provides the user according to the nursing skill operation. Feedback is provided (S230).
단계 S220에서 간호 실습 교육 장치는 사용자의 손에 대한 이미지를 이용하여 손동작을 인식하고, 인식된 손동작을 통해, 가상 객체에 대한 간호 술기 동작을 인식할 수 있다. In step S220, the nursing practice education apparatus may recognize a hand gesture by using the image of the user's hand, and recognize a nursing skill action for the virtual object through the recognized hand gesture.
또한 단계 S230에서 간호 실습 교육 장치는 간호 술기 동작에 대한 평가 결과 및 간호 술기 동작에 따른 가상 객체의 인터랙션을 HMD를 통해 사용자에게 제공할 수 있다. 이 때, 가상 객체의 인터랙션은 간호 술기 동작에 따른 가상 객체의 반응으로서, 가상 환자, 가상 보호자 또는 가상 의사의 신체 반응 또는 행동 반응 등을 포함할 수 있다.In addition, in step S230 , the nursing practice education apparatus may provide the user with the evaluation result of the nursing skill action and the interaction of the virtual object according to the nursing skill action through the HMD. In this case, the interaction of the virtual object is a reaction of the virtual object according to a nursing skill operation, and may include a physical reaction or a behavioral reaction of a virtual patient, a virtual guardian, or a virtual doctor.
예컨대, 사용자가 손으로 주사기를 파지하여, 가상 환자에게 주사액을 주입하는 동작을 취할 경우, 간호 실습 교육 장치는 사용자의 손 동작을, 정맥 주사라는 간호 술기를 수행하는 동작으로 인식할 수 있다. 그리고 도 3에 도시된 바와 같이, 간호 실습 교육 장치는 사용자의 손 동작에 따라서, 사용자의 손을 나타내는 가상 이미지와 함께 가상 주사기를 가상 환자로 이동시키고, 가상 주사기의 가상 주사액을 가상 환자로 주입하는 인터랙션과, 주사액의 주입에 따른 가상 환자의 신체 반응이나 가상 보호자의 행동 반응과 같은 인터랙션 등을, HMD를 통해 사용자에게 제공할 수 있다. 도 3(a)는 손을 소독하는 세부 간호 술기 동작 및 피드백, 도 3(b)는 토니켓을 부착하는 세부 간호 술기 동작 및 피드백, 도 3(c)는 카테터를 삽입하는 세부 간호 술기 동작 및 피드백, 도 3(d)는 고정 테이프를 부착하는 세부 간호 술기 동작 및 피드백을 나타내는 도면이다. 만일 사용자의 정맥 주사 간호 술기 동작이 부적절하다고 평가된 경우, 간호 실습 교육 장치는, 가상 환자가 비명을 지르거나, 가상 보호자와 가상 의사가 놀라는 인터랙션을 HMD를 통해 사용자에게 제공할 수 있다.For example, when the user grips the syringe with his/her hand to inject the injection solution into the virtual patient, the nursing practice education apparatus may recognize the user's hand motion as an operation for performing a nursing technique called intravenous injection. And as shown in FIG. 3 , the nursing practice education apparatus moves the virtual syringe along with a virtual image representing the user's hand to the virtual patient according to the user's hand motion, and injects the virtual injection solution of the virtual syringe into the virtual patient. The interaction and the interaction such as the virtual patient's physical reaction or the virtual guardian's behavioral response according to the injection of the injection may be provided to the user through the HMD. Fig. 3 (a) is a detailed nursing technique operation and feedback for sterilizing hands, Fig. 3 (b) is a detailed nursing technique operation and feedback for attaching a ticket, and Fig. 3 (c) is a detailed nursing technique operation and feedback for inserting a catheter Feedback, FIG. 3( d ) is a view showing detailed nursing technique operation and feedback for attaching a fixing tape. If the user's intravenous nursing skill operation is evaluated to be inappropriate, the nursing practice training apparatus may provide the user with an interaction in which the virtual patient screams or the virtual guardian and the virtual doctor are surprised through the HMD.
또한, 단계 S220 및 S230에서 간호 실습 교육 장치는 사용자의 음성을 분석하고, 음성에 따른 피드백을 HMD를 통해 사용자에게 제공할 수 있다.In addition, in steps S220 and S230, the nursing practice education apparatus may analyze the user's voice and provide feedback according to the voice to the user through the HMD.
예컨대, 사용자는 정맥 주사를 시행하는 과정에서, 주사액의 효과나 부작용 등을 가상 보호자에게 설명하는 간호 술기 동작을 수행할 수 있으며, 간호 실습 교육 장치는 이러한 설명 내용의 음성이 적절한지 평가한다. 그리고, 평가 결과를 HMD를 통해 사용자에게 제공하거나, 이러한 설명을 청취하는 가상 보호자의 반응을 포함하는 인터랙션을 HMD를 통해 사용자에게 제공할 수 있다.For example, the user may perform a nursing skill operation to explain the effects or side effects of the injection solution to the virtual guardian in the process of administering the intravenous injection, and the nursing practice education apparatus evaluates whether the voice of the description is appropriate. In addition, the evaluation result may be provided to the user through the HMD, or an interaction including the reaction of the virtual guardian listening to the description may be provided to the user through the HMD.
이 때, 간호 실습 교육 장치는 단계 S220에서 사용자의 음성으로부터, 정보 제공 언어와 정서 표현 언어를 인식하고, 단계 S230에서 정보 제공 언어의 정확성 및 음성에 정서 표현 언어가 포함되었는지 여부에 따라서, 사용자에게 피드백을 제공할 수 있다.At this time, the nursing practice training apparatus recognizes the information providing language and the emotional expression language from the user's voice in step S220, and in step S230, according to the accuracy of the information providing language and whether the emotional expression language is included in the voice, You can provide feedback.
간호사가 간호 술기를 실행하는 과정에서 환자나 보호자에게 전달하는 내용에는, 정보 전달을 위한 내용과, 정서를 표현하는 내용이 포함될 수 있다. 예컨대, 처방된 약을 환자에게 전달하는 간호 술기 과정에서, 간호사는 "이 약은 항생제로, 하루에 3번 식후에 드시면 됩니다"와 같은 정보 전달을 위한 내용 뿐만 아니라, "이 약을 드시면 곧 나으실 테니 불안해하지 않으셔도 됩니다"와 같은 정서를 표현하는 내용이 포함된 전달 사항을, 환자나 보호자에게 전달할 수 있다. The content that the nurse delivers to the patient or caregiver in the process of performing nursing skills may include content for information delivery and content for expressing emotions. For example, in the nursing skill process of delivering a prescribed medication to a patient, the nurse will not only convey information such as "This medicine is an antibiotic, you can take it after meals 3 times a day", but also "You will get well soon after taking this medicine." You don't have to worry about it, so you can deliver a message that includes content expressing emotions such as "to the patient or caregiver.
환자나 보호자에게 전달되는 내용에 포함된 정보는 정확해야 하며, 정서가 표현된 내용이 포함된 경우, 간호 효과가 높아질 수 있으므로, 컴퓨팅 장치는 사용자의 음성에 포함된 정보 제공 언어가 정확한 정보를 전달하며, 정서 표현 언어가 사용자의 음성에 포함된 경우, 사용자의 간호 술기 동작이 우수하다는 피드백을 사용자에게 제공할 수 있다.The information included in the content delivered to the patient or guardian must be accurate, and when emotional content is included, the nursing effect can be increased. And, when the emotional expression language is included in the user's voice, feedback that the user's nursing skill operation is excellent can be provided to the user.
단계 S230에서 간호 실습 교육 장치는 미리 설정된 동작 조건과 간호 술기 동작을 비교하여, 사용자의 간호 술기 동작을 평가할 수 있다. 예컨대, 정맥 주사 실습 과정에서, 가상 주사기와 가상 환자 사이의 각도가 임계 각도 이하이거나, 가상 주사기의 이동 속도가 임계 속도 이하인 경우, 사용자의 간호 술기 동작이 우수한 것으로 평가될 수 있다.In operation S230 , the nursing practice education apparatus may evaluate the user's nursing skill action by comparing the preset operation condition with the nursing skill action. For example, in the course of intravenous injection practice, when the angle between the virtual injector and the virtual patient is less than or equal to the threshold angle or the moving speed of the virtual injector is less than or equal to the threshold speed, the user's nursing skill operation may be evaluated as excellent.
한편, 가상 현실 콘텐츠는 복수의 타겟 간호 술기의 실습을 위한 콘텐츠를 포함할 수 있으며, 단계 S230에서 간호 실습 교육 장치는 실습 대상인 타겟 간호 술기의 특성에 따라서, 피드백의 제공 시점을 조절할 수 있다. Meanwhile, the virtual reality content may include content for practicing a plurality of target nursing skills, and in step S230, the nursing practice education apparatus may adjust the timing of providing feedback according to the characteristics of the target nursing skill that is the practice target.
예컨대, 전체적인 프로세스의 이해가 중요한 타겟 간호 술기의 실습 과정에서 간호 실습 교육 장치는, 타겟 간호 술기의 실습 과정에 복수의 세부 간호 술기의 실습 과정이 포함되더라도, 세부 간호 술기 각각의 실습 과정이 종료된 이후에 피드백을 제공하지 않고, 타겟 간호 술기의 실습 과정이 종료된 이후, 사용자의 간호 술기 동작이 타겟 간호 술기의 프로세스에 대응되도록 수행되었는지 여부를 나타내는 평가 결과의 피드백을 제공할 수 있다. 또는 세부 간호 술기 각각의 학습이 중요한 타겟 간호 술기의 실습 과정에서 간호 실습 교육 장치는, 세부 간호 술기 각각의 실습 과정이 종료된 이후, 사용자의 간호 술기 동작이 세부 간호 술기에 대응되도록 수행되었는지 여부를 나타내는 평과 결과의 피드백을 제공할 수 있다.For example, in the practice process of the target nursing skill, where understanding of the overall process is important, the nursing practice education apparatus may perform the practice process of each detailed nursing skill even if the practice process of a plurality of detailed nursing skills is included in the practice process of the target nursing skill. After the practice process of the target nursing skill is completed, feedback of the evaluation result indicating whether the user's nursing skill operation is performed to correspond to the process of the target nursing skill may be provided without providing feedback thereafter. Alternatively, in the practice process of the target nursing skill in which the learning of each detailed nursing skill is important, the nursing practice education device determines whether the user's nursing skill operation is performed to correspond to the detailed nursing skill after the practice process of each detailed nursing skill is completed You can provide feedback on the evaluation results you indicate.
또한 피드백 방법 역시 실시예에 따라서 다양한 형태로 사용자에게 제공될 수 있다. 전술된 가상 객체의 반응을 사용자에게 인터랙션하는 형태 뿐만 아니라, 퀴즈나 추가 미션 또는 텍스트 형태로 사용자에게 피드백이 제공될 수 있다. 이를 위해, 가상 현실 콘텐츠는, 랜덤한 시점에 가상 보호자 등의 아바타가 사용자에게 제시하는 돌발 질문이나, 사용자의 간호 술기 동작과 관련된 퀴즈를 포함할 수 있다. In addition, the feedback method may also be provided to the user in various forms according to embodiments. Feedback may be provided to the user in the form of a quiz, additional mission, or text, as well as in the form of interacting with the user on the reaction of the virtual object described above. To this end, the virtual reality content may include a sudden question presented to the user by an avatar, such as a virtual guardian, at a random time, or a quiz related to the user's nursing skill operation.
전술된 인터랙션은 세부 간호 술기 각각의 실습 과정이 종료된 이후 바로 사용자에게 제공되거나, 또는 세부 간호 술기의 실습 과정에서 수행된, 사용자의 간호 술기 동작이 모두 누적된 상황에 대한 결과를 나타내는 형태로 사용자에게 제공될 수 있다. 예컨대, 도 3과 같은 정맥 주사에 대한 실습 과정에서, 간호 실습 교육 장치는 도 3(a) 내지 도 3(b) 각각의 세부 간호 술기 실습 과정에서의 단편적인 간호 술기 동작이 수행될 때마다 즉각적인 피드백을 사용자에게 제공하거나 또는 도 3(a) 내지 도 3(b)의 세부 간호 술기 동작이 모두 종료된 이후, 도 3(a) 내지 도 3(b) 과정의 누적된 세부 간호 술기 동작에 대한 피드백을 사용자에게 제공할 수 있다. 이 때, 간호 실습 교육 장치는, 도 3(a) 내지 도 3(b)의 세부 간호 술기 동작의 누적된 결과값에 대한 사용자의 간호 수행력을 추정하고, 추정된 간호 수행력에 대한 가상 객체의 반응을, 사용자에게 피드백할 수 있다. 이를 통해, 사용자의 세부 간호 술기에 대한 간호 역량과 함께 통합적인 간호 역량을 높일 수 있는 학습 효과가 제공될 수 있다.The above-described interaction is provided to the user immediately after the practice process of each detailed nursing skill is completed, or is performed in the practice process of the detailed nursing skill. can be provided to For example, in the practice process for intravenous injection as shown in FIG. 3 , the nursing practice training apparatus immediately performs a nursing practice operation in each detailed nursing technique practice process of FIGS. 3 (a) to 3 (b). After providing feedback to the user or after all the detailed nursing skill operations of FIGS. 3(a) to 3(b) have been completed, Feedback can be provided to users. At this time, the nursing practice education apparatus estimates the user's nursing performance with respect to the accumulated result values of the detailed nursing skill operations of FIGS. 3A to 3B , and the virtual object's response to the estimated nursing performance. , can be fed back to the user. Through this, a learning effect that can increase the user's nursing competency for detailed nursing skills and integrated nursing competency can be provided.
도 4는 본 발명의 일실시예에 따른 간호 술기 동작을 인식하는 방법을 설명하기 위한 도면이며, 도 5는 간호 술기 동작의 섬세함 여부를 판단하기 위한 주변 영역을 설명하기 위한 도면이다.4 is a diagram for explaining a method of recognizing a nursing skill operation according to an embodiment of the present invention, and FIG. 5 is a diagram for explaining a peripheral area for determining whether a nursing skill operation is delicate.
간호 술기 중에서, 주사기와 같은 위험한 의료 기기가 사용되는 간호 술기를 수행하기 위해서는, 보다 섬세한 동작이 요구된다. 이에 본 발명의 일실시예는, 사용자가 섬세한 간호 술기 동작을 학습할 수 있도록, 사용자의 간호 술기 동작의 섬세함 여부를 판단한다. Among nursing skills, a more delicate operation is required to perform a nursing technique in which a dangerous medical device such as a syringe is used. Accordingly, in one embodiment of the present invention, it is determined whether the user's delicate nursing skill operation is delicate so that the user can learn the delicate nursing skill operation.
도 4 및 도 5를 참조하면, 본 발명의 일실시예에 따른 간호 실습 교육 장치는 가상 객체에 대한 제1 및 제2주변 영역(510, 520)에서, 손의 평균 가속도를 계산(S410)한다. 도 5에 도시된 바와 같이, 가상 객체(500)의 주변 영역은 제1 및 제2주변 영역(510, 520)으로 구분될 수 있으며, 제1주변 영역(510)은 가상 객체(500)에 인접한 영역이며, 제2주변 영역(520)은, 제1주변 영역(510)과 가상 객체(500)의 사이에 위치하는 영역이다. 4 and 5, the nursing practice education apparatus according to an embodiment of the present invention calculates the average acceleration of the hand in the first and second
제1 및 제2주변 영역(510, 520)에서, 사용자의 손은 가상 이미지 형태로 표현되며, 간호 실습 교육 장치는 제1 및 제2주변 영역(510, 520)에서 손에 대응되는 가상 이미지의 이동 궤적을 검출하여, 손의 평균 가속도를 계산할 수 있다. 손의 평균 가속도는 제1 및 제2주변 영역(510, 520) 각각에서 손이 이동하는데 소요되는 시간과, 손의 평균 속도로부터 계산될 수 있다.In the first and second
제1주변 영역(510)은 실시예에 따라서 가상 객체(500)에 접촉한 상태이거나 이격된 상태일 수 있으며, 가상 객체에서 제1 및 제2주변 영역(510, 520) 까지의 거리는 실시예에 따라서 다양하게 결정될 수 있다. 예컨대, 가상 객체가 소아로서 주사를 위한 정맥을 찾기 어려운 실습 환경에서는, 보다 섬세한 동작을 유도하기 위해, 가상 객체(500)에서 제1 및 제2주변 영역(510, 520) 까지의 거리가 증가할 수 있으며, 가상 객체가 성인으로서 상대적으로 주사를 위한 정맥을 찾기 쉬운 환경에서는, 가상 객체(500)에서 제1 및 제2주변 영역(510, 520) 까지의 거리가 감소할 수 있다.The first
본 발명의 일실시예에 따른 간호 실습 교육 장치는 제1주변 영역(510)에서의 제1평균 가속도와, 제2주변 영역(520)에서의 제2평균 가속도를 비교(S420)하고, 단계 S420의 비교 결과에 따라서, 간호 술기 동작의 섬세함 여부를 판단(S430)할 수 있다. 일실시예로서, 간호 실습 교육 장치는 제1평균 가속도가 제2평균 가속도보다 작은 경우, 간호 술기 동작을 섬세한 간호 술기 동작으로 판단하며, 제1평균 가속도가 제2평균 가속도 이상인 경우, 간호 술기 동작을 섬세하지 않은 간호 술기 동작으로 판단할 수 있다.The nursing practice education apparatus according to an embodiment of the present invention compares the first average acceleration in the first
한편, 실시예에 따라서 평균 가속도가 생성되는 주변 영역은 2개 이상일 수 있으며, 이 경우, 가상 객체로부터 가장 먼 주변 영역에서 가상 객체와 가까운 주변 영역으로 손이 이동하면서, 주변 영역에서의 손의 평균 가속도가 지속적으로 감소하는 경우, 간호 술기 동작이 섬세한 간호 술기 동작으로 판단될 수 있다.Meanwhile, according to an embodiment, there may be two or more peripheral regions in which the average acceleration is generated. In this case, the hand moves from the peripheral region furthest from the virtual object to the peripheral region closest to the virtual object, and the average of the hands in the peripheral region When the acceleration continuously decreases, the nursing skill action may be determined as a delicate nursing skill motion.
도 6은 본 발명의 다른 실시예에 따른 간호 술기 동작을 인식하는 방법을 설명하기 위한 도면으로서, 도 6에서는 가상 주사기의 각도를 계산하는 방법이 설명된다.6 is a diagram for explaining a method for recognizing a nursing skill operation according to another embodiment of the present invention. In FIG. 6 , a method for calculating an angle of a virtual injector is described.
전술된 바와 같이, 정맥 주사 간호 술기 동작은, 가상 주사기와 가상 환자 사이의 각도가 임계 각도 이하이거나, 가상 주사기의 이동 속도가 임계 속도 이하인 경우, 우수한 동작으로 평가될 수 있다. 이에 본 발명의 일실시예에 따른 간호 실습 교육 장치는 정맥 주사 간호 술기 동작에 대한 피드백을 위해, 가상 주사기의 이동 속도와, 가상 환자에 대한 가상 주사기의 각도를 계산할 수 있다.As described above, the intravenous nursing skill operation may be evaluated as an excellent operation when the angle between the virtual injector and the virtual patient is less than or equal to the critical angle, or the moving speed of the virtual injector is less than or equal to the threshold speed. Accordingly, the nursing practice education apparatus according to an embodiment of the present invention may calculate the moving speed of the virtual injector and the angle of the virtual injector with respect to the virtual patient for feedback on the operation of the intravenous nursing technique.
간호 실습 교육 장치는 가상 주사기에 결합된 가상 바늘이 가상 환자에 접촉된 이후, 가상 주사기의 이동 속도를 계산한다. 가상 환경에서 사용자가 가상 주사기를 손으로 파지하여 가상 주사기를 이동시키는 상황에서, 간호 실습 교육 장치는 가상 바늘이 가상 환자에 접촉된 시점부터 주사액이 주입되는 시점까지의 가상 주사기의 이동 궤적을 검출하여, 가상 주사기의 이동 속도를 계산할 수 있다. After the virtual needle coupled to the virtual injector comes into contact with the virtual patient, the nursing practice education apparatus calculates the moving speed of the virtual injector. In a situation in which the user moves the virtual syringe by holding the virtual syringe by hand in the virtual environment, the nursing practice training device detects the movement trajectory of the virtual syringe from the point when the virtual needle contacts the virtual patient to the point at which the injection solution is injected. , it is possible to calculate the moving speed of the virtual syringe.
그리고 간호 실습 교육 장치는 가상 주사기에 결합된 가상 바늘이 가상 환자에 접촉된 이후, 가상 환자에 대한 가상 주사기의 각도를 계산한다. 가상 환자에 대한 가상 주사기의 각도는 가상 바늘의 접촉 지점을 포함하는 가상 평면과, 가상 바늘의 각도에 대응된다.Then, after the virtual needle coupled to the virtual syringe is in contact with the virtual patient, the nursing practice education apparatus calculates an angle of the virtual syringe with respect to the virtual patient. The angle of the virtual syringe with respect to the virtual patient corresponds to the virtual plane including the contact point of the virtual needle and the angle of the virtual needle.
도 6에 도시된 바와 같이, 가상 환자의 팔에 정맥 주사를 시행하는 간호 술기 동작에 대해, 간호 실습 교육 장치는 가상 바늘(620)이 결합되는 가상 주사기의 일단(611)과 가상 평면 사이의 수선(630), 가상 바늘(620)에 대응되는 직선 및 가상 바늘의 일단(611)과 수선(630)의 일단을 잇는 가상 평면 상의 직선(640)으로 이루어진 직각 삼각형을 형성하여, 가상 주사기(610)의 각도를 계산할 수 있다. 여기서, 가상 평면은 가상 환자의 팔 표면에 대응된다.As shown in FIG. 6 , for a nursing technique operation of performing an intravenous injection on a virtual patient's arm, the nursing practice training apparatus repairs between the virtual plane and one
간호 실습 교육 장치는 가상 주사기(610)의 이동 속도가 제1임계값 이하이며, 가상 주사기(610)의 각도가 제2임계값 이하인 경우, 미리 설정된 인터랙션을 사용자에게 제공할 수 있으며, 일실시예로서 주사액이 주입되는 인터랙션을 사용자에게 제공할 수 있다. 만일, 가상 주사기(610)의 이동 속도가 제1임계값보다 크며, 가상 주사기(610)의 각도가 제2임계값보다 큰 경우, 간호 실습 교육 장치는 주사액이 주입되지 않거나, 가상 환자가 고통스러워하는 인터랙션을 사용자에게 제공할 수 있다.When the moving speed of the
제1 및 제2임계값은 실시예에 따라서 다양하게 설정될 수 있으며, 일예로서 제1임계값은 1cm/s, 제2임계값은 30도로 설정될 수 있다.The first and second thresholds may be variously set according to embodiments, and as an example, the first threshold may be set to 1 cm/s, and the second threshold may be set to 30 degrees.
한편, 주사액의 주입과 같은 간호 술기를 위해 약물을 혼합해야하는 경우가 필요하며, 본 발명의 일실시예는 약물을 혼합하는 간호 술기 동작을 인식할 수 있다.On the other hand, it is necessary to mix a drug for a nursing technique such as injection of an injection, and an embodiment of the present invention can recognize a nursing technique for mixing a drug.
간호 실습 교육 장치는 제1 및 제2가상 약물의 접촉 여부에 따라, 제1 및 제2가상 약물의 혼합 동작을 판단할 수 있다. 가상 환경에서 사용자가 제1 및 제2가상 약물을 손으로 파지하여 접촉시킬 경우, 간호 실습 교육 장치는 사용자의 간호 술기 동작을 제1 및 제2가상 약물의 혼합 동작으로 판단할 수 있다.The nursing practice education apparatus may determine a mixing operation of the first and second virtual drugs according to whether the first and second virtual drugs are in contact. When the user touches the first and second virtual drugs by hand in the virtual environment, the nursing practice education apparatus may determine the user's nursing skill operation as a mixed operation of the first and second virtual drugs.
그리고 간호 실습 교육 장치는 처방전에 따라서, 사용자가 제1 및 제2가상 약물을 접촉시킨 경우, 제1가상 약물의 용량을 증가시키는 피드백을 사용자에게 제공할 수 있다. 즉 처방전에 표시된 약물을 사용자가 접촉시킨 경우, 제2가상 약물이 제1가상 약물에 더해져 혼합된 것과 같이, 제1가상 약물의 용량이 증가하며, 이 때, 제1가상 약물의 용량은, 제1 및 제2가상 약물의 접촉 횟수 또는 접촉 시간에 비례하여 증가할 수 있다.In addition, the nursing practice education apparatus may provide a feedback for increasing the dose of the first virtual drug to the user when the user contacts the first and second virtual drugs according to the prescription. That is, when the user contacts the drug indicated on the prescription, the dose of the first virtual drug increases as if the second virtual drug is added to and mixed with the first virtual drug, and at this time, the dose of the first virtual drug is It may increase in proportion to the contact number or contact time of the first and second virtual drugs.
반면, 사용자가 접촉한 제1 및 제2가상 약물이 처방전에 표시된 약물이 아닐 경우, 간호 실습 교육 장치는 적절한 가상 약물을 선택하라는 메시지를 사용자에게 피드백할 수 있다.On the other hand, when the first and second virtual drugs contacted by the user are not drugs indicated on the prescription, the nursing practice education apparatus may feed back a message to the user to select an appropriate virtual drug.
또한 혼합되는 가상 약물이 3개 이상인 경우, 간호 실습 교육 장치는 미리 설정된 가상 약물의 혼합 순서에 따라 가상 약물을 접촉시킨 경우, 혼합된 가상 약물의 용량을 증가시킬 수 있다. 예컨대, 제1가상 약물과 제2가상 약물이 혼합된 약물에, 제3혼합 약물을 혼합하는 순서로, 가상 약물이 혼합되어야 하는 경우, 컴퓨팅 장치는, 사용자가 제1 및 제2가상 약물을 접촉시킨 후, 제2가상 약물이 더해진 제1가상 약물을 제3가상 약물과 접촉시키는 경우, 제1가상 약물의 용량을 증가시키는 피드백을 사용자에게 제공할 수 있다. Also, when there are three or more virtual drugs to be mixed, the nursing practice education apparatus may increase a dose of the mixed virtual drug when the virtual drugs are brought into contact according to a preset mixing order of the virtual drugs. For example, when the virtual drug is to be mixed in the drug in which the first virtual drug and the second virtual drug are mixed, in the order of mixing the third mixed drug, the computing device may cause the user to contact the first and second virtual drugs. When the first virtual drug to which the second virtual drug is added is brought into contact with the third virtual drug, feedback for increasing the dose of the first virtual drug may be provided to the user.
도 7은 본 발명의 다른 실시예에 따른 간호 술기 동작을 인식하는 방법을 설명하기 위한 도면으로서, 사용자가 의사 소통하는 간호 술기 동작을 인식하는 방법을 설명하기 위한 도면이다.7 is a diagram for explaining a method for recognizing a nursing skill motion according to another embodiment of the present invention, and is a diagram for explaining a method for recognizing a nursing skill motion with which a user communicates.
도 7을 참조하면, 본 발명의 일실시예에 따른 간호 실습 교육 장치는 가상 환경에서의 사용자의 현재 위치(710)에서, 사용자의 전방 방향으로 미리 설정된 시야각 범위(720)내에 위치한 아바타(730, 740) 중 적어도 하나와 의사 소통하는 사용자의 간호 술기 동작을 인식할 수 있다. 여기서, 사용자와 의사 소통하는 아바타는, 사용자로부터의 미리 설정된 이격 거리(750) 내에 포함되는 아바타로 결정될 수 있으며, 이격 거리는 사용자의 음성의 크기 또는 사용자의 손동작에 따라 결정될 수 있다. 또한 가상 환경에서의 사용자의 현재 위치는, 사용자가 착용한 HMD의 위치에 따라 결정될 수 있다. Referring to FIG. 7 , the nursing practice education apparatus according to an embodiment of the present invention includes an avatar 730 located within a preset
이격 거리는 사용자의 음성의 크기에 비례하여 증가할 수 있으며, 다양한 이격 거리에 대응되는 손동작 중 하나를 사용자가 취할 경우, 사용자가 취한 손동작에 대응되는 이격 거리가 설정될 수 있다.The separation distance may increase in proportion to the volume of the user's voice, and when the user takes one of the hand gestures corresponding to various separation distances, the separation distance corresponding to the hand gesture taken by the user may be set.
한편, 전술된 실시예에서는 간호 실습에 대한 교육 방법이 설명되었으나, 본 발명의 일실시예는 간호 실습과 유사한 수술, 진료 등과 같은 의료 실습에도 용이하게 적용될 수 있다. 이러한 가상 현실을 이용하는 의료 실습 교육 방법은 컴퓨팅 장치에서 수행될 수 있으며, 의료 실습을 위한 가상 현실 콘텐츠를 사용자에게 제공하는 단계; 사용자의 손에 대한 이미지 및 사용자의 음성을 이용하여, 가상 현실 콘텐츠에 포함된 가상 객체에 대한 사용자의 의료 술기 동작을 인식하는 단계; 및 사용자에게 의료 술기 동작에 따른 피드백을 제공하는 단계를 포함할 수 있다.Meanwhile, although the teaching method for nursing practice has been described in the above-described embodiment, an embodiment of the present invention can be easily applied to medical practice such as surgery and treatment similar to nursing practice. The medical practice education method using such virtual reality may be performed in a computing device, comprising the steps of providing virtual reality content for medical practice to a user; recognizing a user's medical technique operation with respect to a virtual object included in virtual reality content by using the user's hand image and the user's voice; and providing feedback according to the medical technique operation to the user.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiments, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. A hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, in the present invention, specific matters such as specific components, etc., and limited embodiments and drawings have been described, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains. Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims described below, but also all those with equivalent or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .
Claims (15)
상기 사용자의 손에 대한 이미지 및 상기 사용자의 음성을 이용하여, 상기 가상 현실 콘텐츠에 포함된 가상 객체에 대한 상기 사용자의 간호 술기 동작을 인식하는 단계; 및
상기 사용자에게 상기 간호 술기 동작에 따른 피드백을 제공하는 단계
를 포함하는 가상 현실을 이용하는 간호 실습 교육 방법.
providing virtual reality content for nursing practice to a user;
recognizing a nursing skill operation of the user with respect to a virtual object included in the virtual reality content by using the image of the user's hand and the user's voice; and
providing feedback according to the operation of the nursing skill to the user;
Nursing practice teaching method using virtual reality, including
상기 간호 술기 동작을 인식하는 단계는
상기 가상 객체에 대한 제1 및 제2주변 영역에서, 상기 손의 평균 가속도를 계산하는 단계;
상기 제1주변 영역에서의 제1평균 가속도와, 상기 제2주변 영역에서의 제2평균 가속도를 비교하는 단계; 및
상기 비교 결과에 따라서, 상기 간호 술기 동작의 섬세함 여부를 판단하는 단계를 포함하며,
상기 제2주변 영역은, 상기 제1주변 영역과 상기 가상 객체의 사이에 위치하는
가상 현실을 이용하는 간호 실습 교육 방법.
The method of claim 1,
The step of recognizing the nursing skill action is
calculating an average acceleration of the hand in first and second peripheral regions of the virtual object;
comparing a first average acceleration in the first peripheral region with a second average acceleration in the second peripheral region; and
and judging whether or not the nursing skill operation is delicate according to the comparison result,
The second peripheral region is located between the first peripheral region and the virtual object.
Nursing practice education method using virtual reality.
상기 간호 술기 동작의 섬세함 여부를 판단하는 단계는
상기 제1평균 가속도가 상기 제2평균 가속도보다 작은 경우, 상기 간호 술기 동작을 섬세한 간호 술기 동작으로 판단하는
가상 현실을 이용하는 간호 실습 교육 방법.
3. The method of claim 2,
The step of determining whether the nursing skill operation is delicate is
When the first average acceleration is smaller than the second average acceleration, determining the nursing skill operation as a delicate nursing skill operation
Nursing practice education method using virtual reality.
상기 간호 술기 동작을 인식하는 단계는
가상 주사기에 결합된 가상 바늘이 가상 환자에 접촉된 이후, 상기 가상 주사기의 이동 속도와, 상기 가상 환자에 대한 상기 가상 주사기의 각도를 계산하며,
상기 가상 환자에 대한 상기 가상 주사기의 각도는
상기 가상 바늘의 접촉 지점을 포함하는 가상 평면과, 상기 가상 바늘의 각도인
가상 현실을 이용하는 간호 실습 교육 방법.
The method of claim 1,
The step of recognizing the nursing skill action is
After the virtual needle coupled to the virtual syringe is in contact with the virtual patient, calculating the moving speed of the virtual syringe and the angle of the virtual syringe with respect to the virtual patient,
The angle of the virtual syringe with respect to the virtual patient is
The virtual plane including the contact point of the virtual needle and the angle of the virtual needle
Nursing practice education method using virtual reality.
상기 피드백을 제공하는 단계는
상기 이동 속도가 제1임계값 이하이며, 상기 각도가 제2임계값 이하인 경우, 미리 설정된 인터랙션을 상기 사용자에게 제공하는
가상 현실을 이용하는 간호 실습 교육 방법.
5. The method of claim 4,
The step of providing the feedback
When the moving speed is less than or equal to a first threshold and the angle is less than or equal to a second threshold, providing a preset interaction to the user
Nursing practice education method using virtual reality.
상기 간호 술기 동작을 인식하는 단계는
제1 및 제2가상 약물의 접촉 여부에 따라, 상기 제1 및 제2가상 약물의 혼합 동작을 판단하는
가상 현실을 이용하는 간호 실습 교육 방법.
The method of claim 1,
The step of recognizing the nursing skill action is
Determining the mixing operation of the first and second virtual drugs according to whether the first and second virtual drugs are in contact
Nursing practice education method using virtual reality.
상기 피드백을 제공하는 단계는
처방전에 따라서, 상기 사용자가 상기 제1 및 제2가상 약물을 접촉시킨 경우, 상기 제1가상 약물의 용량을 증가시키며,
상기 제1가상 약물의 용량은
상기 제1 및 제2가상 약물의 접촉 횟수 또는 접촉 시간에 비례하여 증가하는
가상 현실을 이용하는 간호 실습 교육 방법.
7. The method of claim 6,
The step of providing the feedback
According to the prescription, when the user contacts the first and second virtual drugs, the dose of the first virtual drug is increased,
The dose of the first virtual drug is
increasing in proportion to the number of contacts or the contact time of the first and second virtual drugs
Nursing practice education method using virtual reality.
상기 간호 술기 동작을 인식하는 단계는
상기 사용자의 현재 위치에서, 상기 사용자의 전방 방향으로 미리 설정된 시야각 범위내에 위치한 아바타 중 적어도 하나와 의사 소통하는 간호 술기 동작을 인식하며,
상기 사용자와 의사 소통하는 아바타는
상기 음성의 크기 또는 상기 사용자의 손동작에 따라 결정되는, 상기 사용자로부터의 이격 거리 내에 포함되는 아바타인,
가상 현실을 이용하는 간호 실습 교육 방법.
The method of claim 1,
The step of recognizing the nursing skill action is
Recognizing, at the current location of the user, a nursing skill operation for communicating with at least one of the avatars located within a preset viewing angle range in the forward direction of the user;
The avatar communicating with the user is
An avatar included within a separation distance from the user, determined according to the volume of the voice or the user's hand gesture,
Nursing practice education method using virtual reality.
상기 사용자의 간호 술기 동작을 인식하는 단계는
상기 음성으로부터, 정보 제공 언어와 정서 표현 언어를 인식하며,
상기 피드백을 제공하는 단계는
상기 정보 제공 언어의 정확성 및 상기 음성에 상기 정서 표현 언어가 포함되었는지 여부에 따라서, 상기 피드백을 제공하는
가상 현실을 이용하는 간호 실습 교육 방법.
The method of claim 1,
The step of recognizing the user's nursing skill action is
Recognizing an information providing language and an emotional expression language from the voice,
The step of providing the feedback
providing the feedback according to the accuracy of the information providing language and whether the emotion expression language is included in the voice
Nursing practice education method using virtual reality.
상기 피드백을 제공하는 단계는
상기 간호 술기 동작에 대한 평가 결과 및 상기 간호 술기 동작에 따른 상기 가상 객체의 인터랙션을 상기 사용자에게 제공하며,
상기 가상 객체의 인터랙션은
상기 간호 술기 동작에 따른 가상 환자, 가상 보호자 또는 가상 의사의 신체 반응 또는 행동 반응을 포함하는
가상 현실을 이용하는 간호 실습 교육 방법.
The method of claim 1,
The step of providing the feedback
providing the user with an evaluation result of the nursing skill action and an interaction of the virtual object according to the nursing skill action,
The interaction of the virtual object is
Including the physical or behavioral response of a virtual patient, virtual guardian, or virtual doctor according to the operation of the nursing skill
Nursing practice education method using virtual reality.
상기 피드백을 제공하는 단계는
복수의 세부 간호 술기의 실습 과정을 포함하는 타겟 간호 술기의 실습 과정이 종료된 이후, 상기 간호 술기 동작이 상기 타겟 간호 술기의 프로세스에 대응되도록 수행되었는지 여부를 나타내는 피드백을 제공하거나,
세부 간호 술기 각각의 실습 과정이 종료된 이후, 상기 간호 술기 동작이 상기 세부 간호 술기에 대응되도록 수행되었는지 여부를 나타내는 피드백을 제공하는
가상 현실을 이용하는 간호 실습 교육 방법.
The method of claim 1,
The step of providing the feedback
After the practice process of the target nursing skill including the practice process of a plurality of detailed nursing skills is finished, feedback indicating whether the nursing skill operation has been performed to correspond to the process of the target nursing skill is provided;
After the practice process of each detailed nursing skill is completed, feedback indicating whether the nursing skill operation has been performed to correspond to the detailed nursing skill is provided.
Nursing practice education method using virtual reality.
상기 피드백을 제공하는 단계는
상기 간호 술기 동작 각각에 대한 피드백을 상기 사용자에게 제공하거나, 누적된 간호 술기 동작에 대한 피드백을 상기 사용자에게 제공하는
가상 현실을 이용하는 간호 실습 교육 방법.
The method of claim 1,
The step of providing the feedback
providing feedback for each of the nursing skill actions to the user or providing feedback on accumulated nursing skill actions to the user
Nursing practice education method using virtual reality.
상기 가상 현실 콘텐츠는
랜덤한 시점에 아바타가 상기 사용자에게 제시하는 돌발 질문
을 포함하는 가상 현실을 이용하는 간호 실습 교육 방법.
The method of claim 1,
The virtual reality content is
A random question presented to the user by the avatar at random times
Nursing practice teaching method using virtual reality, including
상기 사용자의 손에 대한 이미지 및 상기 사용자의 음성을 이용하여, 상기 가상 현실 콘텐츠에 포함된 가상 객체에 대한 상기 사용자의 의료 술기 동작을 인식하는 단계; 및
상기 사용자에게 상기 의료 술기 동작에 따른 피드백을 제공하는 단계
를 포함하는 가상 현실을 이용하는 의료 실습 교육 방법.
providing a user with virtual reality content for medical practice;
recognizing the user's medical technique operation with respect to the virtual object included in the virtual reality content by using the image of the user's hand and the user's voice; and
providing feedback according to the medical technique operation to the user;
A medical practice teaching method using virtual reality, comprising:
상기 HMD를 착용한 상기 사용자의 손에 대한 이미지를 생성하는 카메라; 및
상기 이미지 또는 상기 사용자의 음성을 이용하여, 상기 가상 현실 콘텐츠에 포함된 가상 객체에 대한 상기 간호 술기 동작을 인식하고, 상기 피드백을 결정하는 간호 실습 교육 장치
를 포함하는 가상 현실을 이용하는 간호 실습 교육 시스템.
an HMD that displays virtual reality content for nursing practice and provides feedback according to a user's nursing skill operation;
a camera for generating an image of the user's hand wearing the HMD; and
Nursing practice education apparatus for recognizing the nursing skill operation with respect to a virtual object included in the virtual reality content and determining the feedback by using the image or the user's voice
Nursing practice education system using virtual reality comprising a.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210030605 | 2021-03-09 | ||
| KR1020210030605 | 2021-03-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220126664A true KR20220126664A (en) | 2022-09-16 |
| KR102619341B1 KR102619341B1 (en) | 2023-12-29 |
Family
ID=83445070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220029457A KR102619341B1 (en) | 2021-03-09 | 2022-03-08 | Method and system for nursing practice education using virtual reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102619341B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140047943A (en) * | 2012-10-15 | 2014-04-23 | 건국대학교 산학협력단 | An intravenous injection simulator system and method using augmented reality |
| KR20200046958A (en) * | 2018-10-26 | 2020-05-07 | 차은석 | Education method for nurses using intelligence information technology (iit) and virtual reality (second life) |
| KR20200098970A (en) * | 2019-02-13 | 2020-08-21 | 임혜민 | Smart -learning device and method based on motion recognition |
-
2022
- 2022-03-08 KR KR1020220029457A patent/KR102619341B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140047943A (en) * | 2012-10-15 | 2014-04-23 | 건국대학교 산학협력단 | An intravenous injection simulator system and method using augmented reality |
| KR20200046958A (en) * | 2018-10-26 | 2020-05-07 | 차은석 | Education method for nurses using intelligence information technology (iit) and virtual reality (second life) |
| KR20200098970A (en) * | 2019-02-13 | 2020-08-21 | 임혜민 | Smart -learning device and method based on motion recognition |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102619341B1 (en) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Levac et al. | Learning and transfer of complex motor skills in virtual reality: a perspective review | |
| US20210056764A1 (en) | Transmodal input fusion for a wearable system | |
| Gao et al. | What does touch tell us about emotions in touchscreen-based gameplay? | |
| CN107562186B (en) | 3D campus navigation method for emotion operation based on attention identification | |
| Jantz et al. | A brain-computer interface for extended reality interfaces | |
| KR102073376B1 (en) | Method for setting up difficulty of training contents and electronic device implementing the same | |
| Eichner et al. | Attentive presentation agents | |
| Kosmyna et al. | Designing guiding systems for brain-computer interfaces | |
| Saputra et al. | LexiPal: Kinect-based application for dyslexia using multisensory approach and natural user interface | |
| US20160004315A1 (en) | System and method of touch-free operation of a picture archiving and communication system | |
| Niu et al. | Tongue-able interfaces: Prototyping and evaluating camera based tongue gesture input system | |
| Hartfill et al. | Analysis of detection thresholds for hand redirection during mid-air interactions in virtual reality | |
| Ascari et al. | Personalized gestural interaction applied in a gesture interactive game-based approach for people with disabilities | |
| KR102619341B1 (en) | Method and system for nursing practice education using virtual reality | |
| Taheri et al. | Exploratory design of a hands-free video game controller for a quadriplegic individual | |
| Shirzad et al. | FEATHERS, a bimanual upper limb rehabilitation platform: a case study of user-centred approach in rehabilitation device design | |
| Burleson | Advancing a multimodal real-time affective sensing research platform | |
| Vasudevan et al. | An interactive and innovative application for hand rehabilitation through virtual reality | |
| Luo et al. | Impact of Multi-Robot Presence and Anthropomorphism on Human Cognition and Emotion | |
| Liao | Innovative Interaction Mode in VR Games | |
| Taheri et al. | Virtual Steps: The Experience of Walking for a Lifelong Wheelchair User in Virtual Reality | |
| Björnfot | Evaluating Input Devices for Robotic Telepresence | |
| KR102711464B1 (en) | Intravenous Injection Simulation Program | |
| an Pham et al. | ARiana: augmented reality based in-situ annotation of assembly videos | |
| Álvarez et al. | Exploring body language as narrative interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |