KR102111531B1 - Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템 - Google Patents

Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템 Download PDF

Info

Publication number
KR102111531B1
KR102111531B1 KR1020180026315A KR20180026315A KR102111531B1 KR 102111531 B1 KR102111531 B1 KR 102111531B1 KR 1020180026315 A KR1020180026315 A KR 1020180026315A KR 20180026315 A KR20180026315 A KR 20180026315A KR 102111531 B1 KR102111531 B1 KR 102111531B1
Authority
KR
South Korea
Prior art keywords
patient
integrated device
experience
medical
computer
Prior art date
Application number
KR1020180026315A
Other languages
English (en)
Other versions
KR20190105788A (ko
Inventor
한성희
박진우
이세환
조연호
Original Assignee
서울대학교병원
제이에스씨(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원, 제이에스씨(주) filed Critical 서울대학교병원
Priority to KR1020180026315A priority Critical patent/KR102111531B1/ko
Priority to PCT/KR2019/002257 priority patent/WO2019172563A1/ko
Publication of KR20190105788A publication Critical patent/KR20190105788A/ko
Application granted granted Critical
Publication of KR102111531B1 publication Critical patent/KR102111531B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/0402—
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices

Abstract

본 발명의 병원에서의 진료 체험 제공 시스템에서, 환자의 머리에 착용되어 VR(Virtual Reality) 또는 AR(Augmented Reality) 화면이 디스플레이되는 HMD(Head mounted Display)와, 환자의 손 동작을 인식하기 위한 손동작 인식 센서가 결합되어 있는 일체형 디바이스, 상기 환자의 보호자와 의료진이 시청하기 위한 보호자 시청용 모니터 및 상기 일체형 디바이스와 통신하며, 병원에서의 진료 과정을 가상 체험할 수 있는 진료 체험 콘텐츠를 상기 일체형 디바이스에 제공하고, 상기 일체형 디바이스에서 감지한 환자의 음성 신호 또는 손 동작 신호를 수신하면, 이에 대응하는 인터랙티브 진료 체험 콘텐츠를 상기 일체형 디바이스에 제공하고, 상기 일체형 디바이스에 제공되는 콘텐츠 화면과 동일한 화면을 미러링(mirroring)하여 상기 보호자 시청용 모니터에 디스플레이하도록 하는 컴퓨터를 포함한다. 본 발명에 의하면, VR 또는 AR 기반 진료 체험 서비스를 제공함으로써, 환자의 불안감, 스트레스를 경감시킬 수 있는 효과가 있다.

Description

VR 또는 AR을 기반으로 하는 병원에서의 진료 체험 제공 시스템 {System for providing experience of medical treatment based on virtual reality or augmented reality in hospital}
본 발명은 병원에서의 진료 체험 제공 기술에 관한 것으로서, 더욱 상세하게는 HMD를 착용하거나 디스플레이를 시청하는 아동 등의 환자에게 VR(Virtual Reality) 또는 AR(Augmented Reality)을 기반으로 하여 병원 내에서의 진료 체험 서비스를 제공하는 기술에 관한 것이다.
병원에서 어린이 환자에게는 낯선 병원 환경에 대한 불안과 스트레스가 특히 심하다. 이로 인해, 가령 병원에서 어린이 환자를 치료하는 중에 환자의 몸부림 등으로 상해가 초래되거나 진료에 실패하는 일이 발생할 수 있다. 더 나아가서, ADHD, 야뇨증, 식이장애 등 중장기 장애를 초래할 수도 있다. 그리고 이에 따른 보호자나 의료진의 스트레스 등 사회적 비용이 증가하는 문제점이 있다.
한편, 의학계의 보고에 의하면, 진료 과정에 대한 사전 모의 경험이 환자의 불안감을 감소시키고, 진료 성공률을 높인다고 한다. 따라서 현재 영상과 유인물을 이용하는 방식으로 설명 처방이나 설명 처방 교육이 실시되고 있다. 그러나, 기존의 설명 처방 방식은 질병 중심으로 교육 활용범위가 제한되어 있고, 환자 1인당 평균 진료시간이 3분 미만이라 설명시간이 부족하며, 의사, 간호사, 영양사 등 많은 전문인력을 필요로 하여 효율적이지 못하다는 문제점이 있다.
대한민국 등록특허 10-0452093
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 실제 진료환경과 동일한 체험을 할 수 있도록, VR(Virtual Reality) 또는 AR(Augmented Reality)을 기반으로 하는 진료 체험 서비스를 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 병원에서의 진료 체험 제공 시스템에서, 환자의 머리에 착용되어 VR(Virtual Reality) 또는 AR(Augmented Reality) 화면이 디스플레이되는 HMD(Head mounted Display)와, 환자의 손 동작을 인식하기 위한 손동작 인식 센서가 결합되어 있는 일체형 디바이스, 상기 환자의 보호자와 의료진이 시청하기 위한 보호자 시청용 모니터 및 상기 일체형 디바이스와 통신하며, 병원에서의 진료 과정을 가상 체험할 수 있는 진료 체험 콘텐츠를 상기 일체형 디바이스에 제공하고, 상기 일체형 디바이스에서 감지한 환자의 음성 신호 또는 손 동작 신호를 수신하면, 이에 대응하는 인터랙티브 진료 체험 콘텐츠를 상기 일체형 디바이스에 제공하고, 상기 일체형 디바이스에 제공되는 콘텐츠 화면과 동일한 화면을 미러링(mirroring)하여 상기 보호자 시청용 모니터에 디스플레이하도록 하는 컴퓨터를 포함한다.
상기 HMD는 상기 컴퓨터와 통신하기 위한 통신 인터페이스부, 음성을 출력하기 위한 음성출력부, 상기 HMD를 착용한 환자의 음성을 인식하기 위한 음성인식부, 상기 컴퓨터로부터 수신한 진료 체험 콘텐츠를 VR 또는 AR 영상으로 디스플레이하기 위한 디스플레이부 및 상기 HMD의 전반적인 동작을 제어하며, 상기 통신 인터페이스부를 통해 수신한 신호를 처리하여 상기 디스플레이부에 VR 또는 AR 영상이 디스플레이되도록 하는 제어부를 포함할 수 있다.
상기 컴퓨터는 상기 일체형 디바이스로부터 수신한 환자의 음성 신호와 손 동작 신호에 대응하여 인터랙션이 가능한 게임 형태의 진료 체험 콘텐츠를 제공할 수 있다.
상기 진료 체험 제공 시스템은 병원 내부의 시설 및 장소에 설치되어 있는 다수의 전자태그를 더 포함하고, 상기 일체형 디바이스는 상기 전자태그가 설치된 위치에 접근하여 이를 인식하는 태그 리더부를 더 포함하고, 상기 컴퓨터는 상기 일체형 디바이스로부터 인식된 태그 정보를 수집하여 현재 환자의 위치 정보를 제공하는 네비게이션 기능을 제공하고, 현재 환자의 위치에 대응하는 진료 체험 콘텐츠를 제공할 수 있다.
상기 일체형 디바이스는 환자의 심전도, 뇌전도, 혈압, 산소포화도를 포함하는 생체신호를 측정하는 생체신호 측정부를 더 포함하고, 상기 컴퓨터는 상기 일체형 디바이스로부터 수신한 환자의 생체신호에 따라 진료 체험 콘텐츠의 내용을 변경할 수 있다.
본 발명에 의하면, VR 또는 AR 기반 진료 체험 서비스를 제공함으로써, 환자의 불안감, 스트레스를 경감시키는 효과가 있다. 특히, 아동 환자의 불안과 스트레스를 크게 경감시키고, 환자의 적극적인 진료 협조가 있을 것으로 기대된다.
또한, 본 발명에 의하면, VR 또는 AR 방식의 진료 체험을 제공함으로써, 충분한 시간을 갖고 진료 설명을 진행할 수 있으며, 다수의 의료 인력을 대체하는 효과가 있다.
또한, 본 발명에 의하면, VR 또는 AR 방식의 실시간 진료를 제공함으로써, 환자의 불안감, 스트레스를 경감시키는 효과가 있다. 특히, 아동 환자의 불안과 스트레스를 크게 경감시키고, 환자의 적극적인 진료 협조가 있을 것으로 기대된다.
도 1은 본 발명의 일 실시예에 따른 VR 또는 AR을 기반으로 하는 진료 체험 제공 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 일체형 디바이스를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 일체형 디바이스의 내부 구조를 보여주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 진료 체험 제공 방법을 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 진료 체험 콘텐츠를 모듈화한 것을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 네비게이션 기능이 실행된 상태의 HMD 화면예이다.
도 7 내지 도 28은 본 발명의 일 실시예에 따른 진료 체험 제공 시나리오를 예시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 VR(Virtual Reality) 및 AR(Augmented Reality)을 기반으로 하는 병원에서의 진료 체험 제공 시스템에 대한 것이다.
도 1은 본 발명의 일 실시예에 따른 VR 및 AR을 기반으로 하는 진료 체험 제공 시스템의 구성을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 진료 체험 제공 시스템은 일체형 디바이스(100), 컴퓨터(200), 보호자 및 의료진 시청용 모니터(300)를 포함한다.
본 발명에서 일체형 디바이스(100)와 컴퓨터(200)는 유무선 통신망을 통해 통신할 수 있다. 도 1에서는 중계기(10)를 통해 디바이스(100)와 컴퓨터(200)가 통신하는 것을 예시하고 있다.
도 2는 본 발명의 일 실시예에 따른 일체형 디바이스를 도시한 도면이다.
도 1 및 도 2를 참조하면, 일체형 디바이스(100)는 환자의 머리에 착용되어 VR(Virtual Reality) 또는 AR(Augmented Reality) 화면이 디스플레이되는 HMD(Head mounted Display)(110)와, 환자의 손 동작을 인식하기 위한 손동작 인식 센서(120)가 결합되어 있다. 예를 들어, 손동작 인식 센서(120)는 립 모션(Leap motion) 등으로 구현될 수 있다.
보호자 및 의료진 시청용 모니터(300)는 환자의 보호자와 의료진이 시청하기 위한 모니터이다.
컴퓨터(200)는 일체형 디바이스(100)와 통신하며, 병원에서의 진료 과정을 가상 체험할 수 있는 진료 체험 콘텐츠를 일체형 디바이스(100)에 제공한다. 그리고, 일체형 디바이스(100)에서 감지한 환자의 음성 신호 또는 손 동작 신호를 수신하면, 이에 대응하는 인터랙티브 진료 체험 콘텐츠를 일체형 디바이스(100)에 제공한다. 그리고, 일체형 디바이스(100)에 제공되는 콘텐츠 화면과 동일한 화면을 미러링(mirroring)하여 보호자 및 의료진 시청용 모니터(300)에 디스플레이하도록 한다.
도 3은 본 발명의 일 실시예에 따른 일체형 디바이스의 내부 구조를 보여주는 블록도이다.
도 3을 참조하면, HMD(110)는 통신 인터페이스부(111), 음성출력부(112), 음성인식부(113), 디스플레이부(114), 제어부(115)를 포함한다.
통신 인터페이스부(111)는 컴퓨터(200)와 통신하는 역할을 한다.
음성출력부(112)는 음성을 출력하는 역할을 한다. 예를 들어, 음성출력부(112)는 헤드폰의 형태로 환자의 귀에 음성을 출력할 수 있다.
음성인식부(113)는 HMD(110)를 착용한 환자의 음성을 인식하는 역할을 한다. 예를 들어, 음성인식부(113)는 마이크로 구현될 수 있다.
디스플레이부(114)는 컴퓨터(200)로부터 수신한 진료 체험 콘텐츠를 VR 영상으로 디스플레이하는 역할을 한다.
제어부(115)는 HMD(110)의 전반적인 동작을 제어하며, 통신 인터페이스부(111)를 통해 수신한 신호를 처리하여 디스플레이부(114)에 VR 영상이 디스플레이되도록 한다.
본 발명에서 컴퓨터(200)는 일체형 디바이스(100)로부터 수신한 환자의 음성 신호와 손 동작 신호에 대응하여 인터랙션(interaction)이 가능한 게임 형태의 진료 체험 콘텐츠를 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 진료 체험 제공 방법을 보여주는 흐름도이다.
도 4를 참조하면, 본 발명의 진료 체험 제공 방법에서 컴퓨터(200)는 진료체험 요청이 있으면(S401), VR 또는 AR을 기반으로 하는 진료 체험 콘텐츠를 일체형 디바이스(100)에 제공한다(S403).
그러면, 일체형 디바이스(100)는 수신한 진료 체험 콘텐츠를 HMD(110)를 통해 디스플레이한다(S405).
일체형 디바이스(100)에서 환자의 손 동작을 센싱하거나(S407), 환자의 음성을 센싱하면(S409), 이를 컴퓨터(200)에 송신한다.
그리고, 컴퓨터(200)는 센싱된 신호에 따른 인터랙티브 컨텐츠를 제공한다(S411).
컴퓨터(200)는 일체형 디바이스(100)에 제공하는 진료 체험 콘텐츠와 동일한 내용을 보호자 및 의료진 시청용 모니터(300)에 미러링하고(S413). 보호자 및 의료진 시청용 모니터(300)에서는 미러링된 화면을 디스플레이한다(S415).
도 5는 본 발명의 일 실시예에 따른 진료 체험 콘텐츠를 모듈화한 것을 보여주는 도면이다.
도 5를 참조하면, 본 발명에서는 진료 체험 콘텐츠의 스토리텔링 내용을 모듈화하여 구현할 수 있다. 예를 들어, 도 5에서 A 모듈은 문진, 주사, 방사선, 마취, 수술의 스토리텔링 순서로 모듈화되어 있는 진료 체험 콘텐츠이고, B 모듈은 문진, 주사, 방사선, 회복의 스토리텔링 순서로 모듈화되어 있는 진료 체험 콘텐츠이고, C 모듈은 문진, 방사선, 주사, 회복의 스토리텔링 순서로 모듈화되어 있는 진료 체험 콘텐츠이다. A, B, C 각각의 모듈을 이루는 스토리텔링 순서들은 다시 서브 모듈로 추가 모듈화되어 구현될 수도 있다. 예를 들어, A 모듈은 문진(a 모듈), 주사(b 모듈), 방사선(c 모듈), 마취(c 모듈), 수술(e 모듈)의 서브 모듈로 구성될 수 있다. B 모듈은 문진(a 모듈), 주사(b 모듈), 방사선(c 모듈), 회복(f 모듈)의 서브 모듈로 구성될 수 있다. C 모듈은 문진(a 모듈), 방사선(c-1 모듈), 주사(b-1 모듈), 회복(f-1 모듈)의 서브 모듈로 구성될 수 있다. 이 때, 주사(b 모듈)과 주사(b-1 모듈)은 스토리텔링이 서로 다를 수 있고, 방사선(c 모듈)과 방사선(c-1 모듈)은 스토리텔링이 서로 다를 수 있고, 회복(f 모듈)과 회복(f-1 모듈)은 스토리텔링이 서로 다를 수 있다.
이처럼, 본 발명에서는 진료 체험 콘텐츠를 모듈화하여 필요에 따라 용이하게 스토리텔링의 내용을 변경할 수 있다.
이상에서 설명한 본 발명의 일 실시예에서 환자에게 가상 진료 체험을 제공하는 것에 대해 설명하였다. 이하에서는, 본 발명의 다른 실시예로서 실시간 환경에 대응하여 VR 및 AR을 이용한 진료 체험 서비스를 제공하는 것에 대해 설명하기로 한다.
이를 위하여, 진료 체험 제공 시스템은 병원 내부의 시설 및 장소에 설치되어 있는 다수의 전자태그를 더 포함한다. 예를 들어, 병원 내의 침대, 벽, 진료실, 수술실, 마취실, 방사선실, 접수대 등 다양한 위치에 전자태그가 설치될 수 있다.
이때, 일체형 디바이스(100)는 전자태그가 설치된 위치에 접근하여 이를 인식하는 태그 리더부(미도시)를 더 포함할 수 있다.
그리고, 컴퓨터(200)는 일체형 디바이스(100)로부터 인식된 태그 정보를 수집하여 현재 환자의 위치 정보를 제공하는 네비게이션 기능을 제공하고, 현재 환자의 위치에 대응하는 진료 체험 콘텐츠를 제공할 수 있다. 또한, 현재 환자의 위치에 대응하는 다양한 정보를 제공할 수 있다(예를 들어, 해당 위치에 설치되어 있는 병원 시설물에 대한 설명 정보, 목적지까지의 거리 및 시간 정보, 진료예약 정보 등).
도 6은 본 발명의 일 실시예에 따른 네비게이션 기능이 실행된 상태의 HMD 화면예이다.
도 6을 참조하면, 병원 내에서 환자의 현재 위치(610)가 표시되어 있으며, 가고자 하는 장소에 따른 길 안내를 표시할 수도 있다.
본 발명에서 일체형 디바이스(100)는 환자의 심전도, 뇌전도, 혈압, 산소포화도를 포함하는 생체신호를 측정하는 생체신호 측정부(미도시)를 더 포함할 수 있다.
이때, 컴퓨터(200)는 일체형 디바이스(100)로부터 수신한 환자의 생체신호에 따라 진료 체험 콘텐츠의 내용을 변경할 수 있다. 예를 들어, 환자의 심전도가 급격하게 증가하는 경우, 수술실을 위주로 하는 진료 체험 콘텐츠의 내용을 회복실을 위주로 하는 진료 체험 콘텐츠로 변경하거나 친숙한 아바타 캐릭터가 등장하여 심리적 안정을 위해 중재하는 스토리텔링 내용을 변경하는 식이다.
이처럼, 본 발명에서는 환자의 음성, 생체 신호 등 다양한 반응을 측정하고, 이에 따라 진료 체험 콘텐츠를 변경할 수 있으며, 이러한 환자의 반응 데이터를 수집하여 통계 자료로 활용할 수 있고, 데이터의 축적에 따른 진료 체험 콘텐츠의 스토리텔링 내용을 변경할 수도 있다.
도 7 내지 도 28은 본 발명의 일 실시예에 따른 진료 체험 제공 시나리오를 예시한 도면이다.
도 7 내지 도 28은 사용자가 일체형 디바이스(100)를 착용한 경우, HMD(110)에 디스플레이되는 화면을 예시한 것이며, 수술실에서의 체험 학습 시나리오를 예시한 것이다.
도 7 내지 도 28에서는 스토리를 진행하는 메인 아바타인 어린이 형태의 캐릭터인 차탄과 로봇이 등장하고, 병균 몬스터, 의사, 간호사 등이 등장한다. 그리고, 화면은 1인칭 시점으로 이동한다. 이 때, 메인 아바타는 차탄으로 한정되는 것은 아니고 다른 어린이 형태의 캐릭터(도 7 내지 도 28에는 여자 어린이 형태의 캐릭터인 모모가 예시됨)가 될 수도 있다.
도 7에는 당일 수술센터의 외부 풍경과 메인 아바타 차탄 및 병균 몬스터가 도시되어 있다.
도 8에서 수술센터 내부의 풍경이 펼쳐지며, 다양한 각도로 내부를 보여준다. 이 때 차탄이 수술장 탐험 안내를 하고, 환자의 대답을 유도한다. 이때, 환자의 음성을 측정하여 일정 크기 이상인 경우에 한하여 다음 화면으로 전환하도록 한다.
도 9에서 환자복, 인식 팔찌 등의 마법 수술 아이템이 소환되며, 마법 수술 아이템을 착용하면 건강미션점수 별점을 획득하고, 방어력 별점을 획득한다.
도 10에서 차탄 캐릭터에 주사기가 등장하고, 도 11에서 주사기의 공격에 5초를 카운트하며, 주사 공격을 견디는 화면이 제공된다.
도 12에서 주사기 참기 미션을 성공하여 건강미션점수 별점을 획득하고, 공격력 별점을 획득하고, 방어력 별점을 획득한다.
도 13에서 수술장 입구의 모습이 펼쳐지며, 수술장 대기실에서 수술 설명을 들으며 혼자 기다리는 차탄 캐릭터가 제공된다. 이때, 혼자 기다리기 미션을 성공하여 건강미션점수 별점을 획득하고, 공격력 별점을 획득한다.
도 14에서 수술장 대기실을 자세히 보여주며 기다리는 상황을 보여주고, 도 15에서 수술장 문이 열리고 수술장으로 이동하는 과정을 경쾌하게 그린다.
도 16에서 수술장으로 향하는 길에서 두가지의 갈림길이 나오는데, 병균 몬스터가 보이는 길을 찾아내도록 유도한다. 그리고, 도 17에서 수술장 이동하기 미션에 성공하면, 건강미션점수, 공격력, 방어력에서 각각 별점을 획득한다.
그리고, 도 18 및 도 19에서 수술장을 소개하는 화면이 제공되고, 심전도 측정기, 혈압기 등의 수술관련 기구를 반짝이는 부분(23, 24, 25)으로 묘사한다. 그리고, 환자가 반짝이는 부분(23, 24, 25)을 터치할 때마다 효과음을 발생시킨다. 경우에 따라서는 터치하거나 선택되는 수술관련 기구에 대한 정보를 음성이나 화상 정보로 제공할 수도 있다.
도 20에서 수술에 필요한 마법 수술 아이템을 착용하고, 도 21에서 마법 수술 아이템 착용에 따른 별점을 획득한다. 그리고, 도 22 및 도 23의 화면에서 병균 몬스터가 등장하게 된다.
그리고, 도 24의 화면에서 의사가 등장하여 마취가스 마스크를 올려들고, 이 화면에서 5초를 카운트하게 된다.
그리고, 도 25에서 마취가스 마스크가 환자 본인 캐릭터에 착용되면, 미션이 성공하여 모든 능력치에 최고점의 별점이 획득된다.
도 26에서 환자가 마스크를 쓰고 숨을 들이 쉬고 내쉴때 마다 향기가 퍼진다. 그리고, 도 27에서 마스크에서 요란한 빛이 발광하며 병균 몬스터에게 치명상을 입히고, 결국 병균 몬스터가 도망친다.
그리고, 도 28에서 모모 또는 차탄 캐릭터가 건강한 모습으로 등장하며 마무리한다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100 일체형 디바이스 200 컴퓨터
300 보호자 시청용 모니터 110 HMD
120 손동작 인식 센서

Claims (5)

  1. 병원에서의 진료 체험 제공 시스템에서,
    환자의 머리에 착용되어 VR(Virtual Reality) 또는 AR(Augmented Reality) 화면이 디스플레이되는 HMD(Head mounted Display)와, 환자의 손 동작을 인식하기 위한 손동작 인식 센서가 결합되어 있는 일체형 디바이스;
    상기 환자의 보호자와 의료진이 시청하기 위한 보호자 시청용 모니터; 및
    상기 일체형 디바이스와 통신하며, 병원에서의 진료 과정을 가상 체험할 수 있는 진료 체험 콘텐츠를 상기 일체형 디바이스에 제공하고, 상기 일체형 디바이스에서 감지한 환자의 음성 신호 또는 손 동작 신호를 수신하면, 이에 대응하는 인터랙티브 진료 체험 콘텐츠를 상기 일체형 디바이스에 제공하고, 상기 일체형 디바이스에 제공되는 콘텐츠 화면과 동일한 화면을 미러링(mirroring)하여 상기 보호자 시청용 모니터에 디스플레이하도록 하는 컴퓨터를 포함하는 진료 체험 제공 시스템.
  2. 청구항 1에 있어서,
    상기 HMD는,
    상기 컴퓨터와 통신하기 위한 통신 인터페이스부;
    음성을 출력하기 위한 음성출력부;
    상기 HMD를 착용한 환자의 음성을 인식하기 위한 음성인식부;
    상기 컴퓨터로부터 수신한 진료 체험 콘텐츠를 VR 또는 AR 영상으로 디스플레이하기 위한 디스플레이부; 및
    상기 HMD의 전반적인 동작을 제어하며, 상기 통신 인터페이스부를 통해 수신한 신호를 처리하여 상기 디스플레이부에 VR 또는 AR 영상이 디스플레이되도록 하는 제어부를 포함하는 것을 특징으로 하는 진료 체험 제공 시스템.
  3. 청구항 2에 있어서,
    상기 컴퓨터는 상기 일체형 디바이스로부터 수신한 환자의 음성 신호와 손 동작 신호에 대응하여 인터랙션이 가능한 게임 형태의 진료 체험 콘텐츠를 제공하는 것을 특징으로 하는 진료 체험 제공 시스템.
  4. 청구항 1에 있어서,
    상기 진료 체험 제공 시스템은 병원 내부의 시설 및 장소에 설치되어 있는 다수의 전자태그를 더 포함하고,
    상기 일체형 디바이스는 상기 전자태그가 설치된 위치에 접근하여 이를 인식하는 태그 리더부를 더 포함하고,
    상기 컴퓨터는 상기 일체형 디바이스로부터 인식된 태그 정보를 수집하여 현재 환자의 위치 정보를 제공하는 네비게이션 기능을 제공하고, 현재 환자의 위치에 대응하는 진료 체험 콘텐츠를 제공하는 것을 특징으로 하는 진료 체험 제공 시스템.
  5. 청구항 4에 있어서,
    상기 일체형 디바이스는 환자의 심전도, 뇌전도, 혈압, 산소포화도 중 적어도 하나를 포함하는 생체신호를 측정하는 생체신호 측정부를 더 포함하고,
    상기 컴퓨터는 상기 일체형 디바이스로부터 수신한 환자의 생체신호에 따라 진료 체험 콘텐츠의 내용을 변경하는 것을 특징으로 하는 진료 체험 제공 시스템.
KR1020180026315A 2018-03-06 2018-03-06 Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템 KR102111531B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180026315A KR102111531B1 (ko) 2018-03-06 2018-03-06 Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템
PCT/KR2019/002257 WO2019172563A1 (ko) 2018-03-06 2019-02-25 Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180026315A KR102111531B1 (ko) 2018-03-06 2018-03-06 Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템

Publications (2)

Publication Number Publication Date
KR20190105788A KR20190105788A (ko) 2019-09-18
KR102111531B1 true KR102111531B1 (ko) 2020-05-15

Family

ID=67846696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180026315A KR102111531B1 (ko) 2018-03-06 2018-03-06 Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템

Country Status (2)

Country Link
KR (1) KR102111531B1 (ko)
WO (1) WO2019172563A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404667B1 (ko) 2020-12-04 2022-06-07 주식회사 크리스피 증강현실 기반의 컨텐츠 제공 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102346682B1 (ko) * 2019-12-30 2022-01-03 제이에스씨(주) Vr 기반 장애 아동을 위한 콘텐츠 제공 시스템
KR102384468B1 (ko) * 2020-01-22 2022-04-11 사회복지법인 삼성생명공익재단 소아용 채혈 압박 장치
CN111982116A (zh) * 2020-08-13 2020-11-24 上海联影医疗科技股份有限公司 诊疗环境内的ar导航方法、装置、服务器设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100452093B1 (ko) 2002-02-25 2004-10-08 (주)블루미디어텍 정신 질환 환자를 치료하기 위한 가상 환경 장치
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
KR101687309B1 (ko) * 2015-04-02 2016-12-28 한국과학기술원 Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치
US11328484B2 (en) * 2016-05-20 2022-05-10 Magic Leap, Inc. Contextual awareness of user interface menus
KR20170142086A (ko) * 2016-06-16 2017-12-27 주식회사 에이치투앤컴퍼니 가상 현실 영상 및 증강 현실 컨텐츠를 결합한 상호작용 중첩현실 시스템 및 그 제공 방법
KR101814299B1 (ko) * 2016-12-20 2018-01-02 이의선 미션 수행을 통한 방문자 수의 증가를 유도하는 보물찾기 존 활성화 광고 촉진 시스템 및 그 구동방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404667B1 (ko) 2020-12-04 2022-06-07 주식회사 크리스피 증강현실 기반의 컨텐츠 제공 장치 및 방법

Also Published As

Publication number Publication date
WO2019172563A1 (ko) 2019-09-12
KR20190105788A (ko) 2019-09-18

Similar Documents

Publication Publication Date Title
US11195340B2 (en) Systems and methods for rendering immersive environments
US11819369B2 (en) Augmented reality device for providing feedback to an acute care provider
KR102111531B1 (ko) Vr 또는 ar을 기반으로 하는 병원에서의 진료 체험 제공 시스템
Desselle et al. Augmented and virtual reality in surgery
Riva Virtual reality in neuro-psycho-physiology: Cognitive, clinical and methodological issues in assessment and rehabilitation
US10642046B2 (en) Augmented reality systems for time critical biomedical applications
US7502498B2 (en) Patient monitoring apparatus
US10241738B2 (en) Method and system of communication for use in hospitals
Rodriguez et al. Development of a communication intervention to assist hospitalized suddenly speechless patients
Kotranza et al. Virtual human+ tangible interface= mixed reality human an initial exploration with a virtual breast exam patient
CN107480462A (zh) 智慧临床交互系统
US20200234813A1 (en) Multi-disciplinary clinical evaluation in virtual or augmented reality
Zhang et al. Constructing awareness through speech, gesture, gaze and movement during a time-critical medical task
Kruse et al. A Long-Term User Study of an Immersive Exergame for Older Adults with Mild Dementia during the COVID-19 Pandemic.
De Pace et al. Promoting environmental control, social interaction, and leisure/academy engagement among people with severe/profound multiple disabilities through assistive technology
WO2003042968A1 (en) Method and system for presenting real time physiological information through a head mounted display
Ayoade et al. The development and evaluation of an interactive system for age related musculoskeletal rehabilitation in the home
TWI671762B (zh) 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統
Rosenorn-Lanng Human factors in healthcare: level two
Ribeiro Batista Geraldini Becoming a person? Learning from observing premature babies and their mothers
Nissinen et al. The Possibilities of Smart Clothing in Adult Speech Therapy: Speech Therapists' Visions for the Future
Fager et al. Access to AAC for individuals with acquired conditions: challenges and solutions in early recovery
Afkari Interaction in the micro-surgery operating room: the potentials for gaze-based interaction with the surgical microscope
Buckley et al. Training future providers in home care and telehealth technologies: A collaborative effort between nursing and biomedical engineering
EP4120284A2 (en) Image-based risk analysis of individuals in clinical settings

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant