KR102423849B1 - 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템 - Google Patents
가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템 Download PDFInfo
- Publication number
- KR102423849B1 KR102423849B1 KR1020200127109A KR20200127109A KR102423849B1 KR 102423849 B1 KR102423849 B1 KR 102423849B1 KR 1020200127109 A KR1020200127109 A KR 1020200127109A KR 20200127109 A KR20200127109 A KR 20200127109A KR 102423849 B1 KR102423849 B1 KR 102423849B1
- Authority
- KR
- South Korea
- Prior art keywords
- participant
- patient
- virtual
- clinical
- role
- Prior art date
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000011156 evaluation Methods 0.000 claims abstract description 45
- 230000033001 locomotion Effects 0.000 claims abstract description 12
- 238000003745 diagnosis Methods 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 230000013872 defecation Effects 0.000 claims description 3
- 230000035622 drinking Effects 0.000 claims description 3
- 229940079593 drug Drugs 0.000 claims description 3
- 239000003814 drug Substances 0.000 claims description 3
- 235000006694 eating habits Nutrition 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 claims description 3
- 210000002700 urine Anatomy 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000009877 rendering Methods 0.000 abstract 1
- 238000002555 auscultation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000002559 palpation Methods 0.000 description 5
- 238000009527 percussion Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
본 발명은 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템에 관한 것이다.
본 발명에 따르면, 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템은 가상의 공간에서 환자와의 면담을 수행하고 가상의 도구를 제어하여 임상술기를 수행하도록 참여자 단말기로부터 전달받은 데이터를 3D 모델로 실시간 랜더링하는 VR HMD(Head Mount Display)와 가상의 객체를 제어하거나 참여자의 손 동작을 트래킹하는 핸드컨트롤러를 포함하는 VR 장치, 그리고, 참여자 단말기로부터 수신된 역할정보를 이용하여 환자 역할의 참여자와 의료인 역할의 참여자를 매칭하고, 매칭이 완료되면 의료인 역할을 수행하는 제1 참여자의 VR HMD에는 상황시나리오에 따라 가상의 환자 캐릭터를 출력하고, 환자 역할을 수행하는 제2 참여자의 VR HMD에는 가상의 의료인 캐릭터와 평가지표에 목록을 출력시켜 진단 또는 임상술기 시뮬레이션을 수행하게 하는 제어장치를 포함한다.
이와 같이 본 발명에 따르면, 환자의 나이, 성별, 몸무게, 인종 및 체형에 따라 가상의 환자 캐릭터를 생성하고, 생성된 가상의 캐릭터에 매칭되도록 목소리를 실시간으로 변조하여 가상현실상황의 현실감을 극대화할 수 있고, 진료 및 임상술기를 수행하고 난 후 평과 결과를 제공하여 학습효과를 증대시킬 수 있다.
본 발명에 따르면, 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템은 가상의 공간에서 환자와의 면담을 수행하고 가상의 도구를 제어하여 임상술기를 수행하도록 참여자 단말기로부터 전달받은 데이터를 3D 모델로 실시간 랜더링하는 VR HMD(Head Mount Display)와 가상의 객체를 제어하거나 참여자의 손 동작을 트래킹하는 핸드컨트롤러를 포함하는 VR 장치, 그리고, 참여자 단말기로부터 수신된 역할정보를 이용하여 환자 역할의 참여자와 의료인 역할의 참여자를 매칭하고, 매칭이 완료되면 의료인 역할을 수행하는 제1 참여자의 VR HMD에는 상황시나리오에 따라 가상의 환자 캐릭터를 출력하고, 환자 역할을 수행하는 제2 참여자의 VR HMD에는 가상의 의료인 캐릭터와 평가지표에 목록을 출력시켜 진단 또는 임상술기 시뮬레이션을 수행하게 하는 제어장치를 포함한다.
이와 같이 본 발명에 따르면, 환자의 나이, 성별, 몸무게, 인종 및 체형에 따라 가상의 환자 캐릭터를 생성하고, 생성된 가상의 캐릭터에 매칭되도록 목소리를 실시간으로 변조하여 가상현실상황의 현실감을 극대화할 수 있고, 진료 및 임상술기를 수행하고 난 후 평과 결과를 제공하여 학습효과를 증대시킬 수 있다.
Description
본 발명은 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템에 관한 것으로서, 보다 상세하게는 가상현실을 이용하여 진료 및 임상술기 시뮬레이션을 수행하고, 진료 및 임상술기 시뮬레이션을 수행하는 환자와 의료인에 대한 평가 및 피드백을 제공하는 진료 및 임상술기 시뮬레이션 제공 시스템에 관한 것이다.
의료인(의사, 간호사, 응급구조사 등)이 되려 하는 대학생은 학습과정 혹은 면허취득과정에서 적정수준의 의료기술 및 환자면담기술을 습득해야만 한다.
종래에는 교육자나 학생이 서로 역할을 분담하고 의료기술 및 환자면담기술에 대한 학습이 이루어졌다. 그러나, 종래의 방법은 임상상황과 상관없는 상대의 모습에서 현실감이 매우 떨어지고, 이미 낯익은 관계형성으로 인해 진지하게 역할을 수행하기 어렵다. 또한, 종래의 학습 방법은 다양한 임상상황에 대비하기 쉽지 않고, 지속적으로 소모품이 사용되며, 무엇보다도 동시에 여러 명이 한꺼번에 학습하기 어려운 문제점이 있었다.
이를 해결하고자, 최근 가상현실을 이용한 여러 종류의 임상술기 시뮬레이션이 개발되어 많은 관심을 받고 있다. 가상 현실을 이용한 임상술기 시뮬레이션은 시간 및 장소에 상관없이 학습이 가능하며, 다양한 임상 상황을 구현할 수 있다.
그러나, 임상술기 시뮬레이션은 의료기술 및 환자면담기술을 수행에 따른 평가와 피드백을 제공하지 않으므로 단순히 체험활동 수준에 머무르고 있다. 특히 자연어 처리가 필수적인 면담이나 상황판단 부분은 훈련과 평가가 더욱 어려운 실정이다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1725682호(2017.04.05 공고)에 개시되어 있다.
이와 같이 본 발명에 따르면, 가상현실을 이용하여 진료 및 임상술기 시뮬레이션을 수행하고, 진료 및 임상술기 시뮬레이션을 수행하는 환자와 의료인에 대한 평가 및 피드백을 제공하는 진료 및 임상술기 시뮬레이션 제공 시스템을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템에 있어서, 가상의 공간에서 환자와의 면담을 수행하고 가상의 도구를 제어하여 임상술기를 수행하도록 제1 및 제2 참여자 단말기로부터 전달받은 데이터를 3D 모델로 실시간 랜더링하는 가상현실 HMD(Head Mount Display)와 가상의 객체를 제어하거나 참여자의 손 동작을 트래킹하는 핸드컨트롤러를 포함하는 가상현실(Virtual Reality, VR) 장치, 그리고, 상기 제1 및 제2 참여자 단말기로부터 수신된 역할정보를 이용하여 의료인 역할을 수행하는 제1 참여자와 환자 역할을 수행하는 제2 참여자를 매칭하고, 매칭이 완료되면 제1 참여자가 착용하는 가상현실 HMD에는 상황시나리오에 따라 생성된 가상의 환자 캐릭터를 출력하고, 제2 참여자가 착용하는 가상현실 HMD에는 가상의 의료인 캐릭터와 평가지표에 목록을 출력시켜 진단 또는 임상술기 시뮬레이션을 수행하게 하는 제어장치를 포함한다.
상기 제어장치는, 상기 복수의 참여자들로부터 의료인 역할 또는 환자 역할에 대한 요청 정보를 수신하는 인터페이스부, 상기 복수의 참여자로부터 매칭 요청 신호를 수신하면, 상기 역할 정보를 이용하여 의료인 역할을 담당할 상기 제1 참여자와 환자 역할을 담당할 제2 참여자를 매칭하는 매칭부, 상기 제1 및 제2 참여자들로부터 진료모드 또는 임상술기모드를 선택받는 모드 선택부, 선택된 모드에 대응하여 특정한 상황의 시나리오를 제공하는 시나리오 제공부, 상기 특정한 상황의 시나리오에 대응되는 환자 정보를 이용하여 가상의 환자 캐릭터를 생성하여 제1 참여자가 착용한 가상현실 HMD로 제공하고, 가상의 의료인 캐릭터를 생성하여 제2 참여자가 착용한 가상현실 HMD로 제공하는 가상캐릭터 제공부, 그리고 상기 제1 참여자 또는 제2 참여자가 착용한 가상현실 HMD로부터 전달받은 제1 및 제2 참여자의 음성 데이터를 상기 가상의 의료인 캐릭터 또는 환자 캐릭터에 따라 변조하여 제공하는 음성변환부를 포함할 수 있다.
상기 제어장치는, 특정 신체 진찰 유무 및 특정 임상술기 유무에 따른 자동 채점 지표와 환자에 대한 의료인의 태도 및 관찰에 따른 수동 채점 지표를 포함하는 평가지표를 제공하고, 제2 참여자에 의해 입력된 평가 결과를 획득하는 평가정보 획득부, 진료 및 임상술기 시뮬레이션을 수행할 수 있도록 포인트를 지급하고, 선택된 역할에 따라 포인트를 가감 또는 차감하는 포인트제공부, 그리고 상기 VR 장치로부터 수신된 트래킹 정보와 상기 생성된 가상 캐릭터를 정합하여 가상현실을 제공하며, 시뮬레이션 진행 과정 중에서 의료인 역할을 수행하는 제1 참여자의 단말기로부터 수신된 임상술기모드 요청 신호에 따라 신체를 진찰할 수 있는 실행용 물체를 가상으로 제공하는 제어부를 더 포함할 수 있다.
상기 시나리오 제공부는, 상기 환자에 대한 기본정보, 신체 진찰정보 및 진료 면담정보 중에서 적어도 하나의 정보를 제2 참여자 단말기에 제공할 수 있다.
상기 환자에 대한 기본 정보는, 성명, 나이, 성별, 인종, 피부, 직업, 몸무게 및 체형에 대한 정보 중에서 적어도 하나를 포함하고, 상기 신체 진찰 정보는, 얼굴, 손발, 몸통에서 눈으로 관찰 가능한 상태 정보와, 소변, 배변, 통증 중에서 적어도 하나의 정보를 포함하고, 상기 진료 면담 정보는, 증상의 양상, 가족력, 흡력력, 음주력, 투약상황, 근무 여건 및 식사 습관 중에서 적어도 하나의 정보를 포함할 수 있다.
상기 포인트제공부는, 의료인 역할을 선택하면 제1 참여자가 보유 중인 포인트 중에서 일부를 차감시키고, 환자 역할을 선택하면 제2 참여자에게 포인트를 추가로 지급할 수 있다.
상기 제1 참여자 및 제2 참여자가 진료 모드를 선택하면, 상기 제어부는, 상기 제1 참여자의 핸드컨트롤러에는 지속적으로 트래킹을 추적하는 제어신호를 송신하고, 상기 제2 참여자의 핸드컨트롤러에는 트래킹을 중지하고 마우스 역할을 수행하게 하는 제어신호를 송신하며, 제1 참여자의 요청에 따라 환자의 행동을 표현하고자 할 경우에만 트래킹을 추적하는 제어신호를 송신할 수 있다.
상기 제2 참여자의 핸드컨트롤러가 마우스 역할을 수행하면, 상기 제어부는, 상기 핸드컨트롤러의 움직임을 문자로 인식하고, 인식된 문자는 의료인의 역할을 수행하는 제1 참여자에 대한 평가 정보로 제공될 수 있다.
상기 제1 참여자 및 제2 참여자가 임상술기 모드를 선택하면, 상기 제어부는, 임상술기에 필요한 도구를 가상현실 상에 제공할 수 있다.
상기 평가정보 획득부는, 임상술기를 진행함에 따라 정해진 순서대로 도구를 사용하였는지 여부를 판단하고, 판단된 결과를 자동으로 채점하여 점수화할 수 있다.
이와 같이 본 발명에 따르면, 환자의 나이, 성별, 몸무게, 인종 및 체형에 따라 가상의 환자 캐릭터를 생성하고, 생성된 가상의 캐릭터에 매칭되도록 목소리를 실시간으로 변조하여 가상현실상황의 현실감을 극대화할 수 있고, 진료 및 임상술기를 수행하고 난 후 평과 결과를 제공하여 학습효과를 증대시킬 수 있다.
또한, 시뮬레이션을 참여하는 참여자에게 포인트를 지급하되, 의료인 역할 시에는 포인트를 소모시키고, 환자 역할 시에는 포인트를 적립시키는 구조로 형성하여 환자 역할의 참여도를 높임으로서 환자 역할과 의료인 역할의 참여자 사이에 매칭율을 증가시킬 수 있다.
또한, 본 발명에 따르면, 의료인 및 환자의 역할 수행에 따른 평점을 부여하고, 평점이 낮을 경우에는 불이익을 제공하여 역할에 대한 적극적인 참여를 유도시키며, 학습 중 발생할 수 있는, 차별, 희롱 등의 문제를 대비하여 녹화를 수행하므로 불미스러운 행동이 발생되는 것을 미연에 방지할 수 있다.
또한, 본 발명에 따르면, 온라인을 통해서 진료 및 임상술기 시뮬레이션을 수행할 수 있으므로, 시간 및 장소에 구애받지 않은 상태에서 의료인 또는 환자의 역학을 수행하여 의료기술 및 환자 면담기술을 습득할 수 있다.
도 1은 본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션 제공 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 제어장치를 설명하기 위한 구성도이다.
도 3은 본 발명의 실시예에 따른 따른 진료 및 임상술기 시뮬레이션을 이용하여 진료 및 임상술기 학습을 하는 방법을 설명하기 위한 순서도이다.
도 4는 진료 및 임상술기 시뮬레이션을 진행하는데 로그인 화면을 나타내는 예시도이다.
도 5는 도 3에 도시된 S310단계에서 참여자에 의해 역할을 선택하는 화면을 나타내는 예시도이다.
도 6은 도 3에 도시된 S350단계를 설명하기 위한 순서도이다.
도 7은 도 6에 도시된 S351단계에서 환자 역할을 수행하는 참여자의 HMD를 통해 출력된 화면을 나타내는 예시도이다.
도 8은 도 6에 도시된 S351단계에서 의료인 역할을 수행하는 참여자의 HMD를 통해 출력된 화면을 나타내는 예시도이다.
도 2는 도 1에 도시된 제어장치를 설명하기 위한 구성도이다.
도 3은 본 발명의 실시예에 따른 따른 진료 및 임상술기 시뮬레이션을 이용하여 진료 및 임상술기 학습을 하는 방법을 설명하기 위한 순서도이다.
도 4는 진료 및 임상술기 시뮬레이션을 진행하는데 로그인 화면을 나타내는 예시도이다.
도 5는 도 3에 도시된 S310단계에서 참여자에 의해 역할을 선택하는 화면을 나타내는 예시도이다.
도 6은 도 3에 도시된 S350단계를 설명하기 위한 순서도이다.
도 7은 도 6에 도시된 S351단계에서 환자 역할을 수행하는 참여자의 HMD를 통해 출력된 화면을 나타내는 예시도이다.
도 8은 도 6에 도시된 S351단계에서 의료인 역할을 수행하는 참여자의 HMD를 통해 출력된 화면을 나타내는 예시도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션 제공 시스템에 대하여 더욱 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션 제공 시스템을 설명하기 위한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션 제공 시스템은 제1 및 제2 가상현실(VR) 장치(110, 120), 제1 및 제2 참여자 단말기(210, 220) 및 제어장치(300)를 포함한다.
본 발명의 실시예에 따르면 설명의 편의상 의료인 역할을 담당할 참여자를 제1 참여자로 기재하고, 환자 역할을 담당할 참여자를 제2 참여자로 기재한다. 따라서, 본 발명의 실시예에서는 복수의 가상현실(VR) 장치(110, 120) 중에서 제1 참여자에게 장착되는 가상현실(VR) 장치를 제1 가상현실(VR) 장치(110)라고 하고, 제2 참여자에게 장착되는 가상현실(VR) 장치를 제2 가상현실(VR) 장치(120)로 명명한다.
또한, 제1 가상현실(VR) 장치(110)를 구성하는 가상현실 HMD는 제1 가상현실 HMD(111)이고, 핸드컨트롤러는 제1 핸드컨트롤러(112)로 명명한다. 마찬가지로 제2 가상현실(VR) 장치(120)를 구성하는 가상현실 HMD는 제2 가상현실 HMD(121)이고, 핸드컨트롤러는 제2 핸드컨트롤러(122)로 명명한다.
그 다음, 참여자 단말기(210,220)는 진료 및 임상술기 시뮬레이션을 수행하기 위해 제1 및 제2 참여자가 소지하고 있는 단말기로서, 제1 가상현실(VR) 장치(110) 및 제2 가상현실(VR) 장치(120)와 각각 무선 또는 유선을 통해 통신을 수행한다.
즉, 제1 가상현실(VR) 장치(110)와 통신을 수행하는 참여자 단말기는 제1 참여자 단말기(210)라고 하고, 제2 가상현실(VR) 장치(120)와 통신을 수행하는 참여자 단말기는 제2 참여자 단말기(220)로 명명한다.
먼저, 제1 및 제2 가상현실(VR) 장치(110, 120)는 가상의 공간에서 환자와의 면담을 수행하고 가상의 도구를 제어하여 임상술기를 수행하도록 제1 및 제2 참여자 단말기(210,220)로부터 전달받은 데이터를 3D 모델로 실시간 랜더링하는 웨어러블 장치이다.
제1 및 제2 가상현실(VR) 장치(110, 120)는 영상을 출력하는 가상현실 HMD(Head Mount Display)(111, 121)와 가상의 객체를 제어하거나 참여자의 손 동작을 트래킹하는 핸드컨트롤러(112,122)를 포함한다.
제1 및 제2 가상현실 HMD(111, 121)는 블루투스나 지그비와 같은 근거리 통신을 통해 후술되는 제1 및 제2 참여자 단말기(210, 220)로부터 제공받은 영상을 디스플레이를 통해 출력시킨다. 부연하자면, 제1 및 제2 가상현실 HMD(111, 121)는 참여자의 머리에 착용되는 디스플레이 디바이스로서, 외부와 차단된 상태에서 참여자의 시각에 가상세계를 보여준다. 제1 및 제2 가상현실 HMD(111, 121)는 마이크, 스피커 및 복수의 센서를 포함한다. 복수의 센서는 시각센서, 자기 센서 등을 포함한다.
따라서, 제1 및 제2 가상현실 HMD(111, 121)는 참여자의 머리, 눈의 위치를 지속적으로 트래킹하고, 트래킹하여 발생된 위치정보는 참여자 단말기(210,220)에 전달된다. 그러면, 참여자 단말기(210,220)는 트래킹된 참여자의 머리, 몸통의 움직임을 출력되는 영상에 정합하여 제1 및 제2 가상현실 HMD(111, 121)에 제공한다.
제1 및 제2 핸드컨트롤러(112,122)는 참여자의 손에 착용되는 것으로, 내측에 포함된 센서를 이용하여 손의 움직임을 트래킹한다. 핸드컨트롤러(112,122)는 화면 제어 또는 정보 탐색을 수행할 수 있도록 마우스 역할을 수행하거나 참여자의 손 위치를 트랙킹한다. 그리고, 트랙킹된 참여자의 손 동작은 가상의 캐릭터의 손과 정합되어 제1 및 제2 가상현실 HMD(111, 121)을 통해 출력된다.
제1 참여자 단말기(210)는 제어장치(300)에 접근하여 진료 및 임상술기 시뮬레이션을 실행하되, 의료인 역할을 수행하는데 필요한 정보를 수신한다. 그 다음, 제1 참여자 단말기(210)는 제어장치(300)로부터 수신된 정보를 제1 가상현실(VR) 장치(110)에 전달한다. 그러면, 제1 참여자는 제1 가상현실(VR) 장치(110)를 통해 가상현실 기법이 적용되어 입체적으로 구성된 화면 속에서 의료인으로서 진료 및 임상술기를 수행한다.
또한, 제2 참여자 단말기(220)는 제어장치(300)에 접근하여 진료 및 임상술기 시뮬레이션을 실행하되, 환자 역할을 수행하는데 필요한 정보를 수신한다. 그 다음, 제2 참여자 단말기(220)는 제어장치(300)로부터 수신된 정보를 제2 가상현실(VR) 장치(120)에 전달한다. 그러면, 제1 참여자는 제2 가상현실(VR) 장치(120)를 통해 가상현실 기법이 적용되어 입체적으로 구성된 화면 속에서 환자로서 진료 및 임상술기를 수행한다.
한편, 제1 참여자 단말기(210) 및 제2 참여자 단말기(220)는 통신망을 통해 네트워크에 접속 가능한 공지된 다양한 수단일 수 있으며, 스마트 폰, 스마트 패드, 각종 모바일 기기, 노트북 등이 이에 해당될 수 있다.
마지막으로, 제어장치(300)는 제1 참여자 단말기(210) 및 제2 참여자 단말기(220)로부터 각각 수신된 역할정보를 이용하여 환자 역할의 참여자와 의료인 역할의 참여자를 매칭한다. 매칭이 완료되면, 제어장치(300)는 의료인 역할을 수행하는 제1 참여자 단말기(210)에는 상황시나리오 및 그에 대응하는 가상의 환자 캐릭터에 대한 정보를 전달하고, 환자 역할을 수행하는 제2 참여자 단말기(220)에는 가상의 환자 캐릭터와 평가지표에 목록을 전달하여 진단 또는 임상술기 시뮬레이션을 수행하게 한다.
이하에서는 도 2를 이용하여 제어장치(300)에 대해 더욱 상세하게 설명한다.
도 2는 도 1에 도시된 제어장치를 설명하기 위한 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 제어장치(300)는 인터페이스부(310), 매칭부(320), 모드 선택부(330), 시나리오 제공부(340), 가상캐릭터 제공부(350), 음성변환부(360), 평가정보 획득부(370), 포인트제공부(380), 제어부(390)를 포함한다.
먼저, 인터페이스부(310)는 복수의 참여자들로부터 선택된 역할에 대한 정보를 수신한다.
본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션 제공 시스템은 복수의 참여자로 하여금 의료진 역할 또는 환자 역할 중에서 하나의 역할을 선택하게 한다.
인터페이스부(310)는 참여자에 의해 선택된 역할에 대한 정보를 참여자 단말기(210, 220)로부터 수신한다.
그 다음, 매칭부(320)는 수신된 역할 정보를 이용하여 의료인 역할을 담당할 참여자와 환자역할을 담당할 참여자를 분류하고, 분류된 의료인 역할을 담당할 참여자와 환자역할을 담당할 참여자를 상호 매칭한다.
앞서 설명한 바와 같이, 설명의 편의상 복수의 참여자 중에서 의료인 역할을 선택한 참여자는 제1 참여자로 기재하고, 환자 역할을 선택한 참여자는 제2 참여자로 기재한다.
제1 참여자에 의해 사용되는 제1 단말기(210) 또는 제2 참여자에 의해 사용되는 제2 단말기(220)로부터 매칭 요청 신호를 수신하면, 매칭부(320)는 수신된 매칭 요청 신호에 따라 순차적으로 제1 참여자와 제2 참여자를 상호 매칭한다.
그 다음, 모드 선택부(330)는 진료모드 또는 임상술기모드 중에서 제1 참여자 또는 제2 참여자에 의해 선택된 모드에 대한 정보를 수신받는다. 진료모드는 단순 시진과 같이 환자의 상태를 관찰하여 면담하는 기술을 습득하기 위한 모드이고, 임상술기 모드는 청진, 촉진, 타진과 같이 의료 기술을 습득하기 위한 모드이다.
제1 참여자 또는 제2 참여자에 의해 진도 모드 또는 임상술기 모드 중에서 어느 하나의 모드로 선택되면, 시나리오 제공부(340)는 선택된 모드에 대응하여 특정한 상황에 따라 생성된 상황 시나리오를 제1 참여자 단말기(210) 및 제2 참여자 단말기(220)에 각각 제공한다.
상황 시나리오에는 진료에 필요한 정보를 포함하며, 기본정보, 신체 진찰정보 및 진료 면담정보를 포함한다.
가상캐릭터 제공부(350)는 상황 시나리오에 매칭되는 캐릭터를 제공한다. 이때, 가상캐릭터 제공부(350)는 환자 캐릭터와 의료인 캐릭터를 생성하여 제공한다. 환자 캐릭터는 상황 시나리오에 포함된 환자의 기본 정보를 이용하여 생성되고, 의료인 캐릭터는 일반적인 의료인 형상의 캐릭터를 제공하거나, 의료인 역할을 담당하는 제1 참여자의 요청 사항이 반영된 캐릭터를 생성한다.
음성변환부(360)는 제1 가상현실 HMD(111)로부터 전달받은 제1 참여자의 음성데이터를 생성된 가상의 의료인 캐릭터에 따라 변조하여 제공한다. 또한, 음성변환부(360)는 제2 가상현실 HMD(121)로부터 전달받은 제2 참여자의 음성데이터를 생성된 가상의 환자 캐릭터에 따라 변조하여 제공한다. 즉, 음성 변환부는 생성된 의료인 캐릭터 또는 환자 캐릭터의 성별 및 나이에 따라 변조된 목소리를 제공한다.
평가정보 획득부(370)는 특정 신체 진찰 유무 및 특정 임상술기 유무에 따른 자동 채점 지표와 환자에 대한 의료인의 태도 및 관찰에 따른 수동 채점 지표를 포함하는 평가지표를 제공한다. 그리고, 평가정보 획득부(370)는 평가지표에 따라 제1 참여자 또는 제2 참여자에 의해 작성된 평가 결과를 획득한다.
포인트제공부(380)는 진료 및 임상술기 시뮬레이션을 수행할 수 있도록 포인트를 지급하고, 선택된 역할에 따라 포인트를 가감 또는 차감한다. 이를 다시 설명하면, 복수의 참여자들은 포인트를 이용하여 진료 및 임상술기 시뮬레이션을 수행한다. 이때, 참여자가 의료인 역할을 선택하면, 포인트제공부(380)는 참여자에게 지급된 포인트 중에서 일부를 차감한다. 반면에 참여자가 환자 역할을 선택하면, 포인트제공부(380)는 참여자에게 포인트를 추가적으로 지급한다. 또한, 포인트제공부(380)는 획득한 평가 결과에 따라 포인트를 차감 또는 가감한다.
본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션 제공 시스템은 포인트를 가감 또는 차감 지급함으로써, 참여자들로 하여금 의료인 역할과 환자 역할 중에서 어느 하나의 역할에만 치중되는 것을 방지하여 제1 참여자와 제2 참여자의 매칭률을 높이고, 적극적인 참여를 유도하는 효과를 지닌다.
마지막으로, 제어부(390)는 제1 가상현실(VR) 장치(110) 및 제2 가상현실(VR) 장치(120)에 포함된 복수의 센싱 모듈로부터 수신된 트래킹 정보와 생성된 가상의 캐릭터를 정합하여 가상현실을 제공한다. 또한, 제어부(390)는 환자의 신체를 진찰할 수 있는 실행용 물체를 가상으로 제공한다. 실행용 물체는 임상술기 모드일 경우에 제공된다. 즉, 제1 참여자 단말기(210)로부터 임상술기모드 요청 신호를 수신하면, 제어부(390)는 정밀시진, 청진, 타진 및 촉진이 가능한 실행용 물체를 가상으로 제공한다. 여기서 실행용 물체는 청진기, 돋보기 및 타진기 등을 포함한다.
또한, 제어부(390)는 특정한 상황 시나리오에 따라 환자의 행동을 설정하고, 설정된 환자의 행동을 애니메이션과 같이 구현할 수 있다. 부연하자면, 제2 참여자에 착용된 제2 핸드 컨트롤러(122)는 제2 참여자의 손 동작을 트래킹하지 않으므로, 제1 가상현실 HMD(111)을 통해 디스플레이되는 환자는 동일한 동작만을 수행한다. 따라서, 제어부(390)는 특정한 상황 시나리에오 따라 환자의 행동을 기 설정하고, 기 설정된 행동은 제1 가상현실 HMD(111)을 통해 출력시킨다. 예를 들어, 가상의 환자는 진료를 받는 중에 갑자기 화를 내거나 울 수도 있고, 의사의 요청에 따라 앞으로 걸어갈 수도 있다.
이하에서는 도 3 내지 도 8을 이용하여 본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션을 이용하여 진료 및 임상술기 학습을 하는 방법에 대해 더욱 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 따른 진료 및 임상술기 시뮬레이션을 이용하여 진료 및 임상술기 학습을 하는 방법을 설명하기 위한 순서도이고, 도 4는 진료 및 임상술기 시뮬레이션을 진행하는데 로그인 화면을 나타내는 예시도이고, 도 5는 도 3에 도시된 S310단계에서 참여자에 의해 역할을 선택하는 화면을 나타내는 예시도이다.
먼저, 본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션을 참여하고자 하는 복수의 참여자는 소지하고 있는 단말기(210, 220)를 이용하여 제어장치(300)에 접속한다. 그 다음, 복수의 참여자는 단말기(210, 220)를 통해 개인 정보를 입력하여 회원 가입을 수행한다. 이때, 개인정보는 참여자의 이름, ID 및 비밀번호 중에서 적어도 하나를 포함한다.
회원 가입이 완료되면, 복수의 참여자는 포인트제공부(380)로부터 일정한 포인트를 지급받는다.
그 다음, 도 3에 도시된 바와 같이, 참여자는 단말기(210, 220)를 통해 수행하고자 하는 역할 정보 및 학습하고자 하는 유형 정보를 입력한다. 그러면, 참여자 단말기(210, 220)는 역할 정보 및 학습하고자 하는 유형 정보를 제어장치(300)에 송신한다(S310).
부연하자면, 도 4에 도시된 바와 같이, 참여자는 단말기(210, 220)를 통해 제어장치(300)에서 제공하는 프로그램을 접속하여 로그인을 진행한다. 그리고, 도 5에 도시된 바와 같이, 참여자는 단말기(210, 220)를 통해 의료인 역할 또는 환자 역할 중에서 어느 하나의 역할을 선택하고, 학습하고자 하는 유형 정보를 선택한다. 그 다음, 참여자는 단말기(210, 220)를 통해 매칭 신청 신호를 송신한다.
그러면, 매칭부(320)는 의료인 역할을 수행하고자 하는 참여자와 환자 역할을 수행하고자 하는 참여자를 상호 매칭한다(S320).
자세히는, 매칭부(320)는 참여자 단말기(210, 220)로부터 수신된 역할 정보를 이용하여 의료인 역할을 수행하고자 하는 참여자를 제1 참여자로 분류하고, 환자 역할을 수행하고자 하는 참여자를 제2 참여자로 분류한다. 그 다음, 매칭부(320) 는 학습하고자 하는 유형 정보를 고려하여 제1 참여자와 제2 참여자를 상호 매칭한다.
여기서, 학습하고자 하는 유형 정보는 임상표현, 질병, 임상 분야 중에서 적어도 하나를 포함하며, 매칭부(320)는 임상표현, 질병, 임상 분야의 카테고리 중에서 어느 하나의 카테고리를 이용하여 제1 참여자와 제2 참여자의 매칭을 수행하거나, 무작위로 매칭을 수행한다.
한편, 본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션은 학생들간의 실습을 수행하기 위해 사용될 수도 있고, 시험 또는 일괄 훈련을 수행하기 위해 사용될 수도 있다.
학생들간의 실습을 수행할 경우에, 매칭부(320)는 학생들 즉, 참여자들이 선택된 역할 정보 및 학습하고자 하는 유형 정보를 이용하여 매칭을 수행한다. 반면에, 시험 또는 일괄 훈련을 수행할 경우에, 매칭부(320)는 참여자들에게 고정된 역할 및 학습하고자 하는 유형 정보를 제공하며, 기 분류된 학습하고자 하는 참여자와 평가하고자 하는 참여자를 상호 매칭한다.
S320단계가 완료되면, 시나리오 제공부(340)는 환자 역할을 수행하는 참여자가 사용하는 제2 참여자 단말기(220)에 특정한 상황의 시나리오를 제공한다(S330).
여기서, 특정한 상황의 시나리오는 기본 정보, 신체진찰정보, 진료 면담 정보를 포함한다. 먼저, 기본 정보는 환자의 성명, 나이, 성별, 인종, 피부색, 직업, 몸무게, 체형 중에서 적어도 하나의 정보를 포함한다.
그리고, 신체 진찰 정보는 얼굴, 손발, 몸통에서 눈으로 관찰 가능한 상태 정보와, 소변, 배변, 통증 중에서 적어도 하나의 정보를 포함한다.
또한, 진료 면담 정보는 증상의 양상, 가족력, 흡력력, 음주력, 투약상황, 근무 여건 및 식사 습관 중에서 적어도 하나의 정보를 포함한다.
그 다음, 가상캐릭터 제공부(350)는 가상의 의료인 캐릭터와 환자 캐릭터를 생성한다. 그리고, 생성된 의료인 캐릭터는 제1 가상현실 HMD(111)를 통해 출력되고, 생성된 환자 캐릭터는 제2 가상현실 HMD(121)를 통해 출력된다(S340).
부연하자면, 가상캐릭터 제공부(350)는 일반적인 의료인의 모습을 형상화한 가상의 의료인 캐릭터를 생성하여 제2 참여자 단말기(220)에 전달한다. 그러면, 제2 참여자 단말기(220)는 전달받은 특정 상황 시나리오 및 가상의 의료인 캐릭터를 제2 가상현실 HMD(121)를 통해 출력시킨다.
또한, 가상캐릭터 제공부(350)는 특정한 상황의 시나리오에 매칭되는 가상의 환자 캐릭터를 생성하고, 생성된 환자 캐릭터를 제1 참여자 단말기(210)에 제공한다. 그러면, 제1 참여자 단말기(210)는 제어장치(300)로부터 전달받은 가상의 환자 캐릭터를 제1 가상현실 HMD(111)를 통해 출력시킨다.
그 다음, 제1 참여자 및 제2 참여자는 제1 가상현실 HMD(111) 및 제2 가상현실HMD(121)를 통해 출력된 가상 현실에서의 진료 및 임상술기 시뮬레이션을 수행한다(S350).
이하에서는 도 6 내지 도 8을 이용하여 진료 및 임상술기 시뮬레이션을 수행하는 방법에 대해 더욱 상세하게 설명한다.
도 6은 도 3에 도시된 S350단계를 설명하기 위한 순서도이다.
도 6에 도시된 바와 같이, 참여자 단말기(210,220)는 가상캐릭터 제공부(350)에서 생성된 캐릭터를 가상현실 HMD(111,121)를 통해 출력시킨다(S351).
부연하자면, 제2 참여자 단말기(220)는 가상캐릭터 제공부(350)에서 생성된 가상의 의료인 캐릭터를 제2 가상현실 HMD(121)를 통해 출력시킨다.
도 7은 도 6에 도시된 S351단계에서 환자 역할을 수행하는 참여자의 HMD를 통해 출력된 화면을 나타내는 예시도이다.
도 7에 도시된 바와 같이, 환자 역할을 수행하는 제2 참여자의 제2 가상현실 HMD(121)는 복수개로 분할된 화면을 출력한다.
첫 번째 화면은 참여자 즉, 환자의 시점에서 바라봤을 때의 정면에 나타나는 환경 즉, 가상의 의료인을 출력한다. 두 번째 화면은 특정 상황의 시나리오 정보를 출력한다. 따라서, 참여자는 의료인의 질문에 대응하는 대답을 출력된 시나리오에 따라 제공한다.
세 번째 화면은 평가정보 획득부(370)에서 제공하는 평가 지표에 따라 채점을 수행할 수 있도록 하고, 네 번째 화면은 참여자가 진료 및 임상술기를 진행함에 따라 의사에 대한 주관적인 평가를 기록할 수 있도록 한다.
또한 제1 참여자 단말기(210)는 가상캐릭터 제공부(350)에서 생성된 가상의 환자 캐릭터를 제1 가상현실 HMD(111)를 통해 출력시킨다.
도 8은 도 6에 도시된 S351단계에서 의료인 역할을 수행하는 제1 참여자의 제1 가상현실 HMD를 통해 출력된 화면을 나타내는 예시도이다.
도 8에 도시된 바와 같이, 환자 역할을 수행하는 제1 참여자의 제1 가상현실 HMD(111)는 의료인의 시점에서 생성된 가상의 환자 캐릭터를 출력한다.
그 다음, 제1 참여자는 제1 가상현실 HMD(111)을 통해 출력된 가상의 환자 캐릭터에 대한 진료를 수행한다.
그러면, 음성변환부(360)는 진료를 수행함에 따라 발생된 제1 참여자의 음성과 제2 참여자의 음성을 각각 수신하고, 수신된 음성을 가상의 캐릭터에 따라 변조시킨다(S352).
본 발명의 실시예에 따른 진료 및 임상술기 시뮬레이션은 참여자의 익명성을 보호하기 위하여 가상의 의료인 캐릭터와 환자 캐릭터를 제공한다. 따라서, 음성 변환부(260)는 제1 참여자에 의해 발화된 음성을 변조하여 제2 참여자가 착용한 제2 가상현실 HMD(121)을 통해 출력시키고, 제2 참여자에 의해 발화된 음성을 변조하여 제1 참여자가 착용한 제1 가상현실 HMD(111)을 통해 출력한다.
진료를 수행하는 동안, 제2 참여자는 제2 핸드컨트롤러(122)를 이용하여 평가 정보를 입력한다. 그러면, 평가정보 획득부(370)는 입력된 평가 정보를 수집한다(S353).
부연하자면, 제1 참여자가 사용하는 제1 핸드컨트롤러(121)는 참여자의 손을 트랙킹하고, 트랙킹하여 생성된 신호는 가상의 의사 캐릭터의 손동작으로 제1 가상현실 HMD(111)을 통해 출력된다.
반면에. 제2 참여자가 사용하는 제2 핸드컨트롤러(122)는 화면 제어 또는 정보 탐색을 하기 위하여 마우스 역할을 수행한다. 그리고, 의료인의 질문 또는 요구에 따라 환자의 손짓 또는 특정 동작을 수행할 경우에만 참여자의 손을 트랙킹하고, 트랙킹하여 생성된 신호는 가상의 환자 캐릭터의 손동작으로 제2 가상현실 HMD(121)을 통해 출력된다.
따라서, 진료를 수행할 경우, 제어부(390)는 제2 참여자의 제2 핸드컨트롤러(122)를 움직임을 문자로 인식하고, 인식된 결과를 평가정보 획득부(370)에 전달한다. 그러면, 평가정보 획득부(370)는 인식된 문자 정보를 의료인에 대한 평가 정보로 수집한다.
한편, 정밀시진, 청진, 타진 및 촉진을 수행하고자 할 경우, 제1 참여자는 음성으로 임상술기 진행 요청을 한다. 그러면, 제어부(390)는 제1 참여자 단말기(210)를 통해 수신된 임상술기 진행 요청에 따라 임상술기를 진행할 수 있도록 가상의 실행용 물체를 제공한다(S354).
예를 들어, 제1 참여자가 "청진하겠습니다"라고 발화하면, 제어부(390)는 임상술기 진행 요청에 따른 음성 데이터에 대응하여 "청진기"와 같은 실행용 물체를 제공하고, 제공된 실행용 물체는 제1 참여자가 착용하고 있는 제1 가상현실 HMD(111)을 통해 출력된다.
S354단계에서 제공된 실행용 물체를 이용하여 임상술기가 진행되는 동안, 평가정보 획득부(370)는 의료인의 동작에 따라 자동적으로 채점을 수행한다(S355).
부연하자면, 평가정보 획득부(370)는 임상술기를 진행함에 따라 정해진 순서대로 임상술기를 진행하는지 여부를 판단하고, 판단된 결과를 점수화한다. 예를 들어, 청진은 심장청진, 호흡청진, 배촉진으로 이루어진다고 가정한다. 평가정보 획득부(370)는 심장 청진, 호흡 청진, 배촉진의 순으로 진행되었는지, 생략된 청진 순서가 발생되었는지 여부를 판단하고, 판단된 결과를 점수화 한다.
S355단계가 완료되면, 평가정보 획득부(370)는 S353단계에서 획득한 평가 정보와 S355단계에서 자동으로 평가된 결과 합산하여 획득한 최종 결과를 제1 참여자 단말기(210)에 전달하고, 제1 참여자 단말기(210)는 제1 가상현실 HMD(111)을 통해 최종 결과를 출력시킨다(S356).
제1 가상현실 HMD(111)는 수신된 최종 결과를 변조된 환자의 음성으로 출력할 수도 있다. 이때, 최종 결과는 수동 및 자동으로 획득한 평가 결과와 합격 여부, 잘못된 점 등에 대한 안내 사항을 포함한다.
한편, 제1 참여자 또는 제2 참여자는 상대방에 대한 평가를 구두로 표현할 수 있다. 이를 다시 설명하면, 제1 참여자와 제2 참여자는 평가 결과에 대해 서로 대화하듯이 발화한다. 예를 들어 제1 참여자는 의료인 역할을 수행하는데 보완해야 될 부분, 잘못한 부분 등에 대해 질의하고, 제2 참여자는 질의에 대해 응답한다. 제1 참여자와 제2 참여자가 대화를 통해 평가 결과를 제공할 경우, 제1 참여자 및 제2 참여자의 음성은 가상의 의료인 캐릭터 및 환자 캐릭터에 따라 변조된 상태를 유지한다.최종 결과에 대한 출력이 완료되면, 제1 참여자는 환자 역할을 수행한 참가자에게 추가 포인트를 제공할 수 있다. 즉, 제1 참여자는 제1 핸드컨트롤러(121) 또는 제1 참여자 단말기(210)를 이용하여 환자 역할을 수행한 참여자에게 제공하고자 하는 포인트를 입력한다. 그러면, 포인트 제공부(280)는 제1 참여자에게 부여된 포인트 중에서 환자 역할을 수행한 참여자에게 제공하고자 하는 포인트를 차감하고, 차감된 포인트는 제2 참여자에게 부여된다. 이와 같이 본 발명에 따른 진료 및 임상술기 시뮬레이션 제공시스템은, 환자의 나이, 성별, 몸무게, 인종 및 체형에 따라 가상의 환자 캐릭터를 생성하고, 생성된 가상의 캐릭터에 매칭되도록 목소리를 실시간으로 변조하여 가상현실상황의 현실감을 극대화할 수 있고, 진료 및 임상술기를 수행하고 난 후 평과 결과를 제공하여 학습효과를 증대시킬 수 있다.
또한, 본 발명에 따른 진료 및 임상술기 시뮬레이션 제공시스템은, 시뮬레이션을 참여하는 참여자에게 포인트를 지급하되, 의료인 역할 시에는 포인트를 소모시키고, 환자 역할 시에는 포인트를 적립시키는 구조로 형성하여 환자 역할의 참여도를 높임으로서 환자 역할과 의료인 역할의 참여자 사이에 매칭율을 증가시킬 수 있다. 또한, 본 발명에 따른 진료 및 임상술기 시뮬레이션 제공시스템은, 의료인 및 환자의 역할 수행에 따른 평점을 부여하고, 평점이 낮을 경우에는 불이익을 제공하여 역할에 대한 적극적인 참여를 유도시키며, 학습 중 발생할 수 있는, 차별, 희롱 등의 문제를 대비하여 녹화를 수행하므로 불미스러운 행동이 발생되는 것을 미연에 방지할 수 있다.
또한, 본 발명에 따른 진료 및 임상술기 시뮬레이션 제공시스템은, 온라인을 통해서 진료 및 임상술기 시뮬레이션을 수행할 수 있으므로, 시간 및 장소에 구애받지 않은 상태에서 의료인 또는 환자의 역학을 수행하여 의료기술 및 환자 면담기술을 습득할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
110: 제1 가상현실(VR) 장치
111 : 제1 가상현실 HMD
112 : 제1 핸드컨트롤러
120: 제2 가상현실(VR) 장치
121 : 제2 가상현실 HMD
122 : 제2 핸드컨트롤러
210 : 제1 참여자 단말기
220 : 제2 참여자 단말기
300 : 제어장치
310 : 인터페이스부
320 : 매칭부
330 : 모드 선택부
340 : 시나리오 제공부
350 : 가상캐릭터 제공부
360 : 음성변환부
370 : 평가정보 획득부
380 : 포인트제공부
390 : 제어부
111 : 제1 가상현실 HMD
112 : 제1 핸드컨트롤러
120: 제2 가상현실(VR) 장치
121 : 제2 가상현실 HMD
122 : 제2 핸드컨트롤러
210 : 제1 참여자 단말기
220 : 제2 참여자 단말기
300 : 제어장치
310 : 인터페이스부
320 : 매칭부
330 : 모드 선택부
340 : 시나리오 제공부
350 : 가상캐릭터 제공부
360 : 음성변환부
370 : 평가정보 획득부
380 : 포인트제공부
390 : 제어부
Claims (10)
- 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템에 있어서,
가상의 공간에서 환자와의 면담을 수행하고 가상의 도구를 제어하여 임상술기를 수행하도록 제1 및 제2 참여자 단말기로부터 전달받은 데이터를 3D 모델로 실시간 랜더링하는 가상현실 HMD(Head Mount Display)와 가상의 객체를 제어하거나 참여자의 손 동작을 트래킹하는 핸드컨트롤러를 포함하는 가상현실(Virtual Reality, VR) 장치, 그리고,
상기 제1 및 제2 참여자 단말기로부터 수신된 역할정보를 이용하여 의료인 역할을 수행하는 제1 참여자와 환자 역할을 수행하는 제2 참여자를 매칭하고, 매칭이 완료되면 제1 참여자가 착용하는 가상현실 HMD에는 상황시나리오에 따라 생성된 가상의 환자 캐릭터를 출력하고, 제2 참여자가 착용하는 가상현실 HMD에는 가상의 의료인 캐릭터와 평가지표에 목록을 출력시켜 진단 또는 임상술기 시뮬레이션을 수행하게 하는 제어장치를 포함하며,
상기 제어장치는,
특정 신체 진찰 유무 및 특정 임상술기 유무에 따른 자동 채점 지표와 환자에 대한 의료인의 태도 및 관찰에 따른 수동 채점 지표를 포함하는 평가지표를 제공하고, 제2 참여자에 의해 입력된 평가 결과를 획득하는 평가정보 획득부,
진료 및 임상술기 시뮬레이션을 수행할 수 있도록 포인트를 지급하고, 선택된 역할에 따라 포인트를 가감 또는 차감하는 포인트제공부, 그리고
상기 VR 장치로부터 수신된 트래킹 정보와 상기 생성된 가상 캐릭터를 정합하여 가상현실을 제공하며, 시뮬레이션 진행 과정 중에서 의료인 역할을 수행하는 제1 참여자의 단말기로부터 수신된 임상술기모드 요청 신호에 따라 신체를 진찰할 수 있는 실행용 물체를 가상으로 제공하는 제어부를 더 포함하는 진료 및 임상술기 시뮬레이션 제공 시스템. - 제1항에 있어서,
상기 제어장치는,
상기 복수의 참여자들로부터 의료인 역할 또는 환자 역할에 대한 요청 정보를 수신하는 인터페이스부,
상기 복수의 참여자로부터 매칭 요청 신호를 수신하면, 상기 역할 정보를 이용하여 의료인 역할을 담당할 상기 제1 참여자와 환자 역할을 담당할 제2 참여자를 매칭하는 매칭부,
상기 제1 및 제2 참여자들로부터 진료모드 또는 임상술기모드를 선택받는 모드 선택부,
선택된 모드에 대응하여 특정한 상황의 시나리오를 제공하는 시나리오 제공부,
상기 특정한 상황의 시나리오에 대응되는 환자 정보를 이용하여 가상의 환자 캐릭터를 생성하여 제1 참여자가 착용한 가상현실 HMD로 제공하고, 가상의 의료인 캐릭터를 생성하여 제2 참여자가 착용한 가상현실 HMD로 제공하는 가상캐릭터 제공부, 그리고
상기 제1 참여자 또는 제2 참여자가 착용한 가상현실 HMD로부터 전달받은 제1 및 제2 참여자의 음성 데이터를 상기 가상의 의료인 캐릭터 또는 환자 캐릭터에 따라 변조하여 제공하는 음성변환부를 더 포함하는 진료 및 임상술기 시뮬레이션 제공 시스템. - 삭제
- 제2항에 있어서,
상기 시나리오 제공부는,
상기 환자에 대한 기본정보, 신체 진찰정보 및 진료 면담정보 중에서 적어도 하나의 정보를 제2 참여자 단말기에 제공하는 진료 및 임상술기 시뮬레이션 제공 시스템. - 제4항에 있어서,
상기 환자에 대한 기본 정보는,
성명, 나이, 성별, 인종, 피부, 직업, 몸무게 및 체형에 대한 정보 중에서 적어도 하나를 포함하고,
상기 신체 진찰 정보는,
얼굴, 손발, 몸통에서 눈으로 관찰 가능한 상태 정보와, 소변, 배변, 통증 중에서 적어도 하나의 정보를 포함하고,
상기 진료 면담 정보는,
증상의 양상, 가족력, 흡력력, 음주력, 투약상황, 근무 여건 및 식사 습관 중에서 적어도 하나의 정보를 포함하는 진료 및 임상술기 시뮬레이션 제공 시스템. - 제1항에 있어서,
상기 포인트제공부는,
의료인 역할을 선택하면 제1 참여자가 보유 중인 포인트 중에서 일부를 차감시키고, 환자 역할을 선택하면 제2 참여자에게 포인트를 추가로 지급하는 진료 및 임상술기 시뮬레이션 제공 시스템. - 제1항에 있어서,
상기 제1 참여자 및 제2 참여자가 진료 모드를 선택하면,
상기 제어부는,
상기 제1 참여자의 핸드컨트롤러에는 지속적으로 트래킹을 추적하는 제어신호를 송신하고,
상기 제2 참여자의 핸드컨트롤러에는 트래킹을 중지하고 마우스 역할을 수행하게 하는 제어신호를 송신하며, 제1 참여자의 요청에 따라 환자의 행동을 표현하고자 할 경우에만 트래킹을 추적하는 제어신호를 송신하는 진료 및 임상술기 시뮬레이션 제공 시스템. - 제7항에 있어서,
상기 제2 참여자의 핸드컨트롤러가 마우스 역할을 수행하면,
상기 제어부는,
상기 핸드컨트롤러의 움직임을 문자로 인식하고, 인식된 문자는 의료인의 역할을 수행하는 제1 참여자에 대한 평가 정보로 제공되는 진료 및 임상술기 시뮬레이션 제공 시스템. - 제2항에 있어서,
상기 제1 참여자 및 제2 참여자가 임상술기 모드를 선택하면,
상기 제어부는,
임상술기에 필요한 도구를 가상현실 상에 제공하는 진료 및 임상술기 시뮬레이션 제공 시스템. - 제1항에 있어서,
상기 평가정보 획득부는,
임상술기를 진행함에 따라 정해진 순서대로 도구를 사용하였는지 여부를 판단하고, 판단된 결과를 자동으로 채점하여 점수화하는 진료 및 임상술기 시뮬레이션 제공 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200127109A KR102423849B1 (ko) | 2020-09-29 | 2020-09-29 | 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200127109A KR102423849B1 (ko) | 2020-09-29 | 2020-09-29 | 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220043562A KR20220043562A (ko) | 2022-04-05 |
| KR102423849B1 true KR102423849B1 (ko) | 2022-07-21 |
Family
ID=81182046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200127109A KR102423849B1 (ko) | 2020-09-29 | 2020-09-29 | 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102423849B1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115954097A (zh) * | 2022-09-26 | 2023-04-11 | 深圳市万景数字有限公司 | 基于虚拟现实技术的医疗辅助装置及其控制系统 |
| KR20240053366A (ko) | 2022-10-17 | 2024-04-24 | 경희대학교 산학협력단 | 메타버스 기반의 한의학 임상 시뮬레이션 시스템 |
| WO2024112106A1 (ko) * | 2022-11-25 | 2024-05-30 | 경북대학교 산학협력단 | 응급상황 대처 실습을 위한 증강현실 임상시뮬레이션 시스템 및 방법 |
| WO2024112116A1 (ko) * | 2022-11-25 | 2024-05-30 | 경북대학교 산학협력단 | 의료 실습을 위한 확장현실(xr) 임상시뮬레이션 시스템 및 방법 |
| CN117789959A (zh) * | 2023-11-14 | 2024-03-29 | 艾迪普科技股份有限公司 | 一种基于虚拟交互技术的远程医疗测控方法、系统及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102160669B1 (ko) * | 2019-01-25 | 2020-09-28 | 서울대학교산학협력단 | 의료 커뮤니케이션 가상 훈련 시뮬레이션 시스템 및 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2050086A2 (en) * | 2006-07-12 | 2009-04-22 | Medical Cyberworlds, Inc. | Computerized medical training system |
| US11157131B2 (en) * | 2017-02-24 | 2021-10-26 | Vrad Inc. | Virtual reality-based radiology practice apparatus and method |
-
2020
- 2020-09-29 KR KR1020200127109A patent/KR102423849B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102160669B1 (ko) * | 2019-01-25 | 2020-09-28 | 서울대학교산학협력단 | 의료 커뮤니케이션 가상 훈련 시뮬레이션 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220043562A (ko) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102423849B1 (ko) | 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템 | |
| US11815951B2 (en) | System and method for enhanced training using a virtual reality environment and bio-signal data | |
| Hilty et al. | A review of telepresence, virtual reality, and augmented reality applied to clinical care | |
| Fox et al. | Virtual reality: A survival guide for the social scientist | |
| Psaltis et al. | Multimodal student engagement recognition in prosocial games | |
| US6503085B1 (en) | Use of virtual reality and desk top computer formats to diagnose executive dysfunctions | |
| CN110890140A (zh) | 基于虚拟现实的自闭症康复训练及能力评估系统及方法 | |
| US20050216243A1 (en) | Computer-simulated virtual reality environments for evaluation of neurobehavioral performance | |
| US20190130788A1 (en) | Virtual Reality Microsimulation Platform | |
| US20080050711A1 (en) | Modulating Computer System Useful for Enhancing Learning | |
| US20200320770A1 (en) | Dialog-based testing using avatar virtual assistant | |
| US20220198952A1 (en) | Assessment and training system | |
| WO2021090331A1 (en) | A system and method of diagnosing or predicting the levels of autism spectrum disorders (asd) using xr-ai platform | |
| Yang et al. | Prototyping virtual reality interactions in medical simulation employing speech recognition | |
| Ahmed et al. | InterViewR: A mixed-reality based interview training simulation platform for individuals with autism | |
| Khosravi et al. | Learning enhancement in higher education with wearable technology | |
| Dicheva et al. | Digital Transformation in Nursing Education: A Systematic Review on Computer-Aided Nursing Education Pedagogies, Recent Advancements and Outlook on the Post-COVID-19 Era | |
| Streck et al. | neomento SAD-VR treatment for social anxiety | |
| Hubal et al. | Synthetic characters in health-related applications | |
| Thrift | Nursing student perceptions of Presence in a virtual learning environment: a qualitative description study | |
| US20240165518A1 (en) | Methods for adaptive behavioral training using gaze-contingent eye tracking and devices thereof | |
| de Sousa Rego | Serious games for health rehabilitation | |
| Bugeja et al. | Analysing Serious Games and Virtual Reality for Cardiac Arrest Simulation | |
| Chan | Development and comparison of augmented and virtual reality interactions for direct ophthalmoscopy | |
| Tümler et al. | Igbudu Mary |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |