KR102127664B1 - 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법 - Google Patents
가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102127664B1 KR102127664B1 KR1020190023586A KR20190023586A KR102127664B1 KR 102127664 B1 KR102127664 B1 KR 102127664B1 KR 1020190023586 A KR1020190023586 A KR 1020190023586A KR 20190023586 A KR20190023586 A KR 20190023586A KR 102127664 B1 KR102127664 B1 KR 102127664B1
- Authority
- KR
- South Korea
- Prior art keywords
- dental
- extraction procedure
- virtual reality
- extraction
- modeling
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 148
- 238000000605 extraction Methods 0.000 title claims abstract description 141
- 238000004088 simulation Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 13
- 238000002360 preparation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 208000006735 Periostitis Diseases 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- RRAMGCGOFNQTLD-UHFFFAOYSA-N hexamethylene diisocyanate Chemical compound O=C=NCCCCCCN=C=O RRAMGCGOFNQTLD-UHFFFAOYSA-N 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000003460 periosteum Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법에 관한 것이다. 본 발명의 발치 시술 협조 시뮬레이션 시스템은 치과 발치 시술에 사용되는 다양한 치과 장비 및 치과 도구들 각각을 3차원 모델링 처리하여 상기 3 차원 모델링 객체들을 생성 및 저장한다. 발치 시술 협조 시뮬레이션 시스템은 머리 착용형 디스플레이 장치로 가상 현실 기반의 영상을 출력한다. 발치 시술 협조 시뮬레이션 시스템은 실습자가 머리 착용형 디스플레이 장치와 모션 컨트롤러를 작용하고, 치과 발치 시술 중 발치 시술 상황을 선택하여 선택된 발치 시술 상황에 필요한 치과 도구들을 선택하여 덴탈 트레이에 수납하도록 실습 교육 시뮬레이션을 처리한다. 본 발명에 의하면, 가상 현실을 통한 시뮬레이션 교육으로 학교 교육과 현장 교육의 간극을 줄여서 임상에 바로 적용 가능하여 발치 시술 업무를 현실화시킬 수 있다.
Description
본 발명은 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템에 관한 것으로, 좀 더 구체적으로 치과 발치 시술 시, 발치 시술 상황에 필요한 치과 장비 및 치과 도구의 준비를 위한 교육에 있어 가상 현실을 기반으로 한 시뮬레이션을 이용하여 실제 업무에 적용할 수 있도록 하는 가상 현실 기반의 발치 시술 협조 시뮬레이션 시스템 및 그 방법에 관한 것이다.
4 차 기술 혁명 시대를 살고 있는 요즈음 의료 교육에 있어, 가상 현실 기반 훈련의 중요성은 빠르게 증가하고 있다. 하지만 치위생 및 치과 의료 교육에 있어 교재의 그림과 사진 또는 실물 기구들을 시청각적 교육 매체로만 경험하며 교육되어 지고 있는 실정이다. 그러므로 교육 후 현장에서 바로 적용하여 업무를 수행함에 있어 시행 착오와 실수를 반복하게 된다.
따라서 현실과 동일한 환경에 노출을 반복하여 임상에서 바로 적용하여 치과 위생사의 발치 협조 업무를 수행할 수 있도록 하는 가상 현실을 기반으로 한 치과 시술 시, 협조에 필요한 시뮬레이션의 개발이 절실히 필요한 실정이다.
본 발명의 목적은 치과 의료 교육에 의해 임상 기술을 지속적으로 경험할 수 있도록 하기 위한 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법을 제공하는 것이다.
본 발명의 다른 목적은 임상 실습 중 발치 시술 시 협조에 필요한 다양한 치과 장비와 치과 도구들에 관한 시뮬레이션을 개발하여 실제 업무에 적용할 수 있도록 교육하기 위한 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 치과 발치 시술의 실습과 현장 업무 간의 간극을 최소화할 수 있는 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법을 제공하는 것이다.
상기 목적들을 달성하기 위한, 본 발명의 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템은 치과 발치 시술에 필요한 다양한 치과 장비와 치과 도구들을 3 차원 모델링 객체로 생성하고, 가상 현실 기반의 영상을 이용하여 발치 시술 상황을 선택하고, 선택된 발치 시술 상황에 필요한 치과 도구들을 덴탈 트레이에 선택 및 수납하도록 하는데 그 한 특징이 있다. 이와 같은 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템은 가상 현실을 통한 시뮬레이션 교육을 통해 발치 시술에 대한 실제 임상 업무에 적용할 수 있도록 교육 및 실습이 가능하다.
이 특징에 따른 본 발명의 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템은, 실습자의 머리에 착용하여 치과 발치 시술에 사용되는 복수 개의 치과 장비 및 치과 도구들 각각에 대응하는 3 차원 모델링 객체들을 가상 현실 기반의 영상으로 출력하는 머리 착용형 디스플레이 장치; 실습자의 손에 장착되어 실습자의 손 움직임을 감지하고, 감지된 손 움직임에 대응하여 상기 치과 발치 시술 중 하나의 발치 시술 상황을 선택하고, 상기 영상에서 상기 3 차원 모델링 객체들 중 선택된 상기 발치 시술 상황에 필요한 치과 도구들을 상기 영상에 표시되는 덴탈 데스크에서 선택하여 덴탈 트레이에 수납하도록 처리하는 모션 컨트롤러; 및 상기 치과 발치 시술에 사용되는 다양한 치과 장비 및 치과 도구들 각각을 3차원 모델링 처리하여 상기 3 차원 모델링 객체들을 생성 및 저장하고, 상기 영상과 상기 3 차원 모델링 객체들을 상기 머리 착용형 디스플레이 장치에 표시하도록 처리하고, 상기 모션 컨트롤러로 하여금 상기 치과 발치 시술 중 하나의 상기 발치 시술 상황을 선택하도록 처리하고, 상기 머리 착용형 디스플레이 장치의 상기 영상에서 상기 3 차원 모델링 객체들 중 선택된 상기 발치 시술 상황에 필요한 복수 개의 치과 도구들을 상기 덴탈 테스크에서 선택하여 상기 덴탈 트레이에 수납하도록 처리하며, 선택된 상기 발치 시술 상황에 필요한 상기 치과 도구들이 상기 덴탈 트레이에 수납 완료되는지를 판별하는 가상 현실 시뮬레이터를 포함한다.
이 특징에 있어서, 상기 가상 현실 시뮬레이터는; 치과 발치 시술에 필요한 다양한 치과 장비와 치과 도구들을 3 차원 모델링 처리하여 상기 3 차원 모델링 객체를 생성 및 저장하는 3 차원 모델링부; 상기 머리 착용형 디스플레이 장치와 상기 모션 컨트롤러들과의 유저 인터페이스(User Interface : UI)/유저 경험(User Experience : UX)을 위한 인터페이스부; 및 상기 인터페이스부를 통해 상기 머리 착용형 디스플레이 장치와 상기 모션 컨트롤러와의 가상 현실 기반의 상기 영상으로 치과 발치 시술에 필요한 치과 장비와 치과 도구들을 표시하도록 제공하고, 치과 발치 시술 중 하나의 상기 발치 시술 상황을 선택하면, 선택된 상기 발치 시술 상황에 필요한 치과 도구들을 상기 덴탈 데스크에서 선택하여 상기 덴탈 트레이에 수납하도록 시뮬레이션 처리하는 시뮬레이션 처리부를 포함한다.
이 특징에 있어서, 상기 가상 현실 시뮬레이터는; 선택된 상기 발치 시술 상황에 필요한 상기 치과 도구들이 상기 덴탈 트레이에 수납 완료되면, 상기 발치 시술 상황에 대한 실습이 성공된 것으로 판별하고, 성공된 상기 발치 시술 상황에 대한 실습 결과를 평가 처리한다.
상술한 바와 같이, 본 발명의 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템은 치과 발치 시술에 필요한 다양한 치과 장비와 치과 도구들을 3 차원 모델링 객체로 생성하고, 가상 현실 기반의 영상을 이용하여 발치 시술 상황을 선택하고, 선택된 발치 시술 상황에 필요한 치과 도구들을 덴탈 트레이에 선택 및 수납하도록 하여 발치 시술 협조 시뮬레이션을 구현함으로써, 임상에서 바로 적용하여 치과 위생사의 발치 시술의 협조 업무를 수행할 수 있다.
또 본 발명의 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템은가상 현실을 통한 시뮬레이션 교육으로 학교 교육과 현장 교육의 간극을 줄여 발치 시술 업무를 현실화시킬 수 있다.
또 본 발명의 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템은 다양한 발치 시술의 상황에 따라 필요한 치과 장비 및 치과 도구를 준비하도록 협조하는 시뮬레이션을 구현함으로써, 발치 시술에 관한 임상 실습의 대체제 또는 보조제로써 활용이 가능하며, 실습을 통하여 학생들의 수업에 대한 관심과 참여도를 높일 수 있다.
또한 본 발명의 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템은 단발성 교육에서 벗어나 반복적이고 지속적인 교육이 이루어지므로, 발치 시술에 대한 실제 임상 업무에 용이하게 적용할 수 있다.
뿐만 아니라, 본 발명의 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템은 가상 현실 기반의 첨단 장비를 이용하여 실습 교육을 체험할 수 있어 학생들의 학습 동기 유발과 자기 주도적 학습 효과를 얻을 수 있다.
도 1은 본 발명에 따른 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템의 개략적인 구성을 도시한 블럭도,
도 2는 도 1에 도시된 VR 시뮬레이터의 구성을 나타내는 블럭도,
도 3a 내지 도 3e는 본 발명에 따른 3D 모델링된 치과 장비들을 나타내는 도면들, 그리고
도 4는 본 발명에 따른 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템의 시뮬레이션 과정을 나타내는 흐름도이다.
도 2는 도 1에 도시된 VR 시뮬레이터의 구성을 나타내는 블럭도,
도 3a 내지 도 3e는 본 발명에 따른 3D 모델링된 치과 장비들을 나타내는 도면들, 그리고
도 4는 본 발명에 따른 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템의 시뮬레이션 과정을 나타내는 흐름도이다.
본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.
이하 첨부된 도 1 내지 도 4를 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템의 개략적인 구성을 도시한 블럭도이고, 도 2는 도 1에 도시된 VR 시뮬레이터의 구성을 나타내는 블럭도이며, 그리고 도 3a 내지 도 3e는 본 발명에 따른 3D 모델링된 치과 장비들을 나타내는 도면들이다.
도 1 내지 도 3e를 참조하면, 본 발명의 발치 시술 협조 시뮬레이션 시스템(100)은 가상 현실을 기반으로 하여 치위생 및 치과 의료 교육을 제공하기 위하여, 치과 위생사의 업무 중 단순 발치, 외과적 발치 및 매복치 발치 등의 다양한 발치 시술의 상황에 필요한 치과 장비 및 치과 도구를 준비하도록 협조하는 가상 현실 기반의 실습 교육 시뮬레이션을 구현하여, 실제 업무에 적용할 수 있도록 하여 현장에서의 임상 업무 능력을 배양하고자 한다.
이를 위해 본 발명의 발치 시술 협조 시뮬레이션 시스템(100)은 머리 착용형 디스플레이(Head Mounted Display : HMD) 장치(110)와, 모션 컨트롤러(Motion controller)(120) 및 가상 현실(Virtual Reality : VR) 시뮬레이터(130)를 포함한다. HMD 장치(110)와, 모션 컨트롤러(120) 및 가상 현실(VR) 시뮬레이터(130)들은 상호 통신망(102)을 통해 연결된다.
구체적으로, 통신망(102)은 예를 들어, USB, HMDI, 블루투스, 와이파이 등의 유무선 통신망으로 구비되어 HMD 장치(110)와, 모션 컨트롤러(120) 및 가상 현실(VR) 시뮬레이터(130)들 간에 가상 현실 기반의 영상을 표시하거나 가상 현실 콘텐츠를 제공하기 위해 상호 데이터 통신이 이루어진다.
HMD 장치(110)는 실습자의 머리에 착용하여 치과 발치 시술과 관련된 가상 현실 기반의 영상을 출력한다. 가상 현실 기반의 영상에는 치과 발치 시술을 위한 진료실, 진료실 내에 구비된 다양한 치과 장비 및 치과 도구들(예를 들어, 유니트 체어, 덴탈 데스크, 덴탈 트레이, 각종 시술 도구 등)이 표시된다. HMD 장치(110)는 가상 현실 시뮬레이터(130)로부터 치과 발치 시술을 위한 다양한 치과 장비 및 치과 도구들(예를 들어, 덴탈 데스크, 유니트 체어, 덴탈 트레이, 각종 시술 도구 등) 각각에 대응하는 복수 개의 3 차원 모델링 객체를 전송받아서 가상 현실 기반의 영상을 표시한다.
HMD 장치(110)는 모션 컨트롤러(120)의 동작에 따라 3 차원 모델링 객체들 중 덴탈 데스크로부터 각종 치과 도구들을 선택하여 덴탈 트레이에 수납하고, 이에 따른 과정들을 가상 현실 기반의 영상으로 표시한다. 이 때, HMD 장치(110)는 예컨대, 위치 추적 센서를 구비하는 경우, 실습자의 머리의 움직임과 위치에 따라 서로 다른 가상 현실 기반의 영상을 제공할 수 있다. 이러한 HMD 장치(110)는 실습자의 머리에 착용되어 하나의 디스플레이 장치에 두 개의 화면 또는 두 개의 디스플레이 장치를 통하여 사용자의 두눈에 각각의 시점을 제공하여 사용자가 거리감과 입체감을 느낄 수 있는 시각적 경험을 제공한다.
모션 컨트롤러(120)는 통신망(102)을 통해 HMD 장치(110)와 상호 연동 처리된다. 모션 컨트롤러(120)는 실습자의 손에 장착되어 실습자의 손의 움직임(예컨대, 손의 위치와 각도 등)을 감지한다. 모션 컨트롤러(120)는 감지된 손의 움직임에 대응하여 치과 발치 시술(예를 들어, 단순 발치, 외과적 발치 및 매복치 발치 등) 중 하나의 발치 시술 상황을 선택하고, HMD 장치(110)의 가상 현실 기반의 영상에서 3 차원 모델링 객체들 중 선택된 발치 시술 상황에 필요한 치과 도구들을 덴탈 데스크에서 선택하여 덴탈 트레이에 수납하도록 처리한다. 모션 컨트롤러(120)는 HMD 장치(110)의 위치에 대한 상대적 위치를 인식하여 가상 현실 기반의 영상에서 가상의 손을 렌더(render) 할 경우, 가상 현실 기반의 영상에서도 현실의 손의 위치에 따른 가상의 손을 보고 자신의 손처럼 인식하여 치과 발치 시술에 활용할 수 있다.
그리고 가상 현실(VR) 시뮬레이터(130)는 예컨대, 컴퓨터 장치, 서버 등으로 구비되고, 3 차원 모델링을 처리하여 치과 발치 시술에 사용되는 다양한 치과 장비 및 치과 도구들 각각에 대한 3 차원 모델링 객체들을 생성 및 저장한다. 여기서 3 차원 모델링된 치과 장비 및 치과 도구들은 예를 들어, 도 3a 내지 도 3e에 도시된 바와 같이, 다양한 치과 도구들을 보관하는 덴탈 데스크(dental desk)(144a), 발치 시술에 필요한 치과 도구들을 수납하는 덴탈 트레이(dental tray)(144b), 유니트 체어(unit chair)(144c), 다양한 덴탈 베이스 툴(dental base tools)들을 포함한다. 덴탈 베이스 툴에는 다양한 용도의 복수 개의 발치 겸자(144d), 발치 기자(144e) 등이 포함된다. 또한 덴탈 베이스 툴에는 도면에 도시되지 않았으나, 다양한 용도, 종류, 규격 등에 따른 큐렛, 디슈 포셉, 메스, 메스 홀더, 주사기, 세척용 주사기, 끌, 치경, 헝겊, 망치, 가위, 포셉, 타월 클램프, 골 겸자, 골막 기자, 흡입관 등 치과 발치 시술에 필요한 치과 도구들이 포함된다.
가상 현실 시뮬레이터(130)는 통신망(102)을 통하여 가상 현실 기반의 영상과 3 차원 모델링 객체들을 HMD 장치(110)에 표시하도록 처리한다. 가상 현실 시뮬레이터(130)는 모션 컨트롤러(120)에 의해 HMD 장치(110)에 표시된 가상 현실 기반의 영상에서 다양한 조건의 치과 발치 시술들 중 하나의 발치 시술 상황을 선택하도록 처리한다. 가상 현실 시뮬레이터(130)는 HMD 장치(110)의 가상 현실 기반의 영상에서 모션 컨트롤러(120)에 의해 하나의 발치 시술 상황이 선택되면, 3 차원 모델링 객체들 중 선택된 발치 시술 상황에 필요한 복수 개의 치과 도구들을 덴탈 데스크에서 선택하여 덴탈 트레이에 수납하도록 처리한다. 가상 현실 시뮬레이터(130)는 선택된 발치 시술 상황에 필요한 치과 도구들이 모두 선택 완료되는지를 판별한다. 가상 현실 시뮬레이터(130)는 모든 치과 도구들이 선택되어 덴탈 트레이에 수납 완료되면, 해당 실습 과정이 성공적으로 이루어졌음으로 판별하여 다른 발치 시술 상황을 선택하도록 하거나, 다른 실습자가 교육할 수 있도록 초기화한다. 이 때, 가상 현실 시뮬레이터(130)는 실습자의 실습 결과에 대해 평가를 처리할 수 있다.
구체적으로, 본 발명의 실시예에 따른 가상 현실 시뮬레이터(130)는 통신부(132), 제어부(134), 저장부(136) 및 가상 현실 시뮬레이션 처리부(138)를 포함한다.
통신부(132)는 통신망(102)을 통해 HMD 장치(110)와, 모션 컨트롤러(120)에 연결되어 가상 현실 콘텐츠를 제공하거나, HMD 장치(110)와 모션 컨트롤러(120)의 동작에 따른 신호를 받아들인다.
저장부(136)는 실습자의 개인 정보(예를 들어, 성명, 학번 등)와, 가상 현실 시뮬레이션에 따른 실습 평가 정보를 저장한다.
가상 현실 시뮬레이션 처리부(138)는 통신망(102)을 통하여 가상 현실 기반의 영상과 3 차원 모델링 객체들을 HMD 장치(110)에 표시하고, 모션 컨트롤러(120)에 의해 HMD 장치(110)에 표시된 가상 현실 기반의 영상에서 다양한 조건의 치과 발치 시술들 중 하나의 발치 시술 상황을 선택하도록 처리한다. 가상 현실 시뮬레이션 처리부(138)는 HMD 장치(110)의 가상 현실 기반의 영상에서 모션 컨트롤러(120)에 의해 하나의 발치 시술 상황이 선택되면, 3 차원 모델링 객체들 중 선택된 발치 시술 상황에 필요한 복수 개의 치과 도구들을 덴탈 데스크에서 선택하여 덴탈 트레이에 수납하도록 처리한다. 가상 현실 시뮬레이션 처리부(138)는 선택된 발치 시술 상황에 필요한 치과 도구들이 모두 선택 완료되는지를 판별하여 모든 치과 도구들이 선택되어 덴탈 트레이에 수납 완료되면, 즉, 준비가 완료되면, 해당 실습 과정이 성공적으로 이루어졌음으로 판별한다. 가상 현실 시뮬레이션 처리부(138)는 다른 발치 시술 상황을 선택하도록 하거나, 다른 실습자가 교육할 수 있도록 초기화한다. 가상 현실 시뮬레이션 처리부(138)는 준비 완료된 실습자의 실습 결과에 따른 결과물(예를 들어, 준비 완료 시간, 선택 및 수납된 처리 횟수, 오선택 갯수 등)을 이용하여 해당 실습자의 실습 결과에 대해 평가 처리한다.
이 실시예에서 가상 현실 시뮬레이션 처리부(138)는 가상 현실 시뮬레이터(130)의 제반 동작에 따른 HMD 장치(110)와 모션 컨트롤러(120)들과의 유저 인터페이스(User Interface : UI)/유저 경험(User Experience : UX)을 위한 인터페이스부(140)와, 인터페이스부(140)를 통해 HMD 장치(110)와 모션 컨트롤러(120)와의 가상 현실 기반의 영상으로 발치 시술에 필요한 치과 장비와 치과 도구들을 표시하도록 제공하고, 치과 발치 시술 중 하나의 발치 시술 상황을 선택하면, 선택된 발치 시술 상황에 필요한 치과 도구들을 덴탈 트레이에 수납하도록 시뮬레이션 처리하는 시뮬레이션 처리부(142)와, 발치 시술에 필요한 치과 장비와 치과 도구들을 3 차원 모델링 처리하여 3 차원 모델링 객체를 생성 및 저장하는 3 차원 모델링부(144)와, HMD 장치(110)의 가상 현실 기반의 영상과 동일하거나 유사한 영상을 표시하고, 가상 현실 기반의 실습 교육 시뮬레이션의 처리 과정에 따른 다양한 영상을 표시하는 디스플레이부(146) 및, 실습자의 실습 결과에 따른 결과물(예를 들어, 준비 완료 시간, 선택 및 수납된 처리 횟수, 오선택 갯수 등)을 이용하여 해당 실습자의 실습 결과에 대해 평가 처리하는 평가 처리부(148)를 포함한다.
그리고 제어부(134)는 가상 현실 시뮬레이터(130)의 제반 동작을 처리하도록 통신부(132), 저장부(136) 및 가상 현실 시뮬레이션 처리부(138)를 제어한다.
이러한 가상 현실 시뮬레이터(130)는 3 차원 엔진을 이용하여 발치 시술을 위한 가상 현실 콘텐츠를 3 차원 모델링 처리하여 제작하고, HMD 장치(110)에 맞춰 렌더하기 위한 렌더링 파이프(rendering pipe)의 활용과, 모션 컨트롤러(120)의 입력과 피드백을 활용하기 위해 3 차원 엔진에 결합된 소프트웨어 개발 키트(Software Development Kit : SDK) 및 이에 결합된 함수들을 활용하여 구현된다.
또 가상 현실 시뮬레이터(130)는 가상 현실 콘텐츠를 통하여 치과 발치 시술 교육을 원활히 진행하기 위해서 유저 인터페이스(UI), 유저 경험(UX)을 디자인하여 구현된다. 즉, 가상 현실 시뮬레이터(130)는 치과 발치 시술에 필요한 다양한 치과 장비와 치과 도구들을 특정 발치 시술 상황에 따라 분류 및 준비하여 쉽게 학습을 진행할 수 있도록 실습의 흐름과 인터페이스를 디자인한다.
본 발명의 실시예에서, 발치 시술 협조 시뮬레이션 시스템(100)은 콘텐츠 구현을 위한 코드 작성, 가상 현실 속에서 사용될 치과 장비 및 치과 도구들의 3 차원 모델링 및 HMD 장치(110)와 모션 컨트롤러(120)와의 인터페이스를 위한 유저 인터페이스(UI)/유저 경험(UX) 디자인 과정을 통해 구현된다.
즉, 코드 작성에는 유저 소스 코드, 환경 소스 코드 및 치과 장비 소스 코드 등이 포함된다. 유저 소스 코드에는 HMD 장치(110)를 착용하는 실습자를 구현한 코드로써, HMD 장치(110)와 모션 컨트롤러(120)의 상호 연동 작용부터 HMD 장치(110)의 위치와 이동 방식을 정의하고 모션 컨트롤러(120)와 주변 환경 또는 치과 장비와 치과 도구들과의 상호 작용 방식을 정의하고 구현한다. 환경 소스 코드에는 유니트 체어와, 치과 도구들을 보관하는 덴탈 데스트를 포함하는 임상 환경을 가상 현실 속에 구현하는 것으로써, 실습에 필요한 환경물(예를 들어, 유니트 체어, 덴탈 데스크, 덴탈 트레이 등)을 구현하고, 환경 요소와 모션 컨트롤러(120)의 상호 작용에 따른 다양한 변수와 발치 시술 상황에 따른 내용들을 작성, 처리하고, 교육 과정을 판별하기 위해 유저가 발치 시술 상황을 부여받고, 부여받은 발치 시술 상황에 따른 결과물을 확인하는 등을 작성, 처리한다. 그리고 치과 장비 소스 코드에는 치과 장비의 3 차원 모델과 상호 작용 가능한 범위를 정의해 둔 클래스로써, 다양한 치과 장비와 치과 도구들의 데이터베이스와 연동하여 발치 시술 보조 시뮬레이션에서 다양한 치과 도구들을 선택하고 준비할 수 있도록 처리한다.
3 차원 모델링은 임상에서 실제 사용되는 다양한 치과 장비와 치과 도구들을 사진과 실제 제품들에 기반하여 3 차원 모델링 처리한다.
그리고 UI/UX 디자인은 발치 시술 보조에 있어서 치과 장비와 치과 도구들을 발치 시술 상황에 따라 분류하고, 발치 시술 상황에 필요한 치과 도구들의 준비 과정을 중심으로 쉽게 학습을 진행할 수 있도록 실습의 흐름과 인터페이스를 디자인 한다.
그리고 도 4는 본 발명에 따른 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템의 시뮬레이션 과정을 나타내는 흐름도이다.
도 4를 참조하면, 본 발명의 발치 시술 협조 시뮬레이션 시스템(100)은 단계 S150에서 실습자가 HMD 장치(110)를 착용하고, 모션 컨트롤러(120)를 손에 잡아서 교육을 준비한다. 이 때, 가상 현실 시뮬레이터(130)는 통신망(102)을 통해 HMD 장치(110)로 가상 현실 콘텐츠를 전송하여 HMD 장치(110)에 가상 현실 기반의 영상을 표시한다. 가상 현실 기반의 영상에는 실습자가 유니트 체어가 존재하는 가상의 임상 환경에 배치된다.
단계 S152에서 HMD 장치(120)를 착용한 실습자가 모션 컨트롤러(120)를 이용하여 치과 발치 시술 중 단순 발치, 외과적 발치 및 매복치 발치 등 다양한 발치 시술 상황 중 어느 하나를 선택하도록 표시한다. 단계 S154에서 선택된 발치 시술 상황에 필요한 가상 현실 속의 치과 도구들 즉, 3 차원 모델링 객체들을 선택하고, 단계 S156에서 선택된 3 차원 모델링 객체들을 덴탈 트레이에 수납하도록 한다.
단계 S158에서 선택된 발치 시술 상황에 필요한 가상 현실 속의 치과 도구들이 모두 덴탈 트레이에 수납되어 발치 시술 준비가 완료되는지를 판별한다.
판별 결과, 발치 시술 준비가 완료되면, 단계 S160에서 해당 실습이 성공되었음을 판정한다. 이 때, 가상 현실 시뮬레이터(130)는 실습 결과에 따른 결과물(예를 들어, 준비 완료 시간, 선택 및 수납된 처리 횟수, 오선택 갯수 등)을 이용하여 해당 실습자의 실습 상황을 평가 처리한다. 이어서 단계 S162로 진행하여 다음 실습자 또는 다른 발치 시술 상황을 실습하도록 실습 환경을 초기화한다. 그러나 발치 시술 준비가 완료되지 않았다고 판정되면, 이 수순은 단계 S154로 진행하여 상술한 과정들(단계 S154 ~ 단계 S158)을 반복 처리한다.
그리고 단계 S162에서 실습 환경의 초기화가 이루어지면, HMD 장치(110)와 모션 컨트롤러(120)를 다음 실습생에게 건내어 다음 실습자가 실습할 수 있도록 단계 S150으로 진행하거나, 동일 실습자가 다른 발치 시술 상황을 실습하도록 단계 S152로 진행할 수 있다.
이상에서, 본 발명에 따른 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.
100 : 발치 시술 협조 시뮬레이션 시스템
102 : 통신망
110 : 머리 착용형 디스플레이(HMD) 장치
120 : 모션 컨트롤러
130 : 가상 현실 시뮬레이터
102 : 통신망
110 : 머리 착용형 디스플레이(HMD) 장치
120 : 모션 컨트롤러
130 : 가상 현실 시뮬레이터
Claims (3)
- 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템에 있어서:
실습자의 머리에 착용하여 치과 발치 시술에 사용되는 복수 개의 치과 장비 및 치과 도구들 각각에 대응하는 3 차원 모델링 객체들을 가상 현실 기반의 영상으로 출력하는 머리 착용형 디스플레이 장치;
실습자의 손에 장착되어 실습자의 손 움직임을 감지하고, 감지된 손 움직임에 대응하여 상기 치과 발치 시술 중 하나의 발치 시술 상황을 선택하고, 상기 영상에서 상기 3 차원 모델링 객체들 중 선택된 상기 발치 시술 상황에 필요한 치과 도구들을 상기 영상에 표시되는 덴탈 데스크에서 선택하여 덴탈 트레이에 수납하도록 처리하는 모션 컨트롤러; 및
상기 치과 발치 시술에 사용되는 다양한 치과 장비 및 치과 도구들 각각을 3차원 모델링 처리하여 상기 3 차원 모델링 객체들을 생성 및 저장하고, 상기 영상과 상기 3 차원 모델링 객체들을 상기 머리 착용형 디스플레이 장치에 표시하도록 처리하고, 상기 모션 컨트롤러로 하여금 상기 치과 발치 시술 중 하나의 상기 발치 시술 상황을 선택하도록 처리하고, 상기 머리 착용형 디스플레이 장치의 상기 영상에서 상기 3 차원 모델링 객체들 중 선택된 상기 발치 시술 상황에 필요한 복수 개의 치과 도구들을 상기 덴탈 데스크에서 선택하여 상기 덴탈 트레이에 수납하도록 처리하며, 선택된 상기 발치 시술 상황에 필요한 상기 치과 도구들이 상기 덴탈 트레이에 수납 완료되는지를 판별하는 가상 현실 시뮬레이터를 포함하는 것을 특징으로 하는 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템.
- 청구항 1에 있어서,
상기 가상 현실 시뮬레이터는;
치과 발치 시술에 필요한 다양한 치과 장비와 치과 도구들을 3 차원 모델링 처리하여 상기 3 차원 모델링 객체를 생성 및 저장하는 3 차원 모델링부;
상기 머리 착용형 디스플레이 장치와 상기 모션 컨트롤러들과의 유저 인터페이스(User Interface : UI)/유저 경험(User Experience : UX)을 위한 인터페이스부; 및
상기 인터페이스부를 통해 상기 머리 착용형 디스플레이 장치와 상기 모션 컨트롤러와의 가상 현실 기반의 상기 영상으로 치과 발치 시술에 필요한 치과 장비와 치과 도구들을 표시하도록 제공하고, 치과 발치 시술 중 하나의 상기 발치 시술 상황을 선택하면, 선택된 상기 발치 시술 상황에 필요한 치과 도구들을 상기 덴탈 데스크에서 선택하여 상기 덴탈 트레이에 수납하도록 시뮬레이션 처리하는 시뮬레이션 처리부를 포함하는 것을 특징으로 하는 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템.
- 청구항 1 또는 청구항 2에 있어서,
상기 가상 현실 시뮬레이터는;
선택된 상기 발치 시술 상황에 필요한 상기 치과 도구들이 상기 덴탈 트레이에 수납 완료되면, 상기 발치 시술 상황에 대한 실습이 성공된 것으로 판별하고, 성공된 상기 발치 시술 상황에 대한 실습 결과를 평가 처리하는 것을 특징으로 하는 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190023586A KR102127664B1 (ko) | 2019-02-28 | 2019-02-28 | 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190023586A KR102127664B1 (ko) | 2019-02-28 | 2019-02-28 | 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102127664B1 true KR102127664B1 (ko) | 2020-06-29 |
Family
ID=71400744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190023586A KR102127664B1 (ko) | 2019-02-28 | 2019-02-28 | 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102127664B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220010225A (ko) * | 2020-07-17 | 2022-01-25 | 주식회사 인앤인 | 오퍼레이터 통합 훈련 시뮬레이션 방법 및 이를 이용한 훈련 시뮬레이터 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030044909A (ko) | 2000-04-26 | 2003-06-09 | 유니베르시떼 파리스 7- 데니스 디데롯 | 치과학용 가상 현실 실습 시스템 및 방법 |
| KR100457927B1 (ko) | 2002-05-01 | 2004-11-18 | 한국과학기술원 | 가상현실과 햅틱장치를 이용한 소화기 내시경 수련 시스템 |
| KR100551201B1 (ko) * | 2004-06-19 | 2006-02-10 | 한국과학기술연구원 | 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템 |
| KR101021595B1 (ko) * | 2009-03-03 | 2011-03-16 | 한국과학기술원 | 햅틱 인터페이스를 이용한 임플랜트 시뮬레이션 시스템 |
| KR101700847B1 (ko) * | 2014-03-31 | 2017-01-31 | 이미숙 | 영상수술 트레이닝 제공방법 및 그 기록매체 |
| KR20170079135A (ko) | 2015-12-30 | 2017-07-10 | 한국생산기술연구원 | 가상 현실 기반 사용자 맞춤형 훈련 시스템 |
| KR20180098174A (ko) | 2017-02-24 | 2018-09-03 | 주식회사 브이알애드 | 가상현실 기반 방사선학 실습 장치 및 방법 |
| JP2018155815A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社モリタ | 歯科診療実習装置及び歯科診療実習システム |
-
2019
- 2019-02-28 KR KR1020190023586A patent/KR102127664B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030044909A (ko) | 2000-04-26 | 2003-06-09 | 유니베르시떼 파리스 7- 데니스 디데롯 | 치과학용 가상 현실 실습 시스템 및 방법 |
| KR100457927B1 (ko) | 2002-05-01 | 2004-11-18 | 한국과학기술원 | 가상현실과 햅틱장치를 이용한 소화기 내시경 수련 시스템 |
| KR100551201B1 (ko) * | 2004-06-19 | 2006-02-10 | 한국과학기술연구원 | 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템 |
| KR101021595B1 (ko) * | 2009-03-03 | 2011-03-16 | 한국과학기술원 | 햅틱 인터페이스를 이용한 임플랜트 시뮬레이션 시스템 |
| KR101700847B1 (ko) * | 2014-03-31 | 2017-01-31 | 이미숙 | 영상수술 트레이닝 제공방법 및 그 기록매체 |
| KR20170079135A (ko) | 2015-12-30 | 2017-07-10 | 한국생산기술연구원 | 가상 현실 기반 사용자 맞춤형 훈련 시스템 |
| KR20180098174A (ko) | 2017-02-24 | 2018-09-03 | 주식회사 브이알애드 | 가상현실 기반 방사선학 실습 장치 및 방법 |
| JP2018155815A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社モリタ | 歯科診療実習装置及び歯科診療実習システム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220010225A (ko) * | 2020-07-17 | 2022-01-25 | 주식회사 인앤인 | 오퍼레이터 통합 훈련 시뮬레이션 방법 및 이를 이용한 훈련 시뮬레이터 |
| KR102449985B1 (ko) * | 2020-07-17 | 2022-10-05 | 주식회사 인앤인 | 오퍼레이터 통합 훈련 시뮬레이션 방법 및 이를 이용한 훈련 시뮬레이터 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vergel et al. | A comparative evaluation of a virtual reality table and a HoloLens-based augmented reality system for anatomy training | |
| Luciano et al. | Haptics-based virtual reality periodontal training simulator | |
| US20190000578A1 (en) | Emulation of robotic arms and control thereof in a virtual reality environment | |
| US10540910B2 (en) | Haptic-based dental simulationrpb | |
| Tse et al. | Design and development of a haptic dental training system-haptel | |
| JP7174966B2 (ja) | 歯科手術技能訓練のための視覚触覚融合拡張現実シミュレータ | |
| Chen et al. | A review of haptic simulator for oral and maxillofacial surgery based on virtual reality | |
| JP6974879B2 (ja) | 歯科シミュレーション用のモデル生成 | |
| Dyulicheva et al. | The virtual reality simulator development for dental students training: a pilot study. | |
| Bertrand et al. | The effects of presentation method and simulation fidelity on psychomotor education in a bimanual metrology training simulation | |
| Wei et al. | Augmented optometry training simulator with multi-point haptics | |
| KR20190059111A (ko) | 3d 가상현실을 이용한 치의학 프랩 실습용 시뮬레이터 | |
| Gali et al. | The technology of haptics in dental education | |
| Müller et al. | The virtual reality arthroscopy training simulator | |
| US20210312834A1 (en) | Vibrotactile Method, Apparatus and System for Training and Practicing Dental Procedures | |
| Camporesi et al. | The effects of avatars, stereo vision and display size on reaching and motion reproduction | |
| KR102127664B1 (ko) | 가상 현실 기반의 발치 시술을 위한 협조 시뮬레이션 시스템 및 그 방법 | |
| KR100551201B1 (ko) | 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템 | |
| Kolesnikov et al. | PerioSim: Haptic virtual reality simulator for sensorimotor skill acquisition in dentistry | |
| Law et al. | Simulation-based Ultrasound Training Supported by Annotations, Haptics and Linked Multimodal Views. | |
| Rodríguez Ramírez et al. | Applications of haptic systems in virtual environments: A brief review | |
| KR102327521B1 (ko) | 가상 현실 기반의 치아 감별 학습을 위한 시뮬레이션 시스템 및 그 방법 | |
| Karafotias et al. | Towards a realistic haptic-based dental simulation | |
| Rehman et al. | Measuring the student’s success rate using a constraint based multi-modal virtual assembly environment | |
| Witzke et al. | Immersive virtual reality used as a platform for perioperative training for surgical residents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |