KR102532795B1 - 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템 및 방법 - Google Patents

가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템 및 방법 Download PDF

Info

Publication number
KR102532795B1
KR102532795B1 KR1020200096136A KR20200096136A KR102532795B1 KR 102532795 B1 KR102532795 B1 KR 102532795B1 KR 1020200096136 A KR1020200096136 A KR 1020200096136A KR 20200096136 A KR20200096136 A KR 20200096136A KR 102532795 B1 KR102532795 B1 KR 102532795B1
Authority
KR
South Korea
Prior art keywords
treatment tool
virtual reality
subject
gaze
practice
Prior art date
Application number
KR1020200096136A
Other languages
English (en)
Other versions
KR20220016410A (ko
Inventor
류지헌
정무석
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020200096136A priority Critical patent/KR102532795B1/ko
Publication of KR20220016410A publication Critical patent/KR20220016410A/ko
Application granted granted Critical
Publication of KR102532795B1 publication Critical patent/KR102532795B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computational Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Medicinal Chemistry (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)

Abstract

가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템이 제공된다. 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템은, 치의학 실습교육용 가상현실 컨텐츠를 제공하는 전자 장치; 상기 실습교육 대상자가 바라보고 있는 시선의 방향을 추적하며 가상현실 컨텐츠를 실행하는 헤드마운트 디스플레이; 상기 실습교육 대상자의 움직임을 추척하며 모션 데이터를 수집하고, 상기 모션 데이터에 대응하는 피드백을 상기 사용자에게 제공하는 햅틱 컨트롤러; 및 상기 시선 방향 및 상기 모션 데이터에 기반하여 상기 실습교육 대상자가 상기 가상현실 컨텐츠에 포함된 가상환자 및 진료 도구를 활용하여 실습교육을 진행한 수행 행동 데이터를 수집하는 제어 장치;를 포함할 수 있다.

Description

가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템 및 방법{COLLECTION SYSTEM AND METHOD FOR PERFORMANCE BEHAVIOR DATA OF DENTAL TRAINING SUBJECTS BASED ON VIRTUAL REALITY}
본 발명은 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터를 수집하는 시스템 및 방법에 관한 것으로, 보다 상세하게는, 가상현실을 이용하여 치의학 실습교육을 받고 있는 대상자가 진료도구를 사용하여 가상환자의 구강을 확인하는 수행 행동에 대한 데이터를 수집하는 방법에 관한 것이다.
치의학 교육에서 실습교육 대상자는 전공 지식을 습득하는 것도 필요하지만, 전공 지식을 바탕으로 환자에게 진단을 내리고 치료를 실제로 해내는 술기 능력을 획득하는 것도 중요하다. 이러한 술기 능력은 해당하는 행동을 실제로 수행하는 경험에 의해서 가장 잘 획득될 수 있다.
치의학 교육에서는 실습교육 대상자가 술기 능력을 획득하도록 하기 위해 다양한 실습교육을 진행하고 있다. 특히 교육 대상자가 실제 환자를 대상으로 실습교육을 진행하기는 어렵기 때문에, 다양한 형태의 시뮬레이션을 통한 실습을 주로 진행한다.
가상현실을 적용한 시뮬레이션은 실제와 유사한 진료환경에서 실습교육을 진행할 수 있어 학습자들이 실습 상황에 몰입하기 쉽다. 또한 실습교육을 반복적으로 진행하는데 드는 비용이 다른 시뮬레이션 방법들에 비해 적어 효과적인 시뮬레이션 방법 중 하나로 주목받고 있다.
치의학 실습교육의 효과를 극대화하기 위해서는 학습자의 실습에 대한 데이터를 수집하여 피드백을 제공하는 것이 중요하다. 하지만 기존의 시뮬레이션 실습에서는 수행 시간과 정확도 등의 수행에 따른 결과 데이터를 통해 피드백을 제공할 뿐, 실습 과정 중에서의 행동에 대한 직접적인 피드백을 제공하지는 못하고 있다.
치의학 분야에서의 진단 행위는 미러를 이용하여 진행되는 경우가 많다. 미러는 환자의 구강 내를 보다 효과적으로 살펴볼 수 있도록 비춰보는 용도로 사용되는 진료 도구이다. 치의학 진단 행위는 실습 대상자가 미러를 통해 확인하고자 하는 부위를 비추고, 이를 눈으로 확인하는 과정을 통해 이루어진다. 따라서, 실습에 대한 피드백에 있어서 이러한 진료 도구를 통한 진료 행위가 정확히 이루어지고 있는 지를 확인하는 것이 중요하나 기존 시뮬레이션 실습에서는 이러한 상세한 피드백을 제공하지 못하여 실습교육 대상자의 수행 능력을 정확히 파악하지 못하는 문제점이 있었다.
대한민국 공개특허공보 제2020-0048830호
본 발명이 해결하고자 하는 과제는 가상현실 기반의 치의학 실습교육을 사용하는 중 실습 대상자의 진단 행동을 파악하기 위하여 실습 대상자의 술기 숙련도에 대한 평가 및 피드백을 위한 기초 자료로 활용이 가능한 수행 행동 데이터를 수집하는 시스템 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 안구 관찰이 중요하고 복잡한 술기 수행이 요구되는 소아 사시 환자를 진단하기 위한 교육에 적합한 그래픽 사용자 인터페이스가 구현된 시뮬레이션 시스템 및 방법을 제공하는것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템은, 치의학 실습교육용 가상현실 컨텐츠를 제공하는 전자 장치; 상기 실습교육 대상자가 바라보고 있는 시선의 방향을 추적하며 가상현실 컨텐츠를 실행하는 헤드마운트 디스플레이; 상기 실습교육 대상자의 움직임을 추척하며 모션 데이터를 수집하고, 상기 모션 데이터에 대응하는 피드백을 상기 사용자에게 제공하는 햅틱 컨트롤러; 및 상기 시선 방향 및 상기 모션 데이터에 기반하여 상기 실습교육 대상자가 상기 가상현실 컨텐츠에 포함된 가상환자 및 진료 도구를 활용하여 실습교육을 진행한 수행 행동 데이터를 수집하는 제어 장치;를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명에 따르면, 가상현실 기반의 치의학 실습교육을 사용하는 중 실습교육 대상자의 진단 행동을 파악하는 방법을 활용하여, 단순한 실습교육 결과를 통해 실습교육 대상자의 성취도를 파악하는 것이 아니라, 실습교육 대상자의 행동 양상을 파악하여 실습교육 대상자의 성취도를 보다 정확하게 판단할 수 있다.
또한, 본 발명에 따르면, 실습교육 대상자의 행동 양상을 통해 보다 나은 진단 행동에 대한 피드백을 제공함으로써, 실습교육 대상자의 진단 역량을 효과적으로 함양시킬 수 있다.
또한, 본 발명에 따르면, 치의학 관련 연구활동의 기초자료로 행동 데이터를 활용할 수 있다. 예를 들어 보다 나은 성취 수준이나 임상 경험을 가진 실습교육 대상자와 보다 낮은 성취 수준이나 임상 경험을 가진 실습교육 대상자의 행동 양상을 비교함으로써 높은 성취 수준을 가진 치과 의료인이 가지는 진단 행동 특성을 파악하고, 치의학 교육생들이 이를 적극적으로 함양하도록 격려할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1는 본 발명의 일 실시 예에 따른 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템을 개략적으로 나타낸 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 7은 본 발명의 일 실시 예에 따른 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 방법을 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1는 본 발명의 일 실시 예에 따른 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템을 개략적으로 나타낸 개념도이다. 도 2는 본 발명의 일 실시 예에 따른 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템을 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 시스템은 사용자 및 가상현실 장치(100), 사용자가 가상현실 치의학 실습교육에서 사용하는 미러(200) 및 가상현실 실습교육 내에서의 가상환자(300, 예: 아바타) 간의 상호작용을 통해 실습교육 대상자의 수행 행동 데이터를 수집할 수 있다.
일 실시 예에서, 사용자는 실습교육 대상자이고, 가상현실 장치(100)는 실습교육 대상자가 착용하고 있는 헤드마운트 디스플레이(10, HMD) 및 햅틱 컨트롤러(20)를 의미한다. 헤드마운트 디스플레이(10)는 가상현실 환경을 사용자에게 제시하는 도구이자, 사용자가 바라보고 있는 시선의 방향을 인식하는 장치로서 작동한다. 즉, 헤드마운트 디스플레이(10)는 시선의 위치 추적 및 방향 추적 기능을 포함할 수 있다.
일 실시 예에서, 진료 도구(200)는 사용자가 가상현실 컨텐츠(또는 시뮬레이션)에서 진단 행동을 하기 위해 사용하는 진료도구 중, 확인하고자 하는 대상이나 영역을 비추어 시각적으로 확인하는데 사용하는 도구이며, 예를 들어, 미러일 수 있다. 진료 도구(200)는 일반적으로 환자의 구강 내 표면의 상태를 확인하는데 사용되므로, 진료 시 구강 내에 삽입한 채 사용하게 된다. 진료 도구(200)는 사용자의 시선 방향에 따라 활성화 여부가 결정되어, 사용자가 진료 도구(200)가 있는 위치에 시선 방향을 일치시킬 때에만 구강 내 영역을 시각적으로 비추는 효과를 활성화시킨다. 보다 구체적인 내용은 도 3에서 후술한다.
일 실시 예에서, 가상환자(300)는 사용자가 가상현실 컨텐츠에서 진단 행동을 하는 대상이 되는 환자로서, 우식 증상이 구현되어 있다. 사용자는 가상환자의 입 안에 진료 도구(200)를 삽입한 채 진료 행위를 수행한다. 우식 증상은 가상환자 구강 모델링에 구현되어 있으며, 가상환자 구강 모델링은 또한 진료 도구(200)의 위치를 구분하는 기준이 된다.
일 실시 예에서, 도 2를 참조하면, 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템은 헤드마운트 디스플레이(10), 햅틱 컨트롤러(20), 전자 장치(30) 및 제어 장치(40)를 포함할 수 있으며, 각 구성들은 유무선 네트워크를 통해 연결될 수 있다.
일 실시 예에서, 전자 장치(30)는 치의학 실습교육용 가상현실 컨텐츠를 헤드마운트 디스플레이(10)에 제공할 수 있다. 예를 들어, 전자 장치(30)는 실습교육 장소에 설치된 PC이거나 외부의 서버일 수 있다.
예를 들어, 가상현실 컨텐츠는 치의학 진단실습 모듈을 포함하고, 치의학 진단실습 모듈은 가상 진료실 환경, 가상환자(300) 및 진료 도구(200)를 포함할 수 있다. 진료 도구(200)는 가상현실 실습교육 컨텐츠 내에 포함되어 실습 대상자가 사용하는 미러일 수 있다.
일 실시 예에서, 헤드마운트 디스플레이(10)는 실습교육 대상자가 바라보고 있는 시선의 방향을 추적하며 가상현실 컨텐츠를 실행할 수 있다. 헤드마운트 디스플레이(10)는 사용자의 입력 및 동작을 햅틱 컨트롤러(20)를 통해 수신할 수 있고, 수신된 사용자의 입력 및 동작을 가상현실 컨텐츠에 반영할 수 있다.
일 실시 예에서, 헤드마운트 디스플레이(10)는 제어부(11), 데이터베이스(12), 디스플레이부(13), 스피커부(14) 및 아이트랙커부(15)를 포함할 수 있다.
예를 들어, 디스플레이부(13)는 헤드마운트 디스플레이(10)를 착용한 사용자에게 제공되는 디스플레이화면을 표시할 수 있다. 본 발명의 시스템은 사용자의 햅틱 컨트롤러(20) 조작에 따라 진료 도구를 가상 객체로써 가상현실 컨텐츠에 반영할 수 있고, 디스플레이부(13)는 이와 같은 가상현실 컨텐츠를 제공함에 있어서 표시되는 가상현실 화면을 디스플레이 한다.
예를 들어, 스피커부(14)는, 가상현실 컨텐츠의 사운드정보를 출력하여 사용자에게 사운드정보를 제공할 수 있다.
예를 들어, 아이트랙커부(15)는 헤드마운트 디스플레이(10)를 착용한 사용자의 안구 운동을 감지할 수 있고, 감지한 안구 운동으로부터 사용자의 시선의 좌표정보 및 동공위치정보를 수집할 수 있다.
예를 들어, 제어부(11)는 데이터베이스(12)에 저장된 가상현실 컨텐츠를 실행할 수 있고, 제공된 가상현실화면에서 햅틱 컨트롤러(20)를 통한 사용자의 모션 데이터(사용자 입력 및 동작)을 수신하고, 사용자의 움직임과 진료 도구의 이동, 위치, 회전, 각도 등을 가상현실 컨텐츠에 반영할 수 있다.
일 실시 예에서, 햅틱 컨트롤러(20)는 실습교육 대상자의 움직임을 추척하며 모션 데이터를 수집하고, 모션 데이터에 대응하는 피드백을 사용자에게 제공할 수 있다. 여기서 피드백이란 진동 등의 기계적인 효과를 의미할 수 있다.
예를 들어, 햅틱 컨트롤러(20)는 실습교육 대상자가 신체부위에 착용하여 신체부위의 움직임을 추적하고 가상현실 실습교육 콘텐츠와 상호작용할 수 있도록 하는 장치일 수 있다.
일 실시 예에서, 제어 장치(40)는 시선 방향 및 모션 데이터에 기반하여 실습교육 대상자가 가상현실 컨텐츠에 포함된 가상환자 및 진료 도구를 활용하여 실습교육을 진행한 수행 행동 데이터를 수집할 수 있다. 즉, 제어 장치(40)가 수행 행동 데이터를 수집, 분석하여 실습교육 대상자를 관리하는 관리자에게 각종 데이터를 제공할 수 있다.
예를 들어, 제어 장치(40)는 수행 행동 데이터의 수집을 위하여 헤드마운트 디스플레이(10)와 실시간으로 연동될 수 있으며, 헤드마운트 디스플레이(10)를 통해 획득한 정보들을 실시간 또는 매우 짧은 주기로 획득할 수 있다.
예를 들어, 제어 장치(40)가 수행 행동 데이터를 수집하는 구체적인 동작은 다음과 같다. 실습교육 대상자가 사용하는 미러는 실습교육 대상자가 미러를 주시할 때만 작동한다. 더 구체적으로는, 실습교육 대상자의 머리 움직임을 실습교육 대상자가 착용하고 있는 헤드마운트 디스플레이(10)를 통해 추적하고, 실습교육 대상자의 머리 움직임과 같이 실습교육 대상자의 시야 중앙에 지시 포인트(예: 초록색의 작은 점)이 항상 위치하도록 하며, 지시 포인트가 미러에 닿을 경우에만 미러가 바라보고 있는 부분을 비추고 그렇지 않은 경우에는 아무것도 비추지 않도록 한다. 이에 따라 실습교육 대상자는 미러를 보기 위해 항상 시야의 중앙을 미러로 맞추게 된다. 실습교육 대상자가 시야의 중앙을 미러로 맞추어 미러가 활성화 된 경우, 미러의 위치와 미러가 활성화되기 시작한 시각을 제어 장치(40)가 실시간으로 기록한다. 또한 실습교육 대상자가 시야의 중앙을 움직여 미러가 비활성화된 경우, 미러가 비활성화된 시각을 제어 장치(40)가 자동으로 기록한다. 상술한 바와 같은 제어 장치(40)의 동작을 통해 실습교육 대상자가 미러를 사용하여 진단 행동을 할 때 미러를 사용한 시간 정보와, 미러를 사용한 구강 내 영역에 대한 데이터를 수집할 수 있다. 이러한 동작에 대한 보다 세부적인 설명을 하기 도 3 내지 도 7을 통해 후술한다.
도 3은 본 발명의 일 실시 예에 따른 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 방법을 설명하기 위한 흐름도이다. 도 4 내지 도 7은 본 발명의 일 실시 예에 따른 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 방법을 설명하기 위한 예시도이다. 도 3의 동작들은 도 2에 개시된 헤드마운트 디스플레이(10), 햅틱 컨트롤러(20), 전자 장치(30) 및 제어 장치(40)를 통해 수행될 수 있다.
도 3 내지 도 7을 참조하면, 일 실시 예에서, 동작 31에서, 헤드마운트 디스플레이(10)는 치의학 실습교육용 가상현실 컨텐츠를 실행할 수 있다. 예를 들어, 가상현실 컨텐츠는 도 5에 도시된 바와 같이 가상환자(300), 진료 도구인 미러(200) 및 실습교육 대상자의 가상의 손을 포함할 수 있다.
일 실시 예에서, 동작 32에서, 제어 장치(40)는 헤드마운트 디스플레이(10)를 통해 실습교육 대상자의 시야 중앙에 지시 포인트가 표시되도록 가상현실 컨텐츠를 제어할 수 있다. 예를 들어, 실습대상자는 도 5와 같이 가상환자(300)와 미러(200)를 볼 수 있으며, 미러와 시선 중앙이 일치되는 것을 보조하는 지시 포인트(도 5 오른쪽 그림에서 미러 안의 초록색의 작은 점)를 가상현실 컨텐츠에서 볼 수 있다. 따라서, 실습대상자는 지시 포인트를 통해 본인의 시선 중앙이 미러를 향하는 지 확인할 수 있다.
일 실시 예에서, 동작 33에서, 제어 장치(40)는 헤드마운트 디스플레이(10)를 통해 실습교육 대상자의 시선 방향을 획득할 수 있다. 예를 들어, 도 2에 도시된 아이트래커부(150)를 통해 실습교육 대상자의 시선 방향을 획득할 수 있다.
일 실시 예에서, 동작 34에서, 제어 장치(40)는 시선 방향에 기반하여 지시 포인트가 진료 도구(200)를 가리키는 지 확인할 수 있다. 예를 들어, 즉, 도 4에서 왼쪽과 같이 실습교육 대상자의 시선 방향과 미러(200)가 일치하지 않는 상황을 확인하거나, 도 4에서 오른쪽과 같이 사용자의 시선 방향과 미러(200)가 일치하는 상황을 확인할 수 있다.
일 실시 예에서, 동작 35에서, 제어 장치(40)는 지시 포인트가 진료 도구(200)를 가리킬 경우에 진료 도구(200)가 향하는 대상 영역이 보이도록 진료 도구(200)를 활성화시킬 수 있다. 예를 들어, 도 4 및 도 5에 도시된 바와 같이, 사용자의 시선 방향이 미러(200)를 가리킬 경우에 미러는 대상 영역이 보이도록 활성화(210)될 수 있다. 예를 들어, 활성화란 진료 도구가 거울 기능을 하는 경우일 수 있다.
예를 들어, 대상 영역이란 도 7에 도시된 바와 같이 가상환자(300)의 구강 구조 중 어느 한 영역(예: 상악 전치부, 상악 구치부, 하악 구치부, 하악 전치부)일 수 있다. 구체적으로, 도 7은 가상환자(300)에 구현된 구강구조 모델링의 예시와, 데이터로 기록되는 미러(200)의 위치를 결정하는 구강구조 모델링 구역 부분을 도시하고 있다. 구강구조 모델링의 구역은 크게 상악(위 턱)과 하악(아래 턱)으로 나뉘며, 각각 전치부(구강 구조의 바깥쪽으로 앞니에서 양 송곳니까지의 구역), 구치부(구강 구조의 안쪽으로 송곳니에서 가장 안쪽 어금니까지의 구역)으로 구분된다. 구치부는 다시 좌, 우측으로 나뉜다. 상악과 하악의 구분 지점은 각 부분의 영역 높이가 같게 되는 위치이다.
한편, 진료 도구(200)가 활성화됨과 동시에, 미러(200)의 위치와 미러(200)와 사용자의 시선 방향이 일치한 시각 정보가 실시간 수집 데이터로 제어 장치(40)에 저장된다. 미러(200)의 위치는 도 7의 가상환자(300) 구강 모델링의 영역 구분에 따라 인식될 수 있다.
일 실시 예에서, 동작 36에서, 제어 장치(40)는 지시 포인트가 진료 도구(200)를 가리키지 않을 경우에 진료 도구(200)가 향하는 대상영역이 보이지 않도록 진료 도구(200)를 비활성화(220)시킬 수 있다. 예를 들어, 비활성화란 도 5와 같이 불투명한 검은색(220)으로 변하는 경우일 수 있다.
일 실시 예에서, 동작 37에서, 제어 장치(40)는 실습교육 대상자의 수행 행동 데이터를 수집할 수 있다. 수행 행동 데이터는 사용자의 시선과 미러간 일치 여부와 관련된 각종 정보, 진료 도구가 비추는 구강 내 영역 데이터를 포함할 수 있다.
구체적으로, 제어 장치(40)는 진료 도구(200)가 활성화된 시간 및 비활성화된 시각을 저장할 수 있다.
예를 들어, 도 6에 도시된 바와 같이 제어 장치(40)는, 진료도구(200)의 활성화와 비활성화를 검출할 경우, 진료도구(200)가 활성화되기 시작한 주시 시작시간, 진료도구(200)가 활성화된 이후에 진료도구(200)가 비활성화되기 시작한 주시 종료시간, 주시 시작시간과 주시 종료시간간 차이에 해당하는 주시 시간 및 주시 시작시간이 기록된 시점의 진료도구가 위치하는 영역 데이터를 실시간 수집 데이터로 저장할 수 있다.
또한, 예를 들어, 제어 장치(40)는, 실시간 수집 데이터를 누적하여 저장함으로써 복수 개의 실시간 수집 데이터를 저장하고, 복수 개의 실시간 수집 데이터를 분석하여 복수개의 주시시간들 중 임계 값 이상을 갖는 주시시간들의 빈도인 주시 빈도, 임계 값 이상을 갖는 주시시간들을 모두 합한 값인 총 주시시간 및 가상현실 컨텐츠가 실행된 총 실습 시간을 연산하여 최종 데이터로 저장할 수 있다. 예컨대, 임계 값이 7분일 경우, 최종 데이터에는 각 데이터 건 중 주시시간이 7분 이상의 값이 된 빈도인 주시 빈도, 주시시간이 7분 이상의 값인 데이터의 주시시간을 모두 합한 값인 총 주시시간, 전체 시스템이 운영된 시간인 총 실습시간이 포함될 수 있다.
이와 같이 본 발명의 결과로 산출되는 실습교육 대상자의 수행 행동 데이터는 실습교육 대상자의 진단 행동 숙련도 수준을 판단하고, 적절한 피드백을 제공하는데 활용될 수 있으며, 또한, 진단행동 숙련도 수준 판단 및 피드백에 대한 연구의 기초자료로 활용될 수 있다. 이는 치의학 분야의 실습교육 시 실습교육 대상자의 숙련도를 보다 효과적으로 함양할 수 있도록 할 것이며, 치의학 분야의 인력양성의 질을 높이는데 기여할 수 있다.
본 발명의 일면에 따른 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템은, 치의학 실습교육용 가상현실 컨텐츠를 제공하는 전자 장치; 상기 실습교육 대상자가 바라보고 있는 시선의 방향을 추적하며 가상현실 컨텐츠를 실행하는 헤드마운트 디스플레이; 상기 실습교육 대상자의 움직임을 추척하며 모션 데이터를 수집하고, 상기 모션 데이터에 대응하는 피드백을 상기 사용자에게 제공하는 햅틱 컨트롤러; 및 상기 시선 방향 및 상기 모션 데이터에 기반하여 상기 실습교육 대상자가 상기 가상현실 컨텐츠에 포함된 가상환자 및 진료 도구를 활용하여 실습교육을 진행한 수행 행동 데이터를 수집하는 제어 장치;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 가상현실 컨텐츠는 치의학 진단실습 모듈을 포함하고, 상기 치의학 진단실습 모듈은 가상 진료실 환경, 상기 가상환자 및 진료 도구를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제어 장치는, 상기 헤드마운트 디스플레이를 통해 상기 실습교육 대상자의 시야 중앙에 지시 포인트가 표시되도록 상기 가상현실 컨텐츠를 제어하고, 상기 헤드마운트 디스플레이를 통해 상기 실습교육 대상자의 상기 시선 방향을 획득하고, 상기 시선 방향에 기반하여 상기 지시 포인트가 상기 진료 도구를 가리키는 지 확인할 수 있다.
다양한 실시 예에 따르면, 상기 제어 장치는, 상기 지시 포인트가 상기 진료 도구를 가리킬 경우에 상기 진료 도구가 향하는 대상영역이 보이도록 상기 진료 도구를 활성화시키고, 상기 지시 포인트가 상기 진료 도구를 가리키지 않을 경우에 상기 진료 도구가 향하는 대상영역이 보이지 않도록 상기 진료 도구를 비활성화시킬 수 있다.
다양한 실시 예에 따르면, 상기 제어 장치는 상기 진료도구가 활성화된 시간 및 비활성화된 시각을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 제어 장치는, 상기 진료도구의 활성화와 비활성화를 검출할 경우, 상기 진료도구가 활성화되기 시작한 주시 시작시간, 상기 진료도구가 활성화된 이후에 상기 진료도구가 비활성화되기 시작한 주시 종료시간, 상기 주시 시작시간과 상기 주시 종료시간간 차이에 해당하는 주시 시간 및 상기 주시 시작시간이 기록된 시점의 상기 진료도구가 위치하는 영역 데이터를 실시간 수집 데이터로 저장할 수 있다.
다양한 실시 예에 따르면, 상기 제어 장치는, 상기 실시간 수집 데이터를 누적하여 저장함으로써 복수 개의 실시간 수집 데이터를 저장하고, 상기 복수 개의 실시간 수집 데이터를 분석하여 복수개의 주시시간들 중 임계 값 이상을 갖는 주시시간들의 빈도인 주시 빈도, 상기 임계 값 이상을 갖는 주시시간들을 모두 합한 값인 총 주시시간 및 상기 가상현실 컨텐츠가 실행된 총 실습 시간을 연산하여 최종 데이터로 저장할 수 있다.
다양한 실시 예에 따르면, 상기 대상 영역은 상기 가상환자의 구강 구조 중 어느 한 영역일 수 있다.
본 발명의 일면에 따른 제1 항의 시스템에 의해 수행되는 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 방법은, 상기 제어 장치가 상기 헤드마운트 디스플레이를 통해 상기 실습교육 대상자의 시야 중앙에 지시 포인트가 표시되도록 상기 가상현실 컨텐츠를 제어하는 단계; 상기 제어 장치가 상기 헤드마운트 디스플레이를 통해 상기 실습교육 대상자의 상기 시선 방향을 획득하는 단계; 상기 제어 장치가 상기 시선 방향에 기반하여 상기 지시 포인트가 상기 진료 도구를 가리키는 지 확인하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제어 장치가 상기 지시 포인트가 상기 진료 도구를 가리킬 경우에 상기 진료 도구가 향하는 대상영역이 보이도록 상기 진료 도구를 활성화시키는 단계; 상기 제어 장치가 상기 지시 포인트가 상기 진료 도구를 가리키지 않을 경우에 상기 진료 도구가 향하는 대상영역이 보이지 않도록 상기 진료 도구를 비활성화시키는 단계;를 포함할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10 : 헤드마운트 디스플레이
20 : 햅틱 컨트롤러
30 : 전자 장치
40 : 제어 장치

Claims (10)

  1. 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템에 있어서,
    치의학 실습교육용 가상현실 컨텐츠를 제공하는 전자 장치;
    상기 실습교육 대상자가 바라보고 있는 시선의 방향을 추적하며 가상현실 컨텐츠를 실행하는 헤드마운트 디스플레이;
    상기 실습교육 대상자의 움직임을 추척하며 모션 데이터를 수집하고, 상기 모션 데이터에 대응하는 피드백을 상기 실습교육 대상자에게 제공하는 햅틱 컨트롤러; 및
    상기 시선 방향 및 상기 모션 데이터에 기반하여 상기 실습교육 대상자가 상기 가상현실 컨텐츠에 포함된 가상환자 및 진료 도구를 활용하여 실습교육을 진행한 수행 행동 데이터를 수집하는 제어 장치를 포함하고,
    상기 제어 장치는,
    상기 헤드마운트 디스플레이를 통해 상기 실습교육 대상자의 시야 중앙에 지시 포인트가 표시되도록 상기 가상현실 컨텐츠를 제어하고,
    상기 헤드마운트 디스플레이를 통해 상기 실습교육 대상자의 상기 시선 방향을 획득하고,
    상기 실습교육 대상자의 머리 움직임과 같이 상기 실습교육 대상자의 시야 중앙에 지시 포인트가 항상 위치하도록 하여 상기 지시 포인트가 상기 진료 도구를 가리키는 지 확인할 수 있고,
    상기 지시 포인트가 상기 진료 도구를 가리킬 경우에 상기 진료 도구가 향하는 대상영역이 보이도록 상기 진료 도구를 활성화시키고,
    상기 지시 포인트가 상기 진료 도구를 가리키지 않을 경우에 상기 진료 도구가 향하는 대상영역이 보이지 않도록 상기 진료 도구를 비활성화시키고,
    상기 진료도구의 활성화와 비활성화를 검출할 경우, 상기 진료도구가 활성화되기 시작한 주시 시작시간, 상기 진료도구가 활성화된 이후에 상기 진료도구가 비활성화되기 시작한 주시 종료시간, 상기 주시 시작시간과 상기 주시 종료시간간 차이에 해당하는 주시 시간 및 상기 주시 시작시간이 기록된 시점의 상기 진료도구가 위치하는 영역 데이터를 상기 대상 영역에 따라 실시간 수집 데이터로 저장하고,
    상기 대상 영역은 상기 가상환자의 구강구조에서 상악 전치부, 상악 구치부, 하악 구치부, 하악 전치부 중 어느 한 영역인 것을 특징으로 하는 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템.
  2. 제 1 항에 있어서, 상기 가상현실 컨텐츠는 치의학 진단실습 모듈을 포함하고, 상기 치의학 진단실습 모듈은 가상 진료실 환경, 상기 가상환자 및 진료 도구를 포함 하는 것을 특징으로 하는 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서, 상기 제어 장치는 상기 진료도구가 활성화된 시간 및 비활성화된 시각을 저장하는 것을 특징으로 하는 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템.
  6. 삭제
  7. 제1 항에 있어서, 상기 제어 장치는,
    상기 실시간 수집 데이터를 누적하여 저장함으로써 복수 개의 실시간 수집 데이터를 저장하고,
    상기 복수 개의 실시간 수집 데이터를 분석하여 복수개의 주시시간들 중 임계 값 이상을 갖는 주시시간들의 빈도인 주시 빈도, 상기 임계 값 이상을 갖는 주시시간들을 모두 합한 값인 총 주시시간 및 상기 가상현실 컨텐츠가 실행된 총 실습 시간을 연산하여 최종 데이터로 저장하는 것을 특징으로 하는 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템.
  8. 삭제
  9. 제1 항의 시스템에 의해 수행되는 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 방법에 있어서,
    상기 제어 장치가 상기 헤드마운트 디스플레이를 통해 상기 실습교육 대상자의 시야 중앙에 지시 포인트가 표시되도록 상기 가상현실 컨텐츠를 제어하는 단계;
    상기 제어 장치가 상기 헤드마운트 디스플레이를 통해 상기 실습교육 대상자의 상기 시선 방향을 획득하는 단계;
    상기 제어 장치가 상기 시선 방향에 기반하여 상기 지시 포인트가 상기 진료 도구를 가리키는 지 확인하는 단계;를 포함하는 것을 특징으로 하는 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 방법.
  10. 제9 항에 있어서,
    상기 제어 장치가 상기 지시 포인트가 상기 진료 도구를 가리킬 경우에 상기 진료 도구가 향하는 대상영역이 보이도록 상기 진료 도구를 활성화시키는 단계;
    상기 제어 장치가 상기 지시 포인트가 상기 진료 도구를 가리키지 않을 경우에 상기 진료 도구가 향하는 대상영역이 보이지 않도록 상기 진료 도구를 비활성화시키는 단계;를 포함하는 것을 특징으로 하는 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 방법.
KR1020200096136A 2020-07-31 2020-07-31 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템 및 방법 KR102532795B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200096136A KR102532795B1 (ko) 2020-07-31 2020-07-31 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200096136A KR102532795B1 (ko) 2020-07-31 2020-07-31 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220016410A KR20220016410A (ko) 2022-02-09
KR102532795B1 true KR102532795B1 (ko) 2023-05-15

Family

ID=80266181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200096136A KR102532795B1 (ko) 2020-07-31 2020-07-31 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102532795B1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879235B1 (ko) * 2016-08-04 2018-07-17 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US11011077B2 (en) * 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
KR20190059111A (ko) * 2017-11-22 2019-05-30 주식회사 인스퀘어 3d 가상현실을 이용한 치의학 프랩 실습용 시뮬레이터
KR20200048830A (ko) 2018-10-30 2020-05-08 부산대학교 산학협력단 가상현실 기반의 교육용 백내장 수술 시뮬레이션 시스템
KR102143784B1 (ko) * 2018-12-27 2020-08-12 가톨릭대학교 산학협력단 가상현실 기반 이비인후과 및 신경외과 시뮬레이터의 수술 평가 시스템

Also Published As

Publication number Publication date
KR20220016410A (ko) 2022-02-09

Similar Documents

Publication Publication Date Title
US11730543B2 (en) Sensory enhanced environments for injection aid and social training
US11854426B2 (en) System for cosmetic and therapeutic training
US10265149B2 (en) Method and system for modeling the mandibular kinematics of a patient
JP2021531504A (ja) 外科トレーニング装置、方法及びシステム
KR20160090065A (ko) 시선 추적 기반 재활 시스템
US11666417B2 (en) Method for analysing a dental situation
US20210186658A1 (en) Method for analysing a dental situation
Gali et al. The technology of haptics in dental education
Liu et al. Developing expert gaze pattern in laparoscopic surgery requires more than behavioral training
KR102532795B1 (ko) 가상현실 기반 치의학 실습교육 대상자의 수행 행동 데이터 수집 시스템 및 방법
JP5811550B2 (ja) 歯科医療用実習装置及び歯科医療用実習模型
Cai et al. Towards supporting adaptive training of injection procedures: Detecting differences in the visual attention of nursing students and experts
CN113633257A (zh) 基于虚拟现实的前庭功能检查方法、系统、设备及介质
Lemos et al. Instrumented glove for skills assessment in neurosurgical simulation
Jonathan Examining surgeon’s eye-hand coordination during microsurgery
TW201927254A (zh) 手術器具定位系統及其定位方法
Harish Kumar et al. HAPTICS IN PERIODONTICS
GB2519637A (en) System for injection training
Tien Towards understanding expert eye behaviors in laparoscopic surgery
Moore Jr An evaluation of the effects of latex examination gloves on sensibility and manual dexterity of the hand
Jiang Pupil responses to task requirement in goal-directed movements

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant