KR20180121605A - 운동 추적 및 시뮬레이션 장치와 방법 - Google Patents

운동 추적 및 시뮬레이션 장치와 방법 Download PDF

Info

Publication number
KR20180121605A
KR20180121605A KR1020187029144A KR20187029144A KR20180121605A KR 20180121605 A KR20180121605 A KR 20180121605A KR 1020187029144 A KR1020187029144 A KR 1020187029144A KR 20187029144 A KR20187029144 A KR 20187029144A KR 20180121605 A KR20180121605 A KR 20180121605A
Authority
KR
South Korea
Prior art keywords
handpiece
imu
data
image
simulation
Prior art date
Application number
KR1020187029144A
Other languages
English (en)
Other versions
KR102418773B1 (ko
Inventor
오우터 비에만스
디온 보데
루크 스타이트너
Original Assignee
무그 비브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 무그 비브 filed Critical 무그 비브
Publication of KR20180121605A publication Critical patent/KR20180121605A/ko
Application granted granted Critical
Publication of KR102418773B1 publication Critical patent/KR102418773B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Epidemiology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

치과용 시뮬레이션을 위한 장치가: 표시장치, 한 개이상의 프로세서, 광선 방출기 및 관성 측정 유닛(IMU)을 포함한 핸드피스를 포함하고, 상기 IMU는 상기 한 개이상의 프로세서들 중 적어도 한 개와 통신하며, 상기 IMU는 IMU 위치 및 방향 데이터를 발생시키도록 구성되고, 상기 IMU 위치 및 방향 데이터는 핸드피스의 위치 및 방향을 표현하며, 상기 한 개이상의 프로세서들 중 적어도 한 개와 통신하는 적어도 두 개의 카메라를 포함하고, 각각의 카메라는 광선 방출기에 의해 방출되는 광선을 이용하여 일련의 영상을 발생시키도록 구성되며, 한 개이상의 프로세서는: 각각의 카메라로부터 일련의 영상을 수신하고, 상기 일련의 영상들로부터 유도된 이차원 좌표 데이터를 기초하여 광선 방출기의 위치를 식별하는 삼차원 좌표 데이터를 발생시키며, 상기 IMU 위치 및 방향 데이터를 수신하고, 추가로 상기 한 개이상의 프로세서는 시뮬레이션 명령을 발생시키기 위해 상기 IMU 위치 및 방향 데이터와 삼차원 좌표 데이터를 결합하고 대상물의 삼차원 가상 영상을 표시장치에 표시하고 시뮬레이션 명령에 따라 대상물의 운동을 동영상화하도록 구성된다.

Description

운동 추적 및 시뮬레이션 장치와 방법
본 발명은 이동식 핸드피스(hand piece)의 위치 및 방향을 추적하고
핸드 피스의 추적 위치에 따라 이동하는 이미지를 표시장치에 출력하는 것과 관련된다. 좀 더 구체적으로, 본 발명은 치공구(dental tool)의 이용을 시뮬레이션하기 위해 치과용 시뮬레이션 환경에서 핸드피스의 운동을 추적하는 것과 관련된다.
실습을 위한 치과학 기술을 시뮬레이션하기 위한 기계들 예를 들어, 출원인에 의해 제조된 Simodont 기계가 알려져 있다. 상기 기계들은 가상현실 기술을 실현하여 학생들이 다양한 치과학 과정을 실습하는 것을 허용한다. 상기 시뮬레이션 기계들은 일반적으로 3D 글래스(glasses)를 착용한 사용자에 의해 볼 수 있는 3D 이미지를 출력하는 표시장치 스크린을 포함한다. 상기 표시장치 스크린 아래에 적어도 한 개의 핸드피스가 배열되고, 사용자가 치아, 치아 세트 또는 턱의 가상 3D 영상에 대해 치과학 작업(예를 들어, 치아에 드릴링 작업)을 수행함에 따라 사용자에 의해 가해지는 하중 및 (사용자에 의해 이동하는) 핸드피스의 상대 위치를 측정하는 전기 모터 및 일련의 링크기구들을 포함한 기구에 의해 상기 핸드피스가 상기 기계에 고정된다. 상기 핸드피스는 치과의사의 드릴을 시뮬레이션하고 학생이 드릴링을 수행함에 따라 학생에게 촉각적 피드백을 제공한다.
상기 기계의 목적은 가상의 환자가 아니라 실제 환자에게 동일한 기술을 수행하기 전에 기계로 실습하는 연습생 치과의사에게 시뮬레이션 환경을 제공하는 것이고, 시뮬레이션 과정이 사실적일수록 학생들은 연습과정에 더욱 몰입하고 학생 및 장래의 환자에게 더 좋은 결과를 제공할 수 있다.
치과학에서 이용되는 일반적인 공구는 핸들의 단부에 위치한 작은 거울이며 상기 거울은 치과의사가 치아 및 치아잇몸 및 치과의사의 투시각도로부터 명확하게 볼 수 없는 구강(mouth)의 다른 영역을 보기 위해 이용된다. 상기 Simodont기계에서 치과의사의 구강 거울은 일련의 링크기구에 의해 상기 기계와 연결된 (치과의사의 드릴을 시뮬레이션하기 위한 핸드피스와 다르게 촉각적 피드백을 제공하지 못 하는) 핸드피스에 의해 시뮬레이션된다. 상기 거울 핸드피스가 이동할 때, 각 링크의 운동 크기 및 각도가 측정되고 거울 핸드피스의 상대 위치가 측정된다. 표시장치에서 치과의사용 구강 거울의 가상 이미지가 이에 따라 이동한다. 그러나, 상기 핸드피스가 학생에 의해 이동하는 공간내에서, 상기 링크들은 운동 범위를 제한한다. 학생에게 적절한 운동 범위를 제공(따라서 학생이 실제로 실제 거울을 다루는 것이 느껴지는 것을 보장)하기 위해 필요한 링크의 갯수는, 위치 정밀도를 상쇄한다. 또한, 링크 중량을 사용자가 감지( 따라서 시뮬레이션의 "현실감(reality)"을 감소)할 수 있고 링크들은 과용 및 오용에 의해 마모되고 파괴된다.
본 발명의 목적은 상기 문제점들 중 적어도 일부를 경감시키는 것이다.
본 발명의 제1 특징에 의하면 첨부된 제1항을 따르는 치과용 시뮬레이션을 위한 장치가 제공된다. 상기 장치에 의해 핸드피스 대상물의 정확한 운동 추적이 가능하고 치과용 시뮬레이션 환경내에서 추적된 운동을 치공구의 동영상(animation)으로 정확하게 변환된다.
본 발명의 제2 특징에 의하면 첨부된 제15항을 따르는 핸드피스가 제공된다. 핸드피스의 운동은 광원 및 핸드피스의 방향을 측정하기 위한 수단에 의해 의료용 시뮬레이션 기계에 의해 추적될 수 있다.
본 발명의 제3 특징에 의하면 첨부된 제25항을 따르는 컴퓨터 실행 방법이 제공된다. 상기 방법에 의해 물리적 대상물의 운동을 투시 스크린위에 표시되는 가상 대상물의 운동으로 복제하기 위한 명령들이 정확하고 효율적으로 발생될 수 있다.
본 발명의 제4 특징에 의하면 첨부된 제30항을 따르는 시스템이 제공된다.
본 발명의 제5 특징에 의하면 첨부된 제34항을 따르는 시스템이 제공된다.
본 발명의 선호되는 특징들이 첨부된 종속항들에서 정의된다.
도 1은 치과용 시뮬레이션 기계의 사시도.
도 2는 치과용 시뮬레이션 기계의 절단 사시도.
도 3은 본 발명의 실시예를 따르는 거울 추적 장치의 개략 선도.
도 4a는 본 발명의 실시예를 따르는 치과용 시뮬레이션 기계의 일부분을 도시한 사시도.
도 4b는 도 4a에 도시된 치과용 시뮬레이션 기계의 일부분을 도시한 측면도.
도 5는 본 발명의 실시예를 따르는 추적 시스템의 주요 하드웨어 부품들을 도시한 개략 선도.
치과용 시뮬레이션 기계가 일반적으도 도 1에 도시된다. 보조 가상현실 기술을 이용하여 치과학 학생들이 치과학 기술을 실습하기 위해 치과용 시뮬레이션 기계(100)가 이용된다. 학생은 투시 스크린(101)을 향하여 (도면에 도시되지 않은) 의자에 앉는다. 일반적으로 핸드 레스트(hand rest)(102)는 학생이 치과학 기술을 시뮬레이션하는 영역을 형성한다. 전원 버튼(105)이 기계의 온/오프 기능을 제공하고, 높이 조절 스위치(106)에 의해 사용자는 핸드 레스트(102) 및 투시 스크린(101)을 포함한 기계(100)의 위치에서 높이를 조절할 수 있다. 상기 투시 스크린(101)은 가상 현실의 3D 동영상을 표시하고 상기 동영상의 이동은 학생에 의한 (일반적으로 핸드 레스트(101)의 영역내에 위치한) 핸드 피스의 운동에 해당한다. 학생은 수동 3D 글래스(passive 3D glasses)를 착용하며 투시 스크린(101)의 영상을 본다. 마우스(104)에 의해 기계의 사용자는 가상 현실 삼차원 공간에서 투시 스크린(101)의 영상의 방향 및 상대 위치를 조정할 수 있다. 풋 페달(foot pedal)(107)은 시뮬레이션된 드릴( 또는 다른 파워 치공구)의 작동을 용이하게 제어한다.
상기 기계(100)는 또한 연습 스크린(103)을 포함하고, 연습 프로그램, 개별 교육, 평점 및 표시 데이터, 교육자 언급내용과 같은 학생의 교육과 관련된 정보에 접근하고 과거의 연습 자료를 검토하기 위해 학생은 상기 연습 스크린을 이용할 수 있다. 시뮬레이션 과정이 수행되는 동안 상기 투시 스크린(101)에 표시되는 영상들이 연습 스크린(103)에도 출력되어 관찰자가 학생의 기계 이용을 볼 수 있다.
치과용 시뮬레이션 기계의 내부 부품들을 도시하는 도 2에서 동일한 부품들의 도면부호들은 100이 증가된다. 기계(200)의 주요 처리 능력이 중앙 컴퓨터(213)엥 ml해 제공된다. 프로젝터(211) 및 광학 박스(210)는 표시 스크린(201)위에 3D 영상을 출력하기 위한 수단을 제공한다. 도 1의 핸드 레스트(102)가 도 2에도 도시된다. 핸드 피스(208)('핸드 피스'는 일반적으로 손으로 고정될 수 있는 모든 장치 또는 실시물을 의미하기 위해 이용된다)가 치과의사의 드릴을 시뮬레이션하기 위해 이용된다. 핸드 피스(208)는 일반적으로 치과의사용 드릴의 핸들과 동일한 외관 및 촉감을 가진 핸들을 포함한다. 그러나, 핸드 피스(208)의 원위 단부(즉 버(burr)가 위치하는 위치)가 일련의 링크들에 의해 촉감적 표시장치(haptic display)(209)와 연결된다. 상기 링크 및 촉감적 표시장치는 전기 모터, 하중 센서, 각위치 센서 및 관성 측정 유닛(IMU) 및 포텐셔미터를 포함한다. 치과의사용 드릴의 작동은 연속적인 피드백 기구에 의해 시뮬레이션되고 촉감적 제어유닛(212)에 의해 제어되며, 사용자에 의해 가해진 하중 및 핸드 피스(208)에 대한 운동은 촉감적 제어 유닛(212)으로 공급되고 상기 촉감적 제어 유닛은 촉감적 표시장치(209)의 적절한 작동, (고체 대상물과 상호작용을 시뮬레이션하기 위해) 필요한 대응 하중, (전원 공급된 드릴링 공구의 작동을 시뮬레이션하기 위한) 진동 및 (예를 들어, 특정 치과학적 수술을 포함한 특정 연습 세션과 관련될 수 있는) 소프트웨어 루틴 세트를 따르는 운동 제한을 명령한다.
본 발명의 선호되는 실시예가 도 3 내지 도 5를 참고하여 설명된다. 도 3에 도시된 거울 핸드피스(320)는 치과의사의 구강 거울이용을 시뮬레이션하기 위해 단독으로 이용되거나 핸드피스(208)와 함께 이용된다.
거울 핸드피스(320)는 하우징(321)을 포함하고, 하우징의 치수는 표준 치과의사용 구강 거울의 핸들의 치수와 일반적으로 일치하도록 선택된다. 따라서, 하우징(321)은 12mm 미만의 직경을 가지고 100mm이하의 길이를 가지는 것이 선호된다. 광원/방출기(322)에 의해 방출되는 광선의 외부감지를 허용하도록 하우징(321)이 제조되는 재료가 선택된다(여기서 광선'은 전자기파 복사를 나타낸다). 선호적으로, 광선 방출기(322)는 적외선 발광다이오드(LED)이다. 광선 방출기(322)는 하기 설명과 같이 능동형 적외선 마커(marker)로서 작동한다. 하우징(321)은 금속과 같은 적합한 재료일 수 있지만 인간공학적이고 거칠게 형성된(roughened) 플라스틱인 것이 선호된다. 거울 핸드피스(320)는 30그램 미만의 중량을 가지며 채널(325)에서 사용자의 엄지손가락 및 집게 손가락에 의해 고정된다.
거울 핸드피스(320)의 근접 단부(323)는 (도 3에 도시되지 않은) 케이블에 의해 카메라 PCB에 연결된다. 선택적인 실시예에서, 상기 거울 핸드피스(320)는 배터리 및 전송기를 포함하고 카메라 PCB(435)와 무선으로 통신한다. 하우징(321)의 원위 단부(322)는 적외선 LED를 포함한다. 상기 LED의 위치는 광학적으로 (하기 설명과 같이) 추적되고 시뮬레이션 연습과정 동안 투시 스크린(101)에 표시되는 치과 의사용 구강 거울의 거울 부분에 관한 가상 이미지로 매핑(mapped)된다.
거울 핸드피스(320)의 하우징(321)은 관성 측정 유닛(IMU)(324)을 포함한 소형 PCB를 추가로 포함한다. IMU는, (게이밍 콘솔(gaming console) 및 이동 전화를 포함한) 다양한 장치에 광범위하게 이용되는 부품이며 위치 및 방향을 삼차원으로 측정하기 위해 자이로스코프 및 가속도계를 포함한다. 각각의 병진 운동 자유도를 위해 표준 IMU는 가속도 데이터를 포함하여 위치값을 결정한다. 각각의 회전 운동 자유도를 위해 각 속도 데이터가 포함되어 각위치 데이터를 제공한다. IMU는 또한 지구 자기장에 대한 방향 데이터를 제공하기 위해 자기력계(magnetometer)를 포함한다. 상기 자기력계 방향 데이터는, 자이로스코프에 의해 제공된 각위치 데이터를 재교정하여 작은 적분 오차들의 누적에 의해 발생되는 부정확도를 보상하기 위해 이용된다. IMU의 작동 원리에 관한 상세내용이 당업자들에게 알려져 있다.
상기 거울 핸드피스(320)의 운동이 추적되는 일반적인 공간이 도 4a 및 도 4b에서 영역(430)으로서 도시된다. 영역(430)은 핸드 레스트(435)위에 배열되고 일반적으로 학생이 한 개이상의 거울 핸드피스(320) 및/또는 핸드피스(208)를 작동시키는 영역을 형성한다.
두 개의 상부 카메라(431,432)들은 광학 박스(210)에 고정된다. 카메라의 투시 영역은 아래를 향해 영역(430)의 중심(436)을 향한다. 두 개의 하부 카메라(433,434)들은 도 4b에 도시된 것처럼 핸드 레스트(435) 아래에 위치하며 상기 핸드 레스트(435)가 배열된 기계(100)의 주요 하우징으로부터 횡 방향으로 연장되는 구조체에 두 개의 하부 카메라들이 고정된다. 선택적 실시예에서 모든 카메라들은 핸드 레스트(435)에 고정될 수 있는 구조체에 고정되어 상기 구조체는 치과용 시뮬레이션 기계(100)에 부착되고 분리될 수 있다. 하부 카메라(433,434)들은 추적 영역(430)의 중심(436)에 대해 상측을 향한다. 상기 추적 영역(430)은 대략 250mm x 200mm x 152mm 이며 일반적으로 카메라(431, 432, 433, 434)의 조합된 투시 영역에 의해 형성된다. 광학적 추적은 촉각식 표시장치(209)의 전기 모터의 작동과 간섭을 회피한다. 선택적 실시예에서, LED는 상기 핸드 레스트(435)속에 일체로 구성되어 사용자는 투시 스크린(201)에서 핸드 레스트(435)에 대한 거울 핸드피스(324)의 위치를 볼 수 있다.
카메라(431, 432, 433, 434)들은 LED(322)에 의해 방출되는 적외선을 감지하는 적외선 카메라이며 초당 25프레임의 영상을 포착한다. 작동하는 동안 각각의 카메라에 의해 포착되는 일련의 영상을 포함한 영상 공급(image feed)이 카메라 PCB(437)위에서 프로세서로 전달된다. 각각의 이미지를 위해, PCB(437)의 프로세서는 포착된 영상의 각 픽셀 라인의 라인 스캔(line scan)을 수행하여 미리 정해진 임계값 미만의 그레이스케일 휘도/강도(grayscale brightness/intensity)를 가진 픽셀을 식별한다. 미리 정해진 임계값은 관련 정보를 포함한 것으로 여겨지는 (임계값의 최소 강도값 및 구체화되지 않은 최대값사이의) 강도 범위를 형성한다. 임계값 미만의 강도를 가진 픽셀에 관한 픽셀 데이터는 무시된다.
각각의 영상에 대하여, 임계값 초과의 강도를 가진 픽셀에 관한 픽셀 데이터는 PCB(437)의 프로세서에 의해 분석되어 픽셀 클러스터(cluster of pixels)를 식별한다. 식별되는 가장 큰 픽셀 클러스터는 영상내에서 LED(322)의 위치를 식별하는 상기 클러스터의 중심이다. 상기 PCB(437)의 프로세서가 "블로브 추적(blob tracking)" 기술을 채택하고 픽셀의 휘도가 임계값 미만이라고 결정한 후에 더이상 픽셀을 분석하지 않고 전체 영상의 단지 일부분이 추가로 처리된다. 따라서, LED를 2D로 식별하기 위해 필요한 처리 소스(processing source)는 영상의 모든 픽셀을 요구하는 분석의 경우보다 상대적으로 적다.
각각의 카메라로부터 공급된 각각의 영상에 대하여 PCB(437)의 프로세서는 상기 가장 큰 픽셀 클러스터의 중심에 관한 x 및 y 좌표를 결정하고 따라서 각각의 카메라 영상 공급에 대해 일련의 2D 위치 좌표들을 실시간으로 발생시킨다. 메인 컴퓨터(213)로 네 개의 일련의 2D 좌표들이 전송된다.
메인 하드웨어 부품들이 도 5에 도시된다. 각각의 카메라로부터 영상을 수신하는 것이외에 카메라 PCB(437)는 일련의 프로토콜에 의해 거울 핸드피스(320)내에서 IMU(324)의 데이터를 수신한다. 각각의 카메라 영상 공급에 대한 일련의 x, y 좌표값들과 함께 카메라 PCB(437)는 IMU(324)로부터 기계(100)의 메인 컴퓨터(213)로 위치 및 방향 데이터를 보낸다.
메인 컴퓨터(213)는 동적 로딩 메커니즘(dynamic loading mechanism)을 이용하여 카메라 PCB(437)로부터 수신된 데이터를 처리하고 상기 동적 로딩 메커니즘의 원리는 당업자들이 알 수 있다. (각각의 카메라로부터 LED 좌표값들에 해당하는) 네 개의 x, y 좌표 쌍들의 세트를 이용하여, 컴퓨터(213)는 삼각측량(triangulation) 작업을 실시간으로 동적 로딩 라이브러리(library)내에서 수행하여 영역(430)내에서 LED(322)의 위치를 구체화하는 x, y, z 좌표를 발생시킨다. x, y, z 좌표의 발생율은 카메라 프레임 발생율과 동일하다. 카메라의 갯수가 증가됨에 따라 x, y, z 데이터의 정밀도는 개선되고, 삼각측량을 수행하기 위한 처리 리소스는 증가된다. 삼각 측량을 수행하기 위한 충분한 데이터를 제공하고 3차원 위치 데이터를 발생시키기 위해 최소 두 개의 카메라들이 필요하다.
IMU(234)는 초당 100번 위치 및 방향 데이터를 발생시키고 따라서 메인 컴퓨터(213)는 상기 속도로 위치 및 방향 데이터를 수신하고 업데이트한다. 투시 스크린(201)위에 치과의사용 구강 거울의 가상 이미지를 동영상화(animate)하기 위한 위치데이터의 주요 공급원은 (카메라 PCB보다 더욱 자주 위치 데이터를 제공하는) IMU로부터 공급되는 위치 데이터이다. 그러나, IMU(234)에 의해 통합될 때 발생될 수 있는 작은 오차 때문에, 위치 데이터, 메인 컴퓨터(213)에 의해 수신되는 IMU 위치 데이터를 제공하기 위한 가속도는 부정확할 수 있다. 이를 해결하기 위해, IMU 위치 데이터를 수정하고 다시 교정하기 위해 카메라 데이터로부터 x, y 좌표값들을 이용한 x, y, z 위치 데이터가 이용된다.
거울 핸드피스(320)의 방향 및 회전에 관한 데이터는 또한 IMU에 의해 제공되고 IMU 위치 데이터를 가진 메인 컴퓨터(213)에 의해 수신된다. (주기적으로 수정되는 IMU 위치 데이터를 포함하는 IMU 위치 데이터와 함께, 상기 방향 및 회전 데이터는 실시간으로 상기 핸드피스(320)의 운동을 삼차원으로 완전하게 표현한다. 상기 거울 핸드피스(320)의 위치 데이터의 완전한 위치 정밀도는 2mm 이하이며 거울 핸드피스(320)의 방향 데이터의 완전한 방향 정밀도는 1도 이하이다. 상대 위치 해상도는 0.15mm 미만이고 상대 방향 해상도는 0.1도 미만이다. 전체 시스템 레이턴시(latency)는 30ms 미만이다.
메인 컴퓨터(213)는, 추적한 거울 핸드피스의 위치 및 방향 데이터를 기초한 명령을 발생시키고 시뮬레이션 프로그램에게 명령하여 거울 핸드피스의 결정된 위치 및 방향 데이터에 따라 투시 스크린(201)위에서 구강 거울의 가상 이미지의 상대 위치 및 방향을 조정한다. 상기 거울 핸드피스(320)가 영역(430)에서 사용자에 의해 이동함에 따라 치과의사용 구강 거울의 가상 이미지는 이에 따라 3차원으로 동영상화되고, 학생은 거울을 이용하여 서로 다른 각도에서 한 개이상의 치아에 관한 삼차원 가상 이미지를 볼수 있다. 거울의 리플렉턴스(relfectance)를 시뮬레이션하기 위해, 가상 거울의 거울 면에 표현된 이미지는 (표준 스테레오스코픽 투시를 위한 두 번의 렌더링(rendered)이 아니라 네 번 렌더링되어야 한다.
본 발명이 치과의사용 거울을 시뮬레이션하기 위한 장치를 추적하는 것을 참고하여 설명되지만, 상기 공정은 강제 피드백(force feedback)을 요구하지 않는 자유 이동식 핸드헬드(free moving handheld) 장치를 시뮬레이션할 수 있다.
101......투시 스크린,
102......핸드 레스트,
105......전원 버튼,
106......높이 조절 스위치,
104......마우스,
103......연습 스크린.

Claims (35)

  1. 표시장치,
    한 개이상의 프로세서,
    광선 방출기 및 관성 측정 유닛(IMU)을 포함한 핸드피스를 포함하고, 상기 IMU는 상기 한 개이상의 프로세서들 중 적어도 한 개와 통신하며, 상기 IMU는 IMU 위치 및 방향 데이터를 발생시키도록 구성되고, 상기 IMU 위치 및 방향 데이터는 핸드피스의 위치 및 방향을 표현하며,
    상기 한 개이상의 프로세서들 중 적어도 한 개와 통신하는 적어도 두 개의 카메라를 포함하고, 각각의 카메라는 광선 방출기에 의해 방출되는 광선을 이용하여 일련의 영상을 발생시키도록 구성되며,
    한 개이상의 프로세서는:
    각각의 카메라로부터 일련의 영상을 수신하고,
    상기 일련의 영상들로부터 유도된 이차원 좌표 데이터를 기초하여 광선 방출기의 위치를 식별하는 삼차원 좌표 데이터를 발생시키며,
    상기 IMU 위치 및 방향 데이터를 수신하고,
    추가로 상기 한 개이상의 프로세서는 시뮬레이션 명령을 발생시키기 위해 상기 IMU 위치 및 방향 데이터와 삼차원 좌표 데이터를 결합하고 대상물의 삼차원 가상 영상을 표시장치에 표시하고 시뮬레이션 명령에 따라 대상물의 운동을 동영상화하도록 구성되는 것을 특징으로 하는 장치.
  2. 제1항에 있어서, 상기 영상은 치과의사용 구강 거울인 것을 특징으로 하는 장치.
  3. 제1항 또는 제2항에 있어서, 상기 카메라들이 적외선 카메라들이고 상기 광선 방출기는 적외선 LED인 것을 특징으로 하는 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 장치는 4개의 카메라들을 포함하는 것을 특징으로 하는 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 한 개이상의 프로세서는 추가로 각각의 영상에 대해 영상내에서 광선 방출기의 위치를 식별하는 이차원 좌표 데이터를 발생시키도록 구성되는 것을 특징으로 하는 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 핸드피스는 추적공간내에서 이동가능하고 상기 장치는 상기 추적 공간내에서 이동가능한 제2 핸드피스를 추가로 포함하는 것을 특징으로 하는 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 한 개이상의 프로세서는 추가로 제2 핸드피스에 해당하고 삼차원으로 시뮬레이션된 제2 대상물을 표시장치위에 표시하고 제2 핸드피스의 운동에 따라 제2 대상물의 운동을 동영상화하도록 구성되는 것을 특징으로 하는 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 핸드피스는 케이블에 의해 장치와 연결되지만 그렇지 않으면 자유롭게 이동할 수 있는 것을 특징으로 하는 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 한 개이상의 프로세서들 중 적어도 한 개가 미리 정해진 임계값을 초과하는 강도를 가진 픽셀을 결정하기 위해 각각의 카메라로부터 각각의 영상의 각 픽셀라인을 스캔하도록 구성되는 것을 특징으로 하는 장치.
  10. 제9항에 있어서, 상기 한 개이상의 프로세서들 중 적어도 한 개가 미리 정해진 임계값을 초과하는 강도를 가진 픽셀을 식별하는 데이터를 발생시키는 것을 특징으로 하는 장치.
  11. 제10항에 있어서, 미리 정해진 임계값을 초과하는 강도를 가진 픽셀을 식별하는 데이터는 미리 정해진 임계값을 초과하는 강도를 가진 픽셀 클러스터를 식별하기 위해 분석되는 것을 특징으로 하는 장치.
  12. 제11항에 있어서, 미리 정해진 임계값을 초과하는 강도를 가진 픽셀 클러스터는 가장 큰 클러스터를 식별하기 위해 분석되고, 가장 큰 클러스터의 중심은 영상내에서 LED의 위치를 형성하는 것을 특징으로 하는 장치.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 삼차원 좌표 및 IMU 위치 및 방향 데이터는 동적 로딩 라이브러리내에서 결합되는 것을 특징으로 하는 장치.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 한 개이상의 프로세서는, IMU 위치 및 방향 데이터내에서 위치 데이터의 오차를 수정하기 위해 삼차원 좌표를 이용하는 것을 특징으로 하는 장치.
  15. 치과용 시뮬레이션 기계와 이용하기 위한 핸드피스에 있어서, 상기 핸드피스는:
    위치 및 방향 데이터를 발생시키도록 구성된 관성 측정 유닛(IMU) 및
    광선을 방출시키도록 구성된 광원을 포함하고,
    상기 핸드피스는 광원으로부터 방출되는 광선을 감지하여 광원의 위치 및 방향을 결정하고 IMU로부터 위치 및 방향 데이터를 결정하도록 구성되는 것을 특징으로 하는 핸드피스.
  16. 제15항에 있어서, 상기 핸드피스는 원위 단부 및 근위 단부를 가진 기다란 하우징을 포함하고, 하우징의 근위단부에 케이블이 연결되며, 케이블에 의해 핸드피스가 치과용 시뮬레이션 기계에 연결되는 것을 특징으로 하는 핸드피스.
  17. 제16항에 있어서, 기다란 하우징의 직경은 12mm 이하인 것을 특징으로 하는 핸드피스.
  18. 제16항에 있어서, 기다란 하우징의 길이는 100mm이하이고 선호적으로 75mm인 것을 특징으로 하는 핸드피스.
  19. 제15항 내지 제18항 중 어느 한 항에 있어서, 핸드피스의 중량은 30그램이하인 것을 특징으로 하는 핸드피스.
  20. 제16항 내지 제19항 중 어느 한 항에 있어서, 기다란 하우징은 실질적으로 원형 횡단면을 가지는 것을 특징으로 하는 핸드피스.
  21. 제16항 내지 제20항 중 어느 한 항에 있어서, LED 및 IMU는 치과용 시뮬레이션 기계에 연결될 때 케이블에 의해 전력을 공급받는 것을 특징으로 하는 핸드피스.
  22. 제16항 내지 제21항 중 어느 한 항에 있어서, IMU로부터 데이터는 일련의 프로토콜에 의해 프로세서 또는 치과용 시뮬레이션 기계에 연결될 때 치과용 시뮬레이션 기계로 전송되도록 구성되는 것을 특징으로 하는 핸드피스.
  23. 제16항 내지 제22항 중 어느 한 항에 있어서, 기다란 하우징이 강화된 플라스틱으로부터 제조되는 것을 특징으로 하는 핸드피스.
  24. 제16항 내지 제23항 중 어느 한 항을 따르는 핸드피스를 포함한 치의학용 시뮬레이션 기계.
  25. 치과용 시뮬레이션 환경에서 광원 및 관성 측정 유닛(IMU)을 가진 대상물의 운동을 시뮬레이션하는 컴퓨터 실행 방법에 있어서,
    적어도 두 개의 카메라로부터 일련의 영상을 수신하는 단계를 포함하고, 각각의 영상은 광원으로부터 방출되는 광선을 이용하여 포착하며,
    광원의 위치를 영상속에 표시하는 한 개이상의 영상 영역들을 결정하기 위해 상기 일련의 영상들 속에서 각각의 영상을 분석하는 단계를 포함하고,
    영상속에서 광원의 위치를 식별하는 이차원 위치 데이터를 결정하는 단계를 포함하며,
    IMU로부터 IMU 데이터를 수신하는 단계를 포함하고,
    IMU 데이터 및 이차원 위치 데이터를 기초하여 광원의 위치 및 방향을 식별하는 삼차원 위치 및 방향 데이터를 결정하는 단계를 포함하며,
    상기 삼차원 위치 및 방향 데이터를 기초하여 시뮬레이션 명령을 발생시키는 단계를 포함하고,
    상기 시뮬레이션 명령에 따라 표시장치상에 대상물의 영상을 동영상화(animating)하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 실행 방법.
  26. 제25항에 있어서, 분석하는 단계는 미리 정해진 임계값을 초과하는 휘도를 가진 픽셀을 식별하기 위해 각각의 영상속에서 각각의 픽셀 라인을 스캔하는 것을 포함하는 것을 특징으로 하는 컴퓨터 실행 방법.
  27. 제26항에 있어서, 이차원 위치 데이터를 식별하는 단계는 미리 정해진 임계값을 초과하는 휘도를 가진 픽셀 클러스터를 식별하고 클러스터의 중심 좌표를 식별하는 것을 포함하는 것을 특징으로 하는 컴퓨터 실행 방법.
  28. 제25항 내지 제27항 중 어느 한 항에 있어서, 상기 IMU에 의해 제공되는 위치 데이터는 삼차원 좌표와 비교되고 삼차원 위치 데이터는 IMU로부터 제공된 위치 데이터를 주기적으로 수정하는 것을 특징으로 하는 컴퓨터 실행 방법.
  29. 프로세서에 의해 실행될 때 제25항 내지 제28항 중 어느 한 항을 따르는 컴퓨터 실행 방법을 위한 명령을 포함한 기계 판독가능한 저장 매체.
  30. 핸드피스의 운동을 추적하기 위한 시스템에 있어서,
    투시 스크린을 포함한 시뮬레이션 기계,
    케이블에 의해 시뮬레이션 기계에 연결된 핸드피스를 포함하고,
    상기 시뮬레이션 기계가 핸드피스의 운동을 광학적으로 추적하도록 구성되며,
    상기 시뮬레이션 기계는 추가로 핸드피스의 추적 운동에 따라 대상물을 투시 스크린상에 동영상화하도록 구성되는 것을 특징으로 하는 시스템.
  31. 제30항에 있어서, 상기 핸드피스는 능동형 적외선 마커를 포함하고, 시뮬레이션 기계는 능동형 적외선 마커를 광학적으로 추적하도록 구성되는 것을 특징으로 하는 시스템.
  32. 제30항 또는 제31항에 있어서, 상기 핸드피스는 관성 측정 유닛(IMU)을 추가로 포함하고, 상기 시뮬레이션 기계는 핸드피스의 회전 운동을 시뮬레이션하기 위해 IMU로부터 데이터를 이용하는 것을 특징으로 하는 시스템.
  33. 제30항 내지 제32항 중 어느 한 항에 있어서, 상기 시뮬레이션 기계는 적어도 두 개의 카메라를 추가로 포함하고, 상기 적어도 두 개의 카메라들은 핸드피스의 능동형 적외선 마커를 광학적으로 추적하도록 구성되는 것을 특징으로 하는 시스템.
  34. 치과용 시뮬레이션 환경내에서 치과의사용 구강 거울을 동영상화하기 위한 시스템에 있어서,
    관성 측정 유닛(IMU)을 포함한 핸드피스의 위치 및 방향을 추적하기 위한 수단을 포함하고 상기 핸드피스가 사용자에 의해 이동하며,
    상기 핸드피스의 위치 및 방향 데이터를 발생시키기 위한 수단을 포함하고,
    핸드피스의 위치 및 방향 데이터를 기초하여 시뮬레이션 명령을 발생시키기 위한 수단을 포함하며,
    상기 시뮬레이션 명령에 따라 치과의사용 구강 거울의 동영상화(animating)를 표시하기 위한 수단을 포함하는 것을 특징으로 하는 시스템.
  35. 첨부된 도면들 중 한 개이상을 참고하여 실질적으로 설명된 장치, 시스템, 핸드피스 또는 방법.
KR1020187029144A 2016-03-10 2017-03-07 운동 추적 및 시뮬레이션 장치와 방법 KR102418773B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1604115.4 2016-03-10
GB1604115.4A GB2548341A (en) 2016-03-10 2016-03-10 Movement tracking and simulation device and method
PCT/EP2017/055339 WO2017153416A1 (en) 2016-03-10 2017-03-07 Movement tracking and simulation device and method

Publications (2)

Publication Number Publication Date
KR20180121605A true KR20180121605A (ko) 2018-11-07
KR102418773B1 KR102418773B1 (ko) 2022-07-07

Family

ID=55952135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187029144A KR102418773B1 (ko) 2016-03-10 2017-03-07 운동 추적 및 시뮬레이션 장치와 방법

Country Status (9)

Country Link
US (1) US11341867B2 (ko)
EP (1) EP3427245A1 (ko)
JP (1) JP6789310B2 (ko)
KR (1) KR102418773B1 (ko)
CN (1) CN108780614B (ko)
AU (1) AU2017230317B2 (ko)
CA (1) CA3016853A1 (ko)
GB (1) GB2548341A (ko)
WO (1) WO2017153416A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839547B2 (en) * 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking
US11367192B2 (en) * 2019-03-08 2022-06-21 Align Technology, Inc. Foreign object filtering for intraoral scanning
JP6936826B2 (ja) * 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
JP2022543321A (ja) * 2019-08-09 2022-10-11 シムトゥライフ ビー． ヴィ． 歯科処置および方法をシミュレートするための装置
CN110827975B (zh) * 2019-11-11 2022-10-14 延边修恩生物科技有限公司 一种口腔扫描装置及其使用方法
CN112349167A (zh) * 2020-11-05 2021-02-09 北京众绘虚拟现实技术研究院有限公司 一种双手力反馈的口腔实践技能考试设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294326A (ja) * 2008-06-03 2009-12-17 Eped Inc 歯科臨床と教育訓練シミュレーション追跡システム及びその評価方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1182541A3 (de) * 2000-08-22 2005-11-30 Siemens Aktiengesellschaft System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
JP3436929B2 (ja) * 2001-03-30 2003-08-18 岩手県 ３次元形状計測システム
US20060084050A1 (en) * 2004-01-12 2006-04-20 Haluck Randy S Portable virtual reality medical demonstration and training apparatus
KR100560966B1 (ko) * 2004-10-12 2006-03-15 삼성광주전자 주식회사 로봇 청소기의 자이로 센서 보정방법
US7780089B2 (en) * 2005-06-03 2010-08-24 Hand Held Products, Inc. Digital picture taking optical reader having hybrid monochrome and color image sensor array
GB2451461A (en) * 2007-07-28 2009-02-04 Naveen Chawla Camera based 3D user and wand tracking human-computer interaction system
JP5075659B2 (ja) * 2008-02-12 2012-11-21 日本放送協会 物体軌道演算装置及びそのプログラム
US20100167248A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
US9350923B2 (en) * 2010-08-31 2016-05-24 Cast Group Of Companies Inc. System and method for tracking
EP2656181B1 (en) * 2010-12-22 2019-10-30 zSpace, Inc. Three-dimensional tracking of a user control device in a volume
US9119655B2 (en) * 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
US8716973B1 (en) * 2011-02-28 2014-05-06 Moog Inc. Haptic user interface
CA2849212C (en) * 2011-04-28 2015-10-13 Technologies Holdings Corp. Vision system for robotic attacher
KR102143807B1 (ko) * 2012-07-26 2020-08-31 디퍼이 신테스 프로덕츠, 인코포레이티드 최소 영역 모노리식 cmos 이미지 센서를 가진 카메라 시스템
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
JP6204686B2 (ja) * 2013-04-12 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
US9605950B2 (en) * 2013-05-22 2017-03-28 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
ES2763912T3 (es) * 2013-08-20 2020-06-01 Curefab Tech Gmbh Seguimiento óptico
US9723300B2 (en) * 2014-03-17 2017-08-01 Spatial Intelligence Llc Stereoscopic display
JP5781667B1 (ja) * 2014-05-28 2015-09-24 株式会社モリタ製作所 根管治療用装置
EP2988288A1 (en) * 2014-08-22 2016-02-24 Moog B.V. Medical simulator handpiece
CN105069795B (zh) * 2015-08-12 2017-12-22 深圳锐取信息技术股份有限公司 运动对象跟踪方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294326A (ja) * 2008-06-03 2009-12-17 Eped Inc 歯科臨床と教育訓練シミュレーション追跡システム及びその評価方法

Also Published As

Publication number Publication date
GB2548341A (en) 2017-09-20
US20190073924A1 (en) 2019-03-07
WO2017153416A1 (en) 2017-09-14
JP6789310B2 (ja) 2020-11-25
CN108780614B (zh) 2022-05-31
US11341867B2 (en) 2022-05-24
AU2017230317A1 (en) 2018-09-27
CN108780614A (zh) 2018-11-09
CA3016853A1 (en) 2017-09-14
AU2017230317B2 (en) 2022-10-20
EP3427245A1 (en) 2019-01-16
JP2019512299A (ja) 2019-05-16
GB201604115D0 (en) 2016-04-27
KR102418773B1 (ko) 2022-07-07

Similar Documents

Publication Publication Date Title
KR102418773B1 (ko) 운동 추적 및 시뮬레이션 장치와 방법
KR20210064129A (ko) 가상현실 기반 방사선학 실습 장치 및 방법
JP4871270B2 (ja) 仮想３次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム
US20150140505A1 (en) Computer-aided positioning and navigation system for dental implant
US9936166B2 (en) Method for planning a dental treatment
KR101855863B1 (ko) 멀미를 방지하는 실시간 시뮬레이션 시스템
US8952956B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
CN103077633A (zh) 一种立体虚拟培训系统和方法
TW200900123A (en) Self-contained inertial navigation system for interactive control using movable controllers
WO2006108279A1 (en) Method and apparatus for virtual presence
KR20170010157A (ko) 인터랙티브 운동프로그램을 통한 사용자의 운동동작 유도 방법 및 그 장치
CN116740312A (zh) 信息处理装置和用户指南呈现方法
Buń et al. Application of professional and low-cost head mounted devices in immersive educational application
KR20160090042A (ko) 3d hmd를 활용한 아케이드 게임시스템
KR101618004B1 (ko) 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
RU2670649C9 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
JP4760344B2 (ja) 仮想空間体験システム
US20190096285A1 (en) Dental simulation machine
US20220319355A1 (en) Apparatuses for simulating dental procedures and methods
KR102638830B1 (ko) 구상된 수동 가동 소비자 제품의 사용을 평가하기 위한 시스템
JP7388652B2 (ja) 気管内吸引の訓練装置
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
WO2023286191A1 (ja) 情報処理装置および駆動データ生成方法
US10657726B1 (en) Mixed reality system and method for determining spatial coordinates of dental instruments
WO2023162668A1 (ja) 情報処理装置および床面高さ調整方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant