KR20210121001A - 치과용 기계를 제어하기 위한 방법 및 시스템 - Google Patents

치과용 기계를 제어하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20210121001A
KR20210121001A KR1020217020781A KR20217020781A KR20210121001A KR 20210121001 A KR20210121001 A KR 20210121001A KR 1020217020781 A KR1020217020781 A KR 1020217020781A KR 20217020781 A KR20217020781 A KR 20217020781A KR 20210121001 A KR20210121001 A KR 20210121001A
Authority
KR
South Korea
Prior art keywords
user interface
augmented reality
computer
control
augmented
Prior art date
Application number
KR1020217020781A
Other languages
English (en)
Inventor
안드레 코자
로니 쿠하르치크
Original Assignee
덴츠플라이 시로나 인코포레이티드
시로나 덴탈 시스템스 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 덴츠플라이 시로나 인코포레이티드, 시로나 덴탈 시스템스 게엠베하 filed Critical 덴츠플라이 시로나 인코포레이티드
Publication of KR20210121001A publication Critical patent/KR20210121001A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24—Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/0007—Control devices or systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/0007—Control devices or systems
    • A61C1/0015—Electrical systems
    • A61C1/0023—Foot control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/0007—Control devices or systems
    • A61C1/0015—Electrical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Dentistry (AREA)
  • Water Supply & Treatment (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pathology (AREA)
  • Otolaryngology (AREA)
  • Pulmonology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실 제어 인터페이스를 통해 치과용 기계를 작동시키기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 저장 매체가 개시된다. 핸즈 프리 인터페이스는, 제1 사용자/제어 인터페이스와는 상이한 제2 사용자/제어 인터페이스에 대응하는 명령을 보내기 위해, 제1 사용자/제어 인터페이스에 대해 팔(upper-limb) 이외의 능숙한 신체 부분을 이용하여[예컨대, 다리(lower limb)를 이용함으로써] 치과 치료 중에 치과용 기계의 제어를 가능하게 할 수 있다.

Description

치과용 기계를 제어하기 위한 방법 및 시스템
본 출원은 대체로 기계를 제어하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 저장 매체에 관한 것이며, 보다 구체적으로는, 치과용 기계, 예컨대 치료 유닛을 작동시키기 위해 증강 현실 제어/사용자 인터페이스를 이용하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
사용자 인터페이스 또는 제어 인터페이스는, 사람과 기계 사이의 상호작용이 발생하는 공간으로서 정의될 수 있다. 이는 사람의 말단부로부터의 기계의 제어를 가능하게 할 수 있다. 일반적으로, 사용자 인터페이스 설계의 목적은, 원하는 결과를 발생시키도록 하는 방식으로 기계을 작동하기가 용이하게 되도록, 효율적이게 되도록, 그리고 사용자 친화적이게 되도록 하는 것일 수 있다. 통상의 사용자 인터페이스는 그래픽 사용자 인터페이스, 제스처 인터페이스, 하드웨어 인터페이스, 유형의 사용자 인터페이스(tangible user interface), 텍스트 기반의 사용자 인터페이스, 음성 제어형 사용자 인터페이스를 포함한다.
치과 진료에 있어서, 임상의는, 컴퓨터의 사용자/제어 인터페이스를 이용하여, 예컨대, 치료 계획을 생성하고, 환자의 방사선 사진을 관찰하며, 스캐닝 절차를 용이하게 하는 등을 행할 수 있다. 그러나, 치과 치료 중에, 임상의는 환자에 대한 치료 절차를 수행하기 위해 자신의 손을 사용할 필요가 있을 수 있다. 예를 들면, 장갑을 착용하고 환자를 치료하는 임상의의 장갑에는 환자의 침/혈액이 닿게 될 수 있으며, 임상의는 컴퓨터 스크린 상의 프로그램을 다루기 위해 컴퓨터 마우스가 오염되는 것을 원치 않을 수 있다. 증강 현실(AR) 안경이 이러한 문제를 해결하는 데 사용될 수 있다. 그러나, 현재의 AR 안경은, 터치 상호작용을 통해, 예컨대 AR 안경의 일 면 상의 터치 패드를 통해, 음성 명령을 통해, 또는 손을 이용한 제스처를 통해 작동될 수 있다. 치료 중에, 임상의는 치료 절차를 수행하기 위해 본인의 손을 필요로 할 수 있으며, 이에 따라 손 제스처를 통해 AR 안경을 제어하는 것은 치료 과정에 방해가 될 수 있다. 추후에 AR 안경을 소독할 필요가 있을 수 있기 때문에, 페어링된 AR 안경의 일 면 상에서의 터치 상호작용은 또한 이상적이지 않을 수 있다. 심지어 또한 치과 의원은, 예컨대 치과용 기계로부터의 치료 소음으로 인해 종종 시끄러울 수 있으며, 이에 따라 AR 안경을 위한 음성 명령의 효과를 저하시키게 된다. 따라서, 통상 팔(upper limb)/손에 의해 제어되는 제1 사용자 인터페이스를, 팔 이외의 다른 능숙한 신체 부분에 의해 통상 제어되는 제2 사용자 인터페이스를 통해 제어하는 방식을 필요로 하고 있다.
미국 특허 출원 공보 제20160033770A1호는, 사용자가 가상 이미지 및 외부 현장을 시각적으로 인식할 수 있게 하는 머리 장착식 디스플레이 디바이스를 개시하고 있다.
미국 특허 출원 제2017202633호는, 사용자에 의한 관찰을 위한 착용 가능한 디스플레이를 포함하는, 의료 개입을 안내하기 위한 이미징 및 디스플레이 시스템을 개시하고 있으며, 상기 디스플레이는, 수술 전 외과 네비게이션 이미지, 수술 중 이미지, 및 체내 현미경 이미지 또는 감지 데이터를 포함하는 복합 이미지 또는 조합 이미지를 제공한다. 프로브, 예컨대 현미경 프로브 또는 감지용 프로브는, 환자로부터 체내 이미징/감지 데이터를 획득하는 데 사용될 수 있으며, 수술 중 이미지 및 체내 이미지는, 트랙킹 및 레지스트레이션 기법을 이용하여, 디스플레이를 위한 복합 이미지를 형성하도록, 수술 전 이미지 및 환자와 수술 중 이미지 및 체내 이미지가 정렬되게 함으로써 획득될 수 있다.
미국 특허 출원 제20020082498호는 이미지 안내식 수술을 위한 방법으로서, 환자의 일부의 3차원(3D) 체적 데이터를 캡쳐하는 단계, 이 체적 데이터를 처리하여 상기 데이터의 그래픽 표현을 제공하는 단계, 상기 환자의 일부를 포함하는 현장의 입체적 비디오 뷰를 캡쳐하는 단계, 혼합 방식으로 상기 그래픽 표현 및 상기 입체적 비디오 뷰를 렌더링하여 입체적 증강 이미지를 제공하는 단계, 비디오-시-쓰루(video-see-through) 디스플레이에서 상기 입체적 증강 이미지를 디스플레이하는 단계를 포함하는 방법을 개시하고 있다.
미국 특허 출원 공보 제20160191887호는, 외과의의 정적 시점 또는 동적 시점으로부터 환자의 증강 뷰(augmented view)를 디스플레이하기 위한 실시간 외과용 네비게이션 방법 및 장치를 설명하고 있다. 표면 이미지, 그래픽 표현, 수술 전 이미지 또는 수술 중 이미지로부터 처리된 환자의 내부 해부학적 구조, 및 2개의 이미지를 기하학적으로 레지스터링하기 위한 컴퓨터가 사용될 수 있다. 이미지들을 기하학적으로 레지스터링하는 것에 응답하여, 머리 장착식 디스플레이는 환자의 증강 뷰를 외과의에게 제공할 수 있다.
전술한 바와 관련된 기존의 제약뿐만 아니라 다른 제약은, 기계를 제어하기 위한 청구항 1에 따른 방법, 청구항 5에 따른 시스템, 및 청구항 9에 따른 컴퓨터 판독 가능한 저장 매체에 의해 극복될 수 있다.
본원에서의 양태에 있어서, 본 발명은 증강 시각화를 이용하는 방법을 제공하며, 상기 방법은, 제1 사용자 인터페이스를 제공하는 단계; 제1 사용자 인터페이스와는 상이한 제2 사용자 인터페이스를 제공하는 단계; 제2 사용자 인터페이스에 대응하는 증강 현실 사용자 인터페이스를 제공하는 단계로서, 제1 사용자 인터페이스는 증강 현실 사용자 인터페이스에 대응하는 하나 이상의 제어 신호를 전송하도록 되어 있는 것인 단계; 제1 사용자 인터페이스의 하나 이상의 제어 신호를 통해 제2 사용자 인터페이스를 제어하는 단계를 포함한다.
본원에서의 또 다른 양태에 있어서, 상기 방법은 다음의 단계들 중 하나 이상을 더 포함한다. (ⅰ) 증강 현실 사용자 인터페이스의 하나 이상의 증강 현실 제어 요소가 제1 사용자 인터페이스의 하나 이상의 제1 제어 요소에 대응하도록 또는 제1 사용자 인터페이스의 제1 제어 요소의 하나 이상의 위치에 대응하도록, 그리고 증강 현실 사용자 인터페이스가 제1 사용자 인터페이스 상에 직접 중첩된 것으로 보이도록, 제1 사용자 인터페이스 상에 증강 현실 사용자 인터페이스를 오버레이(overlay)하는 단계로서, (ⅱ) 증강 현실 사용자 인터페이스의 하나 이상의 증강 현실 제어 요소는 또한 제2 사용자 인터페이스의 하나 이상의 제2 제어 요소에 대응하고, (ⅲ) 하나 이상의 제2 제어 요소는 액션 아이템(action item), 소프트웨어 어플리케이션, 비디오, 및/또는 이미지를 포함하는 것인 단계. (ⅳ) 핸즈 프리 방식으로 제1 사용자 인터페이스를 작동시키는 단계. (ⅴ) (a) 임상의의 움직임을 트랙킹하는 실시간 데이터, (b) 제1 사용자 인터페이스의 위치를 트랙킹하는 실시간 데이터, 및 (c) 제1 사용자 인터페이스의 하나 이상의 제어 신호로 이루어지는 군으로부터 선택되는 데이터를 기초로 증강 현실 사용자 인터페이스를 업데이트하는 단계로서, (ⅵ) 제1 사용자 인터페이스는 풋스위치(footswitch) 또는 소독 가능한 제어 패널인 것인 단계.
본원에서의 추가적인 양태에 있어서, 증강 시각화를 이용하는 시스템이 제공되며, 상기 시스템은, 증강 시각화를 위한 디스플레이 디바이스; 제1 사용자 인터페이스; 제1 사용자 인터페이스와는 상이한 제2 사용자 인터페이스; 제2 사용자 인터페이스에 대응하는 증강 현실 사용자 인터페이스를 제공하는 단계로서, 제1 사용자 인터페이스는 증강 현실 사용자 인터페이스에 대응하는 하나 이상의 제어 신호를 전송하도록 되어 있는 것인 단계, 및 제1 사용자 인터페이스의 하나 이상의 제어 신호를 통해 제2 사용자 인터페이스를 제어하는 단계를 수행하도록 구성되는 적어도 하나의 프로세서를 포함한다.
본원에서의 또 다른 양태에 있어서, 상기 시스템은 다음의 구성 중 하나 이상을 더 포함한다. (ⅰ) 공통 좌표계에서 대상물의 정확한 위치 및 배향에 관한 실시간 위치 데이터를 제공하도록 구성되는 트랙킹 시스템으로서, (ⅱ) 트랙킹 시스템은 센서 기반이거나 및/또는 시각 기반이고, (ⅲ) 제1 사용자 인터페이스는 풋스위치 또는 소독 가능한 제어 패널인 것인 트랙킹 시스템. (ⅳ) 증강 현실 사용자 인터페이스의 하나 이상의 증강 현실 제어 요소가 제1 사용자 인터페이스의 하나 이상의 제1 제어 요소에 대응하도록 또는 제1 사용자 인터페이스의 제1 제어 요소의 하나 이상의 위치에 대응하도록, 그리고 증강 현실 사용자 인터페이스가 제1 사용자 인터페이스 상에 직접 중첩된 것으로 보이도록, 제1 사용자 인터페이스 상에 증강 현실 사용자 인터페이스를 오버레이하는 단계로서, (ⅴ) 증강 현실 사용자 인터페이스의 하나 이상의 증강 현실 제어 요소는 또한 제2 사용자 인터페이스의 하나 이상의 제2 제어 요소에 대응하고, (ⅵ) 하나 이상의 제2 제어 요소는 액션 아이템(action item), 소프트웨어 어플리케이션, 비디오, 및/또는 이미지를 포함하는 것인 단계를 수행하도록 더 구성되는 프로세서. (ⅶ) 핸즈 프리 방식으로 제1 사용자 인터페이스를 작동시키는 단계를 수행하도록 또한 구성되는 프로세서. (ⅷ) (ⅰ) 임상의의 움직임을 트랙킹하는 실시간 데이터, (ⅱ) 제1 사용자 인터페이스의 위치를 트랙킹하는 실시간 데이터, 및 (ⅲ) 제1 사용자 인터페이스의 하나 이상의 제어 신호로 이루어지는 군으로부터 선택되는 데이터를 기초로 증강 현실 사용자 인터페이스를 업데이트하는 단계로서, (ⅸ) 제1 사용자 인터페이스는 풋스위치 또는 소독 가능한 제어 패널인 것인 단계를 수행하도록 더 구성되는 프로세서.
본원에서의 또 다른 양태에 있어서, 프로그램을 저장하는 컴퓨터 판독 가능한 비휘발성 저장 매체로서, 상기 프로그램은 컴퓨터 시스템에 의해 실행될 때, 컴퓨터 시스템이 아래의 단계, 즉 제2 사용자 인터페이스에 대응하는 증강 현실 사용자 인터페이스를 제공하는 단계; 제1 사용자 인터페이스로부터 하나 이상의 제어 신호를 수신하는 단계로서, 상기 제어 신호는 증강 현실 사용자 인터페이스에 대응하는 것인 단계; 제1 사용자 인터페이스의 하나 이상의 제어 신호를 통해 제2 사용자 인터페이스를 제어하는 단계를 포함하는 절차를 수행하도록 하는 것인 컴퓨터 판독 가능한 비휘발성 저장 매체가 제공된다.
예시적인 실시예는, 첨부 도면과 조합하여 이하에 제시되는 상세한 설명으로부터 보다 완전하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 시각화 시스템을 제시하는 블록도이다.
도 2는 본 발명의 예시적인 실시예에 따른, 컴퓨터 디스플레이와 풋스위치(footswitch) 사이의 관계를 제시하고 있다.
도 3은 본 발명의 예시적인 실시예에 따른 컴퓨터 시스템을 나타내는 블록도를 제시한 것이다.
도 4는 본 발명의 예시적인 실시예에 따른 방법을 나타내는 흐름도를 제시한 것이다.
본원에 설명된 예시적인 양태에 따르면, 기계, 예컨대 치과용 기계를 증강 현실 사용자/제어 인터페이스를 통해 작동시키기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 저장 매체가 마련될 수 있다. 증강 현실 인터페이스는, 제1 사용자/제어 인터페이스와는 상이한 제2 사용자/제어 인터페이스(예컨대, 그래픽 사용자 인터페이스)에 대응하는 명령을 보내기 위해, 제1 사용자/제어 인터페이스(예컨대, 풋스위치)에 대해 팔(upper-limb) 이외의 능숙한 신체 부분을 이용하여(예컨대, 다리를 이용함으로써) 치과 치료 중에 치과용 기계(예컨대, 마우스로 작동되는 치료 유닛)의 제어를 가능하게 할 수 있다. 제1 사용자/제어 인터페이스는 바람직하게는 핸즈 프리일 수 있지만, 제1 사용자/제어 인터페이스가 소독될 수 있는 실시예에서는 손을 사용하는 것을 또한 포함할 수도 있다.
기계를 제어하기 위한 증강 현실 시각화 시스템
도 1은 증강 현실 시각화 시스템(1)으로서, 증강 시각화를 위한 디스플레이 디바이스(12), 예컨대 (ⅰ) 머리 장착식 증강 현실 안경, (ⅱ) HUD 디스플레이, 또는 (ⅲ) 입체 비디오 이미지를 수신할 수 있는 입체 디스플레이, 또는 (ⅰ) 제1 사용자 인터페이스(14)(바람직하게는 하드웨어 사용자 인터페이스일 수 있음) 상에 또는 (ⅱ) 제1 사용자 인터페이스(14)의 입체 비디오/투사(상기 입체 비디오/투사는 디스플레이 디바이스(12)를 통해 보여지게 됨) 상에 증강 현실 사용자 인터페이스(42)를 오버레이하여 증강 현실 사용자 인터페이스(42)가 제1 사용자 인터페이스(14)에 직접 중첩되는 것처럼 보이게 하는 데 사용될 수 있는 다른 디스플레이 디바이스(12)를 포함하는 증강 현실 시각화 시스템을 제시한다. 여기서, 증강 현실 사용자 인터페이스(42)는 제2 사용자 인터페이스(15)에 대응되게 구성될 수 있으며, 제2 사용자 인터페이스(15)는 제1 사용자 인터페이스(14)를 통해 제어될 수 있다. 제2 사용자 인터페이스는 바람직하게는, 보통 팔로 작동되는 그래픽 사용자 인터페이스(GUI)일 수 있으며, 상기 그래픽 사용자 인터페이스는 예컨대 X-선 이미지를 관찰하기 위해 임상의(10)에 의해 사용되는 자립형 컴퓨터의 그래픽 사용자 인터페이스, 치과용 치료 의자에 연결된 모니터의 그래픽 사용자 인터페이스, 치과용 치료 의자의 제어 페널 등과 같은 것이다. 물론, 제2 사용자 인터페이스(15)는 GUI가 아닌 임의의 다른 유형의 사용자 인터페이스일 수도 있다.
앞서 언급된 바와 같이, 제1 사용자 인터페이스(14)는 풋스위치(16) 또는 다리로 제어될 수 있는 임의의 사용자 인터페이스일 수 있으며, 이에 따라 임상의(10)는 치료 중에 자유롭게 본인의 팔을 환자(도시 생략)에게 사용할 수 있으며 및/또는 임상의(10)는 치료 중에 본인의 팔로 제1 사용자 인터페이스(14)를 오염시키지 않을 수 있다. 풋스위치(16)의 예는, 린트 등의 미국 특허 출원 공보 제2014/0017629A1호(발명의 명칭 "치과용 또는 의료용의 치료 장치를 작동시키기 위한, 풋 스위치를 갖춘 하드웨어 내장형 무선 시스템") 및 파브슈트 등의 독일 특허 제DE102007014785B4호(발명의 명칭 "발로 제어되는 디바이스")에 개시되어 있으며, 이들 문헌은 인용함으로써 본원에 그 전체 내용이 본원에 기술된 것처럼 포함된다. 그러나, 본 발명의 또 다른 실시예에 있어서, 제1 사용자 인터페이스(14)는 치과용 치료 의자의 제어 패널과 같이 소독 가능한 사용자 인터페이스일 수도 있으며, 팔을 이용하여 제어될 수도 있다.
제2 사용자 인터페이스(15)에 대응하는 증강 현실 사용자 인터페이스(42)를 제1 사용자 인터페이스(14) 상에 투사함으로써, 임상의(10)는 "보다 편리한" 제1 사용자 인터페이스(14)를 통해 제2 사용자 인터페이스(15)의 기능을 제어할 수 있고, 여전히 치료 목적으로 본인의 팔을 동시에 사용할 수 있다. 더욱이, 임상의는, 본인이 익숙하지 않을 수도 있는 새로운 어플리케이션[제2 사용자 인터페이스(15)]을 제어함에 있어서, 본인이 익숙한 기술[제1 사용자 인터페이스(14)]을 이용함으로써 이익을 얻을 수 있다.
도 1에 도시된 바와 같이, 디스플레이 디바이스(12)는 컴퓨터 시스템(100)의 일부에 연결될 수도 있고, 컴퓨터 시스템의 일부를 형성할 수도 있다. 컴퓨터 시스템(100)(도 3에 또한 도시되어 있음)은 트랙킹 시스템(2) 및 프로세서(122)를 포함할 수 있다. 트랙킹 시스템(2)은 대안으로 컴퓨터 시스템과 별개일 수도 있으며, 본원에 언급되는 디바이스, 구성요소, 및/또는 시스템 중 임의의 것의 적어도 일부를 형성할 수 있다. 트랙킹 시스템(2)은 프로세서(122)에 전기적으로 접속될 수 있으며, 공통 좌표계에서의 임상의 및 대상물[예컨대, 제1 사용자 인터페이스(14)]의 정확한 위치 및 배향에 대한 실시간 위치 데이터를 제공할 수 있다. 본원에서의 예시적인 실시예에 있어서, 트랙킹 시스템(2)은 센서 기반일 수 있으며, 예컨대 제1 사용자 인터페이스(14)/풋 스위치(16)(도 2 참고)에서의 마커(marker)(도시 생략) 또는 내장형 센서(26)일 수 있으며, 예를 들어, 풋스위치(16)의 위치를 트랙킹하기 위한 및/또는 풋스위치(16)의 출력/제어 신호를 트랙킹하기 위한 압력 센서, 터치 센서, 근접도 센서, 회전 센서, 자이로스코프 센서 및 GPS와 같은 센서 및/또는 임상의(14)의 움직임을 트랙킹하기 위한 자이로스코프 또는 가속도계와 같은 센서를 포함한다.
트랙킹 시스템(2)은 또한 시각 기반일 수도 있으며, 예컨대 제1 사용자 인터페이스(14)의 위치를 시각적으로 트랙킹하기 위한 카메라 및/또는 제1 사용자 인터페이스(14) 상에 배치되는 미리 정해진 마커(도시 생략)일 수도 있다. 이러한 시각적 트랙킹은 예컨대 대상물/패턴 인식을 이용하여 달성될 수 있다. 카메라 시스템(3), 예컨대 3D 광학 트랙킹 시스템 및/또는 입체 카메라 시스템이 컴퓨터 시스템에 포함될 수도 있고 및/또는 트랙킹 시스템(2)의 일부를 형성할 수도 있으며 트랙킹 시스템(2)의 일부일 수도 있다. 카메라 시스템(3)은 또한 임상의(10)의 디스플레이 디바이스(12)에 내장될 수도 있다. 이러한 카메라 시스템은, 움직이는 임상의(10)에 대한 제1 사용자 인터페이스(14)의 위치를 트랙킹하기 위해 그리고 반대로 임상의(10)와 제1 사용자 인터페이스(14) 사이의 상대 이동에도 불구하고 제1 사용자 인터페이스(14) 상에 증강 현실 사용자 인터페이스(42)를 디스플레이하기 위해 여러 가지의 심도 감지 원리 중 하나 하에서 작동할 수 있다. 상기 심도 감지 원리는, 예컨대 이하에서 설명되는 (ⅰ) 구조 광(structural light), (ⅱ) 전파 시간(ToF; Time of Flight), 및/또는 (ⅲ) 입체 원리를 포함할 수 있다. 구조 광을 채용한 카메라에 있어서, 광원은 제1 사용자 인터페이스(14) 상에 알려진 패턴을 투사하는 데 사용될 수 있으며, 수신기는 기하학을 기초로 심도 맵(depth map)을 계산하기 위해 반사된 패턴의 왜곡을 탐지할 수 있다. 전파 시간(ToF) 원리를 채용한 카메라에 있어서, 광원은 제1 사용자 인터페이스(14)를 향해 펄스를 보낼 수 있으며, 센서는 펄스의 전파 시간을 기록하기 위해 제1 사용자 인터페이스(14)로부터의 펄스의 반사를 탐지할 수 있다. 전파 시간 및 일정한 광속을 알고 있으므로, 카메라 시스템은 제1 사용자 인터페이스가 얼마나 멀리에 있는지를 계산할 수 있다. 대안으로, 모듈형 광원을 보낼 수 있으며, 제1 사용자 인터페이스(14)로부터 반사된 광의 위상 변화가 탐지될 수 있다. 입체 원리를 채용한 카메라에서는, 다수의 카메라가 다양한 위치에 배치되어 제1 사용자 인터페이스의 다수의 이미지를 캡쳐할 수 있으며, 심도 맵은 기하학을 기초로 계산될 수 있다. 이러한 심도 정보는 치료(예컨대, 치과 치료) 중에 제1 사용자 인터페이스(14)의 위치를 트랙킹하는 데 사용될 수 있다.
또 다른 실시예에 있어서, 트랙킹 시스템(2)은 센서 기반의 트랙킹 시스템과 시각 기반의 트랙킹 시스템의 조합일 수도 있다. 컴퓨터 시스템(100)과 내부/외부 디바이스, 예컨대 제1 사용자 인터페이스 간에 데이터를 전송하기 위해 무선 프로토콜이 사용될 수 있다.
프로세서(122)는 실시간 트랙킹 데이터를 수신하여 상기 데이터를 분석하도록, 그리고, (ⅰ) 디스플레이 디바이스(12)를 통해 제1 사용자 인터페이스(14) 상에 혹은 제1 사용자 인터페이스의 부근에 증강 현실 사용자 인터페이스(42)를 오버레이하는 것에 의해 또는 (ⅱ) 입체 비디오를 보여줄 수 있는, 예컨대 머리 장착식 입체 디스플레이를 이용하여 제1 사용자 인터페이스(14)의 입체 비디오 상에 증강 현실 사용자 인터페이스(42)를 오버레이하는 것에 의해, 증강 현실 사용자 인터페이스(42)를 임상의(10)에게 증강 방식으로 디스플레이하도록 구성될 수 있다. 대안으로 증강 현실 사용자 인터페이스(42)는 투사 기반의 증강 현실 시스템을 이용하여 제1 사용자 인터페이스(14) 상에 직접 투사될 수 있으며, 이에 따라 투사된 증강 현실 사용자 인터페이스(42)는 나안으로 볼 수 있다.
이제 도 2로 돌아가서, 증강 현실 사용자 인터페이스(42)의 증강 현실 제어 요소(70)(예시를 위해 점선으로 도시되어 있음)와 제2 사용자 인터페이스(15)의 제2 제어 요소(60) 사이의 대응을 더 상세하게 이하에서 설명할 것이다. 본원에서 설명되는 증강 현실 시각화 시스템(1)을 사용함에 있어서, 임상의(10)는 도 2에 도시된 바와 같이 [제1 사용자 인터페이스(14)를 이용하여] 제2 사용자 인터페이스(15)에 디스플레이되는 제2 제어 요소(60)에 대응하게 증강 현실 사용자 인터페이스(42)에 디스플레이되는 증강 현실 제어 요소(70)를 선택함으로써 치료 과정 중에 제2 사용자 인터페이스(15)를 제어할 수 있다. 증강 현실 제어 요소(70)는, 예컨대 제1 사용자 인터페이스(14)의 제1 제어 요소(80)[예컨대, 풋스위치(16)의 페달, 소독 가능한 제어 패널의 버튼 등]를 작동시킴으로써 또는 예컨대 4웨이(four way) 풋스위치의 경우에 있어서 대응하는 제1 위치로 제1 제어 요소(80)를 돌림으로써 선택될 수 있다. 제2 사용자 인터페이스에서의 제2 제어 요소(60)는, 예컨대 액션 버튼/액션 아이템(선택, 줌, 스크롤, 확대 등), 소프트웨어 어플리케이션(예컨대 다수의 안내 단계에서의 스캐닝 과정을 수행함), (예컨대, 3D 이미지 관찰, X-선 이미지 관찰, 이미지들을 통한 스크롤 등을 위한) 비디오/이미지 관찰 패널 등을 포함할 수 있다. 따라서, 증강 현실 제어 요소(70)는 제2 제어 요소(60)에 대응하도록 구성될 수 있다. 도 2의 예시적인 실시예에 도시된 바와 같이, 제2 사용자 인터페이스(15)에서의 제어 요소(60a, 60b, 60c, 및 60d)는 증강 현실 사용자 인터페이스(42)의 제어 요소(70a, 70b, 70c, 및 70d) 각각에 대응되며, 제1 사용자 인터페이스의 하나 이상의 제1 제어 요소(80) 또는 제1 사용자 인터페이스(14)의 제1 제어 요소의 하나 이상의 위치에 의해 제어될 수 있다[예컨대, 제1 사용자 인터페이스로서 작용하는 소독 가능한 제어 패널은 복수 개의 제1 제어 요소(80)를 가질 수 있으며, 풋 스위치(16)는 복수 개의 출력/제어 신호에 대응하는 복수 개의 위치에 배치되어 작동될 수 있는 페달 및/또는 제어 요소를 가질 수 있음].
제2 제어 요소(60)가 비디오 또는 이미지인 실시예에 있어서, 제2 제어 요소(60)는 임의의 위치에서 임상의(10)에 의해 관찰되도록 그리고 디스플레이(12)에 대해 라우팅(routing)될 수 있으며, 및/또는 제2 사용자 인터페이스(15) 상에서 직접 볼 수 있을 수도 있다. 이러한 2가지 경우에 있어서, 제2 제어 요소(60)는 제1 사용자 인터페이스(14)의 제1 제어 요소(들)(80)를 이용하여 조작(예컨대, 편집, 스크롤, 지나침, 줌인/줌아웃 등)될 수 있다.
제1 사용자 인터페이스(14) 상에 증강 현실 사용자 인터페이스(42)를 오버레이하는 것은, 동적으로 그리고 실시간으로 수행될 수 있으며, 트랙킹 시스템(2)과 협력하여 작동하는 프로세서(122)에 의해 달성될 수 있고, 여기서 트랙킹 시스템(2)에 의해 캡쳐되는, (ⅰ) 임상의(10) 및/또는 (ⅱ) 제1 사용자 인터페이스(14)의 위치 변화는 오버레이된 증강 현실 사용자 인터페이스(42)의 대응하는 위치 변화로 전환될 수 있고, 이에 따라 디스플레이 디바이스(12)의 스크린에 라우팅된 상기 증강 현실 사용자 인터페이스(42)는, 심지어 임상의(10)가 움직이고 및/또는 제1 사용자 인터페이스의 위치가 변할 때에도, 제1 사용자 인터페이스(14) 상에 직접 중첩된 것으로 보이게 된다.
더욱이, 임상의(10)에 의한 제1 사용자 인터페이스(14)의 제1 제어 요소(80)의 작동에 응답하여, 프로세서(122)는, 제1 사용자 인터페이스(14)로부터 하나 이상의 출력/제어 신호를 수신하도록, 그리고 제2 사용자 인터페이스(15)를 제1 상태로부터 상기 출력/제어 신호에 대응하는 제2 상태로 변경시키도록, 및/또는 증강 현실 사용자 인터페이스(42)를 또 다른 제1 상태에서 상기 출력/제어 신호에 대응하는 또 다른 제2 상태로 변경시키도록 구성될 수 있다. 예를 들면, 증강 현실 제어 요소(70c)["→ Next App (A3)"]를 선택하기 위해 제1 위치에서 풋스위치(16)를 작동하는 임상의(10)에 응답하여, 프로세서(122)는 관찰을 위한 제2 사용자 인터페이스(15)의 디스플레이 상에 A3의 콘텐츠를 디스플레이할 수 있다. A3의 콘텐츠는, 제어 요소(70b)(클릭) 및/또는 제어 요소(70)(Zoom(+))를 선택하기 위해 풋스위치(16)를 사용함으로써 제어(예컨대, 클릭되거나 또는 줌인됨)될 수 있다. 프로세서(122)는 또한 증강 현실 사용자 인터페이스(42)에서 "→Next App (A3)"을 "→Next App (A4)"로 그리고 "Last App (A1)←"를 "Last App (A2)←"로 변경시킬 수 있다. 물론, 증강 현실 사용자 인터페이스(42), 제1 사용자 인터페이스(14) 및 제2 사용자 인터페이스(15)의 전술한 바와는 상이한 다른 배치/구성이 증강 현실 시각화 시스템(1)에 포함될 수 있다.
본 발명의 실시예에 있어서, 증강 현실 사용자 인터페이스(42)는 제1 사용자 인터페이스(14) 상에 직접 오버레이되지 않을 수도 있지만, 카메라 시스템(3)에 의해 취해지는 제1 사용자 인터페이스(14)의 이미지(도시 생략) 상에 오버레이될 수도 있다.
본 발명에 따른 또 다른 실시예에 있어서, 제1 사용자 인터페이스(14)는 풋스위치/풋 페달(16)이며, 제2 사용자 인터페이스는 치료 센터의 제어 패널 또는 치료 센터의 미리 정해진 기능이고, 증강 현실 안경/스마트안경은 증강 현실 사용자 인터페이스(42)를 제공할 수 있으며, 풋스위치/풋 페달(16), 치료 센터의 제어 패널, 또는 치료 센서의 미리 정해진 기능, 및 증강 현실 안경은 서로 페어링되어 증강 현실 시각화 시스템을 형성하게 된다.
기계를 제어하기 위한 컴퓨터 시스템
증강 현실 시각화 시스템(1)을 설명하였고, 이제 도 3을 참고하는데, 도 3은 본원에서의 예시적인 실시예들 중 적어도 일부에 따라 채용될 수 있는 컴퓨터 시스템(100)의 블록도를 도시한 것이다. 이러한 예시적인 컴퓨터 시스템(100)과 관련하여 다양한 실시예가 본원에 설명되어 있을 수 있지만, 본 설명을 읽은 이후에는, 다른 컴퓨터 시스템 및/또는 아키텍쳐를 이용하여 본 개시내용을 실시하는 방법이 당업자에게는 명확해질 수 있다.
본원에서의 한 가지 예시적인 실시예에 있어서, 컴퓨터 시스템(100)은 적어도 하나의 컴퓨터 프로세서(122)를 포함할 수 있으며, 트랙킹 시스템(2), 사용자 인터페이스(126), 및 입력 유닛(130)을 포함할 수 있다. 제1 사용자 인터페이스(14) 및 제2 사용자 인터페이스(15)는 컴퓨터 시스템(100)의 일부일 수도 있고 컴퓨터 시스템과 별개일 수도 있다. 일례에 있어서, 디스플레이 유닛(128), 입력 유닛(130), 및 컴퓨터 프로세서(122)는 총체적으로 사용자 인터페이스(126)를 형성할 수 있다.
컴퓨터 프로세서(122)는, 예컨대 중앙 처리 유닛, 다중 처리 유닛, ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등을 포함할 수 있다. 프로세서(122)는 통신 인프라스트럭쳐(124)(예컨대, 통신 버스 또는 네트워크)에 연결될 수 있다. 본원에서의 실시예에 있어서, 프로세서(122)는 증강 현실 사용자 인터페이스(42)를 디스플레이하는 요청을 수신할 수 있고, 컴퓨터 시스템(100)의 하나 이상의 저장 유닛으로부터 상기 신청과 관련된 명령을 획득할 수 있다. 프로세서(122)는 이후 상기 명령을 로딩하고 로딩된 명령, 예컨대 디스플레이 디바이스(12)의 스크린에 증강 현실 사용자 인터페이스(42)를 라우팅하는 것을 실행하여, 증강 현실 사용자 인터페이스(42)가 제1 사용자 인터페이스(14) 상에 오버레이되도록 하고 상기 증강 현실 사용자 인터페이스(42)가 제1 사용자 인터페이스(14) 상에 직접 중첩된 것으로 보이게 한다. 본 발명의 또 다른 변형례에 있어서, 컴퓨터 시스템은 투사 기반의 증강 현실 시스템을 이용할 수 있으며, 여기서는, 예를 들면, 트랙킹 시스템(2) 및/또는 마커[예컨대, 제1 사용자 인터페이스(14) 상의 숨겨진 마커]와 함께 프로젝터 및 심도 센서가 증강 현실 사용자 인터페이스(42)를 제1 사용자 인터페이스(14) 위로 직접 투사시킬 수 있다. 여기서는, 증강 현실 사용자 인터페이스(42)를 보기 위해, 디스플레이(12), 예컨대 증강 현실 안경이 필요하지 않을 수 있다.
하나 이상의 단계/과정이 컴퓨터 판독 가능한 프로그램 명령의 형태로 비휘발성 저장 디바이스에 저장될 수 있다. 절차를 실행하기 위해, 프로세서(122)는 저장 디바이스에 저장된 바와 같은 적절한 명령을 메모리에 로딩시키고, 이후 로딩된 명령을 도 4에 도시된 바와 같이 실행시키는데, 이상은 아래에서 언급된다.
컴퓨터 시스템(100)은 또한 메인 메모리(132)를 더 포함할 수 있는데, 상기 메인 메모리는 RAM(random access memory)일 수도 있고 또한 보조 기억장치(134)를 포함할 수도 있다. 보조 기억장치(134)는, 예컨대 하드 디스크 드라이브(136) 및/또는 제거 가능한 저장 드라이브(138)(예컨대, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광 디스크 드라이브, 플래시 메모리 드라이브 등)를 포함할 수 있다. 제거 가능한 저장 드라이브(138)는 잘 알려진 방식으로 제거 가능한 저장 유닛(140)으로부터 읽어들이고 제거 가능한 저장 유닛에 기록할 수 있다. 제거 가능한 저장 유닛(140)은, 예컨대 플로피 디스크, 자기 테이프, 광 디스크, 플래시 메모리 디바이스 등일 수 있으며, 이들은 제거 가능한 저장 드라이브(138)로부터 읽어들이고 제거 가능한 저장 드라이브에 기록할 수 있다. 제거 가능한 저장 유닛(140)은, 컴퓨터 실행 가능한 소프트웨어 명령 및/또는 데이터를 저장하는 컴퓨터 판독 가능한 비휘발성 저장 매체를 포함할 수 있다.
추가적인 변형예에 있어서, 보조 기억장치(134)는, 컴퓨터 시스템(100)에 로딩될 컴퓨터 실행 가능한 프로그램 또는 다른 명령을 저장하는 다른 컴퓨터 판독 가능한 매체를 포함할 수 있다. 이러한 디바이스는, 제거 가능한 저장 유닛(144) 및 인터페이스(142)(예컨대, 프로그램 카트리지 및 카트리지 인터페이스); 제거 가능한 메모리 칩[예컨대, EPROM(erasable programmable read-only memory) 또는 PROM(programmable read-only memory)] 및 관련 메모리 소켓; 소프트웨어 및 데이터가 제거 가능한 저장 유닛(144)으로부터 컴퓨터 시스템(100)의 다른 부분으로 전달될 수 있게 하는 다른 제거 가능한 저장 유닛(144) 및 인터페이스(142)를 포함할 수 있다.
컴퓨터 시스템(100)은 또한, 컴퓨터 시스템(100)과 외부 디바이스 사이에서 소프트웨어 및 데이터가 전달될 수 있게 하는 통신 인터페이스(146)를 포함할 수 있다. 이러한 인터페이스는 모뎀, 네트워크 인터페이스(예컨대, 이더넷 카드 또는 무선 인터페이스), 통신 포트(예컨대, USB(Universal Serial Bus) 포트 또는 FireWire® 포트), PCMCIA(Personal Computer Memory Card International Association) 인터페이스, Bluetooth® 등을 포함할 수 있다. 통신 인터페이스(146)를 통해 전달되는 소프트웨어 및 데이터는 신호의 형태일 수 있으며, 상기 신호는 전자 신호, 전자기 신호, 광 신호, 또는 통신 인터페이스(146)에 의해 전송 및/또는 수신될 수 있는 다른 유형의 신호일 수 있다. 신호는 통신 경로(148)(예컨대, 채널)를 통해 통신 인터페이스(146)에 제공될 수 있다. 통신 경로(148)는 신호를 운반할 수 있으며, 와이어 또는 케이블, 광섬유, 전화선, 셀룰러 링크(cellular link), RF(radio-frequency) 링크 등을 이용하여 구현될 수 있다. 통신 인터페이스(146)는 컴퓨터 시스템(100)과 원격 서버 또는 클라우드 기반의 저장부(도시 생략) 사이에서 소프트웨어 또는 데이터 또는 다른 정보를 전달하는 데 사용될 수 있다.
하나 이상의 컴퓨터 프로그램 또는 컴퓨터 제어 로직이 메인 메모리(132) 및/또는 보조 기억장치(134)에 저장될 수 있다. 컴퓨터 프로그램은 또한 통신 인터페이스(146)를 통해 받을 수도 있다. 컴퓨터 프로그램은, 컴퓨터 프로세서(122)에 의해 실행될 때, 컴퓨터 시스템(100)이 이하에 설명하는 바와 같은 방법을 수행하게 하는 컴퓨터 판독 가능한 명령을 포함할 수 있다.
또 다른 실시예에 있어서, 소프트웨어는 컴퓨터 판독 가능한 비휘발성 저장 매체에 저장될 수 있고, 제거 가능한 저장 드라이브(138), 하드 디스크 드라이브(136), 및/또는 통신 인터페이스(146)를 이용하여 컴퓨터 시스템(100)의 메인 메모리(132) 및/또는 보조 기억장치(134)에 로딩될 수 있다. 제어 로직(소프트웨어)은, 프로세서(122)에 의해 실행될 때, 컴퓨터 시스템(100) 그리고 보다 일반적으로는 증강 현실 시각화 시스템(1)이 본원에서 설명하는 모든 방법 또는 일부 방법을 수행하도록 한다.
본원에 설명하는 기능을 수행하도록 다른 하드웨어 구성을 구현하는 것은 본 명세서에 비추어 당업자에게 명확할 것이다.
기계를 제어하는 방법
도 3의 컴퓨터 시스템(100)을 설명하였고, 기계, 예컨대 치과용 기계를 제어하기 위한 방법이 이제 도 4를 참고하여 추가로 설명될 것이며, 도 4는 치과용 기계를 제어하기 위한 프로세스(200)의 흐름도를 도시한 것이다. 상기 프로세스는 단계 S100에 도시된 바와 같이 제1 사용자 인터페이스(14)를 제공하는 단계에 의해 시작될 수 있다. 증강 현실 사용자 인터페이스(42)는 이후 단계 S200에서 제공될 수 있으며, 상기 증강 현실 사용자 인터페이스(42)는 제2 사용자 인터페이스(15)에 대응한다[또는 증강 현실 사용자 인터페이스(42)의 증강 현실 제어 요소(70)는 제2 사용자 인터페이스(15)의 제2 제어 요소(60)에 대응함]. 증강 현실 사용자 인터페이스(42)는 이후 단계 S300에서 제1 사용자 인터페이스 상에 오버레이될 수 있으며, 이에 따라 증강 현실 제어 요소(70)는 제1 사용자 인터페이스(14)의 제1 제어 요소(80)[또는 풋스위치(16)의 경우에는 제1 사용자 인터페이스(14)의 제1 제어 요소(80)의 복수 개의 위치]에 대응하게 된다. 단계 S400에 있어서, 제1 제어 요소(80)는 증강 현실 제어 요소(70)에 대응할 수 있는 출력/제어 신호(46)를 생성하도록 작동될 수 있다. 상기 출력/제어 신호(46)는 단계 S500에서 획득될 수 있으며, 제2 사용자 인터페이스(15)는 획득된 출력/제어 신호(46)를 기초로 단계 S600에서 업데이트될 수 있다. 예를 들면, 제2 사용자 인터페이스(15) 상에 디스플레이되는 이미지는, 출력/제어 신호(46)를 기초로, 줌인될 수도 있고, 환자의 CBCT 이미지의 모음이 스크롤될 수도 있고 기타 등등을 수행할 수 있다. 단계 S700에 도시된 바와 같이, 예컨대 (ⅰ) 임상의(48)의 움직임을 트랙킹하는 실시간 데이터, (ⅱ) 제1 사용자 인터페이스(14)의 위치를 트랙킹하는 실시간 데이터, 및/또는 (ⅲ) 제1 사용자 인터페이스(14)의 출력/제어 신호(46)를 비롯한, 트랙킹 시스템(2)으로부터의 데이터를 이용하여, 디스플레이 디바이스(12)에 라우팅된 증강 데이터는 제1 사용자 인터페이스(14) 상의 오버레이를 위해 실시간으로 동적으로 업데이트될 수 있으며, 이에 따라 전술한 증강은 상기 제1 사용자 인터페이스(14) 상의 직접적인 중첩으로 보일 수 있게 되고 상기 증강은 제1 사용자 인터페이스(14)의 제1 제어 요소(80)가 작동될 때 연속적으로 업데이트되게 된다.
본 발명의 예시적인 실시예에 있어서, 제1 사용자 인터페이스(14)는 (ⅰ) 원래 설계된 바에 따라 제1 사용자 인터페이스(14)가 작업을 제어하는 제1 세트의 작업과 (ⅱ) 원래 설계된 바가 아닌 제2 세트의 작업 간에 전환되도록 구성될 수 있다. 또한, 제1 사용자 인터페이스는 임의의 개수의 미리 정해진 세트의 작업 간에 전환되도록 구성될 수도 있다. 본 발명의 또 다른 실시예에 있어서, 제1 사용자 인터페이스의 작업들의 임의의 세트는 임상의(10)에 의해 결정될 수도 있다.
전술한 설명에 비추어, 본원에서 설명된 예시적인 실시예가 기계, 예컨대 치과용 기계를 제어하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 저장 매체를 제공한다는 것을 이해할 것이다.
달리 정의되지 않는다면, 본원에서 사용되는 모든 기술 용어 및 과학 용어는, 본 발명의 속하는 분야의 당업자에 의해 일반적으로 이해되는 바와 동일한 의미를 갖는다. 적절한 방법 및 재료가 앞서 설명되어 있지만, 본원에 설명된 바와 유사하거나 동등한 방법 및 재료가 개시내용의 실시 또는 시험에서 사용될 수 있다. 본원에 언급된 모든 공보, 특허 출원, 특허, 및 다른 인용문헌은 적용 가능한 법률 및 규정에 의해 허용되는 수준으로, 인용함으로써 그 전체 내용이 본원에 포함된다. 본 개시는, 그 사상 또는 필수적인 속성으로부터 벗어나지 않으면서 다른 특정한 형태로 구현될 수도 있고, 따라서 본원의 실시예는 모든 면에서 예시로서, 그리고 한정하지 않는 것으로 간주되는 것이 바람직할 수 있다. 상세한 설명에서 사용된 모든 항목 기재는 단지 편의를 위한 것이며, 어떠한 법적 효과 또는 한정 효과도 갖지 않는다.

Claims (9)

  1. 치과용 기계를 제어하기 위한 증강 시각화(augmented visualization)를 이용하는 컴퓨터 구현 방법(computer-implemented method)으로서,
    제1 사용자 인터페이스(14)를 제공하는 단계로서, 상기 제1 사용자 인터페이스(14)는 풋스위치(16) 또는 소독 가능한 제어 패널을 포함하는 것인 단계;
    상기 제1 사용자 인터페이스(14)와는 상이한 제2 사용자 인터페이스(15)를 제공하는 단계로서, 상기 제1 사용자 인터페이스(14) 및 상기 제2 사용자 인터페이스(15)는 상기 치과용 기계와 사용자 사이의 상호작용을 가능하게 하는 물리적 요소 또는 그래픽 요소를 포함하는 것인 단계;
    상기 제2 사용자 인터페이스(15)에 기능적으로 대응하도록 구성되는 증강 현실 사용자 인터페이스(42)를 제공하는 단계로서, 상기 제1 사용자 인터페이스는 증강 현실 사용자 인터페이스(42)에 기능적으로 대응하는 하나 이상의 제어 신호를 전송하도록 되어 있는 것인 단계;
    상기 제1 사용자 인터페이스(14)의 상기 하나 이상의 제어 신호를 통해 제2 사용자 인터페이스(15)를 제어하는 단계
    를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 증강 현실 사용자 인터페이스(42)의 하나 이상의 증강 현실 제어 요소(70)가 제1 사용자 인터페이스(14)의 하나 이상의 제1 제어 요소(80)에 기능적으로 대응하도록, 또는 또한 제1 사용자 인터페이스(14)의 제1 제어 요소(80)의 하나 이상의 위치에 기능적으로 대응하도록, 그리고 상기 증강 현실 사용자 인터페이스(42)가 제1 사용자 인터페이스(14) 상에 직접 중첩된 것으로 보이도록, 제1 사용자 인터페이스(14) 상에 상기 증강 현실 사용자 인터페이스(42)를 오버레이하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  3. 제2항에 있어서, 상기 증강 현실 사용자 인터페이스(42)의 하나 이상의 증강 현실 제어 요소(70)는 또한 제2 사용자 인터페이스(15)의 하나 이상의 제2 제어 요소(60)에 기능적으로 대응하는 것인 컴퓨터 구현 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    (ⅰ) 임상의의 움직임을 트랙킹하는 실시간 데이터, (ⅱ) 제1 사용자 인터페이스(14)의 위치를 트랙킹하는 실시간 데이터, 및 (ⅲ) 제1 사용자 인터페이스(14)의 하나 이상의 제어 신호로 이루어지는 군으로부터 선택되는 데이터를 기초로 증강 현실 사용자 인터페이스(42)를 업데이트하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  5. 증강 시각화를 이용하기 위한 시스템(1)으로서,
    증강 시각화를 위한 디스플레이 디바이스(12);
    풋스위치(16) 또는 소독 가능한 제어 패널을 포함하는 제1 사용자 인터페이스(14);
    상기 제1 사용자 인터페이스(14)와는 상이한 제2 사용자 인터페이스(15)로서, 상기 제1 사용자 인터페이스(14) 및 상기 제2 사용자 인터페이스(15)는 상기 치과용 기계와 사용자 사이의 상호작용을 가능하게 하는 물리적 요소 또는 그래픽 요소를 포함하는 것인 제2 사용자 인터페이스;
    제1항 내지 제4항 중 어느 한 항에 따른 컴퓨터 구현 방법의 단계를 수행하도록 구성되는 적어도 하나의 프로세서(122)
    를 포함하는 시스템.
  6. 제5항에 있어서,
    공통 좌표계에서의 대상물의 정확한 위치 및 배향에 관한 실시간 위치 데이터를 제공하도록 구성되는 트랙킹 시스템(2)
    을 더 포함하는 시스템.
  7. 제7항에 있어서, 상기 트랙킹 시스템(2)은 센서 기반이거나 및/또는 시각 기반인 것인 시스템.
  8. 제6항 내지 제9항 중 어느 한 항에 있어서, 상기 제2 사용자 인터페이스(15)의 하나 이상의 제2 제어 요소(60)는 액션 아이템(action item), 소프트웨어 어플리케이션, 비디오, 및/또는 이미지를 포함하는 것인 시스템.
  9. 제5항 내지 제8항 중 어느 한 항에 따른 컴퓨터 기반의 시스템(1)에 의해 실행될 때, 컴퓨터 기반의 시스템(1)이 제1항 내지 제4항 중 어느 한 항에 따른 컴퓨터 구현 방법을 수행하게 하는 프로그램을 저장하는 컴퓨터 판독 가능한 비휘발성 저장 매체.
KR1020217020781A 2019-01-30 2020-01-27 치과용 기계를 제어하기 위한 방법 및 시스템 KR20210121001A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19000055.4 2019-01-30
EP19000055.4A EP3690609B1 (en) 2019-01-30 2019-01-30 Method and system for controlling dental machines
PCT/EP2020/051872 WO2020156976A1 (en) 2019-01-30 2020-01-27 Method and system for controlling dental machines

Publications (1)

Publication Number Publication Date
KR20210121001A true KR20210121001A (ko) 2021-10-07

Family

ID=65351843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020781A KR20210121001A (ko) 2019-01-30 2020-01-27 치과용 기계를 제어하기 위한 방법 및 시스템

Country Status (9)

Country Link
US (1) US11771506B2 (ko)
EP (1) EP3690609B1 (ko)
JP (1) JP7524193B2 (ko)
KR (1) KR20210121001A (ko)
CN (1) CN113490905B (ko)
AU (1) AU2020213863A1 (ko)
BR (1) BR112021007912A2 (ko)
CA (1) CA3117894A1 (ko)
WO (1) WO2020156976A1 (ko)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020082498A1 (en) 2000-10-05 2002-06-27 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
KR100988191B1 (ko) 2004-01-27 2010-10-18 엑스오 케어 에이/에스 치과 시술 조작 시스템
US20070166662A1 (en) 2006-01-17 2007-07-19 Kevin Lint Hard-wired and wireless system with footswitch for operating a dental or medical treatment apparatus
DE102007014785B4 (de) * 2007-03-28 2009-07-09 Sirona Dental Systems Gmbh Fußsteuereinrichtung
US8818274B2 (en) * 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
JP5711182B2 (ja) 2012-04-27 2015-04-30 株式会社モリタ製作所 医療用診療装置
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US20160033770A1 (en) 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
WO2015126466A1 (en) 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
DE102014207127A1 (de) * 2014-04-14 2015-10-15 Siemens Aktiengesellschaft Steuerungssystem für ein medizinisches Gerät sowie Verfahren zum Steuern eines medizinischen Gerätes
EP2937058B1 (de) 2014-04-24 2020-10-07 Christof Ellerbrock Kopfgetragene plattform zur integration von virtualität in die realität
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
JP2016082462A (ja) 2014-10-20 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US20180239417A1 (en) * 2015-12-30 2018-08-23 Shenzhen Royole Technologies Co. Ltd. Head-mounted display device, head-mounted display system, and input method
JP6952713B2 (ja) * 2016-01-19 2021-10-20 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 反射を利用する拡張現実システムおよび方法
US20180101244A1 (en) * 2016-10-11 2018-04-12 Vmuv Llc Virtual Reality Input System and Methods
CN107653950A (zh) * 2017-10-11 2018-02-02 厦门致杰智能科技有限公司 一种具有激光键盘控制结构的坐便器
US11672605B2 (en) * 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
WO2021084391A1 (en) * 2019-10-29 2021-05-06 Alcon Inc. System and method of utilizing three-dimensional overlays with medical procedures

Also Published As

Publication number Publication date
CN113490905A (zh) 2021-10-08
EP3690609B1 (en) 2021-09-22
US11771506B2 (en) 2023-10-03
AU2020213863A1 (en) 2021-05-27
JP7524193B2 (ja) 2024-07-29
EP3690609A1 (en) 2020-08-05
CN113490905B (zh) 2024-05-24
WO2020156976A1 (en) 2020-08-06
BR112021007912A2 (pt) 2021-08-03
US20220142722A1 (en) 2022-05-12
CA3117894A1 (en) 2020-08-06
JP2022519439A (ja) 2022-03-24

Similar Documents

Publication Publication Date Title
US10929656B2 (en) Method and system of hand segmentation and overlay using depth data
EP3395282B1 (en) Endoscopic view of invasive procedures in narrow passages
US7983733B2 (en) Surgical navigation using a three-dimensional user interface
US8520027B2 (en) Method and system of see-through console overlay
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
JP2000102036A (ja) 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
US20240282065A1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
EP3803540B1 (en) Gesture control of medical displays
EP3689218B1 (en) Method and system for guiding an intra-oral scan
JP7472145B2 (ja) 歯科治療を提案及び可視化するための方法及びシステム
US20230065505A1 (en) System and method for augmented reality data interaction for ultrasound imaging
US12023208B2 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
KR20210121001A (ko) 치과용 기계를 제어하기 위한 방법 및 시스템
US20210378748A1 (en) Anatomical structure visualization systems and methods
KR20230147088A (ko) 확대된 치과 치료 부위를 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체
WO2023150449A1 (en) Systems and methods for remote mentoring in a robot assisted medical system