KR20180027492A - 해부학적 구조를 스캐닝하고 스캐닝 결과를 디스플레이하기 위한 시스템 및 방법 - Google Patents

해부학적 구조를 스캐닝하고 스캐닝 결과를 디스플레이하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20180027492A
KR20180027492A KR1020187000188A KR20187000188A KR20180027492A KR 20180027492 A KR20180027492 A KR 20180027492A KR 1020187000188 A KR1020187000188 A KR 1020187000188A KR 20187000188 A KR20187000188 A KR 20187000188A KR 20180027492 A KR20180027492 A KR 20180027492A
Authority
KR
South Korea
Prior art keywords
scanner
scanning
screen
anatomical structure
scan
Prior art date
Application number
KR1020187000188A
Other languages
English (en)
Other versions
KR102657956B1 (ko
Inventor
세베린 슈탈더
마르쿠스 베른
코나르트 클라인
Original Assignee
시로나 덴탈 시스템스 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시로나 덴탈 시스템스 게엠베하 filed Critical 시로나 덴탈 시스템스 게엠베하
Publication of KR20180027492A publication Critical patent/KR20180027492A/ko
Application granted granted Critical
Publication of KR102657956B1 publication Critical patent/KR102657956B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6886—Monitoring or controlling distance between sensor and tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

해부학적 구조를 스캐닝하고 스캐닝 결과를 디스플레이하기 위한 시스템이 이용 가능하며, 이 시스템은 구강내에서 해부학적 구조의 이미지를 기록하는 구강내 스캐너(10), 관찰자 또는 스캐닝을 수행하는 사람에 대한 구강내 스캐너(10)의 공간적 위치를 감지하는 구강외 감지 유닛(20), 스캐닝 과정 중에, 스캐너(10)를 스크린(40) 및 감지 유닛(20)과 통신 상태로 위치시키고, 해부학적 구조의 구강내 기록된 이미지 및 관찰자에 대한 구강내 스캐너(10)의 검출된 공간적 위치에 기초하여 스캐닝 결과를 생성하고, 스캐닝 과정의 일시 정지 중에, 해부학적 구조의 위치, 방향 및 스케일링을 추정하고, 스캐닝 결과로서, 추정에 상응하는 해부학적 구조의 이미지를 생성하는 컴퓨팅 유닛(30)을 가지며, 스크린(40)은 컴퓨팅 유닛(30)에 의해 생성된 스캐닝 결과를 디스플레이한다.

Description

해부학적 구조를 스캐닝하고 스캐닝 결과를 디스플레이하기 위한 시스템 및 방법
본 발명은 광학적인 구강내 인상(impression)을 생성하고 스캐닝 결과를 디스플레이하고 시각화하기 위하여, 환자의 치아 또는 턱과 같은 해부학적 구조를 스캐닝하는 시스템, 및 관련 방법에 관한 것이다.
본 발명은 특히 상호작용적이고 증분적인 스캐닝에 관한 것이다. 스캐닝 과정 중에, 개개의 스캔은 결합되어 해부학적 구조의 모델을 형성한다. 예를 들어, 문헌["S. Rusinkiewicz and Marc Levoy: Efficient variants of the ICP algorithm, 3-D Digital Imaging and Modeling, 2001"]에 기재된 바와 같이, 이러한 유형의 스캔은 관찰자 또는 관측자 또는 스캔을 수행하는 사람으로부터 및 스크린으로부터 분리된 스캐너로 수행된다. 스캐너는 갭이 없는(gapless) 고정밀 광학 인상을 가능한 한 빨리 생성하기 위한 목적으로 수동으로 유도된다. 이러한 목적을 달성하기 위하여, 현재의 스캐닝 결과를 간단하고 직관적으로 시각화하는 것이 매우 중요하다. 제안된 발명은 자연스러운 방식으로 스캐닝 결과를 디스플레이하고, 이에 따라 스캐너의 취급을 단순화한다.
오늘날, CEREC 방법으로 스캔하는 경우, 환자의 치열은 환자 근처의 스크린 상에 스캔된 모델로서 디스플레이된다. 스캐닝할 때, 치과 의사와 같은, 스캔을 수행하는 사람은 어디를 보아야 하는지에 대한 끊임없는 딜레마 상태에 있게 된다. 이미 스캔된 모델의 품질을 스크린에서 볼 수 있다. 특히, 예를 들면 모델의 갭(gap)도 인식할 수 있다. 모델에서 이러한 갭을 폐쇄시키고 스캐너를 올바른 장소로 유도하기 위하여, 시선을 환자의 치열과 스캐너로 되돌려야 한다. 모델과 환자의 치열 사이의 상관관계를 설정하기 위해서는 많은 경험과 실행이 필요하다. 기존 시스템의 추가적 보조 수단으로서, 다소 성가신 음향 신호가 스캔의 성공에 대한 비-가시적인 피드백으로서 방출된다.
본 발명은 증강 현실의 분야에서 확립될 수 있지만, 종래의 증강 현실 적용과는 현저하게 상이하다.
외부에서 볼 수 없는 시야가 오버레이(overlay)되는 많은 증강 현실 적용이 있다. 예를 들어, 미니/BMW는 차체의 마스킹 효과를 페이드 아웃(fade out)하고 더 넓은 시야를 가능하게 하는 일종의 "X-선 안경"을 계획하고 있다. 부검을 위한 유사한 시스템이 있다. 예를 들어, 이동 가능한 스크린에서, X-선 데이터와 같은 다중 모드 데이터를 디스플레이하는, 문헌["Kilgus, T. et al: Mobile markerless augmented reality and its application in forensic medicine, International Assisted Radiology and Surgery, 2015"]에 기술된 시스템이 있다. 이를 수행하기 위하여, 외부의 깊이 카메라(depth camera)를 사용하여 스크린의 공간적 위치를 감지한다. 그러나, 이 시스템은 증분 모델을 생성하지 않는다. 증강된 스크린은 기존 데이터를 공간적으로 의미 있는 방식으로만 디스플레이한다.
내시경 검사에서 증강 현실에 대한 유사한 적용이 존재한다. 내시경 기구는 증강 현실의 도움을 받아 단순화된 방식으로 디스플레이할 수 있는 정밀도로 특정 지점으로 이동해야 한다. 중요한 탐색 지점과 계획된 개입 경로가 내시경 이미지에 상호작용식으로 오버레이된다. 반면에, 해부학적 구조 모델의 상호작용적이고 증분적인 생성은 없다. 따라서, 내시경 검사에서 증강된 디스플레이는 사전 계획된 개입 경로에서 장비의 대략적인 탐색에 전적으로 도움이 된다.
본원에 제공된 발명은 현실에 대한 인공 데이터의 위치가 결정되는 방식에서도 다른 증강 현실 적용과 상이하다. 이러한 위치결정은 스캐너의 위치와 스캐닝 결과를 통해 매우 정확하게 그리고 간단한 방식으로 수행된다.
치과용의 경우, US 2007/0172101 A1은 유사한 시스템을 기재하고 있다. 이 발명에 따르면, 3차원 모델이 2차원 이미지 위에 중첩된다. 2차원 이미지는 구강내 카메라에서 비롯된 것이다. 3차원 모델은 구강내 스캐너의 3차원 이미지의 조합이다. 두 가지 시야는 원래 동일한 시야 각으로부터 생성되었다. 관찰자 또는 스크린의 위치는 시각화에 영향을 미치지 않는다.
적용분야에 따라, 모델은 스캐닝 과정의 중요한 결과이다. 특정 상황에서는, 단일 스캔은 불충분할 수 있다. 예를 들어, 측정하기 어려운 특정 영역의 스캔은 불완전(피트가 존재)할 수 있거나 결함이 있을 수 있거나 노이즈가 있을 수 있다. 이러한 불충분함은 예를 들어, 상이한 시야 각에서 취한 다중 스캔을 결합함으로써 가능하게 극복될 수 있다. 따라서, 스캐닝 과정의 결과로서의 모델의 평가는 매우 중요하다.
병합 방법은 일반적으로 스캔의 3차원 형상과 모델을 서로 정렬하는 방법으로서, 일반적으로 ICP (반복 최단 지점) 방법의 변형이다. 병합하는 동안, 새로운 스캔은 이미 스캔된 스캔 데이터에 추가된다. 즉, 새로운 스캔 데이터가 최소한의 에러로 기존의 스캔 데이터를 따르는 방식으로 적용된다. 이후에, 이러한 추가 작업이 또한 성공적인지 여부를 계속 확인할 필요가 있다. 이를 수행하기 위해, 예를 들어, 발견된 최소 오류 또는 중첩의 정도가 검사된다. 발견된 최소 오류는 일반적으로 충분히 작아야 하며 중첩의 정도는 충분히 커야 한다. 이러한 기준이 충족되면, 새로운 스캔도 모델의 일부가 될 것이며, 그렇지 않으면 적어도 당분간은 폐기되어야 한다.
모델에 스캔을 추가하는 것이 때때로 성공적이지 않은 데에는 다양한 이유가 있다. 이러한 이유 중 일부는 다음과 같다:
- 사용자가 스캐너를 너무 빨리 움직여서 새로운 스캔이 모델과 중첩되지 않거나 충분히 중첩되지 않는다.
- 사용자가 스캐너를 스캔 대상이 스캐너의 스캔 범위 밖에 위치하도록 하는 방식으로 움직인다.
- 스캔 데이터가 너무 많은 간섭을 포함해서 ICP의 오류가 너무 크다.
- 스캔된 구조가 단단하게 결합되어 있지 않고 변형되었다. 따라서, 새로운 스캔은 모델과 일치할 수 없다. 기술된 적용분야에서, 이러한 부분은 예를 들어, 단단한 치아와 독립적으로 움직일 수 있는 혀 또는 뺨이다.
스캔이 어떠한 이유로 인하여 모델에 추가될 수 없는 경우, 스캐너는 해부학적 구조에 대하여 올바른 위치에 가상 모델을 디스플레이하기 위한 보조 수단으로서 제한된 정도로만 사용될 수 있다. 이는 모델에 대한 현재의 스캔의 위치에 관한 정보가 없기 때문이다.
수동으로 유도되는 증분 스캐닝의 경우, 사용자는 새로운 스캔이 모델에 성공적으로 추가될 수 있도록 해야 한다. 현재의 스캔을 모델에 추가할 수 없는 경우, 사용자는 수정 조치를 취하여 새로운 스캔을 모델에 추가할 수 있는 방식으로 스캐너를 이동시켜야 한다. 이 상황은 연속적인 스캐닝 과정이 중단되기 때문에 사용자를 위한 조작에 있어서의 문제점을 나타낸다. 특히 이런 유형의 상황에서는, 가상 모델이 해부학적 구조에 정확하게 디스플레이되면 매우 도움이 된다. 따라서, 사용자는 스캐너를 보다 쉽게 기존 모델로 이동시킬 수 있다. 이러한 유형의 상황에서는, 현재의 스캔도 정확한 위치에 오버레이될 것이다.
가상 모델이 정확한 위치에 디스플레이되어야 하고 스캐너가 보조 수단으로서 제한된 범위로만 포함될 수 있는 다른 상황도 존재한다.
예를 들어, 스캐닝 과정과 스캔된 모델의 평가는 동시에 수행할 수 없다. 사용되는 스캐닝 기술에 따라, 스캐너는 치아에 가시광선을 투사하여 스캔 모델의 시각화를 방해한다. 이러한 경우, 모델을 보다 정확하게 평가하기 위해 스캐닝 과정을 중단해야 할 필요가 있을 수 있다.
WO 2004/100067 A2는 스캔 대상 및 스캐닝 결과가 스캔을 수행하는 사람에게 한 눈에 보일 수 있는 방식으로 직접적인 스캐닝 결과를 디스플레이하는 시스템을 기술하고 있다. 이를 수행하기 위해, 스캐너는 US 6503195 B1에 기술된 복강경 수술에 사용되는 시스템과 매우 유사한 방식으로 적절한 디스플레이를 위한 보조 수단으로서 사용된다. 개개의 스캔이 더 큰 모델로 편집될 때의 사용자를 위한 보조 수단은 WO 2004/100067 A2에도 US 6503195 B1에도 기재되어 있지 않다. 이러한 편집은 현재의 스캔이 기존 모델에 추가될 수 없는 경우 사용자에게 특히 어렵다. 본 발명은 이와 같은 중요한 순간들을 위한 시스템을 기술한다. WO 2004/100067 A2에는 이러한 중요한 순간이 언급되어 있지 않다.
WO 2015/181454 A1은 스캐닝 결과 또는 추가 정보를 환자의 입 안의 해부학적 구조 상에 오버레이하는 시스템을 기술하고 있다. 3차원 포인트 클라우드를 정렬시킴으로써 구강내 스캐너 및 오버뷰 카메라(overview camera)의 이미지는 서로 중첩된다. 해당 명세서에 언급된 증강 현실 안경의 오버뷰 카메라가 정밀한 중첩을 수행하기에 충분히 정확한 해부학적 구조의 포인트 클라우드 계산을 가능하게 한다는 것은 해당 명세서에 기재되어 있지 않다.
US 2012/0056993 A1, WO 2010/067267 A1 및 WO 2014/120909 A1은 스캐닝 결과를 시각화하기 위한 시스템을 기술한 추가 문헌이다.
본 발명의 목적은 해부학적 구조를 스캐닝하고 스캐닝 결과를 시각화하기 위한 시스템 및 관련 방법을 제공하는 것이다. 스캐닝 결과의 시각화는 스캐너를 보다 쉽게 다룰 수 있도록 하기 위한 것이다. 스캔된 해부학적 구조를 가능한 한 정밀한 디지털 모델과 중첩시키는 것은 스캐닝 과정의 중단 중에도 추가적으로 가능해야 한다.
이러한 목적은 본원의 청구항 제1항에 명시된 바와 같은 시스템, 및 청구항 제15항에 명시된 바와 같은 방법에 의해 달성된다. 각각의 종속항인 청구항 제2항 내지 제14항 및 제16항 내지 제18항은 제1항의 시스템 및/또는 제15항의 방법의 유리한 추가의 개발을 나타낸다.
해부학적 구조를 스캐닝하고 스캐닝 결과를 시각화하기 위한 시스템으로서, 해부학적 구조의 이미지를 구강내에서 캡쳐하는 구강내 스캐너; 관찰자에 대한 구강내 스캐너의 공간적 위치를 감지하는 구강외 감지 유닛; 및 스캐닝 과정 중에, 스캐너를 스크린 및 감지 유닛과 연결하고, 해부학적 구조의 구강내 캡쳐 이미지 및 관찰자에 대한 구강내 스캐너의 감지된 공간적 위치에 기초하여 스캐닝 결과를 생성하고, 스캐닝 과정의 일시 정지 중에 해부학적 구조의 위치, 방향 및 스케일링을 추정하고, 스캐닝 결과로서, 추정에 상응하는 해부학적 구조의 이미지를 생성하는 컴퓨팅 유닛을 포함하되, 스크린은 컴퓨팅 유닛에 의해 생성된 스캐닝 결과를 디스플레이하는 시스템이 제공된다.
특히, 3D 데이터와 사용자 시야 사이의 변환 체인을 결정하기 위해 기록 장치를 사용하여, 기록된 3D 데이터와 현실의 실시간 중첩을 위한 녹화 가능한 3D 표면 이미징을 사용하는 것이 본 발명에 따라 가능하다.
해부학적 구조는 특히 스캔을 수행하는 사람으로서 치과 의사가 스캔하고 검사하는 스캔 템플릿으로서 치아를 포함할 수 있다. 유리한 방식에서, 본 발명에 따른 시스템을 사용하여 치과 의사는 서로 중첩된 실제 치아 및 스캐닝된 치아를 관찰하고 진단할 수 있다. 스캐닝 과정의 중단 중에도 가능한 한 정확하게 디지털 모델을 스캔된 해부학적 구조와 중첩시키기 위해, 실제 해부학적 구조와 해부학적 구조의 오버레이된 가상 모델의 위치, 방향 및 스케일링과 같은 매개변수가 상관관계를 갖도록 한다.
WO 2015/181454 A1에 공지된 시스템과 달리, 본 발명은 이전에 수행되었던 것보다 훨씬 정확하게 정밀한 중첩을 위한 상관관계를 추정하기 위하여, 스캐닝 중의 보조 수단으로서 스캐너의 사용을 유리하게 제안한다. 또한, 본 발명에 따르면, 상관관계에 필요한 특성은 모델에 스캔을 성공적으로 추가하는 동안의 다양한 특성 중에서 선택된다. 따라서, 3차원 형상이 상관관계를 갖도록 할 뿐만 아니라, 예를 들어 2차원 특성도 병합될 수 있다. 스캐너에 의해 직접 감지되지는 않았지만 그 부근에만 있는 특성도 정밀한 일치를 달성하는데 사용될 수 있다. 이는, 스캐닝 중에 이러한 특성과 가상 모델의 위치 사이의 관계가 알려져 있기 때문에 가능하다.
스크린은 바람직하게는 스캔을 수행하는 사람의 시야 내에 직접 위치하도록 증강 현실 안경에 통합되는 한편, 감지 유닛은 스크린의 바로 근처에 제공되고 이상적으로는 견고하게 연결된다. 따라서, 치과 의사는 자신의 눈을 환자의 입과 스크린 사이에서 전후로 움직이지 않고도 가장 간단한 방식으로 환자의 치아를 검사할 수 있다. 특히, 감지 유닛 및 스크린은 스캔을 수행하는 사람의 머리 근처에 견고하게 장착될 수 있다.
시스템은 바람직하게는 감지 유닛 및 스크린에 대한 스캔을 수행하는 사람의 눈 및/또는 머리의 움직임을 감지하는 아이 카메라를 추가로 포함하고, 컴퓨팅 유닛은 감지된 움직임에 맞춰진 스크린에 디스플레이되는 스캐닝 결과를 생성한다. 아이 카메라로 인하여, 스크린의 재보정을 피할 수 있으며 사용 가능한 각도 범위를 증가시킬 수 있다.
시스템은 바람직하게는 스캔을 수행하는 사람의 움직임을 감지하는 위치 센서를 추가로 포함한다. 시스템은 또한 스캐너 근처에서 스캐너의 움직임을 감지하는 위치 센서를 포함한다. 컴퓨팅 유닛은 스크린에 디스플레이되는 스캐닝 결과를 생성하는 경우 감지된 움직임을 고려한다. 또한, 위치 센서는 이것이 없는 경우보다 훨씬 더 정확하게 스크린에 디스플레이되는 스캐닝 결과가 시각화될 수 있도록 한다. 위치 센서의 결과로 시스템의 견고성이 향상된다.
컴퓨팅 유닛은 유리하게는 좌표계 간의 변환을 수행한다. 좌표계는 구강내 캡쳐 이미지의 좌표계, 스캐너의 좌표계, 감지 유닛의 좌표계 및 스크린의 좌표계를 포함한다. 좌표계는 스캔을 수행하는 사람의 좌안 및 우안에 대한 스크린의 좌표계, 및 스캔을 수행하는 사람의 좌안 및 우안에 대한 각각의 좌표계를 각각 추가로 포함할 수 있다. 좌표계 간의 변환의 결과, 스캐닝 결과의 정밀하고 공간적으로 의미 있는 시각화가 스크린 상에 중첩된 이미지로서 수행될 수 있다.
스크린은 바람직하게는 성공적인 스캐닝에 관한 정보도 디스플레이한다. 그 결과, 성공적이지 않은 스캔을 즉시 인식할 수 있다는 것이 항상 보장된다.
특히 바람직하게, 컴퓨팅 유닛은 스캐너에 의해 구강내 캡쳐된 해부학적 구조의 이미지를 스캐너의 헤드 근처 스크린에 디스플레이되도록 방식으로 처리한다. 따라서, 스캐너는 가상 미러로서 사용될 수 있다. 이와 관련하여, 가상이라는 것은 종래의 광학 미러가 없다는 것을 의미하지만, 이보다는 기록된 이미지가 스캐너의 헤드 근처에 디스플레이되고 그 이미지를 스크린을 통해서만 볼 수 있음을 의미한다. 미러는 물리적으로 존재하지 않으며, 미러의 기능은 스크린의 디스플레이를 통해서만 볼 수 있다.
감지 유닛은, 예를 들면 스캐너의 3차원 위치를 감지하는 간단한 3D 카메라, 또는 특정 조건 하에서 스캐너의 3차원 위치가 또한 결정될 수 있는 2D 카메라만일 수도 있다.
유리하게는 광학적 위치 마커가 스캐너 상에 제공된다. 위치 마커를 이용하면, 2D 카메라로 위치 마커 사이의 거리를 결정하고 이러한 결정된 또는 측정된 거리에 기초하여 스캐너와 2D 카메라의 거리를 추정함으로써, 통상의 2D 카메라를 감지 수단으로 사용하여 특히 간단한 방식으로 스캐너 근처의 감지 유닛에 의해 스캐너의 위치를 결정할 수 있다.
본 발명은 또한, 상기한 청구항들 중 어느 한 항에 따라 구성된 시스템을 이용하여 해부학적 구조를 스캐닝하고, 스캐닝 결과를 시각화하는 방법으로서, 구강내 스캐너로 해부학적 구조의 이미지를 캡쳐하는 단계, 좌표계 간의 변환에 의해 스캐너에 의해 캡쳐된 2D 및/또는 3D 이미지를 중첩하는 단계, 및 생성된 스캐닝 결과를 스크린에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법을 제공한다.
본 발명에 따른 방법으로, 스크린 상의 스캐닝 결과의 시각화를 향상시키고 시각화의 추가 사용을 용이하게 하는 것이 가능하다.
특히, 스캐너에 의해 구강내 캡쳐된 해부학적 구조의 개별 이미지를 병합함으로써 스캐닝 결과가 형성된다. 따라서, 해부학적 구조가 치아인 경우, 어떠한 추가의 노력 없이 전체 턱을 디스플레이할 수 있다.
스캐너의 각각의 위치는 바람직하게는 구강외 감지 유닛에 의해 추적되고 기록된다. 따라서, 구강외에서 캡쳐된 이미지와 함께 스캐너 위치의 시각화와 함께 스캐닝 결과의 시각화가 가능하다.
스캐너의 각각의 위치는 스캐너 상의 위치 마커를 사용하여 추적하는 것이 바람직하다. 스캐너 상의 위치 마커를 사용하면 스캐너의 위치를 정확하게 결정할 수 있으므로 스캐너의 정확한 추적이 가능하다.
컴퓨팅 유닛은 바람직하게 침습적 또는 비-침습적 방법에 의해 해부학적 구조의 위치, 방향 및 스케일링을 추정하고, 여기서 침습적 방법은 스캐닝할 해부학적 구조 상에 마커 또는 다른 추적 센서를 부착하는 것을 포함하고, 비-침습적 방법은 해부학적 구조의 광학적 2차원 또는 3차원 특성의 페어링(paring)을 포함한다. 해부학적 구조의 위치, 방향 및 스케일링의 추정을 개선하기 위해, 자동 학습 단계가 자동 학습을 위한 컴퓨팅 유닛을 또한 통과한다. 이는, 해부학적 구조의 위치, 방향 및 스케일링의 추정을 개선하기 위해, 모델에 스캔을 성공적으로 추가하는 동안, 컴퓨팅 유닛은 스캐닝 과정의 일시 정지 중에 가상 모델을 디스플레이하는 데 도움이 되는 학습 단계를 거치고, 해부학적 구조 상의 또는 그 근처의 특성과 가상 모델 사이의 변환은 알려져 있거나 성공적인 스캔 중에 학습될 수 있고, 스캐닝 과정의 일시 정지 중에 안정적이고 강력한 방식으로 가상 모델을 추적하기 위해 2차원 또는 3차원 특성이 선택될 수 있다는 것을 의미한다. 이러한 추정 및 학습을 통해, 이전에 가능했던 것보다 해부학적 구조의 더 정확한 이미지를 얻을 수 있다.
스캐너에 의해 구강내 캡쳐된 해부학적 구조의 이미지 및/또는 스캐닝 결과는 스캐너의 위치에 대응하여 유리한 방식으로 스크린에 디스플레이된다. 따라서, 스캐닝 결과의 포괄적이고 정확한 시각화가 가능하다.
따라서, 본 발명에 따르면, 해부학적 구조의 신속하고 단순하며 정밀한 스캐닝, 및 사용자에게 편안한 스캐닝 결과의 시각화의 이점을 가져온다.
본 발명의 언급된 특징과 세부 사항 및 추가적 특징과 세부 사항은 실시예에 기초하여 본 발명의 특징을 설명하는 다음의 상세한 설명 및 첨부된 도면으로부터 당업자에게 보다 명확해질 것이며. 여기서
도 1은 본 발명에 따른 시스템을 도시하며,
도 2는 본 발명에 따른 시스템의 스크린의 디스플레이를 도시하며,
도 3은 본 발명에 따른 시스템의 이미징 체인의 개요를 도시하며,
도 4는 본 발명에 따른 캡쳐된 스캔의 좌표계를 도시하며,
도 5는 본 발명에 따른 스캐너의 좌표계를 도시하며,
도 6은 본 발명에 따른 감지 유닛의 좌표계를 도시하며,
도 7은 본 발명에 따라 스캔을 수행하는 사람의 좌안 및 우안에 대한 스크린의 좌표계를 도시하며,
도 8은 본 발명에 따라 스캔을 수행하는 사람의 좌안 및 우안에 대한 스캔을 수행하는 사람으로서의 관찰자의 좌표계를 도시하며,
도 9는 본 발명에 따른 보정을 도시하며,
도 10은 스캐너 상의 위치 마커를 이용한 실제 치아와 치아의 가상 모델 간의 상관관계의 생성을 도시하며,
도 11은 본 발명에 따른 재현성 있는 스캐닝 결과를 얻기 위한 중첩되고 표준화된 스캐닝 가이드를 도시하며,
도 12 는 본 발명에 따른 성공적인 감지 후에 사라지는 중첩된 마킹을 도시하며,
도 13 은 본 발명에 따른 모델 또는 저점 밀도(low point density)에서의 갭의 중첩된 표시를 도시하고,
도 14 는 본 발명에 따른 스캐너의 헤드 근처의 구강내 스캐너의 이미지의 디스플레이를 도시한다.
본 발명은 바람직한 구현예에 기초하여 그리고 도면을 참조하여 이하에서 더 상세히 설명될 것이다.
도 1은 증강 현실 안경 형태의 스크린(40)이 스캔을 수행하는 사람의 시야에 직접 배치되는 시스템을 도시한다. 해부학적 구조 및 스캐닝 결과로서의 실제 치아는 스캔을 수행하는 사람에게 한 눈에 보일 수 있다. 디스플레이 유닛에서, 스크린(40)은 가상 콘텐츠를 실제 시야에 중첩시킨다(증강 현실).
증강 현실 안경은 곧 상용화될 것이다. 본 발명은 예를 들어, Microsoft HoloLens로 구현될 수 있다. 이 경우, 스캐너의 공간적 위치에 대한 감지 유닛(20)은 연관된 2D 컬러 이미지를 갖는 3D 깊이 카메라이다. 스크린(40)과 컴퓨팅 유닛(30) 모두 안경에 통합된다.
스캐닝 결과 및 주변상황에 맞는 힌트를 스크린(40)에서 볼 수 있다. 해부학적 구조로서 스캔될 치아, 이미 획득된 치아 및 스캐너(10)는 도 2에서 볼 수 있는 바와 같이, 한 눈에 보여질 수 있고 서로 중첩된다.
시스템은 스캐닝 결과 및 정보를 볼 수 있는 스크린(40)을 중심 요소로서 포함한다. 스크린(40)은 사용자, 즉 스캔을 수행하는 사람이 스캔 템플릿 및 스캐닝 결과로서 서로 중첩된 치아를 모두 동시에 볼 수 있도록 한다.
스크린(40)은 다양한 방식으로 설계될 수 있다. 예를 들어, 첫 번째 예로서 반투명 스크린의 경우, 가상 콘텐츠가 현실에 중첩되고 현실은 기껏해야 약간 희미하게 나타난다. 두 번째 예로서 완전히 가상적인 스크린의 경우에, 가상 콘텐츠는 주변의 영상 상에 중첩된다. 이 영상은 자연적인 관점에서 기록된다. 그러나, 가상 콘텐츠는 스캔을 수행하는 사람의 망막 위에 직접 투영될 수도 있다.
물론, 첫 번째 예와 두 번째 예의 임의의 조합도 고려될 수 있다: 보이는 주변환경도 반투명 방식으로 중첩될 수 있고/있거나 중첩은 눈 앞의 2개의 스크린 상에 동일한 콘텐츠를 나타내지 않음으로써 수행될 수 있다. 중첩의 정도가 각 사용자에 의해 개별적으로 설정되는 것도 고려할 수 있다.
시스템은 감지 유닛(20)을 추가로 포함하며, 이는 구강내 스캐너(10)의 공간적 위치를 감지하고 스크린(40)에 직접 근접하게 제공되고 바람직하게는 스크린(40)에 견고하게 연결된다. 2차원 또는 선택적으로 3차원 카메라가 종종 증강 현실 안경에 통합된다. 이 카메라는 감지 유닛(20)으로서 작용할 수 있고 스캔을 수행하는 사람으로서 스캐너(10)의 사용자와 유사한 관점에서 장면을 캡쳐할 수 있다. 감지 유닛(20)은 스캐너(10)의 공간적 위치를 감지하고 구강내 스캐닝 결과를 구강내 스캐너(10)에 대해 특정 위치에 디스플레이하는데 사용된다. 예를 들어, 실제 해부학적 구조에 가상 스캐닝 결과를 중첩하는 것이 유용하다.
시스템은 또한, 감지 유닛(20) 및 스크린(40)에 대한 스캔을 수행하는 사람의 눈 및/또는 머리의 어떠한 움직임도 감지하는 아이 카메라(21)를 추가로 포함할 수 있다. 예를 들어, 헤드와 스크린(40) 사이의 거리가 변경하면, 디스플레이도 그에 따라 조정되어야 한다. 시야 방향이 변경되면, 디스플레이도 변경되어야 할 수 있다.
시스템은 사용자의 움직임을 감지하고 스크린(40)의 콘텐츠를 안정적인 방식으로 디스플레이하는 데 도움이 되는 선택적 위치 센서(22)를 포함할 수도 있다.
특히, 시스템은 2차원 및/또는 3차원의 디지털 기록 장치로서 구성되는 스캐너 (10)를 포함한다. 이것은 다양한 방법으로 실행될 수 있다. 2차원 이미지는 예를 들어, 구강내 카메라에 의해 얻을 수 있다. 3차원 모델은 비행 시간 또는 다른 원리에 의해, 공초점으로, 스테레오 카메라를 이용하여, 구조화된 조명하에서 삼각 측량으로 기록될 수 있다.
도 1에 도시된 바와 같이, 본 발명에 따른 시스템은 특히, 아이 카메라(21) 및 위치 센서(22)뿐만 아니라 스캐너(10), 스크린(40) 및 감지 유닛(20)도 서로 연결하는. 컴퓨팅 유닛(30)을 또한 포함한다. 컴퓨팅 유닛(30)은 사용자의 시야각을 고려하여 스캐닝 결과와 현실의 중첩을 결정한다.
본 발명에 따르면, 특히, 3D 데이터와 사용자 시야 사이의 변환 체인을 결정하기 위해 기록 장치를 사용하여, 기록된 3D 데이터와 현실의 실시간 중첩을 위한 녹화 가능한 3D 표면 이미징을 사용하는 것이 가능하다.
도 4 내지 도 8로부터 명백한 바와 같이, 본 발명에 따른 시스템에는 서로 다른 좌표계가 존재한다. 도 4에 도시된 좌표계는 구강내 스캐너(10)의 결과인 기록된 스캔에 의해 결정된다. 추가의 좌표계는 도 5에 도시된 스캐너(10)의 좌표계이다. 추가의 좌표계는 스캐너(10)의 위치를 감지하고 도 6에 도시된 감지 유닛(이하, 오버뷰 카메라(20)로도 지칭됨)의 좌표계이다. 또 다른 좌표계는, 예를 들어 치과 의사와 같은 사용자 또는 스캔을 수행하는 사람이 보는 바와 같은, 도 7에 도시된 공간의 좌표계이며, 여기서 각각의 눈을 위한 시스템, 즉 2개의 시스템이 존재한다. 마지막으로, 도 8에 나타낸 관찰자의 좌표계도 존재한다.
도 2에 도시된 바와 같이, 현실로서 오버뷰 카메라(20)에 의해 캡쳐된 해부학적 구조 위에 가상 콘텐츠로서 스캐너(10)에 의해 캡쳐된 이미지를 정확하게 중첩시키기 위해, 예를 들어, 도 3에서 볼 수 있는 바와 같이, 이전에 지정된 좌표계들 사이의 여러 가지 알려진 변환이 필요하다.
변환은 현실의 스크린(40)으로의 변환과 관련된다.
또 다른 변환은 스캐닝 동안에 알려진, 현실의 스캐너(10)로의 변환에 관한 것이다. 스캐너(10)는 일반적으로 매우 높은 정확도로 현실과 디지털 모델 사이의 관계를 생성한다.
또 다른 변환은 스캐너(10)의 오버뷰 카메라(20)로의 변환에 관한 것이다. 스캐너(10)의 위치는 스캐너(10) 상의 용이하게 인식 가능한 위치 마커(11)에 의해 결정될 수 있다. 이들 위치 마커(11)는 회사 또는 제품 로고와 같은 알려진 텍스처(texture)를 갖는 임의의 종류의 표시일 수도 있다. 도 10에서 알 수 있는 바와 같이, 이러한 위치 마커는 알려진 기하학적 구조 및 크기로 스캐너(10) 상에 장착되기 때문에 스캐너(10)의 위치 및 크기에 관한 정보를 제공한다. 따라서, 스캐너(10)의 위치도 2차원 오버뷰 카메라(20)에 의해 충분히 감지될 수 있다. 광학적 위치 마커는 예를 들어, 알려진 텍스처일 수 있고 문헌["M. Ozuysal et al.: Feature Harvesting for Tracking-by-Detection, European Conference on Computer Vision, 2006"]"에 따라 추적될 수 있다. 특수한 위치 마커는 예를 들어, 문헌["D. Wagner et al.: Robust and Unobtrusive Marker Tracking on Mobile Phones, Technical Report, Graz University of Technology"]에 따라 추적될 수 있다
또 다른 변환은 오버뷰 카메라(20)의 스크린(40)으로의 변환에 관한 것이다. 이러한 상관관계는 예를 들어, 스크린(40)에 대한 오버뷰 카메라(20)의 고정된 기하학적 구조에 의해 미리 안정적인 방식으로 결정될 수 있다.
또 다른 변환은 스캔을 수행하는 사람의 눈의 스크린(40)으로의 변환에 관한 것이다 이러한 상관관계는 사람마다 다르며, 첫 번째 사용 전에 개인의 보정에 의해 결정되어야 한다. 눈이 움직이고 시야 방향이 변할 수 있으므로, 시스템에 따라 눈도 추적되어야 하며, 이것은 이미 언급된 아이 카메라(21)로 수행될 수 있다.
이러한 이미징 체인은 예를 들어, 동종 좌표의 변환으로 계산될 수 있다. 좌표 벡터
Figure pct00001
의 선형 변환 T는 매트릭스 형태의 선형 대수학으로 표현될 수 있으며, 여기서 A는 이미징 매트릭스를 나타낸다:
Figure pct00002
선형 이미지의 연속적인 실행은 연관된 이미징 매트릭스의 매트릭스 곱에 해당한다.
추가의 상세한 내용은 예를 들어, 문헌["Hartley and Zissermann: Multiple View Geometry in Computer Vision, Cambridge University Press"]에서 찾을 수 있다.
눈의 위치의 결정을 피하기 위하여, 보정의 유효 범위는 예를 들어, 사용자 또는 스캔을 수행하는 사람의 시야의 평균 공간 각도로 제한될 수 있다. 디스플레이될 기하학적 구조가 이러한 공간 각도를 벗어나는 방식으로 사용자가 자신의 머리를 돌리면, 중첩이 숨겨질 수 있다.
적합한 좌표 변환(변환 명령)을 사용하여 다양한 좌표계가 서로 전환된다. 마지막으로, 위의 변환을 각각의 눈마다 한 단계로 수행하는 변환 명령이 있으며; 이는 두 개의 변환이 수행됨을 의미한다. 변환 규격은 환자의 해부학적 구조로서의 치아의 움직임이 사용자의 각 눈의 좌표계로 전환되도록 하며, 스캐너(10)에 의해 기록된 3D 기하학적 구조가 눈에 자연적으로 보이는 이미지와 관련하여 정확한 위치에서 스크린(40)에 디스플레이되도록 한다.
전체 시스템(특히 스크린에 대한 눈)의 보정을 위하여, 도 9에서 볼 수 있는 바와 같이, 스캐너(10)는 예를 들어, 스캐너(10)의 가상 디스플레이와 일치하는 방식으로 정렬될 수 있다. 예컨대, 스캐너(10)의 잘못된 스캔, 등록 오차 또는 마스킹에 의해 이미징 체인이 중단되면, 예를 들어 가상 콘텐츠는 최상의 위치에 디스플레이된다.
이러한 위치는 바람직하게는 다음 수단에 의해 결정된다:
- 스캐너(10) 상에 장착된 가속도 센서. 이들은 스캐너(10)의 위치의 단기 추정을 허용한다. 그러나, 장기간의 경우, 작은 오차들이 합산되고, 이에 따라 추정된 위치는 덜 정확해진다.
- 스캔할 해부학적 구조의 추적. 환자의 위턱의 치아는 자신의 머리에 고정적으로 연결되어 있다. 눈과 같은 안면 특징의 관찰은 치아의 위치에 관한 정보를 제공할 수 있다.
- 오버뷰 카메라(20)의 해상도 및 환자의 치아와 같은 해부학적 구조에 대한 거리에 따라, 예를 들어 치아의 특징도 인식될 수 있다. 2D 특징과 3D 모델 위치의 상관관계는 성공적인 스캔 중에 학습될 수 있다. 이러한 특징은 예를 들어, 치아의 특정 에지 패턴(edge pattern) 또는 심지어 색상 분포일 수 있다.
컴퓨팅 유닛으로 위치의 안정적인 추정을 계산하기 위해, 예를 들어 칼만 필터(Kalman filter)에서와 같이, 해부학적 구조로서 치아의 운동 모델에 잘못된 관찰이 포함될 수 있다. 이것은 GPS 신호 손실의 경우 차량의 위치 추정과 유사한 방식으로 수행될 수 있다.
스크린(40)의 콘텐츠는 이하에서 설명될 것이다.
스캐닝 결과의 재현성을 높이기 위하여, 통상적인 스캐닝 동안 스캔 프로토콜을 중첩시킬 수 있다. 예를 들어, 문헌["Ender and Mehl: Influence of scanning strategies on the accuracy of digital intraoral scanning systems, International Journal of Computerized Dentistry, 2013"]으로부터, 스캔 프로토콜이 모델의 정확도를 높일 수 있는 것으로 알려져 있다. 이러한 프로토콜은 일반적으로 교육 단계에서 사용자에게 교육된다. 제안된 시스템은 스캐닝 동안 이러한 스캔 프로토콜을 직접 제안하고 중첩하는 것을 가능하게 한다. 이러한 지침은 스캐너와 모델 간의 상관관계가 분명하기 때문에 용이하게 적용할 수 있다. 스캔 프로토콜은 사전에 영구적으로 설정될 필요는 없지만, 등록 오류를 최소화하기 위해 대화식으로 제안될 수도 있다. 작은 등록 오류를 수정하기 위하여, 일반적으로 루프 폐쇄(loop closing)가 특히 중요하다; 예를 들면: "T. Weise et al.: In-hand Scanning with Online Loop Closure, ICCV Workshops, 2009"를 참조. 이 시스템은 모델의 정확성을 높이기 위해 구체적이고 특히 가치 있는 루프 폐쇄를 제안할 수 있다. 스캐닝 가이드는 도 11에서 볼 수 있는 바와 같이, 예를 들어 스캐닝 방향을 나타내는 화살표에 의해 실현될 수 있다. 또한, 번호가 매겨진 방향 점을 보조 수단으로서 중첩시키는 것도 고려할 수 있다. 이러한 방향 점은 이 영역이 성공적으로 스캔 되자마자 사라진다. 이러한 옵션은 도 12에서 볼 수 있다.
추가의 보조 수단으로서, 도 13에서 볼 수 있는 바와 같이, 스캔의 품질은 예를 들어, 특정 색상으로 가상적으로 중첩될 수 있다. 예를 들어, 모델에 갭이 있는 경우, 스캔의 품질은 불량하다. 이후에, 이들 영역은 스캔될 다음 영역으로 제안될 수 있다.
모델의 가시적 시야를 직접적으로 시각화하지 않기 위하여, 스캐너(10)는 가상 미러로서 기능한다. 사용자의 관점에서 볼 수 없는 시야는 도 14에 도시된 바와 같이 스캐너(10)의 헤드 근처에서 가상으로 미러링된다. 미러는 가상이며, 따라서 원하는 대로, 예컨대 도 14에서와 같이 스캐너(10)에 직접, 또는 심지어 스캐너(10)의 옆에 위치시킬 수 있다. 필요한 경우, 미러는 또한 확대경 또는 확대 오목 미러로서 기능할 수 있다.
또한, 중요한 영역을 확대된 방식으로 디스플레이할 수 있도록 하기 위해 또 다른 가상 확대경을 포함할 수 있다.
스캐너(10)가 2차원 스캔을 기록하는 능력을 갖는 경우, 가상 미러는 모델 또는 실제 치아의 전자 치과 미러로서 기능할 수도 있다. 기존의 3D 스캐닝 결과가 있는 경우, 이들을 사용하여 스캐너(10)의 위치에 대한 모델 데이터를 디스플레이한다. 3D 스캐닝 결과가 없으면, 가상 치과 미러는 스캐너(10)의 위치에 대한 2차원 스캔을 직접 디스플레이한다.
디스플레이된 스캔의 이미지는 인공 조명을 도입하여 디스플레이된다. 상응하는 가상 광원은 바람직하게는 스캔을 수행하는 사람으로서의 치과 의사가 일반적으로 예를 들어, 자신의 이마 위에 위치한 자신의 광을 갖는 곳에 위치시킨다. 이 가상 광원을 정확하게 위치시키기 위하여. 시스템은 환자에 대한 치과 의사의 상대 위치를 알아야 한다. 가장 간단한 경우에, 오버뷰 카메라(20)는 치과 의사의 머리에 단단히 연결된다. 오버뷰 카메라와 환자의 치아 사이의 이미지 상관관계는 스캐닝의 결과로 알려져 있다.
시각화는 실시간으로 이루어져야 하는데, 즉 0.1초 이하의 대기시간이 이상적이다. 더 긴 대기시간은 일반적으로 방법의 적용가능성을 제한하지 않지만, 사용자는 스캐너(10)의 상응하는 느린 처리를 강요 받게 된다. 스캐너(10)의 위치를 결정하기 위하여, 3D 이미지가 먼저 생성되어야 하고 디스플레이될 기타 기하학적 구조로 등록되어야 하기 때문에 대기시간은 완전히 회피될 수 없다(공통 좌표계로 전환).
짧은 대기시간으로 시각화하려면 상응하는 강력한 컴퓨팅 하드웨어가 필요하다. 컴퓨터 하드웨어는 분산될 수 있다. 따라서, 스크린(40)과 감지 유닛(20) 사이에는 CPU 및 GPU가 존재할 수 있다. 스크린(40), 감지 유닛(20) 및 스캐너(10)를 연결하는, 컴퓨팅 유닛(30) 내에 추가의 CPU 및 GPU가 존재할 수 있다.
가상 모델과 현실의 공간 배열을 이하 논의한다.
치아의 가상 모델을 가능한 한 자연스럽게 해부학적 구조로서 디스플레이하고 입안에 정확하게 위치시키기 위하여, 치아 바로 근처의 대상을 세분화해야만 한다. 이러한 세분화는, 예를 들어, 가상적으로 덮인 실제 치아와 가상 모델의 광학적 흐름의 상관관계에 의해 수행될 수 있다. 덮인 2D 시야의 광학적 유동은 추정된 가상 모델의 유동과 일치해야 한다. 그렇지 않은 경우, 이러한 이동 간섭은 가상 모델 앞에 공간적으로 디스플레이된다. 구강내 스캐너(10)가 또한 RGB 이미지를 제공하고 가상 모델이 이러한 방식으로 착색될 수 있는 경우, 실제 치아와 모델 간의 색 편차가 또한 세분화에 사용될 수 있다. 예를 들어, 색상 값이 일치하지 않으면, 가상 모델은 이들 영역에 디스플레이되지 않는다.
이러한 옵션은 예를 들어, 스캐너(10)의 헤드 뒤의 모델에 갭을 디스플레이하기 위하여 선택적으로 스위치를 끌 수도 있다.
특히, 스캐닝 과정의 일시 정지 중에, 해부학적 구조의 위치, 방향 및 스케일링은 도구를 사용하여 컴퓨팅 유닛(30)에 의해 추정된다. 침습적인 방법과 비-침습적인 방법을 구별할 수 있는데, 비-침습적인 방법이 바람직하다.
침습적인 방법은 마커 또는 다른 추적 센서를 스캔할 해부학적 구조에 부착하는 것이다. 비-침습적인 방법은 해부학적 구조의 광학적 2D 또는 3D 특성의 페어링이다. 2D 또는 3D 특성은 예를 들어, 소수의 눈길을 끄는 국소 지점 또는 대상 위에 조밀하게 분포된 다수의 큰 영역일 수 있다.
국소 2D 특성의 예는 다음과 같다:
- 해부학적 구조에서의 국소 색상 차이. 기술된 적용분야에서 이들은 일반적으로 치아-검 전환(tooth-gum transition)이다.
- 국소 밝기 차이. 기술된 적용분야에서, 이들은 일반적으로 치아의 미세한 밝기 차이이다.
- 최대 밝기 지점
- 최소 밝기 지점
국소 3D 특성의 예는 다음과 같다:
- 예를 들어, 곡률의 정도로 설명할 수 있는 해부학적 구조에 있어서의 국소 형상 차이.
더 견고한 설명을 얻기 위해, 국소 2D 또는 3D 특성을 이들의 공간 분포와 관련하여 추가로 검사할 수 있다. 국소 지점들 사이의 근접 관계는 예를 들어, 거리 측정을 통해 설명될 수 있다.
하나의 옵션은 가상 모델에서의 특성을 오버뷰 카메라로 캡쳐한 특성과 정렬하는 것이다. 오버뷰 카메라는 일반적으로 주위의 2D 컬러 데이터 또는 3D 데이터도 제공한다. 특성의 정렬이 쉬울수록, 연속 스캐닝 과정 중의 구강내 카메라의 기록 조건과 스캐닝 과정의 일시 정지 중의 오버뷰 카메라의 기록 조건이 더 유사해진다. 따라서, 스캔을 기록하는 데 필요한 어떠한 조명도 오버뷰 카메라를 사용하여 이미지를 기록하는 동안 스위치를 끌 수 있다. 추가의 조명은 또한 오버뷰 카메라의 위치와 유사한 위치에 장착되는 것이 유리할 수 있다.
또 다른 옵션은 해부학적 구조의 더 가까운 주변을 기록하고 그 정보로부터 해부학적 구조를 추정하는 것이다. 예를 들어, 머리 또는 머리 부분을 사용하여 치아의 매개변수를 결정할 수 있다. 여기에도 침습적 및 비-침습적인 방법이 있다. 예를 들어, 마커는 안면에 침습적으로 부착될 수 있다. 예를 들어, 특정 관점 또는 안면 마스크는 비-침습적으로 추적될 수 있다.
스캐닝 과정의 일시 정지 중에도 실제 해부학적 구조 위에 가능한 한 정밀하게 가상 모델을 위치시키기 위해, 스캐너(10)로 스캐닝하는 동안, 감독자로서 이미지를 생성하는 동안 기술된 방법을 사용한 자동화된 학습 단계가 있다. 따라서, 스캐닝하고 스캔을 모델에 성공적으로 추가하는 동안, 오버뷰 카메라로부터의 데이터를 연속적으로 분석하고 평가하여, 나중에 스캐닝 과정의 일시 정지 중에 가상 모델을 실제 해부하적 구조로 가능한 한 정확하게 중첩되도록 한다. 이러한 학습 단계에서는, 오버뷰 카메라가 추적 중인 특성 중 어느 것이 가상 모델의 위치, 방향 및 스케일링을 추정하는 데 사용될 수 있는지를 자동적으로 감지한다. 이러한 특성은 예를 들어, 가능한 한 안정적인 추적을 가능하게 해야 한다. 국소 2D 또는 3D 특성과 같은 수 많은 설명된 특성 중에서, 상기 상황에서 특히 안정적이고 견고한 방식으로 추적될 수 있는 특성이 선택된다. 자동 학습 단계를 통해, 예를 들어 해부학적 구조 및 그 부근에 존재하는 상이한 특성의 어떠한 바람직한 조합도 선택할 수 있다.
이러한 특성은 또한 추정 매개변수와 관련하여 의미가 있어야 한다. 선택된 특성과 스캐닝 동안에 알려진 추정 매개변수 사이의 관계가 학습된다. 특정 특성이 바람직한 매개변수를 추정하는 데 유용하지 않은 경우, 이는 스캐닝 동안에 확인되며 이러한 특성은 나중에 스캐닝 과정의 일시 정지시 무시할 수 있다.
스캔이 중단되는 경우, 이들 기술적으로 선택된 특성을 사용하여 현재 알려지지 않은 매개변수를 추정한다.
바람직한 매개변수를 추정하는 데 적합한 특성이 자동으로 학습된다. 따라서, 이러한 특성을 미리 선택할 필요는 없다. 대신에, 이들은 스캐닝 과정으로부터 스캐닝 과정으로 적응하여 조정된다. 자동 학습 단계를 이용하여, 스캔된 해부학적 구조의 근처에만 존재하는 특성을 추정 매개변수와 정렬할 수 있다. 따라서, 예를 들어, (오버뷰 카메라에 의해 추적되는) 안면 마스크의 위치, 방향 및 스케일링에 대한 가상 모델의 위치, 방향 및 스케일링 사이의 관계가 학습될 수 있다. 안면 마스크는 스캐닝 과정의 중단 동안 계속해서 추적할 수 있으며, 해부학적 구조는 안면 마스크에 대하여 학습된 위치, 방향 및 스케일링에서 디스플레이될 수 있다.
스캐너가 보조 수단으로서 사용될 수 없는 경우, 가상 모델은 실제 해부학적 구조를 통해 사용자에 의해 수동으로 배치될 수도 있다. 이러한 수동 보정 단계에서, 추적된 특성과 가상 모델의 위치, 방향 및 스케일링 사이의 관계는 이후에 학습될 수도 있다. 고도의 견고성을 달성하기 위해 수동 보정 단계를 한 차례 또는 반복적으로도 수행할 수 있다.
본 발명은 특히, 간단한 조작으로 스캐닝 결과의 개선된 시각화를 제공하는, 해부학적 구조를 스캐닝하고 스캐닝 결과를 시각화하기 위한 시스템 및 방법을 보여준다.

Claims (18)

  1. 해부학적 구조를 스캐닝하고 스캐닝 결과를 시각화하기 위한 시스템으로서,
    상기 해부학적 구조의 이미지를 구강내에서 캡쳐하는 구강내 스캐너(10);
    관찰자 또는 스캔을 수행하는 사람에 대한 구강내 스캐너(10)의 공간적 위치를 감지하는 구강외 감지 유닛(20); 및　
    스캐닝 과정 중에, 스캐너(10)를 스크린(40) 및 감지 유닛(20)과 연결하고, 상기 해부학적 구조의 구강내 캡쳐 이미지 및 관찰자에 대한 구강내 스캐너(10)의 감지된 공간적 위치에 기초하여 스캐닝 결과를 생성하고,
    스캐닝 과정의 일시 정지 중에, 상기 해부학적 구조의 위치, 방향 및 스케일링(scaling)을 추정하고, 스캐닝 결과로서, 상기 추정에 상응하는 상기 해부학적 구조의 이미지를 생성하는 컴퓨팅 유닛(30)을 포함하되,
    스크린(40)은 컴퓨팅 유닛(30)에 의해 생성된 상기 스캐닝 결과를 디스플레이하는 시스템.
  2. 제1항에 있어서, 스크린(40)은 스캔을 수행하는 사람의 시야에 직접 위치되도록 증강 현실 안경에 통합되고,
    감지 유닛(20)은 2차원 및/또는 3차원 오버뷰 이미지를 생성하는 카메라로서, 스크린(40)에 직접 근접하여 견고하게 연결된 카메라인 것을 특징으로 하는 시스템.
  3. 제2항에 있어서, 감지 유닛(20) 및 스크린(40)은 스캔을 수행하는 사람의 머리 근처에 견고하게 장착된 것을 특징으로 하는 시스템.
  4. 제2항 또는 제3항에 있어서, 상기 시스템은 감지 유닛(20) 및 스크린(40)에 대한 스캔을 수행하는 사람의 눈 및/또는 머리의 움직임을 감지하는 아이 카메라(21)를 추가로 포함하고, 컴퓨팅 유닛(30)은 스크린(40)에 디스플레이되는 상기 스캐닝 결과를 상기 아이 카메라에 의해 감지된 움직임에 맞춰진 중첩 이미지로서 생성하는 것을 특징으로 하는 시스템.
  5. 제4항에 있어서, 상기 시스템은 스캔을 수행하는 사람의 움직임을 감지하는 위치 센서(22)를 추가로 포함하고, 컴퓨팅 유닛(30)은 스크린(40)에 디스플레이되는 상기 중첩 이미지를 생성하는 경우 상기 위치 센서에 의해 감지된 움직임을 고려하는 것을 특징으로 하는 시스템.
  6. 제4항 또는 제5항에 있어서, 상기 시스템은 스캐너(10) 근처에서 상기 스캐너의 움직임을 감지하는 위치 센서를 추가로 포함하고, 컴퓨팅 유닛(30)은 스크린(40)에 디스플레이되는 상기 중첩 이미지를 생성하는 경우 상기 위치 센서에 의해 감지된 움직임을 고려하는 것을 특징으로 하는 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 컴퓨팅 유닛(30)은 복수 좌표계 간의 변환을 수행하는 것을 특징으로 하는 시스템.
  8. 제7항에 있어서, 상기 복수 좌표계는 상기 구강내 캡쳐 이미지의 좌표계, 스캐너(10)의 좌표계, 감지 유닛(20)의 좌표계 및 스크린(40)의 좌표계를 포함하는 것을 특징으로 하는 시스템.
  9. 제8항에 있어서, 상기 시스템이 제5항, 제6항 또는 제7항에 기초하는 경우, 상기 복수 좌표계는 스캔을 수행하는 사람의 좌안 및 우안에 대한 스크린(40)의 좌표계, 및 스캔을 수행하는 사람의 좌안 및 우안에 대한 각각의 좌표계를 각각 추가로 포함하는 것을 특징으로 하는 시스템.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 스크린(40)은 성공적인 스캐닝에 관한 정보도 디스플레이하는 것을 특징으로 하는 시스템.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 컴퓨팅 유닛(30)은 스캐너(10)에 의해 구강내 캡쳐된 상기 해부학적 구조의 이미지를 스캐너(10)의 헤드 근처 스크린(40)에 디스플레이되도록 방식으로 처리하는 것을 특징으로 하는 시스템.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 스캐너(10) 상에 위치 마커(11)가 제공되는 것을 특징으로 하는 시스템.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 컴퓨팅 유닛(30)은 침습적 또는 비-침습적 방법에 의해 상기 해부학적 구조의 위치, 방향 및 스케일링을 추정하되, 상기 침습적 방법은 스캐닝할 상기 해부학적 구조 상에 마커 또는 다른 추적 센서를 부착하는 것을 포함하고, 상기 비-침습적 방법은 상기 해부학적 구조의 광학적 2차원 또는 3차원 특성의 페어링(paring)을 포함하는 것을 특징으로 하는 시스템.
  14. 제13항에 있어서, 상기 해부학적 구조의 위치, 방향 및 스케일링의 추정을 개선하기 위해, 모델에 스캔을 성공적으로 추가하는 동안, 컴퓨팅 유닛(30)은 스캐닝 과정의 일시 정지 중에 가상 모델을 디스플레이하는 데 도움이 되는 학습 단계를 거치고, 상기 해부학적 구조 상의 또는 그 근처의 특성과 상기 가상 모델 사이의 변환은 알려져 있거나 성공적인 스캔 중에 학습될 수 있고, 스캐닝 과정의 일시 정지 중에 안정적이고 강력한 방식으로 상기 가상 모델을 추적하기 위해 2차원 또는 3차원 특성이 선택될 수 있는 것을 특징으로 하는 시스템.
  15. 제1항 내지 제14항 중 어느 한 항에 따라 구성된 시스템을 이용하여 해부학적 구조를 스캐닝하고 스캐닝 결과를 시각화하는 방법으로서,
    구강내 스캐너(10)로 상기 해부학적 구조의 이미지를 캡쳐하는 단계;
    구강외 감지 유닛(20)으로 구강내 스캐너(10)의 공간적 위치 또는 장소를 감지하는 단계;
    스캐닝 동안 좌표계 간의 변환에 의해, 구강내 스캐너(10)로 캡쳐된 이미지의 좌표계를 스크린(40)의 좌표계로 전환하거나,
    상기 해부학적 구조의 위치, 방향 및 스케일링을 추정하고 상기 추정에 상응하는 상기 해부학적 구조의 이미지를 생성하는 단계; 및
    상기 생성된 이미지를 스크린(40)에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제15항에 있어서, 스캐너(10)에 의해 구강내 캡쳐된 상기 해부학적 구조의 개별 이미지를 병합함으로써 스캐닝 결과가 형성되는 것을 특징으로 하는 방법.
  17. 제15항 또는 제16항에 있어서, 스캐너(10)의 각각의 위치는 스캐너(10) 상의 위치 마커(11)를 사용하여 추적되는 것을 특징으로 하는 방법.
  18. 제17항에 있어서, 스캐너(10)에 의해 구강내 캡쳐된 상기 해부학적 구조의 이미지 및/또는 스캐닝 결과는 스캐너(10)의 위치에 대응하여 스크린(40)에 디스플레이되는 것을 특징으로 하는 방법.
KR1020187000188A 2015-07-08 2016-07-08 해부학적 구조를 스캐닝하고 스캐닝 결과를 디스플레이하기 위한 시스템 및 방법 KR102657956B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015212806.7 2015-07-08
DE102015212806.7A DE102015212806A1 (de) 2015-07-08 2015-07-08 System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
PCT/EP2016/066259 WO2017005897A1 (de) 2015-07-08 2016-07-08 System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses

Publications (2)

Publication Number Publication Date
KR20180027492A true KR20180027492A (ko) 2018-03-14
KR102657956B1 KR102657956B1 (ko) 2024-04-15

Family

ID=56615937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187000188A KR102657956B1 (ko) 2015-07-08 2016-07-08 해부학적 구조를 스캐닝하고 스캐닝 결과를 디스플레이하기 위한 시스템 및 방법

Country Status (9)

Country Link
US (1) US11412993B2 (ko)
EP (1) EP3319508A1 (ko)
JP (1) JP6941060B2 (ko)
KR (1) KR102657956B1 (ko)
CN (1) CN107735016B (ko)
AU (1) AU2016290620B2 (ko)
CA (1) CA2991659A1 (ko)
DE (1) DE102015212806A1 (ko)
WO (1) WO2017005897A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200125294A (ko) * 2019-04-26 2020-11-04 주식회사 메디씽큐 전자적 루페 장치 및 이를 이용한 진단 방법
WO2020231157A1 (ko) * 2019-05-16 2020-11-19 서울대학교병원 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457998B2 (en) 2016-07-29 2022-10-04 Ivoclar Vivadent Ag Recording device
US10470645B2 (en) 2017-05-22 2019-11-12 Gustav Lo Imaging system and method
CN107644454B (zh) * 2017-08-25 2020-02-18 北京奇禹科技有限公司 一种图像处理方法及装置
CN107909609B (zh) * 2017-11-01 2019-09-20 欧阳聪星 一种图像处理方法及装置
DE102018204098A1 (de) * 2018-03-16 2019-09-19 Sirona Dental Systems Gmbh Bildausgabeverfahren während einer dentalen Anwendung und Bildausgabevorrichtung
CN108827151B (zh) * 2018-06-22 2020-05-19 北京大学口腔医学院 数据配准方法及数据配准系统
EP3649919A1 (de) 2018-11-12 2020-05-13 Ivoclar Vivadent AG Dentales bildaufnahmesystem
CN109700531B (zh) * 2018-12-17 2021-07-30 上海交通大学医学院附属第九人民医院 个体化下颌骨导航配准导板及其配准方法
CN109864829A (zh) * 2019-01-28 2019-06-11 苏州佳世达光电有限公司 扫描系统及扫描方法
EP3960121A1 (en) * 2019-01-30 2022-03-02 DENTSPLY SIRONA Inc. Method and system for three-dimensional imaging
CN113424523B (zh) * 2019-02-15 2023-10-27 株式会社美迪特 扫描过程再生方法
JP6936826B2 (ja) 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
CN109770857A (zh) * 2019-03-22 2019-05-21 昆明医科大学附属口腔医院(云南省口腔医院) 一种口腔拍照定位装置
US10849723B1 (en) 2019-05-07 2020-12-01 Sdc U.S. Smilepay Spv Scanning device
US10832486B1 (en) 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
TWI710357B (zh) * 2020-01-17 2020-11-21 東昕精密科技股份有限公司 Ar牙科贋復製造引導系統及其應用方法
CN113223140A (zh) * 2020-01-20 2021-08-06 杭州朝厚信息科技有限公司 利用人工神经网络生成牙科正畸治疗效果的图像的方法
IL295922A (en) 2020-02-26 2022-10-01 Get Grin Inc Systems and methods for remote dental monitoring
USD962437S1 (en) 2020-05-14 2022-08-30 Get-Grin Inc. Dental scope
CN112506343B (zh) * 2020-12-07 2022-07-12 青岛农业大学 动物解剖学教学方法、系统、介质、计算机设备、终端
US11445165B1 (en) 2021-02-19 2022-09-13 Dentsply Sirona Inc. Method, system and computer readable storage media for visualizing a magnified dental treatment site
EP4079258A1 (en) * 2021-04-23 2022-10-26 DENTSPLY SIRONA Inc. Dental scanning
WO2024007117A1 (en) * 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
US20240046555A1 (en) * 2022-08-08 2024-02-08 Gustav Lo Arcuate Imaging for Altered Reality Visualization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020006217A1 (en) * 2000-04-28 2002-01-17 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
JP2007528743A (ja) * 2003-04-30 2007-10-18 ディースリーディー，エル．ピー． 口腔内画像化システム
US20130242262A1 (en) * 2005-10-07 2013-09-19 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US7013191B2 (en) * 1999-11-30 2006-03-14 Orametrix, Inc. Interactive orthodontic care system based on intra-oral scanning of teeth
US7463757B2 (en) * 2003-12-09 2008-12-09 Carestream Health, Inc. Tooth locating within dental images
US8194067B2 (en) * 2004-02-04 2012-06-05 3M Innovative Properties Company Planar guides to visually aid orthodontic appliance placement within a three-dimensional (3D) environment
US7323951B2 (en) 2005-07-13 2008-01-29 John Mezzalinqua Associates, Inc. Casing for CATV filter
CN101365397B (zh) 2005-12-08 2012-04-18 彼得·S·乐芙莉 红外牙齿成像
US7813591B2 (en) 2006-01-20 2010-10-12 3M Innovative Properties Company Visual feedback of 3D scan parameters
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
WO2010067267A1 (en) * 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
JP5476036B2 (ja) * 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US20120056993A1 (en) * 2010-09-08 2012-03-08 Salman Luqman Dental Field Visualization System with Improved Ergonomics
US9237878B2 (en) 2011-04-22 2016-01-19 Mayo Foundation For Medical Education And Research Generation and assessment of shear waves in elasticity imaging
JP5935344B2 (ja) * 2011-05-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム、記録媒体、および、画像処理システム
JP2013034764A (ja) * 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9517041B2 (en) * 2011-12-05 2016-12-13 Controlrad Systems Inc. X-ray tube
DE102012221374A1 (de) * 2012-11-22 2014-05-22 Sirona Dental Systems Gmbh Verfahren zur Planung einer dentalen Behandlung
US9135498B2 (en) * 2012-12-14 2015-09-15 Ormco Corporation Integration of intra-oral imagery and volumetric imagery
US20140221819A1 (en) * 2013-02-01 2014-08-07 David SARMENT Apparatus, system and method for surgical navigation
US9808148B2 (en) * 2013-03-14 2017-11-07 Jan Erich Sommers Spatial 3D sterioscopic intraoral camera system
CN103442169B (zh) * 2013-07-29 2016-10-05 北京智谷睿拓技术服务有限公司 操纵图像采集设备的拍摄功能的方法和图像采集设备
CN103440626B (zh) * 2013-08-16 2016-10-19 北京智谷睿拓技术服务有限公司 照明方法和照明系统
CN103886145B (zh) * 2014-03-12 2017-01-04 南京航空航天大学 牙齿预备体数字化模型设计方法
FR3021518A1 (fr) * 2014-05-27 2015-12-04 Francois Duret Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie
US10042937B2 (en) 2014-07-30 2018-08-07 Microsoft Technology Licensing, Llc Adjusting search results based on overlapping work histories
US10504386B2 (en) * 2015-01-27 2019-12-10 Align Technology, Inc. Training method and system for oral-cavity-imaging-and-modeling equipment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020006217A1 (en) * 2000-04-28 2002-01-17 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
JP2007528743A (ja) * 2003-04-30 2007-10-18 ディースリーディー，エル．ピー． 口腔内画像化システム
US20130242262A1 (en) * 2005-10-07 2013-09-19 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200125294A (ko) * 2019-04-26 2020-11-04 주식회사 메디씽큐 전자적 루페 장치 및 이를 이용한 진단 방법
WO2020231157A1 (ko) * 2019-05-16 2020-11-19 서울대학교병원 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법

Also Published As

Publication number Publication date
US11412993B2 (en) 2022-08-16
JP2018527965A (ja) 2018-09-27
WO2017005897A1 (de) 2017-01-12
AU2016290620B2 (en) 2021-03-25
DE102015212806A1 (de) 2017-01-12
EP3319508A1 (de) 2018-05-16
JP6941060B2 (ja) 2021-09-29
AU2016290620A1 (en) 2018-02-01
US20180192964A1 (en) 2018-07-12
CN107735016A (zh) 2018-02-23
KR102657956B1 (ko) 2024-04-15
CA2991659A1 (en) 2017-01-12
CN107735016B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
KR102657956B1 (ko) 해부학적 구조를 스캐닝하고 스캐닝 결과를 디스플레이하기 위한 시스템 및 방법
US11723758B2 (en) Intraoral scanning system with visual indicators that facilitate scanning
US10706610B2 (en) Method for displaying an object
JP6198857B2 (ja) ３次元の画像形成を行うための方法及びシステム
JP5818857B2 (ja) 情報処理装置およびその制御方法
WO2017144934A1 (en) Guided surgery apparatus and method
KR20170008872A (ko) 환자의 구강 내부를 시각화하는 장치
US20220192800A1 (en) Method and system for guiding an intra-oral scan
CN113260335B (zh) 用于测量牙周袋深度的系统
JP2007233971A (ja) 画像合成方法及び装置
KR20210121050A (ko) 치과 치료를 제안 및 시각화하기 위한 방법 및 시스템
JP2005349176A (ja) 顎運動解析方法及び顎運動解析システム
US20220175485A1 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
KR20150073754A (ko) 동작 훈련 장치 및 동작 훈련 방법
CN116419715A (zh) 用于牙科治疗系统的双向镜显示器

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant