KR20170008872A - 환자의 구강 내부를 시각화하는 장치 - Google Patents

환자의 구강 내부를 시각화하는 장치 Download PDF

Info

Publication number
KR20170008872A
KR20170008872A KR1020167036568A KR20167036568A KR20170008872A KR 20170008872 A KR20170008872 A KR 20170008872A KR 1020167036568 A KR1020167036568 A KR 1020167036568A KR 20167036568 A KR20167036568 A KR 20167036568A KR 20170008872 A KR20170008872 A KR 20170008872A
Authority
KR
South Korea
Prior art keywords
camera
images
user
optical
patient
Prior art date
Application number
KR1020167036568A
Other languages
English (en)
Inventor
프랑소와 뒤레
Original Assignee
프랑소와 뒤레
께르브-뒤레, 베로니끄
께르브, 올리비에
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프랑소와 뒤레, 께르브-뒤레, 베로니끄, 께르브, 올리비에 filed Critical 프랑소와 뒤레
Publication of KR20170008872A publication Critical patent/KR20170008872A/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A61B1/247Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N5/2256
    • H04N5/23203
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 환자의 구강의 내부를 시각화하기 위한 장치에 관한 것이며, 이 장치는 구강 내에 위치한 기관들의 광학적 임프린트를 찍도록 구성된 카메라(4)를 포함한다.
본 발명에 따르면, 상기 장치는 증강 현실 안경을 포함하며, 상기 증강 현실 안경은 한편에서는 상기 안경의 사용자가 상기 구강 내부를 볼 수 있는 광학적 렌즈(6) 및, 다른 편에서는, 상기 광학적 렌즈(6)을 통해서 상기 사용자가 본 것을 촬영하도록 구성된 시각화 카메라(7)를 포함하며, 상기 시각화 카메라(7)가 찍은 이미지들에 대응하는 제1 이미지들은 상기 광학적 임프린트를 찍기 위한 카메라(4)가 찍은 이미지들에 대응하는 제2 이미지들과 상관되며, 이로써 상기 제2 이미지는 상기 광학적 렌즈(6) 상으로 투사될 수 있다.

Description

환자의 구강 내부를 시각화하는 장치{DEVICE FOR VIEWING THE INSIDE OF THE MOUTH OF A PATIENT}
본 발명은 환자의 구강 내부를 시각화하는 장치에 관한 것이다. 본 발명은 또한 구강내 측정 장치에 관한 것이다.
환자의 구강의 광학적 임프린트(optical imprint)를 찍도록 구성된 구강내 카메라 및 장치의 사용자로 하여금 구강내 카메라가 찍은 이미지를 시각화하는 것을 가능하게 하는 원격 표시 스크린을 포함하는 환자의 구강 내부를 시각화하는 장치가 알리어져 있다. 이러한 장치는 말하자면 치과용 보철물의 생산을 위해서 사용된다.
이러한 장치의 단점은 구강내 카메라가 찍은 이미지들에 대응하는 이미지들(카메라가 찍은 이미지들 또는 카메라가 찍은 이미지들을 모델링을 위해서 데이터 프로세싱하여서 얻어진 이미지들)이 표시되는 원격 스크린을 사용자가 계속해서 보고 있어야 하고, 이로써 사용자가 환자의 구강으로부터 자신의 눈을 돌려야 하며, 이는 자신이 작업을 하고 있는 환자의 구강과 스크린 상에 표시된 것(예를 들어서, 자신의 작업의 실제 결과 또는 그의 작업이 최종적으로 되어야 하는 상태의 표현) 간에서 대응관계를 파악하는 것을 방해한다는 것이다.
이로써, 광학적 임프린트를 찍을 때에, 사용자는 임프린트를 찍음으로써 관여되는 전체 구강 구역을 구강내 카메라로 수동으로 스캐닝해야 한다. 이로써, 사용자는 원격 스크린 상에서 표시될 수 있는, 임프린트를 찍는 것의 과정을 따라야 하며, 따라서 자신의 눈을 환자의 구강으로부터 돌려야 한다.
이렇게 시야는 돌리게 되면 사용자의 손의 움직임이 부정확해지며 제어되지 않게 될 수 있으며 이는 환자에(구강 내 또는 외에) 상처를 초래할 수 있다. 이러한 단점은 사용자가 동적 3차원 광학적 임프린트를 찍을 경우에 보다 중요할 수 있다.
또한, 이렇게 시야는 돌리는 것을 매우 피곤한 일이며 손의 움직임의 리듬이 매우 높을 때에, 예를 들어서, 분당 20 회 이상 눈을 앞뒤로 돌려야 하는 경우에는 특히 그러하다.
시각화 장치가 구조화된 능동 광 프로젝터를 사용하는 경우에, 모델링된 실제 이미지들을 증강 현실로부터의 정보와 상관시키는 것은 치아 또는 잇몸 상으로의 마스크들(점, 선, 그리드)의 투사로 인해서 매우 어렵다.
또한, 구강내 카메라가 찍은 이미지들에 추가하여서 알림사항(indication)들이 스크린 상에 표시되는 경우에, 사용자는 이러한 알림사항을 작업 구역으로 정신적으로 전위시키기 위해서 추가적인 노력을 해야 하며, 이로써 작업이 부정확해지거나 불량해질 위험이 커진다.
증강 현실 장치의 존재에도 불구하고, 이러한 장치를 사용할 수 없는데, 그 이유는 환자의 구강의 실제 뷰 및 증강 현실로부터의 정보가 서로 상관될 수 없기 때문이다. 증강 현실로부터의 정보가 원격 표시 스크린 상에 나타나는 경우에도, 원격 스크린 상의 표시를 사용자는 실시간으로 볼 수 없으며 사용자의 제스처는 자신의 작업 구역에서 정확하게 포지셔닝될 수 없을 것이다.
원격 표시 스크린은 또한 광학적 임프린트의 품질에 영향을 줄 것이며: 사용자는 임프린트를 찍는 것이 완료되었는지를 사용자로 하여금 알게 하는 실제의 직접적인 상관을 갖지 못한다. 사용자가 각 눈의 움직임이 제어되지 않으면서 구강내 카메라를 움직일 위험이 존재하며 이로써 결과는 확실하지 않게 된다.
구강의 기관들의 모델링된 표현(예를 들어서, 일단 치아 보철물이 배치된 이후에 작업 종료 시에 치아 및 잇몸이 되어야 하는 것들의 표현)의 원격 스크린 상의 표시는 동일한 기관들의 실시간 시각화와 동일한 시간에 발생할 수 없다. 이러한 바는 또한 원격 스크린 상에 표시된 증강 현실과 관련된 소프트웨어로부터의 정보 모두에 적용된다.
사용자의 눈이 반드시 구강내 카메라 내에서 접근가능한 모든 구역들을 볼 필요는 없으며, 이는 측정된 것들을 추정하는 것을 어렵게하거나 불가능하게 한다. 이러한 단점은 구강내 카메라가 부피가 나가서 환자의 구강의 상당한 부분을 가리는 광학적 임프린트 홀더와 같은 장치인 경우에 특히 그러하다.
사용자가 환자의 구강 및 그의 작업의 결과를 함께 실시간으로 단일 공간에서 볼 수 없기 때문에, 사용자의 제스처는 확실하지 않을 수 있다.
본 발명의 목적은 상술한 단점들을 해결하는 것이다.
본 발명은 환자의 구강 내부를 시각화하는 장치에 관한 것이며, 이 장치는 상기 구강 내에 위치한 기관들의 광학적 임프린트를 찍도록 구성된 카메라, 및 증강 현실 안경을 포함하며, 상기 증강 현실 안경은 한편에서는 상기 안경의 사용자 가 상기 구강 내부를 볼 수 있는 광학적 렌즈 및, 다른 편에서는, 상기 광학적 렌즈을 통해서 상기 사용자가 본 것을 촬영하도록 구성된 시각화 카메라를 포함하며, 상기 시각화 카메라가 찍은 이미지들에 대응하는 제1 이미지들은 상기 광학적 임프린트를 찍기 위한 카메라가 찍은 이미지들에 대응하는 제2 이미지들과 상관되며, 이로써 상기 제2 이미지는 상기 광학적 렌즈 상으로 투사될 수 있다.
이로써, 본 발명은 동일한 시야 구역(광학적 렌즈, 및 이로써 환자의 구강) 내에서, 환자의 구강의 내부의 직접적 시각화 및 광학적 임프린트를 찍기 위한 카메라가 찍은 이미지들에 대응하는 제2 이미지들을 상관된 방식으로 결합시키는 것을 가능하게하는 시각화 장치를 제공한다. 이러한 제2 이미지들은 광학적 임프린트를 찍기 위한 카메라가 찍은 이미지들 및 이러한 카메라가 찍은 이미지들의 컴퓨터 모델링으로부터의 이미지들일 수 있다.
사용자가 그렇게 하기를 원한다면, 사용자는 이로써 환자의 구강으로부터 자신의 눈을 떼지 않고서 (예를 들어서, 진단을 확립하거나, 임프린트를 만드는 것과 같은) 자신의 작업의 진행을 따를 수 있다.
단일 시야 구역의 존재로 인해서, 사용자가 부정확하고 제어되지 않는 방식으로 손을 움직일 위험이 존재하지 않게 되며, 이러한 바는 3차원 동적 측정 시에 사용자가 작업을 할 때에 매우 상당히 유리하다.
자신의 눈을 환자의 구강으로부터 뗄 필요가 없기 때문에, 환자에 대한 손상을 초래할 위험이 더 이상 존재하지 않는다. 사용자에 의한 제스처 및 사용자 자신의 작업을 수행하는 것을 돕는 정보가 동일한 시야 구역 내에서 영구적으로 존재한다.
사용자의 눈이 움직이지 않기 때문에 (말하자면, 매우 빠른 리듬으로 움직이지 않기 때문에), 사용자는 본 발명에 따른 장치를 사용하면 명백하게 덜 피곤할 것이다.
실제 뷰 및 모델링된 뷰 간의 상관은 사용자로 하여금, 구조화된 능동 광을 사용하는 방법이든 아니든 상관없이, 광학적 임프린트를 찍는 임의의 방법도 사용하는 것을 가능하게 한다.
본 발명에 따른 장치는 언제나 고가이며 때로 비효율적인 3 차원 스크린을 사용할 필요 없이, 3차원 입체 자연 복원을 갖는 것을 가능하게 한다.
광학적 임프린트를 찍기 위한 카메라는 정의상, 무접촉 방식으로 임프린트를 찍을 수 있는 카메라이다.
광학적 임프린트를 찍기 위한 카메라는 증강 현실 안경에 장착된 카메라, 구강내 카메라(수동으로 이동가능함), 또는 광학적 임프린트 홀더일 수 있다. 광학적 임프린트를 찍기 위한 카메라는 구강내 광학적 임프린트 홀더 시스템(투사 및 판독 장치들을 포함하며 모아레 이미지들을 반송하는 광섬유 또는 홀로그래픽 간섭계를 사용하는 상대적으로 부피가 나가는 광학적 임프린트 홀더 시스템, 및 코히어런트하지 않은 광에서 입체시 원리를 사용하며 그의 임프린트가 찍혀야 하는 전체 필드를 한번에 스캐닝하는 몇 개의 카메라들이 제공된 광전자 서포트(optoelectronic support)를 포함하는 광학적 임프린트 홀더 시스템)일 수 있다
광학적 임프린트를 찍기 위한 카메라는 광결정 방사선들(짙은 청색에서 X 선에 이르는 범위)를 사용하거나 초음파 방사선을 사용할 수 있다. 광학적 임프린트를 찍기 위한 카메라는 코히런트한 방사선을 사용하거나 사용하지 않을 수 있다.
상기 카메라는 또한 구강의 기관(통상적으로 치아 또는 잇몸) 상의 구조화된 광(점, 선, 그리드,...)를 투사하는 입체 간섭계 장치 또는 프로젝터와 연관될 수 있다.
상기 카메라는 기관의 형상을 측정 및 분석하는 시스템과 연관될 수 있으며, 시스템의 기능은 기관들의 형상 및 칼라를 정확하게 기록하는 것이다. 측정 및 분석용 시스템이 능동 및/또는 구조화된 광 프로젝터인 경우에, 광학적 임프린트를 찍기 위한 카메라는 적어도 2 개의(결합된 또는 개별) 채널들을 가지며, 하나의 채널은 투사하기 위한 것이며 다른 채널은 이미지를 픽업하기 위한 것이다. 투사 채널(투사는 LED, OLED, 할로겐, 플라즈마 또는 레이저에 의해서 발생할 수 있음)은 기관 상으로 구조화된 방사선을 투사하며, 이는 기관의 표면의 형상에 따라서 변형되며, 이러한 변형은 이미지 픽업 채널을 통해서 센서로 전달된다. 이러한 바는 광학적 임프린트를 찍기 위한 카메라로 하여금, 투사된(또는 저장된) 광의 특성을 센서에 도달하는 왜곡된 광과 비교함으로써, 각 분석 기관 대상의 형상 및 치수를 알게 하는 것을 가능하게 할 수 있다. 광학적 임프린트를 찍기 위한 카메라는 또한 구강의 기관들의 형상을 측정 및 분석하는 시스템과 연관될 수 있으며, 이는 단일 또는 다중-카메라 텔레메트릭(telemetric) 또는 입체 방법들을 사용한다(이 측정 시스템은 간단하다는 이점이 있지만, 사용된 소프트웨어는 보다 복잡하다). 광학적 임프린트를 찍기 위한 카메라는 또한 (다음의 장치들이 조사 중인 구역에 대한 메트릭 정ㅂ모를 제공할 수 있다면) 예를 들어서, 방사선 장치, OCT(optical coherence tomography) 장치 또는 초음파 방사선 장치와 같은 주변 장치에 의해서 형성된 구강의 기관의 형상을 측정 및 분석하는 시스템과 연동될 수 있다.
본 발명에 따른 장치는 또한 사용자로 하여금 광학적 임프린트를 찍기 위한 카메라의 존재에도 불구하고(말하자면, 이러한 카메라가 광학적 임프린트 홀더인 경우에도), 환자의 구강 내에서 발생하는 것을 사용자로 하여금 알게 한다.
본 발명에 따른 장치는 광학적 임프린트를 찍기 위한 몇 개의 카메라를 포함할 수 있다. 광학적 임프린트를 찍기 위한 카메라 각각은 기관의 형상을 측정 및 분석하는 시스템과 연동될 수 있다.
임프린트를 찍고 분석하는 것을 최적화하기 위해서, 본 발명에 따른 장치는 구조화된 광과 함께 또는 이러한 광 없이, 동작할 수 있는 조명 시스템과 연동될 수 있다.
이러한 조명 시스템은 구강의 외측으로부터 투사할 수 있거나, 광학적 임프린트를 찍기 위한 카메라에 체결될 수 있다.
사용된 조명 시스템은, 발광 타입에 따라서, 측정 중인 기관들에 대한 추가 정보가 증강 현실 정보로서 나타나게 할 수 있다. 이로써, 발광 파장에 따라서, 일부 치아의 해부학적 요소들을 결정 및/또는 찾을 수 있으며 이러한 사항들을 광학적 렌즈 상에 표시하는 것이 가능하다.
조명 시스템은 또한 증강 현실을 사용하지 않고서도, 일부 정보를 투사하도록 구성될 수 있다. 이러한 바는 예를 들어서, 광학적 임프린트를 찍기 위한 카메라의 정확한 판독치가 위치하는 곳을 나타내는 투사된 코드(예를 들어서, 적색 원)일 수 있다. 조명 시스템은 획득된 데이터의 품질에 따라서 정보의 형상 또는 색상을 변화시킬 수 있다.
증강 현실 안경은 적어도 하나의 광학적 렌즈(일반적으로, 2 개) 및 적어도 하나의 시각화 카메라를 포함한다. 몇 개의 시각화 카메라들이 증강 현실 안경 상에 존재하면 말하자면 광학적 임프린트를 찍기 위한 카메라에 의해서 판독결과로부터의 모델링을 실시간으로 재조절할 수 있다.
시각화 카메라는 반드시 3차원일 필요가 없다: 이는 또한 2차원 카메라 또는 2.5 차원 카메라일 수 있다. 본 발명에 따른 장치는 시각화 카메라가 찍은 2차원 이미지들을 광학적 임프린트를 찍기 위한 카메라들이 찍은 3차원 이미지들과 상관시킬 수 있다. 상기 시각화 카메라가 2.5 차원 카메라 또는 3차원 카메라(안경이 공간적 시야를 가짐)인 경우에, 상관도는 매우 정확하며, 3차원으로 판독된 기관들의 부분들 상에 표시사항들이 표시될 수 있다(일부 증강 현실 안경은 가능한 결과들을 낳는 전용 특정 광학적 렌즈을 갖는다).
사용자가 구강의 직접적 뷰를 보게 하는 광학적 렌즈은 시각화 카메라가 찍은 이미지들에 대응하는 제1 이미지들이 투사될 수 있는 곳이며, 제2 이미지들은 광학적 임프린트를 찍기 위한 카메라가 찍은 이미지들에 대응하며,(예를 들어서, 보여질 수 있는 부호, 예를 들어서, 강도, 컬러, 또는 콘트라스트의 편차와 같은)종국적 추가 정보가 증강 현실 및 외부 주변 장치들과 연관될 수 있다.
사용자는 자신의 작업의 과정을 볼 수 있다. 예를 들어서, 사용자는 광학적 임프린트가 완성 및 정확한지를 알 수 있거나, 사용자가 이를 완성하기 위해서 다시 개입해야 하는지를 알 수 있으며, 이로써 이러한 알림사항은 찍어지고 있는 임프린트를 표현하는 제2 이미지들에 의해서 광학적 렌즈을 통한 직접직 뷰의 점진적 대체를 통해서 발생할 수 있다.
추가 정보가 (실시간으로 또는 지연된 시간으로, 사용자의 선택 시에) 광학적 렌즈 상에 투사될 수 있으며, 광학적 렌즈 상에서 직접적으로 상관될 수 있으며, 이는 증강 현실이 가능하기 때문이다. 이러한 추가 정보는 주변 장치들, 예를 들어서, X-선, OCT(optical coherence tomography) 또는 초음파 방사선 장치들로부터 유래할 수 있다. 추가 정보를 위해서 이렇게 증강 현실을 사용하게 되면(말하자면 기관들이 임프린트 내에서 찍어지지 않았다면), 사용자에게 이전에 저장된 방사선 정보를 사용함으로써 치은연하 정보를 보여주고, 이로써 (예를 들어서, 임프린트를 마지막으로 찍기 이전에 브리지의 필러들(pillars) 간에 평행성의 부족 또는 언더컷 구역들을 표시함으로써) 시술 절차가 완전하게 실행되지 않는다면 이러한 시술 절차 동안에 사용자의 관심을 끌음으로써 사용자를 가이드할 수 있다. 또한, 교합 조정 또는 교합 분석을 수행하는 동안에 동적 움직임들을 연관시키고, 치아 상에서의 브래킷들의 계획된 포지셔닝의 효과를 시각화하고, 커버 또는 크라운(예를 들어서, 펄프의 근방)을 수용하기 위한 캐비티의 준비 동안에 치아 조직들의 분포를 알 수 있다.
사용된 증강 현실 안경은 예를 들어서, "Google Glass", " Vuzix Smart Glass", "K-Glass" 또는 "video-projection Epson" 안경일 수 있다.
3차원 추적 시스템이 증강 현실 안경과 연동될 수 있으며, 이로써 사용자는 자신의 작업의 진행을 따를 수 있으며, 특히 구강의 기관들 상에서 직접적으로 대응되게 자신의 광학적 측정 동작의 진행을 따를 수 있다.
본 발명에 따른 장치는 또한 말하자면, 상기 시각화 카메라가 찍은 이미지들에 대응하는 제1 이미지들을 상기 광학적 임프린트를 찍기 위한 카메라가 찍은 이미지들에 대응하는 제2 이미지들과 상관시키는 것을 가능하게 하는 중앙 데이터 프로세싱 유닛을 포함할 수 있다.
통상적으로, 중앙 프로세싱 유닛은 아날로그 데이터 및/또는 디지털 데이터를 변환하고 데이터를 관리하는데(광학적 임프린트를 찍기 위한 카메라 및 시각화 카메라가 찍은 다양한 이미지들을 디지털화하고, 이러한 이미지들 내에 포함된 상이한 정보를 측정하고, 컴퓨터에 의해서 이러한 이미지들을 프로세싱하고, 이들을 상관시키며, 이들을 광학적 렌즈 상에서 취합하는데) 적합하다. 중앙 프로세싱 유닛은 또한 환자에 대한 추가 정보를 추가하여서, (예를 들어서, 측정된 기관들의 알림사항들을) 알리고 사용자를 보조하는 것을 가능하게 할 수 있다.
중앙 프로세싱 유닛은 제1 이미지들과 제2 이미지들을 서로 동일한 대상 내에서 결합시키는 것을 가능하게 한다. 이러한 제1 및 제2 이미지들은 동일한 작업 구역으로부터 취해지지만, 상이한 정보를 갖는다. 상황에 따라서, 중앙 프로세싱 유닛은 제2 이미지들을 제1 이미지들 상에 중첩하거나, 제2 이미지들로 제1 이미지들을 교체할 수 있다.
동일한 작업 구역의 2 개의 타입의 이미지들 간의 교체에 의한 상관은 제2 디지털화되고 프로세싱된 이미지들로 사용자에 의한 직접적인 뷰의 품질을 점진적으로 개선시킨다. 예를 들어서, 구강 내에 위치한 각 기관은 시각적 특정사항들을 가지며, 이러한 특정사항들은 포인트 클라우드와 연관된다. 중앙 프로세싱 유닛은 한편으로는, 제1 및 제2 이미지들 상에서 (일반적으로, 이러한 제2 이미지들이 취해지고 있는 동안에는, 제2 이미지들에 대해서) 동일한 포인트 클라우드를 찾으며, 다른 편으로는, 제1 이미지들보다 매우 많이 정확한 제2 이미지들을 표시함으로써 상기 2 개의 타입의 이미지들을 상관시킬 수 있다. 이러한 상관사항의 표시는 특히 칼라로 수행될 수 있다. 사용자는 이로써 측정된 구역(예를 들어서, 적색으로 색상화됨)을 직접적으로 볼 수 있으며, (말하자면, 광학적 임프린트를 찍기 위한 카메라가 광학적 임프린트 홀더인 경우에), 상기 측정된 구역이 광학적 임프린트를 찍기 위한 카메라에 의해서 은폐된 경우에도, 광학적 렌즈 상에서 점진적으로 나타나는 것을 볼 수 있으며, 상기 제2 이미지들은 정확하게 광학적으로 임프린팅하는 카메라에 의해서 찍어질 수 있다.
중앙 프로세싱 유닛은 또한 다른 기능들, 예를 들어서, 기관에 대해서 공간적 3차원 포인트 클라우드를 계산하고, 해당 기관의 움직임의 지속 시간을 부가하고(4차원) 및 그의 컬러 음영을 부가(5차원)하는 것을 가능하게 할 수 있다.
중앙 프로세싱 유닛은 몇몇 알고리즘들이 제공된 이미지 프로세싱 소프트웨어를 포함할 수 있다. 이로써, 하나의 또는 2 개의 2차원 카메라들로부터 유래되는 이미지 흐름이 실시간으로 프로세싱되어서, 사용자가 기관 주변에서 광학적 임프린트를 찍기 위한 카메라를 이동시키고 있는 동안에 사용자가 실시간으로 볼 수 있는 제1 3차원 재구성체를 생성할 수 있다. 실시간으로의 3차원 재구성의 전체적 방식 및 데이터의 구성은 사용된 카메라들의 수에 따라서 변할 수 있다: 각각이 2차원 카메라로부터 유래되는 2 개의 2차원 이미지 플로우들 또는 가속도계로부터 유래되는 가속 데이터 플로우와 연관된 단일 2차원 카메라로부터 유래되는 2차원 이미지 플로우. 각각의 새롭게 취득된 이미지는 관심 포인트를 계산하고 이미지들을 통해서 매칭을 함으로써 광학적 트레이스(trace)를 탐색하기 위한 알고리즘에 의해서 프로세싱된다. 이에 대응되게, 실시간으로의 시퀀싱 알고리즘(sequencing algorithm)이 보다 양호한 시간적 수행을 위해서 비디오 스트림의 시퀀싱을 업데이트한다. 3차원으로의 공간 및 포인트 좌표들 내에서의 카메라 위치들에 대한 병행 추정 알고리즘이 광학적 트레이스로 인해서, 취득 시에 카메라들의 위치를 찾으며, 광학적 트레이스 상에 투사되는 3차원 포인트 클라우드를 생성하는 것을 가능하게 할 수 있다. 이어서, 생성된 포인트 클라우드는 내삽 알고리즘에 의해서 내삽되며, 이로써 더 밀한 클라우드를 획득할 수 있다. 암시적 내삽 함수(implicit interpolation function)가 또한 계산되며, 이로 인해서, 재구성될 표면의 텍스처화된 다각형화(textured polygonalization)가 다각형화 및 텍스처 계산 알고리즘에 의해서 획득된다. 이 스테이지에서, 최종 포인트 클라우드의 품질 지수들을 계산하고 종국적으로는 특정 포인트들이 유효하지 않다고 표시할 수 있다. 텍스처화된 표면이 종국적으로 여전히 유효하지 않은 구역들을 표시하는데 적합한 표시사항들과 함께 표시된다. 실시간으로 생성된 이러한 표면은 스케일 팩터로 재구성된 구역의 표현이다. 취득이 완료되면, 스케일 팩터가 3차원 재구성체를 스케일링하기 위한 알고리즘에 의해서 계산된다. 마지막으로, 공간적 정확도를 개선하기 위한 알고리즘이 3차원 모델 상에서 사용되어서, 가능한한 가장 정확한 재구성체를 갖게 할 수 있다. 이러한 개선 알고리즘은 모든 취득된 뷰들을 고려하면서, 3차원 포인트 클라우드를 재계산할 수 있다. 이어서, 재계산된 클라우드는 내삽 알고리즘에 의해서 내삽되며, 마지막으로, 전체 3차원 모델이 "스페이스 카빙(space carving)" 알고리즘에 의해서 재구성된다.
본 발명에 따른 장치는 또한 X-선, 색도, 또는 하악골 움직임 정보와 같은, 추가 정보를 제공하는 주변 장치들과 연동될 수 있다.
이러한 주변 장치들은 바람직하게는 중앙 프로세싱 유닛, 및 광학적 임프린트를 찍기 위한 카메라 및 시각화 카메라와 연동되며, 이로써 중앙 프로세싱 유닛은 이러한 주변 장치들이 제공한 정보를 프로세싱할 수 있으며 대응하는 추가 이미지들을 증강 현실 안경의 광학적 렌즈 상에 투사할 수 있다.
가능한 주변 장치는 넓은 구역에 걸쳐서 환자의 얼굴의 일부를 찍도록 구성된 구강외 카메라이다. 이러한 카메라는 말하자면 특정 치료, 예를 들어서, 치과 교정술 및 임플란트 시술에서 사용된다. 이러한 구강외 카메라는 (말하자면, 구조화된 광을 사용하거나 사용하지 않으면서) 광학적 임프린트를 찍기 위한 카메라 또는 시각화 카메라에 대해서 요구된 기능들과 같은 동일한 기능들과 연동될 수 있다.
다른 가능한 주변 장치는 반드시 매우 정확할 필요는 없는 검색될 정보를 갖는 이미지들을 찍도록 구성된 2차원 카메라이며, 상기 정보는 예를 들어서, 치아의 컬러 음영, 출혈의 존재 여부, 경질 조직의 손상(카리에스의 존재), 종양의 존재 또는 결정된 구강 병리학 사항의 존재여부일 수 있다.
다른 가능한 주변 장치들은 위치-측정 장치들, 예를 들어서, 가속도계, 자이로스코프 및 마그네토미터이다. 이러한 위치-측정 장치들을 (시각화 카메라를 위한) 실제 안경 및 임프린트를 찍기 위한 카메라 모두가 가지고 있을 수 있다. 이러한 위치-측정 장치는 이들을 가지고 있는 툴들의 위치를 측정하고, 찍어지고 있는 이미지들의 상관을 용이하게 하는 것을 가능하게 한다. 이들은 또한 어느 하나의 카메라 상의 센서들 중 하나의 종국적 고장을 또한 보상할 수 있다.
주변 장치들 중에서도, 아티큘레이터(articulator), 압력 게이지 및 디지털 교합기(digital occlusor)를 가질 수도 있다. 이러한 장치는 예를 들어서, 잇몸 상으로의 일부 병리학적 이미지의 프린팅에 대한 하악골의 움직임 또는 반응과 같은, 환자의 몸의 움직임을 광학적 렌즈을 통해서 보여지는 이미지들 내에 시각화, 분석 및 내삽하는 것을 가능하게 한다.
다른 가능한 주변 장치는 저장된 쉐이드 가이드 상의 알려진 색상들을 참조하여서 상대적인 방식으로 하든 또는 절대적인 방식으로 하든, 치아의 색상을 알게 하는 것을 가능하게 하는 색도계 또는 스펙트로포토미터이다.
작업 행위 동안의 환자의 건강 상태(예를 들어서, 압력 및 혈압 산소도, 체온, 조사 중인 병소의 온도, 등)을 알게 하는 주변 장치들을 또한 가질 수 있다.
구강의 기관들의 이미지들을 찍고 기록하는 것을 가능하게 하는 치과용 주변 장치들(예를 들어서 , 방사선 장치, 초음파 장치, MRI 장치, 테라헤르쯔 장치, 등)을 또한 가질 수 있다.
사용자의 작업 동안에 사용자를 보조하는 것을 가능하게 하는 추가 정보(이러한 정보는 저장된 기능으로부터 유래하거나, 예를 들어서, 텔레메디신에 의해서, 인트라 또는 엑스트라(extramural) 소프트웨어로부터 유래할 수 있음)를 사용자에게 제공하는 주변 장치들을 또한 가질 수 있다.
사용자가 광학적 렌즈 상에서 보는 정보를 표시하는 것을 가능하게 하며 수행되는 작업을 보조자 또는 학생이 따르는 것을 가능하게 하는 원격 스크린을 또한 가질 수 있다.
사용자가 본 이미지에 대응하는 실제 부분을 생성할 수 있는 수치 제어부를 갖는 가공 툴을 또한 가질 수 있다.
(예를 들어서, 광학적 렌즈 상에 정보의 나타남 또는 사라짐을 위한) 명령들을 사용자로 하여금 중앙 프로세싱 유닛에 전송하는 것을 가능하게 하는 마이크로폰(예를 들어서, 안경의 뼈대에 내장됨)을 또한 가질 수 있다.
사용자, 보조자, 학생 및/또는 중앙 프로세싱 유닛과의 통신을 가능하게 하거나 또는 정보, 명령 및 데이터를 전송 및 저장하기 위한 임의의 다른 주변 장치를 또한 가질 수 있다.
본 발명에 따른 장치를 형성하는 요소들은 케이블, Bluetooth 또는 WiFi를 통해서 연결될 수 있다(Bluetooth 또는 WiFi는 사용자의 전적으로 자유로운 제스처를 가능하게 한다).
본 발명에 따른 장치는 제조가 간단하며, 이는 특히 내구성이 있게 하며 저렴하게 한다. 이 장치는 치과에서 그리고 보철물 연구소에서 사용될 수 있다. 본 장치는 사용자로 하여금 신속하면서 확실하면서 편안하게 작업을 할 수 있게 한다. 본 장치는 최적의 조건으로 치과적 광학적 임프린트를 얻게 할 수 있다. 본 장치는 또한 일 마이크론의 범위의 정확도를 제공함으로써 치료 행위를 최적화시킨다.
본 장치는 (의료, 스포츠, 산업 환경들에서와 같이), 사용자 자신의 눈을 자신의 작업, 분석 및/또는 측정 구역에서 떼는 것을 요구하지 않으면서, 신속하고 정확한 핸들링을 요구하는 임의의 3차원적 취득 시스템에 점진적으로 적용될 수 있다. 이로써, 사용자 자신의 눈을 해당 장면으로부터 떼지 않고 사용자에게 정보를 표시하면서, 실시간으로(거의 실시간으로) 정보를 제공하며 따르게 할 수 있다.
본 발명의 추가 특징 및 이점은 환자의 구강의 내부를 시각화하는 장치의 실시형태의 설명으로부터 명백해질 것이며, 이러한 실시형태는 비한정적으로 주어지며 첨부 도면들에 의해서 표현된다.
도 1은 본 발명에 따른 장치의 개략도이다.
도 2는 본 발명에 따른 장치의 다른 개략도이다.
도 3은 본 발명에 따른 장치의 필수적 요소들의 구성의 표현이다.
도 4는 본 발명에 따른 장치의 구현 단계들의 표현이다.
도 5는 본 발명에 따른 장치의 광학적 렌즈을 통한 치열궁의 도면이다.
도 6은 본 발명에 따른 장치의 광학적 임프린트를 찍기 위한 구강내 카메라에 의해서 이미지들을 찍은 후의 도 5의 치열궁의 모델링 도면이다.
도 7은 도 5의 아치형 부분인 치열궁을 광학적 렌즈을 통해서 본 도면이며, 찍어진 그의 임프린트의 아치형 부분은 이 아치형 부분의 정확한 모델링으로 교체된다.
도 8는 광학적 렌즈을 통한 일련의 치아들의 도면이다.
도 9는 도 8의 뷰의 상응하는 지점들의 소프트웨어에 의한 포인트 클라우드와의 자동적 매칭을 표현하는 도면이다.
도 10은 도 8의 뷰의 상응하는 지점들의 소프트웨어에 의한 컴퓨팅 장치에 연결된 모델링과의 자동적 매칭을 표현하는 도면이다.
도 11은 도 3의 도면과 유사하지만, 본 발명에 따른 장치의 부수요소들을 형성하는 요소들을 또한 표현하는 도면이다.
도 12는 본 발명에 따른 장치에 의해서 환자의 동적 및 정적 교합을 표시 및 분석하는 것을 가능하게 하는 단계들의 도면이다.
도 13은 본 발명에 따른 장치에 의해서 결정된 정적 교합 접촉부 내의 구역들의 도면이다.
도 14는 본 발명에 따른 장치에 의해서 결정된 동적 교합 접촉부 내의 구역들의 도면이다.
도 15는 환자의 교합의 동적 움직임을 실시간으로 따르는 것을 가능하게 하도록 광학적 렌즈 상에 투사되는 것을 표현하는 것의 실례이다.
도 16은 수행되는 삭제대상의 삽입 축에 비해서 이상적인 삭제대상의 삽입 축 및 이상적인 삭제대상의 형상과 중첩되게, 임프린트를 찍는 구강내 카메라에 의해서 이루어진 임프린트를 찍는 것을 표현한다.
도 17은 임프린트를 찍는 구강내 카메라를 사용하여서 임프린트를 찍는 것과 중첩되게 보이도록, 치아 모델링 소프트웨어를 사용하여서 제조된 차후 보철물을 나타낸다.
도 18은 임프린트를 찍는 구강내 카메라를 사용하여서 찍어진 완벽한 치열궁의 색상을 표현한다.
도 19는 증강 현실 안경의 광학적 렌즈을 통해서 보여지는 스크린의 도면이며, 상기 스크린 상에, 관련 구역에 기초하여서 색도 정보 또는 스펙트로-포토메트릭 정보가 표시된다.
도 20은 증강 현실 안경의 광학적 렌즈을 통해서 표시되며 보여지는 입술 및 뺨의 표현과 연관된, 구강내 카메라에 의해서 임프린트를 찍는 것을 나타낸다.
본 도면들은 본 발명에 따른 환자(2)의 구강 내부를 시각화하기 위한 장치(1)의 상이한 구현예들을 도시하며, 사용자(3), 예를 들어서, 치과의의 매일의 작업 시에 상기 장치가 제공하는 모든 가능성들을 도시한다. 이러한 장치는 치과 분야에서 특정 용도를 갖는다.
도 1은 시각화 장치(1)의 요소들을 도시하며, 시각화는 증강 현실 프로세스로 인해서 개선될 수 있다. 시각화 장치(1)는 사용자(3)로 하여금, 측정 또는 진달을 할 때에 자신의 작업 구역으로부터 자신의 눈을 떼지 않게 할 수 있다.
장치(1)는 광학적 임프린트를 찍기 위한 카메라4를 포함한다. 이러한 경우에, 이러한 광학적 임프린트를 찍기 위한 카메라(4)는 사용자(3)(치과의 또는 와과의)로 하여금 환자(2)의 구강 내 또는 피부 상에서 3 차원으로 측정을 수행하게 하는 수동 구강내 카메라이다. 이러한 측정은 매우 정확하며(수 마이크론) 치아에 매우 가까이에서 이루어지기 때문에, 필드 깊이(field depth)가 매우 낮으며, 이는 사용자(3)가 연속적인 사진들(하나의 슈트 인프레션(shoot impression))에 의해서 또는 3 차원(풀 모션)으로의 촬영에 의해서, 모든 치아의 스캐닝으로 진행해야 하는 것을 설명한다. 광학적 임프린트를 찍기 위한 카메라(4)는 특허 US 8,520,925에서 기술된 바와 같은, 광학적 임프린트 홀더일 수 있으며, 이는 몇몇 카메라를 포함하며, 사용자(3)로 하여금 구강을 스캐닝할 필요 없이, 구강 전체를 한번에 찍을 수 있게 한다.
장치(1)는 또한 사용자(3)가 착용한 증강 현실 안경(5)을 포함한다. 이러한 증강 현실 안경(5)은 2 개의 광학적 렌즈(6) 및 2 개의 입체 시각화 카메라(7)를 포함한다. 따라서, 이 안경은 사용자(3)로 하여금 환자(2)의 구강(8)의 뷰를 입체적으로 있는 그대로 보게 하며 이로써 자신의 측정하고 조사하고 있는 구역도 그러하다. 사용자(3)가 이러한 작업 구역을 보고 있을 때에, 시각화 카메라들(7)은 동일한 장면을 관측하며 정보를 기록하여서 시각화 포인트 클라우드를 생성한다.
사용자(3)의 머리가 관측되고 있는 구역에 대해서 움직일 수 있기 때문에, 사용자(3)의 관찰 축의 공간에서의 모니터링을 실현하는 장치들(9)(3 차원 가속도계/자이로스코프/마그네토미터)가 광학적 렌즈(6) 근처에서 증강 현실 안경(5)에 부가될 수 있다. 강제적이지 않을지라도, 이러한 부가는 사용자(3)가 작업 구역 밖으로 눈을 돌리고 다시 작업 구역으로 돌아와서 작업을 계속할 때에 작업을 대체적으로 용이하게 한다.
장치(1)는 또한 광학적 임프린트를 찍기 위한 카메라(4)가 찍은 이미지들 및 시각화 카메라(7)가 찍은 이미지들을 프로세싱하는 중앙 프로세싱 유닛(10)을 포함한다.
광학적 임프린트를 찍기 위한 카메라(4)에 의해서 이루어진 측정치들 및 시각화 카메라(7)에 의해서 이루어진 측정치들은 동일한 구역에 대응하는 2 개의 파일들을 제공하지만, 동일한 정확도로는 제공하지 않는다. 이러한 파일들은 간단한 전기-광학적 정보 또는 보다 정교한 정보, 예를 들어서, 포인트 클라우드의 형태로 된 디지털 표현사항들 또는 표면 또는 체적 모델링 정보일 수 있다. 어느 경우이든, 이러한 2 개의 파일들 간에는, 예를 들어서, 치아의 교두의 상단 또는 그들의 홈의 바닥과 같은, 용이하게 식별가능한 기준 구역들 내에서의 위치들과 같은 공통 값들이 존재한다. 이러한 공통 값들(예를 들어서, 기준 구역들)은 중앙 프로세싱 유닛(10)으로 하여금 그들의 특정사항들을 보존하면서 2 개의 파일들을 하나의 파일로 병합 및/또는 중첩시키게 할 수 있다.
장치(1)는 또한 조명 시스템(11)을 포함하며, 이 시스템은 정확한 정반사를 갖는 치아의 3 차원으로의 판독을 용이하게 할 수 있다. 조명 시스템(11)은 예를 들어서, 그리드들 또는 다른 패턴들의 투사와 같은, 능동 구조화된 투사일 수 있는 특정 광을 방출할 수 있다. 또한, 광학적 임프린트를 찍기 위한 카메라(4)는 이러한 구조화된 광을 사용하지 않고, 수동 입체시(passive stereoscopy)(AWS, 등)에 기초한, TOF(time of flight)와 같은 기법에 기초한, 또는 홀로그래픽 기법 또는 그들의 파생기법들, 예를 들어서, OCT(Optical coherence tomography) 기법에 기초할 수 있다.
신규한 시각화 장치(1)는 모든 형태의 구강내 국부화된 측정들에 매우 보편적이며 적용가능하다. 특정 지점들을 탐색하는, 증강 현실 안경에 의해서 통상적으로 사용되는 아키텍처 기법들과는 달리, 본 발명에 따른 장치(1)는 이중 광학적 임프린트(하나는 광학적 임프린트를 찍기 위한 카메라(4)로부터 취해지며 다른 하나는 증강 현실 안경(5)이 구비한 시각화 카메라(7)에 의해서 (동시에 또는 지연된 시간에) 제공됨)를 사용하며 그들의 정확도에 따라서 임프린트의 질을 높이고/이거나 임프린트를 교체한다.
장치(1)는 또한 주변 장치들을 포함하며, 이 주변 장치들은 중앙 프로세싱 유닛(10)에 연결되어서, 다른 추가 파일들(다른 포인트 클라우드), 예를 들어서, X-선 또는 초음파 정보 또는 2차원 카메라(12) 또는 광 필드 카메라(13)를 사용하여서 획득된 구강외 체적 정보를, 예를 들어서, 포인트 클라우드에 의해서 형성된 측정 파일에 부가할 수 있다.
사용자(3)는 안경(5)과는 독립적이거나 안경 상에 고정된 마이크로폰(15)을 사용하여서 통신하면서, 사용자(3)는 또한 데이터를 원격 스크린(14)(또한 사용자의 보조자들에 의해서 보여짐) 상에 또는 사용자의 중앙 프로세싱 유닛(10) 상에 표시하도록 상기 데이터를 엑스포트(export)할 수 있다. 사용자는 또한 이러한 데이터를 사용하여서, 보철물을 수용할 치아의 준비 동안에 폐쇄 환경을 보다 잘 이해하면서, 그의 작업 동안에 신속한 머시닝을 가공 툴(16) 상에서 할 수 있다. 이러한 머시닝은 제거(밀링에 의해서 통상적인 가공) 또는 추가(레이저 융합 또는 스테레오 리소그래피와 같은 비통상적인 가공)에 의해서 수행될 수 있다.
광학적 임프린트 홀더를 사용하는 경우에, 전체 치열궁이 커버링될 것이며 치료의는 사용되는(연속적 또는 펄스형) 광에 의해서 방해를 받지 않을 것임이 명백하다.
도시된 도 2에서, 본 발명은 측정 치아 및 잇몸을 위한 특정 광(우세한 청색 광과 백색 광의 조합)을 투사하는 조명 시스템(11)과 연관된 수동 입체시로 임프린트를 찍기 위한 구강내 카메라(4)를 포함한다. 랩탑의 일부인 중앙 프로세싱 유닛(10)은 강력하고 통상적이다. 동일한 랩탑은 보조자에 의해서 사용되는 스크린(14)을 갖는다.
도 3에서, 본 발명에 따른 장치(1)에 있어서 다음과 같은 필수적인 요소들의 구성이 도시된다: 치아, 잇몸, 피부, 등을 정확하게 판독하기 위한 광학적 임프린트를 찍기 위한 카메라(4)(구강내 카메라 또는 광학적 임프린트 홀더), 사용자(3)로 하여금 단일 필드 내에서 작업 구역을 (직접적인 뷰로) 보게 하고 (수행됨에 따라서 점진적으로 표시되는) 광학적 임프린트를 찍기 위한 카메라(4)에 의해서 수행된 매우 정확한 모델링을 보게 하는 증강 현실 안경(5), 및 저장된 프로그램 및 데이터를 포함하는 중앙 프로세싱 유닛(10).
도 4는 증강 현실 안경(5)이 찍은 뷰와 광학적 임프린트를 찍기 위한 카메라(4)가 직은 뷰를 서로 매칭시키는 상이한 단계들을 예시한다.
사용자(3)는 자신의 증강 현실 안경(5)의 광학적 렌즈(6)을 통해서 직접적으로 자신의 환자(2)의 구강(8) 내의 작업 구역을 관찰하며, 이러한 안경(5)에 고정된 2 개의 시각화 카메라들(7)은 제1 포인트 클라우드의 기록을 수행하며, 이로써 중앙 프로세싱 유닛(10)은 알려지고 수치적이지만 차과용 보철물을 제작하는데 충분하게 정확하지는 않는)일반적인 프레임워크에서의 전체 표면을 모델링한다(여기서, 중앙 프로세싱 유닛(10)은 입체시의 원리를 사용한다). 보다 많은 시각화 카메라들(7)이 존재할수록, 기록은 보다 정확해질 것이며, 기록 지점들의 수들이 많아질 것이며, 광학적 임프린트를 찍기 위한 카메라(4)로부터의 이미지들과의 상관성이 보다 정확해질 것이다.
시각화 카메라들(7)이 기록을 완료하면, 사용자(3)는 광학적 임프린트를 찍기 위한 카메라(4)를 손에 들고 치아, 잇몸 또는 결국에는 피부를 정확하게 스캐닝하여서, 제2 근사 포인트 클라우드를 생성하고, 이는 시각화 카메라들(7)을 사용하여서 획득된 것보다는 매우 보다 정확한데, 그 이유는 광학적 임프린트를 찍기 위한 카메라(4)가 보다 높은 밀도를 가지며 이로써 시각화 카메라들(7)보다 높은 정확도를 가지기 때문이다. 광학적 임프린트를 찍기 위한 카메라(4)가 특허 US 8,520,925에서 개시된 바와 같은 광학적 임프린트 홀더이기 때문에, 기록동작은 스캐닝 동작 없이 발생할 수 있다.
광학적 임프린트를 찍기 위한 카메라(4)에 의한 판독 동안에, 중앙 프로세싱 유닛(10)은 획득된 2 개의 포인트 클라우드(하나는 스캐닝이 진행되면서 2 개의 시각화 카메라들(7)로부터 획득되며, 하나는 광학적 임프린트를 찍기 위한 카메라(4)로부터 획득됨)를 인식하고 상관시킨다. 이러한 이중 모델링은 증강 현실 안경(5)의 광학적 렌즈(6) 상에 나타난다. 사용자(3)는 원격 스크린(14) 상에서의 자신의 작업을 더 이상 따르지 말아야 한다. 시각화 장치(1)로 인해서, 사용자는 측정된 구역들 및 자신의 환자(2)의 치아 상에서 직접적으로 구축되면서 측정되지 않은 구역들을 볼 것이다.
도 5 내지 7은 이러한 단계들을 보다 구체적으로 예시한다. 도 5는 치열궁(17)을 나타내며, 이는 사용자(3) 및 시각화 카메라들(7)에 의해서 보여지며, 이 카메라는 치열궁(17)의 제1 포인트 클라우드의 기록을 수행한다. 대응하는 모델링은 여기에서는 3차원으로 되지만, 2차원 또는 2.5 차원의 뷰도 충분할 것이다. 제1 포인트 클라우드의 기록이 완료되면, 사용자(3)는 광학적 임프린트를 찍기 위한 카메라(4)를 취하여서 기관들(치아, 잇몸, 피부)을 정확하게 기록하기 시작할 것이며, 치열궁(17)의 일부의 3차원 전정 뷰로 정확한 모델링(18)을 획득한다(도 6). 중앙 프로세싱 유닛(10)은 2 개의 포인트 클라우드가 사용자(3)에 의해서 착용된 광학적 렌즈(6) 내에서 대응되게 한다. 사용자는 광학적 임프린트를 찍기 위한 카메라(4)를 사용하는 자신의 작업이 진행됨에 따라서, 정확하게 측정되어야 하는 전체 치열궁(17) 상에 중첩되거나 교체되는 정확한 모델링(18)을 볼 것이다. 도 7에서 예시된 바와 같이, 이로써, 치열궁(17)의 직접적인 관찰시야(direct vision)는 측정되지 않은 구역들(20)에 비해서, (정확한 모델링(18)에 대응하는) 측정된 구역들(19)의 표시에 의해서 증가되며, 이는 사용자로 하여금 자신의 작업의 진행을 모니터링하게 한다.
증강 현실로 인해서, 그리고 광학적 임프린트를 찍기 위한 카메라(4)에 의해서 수집된 정보의 품질에 따라서, 상이한 추가 정보를 중첩시키는 것이 가능하게 된다. 이로써, 광학적 임프린트를 찍기 위한 카메라(4)가 찍은 화상의 정확도의 품질은 추가 정보와 연관될 수 있으며(예를 들어서, 해당 품질이 불충분하면 레드 칼라, 해당 품질이 완벽하면 그린 칼라), 사용자(3)는 카메라(4)를 사용하여서 자신의 스캐닝을 계속할지 불충분한 품질의 구역으로 돌아갈지 선택할 수 있다. 마찬가지로, 추가 정보는 특정 구역을 표시하거나 수행될 특정 동작을 상기시키는 특정 부호(예를 들어서, 화살표)일 수 있다.
도 8, 9 및 10은 상관 동작들을 도시한다. 도 8은 실제 모델(21)을 도시한다. 도 9는 광학적 임프린트를 찍기 위한 카메라(4)로부터의 포인트 클라우드(22)의 마지막 2 개의 어금니들 상에서의 상관을 도시한다. 도 10은 컴퓨팅 장치에 연결된 모델링(23)으로부터의 상관을 도시한다.
본 발명에 따라서, 사용자(3)는 (광학적 임프린트를 찍기 위한 카메라(4)에 의해서 제공된) 매우 정확한 광학적 임프린트를 가지며, 이로써 시각화 카메라들(7)에 의해서 제공된 부정확한 뷰와 상관되어서 이의 품질을 개선할 수 있다. 이로써,사용자(3)는 광학적 임프린트를 찍기 위한 카메라(4)가 제공한 매우 높은 정확도의 이점을 사용함으로써, 완전하게 투명한 방식으로, 새로운 가상 환경 상에서 작업을 하면서, 상대적으로 부정확한 실제 물체를 볼 수 있다.
도 11은 치과 분야에서 본 발명의 장치(1)와 연관된 주변 장치들에 의해서 제공된 가능성들의 일부를 도시한다.
주변 장치들(외부 카메라들(12, 13), 동적 움직임 데이터를 센서들(24), 구강(8) 내의 색상들을 감지하는 색도계들(25), 환자(2)의 생리학적 상태를 분석하는 의료 센서들(26), 실시간으로 또는 시간이 지연되어서 도달하는 방사선 데이터를 분석하는 장치들(27), 중앙 프로세싱 유닛(10) 내에서 저장되거나, 텔레메디신을 통해서 도달하는 외부 데이터의 연결을 가능하게 하는 장치들(28))로부터의 모든 추가 정보가 덜 정확하지만, 자신의 작업 구역에서 사용자(3)에 의해서 직접적으로 관찰되는, 직접적인 뷰와 상관된 광학적 임프린트를 찍기 위한 카메라(4)에 의한 고해상도로 획득된 정확한 모델링 상에서 플롯팅된다.
사용자(3)의 제스처는 장치(1)의 다양한 구성요소들 간의 연결들(29)이 긴 케이블 또는 무선 수단(WiFi, Bluetooth, 등)에 의해서 이루어질 때에 보다 자유롭게 될 것이며 자신의 직접적 관찰이 될 것이다. 연결들(29)이 케이블들에 의해서 이루어진 경우에, 연결들은 바람직하게는 자가 전력 공급형 USB 연결 수단에 의해서 이루어질 것이다. 유리하게는, 연결들은 무선으로 이루어진다.
사용자(3)는 광학적 임프린트를 찍기 위한 카메라(4)에 의해서 품질이 향상되고 광학적 렌즈(6)을 통해서 증강 현실로 표시된 뷰에서의 변화 시에 움직임을 따름으로써 정적 및 동적 추가 정보를 수신할 수 있다.
도 12는 말하자면, 교합의 움직임에 대한 동적 추가 정보의 프로세싱을 예시한다(교합 접촉은 위 치아와 아래 치아가 서로 접촉하는 구역임).
먼저, 사용자(3)가 환자(2)의 위 턱 및 이어서 아래 턱의 광학적 임프린트를 광학적 임프린트를 찍기 위한 카메라(4)에 의해서 취하고, 증강 현실 안경(5)을 사용하여서 2 개의 뷰들 각각을 시각화할 수 있다. 이어서, 사용자(3)는 환자(2)에게 치료학적 또는 통상적인 정적 임상적 교합을 위해서 이빨을 서로 물라고 요청하고, 광학적 임프린트를 찍기 위한 카메라(4)를 다시 사용하여서 교합 시의 정확한 전정 광학적 임프린트를 획득하고, 교합 시의 시각적 표현을 획득한다. 이러한 시각적 표현은 증강 현실 안경(5)에 의해서 보여지는 일반적인 뷰 상에 중첩되거나 대체한다. 이로써, 사용자(3)는 임상적 교합의 임상적 원리에 따른 환자의 2 개의 치열 궁을 갖는 뷰를 갖는다.
사용자(3)는 턱의 모델에 대한 하악골의 모델의 움직임을 시간에 따라서 따를 수 있으며 이로써 교합 접촉사항을 결정할 수 있다.
환자가 이빨을 서로 교합하고 있을 때에 사용자(3)가 환자(2)의 치아들 간에 압력 및 압력 표면을 측정하기 위한 수단(예를 들어서, 압력 게이지)을 배치하면, 사용자는 각 교합 접촉 레벨에 가해진 압력 및 관련 표면의 값을 획득할 수 있다. 도 13은 모델링된 치열궁(31) 상에 투사된 이러한 교합 접촉(30)의 뷰를 도시한다. 이러한 값들은 또한 환자가 이빨을 서로 교합하고 있을 때에 광학적 임프린트를 찍기 위한 카메라(4)에 의해서 매우 정확하게(수 마이크론까지) 측정될 수 있다.
도 14는 사용자(3)가 환자(2)에게 교합 움직임에 따라서 자신의 하악골을 움직이라고 요청한 후에 획득된 이른바 조기 교합 접촉(32)의 광학적 렌즈(6) 상에서의 표현을 예시한다. 여기에서도 역시, 시각화 장치(1)의 사용자(3)는 자신의 눈을 작업 구역으로부터 뗄 필요가 없이, 환자(2)의 구강 내에서 직접적으로 이러한 교합 접촉(32)의 움직임 및 발생을 따를 수 있다(이러한 접촉은 자연 치아에 대해서 적용됨).
사용자(3)가 도 15에 도시된 바와 같이, 하악골 분석 장치(33)를 사용하는 경우에, 사용자는 환자(2)의 구강 내에서 하악골 움직임을 직접적으로 따를 수 있으며, 교합 경로들, 이전의 그리고 다음의 결정요소들, 및 종국적인 상관사항을 요구하는 접촉의 표시사항을 갖는다. 포인트 클라우드 또는 모델링 상에서 시간 인자/움직임을 실시간으로 인덱싱하는 것은 충분하다. 마찬가지로, 이러한 시간 인자/움직임은, 사용자(3)가 이러한 움직임을 관찰하여서 (예를 들어서, 잇몸의 구조 또는 치아 상의 홈과 같은 기준 공통 지점으로서 취하는 상관을 통해서) 병리학적 또는 교합적 치료 과정을 분석하고자 한다면 시간 지연된 방식으로 중앙 프로세싱 유닛(10)에 의해서 사용될 수 있다.
도 16에 예시된 바와 같이, 사용자(3)는 치과용 재구조체(34)를 수용하기 위한 자리를 준비하는 작업 동안에, 환자(2)의 자연 치아와 일치하는 정확한 모델링에 직접적으로 적용되는 부분적 표시사항들을 볼 수 있다. 이러한 정보는 상이한 형상들(화살표, 언더컷을 위한 색상화 중첩, 등)로 존재할 수 있다. 특히, 재구조체의 형태 및 공간의 기준이 충분하게 만족되면, 사용자(3)는 환자(2)의 구강(8) 내에 직접적으로 체크할 수 있다. 본 발명에 따른 장치(1)는 (광학적 임프린트를 찍기 위한 카메라(4)로 인해서), 매우 보다 정확하게 (광학적 렌즈(6)을 통해서) 치아 삭제 시에 치아 상으로, 작업(37) 동안에 실시간으로, 이러한 샤프트인 것에 대하여서 브리지 또는 임플란트에 대한 양호한 삭제대상(preparation)(35) 또는 양호한 평행 축이어야 하는 것을 투사하는 것을 가능하게 한다. 이러한 바는 사용자(3)로 하여금 자신이 작업을 수행하면서 자신의 작업을 체크하는 것을 가능하게 한다(예를 들어서, 칼라로 강조처리된, 특정 시각적 마크에 의해서 시그널링된 아직 적합하게 다음어지지 않은 치아 부분들과 함께 이상적인 하측 표면의 시각화를 갖는 것이 가능하다).
도 17에 도시된 바와 같이, (보철물을 만들기 이전에) 보철물의 최종 모델링(38)을 환자(2)의 치열궁 상에 직접적으로 투사 및 시각화하는 것이, 치아 삭제(tooth preparation)를 수행한 후에, 가능하다. 이로써, 환자(2)의 구강(8) 내에서 직접적으로 (표면에서 또는 체적 형태로) 보철물의 외부 표면의 모델링을 구축할 수 있다. 실제 보철물이 환자(2)의 해부학적 사항, 생릭학적 사항 및 심미적 사항에 완벽하게 적응되도록 (광학적 임프린트를 찍기 위한 카메라(4)를 사용하여서 행해진 측정 및 증강 현실로부터의 모델링에 기초하여서) 보철물의 모델링된 형상을 처리하는 것이 가능하다.
도 18에 도시된 바와 같이, 사용자(3)는 환자(2)의 구강(8)의 기관들의 색상들 및 모델링된 보철물에 대해서 선택된 칼라 간의 상관사항을 작업 구역 상에서 직접적으로 볼 수 있다.
보다 구체적으로, 모델링된 보철물의 칼라를 결정하는 단계들은 다음과 같을 수 있다. 제1 단계에서, 보철물의 무색 외부 모델링이 수행되며 광학적 렌즈(6) 상으로 투사된다(필요하다면, 사용자(3)는 예를 들어서, 기능적, 심미적 및 치료학적 기준에 따라서, 보철물의 모델링된 형상을 교정한다). 제2 단계에서, 사용자(3)는 자연 치아의 색상을 (쉐이드 가이드를 사용하여서 또는 예를 들어서, 색도계 또는 스펙트로-포토미터를 사용하여서 수동으로 또는 구강내 카메라가 적합한 캘리브레이션으로 칼라들을 도출할 수 있는 가능성으로 백색 및 흑색에 대한 또는 칼라에 대한 CCD(charge-couple device)를 사용하는 경우에는 상기 구강내 카메라를 사용하여서) 분석하며, 이로써 이러한 분석은 도 19에서 도시된 바와 같이, (예를 들어서, 치아를 치아 칼라부, 중앙, 및 에지로 분할함으로써, 치아(39)의 분절화에 의해서) 국부적으로 수행되거나, 치아의 전체 표면에 걸쳐서 획득된 평균 칼라로부터 점진적으로 수행될 수 있다. 제3 단계에서, 사용자(3)는 선택된 칼라와 연관된 모델링된 보철물의 투사를 요청한다. 마지막 단계에서, 가상 쉐이드 가이드(40), 예를 들어서, 도 19의 것을 사용하여서, 보철물의 제조를 시작하기 이전에, 사용자(3)는 전체 표면에 걸쳐서 또는 특정 구역에서 모델링된 보철물의 색상을 변화시키고 환자(2)의 구강(8) 내에서 직접적으로 모델링된 보철물의 적분 상에서의 이러한 변화사항들의 시퀀스를 볼 수 있다(이로써, 변화될 어두운 구역(41)이 도 18에 도시됨).
색상들의 위치의 정확도는 보철물의 형상을 생성하기 위해서 요구된 것만큼 중요하지 않기 때문에, 증강 현실 안경(5)의 시각화 카메라들(7)의 정확도가 충분할 수 있다.
도 20에서 예시된 바와 같이, 본 발명에 장치(1)는 환자(2)의 얼굴(42)의 적어도 일부의 이미지들을 찍는 것을 가능하게 하는 광필드 카메라를 (구강외 카메라로서) 포함할 수 있다. 중앙 프로세싱 유닛(10)은 말하자면, 환자(2)의 일반적인 심미적 성분들, 예를 들어서, 스마일 라인, Camper 플레인, 또는 구강의 코너들(44)의 위치를 사용하여서, 모든 상술한 애플리케이션들(예를 들어서, 기관들 및 보철물의 모델링(43))과 얼굴의 이러한 이미지들을 상관시킬 수 있다(중앙 프로세싱 유닛(10)에 의해서 구해진 이러한 성분들은 증강 현실 안경(5)의 광학적 렌즈(6) 상에 표시될 수 있다). 환자(2)의 일반적인 심미적 성분들의 위치의 분석은 고해상도를 요구하지 않기 때문에, 이는 광학적 임프린트를 찍기 위한 카메라(4)보다 단순하고 저렴한 주변 장치, 예를 들어서, 통상적인 구강외 카메라가 찍은 2 차원 또는 2.5 차원 이미지들로부터 이루어질 수 있다.
이로써, 사용자(3)는 증강 현실 안경(5)을 통해서 환자(2)의 얼굴 상에 직접적으로 차후 보철물의 심미적 사항들을 정교화할 수 있다.
마지막으로, 중앙 프로세싱 유닛(10)은 텔레메디신 네트워크로 인해서 외부 정보와 연결될 수 있으며, 이로써 일부 전문가(삭제)를 요구하는 이미지들 상에 실시간으로 정보의 표시를 제어하거나, 교육 센터에서 보조자 또는 학생을 위한 원격 내부 네트워크를 통해서 그러할 수 있다.

Claims (14)

  1. 환자(2)의 구강(8)의 내부를 시각화하기 위한 장치(1)로서,
    구강(8) 내에 위치한 기관들의 광학적 임프린트를 찍도록 구성된 카메라(4), 및 증강 현실 안경(5)을 포함하고,
    상기 증강 현실 안경(5)은, 상기 안경(5)의 사용자(3)가 구강(8) 내부를 볼 수 있는 광학적 렌즈(6) 및 상기 광학적 렌즈(6)을 통해서 상기 사용자(3)가 본 것을 촬영하도록 구성된 시각화 카메라(7)를 포함하며,
    상기 시각화 카메라(7)가 찍은 이미지들에 대응하는 제1 이미지들은 상기 광학적 임프린트를 찍기 위한 카메라(4)가 찍은 이미지들에 대응하는 제2 이미지들과 상관되어, 상기 제2 이미지는 상기 광학적 렌즈(6) 상에 투사될 수 있는, 시각화 장치(1).
  2. 제 1 항에 있어서,
    상기 광학적 임프린트를 찍기 위한 카메라(4)는 구강내 카메라(intraoral camera)인, 시각화 장치(1).
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 광학적 임프린트를 찍기 위한 카메라(4)에 의해 구강(8)의 기관들의 광학적 임프린트를 찍는 것을 가능하게 하도록 구성된 조명 시스템(11)을 포함하는, 시각화 장치(1).
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 시각화 카메라(7)가 찍은 이미지들에 대응하는 제1 이미지들을 상기 광학적 임프린트를 찍기 위한 카메라(4)가 찍은 이미지들에 대응하는 제2 이미지들과 상관시키는 것은 상기 제1 이미지들을 상기 대응하는 제2 이미지들과 중첩시킴으로써 수행되는, 시각화 장치(1).
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 시각화 카메라(7)가 찍은 이미지들에 대응하는 제1 이미지들을 상기 광학적 임프린트를 찍기 위한 카메라(4)가 찍은 이미지들에 대응하는 제2 이미지들과 상관시키는 것은 상기 제1 이미지들을 상기 대응하는 제2 이미지들로 대체함으로써 수행되는, 시각화 장치(1).
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 시각화 카메라(7)가 찍은 이미지들 및 상기 광학적 임프린트를 찍기 위한 카메라(4)가 찍은 이미지들을 수신, 저장, 및 프로세싱하도록 구성된 중앙 프로세싱 유닛(10)을 포함하는, 시각화 장치(1).
  7. 제 6 항에 있어서,
    상기 중앙 프로세싱 유닛(10)은 상기 광학적 임프린트를 찍는 과정에 따라, 상기 제1 이미지들을 상기 제2 이미지들과 점진적으로 상관시키도록 구성된, 시각화 장치(1).
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 중앙 프로세싱 유닛(10)은 상기 환자(2)와 관련된 추가 정보를 상기 광학적 렌즈(6) 상에 투사하도록 구성된, 시각화 장치(1).
  9. 제 8 항에 있어서,
    상기 환자(2)와 관련된 추가 정보는 치과용 보철물을 제조하는 것과 관련된 데이터를 포함하는, 시각화 장치(1).
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 중앙 프로세싱 유닛(10)에 연결되며 상기 환자(2)와 관련된 추가 정보를 캡처하도록 구성된 적어도 하나의 주변 장치를 포함하는, 시각화 장치(1).
  11. 제 10 항에 있어서,
    상기 주변 장치들 중 하나는, 정적 교합(static occlusion) 및 하악골 움직임을 캡처하거나, 치아의 색상을 캡처하거나, 또는 얼굴의 형상을 캡처하거나, 환자의 생리학적 데이터를 캡처하는 것을 가능하게 하는, 시각화 장치(1).
  12. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 주변 장치는, 다른 주변 장치들에 의해서 이전에 찍힌 상기 환자(2)의 구강내 이미지들을 분석하는 것을 가능하게 하는, 시각화 장치(1).
  13. 제 6 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 사용자(3)로부터 제어 명령을 캡처하고 상기 제어 명령을 상기 중앙 프로세싱 유닛(10)으로 전송하도록 구성된 마이크로폰(15)을 포함하는, 시각화 장치(1).
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 광학적 임프린트를 찍기 위한 카메라(4) 및 상기 증강 현실 안경(5)의 2 개의 요소 중 적어도 하나는, 가속도계, 자이로스코프 및 마그네토미터의 3 개의 측정 장치 중 적어도 하나를 포함하는, 시각화 장치(1).
KR1020167036568A 2014-05-27 2015-05-27 환자의 구강 내부를 시각화하는 장치 KR20170008872A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
FR1454774A FR3021518A1 (fr) 2014-05-27 2014-05-27 Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie
FR1454774 2014-05-27
FR1461539 2014-11-27
FR1461539A FR3021519B1 (fr) 2014-05-27 2015-02-04 Dispositif de visualisation de l'interieur d'une bouche d'un patient.
PCT/FR2015/000104 WO2015181454A1 (fr) 2014-05-27 2015-05-27 Dispositif de visualisation de l'interieur d'une bouche d'un patient

Publications (1)

Publication Number Publication Date
KR20170008872A true KR20170008872A (ko) 2017-01-24

Family

ID=53191743

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167036568A KR20170008872A (ko) 2014-05-27 2015-05-27 환자의 구강 내부를 시각화하는 장치

Country Status (10)

Country Link
US (1) US11759091B2 (ko)
EP (1) EP3148402B1 (ko)
JP (1) JP6904901B2 (ko)
KR (1) KR20170008872A (ko)
CN (1) CN106537225B (ko)
CA (1) CA2950028A1 (ko)
DK (1) DK3148402T3 (ko)
FR (2) FR3021518A1 (ko)
IL (1) IL249233B (ko)
WO (1) WO2015181454A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021080047A1 (ko) * 2019-10-25 2021-04-29 주식회사 닥터픽 음압을 활용한 구강 관리 방법, 구강 관리 장치 및 그 구강 관리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
DE102015212806A1 (de) * 2015-07-08 2017-01-12 Sirona Dental Systems Gmbh System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
ITUA20161557A1 (it) * 2016-03-11 2017-09-11 Giacomo Gelati Procedimento di acquisizione dati per la realizzazione di un atlante anatomico virtuale.
EP3179450B1 (de) * 2016-04-12 2020-09-09 Siemens Healthcare GmbH Verfahren zur multisensorischen darstellung eines objekts und darstellungssystem
US20190231493A1 (en) * 2016-06-20 2019-08-01 Carestream Dental Technology Topco Limited Dental restoration assessment using virtual model
CN106175650A (zh) * 2016-06-29 2016-12-07 上海波鸿医疗器械科技有限公司 一种穿戴型腔镜虚拟显示系统
US11457998B2 (en) 2016-07-29 2022-10-04 Ivoclar Vivadent Ag Recording device
US10932733B2 (en) 2016-09-14 2021-03-02 Dental Imaging Technologies Corporation Multiple-dimension imaging sensor with operation based on movement detection
US10213180B2 (en) 2016-09-14 2019-02-26 Dental Imaging Technologies Corporation Multiple-dimension imaging sensor with operation based on magnetic field detection
US10299742B2 (en) 2016-09-14 2019-05-28 Dental Imaging Technologies Corporation Multiple-dimension imaging sensor with fault condition detection
DE102016121687A1 (de) * 2016-11-11 2018-05-17 Ident-Ce Gbr Intraoralscanner und Verfahren zur digitalen Zahnabformung im zahnmedizinischen Bereich
CN106805936A (zh) * 2016-11-22 2017-06-09 上海美沃精密仪器股份有限公司 一种头戴式内窥检测系统
US10467815B2 (en) 2016-12-16 2019-11-05 Align Technology, Inc. Augmented reality planning and viewing of dental treatment outcomes
US10695150B2 (en) * 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning
CN106845120A (zh) * 2017-01-19 2017-06-13 杭州古珀医疗科技有限公司 一种基于混合现实技术的远程医疗系统及其操作方法
WO2018165253A1 (en) * 2017-03-07 2018-09-13 The Charles Stark Draper Laboratory, Inc. Augmented reality visualization for pipe inspection
CN107088099A (zh) * 2017-06-13 2017-08-25 重庆市北碚区中医院 一种集成式牙根管治疗仪
US11633268B2 (en) * 2017-07-27 2023-04-25 Align Technology, Inc. Tooth shading, transparency and glazing
CN107874784A (zh) * 2017-10-21 2018-04-06 中国地质大学(武汉) 一种牙齿检测系统
CN108269300B (zh) * 2017-10-31 2019-07-09 先临三维科技股份有限公司 牙齿三维数据重建方法、装置和系统
EP4335391A1 (en) 2017-12-07 2024-03-13 Augmedics Ltd. Spinous process clamp
CN107822601A (zh) * 2017-12-15 2018-03-23 中国地质大学(武汉) 一种基于tof技术的口腔扫描系统
CN108305689A (zh) * 2018-01-18 2018-07-20 成都贝施美医疗科技股份有限公司 牙齿修复效果生成方法及装置
JP7109047B2 (ja) * 2018-02-19 2022-07-29 株式会社吉田製作所 情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラム
US11213374B2 (en) 2018-02-20 2022-01-04 Ivoclar Vivadent Ag Rendering a dental model in an image
US11083552B2 (en) * 2018-02-20 2021-08-10 Ivoclar Vivadent Ag Rendering of dental models
EP3629337A1 (en) * 2018-09-28 2020-04-01 Ivoclar Vivadent AG Rendering of dental models
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
CN112584793A (zh) * 2018-06-21 2021-03-30 3 形状股份有限公司 将至少一个附加的2d图像与牙齿的至少一部分的3d表示相关联的方法、装置和系统
ES2889575T3 (es) * 2018-09-28 2022-01-12 Ivoclar Vivadent Ag Renderización de un modelo dental en una imagen
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
EP3689218B1 (en) * 2019-01-30 2023-10-18 DENTSPLY SIRONA Inc. Method and system for guiding an intra-oral scan
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
CN110459083B (zh) 2019-08-22 2020-08-04 北京众绘虚拟现实技术研究院有限公司 一种视觉-触觉融合的增强现实口腔手术技能训练模拟器
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
FR3111067A1 (fr) * 2020-06-06 2021-12-10 Olivier Querbes Prise d'empreinte optique de l’arcade dentaire d’un patient
US11445165B1 (en) 2021-02-19 2022-09-13 Dentsply Sirona Inc. Method, system and computer readable storage media for visualizing a magnified dental treatment site
WO2022183086A1 (en) * 2021-02-26 2022-09-01 Saltzburg Harris Rand Multifunctional intraoral imaging system and related methods
CN113194299B (zh) * 2021-07-01 2021-08-31 深圳市修远文化创意有限公司 一种智能医疗场景下的口腔治疗实时画面分享方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL120135A0 (en) * 1997-02-03 1997-06-10 Dentop Systems Ltd A video system for three dimensional imaging and photogrammetry
US6344853B1 (en) * 2000-01-06 2002-02-05 Alcone Marketing Group Method and apparatus for selecting, modifying and superimposing one image on another
US20040070600A1 (en) * 2002-09-27 2004-04-15 Morrisroe Lawrence E. System and method for displaying images and video within a web page
JP2007528743A (ja) * 2003-04-30 2007-10-18 ディースリーディー,エル.ピー. 口腔内画像化システム
ITMO20060417A1 (it) * 2006-12-21 2008-06-22 Marcello Marchesi Metodo per la progettazione e l'esecuzione di trattamenti odontoiatrici
CN101796450A (zh) * 2007-06-07 2010-08-04 帕那吉奥蒂斯·巴甫洛甫罗斯 包括至少一个显示器装置的眼镜
JP5483518B2 (ja) * 2007-12-27 2014-05-07 株式会社モリタ製作所 診療表示装置、診療装置及び診療用表示装置
FR2960962B1 (fr) * 2010-06-08 2014-05-09 Francois Duret Dispositif de mesures tridimensionnelles et temporelles par empreinte optique en couleur.
US20120056993A1 (en) * 2010-09-08 2012-03-08 Salman Luqman Dental Field Visualization System with Improved Ergonomics
EP2647210A4 (en) * 2010-12-02 2014-04-16 Ultradent Products Inc SYSTEM AND METHOD FOR VISUALIZING AND TRACKING STEREOSCOPIC VIDEO IMAGES
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
FR2977469B1 (fr) * 2011-07-08 2013-08-02 Francois Duret Dispositif de mesure tridimensionnelle utilise dans le domaine dentaire
JP2013034764A (ja) * 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法
US9197864B1 (en) * 2012-01-06 2015-11-24 Google Inc. Zoom and image capture based on features of interest
US20130330684A1 (en) * 2012-06-06 2013-12-12 Ormco Corporation Multifunction wand for an intra-oral imaging system
WO2014047402A1 (en) * 2012-09-20 2014-03-27 MUSC Foundation for Research and Development Head-mounted systems and methods for providing inspection, evaluation or assessment of an event or location
JPWO2014069558A1 (ja) * 2012-10-31 2016-09-08 株式会社日立製作所 超音波診断装置
JP2015002791A (ja) * 2013-06-19 2015-01-08 ソニー株式会社 無線通信システム、無線端末装置、および記憶媒体
FR3027205B1 (fr) * 2014-10-20 2020-07-17 Modjaw Procede et systeme de modelisation de la cinematique mandibulaire d'un patient

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021080047A1 (ko) * 2019-10-25 2021-04-29 주식회사 닥터픽 음압을 활용한 구강 관리 방법, 구강 관리 장치 및 그 구강 관리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체
CN114828734A (zh) * 2019-10-25 2022-07-29 达特碧株式会社 利用负压的口腔管理方法、口腔管理装置及记录有用于执行口腔管理方法的程序的计算机可读记录媒体

Also Published As

Publication number Publication date
EP3148402B1 (fr) 2021-01-13
JP2017525522A (ja) 2017-09-07
JP6904901B2 (ja) 2021-07-21
US11759091B2 (en) 2023-09-19
IL249233B (en) 2021-05-31
DK3148402T3 (da) 2021-04-19
CN106537225B (zh) 2020-03-20
WO2015181454A8 (fr) 2017-05-26
FR3021519B1 (fr) 2022-06-17
CA2950028A1 (fr) 2015-12-03
WO2015181454A1 (fr) 2015-12-03
CN106537225A (zh) 2017-03-22
US20150350517A1 (en) 2015-12-03
FR3021519A1 (fr) 2015-12-04
EP3148402A1 (fr) 2017-04-05
FR3021518A1 (fr) 2015-12-04
IL249233A0 (en) 2017-02-28

Similar Documents

Publication Publication Date Title
US11759091B2 (en) Device for visualizing an interior of a patient's mouth
JP6223331B2 (ja) 歯科分野で使用される三次元測定デバイス
US9877642B2 (en) Device for viewing an interior of a mouth
US11944187B2 (en) Tracked toothbrush and toothbrush tracking system
CN211433450U (zh) 透照适配器套筒设备和透照适配器
JP5856610B2 (ja) カラー光学印象による経時的三次元測定装置
US7912257B2 (en) Real time display of acquired 3D dental data
CA2991659A1 (en) System and method for scanning anatomical structures and for displaying a scanning result
EP3689218B1 (en) Method and system for guiding an intra-oral scan
CN113260335B (zh) 用于测量牙周袋深度的系统