KR20230147088A - 확대된 치과 치료 부위를 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 - Google Patents
확대된 치과 치료 부위를 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 Download PDFInfo
- Publication number
- KR20230147088A KR20230147088A KR1020237028357A KR20237028357A KR20230147088A KR 20230147088 A KR20230147088 A KR 20230147088A KR 1020237028357 A KR1020237028357 A KR 1020237028357A KR 20237028357 A KR20237028357 A KR 20237028357A KR 20230147088 A KR20230147088 A KR 20230147088A
- Authority
- KR
- South Korea
- Prior art keywords
- data stream
- dental treatment
- treatment area
- visualizing
- enlarged
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012800 visualization Methods 0.000 claims description 29
- 230000008447 perception Effects 0.000 claims description 8
- 230000003416 augmentation Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims 2
- 230000003190 augmentative effect Effects 0.000 abstract description 15
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 12
- 239000011521 glass Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 210000000214 mouth Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 241000282461 Canis lupus Species 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000002925 dental caries Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 238000012771 intravital microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
- H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/00048—Constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
확대된 치과 치료 부위를 환자에게 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체가 제공된다. 치과 치료 부위를 기록하는 스테레오 카메라로부터 원시 데이터를 획득함으로써 치과 치료 부위의 확장되고 조명이 밝고 공간적으로 디스플레이된 뷰가 진단 및 치료 계획을 위한 증강 현실 및 가상 현실 시스템에서 실시간으로 시각화될 수 있다.
Description
관련 출원에 대한 상호참조
본 특허 출원은 2021년 2월 19일자로 출원된 미국 출원 번호 17/179,556에 대한 이익 및 우선권을 주장한다.
발명의 분야
본 출원은 일반적으로 확대된 치과 치료 부위를 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 관한 것이며, 보다 구체적으로 치과 치료 동안 증강 현실 또는 가상 현실 디바이스를 이용하여 치과 진료 부위의 스테레오 이미지 쌍의 데이터 스트림을 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 관한 것이다.
치과 의사는 치아 결손의 진단뿐만 아니라 치료 계획을 위해 구강내 캐비티의 확대된 시각화를 제공하기 위해 치과 양안 루페를 사용한다.
루페는 치과 의사의 구강 시야를 확장하기 위해 착용된다. 이것은 시야 내의 대상체가 더 커지기 때문에 비전을 향상시킨다. 또한, 루페는 치과 의사가 작업하는 동안 더 생리적인 자세를 가질 수 있게 함으로써, 치과 의사가 역사적으로 개발한 것으로 알려진 구부정한 자세(slouching)를 최소화한다.
그러나, 치과 의사는 환자에게 이미지를 보여주거나, 치료 부위의 검사하기 위한 최적의 시각을 제공하기 위해 보는 각도를 변경하는 것이 쉽지 않을 수 있다.
미국 특허 번호 제8,120,847호 B2는 동공간 거리 조정 기능이 있는 렌즈를 통한 루페(through-the-lens loupe)를 개시하고, 이 루페는 한 쌍의 렌즈를 포함하고, 각각의 렌즈는 이를 통해 접합된 망원현미경 접안렌즈, 및 착용자의 코의 각각의 측면에 하나씩 있는 상부 부분을 포함한다.
미국 특허 출원 공개 제20,150,293,345호 A1는 하나 이상의 카메라와 하나 이상의 디스플레이 및/또는 오디오 어셈블리가 장착된 확대 루페를 개시하고, 여기서 확대 루페는 확대 광학 시스템을 사용하지 않고 부위를 확대하도록 구성된다.
미국 특허 출원 제2,017,202,633호는, 사용자가 보기 위한 웨어러블 디스플레이를 포함하는 의료적 개입을 안내하기 위한 이미징 및 디스플레이 시스템을 개시하며, 여기서 디스플레이는, 수술전 외과적 탐색 이미지, 수술중 이미지, 생체내 현미경 이미지, 또는 감지 데이터를 포함하는, 복합, 또는 조합된 이미지를 제시한다. 현미경 탐침 또는 감지 탐침과 같은, 탐침이, 환자로부터 생체내 이미징/감지 데이터를 취득하기 위해 사용될 수 있으며, 그리고 수술중 및 생체내 이미지는, 디스플레이를 위한 복합 이미지를 형성하기 위해, 이들을 수술전 이미지 및 환자와 정렬하기 위한 추적 및 등록 기법을 사용하여, 취득될 수 있을 것이다.
미국 특허 출원 제20,020,082,498호는, 환자의 일부분의 3-차원(3D) 체적 데이터를 캡처하는 단계, 데이터의 도식적 표현을 제공하도록 하기 위해 체적 데이터를 처리하는 단계, 상기 환자의 일부분을 포함하는 장면의 입체적 비디오 화면을 캡처하는 단계, 입체적 증강 이미지를 제공하도록 하기 위해 도식적 표현 및 입체적 비디오 화면을 혼합된 방식으로 렌더링하는 단계, 및 비디오 투시(video-see-through) 디스플레이에 상기 입체적 증강 이미지를 디스플레이하는 단계를 포함하는, 이미지 유도 수술을 위한 방법을 개시한다.
미국 특허 출원 공개 제20,160,191,887호는, 외과 의사의 정적 또는 동적 시점으로부터의 환자의 증강 화면을 디스플레이하기 위한, 실시간 수술 탐색 방법 및 장치를 설명한다. 표면 이미지, 수술전 또는 수술중 이미지들로부터 처리된 환자의 내부 해부학적 구조에 대한 도식적 표현, 및 양자의 이미지를 기하학적으로 등록하는 컴퓨터가, 사용될 수 있을 것이다. 이미지는 기하학적으로 등록하는 것에 응답하여, 머리에 착용되는 디스플레이가, 외과 의사에게 환자의 증강 화면을 제공할 수 있을 것이다.
상기와 연관된 기존 제한뿐 아니라 다른 제한이 확대된 치과 치료 부위의 시각화를 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 의해 극복될 수 있다.
본 명세서의 일 양태에서, 본 발명은 확대된 치과 치료 부위를 시각화하는 방법을 제공할 수 있으며, 상기 방법은, 구강내(intra-oral) 카메라로부터 스테레오 이미지의 데이터 스트림을 획득하는 단계 - 스테레오 이미지의 데이터 스트림은 약간 상이한 시점으로부터 치과 치료 부위를 오프셋하고 보여주는 스테레오 이미지 쌍의 데이터 스트림임 - ; 상기 스테레오 이미지의 데이터 스트림을 확대하는 단계; 스테레오 이미지의 확대된 데이터 스트림의 우측 및 좌측 부분을 제1 디스플레이 디바이스의 사용자의 시야에 투사하여 3D 깊이의 지각(perception)을 갖는 치과 치료 부위의 결합된 뷰(combined view)를 생성하는 단계를 포함한다.
본 명세서의 다른 양태에서, 방법은 다음 단계 중 하나 이상을 더 포함할 수 있다: (i) 스테레오 이미지의 확대된 데이터 스트림이 사용자의 시야에 대해 고정된 거리 및 배향으로 투사되는 것, (ii) 시각화 정보가 사용자의 시야에 대해 가변 거리 및 배향으로 투사되는 것, (iii) 시각화 정보가 배율 레벨, 해상도 및 작업 거리 중 적어도 하나를 포함하는 것, (iv) 상기 스테레오 이미지의 데이터 스트림이 미리 결정된 배율 레벨에 따라 확대되는 것, (v) 진단 목적을 위해 스테레오 이미지의 데이터 스트림의 콘트라스트 및 색 공간을 변경하는 단계를 더 포함하는 것, (vi) 스테레오 이미지의 데이터 스트림이 실시간으로 획득되는 것, (vii) 시야 내의 미리 결정된 부위 상에 증강(augmentation)으로서 상기 시각화 정보를 오버레이하여 상기 시각화 정보가 미리 결정된 부위 상에 직접 중첩되어 나타나게 하는 단계를 더 포함하는 것, (viii) 가상 현실에 적응된 제2 디스플레이 디바이스를 사용하여 가상 객체로서 상기 스테레오 이미지의 확대된 데이터 스트림을 투사하는 단계를 더 포함하는 것, (ix) 구강내 카메라의 하나의 스테레오 채널로부터의 확대된 데이터 스트림을 모니터 상에 디스플레이하는 단계를 더 포함하는 것, (x) (i) 구강내 카메라로부터의 실시간 출력 데이터, (ii) 임상의 움직임을 추적하는 실시간 데이터, 및 (iii) 환자 움직임을 추적하는 실시간 데이터로 구성된 그룹으로부터 선택되는 데이터를 기반하여 상기 증강을 업데이트하는 단계를 더 포함하는 것.
본 명세서의 또다른 양태에서, 확대된 치과 치료 부위를 시각화하기 위한 시스템이 제공될 수 있으며, 이 시스템은 다음 단계들을 수행하도록 구성된 적어도 하나의 프로세서를 포함하고, 단계들은, 구강내 카메라로부터 스테레오 이미지의 데이터 스트림을 획득하는 단계 - 스테레오 이미지의 데이터 스트림은 상이한 배향으로부터 치과 치료 부위를 오프셋하고 보여주는 스테레오 이미지 쌍의 데이터 스트림임 - ; 상기 스테레오 이미지의 데이터 스트림을 확대하는 단계; 및 스테레오 이미지의 확대된 데이터 스트림의 우측 및 좌측 부분을 제1 디스플레이 디바이스의 사용자의 시야에 투사하여 3D 깊이의 지각을 갖는 치과 치료 부위의 결합된 뷰를 생성하는 단계를 포함한다.
시스템은 다음 구성 중 하나 이상을 더 포함할 수 있다: (i) 스테레오 이미지의 확대된 데이터 스트림이 사용자의 시야에 대해 고정된 거리 및 배향으로 투사되는 것, (ii) 시각화 정보가 사용자의 시야에 대해 가변 거리 및 배향으로 투사되는 것, (iii) 스테레오 이미지의 데이터 스트림은 미리 결정된 배율 레벨에 따라 확대되는 것, (iv) 진단 목적을 위해 스테레오 이미지의 데이터 스트림의 콘트라스트 또는 색 공간을 변경하는 단계를 더 포함하는 것, (v) 스테레오 이미지의 데이터 스트림이 실시간으로 획득되는 것.
또다른 양태에 있어서, 비일시적 컴퓨터 판독가능 저장 매체가 제공될 수 있다. 비일시적 컴퓨터 판독가능 저장 매체는, 컴퓨터 시스템에 의해 실행될 때, 컴퓨터 시스템으로 하여금 프로시져를 수행하게 하는 프로그램을 저장할 수 있고, 프로시져는, 구강내 카메라로부터 스테레오 이미지의 데이터 스트림을 획득하는 단계 - 스테레오 이미지의 데이터 스트림은 상이한 배향으로부터 치과 치료 부위를 오프셋하고 보여주는 스테레오 이미지 쌍의 데이터 스트림임 - ; 상기 스테레오 이미지의 데이터 스트림을 확대하는 단계; 및 스테레오 이미지의 확대된 데이터 스트림의 우측 및 좌측 부분을 제1 디스플레이 디바이스의 사용자의 시야에 투사하여 3D 깊이의 지각을 갖는 치과 치료 부위의 결합된 뷰를 생성하는 단계를 포함한다.
예시적인 실시예는 아래에 제공된 상세한 설명 및 첨부된 도면으로부터 더 완전히 이해될 것이며, 여기서 유사한 요소는 유사한 참조 문자로 표시되며, 이는 단지 예시로서 주어지고 따라서 여기의 예시적인 실시예를 제한하지 않는다. 여기서:
도 1은 본 발명의 실시예에 따른 시각화 시스템을 예시하는 블록도이다.
도 2a는 본 발명의 실시예에 따른 스테레오 이미지 쌍을 예시하는 스케치이다.
도 2b는 본 발명의 실시예에 따른 확대된 스테레오 이미지 쌍을 예시하는 스케치이다.
도 3은 본 발명의 컴퓨터 시스템의 블록도를 예시한다.
도 4는 본 발명의 실시예에 따른 방법을 나타내는 흐름도이다.
비록 각각의 그러한 컴포넌트에 대한 상세한 설명이 각 도면에 관련하여 이하에 제공되지 않을 수 있지만, 도면들 중의 상이한 것들이, 동일한 컴포넌트를 식별하기 위해 동일할 수 있는, 적어도 일부의 참조 부호를 가질 수 있을 있을 것이다.
도 1은 본 발명의 실시예에 따른 시각화 시스템을 예시하는 블록도이다.
도 2a는 본 발명의 실시예에 따른 스테레오 이미지 쌍을 예시하는 스케치이다.
도 2b는 본 발명의 실시예에 따른 확대된 스테레오 이미지 쌍을 예시하는 스케치이다.
도 3은 본 발명의 컴퓨터 시스템의 블록도를 예시한다.
도 4는 본 발명의 실시예에 따른 방법을 나타내는 흐름도이다.
비록 각각의 그러한 컴포넌트에 대한 상세한 설명이 각 도면에 관련하여 이하에 제공되지 않을 수 있지만, 도면들 중의 상이한 것들이, 동일한 컴포넌트를 식별하기 위해 동일할 수 있는, 적어도 일부의 참조 부호를 가질 수 있을 있을 것이다.
본 명세서에 설명된 예시적인 양태에 따르면, 확대된 치과 치료 부위를 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체가 제공될 수 있다. 치과 치료 부위를 기록하는 스테레오 카메라로부터 원시 데이터를 획득함으로써 치과 치료 부위의 확장되고 조명이 밝고 공간적으로 디스플레이된 뷰가 진단 및 치료 계획을 위한 증강 현실 및 가상 현실 시스템에서 실시간으로 시각화될 수 있다.
확대된 치과 치료 부위를 시각화하기 위한 시스템
도 1은 머리 장착형 증강 현실 안경, HUD 디스플레이(헤드-업 디스플레이), 또는 스테레오 비디오 이미지를 수신할 수 있는 스테레오 디스플레이와 같은 증강된 시각화를 위한 제1 디스플레이 디바이스(12), 또는 치과 치료를 위한 치과 치료 부위(14a)의 스테레오 이미지의 데이터 스트림(20)을 수신하도록 적응될 수 있는 다른 제1 디스플레이 디바이스(12)를 포함하는 시각화 시스템(1)을 도시한다. 스테레오 이미지의 데이터 스트림(20)은 바람직하게는, 치료 부위(14a)의 깊이에 대한 지각을 제공하기 위해 임상의(clinician)(10)와 같은 사용자의 우측 및 좌측 눈에 확대되어 디스플레이되는 스테레오 이미지 쌍의 데이터 스트림일 수 있다. 스테레오 이미지의 확대된 데이터 스트림(22)은 3차원 비디오 및/또는 이미지를 형성할 수 있다. 스테레오 이미지의 데이터 스트림(20)은 치과용 스테레오 카메라와 같은 구강내 카메라(16)로부터 실시간으로 획득될 수 있고, 임상의(10)가 자신의 시야에서 실시간으로 스테레오 이미지의 확대된 데이터 스트림(22)을 볼 수 있도록 미리 결정된 배율 레벨에 따라 또는 임상의(10)에 의해 결정된 배율 레벨에 따라 확대될 수 있다. 확대는 광학 확대 카메라 광학계를 통해 또는 디지털 확대를 통해 달성할 수 있다. 또한, 스테레오 이미지의 확대된 데이터 스트림(22)은 임상의(10)에 의해 환자(14)에게 보여지는 치료 부위(14a)의 확대된 뷰를 보여주기 위해 가상 현실 디바이스 또는 2D 또는 3D 스크린과 같은 제2 디스플레이 디바이스(15) 상에 디스플레이될 수 있다. 예시적인 실시예에서, 스테레오 이미지 쌍이 3D 장면으로부터(예를 들어, 3D 스캐너로부터) 생성된다. 이러한 목적을 위해, 3D 장면으로부터 2개의 합성 스테레오 이미지가 계산되며, 3D 장면에서 가상 관찰자의 위치는 2개의 스테레오 이미지에 대한 특정 스테레오 기준에 따라 다르다.
예시적인 실시예에서, 스테레오 이미지(22)의 확대된 스트림의 각각의 쌍은 제1 방식의 제1 디스플레이 디바이스(12)의 사용에 의해 임상의(10)의 시야에 투사되며, 여기서 투사의 차원수(dimensionality)는 고정 XYZ 평면에 있다. 여기서, 시야에 대한 스테레오 이미지의 확대된 데이터 스트림(22)의 위치 및 배향은 고정될 수 있다. 임상의(10)의 각각의 눈은 상이한 위치에 있고, 그 결과 각각의 눈은 약간 상이한 이미지를 본다. 이들 이미지 사이의 차이는 임상의(10)가 깊이를 지각할 수 있게 한다.
또다른 실시예에서, 배율 레벨, 해상도, 작업 거리, 환자 치아 이력 및 식별 정보와 같은 정보 또는 기타 다른 시각화 정보가 추가로 임상의(10)의 시야에 투사될 수 있으며, 상기 다른 시각화 정보는 스테레오 이미지의 확대된 스트림(22)과는 상이하다. 예를 들어, 스테레오 이미지의 데이터 스트림(20)의 분석을 통한 우식(caries) 검출의 표시, 또는 배율 레벨의 표시가 임상의(10)의 시야에 투사될 수 있다. 상기 다른 시각화 정보는 고정된 배향 및 눈으로부터의 거리로 제시될 수 있다. 상기 다른 시각화 정보는 정적일 수 있고 따라서 보기위해 환자로부터 초점을 이동해야 할 수 있다.
다른 예시적인 실시예에서, 상기 다른 시각화 정보를 보기 위한 눈의 이동을 제한하기 위해, 증강 현실 접근법이 사용될 수 있고, 여기서 상기 다른 시각화 정보가 끊임없는 보기를 위해 투사될 수 있는 시야의 가변 깊이를 결정하기 위해 환자 및 임상의(10)의 움직임이 추적된다. 이것은 임상의(10)에게 정보를 제공하여 환자로부터 투사된 이미지로 임상의(10) 초점을 과도하게 이동시키지 않고 끊김없는 보기를 보장하기 위한 보다 직관적인 프로세스를 허용한다. 따라서, 환자 및 임상의(10)의 추적은 이미지를 투사할 시야에서 적절하거나 가변적인 위치 및 깊이를 결정하기 위해 사용된다. 예를 들어, 환자의 시야를 가리지 않고 상기 다른 시각화 정보가 투사될 수 있는 시야 내의 빈 공간을 결정하기 위해 환자를 추적할 수 있다.
다른 실시예에서, 제1 디스플레이 디바이스(12)는 고정된 위치 및 깊이 대신 임상의(10)의 시야에서 가변 위치 및 깊이에서 스테레오 이미지의 확대된 스트림(22)을 선택적으로 투사하도록 설계될 수 있다. 예를 들어, 임상의(10)의 눈(동공)을 추적하여 환자 및 스트림의 끊김없는 보기 생성하기 위해 스테레오 이미지의 확대된 데이터 스트립(22)을 디스플레이할 시야의 위치를 결정할 수 있다.
또한, 스테레오 이미지의 확대 데이터 스트림(22)(스테레오 비디오)은, 임상의(10)가 스테레오 이미지의 확대 데이터 스트림(22)을 보는 동안 그 주변을 볼 수 있도록 임상의(10)의 시야(26)(예를 들어, 시야의 중심) 내의 임상의(10)의 환경 또는 환자(14)의 구강내 캐비티와 같은 타겟 부위에 증강 방식으로 선택적으로 오버레이될 수 있다. 그러나, 스테레오 이미지의 확대된 스트림(22)은 바람직하게는 임상의(10)의 시야에 고정된 위치 및 배향으로 증강된 방식으로 투사된다.
다른예에서, 스테레오 이미지의 확대된 데이터 스트림(22)은 임상의(10)의 시야(26)를 완전히 점유할 수 있다. 물론, 다른 유사한 구성이 본 명세서의 관점에서 당업자에 의해 실현될 것이다.
디스플레이 디바이스(12, 15)는 컴퓨터 시스템(100)에 연결되거나 그 일부를 형성할 수 있다. 컴퓨터 시스템(100)(도 3에도 도시됨)은 추적 시스템(2) 및 프로세서(122)를 포함할 수 있다. 추적 시스템(2)은 대안적으로 컴퓨터 시스템(100)으로부터 분리되어 여기에서 논의된 디바이스, 컴포넌트 및/또는 시스템 중 어느 것의 적어도 일부를 형성할 수 있다. 추적 시스템(2)은 선택적일 수 있고 환자 및/또는 임상의(10)가 추적되는 가변 증강 현실 투사에 사용가능할 수 있다. 상기 추적 시스템은 프로세서(122)에 전기적으로 연결될 수 있고 공통 좌표계에서 스테레오 이미지(20)의 데이터 스트림과 같은 이미지 및 객체의 정확한 위치 및 배향에 대한 실시간 위치 데이터를 제공할 수 있다. 본 명세서의 예시적인 실시예에서, 추적 시스템은 예를 들어 기록되는 구강내 캐비티의 표면에 대한 구강내 카메라(16)의 알려진 위치에 기반한 센서일 수 있다.
추적 시스템은 또한 예를 들어 환자(14), 임상의(10), 임상의의 눈, 환자의 특징부(예를 들어, 두부 또는 협강), 및/또는 환자(14) 상에 배치된 미리 결정된 마커(도시되지 않음)의 시각적 추적을 위한 카메라와 같은 비전 기반일 수 있다. 상기 시각적 추적은 예를 들어 객체/패턴 인식을 사용하여 달성될 수 있다. 3D 광학 추적 시스템 및/또는 입체 카메라 시스템과 같은 카메라 시스템(3)은 컴퓨터 시스템에 포함될 수 있고 그리고/또는 추적 시스템(2)을 형성하거나 그 일부일 수 있다. 구강내 카메라(16)는 카메라 시스템(3)을 형성하거나 그 일부일 수 있다. 카메라 시스템(3)은 또한, 임상의(10)의 디스플레이 디바이스(12) 내에 내장될 수 있다. 카메라 시스템은, 이하에서 설명되는, (i) 구조적 광, (ii) 비행 시간(Time of Flight; ToF) 및/또는 (iii) 스테레오 원리를 포함하는, 여러 깊이 감지 원리 중의 하나 하에서 작동할 수 있다. 구조적 광을 채용하는 카메라의 경우, 광원가 환자(14) 상에 공지의 패턴을 투사하기 위해 사용될 수 있고, 수신기가 지오메트리에 기초하여 깊이 맵을 계산하기 위해 반사된 패턴의 뒤틀림을 검출할 수 있다. 비행 시간(ToF) 원리를 채용하는 카메라의 경우, 광원이 펄스를 송출할 수 있고, 센서가 펄스의 비행 시간을 기록하기 위해 환자(14)로부터의 펄스의 반사를 검출할 수 있다. 그것 및 광의 일정한 속도를 알면, 시스템은 환자(14)가 얼마나 멀리 있는지를 계산할 수 있다. 대안적으로, 변조된 광원으로부터의 광이 송출될 수 있고, 환자로부터 반사된 광의 위상 변화가 검출될 수 있다. 스테레오 원리를 채용하는 카메라의 경우, 다중 카메라가 환자의 다중 이미지를 캡쳐하기 위해 상이한 위치에 배치될 수 있고, 깊이 맵이 지오메트리에 기초하여 계산될 수 있다. 이러한 깊이 정보는 치료 동안에(예를 들어, 치과 치료 동안에) 환자의 위치를 추적하기 위해 사용될 수 있다.
또다른 실시예에서, 추적 시스템은 센서 기반 및 비전 기반 추적 시스템의 융합일 수 있다. 더욱이, 임상의의 제1 디스플레이 디바이스(12)에 장착된 임의의 스테레오 카메라는 구강내 카메라(16) 대신에 스테레오 이미지의 데이터 스트림(20)을 획득하기 위해 사용될 수 있어, 다른 활동을 위해 임상의의 상지(upper limb)가 자유로워진다.
프로세서(122)는 스테레오 이미지의 데이터 스트림(20)을 수신하고, 선택적으로 상기 데이터 스트림을 분석하고, 하나 이상의 기준(예를 들어, 배율 레벨)에 따라 스테레오 이미지의 데이터 스트림(20)을 확대하고, 스테레오 이미지의 확대된 데이터 스트림(22)을 치과 치료 부위(14a)의 입체 비디오를 형성하기 위해 고정된 평면에서 임상의(10)의 시야로 투사하도록 구성될 수 있고, 상기 스테레오 비디오는 깊이의 지각을 갖는다. 프로세서(122)는 중첩 투사로 인해 임상의의 시야가 과밀해지는 것을 피하기 위해 증강 방식으로 다른 시각화 정보를 추가로 투사할 수 있다. 확대된 데이터는 제2 디스플레이 디바이스(15)를 통해 환자(14)에게 가상으로 디스플레이될 수도 있다.
본 발명의 예시적인 실시예에서, 스테레오 이미지의 확대된 데이터 스트림(22) 및/또는 시각화 데이터는, 컴퓨터 시스템(100)(예를 들어, 제스처 인식 시스템 및/또는 음성 인식 시스템 등)의 사용자 인터페이스(126)를 통해 임상의(10)로부터 요청이 수신된 후에 임상의(10)의 시야에 투사될 수 있다.
시각화 데이터의 투사는 동적으로 실시간으로 수행될 수 있으며 추적 시스템(2)과 협력하여 작동하는 프로세서(122)에 의해 달성될 수 있으며, 여기서 추적 시스템(2)에 의해 캡처된 (i) 환자(14) 및/또는 (ii) 임상의(10)의 위치 변화는, 환자(14) 및/또는 임상의(10)가 움직일 때에도 임상의(10)의 시야(26)에서 타겟 영역 상에 제1 디스플레이 디바이스(12)의 스크린으로 라우팅된 상기 데이터 스트림이 직접 중첩되어 나타나도록 오버레이된 데이터 스트림의 대응하는 위치 변화로 변환될 수 있다. 본 발명의 예시적인 실시예에서, 제1 디스플레이 디바이스(12)는 임상의(10)의 시야(26)에서 증강으로서 치과 이력 및 개인 정보와 같은 환자 정보를 나타내도록 적응될 수 있다.
확대된 치과 치료 부위를 시각화하기 위한 컴퓨터 시스템
시각화 시스템(1)을 설명하였으므로, 본 명세서의 예시적인 실시예 중 적어도 일부에 따라 채용될 수 있는 컴퓨터 시스템(100)의 블록도를 도시하는 도 3이 이제 참조될 것이다. 다양한 실시예들이 본 명세서에서 이러한 예시적인 컴퓨터 시스템(100)의 관점에서 설명될 수 있지만, 이러한 설명을 읽은 이후에, 어떻게 다른 컴퓨터 시스템들 및/또는 아키텍쳐들을 사용하여 본 개시를 구현하는지가, 관련 분야(들)의 당업자들에게 명백해질 수 있을 것이다.
본 명세서의 하나의 예시적 실시예에서, 컴퓨터 시스템(100)은, 적어도 하나의 컴퓨터 프로세서(122)를 포함할 수 있으며, 그리고 추적 시스템(2), 사용자 인터페이스(126) 및 입력 유닛(130)을 포함할 수 있다. 입력 유닛(130)은 정보를 컴퓨터 프로세서(122)로 전송하기 위한 모니터와 같은 디스플레이 유닛(128)과 함께 임상의(10)에 의해 사용될 수 있다. 본 명세서의 일 예시적인 실시예에서, 입력 유닛(130)은 스테레오 이미지의 데이터 스트림(20)의 배율 레벨을 선택하기 위해 사용될 수 있다. 제1 디스플레이 디바이스(12) 및 제2 디스플레이 디바이스(15) 상에 스테레오 이미지의 확대된 데이터 스트림(22)을 보여주는 것에 더하여, 스테레오 이미지의 확대된 데이터 스트림(22)은 또한 모니터 상에 보여질 수 있다. 여기에서, 스테레오 채널 중 하나는 디스플레이를 위해 모니터로 라우팅될 수 있다. 일 실시예에서, 입력 유닛(130)은, 제스처/음성 인식 디바이스, 트랙볼, 마우스 또는, 키보드 또는 스타일러스와 같은 다른 입력 디바이스일 수 있다. 하나의 예에서, 디스플레이 유닛(128), 입력 유닛(130), 및 컴퓨터 프로세서(122)는 총괄적으로 사용자 인터페이스(126)를 형성할 수 있다.
컴퓨터 프로세서(122)는 예를 들어, 중앙 처리 장치(central processing unit; "CPU"), 다중 처리 장치, 주문형 집적 회로(application-specific integrated circuit; "ASIC"), 필드 프로그래머블 게이트 어레이(field programmable gate array; "FPGA") 등을 포함할 수 있다. 프로세서(122)는 통신 인프라스트럭처(124)(예를 들어, 통신 버스 또는 네트워크)에 연결될 수 있다. 본 명세서의 일 실시예에서, 프로세서(122)는 스테레오 이미지의 확대된 데이터 스트림(22)을 디스플레이하라는 요청을 수신할 수 있고 컴퓨터 시스템(100)의 하나 이상의 저장 유닛으로부터 요청에 관한 명령어들을 획득할 수 있다. 프로세서(122)는 상기 명령어들을 로드하고 로드된 명령어들을 실행한다.
시각화하기 위한 하나 이상의 단계/프로시저가 컴퓨터 판독가능 프로그램 명령어들의 형태로 비일시적 저장 디바이스 상에 저장될 수 있다. 프로시저를 실행하기 위해, 프로세서(122)는 저장 디바이스에 저장된 적절한 명령어들을 메모리로 로드한 후, 이하 논의되는 도 4에 도시된 바와 같이 로드된 명령어들을 실행한다.
컴퓨터 시스템(100)은 랜덤 액세스 메모리(random-access memory; "RAM")일 수 있는 메인 메모리(132)를 더 포함할 수 있고, 보조 메모리(134)를 포함할 수 있다. 보조 메모리(134)는 예를 들어 하드 디스크 드라이브(136) 및/또는 착탈식 저장 드라이브(138)(예를 들어, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 드라이브 등)를 포함할 수 있다. 이동식 저장 드라이브(138)는 잘 알려진 방식으로 착탈식 저장 유닛(140)으로부터 판독 및/또는 착탈식 저장 유닛(140)에 기록할 수 있다. 착탈식 저장 유닛(140)은 예를 들어 플로피 디스크, 자기 테이프, 광 디스크, 플래시 메모리 디바이스 등일 수 있으며, 착탈식 저장 드라이브(138)에 기록 및 착탈식 저장 드라이브(138)로부터 판독될 수 있다. 착탈식 저장 유닛(140)은 컴퓨터 실행가능 소프트웨어 명령어들 및/또는 데이터를 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있다.
추가의 대안적인 실시예에서, 보조 메모리(134)는 컴퓨터 시스템(100)로 로드될 컴퓨터 실행가능 프로그램 또는 다른 명령어들을 저장하는 다른 컴퓨터 판독가능 매체를 포함할 수 있다. 그러한 디바이스는 착탈식 저장 유닛(144) 및 인터페이스(142)(예를 들어, 프로그램 카트리지 및 카트리지 인터페이스); 착탈식 메모리 칩(예를 들어, 소거가능 프로그래머블 판독전용 메모리(erasable programmable read-only memory; "EPROM") 또는 프로그래머블 판독전용 메모리(programmable read-only memory; "PROM")) 및 연관된 메모리 소켓; 및 소프트웨어 및 데이터가 착탈식 저장 유닛(144)으로부터 컴퓨터 시스템(100)의 다른 부분으로 전달될 수 있도록 하는 다른 착탈식 저장 유닛(144) 및 인터페이스(142)를 포함할 수 있다.
컴퓨터 시스템(100)은 또한 소프트웨어 및 데이터가 컴퓨터 시스템(100)과 외부 디바이스 사이에서 전달될 수 있게 하는 통신 인터페이스(146)를 포함할 수 있다. 이러한 인터페이스는 모뎀, 네트워크 인터페이스(예를 들어, 이더넷 카드 또는 IEEE 802.11 무선 LAN 인터페이스), 통신 포트(예를 들어, 범용 시리얼 버스(Universal Serial Bus; "USB") 포트 또는 FireWire® 포트), 퍼스널 컴퓨터 메모리 카드 국제 협회(Personal Computer Memory Card International Association; "PCMCIA") 인터페이스, Bluetooth® 등을 포함할 수 있다. 통신 인터페이스(146)를 통해 전달되는 소프트웨어 및 데이터는 전자, 전자기, 광학 또는 통신 인터페이스(146)에 의해 송신 및/또는 수신될 수 있는 다른 유형의 신호일 수 있는 신호의 형태일 수 있다. 신호는 통신 경로(148)(예를 들어, 채널)를 통해 통신 인터페이스(146)에 제공된다. 통신 경로(148)는 신호를 반송할 수 있고 유선 또는 케이블, 광섬유, 전화선, 셀룰러 링크, 무선 주파수(radio-frequency; "RF") 링크 등을 사용하여 구현될 수 있다. 통신 인터페이스(146)는 컴퓨터 시스템(100)과 원격 서버 또는 클라우드 기반 스토리지(도시되지 않음) 사이에서 소프트웨어 또는 데이터 또는 기타 정보를 전달하는데 사용될 수 있다.
하나 이상의 컴퓨터 프로그램 또는 컴퓨터 제어 로직이 메인 메모리(132) 및/또는 보조 메모리(134)에 저장될 수 있다. 컴퓨터 프로그램은 또한 통신 인터페이스(146)를 통해 수신될 수 있다. 컴퓨터 프로그램은, 컴퓨터 프로세서(122)에 의해 실행될 때 컴퓨터 시스템(100)으로 하여금 이하에 설명된 방법을 수행하게 하는, 컴퓨터 실행가능 명령어들를 포함할 수 있다.
다른 실시예에서, 소프트웨어는 비일시적 컴퓨터 판독가능 저장 매체에 저장될 수 있고, 착탈식 저장 드라이브(138), 하드 디스크 드라이브(136) 및/또는 통신 인터페이스(146)를 사용하여 컴퓨터 시스템(100)의 메인 메모리(132) 및/또는 보조 메모리(134)로 로드될 수 있다. 제어 로직(소프트웨어)은 프로세서(122)에 의해 실행될 때 컴퓨터 시스템(100), 보다 일반적으로는 시스템(1)이 본 명세서에 설명된 방법의 전부 또는 일부를 수행하게 한다.
본 명세서에서 설명된 기능을 수행하기 위한 다른 하드웨어 구성의 구현은 본 설명의 관점에서 관련 기술(들)의 숙련자에게 명백할 것이다.
확대된 치료 부위를 시각화하는 방법
도 3의 컴퓨터 시스템(100)을 설명하였으므로, 도 4를 참조하여 확대된 치료 부위를 가시화하는 방법이 이제 도 4와 함께 추가로 설명될 것이다.
도 4는 확대된 치과 치료 부위를 시각화하기 위한 프로세스(200)를 도시한다. 이 프로세스는 임상의(10)가 구강내 카메라(16)를 구강 캐비티로 삽입할 때 시작될 수 있다(단계 S100). 그러면 구강내 카메라(16)로부터의 원시 데이터가 수신/판독될 수 있다(단계 S200). 이 원시 데이터는 임상의(10) 및 환자(14)를 위해 확대된 치료 부위를 보여주기 위해 정의된 배율 레벨에 따라 분석, 수정(색 공간 또는 밝기를 변경하여 특정 색상을 강조하거나 이미지 대비를 향상시키는 것 등) 및/또는 확대될 수 있다(단계 S300). 수정은 예를 들어 황색/적색 방향(또는 반대 방향)으로 치아 색상을 이동시켜 변색 또는 플라크의 가시적인 인상을 증가시키거나 감소시키는 것을 포함할 수 있다. 또한, 구강내 카메라(16)는 디스플레이 디바이스(VR 안경 및/또는 증강 현실 안경)가 실시간으로 확대되고 조명이 밝고 공간적으로 디스플레이되는(3차원) 뷰를 자동으로 생성할 수 있도록 치료 부위(14a)의 조명을 제공할 수 있다.
따라서, 스테레오 이미지의 이 확대된 3차원 뷰/확대된 데이터 스트림(22)은 제1 디스플레이 유닛(12) 및/또는 제2 디스플레이 디바이스(15)를 사용하여 투사된다(단계 S400). 또한, 디스플레이된 이미지의 배향(예를 들어, 시각화 정보)은 추적 시스템(2)에 기초하여 실시간으로 업데이트될 수 있다. 예를 들어, (i) 임상의의 움직임을 추적하는 실시간 데이터(46), (ii) 환자 움직임을 추적하는 실시간 데이터(50), 및/또는 (iii) 구강내 카메라로부터의 실시간 출력 데이터(44)를 포함하는 추적 시스템(2)으로부터의 데이터를 사용하여, 제1 디스플레이 디바이스(12)로 라우팅되는 스테레오 이미지(22)의 확대된 데이터 스트림의 배향 및/또는 위치는, 상기 부위 상에 상기 증각이 직접 중첩되어 나타나도록, 치료 부위(14a) 또는 임상의(10)의 시야(26) 내의 임의의 다른 미리 결정된 현실 세계 부위 상의 오버레이를 위해 실시간으로 동적으로 업데이트될 수 있다. 본 발명의 일실시예에서, 시각화 정보는 임상의의 시야에서 환자의 구강 캐비티를 포함하지 않는 빈 공간에 디스플레이된다. 상기 빈 공간은 예를 들어 카메라 시스템(3) 또는 구강내 카메라(12)로부터 획득된 데이터에 대한 객체 인식을 사용하여 인식될 수 있다. 더욱이, 제2 디스플레이 디바이스(15)로 라우팅되는 스테레오 이미지(22)의 확대된 데이터 스트림의 배향 및/또는 위치는, 임상의(10)가 본 스테레오 이미지의 확대된 데이터 스트림(22)의 동일한 뷰를 환자가 볼 수 있도록, 환자(14)에게 가상 디스플레이를 위해 실시간으로 동적으로 업데이트될 수 있다.
본 발명의 실시예에서, 스테레오 이미지의 확대된 데이터 스트림(22)은 여러 3D 디스플레이 디바이스에 동시에 표시될 수 있다. 추가 실시예에서, 구강내 카메라(16)는 기존의 GigE 연결을 통해 PC(Personal computer) 또는 랩탑에 연결된다. 구강내 카메라(16)에 의해 생성된 스테레오 이미지 쌍은 PC의 애플리케이션에 의해 판독될 수 있고 무선 연결을 통해 한 쌍의 AR 및/또는 VR 안경에 실시간으로 전송될 수 있다. 여기서, 안경의 좌측 스테레오 채널은 시청자의 좌측 눈에 디스플레이되고, 안경의 우측 스테레오 채널은 우측 눈에 디스플레이될 수 있다. 동시에, PC에 또한 연결될 수 있는 환자 모니터를 통해 이미지가 보여질 수 있다. 임상의(10)는 환자의 입을 통해 구강내 카메라(16)를 안내할 수 있다. 치과 의사가 조수에게 각각의 결과를 치아별로 지시하는 동안, 환자는 각각의 영역/치아의 공간적으로 디스플레이되고 확장된 표현을 수신한다.
상기 설명의 관점에서, 본 명세서에 기술된 예시적인 실시예는 확대된 치과 치료 부위를 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체를 제공한다는 것을 알 수 있다.
달리 정의되지 않는 한, 여기에 사용된 모든 기술 및 과학 용어는 본 발명이 속하는 기술 분야의 통상의 기술자가 일반적으로 이해하는 것과 동일한 의미를 갖는다. 본원에 기술된 것과 유사하거나 동등한 방법 및 재료가 본 개시내용의 실행 또는 시험에 사용될 수 있지만, 적합한 방법 및 재료가 위에 기술되어 있다. 여기에 언급된 모든 간행물, 특허 출원, 특허 및 기타 참고 문헌은 적용가능한 법률 및 규정에서 허용하는 범위 내에서 그 전체가 참조에 의해 포함된다. 본 개시는 그 사상 또는 본질적인 속성을 벗어나지 않으면서 다른 특정한 형태로 구체화될 수 있으며, 따라서 본 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 간주되는 것이 바람직할 것이다. 설명에 사용된 모든 제목은 편의를 위한 것이며 법적 또는 제한적 효과가 없다.
Claims (18)
- 확대된 치과 치료 부위를 가시화하는 방법에 있어서.
구강내(intra-oral) 카메라로부터 스테레오 이미지의 데이터 스트림을 획득하는 단계 - 상기 스테레오 이미지의 데이터 스트림은 상이한 시점으로부터 치과 치료 부위를 오프셋하고 보여주는 스테레오 이미지 쌍의 데이터 스트림임 - ;
상기 스테레오 이미지의 데이터 스트림을 확대하는 단계; 및
상기 스테레오 이미지의 확대된 데이터 스트림의 우측 및 좌측 부분을 제1 디스플레이 디바이스의 사용자의 시야에 투사하여 3D 깊이의 지각(perception)을 갖는 치과 치료 부위의 결합된 뷰(combined view)를 생성하는 단계
를 포함하는, 확대된 치과 치료 부위를 가시화하는 방법. - 제1항에 있어서,
상기 스테레오 이미지의 확대된 데이터 스트림은 상기 사용자의 시야에 대해 고정된 거리 및 배향으로 투사되는 것인, 확대된 치과 치료 부위를 가시화하는 방법. - 제1항에 있어서,
시각화 정보가 상기 사용자의 시야에 대해 가변 거리 및 배향으로 투사되는 것인, 확대된 치과 치료 부위를 가시화하는 방법. - 제3항에 있어서,
상기 시각화 정보는 배율 레벨, 해상도 및 작업 거리 중 적어도 하나를 포함하는 것인, 확대된 치과 치료 부위를 가시화하는 방법. - 제1항에 있어서,
상기 스테레오 이미지의 데이터 스트림은 미리 결정된 배율 레벨에 따라 확대되는 것인, 확대된 치과 치료 부위를 가시화하는 방법. - 제1항에 있어서,
진단 목적을 위해 상기 스테레오 이미지의 데이터 스트림의 콘트라스트를 향상시키거나 색 공간 변환을 사용함으로써 이미지 콘텐츠를 변경하는 단계
를 더 포함하는, 확대된 치과 치료 부위를 가시화하는 방법. - 제1항에 있어서,
상기 스테레오 이미지의 데이터 스트림은 실시간으로 획득되는 것인, 확대된 치과 치료 부위를 가시화하는 방법. - 제3항에 있어서,
상기 시야 내의 미리 결정된 부위 상에 증강(augmentation)으로서 상기 시각화 정보를 오버레이하여 상기 시각화 정보가 미리 결정된 부위 상에 직접 중첩되어 나타나게 하는 단계
를 더 포함하는, 확대된 치과 치료 부위를 가시화하는 방법. - 제1항에 있어서,
가상 현실에 적응된 제2 디스플레이 디바이스를 사용하여 가상 객체로서 상기 스테레오 이미지의 확대된 데이터 스트림을 투사하는 단계
를 더 포함하는, 확대된 치과 치료 부위를 가시화하는 방법. - 제1항에 있어서,
상기 구강내 카메라의 하나의 스테레오 채널로부터의 상기 확대된 데이터 스트림을 모니터 상에 디스플레이하는 단계
를 더 포함하는, 확대된 치과 치료 부위를 가시화하는 방법. - 제8항에 있어서,
(i) 상기 구강내 카메라로부터의 실시간 출력 데이터, (ii) 임상의 움직임을 추적하는 실시간 데이터, 및 (iii) 환자 움직임을 추적하는 실시간 데이터로 구성된 그룹으로부터 선택되는 데이터를 기반하여 상기 증강을 업데이트하는 단계
를 더 포함하는, 확대된 치과 치료 부위를 가시화하는 방법. - 확대된 치과 치료 부위를 가시화하는 시스템에 있어서,
단계들을 수행하도록 구성된 적어도 하나의 프로세서
를 포함하고,
상기 단계들은,
구강내 카메라로부터 스테레오 이미지의 데이터 스트림을 획득하는 단계 - 상기 스테레오 이미지의 데이터 스트림은 상이한 시점으로부터 치과 치료 부위를 오프셋하고 보여주는 스테레오 이미지 쌍의 데이터 스트림임 - ;
상기 스테레오 이미지의 데이터 스트림을 확대하는 단계; 및
상기 스테레오 이미지의 확대된 데이터 스트림의 우측 및 좌측 부분을 제1 디스플레이 디바이스의 사용자의 시야에 투사하여 3D 깊이의 지각을 갖는 치과 치료 부위의 결합된 뷰를 생성하는 단계
를 포함하는 것인, 확대된 치과 치료 부위를 가시화하는 시스템. - 제12항에 있어서,
상기 스테레오 이미지의 확대된 데이터 스트림은 상기 사용자의 시야에 대해 고정된 거리 및 배향으로 투사되는 것인, 확대된 치과 치료 부위를 가시화하는 시스템. - 제12항에 있어서,
시각화 정보가 상기 사용자의 시야에 대해 가변 거리 및 배향으로 투사되는 것인, 확대된 치과 치료 부위를 가시화하는 시스템. - 제12항에 있어서,
상기 스테레오 이미지의 데이터 스트림은 미리 결정된 배율 레벨에 따라 확대되는 것인, 확대된 치과 치료 부위를 가시화하는 시스템. - 제12항에 있어서,
진단 목적을 위해 상기 스테레오 이미지의 데이터 스트림의 콘트라스트를 향상시키거나 색 공간 변환을 사용함으로써 이미지 콘텐츠를 변경하는 단계
를 더 포함하는, 확대된 치과 치료 부위를 가시화하는 시스템. - 제12항에 있어서,
상기 스테레오 이미지의 데이터 스트림은 실시간으로 획득되는 것인, 확대된 치과 치료 부위를 가시화하는 시스템. - 프로그램을 저장하는 비일시적 컴퓨터 판독가능 저장 매체에 있어서,
상기 프로그램은, 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 프로시져를 수행하게 하고,
상기 프로시져는,
구강내 카메라로부터 스테레오 이미지의 데이터 스트림을 획득하는 단계 - 상기 스테레오 이미지의 데이터 스트림은 상이한 시점으로부터 치과 치료 부위를 오프셋하고 보여주는 스테레오 이미지 쌍의 데이터 스트림임 - ;
상기 스테레오 이미지의 데이터 스트림을 확대하는 단계; 및
상기 스테레오 이미지의 확대된 데이터 스트림의 우측 및 좌측 부분을 제1 디스플레이 디바이스의 사용자의 시야에 투사하여 3D 깊이의 지각을 갖는 치과 치료 부위의 결합된 뷰를 생성하는 단계
를 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/179,556 US11445165B1 (en) | 2021-02-19 | 2021-02-19 | Method, system and computer readable storage media for visualizing a magnified dental treatment site |
| US17/179,556 | 2021-02-19 | ||
| PCT/US2022/016091 WO2022177813A1 (en) | 2021-02-19 | 2022-02-11 | Method, system and computer readable storage media for visualizing a magnified dental treatment site |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230147088A true KR20230147088A (ko) | 2023-10-20 |
Family
ID=80820276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237028357A KR20230147088A (ko) | 2021-02-19 | 2022-02-11 | 확대된 치과 치료 부위를 시각화하기 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11445165B1 (ko) |
| EP (1) | EP4294244A1 (ko) |
| JP (1) | JP2024508275A (ko) |
| KR (1) | KR20230147088A (ko) |
| CN (1) | CN116916805A (ko) |
| WO (1) | WO2022177813A1 (ko) |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1356413A2 (en) | 2000-10-05 | 2003-10-29 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
| US7433505B2 (en) | 2005-11-01 | 2008-10-07 | Ben Yoo | Method of dental microscopic procedure |
| WO2009089125A2 (en) * | 2008-01-04 | 2009-07-16 | 3M Innovative Properties Company | Navigating among images of an object in 3d space |
| JP5390377B2 (ja) * | 2008-03-21 | 2014-01-15 | 淳 高橋 | 三次元デジタル拡大鏡手術支援システム |
| US8120847B2 (en) | 2009-05-14 | 2012-02-21 | General Scientific Corporation | Through-the-lens loupe assembly with interpupillary distance adjustment |
| KR101190265B1 (ko) | 2009-06-30 | 2012-10-12 | 고려대학교 산학협력단 | 헤드 마운트 수술용 확대 장치 |
| FR2977469B1 (fr) * | 2011-07-08 | 2013-08-02 | Francois Duret | Dispositif de mesure tridimensionnelle utilise dans le domaine dentaire |
| US9330477B2 (en) * | 2011-09-22 | 2016-05-03 | Digital Surgicals Pte. Ltd. | Surgical stereo vision systems and methods for microsurgery |
| US20130295518A1 (en) | 2012-03-29 | 2013-11-07 | William S. Parker | Apparatus and Method for Achieving a Head Up Posture for a 3-D Video Image for Operative Procedures in Dentistry |
| WO2013180773A1 (en) * | 2012-06-01 | 2013-12-05 | Ultradent Products, Inc. | Stereoscopic video imaging |
| RU124555U1 (ru) | 2012-07-02 | 2013-02-10 | Игорь Ильич Кинаш | Оптико-электронный комплекс визуализации эндодентальных лечебных мероприятий |
| US9729831B2 (en) | 2012-11-29 | 2017-08-08 | Sony Corporation | Wireless surgical loupe |
| CN104813219A (zh) | 2012-11-19 | 2015-07-29 | 橙子牙科有限两合公司 | 具有显示系统的放大镜 |
| KR101591937B1 (ko) | 2014-02-11 | 2016-02-05 | (주)그린광학 | 수술용 헤드 마운트 디스플레이 |
| US10849710B2 (en) | 2014-02-21 | 2020-12-01 | The University Of Akron | Imaging and display system for guiding medical interventions |
| FR3021518A1 (fr) | 2014-05-27 | 2015-12-04 | Francois Duret | Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie |
| WO2016108276A1 (ja) | 2014-12-29 | 2016-07-07 | タカラテレシステムズ株式会社 | 歯科用光学撮影装置 |
| WO2016106614A1 (zh) | 2014-12-30 | 2016-07-07 | 深圳市圆梦精密技术研究院 | 牙医手术用戴式可视结构 |
| CN204427992U (zh) | 2014-12-30 | 2015-07-01 | 深圳市圆梦精密技术研究院 | 牙医手术用戴式可视结构 |
| US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
| DE102015212806A1 (de) | 2015-07-08 | 2017-01-12 | Sirona Dental Systems Gmbh | System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses |
| US10222619B2 (en) | 2015-07-12 | 2019-03-05 | Steven Sounyoung Yu | Head-worn image display apparatus for stereoscopic microsurgery |
| US10542946B2 (en) * | 2016-02-01 | 2020-01-28 | Marco Martin | Dental imager and method for recording photographic impressions |
| US10540910B2 (en) | 2016-06-06 | 2020-01-21 | New York University | Haptic-based dental simulationrpb |
| US10695150B2 (en) * | 2016-12-16 | 2020-06-30 | Align Technology, Inc. | Augmented reality enhancements for intraoral scanning |
| US20210361387A1 (en) * | 2017-06-09 | 2021-11-25 | Dental Monitoring | Method of evaluating an orthodontic appliance |
| US11348257B2 (en) * | 2018-01-29 | 2022-05-31 | Philipp K. Lang | Augmented reality guidance for orthopedic and other surgical procedures |
-
2021
- 2021-02-19 US US17/179,556 patent/US11445165B1/en active Active
-
2022
- 2022-02-11 EP EP22711710.8A patent/EP4294244A1/en active Pending
- 2022-02-11 WO PCT/US2022/016091 patent/WO2022177813A1/en active Application Filing
- 2022-02-11 CN CN202280015731.6A patent/CN116916805A/zh active Pending
- 2022-02-11 JP JP2023550012A patent/JP2024508275A/ja active Pending
- 2022-02-11 KR KR1020237028357A patent/KR20230147088A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024508275A (ja) | 2024-02-26 |
| CN116916805A (zh) | 2023-10-20 |
| US11445165B1 (en) | 2022-09-13 |
| US20220272315A1 (en) | 2022-08-25 |
| WO2022177813A1 (en) | 2022-08-25 |
| EP4294244A1 (en) | 2023-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109758230B (zh) | 一种基于增强现实技术的神经外科手术导航方法和系统 | |
| US20200059640A1 (en) | Systems and methods for mediated-reality surgical visualization | |
| AU2016290620B2 (en) | System and method for scanning anatomical structures and for displaying a scanning result | |
| US7774044B2 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| US20140022283A1 (en) | Augmented reality apparatus | |
| US20020082498A1 (en) | Intra-operative image-guided neurosurgery with augmented reality visualization | |
| US20220192800A1 (en) | Method and system for guiding an intra-oral scan | |
| EP3689287B1 (en) | System for proposing and visualizing dental treatments | |
| US11822089B2 (en) | Head wearable virtual image module for superimposing virtual image on real-time image | |
| EP4355876A1 (en) | Augmented reality system for real space navigation and surgical system using the same | |
| US11445165B1 (en) | Method, system and computer readable storage media for visualizing a magnified dental treatment site | |
| US11771506B2 (en) | Method and system for controlling dental machines | |
| TW202418223A (zh) | 在即時影像上疊加虛擬影像的頭戴式虛擬影像模組 |