KR20200100448A - 임플란트 진단용 영상 정합을 위한 장치 및 방법 - Google Patents
임플란트 진단용 영상 정합을 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR20200100448A KR20200100448A KR1020190018752A KR20190018752A KR20200100448A KR 20200100448 A KR20200100448 A KR 20200100448A KR 1020190018752 A KR1020190018752 A KR 1020190018752A KR 20190018752 A KR20190018752 A KR 20190018752A KR 20200100448 A KR20200100448 A KR 20200100448A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stent
- void
- tooth
- deep learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000007943 implant Substances 0.000 title claims abstract description 47
- 238000003745 diagnosis Methods 0.000 title claims abstract description 44
- 238000013461 design Methods 0.000 claims abstract description 72
- 238000013135 deep learning Methods 0.000 claims abstract description 65
- 239000011148 porous material Substances 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 239000013013 elastic material Substances 0.000 claims abstract description 20
- 239000011800 void material Substances 0.000 claims description 86
- 210000000515 tooth Anatomy 0.000 claims description 67
- 210000001847 jaw Anatomy 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 43
- 238000010146 3D printing Methods 0.000 claims description 23
- 239000000463 material Substances 0.000 claims description 23
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 17
- 210000000988 bone and bone Anatomy 0.000 claims description 13
- 238000002600 positron emission tomography Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 13
- 210000004373 mandible Anatomy 0.000 claims description 11
- 238000007639 printing Methods 0.000 claims description 8
- 239000011505 plaster Substances 0.000 claims description 7
- 239000002775 capsule Substances 0.000 claims description 6
- 239000007788 liquid Substances 0.000 claims description 6
- 210000002050 maxilla Anatomy 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 210000004359 mandibular condyle Anatomy 0.000 claims description 3
- 210000000276 neural tube Anatomy 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 21
- 238000007408 cone-beam computed tomography Methods 0.000 description 18
- 239000003550 marker Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002285 radioactive effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 208000002354 Edentulous Jaw Diseases 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 210000004513 dentition Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000036346 tooth eruption Effects 0.000 description 2
- 239000000899 Gutta-Percha Substances 0.000 description 1
- 240000000342 Palaquium gutta Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- -1 etc. Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229920000588 gutta-percha Polymers 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/14—Applications or adaptations for dentistry
-
- A61B6/51—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30052—Implant; Prosthesis
Abstract
본 발명은 탄성물질을 이용하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법에 관한 것으로, 환자의 치아 부위를 촬영하여 제공하는 영상 제공부;상기 영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출부;상기 스텐트 설계값 산출부의 설계값을 이용하여 제적된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출부;공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합부;를 포함하는 것이다.
Description
본 발명은 임플란트 진단용 영상 처리에 관한 것으로, 구체적으로 탄성물질을 이용하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법에 관한 것이다.
치과용 임플란트는 단일 결손치 수복은 물론이거니와 부분 무치아 및 완전 무치아 환자에게 의치의 기능을 증진시키고, 치아 보철 수복의 심미적인 면을 개선시키며, 나아가 주위의 지지골 조직에 가해지는 과도한 응력을 분산시킴과 아울러 치열의 안정화에 도움을 준다.
통상적으로 임플란트 시술시에 치은을 절개하여 치조골을 노출시킨 후 그 위에 직접 드릴 등을 이용하여 천공을 하는 경우, 천공 작업을 수행할 정확한 위치 및 방향을 정확하게 파악하기 곤란하므로 통상적으로 스텐트(stent)라고 하는 보조 기구를 사용하고 있다.
한편, 임플란트 시술 과정에서 임플란트 시술의 정확성을 높이기 위해 모의시술 및 시술계획이 수반된다.
이러한 모의시술 및 시술계획에는 피시술자의 구강 영역에 대한 정확한 데이터가 필수적이다.
일반적으로 피시술자의 구강 영역에 대한 데이터를 획득하기 위해 피시술자의 구강 영역을 컴퓨터 단층촬영(Computed Tomography, CT) 기구로 촬영하여 입체 영상 데이터를 획득하는 방식이 사용된다.
그런데 컴퓨터 단층촬영(Computed Tomography, CT) 기구에서 획득된 CT 데이터는 피시술자의 뼈 형상 등을 정확하게 파악할 수 있는 장점에 비하여, 잇몸의 형상을 정확히 파악하기 어렵고 피시술자의 구강 내부에 마련되는 다양한 형태의 보철물 및 보형물에 의해 영상이 왜곡될 수 있는 문제가 있다.
따라서 인상재를 이용하여 획득된 피시술자의 구강 내부 형상으로 제작된 치아 석고 본 3차원 스캐너 등으로 스캔하여 스캔 데이터를 획득된 한 후, CT 데이터와 스캔 데이터를 중첩하여 CT 데이터에서 피시술자의 구강 내부 영역을 스캔 데이터로 대체한 하이브리드 데이터가 모의시술에 사용되고 있다.
이와 같이 임플란트, 양악 수술, 교정 등과 같은 치아 부근의 수술시 상세한 수술 계획을 위해서는 정확한 의료 영상획득이 필요하다.
환자의 의료 영상 획득을 위해 컴퓨터단층촬영(CT)이 사용되었고, 최근 치아 영상을 획득하는데 있어 CBCT(Cone-Beam Computed Tomography)의 대중화로 인하여 많은 치아기관에서 환자의 진단을 위해 CBCT를 많이 사용하고 있다.
CT 및 CBCT를 이용한 종래의 치아 영상 획득 과정에서는 피부와 뼈는 비교적 쉽게 추출이 가능하다. 하지만 치아의 경우, 그 자체로 명확히 나오지 않을 뿐만 아니라, 치아 또는 치아 부근에 교정장치, 보철물 등과 같은 금속 물질이 존재하는 경우에는 치아부위의 CT 영상에 잔상이나 허상과 같은 위상(노이즈)이 포함되며, 이러한 노이즈로 인한 데이터 손실로 인해 치아의 정확한 형상이 아닌 왜곡된 치아 영상을 획득할 확률이 높다.
이를 극복하기 위해, 종래의 기술은, 입천장 고정형 마커를 제작하여 환자의 입안에 고정한 후 CT 등의 영상을 촬영하고, 환자 치아의 인상을 제작하여 또 다른 마커를 인상에 고정한 후 광학식 스캔을 하는 과정을 진행하여, 각 스캔 데이터에 동시에 존재하는 마커를 통해 좌표계 정합하는 방식을 사용한다.
또 다른 종래 기술은, 바이트에 마커를 부착하여 환자가 물고 CBCT를 촬영하고 바이트만 독립적으로 높은 출력의 CBCT를 촬영하고, 바이트를 광학식 스캔하고, 환자 치아를 광학식 스캔한 후, 마커 기준 정합, 모델 표면 기준 정합을 수행하여 결과적으로 치아 모델을 환자의 CBCT영상에 정합하는 방식을 사용한다.
또 다른 종래의 기술은 정확한 구조를 가지는 치아 영상을 획득하기 위해 CBCT를 여러 번 사용하는데, 이는 환자에게 노출되는 방사선 피폭량이 증가되는 문제가 있다.
이상에서 설명한 바와 같이 종래 기술에서는 임플란트 시술을 위하여, 수동 혹은 반자동으로 영상을 정합하려는 시도들이 이루어져 왔지만, 추가적인 시간이 필요하고 전문 인력이 정합을 하는 경우에도 결과에 오차가 발생하는 등 문제가 많아 실제 임상에서 이용되고 있지 못하고 있는 실정이다.
특히, 이전의 정합용 스텐트(stent)는 레진 계열의 비탄성 재료를 기반으로 하여, 언더컷(undercut), 내부의 미세 요철 등 스텐트와 치아 구조 사이의 풀시팅(full sitting)을 방해하는 요인들로 인해 정확한 정합이 어려웠다.
또한, 정합의 마커(marker)로 쓰이는 물질도 거터포챠(gutta percha) 등 아티팩트(artifact)가 나타나는 물질을 이용하여 정확한 정합에 방해 요인이 되었다.
추적 관찰 체크(follow up check)를 위해 여러 번 촬영되는 CT, CBCT, MRI 영상기법(imaging modality)에서 여러 기법간의 정합을 위한 스텐트의 개발 역시 이루어지지 못하였다.
따라서, 서로 다른 목적으로 여러 번 사용되는 CT, CBCT, MRI 영상기법(imaging modality)들 간의 정합을 위한 스텐트의 개발 및 이를 이용한 임플란트 진단용 영상 정합을 위한 기술의 개발이 요구되고 있다.
본 발명은 종래 기술의 임플란트 진단용 영상 정합 기술의 문제점을 해결하기 위한 것으로, 탄성물질을 이용하여 스텐트를 제조하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 탄성이 있는 스텐트와 3차원 영상으로부터 영상 처리를 통하여 정확하게 자동으로 정합을 할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 CT, CBCT, PET, MRI 등의 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 공극(air hole)이나 특정 밀도의 물질을 마커로 이용하여 아티팩트(artifact)가 없고 한 가지 물질이나 두 가지 이상의 물질을 이용해 인쇄 가능한 정합용 스텐트를 제공할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치는 환자의 치아 부위를 촬영하여 제공하는 영상 제공부;상기 영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출부;상기 스텐트 설계값 산출부의 설계값을 이용하여 제적된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출부;공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합부;를 포함하는 것을 특징으로 한다.
여기서, 상기 영상 제공부는 치아 부위 영상을 제공하기 위하여, CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것을 특징으로 한다.
그리고 상기 공극 좌표 검출부는 공극 검출 범위를 줄이기 위하여, 2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출부와, 스텐트 검출부에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출부를 포함하는 것을 특징으로 한다.
그리고 상기 스텐트 설계값 산출부는, 3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것을 특징으로 한다.
그리고 상기 스텐트 설계값 산출부는, 영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리부와,치아 분할 처리부에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성부와,공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계부와,상기 공극 설계부에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅부를 포함하는 것을 특징으로 한다.
그리고 상기 공극 설계부는, 지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 것을 특징으로 한다.
그리고 상기 3D 프린팅부는, 공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 임플란트 진단용 영상 정합을 위한 방법은 환자의 치아 부위를 촬영하여 제공하는 영상 제공 단계;상기 영상 제공 단계로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출 단계;상기 스텐트 설계값 산출 단계의 설계값을 이용하여 제적된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출 단계;공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합 단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 영상 제공 단계에서 치아 부위 영상을 제공하기 위하여, CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것을 특징으로 한다.
그리고 상기 공극 좌표 검출 단계에서 공극 검출 범위를 줄이기 위하여, 2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출 단계와, 스텐트 검출 단계에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출 단계를 포함하는 것을 특징으로 한다.
그리고 상기 스텐트 설계값 산출 단계에서, 3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것을 특징으로 한다.
그리고 상기 스텐트 설계값 산출 단계는, 상기 영상 제공 단계를 통하여 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리 단계와,치아 분할 처리 단계에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성 단계와,공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계 단계와,상기 공극 설계 단계에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅 단계를 포함하는 것을 특징으로 한다.
그리고 상기 공극 설계 단계는, 지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 것을 특징으로 한다.
그리고 상기 3D 프린팅 단계는, 공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것을 특징으로 한다.
그리고 상기 치아 분할 처리 단계에서 학습 효율 및 정확도 향상을 위하여,딥러닝 네트워크로 학습하여 condyle 하악체 별로 악골을 분할하고, 상악,하악,치아번호 별로 치아를 분할하고, 신경관을 분할하고, 악골과 치아의 영역을 나누기 위해 먼저 sagittal, coronal MIP 이미지에서 각각의 상악, 하악, condyle, 하악체, alveolar bone 영역부터 학습시키고, 학습된 각 영역내부에서 3D axial, coronal, sagittal 이미지를 학습시키는 것을 특징으로 한다.
그리고 서로 다른 종류의 기계에서 학습된 딥러닝 네트워크를 사용 가능하도록 하기 위하여 히스토그램 매칭(histogram maching)을 통해 영상의 회색조 분포를 일치시켜 전이 학습(transfer learning)의 효율을 높이는 것을 특징으로 한다.
그리고 상기 3차원 영상 정합 단계에서 영상 정합을 위하여, 부분무치악 및 무치악에서 교합면을 기준으로 자동 plane reorientation이 이루어지도록 하고, 교합평면의 높이, 각도 결정은 치관의 중선 라인을 보조선으로 수정한 데이터를 딥러닝 네트워크를 이용하여 학습하는 것에 의해 결정되도록 하는 것을 특징으로 한다.
그리고 상기 3차원 영상 정합 단계에서 영상 정합을 위하여, 치관과 악골 정보를 모두 활용한 reformation을 수행하고, 유치악 부위는 치관부가 끝나는 지점의 치조골정을 기준으로, 무치악 부위는 일정 두께(4mm)까지의 해당 치조골 MIP(axial) 이미지를 기준으로 arch를 그릴 이상적인 악궁을 형성한 후, 악궁의 중심 라인을 구해 arch를 생성하거나, 3D 이미지 전체 또는 전체 Axial MIP image에서 arch 학습을 하는 것을 특징으로 한다.
그리고 상기 3차원 영상 정합 단계에서, 영상 정합에 의해 condyle의 형태에 따른 자동 reformation 및 3D view 생성을 하고, 이는 하악의 axial MIP image에서 condyle 장축을 기준으로 그에 평행한 frontal view와 수직인 lateral view를 생성하고, 동시에 분리된 양쪽 condyle을 3D로 나타내도록 하는 것을 특징으로 한다.
그리고 상기 3차원 영상 정합 단계에서, 분리된 악골의 intensity를 이용할 수 있고, 이는 딥러닝을 통해 악골을 분할한 것을 마스크로 하여 악골이 아닌 영역을 삭제한 후, 악골의 intensity 정보를 이용하여 intensity based registration하여 두 번 이상 촬영한 동일 환자의 이미지를 정합해서 저장 후 reformation해서 나타내도록 하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 탄성물질을 이용하여 스텐트를 제조하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하도록 한다.
둘째, 탄성이 있는 스텐트와 3차원 영상으로부터 영상 처리를 통하여 정확하게 자동으로 정합을 할 수 있도록 한다.
셋째, CT, CBCT, PET, MRI 등의 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한다.
넷째, 공극(air hole)이나 특정 밀도의 물질을 마커로 이용하여 아티팩트(artifact)가 없고 한 가지 물질이나 두 가지 이상의 물질을 이용해 인쇄 가능한 정합용 스텐트를 제공할 수 있다.
도 1은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치의 구성도
도 2는 본 발명에 따른 스텐트 설계값 산출부의 상세 구성도
도 3은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 방법을 나타낸 플로우 차트
도 2는 본 발명에 따른 스텐트 설계값 산출부의 상세 구성도
도 3은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 방법을 나타낸 플로우 차트
이하, 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치의 구성도이고, 도 2는 본 발명에 따른 스텐트 설계값 산출부의 상세 구성도이다.
본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법은 탄성물질을 이용하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 것이다.
의료 및 치과 영역에서 추적 관찰(follow up)을 위해 시리얼하게 환자를 촬영을 하는 경우에 위치가 달라져서 진단 및 치료계획 수립 시의 어려움을 겪게 된다.
두 이미지를 같은 원점(origin)과 방향(orientation)으로 맞추는 정합(registration)은 이런 문제를 근본적으로 해결해 줄 수 있는 영상처리 기법이다.
본 발명은 탄성물질을 이용하여 스텐트를 제적하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 공극 (air hole)이나 특정 밀도의 물질을 마커로 이용하여 아티팩트(artifact)가 없고 한 가지 물질이나 두 가지 이상의 물질을 이용해 인쇄 가능한 정합용 스텐트를 개발하여, CT, CBCT, PET, MRI 등의 여러 영상 기법에서 간단하고도 정확한 정합을 할 수 있도록 한 것이다.
이를 위하여 본 발명은 정합의 마커로 사용가능한 탄성 재질의 스텐트를 설계하는 구성를 포함할수 있다.
본 발명은 탄성 스텐트를 장착하고 환자 이미지를 시리얼하게 촬영하고, 악골을 이용한 영역 한정 또는 악골을 이용하지 않고 스텐트를 분할 처리 또는 공극을 직접 분할 처리(segmentation)를 하여 딥러닝(deep learning)을 사용하여 공극의 위치를 학습하는 구성 및 공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 구성을 포함할 수 있다.
본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치는 도 1에서와 같이, 환자의 치아 부위를 촬영하여 제공하는 영상 제공부(10)와, 영상 제공부(10)로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출부(20)와, 스텐트 설계값 산출부(20)의 설계값을 이용하여 제적된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출부(30)와, 공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합부(40)를 포함한다.
여기서, 영상 제공부(10)는 치아 부위 영상을 제공하기 위하여 CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것이 바람직하고, 이로 제한되지 않는다.
그리고 공극 좌표 검출부(30)는 공극 검출 범위를 줄이기 위하여 2차원 영상을 이용하는 방법으로, Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로, 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출부(30a)와, 스텐트 검출부(30a)에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출부(30b)를 포함한다.
그리고 스텐트 설계값 산출부(20)는 3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것이 바람직하다.
그리고 스텐트 설계값 산출부(20)는 도 2에서와 같이, 영상 제공부(10)로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리부(21)와, 치아 분할 처리부(21)에서 분할 처리된 치아와 주변 악골 상방에 3~10mm 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)등의 딥러닝으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성부(22)와, 지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 공극 설계부(23)와, 공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성의 물질(액체나 플라즈마, 방사선 동위원소 등)을 주입하여 스텐트를 3D 프린팅하는 3D 프린팅부(24)를 포함한다.
여기서, 치아 분할 처리부(21)에서 학습 효율 및 정확도 향상을 위하여, 딥러닝 네트워크로 학습하여 condyle 하악체 별로 악골을 분할하고, 상악,하악,치아번호 별로 치아를 분할하고, 신경관을 분할한다.
그리고 악골과 치아의 영역을 나누기 위해 먼저 sagittal, coronal MIP 이미지에서 각각의 상악, 하악, condyle, 하악체, alveolar bone 영역부터 학습시키고, 학습된 각 영역내부에서 3D axial, coronal, sagittal 이미지를 학습시킨다.
그리고 다른 종류의 기계(CBCT, MRI)에서 학습된 딥러닝 네트워크를 사용가능하게 해주는 히스토그램 매칭(histogram maching)을 통해 영상의 회색조 분포를 일치시켜 전이 학습(transfer learning)의 효율을 높일 수 있도록 한다.
그리고 영상 정합을 위하여, 부분무치악 및 무치악에서 교합면을 기준으로 자동 plane reorientation이 이루어지도록 하고, 교합평면의 높이, 각도 결정은 치관의 중선 라인을 보조선으로 수정한 데이터를 딥러닝 네트워크를 이용하여 학습하는 것에 의해 결정되도록 한다.
그리고 영상 정합을 위하여, 치관과 악골 정보를 모두 활용한 reformation을 수행하고, 유치악 부위는 치관부가 끝나는 지점의 치조골정을 기준으로, 무치악 부위는 일정 두께(4mm)까지의 해당 치조골 MIP(axial) 이미지를 기준으로 arch를 그릴 이상적인 악궁을 형성한 후, 악궁의 중심 라인을 구해 arch를 생성하거나, 3D 이미지 전체 또는 전체 Axial MIP image에서 arch 학습을 한다.
그리고 영상 정합에 의해 condyle의 형태에 따른 자동 reformation 및 3D view 생성을 하고, 이는 하악의 axial MIP image에서 condyle 장축을 기준으로 그에 평행한 frontal view와 수직인 lateral view를 생성하고, 동시에 분리된 양쪽 condyle을 3D로 나타낸다.
그리고 영상 정합을 위하여 분리된 악골의 intensity를 이용할 수 있고, 이는 딥러닝을 통해 악골을 분할한 것을 마스크로 하여 악골이 아닌 영역을 삭제한 후, 악골의 intensity 정보를 이용하여 intensity based registration하여 두 번 이상 촬영한 동일 환자의 이미지를 정합해서 저장 후 reformation해서 나타낸다.
도 3은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 방법을 나타낸 플로우 차트이다.
본 발명에 따른 임플란트 진단용 영상 정합을 위한 방법은 크게 환자의 치아 부위를 촬영하여 제공하는 영상 제공 단계와, 상기 영상 제공 단계로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출 단계와,상기 스텐트 설계값 산출 단계의 설계값을 이용하여 제적된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출 단계와, 공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합 단계를 포함한다.
여기서, 상기 공극 좌표 검출 단계에서 공극 검출 범위를 줄이기 위하여, 2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출 단계와, 스텐트 검출 단계에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출 단계를 포함한다.
그리고 상기 스텐트 설계값 산출 단계에서, 3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것이 바람직하다.
그리고 상기 스텐트 설계값 산출 단계는, 영상 제공 단계를 통하여 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리 단계와,치아 분할 처리 단계에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성 단계와,공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계 단계와, 상기 공극 설계 단계에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅 단계를 포함한다.
여기서, 공극 설계 단계는, 지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 것이다.
그리고 상기 3D 프린팅 단계는, 공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것이 바람직하다.
구체적으로, 도 3에서와 같이, CT, CBCT, MRI 등을 촬영 혹은 석고 모형을 레이저 스캐닝(laser scanning)하여 획득된 3차원 이미지를 딥러닝을 이용하여 악골 및 치아를 분할(segmentation)한다.(S301)
이어, 분할된 치아와 주변 악골 상방에 3~10mm 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 딥러닝으로 학습시켜, 스텐트의 외형을 자동으로 생성되도록 한다.(S302)
그리고 공극 수 및 공극 위치, 크기 및 모양의 설계값을 산출하고(S303), 탄성 재질로 3D 프린팅하여 스텐트 제작을 한다.(S304)
이어, 스텐트 장착 후 시리얼하게 환자 촬영을 하고(S305), 2차원 영상을 이용한 스텐트 영역 검출 또는 3차원 영상을 이용하여 스텐트 검출(S306) 및 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화후 공극을 검출 또는 3차원 영상에서 딥러닝으로 직접 공극을 검출하여 공극 좌표 산출을 한다.(S307)
그리고 산출된 공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합을 수행한다.(S308)
이상에서 설명한 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법은 탄성물질을 이용하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 영상 제공부
20. 스텐트 설계값 산출부
30. 공극 좌표 검출부
40. 3차원 영상 정합부
20. 스텐트 설계값 산출부
30. 공극 좌표 검출부
40. 3차원 영상 정합부
Claims (20)
- 환자의 치아 부위를 촬영하여 제공하는 영상 제공부;
상기 영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출부;
상기 스텐트 설계값 산출부의 설계값을 이용하여 제적된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출부;
공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합부;를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치. - 제 1 항에 있어서, 상기 영상 제공부는 치아 부위 영상을 제공하기 위하여,
CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치. - 제 1 항에 있어서, 상기 공극 좌표 검출부는 공극 검출 범위를 줄이기 위하여,
2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출부와,
스텐트 검출부에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출부를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치. - 제 1 항에 있어서, 상기 스텐트 설계값 산출부는,
3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치. - 제 1 항에 있어서, 상기 스텐트 설계값 산출부는,
영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리부와,
치아 분할 처리부에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성부와,
공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계부와,
상기 공극 설계부에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅부를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치. - 제 5 항에 있어서, 상기 공극 설계부는,
지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고,
공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고,
지름 1mm에서 7mm까지의 공극의 크기를 결정하고,
공극의 모양을 구형 또는 다면체로 결정하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치. - 제 5 항에 있어서, 상기 3D 프린팅부는,
공극을 빈영역을 만들어 프린팅하거나,
밀도나 특성이 다른 물질로 동시에 프린팅하거나,
공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나,
인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치. - 환자의 치아 부위를 촬영하여 제공하는 영상 제공 단계;
상기 영상 제공 단계로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출 단계;
상기 스텐트 설계값 산출 단계의 설계값을 이용하여 제적된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출 단계;
공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합 단계;를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 8 항에 있어서, 상기 영상 제공 단계에서 치아 부위 영상을 제공하기 위하여,
CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 8 항에 있어서, 상기 공극 좌표 검출 단계에서 공극 검출 범위를 줄이기 위하여,
2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출 단계와,
스텐트 검출 단계에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출 단계를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 8 항에 있어서, 상기 스텐트 설계값 산출 단계에서, 3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.
- 제 8 항에 있어서, 상기 스텐트 설계값 산출 단계는,
상기 영상 제공 단계를 통하여 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리 단계와,
치아 분할 처리 단계에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성 단계와,
공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계 단계와,
상기 공극 설계 단계에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅 단계를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 12 항에 있어서, 상기 공극 설계 단계는,
지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 12 항에 있어서, 상기 3D 프린팅 단계는,
공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 12 항에 있어서, 상기 치아 분할 처리 단계에서 학습 효율 및 정확도 향상을 위하여,
딥러닝 네트워크로 학습하여 condyle 하악체 별로 악골을 분할하고, 상악,하악,치아번호 별로 치아를 분할하고, 신경관을 분할하고,
악골과 치아의 영역을 나누기 위해 먼저 sagittal, coronal MIP 이미지에서 각각의 상악, 하악, condyle, 하악체, alveolar bone 영역부터 학습시키고, 학습된 각 영역내부에서 3D axial, coronal, sagittal 이미지를 학습시키는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 15 항에 있어서, 서로 다른 종류의 기계에서 학습된 딥러닝 네트워크를 사용 가능하도록 하기 위하여 히스토그램 매칭(histogram maching)을 통해 영상의 회색조 분포를 일치시켜 전이 학습(transfer learning)의 효율을 높이는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.
- 제 8 항에 있어서, 상기 3차원 영상 정합 단계에서 영상 정합을 위하여,
부분무치악 및 무치악에서 교합면을 기준으로 자동 plane reorientation이 이루어지도록 하고, 교합평면의 높이, 각도 결정은 치관의 중선 라인을 보조선으로 수정한 데이터를 딥러닝 네트워크를 이용하여 학습하는 것에 의해 결정되도록 하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 8 항에 있어서, 상기 3차원 영상 정합 단계에서 영상 정합을 위하여,
치관과 악골 정보를 모두 활용한 reformation을 수행하고, 유치악 부위는 치관부가 끝나는 지점의 치조골정을 기준으로, 무치악 부위는 일정 두께(4mm)까지의 해당 치조골 MIP(axial) 이미지를 기준으로 arch를 그릴 이상적인 악궁을 형성한 후, 악궁의 중심 라인을 구해 arch를 생성하거나, 3D 이미지 전체 또는 전체 Axial MIP image에서 arch 학습을 하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 8 항에 있어서, 상기 3차원 영상 정합 단계에서,
영상 정합에 의해 condyle의 형태에 따른 자동 reformation 및 3D view 생성을 하고, 이는 하악의 axial MIP image에서 condyle 장축을 기준으로 그에 평행한 frontal view와 수직인 lateral view를 생성하고, 동시에 분리된 양쪽 condyle을 3D로 나타내도록 하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법. - 제 8 항에 있어서, 상기 3차원 영상 정합 단계에서,
분리된 악골의 intensity를 이용할 수 있고,
이는 딥러닝을 통해 악골을 분할한 것을 마스크로 하여 악골이 아닌 영역을 삭제한 후, 악골의 intensity 정보를 이용하여 intensity based registration하여 두 번 이상 촬영한 동일 환자의 이미지를 정합해서 저장 후 reformation해서 나타내도록 하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190018752A KR102215068B1 (ko) | 2019-02-18 | 2019-02-18 | 임플란트 진단용 영상 정합을 위한 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190018752A KR102215068B1 (ko) | 2019-02-18 | 2019-02-18 | 임플란트 진단용 영상 정합을 위한 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200100448A true KR20200100448A (ko) | 2020-08-26 |
| KR102215068B1 KR102215068B1 (ko) | 2021-02-10 |
Family
ID=72293374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190018752A KR102215068B1 (ko) | 2019-02-18 | 2019-02-18 | 임플란트 진단용 영상 정합을 위한 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102215068B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102310662B1 (ko) * | 2021-01-18 | 2021-10-12 | 주식회사 에이치디엑스윌 | 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치 |
| WO2022059929A1 (ko) * | 2020-09-21 | 2022-03-24 | 주식회사 메디트 | 의치 제작을 위한 교합고경 재현 방법 |
| WO2022075624A1 (ko) * | 2020-10-06 | 2022-04-14 | 오스템임플란트 주식회사 | 인공치아 구조물을 디스플레이하는 디바이스, 방법 및 이를 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110105896A1 (en) * | 2008-06-13 | 2011-05-05 | Koninklijke Philips Electronics N.V. | Multimodal imaging fiducial marker |
| KR20110068153A (ko) * | 2009-12-15 | 2011-06-22 | 삼성메디슨 주식회사 | 서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법 |
| KR20120124628A (ko) | 2011-05-04 | 2012-11-14 | 이태경 | 영상정보 정합을 위한 마커 |
| KR101473192B1 (ko) * | 2013-11-25 | 2014-12-16 | 주식회사 디오 | 임플란트용 가이드 스탠트 제조방법 |
| KR101675500B1 (ko) * | 2015-07-14 | 2016-11-11 | 주식회사 디오 | 무치악 환자의 치아 임플란트 시술을 위한 서지컬 가이드 및 그의 제조방법 |
| KR20180038320A (ko) | 2016-10-06 | 2018-04-16 | 주식회사 메가젠임플란트 | 임플란트 진단용 영상 생성 시스템 및 그 생성방법 |
| KR20180047850A (ko) | 2016-11-01 | 2018-05-10 | 한국과학기술연구원 | 3차원 치아 영상 데이터와 광학식 스캔 치아 모델의 선택적 정합 방법, 장치 및 프로그램 |
| WO2019002631A1 (en) * | 2017-06-30 | 2019-01-03 | Promaton Holding B.V. | 3D CLASSIFICATION AND MODELING OF 3D DENTO-MAXILLO-FACIAL STRUCTURES THROUGH DEEP LEARNING PROCESSES |
-
2019
- 2019-02-18 KR KR1020190018752A patent/KR102215068B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110105896A1 (en) * | 2008-06-13 | 2011-05-05 | Koninklijke Philips Electronics N.V. | Multimodal imaging fiducial marker |
| KR20110068153A (ko) * | 2009-12-15 | 2011-06-22 | 삼성메디슨 주식회사 | 서로 다른 영상간에 영상 정합을 수행하는 영상 정합 시스템 및 방법 |
| KR20120124628A (ko) | 2011-05-04 | 2012-11-14 | 이태경 | 영상정보 정합을 위한 마커 |
| KR101473192B1 (ko) * | 2013-11-25 | 2014-12-16 | 주식회사 디오 | 임플란트용 가이드 스탠트 제조방법 |
| KR101675500B1 (ko) * | 2015-07-14 | 2016-11-11 | 주식회사 디오 | 무치악 환자의 치아 임플란트 시술을 위한 서지컬 가이드 및 그의 제조방법 |
| KR20180038320A (ko) | 2016-10-06 | 2018-04-16 | 주식회사 메가젠임플란트 | 임플란트 진단용 영상 생성 시스템 및 그 생성방법 |
| KR20180047850A (ko) | 2016-11-01 | 2018-05-10 | 한국과학기술연구원 | 3차원 치아 영상 데이터와 광학식 스캔 치아 모델의 선택적 정합 방법, 장치 및 프로그램 |
| WO2019002631A1 (en) * | 2017-06-30 | 2019-01-03 | Promaton Holding B.V. | 3D CLASSIFICATION AND MODELING OF 3D DENTO-MAXILLO-FACIAL STRUCTURES THROUGH DEEP LEARNING PROCESSES |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022059929A1 (ko) * | 2020-09-21 | 2022-03-24 | 주식회사 메디트 | 의치 제작을 위한 교합고경 재현 방법 |
| WO2022075624A1 (ko) * | 2020-10-06 | 2022-04-14 | 오스템임플란트 주식회사 | 인공치아 구조물을 디스플레이하는 디바이스, 방법 및 이를 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체 |
| KR102310662B1 (ko) * | 2021-01-18 | 2021-10-12 | 주식회사 에이치디엑스윌 | 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치 |
| WO2022154523A1 (ko) * | 2021-01-18 | 2022-07-21 | 주식회사 에이치디엑스윌 | 딥러닝 기반 3d 특징점 탐지를 통한 3차원 구강 스캔 데이터 정합 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102215068B1 (ko) | 2021-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Elnagar et al. | Digital Workflow for Combined Orthodontics and Orthognathic Surgery. | |
| JP5374382B2 (ja) | 歯科用計画および生産のための方法およびシステム | |
| Reyes et al. | Accuracy of surgical guides made from conventional and a combination of digital scanning and rapid prototyping techniques | |
| US8682043B2 (en) | Method of merging anatomical data and surface data of a patient's dentition | |
| ES2717447T3 (es) | Creación asistida por ordenador de una preparación de diente habitual usando análisis facial | |
| JP5857108B2 (ja) | 仮想計画のための改善されたデータマッチングを提供する方法およびシステム | |
| US8425229B2 (en) | Method and system for dental planning | |
| de Waard et al. | A novel method for fusion of intra-oral scans and cone-beam computed tomography scans for orthognathic surgery planning | |
| Pozzi et al. | The smiling scan technique: Facially driven guided surgery and prosthetics | |
| AU2013314689A1 (en) | An improved virtual splint | |
| AU2013314690A1 (en) | A digital splint | |
| Ye et al. | Integration accuracy of laser-scanned dental models into maxillofacial cone beam computed tomography images of different voxel sizes with different segmentation threshold settings | |
| AU2013314688A1 (en) | An improved surgical template | |
| JP2008136865A (ja) | ３次元リバース・エンジニアリング技術を用いた歯移動自動測定方法及びそのプログラム | |
| Rangel et al. | Integration of digital dental casts in cone-beam computed tomography scans | |
| KR102215068B1 (ko) | 임플란트 진단용 영상 정합을 위한 장치 및 방법 | |
| Kane et al. | A dual scan approach to creating an accurate dental surface for virtual implant planning: A dental technique | |
| CN112419476A (zh) | 牙科病人三维虚拟图像的创建方法及系统 | |
| US11654002B2 (en) | Method for determining and visualizing tooth movements and planned instances of tooth repositioning | |
| Gallucci et al. | Digital Workflows in Implant Dentistry | |
| KR102302249B1 (ko) | 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 | |
| Sohmura et al. | A novel method of removing artifacts because of metallic dental restorations in 3‐D CT images of jaw bone | |
| Apostolakis et al. | Use of CBCT and Low-Cost Additive Manufacturing in Implant Surgical Guide Fabrication. | |
| Mai et al. | Radiopaque tissue surface-based digital registration technique for completely edentulous ridge | |
| US20150272710A1 (en) | Three-dimensional body |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |