KR102215068B1 - Apparatus and Method for Registrating Implant Diagnosis Image - Google Patents
Apparatus and Method for Registrating Implant Diagnosis Image Download PDFInfo
- Publication number
- KR102215068B1 KR102215068B1 KR1020190018752A KR20190018752A KR102215068B1 KR 102215068 B1 KR102215068 B1 KR 102215068B1 KR 1020190018752 A KR1020190018752 A KR 1020190018752A KR 20190018752 A KR20190018752 A KR 20190018752A KR 102215068 B1 KR102215068 B1 KR 102215068B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stent
- void
- deep learning
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000007943 implant Substances 0.000 title claims description 45
- 238000003745 diagnosis Methods 0.000 title claims description 42
- 239000011800 void material Substances 0.000 claims abstract description 90
- 238000013461 design Methods 0.000 claims abstract description 77
- 238000013135 deep learning Methods 0.000 claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000010146 3D printing Methods 0.000 claims abstract description 25
- 239000013013 elastic material Substances 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 210000000515 tooth Anatomy 0.000 claims description 68
- 210000001847 jaw Anatomy 0.000 claims description 51
- 239000011148 porous material Substances 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 44
- 239000000463 material Substances 0.000 claims description 23
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 17
- 210000000988 bone and bone Anatomy 0.000 claims description 13
- 238000002600 positron emission tomography Methods 0.000 claims description 13
- 210000004373 mandible Anatomy 0.000 claims description 12
- 238000007639 printing Methods 0.000 claims description 10
- 239000011505 plaster Substances 0.000 claims description 7
- 239000002775 capsule Substances 0.000 claims description 6
- 239000007788 liquid Substances 0.000 claims description 6
- 210000002050 maxilla Anatomy 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 210000000276 neural tube Anatomy 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims 1
- 238000002591 computed tomography Methods 0.000 description 21
- 238000007408 cone-beam computed tomography Methods 0.000 description 18
- 239000003550 marker Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 230000002285 radioactive effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 208000002354 Edentulous Jaw Diseases 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 210000004513 dentition Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000004359 mandibular condyle Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000036346 tooth eruption Effects 0.000 description 2
- 239000000899 Gutta-Percha Substances 0.000 description 1
- 240000000342 Palaquium gutta Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- -1 etc. Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229920000588 gutta-percha Polymers 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/14—Applications or adaptations for dentistry
-
- A61B6/51—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30052—Implant; Prosthesis
Abstract
본 발명은 탄성물질을 이용하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법에 관한 것으로, 환자의 치아 부위를 촬영하여 제공하는 영상 제공부;상기 영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출부;상기 스텐트 설계값 산출부의 설계값을 이용하여 제작된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출부;공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합부;를 포함하는 것이다.The present invention enables full sitting between a stent and a tooth structure by using an elastic material, and automatically and precisely matches images of heterogeneous devices used for different purposes. An apparatus and a method for providing an image providing unit for photographing and providing a tooth portion of a patient; Segmentation and segmentation of jaw and teeth by performing deep learning on a 3D image received from the image providing unit A stent design value calculation unit that creates a stent shape above the teeth and surrounding jaw bones, calculates design values for the number of voids, void locations, void sizes, and void shapes to make a stent made of an elastic material capable of 3D printing; the stent A void coordinate detection unit that mounts a stent manufactured using the design value of the design value calculation unit to the patient, shoots serially, detects the stent and detects the void; 3 images taken serially using the coordinates of the entire void or the coordinates of the center It includes; 3D image matching unit for dimensional matching.
Description
본 발명은 임플란트 진단용 영상 처리에 관한 것으로, 구체적으로 탄성물질을 이용하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법에 관한 것이다.The present invention relates to image processing for implant diagnosis, and specifically, enables full sitting between a stent and a tooth structure by using an elastic material, and automatically accurately accurately images images of heterogeneous devices that are used several times for different purposes. The present invention relates to an apparatus and a method for image registration for implant diagnosis that enables registration.
치과용 임플란트는 단일 결손치 수복은 물론이거니와 부분 무치아 및 완전 무치아 환자에게 의치의 기능을 증진시키고, 치아 보철 수복의 심미적인 면을 개선시키며, 나아가 주위의 지지골 조직에 가해지는 과도한 응력을 분산시킴과 아울러 치열의 안정화에 도움을 준다.Dental implants improve the function of dentures in patients with partial and complete dentition, as well as single defective tooth restorations, improve the aesthetic aspect of dental prosthetic restorations, and further disperse excessive stress applied to the surrounding supporting bone tissue. In addition to shikim, it helps stabilize the dentition.
통상적으로 임플란트 시술시에 치은을 절개하여 치조골을 노출시킨 후 그 위에 직접 드릴 등을 이용하여 천공을 하는 경우, 천공 작업을 수행할 정확한 위치 및 방향을 정확하게 파악하기 곤란하므로 통상적으로 스텐트(stent)라고 하는 보조 기구를 사용하고 있다.In general, when the gingival is incised to expose the alveolar bone during implantation, and the perforation is performed using a drill or the like directly on it, it is difficult to accurately determine the exact location and direction to perform the perforation, so it is usually called a stent. I am using an assistive device
한편, 임플란트 시술 과정에서 임플란트 시술의 정확성을 높이기 위해 모의시술 및 시술계획이 수반된다.On the other hand, during the implant procedure, a simulation procedure and a procedure plan are involved in order to increase the accuracy of the implant procedure.
이러한 모의시술 및 시술계획에는 피시술자의 구강 영역에 대한 정확한 데이터가 필수적이다.Accurate data on the oral region of the recipient is essential for such simulation procedures and treatment plans.
일반적으로 피시술자의 구강 영역에 대한 데이터를 획득하기 위해 피시술자의 구강 영역을 컴퓨터 단층촬영(Computed Tomography, CT) 기구로 촬영하여 입체 영상 데이터를 획득하는 방식이 사용된다.In general, in order to acquire data on the oral region of the person to be treated, a method of obtaining 3D image data by photographing the oral region of the person to be treated with a computed tomography (CT) apparatus is used.
그런데 컴퓨터 단층촬영(Computed Tomography, CT) 기구에서 획득된 CT 데이터는 피시술자의 뼈 형상 등을 정확하게 파악할 수 있는 장점에 비하여, 잇몸의 형상을 정확히 파악하기 어렵고 피시술자의 구강 내부에 마련되는 다양한 형태의 보철물 및 보형물에 의해 영상이 왜곡될 수 있는 문제가 있다.However, the CT data acquired from a computed tomography (CT) device is difficult to accurately grasp the shape of the gums compared to the advantage of being able to accurately grasp the shape of the person's bones, and various types of prostheses provided inside the patient's oral cavity. And there is a problem that the image may be distorted by the implant.
따라서 인상재를 이용하여 획득된 피시술자의 구강 내부 형상으로 제작된 치아 석고 본 3차원 스캐너 등으로 스캔하여 스캔 데이터를 획득된 한 후, CT 데이터와 스캔 데이터를 중첩하여 CT 데이터에서 피시술자의 구강 내부 영역을 스캔 데이터로 대체한 하이브리드 데이터가 모의시술에 사용되고 있다.Therefore, after the scan data is acquired by scanning with a 3D scanner, such as a tooth plaster made in the shape of the patient's oral cavity obtained using an impression material, the CT data and the scan data are superimposed to determine the internal area of the patient's oral cavity from the CT data. Hybrid data replaced by scan data is being used for simulation.
이와 같이 임플란트, 양악 수술, 교정 등과 같은 치아 부근의 수술시 상세한 수술 계획을 위해서는 정확한 의료 영상획득이 필요하다.As described above, it is necessary to acquire accurate medical images for detailed surgical planning during surgery near the teeth such as implants, orthognathic surgery, orthodontics.
환자의 의료 영상 획득을 위해 컴퓨터단층촬영(CT)이 사용되었고, 최근 치아 영상을 획득하는데 있어 CBCT(Cone-Beam Computed Tomography)의 대중화로 인하여 많은 치아기관에서 환자의 진단을 위해 CBCT를 많이 사용하고 있다.Computed tomography (CT) was used to acquire medical images of patients, and due to the recent popularity of Cone-Beam Computed Tomography (CBCT) in acquiring dental images, many dental institutions use CBCT a lot for patient diagnosis. have.
CT 및 CBCT를 이용한 종래의 치아 영상 획득 과정에서는 피부와 뼈는 비교적 쉽게 추출이 가능하다. 하지만 치아의 경우, 그 자체로 명확히 나오지 않을 뿐만 아니라, 치아 또는 치아 부근에 교정장치, 보철물 등과 같은 금속 물질이 존재하는 경우에는 치아부위의 CT 영상에 잔상이나 허상과 같은 위상(노이즈)이 포함되며, 이러한 노이즈로 인한 데이터 손실로 인해 치아의 정확한 형상이 아닌 왜곡된 치아 영상을 획득할 확률이 높다.In the conventional tooth image acquisition process using CT and CBCT, skin and bones can be extracted relatively easily. However, in the case of teeth, not only does not appear clearly by itself, and when a metal material such as an orthodontic appliance or prosthesis is present in the tooth or near the tooth, a phase (noise) such as an afterimage or virtual image is included in the CT image of the tooth area In addition, there is a high probability of obtaining a distorted tooth image rather than an exact shape of the tooth due to data loss due to such noise.
이를 극복하기 위해, 종래의 기술은, 입천장 고정형 마커를 제작하여 환자의 입안에 고정한 후 CT 등의 영상을 촬영하고, 환자 치아의 인상을 제작하여 또 다른 마커를 인상에 고정한 후 광학식 스캔을 하는 과정을 진행하여, 각 스캔 데이터에 동시에 존재하는 마커를 통해 좌표계 정합하는 방식을 사용한다. In order to overcome this, the conventional technology is a process of manufacturing a ceiling-fixed marker, fixing it in the patient's mouth, taking an image such as CT, and making an impression of the patient's teeth, fixing another marker on the impression, and then performing optical scanning. Proceeding to, a method of matching the coordinate system through markers present at the same time in each scan data is used.
또 다른 종래 기술은, 바이트에 마커를 부착하여 환자가 물고 CBCT를 촬영하고 바이트만 독립적으로 높은 출력의 CBCT를 촬영하고, 바이트를 광학식 스캔하고, 환자 치아를 광학식 스캔한 후, 마커 기준 정합, 모델 표면 기준 정합을 수행하여 결과적으로 치아 모델을 환자의 CBCT영상에 정합하는 방식을 사용한다.Another conventional technique is to attach a marker to the bite and take a CBCT with the patient biting, take a high output CBCT independently of the bite, optically scan the bite, optically scan the patient's teeth, and then match the marker reference, model A method of matching the tooth model to the patient's CBCT image is used as a result of performing surface reference registration.
또 다른 종래의 기술은 정확한 구조를 가지는 치아 영상을 획득하기 위해 CBCT를 여러 번 사용하는데, 이는 환자에게 노출되는 방사선 피폭량이 증가되는 문제가 있다. Another conventional technique uses CBCT several times to obtain an image of a tooth having an accurate structure, which has a problem in that the amount of radiation exposure to the patient increases.
이상에서 설명한 바와 같이 종래 기술에서는 임플란트 시술을 위하여, 수동 혹은 반자동으로 영상을 정합하려는 시도들이 이루어져 왔지만, 추가적인 시간이 필요하고 전문 인력이 정합을 하는 경우에도 결과에 오차가 발생하는 등 문제가 많아 실제 임상에서 이용되고 있지 못하고 있는 실정이다.As described above, in the prior art, attempts have been made to match images manually or semi-automatically for implant procedures, but there are many problems such as errors in the results even when additional time is required and even when professional personnel do registration, there are many problems. It is not being used in clinical practice.
특히, 이전의 정합용 스텐트(stent)는 레진 계열의 비탄성 재료를 기반으로 하여, 언더컷(undercut), 내부의 미세 요철 등 스텐트와 치아 구조 사이의 풀시팅(full sitting)을 방해하는 요인들로 인해 정확한 정합이 어려웠다.In particular, the previous stent for registration was based on a resin-based inelastic material, and due to factors that hinder the full sitting between the stent and the tooth structure, such as undercut and internal fine irregularities. Accurate matching was difficult.
또한, 정합의 마커(marker)로 쓰이는 물질도 거터포챠(gutta percha) 등 아티팩트(artifact)가 나타나는 물질을 이용하여 정확한 정합에 방해 요인이 되었다.In addition, a material used as a marker for matching also used a material that exhibits artifacts, such as gutta percha, and became a factor in the accurate matching.
추적 관찰 체크(follow up check)를 위해 여러 번 촬영되는 CT, CBCT, MRI 영상기법(imaging modality)에서 여러 기법간의 정합을 위한 스텐트의 개발 역시 이루어지지 못하였다.In CT, CBCT, and MRI imaging modality, which are taken several times for follow up check, development of stents for matching between different techniques has not been done either.
따라서, 서로 다른 목적으로 여러 번 사용되는 CT, CBCT, MRI 영상기법(imaging modality)들 간의 정합을 위한 스텐트의 개발 및 이를 이용한 임플란트 진단용 영상 정합을 위한 기술의 개발이 요구되고 있다.Therefore, there is a need for development of a stent for matching between CT, CBCT, and MRI imaging modalities that are used several times for different purposes, and a technology for image matching for implant diagnosis using the same.
본 발명은 종래 기술의 임플란트 진단용 영상 정합 기술의 문제점을 해결하기 위한 것으로, 탄성물질을 이용하여 스텐트를 제조하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problem of the prior art implant diagnosis image registration technology, an apparatus for image registration for implant diagnosis in which a stent is manufactured using an elastic material to enable full sitting between the stent and the tooth structure And to provide a method for that purpose.
본 발명은 탄성이 있는 스텐트와 3차원 영상으로부터 영상 처리를 통하여 정확하게 자동으로 정합을 할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법을 제공하는데 그 목적이 있다.An object of the present invention is to provide an apparatus and method for image registration for implant diagnosis in which an elastic stent and a 3D image can be accurately and automatically registered through image processing.
본 발명은 CT, CBCT, PET, MRI 등의 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법을 제공하는데 그 목적이 있다.An object of the present invention is to provide an apparatus and method for image matching for implant diagnosis, which enables precise matching of images of heterogeneous devices used for different purposes for different purposes such as CT, CBCT, PET, and MRI automatically.
본 발명은 공극(air hole)이나 특정 밀도의 물질을 마커로 이용하여 아티팩트(artifact)가 없고 한 가지 물질이나 두 가지 이상의 물질을 이용해 인쇄 가능한 정합용 스텐트를 제공할 수 있도록 한 임플란트 진단용 영상 정합을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention provides image registration for implant diagnosis using an air hole or a material of a specific density as a marker to provide a printable registration stent that is free from artifacts and can be printed using one material or two or more materials. It is an object to provide an apparatus and method for the purpose.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the objects mentioned above, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치는 환자의 치아 부위를 촬영하여 제공하는 영상 제공부;상기 영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출부;상기 스텐트 설계값 산출부의 설계값을 이용하여 제작된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출부;공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합부;를 포함하는 것을 특징으로 한다.The apparatus for image matching for implant diagnosis according to the present invention for achieving the above object includes an image providing unit for photographing and providing a patient's tooth region; Deep learning of a 3D image received from the image providing unit to perform deep learning By segmenting the tooth, creating a stent shape above the segmented tooth and the surrounding jaw, calculating design values for the number of voids, void location, void size, and void shape, making a stent with an elastic material capable of 3D printing A stent design value calculation unit that enables this; A gap coordinate detection unit that mounts a stent manufactured using the design value of the stent design value calculation unit to a patient, photographs serially, and performs stent detection and gap detection; coordinates of the entire gap It characterized in that it comprises a; 3D image matching unit for 3D matching the serially photographed images using the coordinates of the center.
여기서, 상기 영상 제공부는 치아 부위 영상을 제공하기 위하여, CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것을 특징으로 한다.Here, the image providing unit performs any one of CT (Computed Tomograghy), CBCT (Cone Beam Computed Tomograghy), MRI (Magnetic Resonance Imaging), PET (Positron Emission Tomography) photographing, or a combination thereof in order to provide an image of a tooth region. It is characterized in that it provides an image through laser scanning of the through image or a plaster model of the tooth area.
그리고 상기 공극 좌표 검출부는 공극 검출 범위를 줄이기 위하여, 2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출부와, 스텐트 검출부에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출부를 포함하는 것을 특징으로 한다.In addition, the void coordinate detector detects a stent area using image processing or deep learning in a sagittal or coronal maximum intensity projection (MIP) or average intensity projection (AIP) image by using a two-dimensional image to reduce the void detection range. Alternatively, a stent detection unit that detects a stent using image processing or deep learning by using a 3D image, and a stent or stent area detected by the stent detection unit are binarized by deep learning or image processing, and then inverted or filled. It characterized in that it comprises a void detection unit that detects voids using image processing such as post-subtraction, or directly detects voids by deep learning in a 3D image.
그리고 상기 스텐트 설계값 산출부는, 3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것을 특징으로 한다.In addition, the stent design value calculation unit is characterized in that when performing the 3D image deep learning, the jawbone and the tooth are segmented using any one of deep learning methods of segnet, unet, faster rcnn, and Voxnet.
그리고 상기 스텐트 설계값 산출부는, 영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리부와,치아 분할 처리부에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성부와,공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계부와,상기 공극 설계부에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅부를 포함하는 것을 특징으로 한다.In addition, the stent design value calculation unit includes a tooth segmentation processing unit that performs deep learning on a 3D image received from the image providing unit to segment the jaw and teeth, and the tooth segmented by the tooth segmentation processing unit and a predetermined position above the surrounding jaw bone. In terms of thickness, a stent model forming part that automatically generates the appearance of a stent by learning a 3D image and a stent model used in clinical use with a generative adversal network (GAN), and the number of pores, pore location, pore size, and pore shape. It characterized in that it comprises a void design unit for calculating a design value, and a 3D printing unit for 3D printing the stent with an elastic material using the design value calculated by the void design unit.
그리고 상기 공극 설계부는, 지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 것을 특징으로 한다.In addition, the void design unit determines the number of 4 to 20 voids according to the designation or the length of the arch, and the void is 1 to 2 mm or more above the occlusal surface along the center line of the stent, and 0.5 mm to 1 mm or more from the stent surface. It is characterized in that the position of the pores is determined so that they are automatically positioned at a distance and at regular intervals, the size of the pores from 1mm to 7mm in diameter is determined, and the shape of the pores is determined as a spherical or polyhedron.
그리고 상기 3D 프린팅부는, 공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것을 특징으로 한다.In addition, the 3D printing unit may print a void by creating a blank area, or simultaneously print a material with a different density or characteristic, or print half a void and then reprint it with a capsule, or have a specific density or characteristic in the void after printing is completed. It is characterized in that the stent is 3D printed by injecting a liquid, plasma, or radioactive isotope.
다른 목적을 달성하기 위한 본 발명에 따른 임플란트 진단용 영상 정합을 위한 방법은 환자의 치아 부위를 촬영하여 제공하는 영상 제공 단계;상기 영상 제공 단계로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출 단계;상기 스텐트 설계값 산출 단계의 설계값을 이용하여 제작된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출 단계;공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합 단계;를 포함하는 것을 특징으로 한다.The method for image matching for implant diagnosis according to the present invention for achieving another object includes the steps of providing an image by photographing and providing a tooth part of a patient; performing deep learning on the 3D image received from the image providing step to determine the jawbone and teeth. It is possible to create a stent with an elastic material capable of 3D printing by creating a stent shape above the segmented tooth and the surrounding jaw and calculating design values for the number of voids, void location, void size, and void shape. A stent design value calculation step of calculating the stent design value to be performed; A void coordinate detection step of attaching a stent manufactured using the design value of the stent design value calculation step to the patient, photographing serially, and performing stent detection and void detection; coordinates of the entire void And a three-dimensional image matching step of three-dimensionally matching the serially photographed images using the coordinates of the center.
여기서, 상기 영상 제공 단계에서 치아 부위 영상을 제공하기 위하여, CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것을 특징으로 한다.Here, in order to provide an image of a tooth region in the image providing step, any one of CT (Computed Tomograghy), CBCT (Cone Beam Computed Tomograghy), MRI (Magnetic Resonance Imaging), PET (Positron Emission Tomography), or a combination thereof It is characterized in that it provides an image through laser scanning of an image through or a plaster model of a tooth region.
그리고 상기 공극 좌표 검출 단계에서 공극 검출 범위를 줄이기 위하여, 2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출 단계와, 스텐트 검출 단계에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출 단계를 포함하는 것을 특징으로 한다.And in order to reduce the void detection range in the void coordinate detection step, by using a two-dimensional image, the stent area is determined using image processing or deep learning in a sagittal or coronal maximum intensity projection (MIP) or average intensity projection (AIP) image. A stent detection step in which a stent is detected using image processing or deep learning by detecting or using a 3D image, and a stent or stent area detected in the stent detection step is binarized by deep learning or image processing, and then reversed or filled. It characterized in that it comprises a void detection step of detecting voids using image processing such as subtraction after filling, or directly detecting voids by deep learning in a 3D image.
그리고 상기 스텐트 설계값 산출 단계에서, 3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것을 특징으로 한다.In the step of calculating the stent design value, when performing 3D image deep learning, the jaw and teeth are segmented using any one of deep learning methods of segnet, unet, faster rcnn, and Voxnet.
그리고 상기 스텐트 설계값 산출 단계는, 상기 영상 제공 단계를 통하여 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리 단계와,치아 분할 처리 단계에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성 단계와,공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계 단계와,상기 공극 설계 단계에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅 단계를 포함하는 것을 특징으로 한다.In addition, the stent design value calculation step includes a tooth segmentation processing step of performing deep learning on the 3D image received through the image providing step to segment the jaw and teeth, and the tooth segmentation processing in the tooth segmentation processing step. A stent model formation step that automatically generates the appearance of a stent by learning a 3D image and a stent model used in clinical practice with a generative adversal network (GAN) with a certain thickness above the surrounding jaw, and the number of pores, pore location, and pore size And a 3D printing step of 3D printing the stent using an elastic material using the design value calculated in the pore design step and a pore design step of calculating a design value for the pore shape.
그리고 상기 공극 설계 단계는, 지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 것을 특징으로 한다.And the void design step is to determine the number of 4 to 20 voids according to the designation or the length of the arch, the voids are 1 ~ 2mm or more above the occlusal surface along the center line of the stent, and 0.5mm ~ 1mm from the stent surface. It is characterized in that the position of the void is determined so that it is automatically positioned at regular intervals so as to have an ideal distance, the size of the void from 1mm to 7mm in diameter is determined, and the shape of the void is determined as a spherical or polyhedron.
그리고 상기 3D 프린팅 단계는, 공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것을 특징으로 한다.In the 3D printing step, the pores are printed by creating a blank area, or simultaneously printed with a material having different density or characteristics, or half the pores are printed and then reprinted with a capsule, etc., or a specific density or characteristic within the pores after printing is completed. It is characterized in that the stent is 3D-printed by injecting a liquid, plasma or radioactive isotope.
그리고 상기 치아 분할 처리 단계에서 학습 효율 및 정확도 향상을 위하여,딥러닝 네트워크로 학습하여 condyle 하악체 별로 악골을 분할하고, 상악,하악,치아번호 별로 치아를 분할하고, 신경관을 분할하고, 악골과 치아의 영역을 나누기 위해 먼저 sagittal, coronal MIP 이미지에서 각각의 상악, 하악, condyle, 하악체, alveolar bone 영역부터 학습시키고, 학습된 각 영역내부에서 3D axial, coronal, sagittal 이미지를 학습시키는 것을 특징으로 한다.And in order to improve learning efficiency and accuracy in the tooth segmentation processing step, learning with a deep learning network divides the jaw for each condyle mandibular body, divides the teeth by maxilla, mandible, and tooth number, divides the neural tube, and divides the jaw and teeth. In order to divide the areas of the sagittal and coronal MIP images, each maxillary, mandible, condyle, mandibular body, and alveolar bone area is first learned, and 3D axial, coronal, and sagittal images are learned inside each learned area. .
그리고 서로 다른 종류의 기계에서 학습된 딥러닝 네트워크를 사용 가능하도록 하기 위하여 히스토그램 매칭(histogram maching)을 통해 영상의 회색조 분포를 일치시켜 전이 학습(transfer learning)의 효율을 높이는 것을 특징으로 한다.In addition, in order to enable the use of deep learning networks learned in different types of machines, it is characterized in that the efficiency of transfer learning is improved by matching the grayscale distribution of images through histogram maching.
그리고 상기 3차원 영상 정합 단계에서 영상 정합을 위하여, 부분무치악 및 무치악에서 교합면을 기준으로 자동 plane reorientation이 이루어지도록 하고, 교합평면의 높이, 각도 결정은 치관의 중선 라인을 보조선으로 수정한 데이터를 딥러닝 네트워크를 이용하여 학습하는 것에 의해 결정되도록 하는 것을 특징으로 한다.And for image registration in the 3D image registration step, automatic plane reorientation is performed based on the occlusal surface in the partial edentulous and edentulous jaws, and the height and angle of the occlusal plane are determined by modifying the midline of the crown as an auxiliary line. It is characterized in that it is determined by learning using a deep learning network.
그리고 상기 3차원 영상 정합 단계에서 영상 정합을 위하여, 치관과 악골 정보를 모두 활용한 reformation을 수행하고, 유치악 부위는 치관부가 끝나는 지점의 치조골정을 기준으로, 무치악 부위는 일정 두께(4mm)까지의 해당 치조골 MIP(axial) 이미지를 기준으로 arch를 그릴 이상적인 악궁을 형성한 후, 악궁의 중심 라인을 구해 arch를 생성하거나, 3D 이미지 전체 또는 전체 Axial MIP image에서 arch 학습을 하는 것을 특징으로 한다.And in the 3D image registration step, for image registration, reformation using both crown and jaw information is performed, and the dentinal region is based on the alveolar bone at the end of the crown, and the edentulous region is up to a certain thickness (4 mm). After forming the ideal arch to draw the arch based on the corresponding alveolar bone MIP (axial) image of, arch is created by obtaining the center line of the arch, or arch learning is performed from the entire 3D image or the entire axial MIP image.
그리고 상기 3차원 영상 정합 단계에서, 영상 정합에 의해 condyle의 형태에 따른 자동 reformation 및 3D view 생성을 하고, 이는 하악의 axial MIP image에서 condyle 장축을 기준으로 그에 평행한 frontal view와 수직인 lateral view를 생성하고, 동시에 분리된 양쪽 condyle을 3D로 나타내도록 하는 것을 특징으로 한다.And in the 3D image matching step, automatic reformation according to the shape of the condyle and 3D view are generated by image matching, which creates a frontal view and a lateral view parallel to the condyle major axis in the axial MIP image of the mandible. It is characterized by generating and simultaneously displaying both condyles separated in 3D.
그리고 상기 3차원 영상 정합 단계에서, 분리된 악골의 intensity를 이용할 수 있고, 이는 딥러닝을 통해 악골을 분할한 것을 마스크로 하여 악골이 아닌 영역을 삭제한 후, 악골의 intensity 정보를 이용하여 intensity based registration하여 두 번 이상 촬영한 동일 환자의 이미지를 정합해서 저장 후 reformation해서 나타내도록 하는 것을 특징으로 한다.And in the 3D image registration step, the intensity of the separated jaw can be used, which is, after removing the region other than the jaw bone by using the divided jaw bone as a mask through deep learning, intensity based on the intensity information of the jaw bone It is characterized in that the image of the same patient, which was captured more than once by registration, is matched, saved, and then reformed to be displayed.
이상에서 설명한 바와 같은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법은 다음과 같은 효과가 있다.The apparatus and method for image matching for implant diagnosis according to the present invention as described above has the following effects.
첫째, 탄성물질을 이용하여 스텐트를 제조하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하도록 한다.First, a stent is manufactured using an elastic material to enable full sitting between the stent and the tooth structure.
둘째, 탄성이 있는 스텐트와 3차원 영상으로부터 영상 처리를 통하여 정확하게 자동으로 정합을 할 수 있도록 한다.Second, it is possible to accurately and automatically perform registration from the elastic stent and the 3D image through image processing.
셋째, CT, CBCT, PET, MRI 등의 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한다.Third, images of heterogeneous devices that are used several times for different purposes such as CT, CBCT, PET, and MRI can be automatically and precisely matched.
넷째, 공극(air hole)이나 특정 밀도의 물질을 마커로 이용하여 아티팩트(artifact)가 없고 한 가지 물질이나 두 가지 이상의 물질을 이용해 인쇄 가능한 정합용 스텐트를 제공할 수 있다.Fourth, by using an air hole or a material of a specific density as a marker, it is possible to provide a stent for registration that has no artifacts and can be printed using one material or two or more materials.
도 1은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치의 구성도
도 2는 본 발명에 따른 스텐트 설계값 산출부의 상세 구성도
도 3은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 방법을 나타낸 플로우 차트1 is a block diagram of an apparatus for image matching for implant diagnosis according to the present invention
2 is a detailed configuration diagram of a stent design value calculation unit according to the present invention
3 is a flow chart showing a method for image registration for implant diagnosis according to the present invention
이하, 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a detailed description will be given of a preferred embodiment of the apparatus and method for image matching for implant diagnosis according to the present invention.
본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the apparatus and method for image matching for implant diagnosis according to the present invention will become apparent through detailed description of each embodiment below.
도 1은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치의 구성도이고, 도 2는 본 발명에 따른 스텐트 설계값 산출부의 상세 구성도이다.1 is a configuration diagram of an apparatus for image matching for implant diagnosis according to the present invention, and FIG. 2 is a detailed configuration diagram of a stent design value calculation unit according to the present invention.
본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법은 탄성물질을 이용하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 것이다.The apparatus and method for image matching for implant diagnosis according to the present invention enables full sitting between the stent and the tooth structure using an elastic material, and automatically images images of heterogeneous devices that are used several times for different purposes. This is to enable precise matching.
의료 및 치과 영역에서 추적 관찰(follow up)을 위해 시리얼하게 환자를 촬영을 하는 경우에 위치가 달라져서 진단 및 치료계획 수립 시의 어려움을 겪게 된다.In the case of serially photographing a patient for follow-up in the medical and dental fields, the location is changed, causing difficulties in establishing a diagnosis and treatment plan.
두 이미지를 같은 원점(origin)과 방향(orientation)으로 맞추는 정합(registration)은 이런 문제를 근본적으로 해결해 줄 수 있는 영상처리 기법이다. Registration, which aligns two images with the same origin and orientation, is an image processing technique that can fundamentally solve this problem.
본 발명은 탄성물질을 이용하여 스텐트를 제작하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 공극 (air hole)이나 특정 밀도의 물질을 마커로 이용하여 아티팩트(artifact)가 없고 한 가지 물질이나 두 가지 이상의 물질을 이용해 인쇄 가능한 정합용 스텐트를 개발하여, CT, CBCT, PET, MRI 등의 여러 영상 기법에서 간단하고도 정확한 정합을 할 수 있도록 한 것이다.In the present invention, a stent is fabricated using an elastic material to enable full sitting between the stent and the tooth structure, and there is no artifact by using an air hole or a material of a specific density as a marker. By developing a printable registration stent using different materials or two or more materials, it is possible to perform simple and accurate registration in various imaging techniques such as CT, CBCT, PET, and MRI.
이를 위하여 본 발명은 정합의 마커로 사용가능한 탄성 재질의 스텐트를 설계하는 구성를 포함할수 있다.To this end, the present invention may include a configuration for designing a stent made of an elastic material that can be used as a marker of registration.
본 발명은 탄성 스텐트를 장착하고 환자 이미지를 시리얼하게 촬영하고, 악골을 이용한 영역 한정 또는 악골을 이용하지 않고 스텐트를 분할 처리 또는 공극을 직접 분할 처리(segmentation)를 하여 딥러닝(deep learning)을 사용하여 공극의 위치를 학습하는 구성 및 공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 구성을 포함할 수 있다.In the present invention, an elastic stent is mounted and a patient image is serially photographed, and a region using the jaw bone is limited or the stent is divided without using the jaw bone or the gap is directly segmented to use deep learning. Thus, a configuration for learning the position of the void and a configuration for three-dimensional matching of serially photographed images using coordinates of the entire void or the center of the void may be included.
본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치는 도 1에서와 같이, 환자의 치아 부위를 촬영하여 제공하는 영상 제공부(10)와, 영상 제공부(10)로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출부(20)와, 스텐트 설계값 산출부(20)의 설계값을 이용하여 제작된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출부(30)와, 공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합부(40)를 포함한다.In the apparatus for image matching for implant diagnosis according to the present invention, as shown in FIG. 1, the
여기서, 영상 제공부(10)는 치아 부위 영상을 제공하기 위하여 CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것이 바람직하고, 이로 제한되지 않는다.Here, the
그리고 공극 좌표 검출부(30)는 공극 검출 범위를 줄이기 위하여 2차원 영상을 이용하는 방법으로, Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로, 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출부(30a)와, 스텐트 검출부(30a)에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출부(30b)를 포함한다.In addition, the void coordinate
그리고 스텐트 설계값 산출부(20)는 3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것이 바람직하다.In addition, it is preferable that the stent design
그리고 스텐트 설계값 산출부(20)는 도 2에서와 같이, 영상 제공부(10)로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리부(21)와, 치아 분할 처리부(21)에서 분할 처리된 치아와 주변 악골 상방에 3~10mm 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)등의 딥러닝으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성부(22)와, 지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 공극 설계부(23)와, 공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성의 물질(액체나 플라즈마, 방사선 동위원소 등)을 주입하여 스텐트를 3D 프린팅하는 3D 프린팅부(24)를 포함한다.In addition, the stent design
여기서, 치아 분할 처리부(21)에서 학습 효율 및 정확도 향상을 위하여, 딥러닝 네트워크로 학습하여 condyle 하악체 별로 악골을 분할하고, 상악,하악,치아번호 별로 치아를 분할하고, 신경관을 분할한다.Here, in order to improve the learning efficiency and accuracy in the tooth
그리고 악골과 치아의 영역을 나누기 위해 먼저 sagittal, coronal MIP 이미지에서 각각의 상악, 하악, condyle, 하악체, alveolar bone 영역부터 학습시키고, 학습된 각 영역내부에서 3D axial, coronal, sagittal 이미지를 학습시킨다.In order to divide the jaw and tooth regions, first, each maxillary, mandible, condyle, mandibular, and alveolar bone region is learned from the sagittal and coronal MIP images, and 3D axial, coronal, and sagittal images are learned inside each learned region. .
그리고 다른 종류의 기계(CBCT, MRI)에서 학습된 딥러닝 네트워크를 사용가능하게 해주는 히스토그램 매칭(histogram maching)을 통해 영상의 회색조 분포를 일치시켜 전이 학습(transfer learning)의 효율을 높일 수 있도록 한다.In addition, it is possible to increase the efficiency of transfer learning by matching the grayscale distribution of images through histogram maching, which enables the use of deep learning networks learned in other types of machines (CBCT, MRI).
그리고 영상 정합을 위하여, 부분무치악 및 무치악에서 교합면을 기준으로 자동 plane reorientation이 이루어지도록 하고, 교합평면의 높이, 각도 결정은 치관의 중선 라인을 보조선으로 수정한 데이터를 딥러닝 네트워크를 이용하여 학습하는 것에 의해 결정되도록 한다.And for image registration, automatic plane reorientation is performed based on the occlusal plane in the partial edentulous and edentulous jaws, and the height and angle of the occlusal plane are determined by using the deep learning network to modify the midline line of the crown as an auxiliary line. Let it be determined by learning.
그리고 영상 정합을 위하여, 치관과 악골 정보를 모두 활용한 reformation을 수행하고, 유치악 부위는 치관부가 끝나는 지점의 치조골정을 기준으로, 무치악 부위는 일정 두께(4mm)까지의 해당 치조골 MIP(axial) 이미지를 기준으로 arch를 그릴 이상적인 악궁을 형성한 후, 악궁의 중심 라인을 구해 arch를 생성하거나, 3D 이미지 전체 또는 전체 Axial MIP image에서 arch 학습을 한다.And for image registration, reformation using both crown and jaw information is performed, and the edentulous region is based on the alveolar bone at the end of the crown, and the edentulous region is the corresponding alveolar bone MIP (axial) up to a certain thickness (4mm). After forming the ideal arch to draw the arch based on the image, the arch is created by obtaining the center line of the arch, or arch learning is performed from the entire 3D image or the entire axial MIP image.
그리고 영상 정합에 의해 condyle의 형태에 따른 자동 reformation 및 3D view 생성을 하고, 이는 하악의 axial MIP image에서 condyle 장축을 기준으로 그에 평행한 frontal view와 수직인 lateral view를 생성하고, 동시에 분리된 양쪽 condyle을 3D로 나타낸다.And it automatically reformation and 3D view according to the shape of the condyle by image matching, which creates a frontal view parallel to the condyle long axis and a lateral view perpendicular to the condyle long axis in the axial MIP image of the mandible, and simultaneously separates both condyles. Is shown in 3D.
그리고 영상 정합을 위하여 분리된 악골의 intensity를 이용할 수 있고, 이는 딥러닝을 통해 악골을 분할한 것을 마스크로 하여 악골이 아닌 영역을 삭제한 후, 악골의 intensity 정보를 이용하여 intensity based registration하여 두 번 이상 촬영한 동일 환자의 이미지를 정합해서 저장 후 reformation해서 나타낸다.In addition, the intensity of the separated jaw can be used for image matching. This is done by removing the area other than the jawbone using the mask of the division of the jaw through deep learning, and then using intensity information of the jaw to register twice. The image of the same patient taken above is matched, saved, and then reformed and displayed.
도 3은 본 발명에 따른 임플란트 진단용 영상 정합을 위한 방법을 나타낸 플로우 차트이다.3 is a flow chart showing a method for image registration for implant diagnosis according to the present invention.
본 발명에 따른 임플란트 진단용 영상 정합을 위한 방법은 크게 환자의 치아 부위를 촬영하여 제공하는 영상 제공 단계와, 상기 영상 제공 단계로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출 단계와,상기 스텐트 설계값 산출 단계의 설계값을 이용하여 제작된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출 단계와, 공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합 단계를 포함한다.The method for image matching for implant diagnosis according to the present invention includes an image providing step of photographing and providing a patient's tooth region, and a deep learning of the 3D image received from the image providing step to segment the jaw and teeth. And, by creating a stent shape above the segmented teeth and the surrounding jaw bone, and calculating design values for the number of voids, void locations, void sizes, and void shapes, a stent design that enables the fabrication of a stent with an elastic material capable of 3D printing A value calculation step and a void coordinate detection step of attaching a stent manufactured using the design value of the stent design value calculation step to a patient, taking a serial image, and performing a stent detection and a void detection, and the coordinate or center of the entire void. And a three-dimensional image registration step of three-dimensionally matching the serially photographed images using coordinates.
여기서, 상기 공극 좌표 검출 단계에서 공극 검출 범위를 줄이기 위하여, 2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출 단계와, 스텐트 검출 단계에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출 단계를 포함한다.Here, in order to reduce the void detection range in the void coordinate detection step, a two-dimensional image is used, and a stent area using image processing or deep learning in a sagittal or coronal maximum intensity projection (MIP) or average intensity projection (AIP) image. The stent detection step of detecting the stent using image processing or deep learning by using a 3D image, and the stent or stent area detected in the stent detection step are binarized by deep learning or image processing, and then reversed or And a void detection step of detecting voids by using image processing such as subtraction after filling, or directly detecting voids by deep learning in a 3D image.
그리고 상기 스텐트 설계값 산출 단계에서, 3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것이 바람직하다.In the step of calculating the stent design value, when performing 3D image deep learning, it is preferable to segment the jaw and teeth using any one deep learning method of segnet, unet, faster rcnn, and Voxnet.
그리고 상기 스텐트 설계값 산출 단계는, 영상 제공 단계를 통하여 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리 단계와,치아 분할 처리 단계에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성 단계와,공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계 단계와, 상기 공극 설계 단계에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅 단계를 포함한다.In the step of calculating the stent design value, the three-dimensional image received through the image providing step is subjected to deep learning to segment the jaw and teeth, and the teeth and surroundings divided in the tooth segmentation step A stent model formation step that automatically generates the appearance of the stent by learning a 3D image and a stent model used in clinical use with a generative adversal network (GAN) with a certain thickness above the jaw bone, the number of pores, the location of the pores, the size of the pores, And a 3D printing step of 3D printing the stent with an elastic material using the design value calculated in the pore design step and a pore design step of calculating a design value for the pore shape.
여기서, 공극 설계 단계는, 지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 것이다.Here, the void design step is to determine the number of 4 to 20 voids according to the designation or the length of the arch, and the void is 1 to 2 mm or more above the occlusal surface along the center line of the stent, and 0.5 mm to 1 mm from the stent surface. The position of the pores is determined so that they are automatically positioned at regular intervals so that they have an ideal distance, the size of the pores from 1mm to 7mm in diameter is determined, and the shape of the pores is determined as a spherical or polyhedron.
그리고 상기 3D 프린팅 단계는, 공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것이 바람직하다.In the 3D printing step, the pores are printed by creating a blank area, or simultaneously printed with a material having different density or characteristics, or half the pores are printed and then reprinted with a capsule, etc., or a specific density or characteristic within the pores after printing is completed. It is preferable to 3D-print the stent by injecting a liquid, plasma, or radioactive isotope.
구체적으로, 도 3에서와 같이, CT, CBCT, MRI 등을 촬영 혹은 석고 모형을 레이저 스캐닝(laser scanning)하여 획득된 3차원 이미지를 딥러닝을 이용하여 악골 및 치아를 분할(segmentation)한다.(S301)Specifically, as shown in Fig. 3, the jaw and teeth are segmented using deep learning on a 3D image obtained by taking CT, CBCT, MRI, etc. or by laser scanning a plaster model. S301)
이어, 분할된 치아와 주변 악골 상방에 3~10mm 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 딥러닝으로 학습시켜, 스텐트의 외형을 자동으로 생성되도록 한다.(S302)Then, 3D images and a stent model used in clinical practice are learned by deep learning with a thickness of 3 to 10 mm above the divided teeth and the surrounding jaw, so that the appearance of the stent is automatically generated (S302).
그리고 공극 수 및 공극 위치, 크기 및 모양의 설계값을 산출하고(S303), 탄성 재질로 3D 프린팅하여 스텐트 제작을 한다.(S304)Then, the design values of the number of pores and the position, size and shape of the pores are calculated (S303), and 3D printing is performed with an elastic material to manufacture a stent (S304).
이어, 스텐트 장착 후 시리얼하게 환자 촬영을 하고(S305), 2차원 영상을 이용한 스텐트 영역 검출 또는 3차원 영상을 이용하여 스텐트 검출(S306) 및 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화후 공극을 검출 또는 3차원 영상에서 딥러닝으로 직접 공극을 검출하여 공극 좌표 산출을 한다.(S307)Then, after the stent is mounted, the patient is serially photographed (S305), the stent area is detected using a 2D image, or the stent is detected using a 3D image (S306), and the detected stent or stent area is binarized by deep learning or image processing. Afterwards, the void is detected or the void coordinates are calculated by directly detecting the void through deep learning in the 3D image (S307).
그리고 산출된 공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합을 수행한다.(S308)Then, 3D registration is performed on the serially photographed images using the calculated coordinates of the entire void or the coordinates of the center (S308).
이상에서 설명한 본 발명에 따른 임플란트 진단용 영상 정합을 위한 장치 및 방법은 탄성물질을 이용하여 스텐트와 치아 구조 사이의 풀 시팅(full sitting) 가능하게 하고, 서로 다른 목적으로 여러 번 사용되는 이종 기기의 영상들을 자동으로 정밀 정합할 수 있도록 한 것이다.The apparatus and method for image matching for implant diagnosis according to the present invention described above enable full sitting between the stent and the tooth structure using an elastic material, and images of heterogeneous devices that are used several times for different purposes. It is possible to automatically and precisely match them.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered from a descriptive point of view rather than a limiting point of view, and the scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto are included in the present invention. It will have to be interpreted.
10. 영상 제공부
20. 스텐트 설계값 산출부
30. 공극 좌표 검출부
40. 3차원 영상 정합부10. Video provider
20. Stent design value calculation unit
30. Air gap coordinate detection unit
40. 3D image matching unit
Claims (20)
상기 영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출부;
상기 스텐트 설계값 산출부의 설계값을 이용하여 제작된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출부;
공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합부;를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치.An image providing unit that photographs and provides a patient's tooth region;
By performing deep learning on the 3D image received from the image providing unit, the jaw and teeth are segmented, a stent shape is created above the segmented teeth and the surrounding jaw, and the number of voids, location of voids, size of voids, A stent design value calculation unit that calculates a design value for the shape of the pores and enables the stent to be manufactured using an elastic material capable of 3D printing;
A void coordinate detector for attaching a stent manufactured using the design value of the stent design value calculator to a patient, photographing serially, and detecting a stent and a void;
An apparatus for image registration for implant diagnosis, comprising: a three-dimensional image matching unit for three-dimensional matching of serially photographed images using coordinates of the entire pore or coordinates of the center.
CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치.The method of claim 1, wherein the image providing unit provides an image of a tooth region,
Laser scanning of an image or a plaster model of a tooth area through any one of CT (Computed Tomograghy), CBCT (Cone Beam Computed Tomograghy), MRI (Magnetic Resonance Imaging), PET (Positron Emission Tomography), or a combination thereof An apparatus for image registration for implant diagnosis, characterized in that providing an image through ).
2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출부와,
스텐트 검출부에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출부를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치.The method of claim 1, wherein the void coordinate detection unit reduces a void detection range,
This is a method of using a 2D image to detect a stent area using image processing or deep learning in a sagittal or coronal maximum intensity projection (MIP) or average intensity projection (AIP) image, or an image processing or dip by using a 3D image. A stent detection unit that detects a stent using running,
The stent or the stent area detected by the stent detection unit is binarized by deep learning or image processing, and then the void is detected using image processing such as inversion or filling and then subtraction, or the void is directly detected by deep learning in a 3D image. Apparatus for image matching for implant diagnosis, characterized in that it comprises a void detection unit.
3차원 이미지 딥러닝을 수행시에, segnet, unet, faster rcnn, Voxnet의 어느 하나의 딥러닝 방법을 사용하여 악골 및 치아를 분할하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치.The method of claim 1, wherein the stent design value calculation unit,
An apparatus for image registration for implant diagnosis, characterized in that when performing 3D image deep learning, the jaw and teeth are segmented using any one of segnet, unet, faster rcnn, and Voxnet.
영상 제공부로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리부와,
치아 분할 처리부에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성부와,
공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계부와,
상기 공극 설계부에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅부를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치.The method of claim 1, wherein the stent design value calculation unit,
A tooth segmentation processing unit that performs deep learning on the 3D image received from the image providing unit to segment the jaw and teeth, and
A stent model forming part that automatically generates the appearance of a stent by learning a 3D image and a stent model used in clinical use with a generative adversal network (GAN) at a certain thickness above the tooth and the surrounding jaw that are divided in the tooth segmentation processing unit. ,
A void design section that calculates design values for the number of voids, void positions, void sizes, and void shapes,
And a 3D printing unit for 3D printing the stent using an elastic material using the design value calculated by the pore design unit.
지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고,
공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고,
지름 1mm에서 7mm까지의 공극의 크기를 결정하고,
공극의 모양을 구형 또는 다면체로 결정하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치.The method of claim 5, wherein the void design unit,
Determine the number of pores of 4 to 20 depending on the designation or the length of the arch,
Determine the location of the voids so that they are automatically located at regular intervals so that the voids are positioned at regular intervals with a distance of 1~2mm or more above the occlusal surface along the stent's center line, and 0.5mm~1mm or more from the stent surface
Determine the size of the pores from 1 mm to 7 mm in diameter,
An apparatus for image registration for implant diagnosis, characterized in that the shape of the void is determined as a spherical or polyhedron.
공극을 빈영역을 만들어 프린팅하거나,
밀도나 특성이 다른 물질로 동시에 프린팅하거나,
공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나,
인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 장치.The method of claim 5, wherein the 3D printing unit,
Print the void by creating a blank area,
Simultaneous printing with materials of different densities or properties, or
After half-printing the void, put a capsule, etc. and reprint it, or
An apparatus for image registration for implant diagnosis, comprising 3D printing a stent by injecting a liquid, plasma, or radioisotope material having a specific density or characteristic into the pore after printing is completed.
스텐트 설계값 산출부에서 상기 영상 제공 단계로부터 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하고, 분할(segmentation)된 치아와 주변 악골 상방에 스텐트 외형을 생성하고 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하여 3D 프린팅 가능한 탄성 재질로 스텐트 제작이 가능하도록 하는 스텐트 설계값 산출 단계;
공극 좌표 검출부에서 상기 스텐트 설계값 산출 단계의 설계값을 이용하여 제작된 스텐트를 환자에게 장착하고 시리얼하게 촬영을 하고 스텐트 검출 및 공극 검출을 하는 공극 좌표 검출 단계;
3차원 영상 정합부에서 공극 전체의 좌표나 중심의 좌표를 이용해 시리얼하게 촬영된 이미지들을 3차원 정합하는 3차원 영상 정합 단계;를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.An image providing step of providing an image of the patient's teeth taken by the image providing unit;
The stent design value calculation unit performs deep learning on the 3D image received from the image providing step to segment the jaw and teeth, create a stent shape above the segmented teeth and the surrounding jaw, and create a number of voids, A stent design value calculation step of calculating design values related to the position of the pore, the size of the pore, and the shape of the pore so that the stent can be manufactured using an elastic material capable of 3D printing;
A void coordinate detection step of attaching a stent manufactured by using the design value of the stent design value calculation step in the void coordinate detection unit to a patient, photographing serially, and performing stent detection and void detection;
A method for image registration for implant diagnosis comprising: a 3D image matching step of 3D matching serially captured images using coordinates of the entire pore or the coordinates of the center in the 3D image matching unit.
CT(Computed Tomograghy),CBCT(Cone Beam Computed Tomograghy),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography) 촬영의 어느 하나 또는 이들의 조합을 통한 영상 또는 치아 부위의 석고 모형을 레이저 스캐닝(laser scanning)을 통한 영상을 제공하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.The method of claim 8, wherein in the image providing step, in order to provide an image of a tooth region,
Laser scanning of an image or a plaster model of a tooth area through any one of CT (Computed Tomograghy), CBCT (Cone Beam Computed Tomograghy), MRI (Magnetic Resonance Imaging), PET (Positron Emission Tomography), or a combination thereof Method for image registration for implant diagnosis, characterized in that providing an image through).
공극 좌표 검출부의 스텐트 검출부에서 2차원 영상을 이용하는 방법으로 Sagittal 또는 MIP(coronal maximum intensity projection) 혹은 AIP(average intensity projection) 영상에서 영상처리나 딥러닝을 이용하여 스텐트 영역을 검출하거나, 3차원 영상을 이용하는 방법으로 영상처리나 딥러닝을 이용하여 스텐트를 검출하는 스텐트 검출 단계와,
공극 좌표 검출부의 공극 검출부에서 스텐트 검출 단계에서 검출된 스텐트 또는 스텐트 영역을 딥러닝이나 영상처리로 이진화한 후 반전 또는 필링(filling) 후 빼기 등의 영상 처리를 이용하여 공극을 검출하거나, 3차원 영상에서 딥러닝으로 직접 공극을 검출하는 공극 검출 단계를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.The method of claim 8, wherein in order to reduce the range of detection of the air gap in the detection of the air gap coordinates,
This is a method of using a 2D image in the stent detection unit of the void coordinate detection unit.It is a method of detecting a stent area using image processing or deep learning in a sagittal or coronal maximum intensity projection (MIP) or average intensity projection (AIP) image, or a 3D image. As a method of use, a stent detection step of detecting a stent using image processing or deep learning, and
The stent or stent area detected in the stent detection step in the void coordinate detection unit is binarized by deep learning or image processing, and then the void is detected using image processing such as inversion or filling and then subtraction, or a 3D image Method for image matching for implant diagnosis, characterized in that it comprises a void detection step of directly detecting the void by deep learning in.
스텐트 설계값 산출부의 치아 분할 처리부에서 상기 영상 제공 단계를 통하여 받은 3차원 이미지를 딥러닝을 수행하여 악골 및 치아를 분할(segmentation)하는 치아 분할 처리 단계와,
스텐트 설계값 산출부의 스텐트 모델 형성부에서 치아 분할 처리 단계에서 분할 처리된 치아와 주변 악골 상방에 일정 두께로, 3차원 영상과 임상에서 사용된 스텐트 모델을 GAN(generative adversal network)으로 학습시켜 스텐트의 외형을 자동으로 생성하는 스텐트 모델 형성 단계와,
스텐트 설계값 산출부의 공극 설계부에서 공극 수, 공극 위치, 공극 크기, 공극 모양에 관한 설계값을 산출하는 공극 설계 단계와,
스텐트 설계값 산출부의 3D 프린팅부에서 상기 공극 설계 단계에서 산출된 설계값을 이용하여 탄성 재질로 스텐트를 3D 프린팅하는 3D 프린팅 단계를 포함하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.The method of claim 8, wherein the step of calculating the stent design value comprises:
A tooth segmentation processing step of performing deep learning on the 3D image received through the image providing step by the tooth segmentation processing unit of the stent design value calculation unit to segment the jaw and teeth, and
In the stent model formation part of the stent design value calculation part, the divided teeth and the surrounding jaw bone are divided at a certain thickness in the tooth segmentation processing step, and the 3D image and the stent model used in the clinic are learned with a generative adversal network (GAN). The step of forming a stent model that automatically generates an appearance, and
A void design step of calculating design values for the number of voids, void locations, void sizes, and void shapes in the void design section of the stent design value calculation section;
And a 3D printing step of 3D printing the stent with an elastic material using the design value calculated in the pore design step in the 3D printing unit of the stent design value calculation unit.
지정 또는 arch의 길이 등에 따라 4 ~ 20개의 공극 수를 결정하고, 공극이 스텐트의 중심선을 따라 교합면 상방에 1~2mm 이상 거리를 두고, 스텐트 표면과 0.5mm~1mm 이상 거리를 두도록, 일정 간격으로 자동으로 위치되도록 공극 위치를 결정하고, 지름 1mm에서 7mm까지의 공극의 크기를 결정하고, 공극의 모양을 구형 또는 다면체로 결정하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.The method of claim 12, wherein the void design step,
Depending on the designation or the length of the arch, determine the number of 4 to 20 pores, and keep a distance of 1 to 2 mm or more above the occlusal surface along the center line of the stent, and a distance of 0.5 mm to 1 mm or more from the stent surface. A method for image registration for implant diagnosis, characterized in that the pore position is determined to be automatically positioned, the size of the pore from 1mm to 7mm in diameter is determined, and the shape of the pore is determined as a spherical or polyhedron.
공극을 빈영역을 만들어 프린팅하거나, 밀도나 특성이 다른 물질로 동시에 프린팅하거나, 공극을 반만 프린팅 후 캡슐 등을 넣고 재인쇄하거나, 인쇄 완료 후 공극 내에 특정 밀도나 특성을 갖는 액체나 플라즈마 또는 방사선 동위원소의 물질을 주입하여 스텐트를 3D 프린팅하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.The method of claim 12, wherein the 3D printing step,
Make voids and print them, print them with materials with different densities or characteristics at the same time, print half of the voids, put capsules, etc., and reprint them, or liquid, plasma, or radiation isotopes with specific density or characteristics in the voids after printing is complete A method for image registration for implant diagnosis, characterized in that the stent is 3D printed by injecting an elemental material.
딥러닝 네트워크로 학습하여 condyle 하악체 별로 악골을 분할하고, 상악,하악,치아번호 별로 치아를 분할하고, 신경관을 분할하고,
악골과 치아의 영역을 나누기 위해 먼저 sagittal, coronal MIP 이미지에서 각각의 상악, 하악, condyle, 하악체, alveolar bone 영역부터 학습시키고, 학습된 각 영역내부에서 3D axial, coronal, sagittal 이미지를 학습시키는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.The method of claim 12, wherein in order to improve learning efficiency and accuracy in the tooth division processing step,
By learning with a deep learning network, the jaw is divided for each condyle mandible, the teeth are divided by maxilla, mandible, and tooth number, and the neural tube is divided.
In order to divide the jaw and tooth regions, we first study each maxilla, mandible, condyle, mandible, alveolar bone region from the sagittal and coronal MIP images, and learn 3D axial, coronal, and sagittal images inside each learned region. A method for image registration for implant diagnosis, characterized in that.
부분무치악 및 무치악에서 교합면을 기준으로 자동 plane reorientation이 이루어지도록 하고, 교합평면의 높이, 각도 결정은 치관의 중선 라인을 보조선으로 수정한 데이터를 딥러닝 네트워크를 이용하여 학습하는 것에 의해 결정되도록 하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.The method of claim 8, wherein for image matching in the 3D image matching step,
In partial edentulous and edentulous, automatic plane reorientation is made based on the occlusal plane, and the height and angle of the occlusal plane are determined by learning the data obtained by modifying the midline of the crown as an auxiliary line using a deep learning network. Method for image registration for implant diagnosis, characterized in that to.
치관과 악골 정보를 모두 활용한 reformation을 수행하고, 유치악 부위는 치관부가 끝나는 지점의 치조골정을 기준으로, 무치악 부위는 일정 두께(4mm)까지의 해당 치조골 MIP(axial) 이미지를 기준으로 arch를 그릴 이상적인 악궁을 형성한 후, 악궁의 중심 라인을 구해 arch를 생성하거나, 3D 이미지 전체 또는 전체 Axial MIP image에서 arch 학습을 하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.The method of claim 8, wherein for image matching in the 3D image matching step,
Reformation using both crown and jaw information is performed, and the dentinal area is based on the alveolar bone at the end of the crown, and the edentulous area is based on the corresponding alveolar bone MIP (axial) image up to a certain thickness (4mm). A method for image registration for implant diagnosis, characterized in that after forming an ideal arch to draw, an arch is generated by obtaining a central line of the arch, or arch learning is performed from the entire 3D image or the entire axial MIP image.
영상 정합에 의해 condyle의 형태에 따른 자동 reformation 및 3D view 생성을 하고, 이는 하악의 axial MIP image에서 condyle 장축을 기준으로 그에 평행한 frontal view와 수직인 lateral view를 생성하고, 동시에 분리된 양쪽 condyle을 3D로 나타내도록 하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.The method of claim 8, wherein in the 3D image matching step,
By image matching, automatic reformation according to the shape of the condyle and 3D view are generated, which creates a frontal view parallel to and a lateral view perpendicular to the long axis of the condyle in the axial MIP image of the mandible, and simultaneously separates both condyles. Method for image registration for implant diagnosis, characterized in that to display in 3D.
분리된 악골의 intensity를 이용할 수 있고,
이는 딥러닝을 통해 악골을 분할한 것을 마스크로 하여 악골이 아닌 영역을 삭제한 후, 악골의 intensity 정보를 이용하여 intensity based registration하여 두 번 이상 촬영한 동일 환자의 이미지를 정합해서 저장 후 reformation해서 나타내도록 하는 것을 특징으로 하는 임플란트 진단용 영상 정합을 위한 방법.
The method of claim 8, wherein in the 3D image matching step,
You can use the intensity of the separated jaw,
This is done by using deep learning to divide the jaw bone as a mask, deleting the area other than the jaw bone, using intensity information of the jaw bone, intensity based registration, matching the images of the same patient taken more than once, saving, and reformation to display. Method for image registration for implant diagnosis, characterized in that to be.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190018752A KR102215068B1 (en) | 2019-02-18 | 2019-02-18 | Apparatus and Method for Registrating Implant Diagnosis Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190018752A KR102215068B1 (en) | 2019-02-18 | 2019-02-18 | Apparatus and Method for Registrating Implant Diagnosis Image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200100448A KR20200100448A (en) | 2020-08-26 |
| KR102215068B1 true KR102215068B1 (en) | 2021-02-10 |
Family
ID=72293374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190018752A KR102215068B1 (en) | 2019-02-18 | 2019-02-18 | Apparatus and Method for Registrating Implant Diagnosis Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102215068B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4215150A1 (en) * | 2020-09-21 | 2023-07-26 | Medit Corp. | Occlusal vertical dimension reproduction method for manufacturing artificial teeth |
| KR20220045763A (en) * | 2020-10-06 | 2022-04-13 | 오스템임플란트 주식회사 | A device for displaying artificial tooth structures, a method thereof, and a computer readable medium carrying a program for executing the same |
| KR102310662B1 (en) * | 2021-01-18 | 2021-10-12 | 주식회사 에이치디엑스윌 | Apparatus and method for 3-dimensional oral scan data registration using deep learning-based 3d key points detection |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110105896A1 (en) | 2008-06-13 | 2011-05-05 | Koninklijke Philips Electronics N.V. | Multimodal imaging fiducial marker |
| KR101473192B1 (en) | 2013-11-25 | 2014-12-16 | 주식회사 디오 | method of manufacturing guide stent for dental implant |
| KR101675500B1 (en) | 2015-07-14 | 2016-11-11 | 주식회사 디오 | method for manufacturing surgical guide for dental implant of edentulous patient |
| WO2019002631A1 (en) | 2017-06-30 | 2019-01-03 | Promaton Holding B.V. | Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101117026B1 (en) * | 2009-12-15 | 2012-03-16 | 삼성메디슨 주식회사 | Image registration system for performing image registration between different images |
| KR101273386B1 (en) | 2011-05-04 | 2013-06-11 | 정제교 | Intraoral marker for the synchronization of three dimensional image data |
| KR101877895B1 (en) | 2016-10-06 | 2018-07-12 | 주식회사 메가젠임플란트 | Image Generation System for implant Diagnosis and the same |
| KR101878467B1 (en) | 2016-11-01 | 2018-07-13 | 한국과학기술연구원 | Method, apparatus and program for selective registration three-dimensional tooth image data to optical scanning tooth model |
-
2019
- 2019-02-18 KR KR1020190018752A patent/KR102215068B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110105896A1 (en) | 2008-06-13 | 2011-05-05 | Koninklijke Philips Electronics N.V. | Multimodal imaging fiducial marker |
| KR101473192B1 (en) | 2013-11-25 | 2014-12-16 | 주식회사 디오 | method of manufacturing guide stent for dental implant |
| KR101675500B1 (en) | 2015-07-14 | 2016-11-11 | 주식회사 디오 | method for manufacturing surgical guide for dental implant of edentulous patient |
| WO2019002631A1 (en) | 2017-06-30 | 2019-01-03 | Promaton Holding B.V. | Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200100448A (en) | 2020-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Elnagar et al. | Digital Workflow for Combined Orthodontics and Orthognathic Surgery. | |
| JP5374382B2 (en) | Methods and systems for dental planning and production | |
| US8682043B2 (en) | Method of merging anatomical data and surface data of a patient's dentition | |
| ES2717447T3 (en) | Computer-assisted creation of a habitual tooth preparation using facial analysis | |
| JP5857108B2 (en) | Method and system for providing improved data matching for virtual planning | |
| AU2013314690B2 (en) | A digital splint | |
| CA2883556C (en) | An improved virtual splint | |
| AU2013314688B2 (en) | An improved surgical template | |
| de Waard et al. | A novel method for fusion of intra-oral scans and cone-beam computed tomography scans for orthognathic surgery planning | |
| Ye et al. | Integration accuracy of laser-scanned dental models into maxillofacial cone beam computed tomography images of different voxel sizes with different segmentation threshold settings | |
| KR102215068B1 (en) | Apparatus and Method for Registrating Implant Diagnosis Image | |
| Kane et al. | A dual scan approach to creating an accurate dental surface for virtual implant planning: A dental technique | |
| CN112419476A (en) | Method and system for creating three-dimensional virtual image of dental patient | |
| US11654002B2 (en) | Method for determining and visualizing tooth movements and planned instances of tooth repositioning | |
| KR102302249B1 (en) | Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network | |
| Sohmura et al. | A novel method of removing artifacts because of metallic dental restorations in 3‐D CT images of jaw bone | |
| Apostolakis et al. | Use of CBCT and Low-Cost Additive Manufacturing in Implant Surgical Guide Fabrication. | |
| Mai et al. | Radiopaque tissue surface-based digital registration technique for completely edentulous ridge | |
| Ye et al. | Three‐dimensional Design and Manufacture of Insertion Guides | |
| Zone | The Aesthetic Challenge | |
| TW201345491A (en) | Method of digital filing and fabrication for dental prosthodontics and prosthesis and teaching and training thereof | |
| Barone et al. | Guided dental surgery based on integrating 3D image slicing and structured light scanning | |
| ITBO20100340A1 (en) | METHOD FOR OBTAINING COMPOUND DATA FOR DENTAL AND RELATIVE IMPLANTATION PLANNING PRODUCTION OF SURGICAL TEMPLES |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |