KR102302245B1 - 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법 - Google Patents
딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR102302245B1 KR102302245B1 KR1020190141879A KR20190141879A KR102302245B1 KR 102302245 B1 KR102302245 B1 KR 102302245B1 KR 1020190141879 A KR1020190141879 A KR 1020190141879A KR 20190141879 A KR20190141879 A KR 20190141879A KR 102302245 B1 KR102302245 B1 KR 102302245B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- images
- image
- panorama
- panoramic
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000009977 dual effect Effects 0.000 title description 2
- 210000003484 anatomy Anatomy 0.000 claims abstract description 24
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 13
- 230000001815 facial effect Effects 0.000 claims abstract description 9
- 210000001983 hard palate Anatomy 0.000 claims description 10
- 201000000615 hard palate cancer Diseases 0.000 claims description 10
- 210000004872 soft tissue Anatomy 0.000 claims description 10
- 210000003823 hyoid bone Anatomy 0.000 claims description 9
- 238000007408 cone-beam computed tomography Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 210000002455 dental arch Anatomy 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000002591 computed tomography Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 210000001847 jaw Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000002354 Edentulous Jaw Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004513 dentition Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000004086 maxillary sinus Anatomy 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000036346 tooth eruption Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/14—Applications or adaptations for dentistry
-
- A61B6/51—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
본 발명은 치과용 영상 처리시에 파노라마의 이중상과 허상을 제거하여 판독률 향상 및 파노라마 이미지를 이용한 정확한 기계 인식을 가능하도록 한 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법에 관한 것으로, 3차원 의료영상과 레이져 안면스캔을 정합하는 영상 정합부;파노라마 상층의 지오메트리를 이용해 3차원 영상의 상층내 구조만을 이용해 가상 파노라마 재구성을 하는 가상 파노라마 재구성부;가상 파노라마 재구성부에서 재구성된 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능을 이용하여 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하기 위한 학습을 하는 학습부;학습부의 학습 결과에 따라 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하는 노이즈 상 제거부;를 포함하는 것이다.
Description
본 발명은 치과용 영상 처리에 관한 것으로, 구체적으로 파노라마의 이중상과 허상을 제거하여 판독률 향상 및 파노라마 이미지를 이용한 정확한 기계 인식을 가능하도록 한 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법에 관한 것이다.
최근 치아를 치료하기 위해 사용되는 영상 기술이 빠르게 발전하고 있다.
의료 기술 분야는 사람의 신체에 직접적인 영향을 미치기 때문에 그 어떤 분야보다 보수적으로 개발됨에도 불구하고 치과 분야는 3D 스캐너, 3D 조각기, 프린터 및 치아 CT(Computed Tomography, 전산화 단층 촬영) 등의 기술을 활용한 디지털 기술을 도입하여 빠르게 발전하고 있다.
이러한 디지털 기술 중 치아 CT는 구강 내부의 정확한 3D 정보를 제공하기 때문에 치과 진료용 영상으로 사용되고 있다. 또한, 치아 CT는 치아 진단을 위한 2D 및 3D 시각화, 치아 교정치료, 임플란트, 보철 치료 등을 위한 CAD/CAM 생산 등 다양한 분야에도 널리 사용되고 있다.
나아가 치과 진료에 있어서 치아 CT의 보급과 가시화 소프트웨어의 발달로 2D 및 3D의 CT 영상 가시화를 통해 환자의 상태를 진단하고 문제가 있는 치아 부분을 설명하는 과정이 일반화되었다.
한편, 파노라마 사진은 무치악이나 개구 불능으로 인하여 구내 촬영을 할 수 없는 환자에게도 시행할 수 있을 뿐 아니라 병소가 큰 경우에 넓은 악골의 상을 얻을 수 있다.
파노라마 사진은 전체 악골을 한 장의 사진에 담을 수 있으므로 치아와 치아간의 각도나 치아와 다른 구조물들간의 전체적인 관계를 전악 구내 방사선 사진보다 정확하게 관찰할 수 있다.
파노라마의 방사선원은 촬영 대상인 상 하악골보다 후하방에 위치하고 있으므로, 정확하게 환자를 위치시켜 얻은 사진에서조차 환자의 lingual(palatal)에 있는 구조물일수록 상의 확대가 커지게 되며, 같은 높이에 위치하더라도 설측의 구조물이 협측에 있는 것보다 높은 위치에 있는 것으로 나타나게 된다.
이와 같은 파노라마 이미지는 다음과 같은 특성을 갖는다.
도 1은 파노라마 허상의 일 예를 나타낸 구성도이고, 도 2는 중앙에 경추(cervical vertebra)가 겹친(이중상) 파노라마의 일 예를 나타낸 구성도이다.
그리고 도 3은 이중상과 허상 형성 부위를 나타낸 구성도이다.
파노라마의 상층은 촬영 시 뚜렷하게 보이는 3차원 영역을 의미하는 것으로, 파노라마 상층안 구조는 뚜렷하게 보이는 반면, 파노라마 촬영 지오메트리에 따라 겹쳐지는 부분들도 함께 촬영되어 이중상과 허상이 생성된다.
이중상과 허상이 동시에 나타날 수 있는 해부학적 구조물에는 body of hyoid bone, hard palate의 뒤쪽 부위 등이 있다.
일반 방사선 사진과는 달리 연조직, 특히 환자의 후상방 부위에 있는 연조직의 형태가 나타나며, fluid나 cartilagenous tissue도 관측이 가능하다.
또한 air space가 어두운 상으로 나타나 정상적 구조물들과 중첩된다. 이러한 특징은 상악동 등의 상태를 판독함에 있어서는 유리하지만, 정상적 구조물의 판독을 병소로 오인하게 되는 단점도 있다.
도 3은 이중상과 허상 형성 부위를 나타낸 것으로, 파노라마 사진의 많은 영역이 허상과 이중상에 의해 영향을 받는 것을 알 수 있다.
이와 같은 파노라마의 허상과 이중상은 파노라마 판독의 어려움 및 판독 실수를 야기하고, 파노라마 이미지를 이용한 정확한 기계 인식을 어렵게 한다.
따라서, 파노라마의 이중상과 허상을 제거하여 판독률 향상 및 정확한 기계 인식을 가능하게 하기 위한 새로운 기술의 개발이 요구되고 있다.
본 발명은 종래 기술의 치과용 영상 처리 기술의 문제점을 해결하기 위한 것으로, 파노라마의 이중상과 허상을 제거하여 판독률 향상 및 파노라마 이미지를 이용한 정확한 기계 인식을 가능하도록 한 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능(image to image regression, Generative adversarial network 등)을 이용하여 학습시켜 cervical vertebra, hyoid bone, hard palate, 연조직 등 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제해서 치아와 악골 등만 선명히 관찰 가능하도록 한 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치는 3차원 의료영상과 레이져 안면스캔을 정합하는 영상 정합부;파노라마 상층의 지오메트리를 이용해 3차원 영상의 상층내 구조만을 이용해 가상 파노라마 재구성을 하는 가상 파노라마 재구성부;가상 파노라마 재구성부에서 재구성된 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능을 이용하여 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하기 위한 학습을 하는 학습부;학습부의 학습 결과에 따라 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 제거하는 노이즈 상 제거부;를 포함하는 것을 특징으로 한다.
여기서, 영상 정합부에서 정합되는 영상은 CBCT 또는 CT 또는 MRI 또는 초음파를 이용하여 동일 위치에서 동시에 촬영된 3차원 의료영상을 사용하거나, 동일 위치에서 동시에 촬영되지 않은 영상을 정합 알고리즘으로 정합하는 것을 특징으로 한다.
그리고 노이즈 상 제거부에서 제거되는 해부학 구조는, 경추(cervical vertebra) 또는 설골(hyoid bone) 또는 경구개(hard palate) 또는 연조직을 포함하는 것을 특징으로 한다.
그리고 가상 파노라마 재구성부에서 재구성되는 가상 파노라마는 상의 겹침, 허상이 없는 것을 특징으로 한다.
그리고 파노라마 상층은 일반적인 파노라마 상층 혹은 상하악 치열에 맞게 최적화되고, 개개인의 아치 형태에 맞는 상층을 형성하여 사용하는 것을 특징으로 한다.
그리고 개개인의 아치 형태에 맞는 상층을 형성하기 위하여, 전치부를 3D 촬영하여 구강스캐너로 촬영된 3D 치아 이미지와 정합해서 교합되는 부분을 확인하는 교합 측정 및, 3D 레이져 스캔장치를 이용해 외이도 및 과두 위치를 구하고 덴탈 아치(dental arch)와 과두의 중앙을 잇는 하악골 아치(mandibular arch)의 중앙선(spline)을 산출하는 아치 형태 분석을 위한 구성을 포함하는 것을 특징으로 한다.
그리고 상, 하악 치열의 곡면 형태의 상층을 재현하기 위한 x-ray generator를 배치하고, T-scan과 레이져 스캔으로 교합면의 위치와 전치부 치축 각도를 구하여 치아가 들어있는 굽은 모양의 상층을 상정하는 구성을 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 방법은 3차원 의료영상과 레이져 안면스캔을 정합하는 영상 정합 단계;파노라마 상층의 지오메트리를 이용해 3차원 영상의 상층내 구조만을 이용해 가상 파노라마 재구성을 하는 가상 파노라마 재구성 단계;가상 파노라마 재구성부에서 재구성된 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능을 이용하여 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하기 위한 학습을 하는 학습 단계;학습 결과에 따라 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 제거하는 노이즈 상 제거 단계;를 포함하는 것을 특징으로 한다.
여기서, 노이즈 상 제거 단계에서 제거되는 해부학 구조는, 경추(cervical vertebra) 또는 설골(hyoid bone) 또는 경구개(hard palate) 또는 연조직을 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 파노라마의 이중상과 허상을 제거하여 판독률 향상 및 파노라마 이미지를 이용한 정확한 기계 인식을 가능하도록 한다.
둘째, 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능을 이용하여 학습시켜 경추(cervical vertebra), 설골(hyoid bone), 경구개(hard palate), 연조직 등 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제해서 치아와 악골 등만 선명히 관찰 가능하도록 한다.
도 1은 파노라마 허상의 일 예를 나타낸 구성도
도 2는 중앙에 경추(cervical vertebra)가 겹친(이중상) 파노라마의 일 예를 나타낸 구성도
도 3은 이중상과 허상 형성 부위를 나타낸 구성도
도 4는 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치의 구성도
도 5는 동일한 위치에서 촬영되어 정합된 안면 레이저 스캔과 CBCT 이미지
도 6은 가상 파노라마 재구성의 일 예를 나타낸 구성도
도 7은 딥러닝을 이용해 파노라마에서 특정 해부학 구조 및 허상, 이중상을 제거하는 학습을 시행하는 과정을 나타낸 구성도
도 8은 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 방법을 나타낸 흐름도
도 2는 중앙에 경추(cervical vertebra)가 겹친(이중상) 파노라마의 일 예를 나타낸 구성도
도 3은 이중상과 허상 형성 부위를 나타낸 구성도
도 4는 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치의 구성도
도 5는 동일한 위치에서 촬영되어 정합된 안면 레이저 스캔과 CBCT 이미지
도 6은 가상 파노라마 재구성의 일 예를 나타낸 구성도
도 7은 딥러닝을 이용해 파노라마에서 특정 해부학 구조 및 허상, 이중상을 제거하는 학습을 시행하는 과정을 나타낸 구성도
도 8은 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 방법을 나타낸 흐름도
이하, 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 4는 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치의 구성도이다.
본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법은 파노라마의 이중상과 허상을 제거하여 판독률 향상 및 파노라마 이미지를 이용한 정확한 기계 인식을 가능하도록 한 것이다.
이를 위하여 본 발명은 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능을 이용하여 학습시켜 경추(cervical vertebra), 설골(hyoid bone), 경구개(hard palate), 연조직 등 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제해서 치아와 악골 등만 선명히 관찰 가능하도록 하는 구성을 포함할 수 있다.
본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치는 도 4에서와 같이, 동일 위치에서 동시에 촬영된 3차원 의료영상(CBCT, CT, MRI, 초음파)과 레이져 안면스캔을 정합하는 영상 정합부(10)와, 동일위치에서 동시에 촬영된 파노라마 상층의 지오메트리를 이용해 3차원 영상의 상층내 구조만을 이용해 가상 파노라마 재구성을 하는 가상 파노라마 재구성부(20)와, 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능을 이용하여 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하기 위한 학습을 하는 학습부(30)와, 학습부(30)의 학습 결과에 따라 경추(cervical vertebra), 설골(hyoid bone), 경구개(hard palate), 연조직 등 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하는 노이즈 상 제거부(40)를 포함한다.
이와 같은 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치는 파노라마 판독의 어려움 및 판독 실수를 야기하는 파노라마의 이중상과 허상을 제거하여 판독률 향상 및 파노라마 이미지를 이용한 정확한 기계 인식을 가능하도록 한 것이다.
본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 방법을 구체적으로 설명하면 다음과 같다.
도 8은 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 방법을 나타낸 흐름도이다.
본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 방법은 도 8에서와 같이, 동일 위치에서 동시에 촬영된 3차원 의료영상(CBCT, CT, MRI, 초음파)과 레이져 안면스캔을 정합하는 영상 정합 단계(S801)와, 동일위치에서 동시에 촬영된 파노라마 상층의 지오메트리를 이용해 3차원 영상의 상층내 구조만을 이용해 가상 파노라마 재구성을 하는 가상 파노라마 재구성 단계(S802)와, 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능을 이용하여 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하기 위한 학습을 하는 학습 단계 및 학습 결과에 따라 경추(cervical vertebra), 설골(hyoid bone), 경구개(hard palate), 연조직 등 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하는 노이즈 상 제거 단계(S803)를 포함한다.
여기서, 동일 위치에서 동시에 촬영된 3차원 의료영상(CBCT, CT, MRI, 초음파)과 레이져 안면스캔을 정합하는 영상 정합 단계(S801)에서 동일 위치에서 동시에 촬영되지 않은 영상을 정합 알고리즘 등으로 정합하는 것도 가능하다.
도 5는 동일한 위치에서 촬영되어 정합된 안면 레이저 스캔과 CBCT 이미지를 나타낸 것이다.
그리고 가상 파노라마 재구성 단계(S802)에서 가상 파노라마에는 상의 겹침, 허상이 없다.
그리고 파노라마 상층은 일반적인 파노라마 상층 혹은 상하악 치열에 맞게 최적화될 수 있다.
파노라마의 상층은 촬영 시 뚜렷하게 보이는 3차원 영역을 의미하는 것으로, 개개인의 아치 형태에 맞는 상층을 형성하여 선명한 이미지를 얻을 수 있도록 하는 것도 가능하다.
개개인의 아치 형태에 맞는 상층을 형성하기 위하여, 전치부를 3D 촬영하여 구강스캐너로 촬영된 3D 치아 이미지와 정합해서 교합되는 부분을 확인하는 교합 측정 및, 3D 레이져 스캔장치를 이용해 외이도 및 과두 위치를 구하고 덴탈 아치(dental arch)와 과두의 중앙을 잇는 하악골 아치(mandibular arch)의 중앙선(spline)을 산출하는 아치 형태 분석을 위한 구성을 포함할 수 있다.
또한, 상, 하악 치열의 곡면 형태의 상층을 재현하기 위한 x-ray generator를 배치하고, T-scan과 레이져 스캔으로 교합면의 위치와 전치부 치축 각도를 구하여 치아가 들어있는 굽은 모양의 상층을 상정하는 구성을 포함할 수 있다.
도 6은 가상 파노라마 재구성의 일 예를 나타낸 구성도로, 상층 내 구조만을 이용해 일반 파노라마와 지오메트리가 동일한 가상 파노라마를 재구성(reconstruction) 하는 과정을 나타낸 것이다.
그리고 도 7은 딥러닝을 이용해 파노라마에서 특정 해부학 구조 및 허상, 이중상을 제거하는 학습을 시행하는 과정을 나타낸 구성도이다.
가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능(image to image regression, Generative adversarial network 등)을 이용하여 학습시켜 cervical vertebra, hyoid bone, hard palate, 연조직 등 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제해서 치아와 악골 등만 선명히 관찰 가능하도록 하는 것이다.
이상에서 설명한 본 발명에 따른 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법은 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능(image to image regression, Generative adversarial network 등)을 이용하여 학습시켜 cervical vertebra, hyoid bone, hard palate, 연조직 등 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제해서 치아와 악골 등만 선명히 관찰 가능하도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 영상 정합부
20. 가상 파노라마 재구성부
30. 학습부
40. 노이즈 상 제거부
20. 가상 파노라마 재구성부
30. 학습부
40. 노이즈 상 제거부
Claims (9)
- 3차원 의료영상과 레이져 안면스캔을 정합하는 영상 정합부;
파노라마 상층의 지오메트리를 이용해 3차원 영상의 상층내 구조만을 이용해 가상 파노라마 재구성을 하는 가상 파노라마 재구성부;
가상 파노라마 재구성부에서 재구성된 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능을 이용하여 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하기 위한 학습을 하는 학습부;
학습부의 학습 결과에 따라 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 제거하는 노이즈 상 제거부;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치. - 제 1 항에 있어서, 영상 정합부에서 정합되는 영상은 CBCT 또는 CT 또는 MRI 또는 초음파를 이용하여 동일 위치에서 동시에 촬영된 3차원 의료영상을 사용하거나,
동일 위치에서 동시에 촬영되지 않은 영상을 정합 알고리즘으로 정합하는 것을 특징으로 하는 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치. - 제 1 항에 있어서, 노이즈 상 제거부에서 제거되는 해부학 구조는,
경추(cervical vertebra) 또는 설골(hyoid bone) 또는 경구개(hard palate) 또는 연조직을 포함하는 것을 특징으로 하는 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치. - 제 1 항에 있어서, 가상 파노라마 재구성부에서 재구성되는 가상 파노라마는 상의 겹침, 허상이 없는 것을 특징으로 하는 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치.
- 제 1 항에 있어서, 파노라마 상층은 일반적인 파노라마 상층 혹은 상하악 치열에 맞게 최적화되고, 개개인의 아치 형태에 맞는 상층을 형성하여 사용하는 것을 특징으로 하는 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치.
- 제 5 항에 있어서, 개개인의 아치 형태에 맞는 상층을 형성하기 위하여,
전치부를 3D 촬영하여 구강스캐너로 촬영된 3D 치아 이미지와 정합해서 교합되는 부분을 확인하는 교합 측정 및, 3D 레이져 스캔장치를 이용해 외이도 및 과두 위치를 구하고 덴탈 아치(dental arch)와 과두의 중앙을 잇는 하악골 아치(mandibular arch)의 중앙선(spline)을 산출하는 아치 형태 분석을 위한 구성을 포함하는 것을 특징으로 하는 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치. - 제 5 항에 있어서, 상, 하악 치열의 곡면 형태의 상층을 재현하기 위한 x-ray generator를 배치하고, T-scan과 레이져 스캔으로 교합면의 위치와 전치부 치축 각도를 구하여 치아가 들어있는 굽은 모양의 상층을 상정하는 구성을 포함하는 것을 특징으로 하는 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치.
- 영상 정합부에서 3차원 의료영상과 레이져 안면스캔을 정합하는 영상 정합 단계;
가상 파노라마 재구성부에서 파노라마 상층의 지오메트리를 이용해 3차원 영상의 상층내 구조만을 이용해 가상 파노라마 재구성을 하는 가상 파노라마 재구성 단계;
학습부에서 가상 파노라마 재구성부에서 재구성된 가상 파노라마를 기준으로, 촬영된 일반 파노라마를 인공지능을 이용하여 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 삭제하기 위한 학습을 하는 학습 단계;
노이즈 상 제거부에서 학습 결과에 따라 판독에 방해가 되는 겹치는 해부학 구조 및 허상 및 이중상을 선택적으로 제거하는 노이즈 상 제거 단계;를 포함하는 것을 특징으로 하는 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 방법. - 제 8 항에 있어서, 노이즈 상 제거부에서 수행되는 노이즈 상 제거 단계에서 제거되는 해부학 구조는,
경추(cervical vertebra) 또는 설골(hyoid bone) 또는 경구개(hard palate) 또는 연조직을 포함하는 것을 특징으로 하는 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190141879A KR102302245B1 (ko) | 2019-11-07 | 2019-11-07 | 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190141879A KR102302245B1 (ko) | 2019-11-07 | 2019-11-07 | 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210055438A KR20210055438A (ko) | 2021-05-17 |
| KR102302245B1 true KR102302245B1 (ko) | 2021-09-14 |
Family
ID=76158421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190141879A KR102302245B1 (ko) | 2019-11-07 | 2019-11-07 | 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102302245B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102468958B1 (ko) | 2021-11-01 | 2022-11-21 | 한국과학기술정보연구원 | 인공지능 모델 학습용 데이터 생성 방법 및 장치 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102613988B1 (ko) * | 2021-08-12 | 2023-12-15 | 오스템임플란트 주식회사 | 복수개의 치아에 대한 파노라마 이미지를 획득하는 방법, 디바이스 및 기록매체 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015156966A (ja) | 2014-02-24 | 2015-09-03 | 株式会社テレシステムズ | 歯科用ｘ線撮像装置及び画像補正方法 |
| KR101951610B1 (ko) | 2018-12-21 | 2019-02-22 | 세종대학교산학협력단 | 파노라마 이미지의 스티칭 오류의 종류 판단 방법 및 이를 수행하는 단말 장치 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101742120B1 (ko) * | 2011-06-10 | 2017-05-31 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| KR20150083338A (ko) * | 2014-01-09 | 2015-07-17 | 주식회사 이우소프트 | 엑스선 영상처리장치 및 엑스선 촬영시스템 |
| KR101669178B1 (ko) | 2014-12-31 | 2016-10-27 | 오스템임플란트 주식회사 | 치아 파노라마 영상 생성방법, 이를 위한 장치 및 이를 기록한 기록매체 |
| KR20170081871A (ko) * | 2016-01-05 | 2017-07-13 | 주식회사바텍 | 엑스선 영상 촬영 장치 |
| KR101953629B1 (ko) | 2017-11-21 | 2019-03-05 | 서울여자대학교 산학협력단 | 두개악안면 cbct 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법 및 장치 |
| KR102054210B1 (ko) | 2018-03-06 | 2019-12-10 | 경희대학교 산학협력단 | 치아 ct 영상을 이용한 자동 파노라마 영상 생성 방법 및 시스템 |
-
2019
- 2019-11-07 KR KR1020190141879A patent/KR102302245B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015156966A (ja) | 2014-02-24 | 2015-09-03 | 株式会社テレシステムズ | 歯科用ｘ線撮像装置及び画像補正方法 |
| KR101951610B1 (ko) | 2018-12-21 | 2019-02-22 | 세종대학교산학협력단 | 파노라마 이미지의 스티칭 오류의 종류 판단 방법 및 이를 수행하는 단말 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102468958B1 (ko) | 2021-11-01 | 2022-11-21 | 한국과학기술정보연구원 | 인공지능 모델 학습용 데이터 생성 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210055438A (ko) | 2021-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Elnagar et al. | Digital Workflow for Combined Orthodontics and Orthognathic Surgery. | |
| JP6039651B2 (ja) | 精密な歯科調製を可視化及び計画するための方法、システム、及びコンピュータ読み取り可能媒体 | |
| US9763757B2 (en) | Method for creating a virtual oral-maxillofacial anatomical representation | |
| EP2280651A2 (en) | Method and apparatus for combining 3d dental scans with other 3d data sets | |
| KR102302245B1 (ko) | 딥러닝을 이용한 파노라마 이중상 및 허상 제거를 위한 장치 및 방법 | |
| KR102215068B1 (ko) | 임플란트 진단용 영상 정합을 위한 장치 및 방법 | |
| Rozylo-Kalinowska | Imaging techniques in dental radiology: acquisition, anatomic analysis and interpretation of radiographic images | |
| KR101854734B1 (ko) | 개방형 서지컬 가이드의 제작 방법 및 제작 시스템 | |
| Zimmermann et al. | The Impact of Technological Innovation on Dentistry | |
| Al-Ubaydi et al. | The validity and reliability of automatic tooth segmentation generated using artificial intelligence | |
| US11341609B2 (en) | Method and system for generating a panoramic image | |
| US11654002B2 (en) | Method for determining and visualizing tooth movements and planned instances of tooth repositioning | |
| WO2014015459A1 (zh) | 牙科补缀及赝复体数字建档与制作的方法及其教学训练 | |
| Sohmura et al. | A novel method of removing artifacts because of metallic dental restorations in 3‐D CT images of jaw bone | |
| Raitz et al. | Dento-maxillo-facial radiology as an aid to human identification | |
| Apostolakis et al. | Use of CBCT and Low-Cost Additive Manufacturing in Implant Surgical Guide Fabrication. | |
| Panther | Impact of orthodontic brackets on merging intraoral scans with 3D facial images | |
| Singh et al. | CONE BEAM COMPUTERISED TOMOGRAPHY A NEW RAY FOR DIAGNOSIS IN DENTAL RADIOLOGY. | |
| Antolín et al. | Digital Flow in Implantology Using Facial Scanner | |
| BG4758U1 (bg) | Система за образна диагностика в денталната медицина | |
| Molen | Protocols for the use of cone beam computed tomography in orthodontic practice | |
| Lee | A Comparison of Orthodontic Intraoral Scan Results Between Staff and Volunteers | |
| Stancioi et al. | Image Segmentation based System for Computing the Shifting of a Tooth | |
| Lin et al. | Virtual Articulators | |
| Kolokitha et al. | Digital Orthodontic Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |