KR102647652B1 - 두경부 이미지 구획화 방법 및 장치 - Google Patents
두경부 이미지 구획화 방법 및 장치 Download PDFInfo
- Publication number
- KR102647652B1 KR102647652B1 KR1020210141030A KR20210141030A KR102647652B1 KR 102647652 B1 KR102647652 B1 KR 102647652B1 KR 1020210141030 A KR1020210141030 A KR 1020210141030A KR 20210141030 A KR20210141030 A KR 20210141030A KR 102647652 B1 KR102647652 B1 KR 102647652B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- head
- neck
- image data
- data
- Prior art date
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims abstract description 54
- 238000007781 pre-processing Methods 0.000 claims abstract description 42
- 210000003484 anatomy Anatomy 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 230000003902 lesion Effects 0.000 claims abstract description 12
- 210000005036 nerve Anatomy 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 210000003128 head Anatomy 0.000 claims description 82
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 210000004086 maxillary sinus Anatomy 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 8
- 210000002698 mandibular nerve Anatomy 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 210000003739 neck Anatomy 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 201000008836 maxillary sinusitis Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 201000009890 sinusitis Diseases 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000018035 Dental disease Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 208000014151 Stomatognathic disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 208000002925 dental caries Diseases 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002278 reconstructive surgery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Pulmonology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
두경부 이미지 구획화 방법 및 장치가 개시된다. 두경부 이미지 구획화 방법은 사용자의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터를 수신하는 단계, 수신한 이미지 데이터에 대하여 해상도를 조정하는 데이터 전처리를 수행하는 단계, 데이터 전처리가 수행된 이미지 데이터에 기초하여 뉴럴 네트워크 기반의 구획화 모델을 학습시키는 단계 및 학습된 구획화 모델을 이용하여 데이터 전처리가 수행된 이미지 데이터를 해부학적 부위별로 구획화한 결과 이미지를 생성하는 단계를 포함하고, 구획화 모델은, 인코더 네트워크, 디코더 네트워크 및 인코더 네트워크와 디코더 네트워크 사이에 배치된 어텐션 기반 정규화 레이어를 포함하고, 결과 이미지는, 치아 병변 및 치아 주변 신경에 대한 식별 정보를 포함할 수 있다.
Description
아래 실시예들은 두경부 이미지 구획화 기술에 관한 것이다.
치과 저선량 CT는 발치, 교정, 임플란트 수술, 턱교정 수술, 재건 수술 등을 진단하거나 치료 계획을 세우는 데에 매우 중요한 역할을 하는 진단 영상이다. 그렇기 때문에, 치과 저선량 CT로부터 치아, 턱신경, 상악동 등 정상적인 해부학적 구조물의 위치를 정확히 파악하는 것이 안전한 진료에 매우 중요하다. 따라서, 안전한 진료를 도모하기 위하여, 치과 저선량 CT로부터 치아, 턱신경, 상악동 등 정상적인 해부학적 구조물의 위치를 정확히 파악할 수 있는 기술에 대한 연구가 필요한 실정이다.
일 실시예에 따른 두경부 이미지 구획화 방법은 사용자의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터를 수신하는 단계; 상기 수신한 이미지 데이터에 대하여 해상도를 조정하는 데이터 전처리를 수행하는 단계; 상기 데이터 전처리가 수행된 이미지 데이터에 기초하여 뉴럴 네트워크 기반의 구획화 모델을 학습시키는 단계; 및 상기 학습된 구획화 모델을 이용하여 상기 데이터 전처리가 수행된 이미지 데이터를 해부학적 부위별로 구획화한 결과 이미지를 생성하는 단계를 포함하고, 상기 구획화 모델은, 인코더 네트워크, 디코더 네트워크 및 상기 인코더 네트워크와 상기 디코더 네트워크 사이에 배치된 어텐션 기반 정규화 레이어(attention based normalization layer)를 포함하고, 상기 결과 이미지는, 치아 병변 및 치아 주변 신경에 대한 식별 정보를 포함할 수 있다.
상기 데이터 전처리를 수행하는 단계는, 상기 이미지 데이터의 해상도를 멀티 스케일 방식으로 리사이징하는 단계; 상기 리사이징된 이미지 데이터를 크롭하여 상기 사용자의 치아 영역을 포함하는 크롭된 이미지 데이터를 생성하는 단계; 및 상기 크롭된 이미지 데이터를 미리 정해진 규칙에 기초한 해상도로 조정하는 단계를 포함할 수 있다.
상기 학습시키는 단계는, 학습 데이터에 기초하여 능동 학습된 구획화 모델을 상기 사용자의 두경부의 해부학적 이미지를 포함하는 이미지 데이터에 기초하여 전이 학습시키는 단계를 포함할 수 있다.
상기 능동 학습된 구획화 모델은, 두경부의 해부학적 이미지를 포함하는 데이터 셋에 기초하여 학습되고, 입력된 이미지 데이터를 부위별로 구획화하고,
상기 구획화된 이미지 데이터에 대한 수정 데이터에 기초하여 능동 학습된 것을 특징으로 할 수 있다.
상기 구획화 모델은, AdaLin(Adaptive Layer-instance normalization) 함수의 가중치가 적용된 콘볼루션 신경망(Convolutional Neural Network; CNN) 모델을 포함할 수 있다.
상기 구획화 모델은, 랜덤 ReLU(Leaky Rectified Linear Unit) 활성화 함수를 포함할 수 있다.
상기 결과 이미지를 생성하는 단계는, 상기 데이터 전처리가 수행된 이미지 데이터를 점, 선 및 면 중 적어도 하나로 표시하여 구획화한 결과 이미지를 생성하는 단계를 포함할 수 있다.
상기 결과 이미지를 생성하는 단계는, 상기 데이터 전처리가 수행된 이미지 데이터를 치아, 턱신경, 하치조신경 및 상악동 중 적어도 하나를 포함하는 부위들로 구획화한 결과 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 두경부 이미지 구획화 장치는 사용자의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터를 수신하는 통신부; 상기 수신한 이미지 데이터에 대하여 해상도를 조정하는 데이터 전처리를 수행하는 데이터 전처리부; 상기 데이터 전처리가 수행된 이미지 데이터에 기초하여 뉴럴 네트워크 기반의 구획화 모델을 학습시키는 학습부; 및 상기 학습된 구획화 모델을 이용하여 상기 데이터 전처리가 수행된 이미지 데이터를 해부학적 부위별로 구획화한 결과 이미지를 생성하는 결과 이미지 생성부를 포함하고, 상기 구획화 모델은, 인코더 네트워크, 디코더 네트워크 및 상기 인코더 네트워크와 상기 디코더 네트워크 사이에 배치된 어텐션 기반 정규화 레이어(attention based normalization layer)를 포함하고, 상기 결과 이미지는, 치아 병변 및 치아 주변 신경에 대한 식별 정보를 포함할 수 있다.
상기 데이터 전처리부는, 상기 이미지 데이터의 해상도를 멀티 스케일 방식으로 리사이징하고, 상기 리사이징된 이미지 데이터를 크롭하여 상기 사용자의 치아 영역을 포함하는 크롭된 이미지 데이터를 생성하고, 상기 크롭된 이미지 데이터를 미리 정해진 규칙에 기초한 해상도로 조정할 수 있다.
상기 학습부는, 학습 데이터에 기초하여 능동 학습된 구획화 모델을 상기 사용자의 두경부의 해부학적 이미지를 포함하는 이미지 데이터에 기초하여 전이 학습시킬 수 있다.
상기 능동 학습된 구획화 모델은, 두경부의 해부학적 이미지를 포함하는 데이터 셋에 기초하여 학습되고, 입력된 이미지 데이터를 부위별로 구획화하고, 상기 구획화된 이미지 데이터에 대한 수정 데이터에 기초하여 능동 학습된 것을 특징으로 할 수 있다.
상기 구획화 모델은, AdaLin(Adaptive Layer-instance normalization) 함수의 가중치가 적용된 콘볼루션 신경망(Convolutional Neural Network; CNN) 모델을 포함할 수 있다.
상기 구획화 모델은, 랜덤 ReLU(Leaky Rectified Linear Unit) 활성화 함수를 포함할 수 있다.
상기 결과 이미지 생성부는, 상기 데이터 전처리가 수행된 이미지 데이터를 점, 선 및 면 중 적어도 하나로 표시하여 구획화한 결과 이미지를 생성할 수 있다.
상기 결과 이미지 생성부는, 상기 데이터 전처리가 수행된 이미지 데이터를 치아, 턱신경, 하치조신경 및 상악동 중 적어도 하나를 포함하는 부위들로 구획화한 결과 이미지를 생성할 수 있다.
일 실시예에 따르면, 모델의 학습에 능동 학습 기법이 적용되어 종래의 방법보다 개선된 성능의 구획화를 달성할 수 있다.
일 실시예에 따르면, 치과 저선량 CT의 해부학적 구조물의 구획화 최적화 알고리즘을 구현할 수 있다.
일 실시예에 따르면, 치과 저선량 CT로부터 상악동염 등과 같은 질환을 정확히 진단할 수 있다.
일 실시예에 따르면, 하치조신경 등을 정확히 구획화함으로써 발치, 임플란트 식립 등과 같은 치과용 임플란트 시술 시 안정성과 정확성을 향상시킬 수 있다.
도 1은 일 실시예에 따른 두경부 이미지 구획화 시스템의 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 두경부 이미지 구획화 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 두경부 이미지 구획화 장치의 학습 과정을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 구획화 모델이 학습되는 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 구획화 모델의 구조를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 두경부 이미지 구획화 장치의 구성을 도시하는 도면이다.
도 2는 일 실시예에 따른 두경부 이미지 구획화 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 두경부 이미지 구획화 장치의 학습 과정을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 구획화 모델이 학습되는 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 구획화 모델의 구조를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 두경부 이미지 구획화 장치의 구성을 도시하는 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 두경부 이미지 구획화 시스템의 개요를 도시하는 도면이다.
본 명세서에서 설명하는 두경부 이미지 구획화 시스템은 딥러닝 알고리즘 기반의 뉴럴 네트워크를 포함하는 모델을 이용하여 환자의 상악동을 비롯한 두경부를 포함하는 해부학적 이미지에 대해 해부학적 부위 및 병변 등을 구획화하는 두경부 이미지 구획화 방법을 제공할 수 있다. 본 명세서에서 설명하는 두경부 이미지 구획화 시스템은 콘볼루션 신경망에 추가적인 레이어가 반영되고 개인별 자가 학습(personal self-learning)(또는 자가 학습(self-learning)), 온라인 학습 및 전이 학습 방식을 통해 환자 개개인의 구강 구조에 최적화된 구획화 모델을 생성할 수 있다.
도 1을 참조하면, 두경부 이미지 구획화 장치(120)는 사용자, 환자 또는 피진단자의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터(110)를 입력받을 수 있다. 두경부 이미지 구획화 장치(120)는 능동 학습된 구획화 모델을 이미지 데이터(110)에 기초하여 전이 학습을 시킬 수 있다. 두경부 이미지 구획화 장치(120)는 전이 학습된 구획화 모델을 이용하여 이미지 데이터(110)를 해부학적 부위별로 구획화한 결과 이미지(130)를 출력할 수 있다.
도 2는 일 실시예에 따른 두경부 이미지 구획화 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 단계(210)에서 두경부 이미지 구획화 장치는 사용자의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터를 수신할 수 있다. 예를 들어, 두경부 이미지 구획화 장치는 사용자(또는 환자)의 두경부의 치과 저선량 CT(dental cone-beam computed tomography)인 이미지 데이터를 수신하거나 입력받을 수 있다.
단계(220)에서 두경부 이미지 구획화 장치는 수신한 이미지 데이터에 대하여 해상도를 조정하는 데이터 전처리를 수행할 수 있다. 두경부 이미지 구획화 장치는 이미지 데이터의 해상도를 멀티 스케일 방식으로 리사이징할 수 있다. 예를 들어, 두경부 이미지 구획화 장치는 이미지 데이터를 256x256 픽셀(xy 평면 기준), 320x320픽셀과 같이 총 5단계에 걸쳐 혼합된 멀티스케일 방식으로 리사이징할 수 있다. 두경부 이미지 구획화 장치는 리사이징된 이미지 데이터를 크롭하여 사용자의 치아 영역을 포함하는 크롭된 이미지 데이터를 생성하며, 크롭된 이미지 데이터를 미리 정해진 규칙에 기초한 해상도로 조정함으로써 데이터 전처리를 수행할 수 있다. 예를 들어, 두경부 이미지 구획화 장치는 이미지 데이터가 GPU 메모리에 입력 가능한 형태로 해상도를 리사이징할 수 있다. 또한, 두경부 이미지 구획화 장치는 해상도가 리사이징된 이미지 데이터를 크롭하여 관심 영역을 포함하는 크롭된 이미지 데이터를 생성할 수 있다. 여기서, 관심 영역은 사용자의 치아 영역을 포함할 수 있다. 두경부 이미지 구획화 장치는 치아 쪽 형태를 벗어나지 않도록 이미지 데이터에 대해 이동(shift) 및 회전(rotation)을 배치(batch) 별로 수행할 수 있다.
구획화 모델은 인코더 네트워크, 디코더 네트워크 및 인코더 네트워크와 디코더 네트워크 사이에 배치된 어텐션 기반 정규화 레이어(attention based normalization layer)를 포함할 수 있다. 구획화 모델이 인코더 네트워크와 디코더 네트워크 사이에 어텐션 기반 정규화 레이어를 포함하는 것에 의해 두경부 이미지 구획화 방법을 수행하기 위한 알고리즘의 성능을 향상시킬 수 있다. 새로운 레이어인 어텐션 기반 정규화 레이어는 기존의 레이어를 융합하여 중요한 공간적 정보와 로컬리제이션의 손실을 최대한 보존할 수 있다.
구획화 모델은 AdaLin(Adaptive Layer-instance normalization) 함수의 가중치가 적용된 콘볼루션 신경망(Convolutional Neural Network; CNN) 모델을 포함할 수 있다. 또한, 구획화 모델은, 본래(original) 3D nnU-Net의 랜덤 ReLU(Leaky Rectified Linear Unit)으로 교체된 랜덤 ReLU 활성화 함수를 포함할 수 있다.
단계(230)에서 두경부 이미지 구획화 장치는 데이터 전처리가 수행된 이미지 데이터에 기초하여 뉴럴 네트워크 기반의 구획화 모델을 학습시킬 수 있다. 두경부 이미지 구획화 장치는 학습 데이터에 기초하여 능동 학습(adaptive learning)된 구획화 모델을 사용자의 두경부의 해부학적 이미지를 포함하는 이미지 데이터에 기초하여 전이 학습시킬 수 있다.
여기서 능동 학습된 구획화 모델은 두경부의 해부학적 이미지를 포함하는 데이터 셋에 기초하여 학습되고, 입력된 이미지 데이터를 부위별로 구획화하고, 구획화된 이미지 데이터에 대한 수정 데이터에 기초하여 능동 학습된 것일 수 있다. 훈련, 조정 및 테스트를 위해 모든 데이터 셋은 70:10:20 비율로 분할될 수 있다. 데이터 셋의 모든 입력 볼륨은 볼륨 픽셀의 평균 및 표준 편차를 사용하여 강도 정규화를 통해 320x320 픽셀로 크기 조정될 수 있다. 3차 스플라인 보간(spline interpolation)은 각 레이블을 개별적으로 다시 샘플링하여 수행될 수 있다. 여기서, 감마 보정 증강, 임의 크기 조정, 임의 회전, 임의 탄성 변형 및 미러링을 포함하는 배치 생성기 프레임워크와 함께 적극적인 데이터 증강이 사용될 수 있다.
두경부 이미지 구획화 장치는 능동 학습된 구획화 모델이 환자 또는 사용자 개개인으로부터 스캔된 이미지 데이터에 기초하여 자가 학습을 수행하도록 하여, 능동 학습된 구획화 모델을 전이 학습시킬 수 있다. 이를 통해 전이 학습된 구획화 모델은 환자 또는 사용자 개개인에게 최적화된 개인 맞춤형의 구획화를 수행할 수 있다. 두경부 이미지 구획화 장치는 능동 학습된 구획화 모델이 이미지 데이터에 대응하는 사용자에 최적화된, 고도화된 구획화 모델로 전이 학습시킬 수 있다. 즉, 두경부 이미지 구획화 장치는 여러 사용자들의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터에 기초하여 능동 학습된 구획화 모델에 대해, 현재 사용자의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터에 기초하여 전이 학습시킬 수 있다. 두경부 이미지 구획화 장치는 능동 학습된 구획화 모델이 현재 사용자에게 최적화된 개인 맞춤형의 두경부 이미지 구획화를 수행할 수 있도록 전이 학습시킬 수 있다.
단계(240)에서 두경부 이미지 구획화 장치는 학습된 구획화 모델을 이용하여 데이터 전처리가 수행된 이미지 데이터를 해부학적 부위별로 구획화한 결과 이미지를 생성할 수 있다. 여기서 학습된 구획화 모델은 전이 학습된 구획화 모델에 대응할 수 있다. 두경부 이미지 구획화 장치는 데이터 전처리가 수행된 이미지 데이터를 점, 선 및 면 중 적어도 하나로 표시하여 구획화한 결과 이미지를 생성할 수 있다. 결과 이미지는, 치아 병변 및 치아 주변 신경에 대한 식별 정보를 포함할 수 있다.
두경부 이미지 구획화 장치는 데이터 전처리가 수행된 이미지 데이터를 치아, 턱신경, 하치조신경 및 상악동 중 적어도 하나를 포함하는 부위들로 구획화한 결과 이미지를 생성할 수 있다. 두경부 이미지 구획화 장치는 상악동염(maxillary sinus), 상악동염 원인치아(충치, 풍치, 치근단병소 등), 하치조신경(inferior alveolar nerve) 등을 식별할 수 있는 결과 이미지를 생성할 수 있다.
실시예에 따라 두경부 이미지 구획화 장치는 구획화된 결과 이미지를 3D 볼륨에 기초하여 시각화(visualization)을 수행할 수도 있다. 의료진은 해부학적 부위별로 구획화된 결과 이미지에 기초하여 병변을 식별할 수 있고 치과 질환에 대한 진단을 내릴 수 있다. 또한, 의료진은 결과 이미지의 구획화에 대해 피드백을 제공할 수 있고, 두경부 이미지 구획화 장치는 피드백에 기초하여 구획화 모델이 해부학적 부위별로 구획화하는 것에 대한 정확도를 향상시킬 수 있다.
도 3은 일 실시예에 따른 두경부 이미지 구획화 장치의 학습 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 두경부 이미지 구획화 장치는 데이터 셋(310, 320 및 330)에 기초하여 구획화 모델에 대해 훈련(training), 테스트(testing) 및 확인(validation)을 수행할 수 있다. 학습된 후의 구획화 모델은 데이터 셋(310, 320 및 330)에 기초하여 학습되어 두경부 이미지 구획화 방법이 수행된 후의 결과 이미지(340)를 생성할 수 있다. 참조번호(320)은 관심 영역을 포함할 수 있고, 참조번호(330)은 실측 자료(ground truth)일 수 있다. 두경부 이미지 구획화 방법이 수행되기 전의 이미지 데이터(310, 320 및 330)는 모두 수동으로 구획화된 것일 수 있다. 일 실시예에서 학습된 구획화 모델은 능동 학습된 것일 수 있다.
결과 이미지(340)는 치아 병변 및 치아 주변 신경에 대한 식별 정보를 포함하고, 데이터 전처리가 수행된 이미지 데이터를 점, 선 및 면 중 적어도 하나로 표시되어 구획화되어 있을 수 있다. 또한, 결과 이미지(340)는 치아, 턱신경, 하치조신경 및 상악동 중 적어도 하나를 포함하는 부위들로 구획화되어 있을 수 있다.
도 4는 일 실시예에 따른 구획화 모델이 학습되는 과정을 설명하기 위한 도면이다.
도 4의 실시예에서의 학습은 능동 학습일 수 있다. 능동 학습의 프레임워크는 세 단계로 구성될 수 있다. 이 프레임워크는 이전 단계에서 훈련된 구획화 모델(430)을 사용하여 자동으로 추론하면서 제한된 훈련 데이터 셋으로 구획화 모델(430)의 성능을 개선하기 위해 단계당 새로운 볼륨을 추가할 수 있다. 데이터 셋(420)은 제1 데이터 셋, 제2 데이터 셋 등으로 분할될 수 있다.
제1 단계에서 제1 데이터 셋은 수동으로 레이블이 지정될 수 있다. 여기서 파트는 데이터 셋(420)의 일부에 대응할 수 있다. 수동으로 레이블이 지정되는 것은 치과 의사나 위생사와 같은 의료진(410)에 의해 수행될 수 있다. 수동으로 레이블이 지정된 데이터 셋은 실측 자료가 될 수 있다. 제한된 레이블이 지정된 데이터 셋에 기초하여 저선량 CT에서 상악동을 구획화하도록 구획화 모델(430)이 훈련될 수 있다. 제1 단계 후, 제2 단계에서 CNN-지원(CNN-assisted) 및 수정 후 구획화를 위해 다음 단계에 대한 레이블이 지정되지 않은 데이터 셋(420)의 다른 일부, 즉 제2 데이터 셋의 실측 자료가 획득될 수 있다. 제2 단계에서 제1 데이터 셋 및 제2 데이터 셋에 기초하여 구획화 모델(430)이 학습될 수 있다. 제2 단계 후에 레이블이 지정되지 않은 제3 데이터 셋에 대한 CNN-지원 구획화는 제1 단계에서 수행된 것처럼 다음 단계의 훈련을 위해 수동으로 수정될 수 있다.
제3 단계에서 제2 데이터 셋 및 제3 데이터 셋에 기초하여 구획화 모델(430)이 학습되고 성능이 개선될 수 있다. 제1 단계에서 수동으로 레이블이 지정된 제1 데이터 셋은 제3 단계에서 구획화 모델(430)의 성능을 테스트하는 데 사용될 수 있다.
위 과정을 통해 학습된 구획화 모델(430)은 해부학적 부위와 병변이 구획화된 결과 이미지(440)를 생성할 수 있다. 결과 이미지(440)에서 빨간색으로 구획화된 부분은 공기(air)일 수 있고, 초록색으로 구획화된 부분은 병변(lesion)일 수 있다.
도 5는 일 실시예에 따른 구획화 모델의 구조를 설명하기 위한 도면이다.
저선량 CT에서 공기 및 병변을 포함하는 상악동 구획화에 nnU-Net의 3D U-Net이 사용될 수 있다. 도 5를 참조하면, 참조번호(510)은 ReLU 및 AdaLin를 포함하는 3x3x3 콘볼루션 레이어일 수 있다. 참조번호(520)은 2x2x2 맥스 풀링(max pooling)일 수 있고, 참조번호(530)은 3x3x3 전치된 콘볼루션 레이어일 수 있다.
구획화 모델의 구조는 역방향 연산을 위해 전치된 콘볼루션 레이어가 있는 인코더 네트워크 및 디코더 네트워크를 포함할 수 있다. 왼쪽의 레이어는 입력의 차원을 줄이고 오른쪽의 레이어는 원래 차원을 복구할 수 있다. 제1 레이어에 복수의 콘볼루션 필터들(예를 들어 30개의 콘볼루션 필터들)과 맥스 풀링(2x2x2)을 포함할 수 있다. 픽셀 단위 분할에서 공간 및 의미 정보는 해부학적 이미지 데이터 또는 볼륨을 훈련하고 테스트하는 데 중요할 수 있다.
U-Net의 디코더 네트워크는 스킵 연결로 디콘볼루션을 활용하여 하위 꼭짓점의 의미 정보를 사용하여 공간 정보를 유지할 수 있다. 본 명세서에서 설명하는 구획화 모델은 ReLU 활성화 함수를 원래의 3D nnU-Net의 랜덤 ReLU로 교체하고 교차 엔트로피, 주사위 계수 및 경계 손실 함수를 사용할 수 있다. 하위 꼭짓점(low vertex)에서 AdaLin이 추가될 수 있고, 이에 따라 주의 유도 모델이 모양 변환에 대응할 수 있도록 될 수 있다.
저선량 CT에 기초하여 구획화 모델이 상악동의 구획화를 수행하도록 학습하는 과정에서 초기 학습률(3 × 10-4) 및 l2-가중치 감쇠(3 × 10-5)를 가지는 Adam 최적화 알고리즘이 사용될 수 있다. 훈련 손실의 지수 이동 평균이 이전 30 epoch 동안 개선되지 않으면 학습률이 0.2배 감소할 수 있고, 1000 epoch를 초과하거나 학습률이 10-6 아래로 떨어지면 훈련이 중단될 수 있다.
구획화 분석은 수학식 1에 정의된 주사위 유사성 계수(dice similarity coefficient; DSC)를 사용하여 계산될 수 있다.
Vgs는 실측 자료의 볼륨 매개변수이고 Vseg는 CNN 구획화일 수 있다.
손실 함수에는 각각 수학식 2 내지 4에 정의된 주사위 손실(dice loss; DLS), 경계 손실(boundary loss; BLS) 및 이진 교차 엔트로피(binary cross-entropy; BCE)가 포함될 수 있다.
여기서 는 두 윤곽과 사이의 영역을 정의할 수 있다. 는 경계 에 대한 거리 맵일 수 있다. 즉, 는 윤곽 에서 점 및 가장 가까운 점 사이의 거리를 계산할 수 있다.
여기서, y는 추론된 확률이고 f는 해당하는 원하는 출력일 수 있다.
도 6은 일 실시예에 따른 두경부 이미지 구획화 장치의 구성을 도시하는 도면이다.
도 6을 참조하면 두경부 이미지 구획화 장치(600)는 통신부(610), 데이터 전처리부(620), 학습부(630) 및 결과 이미지 생성부(640)를 포함할 수 있다. 여기서 두경부 이미지 구획화 장치(600)는 본 명세서에서 설명하는 두경부 이미지 구획화 장치에 대응할 수 있다.
통신부(610)는 사용자의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터를 수신할 수 있다. 통신부(610)는 사용자의 두경부가 스캔되었거나 촬영된 해부학적 이미지를 포함하는 이미지 데이터를 수신할 수 있다.
데이터 전처리부(620)는 수신한 이미지 데이터에 대하여 해상도를 조정하는 데이터 전처리를 수행할 수 있다. 데이터 전처리부(620)는 모든 입력 볼륨은 볼륨 픽셀의 평균 및 표준 편차를 사용하여 강도 정규화를 통해 320 × 320 픽셀로 크기로 조정할 수 있다. 데이터 전처리부(620)는 이미지 데이터의 해상도를 멀티 스케일 방식으로 리사이징하고, 리사이징된 이미지 데이터를 크롭하여 사용자의 치아 영역을 포함하는 크롭된 이미지 데이터를 생성하고, 크롭된 이미지 데이터를 미리 정해진 규칙에 기초한 해상도로 조정할 수 있다.
학습부(630)는 데이터 전처리가 수행된 이미지 데이터에 기초하여 뉴럴 네트워크 기반의 구획화 모델을 학습시킬 수 있다. 결과 이미지 생성부(640)는 학습된 구획화 모델을 이용하여 데이터 전처리가 수행된 이미지 데이터를 해부학적 부위별로 구획화한 결과 이미지를 생성할 수 있다. 결과 이미지 생성부(640)는 데이터 전처리가 수행된 이미지 데이터를 점, 선 및 면 중 적어도 하나로 표시하여 구획화한 결과 이미지를 생성할 수 있고, 데이터 전처리가 수행된 이미지 데이터를 치아, 턱신경, 하치조신경 및 상악동 중 적어도 하나를 포함하는 부위들로 구획화한 결과 이미지를 생성할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 또는 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
120, 600: 두경부 이미지 구획화 장치
610: 통신부
620: 데이터 전처리부
630: 학습부
640: 결과 이미지 생성부
610: 통신부
620: 데이터 전처리부
630: 학습부
640: 결과 이미지 생성부
Claims (16)
- 두경부 이미지 구획화 방법에 있어서,
사용자의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터를 수신하는 단계;
상기 수신한 이미지 데이터에 대하여 해상도를 조정하는 데이터 전처리를 수행하는 단계;
상기 데이터 전처리가 수행된 이미지 데이터에 기초하여 뉴럴 네트워크 기반의 구획화 모델을 학습시키는 단계; 및
상기 학습된 구획화 모델을 이용하여 상기 데이터 전처리가 수행된 이미지 데이터를 해부학적 부위별로 구획화한 결과 이미지를 생성하는 단계를 포함하고,
상기 구획화 모델은,
인코더 네트워크, 디코더 네트워크 및 상기 인코더 네트워크와 상기 디코더 네트워크 사이에 배치된 어텐션 기반 정규화 레이어(attention based normalization layer)를 포함하고,
상기 학습시키는 단계는,
학습 데이터에 기초하여 능동 학습된 구획화 모델이 상기 사용자의 두경부의 해부학적 이미지를 포함하는 이미지 데이터에 기초하여 자가 학습을 수행하도록 하는 것에 의해 상기 능동 학습된 구획화 모델을 전이 학습시키는 단계를 포함하고,
상기 결과 이미지를 생성하는 단계는,
상기 구획화 모델을 이용하여 치아, 턱신경, 하치조신경 및 상악동을 포함하는 부위들로 구획화한 결과 이미지를 생성하는 단계를 포함하는,
두경부 이미지 구획화 방법. - 제1항에 있어서,
상기 데이터 전처리를 수행하는 단계는,
상기 이미지 데이터의 해상도를 멀티 스케일 방식으로 리사이징하는 단계;
상기 리사이징된 이미지 데이터를 크롭하여 상기 사용자의 치아 영역을 포함하는 크롭된 이미지 데이터를 생성하는 단계; 및
상기 크롭된 이미지 데이터를 미리 정해진 규칙에 기초한 해상도로 조정하는 단계
를 포함하는,
두경부 이미지 구획화 방법. - 삭제
- 제1항에 있어서,
상기 능동 학습된 구획화 모델은,
두경부의 해부학적 이미지를 포함하는 데이터 셋에 기초하여 학습되고,
입력된 이미지 데이터를 부위별로 구획화하고,
상기 구획화된 이미지 데이터에 대한 수정 데이터에 기초하여 능동 학습된 것을 특징으로 하는,
두경부 이미지 구획화 방법. - 제1항에 있어서,
상기 구획화 모델은,
AdaLin(Adaptive Layer-instance normalization) 함수의 가중치가 적용된 콘볼루션 신경망(Convolutional Neural Network; CNN) 모델을 포함하는,
두경부 이미지 구획화 방법. - 제1항에 있어서,
상기 구획화 모델은,
랜덤 ReLU(Leaky Rectified Linear Unit) 활성화 함수를 포함하는,
두경부 이미지 구획화 방법. - 제1항에 있어서,
상기 결과 이미지를 생성하는 단계는,
상기 데이터 전처리가 수행된 이미지 데이터를 점, 선 및 면 중 적어도 하나로 표시하여 구획화한 결과 이미지를 생성하는 단계를 포함하는,
두경부 이미지 구획화 방법. - 삭제
- 두경부 이미지 구획화 장치에 있어서,
사용자의 두경부에 대한 해부학적 이미지를 포함하는 이미지 데이터를 수신하는 통신부;
상기 수신한 이미지 데이터에 대하여 해상도를 조정하는 데이터 전처리를 수행하는 데이터 전처리부;
상기 데이터 전처리가 수행된 이미지 데이터에 기초하여 뉴럴 네트워크 기반의 구획화 모델을 학습시키는 학습부; 및
상기 학습된 구획화 모델을 이용하여 상기 데이터 전처리가 수행된 이미지 데이터를 해부학적 부위별로 구획화한 결과 이미지를 생성하는 결과 이미지 생성부를 포함하고,
상기 구획화 모델은,
인코더 네트워크, 디코더 네트워크 및 상기 인코더 네트워크와 상기 디코더 네트워크 사이에 배치된 어텐션 기반 정규화 레이어(attention based normalization layer)를 포함하고,
상기 결과 이미지는, 치아 병변 및 치아 주변 신경에 대한 식별 정보를 포함하고,
상기 학습부는,
학습 데이터에 기초하여 능동 학습된 구획화 모델이 상기 사용자의 두경부의 해부학적 이미지를 포함하는 이미지 데이터에 기초하여 자가 학습을 수행하도록 하는 것에 의해 상기 능동 학습된 구획화 모델을 전이 학습시키고,
상기 결과 이미지 생성부는,
상기 구획화 모델을 이용하여 치아, 턱신경, 하치조신경 및 상악동을 포함하는 부위들로 구획화한 결과 이미지를 생성하는,
두경부 이미지 구획화 장치. - 제9항에 있어서,
상기 데이터 전처리부는,
상기 이미지 데이터의 해상도를 멀티 스케일 방식으로 리사이징하고,
상기 리사이징된 이미지 데이터를 크롭하여 상기 사용자의 치아 영역을 포함하는 크롭된 이미지 데이터를 생성하고,
상기 크롭된 이미지 데이터를 미리 정해진 규칙에 기초한 해상도로 조정하는,
두경부 이미지 구획화 장치. - 삭제
- 제9항에 있어서,
상기 능동 학습된 구획화 모델은,
두경부의 해부학적 이미지를 포함하는 데이터 셋에 기초하여 학습되고,
입력된 이미지 데이터를 부위별로 구획화하고,
상기 구획화된 이미지 데이터에 대한 수정 데이터에 기초하여 능동 학습된 것을 특징으로 하는,
두경부 이미지 구획화 장치. - 제9항에 있어서,
상기 구획화 모델은,
AdaLin(Adaptive Layer-instance normalization) 함수의 가중치가 적용된 콘볼루션 신경망(Convolutional Neural Network; CNN) 모델을 포함하는,
두경부 이미지 구획화 장치. - 제9항에 있어서,
상기 구획화 모델은,
랜덤 ReLU(Leaky Rectified Linear Unit) 활성화 함수를 포함하는,
두경부 이미지 구획화 장치. - 제9항에 있어서,
상기 결과 이미지 생성부는,
상기 데이터 전처리가 수행된 이미지 데이터를 점, 선 및 면 중 적어도 하나로 표시하여 구획화한 결과 이미지를 생성하는,
두경부 이미지 구획화 장치. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210141030A KR102647652B1 (ko) | 2021-10-21 | 2021-10-21 | 두경부 이미지 구획화 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210141030A KR102647652B1 (ko) | 2021-10-21 | 2021-10-21 | 두경부 이미지 구획화 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230057060A KR20230057060A (ko) | 2023-04-28 |
| KR102647652B1 true KR102647652B1 (ko) | 2024-03-15 |
Family
ID=86143428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210141030A KR102647652B1 (ko) | 2021-10-21 | 2021-10-21 | 두경부 이미지 구획화 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102647652B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116758100A (zh) * | 2023-08-17 | 2023-09-15 | 神州医疗科技股份有限公司 | 一种3d医学图像分割系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782039A (zh) * | 2020-06-24 | 2020-10-16 | 佛山科学技术学院 | 一种适用于手势识别的方法及系统 |
| CN112884669A (zh) * | 2021-02-25 | 2021-06-01 | 电子科技大学 | 基于多尺度内容注意力机制的图像修复方法、存储介质和终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102130963B1 (ko) * | 2018-07-09 | 2020-07-08 | 라온피플 주식회사 | 두부이미지 분석 장치 및 이미지 분석 방법 |
-
2021
- 2021-10-21 KR KR1020210141030A patent/KR102647652B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782039A (zh) * | 2020-06-24 | 2020-10-16 | 佛山科学技术学院 | 一种适用于手势识别的方法及系统 |
| CN112884669A (zh) * | 2021-02-25 | 2021-06-01 | 电子科技大学 | 基于多尺度内容注意力机制的图像修复方法、存储介质和终端 |
Non-Patent Citations (1)
| Title |
|---|
| Shin H, 외. The Latest Trends in Attention Mechanisms and Their Application in Medical Imaging. J Korean Soc Radiol. 2020 Nov. 2020.11.30. 공개.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230057060A (ko) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7451406B2 (ja) | 深層学習法を使用する自動３ｄ歯根形状予測 | |
| Shaheen et al. | A novel deep learning system for multi-class tooth segmentation and classification on cone beam computed tomography. A validation study | |
| US20200305808A1 (en) | Automated Tooth Localization, Enumeration, and Diagnostic System and Method | |
| US20210322136A1 (en) | Automated orthodontic treatment planning using deep learning | |
| US11443423B2 (en) | System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex | |
| EP3660785A1 (en) | Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ | |
| Leonardi et al. | Fully automatic segmentation of sinonasal cavity and pharyngeal airway based on convolutional neural networks | |
| KR102458324B1 (ko) | 학습 모델을 이용한 데이터 처리 방법 | |
| US20200134815A1 (en) | System and Method for an Automated Parsing Pipeline for Anatomical Localization and Condition Classification | |
| US20200134876A1 (en) | Generating simulated body parts for images | |
| CN117422812A (zh) | 用于体渲染三维对象和三维图像数据的方法及可读介质 | |
| CN112785609B (zh) | 一种基于深度学习的cbct牙齿分割方法 | |
| CN112150472A (zh) | 基于cbct的三维颌骨图像分割方法、装置及终端设备 | |
| US20220361992A1 (en) | System and Method for Predicting a Crown and Implant Feature for Dental Implant Planning | |
| KR102647652B1 (ko) | 두경부 이미지 구획화 방법 및 장치 | |
| CN112150473A (zh) | 基于ct的三维颌骨图像分割建模方法、装置及终端设备 | |
| Wang et al. | Root canal treatment planning by automatic tooth and root canal segmentation in dental CBCT with deep multi-task feature learning | |
| Ravichandran et al. | 3D inception U-Net for aorta segmentation using computed tomography cardiac angiography | |
| TW202409874A (zh) | 牙齒復原自動化技術 | |
| KR102587782B1 (ko) | 3차원 치아 모델 생성 장치 및 방법 | |
| WO2024097286A1 (en) | Method, system, and computer program for generating 3d models of dentures in occlusion conditions | |
| KR20230164633A (ko) | 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법 | |
| CA3202828A1 (en) | Method of automatic segmentating of maxillofacial bone in ct image using deep learning | |
| US20230252748A1 (en) | System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR) | |
| US20230089212A1 (en) | Image generation device, image generation method, image generation program, learning device, learning method, and learning program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |