KR102302249B1 - 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 - Google Patents
영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 Download PDFInfo
- Publication number
- KR102302249B1 KR102302249B1 KR1020190141886A KR20190141886A KR102302249B1 KR 102302249 B1 KR102302249 B1 KR 102302249B1 KR 1020190141886 A KR1020190141886 A KR 1020190141886A KR 20190141886 A KR20190141886 A KR 20190141886A KR 102302249 B1 KR102302249 B1 KR 102302249B1
- Authority
- KR
- South Korea
- Prior art keywords
- coordinates
- point
- maximum intensity
- mip
- intensity projection
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012730 cephalometry Methods 0.000 title claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 title description 32
- 210000004373 mandible Anatomy 0.000 claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 37
- 210000002050 maxilla Anatomy 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims description 36
- 210000005252 bulbus oculi Anatomy 0.000 claims description 26
- 238000013135 deep learning Methods 0.000 claims description 20
- 210000001508 eye Anatomy 0.000 claims description 17
- 210000003484 anatomy Anatomy 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 11
- 210000004513 dentition Anatomy 0.000 claims description 10
- 210000003127 knee Anatomy 0.000 claims description 10
- 230000036346 tooth eruption Effects 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 210000004872 soft tissue Anatomy 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 210000002532 foramen magnum Anatomy 0.000 claims description 3
- 210000002483 sella turcica Anatomy 0.000 claims description 3
- 210000000515 tooth Anatomy 0.000 claims description 2
- 238000007408 cone-beam computed tomography Methods 0.000 claims 1
- 210000003437 trachea Anatomy 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 31
- 210000001847 jaw Anatomy 0.000 description 12
- 210000001331 nose Anatomy 0.000 description 6
- 210000003928 nasal cavity Anatomy 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Computational Linguistics (AREA)
- Pulmonology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Physiology (AREA)
- Databases & Information Systems (AREA)
- Neurology (AREA)
Abstract
본 발명은 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법에 관한 것으로, 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제를 수행하는 3D 해부학 구조별 영상 처리부;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치에 놓이도록 상악을 회전하는 상악 처리부;변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치에 놓이도록 하악을 회전하는 하악 처리부;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것이다.
Description
본 발명은 세팔로메트리(Cephalometry)에 관한 것으로, 구체적으로 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법에 관한 것이다.
일반적으로, 의료 분야에서는 진료 목적을 위하여 CT 등의 X선 촬영 영상을 사용하게 된다. 이는 피사체에 투과성이 높은 X선 등의 방사선을 조사하면, 피사체의 물리적 성질과 거리에 따라 X선의 세기가 감쇠되는 특성을 이용하여 조사된 방사선을 수광하는 이미지 센서에서 피사체의 투영(Projection)을 영상을 획득함으로써 얻어진다.
특히 치과의 경우 진단을 위하여 전체 턱 및 머리 특히 환자의 악궁에 대한 엑스레이 영상을 생성하여 활용한다.
그런데, X선 촬영 영상은 인체 내부 조직에 대한 영상으로서 전문가가 아닌 일반인에게는 익숙하지 아니하며, 전문 인력의 경우에도 진료에 필요한 정보를 획득하기 위하여 별도의 과정을 거쳐야 한다.
특히, 치과나 성형외과 분야 등에서는 진료 기타 목적으로 구강 내부 구조를 다양한 방향에서 재구성한 이미지가 계속적으로 활용되는데, 이때 영상처리 과정에서 별도의 인력이 필요하고 계속적인 작업이 요구되어 경제적 시간적으로 상당한 부담이 발생하게 된다.
따라서, 보다 효율적으로 영상으로부터 원하는 정보를 획득하도록 하는 방안이 요구되고 있다.
한편, 치과에서 환자의 턱 및 머리 영역을 촬영하기 위하여 사용되는 치과용 콘빔시티(CBCT: cone beam computered tomography)의 경우, 시티 영상을 촬영한 후 축상면(axial) 이미지 상에서 악궁의 적당한 위치에 수동으로 점을 찍은 후 재구성된 파노라마 및 단면 이미지를 얻도록 함이 종래 보편적으로 활용되었는데, 이 과정에서 방사선사 내지 위생사와 같은 전문 인력이 투입되고 작업자의 숙련도에 따라 오차 발생의 여지가 있으며 진단 및 치료가 지연된다는 점에서 보다 빠르고 정확하게 표준화된 재구성 이미지를 획득할 수 있도록 하는 방안이 요구된다.
따라서, 3차원에서 자동으로 정확하게 3차원 두부계측을 해주는 기술의 개발이 요구되고 있다.
본 발명은 종래 기술의 두부계측(Cephalometry) 기술의 문제점을 해결하기 위한 것으로, 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하여 기준 평면(교합평면, 상악: mid-sagittal plane)을 따라 3차원 악골이 재조정(reorientation)되고, 하악의 경우 변형 컴퓨터 절대 하악 평면(computed modified AMP;cmAMP)을 기준으로 중앙부위의 교정점들이 위치하도록 하여 비대칭 환자, 상하악골의 관계가 틀어진 비정상인 환자도 분석할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하고 좌표가 불분명한 경우, 각각의 기준 plane을 근거로 위치를 정하여 데이터 연산량을 줄일 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치는 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제를 수행하는 3D 해부학 구조별 영상 처리부;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치에 놓이도록 상악을 회전하는 상악 처리부;변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치에 놓이도록 하악을 회전하는 하악 처리부;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것을 특징으로 한다.
여기서, 상악 처리부는, 관상(coronal)에서 안구, 비강(nasal fossa)이 나타난 이미지를 만드는 상악 처리 이미지 결정부와,정중시상면(midsagittal plane)이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부와, 관상(Coronal) MIP(최대강도투사)에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부와,관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 중심점이 비강(Nasal fossa)의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS(전비극) 산출부와,관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부와,sagittal 방향으로 과두(Condyle) 외측에서 과두(Condyle) 중심까지 sagittal MIP(최대강도투사)를 산출하는 포리온 산출부와,관상(Coronal) MIP(최대강도투사)에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 코뿌리점(Nasion) 산출부와,두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP(최대강도투사)한 sagittal image에서 안장점(sella) 영역을 분할(segmentation)해서 딥러닝 후 그 중심좌표를 산출하는 안장점(sella) 산출부를 포함하는 것을 특징으로 한다.
그리고 하악 처리부는, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부와,관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 관상(Coronal) MIP(최대강도투사) 교정점 좌표 산출부와,Sagittal MIP(최대강도투사)에서 교정점 좌표 산출을 하는 Sagittal MIP(최대강도투사) 교정점 좌표 산출부를 포함하는 것을 특징으로 한다.
그리고 좌표 업데이트부는, 수정된 3D 좌표들을 기준으로, 2차원 MIP(최대강도투사)에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법은 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제를 수행하는 3D 해부학 구조별 영상 처리 단계;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리 단계;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치에 놓이도록 상악을 회전하는 상악 처리 단계;변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치에 놓이도록 하악을 회전하는 하악 처리 단계;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리 단계; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트 단계;를 포함하는 것을 특징으로 한다.
여기서, 3D 해부학 구조별 영상 처리 단계에서, 상악, 하악, 치아, 경추골(cervical vertebra)을 3D cnn으로 분할(segmentation)하고, 전체 3D 이미지에서 연조직과 경추골(cervical vertebra)을 삭제하는 것을 특징으로 한다.
그리고 교합평면 회전처리 단계에서, Sagittal MIP(최대강도투사)에서 교합평면 중심의 높이 구하고, Sagittal MIP(최대강도투사)에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하여 치열이 바닥에 평행하도록 하는 것을 특징으로 한다.
그리고 교합평면 회전처리 단계에서, 기준평면을 잡기 위하여 정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 재조정(reorientation)되어야 하고, 옆에서 사람을 보았을 때, 포리온(Porion)과 안와점(Orbitale)이 바닥과 수평이 되도록 하는 것을 특징으로 한다.
그리고 상악 처리 단계는, 관상(coronal)에서 안구, 비강(Nasal fossa)이 나타난 이미지를 만드는 상악 처리 이미지 결정 단계와,정중시상면(midsagittal plane)이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리 단계와,관상(Coronal) MIP(최대강도투사)에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출 단계와,관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 중심점이 비강(Nasal fossa)의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS(전비극) 산출 단계와,관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출 단계와,sagittal 방향으로 과두(Condyle) 외측에서 과두(Condyle) 중심까지 sagittal MIP(최대강도투사)를 산출하는 포리온 산출 단계와,관상(Coronal) MIP(최대강도투사)에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 코뿌리점(Nasion) 산출 단계와,두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP(최대강도투사)한 sagittal image에서 안장점(sella) 영역을 분할(Segmentation)해서 딥러닝 후 그 중심좌표를 산출하는 안장점(sella) 산출 단계를 포함하는 것을 특징으로 한다.
그리고 상악 처리 이미지 결정 단계에서, 치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 관상(coronal) MIP(최대강도투사)를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것을 특징으로 한다.
그리고 깊이가 있는 연속된 hole인 안와, 대구개공(Foramen magnum), 포리온(Porion)을 포함하는 구멍의 중심을 한점의 위치로 정하기 위하여, 구멍의 외부로부터 두께를 증가시키면서 MIP(최대강도투사) 시켜 나갔을 때 가장 큰 구멍 넓이가 나오는 곳을 해당 구멍의 위치로 잡거나, 뼈로 둘러쌓여 closing된 구멍의 형태가 된 후, 가장 큰 너비가 나오는 단면을 선택하거나, 특정 구조물의 sagittal 단면으로 정하는 것을 특징으로 한다.
그리고 회전 처리 단계에서, 정중시상면(midsagittal plane)은 관상(coronal) MIP(최대강도투사)에서 양쪽 안구의 중심의 수직이등분선이고, 정중시상면(midsagittal plane)이 바닥에 수직이 되게 전체 3D 이미지를 관상(coronal) 방향으로 회전하는 것을 특징으로 한다.
그리고 포리온 산출 단계에서, 과두(Condyle) 후방에서 1.5cm 내외, condylion 높이에서 라뮤시안(ramusian) 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 과두(Condyle) 외측으로 정하는 것을 특징으로 한다.
그리고 안장점(sella) 산출 단계에서, 안장점(sella turcica) 영역을 분할(segmentation) 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것을 특징으로 한다.
그리고 하악 처리 단계는, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계와,관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계와,Sagittal MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계를 포함하는 것을 특징으로 한다.
그리고 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계는, computed modified ANP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고, 회전시마다, 회전 후 sagittal MIP(최대강도투사)에서 B point를 구해 특정 각도 하후방으로 턱끝성형(genioplasty) 후 similarity index 비교를 하고, 하악의 정준선 바닥에 수직으로 회전을 하는 것을 특징으로 한다.
그리고 관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계는, 이진화된 하악 반구 → 관상(Coronal) MIP(최대강도투사) 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변의 sagittal 방향 MIP(최대강도투사) 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, 관상(coronal) MIP(최대강도투사) 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과, 교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의 z 및 x좌표 구하는 과정(coronoid process 끝)과, sagittal MIP(최대강도투사)에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정을 포함하는 것을 특징으로 한다.
그리고 좌표 업데이트 단계는, 수정된 3D 좌표들을 기준으로, 2차원 MIP(최대강도투사)에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한다.
둘째, 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하여 기준 평면(교합평면, 상악: mid-sagittal plane)을 따라 3차원 악골이 재조정(reorientation)되고, 하악의 경우 computed modified ANP를 기준으로 중앙부위의 교정점들이 위치하도록 하여 효율적인 3차원 두부계측이 가능하도록 한다.
셋째, 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하고 좌표가 불분명한 경우, 각각의 기준 plane을 근거로 위치를 정하여 데이터 연산량 및 연산 시간을 단축하여 차원 두부계측이 가능하도록 한다.
도 1은 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 구성도
도 2는 상악 처리부의 상세 구성도
도 3은 하악 처리부의 상세 구성도
도 4는 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 나타낸 플로우차트
도 5는 본 발명에 따른 상악 처리 상세 과정을 나타낸 플로우차트
도 6은 본 발명에 따른 하악 처리 상세 과정을 나타낸 플로우차트
도 7은 3D CNN에 의해 분할(segmentation)된 3차원 구조도
도 8a는 치열의 중심을 기준으로 바닥과 평행하게 회전된 3차원 악골 구성도
도 8b는 기준 평면을 잡기 위한 다른 방향에서의 재조정(reorientation) 상태를 나타낸 구성도
도 9는 관상(coronal) MIP(최대강도투사) 구성도
도 10은 관상(coronal) MIP(최대강도투사)에서 양쪽 안구의 중심의 수직이등분선이 바닥과 평행하고 FOV의 중심에 오도록 회전 및 평행이동을 한 구성도
도 11은 Rt. 안와점(Orbitale) 좌표 구하기를 나타낸 구성도
도 12는 ANS(전비극) 구하기를 나타낸 구성도
도 13은 포리온(Porion) 구하기를 나타낸 구성도
도 14는 코뿌리점(Nasion) 구하기를 나타낸 구성도
도 15는 안장점(sella) 구하기를 나타낸 구성도
도 16은 하악처리를 위하여 하악의 정중선이 바닥에 수직으로 회전하는 것을 나타낸 구성도
도 17은 Condylion 좌표 구하기를 나타낸 구성도
도 18은 Gonion 좌표 구하기를 나타낸 구성도
도 19는 Sagittal MIP(최대강도투사)에서 구해진 교정점 좌표를 나타낸 구성도
도 2는 상악 처리부의 상세 구성도
도 3은 하악 처리부의 상세 구성도
도 4는 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 나타낸 플로우차트
도 5는 본 발명에 따른 상악 처리 상세 과정을 나타낸 플로우차트
도 6은 본 발명에 따른 하악 처리 상세 과정을 나타낸 플로우차트
도 7은 3D CNN에 의해 분할(segmentation)된 3차원 구조도
도 8a는 치열의 중심을 기준으로 바닥과 평행하게 회전된 3차원 악골 구성도
도 8b는 기준 평면을 잡기 위한 다른 방향에서의 재조정(reorientation) 상태를 나타낸 구성도
도 9는 관상(coronal) MIP(최대강도투사) 구성도
도 10은 관상(coronal) MIP(최대강도투사)에서 양쪽 안구의 중심의 수직이등분선이 바닥과 평행하고 FOV의 중심에 오도록 회전 및 평행이동을 한 구성도
도 11은 Rt. 안와점(Orbitale) 좌표 구하기를 나타낸 구성도
도 12는 ANS(전비극) 구하기를 나타낸 구성도
도 13은 포리온(Porion) 구하기를 나타낸 구성도
도 14는 코뿌리점(Nasion) 구하기를 나타낸 구성도
도 15는 안장점(sella) 구하기를 나타낸 구성도
도 16은 하악처리를 위하여 하악의 정중선이 바닥에 수직으로 회전하는 것을 나타낸 구성도
도 17은 Condylion 좌표 구하기를 나타낸 구성도
도 18은 Gonion 좌표 구하기를 나타낸 구성도
도 19는 Sagittal MIP(최대강도투사)에서 구해진 교정점 좌표를 나타낸 구성도
이하, 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 구성도이다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법은 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 것으로 다음과 같은 특징을 포함한다.
본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하는 구성을 포함한다.
본 발명은 상악은 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 상악을 회전, 하악은 변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 plane을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 하악을 회전하는 구성을 포함한다.
본 발명은 기준 plane이 설정되어야 찍을 수 있는 점들은 기준 plane을 잡은 후 2D cephalometry 정의에 따라 찍고, 기준 plane이 필요없는 점들은 (예: 뽀족한 점) 정의대로 찍는 구성을 포함한다.
본 발명은 기준 plane 내에 위치해야 2D와 의미상 연결이 쉬운 점들(2D cephalometry에서 윤곽선 상에 위치)은 '기준 plane 상'에 위치하도록 찍는 구성을 포함한다.
이와 같이 본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하는데, 이와 같이 하악 기준평면을 따로 잡게되면, 비대칭 환자, 상하악골의 관계가 틀어진 비정상인 환자도 분석할 수 있다.
이는 MSP(mid-sagittal plane 등) 상악 기준평면만으로는 비뚤어진 하악을 분석할 수 없는 문제를 해결할 수 있도록 한다.
본 발명은 특정 방향, 특정 두께의 MIP(최대강도투사)이미지(2D)에서 딥러닝을 시행해 3차원 딥러닝을 회피함으로써 연산을 줄일 수 있도록 한다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치는 도 1에서와 같이, 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제를 수행하는 3D 해부학 구조별 영상 처리부(10)와, 영상 처리를 위하여 교합평면 회전(rotation)(Sagittal 방향 reorientation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부(20)와, 상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 상악을 회전하는 상악 처리부(30)와, 변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 하악을 회전하는 하악 처리부(40)와, Gonion 등에서 knee point가 잘못되었을 경우, 윤곽선 smoothing의 정도를 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부(50)와, 수정된 3D 좌표들을 기준으로, 2차원 MIP(최대강도투사)에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하는 좌표 업데이트부(60)를 포함한다.
여기서, 상악 처리부(30)의 상세 구성은 다음과 같다.
도 2는 상악 처리부의 상세 구성도이다.
상악 처리부(30)는 관상(coronal)에서 안구, 비강(Nasal fossa)이 나타난 이미지를 만드는 상악 처리 이미지 결정부(31)와, 정중시상면(midsagittal plane)이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부(32)와, 관상(Coronal) MIP(최대강도투사)에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부(33)와, 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 중심점이 비강(Nasal fossa)의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS(전비극) 산출부(34)와, 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부(35)와, sagittal 방향으로 과두(Condyle) 외측에서 과두(Condyle) 중심까지 sagittal MIP(최대강도투사)를 산출하는 포리온 산출부(36)와, 관상(Coronal) MIP(최대강도투사)에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 코뿌리점(Nasion) 산출부(37)와, 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 (예 8mm) 만큼 MIP(최대강도투사)한 sagittal image에서 안장점(sella) 영역을 분할(segmentation)해서 딥러닝 후 그 중심좌표를 산출하는 안장점(sella) 산출부(38)를 포함한다.
그리고 하악 처리부(40)의 상세 구성은 다음과 같다.
도 3은 하악 처리부의 상세 구성도이다.
하악 처리부(40)는 하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부(41)와, 관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 관상(Coronal) MIP(최대강도투사) 교정점 좌표 산출부(42)와, Sagittal MIP(최대강도투사)에서 교정점 좌표 산출을 하는 Sagittal MIP(최대강도투사) 교정점 좌표 산출부(43)를 포함한다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 구체적으로 설명하면 다음과 같다.
도 4는 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법을 나타낸 플로우차트이다.
본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법은 크게 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제 단계(S401)와, 교합평면 rotation(Sagittal 방향 reorientation) 단계(S402)와, 상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 상악을 회전하는 상악처리 단계(S403)와, 변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치(바닥에 평행, 바닥에 수직)에 놓이도록 하악을 회전하는 하악 처리 단계(S404)와, Gonion 등에서 knee point가 잘못되었을 경우, 윤곽선 smoothing의 정도를 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리(Computer assisted correction system) 단계(S405)와, 수정된 3D 좌표들을 기준으로, 2차원 MIP(최대강도투사)에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하는 딥러닝에 의한 좌표 업데이트 단계(S406)를 포함한다.
여기서, 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제 단계(S401)에서는 도 7에서와 같이, 상악(청), 하악(적), 치아(백), 경추골(cervical vertebra)(녹)을 3D cnn으로 분할(segmentation)하고, 전체 3D 이미지에서 연조직과 경추골(cervical vertebra)을 삭제하는 것이다.
도 7은 3D CNN에 의해 분할(segmentation)된 3차원 구조도를 나타낸 것으로, (A)는 3D CNN에 의해 분할(segmentation)된 3차원 악골, 치아 및 경추골(cervical vertebra)을 나타낸 것이고, (B)는 연조직과 경추골(cervical vertebra)이 제거된 악골을 나타낸 것이다.
그리고 교합평면 rotation(Sagittal 방향 reorientation) 단계(S402)는 도 8a에서와 같이, Sagittal MIP(최대강도투사)에서 교합평면 중심의 높이 구하고, Sagittal MIP(최대강도투사)에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하는 것이다. 치열이 바닥에 평행하면 이후의 영상처리가 수월해진다.
도 8a는 (A)치열의 중심을 기준으로 바닥과 평행하게 회전된 (B)3차원 악골 구성을 나타낸 것이다.
그리고 도 8b는 기준 평면을 잡기 위한 다른 방향에서의 재조정(reorientation) 상태를 나타낸 구성도이다.
기준평면을 잡을 때, 1)정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 재조정(reorientation)되어야 하고, 2)옆에서 사람을 보았을 때, 포리온(Porion)과 안와점(Orbitale)이 바닥과 수평이 되어야 한다.
그리고 상악처리 단계(S403)를 구체적으로 설명하면 다음과 같다.
도 5는 본 발명에 따른 상악 처리 상세 과정을 나타낸 플로우차트이다.
상악처리 단계(S403)는 관상(coronal)에서 안구, 비강(Nasal fossa)이 나타난 이미지를 결정하는 단계(S501)와, 정중시상면(midsagittal plane)이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 단계(S502)와, 관상(Coronal) MIP(최대강도투사)에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S503)와, 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 중심점이 비강(Nasal fossa)의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S504)와, 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S505)와, sagittal 방향으로 과두(Condyle) 외측에서 과두(Condyle) 중심까지 sagittal MIP(최대강도투사)를 산출하는 단계(S506)와, 관상(Coronal) MIP(최대강도투사)에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출을 하는 단계(S507)와, 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비(예 8mm) 만큼 MIP(최대강도투사)한 sagittal image에서 안장점(sella) 영역을 분할(segmentation)해서 딥러닝 후 그 중심좌표를 산출하는 단계(S508)를 포함한다.
여기서, 상악처리를 위한 관상(coronal)에서 안구, 비강(nasal fossa)이 나타난 이미지를 결정하는 단계(S501)는, 치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 관상(coronal) MIP(최대강도투사)를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것이다.
도 9는 관상(coronal) MIP(최대강도투사) 구성도이다.
도 9에서, (A)는 전방부에서 치열 후방까지의 관상(coronal) MIP(최대강도투사), (B)는 전방부에서 치열 중간까지의 관상(coronal) MIP(최대강도투사), (C)는 전방부에서 구멍 넓이가 최대가 되는 관상(coronal) MIP(최대강도투사), (D)는 너무 전방부로 좁게 MIP(최대강도투사) 되어 안구가 구멍으로 추출될 수 없는 상황을 나타낸 것이다.
구멍(안와, 대구개공(Foramen magnum), 포리온(Porion))의 경우 깊이가 있는 연속된 hole이기 때문에, 구멍의 중심을 잡을 때 어디를 이 구멍을 대표하는 한점의 위치로 잡을 거인지 결정하는 것은 어렵다.
본 발명에서는 1)구멍의 외부로부터 두께를 증가시키면서 MIP(최대강도투사) 시켜 나갔을 때 가장 큰 구멍 넓이가 나오는 곳을 해당 구멍의 위치로 잡거나,
2)뼈로 둘러쌓여 closing된 구멍의 형태가 된 후, 가장 큰 너비가 나오는 단면을 선택하거나,
3)혹은 포리온(Porion) 같은 경우 특정 구조물(과두(Condyle)의 중심)의 sagittal 단면으로도 잡을 수 있다.
상악처리를 위한 mid sagittal plane이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 단계(S502)에서, 정중시상면(midsagittal plane)은 관상(coronal) MIP(최대강도투사)에서 양쪽 안구의 중심의 수직이등분선이고, 정중시상면(midsagittal plane)이 바닥에 수직이 되게 전체 3D 이미지를 관상(coronal) 방향으로 회전하는 것이다.
도 10은 관상(coronal) MIP(최대강도투사)에서 양쪽 안구의 중심의 수직이등분선이 바닥과 평행하고 FOV의 중심에 오도록 회전 및 평행이동을 한 구성도이다.
상악처리를 위한 안와점(Orbitale) 구하기는 관상(Coronal) MIP(최대강도투사)에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S503)에 의해 이루어지는 것으로 도 11에서와 같다.
도 11은 Rt. 안와점(Orbitale) 좌표 구하기를 나타낸 것으로, (A)는 S501 단계에서 얻어진 관상(coronal) MIP(최대강도투사), (B)는 왼쪽 상단 구멍의 최하점의 높이와 x좌표를 구하고, (C)는 해당 x좌표에 해당하는 sagittal view에서 해당 높이에 해당하는 y좌표를 구하는 것을 나타낸 것이다.
상악처리를 위한 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 중심점이 비강(Nasal fossa)의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S504)는 도 12에서와 같이 이루어진다.
도 12는 ANS(전비극) 구하기를 나타낸 구성도이다.
(A)는 S501 단계에서 얻어진 관상(coronal) MIP(최대강도투사), (B)는 하방 구멍의 최하점의 높이와 x좌표를 구하고, (C)는 해당 x좌표에 해당하는 sagittal view에서 해당 높이에 해당하는 y좌표를 구하는 것을 나타낸 것이다.
그리고 상악처리를 위한 코뿌리점 구하기는 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 단계(S505)에 의해 수행된다.
그리고 상악처리를 위한 sagittal 방향으로 과두(Condyle) 외측에서 과두(Condyle) 중심까지 sagittal MIP(최대강도투사)를 산출하는 단계(S506)는 도 13에서와 같이 이루어지고, 과두(Condyle) 후방에서 1.5cm 내외, condylion 높이에서 라뮤시안(ramusian) 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 과두(Condyle) 외측 등으로 정한다.
도 13은 포리온(Porion) 구하기를 나타낸 구성도이다.
도 13에서 (A)는 과두(Condyle) 중앙에서 외측까지의 sagittal MIP(최대강도투사), (B)는 과두(Condyle) 후방에서부터 1.5cm 내, condylion에서 라뮤시안(ramusian) 상부까지 범위에서 가장 큰 구멍 (C)을 구하는 것을 나타낸 것이다.
그리고 상악 처리를 위한 관상(Coronal) MIP(최대강도투사)에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출을 하는 단계(S507)는 코뿌리점(Nasion) 구하기 위한 것으로 도 14에서와 같이 이루어진다.
도 14는 코뿌리점(Nasion) 구하기를 나타낸 구성도이다.
도 14에서 (A)는 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역(붉은색)을 한정하여 관상(Coronal) MIP(최대강도투사)에서 딥러닝을 이용하여 x 및 z 좌표 구한 후(초록점), (B) x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 구하기를 나타낸 것이다.
그리고 상악 처리를 위한 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비(예 8mm) 만큼 MIP(최대강도투사)한 sagittal image에서 안장점(sella) 영역을 분할(segmentation)해서 딥러닝 후 그 중심좌표를 산출하는 단계(S508)는 안장점(sella) 구하기를나타낸 것으로, 도 15에서와 같다.
도 15는 안장점(sella) 구하기를 나타낸 구성도이다.
안장점(sella) 구하기는 안장점(sella turcica) 영역을 분할(segmentation) 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것도 가능하다.
하악 처리 단계(S404)를 구체적으로 설명하면 다음과 같다.
도 6은 본 발명에 따른 하악 처리 상세 과정을 나타낸 플로우차트이다.
하악 처리 단계(S404)는 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계(S601)와, 관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계(S602)와, Sagittal MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계(S603)를 포함한다.
여기서, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계(S601)는 도 16에서와 같이 이루어진다.
도 16은 하악처리를 위하여 하악의 정중선이 바닥에 수직으로 회전하는 것을 나타낸 구성도이다.
computed modified ANP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 등 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고, 회전시마다, 회전 후 sagittal MIP(최대강도투사)에서 B point를 구해 특정 각도(예: 70도) 하후방으로 턱끝성형(genioplasty) 후 similarity index 비교하고, 하악의 정준선 바닥에 수직으로 회전을 한다.
그리고 관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계(S602)는 이진화된 하악 반구 → 관상(Coronal) MIP(최대강도투사) 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변 (예: 좌우 3mm)의 sagittal 방향 MIP(최대강도투사) 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, 관상(coronal) MIP(최대강도투사) 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과, 교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의의 z 및 x좌표 구하는 과정(coronoid process 끝)과, sagittal MIP(최대강도투사)에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정을 포함한다.
도 17은 Condylion 좌표 구하기를 나타낸 구성도이고, 도 18은 Gonion 좌표 구하기를 나타낸 구성도이다.
그리고 Sagittal MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계(S603)는 이진화된 하악 반구 → Sagittal MIP(최대강도투사) 과정으로 도 19에서와 같이 수행된다.
도 19는 Sagittal MIP(최대강도투사)에서 구해진 교정점 좌표를 나타낸 구성도이다.
B, Menton, Gnathione, Pogonion를 sagittal 방향에서 영역을 한정하여 정의대로 y, z좌표 구하는 것이다.
예를 들어, Menton의 경우 하악의 끝점, B점의 경우 하악 전치 치관 하방에서 앞턱(치관 하방에서 턱끝까지)의 중간 높이(혹은 치근첨 주변 위 아래 2mm 범위) 까지의 전면 윤곽선에서 knee point로 한다.
이상에서 설명한 본 발명에 따른 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하여 기준 평면(교합평면, 상악: mid-sagittal plane)을 따라 3차원 악골이 재조정(reorientation)되고, 하악의 경우 computed modified ANP를 기준으로 중앙부위의 교정점들이 위치하도록 하여 비대칭 환자, 상하악골의 관계가 틀어진 비정상인 환자도 분석할 수 있도록 한 것이다.
본 발명은 상하악의 기준 평면을 따로 나누어 이를 기준으로 교정점들을 새롭게 정의하고 좌표가 불분명한 경우, 각각의 기준 plane을 근거로 위치를 정하여 데이터 연산량을 줄일 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 3D 해부학 구조별 영상 처리부
20. 교합평면 회전처리부
30. 상악 처리부
40. 하악 처리부
50. 보정 처리부
60. 좌표 업데이트부
20. 교합평면 회전처리부
30. 상악 처리부
40. 하악 처리부
50. 보정 처리부
60. 좌표 업데이트부
Claims (18)
- 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제를 수행하는 3D 해부학 구조별 영상 처리부;
영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;
상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치에 놓이도록 상악을 회전하는 상악 처리부;
변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치에 놓이도록 하악을 회전하는 하악 처리부;
윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치. - 제 1 항에 있어서, 상악 처리부는,
관상(coronal)에서 안구, 비강(nasal fossa)이 나타난 이미지를 만드는 상악 처리 이미지 결정부와,
정중시상면(midsagittal plane)이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부와,
관상(Coronal) MIP(최대강도투사)에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부와,
관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 중심점이 비강(Nasal fossa)의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS(전비극) 산출부와,
관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부와,
sagittal 방향으로 과두(Condyle) 외측에서 과두(Condyle) 중심까지 sagittal MIP(최대강도투사)를 산출하는 포리온 산출부와,
관상(Coronal) MIP(최대강도투사)에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 코뿌리점(Nasion) 산출부와,
두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP(최대강도투사)한 sagittal image에서 안장점(sella) 영역을 분할(segmentation)해서 딥러닝 후 그 중심좌표를 산출하는 안장점(sella) 산출부를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치. - 제 1 항에 있어서, 하악 처리부는,
하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부와,
관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 관상(Coronal) MIP(최대강도투사) 교정점 좌표 산출부와,
Sagittal MIP(최대강도투사)에서 교정점 좌표 산출을 하는 Sagittal MIP(최대강도투사) 교정점 좌표 산출부를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치. - 제 1 항에 있어서, 좌표 업데이트부는,
수정된 3D 좌표들을 기준으로, 2차원 MIP(최대강도투사)에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치. - 3D 해부학 구조별 영상 처리부에서 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제를 하는 3D 해부학 구조별 영상 처리를 하는 단계;
교합평면 회전처리부에서 영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리를 하는 단계;
상악 처리부에서 상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치에 놓이도록 상악을 회전하는 상악 처리를 하는 단계;
하악 처리부에서 변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치에 놓이도록 하악을 회전하는 하악 처리를 하는 단계;
보정 처리부에서 윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리를 하는 단계; 및 좌표 업데이트부에서 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트를 하는 단계;를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 5 항에 있어서, 3D 해부학 구조별 영상 처리부에서 수행되는 3D 해부학 구조별 영상 처리 단계에서,
상악, 하악, 치아, 경추골(cervical vertebra)을 3D cnn으로 분할(segmentation)하고, 전체 3D 이미지에서 연조직과 경추골(cervical vertebra)을 삭제하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 5 항에 있어서, 교합평면 회전처리부에서 수행되는 교합평면 회전처리 단계에서,
Sagittal MIP(최대강도투사)에서 교합평면 중심의 높이 구하고, Sagittal MIP(최대강도투사)에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하여 치열이 바닥에 평행하도록 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 5 항에 있어서, 교합평면 회전처리부에서 수행되는 교합평면 회전처리 단계에서,
기준평면을 잡기 위하여 정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 재조정(reorientation)되어야 하고, 옆에서 사람을 보았을 때, 포리온(Porion)과 안와점(Orbitale)이 바닥과 수평이 되도록 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 5 항에 있어서, 상악 처리부에서 수행되는 상악 처리 단계는,
상악 처리 이미지 결정부에서 관상(coronal)에서 안구, 비강(nasal fossa)이 나타난 이미지를 만드는 상악 처리 이미지 결정 단계와,
회전 처리부에서 정중시상면(midsagittal plane)이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리 단계와,
안와점 산출부에서 관상(Coronal) MIP(최대강도투사)에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출 단계와,
ANS(전비극) 산출부에서 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 중심점이 비강(Nasal fossa)의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS(전비극) 산출 단계와,
코뿌리점 산출부에서 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출 단계와,
포리온 산출부에서 sagittal 방향으로 과두(Condyle) 외측에서 과두(Condyle) 중심까지 sagittal MIP(최대강도투사)를 산출하는 포리온 산출 단계와,
코뿌리점(Nasion) 산출부에서 관상(Coronal) MIP(최대강도투사)에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 코뿌리점(Nasion) 산출 단계와,
안장점(sella) 산출부에서 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP(최대강도투사)한 sagittal image에서 안장점(sella) 영역을 분할(segmentation)해서 딥러닝 후 그 중심좌표를 산출하는 안장점(sella) 산출 단계를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 9 항에 있어서, 상악 처리 이미지 결정 단계에서,
치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 관상(coronal) MIP(최대강도투사)를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 10 항에 있어서, 깊이가 있는 연속된 hole인 안와, 대구개공(Foramen magnum), 포리온(Porion)을 포함하는 구멍의 중심을 한점의 위치로 정하기 위하여,
구멍의 외부로부터 두께를 증가시키면서 MIP(최대강도투사) 시켜 나갔을 때 가장 큰 구멍 넓이가 나오는 곳을 해당 구멍의 위치로 잡거나,
뼈로 둘러쌓여 closing된 구멍의 형태가 된 후, 가장 큰 너비가 나오는 단면을 선택하거나,
특정 구조물의 sagittal 단면으로 정하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 9 항에 있어서, 회전 처리 단계에서,
정중시상면(midsagittal plane)은 관상(coronal) MIP(최대강도투사)에서 양쪽 안구의 중심의 수직이등분선이고, 정중시상면(midsagittal plane)이 바닥에 수직이 되게 전체 3D 이미지를 관상(coronal) 방향으로 회전하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 9 항에 있어서, 포리온 산출 단계에서,
과두(Condyle) 후방에서 1.5cm 내외, condylion 높이에서 라뮤시안(ramusian) 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 과두(Condyle) 외측으로 정하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 9 항에 있어서, 안장점(sella) 산출 단계에서,
안장점(sella turcica) 영역을 분할(segmentation) 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 5 항에 있어서, 하악 처리부에서 수행되는 하악 처리 단계는,
회전 처리부에서 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계와,
관상(Coronal) MIP(최대강도투사) 교정점 좌표 산출부에서 관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계와,
Sagittal MIP(최대강도투사) 교정점 좌표 산출부에서 Sagittal MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 15 항에 있어서, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계는,
computed modified AMP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고,
회전시마다, 회전 후 sagittal MIP(최대강도투사)에서 B point를 구해 특정 각도 하후방으로 턱끝성형(genioplasty) 후 similarity index 비교를 하고, 하악의 정준선 바닥에 수직으로 회전을 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 15 항에 있어서, 관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계는,
이진화된 하악 반구 → 관상(Coronal) MIP(최대강도투사) 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변의 sagittal 방향 MIP(최대강도투사) 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, 관상(coronal) MIP(최대강도투사) 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과,
교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의 z 및 x좌표 구하는 과정(coronoid process 끝)과,
sagittal MIP(최대강도투사)에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정을 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법. - 제 5 항에 있어서, 좌표 업데이트부에서 수행되는 좌표 업데이트 단계는,
수정된 3D 좌표들을 기준으로, 2차원 MIP(최대강도투사)에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190141886A KR102302249B1 (ko) | 2019-11-07 | 2019-11-07 | 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190141886A KR102302249B1 (ko) | 2019-11-07 | 2019-11-07 | 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210055847A KR20210055847A (ko) | 2021-05-18 |
| KR102302249B1 true KR102302249B1 (ko) | 2021-09-16 |
Family
ID=76158616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190141886A KR102302249B1 (ko) | 2019-11-07 | 2019-11-07 | 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102302249B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102757154B1 (ko) | 2021-09-08 | 2025-01-21 | 정수아 | Cnn 영상처리기법을 이용한 의류 원단의 불량검출 방법 |
| CN116843648B (zh) * | 2023-07-04 | 2024-07-05 | 北京大学口腔医学院 | 基于锥形束ct影像的髁突骨改建三维自动定量测量系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150265374A1 (en) | 2014-03-18 | 2015-09-24 | President And Fellows Of Harvard College | 3d dentofacial system and method |
| KR101692250B1 (ko) | 2015-11-30 | 2017-01-03 | 오스템임플란트 주식회사 | 치아쌍 단면 영상 생성 방법, 장치, 및 이를 기록한 기록 매체 |
| US20180061054A1 (en) | 2016-08-29 | 2018-03-01 | CephX Technologies Ltd. | Automated Cephalometric Analysis Using Machine Learning |
| KR101952887B1 (ko) | 2018-07-27 | 2019-06-11 | 김예현 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100768043B1 (ko) * | 2005-12-23 | 2007-10-18 | 주식회사 사이버메드 | 3차원 볼륨 데이터의 기울어짐을 실시간으로 보정하는 방법 |
| KR101811644B1 (ko) * | 2016-05-12 | 2017-12-26 | 연세대학교 산학협력단 | 방사선 영상의 정보 획득 방법 및 장치 |
| KR101822908B1 (ko) | 2016-08-12 | 2018-01-29 | 연세대학교 산학협력단 | 방사선 영상의 정보 획득 방법 및 장치 |
| CN110167445A (zh) | 2016-08-19 | 2019-08-23 | 卫理公会医院体系公司 | 用于计算机辅助的正颌外科手术规划的系统和方法 |
| KR101836817B1 (ko) | 2016-09-02 | 2018-03-09 | 연세대학교 산학협력단 | 3차원 방사선 영상의 처리 방법 및 장치 |
-
2019
- 2019-11-07 KR KR1020190141886A patent/KR102302249B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150265374A1 (en) | 2014-03-18 | 2015-09-24 | President And Fellows Of Harvard College | 3d dentofacial system and method |
| KR101692250B1 (ko) | 2015-11-30 | 2017-01-03 | 오스템임플란트 주식회사 | 치아쌍 단면 영상 생성 방법, 장치, 및 이를 기록한 기록 매체 |
| US20180061054A1 (en) | 2016-08-29 | 2018-03-01 | CephX Technologies Ltd. | Automated Cephalometric Analysis Using Machine Learning |
| KR101952887B1 (ko) | 2018-07-27 | 2019-06-11 | 김예현 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210055847A (ko) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11963832B2 (en) | Systems and methods for computer-aided orthognathic surgical planning | |
| Montúfar et al. | Hybrid approach for automatic cephalometric landmark annotation on cone-beam computed tomography volumes | |
| CN105342708B (zh) | 基于ct和cbct融合数据的数字化咬合导板及其重建方法 | |
| CA2883184C (en) | A digital splint | |
| ES2717447T3 (es) | Creación asistida por ordenador de una preparación de diente habitual usando análisis facial | |
| CA2883553C (en) | An improved surgical template | |
| US20200085548A1 (en) | Method for Virtual Setup with Mixed Dentition | |
| EP4382074A1 (en) | Method for deriving head measurement parameters for tooth correction diagnosis based on machine learning from three-dimensional cbct image captured at natural head position | |
| KR102215068B1 (ko) | 임플란트 진단용 영상 정합을 위한 장치 및 방법 | |
| US20230355367A1 (en) | Method for dynamically guiding a dental oral and maxillofacial prosthesis using a 3d dataset | |
| Jang et al. | Fully automatic integration of dental CBCT images and full-arch intraoral impressions with stitching error correction via individual tooth segmentation and identification | |
| KR102302249B1 (ko) | 영상처리와 ｃｎｎ을 이용한 자동 3차원 세팔로메트리 장치 및 방법 | |
| CN113907903A (zh) | 一种利用人工智能技术用于缺牙区种植体位置的设计方法 | |
| KR102238483B1 (ko) | 신체 유사도 지수 산출 방법과, 이를 이용한 수술 계획 시뮬레이션 방법 및 장치 | |
| RU2689860C1 (ru) | Способ определения положения верхней челюсти | |
| Barone et al. | Geometrical modeling of complete dental shapes by using panoramic X-ray, digital mouth data and anatomical templates | |
| CN115530870A (zh) | 一种cbct扫描区域精确定位系统和方法 | |
| TW201302164A (zh) | 口顎影像融合方法 | |
| KR102727935B1 (ko) | 자연 두부 위치에서 촬영된 엑스레이(X-ray) 이미지를 이용한 기계학습 기반 치아 교정 진단을 위한 두부계측 파라미터 도출방법 | |
| Barone et al. | 3D reconstruction of individual tooth shapes by integrating dental cad templates and patient-specific anatomy | |
| Barone et al. | Customised 3D Tooth Modeling by Minimally Invasive Imaging Modalities | |
| Kharod | Assessment of Dentofacial Morphology: A 3 Dimensional CBCT Study | |
| Melsen et al. | Rational Basis for Transitioning from 2D to 3D Radiographic Imaging in Orthodontic Practice and Research | |
| Dalili Kajan et al. | Agreement of Dental Students in the Detection of Normal Landmarks When Comparing Digital Lateral Cephalograms and Three-Dimensional Cone Beam Computed Tomography Images | |
| Xia et al. | Controversial Issues in Computer‐Aided Surgical Planning for Craniomaxillofacial Surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20191107 |
|
| PA0201 | Request for examination | ||
| PN2301 | Change of applicant |
Patent event date: 20200128 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20210309 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210805 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210908 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210909 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |