KR102373429B1 - 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템 - Google Patents
연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템 Download PDFInfo
- Publication number
- KR102373429B1 KR102373429B1 KR1020200034538A KR20200034538A KR102373429B1 KR 102373429 B1 KR102373429 B1 KR 102373429B1 KR 1020200034538 A KR1020200034538 A KR 1020200034538A KR 20200034538 A KR20200034538 A KR 20200034538A KR 102373429 B1 KR102373429 B1 KR 102373429B1
- Authority
- KR
- South Korea
- Prior art keywords
- reference point
- tissue reference
- hard tissue
- module
- image
- Prior art date
Links
- 210000004872 soft tissue Anatomy 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 121
- 210000001519 tissue Anatomy 0.000 claims abstract description 214
- 210000003128 head Anatomy 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 20
- 210000000988 bone and bone Anatomy 0.000 claims description 18
- 210000003625 skull Anatomy 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 210000001061 forehead Anatomy 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001356 surgical procedure Methods 0.000 abstract description 24
- 230000008569 process Effects 0.000 description 15
- 210000001331 nose Anatomy 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 238000010990 cephalometric method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 3
- 235000015244 frankfurter Nutrition 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012730 cephalometry Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000007408 cone-beam computed tomography Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 210000004513 dentition Anatomy 0.000 description 2
- 210000002454 frontal bone Anatomy 0.000 description 2
- 210000001847 jaw Anatomy 0.000 description 2
- 210000004373 mandible Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000036346 tooth eruption Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010062767 Hypophysitis Diseases 0.000 description 1
- 208000003941 Impacted Tooth Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000002532 foramen magnum Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000001767 medulla oblongata Anatomy 0.000 description 1
- 210000000537 nasal bone Anatomy 0.000 description 1
- 210000000492 nasalseptum Anatomy 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 210000000103 occipital bone Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003635 pituitary gland Anatomy 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 210000002385 vertebral artery Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dentistry (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- General Engineering & Computer Science (AREA)
- Robotics (AREA)
- Pulmonology (AREA)
- Epidemiology (AREA)
- Quality & Reliability (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
연조직 기준점 결정 방법을 제공한다. 본 발명의 실시예에 따른 연조직 기준점 결정 방법은 (a) 경조직 기준점 결정 모듈(211)이 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 경조직 기준점을 결정하는 단계, (b) 연조직 기준점 결정 모듈(212)이 상기 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 연조직 기준점을 결정하는 단계, (c) 보정 경조직 기준점 결정 모듈(214)이 상기 (a) 단계에서 결정된 상기 경조직 기준점에 대해, 입력 수술 정보에 상응하는 경조직 기준점 이동량을 연산하고, 상기 연산된 경조직 기준점 이동량만큼 상기 경조직 기준점을 이동시켜 보정 경조직 기준점을 결정하는 단계, (d) 학습 모듈(230)이 상기 연조직 기준점, 상기 경조직 기준점 및 상기 보정 경조직 기준점을 학습하는 단계 및 (e) 예측 모듈(240)이 상기 학습 모듈(230)의 학습 결과로 생성된 보정 연조직 기준점 예측 모델을 이용하여, 상기 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측하는 단계를 포함할 수 있다.
Description
본 발명은 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템에 관한 것이다.
세팔로메트리(Cephalometry), 즉 두부 계측은 치아와 뼈의 관계를 분석하는 방법으로, 치과의사, 교정의사 그리고 구강과 상악 안면 외과의들에게 자주 사용된다.
두부 계측 분석을 위해, 두부 계측 방사선 사진 위에 추적선을 그려야 하며 이것이 두부 계측 트레이싱(cephalometric tracing)이다. 이 때, 추적선은 랜드마크(landmark), 두개골(Skull)에서 임상학적인 의미가 있는 특정 기준점을 기준으로 하여 그려진다. 특정 기준점들은 선분으로 연결되어 분석을 위한 축(axis)이나 벡터, 그리고 평면들을 구성하게 된다.
두부 계측 분석은 상기한 바와 같이 특정 기준점들을 연결하는 선분, 특정 기준점을 포함하는 평면들간의 위치나 관계에 기초하여, 환자의 임상적 상태를 분석하고 그 수치를 계산하여 미래의 교정 계획을 세우게 된다.
최근에는, 3차원 교정술을 수행하기 위해 3차원 두부 계측 분석을 사용하며, 기존의 2차원 두부 계측에 비하여 다양하고 입체적인 정보를 얻을 수 있다는 장점이 있다. 3차원 두부 계측 분석은 3차원 영상을 사용하여 치아와 뼈의 관계를 분석함으로써, 2차원 영상의 왜곡문제에서 자유롭고, 입체적인 영상을 통한 매복치의 위치파악 문제가 쉬우며, 석고 모델없이 가상으로 교합상태를 확인할 수도 있다.
한편, 3차원 영상을 획득하기 위해 의료 영상 촬영 장치에 대면하는 환자들은 촬영 자세가 일정하지 않으며, 이에 따라 촬영 영상 역시 각도와 비틀림 정도가 상이하다.
각각의 촬영 영상마다 다른 각도, 비틀림 정도를 보정하기 위해 촬영 영상을 재배향(reorientation)하는 과정이 필수적으로 수반되어 왔으나, 재배향 역시 그 기준이 명확하지 않고, 두개골이 비대칭이거나 비틀린 환자에 대해서는 재배향의 결과로 오히려 설정된 기준점과 실제 기준점 사이의 오차가 더욱 크게 벌어지는 문제점도 초래될 수 있다.
또한, 두개골 기형환자를 수술하기 전에 미리 수술후의 모습을 예측하는 것은 의료진 입장에서 중요하며, 환자 입장에서도 미리 수술후의 결과를 예측할 수 있어 환자의 만족도 역시 제고시키는 것이 가능하다.
기존에 수술후 연조직의 위치를 예측하는 기술이 제안되어 왔으나, 그 예측의 정확도가 낮은 것이 대부분이다.
관련 종래 기술은 다음과 같다.
한국공개특허 제2002-0004543호는 수술용 진단 예측 시스템에 관한 것으로, 두부방사선 사진에 수동으로 경조직 기준점과 연조직 기준점을 표시하고, 경조직 이동량에 따른 연조직 이동량을 회귀분석 알고리즘을 통해 산출하며, 사용자에 의해 경조직 이동량이 입력되면 연조직 이동량을 연산하여 수술 후의 연조직 기준점들의 위치를 측정이 가능한 기술을 제시한다. 하지만, 경조직 기준점과 연조직 기준점을 수동으로 입력함에 따라, 사용자마다 다른 기준점을 입력하게 되고, 이에 따라 연산된 연조직 기준점들의 편차가 큰 문제가 있다.
일본등록특허 제5883816호는 턱변형증 수술후 생김새 예측 방법 및 시스템에 관한 것으로, 기준점 및 기준점들을 포함하는 기준평면이 저장되어 있고, 화상간에 일관성을 갖도록 촬영된 의료 이미지의 기준점 및 기준평면이 저장된 기준점 및 기준평면과 일치하도록 의료 이미지를 재배향하는 내용을 제시하며, 복수의 과거 환자 데이터들과 비교하고, 비교 결과 중 가장 유사한 데이터를 이용하여 과거 환자 데이터의 특징점 이동량 데이터에 상응하는 새로운 환자의 특징점 이동량 데이터를 산출하는 내용을 제시한다. 하지만, 가장 유사한 과거 데이터와의 일대일 비교를 통해 특징점 이동량 데이터를 산출하는 것으로, 그 정확도가 다소 떨어진다.
한국등록특허 제10-1309488호는 악교정 수술 시뮬레이션 방법에 관한 것으로, 중심교합 디지털 치열모델을 생성하고, 이를 CT 영상에서 분리한 상하악 치열에 중첩하며, 3차원 이미지에 기초하여 골 및 연조직 절편을 형성하고, 골 절편 및 연관 조직을 이상적인 위치로 이동시키는 수술교합 형성 시뮬레이션 시행 후 적절성을 평가하여 수술교합의 적절성을 검증하는 내용을 제시한다. 수술후의 실제 연조직 변화 모습을 예측하는 기술과는 무관하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것이다.
구체적으로, 3차원 의료 영상으로부터 경조직 기준점, 연조직 기준점을 결정하고, 입력 수술 정보에 상응하는 보정 경조직 기준점을 결정할 수 있으며, 결정된 기준점들을 학습하여 보정 경조직 기준점에 상응하는 보정 연조직 기준점의 위치를 예측하는 것이 가능한 방법, 장치 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 상기한 방법을 실행하도록 컴퓨터 판독 가능한 기록매체에 저장된, 프로그램을 제공하는 것을 목적으로 한다.
또한, 본 발명은 상기한 방법을 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체를 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, (a) 경조직 기준점 결정 모듈(211)이 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 경조직 기준점을 결정하는 단계, (b) 연조직 기준점 결정 모듈(212)이 상기 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 연조직 기준점을 결정하는 단계, (c) 보정 경조직 기준점 결정 모듈(214)이 상기 (a) 단계에서 결정된 상기 경조직 기준점에 대해, 입력 수술 정보에 상응하는 경조직 기준점 이동량을 연산하고, 상기 연산된 경조직 기준점 이동량만큼 상기 경조직 기준점을 이동시켜 보정 경조직 기준점을 결정하는 단계, (d) 학습 모듈(230)이 상기 연조직 기준점, 상기 경조직 기준점 및 상기 보정 경조직 기준점을 학습하는 단계 및 (e) 예측 모듈(240)이 상기 학습 모듈(230)의 학습 결과로 생성된 보정 연조직 기준점 예측 모델을 이용하여, 상기 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측하는 단계를 포함하는, 방법을 제공한다.
일 실시예에 있어서, 상기 (a) 단계 이후 상기 (b) 단계 이전, 기준 평면 결정 모듈(213)이 상기 (a) 단계에서 결정된 경조직 기준점을 이용하여 정중시상면(Mid Sagittal Plane, MSP) 및 프랑크프루트면(Frankfurt Plane, FHP)을 결정하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 (b) 단계는, (b11) 재배향 모듈(261)이 상기 정중시상면이 y축에 평행하고, 상기 프랑크프루트면이 x축에 평행하도록 상기 두부 3차원 의료 영상을 재배향하는 단계, (b12) 이진화 모듈(257)이 상기 재배향된 상기 두부 3차원 의료 영상의 측면 이미지에 대해 이진화를 수행하여 이진화 이미지를 생성하는 단계, (b13) 기준선 설정 모듈(262)이 상기 (b2) 단계에서 생성된 상기 이진화 이미지의 가장자리에 기준선을 설정하는 단계로서, 상기 기준선은 이마, 코 및 입 중 하나 이상을 포함하는, 단계 및 (b14) 상기 연조직 기준점 결정 모듈(212)이 상기 기준선 상에 위치된 점들을 연조직 기준점으로 결정하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 (b) 단계는, (b21) 표면 이미지 추출 모듈(251)이 상기 두부 3차원 의료 영상으로부터 두개골(skull)의 외측 표면에 해당하는 이미지를 추출하는 단계, (b22) 평균 곡률 연산 모듈(263)이 상기 (b21) 단계에서 추출된 이미지에 대한 평균 곡률(mean curvature)을 연산하는 단계, (b23) 전처리 모듈(264)이 미리 설정된 방법에 따라 평균 곡률의 최소 역치값 및 최대 역치값을 각각 설정하고, 상기 (b22) 단계에서 연산된 평균 곡률과 설정된 역치값들을 이용하여 상기 정면 이미지를 전처리하는 단계 및 (b24) 상기 연조직 기준점 결정 모듈(212)이 상기 (b23) 단계에서 전처리된 이미지에 포함된 영역 중 평균 곡률이 0보다 크고 상기 최소 역치값보다 작은 영역과, 평균 곡률이 1보다 작고 상기 최대 역치값보다 큰 영역으로부터 미리 설정된 방법에 따라 연조직 기준점을 결정하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 (c) 단계는, 상기 보정 경조직 기준점 생성 모듈(211)이, 상기 판단된 경조직 기준점 이동량만큼의 상기 경조직 기준점을 이동시키되, 기저골(Basal Bone)을 제외한 나머지 영역에 포함된 경조직 기준점에 대해 상기 경조직 기준점 이동량만큼 이동시켜 상기 보정 경조직 기준점을 생성하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 표면 이미지 추출 모듈(251)이 상기 두부 3차원 의료 영상으로부터 두개골의 외측 표면에 해당하는 이미지를 추출하는 단계 및 그리드 형성 모듈(220)이 상기 표면 이미지 추출 모듈(251)에 의해 추출된 이미지로부터, 다수의 격자(l)를 포함하는 그리드(G)를 형성하되, 각각의 그리드(G)의 가장자리 상에 상기 (b) 단계에서 결정된 연조직 기준점이 위치되는 그리드(G)를 형성하는, 단계를 더 포함하며, 상기 (d) 단계는, 상기 학습 모듈(230)이 상기 그리드 형성 모듈(220)에 의해 형성된 그리드(G)를 학습하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 그리드(G)에 포함된 격자(l)는 상기 표면 이미지 추출 모듈(251)에 의해 추출된 이미지의 곡률 정보가 반영될 수 있다.
또한, 본 발명은 (a) 경조직 기준점 결정 모듈(211)이 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 경조직 기준점을 결정하는 단계, (b) 연조직 기준점 결정 모듈(212)이 상기 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 연조직 기준점을 결정하는 단계, (c) 그리드 형성 모듈(220)이 상기 두부 3차원 의료 영상으로부터, 다수의 격자(l)를 포함하는 그리드(G)를 형성하되, 각각의 그리드(G)의 가장자리 상에 상기 (b) 단계에서 결정된 연조직 기준점이 위치되는 그리드(G)를 형성하는, 단계, (d) 보정 경조직 기준점 결정(214) 모듈이 상기 (a) 단계에서 결정된 상기 경조직 기준점에 대해, 입력 수술 정보에 상응하는 경조직 기준점 이동량을 연산하고, 상기 연산된 경조직 기준점 이동량만큼 상기 경조직 기준점을 이동시켜 보정 경조직 기준점을 결정하는 단계, (e) 학습 모듈(230)이 상기 연조직 기준점, 상기 경조직 기준점, 상기 보정 경조직 기준점 및 상기 그리드를 학습하는 단계 및 (e) 예측 모듈이 상기 학습 모듈(230)의 학습 결과로 생성된 보정 연조직 기준점 예측 모델을 이용하여, 상기 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 (c) 단계 이전, 표면 이미지 추출 모듈(251)이 상기 두부 3차원 의료 영상으로부터 두개골의 외측 표면에 해당하는 이미지를 추출하는 단계를 더 포함하며, 상기 (c) 단계는, 상기 그리드 형성 모듈(220)이 상기 표면 이미지 추출 모듈(251)에 의해 추출된 이미지로부터, 다수의 격자(l)를 포함하는 그리드(G)를 형성하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 그리드(G)에 포함된 격자(l)는 상기 표면 이미지 추출 모듈(251)에 의해 추출된 이미지의 곡률 정보가 반영될 수 있다.
또한, 본 발명은 상기한 방법을 수행하기 위한, 장치를 제공한다.
또한, 본 발명은 상기한 방법을 수행하기 위한 시스템으로서, 상기 두부 3차원 의료 영상을 촬영하기 위한 촬영 장치(100) 및 상기 촬영 장치(100)로부터 획득한 상기 두부 3차원 의료 영상으로부터 상기 경조직 기준점, 상기 연조직 기준점 및 상기 보정 경조직 기준점을 결정하고, 결정된 상기 연조직 기준점, 상기 경조직 기준점 및 상기 보정 경조직 기준점을 학습하여, 상기 보정 경조직 기준점에 상응하는 상기 보정 연조직 기준점을 예측하는, 영상 처리 장치(200)를 포함하는, 스템을 제공한다.
일 실시예에 있어서, 상기 영상 처리 장치(200)는, 상기 연조직 기준점을 이용하여 그리드(G)를 더 생성하며, 상기 생성된 그리드를 더 학습하여 상기 보정 경조직 기준점에 상응하는 상기 보정 연조직 기준점을 예측할 수 있다.
또한, 본 발명은 상기한 방법을 실행하도록 컴퓨터 판독 가능한 기록매체에 저장된, 프로그램을 제공한다.
또한, 본 발명은 상기한 방법을 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체를 제공한다.
상기한 본 발명에 따르면 다음과 같은 효과가 달성된다.
첫째, 3차원 의료 영상으로부터 다수의 연조직 기준점을 높은 정확도로 예측하는 것이 가능하다.
둘째, 3차원 의료 영상의 재배향 없이, 다수의 경조직 기준점을 높은 정확도로 예측하는 것이 가능하다.
셋째, 예측된 경조직 기준점이 포함된 기준 평면을 결정할 수 있으며, 기준 평면을 이용하여 3차원 의료 영상의 재배향 후, 경조직 기준점들의 해부학적 정보에 기초하여 다른 다수의 경조직 기준점을 높은 정확도로 예측하는 것이 가능하다.
넷째, 입력 수술 정보에 상응하는 경조직 기준점 이동량을 연산하는 것이 가능하며, 연산된 경조직 기준점 이동량이 반영된 보정 경조직 기준점을 예측하는 것이 가능하다.
다섯째, 연조직 기준점, 경조직 기준점, 보정 경조직 기준점을 머신러닝하여, 보정 연조직 기준점 예측 모델을 생성할 수 있고, 예측 모델을 통해 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 높은 정확도로 예측하는 것이 가능하다.
여섯째, 곡률 정보가 반영된 그리드를 더 학습하여, 보정 연조직 기준점을 예측하는 것도 가능하다.
일곱째, 예측된 보정 연조직 기준점에 기초하여 이미지를 재구성하는 것이 가능하여, 수술 전 시점에 수술 후 모습을 확인하는 것이 가능하여 환자/의료진 입장에서의 편의가 제고된다.
도 1은 본 발명의 실시예에 따른 시스템을 설명하기 위한 개략적인 블록도이다.
도 2는 도 1의 시스템을 보다 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 경조직 기준점 결정 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 코뿌리점을 결정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 대후두공의 중점을 결정하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 안형요와를 결정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 포리온을 결정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 포리온을 결정하는 다른 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 안과점을 결정하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 기준점 결정 방법 중 안과점과 포리온을 결정하는 방법을 설명하기 위한 도면이다.도 11은 정중시상면과 프랑크프루트면을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 보정 연조직 기준점 예측 방법을 설명하기 위한 순서도이다.
도 13은 본 발명의 다른 실시예에 따른 보정 연조직 기준점 예측 방법을 설명하기 위한 순서도이다.
도 14는 연조직 기준점을 설명하기 위한 도면이다.
도 15는 본 발명의 실시예에 따른 연조직 기준점을 결정하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 다른 실시예에 따른 연조직 기준점을 결정하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 실시예에 따른 그리드를 형성하는 과정을 설명하기 위한 도면이다.
도 18은 본 발명의 실시예에 따른 보정 연조직 기준점을 예측하기 위한 전체적인 과정을 설명하기 위한 도면이다.
도 19는 본 발명의 실시예에 따른 경조직 기준점, 연조직 기준점 및 보정 경조직 기준점을 이용하여 보정 연조직 기준점에 기초한 이미지 재구성을 설명하기 위한 도면이다.
도 2는 도 1의 시스템을 보다 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 경조직 기준점 결정 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 코뿌리점을 결정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 대후두공의 중점을 결정하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 안형요와를 결정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 포리온을 결정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 포리온을 결정하는 다른 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 경조직 기준점 결정 방법 중 안과점을 결정하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 기준점 결정 방법 중 안과점과 포리온을 결정하는 방법을 설명하기 위한 도면이다.도 11은 정중시상면과 프랑크프루트면을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 보정 연조직 기준점 예측 방법을 설명하기 위한 순서도이다.
도 13은 본 발명의 다른 실시예에 따른 보정 연조직 기준점 예측 방법을 설명하기 위한 순서도이다.
도 14는 연조직 기준점을 설명하기 위한 도면이다.
도 15는 본 발명의 실시예에 따른 연조직 기준점을 결정하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 다른 실시예에 따른 연조직 기준점을 결정하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 실시예에 따른 그리드를 형성하는 과정을 설명하기 위한 도면이다.
도 18은 본 발명의 실시예에 따른 보정 연조직 기준점을 예측하기 위한 전체적인 과정을 설명하기 위한 도면이다.
도 19는 본 발명의 실시예에 따른 경조직 기준점, 연조직 기준점 및 보정 경조직 기준점을 이용하여 보정 연조직 기준점에 기초한 이미지 재구성을 설명하기 위한 도면이다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
이하에서, 용어 "두부(head)"는 경추의 상부에 위치하는 해부학적 조직을 의미한다.
이하에서, 용어 "해부학적 정보"는 생물체 내부의 조직, 뼈 등의 형태와 구조에 대한 정보로서, 여기에는 조직 및 뼈의 생물체 내의 위치, 두께, 깊이, 길이, 성분 등의 정보가 포함될 수 있는 개념이다.
이하에서, 용어 "이진화"는 다양한 명도, 색으로 이루어진 이미지가 2가지, 일 예로 흑색과 백색의 2가지 색으로 표현될 수 있도록 이미지 처리하는 것을 의미한다.
이하에서, 용어 "3차원 의료 영상"은 X-ray, 초음파, CT, CBCT, MRI, PET 등 피검사체의 3차원 영상을 획득할 수 있는 촬영 장치를 이용하여 획득되는 의료 영상을 의미한다.
이하에서, 용어 "볼륨 렌더링 이미지"는 연조직의 깊이(depth)를 파악할 수 있는 이미지로서, MIP, meanMIP, minIP, surface rendering 이미지를 포함하는 개념이다.
이하에서, 용어 "코뿌리점(Nasion)"은 코뼈와 앞머리뼈 사이의 봉합선과 비간 봉합선과의 교점을 의미한다.
이하에서, 용어 "대후두공(Foramen Magnum)"은 두개강과 척추관을 잇는 구멍으로서, 후두골 저부, 양외측부, 후두린 사이에 있으며 장측의 앞뒤로 향하는 둥근 알 모양의 큰 구멍을 의미하며, 연수하부, 추골동맥 및 정맥층이 지나는 구멍을 의미한다.
이하에서, 용어 "안형요와(Sellar)"는 뇌하수체가 위치하는 두개골에서의 안장 모양의 움푹 파인 부위를 의미한다.
이하에서, 용어 "포리온(Porion)"은 외이도 위 가장자리의 가장 위쪽에 있는 점을 의미한다.
이하에서, 용어 "안과점(Orbitale)"은 안와하연의 최하방점을 의미한다.
이하에서, 용어 "대후두공앞점(Basion)"은 대후두공 전연의 최후 하방점을 의미한다.
이하에서, 용어 "미간(Glabella)"은 좌우의 눈썹 사이에 위치하며, 전두골상에서 미궁 사이의 평탄한 영역을 의미한다.
이하에서, 용어 "전비점(Pronasale)"은 코의 최전방점, 코끝점을 의미한다.
이하에서, 용어 "비하점(Subnasale)"은 정중시상면에서 비중격이 윗입술과 합하는 점을 의미한다.
이하에서, 용어 "Labiale superius"는 윗입술의 변곡점을 의미한다.
이하에서, 용어 "스토미온(Stomion)"은 입중간점을 의미하며, 입술을 다물고 있을 때 입술 틈새에 있는 중간점을 의미한다.
이하에서, 용어 "Labiale inferius"는 아랫입술의 변곡점을 의미한다.
이하에서, 용어 "Sublabial"은 입술 아래점을 의미한다.
이하에서, 용어 "하악점(Pogonion)"은 정중시상면에 있어서 하악의 가장 전방에 위치하는 점을 의미한다.
이하에서, 용어 "Exocanthion"은 눈의 가장자리 끝점을 의미한다.
이하에서, 용어 "입꼬리점(Cheilion)"은 입술의 양 가장자리 끝점을 의미한다.
이하에서, 용어 "정면"은 두부에서 눈, 코, 입 등이 위치하는 일면을 의미하고, "후면"은 정면에 대향하는 면을 의미하며, "측면"은 정면과 후면 사이에 위치되어 서로가 대향하는 면을 의미한다.
먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 연조직 기준점 결정 시스템 및 수술 후의 보정 연조직 예측 시스템은 촬영 장치(100), 영상 처리 장치(200), 입력 장치(300) 및 출력 장치(400)를 포함할 수 있다.
촬영 장치(100)는 기준점 결정 대상에 대한 의료 영상을 촬영하는 부분이다. 3차원 의료 영상을 획득할 수 있는 것이면 어느 것이든 제한되지 않으며, X-ray, CT, CBCT, MRI, PET 등이 적용될 수 있다.
영상 처리 장치(200)는 입력 장치(300)에 입력된 두부 3차원 의료 영상 또는 촬영 장치(100)에 의해 촬영된 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 연조직 기준점, 경조직 기준점 및 보정 경조직 기준점을 결정하고, 결정된 기준점들을 학습하여 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측하는 부분이다. 본 발명의 다른 실시예에서는, 결정된 연조직 기준점을 이용하여 그리드를 생성하고, 그리드를 더 학습하여 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측할 수도 있다. 이에 대한 자세한 내용은 후술하기로 한다.
입력 장치(300)는 영상 처리 장치(100)에 사용될 명령 또는 데이터를 외부로부터 수신할 수 있다. 입력 장치(300)는 예를 들면, 마이크, 마우스, 키보드, 터치 패널 또는 디지털 펜을 포함할 수 있다.
출력 장치(400)는 외부(일 예로, 사용자)로 정보를 시각적으로 제공할 수 있다. 출력 장치(400)는 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다.
이하에서는, 도 2 내지 16을 참조하여, 영상 처리 장치(200)에 의한 영상 처리 과정을 구체적으로 설명한다.
도 2를 참조하면, 영상 처리 장치(200)는 기준점 및 기준 평면 결정 모듈(210), 그리드 형성 모듈(220), 학습 모듈(230), 예측 모듈(240), 제1 이미지 처리 모듈(250), 제2 이미지 처리 모듈(260) 및 데이터베이스(270)를 포함할 수 있다.
기준점 및 기준 평면 결정 모듈(210)은 임의의 두부 3차원 의료 영상에 대해 미리 결정된 방법에 따라 기준점과 기준 평면을 결정한다. 보다 구체적으로, 제1 이미지 처리 모듈(250) 및 제2 이미지 처리 모듈(260)에 의해 두부 3차원 의료 영상에 대해 이미지 처리한 후, 처리된 이미지로부터 미리 결정된 방법으로 기준점을 결정하게 된다.
도 2를 참조하면, 기준점 및 기준 평면 결정 모듈(210)은 경조직 기준점 결정 모듈(211), 연조직 기준점 결정 모듈(212), 기준 평면 결정 모듈(213) 및 보정 경조직 기준점 결정 모듈(214)을 포함할 수 있다.
경조직 기준점 결정 모듈(211)은 미리 설정된 방법에 따라 코뿌리점(Nasion), 대후두공(Foramen magnum)의 중점, 안형요와(Sellar), 한 쌍의 포리온(Porion), 한 쌍의 안과점(Orbitale) 및 대후두공앞점(Basion)을 결정한다.
도 3 내지 도 10을 참조하여, 경조직 기준점 결정 모듈(211)이 상기한 경조직 기준점들을 결정하는 방법을 상세히 설명한다.
먼저, 도 4를 참조하여, 경조직 기준점 결정 모듈(211)에 의해 코뿌리점이 결정되는 과정을 구체적으로 설명한다. 코뿌리점을 결정하기 위해 표면 이미지 추출 모듈(251) 및 중간축 설정 모듈(252)에 의한 이미지 처리가 수행될 수 있다.
먼저, 표면 이미지 추출 모듈(251)은 두부 3차원 의료 영상으로부터 두개골(skull)의 외측 표면에 해당하는 표면 이미지를 추출한다. 추출 과정은 두부 3차원 의료 영상의 복셀(voxel)을 이용하는 방식이 이용될 수 있으며, 이는 널리 알려진 기술이므로 상세한 설명은 생략하기로 한다.
다음, 중간축 설정 모듈(252)이 표면 이미지 추출 모듈(251)에 의해 추출된 추출 이미지에 대해 중간축(medial axis)을 설정한다. 여기서 중간축이란, 오브젝트의 경계에서 둘 이상의 가장 가까운 점을 갖는 모든 점의 집합을 의미하는 것으로, 중간축 설정 모듈(252)에 의해 추출 이미지(도 4a)로부터 다수의 중간축들(도 4b)이 설정되어 표시될 수 있다.
여기서, 중간축 설정 모듈(252)은 두부 3차원 의료 영상의 정면 이미지, 측면 이미지 및 평면 이미지 각각에 대해 중간축을 설정하는 것이 바람직하며, 이를 통해 보다 정확한 코뿌리점을 결정하는 것이 가능하다.
다음, 경조직 기준점 결정 모듈(211)은 중간축 설정 모듈(252)에 의해 설정된 다수의 중간축들의 교점을 코뿌리점으로 결정한다.
도 4를 참조하면, 중간축들의 교점은 다수개 존재하는 것을 확인할 수 있다. 다수의 교점들 중에서 코뿌리점의 위치에 상응하는 교점을 결정하기 위해서는, 데이터베이스(270)에 저장되어 있는 코뿌리점의 해부학적 정보를 이용할 수 있다. 즉, 데이터베이스(270)에 저장된 코뿌리점의 위치 등의 해부학적 정보를 이용하여 코뿌리점이 위치할 가능성이 높은 영역을 설정할 수 있으며, 설정된 영역 내에 포함된 교점 중 횡으로 연장되는 중간축과 종으로 연장되는 중간축의 교점을 코뿌리점으로 결정할 수 있다.
기준점이라 함은 3차원 데이터이므로, 일 측면의 이미지에서만 코뿌리점을 결정할 경우, 오차가 발생할 가능성이 높다. 따라서, 본 발명에서는 정면 이미지, 측면 이미지 및 평면 이미지 각각에 대해 중간축을 설정하고, 데이터베이스(270)에 저장된 코뿌리점의 해부학적 정보를 이용하여 코뿌리점이 위치할 가능성이 높은 영역을 설정한 후, 설정된 영역 내에 포함된 교점 중 횡으로 연장되는 중간축과 종으로 연장되는 중간축의 교점을 코뿌리점으로 결정하여 적어도 3개의 이미지에서 교점을 구함으로써, 코뿌리점을 보다 높은 정확도로 결정하는 것이 가능하다.
경조직 기준점 결정 모듈(211)에 의해 코뿌리점이 결정되면, 두부 3차원 의료 영상에 코뿌리점에 해당하는 점이 표시될 수 있다(도 4d).
다음, 도 5를 참조하여, 경조직 기준점 결정 모듈(211)에 의해 대후두공의 중점이 결정되는 과정을 구체적으로 설명한다. 대후두공의 중점을 결정하기 위해 제1 외곽선 설정 모듈(253), 제2 외곽선 설정 모듈(254) 및 이미지 차감 모듈(255)에 의한 이미지 처리가 수행될 수 있다.
먼저, 제1 외곽선 설정 모듈(253)이 두부 3차원 의료 영상에 포함된 두개골 이미지의 가장자리에 제1 외곽선을 설정한다(도 5a의 파란색 선).
다음, 제2 외곽선 설정 모듈(254)이 제1 외곽선 내측에 제2 외곽선을 설정한다(도 5a의 빨간색 선). 제2 외곽선을 설정하기 위해 데이터베이스(270)에 저장된 대후두공의 해부학적 정보, 즉 대후두공의 위치, 깊이, 길이, 형상 등의 정보를 이용하여, 예를 들어 대후두공의 깊이에 상응하는 거리만큼 제1 외곽선으로부터 이격되도록 제2 외곽선을 설정할 수 있다.
다음, 이미지 차감 모듈(255)이 제1 외곽선 내측의 이미지(두부 3차원 의료 영상)로부터 제2 외곽선 내측의 이미지를 차감하여 차감 이미지를 생성한다. 차감의 결과로 생성되는 차감 이미지는, 제1 외곽선과 제2 외곽선 사이에 위치하는 이미지이다.
다음, 경조직 기준점 결정 모듈(211)은 차감 이미지를 이용하여 대후두공의 중점을 결정한다. 두부에는 대후두공을 포함하는 다수의 구멍이 위치하므로, 차감 이미지에도 다수의 구멍이 포함될 수 있다. 따라서, 경조직 기준점 결정 모듈(211)은 데이터베이스(270)에 저장된 대후두공의 해부학적 정보를 이용하여 차감 이미지에 포함된 다수의 구멍 중 대후두공에 상응하는 위치의 구멍의 중점(도 4d의 빨간색 점)을 대후두공의 중점으로 결정한다.
경조직 기준점 결정 모듈(211)에 의해 대후두공의 중점이 결정되면, 두부 3차원 의료 영상에 대후두공의 중점에 해당하는 점이 표시될 수 있다.
다음, 도 6을 참조하여, 경조직 기준점 결정 모듈(211)에 의해 안형요와가 결정되는 과정을 구체적으로 설명한다. 안형요와를 결정하기 위해 이미지 차감 모듈(255), 영역 설정 모듈(256), 이진화 모듈(257) 및 이미지 확장 모듈(258)에 의한 이미지 처리가 수행될 수 있다.
먼저, 영역 설정 모듈(256)이 데이터베이스(270)에 저장된 안형요와의 해부학적 정보를 이용하여 안형요와를 포함하는 영역을 설정한다(도 6a의 검은색 박스 영역). 이 때, 영역 설정 모듈(256)에 의해 설정되는 영역은 안형요와의 영역보다 넓은 것이 바람직할 것이다.
다음, 이진화 모듈(257)이 영역 설정 모듈(256)에 의해 설정된 영역에 해당하는 이미지의 이진화를 수행하여 제1 이진화 이미지를 생성한다. 제1 이진화 이미지에서, 악골에 해당하는 부분은 백색으로 표시될 수 있으며, 구멍에 해당하는 부분은 흑색으로 표시될 수 있다(도 6a 참조).
다음, 영역 설정 모듈(256)이 제1 이진화 이미지에 포함된 구멍에 해당하는 영역(즉, 흑색 영역) 중 악골에 해당하는 영역(즉, 백색 영역)의 외곽선의 곡률이 미리 설정된 곡률 이상인 부분과 접하는 영역을 설정한다(도 6a의 분홍색 영역). 영역 설정 모듈(256)에 의해 설정된 영역을 안형요와 후보 영역이라 칭한다.
다음, 이미지 확장 모듈(258)이 악골에 해당하는 영역(즉, 백색 영역)의 이미지를 횡방향으로 확장시켜 확장 이미지를 생성한다(도 6b의 초록색 영역).
다음, 이미지 차감 모듈(255)이 안형요와 설정 영역(분홍색 영역)의 이미지로부터 확장 이미지를 차감하여 차감 이미지를 생성한다(도 6c).
다음, 경조직 기준점 결정 모듈(211)은 차감 이미지의 중점을 안형요와로 결정한다.
경조직 기준점 결정 모듈(211)에 의해 안형요와가 결정되면, 두부 3차원 의료 영상에 안형요와에 해당하는 점이 표시될 수 있다(도 6d).
다음, 도 7을 참조하여, 경조직 기준점 결정 모듈(211)에 의해 포리온이 결정되는 과정을 구체적으로 설명한다. 포리온을 결정하기 위해 제1 외곽선 설정 모듈(253), 제2 외곽선 설정 모듈(254), 이미지 차감 모듈(255), 이진화 모듈(257) 및 3차원 이미지 생성 모듈(259)에 의해 이미지 처리가 수행될 수 있다.
먼저, 이진화 모듈(257)이 볼륨 렌더링(volume rendering) 이미지(도 7a)에 대해 이진화를 수행하여 제2 이진화 이미지를 생성한다. 제2 이진화 이미지에서, 연조직에 해당하는 부분은 백색으로 표시될 수 있으며, 구멍에 해당하는 부분은 흑색으로 표시될 수 있다(도 7b 참조).
다음, 경조직 기준점 설정 모듈(211)이 데이터베이스(270)에 저장된 포리온의 해부학적 정보를 이용하여 제2 이진화 이미지에서 포리온에 상응하는 위치의 구멍을 포리온으로 결정한다(도 7c의 백색 영역). 경조직 기준점 설정 모듈(211)에 의해 결정된 포리온의 위치에 해당하는 볼륨 렌더링 이미지가 또한 추출될 수도 있다(도 7d).
두부 3차원 의료 영상에서 포리온은 2개이며, 따라서 상기한 과정은 좌측면 이미지 및 우측면 이미지 각각에 대해 수행되어 한 쌍의 포리온이 결정될 수 있다.
경조직 기준점 결정 모듈(211)에 의해 한 쌍의 포리온이 결정되면, 두부 3차원 의료 영상에 포리온에 해당하는 점이 표시될 수 있다(도 7e 및 7f).
다음, 도 8을 참조하여, 본 발명의 다른 실시예에 따라 경조직 기준점 결정 모듈(211)에 의해 포리온이 결정되는 과정을 구체적으로 설명한다.
먼저, 이진화 모듈(257)이 두부 3차원 의료 영상의 후면 이미지의 이진화를 수행하여 제3 이진화 이미지를 생성한다. 제3 이진화 이미지에서, 두개골에 해당하는 부분은 백색으로 표시될 수 있으며, 구멍에 해당하는 부분은 흑색으로 표시될 수 있다(도 8a 참조).
다음, 3차원 이미지 생성 모듈(259)이 두부 3차원 의료 영상을 이용하여 볼륨 렌더링 이미지를 이용하여 결정된 포리온의 위치에 상응하는 위치에 대한 3차원 이미지를 생성한다(도 8b 참조).
다음, 제1 외곽선 설정 모듈(253)이 제3 이진화 이미지의 외곽선인 제1 외곽선을 설정한다(도 8c의 파란색 선).
다음, 제2 외곽선 설정 모듈(254)이 제1 외곽선 내측에 제2 외곽선을 설정한다(도 8c의 빨간색 선). 제2 외곽선을 설정하기 위해 데이터베이스(270)에 저장된 포리온의 해부학적 정보, 즉 포리온의 해부학적 길이 등을 이용하여, 예를 들어 포리온의 길이에 상응하는 거리만큼 제1 외곽선으로부터 이격되도록 제2 외곽선을 설정할 수 있다.
다음, 이미지 차감 모듈(255)이 3차원 이미지 생성 모듈(259)에 의해 생성된 3차원 이미지를 이용하여 제1 외곽선 내측의 이미지로부터 제2 외곽선 내측의 이미지를 차감하여 차감 이미지를 생성한다. 차감의 결과로 생성되는 차감 이미지는, 제1 외곽선과 제2 외곽선 사이에 위치하는 이미지이다.
다음, 경조직 기준점 설정 모듈(211)이 상기 포리온의 해부학적 정보를 이용하여 차감 이미지에 포함된 다수의 구멍 중 포리온에 상응하는 위치의 구멍을 포리온으로 결정한다(도 8d). 도 8d에서는 우측 포리온만이 도시되나, 좌측 포리온도 마찬가지의 방법으로 결정될수 있다.
경조직 기준점 결정 모듈(211)에 의해 한 쌍의 포리온이 결정되면, 두부 3차원 의료 영상에 포리온에 해당하는 점이 표시될 수 있다(도 8e 및 8f).
다음, 도 9를 참조하여, 경조직 기준점 결정 모듈(211)에 의해 안과점이 결정되는 과정을 구체적으로 설명한다.
먼저, 제1 외곽선 설정 모듈(253)이 두부 3차원 의료 영상에서 두개골의 외곽선에 해당하는 제1 외곽선을 설정한다(도 9a의 파란색 선).
다음, 제2 외곽선 설정 모듈(254)이 데이터베이스(270)에 저장된 안과점의 해부학적 정보를 이용하여, 제1 외곽선 내측에 제2 외곽선을 설정한다(도 9a의 빨간색 선).
다음, 이미지 차감 모듈(255)이 제1 외곽선 내측의 이미지로부터 제2 외곽선 내측의 이미지를 차감하여 차감 이미지를 생성한다. 차감의 결과로 생성되는 차감 이미지는, 제1 외곽선과 제2 외곽선 사이에 위치하는 이미지이다.
다음, 경조직 기준점 결정 모듈(211)이 데이터베이스(270)에 저장된 안과점의 해부학적 정보를 이용하여, 차감 이미지에 포함된 다수의 구멍 중 안과점에 상응하는 위치의 구멍의 최하점을 안과점으로 결정한다.
두부 3차원 의료 영상에서 안과점은 2개이며, 따라서 2개의 안과점이 결정될 수 있다.
경조직 기준점 결정 모듈(211)에 의해 한 쌍의 안과점이 결정되면, 두부 3차원 의료 영상에 안과점에 해당하는 점이 표시될 수 있다(도 9b 및 9c).
본 발명의 다른 실시예에서는 다른 방법에 의해 포리온과 안과점을 결정하는 것도 가능하다.
먼저, 이진화 모듈(257)이 볼륨 렌더링(volume rendering) 이미지(도 7a)에 대해 이진화를 수행하여 이진화 이미지를 생성한다. 이진화 이미지에서, 연조직에 해당하는 부분은 백색으로 표시될 수 있으며, 구멍에 해당하는 부분은 흑색으로 표시될 수 있다(도 7b 참조).
여기서, 안와하연과 골성 외이도와 만나는 접점을 각각 안과점과 포리온의 2차원 상에서의 좌표로 결정할 수 있으며, 3차원 이진화 이미지로 투영함으로써 안과점과 포리온의 3차원 상에서의 좌표가 결정될 수 있다.
또한, 두부 3차원 의료 영상을 반악씩(좌측 또는 우측) 볼륨 렌더링시켜, 각각의 구조물을 세그멘테이션(segmentation)하고, 각각의 구조물에 동시에 접하는 접선 상의 점을 각각 안과점과 포리온으로 결정할 수 있다(도 10).
즉, 안와하연이라는 구조물과, 골성 외이도라는 구조물에 동시에 접하는 접선이 결정될 수 있으며, 결정된 접선 상에서의 각각의 구조물에 접하는 점(접선과 안와하연이 접하는 점이 안과점, 접선과 골성 외이도가 접하는 점이 포리온)을 각각 안과점과 포리온으로 결정할 수 있다.
기준 평면 결정 모듈(213)은 경조직 기준점 결정 모듈(211)에 의해 결정된 기준점들, 즉 코뿌리점, 대후두공의 중점, 안형요와, 한 쌍의 포리온 및 한 쌍의 안과점을 포함하는 기준점을 이용하여 기준 평면을 결정한다.
기준 평면 결정 모듈(213)은 정중시상면(Mid Sagittal Plane, MSP)을 결정하며, 구체적으로 코뿌리점, 안형요와 및 대후두공의 중점을 포함하는 면을 정중시상면으로 결정한다.
기준 평면 결정 모듈(213)에 의해 결정된 정중시상면을 이용하여, 경조직 기준점 결정 모듈(211)은 대후두공앞점을 결정할 수 있다.
또한, 기준 평면 결정 모듈(213)은 프랑크프루트면(Frankfurt Plane)을 결정하며, 구체적으로 (a) 한 쌍의 포리온 및 한 쌍의 안과점의 총 4개의 기준점 중 3개를 포함하거나 (b) 한 쌍의 포리온 및 한 쌍의 안과점의 중점을 포함하거나 (c) 한 쌍의 포리온의 중점 및 한 쌍의 안과점을 포함하는 면을 프랑크프루트면으로 결정한다.
본 발명의 다른 실시예에서, 기준 평면 결정 모듈(213)은 도 8d의 이미지(즉, 골성 외이도를 채운 loaf)와 안와하연의 접면(즉, 도 8d의 이미지와 안와하연에 동시에 접하는 면)을 프랑크프루트면으로 결정할수도 있다. 기준 평면 결정 모듈(213)에 의해 결정된 프랑크프루트면으로부터 포리온과 안과점을 결정하는 것도 가능하며, 기준 평면 결정 모듈(213)에 의해 정중시상면이 결정되어 있는 경우, 포리온과 안과점이 각각 한 점으로 결정될 수 있다.
상기한 정중시상면과 프랑크프루트면은 수직 관계이며, 기준 평면 결정 모듈(213)에 의해 정중시상면과 프랑크프루트면이 결정되면, 2개의 평면을 기준으로 두부 3차원 의료 영상을 재배향하고, 재배향된 영상으로부터 다수의 경조직 기준점을 결정하는 것이 가능하다.
재배향 모듈(261)은 정중시상면 및 프랑크프루트면에 기초하여 두부 3차원 의료 영상을 재배향한다.
즉, 정중시상면과 y축이 평행하고, 프랑크프루트면과 x축이 평행하도록 두부 3차원 의료 영상을 재배향할 수 있으며, 이를 통해 촬영 자세가 서로 상이하여 비틀리거나 엇갈리게 획득된 두부 3차원 의료 영상의 균일화가 가능하다.
경조직 기준점 결정 모듈(211)은 데이터베이스(270)에 저장된 다수의 경조직 기준점에 대한 해부학적 정보를 이용하여 재배향된 두부 3차원 의료 영상으로부터 다수의 경조직 기준점을 더 결정할 수 있다. 따라서, 초기에 두부 3차원 의료 영상의 재배향 없이 정중시상면과 프랑크프루트면을 규정하는데 필요한 코뿌리점, 대후두공의 중점, 안형요와, 한 쌍의 포리온 및 한 쌍의 안과점의 기준점을 결정하고, 이들로부터 정중시상면과 프랑크프루트면을 결정하며, 결정된 정중시상면과 프랑크프루트면을 기초로 두부 3차원 의료 영상을 재배향시키고, 재배향된 영상으로부터 높은 정확도로 경조직 기준점들을 결정하는 것이 가능하다. 따라서, 결정된 다수의 경조직 기준점들의 위치나 관계에 기초하여 3차원 교정술을 수행하는 것이 가능하다.
연조직 기준점 결정 모듈(212)은 미리 설정된 방법에 따라 연조직 기준점을 결정한다.
도 12 내지 16을 참조하여, 연조직 기준점 결정 모듈(212)이 연조직 기준점을 결정하는 방법을 상세히 설명한다.
먼저, 도 15를 참조하여 본 발명의 일 실시예에 따라 연조직 기준점 결정 모듈(212)에 의해 연조직 기준점이 결정되는 과정을 구체적으로 설명한다. 연조직 기준점을 결정하기 위해 이진화 모듈(257), 재배향 모듈(261), 및 기준선 설정 모듈(262)에 의한 이미지 처리가 수행될 수 있다.
먼저, 재배향 모듈(261)이 기준 평면 결정 모듈(213)에 의해 결정된 정중시상면이 y축에 평행하고, 프랑크프루트면이 x축에 평행하도록 두부 3차원 의료 영상을 재배향한다(도 15a).
다음, 이진화 모듈(257)이 재배향 모듈(261)에 의해 재배향된 두부 3차원 의료 영상의 측면 이미지에 대해 이진화를 수행하여 제4 이진화 이미지를 생성한다(도 15b).
다음, 기준선 설정 모듈(262)이 이진화 모듈(257)에 의해 생성된 제4 이진화 이미지의 가장자리에 기준선을 설정한다. 즉, 두부 이미지와 배경 이미지의 경계에 해당하는 기준선을 설정할 수 있으며, 보다 바람직하게는 이마, 코 및 입이 위치하는 부분에 기준선을 설정할 수 있다(도 15c). 따라서, 기준선 설정 모듈(262)에 의해 설정된 기준선은 이마, 코 및 입의 정중선을 지난다고 볼 수 있다.
다음, 연조직 기준점 결정 모듈(212)이 기준선 설정 모듈(262)에 의해 설정된 기준선 상에 위치된 점들을 연조직 기준점으로 결정한다. 도 15에서는 BN, NT, Sn, St의 연조직 기준점들이 도시된다.
다음, 도 16을 참조하여 본 발명의 다른 실시예에 따라 연조직 기준점 결정 모듈(212)에 의해 연조직 기준점이 결정되는 과정을 구체적으로 설명한다. 연조직 기준점을 결정하기 위해 표면 이미지 추출 모듈(251), 평균 곡률 연산 모듈(263) 및 전처리 모듈(264)에 의한 이미지 처리가 수행될 수 있다.
먼저, 표면 이미지 추출 모듈(251)은 두부 3차원 의료 영상으로부터 두개골의 외측 표면에 해당하는 표면 이미지를 추출한다.
다음, 평균 곡률 연산 모듈(263)이 표면 이미지 추출 모듈(251)에 의해 추출된 표면 이미지 중 정면 이미지에 대해 평균 곡률(mean curvature)을 연산한다. 평균 곡률이란, 곡면 상에서 임의의 점의 주곡률(principal curvature)의 평균값에 해당하며, 평균 곡률을 연산하는 방법은 널리 알려져 있으므로 상세한 설명은 생략한다. 평균 곡률이 0에 가까울수록 해당 지점이 볼록하다는 것을 의미하며, 1에 가까울수록 해당 지점이 오목하다는 것을 의미할 수 있다.
다음, 전처리 모듈(264)이 평균 곡률의 최소 역치값 및 최대 역치값을 각각 설정하고, 연산된 평균 곡률과 설정된 역치값들을 이용하여 정면 이미지를 전처리한다. 도 16b와 16c에는 전처리 모듈(264)에 전처리가 완료된 이미지를 도시된다. 전처리 모듈(264)은 0보다 큰 평균 곡률의 최소 역치값(일 예로, 0.1), 그리고 1보다 작은 평균 곡률의 최대 역치값(일 예로, 0.9)을 각각 설정할 수 있으며, 평균 곡률이 0보다 크고 최소 역치값보다 작은 부분은 도 16c에서 검은색으로 표시될 수 있고, 평균 곡률이 최대 역치값보다 크고 1보다 작은 부분은 도 16c에서 흰색으로 표시될 수 있다.
연조직 기준점 결정 모듈(212)은 전처리 모듈(264)에 의해 전처리된 이미지(일 예로, 16c에 도시된 이미지)로부터 연조직 기준점을 결정한다. 일 예로, 검은색으로 표시된 영역과, 흰색으로 표시된 영역에 포함된 점들을 연조직 기준점으로 결정할 수 있으며, 보다 구체적으로는 데이터베이스(270)에 저장된 연조직 기준점들의 해부학적 정보, 즉 연조직 기준점의 위치 정보 등을 이용하여 검은색 및 흰색으로 표시된 영역에 포함된 점들을 연조직 기준점으로 결정할 수 있다.
보정 경조직 기준점 결정 모듈(214)은 입력 장치(300)를 통해 입력된 수술 정보에 상응하는 경조직 기준점 이동량을 연산하고, 연산된 경조직 기준점 이동량만큼 경조직 기준점 결정 모듈(211)에 의해 결정된 경조직 기준점들을 이동시킨 보정 경조직 기준점을 결정한다.
비침습적 교정술과 침습적 교정술은 경조직에 해당하는 뼈가 이동하거나, 삭제하거나 치환하는 등의 과정이 이루어지므로, 시술/수술의 정보, 해당 시술/수술에서 수행되는 뼈의 이동량, 삭제량 및 치환량 등의 정보가 결정될 수 있다. 입력 장치(300)를 통해, 시술/수술 정보, 특정 뼈의 이동량, 삭제량 및 치환량 중 하나 이상의 정보가 입력될 수 있으며, 보정 경조직 기준점 결정 모듈(214)은 입력된 정보에 상응하는 경조직 기준점 이동량을 연산하게 된다. 그리고, 연산된 경조직 기준점 이동량만큼 경조직 기준점들을 이동시키게 된다.
여기에서, 기저골(Basal Bone)에 포함된 경조직 기준점들은 이동하지 않는데, 교정술이 수행되더라도 기저골의 위치는 고정되기 때문이다. 따라서, 보정 경조직 기준점 결정 모듈(214)은 기저골에 포함되는 경조직 기준점을 제외한 나머지 경조직 기준점들을 이동시켜 보정 경조직 기준점을 결정하게 된다.
학습 모듈(230)은 경조직 기준점 결정 모듈(211)에 의해 결정된 경조직 기준점, 연조직 기준점 결정 모듈(212)에 의해 결정된 연조직 기준점, 그리고 보정 경조직 기준점 결정 모듈(214)에 의해 결정된 보정 경조직 기준점들을 기계학습(Machine Learning)한다.
상기한 기준점들은 일 예로 인공신경망(Artificial Neural Network, ANN) 모델에 학습될 수 있으며, 여기서 인공신경망 모델은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), DCNN(Deep Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), SSD(Single Shot Detector), MLP (Multi-layer Perceptron) 또는 어텐션 메커니즘(Attention Mechanism)을 기반으로 한 모델일 수 있으나, 이에 제한되지 않고 다양한 인공신경망 모델이 본 발명에 적용될 수 있다.
즉, 다수의 두부 3차원 의료 영상으로부터 결정된 경조직 기준점, 연조직 기준점 및 보정 경조직 기준점들이 학습 모듈(230)의 인공신경망 모델에 학습될 수 있으며, 지도 학습(supervised learning)과 비지도 학습(unsupervised learning) 방식이 모두 이용될 수 있다.
학습 모듈(230)의 학습에 의해, 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측할 수 있는 예측 모델이 생성될 수 있다. 일 예로, 학습 모듈(230)은 다수의 데이터 중, 임의로 분할된 훈련용 데이터를 수집하고, 현존하는 다수의 기계 학습 모델 중 어느 하나의 기계 학습 모델을 생성할 수 있다. 또한, 임의로 분할된 훈련용 데이터를 활용하여 격자탐색법(Grid Search), SVM(Support Vector Machine) 및 선형판별법 중 다양한 머신러닝 방법 중 하나를 적용하여 학습 데이터를 구성하는 경조직 기준점, 연조직 기준점 및 보정 경조직 기준점 각각에 곱해지는 가중치를 연산한다. 즉, 각 머신러닝 방법마다 상이한 가중치들이 연산될 수 있다. 다음, 연산된 각각의 가중치를 테스트 데이터에 적용하여 테스트 성능 수치를 산출하게 되는데, 이들 중 가장 높은 테스트 성능 수치를 보이는 방법과 그에 상응하는 가중치가 선정될 수 있다. 즉, 인공신경망 모델의 최종 출력값인 보정 연조직 기준점과 실제 보정 연조직 기준점의 위치 차이가 최소가 되도록 학습되는 데이터를 구성하는 다수의 정보 각각에 곱해지는 가중치가 선정될 수 있다.
예측 모듈(240)은 학습 모듈(230)에 의해 생성된 보정 연조직 기준점 예측 모델을 통해, 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측한다. 예측 모듈(240)에 의해 예측된 보정 연조직 기준점을 이용하여 연조직 이미지 재구성이 이루어질 수 있으며(도 19), 이에 따라 시술/수술 후의 연조직 변화 모습을 시술/수술 전 시점에 예측하는 것이 가능하다.
본 발명의 다른 실시예에서는 상기한 경조직 기준점, 연조직 기준점 및 보정 경조직 기준점 이외에 그리드 형성 모듈(220)에 의해 형성된 그리드를 더 학습하여 보정 연조직 기준점 예측 모델을 생성할 수 있다.
경조직 기준점, 연조직 기준점 및 보정 경조직 기준점을 학습하는 것은 동일하고, 그리드가 더 학습되는 점만이 차이가 있는 바, 동일한 부분에 대한 설명은 생략하고 차이가 있는 부분에 대해서만 상세히 설명한다.
먼저, 표면 이미지 추출 모듈(251)이 두부 3차원 의료 영상으로부터 두개골(skull)의 외측 표면에 해당하는 표면 이미지를 추출한다.
다음, 그리드 형성 모듈(220)이 추출된 이미지로부터, 다수의 격자를 포함하는 그리드를 형성한다(도 17). 여기서, 그리드는 해당 표면의 곡률 정보가 반영된 다수의 격자를 포함하되, 연조직 기준점 결정 모듈(212)에 의해 결정된 연조직들이 그리드의 가장자리에 위치되는 개념이다.
도 17에는 빨간색, 파란색 그리고 초록색으로 표시되는 3 종류의 그리드가 도시되나, 이에 제한되지 않고 해당 표면의 곡률 정보를 반영하는 다수의 격자를 포함하되, 가장자리 상에 연조직 기준점들이 위치되는 그리드이면 어느 것이든 제한되지 않는다고 할 것이다.
그리드 형성 모듈(220)에 의해 형성된 그리드들은 연조직 기준점을 포함하면서, 표면 이미지의 곡률 정보가 반영되어 있다. 따라서, 학습 모듈(230)이 그리드 형성 모듈(220)에 의해 형성된 그리드를 더 학습하면, 해당 표면 이미지의 곡률 정보까지 학습하게 되는 것이며, 생성되는 보정 연조직 기준점 예측 모델의 예측 정확도가 보다 향상된다.
다시 말하면, 전술한 방법들을 통해 학습 모듈(230)은 보정 연조직 기준점 예측 모델을 생성하게 되며, 예측 모듈(240)은 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측하게 된다.
데이터베이스(270)에는 다수의 해부학적 정보가 저장된다. 보다 구체적으로, 두부 경조직 기준점들에 대한 해부학적 정보, 즉 두부 경조직 기준점의 정의, 위치, 형상, 깊이, 길이, 경조직 기준점들 간의 관계에 해당하는 정보가, 두부 연조직 기준점들에 대한 해부학적 정보, 즉 두부 연조직 기준점의 정의, 위치, 형상, 깊이, 길이 연조직 기준점들 간의 관계에 해당하는 정보가 저장되어 있으며, 도 2에는 영상 처리 장치(200) 내에 구비되는 것으로 도시되나, 다른 실시예에서는 영상 처리 장치(200) 외부에 구비되고, 영상 처리 장치(200)와 전기적으로 연결되어 정보를 송수신하는 것도 가능하다.
다음, 도 3을 참조하여 본 발명의 실시예에 따른 경조직 기준점 결정 방법에 대해 구체적으로 설명한다.
먼저, 촬영 장치(200)에 의해 분석 대상의 두부 3차원 의료 영상이 촬영된다(S31).
다음, 경조직 기준점 결정 모듈(211)이 상기한 방법에 따라 두부 3차원 의료 영상으로부터 코뿌리점, 대후두공의 중점, 안형요와, 한 쌍의 포리온 및 한 쌍의 안과점을 포함하는 기준점 중 하나 이상의 기준점을 결정한다(S32). 상기한 기준점을 결정하는 방법에 대한 내용은 전술하였으므로, 자세한 설명은 생략한다.
다음, 기준 평면 결정 모듈(213)이 경조직 기준점 결정 모듈(211)에 의해 결정된 기준점을 이용하여, 상기한 기준점이 포함되는 정중시상면 및 프랑크프루트면 중 하나 이상의 기준 평면을 결정한다(S33). 상기한 기준 평면을 결정하는 방법에 대한 내용은 전술하였으므로, 자세한 설명은 생략한다.
다음, 재배향 모듈(261)이 정중시상면과 프랑크프루트면을 이용하여 두부 3차원 의료 영상의 재배향을 수행한다(S34). 구체적으로, 정중시상면이 y축에 평행하도록, 그리고 프랑크프루트면이 x축에 평행하도록 두부 3차원 의료 영상을 재배향할 수 있다.
다음, 경조직 기준점 결정 모듈(211)이 재배향된 영상으로부터 데이터베이스(270)에 저장된 다수의 경조직 기준점들에 대한 해부학적 정보를 이용하여 경조직 기준점을 결정한다(S35). 이렇게 결정된 경조직 기준점은 차후 3차원 교정술을 수행하는 데 이용된다.
다음, 도 12를 참조하여 본 발명의 일 실시예에 따른 보정 연조직 예측 방법에 대해 구체적으로 설명한다.
먼저, 상기한 방법에 따라 경조직 기준점 결정 모듈(211)이 두부 3차원 의료 영상으로부터 경조직 기준점을 결정한다(S111).
다음, 연조직 기준점 결정 모듈(212)이 상기한 방법에 따라 두부 3차원 의료 영상으로부터 연조직 기준점을 결정한다(S112).
다음, 보정 경조직 기준점 결정 모듈(214)이 입력 장치(300)를 통해 입력되는 입력 수술 정보에 상응하는 경조직 기준점 이동량을 연산하고, 연산된 경조직 이동량만큼 경조직 기준점을 이동시켜 보정 경조직 기준점을 결정한다(S113). 이 때, 기저골에 포함되는 경조직 기준점은 이동되지 않고 기저골을 제외한 나머지 영역에 포함되는 경조직 기준점들만이 이동될 수 있다.
다음, 학습 모듈(230)이 연조직 기준점, 경조직 기준점 및 보정 경조직 기준점을 학습하고, 상기한 방법에 따라 보정 연조직 기준점 예측 모델을 생성한다(S114).
다음, 예측 모듈(240)이 S114 단계에서 생성된 보정 연조직 기준점 예측 모델을 이용하여, 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측한다(S115).
다음, 보정 연조직 기준점에 기초하여 이미지가 재구성된다(S116). 재구성된 이미지는 보정 연조직 기준점을 기초로 한 것이므로, 시술/수술 이전 시점에 시술/수술 이후의 모습을 확인하는 것이 가능하다.
다음, 도 13을 참조하여 본 발명의 다른 실시예에 따른 보정 연조직 예측 방법에 대해 구체적으로 설명한다.
먼저, 상기한 방법에 따라 경조직 기준점 결정 모듈(211)이 두부 3차원 의료 영상으로부터 경조직 기준점을 결정한다(S121).
다음, 연조직 기준점 결정 모듈(212)이 상기한 방법에 따라 두부 3차원 의료 영상으로부터 연조직 기준점을 결정한다(S122).
다음, 보정 경조직 기준점 결정 모듈(214)이 입력 장치(300)를 통해 입력되는 입력 수술 정보에 상응하는 경조직 기준점 이동량을 연산하고, 연산된 경조직 이동량만큼 경조직 기준점을 이동시켜 보정 경조직 기준점을 결정한다(S123). 이 때, 기저골에 포함되는 경조직 기준점은 이동되지 않고 기저골을 제외한 나머지 영역에 포함되는 경조직 기준점들만이 이동될 수 있다.
다음, 그리드 형성 모듈(220)이 표면 이미지 추출 모듈(251)에 의해 추출된 이미지에 대해, 다수의 격자(l)를 포함하며, 가장자리 상에 연조직 기준점들이 위치되는 그리드(G)를 형성한다(S124). 여기서, 각각의 격자(l)는 추출 이미지의 곡률 정보가 반영된 것이 바람직하다.
다음, 학습 모듈(230)이 연조직 기준점, 경조직 기준점, 보정 경조직 기준점 및 그리드를 학습하고, 상기한 방법에 따라 보정 연조직 기준점 예측 모델을 생성한다(S125).
다음, 예측 모듈(240)이 S125 단계에서 생성된 보정 연조직 기준점 예측 모델을 이용하여, 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측한다(S126).
다음, 보정 연조직 기준점에 기초하여 이미지가 재구성된다(S127). 재구성된 이미지는 보정 연조직 기준점을 기초로 한 것이므로, 시술/수술 이전 시점에 시술/수술 이후의 모습을 확인하는 것이 가능하다.
위 설명한 본 발명의 일 실시예에 따른 연조직 기준점 결정 방법 및 보정 연조직 기준점 예측 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명을 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 청구범위에 의해서 정해져야 할 것이다.
100: 촬영 장치
200: 영상 처리 장치
210: 기준점 및 기준 평면 결정 모듈
220: 그리드 형성 모듈
230: 학습 모듈
240: 예측 모듈
250: 제1 이미지 처리 모듈
260: 제2 이미지 처리 모듈
270: 데이터베이스
300: 입력 장치
400: 출력 장치
200: 영상 처리 장치
210: 기준점 및 기준 평면 결정 모듈
220: 그리드 형성 모듈
230: 학습 모듈
240: 예측 모듈
250: 제1 이미지 처리 모듈
260: 제2 이미지 처리 모듈
270: 데이터베이스
300: 입력 장치
400: 출력 장치
Claims (15)
- (a) 경조직 기준점 결정 모듈(211)이 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 경조직 기준점을 결정하는 단계;
(b) 기준 평면 결정 모듈(213)이 상기 (a) 단계에서 결정된 경조직 기준점을 이용하여 정중시상면(Mid Sagittal Plane, MSP) 및 프랑크프루트면(Frankfurt Plane, FP)을 결정하는 단계;
(c) 연조직 기준점 결정 모듈(212)이 상기 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 연조직 기준점을 결정하는 단계;
(d) 보정 경조직 기준점 결정 모듈(214)이 상기 (a) 단계에서 결정된 상기 경조직 기준점에 대해, 입력 수술 정보에 상응하는 경조직 기준점 이동량을 연산하고, 상기 연산된 경조직 기준점 이동량만큼 상기 경조직 기준점을 이동시켜 보정 경조직 기준점을 결정하는 단계;
(e) 학습 모듈(230)이 상기 연조직 기준점, 상기 경조직 기준점 및 상기 보정 경조직 기준점을 학습하는 단계; 및
(f) 예측 모듈(240)이 상기 학습 모듈(230)의 학습 결과로 생성된 보정 연조직 기준점 예측 모델을 이용하여, 상기 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측하는 단계;를 포함하며,
상기 (c) 단계는,
(c11) 재배향 모듈(261)이 상기 정중시상면이 y축에 평행하고, 상기 프랑크프루트면이 x축에 평행하도록 상기 두부 3차원 의료 영상을 재배향하는 단계;
(c12) 이진화 모듈(257)이 상기 재배향된 상기 두부 3차원 의료 영상의 측면 이미지에 대해 이진화를 수행하여 이진화 이미지를 생성하는 단계;
(c13) 기준선 설정 모듈(262)이 상기 (c12) 단계에서 생성된 상기 이진화 이미지의 가장자리에 기준선을 설정하는 단계로서, 상기 기준선은 이마, 코 및 입 중 하나 이상을 포함하는, 단계; 및
(c14) 상기 연조직 기준점 결정 모듈(212)이 상기 기준선 상에 위치된 점들을 연조직 기준점으로 결정하는 단계;를 포함하는,
방법.
- 삭제
- 삭제
- (a) 경조직 기준점 결정 모듈(211)이 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 경조직 기준점을 결정하는 단계;
(b) 기준 평면 결정 모듈(213)이 상기 (a) 단계에서 결정된 경조직 기준점을 이용하여 정중시상면(Mid Sagittal Plane, MSP) 및 프랑크프루트면(Frankfurt Plane, FP)을 결정하는 단계;
(c) 연조직 기준점 결정 모듈(212)이 상기 두부 3차원 의료 영상에 대해 미리 설정된 방법에 따라 연조직 기준점을 결정하는 단계;
(d) 보정 경조직 기준점 결정 모듈(214)이 상기 (a) 단계에서 결정된 상기 경조직 기준점에 대해, 입력 수술 정보에 상응하는 경조직 기준점 이동량을 연산하고, 상기 연산된 경조직 기준점 이동량만큼 상기 경조직 기준점을 이동시켜 보정 경조직 기준점을 결정하는 단계;
(e) 학습 모듈(230)이 상기 연조직 기준점, 상기 경조직 기준점 및 상기 보정 경조직 기준점을 학습하는 단계; 및
(f) 예측 모듈(240)이 상기 학습 모듈(230)의 학습 결과로 생성된 보정 연조직 기준점 예측 모델을 이용하여, 상기 보정 경조직 기준점에 상응하는 보정 연조직 기준점을 예측하는 단계;를 포함하며,
상기 (c) 단계는,
(c21) 표면 이미지 추출 모듈(251)이 상기 두부 3차원 의료 영상으로부터 두개골(skull)의 외측 표면에 해당하는 이미지를 추출하는 단계;
(c22) 평균 곡률 연산 모듈(263)이 상기 (c21) 단계에서 추출된 이미지에 대한 평균 곡률(mean curvature)을 연산하는 단계;
(c23) 전처리 모듈(264)이 미리 설정된 방법에 따라 평균 곡률의 최소 역치값 및 최대 역치값을 각각 설정하고, 상기 (c22) 단계에서 연산된 평균 곡률과 설정된 역치값들을 이용하여 추출된 이미지 중 정면 이미지를 전처리하는 단계; 및
(c24) 상기 연조직 기준점 결정 모듈(212)이 상기 (c23) 단계에서 전처리된 이미지에 포함된 영역 중 평균 곡률이 0보다 크고 상기 최소 역치값보다 작은 영역과, 평균 곡률이 1보다 작고 상기 최대 역치값보다 큰 영역으로부터 미리 설정된 방법에 따라 연조직 기준점을 결정하는 단계;를 포함하는,
방법.
- 제1항 또는 제4항에 있어서,
상기 (d) 단계는,
상기 보정 경조직 기준점 결정 모듈(214)이, 상기 연산된 경조직 기준점 이동량만큼의 상기 경조직 기준점을 이동시키되, 기저골(Basal Bone)을 제외한 나머지 영역에 포함된 경조직 기준점에 대해 상기 경조직 기준점 이동량만큼 이동시켜 상기 보정 경조직 기준점을 생성하는 단계를 더 포함하는,
방법.
- 제1항 또는 제4항에 있어서,
표면 이미지 추출 모듈(251)이 상기 두부 3차원 의료 영상으로부터 두개골의 외측 표면에 해당하는 이미지를 추출하는 단계; 및
그리드 형성 모듈(220)이 상기 표면 이미지 추출 모듈(251)에 의해 추출된 이미지로부터, 다수의 격자(l)를 포함하는 그리드(G)를 형성하되, 각각의 그리드(G)의 가장자리 상에 상기 (c) 단계에서 결정된 연조직 기준점이 위치되는 그리드(G)를 형성하는, 단계;를 더 포함하며,
상기 (e) 단계는,
상기 학습 모듈(230)이 상기 그리드 형성 모듈(220)에 의해 형성된 그리드(G)를 학습하는 단계를 더 포함하는,
방법.
- 제6항에 있어서,
상기 그리드(G)에 포함된 격자(l)는 상기 표면 이미지 추출 모듈(251)에 의해 추출된 이미지의 곡률 정보가 반영되는,
방법.
- 삭제
- 삭제
- 삭제
- 제1항 또는 제4항에 따른 방법을 수행하기 위한,
장치.
- 제1항 또는 제4항에 따른 방법을 수행하기 위한 시스템으로서,
상기 두부 3차원 의료 영상을 촬영하기 위한 촬영 장치(100); 및
상기 촬영 장치(100)로부터 획득한 상기 두부 3차원 의료 영상으로부터 상기 경조직 기준점, 상기 연조직 기준점 및 상기 보정 경조직 기준점을 결정하고, 결정된 상기 연조직 기준점, 상기 경조직 기준점 및 상기 보정 경조직 기준점을 학습하여, 상기 보정 경조직 기준점에 상응하는 상기 보정 연조직 기준점을 예측하는, 영상 처리 장치(200);를 포함하는,
시스템.
- 제12항에 있어서,
상기 영상 처리 장치(200)는,
상기 연조직 기준점을 이용하여 그리드(G)를 더 생성하며, 상기 생성된 그리드를 더 학습하여 상기 보정 경조직 기준점에 상응하는 상기 보정 연조직 기준점을 예측하는,
시스템.
- 제1항 또는 제4항에 따른 방법을 실행하도록 컴퓨터 판독 가능한 기록매체에 저장된,
프로그램.
- 제1항 또는 제4항에 따른 방법을 실행하기 위한 컴퓨터 프로그램이 기록된,
컴퓨터 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200034538A KR102373429B1 (ko) | 2020-03-20 | 2020-03-20 | 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200034538A KR102373429B1 (ko) | 2020-03-20 | 2020-03-20 | 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210118329A KR20210118329A (ko) | 2021-09-30 |
| KR102373429B1 true KR102373429B1 (ko) | 2022-03-15 |
Family
ID=77920559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200034538A KR102373429B1 (ko) | 2020-03-20 | 2020-03-20 | 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102373429B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230135448A (ko) * | 2022-03-16 | 2023-09-25 | 재단법인대구경북과학기술원 | 관절 내부 뼈의 이동을 반영하는 관절경 네비게이션 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012192090A (ja) | 2011-03-17 | 2012-10-11 | Kao Corp | 情報処理方法、眼窩下点の位置推定方法、フランクフルト平面の算出方法および情報処理装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020004543A (ko) | 2000-07-06 | 2002-01-16 | 김동윤 | 수술용 진단 예측 시스템 |
| KR100900077B1 (ko) * | 2006-12-04 | 2009-06-01 | 한국전자통신연구원 | 드로네이 공간분할에 기반한 곡률 반영 등위곡면 생성시스템 및 방법 |
| KR101309488B1 (ko) | 2011-12-27 | 2013-09-23 | 조선대학교산학협력단 | 악교정 수술 시뮬레이션 방법, 그 기록매체 및 장치 |
| JP5883816B2 (ja) | 2013-03-11 | 2016-03-15 | 株式会社ミウラ | 顎変形症術後顔貌予測方法及びシステム |
| KR101831514B1 (ko) * | 2016-03-29 | 2018-02-26 | 사회복지법인 삼성생명공익재단 | 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법 |
-
2020
- 2020-03-20 KR KR1020200034538A patent/KR102373429B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012192090A (ja) | 2011-03-17 | 2012-10-11 | Kao Corp | 情報処理方法、眼窩下点の位置推定方法、フランクフルト平面の算出方法および情報処理装置 |
Non-Patent Citations (1)
| Title |
|---|
| 논문(손웅빈. 인공신경망을 이용한 악교정수술 후 측모 연조직 변화 예측에 관한 연구. 치의학석사 학위 논문. 2018년 2월 공개.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210118329A (ko) | 2021-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10748651B2 (en) | Method and system of teeth alignment based on simulating of crown and root movement | |
| US11464467B2 (en) | Automated tooth localization, enumeration, and diagnostic system and method | |
| RU2725280C1 (ru) | Приспособления и методы планирования ортодонтического лечения | |
| Schendel et al. | Three-dimensional imaging and computer simulation for office-based surgery | |
| JP6548097B2 (ja) | 人体における治療後の形態予測方法及びシステム | |
| KR20190049733A (ko) | 컴퓨터 지원 악교정 수술 계획을 위한 시스템 및 방법 | |
| KR20170007309A (ko) | 3-d 두부 방사선 계측 분석을 위한 방법 | |
| Jiang et al. | Registration technology of augmented reality in oral medicine: A review | |
| US20220084267A1 (en) | Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports | |
| KR20160102910A (ko) | 하악운동 시뮬레이션 방법, 이를 위한 장치, 및 이를 기록한 기록 매체 | |
| Zachow | Computational planning in facial surgery | |
| Villamil et al. | Simulation of the human TMJ behavior based on interdependent joints topology | |
| KR102373429B1 (ko) | 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템 | |
| Smith et al. | Automated measurement of pediatric cranial bone thickness and density from clinical computed tomography | |
| Li et al. | CT image-based computer-aided system for orbital prosthesis rehabilitation | |
| CN117769391A (zh) | 在自然头位上拍摄的三维cbct影像中基于机器学习的用于牙齿矫正诊断的头部计测参数导出方法 | |
| KR102373428B1 (ko) | 3차원 세팔로메트리를 위한 기준점 결정 방법 및 시스템 | |
| Barone et al. | Geometrical modeling of complete dental shapes by using panoramic X-ray, digital mouth data and anatomical templates | |
| CN114863056B (zh) | 基于面型参数生成颞下颌关节髁突运动包络面方法和装置 | |
| KR102238483B1 (ko) | 신체 유사도 지수 산출 방법과, 이를 이용한 수술 계획 시뮬레이션 방법 및 장치 | |
| US11488305B2 (en) | Segmentation device | |
| Hu et al. | Photographic analysis and machine learning for diagnostic prediction of adenoid hypertrophy | |
| Chabanas et al. | Models for planning and simulation in computer assisted orthognatic surgery | |
| KR102243271B1 (ko) | 신체 유사도 지수 산출 방법과, 이를 이용한 수술 계획 시뮬레이션 방법 및 장치 | |
| US20240024083A1 (en) | Remote skeletal modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |