KR102477991B1 - 의료 영상 처리 방법 및 장치 - Google Patents
의료 영상 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR102477991B1 KR102477991B1 KR1020220018256A KR20220018256A KR102477991B1 KR 102477991 B1 KR102477991 B1 KR 102477991B1 KR 1020220018256 A KR1020220018256 A KR 1020220018256A KR 20220018256 A KR20220018256 A KR 20220018256A KR 102477991 B1 KR102477991 B1 KR 102477991B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- bone density
- cbct
- learning
- raw
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 47
- 230000037182 bone density Effects 0.000 claims abstract description 295
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 57
- 238000012549 training Methods 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 44
- 238000013136 deep learning model Methods 0.000 claims description 41
- 210000000988 bone and bone Anatomy 0.000 claims description 30
- 210000003484 anatomy Anatomy 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 16
- 229910052500 inorganic mineral Inorganic materials 0.000 claims description 12
- 239000011707 mineral Substances 0.000 claims description 12
- 238000007408 cone-beam computed tomography Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000001739 density measurement Methods 0.000 description 3
- 210000002050 maxilla Anatomy 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000126 in silico method Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 210000004373 mandible Anatomy 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004763 bicuspid Anatomy 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012623 in vivo measurement Methods 0.000 description 1
- 210000004283 incisor Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/14—Applications or adaptations for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/505—Clinical applications involving diagnosis of bone
-
- A61B6/51—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
본 개시의 일 실시예에 따라, 컴퓨팅 장치에 의해 수행되는 의료 영상 처리 방법으로서, 학습용 CBCT(Cone-Beam CT) 영상 및 상기 학습용 CBCT 영상에 대응되는 학습용 골밀도 연관 영상의 매핑 정보를 학습하여, 상기 학습용 CBCT 영상으로부터 상기 학습용 골밀도 연관 영상을 추론하도록, 제 1 모델을 학습시키는 단계, 및 상기 학습용 CBCT 영상 및 상기 제 1 모델에서 출력된 초기 골밀도 연관 영상으로부터 상기 학습용 골밀도 연관 영상을 추론하도록, 제 2 모델을 학습시키는 단계를 포함할 수 있다.
Description
본 개시는 의료 영상 처리 방법 및 장치에 관한 것으로, 구체적으로 CBCT(Cone-Beam CT) 영상을 처리하는 방법 및 장치에 관한 것이다.
골밀도(Bone Mineral Density; BMD) 측정은 골다공증을 진단하고 향후 골절 위험을 예측하기 위해서 골량을 추정하는 방법이다. 치과 임플란트 치료에 있어서도, 치조골 골질의 정확한 생체 내 측정은 임플란트의 1차적 안정성을 결정하는 데에 매우 중요하다. 따라서 임플란트를 식립하기 전에 치조골 골밀도(BMD)가 충분한 지 여부를 수술 전에 진단할 필요가 있다. 일반적 CT 영상에서 골밀도는 HU(Hounsfield Units) 값의 보정을 통해 정량적으로 측정되며, 이러한 방법은 QCT(Quantitative CT)로 불린다.
한편 최근 들어 치과 진단, 치료 및 수술 계획 수립에 CBCT 영상이 널리 사용되고 있다. CBCT 영상은 일반적 CT 영상에 비해 환자에 대한 낮은 방사선 량, 짧은 획득 시간, 그리고 높은 해상도와 같은 이점을 제공한다. 그러나 CBCT 영상의 복셀(voxel) 값은 임의적이며 HU 값을 올바르게 제공하지 못하기 때문에, CBCT를 이용한 치조골 골질의 정확한 측정은 불가능한 실정이다.
일반적 CT와 CBCT 데이터 사이의 이러한 HU 불일치를 해결하기 위해 여러 연구가 수행되고 있다. 대표적으로 다양한 CT 감쇠 계수의 재료 삽입물이 들어있는 골밀도 보정용 팬텀(BMD calibration phantom)을 사용하여 CBCT 영상의 복셀 값과 일반적 CT 영상의 HU 간의 관계를 분석하기 위한 연구가 수행되었다. 그러나 이는 CBCT 영상의 복셀 값의 불균일적(nonuniformity) 특성과 CBCT 영상의 복셀 값 및 HU 간의 비선형적(nonlinearity) 관계로 인해, CBCT 영상의 복셀 값을 HU 값과 연관시키는 것은 불가능하다는 결과를 얻는 것에 그쳤다.
이에, CBCT 영상으로부터 골밀도를 정량적으로 그리고 즉각적으로 측정하는 기술에 대한 당업계의 요구가 존재한다.
해결하고자 하는 과제는, 일반적 CT 영상과 달리 골밀도 값과 비선형적 관계의 복셀 값을 갖는 CBCT 영상으로부터, 골밀도를 정량적으로 그리고 즉각적으로 측정하는 방법을 제공하는 것이다. 상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 몇몇 실시예에 따른 컴퓨팅 장치에 의해 수행되는 의료 영상 처리 방법으로서, 상기 방법은, 학습용 CBCT(Cone-Beam CT) 영상 및 상기 학습용 CBCT 영상에 대응되는 학습용 골밀도 연관 영상의 매핑 정보를 학습하여, 상기 학습용 CBCT 영상으로부터 상기 학습용 골밀도 연관 영상을 추론하도록, 제 1 모델을 학습시키는 단계, 및 상기 학습용 CBCT 영상 및 상기 제 1 모델에서 출력된 초기 골밀도 연관 영상으로부터 상기 학습용 골밀도 연관 영상을 추론하도록, 제 2 모델을 학습시키는 단계를 포함할 수 있다.
상기 학습용 골밀도 연관 영상은, QCT(quantitative CT) 또는 CT 영상 중 어느 하나일 수 있다.
상기 제 1 모델은, 상기 매핑 정보를 학습하여 CBCT 영상으로부터 골밀도 연관 영상을 추론하는, 제 1 생성기, 및 입력된 영상이 실제 골밀도 연관 영상인지 또는 합성된 골밀도 연관 영상인지 여부를 판별하는, 제 1 판별기를 포함하고, 상기 제 1 판별기의 판별 성공 확률에 기초하여 산출되는 상기 제 1 모델의 적대적 손실(adversarial loss) 함수를 포함하는 제 1 손실함수의 결과를 최소화하는 방향으로 학습될 수 있다.
상기 제 1 모델은, 상기 매핑 정보를 학습하여 상기 골밀도 연관 영상으로부터 상기 CBCT 영상을 추론하는, 제 2 생성기, 및 입력된 영상이 실제 CBCT 영상인지 또는 합성된 CBCT 영상인지 여부를 판별하는, 제 2 판별기를 더 포함하고, 상기 제 1 판별기 및 상기 제 2 판별기의 판별 성공 확률에 기초하여 산출되는 상기 제 1 모델의 상기 적대적 손실 함수, 그리고 상기 제 1 모델의 사이클 일관성 손실(cycle consistency loss) 함수의 조합을 포함하는 상기 제 1 손실함수의 결과를 최소화하는 방향으로 최적화될 수 있다.
상기 제 1 모델은, Cycle-GAN(Generative Adversarial Network) 구조를 포함하도록 구현될 수 있다.
상기 골밀도 연관영상은, 상기 학습용 CBCT 영상 및 상기 학습용 골밀도 연관 영상 간의 복셀 강도(voxel intensity) 관계에 관한 상기 매핑 정보를 포함하고, 상기 학습용 CBCT 영상에 대하여 골 대조도(bone contrast)가 증가된 QCT-유사(QCT-like) 또는 CT-유사(CT-like) 영상일 수 있다.
상기 제 2 모델은, 상기 학습용 CBCT 영상에 대응되는 골밀도(Bone Mineral Density; BMD) 데이터를 포함하는 최종 골밀도 연관 영상을 출력할 수 있다.
상기 제 2 모델은, 상기 학습용 골밀도 연관 영상 및 상기 최종 골밀도 연관 영상 간의 차이에 관한 함수를 포함하는 제 2 손실함수의 결과를 최소화하는 방향으로 최적화될 수 있다.
상기 차이에 관한 함수는, 상기 학습용 골밀도 연관 영상 및 상기 최종 골밀도 연관 영상 간의 복셀 강도 차이에 대한 평균값 절대 편차(Mean Absolute Difference; MAD) 및 상기 학습용 골밀도 연관 영상 및 상기 최종 골밀도 연관 영상 간의 구조적 유사도(Structural similarity; SSIM) 중 적어도 하나를 포함할 수 있다.
상기 제 2 모델은, 다중 채널(multi-channel)을 통해 상기 학습용 CBCT 영상 및 상기 초기 골밀도 연관 영상을 입력 받는, 다중 채널 U-Net 구조를 포함하도록 구현될 수 있다.
상기 최종 골밀도 연관 영상은, 상기 초기 골밀도 연관 영상에 포함된 상기 매핑 정보 그리고 상기 학습용 CBCT 영상의 해부학적 구조 정보를 포함하며 아티팩트(artifact)가 억제된 QCT-유사 영상 또는 CT-유사 영상일 수 있다.
상기 방법은, 피검체에 대하여 촬영된 로우(raw) CBCT 영상 및 상기 로우 CBCT 영상과 대응되는 로우 CT 영상을 각각 획득하는 단계;상기 로우 CT 영상을 상기 로우 CT 영상과 대응되는 조건에서 촬영된 골밀도 보정용 팬텀(BMD calibration phantom) CT 영상을 사용하여 보정하고, 보정된 상기 로우 CT 영상을 로우 QCT 영상으로 획득하는 단계, 상기 로우 CBCT 영상 및 상기 로우 QCT 영상에서 비해부학적 영역을 제거하는 단계, 상기 로우 CBCT 영상 및 상기 로우 QCT 영상을 정합(registration) 하는 단계, 및 상기 로우 CBCT 영상을 상기 학습용 CBCT 영상으로 획득하고, 상기 로우 QCT 영상을 상기 학습용 골밀도 연관 영상으로 획득하는 단계를 더 포함할 수 있다.
상기 방법은, 피검체에 대하여 촬영된 로우(raw) CBCT 영상 및 상기 로우 CBCT 영상과 대응되는 로우 CT 영상을 각각 획득하는 단계, 상기 로우 CBCT 영상 및 상기 로우 CT 영상에서 비해부학적 영역을 제거하는 단계, 상기 로우 CBCT 영상 및 상기 로우 CT 영상을 정합(registration) 하는 단계, 및 상기 로우 CBCT 영상을 상기 학습용 CBCT 영상으로 획득하고, 상기 로우 CT 영상을 상기 학습용 골밀도 연관 영상으로 획득하는 단계를 더 포함할 수 있다.
본 발명의 몇몇 실시예에 따른 컴퓨팅 장치에 의해 수행되는 의료 영상 처리 방법으로서, 상기 방법은, CBCT(Cone-Beam CT) 영상을 획득하는 단계, 및 기 학습된 딥 러닝 모델에 상기 CBCT 영상을 입력하여, 상기 CBCT 영상에 대응되는 골밀도(Bone Mineral Density; BMD) 데이터를 포함하는 최종 골밀도 연관 영상을 획득하는 단계를 포함할 수 있다.
상기 최종 골밀도 연관 영상은, QCT-유사 영상 또는 CT-유사 영상일 수 있다.
상기 방법은, 상기 최종 골밀도 연관 영상에 기초하여 상기 CBCT 영상에 대응되는 상기 골밀도 데이터를 획득하는 단계를 더 포함하고, 상기 골밀도 데이터를 획득하는 단계는, 상기 최종 골밀도 연관 영상이 상기 QCT-유사 영상인 경우, 상기 최종 골밀도 연관 영상으로부터 상기 골밀도 데이터를 즉각적으로 획득하는 단계, 또는 상기 최종 골밀도 연관 영상이 상기 CT-유사 영상인 경우, 상기 최종 골밀도 연관 영상을 보정하여 상기 CT-유사 영상에 대응되는 QCT 영상을 생성하고, 생성된 상기 QCT 영상으로부터 상기 골밀도 데이터를 획득하는 단계를 포함할 수 있다.
본 개시의 몇몇 실시예에 따르면, 일반적 CT 영상과 달리 골밀도 값과 비선형적 관계의 복셀 값을 갖는 CBCT 영상으로부터, 골밀도를 정량적으로 그리고 즉각적으로 측정할 수 있다.
본 개시의 몇몇 실시예에 따르면, Cycle-GAN 구조와 다중 채널 U-Net 구조의 결합을 포함하는 딥 러닝 모델을 통해 CBCT 영상을 처리함으로써, 영상 내 골 대조도 및 균일도가 향상된 합성 QCT 영상을 얻을 수 있다.
도 1은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하는 컴퓨팅 장치를 나타낸 블록도이다.
도 2는 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법의 개략도이다.
도 3은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법의 순서도이다.
도 4는 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하기 위한 딥 러닝 모델 학습 방법의 순서도이다.
도 5는 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하기 위한 딥 러닝 모델 학습 방법의 개략도이다.
도 6은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하기 위한 딥 러닝 모델 학습 방법을 예시적으로 도시한 도면이다.
도 7은 본 개시의 의료 영상 처리 방법에 따른 골밀도 데이터 측정 성능을 도시한 도면이다.
도 8은 본 개시의 의료 영상 처리 방법에 따른 골밀도 데이터 측정 성능을 도시한 도면이다.
도 9는 본 개시의 의료 영상 처리 방법에 따른 골밀도 데이터 측정 성능을 도시한 도면이다.
도 10은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법에서 학습용 데이터를 획득하는 방법의 순서도이다.
도 2는 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법의 개략도이다.
도 3은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법의 순서도이다.
도 4는 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하기 위한 딥 러닝 모델 학습 방법의 순서도이다.
도 5는 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하기 위한 딥 러닝 모델 학습 방법의 개략도이다.
도 6은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하기 위한 딥 러닝 모델 학습 방법을 예시적으로 도시한 도면이다.
도 7은 본 개시의 의료 영상 처리 방법에 따른 골밀도 데이터 측정 성능을 도시한 도면이다.
도 8은 본 개시의 의료 영상 처리 방법에 따른 골밀도 데이터 측정 성능을 도시한 도면이다.
도 9는 본 개시의 의료 영상 처리 방법에 따른 골밀도 데이터 측정 성능을 도시한 도면이다.
도 10은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법에서 학습용 데이터를 획득하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 네트워크를 구성하는 장치들은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 개시내용에서 “영상” 이라는 용어는, 피검체에 대한 의료 영상으로, 특히 본 개시내용에서 딥 러닝 모델에 대한 입출력 및 처리의 대상이 되는 의료 영상을 의미하는 용어로 사용될 수 있다. 예컨대 영상은, 피검체의 상악(Maxilla) 영역에 대하여 촬영된 CT 영상, CBCT 영상, 및/또는 QCT 영상일 수 있다. 또는 영상은, 피검체에 대하여 촬영된 상기 CBCT 영상을 딥 러닝 모델에 입력하여 출력되는 합성 QCT 영상일 수 있다. 이 때 출력되는 영상은, 입력된 CBCT 영상에 대응되는 골밀도 데이터를 포함하는 영상일 수 있다.
다만 이에 한정되는 것은 아니며, 본 개시내용에서 영상은 피검체의 임의의 신체 부위에 대하여 촬영된 CT 영상, CBCT 영상, QCT 영상, 자기 공명 영상(Magnetic Resonance Imaging; MRI), 초음파 영상, 내시경 검사 영상, 열화상(thermography) 영상, 핵의학영상(nuclear medicine imaging), 및/또는 이들을 딥 러닝 모델에 입력하여 중간 산물 내지는 최종 산물로 출력되는 영상일 수 있다.
본 개시내용에서 “골밀도 연관 영상”이라는 용어는, 피검체에 대한 골밀도 데이터를 포함하는 영상일 수 있다. 예컨대, 피검체에 대한 골밀도 데이터를 측정 가능한 영상 및/또는 골밀도 데이터를 측정하기 위해 사용 가능한 영상을 의미할 수 있다. 특히 본 개시내용에서 골밀도 연관 영상은, 일반 CT 영상 또는 일반 CT 영상을 보정용 팬텀에 기초하여 보정한 QCT(quantitative CT) 영상일 수 있다.
본 개시내용에서 “모델” 이라는 용어는, 하나 이상의 뉴럴 네트워크 구조를 포함하는 딥 러닝 모델을 의미하는 용어로 사용될 수 있다. 특히 본 개시내용에서 모델은, 의료 영상을 처리하여 데이터를 획득하기 위한 딥 러닝 모델을 의미할 수 있다. 예컨대 모델은, 피검체에 대하여 촬영된 CBCT 영상을 입력 받고, 입력된 CBCT 영상에 대한 골밀도 데이터를 포함하는 영상을 출력하도록 학습된 딥 러닝 모델일 수 있다. 다만 이에 한정되는 것은 아니며, 모델은 CBCT 영상 이외에도 상술한 다양한 의료 영상을 입력 받고, 입력 받은 의료 영상에 대한 정량화 데이터, 보정된 영상 데이터, 세그멘테이션 데이터 등 임의의 데이터를 출력하도록 학습된 딥 러닝 모델일 수 있다.
또한 본 개시내용에서 모델은, 하나 이상의 뉴럴 네트워크 구조의 결합으로 구현될 수 있으며, 예컨대 Cycle-GAN(Generative Adversarial Network) 구조와 U-Net 구조의 결합으로 구현될 수 있다. 다만 이에 한정되는 것은 아니며, 본 개시내용에서 모델은 Cycle-GAN 구조 및 U-Net 구조 중 어느 하나로만 구현될 수도 있고, 이 밖에 CNN(Convolutional Neural Network; CNN), RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory), 오토인코더(Autoencoder), DRN(Deep Residual Network) 등 의료 영상 처리에 사용 가능한 임의의 뉴럴 네트워크 구조를 사용하여 구현될 수 있다.
본 개시내용에서 “로우(raw) 영상” 이라는 용어는, 피검체에 대하여 촬영된 의료 영상으로서, 특히 촬영된 후 이미지 전처리를 거치지 않은 상태의 의료 영상을 의미하는 용어로 사용될 수 있다. 예컨대, 피검체에 대하여 촬영된 후에 노이즈 제거, 정합(registration), 크롭(crop), 리사이즈(resize) 등의 이미지 전처리 과정을 거치지 않은 의료 영상을 의미할 수 있다. 본 개시내용에서 로우 영상은, 촬영된 의료영상의 종류에 따라 로우 CBCT 영상, 로우 CT 영상, 로우 QCT 영상 등으로 분류될 수 있으며, 다만 이에 한정되는 것은 아니다. 한편 본 개시내용에서 로우 영상에 대한 전처리를 통해, 이하의 학습용 데이터를 획득할 수 있다.
본 개시내용에서 “학습용 데이터” 라는 용어는, 전술한 모델의 학습에 사용되는 데이터를 의미하는 용어로 사용될 수 있다. 본 개시내용에서 학습용 데이터는 CBCT 영상 및 이에 대응되는 - 즉, 상기 CBCT 영상과 대응되는 피검체 내지 대응되는 촬영 조건에서 획득되는 - CT 영상 또는 QCT 영상을 포함하는 하나 이상의 영상 쌍들로 구성될 수 있다.
또한 본 개시내용에서 학습용 데이터는, 전술한 로우 영상에 대한 전처리를 통해 획득되는 학습용 영상으로 구성될 수 있다. 가령, 로우 CBCT 영상을 대응되는 로우 QCT 영상과 정합하고, 정합된 로우 CBCT 영상을 CBCT 영상으로 획득할 수 있다. 또는, 로우 CBCT 영상에서 노이즈를 제거한 후 해당 로우 CBCT 영상을 대응되는 로우 QCT 영상과 정합하여, 정합된 로우 CBCT 영상을 CBCT 영상으로 획득할 수 있다. 마찬가지로, 로우 CT 영상 및 대응되는 골밀도 보정용 팬텀 CT 영상으로부터 획득되는 로우 QCT 영상에 대하여도, 노이즈 제거 및/또는 대응되는 로우 CBCT 영상과의 정합을 거쳐, 정합된 로우 QCT 영상을 QCT 영상으로 획득할 수 있다. 다만 이에 한정되는 것은 아니다.
본 개시내용에서 “골밀도 데이터” 라는 용어는, 피검체의 골(bone)의 밀도에 관한 데이터를 의미하며, 특히 본 개시내용에서는 딥 러닝 모델에 의료 영상을 입력하여 획득하고자 하는 데이터 중 하나를 의미할 수 있다. 구체적으로 본 개시내용에서 골밀도 데이터라는 용어는, 정량적인 골밀도를 측정 가능한 형태의 데이터를 의미할 수 있다. 가령, 본 개시내용에서 골밀도 데이터는, 피검체에 대한 CBCT 영상을 딥 러닝 모델에 입력하여 획득되는 합성된 QCT 영상이거나, 또는 상기 합성된 QCT 영상의 복셀 강도에 기초하여 획득되는 골밀도 관련 데이터일 수 있다. 다만 이에 한정되지 않으며, 골밀도 데이터는 영상 외에도 그래프, 히트맵, 테이블 등 임의의 형태의 데이터로 획득될 수 있다.
도 1은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하는 컴퓨팅 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 개시에 따른 컴퓨팅 장치(10)는 하나 이상의 프로세서(11), 프로세서(11)에 의하여 수행되는 프로그램을 로드하는 메모리(12), 프로그램 및 각종 데이터를 저장하는 스토리지(13), 및 통신 인터페이스(14)를 포함할 수 있다. 다만, 상술한 구성 요소들은 본 개시에 따른 컴퓨팅 장치(10)를 구현하는데 있어서 필수적인 것은 아니어서, 컴퓨팅 장치(10)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. 예컨대 컴퓨팅 장치(10)는 출력부 및/또는 입력부(미도시)를 더 포함하거나, 또는 스토리지(13)가 생략될 수도 있다.
프로그램은 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로 구성되고, 프로세서에 의해 실행되는 것을 가리킨다. 프로그램은 메모리(12)에 로드될 때 프로세서(11)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하게끔 하는 명령어들(instructions)을 포함할 수 있다. 즉, 프로세서(11)는 명령어들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.
프로세서(11)는 컴퓨팅 장치(10)의 각 구성의 전반적인 동작을 제어한다. 프로세서(11)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(11)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.
예컨대 본 개시에 따른 프로세서(11)는, 학습용 CBCT(Cone-Beam CT) 영상 및 학습용 골밀도 연관 영상의 매핑 정보를 학습하여 학습용 CBCT 영상으로부터 학습용 골밀도 연관 영상을 추론하도록 제 1 모델을 학습시키고, 학습용 CBCT 영상 및 제 1 모델에서 출력된 초기 골밀도 연관 영상으로부터 학습용 골밀도 연관 영상을 추론하도록 제 2 모델을 학습시킬 수 있다.
또는 본 개시에 따른 프로세서(11)는, 후술할 통신 인터페이스(14)를 제어하여 학습용 CBCT 영상 및 학습용 골밀도 연관 영상을 수신하게끔 하거나, 또는 통신 인터페이스(14)를 통해 수신된 로우 CBCT 영상 및 로우 CT 영상 또는 로우 QCT 영상을 처리하여 학습용 데이터를 생성할 수 있다.
또는 본 개시에 따른 프로세서(11)는, 통신 인터페이스(14)를 제어하여 임의의 피검체에 대한 CBCT 영상을 수신하고, 이를 메모리 및/또는 스토리지에 저장된 기 학습된 딥 러닝 모델에 입력하여 최종 골밀도 연관 영상을 획득하고, 출력부(미도시)를 제어하여 최종 골밀도 연관 영상을 사용자 단말에 출력하게끔 할 수 있다. 상술한 예시들은 프로세서(11)가 본 개시에 따른 의료 영상 처리 방법을 제공하기 위해 컴퓨팅 장치(10)의 각 구성의 전반적인 동작을 제어하는 일 예시에 불과할 뿐, 본 개시를 제한하지 않는다.
메모리(12)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(12)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(13)로부터 하나 이상의 프로그램을 로드할 수 있다. 메모리(12)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.
스토리지(13)는 프로그램을 비임시적으로 저장할 수 있다. 스토리지(13)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
본 개시에 따른 스토리지(13)는, 가령 상술한 프로세서(11)에 의해 학습된 본 개시에 따른 딥 러닝 모델을 저장할 수 있다. 또는 스토리지(13)는, 본 개시에 따른 딥 러닝 모델을 학습시키기 위한 명령을 포함하는 프로그램을 저장할 수 있다. 다만 이에 한정되는 것은 아니다.
본 개시에 따른 통신 인터페이스(14)는 유/무선 통신 모듈일 수 있다. 본 개시에 따른 통신 인터페이스(14)는, 가령 서버(미도시)로부터 임의의 피검체에 대한 CBCT 영상을 수신하거나, 수신한 CBCT 영상을 상술한 딥 러닝 모델에 입력하여 획득된 최종 골밀도 연관 영상을 서버 및/또는 사용자 단말 등으로 송신하거나, 또는 상술한 딥 러닝 모델을 학습시키기 위한 학습용 데이터를 수신할 수 있다. 다만 이에 한정되는 것은 아니다.
도 2는 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법의 개략도이다.
도 2를 참조하면, 본 개시의 의료 영상 처리 방법에 따르면, 컴퓨팅 장치(10)는 기 학습된 딥 러닝 모델(100)에 CBCT 영상(200)을 입력하고, CBCT 영상에 대응되는 골밀도 데이터를 포함하는 최종 골밀도 연관 영상(500)을 획득할 수 있다. 이에 따라 궁극적으로, CBCT 영상으로부터 골밀도를 즉각적으로 그리고 정량적으로 측정할 수 있다. 이는 종래 CBCT 영상의 복셀 강도 값이 임의적인 점, 그리고 골밀도 측정을 위한 HU(Hounsfield Units) 값을 올바르게 제공하지 못하는 점에 의해, 낮은 방사선 량, 짧은 획득 시간, 그리고 높은 해상도와 같은 이점에도 불구하고 골밀도 측정에 사용되기 어려웠던 것과 대비된다.
도 3은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법의 순서도이다. 도 3은 도 2에서 전술한 본 개시의 의료 영상 처리 방법을 최종 골밀도 연관 영상의 종류에 따라 구체적으로 도시한다.
도 3을 참조하면, 먼저 컴퓨팅 장치(10)는 CBCT 영상을 획득할 수 있다(S110). 예컨대, 프로세서(11)는 카메라부(미도시)를 제어하여 피검체에 대하여 촬영한 CBCT 영상을 입력받거나, 또는 통신 인터페이스(14)를 제어하여 피검체에 대하여 촬영된 CBCT 영상을 수신할 수 있다.
다음으로 컴퓨팅 장치(10)는, 기 학습된 딥 러닝 모델에 CBCT 영상을 입력하여, CBCT 영상에 대응되는 골밀도 데이터를 포함하는 최종 골밀도 연관 영상을 획득할 수 있다(S120).
여기서 최종 골밀도 연관 영상은, 앞서 입력된 CBCT 영상에 대응되는QCT-유사 영상이거나 또는 CT-유사 영상일 수 있다. 구체적으로, 딥 러닝 모델의 학습에 사용된 학습용 데이터의 종류에 따라, 기 학습된 딥 러닝 모델에 CBCT 영상을 입력하여 획득되는 최종 골밀도 연관 영상의 종류가 상이할 수 있다.
예컨대, 딥 러닝 모델의 학습에 CBCT 영상 및 이에 대응되는 QCT 영상이 학습용 데이터로 사용된 경우, 딥 러닝 모델은 CBCT 영상 및 QCT 영상 간의 매핑 정보를 학습하고, 이에 따라 CBCT 영상이 입력되는 경우 CBCT 영상에 대응되는 골밀도 데이터를 포함하는 QCT-유사 영상을 최종 골밀도 연관 영상으로 출력할 수 있다.
마찬가지로, 딥 러닝 모델의 학습에 CBCT 영상 및 이에 대응되는 CT 영상이 학습용 데이터로 사용된 경우, 딥 러닝 모델은 CBCT 영상 및 CT 영상 간의 매핑 정보를 학습하고, 이에 따라 CBCT 영상이 입력되는 경우 CBCT 영상에 대응되는 골밀도 데이터를 포함하는 CT-유사 영상을 최종 골밀도 연관 영상으로 출력할 수 있다.
딥 러닝 모델(100)을 학습시키는 방법에 관하여는 도 4 내지 6을 통하여, 그리고 딥 러닝 모델(100)의 학습에 사용되는 학습용 데이터를 획득하는 방법에 관하여는 도 10을 통하여 보다 자세하게 후술한다.
다음으로 컴퓨팅 장치(10)는, 최종 골밀도 연관 영상이 QCT-유사 영상인 경우(S130, Y), 최종 골밀도 연관 영상으로부터 골밀도 데이터를 즉각적으로 획득할 수 있다(S140). 예컨대, QCT-유사 영상인 최종 골밀도 연관 영상의 복셀 값으로부터 골밀도 데이터를 즉각적으로 측정 및 획득할 수 있다.
또는 컴퓨팅 장치(10)는, 최종 골밀도 연관 영상이 QCT-유사 영상이 아니고 CT-유사 영상인 경우(S130, N), 최종 골밀도 연관 영상을 보정하여 대응되는 QCT 영상을 생성하고, 생성된 QCT 영상으로부터 골밀도 데이터를 획득할 수 있다(S150).
구체적으로, 최종 골밀도 연관 영상이 CT-유사 영상인 경우, 최종 골밀도 연관 영상으로부터 즉각적으로 골밀도 데이터를 측정하는 대신, 골밀도 보정용 팬텀을 통해 CT 영상을 보정하여 QCT 영상을 획득하고, 해당 QCT 영상으로부터 골밀도 데이터를 측정할 수 있다. 골밀도 보정용 팬텀을 사용하여 CT 영상을 보정하는 방법은 본 개시의 기술 분야에서 알려진 방법인 바, 이에 관한 자세한 설명은 생략한다.
본 개시에 따른 딥 러닝 모델(100)을 학습시키는 방법에 관하여, 이하 도 4 내지 6을 통하여 자세히 설명한다.
도 4는 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하기 위한 딥 러닝 모델 학습 방법의 순서도이다.
도 4를 참고하면, 먼저 컴퓨팅 장치(10)는 학습용 CBCT 영상 및 학습용 CBCT 영상에 대응되는 학습용 골밀도 연관 영상의 매핑 정보를 학습하여 학습용 CBCT 영상으로부터 학습용 골밀도 연관 영상을 추론하도록 제 1 모델을 학습시킬 수 있다(S210).
여기서 제 1 모델(110)은, 학습용 CBCT 영상으로부터 학습용 CBCT 영상과 대응되는 학습용 골밀도 연관 영상을 추론하도록 학습되고, CBCT 영상의 입력에 따라 초기 골밀도 연관 영상(400)을 출력할 수 있다.
여기서 초기 골밀도 연관 영상(400)은, 입력된 학습용 CBCT 영상 및 그와 대응되는 학습용 골밀도 연관 영상 간의 복셀 강도(voxel intensity) 매핑 정보를 포함할 수 있다. 여기서 학습용 CBCT 영상과 대응되는 학습용 골밀도 연관 영상은, 가령 학습용 CBCT 영상과 동일한 피검체 및/또는 동일한 촬영 조건 하에서 획득 가능한 QCT 영상, 또는 CT 영상일 수 있다. 즉 초기 골밀도 연관 영상(400)은, 동일한 피검체 및/또는 동일한 촬영 조건 하에서 획득될 수 있는 CBCT 영상과 QCT 영상 또는 CT 영상 간의 복셀 강도 매핑(또는 대응) 관계에 관한 정보를 포함할 수 있다.
이처럼 초기 골밀도 연관 영상(400)은, CBCT 영상과 대응되는 골밀도 연관 영상의 골밀도 분포 정보가 반영되게 되므로, CBCT 영상에 대하여 골 대조도(bone contrast; 의료 영상에서 골과 주변 조직 간의 휘도 차이)가 증가되는 경향성을 가질 수 있다. 즉 초기 골밀도 연관 영상(400)은, 입력된 CBCT 영상에 대하여 골 대조도(bone contrast)가 증가된 QCT-유사(QCT-like) 영상 또는 CT 유사(CT-like) 영상일 수 있다.
예컨대 제 1 모델(110)이 학습용 CBCT 영상 및 이에 대응되는 QCT 영상인 학습용 골밀도 연관 영상을 학습용 데이터로 하여, 학습용 CBCT 영상으로부터 학습용 골밀도 연관 영상을 추론하도록 학습된 경우, 초기 골밀도 연관 영상(400)은 QCT-유사 영상일 수 있다. 마찬가지로, 제 1 모델(110)이 학습용 CBCT 영상 및 이에 대응되는 CT 영상인 학습용 골밀도 연관 영상을 학습용 데이터로 하여, 학습용 CBCT 영상으로부터 학습용 골밀도 연관 영상을 추론하도록 학습된 경우, 초기 골밀도 연관 영상(400)은 CT-유사 영상일 수 있다.
다음으로 컴퓨팅 장치(10)는, 학습용 CBCT 영상 및 제 1 모델에서 출력된 초기 골밀도 연관 영상으로부터 학습용 골밀도 연관 영상을 추론하도록 제 2 모델을 학습시킬 수 있다(S220).
여기서 제 2 모델(120)은, 학습용 CBCT 영상과 초기 골밀도 연관 영상(400)으로부터 학습용 CBCT 영상과 대응되는 학습용 골밀도 연관 영상을 추론하도록 학습되고, 최종 골밀도 연관 영상(500)을 출력할 수 있다. 제 2 모델(120)은 제 1 모델(110)과 직렬 연결되어 일체로서 본 개시에 따른 딥 러닝 모델(100)을 구성할 수 있다. 다만 이에 한정되는 것은 아니다.
제 2 모델(120)로부터 출력되는 최종 골밀도 연관 영상(500)은, 초기 골밀도 연관 영상(400)에 포함된 복셀 강도 매핑 정보, 그리고 입력된 CBCT 영상의 해부학적 구조 정보를 포함하며, 아티팩트(artifact)가 억제된 QCT-유사 영상 또는 CT-유사 영상일 수 있다.
예컨대 제 2 모델(120)이 학습용 CBCT 영상 및 QCT-유사 영상인 초기 골밀도 연관 영상(400)으로부터 학습용 CBCT 영상과 대응되는 학습용 골밀도 연관영상을 추론하도록 학습된 경우, 최종 골밀도 연관 영상(500)은 QCT-유사 영상일 수 있다. 마찬가지로, 제 2 모델(120)이 학습용 CBCT 영상 및 CT-유사 영상인 초기 골밀도 연관 영상(400)으로부터 학습용 CBCT 영상과 대응되는 학습용 골밀도 연관 영상을 추론하도록 학습된 경우, 최종 골밀도 연관 영상(500)은 CT-유사 영상일 수 있다.
한편 여기서 아티팩트가 억제된 영상은, 인공물이나 산란 노이즈 등의 영상의 장해 요소가 제거된 영상으로, 균일한 물체에 대한 영상의 각 픽셀 HU 값이 균일한 정도를 의미하는 균일도(uniformity)가 향상된 영상을 의미할 수 있다.
또한 상술한 바와 같이, 최종 골밀도 연관 영상(500)은, 입력된 CBCT 영상에 대응되는 골밀도 데이터를 포함하는 영상일 수 있다. 이에 따라, 딥 러닝 모델(100)에 CBCT 영상(200)을 입력하여 획득한 최종 골밀도 연관 영상(500)으로부터, CBCT 영상(200)에 대응되는 골밀도 데이터를 획득할 수 있다. 가령, CBCT 영상이 촬영된 피검체의 골밀도에 관한 정보를 QCT-유사 영상인 최종 골밀도 연관 영상(500)으로부터 즉각적 및 정량적으로 획득할 수 있다.
도 5는 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하기 위한 딥 러닝 모델 학습 방법의 개략도이다. 구체적으로 도 4는, 도 3에서 전술한 본 개시의 제 1 모델(110) 및 제 2 모델(120)의 학습 과정을 도식적으로 나타낸다.
먼저 제 1 모델(110)은, 학습용 CBCT 영상(300) 및 이에 대응되는 학습용 골밀도 연관 영상(310)의 영상 쌍을 입력 받아 학습용 CBCT 영상(300) 및 학습용 골밀도 연관 영상(310) 간의 매핑 정보를 학습하고, 이에 기초하여 학습용 CBCT 영상(300)으로부터 학습용 골밀도 연관 영상(310)을 추론하도록 학습될 수 있다. 이에 따라 제 1 모델(110)은, 학습용 CBCT 영상(300)의 입력에 따라 초기 골밀도 연관 영상(400)을 출력할 수 있다.
여기서 제 1 모델(110)은, 출력된 초기 골밀도 연관 영상(400)과 학습용 골밀도 연관 영상(310) 중 실제 골밀도 연관 영상을 판별하는 판별 성공 확률에 적어도 기초하여 최적화될 수 있다. 가령, 학습용 골밀도 연관 영상(310)이 학습용 CBCT 영상(300)과 대응되는 QCT 영상이고, 초기 골밀도 연관 영상(400)이 QCT-유사 영상인 경우, 제 1 모델(110)은 초기 골밀도 연관 영상(400)과 학습용 골밀도 연관 영상(310) 중 실제 QCT 영상을 판별하는 판별 성공 확률에 적어도 기초하여 최적화될 수 있다. 마찬가지로, 학습용 골밀도 연관 영상(310)이 학습용 CBCT 영상(300)과 대응되는 CT 영상이고, 초기 골밀도 연관 영상(400)이 CT-유사 영상인 경우, 제 1 모델(110)은 초기 골밀도 연관 영상(400)과 학습용 골밀도 연관 영상(310) 중 실제 CT 영상을 판별하는 판별 성공 확률에 적어도 기초하여 최적화될 수 있다.
이 때 제 1 모델(110)을 최적화하기 위해 제 1 손실함수가 사용될 수 있다. 제 1 손실함수의 값은 상술한 초기 골밀도 연관 영상(400) 및 학습용 골밀도 연관 영상(310) 간의 판별 성공 확률을 포함하는 복수의 요소를 포함하여 산출될 수 있다. 제 1 손실함수의 산출과 관하여는 도 6을 통하여 후술한다.
다음으로 제 2 모델(120)은, 학습용 CBCT 영상(300) 및 제 1 모델(110)에서 출력된 초기 골밀도 연관 영상(400)을 입력 받고, 이들로부터 학습용 골밀도 연관 영상(310)을 추론하도록 학습될 수 있다. 이에 따라 제 2 모델(120)은, 학습용 CBCT 영상(300)에 대응되는 골밀도 데이터를 포함하는 최종 골밀도 연관 영상(500)을 출력할 수 있다.
여기서 제 2 모델(120)은, 학습용 골밀도 연관 영상(310) 및 출력된 최종 골밀도 연관 영상(500) 간의 차이(또는, 손실(loss))에 기초하여 최적화될 수 있다. 이 때 제 2 모델(120)을 최적화하기 위해 제 2 손실함수가 사용될 수 있다. 제 2 손실함수의 값은 학습용 골밀도 연관 영상(310) 및 출력된 최종 골밀도 연관 영상(500) 간의 차이에 관한 함수를 포함할 수 있다.
구체적으로, 제 2 손실함수의 값은 학습용 골밀도 연관 영상(310) 및 출력된 최종 골밀도 연관 영상(500) 간의 복셀 강도 차이에 대한 평균값 절대 편차(Mean Absolute Difference; MAD), 그리고 학습용 골밀도 연관 영상(310) 및 출력된 최종 골밀도 연관 영상(500) 간의 구조적 유사도(Structural similarity; SSIM) 중 적어도 하나로부터 산출될 수 있다. 제 2 손실함수의 산출과 관하여는 도 6을 통하여 후술한다.
도 6은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법을 제공하기 위한 딥 러닝 모델 학습 방법을 예시적으로 도시한 도면이다.
도 6을 참조하면, 제 1 모델(110)은 Cycle-GAN(Generative Adversarial Network) 구조를 포함하도록 구현될 수 있고, 제 2 모델(120)은 다중 채널(multi-channel)을 통해 학습용 CBCT 영상(300) 및 초기 골밀도 연관 영상(400)을 입력 받는 다중 채널 U-Net 구조를 포함하도록 구현될 수 있다.
먼저 제 1 모델(110)과 관련하여, 일반적인 GAN 구조는, 동시에 훈련된 생성기 및 판별기로 구성된다. 생성기는 실제와 유사한 이미지를 생성함으로써 판별기를 속여 그 유사한 이미지를 실제 이미지로 분류하게 하는 것을 목표로 가지는 반면, 판별기는 실제 이미지와 유사한 이미지를 서로 분류해내는 것을 목표로 가진다.
이와 비교하여 Cycle-GAN은, 생성된 이미지를 복원한 이미지와 실제 이미지 사이의 손실이 최소화되어야 한다는 제약 조건이 추가된다. 이에 따라 Cycle-GAN 구조는 생성된 이미지를 실제 이미지와 가깝게 복원하는, 즉 역변환(inverse transformation) 과정을 수행하는 생성기와 판별기를 더 포함하고, 따라서 총 두 개의 생성기 및 두 개의 판별기로 구성된다. 이처럼 Cycle-GAN은 역변환을 적용함으로써, 일반적인 GAN의 프로세스를 두 배로 놀려 모델을 두 배로 제한하고 출력 이미지의 정확도를 높일 수 있다.
이에 따라 제 1 모델(110)은, 매핑 정보를 학습하여 학습용 CBCT 영상(300)으로부터 학습용 골밀도 연관 영상(400)을 추론하도록 학습된 제 1 생성기(111), 학습용 골밀도 연관 영상(310)으로부터 학습용 CBCT 영상(300)을 추론하도록 학습된 제 2 생성기(112), 입력된 영상이 실제 골밀도 연관 영상인지 또는 합성된 골밀도 연관 영상인지 여부를 판별하도록 학습된 제 1 판별기(115), 그리고 입력된 영상이 실제 CBCT 영상인지 또는 합성된 CBCT 영상인지 여부를 판별하도록 학습된 제 2 판별기(116)를 포함할 수 있다. 다만 이에 한정되는 것은 아니며, 제 1 모델(110)은 상술한 구성 중 제 1 생성기(111) 및 제 1 판별기(115) 만으로 구성될 수도 있다. 이 경우 제 1 모델(110)은 Cycle-GAN 구조 대신 GAN 구조를 포함하도록 구현될 수도 있다.
구체적으로, 도 6의 좌측 상단부를 참조하면, 제 1 생성기(111)는 학습용 CBCT 영상(300)을 입력받아 초기 골밀도 연관 영상(400)을 출력할 수 있고, 제 2 생성기(113)은 제 1 생성기(111)에서 출력된 초기 골밀도 연관 영상(400)을 입력받아 복원된 CBCT 영상(301)을 출력할 수 있다. 여기서 복원된 CBCT 영상(301)은, 초기 골밀도 연관 영상(400)을 제 1 생성기(111)에 입력된 학습용 CBCT 영상(300)과 가깝게 복원한 영상일 수 있다.
다음으로, 도 6의 좌측 하단부를 참조하면, 제 2 생성기(112)는 학습용 골밀도 연관 영상(310)을 입력받아 합성 CBCT 영상(311)을 출력할 수 있고, 제 1 생성기(114)는 제 2 생성기(112)에서 출력된 합성 CBCT 영상(311)을 입력받아 복원된 골밀도 연관 영상(312)을 출력할 수 있다. 여기서 복원된 골밀도 연관 영상(312)은, 합성 CBCT 영상(311)을 제 2 생성기(112)에 입력된 학습용 골밀도 연관 영상(310)과 가깝게 복원한 영상일 수 있다.
다음으로, 도 6의 좌측 중앙부를 참조하면, 제 1 판별기(115)는 초기 골밀도 연관 영상(400) 및/또는 학습용 골밀도 연관 영상(310)을 입력받고, 입력된 영상이 실제 골밀도 연관 영상인지 또는 합성된 골밀도 연관 영상인지 여부를 판별할 수 있다.
가령, 학습용 골밀도 연관 영상(310)이 학습용 CBCT 영상(300)과 대응되는 QCT 영상이고, 초기 골밀도 연관 영상(400)이 QCT-유사 영상인 경우, 제 1 모델(110)은 초기 골밀도 연관 영상(400)과 학습용 골밀도 연관 영상(310)을 입력받고, 입력된 영상이 실제 QCT 영상인지 또는 합성된 QCT 영상인지 여부를 판별할 수 있다.
마찬가지로, 학습용 골밀도 연관 영상(310)이 학습용 CBCT 영상(300)과 대응되는 CT 영상이고, 초기 골밀도 연관 영상(400)이 CT-유사 영상인 경우, 제 1 모델(110)은 초기 골밀도 연관 영상(400)과 학습용 골밀도 연관 영상(310)을 입력받고, 입력된 영상이 실제 CT 영상인지 또는 합성된 CT 영상인지 여부를 판별할 수 있다.
한편 제 1 판별기(115)는, 입력된 영상을 실제 골밀도 연관 영상인 것으로 판별한 경우 1을 출력하고, 입력된 영상을 합성된 골밀도 연관 영상인 것으로 판별한 경우 0을 출력할 수 있다. 이에 따라 제 1 판별기(115)는, 초기 골밀도 연관 영상(400)이 입력되는 경우에 0을 출력하고, 학습용 골밀도 연관 영상(310)이 입력되는 경우에 1을 출력하면, 판별이 성공한 것으로 판단될 수 있다.
한편 제 2 판별기(116)는 합성 CBCT 영상(311) 및/또는 학습용 CBCT 영상(300)을 입력받고, 입력된 영상이 실제 CBCT 영상인지 또는 합성된 CBCT 영상인지 여부를 판별할 수 있다. 구체적으로 제 2 판별기(116)는, 입력된 영상을 실제 CBCT 영상인 것으로 판별한 경우 0을 출력하고, 입력된 영상을 합성된 CBCT 영상인 것으로 판별한 경우 1을 출력할 수 있다. 이에 따라 제 2 판별기(116)는, 합성 CBCT 영상(311)이 입력되는 경우에 1을 출력하고, 학습용 CBCT 영상(300)이 입력되는 경우에 0을 출력하면, 판별이 성공한 것으로 판단될 수 있다.
한편 제 1 모델(110)을 최적화하기 위해, 상술한 제 1 판별기(115) 및 제 2 판별기(116)의 판별 성공 확률에 기초하여 산출되는 적대적 손실 함수(adversarial loss) 함수가 사용될 수 있다. 즉, 판별기의 출력에 기초하여 산출되는 적대적 손실 함수는, 후술할 사이클 일관성 손실(cycle consistency loss) 함수와 함께, 제 1 모델(110)을 최적화하기 위한 제 1 손실 함수를 구성할 수 있다.
제 1 손실 함수를 구성하는 적대적 손실 함수는, 제 1 판별기(115) 및 제 2 판별기(116) 각각에 대하여 다음과 같이 정의될 수 있다. 여기서 DQCT는 제 1 판별기(115), DCBCT는 제 2 판별기(116), IQCT는 학습용 골밀도 연관 영상(310), ICBCT는 학습용 CBCT 영상(300), GCBCT→QCT는 제 1 생성기(111), GQCT→CBCT는 제 2 생성기(112)를 각각 지칭한다:
[수학식 1]
[수학식 2]
제 1 판별기(115)의 판별 성공 확률이 가장 높은 경우, 제 1 판별기(115)에 대한 적대적 손실 함수(수학식 1) 값은 0이 될 수 있다. 제 2 판별기(116)의 판별 성공 확률이 가장 높은 경우, 제 2 판별기(116)에 대한 적대적 손실 함수(수학식 2) 값은 0이 될 수 있다.
한편 제 1 모델(110)을 최적화하기 위한 제 1 손실 함수는, 상술한 적대적 손실 함수 외에 사이클 일관성 손실 함수를 포함할 수 있다.
사이클 일관성 손실 함수는, ‘합성된 영상을 실제 영상과 가깝게 복원한 영상’과 기 입력된 ‘실제 영상’을 비교하여 손실을 산출하는 함수일 수 있다. 다시 말해, 실제 영상을 생성기에 입력하여 출력된 합성 영상을, 실제 영상과 얼마나 가깝게 복원하였는지를 나타내는 함수일 수 있다.
제 1 모델(110)의 사이클 일관성 손실 함수는, 복원된 CBCT 영상(301) 및 학습용 CBCT 영상(300) 간의 손실(또는, 차이), 그리고 복원된 골밀도 연관 영상(312) 및 학습용 골밀도 연관 영상(310) 간의 손실에 기초하여 산출될 수 있다.
제 1 손실 함수를 구성하는 사이클 일관성 손실 함수는, 다음과 같이 정의될 수 있다:
[수학식 3]
상기 수학식 3을 살펴보면, 등호 우측의 첫번째 항은 복원된 CBCT 영상(301) 및 학습용 CBCT 영상(300) 간의 손실, 그리고 두번째 항은 복원된 골밀도 연관 영상(312) 및 학습용 골밀도 연관 영상(310) 간의 손실을 나타낸다.
제 2 생성기(113)가 초기 골밀도 연관 영상(400)을 제 1 생성기(111)에 입력된 학습용 CBCT 영상(300)과 가깝게 복원할수록 상기 수학식 3의 첫번째 항의 값은 0에 가까워질 것이며, 마찬가지로 제 1 생성기(114)가 합성 CBCT 영상(311)을 제 2 생성기(112)에 입력된 학습용 골밀도 연관 영상(310)과 가깝게 복원할수록, 상기 수학식 3의 두번째 항의 값 또한 0에 가까워질 수 있다.
종합할 때, 제 1 모델(110)의 제 1 손실 함수는, 적대적 손실 함수 및 사이클 일관성 손실 함수의 조합으로서, 하기와 같이 정의될 수 있다. 여기서 λ는 가중치로, 제 1 모델(110)의 적대적 손실 함수의 상대적 중요도를 제어한다. 예컨대 λ는 10일 수 있다. 다만 이에 한정되는 것은 아니며, 적합한 임의의 λ 값이 인실리코(in silico) 또는 실험적으로 선택될 수 있다:
[수학식 4]
제 1 모델(110)은, 적대적 손실 함수 및 사이클 일관성 손실 함수의 조합을 포함하는 제 1 손실함수의 결과를 기초로 최적화될 수 있다. 상술한 바와 같이, 제 1 판별기(115) 및 제 2 판별기(116)의 판별 성공 확률이 높을수록, 그리고 제 1 생성기(111, 114) 및 제 2 생성기(112, 113)의 성능이 높을수록(여기서는 특히, 복원 성능이 높을수록), 제 1 모델(110)의 제 1 손실함수의 결과 값은 작아질 수 있다. 다시 말해, 제 1 모델(110)은, 제 1 손실함수의 결과가 최소화 되는 방향으로 최적화 될 수 있다.
한편 제 1 모델(110)을 구성하는 각각의 생성기(111, 112, 113, 114)에서, 컨볼루션 블록(convolution block)은 배치 정규화(batch normalization) 및 ReLU 활성화(activation)가 적용된 7x7 및 3x3 컨볼루션 레이어들로 구성되고, 다운-샘플링(down-sampling) 레이어들과 업-샘플링(up-sampling) 레이어들 사이에는 잔차 블록(Residual blocks)이 삽입될 수 있다.
제 1 모델(110)을 구성하는 각각의 생성기(111, 112, 113, 114)는, 가령 9개의 잔차 블록들을 포함하는 ResNet 구조로 구현될 수 있다. 각각의 생성기에 포함된 잔차 블록을 통해, 네트워크는 소스 및 대상 간의 차이를 학습하고, 이를 통해 학습용 CBCT 영상(300) 및 학습용 골밀도 연관 영상(400) 간의 보다 정확한 복셀 강도 매핑 정보를 포함하는 초기 골밀도 연관 영상(400)을 생성할 수 있다. 다만 이에 한정되는 것은 아니다.
한편 각각의 판별기(115, 116)에서, 컨볼루션 블록은 배치 정규화 및 리키렐루(Leaky ReLu) 활성화가 적용된 4x4 컨볼루션 레이어들과, 후속하는 다운-샘플링 레이어들로 구성될 수 있다. 각각의 판별기는, 예컨대 특정 크기의 패치(patch) 단위로 생성기가 생성한 이미지의 진위 여부를 판별하는 PatchGAN으로 구현될 수 있다. 가령 70 x 70패치의 PatchGAN으로 구현될 수 있다. 다만 이에 한정되는 것은 아니다.
종합하자면, 본 개시의 몇몇 실시예에 따른 제 1 모델(110), 즉 Cycle-GAN 구조는, 학습용 CBCT 영상(300) 및 그에 대응되는 학습용 골밀도 연관 영상(310)을 포함하는 학습용 데이터와 잔차 블록을 사용하여 구현됨으로써, 학습용 CBCT 영상(300) 및 학습용 골밀도 연관 영상(310) 간의 복셀 강도 매핑 정보를 학습할 수 있다. 이에 따라 초기 골밀도 연관 영상(400)은, 학습용 CBCT 영상과 대응되는 학습용 골밀도 연관 영상(310)의 골밀도 분포 정보가 반영되게 되므로, 학습용 CBCT 영상(300)에 대하여 골 대조도(bone contrast)가 증가될 수 있다.
이와 같은 제 1 모델(110)은, 후술할 제 2 모델(120)과 상호보완적으로 작용하여, 궁극적으로 CBCT 영상으로부터 골 대조도 및 균일도가 향상되고 정확도 높은 골밀도 데이터를 포함하는 최종 골밀도 연관 영상(500)을 획득하게끔 할 수 있다.
다음으로 제 2 모델(120)과 관련하여, 일반적인 U-Net 구조는, U-자 형태의 인코더(Encoder) 및 디코더(Decoder) 구조를 포함한다. 구체적으로 U-Net은, 인코더의 수축 경로(contracting path)에서는 입력된 이미지의 전반적인 컨텍스트(context)를 추출하고, 한편 디코더의 확장 경로(expanding path)에서는 스킵 커넥션(skip connection)을 통해 수축 경로의 동일 레벨에서 추출된 컨텍스트를 픽셀 위치정보와 결합한다. 즉, 인코딩 영역에서 출력된 결과물의 일부를 디코딩 영역과 결합하여 국소화(localization)의 정확도를 높일 수 있다.
본 개시에 따른 제 2 모델(120)은, 학습용 CBCT 영상(300) 및 제 1 모델(110)로부터 출력된 초기 골밀도 연관 영상(400)을 입력받기 위한 다중 채널 입력을 포함할 수 있다. 제 2 모델(120)은 학습용 CBCT 영상(300) 및 초기 골밀도 연관 영상(400)으로부터 학습용 골밀도 연관 영상(310)을 추론하도록 학습될 수 있으며, 학습용 CBCT 영상(300)에 대응되는 골밀도 데이터를 포함하는 최종 골밀도 연관 영상(500)을 출력할 수 있다.
본 개시에 따른 제 2 모델(120)은, 다중 채널 입력을 통해 학습용 CBCT 영상(300) 및 이에 대응하는 초기 골밀도 연관 영상(400)의 공간 정보를 동시에 학습할 수 있다. 구체적으로, 제 2 모델(120)은 CBCT 영상(300)의 해부학적 구조를 유지하면서 초기 골밀도 연관 영상(400)에 포함된 CBCT 영상 및 골밀도 연관 영상 간 복셀 강도 매핑 정보를 학습할 수 있고, 이에 따라 아티팩트 및 산란 노이즈가 억제되어 균일도가 향상된 최종 골밀도 연관 영상(500)을 출력할 수 있다.
본 개시에 따른 제 2 모델(120)은, 학습용 골밀도 연관 영상(310) 및 최종 골밀도 연관 영상(500) 간의 차이에 관한 함수를 포함하는 제 2 손실함수의 결과에 기초하여 최적화될 수 있다. 구체적으로, 학습용 골밀도 연관 영상(310) 및 최종 골밀도 연관 영상(500) 간의 차이에 관한 함수는 학습용 골밀도 연관 영상(310)및 최종 골밀도 연관 영상(500) 간의 복셀 강도 차이에 대한 평균값 절대 편차(Mean Absolute Difference; MAD) 및 구조적 유사도(Structural similarity; SSIM) 중 적어도 하나를 포함할 수 있다.
여기서 평균값 절대 편차(MAD)는, 학습용 골밀도 연관 영상(310) 및 최종 골밀도 연관 영상(500)의 강도 차이 절대값의 평균으로 정의되며, 하기와 같이 표현될 수 있다. 여기서 IQCBCT는 최종 골밀도 연관 영상(500)을 지칭한다:
[수학식 5]
한편 구조적 유사도(SSIM)는, 두 이미지 간의 유사성을 측정하는 데에 사용되는 함수로서, 하기와 같이 표현될 수 있다. 여기서 μ는 평균(Mean), σ2는 분산(Variance), C1 및 C2는 약한 분모를 안정화하기 위한 변수에 각각 대응된다:
[수학식 6]
이에 따라, 제 2 모델(120)의 제 2 손실함수는 하기와 같이 정의될 수 있다. 여기서 α는 가중치로, 예컨대 α는 0.6일 수 있다. 다만 이에 한정되는 것은 아니며, 적합한 임의의 α값이 인실리코 또는 실험적으로 선택될 수 있다:
[수학식 7]
이처럼 평균값 절대 편차(MAD) 및 구조적 유사도(SSIM)의 조합을 포함하는 제 2 손실 함수를 사용해 제 2 모델(120)을 학습시킴으로써, 구조적 유사도 및 픽셀 단위 오류(pixel-wise errors)를 고려하여 더 빠른 컨버전스(Convergence)과 더 높은 정확도를 얻을 수 있다.
한편 본 개시에 따른 제 2 모델(120)의 다중 채널 U-Net 구조는, 상술한 다중 채널 입력 외에도, 배치 정규화 및 ReLU 활성화가 적용된 3 x 3 컨볼루션 레이어로 구성된 인코더 및 디코더, 그리고 각 레이어 레벨에서의 스킵 커넥션을 더 포함할 수 있다. 도 6은 인코더와 디코더의 각 레벨에 대해 네 개의 스킵 커넥션을 포함하도록 구현된 다중 채널 U-Net 구조의 일례를 도시한다. 다만 이에 한정되는 것은 아니다.
본 개시에 따른 제 2 모델(120)은, 다중 채널 U-Net 구조를 포함하도록 구현되어 영상의 공간 영역에 대한 전역적 및 국소적 피처(feature)를 모두 추출할 수 있는 바, 초기 골밀도 연관 영상(400)에 포함된 매핑 정보 그리고 학습용 CBCT 영상(300)의 해부학적 구조 정보를 포함하며 아티팩트(artifact)가 억제된 최종 골밀도 연관 영상(500)을 출력할 수 있다.
이에 따라, 제 1 모델(110) 및 제 2 모델(120)의 결합을 포함하는 본 개시에 따른 딥 러닝 모델(100)은, 입력된 CBCT 영상에 대해 골 대조도 및 균일도가 향상되며, 한편 입력된 CBCT 영상에 대한 골밀도 데이터를 포함하는 최종 골밀도 연관 영상(500)을 출력할 수 있다. 이에 따라 본 개시에 따른 의료 영상 처리 방법은, 궁극적으로 CBCT 영상으로부터 골밀도를 정량적으로 그리고 즉각적으로 측정하는 방법을 제공할 수 있다.
이하 도 7 내지 9를 통해 후술하는 실험적 데이터들은, 제 1 모델(110; Cycle-GAN) 및 제 2 모델(120; 다중 채널 U-Net)이 결합된 딥 러닝 모델(100)을 사용하여 제공되는 본 개시에 따른 의료 영상 처리 방법이, Cycle-GAN과 U-Net 중 어느 하나 만으로 구현된 모델 및/또는 BMD 보정용 팬텀 등을 사용하여 CBCT 영상을 보정하는 종래의 방법에 대하여 가지는 성능의 차이를 나타낸다.
도 7 내지 9는 본 개시의 의료 영상 처리 방법에 따른 골밀도 데이터 측정 성능을 도시한 도면이다. 도 7 내지 9는 특히 본 개시의 최종 골밀도 연관 영상이 QCT-유사 영상인 몇몇 실시예에 대한 골밀도 데이터 측정 성능을 도시한다.
여기에서 골밀도 데이터 측정 성능은, 각각의 의료 영상에 대한 골밀도 데이터 측정 성능을 의미할 수 있다. 예컨대 본 개시의 서두에 기재된 바와 같이, 일반적 CT 영상에서 골밀도가 HU 값의 보정을 통해 정량적으로 측정될 수 있는 것에 비하여, 종래의 CBCT 영상의 경우 복셀 값의 불균일적 특성과 HU 값과의 비선형적 관계로 인해 종래의 CBCT 영상으로부터 즉각적으로 유의미한 골밀도 데이터를 측정하는 것은 불가능할 수 있다. 이러한 경우, 종래의 CBCT 영상에 대한 골밀도 데이터 측정 성능은, 일반적 CT 영상에 대한 골밀도 데이터 측정 성능보다 낮은 것으로 볼 수 있다.
먼저 도 7을 참고하면, 도 7은 본 개시의 의료 영상 처리 방법에 따른 골밀도 데이터 측정 성능을 정량적으로 도시한 도면으로서, 구체적으로 본 개시에 따른 최종 골밀도 연관 영상(500, 이하 “QCBCT 영상”)이, 실제 QCT 영상(즉, 참값(Ground Truth)), Cycle-GAN 모델에 CBCT 영상을 입력하여 획득되는 영상(이하, “CYC_CBCT 영상”), U-Net 모델에 CBCT 영상을 입력하여 획득되는 영상(이하, “U_CBCT 영상”), BMD 보정용 팬텀을 사용하여 보정된 CBCT 영상(이하, “CAL_CBCT 영상”)에 대하여 가지는 정량적 성능 차이를 도시한다.
정량적 성능 비교를 위해 도 7에서는 평균값 절대 편차(MAD), 피크 신호 대 잡음비(Peak Signal to Noise Ratio; PSNR), 정규화된 교차 상관(Normalized Cross Correlation; NCC), 구조적 유사도(SSIM), 공간적 불균일성(Spatial Non-Uniformity; SNU), 그리고 기울기(선형 회귀 기울기; Slope of Linear regression) 값이 사용되었다.
여기서 피크 신호 대 잡음비(PSNR)는, 실제 QCT 영상과 비교 대상인 영상 간 평균 제곱근 오차(Root mean Squared Error; MSE)에 대해 가능한 최대 강도(Maximum Possible Intensity; MAX)의 로그로서 정의되며, 하기와 같이 표현될 수 있다:
[수학식 8]
여기서 정규화된 교차 상관(NCC)는, 실제 QCT 영상과 비교 대상인 영상의 강도를 곱한 값을 각각의 표준편차로 나눈 값으로 정의되며, 하기와 같이 표현될 수 있다:
[수학식 9]
여기서 공간적 불균일성(SNU)는, 영상 내에 설정한 직사각형 ROI(관심영역; Region Of Interest)들에서 강도 값의 최대값과 최소값 간 차이의 절대값으로 정의된다.
여기서 기울기(Slope)는, 골밀도의 선형성을 평가하기 위한 지표로서, 영상내 강도 값의 선형 회귀를 통해, 실제 QCT 영상과 비교 대상인 영상 간 복셀 강도의 관계를 분석한 값이다.
피크 신호 대 잡음비(PSNR), 구조적 유사도(SSIM), 정규화된 교차 상관(NCC) 및 기울기(Slope)는 높은 값일수록, 그리고 평균값 절대 편차(MAD) 및 공간적 불균일성(SNU)는 낮은 값일수록 골밀도 측정 성능이 더 우수한 것으로 해석될 수 있다.
다시 도 7을 참고하면, 본 개시에 따른 최종 골밀도 연관 영상(도 7에서 QCBCT 영상, 3행 및 9행 참조)은 실제 QCT 영상과 비교할 때, 평균값 절대 편차(MAD), 피크 신호 대 잡음비(PSNR), 구조적 유사도(SSIM), 정규화된 교차 상관(NCC), 및 기울기(Slope) 값에 있어서, 촬영된 골의 위치(예를 들어, 상악 또는 하악)에 무관하게 CYC_CBCT 영상, U_CBCT 영상, 및 CAL_CBCT 영상을 크게 능가하는 것으로 나타난다.
즉, 본 개시에 따른 의료 영상 처리 방법의 골밀도 측정 성능은, Cycle-GAN과 U-Net 중 어느 하나 만으로 구현된 모델 및/또는 BMD 보정용 팬텀 등을 사용하여 CBCT 영상을 보정하는 종래의 방법의 골밀도 측정 성능과 비교하여 유의한 차이를 보인다.
다음으로 도 8을 참고하면, 도 8은 본 개시에 따른 골밀도 데이터 측정 성능을 정성적으로 도시한 도면으로서, 구체적으로 상악과 하악 각각에 대한 실제 QCT 영상, 최종 골밀도 연관 영상(또는, 도 8에서 QCBCT 영상), CYC_CBCT 영상, U_CBCT 영상 및 CAL_CBCT 영상(이하 도 8의 1행 및 3행 참조), 그리고 실제 QCT 영상에서 각각의 영상을 감산한 영상(Subtraction images, 도 8의 2행 및 4행 참조)을 도시한다.
도 8의 감산된 영상들에서 나타나는 바와 같이, 본 개시에 따른 최종 골밀도 연관 영상(2열 참조)의 골밀도 영상 품질은, 실제 QCT 영상(1열 참조)과 비교하여 볼 때, CYC_CBCT 영상(3열 참조), U_CBCT 영상(4열 참조) 및 CAL_CBCT 영상(5열 참조)에 대하여 상당한 개선을 보인다. 특히 CAL_CBCT 영상과 비교하여 볼 때, 본 개시에 따른 최종 골밀도 연관 영상에서는, CAL_CBCT 영상에서 발견되는 치아 영역에서의 큰 골밀도(복셀 강도 값) 차이 및 높은 골밀도 값의 밀집된 본딩(dense bond)이 크게 감소된 것을 볼 수 있다.
다음으로 도 9를 참고하면, 도 9는 실제 QCT 영상과 본 개시에 따른 최종 골밀도 연관 영상(1열 참조), CYC_CBCT 영상(2열 참조), U_CBCT 영상(3열 참조) 및 CAL_CBCT 영상(4열 참조) 각각 간의 선형 관계를 도시하며, 구체적으로 도 9의 1행(a~d)은 80kVp - 8mA 조건에서 상악 영역에 대해 획득된 영상, 2행(e~h)은 80kVp - 8mA 조건에서 하악 영역에 대해 획득된 영상, 3행(i~l)은 90kVp - 10mA 조건에서 상악 영역에 대해 획득된 영상, 4행(m~p)은 90kVp - 10mA 조건에서 하악 영역에 대해 획득된 영상을 도시한다.
도 9에서 나타나는 바와 같이, 실제 QCT 영상과 본 개시에 따른 최종 골밀도 연관 영상 간의 선형 관계는, 실제 QCT 영상과 다른 영상들 간의 선형 관계에 비하여 높은 기울기 및 적합성(Goodness of fit)와 함께, 더 높은 대조도와 상관도를 보인다. 또한 이러한 선형관계의 경향성은, 촬영되는 골의 위치(예를 들어, 상악 또는 하악)나 촬영 조건(예를 들어, 80kVp - 18mA 또는 90kVp - 10mA) 등과는 무관히 일관되게 나타난다.
도 2 내지 9를 통하여 상술한 내용을 종합할 때, 본 개시에 따른 의료 영상 처리 방법은, Cycle-GAN과 다중 채널 U-Net의 결합을 포함하는 딥 러닝 모델을 통해, CBCT 영상으로부터 골밀도를 정량적으로 그리고 즉각적으로 측정 가능한 방법을 제공할 수 있다.
구체적으로 본 개시에 따른 제 1 모델(즉, Cycle-GAN 구조)은, CBCT 영상 및 QCT 영상 또는 CT 영상인 골밀도 연관 영상 간의 매핑 정보를 포함하며, 제 1 모델에 입력된 CBCT 영상에 대하여 골 대조도(bone contrast)가 증가된 QCT-유사 영상 또는 CT-유사 영상인, 초기 골밀도 연관 영상을 출력할 수 있다. 제 1 모델과 결합된 본 개시의 제 2 모델(즉, 다중 채널 U-Net 구조)은, 초기 골밀도 연관 영상 및 CBCT 영상을 입력 받고, 초기 골밀도 연관 영상에 포함된 매핑 정보 그리고 CBCT 영상의 해부학적 구조 정보를 포함하며 아티팩트(artifact)가 억제되고 균일도가 증가된 QCT-유사 영상 또는 CT-유사 영상인, 최종 골밀도 연관 영상을 출력할 수 있다.
이에 따라 본 개시에 따른 의료 영상 처리 방법은, CBCT 영상으로부터 골 영상의 균일도, 대조도는, 해부학적 정확도와 정량적 정확도를 크게 향상시킨 최종 골밀도 연관 영상을 획득할 수 있으며, 궁극적으로 낮은 방사선량, 짧은 획득시간, 높은 해상도와 같은 이점을 가진 CBCT 영상 기법을 사용하면서도, 동시에 CBCT 영상으로부터 골밀도를 정량적으로 그리고 즉각적으로 측정 가능한 방법을 제공할 수 있다.
도 10은 본 개시의 몇몇 실시예에 따른 의료 영상 처리 방법에서 학습용 데이터를 획득하는 방법의 순서도이다. 구체적으로 도 10은, 도 4 내지 6에서 전술한 바와 같이 본 개시에 따른 딥 러닝 모델(100)을 학습시키기 위해 학습용 CBCT 영상(300) 및 학습용 골밀도 연관 영상(310) 각각을 획득하는 방법을 도시한다.
도 10을 참고하면, 먼저 컴퓨팅 장치는, 피검체에 대하여 촬영된 로우 CBCT 영상 및 로우 CBCT 영상과 대응되는 로우 CT 영상을 각각 획득할 수 있다(S310).
여기서 피검체는, 예컨대 두개골 팬텀(phantoms of human skulls)일 수 있으며, 이 때 두개골 팬텀은 아티팩트를 일으키는 금속 도재관(metal restoration)이 있는 것과 없는 것 중 적어도 하나를 포함할 수 있다. 다만 이에 한정되는 것은 아니며, 학습용 데이터 획득을 위한 피검체는 임의의 부위에 대한 하나 혹은 셋 이상의 팬텀들일 수도 있다.
상기 피검체에 대하여, 로우 CBCT 영상 및 로우 CT 영상이 각각 촬영될 수 있다. 이 때 로우 CBCT 영상 및 로우 CT 영상은, 동일한 조건 - 전압 및 전류 등 - 에서 촬영될 수 있다. 다만 이에 한정되는 것은 아니며, 로우 CBCT 영상 및 로우 CT 영상은 상기 피검체에 대해 서로 상이한 조건에서 촬영된 다음, 정합 등의 단계를 통해 정렬(aligned)될 수도 있다.
예컨대, 로우 CT 영상은 피검체에 대하여 복셀 사이즈 0.469 x 0.469 x 0.5 mm3, 치수 512 x 512 픽셀(pixels), 깊이 16 비트(bit), 전압 120(kVp) 및 전류 130(mA)의 조건으로 촬영되고, 한편 로우 CBCT 영상은 피검체에 대하여 복셀 사이즈 0.3 x 0.3 x 0.3 mm3, 치수 559 x 559 픽셀(pixels), 깊이 16 비트(bit), 전압 80 또는 90(kVp) 및 전류 8 또는 10(mA)의 조건으로 촬영될 수 있다.
학습용 CBCT 영상과 대응되는 QCT 영상을 학습용 골밀도 연관 영상으로 사용하는 일 실시예에서, 컴퓨팅 장치(10)는 다음으로, 상기 로우 CT 영상을 보정하여 로우 QCT 영상을 획득할 수 있다(S320).
전술한 바와 같이, QCT 영상은 일반 CT 영상에서 HU 값의 보정을 통해 획득되는 영상으로, 이 때 보정을 위하여 골밀도 보정용 팬텀에 대한 CT 영상을 사용할 수 있다.
보다 구체적으로, 로우 CT 영상을 상기 로우 CT 영상과 대응되는 조건에서 촬영된 골밀도 보정용 팬텀 CT 영상을 사용하여 보정하고, 상기 보정된 로우 CT 영상을 로우 QCT 영상으로 획득할 수 있다. 즉, 상술한 예시를 참고하면, 골밀도 보정용 팬텀에 대하여 전압 120(kVp) 및 전류 130(mA)의 조건으로 촬영된 골밀도 보정용 팬텀 CT 영상을 사용하여, 전압 120(kVp) 및 전류 130(mA)의 조건으로 촬영된 로우 CT을 보정하고 로우 QCT 영상을 획득할 수 있다. 다만 이에 한정되는 것은 아니다.
다음으로, 컴퓨팅 장치(10)는, 로우 CBCT 영상 및 로우 QCT 영상에서 비해부학적 요소를 제거할 수 있다(S330). 학습용 영상들에서 비해부학적 영역(non-anatomical regions)을 제거함으로써, 학습 과정에서 비해부학적 영역에 의한 정확도 감소 등의 부정적 영향(adverse impacts)을 방지할 수 있다.
보다 구체적으로, 이진 마스크(Binary mask)를 로우 CBCT 영상 및 로우 QCT 영상에 각각 적용하여, 로우 CBCT 영상 및 로우 QCT 영상에서 비해부학적 영역을 제거할 수 있다.
여기서 이진 마스크 이미지는, 임계화(thresholding) 및 형태학적 연산(morphological operations)을 사용하여 생성될 수 있다. 구체적으로, 학습용 영상 쌍을 이루는 학습용 CBCT 영상 및 대응되는 학습용 QCT 영상 각각에 국소 범위 필터(local range filter)를 적용하여 해부학적 영역(anatomical regions)의 가장자리(edges)를 추출할 수 있다. 다음으로, 작은 블랍들(blobs)을 제거하고 내부 영역을 채우기 위하여 임계화를 통해 획득한 이진화 된(binarized) 가장자리에 오프닝 및 플러드 필(opening and flood fill)의 형태학적 연산을 적용할 수 있다.
상술한 연산을 통해 로우 CBCT 영상 및 로우 QCT 영상으로부터 생성된 두 이진 마스크의 교집합(intersection)을, 로우 CBCT 영상 및 로우 QCT 영상에 곱할 수 있다. 한편 마스크된(masked) 영역 외부의 복셀 값들은 -1000 HU로 대체될 수 있다. 상술한 내용은 학습용 영상들로부터 비해부학적 영역을 제거하기 위한 방법의 일 예시에 불과하며, 본 개시를 제한하지 않는다.
다음으로, 컴퓨팅 장치(10)는, 로우 CBCT 영상 및 로우 QCT 영상을 정합할 수 있다(S340).
구체적으로, 로우 QCT 영상은 점대점 정합(paired-point registration)에 의해 로우 CBCT 영상에 매칭될 수 있다. 이 때, 정합을 위해 복수 개의 랜드마크들이 설정될 수 있다. 예를 들어, 측절치의 정점(vertex on the lateral incisors), 첫 번째 소구치의 협측 교두(buccal cusps of the first premolars), 그리고 첫 번째 대구치의 원심협측 교두(distobuccal cusps of the first molars)를 포함하여 6개의 랜드마크들이 설정될 수 있다. 다만 이에 한정되는 것은 아니다.
한편, 컴퓨팅 장치는, 정합된 로우 CBCT 영상 및 로우 QCT 영상을 임의의 크기의 이미지로 크롭한 다음, 기 설정된 크기의 이미지로 리사이즈하는 단계를 추가적으로 수행할 수 있다. 가령, 정합된 로우 CBCT 영상 및 로우 QCT 영상으로부터, 상악 영역을 중심으로 559 x 559 x 200 픽셀(pixel)의 이미지를 크롭한 다음, 256 x 256 x 200 픽셀(pixel)의 이미지로 리사이즈 할 수 있다.
다음으로 컴퓨팅 장치(10)는, 정합된 로우 CBCT 영상을 학습용 CBCT 영상으로 획득하고, 정합된 로우 QCT 영상을 학습용 골밀도 연관 영상으로 획득할 수 있다(S350).
또는, 상술한 바와 같이 정합된 로우 CBCT 영상 및 로우 QCT 영상에 대하여 크롭 및/또는 리사이즈를 추가적으로 수행하는 경우에는, 크롭 및/또는 리사이즈 된 로우 CBCT 영상 및 로우 QCT 영상이 각각 학습용 CBCT 영상 및 학습용 골밀도 연관 영상으로 획득될 수 있다.
이와 달리, 학습용 CBCT 영상과 대응되는 CT 영상을 학습용 골밀도 연관 영상으로 사용하는 일 실시예에서, 컴퓨팅 장치(10)는 획득된 로우 CBCT 영상 및 로우 CT에서 비해부학적 영역을 제거하고(S360), 비해부학적 영역이 제거된 로우 CBCT 영상 및 로우 CT 영상을 정합하고(S370), 그리고 정합된 CBCT 영상을 학습용 CBCT 영상으로 획득하고, 정합된 로우 CT 영상을 학습용 골밀도 연관 영상으로 획득할 수 있다(S380). 각 영상에 대해 비해부학적 영역을 제거하는 구체적인 방법 및 각 영상을 서로 정합하는 구체적인 방법에 대하여는 전술한 바, 중복 설명을 피하기 위해 여기에서는 자세한 기재를 생략한다.
이와 같이 획득된 학습용 CBCT 영상 및 이에 대응되는 학습용 골밀도 연관 영상은 함께 학습용 영상 쌍을 이룰 수 있으며, 하나 이상의 학습용 영상 쌍들의 집합이 본 개시에 따른 학습용 데이터를 구성할 수 있다. 이와 같이 획득된 학습용 데이터는, 도 4 내지 6을 통하여 전술한 본 개시에 따른 딥 러닝 모델(100)의 학습을 위해 사용될 수 있다.
이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.
Claims (16)
- 컴퓨팅 장치에 의해 수행되는 의료 영상 처리 방법으로서,
학습용 CBCT(Cone-Beam CT) 영상 및 상기 학습용 CBCT 영상에 대응되는 학습용 골밀도 연관 영상의 매핑 정보를 학습하여, 상기 학습용 CBCT 영상으로부터 상기 학습용 골밀도 연관 영상을 추론하도록, 제 1 모델을 학습시키는 단계, 및
다중 채널(multi-channel) 구조를 통해 상기 학습용 CBCT 영상 및 상기 제 1 모델에서 출력된 초기 골밀도 연관 영상을 입력 받아, 상기 학습용 골밀도 연관 영상을 추론하도록, 제 2 모델을 학습시키는 단계를 포함하는,
의료 영상 처리 방법. - 제 1항에서,
상기 학습용 골밀도 연관 영상은,
QCT(quantitative CT) 또는 CT 영상 중 어느 하나인,
의료 영상 처리 방법. - 제 1항에서,
상기 제 1 모델은,
상기 매핑 정보를 학습하여 CBCT 영상으로부터 골밀도 연관 영상을 추론하는, 제 1 생성기, 및 입력된 영상이 실제 골밀도 연관 영상인지 또는 합성된 골밀도 연관 영상인지 여부를 판별하는, 제 1 판별기를 포함하고,
상기 제 1 판별기의 판별 성공 확률에 기초하여 산출되는 상기 제 1 모델의 적대적 손실(adversarial loss) 함수를 포함하는 제 1 손실함수의 결과를 최소화하는 방향으로 학습되는,
의료 영상 처리 방법. - 제 3항에서,
상기 제 1 모델은,
상기 매핑 정보를 학습하여 상기 골밀도 연관 영상으로부터 상기 CBCT 영상을 추론하는, 제 2 생성기, 및 입력된 영상이 실제 CBCT 영상인지 또는 합성된 CBCT 영상인지 여부를 판별하는, 제 2 판별기를 더 포함하고,
상기 제 1 판별기 및 상기 제 2 판별기의 판별 성공 확률에 기초하여 산출되는 상기 제 1 모델의 상기 적대적 손실 함수, 그리고 상기 제 1 모델의 사이클 일관성 손실(cycle consistency loss) 함수의 조합을 포함하는 상기 제 1 손실함수의 결과를 최소화하는 방향으로 최적화되는,
의료 영상 처리 방법. - 제 1항에서,
상기 제 1 모델은,
Cycle-GAN(Generative Adversarial Network) 구조를 포함하도록 구현되는,
의료 영상 처리 방법. - 제 1항에서,
상기 골밀도 연관영상은,
상기 학습용 CBCT 영상 및 상기 학습용 골밀도 연관 영상 간의 복셀 강도(voxel intensity) 관계에 관한 상기 매핑 정보를 포함하고, 상기 학습용 CBCT 영상에 대하여 골 대조도(bone contrast)가 증가된 QCT-유사(QCT-like) 또는 CT-유사(CT-like) 영상인,
의료 영상 처리 방법. - 제 1항에서,
상기 제 2 모델은,
상기 학습용 CBCT 영상에 대응되는 골밀도(Bone Mineral Density; BMD) 데이터를 포함하는 최종 골밀도 연관 영상을 출력하는,
의료 영상 처리 방법. - 제 7항에서,
상기 제 2 모델은,
상기 학습용 골밀도 연관 영상 및 상기 최종 골밀도 연관 영상 간의 차이에 관한 함수를 포함하는 제 2 손실함수의 결과를 최소화하는 방향으로 최적화되는,
의료 영상 처리 방법. - 제 8항에서,
상기 차이에 관한 함수는, 상기 학습용 골밀도 연관 영상 및 상기 최종 골밀도 연관 영상 간의 복셀 강도 차이에 대한 평균값 절대 편차(Mean Absolute Difference; MAD) 및 상기 학습용 골밀도 연관 영상 및 상기 최종 골밀도 연관 영상 간의 구조적 유사도(Structural similarity; SSIM) 중 적어도 하나를 포함하는,
의료 영상 처리 방법. - 제 1항에서,
상기 제 2 모델은,
다중 채널 U-Net 구조를 포함하도록 구현되는,
의료 영상 처리 방법. - 제 7항에서,
상기 최종 골밀도 연관 영상은,
상기 초기 골밀도 연관 영상에 포함된 상기 매핑 정보 그리고 상기 학습용 CBCT 영상의 해부학적 구조 정보를 포함하며 아티팩트(artifact)가 억제된 QCT-유사 영상 또는 CT-유사 영상인,
의료 영상 처리 방법. - 제 1항에서,
피검체에 대하여 촬영된 로우(raw) CBCT 영상 및 상기 로우 CBCT 영상과 대응되는 로우 CT 영상을 각각 획득하는 단계;상기 로우 CT 영상을 상기 로우 CT 영상과 대응되는 조건에서 촬영된 골밀도 보정용 팬텀(BMD calibration phantom) CT 영상을 사용하여 보정하고, 보정된 상기 로우 CT 영상을 로우 QCT 영상으로 획득하는 단계,
상기 로우 CBCT 영상 및 상기 로우 QCT 영상에서 비해부학적 영역을 제거하는 단계,
상기 로우 CBCT 영상 및 상기 로우 QCT 영상을 정합(registration) 하는 단계, 및
상기 로우 CBCT 영상을 상기 학습용 CBCT 영상으로 획득하고, 상기 로우 QCT 영상을 상기 학습용 골밀도 연관 영상으로 획득하는 단계를 더 포함하는,
의료 영상 처리 방법. - 제 1항에서,
피검체에 대하여 촬영된 로우(raw) CBCT 영상 및 상기 로우 CBCT 영상과 대응되는 로우 CT 영상을 각각 획득하는 단계,
상기 로우 CBCT 영상 및 상기 로우 CT 영상에서 비해부학적 영역을 제거하는 단계,
상기 로우 CBCT 영상 및 상기 로우 CT 영상을 정합(registration) 하는 단계, 및
상기 로우 CBCT 영상을 상기 학습용 CBCT 영상으로 획득하고, 상기 로우 CT 영상을 상기 학습용 골밀도 연관 영상으로 획득하는 단계를 더 포함하는,
의료 영상 처리 방법. - 컴퓨팅 장치에 의해 수행되는 의료 영상 처리 방법으로서,
CBCT(Cone-Beam CT) 영상을 획득하는 단계,
기 학습된 딥 러닝 모델에 상기 CBCT 영상을 입력하여, 상기 CBCT 영상에 대응되는 골밀도(Bone Mineral Density; BMD) 데이터를 포함하는 최종 골밀도 연관 영상을 획득하는 단계, 및
상기 최종 골밀도 연관 영상이 QCT-유사 영상인 경우, 상기 최종 골밀도 연관 영상으로부터 상기 골밀도 데이터를 즉각적으로 획득하는 단계를 포함하는,
의료 영상 처리 방법. - 삭제
- 제 14항에서,
상기 방법은,
상기 최종 골밀도 연관 영상이 CT-유사 영상인 경우, 상기 최종 골밀도 연관 영상을 보정하여 상기 CT-유사 영상에 대응되는 QCT 영상을 생성하고, 생성된 상기 QCT 영상으로부터 상기 골밀도 데이터를 획득하는 단계를 더 포함하는,
의료 영상 처리 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220018256A KR102477991B1 (ko) | 2022-02-11 | 2022-02-11 | 의료 영상 처리 방법 및 장치 |
| PCT/KR2022/010816 WO2023153564A1 (ko) | 2022-02-11 | 2022-07-22 | 의료 영상 처리 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220018256A KR102477991B1 (ko) | 2022-02-11 | 2022-02-11 | 의료 영상 처리 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102477991B1 true KR102477991B1 (ko) | 2022-12-15 |
Family
ID=84439613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220018256A KR102477991B1 (ko) | 2022-02-11 | 2022-02-11 | 의료 영상 처리 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102477991B1 (ko) |
| WO (1) | WO2023153564A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115046A (zh) * | 2023-10-24 | 2023-11-24 | 中日友好医院(中日友好临床医学研究所) | 一种放疗cbct稀疏采样影像增强的方法、系统及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190333219A1 (en) * | 2018-04-26 | 2019-10-31 | Elekta, Inc. | Cone-beam ct image enhancement using generative adversarial networks |
| KR20200062538A (ko) * | 2018-11-27 | 2020-06-04 | 주식회사 레이 | 콘빔 씨티를 이용한 치아 골밀도 추정방법 및 골밀도 추정장치 |
| KR20210137281A (ko) * | 2020-05-07 | 2021-11-17 | 연세대학교 산학협력단 | 3d 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5121482B2 (ja) * | 2008-02-06 | 2013-01-16 | 株式会社東芝 | 放射線治療用線量分布測定装置および放射線治療用線量分布測定プログラム |
| JP6328387B2 (ja) * | 2013-07-18 | 2018-05-23 | 株式会社日立製作所 | Ｘ線測定装置 |
| KR20180059327A (ko) * | 2016-11-25 | 2018-06-04 | 서울대학교산학협력단 | 이중 에너지 컴퓨터 단층촬영을 이용한 치조골밀도 정량화 시스템 및 방법 |
-
2022
- 2022-02-11 KR KR1020220018256A patent/KR102477991B1/ko active IP Right Grant
- 2022-07-22 WO PCT/KR2022/010816 patent/WO2023153564A1/ko unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190333219A1 (en) * | 2018-04-26 | 2019-10-31 | Elekta, Inc. | Cone-beam ct image enhancement using generative adversarial networks |
| JP2021521993A (ja) * | 2018-04-26 | 2021-08-30 | エレクタ、インク.Elekta, Inc. | 敵対的生成ネットワークを使用した画像強調 |
| KR20200062538A (ko) * | 2018-11-27 | 2020-06-04 | 주식회사 레이 | 콘빔 씨티를 이용한 치아 골밀도 추정방법 및 골밀도 추정장치 |
| KR20210137281A (ko) * | 2020-05-07 | 2021-11-17 | 연세대학교 산학협력단 | 3d 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115046A (zh) * | 2023-10-24 | 2023-11-24 | 中日友好医院(中日友好临床医学研究所) | 一种放疗cbct稀疏采样影像增强的方法、系统及装置 |
| CN117115046B (zh) * | 2023-10-24 | 2024-02-09 | 中日友好医院(中日友好临床医学研究所) | 一种放疗cbct稀疏采样影像增强的方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023153564A1 (ko) | 2023-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102581685B1 (ko) | 딥 러닝을 이용한 3d 구강 악안면 구조의 분류 및 3d 모델링 | |
| US11494957B2 (en) | Automated correction of metal affected voxel representations of x-ray data using deep learning techniques | |
| US11398013B2 (en) | Generative adversarial network for dental image super-resolution, image sharpening, and denoising | |
| US20200372301A1 (en) | Adversarial Defense Platform For Automated Dental Image Classification | |
| US11367188B2 (en) | Dental image synthesis using generative adversarial networks with semantic activation blocks | |
| JP7194143B2 (ja) | 肝臓腫瘍例のレビューを容易にするシステムおよび方法 | |
| US20210118132A1 (en) | Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment | |
| US9332907B2 (en) | Extracting application dependent extra modal information from an anatomical imaging modality for use in reconstruction of functional imaging data | |
| US11217350B2 (en) | Systems and method for artificial-intelligence-based dental image to text generation | |
| US11276151B2 (en) | Inpainting dental images with missing anatomy | |
| US20200411167A1 (en) | Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning | |
| US11311247B2 (en) | System and methods for restorative dentistry treatment planning using adversarial learning | |
| US20200387829A1 (en) | Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information | |
| Fontenele et al. | Influence of dental fillings and tooth type on the performance of a novel artificial intelligence-driven tool for automatic tooth segmentation on CBCT images–A validation study | |
| KR102178803B1 (ko) | 흉부 의료 영상 판독 지원 시스템 및 방법 | |
| CN113196340A (zh) | 用于正电子发射断层摄影(pet)的基于人工智能(ai)的标准化摄取值(suv)校正和变化评估 | |
| KR102477991B1 (ko) | 의료 영상 처리 방법 및 장치 | |
| JP4869223B2 (ja) | 医療画像の利用可能性を自動的に改善するための方法およびシステム | |
| CN111223156A (zh) | 一种用于牙科锥束ct系统的金属伪影消除方法 | |
| JP7034120B2 (ja) | Ｘ線装置を用い取得した画像データセットの自動修正方法、コンピュータプログラム、データメモリ及びｘ線装置 | |
| Park et al. | Unpaired-paired learning for shading correction in cone-beam computed tomography | |
| KR102399792B1 (ko) | 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법 | |
| KR102580749B1 (ko) | 의료영상의 화질평가 방법 및 장치 | |
| US11666299B2 (en) | Controlling a medical X-ray device | |
| Shevaruangroj et al. | Metal Artifact Reduction by Mapping MR into CT Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |