KR20220055549A - 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법 - Google Patents
뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20220055549A KR20220055549A KR1020200139660A KR20200139660A KR20220055549A KR 20220055549 A KR20220055549 A KR 20220055549A KR 1020200139660 A KR1020200139660 A KR 1020200139660A KR 20200139660 A KR20200139660 A KR 20200139660A KR 20220055549 A KR20220055549 A KR 20220055549A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- learning
- value
- learning model
- brain
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 208000014644 Brain disease Diseases 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000012795 verification Methods 0.000 claims description 84
- 238000011156 evaluation Methods 0.000 claims description 74
- 238000003325 tomography Methods 0.000 claims description 67
- 210000004556 brain Anatomy 0.000 claims description 41
- 238000010606 normalization Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 33
- 238000013461 design Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000013215 result calculation Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 14
- 201000010099 disease Diseases 0.000 claims description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 13
- 238000003745 diagnosis Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 210000005013 brain tissue Anatomy 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000010200 validation analysis Methods 0.000 claims description 9
- 206010051290 Central nervous system lesion Diseases 0.000 claims description 7
- 238000002790 cross-validation Methods 0.000 claims description 7
- 230000008021 deposition Effects 0.000 claims description 7
- 210000003625 skull Anatomy 0.000 claims description 7
- 210000004884 grey matter Anatomy 0.000 claims description 4
- 210000004885 white matter Anatomy 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000003412 degenerative effect Effects 0.000 abstract description 6
- 239000003795 chemical substances by application Substances 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000003941 amyloidogenesis Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 206010035148 Plague Diseases 0.000 description 3
- 241000607479 Yersinia pestis Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000004958 brain cell Anatomy 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 239000012925 reference material Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/465—Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06N7/005—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Neurosurgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
Abstract
본 발명은 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치 및 그 방법에 관한 것으로서, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 복수 개의 단층 촬영 이미지를 획득한 후, 상기 단층 촬영 이미지를 기설정된 영상처리 기법에 따라 정규화하여 합성곱 신경망에 따른 소정의 학습모델에 적용하기 위한 이미지 데이터셋을 획득하는 이미지 전처리 모듈과, 합성곱 신경망에 따른 이미지 학습이 수행가능하며 학습결과 기설정된 복수 개의 분류값들 중 어느 하나의 분류값에 대한 확률값이 출력 가능한 복수 개의 학습모델들을 저장하는 학습모델 DB부와, 상기 학습모델 DB부에 포함된 복수 개의 학습모델들 중 어느 하나를 사용자의 입력에 따라 선택받으며, 학습률, 클래스 개수, 전체학습 반복 횟수 각각에 대응되는 설계값들을 사용자로부터 입력받는 학습모델 설정 모듈과, 상기 획득된 이미지 데이터셋을 기설정된 기준에 따라 학습 이미지와 평가대상 이미지로 구분한 상태에서, 상기 학습모델 설정 모듈에서 선택된 학습모델에 상기 학습 이미지들을 적용하고 상기 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들과, 상기 평가대상 이미지에 기초하여 아밀로이드 제재가 침착된 정도에 대응하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 사후 확률값을 산출하는 확률값 산출 모듈과, 상기 사후 확률값과 이에 대응되는 클래스에 대응하여 기저장된 질환명 분류값을 상기 평가대상 이미지와 함께 화면상의 소정 영역에 표시하는 분류 결과 UI를 생성하는 출력 모듈을 포함하는 것을 특징으로 한다.
이에 따라, 진단대상자의 PET 검사 이미지를 합성곱 신경망에 대한 알고리즘을 기반으로 뇌질환 이미지를 분류하는 학습모델에 적용하여 간단하고 빠르게 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 결과를 출력할 수 있는 효과가 있다.
이에 따라, 진단대상자의 PET 검사 이미지를 합성곱 신경망에 대한 알고리즘을 기반으로 뇌질환 이미지를 분류하는 학습모델에 적용하여 간단하고 빠르게 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 결과를 출력할 수 있는 효과가 있다.
Description
본 발명은 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는, 아밀로이드 제재가 투여된 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 획득한 PET 영상에 딥러닝을 활용하여 진단 대상자의 아밀로이드 양성 반응을 나타내는 뇌질환 이미지를 분류하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치 및 그 방법에 관한 것이다.
퇴행성 뇌질환 중 특히 아밀로이드 양성 반응을 보이는 퇴행성 뇌질환은, 상태가 매우 악화되고 나서야 증상이 나타나고 그 증상 또한 정확한 판별이 불가능하여 조기에 발견하는 것이 어려운 실정이다.
아밀로이드 양성 반응을 보이는 퇴행성 뇌질환은 뇌세포의 손상으로 발생하는 대표적인 뇌질환으로 주로 노년기에 많이 생기며, 뇌세포는 다른 세포와는 달리 재생되지 않으므로 예방 또는 조기에 발견하여 치료하는 것이 가장 안전하고 효율적으로 치료할 수 있는 방법으로 알려져 있다.
최근에 이르러 초음파, CT 및 MRI 등 단층 촬영 장치와 같은 영상의학적 검사 방법이 발달함에 따라 의학 영상의 분석 및 처리 기술에 의해 인체의 질환을 진단하는 장치의 중요성이 확대되고 있으며, 이에 따라 뇌를 단층 촬영한 이미지를 통해 치매를 일관적이고 정확한 진단을 할 필요가 있다.
한편, 현재 단층 촬영 이미지를 육안으로 직접 판단하므로 단층 촬영 이미지에서 뇌의 경계가 모호하고 명암도 특징이 뚜렷하지 않기 때문에 뇌질환을 잘못 판단하는 경우가 발생할 수 있어 치매를 조기에 발견하지 못하는 등 다양한 단층 촬영 장치의 한계점이 있으며, 기존의 진단 시스템은 뇌 전체를 보고 판단하기 때문에, 뇌 영역의 각 부분별 진단 결과를 제공하지 않는 문제점이 있다.
또한, 퇴행성 뇌질환의 예측을 위해서는 방대한 MRI 영상자료와 환자의 임상정보를 모두 고려하여야 하므로, 그 진단을 위한 시간이 많이 소요될 뿐만 아니라 의료진의 숙련도에 따라서도 그 진단 결과에 편차가 클 수 있는 문제점이 있다.
본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 아밀로이드 제재가 투여된 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 획득한 PET 영상에 딥러닝을 활용하여 진단 대상자의 아밀로이드 양성 반응을 나타내는 뇌질환 이미지를 분류하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치 및 그 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치는, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 복수 개의 단층 촬영 이미지를 획득한 후, 상기 단층 촬영 이미지를 기설정된 영상처리 기법에 따라 정규화하여 합성곱 신경망에 따른 소정의 학습모델에 적용하기 위한 이미지 데이터셋을 획득하는 이미지 전처리 모듈과; 합성곱 신경망에 따른 이미지 학습이 수행가능하며 학습결과 기설정된 복수 개의 분류값들 중 어느 하나의 분류값에 대한 확률값이 출력 가능한 복수 개의 학습모델들을 저장하는 학습모델 DB부와; 상기 학습모델 DB부에 포함된 복수 개의 학습모델들 중 어느 하나를 사용자의 입력에 따라 선택받으며, 학습률, 클래스 개수, 전체학습 반복 횟수 각각에 대응되는 설계값들을 사용자로부터 입력받는 학습모델 설정 모듈과; 상기 획득된 이미지 데이터셋을 기설정된 기준에 따라 학습 이미지와 평가대상 이미지로 구분한 상태에서, 상기 학습모델 설정 모듈에서 선택된 학습모델에 상기 학습 이미지들을 적용하고 상기 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들과, 상기 평가대상 이미지에 기초하여 아밀로이드 제재가 침착된 정도에 대응하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 사후 확률값을 산출하는 확률값 산출 모듈과; 상기 사후 확률값과 이에 대응되는 클래스에 대응하여 기저장된 질환명 분류값을 상기 평가대상 이미지와 함께 화면상의 소정 영역에 표시하는 분류 결과 UI를 생성하는 출력 모듈;을 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 일면에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법은, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 복수 개의 단층 촬영 이미지를 획득한 후, 상기 단층 촬영 이미지를 기설정된 영상처리 기법에 따라 정규화하여 합성곱 신경망에 따른 소정의 학습모델에 적용하기 위한 이미지 데이터셋을 획득하는 이미지 전처리 단계와; 합성곱 신경망에 따른 이미지 학습이 수행가능하며 학습결과 기설정된 복수 개의 분류값들 중 어느 하나의 분류값에 대한 확률값이 출력 가능한 복수 개의 학습모델들이 기저장된 상태에서, 상기 복수 개의 학습모델들 중 어느 하나를 사용자의 입력에 따라 선택받으며, 학습률, 클래스 개수, 전체학습 반복 횟수 각각에 대응되는 설계값들을 사용자로부터 입력받는 학습모델 설정 단계와; 상기 획득된 이미지 데이터셋을 기설정된 기준에 따라 학습 이미지와 평가대상 이미지로 구분한 상태에서, 상기 학습모델 설정 모듈에서 선택된 학습모델에 상기 학습 이미지들을 적용하고 상기 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들과, 상기 평가대상 이미지에 기초하여 아밀로이드 제재가 침착된 정도에 대응하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 사후 확률값을 산출하는 단계와; 상기 사후 확률값과 이에 대응되는 클래스에 대응하여 기저장된 질환명 분류값을 상기 평가대상 이미지와 함께 화면상의 소정 영역에 표시하는 분류 결과 UI를 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 진단대상자의 PET 검사 이미지를 합성곱 신경망에 대한 알고리즘을 기반으로 뇌질환 이미지를 분류하는 학습모델에 적용하여 간단하고 빠르게 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 결과를 출력할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 학습모델에 대한 검증 시 학습모델에 적용되는 모든 이미지 데이터셋을 평가 및 훈련에 활용되도록 하여 특정 평가 데이터에 대한 학습모델의 과적합을 방지하고 예측 정확도를 더욱 높일 수 있는 효과가 있다.
또한, 본 발명에 따르면, 학습모델에 진단대상자의 단층 촬영 이미지를 적용하여 도출되는 뇌질환 예측 결과를 UI 형태로 화면상에 직관적으로 표시함에 따라 의사의 최종 진단에 도움이 되는 효과가 있다.
또한, 본 발명에 따르면, 학습모델의 검증 과정을 통한 성능 평가 결과와, PET 검사이미지에 적용된 여러 전처리 기법들을 작업 순서에 따라 도식화한 작업순서도를 참고자료로서 쉽게 이용 가능한 UI 형태로 표시함에 따라, 학습모델의 설계 시 적절한 학습모델을 선택하고 이에 맞는 최적의 설계값을 결정하는 데 도움이 되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치의 구성을 개략적으로 설명하기 위한 도면이고,
도 2는 도 1의 이미지 전처리 모듈의 구성을 나타낸 블록도이고,
도 3은 도 1의 출력 모듈에 의해 생성되는 작업순서도 UI의 일례를 나타낸 도면이고,
도 4는 도 1의 검증부에 의한 검증 과정을 설명하기 위한 도면이고,
도 5는 도 1의 출력 모듈에 의해 생성되는 성능평가지표 UI의 일례를 나타낸 도면이고,
도 6은 도 1의 출력 모듈에 의해 생성되는 분류결과 UI의 일례를 나타낸 도면이고,
도 7은 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법을 개략적으로 나타낸 순서도이고,
도 8은 도 7의 이미지 전처리 단계를 더욱 상세히 나타낸 순서도이다.
도 2는 도 1의 이미지 전처리 모듈의 구성을 나타낸 블록도이고,
도 3은 도 1의 출력 모듈에 의해 생성되는 작업순서도 UI의 일례를 나타낸 도면이고,
도 4는 도 1의 검증부에 의한 검증 과정을 설명하기 위한 도면이고,
도 5는 도 1의 출력 모듈에 의해 생성되는 성능평가지표 UI의 일례를 나타낸 도면이고,
도 6은 도 1의 출력 모듈에 의해 생성되는 분류결과 UI의 일례를 나타낸 도면이고,
도 7은 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법을 개략적으로 나타낸 순서도이고,
도 8은 도 7의 이미지 전처리 단계를 더욱 상세히 나타낸 순서도이다.
이상과 같은 본 발명에 대한 해결하려는 과제, 과제의 해결수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치의 구성을 개략적으로 설명하기 위한 도면이고, 도 2는 도 1의 이미지 전처리 모듈의 구성을 나타낸 블록도이고, 도 3은 도 1의 출력 모듈에 의해 생성되는 작업순서도 UI의 일례를 나타낸 도면이고, 도 4는 도 1의 검증부에 의한 검증 과정을 설명하기 위한 도면이고, 도 5는 도 1의 출력 모듈에 의해 생성되는 성능평가지표 UI의 일례를 나타낸 도면이고, 도 6은 도 1의 출력 모듈에 의해 생성되는 분류결과 UI의 일례를 나타낸 도면이다.
이하, 전술한 도면들을 참조하여 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치에 대해 설명하도록 한다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치는 이미지 전처리 모듈(100), 학습모델 DB부(200), 학습모델 설정 모듈(300), 확률값 산출 모듈(500) 및 출력 모듈(600)을 포함하여 구성된다.
이미지 전처리 모듈(100)은 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET(Position Emission Tomography, 양전자 방출 단층 촬영) 기법에 따라 복수 개의 단층 촬영 이미지를 획득한 후, 상기 단층 촬영 이미지를 기설정된 영상처리 기법에 따라 정규화하여 합성곱 신경망(Convolution Neural Networks; CNN)에 따른 소정의 학습모델에 적용하기 위한 이미지 데이터셋을 획득한다.
구체적으로, 이미지 전처리 모듈(100)에 의해 상기 기설정된 영상처리 기법에 따라 정규화하는 과정은, 상기 단층 촬영 이미지에서 뇌 영역에 대응하는 객체 영역과 배경 영역이 구분되도록 상기 촬영 이미지에 기설정된 템플릿 또는 마스크를 적용하여 상기 단층 촬영 이미지에 대한 기설정된 기준에 따라 정규화를 수행함에 따른 정규화된 단층 촬영 이미지를 생성하고, 상기 정규화된 단층 촬영 이미지의 픽셀값 분포를 기설정된 범위에 맞게 변환함에 따른 표준화된 단층 촬영 이미지를 생성하는 것일 수 있다.
이와 관련하여, 이미지 전처리 모듈(100)은 도 2에 도시된 바와 같이 이미지 입력부(110), 편평화부(120), 공간 정규화부(130), 강도 정규화부(140), 강조화부(150), 스케일링부(160), 표준화부(170) 및 최소최대 정규화부(180)를 포함할 수 있다.
이미지 입력부(110)는 복수 개의 단층 촬영 이미지를 입력받는 역할을 한다.
여기서, 이미지 입력부(110)는 아밀로이드 PET 방사성 추적자(Amyloid PET Radiotracer)가 포함된 방사성 화합물에 기초한 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 것일 수 있다.
이러한 단층 촬영 이미지는 뇌 영역에 해당하는 부분을 경계로 하여 테두리가 형성되어 표시되며, 소정의 뇌 영역에 병이 존재하는 경우엔 해당 뇌 영역에 속하는 세포 또는 조직 부분의 픽셀이 아밀로이드의 침착(Brain Amyloid Plague Load)에 의한 양성 반응으로서 검은색 부분에 대비되는 회색 또는 하얀색으로 나타나는 픽셀 부분의 색상, 즉, 하얀색에 가까운 색상을 가지는 것일 수 있다.
또한, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 데 있어서, 아밀로이드 제재의 투여시점으로부터 30분 내지 2시간 정도의 시간이 경과된 후 10분 내지 60분의 기간 동안 단층 촬영을 수행함에 따른 복수 개의 단층 촬영 이미지를 이미지 입력부(110)에서 입력받는 것일 수 있다.
이때, 상기 단층 촬영 이미지는 '가로(width) x 세로(height) x 두께(depth)'에 대한 값으로서 '400 x 400 x 110'의 픽셀 사이즈를 가지는 것일 수 있다.
편평화부(120)는 이미지 입력부(110)에 의해 입력된 상기 단층 촬영 이미지의 소정 영역에 대응하는 3D 좌표 정보를 가지는 각각의 복셀(voxel)의 값을 인접한 이웃 복셀의 값을 평균하는 방식으로 보정함에 따라 편평화한다.
여기서, 편평화부(120)는 가우시안 분포를 영상처리에 적용한 FWHM(Gaussian Full Width Half Maximum) 필터를 이용하여 정규분포 또는 확률분포에 의해 생성된 잡음을 제거하는 역할을 하며, 상기 FWHM 필터의 사용 시 특정 픽셀의 이미지를 결정할 때 사용하는 가중치 행렬에 해당하는 커널(kernel)에 대한 값은 3mm으로 하는 것이 바람직하다.
공간 정규화부(130)는 기설정된 제1 템플릿에 기초하여 편평화부(120)에 의해 편평화된 이미지에서 뇌 영역 이외의 영역을 제거함에 따라 공간 정규화한다.
여기서, 상기 기설정된 제1 템플릿은 뇌 영역에 대응하는 객체 영역과 배경 영역을 구분하도록 상기 객체 영역에 대응하는 픽셀의 위치 좌표에 따라 기설정된 상태일 수 있다.
구체적으로, 공간 정규화부(130)는, 편평화부(120)에 의해 편평화된 이미지를 입력받아 이를 상기 제1 템플릿을 기준으로 상기 객체 영역이 상기 단층 촬영 이미지의 중앙에 위치하도록 해당 영역의 픽셀 위치를 이동 변환하는 워핑(warping) 기법을 수행한 후 상기 객체 영역을 경계로 한 테두리의 배경 영역을 제거하는 크로핑(cropping) 기법을 수행함으로써 공간 정규화하는 것일 수 있다.
이때, 전술한 이미지 입력부(110)에 의해 입력된 단층 촬영 이미지의 경우, 아밀로이드가 침착된 정도에 따라서 고음영 부분과 저음영 부분으로 구분되는 뇌 영역과 이와 무관한 배경영역으로 구분할 수 있으며, 뇌 영역과 배경 영역을 대비 하면 명도 값의 차이가 큰 상태일 수 있다.
여기서, 상기 크로핑 기법은 상기 단층 촬영 이미지에서 인접해 있는 픽셀들 간의 픽셀값을 비교하여 차이가 큰 경우를 변화하는 경계, 즉, 에지에 해당하는 부분으로 하여 에지 영역을 추출한 후 에지 내부의 영역을 뇌 영역으로 하여 배경 영역을 제거하는 것일 수 있다.
예컨대, 공간 정규화부(130)는 상기 크로핑 기법의 수행 시 에지 검출을 수행함에 따라 추출되는 에지 성분들에 각각 대응되는 픽셀들을 연결하여 폐곡선을 생성하도록 하고 곡률 반경이 작은 쪽인 폐곡선의 안쪽을 뇌 영역으로 추출하여 배경 영역을 제거하는 것일 수 있다.
이때, 공간 정규화부(130)에 의해 상기 크로핑된 이미지의 픽셀 사이즈는 '400 x 400 x 110'에서 '95 x 79 x 68'로 변환될 수 있다.
강도 정규화부(140)는 기설정된 마스크를 적용하여 공간 정규화부(130)에 의해 공간 정규화된 이미지의 전체 영역을 뇌 병변과 무관한 영역의 밝기값으로 정규화함에 따라 강도 정규화한다.
여기서, 상기 기설정된 마스크는 병의 유무에 따라 아밀로이드 침착이 결정되는 영역을 나타내는 특이성 섭취영역(specific uptake region)과 병의 유무에 상관없이 항상 아밀로이드 침착이 되는 영역을 나타내는 비특이성 섭취영역(non-specific uptake region)을 구분하도록 상기 특이성 섭취영역에 대응하여 기설정된 상태일 수 있다.
이때, 상기 뇌병변과 무관한 영역은 상기 비특이성 섭취영역일 수 있으며, 전술한 바와 같은 상기 강도화가 완료된 이미지를 이용할 경우, 환자 간 단층 촬영 영상에서 특이성 섭취영역에 기초한 절대적 및 상대적 비교를 용이하게 수행할 수 있게 된다.
강조화부(150)는 기설정된 제2 템플릿과 강도 정규화부(140)에 의해 강도 정규화된 이미지에 각각 대응하는 픽셀 간 곱을 이용하여 상기 강도 정규화된 이미지에서 두개골 영역을 제거하여 뇌조직 영역을 강조 처리한다.
여기서, 상기 기설정된 제2 템플릿은 뇌 영역 중 뇌조직을 제외한 두개골(skull) 영역에 해당하는 뇌의 회백질(gray matter) 및 백질(white matter)에 대응하는 픽셀의 위치 좌표에 따라 기설정된 상태일 수 있다.
스케일링부(160)는 강조화부(150)에 의해 강조 처리된 이미지가 가지는 픽셀값들을 기설정된 범위 내의 값으로 축소 변환한다.
이때, 스케일링부(160)에 의해 스케일링된 이미지의 픽셀 사이즈는 '95 x 79 x 68'에서 '64 x 64 x 64'로 변환될 수 있다.
표준화부(170)는 스케일링부(160)에 의해 스케일링된 이미지의 픽셀값 분포를 표준 정규분포로 변환한다.
여기서, 표준화부(170)는 아래의 수학식 1에 따라 입력 데이터인 상기 스케일링된 이미지의 픽셀의 분포를 표준 정규분포로 변환할 수 있다.
여기서, Z는 표준 정규분포값이고, x는 표준정규분포의 대상이 되는 상기 스케일링된 이미지의 픽셀값이고, m은 단층 촬영 이미지가 가지는 픽셀값의 평균값이며, SD는 단층 촬영 이미지가 가지는 픽셀값의 표준편차를 나타낸다.
최소최대 정규화부(180)는 표준화부(170)에 의해 표준 정규분포로 변환된 이미지의 픽셀값의 최소값 및 최대값을 각각 0과 1로 정규화하여 0 내지 1 범위의 분포를 가지도록 변환한다.
학습모델 DB부(200)는 합성곱 신경망에 따른 이미지 학습이 수행가능하며 학습결과 기설정된 복수 개의 분류값들 중 어느 하나의 분류값에 대한 확률값이 출력 가능한 복수 개의 학습모델들을 저장한 상태이다.
여기서, 상기 학습모델들은 합성곱 신경망(CNN)에 대한 알고리즘을 기반으로 소프트맥스(softmax) 함수를 이용하는 것으로서, 콘볼루션 연산을 통해 입력 이미지를 변환하는 콘볼루션 계층(convolution layer)과 변환된 이미지에서 특정 영역에 있는 픽셀들을 묶어서 하나의 대표값으로 축소함에 따라 해당 이미지의 차원을 줄이는 풀링 계층(pooling layer)을 포함할 수 있으며, VGG, Inception(GoogLeNet), DenseNet, ResNet 중 어느 하나에 기초하여 2차원 및 3차원 이미지 또는 영상을 이용한 학습에 이용되는 학습모델일 수 있다.
예컨대, 2D 이미지 또는 영상을 이용한 학습 모델로는 VGG16, VGG19, Inception-V3(GoogLeNet), ResNet50, DenseNet121을 포함하고, 3D 이미지 또는 영상을 이용한 학습 모델로는 Modified VGG, Modified Inception, Modifid DenseNet, Modified Resnet을 포함할 수 있다.
학습모델 설정 모듈(300)은 학습모델 DB부(200)에 포함된 복수 개의 학습모델들 중 어느 하나를 사용자의 입력에 따라 선택받으며, 학습률, 클래스 개수, 전체학습 반복 횟수 각각에 대응되는 설계값들을 사용자로부터 입력받는다.
여기서, 상기 설계값들은 학습 모델에 의한 학습 수행 시 측정되거나 데이터로 학습됨에 따라 최적의 값으로 수렴하는 파라미터값(parameter)과는 달리 학습 모델의 설계 시 사용자의 선택에 따라 직접 설정되는 하이퍼파라미터값(hyperparameter)에 해당하는 것일 수 있다.
학습률(learning rate)은 한번에 어느 정도를 학습할지 학습양을 결정하는 것으로서, 일반적으로 최적의 학습률은 최대 학습률의 절반에 해당하며, 이러한 학습률을 너무 높게 설정하면 학습 속도가 빠르거나 수렴하지 않고 반대로 너무 낮게 설정하면 학습 속도가 매우 느리게 된다.
전체학습 반복 횟수(epoch)는 인공 신경망에서 전체 학습 데이터에 대하여 입력층에서 은닉층 방향으로 이동하면서 학습하는 순전파(forward propagation)와, 상기 순전파와 반대 방향으로 이동하면서 학습하는 역전파(back propagation)를 1회 수행한 상태를 1에포크(epoch)라고 함에 따라 이러한 학습을 몇번 반복하여 수행할 것인지에 대한 값으로서, 적절한 에포크값이 설정되어야 과소적합(underfitting)과 과적합(overfitting)을 방지할 수 있게 된다.
클래스(class)는 추후 설명할 확률값 산출 모델(500)에 의해 분류하고자 하는 선택지의 개수를 나타내는 것으로서, 본 발명에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치의 경우, 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도를 수치화함에 따른 진단 분류 개수가 상기 클래스의 개수에 대응하도록 복수 개의 임계값을 설정하는 것일 수 있다.
예컨대, 만약 상기 클래스가 3개라면, 상기 아밀로이드 제재가 침착된 정도가 제1 임계값 이하일 경우는 제1 클래스로 분류하고, 제1 임계값을 초과하고 제2 임계값 이하일 경우는 제2 클래스로 분류하고, 제2 임계값을 초과할 경우는 제3 클래스로 분류하게 된다.
확률값 산출 모듈(500)은 이미지 처리 모듈(100)에 의해 획득된 이미지 데이터셋 중 일부에 대한 지도 학습을 완료한 후 학습되지 않은 소정의 이미지 데이터셋에 대한 확률값을 산출하는 역할을 한다.
구체적으로, 확률값 산출 모듈(500)은 이미지 처리 모듈(100)에 의해 획득된 이미지 데이터셋을 기설정된 기준에 따라 학습 이미지와 평가대상 이미지로 구분한 상태에서, 상기 학습모델 설정 모듈에서 선택된 학습모델에 상기 학습 이미지들을 적용하고 상기 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들과, 상기 평가대상 이미지에 기초하여 아밀로이드 제재가 침착된 정도에 대응하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 사후 확률값을 산출할 수 있다.
사후 확률은 사건 발생 후에 어떤 원인으로부터 일어난 것이라고 생각되어지는 확률로서, 두 확률 변수의 사전 확률(prior)과 사후 확률(posterior) 사이의 관계를 나타내는 베이즈 정리(Bayes' theorem)를 이용하여 추정될 수 있으며, 상기 베이즈 정리에 대한 정의를 수식으로 정리하면 아래의 수학식 2와 같다.
여기서, p(x)는 특정 개체가 발생할 확률, 즉, 사전 확률을 나타내고, p(c)는 특정 그룹 c가 발생할 빈도, 즉, 클래스 사전 고유 확률(class prior probability)을 나타내고, p(x|c)는 특정 그룹 c에 특정 개체 x가 속할 조건부 확률이며 가능성(Likehood)을 나타내고, p(c|x)는 특정 개체 x가 특정 그룹 c에 속할 사후 확률을 나타낸다.
이때, 확률값 산출 모듈(500)은 본 발명에 따른 합성곱 신경망(CNN) 알고리즘에 기초한 학습모델에서 각 클래스에 대한 확률을 추정하는 역할을 하는 소프트맥스(softmax) 함수를 이용하여 상기 사후 확률값을 산출하는 것일 수 있다.
예컨대, 학습모델 설정 모듈(300)에 의해 설정된 클래스 개수가 k일 때, 확률값 산출 모듈(500)은 소프트맥스(softmax) 함수를 이용하여 k차원의 벡터를 입력받아 각 클래스에 대한 확률을 추정할 수 있다.
출력 모듈(600)은 확률값 산출 모듈(500)에 의해 산출된 사후 확률값과 이에 대응되는 클래스에 대응하여 기저장된 질환명 분류값을 상기 평가대상 이미지와 함께 화면상의 소정 영역에 표시하는 분류 결과 UI를 생성한다.
상기 분류 결과 UI는 도 6에 도시된 바와 같이 '_①_ %확률로 _②_로 분류됩니다'라는 소정 문구의 메시지를 화면 상단 영역에 표시하되, 상기 산출된 사후 확률값은 ①에 해당하는 공백 영역에 표시하고 상기 클래스에 대응되는 질환명 분류값은 ②에 해당하는 공백 영역에 표시하는 것일 수 있으며, 상기 평가대상 이미지 또는 상기 평가대상 이미지에 기초하여 소프트맥스(softmax) 함수에 의해 출력된 분류 결과를 시각화한 활성화맵(activation map)을 화면 중앙 영역에 함께 표시하는 것일 수 있다.
이 경우, 학습모델에 진단대상자의 단층 촬영 이미지를 적용하여 도출되는 뇌질환 예측 결과를 UI 형태로 화면상에 직관적으로 표시함에 따라 의사의 최종 진단에 도움이 되는 효과가 있다.
또한, 출력 모듈(600)은, 이미지 전처리 모듈(100)에 의해 순차적으로 수행되는 기설정된 복수 개의 영상처리 기법에 의한 전처리 작업 각각에 대응하도록 도식화한 기저장된 복수 개의 작업 아이콘 이미지를 소정 영역에 배치하여 표시하는 작업순서도 UI를 생성한다.
구체적으로, 출력 모듈(600)은 도 3에 도시된 바와 같이 상기 기저장된 복수 개의 작업 아이콘 이미지(31~37)를 화면상의 소정 영역에 기설정된 순서 정보에 따라 배열하되, 인접한 한 쌍의 상기 작업 아이콘 이미지 사이의 빈 영역에 작업 간 연결관계를 나타내는 노드 아이콘 이미지 또는 상기 순서 정보에 기초한 작업 순서를 나타내는 화살표 아이콘 이미지(40)를 배치하여 표시하는 작업순서도 UI를 생성할 수 있다.
예컨대, 도 3을 참조하면, 상기 작업순서도 UI는 복수 개의 단층 촬영 이미지를 입력받는 이미지 입력부(110)에 대응하는 제1 작업 아이콘 이미지(31)와, 상기 입력된 단층 촬영 이미지를 편평화하는 편평화부(120)에 대응하는 제2 작업 아이콘 이미지(31)와, 기설정된 제1 템플릿에 기초하여 상기 편평화된 이미지에서 뇌 영역과 무관한 영역을 제거함에 따라 공간 정규화하는 공간 정규화부(130)에 대응하는 제3 작업 아이콘 이미지(33)와, 기설정된 마스크를 적용하여 상기 공간 정규화된 이미지의 전체 영역을 뇌 병변과 무관한 영역의 밝기값으로 정규화함에 따라 강도 정규화하는 강도 정규화부(140)에 대응하는 제4 작업 아이콘 이미지(34)와, 기설정된 제2 템플릿과 상기 강도 정규화된 이미지에 기초하여 뇌조직 영역을 강조 처리하는 강조화부(150)에 대응하는 제5 작업 아이콘 이미지(35)와, 상기 강조 처리된 이미지가 가지는 픽셀값들을 기설정된 범위 내의 값으로 축소 변환하는 스케일링부(160)에 대응하는 제6 작업 아이콘 이미지(36)와, 상기 스케일링된 이미지의 픽셀값 분포를 표준 정규분포로 변환하는 표준화부(170)에 대응하는 제7 작업 아이콘 이미지(37)와, 상기 표준정규분포로 변환된 이미지의 픽셀값이 0 내지 1 범위의 분포를 가지도록 변환하는 최소최대 정규화부(180)에 대응하는 제8 작업 아이콘 이미지(38)가 도 2에 도시된 각 구성 간의 순차적 연결관계에 기초한 순서 정보에 따라 일렬로 배치되되 일정 간격 이격된 상태로 화면의 중앙 영역에 표시되는 것일 수 있다.
또한, 상기 작업순서도 UI는 인접한 한 쌍의 작업 아이콘 이미지에 해당하는 제1 및 제2 작업 아이콘 이미지(31,32), 제2 및 제3 작업 아이콘 이미지(32,33), 제3 및 제4 작업 아이콘 이미지(33,34), 제4 및 제5 작업 아이콘 이미지(34,35), 제5 및 제6 작업 아이콘 이미지(35,36), 제6 및 제7 작업 아이콘 이미지(36,37), 제7 및 제8 작업 아이콘 이미지(37,38) 사이의 빈 영역에 작업 순서를 나타내는 화살표 아이콘 이미지(40)를 함께 배치하여 표시하는 것일 수 있다.
한편, 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치는 도 1에 도시된 바와 같이 전술한 구성들과 더불어 데이터셋 그룹화부(420), 데이터셋 유형 설정부(440), 검증부(460) 및 결과 산출부(480)를 더 포함할 수도 있다.
데이터셋 그룹화부(420)는 이미지 전처리 모듈(100)에 의해 획득된 이미지 데이터셋을 구성하는 복수 개의 이미지를 기설정된 그룹 수를 가지도록 일정 개수로 분할하여 그룹화한 복수 개의 분할 이미지 데이터셋(폴드; fold)을 생성한다.
예컨대, 상기 이미지 데이터셋을 구성하는 이미지가 총 120개라고 할 때, 만일 상기 그룹 수가 '3'으로 기설정된 상태라면, 데이터셋 그룹화부(420)는 상기 이미지 데이터셋이 3개의 그룹이 되도록 40개씩 분할하여 3개의 분할 이미지 데이터셋을 생성하게 된다.
데이터셋 유형 설정부(440)는 데이터셋 그룹화부(420)에 의해 생성된 복수 개의 분할 이미지 데이터셋 중 어느 하나를 학습모델의 성능을 평가하기 위한 평가대상 이미지로 설정하고 상기 복수 개의 분할 이미지 데이터셋 중 나머지는 학습모델의 훈련을 위한 학습 이미지로 설정한다.
상기 학습 이미지는 합성곱 신경망(CNN) 알고리즘에 의한 학습 모델의 지도 학습의 훈련에 사용하기 위한 데이터로서 트레이닝셋(training set) 또는 밸리데이션셋(validation set)일 수 있고, 상기 평가대상 이미지는 학습모델의 일반화 여부를 확인하기 위하여 사전에 학습되지 않은 데이터로서 테스트셋(test set)일 수 있다.
여기서, 상기 트레이닝셋(training set)은 학습 모델이 실제로 학습을 수행하면서 최적의 파라미터값을 결정하는데 사용되고, 상기 밸리데이션셋(validation set)은 학습을 수행함에 따라 해당 학습 모델에 설정된 학습률 등의 하이퍼파라미터값의 다양한 조합에 대한 모델의 예측/분류 정확도를 계산하는데 사용되고, 상기 테스트셋(test set)은 실제 학습이 완료된 학습 모델을 평가하는데 사용될 수 있다.
검증부(460)는 학습모델 설정 모듈(300)에서 선택된 학습모델에 학습 이미지와 평가대상 이미지를 각각 적용하고 학습모델 설정 모듈(300)에 의해 사용자로부터 입력된 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들에 대한 비교를 수행하는 검증 프로세스를 수행한다.
결과 산출부(480)는 검증부(460)에 의해 검증 프로세스에서 수행된 비교 결과에 기초한 정확도값을 산출한다.
여기서, 상기 검증 프로세스는, 상기 학습 이미지를 상기 선택된 학습모델에 적용한 상태로 상기 설계값에 대응되도록 하는 학습 훈련을 수행함에 따라 제1 학습 파라미터를 도출하고, 상기 평가 대상 이미지를 상기 선택된 학습모델에 적용한 상태로 상기 설계값에 대응되도록 하는 테스트를 수행함에 따라 제2 학습 파라미터를 도출한 후, 상기 제1 학습 파라미터와 상기 제2 학습 파라미터를 비교하는 것이고, 상기 정확도값은 상기 제1 학습 파라미터와 상기 제2 학습 파라미터를 비교한 값일 수 있다.
또한, 본 발명에 따른 딥러닝 기반의 PET 영상 분류 장치의 경우, 전술한 데이터셋 그룹화부(420), 데이터셋 유형 설정부(440), 검증부(460) 및 결과 산출부(480)의 구성을 이용하여 도 4에 도시된 바와 같은 교차 검증을 수행할 수도 있다.
이때, 학습모델 설정 모듈(300)은 학습모델의 성능을 평가하기 위한 검증을 수행하는 횟수에 대한 검증횟수 설정값(k)을 사용자로부터 추가로 입력받는 것일 수 있다.
이 경우, 데이터셋 그룹화부(420)는 학습모델 설정 모듈(300)을 통해 입력받은 검증횟수 설정값(k)에 대응되는 그룹 수의 상기 분할 이미지 데이터셋을 생성하고, 데이터셋 유형 설정부(440)는 상기 검증횟수 설정값(k)에 기초한 설정 횟수만큼 반복하여 상기 복수 개의 분할 이미지 데이터셋 중 어느 하나를 상기 평가대상 이미지로 설정하되 매 회차마다 상기 평가대상 이미지가 중복되지 않게 달리 설정되도록 할 수 있다.
또한, 검증부(460)는 상기 검증 프로세스를 상기 검증횟수 설정값(k)에 대응하는 횟수만큼 반복하여 교차 검증을 수행하고, 결과 산출부(480)는 각각의 상기 검증 프로세스에서 수행된 비교 결과에 기초한 회차별 정확도값을 이용하여 상기 정확도값에 대한 표준편차값을 산출하는 것일 수 있다.
예컨대, 도 4를 참조하면, 만약 학습모델 설정 모듈(300)에 의해 입력받은 검증횟수 설정값(k)이 '4'인 경우, 데이터셋 그룹화부(420)는 이미지 전처리 모듈(100)에 의해 획득된 이미지 데이터셋을 구성하는 복수 개의 이미지를 '4'개의 그룹으로 분할하여 그룹화함에 따라 4개의 분할 이미지 데이터셋을 생성하게 된다.
이후, 데이터셋 유형 설정부(440)는 생성된 4개의 분할 이미지 데이터셋(D1,D2,D3,D4)을 총 4회차에 걸쳐 매 회차마다 하나씩 중복되지 않게 상기 평가대상 이미지로 설정하고 매 회차마다 상기 평가대상 이미지로 설정되지 않은 나머지 3개의 분할 이미지 데이터셋은 상기 학습 이미지로 설정하게 된다.
구체적으로, 1회차에 제1 분할 이미지 데이터셋(D1)을 평가대상 이미지로 설정하면 나머지 3개의 분할 이미지 데이터셋(D2,D3,D4)은 학습 이미지로 설정하고, 2회차에 제2 분할 이미지 데이터셋(D2)을 평가대상 이미지로 설정하면 나머지 3개의 분할 이미지 데이터셋(D1,D3,D4)은 학습 이미지로 설정하고, 3회차에 제3 분할 이미지 데이터셋(D3)을 평가대상 이미지로 설정하면 나머지 3개의 분할 이미지 데이터셋(D1,D2,D4)은 학습 이미지로 설정하고, 4회차에 제4 분할 이미지 데이터셋(D4)을 평가대상 이미지로 설정하면 나머지 3개의 분할 이미지 데이터셋(D1,D2,D3)은 학습 이미지로 설정하게 된다.
이후, 검증부(460)가 상기 검증 프로세스를 1회차, 2회차, 3회차, 4회차에 걸쳐 4번 반복하는 교차검증을 수행하면, 결과 산출부(480)는 상기 교차검증에 기초하여 상기 검증 프로세스를 1회차 수행함(expr_1)에 따라 산출된 제1 정확도값(result_1)과, 상기 검증 프로세스를 2회차 수행함(expr_2)에 따라 산출된 제2 정확도값(result_2)과, 상기 검증 프로세스를 3회차 수행함(expr_3)에 따라 산출된 제3 정확도값(result_3)과, 상기 검증 프로세스를 4회차 수행함(expr_4)에 따라 산출된 제4 정확도값(result_4)을 각각 산출하고, 상기 제1 정확도값, 상기 제2 정확도값, 상기 제3 정확도값, 상기 제4 정확도값의 평균을 구한 다음 이에 기초한 표준편차값(result_sd)을 산출하게 된다.
즉, 전술한 본 발명에 의하면, 학습모델에 적용되는 이미지 데이터셋 중 일부만 학습 훈련을 수행하고 나머지는 평가에 사용하는 검증을 수행하되, 평가대상이 되는 이미지를 회차마다 다르게 변경하면서 여러 번 검증하여 모든 이미지 데이터셋을 평가 및 훈련에 활용되도록 함으로써, 특정 평가 데이터에 대한 학습모델의 과적합을 방지하고 예측 정확도를 더욱 높일 수 있는 효과가 있다
이때, 출력 모듈(600)은, 학습모델 설정 모듈(300)에서 선택된 학습모델에 상기 설계값에 대응되도록 학습이 수행되는 경우의 성능 평가 결과로서 도 5에 도시된 바와 같이 상기 산출된 정확도값과 표준편차값 중 적어도 하나에 기초한 표(20) 또는 그래프(11~14)를 생성하여 화면상의 소정 영역에 표시하는 성능평가지표 UI를 생성할 수 있다.
예컨대, 도 5를 참조하면, 상기 성능평가지표 UI는, 결과 산출부(480)에 의해 산출된 정확도값 및 표준편차값에 기초하여 단위 에포크(epoch)당 학습 이미지에 대한 정확도(accuracy) 및 손실(loss)을 그래프로 나타내되, 만약 데이터셋 유형 설정부(440)에서 상기 학습 이미지에 트레이닝셋(training set)과 밸리데이션셋(validation set)이 모두 포함된 상태라면, 트레이닝셋(training set)과 밸리데이션셋(validation set) 각각에 대한 정확도 및 손실에 대한 그래프(11~14)를 따로 생성한 후 이를 화면 상단 영역에 표시하는 것일 수 있다.
또한, 상기 성능평가지표 UI는, 결과 산출부(480)에 의해 산출된 정확도값 및 표준편차값에 기초한 아밀로이드의 침착 정도에 따른 BAPL(Brain Amyloid Plague Load) 점수로서 BAPL 1(음성반응), BAPL 2(약한 양성반응), BAPL 3(강한 양성반응)로 예측되는 결과에 대한 정확도 및 재현율(recall)을 표(20)로 정리하여 화면 중앙 영역에 함께 표시하는 것일 수 있다.
이 경우, 학습모델의 검증 과정을 통한 성능 평가 결과를 참고자료로서 쉽게 이용 가능한 UI 형태로 표시함에 따라 학습모델의 설계 시 적절한 학습모델을 선택하고 이에 맞는 최적의 설계값을 결정하는 데 도움이 되는 효과가 있다.
도 7은 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법을 개략적으로 나타낸 순서도이고, 도 8은 도 7의 이미지 전처리 단계를 더욱 상세히 나타낸 순서도이다.
이하, 전술한 도면들과 도 7 및 도 8을 참조하여 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법에 대해 설명하도록 한다.
먼저, 이미지 전처리 단계로서, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 복수 개의 단층 촬영 이미지를 획득한 후, 상기 단층 촬영 이미지를 기설정된 영상처리 기법에 따라 정규화하여 합성곱 신경망(CNN)에 따른 소정의 학습모델에 적용하기 위한 이미지 데이터셋을 획득한다(S100).
구체적으로, 이미지 전처리 단계(S100)는, 상기 단층 촬영 이미지에서 뇌 영역에 대응하는 객체 영역과 배경 영역이 구분되도록 상기 단층 촬영 이미지에 기설정된 템플릿 또는 마스크를 적용하여 상기 단층 촬영 이미지에 대한 기설정된 기준에 따라 정규화를 수행함에 따른 정규화된 단층 촬영 이미지를 생성하고, 상기 정규화된 단층 촬영 이미지의 픽셀값 분포를 기설정된 범위에 맞게 변환함에 따른 표준화된 단층 촬영 이미지를 생성하는 것일 수 있다.
이와 관련하여, 이미지 전처리 단계(S100)는 도 8에 도시된 바와 같이 이미지 입력 단계(S110), 편평화 단계(S120), 공간 정규화 단계(S130), 강도 정규화 단계(S140), 강조 처리 단계(S150), 스케일링 단계(S160), 표준화 단계(S170), 최대최소 정규화 단계(S180)를 포함할 수 있다.
이미지 입력 단계(S110)에서는 복수 개의 단층 촬영 이미지를 입력받는다.
여기서, 이미지 입력 단계(S110)는 아밀로이드 PET 방사성 추적자가 포함된 방사성 화합물에 기초한 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 것일 수 있다.
이때, 상기 단층 촬영 이미지는 '가로(width) x 세로(height) x 두께(depth)'에 대한 값으로서 '400 x 400 x 110'의 픽셀 사이즈를 가지는 것일 수 있다.
편평화 단계(S120)에서는 이미지 입력 단계(S110)에 입력된 상기 단층 촬영 이미지의 소정 영역에 대응하는 3D 좌표 정보를 가지는 각각의 복셀(voxel)의 값을 인접한 이웃 복셀의 값을 평균하는 방식으로 보정함에 따라 편평화한다.
여기서, 편평화 단계(S120)는 가우시안 분포를 영상처리에 적용한 FWHM(Gaussian Full Width Half Maximum) 필터를 이용하여 정규분포 또는 확률분포에 의해 생성된 잡음을 제거하는 것일 수 있으며, 상기 FWHM 필터의 사용 시 특정 픽셀의 이미지를 결정할 때 사용하는 가중치 행렬에 해당하는 커널(kernel)에 대한 값은 3mm으로 하는 것이 바람직하다.
공간 정규화 단계(S130)에서는 기설정된 제1 템플릿에 기초하여 편평화 단계(S120)를 통해 편평화된 이미지에서 뇌 영역 이외의 영역을 제거함에 따라 공간 정규화한다.
여기서, 상기 기설정된 제1 템플릿은 뇌 영역에 대응하는 객체 영역과 배경 영역을 구분하도록 상기 객체 영역에 대응하는 픽셀의 위치 좌표에 따라 기설정된 상태일 수 있다.
구체적으로, 공간 정규화 단계(S130)는, 편평화 단계(S120)를 통해 편평화된 이미지를 입력받아 이를 상기 제1 템플릿을 기준으로 상기 객체 영역이 상기 단층 촬영 이미지의 중앙에 위치하도록 해당 영역의 픽셀 위치를 이동 변환하는 워핑 기법을 수행한 후 상기 객체 영역을 경계로 한 테두리의 배경 영역을 제거하는 크로핑 기법을 수행함으로써 공간 정규화하는 것일 수 있다.
예컨대, 공간 정규화 단계(S130)는 상기 크로핑 기법의 수행 시 에지 검출을 수행함에 따라 추출되는 에지 성분들에 각각 대응되는 픽셀들을 연결하여 폐곡선을 생성하도록 하고 곡률 반경이 작은 쪽인 폐곡선의 안쪽을 뇌 영역으로 추출하여 배경 영역을 제거하는 것일 수 있다.
이때, 공간 정규화 단계(S130)에서 상기 크로핑된 이미지의 픽셀 사이즈는 '400 x 400 x 110'에서 '95 x 79 x 68'로 변환될 수 있다.
강도 정규화 단계(S140)에서는 기설정된 마스크를 적용하여 공간 정규화 단계(S130)를 통해 공간 정규화된 이미지의 전체 영역을 뇌 병변과 무관한 영역의 밝기값으로 정규화함에 따라 강도 정규화한다.
여기서, 상기 기설정된 마스크는 병의 유무에 따라 아밀로이드 침착이 결정되는 영역을 나타내는 특이성 섭취영역과 병의 유무에 상관없이 항상 아밀로이드 침착이 되는 영역을 나타내는 비특이성 섭취영역을 구분하도록 상기 특이성 섭취영역에 대응하여 기설정된 상태일 수 있다.
이때, 상기 뇌병변과 무관한 영역은 상기 비특이성 섭취영역일 수 있으며, 전술한 바와 같은 상기 강도화가 완료된 이미지를 이용할 경우, 환자 간 단층 촬영 영상에서 특이성 섭취영역에 기초한 절대적 및 상대적 비교를 용이하게 수행할 수 있게 된다.
강조 처리 단계(S150)에서는 기설정된 제2 템플릿과 강도 정규화 단계(S140)를 통해 강도 정규화된 이미지에 각각 대응하는 픽셀 간 곱을 이용하여 상기 강도 정규화된 이미지에서 두개골 영역을 제거하여 뇌조직 영역을 강조 처리한다.
여기서, 상기 기설정된 제2 템플릿은 뇌 영역 중 뇌조직을 제외한 두개골 영역에 해당하는 뇌의 회백질 및 백질에 대응하는 픽셀의 위치 좌표에 따라 기설정된 상태일 수 있다.
스케일링 단계(S160)에서는 강조 처리 단계(S150)를 통해 강조 처리된 이미지가 가지는 픽셀값들을 기설정된 범위 내의 값으로 축소 변환한다.
이때, 스케일링 단계(S160)에서 스케일링된 이미지의 픽셀 사이즈는 '95 x 79 x 68'에서 '64 x 64 x 64'로 변환될 수 있다.
표준화 단계(S170)에서는 스케일링 단계(S160)를 통해 스케일링된 이미지의 픽셀값 분포를 표준 정규분포로 변환한다.
여기서, 표준화 단계(S170)는 전술한 상기 수학식 1에 따라 입력 데이터인 상기 스케일링된 이미지의 픽셀의 분포를 표준 정규분포로 변환할 수 있다.
최대최소 정규화 단계(S180)에서는 표준화 단계(S170)를 통해 표준 정규분포로 변환된 이미지의 픽셀값의 최소값 및 최대값을 각각 0과 1로 정규화하여 0 내지 1 범위의 분포를 가지도록 변환한다.
다음으로, 학습모델 설정 단계로서, 기저장된 복수 개의 학습모델들 중 어느 하나를 사용자의 입력에 따라 선택받으며, 학습률, 클래스 개수, 전체학습 반복 횟수 각각에 대응되는 설계값들을 사용자로부터 입력받는다(S200).
여기서, 상기 학습모델들은 합성곱 신경망(CNN)에 대한 알고리즘을 기반으로 소프트맥스 함수를 이용함에 따라 합성곱 신경망(CNN)에 따른 이미지 학습이 수행가능하며 학습결과 기설정된 복수 개의 분류값들 중 어느 하나의 분류값에 대한 확률값이 출력 가능한 것으로서, VGG, Inception(GoogLeNet), DenseNet, ResNet 중 어느 하나에 기초하여 2차원 및 3차원 이미지 또는 영상을 이용한 학습에 이용되는 학습모델일 수 있다.
예컨대, 2D 이미지 또는 영상을 이용한 학습 모델로는 VGG16, VGG19, Inception-V3(GoogLeNet), ResNet50, DenseNet121을 포함하고, 3D 이미지 또는 영상을 이용한 학습 모델로는 Modified VGG, Modified Inception, Modifid DenseNet, Modified Resnet을 포함할 수 있다.
여기서, 상기 설계값들은 학습 모델에 의한 학습 수행 시 측정되거나 데이터로 학습됨에 따라 최적의 값으로 수렴하는 파라미터값과는 달리 학습 모델의 설계 시 사용자의 선택에 따라 직접 설정되는 하이퍼파라미터값에 해당하는 것일 수 있다.
다음으로, 데이터셋 그룹화 단계로서, 이미지 전처리 단계(S100)를 통해 획득된 이미지 데이터셋을 구성하는 복수 개의 이미지를 기설정된 그룹 수를 가지도록 일정 개수로 분할하여 그룹화한 복수 개의 분할 이미지 데이터셋을 생성한다(S310).
예컨대, 상기 이미지 데이터셋을 구성하는 이미지가 총 120개라고 할 때, 만일 상기 그룹 수가 '3'으로 기설정된 상태라면, 데이터셋 그룹화부(420)는 상기 이미지 데이터셋이 3개의 그룹이 되도록 40개씩 분할하여 3개의 분할 이미지 데이터셋을 생성하게 된다.
다음으로, 데이터셋 유형 설정 단계로서, 데이터셋 그룹화 단계(S310)를 통해 생성된 복수 개의 분할 이미지 데이터셋 중 어느 하나를 학습모델의 성능을 평가하기 위한 상기 평가대상 이미지로 설정하고 상기 복수 개의 분할 이미지 데이터셋 중 나머지는 학습모델의 훈련을 위한 상기 학습 이미지로 설정한다(S320).
상기 학습 이미지는 합성곱 신경망(CNN) 알고리즘에 의한 학습 모델의 지도 학습의 훈련에 사용하기 위한 데이터로서 트레이닝셋 또는 밸리데이션셋일 수 있고, 상기 평가대상 이미지는 학습모델의 일반화 여부를 확인하기 위하여 사전에 학습되지 않은 데이터로서 테스트셋일 수 있다.
다음으로, 검증 수행 단계로서, 학습모델 설정 단계(S200)에서 선택된 학습모델에 상기 학습 이미지와 상기 평가대상 이미지를 각각 적용하고 상기 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들에 대한 비교를 수행하는 검증 프로세스를 수행한다(S330).
다음으로, 검증 결과 산출 단계로서, 검증 수행 단계(S330)에 상기 검증 프로세스에서 수행된 비교 결과에 기초한 정확도값을 산출한다(S340).
여기서, 상기 검증 프로세스는, 상기 학습 이미지를 학습모델 설정 단계(S200)에 선택된 학습모델에 적용한 상태로 학습모델 설정 단계(S200)에 사용자로부터 입력받은 설계값에 대응되도록 하는 학습 훈련을 수행함에 따라 제1 학습 파라미터를 도출하고, 상기 평가 대상 이미지를 상기 선택된 학습모델에 적용한 상태로 상기 설계값에 대응되도록 하는 테스트를 수행함에 따라 제2 학습 파라미터를 도출한 후, 상기 제1 학습 파라미터와 상기 제2 학습 파라미터를 비교하는 것이고, 상기 정확도값은 상기 제1 학습 파라미터와 상기 제2 학습 파라미터를 비교한 값일 수 있다.
한편, 본 발명에 따른 딥러닝 기반의 PET 영상 분류 방법의 경우, 전술한 데이터셋 그룹화 단계(S310), 데이터셋 유형 설정 단계(S320), 검증 수행 단계(S330), 검증 결과 산출 단계(S340)를 이용하여 도 4에 도시된 바와 같은 교차 검증을 수행할 수도 있다.
이때, 학습모델 설정 단계(S200)에서는 학습모델의 성능을 평가하기 위한 검증을 수행하는 횟수에 대한 검증횟수 설정값(k)을 사용자로부터 추가로 입력받는 것일 수 있다.
이 경우, 데이터셋 그룹화 단계(S310)에서는 학습모델 설정 단계(S200)에 입력받은 검증횟수 설정값(k)에 대응되는 그룹 수의 상기 분할 이미지 데이터셋을 생성하고, 데이터셋 유형 설정 단계(S320)에서는 상기 검증횟수 설정값(k)에 기초한 설정 횟수만큼 반복하여 상기 복수 개의 분할 이미지 데이터셋 중 어느 하나를 상기 평가대상 이미지로 설정하되 매 회차마다 상기 평가대상 이미지가 중복되지 않게 달리 설정되도록 할 수 있다.
또한, 검증 수행 단계(S330)에서는 상기 검증 프로세스를 상기 검증횟수 설정값(k)에 대응하는 횟수만큼 반복하여 교차 검증을 수행하고, 검증 결과 산출 단계(S340)에서는 각각의 상기 검증 프로세스에서 수행된 비교 결과에 기초한 회차별 정확도값을 이용하여 상기 정확도값에 대한 표준편차값을 산출하는 것일 수 있다.
예컨대, 도 4를 참조하면, 만약 학습모델 설정 단계(S200)에 입력받은 검증횟수 설정값(k)이 '4'인 경우, 데이터셋 그룹화 단계(S310)에서는 이미지 전처리 단계(S100)를 통해 획득된 이미지 데이터셋을 구성하는 복수 개의 이미지를 '4'개의 그룹으로 분할하여 그룹화함에 따라 4개의 분할 이미지 데이터셋을 생성하게 된다.
이후, 데이터셋 유형 설정 단계(S320)에서는 생성된 4개의 분할 이미지 데이터셋(D1,D2,D3,D4)을 총 4회차에 걸쳐 매 회차마다 하나씩 중복되지 않게 상기 평가대상 이미지로 설정하고 매 회차마다 상기 평가대상 이미지로 설정되지 않은 나머지 3개의 분할 이미지 데이터셋은 상기 학습 이미지로 설정하게 된다.
구체적으로, 1회차에 제1 분할 이미지 데이터셋(D1)을 평가대상 이미지로 설정하면 나머지 3개의 분할 이미지 데이터셋(D2,D3,D4)은 학습 이미지로 설정하고, 2회차에 제2 분할 이미지 데이터셋(D2)을 평가대상 이미지로 설정하면 나머지 3개의 분할 이미지 데이터셋(D1,D3,D4)은 학습 이미지로 설정하고, 3회차에 제3 분할 이미지 데이터셋(D3)을 평가대상 이미지로 설정하면 나머지 3개의 분할 이미지 데이터셋(D1,D2,D4)은 학습 이미지로 설정하고, 4회차에 제4 분할 이미지 데이터셋(D4)을 평가대상 이미지로 설정하면 나머지 3개의 분할 이미지 데이터셋(D1,D2,D3)은 학습 이미지로 설정하게 된다.
이후, 검증 수행 단계(S330)에서 상기 검증 프로세스를 1회차, 2회차, 3회차, 4회차에 걸쳐 4번 반복하는 교차검증을 수행하면, 검증 결과 산출 단계(S340)에서는 상기 교차검증에 기초하여 상기 검증 프로세스를 1회차 수행함(expr_1)에 따라 산출된 제1 정확도값(result_1)과, 상기 검증 프로세스를 2회차 수행함(expr_2)에 따라 산출된 제2 정확도값(result_2)과, 상기 검증 프로세스를 3회차 수행함(expr_3)에 따라 산출된 제3 정확도값(result_3)과, 상기 검증 프로세스를 4회차 수행함(expr_4)에 따라 산출된 제4 정확도값(result_4)을 각각 산출하고, 상기 제1 정확도값, 상기 제2 정확도값, 상기 제3 정확도값, 상기 제4 정확도값의 평균을 구한 다음 이에 기초한 표준편차값(result_sd)을 산출하게 된다.
이때, 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법에서는 전술한 검증 결과 산출 단계(S340)에 의해 상기 정확도값 또는 상기 표준편차값이 산출되는 경우엔, 검증 결과 산출 단계(S340)와 확률값 산출 단계(S400) 사이에, 학습모델 설정 단계(S200)에 선택된 학습모델에 학습모델 설정 단계(S200)에 사용자로부터 입력받은 설계값에 대응되도록 학습이 수행되는 경우의 성능 평가 결과로서 도 5에 도시된 바와 같이 상기 산출된 정확도값과 표준편차값 중 적어도 하나에 기초한 표(20) 또는 그래프(11~14)를 생성하여 화면상의 소정 영역에 표시하는 성능평가지표 UI를 생성하는 단계(미도시)를 더 포함할 수도 있다
예컨대, 도 5를 참조하면, 상기 성능평가지표 UI는, 검증 결과 산출 단계(S340)를 통해 산출된 정확도값 및 표준편차값에 기초하여 단위 에포크(epoch)당 학습 이미지에 대한 정확도(accuracy) 및 손실(loss)을 그래프로 나타내되, 만약 데이터셋 유형 설정 단계(S320)에서 설정된 상기 학습 이미지에 트레이닝셋(training set)과 밸리데이션셋(validation set)이 모두 포함된 상태라면, 트레이닝셋(training set)과 밸리데이션셋(validation set) 각각에 대한 정확도 및 손실에 대한 그래프(11~14)를 따로 생성한 후 이를 화면 상단 영역에 표시하는 것일 수 있다.
또한, 상기 성능평가지표 UI는, 검증 결과 산출 단계(S340)를 통해 산출된 정확도값 및 표준편차값에 기초한 아밀로이드의 침착 정도에 따른 BAPL(Brain Amyloid Plague Load) 점수로서 BAPL 1(음성반응), BAPL 2(약한 양성반응), BAPL 3(강한 양성반응)로 예측되는 결과에 대한 정확도 및 재현율(recall)을 표(20)로 정리하여 화면 중앙 영역에 함께 표시하는 것일 수 있다.
이 경우, 학습모델의 검증 과정을 통한 성능 평가 결과를 참고자료로서 쉽게 이용 가능한 UI 형태로 표시함에 따라 학습모델의 설계 시 적절한 학습모델을 선택하고 이에 맞는 최적의 설계값을 결정하는 데 도움이 되는 효과가 있다.
다음으로, 확률값 산출 단계로서, 이미지 전처리 단계(S100)를 통해 획득된 이미지 데이터셋 중 일부에 대한 지도 학습을 완료한 후 학습되지 않은 소정의 이미지 데이터셋에 대한 확률값을 산출한다(S400).
구체적으로, 확률값 산출 단계(S400)에서는, 이미지 전처리 단계(S100)를 통해 획득된 이미지 데이터셋을 기설정된 기준에 따라 학습 이미지와 평가대상 이미지로 구분한 상태에서, 학습모델 설정 단계(S200)에서 선택된 학습모델에 상기 학습 이미지들을 적용하고 학습모델 설정 단계(S200)에 사용자로부터 입력받은 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들과, 상기 평가대상 이미지에 기초하여 아밀로이드 제재가 침착된 정도에 대응하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 사후 확률값을 산출할 수 있다.
이때, 확률값 산출 단계(S400)는 본 발명에 따른 합성곱 신경망(CNN) 알고리즘에 기초한 학습모델에서 각 클래스에 대한 확률을 추정하는 역할을 하는 소프트맥스 함수를 이용하여 상기 사후 확률값을 산출하는 것일 수 있다.
예컨대, 학습모델 설정 단계(S200)에 설정된 클래스 개수가 k일 때, 확률값 산출 단계(S400)에서는 소프트맥스 함수를 이용하여 k차원의 벡터를 입력받아 각 클래스에 대한 확률을 추정할 수 있다.
다음으로, 분류 결과 UI 생성 단계로서, 확률값 산출 단계(S400)를 통해 산출된 사후 확률값과 이에 대응되는 클래스에 대응하여 기저장된 질환명 분류값을 상기 평가대상 이미지와 함께 화면상의 소정 영역에 표시하는 분류 결과 UI를 생성한다(S500).
상기 분류 결과 UI는 도 6에 도시된 바와 같이 '_①_ %확률로 _②_로 분류됩니다'라는 소정 문구의 메시지를 화면 상단 영역에 표시하되, 상기 산출된 사후 확률값은 ①에 해당하는 공백 영역에 표시하고 상기 클래스에 대응되는 질환명 분류값은 ②에 해당하는 공백 영역에 표시하는 것일 수 있으며, 상기 평가대상 이미지 또는 상기 평가대상 이미지에 기초하여 소프트맥스 함수에 의해 출력된 분류 결과를 시각화한 활성화맵을 화면 중앙 영역에 함께 표시하는 것일 수 있다.
이 경우, 학습모델에 진단대상자의 단층 촬영 이미지를 적용하여 도출되는 뇌질환 예측 결과를 UI 형태로 화면상에 직관적으로 표시함에 따라 의사의 최종 진단에 도움이 되는 효과가 있다.
한편, 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법에서는 상기 이미지 전처리 단계(S100) 이후에 다음과 같은 작업순서도 UI 생성 단계(미도시)를 더 포함할 수도 있다.
상기 작업순서도 생성 단계에서는, 이미지 전처리 단계(S100)에서 순차적으로 수행되는 기설정된 복수 개의 영상처리 기법에 의한 전처리 작업 각각에 대응하도록 도식화한 기저장된 복수 개의 작업 아이콘 이미지를 소정 영역에 배치하여 표시하는 작업순서도 UI를 생성한다.
구체적으로, 상기 작업순서도 생성 단계는, 도 3에 도시된 바와 같이 상기 기저장된 복수 개의 작업 아이콘 이미지(31~37)를 화면상의 소정 영역에 기설정된 순서 정보에 따라 배열하되, 인접한 한 쌍의 상기 작업 아이콘 이미지 사이의 빈 영역에 작업 간 연결관계를 나타내는 노드 아이콘 이미지 또는 상기 순서 정보에 기초한 작업 순서를 나타내는 화살표 아이콘 이미지(40)를 배치하여 표시하는 작업순서도 UI를 생성할 수 있다.
예컨대, 도 3을 참조하면, 상기 작업순서도 UI는 상기 이미지 입력 단계(S110)에 대응하는 제1 작업 아이콘 이미지(31)와, 상기 편평화 단계(S120)에 대응하는 제2 작업 아이콘 이미지(31)와, 상기 공간 정규화 단계(S130)에 대응하는 제3 작업 아이콘 이미지(33)와, 상기 강도 정규화 단계(S140)에 대응하는 제4 작업 아이콘 이미지(34)와, 상기 강조 처리 단계(S150)에 대응하는 제5 작업 아이콘 이미지(35)와, 상기 스케일링 단계(S160)에 대응하는 제6 작업 아이콘 이미지(36)와, 상기 표준화 단계(S170)에 대응하는 제7 작업 아이콘 이미지(37)와, 상기 최대최소 정규화 단계(S180)에 대응하는 제8 작업 아이콘 이미지(38)가 도 8에 도시된 작업 순서에 따라 일렬로 배치되되 일정 간격 이격된 상태로 화면의 중앙 영역에 표시되는 것일 수 있다.
또한, 상기 작업순서도 UI는 인접한 한 쌍의 작업 아이콘 이미지에 해당하는 제1 및 제2 작업 아이콘 이미지(31,32), 제2 및 제3 작업 아이콘 이미지(32,33), 제3 및 제4 작업 아이콘 이미지(33,34), 제4 및 제5 작업 아이콘 이미지(34,35), 제5 및 제6 작업 아이콘 이미지(35,36), 제6 및 제7 작업 아이콘 이미지(36,37), 제7 및 제8 작업 아이콘 이미지(37,38) 사이의 빈 영역에 작업 순서를 나타내는 화살표 아이콘 이미지(40)를 함께 배치하여 표시하는 것일 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
특히, 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 수정의 기본으로써 즉시 사용될 수 있음이 해당 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.
또한, 상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 전술한 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 이미지 전처리 모듈
110: 이미지 입력부
120: 편평화부 130: 공간 정규화부
140: 강도 정규화부 150: 강조화부
160: 스케일링부 170: 표준화부
180: 최소최대 정규화부 200: 학습모델 DB부
300: 학습모델 설정 모듈 420: 데이터셋 그룹화부
440: 데이터셋 유형 설정부 460: 검증부
480: 결과 산출부 500: 확률값 산출 모듈
600: 출력 모듈
120: 편평화부 130: 공간 정규화부
140: 강도 정규화부 150: 강조화부
160: 스케일링부 170: 표준화부
180: 최소최대 정규화부 200: 학습모델 DB부
300: 학습모델 설정 모듈 420: 데이터셋 그룹화부
440: 데이터셋 유형 설정부 460: 검증부
480: 결과 산출부 500: 확률값 산출 모듈
600: 출력 모듈
Claims (16)
- 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 복수 개의 단층 촬영 이미지를 획득한 후, 상기 단층 촬영 이미지를 기설정된 영상처리 기법에 따라 정규화하여 합성곱 신경망에 따른 소정의 학습모델에 적용하기 위한 이미지 데이터셋을 획득하는 이미지 전처리 모듈;
합성곱 신경망에 따른 이미지 학습이 수행가능하며 학습결과 기설정된 복수 개의 분류값들 중 어느 하나의 분류값에 대한 확률값이 출력 가능한 복수 개의 학습모델들을 저장하는 학습모델 DB부;
상기 학습모델 DB부에 포함된 복수 개의 학습모델들 중 어느 하나를 사용자의 입력에 따라 선택받으며, 학습률, 클래스 개수, 전체학습 반복 횟수 각각에 대응되는 설계값들을 사용자로부터 입력받는 학습모델 설정 모듈;
상기 획득된 이미지 데이터셋을 기설정된 기준에 따라 학습 이미지와 평가대상 이미지로 구분한 상태에서, 상기 학습모델 설정 모듈에서 선택된 학습모델에 상기 학습 이미지들을 적용하고 상기 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들과, 상기 평가대상 이미지에 기초하여 아밀로이드 제재가 침착된 정도에 대응하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 사후 확률값을 산출하는 확률값 산출 모듈; 및
상기 사후 확률값과 이에 대응되는 클래스에 대응하여 기저장된 질환명 분류값을 상기 평가대상 이미지와 함께 화면상의 소정 영역에 표시하는 분류 결과 UI를 생성하는 출력 모듈;을 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치. - 제1항에 있어서,
상기 획득된 이미지 데이터셋을 구성하는 복수 개의 이미지를 기설정된 그룹 수를 가지도록 일정 개수로 분할하여 그룹화한 복수 개의 분할 이미지 데이터셋을 생성하는 데이터셋 그룹화부;
상기 복수 개의 분할 이미지 데이터셋 중 어느 하나를 학습모델의 성능을 평가하기 위한 상기 평가대상 이미지로 설정하고 상기 복수 개의 분할 이미지 데이터셋 중 나머지는 학습모델의 훈련을 위한 상기 학습 이미지로 설정하는 데이터셋 유형 설정부;
상기 학습모델 설정 모듈에서 선택된 학습모델에 상기 학습 이미지와 상기 평가대상 이미지를 각각 적용하고 상기 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들에 대한 비교를 수행하는 검증 프로세스를 수행하는 검증부; 및
상기 검증 프로세스에서 수행된 비교 결과에 기초한 정확도값을 산출하는 결과 산출부;를 더 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치. - 제2항에 있어서,
상기 학습모델 설정 모듈은 학습모델의 성능을 평가하기 위한 검증을 수행하는 횟수에 대한 검증횟수 설정값을 사용자로부터 추가로 입력받으며,
상기 데이터셋 그룹화부는 상기 검증횟수 설정값에 대응되는 그룹 수의 상기 분할 이미지 데이터셋을 생성하고,
상기 데이터셋 유형 설정부는 상기 검증횟수 설정값에 기초한 설정 횟수만큼 반복하여 상기 복수 개의 분할 이미지 데이터셋 중 어느 하나를 상기 평가대상 이미지로 설정하되 매 회차마다 상기 평가대상 이미지가 중복되지 않게 달리 설정되도록 하고,
상기 검증부는 상기 검증 프로세스를 상기 검증횟수 설정값에 대응하는 횟수만큼 반복하여 교차 검증을 수행하며,
상기 결과 산출부는 각각의 상기 검증 프로세스에서 수행된 비교 결과에 기초한 회차별 정확도값을 이용하여 상기 정확도값에 대한 표준편차값을 산출하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치. - 제3항에 있어서,
상기 출력 모듈은,
상기 학습모델 설정 모듈에서 선택된 학습모델에 상기 설계값에 대응되도록 학습이 수행되는 경우의 성능 평가 결과로서 상기 산출된 정확도값과 표준편차값 중 적어도 하나에 기초한 표 또는 그래프를 생성하여 화면상의 소정 영역에 표시하는 성능평가지표 UI를 생성하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치. - 제1항에 있어서,
상기 이미지 전처리 모듈은,
상기 복수 개의 단층 촬영 이미지를 입력받는 이미지 입력부;
상기 단층 촬영 이미지의 소정 영역에 대응하는 3D 좌표 정보를 가지는 각각의 복셀의 값을 인접한 이웃 복셀의 값을 평균하는 방식으로 보정함에 따라 편평화하는 편평화부;
뇌 영역에 대응하는 객체 영역과 배경 영역을 구분하도록 상기 객체 영역에 대응하는 픽셀의 위치 좌표에 따라 기설정된 제1 템플릿에 기초하여 상기 편평화된 이미지에서 상기 배경 영역을 제거함에 따라 공간 정규화하는 공간 정규화부;
뇌 병변의 유무가 관찰되는 특이성 섭취영역과 비특이성 섭취영역을 구분하도록 상기 특이성 섭취영역에 대응하여 기설정된 마스크를 적용하여 상기 공간 정규화된 이미지의 전체 영역을 상기 비특이성 섭취영역의 밝기값으로 정규화함에 따라 강도 정규화하는 강도 정규화부; 및
뇌 영역 중 뇌조직을 제외한 두개골 영역에 해당하는 뇌의 회백질 및 백질에 대응하는 픽셀의 위치 좌표에 따라 기설정된 제2 템플릿과 상기 강도 정규화된 이미지에 각각 대응하는 픽셀 간 곱을 이용하여 상기 강도 정규화된 이미지에서 상기 두개골 영역을 제거하여 상기 뇌조직 영역을 강조 처리하는 강조화부;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치. - 제5항에 있어서,
상기 이미지 전처리 모듈은,
상기 강조 처리된 이미지가 가지는 픽셀값들을 기설정된 범위 내의 값으로 축소 변환하는 스케일링부;
상기 스케일링된 이미지의 픽셀값 분포를 표준 정규분포로 변환하는 표준화부; 및
상기 표준 정규분포로 변환된 이미지의 픽셀값의 최소값 및 최대값을 각각 0과 1로 정규화하여 0 내지 1 범위의 분포를 가지도록 변환하는 최소최대 정규화부;를 더 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치. - 제5항에 있어서,
상기 공간 정규화부는,
상기 제1 템플릿을 기준으로 상기 편평화된 이미지에서 뇌 영역에 대응하는 객체 영역이 상기 단층 촬영 이미지의 중앙에 위치하도록 해당 영역의 픽셀 위치를 이동 변환하는 워핑을 수행한 후 상기 객체 영역을 경계로 한 테두리의 배경 영역을 제거하는 크로핑을 수행함으로써 공간 정규화하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치 - 제6항에 있어서,
상기 출력 모듈은,
상기 이미지 전처리 모듈에 의해 순차적으로 수행되는 기설정된 복수 개의 영상처리 기법에 의한 전처리 작업 각각에 대응하도록 도식화한 기저장된 복수 개의 작업 아이콘 이미지를 화면상의 소정 영역에 기설정된 순서 정보에 따라 배열하되, 인접한 한 쌍의 상기 작업 아이콘 이미지 사이의 빈 영역에 작업 간 연결관계를 나타내는 노드 아이콘 이미지 또는 상기 순서 정보에 기초한 작업 순서를 나타내는 화살표 아이콘 이미지를 배치하여 표시하는 작업순서도 UI를 생성하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 장치. - 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 복수 개의 단층 촬영 이미지를 획득한 후, 상기 단층 촬영 이미지를 기설정된 영상처리 기법에 따라 정규화하여 합성곱 신경망에 따른 소정의 학습모델에 적용하기 위한 이미지 데이터셋을 획득하는 이미지 전처리 단계;
합성곱 신경망에 따른 이미지 학습이 수행가능하며 학습결과 기설정된 복수 개의 분류값들 중 어느 하나의 분류값에 대한 확률값이 출력 가능한 복수 개의 학습모델들이 기저장된 상태에서, 상기 복수 개의 학습모델들 중 어느 하나를 사용자의 입력에 따라 선택받으며, 학습률, 클래스 개수, 전체학습 반복 횟수 각각에 대응되는 설계값들을 사용자로부터 입력받는 학습모델 설정 단계;
상기 획득된 이미지 데이터셋을 기설정된 기준에 따라 학습 이미지와 평가대상 이미지로 구분한 상태에서, 상기 학습모델 설정 모듈에서 선택된 학습모델에 상기 학습 이미지들을 적용하고 상기 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들과, 상기 평가대상 이미지에 기초하여 아밀로이드 제재가 침착된 정도에 대응하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 사후 확률값을 산출하는 단계; 및
상기 사후 확률값과 이에 대응되는 클래스에 대응하여 기저장된 질환명 분류값을 상기 평가대상 이미지와 함께 화면상의 소정 영역에 표시하는 분류 결과 UI를 생성하는 단계;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법. - 제9항에 있어서,
상기 학습모델 설정 단계와 상기 사후 확률값을 산출하는 단계 사이에,
상기 획득된 이미지 데이터셋을 구성하는 복수 개의 이미지를 기설정된 그룹 수를 가지도록 일정 개수로 분할하여 그룹화한 복수 개의 분할 이미지 데이터셋을 생성하는 데이터셋 그룹화 단계;
상기 복수 개의 분할 이미지 데이터셋 중 어느 하나를 학습모델의 성능을 평가하기 위한 상기 평가대상 이미지로 설정하고 상기 복수 개의 분할 이미지 데이터셋 중 나머지는 학습모델의 훈련을 위한 상기 학습 이미지로 설정하는 데이터셋 설정 단계;
상기 학습모델 설정 모듈에서 선택된 학습모델에 상기 학습 이미지와 상기 평가대상 이미지를 각각 적용하고 상기 설계값에 대응되도록 학습이 수행됨에 따라 도출되는 학습 파라미터들에 대한 비교를 수행하는 검증 프로세스를 수행하는 검증 수행 단계; 및
상기 검증 프로세스에서 수행된 비교 결과에 기초한 정확도값을 산출하는 검증 결과 산출 단계;를 더 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법. - 제10항에 있어서,
상기 학습모델 설정 단계에서는 학습모델의 성능을 평가하기 위한 검증을 수행하는 횟수에 대한 검증횟수 설정값을 사용자로부터 추가로 입력받고,
상기 데이터셋 그룹화 단계는 상기 검증횟수 설정값에 대응되는 그룹 수의 상기 분할 이미지 데이터셋을 생성하고,
상기 데이터셋 유형 설정 단계는, 상기 검증횟수 설정값에 기초한 설정 횟수만큼 반복하여 상기 복수 개의 분할 이미지 데이터셋 중 어느 하나를 상기 평가대상 이미지로 설정하되 매 회차마다 상기 평가대상 이미지가 중복되지 않게 달리 설정되도록 하고,
상기 검증 수행 단계는, 상기 검증 프로세스를 상기 검증횟수 설정값에 대응하는 횟수만큼 반복하여 교차 검증을 수행하며,
상기 검증 결과 산출 단계는, 각각의 상기 검증 프로세스에서 수행된 비교 결과에 기초한 회차별 정확도값을 이용하여 상기 정확도값에 대한 표준편차값을 산출하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법. - 제11항에 있어서,
상기 학습모델 설정 단계에서 선택된 학습모델에 상기 설계값에 대응되도록 학습이 수행되는 경우의 성능 평가 결과로서 상기 산출된 정확도값과 표준편차값 중 적어도 하나에 기초한 표 또는 그래프를 생성하여 화면상의 소정 영역에 표시하는 성능평가지표 UI를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법. - 제9항에 있어서,
상기 이미지 전처리 단계는,
상기 복수 개의 단층 촬영 이미지를 입력받는 단계;
상기 단층 촬영 이미지의 소정 영역에 대응하는 3D 좌표 정보를 가지는 각각의 복셀의 값을 인접한 이웃 복셀의 값을 평균하는 방식으로 보정함에 따라 편평화하는 단계;
뇌 영역에 대응하는 객체 영역과 배경 영역을 구분하도록 상기 객체 영역에 대응하는 픽셀의 위치 좌표에 따라 기설정된 제1 템플릿에 기초하여 상기 편평화된 이미지에서 상기 배경 영역을 제거함에 따라 공간 정규화하는 단계;
뇌 병변의 유무가 관찰되는 특이성 섭취영역과 비특이성 섭취영역을 구분하도록 상기 특이성 섭취영역에 대응하여 기설정된 마스크를 적용하여 상기 공간 정규화된 이미지의 전체 영역을 상기 비특이성 섭취영역의 밝기값으로 정규화함에 따라 강도 정규화하는 단계; 및
뇌 영역 중 뇌조직을 제외한 두개골 영역에 해당하는 뇌의 회백질 및 백질에 대응하는 픽셀의 위치 좌표에 따라 기설정된 제2 템플릿과 상기 강도 정규화된 이미지에 각각 대응하는 픽셀 간 곱을 이용하여 상기 강도 정규화된 이미지에서 상기 두개골 영역을 제거하여 상기 뇌조직 영역을 강조 처리하는 단계;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법. - 제13항에 있어서,
상기 이미지 전처리 단계는,
상기 강조 처리된 이미지가 가지는 픽셀값들을 기설정된 범위 내의 값으로 축소 변환하는 단계;
상기 스케일링된 이미지의 픽셀값 분포를 표준 정규분포로 변환하는 단계; 및
상기 표준 정규분포로 변환된 이미지의 픽셀값의 최소값 및 최대값을 각각 0과 1로 정규화하여 0 내지 1 범위의 분포를 가지도록 변환하는 단계;를 더 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법. - 제13항에 있어서,
상기 공간 정규화하는 단계는,
상기 제1 템플릿을 기준으로 상기 편평화된 이미지에서 뇌 영역에 대응하는 객체 영역이 상기 단층 촬영 이미지의 중앙에 위치하도록 해당 영역의 픽셀 위치를 이동 변환하는 워핑을 수행한 후 상기 객체 영역을 경계로 한 테두리의 배경 영역을 제거하는 크로핑을 수행함으로써 공간 정규화하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법. - 제14항에 있어서,
상기 이미지 전처리 단계 이후에,
상기 이미지 전처리 단계에 순차적으로 수행되는 복수 개의 전처리 작업 각각에 대응하도록 도식화한 기저장된 복수 개의 작업 아이콘 이미지를 화면상의 소정 영역에 기설정된 순서 정보에 따라 배열하되, 인접한 한 쌍의 상기 작업 아이콘 이미지 사이의 빈 영역에 작업 간 연결관계를 나타내는 노드 아이콘 이미지 또는 상기 순서 정보에 기초한 작업 순서를 나타내는 화살표 아이콘 이미지를 배치하여 표시하는 작업순서도 UI를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 딥러닝 기반의 PET 영상 분류 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200139660A KR102421110B1 (ko) | 2020-10-26 | 2020-10-26 | 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200139660A KR102421110B1 (ko) | 2020-10-26 | 2020-10-26 | 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220055549A true KR20220055549A (ko) | 2022-05-04 |
| KR102421110B1 KR102421110B1 (ko) | 2022-07-14 |
Family
ID=81583849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200139660A KR102421110B1 (ko) | 2020-10-26 | 2020-10-26 | 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102421110B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220108272A (ko) * | 2021-01-26 | 2022-08-03 | 동아대학교 산학협력단 | 뇌질환 판단을 위한 시계열 기반의 pet 영상 분석 장치 및 그 방법 |
| KR102644343B1 (ko) * | 2023-07-10 | 2024-03-06 | 주식회사 뉴큐어엠 | 기계학습 모델 기반 파킨슨병 진단을 위한 정보 제공 방법 및 시스템 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102595647B1 (ko) | 2023-03-16 | 2023-10-30 | (주)해우기술 | 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279746A1 (en) * | 2008-02-20 | 2014-09-18 | Digital Medical Experts Inc. | Expert system for determining patient treatment response |
| KR20190086134A (ko) * | 2018-01-12 | 2019-07-22 | 세종대학교산학협력단 | 인공 신경망을 구성하는 복수의 학습 모델 중 최적 학습 모델 선택 방법 및 장치 |
| KR20190105452A (ko) | 2018-03-05 | 2019-09-17 | 고려대학교 산학협력단 | 딥러닝 기반 뇌 질환 진단 방법 |
| KR20190132832A (ko) | 2018-05-21 | 2019-11-29 | 고려대학교 산학협력단 | 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치 |
| JP2020093076A (ja) * | 2018-08-14 | 2020-06-18 | キヤノン株式会社 | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム |
-
2020
- 2020-10-26 KR KR1020200139660A patent/KR102421110B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279746A1 (en) * | 2008-02-20 | 2014-09-18 | Digital Medical Experts Inc. | Expert system for determining patient treatment response |
| KR20190086134A (ko) * | 2018-01-12 | 2019-07-22 | 세종대학교산학협력단 | 인공 신경망을 구성하는 복수의 학습 모델 중 최적 학습 모델 선택 방법 및 장치 |
| KR20190105452A (ko) | 2018-03-05 | 2019-09-17 | 고려대학교 산학협력단 | 딥러닝 기반 뇌 질환 진단 방법 |
| KR20190132832A (ko) | 2018-05-21 | 2019-11-29 | 고려대학교 산학협력단 | 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치 |
| JP2020093076A (ja) * | 2018-08-14 | 2020-06-18 | キヤノン株式会社 | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220108272A (ko) * | 2021-01-26 | 2022-08-03 | 동아대학교 산학협력단 | 뇌질환 판단을 위한 시계열 기반의 pet 영상 분석 장치 및 그 방법 |
| KR102644343B1 (ko) * | 2023-07-10 | 2024-03-06 | 주식회사 뉴큐어엠 | 기계학습 모델 기반 파킨슨병 진단을 위한 정보 제공 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102421110B1 (ko) | 2022-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10949951B2 (en) | Patient-specific deep learning image denoising methods and systems | |
| KR102421110B1 (ko) | 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법 | |
| US9123095B2 (en) | Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties | |
| Pathan et al. | Automated segmentation and classifcation of retinal features for glaucoma diagnosis | |
| Shaw et al. | MRI k-space motion artefact augmentation: model robustness and task-specific uncertainty | |
| CN109087296B (zh) | 一种提取ct图像中人体区域的方法 | |
| US11263744B2 (en) | Saliency mapping by feature reduction and perturbation modeling in medical imaging | |
| US11883099B2 (en) | Noninvasive techniques for identifying choroidal neovascularization in retinal scans | |
| Fraz et al. | Retinal image analysis aimed at extraction of vascular structure using linear discriminant classifier | |
| Biswas et al. | Chest X-ray enhancement to interpret pneumonia malformation based on fuzzy soft set and Dempster–Shafer theory of evidence | |
| EP3923190A1 (en) | A system and method for evaluating a performance of explainability methods used with artificial neural networks | |
| Escorcia-Gutierrez et al. | Convexity shape constraints for retinal blood vessel segmentation and foveal avascular zone detection | |
| KR102288727B1 (ko) | 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법 | |
| US20230316510A1 (en) | Systems and methods for generating biomarker activation maps | |
| KR20230106205A (ko) | 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법 | |
| Dandıl et al. | A Mask R-CNN based Approach for Automatic Lung Segmentation in Computed Tomography Scans | |
| CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| KR102267219B1 (ko) | 혈관 세그멘테이션 방법 | |
| Kuruba et al. | Robust blood vessel detection with image enhancement using relative intensity order transformation and deep learning | |
| WO2021195153A1 (en) | Prediction of geographic-atrophy progression using segmentation and feature evaluation | |
| US20230377151A1 (en) | Aortic aneurysm growth rate prediction from geometric analysis | |
| CN112862787B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| Lu et al. | Automatic fundus image classification for computer-aided diagonsis | |
| Vitalii et al. | Myocardium Segmentation using Two-Step Deep Learning with Smoothed Masks by Gaussian Blur | |
| Möbius | Modelling the data and not the images in FMRI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |