KR102660268B1 - 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치 - Google Patents
동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치 Download PDFInfo
- Publication number
- KR102660268B1 KR102660268B1 KR1020210159760A KR20210159760A KR102660268B1 KR 102660268 B1 KR102660268 B1 KR 102660268B1 KR 1020210159760 A KR1020210159760 A KR 1020210159760A KR 20210159760 A KR20210159760 A KR 20210159760A KR 102660268 B1 KR102660268 B1 KR 102660268B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- learning
- dynamic image
- diagnostic
- disease
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 201000010099 disease Diseases 0.000 claims abstract description 65
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 65
- 239000003814 drug Substances 0.000 claims abstract description 34
- 229940079593 drug Drugs 0.000 claims abstract description 31
- 230000017531 blood circulation Effects 0.000 claims abstract description 23
- 230000007423 decrease Effects 0.000 claims abstract description 15
- 238000002347 injection Methods 0.000 claims abstract description 11
- 239000007924 injection Substances 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000013075 data extraction Methods 0.000 claims abstract description 3
- 230000003111 delayed effect Effects 0.000 claims description 73
- 239000000700 radioactive tracer Substances 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 9
- 238000002600 positron emission tomography Methods 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 13
- 230000005855 radiation Effects 0.000 description 13
- VYFYYTLLBUKUHU-UHFFFAOYSA-N dopamine Chemical compound NCCC1=CC=C(O)C(O)=C1 VYFYYTLLBUKUHU-UHFFFAOYSA-N 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 7
- 208000018737 Parkinson disease Diseases 0.000 description 6
- 238000002059 diagnostic imaging Methods 0.000 description 6
- 229960003638 dopamine Drugs 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- AOYNUTHNTBLRMT-SLPGGIOYSA-N 2-deoxy-2-fluoro-aldehydo-D-glucose Chemical compound OC[C@@H](O)[C@@H](O)[C@H](O)[C@@H](F)C=O AOYNUTHNTBLRMT-SLPGGIOYSA-N 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000002872 contrast media Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000002858 neurotransmitter agent Substances 0.000 description 4
- 210000005013 brain tissue Anatomy 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 206010012289 Dementia Diseases 0.000 description 2
- 230000027455 binding Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 210000001577 neostriatum Anatomy 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102000006441 Dopamine Plasma Membrane Transport Proteins Human genes 0.000 description 1
- 108010044266 Dopamine Plasma Membrane Transport Proteins Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 229960000074 biopharmaceutical Drugs 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000013872 defecation Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001647 drug administration Methods 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004066 metabolic change Effects 0.000 description 1
- 230000027939 micturition Effects 0.000 description 1
- 230000009871 nonspecific binding Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000012857 radioactive material Substances 0.000 description 1
- 239000002287 radioligand Substances 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009870 specific binding Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시예에 따른 동적 영상데이터 기반 대상체 상태 예측방법은, 복수의 학습용 영상 데이터를 획득하는 단계; 상기 복수의 학습용 영상 데이터로부터 복수의 학습용 동적 영상 데이터를 추출하되,
상기 복수의 학습용 동적 영상 데이터는, 상기 복수의 학습용 영상 데이터 내에 각각 포함된 학습 대상체의 약품 주입 시점 이후, 혈류 영향이 감소하기 시작하는 제1시간부터 미리 결정된 기준 시점까지의 재생 구간 영상을 포함하는, 복수의 학습용 동적 영상 데이터 추출 단계;
상기 복수의 학습용 동적 영상 데이터에 해당하는 해부학적 정보 및 질병 특이적 정보를 획득하는 단계; 상기 컴퓨팅 시스템이 상기 복수의 학습용 동적 영상 데이터에 해당하는 상기 해부학적 정보 및 상기 질병 특이적 정보를 기초로 제1 진단용 영상 예측모델을 이용한 학습을 수행하여 제1 학습 데이터를 생성하는 단계; 및 진단 대상체에 대응되는 진단용 동적 영상 데이터가 획득될 경우, 상기 진단용 동적 영상 데이터 및 상기 제1 학습 데이터를 이용하여 상기 진단 대상체에 대응되는 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 단계;를 포함할 수 있다.
상기 복수의 학습용 동적 영상 데이터는, 상기 복수의 학습용 영상 데이터 내에 각각 포함된 학습 대상체의 약품 주입 시점 이후, 혈류 영향이 감소하기 시작하는 제1시간부터 미리 결정된 기준 시점까지의 재생 구간 영상을 포함하는, 복수의 학습용 동적 영상 데이터 추출 단계;
상기 복수의 학습용 동적 영상 데이터에 해당하는 해부학적 정보 및 질병 특이적 정보를 획득하는 단계; 상기 컴퓨팅 시스템이 상기 복수의 학습용 동적 영상 데이터에 해당하는 상기 해부학적 정보 및 상기 질병 특이적 정보를 기초로 제1 진단용 영상 예측모델을 이용한 학습을 수행하여 제1 학습 데이터를 생성하는 단계; 및 진단 대상체에 대응되는 진단용 동적 영상 데이터가 획득될 경우, 상기 진단용 동적 영상 데이터 및 상기 제1 학습 데이터를 이용하여 상기 진단 대상체에 대응되는 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 단계;를 포함할 수 있다.
Description
본 발명은 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치에 관한 것으로, 보다 자세하게는 동적 영상데이터를 기반으로 환자 진단 시에 이용되는 진단용 영상을 예측하고 대상체의 상태를 예측하는 방법 및 장치에 관한 것이다.
PET(Positron Emission Computed Tomography) 검사는 양전자 방출 방사성 동위원소를 투여하고, 이때 몸 밖으로 방출되는 방사선을 획득하여 인체의 대사변화 및 수용체 분포에 관련된 유용한 진단적 정보들을 얻어내는 최첨단의 핵의학영상검사법이다. 최근에는 단순한 PET영상만을 획득하는 것에서 한발 더 나아가 CT(Computed Tomography) 혹은 MRI(Magnetic Resonance Image) 장비까지 Fusion된 Hybrid Scanner로 점점 진화를 거듭하고 있다. 이에 현재의 PET 검사에서는 PET 장치와 CT 장치를 하나의 동체에 결합한 PET/CT Scanner를 기본으로 사용하면서 추가로 CT영상의 해부학적 정보를 얻게 되어 PET 영상에서 확인된 병변의 정확한 위치 및 깊이 정보까지 제공할 수 있게 되었다.
통상적으로 PET검사는 방사성 동위원소가 표지된 트레이서(Tracer)를 인체 내에 주사한 후 트레이서 특이 결합과 비특이결합이 안정상태에 도달하거나 그 차이가 최대가 되는 특정한 시간(예를 들어, 2시간 내지 3시간)이 경과된 이후에 획득되는 PET 영상을 기반으로 환자 진단을 수행한다.
즉, 혈류에 의한 영향이 배제된 PET영상을 획득(예를 들어, FP-CIT를 트레이서로 이용하는 경우)하거나 영역 간의 비율(Ratio) 차이가 크게 된 PET영상을 획득(예를 들어, FDG를 트레이서로 이용하는 경우)하기 위해 특정한 시간이 경과된 이후의 PET영상을 획득하게 된다. 구체적으로, 핵의학 영상 중 임상적으로 많이 이용되고 있는 검사들에 사용되는 방사성의약품(Radiopharmaceuticals, Radiotracer 또는 Radioligand)들의 체내 약 역학이 서로 다르나, 대부분 주사 후 1시간이 이상 지난 후 촬영을 시작하여 딜레이 영상데이터를 획득한다.
본 발명은 혈류 영상 정보와 질병 특이 생물학적 정보가 모두 포함된 시점에 촬영된 동적 영상데이터를 기초로 학습을 수행하여 초기 동적 영상 데이터와 딜레이 영상 데이터를 예측하고, 더 나아가 해당 대상체의 혈류 영상 정보와 질병 특이 생물학적 정보를 제공할 수 있는 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치를 제공한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 동적 영상데이터 기반 대상체 상태 예측방법은, 복수의 학습용 영상 데이터를 획득하는 단계; 상기 복수의 학습용 영상 데이터로부터 복수의 학습용 동적 영상 데이터를 추출하되,
상기 복수의 학습용 동적 영상 데이터는, 상기 복수의 학습용 영상 데이터 내에 각각 포함된 학습 대상체의 약품 주입 시점 이후, 혈류 영향이 감소하기 시작하는 제1시간부터 미리 결정된 기준 시점까지의 재생 구간 영상을 포함하는, 복수의 학습용 동적 영상 데이터 추출 단계;
상기 복수의 학습용 동적 영상 데이터에 해당하는 해부학적 정보 및 질병 특이적 정보를 획득하는 단계; 상기 컴퓨팅 시스템이 상기 복수의 학습용 동적 영상 데이터에 해당하는 상기 해부학적 정보 및 상기 질병 특이적 정보를 기초로 제1 진단용 영상 예측모델을 이용한 학습을 수행하여 제1 학습 데이터를 생성하는 단계; 및 진단 대상체에 대응되는 진단용 동적 영상 데이터가 획득될 경우, 상기 진단용 동적 영상 데이터 및 상기 제1 학습 데이터를 이용하여 상기 진단 대상체에 대응되는 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 동적 영상데이터 기반 대상체 상태 예측방법은, 상기 학습용 동적 영상 데이터에 대응되는 상기 약품 주입 시점부터 상기 제1시간 까지 재생 구간 영상을 포함하는 초기 동적 영상데이터 및 상기 기준 시점 이후 재상 구간 영상을 포함하는 딜레이 영상 데이터를 획득하는 단계;를 더 포함하고, 상기 초기 동적 영상 데이터를 기초로 상기 해부학적 정보를 획득하고, 상기 딜레이 영상 데이터를 기초로 상기 질병 특이적 정보를 획득하는 단계;를 포함할 수 있다.
또한, 진단 대상체에 대응되는 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 단계는, 상기 진단용 동적 영상 데이터 및 상기 제1 학습 데이터를 기초로 상기 진단용 동적 영상 데이터에 대응되는 신규 초기 동적 영상 데이터 및 신규 딜레이 영상 데이터를 예측하는 단계;를 포함할 수 있다.
또한, 컴퓨팅 시스템이 상기 학습용 동적 영상 데이터에 대응되는 해부학적 정보 및 질병 특이적 정보를 획득하는 단계는, 상기 학습용 동적 영상 데이터와 상기 진단용 동적 영상 데이터의 밝기의 최대값 또는 평균값을 기초로 상기 학습용 영상 데이터와 상기 진단용 영상 데이터를 정규화하여 상기 진단용 영상 데이터에 대응되는 상기 신규 초기 동적 영상 데이터 및 상기 신규 딜레이 영상 데이터를 예측하는 것을 포함할 수 있다.
또한 제1 학습 데이터를 형성하는 단계는, 시간 경과에 따른 상기 학습용 동적 영상 데이터 내의 각 픽셀의 변화와 상기 초기 동적 영상 데이터 및 상기 딜레이 영상 프레임 내의 각 픽셀을 매칭하여 학습하는 단계;를 포함할 수 있다.
또한, 상기 영상데이터는 양전자 방출 단층촬영(Positron Emission Tomography) 영상데이터로 마련될 수 있다.
또한 영상데이터의 촬영에 이용되는 상기 약품이 특정한 타겟 영역에 결합하는 트레이서인 경우,
상기 학습용 동적 영상 데이터는, 상기 타겟 영역과 상기 레퍼런스 영역의 선량 비율 차이 값이 특정 값 이상이 되거나 비율 차이 값이 최대가 되는 시점 이후부터 혈류에 의한 영향이 배제된 시점 이전까지 획득되는 영상 데이터로 형성될 수 있다.
한편, 학습용 동적 영상 데이터는 타겟 영역과 레퍼런스 영역의 선량 비율 차이 값이 특정 값 이상이 되거나 혈류에 의한 상기 레퍼런스 영역의 선량 변화량이 감소하는 시점부터 선량 비율 차이 값이 최대가 되는 시점까지 획득되는 영상 데이터로 형성될 수 있다.
또한 미리 결정된 시간은, 상기 트레이서의 종류에 기초하여 결정될 수 있다.
본 발명의 일 실시예에 따른 동적 영상데이터 기반 대상체 상태 예측 방법은, 제2 진단용 영상 예측모델을 통하여 상기 동적 영상 데이터를 이용하여 상기 초기 동적 영상 데이터 및 상기 딜레이 영상 데이터를 예측하고,
예측된 상기 초기 동적 영상 데이터 및 상기 딜레이 영상 데이터를 함께 이용하여 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 제2 학습 데이터를 형성하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 동적 영상데이터 기반 대상체 상태 예측 방법은, 상기 영상 데이터에 구간에 대응되는 상기 제1 진단용 영상 예측 모델의 정확도 및 상기 제2 진단용 영상 예측 모델의 정확도 중 높은 정확도를 갖는 진단용 영상 예측 모델을 이용하여,
상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 단계;를 더 포함하는 모델을 결정할 수 있다.
본 발명의 일 실시예에 따른 동적 영상데이터 기반 대상체 상태 예측하는 장치에 있어서,
디스플레이; 진단용 영상 예측 모델을 저장하는 메모리; 상기 디스플레이, 상기 메모리와 통신을 수행하는 적어도 하나의 프로세서;를 포함하고,
상기 적어도 하나의 프로세서는, 클라이언트 장치로부터 복수의 학습용 영상 데이터를 획득하고, 상기 복수의 학습용 영상 데이터로부터 복수의 학습용 동적 영상 데이터를 추출하되,
상기 복수의 학습용 동적 영상 데이터는, 상기 복수의 학습용 영상 데이터 내에 각각 포함된 학습 대상체의 약품 주입 시점 이후. 혈류 영향이 감소하기 시작하는 제1시간부터 미리 결정된 기준 시점까지의 재생 구간 영상을 포함하고, 상기 복수의 학습용 동적 영상 데이터에 해당하는 해부학적 정보 및 질병 특이적 정보를 획득하고, 상기 컴퓨팅 시스템이 상기 복수의 학습용 동적 영상 데이터에 해당하는 상기 해부학적 정보 및 상기 질병 특이적 정보를 기초로 제1 진단용 영상 예측모델을 이용한 학습을 수행하여 제1 학습 데이터를 생성하고,
진단 대상체에 대응되는 진단용 동적 영상 데이터가 획득될 경우, 상기 진단용 동적 영상 데이터 및 상기 제1 학습 데이터를 이용하여 상기 진단 대상체에 대응되는 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측할 수 있다.
본 발명의 일 실시예에 다른 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치는 혈류 영상 정보와 질병 특이 생물학적 정보가 모두 포함된 시점에 촬영된 동적 영상데이터를 기초로 학습을 수행하여 초기 동적 영상 데이터와 딜레이 영상 데이터를 예측하고, 더 나아가 해당 대상체의 혈류 영상 정보와 질병 특이 생물학적 정보를 제공할 수 있다.
본 발명의 일 실시예에 따른 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치는, 많은 정보가 포함된 동적 영상 데이터를 이용하므로 진단의 정확도를 향상 시킬 수 있다.
본 발명의 일 실시예에 따른 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치는, 기존 초기 영상 데이터 및 딜레이 영상 데이터를 기초로 진단을 수행하는 진단용 예측 모델과 동적 영상 데이터 기반 진단용 예측 모델을 함께 사용하여 정확도가 향상된 진단 예측 모델을 제공할 수 있다.
본 발명의 일 실시예에 따른 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치는, 딜레이 영상데이터를 직접 획득하기 위해 약물을 주입할 때에 비해 진단용 초기 동적 영상데이터 획득 시에 적은 양의 약물을 이용할 수 있으므로, 환자 신체에 영향을 미치는 방사선량을 줄일 수 있다.
도1은 본 발명의 일 실시예에 따른 대상체 상태를 예측하는 컴퓨팅 장치의 제어블럭도를 나타낸 도면이다.
도2는 본 발명의 일 실시예에 따른 동적 영상 데이터를 이용하여 대상체의 해부학적 정보 및 질병 특이적 정보를 예측하는 동작을 설명하기 위한 순서도이다.
도3은 본 발명의 일 실시예예 따른 진단용 예측 모델이 학습 데이터를 생성하는 동작을 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 진단용 동적 영상 데이터를 기초로 대상체의 해부학적 정보 및 질병 특이적 정보를 예측하는 동작을 설명하기 위한 순서도이다.
도5는 본 발명의 일 실시예에 따른 제1진단용 예측 모델의 정확도와 제2진단용 예측 모델의 정확도를 비교하여 대상체의 상태를 예측하는 동작을 설명하기 위한 순서도이다.
도6은 본 발명의 일 실시예에 따른 초기 동적 영상 데이터, 동적 영상 데이터 및 딜레이 영상 데이터를 설명하기 위한 도면이다.
도7a 및 도7b는 본 발명의 일 실시예에 따른 동적 영상 데이터, 초기 동적 영상 데이터 및 딜레이 영상 데이터의 관계를 설명하기 위한 도면이다.
도8a, 도8b 및 도8c는 본 발명의 일 실시예에 따른 제1진단용 예측 모델과 제2진단용 예측 모델을 모두 이용하여 대상체의 상태를 예측하는 동작을 설명하기 위한 도면이다.
도2는 본 발명의 일 실시예에 따른 동적 영상 데이터를 이용하여 대상체의 해부학적 정보 및 질병 특이적 정보를 예측하는 동작을 설명하기 위한 순서도이다.
도3은 본 발명의 일 실시예예 따른 진단용 예측 모델이 학습 데이터를 생성하는 동작을 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 진단용 동적 영상 데이터를 기초로 대상체의 해부학적 정보 및 질병 특이적 정보를 예측하는 동작을 설명하기 위한 순서도이다.
도5는 본 발명의 일 실시예에 따른 제1진단용 예측 모델의 정확도와 제2진단용 예측 모델의 정확도를 비교하여 대상체의 상태를 예측하는 동작을 설명하기 위한 순서도이다.
도6은 본 발명의 일 실시예에 따른 초기 동적 영상 데이터, 동적 영상 데이터 및 딜레이 영상 데이터를 설명하기 위한 도면이다.
도7a 및 도7b는 본 발명의 일 실시예에 따른 동적 영상 데이터, 초기 동적 영상 데이터 및 딜레이 영상 데이터의 관계를 설명하기 위한 도면이다.
도8a, 도8b 및 도8c는 본 발명의 일 실시예에 따른 제1진단용 예측 모델과 제2진단용 예측 모델을 모두 이용하여 대상체의 상태를 예측하는 동작을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 '컴퓨팅 장치'은 연산처리를 수행하는 다양한 장치들이 모두 포함된다. '컴퓨팅 장치'은 하나 이상의 컴퓨터를 포함할 수 있다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 컴퓨터는 의료영상을 획득하거나 관찰하는 의료장비도 해당될 수 있다. 또한, 컴퓨터는 다양한 클라이언트 컴퓨터와 연결되는 서버 컴퓨터가 해당될 수 있다.
본 명세서에서 '영상데이터'는 의료영상촬영장치에 의해 획득되는 영상을 의미한다.
본 명세서에서 '의료영상촬영장치'는 의료영상 획득에 이용되는 기기를 의미한다. 예를 들어, '의료영상촬영장치'는 양전자 방출 단층촬영(Positron Emission Tomography) 영상 촬영기기, 자기공명영상(Magnetic Resonance Imaging; MRI) 촬영기기 등을 포함할 수 있다.
본 명세서에서 '딜레이(Delay) 영상데이터'는 기준시간 후에 획득되는 것으로서, 환자 진단에 이용되는 진단용 영상을 의미한다.
본 명세서에서 '기준시간'은 약품(예를 들어, 조영제 또는 트레이서)를 주입한 최초 시점으로부터 환자 상태를 진단 가능한 영상데이터를 획득 가능한 시점(즉, 기준시점)까지의 시간을 의미한다.
본 명세서에서 '약품'은 의료영상데이터 촬영 시에 신체 내부에 주입되는 것을 의미한다. 예를 들어, '약품'은 자기공명영상(Magnetic Resonance Imaging; MRI) 촬영 또는 컴퓨터 단층촬영(Computed Tomography; CT)에 이용되는 조영제, 양전자 방출 단층촬영(Positron Emission Tomography) 영상 촬영 시에 이용되는 트레이서(Tracer) 등이 해당될 수 있다.
본 명세서에서 '초기 동적 영상데이터'는 연속적인 복수의 영상프레임을 포함하는 영상데이터를 의미한다. '초기 동적 영상데이터'는 딜레이 영상데이터가 획득되는 기준시점보다 이전에 획득되는 것으로서, 초기 시간범위(예를 들어, 영상 촬영 시에 투여되는 조영제 또는 트레이서를 삽입한 후 짧은 시간 이후의 시간범위)에 획득되는 것이다.
본 명세서에서 동적 영상 데이터는 영상 데이터에서 초기 동적 영상 데이터와 딜레이 영상 데이터를 제외한 영상 데이터를 의미할 수 있다.
구체적으로 동적 영상 데이터는 복수의 영상 데이터 내에 각각 포함된 학습 대상체의 약품 주입 시점 이후. 혈류 영향이 감소하기 시작하는 제1시간부터 미리 결정된 기준 시점까지의 재생 구간 영상을 의미할 수 있다.
본 명세서에서 해부학적 정보는, 대상체의 혈류의 흐름이 나타난 영상 데이터를 의미할 수 있다.
본 명세서에서 질병 특이적 정보는, 약품이 특정 잔존 위치에 남아 대상체의 상태 판단에 이용될 수 있는 영상 데이터를 의미할 수 있다.
본 명세서에서 '학습용 초기 동적 영상데이터'는 진단용 영상 예측모델의 학습에 이용되는 학습데이터에 포함되는 초기 동적 영상데이터를 의미한다.
본 명세서에서 '학습용 딜레이 영상데이터'는 진단용 영상 예측모델의 학습에 이용되는 학습데이터에 포함되는 딜레이 영상데이터를 의미한다.
본 명세서에서 '학습용 동적 영상 영상데이터'는 진단용 영상 예측모델의 학습에 이용되는 학습데이터에 포함되는 동적 영상데이터를 의미한다.
본 명세서에서 '진단용 동적 영상데이터'는 특정한 환자의 해부학적 정보 및 질병 특이적 정보 산출을 위해 획득되는 동적 영상데이터를 의미한다.
본 명세서에서 '신규 딜레이 영상데이터'는 특정한 환자 진단을 위해 진단용 영상 예측모델을 통해 산출되는 딜레이 영상데이터를 의미한다.
본 명세서에서 '신규 초기 동적 영상데이터'는 특정한 환자 진단을 위해 진단용 영상 예측모델을 통해 산출되는 초기 동적 영상데이터를 의미한다.
본 명세서에서 '제1시간'은 초기 동적 영상데이터가 획득되는 시간범위를 의미한다. 즉, '제1시간'은 초기 동적 영상데이터가 획득되기 시작되는 시점부터 마지막 영상프레임이 획득되는 시점까지의 시간범위를 의미한다.
본 명세서에서 '초기시간범위'는 학습용 초기 동적 영상데이터를 획득하는 제1시간를 추출하기 위한 시간범위를 의미한다.
본 명세서에서 '초기설정용 초기 동적 영상데이터'는 상기 초기시간범위에서 연속되는 복수의 영상프레임이 포함하는 영상데이터를 의미한다.
본 명세서에서 '초기설정용 딜레이 영상데이터'는 진단용 영상 예측모델의 학습에 적합한 제1시간을 산출하기 위해 이용되는 딜레이 영상데이터를 의미한다. '초기설정용 딜레이 영상데이터'는 학습용 딜레이 영상데이터와 동일할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 초기 동적 영상데이터 기반 진단용 영상 생성방법 및 프로그램에 대한 상세한 설명을 기재한다.
도1은 본 발명의 일 실시예에 따른 대상체 상태를 예측하는 컴퓨팅 장치의 제어블럭도를 나타낸 도면이다.
도1을 참고하면, 본 발명의 일 실시예에 따른 컴퓨팅 장치(10)는 메모리(110), 프로세서(100) 및 디스플레이(120)를 포함할 수 있다.
메모리는(110), 진단용 영상 예측 모델을 비롯한 각종 데이터를 저장할 수 있다.
메모리(110)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 메모리는 후술하는 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
디스플레이(120)는, 상술한 각종 영상 데이터를 출력할 수 있다.
디스플레이(120)는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
프로세서(100)는, 클라이언트 장치(50)로부터 학습용 영상 데이터를 획득할 수 있다. 클라이언트 장치는 상술한 의료 영상 장치로 마련될 수 있다.
프로세서(100)는 복수의 학습용 영상 데이터로부터 복수의 학습용 동적 영상 데이터를 추출할 수 있다.
프로세서(100)는 복수의 학습용 동적 영상 데이터에 해당하는 해부학적 정보 및 질병 특이적 정보를 획득할 수 있다.
한편 프로세서(100)는 복수의 학습용 동적 영상 데이터에 해당하는 상기 해부학적 정보 및 질병 특이적 정보를 기초로 제1 진단용 영상 예측모델을 이용한 학습을 수행하여 제1 학습 데이터를 생성할 수 있다.
구체적으로 프로세서(100)는 동적 영상 데이터에 해부학적 정보 및 질병 특이적 정보를 매핑하고, 이를 기초로 제1 진단용 영상 예측 모델을 통하여 학습을 수행하여 추후 진단에 이용될 수 있는 제1 학습 데이터를 생성할 수 있다.
프로세서(100)는, 진단 대상체에 대응되는 진단용 동적 영상 데이터가 획득될 경우, 진단용 동적 영상 데이터 및 제1 학습 데이터를 이용하여 진단 대상체에 대응되는 해부학적 정보 및 질병 특이적 정보를 예측할 수 있다.
즉 프로세서(100)는 대상체의 딜레이 영상 데이터나 초기 동적 영상 데이터 없이도 동적 영상 데이터와 제1학습 데이터만 이용하여 대상체에 대응되는 해부학적 정보와 질병 특이적 정보를 예측할 수 있다.
컴퓨팅 장치(10)는 클라이언트 장치(50)로부터 학습용 동적 영상데이터를 획득하여 학습데이터를 구축한다.
예를 들어, 컴퓨팅 장치(10)는 특정한 환자에 대해 동적 영상데이터가 촬영되면 의료영상촬영장치 또는 의료영상촬영장치가 연결된 클라이언트 장치(50)로부터 특정한 환자에 대해 동적 영상데이터를 수신한다.
한편 동적 영상데이터는, 요구되는 프레임의 개수에 따라 동적 영상프레임의 화질이 설정된다. 즉, 동일한 양의 약물을 사용하면 외부로 방출되는 방사선 최대량이 제한되어 영상프레임을 생성하는데 이용되는 신호량이 제한되므로, 컴퓨팅 장치는 동일한 신호량을 기반으로 영상프레임 개수에 따라 각 영상프레임의 화질을 달리 설정할 수 있다.
예를 들어, 영상프레임 개수를 늘리면 각 영상프레임 생성에 이용되는 시간길이가 짧아지므로 하나의 영상프레임을 생성하는데 이용 가능한 신호량이 줄어들게 되고, 컴퓨팅 장치는 각 영상프레임의 화질을 낮게 생성한다.
일실시예로, 컴퓨팅 장치(10)는 시간 경과에 따른 동적 영상데이터 내의 각 픽셀의 변화와 초기 영상 데이터 및 딜레이 영상데이터 내의 각 픽셀을 매칭하여 학습한다.
즉, 특정한 환자에 대한 영상데이터 조합(즉, 초기 동적 영상데이터, 동적 영상 데이터와 딜레이 영상데이터의 조합)에서, 컴퓨팅 장치(10)는 신체조직(예를 들어, 뇌조직)의 각 지점(즉, 픽셀)에 대해 동적 영상 데이터로부터 초기 동적 영상 데이터 및 딜레이 영상 데이터를 예측하고, 초기 동적 영상데이터 내에서의 해부학적 정보와 딜레이 영상데이터 내에서의 질병 특이적 정보를 매칭하여 영상데이터 조합별 데이터셋을 구축하고, 각 지점(즉, 픽셀)별로 복수의 환자에 대한 데이터셋을 학습하여 진단용 영상 예측모델을 구축한다.
일실시예로, 진단용 영상 예측모델은 심층신경망(Deep Neural Network; DNN)으로 구축된다. 즉, 진단용 영상 예측모델은 딥러닝 알고리즘을 적용하여 하나 이상의 환자에 대한 동적 영상데이터를 학습한다.
상기 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 컨볼루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 컨볼루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성 될 수 있다. 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 컨볼루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.
일실시예로, 상기 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.
특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘볼루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.
콘볼루션 층은 입력 영상의 각 패치에 대하여 필 터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킨다.
통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘볼루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.
이와 같이, 콘볼루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.
다만, 본 발명의 실시예들에 따른 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.
일실시예로, 상기 진단용 영상 예측모델 생성단계(S600)에서, 컴퓨팅 장치가 동적 영상데이터를 다양한 방식으로 심층신경망에 입력하여 진단용 영상 예측모델을 생성한다.
일 예로, 컴퓨팅 장치는 시간 경과에 따른 동적 영상데이터 내의 각 픽셀의 변화와 초기 영상 데이터 및 딜레이 영상프레임 내의 각 픽셀을 매칭하여 학습한다(예를 들어, Recurrent Neural Network(RNN)를 이용하는 방법).
또한, 다른 일 예로, 컴퓨팅 장치는 시간경과에 따른 동적 영상데이터 내의 각 영상프레임을 다채널 입력으로 하여 딜레이 영상데이터를 학습한다(예를 들어, Multi-channel Convolutional Neural Network(CNN) 방법).
프로세서(100)는, 학습용 동적 영상 데이터에 대응되는 약품 주입 시점부터 상기 제1시간까지 재생 구간 영상을 포함하는 초기 동적 영상데이터 및 상기 기준 시점 이후 재상 구간 영상을 포함하는 딜레이 영상 데이터를 획득할 수 있다.
더 나아가 초기 동적 영상 데이터를 기초로 해부학적 정보를 획득하고, 딜레이 영상 데이터를 기초로 질병 특이적 정보를 획득 할 수 있다. 구체적으로 초기 동적 영상 데이터를 통해서는 약품의 흐름에 대한 영상을 획득할 수 있어 대상체의 혈관 구조 등에 대한 해부학적 정보를 획득할 수 있다.
반면 딜레이 영상 데이터를 통해서는 약품이 특정 타겟 영역에 결합되므로 결합한 타겟에 따라 대상체의 상태와 연관되는 질병 특이적 정보를 획득할 수 있다.
구체적으로 FP-CIT가 타겟부위인 도파민신경운반체에 결합되면 해당 대상체에 파킨슨 병이 있는 것으로 판단할 수 있다. 이러한 동작을 기초로 제1 학습 데이터 세트를 형성할 수 있다.
또한 프로세서(100)는 진단용 동적 영상 데이터 및 제1 학습 데이터를 기초로 진단용 동적 영상 데이터에 대응되는 신규 초기 동적 영상 데이터 및 신규 딜레이 영상 데이터를 예측할 수 있다.
즉 제1 학습 데이터에는 학습용 동적 영상 데이터와 대응되는 초기 동적 영상 데이터와 딜레이 영상 데이터가 매핑되어 학습되고, 이후 진단용 동적 영상 데이터가 입력되면 프로세서가 해당 동적 영상 데이터에 대응되는 초기 동적 영상 데이터와 딜레이 영상 데이터를 예측할 수 있다.
또한 프로세서(100)는, 학습용 동적 영상 데이터와 진단용 동적 영상 데이터의 밝기의 최대값 또는 평균값을 기초로 학습용 영상 데이터와 진단용 영상 데이터를 정규화하여 상기 진단용 영상 데이터에 대응되는 신규 초기 동적 영상 데이터 및 신규 딜레이 영상 데이터를 예측할 수 있다.
즉, 제1 학습 데이터를 형성하는 단계는, 시간 경과에 따른 상기 학습용 동적 영상 데이터 내의 각 픽셀의 변화와 상기 초기 동적 영상 데이터 및 상기 딜레이 영상 프레임 내의 각 픽셀을 매칭하여 학습할 수 있다.
한편 프로세서가 이용하는 영상데이터는 양전자 방출 단층촬영(Positron Emission Tomography) 영상데이터로 마련될 수도 있으나, 의료 분야 관련 영상 전반에 적용될 수 있음은 물론이다.
즉, 본 발명의 일 실시예에 따르면 프로세서는 동적 영상데이터의 밝기를 최대값 또는 평균값을 기준으로 정규화(normalization)하여 생성될 수 있다.
본 발명의 일 실시예예 따르면 영상데이터 촬영에 이용되는 약품이 시간경과에 따라 계속해서 타겟영역에 결합되는 양이 증가되는 트레이서(예를 들어, Fluorodeoxyglucose(이하, FDG) PET)인 경우, 약물의 투여량에 비례하여 섭취되는 PET 추적자(tracer)의 특성 때문에 레퍼런스 영역과 타겟영역의 밝기 비율은 약물 투여량에 의해 달라지지 않으므로, 컴퓨팅 장치는 동적 영상데이터의 밝기의 최대값 또는 평균값을 기준으로 정규화(normalization)하여 영상데이터를 생성한다.
한편 본 발명에서는 PET를 이용하여 동작을 설명하나 상술한 동작은 PET뿐만 아니라 MR의 경우에도 적용될 수 있으며 의료 영상 전반에 적용될 수 있다.
다만 MR의 경우는 초기 동적 영상 데이터를 통하여 질병 특이적 정보를 도출할 수 있고, 딜레이 영상 데이터를 통하여 해부학적 정보를 도출할 수 있다.
영상데이터 촬영에 이용되는 약품이 특정한 타겟영역에 결합하는 트레이서인 경우(FP-CIT를 트레이서로 이용하는 경우), 레퍼런스영역을 입력으로 하고 타겟영역을 출력으로 하는 선형 추적자 동역학 모델(Tracer Kinetic Model)에서 입력과 출력이 동시에 선형적으로 증감하여도 추적자 모델의 매개변수들은 동일하기 때문에, 컴퓨팅 장치는 학습용 초기 동적 영상데이터와 진단용 초기 동적 영상데이터의 밝기를 최대값 또는 평균값을 기준으로 정규화(normalization)하여 신규 딜레이 영상데이터를 생성할 수 있다.
즉, 영상데이터의 촬영에 이용되는 상기 약품이 특정한 타겟 영역에 결합하는 트레이서인 경우, 학습용 동적 영상 데이터는, 타겟 영역과 레퍼런스 영역의 선량 비율 차이 값이 특정 값 이상이 되거나 비율 차이 값이 최대가 되는 시점 이후부터 혈류에 의한 영향이 배제된 시점 이전까지 획득되는 영상 데이터로 형성될 수 있다.
또한 학습용 동적 영상 데이터는 타겟 영역과 레퍼런스 영역의 선량 비율 차이 값이 특정 값 이상이 되거나 혈류에 의한 레퍼런스 영역의 선량 변화량이 감소하는 시점부터 타겟 영역과 레퍼런스 영역의 선량 비율 차이가 최대 값이 되는 시점까지 획득되는 영상데이터로 형성될 수 있다.
선량 비율 값은 초기 시점의 방사선량과 특정 측정 시점의 방사선 량의 비율을 의미할 수 있다.
따라서 선량 비율 차이 값은 타겟 영역의 선량 비율과 레퍼런스 영역의 선량 비율의 차이 값을 의미할 수 있다.
구체적으로 프로세서는 타겟 영상과 레퍼런스 영상의 선량에 대한 정보를 획득할 수 있다.
또한 프로세서는 타겟 영상에 대응되는 선량과 레퍼런스에 대응되는 선량을 획득할 수 있고 각 선량의 비율 값을 산출하고 각각 선량 비율의 차이 값을 연산할 수 있다.
또한 프로세서는 레퍼런스의 선량 변화량이 감소하는 시점 및 선량 비율 차이가 최대가 되는 시점을 결정할 수 있다.
일반적으로 딜레이 영상데이터를 기반으로 의료진이 진단을 수행하는 경우, 의료진은 방사성 동위원소가 물리적 반감기와 배뇨/배변 등 체외배출에 의한 감소(즉, 생리학적 감소)에 따라 감소한 후에도 충분한 방사선량으로 촬영된 딜레이 영상데이터로 진단을 수행할 수 있도록 초기시점에 많은 양의 약품을 투여하게 된다. 이 때, 환자 신체에 제공되는 방사선량이 높아지게 되는 문제가 있다.
따라서, 본 발명의 일실시예를 이용하여, 진단용 동적 영상데이터를 획득할 때 충분한 방사선량이 획득될 수 있는 정도의 트레이서만을 삽입한 후에 진단용 동적 영상데이터를 획득하고, 진단용 동적 영상데이터를 예측모델에 삽입하여 초기 동적 영상 데이터 및 최종적인 진단용 딜레이 영상데이터를 획득함에 따라, 환자에게 주입되는 방사선물질의 양을 줄여서 환자 신체에 제공되는 방사선량을 줄일 수 있다.
미리 결정된 기준 시간은, 트레이서의 종류에 기초하여 결정될 수 있다.
한편 프로세서는 초기 동적 영상 데이터 및 상기 딜레이 영상 데이터를 이용하는 제2 진단용 영상 예측모델을 기초로 초기 동적 영상 데이터 및 상기 딜레이 영상 데이터로부터 해부학적 정보와 질병 특이정 정보를 예측하는 제2 학습 데이터를 형성할 수 있다.
정리하면, 제1진단용 예측 모델은 동적 영상 데이터로부터 초기 동적 영상 데이터 및 딜레이 영상 데이터를 예측하고 이에 대응되는 해부학적 정보 및 질병 특이적 정보를 학습 및 예측하는 반면, 제2진단용 예측 모델은 동적 영상 데이터와 대응되는 초기 동적 영상 데이터와 딜레이 영상 데이터를 기초로 학습을 수행하고 추후 진단용 초기 동적 영상 데이터 또는 딜레이 영상 데이터가 입력되면 해부학적 정보와 질병 특이적 정보 통합적으로 예측할 수 있다.
한편 프로세서(100)는 해부학적 정보 및 질병 특이적 정보를 기초로 대상체의 상태를 판단할 수 있다.
구체적으로 프로세서(100)는 상술한 방법으로 도출된 대상체의 질병 특이적 정보와 해부학적 정보를 이용하여 대상체가 파킨슨 병이나 치매에 해당되는지에 대한 정보를 도출할 수 있다.
구체적으로 대상체의 도파민신경운반체에 트레이서가 잔존하는 경우 해당 대상체를 파킨슨 병의 상태로 판단할 수 있다.
또한 아밀로이드의 트레이서가 잔존하는 경우 해당 대상체를 치매 상태로 판단할 수 있다.
프로세서(100)는 제1 진단용 영상 예측 모델의 정확도 제2 진단용 영상 예측 모델의 정확도 중 높은 정확도를 갖는 진단용 영상 예측 모델을 결정할 수 있다.
예를 들어 진단자가 초기 동적 영상 데이터로 진단을 수행하는 경우 제1진단용 예측 모델의 파킨슨 평에 대한 정확도와 제2진단용 예측 모델에 대한 정확도를 산출할 수 있다. 이 경우 프로세서는 각 진단용 예측 모델 중 높은 정확도를 갖는 진단용 예측 모델을 선택하여 대상체의 상태를 판단할 수 있다.
이와 관련된 상세한 설명은 아래에서 설명한다.
도 1에 도시된 컴퓨팅 장치(10)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도2는 본 발명의 일 실시예에 따른 동적 영상 데이터를 이용하여 대상체의 해부학적 정보 및 질병 특이적 정보를 예측하는 동작을 설명하기 위한 순서도이다.
도2를 참고하면 컴퓨팅 장치는 학습용 영상 데이터를 획득할 수 있다(S201). 학습용 영상 데이터는 상술한 바와 같이 대상체에 트레이서나 조영제가 투여된 이후 시점부터 딜레이 영상 데이터가 획득되는 시점의 영상데이터를 모두 포함할 수 있다.
컴퓨팅 장치는 학습용 영상 데이터에서 동적 영상 데이터를 추출할 수 있다(S202).
학습용 동적 영상 데이터는 학습용 영상 데이터에서 초기 동적 영상 데이터와 딜레이 영상 데이터를 제외한 영상 데이터를 의미할 수 있다.
이후 컴퓨팅 장치는 학습용 동적 영상 데이터와 해부학적 정보, 질병 특이적 정보를 매칭하여 학습하여 학습 데이터를 형성할 수 있다(S203). 학습 데이터를 생성하는 상세한 동작은 후술한다.
한편 이후 대상체의 진단을 위한 진단용 동적 데이터가 입력되면(S204), 컴퓨팅 장치는 해당 진단용 동적 데이터와 대응되는 해부학적 정보 및 질병 특이적 정보를 예측할 수 있다(S205).
도3은 본 발명의 일 실시예예 따른 진단용 예측 모델이 학습 데이터를 생성하는 동작을 설명하기 위한 도면이다.
도3은 도2에서 학습 데이터를 형성하는 동작을 나타낸 순서도이다.
도3을 참고하면 컴퓨팅 장치는 학습용 동적 데이터를 획득할 수 있다.
학습용 동적 영상 데이터는 학습용 영상 데이터에서 초기 동적 데이터와 딜레이 영상 데이터를 제외하여 형성할 수 있다.
한편 컴퓨팅 장치는 동적 영상 데이터를 획득하는데 있어서 초기 동적 영상 데이터와 딜레이 영상 데이터를 같이 획득할 수 있다(S302).
컴퓨팅 장치는 초기 동적 영상 데이터로부터 해부학적 정보를 획득할 수 있고 딜레이 영상 데이터로부터 질병 특이적 정보를 획득할 수 있다(S303).
즉 컴퓨팅 장치는 동적 영상 데이터와 초기 동적 영상 데이터, 딜레이 영상 데이터를 매칭하여 학습하고, 더 나아가 초기 동적 영상 데이터와 매칭된 해부학적 정보와 딜레이 영상 데이터 정보와 매칭된 질병 특이적 정보를 종합하여 학습 데이터를 생성할 수 있다(S304).
일 실시예에 따른 컴퓨팅 장치는 이러한 학습 데이터를 생성하는데 있어서 초기 동적 영상 데이터, 동적 영상 데이터 및 딜레이 데이터를 이용하고 대상체가 뇌인경우 정상인 경우와 비정상인 경우, 또는 정상인 경우와 파키슨 병 및 비전형 파키슨 병의 판독 결과들을 정답(Ground Truth)로하는 데이터 셋으로 학습을 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 진단용 동적 영상 데이터를 기초로 대상체의 해부학적 정보 및 질병 특이적 정보를 예측하는 동작을 설명하기 위한 순서도이다.
즉 도 4는 학습 데이터 생성 이후 진단용 동적 데이터가 입력되는 경우 이후의 동작을 나타내고 있다.
구체적으로 도4를 참고하면, 학습 데이서 생성 이후 진단용 동적 영상 데이터가 입력되면(S401), 컴퓨팅 장치는 우선적으로 미리 형성된 학습 데이터를 이용하여 동적 영상 데이터를 기초로 초기 동적 영상 데이터와 딜레이 동적 영상 데이터를 예측할 수 있다(S402).
이후 컴퓨팅 장치는 각각의 영상 데이터와 대응되는 대상체의 해부학적 정보 및 질병 특이적 정보를 예측할 수 있다(S403).
도5는 본 발명의 일 실시예에 따른 제1진단용 예측 모델의 정확도와 제2진단용 예측 모델의 정확도를 비교하여 대상체의 상태를 예측하는 동작을 설명하기 위한 순서도이다.
컴퓨팅 장치가 대상체의 상태를 예측하는데는 제1진단용 예측 모델과 제2진단용 예측 모델을 이용할 수 있다.
제1진단용 예측 모델은 동적 영상 데이터를 기초로 초기 동적 영상 데이터와 딜레이 영상 데이터를 예측하여 이를 기반으로 대상체의 상태를 예측하는 모델을 의미할 수 있다.
제2진단용 예측 모델은 초기 동적 영상 데이터 딜레이 영상 데이터를 기초로 대상체의 해부학적 정보와 질병 특이정 정보를 예측하는 모델을 의미할 수 있다.
컴퓨팅 장치는 특정 상태를 예측을 위한 영상 데이터를 입력할 수 있다(S501). 일 실시예에 따르면 컴퓨팅 장치는 파키슨 병의 진단을 위한 영상 데이터를 입력할 수 있다.
이 경우 제1진단용 예측 모델의 정확도가 제2진단용 예측 모델의 정확도 보다 크면 제1 진단용 예측 모델을 이용하여 대상체의 상태를 예측할 수 있다(S502, S503). 한편 제2 진단용 예측 모델의 정확도가 제2진단용 예측 모델의 정확도 보다 크면 제1진단용 예측 모델을 이용하여 대상체의 상태를 예측할 수 있다(S502, S503).
다만 이 경우에도 제2진단용 예측 모델의 정확도가 제1진단용 예측 모델 보다 크면 컴퓨팅 장치는 제2진단용 예측 모델을 이용하여 대상체의 상태를 예측할 수 있다(S504).
한편 도2내지 도5에서 설명한 본 발명의 동작은 본 발명의 일 실시예에 불과하며 학습 데이터 형성부터 진단 영상 데이터를 입력받아 대상체의 상태를 예측하는 동작에는 그 제한이 없다.
도6은 본 발명의 일 실시예에 따른 초기 동적 영상 데이터, 동적 영상 데이터 및 딜레이 영상 데이터를 설명하기 위한 도면이다.
도6을 참고하면, 약물(즉, 트레이서)로 FP-CIT를 사용하는 경우, 약물이 투여된 초기 시간범위에서는 혈류 영향에 의해 뇌의 전체 영역에서 방사선량이 높게 나타나서 진단이 어렵다. 그러나 시간이 경과됨에 따라 약물이 소변이나 간으로 대사되어 배설된 후 혈장 내 농도가 떨어지게 되면서, 혈액 내에는 약물이 없어지기 때문에 균형을 맞추기 위해 뇌 조직에서 혈액 쪽으로 약물이 빠져나가게 된다. 컴퓨터시스템은 뇌조직 내의 방사선량이 변화하는 제1시간 범위에서 초기 동적 영상데이터를 획득한다.
그 후, FP-CIT는 도파민(Dopamine)과 결합력이 강해 파킨슨병을 감별하는데 효과적이므로, FP-CIT가 타겟부위인 도파민신경운반체에 결합되어 있음에 따라 시간이 경과되어 다른 영역은 혈류 영향이 감소하여 농도가 낮아지더라도 타겟부위는 높은 농도를 유지하게 된다. 따라서, 컴퓨팅시스템은 약물 투여 후 기준시간이 경과되어 혈류 영향이 감소된 시점에 딜레이 영상데이터을 획득한다. 딜레이 영상데이터는 기존에 의료진에 의해 타겟부위의 크기, 형태 등을 진단하는데 이용되는 영상데이터일 수 있다.
여기서 초기 동적 영상 데이터와 딜레이 영상 데이터 사이에 해당하는 영상 데이터가 동적 영상 데이터에 해당될 수 있다.
또한, 다른 일실시예로, 영상데이터 촬영에 이용되는 약품이 특정한 타겟영역에 결합하는 트레이서인 경우, 상기 초기 동적 영상데이터를 획득하는 제1시간 범위는 다양한 기준을 바탕으로 결정될 수 있다. 예를 들어, 상기 제1시간 범위는 레퍼런스 영역에서 혈류에 의한 영향이 감소되기 시작하는 시점 이후의 시간범위로 설정될 수 있다. 상기 레퍼런스 영역은, 일반적으로 트레이서가 결합하는 물질이 없거나 적어서 질병 간에 차이가 없는 뇌의 특정부위이다. 상기 레퍼런스 영역은, 트레이서 종류와 특성에 따라 달라진다. 예를 들어, 트레이서가 FP-CIT인 경우, 상기 레퍼런스 영역은, 소뇌나 후두엽 피질 등의 도파민신경운반체가 적은 부위가 된다. 또한, 다른 예로, 상기 제1시간 범위는 타겟영역과 레퍼런스영역의 선량 비율 차이값이 특정값 이상이 되거나 비율 차이값이 최대가 되는 시점 주변으로 설정될 수 있다.
다른 일실시예로, 영상데이터 촬영에 이용되는 약품이 시간경과에 따라 계속해서 타겟영역에 결합되는 양이 증가되는 트레이서(예를 들어, Fluorodeoxyglucose(이하, FDG) PET)인 경우, 피크 지점이 없이 뇌의 각 영역의 선량이 증가하므로, 컴퓨팅시스템은 방사선량의 차이가 크지 않은 초기의 제1시간 범위에서 초기 동적 영상데이터를 획득하고, 영역 간의 방사선량 차이 비율(Ratio)이 커진 기준시점에 딜레이 영상데이터를 획득한다.
이 경우 역시 초기 동적 영상 데이터와 딜레이 영상 데이터 사이의 영상 데이터가 동적 영상 데이터에 해당될 수 있다.
도7a 및 도7b은 본 발명의 일 실시예에 따른 동적 영상 데이터, 초기 동적 영상 데이터 및 딜레이 영상 데이터의 관계를 설명하기 위한 도면이다.
한편 도7a는 본 발명의 제1진단용 예측 모델에 기초한 동작을 설명한 도면이고 도7b는 본 발명의 제2진단용 예측 모델에 기초한 동작을 설명한 도면을 나타내고 있다.
도7a를 참고하면, 컴퓨팅 장치는 동적 영상 데이터를 획득할 수 있다(V711).
이후 상술한 제1학습 데이터를 이용하여 초기 동적 영상 데이터(V714)와 딜레이 영상 데이터(V712)를 예측할 수 있다.
컴퓨팅 장치는 딥러닝 기반의 선조체 관심 영역 설정의 동작을 통하여 딜레이 영상 데이터의 관심 영역을 설정할 수 있다(V713).
이후 컴퓨팅 장치는 지연 영상에 특화된 세부 영역별 정령화를 통하여 질병 특이적 정보를 에측할 수 있다(D711).
본 발명의 일 실시예에 따르면 선조체에서의 도파민 운반체 정량화를 통한 예측을 수행할 수 있다.
한편 컴퓨팅 장치는 동적 영상 데이터를 기초로 초기 동적 영상 데이터를 예측할 수 있다(V714). 이후 딥러닝 기반의 관심영역을 설정할 수 있다(V715).
이후 컴퓨팅 장치는 초기 동적 영상 데이터에 특화된 세부 영역별 정량화 뇌피질의 영역별 정량화를 수행할 수 있다.
한편 도7b는 제2진단용 예측 모델을 이용한 본 발명의 동작을 나타낸 도면이다.
도7b를 참고하면, 컴퓨팅 장치는 동적 영상 데이터(V721)를 기초로 딜레이 영상 데이터(V722) 및 초기 동적 영상 데이터(V723)을 예측하고, 딥러닝 기반의 도파민 또는 혈류 정보 융합을 통한 대상체의 진단을 수행할 수 있다.
한편 도7a 및 도7b에서 설명한 해부학적 정보와 질병 특이적 정보는 본 발명의 동작을 설명하기 위한 일 실시예에 불과하며 해부학 정보와 질병 특이적 정보에 포함된 정보에는 제한이 없다.
도8a, 도8b 및 도8c은 본 발명의 일 실시예에 따른 제1진단용 예측 모델과 제2진단용 예측 모델을 모두 이용하여 대상체의 상태를 예측하는 동작을 설명하기 위한 도면이다.
도8a, 도8b 및 도8c를 참고하면 컴퓨팅 장치는 영상 데이터로부터 대상체의 상태를 예측하는데 있어서 제1진단용 예측 모델과 제2진단용 예측 모델의 앙상블 알고리즘을 이용하여 상태를 예측할 수 있다.
앙상블 학습(Ensemble Learning)은 여러 개의 분류기를 생성하고, 그 예측을 결합함으로써 보다 정확한 예측을 도출하는 기법을 의미할 수 있다. 강력한 하나의 모델을 사용하는대신 보다 약한 모델 여러개를 조합하여 더 정확한 예측을 수행할 수 있다.
도8a 및 도 8b를 참고하면, 상술한 동작을 기초로 대상체의 해부학적 정도와 질병 특이적 정보를 예측하는 제1진단용 예측 모델과 제2진단용 예측 모델을 나타내고 있다.
제2진단용 예측 모델은 컴퓨팅 장치가 획득한 동적 영상 데이터를 기초로 초기 동적 영상 데이터와 딜레이 영상 데이터를 예측하고 이를 토대로 해부학적 정보와 질병 특이적 정보의학습을 수행하는 진단용 예측 모델을 의미할 수 있다.
제2진단용 예측 모델은 상술한 동작을 기초로 제2학습 데이터를 형성하고, 이후 진단 대상체의 초기 동적 영상 데이터나 딜레이 영상 데이터가 입력되면 각각의 해부학적 정보와 질병 특이적 정보를 예측할 수 있다.
한편 컴퓨팅 장치는 각 진단용 예측 모델의 영상 데이터 시점 상에서 정확도를 판단할 수 있다. 이러한 정확도를 판단하는데 있어서 ROC커브가 이용될 수 있다.
도8b 및 도8c를 참고하면, 영상 데이터의 초기 시점, 즉 처음부터 제1시간 까지의 해부학적 특징을 예측하는 정확도의 ROC커브를 나타내고 있다.
ROC커브는 진단용 예측 모델의 정확도를 평가하는 척도로 Y축은 참으로 결정될 확률(True Positive Rate)를 의미하고 X축은 거짓으로 결정될 확률(Fales Positive Rate)를 의미할 수 있다. ROC커브의 면적이 넓은 경우 정확도가 높은 진단용 예측 모델로 평가될 수 있다.
도8b에서는 제2진단용 예측 모델의 ROC커브(M812)의 넓이가 가 제1진단용 예측 모델의 ROC커브(M811)의 넓이보다 큰 것으로 나타내고 있다.
여기서 각 커브이 넓이는 커브 아래의 넓이 즉 AUC(Area under the curve)를 의미할 수 있다.
이 경우 영상 데이터의 초기 시점부터 제1시점 전까지의 영역에서 모델의 정확도는 제2진단용 예측 모델이 더 높은 것으로 보여지므로 컴퓨팅 장치는 제2진단용 예측 모델을 이용하여 대상체의 상태를 진단할 수 있다.
한편 도8c를 참고하면, 도8c는 영상 데이터의 제1시간부터 기준 시간 전까지의 동적 영상 데이터를 기초로 질병 특이적 정보를 예측한 정확도에 대응되는 ROC커브를 나타내고 있다.
이 경우, 제1진단용 예측 모델에 대응되는 ROC커브(M821)의 넓이가 제2진단용 예측 모델에 대응되는 ROC커브(M22)의 넓이 보다 더 크게 마련되므로 컴퓨팅 장치는 해당 영역에서는 제1진단용 예측 모델의 정확도가 더 높은 것으로 판단할 수 있다. 따라서 이 경우에는 컴퓨팅 장치가 제1진단용 예측 모델을 이용하여 대상체의 정보를 예측할 수 있다.
상술한 방법을 기초로 컴퓨팅 장치는 영상 데이터의 시점에 따라 정확도가 높은 진단용 예측 모델을 이용하여 학습을 수행할 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 초기 동적 영상데이터 기반 진단용 영상 생성방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10 : 컴퓨팅 장치
50 : 클라이언트 장치
100 : 프로세서
110 : 메모리
120 : 디스플레이
50 : 클라이언트 장치
100 : 프로세서
110 : 메모리
120 : 디스플레이
Claims (11)
- 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
복수의 학습용 영상 데이터를 획득하는 단계;
상기 복수의 학습용 영상 데이터로부터 복수의 학습용 동적 영상 데이터를 추출하되,
상기 복수의 학습용 동적 영상 데이터는, 상기 복수의 학습용 영상 데이터 내에 각각 포함된 학습 대상체의 약품 주입 시점 이후, 혈류 영향이 감소하기 시작하는 제1 시간부터 미리 결정된 기준 시점까지의 재생 구간 영상을 포함하는, 복수의 학습용 동적 영상 데이터 추출 단계;
상기 복수의 학습용 동적 영상 데이터에 해당하는 해부학적 정보 및 질병 특이적 정보를 획득하는 단계;
상기 컴퓨팅 장치가 상기 복수의 학습용 동적 영상 데이터에 해당하는 상기 해부학적 정보 및 상기 질병 특이적 정보를 기초로 제1 진단용 영상 예측 모델을 이용한 학습을 수행하여 제1 학습 데이터를 생성하는 단계; 및
진단 대상체에 대응되는 진단용 동적 영상 데이터가 획득될 경우, 상기 진단용 동적 영상 데이터 및 상기 제1 학습 데이터를 이용하여 상기 진단 대상체에 대응되는 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 단계;를 포함하고,
상기 학습용 동적 영상 데이터에 대응되는 상기 약품 주입 시점부터 상기 제1 시간까지 재생 구간 영상을 포함하는 초기 동적 영상 데이터 및 상기 기준 시점 이후 재생 구간 영상을 포함하는 딜레이 영상 데이터를 획득하는 단계; 및
상기 초기 동적 영상 데이터를 기초로 상기 해부학적 정보를 획득하고, 상기 딜레이 영상 데이터를 기초로 상기 질병 특이적 정보를 획득하는 단계;를 더 포함하는 동적 영상 데이터 기반 대상체 상태 예측 방법.
- 삭제
- 제1항에 있어서,
상기 진단 대상체에 대응되는 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 단계는,
상기 진단용 동적 영상 데이터 및 상기 제1 학습 데이터를 기초로 상기 진단용 동적 영상 데이터에 대응되는 신규 초기 동적 영상 데이터 및 신규 딜레이 영상 데이터를 예측하는 단계;를 포함하는 동적 영상 데이터 기반 대상체 상태 예측 방법.
- 제3항에 있어서,
상기 컴퓨팅 장치가 상기 학습용 동적 영상 데이터에 대응되는 해부학적 정보 및 질병 특이적 정보를 획득하는 단계는,
상기 학습용 동적 영상 데이터와 상기 진단용 동적 영상 데이터의 밝기의 최대값 또는 평균값을 기초로 상기 학습용 영상 데이터와 상기 진단용 동적 영상 데이터를 정규화하여 상기 진단용 동적 영상 데이터에 대응되는 상기 신규 초기 동적 영상 데이터 및 상기 신규 딜레이 영상 데이터를 예측하는 것을 포함하는 동적 영상 데이터 기반 대상체 상태 예측 방법.
- 제3항에 있어서,
상기 제1 학습 데이터를 생성하는 단계는,
시간 경과에 따른 상기 학습용 동적 영상 데이터 내의 각 픽셀의 변화와 상기 초기 동적 영상 데이터 및 딜레이 영상 데이터의 프레임 내의 각 픽셀을 매칭하여 학습하는 단계;를 포함하는 동적 영상 데이터 기반 대상체 상태 예측 방법.
- 제1항에 있어서,
상기 복수의 학습용 영상 데이터는 양전자 방출 단층촬영(Positron Emission Tomography) 영상 데이터인 동적 영상 데이터 기반 대상체 상태 예측 방법.
- 제1항에 있어서,
상기 복수의 학습용 영상 데이터의 촬영에 이용되는 상기 약품이 특정한 타겟 영역에 결합하는 트레이서인 경우,
상기 학습용 동적 영상 데이터는,
상기 타겟 영역과 레퍼런스 영역의 선량 비율 차이 값이 특정 값 이상이 되거나 혈류에 의한 상기 레퍼런스 영역의 선량 변화량이 감소하는 시점부터 상기 선량 비율 차이 값이 최대가 되는 시점까지 획득되는 영상 데이터로 형성되는 동적 영상 데이터 기반 대상체 상태 예측 방법.
- 제7항에 있어서,
상기 미리 결정된 기준 시점은,
상기 트레이서의 종류에 기초하여 결정되는 동적 영상 데이터 기반 대상체 상태 예측 방법.
- 제1항에 있어서,
제2 진단용 영상 예측 모델을 통하여 상기 동적 영상 데이터를 이용하여 상기 초기 동적 영상 데이터 및 상기 딜레이 영상 데이터를 예측하고,
예측된 초기 동적 영상 데이터 및 예측된 딜레이 영상 데이터를 함께 이용하여 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 제2 학습 데이터를 형성하는 단계;를 더 포함하는 동적 영상 데이터 기반 대상체 상태 예측 방법.
- 제9항에 있어서,
상기 제1 진단용 영상 예측 모델의 정확도 및 상기 제2 진단용 영상 예측 모델의 정확도 중 높은 정확도를 갖는 진단용 영상 예측 모델을 이용하여,
상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하는 단계;를 더 포함하는 모델을 결정하는 동적 영상 데이터 기반 대상체 상태 예측 방법.
- 디스플레이;
진단용 영상 예측 모델을 저장하는 메모리;
상기 디스플레이, 상기 메모리와 통신을 수행하는 적어도 하나의 프로세서;를 포함하고,
상기 적어도 하나의 프로세서는,
클라이언트 장치로부터 복수의 학습용 영상 데이터를 획득하고,
상기 복수의 학습용 영상 데이터로부터 복수의 학습용 동적 영상 데이터를 추출하되, 상기 복수의 학습용 동적 영상 데이터는 상기 복수의 학습용 영상 데이터 내에 각각 포함된 학습 대상체의 약품 주입 시점 이후. 혈류 영향이 감소하기 시작하는 제1 시간부터 미리 결정된 기준 시점까지의 재생 구간 영상을 포함하는 것이고,
상기 복수의 학습용 동적 영상 데이터에 해당하는 해부학적 정보 및 질병 특이적 정보를 획득하고,
상기 복수의 학습용 동적 영상 데이터에 해당하는 상기 해부학적 정보 및 상기 질병 특이적 정보를 기초로 제1 진단용 영상 예측 모델을 이용한 학습을 수행하여 제1 학습 데이터를 생성하고,
진단 대상체에 대응되는 진단용 동적 영상 데이터가 획득될 경우, 상기 진단용 동적 영상 데이터 및 상기 제1 학습 데이터를 이용하여 상기 진단 대상체에 대응되는 상기 해부학적 정보 및 상기 질병 특이적 정보를 예측하고,
상기 학습용 동적 영상 데이터에 대응되는 상기 약품 주입 시점부터 상기 제1 시간까지 재생 구간 영상을 포함하는 초기 동적 영상 데이터 및 상기 기준 시점 이후 재생 구간 영상을 포함하는 딜레이 영상 데이터를 획득하고,
상기 초기 동적 영상 데이터를 기초로 상기 해부학적 정보를 획득하고, 상기 딜레이 영상 데이터를 기초로 상기 질병 특이적 정보를 획득하는 컴퓨팅 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210159760A KR102660268B1 (ko) | 2021-11-18 | 2021-11-18 | 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치 |
| PCT/KR2022/018157 WO2023090880A1 (ko) | 2021-11-18 | 2022-11-17 | 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210159760A KR102660268B1 (ko) | 2021-11-18 | 2021-11-18 | 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230073434A KR20230073434A (ko) | 2023-05-26 |
| KR102660268B1 true KR102660268B1 (ko) | 2024-04-25 |
Family
ID=86397404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210159760A KR102660268B1 (ko) | 2021-11-18 | 2021-11-18 | 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102660268B1 (ko) |
| WO (1) | WO2023090880A1 (ko) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150009915A (ko) * | 2013-07-17 | 2015-01-27 | 한국전자통신연구원 | 의료 영상 지식 서비스 제공 장치, 영상 처리 장치 및 방법 |
| KR101880678B1 (ko) * | 2016-10-12 | 2018-07-20 | (주)헬스허브 | 기계학습을 통한 의료영상 판독 및 진단 통합 시스템 |
| CN106887025B (zh) * | 2017-01-16 | 2019-06-11 | 浙江大学 | 一种基于栈式自编码器的混合示踪剂动态pet浓度分布图像重建的方法 |
| SG11202002988VA (en) * | 2017-10-31 | 2020-04-29 | Ge Healthcare Ltd | Medical system for diagnosing cognitive disease pathology and/or outcome |
| KR102483585B1 (ko) * | 2018-05-04 | 2023-01-02 | 재단법인 아산사회복지재단 | 초기 동적 영상데이터 기반 진단용 영상 생성방법 및 프로그램 |
| KR102157867B1 (ko) * | 2018-11-13 | 2020-09-18 | 서강대학교산학협력단 | 딥러닝에 기반한 고속 양전자단층촬영 영상 획득 장치 및 방법 |
-
2021
- 2021-11-18 KR KR1020210159760A patent/KR102660268B1/ko active IP Right Grant
-
2022
- 2022-11-17 WO PCT/KR2022/018157 patent/WO2023090880A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230073434A (ko) | 2023-05-26 |
| WO2023090880A1 (ko) | 2023-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11011275B2 (en) | System and method for diagnosing gastrointestinal neoplasm | |
| KR101898575B1 (ko) | 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치 | |
| CN111160367B (zh) | 图像分类方法、装置、计算机设备和可读存储介质 | |
| CN111080584B (zh) | 医学图像的质控方法、计算机设备和可读存储介质 | |
| JP7170145B2 (ja) | 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法 | |
| KR102483585B1 (ko) | 초기 동적 영상데이터 기반 진단용 영상 생성방법 및 프로그램 | |
| CN111325714B (zh) | 感兴趣区域的处理方法、计算机设备和可读存储介质 | |
| JP2023078193A (ja) | 人工神経網を利用する臓器の体積測定方法及びその装置 | |
| CN111128348B (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
| CN110751187A (zh) | 异常区域图像生成网络的训练方法和相关产品 | |
| CN111028212A (zh) | 关键点检测方法、装置、计算机设备和存储介质 | |
| KR102660268B1 (ko) | 동적 영상데이터 기반 대상체 상태 예측 방법 및 이를 수행하는 컴퓨팅 장치 | |
| CN113192031A (zh) | 血管分析方法、装置、计算机设备和存储介质 | |
| CN110610527B (zh) | 计算suv的方法、装置、设备、系统及计算机存储介质 | |
| KR101948701B1 (ko) | 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치 | |
| KR20210084979A (ko) | 심혈관 질환 위험도 예측 방법 및 시스템 | |
| KR102222816B1 (ko) | 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치 | |
| Kazwiny et al. | Extracting neuronal activity signals from microscopy recordings of contractile tissue using B-spline Explicit Active Surfaces (BEAS) cell tracking | |
| Amaludin et al. | Toward more accurate diagnosis of multiple sclerosis: Automated lesion segmentation in brain magnetic resonance image using modified U‐Net model | |
| CN113096132B (zh) | 图像处理的方法、装置、存储介质和电子设备 | |
| CN114723723A (zh) | 医学影像处理方法、计算机设备和存储介质 | |
| KR102593628B1 (ko) | 고품질 의료 영상 생성 방법 및 시스템 | |
| KR102649096B1 (ko) | Pet 영상 변환 방법 및 이를 이용한 뇌질환 진단 방법 | |
| WO2023121005A1 (ko) | 인공 신경망에 기반하여 분류 정보를 출력하는 방법 및 이를 위한 장치 | |
| US20230368913A1 (en) | Uncertainty Estimation in Medical Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |