KR102412047B1 - 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 - Google Patents
안와 및 안와주변 병변 예측 장치 및 그 예측 방법 Download PDFInfo
- Publication number
- KR102412047B1 KR102412047B1 KR1020200057078A KR20200057078A KR102412047B1 KR 102412047 B1 KR102412047 B1 KR 102412047B1 KR 1020200057078 A KR1020200057078 A KR 1020200057078A KR 20200057078 A KR20200057078 A KR 20200057078A KR 102412047 B1 KR102412047 B1 KR 102412047B1
- Authority
- KR
- South Korea
- Prior art keywords
- orbital
- medical image
- deep learning
- learning model
- lesion
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013136 deep learning model Methods 0.000 claims abstract description 103
- 238000001574 biopsy Methods 0.000 claims abstract description 37
- 210000003625 skull Anatomy 0.000 claims abstract description 14
- 230000002093 peripheral effect Effects 0.000 claims description 42
- 238000007781 pre-processing Methods 0.000 claims description 24
- 206010028980 Neoplasm Diseases 0.000 claims description 16
- 230000000873 masking effect Effects 0.000 claims description 11
- 210000003205 muscle Anatomy 0.000 claims description 10
- 210000001328 optic nerve Anatomy 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 210000003695 paranasal sinus Anatomy 0.000 claims description 6
- 210000000695 crystalline len Anatomy 0.000 claims description 5
- 210000001519 tissue Anatomy 0.000 claims description 5
- 210000004561 lacrimal apparatus Anatomy 0.000 claims description 4
- 206010061218 Inflammation Diseases 0.000 claims description 3
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 claims description 3
- 230000004054 inflammatory process Effects 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 229910052718 tin Inorganic materials 0.000 claims description 3
- 210000005166 vasculature Anatomy 0.000 claims description 3
- 208000010392 Bone Fractures Diseases 0.000 claims 2
- 206010017076 Fracture Diseases 0.000 claims 2
- 230000002159 abnormal effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 101100236847 Caenorhabditis elegans mdl-1 gene Proteins 0.000 description 11
- 239000004065 semiconductor Substances 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000003211 malignant effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 208000015914 Non-Hodgkin lymphomas Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000027866 inflammatory disease Diseases 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000023328 Basedow disease Diseases 0.000 description 1
- 208000003163 Cavernous Hemangioma Diseases 0.000 description 1
- 208000003164 Diplopia Diseases 0.000 description 1
- 208000003084 Graves Ophthalmopathy Diseases 0.000 description 1
- 208000015023 Graves' disease Diseases 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- 206010026865 Mass Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002962 histologic effect Effects 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 201000009313 lacrimal gland cancer Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 206010027191 meningioma Diseases 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Neurology (AREA)
Abstract
본 명세서는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받아, 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 환자의 안와 구조물에 대한 분류 결과를 생성하고, 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하고, 추정 결과에 따라 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하고, 추정 결과 및 예측 결과를 출력하고, 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하는 안와 및 안와주변 병변 예측 장치 및 예측 방법을 개시한다.
Description
본 발명은 안와 및 안와주변 병변 예측 장치 및 그 예측 방법을 제공한다.
안와는 안구를 둘러싼 주변부를 지칭하며 안와에는 다양한 구조물이 존재한다. 환자의 안와에 발생하는 병변은 발생률이 높지는 않지만, 만약 발생할 경우에는 환자에게 매우 치명적일 수 있다. 예를 들어, 환자의 안와에 발생한 병변 중 악성 (malignant) 종양은 사망률이 매우 높다(e.g. 안와림프종의 경우 26.4%, 눈물샘암의 경우 38.5%). 또한 양성(benign) 종양인 경우에도 종양이 시신경을 압박하여 환자가 실명하거나(비가역적 손상 실명률 90%) 또는 종양이 외안근을 침범하여 복시 등을 유발할 가능성이 높다.
환자의 안와에 발생한 병변은 확진이 빠르게 된다면 병변에 따른 적절한 치료(양성 종양의 경우 경과 관찰, 수술, 약물 치료/악성 종양의 경우 항암제, 수술, 방사선 치료)가 가능하나, 치료 기간이 6개월에서 1년 이상 지연되는 경우가 자주 발생한다. 안와에 발생한 병변, 특히 염증성 안와 및 안와주변 병변(가성 종양)의 경우 조직 검사가 필수적인데, 안와의 앞쪽에 발생할 경우에는 접근성이 좋아 조직 검사가 가능하나, 구후부(retrobulbar space) 혹은 안와 첨부(orbital apex)에 발생할 경우에는 조직 검사 접근성이 떨어지고 또한 안와는 좁은 공간에 안구를 포함한 주요 구조물들이 밀집해 있어 조직 검사 자체가 위험하기 때문이다. 이런 이유로 조직 검사가 불가능한 위치에 발생한 안와의 병변에 대해서는 감별 진단(유사한 특징의 질병을 비교 검토하여 병명을 판정하는 진단법)을 실시하지만 초기 확진이 어려워 치료 기간이 길어질 가능성이 높다.
실시예들은, 환자의 안와에 발생한 병변의 위치 및 종류를 빠르고 정확하게 예측할 수 있는 안와 및 안와주변 병변 예측 장치 및 그 예측 방법을 제공한다.
또한, 실시예들은, 조직 검사가 불가능한 위치에 발생한 병변의 위치 및 종류를 예측할 수 있는 안와 및 안와주변 병변 예측 장치 및 그 예측 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 명세서는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받아, 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 환자의 안와 구조물에 대한 분류 결과를 생성하고, 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하고, 추정 결과에 따라 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하고, 추정 결과 및 예측 결과를 출력하고, 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하는 안와 및 안와주변 병변 예측 장치 및 예측 방법을 개시한다.
일 실시예는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받는 입력부; 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 환자의 안와 구조물에 대한 분류 결과를 생성하는 구조물 분류부; 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하는 추정부; 추정 결과에 따라, 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하는 병변 예측부; 추정 결과 및 예측 결과를 출력하는 출력부; 및 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하는 모델 학습부를 포함하는 안와 및 안와주변 병변 예측 장치를 제공한다.
다른 실시예는, 환자의 두개골을 촬영한 타깃 의료 영상을 입력받는 입력 단계; 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 환자의 안와 구조물에 대한 분류 결과를 생성하는 구조물 분류 단계; 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하는 추정 단계; 추정 결과에 따라, 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하는 병변 예측 단계; 및 추정 결과 및 예측 결과를 출력하는 출력 단계를 포함하고, 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델은 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 학습되는 안와 및 안와주변 병변 예측 방법을 제공한다.
실시예들에 따른 안와 및 안와주변 병변 예측 장치 및 예측 방법에 의하면, 환자의 안와 주변에 발생한 병변의 위치 및 종류를 빠르고 정확하게 예측할 수 있다.
또한, 실시예들에 따른 안와 및 안와주변 병변 예측 장치 및 예측 방법에 의하면, 조직 검사가 불가능한 위치에 발생한 병변의 위치 및 종류를 예측할 수 있다.
도 1은 안와 및 안와주변 병변 예측 장치의 일 예를 나타낸 블럭도이다.
도 2는 타깃 의료 영상의 일 예를 나타낸 도면이다.
도 3은 타깃 의료 영상에서 안와 구조물에 대한 분류 결과의 일 예를 나타낸 도면이다.
도 4는 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 5는 전처리 데이터를 생성하는 일 예를 나타낸 도면이다.
도 6은 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 7은 합성 의료 영상 생성 여부를 결정하는 동작의 일 예를 나타낸 흐름도이다.
도 8은 합성 의료 영상을 생성하는 일 예를 나타낸 도면이다.
도 9는 안와 및 안와주변 병변 예측 방법의 일 예를 나타낸 흐름도이다.
도 2는 타깃 의료 영상의 일 예를 나타낸 도면이다.
도 3은 타깃 의료 영상에서 안와 구조물에 대한 분류 결과의 일 예를 나타낸 도면이다.
도 4는 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 5는 전처리 데이터를 생성하는 일 예를 나타낸 도면이다.
도 6은 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 7은 합성 의료 영상 생성 여부를 결정하는 동작의 일 예를 나타낸 흐름도이다.
도 8은 합성 의료 영상을 생성하는 일 예를 나타낸 도면이다.
도 9는 안와 및 안와주변 병변 예측 방법의 일 예를 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는"직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 안와 및 안와주변 병변 예측 장치의 일 예를 나타낸 블럭도이다.
도 1을 참조하면, 안와 및 안와주변 병변 예측 장치(100)는 입력부(110), 구조물 분류부(120), 추정부(130), 병변 예측부(140), 출력부(150) 및 모델 학습부(160)를 포함할 수 있다.
입력부(110)는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받을 수 있다. 타깃 의료 영상은 X-ray 장치, 초음파 장치, CT, MRI 등의 영상 진단 기기를 이용하여 환자의 두개골을 전면(얼굴 방향), 측면(귀 방향) 또는 상부(정수리 방향)에서 촬영한 영상일 수 있다.
이때, 타깃 의료 영상은 일 예로 CT 영상 또는 MRI 영상일 수 있다. CT 영상 또는 MRI 영상은 안와 구조물 및 안와 구조물에 발생한 다양한 종류의 병변을 나타낼 수 있다. CT 또는 MRI는 안와의 구조물에 비정상적인 요소가 안와 공간을 차지하고 있는 것을 인지할 수 있으며, X선이 반사/흡수되는 정도, 공명 신호 강도 등을 기초로 하여 안와의 구조물에 발생한 병변(e.g. 종양)을 인지할 수 있기 때문이다. 타깃 의료 영상의 구체적인 예는 이하 도 2에서 자세히 설명한다.
구조물 분류부(120)는 입력부(110)에서 입력받은 타깃 의료 영상을 제1 딥 러닝 모델(MDL_1)에 입력하여 환자의 안와에 위치하는 구조물, 즉 안와 구조물에 대한 분류 결과를 생성할 수 있다.
이때, 안와 구조물은 하나 이상일 수 있으며, 각 구조물은 안와벽(orbital walls), 안와벽의 구멍(fissures, canals), 안와골막(periorbita), 시신경(optic nerve), 외안근(extraocular muscle), 안와지방(orbital fat), 신경(nerve), 혈관(vasculature), 찐씨공통힘줄고리(annulus of Zinn), 안구내 조직(intraorbital tissue), 수정체(crystalline lens), 각막 정점(corneal apex), 안와 정점(orbit apex), 눈물샘(lacrimal gland) 또는 유리체(vitreous)인 안와병변과 비강 및 부비동(nasal and paranasal sinus)의 안와주변 병변일 수 있다. 구조물 분류부(120)는 안와 구조물 중에서 병변을 탐색하고자 하는 특정한 안와 구조물에 대한 분류 결과를 생성할 수 있다.
이때, 제1 딥 러닝 모델(MDL_1)은 타깃 의료 영상을 입력받아 안와 구조물에 대한 검출(detection) 및 분할(segmentation)을 수행하는 객체 검출 & 분할(Object Detection & Segmentation) 모델일 수 있다.
안와 구조물에 대한 분류 결과는 타깃 의료 영상에서 안와 구조물에 대응하는 영역이 어디인지에 대한 정보를 지시할 수 있다. 예를 들어 안와에 위치하는 구조물에 대한 분류 결과는 타깃 의료 영상에서 어느 부분이 시신경에 해당하고, 어느 부분이 외안근에 해당하는 구조물인지 등의 정보를 타깃 의료 영상 중 특정 영역을 마스킹하는 방식 등을 통해 지시할 수 있다.
추정부(130)는 구조물 분류부(120)에서 생성된 분류 결과를 제2 딥 러닝 모델(MDL_2)에 입력하여 환자의 안와에 위치하는 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성할 수 있다.
이때, 안와에 위치하는 구조물에 발생한 병변은 골절, 염증성 질환 또는 종양(악성/양성)등일 수 있다.
제2 딥 러닝 모델(MDL_2)은 안와에 위치하는 구조물의 크기/모양을 기반으로 병변을 탐지하는 객체 검출(Object Detection) 모델일 수 있다.
추정부(130)에서 생성하는 추정 결과는 안와 구조물이 정상, 즉 병변이 미발생하였는지 또는 비정상, 즉 병변이 발생하였는지 여부에 대해 추정한 결과를 지시할 수 있다. 예를 들어 추정부(130)는 안와에 위치하는 특정 구조물(e.g. 외안근)에 특정한 병변(e.g. 악성 종양)이 발생하였는지 여부에 대해 추정한 결과를 확률값(e.g. 80%/90%)으로 지시할 수 있다.
병변 예측부(140)는 추정부(130)에서 생성한 추정 결과에 따라, 구조물 분류부(120)에서 생성한 안와 구조물에 대한 분류 결과를 제3 딥 러닝 모델(MDL_3)에 입력하여, 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성할 수 있다. 일 예로 병변의 종류에 대한 예측 결과는 갑상선 안질환의 유무, 골절/염증/종양인지 여부, 종양의 경우 악성인지 양성인지 여부, 악성 종양일 경우 종양의 타입을 예측한 결과일 수 있다.
제3 딥 러닝 모델(MDL_3)은 안와 구조물이 촬영된 영상을 입력받아 병변에 해당하는 부분을 분할하고 병변의 종류를 분류하는 모델일 수 있다.
일 예로, 만약 추정 결과가 안와 구조물에 병변이 미발생하였다는 것을 지시하는 경우에는 병변의 위치 및 종류를 예측할 필요가 없으므로, 병변 예측부(140)는 안와 구조물에 발생한 병변의 위치 및 종류를 예측하지 않는다.
반면, 추정 결과가 안와 구조물에 병변이 발생하였다는 것을 지시하는 경우에는 병변 예측부(140)는 안와에 위치하는 구조물에 발생한 병변의 위치 및 종류를 제3 딥 러닝 모델(MDL_3)을 이용하여 예측한다.
예를 들어, 예측 결과는 안와에 위치하는 특정 구조물(e.g. 외안근)에 특정한 종류(타입)의 종양(악성)이 있을 확률값(e.g. 80%/90%)일 수 있다.
출력부(150)는 추정부(130)에서 생성한 추정 결과 및 병변 예측부(140)에서 생성한 예측 결과 중 하나 이상을 출력할 수 있다. 출력부(150)는 의료진과 환자에게 추정 결과 및 예측 결과를 이해하기 쉽도록 텍스트, 이미지 등으로 시각화하여 제공할 수 있다.
예를 들어 출력부(150)는 추정 결과 안와 구조물이 정상(즉, 병변이 미발생)일 경우 정상임을 나타내는 정보를 출력할 수 있다. 다른 예로 출력부(150)는 추정 결과 안와 구조물이 비정상(즉, 병변이 발생)일 경우 비정상임을 나타내는 정보 및 구조물에 발생한 병변의 위치 및 종류를 출력할 수 있다.
한편, 출력부(150)는 정보를 표시할 수 있는 디스플레이 장치(e.g. 스마트폰, 태블릿, 모니터, TV, LED)로 추정 결과 및 예측 결과를 출력할 수 있다.모델 학습부(160)는 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상과 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여, 전술한 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2) 및 제3 딥 러닝 모델(MDL_3)에 대한 학습을 수행할 수 있다.
이때, 샘플 의료 영상, 조직 검사 정보는 안와 및 안와주변 병변 예측 장치(100)의 외부에 위치하는 저장 장치(10)에 저장될 수 있다. 저장 장치(10)는 일 예로 안와 및 안와주변 병변 예측 장치(100)의 외부에 위치할 수 있으며, 데이터베이스를 구축한 PC, 서버, 의료 정보 시스템 등일 수 있다.
한편, 저장 장치(10)는 전술한 샘플 의료 영상, 조직 검사 정보뿐 아니라 전술한 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3)을 추가로 저장할 수도 있다. 이 경우 안와 및 안와주변 병변 예측 장치(100)는 저장 장치(10)에 저장된 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3)을 로드할 수 있고, 학습이 수행되어 업데이트된 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3)을 다시 저장 장치(10)에 라이트(write)할 수 있다.
샘플 의료 영상은 타깃 의료 영상과 마찬가지로 다양한 환자의 두개골을 전면, 측면, 상부에서 기 촬영한 CT 영상 또는 MRI 영상일 수 있다.
샘플 의료 영상에 대응하는 조직 검사 정보는 대응하는 샘플 의료 영상이 촬영된 안와 구조물에 대한 조직 검사(즉, 구조물을 구성하는 세포를 현미경을 통해 확인하는 검사)를 수행한 결과를 지시할 수 있다. 일 예로 조직 검사 정보는 안와 구조물(e.g. 외안근)에 종양이 발생하였는지 여부, 종양이 악성인지 양성인지 여부, 종양의 타입에 대한 정보를 지시할 수 있다.
샘플 의료 영상과 이에 대응하는 조직 검사 정보는 연관성이 존재하고, 안와에 위치한 구조물에 발생한 병변, 특히 종양은 위치에 관계없이 조직 소견에 따른 형태학적 유사성이 존재한다. 합성 의료 영상은 샘플 의료 영상을 기초로 생성되며, 특정한 조건일 때 생성될 수 있다. 이하 도 7 내지 도 8에서 합성 의료 영상을 생성하는 조건 및 그 방법에 대해 구체적으로 설명한다.
도 2는 타깃 의료 영상의 일 예를 나타낸 도면이다.
도 1에서 전술한 바와 같이, 타깃 의료 영상은 CT 영상 또는 MRI 영상일 수 있다.
도 2의 a는 내분비 안와 병증(endocrine orbitopathy)인 그레이브스 병이 있는 환자의 두개골을 촬영한 CT 영상이다. 그리고 도 2의 b는 좌안에 구후 해면 혈관종(retrobulbar cavernous hemangioma)이 있는 환자의 두개골을 촬영한 CT 영상이다. 그리고 도 2의 c는 우안의 안와 정점(orbital apex)에 시신경초 수막종(optic sheath meningioma)이 있는 환자의 두개골을 촬영한 MRI 영상이다. 그리고 도 2의 d는 좌안의 안와 정점에 비호지킨 림프종(non-Hodgkin lymphoma, NHL)이 있는 환자의 두개골을 촬영한 CT 영상이다.
도 3은 타깃 의료 영상에서 안와 구조물에 대한 분류 결과의 일 예를 나타낸 도면이다.
도 3을 참조하면, 구조물 분류부(120)는 타깃 의료 영상 a, b로부터 안와에 위치하는 각막 정점(corneal apex), 수정체(crystalline lens), 유리체(vitreous), 외안근(extraocular muscle), 시신경(optic nerve), 안와 정점(orbit apex) 등의 안와 구조물을 분류하고, 각 안와 구조물을 마스킹할 수 있다.
도 4는 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 4를 참조하면, 안와 및 안와주변 병변 예측 장치(100)는 도 1에서 전술한 입력부(110), 구조물 분류부(120), 추정부(130), 병변 예측부(140), 출력부(150) 및 모델 학습부(160) 이외에 전처리부(170)를 추가로 포함할 수 있다.
전처리부(170)는 샘플 의료 영상 및 조직 검사 정보를 기초로 도 1에서 전술한 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2) 및 제3 딥 러닝 모델(MDL_3)을 학습하기 위하여 사용되는 전처리 데이터를 생성할 수 있다.
도 5는 전처리 데이터를 생성하는 일 예를 나타낸 도면이다.
도 5를 참조하면, 전처리부(170)는 샘플 의료 영상에 안와에 위치하는 구조물에 대한 마스킹 정보를 추가할 수 있다. 이때, 마스킹 정보는 자동화된 도구에 의해 추가되거나 또는 의료진이 직접 수작업으로 추가할 수 있다.
그리고 전처리부(170)는 조직 검사 정보를 설정된 매핑 테이블을 기초로 인코딩할 수 있다.
전처리부(170)는 샘플 의료 영상에 전술한 마스킹 정보를 추가한 마스킹 데이터 또는 조직 검사 정보를 인코딩한 인코딩 데이터를 포함하는 전처리 데이터를 생성할 수 있다.
한편, 전처리부(170)는 전술한 전처리 데이터를 생성하는 과정에서 환자의 개인 정보를 삭제하는 작업을 추가로 수행할 수 있다. 환자의 개인 정보를 삭제하는 과정은 자동화된 도구에 의해 수행될 수 있고, 의료진이 직접 수작업으로 수행할 수도 있다.
도 6은 안와 및 안와주변 병변 예측 장치의 다른 예를 나타낸 블럭도이다.
도 6을 참조하면, 안와 및 안와주변 병변 예측 장치(100)는 도 1 및 도 4에서 전술한 입력부(110), 구조물 분류부(120), 추정부(130), 병변 예측부(140), 출력부(150) 및 모델 학습부(160), 전처리부(170) 이외에 합성 의료 영상 생성부(180)를 추가로 포함할 수 있다.
합성 의료 영상 생성부(180)는 전처리부(170)에서 생성된 전처리 데이터를 기초로 하여 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3)을 학습하기 위한 합성 의료 영상을 생성할 수 있다.
이처럼 합성 의료 영상 생성부(180)에서 합성 의료 영상을 생성하는 이유는 딥 러닝 모델을 학습하는 과정에서 정상인 샘플 의료 영상, 즉 촬영된 안와 구조물에 병변이 미발생한 샘플 의료 영상의 개수와 비정상인 샘플 의료 영상, 즉 촬영된 안와 구조물에 병변이 발생한 샘플 의료 영상의 개수의 불균형으로 인해 딥 러닝 모델의 정확도가 낮아지는 문제를 방지하기 위함이다.
특히, 전술한 샘플 의료 영상 중에서는 비정상인 샘플 의료 영상의 수가 정상인 샘플 의료 영상의 수보다 현저히 적을 가능성이 높기 때문에, 샘플 의료 영상을 기초로 학습된 딥 러닝 모델은 비정상인 경우에 대한 예측 정확도가 낮을 가능성이 높다. 따라서, 합성 의료 영상 생성부(180)는 비정상인 샘플 의료 영상의 수가 정상인 샘플 의료 영상의 수보다 현저히 적을 경우 비정상인 합성 의료 영상, 즉 병변이 있는 구조물의 이미지를 포함하는 합성 의료 영상을 생성하여 딥 러닝 모델이 비정상인 경우에 대한 예측 정확도를 높일 수 있다. 또한, 합성 의료 영상 정보는 환자의 개인 정보를 포함하지 않기 때문에 개인정보보호법 상 개인정보 보호를 위한 조치를 취할 필요가 없다는 장점이 있다.
도 7은 합성 의료 영상 생성 여부를 결정하는 동작의 일 예를 나타낸 흐름도이다.
도 7을 참조하면, 합성 의료 영상 생성부(180)는 정상인 샘플 의료 영상의 개수, 즉 병변이 미발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수 A를 계산할 수 있다(S710).
그리고 합성 의료 영상 생성부(180)는 비정상인 샘플 의료 영상의 개수, 즉 병변이 미발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수 B를 계산할 수 있다(S720). 한편, 도 7에서는 S720 단계가 S710 단계보다 이후에 실행되는 경우를 예로 들어 설명하였으나, S720 단계는 S710 단계보다 이전에 실행될 수도 있고 동시에 실행될 수도 있다.
합성 의료 영상 생성부(180)는 정상인 샘플 의료 영상의 개수 대비 비정상인 샘플 의료 영상의 개수의 비율, 즉 (B/A)가 설정된 임계 비율(THR) 이하인지 판단한다(S730). 이때, 임계 비율(THR)의 값은 일 예로 학습된 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2) 및 제3 딥 러닝 모델(MDL_3)의 정확도를 기초로 하여 결정될 수 있다. 일 예로 임계 비율(THR)의 값은 1/50, 1/20일 수 있다.
만약 (B/A)가 설정된 임계 비율(THR) 이하이면(S730-Y), 이는 정상인 샘플 의료 영상 대비 비정상인 샘플 의료 영상의 개수가 현저히 적다는 것을 의미한다. 따라서, 합성 의료 영상 생성부(180)는 샘플 의료 영상을 기초로 합성 의료 영상을 생성할 수 있다(S740).
반면, (B/A)가 설정된 임계 비율(THR)을 초과하면(S730-N), 이는 정상인 샘플 의료 영상 대비 비정상인 샘플 의료 영상의 개수가 충분하다는 것을 의미한다. 따라서, 합성 의료 영상 생성부(180)는 합성 의료 영상을 미생성할 수 있다(S750).
도 8은 합성 의료 영상을 생성하는 일 예를 나타낸 도면이다.
합성 의료 영상 생성부(180)는 전처리 데이터에 포함된 비정상인 샘플 의료 영상으로부터 병변이 발생한 영역을 크롭핑(cropping)하여 학습 데이터를 생성할 수 있다. 전처리 데이터에 포함된 샘플 의료 영상이 비정상인지 여부는 샘플 의료 영상에 대응하는 조직 검사 정보를 통해 확인할 수 있다.
이때, 크롭핑되는 영역은 전술한 제1 딥 러닝 모델(MDL_1)에 의해 선택될 수 있다.
합성 의료 영상 생성부(180)는 크롭핑된 학습 데이터를 제4 딥 러닝 모델에 입력하여 크롭핑된 영역에 대응되는 합성 데이터를 생성할 수 있다. 이때, 제4 딥 러닝 모델은 일 예로 GAN(Generative Adversarial Network) 모델일 수 있다.
합성 의료 영상 생성부(180)는 전술한 합성 데이터를 정상인 샘플 의료 영상에 삽입하여 합성 의료 영상을 생성할 수 있다. 이때, 합성 데이터가 삽입되는 정상인 샘플 의료 영상은 랜덤하게 선택될 수 있다.
도 9는 안와 및 안와주변 병변 예측 방법의 일 예를 나타낸 흐름도이다.
안와 및 안와주변 병변 예측 방법(900)은 입력 단계(S910), 구조물 분류 단계(S920), 추정 단계(S930), 병변 예측 단계(S940) 및 출력 단계(S950)를 포함할 수 있다.
입력 단계(S910)는 환자의 두개골을 촬영한 타깃 의료 영상을 입력받을 수 있다. 이때, 타깃 의료 영상은 CT 영상 또는 MRI 영상일 수 있다.
구조물 분류 단계(S920)는 입력 단계(S910)에서 입력받은 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 안와 구조물에 대한 분류 결과를 생성할 수 있다. 이때, 일 예로 안와 구조물은 시신경(optic nerve), 외안근(extraocular muscle), 수정체(crystalline lens), 각막 정점(corneal apex), 안와 정점(orbit apex), 눈물샘(lacrimal gland) 또는 유리체(vitreous)일 수 있다.
추정 단계(S930)는 구조물 분류 단계(S920)에서 생성된 분류 결과를 제2 딥 러닝 모델에 입력하여 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성할 수 있다. 이때, 병변은 골절, 염증성 질환 또는 종양일 수 있다.
병변 예측 단계(S940)는 추정 단계(S930)에서 생성된 추정 결과에 따라, 구조물 분류 단계(S920)에서 생성된 분류 결과를 제3 딥 러닝 모델에 입력하여 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성할 수 있다.
그리고 출력 단계(S950)는 전술한 추정 결과 및 예측 결과를 출력할 수 있다.
한편, 전술한 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델은 샘플 의료 영상, 샘플 의료 영상에 대응하는 조직 검사 정보 및 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 학습될 수 있다.
전술한 제1 딥 러닝 모델, 제2 딥 러닝 모델, 제3 딥 러닝 모델을 학습하기 위한 전처리 데이터는 전술한 샘플 의료 영상 및 조직 검사 정보를 전처리하여 생성될 수 있다. 일 예로 전처리 데이터는 샘플 의료 영상에 안와에 위치한 구조물에 대한 마스킹 정보를 추가한 마스킹 데이터를 포함할 수 있다. 다른 예로 전처리 데이터는 조직 검사 정보가 설정된 매핑 테이블을 기초로 인코딩된 인코딩 데이터를 포함할 수 있다.
전술한 합성 의료 영상은 전술한 전처리 데이터를 기초로 생성될 수 있다. 일 예로 합성 의료 영상은 전술한 샘플 의료 영상 중 병변이 미발생한 샘플 의료 영상의 개수 대비 병변이 발생한 샘플 의료 영상의 개수가 설정된 임계 비율 이하일 때, 전처리 데이터를 제4 딥 러닝 모델에 입력하여 생성될 수 있다.
한편 전술한 안와 및 안와주변 병변 예측 방법(900)은 도 1, 도 4 또는 도 6을 통해 설명한 안와 및 안와주변 병변 예측 장치(100)에 의해 실행될 수 있다.
본 발명의 실시예들에서 설명하는 안와 및 안와주변 병변 예측 장치(100) 및 안와 및 안와주변 병변 예측 방법(900)은 인공 지능, 특히 딥 러닝(deep learning)을 적용하여 의료진의 빠른 의사 결정을 지원할 수 있다. 다양한 영상 진단 기기들로부터 획득한 의료 영상에 인공 지능을 적용함으로써, 의료진에게 정확도가 높은 분석 결과를 제공하여 환자의 안와 주변에 발생한 병변의 위치 및 종류를 빠르고 정확하게 예측하는 데 도움을 줄 수 있을 것으로 예상되고 있다. 또한, 타깃 의료 영상만으로 안와에 발생한 병변의 위치 및 종료를 예측함으로써, 조직 검사가 불가능한 위치에 발생한 병변의 위치 및 종류를 예측할 수 있다.
전술한 제1 딥 러닝 모델(MDL_1), 제2 딥 러닝 모델(MDL_2), 제3 딥 러닝 모델(MDL_3), 제4 딥 러닝 모델(MDL_4)과 같은 딥 러닝 모델(deep learning model)은 인공 신경망을 다층 레이어로 쌓은 형태의 모델일 수 있다. 즉, 딥 러닝 모델은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러를 최소화하도록 네트워크를 학습시켜 나아가는 형태의 모델이다.
딥 러닝 모델은 CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network) 등일 수 있으며, 본 발명은 이에 제한되지 않고 현재 또는 장래에 사용될 수 있는 다양한 딥 러닝 모델을 이용할 수 있다.
딥 러닝 모델은 딥 러닝 프레임워크를 통해 구현될 수 있다. 딥 러닝 프레임워크는 딥 러닝 모델을 개발할 때 공통적으로 사용되는 기능들을 라이브러리 형태로 제공하고, 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 지원하는 역할을 한다. 본 실시예에서 딥 러닝 모델은 현재 공개되었거나 장래 공개될 어떠한 딥 러닝 프레임워크를 이용하여 구현될 수 있다.
전술한 안와 및 안와주변 병변 예측 장치(100)는, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
또한 전술한 안와 및 안와주변 병변 예측 방법은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 딥 러닝 모델을 활용한 영상 진단 방법을 수행할 수 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들에 따른 딥 러닝 모델을 활용한 영상 진단 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.
예를 들어 실시예들에 따른 안와 및 안와주변 병변 예측 방법은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 안와 및 안와주변 병변 예측 방법을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 안와 및 안와주변 병변 예측 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 안와 및 안와주변 병변 예측 방법을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 안와 및 안와주변 병변 예측 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, python, R, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
도 10를 통해 설명된 안와 및 안와주변 병변 예측 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 안와 및 안와주변 병변 예측 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 안와 및 안와주변 병변 예측 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (21)
- 환자의 두개골을 촬영한 타깃 의료 영상을 입력받는 입력부;
상기 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 상기 환자의 안와 구조물에 대한 분류 결과를 생성하는 구조물 분류부;
상기 분류 결과를 제2 딥 러닝 모델에 입력하여 상기 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하는 추정부;
상기 추정 결과에 따라, 상기 분류 결과를 제3 딥 러닝 모델에 입력하여 상기 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하는 병변 예측부;
상기 추정 결과 및 예측 결과를 출력하는 출력부; 및
샘플 의료 영상, 상기 샘플 의료 영상에 대응하는 조직 검사 정보 및 상기 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 상기 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하는 모델 학습부를 포함하는 안와 및 안와주변 병변 예측 장치.
- 제1항에 있어서,
상기 타깃 의료 영상은 CT 영상 또는 MRI 영상인 안와 및 안와주변 병변 예측 장치.
- 제1항에 있어서,
상기 안와 구조물은 안와벽(orbital walls), 안와벽의 구멍(fissures, canals), 안와골막(periorbita), 시신경(optic nerve), 외안근(extraocular muscle), 안와지방(orbital fat), 신경(nerve), 혈관(vasculature), 찐씨공통힘줄고리(annulus of Zinn), 안구내 조직(intraorbital tissue), 수정체(crystalline lens), 각막 정점(corneal apex), 안와 정점(orbit apex), 눈물샘(lacrimal gland), 유리체(vitreous) 또는 비강 및 부비동(nasal and paranasal sinus)인 안와 및 안와주변 병변 예측 장치.
- 제1항에 있어서,
상기 안와 구조물에 발생한 병변은 골절, 염증 또는 종양인 안와 및 안와주변 병변 예측 장치.
- 제1항에 있어서,
상기 샘플 의료 영상 및 상기 조직 검사 정보를 기초로 상기 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하기 위한 전처리 데이터를 생성하는 전처리부를 추가로 포함하는 안와 및 안와주변 병변 예측 장치.
- 제5항에 있어서,
상기 전처리부는,
상기 샘플 의료 영상에 안와 주변의 구조물에 대한 마스킹 정보를 추가한 마스킹 데이터를 상기 전처리 데이터에 추가하는 안와 및 안와주변 병변 예측 장치.
- 제5항에 있어서,
상기 전처리부는,
상기 조직 검사 정보를 설정된 매핑 테이블을 기초로 인코딩한 인코딩 데이터를 상기 전처리 데이터에 추가하는 안와 및 안와주변 병변 예측 장치.
- 제5항에 있어서,
상기 전처리 데이터를 기초로 상기 합성 의료 영상을 생성하는 합성 의료 영상 생성부를 추가로 포함하는 안와 및 안와주변 병변 예측 장치.
- 제8항에 있어서,
상기 합성 의료 영상 생성부는,
상기 샘플 의료 영상 중 병변이 미발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수 대비 병변이 발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수의 비율이 설정된 임계 비율 이하일 때, 상기 합성 의료 영상을 생성하는 안와 및 안와주변 병변 예측 장치.
- 제9항에 있어서,
상기 합성 의료 영상 생성부는,
상기 전처리 데이터를 제4 딥 러닝 모델에 입력하여 상기 합성 의료 영상을 생성하는 안와 및 안와주변 병변 예측 장치.
- 환자의 두개골을 촬영한 타깃 의료 영상을 입력받는 입력 단계;
상기 타깃 의료 영상을 제1 딥 러닝 모델에 입력하여 상기 환자의 안와 구조물에 대한 분류 결과를 생성하는 구조물 분류 단계;
상기 분류 결과를 제2 딥 러닝 모델에 입력하여 상기 안와 구조물에 병변이 발생했는지 여부에 대한 추정 결과를 생성하는 추정 단계;
상기 추정 결과에 따라, 상기 분류 결과를 제3 딥 러닝 모델에 입력하여 상기 안와 구조물에 발생한 병변의 위치 및 종류에 대한 예측 결과를 생성하는 병변 예측 단계; 및
상기 추정 결과 및 예측 결과를 출력하는 출력 단계를 포함하고,
상기 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델은 샘플 의료 영상, 상기 샘플 의료 영상에 대응하는 조직 검사 정보 및 상기 샘플 의료 영상 및 조직 검사 정보를 기초로 생성된 합성 의료 영상 중 하나 이상을 기초로 하여 학습되는 안와 및 안와주변 병변 예측 방법.
- 제11항에 있어서,
상기 타깃 의료 영상은 CT 영상 또는 MRI 영상인 안와 및 안와주변 병변 예측 방법.
- 제11항에 있어서,
상기 안와 구조물은 안와벽(orbital walls), 안와벽의 구멍(fissures, canals), 안와골막(periorbita), 시신경(optic nerve), 외안근(extraocular muscle), 안와지방(orbital fat), 신경(nerve), 혈관(vasculature), 찐씨공통힘줄고리(annulus of Zinn), 안구내 조직(intraorbital tissue), 수정체(crystalline lens), 각막 정점(corneal apex), 안와 정점(orbit apex), 눈물샘(lacrimal gland), 유리체(vitreous) 또는 비강 및 부비동(nasal and paranasal sinus)인 안와 및 안와주변 병변 예측 방법.
- 제11항에 있어서,
상기 안와 구조물에 발생한 병변은 골절, 염증 또는 종양인 안와 및 안와주변 병변 예측 방법.
- 제11항에 있어서,
상기 제1 딥 러닝 모델, 제2 딥 러닝 모델 및 제3 딥 러닝 모델을 학습하기 위한 전처리 데이터는 상기 샘플 의료 영상 및 상기 조직 검사 정보를 기초로 생성되는 안와 및 안와주변 병변 예측 방법.
- 제15항에 있어서,
상기 전처리 데이터는,
상기 샘플 의료 영상에 안와 주변의 구조물에 대한 마스킹 정보가 추가된 마스킹 데이터를 포함하는 안와 및 안와주변 병변 예측 방법.
- 제15항에 있어서,
상기 전처리 데이터는,
상기 조직 검사 정보를 설정된 매핑 테이블을 기초로 인코딩하여 생성된 인코딩 데이터를 포함하는 안와 및 안와주변 병변 예측 방법.
- 제15항에 있어서,
상기 합성 의료 영상은 상기 전처리 데이터를 기초로 생성되는 안와 및 안와주변 병변 예측 방법.
- 제18항에 있어서,
상기 샘플 의료 영상 중 병변이 미발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수 대비 병변이 발생한 안와 구조물이 촬영된 샘플 의료 영상의 개수의 비율이 설정된 임계 비율 이하일 때, 상기 합성 의료 영상이 생성되는 안와 및 안와주변 병변 예측 방법.
- 제19항에 있어서,
상기 합성 의료 영상은,
상기 전처리 데이터를 제4 딥 러닝 모델에 입력하여 생성되는 안와 및 안와주변 병변 예측 방법.
- 제11항 내지 제20항 중 어느 한 항의 안와 및 안와주변 병변 예측 방법을 구현하기 위한 프로그램이 기록된 컴퓨터 저장 매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200057078A KR102412047B1 (ko) | 2020-05-13 | 2020-05-13 | 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 |
| PCT/KR2021/005285 WO2021230534A1 (ko) | 2020-05-13 | 2021-04-27 | 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200057078A KR102412047B1 (ko) | 2020-05-13 | 2020-05-13 | 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210140836A KR20210140836A (ko) | 2021-11-23 |
| KR102412047B1 true KR102412047B1 (ko) | 2022-06-23 |
Family
ID=78525186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200057078A KR102412047B1 (ko) | 2020-05-13 | 2020-05-13 | 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102412047B1 (ko) |
| WO (1) | WO2021230534A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114334167A (zh) * | 2021-12-31 | 2022-04-12 | 医渡云（北京）技术有限公司 | 医学数据挖掘方法及装置、存储介质、电子设备 |
| CN114617533B (zh) * | 2022-05-13 | 2022-08-16 | 成都尚医信息科技有限公司 | 一种基于三维重建的营养状况确定系统 |
| KR102615323B1 (ko) * | 2023-05-10 | 2023-12-19 | 서울대학교산학협력단 | 상악동 및 병변 자동 분할 시스템, 이의 동작 방법 및 자동 분할 모델 학습 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019153086A (ja) | 2018-03-02 | 2019-09-12 | 富士フイルム株式会社 | 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101856867B1 (ko) * | 2016-10-26 | 2018-05-10 | 고려대학교 산학협력단 | 구강 병변의 진단 시스템 및 방법 |
| KR101871601B1 (ko) * | 2016-11-30 | 2018-06-26 | 한국과학기술연구원 | 안와벽 재건술을 위한 수술 계획 생성 방법, 이를 수행하는 수술 계획 생성 서버, 및 이를 저장하는 기록매체 |
| KR102237441B1 (ko) * | 2018-02-28 | 2021-04-07 | 이화여자대학교 산학협력단 | 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치 |
| KR102173197B1 (ko) * | 2018-05-21 | 2020-11-03 | 고려대학교 산학협력단 | 딥러닝을 기반으로 하는 아밀로이드 양성 또는 음성을 예측하기 위한 방법 및 장치 |
-
2020
- 2020-05-13 KR KR1020200057078A patent/KR102412047B1/ko active IP Right Grant
-
2021
- 2021-04-27 WO PCT/KR2021/005285 patent/WO2021230534A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019153086A (ja) | 2018-03-02 | 2019-09-12 | 富士フイルム株式会社 | 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021230534A1 (ko) | 2021-11-18 |
| KR20210140836A (ko) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102412047B1 (ko) | 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 | |
| Tan et al. | Breast cancer detection using convolutional neural networks for mammogram imaging system | |
| JP7145233B2 (ja) | 敵対的生成ネットワークを用いた放射線治療計画モデリング | |
| US20210057105A1 (en) | Method and apparatus for determining health status | |
| US20190332900A1 (en) | Modality-agnostic method for medical image representation | |
| US20190088359A1 (en) | System and Method for Automated Analysis in Medical Imaging Applications | |
| JP2021521993A (ja) | 敵対的生成ネットワークを使用した画像強調 | |
| JP2020503603A (ja) | 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法 | |
| KR20180059329A (ko) | 엑스선 장치 및 이의 의료 영상 획득 | |
| WO2019027924A1 (en) | DEEP PLANNING RADIATION THERAPY SYSTEM AND METHOD | |
| JP7239701B2 (ja) | 人工神経網を利用する臓器の体積測定方法及びその装置 | |
| US11776128B2 (en) | Automatic detection of lesions in medical images using 2D and 3D deep learning networks | |
| EP3850638A1 (en) | Processing fundus camera images using machine learning models trained using other modalities | |
| Topaloglu | Deep learning based convolutional neural network structured new image classification approach for eye disease identification | |
| EP4022562A1 (en) | Image processing for stroke characterization | |
| Fontanella et al. | Diffusion models for counterfactual generation and anomaly detection in brain images | |
| US20230108319A1 (en) | Explanation of machine-learned models using image translation | |
| CN111145141B (zh) | 使用经训练的网络检测梗塞 | |
| KR20220083477A (ko) | 의료 영상 기반 홀로그램 제공 장치 및 방법 | |
| KR101948701B1 (ko) | 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치 | |
| Wang et al. | An interpretable deep learning system for automatic intracranial hemorrhage diagnosis with CT image | |
| KR20210043764A (ko) | 딥 러닝 기반 종양 치료 반응 예측 방법 | |
| CN116171476A (zh) | 医学图像中的界标检测 | |
| JP7362754B2 (ja) | 画像診断支援装置、画像診断支援装置の作動方法、及び画像診断支援装置の作動プログラム | |
| WO2020209826A1 (en) | Deep reinforcement learning for computer assisted reading and analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |