KR102015224B1 - 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치 - Google Patents
딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치 Download PDFInfo
- Publication number
- KR102015224B1 KR102015224B1 KR1020180111438A KR20180111438A KR102015224B1 KR 102015224 B1 KR102015224 B1 KR 102015224B1 KR 1020180111438 A KR1020180111438 A KR 1020180111438A KR 20180111438 A KR20180111438 A KR 20180111438A KR 102015224 B1 KR102015224 B1 KR 102015224B1
- Authority
- KR
- South Korea
- Prior art keywords
- lesion
- brain
- hemorrhage
- brain tumor
- filter
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 129
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 230000002008 hemorrhagic effect Effects 0.000 title claims 2
- 230000002490 cerebral effect Effects 0.000 title 1
- 238000003745 diagnosis Methods 0.000 claims abstract description 28
- 208000008574 Intracranial Hemorrhages Diseases 0.000 claims abstract description 26
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 11
- 210000004556 brain Anatomy 0.000 claims abstract description 11
- 206010008111 Cerebral haemorrhage Diseases 0.000 claims description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 208000032843 Hemorrhage Diseases 0.000 claims description 9
- 238000001356 surgical procedure Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000002405 diagnostic procedure Methods 0.000 claims description 3
- 230000000740 bleeding effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000037361 pathway Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 208000014644 Brain disease Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 206010051290 Central nervous system lesion Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Data Mining & Analysis (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Databases & Information Systems (AREA)
- Pulmonology (AREA)
- Theoretical Computer Science (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 발명은 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치에 관한 것이다. 본 발명에 따른 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법은, 영상획득부가 환자의 뇌를 촬영한 CT영상을 획득하는 단계와, 병변추출부가 상기 CT영상으로부터 서로 다른 크기의 제1필터 및 제2필터를 이용하여 뇌출혈 및 뇌종양 병변을 추출하는 단계와, 분류부가 추출된 상기 뇌출혈 및 뇌종양 병변으로부터 병변 위치, 병변 크기, 혈관 종류, 뇌출혈 유무 중 적어도 하나를 포함하는 병변 정보를 추출하고 분류하는 단계와, 진단부가 상기 병변 정보에 기초하여 수술 여부를 진단하는 단계를 포함한다.
Description
본 발명은 뇌출혈 및 뇌종양 병변 진단 방법 및 장치에 관한 것으로, 특히 환자의 뇌 CT영상으로부터 CNN(Convolution Neural Network) 기반의 서로 다른 크기의 필터들을 이용하여 신속하게 뇌출혈 및 뇌종양 병변 정보를 추출하고 진단하는 방법 및 장치에 관한 것이다.
컴퓨터를 이용하여 의료영상을 분석하고 진단하는 연구가 활발하게 진행되고 있으며, 특히 딥러닝을 기반으로 하는 인공지능 기술의 혁신적인 발전으로 의료영상을 통해 진단하는 기술이 발전하고 있다.
딥러닝 기반의 의료영상 분석은 영상을 분류(classification)하는 것을 시작으로 객체의 검출(Detection), 객체 경계의 추출(Segmentation), 서로 다른 영상의 정합(Registration)이 의료 영상 분석에서 중요한 이슈들이며, 영상을 입력으로 하기 때문에 영상에서 특징을 추출하는데 특화된 컨볼루션 신경망(Convolution neural networks; CNN)이 가장 많이 활용되고 있다.
CNN을 이용한 의료 영상 분석에 대한 선행특허로서 등록특허 제10-1740474호(MRI영상으로 뇌졸증을 진단하는 방법과 시스템)과 공개특허 제10-2018-0021635호(3차원 의료영상을 CNN과 RNN을 이용하여 병변 공간 특징 표현 분석 방법)을 개시하고 있으나, 3차원 의료 영상을 대상으로 하며 처리 속도가 늦어 응급환자에 적용하는데 한계가 있다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 인공지능 기반의 CNN과 분류기를 이용하여 뇌출혈 및 뇌종양 병변을 추출 및 진단하여 뇌출혈 및 뇌종양 병변의 존재와 위치, 크기, 혈관의 종류를 신속하게 파악할 수 있는 뇌출혈 및 뇌종양 병변 진단 방법 및 장치를 제공함에 있다.
본 발명에 따른 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법은, 영상획득부가 환자의 뇌를 촬영한 CT영상을 획득하는 단계와, 병변추출부가 상기 CT영상으로부터 서로 다른 크기의 제1필터 및 제2필터를 이용하여 뇌출혈 및 뇌종양 병변을 추출하는 단계와, 분류부가 추출된 상기 뇌출혈 및 뇌종양 병변으로부터 병변 위치, 병변 크기, 혈관 종류, 뇌출혈 및 뇌종양 유무 중 적어도 하나를 포함하는 병변 정보를 추출하고 분류하는 단계와, 진단부가 상기 병변 정보에 기초하여 수술 여부를 진단하는 단계를 포함한다.
딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 장치는, 환자의 뇌를 촬영한 CT영상을 획득하는 영상획득부와, 상기 CT영상으로부터 서로 다른 크기의 제1필터 및 제2필터를 이용하여 뇌출혈 및 뇌종양 병변을 추출하는 병변 추출부와, 추출된 상기 뇌출혈 및 뇌종양 병변으로부터 병변 위치, 병변 크기, 혈관 종류, 뇌출혈 및 뇌종양 유무 중 적어도 하나를 포함하는 병변 정보를 추출하고 분류하는 분류부와, 상기 병변 정보에 기초하여 수술 여부를 진단하는 진단부를 포함한다.
본 발명은 MRI 영상보다 비용이 저렴하고 신속하게 촬영이 가능한 CT영상만으로 뇌출혈 및 뇌종양 병변을 정확하게 진단할 수 있다. 이에 따라 시간이 촉박한 응급환자의 경우 신속하게 뇌출혈 진단이 내려질 수 있다.
또한, 서로 다른 크기의 필터를 이용하여 해상도가 높은 컨볼루션 경로(convolution pathway)와 해상도가 낮은 컨볼루션 경로(convolution pathway)를 구성하여 여러가지 정보를 효과적으로 추출할 수 있다.
도 1은 본 발명의 실시예에 따른 뇌출혈 및 뇌종양 병변 진단 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 뇌출혈 및 뇌종양 병변 진단 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 CT영상으로부터 병변을 추출하는 방법을 개략적으로 도시한 도면이다.
도 4는 추출한 뇌 병변으로부터 분류기를 활용하여 병변 정보를 획득하는 방법을 개략적으로 도시한 도면이다.
도 5는 추출된 병변 정보로부터 분류기를 활용하여 수술 여부를 확률맵으로 표시하는 방법을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 뇌출혈 및 뇌종양 병변 진단 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 CT영상으로부터 병변을 추출하는 방법을 개략적으로 도시한 도면이다.
도 4는 추출한 뇌 병변으로부터 분류기를 활용하여 병변 정보를 획득하는 방법을 개략적으로 도시한 도면이다.
도 5는 추출된 병변 정보로부터 분류기를 활용하여 수술 여부를 확률맵으로 표시하는 방법을 개략적으로 도시한 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 뇌출혈 및 뇌종양 병변 진단 장치의 구성도이다.
도 1을 참조하면, 뇌출혈 및 뇌종양 병변 진단 장치(100)는 영상획득부(110), 병변추출부(120), 분류부(130), 진단부(140), 제어부(150), 저장부(160), 출력부(170), 학습부(180)로 구성된다.
영상획득부(110)는 환자의 뇌를 촬영한 CT(Computerized Tomography) 영상을 획득할 수 있다.
병변추출부(120)는 환자의 CT영상으로부터 2차원 합성곱 신경망(Convolutional Neural Network; CNN), 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망 중 어느 하나를 이용하여 뇌출혈 및 뇌종양 병변을 추출할 수 있다. 이때, 서로 다른 크기의 제1필터 및 제2필터를 이용하여 서로 다른 크기의 영상이 CNN에 입력되어 뇌출혈 및 뇌종양 병변을 추출할 수 있다. 상기 제1필터와 제2필터는 필터 크기가 상이하여 각각 추출된 뇌출혈 및 뇌종양 병변 영상들의 해상도가 상이하고, 상기 제1필터의 크기는 상기 제2필터의 크기보다 커 제1필터에 의한 잘라진 영상은 해상도가 낮다. 즉, 해상도가 상이한 다수개의 컨볼루션 경로(Convolutional Pathway)들을 이용하여 범위에 따라 서로 다른 정보를 신속하게 추출할 수 있다. 본 발명에서는 2개의 필터를 설명하고 있으나 필터의 개수를 한정하는 것은 아니다.
분류부(130)는 추출된 상기 뇌출혈 및 뇌종양 병변으로부터 병변 위치, 병변 크기, 혈관 종류, 뇌출혈 유무 중 적어도 하나를 포함하는 병변 정보를 추출하고 분류할 수 있다. 이때, 제1필터를 이용하여 추출된 제1영상으로부터 병변 위치를 추출하여 분류할 수 있고, 제2필터를 이용하여 추출된 제2영상으로부터 병변 크기, 혈관종류, 뇌출혈 유무 중 적어도 하나를 추출하여 분류할 수 있다.
진단부(140)는 상기 병변 정보에 기초하여 수술 여부를 진단할 수 있다. 진단부(140)는 뇌출혈 및 뇌종양 병변의 크기가 3mm 이상이면 수술이 필요하다고 판단할 수 있다.
제어부(150)는 저장부(160)에 저장되는 소프트웨어 모듈이나 프로그램을 수행하여 진단 방법을 구현할 수 있고, 뇌출혈 진단 장치의 각 구성을 제어할 수 있다.
저장부(160)는 진단 방법을 구현하기 위한 소프트웨어 모듈을 저장할 수 있다. 저장부(160)는 환자의 영상이 갱신될 때마다 추출된 상기 병변 정보를 저장하여 시간별로 추적이 가능할 수 있다.
출력부(170)는 진단부(140)에서 진단한 결과를 사용자에게 제공하도록 디스플레이일 수 있다.
학습부(180)는 복수개의 CT영상으로부터 뇌출혈 및 뇌종양 병변을 미리 딥러닝(Deep learning) 학습할 수 있다. 학습부(180)는 병변추출부(120)와 동일한 딥러닝 구조로서, CNN과 병변 정보 합을 위한 pooling 구조, upsampling을 위한 deconvolution 구조, 학습을 원할하게 하기 위한 skip connection 구조로 구성될 수 있다. 즉, 학습과 병변 추출이 동일한 딥러닝 구조를 활용할 수 있다.
전술한 영상획득부(110), 병변추출부(120), 분류부(130), 진단부(140), 제어부(150), 저장부(160), 출력부(170), 및 학습부(180)는 소프트웨어 모듈 형태로 메모리에 저장될 수 있다. 그 경우, 메모리는 프로세서에 연결되고, 프로세서는 소프트웨어 모듈을 실행하여 각 소프트웨어 모듈의 기능을 독립적으로 혹은 조합된 형태로 구현하여 후술하는 뇌출혈 및 뇌종양 중 적어도 어느 하나 이상의 뇌질환의 병변을 진단하는 방법을 구현할 수 있다. 위와 같은 환경에서, 메모리와 프로세서는 뇌출혈 및 뇌종양 병변 진단 방법을 구현하는 컴퓨팅 장치에 포함되는 구성부로서 프로세서는 서브통신시스템을 통해 네트워크를 경유하여 각종 의료장비나 데이터베이스에 연결될 수 있다. 이러한 구성에 의하면, 본 실시예의 뇌출혈 및 뇌종양 병변 진단 장치는 인공지능이나 기계학습으로 뇌출혈과 뇌종양을 포함한 뇌질환 병변에 대하여 학습하고, 미리 설정된 작동 프로세스에 따라 자동 진단된 뇌질환 병변을 의사나 병원 관계자의 단말 등에 제공할 수 있다.
도 2는 본 발명의 실시예에 따른 뇌출혈 및 뇌종양 병변 진단 방법의 흐름도이다.
도 2를 참조하면, 뇌출혈 및 뇌종양 병변 진단 방법은 먼저 영상획득부(110)가 환자의 뇌를 촬영한 CT영상을 획득한다(S210). 이후에, 미리 학습된 병변추출부(120)가 서로 다른 크기의 필터를 이용하여 뇌출혈 및 뇌종양 병변을 추출한다(S220). 이때, 환자의 CT영상으로부터 2차원 합성곱 신경망(Convolutional Neural Network; CNN), 3차원 합성곱 신경망 또는 가상 3차원 합성곱 신경망 중 어느 하나를 이용하여 뇌출혈 및 뇌종양 병변을 추출할 수 있다. 서로 다른 크기의 제1필터 및 제2필터를 이용하여 서로 다른 크기의 영상이 CNN에 입력되어 뇌출혈 및 뇌종양 병변을 추출할 수 있다.
이후에, 분류부(130)가 추출된 뇌출혈 및 뇌종양 병변으로부터 병변 위치, 병변 크기, 병변 모양, 혈관 종류, 뇌출형 유무 중 적어도 하나를 포함하는 병변 정보를 추출하고 분류한다(S230). 분류부(130)는 제1필터를 이용하여 추출된 제1영상으로부터 병변 위치를 추출하여 분류할 수 있고, 제2필터를 이용하여 추출된 제2영상으로부터 병변 크기, 혈관종류, 뇌출혈 유무 중 적어도 하나를 추출하여 분류할 수 있다.
진단부(140)가 분류된 병변 정보에 기초하여 수술 여부를 진단한다(S240).
도 3은 본 발명의 실시예에 따른 CT영상으로부터 병변을 추출하는 방법을 개략적으로 도시한 도면이다.
도 3을 참조하면, 환자의 뇌를 촬영한 다수개의 CT 영상(310)에서 서로 다른 크기의 필터들(320a, 320b)을 이용하여 뇌출혈 및 뇌종양 병변(325)을 추출한다. 제1필터(320a)는 해상도가 높고, 제2필터(320b)는 해상도가 낮다. 딥러닝 구조(330)를 활용하여 병변을 추출한다.
여기서, 딥러닝 구조(330)는 CNN와 병변 정보 합을 위한 pooling 구조, ipsampling을 위한 deconvoltion 구조, 추출을 원활하게 하기 위한 skip connection 구조로 구성된다.
좀더 구체적으로, 딥러닝 구조(deep learning architecture)는 6개 이상의 투영영상들 각각의 병변, 병변영역 또는 병변후보에 대하여 합성곱 신경망(convolutional neural network, CNN), 디컨볼루션(deconvolution), 스킵 컨넥션(skip connection) 등을 사용하여 학습하도록 구현될 수 있다.
예를 들면, 딥러닝 아키텍처는 컨볼루션 네트워크와 디컨볼루션 네트워크 및 숏컷(shortcut)을 포함한 형태를 구비할 수 있다. 즉, 딥러닝 아키텍처는, 분석 대상 영상인 3차원 MR(magnetic resonance) TOF(time-of-flight)의 국소적인 특징을 추출하기 위하여, 3X3 크기의 컬러 컨볼루션 레이어(convolution layer)와 액티베이션 레이어(ReLU)를 쌓고 2X2 크기의 필터를 스트라이드(stride) 1로 적용하여 다음 하위 깊이 레벨로 연결되는 컨볼루션 블록의 연산을 4회 반복하여 수행하고, 그 다음에 2X2 크기의 디컨볼루션 레이어(deconvolution layer)와 액티베이션 레이어(ReLU)를 적용하여 다음 상위 깊이 레벨로 연결된 후 3X3 크기의 컬러 컨볼루션 레이어와 액티베이션 레이어를 쌓는 역컨볼루션 블록의 연산을 4회 반복하여 수행하며, 여기서 각 레벨의 컨볼루션 블록의 연산을 포함한 컨볼루션 네트워크의 각 레벨의 컨볼루션 블록의 이미지에 동일 레벨의 역컨볼루션 네트워크의 대응 레벨의 컨볼루션 결과를 갖다 붙이고(copy and contatenate) 각 블록에서 컨볼루션 연산을 각각 수행하도록 이루어질 수 있다.
컨볼루션 네트워크와 디컨볼루션 네트워크 내 컨볼루션 블록은 conv-ReLU-conv 레이어들의 조합으로 구현될 수 있다. 그리고, 딥러닝 아키텍처의 출력은 컨볼루션 네트워크이나 디컨볼루션 네트워크에 연결되는 분류기를 통해 얻어질 수 있으나, 이에 한정되지는 않는다. 분류기는 FCN(fully connectivity network) 기법을 이용하여 영상에서 국소적인 특징을 추출하는데 이용될 수 있다.
또한, 딥러닝 아키텍처는 구현에 따라서 컨볼루션 볼록 내에 인셉션 모듈(inseption module) 또는 멀티 필터 경로(multi filter pathway)를 추가로 사용하도록 구현될 수 있다. 인셉션 모듈 또는 멀티 필터 경로 내 서로 다른 필터는 1×1 필터를 포함할 수 있다.
참고로, 딥러닝 아키텍처에서 입력(input) 이미지가 가로 32, 세로 32, 그리고 RGB 채널을 가지는 경우, 입력 이미지(X)의 크기는 [32x32x3]일 수 있다. 딥러닝 아키텍처의 CNN(convloultional neural network)에서 콘볼루션(convolutional, CONV) 레이어는 입력 이미지의 일부 영역과 연결되며, 이 연결된 영역과 자신의 가중치의 내적 연산(dot product)을 계산할 수 있다.
ReLU(rectified linear unit) 레이어는 max(0,x)와 같이 각 요소에 적용되는 액티베이션 함수(activation function)이다. ReLU 레이어는 볼륨의 크기를 변화시키지 않는다.
POOLING 레이어는 (가로, 세로) 차원에 대해 다운샘플링(downsampling) 또는 서브샘블링(subsampling)을 수행하여 감소된 볼륨을 출력할 수 있다.
그리고, 전연결(fully-connected, FC) 레이어는 클래스 점수들을 계산해 예컨대 [1x1x10]의 크기를 갖는 볼륨을 출력할 수 있다. 이 경우, 10개 숫자들은 10개 카테고리에 대한 클래스 점수에 해당한다. 전연결 레이어는 이전 볼륨의 모든 요소와 연결된다.
여기서, 어떤 레이어는 모수(parameter)를 갖지만 어떤 레이어는 모수를 갖지 않을 수 있다. CONV/FC 레이어들은 액티베이션 함수로서 단순히 입력 볼륨만이 아니라 가중치(weight)와 바이어스(bias)를 포함할 수 있다. 한편, ReLU/POOLING 레이어들은 고정된 함수로서, CONV/FC 레이어의 모수들은 각 이미지에 대한 클래스 점수가 해당 이미지의 레이블과 같아지도록 그라디언트 디센트(gradient descent)로 학습될 수 있다.
도 4는 추출한 뇌 병변으로부터 분류기를 활용하여 병변 정보를 획득하는 방법을 개략적으로 도시한 도면이다.
도 4를 참조하면, 뇌출혈 및 뇌종양 병변으로부터 분류부를 활용하여 병변 정보를 획득한다. 분류부(140) 추출된 3차원 뇌출혈 및 뇌종양 병변(410)으로부터 병변 크기(Size), 병변 위치(Location), 혈관 종류(Vessel type), 뇌출혈 여부(Stroke) 중 적어도 하나를 포함하는 병변 정보(430)로 획득하고 분류할 수 있다. 사용자는 병변 크기에 기초하여 수술 여부를 판단할 수 있다. 진단부(140)는 병변 크기가 3mm 이상이면 수술이 필요하다고 판단할 수 있다. 사용자는 병변 위치, 혈관 종류, 뇌출혈 여부의 병변 정보를 제공 받아 진단에 활용할 수 있다.
도 5는 추출된 병변 정보로부터 분류기를 활용하여 수술 여부를 확률맵으로 표시하는 방법을 개략적으로 도시한 도면이다.
도 5를 참조하면, 진단부(140)는 추출된 3차원 뇌출혈 및 뇌종양 병변(510)과 병변 정보(520)에 기초하여 수술 여부를 확률값(530)으로 제시할 수 있다. 또한, 저장부(160)는 환자의 영상이 갱신될 때마다 시간별로 추적이 가능하도록 추출된 상기 병변 정보를 저장할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100; 뇌출혈 및 뇌종양 병변 진단 장치
110; 영상획득부
120; 병변추출부
130; 분류부
140; 진단부
150; 제어부
160; 저장부
170; 출력부
180; 학습부
110; 영상획득부
120; 병변추출부
130; 분류부
140; 진단부
150; 제어부
160; 저장부
170; 출력부
180; 학습부
Claims (13)
- 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법에 있어서,
(a) 영상획득부가 환자의 뇌를 촬영한 CT영상을 획득하는 단계;
(b) 병변추출부가 제1필터를 이용하여 상기 CT영상으로부터 뇌출혈 및 뇌종양 병변을 추출하는 단계;
(c) 분류부가 상기 제1필터와 다른 크기를 가진 제2필터를 이용하여 상기 병변추출부에서 추출된 상기 뇌출혈 및 뇌종양 병변으로부터 병변 위치, 병변 크기, 혈관 종류, 및 뇌출혈 유무를 포함한는 병변 정보를 추출하고 분류하는 단계; 및
(d) 진단부가 상기 병변 정보에 기초하여 수술 여부를 진단하는 단계;
를 포함하는 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법. - 제1항에 있어서,
상기 제1필터 및 상기 제2필터에 의해 각각 추출된 뇌출혈 및 뇌종양 병변 영상들이 CNN(Convolutional neural network)의 입력값인 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법. - 제1항에 있어서,
상기 제1필터와 제2필터는 필터 크기가 상이하여 각각 추출된 뇌출혈 및 뇌종양 병변 영상들의 해상도가 상이한 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법. - 제3항에 있어서,
상기 제1필터의 크기는 상기 제2필터의 크기보다 커 해상도가 낮은 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법. - 삭제
- 삭제
- 제2항에 있어서,
상기 진단부는 뇌출혈 및 뇌종양 병변의 크기가 3mm 이상이면 수술이 필요하다고 판단하는 뇌출혈 및 뇌종양 병변 진단 방법. - 제1항에 있어서,
상기 분류부는 상기 병변 정보에 기초하여 수술 여부를 확률값으로 제시하는 뇌출혈 및 뇌종양 병변 진단 방법. - 제1항에 있어서,
환자의 영상이 갱신될 때마다 추출된 상기 병변 정보를 저장하여 시간별로 추적이 가능한 저장부를 더 포함하는 뇌출혈 및 뇌종양 병변 진단 방법. - 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 장치에 있어서,
환자의 뇌를 촬영한 CT영상을 획득하는 영상획득부;
상기 CT영상으로부터 제1필터를 이용하여 뇌출혈 및 뇌종양 병변을 추출하는 병변 추출부;
상기 제1필터와 다른 크기를 갖는 제2필터를 이용하여 상기 병변추출부에서 추출된 상기 뇌출혈 및 뇌종양 병변으로부터 병변 위치, 병변 크기, 혈관 종류, 및 뇌출혈 유무를 포함한 병변 정보를 추출하고 분류하는 분류부; 및
상기 병변 정보에 기초하여 수술 여부를 진단하는 진단부;
를 포함하는 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 장치. - 제10항에 있어서,
상기 제1필터 및 상기 제2필터에 의해 각각 추출된 뇌출혈 및 뇌종양 병변 영상들이 2D CNN(Convolutional neural network)의 입력값이고,
상기 제1필터와 제2필터는 필터 크기가 상이하여 해상도가 상이한 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 장치. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180111438A KR102015224B1 (ko) | 2018-09-18 | 2018-09-18 | 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180111438A KR102015224B1 (ko) | 2018-09-18 | 2018-09-18 | 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102015224B1 true KR102015224B1 (ko) | 2019-10-21 |
Family
ID=68460376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180111438A KR102015224B1 (ko) | 2018-09-18 | 2018-09-18 | 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102015224B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102226837B1 (ko) * | 2020-03-26 | 2021-03-11 | 경북대학교 산학협력단 | 정상 뇌와 이상 뇌를 비교하여 분석하는 뇌출혈 진단 장치 및 뇌출혈에 관한 정보를 제공하는 방법 |
| KR20210091040A (ko) | 2020-01-13 | 2021-07-21 | 가톨릭대학교 산학협력단 | 치과 의무 기록 장치 및 그 치과 의무 기록 방법 |
| WO2022086105A1 (ko) * | 2020-10-22 | 2022-04-28 | 경북대학교 산학협력단 | 딥 뉴럴 네트워크 기반의 뇌출혈 진단 시스템 |
| WO2022182178A1 (ko) * | 2021-02-24 | 2022-09-01 | (주) 제이엘케이 | 딥러닝 기반의 뇌출혈 진단 장치 및 방법 |
| KR20230024446A (ko) | 2021-08-10 | 2023-02-21 | 충북대학교병원 | 3d-cnn 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 장치 및 방법 |
| KR102598233B1 (ko) * | 2022-06-07 | 2023-11-07 | 충북대학교병원 | 의료 영상을 대상으로 하는 딥러닝 기반의 의료정보 제공시스템 및 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150134990A (ko) * | 2014-05-23 | 2015-12-02 | (주)헬스허브 | 단층촬영 이미지 데이터 처리 시스템 및 단층촬영 이미지 데이터 처리 방법 |
| KR101754291B1 (ko) * | 2017-04-04 | 2017-07-06 | 이현섭 | 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법 |
| KR20180025093A (ko) * | 2016-08-30 | 2018-03-08 | 주식회사 루닛 | 약한 지도 학습 기반의 기계 학습 방법 및 그 장치 |
-
2018
- 2018-09-18 KR KR1020180111438A patent/KR102015224B1/ko active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150134990A (ko) * | 2014-05-23 | 2015-12-02 | (주)헬스허브 | 단층촬영 이미지 데이터 처리 시스템 및 단층촬영 이미지 데이터 처리 방법 |
| KR20180025093A (ko) * | 2016-08-30 | 2018-03-08 | 주식회사 루닛 | 약한 지도 학습 기반의 기계 학습 방법 및 그 장치 |
| KR101754291B1 (ko) * | 2017-04-04 | 2017-07-06 | 이현섭 | 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210091040A (ko) | 2020-01-13 | 2021-07-21 | 가톨릭대학교 산학협력단 | 치과 의무 기록 장치 및 그 치과 의무 기록 방법 |
| KR102392312B1 (ko) * | 2020-01-13 | 2022-05-02 | 가톨릭대학교 산학협력단 | 치과 의무 기록 장치 및 그 치과 의무 기록 방법 |
| KR102226837B1 (ko) * | 2020-03-26 | 2021-03-11 | 경북대학교 산학협력단 | 정상 뇌와 이상 뇌를 비교하여 분석하는 뇌출혈 진단 장치 및 뇌출혈에 관한 정보를 제공하는 방법 |
| WO2022086105A1 (ko) * | 2020-10-22 | 2022-04-28 | 경북대학교 산학협력단 | 딥 뉴럴 네트워크 기반의 뇌출혈 진단 시스템 |
| WO2022182178A1 (ko) * | 2021-02-24 | 2022-09-01 | (주) 제이엘케이 | 딥러닝 기반의 뇌출혈 진단 장치 및 방법 |
| KR20230024446A (ko) | 2021-08-10 | 2023-02-21 | 충북대학교병원 | 3d-cnn 기반의 딥러닝 모델을 이용한 급성 허혈성 뇌졸중 진단 장치 및 방법 |
| KR102598233B1 (ko) * | 2022-06-07 | 2023-11-07 | 충북대학교병원 | 의료 영상을 대상으로 하는 딥러닝 기반의 의료정보 제공시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102015224B1 (ko) | 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치 | |
| US10937157B2 (en) | Computed Tomography pulmonary nodule detection method based on deep learning | |
| US11195280B2 (en) | Progressive and multi-path holistically nested networks for segmentation | |
| Platania et al. | Automated breast cancer diagnosis using deep learning and region of interest detection (bc-droid) | |
| Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
| KR102015223B1 (ko) | 3차원 자기공명영상과 다평면 혈관투영영상을 활용한 뇌질환 진단 방법 및 장치 | |
| Valizadeh et al. | Presentation of a segmentation method for a diabetic retinopathy patient’s fundus region detection using a convolutional neural network | |
| KR101953752B1 (ko) | 심층 신경망을 이용하여 영상의 분류 및 국소화를 수행하는 방법 및 이를 이용한 장치 | |
| CN110858399B (zh) | 用于提供虚拟断层扫描中风后续检查图像的方法和装置 | |
| KR102056989B1 (ko) | 머신러닝 기반의 gre 영상을 활용한 혈전 분류 방법 및 시스템 | |
| CN115063425B (zh) | 基于读片知识图谱的结构化检查所见生成方法及系统 | |
| CN116848588A (zh) | 医学图像中的健康状况特征的自动标注 | |
| KR20200082660A (ko) | 머신러닝 기반 병리 진단 방법 및 장치 | |
| US20210383262A1 (en) | System and method for evaluating a performance of explainability methods used with artificial neural networks | |
| EP4118617A1 (en) | Automated detection of tumors based on image processing | |
| KR102288727B1 (ko) | 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법 | |
| Mirchandani et al. | Comparing the Architecture and Performance of AlexNet Faster R-CNN and YOLOv4 in the Multiclass Classification of Alzheimer Brain MRI Scans | |
| JP7130107B2 (ja) | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 | |
| Ara et al. | Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm | |
| KR102234139B1 (ko) | 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치 | |
| US20240105315A1 (en) | Medical image diagnostic system, medical image diagnostic system evaluation method, and program | |
| Kilgannon | A Machine Learning System for Glaucoma Detection using Inexpensive Machine Learning | |
| US20240020830A1 (en) | System and methods of predicting parkinson's disease based on retinal images using machine learning | |
| KR102503723B1 (ko) | 유사한 의료 이미지를 검색하는 방법 및 상기 방법을 수행하는 유사 이미지 검색 장치 | |
| WO2022182178A1 (ko) | 딥러닝 기반의 뇌출혈 진단 장치 및 방법 |