KR20230106205A - 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법 - Google Patents
합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법 Download PDFInfo
- Publication number
- KR20230106205A KR20230106205A KR1020220001688A KR20220001688A KR20230106205A KR 20230106205 A KR20230106205 A KR 20230106205A KR 1020220001688 A KR1020220001688 A KR 1020220001688A KR 20220001688 A KR20220001688 A KR 20220001688A KR 20230106205 A KR20230106205 A KR 20230106205A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- hidden layer
- contribution
- layer
- hidden
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 230000004770 neurodegeneration Effects 0.000 title 1
- 208000015122 neurodegenerative disease Diseases 0.000 title 1
- 210000004556 brain Anatomy 0.000 claims abstract description 51
- 238000003325 tomography Methods 0.000 claims abstract description 37
- 208000014644 Brain disease Diseases 0.000 claims abstract description 34
- 230000003412 degenerative effect Effects 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000011176 pooling Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 210000003625 skull Anatomy 0.000 claims abstract description 9
- 230000008021 deposition Effects 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 210000002569 neuron Anatomy 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 20
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000000926 separation method Methods 0.000 abstract 1
- 238000010606 normalization Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 239000003795 chemical substances by application Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000003941 amyloidogenesis Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 208000024827 Alzheimer disease Diseases 0.000 description 3
- 210000004885 white matter Anatomy 0.000 description 3
- 210000004958 brain cell Anatomy 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010003445 Ascites Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0808—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Neurology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Primary Health Care (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Neurosurgery (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Optics & Photonics (AREA)
- Psychology (AREA)
- Computational Linguistics (AREA)
- High Energy & Nuclear Physics (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치에 관한 것으로서, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 단층 촬영 이미지 입력부와, 복수 개의 상기 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도에 따라 단층 촬영 이미지를 분류하고자 하는 복수 개의 클래스들과 각 클래스에 대응되는 노드를 생성하는 클래스 생성부와, 아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역에 기초하여 상기 단층 촬영 이미지에서 사용자가 선택한 관심영역을 추출하고 이에 대응하는 관심영역 이미지를 저장하는 관심영역 추출부와, 상기 관심영역 이미지에서 두개골 영역 부분을 분리 및 제거한 후 기설정된 이미지 크기로 리사이즈 및 정규화하여 전처리 이미지를 생성하는 이미지 전처리 모듈과, 상기 전처리 이미지를 입력받는 입력 계층과, 상기 입력된 이미지의 특징을 추출하여 다운샘플링하기 위한 합성곱 연산 및 풀링 연산을 수행하는 은닉 계층과, 상기 연산 결과에 따라 상기 전처리 이미지를 상기 복수 개의 클래스들 중 어느 하나로 분류하는 출력 계층을 포함하는 합성곱 신경망 구조의 이미지 분류 모듈과, 상기 분류한 결과값을 상기 출력 계층에서 상기 입력 계층 방향으로 역전파하여 상기 은닉 계층에 포함되는 복수의 은닉 노드 각각의 입력의 변화에 따른 출력의 변화 정도에 대응하는 기여도를 결정함에 따라 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석하는 기여도 분석 모듈을 포함하는 것을 특징으로 한다.
이에 따라, 기존의 딥러닝 기반 신경망 알고리즘이 가지는 블랙박스 문제를 해결할 수 있어 인공지능의 실질적인 활용 범위를 확장시킬 수 있는 효과가 있다.
이에 따라, 기존의 딥러닝 기반 신경망 알고리즘이 가지는 블랙박스 문제를 해결할 수 있어 인공지능의 실질적인 활용 범위를 확장시킬 수 있는 효과가 있다.
Description
본 발명은 진단 대상자의 뇌를 촬영한 단층 촬영 이미지를 입력받아 딥러닝을 활용하여 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지를 분류 추론하고 추론 결과의 타당성을 분석하는 이미지 분류 장치 및 방법에 관한 것이다.
퇴행성 뇌질환 중 특히 아밀로이드 양성 반응을 보이는 퇴행성 뇌질환은, 상태가 매우 악화되고 나서야 증상이 나타나고 그 증상 또한 정확한 판별이 불가능하여 조기에 발견하는 것이 어려운 실정이다.
아밀로이드 양성 반응을 보이는 퇴행성 뇌질환은 뇌세포의 손상으로 발생하는 대표적인 뇌질환으로 주로 노년기에 많이 생기며, 뇌세포는 다른 세포와는 달리 재생되지 않으므로 예방 또는 조기에 발견하여 치료하는 것이 가장 안전하고 효율적으로 치료할 수 있는 방법으로 알려져 있다.
최근에 이르러 초음파, CT 및 MRI 등 단층 촬영 장치와 같은 영상 의학적 검사 방법이 발달함에 따라 의학 영상의 분석 및 처리 기술에 의해 인체의 질환을 진단하는 장치의 중요성이 확대되고 있으며, 이에 따라 뇌를 단층 촬영한 이미지를 통해 치매를 일관적이고 정확한 진단을 할 필요가 있다.
한편, 현재 단층 촬영 이미지를 육안으로 직접 판단하므로 단층 촬영 이미지에서 뇌의 경계가 모호하고 명암도 특징이 뚜렷하지 않기 때문에 뇌질환을 잘못 판단하는 경우가 발생할 수 있어 치매를 조기에 발견하지 못하는 등 다양한 단층 촬영 장치의 한계점이 있으며, 기존의 진단 시스템은 뇌 전체를 보고 판단하기 때문에, 뇌 영역의 각 부분별 진단 결과를 제공하지 않는 문제점이 있다.
또한, 퇴행성 뇌질환의 예측을 위해서는 방대한 MRI 영상자료와 환자의 임상정보를 모두 고려하여야 하므로, 그 진단을 위한 시간이 많이 소요될 뿐만 아니라 의료진의 숙련도에 따라서도 그 진단 결과에 편차가 클 수 있는 문제점이 있다.
본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 진단 대상자의 뇌를 촬영한 단층 촬영 이미지를 입력받아 딥러닝을 활용하여 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지를 분류 추론하고 추론 결과의 타당성을 분석하는 이미지 분류 장치 및 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치는, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 단층 촬영 이미지 입력부와, 복수 개의 상기 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도에 따라 단층 촬영 이미지를 분류하고자 하는 복수 개의 클래스들과 각 클래스에 대응되는 노드를 생성하는 클래스 생성부와, 아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역에 기초하여 상기 단층 촬영 이미지에서 사용자가 선택한 관심영역을 추출하고 이에 대응하는 관심영역 이미지를 저장하는 관심영역 추출부와, 상기 관심영역 이미지에서 두개골 영역 부분을 분리 및 제거한 후 기설정된 이미지 크기로 리사이즈 및 정규화하여 전처리 이미지를 생성하는 이미지 전처리 모듈과, 상기 전처리 이미지를 입력받는 입력 계층과, 상기 입력된 이미지의 특징을 추출하여 다운샘플링하기 위한 합성곱 연산 및 풀링 연산을 수행하는 은닉 계층과, 상기 연산 결과에 따라 상기 전처리 이미지를 상기 복수 개의 클래스들 중 어느 하나로 분류하는 출력 계층을 포함하는 합성곱 신경망 구조의 이미지 분류 모듈과, 상기 분류한 결과값을 상기 출력 계층에서 상기 입력 계층 방향으로 역전파하여 상기 은닉 계층에 포함되는 복수의 은닉 노드 각각의 입력의 변화에 따른 출력의 변화 정도에 대응하는 기여도를 결정함에 따라 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석하는 기여도 분석 모듈을 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 일면에 따른 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법은, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 단계와, 복수 개의 상기 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도에 따라 단층 촬영 이미지를 분류하고자 하는 복수 개의 클래스들과 각 클래스에 대응되는 노드를 생성하는 단계와, 아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역에 기초하여 상기 단층 촬영 이미지에서 사용자가 선택한 관심영역을 추출하고 이에 대응하는 관심영역 이미지를 저장하는 단계와, 상기 관심영역 이미지에서 두개골 영역 부분을 분리 및 제거한 후 기설정된 이미지 크기로 리사이즈 및 정규화하여 전처리 이미지를 생성하는 단계와, 입력 계층, 은닉 계층 및 출력 계층을 포함하는 합성곱 신경망 구조로 사전 학습된 이미지 분류 모델을 이용하여 상기 전처리 이미지를 입력받아 해당 이미지의 특징을 추출하여 다운 샘플링하기 위한 합성곱 연산 및 풀링 연산을 수행함에 따라 상기 전처리 이미지를 상기 복수 개의 클래스들 중 어느 하나로 분류하는 단계와, 상기 분류한 결과값을 상기 출력 계층에서 상기 입력 계층 방향으로 역전파하여 상기 은닉 계층에 포함되는 복수의 은닉 노드 각각의 입력의 변화에 따른 출력의 변화 정도에 대응하는 기여도를 결정함에 따라 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 딥러닝 기반 신경망의 결과물에 대하여 신경망 계층별로 기여한 부분을 분석하여 입출력 간의 선형적인 관계를 파악할 수 있어 추론 결과에 설명력과 신뢰성을 확보할 뿐 아니라 필드 적용 시 안정성을 보장할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 기존의 딥러닝 기반 신경망 알고리즘이 가지는 블랙박스 문제를 해결할 수 있어 인공지능의 실질적인 활용 범위를 확장시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치의 구성을 나타낸 블록도이고,
도 2는 도 1의 이미지 분류 모듈을 구성하는 합성곱 신경망의 구조를 개략적으로 설명하기 위한 도면이고,
도 3은 도 2의 은닉 계층의 구조를 나타낸 도면이고,
도 4는 도 3의 컨볼루션 레이어에 대한 활성화 함수의 일례를 나타낸 그래프이고,
도 5는 도 2의 합성곱 신경망에 의한 순전파 과정 및 역전파 과정을 비교하여 설명하기 위한 도면이고,
도 6은 도 1의 기여도 분석 모듈에서 이미지 분류 모듈에 의해 분류된 결과값을 역전파하여 도 2의 은닉 계층에 대응하는 복수의 은닉층에 속하는 각 노드별 기여도를 결정하는 과정을 설명하기 위한 도면이고,
도 7은 도 1의 이미지 분류 모듈의 입력 이미지와 이를 분류한 결과값에서 상부 은닉층, 하부 은닉층 및 중앙 은닉층 각각이 기여하는 바를 시각화하여 나타낸 도면이고,
도 8은 도 1의 퇴행성 뇌질환 이미지 분류 장치의 내부 구성을 상세히 나타낸 블록도이고,
도 9는 도 8의 이미지 전처리 모듈에 의해 전처리 이미지를 생성하는 과정을 설명하기 위한 도면이고,
도 10은 아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역과 이를 이용하여 도 8의 관심영역 추출부에 의해 추출된 관심영역 이미지의 일례를 나타낸 도면이고,
도 11는 도 1의 기여도 맵 생성부에 의해 생성된 기여도 맵의 일례를 나타낸 도면이고,
도 12는 정상인과 알츠하이머병 환자 각각에 대한 뇌 스캔 영상의 모드별 이미지와 도 1의 기여도 맵 생성부에 의해 생성된 기여도 맵 이미지를 비교하기 위한 도면이고,
도 13은 도 1의 기여도 비교부에 의해 주요 뇌 영역별 기여도를 비교한 결과를 나타낸 도면이고,
도 14는 본 발명의 일 실시예에 따른 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법을 나타낸 순서도이다.
도 2는 도 1의 이미지 분류 모듈을 구성하는 합성곱 신경망의 구조를 개략적으로 설명하기 위한 도면이고,
도 3은 도 2의 은닉 계층의 구조를 나타낸 도면이고,
도 4는 도 3의 컨볼루션 레이어에 대한 활성화 함수의 일례를 나타낸 그래프이고,
도 5는 도 2의 합성곱 신경망에 의한 순전파 과정 및 역전파 과정을 비교하여 설명하기 위한 도면이고,
도 6은 도 1의 기여도 분석 모듈에서 이미지 분류 모듈에 의해 분류된 결과값을 역전파하여 도 2의 은닉 계층에 대응하는 복수의 은닉층에 속하는 각 노드별 기여도를 결정하는 과정을 설명하기 위한 도면이고,
도 7은 도 1의 이미지 분류 모듈의 입력 이미지와 이를 분류한 결과값에서 상부 은닉층, 하부 은닉층 및 중앙 은닉층 각각이 기여하는 바를 시각화하여 나타낸 도면이고,
도 8은 도 1의 퇴행성 뇌질환 이미지 분류 장치의 내부 구성을 상세히 나타낸 블록도이고,
도 9는 도 8의 이미지 전처리 모듈에 의해 전처리 이미지를 생성하는 과정을 설명하기 위한 도면이고,
도 10은 아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역과 이를 이용하여 도 8의 관심영역 추출부에 의해 추출된 관심영역 이미지의 일례를 나타낸 도면이고,
도 11는 도 1의 기여도 맵 생성부에 의해 생성된 기여도 맵의 일례를 나타낸 도면이고,
도 12는 정상인과 알츠하이머병 환자 각각에 대한 뇌 스캔 영상의 모드별 이미지와 도 1의 기여도 맵 생성부에 의해 생성된 기여도 맵 이미지를 비교하기 위한 도면이고,
도 13은 도 1의 기여도 비교부에 의해 주요 뇌 영역별 기여도를 비교한 결과를 나타낸 도면이고,
도 14는 본 발명의 일 실시예에 따른 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법을 나타낸 순서도이다.
이상과 같은 본 발명에 대한 해결하려는 과제, 과제의 해결수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치의 구성을 나타낸 블록도이고, 도 2는 도 1의 이미지 분류 모듈을 구성하는 합성곱 신경망의 구조를 개략적으로 설명하기 위한 도면이고, 도 3은 도 2의 은닉 계층의 구조를 나타낸 도면이고, 도 4는 도 3의 컨볼루션 레이어에 대한 활성화 함수의 일례를 나타낸 그래프이고, 도 5는 도 2의 합성곱 신경망에 의한 순전파 과정 및 역전파 과정을 비교하여 설명하기 위한 도면이고, 도 6은 도 1의 기여도 분석 모듈에서 이미지 분류 모듈에 의해 분류된 결과값을 역전파하여 도 2의 은닉 계층에 대응하는 복수의 은닉층에 속하는 각 노드별 기여도를 결정하는 과정을 설명하기 위한 도면이고, 도 7은 도 1의 이미지 분류 모듈의 입력 이미지와 이를 분류한 결과값에서 상부 은닉층, 하부 은닉층 및 중앙 은닉층 각각이 기여하는 바를 시각화하여 나타낸 도면이고, 도 8은 도 1의 퇴행성 뇌질환 이미지 분류 장치의 내부 구성을 상세히 나타낸 블록도이고, 도 9는 도 8의 이미지 전처리 모듈에 의해 전처리 이미지를 생성하는 과정을 설명하기 위한 도면이고, 도 10은 아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역과 이를 이용하여 도 8의 관심영역 추출부에 의해 추출된 관심영역 이미지의 일례를 나타낸 도면이고, 도 11는 도 1의 기여도 맵 생성부에 의해 생성된 기여도 맵의 일례를 나타낸 도면이다.
또한, 도 12는 정상인과 알츠하이머병 환자 각각에 대한 뇌 스캔 영상의 모드별 이미지와 도 1의 기여도 맵 생성부에 의해 생성된 기여도 맵 이미지를 비교하기 위한 도면이고, 도 13은 도 1의 기여도 비교부에 의해 주요 뇌 영역별 기여도를 비교한 결과를 나타낸 도면이고, 도 14는 본 발명의 일 실시예에 따른 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법을 나타낸 순서도이다.
이하, 전술한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법에 대해 설명하도록 한다.
도 1 및 도 8을 참조하면, 본 발명의 일 실시예에 따른 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치는 단층 촬영 이미지 입력부(100), 클래스 생성부(200), 관심영역 추출부(300), 이미지 전처리 모듈(400), 이미지 분류 모듈(500), 기여도 분석 모듈(600), 기여도 맵 생성부(700), 영역 선택부(800), 기여도 비교부(900)를 포함한다.
단층 촬영 이미지 입력부(100)는 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는다(S100).
단층 촬영 이미지 입력부(100)는 아밀로이드 PET 방사성 추적자(Amyloid PET Radiotracer)에 의해 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET(Position Emission Tomography, 양전자 방출 단층 촬영) 기법에 따라 소정 시간 동안 상기 단층 촬영을 수행함에 따라 연속적으로 촬영된 복수 개의 단층 촬영 이미지로 구성되는 PET 영상을 입력받는 것일 수 있다.
여기서, 단층 촬영 이미지는 아밀로이드 PET 방사성 추적자에 의해 아밀로이드 제재가 투여됨에 따라 병이 존재하는 영역에서는 양성 반응을 보일 수 있으며, 병이 존재하지 않는 영역에서는 음성 반응을 보일 수 있다.
이러한 단층 촬영 이미지는 뇌 영역에 해당하는 부분을 경계로 하여 테두리가 형성되어 표시되며, 소정의 뇌 영역에 병이 존재하는 경우엔 해당 뇌 영역에 속하는 세포 또는 조직 부분의 픽셀이 아밀로이드의 침착(Brain Amyloid Plague Load)에 의한 양성 반응으로서 검은색 부분에 대비되는 회색 또는 하얀색으로 나타나는 픽셀 부분의 색상, 즉, 하얀색에 가까운 색상을 가지는 것일 수 있다.
또한, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는데 있어서, 아밀로이드 제재의 투여시점으로부터 30분 내지 2시간 정도의 시간이 경과된 후 10분 내지 60분의 기간동안 단층 촬영을 수행함에 따른 복수 개의 단층 촬영 이미지를 단층 촬영 이미지 입력부(100)에서 입력받는 것일 수 있다.
이때, 단층 촬영 이미지(91)는 도 9에 도시된 바와 같이 '가로×세로×깊이'가 '400×400×110'인 픽셀 사이즈를 가지는 것일 수 있으며, 단층 촬영 이미지 입력부(100)는 50장 내지 150장의 복수 개의 단층 촬영 이미지를 입력받는 것일 수 있다.
클래스 생성부(200)는 단층 촬영 이미지 입력부(100)에 의해 입력된 단층 촬영 이미지를 해당 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도에 따라 분류하고자 하는 복수 개의 클래스들을 생성한다(S200).
클래스 생성부(200)는 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도를 수치화함에 따라 복수 개의 임계값을 설정하여 제1 임계값 이하일 경우는 제1 클래스, 제1 임계값을 초과하고 제2 임계값 이하일 경우는 제2 클래스, 제2 임계값을 초과할 경우는 제3 클래스로 생성하여 복수 개의 클래스를 생성할 수 있다.
클래스 생성부(200)는 클래스 마다 각 클래스에 대응되는 노드(node)를 생성하는 것일 수 있다.
관심영역 추출부(300)는 단층 촬영 이미지 입력부(100)에 의해 입력된 단층 촬영 이미지에서 사용자가 선택한 관심영역을 추출한다(S300).
관심영역 추출부(300)는 도 10에 도시된 바와 같이 아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역(11)에 기초하여 사용자가 선택한 관심영역을 추출할 수 있다.
이때, 상기 관심영역에 대한 사용자의 영역 선택 정보는 도 9에 도시된 PET 템플릿(PET teamplate) 형태로 기저장된 상태이거나 또는 영역 선택부(800)에 의해 사용자로부터 입력받는 것일 수 있다.
관심영역 추출부(300)는 상기 추출된 관심영역에 대응하는 관심영역 이미지를 저장하는 것일 수 있다.
이미지 전처리 모듈(400)은 관심영역 추출부(300)에 의해 기저장된 관심영역 이미지를 입력받아 합성곱 신경망에 적용하기 용이하도록 이에 대한 전처리를 수행한다.
이미지 전처리 모듈(400)은 상기 관심영역 이미지에서 두개골 영역 부분을 분리 및 제거(skull stripping)한 후 기설정된 이미지 크기로 리사이즈 및 정규화하여 전처리 이미지를 생성할 수 있다(S400).
이와 관련하여, 이미지 전처리 모듈(400)은 도 8에 도시된 바와 같이 공간 정규화부(410), 크로핑부(420), 강도 정규화부(430) 및 스케일링부(440)를 포함할 수 있다.
공간 정규화부(410)는 복수 개의 단층 촬영 이미지를 동일한 모양과 형태로 공간 정규화하여 공간 정규화된 단층 촬영 이미지를 생성한다.
공간 정규화부(410)는 복수 개의 단층 촬영 이미지를 하나의 기설정된 기준 좌표에 맞게 배치하도록하고, 이미지처리의 효율성을 높이기 위해 단층 촬영 이미지들에 포함된 객체 영역이 이미지의 중앙에 위치하도록 하여 공간 정규화된 단층 촬영 이미지를 생성하는 것일 수 있다.
또한, 공간 정규화부(410)는 단층 촬영 이미지가 가지는 픽셀의 위치를 이동하여 단층 촬영 이미지의 형태를 변환하는 워핑(Warping)이라는 영상 처리 기법에 기초하여 공간 정규화된 단층 촬영 이미지를 생성하는 것일 수 있다.
크로핑부(420)는 공간 정규화부(410)에 의해 공간 정규화된 단층 촬영 이미지에 있어서, 객체 영역인 뇌 영역에 해당하는 부분을 경계로 한 테두리 부분을 포함하되 기설정된 이미지 사이즈를 가지도록 뇌 영역에 해당하는 부분을 경계로 한 테두리의 배경 영역을 제거한다.
크로핑부(420)는 상기 공간 정규화된 단층 촬영 이미지들에 있어서 에지를 검출하여 에지 내부의 영역을 뇌 영역으로 추출하여 배경 영역을 제거하는 것일 수 있다.
이는 뇌를 단층 촬영하여 획득되는 이미지의 경우, 아밀로이드가 침착된 정도에 따라서 고음영 부분과 저음영 부분으로 구분되는 뇌 영역과, 뇌 영역과 무관한 배경 영역으로 구분될 수 있고, 뇌 영역은 배경 영역과 대비하여 명도 값의 차이가 크므로 뇌 영역과 배경 영역을 에지 검출에 따라 쉽게 구분할 수 있음을 고려한 것이다.
크로핑부(420)는 상기 공간 정규화된 단층 촬영 이미지들에 대해 에지 검출을 수행함에 따라 추출되는 에지 성분들에 각각 대응되는 픽셀들을 연결하여 폐곡선을 생성하도록 하고, 곡률 반경이 작은 쪽인 폐곡선의 안쪽을 뇌 영역으로 추출하여 배경 영역을 제거하는 것일 수 있다.
크로핑부(420)는 영상에서 명도의 변화가 많은 부분에서 발생하는 에지 특성을 이용하여 인접한 픽셀들 간의 픽셀값을 비교하여 차이가 큰 경우를 변화하는 경계에 해당되는 부분으로 하여 에지 영역을 추출하도록 하고 뇌 영역과 배경 영역을 구분하는 것일 수 있다.
강도 정규화부(430)는 크로핑부(420)에 의해 배경 영역이 제거된 단층 촬영 이미지에 있어서 특이성 섭취 영역과 비특이성 섭취 영역을 구분하기 위하여 기설정된 마스크를 적용하여 강도 정규화를 수행하고 강도 정규화된 단층 촬영 이미지를 생성한다.
여기서, 특이성 섭취(Specific Uptake) 영역은 병의 유무에 따라 아밀로이드 침착이 결정되는 영역을 나타내는 것으로서 대뇌 회백질(Gray matter) 영역에 해당하고, 비특이성 섭취(Non-specific Uptake) 영역은 병의 유무에 상관없이 항상 아밀로이드 침착이 되는 영역을 나타내는 것으로서 뇌의 백질(White matter) 영역에 해당할 수 있다.
이는 병이 없는 환자의 단층 촬영 이미지에서의 특이성 섭취 영역에서는 아밀로이드 침착이 되지 않을 것이고, 병이 있는 환자의 단층 촬영 이미지에서의 특이성 섭취 영역에서는 아밀로이드 침착이 될 것이며, 병의 유무와 관계없이 비특이성 영역에서는 아밀로이드 침착이 항상 되는 것을 고려한 것이다.
또한, 강도 정규화부(430)는 단층 촬영 이미지에 속하는 픽셀들과 기설정된 마스크간에 사칙연산을 적용하여 강도 정규화를 수행하는 것일 수 있다.
강도 정규화부(430)는 배경 영역이 제거된 단층 촬영 이미지가 가지는 전체 픽셀값을 뇌의 백질(White matter) 영역인 비특이성 섭취 영역이 가지는 픽셀값으로 나누어 강도 정규화를 수행하여 강도 정규화된 단층 촬영 이미지를 생성하는 것일 수 있다.
다시 말해, 강도 정규화부(430)가 단층 촬영 이미지에서의 뇌의 백질(White matter) 영역인 비특이성 섭취 영역에 해당하는 픽셀값으로 단층 촬영 이미지의 전체 픽셀값을 나눠주게 되면(즉, 강도 정규화를 하면), 전체 단층 촬영 이미지에서 비 특이성 섭취 영역의 픽셀값은 1에 가까울 것이기 때문에 관찰하고자 하는 영역인 특이성 섭취 영역을 1에 가까운 값을 가지는 비 특이성 섭취 영역을 기준으로 정상인과 비정상인의 단층 촬영 이미지 비교가 가능한 것일 수 있다.
강도 정규화부(430)는 강도 정규화된 단층 촬영 이미지를 생성함으로써, 환자 간의 단층 촬영 이미지에서 특이성 섭취 영역에 기초하여 절대적 및 상대적 비교를 할 수 있다.
스케일링부(440)는 강도 정규화부(430)에 의해 강도 정규화된 단층 촬영 이미지가 가지는 픽셀값들을 기설정된 범위 내의 값으로 스케일링하여 정규화 이미지를 생성한다.
스케일링부(350)는 합성곱 신경망 구조의 이미지 분류 모듈(500)에서 학습할 가중치의 스케일을 일정한 범위 내에서 분포할 수 있게 강도 정규화된 단층 촬영 이미지가 가지는 픽셀값을 기설정된 범위 내의 값으로 스케링일링 하는 것일 수 있다.
이는 단층 촬영 이미지에서 픽셀값의 분포 변화는 딥러닝(Deep-learning) 기반의 합성곱 신경망(CNN, Convolution Neural Network)에서 학습할 가중치(Weight)의 스케일(Scale) 변화에 영향을 주는 점을 고려한 것이다.
이에 따라, 픽셀 사이즈가 '400×400×110'인 단층 촬영 이미지(91, Original image)가 단층 촬영 이미지 입력부(100)에 입력되는 경우, 도 9에 도시된 바와 같이 공간 정규화부(410), 크로핑부(420) 및 강도 정규화(430)에 의한 공간 정규화, 크로핑 및 강도 정규화가 순차적으로 완료되면 '95×79×68'의 픽셀 사이즈로 1차 변환되고, 이후 스케일링이 완료되면 최종적으로 '64×64×64'의 픽셀 사이즈로 2차 변환되는 것일 수 있다.
이미지 분류 모듈(500)은 진단 대상자의 단층 촬영 이미지를 이미지 전처리 모듈(400)에 의해 전처리한 결과에 따른 전처리 이미지를 딥러닝 기반의 합성곱 신경망(CNN)에 적용하여 진단 대상자의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지를 분류한다(S500).
여기서, 합성곱 신경망(CNN)은 상기 단층 촬영 이미지로부터 테두리, 선 색 등과 같은 특징(features)들을 추출하는 신경망 기법으로서, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층(layer)은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다.
또한, 합성곱 신경망(CNN)은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있고, 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 이러한 신경망의 다음 계층들은 눈, 코 등과 같은 점진적으로 더 복잡한 특징들을 추출할 수 있다.
이와 관련하여, 이미지 분류 모듈(500)은 도 2에 도시된 바와 같이 이미지 전처리 모듈(400)로부터 출력된 상기 전처리 이미지를 입력받는 입력 계층(510)과, 상기 입력된 이미지의 특징을 추출하여 다운샘플링하기 위한 합성곱 연산 및 풀링 연산을 수행하는 은닉 계층(520)과, 상기 연산 결과에 따라 상기 전처리 이미지를 상기 복수 개의 클래스들 중 어느 하나로 분류하는 출력 계층(530)을 포함하는 합성곱 신경망 구조로 구성될 수 있다.
이때, 은닉 계층(520)은 출력 계층(530)과 인접한 위치에 있는 복수의 제1 은닉 뉴런들을 포함하는 상부 은닉층(UL, upper layers)과, 입력 계층(510)과 인접한 위치에 있는 복수의 제2 은닉 뉴런들을 포함하는 하부 은닉층(LL, lower layers)과, 상부 은닉층(UL)과 하부 은닉층(LL) 사이에 있는 복수의 제3 은닉 뉴런들을 포함하는 중앙 은닉층(ML, middle layers)을 포함할 수 있다.
또한, 은닉 계층(520)에 포함되는 상부 은닉층(UL), 하부 은닉층(LL) 및 중앙 은닉층(ML)은 컨볼루션 레이어(CL, Convolution Layer)와 풀링 레이어(PL, Pooling Layer)를 각각 포함할 수 있다.
컨볼루션 레이어(CL)는 입력 계층(510)에 의해 입력된 전처리 이미지에 대하여 소정 크기의 커널(Kernel)을 이용한 합성곱 연산을 수행함에 따른 해당 이미지의 특징맵(Feature maps)을 추출하여 출력 데이터로서 출력한다.
컨볼루션 레이어(CL)는 상기 전처리 이미지에 있어서, 서로 다른 특징을 추출하는 필터가 좌측에서 우측으로 또는 상단에서 하단으로 사용자의 입력에 따른 간격(stride)만큼 이동하면서 상기 전처리 이미지와 필터가 겹치는 영역 내에서 컨볼루션 연산을 수행함에 따라 복수 개의 특징맵(feature map)을 추출하는 것일 수 있다.
풀링 레이어(PL)는 컨볼루션 레이어(Convolution Layer)에 의해 추출된 특징맵에 대한 풀링 연산을 수행하여 다운샘플링한다.
풀링 레이어(PL)는 컨볼루션 레이어(CL)에 의해 추출된 특징맵에 대하여 복수 개의 연산값에 대한 대표값을 할당하여 상기 특징맵에 대한 컨볼루션 연산값의 사이즈를 축소하고 풀링 이미지를 생성할 수 있다.
풀링 레이어(PL)는 상기 특징맵을 기설정된 동일한 사이즈를 가지는 복수 개의 영역으로 분할하여 각 영역 내에서 최대값에 기초하여 각 영역을 하나의 값으로 추출하여 특징맵의 사이즈를 축소하고 풀링 이미지를 생성하는 것일 수 있다.
풀링 레이어(PL)는 데이터의 공간적 크기를 축소하는데 사용되는 풀링 기법 중에서 해당 영역에서의 최대값을 선택하는 맥스 풀링(Max Pooling) 기법에 따른 풀링 필터를 특징맵의 좌측 상단에 위치시키고 기설정된 간격(stride) 만큼 우측으로 이동하면서 필터 영역 내의 값들 중 최대값을 추출하고, 이후 더 이상 우측으로 필터를 이동시킬 수 없는 경우 특징맵의 좌측에서 기설정된 간격(stride) 만큼 아래의 위치부터 우측으로 이동하면서 필터 영역 내의 값들 중 최대값을 추출하여 최대값을 조합함에 따른 풀링 이미지를 생성하는 것일 수 있다.
전술한 바에 따른 은닉 계층(520)은 도 3에 도시된 바와 같은 ResNET 아키텍처 구조로 설계될 수 있으며, 컨볼루션 레이어(CL)에 대한 활성화 함수는 도 4에 도시된 바와 같이 출력이 '0'보다 작은 경우에 비활성화되는 특징을 가지는 ReLU 함수를 사용하는 것일 수 있다.
기여도 분석 모듈(600)은 이미지 분류 모듈(500)에서 출력된 분류 결과값에 대한 이미지 분류 모듈(500)로 입력된 이미지의 픽셀별 기여도를 분석한다(S600).
기여도 분석 모듈(600)은 도 5에 도시된 바와 같이 이미지 분류 모듈(500)에 의해 분류된 결과값(xf)을 출력 계층(530)에서 입력 계층(510) 방향으로 역전파(propagation)하여 은닉 계층(520)에 포함되는 복수의 은닉 노드 각각의 입력의 변화에 따른 출력의 변화 정도에 대응하는 기여도(R, Reference Score)를 결정함에 따라 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도(Rp)를 분석하는 것일 수 있다.
예컨대, 도 6을 참조하면, 이미지 분류 모듈(500)에 의해 분류된 결과값이 '1'일 때, 기여도 분석 모듈(600은 출력 계층(output)의 결과값(1)을 제2 은닉층(L2)으로 역전파하여 제2 은닉층(L2)에 포함된 2개의 은닉 노드 각각에 대응하는 기여도(4,6)에 따라 '0.4'와 '0.6'으로 재분배하고, 제2 은닉층(L2)에서 제1 은닉층(L1)으로 역전파하여 제2 은닉층(L2)의 첫번째 은닉노드의 기여도(0.4)와 제2 은닉층(L2)의 두번째 은닉노드의 기여도(0.6)를 각각 제1 은닉층(L1)에 포함된 4개의 은닉 노드 각각에 대응하는 기여도(8,7,2,3)에 따라 '0.4','0.35','0.1','0.15'로 재분배하는 것일 수 있다.
이때, 제2 은닉층(L2)에 포함되는 2개의 은닉노드들의 기여도를 합산한 값(RL2)과 제1 은닉층(L1)에 포함되는 4개의 은닉노드들의 기여도를 합산한 값(RL1)은 같은 보존 속성(conservation property)에 따라 출력 계층(output)의 결과값인 '1.0'과 동일한 값을 가지는 것일 수 있으며, 이를 수식으로 정리하면 아래의 수학식 1과 같다.
여기서, j와 k는 신경망의 연속적인 두 층에 있는 뉴런을 나타내고, Rj와 Rk는 해당 뉴런의 기여도를 나타내고, Zjk는 뉴런 j가 뉴런 k를 기여하게 만든 정도를 모델링에 근거하여 계량화한 지표를 나타낸다.
기여도 분석 모듈(600)은 이미지 분류 모듈(500)에 의해 분류된 결과값을 상부 은닉층(UL), 하부 은닉층(LL) 및 중앙 은닉층(ML) 각각에 대응하는 활성화 함수의 활성 여부 및 잡음 제거 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도 중 적어도 하나의 특성에 기초하여 해당 은닉층에 대응되는 기여도(RS)를 결정할 수 있다.
이때, 상기 활성화 함수는 도 4에 도시된 바와 같은 ReLU 함수일 수 있으며, 상기 잡음 제거 여부는 상기 은닉 계층에서의 전파 전달 과정 중에 잘못된 변형으로 인해 은닉 뉴런(k)의 활성화에 대한 기여가 약하거나 모순되는 경우를 잡음으로 간주함에 따른 제1 가중치(ε)를 이용하여 설정할 수 있고, 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도는 중요도에 따른 제2 가중치(
)를 이용하여 조절되는 것일 수 있다.
구체적으로, 기여도 분석 모듈(600)은, 아래의 수학식 2에 기초하여 이미지 분류 모듈(500)에 의해 분류된 결과값(Rk)을 상부 은닉층(UL)에 포함되는 복수의 제1 은닉 뉴런들 각각에 대응하는 활성화 함수(ReLU)의 활성 여부에 비례하여 분해 및 재분배함에 따라 상부 은닉층(UL)에 대응되는 기여도(Rj)를 결정할 수 있다.
여기서, aj는 뉴런 j의 활성값을 나타내고, wjk는 뉴런 j와 뉴런 k 사이의 연결 가중치를 나타낸다.
또한, 기여도 분석 모듈(600)은, 아래의 수학식 3에 기초하여 상부 은닉층(UL)의 제1 은닉 뉴런들에 대응하여 결정된 상기 기여도(Rk)를 중앙 은닉층(ML)에 포함되는 복수의 제3 은닉 뉴런들 각각에 대응하는 활성화 함수(ReLU)의 활성 여부와 해당 함수에 대한 잡음 제거 여부에 따른 제1 가중치(ε)에 기초하여 분해 및 재분배함에 따라 중앙 은닉층(ML)에 대응되는 기여도(Rj)를 결정할 수 있다.
여기서, ε는 잡음 제거 여부에 따른 제1 가중치로서 뉴런 k의 활성화에 대한 기여가 약하거나 모순될 때를 잡음으로 간주하는 경우를 나타낸다.
또한, 기여도 분석 모듈(600)은, 아래의 수학식 4에 기초하여 중앙 은닉층(ML)의 제3 은닉 뉴런들에 대응하여 결정된 기여도(Rk)를 하부 은닉층(LL)에 포함되는 복수의 제2 은닉 뉴런들 각각에 대응하는 활성화 함수(ReLU)의 활성 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도에 따른 제2 가중치(
)에 기초하여 분해 및 재분배함에 따라 하부 은닉층(LL)에 대응되는 기여도(Rj)를 결정할 수 있다.
여기서, 
는 상기 클래스 분류 결과에 대한 긍정(positive) 또는 부정(negative)의 영향도를 중요도에 따라 조절하기 위한 제2 가중치를 나타내고, wjk +는 뉴런 j와 뉴런 k 사이의 양(positive)의 연결 가중치를 나타낸다.
전술한 상기 수학식 4에서 제2 가중치(
)를 무한대 극한으로 보내게 되면(
→∞), 아래의 수학식 5와 같이 정리할 수 있다. 여기서, α는 β+1의 값을 나타낸다.
이때, 기여도 분석 모듈(600)은 상부 은닉층(UL), 하부 은닉층(LL) 및 중앙 은닉층(ML) 각각에 대한 컨볼루션 레이어(CL)의 특성에 기초하여 해당 은닉층에 대응하는 기여도를 결정하는 것일 수 있다.
예컨대, 도 7을 참조하면, 기여도 분석 모듈(600)에 의해 이미지 분류 모듈(500)에서 출력된 분류 결과값에 대한 이미지 분류 모듈(500)의 입력 이미지(Input)의 픽셀별 기여도를 상부 은닉층(UL)에 대응하는 기여도(LPR-0)와 중앙 은닉층(ML)에 대응하는 기여도(LPR-ε)와 하부 은닉층(LL)에 대응하는 기여도(LPR-
)로 각각 구분하여 분석할 수 있다.
기여도 맵 생성부(700)는 상기 전처리 이미지상의 각각의 픽셀 위치에 대하여 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석한 결과를 히트맵 형태로 시각화한 기여도 맵을 생성한다(S700).
기여도 맵 생성부(700)는 컨볼루션 레이어(CL)에 의한 특징맵과 가중치와의 가중합을 수행하여 클래스 생성부(200)에 의해 생성된 클래스 갯수 만큼의 복수 개의 픽셀값으로 이루어진 기여도 맵을 생성하며, 클래스 내의 노드 갯수만큼의 기여도 맵을 생성하는 것일 수 있다.
예컨대, 기여도 맵 생성부(700)는 도 11에 도시된 바와 같이 복수 개의 단층 촬영 이미지 각각에 기초한 전처리 이미지들을 슬라이드 형태로 배열한 후 해당 이미지의 픽셀별 기여도에 따라 색상 또는 밝기가 강조되도록 시각화한 기여도 맵을 생성할 수 있다.
전술한 기여도 맵을 뇌 스캔 영상의 슬라이드 모드(slide view)와 글래스 모드(glass view)와 상호 비교해보면, 도 12에 도시된 바와 같이, 상기 기여도 맵이 상기 뇌 스캔 영상보다 이미지 분류 모듈(500)에서 출력된 분류 결과값이 정상인에 대응되는 참 부정(True Negative)일 때와 알츠하이머병 환자에 대응되는 참 긍정(True Positive)일 때를 명확하게 구분 가능함을 확인할 수 있다.
영역 선택부(800)는 사용자가 비교하고자 하는 적어도 둘 이상의 관심 영역에 대한 사용자의 선택 정보를 입력받는다.
이때, 상기 입력된 선택 정보는 도 8에 도시된 바와 같이 관심영역 추출부(300)로 전달되어 관심영역에 대한 사용자의 영역 선택 정보로 이용될 수 있다.
기여도 비교부(900)는 영역 선택부(800)를 통해 입력된 사용자의 선택 정보에 따른 복수의 관심영역들 각각에 대응하는 기여도를 상호 비교 가능하도록 시각화한 그래프를 도 13에 도시된 바와 같이 생성하여 출력한다.
이에 따라, 전술한 본 발명에 의하면, 딥러닝 기반 신경망의 결과물에 대하여 신경망 계층별로 기여한 부분을 분석하여 입출력 간의 선형적인 관계를 파악할 수 있어 추론 결과에 설명력과 신뢰성을 확보할 뿐 아니라 필드 적용 시 안정성을 보장할 수 있다.
또한, 본 발명에 의하면, 기존의 딥러닝 기반 신경망 알고리즘이 가지는 블랙박스 문제를 해결할 수 있어 인공지능의 실질적인 활용 범위를 확장시킬 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
특히, 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 수정의 기본으로써 즉시 사용될 수 있음이 해당 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.
또한, 상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 전술한 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 단층 촬영 이미지 입력부
200: 클래스 생성부
300: 관심영역 추출부 400: 이미지 전처리 모듈
410: 공간 정규화부 420: 크로핑부
430: 강도 정규화부 440: 스케일링부
500: 이미지 분류 모듈 510: 입력 계층
520: 은닉 계층 530: 출력 계층
600: 기여도 분석 모듈 700: 기여도 맵 생성부
800: 영역 선택부 900: 기여도 비교부
300: 관심영역 추출부 400: 이미지 전처리 모듈
410: 공간 정규화부 420: 크로핑부
430: 강도 정규화부 440: 스케일링부
500: 이미지 분류 모듈 510: 입력 계층
520: 은닉 계층 530: 출력 계층
600: 기여도 분석 모듈 700: 기여도 맵 생성부
800: 영역 선택부 900: 기여도 비교부
Claims (14)
- 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 단층 촬영 이미지 입력부;
복수 개의 상기 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도에 따라 단층 촬영 이미지를 분류하고자 하는 복수 개의 클래스들과 각 클래스에 대응되는 노드를 생성하는 클래스 생성부;
아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역에 기초하여 상기 단층 촬영 이미지에서 사용자가 선택한 관심영역을 추출하고 이에 대응하는 관심영역 이미지를 저장하는 관심영역 추출부;
상기 관심영역 이미지에서 두개골 영역 부분을 분리 및 제거한 후 기설정된 이미지 크기로 리사이즈 및 정규화하여 전처리 이미지를 생성하는 이미지 전처리 모듈;
상기 전처리 이미지를 입력받는 입력 계층과, 상기 입력된 이미지의 특징을 추출하여 다운샘플링하기 위한 합성곱 연산 및 풀링 연산을 수행하는 은닉 계층과, 상기 연산 결과에 따라 상기 전처리 이미지를 상기 복수 개의 클래스들 중 어느 하나로 분류하는 출력 계층을 포함하는 합성곱 신경망 구조의 이미지 분류 모듈; 및
상기 분류한 결과값을 상기 출력 계층에서 상기 입력 계층 방향으로 역전파하여 상기 은닉 계층에 포함되는 복수의 은닉 노드 각각의 입력의 변화에 따른 출력의 변화 정도에 대응하는 기여도를 결정함에 따라 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석하는 기여도 분석 모듈;을 포함하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치. - 제1항에 있어서,
상기 은닉 계층은,
상기 출력 계층과 인접한 위치에 있는 복수의 제1 은닉 뉴런들을 포함하는 상부 은닉층과, 상기 입력 계층과 인접한 위치에 있는 복수의 제2 은닉 뉴런들을 포함하는 하부 은닉층과, 상기 상부 은닉층과 상기 하부 은닉층 사이에 있는 복수의 제3 은닉 뉴런들을 포함하는 중앙 은닉층을 포함하며,
상기 기여도 분석 모듈은,
상기 분류한 결과값을 상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층 각각에 대응하는 활성화 함수의 활성 여부 및 잡음 제거 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도 중 적어도 하나의 특성에 기초하여 해당 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치. - 제2항에 있어서,
상기 기여도 분석 모듈은,
상기 분류한 결과값을 상기 복수의 제1 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부에 비례하여 분해 및 재분배함에 따라 상기 상부 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치. - 제3항에 있어서,
상기 기여도 분석 모듈은,
상기 제1 은닉 뉴런들에 대응하여 결정된 상기 기여도를 상기 복수의 제3 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부와 해당 함수에 대한 잡음 제거 여부에 따른 제1 가중치에 기초하여 분해 및 재분배함에 따라 상기 중앙 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치. - 제4항에 있어서,
상기 기여도 분석 모듈은,
상기 제3 은닉 뉴런들에 대응하여 결정된 상기 기여도를 상기 복수의 제2 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도에 따른 제2 가중치에 기초하여 분해 및 재분배함에 따라 상기 하부 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치. - 제2항에 있어서,
상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층은 각각 소정 크기의 커널을 이용한 합성곱 연산을 수행하여 해당 은닉층에 입력된 이미지의 특징맵을 추출하는 컨볼루션 레이어와, 상기 추출된 특징맵에 대한 풀링 연산을 수행하여 다운샘플링하는 풀링 레이어로 구성되는 것이며,
상기 기여도 분석 모듈은,
상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층 각각에 대응하는 상기 컨볼루션 레이어의 특성에 기초하여 해당 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치. - 제1항에 있어서,
상기 전처리 이미지상의 각각의 픽셀 위치에 대하여 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석한 결과를 히트맵 형태로 시각화한 기여도 맵을 생성하는 기여도 맵 생성부;를 더 포함하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치. - 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 단계;
복수 개의 상기 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도에 따라 단층 촬영 이미지를 분류하고자 하는 복수 개의 클래스들과 각 클래스에 대응되는 노드를 생성하는 단계;
아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역에 기초하여 상기 단층 촬영 이미지에서 사용자가 선택한 관심영역을 추출하고 이에 대응하는 관심영역 이미지를 저장하는 단계;
상기 관심영역 이미지에서 두개골 영역 부분을 분리 및 제거한 후 기설정된 이미지 크기로 리사이즈 및 정규화하여 전처리 이미지를 생성하는 단계;
입력 계층, 은닉 계층 및 출력 계층을 포함하는 합성곱 신경망 구조로 사전 학습된 이미지 분류 모델을 이용하여 상기 전처리 이미지를 입력받아 해당 이미지의 특징을 추출하여 다운 샘플링하기 위한 합성곱 연산 및 풀링 연산을 수행함에 따라 상기 전처리 이미지를 상기 복수 개의 클래스들 중 어느 하나로 분류하는 단계; 및
상기 분류한 결과값을 상기 출력 계층에서 상기 입력 계층 방향으로 역전파하여 상기 은닉 계층에 포함되는 복수의 은닉 노드 각각의 입력의 변화에 따른 출력의 변화 정도에 대응하는 기여도를 결정함에 따라 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법. - 제8항에 있어서,
상기 은닉 계층은,
상기 출력 계층과 인접한 위치에 있는 복수의 제1 은닉 뉴런들을 포함하는 상부 은닉층과, 상기 입력 계층과 인접한 위치에 있는 복수의 제2 은닉 뉴런들을 포함하는 하부 은닉층과, 상기 상부 은닉층과 상기 하부 은닉층 사이에 있는 복수의 제3 은닉 뉴런들을 포함하는 중앙 은닉층을 포함하는 것이며,
상기 분석하는 단계는,
상기 분류한 결과값을 상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층 각각에 대응하는 활성화 함수의 활성 여부 및 잡음 제거 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도 중 적어도 하나의 특성에 기초하여 해당 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법. - 제9항에 있어서,
상기 분석하는 단계는,
상기 분류한 결과값을 상기 복수의 제1 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부에 비례하여 분해 및 재분배함에 따라 상기 상부 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법. - 제10항에 있어서,
상기 분석하는 단계는,
상기 제1 은닉 뉴런들에 대응하여 결정된 상기 기여도를 상기 복수의 제3 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부와 해당 함수에 대한 잡음 제거 여부에 따른 제1 가중치에 기초하여 분해 및 재분배함에 따라 상기 중앙 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법. - 제11항에 있어서,
상기 분석하는 단계는,
상기 제3 은닉 뉴런들에 대응하여 결정된 상기 기여도를 상기 복수의 제2 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도에 따른 제2 가중치에 기초하여 분해 및 재분배함에 따라 상기 하부 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법. - 제9항에 있어서,
상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층은 각각 소정 크기의 커널을 이용한 합성곱 연산을 수행하여 해당 은닉층에 입력된 이미지의 특징맵을 추출하는 컨볼루션 레이어와, 상기 추출된 특징맵에 대한 풀링 연산을 수행하여 다운샘플링하는 풀링 레이어로 구성되는 것이며,
상기 분석하는 단계는,
상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층 각각에 대응하는 상기 컨볼루션 레이어의 특성에 기초하여 해당 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법. - 제8항에 있어서,
상기 분석하는 단계 이후에,
상기 전처리 이미지상의 각각의 픽셀 위치에 대하여 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석한 결과를 히트맵 형태로 시각화한 기여도 맵을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220001688A KR20230106205A (ko) | 2022-01-05 | 2022-01-05 | 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220001688A KR20230106205A (ko) | 2022-01-05 | 2022-01-05 | 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230106205A true KR20230106205A (ko) | 2023-07-13 |
Family
ID=87160282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220001688A KR20230106205A (ko) | 2022-01-05 | 2022-01-05 | 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230106205A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117116432A (zh) * | 2023-10-23 | 2023-11-24 | 博奥生物集团有限公司 | 一种疾病特征的处理方法、装置和设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102021515B1 (ko) | 2018-12-27 | 2019-09-16 | (주)제이엘케이인스펙션 | 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법 |
| KR20190105452A (ko) | 2018-03-05 | 2019-09-17 | 고려대학교 산학협력단 | 딥러닝 기반 뇌 질환 진단 방법 |
-
2022
- 2022-01-05 KR KR1020220001688A patent/KR20230106205A/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190105452A (ko) | 2018-03-05 | 2019-09-17 | 고려대학교 산학협력단 | 딥러닝 기반 뇌 질환 진단 방법 |
| KR102021515B1 (ko) | 2018-12-27 | 2019-09-16 | (주)제이엘케이인스펙션 | 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117116432A (zh) * | 2023-10-23 | 2023-11-24 | 博奥生物集团有限公司 | 一种疾病特征的处理方法、装置和设备 |
| CN117116432B (zh) * | 2023-10-23 | 2023-12-15 | 博奥生物集团有限公司 | 一种疾病特征的处理装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Veena et al. | A novel optic disc and optic cup segmentation technique to diagnose glaucoma using deep learning convolutional neural network over retinal fundus images | |
| Melinscak et al. | Retinal Vessel Segmentation using Deep Neural Networks. | |
| YİĞİT et al. | Applying deep learning models to structural MRI for stage prediction of Alzheimer's disease | |
| Abramoff et al. | The automatic detection of the optic disc location in retinal images using optic disc location regression | |
| Pathan et al. | Automated segmentation and classifcation of retinal features for glaucoma diagnosis | |
| Joshi et al. | Glaucoma detection using image processing and supervised learning for classification | |
| KR102421110B1 (ko) | 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법 | |
| David et al. | Retinal blood vessels and optic disc segmentation using U-net | |
| KR20230106205A (ko) | 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법 | |
| KR102288727B1 (ko) | 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법 | |
| Kumar et al. | Improved Blood Vessels Segmentation of Retinal Image of Infants. | |
| Gadriye et al. | Neural Network based method for the diagnosis of diabetic retinopathy | |
| KR102267219B1 (ko) | 혈관 세그멘테이션 방법 | |
| Ding et al. | Context-aware attention u-net for the segmentation of pores in lamina cribrosa using partial points annotation | |
| Raja et al. | Classification of spine image from MRI image using convolutional neural network | |
| Rode et al. | Image Segmentation with Priority Based Apposite Feature Extraction Model for Detection of Multiple Sclerosis in MR Images Using Deep Learning Technique. | |
| El-Sisi et al. | Retracted: Iridology-Based Human Health Examination | |
| Ara et al. | Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm | |
| Begum et al. | Deep Convolutional Neural Networks for Diagnosis of Parkinson's Disease Using MRI Data. | |
| Manochandar et al. | Classification of Alzheimer’s Disease using Neuroimaging Techniques | |
| Joe et al. | An extensive analysis of retina segmentation based on structural screening using fuzzy based morphologic theories | |
| US20240020830A1 (en) | System and methods of predicting parkinson's disease based on retinal images using machine learning | |
| Raju | DETECTION OF DIABETIC RETINOPATHY USING IMAGE PROCESSING | |
| Moh'd Rasoul et al. | Pneumonia identification using organizing map algorithm | |
| Odstrčilík | Analysis of retinal image data to support glaucoma diagnosis |