KR101980955B1 - 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템 - Google Patents
3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템 Download PDFInfo
- Publication number
- KR101980955B1 KR101980955B1 KR1020170014827A KR20170014827A KR101980955B1 KR 101980955 B1 KR101980955 B1 KR 101980955B1 KR 1020170014827 A KR1020170014827 A KR 1020170014827A KR 20170014827 A KR20170014827 A KR 20170014827A KR 101980955 B1 KR101980955 B1 KR 101980955B1
- Authority
- KR
- South Korea
- Prior art keywords
- sectional images
- lesion
- neural network
- objective function
- depth direction
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 354
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 31
- 230000007774 longterm Effects 0.000 title description 2
- 238000013528 artificial neural network Methods 0.000 claims abstract description 146
- 230000014509 gene expression Effects 0.000 claims abstract description 89
- 230000006870 function Effects 0.000 claims description 95
- 239000013598 vector Substances 0.000 claims description 73
- 238000010195 expression analysis Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 210000000481 breast Anatomy 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Radiology & Medical Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Physiology (AREA)
- Pulmonology (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
일실시예에 따르면, 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법은 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여, 복수의 단면영상들-상기 복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각의 병변 공간 특징 표현을 추출하는 단계; 및 상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 기초로 재귀 신경망(Recurrent Neural Network)을 이용하여, 상기 복수의 단면영상들의 깊이 방향에 따라 상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 단계를 포함한다.
Description
아래의 실시예들은 깊이 방향 재귀 학습(Depth Directional Long-Term Recurrent Learning)을 이용하여 병변 특징 표현(Feature Representation of Lesions)을 분석하는 시스템 및 그 분석 방법에 관한 것으로, 컨벌루션 신경망(Convolutional Neural Network) 및 재귀 신경망(Recurrent Neural Network)을 이용하여 3차원 의료 영상에 포함되는 병변의 공간 및 깊이 특징 표현을 추출하여 분석하는 기술에 대한 것이다.
최근 3차원 디지털 토모신테시스(Digital Breast Tomosynthesis; DBT)가 유방의 3차원 구조 정보를 영상화하여, 기존 2차원 마모그래피(Mammography)의 조직 중첩 문제를 해결할 새로운 영상 기술로 주목 받고 있다. DBT는 일련의 제한된 각도 범위에서 X선 촬영으로 얻어진 복수 개의 저선량 투영영상(Low-dose Projection Views)으로부터 3차원 단면영상(Reconstructed Slices)을 재구성하여, 유방의 3차원 구조정보를 제공한다. 이와 관련된 기술은 등록특허 제10-1614704호(2016.04.18)에 개시되어 있다.
이러한 DBT는, 임상연구를 통해 활용될 경우, 기존 마모그램(Mammogram)과 비교하여 유방암 병변의 검출율을 높일 수 있음이 보고되고 있다. 하지만 DBT는 일반적으로 35내지 80장 내외의 단면영상들을 제공하기 때문에, 기존 마모그램이 1장의 영상을 제공하던 것과 비교하여 분석할 영상의 수가 매우 많다는 단점을 갖는다. 또한, 이와 같은 단점은DBT를 활용한 유방암 진단 시, 방사선 전문의의 진단 시간과 부담을 증가시키는 문제점을 발생시킨다.
이러한 DBT는, 임상연구를 통해 활용될 경우, 기존 마모그램(Mammogram)과 비교하여 유방암 병변의 검출율을 높일 수 있음이 보고되고 있다. 하지만 DBT는 일반적으로 35내지 80장 내외의 단면영상들을 제공하기 때문에, 기존 마모그램이 1장의 영상을 제공하던 것과 비교하여 분석할 영상의 수가 매우 많다는 단점을 갖는다. 또한, 이와 같은 단점은DBT를 활용한 유방암 진단 시, 방사선 전문의의 진단 시간과 부담을 증가시키는 문제점을 발생시킨다.
이에, 진단 부담 증가를 해결하기 위하여 다양한 컴퓨터 보조 진단(Computer-Aided Detection)이 연구 되었다. 컴퓨터 보조 진단은 의사에게 유방암으로 의심되는 영역을 보여주어 진단에 도움을 주는 것이 목적으로, 여러 임상 연구에서 의사의 진단에 도움을 주는 것으로 보고되고 있다. 그러나, 컴퓨터 보조 진단은 상대적으로 위양성(False Positive) 검출율이 높기 때문에, 불필요한 조직 검사를 야기하고, 이는 환자의 진단 부담을 증가시킬 수 있다.
이러한 위양성과 실제 유방암 병변을 구분하기 위하여, 다양한 Hand-Crafted 특징이 개발되었다. 그러나, Hand-Crafted 특징은 의사의 지식과 경험에 의존하여 35 내지80 장 내외의 수 많은 단면영상에 감추어져 있는 특징을 개발하기 어려운 한계점이 존재한다.
따라서, 방대한 영상 데이터에서 병변의 특징을 효과적으로 추출하고 분류할 수 있는 기술의 필요성이 대두되는 바, 아래의 실시예들은 재귀 신경망(Recurrent Neural Network) 기반의 딥 러닝을 이용하여, 의료 영상으로부터 병변의 공간 및 깊이 특징 표현을 분석하는 기술을 제안한다.
일실시예들은 3차원 의료 영상에 포함되는 복수의 단면영상들에서 병변의 공간 및 깊이 특징 표현을 분석하는 방법 및 시스템을 제공한다.
구체적으로, 일실시예들은 복수의 단면영상들로 구성된 병변 의심 영역에 대해, 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여 복수의 단면영상들 각각의 병변 공간 특징 표현을 추출하고, 재귀 신경망(Recurrent Neural Network)을 이용하여 복수의 단면영상들의 깊이 방향에 따른 복수의 단면영상들 각각의 병변 특징 표현을 추출함으로써, 주어진 병변 의심 영역을 분류하는 방법 및 시스템을 제공한다.
또한, 일실시예들은 병변 특징 표현을 추출하는 과정에서 이용되는 재귀 신경망을 병변 특징 표현이 효율적으로 추출되도록 학습시키는 방법 및 시스템을 제공한다.
일실시예에 따르면, 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법은 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여, 복수의 단면영상들-상기 복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각의 병변 공간 특징 표현을 추출하는 단계; 및 상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 기초로 재귀 신경망(Recurrent Neural Network)을 이용하여, 상기 복수의 단면영상들의 깊이 방향에 따라 상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 단계를 포함한다.
상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 단계는 상기 복수의 단면영상들의 깊이 방향에 기초하여 상기 복수의 단면영상들 각각의 병변 특징 벡터를 인식하는 단계; 상기 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하는 단계; 및 상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 복수의 단면영상들 각각의 병변을 분류하는 단계를 포함할 수 있다.
상기 복수의 단면영상들 각각의 병변 특징 벡터를 인식하는 단계는 상기 복수의 단면영상들의 깊이 방향에 기초하여 상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 그룹핑하는 단계; 및 상기 그룹 별로 상기 복수의 단면영상들 각각의 병변 특징 벡터를 인식하는 단계를 포함할 수 있다.
상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하는 단계는 상기 그룹 사이에서 서로 대응되는 단면영상들 각각의 병변 특징 벡터를 융합하여, 상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하는 단계를 포함할 수 있다.
상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하는 단계는 상기 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 상기 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식하는 단계; 및 상기 인식된 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성에 기초하여 상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하는 단계를 포함할 수 있다.
상기 재귀 신경망은 상기 복수의 단면영상들 각각의 병변을 분류하는 분류 에러를 최소화하기 위한 제1 목적 함수, 상기 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성을 최대화하기 위한 제2 목적 함수 또는 상기 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산을 최소화하기 위한 제3 목적 함수 중 적어도 어느 하나를 최적화하도록 학습될 수 있다.
상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하는 단계는 상기 제2 목적 함수가 최대화되도록 상기 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 상기 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식하는 단계를 포함할 수 있다.
상기 복수의 단면영상들 각각의 병변을 분류하는 단계는 상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 제1 목적 함수가 최소화되도록 상기 복수의 단면영상들 각각의 병변을 분류하는 단계를 포함할 수 있다.
상기 복수의 단면영상들 각각의 병변을 분류하는 단계는 상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 제3 목적 함수가 최소화되도록 상기 복수의 단면영상들 각각의 병변을 분류하는 단계를 포함할 수 있다.
일실시예에 따르면, 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여 복수의 단면영상들-상기 복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각에서 추출된 병변 공간 특징 표현을 기초로 상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는데 이용되는 깊이 방향 재귀 학습 방법은 상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 복수의 단면영상들 각각의 병변을 분류하는 분류 에러를 최소화하기 위한 제1 목적 함수를 최적화하도록 재귀 신경망(Recurrent Neural Network)을 학습하는 단계; 상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하기 위하여 상기 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성을 최대화하기 위한 제2 목적 함수를 최적화하도록 상기 재귀 신경망을 학습하는 단계; 및 상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산을 최소화하기 위한 제3 목적 함수를 최적화하도록 상기 재귀 신경망을 학습하는 단계를 포함한다.
일실시예에 따르면, 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 시스템은 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여, 복수의 단면영상들-상기 복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각의 병변 공간 특징 표현을 추출하는 컨벌루션 신경망 적용부; 및 상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 기초로 재귀 신경망(Recurrent Neural Network)을 이용하여, 상기 복수의 단면영상들의 깊이 방향에 따라 상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 재귀 신경망 적용부를 포함한다.
상기 재귀 신경망 적용부는 상기 복수의 단면영상들의 깊이 방향에 기초하여 상기 복수의 단면영상들 각각의 병변 특징 벡터를 인식하고, 상기 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하며, 상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 복수의 단면영상들 각각의 병변을 분류할 수 있다.
상기 재귀 신경망은 상기 복수의 단면영상들 각각의 병변을 분류하는 분류 에러를 최소화하기 위한 제1 목적 함수, 상기 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성을 최대화하기 위한 제2 목적 함수 또는 상기 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산을 최소화하기 위한 제3 목적 함수 중 적어도 어느 하나를 최적화하도록 학습될 수 있다.
일실시예들은 3차원 의료 영상에 포함되는 복수의 단면영상들에서 병변의 공간 및 깊이 특징 표현을 분석하는 방법 및 시스템을 제공할 수 있다.
구체적으로, 일실시예들은 컨벌루션 신경망을 이용하여 복수의 단면영상들 각각의 병변 공간 특징 표현을 추출하고, 재귀 신경망을 이용하여 복수의 단면영상들의 깊이 방향에 따른 복수의 단면영상들 각각의 병변 특징 표현을 추출함으로써, 복수의 단면영상들 각각의 병변을 분류하는 방법 및 시스템을 제공할 수 있다.
또한, 일실시예들은 병변 특징 표현을 추출하는 과정에서 이용되는 재귀 신경망을 병변 특징 표현이 효율적으로 추출되도록 학습시키는 방법 및 시스템을 제공할 수 있다.
따라서, 일실시예들은 병변의 공간 및 깊이 특징 표현을 효과적으로 분석함으로써, CT 또는 MRI 등 다양한 3차원 영상 분석 기술에서 폭 넓게 응용될 수 있는 방법 및 시스템을 제공할 수 있다.
도 1은 일실시예에 따른 병변 특징 표현 분석 시스템을 설명하기 위한 개념도이다.
도 2는 일실시예에 따른 병변 특징 표현 분석 방법을 구체적으로 설명하기 위한 개념도이다.
도 3a 내지 3c는 일실시예에 따른 재귀 신경망을 학습하는데 이용되는 목적 함수들을 설명하기 위한 도면이다.
도 4a 내지 4b는 일실시예에 따른 병변 특징 표현 분석 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 병변 특징 표현 분석 시스템을 나타낸 블록도이다.
도 6은 일실시예에 따른 깊이 방향 재귀 학습 방법을 나타낸 플로우 차트이다.
도 7은 일실시예에 따른 깊이 방향 재귀 학습 시스템을 나타낸 블록도이다.
도 2는 일실시예에 따른 병변 특징 표현 분석 방법을 구체적으로 설명하기 위한 개념도이다.
도 3a 내지 3c는 일실시예에 따른 재귀 신경망을 학습하는데 이용되는 목적 함수들을 설명하기 위한 도면이다.
도 4a 내지 4b는 일실시예에 따른 병변 특징 표현 분석 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 병변 특징 표현 분석 시스템을 나타낸 블록도이다.
도 6은 일실시예에 따른 깊이 방향 재귀 학습 방법을 나타낸 플로우 차트이다.
도 7은 일실시예에 따른 깊이 방향 재귀 학습 시스템을 나타낸 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(Terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 병변 특징 표현 분석 시스템을 설명하기 위한 개념도이다.
도 1을 참조하면, 일실시예에 따른 병변 특징 표현 분석 시스템(100)은 딥 러닝 기반의 병변 특징 표현 분석 방법을 수행하여, 3차원 의료 영상(110)에서 병변의 특징 표현을 공간 및 깊이를 고려하여 인식할 수 있다. 여기서, 병변은 3차원 의료 영상(110)에서 촬영되는, 질병으로 변화된 인체 조직을 의미한다.
구체적으로, 병변 특징 표현 분석 시스템(100)은 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여 3차원 의료 영상(110)에 포함되는 복수의 단면영상들(120) 각각의 병변 공간 특징 표현을 추출하는 단계 및 재귀 신경망(Recurrent Neural Network)을 이용하여 깊이 방향에 따른 복수의 단면영상들(120) 각각의 병변 특징 표현을 추출하는 단계를 포함하는 병변 특징 표현 분석 방법을 수행하여, 3차원 의료 영상(110)에서 병변을 인식하고 분류할 수 있다.
이하, 병변 특징 표현 분석 방법이 병변 특징 표현 분석 시스템(100)에 의해, 상술한 두 단계들을 통해 수행되는 것으로 설명하나, 이에 제한되거나 한정되지 않고, 컨벌루션 신경망을 이용하여 병변의 공간적 특징을 인식하는 단계 및 재귀 신경망을 이용하여 깊이 방향에 따른 병변의 특징을 인식하는 단계를 필수적으로 포함하는 복수의 단계들로 구성될 수 있다.
또한, 이하, 병변 특징 표현 분석 시스템(100)은 전자 기기를 구현하는 컴퓨터와 같은 하드웨어 모듈로 구현되는 것으로 설명하나, 이에 제한되거나 한정되지 않고, 컴퓨터와 결합 가능하도록 비일시적인 매체에 저장된 컴퓨터 프로그램의 형태로 구현될 수 있다.
이 때, 복수의 단면영상들(120)은 하나의 3차원 의료 영상(110)이 깊이 방향에 따라 분할된 영상들로서, 3차원 의료 영상(110) 전체에 대한 깊이 방향에 따라 분할된 영상일 수 있다. 그러나 이에 제한되거나 한정되지 않고, 도면과 같이, 3차원 의료 영상(110) 중 일부분(Volume-Of-Interest; VOI)에 대한 깊이 방향에 따라 분할된 영상일 수도 있다. 따라서, 이하, 복수의 단면영상들(120)이 3차원 의료 영상(110) 중 적어도 일부분이 깊이 방향에 따라 분할된 영상을 의미하는 것으로 설명한다.
이와 같은 병변 특징 표현 분석 방법의 두 단계는 병변 특징 표현 분석 시스템(100)의 두 구성부에 의해 각각 수행될 수 있다.
보다 상세하게, 병변 특징 표현 분석 시스템(100)에 포함되는 컨벌루션 신경망 적용부(130)는 컨벌루션 신경망을 이용하여 복수의 단면영상들(120) 각각의 병변 공간 특징 표현을 추출한다.
여기서, 컨벌루션 신경망은 영상 내 공간적 정보를 이용하여 영상을 분석하고, 영상 내 공간적 특징(Feature)을 추출하는 신경망 기법으로서, 컨벌루션 레이어(Convolution Layer), 맥스폴링 레이어(Pooling Layer) 및 풀리 커넥티드 레이어(Fully Connected Layer)로 설계된다. 이에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
예를 들어, 컨벌루션 신경망 적용부(130)는 아래 표 1과 같은 구조를 갖는 컨벌루션 신경망을 적용함으로써, 복수의 단면영상들(220) 각각의 병변 공간 특징 표현을 추출할 수 있다. 그러나 컨벌루션 신경망은 표 1의 구조에 제한되거나 한정되지 않고, 파라미터(레이어, 입력 형태(Input Shape), 커널 사이즈(Kernel Size), 스트라이드(Stride), 패드(Pad) 또는 출력 형태(Output Shape) 등)의 변형을 통하여 다양한 구조를 가질 수 있다.
| Layer | Input shape | Kernel size | Stride | Pad | Output shape |
| Input | 64x64x1 | - | - | - | 64x64x1 |
| C1 | 64x64x1 | 3x3 | 1 | 1 | 64x64x64 |
| C2 | 64x64x64 | 3x3 | 1 | 1 | 64x64x64 |
| M2 | 64x64x64 | 2x2 | 2 | 0 | 32x32x64 |
| C3 | 32x32x64 | 3x3 | 1 | 1 | 32x32x128 |
| C4 | 32x32x128 | 3x3 | 1 | 1 | 32x32x128 |
| M4 | 32x32x128 | 2x2 | 2 | 0 | 16x16x128 |
| C5 | 16x16x128 | 3x3 | 1 | 1 | 16x16x256 |
| C6 | 16x16x256 | 3x3 | 1 | 1 | 16x16x256 |
| C7 | 16x16x256 | 3x3 | 1 | 1 | 16x16x256 |
| M7 | 16x16x256 | 2x2 | 2 | 0 | 8x8x256 |
| C8 | 8x8x256 | 3x3 | 1 | 1 | 8x8x512 |
| C9 | 8x8x512 | 3x3 | 1 | 1 | 8x8x512 |
| C10 | 8x8x512 | 3x3 | 1 | 1 | 8x8x512 |
| M10 | 8x8x512 | 2x2 | 2 | 0 | 4x4x512 |
| C11 | 4x4x512 | 3x3 | 1 | 1 | 4x4x512 |
| C12 | 4x4x512 | 3x3 | 1 | 1 | 4x4x512 |
| C13 | 4x4x512 | 3x3 | 1 | 1 | 4x4x512 |
| M13 | 4x4x512 | 2x2 | 2 | 0 | 2x2x512 |
| F14 | 2x2x512 | - | - | - | 1024x1 |
| F15 | 1024x1 | - | - | - | 1024x1 |
표 1에서, C, M 및 F는 각각 컨벌루션 레이어, 맥스폴링 레이어 및 풀리 커넥티드 레이어를 의미한다.
이 때, 컨벌루션 신경망 적용부(130)는 복수의 단면영상들(120) 각각에 동일한 가중치를 부여함으로써, 후술되는 병변 특징 표현 분석시스템(100)에 포함되는 재귀 신경망 적용부(140)가 복수의 단면영상들(120)의 깊이 방향에 따른 병변의 깊이 방향 대칭성을 인식하는 과정에서, 복수의 단면영상들(120) 각각의 병변 특징 벡터에 동일한 가중치를 적용하여 고려하도록 할 수 있다.
도면에는, 컨벌루션 신경망 적용부(130)가 깊이 방향에 따라 두 개의 그룹(위-중심 방향 단면영상들을 포함하는 제1 그룹 및 아래-중심 방향 단면영상들을 포함하는 제2 그룹)으로 그룹핑되어, 복수의 단면영상들(120) 각각의 병변 공간 특징 표현을 추출하는 것으로 도시되었으나, 이는, 후술되는 재귀 신경망 적용부(140)가 복수의 단면영상들(120) 각각의 특징 벡터를 인식하는 과정에서, 복수의 단면영상들(120) 각각의 병변 공간 특징 표현을 그룹핑하여 병변의 깊이 방향 대칭성을 인식하기 때문에, 편의상 도면과 같이 도시된 것이다.
즉, 컨벌루션 신경망 적용부(130)는 복수의 단면영상들(120)을 그룹핑하는 대신에, 개별적으로 복수의 단면영상들 각각의 병변 공간 특징 표현을 추출함으로써, 복수의 단면영상들(120) 각각의 병변에 대한 공간적 구조를 인코딩할 수 있다.
재귀 신경망 적용부(140)는 재귀 신경망을 이용하여, 복수의 단면영상들(120)의 깊이 방향에 따라 복수의 단면영상들(120) 각각의 병변 공간 특징 표현을 기초로 복수의 단면영상들(120) 각각의 병변 특징 표현을 추출한다.
다시 말해, 재귀 신경망 적용부(140)는 컨벌루션 신경망 적용부(130)에서 추출한 복수의 단면영상들(120) 각각의 병변 공간 특징 표현을, 재귀 신경망을 이용하여 깊이 방향에 따라 학습함으로써, 공간 및 깊이를 고려하여 복수의 단면영상들(120) 각각의 병변 특징 표현을 추출할 수 있다. 이하, 재귀 신경망 적용부(140)가 이용하는 재귀 신경망 알고리즘으로서, LSTM(Long Short-Term Memory)가 이용되는 것으로 설명하나, 이에 제한되거나 한정되지 않고, Simple RNN(Recurrent Neural Network) 또는GRU(Gated Recurrent Unit) 등이 이용될 수 있다.
여기서, LSTM을 포함하는 재귀 신경망은 데이터를 처리하는 스테이트(State)를 순환적으로 구성함으로써, 이전 스테이트를 기반으로 현재 스테이트를 수행하는 신경망 기법으로서, 이에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
특히, 재귀 신경망 적용부(140)는 복수의 단면영상들(120)의 깊이 방향에 따라 복수의 단면영상들(120) 각각의 병변 공간 특징 표현을 분석하는 과정을 두 단계로 나누어 수행할 수 있다.
예를 들어, 재귀 신경망 적용부(140)는 복수의 단면영상들(120)의 깊이 방향에 기초하여 복수의 단면영상들(120) 각각의 병변 특징 벡터를 인식하는 제1 단계와, 복수의 단면영상들(120) 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들(120) 각각의 병변 특징 표현을 획득하는 제2 단계를 수행할 수 있다. 이하, 복수의 단면영상들(120) 각각의 병변 특징 벡터를 인식한다는 것은 복수의 단면영상들(120) 각각의 병변 공간 특징 표현의 변화를 인식한다는 것을 의미한다.
따라서, 재귀 신경망 적용부(140)는 복수의 단면영상들(120) 각각의 병변의 텍스처 변형을 깊이 방향에 따라 인코딩함으로써, 복수의 단면영상들(120) 각각의 병변 특징 벡터를 인식하는 하위 재귀 신경망 적용부(141) 및 복수의 단면영상들(120) 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들(120)의 깊이 방향 대칭성을 인코딩함으로써, 복수의 단면영상들(120) 각각의 병변 특징 표현을 획득하는 상위 재귀 신경망 적용부(142)로 구성될 수 있다.
이 때, 재귀 신경망 적용부(140)는 복수의 단면영상들(120)의 깊이 방향에 기초하여, 복수의 단면영상들(120) 각각의 병변 공간 특징 표현을 복수의 그룹들(위-중심 방향 단면영상들을 포함하는 제1 그룹 및 아래-중심 방향 단면영상들을 포함하는 제2 그룹)로 그룹핑한 뒤, 그룹 별로 복수의 단면영상들(120) 각각의 병변 특징 벡터를 인식할 수 있다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
이와 같은 재귀 신경망 적용부(140)는 복수의 단면영상들(120) 각각의 병변 특징 표현이 효율적으로 추출되도록 복수의 목적 함수들을 기반으로 학습될 수 있다. 이에 대한 상세한 설명은 도 3a 내지 3c 및 도 6 내지 7을 참조하여 설명하기로 한다.
상술한 바와 같이 복수의 단면영상들(120) 각각의 병변 특징 표현이 추출되면, 재귀 신경망 적용부(140)는 복수의 단면영상들(120) 각각의 병변 특징 표현에 기초하여 복수의 단면영상들(120) 각각의 병변을 분류함으로써, 복수의 단면영상들(120)이 나타내는 병변이 종괴인지 여부를 판단할 수 있다.
예를 들어, 재귀 신경망 적용부(140)는 복수의 단면영상들(120) 각각의 병변 특징 표현을 종괴(Mass) 클래스 또는 위양성(False Positive) 클래스로 분류한 뒤, 복수의 단면영상들(120) 각각의 병변 특징 표현이 종괴 클래스 또는 위양성 클래스 중 어느 클래스에 더 많이 속하는지를 판단함으로써, 해당 병변이 종괴인지 여부를 판단할 수 있다.
이 때, 재귀 신경망 적용부(140)는 다양한 목적 함수들을 최적화시키며 복수의 단면영상들(120) 각각의 병변을 분류함으로써, 병변의 오분류를 최소화하며, 병변 검출 성능을 향상시킬 수 있다. 이에 대한 상세한 설명은 도 3a 내지 3c를 참조하여 설명하기로 한다.
도 2는 일실시예에 따른 병변 특징 표현 분석 방법을 구체적으로 설명하기 위한 개념도이다. 보다 상세하게는, 도 2는 도 1에 도시된 병변 특징 표현 시스템에 포함되는 재귀 신경망 적용부의 동작을 구체적으로 설명하기 위한 개념도이다.
도 2를 참조하면, 일실시예에 따른 병변 특징 표현 분석 시스템(200)에 포함되는 컨벌루션 신경망 적용부(210)에서 컨벌루션 신경망을 이용하여 복수의 단면영상들(220) 각각의 병변 공간 특징 표현을 추출하면, 병변 특징 표현 분석 시스템(200)에 포함되는 재귀 신경망 적용부(230)는 재귀 신경망을 이용하여, 복수의 단면영상들(220)의 깊이 방향에 따라 복수의 단면영상들(220) 각각의 병변 공간 특징 표현을 기초로 복수의 단면영상들(220) 각각의 병변 특징 표현을 추출한다.
이 때, 재귀 신경망 적용부(230)는 복수의 단면영상들(220)의 깊이 방향에 기초하여 복수의 단면영상들(220) 각각의 병변 공간 특징 표현을 그룹핑한 뒤, 그룹 별로 복수의 단면영상들(220) 각각의 병변 특징 벡터를 인식함으로써, 복수의 단면영상들(220) 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들(220) 각각의 병변 특징 표현을 획득할 수 있다.
예를 들어, 재귀 신경망 적용부(230)에 포함되는 제1 하위 재귀 신경망 적용부(231) 및 제2 하위 재귀 신경망 적용부(232)는 복수의 단면영상들(220) 각각의 병변 공간 특징 표현을 위-중심 방향 단면영상들을 포함하는 제1 그룹 및 아래-중심 방향 단면영상들을 포함하는 제2 그룹으로 각각 그룹핑함으로써, 식 1 및 2와 같이, 제1 그룹에 속하는 단면영상들 각각의 병변 특징 벡터를 인식하고, 제2 그룹에 속하는 단면영상들 각각의 병변 특징 벡터를 인식할 수 있다.
<식 1>
<식 2>
식 1 및 2에서, 
은 제1 하위 재귀 신경망 적용부(231)가 적용하는 재귀 신경망 함수를 의미하고, 
은 제2 하위 재귀 신경망 적용부(232)가 적용하는 재귀 신경망 함수를 의미하며, 
는 복수의 단면영상들(220) 중 k번째 단면영상의 병변 공간 특징 표현을 의미하고, 
은 제1 그룹에 속하는 단면영상들 각각의 병변 특징 벡터를 의미하며, 
은 제2 그룹에 속하는 단면영상들 각각의 병변 특징 벡터를 의미하고, 
는 복수의 단면영상들(220)의 개수를 의미한다.
이상, 하위 재귀 신경망 적용부(231, 232)가 두 개의 구성부로 형성되어, 복수의 단면영상들(220) 각각의 병변 공간 특징 표현이 두 개의 그룹으로 그룹핑되는 경우로 설명하였으나, 이에 제한되거나 한정되지 않고, 복수의 단면영상들(220) 각각의 병변 공간 특징 표현을 그룹핑하고자 하는 그룹의 개수에 따라 하위 재귀 신경망 적용부(231, 232)의 구성부의 개수가 결정될 수 있다.
이에, 재귀 신경망 적용부(230)에 포함되는 상위 재귀 신경망 적용부(233)는 식 3과 같이, 제1 하위 재귀 신경망 적용부(231)에서 인식된 제1 그룹에 속하는 단면영상들 각각의 병변 특징 벡터와 제2 하위 재귀 신경망 적용부(232)에서 인식된 제2 그룹에 속하는 단면영상들 각각의 병변 특징 벡터를 융합함으로써, 복수의 단면영상들(220) 각각의 병변의 깊이 방향 대칭성을 인식하고, 복수의 단면영상들(220) 각각의 병변의 깊이 방향 대칭성에 기초하여 복수의 단면영상들(220) 각각의 병변 특징 표현을 획득할 수 있다.
<식 3>
식 3에서, 
은 상위 재귀 신경망 적용부(233)가 적용하는 재귀 신경망 함수를 의미하고, 
은 제1 그룹에 속하는 단면영상들 각각의 병변 특징 벡터를 의미하며, 
은 제2 그룹에 속하는 단면영상들 각각의 병변 특징 벡터를 의미하고, 
는 복수의 단면영상들(220) 각각의 병변 특징 표현을 의미하며, 
는 복수의 단면영상들(220)의 개수를 의미한다.
이 때, 상위 재귀 신경망 적용부(233)는 제1 하위 재귀 신경망 적용부(231)에서 인식된 제1 그룹에 속하는 단면영상들 각각의 병변 특징 벡터와 제2 하위 재귀 신경망 적용부(232)에서 인식된 제2 그룹에 속하는 단면영상들 각각의 병변 특징 벡터를 융합하는 과정에서, 그룹 사이에서 서로 대응되는 단면영상들(제1 그룹에 포함되는 특정 단면영상과 이에 대응하는 제2 그룹에 포함되는 단면영상) 각각의 병변 특징 벡터를 융합할 수 있다.
예를 들어, 상위 재귀 신경망 적용부(233)는 제1 그룹에 포함되는 최상위 단면영상의 병변 특징 벡터와 제2 그룹에 포함되는 최하위 단면영상의 병변 특징 벡터를 융합하고, 제1 그룹에 포함되는 중심 단면영상의 병변 특징 벡터와 제2 그룹에 포함되는 중심 단면영상의 병변 특징 벡터를 융합함으로써, 복수의 단면영상들(220) 각각의 병변 특징 표현을 획득할 수 있다.
이와 같이, 상위 재귀 신경망 적용부(233)는 복수의 단면영상들(220)의 깊이 방향을 고려하여 복수의 단면영상들(220) 각각의 병변 특징 벡터를 융합함으로써, 병변 특징 표현이 공간 및 깊이를 고려하여 추출되도록 할 수 있다.
여기서, 상술한 융합 과정에 의해 획득되는 병변 특징 표현은 복수의 단면영상들(220)의 개수의 절반에 그치게 된다. 그러나, 이러한 병변 특징 표현은 복수의 단면영상들(220) 각각의 병변 특징 벡터가 융합되어 획득되기 때문에, 복수의 단면영상들(220) 각각의 병변이 갖는 특징 표현을 나타낼 수 있다. 따라서, 이하, 상술한 융합 과정에 의해 획득되는 병변 특징 표현을 복수의 단면영상들(220) 각각의 병변 특징 표현으로 기재한다.
또한, 도 1을 참조하여 상술한 바와 같이, 복수의 단면영상들(220) 각각에 동일한 가중치가 부여됨으로써, 상위 재귀 신경망 적용부(233)는 동일한 가중치가 부여된 복수의 단면영상들(220) 각각의 병변 특징 벡터를 융합함으로써, 복수의 단면영상들(220) 각각의 병변의 깊이 방향 대칭성을 인식할 수 있다.
또한, 상위 재귀 신경망 적용부(233)는 복수의 단면영상들(220) 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성과 관련된 목적 함수가 최대화되도록 복수의 단면영상들(220) 각각의 병변 특징 벡터를 융합할 수 있다.
재귀 신경망 적용부(230)이 하위 재귀 신경망 적용부(231, 232) 및 상위 재귀 신경망 적용부(233)로 분할되어 구성되는 경우로 설명하였으나, 이에 제한되거나 한정되지 않고, 하위 재귀 신경망 적용부(231, 232) 및 상위 재귀 신경망 적용부(233) 각각의 동작을 모두 수행하는 하나의 구성부로 형성될 수도 있다.
또한, 복수의 단면영상들(220) 각각의 병변 특징 표현이 획득되면, 재귀 신경망 적용부(230)는 획득된 복수의 단면영상들(220) 각각의 병변 특징 표현에 기초하여 복수의 단면영상들(220) 각각의 병변을 분류할 수 있다. 이러한 경우, 재귀 신경망 적용부(230)는 복수의 단면영상들(220) 각각의 병변을 분류하는 분류 에러와 관련된 목적 함수가 최소화되도록 복수의 단면영상들(220) 각각의 병변을 분류할 수 있다.
또한, 재귀 신경망 적용부(230)는 복수의 단면영상들(220) 각각의 병변을 분류하는 과정에서, 복수의 단면영상들(220) 각각의 병변이 분류되는 클래스 내 분산과 관련된 목적 함수가 최소화되도록 복수의 단면영상들(220) 각각의 병변을 분류할 수도 있다.
이와 같은 목적 함수들에 대한 상세한 설명은 도 3a 내지 3c를 참조하여 기재하기로 한다.
상술한 바와 같은 컨벌루션 신경망 적용부(210) 및 재귀 신경망 적용부(230)의 동작들은 아래 표 2와 같은 구조를 갖는 신경망에 의해 수행될 수 있다. 그러나, 병변 특징 표현 분석 시스템(200)은 표 2의 구조에 제한되거나 한정되지 않고, 파라미터(레이어, 입력 형태, 커널 사이즈, 스트라이드, 패드 또는 출력 형태 등)의 변형을 통하여 다양한 구조를 가질 수 있다.
| Type | Layer | Input shape | Output shape |
| Input | Input |  |
 |
| Slice feature representation | C1~F15 in Table 1 |  |
 |
| Depth directional feature representation | L16 / L'16 |  |
 |
| L17 |  |
 |
|
| F18 |  |
  |
표2에서, Slice feature representation은 컨벌루션 신경망 적용부(210)에 의해 표 1과 같이 수행되어 추출되는 복수의 단면영상들(220) 각각의 병변 공간 특징 표현을 의미하고, Depth directional feature representation은 재귀 신경망 적용부(230)에 의해 추출되는 복수의 단면영상들(220) 각각의 병변 특징 표현을 의미한다. 따라서, L16 및 L16'은 각각 제1 하위 재귀 신경망 적용부(231), 제2 하위 재귀 신경망 적용부(232)를 의미하고, L17은 상위 재귀 신경망 적용부(233)를 의미한다. 또한, F18은 재귀 신경망 적용부(230)에서 복수의 단면영상들(220) 각각의 병변 특징 표현에 기초하여 복수의 단면영상들(220) 각각의 병변을 분류하는 역할을 하는 구성부(도면에는 도시되지 않음)를 의미한다.
도 3a 내지 3c는 일실시예에 따른 재귀 신경망을 학습하는데 이용되는 목적 함수들을 설명하기 위한 도면이다.
도 3a 내지 3c를 참조하면, 일실시예에 따른 병변 특징 표현 분석 시스템은 도 1 내지 2를 참조하여 상술한 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 과정에서 최적화된 재귀 신경망을 이용하기 위하여, 복수의 단면영상들 각각의 병변을 분류하는 분류 에러를 최소화하기 위한 제1 목적 함수, 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성을 최대화하기 위한 제2 목적 함수 또는 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산을 최소화하기 위한 제3 목적 함수 중 적어도 어느 하나를 최적화하도록 재귀 신경망을 미리 학습시킬 수 있다.
이하, 재귀 신경망이 병변 특징 표현 분석 시스템에 의해 학습되는 것으로 설명하나, 병변 특징 표현 분석 시스템과 별도로 구비되는 깊이 방향 재귀 학습 시스템에 의해 학습될 수도 있다. 여기서, 깊이 방향 재귀 학습 시스템은 도 1 내지 2를 참조하여 상술한 병변 특징 표현 분석 시스템의 동작을 기반으로 재귀 신경망을 학습시키도록 병변 특징 표현 분석 시스템과 연동될 수 있다.
구체적으로, 병변 특징 표현 분석 시스템은 도 1 내지 2를 참조하여 상술한 병변 특징 표현을 분석하는 방법을 복수의 학습 샘플 의료 영상들(상기 복수의 학습 샘플 의료 영상들 각각은 복수의 단면영상들을 포함함)에 대해 반복적으로 수행하면서, 제1 목적 함수, 제2 목적 함수 또는 제3 목적 함수 중 적어도 어느 하나를 최적화하도록 재귀 신경망을 학습시킬 수 있다.
예를 들어, 병변 특징 표현 분석 시스템은 도 3a와 같이, i번째 학습 샘플 의료 영상에 포함되는 k'번째 단면영상의 병변이 종괴 클래스 또는 위양성 클래스 중 어느 하나의 클래스로 분류되는 결과 값의 에러를 나타내는 식 4를 통하여 제1 목적 함수
을최소화하도록 재귀 신경망을 학습시킬 수 있다.
<식 4>
식 4에서, 
는 i번째 학습 샘플 의료 영상에 포함되는 k'번째 단면영상의 병변이 분류되는 클래스가 참값 클래스(종괴 클래스)일 확률이다.
다른 예를 들면, 병변 특징 표현 분석 시스템은 도 3b와 같이, 복수의 단면영상들 중 융합될 중심 단면영상들(깊이 방향에 따라 서로 다른 그룹에 그룹핑된 중심 단면영상들) 각각의 병변 특징 벡터 사이의 일치성을 나타내는 식 5를 통하여 제2 목적 함수 
를 최대화하도록 재귀 신경망을 학습시킬 수 있다.
<식 5>
식 5에서, 
및 
은 각각 i번째 학습 샘플 의료 영상에 포함되는 k'번째 단면영상(중심 단면영상)에서 위-중심 방향 단면영상들 각각의 병변 특징 벡터 및 아래-중심 방향 단면영상들 각각의 병변 특징 벡터를 의미하고, 함수 
는 Rectified Linear unit(
의 근사 함수로서, 
로 정의된다.
또 다른 예를 들면, 병변 특징 표현 분석 시스템은 도 3c와 같이, 단면영상들 각각의 병변이 분류되는 클래스 내 분산을 나타내는 식 6을 통하여 제3 목적 함수 
를 최소화하도록 재귀 신경망을 학습시킬 수 있다.
<식 6>
식 6에서, 
는 i번째 학습 샘플 의료 영상에 포함되는 k'번째 단면영상의 병변 특징 표현을 의미하고, 함수 
는 Rectified Linear unit(
의 근사 함수로서, 
로 정의되며, 
는i번째 학습 샘플 의료 영상에서 종괴 클래스(참값 클래스)에 분류된 모든 병변 특징 표현의 평균 벡터를 의미하고, 
은 종괴 클래스와 위양성 클래스 각각의 평균 특징 표현 벡터간 거리의 절반을 의미한다.
이와 같이, 재귀 신경망은 제1 목적 함수, 제2 목적 함수 및 제3 목적 함수를 최적화하도록 학습됨으로써, 병변 특징 표현 분석 시스템이 제1 목적 함수, 제2 목적 함수 및 제3 목적 함수를 최적화하면서 재귀 신경망을 이용하도록 할 수 있다.
예를 들어, 병변 특징 표현 분석 시스템은 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성과 관련된 제2 목적 함수가 최대화되도록 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식할 수 있다.
다른 예를 들면, 병변 특징 표현 분석 시스템은 복수의 단면영상들 각각의 병변을 분류하는 분류 에러와 관련된 제1 목적 함수가 최소화되고, 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산과 관련된 제3 목적 함수가 최소화되도록 복수의 단면영상들 각각의 병변을 분류할 수 있다.
도 4a 내지 4b는 일실시예에 따른 병변 특징 표현 분석 방법을 나타낸 플로우 차트이다.
도 4a를 참조하면, 일실시예에 따른 병변 특징 표현 분석 방법은 병변 특징 표현 분석 시스템에 의해 수행된다.
병변 특징 표현 분석 시스템은 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여, 복수의 단면영상들-복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각의 병변 공간 특징 표현을 추출한다(410).
그 다음, 병변 특징 표현 분석 시스템은 복수의 단면영상들 각각의 병변 공간 특징 표현을 기초로 재귀 신경망(Recurrent Neural Network)을 이용하여, 복수의 단면영상들의 깊이 방향에 따라 복수의 단면영상들 각각의 병변 특징 표현을 추출한다(420).
420 단계를 구체적으로 나타낸 도 4b를 참조하면, 병변 특징 표현 분석 시스템은 420 단계에서, 복수의 단면영상들의 깊이 방향에 기초하여 복수의 단면영상들 각각의 병변 특징 벡터를 인식하고(421), 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들 각각의 병변 특징 표현을 획득함으로써(422), 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 복수의 단면영상들 각각의 병변을 분류할 수 있다(423).
또한, 421 단계에서, 병변 특징 표현 분석 시스템은 복수의 단면영상들의 깊이 방향에 기초하여 복수의 단면영상들 각각의 병변 공간 특징 표현을 그룹핑함으로써, 그룹 별로 복수의 단면영상들 각각의 병변 특징 벡터를 인식할 수 있다.
따라서, 422 단계에서, 병변 특징 표현 분석 시스템은 그룹 사이에서 서로 대응되는 단면영상들 각각의 병변 특징 벡터를 융합하여, 복수의 단면영상들 각각의 병변 특징 표현을 획득할 수 있다.
또한, 422 단계에서, 병변 특징 표현 분석 시스템은 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식함으로써, 인식된 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성에 기초하여 복수의 단면영상들 각각의 병변 특징 표현을 획득할 수 있다.
특히, 420 단계에서 이용되는 재귀 신경망은 복수의 단면영상들 각각의 병변을 분류하는 분류 에러를 최소화하기 위한 제1 목적 함수, 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성을 최대화하기 위한 제2 목적 함수 또는 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산을 최소화하기 위한 제3 목적 함수 중 적어도 어느 하나를 최적화하도록 420 단계 이전에 미리 학습될 수 있다.
따라서, 422 단계에서, 병변 특징 표현 분석 시스템은 제2 목적 함수가 최대화되도록 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식할 수 있다.
또한, 432 단계에서, 병변 특징 표현 분석 시스템은 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 제1 목적 함수가 최소화되도록 복수의 단면영상들 각각의 병변을 분류하거나, 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 제3 목적 함수가 최소화되도록 복수의 단면영상들 각각의 병변을 분류할 수 있다.
도 5는 일실시예에 따른 병변 특징 표현 분석 시스템을 나타낸 블록도이다.
도 5를 참조하면, 도 5를 참조하면, 일실시예에 따른 병변 특징 표현 분석 시스템은 컨벌루션 신경망 적용부(510) 및 재귀 신경망 적용부(520)를 포함한다.
컨벌루션 신경망 적용부(510)는 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여, 복수의 단면영상들-복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각의 병변 공간 특징 표현을 추출한다.
재귀 신경망 적용부(520)는 복수의 단면영상들 각각의 병변 공간 특징 표현을 기초로 재귀 신경망(Recurrent Neural Network)을 이용하여, 복수의 단면영상들의 깊이 방향에 따라 복수의 단면영상들 각각의 병변 특징 표현을 추출한다.
구체적으로, 재귀 신경망 적용부(520)는 복수의 단면영상들의 깊이 방향에 기초하여 복수의 단면영상들 각각의 병변 특징 벡터를 인식하고, 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들 각각의 병변 특징 표현을 획득함으로써, 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 복수의 단면영상들 각각의 병변을 분류할 수 있다.
이 때, 재귀 신경망 적용부(520)는 복수의 단면영상들의 깊이 방향에 기초하여 복수의 단면영상들 각각의 병변 공간 특징 표현을 그룹핑함으로써, 그룹 별로 복수의 단면영상들 각각의 병변 특징 벡터를 인식할 수 있다.
따라서, 재귀 신경망 적용부(520)는 그룹 사이에서 서로 대응되는 단면영상들 각각의 병변 특징 벡터를 융합하여, 복수의 단면영상들 각각의 병변 특징 표현을 획득할 수 있다.
또한, 재귀 신경망 적용부(520)는 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식함으로써, 인식된 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성에 기초하여 복수의 단면영상들 각각의 병변 특징 표현을 획득할 수 있다.
특히, 재귀 신경망 적용부(520)에 의해 이용되는 재귀 신경망은 복수의 단면영상들 각각의 병변을 분류하는 분류 에러를 최소화하기 위한 제1 목적 함수, 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성을 최대화하기 위한 제2 목적 함수 또는 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산을 최소화하기 위한 제3 목적 함수 중 적어도 어느 하나를 최적화하도록 420 단계 이전에 미리 학습될 수 있다.
이와 같이 재귀 신경망을 학습시키는 것은 재귀 신경망 적용부(520)에 의해 수행될 수 있다. 그러나 이에 제한되거나 한정되지 않고, 별도의 구성부에 의해 수행될 수도 있다. 이에 대한 상세한 설명은 도 6 내지 7을 참조하여 기재하기로 한다.
따라서, 재귀 신경망 적용부(520)는 제2 목적 함수가 최대화되도록 복수의 단면영상들 각각의 병변 특징 벡터를 융합하여 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식할 수 있다.
또한, 재귀 신경망 적용부(520)는 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 제1 목적 함수가 최소화되도록 복수의 단면영상들 각각의 병변을 분류하거나, 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 제3 목적 함수가 최소화되도록 복수의 단면영상들 각각의 병변을 분류할 수 있다.
도 6은 일실시예에 따른 깊이 방향 재귀 학습 방법을 나타낸 플로우 차트이다.
도 6을 참조하면, 일실시예에 따른 깊이 방향 재귀 학습 방법은 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여 복수의 단면영상들-복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각에서 추출된 병변 공간 특징 표현을 기초로 복수의 단면영상들 각각의 병변 특징 표현을 추출하는데 이용된다.
이에, 깊이 방향 재귀 학습 방법은 도 1 내지 5를 참조하여 설명한 병변 특징 표현 분석 방법을 복수의 학습 샘플 의료 영상들에 대해 반복적으로 수행함으로써, 목적 함수들을 최적화하여 재귀 신경망을 학습할 수 있다. 따라서, 깊이 방향 재귀 학습 방법은 도 1 내지 5를 참조하여 설명한 병변 특징 표현 분석 방법을 기반으로 수행된다. 즉, 후술되는 610 단계 내지 630 단계는 도 4를 참조하여 기재된 병변 특징 표현 분석 방법의 각 단계들을 수행한 이후, 또는 그 도중에 순서에 상관없이 적응적으로 수행될 수 있다.
이하, 깊이 방향 재귀 학습 방법은 깊이 방향 재귀 학습 시스템에 의해 수행되는 것으로 설명하나, 이에 제한되거나 한정되지 않고, 병변 특징 표현 분석 방법을 수행하는 병변 특징 표현 분석 시스템에 의해 수행될 수도 있다.
깊이 방향 재귀 학습 시스템은 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 복수의 단면영상들 각각의 병변을 분류하는 분류 에러를 최소화하기 위한 제1 목적 함수를 최적화하도록 재귀 신경망(Recurrent Neural Network)을 학습한다(610).
그 다음, 깊이 방향 재귀 학습 시스템은 복수의 단면영상들 각각의 병변 특징 표현을 추출하기 위하여 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성을 최대화하기 위한 제2 목적 함수를 최적화하도록 재귀 신경망을 학습한다(620).
그 후, 깊이 방향 재귀 학습 시스템은 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산을 최소화하기 위한 제3 목적 함수를 최적화하도록 재귀 신경망을 학습한다(630).
도 7은 일실시예에 따른 깊이 방향 재귀 학습 시스템을 나타낸 블록도이다.
도 7을 참조하면, 일실시예에 따른 깊이 방향 재귀 학습 시스템은 제1 목적 함수 최적화부(710), 제2 목적 함수 최적화부(720) 및 제3 목적 함수 최적화부(730)를 포함한다. 여기서, 제1 목적 함수 최적화부(710), 제2 목적 함수 최적화부(720) 및 제3 목적 함수 최적화부(730)는 도 5를 참조하여 기재된 병변 특징 표현 분석 시스템의 각 구성부와 연동되어 동작할 수 있다.
제1 목적 함수 최적화부(710)는 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 복수의 단면영상들 각각의 병변을 분류하는 분류 에러를 최소화하기 위한 제1 목적 함수를 최적화하도록 재귀 신경망(Recurrent Neural Network)을 학습한다.
제2 목적 함수 최적화부(720)는 복수의 단면영상들 각각의 병변 특징 표현을 추출하기 위하여 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성을 최대화하기 위한 제2 목적 함수를 최적화하도록 재귀 신경망을 학습한다.
제3 목적 함수 최적화부(730)는 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산을 최소화하기 위한 제3 목적 함수를 최적화하도록 재귀 신경망을 학습한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (16)
- 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법에 있어서,
컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여, 복수의 단면영상들-상기 복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각의 병변 공간 특징 표현을 추출하는 단계; 및
상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 기초로 재귀 신경망(Recurrent Neural Network)을 이용하여, 상기 복수의 단면영상들의 깊이 방향에 따라 상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 단계
를 포함하 고,
상기 재귀 신경망은
상기 복수의 단면영상들 각각의 병변을 분류하는 분류 에러와 관련된 제1 목적 함수를 최소화하고, 상기 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성과 관련된 제2 목적 함수를 최대화하며, 상기 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산과 관련된 제3 목적 함수를 최소화하도록 학습되며,
상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 단계는
상기 복수의 단면영상들의 깊이 방향에 기초하여 상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 그룹핑하는 단계;
상기 그룹 별로 상기 복수의 단면영상들 각각의 병변 특징 벡터를 인식하는 단계;
상기 제2 목적 함수가 최대화되도록 상기 그룹 사이에서 서로 대응되는 단면영상들 각각의 병변 특징 벡터를 융합하여, 상기 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식하는 단계;
상기 인식된 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성에 기초하여 상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하는 단계; 및
상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 제1 목적 함수 및 제3 목적 함수가 최소화되도록 상기 복수의 단면영상들 각각의 병변을 분류하는 단계
를 포함하는병변 특징 표현 분석 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여 복수의 단면영상들-상기 복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각에서 추출된 병변 공간 특징 표현을 기초로 상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는데 이용되는 깊이 방향 재귀 학습 방법에 있어서,
상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 복수의 단면영상들 각각의 병변을 분류하는 분류 에러와 관련된 제1 목적 함수를 최소화하도록 재귀 신경망(Recurrent Neural Network)을 학습하는 단계;
상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하기 위하여 상기 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성과 관련된 한 제2 목적 함수를 최대화하도록 상기 재귀 신경망을 학습하는 단계; 및
상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산과 관련된 제3 목적 함수를 최소화하도록 상기 재귀 신경망을 학습하는 단계
를 포함하는 깊이 방향 재귀 학습 방법. - 전자 기기를 구현하는 컴퓨터와 결합하여, 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 병변 특징 표현 분석 방법은
컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여, 복수의 단면영상들-상기 복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각의 병변 공간 특징 표현을 추출하는 단계; 및
상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 기초로 재귀 신경망(Recurrent Neural Network)을 이용하여, 상기 복수의 단면영상들의 깊이 방향에 따라 상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 단계
를 포함하고,
상기 재귀 신경망은
상기 복수의 단면영상들 각각의 병변을 분류하는 분류 에러와 관련된 제1 목적 함수를 최소화하고, 상기 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성과 관련된 제2 목적 함수를 최대화하며, 상기 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산과 관련된 제3 목적 함수를 최소화하도록 학습되며,
상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 단계는
상기 복수의 단면영상들의 깊이 방향에 기초하여 상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 그룹핑하는 단계;
상기 그룹 별로 상기 복수의 단면영상들 각각의 병변 특징 벡터를 인식하는 단계;
상기 제2 목적 함수가 최대화되도록 상기 그룹 사이에서 서로 대응되는 단면영상들 각각의 병변 특징 벡터를 융합하여, 상기 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식하는 단계;
상기 인식된 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성에 기초하여 상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하는 단계; 및
상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 제1 목적 함수 및 제3 목적 함수가 최소화되도록 상기 복수의 단면영상들 각각의 병변을 분류하는 단계
를 포함하는 컴퓨터 프로그램. - 삭제
- 삭제
- 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 시스템에 있어서,
컨벌루션 신경망(Convolution Neural Network; CNN)을 이용하여, 복수의 단면영상들-상기 복수의 단면영상들은 병변을 촬영한 하나의 3차원 의료 영상에 포함됨- 각각의 병변 공간 특징 표현을 추출하는 컨벌루션 신경망 적용부; 및
상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 기초로 재귀 신경망(Recurrent Neural Network)을 이용하여, 상기 복수의 단면영상들의 깊이 방향에 따라 상기 복수의 단면영상들 각각의 병변 특징 표현을 추출하는 재귀 신경망 적용부
를 포함하고,
상기 재귀 신경망은
상기 복수의 단면영상들 각각의 병변을 분류하는 분류 에러와 관련된 제1 목적 함수를 최소화하고, 상기 복수의 단면영상들 중 융합될 중심 단면영상들 각각의 병변 특징 벡터 사이의 일치성과 관련된 제2 목적 함수를 최대화하며, 상기 복수의 단면영상들 각각의 병변이 분류되는 클래스 내 분산과 관련된 제3 목적 함수를 최소화하도록 학습되며,
상기 재귀 신경망 적용부는
상기 복수의 단면영상들의 깊이 방향에 기초하여 상기 복수의 단면영상들 각각의 병변 공간 특징 표현을 그룹핑하고, 상기 그룹 별로 상기 복수의 단면영상들 각각의 병변 특징 벡터를 인식하며, 상기 제2 목적 함수가 최대화되도록 상기 그룹 사이에서 서로 대응되는 단면영상들 각각의 병변 특징 벡터를 융합하여, 상기 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성을 인식하고, 상기 인식된 복수의 단면영상들 각각의 병변의 깊이 방향 대칭성에 기초하여 상기 복수의 단면영상들 각각의 병변 특징 표현을 획득하며, 상기 복수의 단면영상들 각각의 병변 특징 표현에 기초하여 상기 제1 목적 함수 및 제3 목적 함수가 최소화되도록 상기 복수의 단면영상들 각각의 병변을 분류하는 병변 특징 표현 분석 시스템. - 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20160106355 | 2016-08-22 | ||
| KR1020160106355 | 2016-08-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180021635A KR20180021635A (ko) | 2018-03-05 |
| KR101980955B1 true KR101980955B1 (ko) | 2019-05-21 |
Family
ID=61726770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170014827A KR101980955B1 (ko) | 2016-08-22 | 2017-02-02 | 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101980955B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021248187A1 (en) * | 2020-06-09 | 2021-12-16 | Annalise-Ai Pty Ltd | Systems and methods for automated analysis of medical images |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3803687A4 (en) * | 2018-05-27 | 2022-03-23 | Elucid Bioimaging Inc. | METHODS AND SYSTEMS FOR USING QUANTITATIVE IMAGING |
| KR102162895B1 (ko) * | 2018-06-04 | 2020-10-07 | 주식회사 딥바이오 | 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법 |
| KR102172213B1 (ko) * | 2018-06-04 | 2020-10-30 | 주식회사 딥바이오 | 투 페이스 질병 진단 시스템 및 그 방법 |
| KR102224597B1 (ko) * | 2018-06-08 | 2021-03-08 | 연세대학교 산학협력단 | 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법 |
| KR102180569B1 (ko) | 2018-08-08 | 2020-11-18 | 부산대학교 산학협력단 | 기계 학습을 통한 격자간섭계에서의 민감도 및 해상도 향상을 위한 장치 |
| WO2020060196A1 (ko) * | 2018-09-18 | 2020-03-26 | 서울대학교산학협력단 | 3차원 영상 재구성 장치 및 그 방법 |
| WO2020106631A1 (en) * | 2018-11-20 | 2020-05-28 | Arterys Inc. | Machine learning-based automated abnormality detection in medical images and presentation thereof |
| KR102056989B1 (ko) * | 2018-12-24 | 2020-02-11 | (주)제이엘케이인스펙션 | 머신러닝 기반의 gre 영상을 활용한 혈전 분류 방법 및 시스템 |
| KR102021515B1 (ko) * | 2018-12-27 | 2019-09-16 | (주)제이엘케이인스펙션 | 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법 |
| KR102281968B1 (ko) * | 2019-01-14 | 2021-07-27 | 주식회사 에이아이인사이트 | 안저영상 자동판독을 위한 딥러닝 아키텍처 시스템 및 딥러닝 아키텍쳐 시스템을 이용한 안저영상 자동판독 방법 |
| WO2020149518A1 (ko) * | 2019-01-14 | 2020-07-23 | 주식회사 에이아이인사이트 | 안저영상 자동판독을 위한 딥러닝 아키텍처 시스템 및 딥러닝 아키텍쳐 시스템을 이용한 안저영상 자동판독 방법 |
| CN109887595A (zh) * | 2019-01-16 | 2019-06-14 | 成都蓝景信息技术有限公司 | 基于深度学习技术的心搏异常识别算法 |
| KR102152423B1 (ko) | 2019-02-18 | 2020-09-04 | 부산대학교 산학협력단 | 개인맞춤형 임플란트 식립 가이드 제작을 위한 장치 및 방법 |
| KR102241312B1 (ko) * | 2019-02-20 | 2021-04-16 | 주식회사 메디픽셀 | 머신러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법 |
| KR102041906B1 (ko) * | 2019-03-06 | 2019-11-07 | 주식회사 에프앤디파트너스 | 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진 |
| WO2021141187A1 (ko) * | 2020-01-08 | 2021-07-15 | 주식회사 에프앤디파트너스 | 피부 이미지 기반의 피부질환 판별 장치 |
| KR102180922B1 (ko) * | 2020-04-13 | 2020-11-19 | 주식회사 룰루랩 | 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스 |
| KR102460257B1 (ko) * | 2020-07-03 | 2022-10-28 | 주식회사 뷰노 | 진단 결과를 제공하기 위한 방법 및 장치 |
| KR102568310B1 (ko) * | 2021-04-27 | 2023-08-21 | (주)에프에이솔루션 | 영상을 분석하는 방법 |
| KR102522734B1 (ko) * | 2021-07-26 | 2023-04-17 | 고려대학교 산학협력단 | 3차원 의료 영상 분석을 위한 자가학습 기반 전이 학습 방법 및 그 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101623431B1 (ko) * | 2015-08-06 | 2016-05-23 | 주식회사 루닛 | 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템 |
-
2017
- 2017-02-02 KR KR1020170014827A patent/KR101980955B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101623431B1 (ko) * | 2015-08-06 | 2016-05-23 | 주식회사 루닛 | 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| Hao Chen 외 6명. Automatic Fetal Ultrasound Standard Plane Detection Using Knowledge Transferred Recurrent Neural Networks, Springer International Publishing Switzerland, 2015, pp. 507-514* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021248187A1 (en) * | 2020-06-09 | 2021-12-16 | Annalise-Ai Pty Ltd | Systems and methods for automated analysis of medical images |
| US11646119B2 (en) | 2020-06-09 | 2023-05-09 | Annalise AI Pty Ltd | Systems and methods for automated analysis of medical images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180021635A (ko) | 2018-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101980955B1 (ko) | 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템 | |
| Saraiva et al. | Classification of Images of Childhood Pneumonia using Convolutional Neural Networks. | |
| JP6993371B2 (ja) | ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法 | |
| Guan et al. | Breast cancer detection using transfer learning in convolutional neural networks | |
| US9536316B2 (en) | Apparatus and method for lesion segmentation and detection in medical images | |
| KR101938992B1 (ko) | 진단 이유 설명이 생성되는 cad 시스템 및 그 방법 | |
| WO2019051411A1 (en) | METHOD AND SYSTEMS FOR ANALYSIS OF MEDICAL IMAGE DATA BY AUTOMATIC LEARNING | |
| Sun et al. | Attention-embedded complementary-stream CNN for false positive reduction in pulmonary nodule detection | |
| Chagas et al. | A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system | |
| Ahmed et al. | Automated pulmonary nodule classification and detection using deep learning architectures | |
| Liu et al. | Accurate and robust pulmonary nodule detection by 3D feature pyramid network with self-supervised feature learning | |
| Yang et al. | A multi-stage progressive learning strategy for COVID-19 diagnosis using chest computed tomography with imbalanced data | |
| Nazia Fathima et al. | Diagnosis of Osteoporosis using modified U-net architecture with attention unit in DEXA and X-ray images | |
| Nazir et al. | Machine Learning-Based Lung Cancer Detection Using Multiview Image Registration and Fusion | |
| CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
| US20220301154A1 (en) | Medical image analysis using navigation processing | |
| Sangeetha et al. | Diagnosis of Pneumonia using Image Recognition Techniques | |
| JP2023516651A (ja) | 訓練データにおける欠落したアノテーションに対処するためのクラス別損失関数 | |
| Ngo et al. | Slice-level detection of intracranial hemorrhage on ct using deep descriptors of adjacent slices | |
| Agrawal et al. | ReSE‐Net: Enhanced UNet architecture for lung segmentation in chest radiography images | |
| Kanawade et al. | A Deep Learning Approach for Pneumonia Detection from X− ray Images | |
| Kadhim et al. | Computer-aided diagnostic system kinds and pulmonary nodule detection efficacy | |
| US11282193B2 (en) | Systems and methods for tumor characterization | |
| US20220378395A1 (en) | Image-processing method and apparatus for object detection or identification | |
| Gomathi et al. | An Efficient Hybrid Clustering and Feature Extraction Techniques for Brain Tumor Classification. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |