KR102150853B1 - 암 영역에 대한 딥러닝 모델 학습 장치 및 방법 - Google Patents

암 영역에 대한 딥러닝 모델 학습 장치 및 방법 Download PDF

Info

Publication number
KR102150853B1
KR102150853B1 KR1020190126446A KR20190126446A KR102150853B1 KR 102150853 B1 KR102150853 B1 KR 102150853B1 KR 1020190126446 A KR1020190126446 A KR 1020190126446A KR 20190126446 A KR20190126446 A KR 20190126446A KR 102150853 B1 KR102150853 B1 KR 102150853B1
Authority
KR
South Korea
Prior art keywords
image
mri
region
learning model
unit
Prior art date
Application number
KR1020190126446A
Other languages
English (en)
Other versions
KR20200041813A (ko
Inventor
김원태
강신욱
이명재
김동민
장진성
Original Assignee
(주)제이엘케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이 filed Critical (주)제이엘케이
Publication of KR20200041813A publication Critical patent/KR20200041813A/ko
Application granted granted Critical
Publication of KR102150853B1 publication Critical patent/KR102150853B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G06T2207/10092—Diffusion tensor magnetic resonance imaging [DTI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G06T2207/10096—Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

본 개시의 일 양상에 따른 딥러닝 모델 학습 장치가 제공될 수 있다. 상기 딥러닝 모델 학습 장치는 진단 영역에 대응되는 영상을 입력하되, 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력하고, 상기 적어도 하나의 파라메트릭 MRI를 사용하여 동영상 MRI를 구성하고 이를 제공하는 파라메트릭 MRI 입력부와, 상기 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI 및 상기 동영상 MRI를 입력으로 하고, 암 영역을 라벨링한 정보에 기초하여, 딥러닝 모델을 학습하는 암 검출모델 학습부와, 상기 암 영역의 라벨링에 기여하는 적어도 하나의 참조정보를 제공하는 라벨링 참조정보 제공부와, 상기 적어도 하나의 참조정보에 기초하여 입력되는 상기 암 영역을 확인하고, 상기 확인된 암 영역의 라벨링을 처리하는 라벨링 처리부를 포함할 수 있다.

Description

암 영역에 대한 딥러닝 모델 학습 장치 및 방법{APPARATUS FOR LEARNING DEEP LEARNING MODEL FOR CANCER REGION AND METHOD FOR THE SAME}
본 개시는 딥러닝 모델 학습 기술에 관한 것이며, 보다 구체적으로는 영상 정보 분석을 기반으로 특정 신체 영역에서 암 영역을 학습하는 방법 및 장치에 대한 것이다.
딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.
한편, 영상 인식과 관련하여 딥러닝을 이용한 종래의 영상 분석 기술은 합성곱 신경망(Convolutional Neural Network, CNN)과 최대 풀링(max pooling)기법을 이용하여 영상의 각 영역마다 국소적인 특징을 추출하고 이를 바탕으로 영상을 인식한다. 그러나, 이러한 방법은 실제 영상의 내용은 상이하지만 국소적인 정보 형태가 유사한 영상에 대해서는 정확한 인식 결과를 제공하지 못하는 문제가 있다.
대한민국 등록공보 제10-1818074호
한편, 사용자 또는 환자의 신체를 촬영한 자기공명영상(MRI; Magnetic Resonance Imaging)에 다양한 파라미터를 적용하여 다양한 영상, 즉, 파라메트릭 MRI를 재구성할 수 있다. 이러한 파라메트릭 MRI는 신체의 변화나, 질병을 나타내는 중요한 요소로 사용될 수 있다.
그러나, 특정 질병에 대하여 사용자 또는 환자의 상태는 다양하게 나타날 수 있으며, 또한, 질병 역시 다양한 특성이나 형태를 나타낼 수 있다. 따라서, 파라메트릭 MRI가 나타내는 정보가 신체의 변화나, 질병과의 상관관계를 정형화하기 어려운 문제가 있다.
본 개시의 기술적 과제는 영상의 국소적인 특징 및 전역적인 맥락에 기초하여 다양한 파라메트릭 MRI와 특정 질병 사이의 관계를 학습하는 방법 및 장치에 대한 것이다.
본 개시의 다른 기술적 과제는 진단 영역에 대한 파라메트릭 MRI를 기반으로 암이 발생되는 영역을 학습하는 방법 및 장치에 대한 것이다.
본 개시의 또 다른 기술적 과제는 진단 영역에 대한 파라메트릭 MRI와 참조정보를 기반으로 암이 발생되는 영역을 학습하는 방법 및 장치에 대한 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 암 영역에 대한 딥러닝 모델 학습 장치가 제공될 수 있다. 상기 장치는 진단 영역에 대응되는 영상을 입력하되, 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력하고, 상기 적어도 하나의 파라메트릭 MRI를 사용하여 동영상 MRI를 구성하고 이를 제공하는 파라메트릭 MRI 입력부와, 상기 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI 및 상기 동영상 MRI를 입력으로 하고, 암 영역을 라벨링한 정보에 기초하여, 딥러닝 모델을 학습하는 암 검출모델 학습부와, 상기 암 영역의 라벨링에 기여하는 적어도 하나의 참조정보를 제공하는 라벨링 참조정보 제공부와, 상기 적어도 하나의 참조정보에 기초하여 입력되는 상기 암 영역을 확인하고, 상기 확인된 암 영역의 라벨링을 처리하는 라벨링 처리부를 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 영상의 국소적인 특징 및 전역적인 맥락에 기초하여 다양한 파라메트릭 MRI와 특정 질병 사이의 관계를 학습하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 진단 영역에 대한 파라메트릭 MRI를 기반으로 암이 발생되는 영역을 학습하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 진단 영역에 대한 파라메트릭 MRI와 참조정보를 기반으로 암이 발생되는 영역을 학습하는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 구성을 나타내는 블록도이다.
도 2a 내지 도 2g는 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 동작에 의해 처리되는 정보를 예시하는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치에 구비되는 암 검출모델 학습부의 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 5는 다채널 특징맵을 생성하는 합성곱 신경망의 일 실시 예를 설명하기 위한 도면이다.
도 6은 풀링 기법의 일 실시 예를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 딥러닝 모델 학습 방법의 순서를 도시하는 흐름도이다.
도 8은 본 개시의 다른 실시예에 따른 딥러닝 모델 학습 방법의 순서를 도시하는 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 딥러닝 모델 학습 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 딥러닝 모델 학습 장치(10)는 암 검출모델 학습부(11), 파라메트릭 MRI 입력부(13), 라벨링 참조정보 제공부(15), 및 라벨링 처리부(17)를 포함할 수 있다.
우선, 암 검출모델 학습부(11)는 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법에 기초하여, 암 검출모델의 학습을 수행할 수 있다. 특히, 암 검출모델 학습부(11)가 암 검출모델의 학습을 수행하기 위해서 분석 대상 영상을 입력받을 수 있으며, 분석 대상 영상에 포함된 특정 객체 또는 특정 영역을 암 영역으로 입력받는 동작, 즉, 라벨링(Labeling) 동작을 수행할 수 있다.
그리고, 암 검출모델 학습부(11)는 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성함으로써, 암 검출모델을 학습할 수 있다. 그리고, 암 검출모델 학습부(11)는 암 검출모델의 학습을 반복적으로 수행하여 암 검출모델(100)을 구축할 수 있다.
암 검출모델 학습부(11)는 분석 대상 영상으로서 MRI 영상을 입력받을 수 있는데, 이러한 분석 대상 영상의 입력은 파라메트릭 MRI 입력부(13)에 의해 처리될 수 있다. 파라메트릭 MRI 입력부(13)는 사용자의 신체를 자기공명영상(MRI; Magnetic Resonance Imaging) 촬영 장치에 의해 촬영된 영상, 즉, MRI를 암 검출모델 학습부(11)에 제공할 수 있다.
나아가, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다.
이에 기초하여, 파라메트릭 MRI 입력부(13)는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI를 암 검출모델 학습부(11)에 제공할 수 있다. 여기서, 적어도 하나의 파라메트릭 MRI는 T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR (Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 등을 포함할 수 있다.
나아가, 암 검출모델 학습부(11)는 사용자(또는 환자)의 신체에 마련된 다양한 신체 기관 또는 진단 영역에 대한 암 검출모델을 학습할 수 있는데, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 적어도 하나의 파라메트릭 MRI가 선택적으로 사용할 수 있다. 이를 위해, 파라메트릭 MRI 입력부(13)는 신체 기관 또는 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 선택적으로 암 검출모델 학습부(11)에 입력할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 파라메트릭 MRI 입력부(13)는 T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상 등을 입력할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 파라메트릭 MRI 입력부(13)는 STIR 영상, T1 영상, T1 with Agents 영상, T2 영상 등을 입력할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 파라메트릭 MRI 입력부(13)는 T1 영상, T2 영상, FLAIR 등을 입력할 수 있다.
또한, 파라메트릭 MRI 입력부(13)는 MRI를 암 검출모델 학습부(11)에 제공한 파라메트릭 MRI를 디스플레이 등을 통해 표시할 수 있다.
추가적으로, 파라메트릭 MRI 입력부(13)는 사용자의 진단 영역이 위치한 신체를 촬영한 MRI를 기준으로 한 파라메트릭 MRI(이하, '원본 파라메트릭 MRI'라 함)를 입력받을 수 있으며, 원본 파라메트릭 MRI로부터 진단 영역을 추출한 파라메트릭 MRI(이하, '진단 영역의 파라메트릭 MRI'라 함)를 검출할 수 있다. 그리고, 진단 영역의 파라메트릭 MRI를 암 검출모델 학습부(11)에 제공하거나, 디스플레이 등을 통해 표시할 수 있다.
파라메트릭 MRI 입력부(13)가 원본 파라메트릭 MRI로부터 진단 영역의 파라메트릭 MRI를 추출하는 동작은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 수행할 수 있다. 예를 들어, 파라메트릭 MRI 입력부(13)는 원본 파라메트릭 MRI를 입력으로 하고, 진단 영역의 파라메트릭 MRI를 출력으로 하는 학습을 통해 소정의 학습모델을 구축할 수 있다. 그리고, 파라메트릭 MRI 입력부(13)는 원본 파라메트릭 MRI가 입력됨에 따라, 진단 영역의 파라메트릭 MRI를 검출하여 출력할 수 있다.
한편, 라벨링 참조정보 제공부(15)는 상기 암 영역의 라벨링 처리에 기여하는 정보를 제공할 수 있다.
사용자(또는 환자)의 진단 영역을 수술을 통하여 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상(Pathology image)을 구성할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 병리 영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다. 예컨대, 병리영상은 추출된 진단 영역의 암이 존재하는 영역을 지도화한 병리지도(pathology map)를 이미지 형태로 구성한 영상을 포함할 수 있다.
나아가, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타내는 DWI(Diffusion-weighted imaging)를 확인하고, 이를 디스플레이 등을 통해 표시할 수 있다. 여기서, DWI는 MRI 촬영 장치로부터 제공받거나, MRI 촬영 장치로부터 제공받은 MRI를 가공하여 획득할 수 있다.
마찬가지로, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직이나, 조직의 특성을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, 확인된 DCE 신호정보를 제공할 수 있는 환경을 구축할 수 있다. 예컨대, 라벨링 처리부(17)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 표시하면서, 사용자에 의해 지정되는 영역을 표시하는 표시자를 제공할 수 있으며, 사용자에 의해 선택되는 영역을 암 영역으로 설정할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(15)는 라벨링 처리부(17)에 의해 생성 및 표시되는 상기 표시자가 지시하는 영역에 대한 DCE 신호정보를 확인하고, 확인된 DCE 신호정보를 디스플레이 등을 통해 표시할 수 있다.
라벨링 참조정보 제공부(15)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 디스플레이 등을 통해 표시할 수 있다.
다른 예로서, 라벨링 참조정보 제공부(15)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 순차적으로 선택하여 표시할 수 있다. 특히, 라벨링 참조정보 제공부(15)는 라벨링 처리부(17)와 연동하여 병리영상, DWI, 및 DCE 신호정보를 순차적으로 선택하여 표시할 수 있다. 예를 들어, 라벨링 참조정보 제공부(15)는 T2 영상, ADC 영상과 함께 병리영상을 디스플레이할 수 있다. 그리고, 병리영상이 디스플레이되는 상태에서, 라벨링 처리부(17)에 의해 1차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(15)는 T2 영상, ADC 영상과 함께 DWI를 디스플레이할 수 있다. 또한, DWI가 디스플레이되는 상태에서, 라벨링 처리부(17)에 의해 2차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(15)는 표시자가 지시하는 영역을 확인하고, 해당 영역에 대응되는 DCE 신호정보를 확인하여 표시할 수 있다.
본 개시의 일 실시예에서, 라벨링 참조정보 제공부(15)가 적어도 하나의 참조정보를 순차적으로 제공하는 것을 예시하면서, 적어도 하나의 참조정보를 병리영상, DWI, DCE 신호정보 등으로 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다. 또한, 라벨링 참조정보 제공부(15)가 제공하는 적어도 하나의 참조정보의 순서 역시 다양하게 변경될 수 있음은 물론이다.
나아가, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보(즉, 참조정보)는 다양하게 변경될 수 있다. 이에 따라, 라벨링 참조정보 제공부(15)는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 라벨링 참조정보 제공부(15)는 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 참조정보로서 제공할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 라벨링 참조정보 제공부(15)는 T1 Contrast 영상, T2 Contrast 영상 등을 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 라벨링 참조정보 제공부(15)는 FDG-PET, SPECT 등을 참조정보로서 제공할 수 있다.
한편, 라벨링 처리부(17)는 전술한 바와 같이, 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 제공하면서, 암 검출모델 학습부(11)가 암 검출모델을 학습하기 위한 출력값을 지정하는 동작, 즉 라벨링을 수행할 수 있는 환경을 제공할 수 있다.
구체적으로, 라벨링 처리부(17)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 디스플레이에 출력하고, 출력되는 적어도 하나의 파라메트릭 MRI(예, T2 영상)에서 암이 존재하는 영역, 즉 암 영역을 입력받을 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 라벨링 처리부(17)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 소정의 표시자를 출력하고, 외부 입력장치를 통해 선택되는 영역을 전립선 암 영역으로 설정할 수 있다.
이하, 도 1, 도 2a 내지 도 2e를 참조하여, 전술한 딥러닝 모델 학습 장치의 동작을 설명한다.
본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 동작 설명에서, 진단 영역은 전립선 영역으로 예시하고, 진단 영역에 존재하는 암은 전립선 암으로 예시하고, 암이 존재하는 영역은 전립선 암 영역으로 예시한다.
도 2a 내지 도 2e는 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치의 동작에 의해 처리되는 정보를 예시하는 도면이다.
우선, 파라메트릭 MRI 입력부(13)는 적어도 하나의 파라메트릭 MRI를 암 검출모델 학습부(11)에 제공할 수 있다. 여기서, 적어도 하나의 파라메트릭 MRI는, MRI에 다양한 파라미터를 적용하여 재구성한 영상으로서, T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상, DWI(Diffusion-weighted imaging) 등을 포함할 수 있다.
파라메트릭 MRI 입력부(13)는 원본 파라메트릭 MRI(201, 202, 도 2a 참조)를 입력받을 수 있으며, 원본 파라메트릭 MRI(201, 202)로부터 전립선 영역을 추출한 파라메트릭 MRI, 즉, 전립선 영역의 파라메트릭 MRI(203, 204)를 검출할 수 있다. 그리고, 파라메트릭 MRI 입력부(13)는 전립선 영역의 파라메트릭 MRI(203, 204)를 암 검출모델 학습부(11)에 제공할 수 있다.
파라메트릭 MRI 입력부(13)는 전립선 영역의 파라메트릭 MRI(203, 204)를 제공하는 화면(200, 도 2b 참조)을 디스플레이할 수 있다.
한편, 사용자(또는 환자)의 전립선을 추출하고, 추출된 전립선에서 암 조직이 존재하는 영역을 가시화한 병리영상을 구성할 수 있는데, 라벨링 참조정보 제공부(15)는 이러한 병리영상을 입력받을 수 있는 환경을 제공할 수 있다. 그리고, 라벨링 참조정보 제공부(15)는 입력받은 병리영상(205)을 화면(200)의 일 영역을 통해 디스플레이할 수 있다.
그리고, 라벨링 처리부(17)는 파라메트릭 MRI 입력부(13)가 제공하는 전립선 영역의 파라메트릭 MRI(203, 204)와, 라벨링 참조정보 제공부(15)가 제공하는 병리영상(205)을 표시하는 화면의 일 영역에 라벨링을 수행할 수 있는 사용자 인터페이스(210)를 제공할 수 있다.
상기 사용자 인터페이스(210)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)(211)를 포함할 수 있다. 또한, 상기 사용자 인터페이스(210)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(212)를 포함할 수 있다. 또한, 라벨링 처리부(17)는 표시자(212)를 통해 선택되는 소정의 영역을 전립선 암 영역으로 설정할 수 있으며, 사용자 인터페이스(210)는 전립선 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자(213)를 포함할 수 있다.
사용자 인터페이스(210)를 통해 전립선 암 영역이 설정되면, 라벨링 처리부(17)는 라벨링된 영역을 암 검출모델 학습부(11)에 제공한다. 이에 따라, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, 라벨링된 영역을 출력으로 하여 전립선 암 검출모델을 학습할 수 있다.
나아가, MRI는 다양한 파라미터를 포함할 수 있는데, T2 영상이나, ADC 영상 등은 2차원 형태의 영상로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다.
한편, MRI에 기초하여 획득되는 영상 중, DWI(Diffusion-weighted imaging)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타낼 수 있으므로, T2 영상이나, ADC 영상 등에 표시되지 않는 정보를 표현할 수 있다. 이를 고려하여, 파라메트릭 MRI 입력부(13)가 입력하는 파라메트릭 MRI는 DWI를 포함할 수 있다. 마찬가지로, 파라메트릭 MRI 입력부(13)가 입력하는 파라메트릭 MRI는 DCE(Dynamic Contrast Enhanced)-MRI를 더 포함할 수 있다.
또한, 라벨링 참조정보 제공부(15)는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, DCE 신호정보(207)를 화면(200)의 일 영역을 통해 디스플레이할 수도 있다. DCE 신호정보(207)는 해당 기관의 밝기를 확인하는 정보로서 MRI에 기초하여 획득되는 영상으로부터 소정의 영역을 선택하고, 선택된 영역에 대한 밝기 정보를 나타내는 정보일 수 있다. 따라서, 라벨링 참조정보 제공부(15)는 라벨링 처리부(17)와 연동되어 선택된 영역을 확인하고, 이에 대응되는 DCE 신호정보(207)를 표시할 수 있다.
다른 예로서, 라벨링 참조정보 제공부(15)는 병리영상(205), DWI(206), 및 DCE 신호정보(207)를 순차적으로 제공할 수 있다.
추가적으로, 라벨링 참조정보 제공부(15)는 참조정보로서 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 제공할 수도 있다.
라벨링 참조정보 제공부(15)는 병리영상(205)을 제공하고, 라벨링 처리부(17)가 병리영상(205)을 기반으로 한 라벨링 처리를 수행하면, DWI(206)를 제공할 수 있다. 이후, 라벨링 처리부(17)가 DWI(206)를 기반으로 한 라벨링 처리를 완료하면, DCE 신호정보(207)를 제공할 수 있다.
좀 더 구체적으로, 전술한 바와 같이, 라벨링 참조정보 제공부(15)가 제1화면(220, 도 2c 참조)을 통해 전립선 영역의 파라메트릭 MRI(203, 204)와 병리영상(205)을 제공하고, 라벨링 처리부(17)가 제1사용자 인터페이스(230)를 통해 선택되는 영역을 암 영역으로 설정함으로써, 병리영상(205)을 기반으로 한 라벨링 처리를 수행할 수 있다.
그리고, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로하고, 병리영상(205)을 기반으로 라벨링된 영역을 출력으로 하여 암 검출모델(100)을 학습할 수 있다.
나아가, 전립선 영역 등과 같은 진단 영역은 3차원 형태로 이루어지므로, 진단 영역의 3차원 구조에서 병변이 나타나는 특성을 검출하는 것이 암 검출모델(100)의 성능을 높일 수 있다. 또한, 진단 영역 내에서의 변화, 예컨대, 조직의 물의 확산, 조영제의 증가 등을 진단의 지표로 사용할 경우, 좀 더 정확한 진단이 가능하다. 전술한 바를 고려하여, 파라메트릭 MRI 입력부(13)는 DWI, DCE 등을 입력할 수 있는데, 진단 영역의 3차원 구조, 또는 진단 영역 내에서의 변화가 나타나도록, 동영상의 형태로 구성하여 입력할 수 있다. 이에 대응하여, 암 검출모델 학습부(11)는 정지 영상 형태의 파라메트릭 MRI와 동영상 형태의 파라메트릭 MRI를 모두 사용하여 암 검출모델(100)의 학습을 수행할 수 있다. 암 검출모델 학습부(11)가 암 검출모델(100)을 학습하는 동작은 하기의 도 3, 도 4, 도 7 및 이와 관련된 설명을 통해 상세히 설명한다.
이후, 라벨링 참조정보 제공부(15)는 제2화면(240, 도 2d 참조)을 통해 전립선 영역의 파라메트릭 MRI(203, 204)와 DWI(206)를 디스플레이 할 수 있다. 그리고, 라벨링 처리부(17)는 파라메트릭 MRI 입력부(13)가 제공하는 전립선 영역의 파라메트릭 MRI(203, 204)와, 라벨링 참조정보 제공부(15)가 제공하는 DWI(206)를 표시하는 화면(240)의 일 영역에 라벨링을 수행할 수 있는 제2사용자 인터페이스(250)를 제공할 수 있다. 여기서, 제2사용자 인터페이스(250)는 전술한 제1사용자 인터페이스(230)와 마찬가지로, 적어도 하나의 파라메트릭 MRI(예, T2 영상)(251), 표시자(252), 라벨링 지시자(253)를 포함할 수 있다.
이러한 환경에서, 라벨링 처리부(17)는 제2사용자 인터페이스(250)를 통해 선택되는 영역을 전립선 암 영역으로 설정함으로써, DWI(206)를 기반으로 한 라벨링 처리를 수행할 수 있다. 그리고, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, DWI(206)를 기반으로 라벨링된 영역을 출력으로 하여 전립선 암 검출모델을 학습할 수 있다.
추가적으로, 암 검출모델 학습부(11)는 병리영상(205)을 기반으로 라벨링된 전립선 암 영역을 입력으로서 처리할 수도 있다.
또한, 라벨링 참조정보 제공부(15)는 제3화면(260, 도 2e 참조)을 통해 전립선 영역의 파라메트릭 MRI(203, 204)와 DCE 신호정보(207)를 디스플레이 할 수 있다. 그리고, 라벨링 처리부(17)는 파라메트릭 MRI 입력부(13)가 제공하는 전립선 영역의 파라메트릭 MRI(203, 204)와, 라벨링 참조정보 제공부(15)가 제공하는 DCE 신호정보(207)를 표시하는 화면(260)의 일 영역에 라벨링을 수행할 수 있는 제3사용자 인터페이스(270)를 제공할 수 있다. 여기서, 제3사용자 인터페이스(270)는 전술한 제1사용자 인터페이스(230)와 마찬가지로, 적어도 하나의 파라메트릭 MRI(예, T2 영상)(271), 표시자(272), 라벨링 지시자(273) 등을 포함할 수 있다.
이러한 환경에서, 라벨링 처리부(17)는 제3사용자 인터페이스(270)를 통해 선택되는 영역을 전립선 암 영역으로 설정함으로써, DCE 신호정보(207)를 기반으로 한 라벨링 처리를 수행할 수 있다. 그리고, 암 검출모델 학습부(11)는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로하고, DCE 신호정보(207)를 기반으로 라벨링된 영역을 출력으로 하여 전립선 암 검출모델을 학습할 수 있다.
추가적으로, 암 검출모델 학습부(11)는 DWI(206)를 기반으로 라벨링된 전립선 암 영역을 입력으로서 처리할 수도 있다.
본 개시의 일 실시예에서, 라벨링 참조정보 제공부(15)가 병리영상(205), DWI(206), 및 DCE 신호정보(207) 순서로 참조정보를 제공하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 라벨링 참조정보 제공부(15)가 참조정보를 제공하는 순서는 다양하게 변경될 수 있다.
또한, 본 개시의 일 실시예에서, 라벨링 참조정보 제공부(15)가 제공하는 참조정보를 병리영상(205), DWI(206), DCE 신호정보(207) 등으로 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 라벨링 참조정보 제공부(15)가 제공하는 참조정보는 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다.
또한, 본 개시의 일 실시예에서, 암 검출모델 학습부(11)가 상기 적어도 하나의 파라메트릭 MRI를 기본적인 입력으로 하여 딥러닝 모델을 학습하는 것을 예시하였다. 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있음은 물론이다. 예컨대, 암 검출모델 학습부(11)는 DWI 및 DCE 신호정보 중 적어도 하나를 입력으로서 사용할 수 있다. 즉, 암 검출모델 학습부(11)는 적어도 하나의 파라메트릭 MRI 및 DWI에 기초한 라벨링 정보를 사용하여 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 DWI를 입력으로서 사용할 수 있다. 마찬가지로, 암 검출모델 학습부(11)는 적어도 하나의 파라메트릭 MRI 및 DCE 신호정보에 기초한 라벨링 정보를 사용하여 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 DCE 신호정보를 입력으로서 사용할 수 있다.
추가적으로, 암 검출모델 학습부(11)는 적어도 하나의 파라메트릭 MRI 및 병리정보에 기초한 라벨링 정보를 사용하여 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 병리정보를 입력으로서 사용할 수도 있다.
비록, 본 개시의 실시예에서 진단 영역을 전립선 영역으로 예시하고 암이 존재하는 영역은 전립선 암 영역으로 예시하고 있으나, 본 개시가 이를 한정하는 것은 아니며, 다른 진단 영역에 다양하게 변경하여 적용할 수 있음은 물론이다.
예컨대, 도 2f 및 도 2g에 예시되는 바와 같이, 진단 영역을 간이 존재하는 영역으로 적용할 수 있으며, 암이 존재하는 영역은 간암 영역으로 적용할 수 있다. 이에 따라, 암 검출모델 학습부(11)는 간이 존재하는 영역 또는 간암 영역을 고려하여 동작할 수 있다.
구체적으로, 파라메트릭 MRI 입력부(13)는 적어도 하나의 파라메트릭 MRI로서 STIR (Short TI inversion recovery) 영상, T1(T1-weighted) 영상, T1 with Agents 영상 등의 원본 파라메트릭 MRI(281, 282, 283, 284, 도 2f 참조)로부터 간 영역을 추출한 파라메트릭 MRI, 즉, 간 영역의 파라메트릭 MRI(285, 286, 287, 288)를 검출 및 제공할 수 있다.
라벨링 처리부(17)는 라벨링 참조정보 제공부(15)가 제공하는 참조정보(예, T1 Contrast, T2 Contrast 등)에 기초하여 선택되는 영역을 간암 영역으로 설정함으로써, 참조정보를 기반으로 한 라벨링 처리를 수행할 수 있다. 그리고, 암 검출모델 학습부(11)는 간 영역의 파라메트릭 MRI(285, 286, 287, 288)를 입력으로 하고, 참조정보를 기반으로 라벨링된 영역(291, 292, 293, 294, 도 2g 참조)을 출력으로 하여 간암 검출모델을 학습할 수 있다.
또 다른 예로서, 진단 영역을 뇌가 존재하는 영역으로 적용할 수 있으며, 암이 존재하는 영역은 뇌암 영역으로 적용할 수 있다. 이에 따라, 암 검출모델 학습부(11)는 뇌가 존재하는 영역 또는 뇌암 영역을 고려하여 동작할 수 있다. 즉, 파라메트릭 MRI 입력부(13)는 적어도 하나의 파라메트릭 MRI로서 T1, T2, FLAIR 영상 등의 원본 파라메트릭 MRI로부터 뇌 영역을 추출한 파라메트릭 MRI, 즉, 뇌 영역의 파라메트릭 MRI를 검출 및 제공할 수 있다. 그리고, 라벨링 처리부(17)는 라벨링 참조정보 제공부(15)가 제공하는 참조정보(예, FDG-PET, SPECT 등)에 기초하여 선택되는 영역을 뇌암 영역으로 설정함으로써, 참조정보를 기반으로 한 라벨링 처리를 수행할 수 있다. 이러한 동작을 통해, 암 검출모델 학습부(11)는 뇌 영역의 파라메트릭 MRI를 입력으로 하고, 참조정보를 기반으로 라벨링된 영역을 출력으로 하여 뇌암 검출모델을 학습할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치에 구비되는 파라메트릭 MRI 입력부 및 암 검출모델 학습부의 세부 구성을 나타내는 블록도이다.
도 3을 참조하면, 파라메트릭 MRI 입력부(30)는 파라메트릭 MRI 제공부(31) 및 동영상 MRI 구성부(33)를 포함할 수 있다. 파라메트릭 MRI 제공부(31)는 정지 영상 형태의 파라메트릭 MRI, 예컨대, T1, T2, ADC, DWI 영상 등을 확인하여 암 검출모델 학습부(35)에 제공할 수 있다. 그리고, 동영상 MRI 구성부(33)는 시간적인 변화가 발생되는 파라메트릭 MRI(예컨대, DWI, DCE 등)에 대해서 동영상 형태로 구성하여 제공할 수 있다. 구체적으로, 동영상 MRI 구성부(33)는 조직 안에 있는 물분자의 미세적인 운동성을 이용하여 세포의 배열 상태를 나타내는 DWI를 미리 정해진 시간단위마다 연속적으로 촬영하고, 연속적으로 촬영된 DWI를 조합하여 DWI 동영상을 구성할 수 있다. 다른 예로서, 동영상 MRI 구성부(33)는 조영제 주입 후 조영증강도의 변화를 측정하여 조직의 혈류상태를 평가하는 DCE를 미리 정해진 시간단위마다 연속적으로 촬영하고, 연속적으로 촬영된 DCE를 조합하여 DCE 동영상을 구성할 수 있다.
암 검출모델 학습부(35)는 이미지 기반 MRI 학습부(36) 및 학습모델 보정부(37)를 포함할 수 있다. 우선, 이미지 기반 MRI 학습부(36)는 이미지 형태의 파라메트릭 MRI에 대한 학습을 수행하여 암 검출모델에 대한 학습을 수행할 수 있다. 이때, 이미지 기반 MRI 학습부(36)는 파라메트릭 MRI 제공부(31)가 제공하는 적어도 하나의 파라메트릭 MRI에, 합성곱 신경망(CNN) 기법 또는 풀링(pooling) 기법을 적용하여 암 검출모델의 기본 레이어를 구축할 수 있다. 이때, 사용되는 파라메트릭 MRI는 다양하게 변경될 수 있다. 이미지 기반 MRI 학습부(36)를 통해 암 검출모델의 기본 레이어가 구축된 후, 학습모델 보정부(37)는 동영상 MRI 구성부(33)가 제공하는 동영상 MRI를 사용하여 암 검출모델의 확장 레이어를 구축함으로써, 암 검출모델에 대한 보정을 수행할 수 있다. 예를 들어, 학습모델 보정부(37)는 동영상 MRI에 구비된 각각의 프레임에 대한 공간적 특성을 검출한 후, 각 프레임의 시간적 배열에 따른 특성을 검출하도록 확장 레이어를 구축할 수 있다. 이때, 각각의 프레임에 대한 공간적 특성은 합성곱 신경망(CNN) 기법 또는 풀링(pooling) 기법에 기초하여 구축될 수 있으며, 각 프레임의 시간적 배열에 따른 특성은 순환 신경망(RNN; Recurrent Neural Nerwork) 학습 방식에 기초하여 구축될 수 있다.
나아가, 학습모델 보정부(37)는 복수의 확장 레이어를 단계적으로 구축하도록 구성될 수 있다. 예를 들어, 학습모델 보정부(37)는 제1보정부(37a) 및 제2보정부(37b)를 포함할 수 있다. 제1보정부(37a)는 제1동영상 MRI를 사용하여 암 검출모델의 제1확장 레이어를 구축하도록 구성되며, 제2보정부(37b)는 제2동영상 MRI를 사용하여 암 검출모델의 제2확장 레이어를 구축하도록 구성될 수 있다. 이에 따라, 암 검출모델은 기본 레이어(401), 제1확장 레이어(402), 및 제2확장 레이어(403)가 순차적으로 연결될 수 있도록 구성될 수 있다. 나아가, 제1동영상 MRI 및 제2동영상은 각각 다른 종류의 동영상 MRI일 수 있다. 예컨대, 제1동영상 MRI는 연속적으로 촬영된 DWI를 조합하여 구성된 DWI 동영상일 수 있으며, 제2동영상은 연속적으로 촬영된 DCE를 조합하여 구성된 DCE 동영상일 수 있다.
도 5는 도 3의 이미지 기반 MRI 학습부의 상세 구성을 예시하는 도면이다.
도 5를 참조하면, 암 검출모델 학습부(50)는 특징 추출부(51), 맥락 생성부(52), 특징 및 맥락 분석부(53)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 암 검출모델 학습부(50)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.
암 검출모델 학습부(50)는 분석 대상 영상의 특징을 추출하고, 추출된 특징에 기초하여 맥락 정보를 생성하고, 추출된 특징 및 생성된 맥락 정보에 기초하여 분석 대상 영상을 분석할 수 있다. 예컨대, 암 검출모델 학습부(50)는 추출된 특징 및 생성된 맥락 정보를 이용하여 영상을 분류하거나 관심 객체의 위치를 찾아낼 수 있다.
암 검출모델 학습부(50)의 입력 영상은 적어도 하나의 파라메트릭 MRI일 수 있다. 상기 적어도 하나의 파라메트릭 MRI(예, T2 영상, ADC 영상 등)은 MRI로부터 소정의 파라미터에 기초하여 재구성된 원본(raw) 이미지이거나 상기 원본 이미지를 저장 또는 전송하기 위한 임의의 형태(포맷)의 이미지일 수 있다.
특징 추출부(51)는 입력 영상을 분석하여 영상의 특징을 추출할 수 있다. 예컨대, 상기 특징은 영상의 각 영역마다의 국소적인 특징일 수 있다. 일 실시 예에 따른 특징 추출부(51)는 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 입력 영상의 특징을 추출할 수 있다. 상기 풀링 기법은 맥스(max) 풀링 기법 및 평균(average) 풀링 기법 중 적어도 하나를 포함할 수 있다. 그러나, 본 개시에서 언급되는 풀링 기법은 맥스 풀링 기법 또는 평균 풀링 기법에 한정되지 않으며, 소정 크기의 영상 영역의 대표값을 획득하는 임의의 기법을 포함한다. 예컨대, 풀링 기법에 사용되는 대표값은 최대값 및 평균값 외에, 분산값, 표준 편차값, 중간값(mean value), 최빈값(most frequent value), 최소값, 가중 평균값 등 중 적어도 하나일 수 있다.
본 개시의 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 "특징들(features)"을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 눈, 코 등과 같은 점진적으로 더 복잡한 특징들을 추출할 수 있다.
합성곱 신경망은 컨볼루션 연산이 수행되는 합성곱 계층 외에도 풀링 연산이 수행되는 풀링 계층도 포함할 수 있다. 풀링 기법은 풀링 계층에서 데이터의 공간적 크기를 축소하는데 사용되는 기법이다. 구체적으로, 풀링 기법에는 해당 영역에서 최대값을 선택하는 맥스 풀링(max pooling) 기법과 해당 영역의 평균값을 선택하는 평균 풀링(average pooling) 기법이 있으며, 이미지 인식 분야에서는 일반적으로 맥스 풀링 기법이 사용된다. 풀링 기법에서는 일반적으로 풀링의 윈도우 크기와 간격(스트라이드, stride)을 같은 값으로 설정한다. 여기서, 스트라이드란 입력 데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 의미하며, 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용될 수 있다. 풀링 기법의 구체적인 동작에 대해서는 도 6을 참고하여 후술한다.
본 개시의 일 실시 예에 따른 특징 추출부(51)는 분석 대상 영상의 특징을 추출하기 위한 전처리(pre-processing)로서, 분석 대상 영상에 필터링을 적용할 수 있다. 상기 필터링은 고속 푸리에 변환(Fast Fourier Transform, FFT), 히스토그램 평활화(histogram equalization), 모션 아티팩트(motion artifact) 제거 또는 노이즈(noise) 제거 등일 수 있다. 그러나, 본 개시의 필터링은 상기 열거한 방법으로 제한되지 않으며, 영상의 품질을 개선할 수 있는 모든 형태의 필터링을 포함할 수 있다.
맥락 생성부(52)는 특징 추출부(51)로부터 추출된 입력 영상의 특징을 이용하여 입력 영상(분석 대상 영상)의 맥락 정보를 생성할 수 있다. 예컨대, 상기 맥락 정보는 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값일 수 있다. 또한 상기 맥락 정보는 입력 영상의 전역적인 맥락 정보일 수 있다. 일 실시 예에 따른 맥락 생성부(52)는 합성곱 신경망 기법 또는 풀링 기법을 특징 추출부(51)로부터 추출된 특징에 적용하여 맥락 정보를 생성할 수 있다. 상기 풀링 기법은 예컨대, 평균 풀링(average pooling) 기법일 수 있다.
특징 및 맥락 분석부(53)는 특징 추출부(51)에서 추출된 특징 및 맥락 생성부(52)에서 생성된 맥락 정보에 기초하여 영상을 분석할 수 있다. 일 실시예에 따른 특징 및 맥락 분석부(53)는 특징 추출부(51)에서 추출된 영상의 각 영역마다의 국소적인 특징 및 맥락 생성부(52)에서 재구성된 전역적인 맥락을 결합(concatenate)하는 등의 방식으로 함께 사용하여, 입력 영상을 분류하거나 입력 영상에 포함된 관심 객체의 위치 등을 찾는데 이용할 수 있다. 입력 영상 내 특정 2차원 위치에서의 정보는 국소적인 특징 정보뿐만 아니라 전역적인 맥락 정보까지 포함하게 되므로, 특징 및 맥락 분석부(53)는 이들 정보를 이용함으로써, 실제 내용은 상이하지만 국소적인 특징 정보가 유사한 입력 영상들에 대해 보다 정확한 인식 또는 분류 등이 가능하게 된다.
전술한 바와 같이, 본 개시의 일 실시 예에 따른 발명은, 일반적인 합성곱 신경망 기법이 사용하는 국소적인 특징뿐만 아니라 전역적인 맥락 정보를 함께 사용함으로써, 보다 더 정확하고 효율적인 학습 및 영상 분석이 가능하게 된다. 이러한 관점에서 본 개시에 따른 발명을 '맥락 분석을 통한 심층 신경망'이라 할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 6을 참조하면, 특징 추출부(51)는 입력 영상(601)을 이용하여 입력 영상(601)으로부터 특징을 추출하고, 추출된 특징 정보를 포함하는 특징 영상(602)을 생성할 수 있다. 상기 추출된 특징은 입력 영상의 국소 영역에 대한 특징일 수 있다. 상기 입력 영상(601)은 영상 분석 장치의 입력 영상 또는 합성곱 신경망 모델 내의 각 계층에서의 특징맵을 포함할 수 있다. 또한 상기 특징 영상(602)은 입력 영상(601)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 획득된 특징맵 및/또는 특징 벡터를 포함할 수 있다.
맥락 생성부(52)는 특징 추출부(51)에서 추출된 특징 영상(602)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 맥락 정보를 생성할 수 있다. 예컨대, 맥락 생성부(52)는 풀링의 간격(stride)을 다양하게 조절함으로써 영상 전체, 4등분 영역, 9등분 영역 등의 다양한 크기(scale)의 맥락 정보를 생성할 수 있다. 도 6을 참조하면, 영상 전체 크기의 영상에 대한 맥락 정보를 포함하는 전체 맥락 정보 영상(611), 영상 전체를 4등분한 크기의 4등분 영상에 대한 맥락 정보를 포함하는 4등분 맥락 정보 영상(612) 및 영상 전체를 9등분한 크기의 9등분 영상에 대한 맥락 정보를 포함하는 9등분 맥락 정보 영상(613)이 획득될 수 있다.
특징 및 맥락 분석부(53)는 상기 특징 영상(602)과 상기 맥락 정보 영상(611, 612, 613)을 모두 이용하여 분석 대상 영상의 특정 영역에 대한 분석을 보다 정확히 수행할 수 있다.
예컨대, 전립선 암과 유사한 형태를 갖는 양성종양이 포함된 영상이 입력 영상인 경우, 특징 추출부(51)가 추출한 국소적인 특징을 포함하는 특징 영상(602)으로부터는 상기 식별된 객체가 전립선 암인지 양성종양인지 정확히 판단할 수 없다. 즉, 특징 추출부(51)는 국소적인 특징에 기초하여 객체의 형상을 인식할 수 있으나, 해당 객체의 형상만 가지고는 정확히 객체를 식별하고 분류할 수 없는 경우가 있다.
본 개시의 일 실시 예에 따른 맥락 생성부(52)는 상기 분석 대상 영상 또는 상기 특징 영상(602)에 기초하여 맥락 정보(411, 412, 413)를 생성함으로써, 보다 정확히 객체를 식별하고 분류할 수 있다.
본 개시의 일 실시 예에 따른 특징 및 맥락 분석부(53)는 상기 맥락 정보를 활용함으로써, 상기 전립선 암 또는 양성종양의 형상을 갖는 객체를 "전립선 암"으로 식별할 수 있다.
도 6을 참조하여 설명한 실시 예에서는 전체 영상에 대한 맥락 정보, 4등분 영상에 대한 맥락 정보, 9등분 영상에 대한 맥락 정보를 생성하고 활용하는 것에 대해 설명하였으나, 맥락 정보를 추출하는 영상의 크기는 이에 한정되지 않는다. 예컨대, 전술한 크기의 영상 이외의 크기를 갖는 영상에 대한 맥락 정보를 생성하고 활용할 수도 있다.
도 7은 도 3의 학습모델 보정부의 상세 구성을 예시하는 도면이다.
학습모델 보정부(70)는 공간 특성 학습부(71) 및 프레임 특성 학습부(72)를 포함할 수 있다.
공간 특성 학습부(71)는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn) 각각에 대한 학습을 수행하여 공간 특성 학습모델을 구축할 수 있으며, 바람직하게 CNN(Convolutional Neural Networks) 학습 방식에 기초하여 공간 특성 학습모델을 구축할 수 있다.
공간 특성 학습부(71)의 공간 특성 학습모델의 구축시 이미지 프레임(F1, F2, ... Fn)에 대응되는 시간 또는 배열 순서에 대한 정보를 고려할 수 있다. 예컨대, 공간 특성 학습모델에는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 CNN이 구비될 수 있으며, 공간 특성 학습부(71)는 제1이미지 프레임(F1)을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)을 제n CNN의 입력으로 전달하도록 구성할 수 있다.
이에 대응하여, 공간 특성 학습모델(71)에 구비되는 복수의 CNN은 복수의 이미지 프레임(F1, F2, ... Fn) 각각에 대응되는 복수의 공간 특성을 출력할 수 있으며, 공간 특성 학습부(71)는 전술한 복수의 공간 특성을 순차적으로 배열하여 시퀀셜한 데이터로 구성할 수 있다. 이때, 공간 특성 학습부(71)는 이미지 프레임(F1, F2, ... Fn)에 대응되는 시간 또는 배열 순서에 대한 정보를 고려하여 직렬화된(Sequential) 데이터를 구성할 수 있다.
한편, 프레임 특성 학습부(72)는 직렬화된 데이터로 구성된 복수의 공간 특성을 입력받고, 이미지 프레임 사이의 관계에 대한 특성(즉, 프레임 특성)을 검출하는 학습을 수행할 수 있다. 바람직하게, 프레임 특성 학습부(72)는 순환 신경망(RNN; Recurrent Neural Nerwork) 학습 방식에 기초하여 프레임 특성 학습모델을 구축할 수 있다.
순환 신경망(RNN)은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥 러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.
한편, 공간 특성 정보는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn)으로부터 추출된 정보이므로, 프레임 특성 학습부(72)는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn)의 시간적 정보를 확인하고, 확인된 시간적 정보에 기초하여, 공간 특성 정보에 대한 프레임 특성 학습을 처리할 수 있다. 공간 특성 정보는 프레임 특성 학습모델(72)에 순차적으로 입력될 수 있으며, 프레임 특성 학습모델은 프레임 특성(700-1, 700-2, 700-n)을 순차적으로 출력할 수 있다.
도 8은 본 개시의 일 실시예에 따른 딥러닝 모델 학습 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시예에 따른 딥러닝 모델 학습 방법은 전술한 딥러닝 모델 학습 장치에 의해 수행될 수 있다.
S801 단계에서, 딥러닝 모델 학습 장치는 적어도 하나의 파라메트릭 MRI를 제공할 수 있다. 사용자의 신체를 자기공명영상(MRI; Magnetic Resonance Imaging) 촬영 장치에 의해 촬영된 영상, 즉, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다. 여기서, 적어도 하나의 파라메트릭 MRI는 T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR(Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 등을 포함할 수 있다.
나아가, 딥러닝 모델 학습 장치는 사용자(또는 환자)의 신체에 마련된 다양한 신체 기관 또는 진단 영역에 대한 암 검출모델을 학습할 수 있는데, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 적어도 하나의 파라메트릭 MRI가 선택적으로 사용할 수 있다. 이를 위해, 딥러닝 모델 학습 장치는 신체 기관 또는 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 선택적으로 딥러닝 모델에 입력할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 딥러닝 모델 학습 장치는 T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상 등을 입력할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 딥러닝 모델 학습 장치는 TIR 영상, T1 영상, T1 with Agents 영상, T2 영상 등을 입력할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 딥러닝 모델 학습 장치는 T1 영상, T2 영상, FLAIR 등을 입력할 수 있다.
나아가, 적어도 하나의 파라메트릭 MRI는 진단 영역에 대응되는 영역을 추출한 영상일 수 있다. 구체적으로, 딥러닝 모델 학습 장치는 원본 파라메트릭 MRI(201, 202, 도 2a 참조)를 입력받을 수 있으며, 원본 파라메트릭 MRI(201, 202)로부터 진단 영역을 추출한 파라메트릭 MRI, 즉, 진단 영역의 파라메트릭 MRI(203, 204)를 검출할 수 있다. 그리고, 딥러닝 모델 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)를 제공할 수 있다.
이때, 딥러닝 모델 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)를 딥러닝 모델의 학습을 위한 입력으로서 제공할 수 있다. 그리고, 딥러닝 모델 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)를 제공하는 화면(200, 도 2b 참조)을 구성하여 디스플레이 등을 통해 출력할 수 있다.
S802 단계에서, 딥러닝 모델 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)에서 암이 위치한 영역을 지정하는데 참조할 수 있는 정보(이하, '참조정보'라 함)를 제공할 수 있다.
예를 들어, 사용자(또는 환자)의 진단 영역을 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상(Pathology image)를 구성할 수 있는데, 딥러닝 모델 학습 장치는 이러한 병리영상을 입력받을 수 있는 환경을 제공할 수 있다. 그리고, 딥러닝 모델 학습 장치는 입력받은 병리영상(205)을 화면(200)의 일 영역을 통해 디스플레이할 수 있다.
MRI는 다양한 파라미터를 포함할 수 있는데, T2 영상이나, ADC 영상 등은 2차원 형태의 영상로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 한편, MRI에 기초하여 획득되는 영상 중, DWI(Diffusion-weighted imaging)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타낼 수 있으므로, T2 영상이나, ADC 영상 등에 표시되지 않는 정보를 표현할 수 있다. 이를 고려하여, 딥러닝 모델 학습 장치는 DWI(206)를 화면(200)의 일 영역을 통해 더 디스플레이할 수 있다.
나아가, 딥러닝 모델 학습 장치는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, DCE 신호정보(207)를 화면(200)의 일 영역을 통해 더 디스플레이할 수도 있다. DCE 신호정보(207)는 해당 기관의 밝기를 확인하는 정보로서 MRI에 기초하여 획득되는 영상으로부터 소정의 영역을 선택하고, 선택된 영역에 대한 밝기 정보를 나타내는 정보일 수 있다. 따라서, 딥러닝 모델 학습 장치는 사용자 인터페이스를 통해, 사용자에 의해 선택되는 영역을 확인하고, 이에 대응되는 DCE 신호정보(207)를 표시할 수 있다.
나아가, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보는 다양하게 변경될 수 있다. 이에 따라, 딥러닝 모델 학습 장치는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 딥러닝 모델 학습 장치는 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 참조정보로서 제공할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 딥러닝 모델 학습 장치는 T1 Contrast 영상, T2 Contrast 영상 등을 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 딥러닝 모델 학습 장치는 FDG-PET, SPECT 등을 참조정보로서 제공할 수 있다.
S803 단계에서, 딥러닝 모델 학습 장치는 참조정보(병리영상(205), DWI(206), DCE 신호정보(207) 등)를 표시하면서, 라벨링을 수행할 수 있는 사용자 인터페이스(210)를 제공할 수 있다. 상기 사용자 인터페이스(210)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)(211)를 포함할 수 있다. 또한, 상기 사용자 인터페이스(210)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(212)를 포함할 수 있다. 또한, 딥러닝 모델 학습 장치는 표시자(212)를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 사용자 인터페이스(210)는 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자(213)를 포함할 수 있다.
사용자 인터페이스(210)를 통해 암 영역이 설정되면, 딥러닝 모델 학습 장치는 전립선 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, 라벨링된 영역을 출력으로 하여 암 검출모델의 기본 레이어에 대한 학습을 수행할 수 있다(S804).
이후, S805 단계에서, 딥러닝 모델 학습 장치는 적어도 하나의 동영상 MRI를 제공할 수 있다. 이때, 적어도 하나의 동영상 MRI는 조직 안에 있는 물분자의 미세적인 운동성을 이용하여 세포의 배열 상태를 나타내는 DWI를 미리 정해진 시간단위마다 연속적으로 촬영하여 구성한 DWI 동영상, 및 조영제 주입 후 조영증강도의 변화를 측정하여 조직의 혈류상태를 평가하는 DCE를 미리 정해진 시간단위마다 연속적으로 촬영하여 구성한 DCE 동영상을 포함할 수 있다.
S806 단계에서, 딥러닝 모델 학습 장치는 적어도 하나의 동영상 MRI에 대학 학습을 수행하여, 암 검출모델의 확장 레이어에 대한 학습을 수행할 수 있다. 예를 들어, 딥러닝 모델 학습 장치는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn) 각각에 대한 학습을 수행하여 공간 특성 학습모델을 구축할 수 있으며, 바람직하게 CNN(Convolutional Neural Networks) 학습 방식에 기초하여 공간 특성 학습모델을 구축할 수 있다. 이때, 딥러닝 모델 학습 장치는 공간 특성 학습모델의 구축시 이미지 프레임(F1, F2, ... Fn)에 대응되는 시간 또는 배열 순서에 대한 정보를 고려할 수 있다. 예컨대, 공간 특성 학습모델에는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 CNN이 구비될 수 있으며, 공간 특성 학습부(71)는 제1이미지 프레임(F1)을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)을 제n CNN의 입력으로 전달하도록 구성할 수 있다. 이에 대응하여, 공간 특성 학습모델에 구비되는 복수의 CNN은 복수의 이미지 프레임(F1, F2, ... Fn) 각각에 대응되는 복수의 공간 특성을 출력할 수 있으며, 딥러닝 모델 학습 장치는 전술한 복수의 공간 특성을 순차적으로 배열하여 시퀀셜한 데이터로 구성할 수 있다. 이때, 딥러닝 모델 학습 장치는 이미지 프레임(F1, F2, ... Fn)에 대응되는 시간 또는 배열 순서에 대한 정보를 고려하여 직렬화된(Sequential) 데이터를 구성할 수 있다. 한편, 딥러닝 모델 학습 장치는 직렬화된 데이터로 구성된 복수의 공간 특성을 입력받고, 이미지 프레임 사이의 관계에 대한 특성(즉, 프레임 특성)을 검출하는 학습을 수행할 수 있다. 바람직하게, 딥러닝 모델 학습 장치는 순환 신경망(RNN; Recurrent Neural Nerwork) 학습 방식에 기초하여 프레임 특성 학습모델을 구축할 수 있다.
순환 신경망(RNN)은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥 러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.
한편, 공간 특성 정보는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn)으로부터 추출된 정보이므로, 딥러닝 모델 학습 장치는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn)의 시간적 정보를 확인하고, 확인된 시간적 정보에 기초하여, 공간 특성 정보에 대한 프레임 특성 학습을 처리할 수 있다. 공간 특성 정보는 프레임 특성 학습모델에 순차적으로 입력될 수 있으며, 프레임 특성 학습모델은 프레임 특성을 순차적으로 출력할 수 있다.
도 9는 본 개시의 다른 실시예에 따른 딥러닝 모델 학습 방법의 순서를 도시하는 흐름도이다.
본 개시의 다른 실시예에 따른 딥러닝 모델 학습 방법은 본 개시의 일 실시예에 따른 딥러닝 모델 학습 방법과 기본적으로 유사하다. 다만, 본 개시의 다른 실시예에 따른 딥러닝 모델 학습 방법은 적어도 하나의 참조정보(병리영상(205), DWI(206), DCE 신호정보(207) 등)를 라벨링 동작과 연동하여 순차적으로 제공하도록 구성된다.
이하, 본 개시의 다른 실시예에 따른 딥러닝 모델 학습 방법에 대해 구체적으로 설명한다.
우선, S901 단계는 전술한 본 개시의 일 실시예에 따른 딥러닝 모델 학습 방법에서 설명한 S901 단계와 동일하게 진행될 수 있다. 즉, 딥러닝 모델 학습 장치는 적어도 하나의 파라메트릭 MRI(T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR (Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 등)를 제공할 수 있다.
S902 단계에서, 딥러닝 모델 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)에서 암이 위치한 영역을 지정하는데 참조할 수 있는 정보, 즉, 참조정보(병리영상(205), DWI(206), DCE 신호정보(207) 등) 중 하나(즉, 제1참조정보)를 제공할 수 있다.
예를 들어, 사용자(또는 환자)의 진단 영역을 추출하고, 추출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상(pathology image)을 구성할 수 있는데, 딥러닝 모델 학습 장치는 이러한 병리영상을 입력받을 수 있는 환경을 제공할 수 있다. 그리고, 딥러닝 모델 학습 장치는 입력받은 병리영상(205)을 화면(220, 도 2c 참조)의 일 영역을 통해 디스플레이할 수 있다.
S903 단계에서, 딥러닝 모델 학습 장치는 제1참조정보(병리영상(205))를 표시하면서, 라벨링을 수행할 수 있는 사용자 인터페이스(230)를 제공할 수 있다.
상기 사용자 인터페이스(230)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)(231)를 포함할 수 있다. 또한, 상기 사용자 인터페이스(230)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(232)를 포함할 수 있다. 또한, 딥러닝 모델 학습 장치는 표시자(232)를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 사용자 인터페이스(230)는 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자(233)를 포함할 수 있다.
딥러닝 모델 학습 장치는 사용자 인터페이스(230)를 통해 적어도 하나의 파라메트릭 MRI(T2 영상)에서 소정의 영역을 암 영역으로 설정함으로써, 라벨링 동작을 수행할 수 있다.
이와 같이, 사용자 인터페이스(230)를 통해 암 영역이 설정되면, 딥러닝 모델 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다(S904).
S905 단계에서, 딥러닝 모델 학습 장치는 제2참조정보(예, DWI(Diffusion-weighted imaging))를 확인하고, DWI(206)를 화면(240, 도 2d 참조)의 일 영역을 통해 디스플레이할 수 있다.
S906 단계에서, 딥러닝 모델 학습 장치는 제2참조정보(DWI(206))를 표시하면서, 라벨링을 수행할 수 있는 사용자 인터페이스(250)를 제공할 수 있다.
상기 제2사용자 인터페이스(250)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)(251)를 포함할 수 있다. 또한, 상기 제2사용자 인터페이스(250)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(242)를 포함할 수 있다. 또한, 딥러닝 모델 학습 장치는 표시자(252)를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 제2사용자 인터페이스(250)는 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자(253)를 포함할 수 있다.
이러한 환경에서, 딥러닝 모델 학습 장치는 제2사용자 인터페이스(250)를 통해 선택되는 영역을 암 영역으로 설정함으로써, DWI(206)를 기반으로 한 라벨링 처리를 수행할 수 있다.
이와 같이, 제2사용자 인터페이스(250)를 통해 암 영역이 설정되면, 딥러닝 모델 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다(S907).
추가적으로, 딥러닝 모델 학습 장치는 병리영상(205)을 기반으로 라벨링된 암 영역을 입력으로서 처리할 수도 있다.
S908 단계에서, 딥러닝 모델 학습 장치는 제3화면(260, 도 2e 참조)을 통해 진단 영역의 파라메트릭 MRI(203, 204)와 DCE 신호정보(207)를 디스플레이 할 수 있다. 그리고, 딥러닝 모델 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)와, 제3참조정보(예, DCE 신호정보(207))를 표시하는 화면(260)의 일 영역에 라벨링을 수행할 수 있는 제3사용자 인터페이스(270)를 제공할 수 있다. 여기서, 제3사용자 인터페이스(270)는 전술한 제1사용자 인터페이스(230)와 마찬가지로, 적어도 하나의 파라메트릭 MRI(예, T2 영상)(271), 표시자(272), 라벨링 지시자(273) 등을 포함할 수 있다.
본 개시의 일 실시예에서, 딥러닝 모델 학습 장치가 적어도 하나의 참조정보를 순차적으로 제공하는 것을 예시하면서, 적어도 하나의 참조정보를 병리영상, DWI, DCE 신호정보 등으로 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다. 또한, 딥러닝 모델 학습 장치가 제공하는 적어도 하나의 참조정보의 순서 역시 다양하게 변경될 수 있음은 물론이다.
나아가, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보는 다양하게 변경될 수 있다. 이에 따라, 딥러닝 모델 학습 장치는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 딥러닝 모델 학습 장치는 제1 내지 제3참조정보로서, T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography), 병리영상, DWI, DCE 신호정보 중 선택된 정보를 참조정보로서 제공할 수 있다.
다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 딥러닝 모델 학습 장치는 제1 내지 제3참조정보로서, T1 Contrast 영상, T2 Contrast 영상 중, 선택된 정보를 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 딥러닝 모델 학습 장치는 제1 내지 제3참조정보로서, FDG-PET, SPECT 중, 선택된 정보를 참조정보로서 제공할 수 있다.
이러한 환경에서, 딥러닝 모델 학습 장치는 제3사용자 인터페이스(270)를 통해 선택되는 영역을 암 영역으로 설정함으로써, DCE 신호정보(207)를 기반으로 한 라벨링 처리를 수행할 수 있다(S909).
이와 같이, 제3사용자 인터페이스(270)를 통해 암 영역이 설정되면, 딥러닝 모델 학습 장치는 진단 영역의 파라메트릭 MRI(203, 204)를 입력으로 하고, 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다(S910).
추가적으로, 딥러닝 모델 학습 장치는 DWI(206)를 기반으로 라벨링된 암 영역을 입력으로서 처리할 수도 있다.
본 개시의 일 실시예에서, 딥러닝 모델 학습 장치가 병리영상(205), DWI(206), 및 DCE 신호정보(207) 순서로 참조정보를 제공하는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 딥러닝 모델 학습 장치가 참조정보를 제공하는 순서는 다양하게 변경될 수 있다.
또한, 본 개시의 일 실시예에서, 딥러닝 모델 학습 장치가 제공하는 참조정보를 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 딥러닝 모델 학습 장치가 제공하는 참조정보는 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다.
또한, 본 개시의 일 실시예에서, 딥러닝 모델 학습 장치가 상기 적어도 하나의 파라메트릭 MRI를 기본적인 입력으로 하여 딥러닝 모델을 학습하는 것을 예시하였다. 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있음은 물론이다. 예컨대, 딥러닝 모델 학습 장치는 DWI 및 DCE 신호정보 중 적어도 하나를 입력으로서 사용할 수 있다.
즉, 딥러닝 모델 학습 장치는 S907 단계의 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 DWI를 입력으로서 사용할 수 있다. 마찬가지로, 딥러닝 모델 학습 장치는 S910 단계의 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 DCE 신호정보를 입력으로서 사용할 수 있다.
추가적으로, 딥러닝 모델 학습 장치는 S904 단계의 딥러닝 모델 학습시, 적어도 하나의 파라메트릭 MRI와 함께 병리정보를 입력으로서 사용할 수도 있다.
도 10은 본 개시의 일 실시예에 따른 딥러닝 모델 학습 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 10을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
우선, 본 개시의 일 실시 예에 따른 전립선 암 영역 검출장치는 전립선 영역 검출모델 및 전립선 암 영역 검출모델을 사용하여 상기 전립선 암 영역을 포함하는 가이드 정보를 생성 및 제공할 수 있다. 본 개시의 일 실시 예에 따른 전립선 영역 검출모델 및 전립선 암 영역 검출모델은 본 개시의 일 실시예에 따른 전립선 암 영역 학습 장치에 의해 구축될 수 있다.
이하, 도 11 내지 도 14를 참조하여, 전립선 암 영역 학습 장치와 이를 사용하여 전립선 영역 검출모델 및 전립선 암 영역 검출모델을 구축하는 동작을 상세하게 설명한다.
도 11은 본 개시의 일 실시 예에 따른 전립선 암 검출모델 학습 장치의 구성을 나타내는 블록도이다.
도 11을 참조하면, 전립선 암 검출모델 학습 장치(1110)는 전립선 암 검출모델 학습부(1111), 파라메트릭 MRI 입력부(1113), 라벨링 참조정보 제공부(1115), 및 라벨링 처리부(1117)를 포함할 수 있다.
우선, 전립선 암 검출모델 학습부(1111)는 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법에 기초하여, 전립선 암 검출모델의 학습을 수행할 수 있다. 특히, 전립선 암 검출모델 학습부(1111)가 전립선 암 검출모델의 학습을 수행하기 위해서 분석 대상 영상을 입력받을 수 있으며, 분석 대상 영상에 포함된 특정 객체 또는 특정 영역을 전립선 암 영역으로 입력받는 동작, 즉, 라벨링(Labeling) 동작을 수행할 수 있다.
그리고, 전립선 암 검출모델 학습부(1111)는 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성함으로써, 전립선 암 검출모델을 학습할 수 있다. 그리고, 전립선 암 검출모델 학습부(1111)는 전립선 암 검출모델의 학습을 반복적으로 수행하여 전립선 암 검출모델(100)을 구축할 수 있다.
전립선 암 검출모델 학습부(1111)는 분석 대상 영상으로서 MRI 영상을 입력받을 수 있는데, 이러한 분석 대상 영상의 입력은 파라메트릭 MRI 입력부(1113)에 의해 처리될 수 있다. 파라메트릭 MRI 입력부(1113)는 사용자의 신체를 자기공명영상(MRI; Magnetic Resonance Imaging) 촬영 장치에 의해 촬영된 영상, 즉, MRI를 전립선 암 검출모델 학습부(1111)에 제공할 수 있다.
나아가, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다.
이에 기초하여, 파라메트릭 MRI 입력부(1113)는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI를 전립선 암 검출모델 학습부(1111)에 제공할 수 있다. 여기서, 적어도 하나의 파라메트릭 MRI는 T2(T2-weighted) 영상, ADC(apparent diffusion coefficients) 영상, DWI(Diffusion-weighted imaging) 등을 포함할 수 있다.
또한, 파라메트릭 MRI 입력부(1113)는 MRI를 전립선 암 검출모델 학습부(1111)에 제공한 파라메트릭 MRI를 디스플레이 등을 통해 표시할 수 있다.
추가적으로, 파라메트릭 MRI 입력부(1113)는 사용자의 전립선이 위치한 신체를 촬영한 MRI를 기준으로한 파라메트릭 MRI(이하, '원본 파라메트릭 MRI'라 함)를 입력받을 수 있으며, 원본 파라메트릭 MRI로부터 전립선 영역을 추출한 파라메트릭 MRI(이하, '전립선 영역의 파라메트릭 MRI'라 함)를 검출할 수 있다. 그리고, 전립선 영역의 파라메트릭 MRI를 전립선 암 검출모델 학습부(1111)에 제공하거나, 디스플레이 등을 통해 표시할 수 있다.
파라메트릭 MRI 입력부(1113)가 원본 파라메트릭 MRI로부터 전립선 영역의 파라메트릭 MRI를 추출하는 동작은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 수행할 수 있다. 예를 들어, 파라메트릭 MRI 입력부(1113)는 원본 파라메트릭 MRI를 입력으로 하고, 전립선 영역의 파라메트릭 MRI를 출력으로 하는 학습을 통해 소정의 학습모델을 구축할 수 있다. 그리고, 파라메트릭 MRI 입력부(1113)는 원본 파라메트릭 MRI가 입력됨에 따라, 전립선 영역의 파라메트릭 MRI를 검출하여 출력할 수 있다.
나아가, 전립선 영역 등과 같은 진단 영역은 3차원 형태로 이루어지므로, 진단 영역의 3차원 구조에서 병변이 나타나는 특성을 검출하는 것이 전립선 암 검출모델(1100)의 성능을 높일 수 있다. 또한, 진단 영역 내에서의 변화, 예컨대, 조직의 물의 확산, 조영제의 증가 등을 진단의 지표로 사용할 경우, 좀 더 정확한 진단이 가능하다. 전술한 바를 고려하여, 파라메트릭 MRI 입력부(1113)는 DWI, DCE 등을 입력할 수 있는데, 진단 영역의 3차원 구조, 또는 진단 영역 내에서의 변화가 나타나도록, 동영상의 형태로 구성하여 입력할 수 있다. 이에 대응하여, 전립선 암 검출모델 학습부(1111)는 정지 영상 형태의 파라메트릭 MRI와 동영상 형태의 파라메트릭 MRI를 모두 사용하여 전립선 암 검출모델(1100)의 학습을 수행할 수 있다. 암 검출모델 학습부(11)가 전립선 암 검출모델(1100)을 학습하는 동작은 하기의 도 및 이와 관련된 설명을 통해 상세히 설명한다.
한편, 라벨링 참조정보 제공부(1115)는 상기 전립선 암 영역의 라벨링 처리에 기여하는 정보를 제공할 수 있다.
사용자(또는 환자)의 전립선을 수술을 통하여 적출하고, 적출된 전립선에서 암 조직이 존재하는 영역을 가시화한 병리영상(Pathology image)을 구성할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(1115)는 병리 영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다. 예컨대, 병리영상은 추출된 전립선의 암이 존재하는 영역을 지도화한 병리지도(pathology map)를 이미지 형태로 구성한 영상을 포함할 수 있다.
나아가, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(1115)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타내는 DWI(Diffusion-weighted imaging)를 확인하고, 이를 디스플레이 등을 통해 표시할 수 있다. 여기서, DWI는 MRI 촬영 장치로부터 제공받거나, MRI 촬영 장치로부터 제공받은 MRI를 가공하여 획득할 수 있다.
마찬가지로, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직이나, 조직의 특성을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(1115)는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, 확인된 DCE 신호정보를 제공할 수 있는 환경을 구축할 수 있다. 예컨대, 라벨링 처리부(1117)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 표시하면서, 사용자에 의해 지정되는 영역을 표시하는 표시자를 제공할 수 있으며, 사용자에 의해 선택되는 영역을 전립선 암 영역으로 설정할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(1115)는 라벨링 처리부(1117)에 의해 생성 및 표시되는 상기 표시자가 지시하는 영역에 대한 DCE 신호정보를 확인하고, 확인된 DCE 신호정보를 디스플레이 등을 통해 표시할 수 있다.
라벨링 참조정보 제공부(1115)는 병리영상, DWI, 및 DCE 신호정보 중, 적어도 하나를 디스플레이 등을 통해 표시할 수 있다.
다른 예로서, 라벨링 참조정보 제공부(1115)는 병리영상, DWI, 및 DCE 신호정보를 순차적으로 선택하여 표시할 수 있다. 특히, 라벨링 참조정보 제공부(1115)는 라벨링 처리부(1117)와 연동하여 병리영상, DWI, 및 DCE 신호정보를 순차적으로 선택하여 표시할 수 있다. 예를 들어, 라벨링 참조정보 제공부(1115)는 T2 영상, ADC 영상과 함께 병리영상을 디스플레이할 수 있다. 그리고, 병리영상이 디스플레이되는 상태에서, 라벨링 처리부(1117)에 의해 1차적으로 전립선 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(1115)는 T2 영상, ADC 영상과 함께 DWI를 디스플레이할 수 있다. 또한, DWI가 디스플레이되는 상태에서, 라벨링 처리부(1117)에 의해 2차적으로 전립선 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(1115)는 표시자가 지시하는 영역을 확인하고, 해당 영역에 대응되는 DCE 신호정보를 확인하여 표시할 수 있다.
한편, 라벨링 처리부(1117)는 전술한 바와 같이, 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 제공하면서, 전립선 암 검출모델 학습부(1111)가 전립선암 검출모델을 학습하기 위한 출력값을 지정하는 동작, 즉 라벨링을 수행할 수 있는 환경을 제공할 수 있다.
구체적으로, 라벨링 처리부(1117)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 디스플레이에 출력하고, 출력되는 적어도 하나의 파라메트릭 MRI(예, T2 영상)에서 전립선 암이 존재하는 영역, 즉 전립선 암 영역을 입력받을 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 라벨링 처리부(1117)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 소정의 표시자를 출력하고, 외부 입력장치를 통해 선택되는 영역을 전립선 암 영역으로 설정할 수 있다.
도 12는 본 개시의 일 실시 예에 따른 전립선 암 검출 모델 학습 장치에 구비되는 파라메트릭 MRI 입력부 및 전립선 암 검출모델 학습부의 세부 구성을 나타내는 블록도이다.
도 12를 참조하면, 파라메트릭 MRI 입력부(120)는 파라메트릭 MRI 제공부(121) 및 동영상 MRI 구성부(123)를 포함할 수 있다. 파라메트릭 MRI 제공부(121)는 정지 영상 형태의 파라메트릭 MRI, 예컨대, T1, T2, ADC, DWI 영상 등을 확인하여 전립선 암 검출모델 학습부(125)에 제공할 수 있다. 그리고, 동영상 MRI 구성부(123)는 시간적인 변화가 발생되는 파라메트릭 MRI(예컨대, DWI, DCE 등)에 대해서 동영상 형태로 구성하여 제공할 수 있다. 구체적으로, 동영상 MRI 구성부(123)는 조직 안에 있는 물분자의 미세적인 운동성을 이용하여 세포의 배열 상태를 나타내는 DWI를 미리 정해진 시간단위마다 연속적으로 촬영하고, 연속적으로 촬영된 DWI를 조합하여 DWI 동영상을 구성할 수 있다. 다른 예로서, 동영상 MRI 구성부(123)는 조영제 주입 후 조영증강도의 변화를 측정하여 조직의 혈류상태를 평가하는 DCE를 미리 정해진 시간단위마다 연속적으로 촬영하고, 연속적으로 촬영된 DCE를 조합하여 DCE 동영상을 구성할 수 있다.
암 검출모델 학습부(125)는 이미지 기반 MRI 학습부(126) 및 학습모델 보정부(127)를 포함할 수 있다. 우선, 이미지 기반 MRI 학습부(126)는 이미지 형태의 파라메트릭 MRI에 대한 학습을 수행하여 암 검출모델에 대한 학습을 수행할 수 있다. 이때, 이미지 기반 MRI 학습부(126)는 파라메트릭 MRI 제공부(121)가 제공하는 적어도 하나의 파라메트릭 MRI에, 합성곱 신경망(CNN) 기법 또는 풀링(pooling) 기법을 적용하여 암 검출모델의 기본 레이어를 구축할 수 있다. 이때, 사용되는 파라메트릭 MRI는 다양하게 변경될 수 있다. 이미지 기반 MRI 학습부(126)를 통해 암 검출모델의 기본 레이어가 구축된 후, 학습모델 보정부(127)는 동영상 MRI 구성부(123)가 제공하는 동영상 MRI를 사용하여 암 검출모델의 확장 레이어를 구축함으로써, 암 검출모델에 대한 보정을 수행할 수 있다. 예를 들어, 학습모델 보정부(127)는 동영상 MRI에 구비된 각각의 프레임에 대한 공간적 특성을 검출한 후, 각 프레임의 시간적 배열에 따른 특성을 검출하도록 확장 레이어를 구축할 수 있다. 이때, 각각의 프레임에 대한 공간적 특성은 합성곱 신경망(CNN) 기법 또는 풀링(pooling) 기법에 기초하여 구축될 수 있으며, 각 프레임의 시간적 배열에 따른 특성은 순환 신경망(RNN; Recurrent Neural Nerwork) 학습 방식에 기초하여 구축될 수 있다.
나아가, 학습모델 보정부(127)는 복수의 확장 레이어를 단계적으로 구축하도록 구성될 수 있다. 예를 들어, 학습모델 보정부(127)는 제1보정부(127a) 및 제2보정부(127b)를 포함할 수 있다. 제1보정부(37a)는 제1동영상 MRI를 사용하여 암 검출모델의 제1확장 레이어를 구축하도록 구성되며, 제2보정부(127b)는 제2동영상 MRI를 사용하여 암 검출모델의 제2확장 레이어를 구축하도록 구성될 수 있다. 이에 따라, 암 검출모델은 기본 레이어(1301), 제1확장 레이어(1302), 및 제2확장 레이어(1303)가 순차적으로 연결될 수 있도록 구성될 수 있다. 나아가, 제1동영상 MRI 및 제2동영상은 각각 다른 종류의 동영상 MRI일 수 있다. 예컨대, 제1동영상 MRI는 연속적으로 촬영된 DWI를 조합하여 구성된 DWI 동영상일 수 있으며, 제2동영상은 연속적으로 촬영된 DCE를 조합하여 구성된 DCE 동영상일 수 있다.
도 14는 도 12의 학습모델 보정부의 상세 구성을 예시하는 도면이다.
학습모델 보정부(140)는 공간 특성 학습부(141) 및 프레임 특성 학습부(142)를 포함할 수 있다.
공간 특성 학습부(141)는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn) 각각에 대한 학습을 수행하여 공간 특성 학습모델을 구축할 수 있으며, 바람직하게 CNN(Convolutional Neural Networks) 학습 방식에 기초하여 공간 특성 학습모델을 구축할 수 있다.
공간 특성 학습부(141)의 공간 특성 학습모델의 구축시 이미지 프레임(F1, F2, ... Fn)에 대응되는 시간 또는 배열 순서에 대한 정보를 고려할 수 있다. 예컨대, 공간 특성 학습모델에는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn)의 수에 대응되는 CNN이 구비될 수 있으며, 공간 특성 학습부(141)는 제1이미지 프레임(F1)을 제1 CNN의 입력으로 전달하고, 제2이미지 프레임(F2)을 제2 CNN의 입력으로 전달하고, 제n이미지 프레임(Fn)을 제n CNN의 입력으로 전달하도록 구성할 수 있다.
이에 대응하여, 공간 특성 학습모델(141)에 구비되는 복수의 CNN은 복수의 이미지 프레임(F1, F2, ... Fn) 각각에 대응되는 복수의 공간 특성을 출력할 수 있으며, 공간 특성 학습부(141)는 전술한 복수의 공간 특성을 순차적으로 배열하여 시퀀셜한 데이터로 구성할 수 있다. 이때, 공간 특성 학습부(141)는 이미지 프레임(F1, F2, ... Fn)에 대응되는 시간 또는 배열 순서에 대한 정보를 고려하여 직렬화된(Sequential) 데이터를 구성할 수 있다.
한편, 프레임 특성 학습부(142)는 직렬화된 데이터로 구성된 복수의 공간 특성을 입력받고, 이미지 프레임 사이의 관계에 대한 특성(즉, 프레임 특성)을 검출하는 학습을 수행할 수 있다. 바람직하게, 프레임 특성 학습부(142)는 순환 신경망(RNN; Recurrent Neural Nerwork) 학습 방식에 기초하여 프레임 특성 학습모델을 구축할 수 있다.
순환 신경망(RNN)은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥 러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.
한편, 공간 특성 정보는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn)으로부터 추출된 정보이므로, 프레임 특성 학습부(142)는 동영상 MRI에 포함된 이미지 프레임(F1, F2, ... Fn)의 시간적 정보를 확인하고, 확인된 시간적 정보에 기초하여, 공간 특성 정보에 대한 프레임 특성 학습을 처리할 수 있다. 공간 특성 정보는 프레임 특성 학습모델(142)에 순차적으로 입력될 수 있으며, 프레임 특성 학습모델은 프레임 특성(1400-1, 1400-2, 1400-n)을 순차적으로 출력할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (9)

  1. 딥러닝 모델 학습 장치에 있어서,
    진단 영역에 대응되는 영상을 입력하되, 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 입력하고, 상기 적어도 하나의 파라메트릭 MRI를 사용하여 동영상 MRI를 구성하고 이를 제공하는 파라메트릭 MRI 입력부와,
    상기 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI 및 상기 동영상 MRI를 입력으로 하고, 암 영역을 라벨링한 정보에 기초하여, 딥러닝 모델을 학습하는 암 검출모델 학습부와,
    상기 암 영역의 라벨링에 기여하는 적어도 하나의 참조정보를 제공하는 라벨링 참조정보 제공부와,
    상기 적어도 하나의 참조정보에 기초하여 입력되는 상기 암 영역을 확인하고, 상기 확인된 암 영역의 라벨링을 처리하는 라벨링 처리부를 포함하고,
    상기 암 검출모델 학습부는,
    상기 적어도 하나의 파라메트릭 MRI에 대한 학습을 통해 상기 딥러닝 모델의 기본 레이어를 구축하는 이미지 기반 MRI 학습부와,
    상기 동영상 MRI에 구비된 복수의 프레임 각각에 대한 공간적 특성을 검출하고, 각각의 상기 프레임의 배열에 따른 시간적 특성을 학습하여, 상기 딥러닝 모델의 확장 레이어를 구축하는 학습모델 보정부를 포함하는,
    것을 특징으로 하는 암 영역에 대한 딥러닝 모델 학습 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 파라메트릭 MRI는,
    T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR (Short TI inversion recovery) 영상, PWI (Perfusion weighted image), DWI(Diffusion-weighted imaging), DCE(Dynamic Contrast Enhanced) 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역에 대한 딥러닝 모델 학습 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 참조정보는,
    추출된 진단 영역의 암이 존재하는 영역을 이미지화하여 표시한 병리영상, DWI(Diffusion-weighted imaging), 및 DCE(Dynamic Contrast Enhanced) 신호정보 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역에 대한 딥러닝 모델 학습 장치.
  4. 제3항에 있어서,
    상기 파라메트릭 MRI 입력부는
    상기 DWI를 시간적으로 연속 배열하여 DWI 동영상을 구성하는 것을 특징으로 하는 암 영역에 대한 딥러닝 모델 학습 장치.
  5. 제3항에 있어서,
    상기 파라메트릭 MRI 입력부는
    상기 DCE를 시간적으로 연속 배열하여 DCE 동영상을 구성하는 것을 특징으로 하는 암 영역에 대한 딥러닝 모델 학습 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 학습모델 보정부는,
    상기 동영상 MRI에 포함된 상기 복수의 이미지 프레임 각각에 대한 학습을 수행하는 복수의 공간 특성 학습모델을 구축하고,
    상기 복수의 공간 특성 학습모델을 통해 확인되는 상기 복수의 이미지 프레임 각각에 대한 공간 특성을, 상기 복수의 이미지 프레임의 배열 순서를 고려하여, 순차적으로 배열하여 직렬화된(Sequential) 데이터를 구성하고, 상기 직렬화된 데이터의 상기 공간 특성 정보에 대한 프레임 특성을 검출하는 프레임 특성 학습모델을 구축하는 것을 특징으로 하는 암 영역에 대한 딥러닝 모델 학습 장치.
  8. 제7항에 있어서,
    상기 학습모델 보정부는,
    제1동영상 MRI에 대한 학습을 통해 상기 딥러닝 모델의 제1확장 레이어를 구축하는 제1학습모델 보정부와,
    제2동영상 MRI에 대한 학습을 통해 상기 딥러닝 모델의 제2확장 레이어를 구축하는 제2학습모델 보정부를 포함하는 것을 특징으로 하는 암 영역에 대한 딥러닝 모델 학습 장치.
  9. 제8항에 있어서,
    상기 제1동영상 MRI는, DWI를 시간적으로 연속 배열하여 구성한 DWI 동영상이고, 상기 제2동영상 MRI는, DCE를 시간적으로 연속 배열하여 구성한 DCE 동영상인 것을 특징으로 하는 암 영역에 대한 딥러닝 모델 학습 장치.
KR1020190126446A 2018-10-11 2019-10-11 암 영역에 대한 딥러닝 모델 학습 장치 및 방법 KR102150853B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020180121393 2018-10-11
KR20180121393 2018-10-11
KR1020180121513 2018-10-12
KR20180121513 2018-10-12

Publications (2)

Publication Number Publication Date
KR20200041813A KR20200041813A (ko) 2020-04-22
KR102150853B1 true KR102150853B1 (ko) 2020-09-03

Family

ID=70165093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190126446A KR102150853B1 (ko) 2018-10-11 2019-10-11 암 영역에 대한 딥러닝 모델 학습 장치 및 방법

Country Status (5)

Country Link
US (1) US11769594B2 (ko)
EP (1) EP3872817A4 (ko)
JP (1) JP2022502209A (ko)
KR (1) KR102150853B1 (ko)
WO (1) WO2020076135A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230156214A (ko) 2022-05-04 2023-11-14 동국대학교 산학협력단 이미지 캡셔닝 딥러닝 모델, 및 이를 이용한 의료 진단 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020164713A1 (en) * 2019-02-14 2020-08-20 Brainlab Ag Automatic setting of imaging parameters
KR20230011504A (ko) * 2019-05-31 2023-01-20 페이지.에이아이, 인크. 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
KR102270669B1 (ko) * 2020-11-27 2021-06-29 주식회사 웨이센 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치
US20230360777A1 (en) * 2022-05-03 2023-11-09 Quantivly Inc. Identifying medical imaging protocols based on radiology data and metadata

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101740464B1 (ko) * 2016-10-20 2017-06-08 (주)제이엘케이인스펙션 뇌졸중 진단 및 예후 예측 방법 및 시스템
KR101996475B1 (ko) 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009058915A1 (en) * 2007-10-29 2009-05-07 The Trustees Of The University Of Pennsylvania Computer assisted diagnosis (cad) of cancer using multi-functional, multi-modal in-vivo magnetic resonance spectroscopy (mrs) and imaging (mri)
KR100933569B1 (ko) * 2008-04-21 2009-12-29 서울여자대학교 산학협력단 조직병리영상 및 자기공명영상을 이용한 전립선암 진단방법 및 장치
KR101953627B1 (ko) * 2017-01-11 2019-03-05 서울여자대학교 산학협력단 다중 파라메터 자기공명영상에서 전립선 주변부 영역의 전립선암 자동 검출 및 국소화 방법
US10489908B2 (en) 2017-02-22 2019-11-26 Siemens Healthcare Gmbh Deep convolutional encoder-decoder for prostate cancer detection and classification
KR102133017B1 (ko) * 2017-03-29 2020-07-10 한국전자통신연구원 프로젝터 및 프로젝터의 캘리브레이션 방법
US11232853B2 (en) * 2017-04-21 2022-01-25 Cubisme, Inc. System and method for creating, querying, and displaying a MIBA master file
KR101818074B1 (ko) 2017-07-20 2018-01-12 (주)제이엘케이인스펙션 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
KR101864412B1 (ko) * 2017-12-28 2018-06-04 (주)휴톰 학습용 데이터 관리방법, 장치 및 프로그램
CN108765368A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 Mri病变位置检测方法、装置、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101740464B1 (ko) * 2016-10-20 2017-06-08 (주)제이엘케이인스펙션 뇌졸중 진단 및 예후 예측 방법 및 시스템
KR101996475B1 (ko) 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김영지 외 3명. 다중 파라메터 MR 영상에서 텍스처 분석을 통한 자동 전립선암 검출. 멀티미디어학회 논문지. 제19권, 제4호, 736-746, 2016.4.30.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230156214A (ko) 2022-05-04 2023-11-14 동국대학교 산학협력단 이미지 캡셔닝 딥러닝 모델, 및 이를 이용한 의료 진단 장치

Also Published As

Publication number Publication date
US11769594B2 (en) 2023-09-26
JP2022502209A (ja) 2022-01-11
US20210391078A1 (en) 2021-12-16
EP3872817A1 (en) 2021-09-01
EP3872817A4 (en) 2022-10-12
WO2020076135A1 (ko) 2020-04-16
KR20200041813A (ko) 2020-04-22

Similar Documents

Publication Publication Date Title
KR102150853B1 (ko) 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
Anas et al. A deep learning approach for real time prostate segmentation in freehand ultrasound guided biopsy
US10489908B2 (en) Deep convolutional encoder-decoder for prostate cancer detection and classification
Chen et al. Deep learning for image enhancement and correction in magnetic resonance imaging—state-of-the-art and challenges
EP4148660A1 (en) Improving quality of medical images using multi-contrast and deep learning
KR101996475B1 (ko) 암 영역 검출의 유효성 평가 장치
JP2018192264A (ja) 医用画像処理装置
WO2020219915A1 (en) Denoising magnetic resonance images using unsupervised deep convolutional neural networks
CN110809782A (zh) 衰减校正系统和方法
KR102021515B1 (ko) 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
JP7464593B2 (ja) 医用画像内でのインターベンションデバイスの識別
WO2018051336A1 (en) Systems and methods for generating 3d images based on fluorescent illumination
Wang et al. JointVesselNet: Joint volume-projection convolutional embedding networks for 3D cerebrovascular segmentation
KR101932008B1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
CN112133410A (zh) 使用机器学习的mri图像重建
Gulban et al. Improving a probabilistic cytoarchitectonic atlas of auditory cortex using a novel method for inter-individual alignment
US11922624B2 (en) Brain lesion information provision device and method
CN110852993B (zh) 一种造影剂作用下的成像方法与设备
CN116012385B (zh) Mr灌注图像的脑缺血分割方法、装置及存储介质
WO2023169564A1 (en) Systems and methods for determining information of regions of interest
Karani et al. An image interpolation approach for acquisition time reduction in navigator-based 4D MRI
KR20200041773A (ko) 암 영역 정보 보정 장치 및 방법
KR20200041772A (ko) 암 영역 상태 평가 장치 및 방법
Ciulla Inverse Fourier transformation of combined first order derivative and intensity-curvature functional of magnetic resonance angiography of the human brain

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant