KR101996475B1 - 암 영역 검출의 유효성 평가 장치 - Google Patents

암 영역 검출의 유효성 평가 장치 Download PDF

Info

Publication number
KR101996475B1
KR101996475B1 KR1020180121394A KR20180121394A KR101996475B1 KR 101996475 B1 KR101996475 B1 KR 101996475B1 KR 1020180121394 A KR1020180121394 A KR 1020180121394A KR 20180121394 A KR20180121394 A KR 20180121394A KR 101996475 B1 KR101996475 B1 KR 101996475B1
Authority
KR
South Korea
Prior art keywords
cancer
information
region
area
image
Prior art date
Application number
KR1020180121394A
Other languages
English (en)
Inventor
김원태
강신욱
이명재
김동민
장진성
Original Assignee
(주)제이엘케이인스펙션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이인스펙션 filed Critical (주)제이엘케이인스펙션
Priority to KR1020180121394A priority Critical patent/KR101996475B1/ko
Application granted granted Critical
Publication of KR101996475B1 publication Critical patent/KR101996475B1/ko
Priority to PCT/KR2019/013395 priority patent/WO2020076133A1/ko
Priority to US17/228,664 priority patent/US11854193B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computational Linguistics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

암 영역 검출의 유효성 평가 장치가 제공될 수 있다. 상기 암 영역 검출의 유효성 평가 장치는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 파라메트릭 MRI 제공부와, 상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 제1 암 영역 입력부와, 상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하고, 상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 생성 및 제공하는 암 영역 처리부와, 상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 제2 암 영역 입력부와, 추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 유효성 평가부를 포함할 수 있다.

Description

암 영역 검출의 유효성 평가 장치{APPARATUS FOR VALIDITY EVALUATION OF DETERMINING PROSTATE CANCER REGION AND METHOD FOR}
본 개시는 암 영역 검출 기술에 관한 것이며, 보다 구체적으로는 영상 정보 분석을 기반으로 검출된 암 영역에 대한 유효성을 평가하는 방법 및 장치에 대한 것이다.
딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.
한편, 영상 인식과 관련하여 딥러닝을 이용한 종래의 영상 분석 기술은 합성곱 신경망(Convolutional Neural Network, CNN)과 최대 풀링(max pooling)기법을 이용하여 영상의 각 영역마다 국소적인 특징을 추출하고 이를 바탕으로 영상을 인식한다. 그러나, 이러한 방법은 실제 영상의 내용은 상이하지만 국소적인 정보 형태가 유사한 영상에 대해서는 정확한 인식 결과를 제공하지 못하는 문제가 있다.
한편, 사용자 또는 환자의 신체를 촬영한 자기공명영상(MRI; Magnetic Resonance Imaging)에 다양한 파라미터를 적용하여 다양한 영상, 즉, 파라메트릭 MRI를 재구성할 수 있다. 이러한 파라메트릭 MRI는 신체의 변화나, 질병을 나타내는 중요한 요소로 사용될 수 있다.
그러나, 특정 질병에 대하여 사용자 또는 환자의 상태는 다양하게 나타날 수 있으며, 또한, 질병 역시 다양한 특성이나 형태를 나타낼 수 있다. 따라서, 파라메트릭 MRI가 나타내는 정보와 신체의 변화 또는 질병과의 상관관계를 정형화하기 어려운 문제가 있다.
이러한 점을 고려하여, 영상의 국소적인 특징 및 전역적인 맥락에 기초하여 다양한 파라메트릭 MRI와 특정 질병 사이의 관계를 학습하고, 학습에 의해 구축된 딥러닝 모델을 사용하여 암 발생이 예상되는 영역을 검출할 수 있다.
나아가, 딥러닝 모델 기반으로 검출한 암 영역의 신뢰성을 높이기 위해서, 딥러닝 모델 기반으로 검출한 암 영역이 실제 암 영역과 일치하는지 여부를 확인할 필요가 있다.
본 개시의 기술적 과제는 딥러닝 모델 기반으로 검출한 암 영역에 대한 유효성을 평가하는 방법 및 장치에 대한 것이다.
본 개시의 다른 기술적 과제는 딥러닝 모델 기반의 암 영역과 실제 암이 존재하는 영역 사이의 일치도를 정량적으로 평가하는 방법 및 장치에 대한 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 암 영역 검출의 유효성 평가 장치가 제공될 수 있다. 상기 장치는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 파라메트릭 MRI 제공부와, 상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 제1 암 영역 입력부와, 상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하고, 상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 생성 및 제공하는 암 영역 처리부와, 상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 제2 암 영역 입력부와, 추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 유효성 평가부를 포함할 수 있다.
본 개시의 다른 양상에 따르면, 암 영역 검출의 유효성 평가 방법이 제공될 수 있다. 상기 방법은 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 과정과, 상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 과정과, 상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 구축하는 과정과, 상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 제공하는 과정과, 상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 과정과, 추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 과정을 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 딥러닝 모델 기반으로 검출한 암 영역에 대한 유효성을 평가하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 딥러닝 모델 기반의 암 영역과 실제 암이 존재하는 영역 사이의 일치도를 정량적으로 평가하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 딥러닝 모델 기반의 암 영역을 참조하여 설정된 암 영역과 실제 암 영역 사이의 일치도와, 딥러닝 모델 기반의 암 영역을 참조하지 않고 설정된 암 영역과 실제 암 영역 사이의 일치도를 기반으로, 딥러닝 모델 기반으로 확인된 암 영역의 유효성을 평가하는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치의 구성을 도시하는 블록도이다.
도 2a 및 도 2b는 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치가 출력하는 화면의 일 예시도이다.
도 3a 내지 3c는 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치가 일치도 정보를 기반으로 유효성 평가 정보를 생성하는 동작을 예시하는 도면이다.
도 4는 도 1에 구비된 암 영역 처리부의 상세 구성을 도시하는 도면이다.
도 5a 내지 도 5c는 본 개시의 일 실시 예에 따른 암 영역 처리부에 의해 처리되는 영상의 일 예시도이다.
도 6은 본 개시의 일 실시 예에 따른 암 영역 학습 장치의 구성을 나타내는 블록도이다.
도 7은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치에 구비되는 암 검출모델 학습부의 구성을 나타내는 블록도이다.
도 8은 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 암 영역 검출의 유효성 평가 방법의 순서를 도시하는 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 암 영역 검출의 유효성 평가 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
우선, 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치는 사용자에 의해 입력되는 암 영역의 유효성을 평가하기 위한 장치이다. 특히, 본 개시의 일 실시 예에 따르면, 암 영역 검출의 유효성 평가 장치는 사용자(전문가 또는 의사 등)가 파라메트릭 MRI를 참조하여 제1 암 영역을 입력할 수 있는 환경과, 딥러닝 기반의 학습을 통해 구축된 암 영역 검출모델이 제공하는 가이드 정보를 참조하여 제2 암 영역을 입력할 수 있는 환경을 제공한다. 그리고, 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치는 제2 암 영역에 대한 평가를 수행할 수 있도록 구비된다.
이하, 첨부한 도면을 참조하여 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치에 대해서 설명한다.
도 1은 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치의 구성을 도시하는 블록도이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치(10)는 암 영역 처리부(11), 파라메트릭 MRI 제공부(12), 제1 암 영역 입력부(13), 제2 암 영역 입력부(15), 병리영상 입력부(17), 및 유효성 평가부(18)를 포함할 수 있다.
암 영역 처리부(11)는 암 영역 학습 장치(1)에 의해 구축된 진단 영역 검출모델(100)과 암 영역 검출모델(100')을 포함할 수 있다.
암 영역 처리부(11)는 원본 파라메트릭 MRI를 입력 받음에 따라, 진단 영역 검출모델(100)을 사용하여 진단 영역의 파라메트릭 MRI를 검출하고, 암 영역 검출모델(100')을 통해 암 영역에 대한 정보(이하, '암 영역 정보'라 함)를 확인할 수 있다. 또한, 암 영역 처리부(11)는 암 영역 정보를 사용하여 가이드 정보를 생성할 수 있다.
그리고, 암 영역 처리부(11)는 가이드 정보를 제2 암 영역 입력부(15)에 제공할 수 있다.
한편, 파라메트릭 MRI 제공부(12)는 사용자(전문가 또는 의사 등)가 적어도 하나의 파라메트릭 MRI를 참조하면서 제1 암 영역을 설정할 수 있도록, 적어도 하나의 파라메트릭 MRI를 제공할 수 있다. 그리고, 제1 암 영역 입력부(13)는 적어도 하나의 파라메트릭 MRI를 표시하는 파라메트릭 MRI 표시부(210, 도 2a 참조)와, 제1 암 영역을 입력할 수 있는 제1입력 인터페이스(220)를 포함하는 화면(200)을 제공할 수 있다.
예컨대, 파라메트릭 MRI 표시부(210)는 T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2*(T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR(Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 중 적어도 하나를 표시하는 표시부(211, 212, 213, 214)를 포함할 수 있다.
그리고, 제1입력 인터페이스(220)는 T2 영상을 표시하는 영상 표시부(221)와, 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(222)를 포함할 수 있다. 또한, 제1입력 인터페이스(220)는 표시자(222)를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 암 영역으로 설정된 해당 영역을 표시하는 제1 암 영역 지시자(223)를 포함할 수 있다.
비록, 본 개시의 일 실시예에서, 영상 표시부(221)가 T2 영상을 표시하는 것을 예시하였으나, 본 개시가 영상 표시부(221)가 표시하는 영상을 한정하는 것은 아니다. 영상 표시부(221)가 표시하는 영상은 진단 영역 또는 암 영역에 대응하여 다양하게 변경될 수 있다.
그리고, 제1 암 영역 입력부(13)는 제1입력 인터페이스(220)를 통해 입력되는 제1 암 영역을 제1 암 영역 DB(14)에 저장 및 관리할 수 있다.
한편, 제2 암 영역 입력부(15)는 적어도 하나의 파라메트릭 MRI를 표시하는 파라메트릭 MRI 표시부(260, 도 2b 참조)와, 전술한 암 영역 처리부(11)가 제공한 가이드 정보를 표시하는 가이드 정보 표시부(270)와, 제2 암 영역을 입력할 수 있는 제2입력 인터페이스(280)를 포함하는 화면(250)을 제공할 수 있다.
예컨대, 파라메트릭 MRI 표시부(260)는 T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR(Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 중 적어도 하나를 표시하는 적어도 하나의 표시부(261, 262)를 포함할 수 있다.
예컨대, 암 영역 처리부(11)는 적어도 하나의 파라메트릭 MRI에 포함되는 특징 영역 분석과 특징 영역에 대한 맥락 분석 등을 통해 암 후보 후보 영역을 설정하고, 설정된 후보 영역을 포함하는 가이드 정보를 생성할 수 있다. 이에 대응하여, 가이드 정보 표시부(270)는 암 후보 영역(271a)을 포함하는 가이드 영상(271)을 구성하여 표시할 수 있다.
다른 예로서, 암 영역 처리부(11)는 미리 정해진 임계값을 설정하고, 암 영역으로 검출된 특징 영역에 대한 확률값이 상기 미리 정해진 임계값을 초과하는 영역을 암 후보 포인트로 설정하고, 설정된 후보 포인트를 포함하는 가이드 정보를 생성할 수 있다. 이에 대응하여, 가이드 정보 표시부(270)는 후보 포인트(272a, 272b, 272c)를 포함하는 가이드 영상(272)을 구성하여 표시할 수 있다.
제2입력 인터페이스(280)는 전술한 제1입력 인터페이스와 마찬가지로, 사용자에 의해 암 영역을 입력받을 수 있는 환경을 제공하며, T2 영상을 표시하는 영상 표시부(281)와, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(282), 표시자(282)를 통해 선택되는 소정의 영역을 암 영역으로 설정하고 표시하는 제2 암 영역 지시자(283)를 포함할 수 있다.
비록, 본 개시의 일 실시예에서, 영상 표시부(281)가 T2 영상을 표시하는 것을 예시하였으나, 본 개시가 영상 표시부(281)가 표시하는 영상을 한정하는 것은 아니다. 영상 표시부(281)가 표시하는 영상은 진단 영역 또는 암 영역에 대응하여 다양하게 변경될 수 있다.
그리고, 제2 암 영역 입력부(15)는 제2입력 인터페이스(280)를 통해 입력되는 제2 암 영역을 제2 암 영역 DB(16)에 저장 및 관리할 수 있다.
한편, 사용자(또는 환자)의 진단 영역(예, 전립선 영역)을 수술을 통하여 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상(Pathology image)을 구성할 수 있다. 이를 고려하여, 병리영상 입력부(17)는 병리영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다. 예컨대, 병리영상은 추출된 진단 영역의 암이 존재하는 영역을 지도화한 병리지도(pathology map)를 이미지 형태로 구성한 영상을 포함할 수 있다.
병리영상 입력부(17)는 상기 병리영상을 유효성 평가부(18)에 제공할 수 있다. 유효성 평가부(18)는 병리영상을 기준으로 제1 암 영역과 제2 암 영역을 비교하여, 제2 암 영역에 대한 유효성 평가 정보를 생성할 수 있다.
예를 들어, 유효성 평가부(18)는 전립선이 위치한 영역을 소정의 크기단위로 분할하고(302, 도 3a 참조), 전립선이 위치한 영역 내에서 상기 제1 암 영역(303)이 존재하는 소정의 단위에 대한 제1바이너리 맵(304)을 구성할 수 있다.
또한, 유효성 평가부(18)는 병리영상(311)을 소정의 크기단위로 분할하고(312), 전립선이 위치한 영역 내에서 상기 제1 암 영역(313)이 존재하는 소정의 단위에 대한 병리 바이너리 맵(314)을 구성할 수 있다.
그리고, 유효성 평가부(18)는 병리 바이너리 맵(314)을 기준으로, 제1바이너리 맵(304)에 대한 제1일치도 정보(320)를 확인할 수 있다. 상기 제1일치도 정보(320)는 병리 바이너리 맵(314)과 제1바이너리 맵(304)의 대응되는 단위 영역이 유사한 정도를 수치화하여 표시한 정보일 수 있다. 나아가, 상기 제1일치도 정보(320)는 단위 영역에 대한 민감도 정보(Sensitivity)와 특이도 정보(Specificity)를 포함할 수 있다.
마찬가지로, 유효성 평가부(18)는 전립선이 위치한 영역을 소정의 크기단위로 분할하고(332, 도 3b 참조), 전립선이 위치한 영역 내에서 상기 제2 암 영역(333)이 존재하는 소정의 단위에 대한 제2바이너리 맵(334)을 구성할 수 있다. 그리고, 유효성 평가부(18)는 병리 바이너리 맵(314)을 기준으로, 제2바이너리 맵(334)에 대한 제2일치도 정보(340)를 확인할 수 있다. 상기 제2일치도 정보(340)는 병리 바이너리 맵(314)과 제2바이너리 맵(334)의 대응되는 단위 영역이 유사한 정도를 수치화하여 표시한 정보일 수 있다. 나아가, 상기 제2일치도 정보(340)는 단위 영역에 대한 민감도 정보(Sensitivity)와 특이도 정보(Specificity)를 포함할 수 있다.
또한, 유효성 평가부(18)는 전술한 제1일치도 정보(320)와 제2일치도 정보(340)를 비교하여, 유효성 평가 정보를 산출 및 출력할 수 있다(도 3c 참조). 예컨대, 유효성 평가부(18)는 전술한 제1일치도 정보(320)와 제2일치도 정보(340)를 비교하고, 제2일치도 정보(340)가 제1일치도 정보(320)보다 상대적으로 높은 수치를 나타낼 경우 제2 암 영역이 유효한 것으로 결정하고, 제2일치도 정보(340)가 제1일치도 정보(320)와 동일하거나 상대적으로 낮은 수치를 나타낼 경우 제2 암 영역이 유효하지 않은 것으로 결정할 수 있다.
제2 암 영역은 암 영역 처리부(11)가 제공하는 가이드 정보를 기반으로 사용자(전문가 또는 의사 등)가 암 영역이 존재할 가능성이 높은 영역을 지정한 것이다. 따라서, 상기 유효성 평가 정보가 제2 암 영역이 유효한 것임을 나타낼 경우, 암 영역 처리부(11)는 암이 존재하는 영역을 결정하는데 유효하게 사용될 수 있는 장치로 인정될 수 있다.
한편, 제1 암 영역과, 제2 암 영역을 입력하는 시간적 차이가 없을 경우, 사용자(전문가 또는 의사 등)는 제1 암 영역(또는 제2 암 영역)을 입력한 후, 자신이 입력한 제1 암 영역(또는 제2 암 영역)을 인지하고 있는 상태에서, 제2 암 영역(또는 제1 암 영역)을 입력할 수 있다. 이와 같이, 사용자(전문가 또는 의사 등)가 자신이 입력한 제1 암 영역(또는 제2 암 영역)을 인지하고 있는 상태에서, 제2 암 영역(또는 제1 암 영역)을 입력할 경우, 사용자(전문가 또는 의사 등)의 의지를 기반으로 제2 암 영역(또는 제1 암 영역)이 입력될 수 있다. 사용자(전문가 또는 의사 등)의 의지를 기반으로 제2 암 영역(또는 제1 암 영역)이 입력될 경우, 제2 암 영역(또는 제1 암 영역)이 정확하게 입력되지 않으며, 제2 암 영역(또는 제1 암 영역)에 대한 유효성을 판단하기 어려울 수 있다.
전술한 바를 고려하여, 유효성 평가부(18)는 제1 암 영역 입력부(13)와 제2 암 영역 입력부(15)의 동작을 제어할 수 있다. 예컨대, 유효성 평가부(18)는 우선적으로 제2 암 영역이 입력될 수 있도록, 제2 암 영역 입력부(15)를 활성화하여, 제2 암 영역을 입력받을 수 있다. 그리고, 제2 암 영역이 입력이 완료된 후, 소정의 시간(예컨대, 1주일 또는 1달)이 경과한 후, 제1 암 영역 입력부(13)를 활성화하여, 제2 암 영역에 대응되는 제1 암 영역의 입력받을 수 있다.
나아가, 본 개시의 일 실시예에서, 암 영역 처리부(11)가 암 영역 검출의 유효성 평가 장치(10) 내에 구비되는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 암 영역 검출의 유효성 평가 장치(10)는 암 영역 검출모델을 기반으로 제공되는 가이드 정보를 사용하여 암 영역(제2 암 영역)을 입력할 수 있는 환경을 제공할 수 있으면 충분하다.
예컨대, 암 영역 처리부(11)는 암 영역 검출의 유효성 평가 장치(10)와 별도의 장치로서 구비될 수 있으며, 암 영역 검출의 유효성 평가 장치(10)와 유무선 통신을 통해 연결되어 가이드 정보를 제공할 수 있다.
다른 예로서, 암 영역 처리부(11), 제2 암 영역 입력부(15), 및 제2 암 영역 DB(16)는 별도의 장치로 구비될 수 있으며, 암 영역 검출모델을 기반으로 제공되는 가이드 정보를 사용하여 암 영역(제2 암 영역)을 입력받고, 이를 제2 암 영역 DB(16)에 저장 및 관리할 수 있다. 그리고, 암 영역 처리부(11), 제2 암 영역 입력부(15), 및 제2 암 영역 DB(16)를 구비한 장치는 암 영역 검출의 유효성 평가 장치(10)와 유무선 통신을 통해 연결될 수 있으며, 제2 암 영역 DB(16)에 저장된 제2 암 영역을 유효성 평가부(18)로 제공할 수도 있다.
도 4는 도 1에 구비된 암 영역 처리부의 상세 구성을 도시하는 도면이다.
도 4를 참조하면, 본 개시의 일 실시 예에 따른 암 영역 처리부는 진단 영역 검출모델 및 암 영역 검출모델을 사용하여 상기 암 영역을 포함하는 가이드 정보를 생성 및 제공할 수 있다.
구체적으로, 암 영역 처리부(40)는 진단 영역 검출부(41)와, 암 영역 검출부(43)와, 가이드 정보 제공부(45)를 포함할 수 있다.
진단 영역 검출부(41)는 전술한 암 영역 학습 장치(1)에 의해 구축된 진단 영역 검출모델(100)을 포함할 수 있으며, 암 영역 검출부(43)는 전술한 암 영역 학습 장치(1)에 의해 구축된 암 영역 검출모델(100')을 포함할 수 있다.
진단 영역 검출부(41)는 원본 파라메트릭 MRI(501, 502, 503, 도 5a 참조)를 입력 받음에 따라, 진단 영역 검출모델(100)을 사용하여 진단 영역의 파라메트릭 MRI(511, 512, 513)를 검출하여 출력할 수 있다.
이에 대응하여, 암 영역 검출부(43)는 진단 영역 검출부(41)로부터 출력되는 진단 영역의 파라메트릭 MRI(511, 512, 513)를 입력받을 수 있으며, 암 영역 검출모델(100')을 통해 암 영역에 대한 정보(이하, '암 영역 정보'라 함)를 출력할 수 있다.
특히, 암 영역 검출부(43)는 진단 영역의 파라메트릭 MRI(511, 512, 513) 중 적어도 하나에 암이 예상되는 영역(521, 도 5b 참조)을 마킹한 영상(520)을 암 영역 정보로서 출력할 수 있다.
가이드 정보 제공부(45)는 암 영역 검출부(43)가 제공하는 암 영역 정보를 사용하여 가이드 정보를 생성할 수 있다. 그리고, 가이드 정보 제공부(45)는 생성된 가이드 정보를 디스플레이 등을 통해 출력할 수 있다. 예컨대, 가이드 정보 제공부(45)는 암이 위치한 영역(521)을 마킹한 영상(520)을 가이드 정보로서 디스플레이 등을 통해 출력할 수 있다.
나아가, 암 영역 검출모델(100')은 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성하는 학습을 통해 구축될 수 있는데, 이러한 맥락 정보는 분석 대상 영상에 포함된 특징 영역에 대한 확률값을 바탕으로 구성될 수 있다. 이에 기초하여, 암 영역 검출부(43)는 암 영역으로 검출된 특징 영역에 대한 확률값을 포함하여 암 영역 정보를 구성할 수도 있다.
전술한 바에 기초하여, 암 영역으로 검출된 특징 영역에 대한 확률값을 사용하여 가이드 정보를 생성할 수 있다. 예컨대, 암 영역은 서로 다른 확률값을 갖는 다수의 특징 영역을 포함할 수 있으며, 가이드 정보 제공부(45)는 미리 정해진 임계값을 설정하고, 암 영역으로 검출된 특징 영역에 대한 확률값이 상기 미리 정해진 임계값을 초과하는 영역을 생체검사(biopsy) 후보 포인트로 설정하고, 설정된 생체검사(biopsy) 후보 포인트(531, 532, 533, 도 5c 참조)를 포함하는 가이드 영상(530)을 구성할 수 있다. 전술한 다수의 특징 영역의 각각에 대한 확률값은 확률맵의 형태로 표현될 수 있으며, 암 영역 정보로서, 암 영역에 오버랩되어 표시될 수 있다.
또한, 가이드 정보 제공부(45)는 확률맵(미도시) 또는 생체검사 후보 포인트(531, 532, 533)와 함께 암 영역(535)을 마킹하여 가이드 영상(530)을 구성할 수도 있다.
한편, 본 개시의 일 실시 예에 따른 암 영역 처리부는 진단 영역 검출모델 및 암 영역 검출모델을 사용하여 상기 암 영역을 포함하는 가이드 정보를 생성 및 제공할 수 있다. 본 개시의 일 실시 예에 따른 진단 영역 검출모델 및 암 영역 검출모델은 본 개시의 일 실시예에 따른 암 영역 학습 장치에 의해 구축될 수 있다.
이하, 도 6 내지 도 8을 참조하여, 암 영역 학습 장치와 이를 사용하여 진단 영역 검출모델 및 암 영역 검출모델을 구축하는 동작을 상세하게 설명한다.
도 6은 본 개시의 일 실시 예에 따른 암 영역 학습 장치의 구성을 나타내는 블록도이다.
도 6을 참조하면, 암 영역 학습장치(60)는 암 검출모델 학습부(61), 파라메트릭 MRI 입력부(63), 라벨링 참조정보 제공부(65), 및 라벨링 처리부(67)를 포함할 수 있다.
우선, 암 검출모델 학습부(61)는 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법에 기초하여, 암 검출모델의 학습을 수행할 수 있다. 특히, 암 검출모델 학습부(61)가 암 검출모델의 학습을 수행하기 위해서 분석 대상 영상을 입력받을 수 있으며, 분석 대상 영상에 포함된 특정 객체 또는 특정 영역을 암 영역으로 입력받는 동작, 즉, 라벨링(Labeling) 동작을 수행할 수 있다.
그리고, 암 검출모델 학습부(61)는 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성함으로써, 암 검출모델을 학습할 수 있다. 그리고, 암 검출모델 학습부(61)는 암 검출모델의 학습을 반복적으로 수행하여 암 검출모델(600)을 구축할 수 있다.
암 검출모델 학습부(61)는 분석 대상 영상으로서 MRI 영상을 입력받을 수 있는데, 이러한 분석 대상 영상의 입력은 파라메트릭 MRI 입력부(63)에 의해 처리될 수 있다. 파라메트릭 MRI 입력부(63)는 사용자의 신체를 자기공명영상(MRI; Magnetic Resonance Imaging) 촬영 장치에 의해 촬영된 영상, 즉, MRI를 암 검출모델 학습부(61)에 제공할 수 있다.
나아가, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다.
이에 기초하여, 파라메트릭 MRI 입력부(63)는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI를 암 검출모델 학습부(61)에 제공할 수 있다. 여기서, 적어도 하나의 파라메트릭 MRI는 T1 영상, T2 영상, T2* 영상, ADC 영상, FLAIR 영상, STIR 영상, PWI 등을 포함할 수 있다.
나아가, 암 검출모델 학습부(61)는 사용자(또는 환자)의 신체에 마련된 다양한 신체 기관 또는 진단 영역에 대한 암 검출모델을 학습할 수 있는데, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 적어도 하나의 파라메트릭 MRI가 선택적으로 사용할 수 있다. 이를 위해, 파라메트릭 MRI 입력부(63)는 신체 기관 또는 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 선택적으로 암 검출모델 학습부(61)에 입력할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 파라메트릭 MRI 입력부(63)는 T2 영상, ADC 영상 등을 입력할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 파라메트릭 MRI 입력부(63)는 STIR 영상, T1 영상, T1 with Agents 영상, T2 영상 등을 입력할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 파라메트릭 MRI 입력부(63)는 T1 영상, T2 영상, FLAIR 등을 입력할 수 있다.
또한, 파라메트릭 MRI 입력부(63)는 MRI를 암 검출모델 학습부(61)에 제공한 파라메트릭 MRI를 디스플레이 등을 통해 표시할 수 있다.
추가적으로, 파라메트릭 MRI 입력부(63)는 사용자의 진단 영역이 위치한 신체를 촬영한 MRI를 기준으로 한 파라메트릭 MRI(이하, '원본 파라메트릭 MRI'라 함)를 입력받을 수 있으며, 원본 파라메트릭 MRI로부터 진단 영역을 추출한 파라메트릭 MRI(이하, '진단 영역의 파라메트릭 MRI'라 함)를 검출할 수 있다. 그리고, 진단 영역의 파라메트릭 MRI를 암 검출모델 학습부(61)에 제공하거나, 디스플레이 등을 통해 표시할 수 있다.
파라메트릭 MRI 입력부(63)가 원본 파라메트릭 MRI로부터 진단 영역의 파라메트릭 MRI를 추출하는 동작은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 수행할 수 있다. 예를 들어, 파라메트릭 MRI 입력부(63)는 원본 파라메트릭 MRI를 입력으로 하고, 진단 영역의 파라메트릭 MRI를 출력으로 하는 학습을 통해 소정의 학습모델을 구축할 수 있다. 그리고, 파라메트릭 MRI 입력부(63)는 원본 파라메트릭 MRI가 입력됨에 따라, 진단 영역의 파라메트릭 MRI를 검출하여 출력할 수 있다.
한편, 라벨링 참조정보 제공부(65)는 상기 암 영역의 라벨링 처리에 기여하는 정보를 제공할 수 있다.
사용자(또는 환자)의 진단 영역을 수술을 통하여 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상(Pathology image)을 구성할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(65)는 병리 영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다. 예컨대, 병리영상은 추출된 진단 영역의 암이 존재하는 영역을 지도화한 병리지도(pathology map)를 이미지 형태로 구성한 영상을 포함할 수 있다.
나아가, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(65)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타내는 DWI(Diffusion-weighted imaging)를 확인하고, 이를 디스플레이 등을 통해 표시할 수 있다. 여기서, DWI는 MRI 촬영 장치로부터 제공받거나, MRI 촬영 장치로부터 제공받은 MRI를 가공하여 획득할 수 있다.
마찬가지로, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직이나, 조직의 특성을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(65)는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, 확인된 DCE 신호정보를 제공할 수 있는 환경을 구축할 수 있다. 예컨대, 라벨링 처리부(67)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 표시하면서, 사용자에 의해 지정되는 영역을 표시하는 표시자를 제공할 수 있으며, 사용자에 의해 선택되는 영역을 암 영역으로 설정할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(65)는 라벨링 처리부(67)에 의해 생성 및 표시되는 상기 표시자가 지시하는 영역에 대한 DCE 신호정보를 확인하고, 확인된 DCE 신호정보를 디스플레이 등을 통해 표시할 수 있다.
라벨링 참조정보 제공부(65)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 디스플레이 등을 통해 표시할 수 있다.
다른 예로서, 라벨링 참조정보 제공부(65)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 순차적으로 선택하여 표시할 수 있다. 특히, 라벨링 참조정보 제공부(65)는 라벨링 처리부(67)와 연동하여 병리영상, DWI, 및 DCE 신호정보를 순차적으로 선택하여 표시할 수 있다. 예를 들어, 라벨링 참조정보 제공부(65)는 T2 영상, ADC 영상과 함께 병리영상을 디스플레이할 수 있다. 그리고, 병리영상이 디스플레이되는 상태에서, 라벨링 처리부(67)에 의해 1차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(65)는 T2 영상, ADC 영상과 함께 DWI를 디스플레이할 수 있다. 또한, DWI가 디스플레이되는 상태에서, 라벨링 처리부(67)에 의해 2차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(65)는 표시자가 지시하는 영역을 확인하고, 해당 영역에 대응되는 DCE 신호정보를 확인하여 표시할 수 있다.
본 개시의 일 실시예에서, 라벨링 참조정보 제공부(65)가 적어도 하나의 참조정보를 순차적으로 제공하는 것을 예시하면서, 적어도 하나의 참조정보를 병리영상, DWI, DCE 신호정보 등으로 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다. 또한, 라벨링 참조정보 제공부(65)가 제공하는 적어도 하나의 참조정보의 순서 역시 다양하게 변경될 수 있음은 물론이다.
나아가, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보(즉, 참조정보)는 다양하게 변경될 수 있다. 이에 따라, 라벨링 참조정보 제공부(65)는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 라벨링 참조정보 제공부(65)는 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 참조정보로서 제공할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 라벨링 참조정보 제공부(65)는 T1 Contrast 영상, T2 Contrast 영상 등을 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 라벨링 참조정보 제공부(65)는 FDG-PET, SPECT 등을 참조정보로서 제공할 수 있다.
한편, 라벨링 처리부(67)는 전술한 바와 같이, 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 제공하면서, 암 검출모델 학습부(61)가 암 검출모델을 학습하기 위한 출력값을 지정하는 동작, 즉 라벨링을 수행할 수 있는 환경을 제공할 수 있다.
구체적으로, 라벨링 처리부(67)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 디스플레이에 출력하고, 출력되는 적어도 하나의 파라메트릭 MRI(예, T2 영상)에서 암이 존재하는 영역, 즉 암 영역을 입력받을 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 라벨링 처리부(67)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 소정의 표시자를 출력하고, 외부 입력장치를 통해 선택되는 영역을 암 영역으로 설정할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 암 영역 학습장치에 구비되는 암 검출모델 학습부의 구성을 나타내는 블록도이다.
도 7을 참조하면, 암 검출모델 학습부(70)는 특징 추출부(71), 맥락 생성부(72), 특징 및 맥락 분석부(73)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 암 검출모델 학습부(70)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.
암 검출모델 학습부(70)는 분석 대상 영상의 특징을 추출하고, 추출된 특징에 기초하여 맥락 정보를 생성하고, 추출된 특징 및 생성된 맥락 정보에 기초하여 분석 대상 영상을 분석할 수 있다. 예컨대, 암 검출모델 학습부(70)는 추출된 특징 및 생성된 맥락 정보를 이용하여 영상을 분류하거나 관심 객체의 위치를 찾아낼 수 있다.
암 검출모델 학습부(70)의 입력 영상은 적어도 하나의 파라메트릭 MRI일 수 있다. 상기 적어도 하나의 파라메트릭 MRI(예, T2 영상, ADC 영상 등)은 MRI로부터 소정의 파라미터에 기초하여 재구성된 원본(raw) 이미지이거나 상기 원본 이미지를 저장 또는 전송하기 위한 임의의 형태(포맷)의 이미지일 수 있다.
특징 추출부(71)는 입력 영상을 분석하여 영상의 특징을 추출할 수 있다. 예컨대, 상기 특징은 영상의 각 영역마다의 국소적인 특징일 수 있다. 일 실시 예에 따른 특징 추출부(71)는 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 입력 영상의 특징을 추출할 수 있다. 상기 풀링 기법은 맥스(max) 풀링 기법 및 평균(average) 풀링 기법 중 적어도 하나를 포함할 수 있다. 그러나, 본 개시에서 언급되는 풀링 기법은 맥스 풀링 기법 또는 평균 풀링 기법에 한정되지 않으며, 소정 크기의 영상 영역의 대표값을 획득하는 임의의 기법을 포함한다. 예컨대, 풀링 기법에 사용되는 대표값은 최대값 및 평균값 외에, 분산값, 표준 편차값, 중간값(mean value), 최빈값(most frequent value), 최소값, 가중 평균값 등 중 적어도 하나일 수 있다.
본 개시의 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 "특징들(features)"을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 눈, 코 등과 같은 점진적으로 더 복잡한 특징들을 추출할 수 있다. 합성곱 신경망의 구체적인 동작에 대해서는 도 5를 참고하여 후술한다.
합성곱 신경망은 컨볼루션 연산이 수행되는 합성곱 계층 외에도 풀링 연산이 수행되는 풀링 계층도 포함할 수 있다. 풀링 기법은 풀링 계층에서 데이터의 공간적 크기를 축소하는데 사용되는 기법이다. 구체적으로, 풀링 기법에는 해당 영역에서 최대값을 선택하는 맥스 풀링(max pooling) 기법과 해당 영역의 평균값을 선택하는 평균 풀링(average pooling) 기법이 있으며, 이미지 인식 분야에서는 일반적으로 맥스 풀링 기법이 사용된다. 풀링 기법에서는 일반적으로 풀링의 윈도우 크기와 간격(스트라이드, stride)을 같은 값으로 설정한다. 여기서, 스트라이드란 입력 데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 의미하며, 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용될 수 있다. 풀링 기법의 구체적인 동작에 대해서는 도 8을 참고하여 후술한다.
본 개시의 일 실시 예에 따른 특징 추출부(71)는 분석 대상 영상의 특징을 추출하기 위한 전처리(pre-processing)로서, 분석 대상 영상에 필터링을 적용할 수 있다. 상기 필터링은 고속 푸리에 변환(Fast Fourier Transform, FFT), 히스토그램 평활화(histogram equalization), 모션 아티팩트(motion artifact) 제거 또는 노이즈(noise) 제거 등일 수 있다. 그러나, 본 개시의 필터링은 상기 열거한 방법으로 제한되지 않으며, 영상의 품질을 개선할 수 있는 모든 형태의 필터링을 포함할 수 있다.
맥락 생성부(72)는 특징 추출부(71)로부터 추출된 입력 영상의 특징을 이용하여 입력 영상(분석 대상 영상)의 맥락 정보를 생성할 수 있다. 예컨대, 상기 맥락 정보는 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값일 수 있다. 또한 상기 맥락 정보는 입력 영상의 전역적인 맥락 정보일 수 있다. 일 실시 예에 따른 맥락 생성부(72)는 합성곱 신경망 기법 또는 풀링 기법을 특징 추출부(71)로부터 추출된 특징에 적용하여 맥락 정보를 생성할 수 있다. 상기 풀링 기법은 예컨대, 평균 풀링(average pooling) 기법일 수 있다.
특징 및 맥락 분석부(73)는 특징 추출부(71)에서 추출된 특징 및 맥락 생성부(72)에서 생성된 맥락 정보에 기초하여 영상을 분석할 수 있다. 일 실시예에 따른 특징 및 맥락 분석부(73)는 특징 추출부(71)에서 추출된 영상의 각 영역마다의 국소적인 특징 및 맥락 생성부(72)에서 재구성된 전역적인 맥락을 결합(concatenate)하는 등의 방식으로 함께 사용하여, 입력 영상을 분류하거나 입력 영상에 포함된 관심 객체의 위치 등을 찾는데 이용할 수 있다. 입력 영상 내 특정 2차원 위치에서의 정보는 국소적인 특징 정보뿐만 아니라 전역적인 맥락 정보까지 포함하게 되므로, 특징 및 맥락 분석부(73)는 이들 정보를 이용함으로써, 실제 내용은 상이하지만 국소적인 특징 정보가 유사한 입력 영상들에 대해 보다 정확한 인식 또는 분류 등이 가능하게 된다.
전술한 바와 같이, 본 개시의 일 실시 예에 따른 발명은, 일반적인 합성곱 신경망 기법이 사용하는 국소적인 특징뿐만 아니라 전역적인 맥락 정보를 함께 사용함으로써, 보다 더 정확하고 효율적인 학습 및 영상 분석이 가능하게 된다. 이러한 관점에서 본 개시에 따른 발명을 '맥락 분석을 통한 심층 신경망'이라 할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 8을 참조하면, 특징 추출부(71)는 입력 영상(801)을 이용하여 입력 영상(801)으로부터 특징을 추출하고, 추출된 특징 정보를 포함하는 특징 영상(802)을 생성할 수 있다. 상기 추출된 특징은 입력 영상의 국소 영역에 대한 특징일 수 있다. 상기 입력 영상(801)은 영상 분석 장치의 입력 영상 또는 합성곱 신경망 모델 내의 각 계층에서의 특징맵을 포함할 수 있다. 또한 상기 특징 영상(802)은 입력 영상(801)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 획득된 특징맵 및/또는 특징 벡터를 포함할 수 있다.
맥락 생성부(72)는 특징 추출부(71)에서 추출된 특징 영상(802)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 맥락 정보를 생성할 수 있다. 예컨대, 맥락 생성부(72)는 풀링의 간격(stride)을 다양하게 조절함으로써 영상 전체, 4등분 영역, 9등분 영역 등의 다양한 크기(scale)의 맥락 정보를 생성할 수 있다. 이에 따라, 영상 전체 크기의 영상에 대한 맥락 정보를 포함하는 전체 맥락 정보 영상(811), 영상 전체를 4등분한 크기의 4등분 영상에 대한 맥락 정보를 포함하는 4등분 맥락 정보 영상(812) 및 영상 전체를 9등분한 크기의 9등분 영상에 대한 맥락 정보를 포함하는 9등분 맥락 정보 영상(813)이 획득될 수 있다.
특징 및 맥락 분석부(73)는 상기 특징 영상(802)과 상기 맥락 정보 영상(811, 812, 813)을 모두 이용하여 분석 대상 영상의 특정 영역에 대한 분석을 보다 정확히 수행할 수 있다.
예컨대, 전립선 암과 유사한 형태를 갖는 양성종양이 포함된 영상이 입력 영상인 경우, 특징 추출부(71)가 추출한 국소적인 특징을 포함하는 특징 영상(802)으로부터는 상기 식별된 객체가 전립선 암인지 양성종양인지 정확히 판단할 수 없다. 즉, 특징 추출부(71)는 국소적인 특징에 기초하여 객체의 형상을 인식할 수 있으나, 해당 객체의 형상만 가지고는 정확히 객체를 식별하고 분류할 수 없는 경우가 있다.
본 개시의 일 실시 예에 따른 맥락 생성부(72)는 상기 분석 대상 영상 또는 상기 특징 영상(802)에 기초하여 맥락 정보(811, 812, 813)를 생성함으로써, 보다 정확히 객체를 식별하고 분류할 수 있다.
본 개시의 일 실시 예에 따른 특징 및 맥락 분석부(73)는 상기 맥락 정보를 활용함으로써, 상기 전립선 암 또는 양성종양의 형상을 갖는 객체를 "전립선 암"으로 식별할 수 있다.
도 8을 참조하여 설명한 실시 예에서는 전체 영상에 대한 맥락 정보, 4등분 영상에 대한 맥락 정보, 9등분 영상에 대한 맥락 정보를 생성하고 활용하는 것에 대해 설명하였으나, 맥락 정보를 추출하는 영상의 크기는 이에 한정되지 않는다. 예컨대, 전술한 크기의 영상 이외의 크기를 갖는 영상에 대한 맥락 정보를 생성하고 활용할 수도 있다.
도 9는 본 개시의 일 실시예에 따른 암 영역 검출의 유효성 평가 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 방법은 진단 영역 검출모델과 암 영역 검출모델을 기반으로 가이드 정보를 생성 및 제공할 수 있으며, 가이드 정보를 참조한 제2 암 영역을 입력받을 수 있다.
따라서, 암 영역 검출의 유효성 평가 방법은 가이드 정보의 생성에 기초가 되는 진단 영역 검출모델과 암 영역 검출모델을 준비하기 위한 동작으로서, 진단 영역 검출모델을 구축하는 단계(S901)와 암 영역 검출모델을 구축하는 단계(S902)를 포함할 수 있다.
진단 영역 검출모델을 구축하는 단계(S901)와 암 영역 검출모델을 구축하는 단계(S902)는 암 영역 학습 장치(60)에 의해 수행될 수 있으며, 구체적인 동작은 전술한 암 영역 학습 장치(60)의 구성 및 동작 설명을 참조한다.
S901 단계에서, 암 영역 학습 장치는 적어도 하나의 파라메트릭 MRI를 제공할 수 있다. 사용자의 신체를 MRI 촬영 장치에 의해 촬영된 영상, 즉, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다. 여기서, 적어도 하나의 파라메트릭 MRI는 T1 영상, T2 영상, T2* 영상, ADC 영상, FLAIR 영상, STIR 영상, PWI 등을 포함할 수 있다.
나아가, 암 영역 학습 장치는 사용자(또는 환자)의 신체에 마련된 다양한 신체 기관 또는 진단 영역에 대한 암 검출모델을 학습할 수 있는데, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 적어도 하나의 파라메트릭 MRI가 선택적으로 사용할 수 있다. 이를 위해, 암 영역 학습 장치는 신체 기관 또는 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 선택적으로 입력할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 암 영역 학습 장치는 T2영상, ADC영상 등을 입력할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 암 영역 학습 장치는 TIR 영상, T1 영상, T1 with Agents 영상, T2 영상 등을 입력할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 암 영역 학습 장치는 T1 영상, T2 영상, FLAIR 등을 입력할 수 있다.
나아가, 적어도 하나의 파라메트릭 MRI는 진단 영역에 대응되는 영역을 추출한 영상일 수 있다. 구체적으로, 암 영역 학습 장치는 원본 파라메트릭 MRI를 입력받을 수 있으며, 원본 파라메트릭 MRI로부터 진단 영역을 추출한 파라메트릭 MRI, 즉, 진단 영역의 파라메트릭 MRI를 검출할 수 있다. 그리고, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI를 제공할 수 있다.
이때, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI를 딥러닝 모델의 학습을 위한 입력으로서 제공할 수 있다. 그리고, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI를 제공하는 화면을 구성하여 디스플레이 등을 통해 출력할 수 있다.
그리고, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI에서 암이 위치한 영역을 지정하는데 참조할 수 있는 정보(이하, '참조정보'라 함)를 제공할 수 있다.
예를 들어, 사용자(또는 환자)의 진단 영역을 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상를 구성할 수 있는데, 암 영역 학습 장치는 이러한 병리영상을 입력받을 수 있는 환경을 제공할 수 있다. 그리고, 암 영역 학습 장치는 입력받은 병리영상을 화면의 일 영역을 통해 디스플레이할 수 있다.
MRI는 다양한 파라미터를 포함할 수 있는데, T2 영상이나, ADC 영상 등은 2차원 형태의 영상로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 한편, MRI에 기초하여 획득되는 영상 중, DWI는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타낼 수 있으므로, T2 영상이나, ADC 영상 등에 표시되지 않는 정보를 표현할 수 있다. 이를 고려하여, 암 영역 학습 장치는 DWI를 화면의 일 영역을 통해 더 디스플레이할 수 있다.
나아가, 암 영역 학습 장치는 DCE 신호정보를 확인할 수 있으며, DCE 신호정보를 화면의 일 영역을 통해 더 디스플레이 할 수도 있다. DCE 신호정보는 해당 기관의 밝기를 확인하는 정보로서 MRI에 기초하여 획득되는 영상으로부터 소정의 영역을 선택하고, 선택된 영역에 대한 밝기 정보를 나타내는 정보일 수 있다. 따라서, 암 영역 학습 장치는 사용자 인터페이스를 통해, 사용자에 의해 선택되는 영역을 확인하고, 이에 대응되는 DCE 신호정보를 표시할 수 있다.
나아가, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보는 다양하게 변경될 수 있다. 이에 따라, 암 영역 학습 장치는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 암 영역 학습 장치는 T1 Contrast 영상, T2 Contrast 영상, PET, SPECT, DSA 등을 참조정보로서 제공할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 암 영역 학습 장치는 T1 Contrast 영상, T2 Contrast 영상 등을 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 암 영역 학습 장치는 FDG-PET, SPECT 등을 참조정보로서 제공할 수 있다.
또한, 암 영역 학습 장치는 참조정보(병리영상, DWI, DCE 신호정보 등)를 표시하면서, 라벨링을 수행할 수 있는 사용자 인터페이스를 제공할 수 있다.
이러한 사용자 인터페이스는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 포함할 수 있다. 또한, 사용자 인터페이스는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자를 포함할 수 있다. 그리고, 암 영역 학습 장치는 표시자를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 사용자 인터페이스는 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자를 포함할 수 있다.
사용자 인터페이스를 통해 암 영역이 설정되면, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI를 입력으로 하고, 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다.
한편, S903 단계에서, 암 영역 검출의 유효성 평가장치는 분석 대상 영상을 입력받을 수 있다. 여기서, 분석 대상 영상은 암을 진단할 대상이 되는 사용자(또는 환자)의 신체를 촬영한 MRI로서, 전술한 적어도 하나의 파라메트릭 MRI를 포함할 수 있다.
분석 대상 영상이 입력됨에 따라(S903-예), 암 영역 검출의 유효성 평가장치는 전술한 진단 영역 검출모델과 암 영역 검출모델을 사용하여 암 영역 정보를 확인할 수 있다(S904).
구체적으로, 분석 대상 영상으로서 원본 파라메틱 MRI(501, 502, 503, 도 5a 참조)를 입력 받음에 따라, 암 영역 검출의 유효성 평가장치는 진단 영역 검출모델을 사용하여 진단 영역의 파라메틱 MRI(511, 512, 513)를 검출 및 출력할 수 있다.
이에 대응하여, 암 영역 검출의 유효성 평가장치는 진단 영역의 파라메틱 MRI(511, 512, 513)를 암 영역 검출모델에 입력하여, 암 영역 정보를 출력할 수 있다.
특히, 암 영역 검출의 유효성 평가장치는 진단 영역의 파라메틱 MRI(511, 512, 513)에 암이 위치한 영역(271a, 도 2b 참조)을 마킹한 영상(271)을 암 영역 정보로서 출력할 수 있다.
S905 단계에서, 암 영역 검출의 유효성 평가장치는 S904 단계를 통해 확인된 암 영역 정보를 사용하여 가이드 정보를 생성 및 제공할 수 있다.
구체적으로, 암 영역 검출의 유효성 평가장치는 암이 위치한 영역을 마킹한 영상(271)을 가이드 정보로서 디스플레이 등을 통해 출력할 수 있다.
나아가, 암 영역 검출모델은 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성하는 학습을 통해 구축될 수 있는데, 이러한 맥락 정보는 암 영역 검출모델은 분석 대상 영상에 포함된 특징 영역에 대한 확률값을 바탕으로 구성될 수 있다. 이에 기초하여, S904 단계에서, 암 영역 검출의 유효성 평가장치는 암 영역으로 검출된 특징 영역에 대한 확률값을 암 영역 정보로서 제공할 수도 있다.
그리고, S905 단계에서, 암 영역 검출의 유효성 평가장치는 암 영역으로 검출된 특징 영역에 대한 확률값을 사용하여 가이드 정보를 생성할 수 있다. 예컨대, 암 영역 검출의 유효성 평가장치는 미리 정해진 임계값을 설정하고, 암 영역으로 검출된 특징 영역에 대한 확률값이 상기 미리 정해진 임계값을 초과하는 영역을 후보 포인트로 설정하고, 설정된 후보 포인트(272a, 272b, 272c, 도 2b 참조)를 포함하는 가이드 영상(272)을 구성할 수 있다.
S906 단계에서, 암 영역 검출의 유효성 평가장치는 가이드 정보를 기반으로, 제2 암 영역을 입력받을 수 있다. 예컨대, 암 영역 검출의 유효성 평가장치는 가이드 정보를 디스플레이하고, 제2 암 영역을 입력받을 수 있는 입력 인터페이스를 제공할 수 있다.
예컨대, 입력 인터페이스(280, 도 2b참조)는 T2 영상을 표시하는 영상 표시부(281)와, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(282), 표시자(282)를 통해 선택되는 소정의 영역을 암 영역으로 설정하고 표시하는 제2 암 영역 지시자(283)를 포함할 수 있다.
이에 따라, 사용자(전문가 또는 의사)는 가이드 정보(예, 가이드 영상(272))를 확인하면서, 입력 인터페이스를 통해 소정의 영역을 제2 암 영역으로 설정하여 입력할 수 있다.
비록, 본 개시의 일 실시예에서, 영상 표시부(281)가 T2 영상을 표시하는 것을 예시하였으나, 본 개시가 영상 표시부(281)가 표시하는 영상을 한정하는 것은 아니다. 영상 표시부(281)가 표시하는 영상은 진단 영역 또는 암 영역에 대응하여 다양하게 변경될 수 있다.
S907 단계에서, 암 영역 검출의 유효성 평가장치는 파라메트릭 MRI를 기반으로, 제1 암 영역을 입력받을 수 있다. 즉, 암 영역 검출의 유효성 평가장치는 가이드 정보를 디스플레이하고, 제1 암 영역을 입력받을 수 있는 입력 인터페이스를 제공할 수 있다.
예컨대, 암 영역 검출의 유효성 평가장치는 사용자(전문가 또는 의사 등)가 적어도 하나의 파라메트릭 MRI를 참조하면서 제1 암 영역을 설정할 수 있도록, 적어도 하나의 파라메트릭 MRI를 제공할 수 있다. 그리고, 암 영역 검출의 유효성 평가장치는 적어도 하나의 파라메트릭 MRI를 표시하는 파라메트릭 MRI 표시부(210, 도 2a 참조)와, 제1 암 영역을 입력할 수 있는 입력 인터페이스(220)를 포함하는 화면(200)을 제공할 수 있다.
파라메트릭 MRI 표시부(210)는 T2영상, ADC 영상, DWI, DCE 신호정보 중 적어도 하나를 표시하는 표시부(211, 212, 213, 214)를 포함할 수 있다.
그리고, 입력 인터페이스(220)는 T2 영상을 표시하는 영상 표시부(221)와, 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(222)를 포함할 수 있다. 또한, 입력 인터페이스(220)는 표시자(222)를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 암 영역으로 설정된 해당 영역을 표시하는 제1 암 영역 지시자(223)를 포함할 수 있다.
이러한 환경에서, 사용자(전문가 또는 의사)는 적어도 하나의 파라메트릭 MRI를 확인하면서, 입력 인터페이스를 통해 소정의 영역을 제1 암 영역으로 설정하여 입력할 수 있다.
비록, 본 개시의 일 실시예에서, 영상 표시부(221)가 T2 영상을 표시하는 것을 예시하였으나, 본 개시가 영상 표시부(221)가 표시하는 영상을 한정하는 것은 아니다. 영상 표시부(221)가 표시하는 영상은 진단 영역 또는 암 영역에 대응하여 다양하게 변경될 수 있다.
한편, 제1 암 영역과, 제2 암 영역을 입력하는 시간적 차이가 없을 경우, 사용자(전문가 또는 의사 등)는 제1 암 영역(또는 제2 암 영역)을 입력한 후, 자신이 입력한 제1 암 영역(또는 제2 암 영역)을 인지하고 있는 상태에서, 제2 암 영역(또는 제1 암 영역)을 입력할 수 있다. 이와 같이, 사용자(전문가 또는 의사 등)가 자신이 입력한 제1 암 영역(또는 제2 암 영역)을 인지하고 있는 상태에서, 제2 암 영역(또는 제1 암 영역)을 입력할 경우, 사용자(전문가 또는 의사 등)의 의지를 기반으로 제2 암 영역(또는 제1 암 영역)이 입력될 수 있다. 사용자(전문가 또는 의사 등)의 의지를 기반으로 제2 암 영역(또는 제1 암 영역)이 입력될 경우, 제2 암 영역(또는 제1 암 영역)이 정확하게 입력되지 않으며, 제2 암 영역(또는 제1 암 영역)에 대한 유효성을 판단하기 어려울 수 있다.
전술한 바를 고려하여, 암 영역 검출의 유효성 평가장치는 S906 단계를 수행한 후, 소정의 시간(예컨대, 1주일 또는 1달)이 경과된 후 S907 단계를 진행할 수 있다. 이를 위해, 암 영역 검출의 유효성 평가장치는 S906 단계가 완료된 후부터 소정의 시간(예컨대, 1주일 또는 1달)이 경과되었는지를 확인하고, 소정의 시간(예컨대, 1주일 또는 1달)이 경과됨에 따라, S907 단계를 진행할 수 있다.
한편, 사용자(또는 환자)의 신체 영역의 일부(예컨대, 전립선 영역)를 수술을 통하여 적출하고, 적출된 신체 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상을 구성할 수 있다. 이를 고려하여, 암 영역 검출의 유효성 평가장치는 병리영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다(S908). 예컨대, 병리영상은 추출된 신체 영역의 암이 존재하는 영역을 지도화한 병리지도를 이미지 형태로 구성한 영상을 포함할 수 있다.
S909 단계에서, 암 영역 검출의 유효성 평가장치는 병리영상을 기준으로 제1 암 영역과 제2 암 영역을 비교하여, 제2 암 영역에 대한 유효성 평가 정보를 생성할 수 있다.
예컨대, 암 영역 검출의 유효성 평가장치는 신체 영역의 일부(예컨대, 전립선 영역)를 소정의 크기단위로 분할하고(302, 도 3a 참조), 해당 영역 내에서 상기 제1 암 영역(303)이 존재하는 소정의 단위에 대한 제1바이너리 맵(304)을 구성할 수 있다.
또한, 암 영역 검출의 유효성 평가장치는 병리영상(311)을 소정의 크기단위로 분할하고(312), 신체 영역의 일부(예컨대, 전립선 영역)가 위치한 영역 내에서 상기 제1 암 영역(313)이 존재하는 소정의 단위에 대한 병리 바이너리 맵(314)을 구성할 수 있다.
그리고, 암 영역 검출의 유효성 평가장치는 병리 바이너리 맵(314)을 기준으로, 제1바이너리 맵(304)에 대한 제1일치도 정보(320)를 확인할 수 있다. 상기 제1일치도 정보(320)는 병리 바이너리 맵(314)과 제1바이너리 맵(304)의 대응되는 단위 영역이 유사한 정도를 수치화하여 표시한 정보일 수 있다. 나아가, 상기 제1일치도 정보(320)는 단위 영역에 대한 민감도 정보와 특이도 정보를 포함할 수 있다.
마찬가지로, 암 영역 검출의 유효성 평가장치는 신체 영역의 일부(예컨대, 전립선 영역)를 소정의 크기단위로 분할하고(332, 도 3b 참조), 해당 영역 내에서 상기 제2 암 영역(333)이 존재하는 소정의 단위에 대한 제2바이너리 맵(334)을 구성할 수 있다. 그리고, 암 영역 검출의 유효성 평가장치는 병리 바이너리 맵(314)을 기준으로, 제2바이너리 맵(334)에 대한 제2일치도 정보(340)를 확인할 수 있다. 상기 제2일치도 정보(340)는 병리 바이너리 맵(314)과 제2바이너리 맵(334)의 대응되는 단위 영역이 유사한 정도를 수치화하여 표시한 정보일 수 있다. 나아가, 상기 제2일치도 정보(340)는 단위 영역에 대한 민감도 정보와 특이도 정보를 포함할 수 있다.
또한, 암 영역 검출의 유효성 평가장치는 전술한 제1일치도 정보(320)와 제2일치도 정보(340)를 비교하여, 유효성 평가 정보를 산출 및 출력할 수 있다(도 3c 참조). 예컨대, 암 영역 검출의 유효성 평가장치는 전술한 제1일치도 정보(320)와 제2일치도 정보(340)를 비교하고, 제2일치도 정보(340)가 제1일치도 정보(320)보다 상대적으로 높은 수치를 나타낼 경우 제2 암 영역이 유효한 것으로 결정하고, 제2일치도 정보(340)가 제1일치도 정보(320)와 동일하거나 상대적으로 낮은 수치를 나타낼 경우 제2 암 영역이 유효하지 않은 것으로 결정할 수 있다.
제2 암 영역은 가이드 정보를 기반으로 사용자(전문가 또는 의사 등)가 암 영역이 존재할 가능성이 높은 영역을 지정한 것이다. 따라서, 상기 유효성 평가 정보가 제2 암 영역이 유효한 것임을 나타낼 경우, 가이드정보를 제공하는 구성부는 암이 존재하는 영역을 결정하는데 유효하게 사용될 수 있는 장치로 인정될 수 있다.
도 10은 본 개시의 일 실시예에 따른 암 영역 검출의 유효성 평가 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 10을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (20)

  1. 암 영역 검출의 유효성을 평가하는 장치에 있어서,
    서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 파라메트릭 MRI 제공부와,
    상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 제1 암 영역 입력부와,
    상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하고, 상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 생성 및 제공하는 암 영역 처리부와,
    상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 제2 암 영역 입력부와,
    추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 유효성 평가부를 포함하고,
    상기 유효성 평가부는,
    상기 병리영상, 상기 제1 암 영역의 영상, 및 상기 제2 암 영역의 영상 을 정형화하고,
    정형화된 상기 병리영상과 상기 제1 암 영역의 영상의 일치 정도를 수치화한 제1일치도 정보를 구성하고,
    정형화된 상기 병리영상과 상기 제2 암 영역의 영상의 일치 정도를 수치화한 제2일치도 정보를 구성하고,
    제1 및 제2일치도 정보를 기반으로 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  2. 제1항에 있어서,
    상기 유효성 평가부는,
    상기 병리영상의 바이너리 맵과 상기 제1 암 영역의 바이너리 맵을 구성하고,
    상기 병리영상의 바이너리 맵과 상기 제1 암 영역의 바이너리 맵 사이의 상기 제1일치도 정보를 구성하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  3. 제2항에 있어서,
    상기 유효성 평가부는,
    상기 제2 암 영역의 바이너리 맵을 구성하고,
    상기 병리영상의 바이너리 맵과 상기 제2 암 영역의 바이너리 맵 사이의 상기 제2일치도 정보를 구성하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  4. 제3항에 있어서,
    상기 유효성 평가부는,
    상기 제1일치도 정보와 상기 제2일치도 정보를 비교하여 유효성 평가 정보를 생성하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  5. 제3항에 있어서,
    상기 제1일치도 정보 또는 상기 제2일치도 정보는 민감도(Sensitivity) 정보 및 특이도(Specificity) 정보를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  6. 제1항에 있어서,
    상기 암 영역 검출모델은,
    상기 암 영역에 포함된 적어도 하나의 특징 영역에 대한 암이 존재할 확률값을 출력하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 파라메트릭 MRI는,
    T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2*(T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR(Fluid Attenuated inversion recovery) 영상, STIR(Short TI inversion recovery) 영상, PWI(Perfusion weighted image) 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  8. 제1항에 있어서,
    상기 암 영역 검출모델은,
    적어도 하나의 참조정보를 사용하여 설정된 상기 암 영역의 라벨링 정보를 기반으로 상기 암 영역 정보를 결정하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 참조정보는,
    추출된 진단 영역의 암이 존재하는 영역을 이미지화하여 표시한 병리영상, DWI(Diffusion-weighted imaging), 및 DCE(Dynamic Contrast Enhanced) 신호정보 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  10. 제8항에 있어서,
    상기 암 영역 검출모델은,
    상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제1딥러닝 모델과,
    상기 적어도 하나의 파라메트릭 MRI 및 DWI를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI 및 DWI를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제2딥러닝 모델과,
    상기 적어도 하나의 MRI 및 DCE 신호정보를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI 및 DCE 신호정보를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제3딥러닝 모델을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  11. 적어도 하나의 프로세서, 사용자 인터페이스 입력 장치, 사용자 인터페이스 출력 장치를 포함하는 컴퓨팅 시스템이 암 영역을 평가하는 방법에 있어서,
    상기 적어도 하나의 프로세서가, 상기 사용자 인터페이스 출력 장치를 통해 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 과정과,
    상기 적어도 하나의 프로세서가, 상기 사용자 인터페이스 입력 장치를 통해 상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 과정과,
    상기 적어도 하나의 프로세서가, 상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 구축하는 과정과,
    상기 적어도 하나의 프로세서가, 상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 제공하는 과정과,
    상기 적어도 하나의 프로세서가, 상기 사용자 인터페이스 입력 장치를 통해 상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 과정과,
    상기 적어도 하나의 프로세서가, 추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 과정을 포함하고,
    상기 유효성 평가 정보를 생성하는 과정은,
    상기 병리영상, 상기 제1 암 영역의 영상, 및 상기 제2 암 영역의 영상을 정형화하는 과정과,
    정형화된 상기 병리영상과 상기 제1 암 영역의 영상의 일치 정도를 수치화한 제1일치도 정보를 구성하는 과정과,
    상기 정형화된 상기 병리영상과 상기 제2 암 영역의 영상의 일치 정도를 수치화한 제2일치도 정보를 구성하는 과정과,
    제1 및 제2일치도 정보를 기반으로 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 과정을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  12. 제11항에 있어서,
    상기 유효성 평가 정보를 생성하는 과정은,
    상기 병리영상의 바이너리 맵을 구성하는 과정과,
    상기 제1 암 영역의 바이너리 맵을 구성하는 과정과,
    상기 병리영상의 바이너리 맵과 상기 제1 암 영역의 바이너리 맵 사이의 상기 제1일치도 정보를 구성하는 과정을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  13. 제12항에 있어서,
    상기 유효성 평가 정보를 생성하는 과정은,
    상기 제2 암 영역의 바이너리 맵을 구성하는 과정과,
    상기 병리영상의 바이너리 맵과 상기 제2 암 영역의 바이너리 맵 사이의 상기 제2일치도 정보를 확인하는 과정을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  14. 제13항에 있어서,
    상기 유효성 평가 정보를 생성하는 과정은,
    상기 제1일치도 정보와 상기 제2일치도 정보를 비교하여 유효성 평가 정보를 생성하는 과정을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  15. 제13항에 있어서,
    상기 제1일치도 정보 또는 상기 제2일치도 정보는 민감도(Sensitivity) 정보 및 특이도(Specificity) 정보를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  16. 제11항에 있어서,
    상기 암 영역 검출모델은,
    상기 암 영역에 포함된 적어도 하나의 특징 영역에 대한 암이 존재할 확률값을 출력하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  17. 제11항에 있어서,
    상기 적어도 하나의 파라메트릭 MRI는,
    T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR (Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  18. 제11항에 있어서,
    상기 암 영역 검출모델은,
    적어도 하나의 참조정보를 사용하여 설정된 상기 암 영역의 라벨링 정보를 기반으로 상기 암 영역 정보를 결정하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  19. 제18항에 있어서,
    상기 적어도 하나의 참조정보는,
    추출된 진단 영역의 암이 존재하는 영역을 이미지화하여 표시한 병리영상, DWI(Diffusion-weighted imaging), 및 DCE(Dynamic Contrast Enhanced) 신호정보 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  20. 제18항에 있어서,
    상기 암 영역 검출모델은,
    상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제1딥러닝 모델과,
    상기 적어도 하나의 파라메트릭 MRI 및 DWI를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI 및 DWI를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제2딥러닝 모델과,
    상기 적어도 하나의 MRI 및 DCE 신호정보를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI 및 DCE 신호정보를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제3딥러닝 모델을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
KR1020180121394A 2018-10-11 2018-10-11 암 영역 검출의 유효성 평가 장치 KR101996475B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180121394A KR101996475B1 (ko) 2018-10-11 2018-10-11 암 영역 검출의 유효성 평가 장치
PCT/KR2019/013395 WO2020076133A1 (ko) 2018-10-11 2019-10-11 암 영역 검출의 유효성 평가 장치
US17/228,664 US11854193B2 (en) 2018-10-11 2021-04-12 Validity evaluation device for cancer region detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180121394A KR101996475B1 (ko) 2018-10-11 2018-10-11 암 영역 검출의 유효성 평가 장치

Publications (1)

Publication Number Publication Date
KR101996475B1 true KR101996475B1 (ko) 2019-10-01

Family

ID=68207751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180121394A KR101996475B1 (ko) 2018-10-11 2018-10-11 암 영역 검출의 유효성 평가 장치

Country Status (3)

Country Link
US (1) US11854193B2 (ko)
KR (1) KR101996475B1 (ko)
WO (1) WO2020076133A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020076133A1 (ko) * 2018-10-11 2020-04-16 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치
KR20200041813A (ko) * 2018-10-11 2020-04-22 (주)제이엘케이인스펙션 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
KR20230063147A (ko) 2021-11-01 2023-05-09 인제대학교 산학협력단 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템
KR20230080145A (ko) 2021-11-29 2023-06-07 인제대학교 산학협력단 이중 채널 조직 특징 기술을 사용하는 인공 지능 기반 전립선암 검출 방법 및 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220051060A1 (en) * 2020-08-13 2022-02-17 Ohio State Innovation Foundation Methods for creating privacy-protecting synthetic data leveraging a constrained generative ensemble model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101811028B1 (ko) * 2017-08-25 2017-12-20 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180082817A (ko) * 2017-01-11 2018-07-19 서울여자대학교 산학협력단 다중 파라메터 자기공명영상에서 전립선 주변부 영역의 전립선암 자동 검출 및 국소화 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082551A (ko) * 2011-12-08 2013-07-22 한국전자통신연구원 임상 자료 분석 장치 및 그것의 임상 자료 분석 방법
WO2013091186A1 (zh) * 2011-12-21 2013-06-27 中国科学院自动化研究所 多参数三维磁共振图像脑肿瘤分割方法
US10489908B2 (en) * 2017-02-22 2019-11-26 Siemens Healthcare Gmbh Deep convolutional encoder-decoder for prostate cancer detection and classification
EP3923237A1 (en) * 2017-02-22 2021-12-15 The United States of America as represented by The Secretary Department of Health and Human Services Detection of prostate cancer in multi-parametric mri using random forest
AU2019224170B2 (en) * 2018-02-26 2024-04-18 The Board Of Regents Of The University Of Texas System 3-dimensional representations of post-contrast enhanced brain lesions
KR101996475B1 (ko) * 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180082817A (ko) * 2017-01-11 2018-07-19 서울여자대학교 산학협력단 다중 파라메터 자기공명영상에서 전립선 주변부 영역의 전립선암 자동 검출 및 국소화 방법
KR101811028B1 (ko) * 2017-08-25 2017-12-20 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020076133A1 (ko) * 2018-10-11 2020-04-16 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치
KR20200041813A (ko) * 2018-10-11 2020-04-22 (주)제이엘케이인스펙션 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
KR102150853B1 (ko) 2018-10-11 2020-09-03 (주)제이엘케이 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
US11854193B2 (en) 2018-10-11 2023-12-26 Jlk Inc. Validity evaluation device for cancer region detection
KR20230063147A (ko) 2021-11-01 2023-05-09 인제대학교 산학협력단 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템
KR20230080145A (ko) 2021-11-29 2023-06-07 인제대학교 산학협력단 이중 채널 조직 특징 기술을 사용하는 인공 지능 기반 전립선암 검출 방법 및 시스템

Also Published As

Publication number Publication date
US20210303933A1 (en) 2021-09-30
US11854193B2 (en) 2023-12-26
WO2020076133A1 (ko) 2020-04-16

Similar Documents

Publication Publication Date Title
KR101996475B1 (ko) 암 영역 검출의 유효성 평가 장치
US10489908B2 (en) Deep convolutional encoder-decoder for prostate cancer detection and classification
US11769594B2 (en) Deep learning model learning device and method for cancer region
US10628930B1 (en) Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data
Korfiatis et al. Automated segmentation of hyperintense regions in FLAIR MRI using deep learning
RU2667879C1 (ru) Обработка и анализ данных на изображениях компьютерной томографии
US20150173705A1 (en) Apparatus and method for adapting diagnostic model for computer-aided diagnosis
WO2019223123A1 (zh) 病变部位识别方法及装置、计算机装置及可读存储介质
RU2752690C2 (ru) Обнаружение изменений на медицинских изображениях
KR20220050173A (ko) 딥 러닝을 사용한 정확하고 신속한 양전자 방출 단층 촬영을 위한 시스템 및 방법
CN114332132A (zh) 图像分割方法、装置和计算机设备
JP2017527788A (ja) 個別化テンプレート画像による定位正則化を含むイメージングデータ統計的検定
WO2023169564A1 (en) Systems and methods for determining information of regions of interest
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
CN111971751A (zh) 用于评估动态数据的系统和方法
US11817204B2 (en) Specialized computer-aided diagnosis and disease characterization with a multi-focal ensemble of convolutional neural networks
KR20200041773A (ko) 암 영역 정보 보정 장치 및 방법
KR20200041772A (ko) 암 영역 상태 평가 장치 및 방법
CN114612373A (zh) 一种图像识别方法及服务器
US20230386032A1 (en) Lesion Detection and Segmentation
US20210407674A1 (en) Method and arrangement for identifying similar pre-stored medical datasets
Czajkowska et al. A new parametric model-based technique in bone tumour analysis
US20240055124A1 (en) Image analysis method for improved clinical decision making
Martins Unsupervised brain anomaly detection in MR images
Rachmadi et al. Limited one-time sampling irregularity map (lots-im): Automatic unsupervised quantitative assessment of white matter hyperintensities in structural brain magnetic resonance images