KR102328229B1 - 인공지능 기반의 3차원 의료 영상을 이용한 종양 검출 및 진단 방법 - Google Patents

인공지능 기반의 3차원 의료 영상을 이용한 종양 검출 및 진단 방법 Download PDF

Info

Publication number
KR102328229B1
KR102328229B1 KR1020210143984A KR20210143984A KR102328229B1 KR 102328229 B1 KR102328229 B1 KR 102328229B1 KR 1020210143984 A KR1020210143984 A KR 1020210143984A KR 20210143984 A KR20210143984 A KR 20210143984A KR 102328229 B1 KR102328229 B1 KR 102328229B1
Authority
KR
South Korea
Prior art keywords
image
tumor
unit
present
medical image
Prior art date
Application number
KR1020210143984A
Other languages
English (en)
Inventor
홍지수
송수화
Original Assignee
주식회사 휴런
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴런 filed Critical 주식회사 휴런
Priority to KR1020210143984A priority Critical patent/KR102328229B1/ko
Application granted granted Critical
Publication of KR102328229B1 publication Critical patent/KR102328229B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Databases & Information Systems (AREA)

Abstract

본 발명은 의료 영상을 이용하여 종양을 검출하고, 검출된 종양의 형태와 특성을 진단하는 방법에 관한 것이다. 본 발명의 일 양상인 의료 영상 기반 종양 검출 및 진단 방법은, 입력부가 환자와 관련된 의료 영상을 획득하는 제 1 단계; 전처리부가 종양(tumor) 영역의 관찰이 가능하도록, 상기 획득한 의료 영상을 전처리하는 제 2 단계; 분석부가 심층 신경망 기반 딥 러닝 기법을 적용하여, 상기 전처리된 영상을 복수의 영역으로 분할하는 제 3 단계; 및 측정부가 상기 분할된 복수의 영역에 대해 군집화(clustering)를 수행함으로써, 그룹화(grouping)하는 제 4 단계;를 포함하고, 상기 제 2 단계에서, 상기 전처리부는, 상기 획득한 의료 영상의 방향을 정렬하고, 상기 획득한 의료 영상 내의 균일성을 위해, 상기 영상 내 신호 편향을 정정하며, 타겟(target)인 상기 종양 영역 이외의 상기 획득한 의료 영상 내의 영역을 제거하고, 상기 심층 신경망으로 입력되는 영상과 상기 분할된 복수의 영역 관련 영상은, 3차원 영상일 수 있다.

Description

인공지능 기반의 3차원 의료 영상을 이용한 종양 검출 및 진단 방법 {AI based tumor detection and diagnostic method using 3D medical image}
본 발명은 3차원 의료 영상을 이용하여 종양을 검출하고, 검출된 종양의 형태와 특성을 진단하는 방법에 관한 것이다. 더욱 상세하게 본 발명은, 의료 영상 및 환자 정보를 기반으로, 인공지능(AI)을 접목하여 종양을 검출한 후, 검출된 종양의 형태와 특성을 진단하고, 예후 예측에 대한 정보를 제공함으로써, 의료인이 환자를 진단하고 치료 계획을 수립하는 단계에 적합한 정보를 제공하는 장치 및 방법에 관한 것이다.
종양(tumor)은 체내의 세포가 자율성을 가지고 과잉으로 발육한 것을 말한다.
종양(tumor)의 발육은 항상 종양세포 자체의 분열증식에 의하고, 발육의 형식은 두 가지로 크게 나누며, 종양의 성질이 양성인지 악성인지를 구분하는 실마리로서 임상상 중요시되고 있다.
하나는 팽창성 또는 압배성 발육으로 양성종양에서 볼 수 있고, 다른 하나는 침윤성 발육으로 악성종양에서 볼 수 있다. 팽창성 발육은 종양조직이 하나의 집단으로서 주위의 정상조직을 헤쳐내듯이 발육하는 것으로 직접적인 피해를 주는 일은 드물다. 침윤성 발육은 종양세포가 주위 조직 사이로 침윤하듯이 발육하는 것으로서 주위 조직을 파괴하면서 증식하고 발육속도도 빠르다.
한편 종양이 퍼지는 상태도 두 가지로 크게 나눌 수 있다. 즉, 연속적으로 퍼지는 것과 불연속적으로 퍼지는 것이 있다. 전자는 원발장소를 중심으로 주위에 연속적으로 퍼지는 것으로서, 팽창성 발육, 침윤성 발육이 여기에 속한다.
후자는 원발장소로부터 떨어진 자리에 옮겨진 다음에 발육하는 것으로서 대표적인 것이 전이이다.
이 종양의 전이는 악성종양이 가지는 특징의 하나로서 림프행성 또는 혈행성으로 이루어진다. 그 밖에 종양세포가 체강 내에 떨어져 부착한 다음, 한꺼번에 많이 발육하는 파종이나 접촉에 의한 접촉전이 등이 있다.
분류와 관련하여, 먼저 그 조직이 성숙한 것인가 미숙한 것인가 하는 점으로 분류한다면 전자는 양성종양, 후자는 악성종양이다. 그 둘을 다시 상피성인가 비상피성인가로 분류한다면, 악성종양의 경우는 상피성의 것이 암종, 비상피성의 것이 육종이다.
성숙한 상피성 종양에는 유두종, 선종, ·낭종이 있고, 성숙한 비상피성 종양에는 섬유종, 점액종, 지방종, 골종, 흑색종, 근종 등이 포함된다. 그리고 미숙한 상피성 종양에는 단순암, 편평상피암, 원주상피암, 부신종, 간종, 법랑종 등이 있고, 미숙한 비상피성 종양에는 단순육종, 섬유육종, 점액육종, 지방육종, 골육종, 흑색육종, 근육종 등이 포함된다.
특히, 뇌전이암(Brain metastasis)은 원발성 암이 혈관을 타고 뇌로 전이된 암을 의미하고, 악성 종양이 있는 환자에게서 뇌전이가 발병할 경우, 생명에 치명적일 수 있다.
뇌전이는 크기가 매우 다양하게 나타나며 대부분 구형을 띄는 특성을 갖는다.
하지만 T1-weighted MRI(T1 강조 MRI) 영상에서 백질(white-matter)과 유사한 밝기 값으로 나타나기 때문에, 전통적인 영상 기반 분석 기법으로는 진단하기가 어렵다는 문제점이 있다.
현재는, 의사가 영상을 일일이 살펴보며 병변을 찾는 방식으로 진단하는 방식이 적용되고 있다.
자동화된 방법을 적용하려는 시도가 있어, T1-MRI 이외에 여러가지 영상을 함께 넣어서 진단하는 연구가 있으나 과정에서 2D 영상을 기반으로 분석했기 때문에, 재구성 과정에서 슬라이스(slice) 간 끊김이 발생되고, 이는 검출의 정확도를 떨어트리는 심각한 문제점이 존재한다.
1. 대한민국 특허 등록번호 제10-1793609호(2017년 11월 6일 공고) 2. 대한민국 특허 등록번호 제10-2072476 호(2020년 2월 3일 공고)
본 발명의 목적은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 의료 영상을 이용하여 종양을 검출하고, 검출된 종양의 형태와 특성을 진단하는 장치 및 방법을 사용자에게 제공하고자 한다.
구체적으로 본 발명은, 의료 영상 및 환자 정보를 기반으로, 인공지능(AI)을 접목하여 종양을 검출한 후, 검출된 종양의 형태와 특성을 진단하고, 예후 예측에 대한 정보를 제공함으로써, 의료인이 환자를 진단하고 치료 계획을 수립하는 단계에 적합한 정보를 제공하는 장치 및 방법을 사용자에게 제공하고자 한다.
본 발명은 종양 검출의 자동화를 목표로 했으며, 그 과정에서 T1-MRI만을 사용하여 영상 획득 난이도를 낮추고, 공간 정보를 모두 사용할 수 있는 3D deep neural network를 사용하고자 한다.
본 발명과 같이. 3D 의료 영상 내 병변 검출 및 진단 시스템을 적용하는 경우, 뇌종양, 뇌전이암, 폐암, 유방암, 간암, 대장암, 전립선암, 자궁경부암, 췌장암 등의 병변에 적용가능하고, 폐 석회화 (Lung calcification)에 적용할 수 있으며, 뇌백질 과신호 영역 (White-matter hyperintensity)에도 적용될 수 있다.
특히, 본 발명은 뇌종양/전이암 검출의 자동화를 목표로 하고, 전이성 뇌종양(Brain metastasis)의 트래커(tracker)로서, lesion 개수, 크기 그리고 기타 정보들을 수치화한 후 환자의 나이, 상태 그리고 발병 시기 등의 정보와 조합하여 예후를 예측하여 위험도와 치료 우선 순위 등의 정보를 의료진에게 제공하는 것을 목적으로 한다.
나아가, 본 발명은 병변(lesion)의 형태 자체를 예측하여 환자 본인 및 의료진이 미리 대응할 수 있도록 지원하는 것을 목적으로 한다.
또한, 본 발명은, 의료진과의 상호 작용을 위해, 진단 결과가 나오는 즉시 의료진의 데이터와 연동한 후, 병변(lesion)의 위치나 특성에 맞는 주치의 또는 의료진을 제안하거나 해당 의료진에게 요청을 보내 보다 전문적인 소견과 치료를 얻을 수 있도록 하는 것을 목적으로 한다.
또한, 본 발명은, 히스토리에 따른 치료 제안과 관련하여, 의료진과의 데이터를 연동을 통해 lesion의 위치나 특성에 맞는 치료 제안을 제공(history 제공)하고, 사용 과정에서 지속적으로 피드백을 진행하여, 오래 사용할 수록 더욱 적합한 제안 진행이 가능한 것을 목적으로 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 의료 영상 기반 종양 검출 및 진단 방법는, 입력부가 환자와 관련된 의료 영상을 획득하는 제 1 단계; 전처리부가 종양(tumor) 영역의 관찰이 가능하도록, 상기 획득한 의료 영상을 전처리하는 제 2 단계; 분석부가 심층 신경망 기반 딥 러닝 기법을 적용하여, 상기 전처리된 영상을 복수의 영역으로 분할하는 제 3 단계; 및 측정부가 상기 분할된 복수의 영역에 대해 군집화(clustering)를 수행함으로써, 그룹화(grouping)하는 제 4 단계;를 포함하고, 상기 제 4 단계에서 상기 측정부는, 상기 그룹화 된 영역 각각의 그룹별 특징 값을 추출하고, 상기 추출한 그룹별 특징 값을 기초로 상기 종양과 관련된 진단 정보를 도출하며, 상기 제 3 단계에서, 상기 분석부는, 해상도의 보정을 위해, 복셀 해상도(voxel-resolution)를 기준으로 상기 전처리된 영상을 리샘플링(resampling)하고, 상기 리샘플링 된 영상을 정규화(normalization)하며, 상기 심층 신경망 기반 딥 러닝 기법의 적용을 위해, 상기 정규화 된 영상의 크기를 조정하고, 상기 심층 신경망의 입력과 동일한 크기로 출력되도록, 상기 크기가 조정된 영상을 복수의 영역으로 분할하며, 상기 제 4 단계에서 상기 측정부는, 상기 종양을 복셀 레벨(voxel level)에서 객체 레벨(object level)로 처리하기 위해, 상기 군집화를 수행하고, 상기 제 4 단계에서 상기 측정부는, 상기 추출한 그룹별 특징 값을 정량화하고, 상기 진단 정보는, 상기 종양의 위치(location), 영역(region), 직경(diameter) 및 볼륨(volume) 정보를 포함하며, 상기 제 1 단계에서, 상기 입력부는, 상기 환자의 신체 정보를 추가로 획득하고, 상기 제 4 단계에서 상기 측정부는, 상기 그룹별 특징 값 및 상기 신체 정보를 함께 이용하여 상기 진단 정보를 도출하며, 상기 제 4 단계 이후, 출력부가 상기 그룹화된 영역 및 상기 그룹별 특징 값을 출력하는 제 5 단계;를 더 포함하고, 상기 제 2 단계에서, 상기 전처리부는, 상기 획득한 의료 영상의 방향을 정렬하고, 상기 획득한 의료 영상 내의 균일성을 위해, 상기 영상 내 신호 편향을 정정하며, 타겟(target)인 상기 종양 영역 이외의 상기 획득한 의료 영상 내의 영역을 제거하고, 상기 심층 신경망으로 입력되는 영상과 상기 분할된 복수의 영역 관련 영상은, 3차원 영상일 수 있다.
상술한 바와 같이, 본 발명에 따르면, 의료 영상을 이용하여 종양을 검출하고, 검출된 종양의 형태와 특성을 진단하는 장치 및 방법을 사용자에게 제공할 수 있다.
구체적으로 본 발명은, 의료 영상 및 환자 정보를 기반으로, 인공지능(AI)을 접목하여 종양을 검출한 후, 검출된 종양의 형태와 특성을 진단하고, 예후 예측에 대한 정보를 제공함으로써, 의료인이 환자를 진단하고 치료 계획을 수립하는 단계에 적합한 정보를 제공하는 장치 및 방법을 사용자에게 제공할 수 있다.
또한, 본 발명은 종양 검출의 자동화를 목표로 하고, 그 과정에서 T1-MRI만을 사용하여 영상 획득 난이도를 낮추고, 공간 정보를 모두 사용할 수 있는 3D deep neural network를 사용할 수 있다.
또한, 본 발명과 같이. 3D 의료 영상 내 병변 검출 및 진단 시스템을 적용하는 경우, 뇌종양, 뇌전이암, 폐암, 유방암, 간암, 대장암, 전립선암, 자궁경부암, 췌장암 등의 병변에 적용 가능하고, 폐 석회화 (Lung calcification)에 적용할 수 있으며, 뇌백질 과신호 영역 (White-matter hyperintensity)에도 적용될 수 있다.
특히, 본 발명은 뇌종양/전이암 검출의 자동화를 목표로 하고, 전이성 뇌종양(Brain metastasis)의 트래커(tracker)로서, lesion 개수, 크기 그리고 기타 정보들을 수치화한 후 환자의 나이, 상태 그리고 발병 시기 등의 정보와 조합하여 예후를 예측하여 위험도와 치료 우선 순위 등의 정보를 의료진에게 제공할 수 있다.
나아가, 본 발명은 병변(lesion)의 형태 자체를 예측하여 환자 본인 및 의료진이 미리 대응할 수 있도록 지원할 수 있다.
또한, 본 발명은, 의료진과의 상호 작용을 위해, 진단 결과가 나오는 즉시 의료진의 데이터와 연동한 후, 병변(lesion)의 위치나 특성에 맞는 주치의 또는 의료진을 제안하거나 해당 의료진에게 요청을 보내 보다 전문적인 소견과 치료를 얻을 수 있도록 할 수 있다.
또한, 본 발명은, 히스토리에 따른 치료 제안과 관련하여, 의료진과의 데이터를 연동을 통해 lesion의 위치나 특성에 맞는 치료 제안을 제공(history 제공)하고, 사용 과정에서 지속적으로 피드백을 진행하여, 오래 사용할 수록 더욱 적합한 제안 진행이 가능할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명과 관련하여, 종양 검출 및 진단 장치의 블록 구성도를 도시한 것이다.
도 2는 본 발명과 관련하여, 의료 영상 기반 종양 검출 및 진단 방법을 설명하는 순서도이다.
도 3은 본 발명의 종양 검출 및 진단 장치에 적용되는 입력부의 블록 구성도를 도시한 것이다.
도 4는 본 발명의 종양 검출 및 진단 장치에 적용되는 전처리부의 블록 구성도를 도시한 것이다.
도 5는 본 발명과 관련하여, 전처리부 동작의 일례를 도시한 것이다.
도 6은 본 발명의 종양 검출 및 진단 장치에 적용되는 영상 분석부의 블록 구성도를 도시한 것이다.
도 7은 본 발명과 관련하여, 영상 분석부 동작의 일례를 도시한 것이다.
도 8은 본 발명의 영상 분석부의 동작과 관련하여, 순서도를 도시한 것이다.
도 9는 본 발명의 종양 검출 및 진단 장치에 적용되는 측정부의 블록 구성도를 도시한 것이다.
도 10은 본 발명과 관련하여, 측정부 동작의 일례를 도시한 것이다.
도 11은 본 발명의 종양 검출 및 진단 장치에 적용되는 저장부의 블록 구성도를 도시한 것이다.
도 12는 본 발명의 종양 검출 및 진단 장치에 적용되는 출력부의 블록 구성도를 도시한 것이다.
도 13은 본 발명과 관련하여, 출력부 동작의 일례를 도시한 것이다.
이하, 도면을 참조하여 본 발명의 바람직한 일 실시례에 대해서 설명한다. 또한, 이하에 설명하는 실시례는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
이하 본 발명의 바람직한 실시 예에 따른 의료 영상을 이용하여 종양을 검출하고, 검출된 종양의 형태와 특성을 진단하는 장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명한다.
뇌전이암 ( Brain metastasis)
본 발명은 다양한 종양(tumor)을 검출하고, 검출된 종양의 형태와 특성을 진단하는 용도로 사용될 수 있다.
예를 들어, 본 발명이 적용될 수 있는 종양은, 뇌종양, 뇌전이암, 폐암, 유방암, 간암, 대장암, 전립선암, 자궁경부암 및 췌장암 등을 포함할 수 있다.
또한, 본 발명은 종양 영역 이외에, 폐 석회화(Lung calcification) 영역, 뇌백질 과신호 (White-matter hyperintensity) 영역을 검출하여, 해당 영역의 특성을 진단하는 용도로도 활용할 수 있다.
이하에서는, 본 발명이 목적하는 대표적인 종양인, 뇌전이암(Brain metastasis)을 기초로 본 발명의 내용을 설명하고자 한다.
단, 본 발명의 내용이 뇌전이암에 제한되는 것은 아니고, 전술한 것과 같이 뇌종양, 폐암, 유방암, 간암, 대장암, 전립선암, 자궁경부암 및 췌장암, 폐 석회화(Lung calcification) 영역, 뇌백질 과신호 (White-matter hyperintensity) 영역 등을 검출하고, 진단하는데 활용될 수 있다.
뇌전이암은 두개강 외부의 원발암이 두개강 내로 전이하여 발생하는 것으로, 성인의 뇌내 악성 종양 중 가장 흔하다. 뇌는 폐암, 유방암과 같은 전신 암의 비교적 흔한 전이부위로서, 전체 전신암 환자의 대략 약 20-30%가 뇌전이를 겪게 되는 것으로 추산된다(Gavrilovic IT, Posner JB. J Neurooncol. 2005;75(1):5-14).
우리나라에서도 전체 암 환자 수와 뇌의 악성신생물 환자 수가 증가하고 있어, 뇌전이암의 발생빈도가 꾸준히 증가하고 있을 것으로 추정된다.
뇌전이암이 있는 경우, 그렇지 않은 경우에 비하여 전체 생존 기간(OS, overall survival)이 낮다.
전체 뇌전이암의 원발병소 중 50% 이상을 차지하는 폐암의 경우, 수술 전 선별검사로 뇌 MRI를 시행하여 뇌전이 여부를 확인하고 적절한 치료를 진행한 환자군이 그렇지 않은 환자군에 비하여 생존률이 유의하게 높다는 연구결과가 있다.
또한, 최근 항암치료, 방사선치료 및 감마나이프 수술 등의 복합적이고 적극적인 치료에 따라 뇌전이암 환자의 생존률을 증가시킬 수 있다는 보고가 있다.
따라서 암 환자에서 뇌전이의 유무를 조기에 발견하는 것은 환자의 예후 향상에 매우 중요하다.
뇌전이암의 진단의 기본 검사는 뇌 MRI인데, MRI는 전산화 단층촬영(CT)에 비하여 연부조직 대조도가 우수하고, 두개골에 의한 인공물이 적으며, 조영증강 효과가 잘 나타나는 여러 장점을 가지고 있어서 뇌전이암 진단에 매우 중요하다.
MRI 상에서는 전이암 결절뿐만 아니라 정상 혈관도 함께 조영증강을 보이기 때문에, 작은 뇌전이결절과 정상 혈관을 잘 구분할 필요가 있다.
이를 구분하기 위해서는 조영증강을 보이는 병변이 구형(球形) 혹은 불규칙적인 모양을 보이는지 아니면 혈관과 같은 원통형 모양을 보이는지를 세심하게 따져보아야 하는데, 고해상도 영상을 이용하더라도 양쪽의 구분이 쉽지 않은 경우가 있다.
또한, 고해상도 MRI의 경우 검사당 얻어지는 영상절편의 수가 현저히 증가하게 되어 이를 일일이 정확하게 분석하는 일은 이들 영상을 판독하는 영상의학과 의사에게 있어 커다란 부담으로 작용하고 있다.
모든 영상 검사는 내재적으로 판독오류가 발생할 위험을 가지고 있다. 특히, 의학기술이 발전할수록 보다 정확한 영상 진단이 요구되는 반면, 영상 검사의 건수는 폭발적으로 증가하고 고해상도 영상을 판독하는데 걸리는 시간은 더 길어져서, 영상의학과 의사들의 부담 역시 큰 폭으로 상승하고 있다. 따라서 판독오류의 위험성을 낮추기 위한 안전장치 마련이 필요한 상황이다.
따라서 본 발명에서는, 상기 문제점을 해소하기 위해, 영상처리 및 인공지능 기술을 활용하여, 뇌 의료 영상에서의 뇌전이 결절을 자동으로 검출, 분할, 분석 및 진단하는 장치 및 방법을 제안하고자 한다.
의료 영상 기반 종양 검출 및 진단 장치
본 발명의 목적은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 의료 영상을 이용하여 종양을 검출하고, 검출된 종양의 형태와 특성을 진단하는 장치 및 방법을 사용자에게 제공하고자 한다.
구체적으로 본 발명은, 의료 영상 및 환자 정보를 기반으로, 인공지능(AI)을 접목하여 종양을 검출한 후, 검출된 종양의 형태와 특성을 진단하고, 예후 예측에 대한 정보를 제공함으로써, 의료인이 환자를 진단하고 치료 계획을 수립하는 단계에 적합한 정보를 제공하는 장치 및 방법을 사용자에게 제공하고자 한다.
본 발명은 종양 검출의 자동화를 목표로 했으며, 그 과정에서 T1-MRI만을 사용하여 영상 획득 난이도를 낮추고, 공간 정보를 모두 사용할 수 있는 3D deep neural network를 사용하고자 한다.
본 발명과 같이. 3D 의료 영상 내 병변 검출 및 진단 시스템을 적용하는 경우, 뇌종양, 뇌전이암, 폐암, 유방암, 간암, 대장암, 전립선암, 자궁경부암, 췌장암 등의 병변에 적용가능하고, 폐 석회화 (Lung calcification)에 적용할 수 있으며, 뇌백질 과신호 영역 (White-matter hyperintensity)에도 적용될 수 있다.
특히, 본 발명은 뇌종양/전이암 검출의 자동화를 목표로 하고, 전이성 뇌종양(Brain metastasis)의 트래커(tracker)로서, lesion 개수, 크기 그리고 기타 정보들을 수치화한 후 환자의 나이, 상태 그리고 발병 시기 등의 정보와 조합하여 예후를 예측하여 위험도와 치료 우선 순위 등의 정보를 의료진에게 제공하는 것을 목적으로 한다.
나아가, 본 발명은 병변(lesion)의 형태 자체를 예측하여 환자 본인 및 의료진이 미리 대응할 수 있도록 지원하는 것을 목적으로 한다.
또한, 본 발명은, 의료진과의 상호 작용을 위해, 진단 결과가 나오는 즉시 의료진의 데이터와 연동한 후, 병변(lesion)의 위치나 특성에 맞는 주치의 또는 의료진을 제안하거나 해당 의료진에게 요청을 보내 보다 전문적인 소견과 치료를 얻을 수 있도록 하는 것을 목적으로 한다.
또한, 본 발명은, 히스토리에 따른 치료 제안과 관련하여, 의료진과의 데이터를 연동을 통해 lesion의 위치나 특성에 맞는 치료 제안을 제공(history 제공)하고, 사용 과정에서 지속적으로 피드백을 진행하여, 오래 사용할 수록 더욱 적합한 제안 진행이 가능한 것을 목적으로 한다.
도 1은 본 발명과 관련하여, 종양 검출 및 진단 장치의 블록 구성도를 도시한 것이다.
본 발명의 바람직한 실시 예에 따른 종양 검출 및 진단 장치(1)는, 도 1에 도시된 바와 같이, 입력부(10), 전처리부(20), 분석부(30), 측정부(40), 저장부(50) 및 출력부(60)를 포함할 수 있다.
먼저, 입력부(10)는, 환자와 관련된 의료 영상을 획득할 수 있다.
구체적으로, 입력부(10)는, DICOM 또는 NIFTI의 정보를 가진 Head & Neck 단일 MRI 의료 영상을 획득할 수 있다.
또한, 입력부(10)는, 환자와 관련된 신체 정보를 획득할 수 있고, 이러한 신체 정보는, 성별, 나이, 정보 획득 시간 등을 포함할 수 있다.
다음으로, 전처리부(20)는, 종양(tumor) 영역의 관찰이 가능하도록, 상기 획득한 의료 영상을 전처리하는 기능을 제공한다.
대표적으로, 전처리부(20)는, 영상 방향 정렬, 영상 내 신호 편향 정정(영상 내 불균일성 정정) 및 뇌 외 영역 제거(뇌 추출) 기능을 제공할 수 있다.
또한, 분석부(30)는, 심층 신경망 기반 딥 러닝 기법을 적용하여, 상기 전처리된 영상을 복수의 영역으로 분할하는 기능을 제공한다.
대표적으로 분석부(30)는, 영상 리샘플링, 영상 정규화, 영상 크기 조정, 딥러닝 기반 영상 분할 기능을 제공할 수 있다.
또한, 측정부(40)는 상기 분할된 복수의 영역에 대해 군집화(clustering)를 수행함으로써, 그룹화(grouping)하는 기능을 제공한다.
또한, 측정부(40)는, 그룹화 된 영역 각각의 그룹별 특징 값을 추출하고, 상기 추출한 그룹별 특징 값을 기초로 상기 종양과 관련된 진단 정보를 도출하게 된다.
대표적으로, 측정부(40)는, 분할 영역 그룹화, 각 그룹 별 특징 값 측량 및 정량화, 예후 예측 정보 계산하는 기능을 제공할 수 있다.
또한, 출력부는, 상기 그룹화된 영역 및 상기 그룹별 특징 값을 출력할 수 있다.
또한, 저장부(50)는, 측정부(40)의 그룹화 작업을 통해 얻어진 행렬 정보를, 상기 입력부(10)가 획득한 원래의 의료 영상 스페이스(space)에 매칭되도록 역 처리한 후 저장할 수 있다.
또한, 저장부(50)는, 그룹화된 영역 및 그룹별 특징 값을 저장할 수도 있다.
마지막으로, 출력부(60)는, 그룹화된 영역 및 그룹별 특징 값을 출력하는 기능을 제공한다.
도 2는 본 발명과 관련하여, 의료 영상 기반 종양 검출 및 진단 방법을 설명하는 순서도이다.
도 2를 참조하면, 입력부(10)는 환자와 관련된 의료 영상을 획득하는 단계(S1)를 수행한다.
여기서 입력부(10)는, 상기 환자의 신체 정보를 추가로 획득할 수 있고, 이후, 측정부(40)는, 그룹별 특징 값 및 상기 신체 정보를 함께 이용하여 상기 진단 정보를 도출할 수 있다.
또한, 전처리부(20)는, 종양(tumor) 영역의 관찰이 가능하도록, 상기 획득한 의료 영상을 전처리하는 과정(S2)을 수행한다.
여기서 전처리부(20)는, 획득한 의료 영상의 방향을 정렬하고, 획득한 의료 영상 내의 균일성을 위해, 상기 영상 내 신호 편향을 정정하며, 타겟(target)인 상기 종양 영역 이외의 상기 획득한 의료 영상 내의 영역을 제거할 수 있다.
이후, 분석부(30)는, 심층 신경망 기반 딥 러닝 기법을 적용하여, 상기 전처리된 영상을 복수의 영역으로 분할하는 과정(S3)을 수행한다.
여기서 분석부(30)는, 해상도의 보정을 위해, 복셀 해상도(voxel-resolution)를 기준으로 상기 전처리된 영상을 리샘플링(resampling)하고, 상기 리샘플링 된 영상을 정규화(normalization)하며, 상기 심층 신경망 기반 딥 러닝 기법의 적용을 위해, 상기 정규화 된 영상의 크기를 조정하고, 상기 심층 신경망의 입력과 동일한 크기로 출력되도록, 상기 크기가 조정된 영상을 복수의 영역으로 분할할 수 있다.
또한, 심층 신경망으로 입력되는 영상과 상기 분할된 복수의 영역 관련 영상은, 3차원 영상일 수 있다.
이때, 저장부(50)는 분할된 결과를 저장할 수 있고(S4), 출력부(60)는 분할된 결과를 디스플레이할 수도 있다(S5).
또한, 측정부(40)는, 상기 분할된 복수의 영역에 대해 군집화(clustering)를 수행함으로써, 그룹화(grouping)하고, 그룹화 된 영역 각각의 그룹별 특징 값을 추출하며, 상기 추출한 그룹별 특징 값을 기초로 상기 종양과 관련된 진단 정보를 도출할 수 있다(S6).
이때, 측정부(40)는, 상기 종양을 복셀 레벨(voxel level)에서 객체 레벨(object level)로 처리하기 위해, 상기 군집화를 수행할 수 있다.
또한, 측정부(40)는, 상기 추출한 그룹별 특징 값을 정량화하고, 진단 정보는, 상기 종양의 위치(location), 영역(region), 직경(diameter) 및 볼륨(volume) 정보를 포함할 수 있다.
또한, 측정부(40)는, 임상 정보(Clinical parameter)와 상기 객체 레벨 정보를 조합하여, 상기 종양과 관련된 예후를 예측할 수도 있다.
이후, 저장부(50)는 상기 그룹화된 영역 및 상기 그룹별 특징 값을 저장하는 과정(S7)을 수행할 수 있다.
이때, 저장부(50)는, 측정부의 그룹화 작업을 통해 얻어진 행렬 정보를, 상기 입력부가 획득한 원래의 의료 영상 스페이스(space)에 매칭되도록 역 처리한 후 저장할 수도 있다.
또한, 출력부(60)는 그룹화된 영역 및 상기 그룹별 특징 값을 출력할 수 있다(S8).
전술한 것과 같이, 본 발명이 적용되는 종양은, 뇌종양, 뇌전이암, 폐암, 유방암, 간암, 대장암, 전립선암, 자궁경부암 및 췌장암을 포함할 수 있다.
또한, 전처리부(20)는, 종양 영역 이외에, 폐 석회화(Lung calcification) 영역 및 뇌백질 과신호 (White-matter hyperintensity) 영역 중 적어도 하나의 관찰이 가능하도록, 획득한 의료 영상을 전처리하는 것도 가능하다.
이하에서는, 각 구성요소의 역할 및 기능에 대해 도면을 참조하여 구체적으로 설명한다.
입력부의 구성 및 동작
도 3은 본 발명의 종양 검출 및 진단 장치에 적용되는 입력부의 블록 구성도를 도시한 것이다
본 발명에 따른 입력부(10)는 환자와 관련된 의료 영상을 획득할 수 있다.
여기서 입력부(10)는, Head & Neck 단일 MRI 영상에 대응하는 DICOM 정보를 획득하는 DICOM 영상부(11), NIFTI 정보를 획득하는 NIFTI 영상부(12)를 포함할 수 있다.
또한, 입력부(10)는 신체 정보를 추가로 획득하는 환자 신체정보 입력부(13)를 더 포함할 수 있고, 여기서 신체 정보는, 환자 기본 정보로서, 성별, 나이, 정보 획득 시간 등을 포함할 수 있다.
전처리부의 구성 및 동작
도 4는 본 발명의 종양 검출 및 진단 장치에 적용되는 전처리부의 블록 구성도를 도시한 것이다.
도 4를 참조하면, 전처리부(20)는, RPI orientation align을 통한 영상 방향 정렬부(21), 영상 내 불균일성 정정을 위한 영상 내 신호 편향 정정부(22) 및 종양이 존재하는 뇌 추출을 위한, 뇌 외 영역 제거부(23)을 포함할 수 있다.
여기서 신호 편향 정정부(22)는, Non-uniformity correction 등을 적용하고, 노이즈 영역 제거부(23)는 Skull-stripping 등을 적용할 수 있다.
한편, 도 5는 본 발명과 관련하여, 전처리부 동작의 일례를 도시한 것이다.
도 5의 (a)는 입력부(10)를 통해 획득한 DICOM 의료 정보이고, 도 5의 (b)는 전처리부(20)에 의해 영상 방향 정렬, 영상 내 신호 편향 정정 및 뇌 영역 추출이 적용된 결과물을 도시한 것이다.
또한, 전처리부(20)는, 종양 영역 이외에, 폐 석회화(Lung calcification) 영역 및 뇌백질 과신호 (White-matter hyperintensity) 영역 중 적어도 하나의 관찰이 가능하도록, 획득한 의료 영상을 전처리하는 것도 가능하다.
분석부의 구성 및 동작
도 6은 본 발명의 종양 검출 및 진단 장치에 적용되는 영상 분석부의 블록 구성도를 도시한 것이고, 도 7은 본 발명과 관련하여, 영상 분석부 동작의 일례를 도시한 것이다.
도 6을 참조하면, 분석부(30)는, 심층 신경망 기반 딥 러닝 기법을 적용하여, 상기 전처리된 영상을 복수의 영역으로 분할하는 과정(S3)을 수행한다.
여기서 분석부(30)는, 해상도의 보정을 위해, 복셀 해상도(voxel-resolution)를 기준으로 상기 전처리된 영상을 리샘플링(resampling)하는 영상 리샘플링부(31)고, 상기 리샘플링 된 영상을 정규화(normalization)하는 영상 정규화부(32), 상기 심층 신경망 기반 딥 러닝 기법의 적용을 위해, 상기 정규화 된 영상의 크기를 조정하는 영상 크기 조정부(33) 및 심층 신경망의 입력과 동일한 크기로 출력되도록, 상기 크기가 조정된 영상을 복수의 영역으로 분할하는 영상 분할부(34)를 포함할 수 있다.
이때, 본 발명의 심층 신경망으로 입력되는 영상과 상기 분할된 복수의 영역 관련 영상은, 3차원 영상일 수 있다.
도 7의 (a)는 분석부(30)를 거치기 이전 전처리부(20)에 의해 전처리된 영상의 일례를 도시한 것이고, (b)는 분석부(30)를 거쳐, 복수의 영역으로 분할된 결과물이 도시된다.
구체적으로, 영상 리샘플링부(31)는 영상마다 서로 다른 해상도를 보정하기 위해, voxel-resolution을 기준으로 resampling을 수행하고, 0.5 mm x 0.5 mm x 0.5 mm가 적용될 수 있다.
단, 상기 0.5 mm x 0.5 mm x 0.5 mm의 내용은 본 발명이 적용되기 위한 단순한 일례에 불과하고 다른 조건의 복수의 복셀 해상도가 적용될 수 있음은 자명하다.
또한, 영상 정규화부(32)는 대표적인 일례로서, (m, σ) = (0, 1) 으로 정규화를 수행하고, 최대값 6 으로 intensity clip을 적용할 수 있다.
마찬가지로 최대값을 6으로 적용한 것은 본 발명의 적용 일례이고, 다른 최대값을 적용하는 것도 가능하다.
또한, 영상 크기 조정부(33)는, 이후 진행될 심층 신경망 분석에 대응하여 영상 크기 조정하고, Array size는 176 x 176 x 176 이 될 수 있다.
또한, 영상 분할부(34)는, 심층 신경망 기반 target 영역 segmentation을 수행하고, 심층 신경망의 입력과 동일한 크기로 출력되도록 하며, 대표적으로 176 x 176 x 176 이 적용될 수 있다.
마찬가지로 176 x 176 x 176 으로 적용한 것은 본 발명의 적용 일례이고, 다른 크기를 적용하는 것도 가능하다.
여기서, DSC(Depth-wise separable convolution) 블럭(block), 도약 연결(Skip-connections), ASPP(Atrous spatial pyramid pooling) 블럭(block), 업 앤 다운 샘플링(Up- and down-sampling) 등이 활용 가능할 수 있다.
Depth-wise separable convolution는 깊이별 분리 합성곱을 의미하고, Atrous spatial pyramid pooling은 구멍 공간 피라미드 통합을 의미한다.
이러한 영상 분할부(34)의 구체적인 동작과 관련하여, 도 8은 순서도를 도시한 것이다.
도 8을 참조하면, 먼저, 심층 신경망으로 입력되는 영상과 상기 분할된 복수의 영역 관련 영상은, 3차원 영상일 수 있다.
2D 모델을 적용하는 경우, 결과로 나온 slice를 조합하여 3D 영상으로 재구성할 때 slice 간 disconnection이 발생하고, Global location을 고려하기 어렵다는 문제점이 있다.
따라서 본 발명에서는, 3D 모델을 적용하여, Slice 사이의 disconnection을 없애고, 전체적인 위치도 고려할 수 있다.
나아가 뇌 전이암(Brain metastasis)은 흔히 원형이 아니라 구형으로 나타나기 때문에, 3D 모델에서 더 합리적인 판단을 할 수 있다는 장점이 있다.
도 8을 참조하면, 심층 신경망으로 3차원의 영상이 입력(S10)되고, 1차 컨벌루션(S11)을 거쳐, 3회의 DSC(Depth-wise separable convolution) 블럭(block)이 적용된 연산(S12, S13, S14)이 수행된다.
이때, DSC(Depth-wise separable convolution) 블럭(block) 연산 사이에 도약 연결(Skip-connections)이 수행될 수 있다(S23, S24).
S14 단계 이후, ASPP(Atrous spatial pyramid pooling) 블럭(block)을 적용한 연산이 적용되고, 이후, 3회의 컨벌루션(S17, S18, S19)를 거쳐 3차원의 분할된 복수의 영역 관련 영상이 출력된다(S20).
이때, 도약된 2회의 연결 결과(S23, S24)가 2회의 컨벌루션 결과(S17, S18)와 결합되어, 각각의 다음 컨벌루션(S18, S19)에서 입력 값으로 사용된다.
특히, 마지막 컨벌루션(S19)은, 다음과 같이, 최종 확률 값을 얻기 위해 사용된다.
0=normal/background
1=BM
여기서, DSC(Depth-wise separable convolution) 블럭(block)은, 연산 순서 및 방식 중 적어도 하나를 변화시킴으로써, 변수 및 연산량을 줄이는 목적을 위해 이용된다.
DSC는 일반적인 conv의 연산 순서와 방식에 변화를 주어, 연산 정보는 기존 방식과 비슷하게 유지하면서 변수와 연산량을 크게 줄이는 conv module로서, 여러 단계에 걸친 DSC를 모델 내에 적용할 경우, 효율적으로 다양한 FOV에 대응할 수 있게 되어, brain metastasis처럼 여러 크기를 가진 대상을 더 적절하게 탐지할 수 있다.
특히, 자원 요구량이 높은 3D 모델에 DSC를 사용하면 모델을 효과적으로 경량화 할 수 있게 되어, 다양한 크기의 BM를 between-slice disconnection (슬라이스간 끊어짐) 없이 검출할 수 있다.
또한, 상기 DSC 블록을 적용하는 경우, 심층 신경망 기반 딥 러닝 기법은, 심층 신경망으로 입력되는 영상 내의 정보 소실을 막기 위해, 도약 연결(Skip-connections)을 적용할 수 있다.
도약 연결(Skip-connections)을 적용하는 경우, 결과적으로, 세부적인 요소를 더 많이 유지할 수 있게 되어, 모델이 segmentation(분할) 작업을 더 효과적으로 수행할 수 있게 된다.
또한, 컨볼루션 필터(convolution filter)를 확장하여, 같은 수의 파라미터로 더 넓은 FOV(Field of View) 연산을 수행하기 위한 아트라우스 컨볼루션(Atrous convolution)을 복수의 단계에 걸쳐 멀티 스케일 풀링(multi-scale pooling)하는 ASPP(Atrous spatial pyramid pooling) 블럭(block)이 이용된다.
ASPP 블록은 local 특성부터 global 특성까지 고려한 출력을 얻을 수 있다는 장점이 있고, 이는, 형태가 유사하지만 다양한 크기를 가진, brain metastasis를 검출할 때 효과적이 될 수 있다.
또한, 복수의 스케일(scale)에 따라 도출된 복수의 특징(feature)을 얻기 위해, 업 앤 다운 샘플링(Up- and down-sampling)을 사용할 수 있다.
측정부의 구성 및 동작
도 9는 본 발명의 종양 검출 및 진단 장치에 적용되는 측정부의 블록 구성도를 도시한 것이고, 도 10은 본 발명과 관련하여, 측정부 동작의 일례를 도시한 것이다.
도 9를 참조하면, 측정부(40)는, 상기 분할된 복수의 영역에 대해 군집화(clustering)를 수행함으로써, 그룹화(grouping)하는 그룹화부(41), 그룹화 된 영역 각각의 그룹별 특징 값을 추출하는 추출부(42) 및 추출한 그룹별 특징 값을 기초로 상기 종양과 관련된 진단 정보를 도출하는 예후 예측 정보 계산부(43)를 포함할 수 있다.
그룹화부(41)는, 종양을 복셀 레벨(voxel level)에서 객체 레벨(object level)로 처리하기 위해, 상기 군집화를 수행할 수 있다.
추출부(42)는 추출한 그룹별 특징 값을 정량화하고, 진단 정보는, 상기 종양의 위치(location), 영역(region), 직경(diameter) 및 볼륨(volume) 정보를 포함할 수 있다.
예후 예측 정보 계산부(43)는 임상 정보(Clinical parameter)와 상기 객체 레벨 정보를 조합하여, 상기 종양과 관련된 예후를 예측할 수도 있다
이는, 원발성 암 진행률, 뇌 내 병변 위치 등이 예후와 연관될 수 있다.
도 10의 (a)는 측정부(40)를 거치기 이전의 분석부(30)를 통과한 복수의 영역으로 분할된 영상의 일례를 도시한 것이고, (b)는 측정부(40)를 통해, 분할된 복수의 영역에 대해 군집화(clustering)를 수행함으로써, 그룹화(grouping)된 일례를 도시한 것이며, (c)는 그룹화 된 영역 각각의 그룹별 특징 값을 추출하고, 추출한 그룹별 특징 값을 기초로 상기 종양과 관련된 진단 정보가 도출되는 일례를 도시한 것이다.
한편, 분석부(30) 및 측정부(40)는, MRI DICOM 데이터 오픈 및 MPR(Multi Planar Reconstruction) 구현 기술을 적용할 수 있다.
즉, ITK를 이용하여 MRI DICOM series의 header 및 영상 정보를 읽고, 3D volume으로 재구성하고, 재구성된 3D Volume 데이터를 VTK로 포팅하고, VTK 라이브러리를 통해 3D Volume을 Axial, Coronal, Sagittal plane의 2D 이미지로 구성된 MPR로 변환하고 화면에 가시화할 수 있다.
또한, 분석부(30) 및 측정부(40)는, 뇌전이 결절 후보군 검출 기술이 적용될 수 있다.
구체적으로, 3차원 템플릿 매칭(template matching)과 K-means 클러스터링 알고리즘을 통해 뇌전이성 결절의 후보군을 검출할 수 있다.
뇌전이성 결절은 일반적으로 구 형태를 가지기 때문에 다양한 크기로 만든 구형의 템플릿을 통해 구 형태의 뇌전이성 결절을 검출하고, 큰 크기의 결절은 K-means 클러스터링을 통해 분할된 영역들을 대상으로 형태 및 화소값을 기반으로 후보군들을 검출할 수 있다.
또한, 분석부(30) 및 측정부(40)는, 머신러닝(ANN) 기반 후보군 판별 모델이 적용될 수 있다.
구체적으로, 검출된 결절 후보군들을 대상으로 히스토그램, 형태, 텍스처 기반의 272개 특성값을 추출하고, 통계적 기법을 통해 30개의 특성값들을 선택할 수 있다.
또한, 머신러닝 기법 중 인공신경망(artificial neural network, ANN)기반의 모델을 선택된 30개의 특성값들을 통해 학습할 수 있다.
이후, 학습된 ANN 모델을 통해 기존에 검출된 결절 후보군들을 대상으로 결절 여부를 판별함으로써 뇌전이성 결절들을 최종적으로 검출할 수 있다.
또한, 분석부(30) 및 측정부(40)는, 딥러닝 모델을 이용한 종양 검출을 수행할 수 있다.
구체적으로, FC 응용 S/W간 연동, 윈도우 환경에서 딥러닝 모델을 사용하기 위한 환경 세팅에 대한 방법, 파이썬 환경에서 학습된 딥러닝 모델을 윈도우 환경에서 실행되는 응용 S/W에서 사용하기 위한 연동 방법, 응용 S/W에서의 딥러닝 모델 호출 방법 및 딥러닝 결과를 응용S/W에서 처리하기 위한 연동 방법, MRI 영상에서 3D VOI를 통해 annotation된 결절들을 기반으로 결절의 위치를 검출하고, 결절의 외곽을 분할하는 CNN 모델, 학습된 딥러닝 모델의 하이퍼 파라메터 및 학습/실행 환경 필요한 프로그램 및 설정 등에 대한 세팅 등이 적용될 수 있다.
저장부 및 출력부의 구성 및 동작
도 11은 본 발명의 종양 검출 및 진단 장치에 적용되는 저장부의 블록 구성도를 도시한 것이다.
도 11을 참조하면, 저장부(50)는 상기 그룹화된 영역 및 상기 그룹별 특징 값을 저장할 수 있다.
구체적으로 저장부(50)는 영상 크기 조정부(51), 영상 리샘플링부(52), 영상 파일 저장부(53), 그룹별 정보 저장부(54), 기타 정보 저장부(55) 등을 포함할 수 있다.
저장부(50)는, 측정부의 그룹화 작업을 통해 얻어진 행렬 정보를, 상기 입력부가 획득한 원래의 의료 영상 스페이스(space)에 매칭되도록 역 처리한 후 저장할 수도 있다.
또한, 도 12는 본 발명의 종양 검출 및 진단 장치에 적용되는 출력부의 블록 구성도를 도시한 것이다.
도 12를 참조하면, 출력부(60)는 그룹화된 영역 및 상기 그룹별 특징 값을 출력할 수 있다.
구체적으로 검출영역 출력부(61), 그룹별 특징값 출력부(62) 및 그룹별 예후 예측 정보 출력부(63)를 포함할 수 있다.
도 13은 본 발명과 관련하여, 출력부 동작의 일례를 도시한 것이다
도 13의 (a)는 검출된 영역 시각화의 일례를 도시한 것이고, (b)는 영역 그룹 별 특징 값, 영역 그룹 별 예후 예측 정보 출력의 일례를 도시한 것이다.
전술한 것과 같이, 본 발명이 적용되는 종양은, 뇌종양, 뇌전이암, 폐암, 유방암, 간암, 대장암, 전립선암, 자궁경부암 및 췌장암을 포함할 수 있다.
또한, 종양 영역 이외에, 폐 석회화(Lung calcification) 영역 및 뇌백질 과신호 (White-matter hyperintensity) 영역에 대한 검출 및 진단도 가능할 수 있다.
본 발명에 따른 효과
본 발명에 따르면, 의료 영상을 이용하여 종양을 검출하고, 검출된 종양의 형태와 특성을 진단하는 장치 및 방법을 사용자에게 제공할 수 있다.
구체적으로 본 발명은, 의료 영상 및 환자 정보를 기반으로, 인공지능(AI)을 접목하여 종양을 검출한 후, 검출된 종양의 형태와 특성을 진단하고, 예후 예측에 대한 정보를 제공함으로써, 의료인이 환자를 진단하고 치료 계획을 수립하는 단계에 적합한 정보를 제공하는 장치 및 방법을 사용자에게 제공할 수 있다.
또한, 본 발명은 종양 검출의 자동화를 목표로 하고, 그 과정에서 T1-MRI만을 사용하여 영상 획득 난이도를 낮추고, 공간 정보를 모두 사용할 수 있는 3D deep neural network를 사용할 수 있다.
또한, 본 발명과 같이. 3D 의료 영상 내 병변 검출 및 진단 시스템을 적용하는 경우, 뇌종양, 뇌전이암, 폐암, 유방암, 간암, 대장암, 전립선암, 자궁경부암, 췌장암 등의 병변에 적용 가능하고, 폐 석회화(Lung calcification)에 적용할 수 있으며, 뇌백질 과신호 영역(White-matter hyperintensity)에도 적용될 수 있다.
특히, 본 발명은 뇌종양/전이암 검출의 자동화를 목표로 하고, 전이성 뇌종양(Brain metastasis)의 트래커(tracker)로서, lesion 개수, 크기 그리고 기타 정보들을 수치화한 후 환자의 나이, 상태 그리고 발병 시기 등의 정보와 조합하여 예후를 예측하여 위험도와 치료 우선 순위 등의 정보를 의료진에게 제공할 수 있다.
나아가, 본 발명은 병변(lesion)의 형태 자체를 예측하여 환자 본인 및 의료진이 미리 대응할 수 있도록 지원할 수 있다.
또한, 본 발명은, 의료진과의 상호 작용을 위해, 진단 결과가 나오는 즉시 의료진의 데이터와 연동한 후, 병변(lesion)의 위치나 특성에 맞는 주치의 또는 의료진을 제안하거나 해당 의료진에게 요청을 보내 보다 전문적인 소견과 치료를 얻을 수 있도록 할 수 있다.
또한, 본 발명은, 히스토리에 따른 치료 제안과 관련하여, 의료진과의 데이터를 연동을 통해 lesion의 위치나 특성에 맞는 치료 제안을 제공(history 제공)하고, 사용 과정에서 지속적으로 피드백을 진행하여, 오래 사용할 수록 더욱 적합한 제안 진행이 가능할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (1)

  1. 입력부가 환자와 관련된 의료 영상을 획득하는 제 1 단계;
    전처리부가 종양(tumor) 영역의 관찰이 가능하도록, 상기 획득한 의료 영상을 전처리하는 제 2 단계;
    분석부가 심층 신경망 기반 딥 러닝 기법을 적용하여, 상기 전처리된 영상을 복수의 영역으로 분할하는 제 3 단계; 및
    측정부가 상기 분할된 복수의 영역에 대해 군집화(clustering)를 수행함으로써, 그룹화(grouping)하는 제 4 단계;를 포함하고,

    상기 제 4 단계에서 상기 측정부는,
    상기 그룹화 된 영역 각각의 그룹별 특징 값을 추출하고,
    상기 추출한 그룹별 특징 값을 기초로 상기 종양과 관련된 진단 정보를 도출하며,

    상기 제 3 단계에서, 상기 분석부는,
    해상도의 보정을 위해, 복셀 해상도(voxel-resolution)를 기준으로 상기 전처리된 영상을 리샘플링(resampling)하고,
    상기 리샘플링 된 영상을 정규화(normalization)하며,
    상기 심층 신경망 기반 딥 러닝 기법의 적용을 위해, 상기 정규화 된 영상의 크기를 조정하고,
    상기 심층 신경망의 입력과 동일한 크기로 출력되도록, 상기 크기가 조정된 영상을 복수의 영역으로 분할하며,

    상기 제 4 단계에서 상기 측정부는,
    상기 종양을 복셀 레벨(voxel level)에서 객체 레벨(object level)로 처리하기 위해, 상기 군집화를 수행하고,

    상기 제 4 단계에서 상기 측정부는,
    상기 추출한 그룹별 특징 값을 정량화하고,
    상기 진단 정보는, 상기 종양의 위치(location), 영역(region), 직경(diameter) 및 볼륨(volume) 정보를 포함하며,

    상기 제 1 단계에서, 상기 입력부는,
    상기 환자의 신체 정보를 추가로 획득하고,

    상기 제 4 단계에서 상기 측정부는,
    상기 그룹별 특징 값 및 상기 신체 정보를 함께 이용하여 상기 진단 정보를 도출하며,

    상기 제 4 단계 이후,
    출력부가 상기 그룹화된 영역 및 상기 그룹별 특징 값을 출력하는 제 5 단계;를 더 포함하고,

    상기 제 2 단계에서, 상기 전처리부는,
    상기 획득한 의료 영상의 방향을 정렬하고,
    상기 획득한 의료 영상 내의 균일성을 위해, 상기 영상 내 신호 편향을 정정하며,
    타겟(target)인 상기 종양 영역 이외의 상기 획득한 의료 영상 내의 영역을 제거하고,

    상기 심층 신경망으로 입력되는 영상과 상기 분할된 복수의 영역 관련 영상은, 3차원 영상인 것을 특징으로 하는 의료 영상 기반 종양 검출 및 진단 방법.
KR1020210143984A 2021-04-16 2021-10-26 인공지능 기반의 3차원 의료 영상을 이용한 종양 검출 및 진단 방법 KR102328229B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210143984A KR102328229B1 (ko) 2021-04-16 2021-10-26 인공지능 기반의 3차원 의료 영상을 이용한 종양 검출 및 진단 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210049901A KR102320431B1 (ko) 2021-04-16 2021-04-16 의료 영상 기반 종양 검출 및 진단 장치
KR1020210143984A KR102328229B1 (ko) 2021-04-16 2021-10-26 인공지능 기반의 3차원 의료 영상을 이용한 종양 검출 및 진단 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210049901A Division KR102320431B1 (ko) 2021-04-16 2021-04-16 의료 영상 기반 종양 검출 및 진단 장치

Publications (1)

Publication Number Publication Date
KR102328229B1 true KR102328229B1 (ko) 2021-11-19

Family

ID=76355368

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020210049901A KR102320431B1 (ko) 2021-04-16 2021-04-16 의료 영상 기반 종양 검출 및 진단 장치
KR1020210126027A KR102321487B1 (ko) 2021-04-16 2021-09-23 인공지능 기반 검출된 종양의 형태 및 특성 진단 장치
KR1020210143983A KR102328228B1 (ko) 2021-04-16 2021-10-26 의료 영상 기반 종양 검출 및 진단 방법
KR1020210143984A KR102328229B1 (ko) 2021-04-16 2021-10-26 인공지능 기반의 3차원 의료 영상을 이용한 종양 검출 및 진단 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020210049901A KR102320431B1 (ko) 2021-04-16 2021-04-16 의료 영상 기반 종양 검출 및 진단 장치
KR1020210126027A KR102321487B1 (ko) 2021-04-16 2021-09-23 인공지능 기반 검출된 종양의 형태 및 특성 진단 장치
KR1020210143983A KR102328228B1 (ko) 2021-04-16 2021-10-26 의료 영상 기반 종양 검출 및 진단 방법

Country Status (6)

Country Link
US (1) US11568538B2 (ko)
EP (1) EP4075380B1 (ko)
JP (1) JP7216145B2 (ko)
KR (4) KR102320431B1 (ko)
CN (1) CN114343604B (ko)
ES (1) ES2941788T3 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023237608A1 (de) * 2022-06-10 2023-12-14 Forschungszentrum Jülich GmbH Computerimplementiertes trainings-verfahren, computerimplementiertes vorhersage-verfahren, computerprogramm, computerlesbares medium und vorrichtung

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102320431B1 (ko) * 2021-04-16 2021-11-08 주식회사 휴런 의료 영상 기반 종양 검출 및 진단 장치
CN114267443B (zh) * 2021-11-08 2022-10-04 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
WO2023233424A1 (en) * 2022-06-01 2023-12-07 Brainsight Technology Private Limited System and method for evaluating malignant/non-malignant growth in brain using multimodal structural magnetic resonance imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793609B1 (ko) 2015-09-11 2017-11-06 연세대학교 산학협력단 다중 광학 융합영상 기반 실시간으로 뇌종양을 진단하는 방법 및 장치
KR101981202B1 (ko) * 2018-12-11 2019-05-22 메디컬아이피 주식회사 의료영상 재구성 방법 및 그 장치
KR102072476B1 (ko) 2018-05-09 2020-02-03 재단법인 대구경북첨단의료산업진흥재단 영상 유도 수술을 위한 종양 검출 장치 및 그 방법
KR20200082660A (ko) * 2018-12-31 2020-07-08 주식회사 메디픽셀 머신러닝 기반 병리 진단 방법 및 장치
KR102321487B1 (ko) * 2021-04-16 2021-11-04 주식회사 휴런 인공지능 기반 검출된 종양의 형태 및 특성 진단 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974946B2 (ja) * 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
JP4184842B2 (ja) * 2003-03-19 2008-11-19 富士フイルム株式会社 画像判別装置、方法およびプログラム
JP5321145B2 (ja) * 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
KR101284388B1 (ko) 2011-10-26 2013-07-09 연세대학교 산학협력단 자기공명영상을 분석하는 방법, 장치 그리고 자기공명영상을 분석하기 위한 프로그램이 기록된 기록매체
KR101676789B1 (ko) * 2014-10-21 2016-11-16 삼성전자주식회사 자기 공명 영상 장치 및 자기 공명 영상을 처리하는 방법
US20180204046A1 (en) * 2015-08-04 2018-07-19 Siemens Aktiengesellschaft Visual representation learning for brain tumor classification
EP3509696A1 (en) * 2016-09-06 2019-07-17 Elekta, Inc. Neural network for generating synthetic medical images
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof
TWI614624B (zh) * 2017-04-24 2018-02-11 太豪生醫股份有限公司 雲端醫療影像分析系統與方法
CA3066775A1 (en) * 2017-10-16 2019-04-25 Illumina, Inc. Deep learning-based techniques for training deep convolutional neural networks
KR102017998B1 (ko) * 2018-01-16 2019-09-03 한국과학기술원 이미지 파이프라인 처리 방법 및 장치
KR101919866B1 (ko) 2018-02-22 2018-11-19 주식회사 뷰노 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
CN109493325B (zh) * 2018-10-23 2021-02-26 清华大学 基于ct影像的肿瘤异质性分析系统
JP7218215B2 (ja) * 2019-03-07 2023-02-06 株式会社日立製作所 画像診断装置、画像処理方法及びプログラム
CN110188792B (zh) * 2019-04-18 2023-09-08 万达信息股份有限公司 前列腺mri三维图像的图像特征获取方法
KR102100699B1 (ko) 2019-07-01 2020-04-16 (주)제이엘케이인스펙션 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
KR102155381B1 (ko) 2019-09-19 2020-09-11 두에이아이(주) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
CN111833359B (zh) * 2020-07-13 2022-07-12 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
CN112263236B (zh) * 2020-09-22 2024-04-19 北京赛迈特锐医疗科技有限公司 全身肿瘤mri智能化评估系统及方法
CN112529915B (zh) * 2020-12-17 2022-11-01 山东大学 一种脑肿瘤图像分割方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793609B1 (ko) 2015-09-11 2017-11-06 연세대학교 산학협력단 다중 광학 융합영상 기반 실시간으로 뇌종양을 진단하는 방법 및 장치
KR102072476B1 (ko) 2018-05-09 2020-02-03 재단법인 대구경북첨단의료산업진흥재단 영상 유도 수술을 위한 종양 검출 장치 및 그 방법
KR101981202B1 (ko) * 2018-12-11 2019-05-22 메디컬아이피 주식회사 의료영상 재구성 방법 및 그 장치
KR20200082660A (ko) * 2018-12-31 2020-07-08 주식회사 메디픽셀 머신러닝 기반 병리 진단 방법 및 장치
KR102321487B1 (ko) * 2021-04-16 2021-11-04 주식회사 휴런 인공지능 기반 검출된 종양의 형태 및 특성 진단 장치
KR102320431B1 (ko) * 2021-04-16 2021-11-08 주식회사 휴런 의료 영상 기반 종양 검출 및 진단 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023237608A1 (de) * 2022-06-10 2023-12-14 Forschungszentrum Jülich GmbH Computerimplementiertes trainings-verfahren, computerimplementiertes vorhersage-verfahren, computerprogramm, computerlesbares medium und vorrichtung

Also Published As

Publication number Publication date
KR102321487B1 (ko) 2021-11-04
JP7216145B2 (ja) 2023-01-31
JP2022164527A (ja) 2022-10-27
CN114343604A (zh) 2022-04-15
KR102328228B1 (ko) 2021-11-19
US20220335599A1 (en) 2022-10-20
CN114343604B (zh) 2023-03-24
KR102320431B1 (ko) 2021-11-08
EP4075380B1 (en) 2023-03-15
US11568538B2 (en) 2023-01-31
EP4075380A1 (en) 2022-10-19
ES2941788T3 (es) 2023-05-25

Similar Documents

Publication Publication Date Title
KR102328229B1 (ko) 인공지능 기반의 3차원 의료 영상을 이용한 종양 검출 및 진단 방법
EP3432784B1 (en) Deep-learning-based cancer classification using a hierarchical classification framework
US10492723B2 (en) Predicting immunotherapy response in non-small cell lung cancer patients with quantitative vessel tortuosity
US7599542B2 (en) System and method for detection and display of diseases and abnormalities using confidence imaging
JP5081390B2 (ja) 腫瘍量を監視する方法及びシステム
US11017896B2 (en) Radiomic features of prostate bi-parametric magnetic resonance imaging (BPMRI) associate with decipher score
WO2021179491A1 (zh) 图像处理方法、装置、计算机设备和存储介质
WO2010115885A1 (en) Predictive classifier score for cancer patient outcome
CN111340825B (zh) 一种纵膈淋巴结分割模型的生成方法及系统
CN109919254B (zh) 乳腺密度分类方法、系统、可读存储介质和计算机设备
US20130303900A1 (en) Method and apparatus for processing of stroke ct scans
KR20180022607A (ko) 다양한 측정으로부터의 의료 측정 데이터에 기초한 결과 데이터의 결정
US20210077009A1 (en) Predicting response to therapy for adult and pediatric crohn's disease using radiomic features of mesenteric fat regions on baseline magnetic resonance enterography
Casti et al. Automatic detection of the nipple in screen-film and full-field digital mammograms using a novel Hessian-based method
CN114332132A (zh) 图像分割方法、装置和计算机设备
US9436889B2 (en) Image processing device, method, and program
CN112750519A (zh) 医学图像数据的匿名化
US11464473B2 (en) Distinguishing minimally invasive carcinoma and adenocarcinoma in situ from invasive adenocarcinoma with intratumoral and peri-tumoral textural features
CN111971751A (zh) 用于评估动态数据的系统和方法
EP3613058A1 (en) Identification of candidate elements in images for determination of disease state using atlas elements
Karwoski et al. Processing of CT images for analysis of diffuse lung disease in the lung tissue research consortium
CN110390671A (zh) 一种乳腺钙化检出的方法及装置
US11615881B2 (en) Liver cancer detection
CN116051467B (zh) 基于多任务学习的膀胱癌肌层侵犯预测方法及相关装置
US20220405917A1 (en) Combination of features from biopsies and scans to predict prognosis in sclc

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant