KR20210035381A - 의료 진단 방법 및 장치 - Google Patents

의료 진단 방법 및 장치 Download PDF

Info

Publication number
KR20210035381A
KR20210035381A KR1020190116913A KR20190116913A KR20210035381A KR 20210035381 A KR20210035381 A KR 20210035381A KR 1020190116913 A KR1020190116913 A KR 1020190116913A KR 20190116913 A KR20190116913 A KR 20190116913A KR 20210035381 A KR20210035381 A KR 20210035381A
Authority
KR
South Korea
Prior art keywords
model
interest
medical diagnosis
roi
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190116913A
Other languages
English (en)
Other versions
KR102806741B1 (ko
Inventor
전은주
주성훈
권순환
정명진
Original Assignee
삼성에스디에스 주식회사
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사, 사회복지법인 삼성생명공익재단 filed Critical 삼성에스디에스 주식회사
Priority to KR1020190116913A priority Critical patent/KR102806741B1/ko
Priority to US16/664,832 priority patent/US11308608B2/en
Publication of KR20210035381A publication Critical patent/KR20210035381A/ko
Application granted granted Critical
Publication of KR102806741B1 publication Critical patent/KR102806741B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics
    • Y10S128/922—Computer assisted medical diagnostics including image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computational Linguistics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)

Abstract

의료 진단 방법 및 장치가 개시된다. 일 실시예에 따른 의료 진단 방법은, 객체를 촬영한 3D 의료 영상에 대한 복수의 슬라이드 영상 및 상기 객체에 대한 임상 데이터를 입력받는 단계, 상기 복수의 슬라이드 영상 중 병변을 포함하는 하나 이상의 슬라이드 영상을 추출하는 단계, 상기 추출된 하나 이상의 슬라이드 영상 각각에서 상기 병변이 포함된 관심 영역을 추출하는 단계, 사전 학습된 딥러닝(Deep Learning) 기반의 관심 영역 추상화 모델을 이용하여 상기 추출된 관심 영역에 대한 이미지의 특징이 포함된 잠재 공간(latent space) 데이터를 생성하는 단계 및 사전 학습된 딥러닝 기반의 의료 진단 모델을 이용하여 상기 잠재 공간 데이터 및 임상 데이터로부터 상기 객체에 대한 진단 결과를 생성하는 단계를 포함한다.

Description

의료 진단 방법 및 장치{APPARATUS AND METHOD FOR MEDICAL DIAGNOSTIC}
개시되는 실시예들은 의료 진단 기술과 관련된다.
의료 영상은 환자의 질병을 진단하거나 치료 방법을 결정하기 위한 중요한 요소이다. 예를 들어, 유방암 환자는 자기 공명 영상법(MRI: Magnetic Resonance Imaging), 컴퓨터단층촬영(CT: Computed Tomography) 등을 통해 유방암의 크기, 종류, 림프절(lymph node) 전이 여부 등을 파악할 수 있다. 이를 통해, 암의 병기(staging)가 결정되며, 환자는 암의 종류에 적합한 치료를 받게 된다. 의료 영상은 먼저 전문의에 의해 시각적으로 일차 판독이 시행 된 후, 통계 기법들로 분석된 양적 결과를 활용하여 이차 판독이 시행된다.
이처럼 의료 영상 분석은 전문가의 시간과 노력이 필요한 노동집약적인 업무이다. 따라서, 전문가에 의한 의료 영상 분석에는 많은 비용이 소요되며, 전문가는 영상기술의 발전에 따라 기하급수적으로 늘어난 의료 영상을 모두 감당하지 못하게 되었다. 이에 따라, 영상 분석 전문의의 부담을 줄여 주고, 인적 오류(human error)를 미연에 방지하기 위한 다양한 시도들이 있었다.
종래에는 의료 영상 분석에 주로 통계적 기법을 활용하였다. 예를 들어, 히스토그램(Histogram) 분석 등을 통해 의료 영상의 명도 및 채도의 분포와 관련된 정보(예를 들어, 평균(mean), 분산(variance), 왜도(skewness), 첨도(kurtosis) 등)를 추출하거나, 1차 미분 또는 2차 미분 등을 추출하여 화분 분석을 통해 영상 내 픽셀 사이의 관계(예를 들어, 엔트로피(entropy), 대비(contrast), 동질성(homogeneity) 등)를 추출하여 판독에 활용하였다. 그러나, 이런 통계적 기법들을 통해 추출된 특징은 사람에 의해 직접 선택된 특징(hand-craft feature)이기 때문에, 계통 오차(systematic error)가 발생할 수 있다. 또한, 이미지 정보를 통계적으로 축약하는 과정에서 임의의 정보 손실이 있을 수 있으며, 이로 인해 의료 영상 분석의 정확도가 저하될 수 있다.
또한, 기존의 방법들은 의료 영상 분석에 있어서 비정형 데이터인 의료 영상만을 활용하였다. 영상 분석 전문의는 영상 분석 시 의료 영상뿐만 아니라 임상 정보(예를 들어, 키, 나이, 질환, 약물투여이력 등)를 함께 고려한다. 따라서, 환자의 상태에 따라 의료 영상도 변화기 때문에 의료 영상만으로는 의료 영상 분석의 결과를 신뢰하기 어렵다. 또한, 의료 영상의 차원은 임상 정보의 차원에 비하여 매우 높다. 따라서, 의료 영상과 임상 정보의 차원을 맞추지 않으면, 의료 영상과 임상 정보가 통합된 데이터를 의료 영상 분석 모델의 학습에 이용할 수 없으며, 의료 영상 분석 모델의 정확도 또한 저하된다.
한국등록특허 제10-1881223호 (2018.07.23. 공고)
개시되는 실시예들은 의료 진단 방법 및 장치를 제공하기 위한 것이다.
일 실시예에 따른 의료 진단 방법은, 객체를 촬영한 3D 의료 영상에 대한 복수의 슬라이드 영상 및 상기 객체에 대한 임상 데이터를 입력받는 단계, 상기 복수의 슬라이드 영상 중 병변을 포함하는 하나 이상의 슬라이드 영상을 추출하는 단계, 상기 추출된 하나 이상의 슬라이드 영상 각각에서 상기 병변이 포함된 관심 영역을 추출하는 단계, 사전 학습된 딥러닝(Deep Learning) 기반의 관심 영역 추상화 모델을 이용하여 상기 추출된 관심 영역에 대한 이미지의 특징이 포함된 잠재 공간(latent space) 데이터를 생성하는 단계 및 사전 학습된 딥러닝 기반의 의료 진단 모델을 이용하여 상기 잠재 공간 데이터 및 임상 데이터로부터 상기 객체에 대한 진단 결과를 생성하는 단계를 포함한다.
상기 하나 이상의 슬라이드 영상을 추출하는 단계는, 사전 수집된 복수의 슬라이드 영상 및 상기 사전 수집된 복수의 슬라이드 영상 각각에 대한 병변 분류 결과를 학습 데이터로 이용하여 사전 학습된 합성곱 신경망(Convolutional Neural Network) 기반의 병변 분류 모델을 이용하여 상기 하나 이상의 슬라이드 영상을 추출할 수 있다.
상기 관심 영역을 추출하는 단계는, 병변을 포함하는 사전 수집된 복수의 슬라이드 영상 및 상기 사전 수집된 복수의 슬라이드 영상 각각에 대한 관심 영역 추출 결과를 학습 데이터로 이용하여 사전 학습된 합성곱 신경망 기반의 관심 영역 추출 모델을 이용하여 상기 관심 영역을 추출할 수 있다.
상기 관심 영역 추상화 모델은, 병변을 포함하는 복수의 관심 영역에 대한 이미지를 학습 데이터로 이용하여 VAE(Variational Auto-Encoder) 방식으로 학습된 인코더(encoder)를 포함할 수 있다.
상기 잠재 공간 데이터를 생성하는 단계는, 상기 인코더를 이용하여 상기 추출된 관심 영역에 대한 이미지를 인코딩하여 상기 잠재 공간 데이터를 생성할 수 있다.
상기 의료 진단 모델은, 병변을 포함하는 복수의 관심 영역에 대한 이미지가 학습 데이터로 입력된 상기 인코더의 출력 데이터, 복수의 임상 데이터 및 복수의 임상 데이터 각각에 대한 진단 결과를 학습 데이터로 이용하여 학습될 수 있다.
상기 관심 영역 추상화 모델 및 의료 진단 모델은, 상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합이 최소가 되도록 학습될 수 있다.
상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합은, 아래의 수학식 1을 이용하여 산출될 수 있다.
[수학식 1]
Figure pat00001
(이때,
Figure pat00002
,
Figure pat00003
는 상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합,
Figure pat00004
는 상기 관심 영역 추상화 모델에 대한 손실 함수의 결과 값,
Figure pat00005
는 상기 의료 진단 모델에 대한 손실 함수의 결과 값)
상기 진단 결과는, 생존율, 치료 진행 정도, 상기 병변의 종류 분류 결과 중 하나를 포함할 수 있다.
상기 관심 영역을 추출하는 단계 이후에, 상기 추출된 하나 이상의 슬라이드 영상 각각의 상기 추출된 관심 영역에 대한 이미지가 결합된 3차원 관심 영역 이미지를 생성하는 단계를 더 포함할 수 있다.
일 실시예에 따른 의료 진단 장치는, 하나 이상의 명령어를 저장하는 메모리 및 상기 하나 이상의 명령어를 실행하는 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는, 객체를 촬영한 3D 의료 영상에 대한 복수의 슬라이드 영상 및 상기 객체에 대한 임상 데이터를 입력받고, 상기 복수의 슬라이드 영상 중 병변을 포함하는 하나 이상의 슬라이드 영상을 추출하고, 상기 추출된 하나 이상의 슬라이드 영상 각각에서 상기 병변이 포함된 관심 영역을 추출하고, 사전 학습된 딥러닝(Deep Learning) 기반의 관심 영역 추상화 모델을 이용하여 상기 추출된 관심 영역에 대한 이미지의 특징이 포함된 잠재 공간(latent space) 데이터를 생성하고, 사전 학습된 딥러닝 기반의 의료 진단 모델을 이용하여 상기 잠재 공간 데이터 및 임상 데이터로부터 상기 객체에 대한 진단 결과를 생성할 수 있다.
상기 하나 이상의 프로세서는, 사전 수집된 복수의 슬라이드 영상 및 상기 사전 수집된 복수의 슬라이드 영상 각각에 대한 병변 분류 결과를 학습 데이터로 이용하여 사전 학습된 합성곱 신경망(Convolutional Neural Network) 기반의 병변 분류 모델을 이용하여 상기 하나 이상의 슬라이드 영상을 추출할 수 있다.
상기 하나 이상의 프로세서는, 병변을 포함하는 사전 수집된 복수의 슬라이드 영상 및 상기 사전 수집된 복수의 슬라이드 영상 각각에 대한 관심 영역 추출 결과를 학습 데이터로 이용하여 사전 학습된 합성곱 신경망 기반의 관심 영역 추출 모델을 이용하여 상기 관심 영역을 추출할 수 있다.
상기 관심 영역 추상화 모델은, 병변을 포함하는 복수의 관심 영역에 대한 이미지를 학습 데이터로 이용하여 VAE(Variational Auto-Encoder) 방식으로 학습된 인코더(encoder)를 포함할 수 있다.
상기 하나 이상의 프로세서는, 상기 인코더를 이용하여 상기 추출된 관심 영역에 대한 이미지를 인코딩하여 상기 잠재 공간 데이터를 생성하는 의료 진단 방법.
상기 의료 진단 모델은, 병변을 포함하는 복수의 관심 영역에 대한 이미지가 학습 데이터로 입력된 상기 인코더의 출력 데이터, 복수의 임상 데이터 및 복수의 임상 데이터 각각에 대한 진단 결과를 학습 데이터로 이용하여 학습될 수 있다.
상기 관심 영역 추상화 모델 및 의료 진단 모델은, 상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합이 최소가 되도록 학습될 수 있다.
상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합은, 아래의 수학식 1을 이용하여 산출될 수 있다.
[수학식 1]
Figure pat00006
(이때,
Figure pat00007
,
Figure pat00008
는 상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합,
Figure pat00009
는 상기 관심 영역 추상화 모델에 대한 손실 함수의 결과 값,
Figure pat00010
는 상기 의료 진단 모델에 대한 손실 함수의 결과 값)
상기 진단 결과는, 생존율, 치료 진행 정도, 상기 병변의 종류 분류 결과 중 하나를 포함할 수 있다.
상기 하나 이상의 프로세서는, 상기 추출된 하나 이상의 슬라이드 영상 각각의 상기 추출된 관심 영역에 대한 이미지가 결합된 3차원 관심 영역 이미지를 생성할 수 있다.
개시되는 실시예들에 따르면, 딥러닝 알고리즘을 이용하여 객체에 대한 진단 결과를 생성함으로써, 의료 영상 분석의 수작업으로 인하여 발생하는 변수들로 인한 편향(bias)을 줄일 수 있기 때문에 진단 결과의 정확도를 높이고, 의료 영상 분석의 자동화로 인하여 의료 영상 분석에 소요되는 시간을 줄일 수 있다.
또한, 개시되는 실시예들에 따르면, 의료 영상 및 임상 데이터를 함께 활용하여 진단 결과를 생성함으로써, 딥러닝 기반의 의료 진단 모델이 활용할 수 있는 데이터를 풍부하게 제공하고, 의료 진단 모델의 과적합(overfitting)을 방지하여 의료 진단 모델의 강건함을 높일 수 있다. 또한, 환자의 특성이 반영된 개인 맞춤 치료를 제안할 수 있다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 일 실시예에 따른 의료 진단 시스템의 구성도
도 3은 일 실시예에 따른 의료 진단 방법의 흐름도
도 4는 일 실시예에 따른 관심 영역을 추출하는 예를 설명하기 위한 도면
도 5는 일 실시예에 따른 잠재 공간 데이터를 생성하는 예를 설명하기 위한 도면
도 6은 일 실시예에 따른 진단 결과의 예시도
도 7은 일 실시예에 따른 병변 분류 모델을 학습시키는 예를 설명하기 위한 도면
도 8은 일 실시예에 따른 관심 영역 추출 모델을 학습시키는 예를 설명하기 위한 도면
도 9 및 10은 일 실시예에 따른 관심 영역 추상화 모델 및 의료 진단 모델을 학습시키는 예를 설명하기 위한 도면
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 또한, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하에서, 신경망은 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런들이 이용되고, 인공 뉴런들은 연결 가중치(connection weight)를 가지는 연결선을 통해 상호 연결될 수 있다. 신경망의 파라미터인 연결 가중치는 연결선이 갖는 특정한 값으로서 연결 강도라고도 나타낼 수 있다. 신경망은 인공 뉴런들을 통해 인간의 인지 작용이나 학습 과정을 수행할 수 있다. 인공 뉴런은 노드(node)라고도 지칭할 수 있다.
신경망은 복수의 층들을 포함할 수 있다. 예를 들어, 신경망은 입력 층(input layer), 은닉 층(hidden layer), 출력 층(output layer)를 포함할 수 있다. 입력 층은 학습을 수행하기 위한 입력을 수신하여 은닉 층에 전달할 수 있고, 출력 층은 은닉 층의 노드들로부터 수신한 신호에 기초하여 신경망의 출력을 생성할 수 있다. 은닉 층은 입력 층과 출력 층 사이에 위치하고, 입력 층을 통해 전달된 학습 데이터를 예측하기 쉬운 값으로 변화시킬 수 있다. 입력 층과 은닉 층에 포함된 노드들은 연결 가중치를 가지는 연결선을 통해 서로 연결되고, 은닉 층과 출력 층에 포함된 노드들에서도 연결 가중치를 가지는 연결선을 통해 서로 연결될 수 있다. 입력 층, 은닉 층 및 출력 층은 복수의 노드들을 포함할 수 있다.
신경망은 복수의 은닉 층들을 포함할 수 있다. 복수의 은닉 층들을 포함하는 신경망을 깊은 신경망(deep neural network)이라고 하고, 깊은 신경망을 학습시키는 것을 딥러닝(deep learning)이라고 한다. 은닉 층에 포함된 노드를 은닉 노드(hidden node)라고 한다. 이하, 신경망을 학습시킨다는 것은 신경망의 파라미터를 학습시킨다는 것으로 이해될 수 있다. 또한, 학습된 신경망은 학습된 파라미터가 적용된 신경망으로 이해될 수 있다.
이때, 신경망은 기 설정된 손실 함수(loss function)를 지표로 삼아 학습될 수 있다. 손실 함수는 신경망이 학습을 통해 최적의 가중치 매개변수를 결정하기 위한 지표일 수 있다. 신경망은 설정된 손실 함수의 결과 값을 가장 작게 만드는 것을 목표로 학습될 수 있다.
신경망은 지도 학습(supervised learning) 또는 비지도 학습(unsupervised learning) 방식을 통해 학습될 수 있다. 지도 학습이란 학습 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 방법이다. 비지도 학습이란 학습 데이터에 대응하는 출력 데이터 없이 학습 데이터만을 신경망에 입력하고, 학습 데이터의 특징 또는 구조를 알아내도록 연결선들의 연결 가중치를 업데이트하는 방법이다.
도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 개시되는 실시예들에 따른 의료 진단 장치일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
도 2는 일 실시예에 따른 의료 진단 시스템(200)의 구성도이다.
일 실시예에 따르면, 의료 진단 시스템(200)은 딥러닝 기반으로 학습된 모델들을 이용하여 의료 진단을 위한 각 과정을 처리함으로써, 객체에 대한 진단 결과를 제공하는 것이다.
도 2를 참조하면, 의료 진단 시스템(200)은 객체를 촬영한 3D 의료 영상에 대한 복수의 슬라이드 영상 중 병변을 포함하는 하나 이상의 슬라이드를 추출하기 위한 병변 분류 모델(210), 병변을 포함하는 슬라이드에서 병변이 포함된 관심 영역을 추출하기 위한 관심 영역 추출 모델(220), 관심 영역에 대한 이미지의 특징이 압축된 잠재 공간(latent space) 데이터를 생성하기 위한 관심 영역 추상화 모델(230) 및 객체에 대한 진단 결과를 생성하기 위한 의료 진단 모델(240)을 포함한다.
이때, 의료 진단 시스템(200)에 포함된 각 모델(210, 220, 230, 240)은 사전 학습된 것으로 예를 들어, 딥러닝 모델일 수 있다. 의료 진단 시스템(200)은 의료 진단 과정의 순서에 따라 각 모델(210, 220, 230, 240)을 이용하여 순차적으로 의료 진단 과정을 수행할 수 있다.
한편, 의료 진단 시스템(200)은 객체를 촬영한 3D 의료 영상(250) 및 객체에 대한 임상 데이터(260)를 의료 진단을 위한 입력 데이터로 이용할 수 있다.
3D 의료 영상(250)은 하나 이상의 의료 영상 촬영 장치를 이용하여 촬영된 것 일 수 있다. 예를 들어, 3D 의료 영상(250)은 자기 공명 영상법(MRI: Magnetic Resonance Imaging), 컴퓨터단층촬영(CT: Computed Tomography) 등을 통해 촬영된 것일 수 있다. 이 경우, 3D 의료 영상(250)은 예를 들어, 의료 영상 표준인 의료용 디지털 영상 및 통신(DICOM: Digital Imaging and Communications in Medicine) 표준의 형태를 가질 수 있다. 또한, 3D 의료 영상(250)이 자기 공명 영상법을 통해 촬영된 경우, 3D 의료 영상(250)은 예를 들어, T1 강조 영상(T1WI: T1 Weighted Image), T2 강조 영상(T2WI: T2 Weighted Image), 확산 강조 영상(DWI: Diffusion Weighted Image), 액체 감쇠 역전 회복(FLAIR: Fluid Attenuated Inversion Recovery) 영상, 현성 확산 계수(ADC: Apparent Diffusion Coefficient) 영상 등과 같이 다양한 시퀀스(sequence) 영상을 포함할 수 있다.
임상 데이터(260)는 객체에 대한 정보를 포함할 수 있다. 예를 들어, 임상 데이터(260)는 객체의 나이, 성별, 키, 몸무게, 질병 존재 여부, 약물 투여 이력 등을 포함할 수 있다. 이때, 객체는 예를 들어, 질병을 지닌 환자일 수 있다.
한편, 3D 의료 영상(250) 및 임상 데이터(260)는 각각 다양한 방식을 이용하여 컴퓨팅 장치(12)에 의해 전처리된 데이터일 수 있다.
일 실시예에서, 의료 진단 시스템(200)에서 동일한 객체를 서로 상이한 방식으로 촬영한 제1 3D 의료 영상 및 제2 3D 의료 영상을 의료 진단을 위한 입력 데이터로 이용하는 것으로 가정한다.
이때, 3D 의료 영상을 전처리하는 경우, 컴퓨팅 장치(12)는 제1 3D 의료 영상 및 제2 3D 의료 영상 각각의 양식(modality)이 서로 동일하도록 하는 정합 (Registration) 과정을 수행할 수 있다. 예를 들어, 제1 3D 의료 영상 및 제2 3D 의료 영상 각각에 대응되는 2D 이미지의 크기(size), 시작점(origin), 이미지 사이의 간격(Spacing) 등이 상이한 경우, 컴퓨팅 장치(12)는 제2 3D 의료 영상을 선형(Linear) 모델로 설정하여 제1 3D 의료 영상의 양식에 대응되도록 제2 3D 의료 영상을 재배열(resampling)함으로써, 제1 3D 의료 영상 및 제2 3D 의료 영상 각각의 양식을 동일하게 할 수 있다.
이후, 컴퓨팅 장치(12)는 제1 3D 의료 영상 및 제2 3D 의료 영상의 정규화 (Normalize)를 수행할 수 있다. 예를 들어, 도 3에 도시된 바와 같이 컴퓨팅 장치(12)는 히스토그램 매칭(Histogram-matching) 방식을 통해 정규화를 수행할 수 있다. 구체적으로, 히스토그램 매칭 방식은 영상 내 픽셀 값의 히스토그램 분포를 기반으로 참조 영상의 누적 히스토그램(cumulative histogram)에 맞추어 다른 영상의 픽셀 값을 변환시킬 수 있다.
이후, 컴퓨팅 장치(12)는 연산량을 줄이기 위하여 유한 개의 부분 구간으로 양자화(Quantization)를 수행할 수 있다. 예를 들어, 컴퓨팅 장치(12)는 -30,000 ~ 40,000 사이의 범위를 가지는 픽셀 값을 0 ~ 255 사이의 범위를 가지도록 변환하여 컴퓨팅 장치(12)의 연산량을 최소화할 수 있다.
상술한 모든 전처리 과정을 수행한 후, 전처리된 3D 의료 영상(250)은 예를 들어, 파이썬(python)의 넘피(numpy) 라이브러리 형태로 컴퓨팅 장치(12)에 구비된 메모리에 저장될 수 있다.
한편, 객체에 대한 임상 데이터는 각기 다른 병원의 데이터베이스에 저장되어 있기 때문에 각 데이터베이스에 저장된 데이터를 통합(Integration)하고, 임상 데이터의 오타 및 잘못된 입력 값을 수정해야 한다. 이를 위해, 컴퓨팅 장치(12)는 예를 들어, 연쇄 방정식을 통한 다중대체(MICE: Multivariate Imputation by Chained Equations) 기법 등을 통한 결측값 대체, Min-max, z-score 기법 등을 통한 서로 상이한 범위를 가지는 데이터 값에 대한 정규화를 통해 임상 데이터를 전처리할 수 있다.
상술한 전처리 과정을 수행한 후, 전처리된 임상 데이터(260)는 컴퓨팅 장치(12)에 구비된 메모리에 저장될 수 있다.
도 3은 일 실시예에 따른 의료 진단 방법의 흐름도이다.
도 3에 도시된 방법은 예를 들어, 하나 이상의 명령어를 저장하는 메모리, 및 상기 하나 이상의 명령어를 실행하는 하나 이상의 프로세서를 구비한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 3을 참조하면, 컴퓨팅 장치(12)는 객체를 촬영한 3D 의료 영상에 대한 복수의 슬라이드 영상 및 객체에 대한 임상 데이터를 입력받는다(310).
이때, 복수의 슬라이드 영상은 3D 의료 영상이 복수의 2D 이미지로 분할된 것일 수 있다.
또한, 상술한 바와 같이 3D 의료 영상에 대한 복수의 슬라이드 영상 및 임상 데이터는 각각 컴퓨팅 장치(12)에 의해 전처리된 것일 수 있다.
이후, 컴퓨팅 장치(12)는 복수의 슬라이드 영상 중 병변을 포함하는 하나 이상의 슬라이드 영상을 추출한다(320).
예를 들어, 컴퓨팅 장치(12)는 슬라이드 영상에서 병변이 포함되어 있는지 여부를 분류하는 사전 학습된 합성곱 신경망(Convolutional Neural Network) 기반의 병변 분류 모델(210)을 이용하여 복수의 슬라이드 영상 중 병변을 포함하는 하나 이상의 슬라이드 영상을 추출할 수 있다. 한편, 병변 분류 모델을 학습시키는 과정에 대한 자세한 설명은 도 7에서 후술하도록 한다.
구체적으로, 전처리된 제1 3D 의료 영상에 대한 복수의 슬라이드 영상 및 제2 3D 의료 영상에 대한 복수의 슬라이드 영상이 병변 분류 모델(210)의 2 채널 입력(2-channel Input) 데이터로 이용되는 것으로 가정한다. 이때, 컴퓨팅 장치(12)는 복수의 슬라이드 영상을 병변 분류 모델(210)에 입력하여 각 슬라이드 영상 내 병변이 존재하는 지 여부를 판단할 수 있다. 컴퓨팅 장치(12)는 판단 결과에 기초하여 복수의 슬라이드 영상 중 병변을 포함하는 하나 이상의 슬라이드 영상을 추출하여 관심 영역 추출 모델(220)로 전달할 수 있다.
이후, 컴퓨팅 장치(12)는 추출된 하나 이상의 슬라이드 영상 각각에서 병변이 포함된 관심 영역을 추출한다(330).
예를 들어, 컴퓨팅 장치(12)는 슬라이드 영상에서 병변이 있는 영역을 관심 영역으로 추출하기 위한 합성곱 신경망 기반의 사전 학습된 관심 영역 추출 모델(220)을 이용하여 하나 이상의 슬라이드 영상 각각에서 관심 영역을 추출할 수 있다. 한편, 관심 영역 추출 모델을 학습시키는 과정에 대한 자세한 설명은 도 8에서 후술하도록 한다.
구체적으로, 컴퓨팅 장치(12)는 병변 분류 모델(210)을 이용하여 추출된 병변을 포함하는 하나 이상의 슬라이드 영상을 관심 영역 모델(220)에 입력하여 하나 이상의 슬라이드 영상 각각에서 병변을 포함하는 관심 영역을 추출할 수 있다. 다시 말하면, 컴퓨팅 장치(12)는 복수의 슬라이드 영상을 입력 데이터로 입력받은 병변 분류 모델(210)의 출력 데이터를 관심 영역 모델(220)의 입력 데이터로 입력할 수 있다. 이때, 컴퓨팅 장치(12)는 하나 이상의 슬라이드 영상 각각에서 추출된 관심 영역에 대한 이미지를 획득할 수 있다.
또한, 일 실시예에 따르면, 컴퓨팅 장치(12)는 하나 이상의 슬라이드 영상 각각에서 추출된 관심 영역에 대한 이미지가 결합된 3차원 관심 영역 이미지를 생성할 수 있다.
예를 들어, 컴퓨팅 장치(12)는 하나 이상의 슬라이드 영상 각각에서 추출된 관심 영역에 대한 이미지를 결합하여 3D 복셀(Voxel) 형태의 3차원 관심 영역 이미지를 생성할 수 있다. 또한, 컴퓨팅 장치(12)는 3D 의료 영상에 대한 슬라이드 영상으로부터 3D 의료 영상에 대한 2D 이미지의 크기, 시작점, 이미지 사이의 관계 등의 메타 정보를 획득할 수 있다. 컴퓨팅 장치(12)는 획득된 메타 정보에 포함된 위치 정보에 기초하여 3D 의료 영상에 3차원 관심 영역 이미지를 매칭하여 메모리에 저장할 수 있다.
이후, 컴퓨팅 장치(12)는 사전 학습된 딥러닝 기반의 관심 영역 추상화 모델(230)을 이용하여 하나 이상의 슬라이드 영상 각각에서 추출된 관심 영역에 대한 이미지의 특징이 포함된 잠재 공간 데이터를 생성한다(340).
이때, 잠재 공간 데이터는 관심 영역에 대한 이미지의 특징이 압축되어 표현된 데이터일 수 있다. 구체적으로, 잠재 공간 데이터는 관심 영역 추상화 모델(230)에 의해 관심 영역에 대한 이미지 데이터의 차원이 고 차원에서 저 차원으로 압축된 것일 수 있다.
한편, 관심 영역 추상화 모델을 학습시키는 과정에 대한 자세한 설명은 도 9 및 10에서 후술하도록 한다.
이후, 컴퓨팅 장치(12)는 사전 학습된 딥러닝 기반의 의료 진단 모델(240)을 이용하여 잠재 공간 데이터 및 임상 데이터로부터 객체에 대한 진단 결과를 생성한다(350).
이때, 진단 결과는 객체에 대한 생존율, 치료 진행 정도, 병변의 종류 분류 결과 중 하나를 포함할 수 있다. 따라서, 의료 진단 모델(240)의 종류는 객체에 대한 진단 종류에 기초하여 결정될 수 있다.
예를 들어, 의료 진단 모델(240)은 객체에 대한 생존율을 예측하기 위한 생존율 예측 모델을 포함할 수 있다. 이때, 생존율 예측 모델은 예를 들어, 콕스 비례 위험 모델(Cox Proportional Hazards Model)의 부분 우도(Partial Likelihood) 기반의 손실 함수를 이용한 딥러닝 모델일 수 있다.
또한, 의료 진단 모델(240)은 객체에 대한 치료 진행 정도를 완전 관해, 부분 관해, 효과 없음 중 하나로 분류하기 위한 분류기 모델을 포함할 수 있다. 이때, 일 실시예에 따라 분류기 모델은 상술한 치료 진행 정도뿐만 아니라 병변의 종류도 분류할 수 있다. 예를 들어, 객체의 유방암을 진단하는 경우, 분류기 모델은 A형, B형, H형, T형 등과 같이 유방암의 유형을 분류할 수 있다.
한편, 상술한 예에서 진단 결과는 생존율, 치료 진행 정도, 병변의 종류 분류 결과 중 하나를 포함하는 것으로 예시하였으나, 반드시 이에 한정되는 것은 아니고, 객체에 대한 다양한 의료 진단들을 포함할 수 있다. 이에 따라, 의료 진단 모델(240) 또한 다양한 모델들로 구성될 수 있다.
한편, 의료 진단 모델을 학습시키는 과정에 대한 자세한 설명은 도 9 및 10에서 후술하도록 한다.
도 4는 일 실시예에 따른 관심 영역을 추출하는 예를 설명하기 위한 도면이다.
도 4를 참조하면, 컴퓨팅 장치(12)는 관심 영역 추출 모델(220)을 이용하여 하나 이상의 슬라이드 영상 각각에서 관심 영역을 추출할 수 있다. 예를 들어, 관심 영역 추출 모델(220)은 슬라이드 영상(410)의 각 픽셀에 대하여 병변을 포함하는 관심 영역에 해당할 확률 값을 산출할 수 있다. 이후, 관심 영역 추출 모델(220)은 슬라이드 영상에 포함된 복수의 픽셀 중 기 설정된 임계 값(예를 들어, 0.5) 이상인 확률 값을 가지는 픽셀들을 추출하고, 추출된 픽셀들을 포함하는 영역을 관심 영역(420)으로 추출할 수 있다.
도 5는 일 실시예에 따른 잠재 공간 데이터를 생성하는 예를 설명하기 위한 도면이다.
도 5를 참조하면, 컴퓨팅 장치(12)는 관심 영역 추상화 모델(230)을 이용하여 관심 영역에 대한 이미지의 특징이 포함된 잠재 공간 데이터를 생성할 수 있다. 일 실시예에서, 관심 영역 추상화 모델(230)은 병변을 포함하는 복수의 관심 영역에 대한 이미지를 학습 데이터로 이용하여 VAE(Variational Auto-Encoder) 방식으로 학습된 인코더(520)를 포함할 수 있다. 따라서, 컴퓨팅 장치(12)는 VAE 방식으로 학습된 인코더(520)를 이용하여 하나 이상의 슬라이드 영상 각각에서 추출된 관심 영역에 대한 이미지 데이터(510)를 인코딩하여 잠재 공간 데이터(530)를 생성할 수 있다.
예를 들어, 48*48 크기의 픽셀을 포함하는 관심 영역에 대한 이미지가 18개가 존재하는 경우, 하나 이상의 슬라이드 영상 각각에서 추출된 관심 영역에 대한 이미지 데이터(510)는 47472의 차원을 가지게 된다. 이때, 인코더(520)는 고 차원을 가지는 이미지 데이터(510)를 인코딩하여 20차원을 가지는 잠재 공간 데이터(530)를 생성할 수 있다.
도 6은 일 실시예에 따른 진단 결과의 예시도이다.
도 6의 (a)는 누적 위험 함수의 기초선(Baseline)에 대한 그래프, (b)는 객체 A에 대한 생존율 예측 그래프, (c)는 생존 함수의 기초선에 대한 그래프, (d)는 객체 B에 대한 생존율 예측 그래프를 의미한다. 또한 각 그래프의 y축은 분율을 의미하며, x축은 생존 기간을 의미한다. 이하에서 도 6에 도시된 그래프의 x축인 생존 기간의 단위는 '개월'인 것으로 설명하였으나, 실시예에 따라 '일' 또는 '년'으로 설정될 수 있다.
도 6을 참조하면, 의료 진단 모델(240)은 객체에 대한 생존율을 예측하기 위한 생존율 예측 모델인 것으로 가정한다. 의료 진단 모델(240)은 시간의 흐름에 따라 객체의 사망, 질병 재발 등의 변화를 예측할 수 있다. 의료 진단 모델(240)은 잠재 공간 데이터 및 객체에 대한 임상 데이터로부터 객체에 대한 생존율 예측 함수를 생성할 수 있다. 이후, 의료 진단 모델(240)은 생존율 예측 함수에 기초하여 객체에 대한 시기 별 생존 확률을 산출할 수 있다.
구체적으로, 객체 A은 75% 확률로 150개월 ~ 200개월 사이까지 생존할 것으로 예측되고, 객체 B는 75% 확률로 50개월 ~ 100개월 사이까지 생존할 것으로 예측된다. 따라서, 사용자는 의료 진단 모델(240)을 이용하여 객체 A가 객체 B보다 더 오랜 기간 생존할 것으로 판단할 수 있다.
도 7은 일 실시예에 따른 병변 분류 모델을 학습시키는 예를 설명하기 위한 도면이다.
도 7을 참조하면, 컴퓨팅 장치(12)는 사전 수집된 복수의 슬라이드 영상 및 사전 수집된 복수의 슬라이드 영상 각각에 대한 병변 분류 결과를 학습 데이터로 이용하여 병변 분류 모델(710)을 학습시킬 수 있다. 병변 분류 모델(710)은 예를 들어, 합성곱 신경망 기반의 딥러닝 모델일 수 있다. 일 실시예에서, 병변 분류 모델(710)은 예를 들어, 레스넷(ResNet) 등과 같이 영상 분류 모델과 유사한 구조로 이루어질 수 있다.
이때, 병변 분류 결과는 사용자에 의해 사전 수집된 복수의 슬라이드 영상에 할당(annotation)된 타겟 데이터일 수 있다. 이때, 사용자는 한 명 이상의 영상 의학과 전문의를 포함할 수 있다. 사용자는 예를 들어, ITK-SNAP 등과 같은 3차원 모델링 프로그램을 이용하여 복수의 슬라이드 영상 각각에 병변 분류 결과를 할당할 수 있다.
구체적으로, 컴퓨팅 장치(12)는 사전 수집된 복수의 슬라이드 영상을 입력 데이터로 이용하고, 사전 수집된 복수의 슬라이드 영상 각각에 대한 병변 분류 결과를 타겟 데이터로 이용하여 병변 분류 모델(710)을 학습시킬 수 있다.
이때, 병변 분류 모델(710)에 대한 손실 함수는 예를 들어, 이진 교차 엔트로피(Binary Cross Entropy) 손실 함수, 다중 클래스 서포트 벡터 머신(Multiclass Support Vector Machine) 손실 함수 등과 같이 기 공지된 다양한 손실 함수 중 적어도 하나를 포함할 수 있다.
또한, 병변 분류 모델(710)은 예를 들어, 정밀도(precision)와 재현율(recall)의 조화 평균(harmonic mean) 수치를 나타내는 F1 score, 민감도(sensitivity), 특이도(specificity) 등과 같은 평가 지표를 통해 학습이 잘되어 있는지 여부를 평가받을 수 있다. 따라서, 컴퓨팅 장치(12)는 학습된 복수의 병변 분류 모델 중 평가가 가장 높은 병변 분류 모델을 의료 진단 시스템(200)에 이용하기 위한 모델로 선택할 수 있다.
도 8은 일 실시예에 따른 관심 영역 추출 모델을 학습시키는 예를 설명하기 위한 도면이다.
도 8을 참조하면, 컴퓨팅 장치(12)는 병변을 포함하는 사전 수집된 복수의 슬라이드 영상 및 사전 수집된 복수의 슬라이드 영상 각각에 대한 관심 영역 추출 결과를 학습 데이터로 이용하여 관심 영역 추출 모델(810)을 학습시킬 수 있다.
관심 영역 추출 모델(810)은 예를 들어, 합성곱 신경망 기반의 딥러닝 모델일 수 있다. 일 실시예에서, 관심 영역 추출 모델(810)은 유네트(Unet), 마스크-지역 기반 합성곱 신경망(mask-RCNN: mask-Region based Convolutional Neural Network), 욜로(YOLO: You only Look Once) 등과 같이 영상 분할(image segmentation) 모델과 유사한 구조로 이루어질 수 있다.
한편, 관심 영역 추출 결과는 상술한 바와 같이 병변 분류 결과와 동일한 방식으로 사용자에 의해 할당된 타겟 데이터일 수 있다.
구체적으로, 컴퓨팅 장치(12)는 병변을 포함하는 사전 수집된 복수의 슬라이드 영상을 입력 데이터로 이용하고, 사전 수집된 복수의 슬라이드 영상 각각에 대한 관심 영역 추출 결과를 타겟 데이터로 이용하여 관심 영역 추출 모델(810)을 학습시킬 수 있다.
이때, 관심 영역 추출 모델(810)에 대한 손실 함수는 예를 들어, 이진 교차 엔트로피 손실 함수, 포컬(Focal) 손실 함수, 다이스(Dice) 손실 함수 등과 같이 기 공지된 다양한 손실 함수 중 적어도 하나를 포함할 수 있다.
또한, 관심 영역 추출 모델(810)은 예를 들어, 3D IoU(Intersection over Union)와 같은 평가 지표를 통해 학습이 잘되어 있는지 여부를 평가받을 수 있다. 따라서, 컴퓨팅 장치(12)는 학습된 복수의 관심 영역 추출 모델 중 평가가 가장 높은 관심 영역 추출 모델을 의료 진단 시스템(200)에 이용하기 위한 모델로 선택할 수 있다.
도 9 및 10은 일 실시예에 따른 관심 영역 추상화 모델 및 의료 진단 모델을 학습시키는 예를 설명하기 위한 도면이다.
도 9 및 10에 도시된 의료 진단 모델은 각각 객체의 생존율을 예측 하기 위한 생존율 예측 모델(920)과 객체의 치료 진행 정도를 예측 하기 위한 분류기 모델(1010)을 예시한 것이다. 구체적으로, 도 9는 의료 진단 모델이 생존율 예측 모델(920)인 경우를 예시한 것이고, 도 10은 의료 진단 모델이 분류기 모델(1010)인 경우를 예시한 것이다. 또한, 상술한 바와 같이, 도 9 및 10에 도시된 의료 진단 모델은 생존율 예측 모델(920) 또는 분류기 모델(1010)인 것으로 예시하였으나, 이는 일 실시예에 불과하며, 객체에 대한 의료 진단의 종류에 따라 의료 진단 모델 또한 다양한 모델로 구성될 수 있다.
도 9 및 10을 참조하면, 컴퓨팅 장치(12)는 관심 영역 추상화 모델 및 의료 진단 모델을 함께 학습시킬 수 있다.
관심 영역 추상화 모델(910)은 병변을 포함하는 복수의 관심 영역에 대한 이미지를 학습 데이터로 입력받을 수 있다. 상술한 바와 같이 관심 영역 추상화 모델(910)은 VAE 방식으로 학습될 수 있다. 예를 들어, 관심 영역 추상화 모델(910)은 인코더, 은닉 층 및 디코더(decoder)를 포함할 수 있다.
한편, 개시되는 실시예들에서 관심 영역 추상화 모델(910)에 포함된 인코더 및 디코더의 구조는 특정 구조로 한정되는 것은 아니고, 설정에 따라 다양하게 구성될 수 있다.
또한, 의료 진단 모델에 포함된 은닉 층은 관심 영역 추상화 모델(910)과 연결되어 관심 영역 추상화 모델(910)과 함께 학습될 수 있다. 이때, 의료 진단 모델에 포함된 은닉 층은 예를 들어, 완전 연결 계층(Fully Connected Layer)으로 구성될 수 있다. 또한, 의료 진단 모델이 분류기 모델(1010)인 경우, 소프트 맥스 함수(Softmax Function) 기반의 분류기를 포함할 수 있다.
컴퓨팅 장치(12)는 병변을 포함하는 복수의 관심 영역에 대한 이미지가 학습 데이터로 입력된 관심 영역 추상화 모델(910)의 출력 데이터, 복수의 임상 데이터 및 복수의 임상 데이터 각각에 대한 진단 결과를 학습 데이터로 이용하여 의료 진단 모델을 학습시킬 수 있다.
[표 1]
Figure pat00011
[표 2]
Figure pat00012
상기 표 1 및 2는 복수의 임상 데이터 및 복수의 임상 데이터 각각에 대한 진단 결과를 예시한 것이다. 표 1은 생존율 예측 모델(920)에 이용되는 데이터를 예시한 것이고, 표 2는 분류기 모델(1010)에 이용되는 데이터를 예시한 것이다.
예를 들어, 복수의 임상 데이터는 복수의 환자에 대한 나이, 방사서 치료 여부, 항암 화학 요법 등을 포함할 수 있고, 복수의 임상 데이터 각각에 대한 진단 결과는 복수의 환자 각각의 생존 기간, 생존 여부, 치료 진행 정도 등을 포함할 수 있다. 이때, 진단 결과는 의료 진단 모델이 학습되기 전에 병원 등으로부터 사전 획득된 것일 수 있다.
구체적으로, 컴퓨팅 장치(12)는 복수의 관심 영역에 대한 이미지를 입력받은 관심 영역 추상화 모델(910)의 인코더에 의해 생성된 잠재 공간 데이터 및 복수의 임상 데이터를 입력 데이터로 이용하고, 복수의 임상 데이터 각각에 대한 진단 결과를 타겟 데이터로 이용하여 의료 진단 모델을 학습시킬 수 있다. 즉, 관심 영역 추상화 모델(910)이 학습되는 과정에서 관심 영역 추상화 모델(910)의 은닉 층을 통해 복수의 관심 영역에 대한 이미지에 대한 압축된 특징(Compressed Feature)이 추출될 수 있다. 이때, 압축된 특징은 잠재 공간 데이터를 의미하는 것으로서, 복수의 관심 영역에 대한 이미지의 원본 데이터에 포함된 잉여 특징(Redundant Feature)이 제거된 것일 수 있다.
이에 따라, 의료 진단 모델은 관심 영역에 대한 이미지에 대한 잉여 특징이 제거된 압축된 특징을 학습 데이터로 이용하고, 저 차원 데이터로 압축된 잠재 공간 데이터 및 임상 데이터를 함께 학습 데이터로 이용하기 때문에, 의료 진단 모델의 진단 결과에 대한 정확도가 높아질 수 있다.
한편, 관심 영역 추상화 모델(910) 및 의료 진단 모델은 아래의 수학식 1과 같이 관심 영역 추상화 모델(910) 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합이 최소가 되도록 학습될 수 있다.
이때, 관심 영역 추상화 모델(910) 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합은 아래의 수학식 1을 통해 산출될 수 있다.
[수학식 1]
Figure pat00013
(이때,
Figure pat00014
)
수학식 1에서
Figure pat00015
는 관심 영역 추상화 모델(910) 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합,
Figure pat00016
는 관심 영역 추상화 모델(910)에 대한 손실 함수,
Figure pat00017
는 의료 진단 모델에 대한 손실 함수를 의미한다.
구체적으로, 관심 영역 추상화 모델(910) 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합은 변수
Figure pat00018
가 가중치로 부여된 관심 영역 추상화 모델(910)에 대한 손실 함수의 결과 값과 의료 진단 모델에 대한 손실 함수의 결과 값의 합으로 나타낼 수 있다.
한편, 의료 진단 모델에 대한 손실 함수는 의료 진단 모델의 종류에 따라 상이할 수 있다. 예를 들어, 의료 진단 모델이 생존율 예측 모델(920)인 경우, 의료 진단 모델에 대한 손실 함수는 콕스 비례 위험 모델의 부분 우도 기반의 손실 함수일 수 있다. 이와 달리, 의료 진단 모델이 분류기 모델(1010)인 경우, 의료 진단 모델에 대한 손실 함수는 교차 엔트로피(Cross Entropy) 기반의 손실 함수일 수 있다.
따라서, 관심 영역 추상화 모델(910) 및 의료 진단 모델은 관심 영역 추상화 모델(910) 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합이 최소가 되도록 학습됨으로써, 사용자는 상술한 학습 방식을 통해 의료 진단 모델에 최적화된 관심 영역 추상화 모델(910)을 획득할 수 있다. 이에 따라, 의료 진단 과정에서 의료 진단 모델은 해당 의료 진단 모델에 최적화된 관심 영역 추상화 모델(910)의 출력 데이터를 입력 데이터로 이용함으로써, 의료 진단 모델의 진단 결과에 대한 정확성이 높아질 수 있다.
한편, 관심 영역 추상화 모델(910)에 대한 손실 함수의 결과 값은 아래의 수학식 2를 이용하여 산출될 수 있다.
[수학식 2]
Figure pat00019
(이때,
Figure pat00020
)
이때, 수학식 2에서
Figure pat00021
는 이진 교차 엔트로피 기반의 손실 함수, 쿨백 라이블러 발산(Kullback-Leibler divergence) 기반의 손실 함수를 의미한다.
구체적으로, 컴퓨팅 장치(12)는 변수
Figure pat00022
의 값을 0으로 설정하여 우선적으로 이진 교차 엔트로피 기반의 손실 함수만을 이용하여 관심 영역 추상화 모델(910)을 학습시킬 수 있다. 이후, 컴퓨팅 장치(12)는 변수
Figure pat00023
의 값을 점차적으로 증가시켜 관심 영역 추상화 모델(910)의 손실 함수 중 쿨백 라이블러 발산 기반의 손실 함수의 비중을 점차적으로 증가시키면서 관심 영역 추상화 모델(910)을 학습시킬 수 있다.
이에 따라, 관심 영역에 대한 이미지의 특징이 포함된 복수의 잠재 변수(latent variable) 데이터가 전체적으로 고려되도록 학습됨으로써, 쿨백 라이블러 발산 기반의 손실 함수에 의해 특정 잠재 변수 데이터에 대한 학습이 제대로 이루어지지 않는 문제점을 해결할 수 있다.
한편, 관심 영역 추출 모델(910)은 관심 영역 추출 모델(910)에 대한 손실 함수의 감소량을 통해 모델에 대한 학습이 잘되어 있는지 여부를 평가받을 수 있다. 의료 진단 모델 중 생존율 예측 모델은 일치성 지수(Concordance index)와 같은 평가 지표를 통해 학습이 잘되어 있는 지 여부를 평가받을 수 있다. 의료 진단 모델 중 분류기 모델은 정밀도와 재현율의 조화 평균 수치를 나타내는 F1 score, 민감도, 특이도 등과 같은 평가 지표를 통해 학습이 잘되어 있는지 여부를 평가받을 수 있다. 따라서, 컴퓨팅 장치(12)는 학습된 복수의 관심 영역 추상화 모델 및 의료 진단 모델 중 평가가 가장 높은 관심 영역 추상화 모델 및 의료 진단 모델을 의료 진단 시스템(200)에 이용하기 위한 모델로 선택할 수 있다.
한편, 도 9 및 10에 도시된 예에서 각 이미지 또는 각 은닉 층에 표시된 숫자는 데이터의 차원을 나타내기 위한 것으로서, 각 숫자는 일 예시에 불과하며 반드시 이에 한정되는 것은 아니다.
이상에서는 실시예들을 중심으로 기술적 특징들을 설명하였다. 하지만, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한고, 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스

Claims (20)

  1. 객체를 촬영한 3D 의료 영상에 대한 복수의 슬라이드 영상 및 상기 객체에 대한 임상 데이터를 입력받는 단계;
    상기 복수의 슬라이드 영상 중 병변을 포함하는 하나 이상의 슬라이드 영상을 추출하는 단계;
    상기 추출된 하나 이상의 슬라이드 영상 각각에서 상기 병변이 포함된 관심 영역을 추출하는 단계;
    사전 학습된 딥러닝(Deep Learning) 기반의 관심 영역 추상화 모델을 이용하여 상기 추출된 관심 영역에 대한 이미지의 특징이 포함된 잠재 공간(latent space) 데이터를 생성하는 단계; 및
    사전 학습된 딥러닝 기반의 의료 진단 모델을 이용하여 상기 잠재 공간 데이터 및 임상 데이터로부터 상기 객체에 대한 진단 결과를 생성하는 단계를 포함하는 의료 진단 방법.
  2. 청구항 1에 있어서,
    상기 하나 이상의 슬라이드 영상을 추출하는 단계는, 사전 수집된 복수의 슬라이드 영상 및 상기 사전 수집된 복수의 슬라이드 영상 각각에 대한 병변 분류 결과를 학습 데이터로 이용하여 사전 학습된 합성곱 신경망(Convolutional Neural Network) 기반의 병변 분류 모델을 이용하여 상기 하나 이상의 슬라이드 영상을 추출하는 의료 진단 방법.
  3. 청구항 1에 있어서,
    상기 관심 영역을 추출하는 단계는, 병변을 포함하는 사전 수집된 복수의 슬라이드 영상 및 상기 사전 수집된 복수의 슬라이드 영상 각각에 대한 관심 영역 추출 결과를 학습 데이터로 이용하여 사전 학습된 합성곱 신경망 기반의 관심 영역 추출 모델을 이용하여 상기 관심 영역을 추출하는 의료 진단 방법.
  4. 청구항 1에 있어서,
    상기 관심 영역 추상화 모델은, 병변을 포함하는 복수의 관심 영역에 대한 이미지를 학습 데이터로 이용하여 VAE(Variational Auto-Encoder) 방식으로 학습된 인코더(encoder)를 포함하는 의료 진단 방법.
  5. 청구항 4에 있어서,
    상기 잠재 공간 데이터를 생성하는 단계는, 상기 인코더를 이용하여 상기 추출된 관심 영역에 대한 이미지를 인코딩하여 상기 잠재 공간 데이터를 생성하는 의료 진단 방법.
  6. 청구항 4에 있어서,
    상기 의료 진단 모델은, 병변을 포함하는 복수의 관심 영역에 대한 이미지가 학습 데이터로 입력된 상기 인코더의 출력 데이터, 복수의 임상 데이터 및 복수의 임상 데이터 각각에 대한 진단 결과를 학습 데이터로 이용하여 학습된 의료 진단 방법.
  7. 청구항 6에 있어서,
    상기 관심 영역 추상화 모델 및 의료 진단 모델은, 상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합이 최소가 되도록 학습된 의료 진단 방법.
  8. 청구항 7에 있어서,
    상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합은, 아래의 수학식 1을 이용하여 산출되는 의료 진단 방법.
    [수학식 1]
    Figure pat00024
    (이때,
    Figure pat00025
    ,
    Figure pat00026
    는 상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합,
    Figure pat00027
    는 상기 관심 영역 추상화 모델에 대한 손실 함수의 결과 값,
    Figure pat00028
    는 상기 의료 진단 모델에 대한 손실 함수의 결과 값)
  9. 청구항 1에 있어서,
    상기 진단 결과는, 생존율, 치료 진행 정도, 상기 병변의 종류 분류 결과 중 하나를 포함하는 의료 진단 방법.
  10. 청구항 1에 있어서,
    상기 관심 영역을 추출하는 단계 이후에, 상기 추출된 하나 이상의 슬라이드 영상 각각의 상기 추출된 관심 영역에 대한 이미지가 결합된 3차원 관심 영역 이미지를 생성하는 단계를 더 포함하는 의료 진단 방법.
  11. 하나 이상의 명령어를 저장하는 메모리; 및
    상기 하나 이상의 명령어를 실행하는 하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는,
    객체를 촬영한 3D 의료 영상에 대한 복수의 슬라이드 영상 및 상기 객체에 대한 임상 데이터를 입력받고,
    상기 복수의 슬라이드 영상 중 병변을 포함하는 하나 이상의 슬라이드 영상을 추출하고,
    상기 추출된 하나 이상의 슬라이드 영상 각각에서 상기 병변이 포함된 관심 영역을 추출하고,
    사전 학습된 딥러닝(Deep Learning) 기반의 관심 영역 추상화 모델을 이용하여 상기 추출된 관심 영역에 대한 이미지의 특징이 압축된 잠재 공간(latent space) 데이터를 생성하고,
    사전 학습된 딥러닝 기반의 의료 진단 모델을 이용하여 상기 잠재 공간 데이터 및 임상 데이터로부터 상기 객체에 대한 진단 결과를 생성하는 의료 진단 장치.
  12. 청구항 11에 있어서,
    상기 하나 이상의 프로세서는, 사전 수집된 복수의 슬라이드 영상 및 상기 사전 수집된 복수의 슬라이드 영상 각각에 대한 병변 분류 결과를 학습 데이터로 이용하여 사전 학습된 합성곱 신경망(Convolutional Neural Network) 기반의 병변 분류 모델을 이용하여 상기 하나 이상의 슬라이드 영상을 추출하는 의료 진단 장치.
  13. 청구항 11에 있어서,
    상기 하나 이상의 프로세서는, 병변을 포함하는 사전 수집된 복수의 슬라이드 영상 및 상기 사전 수집된 복수의 슬라이드 영상 각각에 대한 관심 영역 추출 결과를 학습 데이터로 이용하여 사전 학습된 합성곱 신경망 기반의 관심 영역 추출 모델을 이용하여 상기 관심 영역을 추출하는 의료 진단 장치.
  14. 청구항 11에 있어서,
    상기 관심 영역 추상화 모델은, 병변을 포함하는 복수의 관심 영역에 대한 이미지를 학습 데이터로 이용하여 VAE(Variational Auto-Encoder) 방식으로 학습된 인코더(encoder)를 포함하는 의료 진단 장치.
  15. 청구항 14에 있어서,
    상기 하나 이상의 프로세서는, 상기 인코더를 이용하여 상기 추출된 관심 영역에 대한 이미지를 인코딩하여 상기 잠재 공간 데이터를 생성하는 의료 진단 장치.
  16. 청구항 14에 있어서,
    상기 의료 진단 모델은, 병변을 포함하는 복수의 관심 영역에 대한 이미지가 학습 데이터로 입력된 상기 인코더의 출력 데이터, 복수의 임상 데이터 및 복수의 임상 데이터 각각에 대한 진단 결과를 학습 데이터로 이용하여 학습된 의료 진단 장치.
  17. 청구항 16에 있어서,
    상기 관심 영역 추상화 모델 및 의료 진단 모델은, 상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합이 최소가 되도록 학습된 의료 진단 장치.
  18. 청구항 17에 있어서,
    상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합은, 아래의 수학식 1을 이용하여 산출되는 의료 진단 장치.
    [수학식 1]
    Figure pat00029
    (이때,
    Figure pat00030
    ,
    Figure pat00031
    는 상기 관심 영역 추상화 모델 및 의료 진단 모델 각각에 대한 손실 함수의 결과 값의 합,
    Figure pat00032
    는 상기 관심 영역 추상화 모델에 대한 손실 함수의 결과 값,
    Figure pat00033
    는 상기 의료 진단 모델에 대한 손실 함수의 결과 값)
  19. 청구항 11에 있어서,
    상기 진단 결과는, 생존율, 치료 진행 정도, 상기 병변의 종류 분류 결과 중 하나를 포함하는 의료 진단 장치.
  20. 청구항 11에 있어서,
    상기 하나 이상의 프로세서는, 상기 추출된 하나 이상의 슬라이드 영상 각각의 상기 추출된 관심 영역에 대한 이미지가 결합된 3차원 관심 영역 이미지를 생성하는 의료 진단 장치.
KR1020190116913A 2019-09-23 2019-09-23 의료 진단 방법 및 장치 Active KR102806741B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190116913A KR102806741B1 (ko) 2019-09-23 2019-09-23 의료 진단 방법 및 장치
US16/664,832 US11308608B2 (en) 2019-09-23 2019-10-26 Apparatus and method for medical diagnostic

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190116913A KR102806741B1 (ko) 2019-09-23 2019-09-23 의료 진단 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210035381A true KR20210035381A (ko) 2021-04-01
KR102806741B1 KR102806741B1 (ko) 2025-05-14

Family

ID=74881978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190116913A Active KR102806741B1 (ko) 2019-09-23 2019-09-23 의료 진단 방법 및 장치

Country Status (2)

Country Link
US (1) US11308608B2 (ko)
KR (1) KR102806741B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399792B1 (ko) * 2022-01-27 2022-05-23 주식회사 휴런 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법
KR102472550B1 (ko) * 2022-01-17 2022-11-30 주식회사 에어스메디컬 병변 탐지 방법, 프로그램 및 장치
WO2023277644A1 (ko) * 2021-07-02 2023-01-05 아주대학교 산학협력단 구강질환 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치
KR20230006754A (ko) * 2021-07-02 2023-01-11 아주대학교산학협력단 구강질환 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치
WO2023027248A1 (ko) * 2021-08-26 2023-03-02 주식회사 뷰노 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
KR20230029004A (ko) * 2021-08-23 2023-03-03 전남대학교산학협력단 흉부 자동 분할 영상을 이용한 폐암 최종 병기 예측 시스템 및 방법
KR20230038029A (ko) * 2021-09-10 2023-03-17 중앙대학교 산학협력단 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법
WO2023048437A1 (ko) * 2021-09-25 2023-03-30 주식회사 메디컬에이아이 의료 데이터를 기반으로 하는 딥러닝 모델의 학습 및 추론 방법, 프로그램 및 장치
KR20230055035A (ko) 2021-10-18 2023-04-25 사회복지법인 삼성생명공익재단 3d ct 영상에서 추출한 2d 영상들을 이용하여 병변을 예측하는 방법 및 분석장치
KR20230059454A (ko) * 2021-10-26 2023-05-03 이화여자대학교 산학협력단 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치
WO2025143633A1 (ko) * 2023-12-28 2025-07-03 고려대학교 산학협력단 Ct 영상 내 천공지 검출 및 구획화를 위한 ct 영상 처리 방법 및 장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671660B1 (en) * 2018-12-20 2025-06-18 Dassault Systèmes Designing a 3d modeled object via user-interaction
EP3731154A1 (en) * 2019-04-26 2020-10-28 Naver Corporation Training a convolutional neural network for image retrieval with a listwise ranking loss function
CN111275041B (zh) * 2020-01-20 2022-12-13 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
CN113850753B (zh) * 2021-08-17 2023-09-01 苏州鸿熙融合智能医疗科技有限公司 医学图像信息计算方法、装置、边缘计算设备和存储介质
CN113889270A (zh) * 2021-08-23 2022-01-04 浙江一山智慧医疗研究有限公司 胃癌筛查系统、方法、装置、电子装置和存储介质
JP2023045168A (ja) * 2021-09-21 2023-04-03 学校法人帝京大学 医用画像診断支援装置、医用画像診断支援方法およびプログラム
CN117173075A (zh) * 2022-05-24 2023-12-05 鸿海精密工业股份有限公司 医学图像检测方法及相关设备
CN115206512B (zh) * 2022-09-15 2022-11-15 武汉大学人民医院（湖北省人民医院） 基于物联网的医院信息管理方法及装置
CN116091870B (zh) * 2023-03-01 2023-09-12 哈尔滨市科佳通用机电股份有限公司 从板座破损故障识别检测网络训练及检测方法、系统及介质
CN116129200A (zh) * 2023-04-17 2023-05-16 厦门大学 一种基于深度学习的支气管镜图像良恶性病灶分类装置
US20250022124A1 (en) * 2023-07-12 2025-01-16 GE Precision Healthcare LLC Magnification of medical images with super-resolution
CN118280533B (zh) * 2024-06-04 2024-09-27 天津医科大学总医院 用于超声造影视频的到达时间参数成像方法、装置及产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR101881223B1 (ko) 2016-11-22 2018-07-23 (주)에스티엠 이미지 센서 기반 휴대용 의료진단장치와 그를 이용한 의료정보 관리 방법
KR20190105180A (ko) * 2018-02-23 2019-09-16 광운대학교 산학협력단 합성곱 신경망 기반의 병변 진단 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3029556A1 (en) * 2016-07-01 2018-01-04 The Board Of Regents Of The University Of Texas System Methods, apparatuses, and systems for creating 3-dimensional representations exhibiting geometric and surface characteristics of brain lesions
CN110506278B (zh) * 2017-04-19 2023-11-10 西门子医疗有限公司 隐空间中的目标检测
EP3616120B1 (en) * 2017-04-27 2024-09-04 Retinascan Limited System and method for automated funduscopic image analysis
US10699407B2 (en) * 2018-04-11 2020-06-30 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881223B1 (ko) 2016-11-22 2018-07-23 (주)에스티엠 이미지 센서 기반 휴대용 의료진단장치와 그를 이용한 의료정보 관리 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR20190105180A (ko) * 2018-02-23 2019-09-16 광운대학교 산학협력단 합성곱 신경망 기반의 병변 진단 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
David Zimmerer 외, Context-encoding Variational Autoencoder for Unsupervised Anomaly Detection, arXiv, 2018.12.14., pp.1-13. *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277644A1 (ko) * 2021-07-02 2023-01-05 아주대학교 산학협력단 구강질환 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치
KR20230006754A (ko) * 2021-07-02 2023-01-11 아주대학교산학협력단 구강질환 진단에 필요한 정보를 제공하는 방법 및 이를 수행하기 위한 장치
KR20230029004A (ko) * 2021-08-23 2023-03-03 전남대학교산학협력단 흉부 자동 분할 영상을 이용한 폐암 최종 병기 예측 시스템 및 방법
WO2023027248A1 (ko) * 2021-08-26 2023-03-02 주식회사 뷰노 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
KR20230038029A (ko) * 2021-09-10 2023-03-17 중앙대학교 산학협력단 합성곱 신경망 모델을 이용한 3차원 의료 영상 분석 시스템 및 방법
WO2023048437A1 (ko) * 2021-09-25 2023-03-30 주식회사 메디컬에이아이 의료 데이터를 기반으로 하는 딥러닝 모델의 학습 및 추론 방법, 프로그램 및 장치
KR20230055035A (ko) 2021-10-18 2023-04-25 사회복지법인 삼성생명공익재단 3d ct 영상에서 추출한 2d 영상들을 이용하여 병변을 예측하는 방법 및 분석장치
KR20230147589A (ko) 2021-10-18 2023-10-23 사회복지법인 삼성생명공익재단 3d ct 영상에서 추출한 2d 영상들을 이용하여 병변을 예측하는 방법
KR20230059454A (ko) * 2021-10-26 2023-05-03 이화여자대학교 산학협력단 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치
KR102472550B1 (ko) * 2022-01-17 2022-11-30 주식회사 에어스메디컬 병변 탐지 방법, 프로그램 및 장치
KR102399792B1 (ko) * 2022-01-27 2022-05-23 주식회사 휴런 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법
WO2025143633A1 (ko) * 2023-12-28 2025-07-03 고려대학교 산학협력단 Ct 영상 내 천공지 검출 및 구획화를 위한 ct 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
US20210090247A1 (en) 2021-03-25
KR102806741B1 (ko) 2025-05-14
US11308608B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
KR102806741B1 (ko) 의료 진단 방법 및 장치
US10417788B2 (en) Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
EP3043318A1 (en) Analysis of medical images and creation of a report
CN109791804B (zh) 对cad系统个性化以提供cad系统推荐的置信水平指示的方法和部件
US11341632B2 (en) Method for obtaining at least one feature of interest
US20230206447A1 (en) Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, image decoding program, image processing device, learning device, learning method, learning program, similar image search device, similar image search method, and similar image search program
KR102729665B1 (ko) 흉부 자동 분할 영상을 이용한 폐암 최종 병기 예측 시스템 및 방법
Dandıl A Computer‐Aided Pipeline for Automatic Lung Cancer Classification on Computed Tomography Scans
CN107688815B (zh) 医学图像的分析方法和分析系统以及存储介质
US20220076829A1 (en) Method and apparatus for analyzing medical image data in a latent space representation
CN115719328A (zh) 用于量化医学图像评估的不确定性的方法、系统和装置
US20250014695A1 (en) Multi-modal patient representation
US20240087697A1 (en) Methods and systems for providing a template data structure for a medical report
Vállez et al. CADe system integrated within the electronic health record
Kikuchi et al. Synthesis of hybrid data consisting of chest radiographs and tabular clinical records using dual generative models for COVID-19 positive cases
US20250104839A1 (en) Methods and systems for providing a treatment response prediction based on a whole slide image
Yadlapalli et al. Segmentation and Pre-processing of Interstitial Lung Disease using Deep Learning Model
Bergsneider Biological Semantic Segmentation on Ct Medical Images for Kidney Tumor Detection Using Nnu-Net Framework
CN118116603A (zh) 用于对医学图像数据集进行分类的方法和系统
Afzal Machine Learning Clinical Decision Support System for Lung Metastases Multi-Disciplinary Tumor Boards
Shah Novel Deep Learning Techniques for Early Detection of Neurological Disorders
Chang et al. Resources and datasets for radiomics
Taheri et al. An Innovative Technique for Medical Image Segmentation Using Convolutional Neural Networks Optimized Through Stochastic Gradient Descent
SUTAJI et al. WELDONNet: Weighted Ensemble DenseNet121, MobileNetV2, and NASNetMobile to improve skin lesion diseases classification
WO2025146414A1 (en) Medical images for physiological assessment and selection of model for medical image analysis

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190923

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211224

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20190923

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240920

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250502

PG1601 Publication of registration