KR20230061670A - 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치 - Google Patents

의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20230061670A
KR20230061670A KR1020210145926A KR20210145926A KR20230061670A KR 20230061670 A KR20230061670 A KR 20230061670A KR 1020210145926 A KR1020210145926 A KR 1020210145926A KR 20210145926 A KR20210145926 A KR 20210145926A KR 20230061670 A KR20230061670 A KR 20230061670A
Authority
KR
South Korea
Prior art keywords
medical image
target region
clinical parameters
providing
region
Prior art date
Application number
KR1020210145926A
Other languages
English (en)
Inventor
심학준
전재익
김세근
최안네스
Original Assignee
주식회사 온택트헬스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 온택트헬스 filed Critical 주식회사 온택트헬스
Priority to KR1020210145926A priority Critical patent/KR20230061670A/ko
Priority to PCT/KR2022/016629 priority patent/WO2023075480A1/ko
Publication of KR20230061670A publication Critical patent/KR20230061670A/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명의 실시예에 따른 의료 영상의 예측된 목적 부위에 대한 불확실성 데이터를 제공하기 위한 방법 및 장치가 제공된다. 상기 방법은, 촬영 장치로부터 피검자의 목적 부위를 촬영한 적어도 하나의 의료 영상을 획득하는 단계; 상기 적어도 하나의 의료 영상을 기초로 상기 목적 부위에 해당하는 적어도 하나의 영역을 예측하도록 학습된 예측 모델을 이용하여 상기 적어도 하나의 의료 영상으로부터 상기 목적 부위에 대한 상기 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득하는 단계; 상기 획득된 예측 결과 데이터를 기반으로 상기 목적 부위에 대한 임상 파라미터를 계산하는 단계; 및 상기 계산된 임상 파라미터를 제공하는 단계를 포함하고, 상기 예측 결과 데이터는, 상기 예측 모델에 의해 예측된 적어도 하나의 영역에 대한 불확실성 데이터를 포함한다.

Description

의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING CLINICAL PARAMETER OF TARGET OBJECT OF MEDICAL IMAGE}
본 발명은 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치에 관한 것이다.
일반적으로 피검자의 목적 부위에 대한 질환 여부를 결정하기 위해 영상 의학 검사(예: 엑스레이(X-ray), 초음파, CT(Computed Tomography), 혈관조영 촬영검사(Angiography), 양전자 방출 단층 촬영 검사(PET-CT) 또는 MRI(Magnetic Resonance Imaging) 검사 등)를 통해 피검자의 목적 부위를 촬영한 의료 영상이 이용된다.
전문의는 획득된 의료 영상을 육안으로 확인하여 목적 부위 영역을 식별함으로써, 목적 부위를 확인하고, 이에 대한 질환 여부를 결정할 수 있다.
다만, 환자의 수가 증가함에 따라 목적 부위를 촬영한 영상 또한 배로 증가하므로, 목적 부위 영역을 식별하기 위해 많은 전문 인력이 필요하며, 전문가가 목적 부위 영역을 일일이 육안으로 확인하여 식별하는데 소요되는 시간 또한 증가하게 된다.
이에, 의료 영상을 기반으로 목적 부위 영역을 예측하도록 학습된 인공신경망을 이용하여 입력 의료 영상으로부터 목적 부위 영역을 예측하는 방식이 널리 이용되고 있다.
그러나, 의료 영상은 촬영 장치의 성능 및/또는 피검자의 움직임 등에 의해 의료 영상 자체에 노이즈가 존재하므로, 인공신경망을 이용하더라도 예측된 결과에 대한 정확도 및 신뢰도가 낮아질 수 있다. 나아가, 예측 모델이 적은 훈련 데이터의 수로 훈련된 인공신경망 모델일 경우 그 예측 결과에 대한 정확도 및 신뢰도는 더욱 낮아질 수 있다.
따라서, 전문가에 의해서 측정된 결과에 기반하여 계산된 목적 부위의 임상 파라미터와 실질적으로 동일한 임상 파라미터를 제공하기 위한 방법이 요구된다.
본 발명의 발명자들은 의료 영상 자체의 노이즈 및/또는 훈련 데이터 수의 부족으로 인해 인공신경망 모델을 이용하여 예측된 결과에 대한 불확실성이 존재한다는 사실을 인식하였다.
이에, 본 발명이 해결하고자 하는 과제는 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치를 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 인공신경망 모델을 이용하여 전문가에 의해서 예측된 결과와 실질적으로 동일한 결과를 제공하기 위해 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치가 제공된다.
본 발명의 실시예에 따른 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법은, 촬영 장치로부터 피검자의 목적 부위를 촬영한 적어도 하나의 의료 영상을 획득하는 단계; 적어도 하나의 의료 영상을 기초로 목적 부위에 해당하는 적어도 하나의 영역을 예측하도록 학습된 예측 모델을 이용하여 적어도 하나의 의료 영상으로부터 목적 부위에 대한 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득하는 단계; 획득된 예측 결과 데이터를 기반으로 목적 부위에 대한 임상 파라미터를 계산하는 단계; 및 계산된 임상 파라미터를 제공하는 단계를 포함한다.
본 발명의 실시예에 따른 예측 결과 데이터는, 예측된 각 영역을 분할화(segmentation)한 마스크(mask) 영역을 포함하는 복수의 분할 영상을 포함한다.
본 발명의 실시예에 따른 임상 파라미터를 계산하는 단계는, 복수의 분할 영상의 마스크 영역의 분포에 기반하여 목적 부위의 면적에 대한 중앙값을 산출하는 단계를 의미할 수 있다.
본 발명의 실시예에 따른 계산된 임상 파라미터를 제공하는 단계는, 산출된 중앙값을 제공하는 단계를 의미할 수 있다.
본 발명의 실시예에 따른 임상 파라미터를 계산하는 단계는, 중앙값과 목적 부위의 면적의 최대값 간의 차이, 및 중앙값과 목적 부위의 면적의 최소값 간의 차이를 포함하는 오차 범위를 산출하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 계산된 임상 파라미터를 제공하는 단계는, 중앙값 및 오차 범위를 제공하는 단계를 의미할 수 있다.
본 발명의 실시예에 따른 방법은, 복수의 분할 영상의 마스크 영역의 분포를 나타내는 영상을 제공하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 목적 부위는, 심장을 포함하고, 적어도 하나의 영역은, 좌심방, 좌심실, 우심방 및 우심실을 포함한다.
본 발명의 실시예에 따른 예측 모델은, 복수의 대상자 각각의 적어도 하나의 의료 영상을 기초로 목적 부위에 대한 적어도 하나의 영역을 예측했을 때 이용된 모델 파라미터의 예측 분포를 계산하도록 학습된 확률 모델을 이용하여 구성된다.
본 발명의 실시예에 따른 예측 모델은, 확률 모델에 의해서 계산된 모델 파라미터의 예측 분포가 상기 적어도 하나의 영역의 클래스(class)를 분류하기 위한 계층(layer)에 반영되도록 구성된다.
본 발명의 실시예에 따른 확률 모델은, 베이지안 신경 네트워크(Bayesian neural network)를 기반으로 한다.
본 발명의 실시예에 따른 예측 모델은, u-net으로 구성되고, 모델 파라미터의 확률 분포는 예측 모델의 마지막 계층에 적용된다.
본 발명의 실시예에 따른 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치는, 데이터를 송수신하도록 구성된 통신부; 및 통신부와 연결하도록 구성된 제어부를 포함하고, 제어부는, 통신부를 통해 촬영 장치로부터 피검자의 목적 부위를 촬영한 적어도 하나의 의료 영상을 획득하고, 적어도 하나의 의료 영상을 기초로 목적 부위에 해당하는 적어도 하나의 영역을 예측하도록 학습된 예측 모델을 이용하여 적어도 하나의 의료 영상으로부터 목적 부위에 대한 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득하고, 획득된 예측 결과 데이터를 기반으로 목적 부위에 대한 임상 파라미터를 계산하고, 계산된 임상 파라미터를 제공하도록 구성된다.
본 발명의 실시예에 따른 예측 결과 데이터는, 예측된 각 영역을 분할화한 마스크 영역을 포함하는 복수의 분할 영상을 포함한다.
본 발명의 실시예에 따른 제어부는, 복수의 분할 영상의 마스크 영역의 분포에 기반하여 목적 부위의 면적에 대한 중앙값을 산출하도록 구성된다.
본 발명의 실시예에 따른 제어부는, 산출된 중앙값을 임상 파라미터로서 제공하도록 구성된다.
본 발명의 실시예에 따른 제어부는, 중앙값과 목적 부위의 면적의 최대값 간의 차이, 및 중앙값과 목적 부위의 면적의 최소값 간의 차이를 포함하는 오차 범위를 더 산출하도록 구성된다.
본 발명의 실시예에 따른 제어부는, 중앙값 및 오차 범위를 임상 파라미터로서 제공하도록 구성된다.
본 발명의 실시예에 따른 제어부는, 복수의 분할 영상의 마스크 영역의 분포를 나타내는 영상을 더 제공하도록 구성된다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 개선된 예측 모델을 이용하여 의료 영상으로부터 목적 부위에 대한 적어도 하나의 영역을 예측한 예측 결과 데이터에 기반하여 목적 부위에 대한 임상 파라미터를 계산하고, 계산된 임상 파라미터를 제공함으로써, 인공신경망의 예측 결과에 대한 불확실성이 존재하더라도 전문의가 측정한 목적 부위 영역에 대한 임상 파라미터와 실질적으로 동일한 결과의 임상 파라미터를 제공할 수 있다.
또한, 본 발명은 계산된 임상 파라미터에서 인공신경망의 예측 결과에 대한 불확실성이 반영된 오차 범위를 제공함으로써, 예측 결과에 대한 불확실성을 객관적으로 판단하여 판단 오류를 줄일 수 있다.
본 발명에 따른 효과는 이상에서 예시한 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 3은 본 발명의 실시예에 따른 인공신경망 모델을 이용하여 목적 부위의 적어도 하나의 영역을 예측하는 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 예측 모델을 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따라 학습된 확률 모델의 모델 파라미터를 이용하여 예측 모델을 생성하는 방법을 설명하기 위한 흐름도이다.
도 7을 본 발명의 실시예에 따른 임상 파라미터를 제공하는 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 실시예에 따라 계산된 임상 파라미터 및 이에 관한 오차 범위를 나타내는 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서에서 '영상(image)'은 정지 화상(still image) 및/또는 동영상(video)일 수 있으나, 이에 한정되지 않으며, 2차원 영상 또는 3차원 영상(즉, 3차원 볼륨(volume) 영상)일 수도 있다.
본 명세서에서 '실질적으로 동일한'은 두 데이터 간의 차이가 기 설정된 임계값 보다 작은 경우를 의미할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 시스템을 설명하기 위한 개략도이다.
도 1을 참조하면, 시스템(100)은 피검자의 목적 부위를 촬영한 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 시스템이다. 여기서, 의료 영상은 피검자의 목적 부위를 촬영한 영상으로, 엑스레이(x-ray) 영상, 초음파(ultrasonography) 영상, CT(Computed Tomography) 영상, 혈관조영 촬영(Angiography) 영상, 양전자 방출 단층 촬영(PET-CT) 영상, MRI(Magnetic Resonance Imaging) 영상 등일 수 있으나, 이에 한정되지 않는다. 목적 부위는 피검자의 특정 신체 부위로서, 심장, 폐, 기관지, 간, 피부, 요관, 요도, 고환, 질, 항문, 후두선, 난소, 갑상선, 식도, 비인두선, 뇌하수체, 타액선, 전립선, 췌장, 부신, 림프절, 비장, 뇌, 정맥류, 근골격계, 부비동, 척수, 신장, 입, 입술, 인후, 구강, 비강, 소장, 결장, 부갑상선, 담낭, 두경부, 유방, 골, 담관, 자궁경부, 심장, 및/또는 하인두선 등일 수 있으나, 이에 한정되지 않는다.
먼저, 촬영 장치(110)는 피검자의 목적 부위를 촬영한 적어도 하나의 의료 영상을 제공하기 위한 엑스레이 촬영 장치, 초음파 촬영 장치, CT 촬영 장치, 혈관조영 촬영 장치, 양전자 방출 단층 촬영 장치, 및/또는 MRI 장치 등일 수 있다.
다음으로, 전자 장치(120)는 촬영 장치(110)로부터 제공된 적어도 하나의 의료 영상을 이용하여 목적 부위의 적어도 하나의 영역을 예측한 예측 결과 데이터를 이용하여 목적 부위에 대한 임상 파라미터를 제공하기 위한 태블릿 PC, 노트북 및/또는 PC 등 중 적어도 하나일 수 있다.
구체적으로, 전자 장치(120)는 적어도 하나의 의료 영상으로부터 목적 부위의 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득하고, 획득된 예측 결과 데이터를 기반으로 목적 부위에 대한 임상 파라미터를 제공할 수 있다.
목적 부위의 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득하기 위해 전자 장치(120)는 적어도 하나의 인공신경망 모델 또는 알고리즘을 이용할 수 있으나, 이에 한정되지 않는다.
나아가, 전자 장치(120)는 목적 부위의 적어도 하나의 영역에 대한 병변을 예측한 예측 결과 데이터를 제공할 수도 있다.
제시된 실시예에서는 촬영 장치(110) 및 전자 장치(120)가 각각의 장치로서 구현된 경우를 설명하였으나, 이에 한정되지 않으며, 촬영 장치(110) 및 전자 장치(120)는 하나의 장치로서 구현될 수도 있다.
하기에서는 도 2를 참조하여 전자 장치(120)에 대해서 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 2를 참조하면, 전자 장치(200)는 통신부(210), 저장부(220), 표시부(230), 및 제어부(240)를 포함한다. 다양한 실시예에서 표시부(230)는 선택적으로 구비될 수 있다. 제시된 실시예에서 전자 장치(200)는 도 1의 전자 장치(120)를 의미할 수 있다.
통신부(210)는 전자 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(210)는 유/무선 통신을 이용하여 촬영 장치(110)와 연결되어 피검자에 대한 적어도 하나의 의료 영상을 수신할 수 있다.
저장부(220)는 적어도 하나의 의료 영상을 기초로 피검자의 목적 부위의 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득하고, 획득된 예측 결과에 기반하여 목적 부위에 대한 임상 파라미터를 제공하기 위해 다양한 데이터를 저장할 수 있다.
다양한 실시예에서 저장부(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자 장치(200)는 인터넷(internet)상에서 상기 저장부(220)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
표시부(230)는 사용자에게 각종 콘텐츠를 표시할 수 있다. 예를 들어, 표시부(230)는 적어도 하나의 의료 영상을 표시하고, 또는, 예측 결과 데이터 및/또는 임상 파라미터를 표시할 수 있다.
다양한 실시예에서 표시부(230)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접, 드래그(drag), 스와이프(swipe) 또는 호버링(hovering) 입력 등을 수신할 수 있다.
제어부(240)는 통신부(210), 저장부(220), 및 표시부(230)와 동작 가능하게 연결되며, 피검자의 적어도 하나의 의료 영상에 기반하여 목적 부위의 적어도 하나의 영역을 예측하고, 이에 대한 예측 결과 데이터를 기반하여 목적 부위에 대한 임상 파라미터를 제공하기 위한 다양한 명령들을 수행할 수 있다.
제어부(240)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 어플리케이션 프로세서(AP), 디지털 신호 처리 장치(DSP), 산술 논리 연산 장치(ALU) 및 인공신경망 프로세서(NPU) 중 적어도 하나를 포함하도록 구성될 수 있다.
구체적으로, 제어부(240)는 통신부(210)를 통해 촬영 장치(110)로부터 피검자의 목적 부위를 촬영한 적어도 하나의 의료 영상을 획득하고, 적어도 하나의 의료 영상을 기초로 상기 목적 부위에 해당하는 적어도 하나의 영역을 예측하도록 학습된 예측 모델을 이용하여 적어도 하나의 의료 영상으로부터 목적 부위에 대한 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득한다. 이어서, 제어부(240)는 획득된 예측 결과 데이터를 기반으로 목적 부위에 대한 임상 파라미터를 계산하고, 계산된 임상 파라미터를 제공할 수 있다. 여기서, 예측 결과 데이터는 예측된 각 영역을 분할화(segmentation)한 마스크(mask) 영역을 포함하는 분할 영상을 포함한다. 나아가, 예측 결과 데이터는 예측된 각 영역의 클래스(class) 및 예측된 각 영역에 대한 정확도 중 적어도 하나를 더 포함할 수도 있다.
하기에서는 상술한 제어부(240)의 동작에 대해서 도 3 내지 도 4를 참조하여 구체적으로 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 인공신경망 모델을 이용하여 목적 부위의 적어도 하나의 영역을 예측하는 방법을 설명하기 위한 예시도이다. 제시된 실시예에서는 목적 부위를 심장으로 설명하도록 한다.
도 3을 참조하면, 제어부(240)는 복수의 의료 영상(300)을 입력으로 심장에 해당하는 복수의 영역을 예측하도록 학습된 예측 모델(310)을 이용하여 복수의 영역을 예측한 예측 결과 데이터(330)를 획득할 수 있다. 여기서, 심장에 해당하는 복수의 영역은 좌심방, 좌심실, 우심방 및 우심실일 수 있다.
예측 모델(310)은 복수의 의료 영상(300)을 기초로 심장에 해당하는 복수의 영역을 예측하도록 학습된 인공신경망 모델로서, 복수의 참조 영상으로 미리 학습하고, 새롭게 입력되는 복수의 의료 영상(300)으로부터 복수의 영역을 예측하도록 구성될 수 있다. 여기서, 복수의 참조 영상은 복수의 대상자 각각의 심장을 촬영한 복수의 의료 영상일 수 있다. 나아가, 예측 모델(310)은 영상 분할화(image segmentation)를 위한 인공신경망 모델일 수도 있다.
예측 모델(310)은 입력된 복수의 의료 영상으로부터 심장에 해당하는 복수의 영역 각각을 예측하고, 예측된 각 영역에 대한 분할화된 마스크 영역을 포함하는 분할 영상을 예측 결과 데이터로서 출력할수 있다.
일반적으로, 의료 영상은 촬영 장치의 성능 및/또는 피검자 또는 목적 부위 자체의 움직임 등에 의해서 발생되는 노이즈를 포함할 수 있다. 예측 모델에 이러한 노이즈가 포함된 의료 영상이 입력될 경우 예측 결과가 부정확할 수 있으며, 이에 따라 해당 예측 모델의 정확성 및 신뢰성이 떨어질 수 있다.
뿐만 아니라, 예측 모델의 훈련을 위한 참조 영상의 수가 적거나, 적은 수의 참조 영상으로 학습된 모델의 파라미터에 의해서 예측 모델의 예측 결과가 부정확할 수 있으며, 이에 따라 해당 예측 모델의 정확성 및 신뢰성 역시 떨어질 수 있다.
더욱이, 심장은 4개의 방(좌심방, 우심방, 좌심실 및 우심실)으로 이루어지고, 방과 방 사이에는 혈액 소통을 위해 적절한 개폐 기능을 하는 판막(valve)으로 이루어진다. 이러한 심장을 촬영한 의료 영상은 판막 부분에서 높은 노이즈를 가질 수 있으며, 이를 예측 모델의 입력으로 할 경우 예측 모델의 예측 결과는 높은 inter/intra variability를 갖게 된다.
이에 따라, 전문가에 의해서 측정된 결과에 기반하여 계산된 목적 부위의 임상 파라미터와 실질적으로 동일한 임상 파라미터를 제공하기 위한 방법이 요구된다.
이를 위해 제어부(240)는 복수의 참조 영상을 기초로 목적 부위의 적어도 하나의 영역을 예측하기 위해 학습된 확률 모델의 모델 파라미터에 대한 예측 분포를 적어도 일부에 반영한 예측 모델(310)을 이용할 수 있다.
모델 파라미터의 예측 분포를 계산하기 위한 확률 모델은 베이지안 신경망을 기반으로 구성될 수 있으나, 이에 한정되지 않는다. 예를 들어, 베이지안 신경망을 기반으로 MC(Monte Carlo) dropout 방식 및 Neural linear 방식을 이용할 수 있으나, 이에 한정되지 않으며, 이를 위한 다양한 방식이 이용될 수 있다.
구체적으로, 베이지안 신경망은 훈련을 위해 사용되는 복수의 참조 영상을 기초로 목적 부위에 대한 적어도 하나의 영역을 예측한 예측 결과를 출력했을 때 이에 이용된 모델 파라미터에 대한 예측 분포를 나타내는 모델 파라미터의 사후 예측 분포(posterior predictive distribution)를 계산한다. 사후 분포를 계산하기 위해서는 모델 파라미터의 예측 분포를 나타내는 사전 분포(prior predictive distribution) 및 입력 영상과 모델 파라미터를 이용하여 출력된 예측 결과의 예측 분포를 나타내는 우도 분포(likelihood distribution)가 이용된다.
다만, 일반적으로 사후 예측 분포를 계산하는데 어려움이 있으므로, 변분 추론(variational inference)을 통해 근사값을 구할 수 있다. 다시 말해서, 변분 분포(variational distribution)에 의해 사후 예측 분포가 근사화될 수 있다.
모델 파라미터에 대한 사후 예측 분포의 근사값을 구하기 위해 베이지안 신경망은 변분 분포와 사후 예측 분포 사이의 차이를 산출하고, 이를 최소화함으로써, 변분 분포를 사후 예측 분포로 근사화할 수 있다. 여기서, 차이는 '쿨백-라이블러 발산(Kullback-Leibler divergence)라고 한다.
이와 같이 변분 분포와 사후 예측 분포 사이의 차이를 최소화하기 위해 베이지안 신경망은 변분 하한을 이용한다. 베이지안 신경망은 변분 하한을 최대화함으로써, 변분 분포와 사후 예측 분포 사이의 차이를 최소화할 수 있다. 여기서, 변분 하한은 ELBO(Evidence Lower Bound)를 의미한다.
이와 같이 변분 하한을 최대화하여 변분 분포와 사후 예측 분포 사이의 차이를 최소화하고, 이를 통해 사후 예측 분포에 대한 근사값을 구함으로써, 모델 파라미터의 사후 예측 분포가 계산될 수 있다.
이와 같이 계산된 사후 예측 분포를 이용하여 예측 모델(310)이 생성될 수 있다.
이에 대해서 구체적으로 도 4를 참조하여 설명하도록 한다.
도 4는 본 발명의 실시예에 따른 예측 모델을 나타내는 예시도이다.
도 4를 참조하면, 예측 모델(400)은 u-net을 기반으로 구성된다. 이러한 예측 모델(400)은 수축 경로(405) 및 확장 경로(410)를 포함한다.
수축 경로(405)는 일반적인 합성곱 신경망(convolution networks)을 기반으로 하는데, 입력 값에 대해 합성곱 연산, 선형 함수 및 다운샘플링(down-sampling)을 위한 하나 이상의 계층들을 포함한다.
확장 경로(410)는 특징맵의 크기를 확장시키기 위해 업샘플링(up-sampling)을 위한 합성곱 연산 및 선형 함수를 위한 하나 이상의 계층들을 포함한다.
수축 경로(405)에서는 특징맵 수축을 위해 각 수축 단계마다 3x3 합성곱 연산이 기 설정된 횟수만큼 수행되고(415), 다운샘플링 연산이 수행된다(420). 이를 통해 특징맵(425)의 크기가 줄어들면서 채널 수가 증가된다.
확장 경로(410)에서는 특징맵 확장을 위해 각 확장 단계마다 3x3 합성곱 연산이 기 설정된 횟수만큼 수행되고(430), 업샘플링을 위한 업-컨볼루션 연산이 수행된다(435). 이를 통해 특징맵(440)의 크기가 늘어나면서 채널 수가 줄어든다.
더욱이, 확장 경로(410)의 각 확장 단계에서의 특징맵은 각 확장 단계마다 수축 경로(405)의 각 수축 단계에서 합성곱 연산으로 줄어든 크기만큼 크롭(crop)된 특징맵과 병합된다(445).
확장 경로(410)의 마지막 계층은 각 채널의 정보를 클래스 점수로 추정하기 위한 계층으로, 이 계층에는 의료 영상의 모든 화소 내에 포함된 불확실성을 획득하기 위한 필터(450)가 배치된다. 이러한 필터(450)는 모델 파라미터에 대한 계산된 예측 분포(즉, 사후 예측 분포)가 반영된다. 이러한 마지막 계층은 1x1 합성곱 연산 및 활성 함수(sigmoid)를 위한 하나 이상의 계층들을 포함할 수 있다.
이처럼, 예측 모델(400)은 복수의 참조 영상에 관하여 모델 파라미터의 예측 분포가 마지막 계층에서 학습되며, 이는 복수의 예측 모델을 이용하여 복수의 예측 결과를 출력하는 것과 동일한 효과를 가질 수 있다.
다시 도 3을 참조하면, 제어부(240)는 확률 모델의 모델 파라미터에 대한 확률 분포가 반영된 예측 모델(310)을 이용하여 목적 부위의 적어도 하나의 영역을 예측한 예측 결과 데이터(320)를 제공할 수 있다.
예측 결과 데이터(320)는 목적 부위의 대한 예측된 적어도 하나의 영역을 분할화(segmentation)한 마스크 영역을 포함하는 분할 영상을 포함한다. 이러한 분할 영상은 복수 개일 수 있다. 앞서 언급한 바와 같이 예측 모델(400)은 하나의 참조 영상에 대하여 복수의 예측 결과를 획득할 수 있으므로, 예측 결과는 복수 개일 수 있다. 나아가, 예측 결과 데이터는 예측된 각 영역의 클래스 및 예측된 각 영역에 대한 정확도 중 적어도 하나를 더 포함할 수 있다.
하기에서는 도 5를 참조하여 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법을 설명하도록 한다.
도 5는 본 발명의 실시예에 따른 의료 영상의 예측된 목적 부위에 대한 불확실성 데이터를 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 제어부(240)는 촬영 장치(110)로부터 피검자의 목적 부위를 촬영한 적어도 하나의 의료 영상을 획득한다(S500).
제어부(240)는 적어도 하나의 의료 영상을 기초로 목적 부위에 해당하는 적어도 하나의 영역을 예측하도록 학습된 예측 모델을 이용하여 적어도 하나의 의료 영상으로부터 목적 부위에 대한 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득한다(S510).
제어부(240)는 획득된 예측 결과 데이터를 기반으로 목적 부위에 대한 임상 파라미터를 계산하고(S520), 계산된 임상 파라미터를 제공한다(S530). 여기서, 예측 결과 데이터는 예측 모델에 의해서 예측된 각 영역을 분할화한 마스크 영역을 포함하는 복수의 분할 영상을 포함한다.
예측 결과 데이터를 획득하기 위해 제어부(240)는 복수의 대상자 각각의 적어도 하나의 의료 영상을 기초로 목적 부위에 대한 적어도 하나의 영역을 예측했을 때 이용된 모델 파라미터의 확률 분포를 계산하도록 학습된 확률 모델을 이용한다. 제어부(240)는 계산된 모델 파라미터의 확률 분포가 예측 모델의 적어도 일부에 반영되도록 해당 예측 모델을 생성한다.
하기에서는 도 6을 참조하여 학습된 확률 모델의 파라미터를 이용하여 예측 모델을 생성하는 방법을 설명한다.
도 6은 본 발명의 실시예에 따라 학습된 확률 모델의 파라미터를 이용하여 예측 모델을 생성하는 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 제어부(240)는 복수의 대상자 각각의 목적 부위를 촬영한 적어도 하나의 의료 영상을 획득한다(S600). 여기서, 복수의 대상자 각각의 적어도 하나의 의료 영상은 상술한 복수의 참조 영상을 의미할 수 있다.
제어부(240)는 적어도 하나의 의료 영상을 기초로 목적 부위의 적어도 하나의 영역을 예측했을 때 이용된 모델 파라미터의 예측 분포를 계산하도록 확률 모델을 학습한다(S610). 제어부(240)는 학습된 확률 모델에 의해서 계산된 모델 파라미터의 예측 분포를 반영한 예측 모델을 생성한다(S620).
구체적으로, 제어부(240)는 베이지안 방식을 기반으로 하는 인공신경망을 이용하여 적어도 하나의 의료 영상을 기초로 목적 부위의 적어도 하나의 영역을 예측했을 때 이용된 모델 파라미터의 예측 분포를 계산한다. 제어부(240)는 계산된 예측 분포를 적어도 일부에 반영한 예측 모델을 생성한다. 예를 들어, 제어부(240)는 계산된 모델 파라미터의 예측 분포를 예측 모델의 클래스 분류에 관련된 계층에 반영할 수 있다.
이와 같이 제어부(240)는 생성된 예측 모델을 이용하여 도 5에서 언급한 과정을 수행함으로써, 목적 부위의 적어도 하나의 영역을 예측하고, 이에 대한 예측 결과 데이터를 획득할 수 있다.
이하에서는 도 7 및 도 8을 참조하여 예측 결과 데이터에 기반하여 목적 부위에 대한 임상 파라미터를 계산하고, 계산된 임상 파라미터를 제공하는 방법을 설명하도록 한다.
도 7을 본 발명의 실시예에 따른 예측 결과 데이터를 나타내는 예시도이다.
도 7을 참조하면, 제어부(240)는 예측 모델을 이용하여 의료 영상으로부터 심장의 좌심방, 좌심실, 우심방 및 우심실에 대한 영역을 예측하고, 예측된 각 영역을 분할한 마스크 영역을 포함하는 분할 영상(700)을 예측 결과 데이터로서 제공할 수 있다. 분할 영상(700)은 표시부(230)를 통해서 표시될 수 있다.
분할 영상(700)은 예측 모델에 의해서 예측된 각 영역의 마스크 영역들의 분포를 포함할 수 있다. 예를 들어, 도면부호 710은 우심실을 예측한 결과에 해당하는 영역 중 가장 큰 영역에 해당하고, 도면부호 720은 우심실을 예측한 결과에 해당하는 영역 중 가장 작은 영역에 해당할 수 있다.
제어부(240)는 분할 영상(700)에 의료 전문의와 같은 전문가에 의해서 측정된 각 영역(ground truth)을 더 표시할 수 있다.
이와 같이 획득된 분할 영상(700)을 이용하여 목적 부위에 대한 임상 파라미터를 제공하는 방법에 대해서 도 8을 참조하여 설명하도록 한다.
도 8은 본 발명의 실시예에 따라 계산된 임상 파라미터를 나타내는 예시도이다. 제시된 실시예에서는 동일한 의료 영상에 대해서 전문의에 의해서 측정된 결과를 기반으로 계산된 임상 파라미터 값과 상술한 예측 모델을 이용하여 예측된 결과를 기반으로 계산된 임상 파라미터 값을 비교한다.
도 8을 참조하면, 제어부(240)는 도 7에서 설명한 목적 부위의 각 영역에 대해서 예측된 결과인 복수의 마스크 영역들 각각의 면적을 가장 큰 크기 순서대로 정렬했을 때 가장 중앙에 위치하는 중앙값(Median value)(800)을 산출하고, 산출된 중앙값을 임상 파라미터로서 제공할 수 있다.
여기서, 임상 파라미터는 심장에 해당하는 각 영역의 면적(또는 크기), 및 심장의 수축/이완에 따른 각 영역의 수축/이완 면적 등 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않으며, 이러한 임상 파라미터는 목적 부위의 특징에 따라 결정될 수 있다.
나아가, 제어부(240)는 각 영역의 면적에 대한 중앙값과 최대값 사이의 차이, 및 각 영역의 면적에 대한 중앙값과 최소값 사이의 차이를 포함하는 오차범위(810)를 계산하여 제공할 수 있다.
이를 바탕으로 도 8의 일부를 참조하면, 동일한 의료 영상을 기반으로 전문의에 의해서 측정된 좌심방(left atrium) 영역들의 면적(volume)에 대한 중앙값은 '56.41'로 계산되고, 상술한 예측 모델에 의해서 예측된 좌심방 영역들의 면적에 대한 중앙값은 '52.92'로 계산되며, 오차범위는 '±1.78'로 계산될 수 있다. 또한, 전문의에 의해서 측정된 좌심실(left ventricle) 영역들의 이완 면적(diastolic volume)에 대한 중앙값은 '149.23'으로 계산되고, 상술한 예측 모델에 의해서 예측된 좌심실 영역들의 이완 면적에 대한 중앙값은 '138.3'으로 계산되며, 오차범위는 '±2.68'로 계산될 수 있다.
이와 같이 예측 모델을 기반으로 계산된 중앙값(800)은 오차범위(810)를 고려했을 때 전문의의 측정 결과를 기반으로 계산된 중앙값과 실질적으로 동일한 값을 가질 수 있다.
이에, 상술한 예측 모델은 의료 영상 자체의 노이즈 및 적은 수의 학습 데이터를 이용한 학습에 의해 불확실성을 포함하더라도 전문의에 의해서 측정된 결과를 기반으로 계산된 임상 파라미터와 실질적으로 동일한 임상 파라미터를 제공할 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 시스템 110: 촬영 장치
120, 200: 전자 장치 210: 통신부
220: 저장부 230: 표시부
240: 제어부 300: 의료 영상
310: 예측 모델 320: 예측 결과 데이터

Claims (24)

  1. 제어부에 의해서 수행되는 방법에 있어서,
    촬영 장치로부터 피검자의 목적 부위를 촬영한 적어도 하나의 의료 영상을 획득하는 단계;
    상기 적어도 하나의 의료 영상을 기초로 상기 목적 부위에 해당하는 적어도 하나의 영역을 예측하도록 학습된 예측 모델을 이용하여 상기 적어도 하나의 의료 영상으로부터 상기 목적 부위에 대한 상기 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득하는 단계;
    상기 획득된 예측 결과 데이터를 기반으로 상기 목적 부위에 대한 임상 파라미터를 계산하는 단계; 및
    상기 계산된 임상 파라미터를 제공하는 단계를 포함하는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  2. 제1항에 있어서, 상기 예측 결과 데이터는,
    예측된 각 영역을 분할화(segmentation)한 마스크 영역을 포함하는 복수의 분할 영상을 포함하는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  3. 제2항에 있어서, 상기 임상 파라미터를 계산하는 단계는,
    상기 복수의 분할 영상의 상기 마스크 영역의 분포에 기반하여 상기 목적 부위의 면적에 대한 중앙값을 산출하는 단계인, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  4. 제3항에 있어서, 상기 계산된 임상 파라미터를 제공하는 단계는,
    상기 산출된 중앙값을 제공하는 단계인, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  5. 제3항에 있어서, 상기 임상 파라미터를 계산하는 단계는,
    상기 중앙값과 상기 목적 부위의 면적의 최대값 간의 차이, 및 상기 중앙값과 상기 목적 부위의 면적의 최소값 간의 차이를 포함하는 오차 범위를 산출하는 단계를 더 포함하는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  6. 제5항에 있어서, 상기 계산된 임상 파라미터를 제공하는 단계는,
    상기 중앙값 및 상기 오차 범위를 제공하는 단계인, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  7. 제3항에 있어서,
    상기 복수의 분할 영상의 상기 마스크 영역의 분포를 나타내는 영상을 제공하는 단계를 더 포함하는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  8. 제1항에 있어서, 상기 목적 부위는, 심장을 포함하고,
    상기 적어도 하나의 영역은, 좌심방, 좌심실, 우심방 및 우심실을 포함하는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  9. 제1항에 있어서, 상기 예측 모델은,
    복수의 대상자 각각의 적어도 하나의 의료 영상을 기초로 상기 목적 부위에 대한 적어도 하나의 영역을 예측했을 때 이용된 모델 파라미터의 예측 분포를 계산하도록 학습된 확률 모델을 이용하여 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  10. 제9항에 있어서, 상기 예측 모델은,
    상기 확률 모델에 의해서 계산된 모델 파라미터의 예측 분포가 상기 적어도 하나의 영역의 클래스(class)를 분류하기 위한 계층(layer)에 반영되도록 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  11. 제10항에 있어서, 상기 확률 모델은,
    베이지안 신경 네트워크(Bayesian neural network)를 기반으로 하는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  12. 제10항에 있어서, 상기 예측 모델은,
    u-net으로 구성되고,
    상기 모델 파라미터의 확률 분포는 상기 예측 모델의 마지막 계층에 적용되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  13. 데이터를 송수신하도록 구성된 통신부; 및
    상기 통신부와 연결하도록 구성된 제어부를 포함하고,
    상기 제어부는,
    상기 통신부를 통해 촬영 장치로부터 피검자의 목적 부위를 촬영한 적어도 하나의 의료 영상을 획득하고,
    상기 적어도 하나의 의료 영상을 기초로 상기 목적 부위에 해당하는 적어도 하나의 영역을 예측하도록 학습된 예측 모델을 이용하여 상기 적어도 하나의 의료 영상으로부터 상기 적어도 하나의 영역을 예측한 예측 결과 데이터를 획득하고,
    상기 획득된 예측 결과 데이터를 기반으로 상기 목적 부위에 대한 임상 파라미터를 계산하고,
    상기 계산된 임상 파라미터를 제공하도록 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
  14. 제9항에 있어서, 상기 예측 결과 데이터는,
    예측된 각 영역을 분할화(segmentation)한 마스크 영역을 포함하는 복수의 분할 영상을 포함하는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
  15. 제14항에 있어서, 상기 제어부는,
    상기 복수의 분할 영상의 상기 마스크 영역의 분포에 기반하여 상기 목적 부위의 면적에 대한 중앙값을 산출하도록 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
  16. 제14항에 있어서, 상기 제어부는,
    상기 산출된 중앙값을 상기 임상 파라미터로서 제공하도록 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
  17. 제15항에 있어서, 상기 제어부는,
    상기 중앙값과 상기 목적 부위의 면적의 최대값 간의 차이, 및 상기 중앙값과 상기 목적 부위의 면적의 최소값 간의 차이를 포함하는 오차 범위를 더 산출하도록 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
  18. 제16항에 있어서, 상기 제어부는,
    상기 중앙값 및 상기 오차 범위를 상기 임상 파라미터로서 제공하도록 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
  19. 제14항에 있어서, 상기 제어부는,
    상기 복수의 분할 영상의 상기 마스크 영역의 분포를 나타내는 영상을 더 제공하도록 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
  20. 제13항에 있어서,
    상기 목적 부위는, 심장을 포함하고,
    상기 적어도 하나의 영역은, 좌심방, 좌심실, 우심방 및 우심실을 포함하는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
  21. 제13항에 있어서, 상기 예측 모델은,
    복수의 대상자 각각의 적어도 하나의 의료 영상을 기초로 상기 목적 부위에 대한 적어도 하나의 영역을 예측했을 때 이용된 모델 파라미터의 확률 분포를 계산하도록 학습된 확률 모델을 이용하여 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  22. 제21항에 있어서, 상기 예측 모델은,
    상기 확률 모델에 의해서 계산된 모델 파라미터의 확률 분포가 클래스 분류에 관련된 계층(layer)에 반영되도록 구성되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법.
  23. 제22항에 있어서, 상기 확률 모델은,
    베이지안 신경 네트워크(Bayesian neural network)를 기반으로 하는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
  24. 제22항에 있어서, 상기 예측 모델은,
    u-net으로 구성되고,
    상기 모델 파라미터의 확률 분포는 상기 예측 모델의 마지막 계층에 적용되는, 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 장치.
KR1020210145926A 2021-10-28 2021-10-28 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치 KR20230061670A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210145926A KR20230061670A (ko) 2021-10-28 2021-10-28 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치
PCT/KR2022/016629 WO2023075480A1 (ko) 2021-10-28 2022-10-28 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법, 장치, 레이블링을 위한 의료 영상을 선별하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210145926A KR20230061670A (ko) 2021-10-28 2021-10-28 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230061670A true KR20230061670A (ko) 2023-05-09

Family

ID=86408646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210145926A KR20230061670A (ko) 2021-10-28 2021-10-28 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230061670A (ko)

Similar Documents

Publication Publication Date Title
JP7134962B2 (ja) 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法
US10610302B2 (en) Liver disease assessment in medical imaging
US10002419B2 (en) Direct computation of image-derived biomarkers
US10997475B2 (en) COPD classification with machine-trained abnormality detection
KR102530010B1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
CN111815643A (zh) 基于人工智能的copd评估
US20210142480A1 (en) Data processing method and apparatus
KR20220124665A (ko) 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
KR102476957B1 (ko) 의료 영상 기반 홀로그램 제공 장치 및 방법
JP7457011B2 (ja) 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法
CN111145141B (zh) 使用经训练的网络检测梗塞
JP7456928B2 (ja) 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
KR102569573B1 (ko) 폐 용적 검사 방법 및 그 장치
JP7426824B2 (ja) 非侵襲的イメージングベースのffrのインタラクションモニタリング
KR20230061670A (ko) 의료 영상의 예측된 목적 부위에 대한 임상 파라미터를 제공하기 위한 방법 및 장치
US20240074738A1 (en) Ultrasound image-based identification of anatomical scan window, probe orientation, and/or patient position
KR102556646B1 (ko) 의료 영상 생성 방법 및 장치
KR20230062208A (ko) 레이블링을 위한 의료 영상을 선별하기 위한 방법 및 장치
US20220044454A1 (en) Deep reinforcement learning for computer assisted reading and analysis
JP2020188960A (ja) 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
US20240138793A1 (en) Estimating pharmacokinetics of a contrast medium through a cardiovascular system analytical model and/or neural network algorithm
US20230046302A1 (en) Blood flow field estimation apparatus, learning apparatus, blood flow field estimation method, and program
Al et al. Centerline depth world for left atrial appendage orifice localization using reinforcement learning
KR20220129144A (ko) 패치 영상을 기반으로 목적 부위의 질환을 결정하기 위한 장치 및 방법
KR20230091645A (ko) 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스