KR20230091645A - 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스 - Google Patents

장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스 Download PDF

Info

Publication number
KR20230091645A
KR20230091645A KR1020210180953A KR20210180953A KR20230091645A KR 20230091645 A KR20230091645 A KR 20230091645A KR 1020210180953 A KR1020210180953 A KR 1020210180953A KR 20210180953 A KR20210180953 A KR 20210180953A KR 20230091645 A KR20230091645 A KR 20230091645A
Authority
KR
South Korea
Prior art keywords
motion vector
vector field
frame
medical image
organ
Prior art date
Application number
KR1020210180953A
Other languages
English (en)
Inventor
심학준
장영걸
김세근
홍영택
하성민
최안네스
Original Assignee
주식회사 온택트헬스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 온택트헬스 filed Critical 주식회사 온택트헬스
Priority to KR1020210180953A priority Critical patent/KR20230091645A/ko
Priority to PCT/KR2022/020265 priority patent/WO2023113438A1/ko
Publication of KR20230091645A publication Critical patent/KR20230091645A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 장기 기능에 대한 정보 제공 방법으로서, 개체의 장기 영역을 포함하는, 복수의 프레임으로 이루어진 시계열 의료 영상을 수신하는 단계, 의료 영상을 입력으로 하여, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 출력하도록 구성된 예측 모델을 이용하여, 수신된 의료 영상 내의 장기 영역에 대한 모션 벡터 필드를 결정하는 단계, 및 결정된 모션 벡터 필드에 대한 정보를 제공하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공한다.

Description

장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스{METHOD FOR PROVIDNG INFORMATION OF ORGAN FUNCTION AND DEVICE FOR PROVIDNG INFORMATION OF ORGAN FUNCTION USING THE SAME}
본 발명은 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스에 관한 것이다.
의료 영상 진단 디바이스는 대상체의 내부 구조를 영상으로 획득하기 위한 장비이다. 이러한 의료 영상 디바이스는 인체에 고통을 주지 않고 실시되는 비침습 검사 디바이스로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 의료인에게 보여준다. 의료인들은 의료 영상 디바이스에서 출력되는 의료 영상을 이용하여 환자의 건강 상태 및 질병을 진단할 수 있다.
의료 영상 진단 디바이스로는 자기 공명 영상을 제공하기 위한 자기 공명 영상 (MRI, magnetic resonance imaging) 디바이스, 컴퓨터 단층 촬영 (CT, Computed Tomography) 디바이스, 엑스레이 (X-ray) 디바이스, 및 초음파 (ultrasound) 진단 디바이스 등이 있다.
예를 들어, 초음파 진단은 입체적인 구조의 장기를 여러 차원의 평면에서 초음파를 투사하여 의료 영상을 획득하고 혈역학적인 변수들을 측정하는 방식으로 이루어진다. 심장 또는 폐의 경우, 갈비뼈 사이 등의 주변 해부학적인 구조물들을 통해 다면적인 영상을 획득하도록 의료 영상을 얻기 쉬운 위치에 초음파 프로브 (probe) 를 위치시키고 회전과 기울임을 통해 적절한 단층을 찾아 영상이 기록된다.
한편, 스트레인 (strain) 은 미세 근육의 변형율을 측정하여 장기의 이상 여부를 판별하기 위한 기법이다.
이러한 스트레인 기반 진단 보조 시스템은, 기능 이상 부위를 시각적으로 제공한다는 이점이 있음에도, 특정 영역 (예를 들어 심장의 경우 좌심실) 의 평가에 한정하여 적용가능 하고, 지역적 특징을 제한적으로 활용함에 따라 노이즈에 취약하다는 한계가 존재한다.
더욱이, 스트레인 기반 진단 보조 시스템은 의료 영상 품질과 전문가의 경험에 의존적일 수 있어 의료진의 숙련도에 따라 분석 결과의 신뢰성이 부족한 문제점이 있다.
이에, 장기 구조 전체에 대한 포괄적인 정보를 제공하고, 영상 노이즈에 강건한 스트레인 분석 기반의 진단 보조 시스템의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
최근 인공지능 기술의 발전과 함께 장기 스트레인 분석을 위한 다양한 기법들이 제안되었다. 대표적으로, 합성곱 신경망 (convolutional neural network, CNN) 기반의 스펙클 추적 (Speckle tracking) 을 활용한 방법이 있다.
그러나 제안된 스펙클 추척 기반의 접근 방법은, 지역적 특징을 이용하여 모델링 한다는 점, 후처리 없이 직접 사용하기 어려울 정도의 부정확성을 갖고 영상 노이즈에 취약하다는 점의 한계가 여전히 존재할 수 있다. 더욱이, 후처리를 위한 알고리즘에 의존적임에 따라 분석 속도가 매우 느릴 수 있다.
분할 대응 매칭 (Segmentation correspondence matching) 기반의 장기 스트레인 분석 방법이 제안되었다. 그러나, 이는 인공 신경망의 분할 성능에 의존적일 수 있고, 일부 프레임에서 분할 결과가 좋지 않을 경우 전체 프레임 오류로 확장될 수 있다는 문제가 존재할 수 있다.
본 발명의 발명자들은 이를 해결하기 위한 방안으로 노이즈에 강한 모션 추정 (motion estimation), 구조적 특징 반영 및 인접한 모션간의 유사성 제약이 필요하다는 점을 인지할 수 있었다.
특히, 본 발명의 발명자들은, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 예측할 경우 전역적 구조 특징과 지역적 특징 유사성을 고려할 수 있어, 영상 노이즈에 강한 모션 추정이 가능함을 인지할 수 있었다.
그 결과, 본 발명의 발명자들은 인접한 프레임간의 모션 필드 벡터를 예측하도록 학습된 예측 모델을 진단 보조 시스템에 적용할 수 있었다.
한편, 본 발명의 발명자들은 예측 모델의 구축에 있어서, 주기성이 있는 일련의 영상 데이터의 특징을 더욱 고려하고자 하였다. 보다 구체적으로, 본 발명의 발명자들은 입력되는 영상을 이루는 프레임에 대한 양 방향 벡터 필드의 예측이 가능하며, 새로운 영상이 입력될 경우 이전 영상에 대한 프레임의 벡터 필드 예측값을 고려한 '양-방향 순환 모션 모델링 (Bi-directional cyclic motion modeling)' 을 적용하고자 하였다.
그 결과, 본 발명의 발명자들은, 시-공간적 모션 모델링 기반의 새로운 진단 보조 시스템을 제공함으로써 장기 근육 (예를 들어, 심근 또는 폐근육) 의 움직임을 정확히 평가할 수 있어 기능 이상 부위의 시각적 및 정량적 정보를 제공할 수 있음을 기대할 수 있다.
이에, 본 발명이 해결하고자 하는 과제는, 개체로부터 획득된 시계열 의료 영상에 대하여, 예측 모델을 이용하여 장기 영역에 대한 모션 벡터 필드를 결정하고, 이를 기초로 장기 기능과 연관된 정보를 제공하도록 구성된, 장기 기능에 대한 정보 제공 방법 및 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공 방법이 제공된다. 본 발명의 실시예에 따른 방법은, 프로세서에 의해 구현되는 장기 기능에 대한 정보 제공 방법으로서, 프로세서에 의해 구현되는 장기 기능에 대한 정보 제공 방법으로서, 개체의 장기 영역을 포함하는, 복수의 프레임으로 이루어진 시계열 의료 영상을 수신하는 단계, 의료 영상을 입력으로 하여, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 출력하도록 구성된 예측 모델을 이용하여, 수신된 의료 영상 내의 장기 영역에 대한 모션 벡터 필드를 결정하는 단계, 및 결정된 모션 벡터 필드에 대한 정보를 제공하는 단계를 포함한다.
본 발명의 특징에 따르면, 모션 벡터 필드를 결정하는 단계는, 예측 모델을 이용하여 복수의 프레임 각각에 대하여 모션 벡터 필드를 결정하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 모션 벡터 필드를 결정하는 단계는, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하는 단계, 및 제1 모션 벡터 필드를 기초로, 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드를 추정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 모션 벡터 필드를 결정하는 단계는, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하는 단계, 및 제1 모션 벡터 필드를 기초로, 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드를 추정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 영상은 복수의 픽셀을 포함하고, 모션 벡터 필드를 결정하는 단계는, 예측 모델을 이용하여 복수의 픽셀 각각에 대한 모션 벡터 필드를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 영상은 복수의 프레임으로 이루어진 1 세트, 및 제1 세트와 상이한 복수의 프레임으로 이루어진 제2 세트를 포함할 수 있다. 이때, 모션 벡터 필드를 결정하는 단계는, 예측 모델을 이용하여, 제1 세트의 마지막 프레임에 기초하여, 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하는 단계, 또는 예측 모델을 이용하여 제1 세트의 첫 번째 프레임에 기초하여, 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은 3D CNN (Convolutional Neural Network), 2D CNN 및 이들의 조합 중 적어도 하나의 구조를 가질 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 의료 영상을 입력으로 하여 방향에 따라 상이한 색상을 갖는 모션 벡터 필드를 출력하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 모션 벡터 필드에 대한 정보를 제공하는 단계는, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 미세 근육의 변형율 (strain) 을 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 모션 벡터 필드에 대한 정보를 제공하는 단계는, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 의료 영상을 입력으로 하여 모션 벡터 필드 및 장기 영역을 출력하도록 더 구성된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 영상은 초음파, CT (computerized tomography), MRI (magnetic resonance imaging), PET (positron emission tomography), 및 SPET (single photon emission computed tomography) 중 어느 하나 영상일 수 있다.
본 발명의 또 다른 특징에 따르면, 장기는 심장 또는 폐일 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스가 제공된다. 본 발명의 다른 실시예에 따른 디바이스는, 개체의 장기 영역을 포함하는, 복수의 프레임으로 이루어진 시계열 의료 영상을 수신하도록 구성된 통신부, 및 프로세서를 포함한다.
이때, 프로세서는, 의료 영상을 입력으로 하여, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 출력하도록 구성된 예측 모델을 이용하여, 수신된 의료 영상 내의 상기 장기 영역에 대한 모션 벡터 필드를 결정하고, 결정된 모션 벡터 필드에 대한 정보를 제공하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 예측 모델을 이용하여 복수의 프레임 각각에 대하여 상기 모션 벡터 필드를 결정하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하고, 제1 모션 벡터 필드를 기초로, 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드를 추정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하고, 제1 모션 벡터 필드를 기초로, 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드를 추정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 영상은 복수의 픽셀을 포함하고, 프로세서는, 예측 모델을 이용하여 복수의 픽셀 각각에 대한 모션 벡터 필드를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 영상은 복수의 프레임으로 이루어진 1 세트, 및 제1 세트와 상이한 복수의 프레임으로 이루어진 제2 세트를 포함할 수 있다.
이때 프로세서는, 예측 모델을 이용하여, 제1 세트의 마지막 프레임에 기초하여, 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하거나, 예측 모델을 이용하여 제1 세트의 첫 번째 프레임에 기초하여, 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 미세 근육의 변형율을 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보를 생성하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 시계열 의료 영상에 대하여 인접한 프레임간의 모션 벡터 필드의 예측이 가능한 진단 보조 시스템을 제공함에 따라, 장기 기능에 신뢰도 높은 정보를 제공할 수 있다.
이에, 본 발명은, 종래의 지역적 특징만을 고려한 장기 스트레인 (또는 변형율) 분석 기반 진단 보조 시스템의 한계를 극복할 수 있다.
특히, 본 발명은, 의료 영상의 스트레인 분석에 있어서 영상의 품질 및 전문가의 경험에 의존적이며, 지역적 특징만을 고려함에 따라 모션 노이즈 후처리 알고리즘의 적용이 요구되는 종래의 진단 보조 시스템의 한계를 극복할 수 있다.
보다 구체적으로, 본 발명은 전역적 구조 특징 및 지역적 특징 유사성을 고려한 시-공간적 모션 모델이 적용된 새로운 진단 보조 시스템을 제공할 수 있어, 영상 노이즈에 강한 모션 추정이 가능할 수 있다.
이에, 본 발명은 시-공간적 모션 모델링 기반의 새로운 진단 보조 시스템을 제공함으로써 심근의 움직임을 정확히 평가할 수 있어 기능 이상 부위의 시작적 및 정량적 정보를 제공할 수 있다.
즉, 본 발명은 장기 기능, 특히 심장 또는 폐에 대한 정보를 제공함에 따라, 심-폐 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 시계열 의료 영상을 이용한 진단 보조 시스템을 설명하기 위한 개략도이다.
도 2a는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스를 설명하기 위한 개략도이다.
도 2b는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스로부터 정보를 제공받는 사용자 디바이스를 설명하기 위한 개략도이다.
도 3은 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스에서 모션 벡터 필드에 기반하여 장기 기능에 대한 정보 제공 방법을 설명하기 위한 개략적인 순서도이다.
도 4a 내지 4d는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스에서 모션 벡터 필드를 결정하는 절차를 예시적으로 도시한 것이다.
도 5a는 본 발명의 다양한 실시예에 적용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
도 5b는 본 발명의 다양한 실시예에 적용되는 예측 모델의 모델링 절차를 예시적으로 도시한 것이다.
도 6a 내지 6c는 본 발명의 다양한 실시예에 이용되는 모션 벡터 필드 예측에 있어서, 입력 데이터의 전처리를 예시적으로 도시한 것이다.
도 7a 및 7b는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스의 평가 결과를 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 디바이스"라는 표현은, 그 디바이스가 다른 디바이스 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "의료 영상"은, 의료 영상 진단 디바이스로부터 획득된 의료 영상을 의미할 수 있다.
이때, 의료 영상은 초음파, CT (computerized tomography), MRI (magnetic resonance imaging), PET (positron emission tomography), 및 SPET (single photon emission computed tomography) 중 하나의 영상일 수 있다. 바람직하게, 의료 영상은 2차원 의료 영상일 수 있으나, 이에 제한되는 것은 아니며 3차원 의료 영상일 수도 있다.
본 발명의 특징에 따르면, 의료 영상은 초음파 영상일 수 있으나, 이에 제한되는 것은 아니다.
한편, 의료 영상은, 복수 개의 프레임으로 구성된 주기성이 있는 의료 영상 (또는, 동영상) 일 수 있다.
예를 들어, 주기성이 있는 의료 영상은, 심장 또는 폐에 대한 의료 영상일 수 있다.
즉, 본원 명세서 내에서 "장기"는 심장 또는 폐일 수 있으나, 이에 제한되는 것은 아니다.
한편, 시계열 의료 영상은 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공 방법에 따라 영상의 프레임 각각에 대하여 인접한 프레임간 모션 벡터 필드가 결정될 수도 있다.
본 발명의 다른 특징에 따르면, 시계열 의료 영상은, 2 비트 (beat) 의 시퀀스를 갖는 시계열 심초음파 영상일 수 있다.
예를 들어, 2 비트 단위의 시계열 의료 영상은, 수축기 말 (ES; End systole), 이완기 말 (ED; End diastole) 의 프레임을 포함할 수 있고, 나아가 수축기 말과 이완기 말 중간의 mid (ES-ED) 프레임, 이완기 말과 수축기 말 중간의 mid (ED-ES) 프레임을 포함하는 시계열 심초음파 영상일 수 있다.
그러나, 이에 제한되는 것은 아니며 의료 영상은 폐에 대한 영상일 수 있다. 상기 의료 영상은 호흡 패턴(흡기, 호기), 노력, 지속시간, 또는 목을 통한 공기 흐름, 특정 유형의 음식(유체, 고체) 삼키기, 및 성대 진동에 대한 정보를 포함하는 영상일 수 있다. 본 발명에 따른 장기 기능에 대한 정보 제공 방법을 통해, 호기, 흡기 장애를 통해 천식, 만성폐쇄성 폐질환, 간질성 폐질환 등의 여부 및 중증도를 판단하고 치료의 반응과 경과, 예후를 확인할 수도 있다.본 명세서에서 사용되는 용어, "모션 벡터 필드"는 벡터 함수로 표현된 공간인 벡터 장을 의미하며, 영상 (또는, 프레임) 내에서 장기의 미세 근육의 움직임에 따른 방향성과 크기를 제시하는 복수의 벡터일 수 있다.
보다 구체적으로, 본원 명세서 내에서 모션 벡터 필드는, 의료 영상의 프레임에서 장기 영역을 이루는 복수의 픽셀 각각에 대한 벡터들을 의미할 수 있다. 이에, 인접한 프레임 간의 모션 벡터 필드가 결정됨으로써 장기의 전역적 구조 특징에 따른 스트레인 분석이 가능할 수 있다.
본 명세서에서 사용되는 용어, "예측 모델"은 시계열 의료 영상을 입력으로 하여, 인접한 프레임간 모션 벡터 필드를 결정하도록 학습된 모델일 수 있다.
즉, 예측 모델은, 시계열 의료 영상의 시공간 특성을 학습하여, 복수의 프레임 각각에 대하여 인접한 프레임 대비 모션 벡터 필드를 추정할 수 있다.
본 발명의 특징에 따르면, 예측 모델은 2D 시계열 의료 영상을 입력으로 하여, 영상의 프레임의 정방향 (forward) 으로 x축 y축 각각에 대응하는 모션 벡터 필드의 2 클래스를 분류하도록 학습될 수 있다.
이때, 정방향 모션에서의 출력 값에 기초하여 영상의 프레임의 역방향 (backward) 의 x축 y축 각각에 대응하는 모션 벡터 필드가 획득될 수 있다.
예를 들어, 예측 모델의 출력 층 이전 층에서 파라미터의 공유가 이루어질 수 있어, 정방향 모션에 대한 리버스 시퀀스 (reverse sequence) 가 적용되면 역방향 모션에 대한 x축 y축 각각에 대응하는 모션 벡터 필드의 획득이 가능할 수 있다.
즉, 이를 통해 프레임의 양 방향에 대한 모션 추정이 가능할 수 있다.
그러나, 이에 제한되는 것은 아니며 예측 모델은 프레임의 정방향 및 역방향의 x축 y축 각각에 대응하는 모션 벡터 필드의 4 클래스를 분류하도록 학습될 수도 있다.
이러한 모션 추정을 목적으로 하는 예측 모델은, 비지도학습 기반의 학습이 적용될 수 있다.
한편, 본 발명의 다른 특징에 따르면, 예측 모델은 2D 시계열 의료 영상을 입력으로 하여, 모션 벡터 필드뿐만 아니라, 영상 내 장기 영역을 복수의 영역 (예를 들어, 좌심방, 좌심실, 우심방 및 우심실) 으로 분할하도록 학습된 모델일 수 있다.
특히, 예측 모델은 영상의 주기성 특징을 반영한 시계열 모델링으로 인해, 프레임 내에서 소실된 영역에 대한 강건한 분할이 가능할 수 있다.
이때, 분할을 위한 예측 모델은, 특정 프레임 또는 영상 내의 특정 영역이 라벨링된 지도 학습 기반의 학습이 적용될 수 있다.
즉, 본 발명의 특징에 따르면, 예측 모델은, 모션 벡터 필드의 예측 또는 영역의 분할과 같은 학습 목적에 따라 선택적으로 비지도학습 또는 지도학습될 수 있는, 준-지도 학습 (semi-supervised learning) 모델일 수 있다.
본 발명의 다른 특징에 따르면, 예측 모델은, 수축기 말 (ES; End systole), 이완기 말 (ED; End diastole), 수축기 말과 이완기 말 중간의 mid (ES-ED), 및 이완기 말과 수축기 말 중간의 mid (ED-ES) 에 대해서 라벨링된 2 비트의 시퀀스를 갖는 2D 시계열 의료 영상을 기초로 모션을 추정하도록 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 예측 모델은, 방향에 따라 상이한 색상을 갖는 모션 벡터 필드를 출력하도록 구성될 수 있다. 즉, 미세 근육의 움직임이 보다 명확하게 시각적으로 표시될 수 있다.
이때, 예측 모델은 3D-CNN 및/또는 2D-CNN을 기반으로 하는 분할 모델일 수도 있다. 예를 들어, 본 발명의 다양한 실시예에 이용되는 예측 모델은, 2D 컨볼루션 층 및 3D 컨볼루션 층을 갖는 U-net 구조를 가질 수 있다.
그러나 이에 제한되는 것은 아니며 예측 모델은, 2D 컨볼루션 및/또는 3D 컨볼루션 기반의 SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), 또는 SSD (Single Shot Detector) 등의 다양한 인공 지능 네트워크 기반의 모델일 수 있다.
이하에서는, 도 1, 도 2a 내지 2b를 참조하여, 본 발명의 다양한 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스 기반의 진단 보조 시스템을 설명하기 위한 개략도이다.
먼저, 도 1을 참조하면, 진단 보조 시스템 (1000) 은, 사용자의 의료 영상, 특히 시계열 의료 영상을 기초로 장기 기능과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 진단 보조 시스템 (1000) 은, 시계열 의료 영상에 기초하여, 모션 벡터 필드를 예측하도록 구성된 장기 기능에 대한 정보 제공용 디바이스 (100), 사용자 디바이스 (200) 및 개체의 의료 영상을 제공하도록 구성된 의료 영상 진단 디바이스 (400) 로 구성될 수 있다.
먼저, 장기 기능에 대한 정보 제공용 디바이스 (100) 는, 초음파 진단 디바이스와 같은 의료 영상 진단 디바이스 (400) 로부터 제공된 개체의 시계열 의료 영상의 인접한 프레임간 모션 벡터 필드를 예측하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다.
사용자 디바이스 (200) 는 장기 기능과 연관된 정보가 저장된 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
의료 영상 진단 디바이스 (400) 는, 장기 기능에 대한 정보 제공용 디바이스 (100) 와 통신하는 통신 모듈이 구비된 의료 영상 진단 디바이스일 수 있으나, 이에 제한되는 것은 아니다.
보다 구체적으로, 장기 기능에 대한 정보 제공용 디바이스 (100) 는 의료 영상 진단 디바이스 (400) 로부터 수신된 시계열 의료 영상에 대하여, 각 프레임에 대한 모션 벡터 필드를 예측하고, 이로부터 장기 기능에 관한 정보를 제공하도록 구성될 수 있다.
장기 기능에 대한 정보 제공용 디바이스 (100) 는 장기 기능에 관한 데이터를 사용자 디바이스 (200) 로 제공할 수 있다.
이와 같이 장기 기능에 대한 정보 제공용 디바이스 (100) 로부터 제공되는 장기 기능에 관한 데이터는 사용자 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 사용자 디바이스 (200) 는 장기 기능에 관한 데이터 제공을 요청하고 분석 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
사용자 디바이스 (200) 는 장기 기능에 대한 정보 제공용 디바이스 (100) 로부터 장기 기능에 관한 데이터를 수신할 수 있다. 이때, 수신된 결과는 사용자 디바이스 (200) 의 표시부를 통해 표시될 수 있다. 여기서, 장기 기능에 관한 데이터는, 장기 영역의 복수의 부위에 대한 근육의 변형율 (또는 스트레인; strain), 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보 등을 포함할 수 있다.
다음으로, 도 2a를 참조하여, 본 발명의 장기 기능에 대한 정보 제공용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 2a는 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스를 설명하기 위한 개략도이다.
도 2a를 참조하면, 장기 기능에 대한 정보 제공용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 장기 기능에 관한 데이터를 제공을 위한 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 장기 기능에 대한 정보 제공용 디바이스 (100) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 사용자 디바이스 (200) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 의료 영상 진단 디바이스 (400) 로부터 개체의 의료 영상을 수신하고 사용자 디바이스 (200) 로 분할 결과를 전달할 수 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 주기성이 있는 의료 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 의료 영상 진단 디바이스 (400) 로부터 개체의 의료 영상을 수신하고, 모션 벡터 필드를 예측할 수 있다.
더욱이, 프로세서 (130) 는 주기성이 있는 의료 영상에 기초하여 모션 벡터 필드를 예측하도록 구성된 예측 모델에 기초할 수 있다.
이와 같이 본 발명은 의료 영상으로부터 벡터 필드를 예측하고, 임상적으로 유의미한 정보를 제공하는, 장기 스트레인 분석에 관한 결과를 제공함에 따라, 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다.
한편, 도 2b를 함께 참조하면, 사용자 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 사용자 디바이스 (200) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (210) 는 유/무선 통신을 이용하여 장기 기능에 대한 정보 제공용 디바이스 (100) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (210) 는 장기 기능에 대한 정보 제공용 디바이스 (100) 로부터 장기 기능에 대한 분석 결과를 수신할 수 있다.
표시부 (220) 는 장기 기능에 대한 데이터를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 정보를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는 도 3 및 4a 내지 4d를 참조하여 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공 방법에 대하여 설명한다.
도 3은 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스에서 모션 벡터 필드에 기반하여 장기 기능에 대한 정보 제공 방법을 설명하기 위한 개략적인 순서도이다. 도 4a 내지 4d는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스에서 모션 벡터 필드를 결정하는 절차를 예시적으로 도시한 것이다.
이때, 심장 초음파 의료 영상이 예시로서 설명되나 이에 제한되어 해석되어서는 아니된다. 즉, 본 발명의 다양한 실시예에 개시된 모션 벡터 필드의 결정은 보다 다양한 의료 영상에 적용 가능할 수 있다.
먼저, 도 3을 참조하면 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공 방법에 따라 개체의 시계열 의료 영상이 수신된다 (S310). 그 다음, 예측 모델에 의해 모션 벡터 필드가 결정되고 (S320). 최종적으로, 모션 벡터 필드에 대한 데이터가 제공된다 (S330).
보다 구체적으로, 시계열 의료 영상이 수신되는 단계 (S310) 에서 2D 시계열 의료 영상이 수신될 수 있다.
예를 들어, 시계열 의료 영상이 수신되는 단계 (S310) 에서 2 비트의 시퀀스를 갖는 2D 초음파 영상이 수신될 수 있다.
본 발명의 다른 특징에 따르면, 시계열 의료 영상이 수신되는 단계 (S310) 에서 주기성이 있는 의료 영상이 수신될 수 있다.
그 다음, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 예측 모델에 의해 의료 영상의 복수의 프레임 각각에 대하여, 인접한 프레임간의 모션 벡터 필드가 예측된다.
본 발명의 특징에 따르면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 예측 모델에 의해 프레임 내 복수의 픽셀, 특히 장기 영역의 복수의 픽셀 각각에 대한 모션 벡터 필드가 결정될 수 있다.
예를 들어, 도 4a를 함께 참조하면, 모션 벡터 필드가 결정되는 단계 (S320), 복수의 프레임을 갖는 2D 시계열 의료 영상 (412) 이 예측 모델 (420) 에 입력된다. 그 결과, 복수의 프레임에 대하여 픽셀 단위로, 인접한 프레임 대비 모션 벡터 필드가 출력되고, 복수의 프레임 각각에 대하여 모션 벡터 필드가 결정된 의료 영상 (422) 이 획득될 수 있다.
다시 도 3을 참조하면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드가 결정되고, 제1 모션 벡터 필드에 기초하여 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드가 결정된다.
즉, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 정방향으로 프레임의 모션 벡터 필드가 결정될 수 있다.
본 발명의 다른 특징에 따르면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드가 결정되고, 제1 모션 벡터 필드에 기초하여 상기 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드가 결정된다.
즉, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 역방향으로 프레임의 모션 벡터 필드가 결정될 수 있다.
다시 말해, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 정방향 및 역방향의 양 방향의 프레임에 대한 모션 벡터 필드가 결정될 수 있다.
예를 들어, 도 4b를 참조하면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 정방향 (forward) 으로 모션 필드가 추정될 경우, 제1 프레임 (I1) 에 대한 모션 필드에 기초하여, 제1 프레임 다음의 제2 프레임 (I2) 의 모션 벡터 필드가 결정될 수 있다. 나아가, 역방향 (Backward) 으로 모션 필드가 추정될 경우, 1 프레임 (I1) 에 대한 모션 필드에 기초하여, 제1 프레임 이전의 제3 프레임 (I0) 의 모션 벡터 필드가 결정될 수 있다.
즉, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 예측 모델은, 정방향에 대응하는 모션 벡터 필드를 예측하고 출력할 수 있다.
예를 들어, 예측 모델은 하나의 2D 의료 영상의 프레임에 대하여, 정방향에서 x축 y축에 대응하는 모션 벡터 필드를 출력할 수도 있다.
이때, 선택적으로, 정방향 모션에 대한 리버스 시퀀스 (reverse sequence) 가 적용되면 역방향 모션에 대한 x축 y축 각각에 대응하는 모션 벡터 필드의 획득이 가능할 수 있다.
즉, 이를 통해 프레임의 양 방향에 대한 모션 추정이 가능할 수 있다.
그러나, 이에 제한되는 것은 아니며, 예측 모델은 정 방향 및 역 방향 각각에 대한 x축 y축의 4 개의 모션 벡터 필드를 출력하도록 더욱 학습될 수 도 있다.
다시 도 3을 참조하면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 예측 모델은 각 프레임에 대하여, 인접한 프레임간의 모션 벡터 필드뿐만 아니라 장기 영역을 복수의 영역으로 분할하도록 학습된 모델일 수 있다.
예를 들어, 도 4c를 함께 참조하면, 모션 벡터 필드가 결정되는 단계 (S320) 에서, 복수의 프레임을 갖는 2D 시계열 의료 영상 (412) 이 예측 모델 (420) 에 입력된다. 그 결과, 복수의 프레임에 대하여 픽셀 단위로, 인접한 프레임 대비 모션 벡터 필드가 출력되고, 복수의 프레임 각각에 대하여 모션 벡터 필드가 결정된 의료 영상 (422) 이 획득될 수 있다. 나아가, 복수의 프레임 내의 장기 영역이 복수의 영역 (좌심방, 좌심실, 우심방 및 우심실) 으로 분할되고 복수의 프레임 각각에 대하여 장기 영역이 분할된 의료 영상 (424) 이 획득될 수 있다.
다시 도 3을 참조하면, 최종적으로 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 가 수행된다.
보다 구체적으로, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서 장기 기능과 연관된 데이터가 생성되고 제공될 수 있다.
본 발명의 특징에 따르면, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 결정된 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 미세 근육의 변형율 (strain) 이 결정될 수 있다.
본 발명의 다른 특징에 따르면, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 모션 벡터 필드를 기초로 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보가 생성될 수 있다.
예를 들어, 도 4a 및 4d의 (a), (b) 및 (c)를 참조하면, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 심근 움직임과 관련하여 시각적 및 정량적 분석 결과가 제공될 수 있다.
보다 구체적으로, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 의료 영상 내에서 복수의 섹션의 미세 근육의 변형에 대한 시각적 정보 (4d의 (a)) 를 제공할 수 있다. 나아가, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 17 개의 섹션으로 나뉘어진 장기 영역에 대하여 어느 섹션의 움직임이 많은지, 또는 적은지 시각적으로 구별할 수 있는 데이터 (4d의 (b)) 의 제공이 가능할 수 있다. 더욱이, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 에서, 각 프레임 별 심근의 변형율이 결정되어 근육 (예를 들어 심근 또는 폐 근육) 에 대한 정량 정보가 제공될 수 있다 (4d의 (c)).
즉, 모션 벡터 필드에 대한 데이터가 제공되는 단계 (S330) 의 결과로 장기 기능과 연관된 장기 스트레인 분석에 관한 데이터가 결정되고 제공될 수 있다.
이하에서는 도 5a 및 5b를 참조하여 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조 및 학습 방법을 설명한다.
도 5a는 본 발명의 다양한 실시예에 적용되는 예측 모델의 구조를 예시적으로 도시한 것이다. 도 5b는 본 발명의 다양한 실시예에 적용되는 예측 모델의 모델링 절차를 예시적으로 도시한 것이다.
먼저 도 5a를 참조하면, 본 발명의 본 발명의 다양한 실시예에서 이용되는 예측 모델은, U-net 구조를 가질 수 있다. 구체적으로 도 5a의 U 자 형태의 예측 모델에서 왼쪽 영역은 3D 컨볼루션 (convolutional), 배치 정규화 (BN; Batch normalization) 및 Relu 활성 함수 연산 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 이때, 각각의 컨볼루션 층은 입력된 영상 (또는 공유된 영상 데이터) 에 대한 2D 컨볼루션이 수행되는 2D 컨볼루션 층 및 2D 컨볼루션 층과 연결되는 3D 컨볼루션 층으로 이루어질 수 있다. 즉, 영상에 대한 2D 컨볼루션 및 3D 컨볼루션이 수행될 수 있다. 그 다음, 최하단 영역에서, 복수의 프레임으로 이루어진 2D 의료 영상은 전역적 특징으로 표현될 수 있다. 나아가, 예측 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 업 샘플링 (upsampling) 된다. 결과적으로, 입력된 2D 시계열 의료 영상의 프레임 각각에 대하여, 영상의 프레임의 정방향 (forward) 으로 x축 y축 각각에 대응하는 모션 벡터 필드 및 영상의 프레임의 역방향 (backward) 으로 x축 y축 각각에 대응하는 4 개의 모션 벡터 필드의 4 개의 채널이 출력될 수 있다.
동시에, 입력된 2D 시계열 의료 영상의 프레임 각각에 대하여, 장기 영역 (예를 들어, 좌심방, 좌심실, 우심방 및 우심실, 또는 기관, 기관지, 우폐 상엽, 좌폐 상엽, 우폐 중간엽, 우폐 소엽간열, 우폐 주엽간열, 우폐 하엽, 좌폐 주엽간열 및 좌폐 하엽) 이 분할되어 출력될 수 있다. 그러나, 이에 한정되는 것은 아니다.
한편, U 형태의 예측 모델에서 왼쪽에서 오른쪽으로 연결된 선 (skip connection) 을 통해, 왼쪽 영역의 특징이 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이를 통해, 모션 벡터 필드의 예측 동안 입력 데이터가 작아짐에 따라 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다.
즉, 전술한 구조적 특징의 예측 모델은 전역적 구조 특징 및 지역적 특징 유사성을 고려하여, 인접한 프레임간의 모션 벡터 필드를 결정하도록, 효율적으로 학습하도록 설계된 모델일 수 있다. 이에, 노이즈에 강하고, 영상 품질에 관계 없이 장기 스트레인 분석에 대한 신뢰도 높은 결과를 제공할 수 있다.
본 발명의 다양한 실시예에 따른 정보 제공 방법에서 이용되는, 예측 모델은 전술한 것에 제한되지 않고 보다 다양한 구조를 가질 수 있다.
한편, 본 발명의 다양한 실시예에 이용되는 예측 모델은 순환 모션 모델링 (cyclic motion modeling) 을 통해 모션 벡터 필드를 추정하도록 학습될 수 있다.
보다 구체적으로 도 5b를 참조하면, 예측 모델은, 수축기 말 (ES; End systole), 이완기 말 (ED; End diastole), 수축기 말과 이완기 말 중간의 mid (ES-ED) 및 이완기 말과 수축기 말 중간의 mid (ED-ES) 프레임이 각각 라벨링된 2 비트 단위의 시계열 의료 영상을 학습에 이용할 수 있다.
보다 구체적으로, 2 비트 단위의 제1 세트 및 제1 세트와 상이한 제2 세트의 입력 데이터가 존재할 때, 정방향으로 프레임의 모션 벡터 필드를 결정하고자 할 경우, 예측 모델은 제1 세트의 마지막 프레임에 기초하여, 새롭게 입력되는 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하도록 학습될 수 있다. 즉, 제2 세트의 첫 번째 프레임의 모션 벡터 필드는 '0'이 아닌 제1 세트의 마지막 프레임의 모션 필드에 기초하여 결정될 수 있다.
다음으로, 역방향으로 프레임의 모션 벡터 필드를 결정하고자 할 경우, 예측 모델은 제1 세트의 첫 번째 프레임에 기초하여, 새롭게 입력되는 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하도록 학습될 수 있다.
이와 같이 본 발명의 다양한 실시예에 적용되는 예측 모델은, 양-방향 순환 모션 모델링 (Bi-directional cyclic motion modeling) 을 통해, 시계열의 의료 영상의 시공간 특징을 고려하여 모션 벡터 필드를 추정할 수 있다.
한편, 양-방향 순환 모션 모델링은, 양 방향 순환 모션, 일관성 제약 (consistency constraint) 및 특정 프레임에 대한 라벨 (sparse labels) 기반의 수학식 1을 통해 수행될 수 있다.
[수학식 1]
Figure pat00001
여기서
Figure pat00002
는 정방향에서 추정된 모션 벡터이고,
Figure pat00003
는 역방향에서 추정된 모션 벡터를 의미할 수 있다. 나아가, y는 마스크 라벨 (mask label),
Figure pat00004
는 모델 예측 (model prediction), p는 영상 공간 상의 임의의 한 점으로 정의되는 오메가를 의미할 수 있다.
보다 구체적으로, 첫 번째 수식 (Bi-directional cyclic motions) 은 정방향 모션 벡터, 역방향 모션 벡터를 사용하여 (t+1)%T, (T-1)%T 영상이 현재와 일치하도록 하는 손실 함수일 수 있다.
두 번째 수식 (Consistency costraint) 은 각각의 모션 벡터들의 미분값이 0에 가깝도록 제약을 주는 수식이며, 세 번째 수식 (Sparse labels) 은 분할 손실 (segmentation loss) 로 정답 (ground truth; GT) 이 있는 프레임 t에 대하여 스파스 (sparse) 하게 적용되도록 하는 수식이다.
이하에서는 도 6a 내지 도 6c를 참조하여, 학습 데이터에 대한 전처리 절차를 설명한다.
도 6a 내지 도 6c는 본 발명의 다양한 실시예에 이용되는 모션 벡터 필드 예측에 있어서, 입력 데이터의 전처리를 예시적으로 도시한 것이다.
먼저, 도 6a를 참조하면, 학습용 의료 영상 (510) 은 컬러가 인식된 후 (512) 제거된다. 그 다음, 시간 축 변량 (Time-axis variance) 에 의해 이진화가 진행되고 (514), 형태학적 연산 (열기/닫기) 이 수행된다. 그 다음, 라인이 검출되고 (516), 라인 클러스터링 (Line clustering) 이 수행되어 교차 직선 및 교차점 검출되고, 그 다음 원형 섹터 (Circular sector) 가 검출된다. 그 다음, 디스턴스 맵 및 앵글 맵 (Distance & Angle maps) (518) 이 추출되고, 유효 영역 (Valid region) 이 추출된다. 이렇게, 전처리가 수행된 의료 영상 (520) 이 획득 가능하다.
그 다음, 도 6b 를 참조하면, 전처리가 수행된 의료 영상 (520) 에 대한 크기 조절이 수행된다. 보다 구체적으로, 전처리가 수행된 의료 영상 (520) 은, 반지름이 R인 부채꼴의 영역을 포함할 수 있다. 이때, 학습용 의료 영상의 높이는 R로, 너비는
Figure pat00005
R로 설정될 수 있다.
학습용 의료 영상의 상세 사이즈는 256 X 384로 설정될 수 있고, 너비에 대한 높이의 비율은
Figure pat00006
와 동일하거나 클 수 있다.
다음으로, 도 6c를 참조하면, 학습용 의료 영상은 수축기 말 (ES; End systole), 이완기 말 (ED; End diastole), 수축기 말과 이완기 말 중간의 mid(ES-ED) 및 이완기 말과 수축기 말 중간의 mid(ED-ES) 프레임이 각각 라벨링된 2 비트 단위의 시계열 의료 영상일 수 있다.
이때, 학습용 의료 영상에서 표적 프레임의 길이는 25 이하이고, 프레임율 (frame rate) 은 10, 심박수는 40 내지 100일 수 있다.
한편, 학습 단계에서 영상 리샘플링 (resampling) 에 있어서, 리샘플링율은 표적 프레임에 기초하여 결정될 수 있고, [0 ~ ES], [ES ~ mid(ES-ED)], [mid(ES-ED) ~ ED], [ED ~ mid(ED-ES)], [mid(ED-ES) ~ T] 의 구간별로 리샘플링이 수행될 수 있다.
그러나, 학습용 의료 영상의 전처리는 전술한 것에 제한되는 것은 아니다. 더욱이, 전처리 절차는 심장 의료 영상에 제한되는 것이 아니며, 폐 의료 영상과 같은 주기성 의료 영상에 대한 전처리가 수행될 수도 있다.
평가: 장기 기능에 대한 정보 제공용 디바이스의 분할 성능 평가
이하에서는, 도 7a 및 7b를 참조하여, 본 발명의 일 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스의 평가 결과를 설명한다.
도 7a 및 7b는 본 발명의 실시예에 따른 장기 기능에 대한 정보 제공용 디바이스의 평가 결과를 도시한 것이다.
먼저, 도 7b를 참조하면 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따른 심장 초음파 영상에서의 특정 프레임에 대한 모션 벡터 필드 (이전 프레임 또는 이후 프레임을 기준으로 함) 가 도시된다.
이때, 예측 모델에 의해 모션 벡터 필드는 방향에 따라 상이한 색상으로 출력할 수 있다. 이에 미세 근육의 움직임이 보다 정확하게 표현될 수 있다.
보다 구체적으로, 도 7b의 (a)를 참조하면 T0, T1 및 T2 시간에 해당하는 2D 의료 영상 (또는 스틸 컷 프레임) 이 도시된다.
이때, 도 7b의 (b)를 함께 참조하면, 본 발명의 다양한 실시예에 이용되는 예측 모델 기반의 T0, T1 및 T2 시간에 해당하는 장기 영역의 모션 벡터 필드가 도시된다. 도시된 바와 같이, 예측 모델은 시계열의 의료 영상에 대하여, 각 프레임의 모션 벡터 필드 (인접한 프레임에 대한 모션 필드) 를 결정하고, 이의 방향에 따라 상이한 색상으로 출력할 수 있다. 이에 미세 근육의 움직임이 보다 정확하게 표현될 수 있다.
도 7b의 (b)를 함께 참조하면, 본 발명의 다양한 실시예에 이용되는 예측 모델 기반의 T0, T1 및 T2 시간에 해당하는 장기 영역의 분할 결과가 도시된다. 보다 구체적으로, 예측 모델은 모션 추정과 함께 시공간적 특성을 학습함에 따라 소실될 수 있는 영역에 대한 강건한 분할이 가능할 수 있다.
이러한 모션 벡터 필드 추정 결과는, 장기 기능과 연관된 장기 스트레인 분석에 적용될 수 있다.
보다 구체적으로, 모션 벡터 필드에 의해 장기의 미세 근육의 움직임을 정확히 평가할 수 있어, 예측된 모션 벡터 필드에 기초하여 기능 이상 부위의 시작적 및 정량적 정보가 제공될 수 있다.
특히, 본 발명은 폐 의료 영상 또는 심장 의료 영상의 주기성을 갖는 의료 영상의 모션 벡터 필드를 결정하고 제공할 수 있어 심장 및 폐에 대한 정보를 제공할 수 있다.
즉, 본 발명은 장기 기능에 대한 정보를 제공함에 따라, 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 장기 기능에 대한 정보 제공용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 사용자 디바이스
220: 표시부
400: 의료 영상 진단 디바이스
412: 2D 시계열 의료 영상
420: 예측 모델
422: 모션 벡터 필드가 결정된 의료 영상
424: 장기 영역이 분할된 의료 영상
432: 모션 벡터 필드에 관한 데이터
1000: 진단 보조 시스템

Claims (22)

  1. 프로세서에 의해 구현되는 장기 기능에 대한 정보 제공 방법으로서,
    개체의 장기 영역을 포함하는, 복수의 프레임으로 이루어진 시계열 의료 영상을 수신하는 단계;
    의료 영상을 입력으로 하여, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 출력하도록 구성된 예측 모델을 이용하여, 수신된 상기 의료 영상 내의 상기 장기 영역에 대한 모션 벡터 필드를 결정하는 단계, 및
    결정된 상기 모션 벡터 필드에 대한 정보를 제공하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.
  2. 제1항에 있어서,
    상기 모션 벡터 필드를 결정하는 단계는,
    상기 예측 모델을 이용하여 상기 복수의 프레임 각각에 대하여 상기 모션 벡터 필드를 결정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.
  3. 제2항에 있어서,
    상기 모션 벡터 필드를 결정하는 단계는,
    상기 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하는 단계, 및
    상기 제1 모션 벡터 필드를 기초로, 상기 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드를 추정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.
  4. 제2항에 있어서,
    상기 모션 벡터 필드를 결정하는 단계는,
    상기 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하는 단계, 및
    상기 제1 모션 벡터 필드를 기초로, 상기 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드를 추정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.
  5. 제1항에 있어서,
    상기 의료 영상은 복수의 픽셀을 포함하고,
    상기 모션 벡터 필드를 결정하는 단계는,
    상기 예측 모델을 이용하여 상기 복수의 픽셀 각각에 대한 모션 벡터 필드를 결정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.
  6. 제1항에 있어서,
    상기 의료 영상은
    복수의 프레임으로 이루어진 1 세트, 및
    상기 제1 세트와 상이한 복수의 프레임으로 이루어진 제2 세트를 포함하고,
    상기 모션 벡터 필드를 결정하는 단계는,
    상기 예측 모델을 이용하여, 상기 제1 세트의 마지막 프레임에 기초하여, 상기 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하는 단계, 또는
    상기 예측 모델을 이용하여 상기 제1 세트의 첫 번째 프레임에 기초하여, 상기 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.
  7. 제1항에 있어서,
    상기 예측 모델은,
    3D CNN (Convolutional Neural Network), 2D CNN 및 이들의 조합 중 적어도 하나의 구조를 갖는, 장기 기능에 대한 정보 제공 방법.
  8. 제1항에 있어서,
    상기 예측 모델은,
    의료 영상을 입력으로 하여 방향에 따라 상이한 색상을 갖는 모션 벡터 필드를 출력하도록 구성된, 장기 기능에 대한 정보 제공 방법.
  9. 제1항에 있어서,
    상기 모션 벡터 필드에 대한 정보를 제공하는 단계는,
    결정된 상기 모션 벡터 필드를 기초로 상기 장기 영역의 복수의 부위에 대한 미세 근육의 변형율 (strain) 을 결정하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.
  10. 제1항에 있어서,
    상기 모션 벡터 필드에 대한 정보를 제공하는 단계는,
    결정된 상기 모션 벡터 필드를 기초로 상기 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보를 생성하는 단계를 포함하는, 장기 기능에 대한 정보 제공 방법.
  11. 제1항에 있어서,
    상기 예측 모델은,
    상기 의료 영상을 입력으로 하여 상기 모션 벡터 필드 및 상기 장기 영역을 출력하도록 더 구성된 모델인, 장기 기능에 대한 정보 제공 방법.
  12. 제1항에 있어서,
    상기 의료 영상은 초음파, CT (computerized tomography), MRI (magnetic resonance imaging), PET (positron emission tomography), 및 SPET (single photon emission computed tomography) 중 어느 하나 영상인, 장기 기능에 대한 정보 제공 방법.
  13. 제1항에 있어서,
    상기 장기는 심장 또는 폐인, 장기 기능에 대한 정보 제공 방법.
  14. 개체의 장기 영역을 포함하는, 복수의 프레임으로 이루어진 시계열 의료 영상을 수신하도록 구성된 통신부, 및
    프로세서를 포함하고,
    상기 프로세서는,
    의료 영상을 입력으로 하여, 인접한 프레임간의 모션 벡터 필드 (motion vector field) 를 출력하도록 구성된 예측 모델을 이용하여, 수신된 상기 의료 영상 내의 상기 장기 영역에 대한 모션 벡터 필드를 결정하고,
    결정된 상기 모션 벡터 필드에 대한 정보를 제공하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 예측 모델을 이용하여 상기 복수의 프레임 각각에 대하여 상기 모션 벡터 필드를 결정하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하고,
    상기 제1 모션 벡터 필드를 기초로, 상기 제1 프레임 다음의 제2 프레임에 대한 제2 모션 벡터 필드를 추정하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스.
  17. 제15항에 있어서,
    상기 프로세서는,
    상기 복수의 프레임 중 제1 프레임에 대한 제1 모션 벡터 필드를 결정하고,
    상기 제1 모션 벡터 필드를 기초로, 상기 제1 프레임 이전의 제3 프레임에 대한 제3 모션 벡터 필드를 추정하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스.
  18. 제14항에 있어서,
    상기 의료 영상은 복수의 픽셀을 포함하고,
    상기 프로세서는,
    상기 예측 모델을 이용하여 상기 복수의 픽셀 각각에 대한 모션 벡터 필드를 결정하도록 더 구성된, 장기 기능에 대한 정보 제공용 디바이스.
  19. 제14항에 있어서,
    상기 의료 영상은
    복수의 프레임으로 이루어진 1 세트, 및
    상기 제1 세트와 상이한 복수의 프레임으로 이루어진 제2 세트를 포함하고,
    상기 프로세서는,
    상기 예측 모델을 이용하여, 상기 제1 세트의 마지막 프레임에 기초하여, 상기 제2 세트의 첫 번째 프레임의 모션 벡터 필드를 결정하거나,
    상기 예측 모델을 이용하여 상기 제1 세트의 첫 번째 프레임에 기초하여, 상기 제2 세트의 마지막 프레임의 모션 벡터 필드를 결정하도록 구성된, 장기 기능에 대한 정보 제공용 디바이스.
  20. 제14항에 있어서,
    상기 프로세서는,
    결정된 상기 모션 벡터 필드를 기초로 상기 장기 영역의 복수의 부위에 대한 미세 근육의 변형율 (strain) 을 결정하도록 더 구성된, 장기 기능에 대한 정보 제공용 디바이스.
  21. 제14항에 있어서,
    상기 프로세서는,
    결정된 상기 모션 벡터 필드를 기초로 상기 장기 영역의 복수의 부위에 대한 움직임을 나타내는 시각 정보를 생성하도록 더 구성된, 장기 기능에 대한 정보 제공용 디바이스.
  22. 제14항에 있어서,
    상기 예측 모델은,
    상기 의료 영상을 입력으로 하여 상기 모션 벡터 필드 및 상기 장기 영역을 출력하도록 더 구성된 모델인, 장기 기능에 대한 정보 제공용 디바이스.
KR1020210180953A 2021-12-16 2021-12-16 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스 KR20230091645A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210180953A KR20230091645A (ko) 2021-12-16 2021-12-16 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스
PCT/KR2022/020265 WO2023113438A1 (ko) 2021-12-16 2022-12-13 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210180953A KR20230091645A (ko) 2021-12-16 2021-12-16 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스

Publications (1)

Publication Number Publication Date
KR20230091645A true KR20230091645A (ko) 2023-06-23

Family

ID=86772990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210180953A KR20230091645A (ko) 2021-12-16 2021-12-16 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스

Country Status (2)

Country Link
KR (1) KR20230091645A (ko)
WO (1) WO2023113438A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803987B2 (en) * 2018-11-16 2020-10-13 Elekta, Inc. Real-time motion monitoring using deep neural network
CN110458127B (zh) * 2019-03-01 2021-02-26 腾讯医疗健康(深圳)有限公司 图像处理方法、装置、设备以及系统
US11710244B2 (en) * 2019-11-04 2023-07-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for machine learning based physiological motion measurement
KR102370490B1 (ko) * 2020-03-13 2022-03-04 숭실대학교 산학협력단 가상 객체의 변형에 따른 의료 영상의 변형 방법, 이를 수행하기 위한 기록 매체 및 장치

Also Published As

Publication number Publication date
WO2023113438A1 (ko) 2023-06-22

Similar Documents

Publication Publication Date Title
Sermesant et al. Applications of artificial intelligence in cardiovascular imaging
US11599996B2 (en) Method and system for assessing vessel obstruction based on machine learning
JP7395142B2 (ja) 超音波分析のためのシステムおよび方法
JP7134962B2 (ja) 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法
CN113194836B (zh) 自动化临床工作流
Slomka et al. Cardiac imaging: working towards fully-automated machine analysis & interpretation
US11664125B2 (en) System and method for deep learning based cardiac electrophysiology model personalization
Tavakoli et al. A survey of shaped-based registration and segmentation techniques for cardiac images
AU2004316027B2 (en) Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
CN106456078B (zh) 用于对血流储备分数的基于机器学习的评估的方法和系统
US10321892B2 (en) Computerized characterization of cardiac motion in medical diagnostic ultrasound
Hernandez et al. Deep learning in spatiotemporal cardiac imaging: A review of methodologies and clinical usability
US8396268B2 (en) System and method for image sequence processing
CN106529117A (zh) 用于治疗规划的生理驱动决策支持
Qazi et al. Automated Heart Wall Motion Abnormality Detection from Ultrasound Images Using Bayesian Networks.
Laumer et al. Weakly supervised inference of personalized heart meshes based on echocardiography videos
KR20230091645A (ko) 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스
Bhan et al. Patient-specific cardiac computational modeling based on left ventricle segmentation from magnetic resonance images
Shalbaf et al. Automatic assessment of regional and global wall motion abnormalities in echocardiography images by nonlinear dimensionality reduction
CN112446499A (zh) 改进用于自动量化冠状动脉疾病的机器学习模型的性能
Krishnaswamy et al. A novel 3D-to-3D Diffeomorphic registration algorithm with applications to left ventricle segmentation in MR and Ultrasound sequences
Ragnarsdottir et al. Deep Learning Based Prediction of Pulmonary Hypertension in Newborns Using Echocardiograms
US20240215863A1 (en) Tracking segmental movement of the heart using tensors
US20240130715A1 (en) Method and device for detecting medical indices in medical images
Singh et al. Integration of Machine Learning into the Field of Cardiac Imaging

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right