KR20150069454A - 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법 - Google Patents

나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20150069454A
KR20150069454A KR1020130155880A KR20130155880A KR20150069454A KR 20150069454 A KR20150069454 A KR 20150069454A KR 1020130155880 A KR1020130155880 A KR 1020130155880A KR 20130155880 A KR20130155880 A KR 20130155880A KR 20150069454 A KR20150069454 A KR 20150069454A
Authority
KR
South Korea
Prior art keywords
heart
navier
blood flow
left ventricle
dimensional model
Prior art date
Application number
KR1020130155880A
Other languages
English (en)
Other versions
KR101531183B1 (ko
Inventor
안치영
전기완
강성호
Original Assignee
기초과학연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기초과학연구원 filed Critical 기초과학연구원
Priority to KR1020130155880A priority Critical patent/KR101531183B1/ko
Priority to US14/538,039 priority patent/US20150164468A1/en
Publication of KR20150069454A publication Critical patent/KR20150069454A/ko
Application granted granted Critical
Publication of KR101531183B1 publication Critical patent/KR101531183B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G01S15/8984—Measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995—Combining images from different aspect angles, e.g. spatial compounding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법에 관한 것으로, 심장 좌심실을 서로 다른 세 방향에서 스캔하는 초음파 센서, 상기 스캔의 결과에 근거하여 심장 좌심실을 서로 다른 방향에서 촬영한 제1 내지 제3 초음파 영상을 구성하는 영상 처리부, 상기 제1 내지 제3 초음파 영상에 근거하여 심장 좌심실의 3차원 모델을 구성하는 3차원 모델 구성부, 상기 3차원 모델에 근거하여 산출한 심장 좌심실의 경계 조건을 나비어-스토크스 방정식에 적용하여 심장 좌심실 내의 혈류 벡터를 연산하는 혈류 벡터 연산부를 포함하여 구성되며, 본 발명에 따르면, 심장 초음파 영상 처리에 있어서 좌심실 내의 혈류 벡터를 나비어-스토크스 방정식을 사용하여 계산함으로써, 조영제를 투입할 필요 없이 보다 정확하게 좌심실 내의 혈류 벡터를 계산할 수 있으므로, 초음파 영상에 의한 심장 진단의 편의성과 정확성을 향상시킬 수 있다.

Description

나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR ECOCARDIOGRAPHY IMAGE PROCESSING USING NAVIER-STOKES EQUATION}
본 발명은 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법에 관한 것으로서, 보다 상세하게는 심장 초음파 영상 처리에 있어서 좌심실 내의 혈류 벡터를 나비어-스토크스 방정식을 사용하여 계산하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법에 관한 것이다.
초음파 영상 진단장치는 이동이 편리하고, 무침습 및 비파괴 특성을 가지고 있으며 실시간으로 영상을 제공할 수 있기 때문에 피검체 내부의 정보를 얻기 위하여 의료 분야에서 널리 사용되고 있다.
일반적으로 초음파 영상 진단장치는 대상인 피검체에 초음파 신호를 송신하고 피검체로부터 반사되는 초음파를 수신한 후 그 반사 신호에 대하여 여러 신호 및 영상처리를 수행하여 피검체의 밝기를 2차원 영상으로 제공하고 있다. 또한, 피검체 내부에 흐르는 유체, 예컨대 혈관 내에 흐르는 혈류에 초음파 신호를 송신 및 수신한 후 도플러 주파수를 계산하여 초음파 진행방향의 혈류의 속도 성분을 표시하는 2차원 컬러 도플러 영상도 제공하고 있다.
한편, 심장질환을 진단하기 위해서는 특히 심장 기능에 대한 정량적인 정보를 얻을 필요가 있다. 이러한 정보에는 좌심실 비대(Left Ventricle Hypertrophy), 박동 부피(Stroke Volume), 박출계수(Ejection Fraction), 심박출량(Cardiac Output) 등이 있으며, 최근에는 혈류의 속도벡터를 계산하고 이를 바탕으로 혈류의 와도(vorticity)를 정량화하여 진단에 활용하는 기술이 관심을 받고 있다. 이러한 심장 기능에 대한 정량적인 정보를 얻기 위해서는, 전신에 혈류를 공급하기 위해 수축 및 팽창 운동을 하는 좌심실 내부에서 혈류가 흐르는 방향과 속도를 3차원적으로 파악할 필요가 있다.
그런데 종래 심장 내부의 혈류의 방향과 속도를 파악하기 위한 방법으로는 조영제를 투여한 후 심장 내부에서 스페클(Speckle)의 움직임을 추적하여 혈류 벡터를 계산하는 방법이 대표적으로 사용되고 있다.
이러한 종래 기술에서는 심장 내부의 혈류 벡터 정보를 산출하기 위하여 조영제를 반드시 투여하여야 하는 번거로움과 혈류의 스페클 추적의 성능이 영상의 획득 속도와 영상의 화질에 심하게 의존한다는 단점이 있으며, 이로 인하여 3차원 혈류 벡터 정보를 정확히 산출하기 어렵다는 문제가 있다.
관련 선행기술로는 대한민국 공개특허공보 제1998-042140호 (1998.08.17 공개, 발명의 명칭 : 좌심실 기능의 분석을위한 초음파 진단 화상 시스템)가 있다.
본 발명은 심장 초음파 영상 처리에 있어서 나비어-스토크스 방정식을 사용하여 유체의 흐름 벡터를 계산하는데 필요한 경계 조건을 3개의 다른 각도에서 촬영한 좌심실 초음파 영상을 통하여 구하고, 나비어-스토크스 방정식을 사용하여 좌심실 내의 혈류 흐름을 시뮬레이션하여 좌심실 내의 혈류 벡터를 계산함으로써, 조영제를 투입할 필요 없이 좌심실 내의 혈류 벡터를 계산할 수 있는 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치는 서로 다른 세 방향에서 심장에 초음파를 전송하고 그 에코를 수신하는 초음파 센서, 상기 수신한 초음파의 에코에 근거하여 각각 서로 다른 방향에서 심장을 촬영한 제1 내지 제3 초음파 영상을 구성하는 영상 처리부, 상기 제1 내지 제3 초음파 영상에 근거하여 심장 좌심실의 3차원 모델을 구성하는 3차원 모델 구성부 및 상기 심장 좌심실의 3차원 모델을 나비어-스토크스 방정식에서의 경계 조건으로 적용하여 심장 좌심실 내의 혈류 벡터를 연산하는 혈류 벡터 연산부를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 제1 내지 제3 초음파 영상은 심첨 단면도인 것을 특징으로 한다.
본 발명에서, 상기 제1 내지 제3 초음파 영상은 각각 2심실 단면도, 3심실 단면도, 및 4심실 단면도인 것을 특징으로 한다.
본 발명에서, 상기 3차원 모델 구성부는 심장 박동 주기의 각 단계별로 상기 제1 내지 제3 초음파 영상을 대응시킴으로써 심장 좌심실의 움직임의 3차원 모델을 구성하는 것을 특징으로 한다.
본 발명에서, 상기 혈류 벡터 연산부는 심장 내부 혈류에 대한 도플러 정보에 근거하여 상기 연산한 혈류 벡터를 보정하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법은 영상 처리부가 각각 서로 다른 방향에서 심장을 촬영한 제1 내지 제3 초음파 영상을 구성하는 단계, 3차원 모델 구성부가 상기 제1 내지 제3 초음파 영상에 근거하여 심장 좌심실의 3차원 모델을 구성하는 단계 및 혈류 벡터 연산부가 상기 심장 좌심실의 3차원 모델을 나비어-스토크스 방정식에서의 경계 조건으로 적용하여 심장 좌심실 내의 혈류 벡터를 연산하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법에서, 상기 초음파 영상을 구성하는 단계에서, 상기 제1 내지 제3 초음파 영상은 초음파 센서가 서로 다른 세 방향에서 심장에 전송하고 수신한 초음파의 에코에 근거하여 구성되는 것을 특징으로 한다.
본 발명에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법에서, 상기 제1 내지 제3 초음파 영상은 심첨 단면도인 것을 특징으로 한다.
본 발명에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법에서, 상기 제1 내지 제3 초음파 영상은 각각 2심실 단면도, 3심실 단면도, 및 4심실 단면도인 것을 특징으로 한다.
본 발명에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법에서, 상기 3차원 모델을 구성하는 단계에서, 상기 3차원 모델 구성부는 심장 박동 주기의 각 단계별로 상기 제1 내지 제3 초음파 영상을 대응시킴으로서 심장 좌심실의 움직임의 3차원 모델을 구성하는 것을 특징으로 한다.
본 발명에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법에서, 상기 혈류 벡터를 연산하는 단계에서, 상기 혈류 벡터 연산부는 심장 내부 혈류에 대한 도플러 정보에 근거하여 상기 연산한 혈류 벡터를 보정하는 것을 특징으로 한다.
본 발명에 따르면, 심장 초음파 영상 처리에 있어서 좌심실 내의 혈류 벡터를 나비어-스토크스 방정식을 사용하여 계산함으로써, 조영제를 투입할 필요 없이 보다 정확하게 좌심실 내의 혈류 벡터를 계산할 수 있으므로, 초음파 영상에 의한 심장 진단의 편의성과 정확성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치의 블록도이다.
도 2는 본 발명의 영상 처리부가 서로 다른 방향에서 촬영한 초음파 영상의 예이다.
도 3은 본 발명의 3차원 모델 구성부가 심장 박동 주기의 각 단계별로 대응시킨 초음파 영상의 예이다.
도 4는 본 발명의 일 실시예에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법의 동작을 도시한 순서도이다.
이하에서는 본 발명에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치의 블록도이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치는 초음파 센서(100), 영상처리부(200), 3차원 모델 구성부(300), 혈류 벡터 연산부(400)를 포함하여 이루어질 수 있다.
초음파 센서(100)는 서로 다른 세 방향에서 심장에 초음파를 전송하고 그 에코를 수신한다.
이 때, 초음파 센서(100)는 동일한 심박주기에 대해 서로 다른 세 방향에서 심장에 초음파를 전송할 수 있다.
영상처리부(200)는 상기 초음파 센서(100)가 각각 수신한 서로 다른 방향으로부터 전송된 초음파의 에코에 근거하여, 각각 서로 다른 방향에서 심장을 촬영한 제1 내지 제3 초음파 영상을 구성한다.
따라서, 영상처리부(200)는 동일한 심박주기에 대해 서로 다른 세 방향에서 촬영한 심장의 2차원 단면영상을 획득할 수 있다.
이 때, 제1 내지 제3 초음파 영상은 심첨 단면도(Apical View)일 수 있다. 심첨 단면도는 심장의 긴 방향의 장축(Long Axis)에 따라 심장의 내부 단면을 촬영한 영상이다.
본 실시예에서는 심장 초음파 영상에 근거하여 심장의 3차원 모델을 구성하여 유체역학적 경계 조건을 산출하므로, 서로 다른 세 방향에서 촬영한 심첨 단면도를 촬영하는 것이 바람직하다.
여기에서, 상기 제1 내지 제3 초음파 영상은 각각 2심실 단면도, 3심실 단면도, 및 4심실 단면도일 수 있다.
도 2는 본 발명의 영상 처리부가 구성한 서로 다른 방향에서 촬영한 초음파 영상의 예이다. 도 2에서, A2CH는 2심실 단면도, A3CH는 3심실 단면도, A4CH는 4심실 단면도, SAX는 단축 단면도를 나타낸다. 단축 단면도는 심장의 장축과 수직 방향으로 심장의 내부 단면을 촬영한 단면도이다.
도 2에 도시된 바와 같이, 심장의 해부학적 구조 때문에, 초음파 영상으로 촬영한 3개의 심첨 단면도가 각각 2심실 단면도, 3심실 단면도, 및 4심실 단면도가 되도록 촬영하면, 각각의 초음파 영상은 서로 다른 세 방향에서 촬영한 초음파 영상이 되도록 촬영할 수 있다. 상기와 같은 방법으로 서로 다른 세 방향에서 초음파 영상을 촬영하면 심장의 모든 심실에 대한 해부학적 경계 데이터를 얻을 수 있으므로, 3개의 초음파 영상에 근거하여 심장 좌심실의 3차원 모델을 구성할 수 있다.
3차원 모델 구성부(300)는 제1 내지 제3 초음파 영상에 근거하여 심장 좌심실의 3차원 모델을 구성한다.
이 때, 3차원 모델 구성부(300)는 심장 박동 주기의 각 단계별로 상기 제1 내지 제3 초음파 영상을 대응시킴으로서 심장 좌심실의 움직임의 3차원 모델을 구성할 수 있다.
도 3은 본 발명의 3차원 모델 구성부(300)가 심장 박동 주기의 각 단계별로 대응시킨 초음파 영상의 예이다.
도 3에 도시된 바와 같이, 초음파 센서(100)가 수신한 에코에 각각 근거하여 생성된 제1 내지 제3 초음파 영상을 심장 박동 주기의 같은 단계에서 촬영된 영상별로 대응시킬 수 있다.
심장 박동 주기의 같은 단계에서 촬영된 제1 내지 제3 초음파 영상을 통하여 하나의 3차원 모델을 구성할 수 있으므로, 심장 박동 주기의 각 단계별로 대응시킨 초음파 영상들에 대하여 각 단계별로 3차원 모델을 구성하면, 심장 박동 주기에 따른 심장 좌심실의 움직임의 3차원 모델을 구성할 수 있다.
3차원 모델 구성부(300)는 3개의 심첨 단면도에 기반하여 레벨 세트(level set) 방법을 사용하여 심장 좌심실의 3차원 모델을 구성할 수 있다.
레벨 세트 방법에서 제로 레벨 세트(zero level set)란 레벨 세트 함수가 0 값을 가지는 벡터의 집합으로 구성된 표면을 말하며, 레벨 세트 함수는 위치를 가리키는 벡터를 인수로 하여 제로 레벨 세트로 둘러싸인 지역 내부에서는 양의 값을, 그 지역 밖에서는 음의 값을 가지는 함수이다.
따라서 제로 레벨 세트를 수치적으로 산출함으로써 심장 좌심실의 3차원 모델을 구성할 수 있다. 일례로 제로 레벨 세트가 측정되는 표면의 좌심실 경계 데이터를 포함하도록, 레벨 세트의 에너지가 다음의 수학식 1에 의하여 표현될 수 있다.
Figure pat00001
상기 수학식 1에서 Γ는 제로 레벨 세트, φ는 레벨 세트 함수, x는 위치 벡터, δ(x) 는 1차원 델타 함수, δ(φ(x))|▽φ(x)|dx 는 φ의 제로 레벨 세트에서의 표면 요소(surface element)를 나타낸다.
따라서, 초음파 영상으로부터 얻은 표면의 에너지로부터 상기 수학식 1에 의하여 심장 좌심실의 3차원 모델을 심장 박동 주기의 각 단계별로 구성할 수 있다.
혈류 벡터 연산부(400)는 3차원 모델 연산부(300)가 구성한 심장 좌심실의 3차원 모델을 나비어-스토크스 방정식에서의 경계 조건으로 적용하여 심장 좌심실 내의 혈류 벡터를 연산한다.
이 때, 혈류 벡터 연산부(400)는 프로젝션(projection) 방법, 가상경계(immersed boundary) 방법, 및 와류 함수(vortex-stream function) 방법 등을 사용하여 심장 좌심실 내의 혈류 벡터를 연산할 수 있다.
나비어-스토크스 방정식은 유체의 운동을 기술하는 비선형 편미분 방정식으로서, 나비어-스토크스 방정식에 경계 조건을 대입함으로써 와류와 소용돌이를 포함한 유체의 움직임을 모델링할 수 있음이 알려져 있다.
여기에서 좌심실 내의 혈류 벡터를 계산하기 위한 나비어-스토크스 방정식은 다음의 수학식 2에 의하여 표현된다.
Figure pat00002
상기 수학식 2에서 u는 유체의 속도 벡터, p는 압력, ν는 점성계수, f 는 외부에서 유체에 가해지는 힘을 의미한다.
또한 혈류 벡터 연산부(400)는 심장 내부 혈류에 대한 도플러 정보에 근거하여 상기 연산한 혈류 벡터를 보정할 수 있다.
초음파 영상으로부터 얻은 도플러 정보에 근거하여 혈관 내의 혈류의 흐름 벡터를 계산하는 방법은 알려져 있으나, 도플러 정보는 유체의 축 방향의 속도 성분밖에 알려 주지 않으므로, 혈관이 아닌 심실 내부에서 일어나는 소용돌이를 포함하는 혈류의 3차원 속도 벡터는 도플러 정보만으로는 계산할 수 없다. 그러나 나비어-스토크스 방정식을 사용하여 계산한 3차원 속도 벡터를 도플러 정보로 보정하면, 더 정확한 좌심실 내부의 혈류에 대한 3차원 속도 벡터를 산출할 수 있다.
여기에서, 계산된 혈류의 속도 벡터를 보정하기 위하여 예컨대 자료동화(data assimilation) 방법이 사용될 수 있다.
한편 본 발명의 일 실시예에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치는 진단부(500)를 더 포함하여 이루어질 수 있다.
진단부(500)는 혈류 벡터 연산부(400)가 산출한 혈류 벡터에 근거하여 심장 기능에 관한 정량적인 진단 정보를 산출한다.
여기에서, 진단부(500)는 계산된 혈류 벡터의 와도에 대한 정량적인 진단 정보를 이용하여 좌심실의 기능장애를 진단할 수 있다. 혈류의 와도에 대한 정량적 진단 정보로는 와류의 폭, 와류의 길이, 와류의 좌심실에 대한 종방향의 위치, 횡방향의 위치 등이 있다.
도 4는 본 발명의 일 실시예에 따른 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법의 동작을 도시한 순서도이다. 이를 참조하여 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법을 설명한다.
먼저 초음파 센서(100)가 서로 다른 세 방향에서 심장에 전송하고 수신한 초음파의 에코에 근거하여, 영상 처리부(200)가 각각 서로 다른 방향에서 심장을 촬영한 제1 내지 제3 초음파 영상을 구성한다(S110).
이 때, 제1 내지 제3 초음파 영상은 심첨 단면도일 수 있다.
또한 제1 내지 제3 초음파 영상은 각각 2심실 단면도, 3심실 단면도, 및 4심실 단면도일 수 있다.
상기에서 도 2와 관련하여 설명한 바와 같이, 심장의 해부학적 구조 때문에, 초음파 영상으로 촬영한 3개의 심첨 단면도가 각각 2심실 단면도, 3심실 단면도, 및 4심실 단면도가 되도록 촬영하면, 각각의 초음파 영상은 서로 다른 세 방향에서 촬영한 초음파 영상이 되도록 할 수 있다. 상기와 같은 방법으로 서로 다른 세 방향에서 초음파 영상을 촬영하면 심장의 모든 심실에 대한 해부학적 경계 데이터를 얻을 수 있으므로, 3개의 초음파 영상에 근거하여 심장 좌심실의 3차원 모델을 구성할 수 있다.
이어서, 3차원 모델 구성부(300)가 상기 제1 내지 제3 초음파 영상에 근거하여 심장 좌심실의 3차원 모델을 구성한다(S120).
여기에서, 3차원 모델 구성부(300)는 심장 박동 주기의 각 단계별로 상기 제1 내지 제3 초음파 영상을 대응시킴으로서 심장 좌심실의 움직임의 3차원 모델을 구성할 수 있다.
상기에서 도 3과 관련하여 설명한 바와 같이, 초음파 센서(100)가 수신한 에코에 각각 근거하여 생성된 제1 내지 제3 초음파 영상을 심장 박동 주기의 같은 단계에서 촬영된 영상별로 대응시킬 수 있다.
심장 박동 주기의 같은 단계에서 촬영된 제1 내지 제3 초음파 영상을 통하여 하나의 3차원 모델을 구성할 수 있으므로, 심장 박동 주기의 각 단계별로 대응시킨 초음파 영상들에 대하여 각 단계별로 3차원 모델을 구성하면, 심장 박동 주기에 따른 심장 좌심실의 움직임의 3차원 모델을 구성할 수 있다.
이 때, 초음파 영상으로부터 얻은 표면의 에너지로부터 상기 수학식 1에 의하여 심장 좌심실의 3차원 모델을 심장 박동 주기의 각 단계별로 구성할 수 있다.
이후, 혈류 벡터 연산부(400)는 심장 좌심실의 3차원 모델을 나비어-스토크스 방정식에서의 경계 조건으로 적용하여 심장 좌심실 내의 혈류 벡터를 연산한다.
이 때, 혈류 벡터 연산부(400)는 프로젝션(projection) 방법, 가상경계(immersed boundary) 방법, 및 와류 함수(vortex-stream function) 방법 등을 사용하여 심장 좌심실 내의 혈류 벡터를 연산할 수 있다.
상술한 바와 같이, 나비어-스토크스 방정식은 유체의 운동을 기술하는 비선형 편미분 방정식으로서, 나비어-스토크스 방정식에 경계 조건을 대입함으로써 와류와 소용돌이를 포함한 유체의 움직임을 모델링할 수 있음이 알려져 있다.
여기에서, 혈류 벡터 연산부(400)는 심장 내부 혈류에 대한 도플러 정보에 근거하여 연산한 혈류 벡터를 보정할 수 있다.
상술한 바와 같이, 초음파 영상으로부터 얻은 도플러 정보에 근거하여 혈관 내의 혈류의 흐름 벡터를 계산하는 방법은 알려져 있으나, 도플러 정보는 유체의 축 방향의 속도 성분밖에 알려주지 않으므로, 혈관이 아닌 심실 내부에서 일어나는 소용돌이를 포함하는 혈류의 3차원 속도 벡터는 도플러 정보만으로는 계산할 수 없다. 그러나 나비어-스토크스 방정식을 사용하여 계산한 3차원 속도 벡터를 도플러 정보로 보정하면, 더 정확한 좌심실 내부의 혈류에 대한 3차원 속도 벡터를 산출할 수 있다.
또한, 계산된 혈류의 속도벡터를 보정하기 위한 방법으로 자료동화(data assimilation)와 같은 방법이 사용될 수 있다.
이후, 진단부(500)는 혈류 벡터 연산부(400)가 산출한 혈류 벡터에 근거하여 심장 기능에 관한 정량적인 진단 정보를 산출하고(S140) 프로세스를 종료한다.
여기에서, 진단부(500)는 계산된 혈류 벡터의 와도에 대한 정량적인 진단 정보를 이용하여 좌심실의 기능장애를 진단할 수 있다. 혈류의 와도에 대한 정량적 진단 정보로는 와류의 폭, 와류의 길이, 와류의 좌심실에 대한 종방향의 위치, 횡방향의 위치 등이 있다.
이와 같이 본 실시예에 따르면, 심장 초음파 영상 처리에 있어서 좌심실 내의 혈류 벡터를 나비어-스토크스 방정식을 사용하여 계산함으로써, 조영제를 투입할 필요 없이 보다 정확하게 좌심실 내의 혈류 벡터를 계산할 수 있으므로, 초음파 영상에 의한 심장 진단의 편의성과 정확성을 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 초음파 센서 200 : 영상처리부
300 : 3차원 모델 구성부 400 : 혈류벡터 연산부
500 : 진단부

Claims (11)

  1. 서로 다른 세 방향에서 심장에 초음파를 전송하고 그 에코를 수신하는 초음파 센서;
    상기 수신한 초음파의 에코에 근거하여 각각 서로 다른 방향에서 심장을 촬영한 제1 내지 제3 초음파 영상을 구성하는 영상 처리부;
    상기 제1 내지 제3 초음파 영상에 근거하여 심장 좌심실의 3차원 모델을 구성하는 3차원 모델 구성부; 및
    상기 심장 좌심실의 3차원 모델을 나비어-스토크스 방정식에서의 경계 조건으로 적용하여 심장 좌심실 내의 혈류 벡터를 연산하는 혈류 벡터 연산부를 포함하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치.
  2. 제 1항에 있어서,
    상기 제1 내지 제3 초음파 영상은 심첨 단면도인 것을 특징으로 하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치.
  3. 제 1항에 있어서,
    상기 제1 내지 제3 초음파 영상은 각각 2심실 단면도, 3심실 단면도, 및 4심실 단면도인 것을 특징으로 하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치.
  4. 제 1항에 있어서,
    상기 3차원 모델 구성부는 심장 박동 주기의 각 단계별로 상기 제1 내지 제3 초음파 영상을 대응시킴으로써 심장 좌심실의 움직임의 3차원 모델을 구성하는 것을 특징으로 하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치.
  5. 제 1항에 있어서,
    상기 혈류 벡터 연산부는 심장 내부 혈류에 대한 도플러 정보에 근거하여 상기 연산한 혈류 벡터를 보정하는 것을 특징으로 하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치.
  6. 영상 처리부가 각각 서로 다른 방향에서 심장을 촬영한 제1 내지 제3 초음파 영상을 구성하는 단계;
    3차원 모델 구성부가 상기 제1 내지 제3 초음파 영상에 근거하여 심장 좌심실의 3차원 모델을 구성하는 단계; 및
    혈류 벡터 연산부가 상기 심장 좌심실의 3차원 모델을 나비어-스토크스 방정식에서의 경계 조건으로 적용하여 심장 좌심실 내의 혈류 벡터를 연산하는 단계를 포함하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법.
  7. 제 6항에 있어서,
    상기 초음파 영상을 구성하는 단계에서,
    상기 제1 내지 제3 초음파 영상은 초음파 센서가 서로 다른 세 방향에서 심장에 전송하고 수신한 초음파의 에코에 근거하여 구성되는 것을 특징으로 하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법.
  8. 제 6항에 있어서,
    상기 제1 내지 제3 초음파 영상은 심첨 단면도인 것을 특징으로 하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법.
  9. 제 6항에 있어서,
    상기 제1 내지 제3 초음파 영상은 각각 2심실 단면도, 3심실 단면도, 및 4심실 단면도인 것을 특징으로 하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법.
  10. 제 6항에 있어서,
    상기 3차원 모델을 구성하는 단계에서,
    상기 3차원 모델 구성부는 심장 박동 주기의 각 단계별로 상기 제1 내지 제3 초음파 영상을 대응시킴으로서 심장 좌심실의 움직임의 3차원 모델을 구성하는 것을 특징으로 하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법.
  11. 제 6항에 있어서,
    상기 혈류 벡터를 연산하는 단계에서,
    상기 혈류 벡터 연산부는 심장 내부 혈류에 대한 도플러 정보에 근거하여 상기 연산한 혈류 벡터를 보정하는 것을 특징으로 하는, 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 방법.
KR1020130155880A 2013-12-13 2013-12-13 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법 KR101531183B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130155880A KR101531183B1 (ko) 2013-12-13 2013-12-13 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법
US14/538,039 US20150164468A1 (en) 2013-12-13 2014-11-11 Apparatus and method for processing echocardiogram using navier-stokes equation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130155880A KR101531183B1 (ko) 2013-12-13 2013-12-13 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150069454A true KR20150069454A (ko) 2015-06-23
KR101531183B1 KR101531183B1 (ko) 2015-06-25

Family

ID=53367017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130155880A KR101531183B1 (ko) 2013-12-13 2013-12-13 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US20150164468A1 (ko)
KR (1) KR101531183B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6571461B2 (ja) * 2015-09-09 2019-09-04 キヤノンメディカルシステムズ株式会社 超音波診断装置、医用画像処理装置および医用画像処理プログラム
WO2018183982A1 (en) * 2017-03-31 2018-10-04 The Brigham And Women's Hospital, Inc. Systems and methods for controlling imaging artifacts using an array of sensor data
EP3641878B1 (en) * 2017-09-23 2023-06-28 Amid s.r.l. Method and device for cardiac electric synchronization
US11931207B2 (en) 2018-12-11 2024-03-19 Eko.Ai Pte. Ltd. Artificial intelligence (AI) recognition of echocardiogram images to enhance a mobile ultrasound device
US11446009B2 (en) 2018-12-11 2022-09-20 Eko.Ai Pte. Ltd. Clinical workflow to diagnose heart disease based on cardiac biomarker measurements and AI recognition of 2D and doppler modality echocardiogram images
US12001939B2 (en) 2018-12-11 2024-06-04 Eko.Ai Pte. Ltd. Artificial intelligence (AI)-based guidance for an ultrasound device to improve capture of echo image views
CN112826535B (zh) * 2020-12-31 2022-09-09 青岛海信医疗设备股份有限公司 一种超声成像中自动定位血管的方法和装置及设备
US11957505B2 (en) 2021-01-25 2024-04-16 Dl-Hrt Llc System and method of non-invasive continuous echocardiographic monitoring
US11457889B2 (en) 2021-01-25 2022-10-04 Lazaro Eduardo Hernandez System and method of non-invasive continuous echocardiographic monitoring

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060025689A1 (en) * 2002-06-07 2006-02-02 Vikram Chalana System and method to measure cardiac ejection fraction
JP4269623B2 (ja) * 2002-10-07 2009-05-27 株式会社 東北テクノアーチ 血流可視化診断装置
US20060241445A1 (en) * 2005-04-26 2006-10-26 Altmann Andres C Three-dimensional cardial imaging using ultrasound contour reconstruction
JP5868052B2 (ja) * 2010-07-21 2016-02-24 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 包括的な患者固有の心臓のモデリング方法およびシステム
US9245091B2 (en) * 2011-03-09 2016-01-26 Siemens Aktiengesellschaft Physically-constrained modeling of a heart in medical imaging
JP5501292B2 (ja) * 2011-05-30 2014-05-21 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9129053B2 (en) * 2012-02-01 2015-09-08 Siemens Aktiengesellschaft Method and system for advanced measurements computation and therapy planning from medical data and images using a multi-physics fluid-solid heart model
JP2013162921A (ja) * 2012-02-13 2013-08-22 Tokyo Institute Of Technology 画像処理装置、画像処理方法、および画像処理プログラム
US20130253319A1 (en) * 2012-03-23 2013-09-26 Ultrasound Medical Devices, Inc. Method and system for acquiring and analyzing multiple image data loops

Also Published As

Publication number Publication date
KR101531183B1 (ko) 2015-06-25
US20150164468A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
KR101531183B1 (ko) 나비어-스토크스 방정식을 사용하는 심장 초음파 영상 처리 장치 및 방법
Langeland et al. RF-based two-dimensional cardiac strain estimation: a validation study in a tissue-mimicking phantom
Rivaz et al. Real-time regularized ultrasound elastography
Yiu et al. Vector projectile imaging: Time-resolved dynamic visualization of complex flow patterns
US8137275B2 (en) Tissue complex modulus and/or viscosity ultrasound imaging
US8824762B2 (en) Method and system for processing ultrasound data
US6482161B1 (en) Medical diagnostic ultrasound system and method for vessel structure analysis
JP5497821B2 (ja) 流体流速検出装置及びプログラム
Swillens et al. A simulation environment for validating ultrasonic blood flow and vessel wall imaging based on fluid‐structure interaction simulations: ultrasonic assessment of arterial distension and wall shear rate
Voorneveld et al. High frame rate ultrasound particle image velocimetry for estimating high velocity flow patterns in the left ventricle
Gomez et al. 4D blood flow reconstruction over the entire ventricle from wall motion and blood velocity derived from ultrasound data
Ma et al. Lagrangian displacement tracking using a polar grid between endocardial and epicardial contours for cardiac strain imaging
JP6523918B2 (ja) 超音波撮像装置
US20230134503A1 (en) Systems and methods for non-invasive pressure measurements
Chee et al. Time-resolved wall shear rate mapping using high-frame-rate ultrasound imaging
CN103340620B (zh) 一种管壁应力相位角的测量方法和系统
Holbek et al. In vivo 3-D vector velocity estimation with continuous data
KR101574104B1 (ko) 초음파 진단장치 및 방법
JP2022515087A (ja) 対象者から生理学的尺度を取得するための方法及びシステム
JP4921838B2 (ja) 超音波診断装置
KR101619802B1 (ko) 심장 좌심실의 3차원 영상 생성 방법 및 그 장치
EP4033986A1 (en) Methods and systems for modeling a cardiac system
Li et al. A global strain estimation algorithm for non-invasive vascular ultrasound elastography
Duan et al. Simulation of 3D ultrasound with a realistic electro-mechanical model of the heart
WO2014190541A1 (zh) 一种管壁应力相位角的测量方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180605

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190612

Year of fee payment: 5