KR101175476B1 - 스테레오 스캔에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법 - Google Patents

스테레오 스캔에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법 Download PDF

Info

Publication number
KR101175476B1
KR101175476B1 KR1020100095703A KR20100095703A KR101175476B1 KR 101175476 B1 KR101175476 B1 KR 101175476B1 KR 1020100095703 A KR1020100095703 A KR 1020100095703A KR 20100095703 A KR20100095703 A KR 20100095703A KR 101175476 B1 KR101175476 B1 KR 101175476B1
Authority
KR
South Korea
Prior art keywords
ultrasound
degree
frame
ultrasound data
interest
Prior art date
Application number
KR1020100095703A
Other languages
English (en)
Other versions
KR20120056934A (ko
Inventor
김찬모
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR1020100095703A priority Critical patent/KR101175476B1/ko
Publication of KR20120056934A publication Critical patent/KR20120056934A/ko
Application granted granted Critical
Publication of KR101175476B1 publication Critical patent/KR101175476B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4477—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device using several separate ultrasound transducers or probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

스테레오 스캔(stereo scan)에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법이 개시된다. 본 발명에 따른 초음파 시스템은, 초음파 신호의 송수신을 스테레오 방식으로 수행하는 스테레오 스캔을 관심객체를 포함하는 대상체에 수행하여, 복수의 제1 프레임에 대응하는 복수의 제1 초음파 데이터 및 복수의 제2 프레임에 대응하는 복수의 제2 초음파 데이터를 획득하도록 동작하는 초음파 데이터 획득부; 및 복수의 제1 초음파 데이터 및 복수의 제2 초음파 데이터를 이용하여 상기 제1 프레임과 상기 제2 프레임 간의 픽셀들의 불일치 정도를 산출하고, 산출된 불일치 정도에 기초하여 초음파 영상을 형성하도록 동작하는 프로세서를 포함한다.

Description

스테레오 스캔에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법{ULTRASOUND SYSTEM AND METHOD FOR PROVIDING ULTRASOUND IMAGE BASED ON STEREO SCAN}
본 발명은 초음파 시스템에 관한 것으로, 특히 스테레오 스캔에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법에 관한 것이다.
초음파 시스템은 무침습 및 비파괴 특성을 가지고 있어, 대상체 내부의 정보를 얻기 위한 의료 분야에서 널리 이용되고 있다. 대상체를 직접 절개하여 관찰하는 외과 수술의 필요 없이, 초음파 시스템은 대상체 내부의 고해상도 영상을 실시간으로 의사에게 제공할 수 있어 의료 분야에서 매우 중요하게 사용되고 있다.
초음파 시스템은 도플러 효과(Doppler effect)를 이용하여 움직이는 대상체의 속도를 컬러로 보이는 컬러 도플러 모드(color Doppler mode) 영상, 대상체를 압축(compression)시키기 전과 압축시킨 후 또는 대상체를 압축시키는 동안의 반응 차이를 영상으로 보이는 탄성 영상 등을 제공하고 있다.
종래에는 위상 시프트 자기상관(phase shift autocorrelation) 방식을 이용하여 컬러 도플러 모드 영상을 형성하고, 자기상관을 이용하여 탄성 영상을 형성하였다. 이러한 위상 시프트 자기상관 방식 및 자기상관을 이용하지 않고, 한 쌍의 카메라를 이용하여 영상을 획득하고, 한 쌍의 카메라로부터 입력되는 영상의 차이를 이용하여 관측 공간상의 거리 및 관측 물체의 3차원 형태를 감지하는 스테레오 비젼(stereo vision) 기술에 기초하여 초음파 신호를 스테레오 방식으로 송수신하는 스테레오 스캔(stereo scan)을 이용하여 초음파 영상(컬러 도플러 모드 영상, 탄성 영상 등)을 제공하는 초음파 시스템 및 방법이 요구되고 있다.
본 발명은 스테레오 스캔(stereo scan)에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법을 제공한다.
본 발명에 따른 초음파 시스템은, 초음파 신호의 송수신을 스테레오 방식으로 수행하는 스테레오 스캔(stereo scan)을 관심객체를 포함하는 대상체에 수행하여, 복수의 제1 프레임에 대응하는 복수의 제1 초음파 데이터 및 복수의 제2 프레임에 대응하는 복수의 제2 초음파 데이터를 획득하도록 동작하는 초음파 데이터 획득부; 및 상기 초음파 데이터 획득부에 연결되고, 상기 복수의 제1 초음파 데이터 및 상기 복수의 제2 초음파 데이터를 이용하여 상기 제1 프레임과 상기 제2 프레임 간의 픽셀들의 불일치 정도를 산출하고, 상기 산출된 불일치 정도에 기초하여 초음파 영상을 형성하도록 동작하는 프로세서를 포함한다.
또한, 본 발명에 따른 초음파 영상 제공 방법은, a) 초음파 신호의 송수신을 스테레오 방식으로 수행하는 스테레오 스캔을 관심객체를 포함하는 대상체에 수행하여, 복수의 제1 프레임에 대응하는 복수의 제1 초음파 데이터 및 복수의 제2 프레임에 대응하는 복수의 제2 초음파 데이터를 획득하는 단계; b) 상기 복수의 제1 초음파 데이터 및 상기 복수의 제2 초음파 데이터를 이용하여 상기 제1 프레임과 상기 제2 프레임 간의 픽셀들의 불일치 정도를 산출하는 단계; 및 c) 상기 산출된 불일치 정도에 기초하여 초음파 영상을 형성하는 단계를 포함한다.
또한, 본 발명에 따른 스테레오 스캔에 기초하여 초음파 영상을 제공하는 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체로서, 상기 방법은, a) 초음파 신호의 송수신을 스테레오 방식으로 수행하는 스테레오 스캔을 관심객체를 포함하는 대상체에 수행하여, 복수의 제1 프레임에 대응하는 복수의 제1 초음파 데이터 및 복수의 제2 프레임에 대응하는 복수의 제2 초음파 데이터를 획득하는 단계; b) 상기 복수의 제1 초음파 데이터 및 상기 복수의 제2 초음파 데이터를 이용하여 상기 제1 프레임과 상기 제2 프레임 간의 픽셀들의 불일치 정도를 산출하는 단계; 및 c) 상기 산출된 불일치 정도에 기초하여 초음파 영상을 형성하는 단계를 포함한다.
본 발명은 스테레오 스캔을 이용한 불일치 정도에 기초하여 위상 시프트 자기상관 방식보다 용이하게 혈류 등의 움직임 성분을 구할 수 있을 뿐만 아니라, 보다 높은 프레임 레이트의 컬러 도플러 모드 영상을 제공할 수 있다.
또한, 본 발명은 스테레오 스캔을 이용한 불일치 정도에 기초하여 탄성 영상을 제공할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 초음파 시스템의 구성을 보이는 블록도.
도 2는 본 발명의 제1 실시예에 따른 초음파 데이터 획득부의 구성을 보이는 블록도.
도 3은 본 발명의 제1 실시예에 따른 초음파 프로브의 일례를 보이는 예시도.
도 4는 본 발명의 제1 실시예에 따른 초음파 프로브의 다른 예를 보이는 예시도.
도 5는 본 발명의 제1 실시예에 따라 초음파 영상을 형성하는 절차를 보이는 플로우챠트.
도 6은 본 발명의 제1 실시예에 따라 불일치 정도를 산출하는 예를 보이는 예시도.
도 7은 본 발명의 제1 실시예에 따라 변화량을 산출하는 예를 보이는 예시도.
도 8은 본 발명의 제2 실시예에 따른 초음파 시스템의 구성을 보이는 블록도.
도 9는 본 발명의 제2 실시예에 따른 초음파 데이터 획득부의 구성을 보이는 블록도.
도 10은 본 발명의 제2 실시예에 따른 초음파 프로브의 일례를 보이는 예시도.
도 11은 본 발명의 제2 실시예에 따른 초음파 프로브의 다른 예를 보이는 예시도.
도 12는 본 발명의 제2 실시예에 따라 초음파 영상을 형성하는 절차를 보이는 플로우챠트.
도 13은 본 발명의 제2 실시예에 따라 불일치 정도를 산출하는 예를 보이는 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
제1 실시예
도 1은 본 발명의 제1 실시예에 따른 초음파 시스템의 구성을 보이는 블록도이다. 도 1을 참조하면, 초음파 시스템(100)은 사용자 입력부(110), 초음파 데이터 획득부(120), 프로세서(130), 저장부(140) 및 디스플레이부(150)를 포함한다.
사용자 입력부(110)는 사용자의 입력정보를 수신한다. 본 실시예에서, 입력정보는 관심영역(region of interest)의 크기 및 위치 정보를 포함한다. 관심영역은 컬러 도플러 모드 영상을 얻기 위한 컬러박스(color box)를 포함한다. 그러나, 관심영역은 이에 한정되지 않는다. 사용자 입력부(110)는 컨트롤 패널(control panel), 마우스(mouse), 키보드(keyboard) 등을 포함한다.
초음파 데이터 획득부(120)는 초음파 신호를 스테레오 방식으로 송신 및 수신하는 스테레오 스캔(stereo scan)을 관심객체(예를 들어, 혈류)를 포함하는 대상체에 수행하여, 대상체에 대한 복수의 초음파 데이터를 획득한다.
도 2는 본 발명의 제1 실시예에 따른 초음파 데이터 획득부(120)의 구성을 보이는 블록도이다. 도 2를 참조하면, 초음파 데이터 획득부(120)는 초음파 프로브(210), 송신신호 형성부(220), 빔 포머(230) 및 초음파 데이터 형성부(240)를 포함한다.
초음파 프로브(210)는 전기적 신호와 초음파 신호를 상호 변환하도록 동작하는 복수의 변환소자(transducer element)를 포함한다. 본 실시예에서, 초음파 프로브(210)는 초음파 신호를 스테레오 방식으로 송신 및 수신한다.
일례로서, 초음파 프로브(210)는 도 3에 도시된 바와 같이 복수의 변환소자(T1 내지 Ti)를 포함하는 제1 변환소자 그룹(TG1) 및 복수의 변환소자(Ti +1 내지 Tn)를 포함하는 제2 변환소자 그룹(TG2)을 포함한다. 제1 변환소자 그룹(TG1)과 제2 변환소자 그룹(TG2) 간에는 소정의 간극(gap)을 갖는다.
전술한 예에서는 초음파 프로브(210)가 제1 변환소자 그룹(TG1) 및 제2 변환소자 그룹(TG2)을 포함하는 것으로 설명하였지만, 이에 한정되지 않고, 초음파 프로브(210)가 복수의 변환소자 그룹을 포함할 수도 있다.
다른 예로서, 초음파 프로브(210)는 도 4에 도시된 바와 같이 복수의 변환소자(T1 내지 Tn)를 포함한다. 변환소자(T1 내지 Ti)는 제1 변환소자 그룹(TG1)으로서 설정되고, 변환소자(Ti +1 내지 Tn)는 제2 변환소자 그룹(TG2)으로서 설정된다. 제1 변환소자 그룹(TG1)과 제2 변환소자 그룹(TG2) 간에는 소정의 간극이 존재하지 않는다. 도 4에 도시된 초음파 프로브(210)는 공지의 초음파 프로브이다.
전술한 예에서는 복수의 변환소자(T1 내지 Tn)가 제1 변환소자 그룹(TG1) 및 제2 변환소자 그룹(TG2)으로 설정되는 것으로 설명하였지만, 이에 한정되지 않고, 복수의 변환소자(T1 내지 Tn)가 복수의 변환소자 그룹으로 설정될 수도 있다.
또한, 초음파 프로브(210)는 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 수신신호를 형성한다. 수신신호는 아날로그 신호이다.
본 실시예에서, 초음파 프로브(210)는 도 3 또는 도 4에 도시된 바와 같이 복수의 변환소자(T1 내지 Tn)를 이용하여, 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 제1 프레임(UI1)에 해당하는 제1 수신신호를 형성한다. 제1 프레임(UI1)은 B 모드(brightness mode) 영상을 포함한다. 그러나, 제1 프레임(UI1)은 이에 한정되지 않는다. 또한, 초음파 프로브(210)는 제1 변환소자 그룹(TG1)에 해당하는 변환소자(T1 내지 Ti)를 이용하여, 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 제2 프레임(점선 표시)(UI2)에 해당하는 제2 수신신호를 형성한다. 제2 프레임(UI2)은 B 모드 영상이다. 그러나, 제2 프레임(UI2)은 이에 한정되지 않는다. 또한, 초음파 프로브(210)는 제2 변환소자 그룹(TG2)에 해당하는 변환소자(Ti +1 내지 Tn)를 이용하여, 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 제3 프레임(일점쇄선 표시)(UI3)에 해당하는 제3 수신신호를 형성한다. 제2 수신신호 및 제3 수신신호를 얻기 위한 초음파 신호의 송수신은 제1 변환소자 그룹(TG1)과 제2 변환소자 그룹(TG2)에서 동시에 또는 상이한 시간에 수행될 수 있다.
송신신호 형성부(220)는 변환소자 및 집속점 간의 거리를 고려하여 복수의 변환소자(T1 내지 Tn) 각각에 인가할 송신신호를 형성한다. 본 실시예에서, 송신신호 형성부(220)는 도 3 또는 도 4에 도시된 바와 같이 변환소자(T1 내지 Tn)와 집속점 간의 거리를 고려하여 제1 프레임(UI1)을 얻기 위한 제1 송신신호를 형성한다. 따라서, 초음파 프로브(210)는 송신신호 형성부(220)로부터 제1 송신신호가 제공되면, 제1 송신신호를 초음파 신호로 변환하여 대상체에 송신한다. 또한, 송신신호 형성부(220)는 제1 변환소자 그룹(TG1)의 변환소자(T1 내지 Ti)와 집속점 간의 거리를 고려하여, 관심영역(R)에 대응하는 복수의 제2 프레임(UI2)을 얻기 위한 복수의 제2 송신신호를 형성한다. 따라서, 초음파 프로브(210)는 송신신호 형성부(220)로부터 제2 송신신호가 제공되면, 제2 송신신호를 초음파 신호로 변환하여 대상체에 송신한다. 또한, 송신신호 형성부(220)는 제2 변환소자 그룹(TG2)의 변환소자(Ti +1 내지 Tn)와 집속점 간의 거리를 고려하여, 관심영역(R)에 대응하는 복수의 제3 프레임(UI3)을 얻기 위한 복수의 제3 송신신호를 형성한다. 따라서, 초음파 프로브(210)는 송신신호 형성부(220)로부터 제3 송신신호가 제공되면, 제3 송신신호를 초음파 신호로 변환하여 대상체에 송신한다.
빔 포머(230)는 초음파 프로브(210)로부터 제공되는 수신신호를 아날로그 디지털 변환하여 디지털 신호를 형성한다. 또한, 빔 포머(230)는 변환소자와 집속점 간의 거리를 고려하여 디지털 신호를 수신집속시켜 수신집속신호를 형성한다.
본 실시예에서, 빔 포머(230)는 초음파 프로브(210)로부터 제1 수신신호가 제공되면, 제1 수신신호를 아날로그 디지털 변환하여 제1 디지털 신호를 형성한다. 빔 포머(230)는 변환소자(T1 내지 Tn)와 집속점 간의 거리를 고려하여 제1 디지털 신호를 수신집속시켜 제1 수신집속신호를 형성한다. 또한, 빔 포머(230)는 초음파 프로브(210)로부터 제2 수신신호가 제공되면, 제2 수신신호를 아날로그 디지털 변환하여 제2 디지털 신호를 형성한다. 빔 포머(230)는 제1 변환소자 그룹(TG1)의 변환소자(T1 내지 Ti)와 집속점 간의 거리를 고려하여 제2 디지털 신호를 수신집속시켜 제2 수신집속신호를 형성한다. 또한, 빔 포머(230)는 초음파 프로브(210)로부터 제3 수신신호가 제공되면, 제3 수신신호를 아날로그 디지털 변환하여 제3 디지털 신호를 형성한다. 빔 포머(230)는 제2 변환소자 그룹(TG2)의 변환소자(Ti +1 내지 Tn)와 집속점 간의 거리를 고려하여 제3 디지털 신호를 수신집속시켜 제3 수신집속신호를 형성한다.
초음파 데이터 형성부(240)는 빔 포머(230)로부터 제공되는 수신집속신호를 이용하여 초음파 데이터를 형성한다. 초음파 데이터는 RF(radio frequency) 데이터 또는 IQ(in-phase/quadrature) 데이터를 포함한다. 또한, 초음파 데이터 형성부(240)는 초음파 데이터를 형성하는데 필요한 다양한 신호 처리(예를 들어, 이득(gain) 조절 등)를 수신집속신호에 수행할 수도 있다.
본 실시예에서, 초음파 데이터 형성부(240)는 빔 포머(230)로부터 제공되는 제1 수신집속신호를 이용하여 제1 프레임(UI1)에 대응하는 제1 초음파 데이터를 형성한다. 또한, 초음파 데이터 형성부(240)는 빔 포머(230)로부터 제공되는 복수의 제2 수신집속신호를 이용하여 복수의 제2 프레임(UI2)에 대응하는 복수의 제2 초음파 데이터를 형성한다. 또한, 초음파 데이터 형성부(240)는 빔 포머(230)로부터 제공되는 복수의 제3 수신집속신호를 이용하여 복수의 제3 프레임(UI3)에 대응하는 복수의 제3 초음파 데이터를 형성한다.
다시 도 1을 참조하면, 프로세서(130)는 사용자 입력부(110) 및 초음파 데이터 획득부(120)에 연결된다. 프로세서(130)는 CPU(central processing unit), 마이크로프로세서(microprocessor), GPU(graphic processing unit) 등을 포함한다. 그러나, 프로세서(130)는 이에 한정되지 않는다.
도 5는 본 발명의 제1 실시예에 따라 초음파 영상을 형성하는 절차를 보이는 플로우챠트이다. 도 5를 참조하면, 프로세서(130)는 초음파 데이터 획득부(120)로부터 제공되는 제1 초음파 데이터를 이용하여 제1 프레임(UI1)을 형성한다(S502). 제1 프레임(UI1)은 디스플레이부(150)에 디스플레이된다. 따라서, 사용자는 사용자 입력부(110)를 이용하여 제1 프레임(UI1) 상에 관심영역(R)을 설정할 수 있다.
프로세서(130)는 초음파 데이터 획득부(120)로부터 제공되는 복수의 제2 초음파 데이터 및 복수의 제3 초음파 데이터를 이용하여 제2 프레임(UI2)과 제3 프레임(UI3)의 픽셀들 간의 불일치 정도를 산출한다(S504). 불일치 정도는 SSD(sum of squared distance) 연산을 이용하여 산출될 수 있다.
일례로서, 프로세서(130)는 도 6에 도시된 바와 같이 제2 프레임(UI21)에 대응하는 제2 초음파 데이터와 제3 프레임(UI31)에 대응하는 제3 초음파 데이터에 SSD 연산을 수행하여 제4 프레임(D1)의 픽셀들에 대응하는 불일치 정도를 산출한다. 프로세서(130)는 제2 프레임(UI22)에 대응하는 제2 초음파 데이터와 제3 프레임(UI32)에 대응하는 제3 초음파 데이터에 SSD 연산을 수행하여 제4 프레임(D2)의 픽셀들에 대응하는 불일치 정도를 산출한다. 프로세서(130)는 제2 프레임(UI23, UI24, UI25, …)과 제3 프레임(UI33, UI34, UI35, …)에 대해서도 전술한 바와 같이 불일치 정도를 산출한다.
프로세서(130)는 산출된 불일치 정도에 기초하여 서로 인접하는 제4 프레임 간의 픽셀들의 변화량을 산출한다(S506). 본 실시예에서 변화량은 대상체내의 관심객체의 움직임 정도를 나타낸다. 일례로서, 프로세서(130)는 도 7에 도시된 바와 같이 제4 프레임(D1)의 픽셀들의 불일치 정도와 제4 프레임(D2)의 픽셀들의 불일치 정도에 기초하여, 제4 프레임(D1 및 D2) 간의 픽셀들의 변화량(C1)을 산출한다. 또한, 프로세서(130)는 제4 프레임(D2)의 픽셀들의 불일치 정도와 제4 프레임(D3)의 픽셀들의 불일치 정도에 기초하여, 제4 프레임(D2 및 D3) 간의 픽셀들의 변화량(C2)을 산출한다. 프로세서(130)는 제4 프레임(D3, D4, D5, …)에 대해서도 전술한 바와 같 수행하여 변화량(C3, C4, …)을 산출한다.
프로세서(130)는 산출된 변화량에 기초하여 관심영역(R)에 대응하는 초음파 영상(즉, 컬러 도플러 모드 영상)을 형성한다(S508). 보다 상세하게, 프로세서(130)는 산출된 변화량(C1, C2, C3, C4, …)을 비교하여, 변화량이 증가하는 것으로 판단되면, 관심객체의 이동 방향을 관심객체가 초음프 프로브(210)로부터 다가오는 방향으로 검출한다. 한편, 프로세서(130)는 변화량이 감소하는 것으로 판단되면, 관심객체의 이동 방향을 관심객체가 초음파 프로브(210)로부터 멀어지는 방향으로 검출한다. 또한, 프로세서(130)는 산출된 변화량(C1, C2, C3, C4, …) 간의 차이를 관심객체의 속도로서 산출한다. 즉, 프로세서(130)는 변화량(C1) 및 변화량(C2) 간의 차이, 변화량(C2) 및 변화량(C3) 간의 차이, 변화량(C3) 및 변화량(C4) 간의 차이 등을 관심객체의 속도로서 산출한다. 프로세서(130)는 움직임 방향 및 속도에 기초하여 컬러 도플러 모드 영상을 형성한다. 움직임 방향 및 속도에 기초하여 컬러 도플러 모드 영상을 형성하는 방법은 공지된 다양한 방법을 이용할 수 있으므로, 본 실시예에서 상세하게 설명하지 않는다.
다시 도 1을 참조하면, 저장부(140)는 초음파 데이터 획득부(120)에서 획득된 제1 초음파 데이터, 복수의 제2 초음파 데이터 및 복수의 제3 초음파 데이터를 저장한다. 또한, 저장부(140)는 프로세서(130)에서 산출된 불일치 정도 및 변화량을 저장할 수도 있다.
디스플레이부(150)는 프로세서(130)에서 형성된 컬러 도플러 모드 영상을 디스플레이한다. 또한, 디스플레이부(150)는 프로세서(130)에서 형성된 제1 내지 제4 프레임을 디스플레이할 수도 있다.
제2 실시예
도 8은 본 발명의 제2 실시예에 따른 초음파 시스템의 구성을 보이는 블록도이다. 도 8을 참조하면, 초음파 시스템(800)은 초음파 데이터 획득부(810), 프로세서(820), 저장부(830) 및 디스플레이부(840)를 포함한다.
초음파 데이터 획득부(810)는 대상체를 압축(compression)시키는 동안에 관심객체(예를 들어, 병변)를 포함하는 대상체에 스테레오 스캔을 수행하여 복수의 초음파 데이터를 획득한다.
도 9는 본 발명의 제2 실시예에 따른 초음파 데이터 획득부(810)의 구성을 보이는 블록도이다. 도 9를 참조하면, 초음파 프로브(910), 송신신호 형성부(920), 빔 포머(930) 및 초음파 데이터 형성부(940)를 포함한다.
초음파 프로브(910)는 사용자로부터 제공되는 힘을 대상체에 가하여 대상체를 압축시킨다. 초음파 프로브(910)는 복수의 변환소자를 포함한다. 본 실시예에서, 초음파 프로브(910)는 초음파 신호를 스테레오 방식으로 송신 및 수신한다.
일례로서, 초음파 프로브(910)는 도 10에 도시된 바와 같이 복수의 변환소자(T1 내지 Ti)를 포함하는 제1 변환소자 그룹(TG1) 및 복수의 변환소자(Ti +1 내지 Tn)를 포함하는 제2 변환소자 그룹(TG2)을 포함한다. 제1 변환소자 그룹(TG1)과 제2 변환소자 그룹(TG2) 간에는 소정의 간극(gap)을 갖는다.
전술한 예에서는 초음파 프로브(910)가 제1 변환소자 그룹(TG1) 및 제2 변환소자 그룹(TG2)을 포함하는 것으로 설명하였지만, 이에 한정되지 않고, 초음파 프로브(910)가 복수의 변환소자 그룹을 포함할 수도 있다.
다른 예로서, 초음파 프로브(910)는 도 11에 도시된 바와 같이 복수의 변환소자(T1 내지 Tn)를 포함한다. 변환소자(T1 내지 Ti)는 제1 변환소자 그룹(TG1)으로서 설정되고, 변환소자(Ti +1 내지 Tn)는 제2 변환소자 그룹(TG2)으로서 설정된다. 제1 변환소자 그룹(TG1)과 제2 변환소자 그룹(TG2) 간에는 소정의 간극이 존재하지 않는다. 도 11에 도시된 초음파 프로브(910)는 공지의 초음파 프로브이다.
전술한 예에서는 복수의 변환소자(T1 내지 Tn)가 제1 변환소자 그룹(TG1) 및 제2 변환소자 그룹(TG2)으로 설정되는 것으로 설명하였지만, 이에 한정되지 않고, 복수의 변환소자(T1 내지 Tn)가 복수의 변환소자 그룹으로 설정될 수도 있다.
또한, 초음파 프로브(910)는 대상체를 압축시키는 동안에 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 수신신호를 형성한다. 수신신호는 아날로그 신호이다.
본 실시예에서, 초음파 프로브(910)는 대상체를 압축시키는 동안에, 도 10 또는 도 11에 도시된 바와 같이 제1 변환소자 그룹(TG1)에 해당하는 변환소자(T1 내지 Ti)를 이용하여, 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 제1 프레임(점선 표시)(UI1)에 해당하는 제1 수신신호를 형성한다. 제1 프레임(UI1)은 B 모드 영상이다. 그러나, 제1 프레임(UI1)은 이에 한정되지 않는다. 또한, 초음파 프로브(910)는 대상체를 압축시키는 동안에, 제2 변환소자 그룹(TG2)에 해당하는 변환소자(Ti +1 내지 Tn)를 이용하여, 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 제2 프레임(일점쇄선 표시)(UI2)에 해당하는 제2 수신신호를 형성한다. 제1 수신신호 및 제2 수신신호를 얻기 위한 초음파 신호의 송수신은 제1 변환소자 그룹(TG1)과 제2 변환소자 그룹(TG2)에서 동시에 또는 상이한 시간에 수행될 수 있다.
송신신호 형성부(920)는 변환소자 및 집속점 간의 거리를 고려하여 복수의 변환소자(T1 내지 Tn) 각각에 인가할 송신신호를 형성한다. 본 실시예에서, 송신신호 형성부(920)는 제1 변환소자 그룹(TG1)의 변환소자(T1 내지 Ti)와 집속점 간의 거리를 고려하여, 복수의 제1 프레임(UI1)을 얻기 위한 복수의 제1 송신신호를 형성한다. 따라서, 초음파 프로브(910)는 송신신호 형성부(920)로부터 제1 송신신호가 제공되면, 제1 송신신호를 초음파 신호로 변환하여 대상체에 송신한다. 또한, 송신신호 형성부(920)는 제2 변환소자 그룹(TG2)의 변환소자(Ti +1 내지 Tn)와 집속점 간의 거리를 고려하여, 복수의 제2 프레임(UI2)을 얻기 위한 복수의 제2 송신신호를 형성한다. 따라서, 초음파 프로브(910)는 송신신호 형성부(920)로부터 제2 송신신호가 제공되면, 제2 송신신호를 초음파 신호로 변환하여 대상체에 송신한다.
빔 포머(930)는 초음파 프로브(910)로부터 제공되는 수신신호를 아날로그 디지털 변환하여 디지털 신호를 형성한다. 또한, 빔 포머(930)는 변환소자와 집속점 간의 거리를 고려하여 디지털 신호를 수신집속시켜 수신집속신호를 형성한다.
본 실시예에서, 빔 포머(930)는 초음파 프로브(910)로부터 제1 수신신호가 제공되면, 제1 수신신호를 아날로그 디지털 변환하여 제1 디지털 신호를 형성한다. 빔 포머(930)는 제1 변환소자 그룹(TG1)의 변환소자(T1 내지 Ti)와 집속점 간의 거리를 고려하여 제1 디지털 신호를 수신집속시켜 제1 수신집속신호를 형성한다. 또한, 빔 포머(930)는 초음파 프로브(910)로부터 제2 수신신호가 제공되면, 제2 수신신호를 아날로그 디지털 변환하여 제2 디지털 신호를 형성한다. 빔 포머(930)는 제2 변환소자 그룹(TG2)의 변환소자(Ti +1 내지 Tn)와 집속점 간의 거리를 고려하여 제2 디지털 신호를 수신집속시켜 제2 수신집속신호를 형성한다.
초음파 데이터 형성부(940)는 빔 포머(930)로부터 제공되는 수신집속신호를 이용하여 초음파 데이터를 형성한다. 초음파 데이터는 RF(radio frequency) 데이터 또는 IQ(in-phase/quadrature) 데이터를 포함한다. 또한, 초음파 데이터 형성부(940)는 초음파 데이터를 형성하는데 필요한 다양한 신호 처리(예를 들어, 이득(gain) 조절 등)를 수신집속신호에 수행할 수도 있다.
본 실시예에서, 초음파 데이터 형성부(940)는 빔 포머(930)로부터 제공되는 제1 수신집속신호를 이용하여 제1 프레임(UI1)에 대응하는 제1 초음파 데이터를 형성한다. 또한, 초음파 데이터 형성부(240)는 빔 포머(230)로부터 제공되는 복수의 제2 수신집속신호를 이용하여 복수의 제2 프레임(UI2)에 대응하는 복수의 제2 초음파 데이터를 형성한다.
다시 도 8을 참조하면, 프로세서(820)는 초음파 데이터 획득부(810)에 연결된다. 프로세서(820)는 CPU(central processing unit), 마이크로프로세서(microprocessor), GPU(graphic processing unit) 등을 포함한다. 그러나, 프로세서(820)는 이에 한정되지 않는다.
도 12는 본 발명의 제2 실시예에 따라 초음파 영상을 형성하는 절차를 보이는 플로우챠트이다. 도 12를 참조하면, 프로세서(820)는 초음파 데이터 획득부(810)로부터 제공되는 복수의 제1 초음파 데이터 및 복수의 제2 초음파 데이터를 이용하여 제1 프레임(UI1)과 제2 프레임(UI2)의 픽셀들 간의 불일치 정도를 산출한다(S1202). 불일치 정도는 SSD(sum of squared distance) 연산을 이용하여 산출될 수 있다.
일례로서, 프로세서(820)는 도 13에 도시된 바와 같이 제1 프레임(UI11)에 대응하는 제1 초음파 데이터와 제2 프레임(UI21)에 대응하는 제2 초음파 데이터에 SSD 연산을 수행하여 제3 프레임(D1)의 픽셀들에 대응하는 불일치 정도를 산출한다. 프로세서(820)는 제1 프레임(UI12)에 대응하는 제1 초음파 데이터와 제2 프레임(UI22)에 대응하는 제2 초음파 데이터에 SSD 연산을 수행하여 제3 프레임(D2)의 픽셀들에 대응하는 불일치 정도를 산출한다. 프로세서(820)는 제1 프레임(UI13, UI14, UI15, …)과 제2 프레임(UI23, UI24, UI25, …)에 대해서도 전술한 바와 같이 불일치 정도를 산출한다.
프로세서(820)는 산출된 불일치 정도에 기초하여 서로 인접하는 제3 프레임 간의 픽셀들의 변화량을 산출한다(S1204). 본 실시예에서 변화량은 대상체에 가해지는 압축에 의해 관심객체의 변형 정도를 나타낸다. 일례로서, 프로세서(820)는 제1 실시예에서 설명한 바와 같이 제3 프레임(D1)의 픽셀들의 불일치 정도와 제3 프레임(D2)의 픽셀들의 불일치 정도에 기초하여, 제3 프레임(D1 및 D2) 간의 픽셀들의 변화량(C1)을 산출한다. 또한, 프로세서(820)는 제3 프레임(D2)의 픽셀들의 불일치 정도와 제3 프레임(D3)의 픽셀들의 불일치 정도에 기초하여, 제3 프레임(D2 및 D3) 간의 픽셀들의 변화량(C2)을 산출한다. 프로세서(820)는 제3 프레임(D3, D4, D5, …)에 대해서도 전술한 바와 같 수행하여 변화량(C3, C4, …)을 산출한다.
프로세서(820)는 산출된 변화량에 기초하여 탄성 계수를 설정한다(S1206). 탄성 계수는 스트레인(strain)을 포함한다. 그러나, 탄성 계수는 이에 한정되지 않는다. 일례로서, 프로세서(820)는, 탄성 계수가 큰 조직은 불일치 정도의 변화량이 크고, 탄성 계수가 작은 조직은 불일치 정도의 변화량이 작은 것을 이용하여, 산출된 변화량을 탄성 계수로서 설정한다.
프로세서(820)는 산출된 탄성 계수에 기초하여 초음파 영상(즉, 탄성 영상)을 형성한다(S1208).
다시 도 1을 참조하면, 저장부(830)는 초음파 데이터 획득부(810)에서 획득된 복수의 제1 초음파 데이터 및 복수의 제2 초음파 데이터를 저장한다. 또한, 저장부(830)는 프로세서(820)에서 산출된 불일치 정도 및 변화량을 저장할 수도 있다.
디스플레이부(840)는 프로세서(820)에서 형성된 컬러 도플러 모드 영상을 디스플레이한다. 또한, 디스플레이부(840)는 프로세서(820)에서 형성된 제1 내지 제3 프레임을 디스플레이할 수도 있다.
본 발명이 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부된 특허청구범위의 사항 및 범주를 벗어나지 않고 여러 가지 변경 및 변형이 이루어질 수 있음을 알 수 있을 것이다.
100, 800: 초음파 시스템 110: 사용자 입력부
120, 810: 초음파 데이터 획득부 130, 820: 프로세서
140, 830: 저장부 150, 840: 디스플레이부
210, 910: 초음파 프로브 220, 920: 송신신호 형성부
230, 930: 빔 포머 240, 940: 초음파 데이터 형성부
T1 ~ Tn: 변환소자 TG1, TG2: 변환소자 그룹

Claims (12)

  1. 초음파 시스템으로서,
    초음파 신호의 송수신을 스테레오 방식으로 수행하는 스테레오 스캔(stereo scan)을 관심객체를 포함하는 대상체에 수행하여, 복수의 제1 프레임에 대응하는 복수의 제1 초음파 데이터 및 복수의 제2 프레임에 대응하는 복수의 제2 초음파 데이터를 획득하도록 동작하는 초음파 데이터 획득부; 및
    상기 초음파 데이터 획득부에 연결되고, 상기 복수의 제1 초음파 데이터 및 상기 복수의 제2 초음파 데이터를 이용하여 상기 제1 프레임과 상기 제2 프레임 간의 픽셀들의 불일치 정도를 산출하고, 상기 산출된 불일치 정도에 기초하여 초음파 영상을 형성하도록 동작하는 프로세서
    를 포함하는 초음파 시스템.
  2. 제1항에 있어서, 상기 초음파 데이터 획득부는,
    복수의 변환소자를 포함하는 제1 변환소자 그룹 및 복수의 변환소자를 포함하는 제2 변환소자 그룹을 포함하고, 상기 제1 변환소자 그룹 및 상기 제2 변환소자 그룹 간에 간극을 갖는 초음파 프로브
    를 포함하는 초음파 시스템.
  3. 제1항에 있어서, 상기 초음파 영상은 컬러 도플러 모드 영상을 포함하는 초음파 시스템.
  4. 제2항에 있어서, 상기 프로세서는,
    상기 불일치 정도에 기초하여 상기 관심객체의 움직임 정도를 나타내는 복수의 변화량을 산출하고,
    상기 복수의 변화량을 비교하여 상기 관심객체의 이동 방향을 검출하고,
    상기 복수의 변화량을 비교하여 상기 관심객체의 속도를 산출하고,
    상기 이동 방향 및 상기 속도에 기초하여 컬러 도플러 모드 영상을 형성하도록 동작하는 초음파 시스템.
  5. 제1항에 있어서, 상기 초음파 영상은 탄성 영상을 포함하는 초음파 시스템.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 불일치 정도에 기초하여 상기 관심객체의 변형 정도를 나타내는 복수의 변화량을 산출하고,
    상기 복수의 변화량에 기초하여 탄성 계수를 설정하고,
    상기 탄성 계수에 기초하여 상기 탄성 영상을 형성하도록 동작하는 초음파 시스템.
  7. 초음파 영상 제공 방법으로서,
    a) 초음파 신호의 송수신을 스테레오 방식으로 수행하는 스테레오 스캔을 관심객체를 포함하는 대상체에 수행하여, 복수의 제1 프레임에 대응하는 복수의 제1 초음파 데이터 및 복수의 제2 프레임에 대응하는 복수의 제2 초음파 데이터를 획득하는 단계;
    b) 상기 복수의 제1 초음파 데이터 및 상기 복수의 제2 초음파 데이터를 이용하여 상기 제1 프레임과 상기 제2 프레임 간의 픽셀들의 불일치 정도를 산출하는 단계; 및
    c) 상기 산출된 불일치 정도에 기초하여 초음파 영상을 형성하는 단계
    를 포함하는 초음파 영상 제공 방법.
  8. 제7항에 있어서, 상기 초음파 영상은 컬러 도플러 모드 영상을 포함하는 초음파 영상 제공 방법.
  9. 제8항에 있어서, 상기 단계 c)는,
    상기 불일치 정도에 기초하여 상기 관심객체의 움직임 정도를 나타내는 복수의 변화량을 산출하는 단계;
    상기 복수의 변화량을 비교하여 상기 관심객체의 이동 방향을 검출하는 단계;
    상기 복수의 변화량을 비교하여 상기 관심객체의 속도를 산출하는 단계; 및
    상기 이동 방향 및 상기 속도에 기초하여 상기 컬러 도플러 모드 영상을 형성하는 단계
    를 포함하는 초음파 영상 제공 방법.
  10. 제8항에 있어서, 상기 초음파 영상은 탄성 영상을 포함하는 초음파 영상 제공 방법.
  11. 제10항에 있어서, 상기 단계 c)는,
    상기 불일치 정도에 기초하여 상기 관심객체의 변형 정도를 나타내는 복수의 변화량을 산출하는 단계;
    상기 복수의 변화량에 기초하여 탄성 계수를 설정하는 단계; 및
    상기 탄성 계수에 기초하여 상기 탄성 영상을 형성하는 단계
    를 포함하는 초음파 영상 제공 방법.
  12. 스테레오 스캔에 기초하여 초음파 영상을 제공하는 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체로서, 상기 방법은,
    a) 초음파 신호의 송수신을 스테레오 방식으로 수행하는 스테레오 스캔을 관심객체를 포함하는 대상체에 수행하여, 복수의 제1 프레임에 대응하는 복수의 제1 초음파 데이터 및 복수의 제2 프레임에 대응하는 복수의 제2 초음파 데이터를 획득하는 단계;
    b) 상기 복수의 제1 초음파 데이터 및 상기 복수의 제2 초음파 데이터를 이용하여 상기 제1 프레임과 상기 제2 프레임 간의 픽셀들의 불일치 정도를 산출하는 단계; 및
    c) 상기 산출된 불일치 정도에 기초하여 초음파 영상을 형성하는 단계
    를 포함하는 컴퓨터 판독가능 기록매체.
KR1020100095703A 2010-10-01 2010-10-01 스테레오 스캔에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법 KR101175476B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100095703A KR101175476B1 (ko) 2010-10-01 2010-10-01 스테레오 스캔에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100095703A KR101175476B1 (ko) 2010-10-01 2010-10-01 스테레오 스캔에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120056934A KR20120056934A (ko) 2012-06-05
KR101175476B1 true KR101175476B1 (ko) 2012-08-20

Family

ID=46608903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100095703A KR101175476B1 (ko) 2010-10-01 2010-10-01 스테레오 스캔에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101175476B1 (ko)

Also Published As

Publication number Publication date
KR20120056934A (ko) 2012-06-05

Similar Documents

Publication Publication Date Title
KR101175398B1 (ko) 합성영상을 제공하는 초음파 시스템 및 방법
JP5770455B2 (ja) 超音波映像処理を行う超音波システムおよび方法
US8475382B2 (en) Ultrasound diagnostic apparatus and method for tracing movement of tissue
CN106963419B (zh) 解析装置
KR101188593B1 (ko) 복수의 3차원 초음파 영상을 제공하는 초음파 시스템 및 방법
KR101313220B1 (ko) 특성 곡선 정보에 기초하여 컬러 도플러 모드 영상을 제공하는 초음파 시스템 및 방법
US11039777B2 (en) Ultrasonic diagnostic apparatus and control method
KR101348770B1 (ko) 도플러 스펙트럼 영상의 합성 영상을 제공하는 초음파 시스템 및 방법
JP5415669B2 (ja) 超音波診断装置
JP5642997B2 (ja) 複数のスライス映像を提供する超音波システムおよび方法
JP2011031023A (ja) サジタルビューを設定する超音波システムおよび方法
KR101120851B1 (ko) 측 방향 변위 보상 처리에 기초하여 탄성 영상을 제공하는 초음파 시스템 및 방법
KR101390186B1 (ko) 시간에 따른 혈류 변화를 나타내는 부가 정보를 제공하는 초음파 시스템 및 방법
KR20120046539A (ko) 바디 마크를 제공하는 초음파 시스템 및 방법
JP2010046484A (ja) 弾性映像を形成する超音波システム及び弾性映像形成方法
JP2008000588A (ja) 超音波診断装置
JP5826527B2 (ja) 弾性映像を提供する超音波システムおよび方法
KR101014552B1 (ko) 초음파 시스템 및 3차원 초음파 영상 형성 방법
KR20130075486A (ko) 송신 지연을 이용하여 벡터 정보를 검출하는 초음파 시스템 및 방법
KR101107392B1 (ko) 가이드 정보를 제공하는 초음파 시스템 및 방법
JP5656389B2 (ja) 弾性映像に適応的にパーシスタンス処理を施す超音波システム
KR101175476B1 (ko) 스테레오 스캔에 기초하여 초음파 영상을 제공하는 초음파 시스템 및 방법
KR101117879B1 (ko) 컬러 재구성 영상을 제공하는 초음파 시스템 및 방법
KR20120045696A (ko) Ｐｗ 도플러 영상과 함께 컬러 ｍ 모드 영상을 제공하는 초음파 시스템 및 방법
KR101511502B1 (ko) 송신 지연을 이용하여 벡터 정보를 검출하는 초음파 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160811

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 8