KR100330855B1 - 초단수신신호의 저장과 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치 - Google Patents

초단수신신호의 저장과 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치 Download PDF

Info

Publication number
KR100330855B1
KR100330855B1 KR1019990004474A KR19990004474A KR100330855B1 KR 100330855 B1 KR100330855 B1 KR 100330855B1 KR 1019990004474 A KR1019990004474 A KR 1019990004474A KR 19990004474 A KR19990004474 A KR 19990004474A KR 100330855 B1 KR100330855 B1 KR 100330855B1
Authority
KR
South Korea
Prior art keywords
data
image
receiving
focusing
signal
Prior art date
Application number
KR1019990004474A
Other languages
English (en)
Other versions
KR20000055715A (ko
Inventor
이민화
송태경
Original Assignee
이민화
주식회사 메디슨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이민화, 주식회사 메디슨 filed Critical 이민화
Priority to KR1019990004474A priority Critical patent/KR100330855B1/ko
Priority to EP00300764A priority patent/EP1028324B1/en
Priority to JP2000030468A priority patent/JP3538102B2/ja
Priority to US09/500,206 priority patent/US6514205B1/en
Publication of KR20000055715A publication Critical patent/KR20000055715A/ko
Application granted granted Critical
Publication of KR100330855B1 publication Critical patent/KR100330855B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • G10K11/341—Circuits therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52025—Details of receivers for pulse systems
    • G01S7/52026—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52034—Data rate converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 디지털 초음파영상장치에 관한 것으로, 대상체로부터 반사되어오는 초음파 수신신호를 수신하여 집속함과 동시에 영상의 일정부분 또는 전체에 대하여 최소 한 프레임분 이상의 초음파수신신호에 대한 데이터를 저장하여 차후 저장된 데이터의 재사용이 가능하도록 하며, 실시간에 또는 실시간 영상의 정지 후에 저장된 데이터를 재사용하여 기존의 초음파 영상장치들이 제공할 수 없는 다양한 형태의 개선된 초음파영상의 구현이 가능한 특징을 갖는 디지털 초음파영상장치에 관한 것이다.

Description

초단수신신호의 저장과 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치{Digital-ultrasound imaging system of memorizing the pre-received signals and again using the memorized signals}
본 발명은 디지털 초음파영상장치에 관한 것으로, 보다 상세하게는 대상체로부터 반사되어오는 초음파 수신신호를 수신하여 영상의 일정부분 또는 전체에 대하여 최소 한 프레임분 이상의 데이터를 저장함으로써 차후 저장된 데이터의 재사용이 가능하도록 하며, 또한 저장된 데이터로부터 기존의 초음파영상장치들이 제공할 수 없는 다양한 형태의 개선된 초음파영상의 구현이 가능한 디지털 초음파영상장치에 관한 것이다.
도 1은 일반적인 디지털 초음파영상장치의 구성을 나타낸 블록도이다. 도 1에서 메인CPU(100)는 컨트롤패널(control panel)(110)을 통한 사용자의 명령에 따라 디지털 초음파영상장치를 전반적으로 제어한다. 송신부(101)는 초음파영상을 구성하기 위하여 어레이(array)형태를 지닌 N개의 초음파변환소자에 송신펄스를 인가하고, 수신부(102)는 대상체(인체)로부터 반사되는 신호들을 변환소자로부터 수신하여 초단증폭, TGC(Time Gain Compensation), 앤티-에이리어싱(anti-aliasing)을 위한 필터링을 수행한다. 수신집속부(103)는 초음파영상의 해상도를 극대화하기 위해 수신부(102)로부터 출력신호들을 모든 영상점에 대하여 동적집속(dynamic focusing)하고, 초음파에코처리부(104)는 수신집속부(103)로부터 집속된 신호로부터 각종 영상을 얻기 위하여 요구되는 고주파 및 기저대역에서의 각종 신호처리들을 수행한다. CF(Color Flow)프로세서(105)와 스캔컨버터(scan converter)(106)는 초음파에코처리부(104)의 출력신호를 인가받아 2차원 CF 영상과 B-모드 영상을 구현하고, 도플러(doppler)프로세서(108)는 초음파에코처리부(104) 및 CW/ECG(Continuous Wave/ElectroCadioGram)부(107)의 출력신호를 인가받아 스펙트럴도플러파형을 구현한다. 화상/음성신호처리부(109)는 CF프로세서(105), 스캔컨버터(106) 및 도플러프로세서(108)로부터 출력되는 화상/음성신호 등을 신호처리하여 화면/스피커(111)나 기록을 위한 리코딩부(112)로 출력한다. 이러한 디지털 초음파영상장치를 이용하여 원하는 대상체에 대한 초음파영상을 얻는다.
도 2는 도 1의 수신집속부(103)의 일반적인 구성을 자세하게 나타낸 블록도이다.
도 2의 수신집속부는 크게 N개의 변환소자로 수신되는 신호를 인가받아 샘플링하여 출력하는 A/D변환부(11)와 A/D변환부(11)의 출력신호를 집속하여 출력하는 집속부(12)로 구성된다.
A/D변환부(11) 내의 제 nA/D변환기(13(n))는 N개의 변환소자 중 n번째 변환소자로 수신된 신호를 인가받아 샘플링하고, 집속부(12) 내의 제 n시간/위상지연기(14(n))는 제 nA/D변환기(13(n))의 출력신호를 시간지연 또는 위상지연하여 합산기(16)로 출력한다. 제 n시간/위상지연기(14(n))는 제 nA/D변환기(13(n))의 출력신호를 임시로 저장하기 위해 작은 길이의 제 n버퍼메모리(15(n))를 사용한다. 버퍼메모리에는 주로 FIFO나 2-포트메모리가 사용된다. 이와 같은 과정이 모든 N개의 변환소자로 수신된 신호에 대해 각각 대응되는 A/D변환기, 시간/위상지연기 및 버퍼메모리에 의해 수행되고, 시간/위상지연된 신호들은 합산기(16)에서 합산되어 집속신호로써 출력된다.
상술한 버퍼메모리에 저장되는 A/D변환기의 출력신호들은, 서로 다른 초음파영상점을 위한 지연신호들이 대부분 서로 다르기 때문에 계속적으로 변화하게 된다. 그래서, 버퍼메모리에 저장된 A/D변환기의 출력신호들은 집속과정이 끝나면 모두 없어지게 되어 재사용이 불가능한 문제점이 있었다. 또한, 초음파가 인체내를 진행하면서 발생하는 여러 가지 파형의 왜곡현상들 때문에 변환소자로 수신되는 신호의 정확한 집속이 이루어지지 않는다. 그래서, 대부분의 경우 이론적으로 얻을 수 있는 해상도의 초음파영상을 실제로 얻는 것은 불가능하다.
따라서, 본 발명에서는 상술한 문제점을 해결하기 위해 대상체에서 반사되어 초음파 변환자의 각 변환소자들에 의하여 수신된 신호들의 A/D변환된 데이터를 집속함과 동시에 메모리에 저장하고, 실시간 영상 중에 또는 영상을 일시 정지한 후에 저장된 데이터를 재사용하여 신쎄틱집속(synthetic focusing)과 이를 이용한 양방향집속 등의 방법을 사용하여 영상의 해상도를 현저히 개선하거나 영상의 일부분에 대하여 세밀하게 확대된 영상을 구성할 수 있으며, 저장된 데이터를 사용하여 다중빔집속(multi-beam focusing) 및 씬세틱집속 등의 방법을 사용하여 고속으로 2차원 영상 및 3차원 영상의 구현이 가능하고, 또는 저장된 데이터를 신호분석한 후 그 분석된 결과들을 이용하여 초음파 수신신호의 집속 및 그 이후의 신호처리과정들을 제어함으로써 최적의 영상을 얻을 수 있도록 하는 디지털 초음파영상장치를 제공하고자 한다.
도 1은 일반적인 디지털 초음파영상장치의 구성을 나타낸 도면,
도 2는 도 1의 수신집속부의 구성을 나타낸 도면,
도 3은 본 발명에 따른 디지털 초음파영상장치의 구성을 나타낸 도면,
도 4는 도 3의 수신집속부와 그 외부에 연결된 호스트프로세서와의 연결구성을 나타낸 도면,
도 5는 도 4의 메모리제어기의 구성을 예시한 도면,
도 6는 도 4의 메모리의 구조를 예시한 도면,
도 7은 도 3의 다른 실시예의 수신집속부와 그 외부에 연결된 호스트프로세서와의 연결구성을 나타낸 도면,
도 8은 도 3의 또 다른 실시예의 수신집속부와 그 외부에 연결된 호스트프로세서와의 연결구성을 나타낸 도면.
<도면의 주요부분에 대한 부호의 설명>
200,500,600 : 수신집속부
21∼21(N),62∼62(N),63∼63(N) : A/D변환기
22∼22(N),65∼65(N) :메모리제어기 23∼23(N),64∼64(N) : 메모리
24 : 집속부 25 : 로컬프로세서
51,66 : 빔포밍프로세서 300 : 호스트프로세서
이와 같은 목적을 달성하기 위한 본 발명의 특징은 대상체로부터 반사되어오는 신호를 수신하여 초음파영상을 구현하는 디지털 초음파영상장치에 있어서, 대상체로부터 반사되어오는 초음파 수신신호를 전기신호로 변환하여 출력하는 수신수단; 상기 수신수단으로부터 출력되는 초음파 수신신호를 샘플링하여 영상의 일부나 전체에 대하여 최소 한 프레임분 이상의 데이터를 저장함과 동시에 집속하여 출력하고, 초음파영상의 재구성을 위해 저장된 데이터를 다양한 형태로 재집속하여 출력하며 저장된 데이터에 대한 신호분석을 수행하여 분석결과에 따라 데이터를 집속하여 출력하는 수신집속수단; 상기 수신집속수단으로부터 집속된 신호를 인가받아 초음파영상을 구현하기 위한 신호처리를 수행하는 신호처리수단; 및 상기 수신집속수단과의 상호 데이터전송이 가능하고, 수신집속수단의 데이터전송경로를 지정하며, 수신집속수단에 저장된 데이터를 입력받아 최적의 영상을 구성할 수 있도록 신호분석하고, 분석된 결과에 따라 상기 수신집속수단 및 신호처리수단을 제어하기 위한 제어수단을 포함하는 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치에 있다.
첨부한 도면들을 참조하여 본 발명을 구현한 바람직한 실시 예를 설명하기로 한다.
도 3은 본 발명에 따른 디지털 초음파영상장치의 구성을 나타낸 블록도이다.
도 3의 디지털 초음파영상장치에서 도 1의 디지털 초음파영상장치와 동일기능을 수행하는 구성부에 대해서는 동일 부호를 부가하였으며, 그 동일 구성부에 대한 구체적인 동작설명은 전술한 바와 동일하므로 생략한다.
도 3의 디지털 초음파영상장치에서 수신집속부(200)는 호스트프로세서(300)의 제어에 의해 수신부(102)로부터 인가받는 데이터(초음파 수신신호)를 집속함과 동시에 저장하고, 또한 저장된 데이터에 대한 신호분석을 수행한다. 수신집속부(200)와 호스트프로세서(300)는 상호 데이터의 전송이 가능하며, 호스트프로세서(300)는 수신집속부(200)로부터 전송받는 데이터에 대해 신호분석하여 분석된 결과에 따라 수신집속부(200) 및 점선으로 표시된 외부 인터페이스버스를 통하여 메인CPU(100)와 함께 디지털 초음파영상장치의 각 부분을 제어할 수 있는 기능을 갖는다. 그리고, 호스트프로세서(300)는 메인CPU(100)에 의해 결정된 데이터경로를 수신집속부(200)에 프로그램하고, 수신집속부(200)는 이 데이터경로에 따라 데이터를 수신집속부(200) 내에서 전송한다.
이와 같은 본 발명에 따른 수신집속부(200)의 구성 및 동작을 도 4 내지 도 8을 통하여 좀 더 상세히 설명하도록 한다.
도 4는 본 발명에 따른 수신집속부(200)와 그 외부에 연결된 호스트프로세서(300)와의 연결구성을 나타낸 블록도이다
도 4의 수신집속부(200)는 N개의 변환소자로 수신되는 신호를 인가받아 샘플링하여 출력하는 A/D변환기(21∼21(N))를 포함한다. A/D변환기(21∼21(N))의 출력단에는 A/D변환기(21∼21(N))로부터의 데이터와 로컬프로세서(25)로부터의 데이터를 인가받아 전송하는 메모리제어기(22∼22(N))가 연결된다. 그리고, 메모리제어기(22∼22(N))의 출력단에는 메모리제어기(22∼22(N))로부터의 데이터를 인가받아 영상의 일정부분 또는 전체에 대하여 최소 한 프레임분 이상의 데이터를 저장하고, 저장된 데이터를 메모리제어기(22∼22(N))로 전송가능한 메모리(23∼23(N))와 메모리제어기(22∼22(N))로부터의 데이터를 인가받아 집속하여 출력하는 집속부(24)가 연결된다. 또한, 메모리제어기(22∼22(N))의 출력단에는 메모리제어기(22∼22(N))의 데이터전송경로를 제어하고 메모리제어기(22∼22(N))와 상호 데이터전송이 가능하며 인가받는 데이터에 대해 신호분석하여 분석결과에 따라 최적의 초음파영상이 구현될 수 있도록 집속부(24)를 제어하는 로컬프로세서(25)가 연결된다. 수신집속부(200)는 상술한 바와 같은 구성을 이룬다.
도 4의 수신집속부(200) 외부에는 호스트프로세서(300)가 연결되어 있으며, 호스트프로세서(300)는 수신집속부(200) 내의 로컬프로세서(25)와 상호 데이터전송이 가능하며, 로컬프로세서(25)를 제어함으로써 메모리제어기(22∼22(N)) 및 집속부(24)의 제어가 가능하다.
그리고, 수신집속부(200) 내의 로컬프로세서(25)는 설계하고자 하는 초음파 영상장치의 사양에 따라 메모리제어기(22∼22(N)) 전체에 하나로 연결되는 구성을 이룰 수도 있고, 각 메모리제어기에 하나씩 연결되는 구성을 이룰 수도 있으며, 호스트프로세서(300)는 사양에 따라 메인CPU(100)로 대체될 수도 있다
이와 같은 구성을 이루는 수신집속부(200)와 호스트프로세서(300)의 동작에 대해 설명하도록 한다.
수신집속부(200) 내의 A/D변환기(21∼21(N))는 N개의 변환소자로 수신되는 신호를 인가받아 샘플링하여 메모리제어기(22∼22(N))로 출력한다. 그리고, 메모리제어기(22∼22(N))는 로컬프로세서(25)의 제어에 의해 지정된 경로에 따라 각 A/D변환기(21∼21(N))로부터 인가받는 데이터와 로컬프로세서(25)로부터 인가받는 데이터를 메모리(23∼23(N)) 및 집속부(24)로 전송한다. 이렇게 함으로써 인가받는 데이터는 메모리(23∼23(N))에 저장됨과 동시에 집속부(24)에서 집속된다. 또한, 메모리제어기(22∼22(N))는 로컬프로세서(25)의 제어에 의해 메모리(23∼23(N))에 저장된 데이터를 읽어들여 집속부(24) 및 로컬프로세서(25)로 전송한다. 메모리제어기(22∼22(N))의 구체적인 구성에 대해서는 도시된 도 5를 통하여 후술하도록 한다.
메모리(23∼23(N))는 반도체메모리디바이스나 하드디스크 등이 사용되고, A/D변환기(21∼21(N))의 각 출력신호들을 저장한다. 또한, 메모리(23∼23(N))는 메모리제어기(22∼22(N))를 경유하여 로컬프로세서(25)로부터 전송되는 데이터를 저장한다. 메모리(23∼23(N))의 구조에 대해서는 도시된 도 6을 통하여 후술하도록 하며, 이와 같은 메모리(23∼23(N))의 각 크기는 다음 수학식1과 같이 나타낼 수 있다.
메모리크기 = Nfr × Nsl×(Fs × 2 × zmax / c)
수학식1에서 Nfr는 각 메모리에 저장하려는 프레임수, Nsl은 프레임당 저장하고자 하는 스캔라인수, Fs는 A/D변환율 또는 샘플링주파수, zmax는 최대 영상깊이, c는 인체에서 초음파의 속도이다.
그래서, 디지탈 초음파영상장치의 실시간 초음파영상 출력 중 또는 실시간 초음파영상 출력의 일시 중지 후 사용자에 의해 영상의 일부분이 선택되면, 메모리제어기(22∼22(N))는 로컬프로세서(25)의 제어에 의해 그 영상의 일부분에 해당하는 데이터를 메모리(23∼23(N))로부터 읽어들여 집속부(24)로 전송한다. 즉, 메모리(23∼23(N))는 A/D변환기(21∼21(N))의 각 출력신호 중에서 최소 한 프레임의 영상을 구현할 수 있는 데이터를 저장하고 있으므로 선택된 일부 영상에 대한 데이터를 반복적으로 메모리제어기(22∼22(N))로 출력하게 되고, 화면상에는 선택된 일부 영상이 재구성되어 현시된다.
한편, 로컬프로세서(25)는 메모리제어기(22∼22(N))를 제어하여 메모리(23∼23(N))에 저장된 데이터를 전송받는다. 로컬프로세서(25)는 이 전송받는 데이터에 대하여 초음파의 속도, 감쇄, 수신신호의 스펙트럼해석, 위상수차오차의 추정 등을 통해서 최적의 초음파영상이 구현될 수 있는 각종 파라미터들의 최적치를 추정하며, 이 최적치를 이용하여 집속부(24)를 제어한다. 또한, 로컬프로세서(25)는 메모리(23∼23(N))에 저장된 데이터를 전송받아 호스트프로세서(300)로 전송가능하고, 호스트프로세서(300)로부터의 데이터를 인가받아 메모리제어기(22∼22(N))를 경유하여 메모리(23∼23(N))로 전송하는 것도 가능하며 호스트프로세서(300)를 통한 외부 접속에 의해 메모리제어기(22∼22(N)) 및 집속부(24)를 제어하는 것도 가능하다.
호스트프로세서(300)는 로컬프로세서(25)로부터 인가받는 데이터에 대해 신호분석과정 즉, 전송받는 데이터에 대하여 초음파의 속도, 감쇄, 수신신호의 스펙트럼해석, 위상수차오차의 추정 등을 통해서 최적의 초음파영상이 구현될 수 있는 각종 파라미터들의 최적치를 추정하여 이 최적치를 이용하여 디지털 초음파영상장치를 제어하는 것이 가능하며, 단순히 로컬프로세서(25)에 의해 추정된 각종 파라미터들의 최적치에 따라 디지털 초음파영상장치를 제어하는 것도 가능하다.
도 5는 도 4에서 다수 메모리제어기(22∼22(N)) 중 메모리제어기(22)의 구성에 대한 일례를 나타낸 도면이다.
도 5에서 메모리제어기(22)의 외부접속/제어회로(31)는 로컬프로세서(25)의 제어에 따라 메모리제어기(22)의 모든 구성부분을 제어한다. 메모리제어회로(32)는 외부접속/제어회로(31)의 제어에 따라 로컬프로세서(25)의 요구에 맞춰 메모리에 데이터를 읽고 쓰기 위한 메모리제어신호를 발생하여 출력하고, 멀티플렉서(33)를 통하여 메모리어드레스를 발생하여 출력한다.
그래서, 메모리제어기(22)는 A/D변환기(21)로부터 인가되는 데이터를 멀티플렉서(34)를 통하여 집속부(24)로 전송하거나 멀티플렉서(35)를 통하여 메모리(23)로 전송한다. 또한, 메모리제어기(22)는 메모리(23)에 저장된 데이터를 읽어들여 버퍼(36)를 통하여 로컬프로세서(25)로 전송하거나 멀티플렉서(34)를 통하여 집속부(24)로 전송한다. 메모리제어기(22)는 로컬프로세서(25)로부터 전송되는 데이터를 버퍼(36) 및 멀티플렉서(34)를 통하여 집속부(24)로 전송하거나 버퍼(36) 및 멀티플렉서(35)를 통하여 메모리(23)로 전송한다. 다수 메모리제어기(22∼22(N))의 각 구성은 전술한 메모리제어기(22)의 구성과 동일하므로 그 구체적인 설명은 생략한다.
도 6은 도 4에서 메모리(23∼23(N))의 각 구조를 예시한 도면이다.
도 4에 도시한 바와 같이 다수 메모리(23∼23(N)) 중 메모리(23)는 A/D변환기(21)로부터 샘플링된 데이터를 메모리제어기(22)를 통하여 인가받아 스캔라인별로 S1,S2 ....에 저장하며 M개의 프레임을 구현할 수 있는 모든 데이터를 저장한다. 그래서, 본 발명에 따른 수신집속부는 A/D변환기를 통해 샘플링된 데이터를 집속함과 동시에 메모리에 저장하기 때문에 차후 저장된 데이터의 재사용이 가능하도록 한다. 그리고, 다수 메모리(23∼23(N))의 각 구조는 전술한 메모리(23)의 구조와 동일하므로 그 구체적인 설명은 생략한다.
도 7은 본 발명에 따른 다른 실시예의 수신집속부와 그 외부에 연결된 호스트프로세서(300)와의 연결구성을 나타낸 블록도이다.
도 7에서 수신집속부(500)는 도 4의 수신집속부(200)에서 집속부(24)와 로컬프로세서(25)를 단순히 결합한 형태나 고속 마이크로프로세서로 구성되는 형태의 빔포밍(beamforming)프로세서(51)를 구비한다. 따라서, 빔포밍프로세서(51)는 도 4의 집속부(24)의 기능과 로컬프로세서(25)의 기능을 모두 수행하며, 이에 따른 빔포밍프로세서(51)의 구체적인 동작설명은 생략한다. 수신집속부(500) 내의 그 외 다른 기능부들은 도 4의 수신집속부(200) 내의 다른 기능부들과 동일한 기능 및 연결구성을 가지므로 동일 부호를 부가하였으며, 그 외 다른 기능부들에 대한 동작설명은 전술한 바와 동일하므로 생략한다.
도 7에 도시된 호스트프로세서(300)는 로컬프로세서(25)가 아닌 빔포밍프로세서(51)와 연결되어 도 4에 도시된 호스트프로세서(300)와 동일 기능을 수행하며, 이에 대한 호스트프로세서(300)의 구체적인 동작설명은 전술한 바와 동일하므로 생략한다.
도 8은 본 발명에 따른 또 다른 실시예의 수신집속부와 그 외부에 연결된 호스트프로세서(300)와의 연결구성을 나타낸 블록도이다.
도 8의 수신집속부(600)에서 직교검파기(61∼61(N))는 N개의 변환소자로 수신되는 신호를 인가받아 동위상(inphase)성분 및 직교위상(quadrature)성분으로 분리하여 A/D변환기(62∼62(N)) 및 A/D변환기(63∼63(N))로 각각 출력한다. A/D변환기(62∼62(N))는 각 직교검파기(61∼61(N))로부터 출력되는 동위상성분을 입력받아 샘플링하여 메모리제어기(65∼65(N))로 출력하고, A/D변환기(63∼63(N))는 각 직교검파기(61∼61(N))로부터 출력되는 직교위상성분을 입력받아 샘플링하여 메모리제어기(65∼65(N))로 출력한다. 메모리제어기(65∼65(N))는 A/D변환기(62∼63(N))로부터 입력받는 데이터를 빔포밍프로세서(66)의 제어에 의해 지정된 경로에 따라 메모리(64∼64(N))와 빔포밍프로세서(66)로 출력한다. 이 메모리(64∼64(N))는 도 4 및 도 7에서의 메모리(23∼23(N))와 동일기능 및 동일구조를 지닌다.
빔포밍프로세서(66)는 메모리제어기(65∼65(N))의 데이터전송경로를 제어하고, 메모리제어기(65∼65(N))와 상호 데이터전송이 가능하며 메모리제어기(65∼65(N))로부터 인가받은 데이터를 신호분석 및 집속하여 출력한다. 이렇게 빔포밍프로세서(66)가 메모리제어기(65∼65(N))로부터 인가받은 데이터를 분석하여 분석된 결과를 토대로 데이터를 집속하므로 최적의 영상이 구현된다. 즉, 빔포밍프로세서(66)는 도 4의 수신집속부(200)에서 집속부(24)의 기능과 로컬프로세서(25)의 기능을 모두 수행한다. 따라서, 빔포밍프로세서(66)는 집속부(24)의 기능을 갖는 기능부와 로컬프로세서(25)의 기능을 갖는 기능부로 분리되어 대체될 수도 있다.
또한, 빔포밍프로세서(66)는 수신집속부(600) 외부에 연결된 호스트프로세서(300)의 제어를 받으며, 호스트프로세서(300)로부터 전송되는 데이터를 메모리제어기(65∼65(N))를 경유하여 메모리(64∼64(N))에 저장한다.
호스트프로세서(300)는 상술한 도 4 및 도 7에서의 호스트프로세서(300)와 동일한 기능을 수행하며, 호스트프로세서(300)에 대한 구체적인 동작설명은 전술한 바와 동일하므로 생략한다.
상술한 본 발명에 따른 수신집속부를 이용하면 다양한 방법으로 개선된 초음파영상을 구현하는 것이 가능하다. 예로서, 실시간 영상 중 또는 실시간 영상을 일시 중지한 후 저장된 데이터를 이용하여 선택되는 영상의 일부에 대한 보다 세밀한 영상을 재구성하여 화면에 표시할 수 있고, 실시간 영상 중 또는 실시간 영상의 일시 정지후 각 영상 프레임을 구성하는 모든 스캔라인들에 대한 저장된 데이터를 이용하여 씬세틱 집속을 수행함으로써 해상도 및 신호대 잡음비가 현저히 개선된 영상을 제공할 수 있으며, 이러한 씬세틱 집속방법을 적절히 이용하여 송신 및 수신시 양방향으로 집속된 영상을 구성할 수도 있다. 또한, 저장된 데이터를 이용하여 다중빔집속 및 씬세틱집속 방법으로 고속 2차원 영상 또는 3차원 영상의 구현이 가능하다. 이러한 기능들을 수행하기 위하여 메모리제어기(22∼22(N))는 로컬프로세서(25)의 제어에 의해 메모리(23∼23(N))로부터 저장된 데이터를 읽어들여 집속부(24)로 전송한다. 즉, 메모리(23∼23(N))는 A/D변환기(21∼21(N))의 각 출력신호들을 저장하고 있으므로 메모리제어기(22∼22(N))는 영상의 일부나 전체에 대한 데이터를 읽어들여 집속부(24)로 출력함으로써 새로이 집속되고 구성된 영상을 보여줄 수 있게 된다. 또한, 로컬프로세서(25)나 호스트 프로세서(300)는 저장된 데이터를 분석하여 초음파 집속 및 영상화에 필요한 초음파 속도, 초음파 신호의 주파수 성분의 거리에 따른 변화, 잡음의 특성 등에 대한 특성들을 조사한 후 이 특성들에 따라 최적의 영상을 얻을 수 있도록 시스템 전체를 제어할 수 있으며, 유사한 과정으로 위상수차 보정 등을 구현할 수도 있다.
본 발명에 따른 디지털 초음파영상장치는 영상의 일정부분 또는 전체에 대하여 최소 한 프레임분 이상의 데이터를 저장하고, 실시간 영상 중 또는 영상의 일시 정지 후에 저장된 데이터의 재사용이 가능하며, 또한 저장된 데이터를 사용한 다양한 형태의 집속 방식을 이용하거나 저장된 데이터를 분석하여 최적의 초음파영상이 구성될 수 있도록 초음파 집속부 및 시스템 전체를 제어함으로서 현저히 개선된 해상도와 신호대 잡음비를 갖는 초음파영상을 얻을 수 있는 잇점이 있다.

Claims (12)

  1. 대상체로부터 반사되어오는 신호를 수신하여 초음파영상을 구현하는 디지털 초음파영상장치에 있어서,
    대상체로부터 반사되어오는 초음파 수신신호를 전기신호로 변환하여 출력하는 수신수단;
    상기 수신수단으로부터 출력되는 초음파 수신신호를 샘플링하여 영상의 일부나 전체에 대하여 최소 한 프레임분 이상의 데이터를 저장함과 동시에 집속하여 출력하고, 초음파영상의 재구성을 위해 저장된 데이터를 다양한 형태로 재집속하여 출력하며 저장된 데이터에 대한 신호분석을 수행하여 분석결과에 따라 데이터를 집속하여 출력하는 수신집속수단;
    상기 수신집속수단으로부터 집속된 신호를 인가받아 초음파영상을 구현하기 위한 신호처리를 수행하는 신호처리수단; 및
    상기 수신집속수단과의 상호 데이터전송이 가능하고, 수신집속수단의 데이터전송경로를 지정하며, 수신집속수단에 저장된 데이터를 입력받아 최적의 영상을 구성할 수 있도록 신호분석하고, 분석된 결과에 따라 상기 수신집속수단 및 신호처리수단을 제어하기 위한 제어수단을 포함하는 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치.
  2. 제 1항에 있어서, 상기 신호분석은 상기 저장된 데이터에 대해 초음파의 속도, 감쇄, 수신신호의 스펙트럼해석, 위상수차오차의 추정 등을 통해서 최적의 초음파영상이 구현될 수 있는 각종 파라미터들의 최적치를 추정하는 것임을 특징으로 하는 디지털 초음파영상장치.
  3. 제 1항에 있어서, 상기 수신집속수단은 상기 디지털 초음파영상장치의 실시간 영상 중 또는 실시간 영상을 일시 중지한 후 선택된 일부분의 영상이 보다 세밀하게 확대된 영상으로 재구성될 수 있도록 저장된 데이터를 선택적으로 출력하고 재집속할 수 있는 것을 특징으로 하는 디지털 초음파영상장치.
  4. 제 1항에 있어서, 상기 제어수단은 상기 수신집속수단에서 신호분석된 결과를 입력받아 그 신호분석된 결과에 따라 상기 수신집속수단 및 신호처리수단을 제어하는 것이 가능함을 특징으로 하는 디지털 초음파영상장치.
  5. 제 1항에 있어서, 상기 수신집속수단은 저장된 데이터를 사용하여 동적집속(dynamic focusing)과 씬세틱집속(synthetic focusing), 송/수신의 양방향 동적집속 및 다중빔집속(multi-beam focusing)의 수행이 가능한 것을 특징으로 하는 디지털 초음파영상장치.
  6. 청구항6는 삭제 되었습니다.
  7. 제 1항 또는 제 5항에 있어서, 상기 수신집속수단은
    상기 수신수단으로 수신되는 초음파 수신신호를 샘플링하여 출력하는 다수의 A/D변환기들;
    최소 한 프레임의 초음파영상구현을 위한 데이터를 저장하는 다수의 메모리들;
    인가받는 데이터를 신호처리하여 출력하는 집속기;
    상기 A/D변환기들의 각 출력단과 메모리들의 각 출력단에 대응하여 연결되고, 상기 집속기의 입력단에 연결되어 상기 제어수단의 제어에 의해 A/D변환기들로부터 입력받는 데이터를 상기 각 메모리들과 집속기로 동시에 전송하고, 각 메모리들의 데이터입/출력동작을 제어하는 다수의 메모리제어기들; 및
    상기 메모리들에 저장된 데이터를 메모리제어기들을 경유하여 인가받아 신호분석하여 최적의 영상이 구현될 수 있도록 분석된 결과에 따라 상기 집속기를 제어하고 상기 메모리제어기들을 경유하여 메모리들로 데이터를 전송하며, 상기 제어수단의 제어에 의해 상기 메모리제어기들 및 집속기의 제어가 가능하고 상기 제어수단과의 상호 데이터전송이 가능한 제어기를 포함하는 것을 특징으로 하는 디지털 초음파영상장치.
  8. 제 7항에 있어서, 상기 제어기와 집속기는 상기 제어기의 기능과 집속기의 기능을 모두 수행하는 하나의 처리수단으로 대체됨이 가능한 것을 특징으로 하는 디지털 초음파영상장치.
  9. 제 7항에 있어서, 상기 제어기는 상기 다수의 메모리제어기들 각각에 일대일 대응하는 연결구성이 가능한 것을 특징으로 하는 디지털 초음파영상장치.
  10. 제 1항 또는 제 5항에 있어서, 상기 수신집속수단은
    상기 수신수단으로 수신되는 초음파 수신신호를 동위상(inphase)성분 및 직교위상(quadrature)성분으로 분리하여 출력하는 다수의 직교검파기들;
    상기 각 직교검파기로부터의 동위상성분을 샘플링하는 제 1 A/D변환기와 직교위상성분을 샘플링하는 제 2 A/D변환기가 셋트를 이루어 다수의 직교검파기들에 대응하여 위치함으로써 샘플링한 데이터를 출력하는 다수의 A/D변환기들;
    최소 한 프레임의 초음파 영상구현을 위한 데이터를 저장하는 다수의 메모리들;
    인가받는 데이터를 신호처리하여 출력하는 집속기;
    상기 A/D변환기들의 각 출력단과 메모리들의 각 출력단에 대응하여 연결되고, 상기 집속기의 입력단에 연결되어 상기 제어수단의 제어에 의해 A/D변환기들로부터 입력받는 데이터를 상기 각 메모리들과 집속기로 동시에 전송하고, 각 메모리들의 데이터입/출력동작을 제어하는 다수의 메모리제어기들; 및
    상기 메모리들에 저장된 데이터를 메모리제어기들을 경유하여 인가받아 신호분석하여 최적의 영상이 구현될 수 있도록 분석된 결과에 따라 상기 집속기를 제어하고 상기 메모리제어기들을 경유하여 메모리들로 데이터를 전송하며, 상기 제어수단의 제어에 의해 상기 메모리제어기들 및 집속기의 제어가 가능하고 상기 제어수단과의 상호 데이터전송이 가능한 제어기를 포함하는 것을 특징으로 하는 디지털 초음파영상장치.
  11. 제 10항에 있어서, 상기 제어기와 집속기는 상기 제어기의 기능과 집속기의 기능을 모두 수행하는 하나의 처리수단으로 대체됨이 가능한 것을 특징으로 하는 디지털 초음파영상장치.
  12. 제 10항에 있어서, 상기 제어기는 상기 다수의 메모리제어기들 각각에 일대일 대응하는 연결구성이 가능한 것을 특징으로 하는 디지털 초음파영상장치.
KR1019990004474A 1999-02-09 1999-02-09 초단수신신호의 저장과 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치 KR100330855B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019990004474A KR100330855B1 (ko) 1999-02-09 1999-02-09 초단수신신호의 저장과 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치
EP00300764A EP1028324B1 (en) 1999-02-09 2000-02-01 Medical digital ultrasonic imaging apparatus capable of storing and reusing radio-frequency (RF) ultrasound pulse echoes
JP2000030468A JP3538102B2 (ja) 1999-02-09 2000-02-08 超音波映像装置
US09/500,206 US6514205B1 (en) 1999-02-09 2000-02-08 Medical digital ultrasonic imaging apparatus capable of storing and reusing radio-frequency (RF) ultrasound pulse echoes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990004474A KR100330855B1 (ko) 1999-02-09 1999-02-09 초단수신신호의 저장과 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치

Publications (2)

Publication Number Publication Date
KR20000055715A KR20000055715A (ko) 2000-09-15
KR100330855B1 true KR100330855B1 (ko) 2002-04-03

Family

ID=19573888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990004474A KR100330855B1 (ko) 1999-02-09 1999-02-09 초단수신신호의 저장과 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치

Country Status (4)

Country Link
US (1) US6514205B1 (ko)
EP (1) EP1028324B1 (ko)
JP (1) JP3538102B2 (ko)
KR (1) KR100330855B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031287A (ko) * 2011-05-02 2014-03-12 베라소닉스, 인코포레이티드 중첩하는 송신 빔들의 제한된 영역들을 이용하여 증강된 초음파 이미지 형성

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3095713B2 (ja) * 1997-06-24 2000-10-10 ジーイー横河メディカルシステム株式会社 超音波診断装置
US20050228281A1 (en) * 2004-03-31 2005-10-13 Nefos Thomas P Handheld diagnostic ultrasound system with head mounted display
KR100867588B1 (ko) * 2006-01-06 2008-11-10 주식회사 메디슨 대상체의 운동주기에 대응시켜 초음파 영상을디스플레이하는 초음파 시스템 및 방법
KR100947828B1 (ko) * 2007-01-08 2010-03-18 주식회사 메디슨 초음파 데이터 처리 시스템 및 방법
US20090123047A1 (en) * 2007-03-21 2009-05-14 Yfantis Spyros A Method and system for characterizing prostate images
DE102007027188A1 (de) * 2007-06-13 2008-12-18 Robert Bosch Gmbh Ultraschallströmungssensor mit Quadratur-Demodulation
KR101139123B1 (ko) * 2008-07-10 2012-04-30 삼성메디슨 주식회사 영상 깊이를 조절하는 초음파 장치 및 방법
EP2145580A1 (en) * 2008-07-14 2010-01-20 Medison Co., Ltd. Recovery function of parameters in an ultrasound system
EP2536339B1 (en) 2010-02-18 2024-05-15 Maui Imaging, Inc. Point source transmission and speed-of-sound correction using multi-aperture ultrasound imaging
JP2013116138A (ja) * 2011-12-01 2013-06-13 Sony Corp 画像処理装置及び方法
KR101969305B1 (ko) * 2012-01-04 2019-08-13 삼성전자주식회사 초음파 영상 생성 장치 및 방법
JP6306012B2 (ja) * 2012-08-21 2018-04-04 マウイ イマギング，インコーポレーテッド 超音波イメージングシステムのメモリアーキテクチャ
US9883852B2 (en) * 2013-03-18 2018-02-06 Duke University Ultrasound systems, methods and computer program products for estimating tissue deformation with harmonic signals
KR102025966B1 (ko) * 2015-09-03 2019-09-26 지멘스 메디컬 솔루션즈 유에스에이, 인크. 초음파 프로브의 기하학적 정보를 결정하는 초음파 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR870002813A (ko) * 1985-09-26 1987-04-13 와다리 스기이찌로오 초음파 영상장치
KR940018722A (ko) * 1993-01-15 1994-08-18 김광호 초음파 진단기의 기능설정장치 및 그 방법
KR940703634A (ko) * 1992-01-14 1994-12-12 가와세 신이치 디지탈 이상(移相)장치(digital phase shifter)
KR970004639A (ko) * 1995-06-30 1997-01-29 김광호 원격 의료진단시스템과 원격 의료영상 전송 및 수신방법
KR19980032574A (ko) * 1996-10-07 1998-07-25 제이엘.챠스킨 이미지 처리 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4604697A (en) * 1983-08-05 1986-08-05 Interspec, Inc. Body imaging using vectorial addition of acoustic reflection to achieve effect of scanning beam continuously focused in range
US5230340A (en) * 1992-04-13 1993-07-27 General Electric Company Ultrasound imaging system with improved dynamic focusing
JPH0675412U (ja) * 1993-04-01 1994-10-25 ジーイー横河メディカルシステム株式会社 超音波診断装置
US5454372A (en) * 1994-06-17 1995-10-03 Siemens Medical Systems, Inc. Angle independent doppler in ultrasound imaging
US5928152A (en) * 1994-08-05 1999-07-27 Acuson Corporation Method and apparatus for a baseband processor of a receive beamformer system
US5675554A (en) * 1994-08-05 1997-10-07 Acuson Corporation Method and apparatus for transmit beamformer
US5544657A (en) * 1994-09-09 1996-08-13 Siemens Medical Systems, Inc. Ultrasound blood flow monitor of the non-doppler type
JPH08187243A (ja) * 1995-01-06 1996-07-23 Fuji Electric Co Ltd 超音波診断装置のデジタルスキャンコンバータ
US6248073B1 (en) * 1995-06-29 2001-06-19 Teratech Corporation Ultrasound scan conversion with spatial dithering
US5645066A (en) * 1996-04-26 1997-07-08 Advanced Technology Laboratories, Inc. Medical ultrasonic diagnostic imaging system with scanning guide for three dimensional imaging
US5795297A (en) * 1996-09-12 1998-08-18 Atlantis Diagnostics International, L.L.C. Ultrasonic diagnostic imaging system with personal computer architecture
KR100280197B1 (ko) * 1997-11-10 2001-02-01 이민화 초음파영상화시스템의초음파신호집속방법및장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR870002813A (ko) * 1985-09-26 1987-04-13 와다리 스기이찌로오 초음파 영상장치
KR940703634A (ko) * 1992-01-14 1994-12-12 가와세 신이치 디지탈 이상(移相)장치(digital phase shifter)
KR940018722A (ko) * 1993-01-15 1994-08-18 김광호 초음파 진단기의 기능설정장치 및 그 방법
KR970004639A (ko) * 1995-06-30 1997-01-29 김광호 원격 의료진단시스템과 원격 의료영상 전송 및 수신방법
KR19980032574A (ko) * 1996-10-07 1998-07-25 제이엘.챠스킨 이미지 처리 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140031287A (ko) * 2011-05-02 2014-03-12 베라소닉스, 인코포레이티드 중첩하는 송신 빔들의 제한된 영역들을 이용하여 증강된 초음파 이미지 형성
KR102014946B1 (ko) * 2011-05-02 2019-08-27 베라소닉스, 인코포레이티드 중첩하는 송신 빔들의 제한된 영역들을 이용하여 증강된 초음파 이미지 형성 시스템 및 방법

Also Published As

Publication number Publication date
EP1028324B1 (en) 2012-07-25
US6514205B1 (en) 2003-02-04
JP2000232980A (ja) 2000-08-29
JP3538102B2 (ja) 2004-06-14
KR20000055715A (ko) 2000-09-15
EP1028324A2 (en) 2000-08-16
EP1028324A3 (en) 2001-07-18

Similar Documents

Publication Publication Date Title
KR100330855B1 (ko) 초단수신신호의 저장과 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치
KR100748585B1 (ko) 부가정보를 이용하여 영상을 구성하는 초음파 시스템
US4817617A (en) Diagnostic imaging apparatus
US5544128A (en) Multi-beam digital beamforming method and apparatus
US7981036B2 (en) Method and system for processing doppler signal gaps
JP4039642B2 (ja) 超音波ビーム形成装置
JP2023078396A (ja) 高周波ディテールを有する超音波システム
JP5803913B2 (ja) 超音波診断装置及びプログラム
JP2007313319A (ja) 多重受信スキャンライン形成のための超音波診断装置及び方法
US8090065B2 (en) Implied clock
EP0959368A1 (en) Bandwidth sampling technique for digital focusing in array imaging systems
US6383140B1 (en) Ultrasonic diagnosis device
KR20070113083A (ko) 직교 복조기 없이 ｉｑ 데이터를 형성하는 초음파 진단장치 및 방법
JPH0324865B2 (ko)
JP3179749B2 (ja) 超音波診断装置
JP2007313320A (ja) 超音波診断装置及びデジタル信号の出力方法
JPH05137717A (ja) 超音波診断装置のビームフオーマ
JPH0338848B2 (ko)
JPH02121641A (ja) 超音波血流イメージング装置
JP2000051211A (ja) 超音波診断装置
JP2003000596A (ja) 超音波診断装置
JPH05137720A (ja) 超音波診断装置のビームフオーマ
JPH01138482A (ja) 水中ソナー撮像方法
JP2015096143A (ja) 信号処理装置及び超音波診断装置
JPH10137241A (ja) 超音波診断装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121217

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20131211

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20160302

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 17