KR20110096902A - Method and apparatus of forming multiple scanning lines - Google Patents

Method and apparatus of forming multiple scanning lines Download PDF

Info

Publication number
KR20110096902A
KR20110096902A KR1020100016433A KR20100016433A KR20110096902A KR 20110096902 A KR20110096902 A KR 20110096902A KR 1020100016433 A KR1020100016433 A KR 1020100016433A KR 20100016433 A KR20100016433 A KR 20100016433A KR 20110096902 A KR20110096902 A KR 20110096902A
Authority
KR
South Korea
Prior art keywords
channel
channel data
maximum value
delay time
scan line
Prior art date
Application number
KR1020100016433A
Other languages
Korean (ko)
Other versions
KR101135065B1 (en
Inventor
유양모
송태경
강지운
윤창한
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020100016433A priority Critical patent/KR101135065B1/en
Publication of KR20110096902A publication Critical patent/KR20110096902A/en
Application granted granted Critical
Publication of KR101135065B1 publication Critical patent/KR101135065B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 다중 주사선 생성 방법에 관한 것으로서 복수의 주사선들 각각에 대응하는 채널 정수 지연시간의 최대값을 선택하고, 선택된 최대값이 변화될 때마다 레지스터를 시프트하여 채널 데이터를 저장하는 한편, 선택된 최대값과 복수의 주사선들 각각에 대응하는 채널 정수 지연시간 간의 차이에 기초하여 저장된 채널 데이터들을 선택하고, 선택된 채널 데이터들을 각 주사선별로 합성하는 단계를 포함하는 것을 특징으로 하며, 한번에 여러 주사선을 생성함으로써, 영상의 프레임율을 증가시키거나 동일한 프레임율을 유지하면서 주사선 해상도를 증가시킬 수 있다. The present invention relates to a method for generating multiple scan lines, wherein a maximum value of a channel integer delay time corresponding to each of the plurality of scan lines is selected, and a channel is stored by shifting a register each time the selected maximum value is changed, Selecting the stored channel data based on a difference between the value and the channel integer delay time corresponding to each of the plurality of scan lines, and synthesizing the selected channel data for each scan line, by generating several scan lines at a time. The scan line resolution may be increased while increasing the frame rate of the image or maintaining the same frame rate.

Description

다중 주사선 생성 방법 및 장치{Method and apparatus of forming multiple scanning lines}Method and apparatus for forming multiple scanning lines

본 발명은 다중 주사선 생성 방법에 관한 것으로서, 더욱 상세하게는 한번에 여러 주사선을 생성함으로써, 영상의 프레임율을 증가시키거나 동일한 프레임율을 유지하면서 주사선 해상도를 증가시키는 다중 주사선 생성 방법 및 장치에 관한 것이다.The present invention relates to a multi-scan line generation method, and more particularly, to a multi-scan line generation method and apparatus for increasing the scan line resolution while increasing the frame rate of an image or maintaining the same frame rate by generating several scan lines at once. .

초음파 의료장비 시스템은 기술이 발달하면서 여러 가지 동작 모드를 지원하고 있다. 인체 조직에서 반사되어 들어온 음파신호의 크기만을 가지고 영상을 나타내는 B-모드, 영상의 관심 영역의 혈류의 속도와 분산을 정성적으로 보여주는 컬러 플로우 이미징 모드(Color Flow Imaging mode), 정량적으로 혈류의 속도 정보를 보여주는 스펙트럴 도플러 모드(Spectral Doppler mode) 등이 존재하여 환자의 상태를 진단하는데 임상적인 정보를 제공하고 있다. 또한 이와 더불어 여러 가지 합성구경 영상 기법이나 3차원 영상 생성 기법, 탄성 영상 기법 등의 응용방법도 많이 제안되고 있다. 이러한 모든 방식들을 구현함에 있어서 임상정보의 전달을 더 효과적으로 수행하기 위해서는 동시에 발생하는 여러 가지 임상 정보의 취득과 영상 구성을 실시간으로 처리할 필요가 있으므로 다중 주사선을 생성하는 것이 요구된다.Ultrasound medical device systems are supporting a variety of modes of operation as technology advances. B-mode, which displays an image with the size of sound waves reflected from human tissue, Color Flow Imaging mode, which qualitatively shows the velocity and dispersion of blood flow in the region of interest of the image, and the velocity of blood flow quantitatively. Informational spectral Doppler modes exist to provide clinical information in diagnosing a patient's condition. In addition, many application methods such as composite caliber imaging, 3D image generation, and elastic imaging have been proposed. In implementing all of these methods, in order to more effectively carry out clinical information transfer, it is necessary to generate multiple scan lines because it is necessary to process various acquisitions and image configurations simultaneously.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 한번에 여러 주사선을 생성함으로써, 영상의 프레임율을 증가시키거나 동일한 프레임율을 유지하면서 주사선 해상도를 증가시키는 다중 주사선 생성 방법을 제공하는 것이다.Accordingly, the first problem to be solved by the present invention is to provide a method for generating multiple scan lines by increasing the scan line resolution while increasing the frame rate of the image or maintaining the same frame rate by generating several scan lines at one time.

본 발명이 해결하고자 하는 두 번째 과제는 한번에 여러 주사선을 생성함으로써, 영상의 프레임율을 증가시키거나 동일한 프레임율을 유지하면서 주사선 해상도를 증가시키는 다중 주사선 생성 장치를 제공하는 것이다.A second problem to be solved by the present invention is to provide a multi-scan line generating apparatus that increases the scanning line resolution by increasing the frame rate of the image or maintaining the same frame rate by generating several scan lines at one time.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.Further, the present invention provides a computer-readable recording medium having recorded thereon a program for executing the above method on a computer.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 복수의 주사선들 각각에 대응하는 채널 정수 지연시간의 최대값을 선택하는 단계; 상기 선택된 최대값이 변화될 때마다 레지스터를 시프트하여 채널 데이터를 저장하는 단계; 상기 선택된 최대값과 상기 복수의 주사선들 각각에 대응하는 채널 정수 지연시간 간의 차이에 기초하여 상기 저장된 채널 데이터들을 선택하는 단계; 및 상기 선택된 채널 데이터들을 각 주사선별로 합성하는 단계를 포함하는 다중 주사선 생성 방법을 제공한다.The present invention includes the steps of selecting the maximum value of the channel integer delay time corresponding to each of the plurality of scan lines in order to achieve the first object; Shifting a register to store channel data each time the selected maximum value is changed; Selecting the stored channel data based on a difference between the selected maximum value and a channel integer delay time corresponding to each of the plurality of scan lines; And synthesizing the selected channel data for each scan line.

본 발명의 일 실시예에 의하면, 상기 각 주사선별로 합성된 채널 데이터를 소수지연 필터링하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, the method may further include performing a fractional delay filtering on the channel data synthesized for each scan line.

또한, 상기 선택된 채널 데이터들을 각 주사선별로 합성하는 단계는 상기 각 주사선별로 동일한 채널 소수 지연시간을 갖는 채널 데이터를 합성하는 것을 특징으로 하고, 상기 소수지연 필터링을 하는 단계는 상기 각 주사선별로 합성된 동일한 채널 소수 지연시간을 갖는 채널 데이터를 소수지연 필터링하는 것이 바람직하다.The synthesizing of the selected channel data for each scan line may include synthesizing channel data having the same channel fractional delay time for each scan line, and performing the fractional delay filtering may include synthesizing the same channel synthesized for each scan line. It is desirable to perform fractional delay filtering of channel data having channel fractional delay time.

본 발명의 다른 실시예에 의하면, 채널별로 대응하는 메모리에 상기 채널 데이터를 저장하는 단계를 더 포함하고, 상기 채널 데이터를 저장하는 단계는 상기 선택된 최대값이 변화될 때마다 레지스터를 시프트하여 상기 메모리에 저장된 채널 데이터를 상기 레지스터에 저장하는 것이 바람직하다.According to another embodiment of the present invention, the method may further include storing the channel data in a memory corresponding to each channel, and the storing of the channel data may include shifting a register whenever the selected maximum value is changed. It is preferable to store the channel data stored in the register.

또한, 상기 최대값의 변화는 상기 최대값의 정수부분의 변화로부터 감지될 수 있다.Also, the change in the maximum value can be detected from the change in the integer portion of the maximum value.

본 발명은 상기 두 번째 과제를 달성하기 위하여, 복수의 주사선들 각각에 대응하는 채널 정수 지연시간의 최대값을 선택하는 채널 정수 지연시간 최대값 선택부; 상기 선택된 최대값이 변화될 때마다 레지스터를 시프트하여 채널 데이터를 저장하는 레지스터 블록부; 상기 선택된 최대값과 상기 복수의 주사선들 각각에 대응하는 채널 정수 지연시간 간의 차이에 기초하여 상기 저장된 채널 데이터들을 선택하는 다중 주사선 멀티플렉서부; 및 상기 선택된 채널 데이터들을 각 주사선별로 합성하는 합성부를 포함하는 다중 주사선 생성 장치를 제공한다. According to another aspect of the present invention, there is provided a channel integer delay time maximum value selector which selects a maximum value of a channel integer delay time corresponding to each of a plurality of scan lines; A register block unit for shifting a register to store channel data each time the selected maximum value is changed; A multiple scan line multiplexer unit for selecting the stored channel data based on a difference between the selected maximum value and a channel integer delay time corresponding to each of the plurality of scan lines; And a combiner configured to synthesize the selected channel data for each scan line.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 다중 주사선 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. In order to solve the above other technical problem, the present invention provides a computer-readable recording medium having recorded thereon a program for executing the above-described method for generating multiple scan lines in a computer.

본 발명에 따르면, 한번에 여러 주사선을 생성함으로써, 영상의 프레임율을 증가시키거나 동일한 프레임율을 유지하면서 주사선 해상도를 증가시킬 수 있다. 또한, 본 발명에 따르면, 동일한 채널 소수 지연시간을 갖는 채널 데이터를 합성한 후 소수지연 필터링을 수행함으로써, 채널별로 소수지연 필터를 구비할 필요가 없고, 하나의 소수지연 필터로 필터링을 수행할 수 있으므로, 하드웨어 복잡도를 감소시킬 수 있다.According to the present invention, by generating several scan lines at a time, the scan line resolution can be increased while increasing the frame rate of the image or maintaining the same frame rate. In addition, according to the present invention, by performing the fractional delay filtering after synthesizing the channel data having the same channel fractional delay time, it is not necessary to have a fractional delay filter for each channel, and it is possible to perform filtering with one fractional delay filter. Therefore, hardware complexity can be reduced.

도 1은 본 발명의 바람직한 일 실시예에 따른 다중 주사선 생성 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 다중 접속 레지스터 블록부(120)와 지연시간 보간 계산부(140)의 상세도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 다중 주사선 생성 방법의 흐름도이다.
1 is a block diagram of an apparatus for generating multiple scan lines according to an exemplary embodiment of the present invention.
2 is a detailed diagram of the multiple access register block unit 120 and the delay time interpolation calculator 140 according to an embodiment of the present invention.
3 is a flowchart illustrating a method for generating multiple scan lines according to an exemplary embodiment of the present invention.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.Prior to the description of the specific contents of the present invention, for the convenience of understanding, the outline of the solution of the problem to be solved by the present invention or the core of the technical idea will be presented first.

본 발명의 일 실시예에 따른 다중 주사선 생성 방법은 복수의 주사선들 각각에 대응하는 채널 정수 지연시간의 최대값을 선택하고, 상기 선택된 최대값이 변화될 때마다 레지스터를 시프트하여 채널 데이터를 저장하는 한편, 상기 선택된 최대값과 상기 복수의 주사선들 각각에 대응하는 채널 정수 지연시간 간의 차이에 기초하여 상기 저장된 채널 데이터들을 선택하고, 상기 선택된 채널 데이터들을 각 주사선별로 합성하는 단계를 포함한다.The multi-scan line generation method according to an embodiment of the present invention selects a maximum value of a channel integer delay time corresponding to each of a plurality of scan lines, and shifts a register every time the selected maximum value is changed to store channel data. The method may include selecting the stored channel data based on a difference between the selected maximum value and a channel integer delay time corresponding to each of the plurality of scan lines, and synthesizing the selected channel data for each scan line.

이하, 바람직한 실시예를 들어 본 발명을 더욱 상세하게 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다. 본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.Hereinafter, the present invention will be described in more detail with reference to preferred examples. However, these examples are intended to illustrate the present invention in more detail, it will be apparent to those skilled in the art that the scope of the present invention is not limited thereby. The configuration of the invention for clarifying the solution to the problem to be solved by the present invention will be described in detail with reference to the accompanying drawings based on the preferred embodiment of the present invention, the same in the reference numerals to the components of the drawings The same reference numerals are given to the components even though they are on different drawings, and it is to be noted that in the description of the drawings, components of other drawings may be cited if necessary. In addition, when it is determined that the detailed description of the known function or configuration and other matters related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

동적 빔집속은 초음파 시스템에서 집속 송신한 신호가 매질을 지나 조직에서 반사되어 온 신호를 디지털 신호로 받아들인 이후에 이를 집속 송신에 의해 점원으로부터 온 신호로 모델링하고, 이에 따라 초음파 배열 변환자에 도달하는 지연시간을 동일하게 맞추어 더하는 것을 말한다. 본 발명의 일 실시예에서는 이러한 동적 빔집속에 대해 동시에 여러 송신 점원이 있다고 가정하고, 여러 송신 점원들로부터 온 신호를 동시에 동적 수신 집속함으로써 한번에 여러 개의 집속 데이터를 생성할 수 있어 영상의 프레임율을 증가시키거나 동일한 프레임율을 유지하면서 주사선 해상도를 증가시킬 수 있다.The dynamic beam focusing system receives the signal transmitted by the focused system through the medium and reflects the signal reflected from the tissue as a digital signal, and then models it as a signal from the point source by focused transmission, and thus reaches the ultrasonic array transducer. It means adding the same delay time. In an embodiment of the present invention, it is assumed that there are several transmitting point sources at the same time for such a dynamic beam focusing, and by simultaneously receiving and receiving signals from several transmitting point sources, a plurality of focusing data can be generated at a time, thereby reducing the frame rate of an image. The scan line resolution can be increased while increasing or maintaining the same frame rate.

도 1은 본 발명의 바람직한 일 실시예에 따른 다중 주사선 생성 장치의 구성도이다.1 is a block diagram of an apparatus for generating multiple scan lines according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 다중 주사선 생성 장치는 초음파 배열 변환자(100), 데이터 버퍼부(110), 다중 접속 레지스터 블록부(120), 소수 합성 지연 블록부(130), 및 지연시간 보간 계산부(140)로 구성된다. 다중 접속 레지스터 블록부(120)는 레지스터 블록부(121) 및 다중 주사선 멀티플렉서부(122)로 구성되고, 소수 합성 지연 블록부(130)는 소수지연 선택 합성기(131) 및 소수지연 필터부(132)로 구성된다.Referring to FIG. 1, the apparatus for generating multiple scan lines according to the present exemplary embodiment includes an ultrasonic array transducer 100, a data buffer unit 110, a multiple access register block unit 120, a fractional synthesis delay block unit 130, and The delay time interpolation calculator 140 is configured. The multiple access register block unit 120 is composed of a register block unit 121 and a multiple scan line multiplexer unit 122, and the prime synthesis delay block unit 130 includes a prime delay select synthesizer 131 and a prime delay filter unit 132. It is composed of

초음파 배열 변환자(100)는 집속 송신한 신호가 매질을 지나 조직에서 반사되어 온 신호를 수신하고, 디지털 신호로 변환한다.The ultrasonic array transducer 100 receives a signal from which the focused signal is reflected by the tissue passing through the medium and converts the signal into a digital signal.

데이터 버퍼부(110)는 초음파 배열 변환자(100)에서 변환된 디지털 신호를 각 채널별로 대응하는 메모리에 저장한다. The data buffer unit 110 stores the digital signal converted by the ultrasonic array transducer 100 in a memory corresponding to each channel.

다중 접속 레지스터 블록부(120)는 동적 집속해야 할 각 채널의 데이터들을 데이터 버퍼부(110)로부터 수신하여 저장하고, 저장된 각 채널의 데이터들을 각 주사선에 대해 계산한 각 채널의 정수 지연시간을 이용하여 각 주사선별로 선택하여 출력한다. 다중 접속 레지스터 블록부(120)는 레지스터 블록부(121) 및 다중 주사선 멀티플렉서부(122)로 구성된다.The multiple access register block unit 120 receives and stores data of each channel to be dynamically focused from the data buffer unit 110 and uses the integer delay time of each channel in which data of each channel is calculated for each scan line. To select and output each scan line. The multiple access register block unit 120 is composed of a register block unit 121 and a multiple scan line multiplexer unit 122.

레지스터 블록부(121)는 데이터 버퍼부(110)에 저장된 디지털 신호를 지연시간 보간 계산부(140)의 채널 정수 지연시간에 기초하여 각 채널별 레지스터에 저장한다. 또한 레지스터 블록부(121)는 각 채널별 레지스터에 저장된 디지털 신호를 지연시간 보간 계산부(140)의 채널 정수 지연시간에 따라 다중 주사선 멀티플렉서부(122)로 출력한다. 채널 정수 지연시간이란 각 주사선에 대응하는 지연시간의 정수 부분을 의미한다.The register block unit 121 stores the digital signal stored in the data buffer unit 110 in the register for each channel based on the channel integer delay time of the delay time interpolation calculator 140. In addition, the register block 121 outputs the digital signal stored in the register for each channel to the multiple scan line multiplexer 122 according to the channel integer delay time of the delay time interpolation calculator 140. The channel constant delay time means an integer part of the delay time corresponding to each scan line.

즉, 레지스터 블록부(121)는 동적 집속해야 할 각 채널 데이터를 지연시간 보간 계산부(140)에서 계산한 주소값을 이용하여 데이터 버퍼부(110)로부터 수신한다. 수신된 채널 데이터는 채널마다 존재하는 레지스터에 차례로 저장되는데 채널 데이터를 저장하는 방식은 각 주사선에 대해 계산한 각 채널 정수 지연시간의 최대값을 선택하고 이 값이 변화할 때마다 레지스터를 시프트시켜 채널 데이터를 저장한다.That is, the register block unit 121 receives each channel data to be dynamically focused from the data buffer unit 110 using the address value calculated by the delay time interpolation calculator 140. Received channel data is stored in registers which exist for each channel in turn. The method of storing channel data selects the maximum value of each channel integer delay time calculated for each scan line and shifts the register whenever this value changes. Save the data.

다중 주사선 멀티플렉서부(122)는 레지스터 블록부(121)에 저장된 채널 데이터를 각 채널 정수 지연시간을 이용하여 각 주사선별로 출력한다.The multiple scan line multiplexer unit 122 outputs the channel data stored in the register block unit 121 for each scan line using the channel integer delay time.

소수 합성 지연 블록부(130)는 다중 주사선 멀티플렉서부(122)로부터 각 주사선별 채널 데이터를 수신하고, 수신된 채널 데이터를 지연시간 보간 계산부(140)로부터 수신한 채널 소수 지연시간에 근거하여 동일한 채널 소수 지연시간을 갖는 채널 데이터를 선택하여 합성한 다음, 소수지연 필터를 통과시킨다. 채널 소수 지연시간이란, 빔집속의 정확도를 높이기 위해서 각각의 채널에 사용하는 보다 세밀한 지연값을 의미하며, 이를 위해 지연시간의 소수부분(분수값)을 사용한다. 지연시간의 소수부분을 사용하여 이에 상응하는 수신값을 얻어내기 위해 소수지연(fractional delay) 필터를 이용한다. 소수 합성 지연 블록부(130)는 소수지연 선택 합성기(131) 및 소수지연 필터부(132)로 구성된다.The fractional synthesis delay block unit 130 receives the channel data for each scan line from the multiple scan line multiplexer unit 122 and performs the same channel based on the channel fractional delay time received from the delay time interpolation calculator 140. Channel data with channel fractional delays are selected, synthesized, and passed through a fractional delay filter. The channel fractional delay time means a finer delay value used for each channel in order to increase the accuracy of beam focusing, and uses a fractional part (fractional value) of the delay time for this purpose. A fractional delay filter is used to obtain the corresponding received value using the fractional part of the delay. The prime synthesis delay block 130 is composed of a prime delay select synthesizer 131 and a prime delay filter 132.

소수지연 선택 합성기(131)는 다중 주사선 멀티플렉서부(122)로부터 각 주사선별 채널 데이터를 수신하고, 수신된 채널 데이터를 지연시간 보간 계산부(140)로부터 수신한 채널 소수 지연시간에 근거하여 동일한 채널 소수 지연시간을 갖는 채널 데이터를 선택하여 합성한 다음, 소수지연 필터부(132)로 출력한다. 이때 각각의 주사선별로 대응하는 소수지연 선택 합성기(131)가 있는 것이 바람직하다.The fractional delay select synthesizer 131 receives the channel data for each scan line from the multiple scan line multiplexer unit 122 and the same channel based on the channel fractional delay time received from the delay time interpolation calculator 140. Channel data having a fractional delay time is selected and synthesized, and then output to the fractional delay filter unit 132. In this case, it is preferable that there is a decimal delay select synthesizer 131 corresponding to each scan line.

소수지연 필터부(132)는 채널 소수 지연시간별로 하나씩 존재하며, 탭수가 4개일 경우에는 채널 소수 지연시간 D는 0.00, 0.25, 0.50, 0.75로 표시된다. 사용되는 소수지연 필터의 탭수는 빔집속 시스템이 얻고자 하는 성능에 따라 가변할 수 있으며 얻고자 하는 지연시간의 정확도에 따라 필터의 세트수가 결정된다. 소수지연 필터의 세트(계수)는 지연시간의 소수부에 따라 결정되는데 본 발명의 일 실시예에서는 같은 계수를 사용하는 채널끼리 모아서 미리 더한 후 마지막에 한 번만 필터링을 취하는 구조인 후치필터링(post-filtering)를 사용하는 것이 바람직하다. 이러한 후치필터링 기법은 빔집속 시스템의 채널수와 상관없이 한번의 필터링만으로 빔집속을 할 수 있게 함으로써 하드웨어 복잡도를 크게 줄일 수 있다.The fractional delay filter unit 132 is provided for each channel fractional delay time, and when the number of taps is four, the channel fractional delay time D is expressed as 0.00, 0.25, 0.50, and 0.75. The number of taps of the fractional delay filter used can vary depending on the performance desired by the beam focusing system, and the number of sets of filters is determined by the accuracy of the delay time desired. The set (coefficient) of the delay delay filter is determined according to the fractional part of the delay time. In an embodiment of the present invention, post-filtering is a structure in which channels using the same coefficient are collected beforehand, and then filtered only once. Is preferably used. This post-filtering technique can significantly reduce hardware complexity by enabling beam focusing with only one filtering regardless of the number of channels in the beam focusing system.

따라서, 본 발명의 일 실시예에 따른 소수 합성 지연 블록부(130)는 동일한 소수지연(fractional delay)이 주어져야 하는 모든 채널의 데이터를 블록 합산하고, 이 합산된 채널 데이터는 해당 소수지연 필터(즉, 0, 0.25, 0.5, 0.75 소수지연 필터 중 하나)에 공급되도록 한다.Accordingly, the fractional synthesis delay block unit 130 according to an embodiment of the present invention blocks summing data of all channels to which the same fractional delay is to be given, and the summed channel data is a corresponding fractional delay filter (i.e. , 0, 0.25, 0.5, 0.75 fractional delay filter).

지연시간 보간 계산부(140)는 채널 정수 지연시간을 데이터 버퍼부(110) 및 다중 접속 레지스터 블록부(120)로 출력하고, 채널 소수 지연시간을 소수 합성 지연 블록부(130)로 출력한다. 지연시간 보간 계산부(140)에 대해서는 도 2를 참조하여 보다 상세하게 살펴보기로 한다.The delay time interpolation calculator 140 outputs the channel integer delay time to the data buffer unit 110 and the multiple access register block unit 120, and outputs the channel fractional delay time to the fractional synthesis delay block unit 130. The delay time interpolation calculator 140 will be described in more detail with reference to FIG. 2.

도 2는 본 발명의 일 실시예에 따른 다중 접속 레지스터 블록부(120)와 지연시간 보간 계산부(140)의 상세도이다. 2 is a detailed diagram of the multiple access register block unit 120 and the delay time interpolation calculator 140 according to an embodiment of the present invention.

다중 접속 레지스터 블록부(120)는 도 1에서 상세하게 살펴보았으므로, 설명을 생략한다.Since the multiple access register block unit 120 has been described in detail with reference to FIG. 1, description thereof will be omitted.

도 2를 참조하면, 지연시간 보간 계산부(140)는 채널 정수 지연시간 계산부(141), 채널 정수 지연시간 최대값 선택부(142), 채널 정수 지연시간 변화 감지부(143), 및 차이 비교부(144)로 구성된다.Referring to FIG. 2, the delay time interpolation calculator 140 includes a channel integer delay time calculator 141, a channel integer delay time maximum selector 142, a channel integer delay time change detector 143, and a difference. It consists of a comparator 144.

채널 정수 지연시간 계산부(141)는 각 주사선별 채널 정수 지연시간을 계산한다. 4개의 주사선들 각각에 대응하는 채널 정수 지연시간을 M, M+1, M+2, M+3으로 표현할 수 있다.The channel integer delay time calculator 141 calculates the channel integer delay time for each scan line. The channel integer delay time corresponding to each of the four scan lines may be expressed as M, M + 1, M + 2, and M + 3.

채널 정수 지연시간 최대값 선택부(142)는 채널 정수 지연시간 계산부(141)가 계산한 채널 정수 지연시간들 중에서 최대값을 선택한다.The channel integer delay time maximum value selector 142 selects a maximum value from the channel integer delay times calculated by the channel integer delay time calculator 141.

채널 정수 지연시간 변화 감지부(143)는 채널 정수 지연시간의 최대값이 변화하는 것을 감지한다. 채널 정수 지연시간 변화 감지부(143)가 채널 정수 지연시간의 최대값이 변화하는 것을 감지할 때마다 레지스터 블록부(121)의 레지스터를 시프트(shift)시킨다.The channel constant delay time change detector 143 detects that the maximum value of the channel constant delay time changes. Whenever the channel constant delay time change detector 143 detects that the maximum value of the channel integer delay time changes, the register of the register block 121 is shifted.

차이 비교부(144)는 채널 정수 지연시간 최대값 선택부(142)에서 선택된 최대값과 각 주사선에 대응하는 채널 정수 지연시간 간의 차이를 비교하고, 그 비교 결과에 따라 다중 주사선 멀티플렉서부(122)로 제어값을 출력한다.The difference comparator 144 compares the difference between the maximum value selected by the channel integer delay time maximum value selector 142 and the channel integer delay time corresponding to each scan line, and according to the comparison result, the multiple scan line multiplexer 122 Output the control value.

도 2에 도시된 레지스터 블록부(121)에 저장된 채널 데이터는 인접한 8개의 채널 데이터가 서로 묶여져서 다중 주사선 멀티플렉서부(122)에 연결되는데 이는 소수 합성 지연 블록부(130)에 입력될 블록 데이터를 구성하게 되고 다중 주사선 멀티플렉서부(122)에서의 선택은 채널 정수 지연시간 최대값 선택부(142)에 의해 구해진 채널 정수 지연시간 최대값과 각 주사선을 위한 채널 정수 지연시간 간의 차이에 의해서 이루어지게 된다.The channel data stored in the register block unit 121 shown in FIG. 2 is coupled to the multi-scan line multiplexer unit 122 in which eight adjacent channel data are bundled together, which blocks the block data to be input to the fractional synthesis delay block unit 130. The selection in the multiple scan line multiplexer section 122 is made by the difference between the channel integer delay time maximum value obtained by the channel integer delay time maximum selector 142 and the channel integer delay time for each scan line. .

도 3은 본 발명의 바람직한 일 실시예에 따른 다중 주사선 생성 방법의 흐름도이다.3 is a flowchart illustrating a method for generating multiple scan lines according to an exemplary embodiment of the present invention.

도 3을 참조하면, 본 실시예에 따른 다중 주사선 생성 방법은 도 1에 도시된 다중 주사선 생성 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 다중 주사선 생성 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 다중 주사선 생성 방법에도 적용된다. Referring to FIG. 3, the method for generating a multi-scan line according to the present embodiment includes steps that are processed in time series in the multi-scan line generating apparatus shown in FIG. 1. Therefore, even if omitted below, the above descriptions of the apparatus for generating a multi-scan line shown in FIG. 1 also apply to the method for generating a multi-scan line according to the present embodiment.

300 단계에서 다중 주사선 생성 장치는 빔집속할 화소점을 선택한다.In operation 300, the apparatus for generating multiple scan lines selects pixel points for beam focusing.

310 단계에서 다중 주사선 생성 장치는 선택된 화소점에 대응하는 채널 정수 지연시간의 최대값을 선택한다.In operation 310, the apparatus for generating multiple scan lines selects the maximum value of the channel integer delay time corresponding to the selected pixel point.

320 단계에서 다중 주사선 생성 장치는 채널 정수 지연시간의 최대값의 변화를 감지한다.In operation 320, the apparatus for generating multiple scan lines detects a change in the maximum value of the channel integer delay time.

330 단계에서 다중 주사선 생성 장치는 채널 정수 지연시간의 최대값이 변화하였는지 여부를 판단한다. 상기 판단 결과 채널 정수 지연시간의 최대값이 변화한 경우에는 340 단계로 진행하고, 변화하지 않은 경우에는 310 단계로 진행한다.In operation 330, the apparatus for generating multiple scan lines determines whether the maximum value of the channel integer delay time has changed. As a result of the determination, if the maximum value of the channel constant delay time is changed, the process proceeds to step 340, and if it does not change, the process proceeds to step 310.

340 단계에서 다중 주사선 생성 장치는 채널 정수 지연시간의 최대값이 변화할 때마다 레지스터를 시프트하고, 채널 데이터를 레지스터에 저장한다.In operation 340, the apparatus for generating multiple scan lines shifts the register whenever the maximum value of the channel integer delay time changes, and stores the channel data in the register.

350 단계에서 다중 주사선 생성 장치는 채널 정수 지연시간의 최대값과 각 주사선별 채널 정수 지연시간의 차이를 계산한다.In operation 350, the apparatus for generating multiple scan lines calculates a difference between the maximum value of the channel integer delay time and the channel integer delay time for each scan line.

360 단계에서 다중 주사선 생성 장치는 350 단계에서 계산된 차이를 이용하여 레지스터 블록에 저장된 채널 데이터를 선택하여 출력한다.In operation 360, the multi-scan line generating apparatus selects and outputs channel data stored in the register block using the difference calculated in operation 350.

370 단계에서 다중 주사선 생성 장치는 각 주사선별 채널 데이터를 수신하고, 채널 소수 지연시간에 근거하여 동일한 채널 소수 지연시간을 갖는 채널 데이터를 선택하여 합성한다.In operation 370, the apparatus for generating multiple scan lines receives channel data for each scan line, and selects and synthesizes channel data having the same channel fractional delay time based on the channel fractional delay time.

380 단계에서 다중 주사선 생성 장치는 370 단계에서 합성된 채널 데이터를 채널 소수 지연시간에 대응하는 소수지연 필터에 통과시킨다.In operation 380, the apparatus for generating multiple scan lines passes the channel data synthesized in operation 370 to the fractional delay filter corresponding to the channel fractional delay time.

본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by specific embodiments such as specific components and the like. For those skilled in the art to which the present invention pertains, various modifications and variations are possible. Therefore, the spirit of the present invention should not be limited to the described embodiments, and all of the equivalents or equivalents of the claims as well as the claims to be described later will belong to the scope of the present invention. .

Claims (11)

복수의 주사선들 각각에 대응하는 채널 정수 지연시간의 최대값을 선택하는 단계;
상기 선택된 최대값이 변화될 때마다 레지스터를 시프트하여 채널 데이터를 저장하는 단계;
상기 선택된 최대값과 상기 복수의 주사선들 각각에 대응하는 채널 정수 지연시간 간의 차이에 기초하여 상기 저장된 채널 데이터들을 선택하는 단계; 및
상기 선택된 채널 데이터들을 각 주사선별로 합성하는 단계를 포함하는 것을 특징으로 하는 다중 주사선 생성 방법.
Selecting a maximum value of a channel integer delay time corresponding to each of the plurality of scan lines;
Shifting a register to store channel data each time the selected maximum value is changed;
Selecting the stored channel data based on a difference between the selected maximum value and a channel integer delay time corresponding to each of the plurality of scan lines; And
And synthesizing the selected channel data for each scan line.
제 1 항에 있어서,
상기 각 주사선별로 합성된 채널 데이터를 소수지연 필터링하는 단계를 더 포함하는 것을 특징으로 하는 다중 주사선 생성 방법.
The method of claim 1,
And performing a fractional delay filtering of the channel data synthesized for each scan line.
제 2 항에 있어서,
상기 선택된 채널 데이터들을 각 주사선별로 합성하는 단계는
상기 각 주사선별로 동일한 채널 소수 지연시간을 갖는 채널 데이터를 합성하는 것을 특징으로 하고,
상기 소수지연 필터링을 하는 단계는
상기 각 주사선별로 합성된 동일한 채널 소수 지연시간을 갖는 채널 데이터를 소수지연 필터링하는 단계인 것을 특징으로 하는 다중 주사선 생성 방법.
The method of claim 2,
Synthesizing the selected channel data for each scan line
And synthesizing channel data having the same channel fractional delay time for each scan line,
The fractional delay filtering
And prime-delay filtering channel data having the same channel fractional delay time synthesized for each scan line.
제 1 항에 있어서,
채널별로 대응하는 메모리에 상기 채널 데이터를 저장하는 단계를 더 포함하고,
상기 채널 데이터를 저장하는 단계는
상기 선택된 최대값이 변화될 때마다 레지스터를 시프트하여 상기 메모리에 저장된 채널 데이터를 상기 레지스터에 저장하는 단계인 것을 특징으로 하는 다중 주사선 생성 방법.
The method of claim 1,
Storing the channel data in a memory corresponding to each channel;
The storing of the channel data may include
And shifting a register each time the selected maximum value is changed to store channel data stored in the memory in the register.
제 1 항에 있어서,
상기 최대값의 변화는 상기 최대값의 정수부분의 변화로부터 감지되는 것을 특징으로 하는 다중 주사선 생성 방법.
The method of claim 1,
And wherein the change in the maximum value is detected from a change in the integer portion of the maximum value.
복수의 주사선들 각각에 대응하는 채널 정수 지연시간의 최대값을 선택하는 채널 정수 지연시간 최대값 선택부;
상기 선택된 최대값이 변화될 때마다 레지스터를 시프트하여 채널 데이터를 저장하는 레지스터 블록부;
상기 선택된 최대값과 상기 복수의 주사선들 각각에 대응하는 채널 정수 지연시간 간의 차이에 기초하여 상기 저장된 채널 데이터들을 선택하는 다중 주사선 멀티플렉서부; 및
상기 선택된 채널 데이터들을 각 주사선별로 합성하는 합성부를 포함하는 것을 특징으로 하는 다중 주사선 생성 장치.
A channel integer delay time maximum value selector selecting a maximum value of a channel integer delay time corresponding to each of the plurality of scan lines;
A register block unit for shifting a register to store channel data each time the selected maximum value is changed;
A multiple scan line multiplexer unit for selecting the stored channel data based on a difference between the selected maximum value and a channel integer delay time corresponding to each of the plurality of scan lines; And
And a synthesizer for synthesizing the selected channel data for each scan line.
제 6 항에 있어서,
상기 각 주사선별로 합성된 채널 데이터를 소수지연 필터링하는 소수지연 필터부를 더 포함하는 것을 특징으로 하는 다중 주사선 생성 장치.
The method according to claim 6,
And a fractional delay filter unit for fractional delay filtering the channel data synthesized for each scan line.
제 7 항에 있어서,
상기 합성부는 상기 각 주사선별로 동일한 채널 소수 지연시간을 갖는 채널 데이터를 합성하는 것을 특징으로 하고,
상기 소수지연 필터부는 상기 각 주사선별로 합성된 동일한 채널 소수 지연시간을 갖는 채널 데이터를 소수지연 필터링하는 것을 특징으로 하는 다중 주사선 생성 장치.
The method of claim 7, wherein
The synthesis unit synthesizes channel data having the same channel fractional delay time for each scan line,
And the fractional delay filter unit performs fractional delay filtering on channel data having the same channel fractional delay time synthesized for each scan line.
제 6 항에 있어서,
채널별로 상기 채널 데이터를 저장하는 메모리를 더 포함하고,
상기 레지스터 블록부는
상기 선택된 최대값이 변화될 때마다 레지스터를 시프트하여 상기 메모리에 저장된 채널 데이터를 상기 레지스터에 저장하는 것을 특징으로 하는 다중 주사선 생성 장치.
The method according to claim 6,
Further comprising a memory for storing the channel data for each channel,
The register block portion
And shifting a register each time the selected maximum value is changed to store the channel data stored in the memory in the register.
제 6 항에 있어서,
상기 최대값의 변화는 상기 최대값의 정수부분의 변화로부터 감지되는 것을 특징으로 하는 다중 주사선 생성 장치.
The method according to claim 6,
And wherein the change in the maximum value is detected from a change in the integer portion of the maximum value.
제 1 항 내지 제 5 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 1 to 5.
KR1020100016433A 2010-02-23 2010-02-23 Method and apparatus of forming multiple scanning lines KR101135065B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100016433A KR101135065B1 (en) 2010-02-23 2010-02-23 Method and apparatus of forming multiple scanning lines

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100016433A KR101135065B1 (en) 2010-02-23 2010-02-23 Method and apparatus of forming multiple scanning lines

Publications (2)

Publication Number Publication Date
KR20110096902A true KR20110096902A (en) 2011-08-31
KR101135065B1 KR101135065B1 (en) 2012-04-13

Family

ID=44931999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100016433A KR101135065B1 (en) 2010-02-23 2010-02-23 Method and apparatus of forming multiple scanning lines

Country Status (1)

Country Link
KR (1) KR101135065B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122275A1 (en) * 2012-02-17 2013-08-22 알피니언메디칼시스템 주식회사 Weighted interpolation method and ultrasonic diagnostic apparatus using same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355719B1 (en) * 2000-06-10 2002-10-11 주식회사 메디슨 Ultrasound receive beamforming apparatus using multi-tier delay devices
JP2004216047A (en) 2003-01-17 2004-08-05 Hitachi Medical Corp Ultrasonic diagnostic apparatus
KR100947822B1 (en) * 2006-05-23 2010-03-18 주식회사 메디슨 Ultrasound diagnosis system and method for outputting digital signal
KR100948046B1 (en) * 2007-04-18 2010-03-19 주식회사 메디슨 Ultrasound system and method for forming ultrasound image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122275A1 (en) * 2012-02-17 2013-08-22 알피니언메디칼시스템 주식회사 Weighted interpolation method and ultrasonic diagnostic apparatus using same

Also Published As

Publication number Publication date
KR101135065B1 (en) 2012-04-13

Similar Documents

Publication Publication Date Title
AU2015247501B2 (en) Ultrasonic imaging compression methods and apparatus
US20090099451A1 (en) Ultrasonic imaging apparatus and a method for generating an ultrasonic image
JP5931195B2 (en) Ultrasonic diagnostic apparatus and method of operating ultrasonic diagnostic apparatus
KR101555259B1 (en) Method And Apparatus for Compounding Ultrasound Image
JP2009112813A (en) Receive beamformer
JP2007313319A (en) Ultrasonic diagnostic system and method for forming multiple receiving scan line
KR20120138478A (en) Ultrasound imaging apparatus and method using synthetic aperture imaging
US10743842B2 (en) Ultrasound signal processor, ultrasound signal processing method, and ultrasound diagnostic device
US6514205B1 (en) Medical digital ultrasonic imaging apparatus capable of storing and reusing radio-frequency (RF) ultrasound pulse echoes
KR101135065B1 (en) Method and apparatus of forming multiple scanning lines
JP4278343B2 (en) 3D ultrasound imaging system
JP2002209887A (en) Ultrasonic image pickup system, reception and transmission converging device and its method
KR20120007457A (en) Ultrasonic diagnostic apparatus
KR101555267B1 (en) Method And Apparatus for Beamforming by Using Unfocused Ultrasound
KR101123008B1 (en) Method for imaging color flow images, ultrasound apparatus therefor
US11129595B2 (en) Ultrasonic diagnostic apparatus, interpolation processing unit, and interpolation processing method
KR20110096903A (en) Method and apparatus of interpolating delay in ultrasound beamformer
KR101555264B1 (en) Ultrasound Diagnostic Apparatus and Method
JP6863817B2 (en) Ultrasound imaging device
CN111012379A (en) Method and system for performing ultrasound imaging
KR101510678B1 (en) Method for Forming Harmonic Image, Ultrasound Medical Apparatus Therefor
KR101124153B1 (en) Ultrasonic imaging apparatus and method for generating ultrasonic image
JPH07171152A (en) Ultrasonic diagnostic device
KR20120086992A (en) Synthetic aperture beamforming method of determining the number of synthesized beams referring to degree of motion and apparatus using it
CN108024797B (en) Ultrasonic diagnostic apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160405

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170404

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 8