JPH07109624B2 - Ultrasonic diagnostic equipment - Google Patents

Ultrasonic diagnostic equipment

Info

Publication number
JPH07109624B2
JPH07109624B2 JP2202696A JP20269690A JPH07109624B2 JP H07109624 B2 JPH07109624 B2 JP H07109624B2 JP 2202696 A JP2202696 A JP 2202696A JP 20269690 A JP20269690 A JP 20269690A JP H07109624 B2 JPH07109624 B2 JP H07109624B2
Authority
JP
Japan
Prior art keywords
data
frame
ultrasonic diagnostic
circuit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2202696A
Other languages
Japanese (ja)
Other versions
JPH0486583A (en
Inventor
豊 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2202696A priority Critical patent/JPH07109624B2/en
Publication of JPH0486583A publication Critical patent/JPH0486583A/en
Publication of JPH07109624B2 publication Critical patent/JPH07109624B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、超音波診断装置、特にフレーム相関回路を有
する超音波診断装置に関する。
The present invention relates to an ultrasonic diagnostic apparatus, and more particularly to an ultrasonic diagnostic apparatus having a frame correlation circuit.

〔従来の技術〕[Conventional technology]

超音波診断装置においては、超音波送受信回路とモニタ
との間にDSCが設けられている。このDSCは、テレビジョ
ン信号と非同期で得られる画像データをテレビジョン信
号に変換するための装置であり、主にメモリによって構
成されている。
In the ultrasonic diagnostic apparatus, a DSC is provided between the ultrasonic transmitting / receiving circuit and the monitor. The DSC is a device for converting image data obtained asynchronously with a television signal into a television signal, and is mainly composed of a memory.

前記DSCでは、画像フレームごとの相関をとるフレーム
相関処理を行っている。このフレーム相関処理は、得ら
れた画像についてのフレームごとの平均をとり、画面上
のちらつきの発生原因となるノイズを低減するものであ
る。
In the DSC, frame correlation processing that correlates each image frame is performed. This frame correlation processing is to reduce the noise that causes flicker on the screen by averaging the obtained images frame by frame.

従来のDSC内におけるフレーム相関回路を第2図に示
す。従来装置の場合、フレーム相関回路として動作する
のは、ROM1である。ROM1は、新しく入力されてくるデー
タyiがROM1のアドレス上位8ビットに入力される。一
方、画像メモリ2内に格納されている1フレーム前のデ
ータyi-1をROM1のアドレス下位8ビットへ入力すること
により、出力ziとして、 zi=a・yi+b・yi-1 を得る。この出力データziは、画像メモリ2の、データ
yiが格納されるべきアドレスに記憶される。
A frame correlation circuit in a conventional DSC is shown in FIG. In the case of the conventional device, it is the ROM1 that operates as the frame correlation circuit. In the ROM1, the newly input data y i is input to the upper 8 bits of the address of the ROM1. On the other hand, by inputting the data y i-1 of the previous frame stored in the image memory 2 to the lower 8 bits of the address of the ROM 1 , the output z i is z i = a · y i + b · y i- Get one . This output data z i is the data of the image memory 2.
It is stored at the address where y i should be stored.

ここで、ROM1の内容を作成する従来のアルゴリズムは、
アドレスAを16ビット、データDを8ビットとすると、 B=A/256(切り捨て) B:アドレス上位8ビットでデータyiに対応 C=A−B×256 C:アドレス下位8ビットでデータyi-1に対応 D=a・B+b・c であった。そして、従来のフレーム相関処理はノイズの
除去が目的であり、前記a,bの値は固定されている。こ
れによってROM1は線形のローパスフィルタを構成してい
る。
Here, the conventional algorithm for creating the contents of ROM1 is
If address A is 16 bits and data D is 8 bits, B = A / 256 (truncated) B: Address high 8 bits corresponds to data y i C = AB−256 C: Address low 8 bits data y Corresponding to i-1 D = a · B + b · c. The conventional frame correlation processing is intended to remove noise, and the values of a and b are fixed. As a result, ROM1 constitutes a linear low-pass filter.

〔発明が解決しようとする課題〕[Problems to be Solved by the Invention]

超音波診断装置において、心臓Bモード画像における増
幅弁等はかなり速いスピードで動いており、心腔内には
スペックルやサイドロープに起因するちらちらしたノイ
ズが存在している。このノイズは、従来装置のように係
数a,bを等しく「0.5」に設定して平均化処理することに
より低減できる。しかし、このように係数a,bを等しく
設定すると、前記のようなかなり速いスピードで動く増
幅弁等については画像がボケてしまう。一方、この増幅
弁を明瞭に表示しようとすれば、aを「1」程度に設定
し、またbを「0」程度に設定しなければならない。
In the ultrasonic diagnostic apparatus, the amplification valve and the like in the heart B-mode image are moving at a considerably high speed, and there are flickering noises due to speckles and side ropes in the heart chamber. This noise can be reduced by setting the coefficients a and b to be equal to "0.5" and performing averaging processing as in the conventional device. However, if the coefficients a and b are set to be equal in this way, the image will be blurred for the amplification valve or the like that moves at a considerably high speed as described above. On the other hand, in order to clearly display this amplification valve, a must be set to about "1" and b must be set to about "0".

このように、ノイズを低減しようとすればするほど動き
の速い部分の画像に対してもローパスが同じようにかか
り、画像がボケてしまう。逆に動きの速い部分を明瞭に
表示しようとすれば、ノイズが低減できなくなってしま
う。
In this way, as the noise is reduced, the low-pass is similarly applied to the image of the fast-moving portion, and the image is blurred. On the other hand, if an attempt is made to clearly display a fast-moving part, noise cannot be reduced.

本発明の目的は、ノイズを低減でき、しかも動きの速い
部位を明瞭に表示することができる超音波診断装置を提
供することにある。
An object of the present invention is to provide an ultrasonic diagnostic apparatus that can reduce noise and can clearly display a fast-moving part.

〔課題を解決するための手段〕[Means for Solving the Problems]

本発明に係る超音波診断装置は、フレーム相関回路と、
相関演算データ出力手段とを備えている。フレーム相関
回路は、プローブ及び超音波送受信回路により得られる
画像データについて、入力されてくるフレームのデータ
及び先のフレームのデータを所定の係数に基づいて平均
する。相関演算データ出力手段は、フレーム相関回路に
設けられ、1または2以上の閾値を有し、入力データと
先のデータとを閾値と比較してこの比較結果に基づいて
フレーム相関回路の係数の値を決定するとともに、フレ
ーム相関回路が演算するデータを出力する。
An ultrasonic diagnostic apparatus according to the present invention, a frame correlation circuit,
And a correlation calculation data output means. The frame correlation circuit averages the input frame data and the previous frame data of the image data obtained by the probe and the ultrasonic transmission / reception circuit based on a predetermined coefficient. The correlation calculation data output means is provided in the frame correlation circuit, has a threshold value of 1 or 2 or more, compares the input data and the previous data with the threshold value, and based on the comparison result, the coefficient value of the frame correlation circuit. And the data calculated by the frame correlation circuit is output.

〔作用〕[Action]

本発明では、入力されてくるフレームのデータ(入力デ
ータ)の値と先のフレームのデータ(先のデータ)の値
をそれぞれ閾値と比較する。この比較結果に基づいて、
入力データと先のデータとを平均する係数を変化させ
る。
In the present invention, the value of the data of the input frame (input data) and the value of the data of the previous frame (the previous data) are respectively compared with the threshold value. Based on this comparison result,
The coefficient for averaging the input data and the previous data is changed.

たとえば、データの値がそれ以下であればノイズと判断
できる第1の値とデータの値がそれ以上であれば生体内
の組織であると判断できる程度に充分大きな第2の値と
を閾値として設定する。入力データ及び先のデータが第
1の値以下であれば、入力データがノイズであることが
明白であり、従来同様に入力データと先のデータのそれ
ぞれに掛け合わせる係数としてノイズを低減できるよう
な係数を選択する。
For example, if the value of the data is less than that, the first value that can be determined to be noise, and if the value of the data is more than that, the second value that is large enough to determine the tissue in vivo is used as the threshold value. Set. If the input data and the previous data are less than or equal to the first value, it is clear that the input data is noise, and noise can be reduced as a coefficient to be multiplied with each of the input data and the previous data as in the conventional case. Select a coefficient.

また、入力データ及び先のデータの少なくともいずれか
一方が第2の値以上の場合は、入力信号は何らかの意味
を持つ信号であると判断できるので、この場合には先の
データとの平均をとらずに入力データが強調されるよう
な係数を選択する。
If at least one of the input data and the previous data is equal to or greater than the second value, it can be determined that the input signal is a signal having some meaning. In this case, the average with the previous data is taken. Instead, select a coefficient that emphasizes the input data.

さらに、入力データ及び先のデータが第1の値と第2の
値との中間である場合、入力データと先のデータのそれ
ぞれに対してノイズ低減用の係数と強調用の係数の中間
の値となる係数を選択する。
Further, when the input data and the previous data are intermediate between the first value and the second value, an intermediate value between the noise reduction coefficient and the enhancement coefficient for each of the input data and the previous data. Select the coefficient.

超音波診断装置では、いわゆるBモード画像等の断層画
像データにおいて、生体の組織とそれ以外の部分から得
られるデータのレベルの差がかなり大きくなっている。
したがって、第2の閾値を第1の閾値と比して充分大き
な値とし、入力データ及び先のデータをそれぞれ閾値と
比較することにより、そのデータが生体の組織によるデ
ータであるが、組織以外の部位からのデータであるか、
あるいはノイズであるかを判別することが確実にかつ容
易に行うことができる。たとえば超音波診断装置におけ
る心臓のBモード画像においては非常に速く運動してい
る弁の画像が明瞭に表示され、しかもノイズレベルはフ
レーム相関が十分にかかるので画面上のちらつきがなく
なる。
In the ultrasonic diagnostic apparatus, in tomographic image data such as a so-called B-mode image, the level difference between the data obtained from the tissue of the living body and the other portions is considerably large.
Therefore, by setting the second threshold value to a value sufficiently larger than the first threshold value and comparing the input data and the previous data with the threshold value, respectively, the data is the data of the tissue of the living body. Data from the site,
Alternatively, it can be surely and easily determined whether it is noise. For example, in a B-mode image of the heart in an ultrasonic diagnostic apparatus, an image of a valve that is moving very fast is clearly displayed, and the noise level is sufficiently frame-correlated to prevent flicker on the screen.

〔実施例〕〔Example〕

第1図は本発明の一実施例によるフレーム相関回路が採
用された超音波診断装置の概略ブロック構成図である。
FIG. 1 is a schematic block configuration diagram of an ultrasonic diagnostic apparatus adopting a frame correlation circuit according to an embodiment of the present invention.

この超音波診断装置は、診断装置本体10と、この診断装
置本体10に接続されたプローブ11とから構成されてい
る。プローブ11は、たとえば複数の微小振動子から構成
されている。装置本体10は、プローブ11に接続された超
音波送受信回路12と、DSC13と、モニタ14と、制御部15
とを有している。また、超音波送受信回路12とDSC13と
の間には、アナログ信号をディジタル信号に変換するA/
D変換回路16が設けられ、またDSC13とモニタ14との間に
は、ディジタル信号をアナログ信号に変換するD/A変換
回路17が設けられている。
This ultrasonic diagnostic apparatus includes a diagnostic apparatus main body 10 and a probe 11 connected to the diagnostic apparatus main body 10. The probe 11 is composed of, for example, a plurality of minute oscillators. The device main body 10 includes an ultrasonic transmission / reception circuit 12 connected to a probe 11, a DSC 13, a monitor 14, and a control unit 15.
And have. Further, between the ultrasonic transmission / reception circuit 12 and the DSC 13, an A / D converter for converting an analog signal into a digital signal is provided.
A D conversion circuit 16 is provided, and a D / A conversion circuit 17 for converting a digital signal into an analog signal is provided between the DSC 13 and the monitor 14.

超音波送受信回路12は、超音波ビームを送波するための
高周波パルス発振器や反射エコーを増幅する増幅器及び
検波回路等を含んでおり、Bモード断層像信号が得られ
るようになっている。また、DSC13は、バッファメモ
リ、画像メモリ、映像信号混合器等を含んでおり、超音
波送受信回路12で得られる画像データを、テレビジョン
信号に変換するための回路である。またこのDSC13にフ
レーム相関回路が構成されている。DSC13で得られた信
号は、D/A変換回路17を介してアナログ信号に変換さ
れ、モニタ14上に表示されるようになっている。
The ultrasonic transmission / reception circuit 12 includes a high-frequency pulse oscillator for transmitting an ultrasonic beam, an amplifier for amplifying reflected echoes, a detection circuit, etc., and is adapted to obtain a B-mode tomographic image signal. The DSC 13 is a circuit that includes a buffer memory, an image memory, a video signal mixer, and the like, and is for converting the image data obtained by the ultrasonic transmission / reception circuit 12 into a television signal. A frame correlation circuit is formed in this DSC13. The signal obtained by the DSC 13 is converted into an analog signal via the D / A conversion circuit 17 and displayed on the monitor 14.

前記DSC13には、第2図に示すように、画像メモリ2と
フレーム相関回路を構成するROM1が設けられている。
As shown in FIG. 2, the DSC 13 is provided with an image memory 2 and a ROM 1 which constitutes a frame correlation circuit.

ROM1は、入力データyiとこの1つ前のフレームのデータ
yi-1とをアドレスとして、これらのデータから相関処理
を行ったデータziを画像メモリ2に対して出力するもの
である。このROM1の内容は、以下のようなアルゴリズム
で作成されている。
ROM1 is the input data y i and the data of the previous frame
Using y i-1 as an address, data z i obtained by performing correlation processing from these data is output to the image memory 2. The contents of ROM1 are created by the following algorithm.

すなわち、アドレスをA(16ビット)とし、データをD
(8ビット)とする。そして、 B=A/256(切り捨て) B:アドレス上位8ビットで、入力データyiに対応 C=A−B×256 C:アドレス下位8ビットで、1フレーム前のデータyi-1
に対応 とする。このとき、 前記B及びCが同時にd(たとえば「10」)以下であ
れば、これらはノイズと判断できるので、出力データD
としては、 D=a1・B+b1・C a1=b1=0.5 とする。また、 B及びCが同時にd以上でe(e>d)以下であれ
ば、これらはノイズと断層データの中間と判断できるの
で、出力データDとしては、 D=a2・B+b2・C a2・0.75,b2=0.25 とする。さらに、 BとCのうちいずれか一方がf(f>e)以上であれ
ば、これらは断層データであると判断できるので、出力
データDとしては、 D=a3・B+b3・C a3=1.0,b3=0 とする。
That is, the address is A (16 bits) and the data is D
(8 bits). Then, B = A / 256 (rounded down) B: Address upper 8 bits, corresponding to input data y i C = A−B × 256 C: Address lower 8 bits, data y i-1 one frame before
It corresponds to. At this time, if B and C are equal to or less than d (for example, “10”) at the same time, it can be determined that they are noises.
As follows, D = a 1 · B + b 1 · C a 1 = b 1 = 0.5. Also, if B and C are less e (e> d) at least d simultaneously, since they can be determined that the intermediate noise and fault data, the output data D, D = a 2 · B + b 2 · C a 2 · 0.75, b 2 = 0.25. Further, if either one of B and C is f (f> e) or more, it can be determined that these are tomographic data, and therefore the output data D is D = a 3 · B + b 3 · C a 3 = 1.0 and b 3 = 0.

このように、入力データの振幅の大きさに応じて係数a,
bを適宜変更することにより、振幅の小さいノイズは十
分にフレーム相関処理を施して低減することができる。
したがって、モニタにおける画像のちらつきが押さえら
れる。一方、Bモード画像における心臓の弁等のように
非常に速く運動するものについては、フレーム相関処理
が機能せず、画像がボケることはない。したがって、明
瞭な画像が得られる。
Thus, according to the magnitude of the amplitude of the input data, the coefficient a,
By appropriately changing b, noise with small amplitude can be sufficiently reduced by performing frame correlation processing.
Therefore, the flicker of the image on the monitor is suppressed. On the other hand, for a very fast moving object such as a heart valve in a B-mode image, the frame correlation process does not work and the image is not blurred. Therefore, a clear image can be obtained.

なお、前記実施例では、相関処理の係数を3段階に変化
させるようにしたが、さらに細かく段階分けすることに
より、きめ細かい対応ができる。
In the above-mentioned embodiment, the coefficient of the correlation process is changed in three steps. However, finer steps can be taken for finer correspondence.

〔発明の効果〕〔The invention's effect〕

以上のように本発明では、モニタ上におけるスペックル
ノイズや、カイドローブによる不要なノイズに対しては
十分に作用してノイズを低減することができ、一方速い
動きを行う対象に対してはその画像を明瞭にすることが
できる。
As described above, according to the present invention, the speckle noise on the monitor and the unnecessary noise due to the guide lobe can be sufficiently acted to reduce the noise, while the image of the fast moving object can be reduced. Can be made clear.

【図面の簡単な説明】[Brief description of drawings]

第1図は本発明の一実施例が採用された超音波診断装置
の概略ブロック構成図、第2図はそのDSCの一部を示す
ブロック図である。 1……ROM、2……画像メモリ、13……DSC。
FIG. 1 is a schematic block configuration diagram of an ultrasonic diagnostic apparatus adopting an embodiment of the present invention, and FIG. 2 is a block diagram showing a part of the DSC. 1 ... ROM, 2 ... image memory, 13 ... DSC.

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】プローブと超音波送受信回路により超音波
信号を送受信して画像データを得、前記画像データに基
づく断層像をモニタに表示する超音波診断装置であっ
て、 前記画像データについて、入力されてくるフレームのデ
ータ及び先のフレームのデータを所定の係数に基づいて
平均するフレーム相関回路と、 前記フレーム相関回路に設けられ、1または2以上の閾
値を有し、前記入力データと先のデータとを前記閾値と
比較し、この比較結果に基づいて前記係数の値を決定
し、前記フレーム相関回路の演算するデータを出力する
相関演算データ出力手段と、 を備える超音波診断装置。
1. An ultrasonic diagnostic apparatus for transmitting / receiving an ultrasonic signal by a probe and an ultrasonic transmitting / receiving circuit to obtain image data, and displaying a tomographic image based on the image data on a monitor, wherein the image data is input. A frame correlation circuit that averages incoming frame data and previous frame data based on a predetermined coefficient; and a frame correlation circuit that is provided in the frame correlation circuit and has a threshold value of 1 or 2 or more. An ultrasonic diagnostic apparatus comprising: a correlation calculation data output unit that compares the data with the threshold value, determines the value of the coefficient based on the comparison result, and outputs the data calculated by the frame correlation circuit.
JP2202696A 1990-07-30 1990-07-30 Ultrasonic diagnostic equipment Expired - Fee Related JPH07109624B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2202696A JPH07109624B2 (en) 1990-07-30 1990-07-30 Ultrasonic diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2202696A JPH07109624B2 (en) 1990-07-30 1990-07-30 Ultrasonic diagnostic equipment

Publications (2)

Publication Number Publication Date
JPH0486583A JPH0486583A (en) 1992-03-19
JPH07109624B2 true JPH07109624B2 (en) 1995-11-22

Family

ID=16461645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2202696A Expired - Fee Related JPH07109624B2 (en) 1990-07-30 1990-07-30 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JPH07109624B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5085691B2 (en) * 2010-07-14 2012-11-28 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Ultrasonic diagnostic equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54127623A (en) * 1978-03-27 1979-10-03 Nec Corp S/n improving device for television video signal
JPS5527756A (en) * 1978-08-21 1980-02-28 Nippon Telegr & Teleph Corp <Ntt> Fault position measuring system for communication balanced cable line
JPS5527765A (en) * 1978-08-21 1980-02-28 Hitachi Ltd Noise eliminating system
JPS61267875A (en) * 1985-01-29 1986-11-27 Mitsubishi Electric Corp Picture processor
JPH01284232A (en) * 1988-05-10 1989-11-15 Fujitsu Ltd Ultra-sonic wave diagnosis device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56172064U (en) * 1980-05-23 1981-12-18
JPH069620Y2 (en) * 1985-11-27 1994-03-16 株式会社島津製作所 Ultrasonic diagnostic equipment
JPH01119620U (en) * 1988-02-03 1989-08-14

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54127623A (en) * 1978-03-27 1979-10-03 Nec Corp S/n improving device for television video signal
JPS5527756A (en) * 1978-08-21 1980-02-28 Nippon Telegr & Teleph Corp <Ntt> Fault position measuring system for communication balanced cable line
JPS5527765A (en) * 1978-08-21 1980-02-28 Hitachi Ltd Noise eliminating system
JPS61267875A (en) * 1985-01-29 1986-11-27 Mitsubishi Electric Corp Picture processor
JPH01284232A (en) * 1988-05-10 1989-11-15 Fujitsu Ltd Ultra-sonic wave diagnosis device

Also Published As

Publication number Publication date
JPH0486583A (en) 1992-03-19

Similar Documents

Publication Publication Date Title
JP3264963B2 (en) Ultrasound diagnostic equipment
JP2012254373A (en) Ultrasonograph
US8721549B2 (en) Frame averaging circuit for use in an ultrasound imaging system
US5976086A (en) Ultrasonic diagnostic apparatus and filter to obtain sequential frames of image data
JP5241980B2 (en) Ultrasonic diagnostic equipment
JP4808373B2 (en) Method and apparatus for applications related to B-mode image banding suppression
JP3510035B2 (en) Ultrasound diagnostic equipment
JPH1075955A (en) Ultrasonic diagnostic device
JPH07109624B2 (en) Ultrasonic diagnostic equipment
US5588433A (en) Ultrasonic diagnostic apparatus
JP3290625B2 (en) Ultrasound diagnostic equipment
JP4727060B2 (en) Ultrasonic device
JP3648881B2 (en) Ultrasonic diagnostic equipment
JPH05277101A (en) Ultrasonic diagnostic device
JP4105452B2 (en) Ultrasonic diagnostic equipment
JPH10229519A (en) X-ray image digital processor
JP2690750B2 (en) Ultrasound diagnostic equipment
JP3569330B2 (en) Ultrasound diagnostic equipment
WO2012005026A1 (en) Ultrasound diagnostic device and program
JPH0576412U (en) Ultrasonic diagnostic equipment
JP2001128970A (en) Ultrasonographic apparatus
JPH0221262B2 (en)
JP2800241B2 (en) Ultrasound diagnostic equipment
CN115886872A (en) Blood flow developing method and device, digital scanning converter and ultrasonic imaging system
JPH07299068A (en) Ultrasonic image processing device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071122

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081122

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091122

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees