JP4138445B2 - 超音波診断装置 - Google Patents
超音波診断装置 Download PDFInfo
- Publication number
- JP4138445B2 JP4138445B2 JP2002312211A JP2002312211A JP4138445B2 JP 4138445 B2 JP4138445 B2 JP 4138445B2 JP 2002312211 A JP2002312211 A JP 2002312211A JP 2002312211 A JP2002312211 A JP 2002312211A JP 4138445 B2 JP4138445 B2 JP 4138445B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- display
- model
- displayed
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
【発明の属する技術分野】
本発明は超音波診断装置に関し、特に三次元エコーデータ取込空間に相当する空間モデルを表示画面上に表示する超音波診断装置に関する。
【0002】
【従来の技術】
三次元エコーデータ取込用超音波探触子(3Dプローブ)は、生体内に三次元エコーデータ取込空間(三次元空間)を形成するためのプローブである。その3Dプローブは、生体組織の三次元画像を形成する場合や三次元空間内に設定された切断面に相当する断層画像(組織画像、血流画像)などを形成する場合に用いられる。3Dプローブとしては、2Dアレイ振動子(スパースアレイ型を含む)を用いて超音波ビームを2次元走査するもの、1Dアレイ振動子を機械的に走査するもの、単振動子を機械的に2次元走査するもの、などが知られている。
【0003】
ちなみに、従来の1Dアレイ振動子を有するプローブにおいては、一般に、1Dアレイ振動子の一方端(電子走査の開始点に相当する基準端)に対応するケース側面に突起状の物理マーカーが設けられている。また、断層画像を表示する場合には、断層画像における基準端に相当する側(右側又は左側)に、物理マーカーに対応する表示マーカーが表示される。表示マーカーが表示された側を特定することにより、断層画像の視点が手前側にあるのか奥側にあるのかを把握できる。
【0004】
なお、本願に関連する本願出願人の未公開の特許出願として、特願2002−183999号、特願2002−209075号、特願2002−141188号がある。
【0005】
【発明が解決しようとする課題】
ところで、従来装置の中には、三次元空間を模擬した空間モデル(例えばワイヤフレーム)を表示画面上に表示するものがある。その空間モデルを用いて、例えば、切断面の位置の確認を行ったり、その指定を行ったりすることができる。しかしながら、かかる従来装置においては、空間モデルと3Dプローブとの位置関係あるいは座標関係を直感的に認識するのが困難であった。
【0006】
本発明の目的は、超音波診断装置において、ユーザーに画像観察上の便宜を図ることにある。
【0007】
本発明の他の目的は、三次元の空間モデルが表示される超音波診断装置において、3Dプローブと空間モデルと断層像の三者の対応関係を容易に認識できるようにすることにある。
【0008】
【課題を解決するための手段】
(1)望ましくは、超音波診断装置が、超音波ビームを第1走査方向及び第2走査方向に走査し、三次元エコーデータ取込空間を形成する三次元エコーデータ取込用超音波探触子と、前記三次元エコーデータ取込用超音波探触子の外表面に設けられ、前記第1走査方向及び前記第2走査方向を認識するための物理マーカー部と、前記三次元エコーデータ取込空間に対応するイメージとしての空間モデルを生成する空間モデル生成手段と、を含み、表示画面上において、前記空間モデルに重ねて又はその近傍に、前記物理マーカー部に対応付けられた表示マーカー部が表示される。
【0009】
上記構成によれば、三次元エコーデータ取込用超音波探触子(3Dプローブ)には、物理マーカー部が設けられ、一方、表示画面上に表示される空間モデルには物理マーカー部に対応付けられた表示マーカー部が表示される。つまり、物理マーカー部と表示マーカー部との対応関係から、三次元エコーデータ取込空間(三次元空間)と空間モデルとの位置関係あるいは座標関係を認識できる。
【0010】
物理マーカー部は、複数の物理マーカーによって構成されるのが望ましく、特に2つの物理マーカーによって構成されるのが望ましいが、単一の物理マーカーによって構成することも可能である。あるいは、例えば3Dプローブの4つの側面に互いに異なる物理マーカーを設けるようにしてもよい。これと同様に、表示マーカー部は、複数の表示マーカーによって構成されるのが望ましく、特に2つの表示マーカーによって構成されるのが望ましいが、単一の表示マーカーあるいは4つの表示マーカーによって構成することも可能である。ここで、物理マーカー部と表示マーカー部の両者の構成を同一にするのが望ましい。例えば、各マーカーは、単純図形であるのが望ましいが、文字であってもよい。
【0011】
望ましくは、前記空間モデルは、前記三次元エコーデータ取込空間又はそれに相当する立体を複数のラインを用いて表現したワイヤフレームである。空間モデルの形状は、三次元空間の形状と一致していてもよいし、それを包含するあるいはそれに相当する立体的な形状であってもよい。ワイヤフレーム以外の他の空間モデルを採用することもできるが、ワイヤフレームによれば表示処理が簡易であり、かつ、その内部に他の画像をはめ込んで表示しても当該他の画像の観察をあまり妨げないという利点がある。
【0012】
3Dプローブは、2Dアレイ振動子(スパースアレイ型であってもよい)、あるいは、1Dアレイ振動子及び機械走査機構を有していてもよい。いずれにしても、超音波ビームを二次元的に走査して、三次元空間を形成できるものである。
【0013】
望ましくは、前記物理マーカー部は、前記第1走査方向へ前記超音波ビームを走査することにより形成される第1走査面の向きを特定するための第1物理マーカーと、記第2走査方向へ前記超音波ビームを走査することにより形成される第2走査面の向きを特定するための第2物理マーカーと、を含む。
【0014】
一般に、走査面(あるいは断層画像)には、表面と裏面とがあるが、例えば、走査面の表面側(あるいは裏面側)に対応付けて物理マーカーを設けるのが望ましい。また一般に、走査方向にも始点と終点とがあるが、例えば、始点側(あるいは終点側)へ、物理マーカーの位置を変位して設けるようにしてもよく、あるいは、2つの物理マーカーの相互関係として、一方が他方の始点側を特定するように、2つの物理マーカーを設けるようにしてもよい。
【0015】
第1物理マーカーと第2物理マーカーは、互いに識別可能に構成され、例えば、外形、色、サイズなどの1又は複数を異ならせるのが望ましい。また凹凸の差を設けてもよい。なお、プローブの特定の角部に、第1物理マーカー及び第2物理マーカーの両機能を発揮する単一の物理マーカーを設けてもよい。
【0016】
望ましくは、前記表示マーカーは、前記第1物理マーカーに対応付けられた第1表示マーカーと、前記第2物理マーカーに対応付けられた第2表示マーカーと、を含む。望ましくは、前記第1表示マーカーは前記第1物理マーカーに対応した形態を有し、前記第2表示マーカーは前記第2物理マーカーに対応した形態を有する。
【0017】
望ましくは、前記空間モデルは、第1側面及び第2側面を有する立体イメージとして構成され、前記空間モデルの第1側面上に又はその近傍に前記第1表示マーカーが表示され、前記空間モデルの第2側面上に又はその近傍に前記第2表示マーカーが表示される。
【0018】
望ましくは、前記第1表示マーカーは前記空間モデルの第1側面の隅部に表示され、前記第2表示マーカーは前記空間モデルの第2側面の隅部に表示される。この構成によれば、例えば、ワイヤフレームの内部に超音波画像あるいは他のイメージを表示する場合でも、表示マーカーがその後側の画像の重要な部分を隠蔽してしまう可能性を小さくできる。つまり、表示マーカーを表示する場合にはそれが画像観察上目障りとならないようにその表示位置を設定するのが望ましい。
【0019】
望ましくは、前記三次元エコーデータ取込用超音波探触子は、前記第2走査方向に交差する第1側面及び第3側面と、前記第1走査方向に交差する第2側面及び第4側面と、を有し、前記三次元エコーデータ取込用超音波探触子における前記第1側面及び前記第3側面の一方に前記第1物理マーカーが設けられ、前記三次元エコーデータ取込用超音波探触子における前記第2側面及び前記第4側面の一方に前記第2物理マーカーが設けられる。
【0020】
(2)望ましくは、超音波診断装置が、水平断面が略矩形の形状を有し、超音波ビームを第1走査方向及び第2走査方向に走査し、三次元エコーデータ取込空間を形成する三次元エコーデータ取込用超音波探触子と、前記三次元エコーデータ取込用超音波探触子における前記第2走査方向と交差する第1側面及び第3側面の少なくとも一方に形成された第1物理マーカーと、前記三次元エコーデータ取込用超音波探触子における前記第1走査方向と交差する第2側面及び第4側面の少なくとも一方に形成された第2物理マーカーと、前記三次元エコーデータ取込空間に対応するイメージとしての複数のラインからなるワイヤフレームを生成するワイヤフレーム生成手段と、を含み、表示画面上において、前記ワイヤフレームにおける第1側面及び第3側面の内の少なくとも一方の側面上又はその近傍に前記第1物理マーカーに対応付けられた第1表示マーカーが表示され、且つ、前記ワイヤフレームにおける第2側面及び第4側面の少なくとも一方の側面上又はその近傍に前記第2物理マーカーに対応付けられた第2表示マーカーが表示される。
【0021】
望ましくは、前記第1表示マーカーは前記ワイヤフレームの第1側面上の隅部に表示され、前記第2表示マーカーは前記ワイヤフレームの第2側面上の隅部に表示される。
【0022】
望ましくは、前記第1表示マーカー及び前記第2表示マーカーはそれぞれ図形マークとしての原形状を有し、前記第1表示マーカーは、視点から見た前記ワイヤフレームの第1側面の姿勢に応じた形状で表示され、前記第2表示マーカーは、視点から見た前記ワイヤフレームの第2側面の姿勢に応じた形状で表示される。この構成によれば、立体感を増加させて、空間的な認識を促進できる。
【0023】
望ましくは、前記視点を変更する視点変更手段を含み、前記視点の変更に従って、前記第1表示マーカー及び前記第2表示マーカーの形状が変化する。
【0024】
望ましくは、前記表示画面上における前記ワイヤフレームとは別に、前記三次元エコーデータ取込空間に対して設定された互いに交差する3つの断面に相当する3つの断層像が表示され、且つ、各断層像上に又はその近傍に前記第1表示マーカー及び前記第2表示マーカーの内の少なくとも1つが表示される。空間モデル及びその外側の断層像の両者に対して、超音波探触子に設けられた物理マーカー部に対応する表示マーカー部を表示すれば、超音波探触子、空間モデル及び断層像の三者の位置関係を容易に認識できる。空間モデルに対して表示される表示マーカー部はモデル用表示マーカー部であり、それはモデル用第1表示マーカー及びモデル用第2表示マーカーを含む。断層像に対して表示される表示マーカー部は断層像用表示マーカー部であり、それは断層像用第1表示マーカー及び断層像用第2表示マーカーを含む。
【0025】
望ましくは、前記三次元エコーデータ取込空間内に任意の位置及び角度で任意断面をユーザー設定するための任意断面設定手段を含み、前記表示画面上における前記ワイヤフレームの中に、前記任意断面の位置及び角度に従って、前記任意断面に相当する任意断層像が表示される。
【0026】
望ましくは、前記表示画面上における前記ワイヤフレームの中に、前記三次元エコーデータ取込空間内の組織を表した三次元画像が表示される。三次元画像処理の手法としては各種のものをあげることができるが、例えば、ボリュームレンダリング法などを採用してもよい。
【0027】
(3)望ましくは、超音波診断装置が、超音波ビームを第1走査方向及び第2走査方向に走査し、三次元エコーデータ取込空間を形成する三次元エコーデータ取込用超音波探触子と、前記三次元エコーデータ取込用超音波探触子の第1側面に設けられた第1物理マーカーと、前記三次元エコーデータ取込用超音波探触子の第2側面に設けられた第2物理マーカーと、前記三次元エコーデータ取込空間に対応するイメージとしての空間モデルを生成する空間モデル生成手段と、を含み、表示画面上において、前記空間モデルが有する第1側面上には前記第1物理マーカーに対応する第1表示マーカーが表示され、且つ、前記空間モデルが有する第2側面上には前記第2物理マーカーに対応する第2表示マーカーが表示される。
【0028】
望ましくは、前記第1物理マーカーは、前記三次元エコーデータ取込用超音波探触子の第1側面においてその中心から前記第1走査方向へ変位した位置に設けられ、前記第2物理マーカーは、前記三次元エコーデータ取込用超音波探触子の第2側面においてその中心から前記第2走査方向へ変位した位置に設けられる。
【0029】
望ましくは、前記第1表示マーカーは、前記空間モデルの第1側面においてその中心から前記第1走査方向に相当する方向へ変位した位置に表示され、前記第2表示マーカーは、前記空間モデルの第2側面においてその中心から前記第2走査方向に相当する方向へ変位した位置に表示される。
【0030】
望ましくは、前記第1物理マーカー及び前記第2物理マーカーは前記超音波ビームの走査基準点側に変位した位置に設けられ、前記第1表示マーカー及び前記第2表示マーカーは前記超音波ビームの走査基準点側に相当する側に変位した位置に表示される。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【0032】
図1には、本発明に係る超音波診断装置の好適な実施形態が示されており、図1はその全体構成を示すブロック図である。3Dプローブ10は、装置本体にケーブルを介して接続される三次元エコーデータ取込用超音波探触子である。すなわち、超音波ビームBをθ方向(第1走査方向)及びφ方向(第2走査方向)の両方向に走査することが可能であり、これにより三次元エコーデータ取込空間(三次元空間)Vを形成するものである。図1においては、深さ方向がrで表されており、超音波ビームBの電子走査によって形成される走査面がSで示されている。その走査面Sは、第1走査方向としてのθ方向と深さ方向(超音波ビーム方向)とによって規定されるr−θ走査面(第1走査面)である。一方、深さ方向と第2走査方向であるφ方向とによってr−φ走査面(第2走査面)が規定され、それはr−θ走査面に直交する。
【0033】
本実施形態において3Dプローブ10は複数の振動素子を二次元配列してなる2Dアレイ振動子を有している。すなわち、θ方向及びφ方向の両方向に超音波ビームを電子走査することができる。2Dアレイ振動子として、いわゆるスパース型2Dアレイ振動子を用いてもよい。また、1Dアレイ振動子とそれを機械走査する機構とを設けて、三次元空間Vを形成するようにしてもよい。
【0034】
超音波ビームの電子走査方式としては、電子セクタ走査、電子リニア走査などをあげることができる。これは機械走査方式についても同様であり、メカニカルセクタ走査、メカニカルリニア走査などをあげることができる。θ方向及びφ方向の両方向に電子セクタ走査が適用される場合、θ方向にコンベックス走査が行われ且つφ方向はメカニカルセクタ走査が行われる場合などにおいては、三次元空間Vはそれ全体として略角錐形状となる。一方、2つの走査方向について電子リニア走査が適用される場合などには、三次元空間Vは立方体形状となる。三次元空間Vの形状に応じて、後述する各断層像の形状は原則として異なってくる。ただし、各断層像を所定形状に切り出して表示するようにしてもよい。
【0035】
3Dプローブ10のケース12内には上記の2Dアレイ振動子(図示せず)が設けられている。その2Dアレイ振動子は、具体的には、送受波面13の内側近傍に設けられている。送受波面13は体表面上に当接される面である。なお、本発明は上記のように体表面上に当接して用いられる3Dプローブに適用するのが特に望ましいが、体腔内に挿入される3Dプローブに対しても適用することが可能である。その場合には、後述する各物理マークをX線などによって観察できるように各物理マークにX線造影剤を含ませるようにするのが望ましい。
【0036】
ケース12の下部(生体側の端部)には、図1に示されるように、物理マーク部16が形成されている。この物理マーク部16は本実施形態において第1物理マーク18と第2物理マーク20とによって構成されている。
【0037】
第1物理マーク18は、ケース12における4つの側面12A,12B,12C,12Dの内で、この例では、第1側面12Aに設けられている。この第1側面12Aは、上記r−θ走査面が垂直になった場合に並行となる2つの側面の内で、φ方向の原点(走査の原則的な開始点)側の側面である。このように、本実施形態では、第1物理マーク18は、r−θ走査面の表面側(あるいは裏面側)に存在し、その向きを特定している。本実施形態において、第1物理マーク18は、丸形状を有し、第1側面12Aの垂直中心線からx方向へ(第2側面12B側へ)変位した位置に設けられている。つまり、θ方向における走査始点側(あるいは走査終点側)に変位して設けられ、それによって走査始点(あるいは走査終点)を視覚的に特定することができる。なお、走査始点と走査終点は、電子制御により入れ替えることも可能である。
【0038】
上記同様に、第2物理マーク20は、ケース12における4つの側面12A,12B,12C,12Dの内で、第2側面12Bに設けられている。この第2側面12Bは、上記r−φ走査面が垂直になった場合に並行となる2つの側面の内で、θ方向の原点(走査の原則的な開始点)側の側面である。このように、本実施形態では、第1物理マーク18と同様に、第2物理マーク20が、r−φ走査面の表面側(あるいは裏面側)に存在し、その向きを特定している。本実施形態において、第2物理マーク20は、第1物理マーク18とは形状が相違し、四角形状を有している。そして、第2側面12Bの垂直中心線からy方向へ(第3側面12C側へ)変位した位置に設けられている。つまり、φ方向における走査始点側(あるいは走査終点側)に変位して設けられ、それによって走査始点(あるいは走査終点)を視覚的に特定することができる。
【0039】
第1物理マーク18と第2物理マーク20は、色及び形の両者を異ならせるのが望ましく、例えば第1物理マーク18はオレンジ色の丸形状で、第2物理マーク20は、緑色の四角形状とするのが望ましい。もちろん、物理マーク18,20は、それぞれ視覚的に容易に識別できる限りにおいて、それらの形態としては各種のものを採用できる。例えば、2つの物理マーク18,20の内で、一方を凸部とし、他方を凹部とするようにしてもよい。また、一方又は他方を走査方向を表わす矢印としてもよい。
【0040】
図1においては、各物理マーク18,20が側面における下端部に設けられているが、他の部位に設けることも可能である。ただし、ケース12を把持した状態において、それらの物理マーク18,20が操作者の手によって隠蔽されない位置に各物理マーク18,20を設けるのが望ましい。また、4つの側面12A,12B,12C,12Dの全部に物理マークを設けるようにしてもよい。更に、本実施形態では物理マークとして記号としての単純図形が利用されたが、それを文字又は単語として構成することもできる。
【0041】
したがって、以上の説明から明らかなように、第1物理マーク18は第1走査方向に形成される第1走査面の面の向きを特定しており、これと同様に、第2物理マーク20は、第2走査方向に形成される第2走査面の面の向きを特定している。しかも、それぞれが変位して設けられることで、各電子走査の開始点等を容易に特定でき、また、一方のマークが他方のマークの電子走査の開始側に設けられている関係からも第1走査方向及び第2走査方向における電子走査の開始点等を容易に認識できる。
【0042】
なお、ケース12は一般に白色あるいはグレーといった色彩を有しているが、そのケース12の色彩に対して各物理マーク18,20の色を異ならせるのが望ましい。各物理マーク18,20としては、例えばゴム材などを利用し、樹脂などで構成されるケース12と質感を異ならせるのが望ましい。
【0043】
また、3Dプローブ10を装置本体に接続した時点で、その種別又は識別子を自動認識し、これにより3Dプローブに関する情報(走査方式、物理マークの形状、色など)を得て、後述するワイヤフレームの表示処理及び表示マークの表示処理を遂行させるようにするのが望ましい。
【0044】
送信部30は、送信ビームフォーマーとして機能し、アレイ振動子を構成する複数の振動素子に対して所定の遅延関係をもって送信信号を供給する。これにより3Dプローブ10において送信ビームが形成される。また、受信部32は、複数の振動素子から出力される受信信号に対して整相加算を実行する受信ビームフォーマーとして機能する。フレームレートを向上するために、1回の送信ビームの形成当たり、複数の受信ビームが同時に形成されるようにしてもよい。
【0045】
この超音波ビームの二次元の走査により、上述した三次元空間Vが構成される。この場合においては、θ方向に超音波ビームを走査し、これによって形成される走査面Sをφ方向の各位置ごとに形成するようにしてもよいし、φ方向に超音波ビームを走査し、これによって形成される走査面をθ方向の各位置ごとに形成するようにしてもよい。いずれにしても、三次元空間が形成されるように、走査シーケンスが設定される。
【0046】
信号処理部34は、例えば検波器や対数変換器など有している。もちろん、ドプラ信号処理を行う場合には直交検波器や自己相関回路などを設ければよい。いずれにしても、信号処理部34によって処理された受信信号(エコーデータ)は3Dメモリ36上に格納される。エコーデータの格納にあたっては、3Dメモリ36のアドレスがφ,θ,rに対応付けられており、各エコーデータは三次元空間V内における三次元座標に対応付けられたアドレスに格納される。ただし、三次元画像形成や断層画像形成を順次実行可能な場合には、3Dメモリ36を除外することもでき、あるいはそれに代えてフレームメモリやラインメモリなどを設けるようにしてもよい。
【0047】
なお、3Dメモリ36へのデータの格納に際しては、上記のような送受波座標系(極座標系)ではなく、直交座標系(x,y,z)で格納するようにしてもよい。後述するトリプレーン表示における各断面の指定は、r,θ,φの指定によって行うようにしてもよいし、x,y,zの指定によって行うようにしてもよい。
【0048】
次に、画像処理ユニット(表示処理部)37について説明する。本実施形態において、画像処理ユニット37は複数のモジュールを有している。各モジュールの機能は、ハードウエアにより実現され、あるいはソフトウエアによって実現される。具体的に説明すると、画像処理ユニット37は、三次元画像形成部38、任意断層像形成部52、第1断層像形成部54、第2断層像形成部56、第3断層像形成部58、空間モデル作成部60及び画像合成部62を有している。
【0049】
三次元画像形成部38は、三次元空間V内において取り込まれた各エコーデータに基づいて、例えばボリュームレンダリング法などを用いることにより、三次元空間V内に存在する組織の三次元画像(投影画像)を形成するモジュールである。三次元画像の形成方法としては上記以外に各種の方法を採用でき、例えば最大値法や積算法などを利用することもできる。本実施形態においては、後述する空間モデルとしてのワイヤフレーム内に三次元画像を表現することが可能である。もちろん、三次元画像はそれ単独で画像表示することできる。
【0050】
任意断層像形成部52は、三次元空間V内においてユーザーにより任意の位置及び角度で指定された任意切断面に対応する任意断層像を形成するモジュールである。断層像は周知のようにBモード画像(二次元断層画像)として構成される。この任意断層像は、本実施形態において、ワイヤフレーム内に表現することができる。この場合においては、視点との関係においてワイヤフレームの姿勢が自動的に設定され、これと共に、そのワイヤフレーム内の任意断層像の姿勢も自動的に設定される。
【0051】
第1断層像形成部54、第2断層像形成部56及び第3断層像形成部58はいわゆるトリプレーン表示を行う場合における3つの断層像を形成するモジュールである。第1断層像は例えばr−θ断面あるいはx−z断面に相当し、第2断層像は例えばr−φ断面あるいはy−z断面に相当し、第3断層像は例えばθ−φ断面あるいはx−y断面に相当する。各断面の位置を任意に設定し、所望の臓器についてそれを3つの直交断層像として表現することが可能である。
【0052】
空間モデル作成部60は、空間モデルとしてのワイヤフレームを作成するモジュールである。ワイヤフレームは任意の位置に視点を設定して透影像として構築することが可能であり、また、必要に応じて、ワイヤフレーム内に上述した三次元画像または任意断層像を表現することも可能である。本実施形態においては、ワイヤフレームにおける第1側面に第1表示マークが表示され、第2側面に第2表示マークが表示される。第1表示マークは上記の第1物理マーク18に対応しており、第2表示マークは上述した第2物理マーク20に対応している。すなわち2つの物理マークと2つの表示マークとの対応関係により、空間モデルを画像表示した場合において、その空間モデルと、3Dプローブ10あるいは三次元空間Vとの互いの位置関係あるいは座標関係を容易に認識することが可能となる。ちなみに、第1表示マーク及び第2表示マークは、必要に応じて、各断層像にもその上又はその近傍に表示される。各表示マーク及びその表示例については後述する。
【0053】
画像合成部62は、以上の各モジュールによって作成された各画像を合成し、これによって表示画面を構成するモジュールである。画像処理ユニット37により形成された表示画像の画像データは表示部46に表示され、その表示画面上に画像が表示される。
【0054】
制御部48は図1に示される各構成の動作制御を行っている。制御部48にはキーボードやトラックボールなどによって構成される操作パネル50が接続されている。この操作パネル50を利用してユーザーは視点の変更を行うことができ、また各断層像の位置あるいは角度などを指定することができる。さらに、この操作パネル50を利用して画像処理ユニット37における画像処理条件や超音波の送受信条件などを設定することもできる。
【0055】
図2には、物理マーク18,20と表示マーク118,120の対応関係が示されている。ここで、(E)は3Dプローブ10と超音波診断の対象となる臓器(例えば心臓)100との関係を示しており、ここで符号102は三次元空間Vの中心軸(垂直軸)を表している。上述したように、3Dプローブ10の第1側面及び第2側面にはそれぞれ第1物理マーク18及び第2物理マーク20が設けられている。
【0056】
(D)には、ワイヤフレーム104が示されている。このワイヤフレーム104は、表示画面上において三次元空間を表した空間モデルとして表示されるものである。本実施形態においては、ワイヤフレーム104は複数のライン(直線)によって表現され、その全体形状は立方体(直方体)である。ただし、このワイヤフレームが円弧ラインを含む略角錐形状などであってもよい。
【0057】
ワイヤフレーム104は本実施形態において6つの面を有しており、具体的には、4つの側面、上面及び下面を有している。ここで、黒い矢印はそれぞれ各面を指しており、104A,104B,104C,104Dはそれぞれ第1側面、第2側面、第3側面、第4側面である。また104E及び104Fは上面及び下面である。ここで、上面104Eは3Dプローブが存在する側の面である。
【0058】
本実施形態において、第1側面104Aの右上隅には第1表示マーク118が表されている。また、第2側面の右上隅には第2表示マーク120が表されている。この第1表示マーク118及び第2表示マーク120は両者合わせて表示マーカー部を構成するものである。第1表示マーク118は第1物理マーク18に対応しており、その形態及び色は同一である。すなわち、第1表示マーク118は円形の形状(原形状)を有し、その色は例えば第1物理マーク18と同一のオレンジ色である。また、第2表示マーク120は第2物理マーク20と同様に四角形状(原形状)を有し、その色は緑色である。すなわち、3Dプローブ10によって構成される三次元空間の第1側面及び第2側面にそれぞれ第1物理マーク18及び第2物理マーク20が対応付けられるが、これと同様に空間モデルにおいてもその第1側面及び第2側面にそれぞれ第1表示マーク118及び第2表示マーク120が対応付けられる。したがって、ワイヤフレーム104を観察した場合において、それと3Dプローブ(あるいは三次元空間)との位置関係あるいは座標関係を一目瞭然に把握することが可能となる。ちなみに、第1表示マーク118及び第2表示マーク120がそれぞれ面の隅部に表されているため、画像観察上において、それらの存在によって背景となる画像が必要以上に隠蔽されてしまう問題を防止できる。
【0059】
第1表示マーク118及び第2表示マーク120は、視点との関係において、それが付されている側面の向きに応じて、原形状から変形して表現される。すなわち、例えば第1側面104Aが視点と正対した場合においては第1表示マーク118はその原形状をもって表示されるが、視点から見た第1側面104Aが傾く場合には、その傾きに応じた変形率をもって第1表示マーク118が潰れて(扁平して)表示されることになる。これは第2表示マーク120についても同様である。
【0060】
本実施形態においては、視点を自在に変更することができ、上述した説明から明らかなように、各表示マーク118,120はその視点の変更に伴ってその形状も変化する。なお、各表示マーク118,120が視点から見て裏側に回り込む場合には、視点から見た形状通りに各表示マーク118,120を表示するようにしてもよいし、それに加えて、それらの輝度を若干下げたり表示方法を若干変更したりするなどによって各表示マーク118,120の裏面をユーザーに意識させるようにしてもよい。
【0061】
本実施形態において、ワイヤフレーム104には、ユーザーによって設定される3つの断面を表すプレーン106,108,110が表示される。ここで、プレーン108は、例えばr−θ断面あるいはx−z断面に相当し、プレーン106は例えばr−φ断面あるいはy−z断面に相当する。プレーン110は例えばθ−φ断面あるいはx−y断面に相当する。ちなみに、プレーン110はいわゆる水平断面を示しているが、その水平断面は平面であっても球面であってもよい。
【0062】
(C)には、プレーン108に相当する断層像124が示されている。この断層像124の近傍には第1表示マーク118が付されている。すなわち、104Aで示した方向からプレーン108を観察した場合において第1表示マーク118が見えるとおりの位置に第1表示マーク118が投影表示される。これによって、プレーン108の表面すなわち断層像124の表面を認識することができる。なお、プレーン108の裏面を断層像124として表示する場合には、第1表示マーク118が断層像124の左側に表示されることになる。この場合においては、その第1表示マーク118をハーフトーン表現しあるいは裏面であることを認識させるような若干の表示形態の変更を行ってもよい。これは第2表示マーク120についても同様である。
【0063】
(B)にはプレーン106に対応する断層像122が示されている。この例では、断層像122の右側上部(隅部)に第2表示マーク120が付されている。これは104Bで示した方向からプレーン106を観た通りの様子を表したものであり、上記同様に、プレーン106の裏面を表示する場合においては、第2表示マーク120は断層像122の左側に投影表示されることになる。
【0064】
(A)にはプレーン110に相当する断層像126が示されている。この場合においては、104Eの方向から見たものとして、プレーン110の表面が断層像126として表示されているため、(A)に示すように第1表示マーク118及び第2表示マーク120が断層像126の周囲にその位置関係を基本的に維持しつつ表示されている。
【0065】
図3には、表示部46における表示画面130に表示される画像の例が示されている。この例では、表示画面130上にワイヤフレーム104とその外側の3つの断層像(トリプレーン122,124,126)が示されている。ワイヤフレーム104においては図2において説明したように2つの物理マークに対応付けられた2つの表示マーク(モデル用第1表示マーク及びモデル用第2表示マーク)が表されており、また各断層像122,124,126においてもその座標関係を表すために第1表示マーク及び第2表示マーク(断層像用第1表示マーク及び断層像用第2表示マーク)の一方又は両方が付加されている。
【0066】
図3に示す例では、各断層画像上に他の断層像の位置すなわち切断面の位置を表すラインL1,L2,L3,L4,L5,L6が表されている。これは図2の(D)に示したような3つのプレーンの直交関係において、あるプレーンに着目した場合に、他の2つのプレーンの位置を表したものである。これ自体は公知の技術である。
【0067】
次に、図4には、三次元画像138を内包するワイヤフレーム104が示されている。すなわち、ワイヤフレーム104内に、図1に示した三次元画像形成部38によって形成された三次元画像をはめ込んで表示することが可能である。このような場合においても、ワイヤフレーム104の第1側面及び第2側面上には第1表示マーク118及び第2表示マーク120が表示される。これによって、三次元画像138の観察に当たって、ワイヤフレームと、三次元空間あるいは3Dプローブとの座標関係を容易に把握することが可能となる。
【0068】
図5には、ワイヤフレーム104内に任意断層像134を表したものが示されている。この任意断層像134はユーザーによって任意の位置及び角度で指定された切断面上のエコーデータに基づいて形成されるものであり、その任意断層像134をワイヤフレーム104と共に表示することにより、三次元空間内における任意切断面の位置を直感的に認識することが可能となる。この場合において、ワイヤフレーム104の第1側面及び第2側面上には上記同様に第1表示マーク118及び第2表示マーク120が示されているため、三次元空間あるいは3Dプローブの座標系との関係において、切断面の位置を直感的に認識することが可能となる。
【0069】
さらに、(B)に示すように、ワイヤフレーム104の三次元表現にあたって、その視点を変更することも可能である。この場合においても、その視点の変更に伴ってワイヤフレーム104の形状が変更するが、それに伴って第1表示マーク118及び第2表示マーク120の表示位置及び形状も変化する。同様に任意断層像134の形状も変化する。したがって、例えば任意切断面を三次元空間に対して斜め方向に設定した後に、視点変更を行ってそれを視点側に正対させるようにすれば、三次元空間との関係において任意切断面上の組織構造をより正確に認識することが可能となる。
【0070】
上記の視点変更は図4に示した三次元表示が行われる場合においても可能であり、この場合においても、その視点変更に伴ってワイヤフレーム104の形状が変化すると共に、それに伴って各表示マーク118,120の位置及び形状も変化する。
【0071】
なお、上記実施形態において、三次元画像や任意断層像はワイヤフレームとは別に(その外側に)表示することも可能である。その場合においても必要に応じて第1表示マーク及び第2表示マークを表示するようにするのが望ましい。
【0072】
【発明の効果】
本発明によれば、超音波診断装置において、ユーザーに画像観察上の便宜を図れる。
【図面の簡単な説明】
【図1】 本発明に係る超音波診断装置の好適な実施形態を示すブロック図である。
【図2】 空間モデルと各断層像の関係を説明するための説明図である。
【図3】 空間モデルを含むトリプレーン表示を示す図である。
【図4】 三次元画像を有するワイヤフレームを示す図である。
【図5】 任意断層像を有するワイヤフレームについての視点変更を説明するための図である。
【符号の説明】
10 3Dプローブ(三次元エコーデータ取込用超音波探触子)、16 物理マーク部、18 第1物理マーク、20 第2物理マーク、30 送信部、32受信部、34 信号処理部、36 3Dメモリ、37 画像処理ユニット(表示処理部)、38 三次元画像形成部、52 任意断層像形成部、54 第1断層像形成部、56 第2断層像形成部、58 第3断層像形成部、60 空間モデル作成部、62 画像合成部。
Claims (15)
- 超音波ビームを第1走査方向及び第2走査方向に走査し、三次元エコーデータ取込空間を形成する三次元エコーデータ取込用超音波探触子と、
前記三次元エコーデータ取込用超音波探触子の外表面に設けられ、前記第1走査方向及び前記第2走査方向を認識するための物理マーカー部と、
前記三次元エコーデータ取込空間に対応するイメージとしての空間モデルを生成する空間モデル生成手段と、
前記三次元エコーデータ取込空間に対して設定された断面に相当する断層像を形成する断層像形成手段と、
を含み、
表示画面上において、前記空間モデルに重ねて又はその近傍に、前記物理マーカー部に対応付けられたモデル用表示マーカー部が表示され、且つ、前記空間モデルの外側に表示された前記断層像上に又はその近傍に、前記物理マーカー部に対応付けられた断層像用表示マーカー部が表示される、
ことを特徴とする超音波診断装置。 - 請求項1記載の装置において、
前記空間モデルは、前記三次元エコーデータ取込空間又はそれに相当する立体を複数のラインを用いて表現したワイヤフレームであることを特徴とする超音波診断装置。 - 請求項1記載の装置において、
前記物理マーカー部は、
前記第1走査方向へ前記超音波ビームを走査することにより形成される第1走査面の向きを特定するための第1物理マーカーと、
前記第2走査方向へ前記超音波ビームを走査することにより形成される第2走査面の向きを特定するための第2物理マーカーと、
を含むことを特徴とする超音波診断装置。 - 請求項3記載の装置において、
前記モデル用表示マーカー部は、
前記第1物理マーカーに対応付けられたモデル用第1表示マーカーと、
前記第2物理マーカーに対応付けられたモデル用第2表示マーカーと、
を含み、
前記断層像用表示マーカー部は、
前記第1物理マーカーに対応付けられた断層像用第1表示マーカーと、
前記第2物理マーカーに対応付けられた断層像用第2表示マーカーと、
を含み、
前記空間モデルに重ねて又はその近傍に、前記モデル用第1表示マーカー及び前記モデル用第2表示マーカーが表示され、
前記断層像上に又はその近傍に、前記断層像用第1表示マーカー及び前記断層像用第2表示マーカーの一方又は両方が表示される、
ことを特徴とする超音波診断装置。 - 請求項4記載の装置において、
前記モデル用第1表示マーカー及び前記断層像用第1表示マーカーは前記第1物理マーカーに対応した形態を有し、
前記モデル用第2表示マーカー及び前記断層像用第2表示マーカーは前記第2物理マーカーに対応した形態を有することを特徴とする超音波診断装置。 - 請求項4記載の装置において、
前記空間モデルは、第1側面及び第2側面を有する立体イメージとして構成され、
前記空間モデルの第1側面上に又はその近傍に前記モデル用第1表示マーカーが表示され、
前記空間モデルの第2側面上に又はその近傍に前記モデル用第2表示マーカーが表示されることを特徴とする超音波診断装置。 - 請求項6記載の装置において、
前記モデル用第1表示マーカーは前記空間モデルの第1側面の隅部に表示され、
前記モデル用第2表示マーカーは前記空間モデルの第2側面の隅部に表示されることを特徴とする超音波診断装置。 - 請求項3記載の装置において、
前記三次元エコーデータ取込用超音波探触子は、
前記第2走査方向に交差する第1側面及び第3側面と、
前記第1走査方向に交差する第2側面及び第4側面と、
を有し、
前記三次元エコーデータ取込用超音波探触子における前記第1側面及び前記第3側面の一方に前記第1物理マーカーが設けられ、
前記三次元エコーデータ取込用超音波探触子における前記第2側面及び前記第4側面の一方に前記第2物理マーカーが設けられたことを特徴とする超音波診断装置。 - 水平断面が略矩形の形状を有し、超音波ビームを第1走査方向及び第2走査方向に走査し、三次元エコーデータ取込空間を形成する三次元エコーデータ取込用超音波探触子と、
前記三次元エコーデータ取込用超音波探触子における前記第2走査方向と交差する第1側面及び第3側面の少なくとも一方に形成された第1物理マーカーと、
前記三次元エコーデータ取込用超音波探触子における前記第1走査方向と交差する第2側面及び第4側面の少なくとも一方に形成された第2物理マーカーと、
前記三次元エコーデータ取込空間に対して設定された断面に相当する断層像を形成する断層像形成手段と、
前記三次元エコーデータ取込空間に対応するイメージとしての複数のラインからなる空間モデルとしてのワイヤフレームを生成するワイヤフレーム生成手段と、
を含み、
表示画面上において、前記ワイヤフレームにおける第1側面及び第3側面の内の少なくとも一方の側面上又はその近傍に前記第1物理マーカーに対応付けられたモデル用第1表示マーカーが表示され、且つ、前記ワイヤフレームにおける第2側面及び第4側面の少なくとも一方の側面上又はその近傍に前記第2物理マーカーに対応付けられたモデル用第2表示マーカーが表示され、
前記表示画面上において、前記ワイヤフレームの外側に表示された前記断層像上に又はその近傍に、前記第1物理マーカーに対応付けられた断層像用第1表示マーカー及び前記第2物理マーカーに対応付けられた断層像用第2表示マーカーの一方又は両方が表示される、
ことを特徴とする超音波診断装置。 - 請求項9記載の装置において、
前記モデル用第1表示マーカーは前記ワイヤフレームの第1側面上の隅部に表示され、
前記モデル用第2表示マーカーは前記ワイヤフレームの第2側面上の隅部に表示されることを特徴とする超音波診断装置。 - 請求項10記載の装置において、
前記モデル用第1表示マーカー及び前記モデル用第2表示マーカーはそれぞれ図形マークとしての原形状を有し、
前記モデル用第1表示マーカーは、視点から見た前記ワイヤフレームの第1側面の姿勢に応じた形状で表示され、
前記モデル用第2表示マーカーは、視点から見た前記ワイヤフレームの第2側面の姿勢に応じた形状で表示されることを特徴とする超音波診断装置。 - 請求項11記載の装置において、
前記視点を変更する視点変更手段を含み、
前記視点の変更に従って、前記モデル用第1表示マーカー及び前記モデル用第2表示マーカーの形状が変化することを特徴とする超音波診断装置。 - 請求項9記載の装置において、
前記断層像形成手段は、前記三次元エコーデータ取込空間に対して設定された互いに交差する3つの断面に相当する3つの断層像を形成し、
前記各断層像上に又はその近傍に前記モデル用第1表示マーカー及び前記モデル用第2表示マーカーの内の少なくとも1つが表示されることを特徴とする超音波診断装置。 - 請求項9記載の装置において、
前記三次元エコーデータ取込空間内に任意の位置及び角度で任意断面をユーザー設定するための任意断面設定手段を含み、
前記表示画面上における前記ワイヤフレームの中に、前記任意断面の位置及び角度に従って、前記任意断面に相当する任意断層像が表示されることを特徴とする超音波診断装置。 - 請求項9記載の装置において、
前記表示画面上における前記ワイヤフレームの中に、前記三次元エコーデータ取込空間内の組織を表した三次元画像が表示されることを特徴とする超音波診断装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002312211A JP4138445B2 (ja) | 2002-10-28 | 2002-10-28 | 超音波診断装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002312211A JP4138445B2 (ja) | 2002-10-28 | 2002-10-28 | 超音波診断装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004141522A JP2004141522A (ja) | 2004-05-20 |
JP4138445B2 true JP4138445B2 (ja) | 2008-08-27 |
Family
ID=32457172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002312211A Expired - Fee Related JP4138445B2 (ja) | 2002-10-28 | 2002-10-28 | 超音波診断装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4138445B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005334088A (ja) * | 2004-05-24 | 2005-12-08 | Olympus Corp | 超音波診断装置 |
US8012090B2 (en) * | 2004-06-22 | 2011-09-06 | General Electric Company | Method and apparatus for real time ultrasound multi-plane imaging |
JP4607538B2 (ja) * | 2004-10-18 | 2011-01-05 | 株式会社東芝 | 超音波診断装置 |
KR100697728B1 (ko) * | 2004-10-22 | 2007-03-21 | 주식회사 메디슨 | 초음파 단면 영상의 화질 개선 장치 및 방법 |
KR100905244B1 (ko) * | 2005-12-06 | 2009-06-30 | 주식회사 메디슨 | 초음파 영상을 디스플레이 하기 위한 장치 및 방법 |
JP4976943B2 (ja) * | 2007-07-17 | 2012-07-18 | 株式会社東芝 | 超音波診断装置及び超音波画像生成方法 |
JP5173303B2 (ja) * | 2007-07-27 | 2013-04-03 | 株式会社東芝 | 医用画像処理装置及び医用画像診断装置 |
JP2009125181A (ja) * | 2007-11-21 | 2009-06-11 | Hitachi Medical Corp | 超音波診断装置 |
JP5231822B2 (ja) | 2008-01-23 | 2013-07-10 | 株式会社東芝 | 超音波診断装置、及び超音波診断装置の制御プログラム |
JP5329857B2 (ja) * | 2008-07-03 | 2013-10-30 | 株式会社東芝 | 超音波診断装置 |
US8262572B2 (en) | 2008-10-03 | 2012-09-11 | Hitachi Medical Corporation | Ultrasonic diagnostic apparatus and image processing apparatus for ultrasonic diagnosis |
JP5462598B2 (ja) * | 2009-11-18 | 2014-04-02 | 日立アロカメディカル株式会社 | 超音波診断システム |
KR101466153B1 (ko) | 2013-05-02 | 2014-11-27 | 삼성메디슨 주식회사 | 의료 영상 장치 및 그 제어 방법 |
-
2002
- 2002-10-28 JP JP2002312211A patent/JP4138445B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004141522A (ja) | 2004-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7033320B2 (en) | Extended volume ultrasound data acquisition | |
US20190156936A1 (en) | Volumetric ultrasound image data reformatted as an image plane sequence | |
JP3878343B2 (ja) | 3次元超音波診断装置 | |
JP5394620B2 (ja) | 超音波撮像装置および画像処理装置 | |
EP1857051A1 (en) | An ultrasonic imaging apparatus and a method of displaying ultrasonic images | |
JP4413909B2 (ja) | 3次元超音波診断装置 | |
JP2010158538A (ja) | ボリュームレンダリング超音波画像における対象ボリュームを識別するシステム及び方法 | |
JP4138445B2 (ja) | 超音波診断装置 | |
JP5186389B2 (ja) | 超音波診断装置 | |
JP4170725B2 (ja) | 超音波診断装置 | |
JP4177217B2 (ja) | 超音波診断装置 | |
JP2011125708A (ja) | 3次元超音波映像から2次元スライス映像を選択する超音波システムおよび方法 | |
KR101120684B1 (ko) | 타원체의 관심영역에 기초하여 3차원 초음파 영상을 제공하는 초음파 시스템 및 방법 | |
JP4681543B2 (ja) | 超音波診断装置及び超音波画像表示方法 | |
JP3410404B2 (ja) | 超音波診断装置 | |
JP2001128982A (ja) | 超音波画像診断装置および画像処理装置 | |
KR101300646B1 (ko) | 3차원 초음파 영상 처리 장치 및 방법 | |
JP4299311B2 (ja) | 三次元エコーデータ取込用超音波探触子 | |
JP3619425B2 (ja) | 超音波診断装置 | |
JP2005118081A (ja) | 超音波診断装置 | |
JP4113485B2 (ja) | 超音波画像処理装置 | |
JP3840185B2 (ja) | 超音波診断装置 | |
JP4347319B2 (ja) | 超音波診断装置 | |
JP4096170B2 (ja) | 超音波診断装置 | |
JP4064517B2 (ja) | 超音波診断装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080605 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4138445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |