JP3540347B2 - X線フレームシーケンスを自動的に表示する方法及びx線フレームシーケンスを表示する方法 - Google Patents

X線フレームシーケンスを自動的に表示する方法及びx線フレームシーケンスを表示する方法 Download PDF

Info

Publication number
JP3540347B2
JP3540347B2 JP26284793A JP26284793A JP3540347B2 JP 3540347 B2 JP3540347 B2 JP 3540347B2 JP 26284793 A JP26284793 A JP 26284793A JP 26284793 A JP26284793 A JP 26284793A JP 3540347 B2 JP3540347 B2 JP 3540347B2
Authority
JP
Japan
Prior art keywords
ray frame
ray
sequence
search
tracking window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26284793A
Other languages
English (en)
Other versions
JPH06217968A (ja
Inventor
スティーブン・フィリップ・ローム
ジェームス・アンソニー・スミス
ルチ・マンガリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JPH06217968A publication Critical patent/JPH06217968A/ja
Application granted granted Critical
Publication of JP3540347B2 publication Critical patent/JP3540347B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/30Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from X-rays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05GX-RAY TECHNIQUE
    • H05G1/00X-ray apparatus involving X-ray tubes; Circuits therefor
    • H05G1/08Electrical details
    • H05G1/60Circuit arrangements for obtaining a series of X-ray photographs or for X-ray cinematography
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/32Transforming X-rays

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Radiography Using Non-Light Waves (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Description

【0001】
【産業上の利用分野】
本発明の分野は、ディジタルX線作像システム、特に心臓血管の障害を観察するために臨床心臓医学で用いられるX線蛍光写真システムである。
【0002】
【発明の背景】
X線蛍光写真システムでは、イメージ増倍管がX線を受け取り、受け取ったX線を明るい光像に変換すると、この光像が増倍管の出力発光体に現れる。この像はビデオカメラで観察され、ビデオカメラは像をアナログビデオ信号に変換して、変換されたアナログビデオ信号を画素(ピクセル)のフレームにディジタル化する。このようなディジタル化されたX線データフレームをディジタルビデオプロセッサで処理して、望ましくない信号をフィルタ作用によって除くと共に、所望の特徴を強めるのが典型的である。こうして得られた像データがディジタル・アナログ変換器に印加されると、ディジタル・アナログ変換器はCRTモニタを駆動するのに適したビデオ信号を発生する。
【0003】
ディジタル化された像データフレームは、心臓学の専門家によって多数の方法で利用することができる。前に述べたように、フレームをCRTモニタ上に直接的に表示して、実時間で患者の映画形血管造影図又は蛍光透視図をこの心臓学の専門家に提供することができる。このような動作モードは、例えば障害を処置するために、患者の動脈系内にカテーテルを位置決めするときに利用することができる。このモードでは、ディジタルビデオプロセッサによって実行されるあらゆる処理は、画像がちらつかないようなフレーム速度で実行されることを必要とする。
【0004】
この代わりに、収集された像フレームを記憶しておいて、心臓学の専門家が再生することもできる。例えば、完全な心臓サイクルに対する一連の像フレームを収集し、ディジタル化して記憶することができる。この一連の像フレームは、特定の特徴を強めるように種々の方法で処理し、その後、CRTモニタで再生することができる。心臓学の専門家は、処理された一連の像フレームを実時間で再生して、心臓サイクル全体の間の血管系統を観察したり、各フレームに歩進したり、又はそのシーケンス(順序)を特定の像フレームの所で凍結することができる。こういう「オフライン」の動作モードは、何等かの治療手順を施す前に、障害の位置の選定及び障害の診断を行うために主に用いられる。
【0005】
現在のディジタル心臓血管X線システムは、ディジタル像処理技術を利用して、心臓の静止像及び動的な像の両方のズーム作用及びパン作用を行う。大抵の場合、静止ズーム像は、心臓血管の構造及び組成について最も多くの臨床的な情報を提供する。しかしながら、一連のX線フレームで構成されたダイナミックループは、実時間で再生したとき又はスローモーションで再生したときに、貴重な臨床的な情報をもたらす。このような映画形血管造影図を観察するとき、補間された像シーケンスは空間的な分解能を高めるが、心臓学の専門家は心臓の動きのため、動いている障害又は血管を「トラッキング(追跡)」することを強いられる。この動きは、専門家にとって妨げとなるばかりでなく、そのために医師はループ表示速度を遅くするか、又は単独歩進モードを用いることを強いられる。関心のある障害又は血管が、心臓サイクル中に他の血管の前又は後で動くとき、この問題は更に複雑になる。
【0006】
この問題に対する解決策が「冠状動脈追跡(トラッキング)表示」という発明の名称の米国特許番号第5054045号に記載されている。このシステムでは、心臓学の専門家は映画形血管造影図の第1のフレーム内のある領域を確認し、後続の各々のフレームの間にこの領域をトラッキングし、表示スクリーン上にその領域が静止したままになるようにする。こうして、映画形血管造影図のループを再生する間に、血管又は障害を確認することができると共に、容易に辿ることができる。周囲の他の特徴は動かされても、関心のある確認された領域は静止したままである。一実施例では、心臓学の専門家は、手作業で各フレームを検査し、トラッキングすべき関心のある特徴をスクリーンカーソルを用いて確認する。その代わりに、関心のある特徴を第1のフレームで確認し、後続フレーム内の同じ特徴を自動的に突き止める手段を用いてもよい。1組のX線像内の確認された特徴を自動的に突き止める多数の方法が従来から提案されているが、商業的に存立可能なシステムとして、実時間で自動的に且つ満足に動作する手段は提供されていない。
【0007】
【発明の要約】
本発明は、ディジタル心臓血管X線システムに関し、特に、1つのフレーム内の確認された特徴を後続のフレームで自動的にトラッキングし、確認された特徴が実質的に静止したままでいるような一連の像を発生する映画形血管造影図を発生するシステムに関する。更に具体的に言えば、本発明は、対応する一連の物理的な位置にある解剖学的な特徴を表す一連のディジタル化されたX線像を収集する手段と、第1のディジタル化されたX線像内にある解剖学的な1つの特徴を確認する手段と、後続の各々のディジタル化されたX線像内で確認された解剖学的な特徴を自動的に突き止める手段と、各々のディジタル化されたX線像内の突き止められた解剖学的な特徴が表示の中心に位置しており、その突き止められた解剖学的な特徴が一連のX線像の逐次的な表示の間に拡大されて実質的に不動のままであるように、各々のディジタル化されたX線像の一部を表示する手段とを含んでいる。本発明は、前のX線フレーム内にある確認された特徴を中心とする探索の核を前のX線フレームから抽出し、前のX線フレーム内にある確認された特徴を中心とするトラッキングウィンドウを現在のX線フレームから抽出し、探索の核及びトラッキングウィンドウ内に表されている特徴のエッジを強めるように、探索の核及びトラッキングウィンドウの両方をフィルタ作用にかけ、探索の核とトラッキングウィンドウとの間の相関のピークを突き止めることにより、確認された特徴の現在の位置を見出し、確認された特徴の現在の位置を中心とする像データの配列を現在のX線フレームから抽出し、像データの配列を用いて表示を発生することを特徴とする。
【0008】
本発明の全般的な目的は、一連のX線フレーム内で動く確認された特徴を自動的にトラッキングするシステムを提供することである。オペレータが第1のX線フレーム内でトラッキングすべき特徴の位置を確認し、システムが後続のフレーム内でその特徴を自動的に突き止める。これらの位置を用いて、突き止められた特徴が中心にあると共に実質的に静止したままであるような対応する一連の像を発生する。
【0009】
本発明の他の目的は、市場で入手し得る装置を用いて構成することができる自動トラッキングシステムを提供することである。市場で入手し得るディジタル信号処理部品を用いて、抽出、フィルタ作用、相関及び表示の各機能を実行することができる。
本発明の他の目的は、実時間で動作し得る自動特徴トラッキングシステムを提供することである。抽出、フィルタ作用及び相関の各機能は、通常のクロック速度で動作するディジタル信号処理回路によって敏速に実行することのできる比較的簡単な機能である。相関を求める前に探索の核及びトラッキングウィンドウのそれぞれの画素値から探索の核及びトラッキングウィンドウの平均値を減算することにより、相関動作は簡単になる。このとき、相関動作は一連の減算及び計数動作である。
【0010】
本発明の更に特定の目的は、一連のX線フレーム内にある動く特徴の位置を正確にトラッキングすることである。探索の核及びトラッキングウィンドウデータをフィルタ作用にかけて、探索の核及びトラッキングウィンドウデータ内に表されている特徴のエッジを強めることにより、相関動作の精度が著しく改善される。例えば冠状動脈の場合、ロバート操作をフィルタとして用いると、冠状動脈のトラッキングが著しく改善される。
【0011】
本発明の他の特定の目的は、トラッキングされた特徴が表示されるような多数の方法をオペレータに提供することである。像データの抽出された配列は直接的に表示されてもよいし、又は確認された特徴にズームインするように拡大されることが好ましい。像データの抽出された配列は単独で表示されてもよいし、又はX線データのフレームの表示と重なっていてもよい。そのままでは表示に現れるかもしれない目障りな特徴を遮るため、確認された特徴及びその特徴を直接取り巻いている組織のみが露われるように暗いマスクを構成することができる。
【0012】
本発明の他の特定の目的は、関心のある特徴が静止したままになるようなX線フレームシーケンスの新規な表示をオペレータに提供することである。X線フレームシーケンスが本発明に従って処理され、後のオフラインの解析のために記憶される。反復的なサイクルでは、像シーケンスを前向きの順序で、その後、反対向きの順序で再生する回文表示モードが用いられる。これは、動く特徴が、そのシーケンスを前向きに反復的に再生した場合に起こるように、サイクル中に1つの位置から他の位置へと大幅にジャンプすることがないことを保証する。
【0013】
本発明の上述の及びその他の目的及び利点は、以下の記述から明らかになろう。この記述では、本発明の好ましい実施例を示す図面を参照する。しかしながら、この実施例は必ずしも本発明の範囲全体を表すものではなく、本発明の範囲を解釈するにあたっては、特許請求の範囲を参照されたい。
【0014】
【実施例】
ディジタル蛍光写真像を収集するための典型的なシステムの基本的な素子が図1及び図2に示されている。蛍光写真検査を受ける患者が参照番号10で示されている。X線源11が患者の一方の側に配置されており、X線像を発生するために、患者を介してX線ビームを投射するように制御され得る。画像増倍管12が患者10の反対側に配置されている。患者から出て来るX線像が増倍管12の入力発光体13に入射し、増倍管12は入力発光体13の光を変調された電子ビーム像に変換するように動作し、この電子ビーム像は出力発光体14に入射して、そこで明るい光像への変換が行われる。
【0015】
出力発光体14の光像はビデオカメラ15で観察される。ビデオカメラ15は像を対応するアナログビデオ信号に変換する。アナログビデオ信号は、カメラ15から線16に出力されて、アナログ・ディジタル変換器(ADC)17に入力される。ADC17は、各々の水平走査線に対するアナログ信号を、その値がX線像を構成している画素の強度に対応するような一連のディジタル信号に変換するように動作する。水平走査線のディジタル画素データは、母線18を介してディジタルビデオプロセッサ(DVP)19に供給され、そこで完全なX線像フレームを形成している走査線がメモリに記憶される。最も進歩した蛍光写真システムでは、各々の像フレームを表すディジタル画素データは生の形で記憶されており、そのため、更に処理するために、DVP19によって任意のときにもとのデータにアクセスすることができるようになっている。DVP19は、線20を介してADC17に12MHzのサンプルクロックを供給している。
【0016】
X線像データがDVP19で処理された後、ディジタル像データ信号がDVP19から母線21を介してディジタル・アナログ変換器(DAC)22の入力に供給され、アナログビデオ信号に変換される。アナログビデオ信号は、線23を介してCRTモニタ24に供給され、CRTモニタ24のスクリーンに像が表示される。X線像データの各フレームは、各フレームがカメラ15によって発生されたときに処理されて、直ちにCRTスクリーン24に表示され、被検体の実時間表示を行うことができる。その代わりに、X線フレームシーケンスを収集しておいて、後で再生及び解析するために記憶することができる。
【0017】
本発明はDVP19によって部分的に実施される。DVP19は、データ母線によって相互接続されている2つの完全フレームディジタルメモリ、算術論理ユニットALU、マルチプレクサ、レジスタ及び乗算器のような幾つかの電子部品と、生又は再処理された像に対する入力母線と、蛍光写真像を観察するためのCRTモニタに通ずる像信号に対する出力線21とを含んでいる。ディジタルビデオプロセッサ中央処理ユニット(DVP−CPU)27が、DVP19の種々の部品に対して制御データを供給して、1つ又は複数の像処理工程のためにそれらの部品を作動し又は不作動にするが、これは事実上、データ通路、データ源及びデータの行先が、DVP−CPU27によって発生される命令又は信号によってアドレスされると共に制御されることを意味する。従って、DVP19は、テレビフレーム速度の範囲内で、ディジタル像の加算及び減算又は像のシフト動作のような動作を行うように構成することができる。DVP19は、種々の処理工程で要求されるように、選択された係数を像の画素データに乗算するように制御することもできる。米国特許番号第4449195号に記載されているようなディジタルビデオプロセッサが好ましく、この米国特許はここに参照されるべきものであり、本出願人に譲渡されている。
【0018】
図2の蛍光写真システムは、ホスト中央処理ユニット(CPU)システム制御器25によって全体的に制御されている。オペレータ端末26は、心臓を検査する専門家が利用し得る多数の蛍光写真技術のうちの任意のものを呼び出して、患者の特定の部分を見ることができるようにする。ホストCPU25は、選択された検査形式のための像収集手順を確認する一般化された命令をDVP−CPU27に送る。これらの命令は、アドレス/データ母線28、I/O(入力/出力)インタフェイス29及び母線30を介して送られる。DVP−CPU27はこれに対して、検査方式を実行するための処方又は命令リストをリードオンリメモリ(ROM)31からI/Oインタフェイス32を介してアクセスし、母線33が適正な制御ワードをDVP19にある部品のレジスタに送出して、正しい時刻にそれらの部品が作動され及び不作動にされるようにすると共に、DVP19にあるデータ通路が、像の収集及び処理命令を実行するように正しいルートを有するようにする。
【0019】
手動スイッチ34を作動することにより、一続きのX線露出が開始される。X線制御回路35がそれに応答して、適当な時刻にX線源11をターンオン及びターンオフし、個別の露出を開始及び停止する。ビデオカメラ制御器37がDVPクロックから線38を介してタイミング信号を受け取り、DVP−CPU制御器27に対する時間ベースが、ビデオカメラ15から線39を介して供給された垂直帰線消去パルスによって発生される。
【0020】
オペレータ端末26は、キーボード40を有している他に、トラックボール41を有している。トラックボール41は、CRTモニタ24上の明るいカーソルを動かすようにあらゆる方向に回転させることができる。本出願人の所有する米国特許番号第4245244号及び同第4454507号に記載されているように、このようなグラフィック又はカーソル発生器は周知であり、モニタのスクリーン上のカーソルのx、y座標に対応する一連のパルスを発生する。カーソル座標情報がホストCPU25に印加され、このCPUはその情報をDVP19に供給するが、その用途は後で詳しく説明する。
【0021】
図3について具体的に説明すると、本発明に従って映画形血管造影図を発生するようにDVP−CPU制御装置27によって実行される処方に応答して、DVP19によって実施される機能が、ブロック図の形で示されている。一連のディジタル化されたX線フレームをフレームバッファメモリ200で受け取り、これから説明するように処理して、出力21に対応する一連のディジタル化X線フレームを発生する。以下の説明では、指数“n”は、この一連の中の処理されている現在のディジタル化X線フレームを指し、(n−1)フレームは、この一連の中の前に処理されたX線フレームを指す。各々のX線フレームを受け取ると、そのX線フレームが直接的に出力像配列201に印加される。従って、自動トラッキングの特徴がイネーブルされていないと、一連のディジタル化X線フレームは単にDVP19を通過し、CRT駆動器202に印加され、この駆動器は、DAC22及びCRTモニタ24を制御して、各々の像を受け取ったまま、実時間で逐次的に表示する。オペレータによって自動トラッキングの特徴がイネーブルされているとき、自動トラッキングの特徴は、トラッキングすべき特徴の位置(x0 、y0 )を入力することにより、参照番号203のところで初期設定される。
【0022】
図4はCRTスクリーン24の概略図であって、トラッキングすべき像、及びこのトラッキングを行うのに用いられる2つの構成要素を示す。1つの構成要素はトラッキングウィンドウ205であり、トラッキングウィンドウ205は、トラッキングすべき特徴の判っている最後の位置を中心とする現在のX線フレームデータI(n)のm×m画素サンプルである。初期設定のとき、この位置は、トラックボール41によって発生されたカーソル位置x0 、y0 である。後続フレーム(n)では、トラッキングウィンドウは、前のフレーム(n−1)で決定された特徴の位置x(n−1)、y(n−1)を中心としている。トラッキングウィンドウ205の寸法は、トラッキングパラメータmで表され、512×512の画素表示を発生する好ましい実施例では、m=81の値を用いている。トラッキングウィンドウ205は、現在のX線フレームI(n)で確認された特徴に対する探索(サーチ)をその中で行う区域を決定する。トラッキングウィンドウ205が小さ過ぎると、相次ぐX線フレームを収集する合間に、その特徴がトラッキングウィンドウによって限定されたm×mの区域の外側に出てしまうことがあり、トラッキングウィンドウ205が大き過ぎると、探索に時間がかかり過ぎる。
【0023】
確認された特徴を自動的にトラッキングするための他方の構成要素は、探索の核(サーチカーネル)206であり、探索の核206は、前に確認された特徴の位置x(n−1)、y(n−1)を中心とする前のX線フレームデータI(n−1)のp×p画素サンプルである。探索の核206の寸法は、トラッキングパラメータpで表され、好ましい実施例では、pは41の値に設定されている。後で詳しく説明するが、現在のX線フレームI(n)における確認された特徴を突き止めることは、トラッキングウィンドウ205内で、探索の核206にあるデータと、トラッキングウィンドウ205にある対応するデータとの相関が最善である位置を見出すことにより行われる。言い換えれば、この最善の符合(マッチ)が見つかるまで、探索の核206をトラッキングウィンドウ205内で動かす。この位置x(n)、y(n)が、トラッキング中の特徴の計算による現在位置である。
【0024】
図3に戻って説明すると、データI(n)の各々のX線フレームは処理された後、遅延装置210に保存され、次のフレーム中、前のフレームデータI(n−1)として利用され得る。この前のデータI(n−1)から、ブロック211でp×p個の画素の探索の核206が選択される。探索の核206の中心は、マルチプレクサ(MUX)212によって定められる。マルチプレクサ212は、初期設定された特徴の位置の値x0 、y0 又は前のフレームからの計算による値x(n−1)、y(n−1)のいずれかを選択するように、リセット入力によって制御される。探索の核206は、p×p個のデータ配列K(n−1)として出力される。
【0025】
トラッキングウィンドウ205は、ブロック213で現在のX線フレームデータI(n)から抽出される。トラッキングウィンドウ選択部213は、その寸法を決定するトラッキングパラメータmを受け取ると共に、その中心点を決定する最後の既知の特徴の位置をマルチプレクサ212から受け取る。トラッキングウィンドウは、m×mのデータ配列T(n)として出力される。
【0026】
トラッキングウィンドウ205と探索の核206とを相関させるために必要な計算を簡単にするために、各配列にある要素の平均値を各配列の要素から減算する。ブロック214で示すように、探索の核の配列K(n−1)にある要素の平均値を計算し、次いでこの平均値を探索の核206にある各々の要素から減算して、p×p個の要素の配列M(n−1)を発生する。ブロック215で示すように、トラッキングウィンドウデータT(n)に対して同じ作用が施されて、m×m個の要素の配列M(n)を発生する。この平均除去作用を利用して、相関機能に要求される乗算の分量を平易にする。この平易化は、相関の分母項で行われる。この項は不規則な変数の分散に比例する。ゼロ平均過程の分散を実施するために必要な操作の数は、ゼロでない平均の不規則な変数に対して必要な操作の数よりもずっと少ない。即ち、
【0027】
【数1】
Figure 0003540347
【0028】
自動的なトラッキング機能を改善するために、トラッキングウィンドウデータM(n)及び探索の核データM(n−1)の両方をフィルタにかけて雑音を低減させる。従って、ブロック227及び228で示すように、トラッキングウィンドウデータは低域フィルタに印加されると共に、探索の核データは低域フィルタに印加される。低域フィルタ227及び228は、データを平滑にするために5×5のフィルタの核を用いる普通のボックスカー平均フィルタである。
【0029】
相関及びその結果得られるトラッキング作用を改善するために、トラッキングウィンドウデータM(n)及び探索の核データM(n−1)の両方が更にフィルタにかけられて、特徴のエッジを強める。心臓血管のエッジを強めるのに特に役に立つフィルタは、ロバート・フィルタ演算子である。ブロック216で示すように、探索の核データ配列M(n−1)にある各々の値pijをフィルタ作用にかけた値Rijに置き換える。ここで、Rijは次のように計算される。
【0030】
ij=|pij−pi+1,j+1 |+|pi,j+1 −pi+1,j
同様に、ブロック217で示すように、トラッキングウィンドウデータ配列M(n)にある各々の値mijをフィルタにかけられた値rijに置き換える。ここで、rijは次のように計算される。
ij=|mij−mi+1,j+1 |+|mi,j+1 −mi+1,j
フィルタにかけられた2つの配列M(n−1)及びM(n)は、このとき相関ができる状態にある。
【0031】
相関は、小さい方の探索の核206を一層大きいトラッキングウィンドウ205内の相次ぐ位置へ移動させ、配列の対応する要素を参照番号218に示すように減算する反復過程によって実施する。探索の核206の各々の位置で、この減算過程によって生じたゼロの数をブロック219で計数し、探索の核の中心点のx、y位置と共に相関マトリクス220に記憶する。探索の核206がトラッキングウィンドウ205の極限の範囲内で取り得るすべての位置へ移動させられた後、相関マトリクス220を検査して、最大数のゼロが見つかった位置を決定する。この位置がトラッキングされている特徴の計算による新しい位置である。
【0032】
相関器の出力は、現在のX線フレームI(n)においてトラッキングされる特徴の位置x(n)、y(n)として用いられるのが普通であるが、予測器221によって予測された位置に対する検査が行われる。予測器221は、前の3つのX線フレームn−1、n−2及びn−3からのトラッキング点の値を記憶している。
【0033】
これらの値を用いて、現在のトラッキング位置の予測値、及び実際のトラッキング位置x(n)、y(n)がその範囲内で見つかると予想される半径を計算する。実際のトラッキング位置がこの半径の範囲内になければ、予測値に置き換え、それを現在位置x(n)、y(n)として参照番号222から出力する。予測器221の動作についての更に詳しいことは、1986年にアーテク・ハウス・インコーポレイテッド社から出版されたサミュエルS.ブラックマンの著書「レーダへの適用に関する多重標的トラッキング」の第2章を参照されたい。
【0034】
トラッキングされる特徴の現在位置x(n)、y(n)は、次のX線フレームの処理に用いるために遅延装置223に記憶されると共に、表示ウィンドウ選択部224で用いられて、現在のX線フレームデータI(n)から抽出すべきX線像配列W(n)の中心を突き止める。好ましい実施例では、現在のトラッキング位置x(n)、y(n)を中心とする256×256個の画素のデータ配列W(n)が、512×512のX線フレームI(n)から抽出される。W(n)内にあって、512×512配列I(n)の外側にあるあらゆる点は、ゼロに設定され、黒である。この後、抽出された配列W(n)は双一次補間器225に印加される。双一次補間器225は、256×256画素の像配列W(n)を拡大することによりその寸法を2倍にして、512×512画素の像配列B(n)を形成する。正味の効果は、トラッキングされている特徴に対してズームインすると共に、その特徴及びその周囲の構造を2倍に拡大することである。この結果得られた像配列B(n)は、出力像配列201に印加され、CRT駆動器202によってCRTモニタ24上に表示される。
【0035】
トラッキングされる特徴を表示する方法には、多くの変形がある。例えば、一層小さい配列W(n)を表示ウィンドウ選択部224によって抽出することができ、倍率は2倍に制限する必要がない。更に、小さい表示ウィンドウW(n)を抽出することができ、拡大したものでスクリーン全体を埋める代わりに、処理されていないX線フレームI(n)と同時にその小さい表示ウィンドウを表示することができる。例えば、X線フレームI(n)全体を出力像配列201に記憶し、特徴を中心に有する一層小さい表示ウィンドウW(n)を、組み合わせ像の1つの隅に現れるように記憶することができる。従って、心臓の専門家は、すべての構造が心臓サイクルの間に動くときに、それらすべての構造をX線システムの視野内で見ることができ、それと同時に、心臓サイクルの間、確認された特徴が中心合わせされ、静止したたままであるような拡大されたウィンドウを見ることができる。
【0036】
拡大された像B(n)を観察するのに非常に役立つ他の特徴は、像のうち、専門家にとって目障りになることのあるような部分を遮るマスクを用いることである。例えば、トラッキングされる特徴は常に像B(n)の中心にあるので、X線システムの視野の境界にある暗い領域のような普通は静止している特徴は、拡大された像B(n)に出たり入ったりするときに、移動して非常に目障りになることがある。こういう目障りを遮るため、オペレータは、CRT表示装置24の周囲に現れる暗いマスクを形成するように、表示プロセッサ230を構成することができる。この結果、このマスク内にできる円形開口の直径は、心臓の専門家が関心のある構造を見ることができるが、重要でない又は目障りな特徴が隠されるように定めることができる。このマスクの特徴の構成は、本出願人に譲渡された米国特許番号第4571619号に記載されている。
【0037】
上に述べた動作モードにおいて、表示プロセッサ230は、収集されたときに実時間で処理済みの各々のX線フレームを表示するようにオペレータによって構成されている。この蛍光透視動作モードは、冠状血管形成術のような手術を実施するとき、心臓専門医を助けるために用いられる場合が最も多い。しかしながら、表示プロセッサ230は、注意深い診断を下すために後で再生することができるように、処理済みのX線フレームシーケンスを記憶するように構成することもできる。例えば、心臓サイクル全体にわたる患者の心臓を示すための一連のX線フレームを収集することができる。その後、このフレームシーケンスは表示プロセッサ230によって、実時間のスローモーションとして又は歩進的に出力像配列201から読み出されて、心臓の専門医が特定の冠状動脈に起こる変化を注意深く辿ることができるようにすることができる。特定の冠状動脈が本発明によって動かないようにされ、且つ拡大されるのみでなく、このシーケンスを回文モードで観察することができる。このモードでは、表示プロセッサ230はこのシーケンスを読み出して、心臓サイクルを表す。しかしながら、同じシーケンスを再び繰り返す代わりに、表示プロセッサ230は次に、反対の順序でX線フレームシーケンスを読み出して表示する。このような反対の再生は冠状サイクルを反対に表すが、このような回文式の再生は、順方向に繰り返すためにこのシーケンスをリセットするときに起こる特徴の位置の不連続を回避する。その結果、中心に置かれた特徴の周りに動く構造は、その位置が周期的に飛び越すことなく、再生中、常に滑かに動く。前に述べたマスクの特徴の場合と同じく、この回文モードは他の煩わしさを心臓医から取り去ってくれる。
【図面の簡単な説明】
【図1】本発明を用いるディジタル心臓血管X線システムの見取図である。
【図2】図1のディジタル心臓血管X線システムの概略図である。
【図3】図2のディジタルビデオプロセッサの一部である本発明による適応形特徴トラッキングフィルタのブロック図である。
【図4】本発明を実施するために用いられる構成部品である探索の核及びトラッキングウィンドウを示す像の概略図である。
【符号の説明】
11 X線管
12 画像増倍管
15 ビデオカメラ
19 ディジタルビデオプロセッサ
24 CRTモニタ
205 トラッキングウィンドウ
206 探索のウィンドウ
211 探索の核選択部
213 追跡ウィンドウ選択部
216、217 ロバート・フィルタ
218 減算器(相関器)
224 表示ウィンドウ選択部
227、228 低域フィルタ

Claims (9)

  1. X線フレームシーケンスを発生するディジタルX線システムにおいて、X線フレームシーケンスを自動的に表示する方法であって、
    第1のX線フレームに表されている特徴を確認する工程を備えており、
    前記シーケンス内の後続の各々のX線フレームに対して、前のX線フレーム内にある確認された特徴を中心とする画素値の配列である探索の核を該前のX線フレームから抽出する工程と、
    前記前のX線フレーム内にある確認された特徴を中心とする画素値の配列であるトラッキングウィンドウを現在のX線フレームから抽出する工程と、
    前記探索の核及び前記トラッキングウィンドウ内に表されている特徴のエッジを強めるために、前記探索の核及び前記トラッキングウィンドウの両方にあるデータをフィルタにかける工程と、
    前記探索の核と前記トラッキングウィンドウとの間の相関の最善の符合を突き止めることにより、前記現在のX線フレームにおける確認された特徴の位置を見出す工程と、
    前記確認された特徴の現在の位置を中心とする像データの配列を前記現在のX線フレームから抽出する工程と、
    前記像データの配列を用いて表示を発生する工程とを備えているX線フレームシーケンスを自動的に表示する方法。
  2. 前記探索の核及び前記トラッキングウィンドウをフィルタにかける工程は、前記探索の核及び前記トラッキングウィンドウ内にある各々の画素値にロバート・フィルタ演算子を適用することにより行われる請求項1に記載の方法。
  3. 前記探索の核と前記トラッキングウィンドウとの間の相関の最善の符合は、前記探索の核内にある画素値に対応する位置にある前記トラッキングウィンドウ内の画素値から前記探索の核内にある画素値を減算し、該減算する工程から生ずるゼロとなる画素数が最大になるような、前記トラッキングウィンドウに対する前記探索の核の位置を決定することにより行われる請求項1に記載の方法。
  4. 前記探索の核内にある画素値の平均値が計算され、該平均値が該探索の核内にある各々の画素値から減算され、前記トラッキングウィンドウ内にある画素値の平均値が計算され、該平均値が該トラッキングウィンドウ内にある各々の画素値から減算される請求項1に記載の方法。
  5. 前記表示は、前記像データの配列寸法を拡大することにより発生される請求項1に記載の方法。
  6. 前記表示は、前記像データの配列を前記現在のX線フレームと組み合わせることにより発生される請求項に記載の方法。
  7. 前記表示は、前記像データの配列を、該像データの配列内に表されているある特徴が見えないように遮るマスクと組み合わせることにより発生される請求項1に記載の方法。
  8. 前記シーケンス内の像データの各々の配列が記憶され、該記憶された像データの配列が、該像データの配列が得られたシーケンス及び該像データの配列が得られたのとは反対のシーケンスで循環的に表示される回文モードで表示される請求項1に記載の方法。
  9. X線フレームシーケンスを表示する方法であって、
    前記シーケンス内の確認された特徴が実質的に一定の位置で表示スクリーンに表示されるように、前記シーケンス内の各々のX線フレームをディジタル処理する工程と、
    ディジタル処理された各々のX線フレームを拡大する工程と、
    ディジタル処理され、拡大された各々のX線フレームを、該X線フレームが、該X線フレームが得られたシーケンスで表示された後に、該X線フレームが得られたのとは反対のシーケンスで循環的に表示される回文モードで表示する工程とを備えたX線フレームシーケンスを表示する方法。
JP26284793A 1992-10-23 1993-10-21 X線フレームシーケンスを自動的に表示する方法及びx線フレームシーケンスを表示する方法 Expired - Fee Related JP3540347B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/965,467 US5293574A (en) 1992-10-23 1992-10-23 Digital x-ray imaging system with automatic tracking
US965467 1992-10-23

Publications (2)

Publication Number Publication Date
JPH06217968A JPH06217968A (ja) 1994-08-09
JP3540347B2 true JP3540347B2 (ja) 2004-07-07

Family

ID=25510003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26284793A Expired - Fee Related JP3540347B2 (ja) 1992-10-23 1993-10-21 X線フレームシーケンスを自動的に表示する方法及びx線フレームシーケンスを表示する方法

Country Status (4)

Country Link
US (1) US5293574A (ja)
EP (2) EP0606709B1 (ja)
JP (1) JP3540347B2 (ja)
DE (1) DE69332674T2 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5463668A (en) * 1993-09-14 1995-10-31 Kabushiki Kaisha Toshiba X-ray diagnosis apparatus
IT1274405B (it) * 1995-04-28 1997-07-17 San Raffaele Centro Fond Dispositivo di posizionamento e centramento automatico di testa ottica di microscopio
US5809105A (en) * 1997-03-19 1998-09-15 General Electric Company Noise filter for digital x-ray imaging system
US6195445B1 (en) 1997-06-30 2001-02-27 Siemens Corporate Research, Inc. Motion compensation of an image sequence using optimal polyline tracking
US5982915A (en) * 1997-07-25 1999-11-09 Arch Development Corporation Method of detecting interval changes in chest radiographs utilizing temporal subtraction combined with automated initial matching of blurred low resolution images
US6088488A (en) * 1998-04-17 2000-07-11 General Electric Company Vascular imaging with adaptive averaging
US6917692B1 (en) * 1999-05-25 2005-07-12 Thomson Licensing S.A. Kalman tracking of color objects
DE60038480T2 (de) * 1999-06-04 2009-04-16 Koninklijke Philips Electronics N.V. Bildverarbeitungserfahren, -vorrichtung und medizinisches untersuchungsgerät zur extraktion des pfades einer fadenförmigen struktur in einem bild
GB9920401D0 (en) 1999-08-27 1999-11-03 Isis Innovation Non-rigid motion image analysis
JP2003510730A (ja) * 1999-09-30 2003-03-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像処理方法及び画像列における移動対象を追跡するシステム
US6463121B1 (en) * 1999-10-13 2002-10-08 General Electric Company Interactive x-ray position and exposure control using image data as reference information
US6496716B1 (en) * 2000-02-11 2002-12-17 Anatoly Langer Method and apparatus for stabilization of angiography images
GB0028491D0 (en) * 2000-11-22 2001-01-10 Isis Innovation Detection of features in images
FR2823057B1 (fr) * 2001-03-28 2003-07-04 Ge Med Sys Global Tech Co Llc Procede de determination de facteur de grandissement d'une image radiographique notamment vasculaire
JP2004538068A (ja) * 2001-08-09 2004-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像処理を行うx線用装置
US20030086596A1 (en) * 2001-11-07 2003-05-08 Medical Metrics, Inc. Method, computer software, and system for tracking, stabilizing, and reporting motion between vertebrae
US6895077B2 (en) * 2001-11-21 2005-05-17 University Of Massachusetts Medical Center System and method for x-ray fluoroscopic imaging
JP4842511B2 (ja) * 2001-11-21 2011-12-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ノイズの多い画像において構造物を検出し、強調させるための医療観察装置及び方法
AU2002348833A1 (en) * 2001-11-30 2003-06-10 Koninklijke Philips Electronics N.V. Medical viewing system and method for enhancing structures in noisy images
DE60328983D1 (de) * 2002-06-04 2009-10-08 Koninkl Philips Electronics Nv Hybride dreidimensionale rekonstruktion der koronararterien mittels rotationsangiographie
US6907103B2 (en) * 2002-06-19 2005-06-14 Agilent Technologies, Inc. Capturing images of moving objects with a moving illumination point source
EP1685535B1 (en) 2003-08-21 2014-04-30 Philips Intellectual Property & Standards GmbH Device and method for combining two images
US7639847B2 (en) * 2004-09-08 2009-12-29 Ge Medical Systems Information Technologies, Inc. Coronary artery tree imaging system and method
DE102004049227B4 (de) * 2004-10-08 2007-03-01 Yxlon International Security Gmbh Verfahren zur Bestimmung der Lageänderung eines Objekts in einem Gepäckstück
DE102006006038B4 (de) * 2006-02-09 2011-02-17 Siemens Ag System zur bildlich dargestellten Verfolgung eines in ein Untersuchungsobjekt mindestens teilweise eingeführten, bewegten medizinischen Instruments
DE102006019692A1 (de) * 2006-04-27 2007-11-08 Siemens Ag Verfahren zur Bestimmung eines optimalen Triggerzeitpunktes und Vorrichtung zur EKG-getriggerten Aufnahme eines Objekts
EP2129284A4 (en) * 2007-03-08 2012-11-28 Sync Rx Ltd IMAGING AND TOOLS FOR USE WITH MOBILE ORGANS
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
WO2012176191A1 (en) 2011-06-23 2012-12-27 Sync-Rx, Ltd. Luminal background cleaning
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
WO2010058398A2 (en) * 2007-03-08 2010-05-27 Sync-Rx, Ltd. Image processing and tool actuation for medical procedures
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
ES2450391T3 (es) * 2008-06-19 2014-03-24 Sync-Rx, Ltd. Avance progresivo de un instrumento médico
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US9095313B2 (en) 2008-11-18 2015-08-04 Sync-Rx, Ltd. Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe
US9101286B2 (en) 2008-11-18 2015-08-11 Sync-Rx, Ltd. Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US9144394B2 (en) 2008-11-18 2015-09-29 Sync-Rx, Ltd. Apparatus and methods for determining a plurality of local calibration factors for an image
US8855744B2 (en) 2008-11-18 2014-10-07 Sync-Rx, Ltd. Displaying a device within an endoluminal image stack
JP5053982B2 (ja) * 2008-12-05 2012-10-24 株式会社東芝 X線診断装置および画像処理装置
JP6134789B2 (ja) 2012-06-26 2017-05-24 シンク−アールエックス,リミティド 管腔器官における流れに関連する画像処理
US9194965B2 (en) * 2012-11-02 2015-11-24 General Electric Company System and method for X-ray image acquisition and processing
JP6359312B2 (ja) * 2014-03-27 2018-07-18 キヤノンメディカルシステムズ株式会社 X線診断装置
US11191504B2 (en) * 2018-07-31 2021-12-07 Canon Medical Systems Corporation X-ray diagnosis apparatus comprising a blood vessel running information acquiring function, a position specification function, and a diaphragm control function
US11328485B2 (en) * 2019-08-23 2022-05-10 Tencent America LLC Method and apparatus for displaying an augmented-reality image corresponding to a microscope view

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4403256A (en) * 1981-11-10 1983-09-06 Cbs Inc. Television picture stabilizing system
US4410914A (en) * 1982-02-01 1983-10-18 Cbs Inc. Television picture stabilizing system
US4449195A (en) * 1981-11-13 1984-05-15 General Electric Company Digital fluorographic processor control
US4542459A (en) * 1982-11-26 1985-09-17 General Electric Company Matched filter for x-ray hybrid subtraction
DE3319309A1 (de) * 1983-05-27 1984-11-29 Siemens AG, 1000 Berlin und 8000 München Roentgendiagnostikeinrichtung mit einem flachbildverstaerker
US4559557A (en) * 1984-06-01 1985-12-17 General Electric Company Region-of-interest digital subtraction angiography
US4571619A (en) * 1984-08-03 1986-02-18 General Electric Company Programmable video mask generator
US4618990A (en) * 1984-11-15 1986-10-21 General Electric Company Edge enhancement filtering for digital fluorography images
DE4005111A1 (de) * 1990-02-17 1991-08-22 Philips Patentverwaltung Roentgendiagnostikgeraet mit mitteln zur vergroesserten visuellen darstellung eines waehlbaren ausschnitts des gesamt-bildbereichs
US5054045A (en) * 1990-11-14 1991-10-01 Cedars-Sinai Medical Center Coronary tracking display
US5090042A (en) * 1990-12-24 1992-02-18 Bejjani Fadi J Videofluoroscopy system for in vivo motion analysis

Also Published As

Publication number Publication date
EP0606709A2 (en) 1994-07-20
JPH06217968A (ja) 1994-08-09
EP0606709A3 (en) 1994-11-30
DE69332674D1 (de) 2003-03-13
US5293574A (en) 1994-03-08
EP0606709B1 (en) 2003-02-05
DE69332674T2 (de) 2003-12-18
EP1158465A1 (en) 2001-11-28

Similar Documents

Publication Publication Date Title
JP3540347B2 (ja) X線フレームシーケンスを自動的に表示する方法及びx線フレームシーケンスを表示する方法
US20200268335A1 (en) Medical image processing apparatus, x-ray diagnostic apparatus, medical image processing method and x-ray diagnostic method
EP0866607A2 (en) Noise filter for digital x-ray imaging system
US4636850A (en) Apparatus and method for enhancement of video images
US8299413B2 (en) Method for pixel shift calculation in digital subtraction angiography and X-ray diagnostic imaging system for generating images in digital subtraction angiography
US4450478A (en) Digital fluorographic method and system
Reiber et al. Quantitative coronary arteriography: equipment and technical requirements
JP6021420B2 (ja) 画像処理装置、画像処理方法およびプログラム
US5413105A (en) Median temporal filtering of ultrasonic data
JP2007151881A (ja) 血流動態解析装置
JP3159465B2 (ja) 画像表示装置
US5833607A (en) Automatic full-leg mosaic and display for peripheral angiography
JPH05192319A (ja) X線診断装置
EP0097355A1 (en) Method and apparatus for performing digital intravenous subtraction angiography
JP2004188196A (ja) 心臓サイクルの検出の方法及び装置
JP6416350B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JPS61249446A (ja) 固定した背景から可動部を分離する方法及び装置
JPS60142688A (ja) デイジタルサブトラクシヨンシステム
JP3028626B2 (ja) X線透視画像処理装置
EP4020381A1 (en) Medical image processing apparatus, x-ray diagnosis apparatus, and medical image processing method
Stein Method and apparatus for performing digital intravenous subtraction angiography
JPH06125499A (ja) ディジタル・サブトラクション・アンギオグラフィ装置
JPS59123384A (ja) デイジタルサブトラクシヨンシステム
US20080039719A1 (en) Method for determining an optimal trigger time and device for ECG-triggered recording of an object
JPS59133790A (ja) X線画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040325

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees