JP4320392B2 - 高歪みレート除去フィルタ処理のための方法及び装置 - Google Patents

高歪みレート除去フィルタ処理のための方法及び装置 Download PDF

Info

Publication number
JP4320392B2
JP4320392B2 JP2003048402A JP2003048402A JP4320392B2 JP 4320392 B2 JP4320392 B2 JP 4320392B2 JP 2003048402 A JP2003048402 A JP 2003048402A JP 2003048402 A JP2003048402 A JP 2003048402A JP 4320392 B2 JP4320392 B2 JP 4320392B2
Authority
JP
Japan
Prior art keywords
complex
signal
distortion
distortion rate
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003048402A
Other languages
English (en)
Other versions
JP2003275211A (ja
Inventor
アンドレアス・ヘイムダル
ハンス・ガーマン・トルプ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Publication of JP2003275211A publication Critical patent/JP2003275211A/ja
Application granted granted Critical
Publication of JP4320392B2 publication Critical patent/JP4320392B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52036Details of receivers using analysis of echo signal for target characterisation
    • G01S7/52042Details of receivers using analysis of echo signal for target characterisation determining elastic properties of the propagation medium or of the reflective target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979Combined Doppler and pulse-echo imaging systems
    • G01S15/8981Discriminating between fixed and moving objects or between objects moving at different speeds, e.g. wall clutter filter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52036Details of receivers using analysis of echo signal for target characterisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

【0001】
【発明の背景】
本発明の特定の実施形態は、解剖学的構造及びそれらの動きを測定し画像化する診断用超音波システムに関する。より具体的には、特定の実施形態は、動いてる組織構造に関連した歪みレート(strain rate) 信号を生成し表示し、これらの歪みレート信号中の、残響及びその他の源に起因したノイズを低減する方法及び装置に関する。
【0002】
超音波イメージング(画像化)の分野においては、医師が臨床測定のために組織の歪み及び歪みレートを使用することに関心を持つようになってきている。用語「歪み」とは、検査している組織の特性を表すものである。例えば、筋肉組織に関連した歪みは、筋肉組織の初期長さと規定時間間隔中の筋肉組織長さの変化分との比に対応する。超音波イメージングでは、歪みの変化の割合(すなわち、歪みレート)が典型的にはカラー化した2次元画像として医師に対して可視的に提供され、その場合、様々な色が異なる歪みレートに対応している。心筋の一セグメントの活動能力が、筋肉歪みの量と、該筋肉セグメントによって生じる又は該筋肉セグメントに加えられる歪みの時間的な振る舞いとに関係することが明らかになった。また、圧縮に対する抵抗に基づいて悪性腫瘍を検出し得ることが判明した。
【0003】
実時間歪みレート画像化の一用途は心臓病学におけるものである。歪みレートにより、心筋の収縮及び弛緩する能力についての直接的かつ量的な目安が得られる。先端のビューから心筋に沿って画像化することによって、心臓の長軸に沿った局部的歪みレート成分を測定することができる。局部的歪みレート成分を測定することは、心臓壁の短縮及び伸長についての情報を与える。胸骨傍のビューから画像化することによって、心臓壁に垂直な歪みレート成分は筋肉の厚さ増大についての情報を与える。Mモードで又は2D画像から測定した壁の厚さ増大は、筋肉の活動能力についての普通に使用される目安である。歪みレートの画像化により、厚さ増大についての直接的な目安が得られる。歪みレート画像は多数の心臓疾患の診断に付加的に用いられる可能性がある。
【0004】
歪みレートをより詳しく理解するために、初期長さL0 の組織セグメントを異なる長さLまで引き伸ばし又は圧縮し、或いはそれ自身が伸長し又は収縮して異なる長さLにすると仮定する。1次元歪みは、次式
ε=(L−L0 )/L0 (1)
で定義されて、上記変化を無次元の記述で表す。長さLが時間の関数である場合、歪みの時間的な導関数、すなわち歪みレートは、次式
【0005】
【数1】
Figure 0004320392
【0006】
を用いて表すことができる。
【0007】
対象物内の各点の速度vが既知である場合、歪みレートは等価的に次式
【0008】
【数2】
Figure 0004320392
【0009】
で定義される。
【0010】
これらの式はまた、組織セグメントの変形の有用な記述を提供する。歪みレートはセグメントの変形レート(rate of deformation) の目安になる。もし歪みレートがゼロである場合、セグメントの形状は変化していない。歪みレートが正である場合、セグメントの長さが増大しており、また、歪みレートが負である場合、セグメントの長さが減少している。
【0011】
歪みレートが所与のレベルより大きく生じると、それは非生理的なものであると想定され、従って画像化の際に残響やその他のノイズ源によって惹起されるアーティファクトである。残響は組織内での複数の反射によって惹起される。残響及びノイズは、偽の又は崩壊したエコーとの相関に起因して、組織内で推定される速度勾配(velocity gradient) をバイアスする(偏倚させる)ことがある。その結果、偽って増大し、減少し、或いは反転さえもした歪みレート推定値が生じる可能性がある。正常な組織及び病変組織の両方において或る特定の範囲の生理的な歪みレートがある。例えば、人の正常な心筋及び病変心筋では、正の最大及び負の最大の長さ方向歪みレートはそれぞれ+3.14s-1及び−1.78s-1であると報告されている。これらの値は、負荷心臓エコー検査によって人為的に増大させた収縮値を含んでいる。
【0012】
定常的な残響によって歪みレートの増大が惹起されることについての1つの可能な説明を以下にのべる。一定の空間速度勾配を仮定すると、ビーム線に沿った速度サンプルが該ビームに沿って増大する。歪みレートは対の速度サンプルの間の差をそれらの間の距離で割算した値として推定することができ、この場合、空間的に一定の歪みレートが生じる。
【0013】
更に、或る領域が残響の影響を受けると仮定すると、速度推定値中に或るバイアスbrev が存在することがある。歪みレートについてのその効果は、残響領域の上下の残響バイアスbrev /(2d)である。ここで、dは組織セグメントの2つの点の間の距離である。残響に起因する速度バイアスの量に応じて、推定歪みレートは正常範囲外の値に達することがある。
【0014】
歪みレート推定におけるノイズの問題を解決するための従来の試みでは、歪みレートの計算の前に組織速度データについてクラッター(clutter) フィルタを使用している。この方法には様々な問題がある。第1に、クラッター・フィルタはそれ自身で速度推定値にバイアスを導入することがあり、これは再び歪みレート推定値のバイアスとして反映される。第2に、速度がゼロに近いとき(例えば、心拍動サイクルの拡張期の心拍静止期間におけるとき)、クラッター・フィルタは速度推定値の分散、従って歪みレート推定値の分散を増大させる傾向がある。
【0015】
発明者Torp等による
【特許文献1】
米国特許第6099471号は、超音波イメージングにおける歪みの実時間計算及び表示のための方法及び装置を対象としている。発明者Torp等による米国特許出願第09/432061号は、超音波イメージングにおける組織の変形の実時間計算及び表示を行う方法及び装置を対象としている。
【0016】
従って、歪みレート画像化において残響及びその他のノイズ源に起因する非生理的な高い歪みレートをフィルタ処理により除去する方策が必要とされている。
【0017】
【発明の概要】
本発明の一実施形態では、複素ドップラー信号に応答して被検体内の構造に対応するフィルタ処理した歪みレート信号を生成して表示する超音波システムを提供する。残響及びその他のノイズ源に起因する高歪みレート信号をフィルタ処理により除去すること、複素自己相関、速度信号推定、実数歪みレート信号推定、複素歪み相関信号推定、複素信号平均化、及び実数信号平均化を含む、幾つかの処理手法の様々な組合せを用いる。
【0018】
超音波システムによってサンプリングされた信号から歪みレート信号を生成しフィルタ処理し表示する装置を提供する。本書で用いる用語「フィルタ処理」とは、残響やノイズに起因して崩壊するような信号を抽出し又は修正することを意味する。本装置は、ドップラー処理モジュールと、複素自己相関、速度信号推定、実数歪みレート信号推定、複素歪み相関信号推定、複素信号平均化、及び実数信号平均化を含む幾つかの関数の様々な組合せを実行する歪みレート処理モジュールとを含んでいる。
【0019】
また、超音波システムによってサンプリングされた信号から歪みレート信号を生成しフィルタ処理し表示する方法を提供する。本方法は、残響及びその他のノイズ源に起因する高歪みレート信号をフィルタ処理により除去するステップと、複素自己相関、速度信号推定、実数歪みレート信号推定、複素歪み相関信号推定、複素信号平均化、及び実数信号平均化を含む幾つかの関数の様々な組合せを実行するステップとを含んでいる。
【0020】
本発明の特定の実施形態では、ノイズを低減し且つ画像品質を改善したフィルタ処理したカラー歪みレート画像を生成し表示するための方策を提供する。
【0021】
【発明の詳しい説明】
図1は超音波システム5の概略ブロック図であり、本発明の一実施形態に従って歪みレート・カラー画像を生成するために使用されるアーキテクチャを示す。超音波システムの例示した要素は、フロントエンド10と、処理アーキテクチャ70と、表示アーキテクチャ160である。フロントエンド10は、(複数のトランスデューサ素子25で構成される)トランスデューサ・アレイ20と、送信/受信スイッチング回路30と、送信器40と、受信器50と、ビームフォーマ60とを有する。処理アーキテクチャ70は、制御処理モジュール80と、復調モジュール85と、ドップラー処理モジュール90と、歪みレート処理モジュール100と、走査変換モジュール120を有する。表示アーキテクチャ160は、表示処理モジュール130と、モニタ150とを有する。
【0022】
フロントエンド10において、トランスデューサ・アレイ20は送信/受信(T/R)スイッチング回路30に接続されている。T/Rスイッチング回路30は送信器40の出力と受信器50の入力とに接続されている。受信器50の出力はビームフォーマ60に接続されている。ビームフォーマ60はまた送信器40の入力に接続されていると共に、処理アーキテクチャ70内の制御処理モジュール80の入力と復調モジュール85の入力とに接続されている。
【0023】
処理アーキテクチャ70において、制御処理モジュール80はドップラー処理モジュール90と歪みレート処理モジュール100とに接続されている。復調モジュール85の出力はドップラー処理モジュール90の入力に接続されている。ドップラー処理モジュール90の出力は歪みレート処理モジュール100の入力に接続されている。歪みレート処理モジュール100の出力は走査変換モジュール120の入力に接続されている。走査変換モジュール120の出力は表示アーキテクチャ160内の表示処理モジュール130の入力に接続されている。表示アーキテクチャ160では、表示処理モジュール130の出力はモニタ150に接続されている。
【0024】
被検体から一フレームのデータをサンプリングしようとするとき、トランスデューサ・アレイ20を使用して、超音波を被検体内に送信する。トランスデューサ・アレイ20は多数の個別のトランスデューサ素子25の線形アレイ又は湾曲形アレイであってよい。各々のトランスデューサ素子25は送信器40からの信号に応答して超音波を生成することができる。更に、トランスデューサ素子相互の間の位相関係は制御することが可能である。その結果、トランスデューサ・アレイ20の表面に直角な方向に対して或る特定の角度で被検体内へ送信される超音波エネルギ・ビームが生じ、該ビームは実効的にトランスデューサ・アレイ20の表面上の一点を起点とする。超音波ビームを送信するために典型的には複数の素子25が使用される。複数の素子25から送信される超音波相互の間の位相関係は、送信しているビームのステアリング角度を決定する。送信のために使用されるトランスデューサ素子25の数は、アポダイゼーションのような他の因子と共に、被検体内に超音波ビームの長さに沿った超音波ビームの形状を決定する。
【0025】
送信超音波ビームを生成するために、制御処理モジュール80がビームフォーマ60に指令データを送って、トランスデューサ・アレイ20の表面上の或る特定の点を起点とする或る特定の形状のビームを、一走査線(例えば、145)に沿った走査平面140(図2参照)内の或る特定のステアリング角度で生成するための送信パラメータを作成するようにビームフォーマ60に指令する。これらの送信パラメータはビームフォーマ60から送信器40へ送られる。送信器40は送信パラメータを使用して、T/Rスイッチング回路30を介してトランスデューサ・アレイ20へ送るべき送信信号を適切に符号化する。送信信号は互いに対して或る特定のレベル及び位相を持っていて、トランスデューサ・アレイ20の個々のトランスデューサ素子25へ供給される。送信信号はトランスデューサ・アレイ20のトランスデューサ素子25を励起して、送信信号と同じ位相及びレベル関係を持つ超音波を送出させる。その結果、トランスデューサ・アレイ20が例えば超音波用ジェルを使用することによって被検体に音響結合されているとき、超音波エネルギの送信ビームが一走査線(例えば、145)に沿って走査平面140内で被検体の組織内部に形成される。このプロセスは電子走査として知られている。ドップラー用途の場合、送信信号は典型的には或るパルス繰返し周波数(PRF)の複数のパルスのパケットとして送信される。これらの複数のパルスの反射を使用して、受信時に複素ドップラー・データ・パケットが作成される。
【0026】
トランスデューサ・アレイ20は両方向トランスデューサである。一旦超音波が被検体内に送信されると、超音波は被検体の構造内の組織のサンプル・ボリュームから後方散乱される。後方散乱した超音波は、該超音波が組織内から戻る距離とトランスデューサ・アレイ20の表面に対して該超音波が戻る角度とに依存して、異なる時点にトランスデューサ・アレイ20に到達する。トランスデューサ・アレイ20のトランスデューサ素子25は後方散乱波に応答して、後方散乱波の超音波エネルギを受信電気信号へ変換する。
【0027】
受信電気信号はT/Rスイッチング回路30を介して受信器50へ通される。受信器50は受信信号を増幅しディジタル化し、また利得補償のような他の機能を行う。ディジタル化された受信信号は各々のトランスデューサ素子25によって様々な時点に受信した後方散乱波に対応し、後方散乱波の振幅及び位相情報を保持する。
【0028】
ディジタル化された受信信号はビームフォーマ60へ送られる。制御処理モジュール80がビームフォーマ60へ指令データを送る。ビームフォーマ60は指令データを使用して、トランスデューサ・アレイ20の表面上の一点を起点とし且つ一ステアリング角度を持つ受信ビームを形成し、これらの点及びステアリング角度は典型的には前に送信された超音波ビームの点及びステアリング角度に対応する。ビームフォーマ60は、制御処理モジュール80からの指令データの命令に従って、適切な受信信号に作用して時間遅延及び集束を行って、被検体の組織構造内の走査線(例えば、145)に沿ったサンプル・ボリュームに対応する受信ビーム信号を生成する。受信ビーム信号を生成するために、複数のトランスデューサ素子25からの受信信号の位相、振幅及びタイミング情報が使用される。
【0029】
受信ビーム信号はディジタル・インターフェース117を介して処理アーキテクチャ70へ送られる。復調モジュール85は受信ビーム信号について復調を行って、受信ビームに対応する走査線(例えば、145)の長さに沿ったサンプル・ボリューム(例えば、141及び142)に対応する対のI及びQ復調データ値を生成する。復調を達成するには、受信ビーム信号の位相及び振幅を基準周波数に対して比較する。I及びQ復調データ値は、受信信号の位相及び振幅情報を保持する。所与のサンプル・ボリューム位置についてのI及びQデータ対の振幅情報は数学的には(I2+Q21/2 に相当する。また、位相情報は数学的にはtan-1(Q/I)に相当する。従って、一サンプル・ボリューム位置に対応する1つのI及びQデータ対(一対のI及びQデータ)について1つの振幅データ値及び1つの位相データ値を生成することができる。
【0030】
これらのデータ値は、複素ドップラー・データとも呼ばれる。というのは、ドップラー効果に起因する位相のシフト(偏移)がそのデータに固有のものであるからである。I及びQ復調データ値は、走査している被検体内の動きのある組織に起因してドップラー・シフトによって受信信号に誘起された位相及び振幅情報を保持する。
【0031】
複数の送信及び受信ビームが、走査している被検体の走査平面140において一フレームのデータをサンプリングするために形成される。受信ビームに対応する復調されたI及びQデータはドップラー・データ・パケット(例えば、143及び144)の形態でドップラー処理モジュール90へ送られ、それらはその後処理されて最終的にカラー歪みレート画像を生成する。複素ドップラー・データ・パケットは、PRFとして知られている或る特定のレート(rate)でサンプリングされた複数のI及びQデータ対を有する。歪みレート画像化のための典型的なドップラー・パケットは、例えば、16の複素I及びQデータ対を含んでいてよい。
【0032】
所与のレベルよりも大きい歪みレートは非生理的なものであると想定され、従って画像化の際に残響やその他のノイズ源によって惹起されるアーティファクトである。残響は組織内での複数の反射によって惹起される。残響及びノイズは、偽の又は崩壊したエコーとの相関に起因して組織内で推定される速度勾配をバイアスする(偏倚させる)ことがある。その結果、偽って増大し、減少し、或いは反転さえもした歪みレート推定値が生じる可能性がある。正常な組織及び病変組織の両方において或る特定の範囲の生理的な歪みレートがある。この範囲は、測定する筋肉における変形の方向に依存することがある。長さ方向において、例えば、人の正常な心筋及び病変心筋では、正の最大及び負の最小歪みレートはそれぞれ+3.14s-1及び−1.78s-1であると報告されている。。半径方向では、最大値は+3.09s-1及び−8.23s-1であると報告されている。表1は測定値の詳細なリストを提供する。
【0033】
【表1】
Figure 0004320392
【0034】
表1中の参考文献:
[Cain01] Clinical Science, Vol. 100, No. 4, 2001年の第423−432頁に所載された著者 P. Cain、T.H. Marwick、C. Case、T. Baglin、J. Dart、L. Short、B. Olstad による論文「Assessment of regional long-axis function during dobutamine echocardiography」。
【0035】
[Kowalski01] Ultrasound Med Biol., Vol. 27, No. 8, 2001年の第1098−97頁に所載の著者 M. Kowalski、T. Kukulski、F. Jamal、J. D'hooge、F. Weidemann、F. Rademakers、B. Bijnens、L. Hatle、G. R. Sutherlandによる論文「Can natural strain and strain rate quantify regional myocardial deformation? A study in healthy subjects」。
【0036】
[Slordahl01] European Journal of Ultrasound, Vol. 14, Issues 2-3, 2001年の第149−155頁に所載の著者 S.A. Slordahl、S. Bjaerum、B.H. Amundsen、A. Stoylen、A. Heimdal、S.I. Rabben、H. Torpによる論文[High frame rate strain rate imaging of the interventricular septum in healthy subjects」。
【0037】
[Stoylen01] Journal of the American Society of Echocardiography, Vol. 14, No. 4, 2001年の第264−274頁に所載の著者A. Stoylen、S. Slordahl、G.K. Skjelvan、A. Heimdal、T. Skjaerpeによる論文「Strain rate imaging in normal and reduced diastolic function: Comparison with pulsed doppler tissue imaging of the mitral annulus」。
【0038】
[Voigt00] Journal of the American Society of Echocardiography, vol 13, no. 6, 2000年の第588-598頁に所載の著者J-U. Voigt、M. F. Arnold、M. Karlsson、L. Hubbert、T. Kukulski、L. Hatle、G.R. Sutherlandによる論文「Assessment of regional longitudinal myocardial strain rate derived from Doppler myocardial imaging indices in normal and infracted myocardium」。
【0039】
歪みレートの増大が定常的な残響によって惹起されることについて、考えられる一つの説明を示す。図3は、残響が速度推定値及び歪みレート推定値をどのようにバイアスするかを数学的に例示している。図3について説明すると、空間速度勾配が一定であると仮定すると、
【0040】
【外1】
Figure 0004320392
【0041】
歪みレートは、対の速度サンプルの間の差をそれらの間の距離2dS で割り算した値として推定することができ、この場合、空間的に一定の歪みレート、
【0042】
【外2】
Figure 0004320392
【0043】
更に、サンプル・ボリューム位置nが残響の影響を受けると仮定すると、
【0044】
【外3】
Figure 0004320392
【0045】
歪みレートについてのその効果は、サンプル・ボリューム位置nに隣接するサンプル・ボリューム位置n−1及びn+1における残響サンプル・ボリューム位置よりも高い及び低い残響アーティファクトbrev /(2d)である。残響に起因する速度バイアスの量に応じて、
【0046】
【外4】
Figure 0004320392
【0047】
これらの位置における組織の真の歪みレートについての偽の表示を与えることがある。
【0048】
残響及びノイズ・アーティファクトが、完全に除去できない場合に最小になるように、カラー歪みレート画像をオペレータに対して表示する前に高い歪みレート値はフィルタ処理して除去することができる。高歪みレート除去(HSRR)フィルタ処理が歪みレート処理モジュール100で用いられる。図4は、高歪みレート除去(HSRR)フィルタ処理を行うための幾つかの可能な実施形態を例示している。
【0049】
HSRRフィルタ処理は歪みレート画像生成プロセス中の異なる段階で実行してもよい。全ての代替形態は、複素ドップラーI及びQデータ(すなわち、複素復調無線周波(RF)超音波データ)の実時間又は前に記憶したパケットを処理することに基づいている。歪みレート処理は、図4の実施形態のステップ91で開始する。ステップ91で 、(例えば、周知のカサイ(Kasai)アルゴリズムを使用して)複素自己相関を実行して、サンプリングされたI及びQデータのパワーP及び遅れ1の相関Rを計算する。ステップ91は、復調モジュール85からのI及びQデータ・パケット(例えば、143及び144)についてドップラー処理モジュール90内で実行される。
【0050】
rが範囲(深さ)を表し、且つtが時間サンプリング指数であるとして、一パケットの複素ドップラーI及びQ信号がx(r,t)143として表される場合、所与の範囲rについて、
【0051】
【数3】
Figure 0004320392
【0052】
上式で、conj [ ]は複素共役演算を意味する。
【0053】
パワー及び複素自己相関データP(r)及びR(r)は、その後の処理のために歪みレート処理モジュール100へ送られる。
【0054】
本発明の第1の実施形態では、R(r)の複素歪み相関S(r)が図4のステップ101で歪みレート処理モジュール100によって計算される。図2を参照して説明すると、歪みレートは、距離(dr)147だけ隔たった走査平面140内の2つの異なるサンプル・ボリューム位置141及び142における複素自己相関値の間の位相差から決定することができる。複素自己相関値R(r)及びR(r+dr)は、複素ドップラー信号パケットx(r,t)143及びx(r+dr)144について演算する式(5)を使用して、ドップラー処理装置90によって計算される。ステップ101で、歪みレート処理モジュール100はS(r)を次式
S(r)=conj[R(r)]*R(r+dr) (6)
で計算する。ここで、得られた複素数S(r)はR(r)及びR(r+dr)の位相角の間の差に等しい位相角を持つ。S(r)の位相角は組織セグメント(dr)147についての歪みレートに比例する。
【0055】
ステップ103(HSRR代替態様1)で、歪みレート処理モジュール100におけるHSRRフィルタ処理により、所定のHSRR限界より大きい歪みレート値に対応する位相角を持つ全てのS(r)サンプルが複素数ゼロに設定される。これらのサンプルは非生理的であると見なされ、残響又は他のノイズ源に起因する。例えば、上記限界は最大標準偏差の1又は2倍を付加した表1中の最大値であってよい。
【0056】
次いでステップ106で、歪みレート処理モジュール100によるHSRRフィルタ処理を通過したサンプルS(r)について複素平均化が実行される。複素平均化は、近接している空間サンプルの空間的平均化、近接している時間サンプルの時間的平均化、或いは空間的及び時間的複素平均化の両方の組合せであってよい。平均化は、周知の手法を使用することにより、隙間を埋めて画像を平滑化して、画像に現れるノイズを少なくするために行われる。
【0057】
平均化した複素歪み相関S(r)サンプルは次いでステップ107で歪みレート処理モジュール100によってフィルタ処理した歪みレート・サンプルSR(r)に変換される。歪みレート変換107は次の式
SR(r)=[c/(4πdrTf0)]*位相[S(r)] (7)
を使用して、歪み相関S(r)から歪みレートSR(r)を計算する。ここで、cは組織の中での音速であり、Tはドップラー・データ・パケット内の相次ぐ[I,Q]サンプル対の間の時間であり(典型的には、PRFをパルス繰返し周波数として、T=1/PRF)、dr147は走査平面140内の2つのサンプル・ボリューム141及び142の間の距離であり、f0 は超音波送信周波数である。
【0058】
フィルタ処理した歪みレート値SR(r)は次いで走査変換するために走査変換モジュール120へ送られる。走査変換モジュール120は、特定の走査シーケンス形式にあるフィルタ処理した歪みレート・データSR(r)を取り入れて、表示のために該データを直交座標系形式へ変換するようにプログラムされている。走査変換モジュール120は走査平面140内の近接するサンプル・ボリューム位置の相互間のデータを補間して、画像座標形式の走査変換したデータ・サンプルを生成する。この走査変換したデータは次いで表示アーキテクチャ160へ送られて表示処理モジュール130によって処理され、そこで該データの最終的な空間的又は時間的平均化が行われ且つ該データにカラーが適用される。最終的に、その結果得られたデータは、カラーの変化が異なる歪みレート値に対応する2Dカラー画像として、モニタ150上でオペレータに対して表示される。
【0059】
本発明の代替の実施形態では、ドップラー処理モジュール90からの複素自己相関データR(r)はステップ102で歪みレート処理モジュール100において速度信号を推定するように処理される。所与のサンプル・ボリューム位置についての組織の速度信号v(r)はR(r)の位相角から次式
v(r)=[c/(4πf0 T)]*位相[R(r)] (8)
に従って推定される。ここで、v(r)は複素数の値ではなく、実数の値である。
【0060】
走査平面140内のサンプル・ボリューム位置に対応する実数の速度信号v(r)は次いで、ステップ104で歪みレート処理モジュール100において実数のフィルタ処理していない歪みレートを推定するように処理される。ステップ104で、実数のフィルタ処理していない歪みレートは再び走査平面140内の2つのサンプル・ボリューム位置141及び142の実数の速度推定値から次式
SR(r)=[v(r+dr)−v(r)]/dr (9)
に従って計算される。ここで、dr(147)は組織セグメントについての走査平面140内の2つのサンプル・ボリューム位置(例えば、141及び142)の間の距離である。代わりに、2つのサンプル・ボリューム141及び142の間の走査線に沿った利用可能なサンプルの全てを歪みレートの推定に使用することができる。
【0061】
実数のフィルタ処理していない歪みレート信号SR(r)は次いでステップ103(HSRR代替態様2)で歪みレート処理モジュール100によってHSRRフィルタ処理される。ステップ103では、HSRRフィルタ処理により、所定のHSRR限界の外側にある歪みレート値を或る特定の値に設定する。この値はゼロであってもよく、或いは空間的にそれを囲んでいるサンプルの関数であってもよい。ステップ105で、周知の平均化手法を使用して、残りの歪みレート・サンプルを空間的に及び/又は時間的に平均化して、ノイズのより少ない、より滑らかな画像を生成する。
【0062】
再び、フィルタ処理した歪みレート値SR(r)は次いで、走査変換するために歪みレート処理モジュール100から走査変換モジュール120へ送られる。走査変換したデータは次いで表示アーキテクチャ160へ送られて表示処理モジュール130によって処理されて、オペレータに対して2Dカラー画像としてモニタ150上に表示される。
【0063】
別の代替の態様は、図4に示されるようにHSRRフィルタ処理の実施(HSRR代替態様3)をプロセスの終わりへ移動させることを除いて、前に述べた2つの代替態様のいずれかにある機能を実行することである。HSRRフィルタ処理により、SR(r)サンプルが所定のHSRR限界の外側にある場合に、該SR(r)サンプルをゼロに、又は空間的に該SR(r)サンプルを囲んでいるサンプルの関数に設定する。この代替態様は最初の2つの代替態様と同様に働くとは期待されない。というのは、前の平均化プロセスにおいて、ノイズの多い(値の大きい)サンプルが大きく寄与することがあり、また周囲のサンプルに影響を及ぼすことがあるからである。しかしながら、この代替態様は、歪みレート・データのみが利用でき且つ他のHSRRフィルタ処理態様が広範なアーキテクチャの変更無しに実施するのが可能でない状況において有用である。
【0064】
表示プロセスの一部として、HSRRフィルタ処理プロセスによって高い歪みレートが見付かった画像内の領域を指示するために特異なカラーを使用することができる。特異なカラーは、ノイズの生じ易い領域をオペレータに指示するために使用することができる。定常的な残響は静止した構造から生じるので、アーティファクトが幾つかのフレームでのみ検出されたとしても、全てのフレーム内の同じ領域が影響を受けることがある。従ってまた、或る区域における歪みレートが所与のフレームについて所定の範囲の外側になかった場合、他のフレームにおいてこの区域にノイズの表示があると、いずれにしてもこの区域内のサンプルはまだ特異なカラーで符号化することができる。
【0065】
上述の歪みレート処理は超音波システム5の不可欠な特徴として実時間で行うことができる。この代わりに、歪みレート処理が実時間走査に関係なく後処理として実行されるように、複素ドップラーI及びQデータ又は複素自己相関データを超音波システムによって記憶し処理してもよい。更に代替例として、複素ドップラーI及びQデータ又は複素自己相関データを超音波システム5から取得し、且つ歪みレート処理及びその後の表示を超音波システムの外で、例えば、外部のPCで、後処理として実行するようにしてもよい。
【0066】
本発明のいずれの実施形態での処理も、ディジタル信号処理装置を備えた回路基板のような専用のハードウエア素子によって実行してもよいし、或いは市販のPCのような汎用コンピュータ又は処理装置でソフトウエアによって実行してもよい。また、本発明の様々な実施形態に従って様々な処理モジュールを組み合わせたり又は分離させてもよい。例えば、ドップラー処理モジュール90及び歪みレート処理モジュール100は単一の処理素子に組み合わせてもよい。
【0067】
要約すると、本発明の利点及び特徴には、とりわけ、2Dカラー歪みレート画像化において残響及びその他のノイズ源に起因した非生理的な高い歪みレートをフィルタ処理によって除去して、画像品質を改善することが含まれる。
【0068】
本発明を特定の実施形態に関して説明したが、様々な変更をなし得ること及び本発明の範囲から逸脱することなく等価なものと置換しうることが当業者には理解されよう。更に、特定の状況又は部材を本発明の範囲から逸脱することなく本発明の教示に適合させるように多くの修正を行い得る。従って、本発明は開示した特定の実施形態に限定されず、特許請求の範囲内の全ての実施形態を包含するものである。
【図面の簡単な説明】
【図1】本発明の一実施形態に従って歪みレート処理をシステムの他の要素に対して示す超音波システムの概略ブロック図である。
【図2】本発明の一実施形態に従って図1のシステムのユーザによって位置決めされたサンプル・ゲート内の組織セグメントと境を接する2つのサンプル・ボリューム位置を持つ走査平面を例示する図である。
【図3】図1のシステムにおいて残響が速度推定値及び歪みレート推定値をどのようにバイアスする(偏らせる)ことがあるのかを図形及び数式で例示する図である。
【図4】高歪みレート除去フィルタ処理を実行するための幾つかの可能な実施形態を例示する図である。
【符号の説明】
5 超音波システム
10 フロントエンド
20 トランスデューサ・アレイ
25 トランスデューサ素子
70 処理アーキテクチャ
117 ディジタル・インターフェース
140 走査平面
141、142 サンプル・ボリューム
143、144 ドップラー・データ・パケット
145 走査線
147 組織セグメント
160 表示アーキテクチャ

Claims (10)

  1. 複素歪み相関信号に応答する高歪みレート除去フィルタ処理素子(103)を有する、歪みレート信号を生成する装置であって、前記複素歪み相関信号は超音波システム(5)によって生成された複素ドップラー信号から導き出されており、前記フィルタ処理素子は前記歪みレート信号中のノイズを低減するためにフィルタ処理した複素歪み相関信号を生成することを特徴とする、当該歪みレート信号を生成する装置。
  2. フィルタ処理していない歪みレート信号に応答する高歪みレート除去フィルタ処理素子(103)を有する、歪みレート信号を生成する装置であって、前記フィルタ処理していない歪みレート信号は超音波システム(5)によって生成された複素ドップラー信号から導き出されており、前記フィルタ処理素子(103)は前記歪みレート信号中のノイズを低減するためにフィルタ処理した歪み相関信号を生成することを特徴とする、当該歪みレート信号を生成する装置。
  3. 更に、前記複素ドップラー信号に応答して、ドップラー・シフトを表す複素自己相関信号を生成する自己相関処理素子(91)と、前記複素自己相関信号に応答して、前記複素歪み相関信号を生成する複素歪み相関処理素子(101)と、前記フィルタ処理した複素歪み相関信号に応答して、平均化したフィルタ処理した複素歪み相関信号を生成する複素平均化処理素子(106)と、前記平均化したフィルタ処理した複素歪み相関信号に応答して、前記歪みレート信号を生成する歪みレート変換処理素子(107)と、を含んでいる請求項1又は2に記載の装置。
  4. 前記複素平均化処理素子(106)は前記フィルタ処理した複素歪み相関信号を空間的又は時間的に平均化する、請求項3記載の装置。
  5. 前記高歪みレート除去フィルタ処理素子(103)は前記複素歪み相関信号から位相角を抽出し、前記位相角を所定の位相角範囲と比較し、前記複素歪み相関信号の対応する前記位相角が前記所定の位相角範囲の外側にある場合は前記複素歪み相関信号を複素数ゼロに設定する、請求項1乃至4のいずれかに記載の装置。
  6. 複素歪み相関信号について高歪みレート除去フィルタ処理(103)を行うステップを有する、歪みレート信号を生成する方法であって、前記複素歪み相関信号は超音波システム(5)によって生成された複素ドップラー信号から導き出されており、前記フィルタ処理(103)は前記歪みレート信号中のノイズを低減するためにフィルタ処理した複素歪み相関信号を生成することを特徴とする、当該歪み相関信号を生成する方法。
  7. 更に、前記複素ドップラー信号について自己相関処理(91)を行って、ドップラー・シフトを表す複素自己相関信号を生成するステップと、前記複素自己相関信号について複素歪み相関処理(101)を行って、前記複素歪み相関信号を生成するステップと、前記フィルタ処理した複素歪み相関信号について複素平均化処理(106)を行って、平均化したフィルタ処理した複素歪み相関信号を生成するステップと、前記平均化したフィルタ処理した複素歪み相関信号について歪みレート変換処理(107)を行って、前記歪みレート信号を生成するステップと、を含んでいる請求項に記載の方法。
  8. 前記複素平均化処理(106)を行うステップは、前記フィルタ処理した複素歪み相関信号を空間的又は時間的に平均化するステップを含んでいる、請求項記載の方法。
  9. 前記高歪みレート除去フィルタ処理(103)を行うステップは、前記複素歪み相関信号から位相角を抽出するステップと、前記位相角を所定の位相角範囲と比較するステップと、前記複素歪み相関信号の対応する前記位相角が前記所定の位相角範囲の外側にある場合は前記複素歪み相関信号を複素数ゼロに設定するステップとを含んでいる、請求項6乃至のいずれかに記載の方法。
  10. 超音波信号を送受信するトランスデューサ(20)と、前記超音波信号を表すデータ・サンプルを導き出すビームフォーマ(60)と、前記データ・サンプルに応答して複素ドップラー信号を生成する復調モジュール(85)と、前記複素ドップラー信号に応答して複素自己相関信号を生成するドップラー処理モジュール(90)と、請求項1乃至5のいずれかに記載の装置と、前記歪みレート信号から導き出された歪みレート画像フレームを作成する表示サブシステム(160)と、を有する医学的診断用超音波システム(5)。
JP2003048402A 2002-02-27 2003-02-26 高歪みレート除去フィルタ処理のための方法及び装置 Expired - Lifetime JP4320392B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/683,889 US6776759B2 (en) 2002-02-27 2002-02-27 Method and apparatus for high strain rate rejection filtering
US09/683889 2002-02-27

Publications (2)

Publication Number Publication Date
JP2003275211A JP2003275211A (ja) 2003-09-30
JP4320392B2 true JP4320392B2 (ja) 2009-08-26

Family

ID=27734958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003048402A Expired - Lifetime JP4320392B2 (ja) 2002-02-27 2003-02-26 高歪みレート除去フィルタ処理のための方法及び装置

Country Status (3)

Country Link
US (1) US6776759B2 (ja)
JP (1) JP4320392B2 (ja)
DE (1) DE10308320A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7037263B2 (en) * 2003-08-20 2006-05-02 Siemens Medical Solutions Usa, Inc. Computing spatial derivatives for medical diagnostic imaging methods and systems
US8608659B2 (en) 2003-11-21 2013-12-17 Hitachi Medical Corporation Ultrasonic imaging apparatus
JPWO2007063619A1 (ja) 2005-11-30 2009-05-07 パナソニック株式会社 超音波診断装置
US20080021945A1 (en) * 2006-07-20 2008-01-24 James Hamilton Method of processing spatial-temporal data processing
US20100138191A1 (en) * 2006-07-20 2010-06-03 James Hamilton Method and system for acquiring and transforming ultrasound data
US8107694B2 (en) * 2006-07-20 2012-01-31 Ultrasound Medical Devices, Inc. Method of tracking speckle displacement between two images
US20080021319A1 (en) * 2006-07-20 2008-01-24 James Hamilton Method of modifying data acquisition parameters of an ultrasound device
CN101167656B (zh) * 2006-10-23 2012-10-03 深圳迈瑞生物医疗电子股份有限公司 组织多普勒成像方法和装置
US8100831B2 (en) * 2006-11-22 2012-01-24 General Electric Company Direct strain estimator for measuring elastic properties of tissue
US9275471B2 (en) 2007-07-20 2016-03-01 Ultrasound Medical Devices, Inc. Method for ultrasound motion tracking via synthetic speckle patterns
US20100086187A1 (en) * 2008-09-23 2010-04-08 James Hamilton System and method for flexible rate processing of ultrasound data
US8403850B2 (en) * 2008-03-25 2013-03-26 Wisconsin Alumni Research Foundation Rapid two/three-dimensional sector strain imaging
US20110077515A1 (en) * 2008-05-29 2011-03-31 Koninklijke Philips Electronics N.V. Tissue strain analysis
WO2010039556A1 (en) * 2008-09-23 2010-04-08 Ultrasound Medical Devices, Inc. System and method for processing a real-time ultrasound signal within a time window
WO2010083468A1 (en) * 2009-01-19 2010-07-22 Ultrasound Medical Devices, Inc. System and method for acquiring and processing partial 3d ultrasound data
KR20140121859A (ko) 2012-02-02 2014-10-16 유니버시티 오브 워싱턴 스로우 잇츠 센터 포 커머셜라이제이션 초음파 이미지들에서 비-고정 반향의 억제를 위한 필터링 시스템들 및 방법들
KR102387708B1 (ko) * 2015-01-30 2022-04-19 삼성메디슨 주식회사 향상된 hprf 도플러 영상을 위한 가이드를 제공하는 방법 및 초음파 시스템
FR3095941B1 (fr) * 2019-05-17 2021-04-16 Supersonic Imagine Procédé pour déterminer par ultrasons une image corrigée d’un milieu, et dispositif pour mettre en œuvre ce procédé
CN111436971B (zh) * 2020-04-20 2022-06-10 汕头市超声仪器研究所股份有限公司 一种超声混响伪像抑制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6099471A (en) 1997-10-07 2000-08-08 General Electric Company Method and apparatus for real-time calculation and display of strain in ultrasound imaging
JP4116122B2 (ja) * 1997-11-28 2008-07-09 株式会社東芝 超音波診断装置及び超音波画像処理装置
US6352507B1 (en) 1999-08-23 2002-03-05 G.E. Vingmed Ultrasound As Method and apparatus for providing real-time calculation and display of tissue deformation in ultrasound imaging
US6447450B1 (en) * 1999-11-02 2002-09-10 Ge Medical Systems Global Technology Company, Llc ECG gated ultrasonic image compounding
US6508768B1 (en) * 2000-11-22 2003-01-21 University Of Kansas Medical Center Ultrasonic elasticity imaging
US6537221B2 (en) * 2000-12-07 2003-03-25 Koninklijke Philips Electronics, N.V. Strain rate analysis in ultrasonic diagnostic images
US6592522B2 (en) * 2001-06-12 2003-07-15 Ge Medical Systems Global Technology Company, Llc Ultrasound display of displacement
US6579240B2 (en) * 2001-06-12 2003-06-17 Ge Medical Systems Global Technology Company, Llc Ultrasound display of selected movement parameter values
US6863655B2 (en) * 2001-06-12 2005-03-08 Ge Medical Systems Global Technology Company, Llc Ultrasound display of tissue, tracking and tagging
US6652462B2 (en) * 2001-06-12 2003-11-25 Ge Medical Systems Global Technology Company, Llc. Ultrasound display of movement parameter gradients

Also Published As

Publication number Publication date
US20030163043A1 (en) 2003-08-28
JP2003275211A (ja) 2003-09-30
DE10308320A1 (de) 2003-09-04
US6776759B2 (en) 2004-08-17

Similar Documents

Publication Publication Date Title
JP4320392B2 (ja) 高歪みレート除去フィルタ処理のための方法及び装置
JP5627890B2 (ja) 最適なスペックル追跡のための二重経路処理
KR100742466B1 (ko) 이미징 방법 및 장치와 그를 이용한 혈액 움직임 이미징 시스템
US7713198B2 (en) Ultrasonic diagnostic equipment and method of controlling ultrasonic diagnostic equipment
US8597191B2 (en) Ultrasonic imaging apparatus and a method of generating ultrasonic images
US8021302B2 (en) Ultrasonic apparatus and ultrasonic diagnostic method
US20060094962A1 (en) Aperture shading estimation techniques for reducing ultrasound multi-line image distortion
JP4627366B2 (ja) パケット・データ獲得を用いた超音波フロー撮像における運動の可視化のための方法および装置
JP2006507883A (ja) 撮像システム内で流れ領域を識別するセグメンテーション・ツール
WO2007107926A1 (en) Echocardiographic apparatus and method for analysis of cardiac dysfunction
US7022078B2 (en) Method and apparatus for spectral strain rate visualization
US11039777B2 (en) Ultrasonic diagnostic apparatus and control method
US6322510B1 (en) Ultrasonic imaging method and apparatus
JPH10118061A (ja) 超音波診断装置
JP4481386B2 (ja) 超音波診断装置
JP2003116855A (ja) 超音波診断装置
JP3443189B2 (ja) 超音波診断装置
US7371219B2 (en) Ultrasound diagnosis apparatus operable in doppler mode
JP6993907B2 (ja) 超音波撮像装置
KR101117900B1 (ko) 고유벡터를 설정하는 초음파 시스템 및 방법
JP4537754B2 (ja) 超音波診断装置及びパルスドプラ計測装置
JP2009017991A (ja) 超音波診断装置
JP4698073B2 (ja) 超音波診断装置
JP2815622B2 (ja) 超音波診断装置
JP2023104734A (ja) 超音波診断装置、及び画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090501

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4320392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term