JP4313869B2 - Ultrasonic diagnostic equipment - Google Patents

Ultrasonic diagnostic equipment Download PDF

Info

Publication number
JP4313869B2
JP4313869B2 JP32225698A JP32225698A JP4313869B2 JP 4313869 B2 JP4313869 B2 JP 4313869B2 JP 32225698 A JP32225698 A JP 32225698A JP 32225698 A JP32225698 A JP 32225698A JP 4313869 B2 JP4313869 B2 JP 4313869B2
Authority
JP
Japan
Prior art keywords
filter means
filter
output signal
signal
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP32225698A
Other languages
Japanese (ja)
Other versions
JP2000139909A (en
Inventor
康彦 阿部
良一 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP32225698A priority Critical patent/JP4313869B2/en
Publication of JP2000139909A publication Critical patent/JP2000139909A/en
Application granted granted Critical
Publication of JP4313869B2 publication Critical patent/JP4313869B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被検体の断面を超音波で走査し、それにより得られる受信信号を検波し、その検波信号を対数圧縮にかけて超音波画像を生成する超音波診断装置に関する。
【0002】
【従来の技術】
図9は従来の超音波診断装置の構成を示している。超音波プローブ31には送信系32から高周波の電圧パルスが印加される。これにより超音波プローブ31から超音波が被検体に送信される。この超音波は被検体内の音響インピーダンスの境界で反射して、超音波プローブ31に返ってきて、電気信号に変換される。この電気信号は、受信系33において、増幅され、ディジタル信号に変換され、整相加算される。
【0003】
この整相加算により得られる受信信号fiには、時間的に変動の少ないノイズ、いわゆる固定ノイズが含まれており、この固定ノイズを高域通過型の固定ノイズ除去フィルタ34で除去するようになっている。
【0004】
この固定ノイズ除去フィルタ34で固定ノイズが除去された受信信号fiには、位相情報と振幅情報とが保存されており、このうち振幅情報だけを検波器35で取り出すようになっている。この検波信号Aiのダイナミックレンジは、非常に広く、そのまま表現するには表示ユニット37のダイナミックレンジは不足であるので、対数圧縮器36で検波信号Aiを適度なダイナミックレンジに変換することが一般的に行われている。この対数圧縮後のビデオ信号Viは、表示ユニット37に送られ組織断層構造を表すいわゆるBモード像として表示される。
【0005】
ところで、上記固定ノイズ除去フィルタ34において、固定ノイズと一緒に、例えば静止心筋が消えてしまうことがないように、そのカットオフ周波数を心拍時相に応じて微妙に制御することが必要とされる。例えば、拡張後期のような心臓壁の運動が静止してる心拍時相では、カットオフ周波数を低くして、心筋エコーの減衰を抑えて、一方、収縮初期のような心臓壁の運動が激しい心拍時相では、カットオフ周波数を高くして、固定ノイズを十分に減衰させる。
【0006】
しかしながら、心臓の動きは非常に複雑、つまり心筋といってもその全体が同じ速度で規則正しく動くわけではなく、激しく動いている部分と殆ど動かない部分とが混在しているものである。従って、カットオフ周波数を心拍時相に応じて制御しても、全ての心拍時相で固定ノイズを確実に除去し心筋エコーを確実に残すことは不可能に近く、従って固定ノイズが部分的に残ってしまったり、心筋エコーが部分的に消えてしまうという事態は避けられないものであった。
【0007】
従って、心筋成分の表示を例にすると、殆ど動かない部分では、固定ノイズ除去フィルタ34によってそのエコーが減衰されてしまうので、画像表示上の輝度(エコー信号のパワーに相当するもの)が低下してしまうが、一方、動いている部分ではそのエコーは減衰を受けないので、このような輝度低下は見られない。
【0008】
その結果、心筋といっても同程度の輝度で表示されるのではなく、部分的に輝度が低くなってしまう。更に、この輝度が低下してしまう部分は、心臓の複雑な動き応じて刻々と変化するので、心筋像がちらついて非常に見難くなってしまうという問題があった。
【0009】
【発明が解決しようとする課題】
本発明の目的は、超音波診断装置において、固定ノイズ除去に伴って発生する画像のチラツキを効果的に軽減することにある。
【0010】
【課題を解決するための手段】
本発明は、被検体の断面を超音波で走査する走査手段と、前記走査手段の出力信号に基づいて受信信号を得る受信手段と、前記受信信号を濾過する高域通過型の第1のフィルタ手段と、前記第1のフィルタ手段を通った受信信号に基づいて超音波画像を生成するものであって、前記第1のフィルタ手段を通った受信信号に含まれる振幅情報を抽出する振幅抽出手段と、前記振幅抽出手段の出力信号を濾過してフレーム間の時間的変動に関する特定の周波数成分を減衰するものであって、加算フレーム数が可変である低域通過型の第2のフィルタ手段と、前記第2のフィルタ手段の出力信号のダイナミックレンジを圧縮する圧縮手段とを有する第2のフィルタ手段と、前記第2のフィルタ手段の加算フレーム数を操作者が選択するための操作部と、前記操作部を介して選択された加算フレーム数に設定するために前記第2のフィルタ手段を制御する制御部と、前記超音波画像を表示する表示手段とを具備する。
【0014】
【発明の実施の形態】
以下、図面を参照して、本発明による超音波診断装置を好ましい実施形態により説明する。
図1は本実施形態に係る超音波診断装置の構成を示している。超音波プローブ1の先端には、電気的な振動を機械的な振動に、又その逆に変換する圧電セラミックス等の複数の振動子が配列されている。一般的には、1個の振動子が1チャンネルを構成するようになっている。この超音波プローブ1は、送信時には送信系2に接続され、受信時には受信系3に接続される。送信系2は、図示しないが、クロック発生器、分周器、送信遅延回路、パルサから構成され、クロック発生器で発生されたクロックパルスを分周器で例えば6KHz程度のレートパルスに落とし、このレートパルスを送信遅延回路を通してパルサに与えて高周波の電圧パルスを発生し、振動子を駆動する、つまり機械的に振動させるようになっている。こうして発生された超音波は、被検体内の音響インピーダンスの境界で反射して、超音波プローブ1に戻ってきて、振動子を機械的に振動する。これにより振動子に電気信号が発生する。この電気信号は、受信系3に取り込まれる。受信系3は、図示しないが、プリアンプ、アナログディジタル変換器、受信遅延回路、加算器から構成され、電気信号をプリアンプで増幅してから、アナログディジタル変換器でディジタル信号に変換する。アナログディジタル変換器では、増幅された電気信号を、1本の超音波走査線上で例えば0.5mm間隔に相当するサンプリング周波数でサンプリングして、この0.5mm間隔のサンプル点毎にディジタル信号を離散的に発生する。このディジタル信号は、受信遅延回路と加算器とにより、いわゆる整相加算される。これにより組織間の音響インピーダンスの差、つまり組織構造を表す振幅情報と、血流等の移動体の速度を表している位相情報とを含む受信信号fiが得られる。
【0015】
この整相加算により得られる受信信号fiには、時間的に変動の比較的少ないノイズ、いわゆる固定ノイズが含まれており、この固定ノイズを、高域通過型に設計された固定ノイズ除去フィルタ4でサンプル点毎に除去するようになっている。なお、この固定ノイズ除去フィルタ4において、固定ノイズと一緒に、例えば静止心筋が消えてしまうことがないように、そのカットオフ周波数はシステムコントローラ9によって心拍時相に応じて微妙に制御されるようになっている。例えば、拡張後期のような心臓壁の運動が静止してる心拍時相では、カットオフ周波数を低くして、心筋エコーの減衰を抑えて、一方、収縮初期のような心臓壁の運動が激しい心拍時相では、カットオフ周波数を高くして、固定ノイズを十分に減衰させる。
【0016】
この固定ノイズ除去フィルタ4で固定ノイズが除去された受信信号fiには、位相情報と振幅情報とが保存されており、このうち振幅情報だけが検波器5で取り出される。
【0017】
ところで、心臓の動きは非常に複雑、つまり心筋といってもその全体が同じ速度で規則正しく動くわけではなく、激しく動いている部分と殆ど動かない部分とが混在しているものである。従って、固定ノイズ除去フィルタ4のカットオフ周波数を心拍時相に応じて制御しても、全ての心拍時相で固定ノイズを確実に除去し心筋エコーを確実に残すことは不可能に近く、従って固定ノイズが部分的に残ってしまったり、心筋エコーが部分的に消えてしまうという事態は避けられないものである。従って、心筋成分の表示を例にすると、殆ど動かない部分では、固定ノイズ除去フィルタ4によってそのエコーが減衰されてしまうので、画像表示上の輝度が時間的に大きく変動してチラツキが発生してしまう。
【0018】
このチラツキを軽減するために、検波器5と対数圧縮器7との間に、低高域通過型に設計されたスムージングフィルタ6を設けて、検波後であって対数圧縮前の検波信号Aiを濾過して、時間的変動の比較的大きい成分をサンプル点毎に減衰する、換言すると近隣フレーム間で平均化処理、つまり同じサンプル点であって時間的に連続する複数の検波信号Aiを平均化処理するようになっている。
【0019】
このスムージングフィルタ6で平均化された検波信号 ̄Aiのダイナミックレンジは、非常に広く、そのまま表現するには表示ユニット8のダイナミックレンジは不足であるので、対数圧縮器7で適度なダイナミックレンジまで狭め、そしてこの対数圧縮後のビデオ信号Viを表示ユニット8に供給するようになっている。尚、本実施形態では、対数圧縮によりダイナミックレンジの圧縮を行っているが、対数以外の非線形変換を用いて、ダイナミックレンジの圧縮を行うようにしてもよい。表示ユニット8では、ビデオ信号Viに従って組織断層構造を表すいわゆるBモード像が表示される。
【0020】
また、システムコントローラ9には、コンソール10が接続されており、そのコンソール10内のフィルタ特性選択スイッチ11を操作して固定ノイズ除去フィルタ4のカットオフ周波数の基準値をオペレータが被検体に合わせて微調整したり、スムージングフィルタ6の加算数を選択できるようになっている。その他、コンソール10には、表示されたBモード像上に関心領域ROIをオペレータが設定するためのROI設定器12等の様々なスイッチ類、マウス、キーボード等が装備されている。
【0021】
図2には、スムージングフィルタ6の構成例として、N次のFIR型フィルタを示している。スムージングフィルタ6は、図2に示すようなFIR型(非再帰型)のディジタルフィルタでも、IIR型(再帰型)のディジタルフィルタでもいずれを採用してもよい。スムージングフィルタ6は、ディジタルフィルタの一般的な構成であり、フィルタコントローラ21を制御中枢として、入力端子INに対して複数のフレームメモリ23が縦続接続されている。このフレームメモリ23は、フィルタコントローラ21による入力出力制御によって、入出力の間にフレームレートZの逆数の時間差を与える遅延回路として機能する。これにより人工端子IN及び複数のフレームメモリ23の縦続接続からは同じサンプル点に関するN個前までの(N+1)個の検波信号(Ai、Ai-1 、・・・、Ai-N) が同期して一斉に出力される。この(N+1)個の検波信号(Ai、Ai-1 、・・・、Ai-N)は、(N+1)個の乗算器26にそれぞれ供給される。フィルタ コントローラ21にはフィルタ特性選択スイッチ11を介して選択されたフィルタ特性を識別する識別情報がシステムコントローラ10から供給されており、フィルタコントローラ21はこのフィルタ特性の識別情報係数に応じてアドレスFCAを発生し、乗算係数ROM22に供給する。この係数アドレスFCAに応じた場所に記憶されている複数の乗算係数(k0 、k1 、・・・、kN )が乗算係 数ROM22から読み出され各々の乗算器26に供給される。乗算器26は、検波信号(Ai 、Ai-1 、・・・、Ai-N )にこの乗算係数(k0 、k1 、・・・、kN )をそれぞれ乗算して加算器30に送る。
【0022】
加算器30は、各乗算器26の出力を加算し、時間的にフィルタリングされた検波信号 ̄Ai として出力する。
【0023】
【数1】

Figure 0004313869
【0024】
表1は、本実施形態における係数アドレスFCAと乗算係数(k0 、k1 、・・・、kN )の対応を表したものである。表1の乗算係数kj は、フィルタの次 数Nが4の場合を表しており、単純な移動平均特性となるように係数kj =1/Mに設定されている。Mは加算するフレーム枚数を表しており、この場合のカットオフ周波数は、加算フレーム枚数Mのみで決定される。表1では、係数アドレスFCAが加算フレーム枚数Mと等しくなっており、係数アドレスFCAを1〜5の中から選択することにより、加算フレーム枚数Mを1〜5の間で切り替えることができる。尚、加算フレーム枚数Mが1の時は、フィルタOFFに相当する。
【0025】
【表1】
Figure 0004313869
【0026】
ここで、上述したように検波器5と対数圧縮器7との間に、低域通過型のスムージングフィルタ6を設けたことで、格別顕著な効果を奏することができるものである。この格別顕著な効果を説明する上で、比較のために、図3に示す検波器5と対数圧縮器7との後に、低域通過型のスムージングフィルタ6を設ける例を考える。ここで、図4に示すように、フレーム上のある点における信号をフレームNo.iの関数として考えると、周知の通り、検波前の受信信号fi、検波信号Ai、ビデオ信号Viは、それぞれ次式で与えられる。
【0027】
【数2】
Figure 0004313869
【0028】
図3の比較例では、検波及び対数圧縮後のビデオ信号Viを対象としてスムージングフィルタ6で平均化処理を行っている。この平均化されたビデオ信号 ̄Viは、次の式で与えられる。尚、加算フレーム枚数M(移動平均数)は、3とする。
【0029】
【数3】
Figure 0004313869
【0030】
この式から分かるように、図3の比較例では、スムージングフィルタ6における平均化処理は、実質的に検波信号Aiの相乗平均をとっていることに相当している。
【0031】
一方、本実施形態では、検波後であって、対数圧縮前の検波信号Aiを対象としてスムージングフィルタ6で平均化処理を行っている。この平均化された検波信号 ̄Aiと、その検波信号 ̄Aiを対数圧縮して得られるビデオ信号Viは、次の式で与えられる。
【0032】
【数4】
Figure 0004313869
【0033】
この式から分かるように、本実施形態のように、検波後であって、対数圧縮前の検波信号Aiを対象としてスムージングフィルタ6で平均化処理を行う場合、その処理は、実質的に検波信号Aiの相加平均をとっていることに相当している。
【0034】
このように比較例のように相乗平均をとるよりも、本実施形態のように相加平均をとる方が、チラツキを効果的に軽減することができる。この理由を以下に説明する。以下、加算フレーム枚数FCA=M=3を例として図示する。
【0035】
まず、図5(a)には検波信号Aiの時間変動の一例を示しており、これを平均化処理しないでそのまま対数圧縮すると、ビデオ信号Viは、図5(b)のような時間波形を示す。図3の比較例のようにこのビデオ信号Viを対象として平均化処理を行うと、その平均化されたビデオ信号 ̄Viの時間変動は、図6に示すように、比較的激しくなる。つまり、画像中に消えている信号、つまり値がゼロないしゼロに近い信号が含まれていると、その相乗平均結果としては、ゼロ又はゼロに近くなってしまうので、スムージングによるチラツキ軽減の効果はあまり発揮されない。
【0036】
一方、本実施形態のように、対数圧縮前の検波信号Aiを対象として平均化処理を行うと、図7(a)、図7(b)に示すように、検波信号Aiの比較的激しい時間変動は、著しく軽減される。これは、本実施形態のような相加平均では、その相加平均結果としては、ゼロ又はゼロに近くならず、底上げされるからである。つまり、ある時相の検波信号Aiがゼロ又はゼロに近くであっても、その近隣のフレームの検波信号が比較的高値であれば、その近隣の値に引き上げられるのである。そして、この平均化された検波信号 ̄Aiを、対数圧縮器7で対数的に圧縮すれば、上記ある時相のゼロ又はゼロに近い検波信号Aiは、平均化処理により十分に大きな値になる。
【0037】
この作用は、一般的には、以下の相加平均と相乗平均の不等式として知られている。
【0038】
【数5】
Figure 0004313869
【0039】
検波信号Aiは振幅信号であり、従って正数であり、また心筋は拍動していてその信号群は全ては等しくなることはないので、本実施形態のように検波後であって対数圧縮前の検波信号を対象として平均化処理、つまり相加平均をとると、、比較例のような対数圧縮後のビデオ信号を対象として平均化処理、つまり相乗平均をとるよりも、高いスムージング効果を実現でき、これによりチラツキを効果的に軽減することができる。
【0040】
なお、本発明は、上述した実施形態だけにとどまらず、その要旨を逸脱しない範囲において、様々な変形例が得られることは言うまでもない。例えば、図3のような従来から用いられているビデオ信号ベースのスムージングフィルタを有する超音波診断装置においても、図8に示すように、対数圧縮器7の後にアンチログ変換器13を設けてビデオ信号から対数圧縮前の検波信号Ai(振幅情報)を再現し、その再現した検波信号Aiに対してスムージングフィルタ6を適用する。その後、再度、ビデオ信号に戻すために、スムージングフィルタ6の後に対数圧縮器14を設けることで、上述した実施形態と同様の効果を奏することができる。なお、平均化処理演算に要するビット数は、振幅の有するダイナミックレンジを確保するために、ビデオ信号ベースの場合よりも、拡張されるべきである。
【0041】
【発明の効果】
本発明によれば、時間的変動の比較的小さい成分を高域通過型のフィルタ手段で減衰するのに伴って発生するチラツキを、低域通過型のフィルタ手段において軽減することができる。しかも、この低域通過フィルタ処理を、検波後でしかも対数圧縮後のビデオ信号を対象として行うのではなくて、検波後であって対数圧縮前の検波信号を対象として行うことで、より効果的にチラツキを軽減することができる。なぜなら、ビデオ信号を対象とする低域通過フィルタ処理は実質的に相乗平均として機能するが、検波信号を対象とする低域通過フィルタ処理は実質的に相加平均として機能するものであり、正数領域においては、シュバルツの式としてよく知られている通り、相乗平均≦相加平均が成立するので、相加平均の方が低振幅の底上げ効果が大きくなって、振幅の時間的な変動、つまり輝度の時間的な変動が少なくなるからである。
【図面の簡単な説明】
【図1】本発明の好ましい実施形態に係る超音波診断装置の構成を示すブロック図。
【図2】図1のスムージングフィルタ6の構成を示すブロック図。
【図3】本実施形態に係る超音波診断装置に対する比較例を示すブロック図。
【図4】本実施形態の効果を説明するための補足図であり、フレーム番号の定義を示す図。
【図5】本実施形態の効果を説明するための補足図であり、(a)は検波後であって対数圧縮前の検波信号Aiの時間波形を示す図、(b)は検波及び対数圧縮後のビデオ信号Viの時間波形を示す図。
【図6】本実施形態の効果を説明するための補足図であり、図3の比較例のスムージングフィルタで平均化されたビデオ信号 ̄Viの時間波形を示す図。
【図7】本実施形態の効果を説明するための補足図であり、(a)は本実施形態のスムージングフィルタで平均化された検波信号 ̄Aiの時間波形を示す図、(b)は(a)の平均化された検波信号 ̄Aiを対数圧縮した後のビデオ信号Viの時間波形を示す図。
【図8】本実施形態の超音波診断装置の変形例の構成を示すブロック図。
【図9】従来の超音波診断装置の構成を示すブロック図。
【符号の説明】
1…超音波プローブ、
2…送信系、
3…受信系、
4…固定ノイズ除去フィルタ、
5…検波器、
6…スムージングフィルタ、
7…対数圧縮器、
8…表示ユニット、
9…システムコントローラ、
10…コンソール、
11…フィルタ特性選択スイッチ、
12…ROI設定器、
13…アンチログ変換器、
14…対数圧縮器、
21…フィルタコントローラ、
22…乗算係数ROM、
23、24、25…フレームメモリ、
26、27、28、29…乗算器、
30…加算器。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an ultrasonic diagnostic apparatus that scans a cross section of a subject with ultrasonic waves, detects a reception signal obtained thereby, and subjects the detection signal to logarithmic compression to generate an ultrasonic image.
[0002]
[Prior art]
FIG. 9 shows a configuration of a conventional ultrasonic diagnostic apparatus. A high-frequency voltage pulse is applied to the ultrasonic probe 31 from the transmission system 32. Thereby, ultrasonic waves are transmitted from the ultrasonic probe 31 to the subject. This ultrasonic wave is reflected at the boundary of the acoustic impedance in the subject, returns to the ultrasonic probe 31, and is converted into an electric signal. This electric signal is amplified in the receiving system 33, converted into a digital signal, and phased and added.
[0003]
The received signal fi obtained by the phasing addition includes noise with little temporal variation, so-called fixed noise, and this fixed noise is removed by the high-pass type fixed noise removal filter 34. ing.
[0004]
The received signal fi from which fixed noise has been removed by the fixed noise removing filter 34 stores phase information and amplitude information, and only the amplitude information is extracted by the detector 35. Since the dynamic range of the detection signal Ai is very wide and the dynamic range of the display unit 37 is insufficient to be expressed as it is, it is general that the detection signal Ai is converted into an appropriate dynamic range by the logarithmic compressor 36. Has been done. The logarithmically compressed video signal Vi is sent to the display unit 37 and displayed as a so-called B-mode image representing the tissue tomographic structure.
[0005]
By the way, in the fixed noise removal filter 34, it is necessary to delicately control the cutoff frequency according to the heartbeat time phase so that, for example, the stationary myocardium does not disappear together with the fixed noise. . For example, in a heartbeat time phase in which the heart wall motion is stationary, such as in late diastole, the cut-off frequency is lowered to suppress myocardial echo attenuation, while the heart wall motion in the early contraction is intense. In the time phase, the cut-off frequency is increased to sufficiently attenuate the fixed noise.
[0006]
However, the movement of the heart is very complicated, that is, the whole heart muscle does not move regularly at the same speed, and a part that moves violently and a part that hardly moves are mixed. Therefore, even if the cut-off frequency is controlled according to the heartbeat time phase, it is almost impossible to reliably remove fixed noise and reliably leave myocardial echoes in all heartbeat time phases. It was inevitable that it would remain or the myocardial echo would disappear partially.
[0007]
Therefore, in the case of displaying myocardial components as an example, in a portion that hardly moves, the echo is attenuated by the fixed noise removal filter 34, so that the luminance on the image display (corresponding to the power of the echo signal) is reduced. On the other hand, since the echo is not attenuated in the moving part, such a decrease in luminance is not seen.
[0008]
As a result, the myocardium is not displayed with the same level of brightness, but the brightness is partially reduced. Further, the portion where the brightness is lowered changes every moment in accordance with the complicated movement of the heart, so that there is a problem that the myocardial image flickers and becomes very difficult to see.
[0009]
[Problems to be solved by the invention]
An object of the present invention is to effectively reduce flickering of an image that occurs with the removal of fixed noise in an ultrasonic diagnostic apparatus.
[0010]
[Means for Solving the Problems]
The present invention includes a scanning unit that scans a cross section of a subject with ultrasonic waves, a receiving unit that obtains a reception signal based on an output signal of the scanning unit, and a first high-pass filter that filters the reception signal means and said first on the basis of the received signal passing through the filter means be one which generates an ultrasonic image, amplitude extraction means for extracting the amplitude information included in the received signal through the first filter means And filtering the output signal of the amplitude extraction means to attenuate a specific frequency component related to temporal variation between frames, and a low-pass second filter means having a variable number of frames to be added ; the second and second filter means having a compression means for compressing the dynamic range of the output signal of the filter unit, the operation unit for the operator the number of added frames to select the second filter means Comprises a control unit for controlling the second filter means in order to set the addition number frame selected via the operation unit, and a display means for displaying the ultrasound image.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an ultrasonic diagnostic apparatus according to the present invention will be described with reference to the drawings according to preferred embodiments.
FIG. 1 shows the configuration of an ultrasonic diagnostic apparatus according to this embodiment. A plurality of vibrators such as piezoelectric ceramics that convert electrical vibration into mechanical vibration and vice versa are arranged at the tip of the ultrasonic probe 1. In general, one vibrator constitutes one channel. The ultrasonic probe 1 is connected to the transmission system 2 at the time of transmission, and is connected to the reception system 3 at the time of reception. Although not shown, the transmission system 2 includes a clock generator, a frequency divider, a transmission delay circuit, and a pulsar. The clock pulse generated by the clock generator is reduced to a rate pulse of about 6 KHz by the frequency divider. A rate pulse is applied to the pulser through a transmission delay circuit to generate a high-frequency voltage pulse to drive the vibrator, that is, mechanically vibrate. The ultrasonic wave thus generated is reflected at the boundary of the acoustic impedance in the subject, returns to the ultrasonic probe 1, and mechanically vibrates the vibrator. As a result, an electrical signal is generated in the vibrator. This electric signal is taken into the receiving system 3. Although not shown, the receiving system 3 is composed of a preamplifier, an analog / digital converter, a reception delay circuit, and an adder. The electric signal is amplified by the preamplifier and then converted into a digital signal by the analog / digital converter. In the analog-digital converter, the amplified electrical signal is sampled on a single ultrasonic scanning line at a sampling frequency corresponding to, for example, 0.5 mm intervals, and the digital signal is discrete at each sampling point of 0.5 mm intervals. Will occur. This digital signal is subjected to so-called phasing addition by a reception delay circuit and an adder. As a result, a received signal fi including a difference in acoustic impedance between tissues, that is, amplitude information indicating a tissue structure and phase information indicating a velocity of a moving body such as a blood flow is obtained.
[0015]
The received signal fi obtained by the phasing addition includes noise with relatively little temporal variation, that is, so-called fixed noise, and this fixed noise is fixed noise removal filter 4 designed to be a high-pass type. In this case, each sample point is removed. In the fixed noise removal filter 4, the cutoff frequency is delicately controlled by the system controller 9 according to the heartbeat time phase so that, for example, the stationary myocardium does not disappear together with the fixed noise. It has become. For example, in a heartbeat time phase in which the heart wall motion is stationary, such as in late diastole, the cut-off frequency is lowered to suppress myocardial echo attenuation, while the heart wall motion in the early contraction is intense. In the time phase, the cut-off frequency is increased to sufficiently attenuate the fixed noise.
[0016]
In the reception signal fi from which the fixed noise is removed by the fixed noise removal filter 4, phase information and amplitude information are stored, and only the amplitude information is extracted by the detector 5.
[0017]
By the way, the movement of the heart is very complicated, that is, the heart muscle does not move regularly at the same speed, and a portion that moves violently and a portion that hardly moves are mixed. Therefore, even if the cutoff frequency of the fixed noise removal filter 4 is controlled according to the heartbeat time phase, it is almost impossible to reliably remove the fixed noise and leave the myocardial echo reliably in all heartbeat time phases. It is inevitable that fixed noise remains partially or myocardial echoes partially disappear. Therefore, in the case of displaying myocardial components as an example, the echo is attenuated by the fixed noise removal filter 4 in a portion that hardly moves, so that the luminance on the image display greatly fluctuates with time and flicker occurs. End up.
[0018]
In order to reduce this flickering, a smoothing filter 6 designed to be a low and high pass type is provided between the detector 5 and the logarithmic compressor 7 so that the detection signal Ai after detection and before logarithmic compression can be obtained. Filters and attenuates components with relatively large temporal fluctuations at each sample point, in other words, averaging processing between adjacent frames, that is, averaging a plurality of detection signals Ai that are the same sample point and are continuous in time It comes to handle.
[0019]
The dynamic range of the detection signal  ̄Ai averaged by the smoothing filter 6 is very wide, and the dynamic range of the display unit 8 is insufficient to express it as it is. Therefore, the logarithmic compressor 7 narrows the dynamic range to an appropriate dynamic range. The video signal Vi after logarithmic compression is supplied to the display unit 8. In this embodiment, the dynamic range is compressed by logarithmic compression. However, the dynamic range may be compressed by using non-logarithmic transformation other than logarithmic compression. In the display unit 8, a so-called B-mode image representing a tissue tomographic structure is displayed according to the video signal Vi.
[0020]
A console 10 is connected to the system controller 9, and the operator adjusts the reference value of the cutoff frequency of the fixed noise removal filter 4 to the subject by operating the filter characteristic selection switch 11 in the console 10. Fine adjustment and the addition number of the smoothing filter 6 can be selected. In addition, the console 10 is equipped with various switches such as an ROI setting unit 12 for setting an area of interest ROI on the displayed B-mode image, a mouse, a keyboard, and the like.
[0021]
FIG. 2 shows an Nth-order FIR filter as a configuration example of the smoothing filter 6. The smoothing filter 6 may employ either an FIR (non-recursive) digital filter as shown in FIG. 2 or an IIR (recursive) digital filter. The smoothing filter 6 has a general configuration of a digital filter, and a plurality of frame memories 23 are connected in cascade to the input terminal IN with the filter controller 21 as a control center. The frame memory 23 functions as a delay circuit that gives a time difference of the reciprocal of the frame rate Z between input and output by input / output control by the filter controller 21. As a result, (N + 1) detection signals (Ai, Ai-1,..., Ai-N) up to N before the same sample point are synchronized from the cascade connection of the artificial terminal IN and the plurality of frame memories 23. Are output all at once. The (N + 1) detection signals (Ai, Ai-1,..., Ai-N) are supplied to (N + 1) multipliers 26, respectively. Identification information for identifying the filter characteristic selected via the filter characteristic selection switch 11 is supplied from the system controller 10 to the filter controller 21, and the filter controller 21 sets the address FCA according to the identification information coefficient of the filter characteristic. Generated and supplied to the multiplication coefficient ROM 22. A plurality of multiplication coefficients (k0, k1,..., KN) stored at a location corresponding to the coefficient address FCA are read from the multiplication coefficient ROM 22 and supplied to each multiplier 26. The multiplier 26 multiplies the detection signals (Ai, Ai-1,..., Ai-N) by the multiplication coefficients (k0, k1,..., KN) and sends them to the adder 30.
[0022]
The adder 30 adds the outputs of the multipliers 26 and outputs the result as a time-filtered detection signal 時間 Ai.
[0023]
[Expression 1]
Figure 0004313869
[0024]
Table 1 shows the correspondence between the coefficient address FCA and the multiplication coefficients (k0, k1,..., KN) in the present embodiment. The multiplication coefficient kj in Table 1 represents the case where the filter order N is 4, and the coefficient kj is set to 1 / M so as to have a simple moving average characteristic. M represents the number of frames to be added, and the cutoff frequency in this case is determined only by the number M of added frames. In Table 1, the coefficient address FCA is equal to the added frame number M. By selecting the coefficient address FCA from 1 to 5, the added frame number M can be switched between 1 and 5. When the added frame number M is 1, it corresponds to the filter OFF.
[0025]
[Table 1]
Figure 0004313869
[0026]
Here, as described above, by providing the low-pass type smoothing filter 6 between the detector 5 and the logarithmic compressor 7, a particularly remarkable effect can be obtained. In order to explain this particularly remarkable effect, an example in which a low-pass type smoothing filter 6 is provided after the detector 5 and the logarithmic compressor 7 shown in FIG. 3 will be considered for comparison. In this case, as shown in FIG. Considering it as a function of i, as is well known, the reception signal fi, the detection signal Ai, and the video signal Vi before detection are respectively given by the following equations.
[0027]
[Expression 2]
Figure 0004313869
[0028]
In the comparative example of FIG. 3, the smoothing filter 6 performs the averaging process on the video signal Vi after detection and logarithmic compression. This averaged video signal  ̄Vi is given by the following equation. Note that the added frame number M (moving average number) is 3.
[0029]
[Equation 3]
Figure 0004313869
[0030]
As can be seen from this equation, in the comparative example of FIG. 3, the averaging process in the smoothing filter 6 substantially corresponds to taking the geometric mean of the detection signal Ai.
[0031]
On the other hand, in this embodiment, the smoothing filter 6 performs the averaging process on the detection signal Ai after detection and before logarithmic compression. The averaged detection signal  ̄Ai and the video signal Vi obtained by logarithmically compressing the detection signal  ̄Ai are given by the following equations.
[0032]
[Expression 4]
Figure 0004313869
[0033]
As can be seen from this equation, when the smoothing filter 6 performs the averaging process on the detection signal Ai after detection and before logarithmic compression as in the present embodiment, the process is substantially the same as the detection signal. This corresponds to taking an arithmetic average of Ai.
[0034]
Thus, the flicker can be effectively reduced by taking the arithmetic mean as in the present embodiment rather than taking the geometric mean as in the comparative example. The reason for this will be described below. Hereinafter, the number of added frames FCA = M = 3 is illustrated as an example.
[0035]
First, FIG. 5A shows an example of the time variation of the detection signal Ai. When this is logarithmically compressed without averaging, the video signal Vi has a time waveform as shown in FIG. Show. When the averaging process is performed on the video signal Vi as in the comparative example of FIG. 3, the time variation of the averaged video signal  ̄Vi becomes relatively intense as shown in FIG. In other words, if the image contains a signal that disappears, that is, a signal whose value is zero or close to zero, the geometric average result is zero or close to zero. Not very well demonstrated.
[0036]
On the other hand, when the averaging process is performed on the detection signal Ai before logarithmic compression as in this embodiment, a relatively intense time of the detection signal Ai is obtained as shown in FIGS. 7 (a) and 7 (b). Variation is significantly reduced. This is because in the arithmetic mean as in the present embodiment, the arithmetic mean result is not zero or close to zero, but is raised. That is, even if the detection signal Ai at a certain time phase is zero or close to zero, if the detection signal of the neighboring frame is relatively high, it is raised to the neighboring value. Then, if this averaged detection signal  ̄Ai is logarithmically compressed by the logarithmic compressor 7, the detection signal Ai of the certain time phase zero or close to zero becomes a sufficiently large value by the averaging process. .
[0037]
This action is generally known as the following arithmetic mean and geometric mean inequality.
[0038]
[Equation 5]
Figure 0004313869
[0039]
The detection signal Ai is an amplitude signal, and is therefore a positive number, and since the myocardium is beating and the signal groups are not all equal, after detection and before logarithmic compression as in this embodiment. If the averaging process, that is, the arithmetic average, is performed on the detected signal of the video signal, the smoothing effect is higher than the averaging process, that is, taking the geometrical average on the video signal after logarithmic compression as in the comparative example. Thus, flicker can be effectively reduced.
[0040]
Needless to say, the present invention is not limited to the above-described embodiment, and various modifications can be obtained without departing from the scope of the invention. For example, in an ultrasonic diagnostic apparatus having a conventional video signal-based smoothing filter as shown in FIG. 3, an antilog converter 13 is provided after the logarithmic compressor 7 as shown in FIG. The detection signal Ai (amplitude information) before logarithmic compression is reproduced from the signal, and the smoothing filter 6 is applied to the reproduced detection signal Ai. Thereafter, in order to return to the video signal again, by providing the logarithmic compressor 14 after the smoothing filter 6, the same effects as those of the above-described embodiment can be obtained. It should be noted that the number of bits required for the averaging processing calculation should be expanded as compared with the video signal base in order to ensure a dynamic range having an amplitude.
[0041]
【The invention's effect】
According to the present invention, flicker that occurs when a component having a relatively small temporal variation is attenuated by the high-pass filter unit can be reduced by the low-pass filter unit. In addition, this low-pass filter processing is more effective by performing the detection after detection and before logarithmic compression on the detection signal, not on the video signal after detection and logarithmic compression. The flicker can be reduced. This is because the low-pass filter processing for the video signal substantially functions as a geometric average, but the low-pass filter processing for the detection signal substantially functions as an arithmetic average. In a few regions, as well known as the Schwarz equation, the geometric mean ≦ the arithmetic mean is established, so the arithmetic mean is more effective in raising the bottom of the low amplitude, the temporal variation of the amplitude, That is, the luminance variation with time is reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an ultrasonic diagnostic apparatus according to a preferred embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of the smoothing filter 6 of FIG.
FIG. 3 is a block diagram showing a comparative example for the ultrasonic diagnostic apparatus according to the present embodiment.
FIG. 4 is a supplementary diagram for explaining the effect of this embodiment, and is a diagram showing the definition of frame numbers.
5A and 5B are supplementary diagrams for explaining the effects of the present embodiment, in which FIG. 5A is a diagram showing a time waveform of a detection signal Ai after detection and before logarithmic compression, and FIG. 5B is a diagram showing detection and logarithmic compression; The figure which shows the time waveform of the video signal Vi after.
6 is a supplementary diagram for explaining the effect of the present embodiment, and is a diagram showing a time waveform of a video signal  ̄Vi averaged by the smoothing filter of the comparative example of FIG. 3;
7A and 7B are supplementary diagrams for explaining the effect of the present embodiment. FIG. 7A is a diagram showing a time waveform of the detection signal  ̄Ai averaged by the smoothing filter of the present embodiment, and FIG. The figure which shows the time waveform of the video signal Vi after logarithmically compressing the averaged detection signal  ̄Ai of a).
FIG. 8 is a block diagram showing a configuration of a modification of the ultrasonic diagnostic apparatus according to the present embodiment.
FIG. 9 is a block diagram showing a configuration of a conventional ultrasonic diagnostic apparatus.
[Explanation of symbols]
1 ... ultrasonic probe,
2 ... Transmission system,
3 ... Receiving system,
4 ... Fixed noise elimination filter,
5 ... Detector,
6 ... smoothing filter,
7: Logarithmic compressor,
8 ... Display unit,
9 ... System controller,
10 ... Console,
11: Filter characteristic selection switch,
12 ... ROI setter,
13 ... Anti-log converter,
14: Logarithmic compressor,
21 ... Filter controller,
22: Multiplication coefficient ROM,
23, 24, 25 ... frame memory,
26, 27, 28, 29 ... multipliers,
30: Adder.

Claims (3)

被検体の断面を超音波で走査する走査手段と、
前記走査手段の出力信号に基づいて受信信号を得る受信手段と、
前記受信信号を濾過する高域通過型の第1のフィルタ手段と、
前記第1のフィルタ手段を通った受信信号に基づいて超音波画像を生成するものであって、前記第1のフィルタ手段を通った受信信号に含まれる振幅情報を抽出する振幅抽出手段と、前記振幅抽出手段の出力信号を濾過してフレーム間の時間的変動に関する特定の周波数成分を減衰するものであって、加算フレーム数が可変である低域通過型の第2のフィルタ手段と、前記第2のフィルタ手段の出力信号のダイナミックレンジを圧縮する圧縮手段とを有する第2のフィルタ手段と、
前記第2のフィルタ手段の加算フレーム数を操作者が選択するための操作部と、
前記操作部を介して選択された加算フレーム数に設定するために前記第2のフィルタ手段を制御する制御部と、
前記超音波画像を表示する表示手段とを具備することを特徴とする超音波診断装置。
Scanning means for scanning the cross section of the subject with ultrasound;
Receiving means for obtaining a received signal based on an output signal of the scanning means;
High-pass first filter means for filtering the received signal;
Be one that generates an ultrasonic image based on the received signal through the first filter means, and the amplitude extraction means for extracting the amplitude information included in the received signal through the first filter means, said Filtering the output signal of the amplitude extraction means to attenuate a specific frequency component related to temporal variation between frames , the second low-pass filter means having a variable number of addition frames, and the first Second filter means having compression means for compressing the dynamic range of the output signal of the second filter means;
An operation unit for an operator to select the number of added frames of the second filter means;
A control unit for controlling the second filter means to set the number of added frames selected via the operation unit;
An ultrasonic diagnostic apparatus comprising: display means for displaying the ultrasonic image.
前記振幅抽出手段の出力信号は、前記第2のフィルタ手段において実質的に相加平均されることを特徴とする請求項1記載の超音波診断装置。  2. The ultrasonic diagnostic apparatus according to claim 1, wherein the output signal of the amplitude extracting means is substantially arithmetically averaged by the second filter means. 被検体の断面を超音波で走査して、受信信号を得る手段と、
前記受信信号を濾過して、時間的変動の比較的小さい成分を減衰する高域通過型のフィルタ手段と、
前記高域通過型のフィルタ手段の出力信号を検波する検波手段と、
前記検波手段の出力信号を濾過して、フレーム間の時間的変動に関する特定の周波数成分を減衰するものであって、加算フレーム数が可変である低域通過型のフィルタ手段と、
前記低域通過型のフィルタ手段の出力信号のダイナミックレンジを圧縮する圧縮手段と、
前記圧縮手段の出力信号に基づいて、前記断面に関する画像を表示する表示手段と、
前記第2のフィルタ手段の加算フレーム数を操作者が選択するための操作部と、
前記操作部を介して選択された加算フレーム数に設定するために前記第2のフィルタ手段を制御する制御部とを具備したことを特徴とする超音波診断装置。
Means for scanning a cross section of a subject with ultrasonic waves to obtain a received signal;
High-pass filter means for filtering the received signal and attenuating components with relatively small temporal variations;
Detection means for detecting an output signal of the high-pass filter means;
Filtering the output signal of the detection means to attenuate a specific frequency component related to temporal variation between frames, and a low-pass filter means in which the number of addition frames is variable ;
Compression means for compressing the dynamic range of the output signal of the low-pass filter means;
Display means for displaying an image relating to the cross section based on an output signal of the compression means;
An operation unit for an operator to select the number of added frames of the second filter means;
An ultrasonic diagnostic apparatus comprising: a control unit that controls the second filter unit to set the number of added frames selected through the operation unit .
JP32225698A 1998-11-12 1998-11-12 Ultrasonic diagnostic equipment Expired - Lifetime JP4313869B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32225698A JP4313869B2 (en) 1998-11-12 1998-11-12 Ultrasonic diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32225698A JP4313869B2 (en) 1998-11-12 1998-11-12 Ultrasonic diagnostic equipment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009081950A Division JP4575505B2 (en) 2009-03-30 2009-03-30 Ultrasonic diagnostic equipment

Publications (2)

Publication Number Publication Date
JP2000139909A JP2000139909A (en) 2000-05-23
JP4313869B2 true JP4313869B2 (en) 2009-08-12

Family

ID=18141635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32225698A Expired - Lifetime JP4313869B2 (en) 1998-11-12 1998-11-12 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JP4313869B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4090671B2 (en) * 2000-06-19 2008-05-28 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Image processing method, image processing apparatus, and image photographing apparatus
JP4648652B2 (en) * 2004-06-24 2011-03-09 テルモ株式会社 Ultrasonic diagnostic apparatus and method for operating ultrasonic diagnostic apparatus
JP2010125118A (en) * 2008-11-28 2010-06-10 Toshiba Corp Ultrasonic diagnostic apparatus and ultrasonic diagnostic apparatus control method
WO2013129185A1 (en) * 2012-03-01 2013-09-06 日立アロカメディカル株式会社 Diagnostic ultrasound apparatus
JP5636384B2 (en) * 2012-03-01 2014-12-03 日立アロカメディカル株式会社 Ultrasonic diagnostic equipment
JP5367106B2 (en) * 2012-03-01 2013-12-11 日立アロカメディカル株式会社 Ultrasonic diagnostic equipment
CN112998750B (en) * 2021-02-22 2021-09-14 深圳华声医疗技术股份有限公司 Ultrasonic image synthesis method and device, ultrasonic equipment and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6274347A (en) * 1985-09-27 1987-04-06 ダイマツクス・コ−ポレ−シヨン Diagnostic ultrasonic system
JP3683943B2 (en) * 1994-08-15 2005-08-17 株式会社東芝 Ultrasonic diagnostic equipment
JP3697289B2 (en) * 1995-04-20 2005-09-21 株式会社東芝 Ultrasonic Doppler diagnostic device
JP3746119B2 (en) * 1996-10-25 2006-02-15 株式会社東芝 Ultrasonic diagnostic equipment
US5891038A (en) * 1996-12-30 1999-04-06 General Electric Company Method, apparatus and applications for combining transmit wave functions to obtain synthetic waveform in ultrasonic imaging system

Also Published As

Publication number Publication date
JP2000139909A (en) 2000-05-23

Similar Documents

Publication Publication Date Title
JP4928801B2 (en) Ultrasonic diagnostic equipment
JP4266659B2 (en) Method and apparatus for automatic control of spectral Doppler imaging
US6454714B1 (en) Ultrasonic harmonic flash suppression
US6162176A (en) Ultrasound color flow display optimization
US9782146B2 (en) Ultrasonic diagnostic scanner and method for processing ultrasonic signal
KR20010032604A (en) Ultrasonic diagnostic imaging system with real spatial compounding processor
CN101933816B (en) Three-dimensional ultrasonic diagnosis apparatus
US5671744A (en) Ultrasonic diagnosis apparatus
JP2003501177A (en) Simultaneous tissue and motion ultrasound diagnostic imaging
JP4313869B2 (en) Ultrasonic diagnostic equipment
JP2010125118A (en) Ultrasonic diagnostic apparatus and ultrasonic diagnostic apparatus control method
JP3732613B2 (en) Ultrasonic diagnostic equipment
US5718230A (en) Method and apparatus for creating ultrasound images using a reduced number of transmit beam lines
JP4575505B2 (en) Ultrasonic diagnostic equipment
JP6012941B2 (en) Ultrasonic diagnostic equipment
JP3943653B2 (en) Ultrasonic diagnostic equipment
US5846203A (en) Method and apparatus for noise suppression in a doppler ultrasound system.
JP3887040B2 (en) Ultrasonic diagnostic equipment
JP2005288021A (en) Ultrasonic diagnostic apparatus, and its diagnosing method
JPH10118065A (en) Ultrasonograph
JP6843591B2 (en) Ultrasonic diagnostic equipment
JP6793502B2 (en) Ultrasonic diagnostic equipment
JP4153093B2 (en) Ultrasonic diagnostic equipment
JP3642834B2 (en) Ultrasonic Doppler diagnostic device
JPH07171152A (en) Ultrasonic diagnostic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090421

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090518

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140522

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term