JP4575505B2 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
JP4575505B2
JP4575505B2 JP2009081950A JP2009081950A JP4575505B2 JP 4575505 B2 JP4575505 B2 JP 4575505B2 JP 2009081950 A JP2009081950 A JP 2009081950A JP 2009081950 A JP2009081950 A JP 2009081950A JP 4575505 B2 JP4575505 B2 JP 4575505B2
Authority
JP
Japan
Prior art keywords
pass
signal
filter
fixed noise
ultrasonic diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009081950A
Other languages
English (en)
Other versions
JP2009142690A (ja
Inventor
康彦 阿部
良一 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009081950A priority Critical patent/JP4575505B2/ja
Publication of JP2009142690A publication Critical patent/JP2009142690A/ja
Application granted granted Critical
Publication of JP4575505B2 publication Critical patent/JP4575505B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、被検体の断面を超音波で走査し、それにより得られる受信信号を検波し、その検波信号を対数圧縮にかけて超音波画像を生成する超音波診断装置に関する。
図9は従来の超音波診断装置の構成を示している。超音波プローブ31には送信系32から高周波の電圧パルスが印加される。これにより超音波プローブ31から超音波が被検体に送信される。この超音波は被検体内の音響インピーダンスの境界で反射して、超音波プローブ31に返ってきて、電気信号に変換される。この電気信号は、受信系33において、増幅され、ディジタル信号に変換され、整相加算される。
この整相加算により得られる受信信号fiには、時間的に変動の少ないノイズ、いわゆる固定ノイズが含まれており、この固定ノイズを高域通過型の固定ノイズ除去フィルタ34で除去するようになっている。
この固定ノイズ除去フィルタ34で固定ノイズが除去された受信信号fiには、位相情報と振幅情報とが保存されており、このうち振幅情報だけを検波器35で取り出すようになっている。この検波信号Aiのダイナミックレンジは、非常に広く、そのまま表現するには表示ユニット37のダイナミックレンジは不足であるので、対数圧縮器36で検波信号Aiを適度なダイナミックレンジに変換することが一般的に行われている。この対数圧縮後のビデオ信号Viは、表示ユニット37に送られ組織断層構造を表すいわゆるBモード像として表示される。
ところで、上記固定ノイズ除去フィルタ34において、固定ノイズと一緒に、例えば静止心筋が消えてしまうことがないように、そのカットオフ周波数を心拍時相に応じて微妙に制御することが必要とされる。例えば、拡張後期のような心臓壁の運動が静止してる心拍時相では、カットオフ周波数を低くして、心筋エコーの減衰を抑えて、一方、収縮初期のような心臓壁の運動が激しい心拍時相では、カットオフ周波数を高くして、固定ノイズを十分に減衰させる。
しかしながら、心臓の動きは非常に複雑、つまり心筋といってもその全体が同じ速度で規則正しく動くわけではなく、激しく動いている部分と殆ど動かない部分とが混在しているものである。従って、カットオフ周波数を心拍時相に応じて制御しても、全ての心拍時相で固定ノイズを確実に除去し心筋エコーを確実に残すことは不可能に近く、従って固定ノイズが部分的に残ってしまったり、心筋エコーが部分的に消えてしまうという事態は避けられないものであった。
従って、心筋成分の表示を例にすると、殆ど動かない部分では、固定ノイズ除去フィルタ34によってそのエコーが減衰されてしまうので、画像表示上の輝度(エコー信号のパワーに相当するもの)が低下してしまうが、一方、動いている部分ではそのエコーは減衰を受けないので、このような輝度低下は見られない。
その結果、心筋といっても同程度の輝度で表示されるのではなく、部分的に輝度が低くなってしまう。更に、この輝度が低下してしまう部分は、心臓の複雑な動き応じて刻々と変化するので、心筋像がちらついて非常に見難くなってしまうという問題があった。
本発明の目的は、超音波診断装置において、固定ノイズ除去に伴って発生する画像のチラツキを効果的に軽減することにある。
本発明のある局面は、被検体の断面を超音波で走査する走査と、前記走査手段の出力信号に基づいて受信信号を得る受信と、前記受信信号を濾過して、サンプル点ごとに時間的に変動の比較的少ない固定ノイズ成分を除去し時間的に変動の比較的多い心筋成分を通過させるために特定の心拍時相ではカットオフ周波数を低く、他の心拍時相では、前記カットオフ周波数を高く変化させる高域通過型フィルと、前記高域通過型フィルタを通った受信信号に含まれる振幅情報を抽出する振幅抽出と、前記振幅抽出の出力信号を濾過して、サンプル点ごとに前記高域通過型フィルタの出力に残存している固定ノイズ成分を抑制し過度に消失した心筋成分を補うために低域通過型スムージングフィルタと、前記第2のフィルタ手段の出力信号のダイナミックレンジを圧縮する圧縮と、前記圧縮手段の出力に基づいて超音波画像を表示する表示とを具備したことを特徴とする。
本発明によれば、超音波診断装置において、固定ノイズ除去に伴って発生する画像のチラツキを効果的に軽減することができる。
本発明の好ましい実施形態に係る超音波診断装置の構成を示すブロック図。 図1のスムージングフィルタ6の構成を示すブロック図。 本実施形態に係る超音波診断装置に対する比較例を示すブロック図。 本実施形態の効果を説明するための補足図であり、フレーム番号の定義を示す図。 本実施形態の効果を説明するための補足図であり、(a)は検波後であって対数圧縮前の検波信号Aiの時間波形を示す図、(b)は検波及び対数圧縮後のビデオ信号Viの時間波形を示す図。 本実施形態の効果を説明するための補足図であり、図3の比較例のスムージングフィルタで平均化されたビデオ信号 ̄Viの時間波形を示す図。 本実施形態の効果を説明するための補足図であり、(a)は本実施形態のスムージングフィルタで平均化された検波信号 ̄Aiの時間波形を示す図、(b)は(a)の平均化された検波信号 ̄Aiを対数圧縮した後のビデオ信号Viの時間波形を示す図。 本実施形態の超音波診断装置の変形例の構成を示すブロック図。 従来の超音波診断装置の構成を示すブロック図。
以下、図面を参照して、本発明による超音波診断装置を好ましい実施形態により説明する。
図1は本実施形態に係る超音波診断装置の構成を示している。超音波プローブ部1の先端には、電気的な振動を機械的な振動に、又その逆に変換する圧電セラミックス等の複数の振動子が配列されている。一般的には、1個の振動子が1チャンネルを構成するようになっている。この超音波プローブ部1は、送信時には送信系2に接続され、受信時には受信系3に接続される。送信系2は、図示しないが、クロック発生器、分周器、送信遅延回路、パルサから構成され、クロック発生器で発生されたクロックパルスを分周器で例えば6KHz程度のレートパルスに落とし、このレートパルスを送信遅延回路を通してパルサに与えて高周波の電圧パルスを発生し、振動子を駆動する、つまり機械的に振動させるようになっている。こうして発生された超音波は、被検体内の音響インピーダンスの境界で反射して、超音波プローブ部1に戻ってきて、振動子を機械的に振動する。これにより振動子に電気信号が発生する。この電気信号は、受信系3に取り込まれる。受信系3は、図示しないが、プリアンプ、アナログディジタル変換器、受信遅延回路、加算器から構成され、電気信号をプリアンプで増幅してから、アナログディジタル変換器でディジタル信号に変換する。アナログディジタル変換器では、増幅された電気信号を、1本の超音波走査線上で例えば0.5mm間隔に相当するサンプリング周波数でサンプリングして、この0.5mm間隔のサンプル点毎にディジタル信号を離散的に発生する。このディジタル信号は、受信遅延回路と加算器とにより、いわゆる整相加算される。これにより組織間の音響インピーダンスの差、つまり組織構造を表す振幅情報と、血流等の移動体の速度を表している位相情報とを含む受信信号fiが得られる。
この整相加算により得られる受信信号fiには、時間的に変動の比較的少ないノイズ、いわゆる固定ノイズが含まれており、この固定ノイズを、高域通過型に設計された固定ノイズ除去フィルタ4でサンプル点毎に除去するようになっている。なお、この固定ノイズ除去フィルタ4において、固定ノイズと一緒に、例えば静止心筋が消えてしまうことがないように、そのカットオフ周波数はシステムコントローラ9によって心拍時相に応じて微妙に制御されるようになっている。例えば、拡張後期のような心臓壁の運動が静止してる心拍時相では、カットオフ周波数を低くして、心筋エコーの減衰を抑えて、一方、収縮初期のような心臓壁の運動が激しい心拍時相では、カットオフ周波数を高くして、固定ノイズを十分に減衰させる。
この固定ノイズ除去フィルタ4で固定ノイズが除去された受信信号fiには、位相情報と振幅情報とが保存されており、このうち振幅情報だけが検波器5で取り出される。
ところで、心臓の動きは非常に複雑、つまり心筋といってもその全体が同じ速度で規則正しく動くわけではなく、激しく動いている部分と殆ど動かない部分とが混在しているものである。従って、固定ノイズ除去フィルタ4のカットオフ周波数を心拍時相に応じて制御しても、全ての心拍時相で固定ノイズを確実に除去し心筋エコーを確実に残すことは不可能に近く、従って固定ノイズが部分的に残ってしまったり、心筋エコーが部分的に消えてしまうという事態は避けられないものである。従って、心筋成分の表示を例にすると、殆ど動かない部分では、固定ノイズ除去フィルタ4によってそのエコーが減衰されてしまうので、画像表示上の輝度が時間的に大きく変動してチラツキが発生してしまう。
このチラツキを軽減するために、検波器5と対数圧縮器7との間に、低高域通過型に設計されたスムージングフィルタ6を設けて、検波後であって対数圧縮前の検波信号Aiを濾過して、時間的変動の比較的大きい成分をサンプル点毎に減衰する、換言すると近隣フレーム間で平均化処理、つまり同じサンプル点であって時間的に連続する複数の検波信号Aiを平均化処理するようになっている。
このスムージングフィルタ6で平均化された検波信号 ̄Aiのダイナミックレンジは、非常に広く、そのまま表現するには表示ユニット8のダイナミックレンジは不足であるので、対数圧縮器7で適度なダイナミックレンジまで狭め、そしてこの対数圧縮後のビデオ信号Viを表示ユニット8に供給するようになっている。尚、本実施形態では、対数圧縮によりダイナミックレンジの圧縮を行っているが、対数以外の非線形変換を用いて、ダイナミックレンジの圧縮を行うようにしてもよい。表示ユニット8では、ビデオ信号Viに従って組織断層構造を表すいわゆるBモード像が表示される。
また、システムコントローラ9には、コンソール10が接続されており、そのコンソール10内のフィルタ特性選択スイッチ11を操作して固定ノイズ除去フィルタ4のカットオフ周波数の基準値をオペレータが被検体に合わせて微調整したり、スムージングフィルタ6の加算数を選択できるようになっている。その他、コンソール10には、表示されたBモード像上に関心領域ROIをオペレータが設定するためのROI設定器12等の様々なスイッチ類、マウス、キーボード等が装備されている。
図2には、スムージングフィルタ6の構成例として、N次のFIR型フィルタを示している。スムージングフィルタ6は、図2に示すようなFIR型(非再帰型)のディジタルフィルタでも、IIR型(再帰型)のディジタルフィルタでもいずれを採用してもよい。スムージングフィルタ6は、ディジタルフィルタの一般的な構成であり、フィルタコントローラ21を制御中枢として、入力端子INに対して複数のフレームメモリ23が縦続接続されている。このフレームメモリ23は、フィルタコントローラ21による入力出力制御によって、入出力の間にフレームレートZの逆数の時間差を与える遅延回路として機能する。これにより人工端子IN及び複数のフレームメモリ23の縦続接続からは同じサンプル点に関するN個前までの(N+1)個の検波信号(Ai、Ai-1 、・・・、Ai-N)が同期して一斉に出力される。この(N+1)個の検波信号(Ai、Ai-1 、・・・、Ai-N)は、(N+1)個の乗算器26にそれぞれ供給される。フィルタコントローラ21にはフィルタ特性選択スイッチ11を介して選択されたフィルタ特性を識別する識別情報がシステムコントローラ10から供給されており、フィルタコントローラ21はこのフィルタ特性の識別情報係数に応じてアドレスFCAを発生し、乗算係数ROM22に供給する。この係数アドレスFCAに応じた場所に記憶されている複数の乗算係数(k0 、k1 、・・・、kN )が乗算係数ROM22から読み出され各々の乗算器26に供給される。乗算器26は、検波信号(Ai 、Ai-1 、・・・、Ai-N )にこの乗算係数(k0 、k1 、・・・、kN )をそれぞれ乗算して加算器30に送る。
加算器30は、各乗算器26の出力を加算し、時間的にフィルタリングされた検波信号 ̄Ai として出力する。
Figure 0004575505
表1は、本実施形態における係数アドレスFCAと乗算係数(k0 、k1 、・・・、kN )の対応を表したものである。表1の乗算係数kj は、フィルタの次数Nが4の場合を表しており、単純な移動平均特性となるように係数kj =1/Mに設定されている。Mは加算するフレーム枚数を表しており、この場合のカットオフ周波数は、加算フレーム枚数Mのみで決定される。表1では、係数アドレスFCAが加算フレーム枚数Mと等しくなっており、係数アドレスFCAを1〜5の中から選択することにより、加算フレーム枚数Mを1〜5の間で切り替えることができる。尚、加算フレーム枚数Mが1の時は、フィルタOFFに相当する。
Figure 0004575505
ここで、上述したように検波器5と対数圧縮器7との間に、低域通過型のスムージングフィルタ6を設けたことで、格別顕著な効果を奏することができるものである。この格別顕著な効果を説明する上で、比較のために、図3に示す検波器5と対数圧縮器7との後に、低域通過型のスムージングフィルタ6を設ける例を考える。ここで、図4に示すように、フレーム上のある点における信号をフレームNo.iの関数として考えると、周知の通り、検波前の受信信号fi、検波信号Ai、ビデオ信号Viは、それぞれ次式で与えられる。
Figure 0004575505
図3の比較例では、検波及び対数圧縮後のビデオ信号Viを対象としてスムージングフィルタ6で平均化処理を行っている。この平均化されたビデオ信号 ̄Viは、次の式で与えられる。尚、加算フレーム枚数M(移動平均数)は、3とする。
Figure 0004575505
この式から分かるように、図3の比較例では、スムージングフィルタ6における平均化処理は、実質的に検波信号Aiの相乗平均をとっていることに相当している。
一方、本実施形態では、検波後であって、対数圧縮前の検波信号Aiを対象としてスムージングフィルタ6で平均化処理を行っている。この平均化された検波信号 ̄Aiと、その検波信号 ̄Aiを対数圧縮して得られるビデオ信号Viは、次の式で与えられる。
Figure 0004575505
この式から分かるように、本実施形態のように、検波後であって、対数圧縮前の検波信号Aiを対象としてスムージングフィルタ6で平均化処理を行う場合、その処理は、実質的に検波信号Aiの相加平均をとっていることに相当している。
このように比較例のように相乗平均をとるよりも、本実施形態のように相加平均をとる方が、チラツキを効果的に軽減することができる。この理由を以下に説明する。以下、加算フレーム枚数FCA=M=3を例として図示する。
まず、図5(a)には検波信号Aiの時間変動の一例を示しており、これを平均化処理しないでそのまま対数圧縮すると、ビデオ信号Viは、図5(b)のような時間波形を示す。図3の比較例のようにこのビデオ信号Viを対象として平均化処理を行うと、その平均化されたビデオ信号 ̄Viの時間変動は、図6に示すように、比較的激しくなる。つまり、画像中に消えている信号、つまり値がゼロないしゼロに近い信号が含まれていると、その相乗平均結果としては、ゼロ又はゼロに近くなってしまうので、スムージングによるチラツキ軽減の効果はあまり発揮されない。
一方、本実施形態のように、対数圧縮前の検波信号Aiを対象として平均化処理を行うと、図7(a)、図7(b)に示すように、検波信号Aiの比較的激しい時間変動は、著しく軽減される。これは、本実施形態のような相加平均では、その相加平均結果としては、ゼロ又はゼロに近くならず、底上げされるからである。つまり、ある時相の検波信号Aiがゼロ又はゼロに近くであっても、その近隣のフレームの検波信号が比較的高値であれば、その近隣の値に引き上げられるのである。そして、この平均化された検波信号 ̄Aiを、対数圧縮器7で対数的に圧縮すれば、上記ある時相のゼロ又はゼロに近い検波信号Aiは、平均化処理により十分に大きな値になる。
この作用は、一般的には、以下の相加平均と相乗平均の不等式として知られている。
Figure 0004575505
検波信号Aiは振幅信号であり、従って正数であり、また心筋は拍動していてその信号群は全ては等しくなることはないので、本実施形態のように検波後であって対数圧縮前の検波信号を対象として平均化処理、つまり相加平均をとると、、比較例のような対数圧縮後のビデオ信号を対象として平均化処理、つまり相乗平均をとるよりも、高いスムージング効果を実現でき、これによりチラツキを効果的に軽減することができる。
なお、本発明は、上述した実施形態だけにとどまらず、その要旨を逸脱しない範囲において、様々な変形例が得られることは言うまでもない。例えば、図3のような従来から用いられているビデオ信号ベースのスムージングフィルタを有する超音波診断装置においても、図8に示すように、対数圧縮器7の後にアンチログ変換器13を設けてビデオ信号から対数圧縮前の検波信号Ai(振幅情報)を再現し、その再現した検波信号Aiに対してスムージングフィルタ6を適用する。その後、再度、ビデオ信号に戻すために、スムージングフィルタ6の後に対数圧縮器14を設けることで、上述した実施形態と同様の効果を奏することができる。なお、平均化処理演算に要するビット数は、振幅の有するダイナミックレンジを確保するために、ビデオ信号ベースの場合よりも、拡張されるべきである。
本発明は、超音波診断装置において、固定ノイズ除去に伴って発生する画像のチラツキを効果的に軽減する分野に産業上の利用可能性がある。
1…超音波プローブ、2…送信系、3…受信系、4…固定ノイズ除去フィルタ、5…検波器、6…スムージングフィルタ、7…対数圧縮器、8…表示ユニット、9…システムコントローラ、10…コンソール、11…フィルタ特性選択スイッチ、12…ROI設定器、13…アンチログ変換器、14…対数圧縮器、21…フィルタコントローラ、22…乗算係数ROM、23、24、25…フレームメモリ、26、27、28、29…乗算器、30…加算器。

Claims (2)

  1. 被検体の断面を超音波で走査する走査と、
    前記走査手段の出力信号に基づいて受信信号を得る受信と、
    前記受信信号を濾過して、サンプル点ごとに時間的に変動の比較的少ない固定ノイズ成分を除去し時間的に変動の比較的多い心筋成分を通過させるために特定の心拍時相ではカットオフ周波数を低く、他の心拍時相では、前記カットオフ周波数を高く変化させる高域通過型フィルと、

    前記高域通過型フィルタを通った受信信号に含まれる振幅情報を抽出する振幅抽出と、
    前記振幅抽出の出力信号を濾過して、サンプル点ごとに前記高域通過型フィルタの出力に残存している固定ノイズ成分を抑制し過度に消失した心筋成分を補うために低域通過型スムージングフィルタと、
    前記第2のフィルタ手段の出力信号のダイナミックレンジを圧縮する圧縮と、
    前記圧縮手段の出力に基づいて超音波画像を表示する表示とを具備したことを特徴とする超音波診断装置。
  2. 前記振幅抽出の出力信号は、前記低域通過型スムージングフィルタにおいて実質的に相加平均されることを特徴とする請求項1記載の超音波診断装置。
JP2009081950A 2009-03-30 2009-03-30 超音波診断装置 Expired - Fee Related JP4575505B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009081950A JP4575505B2 (ja) 2009-03-30 2009-03-30 超音波診断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009081950A JP4575505B2 (ja) 2009-03-30 2009-03-30 超音波診断装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP32225698A Division JP4313869B2 (ja) 1998-11-12 1998-11-12 超音波診断装置

Publications (2)

Publication Number Publication Date
JP2009142690A JP2009142690A (ja) 2009-07-02
JP4575505B2 true JP4575505B2 (ja) 2010-11-04

Family

ID=40913969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009081950A Expired - Fee Related JP4575505B2 (ja) 2009-03-30 2009-03-30 超音波診断装置

Country Status (1)

Country Link
JP (1) JP4575505B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280689A (ja) * 1995-04-20 1996-10-29 Toshiba Corp 超音波ドプラ診断装置
JPH10118065A (ja) * 1996-10-25 1998-05-12 Toshiba Corp 超音波診断装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280689A (ja) * 1995-04-20 1996-10-29 Toshiba Corp 超音波ドプラ診断装置
JPH10118065A (ja) * 1996-10-25 1998-05-12 Toshiba Corp 超音波診断装置

Also Published As

Publication number Publication date
JP2009142690A (ja) 2009-07-02

Similar Documents

Publication Publication Date Title
JP6253999B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP4928801B2 (ja) 超音波診断装置
JP5472914B2 (ja) 超音波診断装置
US9782146B2 (en) Ultrasonic diagnostic scanner and method for processing ultrasonic signal
KR20010032604A (ko) 실제 공간 합성 프로세서를 갖는 초음파 진단 영상화 시스템
US5671744A (en) Ultrasonic diagnosis apparatus
JP2010125118A (ja) 超音波診断装置及び超音波診断装置制御方法
JP4313869B2 (ja) 超音波診断装置
JP3732613B2 (ja) 超音波診断装置
JP4575505B2 (ja) 超音波診断装置
JP6012941B2 (ja) 超音波診断装置
JP2002165796A (ja) 超音波診断装置
JP2019216880A (ja) 超音波診断装置、超音波診断方法及びプログラム
JP6651405B2 (ja) 超音波診断装置及びプログラム
JP2005288021A (ja) 超音波診断装置及びその診断方法
JP6697609B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP3887040B2 (ja) 超音波診断装置
JP6300728B2 (ja) 医用画像診断装置
JP6843591B2 (ja) 超音波診断装置
JP2012096095A (ja) 超音波診断装置、超音波診断装置制御プログラム及び超音波信号処理プログラム
JP3642834B2 (ja) 超音波ドプラ診断装置
JP6793502B2 (ja) 超音波診断装置
JPH119595A (ja) 超音波診断装置
US10709421B2 (en) Ultrasound diagnostic apparatus
JP2022158648A (ja) 超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100819

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313114

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees