JP3905419B2 - 超音波画像処理装置 - Google Patents
超音波画像処理装置 Download PDFInfo
- Publication number
- JP3905419B2 JP3905419B2 JP2002136333A JP2002136333A JP3905419B2 JP 3905419 B2 JP3905419 B2 JP 3905419B2 JP 2002136333 A JP2002136333 A JP 2002136333A JP 2002136333 A JP2002136333 A JP 2002136333A JP 3905419 B2 JP3905419 B2 JP 3905419B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ultrasonic
- sound ray
- distance
- radial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、検査対象物に超音波を送受して超音波画像を得るための画像処理を行う超音波画像処理装置に関する。
【０００２】
【従来の技術】
近年、超音波診断装置は、医療用分野及び工業用分野において、広く用いられる。超音波診断装置は、超音波を検査対象物に送受信することにより、検査対象物内を非侵襲的に診断するものである。
【０００３】
超音波診断装置は、超音波の走査により得られる画像が２次元画像となる。このため、超音波診断装置は、ユーザに対してより診断し易い画像を提供するために、２次元画像から３次元画像を構築する超音波画像処理装置と組み合わせて使用される場合がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の超音波画像処理装置は、超音波プローブ内外で発生する多重エコー部分が２次元画像上に現われ、更にこの２次元画像で構築される３次元画像（立体画像）上に表示されて観察視野の妨げになる場合がある。
【０００５】
上記従来の超音波画像処理装置は、３次元画像を構築する複数の２次元画像に対して、ユーザが１枚々マウス等で上記多重エコー部分をドラッグして指定し、この多重エコー部分を削除するようにしていた。このため、上記従来の超音波画像処理装置は、上記多重エコー部分の削除を行う操作が煩雑であり、時間が掛かっていた。
【０００６】
本発明は、上述した点に鑑みてなされたもので、簡単な操作で多重エコー部分を削除可能な超音波画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため本発明の超音波画像処理装置は、超音波を送受波する超音波振動子において得られた超音波エコー信号を用いて検査対象物の超音波画像を生成する超音波画像処理装置において、前記超音波エコー信号の分布状態を検出する分布状態検出手段と、前記分布状態検出手段において検出した前記超音波エコー信号の分布状態に基づいて、前記超音波振動子の超音波放射位置である音線中心からの距離であって所定の音線の輝度値が所定の条件を満たす場合の距離を決定すると共に、当該距離以内を多重エコー部分を削除するためのマスク範囲として設定するマスク範囲設定手段と、を具備し、前記所定の音線の輝度値が所定の条件を満たす場合の距離とは、当該所定の音線が輝度値が極小値をとる際の距離であり、前記マスク範囲設定手段は、当該極小値の距離以内を多重エコー部分を削除するためのマスク範囲として設定することを特徴とする。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１ないし図１３は本発明の第１の実施の形態に係り、図１は第１の実施の形態を備えた超音波診断装置の全体構成を示し、図２は図１の超音波診断装置における３Ｄ表示処理のフローチャートを示し、図３は２次元画像と３次元画像を得るための超音波走査の様子を示し、図４は図３の動作からラジアル画像等が得られる様子を示し、図５は多重エコーが除去される前後のラジアル画像及び垂直リニア画像の画像例を示し、図５（Ａ）は多重エコーが表示されているラジアル画像及び垂直リニア画像の画像例を示し、図５（Ｂ）は多重エコーが除去された後のラジアル画像及び垂直リニア画像の画像例を示し、図６はラジアル画像上のハンドルをドラッグして画像を回転させて表示した画像例を示し、図７は４つの表示エリアに２次元画像と立体画像を同時に表示した表示例を示し、図８はマウスの操作により表示角度を変更して立体画像を表示する動作説明図を示し、図９は多重エコーマスク処理のフローチャートを示し、図１０は図５（Ａ）に示すラジアル画像の１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図１１はラジアル画像を構成する全ての音線データに対して、音線中心から半径ｒの円をマスク範囲として設定する際の概略図を示し、図１２は図９の変形例を示す多重エコーマスク処理のフローチャートを示し、図１３はラジアル画像を構成する全ての音線データに対して、音線中心からｒ〔ｎ〕で形成される多角形をマスク範囲として設定する際の概略図を示す。
【０００９】
図１に示すように本発明の第１の実施の形態を備えた超音波診断装置１は、超音波の送受波を行う超音波プローブ２と、この超音波プローブ２と接続され、超音波プローブ２により得られるエコー信号に対して信号処理して超音波断層像の表示を行う超音波観測装置３と、この超音波観測装置３で得られたエコーデータを基に各種画像処理を行う超音波画像処理装置本体（以下、画像処理装置本体と略記））４と、この画像処理装置本体４と接続され、超音波断層像及び立体画像を表示するモニタ５とを有している。
【００１０】
超音波プローブ２は、細長のプローブ挿入部６を有して構成されている。プローブ挿入部６は、この先端側に超音波を送受波する超音波振動子７が内蔵されている。この超音波振動子７は、プローブ挿入部６内に挿通されたフレキシブルシャフト８の先端に取り付けられている。また、超音波プローブ２は、プローブ挿入部６の後端の把持部内に駆動部９が内蔵されている。超音波プローブ２は、駆動部９を構成する図示しない第１モータを回転することで、超音波振動子７が回転駆動され、この超音波振動子７からの超音波を放射状に順次出射するようになっている。更に、超音波プローブ２は、駆動部９を構成する図示しない第２モータを回転することで、フレキシブルシャフト８がプローブ挿入部６の軸方向（長手方向で例えばＺ軸方向とする）に進退動され、従って超音波振動子７により出射される超音波をＺ軸方向にリニア走査することができる。
【００１１】
また、画像処理装置本体４は、超音波観測装置３とケーブル１１により接続されている。画像処理装置本体４は、ケーブル１１と接続されるネットワークインタフェース（Ｉ／Ｆと略記）１２と、断層像（２次元画像）及び立体画像（３次元画像）を生成する画像処理や、画像を回転して表示する等の画像処理を行うＣＰＵ１３と、ＣＰＵ１３により画像処理のワークエリアとして使用されたり、画像処理に必要なデータの一時格納などに利用されるメモリ１４と、ＣＰＵ１３が行う画像処理のプログラムデータや画像データが記録されるハードディスク装置（ＨＤＤと略記）１５と、モニタ５に表示される画像データが一時格納されるフレームメモリ１６と、画像データ等を記録する大容量の記録手段としてのＤＶＤ−ＲＡＭ）１７及び光磁気ディスク装置（ＭＯＤと略記）１８とのＩ／ＦとしてのスカジＩ／Ｓ（ＳＣＳＩＩ／Ｆと略記）１９と、モニタ５に表示される立体画像の視野角を変えて表示させる指示入力を行うポインティングデバイスとしてのマウス２１及び患者データの入力等を行うキーボード２２とのＩ／Ｆとしての入力デバイスＩ／Ｆ２３とを内蔵して構成されている。これらネットワークＩ／Ｆ１２、ＣＰＵ１３、メモリ１４、ＨＤＤ１５、フレームメモリ１６、ＳＣＳＩＩ／Ｆ１８、入力デバイスＩ／Ｆ２１は、バス２４により接続され、データを転送可能になっている。尚、ＤＶＤ−ＲＡＭ１７及びＭＯＤ１８は、ＵＳＢやイーサネット（登録商標）を介して接続しても良い。
また、画像処理装置本体４と、モニタ５と、ＤＶＤ−ＲＡＭ１７と、ＭＯＤ１８と、マウス２１及びキーボード２２とは、画像処理装置を構成される。
尚、本実施の形態では、ＨＤＤ１５に格納されるプログラムは、例えばＭＯＤ１８に着脱される光磁気ディスク（ＭＯと略記）２５に格納された状態で販売されるようになっている。このＭＯ２５は、ＭＯＤ１８に挿入され、格納されたプログラムをインストールする作業により、ＨＤＤ１５にそのプログラムが実行形式で格納されるようになる。
【００１２】
また、ＨＤＤ１５に格納されるプログラムは、ＭＯ２５の代わりに、ＣＤ−ＲＯＭ等の他の記録媒体にプログラムを格納して販売しても良い。これらプログラムをインストールした後、ＣＰＵ１３は、ＨＤＤ１５からプログラムを読み出してそのプログラムに沿った処理を行うようになっている。
【００１３】
上述のように駆動部９は、第１モータと第２モータとを設けてある。従って、超音波診断装置１は、図２のフローチャートに示すように第１モータと第２モータとを同期させて同時に回転駆動させることで、超音波プローブ２が超音波をスパイラル状に出射して３次元領域を走査（ヘリカルスキャン）し、超音波観測装置３がＺ軸方向の座標位置が少しづつ異なる断層像を多数得ることができ、これらの断層像から画像処理装置本体４のＣＰＵ１３が立体画像を構築することができる。
【００１４】
図２に示すように超音波診断装置１は、先ず、ヘリカルデータを取り込む（ステップＳ１）。図３はその概略の動作を示す。超音波プローブ２は、プローブ挿入部６内の（フレキシブルシャフト８の先端の）超音波振動子７をＺ方向に移動させながら回転駆動して超音波を送受波することで、プローブ挿入部６の軸方向（つまりＺ軸方向）にほぼ垂直な断面の２次元超音波画像（以下、ラジアル画像と記す）Ｇｒを得る。
【００１５】
超音波振動子７は、Ｚ方向にＰａからＰｂの位置まで、所定のピッチ単位でリニア状に移動される。その結果、画像処理装置本体４は、超音波観測装置３を経てＨＤＤ１５に番号Ｎ１からＮｎ番目までの、所定のピッチ毎のラジアル画像Ｇｒが格納される。
得られたラジアル画像Ｇｒは、メモリ１４に転送され、そのメモリ空間に図４の如く格納される。これら所定ピッチで連続して得た複数枚のラジアル画像Ｇｒは、擬似的な立体画像Ｇｓを生成するのに用いられる。
【００１６】
ユーザは、Ｖｉｅｗ切替ボタン（図７の符号Ｂｂ）のＤＰＲ（Dual Plane Reconstruction ：２画面構築）ボタンを操作して、ラジアル画像Ｇｒと、このラジアル画像を縦方向に割った垂直リニア画像Ｇｖｌとから構成されるＤＰＲ画像を選択表示させる（ステップＳ２）。
すると、メモリ１４は、このメモリ空間からラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌの形式でデータが読み出される。そして、読み出されたデータは、フレームメモリ１６に転送されてモニタ５に出力されることで、図５（ａ）に示すようにラジアル画像Ｇｒ及びリニア画像Ｇｖｌがモニタ５に表示されるようになっている。
【００１７】
ここで、図５（Ａ）に示すラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌは、超音波プローブ２の内外で多重反射される多重エコーが表示されている。そこで、これらラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌは、図５（Ｂ）に示すように多重エコー部分を除去する操作が行われる（ステップＳ３）。
本実施の形態では、後述するように簡単な操作でラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌに表示される多重エコー部分を削除可能に構成している。
【００１８】
その後、図５（Ｂ）に示すラジアル画像Ｇｒは、その画像上のハンドルをドラッグして、４５°程度イメージローテーションする操作が行われ、図６に示すように回転される（ステップＳ４）。上記多重エコー除去及びイメージローテーションの操作は、立体画像Ｇｓを生成するのに必要な一連の画像データセットの画像に適用される。
【００１９】
従って、画像処理装置本体４は、一連の画像から多重エコーが除去されると共に、イメージローテーションされた画像が生成され、モニタ５に表示されている画像においても多重エコーが除去されてイメージローテーションされた画像が表示されるようになっている。
次に、ユーザは、Ｖｉｅｗ切替ボタン（図７の符号Ｂｂ）の立体画像（図面では３Ｄ画像と略記）ボタンを操作して、立体画像Ｇｓを選択表示させる（ステップＳ５）。
すると、画像処理装置本体４は、例えば図７に示すようにモニタ５の表示部に４つの画像表示エリア（具体的には、ラジアル画像表示エリア、垂直リニア画像表示エリア、水平リニア画像表示エリア、立体画像表示エリア）にそれぞれ画像ラジアル画像Ｇｒ、垂直リニア画像Ｇｖｌ、（右側から見た）水平リニア画像Ｇｈｌ、立体画像Ｇｓとを表示させる（ステップＳ６）。
【００２０】
この場合、画像処理装置本体４は、ラジアル画像Ｇｒ上に設定したカットラインＹ１、Ｘ１をマウスでドラッグして移動されると、それに対応して垂直リニア画像Ｇｖｌと、水平リニア画像Ｇｈｌとを更新してモニタ５のそれぞれのエリアに表示するようになっている。つまり、モニタ５は、ラジアル画像Ｇｒに表示されたカットラインＹ１の位置に対応した垂直リニア画像Ｇｖｌが垂直リニア画像表示エリアに表示され、カットラインＸ１の位置に対応した水平リニア画像Ｇｈｌが水平リニア画像表示エリアに表示される。
【００２１】
また、立体画像表示エリアは、カットラインＹ１、Ｘ１に対応した切断面Ｍ１，Ｍ２で立体画像Ｇｓが表示される。
ここで、画像処理装置本体４は、垂直リニア画像Ｇｖｌ上で、或いは水平リニア画像Ｇｈｌ上で、カットラインＺ１をドラッグして移動されると、ラジアル画像Ｇｒ及び立体画像Ｇｓの手前側のラジアル画像部分を更新し、ラジアル画像Ｇｒをラジアル画像表示エリアに表示すると共に、立体画像Ｇｓを立体画像表示エリアに表示させる。
【００２２】
一方、画像処理装置本体４は、垂直リニア画像Ｇｖｌ上で、或いは水平リニア画像Ｇｈｌ上で、カットラインＺ２をドラッグして移動されると、立体画像Ｇｓの奥側のラジアル画像部分を更新し、ラジアル画像Ｇｒをラジアル画像表示エリアに表示すると共に、立体画像Ｇｓを立体画像表示エリアに表示させる。
【００２３】
このように処理装置本体４は、カットラインＹ１，Ｘ１や切断面Ｍ１、Ｍ２は、ユーザの操作で位置を変更することが可能であり、変更された位置に対応したラジアル画像Ｇｒ、リニア画像Ｇｖｌ、Ｇｈｌ、立体画像Ｇｓが表示される。
尚、選択されている画像、図７の場合、ラジアル画像の縮小画像（サムネイル画像）は、右上の操作ウィンドウに表示されるようになっている。また、立体画像Ｇｓは、立体の頂点を視野角変更の指示手段としてのマウス２１でドラッグすることにより、画像表示の視野角を変更して表示できるようにしている。
【００２４】
図７の立体画像Ｇｓは、立体画像を構成する３つの頂点位置のいずれかにユーザがマウスカーソルを近づけると、図８に示すように丸印で表されるハンドルが選択されて自動的に表示される。また、図８に示す立体画像Ｇｓは、選択された場合、例えば左上には表示操作ボタンＢが表示される。
【００２５】
そして、ユーザは、マウス２１にてマウスカーソルをハンドルに重ねる。すると、マウスカーソルが重なったハンドルは、｜から●等に選択された選択状態に変化する。そして、ユーザは、画像を回転させるためにマウス２１を左クリックしてドラッグし、ハンドルを回転させる。
すると、立体画像Ｇｓは、このハンドルで回転される操作量に応じて、逐次回転するようになっている。尚、立体画像Ｇｓは、表示操作ボタンＢのいずれかのステップボタンをマウス２１によりクリックして回転させることもできる。
【００２６】
このように画像処理装置本体４は、マウス２１の操作で簡単に立体画像Ｇｓを所望とする方向に回転させることができる。
上述した処理は、ユーザの入力指示に従って、画像処理装置本体４のＣＰＵ１３が行っているものである。
【００２７】
また、ＣＰＵ１３は、判別手段及びマスク範囲設定手段とを兼ね、超音波エコー信号の分布状態を判別すると共に、この判別結果に基づき、超音波画像上に表示される多重エコー部分を削除するためのマスク範囲を設定するように構成されている。この場合の作用を図９のフローチャートを参照して説明する。
図９は、多重エコーマスク処理のフローチャートを示している。
【００２８】
先ず、最初のステップＳ１１で、ＣＰＵ１３は、平滑化の処理を行う。このステップＳ１１では、ＣＰＵ１３は、メモリ１４から読み出されたラジアル画像Ｇｒを構成するエコーデータに対し、ノイズを低減するために公知の方法で平滑化する処理を行う。
次に、平滑化されたエコーデータに対し、ステップＳ１２では、ＣＰＵ１３は、１音線データを取り出す処理を行う。
【００２９】
ここで、ラジアル画像Ｇｒは、例えば、数百本の音線と呼ばれる線データで構成され、これら音線のエコー輝度により表される（図１１参照）。
上述した図５（Ａ）に示すラジアル画像Ｇｒは、例えば、図１０に示すように１音線データでのエコー輝度分布で見ると、音線中心から所定距離（ｒ）内に多重エコー部分が現れる。
【００３０】
そこで、本実施の形態では、ＣＰＵ１３は、超音波振動子７の超音波放射位置である音線中心から１音線の輝度値が閾値未満の距離（ｒ）以内を、多重エコー部分を削除するためのマスク範囲として設定するように構成している。
即ち、ステップＳ１３では、ＣＰＵ１３は、取り出した１音線データの音線中心から輝度値が閾値（スレショルド値）未満の距離（ｒ）を探す処理を行う。
【００３１】
そして、ステップＳ１４では、ＣＰＵ１３は、探し出した距離（ｒ）を決定する。次に、ステップＳ１５では、ＣＰＵ１３は、決定した距離（ｒ）を用いて、図１１に示すようにラジアル画像Ｇｒを構成する全ての音線データに対して、音線中心から半径ｒの円をマスク範囲として設定する。
【００３２】
これにより、ステップＳ１６では、ＣＰＵ１３は、設定したマスク範囲内の多重エコー部分を黒で塗りつぶす処理を行い削除することができる。
そして、ステップＳ１７では、ＣＰＵ１３は、立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセットの全てに上記処理を適用する。
【００３３】
これにより、本実施の形態の画像処理装置本体４は、簡単な操作で自動的に多重エコー部分を削除することが可能である。
【００３４】
尚、上記図９に示すフローチャートの処理は、例えば、ユーザがＶｉｅｗ切替ボタンのＤＰＲボタンを操作してＤＰＲ画像を選択表示させた際に、自動的に行われるようにしても良いし、また、メモリ１４にラジアル画像Ｇｒのデータを転送される際に、自動的に行われるようにしても良い。
【００３５】
また、上記図９に示すフローチャートの処理は、取り出した１音線データの音線中心から輝度値が閾値（スレショルド値）未満の距離（ｒ）を探す処理を行うように構成しているが、音線中心から輝度値が曲線上で谷（極小点）となる距離（ｒ）を探す処理を行うように構成しても良い。
【００３６】
また、多重エコーマスク処理は、図１２のフローチャートに示すように構成しても良い。
先ず、最初のステップＳ１１’では、ＣＰＵ１３は、図９のフローチャートと同様に平滑化の処理を行う。
次に、ステップＳ２１では、ＣＰＵ１３は、第１番目の音線としてパラメータｎに１を代入し、ステップＳ２２では第ｎ〔＝１〕番目の音線データを取り出す。次に、ステップＳ２３では、ＣＰＵ１３は、取り出した第ｎ〔＝１〕番目の音線データの音線中心から輝度値が閾値（スレショルド値）未満の距離（ｒ〔ｎ＝１〕）を探す処理を行う。そして、ステップＳ２４では、ＣＰＵ１３は、探し出した距離（ｒ〔ｎ＝１〕）を決定する。
【００３７】
次に、ステップＳ２５では、ＣＰＵ１３は、パラメータｎをｎ＋１に置き換え、ステップＳ２６では、ｎ＞Ｎを比較することで、上記処理（Ｓ２２〜Ｓ２６）を繰り返し、全ての音線データＮに対して距離（ｒ〔ｎ〕）を決定する。そして、ステップＳ２５では、ＣＰＵ１３は、図１３に示すように全ての音線データに対して、音線中心からｒ〔ｎ〕で形成される多角形を生成し、これをマスク範囲として設定する。
【００３８】
これにより、ステップＳ１６’では、ＣＰＵ１３は、設定したマスク範囲内の多重エコー部分を黒で塗りつぶす処理を行い削除することができる。
そして、ステップＳ１７’では、ＣＰＵ１３は、立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセットの全てに上記処理を適用する。
【００３９】
これにより、本変形例の画像処理装置本体４は、上記第１の実施の形態と同様な効果を得ることに加え、更に、マスク範囲を詳細に設定することが可能であり、多重エコー部分の取りこぼしがなくなる。
【００４０】
（第２の実施の形態）
図１４ないし図２０は本発明の第２の実施の形態に係り、図１４は第２の実施の形態の多重エコーマスク処理のフローチャートを示し、図１５は多重エコー部分が生体壁から離れている場合の、１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図１６は多重エコー部分が生体壁に近接している場合のラジアル画像の画像例を示し、図１７は図１６に示すラジアル画像の１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図１８は図１６の状態からトレース範囲を補正してマスク範囲を設定表示した際のラジアル画像の画像例を示し、図１９は図１４の変形例を示す多重エコーマスク処理のフローチャートを示し、図２０は他の画像データセットのフレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ａ）は、第１フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ｂ）は、第２フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ｃ）は、第３フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す。
【００４１】
上記第１の実施の形態は、多重エコー部分が生体壁から離れている場合において、多重エコー部分を削除するためのマスク範囲に設定するように構成しているが、本第２の実施の形態は、多重エコー部分が生体壁に近接している場合において、多重エコー部分を削除するためのマスク範囲に設定するように構成する。それ以外の構成は、上記第１の実施の形態と同様なので説明を省略し、同じ構成には同じ符号を付して説明する。
【００４２】
即ち、本発明の第２の実施の形態の画像処理装置本体は、図１４に示すフローチャートに従って多重エコーマスク処理を行うように構成されている。
図１４に示すように先ず、最初のステップＳ１１’では、ＣＰＵ１３は、上記第１の実施の形態で説明したのと同様に平滑化の処理を行う。
【００４３】
そして、ステップＳ３１では、ラジアル画像Ｇｒに対して、ユーザがマウス等を用いてマスク範囲をトレースする。このとき、ユーザは、マウスをドラッグして多重エコー部分を囲むようにマウスカーソルでトレースし、ドラッグを終了してトレースを確定させる。
【００４４】
ここで、多重エコー部分が生体壁から離れている場合、図１５に示すように１音線データでのエコー輝度分布で見ると、ＣＰＵ１３は、トレース範囲をマスク範囲に設定しても良い。
しかしながら、図１６に示すようにラジアル画像Ｇｒは、多重エコー部分が生体壁に近接している場合がある。この場合、上記処理は、設定したマスク範囲から多重エコー部分を取りこぼしてしまい、多重エコー部分を残してしまう。
【００４５】
図１６に示すラジアル画像Ｇｒは、１音線データで見ると、例えば、図１７に示すように表される。ここで、多重エコー部分と生体壁との境界は、音線中心から輝度値が曲線上で谷（極小点）となる位置である。
【００４６】
そこで、本実施の形態では、ＣＰＵ１３は、音線データの音線中心から輝度値が曲線上で谷（極小点）となる距離を決定することで、トレース近傍において多重エコー部分と生体壁との境界を抽出し、トレースしたマスク範囲を補正するように構成している。
【００４７】
ステップＳ３２では、ユーザがモニタ５に表示される図示しない補正ボタンをマウスでクリックして操作し、以降のステップでＣＰＵ１３が自動的に上記補正処理を行う。
【００４８】
ステップＳ３３で、ＣＰＵ１３は、第１番目の音線としてパラメータｎに１を代入し、ステップＳ３４では第ｎ〔＝１〕番目の音線データを取り出す。
次に、ステップＳ３５では、ＣＰＵ１３は、取り出した第ｎ〔＝１〕番目の音線データの音線中心から輝度値が曲線上で谷（極小点）となる距離を探し、トレース近傍において多重エコー部分と生体壁との境界を抽出する処理を行う。
【００４９】
そして、ステップＳ３６では、ＣＰＵ１３は、第ｎ〔＝１〕番目の音線データにおいて、抽出した境界位置でトレース範囲を補正する。
次に、ステップＳ３７では、ＣＰＵ１３は、パラメータｎをｎ＋１に置き換え、ステップＳ３８では、ｎ＞Ｎを比較することで、上記処理（Ｓ３４〜Ｓ３８）を繰り返し、全ての音線データＮに対してトレース範囲を補正する。
【００５０】
そして、ステップＳ３９では、ＣＰＵ１３は、図１８に示すように全ての音線データに対して、トレース範囲を補正したマスク範囲を設定する。
これにより、ステップＳ１６’では、ＣＰＵ１３は、設定したマスク範囲内の多重エコー部分を黒で塗りつぶす処理を行い削除することができる。
【００５１】
そして、ステップＳ１７’では、ＣＰＵ１３は、立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセットの全てに上記処理を適用する。
【００５２】
これにより、本第２の実施の形態の画像処理装置本体４は、上記第１の実施の形態と同様な効果を得ることに加え、多重エコー部分が生体壁に近接している場合もマスク範囲を詳細に設定することが可能であり、多重エコー部分の取りこぼしがなくなる。
【００５３】
また、多重エコーマスク処理は、図１９のフローチャートに示すように構成しても良い。
図１９に示す多重エコーマスク処理は、ステップＳ３５’の取り出した第ｎ〔＝１〕番目の音線データによる、トレース近傍において多重エコー部分と生体壁との境界を抽出する処理を行うところまでは上記第２の実施の形態と同様である。
【００５４】
そして、ステップＳ４１では、ＣＰＵ１３は、他の（画像データセットの）フレームの同じ第ｎ〔＝１〕番目の音線においてもステップＳ３５’と同様に、トレース近傍において多重エコー部分と生体壁との境界を抽出する処理を行う。
【００５５】
ここで、ラジアル画像Ｇｒは、他の（画像データセットの）フレームを１音線データで見ると、例えば、図２０に示すように表される。
図２０（Ａ）は、第１フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ｂ）は、第２フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ｃ）は、第３フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示している。
【００５６】
本変形例は、これら（立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセット）の全てのフレームにおいて、ＣＰＵ１３は、ステップＳ４２で多重エコー部分と生体壁との境界の平均を算出し、この値を第ｎ〔＝１〕番目の音線データの補正値とする。
【００５７】
次に、ステップＳ４２では、ＣＰＵ１３は、パラメータｎをｎ＋１に置き換え、ステップＳ４３では、ｎ＞Ｎを比較することで、上記処理（Ｓ３４’〜Ｓ４３）を繰り返し、全ての音線データＮに対してトレース範囲を補正する。
そして、ステップＳ４では、ＣＰＵ１３は、全ての音線データに対して、トレース範囲を補正したマスク範囲を設定する。
【００５８】
これにより、ステップＳ１６’では、ＣＰＵ１３は、設定したマスク範囲内の多重エコー部分を黒で塗りつぶす処理を行い削除することができる。
そして、ステップＳ１７’では、ＣＰＵ１３は、立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセットの全てに上記処理を適用する。
【００５９】
これにより、本変形例の画像処理装置本体４は、上記第２の実施の形態と同様な効果を得ることに加え、多重エコー部分と生体壁との境界の平均を取っているので、マスク範囲の設定が一度のトレースで済み、より高速化が可能である。
【００６０】
尚、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【００６１】
［付記］
（付記項１） 超音波を送受波し、得られた超音波エコー信号を用いて検査対象物の超音波画像を表示する超音波画像処理装置において、
前記超音波エコー信号の分布状態を判別する判別手段と、
前記判別手段の判別結果に基づき、前記超音波画像上に表示される多重エコー部分を削除するためのマスク範囲を設定するマスク範囲設定手段と、
を設けたことを特徴とする超音波画像処理装置。
【００６２】
（付記項２） 前記超音波画像上で前記マスク範囲をトレースするトレース手段を有し、
前記マスク範囲設定手段は、前記トレース手段のトレース近傍で前記多重エコー部分と前記検査対象物との境界を抽出する境界抽出手段と、この境界抽出手段で抽出した境界にて前記トレース手段でトレースした前記マスク範囲を補正する補正手段と、を具備したことを特徴とする付記項１に記載の超音波画像処理装置。
【００６３】
（付記項３） 前記判別手段は、前記超音波エコー信号の音線中心から輝度値が所定値以下となる所定範囲を判別することを特徴とする付記項１に記載の超音波画像処理装置。
【００６４】
（付記項４） 前記判別手段は、前記超音波エコー信号の音線中心から輝度値が極小点となる所定範囲を判別することを特徴とする付記項１に記載の超音波画像処理装置。
【００６５】
（付記項５） 前記境界抽出手段は、前記超音波エコー信号の音線中心から輝度値が極小点となる距離を決定することで、前記トレース手段のトレース近傍で多重エコー部分と検査対象物との境界を抽出することを特徴とする付記項２に記載の超音波画像処理装置。
【００６６】
【発明の効果】
以上説明したように本発明によれば、簡単な操作で多重エコー部分を削除可能な超音波画像処理装置を実現できる。
【図面の簡単な説明】
【図１】本発明の１実施の形態を備えた超音波診断装置の全体構成を示すブロック図。
【図２】図１の超音波診断装置における３Ｄ表示処理のフローチャート図。
【図３】２次元画像と３次元画像を得るための超音波走査の様子を示す説明図。
【図４】図２の動作からラジアル画像等が得られる様子を示す図。
【図５】多重エコーが除去される前後の画像例を示す図。
【図６】ラジアル画像上のハンドルをドラッグして画像を回転させて表示した画像例を示す図。
【図７】４つの表示エリアに２次元画像と立体画像を同時に表示した表示例を示す図。
【図８】マウスの操作により表示角度を変更して表示する処理を示す動作説明図。
【図９】多重エコーマスク処理のフローチャート図。
【図１０】図５（Ａ）に示すラジアル画像の１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す図。
【図１１】ラジアル画像を構成する全ての音線データに対して、音線中心から半径ｒの円をマスク範囲として設定する際の概略図。
【図１２】図９の変形例を示す多重エコーマスク処理のフローチャート図。
【図１３】ラジアル画像を構成する全ての音線データに対して、音線中心からｒ〔ｎ〕で形成される多角形をマスク範囲として設定する際の概略図。
【図１４】第２の実施の形態の多重エコーマスク処理のフローチャート図。
【図１５】多重エコー部分が生体壁から離れている場合の、１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す図。
【図１６】多重エコー部分が生体壁に近接している場合のラジアル画像の画像例を示す図。
【図１７】図１６に示すラジアル画像の１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す図。
【図１８】図１６の状態からトレース範囲を補正してマスク範囲を設定表示した際のラジアル画像の画像例を示す図。
【図１９】図１４の変形例を示す多重エコーマスク処理のフローチャート図。
【図２０】他の画像データセットのフレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す図。
【符号の説明】
１…超音波診断装置
２…超音波プローブ
３…超音波観測装置
４…画像処理装置本体
５…モニタ
６…プローブ挿入部
７…超音波振動子
８…フレキシブルシャフト
９…駆動部
１３…ＣＰＵ
１４…メモリ
１５…ＨＤＤ
１６…フレームメモリ
１７…ＤＶＤ−ＲＡＭ
１８…ＭＯＤ
１９…ＳＣＳＩＩ／Ｆ
２１…マウス
２２…キーボード
２５…ＭＯ
【発明の属する技術分野】
本発明は、検査対象物に超音波を送受して超音波画像を得るための画像処理を行う超音波画像処理装置に関する。
【０００２】
【従来の技術】
近年、超音波診断装置は、医療用分野及び工業用分野において、広く用いられる。超音波診断装置は、超音波を検査対象物に送受信することにより、検査対象物内を非侵襲的に診断するものである。
【０００３】
超音波診断装置は、超音波の走査により得られる画像が２次元画像となる。このため、超音波診断装置は、ユーザに対してより診断し易い画像を提供するために、２次元画像から３次元画像を構築する超音波画像処理装置と組み合わせて使用される場合がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の超音波画像処理装置は、超音波プローブ内外で発生する多重エコー部分が２次元画像上に現われ、更にこの２次元画像で構築される３次元画像（立体画像）上に表示されて観察視野の妨げになる場合がある。
【０００５】
上記従来の超音波画像処理装置は、３次元画像を構築する複数の２次元画像に対して、ユーザが１枚々マウス等で上記多重エコー部分をドラッグして指定し、この多重エコー部分を削除するようにしていた。このため、上記従来の超音波画像処理装置は、上記多重エコー部分の削除を行う操作が煩雑であり、時間が掛かっていた。
【０００６】
本発明は、上述した点に鑑みてなされたもので、簡単な操作で多重エコー部分を削除可能な超音波画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため本発明の超音波画像処理装置は、超音波を送受波する超音波振動子において得られた超音波エコー信号を用いて検査対象物の超音波画像を生成する超音波画像処理装置において、前記超音波エコー信号の分布状態を検出する分布状態検出手段と、前記分布状態検出手段において検出した前記超音波エコー信号の分布状態に基づいて、前記超音波振動子の超音波放射位置である音線中心からの距離であって所定の音線の輝度値が所定の条件を満たす場合の距離を決定すると共に、当該距離以内を多重エコー部分を削除するためのマスク範囲として設定するマスク範囲設定手段と、を具備し、前記所定の音線の輝度値が所定の条件を満たす場合の距離とは、当該所定の音線が輝度値が極小値をとる際の距離であり、前記マスク範囲設定手段は、当該極小値の距離以内を多重エコー部分を削除するためのマスク範囲として設定することを特徴とする。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１ないし図１３は本発明の第１の実施の形態に係り、図１は第１の実施の形態を備えた超音波診断装置の全体構成を示し、図２は図１の超音波診断装置における３Ｄ表示処理のフローチャートを示し、図３は２次元画像と３次元画像を得るための超音波走査の様子を示し、図４は図３の動作からラジアル画像等が得られる様子を示し、図５は多重エコーが除去される前後のラジアル画像及び垂直リニア画像の画像例を示し、図５（Ａ）は多重エコーが表示されているラジアル画像及び垂直リニア画像の画像例を示し、図５（Ｂ）は多重エコーが除去された後のラジアル画像及び垂直リニア画像の画像例を示し、図６はラジアル画像上のハンドルをドラッグして画像を回転させて表示した画像例を示し、図７は４つの表示エリアに２次元画像と立体画像を同時に表示した表示例を示し、図８はマウスの操作により表示角度を変更して立体画像を表示する動作説明図を示し、図９は多重エコーマスク処理のフローチャートを示し、図１０は図５（Ａ）に示すラジアル画像の１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図１１はラジアル画像を構成する全ての音線データに対して、音線中心から半径ｒの円をマスク範囲として設定する際の概略図を示し、図１２は図９の変形例を示す多重エコーマスク処理のフローチャートを示し、図１３はラジアル画像を構成する全ての音線データに対して、音線中心からｒ〔ｎ〕で形成される多角形をマスク範囲として設定する際の概略図を示す。
【０００９】
図１に示すように本発明の第１の実施の形態を備えた超音波診断装置１は、超音波の送受波を行う超音波プローブ２と、この超音波プローブ２と接続され、超音波プローブ２により得られるエコー信号に対して信号処理して超音波断層像の表示を行う超音波観測装置３と、この超音波観測装置３で得られたエコーデータを基に各種画像処理を行う超音波画像処理装置本体（以下、画像処理装置本体と略記））４と、この画像処理装置本体４と接続され、超音波断層像及び立体画像を表示するモニタ５とを有している。
【００１０】
超音波プローブ２は、細長のプローブ挿入部６を有して構成されている。プローブ挿入部６は、この先端側に超音波を送受波する超音波振動子７が内蔵されている。この超音波振動子７は、プローブ挿入部６内に挿通されたフレキシブルシャフト８の先端に取り付けられている。また、超音波プローブ２は、プローブ挿入部６の後端の把持部内に駆動部９が内蔵されている。超音波プローブ２は、駆動部９を構成する図示しない第１モータを回転することで、超音波振動子７が回転駆動され、この超音波振動子７からの超音波を放射状に順次出射するようになっている。更に、超音波プローブ２は、駆動部９を構成する図示しない第２モータを回転することで、フレキシブルシャフト８がプローブ挿入部６の軸方向（長手方向で例えばＺ軸方向とする）に進退動され、従って超音波振動子７により出射される超音波をＺ軸方向にリニア走査することができる。
【００１１】
また、画像処理装置本体４は、超音波観測装置３とケーブル１１により接続されている。画像処理装置本体４は、ケーブル１１と接続されるネットワークインタフェース（Ｉ／Ｆと略記）１２と、断層像（２次元画像）及び立体画像（３次元画像）を生成する画像処理や、画像を回転して表示する等の画像処理を行うＣＰＵ１３と、ＣＰＵ１３により画像処理のワークエリアとして使用されたり、画像処理に必要なデータの一時格納などに利用されるメモリ１４と、ＣＰＵ１３が行う画像処理のプログラムデータや画像データが記録されるハードディスク装置（ＨＤＤと略記）１５と、モニタ５に表示される画像データが一時格納されるフレームメモリ１６と、画像データ等を記録する大容量の記録手段としてのＤＶＤ−ＲＡＭ）１７及び光磁気ディスク装置（ＭＯＤと略記）１８とのＩ／ＦとしてのスカジＩ／Ｓ（ＳＣＳＩＩ／Ｆと略記）１９と、モニタ５に表示される立体画像の視野角を変えて表示させる指示入力を行うポインティングデバイスとしてのマウス２１及び患者データの入力等を行うキーボード２２とのＩ／Ｆとしての入力デバイスＩ／Ｆ２３とを内蔵して構成されている。これらネットワークＩ／Ｆ１２、ＣＰＵ１３、メモリ１４、ＨＤＤ１５、フレームメモリ１６、ＳＣＳＩＩ／Ｆ１８、入力デバイスＩ／Ｆ２１は、バス２４により接続され、データを転送可能になっている。尚、ＤＶＤ−ＲＡＭ１７及びＭＯＤ１８は、ＵＳＢやイーサネット（登録商標）を介して接続しても良い。
また、画像処理装置本体４と、モニタ５と、ＤＶＤ−ＲＡＭ１７と、ＭＯＤ１８と、マウス２１及びキーボード２２とは、画像処理装置を構成される。
尚、本実施の形態では、ＨＤＤ１５に格納されるプログラムは、例えばＭＯＤ１８に着脱される光磁気ディスク（ＭＯと略記）２５に格納された状態で販売されるようになっている。このＭＯ２５は、ＭＯＤ１８に挿入され、格納されたプログラムをインストールする作業により、ＨＤＤ１５にそのプログラムが実行形式で格納されるようになる。
【００１２】
また、ＨＤＤ１５に格納されるプログラムは、ＭＯ２５の代わりに、ＣＤ−ＲＯＭ等の他の記録媒体にプログラムを格納して販売しても良い。これらプログラムをインストールした後、ＣＰＵ１３は、ＨＤＤ１５からプログラムを読み出してそのプログラムに沿った処理を行うようになっている。
【００１３】
上述のように駆動部９は、第１モータと第２モータとを設けてある。従って、超音波診断装置１は、図２のフローチャートに示すように第１モータと第２モータとを同期させて同時に回転駆動させることで、超音波プローブ２が超音波をスパイラル状に出射して３次元領域を走査（ヘリカルスキャン）し、超音波観測装置３がＺ軸方向の座標位置が少しづつ異なる断層像を多数得ることができ、これらの断層像から画像処理装置本体４のＣＰＵ１３が立体画像を構築することができる。
【００１４】
図２に示すように超音波診断装置１は、先ず、ヘリカルデータを取り込む（ステップＳ１）。図３はその概略の動作を示す。超音波プローブ２は、プローブ挿入部６内の（フレキシブルシャフト８の先端の）超音波振動子７をＺ方向に移動させながら回転駆動して超音波を送受波することで、プローブ挿入部６の軸方向（つまりＺ軸方向）にほぼ垂直な断面の２次元超音波画像（以下、ラジアル画像と記す）Ｇｒを得る。
【００１５】
超音波振動子７は、Ｚ方向にＰａからＰｂの位置まで、所定のピッチ単位でリニア状に移動される。その結果、画像処理装置本体４は、超音波観測装置３を経てＨＤＤ１５に番号Ｎ１からＮｎ番目までの、所定のピッチ毎のラジアル画像Ｇｒが格納される。
得られたラジアル画像Ｇｒは、メモリ１４に転送され、そのメモリ空間に図４の如く格納される。これら所定ピッチで連続して得た複数枚のラジアル画像Ｇｒは、擬似的な立体画像Ｇｓを生成するのに用いられる。
【００１６】
ユーザは、Ｖｉｅｗ切替ボタン（図７の符号Ｂｂ）のＤＰＲ（Dual Plane Reconstruction ：２画面構築）ボタンを操作して、ラジアル画像Ｇｒと、このラジアル画像を縦方向に割った垂直リニア画像Ｇｖｌとから構成されるＤＰＲ画像を選択表示させる（ステップＳ２）。
すると、メモリ１４は、このメモリ空間からラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌの形式でデータが読み出される。そして、読み出されたデータは、フレームメモリ１６に転送されてモニタ５に出力されることで、図５（ａ）に示すようにラジアル画像Ｇｒ及びリニア画像Ｇｖｌがモニタ５に表示されるようになっている。
【００１７】
ここで、図５（Ａ）に示すラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌは、超音波プローブ２の内外で多重反射される多重エコーが表示されている。そこで、これらラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌは、図５（Ｂ）に示すように多重エコー部分を除去する操作が行われる（ステップＳ３）。
本実施の形態では、後述するように簡単な操作でラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌに表示される多重エコー部分を削除可能に構成している。
【００１８】
その後、図５（Ｂ）に示すラジアル画像Ｇｒは、その画像上のハンドルをドラッグして、４５°程度イメージローテーションする操作が行われ、図６に示すように回転される（ステップＳ４）。上記多重エコー除去及びイメージローテーションの操作は、立体画像Ｇｓを生成するのに必要な一連の画像データセットの画像に適用される。
【００１９】
従って、画像処理装置本体４は、一連の画像から多重エコーが除去されると共に、イメージローテーションされた画像が生成され、モニタ５に表示されている画像においても多重エコーが除去されてイメージローテーションされた画像が表示されるようになっている。
次に、ユーザは、Ｖｉｅｗ切替ボタン（図７の符号Ｂｂ）の立体画像（図面では３Ｄ画像と略記）ボタンを操作して、立体画像Ｇｓを選択表示させる（ステップＳ５）。
すると、画像処理装置本体４は、例えば図７に示すようにモニタ５の表示部に４つの画像表示エリア（具体的には、ラジアル画像表示エリア、垂直リニア画像表示エリア、水平リニア画像表示エリア、立体画像表示エリア）にそれぞれ画像ラジアル画像Ｇｒ、垂直リニア画像Ｇｖｌ、（右側から見た）水平リニア画像Ｇｈｌ、立体画像Ｇｓとを表示させる（ステップＳ６）。
【００２０】
この場合、画像処理装置本体４は、ラジアル画像Ｇｒ上に設定したカットラインＹ１、Ｘ１をマウスでドラッグして移動されると、それに対応して垂直リニア画像Ｇｖｌと、水平リニア画像Ｇｈｌとを更新してモニタ５のそれぞれのエリアに表示するようになっている。つまり、モニタ５は、ラジアル画像Ｇｒに表示されたカットラインＹ１の位置に対応した垂直リニア画像Ｇｖｌが垂直リニア画像表示エリアに表示され、カットラインＸ１の位置に対応した水平リニア画像Ｇｈｌが水平リニア画像表示エリアに表示される。
【００２１】
また、立体画像表示エリアは、カットラインＹ１、Ｘ１に対応した切断面Ｍ１，Ｍ２で立体画像Ｇｓが表示される。
ここで、画像処理装置本体４は、垂直リニア画像Ｇｖｌ上で、或いは水平リニア画像Ｇｈｌ上で、カットラインＺ１をドラッグして移動されると、ラジアル画像Ｇｒ及び立体画像Ｇｓの手前側のラジアル画像部分を更新し、ラジアル画像Ｇｒをラジアル画像表示エリアに表示すると共に、立体画像Ｇｓを立体画像表示エリアに表示させる。
【００２２】
一方、画像処理装置本体４は、垂直リニア画像Ｇｖｌ上で、或いは水平リニア画像Ｇｈｌ上で、カットラインＺ２をドラッグして移動されると、立体画像Ｇｓの奥側のラジアル画像部分を更新し、ラジアル画像Ｇｒをラジアル画像表示エリアに表示すると共に、立体画像Ｇｓを立体画像表示エリアに表示させる。
【００２３】
このように処理装置本体４は、カットラインＹ１，Ｘ１や切断面Ｍ１、Ｍ２は、ユーザの操作で位置を変更することが可能であり、変更された位置に対応したラジアル画像Ｇｒ、リニア画像Ｇｖｌ、Ｇｈｌ、立体画像Ｇｓが表示される。
尚、選択されている画像、図７の場合、ラジアル画像の縮小画像（サムネイル画像）は、右上の操作ウィンドウに表示されるようになっている。また、立体画像Ｇｓは、立体の頂点を視野角変更の指示手段としてのマウス２１でドラッグすることにより、画像表示の視野角を変更して表示できるようにしている。
【００２４】
図７の立体画像Ｇｓは、立体画像を構成する３つの頂点位置のいずれかにユーザがマウスカーソルを近づけると、図８に示すように丸印で表されるハンドルが選択されて自動的に表示される。また、図８に示す立体画像Ｇｓは、選択された場合、例えば左上には表示操作ボタンＢが表示される。
【００２５】
そして、ユーザは、マウス２１にてマウスカーソルをハンドルに重ねる。すると、マウスカーソルが重なったハンドルは、｜から●等に選択された選択状態に変化する。そして、ユーザは、画像を回転させるためにマウス２１を左クリックしてドラッグし、ハンドルを回転させる。
すると、立体画像Ｇｓは、このハンドルで回転される操作量に応じて、逐次回転するようになっている。尚、立体画像Ｇｓは、表示操作ボタンＢのいずれかのステップボタンをマウス２１によりクリックして回転させることもできる。
【００２６】
このように画像処理装置本体４は、マウス２１の操作で簡単に立体画像Ｇｓを所望とする方向に回転させることができる。
上述した処理は、ユーザの入力指示に従って、画像処理装置本体４のＣＰＵ１３が行っているものである。
【００２７】
また、ＣＰＵ１３は、判別手段及びマスク範囲設定手段とを兼ね、超音波エコー信号の分布状態を判別すると共に、この判別結果に基づき、超音波画像上に表示される多重エコー部分を削除するためのマスク範囲を設定するように構成されている。この場合の作用を図９のフローチャートを参照して説明する。
図９は、多重エコーマスク処理のフローチャートを示している。
【００２８】
先ず、最初のステップＳ１１で、ＣＰＵ１３は、平滑化の処理を行う。このステップＳ１１では、ＣＰＵ１３は、メモリ１４から読み出されたラジアル画像Ｇｒを構成するエコーデータに対し、ノイズを低減するために公知の方法で平滑化する処理を行う。
次に、平滑化されたエコーデータに対し、ステップＳ１２では、ＣＰＵ１３は、１音線データを取り出す処理を行う。
【００２９】
ここで、ラジアル画像Ｇｒは、例えば、数百本の音線と呼ばれる線データで構成され、これら音線のエコー輝度により表される（図１１参照）。
上述した図５（Ａ）に示すラジアル画像Ｇｒは、例えば、図１０に示すように１音線データでのエコー輝度分布で見ると、音線中心から所定距離（ｒ）内に多重エコー部分が現れる。
【００３０】
そこで、本実施の形態では、ＣＰＵ１３は、超音波振動子７の超音波放射位置である音線中心から１音線の輝度値が閾値未満の距離（ｒ）以内を、多重エコー部分を削除するためのマスク範囲として設定するように構成している。
即ち、ステップＳ１３では、ＣＰＵ１３は、取り出した１音線データの音線中心から輝度値が閾値（スレショルド値）未満の距離（ｒ）を探す処理を行う。
【００３１】
そして、ステップＳ１４では、ＣＰＵ１３は、探し出した距離（ｒ）を決定する。次に、ステップＳ１５では、ＣＰＵ１３は、決定した距離（ｒ）を用いて、図１１に示すようにラジアル画像Ｇｒを構成する全ての音線データに対して、音線中心から半径ｒの円をマスク範囲として設定する。
【００３２】
これにより、ステップＳ１６では、ＣＰＵ１３は、設定したマスク範囲内の多重エコー部分を黒で塗りつぶす処理を行い削除することができる。
そして、ステップＳ１７では、ＣＰＵ１３は、立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセットの全てに上記処理を適用する。
【００３３】
これにより、本実施の形態の画像処理装置本体４は、簡単な操作で自動的に多重エコー部分を削除することが可能である。
【００３４】
尚、上記図９に示すフローチャートの処理は、例えば、ユーザがＶｉｅｗ切替ボタンのＤＰＲボタンを操作してＤＰＲ画像を選択表示させた際に、自動的に行われるようにしても良いし、また、メモリ１４にラジアル画像Ｇｒのデータを転送される際に、自動的に行われるようにしても良い。
【００３５】
また、上記図９に示すフローチャートの処理は、取り出した１音線データの音線中心から輝度値が閾値（スレショルド値）未満の距離（ｒ）を探す処理を行うように構成しているが、音線中心から輝度値が曲線上で谷（極小点）となる距離（ｒ）を探す処理を行うように構成しても良い。
【００３６】
また、多重エコーマスク処理は、図１２のフローチャートに示すように構成しても良い。
先ず、最初のステップＳ１１’では、ＣＰＵ１３は、図９のフローチャートと同様に平滑化の処理を行う。
次に、ステップＳ２１では、ＣＰＵ１３は、第１番目の音線としてパラメータｎに１を代入し、ステップＳ２２では第ｎ〔＝１〕番目の音線データを取り出す。次に、ステップＳ２３では、ＣＰＵ１３は、取り出した第ｎ〔＝１〕番目の音線データの音線中心から輝度値が閾値（スレショルド値）未満の距離（ｒ〔ｎ＝１〕）を探す処理を行う。そして、ステップＳ２４では、ＣＰＵ１３は、探し出した距離（ｒ〔ｎ＝１〕）を決定する。
【００３７】
次に、ステップＳ２５では、ＣＰＵ１３は、パラメータｎをｎ＋１に置き換え、ステップＳ２６では、ｎ＞Ｎを比較することで、上記処理（Ｓ２２〜Ｓ２６）を繰り返し、全ての音線データＮに対して距離（ｒ〔ｎ〕）を決定する。そして、ステップＳ２５では、ＣＰＵ１３は、図１３に示すように全ての音線データに対して、音線中心からｒ〔ｎ〕で形成される多角形を生成し、これをマスク範囲として設定する。
【００３８】
これにより、ステップＳ１６’では、ＣＰＵ１３は、設定したマスク範囲内の多重エコー部分を黒で塗りつぶす処理を行い削除することができる。
そして、ステップＳ１７’では、ＣＰＵ１３は、立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセットの全てに上記処理を適用する。
【００３９】
これにより、本変形例の画像処理装置本体４は、上記第１の実施の形態と同様な効果を得ることに加え、更に、マスク範囲を詳細に設定することが可能であり、多重エコー部分の取りこぼしがなくなる。
【００４０】
（第２の実施の形態）
図１４ないし図２０は本発明の第２の実施の形態に係り、図１４は第２の実施の形態の多重エコーマスク処理のフローチャートを示し、図１５は多重エコー部分が生体壁から離れている場合の、１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図１６は多重エコー部分が生体壁に近接している場合のラジアル画像の画像例を示し、図１７は図１６に示すラジアル画像の１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図１８は図１６の状態からトレース範囲を補正してマスク範囲を設定表示した際のラジアル画像の画像例を示し、図１９は図１４の変形例を示す多重エコーマスク処理のフローチャートを示し、図２０は他の画像データセットのフレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ａ）は、第１フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ｂ）は、第２フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ｃ）は、第３フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す。
【００４１】
上記第１の実施の形態は、多重エコー部分が生体壁から離れている場合において、多重エコー部分を削除するためのマスク範囲に設定するように構成しているが、本第２の実施の形態は、多重エコー部分が生体壁に近接している場合において、多重エコー部分を削除するためのマスク範囲に設定するように構成する。それ以外の構成は、上記第１の実施の形態と同様なので説明を省略し、同じ構成には同じ符号を付して説明する。
【００４２】
即ち、本発明の第２の実施の形態の画像処理装置本体は、図１４に示すフローチャートに従って多重エコーマスク処理を行うように構成されている。
図１４に示すように先ず、最初のステップＳ１１’では、ＣＰＵ１３は、上記第１の実施の形態で説明したのと同様に平滑化の処理を行う。
【００４３】
そして、ステップＳ３１では、ラジアル画像Ｇｒに対して、ユーザがマウス等を用いてマスク範囲をトレースする。このとき、ユーザは、マウスをドラッグして多重エコー部分を囲むようにマウスカーソルでトレースし、ドラッグを終了してトレースを確定させる。
【００４４】
ここで、多重エコー部分が生体壁から離れている場合、図１５に示すように１音線データでのエコー輝度分布で見ると、ＣＰＵ１３は、トレース範囲をマスク範囲に設定しても良い。
しかしながら、図１６に示すようにラジアル画像Ｇｒは、多重エコー部分が生体壁に近接している場合がある。この場合、上記処理は、設定したマスク範囲から多重エコー部分を取りこぼしてしまい、多重エコー部分を残してしまう。
【００４５】
図１６に示すラジアル画像Ｇｒは、１音線データで見ると、例えば、図１７に示すように表される。ここで、多重エコー部分と生体壁との境界は、音線中心から輝度値が曲線上で谷（極小点）となる位置である。
【００４６】
そこで、本実施の形態では、ＣＰＵ１３は、音線データの音線中心から輝度値が曲線上で谷（極小点）となる距離を決定することで、トレース近傍において多重エコー部分と生体壁との境界を抽出し、トレースしたマスク範囲を補正するように構成している。
【００４７】
ステップＳ３２では、ユーザがモニタ５に表示される図示しない補正ボタンをマウスでクリックして操作し、以降のステップでＣＰＵ１３が自動的に上記補正処理を行う。
【００４８】
ステップＳ３３で、ＣＰＵ１３は、第１番目の音線としてパラメータｎに１を代入し、ステップＳ３４では第ｎ〔＝１〕番目の音線データを取り出す。
次に、ステップＳ３５では、ＣＰＵ１３は、取り出した第ｎ〔＝１〕番目の音線データの音線中心から輝度値が曲線上で谷（極小点）となる距離を探し、トレース近傍において多重エコー部分と生体壁との境界を抽出する処理を行う。
【００４９】
そして、ステップＳ３６では、ＣＰＵ１３は、第ｎ〔＝１〕番目の音線データにおいて、抽出した境界位置でトレース範囲を補正する。
次に、ステップＳ３７では、ＣＰＵ１３は、パラメータｎをｎ＋１に置き換え、ステップＳ３８では、ｎ＞Ｎを比較することで、上記処理（Ｓ３４〜Ｓ３８）を繰り返し、全ての音線データＮに対してトレース範囲を補正する。
【００５０】
そして、ステップＳ３９では、ＣＰＵ１３は、図１８に示すように全ての音線データに対して、トレース範囲を補正したマスク範囲を設定する。
これにより、ステップＳ１６’では、ＣＰＵ１３は、設定したマスク範囲内の多重エコー部分を黒で塗りつぶす処理を行い削除することができる。
【００５１】
そして、ステップＳ１７’では、ＣＰＵ１３は、立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセットの全てに上記処理を適用する。
【００５２】
これにより、本第２の実施の形態の画像処理装置本体４は、上記第１の実施の形態と同様な効果を得ることに加え、多重エコー部分が生体壁に近接している場合もマスク範囲を詳細に設定することが可能であり、多重エコー部分の取りこぼしがなくなる。
【００５３】
また、多重エコーマスク処理は、図１９のフローチャートに示すように構成しても良い。
図１９に示す多重エコーマスク処理は、ステップＳ３５’の取り出した第ｎ〔＝１〕番目の音線データによる、トレース近傍において多重エコー部分と生体壁との境界を抽出する処理を行うところまでは上記第２の実施の形態と同様である。
【００５４】
そして、ステップＳ４１では、ＣＰＵ１３は、他の（画像データセットの）フレームの同じ第ｎ〔＝１〕番目の音線においてもステップＳ３５’と同様に、トレース近傍において多重エコー部分と生体壁との境界を抽出する処理を行う。
【００５５】
ここで、ラジアル画像Ｇｒは、他の（画像データセットの）フレームを１音線データで見ると、例えば、図２０に示すように表される。
図２０（Ａ）は、第１フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ｂ）は、第２フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示し、図２０（Ｃ）は、第３フレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示している。
【００５６】
本変形例は、これら（立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセット）の全てのフレームにおいて、ＣＰＵ１３は、ステップＳ４２で多重エコー部分と生体壁との境界の平均を算出し、この値を第ｎ〔＝１〕番目の音線データの補正値とする。
【００５７】
次に、ステップＳ４２では、ＣＰＵ１３は、パラメータｎをｎ＋１に置き換え、ステップＳ４３では、ｎ＞Ｎを比較することで、上記処理（Ｓ３４’〜Ｓ４３）を繰り返し、全ての音線データＮに対してトレース範囲を補正する。
そして、ステップＳ４では、ＣＰＵ１３は、全ての音線データに対して、トレース範囲を補正したマスク範囲を設定する。
【００５８】
これにより、ステップＳ１６’では、ＣＰＵ１３は、設定したマスク範囲内の多重エコー部分を黒で塗りつぶす処理を行い削除することができる。
そして、ステップＳ１７’では、ＣＰＵ１３は、立体画像Ｇｓを生成するのに必要なラジアル画像Ｇｒ及び垂直リニア画像Ｇｖｌを含む一連の画像データセットの全てに上記処理を適用する。
【００５９】
これにより、本変形例の画像処理装置本体４は、上記第２の実施の形態と同様な効果を得ることに加え、多重エコー部分と生体壁との境界の平均を取っているので、マスク範囲の設定が一度のトレースで済み、より高速化が可能である。
【００６０】
尚、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【００６１】
［付記］
（付記項１） 超音波を送受波し、得られた超音波エコー信号を用いて検査対象物の超音波画像を表示する超音波画像処理装置において、
前記超音波エコー信号の分布状態を判別する判別手段と、
前記判別手段の判別結果に基づき、前記超音波画像上に表示される多重エコー部分を削除するためのマスク範囲を設定するマスク範囲設定手段と、
を設けたことを特徴とする超音波画像処理装置。
【００６２】
（付記項２） 前記超音波画像上で前記マスク範囲をトレースするトレース手段を有し、
前記マスク範囲設定手段は、前記トレース手段のトレース近傍で前記多重エコー部分と前記検査対象物との境界を抽出する境界抽出手段と、この境界抽出手段で抽出した境界にて前記トレース手段でトレースした前記マスク範囲を補正する補正手段と、を具備したことを特徴とする付記項１に記載の超音波画像処理装置。
【００６３】
（付記項３） 前記判別手段は、前記超音波エコー信号の音線中心から輝度値が所定値以下となる所定範囲を判別することを特徴とする付記項１に記載の超音波画像処理装置。
【００６４】
（付記項４） 前記判別手段は、前記超音波エコー信号の音線中心から輝度値が極小点となる所定範囲を判別することを特徴とする付記項１に記載の超音波画像処理装置。
【００６５】
（付記項５） 前記境界抽出手段は、前記超音波エコー信号の音線中心から輝度値が極小点となる距離を決定することで、前記トレース手段のトレース近傍で多重エコー部分と検査対象物との境界を抽出することを特徴とする付記項２に記載の超音波画像処理装置。
【００６６】
【発明の効果】
以上説明したように本発明によれば、簡単な操作で多重エコー部分を削除可能な超音波画像処理装置を実現できる。
【図面の簡単な説明】
【図１】本発明の１実施の形態を備えた超音波診断装置の全体構成を示すブロック図。
【図２】図１の超音波診断装置における３Ｄ表示処理のフローチャート図。
【図３】２次元画像と３次元画像を得るための超音波走査の様子を示す説明図。
【図４】図２の動作からラジアル画像等が得られる様子を示す図。
【図５】多重エコーが除去される前後の画像例を示す図。
【図６】ラジアル画像上のハンドルをドラッグして画像を回転させて表示した画像例を示す図。
【図７】４つの表示エリアに２次元画像と立体画像を同時に表示した表示例を示す図。
【図８】マウスの操作により表示角度を変更して表示する処理を示す動作説明図。
【図９】多重エコーマスク処理のフローチャート図。
【図１０】図５（Ａ）に示すラジアル画像の１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す図。
【図１１】ラジアル画像を構成する全ての音線データに対して、音線中心から半径ｒの円をマスク範囲として設定する際の概略図。
【図１２】図９の変形例を示す多重エコーマスク処理のフローチャート図。
【図１３】ラジアル画像を構成する全ての音線データに対して、音線中心からｒ〔ｎ〕で形成される多角形をマスク範囲として設定する際の概略図。
【図１４】第２の実施の形態の多重エコーマスク処理のフローチャート図。
【図１５】多重エコー部分が生体壁から離れている場合の、１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す図。
【図１６】多重エコー部分が生体壁に近接している場合のラジアル画像の画像例を示す図。
【図１７】図１６に示すラジアル画像の１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す図。
【図１８】図１６の状態からトレース範囲を補正してマスク範囲を設定表示した際のラジアル画像の画像例を示す図。
【図１９】図１４の変形例を示す多重エコーマスク処理のフローチャート図。
【図２０】他の画像データセットのフレームの１音線データにおける、音線中心からの距離に対するエコー輝度分布を表すグラフを示す図。
【符号の説明】
１…超音波診断装置
２…超音波プローブ
３…超音波観測装置
４…画像処理装置本体
５…モニタ
６…プローブ挿入部
７…超音波振動子
８…フレキシブルシャフト
９…駆動部
１３…ＣＰＵ
１４…メモリ
１５…ＨＤＤ
１６…フレームメモリ
１７…ＤＶＤ−ＲＡＭ
１８…ＭＯＤ
１９…ＳＣＳＩＩ／Ｆ
２１…マウス
２２…キーボード
２５…ＭＯ
Claims (1)
- 超音波を送受波する超音波振動子において得られた超音波エコー信号を用いて検査対象物の超音波画像を生成する超音波画像処理装置において、
前記超音波エコー信号の分布状態を検出する分布状態検出手段と、
前記分布状態検出手段において検出した前記超音波エコー信号の分布状態に基づいて、前記超音波振動子の超音波放射位置である音線中心からの距離であって所定の音線の輝度値が所定の条件を満たす場合の距離を決定すると共に、当該距離以内を多重エコー部分を削除するためのマスク範囲として設定するマスク範囲設定手段と、
を具備し、
前記所定の音線の輝度値が所定の条件を満たす場合の距離とは、当該所定の音線が輝度値が極小値をとる際の距離であり、前記マスク範囲設定手段は、当該極小値の距離以内を多重エコー部分を削除するためのマスク範囲として設定することを特徴とする超音波画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002136333A JP3905419B2 (ja) | 2002-05-10 | 2002-05-10 | 超音波画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002136333A JP3905419B2 (ja) | 2002-05-10 | 2002-05-10 | 超音波画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003325525A JP2003325525A (ja) | 2003-11-18 |
| JP3905419B2 true JP3905419B2 (ja) | 2007-04-18 |
Family
ID=29698372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002136333A Expired - Fee Related JP3905419B2 (ja) | 2002-05-10 | 2002-05-10 | 超音波画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3905419B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006130162A (ja) * | 2004-11-08 | 2006-05-25 | Olympus Corp | 超音波診断装置 |
| JP5481261B2 (ja) * | 2010-04-06 | 2014-04-23 | 株式会社東芝 | 超音波診断装置及び多重検出プログラム |
| KR101538658B1 (ko) | 2012-11-20 | 2015-07-22 | 삼성메디슨 주식회사 | 의료 영상 표시 방법 및 장치 |
-
2002
- 2002-05-10 JP JP2002136333A patent/JP3905419B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003325525A (ja) | 2003-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105407811B (zh) | 用于超声图像的3d获取的方法和系统 | |
| US7697779B2 (en) | Ultrasonic image processing apparatus | |
| JP5926263B2 (ja) | 医用画像検索のための装置及び方法 | |
| JP6382050B2 (ja) | 医用画像診断装置、画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2016530043A (ja) | 血管内超音波撮像システムを使用して画像を選択し表示するためのシステム | |
| CN104994792A (zh) | 超声波诊断装置以及医用图像处理装置 | |
| JP2001340336A (ja) | 超音波診断装置及び超音波診断方法 | |
| US20200334818A1 (en) | Medical image processing apparatus | |
| JP4468677B2 (ja) | 超音波画像生成方法及び超音波画像生成プログラム | |
| CN102573653B (zh) | 超声波诊断装置、超声波图像处理装置以及超声波图像处理方法 | |
| JP2006507051A (ja) | 体積画像のシーケンスを視覚化する方法及び装置 | |
| JP5630967B2 (ja) | 画像処理装置及びその制御方法 | |
| JP3905419B2 (ja) | 超音波画像処理装置 | |
| JP3283456B2 (ja) | 超音波画像診断装置及び超音波画像処理方法 | |
| JP2019154571A (ja) | 解析装置、及び制御プログラム | |
| US10881379B2 (en) | Method of visualizing a sequence of ultrasound images, computer program product and ultrasound system | |
| JP6411183B2 (ja) | 医用画像診断装置、画像処理装置及び画像処理プログラム | |
| JP2000276550A (ja) | 医療用診断装置及び医療診断用アプリケーションの起動チェック方法 | |
| JP6987558B2 (ja) | 医用処理装置、超音波診断装置および医用処理プログラム | |
| JP2003325511A (ja) | 超音波画像処理装置 | |
| JP2002306482A (ja) | 超音波画像処理装置 | |
| JP4109155B2 (ja) | 超音波画像処理装置 | |
| JP7102181B2 (ja) | 解析装置 | |
| JP2002306481A (ja) | 超音波画像処理装置 | |
| JP7451267B2 (ja) | 装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040528 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070111 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3905419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140119 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |