JP3283456B2 - 超音波画像診断装置及び超音波画像処理方法 - Google Patents
超音波画像診断装置及び超音波画像処理方法Info
- Publication number
- JP3283456B2 JP3283456B2 JP33724497A JP33724497A JP3283456B2 JP 3283456 B2 JP3283456 B2 JP 3283456B2 JP 33724497 A JP33724497 A JP 33724497A JP 33724497 A JP33724497 A JP 33724497A JP 3283456 B2 JP3283456 B2 JP 3283456B2
- Authority
- JP
- Japan
- Prior art keywords
- boundary
- ultrasonic
- image
- processing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Description
波し、得られたエコーデータを用いて、生体内の超音波
断層像の表示を行う超音波画像診断装置及び超音波画像
処理方法に関する。
生体軟部組織の2次元断層像を得ることができ、生体に
対しても安全性が高いことから臨床医学において必要欠
くべからざる装置となっており、広く普及している。
枚の2次元断層像を取得しそれらを3次元的に合成表示
する3次元超音波診断装置が提案されており、生体内部
を立体的に把握可能な装置として普及している。
面積や体積といった定量的な大きさを算出することは、
その変化から病変の進行度や治療経過を推定する上で有
益となっている。従って、病変部等の組織や部位の面積
や体積を算出するための輪郭や境界の抽出法が非常に重
要となっている。
−279156号では、生体の立体的な形状を表現する
ために、エコーデータを3次元表示し、グローシェーデ
ィング法等を用いて体腔表面に陰影付けを行った表面構
築画像データと合成する装置を開示している。これらの
表面構築画像データを得るためにも組織の輪郭等の境界
抽出法は重要である。この境界抽出法は、大別して人為
的な手法によるものと、エコーレベルから自動的に抽出
する方法とが考えられている。
れた断層像上を所望する組織の輪郭に沿って、例えばラ
イトペンでなぞり、そのライトペンの軌跡を輪郭として
抽出する手法である。この時、トラックボールやマウス
等の他のポインティングデバイスを用いて輪郭を抽出す
ることもある。自動的な抽出法として、特開平4−27
9156号ではしきい値処理を行い、ある輝度より大き
いか否かを判断して表面を抽出している。
ーデータのヒストグラムから第1のしきい値を算出し、
前記算出された第1のしきい値より大きなエコー強度を
持つエコーデータのみで形成されるヒストグラムについ
て、第2のしきい値を算出した後に2値化を行うことに
より、表面の境界を抽出している。
クスチャに着目し、抽出したい組織とその周辺組織とを
複数の学習窓で学習させ、その特徴量分布の違いから注
目組織等の境界を抽出している。また、手動と自動の境
界抽出法を組み合わせた手法として、特開平7−246
207号は、操作者が注目組織等の境界上に複数の標本
点を設定し、その標本点を基に、標本点以外の境界点を
自動抽出する手法を提案している。
したように境界抽出された境界データを基に表面構築画
像を作製し、3次元エコーデータと合成して表示してい
る。この3次元超音波診断装置は、生体内の立体的な把
握が可能であることと、境界抽出した2次元断層像から
面積を算出し、これを3次元的に算出積算することで、
病変部等の体積が計測可能であり、有用な装置である。
層像を得る3次元超音波診断装置では、手振れや生体の
拍動の影響により、隣接する超音波断層像間に位置ズレ
が生じる。この位置ズレにより、正確な3次元的表面構
築画像を作製することができず、計測された体積も不正
確な値となる。
開平5−220114号、特開平8−332187号で
は、隣接した超音波断層像間で2次元相互相関関数から
画像間の位置ズレ量を算出し、ズレ分を補正している。
織の境界等を人為的なトレースのみで抽出する場合、ポ
インティングデバイス等を用いて境界を常に正確にトレ
ースする必要があり、多大な労力が必要であった。自動
境界抽出法の場合、特開平4−279156号で開示さ
れている装置では、単純なしきい値処理により境界を決
めているため、ノイズ等の影響を受けやすく、注目して
いる組織や部位の境界を誤抽出する場合が多い。
装置では、画像上のすべての領域について同一処理を行
うため、抽出対象が胎児等の表面ではなく、固まりを形
成している病変部等の境界を抽出する場合には困難を要
す。
る場合、例えば、体腔内超音波内視鏡や体腔内プローブ
による胃等の超音波断層像においては、胃壁が胃構造を
形成していることから幾層もの高エコーや低エコー領域
として描出される。従って、ヒストグラムも多くの組織
を含んだものとなり、注目する組織の境界を抽出するこ
とは、困難を要する。
装置では、病変部と周辺組織が似通ったテクスチャを持
っている場合、また更に、病変部とその周辺の正常組織
との境界は、両者の組織が混在し両者のテクスチャに似
通ったものとなる場合も多いため、境界を判別し難く、
誤抽出する可能性もある。また、境界線はテクスチャを
学習させる学習窓の形状に依存するため、滑らかな境界
を描出することは難しく、複数の学習窓で学習させなけ
ればならないため操作者は多大な労力を必要とする。
る装置では、操作者が注目組織の境界上に複数の標本点
を設定し、その標本点を真の境界点としているため、標
本点を正確に設定する必要がある。従って、設定点がズ
レた場合はズレたまま境界を抽出してしまう。
の影響を受けることなく、更に、誤抽出する可能性も低
く、正確に境界を抽出可能な超音波画像診断装置及び超
音波画像処理方法を提供することである。
出のみで正確な境界抽出を可能とすることから、労力が
低減できることである。
定した境界までも更に正確に自動補正することができる
ことである。
診断装置は、生体へ超音波を送受波し、得られたエコー
データを用いて、前記生体内の超音波断層像の表示を行
う超音波画像診断装置において、前記超音波断層像上の
所望する境界を手動にて連続的に設定する手動境界抽出
手段と、ある開始点から前記手動にて抽出した境界との
交点を求め、開始点と交点とを結ぶ直線上で、交点を内
側に含むある範囲を操作者が設定し、その範囲内の画像
データに対して設けられたしきい値を基準とした境界を
得る境界検出手段と、 前記境界検出手段による境界検出
結果により前記手動境界抽出手段で設定された境界を補
正する境界位置の補正手段と、を設けることにより、操
作者が手動境界抽出手段により手動で所望する組織や表
面等の境界を抽出し、その境界を基準に、操作者の設定
した範囲内で境界検出手段が自動的に境界を検出し、境
界位置の補正手段が前記検出した境界へ自動補正するた
め、ノイズの影響を受けることなく、更に、誤抽出する
可能性も低く、正確に境界を抽出することが可能とな
る。
化させれば、操作者の好みに応じて、そして画像の状態
に応じて適切に境界を抽出することができる。つまり、
自動境界の抽出範囲をゼロとした場合は完全に手動抽出
となり、ある程度の範囲を設定した場合は手動で抽出し
た境界を更に正確な位置へと補正し、範囲を大きく取っ
た場合では、操作者のラフに抽出した境界で正確に境界
を抽出することが可能となる。また、操作者のラフな境
界抽出で正確な境界を抽出ができるため、労力の低減と
なる。本発明による超音波画像処理方法は、生体へ超音
波を送受波し、得られたエコーデータを用いて、前記生
体内の超音波断層像の表示を行う超音波画像診断装置に
おける画像処理方法において、前記超音波断層像上の所
望する境界を手動にて連続的に設定する手動境界抽出工
程と、前記手動境界抽出工程で抽出された境界に対して
放射線状に回転するスキャンラインの原点を設定する原
点設定工程と、境界を自動的に検出する範囲を設定する
検出範囲の設定工程と、前記スキャンライン上の前記境
界検出範囲内の画像データに対してしきい値を基準とし
て境界点を得る工程と、前記境界点を得る工程での境界
点検出結果により、前記手動境界抽出工程で設定された
境界を補正する境界位置の補正工程と、を設けたことを
特徴とするものである。
施の形態を説明する。 (第1の実施の形態)図1から図8までは本発明の第1
の実施の形態に係り、図1は本発明の第1の実施の形態
の超音波画像診断装置の構成を示し、図2は超音波プロ
ーブ先端の簡易構造を示すと共に、ラジアルスキャンと
リニアスキャンとの組合せによるスパイラルスキャンの
説明図を示し、図3はスパイラルスキャンにより得られ
る複数の断層像データを示し、図4は演算処理プロセッ
サが行う一連の処理内容のフローチャートを示し、図5
は境界抽出の詳細な処理内容のフローチャートを示し、
図6はトラックボールにより注目組織の輪郭を手動にて
抽出する様子及び境界を抽出するための開始点を示し、
図7は境界抽出の処理内容である2値化と補正された境
界点の様子を示し、図8は3次元構築された画像を示し
ている。
態の超音波画像診断装置1は、超音波を送受信する超音
波振動子25(図2参照)を内蔵した細長の超音波プロ
ーブ2と、この超音波プローブ2の後端に設けられ、超
音波振動子25を回転駆動等する駆動部3と、この超音
波プローブ2を用いて超音波観測のための超音波断層像
の表示等を行う超音波観測部4と、超音波観測部4で得
られた超音波エコーデータに画像処理を行う画像処理部
5とを有する。
音波断層像のリアルタイム表示を行う。画像処理部5
は、超音波観測部4で得られたエコーデータをもとに3
次元画像表示のための画像処理及び面積や体積等の計測
処理を行う。
号を印加して超音波の送信を行わせ、生体内で反射され
た超音波エコーを受信して超音波振動子で変換された電
気信号を増幅し、対数圧縮及び検波を行う送受信部6
と、検波されたアナログ信号をデジタル信号へ変換する
A/D変換器7と、1枚の断層像を形成するために必要
なデジタルエコーデータを記憶するフレームメモリ8
と、エコーデータが超音波振動子の回転角度、距離で表
される極座標形式のため、直交座標形式に座標変換する
デジタルスキャンコンバータ(DSCと略記)9と、D
SC9が出力する断層像データをアナログ信号へ変換す
るD/A変換器10と、D/A変換器10の出力画像信
号を入力してリアルタイム表示を行う観測用のモニタ1
1と、駆動部3、送受信部6、フレームメモリ8、DS
C9等の各部の制御を行うシステムコントローラ12と
で構成されている。
CPU13と、CPU13が行う制御を後述する演算処
理プロセッサ16が行う各種の処理プログラム等を記憶
する主記憶装置14と、超音波観測部4からの連続した
複数の断層像データ、即ち3次元エコーデータを記憶す
る3次元データ記憶装置15と、3次元データ記憶装置
15に記憶された3次元エコーデータをもとに、組織境
界の自動抽出或いは手動で抽出した境界の自動補正、3
次元表面構築、面積及び体積の計測処理等の各種画像処
理を高速に行うための演算処理プロセッサ16と、演算
処理プロセッサ16の処理結果を記憶する3次元処理メ
モリ17と、制御プログラム及びバックアップデータ等
の情報を記憶するハードディスク等からなる外部記憶装
置18と、キーボード等の操作用端末19と、演算処理
プロセッサ16が行う処理に必要な点を設定するため
に、また手動で境界を抽出する手動境界抽出手段として
用いるトラックボール等のポインティングデバイス20
と、画像処理後のデータを一時記憶するフレームバッフ
ァ21と、フレームバッファ21の出力画像信号をアナ
ログ信号に変換するD/A変換器22と、D/A変換器
22の出力画像信号を入力して画像処理後の3次元画像
の表示を行うモニタ23とで構成されており、画像処理
部5の各部は、データ転送バス24を通じて各種命令や
データの送受を行っている。
超音波を送受して得られた3次元エコーデータから、後
述するように画像処理部5の演算処理プロセッサ16及
びポインティングデバイス20等で所望する組織の境界
を抽出し、3次元画像を構築する構成にしたことを特徴
としている。
音波を送受して得られた3次元エコーデータをモニタ2
3に表示し、そのデータに対して手動境界抽出手段とし
てのポインティングデバイス20を手動で操作して境界
位置をカーソルの移動でトレースするようにして境界を
抽出し、その後に手動で抽出した境界に対し、その境界
を含む検出範囲を指定して、その検出範囲内でしきい値
を基準にして境界を自動的に補正する自動補正を行う自
動境界補正手段とを設けていることを特徴としている。
の先端側を示し、超音波の送受信を行う超音波振動子2
5と、超音波振動子25を回転及び進退移動させるため
の回転伝達手段及び移動手段を構成するフレキシブルシ
ャフト26と、これらの超音波振動子25及びフレキシ
ブルシャフト26は円筒状で半透明の可撓性シース27
の内部に挿通されている。
の流動媒体が満たされており、この流動媒体は潤滑剤及
び超音波伝達媒体として機能する。また、この可撓性シ
ース27の少なくとも先端側は超音波を透過する材質で
作られている。
ーブ2の作用を説明する。超音波観測を行う際は、超音
波プローブ2を体腔内に挿入し、駆動部3が超音波プロ
ーブ2内のフレキシブルシャフト26を回転させる。
に取り付けた超音波振動子25が回転し、超音波プロー
ブ2の軸方向(長手方向)に垂直な方向へ放射状に超音
波を送信すると共に、体腔内各部で反射された超音波エ
コーを受信する。超音波振動子25は図2(A)に示す
ようにラジアル状にスキャンする。
6を超音波プローブ2の軸方向に一定のピッチで進退さ
せる。これより、超音波振動子25は図2(B)に示す
ように超音波プローブ2の挿入方向へリニア状にスキャ
ンする。
ャンと図2(B)に示すリニアスキャンとを組み合わせ
た図2(C)に示すスパイラルスキャン(3次元スキャ
ン)を行うことができ、生体の3次元空間のエコー信号
を得ることができる。
内のシステムコントロール12の送信開始信号をトリガ
として、送受信部6から高周波パルスを発生し、超音波
振動子25に印加して超音波を励振させ、超音波振動子
25からその超音波が送信されると共に、反射された超
音波エコーがこの超音波振動子25で受信され、電気信
号に変換されて受信信号、つまりエコー信号となる。
イラルスキャンを行っているため、送受信部6は複数の
断層像のエコー信号を得る。得られたエコー信号は、送
受信部6内の増幅器で増幅され、対数圧縮及び検波され
た後、A/D変換器7でデジタル信号に変換される。そ
して、1枚の超音波断層像を構成するのに必要なエコー
データは、フレームメモリ8に記憶される。
直交座標形式で表現される断層像データにDSC9で座
標変換され、そして補間される。その後、断層像データ
は、D/A変換器10を経てモニタ11にリアルタイム
の超音波断層像として表示される。超音波プローブ2が
スパイラルスキャンを繰り返すことにより、連続した複
数の超音波断層像が順次、観測モニタ11に表示され
る。
層像データ間ピッチ等の付帯データと共にDSC9の後
段から画像処理部5へ送られる。こうして、図3に示す
ように超音波プローブ2のスパイラルスキャンによって
得られた連続した複数の断層像データ、即ち3次元デー
タが画像処理部5へ送られる。なお、図3では複数の断
層像データを各フレーム単位で順次番号付け、具体的に
は画像番号No.0,No.1,…,No.Nのように
番号付けしている。
記憶装置15に記憶される。そして、演算処理プロセッ
サ16により、3次元エコーデータから、注目する組織
部分、或いは組織表面等の注目組織の境界抽出処理、合
成、陰面消去、陰影付加、座標変換、また面積や体積の
計測等の各種画像処理が行われる。演算処理プロセッサ
の処理結果は、3次元画像データとして、3次元処理メ
モリ17に記憶される。演算処理プロセッサ16が行う
処理の詳細は後述する。
へ送られ一時記憶され、D/A変換器22を経て画像処
理部5のモニタ23へ送出される。そして、このモニタ
23上に3次元画像及びその画像処理結果が表示され
る。なお、前記の演算処理プロセッサ16による各種画
像処理はCPU13によって制御されるようになってい
る。
処理の詳細を説明する。図4は前記処理プロセッサ16
が行う処理内容のフローチャートである。図4に示すよ
うに最初のステップS1の境界抽出の処理を行う。つま
り、このステップS1では、所望する組織や表面の境界
を抽出する境界抽出の処理を行う。境界抽出の処理の詳
細内容を図5に示すフローチャートで説明する。以下に
詳細を説明する。
元エコーデータの読み出しの処理を行う。つまり、3次
元データ記憶装置15から3次元画像データを読み出
す。説明の都合上、この3次元画像データを構成する各
断層像データは、スパイラルスキャンより得られた順番
ごとに、図3に示すようなNo.0からNo.Nまでの
画像番号が付されているとする。
を行う。このステップS12では、3次元データ記憶装
置15から読み出された3次元画像データに対し、注目
組織の境界抽出する際に、境界の誤抽出の原因となるノ
イズを低減するために、断層像データを公知の方法で平
滑化する処理を行う。
表示の処理を行う。このステップS13では最初の断層
像データ、つまり画像番号No.0の断層像データを超
音波断層像として画像処理部5のモニタ23上に表示す
る。この断層像データを図6に示す。なお、図6では実
際の境界が実線で示してあるが、ステップS13の処理
段階では階調のある断層像データが表示されることにな
る。
グデバイスを用いた手動境界抽出の処理を行う。このス
テップS14では、画像処理部5のモニタ23上に表示
された超音波断層像の所望する組織や表面等の境界をポ
インティングデバイス20等でトレースして境界を抽出
する。この抽出した結果を図6内に点線で表す。
がポインティングデバイス20等でトレースして抽出し
た点線で示す境界が実際の境界からずれていても、後述
の境界位置の補正処理により、補正することができる。
の処理を行う。このステップS15では、境界抽出時に
使用するスキャンラインを放射状に回転させるために、
スキャンラインの原点(開始点)を設定する。図6で
は、前記スキャンラインの開始点を超音波画像(断層像
データ)の中心に設定した場合について示している。
定の処理を行う。このステップS16では、境界を自動
的に検出して補正する検出範囲を設定する。この場合、
図6に示すようにノイズが存在する場合には、このノイ
ズが検出範囲内に含まれないように、画像状態に応じて
検出範囲を設定すると良い。例えば、ノイズが境界に近
い位置に存在する場合にはノイズが検出範囲に含まれな
いように狭く設定して誤検出を防止し、ノイズが境界か
ら離れた位置に存在する場合には検出範囲を広くして手
動による境界位置抽出をラフに行った場合にも、大きな
ズレをノイズに影響されることなく補正できるようにし
ても良い。
ンの放射状に放射する処理を行う。また、次回のルーチ
ンでは、前記スキャンラインを一定角度で回転させたス
キャンラインについて以下の処理を繰り返す。
ン上の交点数及び交点座標算出の処理を行う。このステ
ップS18では、前のステップS17のスキャンライン
とステップS14にて抽出された境界との交点数及び交
点の座標を算出する。
の判断を行う処理を行う。このステップS19では、前
のステップS18にて算出された交点の数がゼロか否か
を判定する。図6では管腔内を開始点としているため常
に交点が存在するが、固まりを形成している組織の境界
抽出を試みる場合や管腔外を開始点とした場合では、交
点が存在するスキャンラインと存在しないスキャンライ
ンがでてくる。従って、交点が存在する場合は以後の境
界抽出の処理を行い、交点がゼロの時、つまり交点が存
在しない場合は境界抽出の処理を行わずにステップS2
4へとジャンプする。
ン上の境界の検出範囲内の2値化の処理を行う。このス
テップS20では、ステップS18で算出された交点座
標を中心とし、ステップS16で設定されたスキャンラ
イン上の境界検出範囲内の画像データに対してしきい値
で2値化処理を行う。交点を中心としたスキャンライン
上の断層像データを図7(A)に示し、ステップS20
にて2値化処理された結果を図7(B)に示す。
た交点座標を中心としてスキャンライン上の開始点側及
びその反対側に対し、ステップS16で設定される検出
範囲内のデータはしきい値で2値化されて図7(B)に
示すように2値化処理結果のデータが得られる。
略の境界位置を設定することにより、この設定後におけ
る2値化処理により、しきい値を基準とした真の境界点
が得られるようにしている(後述のステップS22でこ
の境界点に補正される)。
れたか否かの判断を行う。このステップS21では、前
のステップS20の2値化処理により変化点(具体的に
はしきい値未満からしきい値を越える点)として表され
る境界が存在するか否かを判定する。境界が検出された
場合はステップS22へと進み、検出できない場合はス
テップS23へと進む。
正の処理を行う。このステップS22では、前のステッ
プS21において変化点、つまり境界点が検出された場
合に実行され、手動で抽出された境界点をステップS2
1によって検出された境界へと自動的に補正する。例え
ば図7(A)の場合には図7(B)のように変化点が検
出され、この場合には手動で抽出された境界点は真の境
界点に自動的に補正される。
い場合はステップS22が実行されずに次のステップS
23へと移るため、手動で抽出された境界がそのまま境
界点となる。この場合の例を図7(C)に示す。例え
ば、検出範囲のデータに対してしきい値で2値化した場
合に、しきい値未満(2値化のデータが“L”のみ)で
あった場合には、手動で抽出された交点座標が境界点と
なる。
化点が多数検出された場合は、手動抽出点に最も近い変
化点を真の境界とする。
て終了したか否かの判断を行う。このステップS23で
は、上記ステップS18にて算出された全ての交点につ
いて前記処理が行われたか否かを判定している。全ての
交点について前記処理が行われていない場合は、次の交
点についてステップS20以降の処理を繰り返す。全て
の交点について処理された場合はステップS24へ移動
する。
ラインNo.nまで終了か否かの判断を行う。つまりこ
のステップS24では、スキャンライン全てにおいて前
記処理が終了したかを判定する。
ない場合は、ステップS17へと移動し、設定された開
始点を中心として一定角度回転されたスキャンラインに
ついて前記処理を行う。全てのスキャンラインについて
終了した場合は、画像番号No.0の断層像データにつ
いて、境界検出の処理が終了する。
に断層像データに重ねて表示され、操作者は抽出された
境界の良否を判定する。否となればパラメータの値を設
定し直して、再度、前記境界抽出の処理を行う。このよ
うにして境界が正しく設定されない場合でも、パラメー
タの値を種々に設定して境界抽出の処理を行うことによ
り画像番号No.0の断層像データについて、正しく境
界が設定されたものが得られる。
までの画像に対し繰り返す。但し、ステップS15の開
始点の設定とステップS16の検出範囲の設定は、前回
のNo.0の設定と同様であるため、新たに入力する必
要はない。
は、抽出した境界を基に3次元処理を行っており、公知
の技術を用いて処理しているため、以下簡単に述べる。
図4に示すステップS2では、前のステップS1で抽出
された境界に対して、断層像データ間の補間処理を行
い、3次元モデルを構築する。構築された3次元モデル
は図1の画像処理部5の3次元処理メモリ17へ格納さ
れる。
5の3次元データ記憶装置15から、階調を有する3次
元画像データが読み出されると共に、前処理で3次元処
理メモリ17に格納されている注目組織の境界からなる
3次元モデルが読み出され、両者が合成される。
S3で合成されたデータに陰面消去、陰影付加、座標変
換等の3次元処理を行い、例えば図8に示すように3次
元画像を構築する。図8では体腔内で管腔の内壁表面を
表示した例を示す。図4に示すステップS5では、この
3次元画像を画像処理部5のモニタ23上に表示する。
郭や境界を抽出するにあたり、手動による大雑把な境界
抽出を基準とするため、ノイズの影響を受け難くし、更
に誤抽出の可能性も低くし、操作者の設定した範囲内で
境界を自動検出して補正するため、正確に所望する境界
を抽出することができる。
を抽出する場合では、操作者が設定する境界検出の範囲
をゼロ近くにすることで、操作者が手動にてトレースし
た軌跡がそのまま境界として扱われる。
が設定する境界の検出範囲を大きくすることにより、手
動によるラフな境界抽出で正確な境界を得ることができ
る。このように、画質に応じて、また操作者の好みに応
じて、柔軟に最適な境界抽出を行うことができる。
像データを2値化して境界を自動補正する場合、しきい
値を抽出しようとする対象組織部分の音響データ(超音
波反射率)等を考慮した値に設定することにより、注目
する組織部分の境界を抽出することができる。
る場合、手動で設定した境界位置を中心としてその両側
(スキャンラインの開始点側及びその反対側)に同じ距
離を設定して検出範囲としたが、これに限定されるもの
でなく、例えばスキャンラインの開始点側では広く、反
対側では狭くするなどするように検出範囲を設定しても
良い。要するに手動で設定した境界位置を内側に含むよ
うに検出範囲を設定すれば良い。
実施の形態を図9ないし図13を参照して説明する。図
9から図13までは本発明の第2の実施の形態に係り、
図9は本発明の第2の実施の形態における演算処理プロ
セッサ16が行う処理内容の境界抽出処理の全体フロー
チャートを示し、図10は最初の画像に対する境界抽出
処理のフローチャートを示し、図11は2枚目以降の画
像に対する境界抽出処理のフローチャートを示し、図1
2は最初の画像上の固まりを形成する組織の境界を抽出
している様子を示し、図13は2枚目以降の画像上の境
界を抽出している様子を示している。
第1の実施の形態と同様であり、その処理手順が異な
る。本実施の形態は、最初の1枚の画像データで注目組
織に対し、第1の実施の形態で説明したように手動によ
り境界抽出及びその境界に対して自動補正を行って境界
を決定した後は、その境界データを隣接する画像データ
においては手動で設定した境界データと見なして隣接す
る画像データの境界抽出の自動補正を行うことを繰り返
すことにより、残りの画像データに対して自動的に全画
像の境界データを算出するようにしたものである。
実施の形態では、図9に示すフローチャートに従って境
界抽出の処理が行われる。
ータ記憶装置15から3次元画像データを読み出し、ス
テップS32で、境界抽出の際に誤抽出の原因となるノ
イズを低減するために、断層像データを公知の方法で平
滑化する。図9に示すステップS33では、断層像デー
タを画像処理部5のモニタ23上に表示する。
界抽出処理を行う断層像データの選択を行う。例えば、
抽出しようとする所望の注目組織が固まりを形成してい
る場合、N+1枚の断層像データ中、真ん中辺りにその
注目組織が位置していることが多いため、モニタ23上
に表示される複数枚の断層像データの内、所望する注目
組織が観察可能な断層像データを選択する。選択した断
層像データの番号をNo.Mとする(0≦M≦N)。図
9に示すステップS35では、選択した最初の断層像デ
ータNo.Mに対して境界抽出処理を行う。この境界抽
出処理のフローチャートを図10に示す。
S51までの処理内容は、第1の実施の形態で述べた図
5のステップS14からステップS24までの処理内容
と同じであり、これらの処理手順により、断層像データ
No.Mの境界抽出データを得ることができる。
ップS35で得られた境界データをステップS33で画
像処理部5のモニタ23上に表示された断層像データN
o.Mに重ねて表示する。
界の良否を判定する。否となれば種々のパラメータを設
定しなおし、再度前記境界抽出処理を行う。図12にN
o.Mの画像データについて境界抽出を行った結果を示
す。
に固まりとして存在する注目組織に対し、ポインティン
グデバイス20で例えば点線で示すように境界抽出を行
い、その後に境界自動補正を行って実線で示す注目組織
の境界を得たものを示している。
像データNo.(M+1)が画像処理部5のモニタ23
に表示され、ステップS38で2枚目以降の境界抽出処
理を行う。2枚目以降の境界抽出処理のフローチャート
を図11に示す。以下に詳細に説明する。
断層像データNo.Mから抽出された境界データと次に
境界抽出の対象となる断層像データNo.(M+1)と
を合成する。
S70までの処理内容は、第1の実施の形態で述べた図
5のステップS17からステップS24までの処理内容
とほぼ同じであるが、スキャンライン上の交点を中心と
した検出範囲内の2値化処理において境界が検出されな
かった場合は境界は存在しない、とするステップS68
を行って全ての交点数について終了したかを判断する処
理に移るようにしていることのみが異なる。
を、今回境界抽出しようとする画像に当てはめて境界抽
出処理を行うため、検出範囲内に境界が存在しない場合
に前回の境界データを真の境界値としてしまうと、固ま
りを形成する部位を円柱状に抽出してしまい、固まりと
して抽出できないために行う。
境界が抽出される。No.Mの画像データについて算出
された境界データをもとに、No.(M+1)の画像デ
ータについて画像抽出を行った結果を図13に示す。
ップS38によって得られた境界データとステップS3
7で画像処理部5のモニタ23上に表示された断層像デ
ータNo.(M+1)に重ねて表示される。
像について境界抽出処理が終了したかを判定し、終了し
た場合はNo.(M+1)の境界データをもとにNo.
(M+2)の画像に対して境界抽出処理が図10のフロ
ーチャートに従って算出される。
繰り返し、境界抽出処理が順次繰り返される。断層像デ
ータNo.Nの境界抽出処理が終了した場合は、今度は
No.Mの境界抽出データを基準とし、断層像データN
o.(M−1)に対して境界抽出処理が行われ、No.
(M−1)からNo.0までの断層像に対して隣接する
画像の境界データをもとに順次境界抽出処理が行われ
る。その他の作用は第1の実施の形態と同様である。
手動により境界抽出を行うだけで、自動的に全画像の境
界データを算出することができる。
処理においても画像処理部5のモニタ23に画像を表示
し、抽出された結果も更に重ねて表示しているが、処理
速度の向上のため、2枚目以降の断層像表示と境界デー
タの重ね書き表示は行わなくても良い。
では本発明の第3の実施の形態に係り、図14は本発明
の第3の実施の形態のズレ補正処理の詳細フローチャー
トを示し、図15はスキャンラインの放射についての説
明図であり、図16はズレの方向と大きさを推定するた
めに算出したパラメータの分布を表すプロット図を示
す。
1の実施の形態で述べたハードウェアと同一であり、処
理手順が異なる。本実施の形態の作用を以下に説明す
る。本実施の形態では、複数の2次元超音波像からなる
3次元画像データの境界抽出処理を順次行った結果の境
界抽出データをもとに、画像間のズレ補正処理を行う。
以下、図14に示すフローチャートに従って説明する。
態のように行った後、図14に示すステップS71で
は、3次元データ記憶装置15から3次元画像データと
3次元処理メモリ17から境界抽出データを読み出す。
画像データの内、処理対象とする画像番号を示すiに初
期値0を代入する。図14に示すステップS73では、
後でズレ補正の収束の程度を表すε1 に初期値∞を代入
する。図14に示すステップS74では、以後の処理で
バラメータやズレ方向・ズレ量を算出するために放出す
るスキャンラインの番号jに初期値0を代入する。
ンラインを放射する。ここでのスキャンライン放射の中
心はラジアルスキャンの中心(超音波振動子25の位
置)であり、以後一定の角度で回転させる。また、スキ
ャンラインはある方向への放射と180度異なる方向へ
の放射を同時に行い、以後の処理を両者のスキャンライ
ンについて行う。
ンライン上に境界が存在するか否かを判別している。境
界点が存在する場合は、ステップS77にてパラメータ
値を算出し、境界が存在しない場合は、パラメータ値の
算出を行わずステップS78の処理へジャンプする。
プS80にて行うズレ方向とズレ量を算出のために使用
するパラメータ値を算出する。パラメータは、以下に示
すP1 とP2 を算出する。
ラインの番号を示す。また、|A|はAの絶対値を表
す。di (j)はi番目画像のj番目スキャンライン上
の中心から境界抽出点までの距離であり、di (j+全
ライン数/2)はi番目画像の(j+全ライン数/2)
番目スキャンライン上の中心から境界抽出点までの距
離、つまりdi (j)の方向と180度異なる方向への
スキャンラインについて前記と同様に算出した距離を示
す。
味を説明する。図15はあるi番目の画像と(i+1)
番目の画像の境界データを重ね合わせた図であり、実線
が画像i番目の境界データを、点線が画像(i+1)番
目の境界データを表している。また、太い矢印はi番目
画像に対する(i+1)番目画像のズレ方向を示してい
る。
方向を算出するためのパラメータであり、P2 が大きく
かつP1 が小さい方向が、ズレの方向とその大きさを示
している。
とスキャンラインbについての各パラメータの算出結果
を見ると、P2 (a)とP2 (b)は両者とも大きい値
を示し、これのみではズレ方向を推定することができな
い。しかし、パラメータP1を算出し、小さい値を取る
角度を決めることでスキャンラインの方向を算出するこ
とができる。スキャンラインの軸方向ピッチを細かく設
定した場合は、輪郭の変化よりも拍動による位置ズレが
大きいことから上記P1 とP2 よりズレ方向とズレ量を
推定することができる。
S75からステップS77までのスキャンラインを元に
したパラメータ算出処理がすべてのスキャンラインにつ
いて行われたかを判定している。jが以下の式(3)を
満たすならステップS79にてjに1をプラスしてステ
ップS75にジャンプする。
終了したら、ステップS80へと移動する。
ータ値を2次元空間へプロットする。プロットした結果
を図16に示す。図16のプロット図においてP1 がし
きい値Taより小さく、かつP2 がしきい値Tbより大
きい領域Rにある点を対象とする。
持つP1 の向きのベクトルを考え、領域R内の点につい
て加算する。加算結果のベクトルの向きがズレ方向であ
り、大きさを平均した値がズレ量と推定することができ
る。これらのズレ方向とズレ量を3次元処理メモリ17
へ格納する。
レ方向とズレ量に基づいて(i+1)番目画像をi番目
画像に対して移動してズレ補正する。
2 を算出する。
2}までのP2 (j)を加算することを意味し、ε2 は
ズレ補正後のズレ補正誤差と考える。つまり、全く同一
の境界データを持つ画像がズレている場合を考えると、
ズレ補正結果のズレ補正誤差ε2 はゼロとなる。つま
り、このズレ補正によってズレ補正誤差ε2 はゼロへと
近づいていく。
正誤差が式(5)に示すようにε1より小さいか否かを
判別する。
のε1 にε2 の値を代入して、ステップS75からステ
ップS82までの処理を行う。ただし、ε2 がε1 の値
以上の場合はズレの補正が完了したものとみなし、最も
確からしくズレ補正処理が行われたと考える。従って、
前回に格納したズレ補正結果をズレ補正完了結果とし、
次のステップS85に移る。
べての画像についてズレ補正処理が終了したか否かを判
別している。つまり、画像番号iが(画像総枚数−1)
より小さいならステップS73からステップS84まで
の処理を繰り返し、すべての画像についてズレ補正処理
を行う。
実施の形態と同様に、データに陰面消去、陰影付加、座
標変換等の3次元処理を行い、図8に示すような3次元
画像を構築する。
より拍動等によるズレを補正することができ、図8に示
すような3次元画像を構築した際に実際に近い3次元像
を提供することができる。
成する場合では正確な体積を計測することが可能とな
り、対象が病変部であった場合は正確な治療の効果判定
を行うことができる。
推定するために、算出したパラメータをプロットし、図
16のようなしきい値を用いて領域Rを決定したが、図
17のようなしきい値により領域Rを決めるようにして
も良い。
はP2 に比例して大きくなるしきい値Taより小さく、
かつP2 がしきい値Tbより大きい領域Rにある点を対
象とする。
まで行ったが、あるしきい値を決め、しきい値以下にな
ったら収束したみなすようにしても良い。更に、画質の
状態や対象物によっては、ズレ補正誤差ε2 が収束する
までズレ補正処理を繰り返さず、繰り返し回数を設定
し、ある程度の精度で止めても良く、こうした場合は更
に処理時間も向上する。
ジアルスキャンの中心、つまり画像の中心としたが、中
心を他の位置に設定しても良い。
場合、超音波を送受するラジアルスキャンの中心からの
距離を考慮して、しきい値を距離に応じて変化させる
(より具体的には距離と共に、しきい値の値を下げる)
とか、距離に依存しないように規格化した断層像データ
に対して2値化するようにしても良い。
合には、検出範囲の指定と共に、ノイズ部分が存在する
ノイズ範囲を指定して、このノイズ範囲を検出範囲から
除外するようにしても良い。例えば、図6に示すノイズ
部分を囲むようにノイズ範囲を指定して、これを除外範
囲とする。
とにより、手動でラフ(大ざっぱ)に境界を指定した場
合にも、ノイズ部分が仮に検出範囲に含まれるような場
合にも、そのノイズ部分に影響されないで、自動的に境
界の補正を行えるようにしても良い。
超音波観測部4と別体とした構成で説明しているが1台
の装置内に収めても良い。この時、モニタ11とモニタ
23も共通のモニタとして1台としても良い。なお、上
述した各実施の形態等を部分的等で組み合わせて構成さ
れる実施の形態等も本発明に属する。
用いて、前記生体内の超音波断層像の表示を行う超音波
診断装置において、前記得られた超音波断層像上の所望
する組織や表面等の境界を手動にて抽出する手動境界抽
出手段と、ある開始点から前記手動にて抽出した境界と
の交点を求め、開始点と交点とを結ぶ直線上で、交点を
内側に含むある範囲を操作者が設定し、その範囲内で自
動的に境界を補正する自動境界補正手段と、を設けたこ
とを特徴とする超音波画像診断装置。
コーデータを用いて、前記生体内の超音波断層像の表示
を行う超音波診断装置において、前記得られた超音波断
層像上の所望する組織や表面等の境界を手動にて抽出す
る手動境界抽出手段と、ある開始点から前記手動にて抽
出した境界との交点を求め、開始点と交点とを結ぶ直線
上で、交点を中心とするある範囲を操作者が設定し、そ
の範囲内の2値化を行う範囲内2値化手段と、前記2値
化を行った範囲内に境界が存在するか否かの判定を行う
境界判定手段と、境界が存在する場合は、手動にて抽出
した交点を前記境界点へと補正し、境界と判定されなか
った場合は、手動にて抽出した交点を境界とする自動境
界補正手段と、を設けたことを特徴とする超音波画像診
断装置。 (付記1,2の背景)従来の技術の項及び発明が解決し
ょうとする課題の項で記載。
管腔状の表面や固まりを形成する対象物の境界を抽出す
るにあたり、ノイズの影響を受け難くし、更に誤抽出の
可能性も低くし、操作者の設定した境界位置までも補正
するため、正確に所望する境界を抽出することができ
る。更に、画質に応じて、また操作者の好みに応じて、
柔軟に最適な境界抽出を行うことができる。
音波画像診断装置において、 複数の超音波断層像のう
ち、第1の超音波断層像の境界を前記手動境界抽出手段
と自動境界補正手段により抽出し、抽出された第1の超
音波断層像の境界を第2の超音波断層像に当てはめ、あ
る開始点から前記境界との交点を結ぶ直線上で交点を中
心とする操作者が設定した範囲内で、第2の超音波断層
像の境界を自動的に抽出する連続自動境界抽出手段を設
けたことを特徴とする付記1記載の超音波画像診断装
置。 (付記3に対する従来の技術及びその問題点)付記1、
2と同じ。
抽出処理にあたり、1枚について境界抽出を行えば自動
的に全ての画像について境界の抽出処理を行うことがで
きる。
数の超音波断層像を得る超音波診断装置において、超音
波断層像から物体表面等の境界を抽出する境界抽出手段
と、隣接した2次元超音波断層像の抽出された境界デー
タをもとに前画像に対する後画像のズレ量を算出するズ
レ量算出手段と、前記ズレ量をもとに画像間のズレ量を
補正するズレ量補正手段と、を設けたことを特徴とする
超音波画像診断装置。
数の超音波断層像を得る超音波診断装置において、前記
手動境界抽出手段と自動境界補正手段により、2次元超
音波断層像内の境界を抽出する手段と、その抽出された
境界データをもとに隣接した画像間のズレ量を算出する
ズレ量算出手段と、前記ズレ量をもとに画像間のズレ量
を補正するズレ量補正手段と、を設けたことを特徴とす
る付記1記載の超音波画像診断装置。
数の超音波断層像を得る超音波診断装置において、隣接
した2次元超音波断層像の所望する部位の境界を抽出す
る境界抽出手段と、i番目の画像と(i+1)番目の画
像についてスキャンラインを放射し、j番目のスキャン
ラインについて開始点から境界位置までの距離をdi
(j)として、 P1 (j)=|(di (j)−di+1 (j))+(di
(j+全ライン数/2)−di+1 (j+全ライン数/
2))| P2 ={|di (j)−di+1 (j)|+|di (j+
全ライン数/2)−di+1 (j+全ライン数/2)|}
/2 のようにパラメータP1 とP2 を算出し、P1 を小さ
く、かつP2 を大きくとるようなj番目スキャンライン
について、それぞれの向きとP2 の大きさを持つベクト
ルとして加算し、加算結果として得られた向きをズレの
方向とし、P2 の平均をズレ量として画像間の補正を行
うズレ量補正手段と、を設けたことを特徴とする超音波
画像診断装置。
その問題点)特開平5−220114号、特開平8−3
32187号で開示されて装置では、2次元相互相関関
数からズレ量を算出していることから、算出時間が多大
にかかる。 (付記4,5,6の目的)簡単にズレ量を算出する装置
を提供することである。
は、抽出された境界をもとに、複数枚取得した2次元断
層像間のズレ量を算出するため、簡単にズレ量を算出す
ることが可能である。 (付記4,5,6の効果)従来の装置に比べ、画像間の
ズレを簡単な処理で補正することができる。
作者が手動で所望する組織や表面等の境界を抽出し、そ
の境界を基準に、操作者の設定した範囲内で自動的に境
界を検出し、検出した境界へ自動補正するため、ノイズ
の影響を受けることなく、更に、誤抽出する可能性も低
く、正確に境界を抽出することが可能となる。
置の構成を示すブロック図。
ラジアルスキャンとリニアスキャンとの組合せによるス
パイラルスキャンの説明図。
像データを示す図。
ローチャートを示す図。
示す図。
て抽出する様子及び境界を抽出するための開始点を示す
図。
境界点の様子等を示す図。
ロセッサが行う処理内容の境界の抽出処理の全体をフロ
ーチャートで示す図。
チャートを示す図。
フローチャートを示す図。
織の境界を抽出している様子を示す図。
子を示す図。
詳細のフローチャートを示す図。
たパラメータの分布を表すプロット図。
と大きさを推定するために算出したパラメータの分布を
表すプロット図。
Claims (2)
- 【請求項1】 生体へ超音波を送受波し、得られたエコ
ーデータを用いて、前記生体内の超音波断層像の表示を
行う超音波画像診断装置において、 前記超音波断層像上の所望する境界を手動にて連続的に
設定する手動境界抽出手段と、 ある開始点から前記手動にて抽出した境界との交点を求
め、開始点と交点とを結ぶ直線上で、交点を内側に含む
ある範囲を操作者が設定し、その範囲内の画像データに
対して設けられたしきい値を基準とした境界を得る境界
検出手段と、 前記境界検出手段による境界検出結果により前記手動境
界抽出手段で設定された境界を補正する境界位置の補正
手段と、 を設けたことを特徴とする超音波画像診断装置。 - 【請求項2】 生体へ超音波を送受波し、得られたエコ
ーデータを用いて前記生体内の超音波断層像の表示を行
う超音波画像診断装置における画像処理方法において、 前記超音波断層像上の所望する境界を手動にて連続的に
設定する手動境界抽出工程と、 前記手動境界抽出工程で抽出された境界に対して放射線
状に回転するスキャンラインの原点を設定する原点設定
工程と、 境界を自動的に検出する範囲を設定する検出範囲の設定
工程と、 前記スキャンライン上の前記境界検出範囲内の画像デー
タに対してしきい値を基準として境界点を得る工程と、 前記境界点を得る工程での境界点検出結果により、前記
手動境界抽出工程で設定された境界を補正する境界位置
の補正工程と、 を設けたことを特徴とする超音波画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33724497A JP3283456B2 (ja) | 1997-12-08 | 1997-12-08 | 超音波画像診断装置及び超音波画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33724497A JP3283456B2 (ja) | 1997-12-08 | 1997-12-08 | 超音波画像診断装置及び超音波画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11164834A JPH11164834A (ja) | 1999-06-22 |
JP3283456B2 true JP3283456B2 (ja) | 2002-05-20 |
Family
ID=18306805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33724497A Expired - Lifetime JP3283456B2 (ja) | 1997-12-08 | 1997-12-08 | 超音波画像診断装置及び超音波画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3283456B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4614548B2 (ja) | 2001-01-31 | 2011-01-19 | パナソニック株式会社 | 超音波診断装置 |
JP4504114B2 (ja) * | 2004-06-23 | 2010-07-14 | オリンパス株式会社 | 超音波画像診断装置 |
JP4931676B2 (ja) * | 2006-11-14 | 2012-05-16 | 日立アロカメディカル株式会社 | 超音波診断装置及びボリュームデータ処理方法 |
EP1923839B1 (en) * | 2006-11-14 | 2016-07-27 | Hitachi Aloka Medical, Ltd. | Ultrasound diagnostic apparatus and volume data processing method |
JP4922006B2 (ja) * | 2007-02-16 | 2012-04-25 | 日立アロカメディカル株式会社 | 超音波診断装置およびデータ処理方法 |
JP5109070B2 (ja) * | 2007-07-11 | 2012-12-26 | 本多電子株式会社 | 超音波画像表示装置、超音波画像表示方法、内視鏡手術支援システム、超音波画像表示プログラム |
JP5283877B2 (ja) * | 2007-09-21 | 2013-09-04 | 株式会社東芝 | 超音波診断装置 |
JP5302578B2 (ja) * | 2008-06-18 | 2013-10-02 | 日立アロカメディカル株式会社 | 超音波診断装置 |
US9357981B2 (en) | 2011-12-21 | 2016-06-07 | Konica Minolta, Inc. | Ultrasound diagnostic device for extracting organ contour in target ultrasound image based on manually corrected contour image in manual correction target ultrasound image, and method for same |
CN111354006A (zh) * | 2018-12-21 | 2020-06-30 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像中目标组织的描迹方法及装置 |
-
1997
- 1997-12-08 JP JP33724497A patent/JP3283456B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH11164834A (ja) | 1999-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8475382B2 (en) | Ultrasound diagnostic apparatus and method for tracing movement of tissue | |
US20190159762A1 (en) | System and method for ultrasound elastography and method for dynamically processing frames in real time | |
CN109846513A (zh) | 超声成像方法、系统和图像测量方法、处理系统及介质 | |
CN103169500A (zh) | 超声波诊断装置、医用图像诊断装置以及医用图像处理方法 | |
JP2001340336A (ja) | 超音波診断装置及び超音波診断方法 | |
JP3283456B2 (ja) | 超音波画像診断装置及び超音波画像処理方法 | |
EP0038331B1 (en) | Signal processing equipment for ultrasonic visualisation | |
US7376252B2 (en) | User interactive method and user interface for detecting a contour of an object | |
US7223240B2 (en) | Ultrasonic diagnostic apparatus | |
JP4468677B2 (ja) | 超音波画像生成方法及び超音波画像生成プログラム | |
JP2015054179A (ja) | 超音波診断装置および超音波画像生成方法 | |
JP4119497B2 (ja) | 超音波画像診断装置 | |
US5279301A (en) | Ultrasonic image analyzing apparatus | |
JP2023160986A (ja) | 超音波診断装置及び解析装置 | |
JP2005000664A (ja) | 組織運動及び変形の遅延を自動的に測定するための方法及び装置 | |
EP3673814B1 (en) | Acoustic wave diagnostic apparatus and method for controlling acoustic wave diagnostic apparatus | |
JP2000296129A (ja) | 超音波診断装置 | |
EP0934724A1 (en) | Ultrasonic diagnostic apparatus | |
JP2007289720A (ja) | 超音波画像診断装置 | |
JP4098266B2 (ja) | 超音波画像診断装置 | |
JP2002291750A (ja) | 超音波画像における腫瘍境界表示装置 | |
JP6041954B2 (ja) | 超音波画像生成方法 | |
JP3905419B2 (ja) | 超音波画像処理装置 | |
JP4282729B2 (ja) | 超音波画像診断装置 | |
JP4445744B2 (ja) | 超音波画像生成装置の作動方法及び超音波画像生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020213 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090301 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090301 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100301 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110301 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110301 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120301 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120301 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130301 Year of fee payment: 11 |