JP3425207B2 - 診断支援装置 - Google Patents

診断支援装置

Info

Publication number
JP3425207B2
JP3425207B2 JP02973694A JP2973694A JP3425207B2 JP 3425207 B2 JP3425207 B2 JP 3425207B2 JP 02973694 A JP02973694 A JP 02973694A JP 2973694 A JP2973694 A JP 2973694A JP 3425207 B2 JP3425207 B2 JP 3425207B2
Authority
JP
Japan
Prior art keywords
region
image
tumor
interest
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP02973694A
Other languages
English (en)
Other versions
JPH07236634A (ja
Inventor
昭南 大橋
久育 弓座
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Engineering Co Ltd filed Critical Toshiba Corp
Priority to JP02973694A priority Critical patent/JP3425207B2/ja
Publication of JPH07236634A publication Critical patent/JPH07236634A/ja
Application granted granted Critical
Publication of JP3425207B2 publication Critical patent/JP3425207B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、3次元画像情報に基づ
いて腫瘍の有無を検出する診断支援装置に関する。
【0002】
【従来の技術】腫瘍の有無の検出のための診断支援装置
は、種々提案されている。その1つには2次元の画像情
報を用いて特定の領域の円形度を求め、その領域が腫瘍
であるか否かを判断する方法がある。その手順は以下に
述べる通りである。
【0003】まず、2次元画像情報から腫瘍か否かを判
断すべき特定の領域(陰影)を抽出する。次に、抽出し
た領域の面積Sを求め、この抽出した領域の重心を求め
る。次に、抽出した領域と同一面積を有する円の半径r
(以下、抽出領域の等価半径と称する)を次式により求
める。
【0004】 r=(S/π)1/2 (1) 続いて、抽出した領域の円形度を求める。円形度は前記
で求めた重心を中心としたやはり前記で求めた等価半径
rの円に含まれる抽出領域の面積の割合により、次式の
ように定義する。
【0005】 円形度 = 円に含まれる抽出領域の面積/S (2) 結果として等価半径rと円形度とで決まる特徴空間にお
いて、抽出領域の等価半径rと円形度が一定の範囲内に
含まれているときは抽出領域が腫瘍であるとみなす。
【0006】このように1枚の画像のみならず、3次元
的に分布する多数枚の2次元画像情報に基づいてそれぞ
れの2次元画像内で領域を抽出し、抽出領域の等価半径
と円形度を求め、それによって各画像ごとに検出する装
置もあった。
【0007】
【発明が解決しようとする課題】前述した従来例におい
ては、等価半径と円形度という2次元情報に基づいてい
るので、3次元的に分布する腫瘍を正しく判断すること
は困難であった。従来のコンピュータ断層撮影装置(以
下、単にCT装置と略称する)等では、スライス間隔は
画素のピクセルサイズに比較すると大きいため、多数枚
の画像について判断を行なう場合も、3次元画像として
処理するには限界があった。
【0008】本発明は上記実情に鑑みてなされたもの
で、被検体のある領域に疑わしい病巣部分が存在した場
合、当該領域が病巣部分であるか否かを的確に判断する
診断支援装置を提供することを目的とする。
【0009】
【課題を解決するための手段】本発明の診断支援装置
は、検体の3次元画像情報を得る手段と、特定の3次
元領域を抽出する手段と、この領域の少なくとも一つの
特徴量を求める手段とを具備し、前記特徴量が、前記領
域と同じ体積である球の半径と球形度の少なくとも一方
であり、前記抽出領域が腫瘍であるか否かを判断する
とを特徴とする。
【0010】
【作用】3次元画像情報から診断すべき3次元領域を抽
出し、この抽出領域に関する特徴量として抽出領域と同
じ体積である球の半径と球形度の少なくとも一方を求
め、抽出領域が腫瘍であるか否かを判断することによ
り、診断能力が向上する。
【0011】
【実施例】本発明における実施例を述べるに当たってま
ず、本発明の概要を説明する。本発明は、腫瘍等は、悪
化あるいは進行すると丸くなる(球になる)性質を利用
する。そのため3次元画像情報から3次元の特定領域を
抽出し、その領域の球形度を求め、それを特徴量の1つ
として、その領域が腫瘍かどうかを判定する。以下にそ
の手順を述べる。
【0012】まず始めに、例えばCT装置等を用いて多
数枚の断層像からなる3次元画像情報を作成する。この
とき、各断層像のスライス方向の間隔は画像の2次元画
素(ピクセル)サイズにほぼ等しくなるようにする。す
なわち3次元画像情報は縦、横、高さが共に等しい立方
体の3次元画素(ボクセル)からなる。このためにはヘ
リカルスキャン方式のCT装置を用いることが好まし
い。次に、3次元画像情報から腫瘍と疑われる領域(以
降、関心領域と略称する)を抽出する。抽出は断層像ご
とに行なわれるが、抽出結果は3次元領域を表わす。抽
出方法は、例えば画素値をしきい値により領域内と領域
外に分割する方法等がある。次に、抽出した領域の体積
Vを求め、この抽出した領域の重心を求める。続いてこ
の領域の体積から、この体積と全く同一の体積を有する
球の半径r(以下、抽出領域の等価半径と称する)を求
める。
【0013】 r=(3V/4π)1/3 (3) 前記で求めた重心を中心として等価半径rの球の体積に
対する、その球に含まれる抽出領域の体積の比を球形度
と定義し、次式によりこの球形度を求める。
【0014】 球形度 = 3×( 球に含まれる抽出領域の体積) /4πr3 (4) なお、球形度はこの定義に限定されることなく、種々の
定義が可能である。以上求めた等価半径rと球形度の特
徴空間において、抽出領域の等価半径rと球形度が一定
範囲内にあるときは抽出領域が腫瘍であるとみなす。な
お、診断する関心領域は腫瘍には限定されない。
【0015】以下、図面を参照して本発明の実施例を説
明する。実施例としては、ヘリカルスキャン方式のCT
装置により胸部の画像情報を求める例を説明する。
【0016】図1は、本発明の一実施例に係る診断支援
装置の構成を示すブロック図である。寝台3上に載置さ
れた被検体2に扇状のX線ビームを曝射するX線発生部
1と、円弧状に配列された検出器アレイからなり被検体
2を透過したX線を検出するX線検出部4とを有する。
X線検出部4は、X線透過率を示す投影データを収集す
る。データ取得については、360°以上の角度の投影
データを連続して収集することができるように構成され
ている。すなわち図示していないが、X線発生部1とX
線検出部4とを保持する回転部は固定部に対してスリッ
プリングを介して取り付けられる。寝台3は、X線発生
部1とX線検出部4の連続回転中に、体軸方向へ連続的
に移動する、つまりこのことによってヘリカルスキャン
が行なわれる。再構成装置5は、収集した投影データに
コンボリューション、バックプロジェクションの処理を
行ない、画像を再構成する装置である。操作卓6は、C
PU7へ種々の指令を与える。CPU7は、システムバ
ス10を介して再構成装置5や、表示装置8の制御を行
なう。表示装置8は、再構成した画像を表示する働きを
有する。画像記憶部9は、再構成した画像を記憶するも
のであり、システムバス10は、再構成装置5,CPU
7,表示装置8,画像記憶装置9を相互に接続するため
のバスであり、信号の伝達を行なう。
【0017】このように構成された実施例の動作を図2
を参照して詳細に説明する。なお、図2において説明す
る動作は、1つの臨床例についての関心領域が腫瘍であ
るか否かを判断するためのパラメータである関心領域の
等価半径、および球形度を求めるまでの過程を示したも
のである。
【0018】まず、ステップS1において画素サイズ、
すなわち画像のピクセルサイズΔp(mm)及びΔd
(mm)の決定を行なう。ヘリカルスキャン方式のCT
装置において、X線発生部1内のX線管は、被検体2が
静止しているとすると図3に示すようにヘリカル、つま
り螺旋状の軌跡を移動する。ここでZ軸は被検体の体軸
方向とする。したがって、投影データもヘリカル状に収
集される。ここで図4を参照して、投影データと再構成
画像の関係を説明する。1投影データの投影位置をZ軸
上の一点で表わすと、ヘリカルスキャンは図3に示すよ
うに連続して移動するから、投影データは1本の直線と
して表せる。第1画像は、図4に示す720度の投影デ
ータAを用いて再構成する。このとき、再構成される画
像のピクセルサイズΔpは画像のスライス間隔Δdに等
しくなるように設定する。ここで、Δdは以下のように
決める。
【0019】図5(a)に示すように、例えば画像のマ
トリクスを512×512、ピクセルサイズをΔp、人
間の胸部の領域を400mm×400mmとする。そし
て、胸部全体が画像に含まれるようにするためには、Δ
pは次式のように算出される値程度にすれば良いことが
分かる。
【0020】 Δp=400/512=0.78125 (5) X線管が1回転する間の投影データのZ軸方向の移動距
離Dを10mmとし、1回転の間に収集される投影デー
タ数を1000とすると、Δdは次のようになる。
【0021】 Δd=(10/1000)×k (6) ここで、kは整数である。kは整数であることにより、
仮にk=80とすると、Δd=0.8となり、Δd=
0.78125に近い値となる。
【0022】したがって、ここでは、Δp=Δd=0.
8とする。ステップS2で再構成するべき第i画像の初
期値を1とし、ステップS3でスキャンを開始する。ヘ
リカルスキャン中、第1画像の再構成に必要な投影デー
タAが収集されると、ステップS4において前述で決定
したΔpとなるように投影データAをコンボリューショ
ン、バックプロジェクション演算し、第1画像を再構成
する。ステップS5でiをインクリメント(1だけ増
加)し、ステップS6でi>nか否か判定する。ここで
nは、被検体2に対して再構成される画像の数である。
もしi>nでない場合は、ステップS4に戻り、上記の
操作を繰り返す。2回目のステップS4においては、図
4に示すように、投影データAからΔdだけずれた72
0度の投影データBを用いて、第2画像が再構成され
る。以下同様に、これを第n画像が再構成されるまで繰
り返す。なお、これらの連続した画像の再構成は同一出
願人による特願平4−168919号に示されている連
続再構成方式を用いて再構成すればさらに効率よく画像
を再構成することができる。
【0023】再構成した第1画像から第n画像は、Δd
=Δpであるから図6に示すように縦、横、高さが均等
なボクセルの集合となり、第1画像11、第2画像1
2、第3画像13…により被検体2の3次元画像情報が
作成される。また、図6は、ボクセルの中心をサンプリ
ング点として表わしている。第n画像まで再構成が完了
したとき、すなわちステップS6においてi>nと判定
された場合には、ステップS7でi=1とし、ステップ
S8において第i画像から、つまりここでは第1画像か
ら関心領域の抽出を行なう。以下に関心領域の抽出の一
方法について説明する。
【0024】第i番目の胸部CT画像を図5(a)に模
式的に示す。図5(a)において抽出したい関心領域を
図中の斜線で表わす。図5(b)はそれを拡大した図で
ある。図5(b)のプロフィールの例を図5(c)に示
す。腫瘍は一般的に、図5(c)に示すように、単峰性
の山型になっている。この場合には、しきい値TH以上
のピクセルを抽出すれば、関心領域を抽出することがで
きる。通常は、腫瘍は複雑なので、しきい値だけでは抽
出できない場合がある。その場合には、さらに複雑な手
法を用いる必要があるが、例えば「医用画像処理」今里
悠一、他著、昭晃堂出版、166〜171頁に記載の方
法を用いることができる。
【0025】ステップS8において第i画像から関心領
域の抽出を行ったのちに、ステップS9でiをインクリ
メント(1だけ増加)し、ステップS10でi>nか否
か判定する。もしi>nでない場合はステップS8に戻
り、第n画像まで同様の操作を繰り返す。第n画像から
関心領域の抽出を終了、すなわちi>nとなった場合
は、次のステップS11で関心領域の体積を求める。
【0026】ステップ11を実行する際、図5(b)に
おいて斜線の部分が関心領域である。この領域に含まれ
るボクセル数をSi とする。関心領域全体の体積をVと
おくと、Vは次の式(7)によって求まる。
【0027】 ステップ12で関心領域の重心を求める。関心領域内の
ボクセルの中心座標を(x1 ,y1 ,z1 ),(x2
2 ,z2 ),・・・,(xj ,yj ,zj ),・・
・,(xV ,yV ,zV )とおくと、重心(X0 ,Y
0 ,Z0 )は次式のように求められる。
【0028】 重心を求めたのち、次のステップ13で、関心領域の等
価半径rを求める。等価半径rは関心領域の体積と等し
い体積を有する球の半径として、次のように求められ
る。
【0029】 r=(3V/4π)1/3 (9) ここで重心(X0 ,Y0 ,Z0 )を中心とした等価半径
rを有する球をQとする。ステップ14で、球Qに含ま
れる関心領域全体の体積VRを求める。具体的には、各
画像ごとに球Qに含まれる関心領域の部分のボクセル数
を求め、これをSRi とすると、Qに含まれる関心領域
全体の体積VRは次式で求まる。
【0030】 ステップ15において関心領域の球形度を求める。球形
度は球Qの体積に対する、球Qに含まれる関心領域全体
の体積VRとの比により定義され、次のように求めるこ
とができる。
【0031】 球形度 = 3VR/4πr3 (11) ステップ1からステップ15までの動作の実施によっ
て、1つの臨床例についての抽出した関心領域の属性
(腫瘍か否か)を判断する2つのパラメータである等価
半径rと球形度が求められたことになる。
【0032】前述したステップ1からステップ15まで
の過程を多数の例の臨床画像について適用し、それぞれ
の例について等価半径rと球形度を求める。この結果、
等価半径rと球形度によって定義される特徴空間におい
て各臨床例の関心領域が腫瘍であったか、そうでなかっ
たかを図示すると、例えば図7に示すようになる。図7
において、横軸は等価半径、縦軸は球形度である。○は
腫瘍である臨床例を、×は腫瘍でない臨床例を示す。図
7の特徴空間において、腫瘍だったか、そうでなかった
かを分離する範囲を、例えば閉曲線Lと決める。閉曲線
Lが求まれば、以降はrと球形度とから腫瘍を自動的に
判別することができる。すなわち、腫瘍を判別したい画
像において、関心領域の等価半径rと球形度を求め、
(a) 閉曲線L内に入っていれば、腫瘍である、(b) 閉曲
線L外であれば、腫瘍でない、と判定する。
【0033】以上説明したように本実施例によれば、例
えばヘリカルスキャン方式のCT装置において、スライ
ス間隔を画素のピクセルサイズに等しくする、すなわち
縦、横、高さの均等なボクセルという3次元画素からな
る3次元画像情報を再構成し、この3次元画像情報から
抽出した関心領域について、この関心領域の等価半径、
球形度を求め、この等価半径、球形度を関心領域の診断
のためのパラメータとすることにより、3次元の診断対
象、例えば腫瘍等を3次元的に診断することが可能とな
るために従来の2次元での診断に比べ、診断対象に対し
てはるかに的確な診断が実現できる。
【0034】本発明は上述した実施例に限定されず、種
々変形して実施可能である。例えば前述した実施例にお
ける関心領域の抽出方法については、画像全体から関心
領域を抽出しているが、この方法だと、目的とする領域
から離れた位置にある領域が抽出される場合がある。腫
瘍は一般には小さいものであるから、画像全体から抽出
することは、技術的に難しいこともある。そこで関心領
域の抽出方法の変形例として例えば図8に示すように、
操作者が抽出したい領域を囲む枠、つまり矩形ROIを
設定し、それをZ軸方向に伸ばした立方体の内部だけ
で、関心領域を抽出する。すなわちROI内部でのみし
きい値方式で領域を抽出する。こうすれば、狭い範囲内
で抽出するので、腫瘍の抽出が容易に、かつ正確にな
り、また計算時間も短くて済む。また、もう1つの変形
例として、前述の変形例と同様に、画像全体から予め別
の手段により肺野部分を抽出し、その肺野部分内におい
て関心領域を抽出するようにしても良い。肺野内部だけ
であれば、しきい値法などの比較的簡単な方法でも、腫
瘍を検出することが可能である。
【0035】さらに、上述の説明では、等価半径および
球形度の2つのパラメータから関心領域についての診断
支援情報を求めたが、等価半径は必ずしも用いる必要は
なく、球形度のみで判定しても良い。診断の対象物は、
被検体(被検者)の胸部に限られない。
【0036】また、本実施例の説明においては、ヘリカ
ルスキャン方式のCT装置を用いて3次元画像情報を求
めたが、これに限らず、磁気共鳴イメージング装置等に
より3次元画像情報を求めても良い。
【0037】
【発明の効果】以上説明したように本発明は、3次元画
像情報から被検体における病巣部分と思われる疑わしい
領域に対して、特徴量として抽出領域と同じ体積である
球の半径と球形度の少なくとも一方を求め、抽出領域が
腫瘍であるか否かを判断することにより、腫瘍などの検
出能力を向上させることの可能な診断支援装置を提供で
きる。
【図面の簡単な説明】
【図1】本発明による診断支援装置の一実施例の構成を
示すブロック図。
【図2】本発明の一実施例の動作を説明するために、1
つの臨床例について等価半径rおよび球形度を求める動
作を説明するフローチャート図。
【図3】ヘリカルスキャン方式のCT装置におけるスキ
ャンの軌跡を説明する図。
【図4】図3のヘリカルスキャンの結果生じる投影デー
タと画像の関係を示す図。
【図5】図2の動作における関心領域の抽出方法の一例
を説明する図。
【図6】均等に配置されたボクセルからなる3次元画像
を示す図。
【図7】本発明による等価半径rと球形度によって表わ
される特徴空間における、多数例の臨床画像について腫
瘍か否かを示す図。
【図8】本発明の実施例における関心領域の抽出方法の
1つの変形例として、矩形ROI内のみで腫瘍を抽出す
る例を示す図。
【符号の説明】
1…X線発生部、2…被検体、3…寝台、4…X線検出
部、5…再構成装置、6…操作卓、7…CPU、8…表
示装置、9…画像記憶部、10…システムバス、11…
第1画像、12…第2画像、13…第3画像。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−154155(JP,A) 特開 平3−119489(JP,A) 特開 平3−45248(JP,A) (58)調査した分野(Int.Cl.7,DB名) A61B 6/00 - 6/14

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 検体の3次元画像情報を得る手段と、
    特定の3次元領域を抽出する手段と、この領域の少なく
    とも一つの特徴量を求める手段とを具備し、前記特徴量
    が、前記領域と同じ体積である球の半径と球形度の少な
    くとも一方であり、前記抽出領域が腫瘍であるか否かを
    判断することを特徴とする診断支援装置。
  2. 【請求項2】 前記特定の領域を抽出する手段におい
    て、この特定の領域を囲む枠を設定し、この枠の内部で
    のみ抽出を行なうことを特徴とする請求項1または請求
    項2に記載の診断支援装置。
  3. 【請求項3】 前記被検体の3次元画像情報を得る手段
    がヘリカルスキャン方式のコンピュータ断層撮影装置で
    あることを特徴とする請求項1または請求項2または請
    求項3に記載の診断支援装置。
JP02973694A 1994-02-28 1994-02-28 診断支援装置 Expired - Lifetime JP3425207B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02973694A JP3425207B2 (ja) 1994-02-28 1994-02-28 診断支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02973694A JP3425207B2 (ja) 1994-02-28 1994-02-28 診断支援装置

Publications (2)

Publication Number Publication Date
JPH07236634A JPH07236634A (ja) 1995-09-12
JP3425207B2 true JP3425207B2 (ja) 2003-07-14

Family

ID=12284401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02973694A Expired - Lifetime JP3425207B2 (ja) 1994-02-28 1994-02-28 診断支援装置

Country Status (1)

Country Link
JP (1) JP3425207B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4118786B2 (ja) 2003-11-14 2008-07-16 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像撮影診断支援システム
JP4549093B2 (ja) 2004-04-12 2010-09-22 キヤノン株式会社 画像処理装置及びその方法、プログラム
JP4635077B2 (ja) * 2008-07-07 2011-02-16 東芝医用システムエンジニアリング株式会社 コンピュータ支援診断装置
WO2012090106A1 (en) * 2010-12-29 2012-07-05 Koninklijke Philips Electronics N.V. Tnm classification using image overlays
CN109636901A (zh) * 2018-12-20 2019-04-16 暨南大学附属第医院(广州华侨医院) 一种鼻咽癌乏氧微环境影像组学研究模型建立方法

Also Published As

Publication number Publication date
JPH07236634A (ja) 1995-09-12

Similar Documents

Publication Publication Date Title
EP1741062B1 (en) Cone beam ct apparatus using truncated projections and a previously acquired 3d ct image
US6487432B2 (en) Method and system for selecting and displaying medical image data
JP4152765B2 (ja) 三次元ディジタル・マンモグラフィのための計算機支援検出(cad)
US8923577B2 (en) Method and system for identifying regions in an image
US9098935B2 (en) Image displaying apparatus, image displaying method, and computer readable medium for displaying an image of a mammary gland structure without overlaps thereof
JP5400326B2 (ja) トモシンセシス画像を表示するための方法
US9058665B2 (en) Systems and methods for identifying bone marrow in medical images
US20080144909A1 (en) Analysis of Pulmonary Nodules from Ct Scans Using the Contrast Agent Enhancement as a Function of Distance to the Boundary of the Nodule
US6574500B2 (en) Imaging methods and apparatus particularly useful for two and three-dimensional angiography
JPWO2006057304A1 (ja) X線ct装置及び画像処理装置
JP2008505694A (ja) アーチファクトのないct血管造影図
US8861826B2 (en) X-ray CT device
WO2005073915A2 (en) Automatic segmentation of tissues by dynamic change characterization
JP4686279B2 (ja) 医用診断装置及び診断支援装置
JP2005323628A (ja) 画像再構成方法およびx線ct装置
JP3425207B2 (ja) 診断支援装置
JP2004073432A (ja) X線ct装置および画像処理方法、ならびにプログラム
JP3615600B2 (ja) 画像診断装置
JP4884649B2 (ja) X線ct装置
Niki et al. Three-dimensional image analysis of blood vessels using cone-beam CT

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090502

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090502

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100502

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100502

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140502

Year of fee payment: 11

EXPY Cancellation because of completion of term