JP4236405B2 - 断層像セグメント分割 - Google Patents

断層像セグメント分割 Download PDF

Info

Publication number
JP4236405B2
JP4236405B2 JP2001355434A JP2001355434A JP4236405B2 JP 4236405 B2 JP4236405 B2 JP 4236405B2 JP 2001355434 A JP2001355434 A JP 2001355434A JP 2001355434 A JP2001355434 A JP 2001355434A JP 4236405 B2 JP4236405 B2 JP 4236405B2
Authority
JP
Japan
Prior art keywords
bone
ray
gradient
identifying
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001355434A
Other languages
English (en)
Other versions
JP2002301051A (ja
Inventor
リカード・スコット・アビラ
クリストファー・リチャード・ボルペ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2002301051A publication Critical patent/JP2002301051A/ja
Application granted granted Critical
Publication of JP4236405B2 publication Critical patent/JP4236405B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

【0001】
【発明の背景】
本発明は画像処理に関し、さらに具体的には、選択された特性に基づいて、関心のある領域又はデータ形式をセグメント分割すると共に分類することに関する。
【0002】
同一物質の連続領域の識別はセグメント分割として公知である。医用画像の解剖学的な領域、例えば骨、腎臓若しくは肺への自動的な分類又はセグメント分割は困難な問題であり、現状では多くの臨床的応用の発展を阻んでいる。長年、様々な手法が提案されてきたが、定型的な医療業務に要求される高度の自動化及び品質を達成した手法は殆どない。その代わりに、殆どの臨床的応用は多量の利用者の対話型作業に頼っている。このように、セグメント分割の過程は長時間を要し、誤りを生じ易く、主観的なものとなっている。
【0003】
人体の骨格系は主として、二種類の骨すなわち皮質骨(cortical bone)及び海綿骨(trabecular bone)で構成されている。皮質骨は極めて稠密で、典型的には骨領域の外周に位置している。海綿骨はスポンジ状で、典型的には内部の骨領域に位置している。結果として、骨領域は、CT走査患者群に殆ど普遍的な様々な明瞭な特性を有する。CT密度は骨境界(皮質)で急激に上昇し、次いで、数ミリメートルの範囲内で緩やかに低下し、これにより、走査データに「リング(ring)」効果を生ずる。内部骨(海綿骨)の構造は、一定の変化及び相対的に高い周波数によって特徴付けられる明瞭なスポンジ状パターンを有する。骨のCT値は、皮質骨では1200〜2000を超えるハンスフィールド単位にわたり、海綿骨では1000〜1300ハンスフィールド単位にわたる。
【0004】
【発明が解決しようとする課題】
骨、具体的には皮質骨は高密度信号として現われ、この信号は人体の殆どあらゆる他の領域よりも高密度となっているが、骨のセグメント分割は、単純な閾値処理すなわち最小又は最大のCT数に基づく公知のセグメント分割法では実効的に行なわれない。しばしば、患者の体内には造影剤(コントラスト剤)のような異質物体又は物質が導入されており、骨と区別のつかないCT密度を呈する。この問題は、血流に液体の造影剤が注入されており、脈管領域に骨と等しいか又は骨よりも高いCT数を付与するコントラスト強調CT走査の場合に最も困難となる。
【0005】
コントラスト強調計算機式断層写真法(CT)データから骨を識別すると共に除去するという特定的な問題は、多くのセグメント分割問題の一例である。コントラスト強調された領域のCT値は、骨のような他の高密度構造から容易に区別することはできない。骨のロバストな識別作業を人間の操作者が実行するのは比較的容易であるにも拘わらず、医療的なセグメント分割研究ではかかる識別を可能にする自動的な骨セグメント分割法は現われていない。従って、CT走査データにおいて高密度特性を有する骨領域と他の解剖学的領域とを分類して、骨を他の領域からさらに十分に区別するセグメント分割法が必要とされている。
【0006】
【課題を解決するための手段】
1以上の選択された特性に従って入力空間をセグメント分割する方法が、入力空間の複数のビューに沿って複数の射線を投射する工程と、各々の射線の範囲内で、選択された特性に対応する領域を識別する工程と、識別された領域を処理して、選択された特性を有する領域を示す出力空間を形成する工程とを含んでいる。
【0007】
【発明の実施の形態】
本発明の特徴及び利点は、以下の発明の詳細な説明を添付図面と併せて参照することにより明らかとなろう。
【0008】
本発明の一実施形態では、セグメント分割の方法が、入力データを通して複数の射線を投射する工程と、所定の分類パラメータ又は特性に従って、得られたデータを分類する工程とを含んでいる。骨様プロファイル特性のような所定の分類パラメータが評価される。かかる特性としては、高勾配、外側の入口(皮質ピークに対する外部)、極めて高い値の入口(皮質ピーク)、高勾配の内側の入口(皮質ピークから海綿骨の開始に至る)、通常2mm程度の全皮質厚み、及び内部骨(海綿骨)における値のゆらぎ等がある。
【0009】
図1は、本発明の実施形態を説明するブロック図を示している。図1には、1以上の選択された特性について入力データをセグメント分割する方法が示されている。
【0010】
ステップ100において、入力データS、例えば2Dスカラ場が取得される。説明の目的のみで述べると、本実施形態は、2次元(2D)計算機式断層写真法(CT)画像を入力空間としている。但し、本セグメント分割方法は、他の医用撮像応用(磁気共鳴(MR)、超音波、X線)並びに他の非医療的走査応用又はセンシング応用に見受けられるような2次元又は3次元のスカラ場又はベクトル場に対しても作用し得ることを理解されたい。
【0011】
ステップ110では、周知のレイ・キャスティング法で複数の射線Rが投射されて、入力空間をサンプリングすると共に、配列操作に適した入力データのサンプリング後の1次元(1D)表現を生成する。射線は、Sを包囲する円上に位置する等間隔で回転する多数のビューVの一つを始点とする。Sに関して角度θに位置するビューVの数は、画像処理の品質及び速度の要件の考慮に基づいて公知の態様で選択される。本実施形態では、入力画像Sを通る通常は線形の多数の軌跡又は射線をサンプリングすることにより、ステップ120に示すように分類が実行される。複数の等間隔の射線が一つのビューから投射される。図2は、4つの対応するビューを始点とする4つの単一の射線(A〜D)を示す(1つのみを示す)。図1の説明を続けると、ステップ130において、射線に沿って骨が存在する確率が算出される。このことについては後にさらに詳細に述べる。次いで、ステップ140に示すように、各々の射線に沿った確率を処理して中間バッファPとする。ステップ150では、各々の射線に沿って計算を繰り返す。すべての軌跡が算出されて加算されたら、ステップ160において中間バッファPを最終的な骨の確率画像Bへ変換する。ステップ170において、特殊化した領域成長によって最終画像を変換する。領域成長ステップ170は、やはり骨には違いないが断層像解析ではそのようなものとしては検出され得ない他のピクセルを探索する。この領域成長法は繰り返し法であって、骨である確率が高いピクセルを骨とマークすることから開始して、付加的な規準集合に基づいて隣接するピクセルを試験する。この付加的な規準集合は、隣接するピクセルが、断層像解析によって当初に高い確率のスコアを得ていたか否かに拘わらず前のピクセルと同じ解剖学的構造の部分となっているか否かを判定することのできるものである。さらに、本実施形態では、望ましくは境界論理を用いて、走査画像の外周を超えた位置での情報の欠落によって骨の確率が破損されていないことを保証する。
【0012】
一つの射線についての骨の確率の計算(図1のステップ130)は、射線のスカラ値を解析して、骨密度(皮質及び海綿)を示すパターンを識別することにより実行される。代替的には、入力データが医用画像データ以外のものである場合には、他の所定の分類値に基づいて確率を算出する。骨の検出については、確率計算は射線に沿って各々のサンプルを処理して、いつ射線が見かけ上骨に入ったか、及びいつ出たかに注目する。骨への出入りを算出するためには多くの測定基準を利用することができるが、早くから見込みのあったのは、射線に沿って1次元(1D)勾配を解析するものである(処理時間を代償とすれば2D及び3Dを用いてさらに十分な情報を与えることもできる。)。G1を上回る勾配の大きさを有する勾配g1から2mmの範囲内でG2を上回る勾配の大きさを有する逆勾配g2が続いている場合には、出入りが生じている。(|g1|>|g2|)である場合には射線が骨に入っており、(|g1|<|g2|)である場合には射線が骨から出た可能性が高いということもしばしばある。骨への出入りのさらに先進的な処理が可能であることを理解されたい。
【0013】
もう一つの望ましいパラメータ又は特性は、射線に沿った信号の周波数である。この情報のすべてを組み合わせると、射線に沿った所与の位置が骨の領域内にある確率を割り当てる能力を得ることができる。例えば、射線処理が骨への入りを予め示し、高周波数区域であることを示し、且つ射線に沿ってさらに下った所で骨からの出を示している場合には、このピクセルが骨である確率は比較的高い。各々の特性が、ピクセルが骨領域の内部に位置していることの信頼性を高める。
【0014】
図2〜図6は、画像内の単一のピクセルにおいて行なわれる骨の確率の計算を示している。図2を参照すると、4つの射線(A〜D)がピクセルを横断しており、各々の射線が左側に示すスカラ・プロファイルを備えている。各々の射線に沿ったグレイの領域は、骨がこの領域に位置している確率が高いことを示している。すべての軌跡が符合しているので、この骨領域においては確率の和が高くなる。図3〜図6は各軌跡を示す。
【0015】
図7〜図9は、図1の方法を用いた代表的な画像を示している。図7では、CTアンジオグラフィ・データの元来のスライスが単一の射線70と共に示されている。領域71は高い骨の確率を示し、領域72は低い骨の確率を示している。図8は、射線70について算出された確率バッファを示す。図9は、骨領域を明るい白で強調している。コントラスト強調されている領域が骨として分類されていないことに留意されたい。
【0016】
尚、射線処理は、元のデータばかりでなく画像から導出される任意の他の情報を解析し得ることを特記しておく。例えば、入力画像から勾配情報を予め算出して、射線処理時に解析することができる。また、可能性としては血管又は他の何らかの構造に続くと、射線の軌跡が非線形となり得る場合もある。
【0017】
多数回のセグメント分割計算を実行して、一回の計算の結果が暫定的なセグメント分割又は分類を生成するようにすることも可能である。例えば、最終的な計算段階を用いて、領域の成長を予め分類されている骨領域に連結する。
【0018】
CT逆投影との演算の類似性がある場合には、本書に記載した方法をCT逆投影ハードウェアで具現化することができる。現状の逆投影ハードウェアによってこれを行なうためには、僅かにアルゴリズムを変更する必要があろう。例えば、逆投影との互換性のために、射線全体に沿って骨に遭遇する確率を表わす合成ビュー・データを生成してもよい。次いで、この値を、X線輸送を模擬する場合と同様にして減衰させる。
【0019】
本書で本発明の好適実施形態を図示すると共に説明したが、かかる実施形態は例示のみのために記載されていることは明らかであろう。当業者であれば、本書の発明から逸脱しない多くの変形、改変及び置換に想到されよう。従って、本発明は特許請求の要旨及び範囲によってのみ限定されるものとする。
【図面の簡単な説明】
【図1】本発明の好適実施形態を適用することのできる入力データのセグメント分割方法を示すブロック図である。
【図2】本発明の好適実施形態を適用することのできる代表的な入力データの図である。
【図3】図2の入力データのスカラ・プロファイルの図である。
【図4】図2の入力データのスカラ・プロファイルの図である。
【図5】図2の入力データのスカラ・プロファイルの図である。
【図6】図2の入力データのスカラ・プロファイルの図である。
【図7】本発明の好適実施形態を適用することのできるCT画像データの図である。
【図8】図7に示すデータの暫定的な確率計算の図である。
【図9】図1の方法を用いた結果の画像の図である。
【符号の説明】
70 射線
71 骨の確率が高い部分
72 骨の確率が低い部分
90 骨領域

Claims (3)

  1. 入力空間をセグメント分割する方法であって、
    前記入力空間の複数のビューに沿って、骨様プロファイル特性について前記入力空間をサンプリングする(120)相互に交差する複数の射線を投射する工程(110)と、
    前記複数のビューの各々に対応する前記複数の射線の各々の範囲内で、前記骨様プロファイル特性に対応する領域を識別するための骨の確率を計算する工程(130、140、150)と、
    前記骨様プロファイル特性を有する領域を示す出力空間を形成するように前記識別された領域を処理する工程(170)とを備え、
    前記骨の確率を計算する工程は、皮質骨及び海綿骨を示すパターンを識別する工程を含み、前記皮質骨及び海綿骨を示すパターンを識別する工程は、
    前記射線に沿って1次元の勾配を解析する工程と、
    骨への入りを予め示す勾配G1を特定する工程と、
    前記勾配G1から2mmの範囲内で前記勾配G1を上回る勾配の大きさを有する逆勾配G2を特定する工程と、
    を含んでいる方法。
  2. 前記入力空間は計算機式断層写真法(CT)画像データ、磁気共鳴(MR)画像データ、超音波画像データ又は、X線画像データから導出される請求項1に記載の方法。
  3. 前記複数の射線の各々に沿った確率を処理して中間バッファとする工程と、
    前記中間バッファを最終的な骨の確率画像へ変換する工程をさらに含んでいる請求項1に記載の方法。
JP2001355434A 2000-11-22 2001-11-21 断層像セグメント分割 Expired - Fee Related JP4236405B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/721,194 US6744911B1 (en) 2000-11-22 2000-11-22 Tomographic segmentation
US09/721194 2000-11-22

Publications (2)

Publication Number Publication Date
JP2002301051A JP2002301051A (ja) 2002-10-15
JP4236405B2 true JP4236405B2 (ja) 2009-03-11

Family

ID=24896934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001355434A Expired - Fee Related JP4236405B2 (ja) 2000-11-22 2001-11-21 断層像セグメント分割

Country Status (4)

Country Link
US (1) US6744911B1 (ja)
EP (1) EP1225542B1 (ja)
JP (1) JP4236405B2 (ja)
IL (1) IL146452A (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349563B2 (en) * 2003-06-25 2008-03-25 Siemens Medical Solutions Usa, Inc. System and method for polyp visualization
US7616794B2 (en) * 2004-01-26 2009-11-10 Siemens Medical Solutions Usa, Inc. System and method for automatic bone extraction from a medical image
US7593762B2 (en) * 2004-04-09 2009-09-22 Siemens Medical Solutions Usa, Inc. System and method for automatically segmenting bones in computed tomography angiography data
WO2006097911A1 (en) * 2005-03-17 2006-09-21 Algotec Systems Ltd. Bone segmentation
US7860283B2 (en) 2006-10-25 2010-12-28 Rcadia Medical Imaging Ltd. Method and system for the presentation of blood vessel structures and identified pathologies
US7940977B2 (en) * 2006-10-25 2011-05-10 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures to identify calcium or soft plaque pathologies
US7940970B2 (en) 2006-10-25 2011-05-10 Rcadia Medical Imaging, Ltd Method and system for automatic quality control used in computerized analysis of CT angiography
US7873194B2 (en) * 2006-10-25 2011-01-18 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures and pathologies in support of a triple rule-out procedure
US7983459B2 (en) 2006-10-25 2011-07-19 Rcadia Medical Imaging Ltd. Creating a blood vessel tree from imaging data
US7907761B2 (en) * 2007-04-20 2011-03-15 General Electric Company Method for registration and navigation of volumetric scans using energy profiles
US9008394B2 (en) * 2008-11-26 2015-04-14 General Electric Company Methods and apparatus for determining brain cortical thickness
JP5399225B2 (ja) * 2008-12-15 2014-01-29 富士フイルム株式会社 画像処理装置および方法並びにプログラム
EP2476095A4 (en) 2009-09-11 2017-11-01 Straxcorp Pty Ltd Method and system for image analysis of selected tissue structures
US8510048B2 (en) * 2011-01-24 2013-08-13 Raytheon Company Method for detecting underground tunnels
BR112014008461A2 (pt) * 2011-10-11 2017-04-11 Koninklijke Philips Nv aparelho para pós-processamento de imagens de corte de seção transversal 2d definindo um conjunto de dados de volume de imagem 3d; interface gráfica de usuário; método de pós-processamento de imagens de corte de seção transversal 2d; sistema médico para pós-processamento de imagens de corte de seção transversal 2d; elemento de programa de computador para controle de um aparelho; e mídia executável por computador
EP3381512A1 (en) * 2017-03-30 2018-10-03 Koninklijke Philips N.V. Determining at least one final two-dimensional image for visualizing an object of interest in a three-dimensional ultrasound volume
US10438350B2 (en) 2017-06-27 2019-10-08 General Electric Company Material segmentation in image volumes

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5226113A (en) 1989-10-30 1993-07-06 General Electric Company Method and apparatus for volumetric projection rendering using reverse ray casting
JPH08138078A (ja) * 1994-11-09 1996-05-31 Toshiba Medical Eng Co Ltd 画像処理装置
US5959631A (en) * 1996-08-28 1999-09-28 Hewlett-Packard Company Hardware and software for the visualization of three-dimensional data sets
US6343936B1 (en) * 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
US5832134A (en) 1996-11-27 1998-11-03 General Electric Company Data visualization enhancement through removal of dominating structures
US5891030A (en) * 1997-01-24 1999-04-06 Mayo Foundation For Medical Education And Research System for two dimensional and three dimensional imaging of tubular structures in the human body
US5865750A (en) 1997-05-07 1999-02-02 General Electric Company Method and apparatus for enhancing segmentation in three-dimensional ultrasound imaging
US6211884B1 (en) * 1998-11-12 2001-04-03 Mitsubishi Electric Research Laboratories, Inc Incrementally calculated cut-plane region for viewing a portion of a volume data set in real-time
US6353677B1 (en) * 1998-12-22 2002-03-05 Mitsubishi Electric Research Laboratories, Inc. Rendering objects having multiple volumes and embedded geometries using minimal depth information

Also Published As

Publication number Publication date
EP1225542A2 (en) 2002-07-24
EP1225542B1 (en) 2011-09-28
IL146452A (en) 2005-05-17
EP1225542A3 (en) 2005-10-19
JP2002301051A (ja) 2002-10-15
US6744911B1 (en) 2004-06-01
IL146452A0 (en) 2002-07-25

Similar Documents

Publication Publication Date Title
JP4236405B2 (ja) 断層像セグメント分割
US10115197B1 (en) Apparatus and method for lesions segmentation
EP0760624B1 (en) Automated detection of lesions in computed tomography
JP5207649B2 (ja) 骨または他のカルシウム含有物質と軟部組織内の造影剤との自動差別化方法および装置
JP4149598B2 (ja) 画像収集中にx線イメージングシステムのコリメータを自動設定する方法、およびx線イメージングシステム
US7177453B2 (en) Method and apparatus for partitioning a volume
EP2284794B1 (en) X-ray CT apparatus and image processing device
JP4708362B2 (ja) コンピュータで実施される方法
JP3656695B2 (ja) 骨計測方法および装置
JP2004174232A (ja) 画像セットのコンピュータ支援診断
Karssemeijer et al. Recognition of organs in CT-image sequences: a model guided approach
KR100503424B1 (ko) 다중단면 전산화단층촬영 영상을 이용한 폐결절 자동 검출방법 및 이를 기록한 기록매체
JP2005296605A (ja) 放射線写真画像を診断関連領域と診断非関連領域とにセグメント化する方法
WO2007117506A2 (en) System and method for automatic detection of internal structures in medical images
EP3971830B1 (en) Pneumonia sign segmentation method and apparatus, medium and electronic device
JP5329103B2 (ja) 画像処理装置及びx線ct装置
Marar et al. Mandible bone osteoporosis detection using cone-beam computed tomography
Išgum et al. Automated aortic calcium scoring on low‐dose chest computed tomography
EP3928285A1 (en) Systems and methods for calcium-free computed tomography angiography
US20050002548A1 (en) Automatic detection of growing nodules
US20070053570A1 (en) Image processing method, and computer-readable recording medium in which image processing program is recorded
JP5279996B2 (ja) 画像抽出装置
JPH11155849A (ja) 骨画像情報取得方法
Venkatachalam et al. Processing of abdominal ultrasound images using seed based region growing method
Kaftan et al. Locally adaptive fuzzy pulmonary vessel segmentation in contrast enhanced CT data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees