JP4401121B2 - 異常陰影検出装置 - Google Patents

異常陰影検出装置 Download PDF

Info

Publication number
JP4401121B2
JP4401121B2 JP2003275883A JP2003275883A JP4401121B2 JP 4401121 B2 JP4401121 B2 JP 4401121B2 JP 2003275883 A JP2003275883 A JP 2003275883A JP 2003275883 A JP2003275883 A JP 2003275883A JP 4401121 B2 JP4401121 B2 JP 4401121B2
Authority
JP
Japan
Prior art keywords
abnormal shadow
image
shadow detection
tomographic
tomographic images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003275883A
Other languages
English (en)
Other versions
JP2005034473A5 (ja
JP2005034473A (ja
Inventor
良洋 後藤
宮崎  靖
謙 石川
哲彦 高橋
毅 三竹
博 西村
悦治 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2003275883A priority Critical patent/JP4401121B2/ja
Publication of JP2005034473A publication Critical patent/JP2005034473A/ja
Publication of JP2005034473A5 publication Critical patent/JP2005034473A5/ja
Application granted granted Critical
Publication of JP4401121B2 publication Critical patent/JP4401121B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は異常陰影検出装置に係り、特に全身に適用可能な異常陰影検出装置に関するものである。
コンピュータ支援診断装置(以下、CADという)を用いて患者の異常陰影を検出することが行われている。異常陰影の検出では、胸部、肝臓、大腸等の部位によって異なるCADが用いられている(例えば、非特許文献1参照)。
"OmniCAD(TM)"、[online]、2003年、R2 Technology, Inc. 、[平成15年7月1日検索]、インターネット<URL: HYPERLINK "http://www.r2tech.com/prd/shared/pdf/OmniCad.pdf" http://www.r2tech.com/prd/shared/pdf/OmniCad.pdf>
しかしながら、上述のような従来の異常陰影検出では、患者の全身を診断するためには部位によって異なるCADを用いなければならず、また時間の経過による陰影の変化を捕らえにくいものであった。
本発明は上記事情を鑑みてなされたもので、患者の全身に適用可能で陰影の経時変化を容易に確認できる異常陰影検出装置を提供することを目的とする。
上記目的を達成するために、請求項1に係る異常陰影検出装置は、異なる日時に取得された被検体の頭部、頸部、胸部、腹部、及び脚部の少なくとも一以上を含む部位の医用画像を、取得日時と関連付けて格納する画像格納手段と、被検体の部位ごとの異常陰影検出アルゴリズムを記憶する記憶手段と、前記医用画像に撮影されている前記被検体の部位を、前記医用画像に基づいて判断し、前記記憶手段に記憶された異常陰影検出アルゴリズムから、前記判断された医用画像の部位に対する異常陰影検出アルゴリズムを選択する選択手段と、該選択された異常陰影検出アルゴリズムを用いて、前記画像格納手段に格納された医用画像の異常陰影の検出を行う検出手段と、前記検出手段によって検出された結果を表示する表示手段と、を備えている。
請求項1に係る異常陰影検出装置は、異なる日時に取得された医用画像と、医用画像の部位に応じた異常陰影検出アルゴリズムを用いて異常陰影の検出を行うので、患者の全身に適用可能で陰影の経時変化を容易に確認できる。
請求項2に係る異常陰影検出装置は、請求項1に記載の異常陰影検出装置において、前記医用画像は所定のスライス間隔で取得された断層像であって、前記画像格納手段には該断層像が格納されており、前記検出手段は、異常陰影を検出する際に、前記断層像を前記スライス間隔以下の間隔で補間した断層像を作成することを特徴としている。
請求項に係る異常陰影検出装置では、断層像のスライス厚以下の間隔で異常陰影の検出を行うことができる。また、多数の断層像をあらかじめ格納しておく必要がなく、必要な部位の断層像を異常陰影検出の際に作成すればよいので、記憶容量を削減できる。
請求項3に係る異常陰影検出装置は、請求項2に記載の異常陰影検出装置において、前記検出手段は、異常陰影を検出する際に、前記作成した断層像から取得日時の異なる同一位置の断層像を選択し、該選択した断層像を差分演算し、差分演算して得られた差分画像に対して前記選択された異常陰影検出アルゴリズムを適用して異常陰影の検出を行う、ことを特徴としている。
請求項3に係る異常陰影検出装置では、取得日時の異なる同一位置の断層像を選択して差分演算を行うので、異常陰影の経時変化をいっそう容易に確認することができる。
また、請求項4に係る異常陰影検出装置は、請求項3に記載の異常陰影検出装置であって、前記断層像は、所定のスライス間隔で取得された断層像からなる複数セットの断層像であり、前記検出手段は、前記複数セットの断層像のスライス間隔が一致するように、前記断層像を前記スライス間隔以下の間隔で補間することを特徴とする。
また、請求項5に係る異常陰影検出装置では、請求項2、3、又は4に記載の異常陰影検出装置において、前記検出手段は、部位及び年齢の少なくとも一つに対応させた成長の割合に基づいて、前記補間により作成する断層像の枚数を部位毎に変更することを特徴とする。
本発明に係る異常陰影検出装置は患者の全身に適用でき、陰影の経時変化を容易に確認することができる。
以下、添付図面に従って、本発明に係る異常陰影検出装置の好ましい実施の形態について詳説する。
図1に、本実施の形態が適用された異常陰影検出システム10の構成を示す。異常陰影検出システム10は、異常陰影検出装置20、CT装置40、及びMRI装置50を含み、これらの装置がLAN60を介して接続されている。
異常陰影検出装置20は本発明の異常陰影検出装置に係るもので、中央処理装置(以下、CPUという)22、主メモリ24、磁気ディスク26、表示メモリ28、CRT30、コントローラ32、マウス34、キーボード36を備えており、これらは共通バス38を介して接続されている。
磁気ディスク26には、CT装置40やMRI装置50で撮影した画像のデータが保存されたデータベース100や異常陰影検出プログラム200が格納されており、CPU22はこのプログラムに従って所定の処理を行う。処理に際しては、主メモリ24が画像やデータの一時記憶、処理用の領域として用いられる。処理結果は表示メモリ28を介してCRT30に表示されるとともに磁気ディスク26に格納され、再表示や結果参照に利用される。
CT装置40やMRI装置50は、断層像やDR画像等、患者の医用画像を撮影するもので、撮影した画像のデータは、LAN60を介して磁気ディスク26に格納されたデータベース100に保存できるようになっている。
次に、異常陰影検出システム10での異常陰影検出手順を図3に基づいて説明する。なお、以下では、断層像に対する異常陰影検出を行う場合について説明している。
まず、図2に示すように、CT装置40やMRI装置50を用いてN1才時に全身の断層像を撮影し、画像データを異常陰影検出装置20のデータベース100に保存する(ステップ30)。
次に、CT装置40やMRI装置50を用いてN2才時に全身の断層像を撮影し、画像データをセットにしてデータベース100に保存する(ステップ31)。その後も、定期的あるいは不定期的に(Nx才時に)、CT装置40やMRI装置50を用いて全身を撮影した断層像のデータをセットにして保存する。これらのデータを用いて、異常陰影検出装置20が異常陰影の検出を行う。
異常陰影検出の際には、経時的に保存しておいた複数セットの断層像を用いて各セットの対応する断層像間で引き算をするが、断層像のスライス間隔(例えば5mmから10mm程度)は各セットの間で異なっている場合もあるので、断層像の引き算を行う前に、撮影時のスライス間隔以下で断層像を補間する(ステップ32)。補間により作成する断層像の間隔(例えば、1mm)は、引き算を行うセットの間でそろえておく。
ここで、図3の例に示すように、肩峰と肋骨端の間、肋骨端と骨盤の上端、骨盤の上端と尾骨の間、尾骨からつま先までという具合に、区間や年齢により成長の割合が異なるため、補間により作成する断層像の枚数は異なる。例えば図3では、頭部なら断層像の枚数が1.03倍になり、脚部では1.07倍になる。またこの際、例えば胸部用アルゴリズムは図7の肩峰から肋骨端まで有効であることを予め調べておく。
補間演算後、断層像間で引き算をする(ステップ33)。断層像の引き算は、解剖学的に同位置の断層像同士で行う。引き算後、断層像の部位に応じたアルゴリズムで異常陰影検出を行って(ステップ34)、結果をCRT30に表示する(ステップ35)。ステップ34では、部位に応じて円形度等の特徴量を用いて異常陰影を検出してもよいし、各部位用のCADと同様の方法により異常陰影を検出してもよい。
なお、解剖学的に同位置であっても、撮影時期や撮影条件の違いによって、断層像中の被検体の位置や大きさが異なる場合がある。このため、画像の引き算の際に、位置合わせ(移動、回転)や大きさ合わせ(拡大、縮小)を行うようにしてもよい。
このように、異常陰影検出装置20では、補間演算により作成した断層像間の引き算を行うので、異常陰影の経時変化を容易に確認することができる。
以上は各部位ごとの異常陰影検出の説明である。次に、全身データを連続的に処理する手順を、図6を用いて説明する。
まず、異なる日時(例えば、N1歳とN2歳)に撮影した断層像のセットを入力する(ステップ47)。次に、それぞれの断層像を、スライス間隔以下の間隔(例えば1mm)で補間して断層像を作成する(ステップ48)。この補間間隔は、セット間でそろえておく。
このように、異常陰影検出装置20では多数の断層像をあらかじめ格納しておく必要がなく、必要な部位の断層像を異常陰影検出の際に作成すればよいので、記憶容量を削減することができる。また、補間により間隔をそろえればよいので、セット間で断層像のスライス間隔が異なる場合でも異常陰影の検出を行うことができる。
各セットについて作成した断層像の中から、解剖学的に同位置となる断層像を選択する(ステップ49)。この際、各セットの断層像同士で相関をとり、最も相関が高くなる2つの画像を同位置とすることができる。ステップ49で選択した断層像について、以下の処理を行う。
画像を頭部用に分類するか否かを判断する(ステップ50)。頭蓋骨に対応するCT値の高い楕円状の領域が画像に存在する間は頭部と判断するようにしてもよいし、頭蓋骨の端が写っている画像から調べていき、目が画像に現れたのを認識できるまで頭部と判断するようにしてもよい。
どのような画像を頭部と判断するかは、医学的区別ではなく、用いるアルゴリズムの性質に依存する。具体的には、頭部か否かの判断を、頭蓋骨に相当するCT値1000以上で中空の閉領域が存在するか否かにより行うこともできる。
判断が肯定されると、ステップ55へ進んで頭部用アルゴリズムで演算をした後にステップ60へ進む。ステップ55の演算では、上述のステップ30から34で説明したように、異なる時期に撮影した断層像を補間して解剖学的に同位置となる断層像を作成し、それらの断層像間で引き算をした後に頭部用アルゴリズムで異常陰影の検出を行う。一方、判断が否定されると次のステップ51へ進む。
ステップ51では、画像が頸部か否かを判断する。頸部領域であることは、頭部スライスから連続的な領域になっているので分かる。例えば、図7の肩峰が画像中に認識できるまで頸部と判断する。判断が肯定されると、ステップ56へ進んで頸部用アルゴリズムで演算をした後にステップ60へ進む。ステップ56の演算では、異なる時期に撮影した断層像を補間して解剖学的に同位置となる断層像を作成し、それらの断層像間で引き算をした後に頸部用アルゴリズムで異常陰影の検出を行う。一方、ステップ51で判断が否定されると次のステップ52へ進む。
ステップ52では、画像が胸部か否かを判断する。胸部か否かの判断は、CT値がマイナス900以下で中空の閉領域が存在するか否かで行うことができる。判断が肯定されると、ステップ57へ進んで胸部・腹部用アルゴリズムで演算した後にステップ60へ進む。ステップ57の演算では、異なる時期に撮影した断層像を胸部・腹部に適用される補間して解剖学的に同位置となる断層像を作成し、それらの断層像間で引き算をした後に胸部・腹部用アルゴリズムで異常陰影の検出を行う。一方、ステップ52で判断が否定されると次のステップ53に進む。
ステップ53では、画像が腹部か否かを判断する。腹部領域であることは、胸部スライスから連続的な領域になっているので分かる。判断が肯定されると、ステップ58へ進んで胸部・腹部用アルゴリズムで演算した後にステップ60へ進む。ステップ58の演算では、異なる時期に撮影した断層像を補間して解剖学的に同位置となる断層像を作成し、それらの断層像間で引き算をした後に腹部用アルゴリズムで異常陰影の検出を行う。一方、ステップ53で判断が否定されると次のステップ54へ進む。
ステップ54では、画像が脚部か否かを判断する。脚部であることは、足の骨に相当するCT値1000以上の領域の周りに筋肉に相当する低いCT値を持つ領域が取り囲んでいるのを認識して判断する。判断が肯定されると、ステップ59へ進んで脚部用アルゴリズムで演算した後にステップ60へ進む。ステップ59の演算では、撮影時期の異なる断層像を補間して解剖学的に同位置となる断層像を作成し、それらの断層像間で引き算をした後に脚部用アルゴリズムで異常陰影の検出を行う。一方、ステップ54で判断が否定されると次のステップ60へ進む。
上記ステップ55からステップ59における異常陰影検出は、部位に応じて円形度などの特徴量を用いて行ってもよいし、各部位用のCADと同様の方法で行ってもよい。
ステップ60では、全身データの処理を終了したか否かを判断する。肯定されるとステップ61へ進んで異常陰影の検出結果を表示した後に本処理ルーチンを終了し、否定されるとステップ49へ戻って断層像の選択と異常陰影検出処理を繰り返す。
このように、異常陰影検出装置20は、異なる日時に取得された断層像について、撮影部位を識別し、その結果に基づいて選択したアルゴリズムを用いて異常陰影の検出を行うので、患者の全身に適用可能で異常陰影の経時変化を容易に確認することができる。
なお、本実施例では断層像に対する異常陰影検出を行う場合について説明しているが、本発明に係る異常陰影検出方法及び装置は断層像だけでなく、DR画像などのレントゲン画像等、他の医用画像にも適用可能である。
本発明の一の実施の形態に係る異常陰影検出システムの構成を示すブロック図である。 本発明の一の実施の形態に係り、異常陰影検出システムの概要を示す図である。 本発明の一の実施の形態に係り、患者の部位に応じた補間比率の設定を示す図である。 本発明の一の実施の形態に係り、異常陰影検出システムでの処理の流れを示す図である。 本発明の一の実施の形態に係り、患者の部位に応じた異常陰影検出アルゴリズムの選択を示す図である。 本発明の一の実施の形態に係り、全身のデータ処理を示す図である。 本発明の一の実施の形態に係り、肩峰を示す図である。 本発明の一の実施の形態に係り、尾骨を示す図である。 本発明の一の実施の形態に係り、脚部の外側半月を示す図である。
符号の説明
10…異常陰影検出システム、20…異常陰影検出装置、40…CT装置、50…MRI装置、60…LAN、100…データベース

Claims (5)

  1. 異なる日時に取得された被検体の頭部、頸部、胸部、腹部、及び脚部の少なくとも一以上を含む部位の医用画像を、取得日時と関連付けて格納する画像格納手段と、
    被検体の部位ごとの異常陰影検出アルゴリズムを記憶する記憶手段と、
    前記医用画像に撮影されている前記被検体の部位を、前記医用画像に基づいて判断し、前記記憶手段に記憶された異常陰影検出アルゴリズムから、前記判断された医用画像の部位に対する異常陰影検出アルゴリズムを選択する選択手段と、
    該選択された異常陰影検出アルゴリズムを用いて、前記画像格納手段に格納された医用画像の異常陰影の検出を行う検出手段と、
    前記検出手段によって検出された結果を表示する表示手段と、
    を備える異常陰影検出装置。
  2. 前記医用画像は所定のスライス間隔で取得された断層像であって、前記画像格納手段には該断層像が格納されており、
    前記検出手段は、異常陰影を検出する際に、前記断層像を前記スライス間隔以下の間隔で補間した断層像を作成することを特徴とする、
    請求項1に記載の異常陰影検出装置。
  3. 前記検出手段は、異常陰影を検出する際に、前記作成した断層像から取得日時の異なる同一位置の断層像を選択し、該選択した断層像を差分演算し、差分演算して得られた差分画像に対して前記選択された異常陰影検出アルゴリズムを適用して異常陰影の検出を行うことを特徴とする、
    請求項2に記載の異常陰影検出装置。
  4. 前記断層像は、所定のスライス間隔で取得された断層像からなる複数セットの断層像であり、
    前記検出手段は、前記複数セットの断層像のスライス間隔が一致するように、前記断層像を前記スライス間隔以下の間隔で補間する、
    ことを特徴とする請求項3に記載の異常陰影検出装置。
  5. 前記検出手段は、部位及び年齢の少なくとも一つに対応させた成長の割合に基づいて、前記補間により作成する断層像の枚数を部位毎に変更することを特徴とする、
    請求項2、3、又は4に記載の異常陰影検出装置。
JP2003275883A 2003-07-17 2003-07-17 異常陰影検出装置 Expired - Fee Related JP4401121B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003275883A JP4401121B2 (ja) 2003-07-17 2003-07-17 異常陰影検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003275883A JP4401121B2 (ja) 2003-07-17 2003-07-17 異常陰影検出装置

Publications (3)

Publication Number Publication Date
JP2005034473A JP2005034473A (ja) 2005-02-10
JP2005034473A5 JP2005034473A5 (ja) 2006-08-17
JP4401121B2 true JP4401121B2 (ja) 2010-01-20

Family

ID=34212392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003275883A Expired - Fee Related JP4401121B2 (ja) 2003-07-17 2003-07-17 異常陰影検出装置

Country Status (1)

Country Link
JP (1) JP4401121B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229200B2 (en) 2005-03-14 2012-07-24 General Electric Company Methods and systems for monitoring tumor burden
JP4855141B2 (ja) 2006-05-19 2012-01-18 富士フイルム株式会社 医用画像部位認識装置、及び、医用画像部位認識プログラム
JP5196751B2 (ja) 2006-09-13 2013-05-15 株式会社東芝 コンピュータ支援診断装置
JP2008079760A (ja) 2006-09-27 2008-04-10 Fujifilm Corp 画像圧縮処理方法及び画像圧縮処理装置並びに医用ネットワークシステム
JP5283411B2 (ja) * 2008-03-26 2013-09-04 富士フイルム株式会社 画像表示装置および画像表示装置の作動方法並びに画像表示プログラム
JP5175752B2 (ja) * 2009-01-22 2013-04-03 株式会社東芝 医用画像処理装置
AU2010231365A1 (en) * 2009-03-31 2010-10-07 Fujifilm Corporation Image processing apparatus and method and program
JP5725797B2 (ja) 2010-10-29 2015-05-27 株式会社東芝 医用画像処理装置
JP6677256B2 (ja) * 2015-09-02 2020-04-08 富士通株式会社 読影支援プログラム、断面画像生成装置及び断面画像生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3085724B2 (ja) * 1991-05-10 2000-09-11 株式会社東芝 医用診断支援システム
JPH096870A (ja) * 1995-06-16 1997-01-10 Toshiba Medical Eng Co Ltd 異常陰影自動検出装置
JP4702971B2 (ja) * 1999-11-10 2011-06-15 株式会社東芝 コンピュータ支援診断システム
JP2001190546A (ja) * 2000-01-17 2001-07-17 Hitachi Medical Corp X線ct装置用画像処理装置
JP4393016B2 (ja) * 2000-06-30 2010-01-06 株式会社日立メディコ 画像診断支援装置
JP2003038476A (ja) * 2001-08-03 2003-02-12 Konica Corp コンピュータ支援診断システム

Also Published As

Publication number Publication date
JP2005034473A (ja) 2005-02-10

Similar Documents

Publication Publication Date Title
US8334878B2 (en) Medical image processing apparatus and medical image processing program
JP5534607B2 (ja) 医用画像処理装置及び、そのプログラム
US7724931B2 (en) Method and apparatus for evaluating a 3D image of a laterally-symmetric organ system
JP6257092B2 (ja) 画像処理装置及び脊柱管評価方法
EP2925216B1 (en) Stenosis therapy planning
JP5943353B2 (ja) 画像処理装置及び画像処理方法
US11138746B2 (en) Diagnostic support system and diagnostic support method
JP7120560B2 (ja) 診断支援システム、診断支援方法及び診断支援プログラム
JP2008000536A (ja) 画像表示装置
Yang et al. Feasibility of automatic measurements of hip joints based on pelvic radiography and a deep learning algorithm
JP4401121B2 (ja) 異常陰影検出装置
ten Berg et al. Quantifying scaphoid malalignment based upon height-to-length ratios obtained by 3-dimensional computed tomography
JP2006102353A (ja) 関節動作解析装置、関節動作解析方法及び関節動作解析プログラム
JP6897656B2 (ja) 画像表示制御システム、画像表示システム、画像解析装置、画像表示制御プログラム及び画像表示制御方法
CN109350059B (zh) 用于肘部自动对准的组合的转向引擎和界标引擎
JP2009082464A (ja) 画像表示装置および画像表示プログラム
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
US11478207B2 (en) Method for visualizing a bone
KR101929953B1 (ko) 환자 맞춤형 진단 보조 정보 제공 시스템, 장치 및 방법
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2004275361A (ja) 画像表示装置
JP2000020628A (ja) コンピュータ支援診断システム
JP2010075327A (ja) 画像診断支援装置、画像診断支援方法及びプログラム
EP4187546A1 (en) Assisting subject positioning in medical imaging
JP7086630B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090608

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090714

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091027

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees