JP5214876B2 - 3次元画像処理装置及び医用画像診断装置 - Google Patents

3次元画像処理装置及び医用画像診断装置 Download PDF

Info

Publication number
JP5214876B2
JP5214876B2 JP2006338769A JP2006338769A JP5214876B2 JP 5214876 B2 JP5214876 B2 JP 5214876B2 JP 2006338769 A JP2006338769 A JP 2006338769A JP 2006338769 A JP2006338769 A JP 2006338769A JP 5214876 B2 JP5214876 B2 JP 5214876B2
Authority
JP
Japan
Prior art keywords
blood vessel
image
blood flow
dimensional image
blood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006338769A
Other languages
English (en)
Other versions
JP2008148858A (ja
Inventor
吉勝 板田
史樹 中野
智司 若井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2006338769A priority Critical patent/JP5214876B2/ja
Publication of JP2008148858A publication Critical patent/JP2008148858A/ja
Application granted granted Critical
Publication of JP5214876B2 publication Critical patent/JP5214876B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/507Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、医用画像を画像処理する3次元画像処理装置及びそれを備える医用画像診断装置に関し、特に被検体の血管内部の3次元画像データを血管内部で定めた視点位置から見たときの立体画像として作成して表示する3次元画像処理装置及びそれを備える医用画像診断装置に関する。
従来、被検者に対する医用検査で生成されたX線CT画像やMR画像等の2次元断層画像(スライス画像)データから3次元画像データを構築し、これを2次元画面上に立体表示することにより、人体内の各臓器の形状や大きさ等をその各臓器の外部から観察できる3次元画像表示装置が知られている。
このような3次元画像表示装置において、内部が空洞である血管や胃等の臓器を対象とし、その血管や臓器の内部に視点を置き、その視点で定めた視線に沿った3次元画像を構築し、これを電子内視鏡装置で観察される内視鏡画像のように、2次元画面上に立体表示させることにより、血管や臓器の内部を観察可能とする仮想内視鏡表示が、例えば特許文献1において知られている。
特開平9−139339号公報
ここで、上記のような仮想内視鏡表示においては、血管の内部の立体画像を表示することが可能であるが、血管内部における異常の検出を容易とするために、立体画像を見ながら、血管内部を流れる血液が逆流している部分や狭窄部位等で血流速度の遅い部分などを瞬時に知りたいという欲求がなされている。
本発明は、上記の事情に鑑みてなされたもので、血管内を流れる血液の血流情報を血管内部の立体表示と共に表示可能な3次元画像処理装置及びこのような3次元画像処理装置を備えた医用画像診断装置を提供することを目的とする。
上記の目的を達成するために、本発明の請求項1による3次元画像処理装置は、被検体の対象部位に関する複数の断層画像データから前記被検体の血管の表面形状データを含む3次元画像データを構築すると共に、該構築した3次元画像データを血管内部で定めた視点位置から見たときの当該血管内部の立体画像として表示する3次元画像表示手段と、前記血管内部の立体画像中の少なくとも1点の位置を指定するための位置指定手段と、前記血管内部の立体画像に、前記指定された位置に対応した血管内部を流れる血液の血流情報を合成して前記3次元画像表示手段に表示させる合成手段と、を具備することを特徴とする。
また、上記の目的を達成するために、本発明の請求項による3次元画像処理装置は、被検体の対象部位に関する複数の断層画像データを収集し、該収集した断層画像から前記被検体の血管の表面形状データを含む3次元画像データを構築する3次元画像データ構築手段と、前記3次元画像データを血管内部で定めた視点位置から見たときの当該血管内部の立体画像として表示する3次元画像表示手段と、前記血管内部の立体画像中の少なくとも1点の位置を指定するための位置指定手段と、前記指定された位置に対応した血管内部を流れる血液の血流情報を収集する血流情報収集手段と、前記血管内部の立体画像に、前記収集された血流情報を合成して前記3次元画像表示手段に表示させる合成手段とを具備することを特徴とする。
本発明によれば、血管内を流れる血液の血流情報を血管内部の立体表示と共に表示可能な3次元画像処理装置及びこのような3次元画像処理装置を備えた医用画像診断装置を提供することができる。
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る医用画像診断装置の構成を示すブロック図である。図1に示す医用画像診断装置は、画像収集部10と、血流情報収集部20と、画像処理部30と、入力部40と、表示部50とから構成されている。ここで、図1に示す医用画像診断装置は、特に限定されるものではなく、例えばX線CT装置やMRI装置等の被検体の断層画像を撮影可能な医用画像診断装置が挙げられる。
図1に示すように、画像収集部10には、心電計11が接続されている。心電計11は、被検体の心臓の収縮によって生ずる微弱な電流を検出し、検出された電流の時間変化を心電波形として画像収集部10に出力する。画像収集部10は、心電計11の心電波形情報に基づいて動作し、被検体の内部を撮像してX線CT画像やMR画像等の断層画像データを複数枚収集し、該収集した複数枚の断層画像データから補間処理により被検体の臓器や血管の表面形状データを含む3次元画像データ(ボリュームデータ)を構築する。そして、構築した3次元画像データを心電波形情報と対応付けて画像処理部30の仮想内視鏡画像生成部31に出力する。この画像収集部10による画像収集は、例えばX線CT装置やMRI装置により行うことができる。
なお、臓器内腔を仮想内視鏡表示するために、必要があれば画像収集部10において仮想内視鏡表示の妨げとなる部分の画像をセグメンテーション技術により削除するようにしても良い。
血流情報収集部20には、心電計21が接続されている。そして、血流情報収集部20は、心電計21によって出力される心電波形情報に基づいて、被検体の血流情報(血流速度及び血流方向等)を収集すると共に、後述する仮想内視鏡画像と血流情報との対応付けを行うために、被検体の断層画像を収集して3次元画像データを構築し、心電波形情報、血流情報、及び3次元画像データを対応付けて画像処理部30の合成部32に出力する。ここで、血流情報収集部20による血流情報の収集は、例えば超音波のドップラ効果を利用して行っても良いし、MRI装置におけるMR血流計測を利用しても良い。或いは、X線CT装置における造影剤注入時の造影部分の動態から血流情報を収集するようにしても良い。即ち、血流情報収集部20は、被検体の3次元画像データ及び血流情報を収集できるものであれば特に限定されるものではない。
画像処理部30は、仮想内視鏡画像生成部31と、合成部32とから構成されている。
仮想内視鏡画像生成部31は、医師等のユーザによって指定された臓器内腔を、ユーザによって指定された視点位置から見たときの3次元画像データ(仮想内視鏡画像データ)を生成する。即ち、仮想内視鏡画像生成部31は、例えばX線CT画像やMR画像などの医用画像の種類に応じた臓器の特徴、例えば臓器の位置、大きさ、しきい値、エッジ、画素値の分布統計量等に基づいて、画像収集部10で得られたボリュームデータからユーザによって指定された臓器内腔を2値化画像として抽出する。更に、この2値化画像データと、もとの3次元画像データと、入力部40から入力される仮想内視鏡表示の際の視野角、視点位置、及び視線方向の情報とに基づいて仮想内視鏡画像データを作成し、この仮想内視鏡画像データを心電波形情報と共に合成部32に出力する。
合成部32は、仮想内視鏡画像生成部31によって生成された仮想内視鏡画像データに血流情報収集部20によって収集された血流情報を視認可能に表示するための血流情報表示画像データを合成して表示部50に出力する。
入力部40は、医師等のユーザが医用画像診断装置の各種入力操作を行うための、例えばマウス等の操作部である。表示部50は、合成部32において合成された仮想内視鏡画像を2次元画面上に表示する、例えば液晶ディスプレイ等の表示部である。
以下、本実施形態の医用画像診断装置の動作について説明する。図2は、本実施形態の医用画像診断装置の主要な動作について示すフローチャートである。
まず、心電計11の動作に同期して画像収集部10によって被検体が撮像され、これにより収集される断層画像から被検体被検体の臓器や血管の表面形状データを含む3次元画像データ(ボリュームデータ)が得られる(ステップS1)。また、心電計21の動作に同期して血流情報収集部20によって被検体の血流情報及び3次元画像データ(ボリュームデータ)が得られる(ステップS2)。その後、画像収集部10によって得られた3次元画像データが心電波形情報に対応付けられて画像処理部30に入力されると共に血流情報収集部20によって得られた3次元画像データ及び血流情報が心電波形情報に対応付けられて画像処理部30に入力される(ステップS3)。ここで、画像収集部10における3次元画像データの収集と血流情報収集部20における3次元画像データ及び血流情報の収集とは同時に行っても良いし、別に行っても良い。
続いて、医師等のユーザにより、仮想内視鏡表示する臓器内腔の位置、及び仮想内視鏡表示の際の視野角、視点位置、及び視線方向が指定される(ステップS4)。この際、画像収集部10によって得られた3次元画像データからユーザによって指定された臓器のMPR3断面画像若しくはボリュームレンダリング画像を生成し、これらの画像を表示部50に表示させた状態で視野角、視点位置、及び視線方向の指定を行えるようにしても良い。
以上の各種データ入力が終了すると、画像処理部30の仮想内視鏡画像生成部31において仮想内視鏡画像が生成される(ステップS5)。なお、ステップS5において生成される仮想内視鏡画像の不透明度や色は固定であっても良いが、ユーザが自由に設定できるようにしても良い。
仮想内視鏡画像が生成された後、合成部32により、仮想内視鏡画像に血流情報を視認可能に表示するための血流情報表示画像が合成される(ステップS6)。そして、血流情報表示画像が合成された仮想内視鏡画像が、例えば図3に示すようにして表示部50に表示される(ステップS7)。ここで、図3の参照符号51aは視点位置52における血流方向を示した血流情報表示画像であり、51bは視点位置52における血流速度を示した血流情報表示画像である。即ち、図3の例では、視点位置52においては血流方向が図面手前から奥方向であり、血流速度が300ml/s(20cm/s)であることを示している。なお、血流情報表示画像の表示位置や血流情報表示画像の表示形態は、図3に示すものに限るものではない。例えば、ステップS4の視点位置等の入力の際に、血流情報を表示させたい位置の情報を1つ以上入力できるようにして、その位置に対応した血流情報を、例えば図4の参照符号53、54に示すようにして表示させるようにしても良い。また、血液の3次元的な流れを視認しやすいように、血流を図4の参照符号55に示すような3次元的な矢印画像で示すようにしても良い。
また、図3及び図4のように表示されている仮想内視鏡画像においてユーザの入力部40の操作により、視点位置や視線方向を変更することもできる。この場合には、変更された視点位置や視線方向に基づいて図2のステップS5以降の処理を再び行うようにすれば良い。また、入力部40がホイールマウスのような操作部材であれば、ホイールの回転に伴って仮想内視鏡画像の視点位置を移動させるようなことも可能である。この場合、血流速度及び血流方向に応じて視点位置の移動速度を変化させれば、あたかもユーザが血流を走行しているかのような視覚効果を与えることも可能である。
更に、表示部50に仮想内視鏡画像は、単なる3次元画像に限らず、3次元画像を時系列に表示させる4次元画像であっても良い。この場合には、時間変化に伴って逐次新たな仮想内視鏡画像を生成し、生成した仮想内視鏡画像に血流情報表示画像を合成して表示させれば良い。
次に、ステップS6の合成処理について更に説明する。図5は、合成部32における合成処理について示すフローチャートである。
合成処理においては、まず、仮想内視鏡画像生成部31において生成された3次元画像データ(仮想内視鏡画像)と血流情報収集部20から入力された3次元画像データとの時相合わせが行われる(ステップS11)。即ち、心電計11の心電波形情報と心電計21の心電波形情報とから、血流情報収集部20から入力された3次元画像データのうち、仮想内視鏡画像生成部31において生成された仮想内視鏡画像データと心電波形上で同位相のタイミングで収集された3次元画像データが選択される。次に、仮想内視鏡画像生成部31において生成された3次元画像データとステップS11で選択された3次元画像データとの位置合わせが行われる(ステップS12)。
例えば、画像収集部10によって収集される3次元画像がX線CT画像であり、血流情報収集部20によって収集される血流情報が超音波のドップラ画像から得られる情報である場合、通常は、両者を収集したときの座標系が一致していないため、ステップS12に示す位置合わせを行う必要がある。なお、この位置合わせは、例えば、画像収集部10によって得られる3次元画像データと血流情報収集部20によって得られる3次元画像データとの特徴点マッチングにより、画像収集部10の座標系を血流情報収集部20の座標系に一致させるための画像空間位置補正データ(例えば、画像収集部10の座標系を血流情報収集部20の座標系に変換する変換マトリクス)を求めることにより行えば良い。このような位置合わせにより、画像収集部10で収集される3次元画像データにおける空間上の1点と、この点と同じ座標値を示す血流情報収集部20で収集される3次元画像データにおける空間上の1点とは被検体の同一位置を示すことになる。
ステップS12において、画像空間位置補正データが求められた後、ユーザによって指定された視点位置に対応する血流情報が選択される(ステップS13)。その後、この血流情報を視認可能に表示するための血流情報表示画像データ(例えば、血流方向を示すための指標画像及び血流速度を示すための文字画像等)が生成され、生成された血流情報表示画像データと仮想内視鏡画像データとが図3や図4に示すようにして合成される(ステップS14)。
以上説明したように、本一実施形態によれば、仮想内視鏡画像の表示時に血流情報を視認可能に表示させるので、ユーザは血流方向及び血流速度といった血流情報を仮想内視鏡画像を見ながら確認することが可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
本発明の一実施形態に係る医用画像診断装置の構成を示すブロック図である。 医用画像診断装置の主要な動作について示すフローチャートである。 仮想内視鏡画像及び血流情報表示画像の第1の表示例である。 仮想内視鏡画像及び血流情報表示画像の第2の表示例である。 合成部における合成処理について示すフローチャートである。
符号の説明
10…画像収集部、11…心電計、20…血流情報収集部、21…心電計、30…画像処理部、31…仮想内視鏡画像生成部、32…合成部、40…入力部、50…表示部

Claims (4)

  1. 被検体の対象部位に関する複数の断層画像データから前記被検体の血管の表面形状データを含む3次元画像データを構築すると共に、該構築した3次元画像データを血管内部で定めた視点位置から見たときの当該血管内部の立体画像として表示する3次元画像表示手段と、
    前記血管内部の立体画像中の少なくとも1点の位置を指定するための位置指定手段と、
    前記血管内部の立体画像に、前記指定された位置に対応した血管内部を流れる血液の血流情報を合成して前記3次元画像表示手段に表示させる合成手段と、
    を具備することを特徴とする3次元画像処理装置。
  2. 前記合成手段は、前記血流情報として、前記血管内部の立体画像中で前記血液の流れる方向を示す血流方向を3次元的に示す指標を合成することを特徴とする請求項1に記載の3次元画像処理装置。
  3. 前記3次元画像表示手段は、時系列に入力される被検体の対象部位に関する複数の断層画像データから、前記血管内部で定めた視点位置から見たときの当該血管内部の立体画像を時系列に表示することを特徴とする請求項1に記載の3次元画像処理装置。
  4. 被検体の対象部位に関する複数の断層画像データを収集し、該収集した断層画像から前記被検体の血管の表面形状データを含む3次元画像データを構築する3次元画像データ構築手段と、
    前記3次元画像データを血管内部で定めた視点位置から見たときの当該血管内部の立体画像として表示する3次元画像表示手段と、
    前記血管内部の立体画像中の少なくとも1点の位置を指定するための位置指定手段と、
    前記指定された位置に対応した血管内部を流れる血液の血流情報を収集する血流情報収集手段と、
    前記血管内部の立体画像に、前記収集された血流情報を合成して前記3次元画像表示手段に表示させる合成手段と、
    を具備することを特徴とする医用画像診断装置。
JP2006338769A 2006-12-15 2006-12-15 3次元画像処理装置及び医用画像診断装置 Expired - Fee Related JP5214876B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006338769A JP5214876B2 (ja) 2006-12-15 2006-12-15 3次元画像処理装置及び医用画像診断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006338769A JP5214876B2 (ja) 2006-12-15 2006-12-15 3次元画像処理装置及び医用画像診断装置

Publications (2)

Publication Number Publication Date
JP2008148858A JP2008148858A (ja) 2008-07-03
JP5214876B2 true JP5214876B2 (ja) 2013-06-19

Family

ID=39651724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006338769A Expired - Fee Related JP5214876B2 (ja) 2006-12-15 2006-12-15 3次元画像処理装置及び医用画像診断装置

Country Status (1)

Country Link
JP (1) JP5214876B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010115317A (ja) * 2008-11-12 2010-05-27 Toshiba Corp 画像処理装置
JP5433240B2 (ja) 2009-01-21 2014-03-05 株式会社東芝 超音波診断装置及び画像表示装置
JP5803199B2 (ja) 2011-03-25 2015-11-04 富士ゼロックス株式会社 映像表示装置、携帯端末およびプログラム
CN103429162B (zh) * 2012-03-26 2016-02-24 株式会社东芝 超声波诊断装置、图像处理装置以及图像处理方法
JP6014866B2 (ja) * 2012-10-17 2016-10-26 東芝メディカルシステムズ株式会社 X線撮影条件設定システム、画像診断装置及びx線撮影条件設定プログラム
WO2014148644A1 (ja) * 2013-03-22 2014-09-25 株式会社東芝 超音波診断装置及びその制御プログラム
KR102367446B1 (ko) * 2014-12-11 2022-02-25 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법
EP3527123B1 (en) * 2018-02-15 2022-08-31 Leica Instruments (Singapore) Pte. Ltd. Image processing method and apparatus using elastic mapping of vascular plexus structures

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06327647A (ja) * 1993-05-18 1994-11-29 Hitachi Ltd Mriスライス面自動決定方法とこれにもとづく流速測定方法
JP3449810B2 (ja) * 1994-12-06 2003-09-22 株式会社日立メディコ 血流情報表示方法
JP3623276B2 (ja) * 1995-03-31 2005-02-23 株式会社日立メディコ 三次元画像表示方法
JP3505281B2 (ja) * 1995-07-28 2004-03-08 ジーイー横河メディカルシステム株式会社 超音波3次元画像形成装置
JP2002119507A (ja) * 2000-10-17 2002-04-23 Toshiba Corp 医用装置および医用画像収集表示方法
JP4709419B2 (ja) * 2001-04-24 2011-06-22 株式会社東芝 細径プローブ型超音波診断装置
JP2004321390A (ja) * 2003-04-23 2004-11-18 Toshiba Corp X線画像診断装置及びx線画像診断方法

Also Published As

Publication number Publication date
JP2008148858A (ja) 2008-07-03

Similar Documents

Publication Publication Date Title
JP5214876B2 (ja) 3次元画像処理装置及び医用画像診断装置
JP4653542B2 (ja) 画像処理装置
JP5535725B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP6242569B2 (ja) 医用画像表示装置及びx線診断装置
RU2654608C2 (ru) Ультразвуковая система визуализации и способ для процедуры наведения по изображению
JP5421828B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
US8376951B2 (en) Ultrasonic diagnostic apparatus and method for displaying probe operation guide
EP2372661B1 (en) Projection image generation method, apparatus, and program
JP6318739B2 (ja) 画像処理装置、およびプログラム
JP5369078B2 (ja) 医用画像処理装置および方法、並びにプログラム
JP5815513B2 (ja) 画像処理装置及び画像処理方法
JP2013244211A (ja) 医用画像処理装置、医用画像処理方法及び制御プログラム
JP4122463B2 (ja) 医療用可視画像の生成方法
JP4996128B2 (ja) 医用画像処理装置及び医用画像処理方法
EP2597622A2 (en) Method and apparatus for combining plurality of 2D images with 3D model
JP4686279B2 (ja) 医用診断装置及び診断支援装置
JP2006239253A (ja) 画像処理装置及び画像処理方法
JP5498185B2 (ja) 超音波診断装置及び超音波画像表示プログラム
JP5305635B2 (ja) 医用画像表示装置
JP6934948B2 (ja) 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム
JP6433190B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JPH1153577A (ja) 3次元医用画像処理装置
JP2008067992A (ja) 医用画像表示装置及び医用画像表示方法
JP2013048688A (ja) 画像処理装置、画像処理方法及びプログラム
JP6662580B2 (ja) 医用画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130228

R150 Certificate of patent or registration of utility model

Ref document number: 5214876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees