JP5244526B2 - 医療装置 - Google Patents

医療装置 Download PDF

Info

Publication number
JP5244526B2
JP5244526B2 JP2008259881A JP2008259881A JP5244526B2 JP 5244526 B2 JP5244526 B2 JP 5244526B2 JP 2008259881 A JP2008259881 A JP 2008259881A JP 2008259881 A JP2008259881 A JP 2008259881A JP 5244526 B2 JP5244526 B2 JP 5244526B2
Authority
JP
Japan
Prior art keywords
lumen
unit
suction
air supply
expanded state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008259881A
Other languages
English (en)
Other versions
JP2010088572A (ja
Inventor
秀樹 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2008259881A priority Critical patent/JP5244526B2/ja
Publication of JP2010088572A publication Critical patent/JP2010088572A/ja
Application granted granted Critical
Publication of JP5244526B2 publication Critical patent/JP5244526B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Endoscopes (AREA)

Description

本発明は、生体の管腔内に挿入される内視鏡を有する医療装置に関し、特に、管腔内から流体を吸引する吸引手段と、管腔内に流体を送気する送気手段とを有する医療装置に関する。
内視鏡装置は、生体の被検部に外部から細長の可撓性を有する挿入部を挿入して被検部を観察し必要とする処置を行う。内視鏡の挿入部には送気管路および吸引管路が設けられており、送気管路および吸引管路を介して管腔内に流体を供給したり吸引したりするための吸引装置および送気装置を備えている。
挿入部の先端側には湾曲自在な湾曲部が配設されている。そして、入り組んだ生体内の管路、特に、大腸のようにループを描く管腔に挿入部を挿入するときには、湾曲部の湾曲操作に加えて、管腔内に空気等の流体を供給したり吸引したり操作することで、管腔を適度に膨張または収縮し挿入性を改善することが行われていた。
一方、モータまたは空気圧等による駆動手段により駆動制御される湾曲部を有する内視鏡、が開発されている。
特開2003−93334号公報 特開平11−318810号公報
しかし、管腔を適度の拡張状態に保つために、管腔内に空気等の流体を供給したり吸引したりして、空気量を適切に制御することは、術者にとり容易ではなかった。すなわち、術者は、湾曲部の湾曲操作に加えて、同時に、流体の供給操作または吸引操作を行う必要があり、繁雑であった。
また、自動的に駆動制御される湾曲部を有する内視鏡では自動的に挿入作業を行うことも可能ではあるが、管腔を適度の拡張状態に保つことはできなかった。
本発明は、生体の管腔の内部に内視鏡の挿入部を挿入するときに、管腔を適度の拡張状態に保つ医療装置を提供することを目的とする。
上記目的を達成すべく、本発明の一態様の医療装置は、生体の管腔に挿入される挿入部の先端部に、撮像手段と吸引孔と送気孔とを有する内視鏡と、前記吸引孔を介して前記管腔から流体を吸引する吸引手段と、前記送気孔を介して前記管腔に流体を送気する送気手段と、前記管腔の拡張状態を判別する判別手段と、前記判別手段が判別した前記管腔の前記拡張状態に基づき、前記吸引手段および前記送気手段を制御する制御手段と、前記撮像手段が撮像した前記管腔の撮像画像を処理する画像処理手段と、を有し、前記画像処理手段は、前記撮像画像からエッジ画像を抽出し、前記エッジ画像から所定の直線または所定の円を検出し、前記判別手段は、前記画像処理手段の処理結果に基づき、平行する2本の前記直線の間隔が所定の範囲内の場合に前記管腔が拡張不十分状態であると判別し、前記円の内部が所定の輝度以下の場合に前記管腔が拡張過度状態であると判別し、前記制御手段は、前記判別手段が前記管腔が前記拡張不十分状態と判別した場合には前記送気手段を送気動作に、前記判別手段が前記管腔が前記拡張過度状態と判別した場合には前記吸引手段を吸引動作に、制御する。
本発明は、生体の管腔に内視鏡の挿入部を挿入するときに、管腔を適度の拡張状態に保つ医療装置を提供するものである。
以下、図面を参照して本発明の実施の形態について説明する。
図1は本発明の実施の形態の医療装置1の使用状態を説明するための構成図であり、図2は、本発明の実施の形態の医療装置1の構成を説明するための構成図である。
図1に示すように、本実施の形態の医療装置1は、患者5の管腔である大腸4(図6参照)に内視鏡3の挿入部11を挿入するための医療装置である。医療装置1は内視鏡3と本体部2とを有する。内視鏡3の挿入部11の先端部11Aは湾曲部11Cが湾曲動作しながら、患者5の大腸4に肛門から挿入される。内視鏡3の操作部12から延伸したユニバーサルコード13は本体部2と接続されている。本体部2は、撮像した画像等を表示するモニタ15と、大腸4から流体を吸引する吸引手段である吸引部17と、大腸4に流体を送気する送気手段である送気部16と、光源装置18と、画像処理および医療装置1全体の制御等を行う制御装置19を有している。吸引部17には吸引瓶17Aが、送気部16には圧力流体が充填されたボンベ16Aが、それぞれ接続されている。大腸4内に送気する流体は気体であり、送気部16が圧縮空気が充填されたボンベ16Aを有する場合または送気ポンプを有する場合には、空気である。送気部16が二酸化炭素が充填されたボンベを有する場合には、大腸4内に送気する流体は、二酸化炭素である。
そして、図2に示すように、先端部11Aには、吸引孔32Aと、送気孔33Aと、撮像手段であるCCD31と、大腸4内の圧力を計測する圧力計測部34とが配設されている。ユニバーサルコード13および挿入部11の内部には、吸引孔32Aと吸引部17とをつなぐ吸引管32と、送気孔33Aと送気部16とをつなぐ送気管33と、CCD31と本体部2の画像処理部40とをつなぐ信号線等が配設されている。なお送気管33または吸引管32として、挿入部11内に配設された汎用のチャンネルチューブ等を使用してもよい。先端部11Aの方向を上下左右に変化する湾曲部11Cは、湾曲駆動部11Dにより湾曲駆動され、挿入部11を自動的に大腸4内に挿入する自動挿入もできる。
さらに、本実施の形態の医療装置1では、大腸4の拡張状態を判別する判別手段である判別部42と、判別部42が判別した大腸4の拡張状態に基づき、吸引部17および送気部16を制御する制御部41を有している。制御部41は記憶部43に予め記憶されている所定の条件に基づいて拡張状態を判別する。なお、圧力計測部34が大腸4内の圧力を計測しているため、大腸4内が予め定めた許容圧力を超える場合には、制御部41は、送気部16の送気動作を停止する。なお、圧力計測部34は先端部11Aではなく、先端部11Aの開口部と接続されていれば本体部2に配設されていてもよい。
医療装置1は、制御部41が大腸4の拡張状態に基づき、吸引部17および送気部16を制御し、適度の拡張状態に保つ。このため、術者は湾曲部11Cの湾曲操作に集中することができる。さらに、医療装置1は、大腸4が適度の拡張状態を保つため、湾曲駆動部11Dによる自動挿入を行うことが容易である。
次に、図3から図10を用いて、医療装置1の動作について、より詳細に説明する。図3は、本発明の実施の形態の医療装置の画像処理部および判別部の処理の流れを説明するためのフローチャートであり、図4および図5は内視鏡画像の例であり、図6は大腸4の拡張状態を説明するための断面模式図であり、図7、図8および図9は画像処理を説明するための説明図であり、図10は制御部の処理の流れを説明するためのフローチャートである。
以下、図3のフローチャートに従い画像処理部40および判別部42の処理の流れを説明する。
<ステップS10> 内視鏡画像取得ステップ
CCD31が撮像した内視鏡画像20を画像処理部40が取得する。図4に適切な拡張状態、すなわち、挿入に適した状態の腸管(大腸4)の内視鏡画像20の例を示す。すなわち、図6(A)に示すように、先端部11Aに配設されたCCD30が撮像する撮像画像である内視鏡画像20には、所定の視野30A内の大腸4内の空間と、大腸壁4Bとが含まれている。そして、光源装置18から先端部11Aに導光された光が照明部(不図示)から大腸4内部を照明しているため、大腸4の深部は暗く写っている。ここで、図6に示すように、先端部11Aには、吸引管32と接続された吸引孔32Aと、送気管33と接続された送気孔33Aと、照明部と、CCD31とが配設されている。
なお、図5に示した内視鏡画像20は、図6(D)に示すように、4Bが吸引孔32Aに吸着された状態である。この状態は、カラー画像では内視鏡画像20は、全面が赤くなるため、いわゆる「赤玉」と呼ばれている。
<ステップS11> エッジ抽出ステップ
画像処理部40は、ステップS10で取得した内視鏡画像20からエッジ画像21を抽出する。すなわち、画像処理部40は、内視鏡画像20の不連続部分である濃度の変化点を抽出することによりエッジ画像21を抽出する。
すなわち、図7(A)、図8(A)、図9(A)に示した内視鏡画像20からは、それぞれ、図7(B)、図8(B)、図9(B)に示したエッジ画像21が抽出される。エッジ抽出は公知の手法、例えば、Cannyフィルタ等を用いることができる。
<ステップS12> 円検出ステップ
次に、画像処理部40は、ステップS11で抽出したエッジ画像21から、公知の手法、例えば、ハフ(Hough)変換を用いて、円の検出を行う。ここで、検出する円は所定の円、すなわち、予め定めた所定値の範囲の半径を有する大きさの円である。例えば、内視鏡画像20の幅を1としたとき、画像処理部40は、半径が、r1=0.05以上、r2=0.38以下の所定の円を抽出する。内視鏡画像20が正方形の場合には、もちろん、内視鏡画像20の高さも1である。なお、所定値は、予め、記憶部43に記憶されている。
例えば、図8(B)、図9(B)に示したエッジ画像21からは、図9(B)、図9(C)に示すように、円R1、円R2が、それぞれ検出される。図9(A)に示したエッジ画像21からは、円は検出されない。
<ステップS13> 画像濃淡判断ステップ
内視鏡画像20では、図9に示すように、ハレーションによりCCD30近傍の大腸壁4Bの凹凸からも円R2が検出されることがある。しかし、ハレーションによる円R2の内部は明るい明部であるのに対して、空気過多により管腔が膨張した場合の内視鏡画像20から検出される円R1は内部が暗い暗部であるため、両者は、識別可能である。
このため、ステップS12において所定サイズの円を検出した場合には、判別部42は、検出した円の内部の画像濃淡値、言い換えれば輝度が、予め記憶部43に記憶した所定値C以下の暗部であるかを判断する。黒を0、白を1としたとき、所定値Cは例えば0.15である。例えば、判別部42は、円内部に含まれる内視鏡画像20の画素の輝度の平均値をもとに判定する。
図8(C)に示すように、円の内部の画像濃淡値が、所定値C以下であった場合(Yes)には、判別部42は、大腸4の拡張状態が拡張過度状態、言い換えれば、空気過多状態、と判別する。図6(C)は拡張過度状態の大腸4の断面模式図である。
これに対して、図9(C)に示すように、円の内部の画像濃淡値が、所定値Cを超える場合(No)には、判別部42は、検出された円は、ハレーションによるもので大腸4の拡張状態とは関係がないと判別する。
なお、図7(C)、図8(C)、および図9(C)においては、画像濃淡値は説明を容易にするために簡略化して表示している。
<ステップS14> 拡張過度状態(空気過多)
判別部42が拡張過度状態と判別した場合には、制御部41は吸引部17を吸引動作に制御する。すると、吸引孔32Aを介して大腸4内の空気が排気され、拡張過度状態が解消される。
<ステップS15> 平行直線検出ステップ
画像処理部40は、内部が暗部の円が内視鏡画像20から検出されなかった場合には、ステップS11で抽出したエッジ画像21から、公知の手法、例えば、ハフ(Hough)変換を用いて、直線の検出を行う。ここで、検出する直線は、それぞれが所定の長さL以上の平行する直線、すなわち、予め定めた所定値の範囲の平行度を有する2本の直線の組である。ここで、平行度とは、2本の直線の傾きが略同一であることを意味する。
図7(C)においては、図7(B)に示すエッジ画像21から、2本の直線L1およびL2が検出された場合を示している。直線L1の長さd1および直線L2の長さd2は、いずれも、所定の長さL、例えば内視鏡画像20の幅を1としたとき、L=0.18、以上である。
<ステップS16> 間隔判別ステップ
所定の平行直線を検出した場合には、判別部42は、検出した平行直線の間隔が、予め記憶部43に記憶した所定値w以下、例えば、w=0.28以下であるかを判断する。
図7(C)に示すように、平行直線L1およびL2の間隔w1が、所定値w以下であった場合(Yes)には、判別部42は、大腸4の拡張状態が拡張不十分状態、言い換えれば、潰れ過ぎ、と判別する。図6(B)は拡張不十分状態の大腸4の断面模式図である。
なお、画像処理部40が行うエッジ抽出処理および円または直線の検出処理は例示したCannyフィルタ法またはハフ変換法に限られるものではなく、公知の各種の特徴抽出法、例えば、Sobel法、Prewitt法、ゼロクロス法等を用いてもよい。
<ステップS17> 拡張不十分状態(潰れ過ぎ)
判別部42が拡張不十分状態と判別した場合には、制御部41は送気部16を送気動作に制御する。すると、送気孔33Aを介して大腸4内に空気が供給され、拡張不十分状態が解消される。
<ステップS18> 色調判別ステップ
円および直線が検出されなかった場合には、判別部42は、いわゆる赤玉状態かどうかを、内視鏡画像20の色調により判断する。例えば、判別部42は、記憶部43に記憶した所定の範囲内であるかどうか、内視鏡画像20のCIE色座標のxおよびyをもとに以下の式を満たす場合に、赤玉状態であると判別する。
y−(0.33+(0.39−0.33)/(0.65−0.50)×(x−0.50))<0.0
<ステップS19> 赤玉状態
判別部42が赤玉状態と判別した場合には、制御部41は吸引部17の吸引動作を停止に制御する。すると、図6(D)に示すように、吸引孔32Aに吸着されていた大腸壁4Bが、吸引孔32Aから離れるため、赤玉状態が解消される。
<ステップS20> 終了指示
術者からの終了指示があるまで、ステップS10からの処理が繰り返し行われる。
さらに、図10を用いて、すでに説明した制御部41の処理の流れについて詳細に説明する。
<ステップS30、S31>
判別部42が赤玉状態と判別した場合には、制御部41は吸引動作を停止するように、吸引部17を制御する。
<ステップS32、S33>
判別部42が拡張不十分状態、すなわち潰れ過ぎと判別した場合には、制御部41は吸引動作を停止するように吸引部17を制御すると同時に、送気部16を送気動作開始するように制御する。
<ステップS34、S35>
判別部42が拡張過度状態、すなわち空気過多と判別した場合には、制御部41は吸引動作を停止するように、吸引部17を制御すると同時に、送気部16を送気動作開始するように制御する。
<ステップS37>
術者からの終了指示があるまで、ステップS30からの処理が繰り返し行われる。
なお、すでに説明したように、医療装置1は、圧力計測部34を有しており、大腸4内の圧力を計測しているため、大腸4内が予め定めた許容圧力を超える場合には、制御部41は、送気部16の送気動作を停止する。
なお、図3に示したフローチャートでは、画像処理部40および判別部42が、順に、空気過多状態、潰れ過ぎ状態、赤玉状態を判別する例を示し、図10に示したフローチャートでは、画像処理部40および判別部42が、順に、赤玉状態、潰れ過ぎ状態、空気過多状態、を判別する例を示したが、判別順序は上記例に限定されるものではなく、適宜選択してよい。
以上の説明のように、本実施の形態の医療装置1は、判別部42内視鏡画像20の画像解析結果に基づいて大腸4の拡張状態を判別し、制御部41が吸引部17および送気部16を制御し、大腸4を適度の拡張状態に保つ。このため、術者は湾曲部11Cの湾曲操作に集中することができる。さらに、医療装置1は、大腸4が適度の拡張状態を保つため、湾曲駆動部11Dによる自動挿入を行うことも容易である。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の実施の形態の医療装置の使用状態を説明するための構成図である。 本発明の実施の形態の医療装置の構成を説明するための構成図である。 本発明の実施の形態の医療装置の画像処理部および判別部の処理の流れを説明するためのフローチャートである。 挿入に適した状態の腸管の内視鏡画像の例である。 赤玉状態の腸管の内視鏡画像の例である。 大腸の拡張状態を説明するための断面模式図であり、図6(A)は適切な拡張状態、図6(B)は拡張不十分状態、図6(C)は拡張過度状態、図6(D)は赤玉状態を示している。 拡張不十分状態の内視鏡画像の画像処理を説明するための説明図である。 拡張過度状態の内視鏡画像の画像処理を説明するための説明図である。 はハレーション状態の内視鏡画像の画像処理を説明するための説明図である。 本発明の実施の形態の医療装置の制御部の処理の流れを説明するためのフローチャートである。
符号の説明
1…医療装置
2…本体部
3…内視鏡
4…大腸
4B…大腸壁
5…患者
11…挿入部
11A…先端部
11C…湾曲部
11D…湾曲駆動部
12…操作部
13…ユニバーサルコード
15…モニタ
16…送気部
16A…ボンベ
17…吸引部
17A…吸引瓶
18…光源装置
19…制御装置
30A…視野
31…CCD
32…吸引管
32A…吸引孔
33…送気管
33A…送気孔
34…圧力計測部
40…画像処理部
41…制御部
42…判別部
43…記憶部

Claims (4)

  1. 生体の管腔に挿入される挿入部の先端部に、撮像手段と吸引孔と送気孔とを有する内視鏡と、
    前記吸引孔を介して前記管腔から流体を吸引する吸引手段と、
    前記送気孔を介して前記管腔に流体を送気する送気手段と、
    前記管腔の拡張状態を判別する判別手段と、
    前記判別手段が判別した前記管腔の前記拡張状態に基づき、前記吸引手段および前記送気手段を制御する制御手段と、
    前記撮像手段が撮像した前記管腔の撮像画像を処理する画像処理手段と、
    を有し、
    前記画像処理手段は、前記撮像画像からエッジ画像を抽出し、前記エッジ画像から所定の直線または所定の円を検出し、
    前記判別手段は、前記画像処理手段の処理結果に基づき、平行する2本の前記直線の間隔が所定の範囲内の場合に前記管腔が拡張不十分状態であると判別し、前記円の内部が所定の輝度以下の場合に前記管腔が拡張過度状態であると判別し、
    前記制御手段は、前記判別手段が前記管腔が前記拡張不十分状態と判別した場合には前記送気手段を送気動作に、前記判別手段が前記管腔が前記拡張過度状態と判別した場合には前記吸引手段を吸引動作に、制御することを特徴とする医療装置。
  2. 前記管腔の圧力を計測する圧力計測手段を有し、
    前記圧力計測手段の計測した前記圧力が予め定めた許容圧力を超える場合には、前記制御手段は、前記送気手段の送気動作を停止することを特徴とする請求項1に記載の医療装置。
  3. 前記管腔が大腸であることを特徴とする請求項1または2に記載の医療装置。
  4. 前記内視鏡が前記先端部の方向を変化する湾曲部と、
    前記湾曲部を湾曲駆動する湾曲駆動部と、を有することを特徴とする請求項1から3のいずれか1項に記載の医療装置。
JP2008259881A 2008-10-06 2008-10-06 医療装置 Active JP5244526B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008259881A JP5244526B2 (ja) 2008-10-06 2008-10-06 医療装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008259881A JP5244526B2 (ja) 2008-10-06 2008-10-06 医療装置

Publications (2)

Publication Number Publication Date
JP2010088572A JP2010088572A (ja) 2010-04-22
JP5244526B2 true JP5244526B2 (ja) 2013-07-24

Family

ID=42251909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008259881A Active JP5244526B2 (ja) 2008-10-06 2008-10-06 医療装置

Country Status (1)

Country Link
JP (1) JP5244526B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2798997A4 (en) 2011-12-28 2015-05-20 Olympus Medical Systems Corp DEVICE FOR ADJUSTING THE INTERNAL PRESSURE OF A BODY CAVITY AND ENDOSCOPE SYSTEM
WO2022234641A1 (ja) * 2021-05-07 2022-11-10 オリンパス株式会社 制御装置、内視鏡システム及び制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01314548A (ja) * 1988-06-16 1989-12-19 Toshiba Corp 内視鏡装置
JPH09238896A (ja) * 1996-03-11 1997-09-16 Olympus Optical Co Ltd 内視鏡
JPH11318810A (ja) * 1998-05-14 1999-11-24 Olympus Optical Co Ltd 内視鏡曇り除去システム
JP4113347B2 (ja) * 2001-09-26 2008-07-09 フジノン株式会社 内視鏡の制御システム
JP2005304780A (ja) * 2004-04-21 2005-11-04 Olympus Corp 医療用ベッド
JP4727224B2 (ja) * 2004-12-27 2011-07-20 オリンパス株式会社 送気装置

Also Published As

Publication number Publication date
JP2010088572A (ja) 2010-04-22

Similar Documents

Publication Publication Date Title
US8216128B2 (en) Medical system with a biological information acquiring apparatus and a manipulation information acquiring apparatus
JP3806934B2 (ja) 内視鏡システム
JP6077973B2 (ja) 送気装置
JP4884567B2 (ja) 内視鏡システム
US20150313445A1 (en) System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope
JP5319862B1 (ja) 体腔内圧調整装置及び内視鏡システム
US8480568B2 (en) Endoscope apparatus with automatic selection between automated insertion direction search methods
US9538907B2 (en) Endoscope system and actuation method for displaying an organ model image pasted with an endoscopic image
US7830378B2 (en) Medical image processing apparatus and medical image processing method
US20090062611A1 (en) Endoscope apparatus
US9724481B2 (en) Gas delivery system and surgery system
EP2505123B1 (en) Endoscope air-supply system
JP4473027B2 (ja) 内視鏡
US8167792B2 (en) Endoscope system having passage position setting section and passage position correction section
US11089950B2 (en) Endoscope apparatus, activation method, and video processor for determining an abnormality
US11141053B2 (en) Endoscope apparatus and control apparatus
JP2005261782A (ja) 内視鏡バルーン制御装置
JP5244526B2 (ja) 医療装置
JP4517252B2 (ja) 内視鏡装置
US20170205619A1 (en) Endoscope system
JP5244527B2 (ja) 医療装置
JP2011244937A (ja) 内視鏡システム
JP6033147B2 (ja) 挿入装置
JP3922217B2 (ja) 内視鏡装置
JP4934847B2 (ja) イレウスチューブ型小腸内圧計測及び小腸内視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250