JP5439632B1 - 医用システム - Google Patents

医用システム Download PDF

Info

Publication number
JP5439632B1
JP5439632B1 JP2013532007A JP2013532007A JP5439632B1 JP 5439632 B1 JP5439632 B1 JP 5439632B1 JP 2013532007 A JP2013532007 A JP 2013532007A JP 2013532007 A JP2013532007 A JP 2013532007A JP 5439632 B1 JP5439632 B1 JP 5439632B1
Authority
JP
Japan
Prior art keywords
unit
balloon
bending
luminance
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013532007A
Other languages
English (en)
Other versions
JPWO2013121621A1 (ja
Inventor
義孝 梅本
康弘 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2013532007A priority Critical patent/JP5439632B1/ja
Application granted granted Critical
Publication of JP5439632B1 publication Critical patent/JP5439632B1/ja
Publication of JPWO2013121621A1 publication Critical patent/JPWO2013121621A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/32Devices for opening or enlarging the visual field, e.g. of a tube of the body
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A61B17/0218Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors for minimally invasive surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/00296Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means mounted on an endoscope

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

医用システムは、被検者の体腔内に挿入可能な挿入部と、挿入部の先端部に設けられた撮像部と、を具備する内視鏡と、挿入部が被検者の体腔内に挿入された際に、先端部の周辺に存在する組織を圧排できるように構成された圧排部と、撮像部により撮像された画像の輝度に関する輝度情報を取得し、さらに、取得した輝度情報が所定の条件を満たすか否かを判定する演算部と、演算部の判定結果に基づき、圧排部を駆動させるための動作を実施または停止する駆動部と、を有する。

Description

本発明は、医用システムに関し、特に、体腔内の観察等に用いられる医用システムに関するものである。
被検者の体腔内の内視鏡観察を行っている最中において、例えば、内視鏡挿入部の先端部の周辺に存在する組織等を(本来の位置から)一時的に退かすことより、所望の部位を観察または処置するための視野を確保するような手法が従来用いられている。
そして、前述の手法に利用可能と考えられる構成として、例えば日本国特開2010−187903号公報に開示されているような、内視鏡挿入部の先端部にバルーン等の拡張部材を設けた構成が提案されている。
ここで、日本国特開2010−187903号公報に開示された構成によれば、バルーン等の拡張部材の拡張状態が内視鏡挿入部の先端部の表面の温度に応じて決定されるため、例えば、当該先端部の周辺に存在する組織等により視野が狭くなっているにも係わらず、当該拡張部材が十分に拡張しない、というような状況が生じ得る。その結果、日本国特開2010−187903号公報に開示された構成によれば、被検者の体腔内の内視鏡観察を行う際に、所望の部位を観察または処置するための視野を確保できない場合がある、という課題が生じている。
本発明は、前述した事情に鑑みてなされたものであり、被検者の体腔内の内視鏡観察を行う際に、所望の部位を観察または処置するための視野を確実に確保することが可能な医用システムを提供することを目的としている。
本発明の一態様の医用システムは、被検者の体腔内に挿入可能な挿入部と、前記挿入部の先端部に設けられた撮像部と、前記先端部に設けられ、前記撮像部により撮像される被写体の像が入射される対物窓と、前記先端部に設けられ、前記被写体を照明するための照明光を出射する照明窓と、を具備する内視鏡と、前記挿入部が前記被検者の体腔内に挿入された際に、前記先端部の周辺に存在する組織を圧排できるように構成された圧排部と、前記撮像部により撮像された画像の輝度に関する輝度情報を取得し、さらに、当該取得した輝度情報が、前記照明光が前記体腔内の組織に反射してハレーションを起こす場合の輝度情報と、前記対物窓と前記組織とが直接接触する場合の輝度情報との間により規定される、所定の条件を満たすか否かを判定する演算部と、前記演算部により取得された輝度情報が前記所定の条件を満たしていないとの判定結果が前記演算部により得られた際に、前記圧排部を駆動させるための動作を継続し、前記演算部により取得された輝度情報が前記所定の条件を満たしたとの判定結果が前記演算部により得られた際に、前記圧排部を駆動させるための動作を停止する駆動部と、を有する。
本発明の実施例に係る内視鏡システムの要部の構成を示す図。 バルーン制御装置において行われる処理の一例を示すフローチャート。 図2の一連の処理が行われる前に表示装置に表示される内視鏡画像の一例を示す図。 図2の一連の処理が行われた後に表示装置に表示される内視鏡画像の一例を示す図。 本発明の実施例の変形例に係る内視鏡システムの要部の構成を示す図。 内視鏡の先端部にリトラクタを設けた場合の構成の一例を模式的に示す図。 図6のリトラクタが広げられた状態を説明するための図。 図6のリトラクタが広げられ、かつ、持ち上げられた状態を説明するための図。 内視鏡の先端部にリトラクタを設けた場合の構成の、図6とは異なる例を模式的に示す図。 図9のリトラクタが広げられた状態を説明するための図。
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
図1から図4は、本発明の実施例に係るものである。図1は、本発明の実施例に係る内視鏡システムの要部の構成を示す図である。
内視鏡システム1は、図1に示すように、被検者の体腔内の被写体を撮像して内視鏡画像を取得することが可能な内視鏡2と、当該被写体を照明するための照明光の供給源としての機能を備えた光源装置3と、内視鏡2により取得された内視鏡画像に対する画像処理等を行うプロセッサ4と、プロセッサ4により画像処理が施された内視鏡画像等を表示可能な表示装置5と、内視鏡2に設けられたバルーン24d(後述)の制御に係る動作を行うバルーン制御装置6と、を有して構成されている。
内視鏡2は、被検者の体腔内に挿入可能な細長形状を具備する挿入部21と、挿入部21の後端側に設けられた操作部22と、操作部22から延出するように設けられたユニバーサルコード23と、を有して構成されている。また、挿入部21、操作部22及びユニバーサルコード23の内部には、光源装置3から供給される照明光を伝送可能な図示しないライトガイド(導光部材)と、バルーン制御装置6による送気及び排気に用いられる図示しない気体流通用管路(気体流通チャンネル)が挿通されている。
挿入部21は、先端側から後端側にかけて順番に、先端部24と、湾曲部25と、可撓管部26と、を連設して構成されている。すなわち、湾曲部25は、挿入部21の少なくとも一部に設けられている。
先端部24の先端面には、2つの照明窓24aと、対物窓24bと、先端開口部24cと、が配設されている。また、先端部24の外周部分における対物窓24bの近傍には、バルーン24dが取り付けられている。
また、先端部24の内部には、光学素子及び撮像素子等を具備し、対物窓24bから入射される被写体像を撮像して画像(内視鏡画像)を取得することができるように構成された図示しない撮像部が設けられている。すなわち、先端部24の撮像部は、対物窓24bの背面側に配設されている。
また、圧排部としての機能を備えたバルーン24dは、先端部24の外周部分における撮像部の近傍に設けられている。
2つの照明窓24aの背面側には、挿入部21の内部に挿通されたライトガイドの光出射側の端部が配設されている。
先端開口部24cは、挿入部21の内部に配設された図示しない処置具挿通用管路(処置具チャンネル)に連通しており、鉗子口22a(後述)から挿入された細長形状の処置具を先端部24の前方へ突出させることができるような形状を具備して形成されている。
バルーン24dは、ゴム等の柔軟な素材により形成されており、内部空間への気体の供給に応じて膨張するとともに、当該内部空間に供給された気体の排出に応じて収縮するように構成されている。また、バルーン24dの内部空間は、挿入部21の内部に挿通された気体流通用管路の一方の端部と連通している。
湾曲部25は、複数のワイヤの端部がそれぞれ取り付けられた複数の湾曲駒等を具備し、操作部22の湾曲操作部22c(後述)の操作状態に応じた方向に湾曲することにより、先端部24の向きを変化させることができるように構成されている。
一方、操作部22は、先端側の側部に配設されている鉗子口22aと、術者等により把持される把持部22bと、把持部22bの後端側に設けられた湾曲操作部22cと、内視鏡システム1の各部により実現される種々の機能を動作または停止させる指示を行うことが可能な複数のスイッチを具備するスコープスイッチ部22dと、を有して構成されている。
鉗子口22aは、挿入部21の内部に配設された図示しない処置具挿通用管路に連通しており、細長形状の処置具を挿入可能な形状を具備して形成されている。
湾曲操作部22cは、湾曲部25を所望の方向に所望の量だけ湾曲させるための湾曲操作を行うことができるように構成されているとともに、当該湾曲操作に応じた指示信号を、ユニバーサルコード23に内蔵された信号線を介してプロセッサ4へ出力することができるように構成されている。
スコープスイッチ部22dには、例えば、バルーン制御装置6によるバルーン24dの自動制御をオンにするための指示を行うことが可能な自動制御モードスイッチ、バルーン24dの内部空間への気体の送気のオンオフに係る指示を行うことが可能な送気スイッチ、及び、バルーン24dの内部空間の気体の排気のオンオフに係る指示を行うことが可能な排気スイッチ等の複数のスイッチが設けられている。
ユニバーサルコード23には、光源装置3から供給される照明光を伝送可能なライトガイドと、内視鏡2と、プロセッサ4及びバルーン制御装置6との間における種々の信号のやり取りに用いられる複数の信号線と、バルーン制御装置6による送気及び排気に用いられる気体流通用管路と、が内蔵されている。
また、ユニバーサルコード23の端部には、光源装置3、プロセッサ4及びバルーン制御装置6の各部にそれぞれ接続することが可能な図示しない複数のコネクタが設けられている。
そして、ユニバーサルコード23の端部に設けられた各コネクタのうち、光源装置3に接続されるコネクタの内部には、ライトガイドの光入射側の端部が配設されている。
また、ユニバーサルコード23の端部に設けられた各コネクタのうち、バルーン制御装置6に接続されるコネクタの内部には、気体流通用管路の他方の端部と、スコープスイッチ部22dの操作に応じて出力される指示信号を検出可能な信号線の端部と、が配設されている。
すなわち、以上に述べた構成によれば、光源装置3から供給された照明光は、挿入部21、操作部22及びユニバーサルコード23の内部に挿通されたライトガイドを介し、2つの照明窓24aから出射される。
また、以上に述べた構成によれば、バルーン制御装置6は、挿入部21、操作部22及びユニバーサルコード23の内部に挿通された気体流通用管路を介してバルーン24dの膨張状態を変化させることができる。
一方、プロセッサ4は、湾曲制御部4aと、湾曲駆動部4bと、画像処理部4cと、を有して構成されている。
湾曲制御部4aは、CPU等を具備し、湾曲操作部22cの操作に応じて出力される指示信号に基づいて湾曲部25の湾曲量を算出し、当該算出した湾曲量に応じた制御を湾曲駆動部4bに対して行うように構成されている。
湾曲駆動部4bは、湾曲部25の各湾曲駒に取り付けられた各ワイヤを牽引するためのモータ等を具備し、湾曲制御部4aの制御に応じた湾曲量で湾曲部25を湾曲させることができるように構成されている。
画像処理部4cは、先端部24の撮像部により取得された画像(内視鏡画像)に対して(例えばノイズ除去等の)種々の画像処理を施すとともに、当該画像処理を施した内視鏡画像を表示装置5及びバルーン制御装置6へ出力するように構成されている。
バルーン制御装置6は、バルーン駆動部6aと、演算部6bと、演算部6bの演算に用いられる閾値情報が予め格納されている記憶部6cと、を有して構成されている。
バルーン駆動部6aは、前述の気体流通用管路の他方の端部に接続可能なポンプ、及び、当該気体流通用管路に供給される気体の供給源であるボンベ等を具備し、バルーン24dの内部空間への気体の供給に係る動作(送気動作)、及び、バルーン24dの内部空間に供給された気体の排気に係る動作(排気動作)をそれぞれ実施可能に構成されている。
バルーン駆動部6aは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン制御装置6によるバルーン24dの自動制御がオンにされていないことを検出した場合には、スコープスイッチ部22dの送気スイッチから出力される指示信号に応じた送気動作を行う。
バルーン駆動部6aは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン制御装置6によるバルーン24dの自動制御がオンにされていないことを検出した場合には、スコープスイッチ部22dの排気スイッチから出力される指示信号に応じた排気動作を行う。
一方、バルーン駆動部6aは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン制御装置6によるバルーン24dの自動制御がオンにされたことを検出した場合には、スコープスイッチ部22dの送気スイッチ及び排気スイッチから出力される指示信号の代わりに、演算部6bの指示に応じた送気動作を行う。
すなわち、バルーン駆動部6aは、演算部6bの指示に応じた送気動作を行っている最中には、スコープスイッチ部22dの送気スイッチ及び排気スイッチの操作に応じた指示をいずれも無効化する。
演算部6bは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン24dの自動制御がオンにされていないことを検出した場合には、バルーン駆動部6aの動作に係る演算及び指示を行わないように構成されている。
また、演算部6bは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン24dの自動制御がオンにされたことを検出した場合には、プロセッサ4の画像処理部4cから出力される内視鏡画像の輝度情報を取得し、さらに、当該取得した輝度情報が記憶部6cから読み込んだ閾値情報により規定される所定の条件を満たすか否かを判定した結果に応じてバルーン駆動部6aの送気動作に係る指示を行うように構成されている。
記憶部6cには、演算部6bの判定に用いられる所定の条件を規定するための閾値情報が予め格納されている。
具体的には、記憶部6cには、例えば、演算部6bにより取得される輝度情報に応じた輝度値の下限値TH1及び上限値TH2が閾値情報として予め格納されている。
なお、前述の輝度値の下限値TH1は、例えば、先端部24の対物窓24bの少なくとも一部が臓器等の体腔内組織に直接接触することに起因し、プロセッサ4の画像処理部4cから出力される内視鏡画像の明るさが極端に低くなってしまうような場合の輝度値として設定されている。
また、前述の輝度値の上限値TH2は、例えば、先端部24の照明窓24aから出射される照明光が臓器等の体腔内組織において反射してハレーションを起こすことに起因し、プロセッサ4の画像処理部4cから出力される内視鏡画像の明るさが極端に高くなってしまうような場合の輝度値として設定されている。
続いて、本実施例に係る内視鏡システム1の作用について説明する。
まず、術者等は、ユニバーサルコード23の端部の各コネクタを光源装置3、プロセッサ4及びバルーン制御装置6に接続した状態で内視鏡システム1の各部の電源を投入する。そして、内視鏡システム1の各部の電源が投入されるに伴い、内視鏡2による内視鏡画像の取得、光源装置3による照明光の供給、プロセッサ4による画像処理、及び、表示装置5による内視鏡画像の表示がそれぞれ開始される。
また、術者等は、表示装置5に表示される内視鏡画像を見ながら挿入操作を行うことにより、挿入部21を被検者の体腔内の深部に挿入してゆく。
ここで、本実施例のバルーン制御装置6において行われる処理等について、図2から図4を参照しつつ説明する。図2は、バルーン制御装置において行われる処理の一例を示すフローチャートである。図3は、図2の一連の処理が行われる前に表示装置に表示される内視鏡画像の一例を示す図である。図4は、図2の一連の処理が行われた後に表示装置に表示される内視鏡画像の一例を示す図である。
術者等は、挿入部21の挿入先に相当する領域、または、鉗子口22aから挿入した処置具による処置対象の存在する領域としての注目領域と、先端部24の先端面と、の間における臓器等の体腔内組織の介在に起因し、図3に示すような内視鏡画像が表示装置5に表示されている場合において、スコープスイッチ部22dの自動制御モードスイッチを操作することにより、バルーン制御装置6によるバルーン24dの自動制御をオンにするための指示を行う。
一方、演算部6bは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン24dの自動制御をオンにするための指示が行われたか否かを判定する(図2のステップS1)。
演算部6bは、図2のステップS1において、バルーン24dの自動制御をオンにするための指示が行われていないとの判定結果を得た場合には、バルーン駆動部6aの動作に係る演算及び指示を行わない。すなわち、図2のステップS1の処理により、バルーン24dの自動制御をオンにするための指示が行われていないとの判定結果が得られた場合には、スコープスイッチ部22dの送気スイッチ及び排気スイッチの操作に応じた所望の膨張状態となるように、バルーン24dを膨張または収縮させることができる。
演算部6bは、図2のステップS1において、バルーン24dの自動制御をオンにするための指示が行われたとの判定結果を得た場合には、バルーン24dの自動制御を開始するとともに、プロセッサ4の画像処理部4cから出力される現フレームの内視鏡画像の輝度情報を取得するための処理を行う(図2のステップS2)。
具体的には、演算部6bは、図2のステップS1においてバルーン24dの自動制御をオンにするための指示が行われたとの判定結果を得た場合に、例えば、R、GまたはBのいずれか1つの色成分について、プロセッサ4の画像処理部4cから出力される現フレームの内視鏡画像に存在する各画素の輝度値の平均値AVGを算出する。
演算部6bは、図2のステップS2により取得された輝度情報が、記憶部6cから読み込んだ閾値情報により規定される所定の条件を満たすか否かを判定する(図2のステップS3)。
具体的には、演算部6bは、例えば、図2のステップS2により算出した輝度値の平均値AVGに応じた輝度値の下限値TH1及び輝度値の上限値TH2を記憶部6cから読み込み、さらに、図2のステップS2の処理により算出した輝度値の平均値AVGがTH1<AVG<TH2の大小関係を満たすか否かを判定する。
そして、演算部6bは、図2のステップS3において、図2のステップS2により取得された輝度情報が所定の条件を満たしていないとの判定結果を得た場合には、所定の量の気体をバルーン24dに供給するような送気動作を実施させる指示をバルーン駆動部6aに対して行った(図2のステップS4)後、図2のステップS2に戻って処理を行う。
また、演算部6bは、図2のステップS3において、図2のステップS2により取得された輝度情報が所定の条件を満たしたとの判定結果を得た場合には、送気動作を停止させる指示をバルーン駆動部6aに対して行うことにより、バルーン24dの自動制御を終了する(図2のステップS5及びステップS6)。
以上に述べたバルーン24dの自動制御に係る一連の処理等によれば、TH1<AVG<TH2の大小関係として例示したような、図2のステップS3における所定の条件を満たす内視鏡画像がプロセッサ4の画像処理部4cから出力されるまでの間、バルーン駆動部6aによる送気動作が継続される。また、以上に述べたバルーン24dの自動制御に係る一連の処理等によれば、TH1<AVG<TH2の大小関係として例示したような、図2のステップS3における所定の条件を満たす内視鏡画像がプロセッサ4の画像処理部4cから出力された略直後において、バルーン駆動部6aによる送気動作が停止される。
すなわち、本実施例によれば、バルーン24dの自動制御に係る一連の処理等が行われることにより、注目領域と先端部24の先端面との間における臓器等の体腔内組織の介在が解消される程度までバルーン24dが膨張され、先端部24の周辺に存在する体腔内組織が圧排されるため、先端部24の周辺の状態を、当該注目領域の視認が不可能な状態(図3参照)から、当該注目領域の視認が可能な状態(図4参照)へ遷移させることができる。その結果、本実施例によれば、(注目領域を含む)所望の部位を観察または処置するための視野を確実に確保することができる。
なお、図2に示した一連の処理は、先端部24の外周部分に1つのバルーンのみが設けられている場合に限らず、先端部24の外周部分に複数のバルーンが設けられている場合においても略同様に適用できる。
また、図2に示した一連の処理によれば、プロセッサ4の画像処理部4cから出力される内視鏡画像の明るさが極端に低くなってしまうような場合と、当該内視鏡画像の明るさが極端に高くなってしまうような場合と、をそれぞれ判別可能な値が閾値情報として記憶部6cに予め格納されている限りにおいて、輝度値の平均値AVG以外の他の値を輝度情報として取得するような処理が行われてもよい。
一方、図2に示した一連の処理は、図1に示したような、内視鏡の先端部にバルーンが取り付けられている場合に限らず、例えば図5に示すような、内視鏡の内部に挿通した状態で用いられる処置具の先端部にバルーンが取り付けられている場合においても略同様に適用できる。
ここで、本実施例の変形例に係る内視鏡システム1Aの構成について、図5を参照しながら説明する。図5は、本発明の実施例の変形例に係る内視鏡システムの要部の構成を示す図である。
なお、以降においては、簡単のため、内視鏡システム1と同様の構成等を有する部分に関する詳細な説明を省略するとともに、内視鏡システム1と異なる構成等を有する部分に関して主に説明を行う。
内視鏡システム1Aは、図5に示すように、被検者の体腔内の被写体を撮像して内視鏡画像を取得することが可能な内視鏡2Aと、当該被写体を照明するための照明光の供給源としての機能を備えた光源装置3と、内視鏡2Aにより取得された内視鏡画像に対する画像処理等を行うプロセッサ4と、プロセッサ4により画像処理が施された内視鏡画像等を表示可能な表示装置5と、バルーン73(後述)の制御に係る動作を行うバルーン制御装置6と、マニピュレータ装置7と、を有して構成されている。
内視鏡2Aは、バルーン24dと、バルーン制御装置6による送気及び排気に用いられる図示しない気体流通用管路(気体流通チャンネル)と、を内視鏡2から取り除いたものと略同様の構成を有している。
一方、マニピュレータ装置7は、マニピュレータ本体71と、マニピュレータ本体71の先端部に設けられた把持鉗子部72と、マニピュレータ本体71の先端部における把持鉗子部72の近傍に設けられたバルーン73と、把持鉗子部72の操作を行うことが可能な入力装置群74と、入力装置群74における入力操作に応じて把持鉗子部72を動作させるマニピュレータ制御装置75と、を有して構成されている。また、マニピュレータ本体71の内部には、バルーン制御装置6による送気及び排気に用いられる管状部材76の一部が挿通されている。
マニピュレータ本体71は、鉗子口22aから図示しない処置具挿通用管路(処置具チャンネル)に挿入することが可能であるとともに、当該処置具挿通用管路に挿入された状態で先端開口部24cから把持鉗子部72を突出させることが可能な細長形状を具備して構成されている。
把持鉗子部72は、マニピュレータ制御装置75の駆動制御に応じた把持力で対象物を挟んで掴むことができるように構成された2つの把持鉗子を具備して構成されている。また、把持鉗子部72の2つの把持鉗子には、マニピュレータ制御装置75の駆動制御に応じた方向を向くように動作する図示しない複数のアクチュエータがそれぞれ設けられている。
すなわち、処置部としての機能を備えた把持鉗子部72は、先端部24の先端面から突出された状態で被検者の体腔内における対象部位の処置を行うことができるように構成されている。
圧排部としての機能を備えたバルーン73は、ゴム等の素材により形成されており、内部空間への気体の供給に応じて膨張するとともに、当該内部空間に供給された気体の排出に応じて収縮するように構成されている。また、バルーン73の内部空間は、マニピュレータ本体71の内部に挿通された管状部材76の一方の端部と連通している。なお、管状部材76の他方の端部は、バルーン制御装置6のバルーン駆動部6aに接続されている 入力装置74は、例えばジョイスティック等を具備し、術者等の入力操作に応じた入力量を検出してマニピュレータ制御装置75へ出力することができるように構成されている。
マニピュレータ制御装置75は、演算部75aと、駆動制御部75bと、を有して構成されている。
演算部75aは、入力装置74における入力量の大きさに基づき、把持鉗子部72の2つの把持鉗子の向き及び把持力をそれぞれ定めるための1以上の制御パラメータを算出するように構成されている。
駆動制御部75bは、演算部75aにより算出された各制御パラメータに基づいて把持鉗子部72の2つの把持鉗子を駆動させるように構成されている。
なお、本実施例の変形例に係る内視鏡システム1Aは、自動制御モードスイッチ、送気スイッチ、及び、排気スイッチの各スイッチをスコープスイッチ部22dに設けて構成されているものに限らず、例えば、当該各スイッチを入力装置74に設けて構成されていてもよい。
続いて、本実施例の変形例に係る内視鏡システム1Aの作用について説明する。
まず、術者等は、ユニバーサルコード23の端部の各コネクタを光源装置3、プロセッサ4及びバルーン制御装置6に接続し、さらに、管状部材76の他方の端部をバルーン制御装置6に接続した状態で内視鏡システム1Aの各部の電源を投入する。そして、内視鏡システム1Aの各部の電源が投入されるに伴い、内視鏡2Aによる内視鏡画像の取得、光源装置3による照明光の供給、プロセッサ4による画像処理、及び、表示装置5による内視鏡画像の表示がそれぞれ開始される。
また、術者等は、表示装置5に表示される内視鏡画像を見ながら挿入操作を行うことにより、把持鉗子部72による処置対象の存在する領域を含む所望の部位に到達するまで挿入部21を挿入してゆく。
術者等は、把持鉗子部72による処置対象の存在する領域としての注目領域と、先端部24の先端面と、の間における臓器等の体腔内組織の介在に起因し、図3に示すような内視鏡画像が表示装置5に表示されている場合において、マニピュレータ本体71の先端部を先端開口部24cから突出させた状態でスコープスイッチ部22dの自動制御モードスイッチを操作することにより、バルーン制御装置6によるバルーン73の自動制御をオンにするための指示を行う。
一方、演算部6bは、ユニバーサルコード23を介してスコープスイッチ部22dから出力される指示信号に基づき、バルーン73の自動制御をオンにするための指示が行われたか否かを判定する(図2のステップS1)。
演算部6bは、図2のステップS1において、バルーン73の自動制御をオンにするための指示が行われていないとの判定結果を得た場合には、バルーン駆動部6aの動作に係る演算及び指示を行わない。すなわち、図2のステップS1の処理により、バルーン73の自動制御をオンにするための指示が行われていないとの判定結果が得られた場合には、スコープスイッチ部22dの送気スイッチ及び排気スイッチの操作に応じた所望の膨張状態となるように、バルーン73を膨張または収縮させることができる。
演算部6bは、図2のステップS1において、バルーン73の自動制御をオンにするための指示が行われたとの判定結果を得た場合には、バルーン73の自動制御を開始するとともに、プロセッサ4の画像処理部4cから出力される現フレームの内視鏡画像の輝度情報を取得するための処理を行う(図2のステップS2)。
具体的には、演算部6bは、図2のステップS1においてバルーン73の自動制御をオンにするための指示が行われたとの判定結果を得た場合に、例えば、R、GまたはBのいずれか1つの色成分について、プロセッサ4の画像処理部4cから出力される現フレームの内視鏡画像に存在する各画素の輝度値の平均値AVGを算出する。
演算部6bは、図2のステップS2により取得された輝度情報と、記憶部6cから読み込んだ閾値情報と、を比較することにより、当該輝度情報が当該閾値情報に応じた所定の条件を満たしたか否かを判定する(図2のステップS3)。
具体的には、演算部6bは、例えば、図2のステップS2により算出した輝度値の平均値AVGに応じた輝度値の下限値TH1及び輝度値の上限値TH2を記憶部6cから読み込み、さらに、図2のステップS2の処理により算出した輝度値の平均値AVGがTH1<AVG<TH2の大小関係を満たしたか否かを判定する。
そして、演算部6bは、図2のステップS3において、図2のステップS2により取得された輝度情報が所定の条件を満たしていないとの判定結果を得た場合には、所定の量の気体をバルーン73に供給するような送気動作を実施させる指示をバルーン駆動部6aに対して行った(図2のステップS4)後、図2のステップS2に戻って処理を行う。
また、演算部6bは、図2のステップS3において、図2のステップS2により取得された輝度情報が所定の条件を満たしたとの判定結果を得た場合には、送気動作を停止させる指示をバルーン駆動部6aに対して行うことにより、バルーン73の自動制御を終了する(図2のステップS5及びステップS6)。
以上に述べたバルーン73の自動制御に係る一連の処理等によれば、TH1<AVG<TH2の大小関係として例示したような、図2のステップS3における所定の条件を満たす内視鏡画像がプロセッサ4の画像処理部4cから出力されるまでの間、バルーン駆動部6aによる送気動作が継続される。また、以上に述べたバルーン73の自動制御に係る一連の処理等によれば、TH1<AVG<TH2の大小関係として例示したような、図2のステップS3における所定の条件を満たす内視鏡画像がプロセッサ4の画像処理部4cから出力された略直後において、バルーン駆動部6aによる送気動作が停止される。
すなわち、本実施例の変形例によれば、バルーン73の自動制御に係る一連の処理等が行われることにより、注目領域と先端部24の先端面との間における臓器等の体腔内組織の介在が解消される程度までバルーン73が膨張され、先端部24の周辺に存在する体腔内組織が圧排されるため、先端部24の周辺の状態を、把持鉗子部72による当該注目領域の処置が不可能な状態(図3参照)から、把持鉗子部72による当該注目領域の処置が可能な状態(図4参照)へ遷移させることができる。その結果、本実施例の変形例によれば、(注目領域を含む)所望の部位を観察または処置するための視野を確実に確保することができる。
なお、以上に述べたような本実施例及び変形例によれば、現フレームの内視鏡画像に存在する各画素の輝度値の平均値をAVGの値として算出するものに限らず、例えば、現フレームの内視鏡画像の注目領域内に存在する各画素の輝度値の平均値をAVGの値として算出するものであってもよい。
一方、図2に示した一連の処理は、内視鏡の先端部にバルーンを設けた場合のみに限らず、例えば、内視鏡の先端部にリトラクタを設けた場合においても応用できる。
ここで、バルーン24dの代わりに、図6から図8に示すようなリトラクタ100を先端部24に設けた場合について説明する。図6は、内視鏡の先端部にリトラクタを設けた場合の構成の一例を模式的に示す図である。図7は、図6のリトラクタが広げられた状態を説明するための図である。図8は、図6のリトラクタが広げられ、かつ、持ち上げられた状態を説明するための図である。
リトラクタ100は、図6に示すように、リトラクタ100が配置される基部材102の先端部に設けられた屈曲変形部103において、後端部が軸部材101により固定された、複数の板状部材100aを具備して構成されている。
一方、リトラクタ100は、図6に示すように、基部材102が全く押し込まれていない場合には、複数の板状部材100aが相互に重なった状態で先端部24の所定の位置に収納されるような構成を有している。
また、リトラクタ100は、図7に示すように、屈曲変形部103が先端側のストッパ104に当接する程度まで基部材102が押し込まれた場合には、複数の板状部材100aが軸部材101を中心に(扇状に)広がるような構成を有している。
また、リトラクタ100は、図8に示すように、屈曲変形部103がストッパ104に当接した状態でさらに基部材102が押し込まれた場合には、屈曲変形部103が屈曲変形することにより、軸部材101を中心に(扇状に)広がった複数の板状部材100aが持ち上げられるような構成を有している。
すなわち、バルーン24dの代わりにリトラクタ100を先端部24に設けた場合においては、図2のステップS4の送気動作が基部材102の押し込み動作になるようにバルーン制御装置6等の構成を変更することにより、図2の一連の処理を適用することができる。
続いて、バルーン24dの代わりに、図9及び図10に示すようなリトラクタ110を先端部24に設けた場合について説明する。図9は、内視鏡の先端部にリトラクタを設けた場合の構成の、図6とは異なる例を模式的に示す図である。図10は、図9のリトラクタが広げられた状態を説明するための図である。
リトラクタ110は、図9に示すように、基部材112の所定の位置において、後端部が軸部材111により固定された、複数の板状部材110aを具備して構成されている。また、図9に示すように、板状部材110aの中途部と、基部材112の先端部と、が接続部材113を介して接続されている。
一方、リトラクタ110は、図9に示すように、基部材112が後端側へ全く引っ張られていない場合には、複数の板状部材110aが略たたまれた状態で先端部24の所定の位置に収納されるような構成を有している。
また、リトラクタ110は、図10に示すように、基部材112が後端側へ引っ張られるにつれて、複数の板状部材110aが軸部材111を中心に(扇状に)広がり、さらに、接続部材113により持ち上げられるような構成を有している。
すなわち、バルーン24dの代わりにリトラクタ110を先端部24に設けた場合においては、図2のステップS4の送気動作が基部材112の引っ張り動作になるようにバルーン制御装置6等の構成を変更することにより、図2の一連の処理を適用することができる。
なお、本発明は、上述した実施例及び変形例等に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本出願は、2012年2月15日に日本国に出願された特願2012−30725号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (7)

  1. 被検者の体腔内に挿入可能な挿入部と、前記挿入部の先端部に設けられた撮像部と、前記先端部に設けられ、前記撮像部により撮像される被写体の像が入射される対物窓と、前記先端部に設けられ、前記被写体を照明するための照明光を出射する照明窓と、を具備する内視鏡と、
    前記挿入部が前記被検者の体腔内に挿入された際に、前記先端部の周辺に存在する組織を圧排できるように構成された圧排部と、
    前記撮像部により撮像された画像の輝度に関する輝度情報を取得し、さらに、当該取得した輝度情報が、前記照明光が前記体腔内の組織に反射してハレーションを起こす場合の輝度情報と、前記対物窓と前記組織とが直接接触する場合の輝度情報との間により規定される、所定の条件を満たすか否かを判定する演算部と、
    前記演算部により取得された輝度情報が前記所定の条件を満たしていないとの判定結果が前記演算部により得られた際に、前記圧排部を駆動させるための動作を継続し、前記演算部により取得された輝度情報が前記所定の条件を満たしたとの判定結果が前記演算部により得られた際に、前記圧排部を駆動させるための動作を停止する駆動部と、
    を有することを特徴とする医用システム。
  2. 前記演算部は、前記撮像部により撮像された画像の各画素の輝度値の平均値を前記輝度情報として取得し、さらに、当該取得した輝度値の平均値が、前記所定の条件を規定するための閾値情報に応じて設定される所定の範囲内に含まれるか否かを判定し、
    前記駆動部は、前記演算部の判定結果に基づき、前記輝度値の平均値が前記所定の範囲内に含まれないとの判定結果が得られた際に、前記圧排部を駆動させるための動作を継続し、前記輝度値の平均値が前記所定の範囲内に含まれるとの判定結果が得られた際に、前記圧排部を駆動させるための動作を停止する
    ことを特徴とする請求項1に記載の医用システム。
  3. 前記所定の範囲は、前記対物窓と前記体腔内の組織とが直接接触する場合に得られる第1の輝度値と、前記照明光が前記組織に反射してハレーションを起こす場合に得られる第2の輝度値と、により規定される
    ことを特徴とする請求項2に記載の医用システム。
  4. 前記第1の輝度値をTH1とし、前記第2の輝度値をTH2とし、さらに、前記演算部により取得された前記平均値をAVGとした場合に、前記駆動部は、TH1<AVG<TH2の大小関係を満たしていないとの判定結果が前記演算部により得られた際に、前記圧排部を駆動させるための動作を継続し、TH1<AVG<TH2の大小関係を満たしたとの判定結果が前記演算部により得られた際に、前記圧排部を駆動させるための動作を停止する
    ことを特徴とする請求項3に記載の医用システム。
  5. 前記圧排部の自動制御をオンにする指示を行うことが可能なスイッチをさらに有し、
    前記駆動部は、前記指示が前記スイッチから出力されたことを検出した際に、前記演算部の判定結果に基づいて前記圧排部を駆動させるように動作する
    ことを特徴とする請求項1に記載の医用システム。
  6. 前記挿入部の少なくとも一部に設けられた湾曲部を湾曲させるための湾曲操作を行うことができるように構成された湾曲操作部と、
    前記湾曲操作部においてなされた湾曲操作に応じた湾曲量を算出し、当該算出した湾曲量に応じた制御を行う湾曲制御部と、
    前記湾曲制御部の制御に応じて前記湾曲部を湾曲させる湾曲駆動部と、
    をさらに有することを特徴とする請求項1に記載の医用システム。
  7. 前記挿入部に設けられた管路に挿入可能な処置具をさらに有し、
    前記処置具は、前記先端部の先端面から突出された状態で前記被検者の体腔内における対象部位の処置を行うことが可能な処置部と、前記処置部の近傍に設けられた前記圧排部と、を有する
    ことを特徴とする請求項1に記載の医用システム。
JP2013532007A 2012-02-15 2012-10-11 医用システム Expired - Fee Related JP5439632B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013532007A JP5439632B1 (ja) 2012-02-15 2012-10-11 医用システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012030725 2012-02-15
JP2012030725 2012-02-15
PCT/JP2012/076273 WO2013121621A1 (ja) 2012-02-15 2012-10-11 医用システム
JP2013532007A JP5439632B1 (ja) 2012-02-15 2012-10-11 医用システム

Publications (2)

Publication Number Publication Date
JP5439632B1 true JP5439632B1 (ja) 2014-03-12
JPWO2013121621A1 JPWO2013121621A1 (ja) 2015-05-11

Family

ID=48983764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013532007A Expired - Fee Related JP5439632B1 (ja) 2012-02-15 2012-10-11 医用システム

Country Status (5)

Country Link
US (1) US8888685B2 (ja)
EP (1) EP2740398A4 (ja)
JP (1) JP5439632B1 (ja)
CN (1) CN103781396B (ja)
WO (1) WO2013121621A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3191038A1 (en) * 2014-09-11 2017-07-19 Acclarent, Inc. Low profile eustachian tube dilation system
GB202003311D0 (en) * 2020-03-06 2020-04-22 Univ Malta Retractor device for transoral insertion site, and method of viewing a surgical site

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5716321A (en) * 1995-10-10 1998-02-10 Conceptus, Inc. Method for maintaining separation between a falloposcope and a tubal wall
US6669629B2 (en) * 2001-04-24 2003-12-30 Olympus Optical Co., Ltd. Endoscope system comprising an electrically bendable endoscope
US7588535B2 (en) * 2001-12-11 2009-09-15 C2Cure Inc. Apparatus, method and system for intravascular photographic imaging
JP4503979B2 (ja) * 2003-10-22 2010-07-14 オリンパス株式会社 体内装置および医療機器
US20050124875A1 (en) 2003-10-01 2005-06-09 Olympus Corporation Vivo observation device
JP4526253B2 (ja) * 2003-10-01 2010-08-18 オリンパス株式会社 体内観察装置
US20080234546A1 (en) * 2003-10-01 2008-09-25 Olympus Corporation In vivo observation device
JP3806934B2 (ja) * 2004-03-01 2006-08-09 フジノン株式会社 内視鏡システム
JP2010068859A (ja) * 2008-09-16 2010-04-02 Fujifilm Corp 内視鏡装置及びその調光制御方法
JP5324953B2 (ja) * 2009-02-10 2013-10-23 富士フイルム株式会社 内視鏡
JP2010187903A (ja) 2009-02-18 2010-09-02 Fujifilm Corp 内視鏡装置およびその制御方法
JP5373527B2 (ja) * 2009-09-30 2013-12-18 テルモ株式会社 光干渉断層像形成装置及びその作動方法

Also Published As

Publication number Publication date
CN103781396A (zh) 2014-05-07
US8888685B2 (en) 2014-11-18
JPWO2013121621A1 (ja) 2015-05-11
EP2740398A4 (en) 2015-05-27
CN103781396B (zh) 2016-03-16
WO2013121621A1 (ja) 2013-08-22
EP2740398A1 (en) 2014-06-11
US20140039254A1 (en) 2014-02-06

Similar Documents

Publication Publication Date Title
JP4914735B2 (ja) 処置具の位置制御を行う内視鏡システム
EP2215960B1 (en) Endoscope curve control apparatus
JP5085662B2 (ja) 内視鏡システム
WO2011055613A1 (ja) 内視鏡システム
JP5444510B1 (ja) 内視鏡装置及び医用システム
WO2011055614A1 (ja) 内視鏡システム
US20150313446A1 (en) Robotic-assisted surgical system and control method thereof
CN110769737B (zh) 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置
JP2008245839A (ja) 内視鏡装置の処置具位置制御装置
CN113395928A (zh) 增强医疗视觉系统和方法
WO2015005072A1 (ja) 手術支援ロボット
WO2018216142A1 (ja) 可撓管挿入装置及び挿入制御装置
JPWO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5439632B1 (ja) 医用システム
WO2015146836A1 (ja) 内視鏡システム
WO2019003272A1 (ja) 可撓管挿入装置、挿入制御装置及び挿入制御プログラム
JP7007478B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP5841366B2 (ja) 医療装置
US20110288371A1 (en) Endoscope device
US20160360950A1 (en) Medical instrument, medical system, and mode transition method for medical instruments
US10226308B2 (en) Method of controlling a medical master/slave system
JPH05211993A (ja) 内視鏡装置
JP5792415B2 (ja) 内視鏡システム、内視鏡システムの作動方法
JP4789490B2 (ja) 内視鏡装置
JP3485190B2 (ja) 内視鏡装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131216

R151 Written notification of patent or utility model registration

Ref document number: 5439632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees