JPWO2012035923A1 - 内視鏡システム及び視界不良判定システムの動作方法 - Google Patents
内視鏡システム及び視界不良判定システムの動作方法 Download PDFInfo
- Publication number
- JPWO2012035923A1 JPWO2012035923A1 JP2012503563A JP2012503563A JPWO2012035923A1 JP WO2012035923 A1 JPWO2012035923 A1 JP WO2012035923A1 JP 2012503563 A JP2012503563 A JP 2012503563A JP 2012503563 A JP2012503563 A JP 2012503563A JP WO2012035923 A1 JPWO2012035923 A1 JP WO2012035923A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- distal end
- treatment instrument
- image
- treatment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
Description
内視鏡による観察下で、例えば高周波処置具の先端部付近の処置部を撮像手段の撮像領域内に捉えて患部組織に対して焼灼等の処置が行われる。組織に対する処置した際に煙やミストが発生する場合がある。
第1の従来例としての日本国特開平11−318909号公報には、硬性内視鏡の観察下で、高周波焼灼装置を用いて高周波焼灼の処置を行うような場合、撮像手段により得られた画像から煙を検出する煙検出手段を設け、煙の発生を検出した場合には、気腹手段を制御して、煙を除去するように制御するシステムが開示されている。
また、この第2の従来例においては、判別手段による判別結果に基づいて、処置部が位置する領域を告知したり、処置部が第2の領域に位置する場合には、第1の領域に移動するように制御することも開示されている。
上記のように処置部の動作により煙やミストが発生し、発生した煙やミストのために処置している組織や処置部の観察が妨げられる場合がある。
また、高周波焼灼装置を構成する高周波処置具に限らず、処置具の先端部、又は処置部が周囲の臓器等に隠れて、画像として観察できなくなってしまう場合もある。
また、第2の従来例は、処置するための処置部を第1の領域中に設定することを目的とするものであり、処置部が臓器等に隠れた場合や、煙やミストが発生した場合に対応するものでない。
本発明は上述した点に鑑みてなされたもので、特定の観察対象物が撮像領域の内部に存在しているにもかかわらず、画像として観察できない視界不良の状態になったことを速やかに判定できる内視鏡システム及び視界不良判定方法を提供することを目的とする。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の内視鏡システム1は、体内に挿入される内視鏡2と、この内視鏡2の処置具用チャンネル(単にチャンネルと略記)3内に挿通される処置具4と、内視鏡2に照明光を供給する光源装置5と、を有する。
また、この内視鏡システム1は、内視鏡2に設けられた撮像手段としての撮像部6に対する信号処理を行う信号処理手段としてのプロセッサ7と、プロセッサ7により生成された画像信号に対応する内視鏡画像を表示する表示手段としてのモニタ8とを有する。
なお、光源装置5とプロセッサ7とを信号線で接続し、プロセッサ7による画像信号の明るさの信号により、光源装置5による照明光の光量を調整するようにしても良い。
また、この内視鏡システム1は、撮像部6による撮像領域の撮像画像、又は(撮像領域の撮像画像に対応する)内視鏡画像から、(特定の観察対象物としての)処置具4の先端部が画像として認識できるか否かの判定を行う認識手段としての撮像領域内処置具画像認識部(以下、単に画像認識部と略記)11を有する。
また、この内視鏡システム1は、位置判定部10による判定結果の情報と画像認識部11による認識結果の情報とから、現在の撮像部6による処置具の先端部の撮像状態が、視界良好の状態であるか視界不良の状態であるか等の判定を行う視界不良判定出力手段としての視界不良判定部12を有する。
なお、図1においては、プロセッサ7の外部に、位置判定部10,画像認識部11,視界不良判定部12を設ける構成例を示しているが、例えばプロセッサ7の内部に、位置判定部10,画像認識部11,視界不良判定部12を設ける構成にしても良い。
湾曲部18は、複数の湾曲駒が回動自在に連結して構成され、術者は、操作部16に設けた図示しない湾曲操作ノブを操作することにより、湾曲部18を所望とする方向に湾曲することができる。
挿入部15内には、照明光を伝送するライトガイド21が挿通され、このライトガイド21の基端は、内視鏡2の外部の光源装置5に着脱自在に接続される。光源装置5により発生した照明光は、ライトガイド21により伝送される。
この照明窓に隣接する観察窓には対物レンズ22が取り付けられており、その結像位置には撮像素子としての例えば電荷結合素子(CCDと略記)23が配置されている。
対物レンズ22は、照明窓から出射された照明光で照明された体腔内の患部等の被写体の光学像をCCD23の撮像面に結像する。CCD23は、結像された光学像を光電変換する。対物レンズ22とCCD23とにより、体腔内の患部等を撮像する撮像部6が形成される。
なお、図2に示すように、対物レンズ22は、(視野角θで示す)所定の視野範囲内の被写体の光学像をCCD23の撮像面に結像する。この視野角θが撮像可能な撮像領域(撮像範囲)となる。
CCD23は、CCDドライブ信号の印加により、光電変換した信号を(撮像部6の)CCD23により撮像した撮像信号として出力する。この撮像信号は、画像処理回路25により、画像処理(映像処理)されて、モニタ8に表示可能な画像信号が生成される。モニタ8は、画像処理回路25から、この画像信号が入力されることにより、撮像部6により撮像された撮像画像を内視鏡画像として表示する。
また、内視鏡2には、各内視鏡2に設けられた撮像部6の撮像特性、チャンネル3の配置等の情報を含む固有情報(ID情報)を発生するID発生部26が設けられている。
このID発生部26によるID情報は、プロセッサ7に設けられた内視鏡情報取得回路27により参照され、内視鏡情報取得回路27は、ID情報を参照して、実際に使用される内視鏡2における主にその先端部17の情報、特に撮像部6の撮像領域(視野角θ)とチャンネル3の先端開口3bの配置に関連する情報を取得する。なお、ID情報から内視鏡2におけるチャンネル3の長さの情報も取得することができる。
図2の構成例では、プロセッサ7内に内視鏡情報取得回路27が設けられた構成で示しているが、位置判定部10内に内視鏡情報取得回路27を設けるようにしても良い。処置具4は、細長の管状部材31と、その後端に設けられた操作部32と、管状部材31の先端に設けられた処置を行う処置部9とを有する。術者は、操作部32に設けられた指掛け部33を開閉操作することにより、処置部9を構成する対となる切除片を開閉して、患部組織を切除する等の処置を行うことができる。
このセンサ部34は、例えば挿入口3aに配置され、このセンサ部34のガイド孔内にロータリエンコーダが配置され、このロータリエンコーダは、ガイド孔内に挿通された管状部材31の外表面と接触する。そして、管状部材31がガイド孔に沿って移動すると、ロータリエンコーダが接触しながら回転し、その回転量から管状部材31の先端部がチャンネル3の長手方向に沿って挿入された位置を検知する。
なお、このようなセンサ部34を用いる場合に限定されるものでなく、例えば内視鏡2の先端部と、処置具4の先端部に、例えば磁界を発生する第1及び第2のコイルをそれぞれ配置し、内視鏡2が挿入される患者の周囲の所定位置に前記第1及び第2のコイルにより発生した磁界を検出する複数からなる第3のコイルを配置しても良い。
なお、処置具4の先端部ないしは先端部付近には、例えば光学的に認識し易くするためのマーカ35aが設けられている。このマーカ35aとしては、例えば図1又は図2に示すように特定色(例えば青と赤)に着色された2つのカラーリングが設けられている。なお、処置部9も特定色(例えば緑)に着色して光学的に認識し易くするマーカ35bを形成しても良い。
このように、処置具4の先端部付近には、特定色で、かつリング状に形成されたマーカ35aと、特定色のマーカ35bが設けられている。
そして、位置判定部10は、設定回路10aを経てセンサ部34により検出された突出位置と閾値とを比較回路10cで比較して、比較結果により処置具4の先端部が撮像領域の内部に位置しているか否か、つまり、撮像領域内または撮像領域外の判定信号を視界不良判定部12に出力する。
上記画像認識部11は、プロセッサ7の画像処理回路25により生成された画像信号において、上記マーカ35a,35bが画像として認識できる否かを画像処理(又は画像解析)により認識する。
画像認識部11は、特定色検出回路11aにより、マーカ35a、35bの特定色を検出でき、かつ特定色として検出できた部分においてさらに特定形状判定回路11bにより、マーカ35aのリング形状及びマーカ35bの2本のライン形状に該当する形状として判定した場合にのみ、処置具4の先端部が撮像領域の内部の画像として認識できる状態、つまり画像認識可と判定する。
視界不良判定部12は、位置判定部10と画像認識部11との判定情報により、図3に示すように、撮像部6による処置具4に対する撮像状態を判定する。このため、視界不良判定部12は、位置判定部10の判定情報と画像認識部11の判定情報とを例えばアドレス入力として、このアドレスに対応した格納領域に予め格納されている情報を出力するLUT12aを有する。このLUT12aによる入出力の情報は、図3に示す表のようになる。
術者は、判定結果の情報が表示されるので、その状態を速やかに把握でき、視界不良等の状態になった場合、その状態に対応した操作や処置を速やかに行うことができる。例えば、処置具4の先端部が、観察できる状態から、周辺の臓器等のために隠れて、観察できなくなった場合には、同じモニタ8画面上で、視界不良が告知される状態となる。従って、術者は、処置具4の手元側を操作する等を行うことにより、速やかに視界不良を解消することが可能になる。
また、この内視鏡システム1は、前記撮像手段により撮像された前記撮像領域内の撮像画像から前記特定の観察対象物を画像として認識できる状態であるか否かを判定する認識手段としての画像認識部11と、前記判定手段が、前記特定の観察対象物が前記撮像領域の内部に存在していると判定し、且つ前記認識手段が前記特定の観察対象物を画像として認識できない場合に、前記撮像手段が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力手段としての視界不良判定部12と、を備えることを特徴とする。
また、患部に対して処置する処置具4をチャンネル3内に挿通しておく。この場合、例えば処置具4の先端部の位置を挿入部15の先端面の位置に設定し、この状態でセンサ部34及び設定回路36から検出される処置具4の突出位置の値は0に設定される。なお、以下の説明では、簡略化してセンサ部34が設定回路10aの機能を備えるもの(センサ部34が処置具4の先端部の突出位置を検知する)として説明する。
図4のステップS1に示すように内視鏡2の撮像部6は体腔内を撮像し、撮像部6により撮像された撮像画像が内視鏡画像としてモニタ8に表示される。
術者は、内視鏡画像を観察し、観察対象部位の状態を診断する。そして、処置が必要な場合には、処置具4の手元側を操作し、処置具4の先端側を先端部17の先端面から突出させる。
センサ部34は、処置具4の(内視鏡2の先端面からの)突出位置を検知し、位置判定部10内の比較回路10cに出力する。つまり、ステップS2に示すように位置判定部10は、処置具4の先端部の突出位置(突出量)の情報を取得する。
ステップS3の判定において、処置具4の先端部の突出位置が閾値未満の場合には、ステップS4に示すように位置判定部10は、処置具4の先端部が撮像領域の外部に位置する(存在する)と判定する。そして、この判定結果は、視界不良判定部12に出力され、視界不良判定部12は、図3に示すように処置具4の先端部が視野外に位置すると判定する。
一方、ステップS3の判定において、処置具4の先端部の突出位置が閾値以上の場合には、位置判定部10は、処置具4の先端部が撮像領域の内部に位置すると判定する。この判定結果は視界不良判定部12に出力される。
本実施形態においては処置具4の先端部に設けたマーカ35a、35bに対する画像認識を利用して、撮像領域の内部で処置具4の先端部が画像として認識できるか否かの処理結果の情報を取得する。
そして、次のステップS6に示すように画像認識部11は、画像認識の処理結果から、処置具4の先端部が撮像領域の内部で画像として認識できるか否かを判定する。
一方、ステップS6により、画像認識部11が画像認識できない場合には、画像認識部11は、図3に示すように画像認識不可と判定する。この判定結果は視界不良判定部12に出力される。そして、ステップS8に示すようにこの視界不良判定部12は、図3に示すように視界不良と判定する。
術者は、視界不良になったことが告知されることにより、視界不良に対応した処置を速やかに行うことができる。
術者は内視鏡画像から、処置具4の先端側の状態を確認することにより、処置具4の先端側が処置対象部位の周囲の臓器により隠れてしまった事などによる視界不良の原因を速やかに把握し易くなる。
ステップS9の処理の後、ステップS2の処理に戻り、ステップS2−S9の処理が繰り返される。
また、視界不良判定方法は、前記処置具の先端部の位置が前記撮像画像の領域としての撮像領域の内部に位置するか否かの判定を行う位置判定ステップとしてのステップS3と、前記撮像画像に対する画像処理により前記処置具の先端部が前記撮像領域の内部の画像として認識できるか否かの画像認識を行う認識ステップとしてのステップS5と、を有する。
また、視界不良判定方法は、前記位置判定ステップにより、前記処置具の先端部が前記撮像領域内に位置すると判定し、かつ前記認識ステップにより前記処置具の先端部が前記撮像領域内の画像として認識できない認識結果の場合に、視界不良であると判定(ステップS8)し、視界不良の判定結果を出力する視界不良判定出力ステップとしてのステップS9と、を具備することを特徴とする。
また、観察できない視界不良の状態になった場合には、術者に告知する告知手段を備えているので、術者は視界不良の状態を速やかに認識できる。そして、術者は、視界不良の状態が発生した場合にも適切な対処を迅速に行い易くなる。
なお、本実施形態においては、手動で病変組織等を切除する処置具4の場合で説明したが、機能が異なる処置具の場合にも適用できる。また、高周波の電気エネルギーを用いて処置を行う高周波処置具や、超音波エネルギーを用いて処置を行う超音波処置具のようなエネルギー処置具の場合にも適用できる。
次に図5から図9を参照して本発明の第2の実施形態を説明する。図5は、本発明の第2の実施形態の内視鏡システム1Bの全体構成を示す。
図5に示す内視鏡システム1Bは、図1の内視鏡システム1において、処置具4の代わりに高周波の電気エネルギーを用いて処置を行う高周波処置具4Bが使用され、この高周波処置具4Bは、電気エネルギーの供給装置としての高周波電源装置41に接続されている。
また、この高周波電源装置41は、高周波電流の出力と出力停止(ON/OFF)の指示操作を行うフットスイッチ(図5ではFSと略記)42と接続されている。高周波処置具4B、高周波電源装置41及びフットスイッチ42により高周波焼灼装置43が形成されている。
この高周波処置具4Bは、例えば第1の実施形態と同様に管状部材31の先端部に開閉して切除する対のナイフ(単にナイフと略記)からなる処置部9bを有する。
また、本実施形態における画像認識部11′及び視界不良判定部12′は、図2の画像認識部11及び視界不良判定部12において、視界不良と判定した場合には、さらに視界不良を発生する原因となる障害物、又は障害物の種類を推定する機能を備え、推定した結果を術者に告知する。
このため、画像認識部11′は、例えばR,G,Bの3原色の画像信号の輝度値の画素数分布としてのヒストグラムを算出するヒストグラム算出回路11cを有する。また、画像認識部11′は、煙の候補と、ミストの候補をそれぞれ検出する煙検出回路11dと、ミスト検出回路11eとを有する。
また、本実施形態においては、高周波処置具4Bの先端部付近には、第1の実施形態の場合よりもリング数を多くしたリング形状のマーカ35cとライン形状のマーカ35bが設けてある。つまり、高周波処置具4Bの先端部付近には、第1の実施形態の場合よりもその長手方向に長く形成された、所定の長さをカバーするように特定色に設定したリング形状のマーカ35cが設けてある。
従って、本実施形態においても、第1の実施形態で説明した特定色検出回路11a、特定形状判定回路11bとを用いる。
また、これら、特定色検出回路11a〜他の処置具検出回路11fにより検出した信号は、視界不良判定部12′に入力され、視界不良判定部12′は、これらの信号から視界不良であるとの判定を行った場合には、さらにその視界不良を発生させる原因となる障害物又はその種類を推定する。
このため、視界不良判定部12′は、ヒストグラム算出回路11cにより算出されたR,G,Bの画素数のヒストグラム、煙検出回路11d、ミスト検出回路11eから障害物又はその種類を推定するための閾値を格納した閾値設定部12bを有する。
例えば、図6(A)から図6(E)は、高周波処置具4Bの先端部側が(障害物としての)臓器、煙、ミスト、出血、他の処置具により、視界不良となった場合の内視鏡画像例を示す。つまり、図6(A)から図6(E)の内視鏡画像における障害物となっている臓器、煙、ミスト、出血、他の処置具の画像をそれぞれIa,Ib,Ic,Id,Ieにより示している。また、高周波処置具4B(の先端部側)の画像をItで示している。
また、図7Aは、例えば図6(A)における臓器が障害物となった場合のヒストグラム例と、障害物が臓器であることを推定するために設定された閾値の設定例を示す。
なお、Bの画像信号に関する輝度値のヒストグラムや閾値は図示しないが、Gの画像信号におけるヒストグラムの場合とほぼ同様に閾値Bth1,Bth2が設定される。そして視界不良が発生した場合には、図7Aに示すような閾値を用いて、図7Bに示す所定の条件(図7Bにおいて○で示す条件)に該当する場合のみ、視界不良判定部12′は、LUT12aを用いて障害物が臓器であると推定する。
このような条件を満たす場合を臓器推定テーブルに該当する場合と記載する。このような条件を満たさない場合、つまり臓器推定テーブルに該当しない場合には、障害物は臓器が原因でないと推定される。
また、例えばRth1>R>Rth2の条件と、Gth2>Gの条件と、Bth2>Bの条件と、を満たす場合に視界不良判定部12′は、障害物が出血であると推定する。このような条件満たす場合を出血推定テーブルに該当する場合と記載する。
また、煙検出回路11dは、図6(B)に示すような白色の煙を画像信号から検出する。例えば、この煙検出回路11dは、所定値を超えて、ほぼ同じ輝度値を有するR,G,Bの画像信号が2次元的に存在するか否かをウインドウ型比較器を用いて検出する。
そして、煙検出回路11dは検出結果の信号を視界不良判定部12′に出力する。視界不良判定部12′は、LUT12aを用いて、煙検出回路11dによりほぼ同じ輝度値を有するR,G,Bの画像信号が検出された領域が、予め設定された閾値を超えて連続的に存在する場合に、煙推定テーブルに該当するとして障害物が煙であると推定する。これ以外の場合には、障害物は煙でないと推定される。
但し、ミスト検出回路11eは、所定値を超え、ほぼ同じ輝度値を有するR,G,Bの画像信号が、連続的でなく離散的に検出されるか否かを検出する。なお、ミスト検出回路11eは、R,G,Bのいずれかの画像信号において単に所定値を超える輝度値が2次領域に渡って離散的に多数検出されるか否かを検出する構成でも良い。
図6(C)に示すようにミストは、所定値を超える輝度値を有し、霧ないしは雨のように発生するため、その特徴(2次元領域に離散的に多数発生する特徴)を検出することにより、精度良く障害物の種類がミストである場合を推定することができる。
また、他の処置具検出回路11fは、予め設定された処置具の先端側の形状、色等の特徴を参照して、障害物が他の処置具であるか否かを検出する。他の処置具検出回路11fは、例えば、画像信号における例えば閾値を超える輝度値を有し、かつ管状ないしはアーム状の形状が検出された場合には、他の処置具が障害物であると検出する。この検出結果は視界不良判定部12′に出力される。
また、視界不良判定部12′は、障害物がこれら臓器、煙、ミスト、出血、他の処置具のいずれにも該当しない場合には、他の障害物が原因であると判定又は推定する。その他の構成は、第1の実施形態と同様である。
このような構成の第2の実施形態による図8に示す視界不良判定方法を説明する。
図8における最初のステップS11からS18は、図4のステップS1からS8とほぼ同じ処理である。
次のステップS12においてセンサ部34は、観察対象部位に対する処置を行う高周波処置具4Bの先端部の位置を取得する。そして、次のステップS13において位置判定部10は、高周波処置具4Bの先端部の位置が撮像領域の内部に位置するか否かの判定を行う。
高周波処置具4Bの先端部が撮像領域の内部に位置しない判定の場合には、ステップS14に示すように位置判定部10は、高周波処置具4Bの先端部が撮像領域の外部に位置する(存在する)と判定する。
一方、高周波処置具4Bの先端部が撮像領域の内部に位置する判定結果は視界不良判定部12に出力される。
高周波処置具4Bの先端部が撮像領域の内部に位置する判定結果の場合には、ステップS15に示すように画像認識部11′は、高周波処置具4Bの先端部が撮像領域の内部の画像として認識できるか否かの処理結果の情報を取得する。
次のステップS16に示すように画像認識部11′は、画像認識の処理結果から、高周波処置具4Bの先端部が撮像領域の内部で画像認識できるか否かを判定する。
次のステップS17に示すようにこの視界不良判定部12は、図3に示すように視界良好と判定する。なお、ステップS17の後の、ステップS18により判定結果がモニタ8に表示される。そして、判定結果が術者に告知される。
一方、ステップS16により、画像認識部11が画像認識できない場合には、図3に示すように画像認識不可と判定する。この判定結果は視界不良判定部12に出力される。そして、ステップS19に示すようにこの視界不良判定部12は、図3に示すように視界不良と判定する。
そして、次のステップS21Aにおいて視界不良判定部12′は、入力された情報が、臓器が障害物である場合の条件(臓器推定テーブル)に該当するか否かの判定を行う。入力された情報が、臓器が障害物である場合の条件に該当する判定結果の場合には、次のステップS22Aにおいて視界不良判定部12′は、臓器により高周波処置具4Bの先端部が隠れていると判定する。
ステップS21Aにおいて臓器推定テーブルに該当しない場合には、ステップS21Bにおいて視界不良判定部12′は、入力された情報が、煙が障害物である場合の条件(煙推定テーブル)に該当するか否かの判定を行う。入力された情報が、煙が障害物である場合の条件に該当する判定結果の場合には、次のステップS22Bにおいて視界不良判定部12′は、煙により高周波処置具4Bの先端部が隠れていると判定する。
ステップS21Bにおいて煙推定テーブルに該当しない場合には、ステップS21Cにおいて視界不良判定部12′は、入力された情報が、ミストが障害物である場合の条件(ミスト推定テーブル)に該当するか否かの判定を行う。
入力された情報が、ミスト推定テーブルに該当する判定結果の場合には、次のステップS22Cにおいて視界不良判定部12′は、ミストにより高周波処置具4Bの先端部が隠れていると判定する。
ステップS21Cにおいてミスト推定テーブルに該当しない場合には、ステップS21Dにおいて視界不良判定部12′は、入力された情報が、出血が障害物である場合の条件(出血推定テーブル)に該当するか否かの判定を行う。そして、これに該当する場合には、ステップS22Dにおいて視界不良判定部12′は、出血(部分)で高周波処置具4Bの先端部が隠れていると判定する。
ステップS21Dにおいて出血推定テーブルに該当しない場合には、ステップS21Eにおいて視界不良判定部12′は、入力された情報が、他の処置具が障害物である場合の条件(他の処置具推定テーブル)に該当するか否かの判定を行う。
そして、これに該当する場合には、ステップS22Eにおいて視界不良判定部12′は、他の処置具で高周波処置具4Bの先端部が隠れていると判定する。さらに、ステップS18において他の処置具で高周波処置具4Bの先端部が隠れている可能性が高いと言う主旨の判定結果を表示し、術者に告知する。
そして、ステップS23において視界不良判定部12′は、他の障害物で高周波処置具4Bの先端部が隠れていると判定する。さらに、ステップS18において他の障害物で高周波処置具4Bの先端部が隠れている可能性が高いと言う主旨の判定結果を表示し、術者に告知する。
本実施形態によれば、術者は視界不良になった場合には、視界不良を発生する原因の障害物、又はその種類がモニタ8に表示されるため、その障害物の種類に対応した処置を速やかに行うことができる。その他、第1の実施形態と同様の効果を有する。
この目盛35dを画像認識した場合に認識される目盛部分から高周波処置具4Bの先端側部分の認識状態(先端側部分の全部の認識できる又は一部のみが認識できるか等)を判定できる。この場合には、特定色検出回路11aの代わりに、目盛部分を検出する回路を用いる。また、目盛の太さ等を規則的に変更して、各目盛部分を識別し易くしても良い。
なお、処置部9bに上述したマーカ35bを形成しても良いが、この他に反射率が高い部材でコーティングして、処置部9bを明るい状態で画像認識し易くしても良い。
なお、本実施形態においては、高周波の電気エネルギーを用いて処置を行う高周波処置具4Bの場合で説明したが、超音波エネルギーを用いて処置を行う超音波処置具の場合にもほぼ同様に適用できる。
次に図10から図12を参照して本発明の第3の実施形態を説明する。図10は、本発明の第3の実施形態の内視鏡システム1Cの全体構成を示す。
内視鏡システム1Cは、図5に示す第2の実施形態の内視鏡システム1Bにおいて、手動の高周波処置具4Bの代わりに可動部を能動的に駆動する駆動部50を備えた能動型高周波処置具(単に高周波処置具と略記)4Cが用いられている。そして、この高周波処置具4Cと、高周波電源装置41及びフットスイッチ42により高周波焼灼装置43Cが形成されている。
また、本実施形態の内視鏡システム1Cは、高周波処置具4Cの動作を制御すると共に、エネルギー供給装置としての高周波電源装置41のエネルギー供給の動作を制御する制御部51を備えている。この制御部51は、視界不良判定部12′による判定結果に応じて、高周波焼灼装置43Cの動作を制御する。
なお、関節軸54a,54bは湾曲部52を構成するが、関節軸54cは、処置部9bを構成する対のナイフにおける例えば一方を回動させて対のナイフを開閉する開閉機構を構成する。
関節軸54a,54b,54cには、それぞれ対のワイヤ55a,55b,55cの先端が巻回するように固定され、それぞれ対のワイヤ55a,55b,55cの後端は、例えば管状部材31の後端に設けた駆動部50内のモータ56a,56b,56cの回転軸に取り付けられたプーリ57a,57b,57cにそれぞれ固定されている。
駆動手段を構成する各モータ56i(i=a,b,c)は、制御部51から供給されるモータ駆動信号により、回転駆動する。各モータ56iの回転軸には、エンコーダ58i(図10では58aのみ示す)が取り付けられ、エンコーダ58iはモータ56iの回転角度を検出して制御部51に出力する。
また、関節軸54a,54b,54cには、それぞれの回転角度を検出するセンサ59a,59b,59cが設けられている。各センサ59iにより検出された検出信号は、湾曲&開閉検出部59に入力される。この湾曲&開閉検出部59は、センサ59a,59bの検出信号から湾曲部52の湾曲方向及び湾曲角度(からなる湾曲情報)を検出すると共に、センサ59cの検出信号からナイフの開閉角度を検出する。
また、制御部51には、湾曲部52を湾曲させる指示操作を行うと共に、ナイフの開閉させる指示操作を行うジョイスティックなどの操作部60が接続されている。制御部51は、操作部60から指示操作に従って駆動部50を駆動する制御動作を行う。また、この制御部51は、視界不良判定部12′と接続されると共に、高周波電源装置41とも接続されている。
そして、制御部51は、フットスイッチ42、操作部60による操作に対応した制御動作を行う通常の制御モード(第1の制御モード)と、視界不良判定部12′による視界不良の判定結果(より詳細には障害物の種類の判定結果)に対応した制御動作を行う第2の制御モードとを有する。
なお、図10では、関節53a,53bは、それぞれ関節軸54a,54bの回りで回動自在と説明したが、関節軸54a,54bと直交する方向にも回動自在にした構造の湾曲部52にしても良い。また、図10では2つの関節53a、53bを示しているが、より多くの個数の関節で湾曲部52を構成しても良い。
図10の構成においては、例えばセンサ部34内には、上述の第1の実施形態で説明したロータリエンコーダの他に、ローラに回転軸が接続された(高周波処置具4Cを移動して、処置部9bを退避させるための移動手段を構成する)モータ62が配置されている。
このモータ62は、制御部51によりその移動動作が制御される。このモータ62を回転駆動することにより、ローラに摺接した管状部材31を、その長手方向に移動し、高周波処置具4Cの先端部の処置部9bを形成するナイフをチャンネル3内に収納する(つまり、チャンネル3の先端開口3bからナイフが突出しない状態に退避する)ことができる。
この場合、外チューブ61は、チャンネル3の挿入口3aの位置に配置されたセンサ部63により、挿入口3aの位置から外チューブ61の所定位置、例えば外チューブ61の先端開口の位置が検出される。
さらに外チューブ61の内側の管状部材31の所定位置、例えば先端部の位置は、センサ部63に隣接して配置されたセンサ部34により検出される。なお、このセンサ部34内の図示しないローラ及びロータリエンコーダは、外チューブ61の後端側の周方向の複数箇所に形成された長溝を経て外チューブ61の内側の管状部材31に摺接する。
このモータ62を回転駆動することにより、ローラに摺接した管状部材31を、その長手方向に移動し、高周波処置具4Cの先端部のナイフを外チューブ61の先端開口内に収納する(つまり、先端開口からナイフが突出しない状態に退避させる)ことができる。なお、センサ部34,63の検知信号は制御部51に入力され、制御部51は、視界不良判定部12′から視界不良の判定結果が入力された場合には、モータ62の動作を制御する。その他の構成は、第2の実施形態と同様である。
次に図12を参照して本実施形態の動作を説明する。なお、以下の説明では高周波処置具4Cが外チューブ61内に挿通されている構成例で説明する。
図8で説明したようにステップS19において視界不良と判定し、ステップS20において障害物を推定する処理を行う。そして、ステップS21Aにおいて障害物が臓器であるか否かを判定する処理を行い、障害物が臓器であると判定した場合には、ステップS22Aにおいて高周波処置具4Cの先端部が臓器で隠れている判定する。なお、ここでは、高周波処置具4Cの先端部は、湾曲部52及び処置部9bを含む意味としているが、湾曲部52及び処置部9bをより明確に含むように高周波処置具4Cの先端部の代わりに高周波処置具4Cの先端部周辺部を用いても良い。
次のステップS31において、視界不良判定部12′は、臓器により湾曲部52及び処置部9bを構成するナイフの全部が隠れているか、湾曲部52及びナイフの一部が隠れているかの判定を行う。
また、制御部51は、湾曲部52を構成する関節軸54a、54bの回転動作を視界不良の間、停止すると共に、ナイフの開閉する関節軸54cの回転動作も停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
ステップS31の判定において、一部隠れている判定結果の場合には、ステップS33に示すように、制御部51は、高周波電源装置41に対して高周波電流の出力停止(エネルギー供給の停止)の指示を行う。
ステップS21B及びステップS22B又はステップS21C及びステップS22Cに示すように煙又はミストで高周波処置具4Cの先端部が隠れていると判定した場合には、ステップS34に示すように、制御部51は、高周波電源装置41に対して高周波電流の出力停止の指示を行う。
また、制御部51は、視界不良となる湾曲部52を構成する関節軸の回転動作を停止又は(応答速度を低下させるように)制限すると共に、ナイフの開閉する関節軸54cの回転動作も停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
また、制御部51は、視界不良となる湾曲部52を構成する関節軸の回転動作を停止又は(応答速度を低下させるように)制限すると共に、ナイフの開閉する関節軸54cの回転動作も停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
ステップS21E及びステップS22Eに示すように他の処置具で高周波処置具4Cの先端部が隠れていると判定した場合には、ステップS36に示すように、制御部51は、高周波電源装置41に対して高周波電流の出力停止の指示を行う。
なお、ステップS23に示すように他の障害物で高周波処置具4Cの先端部が隠れていると判定した場合には、ステップS37に示すように、制御部51は、例えばステップS32又はS33のように制御する。具体的には高周波電源装置41に対して高周波電流の出力停止の指示を行う。
また、制御部51は、視界不良となる湾曲部52を構成する関節軸の回転動作を停止すると共に、ナイフの開閉する関節軸54cの回転動作を停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
なお、図8に示すようにステップS22A−S22Eの処理の後、モニタ8で判定結果の表示による告知を行うようにした場合には、テップS32−S36の処理の後、制御部51による制御結果の情報をモニタ8で表示による告知を行うようにしても良い。
また、煙又はミストが障害物の場合には、処置具の輪郭がどの程度認識できるか否かを画像処理で判定し、判定結果に応じて、制御部51により制御する動作を変更しても良い。
例えば、煙又はミストのために、煙又はミストが全く無い状態よりは不鮮明になるが、ナイフや湾曲部52の輪郭が十分に観察できる場合には、応答動作を遅くして高周波処置具4Cによる動作を続行できるようにしても良い。
従って、術者は視界不良を発生するような状況で処置しなければならない場合にも、円滑な処置を行い易くなる。その他、第2の実施形態と同様の効果を有する。
なお、煙又はミストが障害物であると判定した場合には、高周波電流の出力停止、換言すると高周波処置具4C及びその先端部側に高周波電流が流れないようにする、ことによって、煙又はミストの発生を速やかに停止させることができる。
このため、煙又はミストが発生した初期段階において、制御部51は、高周波電流の出力停止の制御を行うことにより、視界不良の状態から視界を確保できる状態に復帰させることができる可能性が高い。
このように障害物が煙又はミストであると判定した場合と、煙又はミスト以外の障害物と判定した場合とで、制御部51が制御する制御内容を変更しても良い。なお、煙又はミスト以外の障害物と判定した場合には、制御部51は、処置部9b(を構成するナイフ)を後退させてチャンネル3の先端開口3b内又は外チューブ61の先端開口内、つまり処置部収納部内に収納する制御を行う。また、制御部51は、障害物が煙又はミストであると判定した場合には、駆動部50が駆動する動作の応答速度を遅くし、煙又はミスト以外の障害物と判定した場合には駆動部50が駆動する動作を停止させる制御を行うようにしても良い。また、このような制御を行う場合には、その制御内容をモニタ8等で表示し、術者が制御内容を把握又は認識し易くなるようにしても良い。
また、駆動部50の駆動量と、センサ59a−59cの検出値等を経時的に記憶する記憶部65も設けられている。なお、記憶部65は、高周波電源装置41から出力される高周波電流値等も記憶するようにしても良い。
なお、監視部64は、エンコーダ58i、センサ59a−59cの出力信号を直接、監視しても良いし、図13に示すように制御部51を介して監視するようにしても良い。監視部64は、さらに他の動作を監視するようにしても良い。
正常・異常状態判定部66による判定結果は制御部51に送られる。制御部51は、この判定結果に対応した制御動作を行う。正常状態の場合には、制御部51は、上述した第3の実施形態のように制御動作を行う。
なお、制御部51の制御モードの情報をプロセッサ7を介してモニタ8で表示する等、術者等に告知するようにしても良い。
その他の構成は、第3の実施形態と同様である。本変形例によれば、異常状態の場合にも、異常状態に対応した制御動作を行うことができる。なお、第3の実施形態及びその変形例においては、高周波処置具4Cの場合で説明したが、超音波処置具等の場合にもほぼ同様に適用できる。
図14に示す内視鏡システム1Eは、能動医療機器としての能動内視鏡(単に内視鏡と略記)2Eと、光源装置5と、プロセッサ7Eと、モニタ8と、内視鏡2Eの動作を制御する制御部51Eとを有する。
内視鏡2Eは、先端部付近に複数の関節からなる能動湾曲機構71が設けられ、この能動湾曲機構71は、ワイヤ72を介して手元側の駆動部73と接続されている。この内視鏡2Eは、図2の内視鏡2における湾曲部18を能動湾曲機構71に置換した構成に相当する。
駆動部73による能動湾曲機構71の関節を駆動する動作は、制御部51Eにより制御される。また、駆動部73の駆動量は、駆動量検出部74により検出され、制御部51Eに出力される。
この異常状態検出部75は、駆動部73の駆動状態(駆動トルク、駆動量)や能動湾曲機構71を構成する関節の変位量、内視鏡2Eの撮像部6の状態といった内視鏡2Eの動作状態や、光源装置5、プロセッサ7E、内視鏡周辺機器の動作状態を常時監視し、機器等の機能が正常に動作しているかをチェックする。なお、プロセッサ7Eは、図2におけるプロセッサ7において、内視鏡画像情報取得回路27を有しない構成と同じであるが、内視鏡画像情報取得回路27を有する構成にしても良い。
また、内視鏡システム1Eには、制御部51Eに対して各種の指示操作の入力を行う操作入力部78と、異常状態が発生した場合、正常な機能部分の動作指示を行う復帰指示部(動作指示部)79と、この復帰指示部79の動作指示により、例えば制御部51Eに対して正常な機能部分の動作を行わせる復帰部(動作制御部)80とを有する。
そこで、本内視鏡システム1Eにおいては、復帰部80を用いて、内視鏡2Eの撮像機能としての撮像部6を選択的に復帰させ、視覚的な機能を動作させる動作状態に設定することにより診断若しくは処置し易くする。
さらに、内視鏡2Eを抜去するため、最低限の動作を行わせたい場合は、正常に動作する部分の関節もしくはその関節を動作させる駆動部73を選択し、正常な関節のみ動作復帰させ、能動制御する場合にも信頼性の高い動作を確保する。
図15に示す内視鏡システム1Fは、内視鏡2Fと、内視鏡2Fのチャンネル内に挿通された能動処置具4Fと、光源装置5と、プロセッサ7Eと、モニタ8と、能動処置具4Fを制御する第1制御部81a、81bを備えた処置具制御部51Fとを有する。
能動処置具4Fは、先端部付近に複数の関節からなる能動湾曲機構71Fが設けられ、この能動湾曲機構71Fは、ワイヤ72を介して手元側のモータにより構成される駆動部73Fと接続されている。
駆動部73Fの駆動量は、エンコーダにより構成される駆動量検出部74Fにより検出され、処置具制御部51Fに出力される。
また、検出部82による検出された信号は、処置具制御部51Fに入力されると共に、この処置具制御部51F内に設けた検出部異常状態判定部83に入力される。この検出部異常状態判定部83は、能動湾曲機構71Fに設けられた検出部82の故障等による異常状態を判定(検出)する。
この場合、第1制御部81aは、検出部82による信号に基づいて、能動処置具4Fの動作を制御する。
一方、検出部異常状態判定部83は、検出部82が異常な動作状態であると判定した異常時には、制御部切替部84を介して第2制御部81bを制御に用いるように切り替える。
第2制御部81bは、能動湾曲機構71Fを構成する各関節を独立して制御する制御動作を行い、検出部82を構成する複数のセンサの一部が故障した場合においても正常に動作するセンサによる信号に基づいて、該センサにより検出される関節のみを制御する。
このような内視鏡システム1Fにおける制御方法を説明する。一般的に、能動医療機器の制御を行っている際に、機器の一部が故障した場合、処置等を停止させ体内から能動医療機器を抜去させることになるが、多自由度の能動処置具4Fの場合、各関節の湾曲形状が大きいときに、故障等が発生すると、体内から抜去することが困難な場合がある。
また、処置を行っている場合においては、最低限の処置を行い、手技を終了させる必要がある。本内視鏡システム1Fは、このようなケースに着目した能動処置具4Fの制御方法である。
主な判定方法として、断線や物理的破損による検出値獲得不可により異常(故障)と判断する方法や、ノイズのような電気的もしくは熱的に検出値が異常値となり、さらにこの異常値を連続的に獲得することで異常と判定する方法などを用いる。なお、一時的な誤検出であればフィルタ等で対処が可能である。
第1制御部81aの制御方法は、能動処置具4Fの先端部の位置、姿勢を制御する方法であり、操作者が第1操作入力部85bにより、所望の位置、姿勢を入力する。
ここで、ある関節に設置されたセンサが故障した場合、検出部異常状態判定部83は、異常と判定し、制御部切替部84と提示部86に異常状態を示す信号を送り、制御部切替部84は、第1制御部81a,81bに対しセンサが異常状態であることを示す信号を送る。
この時、第1制御部81aは各機器が次のアクションを起こすまでの間、能動処置具4Fの動作を停止させ、第1操作入力部85aからの入力を許可しない。提示部86は、操作者に対しセンサが故障したことを示す信号をプロセッサ7E経由でモニタ8に提示する。なお、提示方法は表示のほかに音声等の警告手段でも良い。
なお、制御部の切替は、操作者からの切替指示による方法でも良い。また、操作入力部は2台でなく、1台の操作入力部に複数の入力モードを搭載し、切り替える方法でも良い。
操作者により第2操作入力部85bから操作入力指示が開始すると、第2制御部81bは能動処置具4Fの制御を開始する。上述したように第2制御部81bの制御方法は、能動処置具4Fの各関節を独立して制御する方法であり、一部の関節のセンサが故障した場合においても、センサが正常な関節のみを制御することが可能である。
以上の方法により、先端部に搭載したセンサが故障した場合において、能動処置具4Fを制御することが可能となる。
図15の内視鏡システム1Fの構成の一部を変更した図16のような内視鏡システム1Gにしても良い。
この内視鏡システム1Gは、図15の内視鏡システム1Fにおいて、駆動部73Fは制御部81により制御される。また、駆動部73Fは、この駆動部73Fの駆動状態としての駆動出力を算出する駆動状態算出部91と接続される。駆動量検出部74Fと検出部82は、状態検知部92と接続される。制御部81は、操作入力部85と接続される。
制御部81は、各関節に設けられたセンサ情報を基に能動処置具4Fの制御を行う。なお、モータ制御においてエンコーダの検出値も利用して制御を行うと精度を向上させることが可能となる。
次に図17を用いて、能動処置具4Fの状態検知方法について説明する。ステップS41に示すように操作入力部85の入力に対して、その入力値に基づいて駆動部73Fのモータが動作する(ステップS42)。駆動量検出部74Fは、モータの駆動量に応じたエンコーダ値を取得する(ステップS43)。
出力トルクが通常時より大きいとき、状態検知部92はモータにかかる負荷が大きいこと(より具体的にはこの負荷状態を継続すると、モータが損傷する可能性があること)を検知する(ステップS45)。
状態検知部92は、前記二通りの状態を検知した場合、制御部81に対し前記状態を示す信号を送り、制御部81はモータの焼損を予測し、モータ(駆動部)への出力を制限する(ステップS46)。制限方法は、トルク制御や電流制御、電圧制御等がある。
第一の状態は、能動処置具4Fの先端部が体内の臓器等に接触していることにより能動処置具4Fの動作に負担がかかっている状態であり、第二の状態はモータと関節間に介在する能動処置具4Fの挿入部内で負荷がかかっている状態である。
これらの状態の判別は、状態検知部92によって関節に設けられたセンサの検出値とモータの回転量を比較して行われる。そして、状態検知部92は、先端部の検出値が適切であるか否かの判定を行う(ステップS47)。
この判定により適切でない場合には、状態検知部92は、挿入部において負荷がかかっていると判定(検知)する(ステップS48)。一方、上記判定により検出値が適切である場合には、動作状態において外力を受けていると判定する(ステップS49)。
状態検知部92が先端部のセンサ値を正常に取得できない場合には、状態検知部92は、センサが故障もしくは断線と判断する(ステップS51)。また、状態検知部92は、この状態を示す信号を制御部81に対し送る。
制御部81は、前記信号を受けたときモータに対し、出力の停止もしくは出力の制限を行う。
なお、前記センサが故障時の制御方法は、停止、制限のほかにモータの回転量を用いた制御のように、先端部のセンサ値を使用しない異なる制御ブロックを備え切り替える方法で行っても良い。
状態検知部92は、検出部の検出した値を正常に取得できたと判定したとき、取得したした検出値が適切であるかの判定を行う(ステップS52)。判定方法は、前状態の検出値との比較や、他のセンサとの比較等で行われる。
検出値が適切な場合は、状態検知部92は、能動処置具4Fが正常動作と判定し、制御を継続する(ステップS53)。
一方、状態検知部92は、適切でないと判定した場合は検出結果に応じて下記の、三つの状態を検知し、検知結果を制御部81に送る。
次に、検出部82の検出結果が能動処置具4Fの関節の動作と関連性のない値であり、この値を連続的に取得しているとき状態検知部92はセンサが電気的に故障した状態であると判断する(ステップS55)。
最後に、入力された位置もしくは姿勢に対し、駆動したモータや関節が入力状態を維持しているにも関わらず、その後関節の検出値が変化した場合、状態検知部92は、先端部の関節が臓器による押圧等の外力を受けている状態であると判断する(ステップS56)。
(ワイヤの破断検知時)モータの動作停止もしくはワイヤが破断していない関節のみの動作させる。(センサ故障時)モータ動作停止させる。(外力検知時)モータの出力を制限する。
以上のように、センサの故障検知だけでなく、従来、操作者が認識していたワイヤの破断や外力による影響の有無を制御的に検知することにより、能動処置具4Fの制御における信頼性を向上させたり、術者等の操作作業の手間を軽減して操作性を向上することができる。
なお、例えば図16に示す内視鏡システム1Gにおいて、能動処置具4F(又は処置マニピュレータ)と、他の機器とを通信させると共に、能動処置具4Fと他の機器の正常/異常状態を検出する構成にして、制御部81が正常/異常状態に対応した制御を行うようにしても良い。
このように制御すると、手術中に異常状態になったときにも、全体としては、その異常状態に対応した適切に設定して、円滑に適切な操作を行うことができ易くなる。
なお、上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。また、要旨を変更しない範囲での変形例も、本発明に属する。
を具備する。
本発明は上述した点に鑑みてなされたもので、特定の観察対象物が撮像領域の内部に存在しているにもかかわらず、画像として観察できない視界不良の状態になったことを速やかに判定できる内視鏡システム及び視界不良判定システムの動作方法を提供することを目的とする。
を具備する。
Claims (12)
- 内視鏡に設けられ、撮像を行う撮像手段と、
前記撮像手段の撮像領域内に特定の観察対象物が存在しているか否かを判定する判定手段と、
前記撮像手段により撮像された前記撮像領域内の撮像画像から前記特定の観察対象物を画像として認識できる状態であるか否かを判定する認識手段と、
前記判定手段が、前記特定の観察対象物が前記撮像領域内に存在していると判定し、且つ前記認識手段が前記特定の観察対象物を画像として認識できない場合に、
前記撮像手段が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力手段と、
を備えることを特徴とする内視鏡システム。 - さらに、前記視界判定出力手段による前記視界不良の判定結果を告知する告知手段を有することを特徴とする請求項1に記載の内視鏡システム。
- 前記特定の観察対象物は、処置具の先端部であり、
さらに、前記視界不良の判定結果に応じて、前記処置具の動作を停止又は制限する制御を行う制御手段を有することを特徴とする請求項1に記載の内視鏡システム。 - 前記視界判定出力手段が前記視界不良の判定結果を出力する場合には、さらに、前記視界不良を発生する障害物、又は障害物の種類を推定する障害物推定手段を有することを特徴とする請求項1に記載の内視鏡システム。
- さらに、前記障害物推定手段により推定された障害物又は障害物の種類の情報を告知する告知手段を有することを特徴とする請求項4に記載の内視鏡システム。
- 前記特定の観察対象物は、処置具の先端部であり、
さらに、前記処置具の動作を制御を行う制御手段を有し、前記障害物推定手段により推定された障害物、又は障害物の種類に応じて、前記制御手段は、前記処置具の動作を停止又は制限する制御を行うことを特徴とする請求項4に記載の内視鏡システム。 - 前記特定の観察対象物は、駆動部により複数の関節が回動する能動処置具の先端部であり、
さらに、前記能動処置具の前記駆動部の動作を制御を行う制御手段を有し、前記障害物推定手段により推定された障害物、又は障害物の種類に応じて、前記制御手段は、前記能動処置具の前記駆動部の動作を停止又は動作を制限する制御を行うことを特徴とする請求項4に記載の内視鏡システム。 - 前記能動処置具がエネルギー供給装置から供給されるエネルギーを用いて処置する場合には、前記障害物推定手段により推定された障害物、又は障害物の種類に応じて、前記制御手段は、前記能動処置具の前記駆動部の動作を停止又は動作を制限すると共に、エネルギー供給装置によるエネルギー供給の動作を停止する制御を行うことを特徴とする請求項7に記載の内視鏡システム。
- 前記制御手段は、前記障害物が煙又はミストであると推定された場合と、前記障害物が煙又はミスト以外であると推定された場合とで、前記能動処置具に対する制御内容を変更することを特徴とする請求項8に記載の内視鏡システム。
- 前記制御手段は、前記障害物が煙又はミストであると推定された場合には、前記能動処置具に対して、指示操作に対して前記駆動部が応答して駆動する動作の応答速度を遅くするように制御し、前記障害物が煙又はミスト以外であると推定された場合には前記駆動部が駆動する動作を停止させるように制御することを特徴とする請求項8に記載の内視鏡システム。
- 前記制御手段は、前記障害物が煙又はミストであると推定された場合には、前記能動処置具に対して、前記能動処置具の先端に設けられ、処置するための処置部を駆動する動作の応答速度を遅くするように制御し、前記障害物が煙又はミスト以外であると推定された場合には前記処置部の動作を停止させ、かつ処置部を後退させて、処置部収納部内に収納するように制御することを特徴とする請求項8に記載の内視鏡システム。
- 体腔内の観察対象部位を撮像部により撮像した撮像画像を内視鏡画像として表示する表示ステップと、
前記観察対象部位に対する処置を行うための処置具の先端部の位置を位置判定部が取得する処置具位置取得ステップと、
前記処置具の先端部の位置が前記撮像画像の領域としての撮像領域の内部に位置するか否かの判定を位置判定部が行う位置判定ステップと、
前記撮像画像に対する画像処理により前記処置具の先端部が前記撮像領域の内部の画像として認識できるか否かの画像認識を画像認識部が行う認識ステップと、
前記位置判定ステップにより、前記処置具の先端部が前記撮像領域内に位置すると判定し、かつ前記認識ステップにより前記処置具の先端側が前記撮像領域内の画像として認識できない認識結果の場合に、視界不良判定部が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力ステップと、
を具備することを特徴とする視界不良判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012503563A JP5065538B2 (ja) | 2010-09-14 | 2011-08-17 | 内視鏡システム及び視界不良判定システムの動作方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010205896 | 2010-09-14 | ||
JP2010205896 | 2010-09-14 | ||
PCT/JP2011/068626 WO2012035923A1 (ja) | 2010-09-14 | 2011-08-17 | 内視鏡システム及び視界不良判定方法 |
JP2012503563A JP5065538B2 (ja) | 2010-09-14 | 2011-08-17 | 内視鏡システム及び視界不良判定システムの動作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5065538B2 JP5065538B2 (ja) | 2012-11-07 |
JPWO2012035923A1 true JPWO2012035923A1 (ja) | 2014-02-03 |
Family
ID=45831397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012503563A Active JP5065538B2 (ja) | 2010-09-14 | 2011-08-17 | 内視鏡システム及び視界不良判定システムの動作方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8497898B2 (ja) |
EP (1) | EP2532299B1 (ja) |
JP (1) | JP5065538B2 (ja) |
CN (1) | CN102834043B (ja) |
WO (1) | WO2012035923A1 (ja) |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130172679A1 (en) * | 2011-07-01 | 2013-07-04 | Fujifilm Corporation | Endoscope insertion assisting device |
US20130303944A1 (en) | 2012-05-14 | 2013-11-14 | Intuitive Surgical Operations, Inc. | Off-axis electromagnetic sensor |
US10238837B2 (en) | 2011-10-14 | 2019-03-26 | Intuitive Surgical Operations, Inc. | Catheters with control modes for interchangeable probes |
US9452276B2 (en) | 2011-10-14 | 2016-09-27 | Intuitive Surgical Operations, Inc. | Catheter with removable vision probe |
US9131957B2 (en) | 2012-09-12 | 2015-09-15 | Gyrus Acmi, Inc. | Automatic tool marking |
US20140277334A1 (en) | 2013-03-14 | 2014-09-18 | Hansen Medical, Inc. | Active drives for robotic catheter manipulators |
US9326822B2 (en) | 2013-03-14 | 2016-05-03 | Hansen Medical, Inc. | Active drives for robotic catheter manipulators |
US9173713B2 (en) | 2013-03-14 | 2015-11-03 | Hansen Medical, Inc. | Torque-based catheter articulation |
US11213363B2 (en) | 2013-03-14 | 2022-01-04 | Auris Health, Inc. | Catheter tension sensing |
US9408669B2 (en) | 2013-03-15 | 2016-08-09 | Hansen Medical, Inc. | Active drive mechanism with finite range of motion |
US20140276647A1 (en) | 2013-03-15 | 2014-09-18 | Hansen Medical, Inc. | Vascular remote catheter manipulator |
US20140276936A1 (en) | 2013-03-15 | 2014-09-18 | Hansen Medical, Inc. | Active drive mechanism for simultaneous rotation and translation |
JP5959723B2 (ja) * | 2013-03-29 | 2016-08-02 | 富士フイルム株式会社 | 内視鏡下外科手術装置 |
JP5715315B1 (ja) | 2013-06-18 | 2015-05-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム、内視鏡システムの制御方法 |
CN105188509B (zh) * | 2013-08-07 | 2017-08-25 | 奥林巴斯株式会社 | 内窥镜系统和内窥镜系统的工作方法 |
EP3056133B1 (en) | 2013-10-11 | 2018-12-05 | Olympus Corporation | Endoscopic system |
JP2017063801A (ja) * | 2014-02-06 | 2017-04-06 | オリンパス株式会社 | 挿入装置 |
US10046140B2 (en) | 2014-04-21 | 2018-08-14 | Hansen Medical, Inc. | Devices, systems, and methods for controlling active drive systems |
US10569052B2 (en) | 2014-05-15 | 2020-02-25 | Auris Health, Inc. | Anti-buckling mechanisms for catheters |
DE102014007909A1 (de) | 2014-05-27 | 2015-12-03 | Carl Zeiss Meditec Ag | Chirurgisches Mikroskop |
CN106231980B (zh) * | 2014-06-19 | 2018-06-22 | 奥林巴斯株式会社 | 内窥镜装置 |
US9561083B2 (en) | 2014-07-01 | 2017-02-07 | Auris Surgical Robotics, Inc. | Articulating flexible endoscopic tool with roll capabilities |
CN106455920B (zh) * | 2014-09-05 | 2018-08-07 | 奥林巴斯株式会社 | 内窥镜系统 |
JP6432770B2 (ja) | 2014-11-12 | 2018-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
US9805472B2 (en) | 2015-02-18 | 2017-10-31 | Sony Corporation | System and method for smoke detection during anatomical surgery |
DE112015006562T5 (de) * | 2015-06-29 | 2018-03-22 | Olympus Corporation | Bildverarbeitungsvorrichtung, Endoskopsystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm |
JP6938507B2 (ja) | 2015-09-09 | 2021-09-22 | オーリス ヘルス インコーポレイテッド | 手術支援ロボットシステム用の器械装置マニピュレータ |
US9949749B2 (en) | 2015-10-30 | 2018-04-24 | Auris Surgical Robotics, Inc. | Object capture with a basket |
US9955986B2 (en) | 2015-10-30 | 2018-05-01 | Auris Surgical Robotics, Inc. | Basket apparatus |
US10231793B2 (en) | 2015-10-30 | 2019-03-19 | Auris Health, Inc. | Object removal through a percutaneous suction tube |
WO2017183598A1 (ja) * | 2016-04-18 | 2017-10-26 | オリンパス株式会社 | 制御装置及び挿入装置 |
US10454347B2 (en) | 2016-04-29 | 2019-10-22 | Auris Health, Inc. | Compact height torque sensing articulation axis assembly |
JP6834184B2 (ja) * | 2016-06-16 | 2021-02-24 | ソニー株式会社 | 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム |
CN109069138B (zh) | 2016-08-31 | 2021-07-20 | 奥瑞斯健康公司 | 长度守恒的手术器械 |
KR102536940B1 (ko) * | 2016-12-28 | 2023-05-30 | 아우리스 헬스, 인코포레이티드 | 가요성 기구 삽입을 위한 장치 |
US10244926B2 (en) | 2016-12-28 | 2019-04-02 | Auris Health, Inc. | Detecting endolumenal buckling of flexible instruments |
WO2018163644A1 (ja) * | 2017-03-07 | 2018-09-13 | ソニー株式会社 | 情報処理装置、支援システム及び情報処理方法 |
JP6212833B1 (ja) * | 2017-03-10 | 2017-10-18 | 株式会社エム・ピー・アイ | 診察視界確保式ビデオスコープ |
WO2018175583A1 (en) * | 2017-03-21 | 2018-09-27 | Stryker Corporation | Methods and systems to automate surgical interventions |
WO2018236513A1 (en) | 2017-06-19 | 2018-12-27 | Boston Scientific Scimed, Inc. | AUTOMATIC FLUID MANAGEMENT SYSTEM |
US11026758B2 (en) | 2017-06-28 | 2021-06-08 | Auris Health, Inc. | Medical robotics systems implementing axis constraints during actuation of one or more motorized joints |
EP3723655A4 (en) | 2017-12-11 | 2021-09-08 | Auris Health, Inc. | SYSTEMS AND METHODS FOR INSTRUMENT-BASED INSERTION ARCHITECTURES |
KR20200100613A (ko) | 2017-12-14 | 2020-08-26 | 아우리스 헬스, 인코포레이티드 | 기구 위치 추정을 위한 시스템 및 방법 |
JP6889282B2 (ja) * | 2017-12-22 | 2021-06-18 | 富士フイルム株式会社 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
JP6957424B2 (ja) * | 2018-08-16 | 2021-11-02 | 富士フイルム株式会社 | 内視鏡の制御装置、内視鏡装置、内視鏡の状態識別方法、内視鏡の状態識別プログラム |
JP7009636B2 (ja) * | 2018-08-17 | 2022-01-25 | 富士フイルム株式会社 | 内視鏡システム |
EP3856001A4 (en) | 2018-09-28 | 2022-06-22 | Auris Health, Inc. | DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS |
US11896330B2 (en) | 2019-08-15 | 2024-02-13 | Auris Health, Inc. | Robotic medical system having multiple medical instruments |
US11737845B2 (en) | 2019-09-30 | 2023-08-29 | Auris Inc. | Medical instrument with a capstan |
US11715199B2 (en) | 2019-12-31 | 2023-08-01 | Stryker Corporation | Systems and methods for surgical smoke management |
WO2021137104A1 (en) | 2019-12-31 | 2021-07-08 | Auris Health, Inc. | Dynamic pulley system |
KR20220123269A (ko) | 2019-12-31 | 2022-09-06 | 아우리스 헬스, 인코포레이티드 | 고급 바스켓 구동 모드 |
EP3861920A1 (de) * | 2020-02-05 | 2021-08-11 | Erbe Elektromedizin GmbH | Chirurgisches instrument mit einer positionserkennungseinrichtung |
CN116034307A (zh) * | 2020-08-24 | 2023-04-28 | 富士胶片株式会社 | 图像处理装置、方法及程序 |
US11748924B2 (en) | 2020-10-02 | 2023-09-05 | Cilag Gmbh International | Tiered system display control based on capacity and user operation |
US11963683B2 (en) | 2020-10-02 | 2024-04-23 | Cilag Gmbh International | Method for operating tiered operation modes in a surgical system |
US11911030B2 (en) | 2020-10-02 | 2024-02-27 | Cilag Gmbh International | Communication capability of a surgical device with component |
US11877792B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Smart energy combo control options |
US12016566B2 (en) | 2020-10-02 | 2024-06-25 | Cilag Gmbh International | Surgical instrument with adaptive function controls |
US11672534B2 (en) | 2020-10-02 | 2023-06-13 | Cilag Gmbh International | Communication capability of a smart stapler |
US20220104765A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Surgical visualization and particle trend analysis system |
US11883022B2 (en) | 2020-10-02 | 2024-01-30 | Cilag Gmbh International | Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information |
US11830602B2 (en) | 2020-10-02 | 2023-11-28 | Cilag Gmbh International | Surgical hub having variable interconnectivity capabilities |
US11992372B2 (en) | 2020-10-02 | 2024-05-28 | Cilag Gmbh International | Cooperative surgical displays |
US11883052B2 (en) | 2020-10-02 | 2024-01-30 | Cilag Gmbh International | End effector updates |
US20220104713A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Tiered-access surgical visualization system |
US11877897B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Situational awareness of instruments location and individualization of users to control displays |
US20220117673A1 (en) * | 2020-10-19 | 2022-04-21 | Arthur C. McKinley | EndoInspect Apparatus, System and Method |
CN117915819A (zh) * | 2021-09-07 | 2024-04-19 | 直观外科手术操作公司 | 选择性地使用由成像设备生成的不同视频流来执行基于图像的操作 |
WO2023149527A1 (ja) * | 2022-02-04 | 2023-08-10 | オリンパス株式会社 | 医療用システム、報知方法及び医療用システムの作動方法 |
WO2023166742A1 (ja) * | 2022-03-04 | 2023-09-07 | オリンパス株式会社 | 画像処理装置、処置システムおよび画像処理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08336497A (ja) * | 1995-06-09 | 1996-12-24 | Olympus Optical Co Ltd | 体腔内観察装置 |
JPH11309156A (ja) * | 1998-04-27 | 1999-11-09 | Olympus Optical Co Ltd | 排煙装置 |
JPH11318909A (ja) * | 1998-05-14 | 1999-11-24 | Olympus Optical Co Ltd | 煙除去システム |
JP2005124756A (ja) * | 2003-10-22 | 2005-05-19 | Olympus Corp | 内視鏡用画像処理装置 |
JP2006166939A (ja) * | 2004-12-10 | 2006-06-29 | Olympus Corp | 画像処理方法 |
JP2008301968A (ja) * | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | 内視鏡画像処理装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3310349B2 (ja) * | 1992-09-22 | 2002-08-05 | オリンパス光学工業株式会社 | 内視鏡装置 |
JPH09149876A (ja) * | 1995-11-30 | 1997-06-10 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH09266882A (ja) * | 1996-04-02 | 1997-10-14 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH10243919A (ja) * | 1997-03-07 | 1998-09-14 | Olympus Optical Co Ltd | 内視鏡装置 |
JP3762512B2 (ja) * | 1997-04-03 | 2006-04-05 | オリンパス株式会社 | 内視鏡装置 |
KR100891766B1 (ko) | 2004-12-10 | 2009-04-07 | 올림푸스 가부시키가이샤 | 의용 화상 처리 장치 |
US7860555B2 (en) | 2005-02-02 | 2010-12-28 | Voyage Medical, Inc. | Tissue visualization and manipulation system |
US8073528B2 (en) * | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
WO2007033326A2 (en) * | 2005-09-14 | 2007-03-22 | Welch Allyn, Inc. | Medical apparatus comprising and adaptive lens |
JP5084139B2 (ja) | 2005-12-12 | 2012-11-28 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
JP5131951B2 (ja) * | 2006-02-21 | 2013-01-30 | 富士フイルム株式会社 | 体腔内観察装置 |
JP2007260144A (ja) * | 2006-03-28 | 2007-10-11 | Olympus Medical Systems Corp | 医療用画像処理装置及び医療用画像処理方法 |
JP2009131466A (ja) * | 2007-11-30 | 2009-06-18 | Olympus Medical Systems Corp | 排煙制御装置、排煙装置、及び内視鏡手術システム |
-
2011
- 2011-08-17 JP JP2012503563A patent/JP5065538B2/ja active Active
- 2011-08-17 CN CN201180017780.5A patent/CN102834043B/zh active Active
- 2011-08-17 EP EP11824931.7A patent/EP2532299B1/en active Active
- 2011-08-17 WO PCT/JP2011/068626 patent/WO2012035923A1/ja active Application Filing
-
2012
- 2012-01-25 US US13/357,738 patent/US8497898B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08336497A (ja) * | 1995-06-09 | 1996-12-24 | Olympus Optical Co Ltd | 体腔内観察装置 |
JPH11309156A (ja) * | 1998-04-27 | 1999-11-09 | Olympus Optical Co Ltd | 排煙装置 |
JPH11318909A (ja) * | 1998-05-14 | 1999-11-24 | Olympus Optical Co Ltd | 煙除去システム |
JP2005124756A (ja) * | 2003-10-22 | 2005-05-19 | Olympus Corp | 内視鏡用画像処理装置 |
JP2006166939A (ja) * | 2004-12-10 | 2006-06-29 | Olympus Corp | 画像処理方法 |
JP2008301968A (ja) * | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | 内視鏡画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102834043A (zh) | 2012-12-19 |
EP2532299B1 (en) | 2014-11-05 |
US8497898B2 (en) | 2013-07-30 |
CN102834043B (zh) | 2015-07-01 |
JP5065538B2 (ja) | 2012-11-07 |
EP2532299A1 (en) | 2012-12-12 |
US20120182409A1 (en) | 2012-07-19 |
EP2532299A4 (en) | 2013-01-23 |
WO2012035923A1 (ja) | 2012-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5065538B2 (ja) | 内視鏡システム及び視界不良判定システムの動作方法 | |
JP4861540B2 (ja) | 医療装置 | |
US20220095903A1 (en) | Augmented medical vision systems and methods | |
US9066658B2 (en) | Method and system for video based image detection/identification analysis for fluid and visualization control | |
JP6218634B2 (ja) | 内視鏡システム及び内視鏡の作動方法 | |
US10441132B2 (en) | Method of controlling endoscopes, and endoscope system | |
US9125560B2 (en) | Endoscope shape detecting apparatus | |
JP6257371B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
EP4042438A1 (en) | Cooperative surgical displays | |
US20210022586A1 (en) | Endoscope observation assistance apparatus and endoscope observation assistance method | |
US20150250377A1 (en) | Endoscope system | |
US20170085762A1 (en) | Endoscope system | |
WO2018123613A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
JPWO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
WO2020110214A1 (ja) | 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム | |
JP5165338B2 (ja) | 内視鏡システム | |
US11141053B2 (en) | Endoscope apparatus and control apparatus | |
JP2006198031A (ja) | 手術支援システム | |
JP6062112B2 (ja) | 内視鏡システム | |
WO2020009127A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
JP6619456B2 (ja) | 医療用マニピュレータシステムおよび医療用マニピュレータシステムの作動方法 | |
US11241144B2 (en) | Medical system and operation method of medical system | |
US20220148209A1 (en) | Medical system, signal processing device, and signal processing method | |
CN115256384A (zh) | 机器人的性能值确定方法、装置及控制器 | |
JP2005211530A (ja) | 手技支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120731 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120809 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5065538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |