JPWO2012035923A1 - 内視鏡システム及び視界不良判定システムの動作方法 - Google Patents

内視鏡システム及び視界不良判定システムの動作方法 Download PDF

Info

Publication number
JPWO2012035923A1
JPWO2012035923A1 JP2012503563A JP2012503563A JPWO2012035923A1 JP WO2012035923 A1 JPWO2012035923 A1 JP WO2012035923A1 JP 2012503563 A JP2012503563 A JP 2012503563A JP 2012503563 A JP2012503563 A JP 2012503563A JP WO2012035923 A1 JPWO2012035923 A1 JP WO2012035923A1
Authority
JP
Japan
Prior art keywords
unit
distal end
treatment instrument
image
treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012503563A
Other languages
English (en)
Other versions
JP5065538B2 (ja
Inventor
森山 宏樹
宏樹 森山
義孝 梅本
義孝 梅本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2012503563A priority Critical patent/JP5065538B2/ja
Application granted granted Critical
Publication of JP5065538B2 publication Critical patent/JP5065538B2/ja
Publication of JPWO2012035923A1 publication Critical patent/JPWO2012035923A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡システムは、内視鏡に設けられ、撮像を行う撮像部と、撮像部の撮像領域内に特定の観察対象物が存在しているか否かを判定する判定部と、撮像部により撮像された前記撮像領域内の撮像画像から特定の観察対象物を画像として認識できる状態であるか否かを判定する認識部と、判定部が特定の観察対象物が前記撮像領域内に存在していると判定し、且つ前記認識部が特定の観察対象物を画像として認識できない場合に、撮像部が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力部と、を備える。

Description

本発明は、内視鏡の撮像手段により撮像を行うと共に視界不良を判定する内視鏡システム及び視界不良判定方法に関する。
近年、撮像手段を備えた内視鏡は、患部組織の観察、診断等において広く採用されている。また、内視鏡は、内視鏡の観察下で高周波焼灼装置を構成する高周波処置具により手術を行う場合にも広く使用される。
内視鏡による観察下で、例えば高周波処置具の先端部付近の処置部を撮像手段の撮像領域内に捉えて患部組織に対して焼灼等の処置が行われる。組織に対する処置した際に煙やミストが発生する場合がある。
第1の従来例としての日本国特開平11−318909号公報には、硬性内視鏡の観察下で、高周波焼灼装置を用いて高周波焼灼の処置を行うような場合、撮像手段により得られた画像から煙を検出する煙検出手段を設け、煙の発生を検出した場合には、気腹手段を制御して、煙を除去するように制御するシステムが開示されている。
また、第2の従来例としての日本国特開2007−159738号公報には、処置具の先端部の処置部が、撮像手段の撮像領域の内側に設定された第1の領域と、この第1の領域の周囲に設定された第2の領域とのいずれに位置するかを、撮像手段による撮像画像から判別する判別手段を備えた内視鏡システムが開示されている。
また、この第2の従来例においては、判別手段による判別結果に基づいて、処置部が位置する領域を告知したり、処置部が第2の領域に位置する場合には、第1の領域に移動するように制御することも開示されている。
上記のように処置部の動作により煙やミストが発生し、発生した煙やミストのために処置している組織や処置部の観察が妨げられる場合がある。
また、高周波焼灼装置を構成する高周波処置具に限らず、処置具の先端部、又は処置部が周囲の臓器等に隠れて、画像として観察できなくなってしまう場合もある。
第1の従来例では、煙の発生を検出した場合、煙を除去するように気腹装置を制御するが、この場合の処置具の先端部又は処置部の状況を把握できない場合もある。つまり、煙を除去する制御により、撮像手段により先端部又は処置部を観察(撮像)できる状態にできる場合もあるが、例えば煙の発生の方が顕著であると、観察できない視界不良となって撮像状況が改善されない場合もある。また、この第1の従来例では、煙が発生した場合、先端部又は処置部が撮像領域の内部に存在している状態であるか否かも分からない。
また、第2の従来例は、処置するための処置部を第1の領域中に設定することを目的とするものであり、処置部が臓器等に隠れた場合や、煙やミストが発生した場合に対応するものでない。
上述したように、内視鏡による観察下において、処置具を用いて処置するような場合において、処置具の先端部、又は処置部等の特定の観察対象物が画像として観察できる状態から観察できなくなった視界不良の状況が発生した場合、その状況を速やかに判定できるようにすることが望まれる。このような判定を速やかに行えると、その状況を、術者に告知する等して、視界不良の発生に対応した適切な操作や処置等を迅速に行い易くなる。
本発明は上述した点に鑑みてなされたもので、特定の観察対象物が撮像領域の内部に存在しているにもかかわらず、画像として観察できない視界不良の状態になったことを速やかに判定できる内視鏡システム及び視界不良判定方法を提供することを目的とする。
本発明の一態様に係る内視鏡システムは、内視鏡に設けられ、撮像を行う撮像手段と、前記撮像手段の撮像領域内に特定の観察対象物が存在しているか否かを判定する判定手段と、前記撮像手段により撮像された前記撮像領域内の撮像画像から前記特定の観察対象物を画像として認識できる状態であるか否かを判定する認識手段と、前記判定手段が、前記特定の観察対象物が前記撮像領域内に存在していると判定し、且つ前記認識手段が前記特定の観察対象物を画像として認識できない場合に、前記撮像手段が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力手段と、を備える。
本発明一態様に係る視界不良判定方法は、体腔内の観察対象部位を撮像部により撮像した撮像画像を内視鏡画像として表示する表示ステップと、前記観察対象部位に対する処置を行うための処置具の先端部の位置を位置判定部が取得する処置具位置取得ステップと、前記処置具の先端部の位置が前記撮像画像の領域としての撮像領域の内部に位置するか否かの判定を位置判定部が行う位置判定ステップと、前記撮像画像に対する画像処理により前記処置具の先端部が前記撮像領域の内部の画像として認識できるか否かの画像認識を画像認識部が行う認識ステップと、前記位置判定ステップにより、前記処置具の先端部が前記撮像領域内に位置すると判定し、かつ前記認識ステップにより前記処置具の先端側が前記撮像領域内の画像として認識できない認識結果の場合に、視界不良判定部が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力ステップと、を具備する。
図1は本発明の第1の実施形態の内視鏡システムの全体構成を示す構成図。 図2は図1における内視鏡その他のより詳細な構成を示す図。 図3は位置判定部による判定結果と認識部による認識結果により撮像部による処置具に対する撮像状態の判定結果を示す図。 図4は第1の実施形態における視界不良判定方法の処理手順を示すフローチャート。 図5は本発明の第2の実施形態の内視鏡システムの全体構成を示す構成図。 図6(A)から図6(E)は視界不良を発生する障害物の種類としての内臓、煙、ミスト、出血、他の処置具の場合の内視鏡画像例を模式的に示す図。 図7Aは障害物が内臓の場合に対応するR及びGの画像信号の輝度値の画素数分布のヒストグラムの特性例を示す図。 図7Bは図7Aに対応して障害物が内臓である場合を推定するための閾値を用いた推定表を示す図。 図8は本発明の第2の実施形態における視界不良判定方法の処理手順を示すフローチャート。 図9は変形例における処置具の先端側部分を示す図。 図10は本発明の第3の実施形態の内視鏡システムの全体構成を示す構成図。 図11は外チューブを設けた処置具の構成例を示す図。 図12は第3の実施形態における視界不良判定方法の処理手順を示すフローチャート。 図13は第3の実施形態の変形例の内視鏡システムの全体構成を示す構成図。 図14は異常状態検出部を備えた内視鏡システムの全体構成を示す構成図。 図15は第1及び第2制御部を備えた内視鏡システムの全体構成を示す構成図。 図16は状態検知部を備えた内視鏡システムの全体構成を示す構成図。 図17は図16の処理内容を示すフローチャ−ト。 図18は異常状態を検出した機器に応じて、各機器の動作を継続又は停止させる例を表で示す図。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の内視鏡システム1は、体内に挿入される内視鏡2と、この内視鏡2の処置具用チャンネル(単にチャンネルと略記)3内に挿通される処置具4と、内視鏡2に照明光を供給する光源装置5と、を有する。
また、この内視鏡システム1は、内視鏡2に設けられた撮像手段としての撮像部6に対する信号処理を行う信号処理手段としてのプロセッサ7と、プロセッサ7により生成された画像信号に対応する内視鏡画像を表示する表示手段としてのモニタ8とを有する。
なお、光源装置5とプロセッサ7とを信号線で接続し、プロセッサ7による画像信号の明るさの信号により、光源装置5による照明光の光量を調整するようにしても良い。
また、この内視鏡システム1は、処置具4の先端部に設けられ、処置を行う処置部9が、撮像部6により撮像可能となる撮像領域の内部に存在するか否かの判定、換言すると(特定の観察対象物としての)処置具4の先端部が撮像部6の視野内の位置に存在するか否かの判定、を行う判定手段としての処置具位置判定部(以下、単に位置判定部と略記)10を有する。
また、この内視鏡システム1は、撮像部6による撮像領域の撮像画像、又は(撮像領域の撮像画像に対応する)内視鏡画像から、(特定の観察対象物としての)処置具4の先端部が画像として認識できるか否かの判定を行う認識手段としての撮像領域内処置具画像認識部(以下、単に画像認識部と略記)11を有する。
また、この内視鏡システム1は、位置判定部10による判定結果の情報と画像認識部11による認識結果の情報とから、現在の撮像部6による処置具の先端部の撮像状態が、視界良好の状態であるか視界不良の状態であるか等の判定を行う視界不良判定出力手段としての視界不良判定部12を有する。
この視界不良判定部12は、判定結果の情報を、プロセッサ7に出力する。プロセッサ7は、この判定結果の情報をモニタ8で表示して術者等に告知を行う。従って、このモニタ8は、術者等に判定結果の情報を告知する告知手段を形成する。術者等のユーザは、モニタ8に表示される情報により、視界不良が発生した場合には、速やかにその状態を把握することができる。なお、表示による告知の代わりに、又は表示による告知と共に、ブザーやスピーカなどによる音響的に告知する告知手段を設けるようにしても良い。
なお、図1においては、プロセッサ7の外部に、位置判定部10,画像認識部11,視界不良判定部12を設ける構成例を示しているが、例えばプロセッサ7の内部に、位置判定部10,画像認識部11,視界不良判定部12を設ける構成にしても良い。
図2は、図1における内視鏡2その他のより詳しい構成を示す。内視鏡2は、体腔内に挿入される細長の挿入部15と、この挿入部15の後端に設けられた操作部16とを有する。挿入部15は、その先端に設けられた先端部17と、先端部17の後端に設けられた湾曲自在の湾曲部18と、この湾曲部18の後端から操作部16の前端に至る可撓性の可撓部19とを有する。
湾曲部18は、複数の湾曲駒が回動自在に連結して構成され、術者は、操作部16に設けた図示しない湾曲操作ノブを操作することにより、湾曲部18を所望とする方向に湾曲することができる。
挿入部15内には、照明光を伝送するライトガイド21が挿通され、このライトガイド21の基端は、内視鏡2の外部の光源装置5に着脱自在に接続される。光源装置5により発生した照明光は、ライトガイド21により伝送される。
ライトガイド21の先端は、先端部17の照明窓に固定されており、伝送された照明光は、この照明窓から出射される。
この照明窓に隣接する観察窓には対物レンズ22が取り付けられており、その結像位置には撮像素子としての例えば電荷結合素子(CCDと略記)23が配置されている。
対物レンズ22は、照明窓から出射された照明光で照明された体腔内の患部等の被写体の光学像をCCD23の撮像面に結像する。CCD23は、結像された光学像を光電変換する。対物レンズ22とCCD23とにより、体腔内の患部等を撮像する撮像部6が形成される。
なお、図2に示すように、対物レンズ22は、(視野角θで示す)所定の視野範囲内の被写体の光学像をCCD23の撮像面に結像する。この視野角θが撮像可能な撮像領域(撮像範囲)となる。
CCD23は、挿入部15及び操作部16内等を挿通された信号線を介して、プロセッサ7のCCDドライブ回路24と、画像処理回路25と接続される。CCDドライブ回路24は、CCDドライブ信号を発生し、このCCDドライブ信号をCCD23に印加する。
CCD23は、CCDドライブ信号の印加により、光電変換した信号を(撮像部6の)CCD23により撮像した撮像信号として出力する。この撮像信号は、画像処理回路25により、画像処理(映像処理)されて、モニタ8に表示可能な画像信号が生成される。モニタ8は、画像処理回路25から、この画像信号が入力されることにより、撮像部6により撮像された撮像画像を内視鏡画像として表示する。
また、内視鏡の挿入部15内には、チャンネル3が設けてあり、このチャンネル3の後端は、操作部16の前端付近で挿入口3aとして開口し、チャンネル3の先端は先端部17の先端面で先端開口(又は出口)3bとして開口する。
また、内視鏡2には、各内視鏡2に設けられた撮像部6の撮像特性、チャンネル3の配置等の情報を含む固有情報(ID情報)を発生するID発生部26が設けられている。
このID発生部26によるID情報は、プロセッサ7に設けられた内視鏡情報取得回路27により参照され、内視鏡情報取得回路27は、ID情報を参照して、実際に使用される内視鏡2における主にその先端部17の情報、特に撮像部6の撮像領域(視野角θ)とチャンネル3の先端開口3bの配置に関連する情報を取得する。なお、ID情報から内視鏡2におけるチャンネル3の長さの情報も取得することができる。
内視鏡情報取得回路27は、撮像部6の撮像領域を決定する対物レンズ22の視野角θにおいて、その周囲に配置されたチャンネル3の先端開口3bの配置情報から、処置具4の先端側が(先端部17の先端面からどれだけ)突出した場合に、処置具4の先端部の主に処置部9が観察(撮像)される状態になるか否かを判定するのに必要な判定用情報を生成する。この判定用情報は、位置判定部10に出力される。
図2の構成例では、プロセッサ7内に内視鏡情報取得回路27が設けられた構成で示しているが、位置判定部10内に内視鏡情報取得回路27を設けるようにしても良い。処置具4は、細長の管状部材31と、その後端に設けられた操作部32と、管状部材31の先端に設けられた処置を行う処置部9とを有する。術者は、操作部32に設けられた指掛け部33を開閉操作することにより、処置部9を構成する対となる切除片を開閉して、患部組織を切除する等の処置を行うことができる。
この処置具4における管状部材31は、図2に示すように挿入口3aからチャンネル3内に挿通される。また、この処置具4における後端側には、センサ部34が設けられている。
このセンサ部34は、例えば挿入口3aに配置され、このセンサ部34のガイド孔内にロータリエンコーダが配置され、このロータリエンコーダは、ガイド孔内に挿通された管状部材31の外表面と接触する。そして、管状部材31がガイド孔に沿って移動すると、ロータリエンコーダが接触しながら回転し、その回転量から管状部材31の先端部がチャンネル3の長手方向に沿って挿入された位置を検知する。
センサ部34により検知されるチャンネル3の挿入口3aでの処置具4の先端部の位置情報は、位置判定部10内の設定回路10aに入力される。設定回路10aは、この位置情報に対して、(ID情報から取得される)チャンネル3の長さ分を減算する等して、処置具4の先端部がチャンネル3の先端開口3bから突出する突出位置(突出量)の情報を算出する。
なお、このようなセンサ部34を用いる場合に限定されるものでなく、例えば内視鏡2の先端部と、処置具4の先端部に、例えば磁界を発生する第1及び第2のコイルをそれぞれ配置し、内視鏡2が挿入される患者の周囲の所定位置に前記第1及び第2のコイルにより発生した磁界を検出する複数からなる第3のコイルを配置しても良い。
そして、この第3のコイルの検出信号によって、内視鏡2の先端部と処置具4の先端部にそれぞれ配置した第1及び第2のコイルの3次元位置を検出し、さらにチャンネル3の先端開口3bから突出した処置具4の先端部の突出位置を算出できるようにしても良い。
なお、処置具4の先端部ないしは先端部付近には、例えば光学的に認識し易くするためのマーカ35aが設けられている。このマーカ35aとしては、例えば図1又は図2に示すように特定色(例えば青と赤)に着色された2つのカラーリングが設けられている。なお、処置部9も特定色(例えば緑)に着色して光学的に認識し易くするマーカ35bを形成しても良い。
このように、処置具4の先端部付近には、特定色で、かつリング状に形成されたマーカ35aと、特定色のマーカ35bが設けられている。
プロセッサ7からの判定用情報が入力される位置判定部10は、判定用情報から処置具4の先端部が撮像領域の内部に存在(位置)するか否かを判定するための突出量に対する閾値を設定する閾値設定回路10bを有する。
そして、位置判定部10は、設定回路10aを経てセンサ部34により検出された突出位置と閾値とを比較回路10cで比較して、比較結果により処置具4の先端部が撮像領域の内部に位置しているか否か、つまり、撮像領域内または撮像領域外の判定信号を視界不良判定部12に出力する。
上記画像認識部11は、プロセッサ7の画像処理回路25により生成された画像信号において、上記マーカ35a,35bが画像として認識できる否かを画像処理(又は画像解析)により認識する。
このため、画像認識部11は、画像信号から(マーカ35a、35bを形成する)特定色を検出する特定色検出回路11aと、検出された特定色部分に対してさらに(マーカ35aのリング形状又はマーカ35bの2本のライン形状に該当する)特定の形状であるか否かを判定する特定形状判定回路11bとからなる画像処理手段(又は画像解析手段)を有する。
画像認識部11は、特定色検出回路11aにより、マーカ35a、35bの特定色を検出でき、かつ特定色として検出できた部分においてさらに特定形状判定回路11bにより、マーカ35aのリング形状及びマーカ35bの2本のライン形状に該当する形状として判定した場合にのみ、処置具4の先端部が撮像領域の内部の画像として認識できる状態、つまり画像認識可と判定する。
これ以外の判定結果の場合には、画像認識部11は、処置具4の先端部の画像を撮像領域の内部の画像として認識できない状態、つまり画像認識不可と判定する。この画像認識部11による認識結果の情報は、視界不良判定部12に出力される。
視界不良判定部12は、位置判定部10と画像認識部11との判定情報により、図3に示すように、撮像部6による処置具4に対する撮像状態を判定する。このため、視界不良判定部12は、位置判定部10の判定情報と画像認識部11の判定情報とを例えばアドレス入力として、このアドレスに対応した格納領域に予め格納されている情報を出力するLUT12aを有する。このLUT12aによる入出力の情報は、図3に示す表のようになる。
また、視界不良判定部12は、判定結果の情報をプロセッサ7の画像処理回路25に出力する。画像処理回路25は、判定結果の情報を内視鏡画像の画像信号に重畳してモニタ8に出力し、モニタ8上で判定結果の情報も表示する。
術者は、判定結果の情報が表示されるので、その状態を速やかに把握でき、視界不良等の状態になった場合、その状態に対応した操作や処置を速やかに行うことができる。例えば、処置具4の先端部が、観察できる状態から、周辺の臓器等のために隠れて、観察できなくなった場合には、同じモニタ8画面上で、視界不良が告知される状態となる。従って、術者は、処置具4の手元側を操作する等を行うことにより、速やかに視界不良を解消することが可能になる。
この様な構成の内視鏡システム1は、内視鏡2の挿入部15の先端部17に設けられ、撮像を行う撮像手段としての撮像部6と、前記撮像手段の撮像領域内に特定の観察対象物としての処置具4の先端部が存在しているか否かを判定する判定手段としての位置判定部10と、を備える。
また、この内視鏡システム1は、前記撮像手段により撮像された前記撮像領域内の撮像画像から前記特定の観察対象物を画像として認識できる状態であるか否かを判定する認識手段としての画像認識部11と、前記判定手段が、前記特定の観察対象物が前記撮像領域の内部に存在していると判定し、且つ前記認識手段が前記特定の観察対象物を画像として認識できない場合に、前記撮像手段が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力手段としての視界不良判定部12と、を備えることを特徴とする。
次に本実施形態による動作を含めて図4に示す視界不良判定方法の手順を説明する。 術者は、内視鏡2の挿入部15を患者の体腔内に挿入する。
また、患部に対して処置する処置具4をチャンネル3内に挿通しておく。この場合、例えば処置具4の先端部の位置を挿入部15の先端面の位置に設定し、この状態でセンサ部34及び設定回路36から検出される処置具4の突出位置の値は0に設定される。なお、以下の説明では、簡略化してセンサ部34が設定回路10aの機能を備えるもの(センサ部34が処置具4の先端部の突出位置を検知する)として説明する。
図4のステップS1に示すように内視鏡2の撮像部6は体腔内を撮像し、撮像部6により撮像された撮像画像が内視鏡画像としてモニタ8に表示される。
挿入部15の先端部17に設けられた撮像部6により撮像された体腔内における患部等の観察対象部位の撮像画像は、プロセッサ7の画像処理回路25により画像処理された後、モニタ8の表示画面に内視鏡画像として表示される。
術者は、内視鏡画像を観察し、観察対象部位の状態を診断する。そして、処置が必要な場合には、処置具4の手元側を操作し、処置具4の先端側を先端部17の先端面から突出させる。
センサ部34は、処置具4の(内視鏡2の先端面からの)突出位置を検知し、位置判定部10内の比較回路10cに出力する。つまり、ステップS2に示すように位置判定部10は、処置具4の先端部の突出位置(突出量)の情報を取得する。
次のステップS3に示すように位置判定部10は、処置具4の先端部の突出位置を閾値とを比較して、処置具4の先端部が撮像領域の内部に位置しているか否かの判定を行う。
ステップS3の判定において、処置具4の先端部の突出位置が閾値未満の場合には、ステップS4に示すように位置判定部10は、処置具4の先端部が撮像領域の外部に位置する(存在する)と判定する。そして、この判定結果は、視界不良判定部12に出力され、視界不良判定部12は、図3に示すように処置具4の先端部が視野外に位置すると判定する。
一方、ステップS3の判定において、処置具4の先端部の突出位置が閾値以上の場合には、位置判定部10は、処置具4の先端部が撮像領域の内部に位置すると判定する。この判定結果は視界不良判定部12に出力される。
処置具4の先端部が撮像領域の内部に位置する判定結果の場合には、ステップS5に示すように画像認識部11は、処置具4の先端部が撮像領域の内部の画像として認識できるか否かの処理結果の情報を取得する。
本実施形態においては処置具4の先端部に設けたマーカ35a、35bに対する画像認識を利用して、撮像領域の内部で処置具4の先端部が画像として認識できるか否かの処理結果の情報を取得する。
そして、次のステップS6に示すように画像認識部11は、画像認識の処理結果から、処置具4の先端部が撮像領域の内部で画像として認識できるか否かを判定する。
このステップS6の判定処理により、画像認識部11が画像認識できた場合には、図3に示すように画像認識可と判定する。この判定結果は視界不良判定部12に出力される。そして、ステップS7に示すようにこの視界不良判定部12は、図3に示すように視界良好と判定する。なお、ステップS7の後、ステップS9により判定結果がモニタ8に表示される。図2はこの表示例を示す。
一方、ステップS6により、画像認識部11が画像認識できない場合には、画像認識部11は、図3に示すように画像認識不可と判定する。この判定結果は視界不良判定部12に出力される。そして、ステップS8に示すようにこの視界不良判定部12は、図3に示すように視界不良と判定する。
ステップS4,S7、S8による判定結果の情報は、プロセッサ7に送られ、プロセッサ7は、モニタ8に判定結果を表示する画像信号に変換した後、モニタ8に出力する。ステップS9に示すようにモニタ8には、判定結果が表示され、術者に判定結果が告知される。なお、ステップS9の処理としては、判定結果を表示により告知する場合に限らず、音声で告知しても良い。また、判定結果を(表示又は音声による)告知手段に出力する処理(視界不良出力処理)でも良い。
術者は、視界不良になったことが告知されることにより、視界不良に対応した処置を速やかに行うことができる。
術者は内視鏡画像から、処置具4の先端側の状態を確認することにより、処置具4の先端側が処置対象部位の周囲の臓器により隠れてしまった事などによる視界不良の原因を速やかに把握し易くなる。
ステップS9の処理の後、ステップS2の処理に戻り、ステップS2−S9の処理が繰り返される。
上述した図4の第1の実施形態により形成される視界不良判定方法は、体腔内の観察対象部位を撮像部により撮像した撮像画像を内視鏡画像として表示する表示ステップとしてのステップS1と、前記観察対象部位に対する処置を行うための処置具の先端部の位置を取得する処置具位置取得ステップとしてのステップS2と、を有する。
また、視界不良判定方法は、前記処置具の先端部の位置が前記撮像画像の領域としての撮像領域の内部に位置するか否かの判定を行う位置判定ステップとしてのステップS3と、前記撮像画像に対する画像処理により前記処置具の先端部が前記撮像領域の内部の画像として認識できるか否かの画像認識を行う認識ステップとしてのステップS5と、を有する。
また、視界不良判定方法は、前記位置判定ステップにより、前記処置具の先端部が前記撮像領域内に位置すると判定し、かつ前記認識ステップにより前記処置具の先端部が前記撮像領域内の画像として認識できない認識結果の場合に、視界不良であると判定(ステップS8)し、視界不良の判定結果を出力する視界不良判定出力ステップとしてのステップS9と、を具備することを特徴とする。
このように動作する本実施形態によれば、撮像手段により撮像している状態において、特定の観察対象物としての処置具の先端側が撮像領域の内部に存在しているにもかかわらず、観察できない視界不良の状態になった事を速やかに判定できる。
また、観察できない視界不良の状態になった場合には、術者に告知する告知手段を備えているので、術者は視界不良の状態を速やかに認識できる。そして、術者は、視界不良の状態が発生した場合にも適切な対処を迅速に行い易くなる。
なお、本実施形態においては、手動で病変組織等を切除する処置具4の場合で説明したが、機能が異なる処置具の場合にも適用できる。また、高周波の電気エネルギーを用いて処置を行う高周波処置具や、超音波エネルギーを用いて処置を行う超音波処置具のようなエネルギー処置具の場合にも適用できる。
(第2の実施形態)
次に図5から図9を参照して本発明の第2の実施形態を説明する。図5は、本発明の第2の実施形態の内視鏡システム1Bの全体構成を示す。
図5に示す内視鏡システム1Bは、図1の内視鏡システム1において、処置具4の代わりに高周波の電気エネルギーを用いて処置を行う高周波処置具4Bが使用され、この高周波処置具4Bは、電気エネルギーの供給装置としての高周波電源装置41に接続されている。
また、この高周波電源装置41は、高周波電流の出力と出力停止(ON/OFF)の指示操作を行うフットスイッチ(図5ではFSと略記)42と接続されている。高周波処置具4B、高周波電源装置41及びフットスイッチ42により高周波焼灼装置43が形成されている。
この高周波処置具4Bは、例えば第1の実施形態と同様に管状部材31の先端部に開閉して切除する対のナイフ(単にナイフと略記)からなる処置部9bを有する。
そして、フットスイッチ42がONにされた場合には、高周波電流が、ナイフに供給され、ナイフに接触した処置対象の生体組織を高周波電流により切除することができる。
また、本実施形態における画像認識部11′及び視界不良判定部12′は、図2の画像認識部11及び視界不良判定部12において、視界不良と判定した場合には、さらに視界不良を発生する原因となる障害物、又は障害物の種類を推定する機能を備え、推定した結果を術者に告知する。
このため、画像認識部11′は、例えばR,G,Bの3原色の画像信号の輝度値の画素数分布としてのヒストグラムを算出するヒストグラム算出回路11cを有する。また、画像認識部11′は、煙の候補と、ミストの候補をそれぞれ検出する煙検出回路11dと、ミスト検出回路11eとを有する。
さらに、画像認識部11′は、高周波処置具4Bと共に使用される他の処置具が、高周波処置具4Bの先端側が視界不良を発生する障害物となる場合も推定できるようにするため、他の処置具を検出する他の処置具検出回路11fを有する。
また、本実施形態においては、高周波処置具4Bの先端部付近には、第1の実施形態の場合よりもリング数を多くしたリング形状のマーカ35cとライン形状のマーカ35bが設けてある。つまり、高周波処置具4Bの先端部付近には、第1の実施形態の場合よりもその長手方向に長く形成された、所定の長さをカバーするように特定色に設定したリング形状のマーカ35cが設けてある。
従って、本実施形態においても、第1の実施形態で説明した特定色検出回路11a、特定形状判定回路11bとを用いる。
但し、本実施形態の特定色検出回路11aは、例えば3色以上の特定色を検出する機能を有し、マーカ35bと共に、マーカ35cを検出できた場合のリング数により、高周波処置具4Bの先端部側の全て(又は殆ど全て)が画像として検出できているか、高周波処置具4Bの先端部側の一部が画像として検出できているか等の判定を行うことができるようにしている。
また、これら、特定色検出回路11a〜他の処置具検出回路11fにより検出した信号は、視界不良判定部12′に入力され、視界不良判定部12′は、これらの信号から視界不良であるとの判定を行った場合には、さらにその視界不良を発生させる原因となる障害物又はその種類を推定する。
このため、視界不良判定部12′は、ヒストグラム算出回路11cにより算出されたR,G,Bの画素数のヒストグラム、煙検出回路11d、ミスト検出回路11eから障害物又はその種類を推定するための閾値を格納した閾値設定部12bを有する。
そして、視界不良判定部12′は、閾値設定部12bの閾値と比較した比較出力を、例えばルックアップテーブル(LUT)12aに入力することにより、障害物、又はその種類を推定して、推定した判定結果を出力する。
例えば、図6(A)から図6(E)は、高周波処置具4Bの先端部側が(障害物としての)臓器、煙、ミスト、出血、他の処置具により、視界不良となった場合の内視鏡画像例を示す。つまり、図6(A)から図6(E)の内視鏡画像における障害物となっている臓器、煙、ミスト、出血、他の処置具の画像をそれぞれIa,Ib,Ic,Id,Ieにより示している。また、高周波処置具4B(の先端部側)の画像をItで示している。
また、図7Aは、例えば図6(A)における臓器が障害物となった場合のヒストグラム例と、障害物が臓器であることを推定するために設定された閾値の設定例を示す。
図7Aにおける上段はRの画像信号における輝度値のヒストグラムに対して設定された閾値Rth1,Rth2の設定例を示し、下段はGの画像信号におけるヒストグラムに対して設定された閾値Gth1,Gth2の設定例を示す。横軸の輝度値は、例えば8ビットのビット数の場合で示している。
なお、Bの画像信号に関する輝度値のヒストグラムや閾値は図示しないが、Gの画像信号におけるヒストグラムの場合とほぼ同様に閾値Bth1,Bth2が設定される。そして視界不良が発生した場合には、図7Aに示すような閾値を用いて、図7Bに示す所定の条件(図7Bにおいて○で示す条件)に該当する場合のみ、視界不良判定部12′は、LUT12aを用いて障害物が臓器であると推定する。
つまり、Rの画像信号の画素数R(簡単化のためRで示す)がRth1>R>Rth2の条件と、Gの画像信号の画素数G(簡単化のためGで示す)がGth1>G>Gth2の条件と、Bの画像信号の画素数B(簡単化のためBで示す)がBth1>B>Bth2の条件と、を満たす場合に視界不良判定部12′は、障害物が臓器であると推定する。
このような条件を満たす場合を臓器推定テーブルに該当する場合と記載する。このような条件を満たさない場合、つまり臓器推定テーブルに該当しない場合には、障害物は臓器が原因でないと推定される。
また、例えばRth1>R>Rth2の条件と、Gth2>Gの条件と、Bth2>Bの条件と、を満たす場合に視界不良判定部12′は、障害物が出血であると推定する。このような条件満たす場合を出血推定テーブルに該当する場合と記載する。
このような条件を満たさない場合には、障害物は出血が原因でないと推定される。
また、煙検出回路11dは、図6(B)に示すような白色の煙を画像信号から検出する。例えば、この煙検出回路11dは、所定値を超えて、ほぼ同じ輝度値を有するR,G,Bの画像信号が2次元的に存在するか否かをウインドウ型比較器を用いて検出する。
そして、煙検出回路11dは検出結果の信号を視界不良判定部12′に出力する。視界不良判定部12′は、LUT12aを用いて、煙検出回路11dによりほぼ同じ輝度値を有するR,G,Bの画像信号が検出された領域が、予め設定された閾値を超えて連続的に存在する場合に、煙推定テーブルに該当するとして障害物が煙であると推定する。これ以外の場合には、障害物は煙でないと推定される。
また、ミスト検出回路11eは、煙検出回路11dのように所定値を超え、ほぼ同じ輝度値を有するR,G,Bの画像信号が2次元的に存在するか否かをウインドウ型比較器を用いて検出する。
但し、ミスト検出回路11eは、所定値を超え、ほぼ同じ輝度値を有するR,G,Bの画像信号が、連続的でなく離散的に検出されるか否かを検出する。なお、ミスト検出回路11eは、R,G,Bのいずれかの画像信号において単に所定値を超える輝度値が2次領域に渡って離散的に多数検出されるか否かを検出する構成でも良い。
図6(C)に示すようにミストは、所定値を超える輝度値を有し、霧ないしは雨のように発生するため、その特徴(2次元領域に離散的に多数発生する特徴)を検出することにより、精度良く障害物の種類がミストである場合を推定することができる。
このミスト検出回路11eの検出結果は、視界不良判定部12′に出力される。視界不良判定部12′は、LUT12aを用いて、障害物がミストである特徴に該当する場合、つまりミスト推定テーブルに該当する場合には、障害物がミストであると判定する。このミスト推定テーブルに該当しない判定結果の場合には、障害物がミストでないと推定する。
また、他の処置具検出回路11fは、予め設定された処置具の先端側の形状、色等の特徴を参照して、障害物が他の処置具であるか否かを検出する。他の処置具検出回路11fは、例えば、画像信号における例えば閾値を超える輝度値を有し、かつ管状ないしはアーム状の形状が検出された場合には、他の処置具が障害物であると検出する。この検出結果は視界不良判定部12′に出力される。
視界不良判定部12′は、障害物として上述した臓器、煙、ミスト、出血のいずれにも該当しないと判定した場合において、他の処置具検出回路11fが、他の処置具が障害物であると検出した場合には、LUT12aを用いた他の処置具推定テーブルにより、障害物は他の処置具であると判定する。
また、視界不良判定部12′は、障害物がこれら臓器、煙、ミスト、出血、他の処置具のいずれにも該当しない場合には、他の障害物が原因であると判定又は推定する。その他の構成は、第1の実施形態と同様である。
このような構成の第2の実施形態による図8に示す視界不良判定方法を説明する。
図8における最初のステップS11からS18は、図4のステップS1からS8とほぼ同じ処理である。
最初のステップS11において、撮像部6は体腔内の患部等の観察対象部位を撮像部6により撮像し、撮像した撮像画像を内視鏡画像としてモニタ8で表示する。
次のステップS12においてセンサ部34は、観察対象部位に対する処置を行う高周波処置具4Bの先端部の位置を取得する。そして、次のステップS13において位置判定部10は、高周波処置具4Bの先端部の位置が撮像領域の内部に位置するか否かの判定を行う。
高周波処置具4Bの先端部が撮像領域の内部に位置しない判定の場合には、ステップS14に示すように位置判定部10は、高周波処置具4Bの先端部が撮像領域の外部に位置する(存在する)と判定する。
そして、この判定結果は、視界不良判定部12′に出力され、視界不良判定部12′は、高周波処置具4Bの先端部が視野外に位置すると判定する。
一方、高周波処置具4Bの先端部が撮像領域の内部に位置する判定結果は視界不良判定部12に出力される。
高周波処置具4Bの先端部が撮像領域の内部に位置する判定結果の場合には、ステップS15に示すように画像認識部11′は、高周波処置具4Bの先端部が撮像領域の内部の画像として認識できるか否かの処理結果の情報を取得する。
次のステップS16に示すように画像認識部11′は、画像認識の処理結果から、高周波処置具4Bの先端部が撮像領域の内部で画像認識できるか否かを判定する。
このステップS16により、画像認識部11′が画像認識できた場合には、図3に示すように画像認識可と判定する。この判定結果は視界不良判定部12に出力される。
次のステップS17に示すようにこの視界不良判定部12は、図3に示すように視界良好と判定する。なお、ステップS17の後の、ステップS18により判定結果がモニタ8に表示される。そして、判定結果が術者に告知される。
一方、ステップS16により、画像認識部11が画像認識できない場合には、図3に示すように画像認識不可と判定する。この判定結果は視界不良判定部12に出力される。そして、ステップS19に示すようにこの視界不良判定部12は、図3に示すように視界不良と判定する。
本実施形態においては、視界不良と判定した場合には、その判定結果が画像認識部11′に送られる。そして、次のステップS20において画像認識部11′は、視界不良を発生する原因の障害物(又はその種類)を推定する画像処理を行う。次のステップS20において画像認識部11′は、ヒストグラム算出回路11c等により算出したヒストグラム等の画像処理した情報を視界不良判定部12′に出力する。
そして、次のステップS21Aにおいて視界不良判定部12′は、入力された情報が、臓器が障害物である場合の条件(臓器推定テーブル)に該当するか否かの判定を行う。入力された情報が、臓器が障害物である場合の条件に該当する判定結果の場合には、次のステップS22Aにおいて視界不良判定部12′は、臓器により高周波処置具4Bの先端部が隠れていると判定する。
そして、視界不良判定部12′は、その判定結果の情報をプロセッサ7に送り、プロセッサ7は、臓器により高周波処置具4Bの先端部が隠れている可能性が高いと言う判定結果の情報をモニタ8に出力する。ステップS18においてモニタ8は、臓器により高周波処置具4Bの先端部が隠れている可能性が高いと言う主旨の判定結果を表示し、術者に告知する。
ステップS21Aにおいて臓器推定テーブルに該当しない場合には、ステップS21Bにおいて視界不良判定部12′は、入力された情報が、煙が障害物である場合の条件(煙推定テーブル)に該当するか否かの判定を行う。入力された情報が、煙が障害物である場合の条件に該当する判定結果の場合には、次のステップS22Bにおいて視界不良判定部12′は、煙により高周波処置具4Bの先端部が隠れていると判定する。
そして、視界不良判定部12′は、その判定結果の情報をプロセッサ7に送り、プロセッサ7は、煙により高周波処置具4Bの先端部が隠れている可能性が高いと言う判定結果の情報をモニタ8に出力する。ステップS18においてモニタ8は、煙により高周波処置具4Bの先端部が隠れている可能性が高いと言う主旨の判定結果を表示し、術者に告知する。
ステップS21Bにおいて煙推定テーブルに該当しない場合には、ステップS21Cにおいて視界不良判定部12′は、入力された情報が、ミストが障害物である場合の条件(ミスト推定テーブル)に該当するか否かの判定を行う。
入力された情報が、ミスト推定テーブルに該当する判定結果の場合には、次のステップS22Cにおいて視界不良判定部12′は、ミストにより高周波処置具4Bの先端部が隠れていると判定する。
そして、視界不良判定部12′は、その判定結果の情報をプロセッサ7に送り、プロセッサ7は、ミストにより高周波処置具4Bの先端部が隠れている可能性が高いと言う判定結果の情報をモニタ8に出力する。ステップS18においてモニタ8は、ミストにより高周波処置具4Bの先端部が隠れている可能性が高いと言う主旨の判定結果を表示し、術者に告知する。
ステップS21Cにおいてミスト推定テーブルに該当しない場合には、ステップS21Dにおいて視界不良判定部12′は、入力された情報が、出血が障害物である場合の条件(出血推定テーブル)に該当するか否かの判定を行う。そして、これに該当する場合には、ステップS22Dにおいて視界不良判定部12′は、出血(部分)で高周波処置具4Bの先端部が隠れていると判定する。
さらに、ステップS18において出血部分で高周波処置具4Bの先端部が隠れている可能性が高いと言う主旨の判定結果を表示し、術者に告知する。
ステップS21Dにおいて出血推定テーブルに該当しない場合には、ステップS21Eにおいて視界不良判定部12′は、入力された情報が、他の処置具が障害物である場合の条件(他の処置具推定テーブル)に該当するか否かの判定を行う。
そして、これに該当する場合には、ステップS22Eにおいて視界不良判定部12′は、他の処置具で高周波処置具4Bの先端部が隠れていると判定する。さらに、ステップS18において他の処置具で高周波処置具4Bの先端部が隠れている可能性が高いと言う主旨の判定結果を表示し、術者に告知する。
ステップS21Eにおいて他の処置具推定テーブルに該当しない場合には、視界不良判定部12′は、入力された情報が、上述した臓器、煙、ミスト、出血、他の処理具以外の障害物(他の障害物という)であると判定する。
そして、ステップS23において視界不良判定部12′は、他の障害物で高周波処置具4Bの先端部が隠れていると判定する。さらに、ステップS18において他の障害物で高周波処置具4Bの先端部が隠れている可能性が高いと言う主旨の判定結果を表示し、術者に告知する。
本実施形態によれば、術者は視界不良になった場合には、視界不良を発生する原因の障害物、又はその種類がモニタ8に表示されるため、その障害物の種類に対応した処置を速やかに行うことができる。その他、第1の実施形態と同様の効果を有する。
なお、第2の実施形態において、高周波処置具4Bの先端部付近には、その長手方向にリング形状のマーカ35cを設けているが、図9に示すように先端部付近の長手方向に目盛35dを設けるようにしても良い。
この目盛35dを画像認識した場合に認識される目盛部分から高周波処置具4Bの先端側部分の認識状態(先端側部分の全部の認識できる又は一部のみが認識できるか等)を判定できる。この場合には、特定色検出回路11aの代わりに、目盛部分を検出する回路を用いる。また、目盛の太さ等を規則的に変更して、各目盛部分を識別し易くしても良い。
なお、処置部9bに上述したマーカ35bを形成しても良いが、この他に反射率が高い部材でコーティングして、処置部9bを明るい状態で画像認識し易くしても良い。
なお、本実施形態においては、高周波の電気エネルギーを用いて処置を行う高周波処置具4Bの場合で説明したが、超音波エネルギーを用いて処置を行う超音波処置具の場合にもほぼ同様に適用できる。
(第3の実施形態)
次に図10から図12を参照して本発明の第3の実施形態を説明する。図10は、本発明の第3の実施形態の内視鏡システム1Cの全体構成を示す。
内視鏡システム1Cは、図5に示す第2の実施形態の内視鏡システム1Bにおいて、手動の高周波処置具4Bの代わりに可動部を能動的に駆動する駆動部50を備えた能動型高周波処置具(単に高周波処置具と略記)4Cが用いられている。そして、この高周波処置具4Cと、高周波電源装置41及びフットスイッチ42により高周波焼灼装置43Cが形成されている。
また、本実施形態の内視鏡システム1Cは、高周波処置具4Cの動作を制御すると共に、エネルギー供給装置としての高周波電源装置41のエネルギー供給の動作を制御する制御部51を備えている。この制御部51は、視界不良判定部12′による判定結果に応じて、高周波焼灼装置43Cの動作を制御する。
上記高周波処置具4Cは、管状部材31の先端側に湾曲部52を構成する複数の関節53a,53bが設けられている。管状部材31の先端と関節53aの後端、関節53aの先端と関節53bの後端、関節53bの先端にそれぞれ回動自在の可動部を構成する関節軸54a,54b,54cが設けられている。
なお、関節軸54a,54bは湾曲部52を構成するが、関節軸54cは、処置部9bを構成する対のナイフにおける例えば一方を回動させて対のナイフを開閉する開閉機構を構成する。
関節軸54a,54b,54cには、それぞれ対のワイヤ55a,55b,55cの先端が巻回するように固定され、それぞれ対のワイヤ55a,55b,55cの後端は、例えば管状部材31の後端に設けた駆動部50内のモータ56a,56b,56cの回転軸に取り付けられたプーリ57a,57b,57cにそれぞれ固定されている。
なお、図10においては、簡略的にワイヤ55a、モータ56a、プーリ57aのみを示している。
駆動手段を構成する各モータ56i(i=a,b,c)は、制御部51から供給されるモータ駆動信号により、回転駆動する。各モータ56iの回転軸には、エンコーダ58i(図10では58aのみ示す)が取り付けられ、エンコーダ58iはモータ56iの回転角度を検出して制御部51に出力する。
また、関節軸54a,54b,54cには、それぞれの回転角度を検出するセンサ59a,59b,59cが設けられている。各センサ59iにより検出された検出信号は、湾曲&開閉検出部59に入力される。この湾曲&開閉検出部59は、センサ59a,59bの検出信号から湾曲部52の湾曲方向及び湾曲角度(からなる湾曲情報)を検出すると共に、センサ59cの検出信号からナイフの開閉角度を検出する。
湾曲&開閉検出部59により検出した湾曲部52の湾曲情報とナイフの開閉情報は制御部51に入力される。
また、制御部51には、湾曲部52を湾曲させる指示操作を行うと共に、ナイフの開閉させる指示操作を行うジョイスティックなどの操作部60が接続されている。制御部51は、操作部60から指示操作に従って駆動部50を駆動する制御動作を行う。また、この制御部51は、視界不良判定部12′と接続されると共に、高周波電源装置41とも接続されている。
そして、制御部51は、フットスイッチ42、操作部60による操作に対応した制御動作を行う通常の制御モード(第1の制御モード)と、視界不良判定部12′による視界不良の判定結果(より詳細には障害物の種類の判定結果)に対応した制御動作を行う第2の制御モードとを有する。
換言すると、制御部51は、視界不良判定部12′から視界不良の判定結果が入力されていない場合には、通常の制御モードで制御動作を行う。制御部51は、視界不良判定部12′から視界不良の判定結果が入力された場合には、通常の制御モードから第2の制御モードで制御動作を行うように制御モードを切り替える制御モード切替部51aの機能を有する。
なお、図10では、関節53a,53bは、それぞれ関節軸54a,54bの回りで回動自在と説明したが、関節軸54a,54bと直交する方向にも回動自在にした構造の湾曲部52にしても良い。また、図10では2つの関節53a、53bを示しているが、より多くの個数の関節で湾曲部52を構成しても良い。
また、本実施形態では、制御部51による制御により、管状部材31を、チャンネル3の長手方向に移動して、特にナイフにより形成される処置部9bをチャンネル3内、又は図11に示す外チューブ61内に収納することができるようにしている。
図10の構成においては、例えばセンサ部34内には、上述の第1の実施形態で説明したロータリエンコーダの他に、ローラに回転軸が接続された(高周波処置具4Cを移動して、処置部9bを退避させるための移動手段を構成する)モータ62が配置されている。
このモータ62は、制御部51によりその移動動作が制御される。このモータ62を回転駆動することにより、ローラに摺接した管状部材31を、その長手方向に移動し、高周波処置具4Cの先端部の処置部9bを形成するナイフをチャンネル3内に収納する(つまり、チャンネル3の先端開口3bからナイフが突出しない状態に退避する)ことができる。
なお、図10では管状部材31の先端部に湾曲部52を形成した構成で示しているが、図11に示すように、管状部材31及びその先端側の湾曲部52を収納する可撓性の外チューブ61を設けた構成にしても良い。
この場合、外チューブ61は、チャンネル3の挿入口3aの位置に配置されたセンサ部63により、挿入口3aの位置から外チューブ61の所定位置、例えば外チューブ61の先端開口の位置が検出される。
さらに外チューブ61の内側の管状部材31の所定位置、例えば先端部の位置は、センサ部63に隣接して配置されたセンサ部34により検出される。なお、このセンサ部34内の図示しないローラ及びロータリエンコーダは、外チューブ61の後端側の周方向の複数箇所に形成された長溝を経て外チューブ61の内側の管状部材31に摺接する。
また、センサ部63の内側には、上述したロータリエンコーダの他に、ローラに回転軸が接続されたモータ62が配置されている。
このモータ62を回転駆動することにより、ローラに摺接した管状部材31を、その長手方向に移動し、高周波処置具4Cの先端部のナイフを外チューブ61の先端開口内に収納する(つまり、先端開口からナイフが突出しない状態に退避させる)ことができる。なお、センサ部34,63の検知信号は制御部51に入力され、制御部51は、視界不良判定部12′から視界不良の判定結果が入力された場合には、モータ62の動作を制御する。その他の構成は、第2の実施形態と同様である。
次に図12を参照して本実施形態の動作を説明する。なお、以下の説明では高周波処置具4Cが外チューブ61内に挿通されている構成例で説明する。
本実施形態は、第2の実施形態で説明した図8の処理を行うと共に、さらに制御部51によって、図12に示す追加の処理を行う。
図8で説明したようにステップS19において視界不良と判定し、ステップS20において障害物を推定する処理を行う。そして、ステップS21Aにおいて障害物が臓器であるか否かを判定する処理を行い、障害物が臓器であると判定した場合には、ステップS22Aにおいて高周波処置具4Cの先端部が臓器で隠れている判定する。なお、ここでは、高周波処置具4Cの先端部は、湾曲部52及び処置部9bを含む意味としているが、湾曲部52及び処置部9bをより明確に含むように高周波処置具4Cの先端部の代わりに高周波処置具4Cの先端部周辺部を用いても良い。
次のステップS31において、視界不良判定部12′は、臓器により湾曲部52及び処置部9bを構成するナイフの全部が隠れているか、湾曲部52及びナイフの一部が隠れているかの判定を行う。
全部隠れている判定結果の場合には、ステップS32に示すように、制御部51は、高周波電源装置41に対して高周波電流の出力停止の指示を行う。
また、制御部51は、湾曲部52を構成する関節軸54a、54bの回転動作を視界不良の間、停止すると共に、ナイフの開閉する関節軸54cの回転動作も停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
ステップS31の判定において、一部隠れている判定結果の場合には、ステップS33に示すように、制御部51は、高周波電源装置41に対して高周波電流の出力停止(エネルギー供給の停止)の指示を行う。
制御部51は、隠れている関節軸の回転動作を視界不良の間、停止すると共に、ナイフの開閉する関節軸54cの回転動作も停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
ステップS21B及びステップS22B又はステップS21C及びステップS22Cに示すように煙又はミストで高周波処置具4Cの先端部が隠れていると判定した場合には、ステップS34に示すように、制御部51は、高周波電源装置41に対して高周波電流の出力停止の指示を行う。
また、制御部51は、視界不良となる湾曲部52を構成する関節軸の回転動作を停止又は(応答速度を低下させるように)制限すると共に、ナイフの開閉する関節軸54cの回転動作も停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
ステップS21D及びステップS22Dに示すように出血で高周波処置具4Cの先端部が隠れていると判定した場合には、ステップS35に示すように、制御部51は、高周波電源装置41に対して高周波電流の出力停止の指示を行う。
また、制御部51は、視界不良となる湾曲部52を構成する関節軸の回転動作を停止又は(応答速度を低下させるように)制限すると共に、ナイフの開閉する関節軸54cの回転動作も停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
ステップS21E及びステップS22Eに示すように他の処置具で高周波処置具4Cの先端部が隠れていると判定した場合には、ステップS36に示すように、制御部51は、高周波電源装置41に対して高周波電流の出力停止の指示を行う。
また、制御部51は、視界不良となる湾曲部52を構成する関節軸の回転動作を(応答速度を低下させるように)制限すると共に、ナイフの開閉する関節軸54cの回転動作を停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
なお、ステップS23に示すように他の障害物で高周波処置具4Cの先端部が隠れていると判定した場合には、ステップS37に示すように、制御部51は、例えばステップS32又はS33のように制御する。具体的には高周波電源装置41に対して高周波電流の出力停止の指示を行う。
また、制御部51は、視界不良となる湾曲部52を構成する関節軸の回転動作を停止すると共に、ナイフの開閉する関節軸54cの回転動作を停止する。また、制御部51は、モータ62を回転駆動させてナイフを外チューブ61の先端開口内に収納する。
ステップS32−S37の処理の後、ステップS38において判定結果と制御部51による制御内容をモニタ8により告知して、この処理を終了する。
なお、図8に示すようにステップS22A−S22Eの処理の後、モニタ8で判定結果の表示による告知を行うようにした場合には、テップS32−S36の処理の後、制御部51による制御結果の情報をモニタ8で表示による告知を行うようにしても良い。
また、煙又はミストが障害物の場合には、処置具の輪郭がどの程度認識できるか否かを画像処理で判定し、判定結果に応じて、制御部51により制御する動作を変更しても良い。
例えば、煙又はミストのために、煙又はミストが全く無い状態よりは不鮮明になるが、ナイフや湾曲部52の輪郭が十分に観察できる場合には、応答動作を遅くして高周波処置具4Cによる動作を続行できるようにしても良い。
このような動作を行う本実施形態によれば、能動型の高周波処置具4Cを用いた場合において、視界不良が発生した場合、視界不良を発生する原因の障害物の種類や状況に応じて、高周波処置具4C及び高周波電源装置41による動作を制御するので、術者が手動で操作しなければならない手間を軽減できる。
従って、術者は視界不良を発生するような状況で処置しなければならない場合にも、円滑な処置を行い易くなる。その他、第2の実施形態と同様の効果を有する。
なお、煙又はミストが障害物であると判定した場合には、高周波電流の出力停止、換言すると高周波処置具4C及びその先端部側に高周波電流が流れないようにする、ことによって、煙又はミストの発生を速やかに停止させることができる。
このため、煙又はミストが発生した初期段階において、制御部51は、高周波電流の出力停止の制御を行うことにより、視界不良の状態から視界を確保できる状態に復帰させることができる可能性が高い。
そこで、煙又はミストが障害物であると判定した場合には、制御部51は高周波電流の出力停止を停止した後、操作部60による指示操作に対応して駆動部50が駆動する関節の動作の応答速度を遅くするようにその動作を制限すると共に、ナイフの動作を一時的に停止又は、応答速度を遅くするようにその動作を制限する(以下のような処置部9b(ナイフ)を処置部収納部内に収納する制御を行わない)ように制御しても良い。
このように障害物が煙又はミストであると判定した場合と、煙又はミスト以外の障害物と判定した場合とで、制御部51が制御する制御内容を変更しても良い。なお、煙又はミスト以外の障害物と判定した場合には、制御部51は、処置部9b(を構成するナイフ)を後退させてチャンネル3の先端開口3b内又は外チューブ61の先端開口内、つまり処置部収納部内に収納する制御を行う。また、制御部51は、障害物が煙又はミストであると判定した場合には、駆動部50が駆動する動作の応答速度を遅くし、煙又はミスト以外の障害物と判定した場合には駆動部50が駆動する動作を停止させる制御を行うようにしても良い。また、このような制御を行う場合には、その制御内容をモニタ8等で表示し、術者が制御内容を把握又は認識し易くなるようにしても良い。
図13は変形例の内視鏡システム1Dの全体構成を示す。この内視鏡システム1Dは、例えば図10に示す第3の実施形態の内視鏡システム1Cにおいて、駆動部50のエンコーダ58i等により検出される駆動量とセンサ59a−59cの検出値等を監視(モニタ)する監視部64が設けられている。
また、駆動部50の駆動量と、センサ59a−59cの検出値等を経時的に記憶する記憶部65も設けられている。なお、記憶部65は、高周波電源装置41から出力される高周波電流値等も記憶するようにしても良い。
なお、監視部64は、エンコーダ58i、センサ59a−59cの出力信号を直接、監視しても良いし、図13に示すように制御部51を介して監視するようにしても良い。監視部64は、さらに他の動作を監視するようにしても良い。
また、記憶部65には、駆動部50の駆動特性や、湾曲部52の湾曲特性などが予め記憶されており、監視部64は、監視している駆動量、検出値が記憶部65の特性を参照して、許容される許容範囲内の駆動量及び検出値である正常状態であるか、許容範囲から逸脱する異常状態で有るか否かを判定する正常・異常状態判定部66の機能を有する。
正常・異常状態判定部66による判定結果は制御部51に送られる。制御部51は、この判定結果に対応した制御動作を行う。正常状態の場合には、制御部51は、上述した第3の実施形態のように制御動作を行う。
異常状態の場合には、制御部51は、異常状態に対応した制御モード(第3の制御モード)で制御動作を行う。この制御モードにおいて制御部51は、異常状態が検出された駆動部50の駆動動作を停止したり、異常状態が検出されたセンサの検出値を用いないで高周波処置具4C及び高周波電源装置41の動作を制御する。また、異常状態が解消された場合には、第3の実施形態とほぼ同様の動作(但し、第3の実施形態では行っていない監視動作を行う)となる。
なお、制御部51の制御モードの情報をプロセッサ7を介してモニタ8で表示する等、術者等に告知するようにしても良い。
その他の構成は、第3の実施形態と同様である。本変形例によれば、異常状態の場合にも、異常状態に対応した制御動作を行うことができる。なお、第3の実施形態及びその変形例においては、高周波処置具4Cの場合で説明したが、超音波処置具等の場合にもほぼ同様に適用できる。
ところで、以下の図14以降に説明するような内視鏡システムを構成しても良い。
図14に示す内視鏡システム1Eは、能動医療機器としての能動内視鏡(単に内視鏡と略記)2Eと、光源装置5と、プロセッサ7Eと、モニタ8と、内視鏡2Eの動作を制御する制御部51Eとを有する。
内視鏡2Eは、先端部付近に複数の関節からなる能動湾曲機構71が設けられ、この能動湾曲機構71は、ワイヤ72を介して手元側の駆動部73と接続されている。この内視鏡2Eは、図2の内視鏡2における湾曲部18を能動湾曲機構71に置換した構成に相当する。
駆動部73による能動湾曲機構71の関節を駆動する動作は、制御部51Eにより制御される。また、駆動部73の駆動量は、駆動量検出部74により検出され、制御部51Eに出力される。
また、制御部には、この内視鏡システム1Eにおける各部、機器が故障などにより通常の動作状態とは異なる異常状態を検出する異常状態検出部75が接続されている。なお、記憶部75aには、駆動部73等の動作特性など、異常状態を検出するための情報が格納されており、異常状態検出部75は、この記憶部75aに格納された情報などを参照する。
この異常状態検出部75は、駆動部73の駆動状態(駆動トルク、駆動量)や能動湾曲機構71を構成する関節の変位量、内視鏡2Eの撮像部6の状態といった内視鏡2Eの動作状態や、光源装置5、プロセッサ7E、内視鏡周辺機器の動作状態を常時監視し、機器等の機能が正常に動作しているかをチェックする。なお、プロセッサ7Eは、図2におけるプロセッサ7において、内視鏡画像情報取得回路27を有しない構成と同じであるが、内視鏡画像情報取得回路27を有する構成にしても良い。
もし、異常状態検出部75が上記機能の一部が異常と判断したとき、例えば制御部51E内に設けた停止部76と、制御部51E外部の提示部77に異常を示す信号を送り、停止部76は内視鏡2Eの機能を停止させ、提示部77は例えばプロセッサ7Eを介してモニタ8によって操作者へ警告を発する。なお、提示部77自体が警告する動作を行うようにしても良い。
また、内視鏡システム1Eには、制御部51Eに対して各種の指示操作の入力を行う操作入力部78と、異常状態が発生した場合、正常な機能部分の動作指示を行う復帰指示部(動作指示部)79と、この復帰指示部79の動作指示により、例えば制御部51Eに対して正常な機能部分の動作を行わせる復帰部(動作制御部)80とを有する。
このような構成の内視鏡システム1Eにおいて、例えば、内視鏡2Eにより診断もしくは処置を行っているときに、一部関節が異常となり、内視鏡2Eの機能全てを停止させると、診断もしくは処置する機能が大幅に低下してしまう。
そこで、本内視鏡システム1Eにおいては、復帰部80を用いて、内視鏡2Eの撮像機能としての撮像部6を選択的に復帰させ、視覚的な機能を動作させる動作状態に設定することにより診断若しくは処置し易くする。
さらに、内視鏡2Eを抜去するため、最低限の動作を行わせたい場合は、正常に動作する部分の関節もしくはその関節を動作させる駆動部73を選択し、正常な関節のみ動作復帰させ、能動制御する場合にも信頼性の高い動作を確保する。
従って、本内視鏡システム1Eは、異常状態を検出すると、一時的に全ての機能を停止を行うが、正常な機能を選択的に復帰させることにより、手技等を終了させる場合においても最低限の動作をさせることが可能となり、能動医療機器を扱う際の操作性を向上させることが可能となる。
図15に示す内視鏡システム1Fは、内視鏡2Fと、内視鏡2Fのチャンネル内に挿通された能動処置具4Fと、光源装置5と、プロセッサ7Eと、モニタ8と、能動処置具4Fを制御する第1制御部81a、81bを備えた処置具制御部51Fとを有する。
能動処置具4Fは、先端部付近に複数の関節からなる能動湾曲機構71Fが設けられ、この能動湾曲機構71Fは、ワイヤ72を介して手元側のモータにより構成される駆動部73Fと接続されている。
駆動部73Fによる能動湾曲機構71Fの関節を駆動する動作は、処置具制御部51Fにより制御される。能動湾曲機構71Fには、各関節の変位量を検出するためのセンサなどからなる検出部82が設けられている。
駆動部73Fの駆動量は、エンコーダにより構成される駆動量検出部74Fにより検出され、処置具制御部51Fに出力される。
また、検出部82による検出された信号は、処置具制御部51Fに入力されると共に、この処置具制御部51F内に設けた検出部異常状態判定部83に入力される。この検出部異常状態判定部83は、能動湾曲機構71Fに設けられた検出部82の故障等による異常状態を判定(検出)する。
検出部異常状態判定部83は、検出部82が正常に動作していると判定した通常時には、制御部切替部84を介して第1制御部81aを制御に用いるように切り替える。
この場合、第1制御部81aは、検出部82による信号に基づいて、能動処置具4Fの動作を制御する。
一方、検出部異常状態判定部83は、検出部82が異常な動作状態であると判定した異常時には、制御部切替部84を介して第2制御部81bを制御に用いるように切り替える。
第2制御部81bは、能動湾曲機構71Fを構成する各関節を独立して制御する制御動作を行い、検出部82を構成する複数のセンサの一部が故障した場合においても正常に動作するセンサによる信号に基づいて、該センサにより検出される関節のみを制御する。
また、制御部切替部84は、第1制御部81a、81bに指示入力を行う第1操作入力部85a、第2操作入力部85bと接続されている。さらに、処置具制御部51Fは、この処置具制御部51Fの状態を操作者に提示するための提示部86を具備している。
このような内視鏡システム1Fにおける制御方法を説明する。一般的に、能動医療機器の制御を行っている際に、機器の一部が故障した場合、処置等を停止させ体内から能動医療機器を抜去させることになるが、多自由度の能動処置具4Fの場合、各関節の湾曲形状が大きいときに、故障等が発生すると、体内から抜去することが困難な場合がある。
また、処置を行っている場合においては、最低限の処置を行い、手技を終了させる必要がある。本内視鏡システム1Fは、このようなケースに着目した能動処置具4Fの制御方法である。
まず通常時の能動処置具4Fの制御方法について説明する。通常時は、第1操作入力部85aと第1制御部81aを用いて制御を行う。処置具制御部51Fに搭載された検出部異常状態判定部83は、検出部82から検出値を獲得する毎に、検出値が正常か異常かを判定する。
主な判定方法として、断線や物理的破損による検出値獲得不可により異常(故障)と判断する方法や、ノイズのような電気的もしくは熱的に検出値が異常値となり、さらにこの異常値を連続的に獲得することで異常と判定する方法などを用いる。なお、一時的な誤検出であればフィルタ等で対処が可能である。
第1制御部81aの制御方法は、能動処置具4Fの先端部の位置、姿勢を制御する方法であり、操作者が第1操作入力部85bにより、所望の位置、姿勢を入力する。
すると、第1制御部81aは、入力値を基に、各関節の湾曲角度を算出し、算出結果に応じた駆動部73Fを構成するモータの回転量を制御する。この方法を用いた場合、多自由度の能動処置具を直感的に操作することが可能となる。
ここで、ある関節に設置されたセンサが故障した場合、検出部異常状態判定部83は、異常と判定し、制御部切替部84と提示部86に異常状態を示す信号を送り、制御部切替部84は、第1制御部81a,81bに対しセンサが異常状態であることを示す信号を送る。
この時、第1制御部81aは各機器が次のアクションを起こすまでの間、能動処置具4Fの動作を停止させ、第1操作入力部85aからの入力を許可しない。提示部86は、操作者に対しセンサが故障したことを示す信号をプロセッサ7E経由でモニタ8に提示する。なお、提示方法は表示のほかに音声等の警告手段でも良い。
操作者への情報提示後、制御部切替部84は第1制御部81aから第2制御部81bが制御動作を行うように切り替え、提示部86に対し第1操作入力部85aから第2操作入力部85bに入力操作が替えることを指示することを示す信号を送り、提示部86は操作者に対し提示を行う。
なお、制御部の切替は、操作者からの切替指示による方法でも良い。また、操作入力部は2台でなく、1台の操作入力部に複数の入力モードを搭載し、切り替える方法でも良い。
操作者により第2操作入力部85bから操作入力指示が開始すると、第2制御部81bは能動処置具4Fの制御を開始する。上述したように第2制御部81bの制御方法は、能動処置具4Fの各関節を独立して制御する方法であり、一部の関節のセンサが故障した場合においても、センサが正常な関節のみを制御することが可能である。
なお、センサが全て故障している場合は、駆動量検出部74Fを構成するエンコーダ値を用いた制御方法を実施しても良い。
以上の方法により、先端部に搭載したセンサが故障した場合において、能動処置具4Fを制御することが可能となる。
図15の内視鏡システム1Fの構成の一部を変更した図16のような内視鏡システム1Gにしても良い。
この内視鏡システム1Gは、図15の内視鏡システム1Fにおいて、駆動部73Fは制御部81により制御される。また、駆動部73Fは、この駆動部73Fの駆動状態としての駆動出力を算出する駆動状態算出部91と接続される。駆動量検出部74Fと検出部82は、状態検知部92と接続される。制御部81は、操作入力部85と接続される。
この内視鏡システム1Gにおいては、能動処置具4Fの先端部に搭載した検出部82を構成するセンサ検出値を用いて、能動処置具4Fのワイヤ破断や先端部にかかる外力検知、モータ故障予測を行い、検知結果に応じて能動処置具4Fを制御する。
制御部81は、各関節に設けられたセンサ情報を基に能動処置具4Fの制御を行う。なお、モータ制御においてエンコーダの検出値も利用して制御を行うと精度を向上させることが可能となる。
次に図17を用いて、能動処置具4Fの状態検知方法について説明する。ステップS41に示すように操作入力部85の入力に対して、その入力値に基づいて駆動部73Fのモータが動作する(ステップS42)。駆動量検出部74Fは、モータの駆動量に応じたエンコーダ値を取得する(ステップS43)。
また、モータが動作した時、駆動状態算出部91は、モータの出力トルクの算出を行い、能動処置具4Fの通常動作時の出力トルク、つまり適正な出力トルク値と比較する(ステップS44)。
出力トルクが通常時より大きいとき、状態検知部92はモータにかかる負荷が大きいこと(より具体的にはこの負荷状態を継続すると、モータが損傷する可能性があること)を検知する(ステップS45)。
状態検知部92は、前記二通りの状態を検知した場合、制御部81に対し前記状態を示す信号を送り、制御部81はモータの焼損を予測し、モータ(駆動部)への出力を制限する(ステップS46)。制限方法は、トルク制御や電流制御、電圧制御等がある。
さらに状態検知部92は、以下のように二通りの状態を検知する。
第一の状態は、能動処置具4Fの先端部が体内の臓器等に接触していることにより能動処置具4Fの動作に負担がかかっている状態であり、第二の状態はモータと関節間に介在する能動処置具4Fの挿入部内で負荷がかかっている状態である。
これらの状態の判別は、状態検知部92によって関節に設けられたセンサの検出値とモータの回転量を比較して行われる。そして、状態検知部92は、先端部の検出値が適切であるか否かの判定を行う(ステップS47)。
この判定により適切でない場合には、状態検知部92は、挿入部において負荷がかかっていると判定(検知)する(ステップS48)。一方、上記判定により検出値が適切である場合には、動作状態において外力を受けていると判定する(ステップS49)。
また、上記ステップS44の判定において、適切な出力トルク値の場合には、状態検知部92は、センサにより先端部の検出値(センサ値)が取得できるか否かの判定を行う(ステップS50)。
状態検知部92が先端部のセンサ値を正常に取得できない場合には、状態検知部92は、センサが故障もしくは断線と判断する(ステップS51)。また、状態検知部92は、この状態を示す信号を制御部81に対し送る。
制御部81は、前記信号を受けたときモータに対し、出力の停止もしくは出力の制限を行う。
なお、前記センサが故障時の制御方法は、停止、制限のほかにモータの回転量を用いた制御のように、先端部のセンサ値を使用しない異なる制御ブロックを備え切り替える方法で行っても良い。
また、この判定は、モータの焼損の予測時に先端部のセンサ検出値を取得する際にも行う。
状態検知部92は、検出部の検出した値を正常に取得できたと判定したとき、取得したした検出値が適切であるかの判定を行う(ステップS52)。判定方法は、前状態の検出値との比較や、他のセンサとの比較等で行われる。
検出値が適切な場合は、状態検知部92は、能動処置具4Fが正常動作と判定し、制御を継続する(ステップS53)。
一方、状態検知部92は、適切でないと判定した場合は検出結果に応じて下記の、三つの状態を検知し、検知結果を制御部81に送る。
はじめに、モータの回転量を検出しているにも関わらず検出部82の検出結果が変化しない場合、先端部の関節に動力が伝達されていないことによるワイヤの破断した状態と判断する(ステップS54)。
次に、検出部82の検出結果が能動処置具4Fの関節の動作と関連性のない値であり、この値を連続的に取得しているとき状態検知部92はセンサが電気的に故障した状態であると判断する(ステップS55)。
最後に、入力された位置もしくは姿勢に対し、駆動したモータや関節が入力状態を維持しているにも関わらず、その後関節の検出値が変化した場合、状態検知部92は、先端部の関節が臓器による押圧等の外力を受けている状態であると判断する(ステップS56)。
これらの状態信号を受けたとき、制御部81は以下の制御を行う。
(ワイヤの破断検知時)モータの動作停止もしくはワイヤが破断していない関節のみの動作させる。(センサ故障時)モータ動作停止させる。(外力検知時)モータの出力を制限する。
以上のように、センサの故障検知だけでなく、従来、操作者が認識していたワイヤの破断や外力による影響の有無を制御的に検知することにより、能動処置具4Fの制御における信頼性を向上させたり、術者等の操作作業の手間を軽減して操作性を向上することができる。
なお、例えば図16に示す内視鏡システム1Gにおいて、能動処置具4F(又は処置マニピュレータ)と、他の機器とを通信させると共に、能動処置具4Fと他の機器の正常/異常状態を検出する構成にして、制御部81が正常/異常状態に対応した制御を行うようにしても良い。
また、この場合、他の機器としては、例えばプロセッサ7(又はイメージング装置)と、高周波処置具等のエネルギ−デバイスと、気腹器とを備えた構成にしても良い。そして、図18のように異常状態を検出した機器に応じて、制御部81は、内視鏡システムを構成する各機器の停止や一時停止、又は継続して動作させる等の動作を制御するようにしても良い。
このように制御すると、手術中に異常状態になったときにも、全体としては、その異常状態に対応した適切に設定して、円滑に適切な操作を行うことができ易くなる。
なお、上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。また、要旨を変更しない範囲での変形例も、本発明に属する。
本出願は、2010年9月14日に日本国に出願された特願2010−205896号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
本発明の一態様に係る内視鏡システムは、内視鏡に設けられ、撮像を行う撮像手段と、前記撮像手段の撮像領域内に特定の観察対象物が存在しているか否かを判定する判定手段と、前記撮像手段により撮像された前記撮像領域内の撮像画像から前記特定の観察対象物を画像として認識できる状態であるか否かを判定する認識手段と、前記判定手段が、前記特定の観察対象物が前記撮像領域内に存在していると判定し、且つ前記認識手段が前記特定の観察対象物を画像として認識できない場合に、前記撮像手段が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力手段と、前記視界不良の判定結果に対応して、前記視界不良を発生する障害物、又は障害物の種類を推定する障害物推定手段と、を備える。
本発明一態様に係る視界不良判定方法は、体腔内の観察対象部位を撮像部により撮像した撮像画像を内視鏡画像として表示する表示ステップと、前記観察対象部位に対する処置を行うための処置具の先端部の位置を位置判定部が取得する処置具位置取得ステップと、前記処置具の先端部の位置が前記撮像画像の領域としての撮像領域の内部に位置するか否かの判定を位置判定部が行う位置判定ステップと、前記撮像画像に対する画像処理により前記処置具の先端部が前記撮像領域の内部の画像として認識できるか否かの画像認識を画像認識部が行う認識ステップと、前記位置判定ステップにより、前記処置具の先端部が前記撮像領域内に位置すると判定し、かつ前記認識ステップにより前記処置具の先端側が前記撮像領域内の画像として認識できない認識結果の場合に、視界不良判定部が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力ステップと、視界不良判定出力ステップにより、前記視界不良の判定結果を出力した場合には、前記視界不良を発生する障害物、又は障害物の種類を障害物推定部が推定する障害物推定ステップと、
を具備する。
本発明は、内視鏡の撮像手段により撮像を行うと共に視界不良を判定する内視鏡システム及び視界不良判定システムの動作方法に関する。
上述したように、内視鏡による観察下において、処置具を用いて処置するような場合において、処置具の先端部、又は処置部等の特定の観察対象物が画像として観察できる状態から観察できなくなった視界不良の状況が発生した場合、その状況を速やかに判定できるようにすることが望まれる。このような判定を速やかに行えると、その状況を、術者に告知する等して、視界不良の発生に対応した適切な操作や処置等を迅速に行い易くなる。
本発明は上述した点に鑑みてなされたもので、特定の観察対象物が撮像領域の内部に存在しているにもかかわらず、画像として観察できない視界不良の状態になったことを速やかに判定できる内視鏡システム及び視界不良判定システムの動作方法を提供することを目的とする。
本発明一態様に係る視界不良判定システムの動作方法は、体腔内の観察対象部位を撮像部により撮像した撮像画像を内視鏡画像として表示する表示ステップと、前記観察対象部位に対する処置を行うための処置具の先端部の位置を位置判定部が取得する処置具位置取得ステップと、前記処置具の先端部の位置が前記撮像画像の領域としての撮像領域の内部に位置するか否かの判定を位置判定部が行う位置判定ステップと、前記撮像画像に対する画像処理により前記処置具の先端部が前記撮像領域の内部の画像として認識できるか否かの画像認識を画像認識部が行う認識ステップと、前記位置判定ステップにより、前記処置具の先端部が前記撮像領域内に位置すると判定し、かつ前記認識ステップにより前記処置具の先端側が前記撮像領域内の画像として認識できない認識結果の場合に、視界不良判定部が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力ステップと、視界不良判定出力ステップにより、前記視界不良の判定結果を出力した場合には、前記視界不良を発生する障害物、又は障害物の種類を障害物推定部が推定する障害物推定ステップと、
を具備する。

Claims (12)

  1. 内視鏡に設けられ、撮像を行う撮像手段と、
    前記撮像手段の撮像領域内に特定の観察対象物が存在しているか否かを判定する判定手段と、
    前記撮像手段により撮像された前記撮像領域内の撮像画像から前記特定の観察対象物を画像として認識できる状態であるか否かを判定する認識手段と、
    前記判定手段が、前記特定の観察対象物が前記撮像領域内に存在していると判定し、且つ前記認識手段が前記特定の観察対象物を画像として認識できない場合に、
    前記撮像手段が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力手段と、
    を備えることを特徴とする内視鏡システム。
  2. さらに、前記視界判定出力手段による前記視界不良の判定結果を告知する告知手段を有することを特徴とする請求項1に記載の内視鏡システム。
  3. 前記特定の観察対象物は、処置具の先端部であり、
    さらに、前記視界不良の判定結果に応じて、前記処置具の動作を停止又は制限する制御を行う制御手段を有することを特徴とする請求項1に記載の内視鏡システム。
  4. 前記視界判定出力手段が前記視界不良の判定結果を出力する場合には、さらに、前記視界不良を発生する障害物、又は障害物の種類を推定する障害物推定手段を有することを特徴とする請求項1に記載の内視鏡システム。
  5. さらに、前記障害物推定手段により推定された障害物又は障害物の種類の情報を告知する告知手段を有することを特徴とする請求項4に記載の内視鏡システム。
  6. 前記特定の観察対象物は、処置具の先端部であり、
    さらに、前記処置具の動作を制御を行う制御手段を有し、前記障害物推定手段により推定された障害物、又は障害物の種類に応じて、前記制御手段は、前記処置具の動作を停止又は制限する制御を行うことを特徴とする請求項4に記載の内視鏡システム。
  7. 前記特定の観察対象物は、駆動部により複数の関節が回動する能動処置具の先端部であり、
    さらに、前記能動処置具の前記駆動部の動作を制御を行う制御手段を有し、前記障害物推定手段により推定された障害物、又は障害物の種類に応じて、前記制御手段は、前記能動処置具の前記駆動部の動作を停止又は動作を制限する制御を行うことを特徴とする請求項4に記載の内視鏡システム。
  8. 前記能動処置具がエネルギー供給装置から供給されるエネルギーを用いて処置する場合には、前記障害物推定手段により推定された障害物、又は障害物の種類に応じて、前記制御手段は、前記能動処置具の前記駆動部の動作を停止又は動作を制限すると共に、エネルギー供給装置によるエネルギー供給の動作を停止する制御を行うことを特徴とする請求項7に記載の内視鏡システム。
  9. 前記制御手段は、前記障害物が煙又はミストであると推定された場合と、前記障害物が煙又はミスト以外であると推定された場合とで、前記能動処置具に対する制御内容を変更することを特徴とする請求項8に記載の内視鏡システム。
  10. 前記制御手段は、前記障害物が煙又はミストであると推定された場合には、前記能動処置具に対して、指示操作に対して前記駆動部が応答して駆動する動作の応答速度を遅くするように制御し、前記障害物が煙又はミスト以外であると推定された場合には前記駆動部が駆動する動作を停止させるように制御することを特徴とする請求項8に記載の内視鏡システム。
  11. 前記制御手段は、前記障害物が煙又はミストであると推定された場合には、前記能動処置具に対して、前記能動処置具の先端に設けられ、処置するための処置部を駆動する動作の応答速度を遅くするように制御し、前記障害物が煙又はミスト以外であると推定された場合には前記処置部の動作を停止させ、かつ処置部を後退させて、処置部収納部内に収納するように制御することを特徴とする請求項8に記載の内視鏡システム。
  12. 体腔内の観察対象部位を撮像部により撮像した撮像画像を内視鏡画像として表示する表示ステップと、
    前記観察対象部位に対する処置を行うための処置具の先端部の位置を位置判定部が取得する処置具位置取得ステップと、
    前記処置具の先端部の位置が前記撮像画像の領域としての撮像領域の内部に位置するか否かの判定を位置判定部が行う位置判定ステップと、
    前記撮像画像に対する画像処理により前記処置具の先端部が前記撮像領域の内部の画像として認識できるか否かの画像認識を画像認識部が行う認識ステップと、
    前記位置判定ステップにより、前記処置具の先端部が前記撮像領域内に位置すると判定し、かつ前記認識ステップにより前記処置具の先端側が前記撮像領域内の画像として認識できない認識結果の場合に、視界不良判定部が視界不良であると判定し、視界不良の判定結果を出力する視界不良判定出力ステップと、
    を具備することを特徴とする視界不良判定方法。
JP2012503563A 2010-09-14 2011-08-17 内視鏡システム及び視界不良判定システムの動作方法 Active JP5065538B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012503563A JP5065538B2 (ja) 2010-09-14 2011-08-17 内視鏡システム及び視界不良判定システムの動作方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010205896 2010-09-14
JP2010205896 2010-09-14
PCT/JP2011/068626 WO2012035923A1 (ja) 2010-09-14 2011-08-17 内視鏡システム及び視界不良判定方法
JP2012503563A JP5065538B2 (ja) 2010-09-14 2011-08-17 内視鏡システム及び視界不良判定システムの動作方法

Publications (2)

Publication Number Publication Date
JP5065538B2 JP5065538B2 (ja) 2012-11-07
JPWO2012035923A1 true JPWO2012035923A1 (ja) 2014-02-03

Family

ID=45831397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012503563A Active JP5065538B2 (ja) 2010-09-14 2011-08-17 内視鏡システム及び視界不良判定システムの動作方法

Country Status (5)

Country Link
US (1) US8497898B2 (ja)
EP (1) EP2532299B1 (ja)
JP (1) JP5065538B2 (ja)
CN (1) CN102834043B (ja)
WO (1) WO2012035923A1 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130172679A1 (en) * 2011-07-01 2013-07-04 Fujifilm Corporation Endoscope insertion assisting device
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
US10238837B2 (en) 2011-10-14 2019-03-26 Intuitive Surgical Operations, Inc. Catheters with control modes for interchangeable probes
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US9131957B2 (en) 2012-09-12 2015-09-15 Gyrus Acmi, Inc. Automatic tool marking
US20140277334A1 (en) 2013-03-14 2014-09-18 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US9326822B2 (en) 2013-03-14 2016-05-03 Hansen Medical, Inc. Active drives for robotic catheter manipulators
US9173713B2 (en) 2013-03-14 2015-11-03 Hansen Medical, Inc. Torque-based catheter articulation
US11213363B2 (en) 2013-03-14 2022-01-04 Auris Health, Inc. Catheter tension sensing
US9408669B2 (en) 2013-03-15 2016-08-09 Hansen Medical, Inc. Active drive mechanism with finite range of motion
US20140276647A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Vascular remote catheter manipulator
US20140276936A1 (en) 2013-03-15 2014-09-18 Hansen Medical, Inc. Active drive mechanism for simultaneous rotation and translation
JP5959723B2 (ja) * 2013-03-29 2016-08-02 富士フイルム株式会社 内視鏡下外科手術装置
JP5715315B1 (ja) 2013-06-18 2015-05-07 オリンパスメディカルシステムズ株式会社 内視鏡システム、内視鏡システムの制御方法
CN105188509B (zh) * 2013-08-07 2017-08-25 奥林巴斯株式会社 内窥镜系统和内窥镜系统的工作方法
EP3056133B1 (en) 2013-10-11 2018-12-05 Olympus Corporation Endoscopic system
JP2017063801A (ja) * 2014-02-06 2017-04-06 オリンパス株式会社 挿入装置
US10046140B2 (en) 2014-04-21 2018-08-14 Hansen Medical, Inc. Devices, systems, and methods for controlling active drive systems
US10569052B2 (en) 2014-05-15 2020-02-25 Auris Health, Inc. Anti-buckling mechanisms for catheters
DE102014007909A1 (de) 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Chirurgisches Mikroskop
CN106231980B (zh) * 2014-06-19 2018-06-22 奥林巴斯株式会社 内窥镜装置
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
CN106455920B (zh) * 2014-09-05 2018-08-07 奥林巴斯株式会社 内窥镜系统
JP6432770B2 (ja) 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US9805472B2 (en) 2015-02-18 2017-10-31 Sony Corporation System and method for smoke detection during anatomical surgery
DE112015006562T5 (de) * 2015-06-29 2018-03-22 Olympus Corporation Bildverarbeitungsvorrichtung, Endoskopsystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
JP6938507B2 (ja) 2015-09-09 2021-09-22 オーリス ヘルス インコーポレイテッド 手術支援ロボットシステム用の器械装置マニピュレータ
US9949749B2 (en) 2015-10-30 2018-04-24 Auris Surgical Robotics, Inc. Object capture with a basket
US9955986B2 (en) 2015-10-30 2018-05-01 Auris Surgical Robotics, Inc. Basket apparatus
US10231793B2 (en) 2015-10-30 2019-03-19 Auris Health, Inc. Object removal through a percutaneous suction tube
WO2017183598A1 (ja) * 2016-04-18 2017-10-26 オリンパス株式会社 制御装置及び挿入装置
US10454347B2 (en) 2016-04-29 2019-10-22 Auris Health, Inc. Compact height torque sensing articulation axis assembly
JP6834184B2 (ja) * 2016-06-16 2021-02-24 ソニー株式会社 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
CN109069138B (zh) 2016-08-31 2021-07-20 奥瑞斯健康公司 长度守恒的手术器械
KR102536940B1 (ko) * 2016-12-28 2023-05-30 아우리스 헬스, 인코포레이티드 가요성 기구 삽입을 위한 장치
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法
JP6212833B1 (ja) * 2017-03-10 2017-10-18 株式会社エム・ピー・アイ 診察視界確保式ビデオスコープ
WO2018175583A1 (en) * 2017-03-21 2018-09-27 Stryker Corporation Methods and systems to automate surgical interventions
WO2018236513A1 (en) 2017-06-19 2018-12-27 Boston Scientific Scimed, Inc. AUTOMATIC FLUID MANAGEMENT SYSTEM
US11026758B2 (en) 2017-06-28 2021-06-08 Auris Health, Inc. Medical robotics systems implementing axis constraints during actuation of one or more motorized joints
EP3723655A4 (en) 2017-12-11 2021-09-08 Auris Health, Inc. SYSTEMS AND METHODS FOR INSTRUMENT-BASED INSERTION ARCHITECTURES
KR20200100613A (ko) 2017-12-14 2020-08-26 아우리스 헬스, 인코포레이티드 기구 위치 추정을 위한 시스템 및 방법
JP6889282B2 (ja) * 2017-12-22 2021-06-18 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP6957424B2 (ja) * 2018-08-16 2021-11-02 富士フイルム株式会社 内視鏡の制御装置、内視鏡装置、内視鏡の状態識別方法、内視鏡の状態識別プログラム
JP7009636B2 (ja) * 2018-08-17 2022-01-25 富士フイルム株式会社 内視鏡システム
EP3856001A4 (en) 2018-09-28 2022-06-22 Auris Health, Inc. DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS
US11896330B2 (en) 2019-08-15 2024-02-13 Auris Health, Inc. Robotic medical system having multiple medical instruments
US11737845B2 (en) 2019-09-30 2023-08-29 Auris Inc. Medical instrument with a capstan
US11715199B2 (en) 2019-12-31 2023-08-01 Stryker Corporation Systems and methods for surgical smoke management
WO2021137104A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Dynamic pulley system
KR20220123269A (ko) 2019-12-31 2022-09-06 아우리스 헬스, 인코포레이티드 고급 바스켓 구동 모드
EP3861920A1 (de) * 2020-02-05 2021-08-11 Erbe Elektromedizin GmbH Chirurgisches instrument mit einer positionserkennungseinrichtung
CN116034307A (zh) * 2020-08-24 2023-04-28 富士胶片株式会社 图像处理装置、方法及程序
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11911030B2 (en) 2020-10-02 2024-02-27 Cilag Gmbh International Communication capability of a surgical device with component
US11877792B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Smart energy combo control options
US12016566B2 (en) 2020-10-02 2024-06-25 Cilag Gmbh International Surgical instrument with adaptive function controls
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US20220104765A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Surgical visualization and particle trend analysis system
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11883052B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International End effector updates
US20220104713A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Tiered-access surgical visualization system
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US20220117673A1 (en) * 2020-10-19 2022-04-21 Arthur C. McKinley EndoInspect Apparatus, System and Method
CN117915819A (zh) * 2021-09-07 2024-04-19 直观外科手术操作公司 选择性地使用由成像设备生成的不同视频流来执行基于图像的操作
WO2023149527A1 (ja) * 2022-02-04 2023-08-10 オリンパス株式会社 医療用システム、報知方法及び医療用システムの作動方法
WO2023166742A1 (ja) * 2022-03-04 2023-09-07 オリンパス株式会社 画像処理装置、処置システムおよび画像処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336497A (ja) * 1995-06-09 1996-12-24 Olympus Optical Co Ltd 体腔内観察装置
JPH11309156A (ja) * 1998-04-27 1999-11-09 Olympus Optical Co Ltd 排煙装置
JPH11318909A (ja) * 1998-05-14 1999-11-24 Olympus Optical Co Ltd 煙除去システム
JP2005124756A (ja) * 2003-10-22 2005-05-19 Olympus Corp 内視鏡用画像処理装置
JP2006166939A (ja) * 2004-12-10 2006-06-29 Olympus Corp 画像処理方法
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3310349B2 (ja) * 1992-09-22 2002-08-05 オリンパス光学工業株式会社 内視鏡装置
JPH09149876A (ja) * 1995-11-30 1997-06-10 Olympus Optical Co Ltd 内視鏡装置
JPH09266882A (ja) * 1996-04-02 1997-10-14 Olympus Optical Co Ltd 内視鏡装置
JPH10243919A (ja) * 1997-03-07 1998-09-14 Olympus Optical Co Ltd 内視鏡装置
JP3762512B2 (ja) * 1997-04-03 2006-04-05 オリンパス株式会社 内視鏡装置
KR100891766B1 (ko) 2004-12-10 2009-04-07 올림푸스 가부시키가이샤 의용 화상 처리 장치
US7860555B2 (en) 2005-02-02 2010-12-28 Voyage Medical, Inc. Tissue visualization and manipulation system
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
WO2007033326A2 (en) * 2005-09-14 2007-03-22 Welch Allyn, Inc. Medical apparatus comprising and adaptive lens
JP5084139B2 (ja) 2005-12-12 2012-11-28 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5131951B2 (ja) * 2006-02-21 2013-01-30 富士フイルム株式会社 体腔内観察装置
JP2007260144A (ja) * 2006-03-28 2007-10-11 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
JP2009131466A (ja) * 2007-11-30 2009-06-18 Olympus Medical Systems Corp 排煙制御装置、排煙装置、及び内視鏡手術システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336497A (ja) * 1995-06-09 1996-12-24 Olympus Optical Co Ltd 体腔内観察装置
JPH11309156A (ja) * 1998-04-27 1999-11-09 Olympus Optical Co Ltd 排煙装置
JPH11318909A (ja) * 1998-05-14 1999-11-24 Olympus Optical Co Ltd 煙除去システム
JP2005124756A (ja) * 2003-10-22 2005-05-19 Olympus Corp 内視鏡用画像処理装置
JP2006166939A (ja) * 2004-12-10 2006-06-29 Olympus Corp 画像処理方法
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置

Also Published As

Publication number Publication date
CN102834043A (zh) 2012-12-19
EP2532299B1 (en) 2014-11-05
US8497898B2 (en) 2013-07-30
CN102834043B (zh) 2015-07-01
JP5065538B2 (ja) 2012-11-07
EP2532299A1 (en) 2012-12-12
US20120182409A1 (en) 2012-07-19
EP2532299A4 (en) 2013-01-23
WO2012035923A1 (ja) 2012-03-22

Similar Documents

Publication Publication Date Title
JP5065538B2 (ja) 内視鏡システム及び視界不良判定システムの動作方法
JP4861540B2 (ja) 医療装置
US20220095903A1 (en) Augmented medical vision systems and methods
US9066658B2 (en) Method and system for video based image detection/identification analysis for fluid and visualization control
JP6218634B2 (ja) 内視鏡システム及び内視鏡の作動方法
US10441132B2 (en) Method of controlling endoscopes, and endoscope system
US9125560B2 (en) Endoscope shape detecting apparatus
JP6257371B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
EP4042438A1 (en) Cooperative surgical displays
US20210022586A1 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
US20150250377A1 (en) Endoscope system
US20170085762A1 (en) Endoscope system
WO2018123613A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
WO2020110214A1 (ja) 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP5165338B2 (ja) 内視鏡システム
US11141053B2 (en) Endoscope apparatus and control apparatus
JP2006198031A (ja) 手術支援システム
JP6062112B2 (ja) 内視鏡システム
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP6619456B2 (ja) 医療用マニピュレータシステムおよび医療用マニピュレータシステムの作動方法
US11241144B2 (en) Medical system and operation method of medical system
US20220148209A1 (en) Medical system, signal processing device, and signal processing method
CN115256384A (zh) 机器人的性能值确定方法、装置及控制器
JP2005211530A (ja) 手技支援システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120809

R151 Written notification of patent or utility model registration

Ref document number: 5065538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150817

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250