JP6150968B1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP6150968B1
JP6150968B1 JP2017516540A JP2017516540A JP6150968B1 JP 6150968 B1 JP6150968 B1 JP 6150968B1 JP 2017516540 A JP2017516540 A JP 2017516540A JP 2017516540 A JP2017516540 A JP 2017516540A JP 6150968 B1 JP6150968 B1 JP 6150968B1
Authority
JP
Japan
Prior art keywords
endoscope
imaging unit
arm
optical axis
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017516540A
Other languages
English (en)
Other versions
JPWO2017138208A1 (ja
Inventor
西澤 幸司
幸司 西澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority claimed from PCT/JP2016/083788 external-priority patent/WO2017138208A1/ja
Application granted granted Critical
Publication of JP6150968B1 publication Critical patent/JP6150968B1/ja
Publication of JPWO2017138208A1 publication Critical patent/JPWO2017138208A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡システムは、第一撮像部を有する第一内視鏡と、第二撮像部を有する第二内視鏡と、前記第一内視鏡に取り付けられ前記第一内視鏡を移動させるために動作可能なアームと、所定の座標系における前記第一内視鏡の位置及び姿勢を検知する第一位置姿勢検知手段と、前記所定の座標系における前記第二内視鏡の位置及び姿勢を検知する第二位置姿勢検知手段と、前記アームの動作を制御する制御装置と、を備え、前記制御装置は、前記アームを動作させるための制御手順として、前記所定の座標系における前記第二内視鏡の位置及び姿勢を前記第二位置姿勢検知手段から取得して前記第二撮像部の光軸の位置及び方向を算出する第一算出ステップと、前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記アームを動作させるための前記アームの動作量を算出する動作量算出ステップと、前記動作量に基づいて前記アームを動作させるための動作指示を出力する指示ステップと、を含み、前記制御手順に従って前記アームの動作を制御する。

Description

本発明は、内視鏡システムに関する。本願は、2016年2月10日に、日本国に出願された特願2016−023670号に基づき優先権を主張し、その内容をここに援用する。
従来、観察対象物の状況の俯瞰的観察と観察対象物の一部の拡大観察とを切り替えながら処置をする手術が知られている。
たとえば特許文献1には、観察対象物の3次元的な状況を把握するための超音波プローブとその保持具とを備えた超音波観察システムが開示されている。
また、特許文献2には、手術用顕微鏡を用いた観察中に他の画像情報を観察可能な手術用顕微鏡が開示されている。
また、特許文献3には、処置部位の狭角画像を取得するための処置用スコープと、処置部位の広角画像を取得するための観察用内視鏡とを備えた内視鏡システムが開示されている。
日本国特開2004−136066号公報 日本国特開2001−161638号公報 日本国特開2000−32442号公報
処置部位を含んだ観察対象領域の広角画像と処置部位近傍の狭角画像とを切り替えながら処置を行う場合、切り替え前後の画像の関係を容易に把握できることが望ましい。特許文献1,2,3に開示された技術では、複数の画像をそれぞれ執刀医が認識して互いの対応関係を把握し、必要であれば実際に臓器等を見て再確認する等の作業を要するので、執刀医に対する負担が大きい。
一方、たとえば1つの内視鏡を処置部位に対して近づけたり遠ざけたりする進退操作により、視野中心が互いに一致した状態にある狭角画像と広角画像とを取得することができる。しかしながら、このような進退操作を術中に精度よく行うためには熟練を要し、内視鏡の操作者に対する負担が大きい。
本発明は、上述した事情に鑑みてなされたものであって、2つの内視鏡が撮像したそれぞれの画像の対応付けが容易で執刀医や内視鏡の操作者に対する負担が少ない内視鏡システムを提供することを目的とする。
本発明の第一の態様に係る内視鏡システムは、第一撮像部を有する第一内視鏡と、第二撮像部を有する第二内視鏡と、前記第一内視鏡に取り付けられ前記第一内視鏡を移動させるために動作可能なアームと、所定の座標系における前記第一内視鏡の位置及び姿勢を検知する第一位置姿勢検知手段と、前記所定の座標系における前記第二内視鏡の位置及び姿勢を検知する第二位置姿勢検知手段と、前記アームの動作を制御する制御装置と、を備え、前記制御装置は、前記アームを動作させるための制御手順として、前記所定の座標系における前記第二内視鏡の位置及び姿勢を前記第二位置姿勢検知手段から取得して前記第二撮像部の光軸の位置及び方向を算出する第一算出ステップと、前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記アームを動作させるための前記アームの動作量を算出する動作量算出ステップと、前記動作量に基づいて前記アームを動作させるための動作指示を出力する指示ステップと、を含み、前記制御手順に従って前記アームの動作を制御する。
本発明の第二の態様によれば、第一の態様に係る内視鏡システムでは、前記制御装置は、前記第一算出ステップ,前記動作量算出ステップ,及び前記指示ステップをこの順に繰り返して実行し、前記動作量算出ステップにおいて、すでに実行された前記指示ステップの直前に実行された前記第一算出ステップにおける前記第二撮像部の光軸の位置及び方向と当該指示ステップの直後に実行された前記第一算出ステップにおける前記第二撮像部の光軸の位置及び方向とが所定の閾値以上のずれ量を有していた場合に、前記第一撮像部の光軸が前記ずれ量と等しく移動するように前記動作量を算出してもよい。
本発明の第三の態様によれば、第一の態様に係る内視鏡システムでは、前記制御装置は、前記第一算出ステップ,前記動作量算出ステップ,及び前記指示ステップをこの順に繰り返して実行し、すでに実行された前記指示ステップ以降に実行された前記動作量算出ステップにおいて算出された動作量が所定の閾値を超えない場合には前記指示ステップの実行をスキップして前記第一算出ステップを実行し、前記動作量が前記所定の閾値を超える場合には前記指示ステップを実行してもよい。
本発明の第四の態様によれば、第一の態様に係る内視鏡システムでは、前記第一内視鏡は、前記第一撮像部の視野方向を変更するために動作可能な関節部と、前記関節部に接続された軸部と、前記軸部を前記アームに接続するためのアダプタと、を有し、前記制御装置は、前記動作量算出ステップにおいて、前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記関節部を動作させるための関節駆動量を前記動作量に含み、前記指示ステップにおいて、前記動作量に基づいて前記アーム及び前記関節部を動作させるための動作指示を出力してもよい。
本発明の第五の態様によれば、第一の態様に係る内視鏡システムでは、上記態様の内視鏡システムは、前記第二内視鏡に取り付けられ前記第二内視鏡を移動させるために動作可能な第二アームをさらに備えていてもよい。
本発明の第六の態様によれば、第五の態様に係る内視鏡システムでは、前記制御装置は、前記第二アームを動作させるための制御手順として、前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第二撮像部の光軸の位置及び方向を算出する第二算出ステップと、前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記第二アームを動作させるための前記第二アームの動作量を算出する第二動作量算出ステップと、前記第二アームの動作量に基づいて前記第二アームを動作させるための動作指示を出力する指示ステップと、を含み、前記制御手順に従って前記第二アームの動作を制御してもよい。
本発明の第七の態様によれば、第一の態様に係る内視鏡システムでは、前記制御装置は、前記アームの可動域を制限する制限ステップを制御手順に含み、前記制御装置は、前記第一撮像部の光軸のベクトルと前記第二撮像部の光軸のベクトルとのなす角が最小となるように、前記制限ステップにより制限された可動域の範囲内で前記アームを動作させてもよい。
本発明の第八の態様によれば、第七の態様に係る内視鏡システムでは、前記制御装置は、前記第一撮像部の光軸と前記第二撮像部の光軸との距離が最小となるように、前記制限ステップにより制限された可動域の範囲内で前記アームを動作させてもよい。
本発明によれば、2つの内視鏡がそれぞれ撮像した画像の対応付けが容易で操作者に対する負担が少ない内視鏡システムを提供することができる。
本発明の第1実施形態に係る内視鏡システムの模式的な全体図である。 同内視鏡システムの要部のブロック図である。 同内視鏡システムの制御装置による制御手順を示すフローチャートである。 同内視鏡システムの作用を説明するための図である。 同内視鏡システムの作用を説明するための図である。 同内視鏡システムの作用を説明するための図である。 同内視鏡システムの作用を説明するための図である。 本発明の第2実施形態に係る内視鏡システムの一部を示す模式図である。 同内視鏡システムの制御装置による制御手順を示すフローチャートである。 本発明の第3実施形態に係る内視鏡システムを示す模式的な全体図である。 同内視鏡システムの制御装置による制御手順を示すフローチャートである。 本発明の第4実施形態に係る内視鏡システムを示す模式的な全体図である。 同内視鏡システムの作用を説明するための模式図である。 同内視鏡システムの作用を説明するための模式図である。 同内視鏡システムの制御装置による制御手順を示すフローチャートである。 本発明の第5実施形態に係る内視鏡システムの制御装置による制御手順を示すフローチャートである。 同内視鏡システムの使用時の動作を説明するための模式図である。 同内視鏡システムの使用時の動作を説明するための模式図である。 本発明の第6実施形態に係る内視鏡システムの使用時の動作を説明するための模式図である。 同内視鏡システムの使用時の動作を説明するための模式図である。 本発明の第7実施形態に係る内視鏡システムのメインモニタに表示される画像の一例を示す模式図である。 同内視鏡システムのメインモニタに表示される画像の一例を示す模式図である。 同内視鏡システムのメインモニタに表示される画像の一例を示す模式図である。 同内視鏡システムのメインモニタに表示される画像の一例を示す模式図である。 同内視鏡システムのメインモニタに表示される画像の一例を示す模式図である。
(第1実施形態)
本発明の第1実施形態について説明する。図1は、本実施形態に係る内視鏡システムの模式的な全体図である。図2は、内視鏡システムの要部のブロック図である。図3は、内視鏡システムの制御装置による制御手順を示すフローチャートである。図4から図7までは、内視鏡システムの作用を説明するための図である。
図1に示す本実施形態に係る内視鏡システム1は、手術等に使用される医療用のシステムである。
図1に示すように、内視鏡システム1は、第一内視鏡10と、アーム20と、第一画像処理装置25と、第一サブモニタ26と、第二内視鏡30と、第二画像処理装置36と、第二サブモニタ37と、位置姿勢検知装置41と、メインモニタ45と、制御装置50とを備えている。
第一内視鏡10は、本実施形態に係る内視鏡システム1において、処置部位を含む狭い領域を撮像対象とする画像(狭角画像)を取得して、第一サブモニタ及びメインモニタ45に表示させるための内視鏡である。第一内視鏡10は、信号線SL1を介して第一画像処理装置25に接続されている。さらに、信号線SL1´を介して、第一画像処理装置25と制御装置50とが接続されている。
第一内視鏡10は、挿入部11と、駆動部15とを有している。
挿入部11は、体外から処置対象となる患者の体内へと挿入される長尺部である。
挿入部11は、撮像部12(第一撮像部)と、関節部13と、軸部14とを有している。
撮像部12は、処置部位を撮像対象部位とした画像を取得するために、たとえばイメージセンサ及び対物光学系(いずれも不図示)を有している。撮像部12のイメージセンサは、たとえば、撮像対象部位の明視野画像を取得することができる。撮像部12の対物光学系は、所定の光軸L1を有している。撮像部12が撮像する画像の視野中心は、撮像部12の光軸L1の位置である。撮像部12が撮像した画像は、後述する第一画像処理装置25へ送信され、さらに制御装置50へ送信される。第一内視鏡10の撮像部12の画角は、第二内視鏡30の撮像部32の画角と同じでもよいし、第二内視鏡30の撮像部32の画角と異なっていてもよい。また、本実施形態において第一内視鏡10の撮像部12が撮像する狭角画像とは、第二内視鏡30の撮像部32が撮像する画像の一部を撮像視野とした画像であり、第一内視鏡10の撮像部12の画角が第二内視鏡30の撮像部32の画角よりも狭いことを意味するものに限られない。
関節部13は、回動軸を介して互いに連結された複数の関節要素を有している。関節部13は、軸部14に対して撮像部12を移動させるように変形可能である。また、関節部13は、撮像部12の位置及びその撮像視野の方向を調整するために動作可能である。関節部13には、関節部13を動作させるための力量を伝達する操作ワイヤ18が連結されている。
軸部14は、撮像部12を体内の処置部位の近傍まで案内するために、硬質な筒状形状である。軸部14の内部には、撮像部12からの不図示の信号線や、関節部13を動作させるために関節部13を後述する駆動部15に接続するための操作ワイヤ18などが配線されている。
駆動部15は、挿入部11における撮像部12側とは反対側の端部(本実施形態において第一内視鏡10の基端部という)に配置されている。駆動部15は、軸部14に固定されている。駆動部15の内部には、撮像部12から延びる不図示の信号線と、関節部13から延びる操作ワイヤ18とが配線されている。さらに、駆動部15は、操作ワイヤ18を移動させるために操作ワイヤ18に接続されたアクチュエータ16と、アクチュエータ16の動作量を検知するためのエンコーダ17とを有している。駆動部15に設けられたアクチュエータ16は、制御装置50による制御に従って動作する。また、駆動部15は、第一内視鏡10をアーム20に取り付けるためのアダプタとしての機能も有している。
本実施形態の第一内視鏡10は、処置部位に対して直接的に切開や縫合などをするための構造を有している必要はない。なお、挿入部11は、処置部位に対して切開や縫合などをするための不図示の処置具を先端に有していてもよい。また、挿入部11は、公知の内視鏡用処置具を挿入するためのチャンネルを有していてもよい。
また、第一内視鏡10は、撮像部12の撮像視野を、視野中心を回転中心として(たとえば撮像部12の光軸L1を回転中心として)回転させることができるようになっていてもよい。撮像視野の回転は、撮像部12を機械的に回転させる構成であってもよいし、撮像部12のイメージセンサが取得した画像を画像処理により回転させる構成であってもよい。これらのような撮像視野の移動や回転を可能とすることにより、後述する第二内視鏡30の撮像部32が撮像した画像と第一内視鏡10の撮像部12による画像との対応付けを容易にすることができる。
アーム20は、第一内視鏡10を所望の位置及び姿勢で保持したり、第一内視鏡10を所望の方向へ移動させたりする。アーム20は、信号線SL2を介して制御装置50に接続されている。
アーム20は、リンク部21と、関節部22と、アクチュエータ23と、エンコーダ24と、を有している。
リンク部21は、第一内視鏡10の駆動部15を取り付けることができる着脱構造を有する遠位側のリンク部21aと、関節部22を構成する各関節要素をつなぐ近位側の複数のリンク部21bとを有している。
関節部22は、隣り合う2つのリンク部21をたとえば屈曲可能に連結する。また、複数の関節部22を構成する各関節部22のうちのいくつかは、隣り合う2つのリンク部21を各々の中心線が同軸をなすように回転可能に連結してもよい。
アーム20の自由度の上限は特に限定されない。関節部22の配置や数等は、第一内視鏡10の位置及び姿勢を制御するために必要最低限の自由度をアーム20に付与できるようになっていればよい。
一例として、アクチュエータ23は、関節部22に配置されている。アクチュエータ23は、制御装置50による動作制御に従って関節部22を動作させる。
一例として、エンコーダ24は、複数の関節部22に配置されている。本実施形態では、アーム20に含まれるすべての関節部22にエンコーダ24が配置されている。
エンコーダ24は、後述する制御装置50に電気的に接続されている。エンコーダ24は、各関節部22の移動量を制御装置50に出力する。なお、エンコーダ24は、各関節部22の絶対角度を示す信号を制御装置50に出力するものであってもよい。
図2に示すように、第一画像処理装置25は、第一内視鏡10の撮像部12と接続される。第一画像処理装置25は、第一内視鏡10の撮像部12が撮像した画像情報を撮像部12から受信して第一サブモニタ26に映像信号として出力するとともに、この画像情報を制御装置50の画像制御部52へ出力する。
第一サブモニタ26は、第一画像処理装置25から出力された映像信号に基づいて映像を表示する。第一サブモニタ26は、処置部位を含む狭角画像を表示することができる。
第二内視鏡30は、本実施形態に係る内視鏡システム1において、処置部位を含む広い領域を撮像対象とする画像(広角画像)を取得して第二サブモニタ及びメインモニタ45に表示させるための内視鏡である。第二内視鏡30は、信号線SL3を介して第二画像処理装置36に接続されている。さらに、信号線SL3´を介して、第二画像処理装置36と制御装置50とが接続されている。
第二内視鏡30は、挿入部31と、操作部34とを有している。
第二内視鏡30の挿入部31は、全体として細長の棒状である。本実施形態における第二内視鏡30の挿入部31は、たとえば硬性の性質を有する。すなわち、本実施形態において、第二内視鏡30は硬性鏡である。
第二内視鏡30の挿入部31は、撮像部32(第二撮像部)と、軸部33とを有している。
第二内視鏡30の撮像部32は、処置部位の画像を取得するために、たとえばイメージセンサ及び対物光学系(いずれも不図示)を有している。第二内視鏡30の撮像部32のイメージセンサは、たとえば、撮像対象部位の明視野画像を取得することができる。撮像部32の対物光学系は、所定の光軸L2を有している。撮像部32が撮像する画像の視野中心は、撮像部32の光軸L2の位置である。第二内視鏡30の撮像部32が撮像した画像は、後述する制御装置50へ送信される。第二内視鏡30の撮像部32の画角は、第一内視鏡10の撮像部12の画角と同じでもよいし、第一内視鏡10の撮像部12の画角と異なっていてもよい。また、本実施形態において第二内視鏡30の撮像部32が撮像する広角画像とは、第一内視鏡10の撮像部12の撮像視野よりも広い範囲を撮像する画像であり、第二内視鏡30の撮像部32の画角が第一内視鏡10の撮像部12の画角よりも広いことを意味するものに限られない。
第二内視鏡30の軸部33は、第二内視鏡30の撮像部32を体内の処置部位の近傍まで案内するために、硬質な筒状形状である。第二内視鏡30の軸部33の内部には、第二内視鏡30の撮像部32を後述する制御装置50に接続するための不図示の信号線が配線されている。
操作部34は、体外で第二内視鏡30を操作するために、第二内視鏡30の挿入部31における撮像部32側とは反対側の端部(本実施形態において第二内視鏡30の基端部という)に配置されている。
操作部34は、把持部35を有している。
把持部35は、第二内視鏡30を操作する操作者が把持することができる部位である。
本実施形態では、操作者が把持部35を把持して移動させることにより、第二内視鏡30の挿入部31全体を移動させることができる。すなわち、本実施形態では、第二内視鏡30の使用時に操作者が把持部35を把持して移動させることにより、第二内視鏡30の撮像部32の撮像視野を移動させることができる。
把持部35には、後述する視点変更スイッチ39及び視野合せスイッチ40が配されていてもよい。
なお、第二内視鏡30の構成は上記の構成には限定されない。第二内視鏡30は、上記の広角画像を撮像するための撮像部32を有する硬性鏡又は軟性内視鏡であって構わない。また、第二内視鏡30の撮像部32の視野の向きは、第二内視鏡30の挿入部31に対して固定された状態、又は制御装置50において把握可能な状態であれば、上記の構成には限定されない。
図2に示すように、第二画像処理装置36は、第二内視鏡30の撮像部32に接続される。第二画像処理装置36は、第二内視鏡30の撮像部32が撮像した画像情報を撮像部32から受信して第二サブモニタ37に映像信号として出力するとともに、この画像情報を制御装置50の画像制御部52へ出力する。
第二サブモニタ37は、第二画像処理装置36から出力された映像信号に基づいて映像を表示する。第二サブモニタ37は、処置部位を含む広角画像を表示することができる。
図2に示すように、アーム入力部38は、制御装置50の駆動制御部53に接続されている。アーム入力部38は、例えばスコピストによって操作されることにより、アーム20を動作させるための所定の操作信号を駆動制御部53へ出力する。
視点変更スイッチ39は、制御装置50の画像制御部52に電気的に接続されている。
視点変更スイッチ39は、第一内視鏡10によって得られた狭角画像と、第二内視鏡30によって得られた広角画像とから、所望の一方の画像を選択する切り替えスイッチである。たとえば、視点変更スイッチ39は、押しボタンスイッチであり、視点変更スイッチ39が押されるたびに、メインモニタ45に表示される画像を広角画像もしくは狭角画像に切り替える。
視点変更スイッチ39は、処置部位に対して処置を行う者(たとえば執刀医等)や、第一内視鏡10や第二内視鏡30を操作する者(たとえばスコピスト)等が操作しやすい位置に配置可能である。
たとえば、視点変更スイッチ39は、処置部位に対して処置を行う執刀医が操作する医療器具に取り付け可能である。
また、視点変更スイッチ39は、第二内視鏡30の把持部35の近傍に配置されていてもよい(図1参照)。第二内視鏡30を操作する操作者によって操作しやすい位置に本実施形態の視点変更スイッチ39が配置されていることにより、第二内視鏡30を用いた処置中に視点を変更することが容易となる。
視野合せスイッチ40は、制御装置50の駆動制御部53に電気的に接続されている。
視野合せスイッチ40は、第一内視鏡10によって得られる狭角画像の視野中心が第二内視鏡30によって得られた広角画像の視野中心と一致するように第一内視鏡10を動作させるための入力を制御装置50の駆動制御部53に対して行うためのスイッチである。
視野合せスイッチ40は、処置部位に対して処置を行う者(たとえば執刀医等)や、第一内視鏡10や第二内視鏡30を操作する者(たとえばスコピスト)等が操作しやすい位置に配置可能である。たとえば、視野合せスイッチ40は、第二内視鏡30の把持部35近傍に配置されている。視野合せスイッチ40は、押しボタンスイッチであり、視野合せスイッチ40が押されるたびに、狭角画像の視野中心が広角画像の視野中心と一致するように制御装置50が第一内視鏡10を移動させる動作が開始される。
第二内視鏡30を操作する操作者によって操作しやすい位置に本実施形態の視野合せスイッチ40が配置されていることにより、第二内視鏡30を用いた処置中に狭角画像の視野中心と広角画像の視野中心とを容易に合わせることができる。
位置姿勢検知装置41は、たとえば本実施形態に係る内視鏡システム1が設備される手術室等の空間における第一内視鏡10及び第二内視鏡30の位置及び姿勢を検知する。
位置姿勢検知装置41は、第一マーカー42と、第二マーカー43と、カメラ44とを有している。また、位置姿勢検知装置41は、後述する制御装置50に接続されている。
第一マーカー42は、第一内視鏡10の駆動部15に配されている。第一マーカー42は、第一内視鏡10と第二内視鏡30とを区別することができるように、第二マーカー43とは異なるマーカーである。
第一マーカー42の構成は、カメラ44によって撮像可能であり制御装置50において認識可能であれば特に限定されない。たとえば、第一マーカー42は、第一マーカー42に固有の形状を有していたり、所定の形状の模様を有していたり、カメラ44に対して所定の光を発したりするものであって構わない。
第二マーカー43は、第二内視鏡30の操作部34に配されている。第二マーカー43は、第一内視鏡10と第二内視鏡30とを区別することができるように、第一マーカー42とは異なるマーカーである。
第二マーカー43の構成は、カメラ44によって撮像可能であり制御装置50において認識可能であれば特に限定されない。たとえば、第二マーカー43は、第二マーカー43に固有の形状を有していたり、所定の形状の模様を有していたり、カメラ44に対して所定の光を発したりするものであって構わない。
なお、第一マーカー42と第二マーカー43とが互いに区別できないものであっても、内視鏡システム1の使用時に対応付けをするとともに内視鏡システム1の使用時に常に各マーカーの位置及び姿勢を追跡するようになっていれば、構わない。
カメラ44は、第一マーカー42及び第二マーカー43を含む画像を撮像し、制御装置50に対して画像を送信する。カメラ44は、視野が互いに異なる複数の画像を取得する。たとえば、カメラ44は、視野が互いに異なる2つの撮像装置を含んでいる。カメラ44は、内視鏡システム1が配置される手術室等の空間内の一部に固定されている。たとえば手術室内の一部にカメラ44が固定されて第一マーカー42及び第二マーカー43を含む画像を撮像することにより、カメラ44の位置を基準とした所定の座標系(基準座標系)における第一マーカー42及び第二マーカー43の位置及び姿勢を検知することができる。
メインモニタ45は、信号線SL4を介して制御装置50に接続されている。メインモニタ45は、第一内視鏡10の撮像部12が撮像した画像及び第二内視鏡30の撮像部32が撮像した画像を、画像制御部52を介して表示することができる。本実施形態では、メインモニタ45は、第一内視鏡10が撮像した画像と第二内視鏡30が撮像した画像とのうち、視点変更スイッチ39による切り替え入力によって選択された一方の画像を表示する。メインモニタ45における表示状態は、制御装置50の画像制御部52によって制御されている。メインモニタ45の具体的な構成は特に限定されない。たとえば、メインモニタ45として、アナログやデジタルの映像信号に基づいて画像を表示する公知のディスプレイシステムが適宜選択されてよい。
制御装置50は、アーム20及び第二内視鏡30を制御する。さらに、制御装置50は、メインモニタ45に、第一内視鏡10からの画像や第二内視鏡30からの画像などを表示させる。
図1及び図2に示す制御装置50は、位置算出部51と、画像制御部52と、駆動制御部53とを備えている。
位置算出部51は、カメラ44から画像信号を受信して、第一マーカー42及び第二マーカー43の位置を算出する。位置算出部51は、カメラ44の位置を基準とした所定の座標系(基準座標系)における第一マーカー42及び第二マーカー43の位置及び姿勢を座標情報として記憶する。
画像制御部52は、第一画像処理装置25,第二画像処理装置36,駆動制御部53,視点変更スイッチ39,及びメインモニタ45に接続されている。さらに、画像制御部52は、第一画像処理装置25から出力される画像情報と、第二画像処理装置36から出力される画像情報とを用いて、駆動制御部53を動作させるための所定の情報を生成して駆動制御部53へと出力する。
また、画像制御部52は、第一内視鏡10が撮像した画像及び第二内視鏡30が撮像した画像を取得し、視点変更スイッチ39による切り替え入力に対応した画像を、メインモニタ45へと出力する。なお、メインモニタ45は親画面と子画面による2画面で構成されていてもよく、画像制御部52は、視点変更スイッチ39による切り替え入力により指定された画像を親画面に表示させ、切り替え入力により選択されなかった画像を子画面に表示させるようになっていてもよい。
駆動制御部53は、位置算出部51に接続されている。さらに、駆動制御部53は、第一内視鏡10のアクチュエータ16及びエンコーダ17並びにアーム20のアクチュエータ23及びエンコーダ24に接続されている。さらに、駆動制御部53は、アーム入力部38に接続されている。
駆動制御部53は、アーム入力部38に対する操作者による操作により生成される操作信号に基づいて、第一内視鏡10の関節部13と、アーム20との動作を制御する。
次に、第一内視鏡10の位置及び姿勢並びに第二内視鏡30の位置及び姿勢の検知及び認識について説明する。
位置算出部51は、位置姿勢検知装置41のカメラ44が撮像した画像から、第一マーカー42を認識する。カメラ44から位置算出部51へ送信される画像は、視野が互いに異なる複数の画像が組になっており、位置算出部51は、複数の画像から、基準座標系における第一マーカー42の位置及び姿勢を認識する。第一マーカー42は、第一内視鏡10の駆動部15に配置されており、第一マーカー42の位置に対する第一内視鏡10の位置は予め制御装置50に記憶されている。このため、第一マーカー42の位置及び姿勢に基づいて、位置算出部51は、第一内視鏡10の位置及び姿勢を認識することができる。一例として、位置算出部51は、第一内視鏡10の駆動部15における所定の基準点を、第一内視鏡10の位置として利用する。すなわち、位置算出部51は、基準座標系における第一内視鏡10の基準点の座標を、第一内視鏡10の位置として認識する。さらに、位置算出部51は、基準座標系における第一マーカー42の方向を、第一内視鏡10の姿勢として利用する。
駆動制御部53は、第一内視鏡10の関節部13に設けられたエンコーダ17を参照することにより、上記の第一内視鏡10の位置及び姿勢に加えて、関節部13の先端部分に配された撮像部12の位置及び姿勢を認識する。たとえば、駆動制御部53は、基準座標系における撮像部12の一部の座標を、撮像部12の位置として認識する。また、駆動制御部53は、基準座標系における光軸の方向を、撮像部12の姿勢として認識する。
すなわち、本実施形態において、位置姿勢検知装置41、位置算出部51、及び駆動制御部53により、基準座標系における第一内視鏡10の位置及び姿勢を検知する第一位置姿勢検知手段が構成されている。さらに、本実施形態において、制御装置50は、第一内視鏡10及びその光軸の位置及び姿勢を検知することができる。
また、位置算出部51は、位置姿勢検知装置41のカメラ44が撮像した画像から、第二マーカー43を認識する。位置算出部51は、第一マーカー42の位置及び姿勢の認識と同様に第二マーカー43の位置及び姿勢を認識する。さらに、駆動制御部53は、基準座標系における第二内視鏡30の撮像部32の一部の座標を、第二内視鏡30の撮像部32の位置として認識する。また、駆動制御部53は、基準座標系における光軸の方向を、第二内視鏡30の撮像部32の姿勢として認識する。
すなわち、本実施形態において、位置姿勢検知装置41、位置算出部51、及び駆動制御部53により、基準座標系における第二内視鏡30の位置及び姿勢を検知する第二位置姿勢検知手段が構成されている。さらに、本実施形態において、制御装置50は、第二内視鏡30の光軸L2の位置及び姿勢を検知することができる。
次に、第一内視鏡10及びアーム20の制御について、図2を参照して説明する。
駆動制御部53は、第二内視鏡30の把持部35に配置されたアーム入力部38に対する入力を受け付け、この入力に基づいて第一内視鏡10及びアーム20を動作させる。
また、駆動制御部53は、第二内視鏡30の把持部35に配置された視野合せスイッチ40に対する入力を受け付け、この入力に基づいて第一内視鏡10及びアーム20を動作させる。
視野合せスイッチ40に対する入力を受け付けた駆動制御部53は、図3に示すように、ステップS1からステップS4までの各ステップに示すように第一内視鏡10及びアーム20を動作させる。
まず、駆動制御部53は、基準座標系における第一内視鏡10の位置及び姿勢と、基準座標系における第一内視鏡10の光軸L1の位置及び姿勢を認識する(第一算出ステップ,ステップS1)。
さらに、駆動制御部53は、基準座標系における第二内視鏡30の光軸L2の位置及び姿勢を認識する(第二算出ステップ,ステップS2)。なお、ステップS2は、上記のステップS1の前に実行されてもよいし、上記のステップS1の後に実行されてもよい。
ステップS1及びステップS2の後、駆動制御部53は、ステップS2において認識した第二内視鏡30の光軸L2の位置及び姿勢に近づくように第一内視鏡10及びアーム20を動作させるための動作量を算出する(動作量算出ステップ,ステップS3)。
ステップS3において、駆動制御部53は、第二内視鏡30の光軸L2の位置を示す座標に対して光軸方向の先側に所定の距離だけずれた位置を、第一内視鏡10の光軸L1の移動目標位置に設定する。すなわち、ステップS3において、駆動制御部53は、第二内視鏡30の撮像部32の先端と撮像対象部位との間の領域に第一内視鏡10の光軸L1の移動目標位置を設定する。ステップS3において駆動制御部53が設定する移動目標位置は、基準座標系における第二内視鏡30の光軸L2上の一点の座標である。
なお、ステップS3において駆動制御部53が設定する移動目標位置の精度は、それほど厳密でなくてもよい。これは、第一内視鏡10の光軸L1と第二内視鏡30の光軸L2とが平行であれば、各光軸の距離がある程度離れていても、画像上の視野中心は実用上問題ない程度のずれに収まるからである。たとえば、ステップS3において駆動制御部53が設定する移動目標位置は、ある程度の誤差を許容するために一定の範囲の領域として設定されてもよい。たとえば、図6に示すように、ステップS3において駆動制御部53が設定する移動目標位置X1は、基準座標系における第二内視鏡30の光軸L2と直交する平面に沿い光軸を中心とする所定径の円C1内の座標であってもよい。また、ステップS3において駆動制御部53が設定する移動目標位置は、基準座標系における第二内視鏡30の光軸L2の位置の座標を中心とする球内の座標であってもよい。また、ステップS3において駆動制御部53が設定する移動目標位置は、基準座標系において第二内視鏡30の光軸L2を中心線とする円柱内の座標であってもよい。
この場合、第一内視鏡10の光軸L1の位置が第二内視鏡30の光軸L2上に達したと判定する際に誤差を許容できるので、たとえば第二内視鏡30を操作する操作者による手振れなどにより第二内視鏡30の光軸L2が移動してしまうことにより第一内視鏡10の光軸L1の移動が完了できなくなることを防ぐことができる。また、この場合、第一内視鏡10からの画像と第二内視鏡30からの画像とを両方ともメインモニタ45に表示させる場合に、第二内視鏡30を操作する際の手振れにより第一内視鏡10の撮像部12が第二内視鏡30の光軸L2を追って移動し続けることによる画像の乱れを軽減することもできる。
さらに、ステップS3において、駆動制御部53は、第一内視鏡10の光軸L1の現在位置から移動目標位置までの移動経路を設定する。第一内視鏡10の光軸L1の現在位置から移動目標位置までの移動経路の設定方法は、移動経路中に障害物がないことを考慮したものであれば、特に限定されない。第一内視鏡10の光軸L1の移動経路が設定された後、駆動制御部53は、この移動経路に沿って光軸が移動するように第一内視鏡10を移動させるためのアーム20の動作量を算出する。
また、ステップS3において、駆動制御部53は、第一内視鏡10の光軸L1の方向が第二内視鏡30の光軸L2の方向と一致するように、撮像部12の動作目標方向を設定する。本実施形態では、ステップS3において、駆動制御部53は、移動目標位置に第一内視鏡10の光軸L1が位置した時点における第一内視鏡10の光軸L1の方向が第二内視鏡30の光軸L2の方向と平行するように、第一内視鏡10の光軸L1の位置を示す座標を中心として撮像部12を回動させるための関節部13の関節駆動量を算出する。なお、ステップS3において駆動制御部53が設定する撮像部12の動作目標方向は、ある程度の誤差を許容するために一定の範囲の領域として設定されてもよい。
このように、ステップS3では、アーム20の動作量及び関節部13の動作量を駆動制御部53が算出する。
これでステップS3は終了し、ステップS4へ進む。
ステップS4は、上記のステップS3において算出されたアーム20の動作量及び関節部13の動作量に基づいてアーム20及び関節部13を動作させるための動作指示をアーム20及び関節部13に出力する指示ステップである。
ステップS4では、駆動制御部53は、アーム20及び関節部13に対して動作指示を出力することによって、アーム20及び関節部13を動作させる。たとえば、ステップS4において、駆動制御部53はまずアーム20に対して動作指示を出力することにより、第一内視鏡10の光軸L1の位置が第二内視鏡30の光軸L2上の移動目標位置に到達するまで第一内視鏡10を移動させる。続いて、駆動制御部53は関節部13に対して動作指示を出力することにより、第一内視鏡10の光軸L1が第二内視鏡30の光軸L2と同軸となるまで第二内視鏡30の光軸L2上で第一内視鏡10の撮像部12を回動させる。
このとき、駆動制御部53は、ステップS3で算出された動作方向にアーム20及び関節部13を移動させるために、関節部13及びアーム20の各自由度の動作量を、逆運動学を用いて算出し、各アクチュエータの制御量を決定する。この制御量に基づいて、駆動制御部53は、駆動信号を出力する。
駆動制御部53は、動作指示の出力が終了した後、アーム20及び関節部13の姿勢を検知するエンコーダ24および17により、移動目標位置に第一内視鏡10の光軸L1が到達したか否かを判定し、第一内視鏡10の光軸L1が移動目標位置へ到達したことを駆動制御部53が判定したらステップS4は終了する。
このように、上記のステップS1からステップS4までの動作手順により、駆動制御部53は、視野合せスイッチ40に対する入力に対応して、第一内視鏡10の光軸L1と第二内視鏡30の光軸L2とが同軸をなす状態となるように、第一内視鏡10及びアーム20を動作させる。
本実施形態に係る内視鏡システム1の作用について、内視鏡システム1の使用時の動作とともに説明する。
内視鏡システム1の使用時には、第一内視鏡10及び第二内視鏡30が体内に挿入される。すなわち、第一内視鏡10の挿入部11及び第二内視鏡30の挿入部31が、たとえばトロッカを通じて体内に挿入され、図4に示すように、第二内視鏡30の撮像部32が体内の処置部位の近傍に案内され、第一内視鏡10の撮像部12が、処置部位の近傍で第二内視鏡30よりもさらに近い位置まで案内される。
第一内視鏡10の撮像部12及び第二内視鏡30の撮像部32がともに処置部位の近傍に案内された状態において、第一内視鏡10の撮像部12と処置部位との距離は、第二内視鏡30の撮像部32と処置部位との距離よりも短い。そのため、第一内視鏡10の撮像部12は、第二内視鏡30の撮像部32よりも撮像視野が狭い状態となっている。すなわち、上記のような距離の関係を有して第一内視鏡10と第二内視鏡30とがそれぞれ体内に配されている場合に、第一内視鏡10は処置部位を含んだ狭角画像を撮像することができ、第二内視鏡30は処置部位を含んだ広角画像を撮像することができる。なお、本実施形態において、第一内視鏡10及び第二内視鏡30がズームやマクロなどの光学機能を有していてもよいが、これらの光学機能を考慮した説明は本明細書では省略される。
第一内視鏡10及び第二内視鏡30が処置部位の近傍に案内された後、たとえば、操作者(たとえば執刀医やスコピスト)は、処置部位を観察する。まず、体内において処置部位を把握するために、操作者は、第二内視鏡30を用いて処置部位を含む広い領域を俯瞰的に観察する。このとき、操作者は第二内視鏡30を主に操作する。操作者は、第二内視鏡30の操作部34を移動させて所望の部位を観察することにより、処置部位近傍の状況を把握する。
処置部位の状況を把握した後、操作者は、処置部位が画像の視野中心に位置するように第二内視鏡30を維持し、さらに視野合せスイッチ40に対する入力を行う。すると、上記のステップS1からステップS4までの制御手順に従って駆動制御部53がアーム20及び第一内視鏡10を制御する。
これにより、図5に示すように、第二内視鏡30の視野内に第一内視鏡10の撮像部12が進入する。さらに、図6に示すように、第二内視鏡30の光軸L2上の点X1を中心とした円C1内に第一内視鏡10の撮像部12の光軸L1が到達したところで、撮像部12の移動は停止し、続いて、図7に示すように、第一内視鏡10の光軸L1が第二内視鏡30の光軸L2と同軸となるように第一内視鏡10の撮像部12の向きが変わる。
第一内視鏡10の光軸L1が第二内視鏡30の光軸L2と同軸となるように第一内視鏡10の撮像部12が配置されている状態では、第二内視鏡30の撮像部32が撮像した画像の視野中心に第一内視鏡10の撮像部12が位置している。操作者は、第二内視鏡30の撮像部32が撮像した広角画像によって、第一内視鏡10の撮像部12が処置部位近傍に配置されたことを把握することができる。第一内視鏡10の撮像部12が処置部位近傍にある状態で、操作者は、視点変更スイッチ39に対する入力を行う。すると、制御装置50の画像制御部52は、メインモニタ45に表示される画像を、第二内視鏡30の撮像部32が撮像した画像から、第一内視鏡10の撮像部12が撮像した画像に切り替える。
第一内視鏡10の光軸L1と第二内視鏡30の光軸L2とは同軸をなしているので、第一内視鏡10の撮像部12が撮像した画像における視野中心は、第二内視鏡30の撮像部32が撮像した画像における視野中心と一致している。このため、第二内視鏡30の撮像部32が撮像した画像から第一内視鏡10が撮像した画像に切り替わることにより、メインモニタ45における表示は、広角画像の視野中心を含む一部が拡大(ズームイン)されたような画像となる。
第一内視鏡10の撮像部12が撮像した画像は、処置部位を視野内に捉えた狭角画像である。操作者は、処置部位に対する処置を、第一内視鏡10の撮像部12が撮像した画像を見ながら行うことができる。
また、操作者は、必要に応じて、視点変更スイッチ39を用いて、メインモニタ45に表示させる画像を、第一内視鏡10の撮像部12が撮像する狭角画像から、第二内視鏡30の撮像部32が撮像する広角画像に切り替えることができる。これは、狭角画像を用いた処置中に処置部位の周囲の状態を確認する場合等に行うことができる。第二内視鏡30の撮像部32は、第一内視鏡10の撮像視野を含んだ広い領域を撮像視野としている。このため、メインモニタ45に表示される画像が第一内視鏡10の撮像部12が撮像した画像から第二内視鏡30の撮像部32が撮像した画像に切り替わることにより、メインモニタ45における表示は、狭角画像の視野が広角化(ズームアウト)されたような画像となる。
操作者は、第二内視鏡30の撮像部32が撮像した画像がメインモニタ45に表示された状態で、第二内視鏡30の操作部34を把持して移動させたりすることにより、処置部位の周囲を観察することができる。第一内視鏡10は、処置部位を視野中心に捉えた狭角画像を取得可能な状態で停止している。
第二内視鏡30を用いた処置部位の周囲の観察が終了し、処置部位に対する処置を再開しようとする場合には、処置部位を含んだ狭角画像を再びメインモニタ45に表示させる。この場合、操作者は、まず、第二内視鏡30の撮像部32が撮像した画像に基づいて、第一内視鏡10の撮像部12の位置を参考にして、第二内視鏡30の撮像部32の視野中心の位置を容易に処置部位に戻すことができる。第二内視鏡30の撮像部32の視野中心の位置を操作者が大まかに処置部位に戻した後、操作者は、視点変更スイッチ39に対する入力を行い、メインモニタ45に表示される画像を、第二内視鏡30の撮像部32が撮像する画像から、第一内視鏡10の撮像部12が撮像する画像に切り替える。
第一内視鏡10は、処置部位を視野中心に捉えた狭角画像を取得可能な状態で停止している。すなわち、第一内視鏡10は、狭角画像から広角画像に切り替える前の位置関係を維持している。このため、メインモニタ45に表示される画像が広角画像から狭角画像に切り替わった後、操作者は容易に処置を再開することができる。
また、第二内視鏡30を用いた観察時に、処置部位を含んだ組織の全体を移動させると、処置部位と第一内視鏡10との位置関係が変化して、第一内視鏡10の撮像部12が撮像した画像における処置部位の位置や姿勢などが変化する場合がある。この場合、操作者は、処置部位を第二内視鏡30の撮像部32の視野中心に捉えた状態で、視野合せスイッチ40に対する入力を行い、処置部位へ第一内視鏡10の撮像部12を移動させることができる。このとき、上記のステップS1からステップS4までの制御手順に従って駆動制御部53がアーム20及び第一内視鏡10を制御することにより、第二内視鏡30の撮像部32の光軸L2と第一内視鏡10の撮像部12の光軸L1とが同軸となる。この状態で視点変更スイッチ39に対する入力をすることにより、処置部位を視野中心に捉えた狭角画像がメインモニタ45に表示され、この新たな部位に対する処置をすることができる。
また、操作者は、第二内視鏡30の操作部34を把持して移動させたりすることにより処置部位の周囲を観察した結果、新たな部位を処置部位として別の処置をする必要が生じる場合がある。新たな部位を処置部位とする場合、操作者は、処置部位とする新たな部位を第二内視鏡30の撮像部32の視野中心に捉えた状態で、視野合せスイッチ40に対する入力を行い、新たな部位へ第一内視鏡10の撮像部12を移動させることができる。このとき、上記のステップS1からステップS4までの制御手順に従って駆動制御部53がアーム20及び第一内視鏡10を制御することにより、第二内視鏡30の撮像部32の光軸L2と第一内視鏡10の撮像部12の光軸L1とが同軸となる。この状態で視点変更スイッチ39に対する入力をすることにより、処置部位とする新たな部位を視野中心に捉えた狭角画像がメインモニタ45に表示され、この新たな部位に対する処置をすることができる。
一例として、本実施形態に係る内視鏡システム1を用いて処置を行う執刀医は、メインモニタ45を使用することにより、処置部位を含む広角画像及び狭角画像を見ながら処置を行うことができる。また、本実施形態に係る内視鏡システム1の第一内視鏡10及び第二内視鏡30を操作するスコピストは第一サブモニタ26及び第二サブモニタ37を使用しながら、執刀医による処置とは独立して、あるいは執刀医による処置と協働して、各内視鏡の位置や姿勢を調整することができる。
以上に説明したように、本実施形態では、2つの内視鏡(第一内視鏡10及び第二内視鏡30)の光軸が互いに同軸をなし、狭角画像と広角画像とをそれぞれ撮像しているので、視点変更スイッチ39に対する入力に基づいてメインモニタ45に表示される画像を画像制御部52が切り替えたときに、狭角画像に対するズームアウト、あるいは広角画像に対するズームインのような操作感を得ることができる。本実施形態に係る内視鏡システム1では、2つの内視鏡の光軸を一致させるための操作の大部分を自動化することができるので、操作者に対する負担が少ない。
また、従来の腹腔鏡下手術で、一本の内視鏡を用いて処置を行うケースにおいて、近接した視野(狭角視野)で剥離操作や血管の露出などの処置を行っている最中に、周辺組織状態を確認したり現在処置している血管の走行を確認したりする必要が生じる場合などがある。
この場合、近接させていた内視鏡を遠ざけて、全体が見える位置で観察を行い、周辺組織や血管の走行等を確認してから元の位置に内視鏡を戻す作業を行うことになる。最初の近接した視野は、処置しやすい状態となるようにスコピストへ指示を出して作り出した術野(視野)であった。ところが、全体を観察することによって、最初に作り出した視野は崩された状態となっている。全体観察の後、処置しやすい状態(視野)を再現するために、執刀医はスコピストへの指示を繰り返さねばならず、処置復帰可能となるまでの時間が長くなり、執刀医にはストレスと疲労がたまる。このため、執刀医は、このストレスと疲労を回避するために、ちょっとした確認程度では視野を崩すことを避けたくなり、全体を確認したいとおもってもあきらめてしまう可能性もある。
本実施形態では、執刀医が確認したいと思った瞬間に広角視野で周囲を確認し、さらに、確認後は処置していた視野に速やかに戻ることができる。このため、本実施形態では、処置復帰までのタイムラグが少なく、執刀医に対するストレスも疲労も少ない。加えて、本実施形態では、広角画像を用いて周辺組織を適宜確認できるので、より安全な手術が行える可能性もある。
(第2実施形態)
本発明の第2実施形態について説明する。なお、本実施形態において、上記の第1実施形態と同様の構成要素には、第1実施形態と同一の符号が付され、重複する説明は省略されている。図8は、本実施形態に係る内視鏡システムの一部を示す模式図である。図9は、内視鏡システムの制御装置による制御手順を示すフローチャートである。
図8に一部を示す本実施形態に係る内視鏡システム2は、撮像対象部位までの距離を測定するための測距手段を、第一内視鏡10,第二内視鏡30,及び制御装置66に備えている。
一具体例として、本実施形態の第一内視鏡10は、上記第1実施形態に開示された撮像部12とは構成が異なる撮像部60を、上記第1実施形態の撮像部12に代えて備えている。また、本実施形態の第二内視鏡30は、上記第1実施形態に開示された撮像部32とは構成が異なる撮像部63を、上記第1実施形態の撮像部32に代えて備えている。
さらに、本実施形態に係る内視鏡システム2は、本実施形態の各撮像部60,63が撮像した画像に基づいて撮像対象物までの距離を考慮して第一内視鏡10及びアーム20(図1参照)を動作させるステップを動作手順に含んだ制御装置66を、上記第1実施形態の制御装置50に代えて備えている。
第一内視鏡10の撮像部60は、撮像対象部位の三次元情報を取得することができる点で上記第1実施形態に開示された第一内視鏡10の撮像部12と構成が異なっている。一具体例として、第一内視鏡10は、左側撮像部61及び右側撮像部62を備えている。
左側撮像部61及び右側撮像部62は、同一の撮像対象部位に対して視差を有する二枚一組の画像を撮像する。たとえば、左側撮像部61と右側撮像部62とは、それぞれが独立してイメージセンサや対物光学系を有している。左側撮像部61が撮像した画像及び右側撮像部62が撮像した画像は、第1実施形態と同様に不図示の信号線等を通じて、制御装置66の画像制御部67へ送信される。
第二内視鏡30の撮像部63は、たとえば第一内視鏡10の撮像部60と同様に、左側撮像部64及び右側撮像部65を備えている。
制御装置66の画像制御部67は、第一内視鏡10の左側撮像部61及び右側撮像部62がそれぞれ取得した画像に基づいて、第一内視鏡10から撮像対象部位までの距離を測定する機能を有する。一例として、制御装置66の画像制御部67は、第一内視鏡10の左側撮像部61及び右側撮像部62が取得した画像の視差を用いて撮像対象部位までの距離を測定する。
さらに、制御装置66の画像制御部67は、第二内視鏡30の左側撮像部64及び右側撮像部65がそれぞれ取得した画像に基づいて、第二内視鏡30から撮像対象部位までの距離を測定する機能を有する。一例として、制御装置66の画像制御部67は、第二内視鏡30の左側撮像部64及び右側撮像部65が取得した画像の視差を用いて撮像対象部位までの距離を測定する。
なお、第一内視鏡10とその撮像対象部位との距離あるいは第二内視鏡30とその撮像対象部位との距離を測定するための構成は上記の構成には限られない。たとえば、第一内視鏡10や第二内視鏡30は、公知のレーザー測距器や赤外線測距器などの構成を適宜有していてもよい。
第一内視鏡10及びアーム20を移動させるための本実施形態の制御装置66による具体的な制御の一例について、上記の第1実施形態における制御手順と異なる部分を中心に説明する。
本実施形態において、制御装置66は、上記の第1実施形態に開示されたステップS1からステップS4までの各ステップを制御手順に含んでいる。このため、本実施形態に係る内視鏡システム2は、第一内視鏡10及び第二内視鏡30が共に処置部位を視野中心に捉えた状態で互いの光軸が一致した位置関係にある狭角画像及び広角画像を撮像し、狭角画像と広角画像とのいずれか一方又は両方をメインモニタ45に表示させることができる。
また、本実施形態では、第一内視鏡10及び第二内視鏡30がともに処置部位を視野中心に捉えた画像を撮像している状態において、第二内視鏡30の移動に追従して第一内視鏡10及びアーム20を制御装置66が動作させる場合の制御手順(図9参照)が上記の第1実施形態と異なっている。
第一内視鏡10及び第二内視鏡30がともに処置部位を視野中心に捉えた画像を撮像している状態において、制御装置66は、第一内視鏡10の撮像対象部位と第一内視鏡10との距離を測定する。たとえば、制御装置66は、基準座標系における第一内視鏡10の撮像部60の光軸の位置の座標から第一内視鏡10の撮像部60が撮像した二枚一組の画像における所定の一方の画像の視野中心までの距離を算出する(第一測距ステップ,ステップS11,図9参照)。
さらに、制御装置66は、第二内視鏡30の撮像対象部位と第二内視鏡30との距離を測定する。たとえば、制御装置66は、基準座標系における第二内視鏡30の撮像部63の光軸の位置の座標から第二内視鏡30の撮像部63が撮像した二枚一組の画像における所定の一方の画像の視野中心までの距離を算出する(第二測距ステップ,ステップS12,図9参照)。ステップS12は、上記のステップS11の前に実行されてもよいし、上記のステップS11の後に実行されてもよい。
上記のステップS11及びステップS12では、第一内視鏡10及び第二内視鏡30は共に処置部位を視野中心に捉えており、上記のステップS11及びステップS12により算出される各距離は、それぞれ、第一内視鏡10と処置部位との距離、及び、第二内視鏡30と処置部位との距離である。
操作者が第二内視鏡30を移動させて新たな部位を処置部位として処置を開始する場合、操作者は、第二内視鏡30の撮像部63が撮像した画像の視野中心を、処置部位となる新たな部位に合せるように第二内視鏡30を操作する。その後、操作者は、視野合せスイッチ40に対する入力を行う。
視野合せスイッチ40からの入力があったことを制御装置66が検知すると、制御装置66は、まず、第二内視鏡30の撮像部63が撮像した画像の視野中心と第二内視鏡30との距離を算出する(第三測距ステップ,ステップS13,図9参照)。また、ステップS13では、第二内視鏡30の光軸L2の位置及び姿勢を制御装置66が第1実施形態と同様に検知する。
ステップS13では、第二内視鏡30の撮像部63が撮像した画像の視野中心には、新たな処置部位が位置している。このため、ステップS13では、第二内視鏡30と新たな処置部位との距離が算出されることとなる。
ステップS13の後、制御装置66の駆動制御部68は、ステップS13において認識した第二内視鏡30の光軸L2の位置及び姿勢に近づくように第一内視鏡10及びアーム20を動作させるための動作量を算出する(ステップS14,図9参照)。
ステップS14において、駆動制御部68は、第二内視鏡30の光軸L2の位置を示す座標に対して光軸方向の先側に所定の距離だけずれた位置を、第一内視鏡10の光軸L1の移動目標位置に設定する。
なお、第二内視鏡30とその撮像対象部位との距離が、第一内視鏡10とその撮像対象部位との距離よりも短い場合には、制御装置66は、第二内視鏡30をその撮像対象部位から離すように、第一内視鏡10又は第二内視鏡30を移動させることを促すメッセージをたとえばメインモニタ45に表示させる。この場合、制御装置66は、上記のステップS12に戻って第二内視鏡30とその撮像対象部位との距離を再度算出し、第二内視鏡30の光軸L2の位置を示す座標に対して光軸方向の先側に所定の距離だけずれた位置を、第一内視鏡10の光軸L1の移動目標位置に設定する。
このように、ステップS14において、制御装置66は、第二内視鏡30の撮像部63の先端と撮像対象部位との間の領域に第一内視鏡10の光軸L1の移動目標位置を設定する。
さらに、制御装置66の駆動制御部68は、第一内視鏡10の光軸L1の現在位置から移動目標位置までの移動経路を設定する。第一内視鏡10の光軸L1の現在位置から移動目標位置までの移動経路の設定方法は、移動経路中に障害物がないことを考慮したものである。ステップS14において設定される移動経路は、上記の第1実施形態におけるステップS3で設定される移動経路と同様の設定方法により設定されてよい。第一内視鏡10の光軸L1の移動経路が設定された後、駆動制御部68は、この移動経路に沿って光軸が移動するように第一内視鏡10を移動させるためのアーム20の動作量を算出する。
また、ステップS14において、駆動制御部68は、第一内視鏡10の光軸L1の方向が第二内視鏡30の光軸L2の方向と一致するように、第一内視鏡10の撮像部60の動作目標方向を設定する。本実施形態では、ステップS14において、駆動制御部68は、移動目標位置に第一内視鏡10の光軸L1が位置した時点における第一内視鏡10の光軸L1の方向が第二内視鏡30の光軸L2の方向と平行するように、第一内視鏡10の光軸L1の位置を示す座標を中心として第一内視鏡10の撮像部60を回動させるための関節部13の動作量を算出する。
このように、ステップS14では、アーム20の動作量及び関節部13の動作量を駆動制御部68が算出する。
これでステップS14は終了し、ステップS15へ進む。
ステップS15は、上記のステップS14において算出されたアーム20の動作量及び関節部13の動作量に基づいてアーム20及び関節部13を動作させるための動作指示をアーム20及び関節部13に出力する指示ステップである(図9参照)。
ステップS15では、駆動制御部68は、アーム20及び関節部13に対して動作指示を出力することによって、アーム20及び関節部13を動作させる。たとえば、ステップS15において、駆動制御部68はまずアーム20に対して動作指示を出力することにより、第一内視鏡10の光軸L1の位置が第二内視鏡30の光軸L2上の移動目標位置に到達するまで第一内視鏡10を移動させる。続いて、駆動制御部68は関節部13に対して動作指示を出力することにより、第一内視鏡10の光軸L1が第二内視鏡30の光軸L2と同軸となるまで第二内視鏡30の光軸L2上で第一内視鏡10の撮像部60を回動させる。
これでステップS15は終了する。このように、上記のステップS11からステップS15までの動作手順により、駆動制御部68は、視野合せスイッチ40に対する入力に対応して、第一内視鏡10の光軸L1と第二内視鏡30の光軸L2とが同軸となるまで、第一内視鏡10及びアーム20を動作させる。また、本実施形態では、第一内視鏡10及びアーム20の動作前における第一内視鏡10と処置部位との距離と、第一内視鏡10及びアーム20の動作後における第一内視鏡10と新たな処置部位との距離とが互いに等しい。このため、第一内視鏡10の撮像部60が撮像した画像を用いて新たな処置をする場合にその処置部位の状況を把握するのが容易である。
(変形例)
上記実施形態の変形例について説明する。
本変形例の内視鏡システム2は、ある処置部位(第一部位)から別の新たな処置部位(第二部位)まで第一内視鏡10の撮像部60を移動させる移動経路において、処置部位を含んだ組織等までの距離を一定に保って第一内視鏡10の撮像部60を移動させることができる。
一具体例として、本変形例の内視鏡システム2は、上記の第2実施形態におけるステップS14において、駆動制御部68は、第一内視鏡10の撮像部60が撮像した画像に基づいて、第一部位から第二部位までをたとえば最短経路で結ぶ線と第一内視鏡10の光軸L1の位置との距離が常に一致するように、第一内視鏡10の光軸L1の移動経路を設定する。
本変形例では、組織の第一部位と第二部位とを結ぶ線上に凹凸を有する障害物がある場合に、第一内視鏡10の撮像部60はこの凹凸を有する障害物に対応して凹凸を有する障害物を避けながら移動することができる。
なお、本変形例の構成に代えて、駆動制御部68は、組織の第一部位と第二部位とを結ぶ線上にある凹凸を有する障害物を第一内視鏡10の撮像部60からの画像に基づいて認識して凹凸を有する障害物を避けながら第一内視鏡10を移動させてもよい。この場合、駆動制御部68は、第一内視鏡10が移動する過程で適宜撮像部60の向きを調整しながら組織との距離を算出することにより、第一内視鏡10と組織との距離を一定に保って第一内視鏡10を移動させる。
(第3実施形態)
本発明の第3実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図10は、本実施形態に係る内視鏡システムを示す模式的な全体図である。図11は、内視鏡システムの制御装置80による制御手順を示すフローチャートである。
図10に示す本実施形態に係る内視鏡システム3は、第二内視鏡30を移動させるためのアーム(第二アーム71)を備えている点で上記の第1実施形態に係る内視鏡システム1と構成が異なっている。
すなわち、本実施形態に係る内視鏡システム3は、第1実施形態に開示された第一内視鏡10及び第二内視鏡30と、第一内視鏡10を移動させるための第一アーム70と、第二内視鏡30を移動させるための第二アーム71と、制御装置80とを備えている。
第一内視鏡10及び第二内視鏡30の構成は、上記の第1実施形態と同様である。なお、本実施形態における第一内視鏡10と第二内視鏡30とは同一の構成を有する同型機であってもよい。
第一アーム70は、上記第1実施形態に開示されたアーム20と同様の構成を有している。
第二アーム71は、上記第1実施形態に開示されたアーム20と同様の構成を有している。すなわち、第二アーム71は、リンク部72と、関節部73と、アクチュエータ74と、エンコーダ75と、を有している。第二アーム71のリンク部72には、第二内視鏡30の操作部34を取り付けることができる。第二アーム71は、制御装置80に接続されている。
本実施形態に係る内視鏡システム3が備える制御装置80は、第一内視鏡10、第二内視鏡30、第一アーム70、及び第二アーム71の動作を制御する。
制御装置80は、第一内視鏡10及び第一アーム70を第1実施形態と同様に動作させるための動作指示を第一内視鏡10及びアーム20に出力することができる位置算出部81,画像制御部82,駆動制御部83を有している。
また、本実施形態の駆動制御部83は、第二アーム71を動作させるための動作指示を第二アーム71に出力する。なお、本実施形態において第二内視鏡30が第一内視鏡10の関節部13と同様の関節部を有している場合、駆動制御部83は、第二内視鏡30に設けられた上記の関節部を制御できるようになっていてもよい。
次に、本実施形態に係る内視鏡システム3における要部の制御手順を図11を参照して示すことにより、制御装置80の構成について説明する。
本実施形態に係る内視鏡システム3の制御装置80は、上記第1実施形態に開示された制御装置50と異なり、第二アーム71を動作させる制御手順を含んでいる。
すなわち、制御装置80は、第一内視鏡10が処置部位を含んだ狭角画像を撮像している状態で、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2とが同軸となるように、第二アーム71を動作させることにより第二内視鏡30を移動させる。
第二内視鏡30を移動させるための制御手順は、以下のステップS21からステップS24までの各ステップを含んでいる。
まず、制御装置80は、第一内視鏡10の光軸L1の位置及び方向を、位置姿勢検知装置41のカメラ44が撮像した第一マーカー42を含む画像に基づいて認識する(第一算出ステップ,ステップS21,図11参照)。
また、制御装置80は、第二内視鏡30の位置及び姿勢を、位置姿勢検知装置41のカメラ44が撮像した第二マーカー43を含む画像に基づいて認識する(第二算出ステップ,ステップS22,図11参照)。ステップS22は、ステップS21の前に実行されてもよいし、ステップS21の後に実行されてもよい。
ステップS22の後、制御装置80の駆動制御部83は、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2とが同軸となるように、第二内視鏡30の動作量を算出する(動作量算出ステップ,ステップS23,図11参照)。一例として、ステップS23において、制御装置80の駆動制御部83は、第二内視鏡30の光軸L2の位置及び方向が基準座標系における第一内視鏡10の光軸L1の位置を通り光軸の方向と平行となるように、第二内視鏡30の移動量を算出する。ステップS23における第二内視鏡30の移動量は、第二内視鏡30が取り付けられている第二アーム71の動作量を算出する。
これでステップS23は終了し、ステップS24へ進む。
ステップS24は、上記のステップS23において算出された動作量に基づいて第二アーム71を動作させるための動作指示を第二アーム71へ出力する指示ステップである(図11参照)。
ステップS24では、上記のステップS23において算出された動作量が、第二アーム71の各関節部22の動作量に変換され、第二アーム71の各関節部22にそれぞれ設けられたアクチュエータ23へと動作指示として出力される。これにより、ステップS24において出力された動作指示に従って第二アーム71が動作し、第二アーム71が第二内視鏡30を移動させる。
上記のステップS21からステップS24までの各ステップを含んだ制御手順に従って駆動制御部83が第二アーム71を動作させることにより、制御装置80は、第二内視鏡30の撮像部32の光軸L2が第一内視鏡10の撮像部12の光軸L1と同軸となるように、第一内視鏡10の動作に追従して第二内視鏡30を動作させることができる。
次に、第一内視鏡10と第二内視鏡30との主従関係を制御装置80が設定する制御手順について説明する。
本実施形態の制御装置80は、第一内視鏡10と第二内視鏡30とのいずれ一方を主として設定し、第一内視鏡10と第二内視鏡30とのうち主に設定されなかった方を従として設定する。第一内視鏡10と第二内視鏡30とのうち主として設定された内視鏡は操作者が操作する内視鏡であり、第一内視鏡10と第二内視鏡30とのうち従として設定された内視鏡は、主として設定された内視鏡の撮像部12の光軸L1の移動に追従して移動するように制御装置80により自動制御される。
第一内視鏡10と第二内視鏡30との主従関係は、視点変更スイッチ39に対する入力状態に基づいて設定される。すなわち、制御装置80は、メインモニタ45に表示される画像を第一内視鏡10からの画像にするための入力が視点変更スイッチ39に対して行われた場合には、第一内視鏡10を主の内視鏡として設定し、第二内視鏡30を従の内視鏡として設定する。逆に、制御装置80は、メインモニタ45に表示される画像を第二内視鏡30からの画像にするための入力が視点変更スイッチ39に対して行われた場合には、第二内視鏡30を主の内視鏡として設定し、第一内視鏡10を従の内視鏡として設定する。このように、制御装置80は、視点変更スイッチ39に対する入力状態に基づいて、第一内視鏡10と第二内視鏡30との主従関係を設定する。
本実施形態に係る内視鏡システム3における制御装置80による制御手順について、内視鏡システム3の全体的な動作とともにさらに詳細に説明する。
本実施形態に係る内視鏡システム3では、上記の第1実施形態と同様に、第一内視鏡10の光軸L1が第二内視鏡30の光軸L2と同軸となるように、第一内視鏡10の撮像部12を移動させることができる。すなわち、処置部位を俯瞰的に観察するために広角画像を撮像する第二内視鏡30が主の内視鏡として設定されており、主の内視鏡である第二内視鏡30の撮像部32の光軸L2と同軸となるように、従の内視鏡である第一内視鏡10が追従して制御装置80により自動制御される。
また、本実施形態では、第一内視鏡10の撮像部12からの撮像部12をメインモニタ45に表示させている状態で第一内視鏡10全体あるいは第一内視鏡10の関節部13を動作させると、主の内視鏡である第一内視鏡10の撮像部12が移動するとともに、従の内視鏡である第二内視鏡30が第一内視鏡10の撮像部12の移動に追従して移動する。
たとえば、第一内視鏡10を用いて処置部位の狭角画像を撮像し、狭角画像をメインモニタ45に表示させた状態では、第二内視鏡30は、第二内視鏡30の撮像部32の光軸L2が第一内視鏡10の撮像部12の光軸L1と同軸をなすように、制御装置80により位置及び姿勢が制御されている。従って、操作者が視点変更スイッチ39に対する入力を行って、メインモニタ45に表示される画像を画像制御部82によって狭角画像から広角画像に切り替えた場合、メインモニタ45に表示される広角画像は、狭角画像の視野中心を視野中心に捉えた画像となっている。このため、メインモニタ45に表示される画像が第一内視鏡10の撮像部12が撮像した画像から第二内視鏡30の撮像部32が撮像した画像に画像制御部82によって切り替えられることにより、メインモニタ45における表示は、狭角画像の視野が広角化(ズームアウト)されたような画像となる。
本実施形態では、第二内視鏡30の撮像部32が撮像した画像がメインモニタ45に表示されている状態において、制御装置80は、第二内視鏡30を主の内視鏡として設定し、第一内視鏡10を従の内視鏡として設定している。さらに、制御装置80は、第二内視鏡30の撮像部32が撮像した画像がメインモニタ45に表示されている状態では、視野合せスイッチ40に対する入力があるまでは第二内視鏡30の移動と第一内視鏡10の移動との連動を解除している。すなわち、第二内視鏡30の撮像部32が撮像した画像がメインモニタ45に表示されている状態で、操作者は、第一内視鏡10の撮像部12を停止させたまま、第二内視鏡30を移動させて処置部位の周囲の状態を観察することができる。
処置部位の周囲の状態の観察の終了後、処置部位の処置を再開する場合には、操作者は、視点変更スイッチ39に対する入力を行って、メインモニタ45に表示される画像を切り替える。この場合、主の内視鏡が第二内視鏡30から第一内視鏡10に切り替わり、従の内視鏡が第一内視鏡10から第二内視鏡30に切り替わる。その結果、従の内視鏡である第二内視鏡30が制御装置80により自動制御されるようになる。具体的には、本実施形態におけるステップS21からステップS24までの各ステップと同様に、第二内視鏡30の撮像部32の光軸L2が第一内視鏡10の撮像部12の光軸L1と同軸となるように、第二アーム71が制御装置80により制御される。
本実施形態では、第一内視鏡10の撮像部12が撮像した画像がメインモニタ45に表示されている状態では、制御装置80による第二アーム71の動作中であっても、処置部位を含んだ狭角画像を見ながら処置を再開することができる。すなわち、処置部位の周囲の状態を観察するために第二内視鏡30を動作させた後に第二内視鏡30を元に戻す動作は、メインモニタ45に表示される画像の切替後に、バックグラウンドで制御装置80により自動制御される。このため、操作者は第二内視鏡30をもとに戻すために第二内視鏡30を手動で移動させる必要がなく、且つ、第二内視鏡30の光軸L2が第一内視鏡10の光軸L1と同軸になる状態まで自動的に戻るので、再び広角画像を撮像する場合に狭角画像と広角画像との視野中心が一致する。
なお、処置部位の周囲の状態の観察の終了後、処置部位とは異なる部位を新たな処置部位とする場合には、操作者は、視野合せスイッチ40に対する入力を行なう。この場合、主の内視鏡は第二内視鏡30であり、従の内視鏡である第一内視鏡10が制御装置80により自動制御される。具体的には、上記第1実施形態におけるステップS1からステップS4までの各ステップと同様に、第一内視鏡10の撮像部12の光軸L1が第二内視鏡30の撮像部32の光軸L2と同軸となるように、第一アーム70や関節部13が制御装置80により制御される。
以上に説明したように、本実施形態では、第一内視鏡10の撮像部12を操作者が移動させることによってたとえば処置部位を所望の方向から観察している間、制御装置80は、第一内視鏡10の撮像部12の移動に追従するように第二内視鏡30を移動させることができる。その結果、本実施形態に係る内視鏡システム3によれば第一内視鏡10の撮像部12の視野中心と第二内視鏡30の撮像部32の視野中心とのずれが常に解消された状態とすることができる。
また、第二内視鏡30からの広角画像を用いて処置部位の周囲を俯瞰的に観察した後、処置部位の処置を再開する場合には、第二内視鏡30の位置を制御装置80が自動制御によって元の位置及び姿勢に戻すようになっている。すなわち、第二内視鏡30が元の処置部位を視野中心に捉えた状態とするように第二内視鏡30を移動させる操作を操作者に代わって制御装置80が行うので、操作者の操作負担を軽減することができる。
(変形例)
本実施形態の変形例について説明する。
本変形例の内視鏡システム3は、第一内視鏡10の撮像部12の移動に追従して第二内視鏡30を移動させるための制御手順の一部が上記実施形態と異なっている。
すなわち、本変形例では、操作者が視野合せスイッチ40に対して入力を行ったときに、第二内視鏡30の撮像部32の光軸L2が第一内視鏡10の撮像部12の光軸L1と同軸となるように、制御装置80が第二アーム71を動作させる。一例として、上記のステップS21及びステップS22が、操作者が視野合せスイッチ40に対して入力を行ったことを制御装置80が検知したことをトリガーとして開始される。
本変形例の内視鏡システム3では、第一内視鏡10の撮像部12を移動させた場合、操作者が視野合せスイッチ40に対して入力を行うまでは、第二内視鏡30は移動しない。
たとえば第一内視鏡10の撮像部12を用いて処置部位を撮像しているときに、メインモニタ45に第一内視鏡10からの狭角画像のみを表示させている状態では、第二内視鏡30が体内でどのような姿勢にあるかを把握できない場合があり、体内で第二内視鏡30を常に自動的に移動させることが好ましくない状況が考えられる。
本変形例では、視野合せスイッチ40に対する入力がない場合には第二内視鏡30を移動させる第二アーム71の動作を禁止するように制御装置80の駆動制御部83が第二アーム71を制御することにより、第二アーム71により第二内視鏡30を移動させる必要があるときのみ第二アーム71を動作可能とすることができる。
(変形例)
本実施形態の変形例について説明する。
本変形例の内視鏡システム3は、第一内視鏡10の撮像部12の移動に追従して第二内視鏡30を移動させるための制御手順の一部が上記実施形態と異なっている。
本変形例では、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2とが一定以上離れたときに、第二内視鏡30の撮像部32の光軸L2が第一内視鏡10の撮像部12の光軸L1と同軸をなすように、制御装置80の駆動制御部83が第二アーム71を動作させる。一例として、上記のステップS21及びステップS22が、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2とが所定の距離以上離れたことを位置算出部81を介して駆動制御部83が検知したことをトリガーとして開始される。
第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2との距離は、基準座標系における第一内視鏡10の位置及び姿勢並びに第二内視鏡30の位置及び姿勢に基づいてたとえば位置算出部81又は駆動制御部83が算出する。
本変形例の内視鏡システム3では、第一内視鏡10の撮像部12を移動させた場合、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2とが一定以上離れるまでは、第二内視鏡30は移動しない。すなわち、制御装置80は、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2とに所定の閾値以上のずれが生じている場合にのみ第二内視鏡30を移動させる。たとえば、制御装置80は、第二内視鏡30の直近の移動後から現在までに蓄積されたずれの総和を、第二内視鏡30を移動させるべき移動量として算出する。さらに、制御装置80は、上記のずれの総和に基づいて算出された移動量が所定の閾値を超えない場合には第二内視鏡30の移動を行わず、上記のずれの総和に基づいて算出された移動量が所定の閾値を超えたときに、ずれを減少させるように第二内視鏡30を移動させる。このため、第一内視鏡10を用いて処置部位を撮像する際の細かな操作時には、第二内視鏡30は移動せずに処置部位の近傍及び周囲に対する定点カメラとして使用可能である。第二内視鏡30は、撮像対象部位に対する距離が第一内視鏡10よりも離れているので、第一内視鏡10の撮像部12の移動に応じて第二内視鏡30を移動させる量が多い。このため、第一内視鏡10の撮像部12の細かな移動に追従して第二内視鏡30を常に移動させる場合、第二内視鏡30の挿入部31がトロッカを介して患者の体壁等を移動させることが多くなってしまい、患者への負担が高くなることが考えられる。本変形例では、広角画像と狭角画像との視野中心が常に厳密に合っているわけではないが、処置及び観察に問題がない程度のずれに収まっている。このため、本変形例では、第二内視鏡30の無用な動作を減らし、患者への負担を下げることができる。
また、本変形例では、第二内視鏡30の無用な動作を減らすことにより、操作中の作動音を低減させることができる。
(変形例)
本実施形態の変形例について説明する。
本変形例の内視鏡システム3は、第一内視鏡10及び第二内視鏡30が上記の第2実施形態と同様にそれぞれ測距手段を備えている。測距手段の構成は、たとえば上記の第2実施形態と同様に左側撮像部61と右側撮像部62とを有して視差を有する二枚一組の画像を撮像して距離の測定に使用するものであってよい。第2実施形態と同様に、本変形例においても測距手段の構成は特に限定されない。
なお、第二内視鏡30の撮像部32の視野において処置部位が第一内視鏡10の撮像部12の陰に隠れている場合を考慮して、制御装置80は、第二内視鏡30と処置部位との距離に代えて、第一内視鏡10の撮像部12と第二内視鏡30との距離を算出してもよい。この場合、第一内視鏡10と処置部位との距離の情報と第一内視鏡10の撮像部12と第二内視鏡30との距離の情報とに基づいて、処置部位と第二内視鏡30との距離を算出することができる。
本変形例の内視鏡システム3では、第二内視鏡30とその撮像対象部位との距離を制御装置80が算出し、第二内視鏡30とその撮像対象部位との距離を制御装置80が一定に維持する。これにより、第一内視鏡10の撮像部12の移動に追従して第二内視鏡30が第二アーム71により移動されるときに、第二内視鏡30の移動前後で第二内視鏡30とその撮像対象部位との距離が変わらない。
(第4実施形態)
本発明の第4実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図12は、本実施形態に係る内視鏡システムを示す模式的な全体図である。図13及び図14は、内視鏡システムの作用を説明するための模式図である。図15は、内視鏡システムの制御装置による制御手順を示すフローチャートである。
図12に示す本実施形態に係る内視鏡システム4は、第一内視鏡10の撮像部12の光軸L1に対して第二内視鏡30の撮像部32の光軸L2を同軸にするように第二内視鏡30を移動させることができない場合を考慮した制御が可能な制御装置85を、上記第3実施形態に開示された制御装置80に代えて有している。本実施形態に係る内視鏡システム4の構成は、上記第3実施形態に開示された制御装置80に代えて異なる制御装置85を備えていること以外は上記の第3実施形態と同様であってよい。
たとえば、上記第3実施形態及び本実施形態において、第一内視鏡10の撮像部12は第一アーム70及び関節部13により移動可能であることに対して、第二内視鏡30の撮像部32の可動範囲は第二アーム71の可動域に制限されている。また、上記第3実施形態及び本実施形態において、第二内視鏡30がトロッカ100を通じて体内に挿入されている場合、第二内視鏡30の挿入部31は、トロッカ100を中心とした揺動動作及びトロッカに対する進退動作は容易であるものの、トロッカ100を移動させることを要するような動作には限界がある(図12から図14までを参照)。
本実施形態において、制御装置85は、第二内視鏡30を移動させるための第二アーム71の可動域を、第二内視鏡30の挿入部31がトロッカ100を中心として揺動動作する範囲(図12に符号D1で示す)と、第二内視鏡30の挿入部31がトロッカ100内を進退動作する範囲(図12に符号D2で示す)と、トロッカ100の中心軸を回転中心として第二内視鏡30の挿入部31を回転させる範囲(図12に符号D3で示す)とに制限する(制限ステップ,ステップS31,図15参照)。制御装置85は、ステップS31において、上記の制限の範囲に位置する第二内視鏡30の位置及び姿勢に基づいて、第二内視鏡30の光軸L2の位置及び方向を算出する。また、制御装置85は、体内における臓器や他の医療器具等の配置に対応して、第二内視鏡30の挿入部31が衝突しないようにあらかじめ第二内視鏡30の挿入部31の移動可能範囲を制限してもよい。
さらに、制御装置85は、第一内視鏡10の光軸L1と同軸となる方向へ第二内視鏡30の光軸L2を移動させるための動作量を算出する(動作量算出ステップ,ステップS32,図15参照)。ステップS32において、第一内視鏡10の撮像部12の光軸L1のベクトルと第二内視鏡30の撮像部32の光軸L2のベクトルとのなす角が最小となるように、第二内視鏡30の光軸L2の移動目標位置及び移動目標方向を制御装置85が設定する。さらに、制御装置85は、制限ステップにより制限された可動域の範囲内で第二アーム71を動作させる移動経路(動作量)を設定する。
ステップS32の後、ステップS32において算出された動作量に基づいて、制御装置85が第二アーム71に動作指示を出力する(指示ステップ,ステップS33,図15参照)。第二アーム71は、制御装置85から出力された動作指示に従って、第一内視鏡10の光軸L1と同軸となる方向へ第二内視鏡30の光軸L2を移動させる。
本変形例の構成によれば、第二内視鏡30の光軸L2は、第一内視鏡10の光軸L1と同軸とはならない場合にも、第一内視鏡10の光軸L1と概ね平行する。このため、本変形例では、第一内視鏡10の撮像部12が撮像した画像の視野中心が第二内視鏡30の撮像部32の撮像視野の略中心に位置する状態とすることができる。
なお、本変形例において、制御装置85は、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2との距離が最小となるように、制限ステップにより制限された可動域の範囲内で第二アーム71を動作させてもよい。この場合、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2とを、実質的に同軸とみなせる程度に近接した状態にすることができる。
(第5実施形態)
本発明の第5実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図16は、本実施形態に係る内視鏡システムの制御装置86による制御手順を示すフローチャートである。図17および図18は、内視鏡システムの使用時の動作を説明するための模式図である。
本実施形態に係る内視鏡システム5(図17参照)は、第1実施形態と同様の第一内視鏡10,アーム20,及び第二内視鏡30(図1参照)と、第一内視鏡10及びアーム20の動作を制御するための制御装置86(図17参照)とを備えている。
制御装置86は、上記の第1実施形態の制御装置50が含む制御手順とは異なる制御手順を含んでいる。以下では、本実施形態に係る内視鏡システム5における要部の制御手順を示すことにより、制御装置86の構成について説明する。
本実施形態の制御装置86は、メインモニタ45に表示される画像が第二内視鏡30からの画像となるように視点変更スイッチ39(図1参照)に対する入力が行われたときに、下記のステップS41からステップS44までの各ステップにより、第一内視鏡10の撮像部12を移動させる。
まず、制御装置86は、視点変更スイッチ39に対する入力が行われたことに基づいて、第一内視鏡10の現在の位置及び姿勢(図17参照)を記憶する(位置記憶ステップ,ステップS41,図16参照)。
ステップS41の後、制御装置86は、第一内視鏡10の挿入部11を体外へ抜去する方向へ、所定距離だけ第一内視鏡10の挿入部11を移動させる(退避ステップ,ステップS42,図16参照)。
ステップS42において、制御装置86は、処置部位近傍の組織に関節部13や撮像部12が接触しないように、第一内視鏡10の挿入部11が体外へ抜去される移動に連動して、関節部13の基端側から順に直線状になるように(図18参照)関節部13を駆動する。なお、ステップS42において、関節部13の形状を維持したまま第一内視鏡10の挿入部11が体外へ抜去される方向へ第一内視鏡10の挿入部11を移動させてもよい。
ステップS42における第一内視鏡10の挿入部11の移動は、制御装置86がアーム20の各関節部22を動作制御することにより行われる。
ステップS42によって、第一内視鏡10の撮像部12は、第二内視鏡30の撮像部32の光軸L2から離れた位置へと移動する。ステップS42における第一内視鏡10の撮像部12の移動先は、たとえば、第二内視鏡30の撮像部32の撮像視野外や、第二内視鏡30の撮像部32の撮像視野内であっても第二内視鏡30を用いた観察の邪魔にならない位置などである。
これでステップS42は終了する。
ステップS42が終了した状態では、第二内視鏡30の撮像部32の撮像視野の中心部分には第一内視鏡10の撮像部12が位置していないので、第二内視鏡30の撮像部32により、処置部位及びその近傍の状態を好適に観察可能である。
第二内視鏡30の撮像部32を用いた観察の終了後、処置部位に対する処置を再開する場合に、本実施形態では、上記のステップS42において移動させた第一内視鏡10の撮像部12を、上記のステップS41において記憶した位置へと移動させる。
たとえば、処置部位に対する処置を再開する場合に、操作者は、メインモニタ45に表示される画像を、第一内視鏡10の撮像部12が撮像した画像に切り替えるための入力として、視点変更スイッチ39に対する入力を行う。
制御装置86は、視点変更スイッチ39に対する入力が行われたことに基づいて、上記のステップS41において記憶された第一内視鏡10の位置及び姿勢を読み出す(読み出しステップ,ステップS43,図16参照)。
ステップS43の次に、制御装置86は、第一内視鏡10の位置及び姿勢が上記のステップS41において読みだされた位置及び姿勢となるように、第一内視鏡10及びアーム20に対して動作指示を出力する(復帰ステップ,ステップS44,図16参照)。
上記のステップS43及びステップS44によって、第一内視鏡10の撮像部12は、ステップS41における移動の前に記憶された位置(図17参照)に戻り、移動前の姿勢で処置部位を視野中心に捉えた狭角画像を撮像することができる。
以上に説明したように、本実施形態に係る内視鏡システム5によれば、第二内視鏡30を用いた撮像した広角画像の視野中心から第一内視鏡10の撮像部12を退避させ、広角画像の視野中心近傍にある処置部位及びその周囲を好適に観察することができる。また、広角画像を用いた観察後に、第一内視鏡10の撮像部12を退避状態から自動的に元に戻すことができるので、操作者の操作負担を軽減することができる。
(第6実施形態)
本発明の第6実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図19は、本実施形態に係る内視鏡システムの使用時の動作を説明するための模式図である。図20は、内視鏡システムの使用時の動作を説明するための模式図である。
本実施形態に係る内視鏡システム6(図19参照)は、第3実施形態と同様の第一内視鏡10,第二内視鏡30,第一アーム70及び第二アーム71(図10参照)と、第一内視鏡10,第一アーム70,及び第二アーム71の動作を制御するための制御装置87(図19参照)とを備えている。
制御装置87は、上記の第5実施形態の制御装置86とは異なる制御手順を含んでいる点で上記の第5実施形態と構成が異なっている。
制御装置87は、まず、上記の第5実施形態に開示されたステップS41からステップS44までの各ステップと同様に、第一内視鏡10による狭角画像から第二内視鏡30による広角画像に操作者が切り替えた際に第一内視鏡10の撮像部12を退避させ(図19参照)、その後第二内視鏡30による広角画像から第一内視鏡10による狭角画像に操作者が切り替えた際に第一内視鏡10の撮像部12を元の位置に戻す。
さらに、本実施形態の制御装置87は、第一内視鏡10の撮像部12を元の位置に戻し、メインモニタ45に狭角画像を表示させた後、上記の第3実施形態に開示されたステップS21からステップS24までの各ステップと同様に、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2とが同軸となるように(図20参照)、第二アーム71を移動させる。
本実施形態に係る内視鏡システム6によれば、第二内視鏡30を用いて撮像対象部位の広角画像を用いて処置部位及びその周辺を俯瞰的に観察する場合には処置部位から第一内視鏡10の撮像部12を退避させることができ、第二内視鏡30を用いて処置部位を観察する場合に第一内視鏡10の撮像部12が邪魔にならない。
また、本実施形態に係る内視鏡システム6は、第二内視鏡30を操作者が移動させて処置部位の周辺を観察した後に、メインモニタ45に表示される画像を狭角画像に戻すと、第一内視鏡10の撮像部12は退避した位置から処置部位を視野中心に捉える位置まで移動して元に戻る。さらに、内視鏡システム6の第二内視鏡30の撮像部32は、第一内視鏡10の撮像部12の光軸L1と同軸となるように、バックグラウンドで第二アーム71により移動される。その結果、制御装置87は、第一内視鏡10の撮像部12及び第二内視鏡30の撮像部32が共に処置部位を視野中心に捉えるように、第一内視鏡10及び第二内視鏡30を自動的に移動させることができる。これにより、本実施形態に係る内視鏡システム6によれば、操作者の操作負担を軽減することができる。
(第7実施形態)
本発明の第7実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図21及び図22は、本実施形態に係る内視鏡システムのメインモニタに表示される画像の一例を示す模式図である。
本実施形態に係る内視鏡システム7は、上記の第1実施形態に開示された制御装置50とは構成が異なる制御装置89を、第1実施形態の制御装置50に代えて備えている(図1参照)。本実施形態に係る内視鏡システム7の構成は、制御装置89の構成以外は上記の第1実施形態と同様である。
本実施形態に係る内視鏡システム7の制御装置89は、第二内視鏡30の光軸L2の位置をメインモニタ45に表示させることができる。一具体例として、本実施形態の制御装置89は、第二内視鏡30の撮像部32が撮像した画像に対して、図21に示すように、この画像の視野中心に所定のターゲットマークM1の画像を重ねてメインモニタ45へと出力する。
本実施形態に係る内視鏡システム7の使用時において、第一内視鏡10の撮像部12と第二内視鏡30の撮像部32とが共に処置部位を視野中心に捉える状態となるように第一内視鏡10及び第二内視鏡30の位置を調節する場合、操作者は、まず、第二内視鏡30の撮像部32が撮像した画像を用いて第1実施形態と同様に観察する。
ここで、本実施形態では、メインモニタ45には、第二内視鏡30の撮像部32が撮像した画像及びターゲットマークM1が図21に示すように表示されているので、操作者は、第二内視鏡30の撮像部32の光軸L2が撮像対象部位のどこに位置しているかを容易に把握することができる。このため、操作者は、図22に示すようにターゲットマークM1が処置部位と重なるように第二内視鏡30を移動させることにより、第一内視鏡10の撮像部12をどこに移動させるかを正確に指定することができる。
ターゲットマークM2が処置部位と重なる状態で上記第1実施形態と同様に第一内視鏡10が制御装置89により動作されると、第一内視鏡10の撮像部12は、ターゲットマークと重なる位置へと移動する。ターゲットマークM2の位置は、操作者が処置対象として決定した位置を反映した位置であるので、第一内視鏡10の撮像部12は、操作者が決定した上記の位置を視野中心に捉えた画像を取得する。
第一内視鏡10の撮像部12がターゲットマークと重なる位置まで移動されたら、メインモニタ45には、第一内視鏡10の撮像部12が撮像した画像が表示される。これにより、操作者は、第一内視鏡10の撮像部12が撮像した画像を用いて処置部位に対する処置をすることができる。
このように、第二内視鏡30の撮像部32が撮像した画像にターゲットマークを制御装置89が重ねてメインモニタ45に表示するので、第二内視鏡30の撮像部32の光軸L2が処置部位に一致するように第二内視鏡30を移動させるのが容易である。その結果、第二内視鏡30の撮像部32と第一内視鏡10の撮像部12とがともに処置部位を精度よく視野中心に捉えた状態を操作者が容易に作り出すことができる。
(変形例)
本実施形態の変形例について説明する。図23から図25までは、本変形例の内視鏡システムのメインモニタに表示される画像の一例を示す模式図である。
本変形例では、上記のターゲットマークが、第二内視鏡30の光軸L2ではなく、第二内視鏡30の撮像部32が撮像した画像上で操作者が指定した任意の点である。
図23に示すように、本変形例では、第二内視鏡30の視野中心を示す第一マークM1と、本変形例におけるターゲットマークである第二マークM2との両方がメインモニタ45に表示される。
一具体例として、制御装置89は、第二内視鏡30の撮像部32の光軸L2と第一内視鏡10の光軸L1とが平行となるように第一内視鏡10を移動させ、さらに、第一内視鏡10の光軸L1が第二内視鏡30の撮像部32による画像上でターゲットマーク(第二マークM2)と重なるように第一内視鏡10の撮像部12を移動させる(図24参照)。
その後、第一内視鏡10の撮像部12が撮像した画像を制御装置89がメインモニタ45に表示させることにより、ターゲットマーク(第二マークM2)に対応する位置を視野中心に含んだ狭角画像がメインモニタ45に表示されることとなる。
本変形例では、第二内視鏡30の撮像部32が撮像した画像において視野中心以外の部位に処置部位を設定する場合に、第二内視鏡30を動かさずにターゲットマーク(第二マークM2)の位置を指定することで、第一内視鏡10の撮像部12が処置部位を視野中心に捉えた画像を撮像できるように第一内視鏡10を動作させることができる。
なお、本変形例の構成に対して上記の第3実施形態の構成を組み合わせることにより、第一内視鏡10の撮像部12が処置部位を視野中心に捉えている状態で第二内視鏡30の撮像部32の光軸L2が第一内視鏡10の撮像部12の光軸L1と同軸となるように第二内視鏡30を移動させることができる(図25参照)。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
また、第一マーカーは、第一内視鏡の撮像部の光軸の位置を特定するための基礎となる情報を含んでいてもよい。この情報は、たとえば、第一内視鏡の機種に固有の識別子が符号化されたものであってよい。この場合、制御装置は、第一マーカーに含まれる識別子に基づいて、第一内視鏡の構造に基づいた光軸の位置を認識するようになっていてもよい。
第二マーカーについても同様に第二内視鏡の撮像部の光軸の位置を特定するための基礎となる情報を含んでいてもよい。この場合、制御装置は、第二マーカーに含まれる識別子に基づいて、第二内視鏡の構造に基づいた光軸の位置を認識するようになっていてもよい。
また、上述の各実施形態及び各変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
なお、上記具体的な構成に対する設計変更等は上記事項には限定されない。
内視鏡システムを用いる際、2つの内視鏡が撮像したそれぞれの画像の対応付けを容易にすることができる。
1,2,3,4,5,6,7 内視鏡システム
10 第一内視鏡
11 挿入部
12 撮像部
13 関節部
14 軸部
15 駆動部
16 アクチュエータ
17 エンコーダ
18 操作ワイヤ
20 アーム
21 リンク部
22 関節部
23 アクチュエータ
24 エンコーダ
25 第一画像処理装置
26 第一サブモニタ
30 第二内視鏡
31 挿入部
32 撮像部
33 軸部
34 操作部
35 把持部
36 第二画像処理装置
37 第二サブモニタ
38 アーム入力部
39 視点変更スイッチ
40 視野合せスイッチ
41 位置姿勢検知装置
42 第一マーカー(第一位置姿勢検知手段)
43 第二マーカー(第二位置姿勢検知手段)
44 カメラ(第一位置姿勢検知手段,第二位置姿勢検知手段)
45 メインモニタ
50,66,80,85,86,87,89 制御装置
51,81 位置算出部
52,67,82 画像制御部
53,83 駆動制御部
60,63 撮像部
61,64 左側撮像部
62,65 右側撮像部
70 第一アーム
71 第二アーム
72 リンク部
73 関節部
74 アクチュエータ
75 エンコーダ
100 トロッカ

Claims (8)

  1. 第一撮像部を有する第一内視鏡と、
    第二撮像部を有する第二内視鏡と、
    前記第一内視鏡に取り付けられ前記第一内視鏡を移動させるために動作可能なアームと、
    所定の座標系における前記第一内視鏡の位置及び姿勢を検知する第一位置姿勢検知手段と、
    前記所定の座標系における前記第二内視鏡の位置及び姿勢を検知する第二位置姿勢検知手段と、
    前記アームの動作を制御する制御装置と、
    を備え、
    前記制御装置は、前記アームを動作させるための制御手順として、
    前記所定の座標系における前記第二内視鏡の位置及び姿勢を前記第二位置姿勢検知手段から取得して前記第二撮像部の光軸の位置及び方向を算出する第一算出ステップと、
    前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記アームを動作させるための前記アームの動作量を算出する動作量算出ステップと、
    前記動作量に基づいて前記アームを動作させるための動作指示を出力する指示ステップと、
    を含み、前記制御手順に従って前記アームの動作を制御する
    内視鏡システム。
  2. 前記制御装置は、
    前記第一算出ステップ,前記動作量算出ステップ,及び前記指示ステップをこの順に繰り返して実行し、
    前記動作量算出ステップにおいて、すでに実行された前記指示ステップの直前に実行された前記第一算出ステップにおける前記第二撮像部の光軸の位置及び方向と当該指示ステップの直後に実行された前記第一算出ステップにおける前記第二撮像部の光軸の位置及び方向とが所定の閾値以上のずれ量を有していた場合に、前記第一撮像部の光軸が前記ずれ量と等しく移動するように前記動作量を算出する
    請求項1に記載の内視鏡システム。
  3. 前記制御装置は、
    前記第一算出ステップ,前記動作量算出ステップ,及び前記指示ステップをこの順に繰り返して実行し、
    すでに実行された前記指示ステップ以降に実行された前記動作量算出ステップにおいて算出された動作量が所定の閾値を超えない場合には前記指示ステップの実行をスキップして前記第一算出ステップを実行し、
    前記動作量が前記所定の閾値を超える場合には前記指示ステップを実行する
    請求項1に記載の内視鏡システム。
  4. 前記第一内視鏡は、
    前記第一撮像部の視野方向を変更するために動作可能な関節部と、
    前記関節部に接続された軸部と、
    前記軸部を前記アームに接続するためのアダプタと、
    を有し、
    前記制御装置は、
    前記動作量算出ステップにおいて、前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記関節部を動作させるための関節駆動量を前記動作量に含み、
    前記指示ステップにおいて、前記動作量に基づいて前記アーム及び前記関節部を動作させるための動作指示を出力する
    請求項1に記載の内視鏡システム。
  5. 前記第二内視鏡に取り付けられ前記第二内視鏡を移動させるために動作可能な第二アームをさらに備えた請求項1に記載の内視鏡システム。
  6. 前記制御装置は、前記第二アームを動作させるための制御手順として、
    前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第二撮像部の光軸の位置及び方向を算出する第二算出ステップと、
    前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記第二アームを動作させるための前記第二アームの動作量を算出する第二動作量算出ステップと、
    前記第二アームの動作量に基づいて前記第二アームを動作させるための動作指示を出力する指示ステップと、
    を含み、前記制御手順に従って前記第二アームの動作を制御する
    請求項5に記載の内視鏡システム。
  7. 前記制御装置は、前記アームの可動域を制限する制限ステップを制御手順に含み、
    前記制御装置は、前記第一撮像部の光軸のベクトルと前記第二撮像部の光軸のベクトルとのなす角が最小となるように、前記制限ステップにより制限された可動域の範囲内で前記アームを動作させる
    請求項1に記載の内視鏡システム。
  8. 前記制御装置は、前記第一撮像部の光軸と前記第二撮像部の光軸との距離が最小となるように、前記制限ステップにより制限された可動域の範囲内で前記アームを動作させる
    請求項7に記載の内視鏡システム。
JP2017516540A 2016-02-10 2016-11-15 内視鏡システム Active JP6150968B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016023670 2016-02-10
JP2016023670 2016-02-10
PCT/JP2016/083788 WO2017138208A1 (ja) 2016-02-10 2016-11-15 内視鏡システム

Publications (2)

Publication Number Publication Date
JP6150968B1 true JP6150968B1 (ja) 2017-06-21
JPWO2017138208A1 JPWO2017138208A1 (ja) 2018-02-15

Family

ID=59082004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017516540A Active JP6150968B1 (ja) 2016-02-10 2016-11-15 内視鏡システム

Country Status (1)

Country Link
JP (1) JP6150968B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261236A1 (ja) * 2020-06-22 2021-12-30 ソニーグループ株式会社 医療用観察システム、画像処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032442A (ja) * 1998-07-13 2000-01-28 Olympus Optical Co Ltd 内視鏡システム
JP2003127076A (ja) * 1993-12-28 2003-05-08 Olympus Optical Co Ltd 医療器具
JP2009125392A (ja) * 2007-11-26 2009-06-11 Olympus Medical Systems Corp 内視鏡システムおよび内視鏡装置
WO2013141155A1 (ja) * 2012-03-17 2013-09-26 学校法人早稲田大学 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003127076A (ja) * 1993-12-28 2003-05-08 Olympus Optical Co Ltd 医療器具
JP2000032442A (ja) * 1998-07-13 2000-01-28 Olympus Optical Co Ltd 内視鏡システム
JP2009125392A (ja) * 2007-11-26 2009-06-11 Olympus Medical Systems Corp 内視鏡システムおよび内視鏡装置
WO2013141155A1 (ja) * 2012-03-17 2013-09-26 学校法人早稲田大学 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261236A1 (ja) * 2020-06-22 2021-12-30 ソニーグループ株式会社 医療用観察システム、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2017138208A1 (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
WO2017138208A1 (ja) 内視鏡システム
JP7229319B2 (ja) 手術支援装置、その制御方法、プログラム並びに手術支援システム
JP6982605B2 (ja) 外科用器具可視性のロボット制御
JP4744595B2 (ja) 内視鏡外科手術器具
US9630323B2 (en) Operation support system and control method of operation support system
KR102105142B1 (ko) 입력 장치의 오퍼레이터가 볼 수 있는 디스플레이 영역으로 기구가 진입할 때 기구의 제어를 입력 장치로 전환하는 방법
KR102585602B1 (ko) 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
KR102363661B1 (ko) 원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법
JP6234643B2 (ja) 医療システム及びその作動方法
CN108433809B (zh) 用于在手术过程期间设置并检索参考点的设备
JP2019503766A (ja) 手術ロボットの制御のためのシステム、制御ユニット、及び方法
US20120209069A1 (en) Collision avoidance and detection using distance sensors
JP4027876B2 (ja) 体腔内観察システム
JPWO2020054566A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
US20230148847A1 (en) Information processing system, medical system and cannulation method
WO2017082047A1 (ja) 内視鏡システム
JP6150968B1 (ja) 内視鏡システム
JP6857748B2 (ja) 医療システムおよび医療システムの作動方法
CN117651533A (zh) 多分叉通道中的管状器件导航方法、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170324

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170324

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170523

R151 Written notification of patent or utility model registration

Ref document number: 6150968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250