JP6150968B1 - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- JP6150968B1 JP6150968B1 JP2017516540A JP2017516540A JP6150968B1 JP 6150968 B1 JP6150968 B1 JP 6150968B1 JP 2017516540 A JP2017516540 A JP 2017516540A JP 2017516540 A JP2017516540 A JP 2017516540A JP 6150968 B1 JP6150968 B1 JP 6150968B1
- Authority
- JP
- Japan
- Prior art keywords
- endoscope
- imaging unit
- arm
- optical axis
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 375
- 230000003287 optical effect Effects 0.000 claims abstract description 203
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 230000008859 change Effects 0.000 claims description 37
- 230000000007 visual effect Effects 0.000 description 58
- 239000003550 marker Substances 0.000 description 46
- 238000012986 modification Methods 0.000 description 36
- 230000004048 modification Effects 0.000 description 36
- 238000003780 insertion Methods 0.000 description 30
- 230000037431 insertion Effects 0.000 description 30
- 230000036544 posture Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 20
- 240000004050 Pentaglottis sempervirens Species 0.000 description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Abstract
Description
たとえば特許文献1には、観察対象物の3次元的な状況を把握するための超音波プローブとその保持具とを備えた超音波観察システムが開示されている。
また、特許文献2には、手術用顕微鏡を用いた観察中に他の画像情報を観察可能な手術用顕微鏡が開示されている。
また、特許文献3には、処置部位の狭角画像を取得するための処置用スコープと、処置部位の広角画像を取得するための観察用内視鏡とを備えた内視鏡システムが開示されている。
一方、たとえば1つの内視鏡を処置部位に対して近づけたり遠ざけたりする進退操作により、視野中心が互いに一致した状態にある狭角画像と広角画像とを取得することができる。しかしながら、このような進退操作を術中に精度よく行うためには熟練を要し、内視鏡の操作者に対する負担が大きい。
本発明の第1実施形態について説明する。図1は、本実施形態に係る内視鏡システムの模式的な全体図である。図2は、内視鏡システムの要部のブロック図である。図3は、内視鏡システムの制御装置による制御手順を示すフローチャートである。図4から図7までは、内視鏡システムの作用を説明するための図である。
図1に示すように、内視鏡システム1は、第一内視鏡10と、アーム20と、第一画像処理装置25と、第一サブモニタ26と、第二内視鏡30と、第二画像処理装置36と、第二サブモニタ37と、位置姿勢検知装置41と、メインモニタ45と、制御装置50とを備えている。
第一内視鏡10は、挿入部11と、駆動部15とを有している。
挿入部11は、撮像部12(第一撮像部)と、関節部13と、軸部14とを有している。
アーム20は、リンク部21と、関節部22と、アクチュエータ23と、エンコーダ24と、を有している。
アーム20の自由度の上限は特に限定されない。関節部22の配置や数等は、第一内視鏡10の位置及び姿勢を制御するために必要最低限の自由度をアーム20に付与できるようになっていればよい。
エンコーダ24は、後述する制御装置50に電気的に接続されている。エンコーダ24は、各関節部22の移動量を制御装置50に出力する。なお、エンコーダ24は、各関節部22の絶対角度を示す信号を制御装置50に出力するものであってもよい。
第二内視鏡30は、挿入部31と、操作部34とを有している。
第二内視鏡30の挿入部31は、撮像部32(第二撮像部)と、軸部33とを有している。
操作部34は、把持部35を有している。
本実施形態では、操作者が把持部35を把持して移動させることにより、第二内視鏡30の挿入部31全体を移動させることができる。すなわち、本実施形態では、第二内視鏡30の使用時に操作者が把持部35を把持して移動させることにより、第二内視鏡30の撮像部32の撮像視野を移動させることができる。
把持部35には、後述する視点変更スイッチ39及び視野合せスイッチ40が配されていてもよい。
第二サブモニタ37は、第二画像処理装置36から出力された映像信号に基づいて映像を表示する。第二サブモニタ37は、処置部位を含む広角画像を表示することができる。
図2に示すように、アーム入力部38は、制御装置50の駆動制御部53に接続されている。アーム入力部38は、例えばスコピストによって操作されることにより、アーム20を動作させるための所定の操作信号を駆動制御部53へ出力する。
視点変更スイッチ39は、第一内視鏡10によって得られた狭角画像と、第二内視鏡30によって得られた広角画像とから、所望の一方の画像を選択する切り替えスイッチである。たとえば、視点変更スイッチ39は、押しボタンスイッチであり、視点変更スイッチ39が押されるたびに、メインモニタ45に表示される画像を広角画像もしくは狭角画像に切り替える。
視点変更スイッチ39は、処置部位に対して処置を行う者(たとえば執刀医等)や、第一内視鏡10や第二内視鏡30を操作する者(たとえばスコピスト)等が操作しやすい位置に配置可能である。
たとえば、視点変更スイッチ39は、処置部位に対して処置を行う執刀医が操作する医療器具に取り付け可能である。
また、視点変更スイッチ39は、第二内視鏡30の把持部35の近傍に配置されていてもよい(図1参照)。第二内視鏡30を操作する操作者によって操作しやすい位置に本実施形態の視点変更スイッチ39が配置されていることにより、第二内視鏡30を用いた処置中に視点を変更することが容易となる。
視野合せスイッチ40は、第一内視鏡10によって得られる狭角画像の視野中心が第二内視鏡30によって得られた広角画像の視野中心と一致するように第一内視鏡10を動作させるための入力を制御装置50の駆動制御部53に対して行うためのスイッチである。
視野合せスイッチ40は、処置部位に対して処置を行う者(たとえば執刀医等)や、第一内視鏡10や第二内視鏡30を操作する者(たとえばスコピスト)等が操作しやすい位置に配置可能である。たとえば、視野合せスイッチ40は、第二内視鏡30の把持部35近傍に配置されている。視野合せスイッチ40は、押しボタンスイッチであり、視野合せスイッチ40が押されるたびに、狭角画像の視野中心が広角画像の視野中心と一致するように制御装置50が第一内視鏡10を移動させる動作が開始される。
第二内視鏡30を操作する操作者によって操作しやすい位置に本実施形態の視野合せスイッチ40が配置されていることにより、第二内視鏡30を用いた処置中に狭角画像の視野中心と広角画像の視野中心とを容易に合わせることができる。
位置姿勢検知装置41は、第一マーカー42と、第二マーカー43と、カメラ44とを有している。また、位置姿勢検知装置41は、後述する制御装置50に接続されている。
第一マーカー42の構成は、カメラ44によって撮像可能であり制御装置50において認識可能であれば特に限定されない。たとえば、第一マーカー42は、第一マーカー42に固有の形状を有していたり、所定の形状の模様を有していたり、カメラ44に対して所定の光を発したりするものであって構わない。
第二マーカー43の構成は、カメラ44によって撮像可能であり制御装置50において認識可能であれば特に限定されない。たとえば、第二マーカー43は、第二マーカー43に固有の形状を有していたり、所定の形状の模様を有していたり、カメラ44に対して所定の光を発したりするものであって構わない。
図1及び図2に示す制御装置50は、位置算出部51と、画像制御部52と、駆動制御部53とを備えている。
また、画像制御部52は、第一内視鏡10が撮像した画像及び第二内視鏡30が撮像した画像を取得し、視点変更スイッチ39による切り替え入力に対応した画像を、メインモニタ45へと出力する。なお、メインモニタ45は親画面と子画面による2画面で構成されていてもよく、画像制御部52は、視点変更スイッチ39による切り替え入力により指定された画像を親画面に表示させ、切り替え入力により選択されなかった画像を子画面に表示させるようになっていてもよい。
駆動制御部53は、アーム入力部38に対する操作者による操作により生成される操作信号に基づいて、第一内視鏡10の関節部13と、アーム20との動作を制御する。
位置算出部51は、位置姿勢検知装置41のカメラ44が撮像した画像から、第一マーカー42を認識する。カメラ44から位置算出部51へ送信される画像は、視野が互いに異なる複数の画像が組になっており、位置算出部51は、複数の画像から、基準座標系における第一マーカー42の位置及び姿勢を認識する。第一マーカー42は、第一内視鏡10の駆動部15に配置されており、第一マーカー42の位置に対する第一内視鏡10の位置は予め制御装置50に記憶されている。このため、第一マーカー42の位置及び姿勢に基づいて、位置算出部51は、第一内視鏡10の位置及び姿勢を認識することができる。一例として、位置算出部51は、第一内視鏡10の駆動部15における所定の基準点を、第一内視鏡10の位置として利用する。すなわち、位置算出部51は、基準座標系における第一内視鏡10の基準点の座標を、第一内視鏡10の位置として認識する。さらに、位置算出部51は、基準座標系における第一マーカー42の方向を、第一内視鏡10の姿勢として利用する。
すなわち、本実施形態において、位置姿勢検知装置41、位置算出部51、及び駆動制御部53により、基準座標系における第二内視鏡30の位置及び姿勢を検知する第二位置姿勢検知手段が構成されている。さらに、本実施形態において、制御装置50は、第二内視鏡30の光軸L2の位置及び姿勢を検知することができる。
駆動制御部53は、第二内視鏡30の把持部35に配置されたアーム入力部38に対する入力を受け付け、この入力に基づいて第一内視鏡10及びアーム20を動作させる。
また、駆動制御部53は、第二内視鏡30の把持部35に配置された視野合せスイッチ40に対する入力を受け付け、この入力に基づいて第一内視鏡10及びアーム20を動作させる。
視野合せスイッチ40に対する入力を受け付けた駆動制御部53は、図3に示すように、ステップS1からステップS4までの各ステップに示すように第一内視鏡10及びアーム20を動作させる。
さらに、駆動制御部53は、基準座標系における第二内視鏡30の光軸L2の位置及び姿勢を認識する(第二算出ステップ,ステップS2)。なお、ステップS2は、上記のステップS1の前に実行されてもよいし、上記のステップS1の後に実行されてもよい。
ステップS3において、駆動制御部53は、第二内視鏡30の光軸L2の位置を示す座標に対して光軸方向の先側に所定の距離だけずれた位置を、第一内視鏡10の光軸L1の移動目標位置に設定する。すなわち、ステップS3において、駆動制御部53は、第二内視鏡30の撮像部32の先端と撮像対象部位との間の領域に第一内視鏡10の光軸L1の移動目標位置を設定する。ステップS3において駆動制御部53が設定する移動目標位置は、基準座標系における第二内視鏡30の光軸L2上の一点の座標である。
このように、ステップS3では、アーム20の動作量及び関節部13の動作量を駆動制御部53が算出する。
これでステップS3は終了し、ステップS4へ進む。
ステップS4では、駆動制御部53は、アーム20及び関節部13に対して動作指示を出力することによって、アーム20及び関節部13を動作させる。たとえば、ステップS4において、駆動制御部53はまずアーム20に対して動作指示を出力することにより、第一内視鏡10の光軸L1の位置が第二内視鏡30の光軸L2上の移動目標位置に到達するまで第一内視鏡10を移動させる。続いて、駆動制御部53は関節部13に対して動作指示を出力することにより、第一内視鏡10の光軸L1が第二内視鏡30の光軸L2と同軸となるまで第二内視鏡30の光軸L2上で第一内視鏡10の撮像部12を回動させる。
このとき、駆動制御部53は、ステップS3で算出された動作方向にアーム20及び関節部13を移動させるために、関節部13及びアーム20の各自由度の動作量を、逆運動学を用いて算出し、各アクチュエータの制御量を決定する。この制御量に基づいて、駆動制御部53は、駆動信号を出力する。
内視鏡システム1の使用時には、第一内視鏡10及び第二内視鏡30が体内に挿入される。すなわち、第一内視鏡10の挿入部11及び第二内視鏡30の挿入部31が、たとえばトロッカを通じて体内に挿入され、図4に示すように、第二内視鏡30の撮像部32が体内の処置部位の近傍に案内され、第一内視鏡10の撮像部12が、処置部位の近傍で第二内視鏡30よりもさらに近い位置まで案内される。
第一内視鏡10の光軸L1と第二内視鏡30の光軸L2とは同軸をなしているので、第一内視鏡10の撮像部12が撮像した画像における視野中心は、第二内視鏡30の撮像部32が撮像した画像における視野中心と一致している。このため、第二内視鏡30の撮像部32が撮像した画像から第一内視鏡10が撮像した画像に切り替わることにより、メインモニタ45における表示は、広角画像の視野中心を含む一部が拡大(ズームイン)されたような画像となる。
この場合、近接させていた内視鏡を遠ざけて、全体が見える位置で観察を行い、周辺組織や血管の走行等を確認してから元の位置に内視鏡を戻す作業を行うことになる。最初の近接した視野は、処置しやすい状態となるようにスコピストへ指示を出して作り出した術野(視野)であった。ところが、全体を観察することによって、最初に作り出した視野は崩された状態となっている。全体観察の後、処置しやすい状態(視野)を再現するために、執刀医はスコピストへの指示を繰り返さねばならず、処置復帰可能となるまでの時間が長くなり、執刀医にはストレスと疲労がたまる。このため、執刀医は、このストレスと疲労を回避するために、ちょっとした確認程度では視野を崩すことを避けたくなり、全体を確認したいとおもってもあきらめてしまう可能性もある。
本実施形態では、執刀医が確認したいと思った瞬間に広角視野で周囲を確認し、さらに、確認後は処置していた視野に速やかに戻ることができる。このため、本実施形態では、処置復帰までのタイムラグが少なく、執刀医に対するストレスも疲労も少ない。加えて、本実施形態では、広角画像を用いて周辺組織を適宜確認できるので、より安全な手術が行える可能性もある。
本発明の第2実施形態について説明する。なお、本実施形態において、上記の第1実施形態と同様の構成要素には、第1実施形態と同一の符号が付され、重複する説明は省略されている。図8は、本実施形態に係る内視鏡システムの一部を示す模式図である。図9は、内視鏡システムの制御装置による制御手順を示すフローチャートである。
一具体例として、本実施形態の第一内視鏡10は、上記第1実施形態に開示された撮像部12とは構成が異なる撮像部60を、上記第1実施形態の撮像部12に代えて備えている。また、本実施形態の第二内視鏡30は、上記第1実施形態に開示された撮像部32とは構成が異なる撮像部63を、上記第1実施形態の撮像部32に代えて備えている。
さらに、本実施形態に係る内視鏡システム2は、本実施形態の各撮像部60,63が撮像した画像に基づいて撮像対象物までの距離を考慮して第一内視鏡10及びアーム20(図1参照)を動作させるステップを動作手順に含んだ制御装置66を、上記第1実施形態の制御装置50に代えて備えている。
本実施形態において、制御装置66は、上記の第1実施形態に開示されたステップS1からステップS4までの各ステップを制御手順に含んでいる。このため、本実施形態に係る内視鏡システム2は、第一内視鏡10及び第二内視鏡30が共に処置部位を視野中心に捉えた状態で互いの光軸が一致した位置関係にある狭角画像及び広角画像を撮像し、狭角画像と広角画像とのいずれか一方又は両方をメインモニタ45に表示させることができる。
さらに、制御装置66は、第二内視鏡30の撮像対象部位と第二内視鏡30との距離を測定する。たとえば、制御装置66は、基準座標系における第二内視鏡30の撮像部63の光軸の位置の座標から第二内視鏡30の撮像部63が撮像した二枚一組の画像における所定の一方の画像の視野中心までの距離を算出する(第二測距ステップ,ステップS12,図9参照)。ステップS12は、上記のステップS11の前に実行されてもよいし、上記のステップS11の後に実行されてもよい。
上記のステップS11及びステップS12では、第一内視鏡10及び第二内視鏡30は共に処置部位を視野中心に捉えており、上記のステップS11及びステップS12により算出される各距離は、それぞれ、第一内視鏡10と処置部位との距離、及び、第二内視鏡30と処置部位との距離である。
ステップS13では、第二内視鏡30の撮像部63が撮像した画像の視野中心には、新たな処置部位が位置している。このため、ステップS13では、第二内視鏡30と新たな処置部位との距離が算出されることとなる。
ステップS14において、駆動制御部68は、第二内視鏡30の光軸L2の位置を示す座標に対して光軸方向の先側に所定の距離だけずれた位置を、第一内視鏡10の光軸L1の移動目標位置に設定する。
なお、第二内視鏡30とその撮像対象部位との距離が、第一内視鏡10とその撮像対象部位との距離よりも短い場合には、制御装置66は、第二内視鏡30をその撮像対象部位から離すように、第一内視鏡10又は第二内視鏡30を移動させることを促すメッセージをたとえばメインモニタ45に表示させる。この場合、制御装置66は、上記のステップS12に戻って第二内視鏡30とその撮像対象部位との距離を再度算出し、第二内視鏡30の光軸L2の位置を示す座標に対して光軸方向の先側に所定の距離だけずれた位置を、第一内視鏡10の光軸L1の移動目標位置に設定する。
このように、ステップS14において、制御装置66は、第二内視鏡30の撮像部63の先端と撮像対象部位との間の領域に第一内視鏡10の光軸L1の移動目標位置を設定する。
また、ステップS14において、駆動制御部68は、第一内視鏡10の光軸L1の方向が第二内視鏡30の光軸L2の方向と一致するように、第一内視鏡10の撮像部60の動作目標方向を設定する。本実施形態では、ステップS14において、駆動制御部68は、移動目標位置に第一内視鏡10の光軸L1が位置した時点における第一内視鏡10の光軸L1の方向が第二内視鏡30の光軸L2の方向と平行するように、第一内視鏡10の光軸L1の位置を示す座標を中心として第一内視鏡10の撮像部60を回動させるための関節部13の動作量を算出する。
このように、ステップS14では、アーム20の動作量及び関節部13の動作量を駆動制御部68が算出する。
これでステップS14は終了し、ステップS15へ進む。
ステップS15では、駆動制御部68は、アーム20及び関節部13に対して動作指示を出力することによって、アーム20及び関節部13を動作させる。たとえば、ステップS15において、駆動制御部68はまずアーム20に対して動作指示を出力することにより、第一内視鏡10の光軸L1の位置が第二内視鏡30の光軸L2上の移動目標位置に到達するまで第一内視鏡10を移動させる。続いて、駆動制御部68は関節部13に対して動作指示を出力することにより、第一内視鏡10の光軸L1が第二内視鏡30の光軸L2と同軸となるまで第二内視鏡30の光軸L2上で第一内視鏡10の撮像部60を回動させる。
これでステップS15は終了する。このように、上記のステップS11からステップS15までの動作手順により、駆動制御部68は、視野合せスイッチ40に対する入力に対応して、第一内視鏡10の光軸L1と第二内視鏡30の光軸L2とが同軸となるまで、第一内視鏡10及びアーム20を動作させる。また、本実施形態では、第一内視鏡10及びアーム20の動作前における第一内視鏡10と処置部位との距離と、第一内視鏡10及びアーム20の動作後における第一内視鏡10と新たな処置部位との距離とが互いに等しい。このため、第一内視鏡10の撮像部60が撮像した画像を用いて新たな処置をする場合にその処置部位の状況を把握するのが容易である。
上記実施形態の変形例について説明する。
本変形例の内視鏡システム2は、ある処置部位(第一部位)から別の新たな処置部位(第二部位)まで第一内視鏡10の撮像部60を移動させる移動経路において、処置部位を含んだ組織等までの距離を一定に保って第一内視鏡10の撮像部60を移動させることができる。
一具体例として、本変形例の内視鏡システム2は、上記の第2実施形態におけるステップS14において、駆動制御部68は、第一内視鏡10の撮像部60が撮像した画像に基づいて、第一部位から第二部位までをたとえば最短経路で結ぶ線と第一内視鏡10の光軸L1の位置との距離が常に一致するように、第一内視鏡10の光軸L1の移動経路を設定する。
本変形例では、組織の第一部位と第二部位とを結ぶ線上に凹凸を有する障害物がある場合に、第一内視鏡10の撮像部60はこの凹凸を有する障害物に対応して凹凸を有する障害物を避けながら移動することができる。
本発明の第3実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図10は、本実施形態に係る内視鏡システムを示す模式的な全体図である。図11は、内視鏡システムの制御装置80による制御手順を示すフローチャートである。
すなわち、本実施形態に係る内視鏡システム3は、第1実施形態に開示された第一内視鏡10及び第二内視鏡30と、第一内視鏡10を移動させるための第一アーム70と、第二内視鏡30を移動させるための第二アーム71と、制御装置80とを備えている。
第二アーム71は、上記第1実施形態に開示されたアーム20と同様の構成を有している。すなわち、第二アーム71は、リンク部72と、関節部73と、アクチュエータ74と、エンコーダ75と、を有している。第二アーム71のリンク部72には、第二内視鏡30の操作部34を取り付けることができる。第二アーム71は、制御装置80に接続されている。
制御装置80は、第一内視鏡10及び第一アーム70を第1実施形態と同様に動作させるための動作指示を第一内視鏡10及びアーム20に出力することができる位置算出部81,画像制御部82,駆動制御部83を有している。
また、本実施形態の駆動制御部83は、第二アーム71を動作させるための動作指示を第二アーム71に出力する。なお、本実施形態において第二内視鏡30が第一内視鏡10の関節部13と同様の関節部を有している場合、駆動制御部83は、第二内視鏡30に設けられた上記の関節部を制御できるようになっていてもよい。
本実施形態に係る内視鏡システム3の制御装置80は、上記第1実施形態に開示された制御装置50と異なり、第二アーム71を動作させる制御手順を含んでいる。
すなわち、制御装置80は、第一内視鏡10が処置部位を含んだ狭角画像を撮像している状態で、第一内視鏡10の撮像部12の光軸L1と第二内視鏡30の撮像部32の光軸L2とが同軸となるように、第二アーム71を動作させることにより第二内視鏡30を移動させる。
まず、制御装置80は、第一内視鏡10の光軸L1の位置及び方向を、位置姿勢検知装置41のカメラ44が撮像した第一マーカー42を含む画像に基づいて認識する(第一算出ステップ,ステップS21,図11参照)。
また、制御装置80は、第二内視鏡30の位置及び姿勢を、位置姿勢検知装置41のカメラ44が撮像した第二マーカー43を含む画像に基づいて認識する(第二算出ステップ,ステップS22,図11参照)。ステップS22は、ステップS21の前に実行されてもよいし、ステップS21の後に実行されてもよい。
これでステップS23は終了し、ステップS24へ進む。
ステップS24では、上記のステップS23において算出された動作量が、第二アーム71の各関節部22の動作量に変換され、第二アーム71の各関節部22にそれぞれ設けられたアクチュエータ23へと動作指示として出力される。これにより、ステップS24において出力された動作指示に従って第二アーム71が動作し、第二アーム71が第二内視鏡30を移動させる。
本実施形態の制御装置80は、第一内視鏡10と第二内視鏡30とのいずれ一方を主として設定し、第一内視鏡10と第二内視鏡30とのうち主に設定されなかった方を従として設定する。第一内視鏡10と第二内視鏡30とのうち主として設定された内視鏡は操作者が操作する内視鏡であり、第一内視鏡10と第二内視鏡30とのうち従として設定された内視鏡は、主として設定された内視鏡の撮像部12の光軸L1の移動に追従して移動するように制御装置80により自動制御される。
本実施形態の変形例について説明する。
本変形例の内視鏡システム3は、第一内視鏡10の撮像部12の移動に追従して第二内視鏡30を移動させるための制御手順の一部が上記実施形態と異なっている。
すなわち、本変形例では、操作者が視野合せスイッチ40に対して入力を行ったときに、第二内視鏡30の撮像部32の光軸L2が第一内視鏡10の撮像部12の光軸L1と同軸となるように、制御装置80が第二アーム71を動作させる。一例として、上記のステップS21及びステップS22が、操作者が視野合せスイッチ40に対して入力を行ったことを制御装置80が検知したことをトリガーとして開始される。
本変形例の内視鏡システム3では、第一内視鏡10の撮像部12を移動させた場合、操作者が視野合せスイッチ40に対して入力を行うまでは、第二内視鏡30は移動しない。
たとえば第一内視鏡10の撮像部12を用いて処置部位を撮像しているときに、メインモニタ45に第一内視鏡10からの狭角画像のみを表示させている状態では、第二内視鏡30が体内でどのような姿勢にあるかを把握できない場合があり、体内で第二内視鏡30を常に自動的に移動させることが好ましくない状況が考えられる。
本変形例では、視野合せスイッチ40に対する入力がない場合には第二内視鏡30を移動させる第二アーム71の動作を禁止するように制御装置80の駆動制御部83が第二アーム71を制御することにより、第二アーム71により第二内視鏡30を移動させる必要があるときのみ第二アーム71を動作可能とすることができる。
本実施形態の変形例について説明する。
本変形例の内視鏡システム3は、第一内視鏡10の撮像部12の移動に追従して第二内視鏡30を移動させるための制御手順の一部が上記実施形態と異なっている。
また、本変形例では、第二内視鏡30の無用な動作を減らすことにより、操作中の作動音を低減させることができる。
本実施形態の変形例について説明する。
本変形例の内視鏡システム3は、第一内視鏡10及び第二内視鏡30が上記の第2実施形態と同様にそれぞれ測距手段を備えている。測距手段の構成は、たとえば上記の第2実施形態と同様に左側撮像部61と右側撮像部62とを有して視差を有する二枚一組の画像を撮像して距離の測定に使用するものであってよい。第2実施形態と同様に、本変形例においても測距手段の構成は特に限定されない。
本発明の第4実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図12は、本実施形態に係る内視鏡システムを示す模式的な全体図である。図13及び図14は、内視鏡システムの作用を説明するための模式図である。図15は、内視鏡システムの制御装置による制御手順を示すフローチャートである。
本発明の第5実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図16は、本実施形態に係る内視鏡システムの制御装置86による制御手順を示すフローチャートである。図17および図18は、内視鏡システムの使用時の動作を説明するための模式図である。
本実施形態の制御装置86は、メインモニタ45に表示される画像が第二内視鏡30からの画像となるように視点変更スイッチ39(図1参照)に対する入力が行われたときに、下記のステップS41からステップS44までの各ステップにより、第一内視鏡10の撮像部12を移動させる。
ステップS42において、制御装置86は、処置部位近傍の組織に関節部13や撮像部12が接触しないように、第一内視鏡10の挿入部11が体外へ抜去される移動に連動して、関節部13の基端側から順に直線状になるように(図18参照)関節部13を駆動する。なお、ステップS42において、関節部13の形状を維持したまま第一内視鏡10の挿入部11が体外へ抜去される方向へ第一内視鏡10の挿入部11を移動させてもよい。
ステップS42における第一内視鏡10の挿入部11の移動は、制御装置86がアーム20の各関節部22を動作制御することにより行われる。
ステップS42によって、第一内視鏡10の撮像部12は、第二内視鏡30の撮像部32の光軸L2から離れた位置へと移動する。ステップS42における第一内視鏡10の撮像部12の移動先は、たとえば、第二内視鏡30の撮像部32の撮像視野外や、第二内視鏡30の撮像部32の撮像視野内であっても第二内視鏡30を用いた観察の邪魔にならない位置などである。
これでステップS42は終了する。
たとえば、処置部位に対する処置を再開する場合に、操作者は、メインモニタ45に表示される画像を、第一内視鏡10の撮像部12が撮像した画像に切り替えるための入力として、視点変更スイッチ39に対する入力を行う。
制御装置86は、視点変更スイッチ39に対する入力が行われたことに基づいて、上記のステップS41において記憶された第一内視鏡10の位置及び姿勢を読み出す(読み出しステップ,ステップS43,図16参照)。
本発明の第6実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図19は、本実施形態に係る内視鏡システムの使用時の動作を説明するための模式図である。図20は、内視鏡システムの使用時の動作を説明するための模式図である。
また、本実施形態に係る内視鏡システム6は、第二内視鏡30を操作者が移動させて処置部位の周辺を観察した後に、メインモニタ45に表示される画像を狭角画像に戻すと、第一内視鏡10の撮像部12は退避した位置から処置部位を視野中心に捉える位置まで移動して元に戻る。さらに、内視鏡システム6の第二内視鏡30の撮像部32は、第一内視鏡10の撮像部12の光軸L1と同軸となるように、バックグラウンドで第二アーム71により移動される。その結果、制御装置87は、第一内視鏡10の撮像部12及び第二内視鏡30の撮像部32が共に処置部位を視野中心に捉えるように、第一内視鏡10及び第二内視鏡30を自動的に移動させることができる。これにより、本実施形態に係る内視鏡システム6によれば、操作者の操作負担を軽減することができる。
本発明の第7実施形態について説明する。なお、本実施形態において、上記の各実施形態と同様の構成要素には、上記実施形態と同一の符号が付され、重複する説明は省略されている。図21及び図22は、本実施形態に係る内視鏡システムのメインモニタに表示される画像の一例を示す模式図である。
本実施形態に係る内視鏡システム7の制御装置89は、第二内視鏡30の光軸L2の位置をメインモニタ45に表示させることができる。一具体例として、本実施形態の制御装置89は、第二内視鏡30の撮像部32が撮像した画像に対して、図21に示すように、この画像の視野中心に所定のターゲットマークM1の画像を重ねてメインモニタ45へと出力する。
このように、第二内視鏡30の撮像部32が撮像した画像にターゲットマークを制御装置89が重ねてメインモニタ45に表示するので、第二内視鏡30の撮像部32の光軸L2が処置部位に一致するように第二内視鏡30を移動させるのが容易である。その結果、第二内視鏡30の撮像部32と第一内視鏡10の撮像部12とがともに処置部位を精度よく視野中心に捉えた状態を操作者が容易に作り出すことができる。
本実施形態の変形例について説明する。図23から図25までは、本変形例の内視鏡システムのメインモニタに表示される画像の一例を示す模式図である。
本変形例では、上記のターゲットマークが、第二内視鏡30の光軸L2ではなく、第二内視鏡30の撮像部32が撮像した画像上で操作者が指定した任意の点である。
その後、第一内視鏡10の撮像部12が撮像した画像を制御装置89がメインモニタ45に表示させることにより、ターゲットマーク(第二マークM2)に対応する位置を視野中心に含んだ狭角画像がメインモニタ45に表示されることとなる。
また、第一マーカーは、第一内視鏡の撮像部の光軸の位置を特定するための基礎となる情報を含んでいてもよい。この情報は、たとえば、第一内視鏡の機種に固有の識別子が符号化されたものであってよい。この場合、制御装置は、第一マーカーに含まれる識別子に基づいて、第一内視鏡の構造に基づいた光軸の位置を認識するようになっていてもよい。
第二マーカーについても同様に第二内視鏡の撮像部の光軸の位置を特定するための基礎となる情報を含んでいてもよい。この場合、制御装置は、第二マーカーに含まれる識別子に基づいて、第二内視鏡の構造に基づいた光軸の位置を認識するようになっていてもよい。
なお、上記具体的な構成に対する設計変更等は上記事項には限定されない。
10 第一内視鏡
11 挿入部
12 撮像部
13 関節部
14 軸部
15 駆動部
16 アクチュエータ
17 エンコーダ
18 操作ワイヤ
20 アーム
21 リンク部
22 関節部
23 アクチュエータ
24 エンコーダ
25 第一画像処理装置
26 第一サブモニタ
30 第二内視鏡
31 挿入部
32 撮像部
33 軸部
34 操作部
35 把持部
36 第二画像処理装置
37 第二サブモニタ
38 アーム入力部
39 視点変更スイッチ
40 視野合せスイッチ
41 位置姿勢検知装置
42 第一マーカー(第一位置姿勢検知手段)
43 第二マーカー(第二位置姿勢検知手段)
44 カメラ(第一位置姿勢検知手段,第二位置姿勢検知手段)
45 メインモニタ
50,66,80,85,86,87,89 制御装置
51,81 位置算出部
52,67,82 画像制御部
53,83 駆動制御部
60,63 撮像部
61,64 左側撮像部
62,65 右側撮像部
70 第一アーム
71 第二アーム
72 リンク部
73 関節部
74 アクチュエータ
75 エンコーダ
100 トロッカ
Claims (8)
- 第一撮像部を有する第一内視鏡と、
第二撮像部を有する第二内視鏡と、
前記第一内視鏡に取り付けられ前記第一内視鏡を移動させるために動作可能なアームと、
所定の座標系における前記第一内視鏡の位置及び姿勢を検知する第一位置姿勢検知手段と、
前記所定の座標系における前記第二内視鏡の位置及び姿勢を検知する第二位置姿勢検知手段と、
前記アームの動作を制御する制御装置と、
を備え、
前記制御装置は、前記アームを動作させるための制御手順として、
前記所定の座標系における前記第二内視鏡の位置及び姿勢を前記第二位置姿勢検知手段から取得して前記第二撮像部の光軸の位置及び方向を算出する第一算出ステップと、
前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記アームを動作させるための前記アームの動作量を算出する動作量算出ステップと、
前記動作量に基づいて前記アームを動作させるための動作指示を出力する指示ステップと、
を含み、前記制御手順に従って前記アームの動作を制御する
内視鏡システム。 - 前記制御装置は、
前記第一算出ステップ,前記動作量算出ステップ,及び前記指示ステップをこの順に繰り返して実行し、
前記動作量算出ステップにおいて、すでに実行された前記指示ステップの直前に実行された前記第一算出ステップにおける前記第二撮像部の光軸の位置及び方向と当該指示ステップの直後に実行された前記第一算出ステップにおける前記第二撮像部の光軸の位置及び方向とが所定の閾値以上のずれ量を有していた場合に、前記第一撮像部の光軸が前記ずれ量と等しく移動するように前記動作量を算出する
請求項1に記載の内視鏡システム。 - 前記制御装置は、
前記第一算出ステップ,前記動作量算出ステップ,及び前記指示ステップをこの順に繰り返して実行し、
すでに実行された前記指示ステップ以降に実行された前記動作量算出ステップにおいて算出された動作量が所定の閾値を超えない場合には前記指示ステップの実行をスキップして前記第一算出ステップを実行し、
前記動作量が前記所定の閾値を超える場合には前記指示ステップを実行する
請求項1に記載の内視鏡システム。 - 前記第一内視鏡は、
前記第一撮像部の視野方向を変更するために動作可能な関節部と、
前記関節部に接続された軸部と、
前記軸部を前記アームに接続するためのアダプタと、
を有し、
前記制御装置は、
前記動作量算出ステップにおいて、前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記関節部を動作させるための関節駆動量を前記動作量に含み、
前記指示ステップにおいて、前記動作量に基づいて前記アーム及び前記関節部を動作させるための動作指示を出力する
請求項1に記載の内視鏡システム。 - 前記第二内視鏡に取り付けられ前記第二内視鏡を移動させるために動作可能な第二アームをさらに備えた請求項1に記載の内視鏡システム。
- 前記制御装置は、前記第二アームを動作させるための制御手順として、
前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第二撮像部の光軸の位置及び方向を算出する第二算出ステップと、
前記所定の座標系における前記第一内視鏡の位置及び姿勢を前記第一位置姿勢検知手段から取得して前記第一撮像部の光軸が前記第二撮像部の光軸と一致する方向へ前記第一撮像部が移動するように前記第二アームを動作させるための前記第二アームの動作量を算出する第二動作量算出ステップと、
前記第二アームの動作量に基づいて前記第二アームを動作させるための動作指示を出力する指示ステップと、
を含み、前記制御手順に従って前記第二アームの動作を制御する
請求項5に記載の内視鏡システム。 - 前記制御装置は、前記アームの可動域を制限する制限ステップを制御手順に含み、
前記制御装置は、前記第一撮像部の光軸のベクトルと前記第二撮像部の光軸のベクトルとのなす角が最小となるように、前記制限ステップにより制限された可動域の範囲内で前記アームを動作させる
請求項1に記載の内視鏡システム。 - 前記制御装置は、前記第一撮像部の光軸と前記第二撮像部の光軸との距離が最小となるように、前記制限ステップにより制限された可動域の範囲内で前記アームを動作させる
請求項7に記載の内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016023670 | 2016-02-10 | ||
JP2016023670 | 2016-02-10 | ||
PCT/JP2016/083788 WO2017138208A1 (ja) | 2016-02-10 | 2016-11-15 | 内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6150968B1 true JP6150968B1 (ja) | 2017-06-21 |
JPWO2017138208A1 JPWO2017138208A1 (ja) | 2018-02-15 |
Family
ID=59082004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017516540A Active JP6150968B1 (ja) | 2016-02-10 | 2016-11-15 | 内視鏡システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6150968B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021261236A1 (ja) * | 2020-06-22 | 2021-12-30 | ソニーグループ株式会社 | 医療用観察システム、画像処理方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000032442A (ja) * | 1998-07-13 | 2000-01-28 | Olympus Optical Co Ltd | 内視鏡システム |
JP2003127076A (ja) * | 1993-12-28 | 2003-05-08 | Olympus Optical Co Ltd | 医療器具 |
JP2009125392A (ja) * | 2007-11-26 | 2009-06-11 | Olympus Medical Systems Corp | 内視鏡システムおよび内視鏡装置 |
WO2013141155A1 (ja) * | 2012-03-17 | 2013-09-26 | 学校法人早稲田大学 | 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム |
-
2016
- 2016-11-15 JP JP2017516540A patent/JP6150968B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003127076A (ja) * | 1993-12-28 | 2003-05-08 | Olympus Optical Co Ltd | 医療器具 |
JP2000032442A (ja) * | 1998-07-13 | 2000-01-28 | Olympus Optical Co Ltd | 内視鏡システム |
JP2009125392A (ja) * | 2007-11-26 | 2009-06-11 | Olympus Medical Systems Corp | 内視鏡システムおよび内視鏡装置 |
WO2013141155A1 (ja) * | 2012-03-17 | 2013-09-26 | 学校法人早稲田大学 | 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021261236A1 (ja) * | 2020-06-22 | 2021-12-30 | ソニーグループ株式会社 | 医療用観察システム、画像処理方法、およびプログラム |
US12070183B2 (en) | 2020-06-22 | 2024-08-27 | Sony Group Corporation | Medical observation system, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017138208A1 (ja) | 2018-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017138208A1 (ja) | 内視鏡システム | |
JP7229319B2 (ja) | 手術支援装置、その制御方法、プログラム並びに手術支援システム | |
JP6982605B2 (ja) | 外科用器具可視性のロボット制御 | |
JP4744595B2 (ja) | 内視鏡外科手術器具 | |
US9630323B2 (en) | Operation support system and control method of operation support system | |
KR102105142B1 (ko) | 입력 장치의 오퍼레이터가 볼 수 있는 디스플레이 영역으로 기구가 진입할 때 기구의 제어를 입력 장치로 전환하는 방법 | |
CN108433809B (zh) | 用于在手术过程期间设置并检索参考点的设备 | |
KR102363661B1 (ko) | 원격동작 의료 시스템 내의 기구의 화면외 표시를 위한 시스템 및 방법 | |
KR102585602B1 (ko) | 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법 | |
JP6234643B2 (ja) | 医療システム及びその作動方法 | |
JP2019503766A (ja) | 手術ロボットの制御のためのシステム、制御ユニット、及び方法 | |
US20120209069A1 (en) | Collision avoidance and detection using distance sensors | |
JPWO2020054566A1 (ja) | 医療用観察システム、医療用観察装置及び医療用観察方法 | |
JP4027876B2 (ja) | 体腔内観察システム | |
US20230148847A1 (en) | Information processing system, medical system and cannulation method | |
WO2017082047A1 (ja) | 内視鏡システム | |
JP6150968B1 (ja) | 内視鏡システム | |
JP6857748B2 (ja) | 医療システムおよび医療システムの作動方法 | |
CN117651533A (zh) | 多分叉通道中的管状器件导航方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170324 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170324 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170523 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6150968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |