JPWO2016136613A1

JPWO2016136613A1 - マニピュレータシステム

Info

Publication number: JPWO2016136613A1
Application number: JP2016562039A
Authority: JP
Inventors: 菜穂子山村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-02-26
Filing date: 2016-02-19
Publication date: 2017-04-27
Anticipated expiration: 2036-02-19
Also published as: CN106999254B; US20170245739A1; EP3263063A1; EP3263063A4; WO2016136613A1; CN106999254A; JP6104479B2; US10321808B2

Abstract

細長い挿入部と、その先端に配置された可動部と、挿入部基端に配置され可動部を駆動する駆動部とを備えるマニピュレータ（３）と、マニピュレータ（３）に対する操作入力を入力する操作入力部（５）と、入力された操作入力に基づいて駆動部を制御する制御部（６）と、内視鏡と、内視鏡を挿通させる第１のチャネルおよびマニピュレータ（３）を挿通させる第２のチャネルを有するオーバーチューブ（４）と、第１のチャネルに対する内視鏡の長手軸回りのズレ角度を算出する内視鏡回転角度算出部とを備え、ズレ角度に基づき第２のチャネルに対して可動部をその長手軸回りに回転させ、内視鏡に固定された座標系の上下方向と可動部に固定された座標系の上下方向とを一致させるマニピュレータシステム（１）を提供する。

Description

本発明は、マニピュレータシステムに関する。

従来、内視鏡に装着されたオーバーチューブのチャネル内に電動処置具を挿通し、処置具および内視鏡に設けられたセンサによって、内視鏡の位置姿勢情報と電動処置具の位置姿勢情報とを取得し、内視鏡の位置姿勢と電動処置具の位置姿勢とを独立して制御することができる内視鏡処置システムが知られている（例えば、特許文献１参照。）。

特開２０１０−２２７６２号公報

しかしながら、オーバーチューブのチャネル内において、内視鏡はその長手軸回りに自由に回転できるため、内視鏡により取得される画像内における電動処置具の位置は、内視鏡が挿入されたときのオーバーチューブと内視鏡との相対角度に依存する。このため、内視鏡により取得された画像内の処置具を操作する場合に、操作部の操作方向と電動処置具の動作方向との対応付けが困難となり、直感的な操作を行うことができなくなる。

特許文献１の内視鏡処置システムは、センサによって内視鏡および電動処置具の位置姿勢情報を検出し、検出された位置姿勢情報を利用して電動処置具の制御信号を調整しているため、センサを有しない既存の内視鏡をそのまま使用することができないという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、内視鏡に特別なセンサを設けることなく、内視鏡が挿入されたときのオーバーチューブと内視鏡との相対角度にかかわらず、マニピュレータを直感的に操作することができるマニピュレータシステムを提供する。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、細長い挿入部と、該挿入部の先端に配置され先端にエンドエフェクタを有する可動部と、前記挿入部の基端に配置され前記可動部を駆動する駆動部とを備えるマニピュレータと、該マニピュレータに対する操作入力を入力する操作入力部と、該操作入力部により入力された操作入力に基づいて前記駆動部を制御する制御部と、内視鏡と、該内視鏡を挿通させる第１のチャネルおよび前記マニピュレータを挿通させる第２のチャネルを有するオーバーチューブと、前記内視鏡により取得された画像内における前記可動部の位置に基づいて、前記第１のチャネルに対する前記内視鏡の長手軸回りのズレ角度を算出する内視鏡回転角度算出部とを備え、該内視鏡回転角度算出部により算出されたズレ角度に基づいて、前記第２のチャネルに対して前記可動部をその長手軸回りに回転させることにより、前記内視鏡に固定された座標系の上下方向と前記可動部に固定された座標系の上下方向とを一致させるマニピュレータシステムである。

本態様によれば、第１のチャネル内に内視鏡を挿入し、第２のチャネル内にマニピュレータを挿入したオーバーチューブを体内に配置し、オーバーチューブの先端開口から内視鏡およびマニピュレータ先端の可動部を突出させて、内視鏡を作動させると、体内の画像が取得されるとともに、該画像内に可動部が写る。画像内における可動部の位置は、第１のチャネルに対する第２のチャネルの位置を表しており、第１のチャネルの長手軸回りの内視鏡のズレ角度がゼロである場合には、可動部は画像内の所定の位置に写る。これに対して、第１のチャネルに対して長手軸回りに内視鏡が回転している場合には、可動部は画像内の所定の位置からずれた位置に写る。

内視鏡回転角度算出部により、画像内の可動部の位置に基づいて第１のチャネルに対する内視鏡の長手軸回りのズレ角度が算出されるので、第２のチャネルに対して可動部をその長手軸回りに回転させることにより、画像内の可動部の位置を変えることなく、画像内において可動部を長手軸回りに回転させる。そして、このとき、内視鏡に固定された座標系の上下方向と可動部に固定された座標系の上下方向とを一致させるので、画像内の可動部の上下方向を操作入力部の鉛直方向に一致させることができる。その結果、画像を見て可動部を操作する操作者は、操作入力部の３次元座標系に一致する座標系によって可動部を動作させることができ、直感的な操作を行うことができる。

上記態様において、前記制御部が、前記内視鏡回転角度算出部により算出されたズレ角度だけ前記可動部をその長手軸回りに回転させることにより、前記座標系の上下方向を一致させてもよい。
このようにすることで、内視鏡回転角度算出部によりズレ角度が算出されると、制御部がズレ角度だけ可動部を回転させるので、内視鏡に固定された座標系の上下方向と可動部に固定された座標系の上下方向とを自動的に一致させることができ、簡易に直感的な操作を行うことができる。

上記態様において、前記可動部を前記第２のチャネルに対して手動によりその長手軸回りに回転させることができるように設けられるとともに、前記第２のチャネルに対する前記可動部の回転角度を測定可能な角度測定手段と、前記内視鏡回転角度算出部により算出されたズレ角度を報知する報知部とを備えていてもよい。

このようにすることで、内視鏡回転角度算出部によりズレ角度が算出されると、報知部の作動によってズレ角度が報知されるので、操作者が第２のチャネルに対して可動部を手動で長手軸回りに回転させることにより、内視鏡に固定された座標系の上下方向と可動部に固定された座標系の上下方向とを一致させ、簡易に直感的な操作を行うことができる。体腔内に配置されたオーバーチューブの第１のチャネルに内視鏡が一旦挿入された後には、可動部による処置中に内視鏡の第１のチャネルに対する回転はほとんど発生しないので、手動により１度座標系を合わせることで、その後の処置を直感的に行うことができる。

上記態様において、前記可動部が、前記内視鏡により撮影される位置に、該内視鏡により取得された画像において、前記第２のチャネルに対する前記可動部の長手軸回りの角度を識別できるようにするマーカを備えていてもよい。

マーカを備えていなくても、内視鏡回転角度算出部により算出されたズレ角度に基づいて第２のチャネルに対して可動部を長手軸回りに回転させることにより、内視鏡に固定された座標系の上下方向と可動部に固定された座標系の上下方向とが一致する方向に近づけられるが、マニピュレータの挿入部の剛性や第２のチャネルとの間の摩擦により、精度よく一致させられないことが考えられる。このようにすることで、画像に写ったマーカにより、座標系が精度よく一致するまで可動部を回転させることができ、座標系の方向を精度よく一致させることができる。

本発明によれば、内視鏡に特別なセンサを設けることなく、内視鏡が挿入されたときのオーバーチューブと内視鏡との相対角度にかかわらず、マニピュレータを直感的に操作することができるという効果を奏する。

本発明の一実施形態に係るマニピュレータシステムを示す全体構成図である。図１のマニピュレータシステムを示す斜視図である。図１のマニピュレータシステムに備えられる制御部を示すブロック図である。図３のマニピュレータシステムの内視鏡、マニピュレータおよびオーバーチューブの先端を示す部分的な斜視図である。図１のマニピュレータシステムに備えられるオーバーチューブのチャネルに挿入される内視鏡およびマニピュレータの座標系が揃っている基準状態を示す内視鏡、オーバーチューブおよびマニピュレータの正面図である。図５Ａの内視鏡により取得された画像例を示す図である。図５Ａの基準状態からオーバーチューブの第１のチャネル内で内視鏡が長手軸回りに回転した状態を示す内視鏡、オーバーチューブおよびマニピュレータの正面図である。図６Ａの内視鏡により取得された画像例を示す図である。図６Ａの第１のチャネル内での内視鏡のズレ角度だけ第２のチャネル内のマニピュレータを回転させて、座標系を揃えた状態を示す内視鏡、オーバーチューブおよびマニピュレータの正面図である。図７Ａの内視鏡により取得された画像例を示す図である。図１のマニピュレータシステムにおいて、第１のチャネル内で内視鏡が長手軸回りに回転している場合の補正処理を説明するフローチャートである。図５Ａの基準状態からオーバーチューブの第１のチャネル内で内視鏡が長手軸回りに１８０°回転した状態を示す内視鏡、オーバーチューブおよびマニピュレータの正面図である。図９Ａの内視鏡により取得された画像例を示す図である。図２のマニピュレータシステムの変形例を示す内視鏡、マニピュレータおよびオーバーチューブの先端を示す部分的な斜視図である。図１のマニピュレータシステムの可動部の先端に設けられるマーカの第１の例を示す斜視図である。図１のマニピュレータシステムの可動部の先端に設けられるマーカの第２の例をそれぞれ示す斜視図である。

本発明の一実施形態に係るマニピュレータシステム１について、図面を参照して以下に説明する。
本実施形態に係るマニピュレータシステム１は、図１および図２に示されるように、患者Ｐの体内に挿入される内視鏡２および２つのマニピュレータ３と、これらを収容する本発明の一実施形態に係るオーバーチューブ４と、操作者Ａにより操作される操作入力装置（操作入力部）５と、該操作入力装置５に入力された操作入力に基づいて各マニピュレータ３を制御する制御部６と、内視鏡画像等を表示するモニタ７とを備えている。

マニピュレータ３は、図２および図４に示されるように、それぞれ、後述するオーバーチューブ４のチャネル９を介して患者Ｐの体内に挿入される細長い軟性の挿入部１０と、該挿入部１０の先端に備えられた可動部１１と、挿入部１０の基端側に配置され、図示しないワイヤ等の動力伝達部材によって可動部１１を駆動する駆動部１２とを備えている。

可動部１１は、最先端に配置され、体内の患部に作用してこれを処置する処置部（エンドエフェクタ）１３と、該処置部１３の先端位置および姿勢を変化させる複数の関節１４とを備えている。また、マニピュレータ３の可動部１１の最も基端側、あるいは、挿入部１０の基端側には、可動部１１全体を挿入部１０の長手軸回りに回転させる回転関節１５が設けられている。なお、図４等において可動部１１に表示された矢印記号は、説明を明確にするためのものであり、実際に可動部１１に付されているものではない。

駆動部１２は、図２に示されるように、モータを備える駆動部本体１６と、該駆動部本体１６に着脱可能に設けられ、駆動部本体１６に取り付けられることでモータの駆動力を挿入部１０内の動力伝達部材に伝達するマニピュレータ側駆動部１７とを備えている。
また、オーバーチューブ４の基端部は、駆動部本体１６に着脱可能に取り付けられるようになっている。

オーバーチューブ４は、図５Ａに示されるように、可撓性を有する材質からなるチューブであって、内視鏡２を貫通させる単一の第１のチャネル８およびマニピュレータ３を貫通させる２つの第２のチャネル９を有している。第１のチャネル８内に挿入された内視鏡２は、第１のチャネル８内でその長手軸回りに回転することができるようになっている。また、各第２のチャネル９内に挿入されたマニピュレータ３も第２のチャネル９内でその長手軸回りに回転することができるようになっている。

上述したように、挿入部１０の基端に接続するマニピュレータ側駆動部１７およびオーバーチューブ４の基端部は、操作卓等に設置された駆動部本体１６に取り付けられるので、第２のチャネル９内での挿入部１０の角度ズレはほぼ生じない。
一方、内視鏡２の基端側は、操作者Ａが手に持って操作するハンドル１８等が設けられているために固定されておらず、第１のチャネル８内における内視鏡２の長手軸回りの位置は固定されず、角度ズレが生じ易い。

操作入力装置５は、図１に示されるように操作者Ａの両手によってそれぞれ操作され、２つのマニピュレータ３を別々に動作させる２つの操作部２４を備えている。各操作部２４は、マニピュレータ３と同じ軸構成を有する相似形または略相似形の多関節構造を有し、各関節にその角度変位を検出する、図示しない角度センサ（角度測定手段）が備えられている。操作入力装置５を操作すると、マニピュレータ３の各関節１４，１５に対応する関節の角度変位が角度センサにより検出され、検出された角度変位が制御部６に送られるようになっている。

制御部６は、図３に示されるように、２つの操作部２４からの操作入力を受けて、２つのマニピュレータ３の可動部１１の各関節１４を動作させるための駆動部１２に対する動作指令を生成する関節角度指令信号発生部１９と、内視鏡２により取得された画像から、第１のチャネル８に対する内視鏡２の長手軸回りのズレ角度を算出する内視鏡回転角度算出部２０と、該内視鏡回転角度算出部２０により算出されたズレ角度だけ、２つのマニピュレータ３の可動部１１の回転関節１５をそれぞれ回転させるための駆動部１２に対する動作指令を発生する回転関節角度指令信号発生部２１とを備えている。

内視鏡回転角度算出部２０は、内視鏡２により取得された画像内に写っているマニピュレータ３の可動部１１の位置からズレ角度を算出するようになっている。
すなわち、図４および図５Ａに示されるように、オーバーチューブ４の第１のチャネル８内に挿入された内視鏡２および第２のチャネル９内に挿入されたマニピュレータ３のそれぞれに固定された座標系が、オーバーチューブ４の上下方向（第１のチャネル８が上、第２のチャネル９が下となる方向）に対して上下方向を揃えて配置されている状態を基準状態とすると、この基準状態において内視鏡２により取得される画像Ｏは図５Ｂの通りとなる。

オーバーチューブ４に対する内視鏡２およびマニピュレータ３の座標系の方向が図５Ａの状態が維持される限り、オーバーチューブ４が長手軸回りに回転しても、図５Ｂの画像Ｏが取得される。
一方、図６Ａに示されるように、第１のチャネル８内に対して内視鏡２がその長手軸回りにズレ角度θだけ回転している場合には、図６Ｂに示されるように、内視鏡２により取得される画像Ｑは、図５Ａの画像Ｏをズレ角度θだけ回転させた画像となる。このとき、画像Ｏ内に写っている可動部１１が変化するので、その変化量を算出することにより、ズレ角度θを算出することができる。内視鏡回転角度算出部２０は、例えば、画像Ｏ，Ｑ中の２つの可動部１１の中心線を基準線Ｖとして、該基準線Ｖの上下方向に対する角度を演算することにより、ズレ角度θを算出するようになっている。

このように構成された本実施形態に係るマニピュレータシステム１の作用について以下に説明する。
本実施形態に係るマニピュレータシステム１を用いて患者Ｐの患部を処置するには、まず、内視鏡２の挿入部１０をオーバーチューブ４の第１のチャネル８に挿入し、オーバーチューブ４の先端開口から挿入部１０を十分な長さだけ突出させる。

この状態で、内視鏡２を作動させた状態で、内視鏡２により取得される画像を確認しながら、挿入部１０を患者Ｐの体腔内に挿入していく。
内視鏡２の先端面が患部近傍に配置され、画像内に患部が写るようになった時点で、内視鏡２の挿入部１０の基端側に配置されていたオーバーチューブ４を、内視鏡２の挿入部１０に沿わせるように、挿入部１０をガイドとして、挿入部１０に対して前進させ、体腔内に挿入していく。

オーバーチューブ４の先端が内視鏡２の先端近傍に配置されるまで、オーバーチューブ４が挿入された状態で、オーバーチューブ４の基端側から第２のチャネル９内にマニピュレータ３を挿入していく。基端側が固定されているオーバーチューブ４と基端側が固定されているマニピュレータ３との角度ズレは生じにくい反面、基端側が固定されていない内視鏡２は、オーバーチューブ４の第１のチャネル８に対して、その長手軸回りに回転する。

すなわち、通常の状態では、図５Ａに示されるようにオーバーチューブ４に対して内視鏡２の座標系が揃っていることはなく、図６Ａに示されるようにずれている。
そして、図８のフローチャートに示されるように、第２のチャネル９の先端開口からマニピュレータ３の可動部１１が前方に突出し、図５Ｂに示されるように、２つの可動部１１が写った状態の画像Ｏが取得されると（ステップＳ１）、内視鏡回転角度算出部２０により第１のチャネル８内における内視鏡２のズレ角度が算出される。

ズレ角度の算出は、内視鏡２により取得された画像Ｑを処理して画像Ｑ内の可動部１１を認識し（ステップＳ２）、２つの可動部１１の中心線を基準線Ｖとして抽出するとともに、画像Ｑの上下方向に対する抽出された基準線Ｖの角度を算出することにより行われる（ステップＳ３）。画像Ｑ内の可動部１１を認識を容易にするために、可動部１１の色で画像Ｑを２値化して、得られた画像から基準線Ｖを抽出してもよい。

内視鏡２のズレ角度が算出された後に、制御部６は、可動部１１の基端側に配置されている回転関節１５を作動させることにより、各可動部１１を各挿入部１０の長手軸回りにズレ角度だけ回転させる（ステップＳ４）。これにより、図７Ａに示されるように、オーバーチューブ４の第２のチャネル９の長手軸回りに可動部１１が回転し、２つの可動部１１にそれぞれ固定された座標系の方向が、内視鏡２に固定された座標系の方向に揃えられる。
このとき、図７Ｂに示されるように、画像Ｒ内の可動部１１はそれぞれの長手軸回りに回転して、座標の上下方向が画像Ｒの上下方向に一致させられる。

次に、内視鏡回転角度算出部２０により算出されたズレ角度θの絶対値が９０°より大きいか否かが判定され（ステップＳ５）、９０°より大きい場合には、２つの可動部１１と２つの操作部２４との対応関係が入れ替えられる（ステップＳ６）。ズレ角度θの絶対値が９０°以下の場合には、対応関係の入れ替えは行われず、操作部２４の操作による可動部１１の動作が可能となる。

このように、本実施形態に係るマニピュレータシステム１によれば、画像Ｒ内の可動部１１の位置はほとんど変化することなく、その長手軸回りの角度が変化して、画像Ｒ上の可動部１１の上下方向が操作入力装置５の３次元座標系の上下方向に一致させられるので、操作入力装置５における操作の方向と、画像Ｒ上の可動部１１の動作の方向とを一致させることができ、直感的な操作が可能となる。

また、内視鏡２の画像Ｑにおける可動部１１の位置に基づいて算出される内視鏡２のズレ角度だけ可動部１１を回転させるので、ズレ角度が±９０°を超える場合、特に、図９Ａに示されるように、ズレ角度が±１８０°に近づく場合には、図９Ｂに示されるように、画像Ｓ上の可動部１１の左右が入れ替わるので、各可動部１１の上下方向を補正するだけでは足りない。そこで、本実施形態においては、ズレ角度の絶対値が９０°より大きい場合には、ステップＳ６において、２つの可動部１１と２つの操作部２４との対応関係が入れ替えられることにより、画像Ｓ上で右側に写っている可動部１１を右手の操作部２４で、左側に移っている可動部１１を左手の操作部２４でそれぞれ操作することが可能となり、操作の直感性を向上することができるという利点がある。

また、本実施形態に係るマニピュレータシステム１によれば、内視鏡画像を回転させて表示する等の処理を行わないので、画像を取得して処理し表示するだけの既存の内視鏡装置を用いて構成することができるという利点がある。

また、本実施形態においては、制御部６が、内視鏡回転角度算出部２０を備え、算出されたズレ角度に基づいて可動部１１を回転させるので、画像が取得されると自動的に座標系を一致させる処理が行われる。これに代えて、制御部６は、操作入力装置５により入力された操作入力に基づいて可動部１１を動作させるために専ら使用されるものとし、内視鏡回転角度算出部２０を制御部６とは別に備え、算出されたズレ角度を表示、発音等により報知する報知部（図示略）を備えていてもよい。この場合、図１０に示されるように、可動部１１を挿入部１０の基端側において挿入部１０の長手軸回りに手動で回転させるダイヤル等の回転操作部２２を備えていることが好ましい。

また、本実施形態においては、可動部１１の先端近傍の内視鏡２により取得される画像内に写る範囲に、図１１Ａまたは図１１Ｂに示されるようなマーカ２３を設けてもよい。
マーカ２３は、内視鏡画像により可動部１１の長手軸回りの回転を識別することができる形態のものであり、例えば、図１１Ａに示されるように周方向に間隔をあけて配列された目盛、あるいは、図１１Ｂに示されるように周方向に間隔をあけて配置され周方向の幅が異なるマークを採用することができる。

内視鏡回転角度算出部２０により算出されたズレ角度に基づいて第２のチャネル９に対して可動部１１を長手軸回りに回転させることにより、内視鏡２に固定された座標系の上下方向と可動部１１に固定された座標系の上下方向とが一致する方向に近づけられるが、マニピュレータ３の挿入部１０は長いので、その剛性や第２のチャネル９との間の摩擦により、先端まで精度よく回転を伝えることができない場合がある。このような場合に、画像に写ったマーカ２３により、可動部１１の実際の回転角度を把握することができ、さらに回転操作部２２によって可動部１１を回転させることで、座標系の方向を精度よく一致させることができる。

また、本実施形態においては、マニピュレータ３を２つ備える場合を例示したが、これに代えて、単一のマニピュレータまたは３以上のマニピュレータを用いる場合に適用してもよい。

１マニピュレータシステム
２内視鏡
３マニピュレータ
４オーバーチューブ
５操作入力装置（操作入力部）
６制御部
８第１のチャネル
９第２のチャネル
１０挿入部
１１可動部
１２駆動部
１３処置部（エンドエフェクタ）
２０内視鏡回転角度算出部
２３マーカ

Claims

細長い挿入部と、該挿入部の先端に配置され先端にエンドエフェクタを有する可動部と、前記挿入部の基端に配置され前記可動部を駆動する駆動部とを備えるマニピュレータと、
該マニピュレータに対する操作入力を入力する操作入力部と、
該操作入力部により入力された操作入力に基づいて前記駆動部を制御する制御部と、
内視鏡と、
該内視鏡を挿通させる第１のチャネルおよび前記マニピュレータを挿通させる第２のチャネルを有するオーバーチューブと、
前記内視鏡により取得された画像内における前記可動部の位置に基づいて、前記第１のチャネルに対する前記内視鏡の長手軸回りのズレ角度を算出する内視鏡回転角度算出部とを備え、
該内視鏡回転角度算出部により算出されたズレ角度に基づいて、前記第２のチャネルに対して前記可動部をその長手軸回りに回転させることにより、前記内視鏡に固定された座標系の上下方向と前記可動部に固定された座標系の上下方向とを一致させるマニピュレータシステム。
前記制御部が、前記内視鏡回転角度算出部により算出されたズレ角度だけ前記可動部をその長手軸回りに回転させることにより、前記座標系の上下方向を一致させる請求項１に記載のマニピュレータシステム。
前記可動部を前記第２のチャネルに対して手動によりその長手軸回りに回転させることができるように設けられるとともに、
前記第２のチャネルに対する前記可動部の回転角度を測定可能な角度測定手段と、
前記内視鏡回転角度算出部により算出されたズレ角度を報知する報知部とを備える請求項１に記載のマニピュレータシステム。
前記可動部が、前記内視鏡により撮影される位置に、該内視鏡により取得された画像において、前記第２のチャネルに対する前記可動部の長手軸回りの角度を識別できるようにするマーカを備える請求項３に記載のマニピュレータシステム。