JP6138407B2

JP6138407B2 - 医療用マニピュレータシステム

Info

Publication number: JP6138407B2
Application number: JP2017514593A
Authority: JP
Inventors: 卓未磯田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-05-27
Filing date: 2016-05-26
Publication date: 2017-05-31
Anticipated expiration: 2036-05-26
Also published as: WO2016190393A1; JPWO2016190393A1; EP3305166A1; EP3305166A4; CN107105983B; CN107105983A; US20180071034A1

Description

本発明は、医療用マニピュレータシステムに関する。

従来、撮像素子や光源を備える装置本体に対して、異なる種類の内視鏡を装着する場合に、内視鏡の特性情報を保持する特性情報保持部としてのメモリを内視鏡側に備えておき、装着の都度に装置本体側でメモリ内の特性情報を読み出して設定を行う内視鏡装置が知られている（例えば特許文献１参照。）。

特開２００６−２３９２０４号公報

しかしながら、特許文献１の内視鏡装置では、メモリを備えていない既存の内視鏡を装着する場合にその特性を装置本体が読み出すことはできないという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、特性情報を保持していない既存の内視鏡に対しても、その種別を識別することができる医療用マニピュレータシステムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、撮像部を備える内視鏡と、該内視鏡を先端に保持して移動させるマニピュレータと、操作者により操作指令を入力させる操作部と、該操作部に入力された操作指令に基づいて前記マニピュレータを制御する制御部と、前記内視鏡の使用に際して前記内視鏡を挿入させる貫通孔を有する被挿入部材と、前記貫通孔に前記内視鏡が挿入された状態で該内視鏡により取得された前記貫通孔の内面を含む画像に基づいて前記内視鏡の種別を認識するスコープ種別認識部とを備える医療用マニピュレータシステムである。

本態様によれば、内視鏡をマニピュレータの先端に保持させて使用するに際し、作動状態とした内視鏡を被挿入部材の貫通孔に挿入させることにより、貫通孔の内面を含む画像が撮像部により取得される。そして、スコープ種別認識部が、取得された画像に基づいて内視鏡の種別を認識するので、内視鏡がその特性情報を保持している必要がなく、既存の内視鏡を用いた場合であってもその種別を識別することができる。

本発明の他の態様は、撮像部を備える内視鏡を先端に保持して移動させるマニピュレータと、操作者により操作指令を入力させる操作部と、該操作部に入力された操作指令に基づいて前記マニピュレータを制御する制御部と、前記内視鏡の使用に際して前記内視鏡を挿入させる貫通孔を有するとともに、該貫通孔に挿入される前記内視鏡の外面の径方向位置を逐次検出する外面位置検出部を有する被挿入部材と、前記貫通孔への前記内視鏡の挿入時に前記外面位置検出部により検出された外面の径方向位置の時間変化に基づいて前記内視鏡の種別を認識するスコープ種別認識部とを備える医療用マニピュレータシステムである。

本態様によれば、内視鏡をマニピュレータの先端に保持させて使用するに際し、作動状態とした内視鏡を被挿入部材の貫通孔に挿入させると、被挿入部材に設けられた外面位置検出部により、貫通孔に挿入された内視鏡の外面の径方向位置が逐次検出される。そして、スコープ種別認識部が、貫通孔への挿入中における内視鏡の外面の径方向位置の時間変化に基づいて内視鏡の種別を認識するので、内視鏡がその特性情報を保持している必要がなく、既存の内視鏡を用いた場合であってもその種別を識別することができる。

上記態様において、前記画像が、前記貫通孔の内面のマーカの画像を含み、前記スコープ種別認識部が、前記画像内の前記マーカの位置に基づいて前記内視鏡の種別を認識してもよい。
このようにすることで、画像に含まれる貫通孔の内面のマーカの位置によってスコープ種別認識部が簡易に内視鏡の種別を認識できる。すなわち、直視型の内視鏡が貫通孔に挿入された場合に、撮像部の光軸は貫通孔の軸線に平行に配置されるので、取得される画像には、中央に貫通孔の前方の開口部、その周囲に貫通孔の内面が写っている。

一方、斜視型の内視鏡が貫通孔に挿入された場合に、撮像部の光軸は貫通孔の軸線に対して傾斜して配置されるので、取得される画像には、貫通孔の前方の開口部は画像の中央からずれた位置に写り、その周囲に貫通孔の内面が写っている。
したがって、開口部を含む貫通孔の内面のマーカの位置を指標とすることにより、簡易に、直視型か斜視型かの内視鏡の種別を認識することができる。

上記態様において、前記マーカが、前記貫通孔の開口部であってもよい。
このようにすることで、貫通孔の内面に特別なマーカを付さなくても、貫通孔の開口部をマーカとしてその位置により簡易に直視型か斜視型かの内視鏡の種別を認識することができる。

上記態様において、前記スコープ種別認識部が、前記貫通孔に前記内視鏡を挿入した状態で、前記貫通孔に対して前記内視鏡をその長手軸回りに回転させることにより得られる前記マーカの移動軌跡に基づいて前記内視鏡の種別を認識してもよい。
このようにすることで、直視型の内視鏡と斜視型の内視鏡の光軸方向の違いにより、内視鏡をその長手軸回りに回転させることにより得られるマーカの移動軌跡が相違するので、その相違に基づいて内視鏡の種別を簡易に認識することができる。

上記態様において、前記被挿入部材が前記貫通孔への前記内視鏡の挿入量を検出する挿入量検出部をさらに備え、前記スコープ種別認識部が、前記挿入量検出部により検出された挿入量と該挿入量に対応して検出された前記径方向位置とに基づいて前記内視鏡の種別を認識してもよい。
このようにすることで、挿入量検出部により検出された挿入量に対する外面位置検出部により検出された径方向位置の変化により、内視鏡が斜視型である場合の先端部の傾斜角度を認識することができる。

上記態様において、前記被挿入部材が、前記マニピュレータの先端に取り付けられ、前記内視鏡を保持する保持部であってもよい。
上記態様において、前記被挿入部材が、患者の体表組織を貫通して該体表組織に装着されるトロッカであってもよい。

上記態様においては、前記スコープ種別認識部により認識された内視鏡の種別に基づいて、前記制御部が、前記操作部に入力された同じ操作指令に対して、前記撮像部の光軸が同じ方向に動作させられるように前記マニピュレータの制御を切り替えてもよい。
このようにすることで、内視鏡の種別に合わせるようにマニピュレータを動作させることができる。すなわち、内視鏡の種別が直視型か斜視型かによって、内視鏡の移動方向に対して該内視鏡により取得される画像が変化する方向が異なるので、内視鏡の種別によってマニピュレータの制御を切り替えることで、内視鏡の種別にかかわらず、操作部の同じ操作によって画像内の被写体を同じ方向に移動させることができる。したがって、操作者が、内視鏡の種別を気にする必要がなく、操作性を向上することができる。

本発明によれば、特性情報を保持していない既存の内視鏡に対しても、その種別を識別することができるという効果を奏する。

本発明の一実施形態に係る医療用マニピュレータシステムを示す全体構成図である。図１の医療用マニピュレータシステムのマニピュレータに内視鏡プローブを取り付けるホルダを概略的に示す斜視図である。図１の医療用マニピュレータシステムの制御部を示すブロック図である。図１の医療用マニピュレータシステムの直視型の内視鏡プローブにより取得されたホルダの貫通孔内の画像例を示す図である。図１の医療用マニピュレータシステムの斜視型（傾斜角度小の内視鏡プローブにより取得されたホルダの貫通孔内の画像例を示す図である。図１の医療用マニピュレータシステムの斜視型（傾斜角度大）の内視鏡プローブにより取得されたホルダの貫通孔内の画像例を示す図である。図１の医療用マニピュレータシステムにおいて、斜視型の内視鏡プローブが装着されたマニピュレータを示す図である。図１の医療用マニピュレータシステムにおいて、内視鏡プローブにより取得された画像例を示す図である。図１の医療用マニピュレータシステムにおいて、直視型の内視鏡プローブが装着されたマニピュレータをそれぞれ示す図である。図４Ａの変形例であって、直視型の内視鏡プローブにより取得されたホルダの貫通孔内の画像例を示す図である。図４Ｂの変形例であって、斜視型（傾斜角度小）の内視鏡プローブにより取得されたホルダの貫通孔内の画像例を示す図である。図４Ｃの変形例であって、斜視型（傾斜角度大）の内視鏡プローブにより取得されたホルダの貫通孔内の画像例を示す図である。図６Ａの画像におけるマーカ間の距離の違いを説明する直視型の内視鏡プローブを用いた場合の図である。図６Ｂの画像におけるマーカ間の距離の違いを説明する斜視型（傾斜角度小）の内視鏡プローブを用いた場合の図である。図６Ｃの画像におけるマーカ間の距離の違いを説明する斜視型（傾斜角度大）の内視鏡プローブを用いた場合の図である。内視鏡プローブの種別を認識する処理の変形例を示す斜視図である。図８の処理により、直視型の内視鏡プローブにより取得されたホルダの貫通孔内のマーカの移動軌跡を示す図である。図８の処理により、斜視型（傾斜角度小）の内視鏡プローブにより取得されたホルダの貫通孔内のマーカの移動軌跡を示す図である。図８の処理により、斜視型（傾斜角度大）の内視鏡プローブにより取得されたホルダの貫通孔内のマーカの移動軌跡を示す図である。図２の被挿入部材の変形例としてのトロッカを示す縦断面図である。図１０のトロッカに斜視型の内視鏡プローブを挿入していく処理を説明する図である。図１１Ａに示される内視鏡プローブを挿入していく処理により取得される距離センサの出力波形を示す図である。図１０のトロッカに直視型の内視鏡プローブを挿入していく処理を説明する図である。図１２Ａに示される直視型の内視鏡プローブを挿入していく処理により取得される距離センサの出力波形を示す図である。図１０のトロッカの変形例に斜視型の内視鏡プローブを挿入していく処理を説明する図である。図１３Ａに示される斜視型の内視鏡プローブを挿入していく処理により取得される内視鏡プローブの挿入量と距離センサの出力との関係を示す図である。

以下、本発明の一実施形態に係る医療用マニピュレータシステム１について、図面を参照して以下に説明する。
本実施形態に係る医療用マニピュレータシステム１は、図１に示されるように、内視鏡２と、該内視鏡２を先端に保持して移動させるマニピュレータ３と、操作者により操作指令を入力させる操作部４と、該操作部４に入力された操作指令に基づいてマニピュレータ３を制御する制御部５と、マニピュレータ３の先端に固定され、内視鏡２を取り付けるためのホルダ（被挿入部材）６と、内視鏡２によって取得された画像を表示するモニタ７とを備えている。

内視鏡２は先端に撮像部（図示略）を有し、先端に対向して配置された被写体の画像を取得することができるようになっている。内視鏡２は、細長い形態を有している。内視鏡２の種別には、長手軸方向の前方の正面の画像を取得する直視型と、斜め前方の画像を取得する斜視型とがあり、斜視型には傾斜角度の異なるものが存在する。

マニピュレータ３は、例えば、多関節構造を有し、先端に固定されたホルダ６の位置および姿勢を設定することができる自由度を有している。
操作部４も、例えば、マニピュレータ３と相似形あるいは疑似相似形の多関節構造を有し、操作者が把持して操作するハンドル８の位置および姿勢を達成するための各関節９の角度を動作指令として検出して制御部５に出力するようになっている。

ホルダ６は、図２に示されるように、内視鏡２をマニピュレータ３に装着する際に、内視鏡２を挿入する貫通孔１０を備えるとともに、該貫通孔１０に挿入された内視鏡２を固定するための図示しない固定機構を備えている。また、ホルダ６の貫通孔１０の内面には、後述するスコープ種別認識部１１により内視鏡２の種別を認識するためのマーカが設けられている。マーカとしては任意の形状でよいが、ホルダ６に設けられた貫通孔１０の開口部１２自体をマーカとして用いてもよい。

制御部５は、図３に示されるように、操作部４から送られてきた動作指令を受け取って、マニピュレータ３の各関節１５を駆動する駆動指令信号を生成し、マニピュレータ３に対して出力する駆動信号生成部（制御部）１３と、内視鏡２をホルダ６の貫通孔１０に挿入する際に撮像部により取得される画像によって内視鏡２の種別を認識するスコープ種別認識部１１と、撮像部により取得された画像を処理してモニタ７に表示させる画像処理部１４とを備えている。

スコープ種別認識部１１は、内視鏡２をホルダ６の貫通孔１０に挿入する際に撮像部によって取得された画像Ｐが、図４Ａに示されるように、画像Ｐの中央に貫通孔１０の開口部１２を有する場合には、内視鏡２の種別が直視型であると認識するようになっている。また、内視鏡２をホルダ６の貫通孔１０に挿入する際に撮像部によって取得された画像Ｐが、図４Ａ及び図４Ｃに示されるように、画像Ｐの中央に対して一方向にずれた位置に貫通孔１０の開口部１２を有する場合には、内視鏡２の種別が斜視型であると認識するようになっている。

また、スコープ種別認識部１１は、内視鏡２をホルダ６の貫通孔１０に所定深さだけ挿入したときの画像Ｐの中央に対する貫通孔１０の開口部１２のズレ量が、図４Ｂ及び図４Ｃに示されるように異なるときに、ズレ量が大きいほど撮像部の光軸の内視鏡２の長手軸に対する傾斜角度が大きくなると認識するようになっている。例えば、図４Ｂの場合には、傾斜角度は３０°、図４Ｃの場合には、傾斜角度は４５°である。

駆動信号生成部１３は、スコープ種別認識部１１により認識された内視鏡２の種別の情報を受け取って、マニピュレータ３の動作を切り替えるようになっている。
例えば、図５Ａに示されるように、斜視型の内視鏡２がホルダ６に固定され、図５Ｂに示されるような被写体Ｘの画像Ｐが取得されモニタ７に表示されている場合に、画像Ｐ上で被写体Ｘを矢印に示す方向に移動させるには、図５Ａにおいて内視鏡２の先端を光軸Ｓに直交する矢印の方向に移動させる必要がある。

一方、図５Ｃに示されるように、直視型の内視鏡２がホルダ６に固定され、図５Ｂに示されるような被写体Ｘの画像Ｐが取得されモニタ７に表示されている場合にも、画像Ｐ上で被写体Ｘを矢印に示す方向に移動させるには、図５Ｃにおいて内視鏡２の先端を光軸Ｓに直交する矢印の方向に移動させる必要がある。この場合の動作方向は図５Ａの場合とは異なっており、この動作を達成するためのマニピュレータ３の動作も異なっている。

駆動信号生成部１３は、内視鏡２の種別に応じてマニピュレータ３の動作を切り替えることにより、操作者が操作部４を介して行う同じ操作によって、内視鏡２により取得される画像Ｐ内の被写体Ｘの動きが同じになるように、マニピュレータ３を制御するようになっている。

このように構成された本実施形態に係る医療用マニピュレータシステム１の作用について以下に説明する。
本実施形態に係る医療用マニピュレータシステム１を用いて患者の体内の観察を行うには、まず、内視鏡２の電源を投入し、先端の撮像部によって画像Ｐを取得できる状態として、マニピュレータ３の先端に備えられたホルダ６の貫通孔１０に内視鏡２を先端側から所定量だけ挿入する。

すると、撮像部により貫通孔１０内面を含む画像Ｐが取得され、画像Ｐ内にホルダ６の貫通孔１０の開口部１２が写る。この画像Ｐがスコープ種別認識部１１に送られることにより、画像処理によって画像Ｐ内の開口部１２の位置が算出される。画像処理の結果、開口部１２の中心位置が、画像中心から所定の範囲内に配置されている場合には、内視鏡２の種別が直視型であると認識される。また、画像処理の結果、開口部１２の中心位置が、画像中心からずれている場合には、内視鏡２の種別が斜視型であると認識され、ズレ量に応じて、傾斜角度が認識される。そして、スコープ種別認識部１１における認識結果は、駆動信号生成部１３に送られる。

駆動信号生成部１３においては、送られてきた内視鏡２の種別の情報に基づいて、マニピュレータ３の制御が切り替えられる。
そして、ホルダ６の貫通孔１０に挿入した内視鏡２をホルダ６に固定し、操作者が、操作部４を操作することにより、マニピュレータ３が駆動され、内視鏡２によって取得されモニタ７に表示されている画像Ｐ内における被写体Ｘの位置を変更することができる。

この場合において、本実施形態に係る医療用マニピュレータシステム１によれば、内視鏡２の種別の情報に基づいて、マニピュレータ３の制御が切り替えられるので、操作者は、装着されている内視鏡２の種別を意識することなく、操作部４に対する同じ操作によって、モニタ７に表示されている画像Ｐの位置を同じ方向に移動させることができる。

このように、本実施形態に係る医療用マニピュレータシステム１によれば、内視鏡２の種別に応じて操作者が操作部４に対する操作を変更する必要がないので、操作性を向上することができるという利点がある。また、内視鏡２に識別情報を持たせるのではなく、内視鏡２によって取得された画像Ｐにより種別を認識するので、既存の内視鏡２を用いても同様に操作性を向上することができる。

なお、本実施形態においては、内視鏡２の種別に応じて制御を切り替えることとしたが、これに代えて、認識した内視鏡２の種別を操作者に対して表示して、種別に合わせて、操作者が行う操作を変更させることにしてもよい。

また、本実施形態に係る医療用マニピュレータシステム１においては、ホルダ６の貫通孔１０の開口部１２をマーカとして利用することとしたが、これに代えて、貫通孔１０の内面にドット状の他のマーカ１６を付することにしてもよい。

また、図６Ａから図６Ｃに示されるように、貫通孔１０の長手方向に間隔をあけて２つのドット状のマーカ１７，１８を付しておき、手前側のマーカ１７が画像の最端部に配置されたときのマーカ１７，１８間の距離によって、直視型、３０°斜視型、４５°斜視型のように内視鏡２の種別を認識することにしてもよい。
すなわち、図７Ａから図７Ｃに示されるように、直視型の内視鏡２の場合のマーカ１７，１８間の距離が最も小さく、次いで、３０°斜視型、４５°斜視型の純にマーカ１７，１８間の距離が大きくなるので、これを検出することにより、簡易に内視鏡２の種別を認識することができる。

また、図８および図９Ａから図９Ｃに示されるように、ホルダ６の貫通孔１０に内視鏡２を挿入した状態で、内視鏡２の長手軸回りに内視鏡２を回転させることにより、貫通孔１０内面のドット状のマーカ１６が円弧状の移動軌跡を描いて移動する。したがって、その移動軌跡の半径を検出することによっても、内視鏡２の種別を簡易に認識することができる。

また、本実施形態においては、内視鏡２を挿入させる被挿入部材として、内視鏡２をマニピュレータ３に取り付ける際に挿入させる貫通孔１０を備えるホルダ６を例示したが、これに代えて、図１０に示されるように、患者の体表組織に、該体表組織を貫通して取付状態に配置されるトロッカ１９を採用してもよい。

図１０に示す例では、トロッカ１９が、内視鏡２を挿入させる貫通孔２０を備えるとともに、貫通孔２０の内面に、該内面から挿入された内視鏡２の外面までの距離を測定する距離センサ（外面位置検出部）２１を備えている。
距離センサ２１としては、光を射出して内視鏡２の外面で反射した反射光を受光する光学式のものを例示することができる。

このようにすることで、トロッカ１９の貫通孔２０に内視鏡２の先端を挿入していくと、貫通孔２０の内面から内視鏡２の外面までの距離が逐次検出されていくので、図１１Ａ及び図１１Ｂに示されるように、距離が順次変化する場合には斜視型、図１２Ａ及び図１２Ｂに示されるように、距離が急激に変化する場合には直視型であると認識することができる。

また、図１３Ａに示されるように、トロッカ１９に、内視鏡２の挿入量を検出するエンコーダ２２を設けておき、エンコーダ（挿入量検出部）２２により検出される挿入量と、距離センサ２１により検出される距離との関係から斜視型の傾斜角度を判別することにしてもよい。すなわち、図１３Ｂに示されるように、挿入量に対する距離のグラフの傾きによって、直接的に斜視型の内視鏡２の傾斜角度を認識することができる。

１医療用マニピュレータシステム
２内視鏡
３マニピュレータ
４操作部
５制御部
６ホルダ（被挿入部材、保持部）
１０，２０貫通孔
１１スコープ種別認識部
１２開口部（マーカ）
１６，１７，１８マーカ
１９トロッカ（被挿入部材）
２１距離センサ（外面位置検出部）
２２エンコーダ（挿入量検出部）

Claims

撮像部を備える内視鏡と、
該内視鏡を先端に保持して移動させるマニピュレータと、
操作者により操作指令を入力させる操作部と、
該操作部に入力された操作指令に基づいて前記マニピュレータを制御する制御部と、
前記内視鏡の使用に際して前記内視鏡を挿入させる貫通孔を有する被挿入部材と、
前記貫通孔に前記内視鏡が挿入された状態で該内視鏡により取得された前記貫通孔の内面を含む画像に基づいて前記内視鏡の種別を認識するスコープ種別認識部とを備える医療用マニピュレータシステム。
撮像部を備える内視鏡を先端に保持して移動させるマニピュレータと、
操作者により操作指令を入力させる操作部と、
該操作部に入力された操作指令に基づいて前記マニピュレータを制御する制御部と、
前記内視鏡の使用に際して前記内視鏡を挿入させる貫通孔を有するとともに、該貫通孔に挿入される前記内視鏡の外面の径方向位置を逐次検出する外面位置検出部を有する被挿入部材と、
前記貫通孔への前記内視鏡の挿入時に前記外面位置検出部により検出された外面の径方向位置の時間変化に基づいて前記内視鏡の種別を認識するスコープ種別認識部とを備える医療用マニピュレータシステム。
前記画像が、前記貫通孔の内面のマーカの画像を含み、
前記スコープ種別認識部が、前記画像内の前記マーカの位置に基づいて前記内視鏡の種別を認識する請求項１に記載の医療用マニピュレータシステム。
前記マーカが、前記貫通孔の開口部である請求項３に記載の医療用マニピュレータシステム。
前記スコープ種別認識部が、前記貫通孔に前記内視鏡を挿入した状態で、前記貫通孔に対して前記内視鏡をその長手軸回りに回転させることにより得られる前記マーカの移動軌跡に基づいて前記内視鏡の種別を認識する請求項３に記載の医療用マニピュレータシステム。
前記被挿入部材が前記貫通孔への前記内視鏡の挿入量を検出する挿入量検出部をさらに備え、
前記スコープ種別認識部が、前記挿入量検出部により検出された挿入量と該挿入量に対応して検出された前記径方向位置とに基づいて前記内視鏡の種別を認識する請求項２に記載の医療用マニピュレータシステム。
前記被挿入部材が、前記マニピュレータの先端に取り付けられ、前記内視鏡を保持する保持部である請求項１に記載の医療用マニピュレータシステム。
前記被挿入部材が、患者の体表組織を貫通して該体表組織に装着されるトロッカである請求項１に記載の医療用マニピュレータシステム。
前記スコープ種別認識部により認識された内視鏡の種別に基づいて、前記制御部が、前記操作部に入力された同じ操作指令に対して、前記撮像部の光軸が同じ方向に動作させられるように前記マニピュレータの制御を切り替える請求項１に記載の医療用マニピュレータシステム。