JP6619456B2

JP6619456B2 - 医療用マニピュレータシステムおよび医療用マニピュレータシステムの作動方法

Info

Publication number: JP6619456B2
Application number: JP2017561464A
Authority: JP
Inventors: 卓未磯田; 満彰長谷川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2016-01-14
Filing date: 2016-01-14
Publication date: 2019-12-11
Anticipated expiration: 2036-01-14
Also published as: US10959787B2; US20180325607A1; JPWO2017122322A1; WO2017122322A1

Description

本発明は、医療用マニピュレータシステムおよび医療用マニピュレータシステムの作動方法に関するものである。

体内に挿入した内視鏡により取得された画像を観察しながら、体内に挿入したマニピュレータに取り付けられた処置具により患部の処置を行う医療用マニピュレータシステムが知られている（例えば、特許文献１参照。）。
特許文献１の医療用マニピュレータシステムは、内視鏡により取得された実画像上に、演算により取得されたマニピュレータを半透明に合成した補助画像を重畳して表示している。補助画像は、制御部による動作指令に基づいて本来配置されるべきマニピュレータの位置を表示する。

米国特許出願公開第２０１４／１３５７９２号公報

特許文献１の医療用マニピュレータシステムは、内視鏡により取得された実画像のマニピュレータに、合成された半透明のマニピュレータの補助画像が重畳されているため、半透明の補助画像の透明度が低い場合には、補助画像によって実画像の一部が遮られ、手術の邪魔になる。一方、実画像の観察の邪魔にならない程度に半透明の補助画像の透明度が低い場合には、補助画像を視認することが困難になり、補助画像を重畳表示する意味がない。

本発明は、上述した事情に鑑みてなされたものであって、補助画像による実画像の遮断を最小限に抑えて、補助画像による必要な情報を提示することができる医療用マニピュレータシステムを提供することを目的としている。

本発明の一態様は、先端に処置部を有するマニピュレータと、該マニピュレータを制御する制御部と、前記マニピュレータによる前記処置部の処置状態を撮影する内視鏡と、前記マニピュレータに加わる外力を検出する外力検出部と、前記制御部による制御信号に基づく位置に前記マニピュレータの疑似画像を生成し、前記内視鏡により取得される実画像に重畳した合成画像を生成する画像生成部と、該画像生成部により生成された合成画像を表示する表示部とを備え、前記画像生成部が、前記外力検出部により検出された外力の大きさに基づいて、前記疑似画像の表示態様を変化させる医療用マニピュレータシステムである。

本態様によれば、マニピュレータおよび内視鏡を体内に挿入して患部に近接させ、内視鏡によってマニピュレータの処置部による患部の処置状態を撮影すると、取得された内視鏡の実画像が表示部に表示されるとともに、画像生成部によって生成されたマニピュレータの疑似画像が、実画像に重畳されて表示部に表示される。疑似画像は、制御部による制御信号に基づく位置に生成されるので、マニピュレータに外力がかかって移動が制限されると、実画像中のマニピュレータと疑似画像との間にズレが発生する。

この場合において、画像生成部は、外力検出部によって検出された外力の大きさに応じて疑似画像の表示態様を変化させるので、外力が大きい場合と外力が小さい場合とで表示態様を異ならせることができる。これにより、マニピュレータにかかる外力が大きい場合に、それとわかるように表示することができ、操作者に注意を喚起することができる。また、マニピュレータにかかる外力が小さい場合には目立たないように表示することで、疑似画像によって実画像が遮られないようにすることができる。

上記態様においては、前記画像生成部が、前記外力検出部により検出された外力の大きさが大きいほど、前記合成画像内において目立つように前記疑似画像の表示態様を変化させる。
このようにすることで、マニピュレータにかかる外力が大きいほど実画像内のマニピュレータと疑似画像とが乖離するので、疑似画像を目立たせて操作者に注意を喚起することができる。また、マニピュレータにかかる外力が小さい場合には目立たないように表示することで、疑似画像が実画像の邪魔にならないようにすることができる。

上記態様の一実施形態においては、前記画像生成部が、前記外力検出部により検出された外力の大きさが大きいほど、前記疑似画像の透明度を低くする。
このようにすることで、マニピュレータにかかる外力が大きくなると疑似画像の透明度が低くなるので、疑似画像を目立たせて操作者に注意を喚起することができる。また、マニピュレータにかかる外力が小さい場合には透明度を高くすることで、目立たないように表示することができ、疑似画像が実画像の邪魔にならないようにすることができる。

上記態様の他の実施形態においては、前記画像生成部が、前記外力検出部により検出された外力の大きさが大きいほど、前記疑似画像の色を目立つ色に変更する。
このようにすることで、マニピュレータにかかる外力が大きくなると疑似画像の色が目立つ色になるので、疑似画像を目立たせて操作者に注意を喚起することができる。また、マニピュレータにかかる外力が小さい場合には、疑似画像が目立たない色で表示され、疑似画像が実画像の邪魔にならないようにすることができる。

上記態様の他の実施形態においては、前記画像生成部が、前記疑似画像を線画により生成し、前記外力検出部により検出された外力の大きさが大きいほど、前記疑似画像の線を太く変更する。
このようにすることで、マニピュレータにかかる外力が大きくなると線画からなる疑似画像の線が太くなるので、疑似画像を目立たせて操作者に注意を喚起することができる。また、マニピュレータにかかる外力が小さい場合には、疑似画像の線を細くすることで、疑似画像が実画像の邪魔にならないようにすることができる。

また、上記態様においては、前記外力検出部が、前記実画像を処理して前記マニピュレータの位置を検出し、前記画像生成部により生成される前記マニピュレータの疑似画像の位置との差分によって前記外力を検出してもよい。
このようにすることで、内視鏡により取得された実画像が外力検出部によって処理されてマニピュレータの位置が検出され、画像生成部により生成されたマニピュレータの疑似画像の位置との差分が算出され、差分の大きさに応じて外力の大きさが検出される。これにより、特別なセンサを備えることなく、内視鏡画像を処理して、マニピュレータに加わる外力の大きさを検出することができる。

また、上記態様においては、前記マニピュレータが、ワイヤによって駆動され、前記外力検出部が、前記ワイヤの張力に基づいて、前記外力を検出してもよい。
このようにすることで、マニピュレータに外力がかかると、マニピュレータを駆動するワイヤの張力が増大するので、その張力を検出することによって外力を検出することができる。

本発明によれば、補助画像による実画像の遮断を最小限に抑えて、補助画像による必要な情報を提示することができるという効果を奏する。

本発明の第１の実施形態に係る医療用マニピュレータシステムを示す全体構成図である。図１の医療用マニピュレータシステムのオーバーチューブの先端部を示す斜視図である。図１の医療用マニピュレータシステムの制御部を説明するブロック図である。図１の医療用マニピュレータシステムの表示部に表示される画像例であり、外力が小さい場合を示す図である。図１の医療用マニピュレータシステムの表示部に表示される画像例であり、外力が中くらいの場合を示す図である。図１の医療用マニピュレータシステムの表示部に表示される画像例であり、外力が大きい場合を示す図である。本発明の第２の実施形態に係る医療用マニピュレータシステムを示す全体構成図である。

本発明の第１の実施形態に係る医療用マニピュレータシステム１について、図面を参照して以下に説明する。
本実施形態に係る医療用マニピュレータシステム１は、図１に示されるように、内視鏡２と、先端に処置部３を有するマニピュレータ４と、マニピュレータ４を制御する制御部５と、表示部６とを備えている。

内視鏡２およびマニピュレータ４は、患者の体内に挿入されるオーバーチューブ７のルーメン８，９にそれぞれ挿入されている。オーバーチューブ７を、その先端が患部Ｘに対向するように体内に挿入すると、図２に示されるように、オーバーチューブ７の先端に設けられたルーメン９の開口から突出させられた内視鏡２により患部Ｘを含む体内の画像を取得し、同じくルーメン８の開口から突出させられたマニピュレータ４の処置部３によって患部Ｘを処置することができるようになっている。

マニピュレータ４は、例えば、オーバーチューブ７のルーメン８内に挿入される軟性の挿入部１０と、該挿入部１０の先端に設けられた１以上の関節１１，１２を有する可動部１３と、可動部１３の先端に設けられた処置部３と、挿入部１０の基端に設けられ図示しないワイヤによって可動部１３を駆動する駆動部１４とを備えている。

制御部５は、図３に示されるように、操作者によって操作される操作部１５を介して入力された操作入力に基づいて駆動部１４を動作させる制御信号を生成する制御信号生成部（制御部）１６と、該制御信号生成部１６により生成された制御信号に基づいて、マニピュレータ４の疑似画像（補助画像）を生成するとともに、生成した疑似画像を内視鏡２による撮影により取得された実画像上に重畳した合成画像を生成する画像生成部１７と、内視鏡２により取得された実画像を処理してマニピュレータ４に加わる外力を検出する画像処理部（外力検出部）１８とを備えている。

画像生成部１７は、制御信号に基づいて、運動学方程式からマニピュレータ４の各関節１１，１２の位置を算出し、算出された位置に各関節１１，１２を配置したマニピュレータ４および処置部３の形状を表す疑似画像をコンピュータグラフィックにより生成するようになっている。
画像処理部１８は、内視鏡２により取得された実画像を画像処理して、実画像上に存在するマニピュレータ４の各関節１１，１２の位置を抽出し、抽出されたマニピュレータ４の各関節１１，１２の位置と、画像生成部１７により算出されたマニピュレータ４の各関節１１，１２の位置との差分を算出するようになっている。画像処理部１８は、算出されたいずれかの関節１１，１２の位置の差分の大きさによって、外力の大きさを検出して出力するようになっている。

そして、本実施形態に係る医療用マニピュレータシステム１においては、画像生成部１７は、画像処理部１８から出力された、マニピュレータ４にかかる外力の大きさに応じて、マニピュレータ４の疑似画像の透明度を変化させるようになっている。
すなわち、画像生成部１７は、画像処理部１８から出力された外力の大きさを閾値によって複数段階に選別し、最も小さいと判断される場合には、画像生成部１７は、疑似画像の透明度を最も高くし、外力の大きさが大きくなるにつれて、疑似画像の透明度を低くするように変化させるようになっている。

このように構成された本実施形態に係る医療用マニピュレータシステム１の作用について以下に説明する。
本実施形態に係る医療用マニピュレータシステム１を用いて患者の体内の患部Ｘを処置するには、先端を体内に挿入したオーバーチューブ７のルーメン８，９を介して、内視鏡２およびマニピュレータ４を挿入し、オーバーチューブ７の先端から露出させる。

内視鏡２の視野範囲内に患部Ｘを配置すると、内視鏡２により取得された実画像が表示部６に表示される。マニピュレータ４を挿入して、先端を内視鏡２の視野範囲内に配置することにより、マニピュレータ４の先端が表示部６に表示されるので、操作者は、表示部６を見ながら操作部１５を操作することにより、マニピュレータ４を動作させて、患部Ｘを処置することができる。

操作部１５が操作されて操作入力が入力されると、制御信号生成部１６によって制御信号が生成され、駆動部１４の作動によってマニピュレータ４の可動部１３が作動させられるとともに、画像生成部１７によって、制御信号に基づいてマニピュレータ４の疑似画像が生成される。
この場合において、マニピュレータ４の先端の処置部３が患部Ｘに接触していない状態、あるいは、マニピュレータ４の各部が体内の組織等に接触していない場合には、マニピュレータ４には大きな外力が作用しておらず、図４に示されるように、実画像上のマニピュレータ４と、制御信号から生成したマニピュレータ４の疑似画像とはほぼ同じ位置に表示される。

このため、画像処理部１８において算出される、実画像上のマニピュレータ４の位置と疑似画像のマニピュレータ４の位置との差分はゼロに近い。したがって、画像生成部１７は、マニピュレータ４にかかる外力が小さいと判定し、生成した疑似画像の透明度が高く設定され、疑似画像が目立たない表示形態にして、実画像に重畳した合成画像が生成される。
その結果、実画像上のマニピュレータ４に完全に重なる位置に表示される疑似画像が実画像を遮らないので、処置の邪魔になることがない。

一方、処置中にマニピュレータ４の先端の処置部３が患部Ｘに接触した状態で、マニピュレータ４を動作させると、患部Ｘからマニピュレータ４が受ける外力が増大する。このため、画像処理部１８において算出される、実画像上のマニピュレータ４の位置と疑似画像のマニピュレータ４の位置との差分が図５および図６に示されるように、増大していく。

したがって、画像生成部１７は、マニピュレータ４にかかる外力が大きいと判定し、生成した疑似画像の透明度が低く設定され、疑似画像を目立つ表示形態にして、実画像に重畳した合成画像が生成される。その結果、透明度の低い疑似画像が、実画像上のマニピュレータ４からずれた位置に表示され、操作者に、マニピュレータ４にかかる外力が増大したことを認識させることができる。

このように、本実施形態に係る医療用マニピュレータシステム１によれば、疑似画像の表示態様を変化させることにより、マニピュレータ４にかかる外力が小さいときには実画像を遮らず、外力が大きくなるに従って疑似画像を目立たせることにより、外力が大きくなったことを強調して操作者に知らせることができるという利点がある。

なお、本実施形態においては、複数の閾値によって疑似画像の透明度を複数段階に切り替えることとしたが、これに代えて、実画像のマニピュレータ４と疑似画像のマニピュレータ４との位置の差分に応じて連続的に透明度を切り替えることにしてもよい。

また、疑似画像の透明度を変更することに代えて、あるいはこれと共に、疑似画像の色を変化させることにしてもよい。マニピュレータ４にかかる外力が大きい場合には、疑似画像のマニピュレータ４を目立つ色に変えていき、外力が小さい場合には目立たない色に変えていくことにしてもよい。
例えば、赤色の多い体内の生体組織に対して目立つ色としては、赤の補色である緑色の強度を大きくして行くことにより、疑似画像を目立たせることができる。

また、疑似画像として、マニピュレータ４の輪郭あるいはマニピュレータ４の骨格を表す線画を採用する場合には、マニピュレータ４にかかる外力の大きさに応じて線の透明度や線の色を変化させることにしてもよいし、外力が大きいほど線を太くすることにしてもよい。

また、表示部６に表示される部分のマニピュレータ４の疑似画像を生成して、その疑似画像全体の表示形態を変更することとしたが、これに代えて、関節１１，１２毎に外力の大きさを判断して、関節１１，１２毎に表示形態を変更することにしてもよい。
また、外力のかかっている方向に矢印を表示し、外力の大きさに応じて矢印の長さや太さを変更することにしてもよい。

また、本実施形態においては、画像処理部１８において、実画像を画像処理して実画像上のマニピュレータ４の位置を抽出し、画像生成部１７において生成された疑似画像の位置との差分を算出することによってマニピュレータ４にかかる外力の大きさを検出することとしたが、これに代えて、他の任意の方法によって外力の大きさを検出することにしてもよい。例えば、マニピュレータ４にかかる外力が増大すると、可動部１３を駆動しているワイヤの張力が増大するので、その張力の大きさから外力の大きさを推定することにしてもよい。

また、マニピュレータ４の各関節１１，１２に角度センサあるいは歪みゲージ等のセンサを配置できる場合には、センサの出力によってマニピュレータ４にかかる外力を検出することにしてもよい。

次に、本発明の第２の実施形態に係る医療用マニピュレータシステム２０について図７を参照して説明する。
本実施形態に係る医療用マニピュレータシステム２０は、図７に示されるように、硬性のマニピュレータ２１を採用している点で、第１の実施形態の医療用マニピュレータシステム１と異なっている。したがって、本実施形態においては、医療用マニピュレータシステム２０の構成について主に説明し、第１の実施形態と共通する構成については、同一の符号を付して説明を省略する。

医療用マニピュレータシステム２０は、図７に示されるように、内視鏡２と、マニピュレータ２１と、腹腔（体腔）Ａ内の臓器Ｂを圧排する圧排具２２と、圧排具２２、内視鏡２およびマニピュレータ２１を挿入するトロッカ２３と、圧排具２２、内視鏡２およびマニピュレータ２１の各々の基端部分を体外において保持する多関節の電動アーム２４，２５，２６と、操作者によって操作される操作部１５と、制御部５と、表示部６とを備えている。

マニピュレータ２１は、腹腔Ａ内に挿入可能な細長い挿入部２８と、可動部１３と、駆動部１４とを備えている。
制御部５の制御信号生成部１６は、操作部１５に入力された操作入力に基づいて電動アーム２４，２５，２６の関節を動作させる制御信号を生成するようになっている。

操作者によって操作部１５に操作入力が入力されると、その操作入力に対応する信号が制御部５の制御信号生成部１６へ送信され、制御信号生成部１６が受信した信号に基づいて関節を動作させる制御信号を生成し、生成された制御信号に基づいて電動アーム２４，２５，２６が作動するようになっている。これにより、操作者は、体腔内に挿入されている圧排具２２、内視鏡２およびマニピュレータ２１を、操作部１５を介して遠隔操作することができるようになっている。

さらに、制御信号生成部１６は、電動アーム２４，２５，２６に設けられた、各関節の回転角度を検出する図示しないエンコーダから検出値を受信し、受信したエンコーダの検出値に基づいて体腔内における圧排具２２、内視鏡２およびマニピュレータ２１の位置および姿勢を計算する。そして、制御信号生成部１６は、算出した内視鏡２およびマニピュレータ２１の位置および姿勢に基づいて圧排具２２を移動させるように、該圧排具２２を保持している電動アーム２４の関節を動作させる制御信号を生成する。具体的には、制御信号生成部１６は、内視鏡２およびマニピュレータ２１が圧排具２２へ接近して該圧排具２２との間の距離が所定の閾値未満になったときに、圧排具２２を内視鏡２またはマニピュレータ２１から遠ざける方向へ移動させるように、電動アーム２４の関節を動作させる制御信号を生成する。

このように構成された医療用マニピュレータシステム２０によれば、腹腔Ａ内の内視鏡２およびマニピュレータ２１を操作して処置を行っている最中にマニピュレータ２１が圧排具２２に近づくと、圧排具２２がマニピュレータ２１から遠ざかるように自動的に移動することによってマニピュレータ２１の近傍に位置していた臓器Ｂがさらに圧排され、マニピュレータ２１の処置空間が新たに確保される。同様に、内視鏡２が圧排具２２に近づくと、圧排具２２が内視鏡２から遠ざかるように自動的に移動して内視鏡２の視野が確保される。このように、圧排具２２と同時に使用される他の医療器具の動作と協調するように圧排具２２を移動させることによって、手術のさらなる効率化を図ることができるという利点がある。

この場合において、本実施形態に係る医療用マニピュレータシステムによれば、画像生成部１７によって、制御信号に基づいてマニピュレータ２１および圧排具２２の疑似画像が生成される。そして、画像処理部１８において算出される、実画像上のマニピュレータ２１および圧排具２２の位置と疑似画像のマニピュレータ２１および圧排具２２の位置との差分に基づいて疑似画像の透明度が設定される。

その結果、実画像上のマニピュレータ２１および圧排具２２に完全に重なる場合には透明度が高く設定されて、疑似画像が実画像を遮らないので、処置の邪魔になることがない。逆に、処置中にマニピュレータ２１および圧排具２２の先端等が患部Ｘに接触した状態で、マニピュレータ２１および圧排具２２を動作させると、患部Ｘからマニピュレータ２１および圧排具２２が受ける外力が増大する。このため、画像処理部１８において算出される、実画像上のマニピュレータ２１および圧排具２２の位置と疑似画像のマニピュレータ２１および圧排具２２の位置との差分が増大していく。

この場合には、画像生成部１７は、マニピュレータ２１および圧排具２２にかかる外力が大きいと判定し、生成した疑似画像の透明度を低く設定し、疑似画像を目立つ表示形態にして、実画像に重畳した合成画像を生成する。その結果、透明度の低い疑似画像が、実画像上のマニピュレータ２１および圧排具２２からずれた位置に表示され、操作者に、マニピュレータ２１および圧排具２２にかかる外力が増大したことを認識させることができる。

１，２０医療用マニピュレータシステム
２内視鏡
３処置部
４，２１マニピュレータ
２２圧排具（マニピュレータ）
６表示部
１６制御信号生成部（制御部）
１７画像生成部
１８画像処理部（外力検出部）

Claims

先端に処置部を有するマニピュレータと、
該マニピュレータを制御する制御部と、
前記マニピュレータによる前記処置部の処置状態を撮影する内視鏡と、
前記マニピュレータに加わる外力を検出する外力検出部と、
前記制御部による制御信号に基づく位置に前記マニピュレータの疑似画像を生成し、前記内視鏡により取得される実画像に重畳した合成画像を生成する画像生成部と、
該画像生成部により生成された合成画像を表示する表示部とを備え、
前記画像生成部が、前記外力検出部により検出された外力の大きさが大きいほど、前記疑似画像の透明度を低くするように前記疑似画像の表示態様を変化させる医療用マニピュレータシステム。
先端に処置部を有するマニピュレータと、
該マニピュレータを制御する制御部と、
前記マニピュレータによる前記処置部の処置状態を撮影する内視鏡と、
前記マニピュレータに加わる外力を検出する外力検出部と、
前記制御部による制御信号に基づく位置に前記マニピュレータの疑似画像を生成し、前記内視鏡により取得される実画像に重畳した合成画像を生成する画像生成部と、
該画像生成部により生成された合成画像を表示する表示部とを備え、
前記画像生成部が、前記外力検出部により検出された外力の大きさが大きいほど、前記疑似画像の色を目立つ色に変更するように前記疑似画像の表示態様を変化させる医療用マニピュレータシステム。
先端に処置部を有するマニピュレータと、
該マニピュレータを制御する制御部と、
前記マニピュレータによる前記処置部の処置状態を撮影する内視鏡と、
前記マニピュレータに加わる外力を検出する外力検出部と、
前記制御部による制御信号に基づく位置に前記マニピュレータの疑似画像を生成し、前記内視鏡により取得される実画像に重畳した合成画像を生成する画像生成部と、
該画像生成部により生成された合成画像を表示する表示部とを備え、
前記画像生成部が、前記疑似画像を線画により生成し、前記外力検出部により検出された外力の大きさが大きいほど、前記疑似画像の線を太く変更するように前記疑似画像の表示態様を変化させる医療用マニピュレータシステム。
前記外力検出部が、前記実画像を処理して前記マニピュレータの位置を検出し、前記画像生成部により生成される前記マニピュレータの疑似画像の位置との差分によって前記外力を検出する請求項１から請求項３のいずれかに記載の医療用マニピュレータシステム。
前記マニピュレータが、ワイヤによって駆動され、
前記外力検出部が、前記ワイヤの張力に基づいて、前記外力を検出する請求項１から請求項３のいずれかに記載の医療用マニピュレータシステム。
先端に処置部を有するマニピュレータと、
該マニピュレータを制御する制御部と、
前記マニピュレータによる前記処置部の処置状態を撮影する内視鏡と、
前記マニピュレータに加わる外力を検出する外力検出部と、
を備える医療用マニピュレータシステムの作動方法であって、
前記制御部による制御信号に基づく位置に前記マニピュレータの疑似画像を生成する工程と、
前記内視鏡により実画像を取得する工程と、
前記外力検出部により検出された前記外力の大きさに基づいて、前記疑似画像の表示態様を変化させる工程と、
前記疑似画像を前記実画像に重畳した合成画像を生成する工程と、
生成した合成画像を表示部へ送信する工程と、を含み、
前記疑似画像の表示態様を変化させる工程において、前記外力の大きさが大きいほど、前記疑似画像の透明度を低くするように前記疑似画像の表示態様を変化させる医療用マニピュレータシステムの作動方法。
先端に処置部を有するマニピュレータと、
該マニピュレータを制御する制御部と、
前記マニピュレータによる前記処置部の処置状態を撮影する内視鏡と、
前記マニピュレータに加わる外力を検出する外力検出部と、
を備える医療用マニピュレータシステムの作動方法であって、
前記制御部による制御信号に基づく位置に前記マニピュレータの疑似画像を生成する工程と、
前記内視鏡により実画像を取得する工程と、
前記外力検出部により検出された前記外力の大きさに基づいて、前記疑似画像の表示態様を変化させる工程と、
前記疑似画像を前記実画像に重畳した合成画像を生成する工程と、
生成した合成画像を表示部へ送信する工程と、を含み、
前記疑似画像の表示態様を変化させる工程において、前記外力の大きさが大きいほど、前記疑似画像の色を目立つ色に変更するように前記疑似画像の表示態様を変化させる医療用マニピュレータシステムの作動方法。
先端に処置部を有するマニピュレータと、
該マニピュレータを制御する制御部と、
前記マニピュレータによる前記処置部の処置状態を撮影する内視鏡と、
前記マニピュレータに加わる外力を検出する外力検出部と、
を備える医療用マニピュレータシステムの作動方法であって、
前記制御部による制御信号に基づく位置に前記マニピュレータの疑似画像を生成する工程と、
前記内視鏡により実画像を取得する工程と、
前記外力検出部により検出された前記外力の大きさに基づいて、前記疑似画像の表示態様を変化させる工程と、
前記疑似画像を前記実画像に重畳した合成画像を生成する工程と、
生成した合成画像を表示部へ送信する工程と、を含み、
前記疑似画像を線画により生成し、
前記疑似画像の表示態様を変化させる工程において、前記外力の大きさが大きいほど、前記疑似画像の線を太く変更するように前記疑似画像の表示態様を変化させる医療用マニピュレータシステムの作動方法。