JP7201998B2 - 手術トレーニング装置 - Google Patents

Description

特許法第３０条第２項適用 平成３０年９月１８日 「腹腔鏡手術の追体験トレーニングシステムのための鉗子位置再現性における遭遇型力触覚の効果」に関する情報を、第２３回バーチャルリアリティ学会予稿集のウェブサイト（（Ａ）ｈｔｔｐ：／／ｃｏｎｆｅｒｅｎｃｅ．ｖｒｓｊ．ｏｒｇ／ａｃ２０１８／ （Ｂ）ｈｔｔｐ：／／ｃｏｎｆｅｒｅｎｃｅ．ｖｒｓｊ．ｏｒｇ／ａｃ２０１８／ｐｒｏｇｒａｍ／ （Ｃ）ｈｔｔｐ：／／ｃｏｎｆｅｒｅｎｃｅ．ｖｒｓｊ．ｏｒｇ／ａｃ２０１８／ｐｒｏｇｒａｍ２０１８／ （Ｄ）ｈｔｔｐ：／／ｃｏｎｆｅｒｅｎｃｅ．ｖｒｓｊ．ｏｒｇ／ａｃ２０１８／ｐｒｏｇｒａｍ２０１８／ｐｄｆ／１１Ｅ－２．ｐｄｆ）にて公開

本発明は、内視鏡カメラを用いた体腔鏡手術の訓練を支援する手術トレーニング装置に関する。

腹腔内に内視鏡カメラと鉗子等を挿入して行われる外科手術である腹腔鏡下手術は、開腹手術に比べ低侵襲であるため患者への負担が少なく、今日、多くの医療機関に採用され普及が進んでいる。しかし、鉗子の挿入孔（トロカー）が“てこ”の支点のように働くため独特な操作が必要であり、また、モニタを通じて腹腔内を見ながら手術を行うため、方向・スケールの変換（hand-eye coordination）への適応といった特有の技能が求められることから手術難度が高い。そのため医学生の訓練には熟練医が側に付き指導することが望まれているが、腹腔鏡下手術の指導力を持った熟練医が十分に存在していないのが現状である。腹腔鏡手術を執り行う手法については、ロボット支援手術による手法もあるが、現状では腹腔鏡手術よりも有意に優れた手法であるとはいえず、今後も多くの医療機関で主要な手術手法として採用されると考えられる。また、熟練医不足の問題解決に向けて、視野共有手法を用いた腹腔鏡手術トレーニングシステムが提案されている（例えば特許文献１，２）。

視野共有手法を応用した追従型トレーニングシステムは、熟練者の動作と自身の動作とを共有視野内で重畳させることで、誤差のリアルタイムフィードバックを得ることができるため、常に自身の動作を熟練者の動作に重ね合わせることができる。そのため、通常の訓練手法の手順である「見る、覚える、実演する、修正する」という４ステップのうち、「覚える」ことを不要とし、さらに「見る、実演する、修正する」を同時に行うことができる。近年のバーチャルリアリティ技術の発展に伴い、医療分野におけるシミュレータとして視野共有手法を応用した腹腔鏡追従型トレーニングシステムが提案されている。

国際公開 Ｗ０２０１５／０９７８２５ 特開２０１６－１４８７６５

しかしながら、特許文献１，２に記載のトレーニング方法は、基本的な結紮・縫合スキルの習得に関わるものであり、奥行方向の追従性を含む、手術に必要なスキルを包括的に獲得するための方法、装置を提示したものではない。

また、前記した視野共有手法を採用する場合、教材として手術環境を再現することが望ましい反面、複雑な腹腔内を再現するのは容易ではない。さらに、腹腔鏡手術はモニタを見て行うため、奥行きの把握が難しく、実手術では臓器に触れる力触覚（probing：プロービング）が奥行きの情報を補っていると考えられる。すなわち、熟練者の実手術映像に練習者の鉗子を重畳することでスキルを効率的に学習する追体験型の腹腔鏡手術トレーニング装置では、モニタを通して術野を見ながら手術を行うため、モニタ上におけるモニタ面方向の追従性に比べ、モニタの奥行方向の追従性の精度が低いという課題がある。実際の手術では、モニタの奥行方向を視覚と触覚の両方を利用して獲得していると考えられることから、熟練者と同程度のスキルを獲得するためには、腹腔鏡追従型トレーニングシステムでも訓練者に腹腔内の空間を把握させて奥行きの情報を補って、実手術と同様に触覚による空間把握を学習させる必要がある。

触覚提示の方法としては、腹腔内と同一の模型を作成し再現する手法や、すべて仮想的な環境で再現するバーチャルリアリティシミュレータのような手法が存在する。しかし、腹腔内の模型を訓練に必要な個数だけ作成することは、費用の面でも、技術的にも困難である。バーチャルリアリティシミュレータも１台のサイズは大きく、費用も高額となるため、十分な台数を用意することは難しい。熟練医が不足しており、速やかな熟練医の養成が喫緊の課題であるため、訓練可能な装置は複数台必要となると考えられることから、全てを仮想環境で再現する手法を採用することは、コスト的な面から実現困難である。

本発明は、上記に鑑みてなされたもので、プロービングを遭遇型力触覚提示器で再現することで、モニタ奥行方向に対する高い位置把握性を可能にする手術トレーニング装置を提供するものである。

本発明に係る手術トレーニング装置は、予め内視鏡カメラで撮影された、手術器具を用いて行われる生体への施術の教材映像に、練習用カメラで撮影中の練習映像をモニタ上で合成して表示し、前記教材映像中の手術器具の映像の動きに重なるように練習用の手術器具を操作する手術トレーニング装置において、表面に弾性層を有する凹面を備えた模擬体と、前記模擬体を３次元空間内で移動させる駆動部とを有する、プロービングのための遭遇型力触覚提示器と、制御部とを備えている。制御部は、前記教材映像中の前記プロービングによる生体面との接触位置に対応する３次元空間上の位置を空間座標位置とし、かつ前記接触位置における生体面の角度に対応する前記模擬体の凹面上の位置を表面座標位置とし、前記空間座標位置に前記表面座標位置を合わせるように前記模擬体を前記プロービングの映像の再生前に移動させる。

本発明によれば、空間３自由度の制御でありながら、ロール回転を除く空間５自由度の表現が可能となる。また、ロール回転は、点接触の場合、形状認識には何ら寄与しないため、空間における必要なすべての自由度が表現可能である。本提示手法によって、従来手法では考慮されなかった弾性を持つ物体との接触、空間３自由度の平行移動制御による空間５自由度表現が可能となり、バーチャルリアリティ環境における物体形状の錯覚を体験させることが可能となる。腹腔鏡追従型トレーニングにおいては、トレーニング中に実際には存在しない内臓壁に鉗子等の手術器具を通して触れていると錯覚する。さらに、内臓壁に触れた触覚が得られることで、熟練医と同様にモニタ奥行きの空間位置をより高い精度で把握し、熟練医のスキルを獲得できる。

また、前記模擬体の凹面を所定の曲率を有する曲面とすることで、移動制御のみでプロービング時の生体との種々の接触角度が再現可能となる。

また、前記模擬体の凹面を半楕円形状とすれば、周方向の全ての角度が実現可能となる。

また、前記駆動部としてパラレルリンク機構を採用することで、簡易でありながら操作性の高い機構が構成される。

また、前記駆動部は、プロービング期間中、前記模擬体を静止させるように制動を駆けることで、プロービング時の不用意な移動が抑止される。

また、前記駆動部は、プロービング期間終了後、前記模擬体を３次元空間内で前記手術器具から離れた方向の所定の退避位置に移動させる。この構成によれば、プロービング期間以外での手術器具の操作中に、手術器具が不用意に模擬体に接触するというような不都合が阻止される。

また、前記模擬体の表面を黒色とすることで、簡易な方法で、練習用カメラで撮像された練習画像内から模擬体を視認困難にして教材映像内の手術対象部位等の内臓側の映像を練習者に効果的乃至より確実に提示することが可能となる。

また、本発明は、前記練習用の手術器具と前記模擬体との接触を検知する接触検知部を備えたものである。この構成によれば、プロービング操作の成否が確認可能となる。

本発明によれば、プロービングを遭遇型力触覚提示器で再現することで、モニタ奥行方向に対する、より高い位置把握性を可能にする。

本発明に係る手術トレーニング装置の一実施形態を示す概略構成図である。 遭遇型力触覚提示器の一実施形態を示す図で、（ａ）は遭遇型力触覚提示器の側面視の概略構成図、（ｂ）はプロービングに対して遭遇型力触覚を提示する模擬体と模擬体基準の座標系を説明する図である。 内視鏡カメラで撮像された教材映像中のプロービングの位置に対応させて模擬体による遭遇型力触覚提示の座標関係を説明する図である。 練習用カメラの支持構造の側面視の概略構成図である。 本発明に係る手術トレーニング装置の一実施形態を示すブロック図である。 プロービング履歴を記憶するメモリマップの一例を示す図である。 練習用カメラの移動とモニタ映像との関連の一例を示す映像図で、（ａ）は練習用カメラの進入が浅い状態、（ｂ）はより深く進入した状態である。 練習支援処理の手順の一例を示すフローチャートである。 練習評価処理の手順の一例を示すフローチャートである。 遭遇型力触覚提示の有無と位置エラーとの関係を示す図で、（ａ）は遭遇型力触覚提示が有る場合、（ｂ）は遭遇型力触覚提示が無い場合である。 プロービング時刻に関する各軸の誤差量を示す図で、（ａ）はＸ軸、（ｂ）はＹ軸、（ｃ）はＺ軸の場合である。

まず、本発明の背景と概要について説明する。視野共有手法を応用した追従型の手術トレーニング装置は、練習者の操作する手術器具、例えば鉗子をロボットの先に取り付けられたカメラで撮影し、その映像をモニタに再生中の、手術の録画映像（教材映像）と重畳させ、練習者が熟練医の鉗子を追いかけることでトレーニングを行うものである。この際、練習者の鉗子を映すカメラの位置は予め計測などされており、手術時に撮像し、予め計測などされた各時刻における位置、姿勢と同じように移動するように制御され、練習者の鉗子は常に熟練医の行った手術と同一の位置から腹腔内に挿入されているかのように画面内に重畳することができる。これにより、練習者は熟練医の鉗子の動きを常に追い続けることができ、なめらかな動きなどのスキルを習得することが可能となる。練習用のカメラが位置３次元の自由度を持つロボットを採用する場合、すなわち、光軸まわりの回転を再現できない態様では、練習映像では撮影した練習者の鉗子映像を教材映像と一致する向き（角度）になるように描画プログラム内で画像を回転させて合成させた。

手術トレーニング装置は、熟練医の手術映像に練習者の鉗子を重ね合わせて追従することで手術を追体験するかたちで学習を進めることが可能であるが、手術映像が２次元であるため、奥行き情報は画像上の鉗子の大きさでのみ判断することから、追従する精度は、モニタ面方向に比して欠落している。また、触覚に関するフィードバック手法を採用する前は、手本映像内で熟練医が電子メス（鉗子の一例）で直接内臓に触れることで得られていた触覚情報の追体験、ひいてはそこから推測されうる奥行き情報の獲得は困難であった。そこで、遭遇型力触覚提示器を用いて、内臓の位置の再現を試みた。本来の遭遇型力触覚提示器は、ユーザの位置を計測し、ユーザがバーチャル環境内で物体に触れる前に、内臓壁に見立てた模擬体を、目標とする位置・姿勢で待機させておくものである。そして、接触中のユーザの動きに合わせて模擬体を移動させることで、様々な形状を表現できる。腹腔鏡手術における鉗子の内臓壁との遭遇を表現する場合、接触点は軟体である必要がある。一方、軟体との接触中に模擬体が移動すると、想定していない牽引力がユーザに与えられることがありえる。そのため、鉗子との接触中は模擬体を静止させることが望ましい。

鉗子のモニタ面奥行方向への追従を改善するに当って、鉗子のモニタ面奥行方向への移動に関して内臓壁との遭遇を実現するようにした。すなわち、鉗子に触覚を提示する場面としてプロービング（Probing）動作を利用することとした。プロービングとは、鉗子を内臓壁に押しつけて内臓壁の状態を把握する操作であり、腹腔鏡手術において重要な操作であるとされる。なお、本プロービングは画面奥行方向乃至奥行成分を有する方向への作業をいう。

手術トレーニングにおいて、モニタ面方向への追従は奥行方向に比べて容易であり、プロービングのシーンに限れば、内臓壁全体のうち、練習者の鉗子先端が通過する（押し当てる）部分は、ある半径の円内に収まることが予備的に行った実験から予想できている。

本手術トレーニング装置は、プロービングに関して、内臓壁と接触する鉗子の位置の計測を行わず、各プロービング操作の時刻には、それぞれの内臓壁の位置で模擬体を待機させるように移動制御させる。

図１は、本発明に係る手術トレーニング装置１０の一実施形態を示す概略構成図である。手術トレーニング装置１０は、手術姿勢での高さに合うような脚を有するテーブル形状の基部２を備え、主要な構成部は、そのテーブルの面上に配設されている。手術トレーニング装置１０は、練習空間及び手術状態を再現するための部材を備えた練習器具部３、練習器具部３の近傍に配置され、練習空間を撮像する練習用カメラ４０を移動可能に支持する撮像部４、教材映像及び練習用カメラの撮像映像を合成表示するモニタ５、及び模擬体６０を移動可能に支持する遭遇型力触覚提示器６を備えて構成されている。

練習器具部３は、テーブル面の一端側、この例では左部にＴ字状の支持部材３１が立設され、所定高さで左右に延設されたアーム部にトロカーを機能的に模擬した円筒状の環状体３２，３２が所定距離だけ離間して取り付けられている。トロカーとは、手術患者の腹部に開けられる円孔に設けられる環状の部材で、鉗子（電子メス等含む）などの手術器具、また内視鏡カメラを腹腔内に対して抜き差しするものである。図１では、電子メス３３と鉗子３４（以下、便宜上、鉗子３３，３４という。）とが差し込まれた状態を想定している。鉗子３３，３４の先端付近の空間は、手術空間を想定した練習空間となる。鉗子３３は、長尺体の先端部に高周波電流を供給して患部を加熱切開する電子メスに対応するもので、切開、切除等の前において当該部位乃至その周辺部位の位置、状態を把握、確認するためのプロービングを行うものとしても用いられる。なお、鉗子３３，３４は実物の他、練習用の模擬器具を採用してもよい。

撮像部４は、先端に内視鏡カメラに対応する練習用カメラ４０と撮像部位を照らす照明用の光源４０１とを備えている。撮像部４の本体筐体部４Ａ（図４参照）には、図４で詳述する駆動機構部が配設されている。練習用カメラ４０は、練習時に鉗子３３，３４の手術器具の動きを撮像して、モニタ５を介して練習者に練習空間、練習状況を観察可能にする。

モニタ５は、練習器具部３で練習する練習者の前方に対向させて所定高さに設定された表示画面を備えている。モニタ５には、教材映像及び練習用カメラ４０で撮像された練習映像が合成表示される。合成表示方法は、視野共有手法であれば種々の表示形態が採用可能であり、時分割方式や半透明合成方式が好ましい。なお、モニタ５に表示される教材映像の空間は、左右方向をＸ軸、上下方向をＹ軸、奥行方向をＺ軸としている。モニタ５は設置式の他、頭部装着型ＨＭＤ（Head Mount Display）でもよい。

遭遇型力触覚提示器６は、先端に生体内臓を模擬した模擬体６０を備えている。遭遇型力触覚提示器６の本体筐体部６Ａ（図２参照）には、図２で詳述する駆動機構部が配設されている。模擬体６０は、練習器具部３の練習空間に対して出没可能に駆動される。

図２は、遭遇型力触覚提示器６の一実施形態を示す図で、（ａ）は遭遇型力触覚提示器６の側面視の概略構成図、（ｂ）はプロービングに対して遭遇型力触覚を提示する模擬体６０と模擬体基準の座標系を説明する図である。

図２（ａ）において、遭遇型力触覚提示器６は、基部２の上部に配置され、本実施形態では、機構部６２として、公知のパラレルリンク機構が採用されている。遭遇型力触覚提示器６は、本体筐体部６Ａに支持された円盤状の基礎部６１と、基礎部６１の側面に支持された機構部６２と、機構部６２を可動させるアクチュエータとしてのモータ６３と、機構部６２の先端に、取付部材６４を介して取り付けられた模擬体６０とを備えている。

機構部６２は、基礎部６１の側面に、基点まわりに回動可能に連結された駆動リンク６２１、駆動リンク６２１に球状ジョイント６２２を介して連結された受動リンク６２３、及び受動リンク６２３に球状ジョイント６２４を介して連結された可動板６２５を備えている。モータ６３は、基礎部６１に連結された機構部６２の長さ寸法を伸縮させるシリンダ構造のアクチュエータでもよい。なお、機構部６２、モータ６３は、それぞれ３軸分の構成を備えている。模擬体６０は、前面側が凹面、例えば半楕円球形状の凹面を有し、楕円頂部となる後部の外面側で取付部材６４に連結されている。凹面は、半楕円球形状の他、放物面又は双曲面を有するもの、また曲率を有する、すなわち連続的に表面角度が変化するような曲面を備えたものが望ましい。

模擬体６０は、例えば樹脂材乃至金属性の板材で構成され、その凹面側の表面には、生体内臓の軟性、弾力性に近い状況、すなわち手術器具を介しての同様な接触感を再現するべく、弾力を有する樹脂材、ゲル状材料が塗布乃至貼着された弾性層６０１が形成されている。さらに、粘着性材が含まれていてもよい。また、模擬体６０の重量、あるいはモータ６３による模擬体６０の制動力（剛性）を調整することで、内臓壁により近い状況に近づけることが可能となる。

また、模擬体６０は、練習空間に位置しており、練習用カメラ４０の画角内に入り、撮像されるため、そのままでは実手術の教材映像と合成されてモニタ５に表示される。従って、練習者が適切に練習を行えるためには、模擬体６０がモニタ上で視認できず、一方、操作する鉗子３３，３４は光反射性を上げるなどの視認性向上処理を表面に施して明瞭に視認できるようにする必要がある。そこで、模擬体６０の表面を、例えば黒色のつや消しラッカーをスプレー等で塗装し、一方、鉗子先端側等に反射材を塗布し、練習用カメラ４０の撮像の設定において明るさ、コントラスト、ホワイトバランス等の調整が行われていることが望ましい。これにより、モニタ５には練習用カメラ４０が撮像した映像信号が画像合成ソフトウェアによる加工無しで重畳され、映像の遅延を最小限に抑えた環境で、教材映像の内臓画像と鉗子画像の上に、練習用の鉗子３３，３４のみの画像を視認可能に表示することができる。

取付部材６４、すなわち模擬体６０は、各軸のモータ６３の駆動によって空間上での任意の位置と向きとが設定可能にされる。なお、本実施形態で示すように、模擬体６０の凹面を軸対称に形成する態様では、後述するようにすべての向きの設定が可能となる。

凹面型の模擬体６０を使用する方法では、小さな装置の位置制御のみによって任意の形状、すなわち向き（表面の角度）を提示することが可能である。手術トレーニング装置１０では鉗子を用いるため、内臓壁の模擬形状として半楕円球の凸面側を採用した場合には、鉗子３３の進入角度によっては接触しない場合がある。すなわち、内臓壁の模擬形状が凸面の接触点の接線の傾きより鉗子３３の進入軸方向が楕円の中心から外側に大きくなったとき、接触の失敗を起こす。一方、内臓壁の模擬形状が凹面の場合、接触しうる全ての点における接線方向と鉗子３３の進入軸方向とは必ず交わるため、凸面型における失敗条件が存在しない。模擬体６０のように、形状を半楕円球の凹面とすることで、接触点の傾きを連続で変化させることができ、かつ模擬体６０の位置制御のみで接触物（鉗子３３）に対し、任意の角度を提示可能であるため、接触物と模擬体６０の位置ずれが起きた場合でも、その傾き誤差は小さい。また、半楕円球(厳密には接触点)の曲率が小さいほど接触点とその近傍との差は小さくなり、リアリティは損なわれにくくなる。なお、模擬体６０の曲率、サイズは、本手法を用いる環境に応じて設計可能である。

また、模擬体６０を半楕円球とすることで、凹面が連続した傾きを持ことから姿勢の制御が不要になり、位置制御のみで空間５自由度を表現可能となる。よって、遭遇型力触覚を半楕円球型によって提示することで、任意の傾きを持つ点を空間３自由度の移動で空間５自由度を表現することが可能となる。この半楕円球型を用いて提示する手法は、模擬体６０の制御の自由度を空間３自由度に抑えることができ、かつ従来の手法では獲得できなかった弾性を持つ物体の形状を人に錯覚させ、腹腔鏡追従型トレーニングにて練習者のモニタ奥行きの学習が進むと考えられる。このように、本実施形態に係る手法は、形状の認識に必要な平行移動及び回転の自由度を平行移動のみで表現できる、すなわち空間５自由度が３自由度の制御で表現可能とするものである。

図２（ｂ）に示すように模擬体６０の空間座標系を定義したとき、接触させたい角度（θ、φ）（0≦θ≦π，0≦φ≦π）が定まれば、模擬体６０の凹面の空間座標（x,y,z）は、次式（１）によって一意に定まる。

ｐ(x,y,z)＝(ｒ(１－sinθ sinφ),ｒcosθ cosφ,ｒcosθ)・・(1)
また、遭遇型力触覚提示器６及び模擬体６０の設計の際には、取付部材６４から原点Ｏへのベクトルをオフセット分として入力するだけでよいため、実応用の際にも空間３自由度の設定で済む。

接触する角度（θ、φ）とは、言い換えれば、返す力の方向ベクトルということに他ならない。すなわち、弾性力は、接触点の法線方向に力を返し、接触点のせん断方向に摩擦力として力が発生する。

図３は、内視鏡カメラで撮像された教材映像中のプロービングの位置に対応させて模擬体による遭遇型力触覚提示の座標関係を説明する図である。より詳細には、図３では、内視鏡カメラで撮像された教材映像Ｌｂ中のプロービングの位置Ｑｐを計測乃至マニュアルで指定して取得し、内視鏡カメラの１又は複数の位置の撮像画像、及び内視鏡カメラの１又は複数の位置に対応する実空間位置とその姿勢とから、プロービングの実空間位置Ｐ（Ｘ，Ｙ，Ｚ）と姿勢である表面Ｏｒの角度（α、β）を取得する。次いで、前記表面角度（α、β）に対応する（一致する）角度（θ、φ）となる模擬体６０の表面座標Ｓ（x,y,z）、及び模擬体６０を移動させて前記表面座標Ｓの位置をプロービングの実空間位置Ｐ（Ｘ，Ｙ，Ｚ）に合わせる（すなわち移動制御させる）ようにする遭遇型力触覚提示の手法を示している。プロービング位置の角度（α、β）を模擬体６０の表面角度（θ、φ）と対応させることで、プロービング時の感触、例えば弾性層６０１への押しつけに起因して生じる、面方向への弾性変形や応力がよりリアルに再現可能となる。

図４は、練習用カメラ４０の支持構造の側面視の概略構成図である。撮像部４は、本体筐体部４Ａに支持された円盤状の基礎部４１と、基礎部４１の側面に支持された機構部４２、機構部４２を可動させるアクチュエータとしてのモータ４３と、機構部４２の先端に取付部材４４を介して取り付けられた練習用カメラ４０等を備えている。機構部４２は、基礎部４１に、基点まわりに回動可能に連結された駆動リンク４２１、駆動リンク４２１に球状ジョイント４２２を介して連結された受動リンク４２３、及び受動リンク４２３に球状ジョイント４２４を介して連結された可動板４２５を備えている。

なお、練習用カメラ４０は、教材作成で取得した動き履歴情報から逆運動学を利用して駆動量を得、かかる駆動量を各軸のモータ４３に供給することで、実手術等の教材作成時の内視鏡カメラの動き履歴を再現することができる。上記において、練習用カメラ４０と内視鏡カメラの長さ寸法が同一であれば、前記算出した駆動量がそのまま適用可能となり、一方、長さ寸法が違う場合には、その差分に応じて駆動量を補正すればよい。

図５は、本発明に係る手術トレーニング装置１０の一実施形態を示すブロック図である。手術トレーニング装置１０は、コンピュータで構成される制御部７を備える。制御部７は、記憶部７０と接続されると共に、撮像部４、モニタ５、遭遇型力触覚提示器６と接続されている。教材作成部８は、好ましくはコンピュータを備え、教材としての手術映像から教材映像及び関連情報を作成する。作成された教材映像等は、記憶部７０に記憶される。詳細は後述する。

記憶部７０は、後述するように、教材に関する情報の他、手術トレーニングを実行するための制御プログラムを格納する。記憶部７０は、教材作成部８で作成された情報を記憶するための、教材映像記憶部７０１、教材用カメラ動き履歴記憶部７０２、及びプロービング履歴記憶部７０３を備えている。

教材映像記憶部７０１は、内視鏡カメラで撮像された教材映像を記憶する。教材用カメラ動き履歴記憶部７０２は、練習用カメラ４０の位置及び向きを教材用カメラの位置及び向きに対応させるための動き履歴（空間座標等）を記憶する。なお、練習用カメラ４０の移動のみを制御する態様では、向きの変化に対応させて画像を逆方向に回転させてモニタ５に導くことで対応している。プロービング履歴記憶部７０３は、教材映像中に生じたプロービングの順序（教材映像の再生開始時点からの経過時間等）に対応して、プロービング位置に対応する実空間座標Ｐ（Ｘ，Ｙ，Ｚ）と表面角度（α、β）、及び模擬体６０上の表面座標Ｓ（ｘ、ｙ、ｚ）と表面角度（α、β）とを図６に示すようなデータテーブル形式で作成したものを記憶する。なお、記憶するデータとしては、少なくとも時刻ｔ、実座標Ｐ及び模擬体６０上の表面座標Ｓを含んでいればよい。

教材作成部８は、コンピュータを備えて構成されている場合、作成処理プログラムを実行することで、教材映像８２から教材情報を作成する教材情報作成部８１として機能する。また、必要に応じて教材情報の作成指示等を行う操作部として、キーボード等、また画面上に各種機能ボタン類を表示するタッチパネルを備えてもよい。記憶部７０に記憶される教材情報は、教材情報作成部８１で作成される。教材情報作成部８１は、一部にマニュアル処理を利用して行う態様のほか、公知のVisual SLAM（Simultaneous Localization and Mapping）処理を利用することが好ましい。この処理によれば、教材用カメラで撮影された手術映像から環境、すなわち生体内の内臓その他の３次元情報と教材用カメラの位置姿勢とを同時に推定する技術です。そして、教材用カメラの実空間座標、姿勢が既知であることを利用し、かかる既知の座標位置、姿勢情報を適用することで、内臓等の３次元空間上の位置、表面角度を取得することが可能となる。

制御部７は、制御プログラムを実行することで、映像作成部７１、カメラ位置駆動制御部７２、遭遇型力触覚提示器駆動制御部７３、プロービング検出部７４、動き情報取得部７５、及び練習評価部７６として機能する。

映像作成部７１は、教材映像記憶部７０１から時間方向に教材映像を読み出し、練習用カメラ４０で撮像された練習映像と合成し、ビデオＲＡＭ（図略）を経てモニタ５に出力するものである。これにより、練習者は、モニタ５の自己の鉗子３３，３４を教材映像内の対応する鉗子１３３，１３４（図７参照）に重畳させるように追いかけ操作を行う練習ができる。なお、映像合成は、２つの映像を時分割で交互に表示させる態様の他、２つの映像を重ね合わせる視野合成法でもよい。両映像は、そのまま、あるいは識別可能な表示態様に加工してもよい。

カメラ位置駆動制御部７２は、教材用カメラ動き履歴記憶部７０２の情報に従って練習用カメラ４０を同一位置等に移動させる指示信号をモータ４３に出力する。なお、教材用カメラの回転情報に対しては、映像作成部７１により練習映像の回転処理が行われる。

遭遇型力触覚提示器駆動制御部７３は、練習開始からの時間を内部タイマ等で計時しており、図６のテーブルを参照しつつ、プロービングのイベントが発生する時点の直前に、図６のテーブルから模擬体６０を設定位置に予め移動させる指示をモータ６３に出力する。これにより、模擬体６０はプロービング予定位置で待機することができ、遭遇型力触覚提示が実現可能となる。従って、練習者がプロービング操作を適正に行うとき、練習者は鉗子３３を介して内臓壁からの模擬的な反力を受け、それによって奥行感を体感することができると共に、奥行方向をより高い精度で感じることが可能となる。

また、遭遇型力触覚提示器駆動制御部７３は、教材が示すプロービング時点を挟んで所定の時間幅を設定し、その間、模擬体６０を静止させて練習者からの操作に対する待機と受け付けとを行うようにしている。そして、その時間が経過すると、鉗子３３が届かないような位置、例えばより奥行側に退避するようにして、プロービングのない期間に、鉗子３３が不用意に模擬体６０に当らないようにしている。退避位置は、固定せず、次のプロービング位置に対して位置を設定するようにしてもよい。また、静止期間を設けることで、プロービング操作中に模擬体６０が移動して模擬体６０からの反力が不自然に変わらないようにしている。

プロービング検出部７４は、モータ６３が例えばサーボモータ等の場合、模擬体６０がプロービング操作の押し付け力を受けると、その力によってモータ６３の駆動信号供給回路系に位置を維持する電流が流れるため、この電流を検知するようにしてプロービングが適正に行われたことを検知する。あるいは、プロービング検出部７４は、練習映像から鉗子３３の先端の空間座標を検知し、プロービング座標位置と比較することで、プロービングの成否を判定してもよい。

動き情報取得部７５は、練習用カメラ４０の位置、向きの情報、及び練習映像から鉗子３３，３４の先端の空間座標を継続して検知する。動き情報取得部７５は、映像から分析する方法の他に、鉗子３３，３４の先端に光学的又は磁気的な信号発生源を取り付け、周囲から当該発生源の位置を３次元的に計測する公知のセンサを使用する態様でもよく、さらには鉗子３３，３４の先端に３軸加速度計を取り付けたセンサでもよい。

練習評価部７６は、教材映像との重畳（追いかけ）状況から、特に教材映像中の鉗子１３３，１３４と練習映像中の対応する鉗子３３，３４との重畳状態を、例えば数値として算出し、後述するようにして練習成果を評価する。練習評価部７６は、プロービングの成否を含めることができる。

図７は、練習時の合成映像例を示し、（ａ）は練習用カメラ４０が手前側にある場合、（ｂ）は練習用カメラ４０が奥側に進入された場合である。図７は、手術の一例としてのＳ字結腸の術例を示している。図７（ａ）では、大腸映像Ｂ１のほぼ全体が見える浅い位置に練習用カメラ４０が位置付けられており、図７（ｂ）では、練習用カメラ４０がさらに奥へ、すなわち直腸映像Ｂ２とＳ字結腸映像Ｂ３との部位に接近している。このように練習用カメラ４０の移動に伴って、手術部位の映像サイズや向きが変化するとともに、画面内の手術器具である鉗子１３３，１３４、３３，３４も映像サイズ、表示範囲、また視線（向き）も含めて見え方が変化している。

モータ４３によって練習用カメラ４０の位置が、教材作成時の内視鏡カメラの動き履歴を再現する結果、モニタ５には教材作成時と一致した視点及び視線で映像が表示されている。図中、鉗子３３，３４は練習者が操作している鉗子の映像である。練習用カメラ４０の移動に伴って教材側の鉗子１３３，１３４の見え方が大きく変わっても、その動き履歴を再現するべく練習用カメラ４０の視点及び視線を一致させるので、鉗子１３３，１３４の見え方と一致するようになり、その結果、教材側の鉗子１３３，１３４の動きに重畳させる操作のトレーニングが有意となる。上記において、手術部位であるＳ字結腸の生体表面に対して、鉗子１３３を操作して切開乃至切除前にプロービングを行って結腸の表面状態や位置確認を行う。

図８は、練習支援処理の手順の一例を示すフローチャートである。まず、教材映像の再生が開始されると（ステップＳ１）、教材映像が時間方向に読み出されると共に、練習用カメラ４０からの練習映像が読み出され、両映像が合成されて、モニタ５に出力される（ステップＳ３）。

次いで、図６に示すデータテーブルから次のタイミングのプロービング情報の事前の読み出しが行われ（ステップＳ５）、読み出し情報に基づいて模擬体６０が設定位置に移動され、待機の状態とされる（ステップＳ７）。続いて、プロービング操作の有無の確認処理が、前記した方法を利用するなどして行われ（ステップＳ９）、成否に応じてプロービング評価が行われる（ステップＳ１１）。次いで、データテーブルを参照して、次のプロービングの有無が判断され（ステップＳ１３）、次のプロービングが有れば、ステップＳ５に戻って同様の処理が繰り返され、一方、次のプロービングが無ければ、本処理を終了する。なお、ステップＳ９、ステップＳ１１は、必要に応じて採用すればよい。

図９は、練習評価処理の手順の一例を示すフローチャートである。練習評価は、本実施形態では、所定時間毎、例えば１秒毎の割込で実行される。まず、割込時点（評価時点）か否かが判断され（ステップＳ２１）、割込時点でなければ、本フローを抜け、割込時点であれば、教材用の鉗子１３３，１３４の先端位置の読み出しが行われる（ステップＳ２３）。次いで、練習用の鉗子３３，３４の先端位置の検出される（ステップＳ２５）。そして、両鉗子１３３と３３、１３４と３４の先端位置の差分の算出が行われる（ステップＳ２７）。次いで、算出された差分に基づいて練習成果の評価が行われて（ステップＳ２９）、リターンする。なお、評価の方法としては、差分の積算値に基づく方法、あるいは差分の増減状況に基づく方法、さらには他の一般的な評価手法が採用可能である。

図１０、図１１は、モニタ面奥行方向の有意性に関する「実験」の結果を示す図表である。

「実験」は、実際のヒトＳ状結腸切除術の手術映像から重要な作業ごとに区切り、それぞれの作業において一連の分節を連続して追従する。本実験では手術映像の中でも「Ｓ状結腸間膜の内側アプローチ、性腺動静脈の確認」の作業を教材として採用した。本シーンではプロービング作業が多く含まれていた（約１分間で１１回）。練習者はモニタ奥行方向が重畳された鉗子の大きさでしか判断できないため、遭遇型力触覚提示器を取り付けることで、奥行情報が視覚だけでなく触覚によっても得られることが期待できる。

「実験条件」
実験では、遭遇型力触覚提示器の使用、不使用の条件で比較を行った。実験前に実験参加者に対して実験者がシステムの説明と鉗子操作についてレクチャを行った後、実験者が１度だけ実演を行った。遭遇型力触覚提示器の有無に関わらず、各試行では、まず教材映像の最初のフレームの静止画像がモニタに表示され、被験者は画面右上に表示された重畳の教示にできるだけ近づくように重畳し、重畳できたと判断したら実験者に申告するよう求められ、その申告の後に動画が再生された。これは、動画の開始時に被験者が自らの鉗子を見失うことを避けるためである。トレーニング中の手本となる鉗子と自らの鉗子との重畳の方略として鉗子先端の大きさが画面内で揃うように指示した。

両条件とも１６回試行し、各試行の間には１分間の休憩を設けた。その際、鉗子から手を離すように指示し、hand-eye coordinationを実験外で学習できないようにした。実験参加者は医学に関する専門知識を持たず、腹腔鏡に関する前知識も持たない工学系の２０代の男性で、各条件について３名、計６名であった。

「評価基準」
実験では、各被験者が右手で操作する鉗子の先端の座標を計測した。右手鉗子の先端位置について、手本となる位置からの誤差をRMSEとして算出し、遭遇型力触覚提示の有無で比較した。ここで、手本となる位置とは、実験に使用した動画について１秒ごとの静止画を用意して、各時刻について鉗子を重ね合わせて測定した右鉗子先端の位置である。また、今回の実験では、遭遇型の力触覚提示器によって正しい奥行き情報を学習できているかどうかを検証するため、プロービングしている時刻についての位置を特に検証した。

「実験結果」
まず、１分間の動画の各時刻の画面上下左右及び奥行きの３方向について位置エラー量を図１０（ａ）（ｂ）に示す。これは横軸が試行回数、縦軸がエラー量である。なお、モニタの左右方向をＸ軸、上下方向をＹ軸、奥行方向をＺ軸とする。

Ｘ、Ｙ軸に関して触覚の有無の両手法とも誤差量が小さいことから追従できていると思われる。一方で、Ｚ軸に関して、触覚が無いグループは触覚があるグループに比べ、図１０（ｂ）の（ｓ１／Ｚ軸）、（ｓ２／Ｚ軸）、（ｓ３／Ｚ軸）に示すように、誤差量が大きい。これはモニタ奥行方向の学習がモニタ平面方向に比べ困難であることを示し、触覚によってモニタ奥行情報が補われたことを示す。

次に、１１箇所あるプロービング箇所のうち１箇所（２番目）について、各軸方向の位置エラー量を追いトレアドバンスと提案システムの群間で比較したグラフを図１１に示す。図１０については全ての時刻に対する誤差量を確認したが、習熟を目的とする技術のシーンに関しての誤差を求めた。鉗子が内臓壁に触れる瞬間から±０．５秒間、触れた瞬間の位置からの誤差量とばらつきを求めた。

図１１（ａ）（ｂ）（ｃ）は、いずれも横軸が試行回数、縦軸が誤差量である。エラーバーは、標準偏差を示す。図１１（ａ）（ｂ）（ｃ）から、Ｘ、Ｙ軸方向に関して触覚の有無に依らず誤差量とばらつきは少ないが、Ｚ軸方向に関して触覚がない場合に誤差量、ばらつき共に触覚がある場合に比べて大きいことがわかる。

「考察」
図１０から、遭遇型力触覚提示器の有無の両条件ともに画面の縦、横方向について追従性がトレーニングの序盤の時点で学習が進んでいることがわかった。これはモニタの水平・垂直方向についてhand-eye coordinationの学習が早期に定着したことを意味しており、それは模擬体を付与することによっても妨げられることがなかったことを示している。

また、画面奥行方向については、遭遇型力触覚提示器の有無の条件間で大きな差が現れた。すなわち、遭遇型力触覚が無い群は奥行方向についてエラー量が大きく、その位置が収束する傾向に乏しいのに対して、遭遇型力触覚提示器が有る群はエラー量が小さく、かつ位置も収束する傾向が見いだせた。すなわち、仮想的な内臓の位置が触覚によって提示されることにより、練習者が正しい奥行き情報を獲得できていると考えられる。

次に、正しい奥行き情報を学習することが求められる鉗子の押し込み（プロービング）の際の位置を正しく学習できているかを比較した。実験に用いた動画の最中に現れる１１回のプロービングのシーンのうち２回目について、プロービングが始まる時刻から終わる時刻までの鉗子先端の位置のエラー量を各軸方向について、図１１（ａ）（ｂ）（ｃ）に示した。図中の実線が遭遇型力触覚提示器有り、破線(c)が遭遇型力触覚提示器無しの群である。図１１（ａ）（ｂ）はそれぞれ画面垂直及び水平方向についてのエラー量であり、両群ともに似通った位置でプロービングを追えていることがわかった。図１１（ｃ）は、画面奥行方向についてプロットしたものであるが、遭遇型力触覚提示器無しの群はエラー量の被験者間でのばらつきが遭遇型力触覚提示器を用いた群よりも大きいことがわかった。これは、鉗子を画面の奥へ押し込む動作を追いかける際、触覚の有無によって鉗子が触れる内臓位置を把握する難易度が大きく異なることを表しており、触覚によるフィードバックが無ければ、被験者間で異なる位置で学習が進んでしまうことを示している。すなわち、画面上で鉗子の先端を重畳するだけでは、正確な奥行き情報を得ることが難しいと思われる。

「まとめ」
本実験では、視野共有手法を用いた追従型腹腔鏡手術トレーニングシステムが画面奥行方向の情報を得にくいことを改善するため、遭遇型力触覚提示器を用いて内臓の位置を再現したシステムを構築した。構築したシステムにおいて、鉗子の追従の際、画面奥行方向の再現性について被験者の誤差量と被験者間でのばらつきが減少したことが確認された。このことから、奥行方向についてより正しい位置で学習できることがわかった。これは２次元モニタで欠落していた奥行情報が保管されたことを意味しており、内臓の３次元的な位置関係を正しく把握できるため練習者の手術エラーの減少が期待される。

本実施形態では、機構部４２，６２としてパラレルリンク機構を採用したて３軸方向への移動を実現したが、これに限定されず、３軸のスライドレールを組みつけた態様、あるいは３軸型のジンバル機構を搭載した態様を採用してもよい。

また、本実施形態では、取得した教材映像を記憶部７０に記憶する態様としたが、これに代えて、通信部を利用して、リアルタイムで教材映像、教材関連情報を外部記憶部から手術トレーニング装置１０に転送し、練習を行う態様とすることもできる。

また、本実施形態では、手術行程を有する一例としてＳ字結腸の手術で説明したが、その他、内視鏡を用いた手術行程を有する一連の手術、あるいはそれ以外の一連の手術態様に対するトレーニング全般に適用可能である。

また、本実施形態では、半楕円球で説明したが、ここに、半とは正確に楕円球の半分の意味の他、略半分の態様を含めてよい。

１０ 手術トレーニング装置
３ 練習器具部
３３，３４ 鉗子
４ 撮像部
４０ 練習用カメラ
５ モニタ
６ 遭遇型力触覚提示器
４３，６３ モータ
６０ 模擬体
６０１ 弾性層
７ 制御部
７３ 遭遇型力触覚提示器駆動制御部（制御部）
７０ 記憶部

Claims (8)

1. 予め内視鏡カメラで撮影された、手術器具を用いて行われる生体への施術の教材映像に、練習用カメラで撮影中の練習映像をモニタ上で合成して表示し、前記教材映像中の手術器具の映像の動きに重なるように練習用の手術器具を操作する手術トレーニング装置において、
   表面に弾性層を有する凹面を備えた模擬体と、前記模擬体を３次元空間内で移動させる駆動部とを有する、プロービングのための遭遇型力触覚提示器と、
   前記教材映像中の前記プロービングによる生体面との接触位置に対応する３次元空間上の位置を空間座標位置とし、かつ前記接触位置における生体面の角度に対応する前記模擬体の凹面上の位置を表面座標位置とし、前記空間座標位置に前記表面座標位置を合わせるように前記模擬体を前記プロービングの映像の再生前に移動させる制御部とを備えた手術トレーニング装置。
2. 前記模擬体は、前記凹面が所定の曲率を有する曲面である請求項１に記載の手術トレーニング装置。
3. 前記模擬体は、前記凹面が半楕円形状である請求項２に記載の手術トレーニング装置。
4. 前記駆動部は、パラレルリンク機構である請求項１～３のいずれかに記載の手術トレーニング装置。
5. 前記駆動部は、プロービング期間中、前記模擬体を静止させる請求項１～４のいずれかに記載の手術トレーニング装置。
6. 前記駆動部は、プロービング期間終了後、前記模擬体を３次元空間内で前記手術器具から離れた方向の退避位置に移動させる請求項１～５のいずれかに記載の手術トレーニング装置。
7. 前記模擬体は、表面が黒色である請求項１～６いずれかに記載の手術トレーニング装置。
8. 前記練習用の手術器具と前記模擬体との接触を検知する接触検知部を備えた請求項１～７のいずれかに記載の手術トレーニング装置。

Images