JP7167334B2 - モニタリングシステム及び内視鏡の模型への挿入操作の評価方法 - Google Patents

Description

本発明は、モニタリングシステム及び内視鏡の模型への挿入操作の評価方法に関する。

内視鏡が、医療分野などにおいて広く利用されているが、内視鏡の挿入部の被検体内への挿入は、容易ではない。例えば大腸等は、複雑な形状（走行経路）を有している。内視鏡の挿入部を大腸内に挿入するときに患者への苦痛を与えないように、医者には内視鏡の操作について高い技術が必要とされる。

また、被検体内における内視鏡の挿入部の挿入形状をリアルタイムで表示する内視鏡形状取得装置を利用して、医者は、被検体内に挿入されている挿入部の形状を確認しながら、挿入部の被検体内へ挿入することもできるが、挿入形状だけでは、医者の挿入操作の善し悪しは判断できない。

国際公開ＷＯ２０１５／０７０８６６号公報には、挿入部における選択されたポイントの進行速度、進行方向及び不動時間について、熟練者と比較した所定のスコアを提示して、内視鏡検査の質をモニタする内視鏡検査用装置が提案されている。

しかし、上述した提案に係る装置においてスコアが表示されても、具体的に挿入部を把持する手をどのように動かして挿入部を操作すれば、効率良く、挿入対象に無理な力を掛けずに内視鏡を挿入できるかは提示されない。

そこで、本発明は、挿入部を把持する手をどのように動かせばよいかを提示することができる内視鏡の挿入操作方法を提示することができるモニタリングシステム及び内視鏡の模型への挿入操作の評価方法を提供することを目的とする。

本発明の一態様のモニタリングシステムは、内視鏡の挿入部の形状を検出する形状検出装置と、前記内視鏡を操作する手の動きを検出する動き検出装置と、を備え、前記形状検出装置は、被検体内に挿入される前記内視鏡の前記挿入部の挿入形状を検出するように構成され、前記動き検出装置は、前記内視鏡を操作する操作者の前記挿入部を把持する手の、３次元空間内の位置及び姿勢の少なくとも一つを含む動きを検出するように構成され、前記動き検出装置から出力される前記手の前記３次元空間内の前記位置及び前記姿勢の前記少なくとも１つに関する情報に基づいて、前記手の移動量、移動速度、回転角度、回転速度の少なくとも１つのパラメータを算出し、前記少なくとも１つのパラメータと前記形状検出装置からの前記挿入部の前記挿入形状に関する情報とを時間的に関連付けて出力するように構成されるプロセッサを、有する内視鏡操作評価装置を備える。

本発明の一態様の内視鏡の模型への挿入操作の評価方法は、形状検出装置が、被検体の模型内に挿入される内視鏡挿入部の、前記被検体の模型内における挿入形状を検出し、動き検出装置が、前記内視鏡を操作する操作者による前記挿入部を把持する手の、３次元空間内の位置及び姿勢の少なくとも１つを検出し、プロセッサが、前記動き検出装置から出力される前記手の前記３次元空間内の前記位置及び前記姿勢の少なくとも１つに関する情報に基づいて、前記手の移動量、移動速度、回転角度、回転速度の少なくとも１つのパラメータを算出し、前記少なくとも１つのパラメータと前記形状検出装置からの前記挿入部の前記挿入形状に関する情報とを時間的に関連付けて出力する。

本発明の実施の形態に係わる内視鏡挿入訓練システムの構成を示す構成図である。 本発明の実施の形態に係わる、形状演算装置からの挿入形状情報に基づいて表示される挿入形状画像の例を示す図である。 本発明の実施の形態に係わる、ユーザの右手の手首に装着されたマーカ装置の斜視図である。 本発明の実施の形態に係わる、マーカ装置を手首へ装着したときの、４つのマーカの配置を説明するための図である。 本発明の実施の形態に係わる、ユーザが模型の肛門側に立って、挿入部を模型内に挿入する様子を説明するための図である。 本発明の実施の形態に係わる、第２の撮像装置により撮像される挿入部を説明するための図である。 本発明の実施の形態に係わる、挿入部の外周面に設けられた複数の指標を説明するための図である。 本発明の実施の形態に係わる、内視鏡挿入操作評価装置と複数の撮像装置との説明を示すブロック図である。 本発明の実施の形態に係わる内視鏡挿入操作評価装置の構成を示すブロック図である。 本発明の実施の形態に係わる、内視鏡挿入操作評価装置の挿入方法記録プログラムの処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる評価用データのデータ構造の例を示す図である。 本発明の実施の形態に係わる、内視鏡挿入操作評価装置の挿入方法表示プログラムの処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、指定された二人の医師の右手の動作範囲を示す画像の例を示す図である。 本発明の実施の形態に係わる、指定された二人の医師の右手の動作範囲を示す画像の他の例を示す図である。 本発明の実施の形態に係わる、挿入部の進退量と捩り量の変化を示すグラフを示す画像の例を示す図である。 本発明の実施の形態に係わる、手の動きと挿入形状の変化を示す画像の例を示す図である。 本発明の実施の形態に係わる、２つのウインドウに表示される挿入形状の変化とアニメーションの手の変化を説明するための図である。 本発明の実施の形態に係わる、ウインドウに表示される、模型の画像上に挿入形状が重畳された画像の例を示す図である。 本発明の実施の形態に係わる、力量センサとしてのフォースゲージの配置を説明するための図である。 本発明の実施の形態に係わる、模型に掛かる力量の変化を示すグラフを示す画像の例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本実施の形態に係わるモニタリングシステムの構成を示す構成図である。モニタリングは、内視鏡挿入訓練システム（以下、単に訓練システムという）１を主に有して構成され、訓練システム１は、内視鏡装置２と、内視鏡形状取得装置３と、内視鏡挿入操作評価装置４とを含む。内視鏡装置２、内視鏡形状取得装置３及び内視鏡挿入操作評価装置４は、テーブル１０１上に固定された人体の一部模型（以下、模型という）１０２の近傍に配設されている。ここでは、模型１０２は、コロンモデルである。模型１０２は、人体形状を模した本体部１０２ａと、本体部１０２ａ内に、大腸を模した腸管部１０２ｂと、肛門を模した肛門部１０２ｃを有している。腸管部１０２ｂの内部は、肛門部１０２ｃと連通している。

内視鏡装置２は、内視鏡６と、光源装置７と、画像処理装置８と、表示装置９を含んで構成されている。光源装置７、画像処理装置８及び表示装置９は、カート１０１ａ上に載置され、あるいはカート１０１ａに固定されている。

内視鏡６は、挿入部６ａと、操作部６ｂと、ユニバーサルコード６ｃとを含む。挿入部６ａは、先端からから基端に向かって順に、先端部１１、湾曲可能な湾曲部１２及び可撓管部１３を有している。先端部１１は、挿入部６ａの先端部すなわち内視鏡６の先端部であり、先端硬質部（先端構成部）である。先端部１１には、対物光学系と撮像素子が内蔵されている。よって、内視鏡６は、被検体ここでは模型１０２内に挿入される挿入部６ａを有する。

湾曲部１２は、複数の湾曲駒を含み、操作部６ｂの２つの湾曲操作ノブ１４への操作に応じて、上下左右方向に湾曲可能である。可撓管部１３は、外力に応じて撓む。２つの湾曲操作ノブ１４は、湾曲部１２を湾曲するために、挿入部６ａ内に挿通され操作ワイヤを牽引及び弛緩させる。可撓管部１３は、可撓性を有しており、外力に応じて曲がる管状部材である。

挿入部６ａ内には、内視鏡形状取得装置３のための複数の磁気センサ６ｄが、所定の間隔で配置されている。なお、本実施の形態では、複数の磁気センサが挿入部６ａの中心軸に沿って等間隔に配置されているが、挿入方法を評価したい箇所に応じて、異なる間隔で配置するようにしてもよい。例えば、評価したい箇所が大腸のＳ字結腸である場合であれば、挿入部６ａの先端側部分では複数の磁気センサの数を基端側部分よりも多くして、且つ隣り合う磁気センサの間隔を狭くするようにしてもよい。

ユニバーサルコード６ｃの先端には、コネクタが設けられ、内視鏡６は、そのコネクタにより光源装置７と画像処理装置８に着脱可能に接続される。ここでは、内視鏡６は、大腸内へ挿入可能な内視鏡である。さらに、図示しないが、ユニバーサルコード６ｃ内には、ライトガイドが挿通されており、内視鏡６は、光源装置７からの照明光を、ライトガイドを通して挿入部６ａの先端から出射するように構成されている。さらに、ユニバーサルコード６ｃ内には、複数の磁気センサ６ｄのための複数の信号線も挿通されている。

内視鏡の挿入操作の評価をしたい医者（以下、ユーザという）が、訓練システムを使用する。ユーザは、挿入部６ａを把持した右手ＲＨを様々の方向に動かす。右手ＲＨで挿入部６ａを把持した状態で、ユーザは、挿入部６ａを挿入部６ａの軸方向に沿って模型１０２の大腸内に押し込んだり、大腸内から引き出したりする。さらに、右手ＲＨで挿入部６ａを把持した状態で、ユーザは、挿入部６ａを挿入部６ａの軸回りに回動させる。

画像処理装置８は、挿入部６ａの先端部１１に配設された撮像素子からの撮像信号を受信して、撮像信号に対して所定の画像処理を施して、内視鏡画像を生成する。画像処理装置８は、図示しない信号線により表示装置９と接続されている。内視鏡画像の画像信号は、表示装置９へ出力され、表示装置９の表示画面上に、内視鏡画像が表示される。

内視鏡形状取得装置３は、形状演算装置２１と、磁場発生装置２２を含む。形状演算装置２１は、カート１０１ａ上に載置され、磁場発生装置２２は、テーブル１０１上に載置されている。形状演算装置２１は、図示しない信号線により画像処理装置８と接続されている。形状演算装置２１は、内視鏡６に内蔵された複数の磁気センサ６ｄの信号を、画像処理装置８を経由して受信する。形状演算装置２１は、信号線２３により磁場発生装置２２と接続されている。

磁場発生装置２２は、形状演算装置２１からの駆動信号に基づいて所定の磁場を発生し、各磁気センサ６ｄは、磁場発生装置２２が発生する磁場を検出する。複数の磁気センサ６ｄからの磁場の検出信号は、形状演算装置２１へ供給される。なお、複数の磁気センサ６ｄに代えて挿入部６ａに複数の磁場発生素子を設け、磁場発生装置２２に代えて、模型１０２の外部に磁気センサを設けるようにして、各磁場発生素子の位置及び姿勢を検出するようにしてもよい。

形状演算装置２１は、各磁気センサ６ｄからの信号に基づいて挿入部６ａの形状をリアルタイムで算出する。形状演算装置２１は、信号線２１ａにより後述する内視鏡挿入操作評価プロセッサ３３と接続されている。形状演算装置２１により算出された挿入部６ａの挿入形状についての情報は、内視鏡挿入操作評価プロセッサ３３へ出力される。内視鏡挿入操作評価プロセッサ３３は、受信した挿入形状についての情報に基づいて、指定された視点方向からみた挿入形状画像を生成して、表示装置３４に表示可能である。よって、形状演算装置２１は、挿入部６ａの挿入形状を検出する形状検出装置を構成する。

図２は、形状演算装置２１からの挿入形状情報に基づいて表示される挿入形状画像の例を示す図である。図２は、表示装置３４の表示画面３４ａ上の１つのウインドウＷ内に表示された挿入部６ａの挿入形状ＩＰＦを示しているが、内視鏡挿入操作評価プロセッサ３３内のソフトウエアプログラムにより、挿入形状ＩＰＦは、他の画像に重畳されて表示されることも可能である。

図１に戻り、内視鏡挿入操作評価装置４は、第１の撮像装置３１と、第２の撮像装置３２と、内視鏡挿入操作評価プロセッサ３３と、表示装置３４と、入力装置３５と、俯瞰カメラ３６を含む。入力装置３５は、キーボード３５ａとマウス３５ｂを含む。

第１の撮像装置３１は、テーブル１０１ｂに固定されたフレーム１０１ｃに固定されている。第２の撮像装置３２は、テーブル１０１上に固定されている。内視鏡挿入操作評価プロセッサ３３は、テーブル１０１ｂ上に載置されている。

第１の撮像装置３１は、複数のカメラ３１ａを含む。複数のカメラ３１ａは、ユーザが、内視鏡６の挿入部６ａを操作して模型１０２に挿入する操作状況を、ユーザの斜め右上の方向から撮像する。そのため、複数のカメラ３１ａは、ユーザの右手ＲＨを撮像することができる。

本実施の形態では、ユーザの右手ＲＨの動きは、赤外線式のモーションキャプチャにより検出される。具体的には、モーションキャプチャ用のマーカ装置５１がユーザの右手の手首に装着され、赤外線カメラである各カメラ３１ａがマーカ装置５１を撮像する。各カメラ３１ａにより撮像して得られた画像中の各マーカ５４の動きに基づいて、ユーザの右手の動きが検出される。ここでは、右手の位置及び姿勢が検出される。すなわち、マーカ装置５１の３次元位置と姿勢が経時的に取得され、ユーザの右手ＲＨの挙動が検出される。

図３は、ユーザの右手ＲＨの手首に装着されたマーカ装置５１の斜視図である。マーカ装置５１は、バンド５２と、本体５３、球体状の複数のマーカ５４と、複数の軸部材５５とを有する。バンド５２は、手首に装着し固定するための伸縮性を有する。バンド５２は、帯状であり、図示しない固定手段、例えば面ファスナーを有し、手首に着脱可能に装着される。本体５３は、バンド５２の表面上に接着剤、螺子などにより固定されている。複数の、ここでは４本の軸部材５５が、本体５３から突出するように本体５３に固定されている。すなわち、マーカ装置５１は、複数のマーカ５４を有し、挿入部６ａを操作する操作者であるユーザの手の手首に取付けられるように構成されている。

図４は、マーカ装置５１を手首へ装着したときの、４つのマーカ５４の配置を説明するための図である。図５は、ユーザＤＵが模型１０２の肛門部１０２ｃ側に立って、挿入部６ａを模型１０２内に挿入する様子を説明するための図である。図５に示すように、ユーザＤＵは、マーカ装置５１を右手ＲＨの手首に装着した状態で、挿入部６ａを右手ＲＨで把持して、挿入部６ａの押し引き及び捩り操作を行う。

ユーザが挿入部６ａを右手ＲＨで把持した状態で、右手ＲＨは、右腕ＲＡの長手軸ＣＯ回りに略＋９０度から略－９０度の範囲で回動される。第１の撮像装置３１は、ユーザの右手ＲＨを略上方から撮像する。よって、マーカ装置５１は、第１の撮像装置３１の撮像方向から見たときに、右手ＲＨの親指から第１中手骨ＭＢを経て橈骨ＲＢに向けて延長した位置に、本体５３が位置するように右手ＲＨの手首に装着される。

各マーカ５４は、本体５３から延出する軸部材５５の先端に取り付けられている。マーカ装置５１が右手ＲＨの手首に装着された状態で、４つのマーカ５４は、第１の撮像装置３１の撮像方向と右手ＲＨの右腕ＲＡの長手軸ＣＯとにより形成される面ＰＬに直交する方向に、４つのマーカ５４は位置する。撮像装置３１が、右手ＲＨの手首が回動していない状態を撮像しているとき、一対のマーカ５４が長手軸ＣＯの両側に位置するように、４つのマーカ５４が配設される。ここでは、手首を親指側から撮像したときに、４つのマーカ５４のうちの２つは、右腕ＲＡの長手軸ＣＯに対して一方側に位置し、他の２つのマーカ５４は、右腕ＲＡの長手軸ＣＯに対して他方側に位置するように、４つのマーカ５４は、配設されている。

さらに、右手ＲＨが右腕ＲＡの長手軸ＣＯ回りに回動したときに、４つのマーカ５４が直ぐに右腕ＲＡの影になってしまうと、各マーカ５４は撮像装置３１により撮像できなくなる。そこで、図４に示すように、長手軸ＣＯを挟んで配置された２つのマーカ５４の中心点間の距離Ｌｍは、右腕ＲＡの最大外径Ｗｍ（図３）よりも大きい。４つのマーカ５４のうちの少なくとも３つは、腕がどのように回動しても、撮像装置３１により撮像されるように、４つのマーカ５４は、配設されている。ここでは、複数のマーカ５４は、複数のカメラ３１ａのうちいずれかにより手首から突出した状態を検出できるよう、複数のマーカ５４の内少なくとも２つのマーカ５４の組み合わせの２つ以上は、８０ｍｍ以上離れて配置されている。一例として、２つのマーカ５４の組み合わせの２つ以上は、８０ｍｍ以上で１００ｍｍ以下だけ離れて配置されている。

第１の撮像装置３１は、複数のマーカ５４を３次元空間内において複数方向から撮像する複数のカメラ３１ａを含む。ここでは、第１の撮像装置３１は、ユーザの右手ＲＨの位置の上方であって、ユーザの右側又は前方に位置している。撮像装置３１の６台のカメラ３１ａが、ユーザの右手ＲＨを異なる方向から撮像する。右手ＲＨの動きに応じてマーカ装置５１が動くが、撮像装置３１は、通常の挿入操作時に移動する範囲内を撮像するように設置される。

後述するように、このような４つのマーカ５４の配置により、ユーザの挿入部６ａの挿入操作、具体的には、右手ＲＨの捩り操作も含む各種操作が、撮像装置３１により撮像されることにより検出される。

第２の撮像装置３２は、模型１０２の横から肛門部１０２ｃの近傍を撮像するカメラである。肛門に挿入された挿入部６ａの表面には、挿入量を検出するための文字及び図形が印刷などにより設けられている。挿入部６ａは、右手ＲＨだけでなく、左手で操作部６ｂを回動させることにより、操作される場合がある。第２の撮像装置３２は、右手ＲＨだけでなく左手も用いて挿入部６ａが操作される場合も考慮して、挿入部６ａの動きを検出するために設けられている。よって、第２の撮像装置３２は、被検体である模型１０２内に挿入される挿入部６ａを撮像する。

図６は、第２の撮像装置３２により撮像される挿入部６ａを説明するための図である。図７は、挿入部６ａの外周面に設けられた複数の指標を説明するための図である。

図６に示すように、第２の撮像装置３２は、模型１０２の肛門部１０２ｃに挿入される挿入部６ａを撮像できるように、テーブル１０１に固定される。図６の一点鎖線で示すように、撮像装置３２により撮像される範囲には、肛門部１０２ｃに挿入される挿入部６ａが含まれる。

図６及び図７に示すように、挿入部６ａの外表面には、複数の指標が印刷などにより設けられている。挿入部６ａの外表面には、挿入部６ａの周方向に沿ってリング状に設けられた複数の点線６１が、所定の間隔をおいて配設されている。さらに、１つの指標として、第１の文字列６２が、挿入部６ａの周方向に沿ってリング状に配設されている。他の１つの指標として、第２の文字列６３も、挿入部６ａの周方向に沿ってリング状に配設されている。

第１の文字列６２の文字と、第２の文字列６３の文字は、異なっている。ここでは、第１の文字列６２の文字は、数字又は小文字のアルファベットであり、第２の文字列６３の文字は、大文字のアルファベットである。ここでは、第１の文字列６２と第２の文字列６３の文字は、挿入部６ａの先端方向ＤＤを上にして基端方向ＰＤを下にして挿入部６ａを見たときに正しく読めるように印刷されている。第１の文字列６２及び第２の文字列６３は、挿入部６ａの周方向に配置された２本の点線の間に設けられている。

第１の文字列６２及び第２の文字列６３の間には、さらに他の指標として、挿入部６ａの周方向に描かれたリング状の線６４と、挿入部６ａの外周面に螺旋状の線６５が設けられている。螺旋状の線６５は、挿入部６ａを長手軸に直交する方向から見たときに、挿入部６ａの長手軸に対して所定の角度だけ傾斜して、長手軸回りに３６０度分、挿入部６ａの外周面に描かれている。すなわち、挿入部６ａの外表面に設けられた所定の指標６６は、挿入部６ａの長手軸に直交する方向で挿入部６ａの外周を環状に囲む第１の帯である線６４と、線６４に対して傾けて設けられ挿入部６ａの外周を螺旋状に囲む第２の帯である線６５とを有する。

撮像装置３２により撮像された線６４は、挿入部６ａが長手軸回りに回動しても、撮像装置３２により得られた画像内において線６４の位置は変わらない。一方、撮像装置３２により撮像された線６５は、挿入部６ａが長手軸回りに回動すると、撮像装置３２により得られた画像内において線６５の位置は変化する。

さらに、図７に示すように、複数の螺旋状の線６５は、同位相で描かれている。言い換えれば、複数の所定の指標６６における螺旋状の線６５の開始点の位置と終了点の位置は、それぞれ長手軸に平行な挿入部６ａの外周面の仮想線上に位置する。

第１及び第２の文字列６２，６３と、線６４，６５は、１つの所定の指標６６に含まれ、２本の点線６１の間に所定の位置に配置されている。複数の所定の指標６６は、互いに所定の距離だけ離れて、挿入部６ａに描かれている。所定の距離は、例えば、１０ｃｍである。よって、隣り合う２本の線６４間も所定の距離と同じである。撮像装置３２により撮像される範囲には、必ず１つの所定の指標６６が含まれるように、撮像装置３２は設置される。

第１及び第２の文字列６２，６３は、撮像装置３２により得られた画像において文字認識処理により認識される。認識された文字と文字の位置に基づいて、挿入部６ａの大腸内への挿入量が算出される。なお、ここで、２つの文字列６２，６３を用いているのは、手で一方の文字が隠れても、他方の文字が読み取れるようにするためである。

後述するように、撮像装置３２により得られた画像中において、各所定の指標６６内における２本の線６４、６５間の距離に基づいて、挿入部６ａの捩り量すなわち捩り角が算出される。具体的には、捩り量は、撮像装置３２により得られた画像中における、線６４の長さＬ１と、線６４と６５間の長さＬ２の比により算出される。図６では、長さＬ２は、挿入部６ａの線６４の端部と、線６５の端部間の距離（ここでは長い方の距離）である。なお、図６では、線６４の端部と、線６５の端部間の距離は、２つあって、ここでは長い方の距離Ｌ２であるが、短い方の距離Ｌ３を用いてもよい。線６４の長さＬ１と線６４と６５間の長さＬ２の比により捩り量を算出するのは、挿入部６ａと撮像装置３２間の距離が変化しても、捩り量を正確に算出するためである。

俯瞰カメラ３６は、模型１０２の上方に配設され、模型１０２の腸管部１０２ｂを撮像する第３の撮像装置である。俯瞰カメラ３６の撮像信号は、内視鏡挿入操作評価プロセッサ３３に出力される。

図８は、内視鏡挿入操作評価プロセッサ３３と複数の撮像装置との説明を示すブロック図である。図９は、内視鏡挿入操作評価プロセッサ３３の構成を示すブロック図である。

内視鏡挿入操作評価プロセッサ３３は、第１の撮像装置３１と、第２の撮像装置３２と、模型１０２を撮像する第３の撮像装置である俯瞰カメラ３６としての、形状演算装置２１とに接続されている。内視鏡挿入操作評価プロセッサ３３は、後述する演算を行って、表示装置３４に表示データを生成する。

図９に示すように、内視鏡挿入操作評価プロセッサ３３は、中央処理装置（以下、ＣＰＵという）７１、ＲＯＭ７２、ＲＡＭ７３、ハードディスク装置（以下、ＨＤＤという）７４、及び各種インターフェース回路（以下、Ｉ／Ｆと略す）７５、７６、７７、７８、７９、８０を有するプロセッサである。ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、ＨＤＤ７４、及び各種Ｉ／Ｆ７５、７６、７７、７８、７９、８０は、バス８１によって互いに接続されている。

Ｉ／Ｆ７５は、第１の撮像装置３１の各カメラ３１ａとバス８１間のインターフェースである。Ｉ／Ｆ７６は、第２の撮像装置３２とバス８１間のインターフェースである。Ｉ／Ｆ７７は、俯瞰カメラ３６とバス８１間のインターフェースである。Ｉ／Ｆ７８は、形状演算装置２１とバス８１間のインターフェースである。Ｉ／Ｆ７９は、表示装置３４とバス８１間のインターフェースである。Ｉ／Ｆ８０は、入力装置３５とバス８１間のインターフェースである。

ＨＤＤ７４は、挿入操作評価プログラムＥＰを記憶する記憶領域７４ａと、評価用データＥＤを記憶する記憶領域７４ｂ、モーションキャプチャプログラムＭＣを記憶する記憶領域７４ｃ、アニメーション生成プログラムＡＰを記憶する記憶領域７４ｄを有している。挿入操作評価プログラムＥＰは、挿入操作記録プログラムＥＰ１と、挿入操作表示プログラムＥＰ２とを含む。

モーションキャプチャプログラムＭＣは、複数のカメラ３１ａにおいて得られた複数の画像中の複数のマーカ５４の位置を検出し、マーカ装置５１が装着された右手ＲＨの３次元空間内の位置及び姿勢を算出するソフトウエアである。よって、モーションキャプチャプログラムＭＣを実行するＣＰＵ７１は、内視鏡６を操作するユーザの挿入部６ａを把持する手の、３次元空間内の位置及び姿勢を含む動きを検出する、動き検出装置を構成する。特に、その動き検出装置は、ユーザの手に取り付けられるマーカ装置５１を撮影する第１の撮像装置３１を有し、第１の撮像装置３１により撮像されたマーカ装置５１の動きから手の動きを検出するモーションキャプチャ装置である。

アニメーション生成プログラムＡＰは、モーションキャプチャプログラムＭＣにより算出された右手ＲＨの位置及び姿勢の情報から、右手ＲＨの動きのアニメーション画像を生成するソフトウエアである。挿入操作評価プログラムＥＰの処理及び評価用データＥＤのデータ構造については後述する。

ＣＰＵ７１は、各カメラ３１ａからの撮像信号を、Ｉ／Ｆ７５を経由して取得することができる。同様に、ＣＰＵ７１は、第２の撮像装置３２と俯瞰カメラ３６からの、撮像信号を、Ｉ／Ｆ７６と７７を経由して取得することができる。また、ＣＰＵ７１は、生成した表示データをＩ／Ｆ７９を経由して表示装置３４に出力することができる。

そして、ＣＰＵ７１は、ＨＤＤ７４から挿入操作評価プログラムＥＰを読み出して実行することにより、ユーザの手の動きなどのデータを生成して評価用データＥＤを記録する。さらに、ＣＰＵ７１は、評価用データＥＤを用いて評価用の表示データを生成することができる。

（作用）
次に、内視鏡挿入操作評価プロセッサ３３の動作について説明する。

内視鏡挿入操作評価プロセッサ３３における、右手ＲＨの動き情報、挿入形状ＩＰＦの形状情報、挿入部６ａの動き情報及び画像情報を算出、記録及び出力する処理は、上述した挿入操作評価プログラムＥＰ、モーションキャプチャプログラムＭＣ、アニメーション生成プログラムＡＰにより行われる。それらのプログラムは、上述したように、ＲＯＭ７２あるいはＨＤＤ７４に記録されており、ＣＰＵ７１が読み出してＲＡＭ７３に展開して実行することにより、検出などの機能が実現される。

（１）記録
図１０は、内視鏡挿入操作評価プロセッサ３３の挿入操作記録プログラムＥＰ１の処理の流れの例を示すフローチャートである。ＣＰＵ７１は、ＨＤＤ７４から挿入操作記録プログラムＥＰ１を読み出してＲＡＭ７３に展開して実行する。

ＣＰＵ７１は、第１の撮像装置３１の各カメラ３１ａから撮像信号を取得し、右手ＲＨの３次元空間内における位置、姿勢及び捩り量を算出する（ステップ（以下、Ｓと略す）１）。具体的には、ＣＰＵ７１は、マーカ装置５１の各マーカ５４の画像中の位置に基づいて、モーションキャプチャプログラムＭＣにより、剛体としての右手ＲＨの３次元空間内における位置（ｘ、ｙ、ｚ）と姿勢（ｖｘ、ｖｙ、ｖｚ）を算出する。ｖｘ、ｖｙ、ｖｚは、それぞれ、３次元空間のｘ、ｙ、ｚ軸に対する、剛体としての右手ＲＨのｘ、ｙ、ｚ軸の基準ベクトルの方向を示す。ＣＰＵ７１は、算出した位置と姿勢から、右手ＲＨの捩り量（ｒ）も算出する。捩り量（ｒ）は、右腕ＲＡの長手軸ＣＯ回りの回動角を示す情報である。このようにして、ＣＰＵ７１は、右手ＲＨの３次元空間内における位置、姿勢及び捩り量の情報を生成する。

ＣＰＵ７１は、Ｓ１において算出された右手ＲＨの位置、姿勢及び捩り量の情報から、右手ＲＨの移動量（ＡＭ）、移動速度（ＳＭ）、回動角度（ＡＲ）及び回動速度（ＳＲ）を算出する（Ｓ２）。具体的には、ＣＰＵ７１は、Ｓ１において算出された右手ＲＨの位置と姿勢の情報から、挿入部６ａの挿入方向における右手ＲＨの移動量（ＡＭ）を算出する。移動量（ＡＭ）は、右手ＲＨの挿入部６ａの挿入方向における押し引き量である。ＣＰＵ７１は、Ｓ１において算出された右手ＲＨの位置と姿勢の情報から、挿入部６ａの挿入方向における右手ＲＨの移動速度（ＳＭ）を算出する。移動速度（ＳＭ）は、右手ＲＨの挿入部６ａの押し引きの速度である。ＣＰＵ７１は、Ｓ１において算出された右手ＲＨの捩り量（ｒ）の情報から、右手ＲＨの回動角度（ＡＲ）を算出する。回動角度（ＡＲ）は、剛体としての右手ＲＨの挿入部６ａの長手軸回りの角度である。ＣＰＵ７１は、Ｓ１において算出された右手ＲＨの捩り量（ｒ）の情報から、右手ＲＨの回動速度（ＳＲ）を算出する。回動速度（ＳＲ）は、剛体としての右手ＲＨの挿入部６ａの長手軸回りの回動の角速度である。

ＣＰＵ７１は、第２の撮像装置３２から撮像信号を取得し、挿入部６ａの挿入量（Ｌ）と回動量（Ｒ）の情報を算出する（Ｓ３）。具体的には、ＣＰＵ７１は、撮像装置３２の撮像信号から画像を生成する。そして、ＣＰＵ７１は、生成した撮像画像から、文字又は線の位置と動きから、挿入部６ａの挿入量（Ｌ）と回動量（Ｒ）を算出する。

よって、後述するように、ＣＰＵ７１は、第２の撮像装置３２により撮像された挿入部６ａの外表面に設けられた所定の指標に基づく所定のパラメータを、第２の撮像装置３２の撮像画像に基づき算出し、挿入部６ａの挿入形状に関する情報と時間的に関連付けて出力する。

ＣＰＵ７１は、内視鏡形状取得装置３から挿入形状情報（ＳＨ）を取得する（Ｓ４）。さらに、ＣＰＵ７１は、俯瞰カメラ３６から撮像信号を取得して画像を生成する（Ｓ５）。ＣＰＵ７１は、Ｓ１からＳ５で得られた情報を、同一時刻の時刻情報に紐付けてＨＤＤ７４の評価用データＥＤとして出力する（Ｓ６）。評価用データＥＤは、ＨＤＤ７４に記録される。

Ｓ１からＳ６の処理が、所定の周期で繰り返されることにより、評価用データが出力される。Ｓ１からＳ５において得られた各情報は、時刻情報と紐付けられる。すなわち、内視鏡挿入操作評価プロセッサ３３は、手の３次元空間内の位置及び姿勢に関する情報に基づいて、手の移動量、移動速度、回転角度、回転速度のパラメータを算出し、パラメータと挿入形状に関する情報とを時間的に関連付けて出力するように構成される。

図１１は、評価用データＥＤのデータ構造の例を示す図である。評価用データＥＤは、右手ＲＨの動きに関する情報として、位置、姿勢及び捩り量等の情報を含むテーブルデータＴＢＬである。上述したように、右手ＲＨの位置（ｘ，ｙ，ｚ）、姿勢（ｖｘ，ｖｙ，ｖｚ）及び捩り量（ｒ）の情報は、モーションキャプチャプログラムＭＣにより算出される。

さらに、評価用データＥＤは、挿入部６ａの動きに関する情報として、挿入量（Ｌ）と回動量（Ｒ）の情報を含む。挿入量（Ｌ）は、撮像装置３２の画像中の挿入部６ａの外表面上の第１の文字列６２と第２の文字列６３の文字認識によりから算出される情報である。回動量（Ｒ）は、撮像装置３２の画像中の挿入部６ａの外表面上の２本の線６４，６５間の距離に基づいて算出される情報である。

評価用データＥＤは、挿入部６ａの形状情報（ＳＨ）を含む。形状情報（ＳＨ）は、形状演算装置２１からの挿入形状についての情報である。

さらに、評価用データＥＤは、俯瞰カメラ３６の画像情報（Ｉ）を含む。画像情報（Ｉ）は、俯瞰カメラ３６からの撮像信号に基づいて生成された画像の情報である。

なお、ここでは、評価用データＥＤは、図１１に示すような１つのテーブルデータＴＢＬであるが、複数のテーブルデータから構成されていてもよい。

また、評価用データＥＤは、図１１に示す全ての情報を含まなくてもよく、手の動きに関する情報を少なくとも１つ含んでいればよい。（２）表示
図１２は、内視鏡挿入操作評価プロセッサ３３の挿入操作表示プログラムＥＰ２の処理の流れの例を示すフローチャートである。ＣＰＵ７１は、ＨＤＤ７４から挿入操作表示プログラムＥＰ２を読み出してＲＡＭ７３に展開して実行する。内視鏡挿入操作評価プロセッサ３３は、挿入操作を評価するための複数の表示画面を生成可能である。ユーザは、入力装置３５を操作して所望の表示コマンドをＣＰＵ７１へ与えることができる。ＣＰＵ７１は、受信した表示コマンドに応じた処理を行う。

ＣＰＵ７１は、ユーザにより入力装置３５から表示コマンドが指示されたかを判定する（Ｓ１１）。表示コマンドが指示されないとき（Ｓ１１：ＮＯ）、処理は、何もしない。表示コマンドが指示されたとき（Ｓ１１：ＹＥＳ）、ＣＰＵ７１は、表示コマンドに応じた表示データを生成する（Ｓ１２）。そして、ＣＰＵ７１は、生成した表示データを表示装置３４に出力する（Ｓ１３）。

次に、生成される表示データの例を示す。

１）手の動作範囲
例えば、ユーザは、挿入部６ａを大腸内に挿入するときの右手の動作範囲について、他のユーザと比較したい場合がある。その場合、ユーザは、所定のコマンドを入力すると、図１３のような画像が表示装置３４に表示される。

図１３は、ユーザと、指定された他のユーザの右手ＲＨの動作範囲を示す画像の例を示す図である。ユーザは、比較する二人のユーザ（医師）の右手ＲＨの位置の変化をプロットしたグラフを見たいときに、二人の医師の評価用データＥＤを特定して、所定のコマンドを入力すると、図１３に示すような表示画面３４ａ中のウインドウＤＰ１が表示される。図１３は、二人の医師として、研修医（レジデント）であるユーザとエキスパートとが選択されたときの表示例である。

ウインドウＤＰ１は、ユーザの右手ＲＨを上から見たときの右手ＲＨの位置の変化を示すグラフを表示する。実線は、研修医であるユーザの右手ＲＨの軌跡を示し、点線は、エキスパートの右手ＲＨの軌跡を示している。よって、二人の医師の挿入操作における挿入開始から抜去までの右手ＲＨの位置の軌跡が実線と点線で示されている。エキスパートの右手ＲＨの動きに比べて、研修医の右手ＲＨの動きには、無駄が多いことがわかる。

図１４は、図１３と同様に、指定された二人の医師の右手ＲＨの動作範囲を示す画像の他の例を示す図である。図１４の画面は、図１３とは別のコマンドに応じて表示される。

図１４のウインドウＤＰ２は、模型１０２を肛門部１０２ｃ側から見たときの右手ＲＨの位置の変化を示すグラフを表示する。図１４においても、点線で示すエキスパートの右手ＲＨの動きに比べて、実線で示す研修医の右手ＲＨの動きには、無駄が多いことがわかる。

図１３及び図１４の各グラフは、図１１のテーブルデータＴＢＬ中の手の動きの位置（ｘ、ｙ、ｚ）の情報に基づいて描画される。

なお、図１３及び図１４のグラフは、時間経過に伴って次第に描画されていくように、表示されるようにしてもよい。例えば、描画が時刻ｔ０の点から開始され、時間経過に伴ってグラフの線が伸びるように、グラフ描画が行われると、時間経過に伴うユーザの手の動きが理解し易い。すなわち、内視鏡挿入操作評価プロセッサ３３は、手の位置の情報に基づいて、手の位置を、時間経過に伴ってグラフで描画する表示データを出力するようにしてもよい。

２）挿入部の進退量と捩り量
例えば、ユーザは、挿入部６ａを大腸内に挿入したときの、挿入部６ａの進退量（すなわち押し引き）の変化と、挿入部６ａの捩り量の変化を見たい場合がある。その場合、ユーザは、所定のコマンドを入力すると、図１５に示すような表示画面３４ａ上にウインドウＤＰ３、ＤＰ４が表示される。図１５は、挿入部の進退量と捩り量の変化を示すグラフを示す画像の例を示す図である。

ウインドウＤＰ３は、挿入部６ａの進退量（すなわち押し引き）の変化を示すグラフを表示する。ウインドウＤＰ４は、挿入部６ａの捩り量の変化を示す画像の例を示すグラフを表示する。ユーザは、所定のコマンドを入力すると、図１５の画像が表示される。すなわち、内視鏡挿入操作評価プロセッサ３３は、第１の時間内における手の移動量、移動速度、回転角度及び回転速度の内の第１のパラメータに関する情報を表示する第１の表示データと、第２の時間内における手の移動量、移動速度、回転角度及び回転速度の内の第２のパラメータに関する情報を表示する第２の表示データと出力する。

図１５において、ウインドウＤＰ３中のグラフとウインドウＤＰ４中のグラフとは、横軸の時間軸が揃えられている、すなわち同期している。略２０秒から７０秒の間は、挿入部６ａの先端部１１がＳ字結腸を通過している時間である。略７０秒から９０秒の間は、挿入部６ａの先端部１１が脾湾曲部を通過している時間である。略９０秒から１００秒の間は、挿入部６ａの先端部１１が横行結腸を通過している時間である。よって、ユーザは、これらのグラフを見て、挿入部６ａの押し引き量、及び挿入部６ａの捩り量を知ることができる。

例えば、図１５の場合、６０秒から８０秒の間に、挿入部６ａが引かれながら、捩られていることが示されている。よって、ユーザが、研修医（レジデント）であるときは、エキスパートの挿入部６ａの押し引き量、及び挿入部６ａの捩り量を表示させれば、自己のそれらと比較し、自己の挿入操作を改善することもできる。

図１５の各グラフは、図１１のテーブルデータＴＢＬ中の挿入部６ａの挿入量（Ｌ）と回動量（Ｒ）の情報に基づいて描画される。

３）手の動きと挿入形状
例えば、ユーザは、右手ＲＨの動きに応じて、挿入部６ａの挿入形状ＳＨがどのように変化しているかを見たい場合がある。その場合、ユーザは、所定のコマンドを入力すると、図１６に示すような表示画面３４ａ中のウインドウＤＰ５、ＤＰ６が表示される。図１６は、手の動きと挿入形状の変化を示す画像の例を示す図である。

ウインドウＤＰ５は、挿入部６ａの挿入形状ＩＰＦを表示する。ウインドウＤＰ６は、右手ＲＨの動きをアニメーションで表示する。ユーザは、所定のコマンドを入力すると、図１６の画像が表示される。

ウインドウＤＰ５には、挿入部６ａの挿入形状が表示され、ウインドウＤＰ６には、右手のアニメーション画像が表示される。アニメーション生成プログラムＡＰが、右手ＲＨの位置（ｘ、ｙ、ｚ）及び姿勢（ｖｘ、ｖｙ、ｖｚ）の情報から、右手ＲＨの動きのアニメーション画像を生成する。すなわち、内視鏡挿入操作評価プロセッサ３３は、挿入形状と、手の位置及び姿勢の情報に基づいて生成された手のアニメーション画像とを、同期させて表示する表示データを出力する。

図１７は、ウインドウＤＰ５に表示される挿入形状の変化と、ウインドウＤＰ６に表示されるアニメーションの手の変化を説明するための図である。図１７は、２つのウインドウＤＰ５，ＤＰ６の時間経過に伴う画像の変化を示す。ウインドウＤＰ５ｔとＤＰ６ｔは、同じ時刻ｔにおける画像を示し、ウインドウＤＰ５（ｔ＋ｍ）とＤＰ６（ｔ＋ｍ）は、時刻ｔから経過した同じ時刻（ｔ＋ｍ）における画像を示し、ウインドウＤＰ５（ｔ＋ｎ）とＤＰ６（ｔ＋ｎ）は、時刻（ｔ＋ｍ）から経過した同じ時刻（ｔ＋ｎ）における画像を示している。

図１７に示すように、挿入部６ａの挿入形状ＩＰＦと、アニメーションの右手ＲＨａが同期しながら、図１６の２つのウインドウＤＰ５，ＤＰ６に表示される。よって、ユーザは、右手ＲＨの動きに応じて、どのように挿入部６ａの挿入形状ＩＰＦが変化するかを知ることができる。

大腸内視鏡等の軟性内視鏡は硬性器具と異なり、医者の操作に対して内視鏡６の挿入部６ａが一対一で動作する訳ではない。例えば医者が内視鏡６を被検体内に押し込んだ場合、内視鏡６が腸管内で撓み、内視鏡６の先端部１１が腸管に対して奥に進まないことがある。このような場合、一般的に研修医（レジデント）は自身の内視鏡操作に対して体内に挿入されている挿入部６ａがどのように動いているのか、認識できていないことが多い。そのため、研修医（レジデント）にとっては、右手ＲＨの動きに対して挿入部６ａの挿入形状ＩＰＦがどのように変化するかを知ることは、挿入操作を習得する上で非常に重要である。

図１６のウインドウＤＰ５の画像は、図１１のテーブルデータＴＢＬ中の形状情報に基づいて描画され、ウインドウＤＰ６の画像は、図１１のテーブルデータＴＢＬ中の手の動き中の位置、姿勢及び捩り量の情報に基づいてアニメーション生成プログラムＡＰにより作成されて描画される。特に、手の動きをアニメーションで表示すると共に、挿入部の挿入形状を同期して表示するので、分かり易い。

なお、図１６では、ウインドウＤＰ５には、挿入形状ＩＰＦのみが表示されているが、俯瞰カメラ３６により撮像された模型１０２の画像上に挿入形状ＩＰＦを重畳した画像を表示するようにしてもよい。

図１８は、ウインドウＤＰ５に表示される、模型１０２の画像上に挿入形状ＩＰＦが重畳された画像の例を示す図である。図１８のような画像によれば、ユーザは、腸管部１０２ｂ内における挿入部６ａの状態を理解し易い。

なお、上述したテーブルデータＴＢＬを用いれば、上述した表示例以外に様々な表示を行うことができる。

また、内視鏡挿入操作評価プロセッサ３３が内視鏡装置２から各種情報を取得するようにして、ユーザの内視鏡装置２に対する操作情報も含む表示データを生成して出力するようにしてもよい。例えば、挿入部６ａに対する硬度可変操作がされたときには、その硬度可変操作がされたことを示す情報を含む表示データが生成されるようにすれば、ユーザは、挿入操作と内視鏡装置２に対する操作情報とを関連付けて評価することができる。

さらにまた、内視鏡形状取得装置３の形状情報から、挿入部６ａの先端部１１の位置を推定し、その推定された位置情報も含めて表示データを生成して出力するようにしてもよい。先端部１１の位置情報に基づいて、表示装置３４に表示されるグラフ上に、「Ｓ字結腸を通過」などのメッセージも表示可能となる。

なお、ユーザの操作による力量を検出できる力量センサを模型１０２に設けてもよい。図１９は、力量センサとしてのフォースゲージの配置を説明するための図である。フォースゲージ９１は、押したり、引っ張ったりする力を測定する。フォースゲージ９１の力量検出用のセンサ部９１ａが肛門部１０２ｃとは反対側の模型１０２の表面に接触するように、フォースゲージ９１はテーブル１０１に設けられる。フォースゲージ９１からは、測定信号を出力するケーブル９２が延出している。

模型１０２は、テーブル１０１上に固定された２本のリニアガイドレール９３上に固定される。すなわち、被検体としての模型１０２は、挿入部６ａを挿入する方向に沿った長手方向に滑らかに所定の範囲移動する架台である２本のリニアガイドレール９３に搭載される。模型１０２は、リニアガイドレール９３上において所定の範囲内で動くように、リニアガイドレール９３上に固定される。フォースゲージ９１のセンサ部９１ａが模型１０２に当接するように、フォースゲージ９１は、テーブル１０１に固定される。なお、このリニアガイドレール９３は、１本でも良く、模型１０２をローラで転がしたり磁気浮上させるなどの方法で模型１０２を長手方向に移動させることができる。

図１９に示すように、フォースゲージ９１の出力は、ケーブル９２によって内視鏡挿入操作評価プロセッサ３３に出力される。内視鏡挿入操作評価プロセッサ３３は、フォースゲージ９１の測定信号を受信する。よって、フォースゲージ９１は、被検体である模型１０２又は挿入部６ａに加わる力を検出する力量検出部を構成する。

このように設けられたフォースゲージ９１を用いて、ユーザの挿入部６ａの操作による力量、すなわち押し引きの力が検出できる。すなわち、フォースゲージ９１は、挿入部６ａを挿入する方向に沿った長手方向及びその長手方向とは異なる方向（ここでは反対方向）における被検体又は挿入部６ａに加わる力を検出する。なお、フォースゲージ９１は、挿入部６ａを挿入する方向に沿った長手方向及びその長手方向とは異なる方向（ここでは反対方向）の一方の力のみを検出してもよい。

図２０は、模型に掛かる力量の変化を示すグラフを示す画像の例を示す図である。内視鏡挿入操作評価プロセッサ３３は、その力に関する情報を、挿入形状ＩＰＦに関する情報と時間的に関連付けて出力する。その結果、ウインドウＤＰ７には、時間経過に応じた、挿入力量の変化のグラフが表示される。図２０のグラフを、図１５のように２つ並べれば、ユーザは、二人の医師の挿入力量の違いを容易に知ることが出来る。

以上のように、上述した実施の形態によれば、挿入部を把持する手をどのように動かせばよいかを提示することができる内視鏡の挿入操作方法を提示することができるモニタリングシステム及び内視鏡の挿入操作の評価方法を提供することができる。

尚、ユーザの操作により模型１０２に挿入部６ａを挿入する力量を検出できるものとして、フォースゲージ９１以外にも、例えば、ユーザの手元側の回転力（ユーザがどのぐらいのトルクで挿入部６ａを捻っているか）を計測する、図示しないトルクセンサをさらに追加し、このトルクセンサからの情報を検出結果に追加してもよい。

ユーザは、評価用データを用いて所望の表示データで表示できるので、挿入操作の評価を行うことができる。特に、時間的に関連付けて、手の動き情報と、内視鏡形状取得装置３の挿入形状情報とが記録されているので、手の動きと挿入部６ａの挿入形状とが関連付けて確認することができる。

なお、上述した実施の形態は、内視鏡の挿入操作の訓練をするための内視鏡挿入訓練システムとして説明したが、訓練のためでなく、挿入操作を単に評価するためのシステムにも適用可能である。

また、上述した実施の形態は、内視鏡の模型への挿入操作を例とするものであるが、患者などへの挿入操作の評価装置としても使用することもできる。

さらにまた、本実施の形態においては、内視鏡挿入操作評価プロセッサ３３の記録機能、表示機能などは、ソフトウエアで実行されているが、各機能は、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施の形態においては、例えば、内視鏡挿入操作評価プロセッサ３３が１つ以上のＣＰＵを具備して構成されていてもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１９年５月３０日に日本国に出願された特願２０１９－１０１３２１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (12)

1. 内視鏡の挿入部の形状を検出する形状検出装置と、
   前記内視鏡を操作する手の動きを検出する動き検出装置と、
   を備え、
   前記形状検出装置は、被検体内に挿入される前記内視鏡の前記挿入部の挿入形状を検出するように構成され、
   前記動き検出装置は、前記内視鏡を操作する操作者の前記挿入部を把持する手の、３次元空間内の位置及び姿勢の少なくとも一つを含む動きを検出するように構成され、
   前記動き検出装置から出力される前記手の前記３次元空間内の前記位置及び前記姿勢の前記少なくとも１つに関する情報に基づいて、前記手の移動量、移動速度、回転角度、回転速度の少なくとも１つのパラメータを算出し、前記少なくとも１つのパラメータと前記形状検出装置からの前記挿入部の前記挿入形状に関する情報とを時間的に関連付けて出力するように構成されるプロセッサを、有する内視鏡操作評価装置を備える、モニタリングシステム。
2. 前記動き検出装置は、前記操作者の前記手に取り付けられるマーカ装置を撮影する第１の撮像装置を有し、前記第１の撮像装置により撮像された前記マーカ装置の動きから前記手の動きを検出するモーションキャプチャ装置である、請求項１に記載のモニタリングシステム。
3. 前記マーカ装置は、複数のマーカを有し、前記操作者の前記手の手首に取付けられるように構成され、
   前記第１の撮像装置は、前記複数のマーカを前記３次元空間内において複数方向から撮像する複数のカメラを含む、請求項２に記載のモニタリングシステム。
4. 前記複数のマーカは、前記複数のカメラのうちいずれかにより前記手首から突出した状態を検出できるよう、前記複数のマーカの内少なくとも２つのマーカは、８０ｍｍ以上離れて配置されている、請求項３に記載のモニタリングシステム。
5. 前記被検体内に挿入される前記挿入部を撮像する第２の撮像装置を有し、
   前記プロセッサは、前記第２の撮像装置により撮像された前記挿入部の外表面に設けられた所定の指標に基づく所定のパラメータを、前記第２の撮像装置の撮像画像に基づき算出し、前記挿入部の前記挿入形状に関する情報と時間的に関連付けて出力する、請求項２に記載のモニタリングシステム。
6. 前記所定の指標は、前記挿入部の長手軸に直交する方向で前記挿入部の外周を環状に囲む第１の帯と、前記第１の帯に対して傾けて設けられ前記挿入部の前記外周を螺旋状に囲む第２の帯とを有する、請求項５に記載のモニタリングシステム。
7. 前記被検体又は前記挿入部に加わる力を検出する力量検出部を更に有し、
   前記プロセッサは、前記力に関する情報を、前記挿入形状に関する情報と時間的に関連付けて出力する、請求項１に記載のモニタリングシステム。
8. 前記被検体は、前記挿入部を挿入する方向に沿った長手方向に所定の範囲移動する架台に搭載され、
   前記力量検出部は、前記長手方向及び前記長手方向とは異なる方向の少なくとも一方における、前記被検体又は前記挿入部に加わる力を検出する、請求項７に記載のモニタリングシステム。
9. 前記プロセッサは、第１の時間内における前記手の前記移動量、前記移動速度、前記回転角度及び前記回転速度の内の第１のパラメータに関する情報を表示する第１の表示データと、第２の時間内における前記手の前記移動量、前記移動速度、前記回転角度及び前記回転速度の内の第２のパラメータに関する情報を表示する第２の表示データと出力する、請求項１に記載のモニタリングシステム。
10. 前記プロセッサは、前記挿入形状と、前記位置及び前記姿勢の情報に基づいて生成された前記手のアニメーション画像とを、同期させて表示する表示データを出力する、請求項１に記載のモニタリングシステム。
11. 前記プロセッサは、前記手の前記３次元空間内の前記位置の情報に基づいて、前記手の前記位置を、時間経過に伴ってグラフで描画する表示データを出力する、請求項１に記載のモニタリングシステム。
12. 形状検出装置が、被検体の模型内に挿入される内視鏡挿入部の、前記被検体の模型内における挿入形状を検出し、
    動き検出装置が、前記内視鏡を操作する操作者による前記挿入部を把持する手の、３次元空間内の位置及び姿勢の少なくとも１つを検出し、
    プロセッサが、前記動き検出装置から出力される前記手の前記３次元空間内の前記位置及び前記姿勢の少なくとも１つに関する情報に基づいて、前記手の移動量、移動速度、回転角度、回転速度の少なくとも１つのパラメータを算出し、前記少なくとも１つのパラメータと前記形状検出装置からの前記挿入部の前記挿入形状に関する情報とを時間的に関連付けて出力する、
    内視鏡の模型への挿入操作の評価方法。

Images