JP6957645B2 - 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法 - Google Patents

Description

本発明は、挿入機器の推奨操作を出力する推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法に関する。

例えば、日本国特開２００４−３５８０９５号公報には、内視鏡検査時に挿入部が被検体内でループを形成したり被検体の観察部位が伸展されたりした際に挿入動作に応じた形状情報と操作指示情報とを表示する内視鏡挿入形状解析装置が開示されている。

日本国特開２００４−３５８０９５号公報に記載の装置は、内視鏡の挿入形状を解析し、解析結果に応じた操作指示情報を呈示する。しかしながら、この装置では、どの程度操作が必要であるかは呈示されない。

そこで、本発明は、適切な推奨操作情報を出力する推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法を提供することを目的とする。

本発明の一実施形態は、被挿入体に挿入される挿入部を有する挿入機器と、前記挿入部の少なくとも一部の形状を形状情報として検出する挿入部形状検出部と、前記形状情報と、予め準備された推奨操作参照データとに基づいて目標状態情報を設定し、設定された前記目標状態情報と前記形状情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算する、注目状態・操作管理情報演算部と、推奨する挿入操作の操作方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を少なくとも前記操作管理情報に基づいて演算する、推奨操作演算部と、前記推奨操作情報を含む情報を出力する出力情報処理部と、を具備する、推奨操作呈示システム。

本発明の他の実施形態は、被挿入体に挿入される挿入部を有する挿入機器の前記挿入部の所定の状態に係る参照注目状態情報と、前記参照注目状態情報に対応するように予め設定された操作方向及び目標状態情報とを含む推奨操作参照データを取得する参照データ取得部と、前記挿入部の少なくとも一部の形状に係る形状情報に基づいて前記挿入部の前記所定の状態に係る注目状態情報を演算し、少なくとも、前記注目状態情報と、前記注目状態情報に対応する前記参照注目状態情報と、前記目標状態情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算する、注目状態・操作管理情報演算部と、推奨する挿入操作の挿入方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を演算する推奨操作演算部であって、前記推奨操作方向は、前記注目状態情報と、前記操作方向とに基づいて演算し、前記推奨操作量は、少なくとも前記操作管理情報に基づいて演算する、推奨操作演算部と、前記推奨操作情報を含む情報を出力する出力情報処理部と、を具備する、推奨操作呈示制御装置である。また、本発明のさらなる他の実施形態は、これに対応する推奨操作呈示システムの作動方法である。

本発明によれば、適切な推奨操作情報を出力する推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法を提供することができる。

図１は、内視鏡システムの一例を概略的に示す図である。 図２は、内視鏡システムの一例を示すブロック図である。 図３Ａは、挿入部のαループの一例を示す図である。 図３Ｂは、挿入部のαループの一例を示す図である。 図３Ｃは、挿入部のαループの一例を示す図である。 図３Ｄは、挿入部のαループの一例を示す図である。 図３Ｅは、挿入部のＮループの一例を示す図である。 図３Ｆは、挿入部のＮループの一例を示す図である。 図４Ａは、内視鏡システムの制御装置による推奨操作情報の処理の一例を示すフローチャートである。 図４Ｂは、内視鏡システムの制御装置による推奨操作情報の処理の一例を示すフローチャートである。 図５は、推奨操作参照データの一例を示す図である。 図６は、推奨操作参照データの他の例を示す図である。 図７Ａは、Ｎループ解除に関する挿入部の状態の一例を示す図である。 図７Ｂは、Ｎループ解除に関する挿入部の状態の一例を示す図である。 図７Ｃは、右捻り操作に関する操作量を説明するための図である。 図７Ｄは、Ｎループ解除に関する挿入部の状態の一例を示す図である。 図７Ｅは、Ｎループ解除に関する挿入部の状態の一例を示す図である。 図８Ａは、αループ解除に関する挿入部の状態の一例を示す図である。 図８Ｂは、αループ解除に関する挿入部の状態の一例を示す図である。 図８Ｃは、αループ解除に関する挿入部の状態の一例を示す図である。 図９は、表示装置の表示画面の一例を示す図である。 図１０Ａは、推奨操作情報の表示の一例を示す図である。 図１０Ｂは、推奨操作情報の表示の一例を示す図である。 図１０Ｃは、推奨操作情報の表示の一例を示す図である。 図１１Ａは、推奨操作情報の表示の一例を示す図である。 図１１Ｂは、推奨操作情報の表示の一例を示す図である。 図１１Ｃは、推奨操作情報の表示の一例を示す図である。 図１２Ａは、推奨操作情報の表示の一例を示す図である。 図１２Ｂは、推奨操作情報の表示の一例を示す図である。 図１２Ｃは、推奨操作情報の表示の一例を示す図である。 図１３は、内視鏡画像に重畳表示された推奨操作情報の一例を示す図である。 図１４は、推奨操作情報の表示の一例を示す図である。 図１５は、ループ発生時間と注目状態情報／推奨操作情報の表示時間の一例を示す図である。 図１６は、ループ発生時間と注目状態情報／推奨操作情報の表示時間の一例を示す図である。 図１７は、管腔を含む内視鏡画像の一例を示す図である。 図１８は、変形例１による内視鏡システムの一例を示すブロック図である。 図１９Ａは、変形例１による推奨操作情報の処理の一例を示すフローチャートである。 図１９Ｂは、変形例１による推奨操作情報の処理の一例を示すフローチャートである。 図２０は、変形例２による内視鏡システムの一例を示すブロック図である。 図２１は、変形例２による表示装置の表示画面の一例を示す図である。 図２２は、変形例３による内視鏡システムの一例を概略的に示す図である。

本発明の実施形態について図面を参照して説明する。
以下では、挿入機器として医療用の大腸用軟性内視鏡（大腸内視鏡）を例に挙げ、これを含む挿入システムの一例として内視鏡システムを参照して本発明の実施形態に係る推奨操作呈示システムを説明する。なお、挿入機器は医療用内視鏡に限定されるものではなく、カテーテル、処置具、工業用内視鏡など、被検体に挿入するものであって、少なくとも一部が可撓性をもつ挿入部を有していればよい。また、被検体は人に限らず、動物、エンジン、配管などの構造物を含む被挿入体でもよい。

図１は、内視鏡システム１の一例を概略的に示す図である。図２は、内視鏡システム１の一例を示すブロック図である。内視鏡システム１は、内視鏡１０と、位置検出装置２０と、表示装置３０と、制御装置１００とを有している。

［内視鏡］
内視鏡１０は、先端の挿入部１１と、挿入部１１の基端側の操作部１６と、ケーブル１７とを有している。挿入部１１は、先端硬質部１２と、その基端側の操作湾曲部１３と、操作湾曲部１３の基端側の受動湾曲部１４とを有している。先端硬質部１２は、照明光学系、観察光学系、撮像素子１５等を内蔵している。操作湾曲部１３は、例えば、挿入部１１において先端硬質部１２の基端から１５ｃｍ程度の範囲である。操作湾曲部１３は、操作者が操作部１６の不図示の操作ノブを操作（例えば回転操作）することにより、所望の方向に湾曲可能である。受動湾曲部１４は、被検体から受ける外力等により湾曲自在である。内視鏡１０は、ケーブル１７を介して制御装置１００に接続される。

挿入部１１の内部には、例えば操作湾曲部１３及び受動湾曲部１４に、位置検出装置２０の一部である複数の発信コイル２１が設けられている。発信コイル２１は、挿入部１１の長手方向に沿って互いに離間して配置されている。図１では、操作湾曲部１３に３個の発信コイル２１が長手方向において異なる位置に配置されている。また、受動湾曲部１４に１０個の発信コイル２１（図１ではその一部が省略されている）が長手方向において異なる位置に配置されている。

［位置検出装置］
本実施形態では、位置検出装置２０は磁気式である。位置検出装置２０は、発信コイル２１と、発信信号生成部２２と、受信アンテナ２３とを有している。発信コイル２１は、上述したように内視鏡１０の挿入部１１に組み込まれている。発信信号生成部２２は、例えば、制御装置１００に組み込まれている。もちろん、これに限定されず、制御装置１００と別体であってもよい。受信アンテナ２３は、内視鏡１０や制御装置１００とは別体である。なお、受信アンテナ２３を送信アンテナとし、内視鏡１０の挿入部１１に受信コイルを設けて、送受信を逆にしてもかまわない。

発信信号生成部２２は、発信コイル２１から磁界を発生させるための信号、例えば正弦波の電流を生成する。生成した信号は、各発信コイル２１に対して決められた順番で、例えば挿入部１１の先端側の発信コイル２１から順番に出力される。発信コイル２１は、発信信号生成部２２から流れる電流により、磁界を発生させる。なお、図１では発信コイル２１につながる配線を１本しか描いていないが、１つの発信コイル２１に付き２本の配線がつながっている。

受信アンテナ２３は、図示しない複数の受信コイルで構成されている。受信アンテナ２３は、発信コイル２１が発生した磁界信号を検出する。受信アンテナ２３は、部屋やベッドに対して動かないように位置決めして設置される。受信アンテナ２３が検出した磁界の強度に基づいて、制御装置１００の後述する形状演算部１０３が各発信コイル２１の位置等を計算する。図１では受信アンテナ２３と制御装置１００とが有線接続されているが、無線接続であってもよい。

位置検出装置２０は、挿入部１１の少なくとも一部の形状を検出する挿入部形状検出部として機能するために挿入部１１の湾曲状態を検出可能なものであればよく、磁気式以外であってもよい。位置検出装置２０は、例えば、磁気を利用したセンシング（磁気センサ）、超音波を利用したセンシング（超音波センサ）、光ファイバを導光する光の損失を利用したセンシング（光ファイバセンサ）、歪みを利用したセンシング（歪みセンサ）、あるいはＸ線吸収材料を利用したセンシングのいずれか１つ又はこれらの組合せによって構成されることができる。また、ここでは位置検出装置と称しているが、形状検出装置と称される、同様の機能を有する装置であってもよい。

［制御装置］
制御装置１００は、システム制御部１０１と、画像処理部１０２と、形状演算部１０３と、注目状態・操作管理情報演算部１０４と、推奨操作演算部１０５と、出力情報処理部１０６と、参照データ取得部１０８とを有している。これら各部は、ＣＰＵなどの１又は複数の集積回路を含むプロセッサにより構成されている。制御装置１００はまた、記憶部１０７を有している。記憶部１０７は、半導体メモリ等のストレージである。

制御装置１００の上述の各部、特に、形状演算部１０３、注目状態・操作管理情報演算部１０４、推奨操作演算部１０５及び参照データ取得部１０８は、制御装置１００とは別の制御装置に含まれてもよい。例えば、形状演算部１０３、注目状態・操作管理情報演算部１０４、推奨操作演算部１０５及び参照データ取得部１０８は、画像処理部１０２を含む内視鏡ビデオ画像プロセッサとは別の制御装置に含まれてよい。あるいは、形状演算部１０３、注目状態・操作管理情報演算部１０４、推奨操作演算部１０５及び参照データ取得部１０８の各々が別の制御装置に含まれてもよい。すなわち、制御装置１００の上述の各部、特に、形状演算部１０３、注目状態・操作管理情報演算部１０４、推奨操作演算部１０５及び参照データ取得部１０８として機能するプロセッサあるいはハードウエア回路は、各部としての機能を実施可能である限り、１つの筐体に含まれてもよいし、複数の筐体に含まれてもよい。

［システム制御部］
システム制御部１０１は、制御装置１００に接続される、内視鏡システム１の各種機器の動作を制御する。システム制御部１０１は、例えば、内視鏡１０の先端硬質部１２の照明光学系に照明光を供給するために制御装置１００に接続される不図示の光源装置を制御する。

［画像処理部］
画像処理部１０２は、内視鏡１０の先端硬質部１２の撮像素子１５で被写体からの光を変換した電気信号をビデオ信号に変換処理し、被写体像に基づく内視鏡画像を生成し、表示装置３０に内視鏡画像を表示させる。

［形状演算部］
形状演算部１０３は、受信アンテナ２３から入力された磁界の強度情報に基づいて、各発信コイル２１の位置情報として、各発信コイル２１の位置と方向ベクトルとを計算する。複数の発信コイル２１により得られる複数の位置情報は挿入部１１の形状を表すものであるから、本実施形態では、複数の位置情報を形状情報と称する。必要に応じて発信コイル２１の位置情報をスプライン処理等により補間してよい。形状情報は、注目状態・操作管理情報演算部１０４及び推奨操作演算部１０５に出力される。このように、本実施形態では、形状演算部１０３は、位置検出装置２０とともに、挿入部１１の少なくとも一部の形状を形状情報として検出する挿入部形状検出部として機能する。

［注目状態・操作管理情報演算部］
注目状態・操作管理情報演算部１０４は、形状情報から注目状態情報と操作管理情報とを演算する。注目状態情報及び操作管理情報は、推奨操作演算部１０５及び出力情報処理部１０６に出力される。注目状態・操作管理情報演算部１０４は、注目状態情報を演算する注目状態演算部と、操作管理情報を演算する操作管理情報演算部とに分けてもよい。

注目状態情報は、後述する推奨操作情報が必要か否かを判断するための情報、又は推奨操作情報を判断するための情報であって、挿入部１１の所定の状態、例えば、挿入部１１が被検体に挿入されたときに起こることが予め想定される特徴的な状態に係る情報である。注目状態情報は、例えば、内視鏡１０の挿入部１１のループの有無、ループの種類とサイズ（ループの面積、周囲、幅など）、挿入長あるいは挿入部先端の移動量、挿入長の変化に対する挿入部先端の変化あるいは挿入量に対する挿入部先端の移動量の割合などの情報である。挿入長は、例えば、挿入部１１において被検体に挿入されている部分の長さである。挿入長の変化に対する挿入部先端の変化は、例えば、挿入操作に対して挿入部１１の先端が進んでいるか否か、すなわち、挿入が妨げられていないかを判断するための情報である。

図３Ａ乃至図３Ｆには、挿入部１１のループのいくつかの例が示されている。図３Ａ乃至図３Ｆでは、紙面上側が挿入部１１の先端側、紙面下側に挿入部１１の基端側（手元側）である。図３Ａには挿入部１１の交差部１１ｂにおいて挿入部先端１１ａの側が上側にあるαループ、図３Ｂには交差部１１ｂにおいて挿入部先端１１ａの側が下側にあるαループ（いわゆる裏αループ）、図３Ｃには交差部１１ｂにおいて挿入部先端１１ａの側が上側にある逆αループ（いわゆる裏逆αループ）、図３Ｄには交差部１１ｂにおいて挿入部先端１１ａの側が下側にある逆αループ、図３Ｅには本出願では逆のの字と称する、Ｎループの挿入部先端１１ａの側が内側にあるループ（すなわち、日本語の表記に用いられる平仮名「の」を裏返した形状のループ）、図３Ｆには挿入部先端１１ａの側が外側にあるＮ字形状のＮループがそれぞれ示されている。なお、逆のの字、Ｎ字形状は厳密にはループではないが、これらは一般にループとして扱い、本出願ではＮループの一種とする。これらは、内視鏡１０の大腸挿入時にＳ状結腸において形成されうるループである。例えば被検体が大腸である場合、図３Ａのαループ及び図３Ｃの逆αループは、挿入部１１の交差部１１ｂにおいて挿入部先端１１ａの側が腹側にあるループであり、図３Ｂのαループ及び図３Ｄの逆αループは、交差部１１ｂにおいて挿入部先端１１ａの側が背側にあるループである。このようなループが形成されると、操作者が挿入部１１を腸管内に容易に挿入できなくなってしまう。このため、本実施形態では、このようなループを注目状態として注目状態・操作管理情報演算部１０４で注目状態情報を算出する。

操作管理情報は、内視鏡１０の操作に係る情報であって、内視鏡１０に対する操作者の操作に関連して直接的に、又は間接的に変化する情報である。操作者の操作とは、主に湾曲操作、捻り操作、挿抜操作である。湾曲操作とは、上述したように、操作者が操作部１６を操作することにより操作湾曲部１３を湾曲させる操作である。捻り操作とは、操作者が受動湾曲部１４を手元側から左に、又は右に捻る操作である。捻り操作は回転操作とも称される。挿抜操作とは、操作者が受動湾曲部１４を手元側から押し込む操作（押し操作）、又は引き抜く操作（引き操作）である。その他、操作は、操作部１６の不図示の操作ボタンによる内視鏡１０の送気、送水、吸引、挿入部１１の硬度変更、被検体の例えば腹部を手で押さえることで挿入部１１の形状変化を抑制する用手圧迫などの操作でもよい。

例えば、図３Ａ乃至図３Ｄに示されるようなαループが形成されている状態から引き操作が行われると、αループの面積や周囲が小さくなる。このαループの面積や周囲は、操作者の操作に関連して直接的に変化する操作管理情報である。あるいは、推奨操作を判断するために、挿入部１１の目標形状が設定される。その目標形状と現時点の形状との差（例えば、挿入部１１の目標形状と現時点の形状とにおける各座標の差の合計）は、適切な操作を行うことによって小さくなる。したがって、この差は、操作者の操作に関連して間接的に変化する操作管理情報である。このように、操作に関する情報を間接的に検出することで、直接的に検出することが困難な場合でも操作管理情報を得ることができる。

操作管理情報として、例えば、注目状態・操作管理情報演算部１０４が形状情報の変化から湾曲操作方向と湾曲量とを演算してもよい。挿入部１１に１軸の発信コイル２１が配置されていると湾曲操作方向の検出ができないが、例えば、その近傍に異なる方向で２軸目のコイルを設けて２軸コイルとすることにより、湾曲方向の検出も可能となる。また、１軸コイルの場合には、コイルの軸回りの回転を検出できないため、捻り操作の検出が困難であるが、２軸コイルとすることにより、捻り操作の検出も可能となる。挿抜操作は、例えば挿入開始時の肛門の位置を記憶部１０７に記憶させることで、肛門の位置と挿入部１１の座標との位置関係から演算可能である。

操作管理情報は、操作者の内視鏡１０に対する各種操作を検出するセンサを内視鏡１０に設けて、センサの検出結果に基づく情報であってもよい。例えば、操作部１６の不図示の操作ノブの回転により操作湾曲部１３が湾曲する場合、操作ノブの回転量を検出するロータリーエンコーダを操作部１６に設ける。これにより、湾曲操作に関する操作管理情報が検出可能である。

［推奨操作演算部］
推奨操作演算部１０５は、形状演算部１０３及び注目状態・操作管理情報演算部１０４での演算の結果、すなわち、形状情報、注目状態情報及び操作管理情報に基づいて、挿入部１１の挿入をスムーズに進めるために推奨する操作に関する情報である推奨操作情報を演算する。推奨操作情報は、例えば、推奨する挿入操作の操作方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量とを含む。推奨操作情報は、出力情報処理部１０６に出力される。

［出力情報処理部］
出力情報処理部１０６は、推奨操作情報を含む情報を出力する。例えば、出力情報処理部１０６では、推奨操作情報を表示装置３０へ表示するための画像処理をし、表示装置３０に推奨操作情報を表示させる。推奨操作情報の他に、形状情報や注目状態情報などの情報を表示装置３０へ表示するための画像処理を行ってもよい。

［記憶部］
記憶部１０７は、制御装置１００に接続される各種機器や制御装置１００の各部の動作に必要な各種プログラムやデータを記憶している。記憶部１０７は、例えば図５又は図６に示されるような、内視鏡１０の大腸への挿入に関する推奨操作参照データを記憶している。推奨操作参照データは、Ｎループやαループといった上述のような注目状態が生じた場合にループ解除するために予めパターン化された操作方向及び目標状態情報を含むものである。なお、推奨操作参照データは、記憶部１０７以外の外部記憶装置に記憶されて読み出される形式であってもよい。また、記憶部１０７は、挿入中に発生する種々のデータを記憶してよい。

図５には、推奨操作参照データの一例として、注目状態情報に対応するように予め設定された参照注目状態情報、及びこれに対応させて予め設定された操作方向、目標形状情報（目標状態情報）及び推奨操作継続情報が示されている。図６には、推奨操作参照データの他の例として、注目状態情報に対応するように予め設定された参照注目状態情報、及びこれに対応させて予め設定された推奨操作要否判断情報、操作方向、目標形状情報（目標状態情報）及び推奨操作継続情報が示されている。参照注目状態情報は、挿入部１１の所定の状態に係る情報であって、注目状態・操作管理情報演算部１０４が演算する注目状態情報に対応するものである。目標状態情報も、注目状態情報に対応するものである。このように、参照注目状態情報及び目標状態情報は、注目状態情報に対応しているため、例えば、内視鏡１０の挿入部１１のループの有無、ループの種類とサイズ、挿入長、挿入長の変化に対する挿入部先端の変化などの情報である。推奨操作参照データは、注目状態・操作管理情報演算部１０４及び推奨操作演算部１０５による演算で参照される。もちろん、推奨操作参照データは、これに限定されるものではなく、被検体に応じて種々の推奨操作参照データが用いられる。

例えば、推奨操作参照データの（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）は、挿入部１１が形成したＮループ解除（Ｎループの直線化）のための推奨操作参照データである。本実施形態における推奨操作呈示システムでは、後述するように、注目状態・操作管理情報演算部１０４で演算された参照注目状態情報に対応させて、（ｉ）、（ｉｉ）、（ｉｉｉ）の順に、又は（ｉｉ）、（ｉｉｉ）の順に、あるいは（ｉｉｉ）の参照データを参照して、操作管理情報及び推奨操作情報が演算される。必要に応じて（ｉｖ）の参照データも参照される。同様に、推奨操作参照データの（ｖ）、（ｖｉ）は、挿入部１１が形成したαループ解除（αループの直線化）のための推奨操作参照データである。本実施形態における推奨操作呈示システムでは、後述するように、注目状態・操作管理情報演算部１０４で演算された参照注目状態情報に対応させて、（ｖ）、（ｖｉ）の順に、又は（ｖｉ）の参照データを参照して、操作管理情報及び推奨操作情報が演算される。

［参照データ取得部］
参照データ取得部１０８は、記憶部１０７又は記憶部１０７以外の外部記憶装置に記憶されている推奨操作参照データを取得する。注目状態・操作管理情報演算部１０４及び推奨操作演算部１０５は、参照データ取得部１０８が取得した推奨操作参照データに基づいて注目状態情報の演算、操作管理情報の演算、推奨操作情報の演算を行う。

［表示装置］
表示装置３０は、液晶ディスプレイなどのモニタであり、出力装置とも称される。表示装置３０は、出力情報処理部１０６が出力した推奨操作情報を表示する。その他、内視鏡画像、内視鏡挿入形状、注目状態情報などを表示してもよい。

内視鏡システム１の動作、例えば大腸内視鏡検査における動作について説明する。
内視鏡１０の挿入部１１は、操作者によって大腸の腸管内に、肛門から直腸、結腸、盲腸へと挿入される。挿入部１１は、腸管の形状に追従して湾曲しながら腸管内を進行する。先端硬質部１２の観察光学系で得られた被検体の光学像は、撮像素子１５で電気信号に変換される。画像処理部１０２は、撮像素子１５から出力された電気信号に基づく画像信号を生成し、生成した画像信号に基づいて腸管内の内視鏡画像を表示装置３０に表示させる。

（推奨操作呈示システムによる処理の一例）
以下、推奨操作呈示システムとしての内視鏡システム１の制御装置１００による処理の一例について、図４Ａ及び図４Ｂを参照して概略的に説明する。

ステップＳ１１において、形状演算部１０３は、受信アンテナ２３から受信した磁界の強度情報に基づいて挿入部１１の形状を演算する。演算の結果が形状情報として注目状態・操作管理情報演算部１０４に伝達される。

ステップＳ１２において、注目状態・操作管理情報演算部１０４は、形状情報に基づいて特徴的な形状（例えばＮループやαループ）、挿入長などである注目状態情報を検出する。

ステップＳ１３において、推奨操作演算部１０５は、参照データ取得部１０８を介して予め記憶部１０７に記憶された図５に示されるような推奨操作参照データを取得し、これを参照して、ステップＳ１２で検出した注目状態情報が推奨操作参照データの参照注目状態情報に該当するか否かを判断する。これにより、推奨操作演算部１０５は、推奨操作情報が必要か否かを判断する。

あるいは、図６に示されるように、推奨操作参照データに推奨操作情報が必要でない場合の参照注目状態情報（略直線形状など）を含め、これに対応させて予め設定された推奨操作要否判断情報を予め記憶部１０７に記憶させておき、推奨操作演算部１０５が注目状態情報と参照注目状態情報を参照して対応する推奨操作要否判断情報とに基づいて推奨操作情報が必要か否かを判断してもよい。例えば、推奨操作要否判断情報に基づいて推奨操作情報が必要か否かを判断し、必要と判断した場合にのみ操作管理情報を演算して推奨操作情報を出力することにより、操作者にとって不要な情報を表示することが低減される。換言すれば、表示装置３０から必要な情報を得やすくなる。

注目状態情報が参照注目状態情報に該当しない、あるいは該当しても推奨操作要否判断情報から推奨操作が不要と判断された場合には（ステップＳ１３−ＮＯ）、処理はステップＳ２０に進む。注目状態情報が参照注目状態情報に該当する、あるいは該当して推奨操作要否判断情報から推奨操作が必要と判断された場合には（ステップＳ１３−ＹＥＳ）、処理はステップＳ１４に進む。

ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データから、少なくともステップＳ１３で該当すると判断された参照注目状態情報に対応する目標形状情報を読み出して、少なくとも目標形状情報とステップＳ１１で演算した形状情報とから操作管理情報を演算する。操作管理情報は、推奨操作演算部１０５に伝達される。また、操作管理情報は、記憶部１０７に記憶される。

ステップＳ１５において、推奨操作演算部１０５は、ステップＳ１２で演算した注目状態情報に対応する参照注目状態情報に基づいて推奨操作参照データから読み出した操作方向と、ステップＳ１４で演算した操作管理情報に基づく操作量とを含む推奨操作情報を演算する。推奨操作情報は、出力情報処理部１０６に伝達される。

ステップＳ１６において、出力情報処理部１０６は、推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の湾曲操作、捻り操作、挿抜操作などを行う。

ステップＳ１７において、形状演算部１０３は、受信アンテナ２３から受信した磁界の強度情報に基づいて挿入部１１の現在の形状を演算する。演算の結果が現在の形状情報として推奨操作演算部１０５に伝達される。

ステップＳ１８において、推奨操作演算部１０５は、ステップＳ１７で取得した現在の形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になっているか否かを判断する。すなわち、推奨操作演算部１０５は、現在の注目状態（すなわち、ステップＳ１２で検出した注目状態情報に係る注目状態）に対する操作推奨情報にしたがった操作が完了しているか否かを判断する。完了している場合には（ステップＳ１８−ＹＥＳ）、処理はステップＳ１９に進む。その他の場合には（ステップＳ１８−ＮＯ）、処理はステップＳ２１に進む。

ステップＳ１９において、推奨操作演算部１０５は、ステップＳ１３で該当すると判断された参照注目状態情報に対応する推奨操作継続情報を読み出して、現在の注目状態に対する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。「完了」である場合には（ステップＳ１９−ＹＥＳ）、処理はステップＳ２０に進む。「継続」である場合には（ステップＳ１９−ＮＯ）、処理はステップＳ１４に戻る。

ステップＳ２０において、推奨操作演算部１０５は、挿入操作が完了したか否か、すなわち、挿入部１１が盲腸まで到達したか否かを判断する。この判断は、挿入部１１の形状や形状の履歴（例えば挿入部１１の形状の時間変化）、先端の位置などに基づいて行われてよい。あるいは、内視鏡システム１にスイッチやキーボードなどの入力装置を設け、操作者の判断によりスイッチが押されたりキーボードに所定の入力がされたりした場合に挿入操作完了と判断する仕様であってもよい。また、画像認識技術を用いて、内視鏡画像に盲腸が検出されれば挿入完了と判断してもよい。挿入操作が完了している場合には（ステップＳ２０−ＹＥＳ）、処理は終了する。完了していない場合には（ステップＳ２０−ＮＯ）、処理はステップＳ１１に戻る。

ステップＳ１８で現在の注目状態に対する推奨操作情報にしたがった操作が完了していないと判断された場合には（ステップＳ１８−ＮＯ）、処理はステップＳ２１に進む。ステップＳ２１において、注目状態・操作管理情報演算部１０４は、ステップＳ１７での現在の形状情報を取得し、ステップＳ１２と同様にして、現在の形状情報に基づいて注目状態情報を検出する。

ステップＳ２２において、注目状態・操作管理情報演算部１０４は、ステップＳ１４と同様にして、少なくとも目標形状情報とステップＳ１７で演算した現在の形状情報とから操作管理情報を演算する。操作管理情報は、記憶部１０７に記憶される。

ステップＳ２３において、推奨操作演算部１０５は、操作者が行った操作が推奨操作に一致しているか否かを判断する。具体的には、直前のステップＳ２２で演算された操作管理情報の値と、操作管理情報の演算に関する１つ前のステップＳ１４（あるいはステップＳ２２）で演算された操作管理情報の値とに基づいて操作管理情報の値とを比較し、操作者が行った操作の方向（操作者操作方向）と推奨操作情報の操作方向（推奨操作方向）とが合っているか否かを判断する。一致していると判断された場合には（ステップＳ２３−ＹＥＳ）、処理はステップＳ２４に進み、一致していないと判断された場合には（ステップＳ２３−ＮＯ）、処理はステップＳ２５に進む。なお、目標形状に到達していないにもかかわらず、ステップＳ２１で検出した注目状態情報に対応する参照注目状態情報がその直前のステップＳ１２で参照した参照注目状態情報とは異なるものとなっていた場合には、操作者が行った操作が推奨操作に一致していないと判断される。

ステップＳ２４において、推奨操作演算部１０５は、ステップＳ２２で算出した操作管理情報に基づいて操作量を更新する。そして、処理はステップＳ１６に進み、出力情報処理部１０６が、操作方向及び更新した操作量を含む推奨操作情報を出力情報として処理し、表示装置３０に表示させる。ステップＳ１６の後、上述のステップＳ１７以降の処理が行われる。

一方、ステップＳ２５において、推奨操作演算部１０５は、推奨操作情報にしたがう操作が実施できる状態であるか否かを判断する。実施できない状態と判断された場合には（ステップＳ２５−ＮＯ）、処理はステップＳ１４に進む。ステップＳ１４において、注目状態・操作管理情報演算部１０４は、実施できなかった操作を含む操作管理情報とは異なる操作管理情報を演算する。ステップＳ１４の後、上述のステップＳ１５以降の処理が行われる。

一方、実施可能な状態と判断された場合には（ステップＳ２５−ＹＥＳ）、処理はステップＳ２６に進む。ステップＳ２６において、推奨操作演算部１０５は、推奨操作情報を修正する。例えば、操作者操作方向が推奨操作方向とは逆であった場合には、推奨操作演算部１０５は、ステップＳ２２で算出した操作管理情報に基づいて操作量を修正し、操作方向が逆であることの警告を表示装置３０に出力することを決定する。注目状態情報が変化して対応する参照注目状態情報が変更された場合には、推奨操作演算部１０５は、推奨操作参照データを参照し直し、該当する参照注目状態情報から操作方向と操作量とを演算し直す。推奨操作演算部１０５は、推奨操作と一致していない旨の警告を表示装置３０に出力することを決定してもよい。ステップＳ２６の後、処理はステップＳ１６に進む。

ステップＳ２６の後のステップＳ１６では、出力情報処理部１０６は、推奨操作情報及び警告を出力情報として処理し、表示装置３０に表示させる。以後、上述のステップＳ１７以降の処理が行われる。

（Ｎループ解除時の処理の一例）
ここまで、図４Ａ及び図４Ｂに示される一連の処理を概略的に説明してきたが、以下、挿入時のＮループ解除に関する推奨操作呈示システムでの処理について、図７Ａ乃至図７Ｅとともに図４Ａ及び図４Ｂのフローチャート、図５の推奨操作参照データを参照して具体的に説明する。

ステップＳ１１において、形状演算部１０３が挿入部１１の第１の形状情報を演算する。ステップＳ１２において、注目状態・操作管理情報演算部１０４は、第１の形状情報に基づいて、第１の注目状態情報として図７Ａに示されるような逆のの字のＮループを検出する。すなわち、第１の注目状態は「ａ１−ｂ１間がＸ１（Ｘ１≧１０ｃｍ以上）の逆のの字形状」である。ここで、ａ１、ｂ１は、図７Ａに示されるｘｙ平面における点である。ａ１は、挿入部１１が形成しているＮループのｙ座標が最も大きい点（ｙ座標：ｙａ１）であり、ｂ１は、挿入部１１が形成しているＮループのｙ座標が最も小さい点（ｙ座標：ｙｂ１）である。

ステップＳ１３において、推奨操作演算部１０５は、図５の参照注目状態情報を参照して、ステップＳ１２で検出した第１の注目状態情報が推奨操作参照データの参照注目状態情報に該当するか否かを判断する。ここでは、これが推奨操作参照データの（ｉ）の参照注目状態情報「ａ１−ｂ１間が１０ｃｍ以上の逆のの字形状」に該当するため（ステップＳ１３−ＹＥＳ）、処理はステップＳ１４に進む。換言すれば、ステップＳ１３で推奨操作情報が必要であると判断され、処理がステップＳ１４に進む。

ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｉ）に対応する目標形状情報を読み出す。ここでは、「ａ２−ｂ２間が１０ｃｍ未満の逆のの字形状」が読み出される。ここで、ａ２、ｂ２は、図７Ａに示されるｘｙ平面における点である。ａ２は、目標形状におけるＮループのｙ座標が最も大きい点（ｙ座標：ｙａ２）であり、ｂ２は、目標形状におけるＮループのｙ座標が最も小さい点（ｙ座標：ｙｂ２）である。そして、注目状態・操作管理情報演算部１０４は、第１の注目状態情報に係る逆のの字形状と目標形状情報に係る逆のの字形状とのサイズの差を演算して第１の操作管理情報とする。図７Ａには、第１の形状情報に係る逆のの字形状が白抜きの実線で、目標形状情報に係る逆のの字形状が破線でそれぞれ示されている（以下の図面でも同様である）。注目状態・操作管理情報演算部１０４は、例えば、図７Ａに示されるように、点ａ１のｙ座標ｙａ１と点ｂ１のｙ座標ｙｂ１との差Δｙａ１ｂ１と、点ａ２のｙ座標ｙａ２と点ｂ２のｙ座標ｙｂ２との差Δｙａ２ｂ２と、の差Δｙａ１ｂ１−Δｙａ２ｂ２を第１の操作管理情報とする。

ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｉ）に対応する操作方向として引き操作を読み出す。また、推奨操作演算部１０５は、第１の操作管理情報Δｙａ１ｂ１−Δｙａ２ｂ２に基づいて引き操作の操作量を演算する。ここでは、第１の操作管理情報に基づいて算出した操作量は、何ｃｍ引くべきか、といった直接的な操作量である。このように、推奨操作演算部１０５は、推奨操作情報として第１の注目状態情報に基づく引き操作である第１の推奨操作方向と第１の操作管理情報に基づく第１の推奨操作量とを含む第１の推奨操作情報を演算する。図７Ａには、挿入部１１の手元側に引き操作を表す下向き矢印が示されている。

ステップＳ１６において、出力情報処理部１０６は、第１の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の引き操作を行う。

ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。例えば、ここでの形状情報に基づいて上述のようにして算出した第１の操作管理情報の値が０、あるいは０以下になった場合に、推奨操作が完了したと判断される。操作者が少しずつ引き操作（すなわち、推奨操作方向にしたがう挿入操作）を行うと推奨操作が完了したと判断されるまでステップＳ２１からステップＳ２４の処理が繰り返され、操作が完了していると判断されると（ステップＳ１８−ＹＥＳ）、処理はステップＳ１９に進む。

ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｉ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「継続」であるから（ステップＳ１９−ＮＯ）、処理はステップＳ１４に戻る。推奨操作継続情報が「継続」である場合には、推奨操作参照データに（ｉ）に続く（ｉｉ）が用意されているから、処理はステップＳ１４に進み、新たな注目状態情報に基づく推奨操作情報の演算を続ける。

ここで、上述のステップＳ１７において算出された現在の形状に係る形状情報を第２の形状情報とする。第２の形状情報は、推奨操作参照データの（ｉ）の目標形状情報「ａ２−ｂ２間が１０ｃｍ未満の逆のの字形状」に対応している。

ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｉ）の次の（ｉｉ）に対応する参照注目状態情報、操作方向及び目標形状情報を読み出す。すなわち、ここでは、「ａ１−ｂ１間が１０ｃｍ未満の逆のの字／Ｎ字形状」、「右捻り」及び「θが±１０°以内のＮ字形状」が読み出される。ここでは、読み出した参照注目状態情報が第２の注目状態情報である。注目状態・操作管理情報演算部１０４は、第２の注目状態情報に係る逆のの字形状と目標形状情報に係るＮ字形状との座標の角度の差を演算して第２の操作管理情報とする。

ここで、第２の操作管理情報について詳しく説明する。図７Ｂに示されるようにｘｙ平面を設定し、点ｃ１、ｃ２、ｄ１、ｄ２をとる。点ｃ２、ｄ２は、それぞれ、図７Ｂに示されるｘｙ平面における、第２の形状情報に係る逆のの字形状の点ｃ１、ｄ１に関する目標形状の点である。ｃ１は、第２の形状情報に係る逆のの字形状における挿入部１１の先端の点（ｙ座標：ｙｃ１）であり、ｄ１は、挿入部１１が形成している逆のの字のＮループにおいてｙ座標が点ｃ１のｙ座標ｙｃ１と等しい点（ｙ座標：ｙｄ１）である。ｃ２は、目標形状における挿入部１１の先端の点（ｙ座標：ｙｃ２）であり、ｄ２は、ｄ１と同じ点（ｙ座標：ｙｄ２）である。右捻りの操作により、点ｃ１は、図７Ｃに示されるようなｘｚ平面上で略円運動を行うと考えられる。このため、点ｃ１が捻り操作によって点ｄ１を中心に円運動を行ってｘ軸上の点ｃ２となると想定し、点ｃ２と点ｄ２を結ぶ線、すなわちｘ軸と、点ｄ１と点ｃ１とを結ぶ線とがなす角度θを求め、第２の操作管理情報とする。

ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｉｉ）に対応する操作方向として右捻り操作を読み出す。また、推奨操作演算部１０５は、第２の操作管理情報に基づいて捻り操作の操作量を演算する。ここでは、第２の操作管理情報である角度θをそのまま回転操作量としてよい。このように、推奨操作演算部１０５は、推奨操作情報として第２の注目状態情報に基づく右捻り操作である第２の推奨操作方向と第２の操作管理情報に基づく第２の推奨操作量とを含む第２の推奨操作情報を演算する。図７Ｂには、挿入部１１の手元側に右捻り操作を表す矢印が示されている。

ステップＳ１６において、出力情報処理部１０６は、第２の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の右捻り操作を行う。

ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。例えば、ここでの形状情報に基づいて上述のようにして算出した第２の操作管理情報の値が０、あるいは０を含む所定範囲になった場合に、推奨操作が完了したと判断される。操作者が少しずつ右捻り操作（すなわち、推奨操作方向にしたがう操作）を行うと推奨操作が完了したと判断されるまでステップＳ２１からステップＳ２４の処理が繰り返され、操作が完了していると判断されると（ステップＳ１８−ＹＥＳ）、処理はステップＳ１９に進む。

ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｉｉ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「継続」であるから（ステップＳ１９−ＮＯ）、処理はステップＳ１４に戻る。推奨操作継続情報が「継続」である場合には、推奨操作参照データに（ｉｉ）に続く（ｉｉｉ）が用意されているから、処理はステップＳ１４に進み、新たな注目状態情報に基づく推奨操作情報の演算を続ける。

ここで、上述のステップＳ１７において算出された現在の形状に係る形状情報を第３の形状情報とする。第３の形状情報は、推奨操作参照データの（ｉｉｉ）の目標形状情報「θが±１０°以内のＮ字形状」に対応している。

ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｉｉ）の次の（ｉｉｉ）に対応する参照注目状態情報、目標形状情報を読み出す。すなわち、ここでは、「θが±１０°以内のＮ字形状」、「略直線の座標データ」が読み出される。ここでは、読み出した参照注目状態情報が第３の注目状態情報である。そして、注目状態・操作管理情報演算部１０４は、第３の注目状態情報に係るＮ字形状と目標形状情報に係る略直線形状との差を演算して第３の操作管理情報とする。

図７Ｄに示されるｘｙ平面には、第３の形状情報に係るＮ字形状である、ｃ１−ｄ１間がＸ３の挿入部１１が示されている。図７Ｄには、挿入部１１の第３の形状情報に係るＮ字形状の任意の点ｅ１、ｆ１、ｇ１、ｈ１、ｉ１と、各点に関する目標形状の任意の点ｅ２、ｆ２、ｇ２、ｈ２、ｉ２とが示されている。第３の操作管理情報は、例えば、各点のｘｙ座標データの差の合計値である。図７Ｄに示される、各点ｅ１−ｅ２、ｆ１−ｆ２、ｇ１−ｇ２、ｈ１−ｈ２、ｉ１−ｉ２間の矢印は、第３の操作管理情報を概念的に表している。

ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｉｉｉ）に対応する操作方向として引き操作を読み出す。また、推奨操作演算部１０５は、第３の操作管理情報に基づいて引き操作の操作量を演算する。例えば各点のｘｙ座標データの差の合計値が第３の操作管理情報である場合、第３の操作管理情報に基づいて算出した操作量は、何ｃｍ引くべきか、といった引き操作に対する直接的な操作量ではなく、前記差の合計値で表される間接的な操作量である。このように、推奨操作演算部１０５は、推奨操作情報として第３の注目状態情報に基づく引き操作である第３の推奨操作方向と第３の操作管理情報に基づく第３の推奨操作量とを含む第３の推奨操作情報を演算する。図７Ｄには、挿入部１１の手元側に引き操作を表す下向き矢印が示されている。

ステップＳ１６において、出力情報処理部１０６は、第３の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の引き操作を行う。

ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。例えば、第３の操作管理情報の値が０に近づくほど、挿入部１１は目標形状に近くなる。ただし、通常は目標形状に正確に一致する必要はないため、第３の操作管理情報の値に対する閾値を設け、閾値を下回れば図７Ｅに示されるように目標形状まで操作が完了した、すなわち、Ｎループに対する推奨操作が完了してＮループが略直線化されたと判断される。ここでは操作が完了していないと判断されて（ステップＳ１８−ＮＯ）、処理はステップＳ２１に進む。

ステップＳ２１において、注目状態・操作管理情報演算部１０４は、ステップＳ１７での現在の形状情報を取得し、ステップＳ１２と同様にして、現在の形状情報に基づいて注目状態情報を検出する。

ステップＳ２２において、注目状態・操作管理情報演算部１０４は、ステップＳ１４と同様にして、ステップＳ１７での現在の形状情報と目標形状情報との差から操作管理情報を演算する。

ステップＳ２３において、推奨操作演算部１０５は、操作者が行った操作が推奨操作に一致しているか否かを判断する。ここでは、直前のステップＳ２２で演算された操作管理情報の値と、操作管理情報の演算に関する１つ前のステップＳ１４で演算された操作管理情報の値とに基づいて操作管理情報の値の増減を算出し、操作者操作方向と推奨操作方向とが合っているか否かを判断する。例えば、操作者操作方向と推奨操作方向とが合っていれば、操作管理情報の値は減少している。一方、これら方向が合っていなければ、操作管理情報の値は増加している。ここでは操作管理情報の値が増加しており両方向が合っていないと判断されて（ステップＳ２３−ＮＯ）、処理はステップＳ２５に進む。

ステップＳ２５において、推奨操作演算部１０５は、推奨操作情報にしたがった推奨操作が実施できない状態であるか否かを判断する。これは、例えば、形状演算部１０３からの形状情報が所定時間変化していないこと、画像認識技術により内視鏡画像が所定時間変化していないことや内視鏡画像から挿入困難状態が認識されること、などにより判断される。以下、推奨操作情報にしたがった推奨操作が実施できる状態の場合（ステップＳ２５−ＹＥＳ）と、実施できない状態の場合（ステップＳ２５−ＮＯ）との２通りの処理の例について説明する。

（推奨操作情報にしたがった推奨操作が実施できる状態の場合の一例）
推奨操作情報にしたがった推奨操作が実施できる状態の場合には（ステップＳ２５−ＹＥＳ）、処理はステップＳ２６に進む。

ステップＳ２６において、推奨操作演算部１０５は、推奨操作情報を再演算して修正する。例えば、操作者操作方向が推奨操作方向とは逆であった場合には、推奨操作演算部１０５は、ステップＳ２２で算出した操作管理情報に基づいて操作量を増加させる。また、推奨操作演算部１０５は、操作方向が逆であることの警告を表示装置３０に出力することを決定する。そして、処理はステップＳ１６に進む。

ステップＳ１６において、出力情報処理部１０６は、増加した操作量を含む推奨操作情報及び警告を出力情報として処理し、表示装置３０に表示させる。

ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。ここでは操作が完了していないと判断されて（ステップＳ１８−ＮＯ）、処理はステップＳ２１に進む。

上述したようなステップＳ２１、Ｓ２２を経て、ステップＳ２３において、推奨操作演算部１０５は、操作者が行った操作が推奨操作に一致しているか否かを判断する。ここでは操作者が行った操作が推奨操作に一致していると判断されて（ステップＳ２３−ＹＥＳ）、処理はステップＳ２４に進む。

ステップＳ２４において、推奨操作演算部１０５は、ステップＳ２２で算出した操作管理情報に基づいて操作量を再演算して更新する。ここでは操作量が減少される。そして、処理はステップＳ１６に進み、出力情報処理部１０６が、操作方向及び更新した操作量を含む推奨操作情報を出力情報として処理し、表示装置３０に表示させる。そして、上述したようなステップＳ１７を経て、ステップＳ１８において、推奨操作演算部１０５は、挿入部１１の現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。ここでは操作が完了していると判断されて（ステップＳ１８−ＹＥＳ）、処理はステップＳ１９に進む。

ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｉｉｉ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「完了」であるから（ステップＳ１９−ＹＥＳ）、処理はステップＳ２０に進む。すなわち、推奨操作継続情報が「完了」である場合には、推奨操作参照データに（ｉｉｉ）に続くものが存在しないため、処理はステップＳ２０に進む。

ステップＳ２０において、注目状態・操作管理情報演算部１０４は、挿入操作が完了したか否かを判断する。完了していないと判断されると（ステップＳ２０−ＮＯ）、ステップＳ１１に戻り、ステップＳ１１以降の処理が繰り返されるが、完了していると判断されると（ステップＳ２０−ＹＥＳ）、処理は終了する。

（推奨操作情報にしたがった推奨操作が実施できない状態の場合の一例）
推奨操作情報にしたがった推奨操作が実施できない状態の場合には（ステップＳ２５−ＮＯ）、処理はステップＳ１４に進む。これは、例えば、癒着など被検体の状態が原因となり推奨操作情報通りの挿入操作を行うことができない場合である。

ステップＳ１４において、注目状態・操作管理情報演算部１０４は、行えなかった操作を含む推奨操作情報とは異なる操作管理情報を演算する。例えば、大腸の癒着が原因でＮループの直線化が行えない場合には、注目状態・操作管理情報演算部１０４は、操作方向として「押す」を含む推奨操作参照データに基づいて操作管理情報を演算する。これは、Ｎループは引いて直線化するほうが被検体、例えば患者に対する負担が少ないが、癒着などにより引き操作による直線化が行えない場合には押し操作が有効であることに因る。

記憶部１０７には、図５に示されるように、推奨操作参照データの（ｉｉｉ）を参照した推奨操作情報にしたがう操作が実施できなかった場合に用いる推奨操作参照データの（ｉｖ）が記憶されている。（ｉｖ）では、例えば、参照注目状態情報、目標形状情報、推奨操作継続情報は（ｉｉｉ）と同じであるが、操作方向が（ｉｉｉ）の「引く」とは異なり、「押す」である。注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｉｖ）よりも（ｉｉｉ）を優先して参照するが、推奨操作参照データの（ｉｉｉ）を参照した推奨操作情報にしたがう操作が実施できなかった場合には（ｉｖ）を参照する。

ステップＳ１５において、推奨操作演算部１０５は、推奨操作として注目状態情報に基づく押し操作と操作管理情報に基づく操作量とを含む推奨操作情報を演算する。そして、ステップＳ１６、Ｓ１７を経て、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。操作者が少しずつ押し操作（すなわち、推奨操作方向にしたがう操作）を行うと推奨操作が完了したと判断されるまでステップＳ２１からステップＳ２４の処理が繰り返され、操作が完了していると判断されると（ステップＳ１８−ＹＥＳ）、処理はステップＳ１９に進む。

ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｉｖ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「完了」であるから（ステップＳ１９−ＹＥＳ）、処理はステップＳ２０に進む。

ステップＳ２０において、注目状態・操作管理情報演算部１０４は、挿入操作が完了したか否かを判断する。完了していないと判断されると（ステップＳ２０−ＮＯ）、ステップＳ１１に戻り、ステップＳ１１以降の処理が繰り返されるが、完了していると判断されると（ステップＳ２０−ＹＥＳ）、処理は終了する。

（αループ解除時の処理の一例）
以下、挿入時のαループ解除に関する推奨操作呈示システムでの処理について、図８Ａ乃至図８Ｃとともに図４Ａ及び図４Ｂのフローチャート、図５の推奨操作参照データを参照して具体的に説明する。

ステップＳ１１において、形状演算部１０３が挿入部１１の第４の形状情報を演算する。ステップＳ１２において、注目状態・操作管理情報演算部１０４は、第４の形状情報に基づいて、第４の注目状態情報として図８Ａに示されるようなαループを検出する。すなわち、第４の注目状態は「ループの面積がＸ４（Ｘ４≧３００ｃｍ^２以上）のαループ」である。ここで、ループの面積とは、ループを形成している範囲の座標に対して近似平面を演算し、近似平面に投影させたときにできるループ形状の面積である。例えば、挿入部１１が３次元空間において螺旋状となっている場合には、投影しないとループの面積を求められないため、このような手法をとる。

ステップＳ１３において、推奨操作演算部１０５は、図５の参照注目状態情報を参照して、ステップＳ１２で検出した第４の注目状態情報が推奨操作参照データの参照注目状態情報に該当するか否かを判断する。ここでは、これが推奨操作参照データの（ｖ）の参照注目状態情報「ループの面積が３００ｃｍ^２以上のαループ」に該当するため（ステップＳ１３−ＹＥＳ）、処理はステップＳ１４に進む。

ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｖ）に対応する目標形状情報を読み出す。ここでは、「ループの面積が３００ｃｍ^２未満のαループ」が読み出される。図８Ａには、第４の形状情報に係る形状が白抜きの実線で、挿入部１１の目標形状が破線でそれぞれ示されている。注目状態・操作管理情報演算部１０４は、例えば、第４の注目状態情報に係るαループの面積Ｘ４と目標形状情報に係るαループの面積３００ｃｍ^２との差を第４の操作管理情報とする。なお、αループの面積そのものを第４の操作管理情報としてもよい。

ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｖ）に対応する操作方向として引き操作を読み出す。また、推奨操作演算部１０５は、第４の操作管理情報に基づいて引き操作の操作量を演算する。例えば、面積の差が第４の操作管理情報である場合、第４の操作管理情報に基づいて算出した操作量は、何ｃｍ引くべきか、といった引き操作に対する直接的な操作量ではなく、前記面積の差で表される間接的な操作量である。このように、推奨操作演算部１０５は、推奨操作情報として第４の注目状態情報に基づく引き操作である第４の推奨操作方向と第４の操作管理情報に基づく第４の推奨操作量とを含む第４の推奨操作情報を演算する。図８Ａには、挿入部１１の手元側に引き操作を表す下向き矢印が示されている。

ステップＳ１６において、出力情報処理部１０６は、第４の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の引き操作を行う。

ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで、推奨操作情報にしたがった操作が完了しているか否かを判断する。例えば、現在の形状情報に基づいて上述のようにして算出した第４の操作管理情報の値が０、あるいは０以下になった場合に、推奨操作が完了したと判断される。操作者が少しずつ引き操作（すなわち、推奨操作方向にしたがう挿入操作）を行うと推奨操作が完了したと判断されるまでステップＳ２１からステップＳ２４の処理が繰り返され、操作が完了していると判断されると（ステップＳ１８−ＹＥＳ）、処理はステップＳ１９に進む。

ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｖ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「継続」であるから（ステップＳ１９−ＮＯ）、処理はステップＳ１４に戻る。ここで、上述のステップＳ１７において算出された現在の形状に係る形状情報を第５の形状情報とする。第５の形状情報は、推奨操作参照データの（ｖｉ）の目標形状情報「ループの面積が３００ｃｍ^２未満のαループ」に対応している。

ステップＳ１４において、注目状態・操作管理情報演算部１０４は、推奨操作参照データの（ｖｉ）に対応する参照注目状態情報及び目標形状情報を読み出す。すなわち、ここでは、「ループの面積が３００ｃｍ^２未満のαループ」及び「略直線の座標データ」が読み出される。ここでは、読み出した参照注目状態情報が第５の注目状態情報である。そして、注目状態・操作管理情報演算部１０４は、第５の注目状態情報に係るαループの形状と目標形状情報に係る略直線形状との差を演算して第５の操作管理情報とする。

図８Ｂに示されるｘｙ平面には、第５の形状情報に係る形状である、ループ面積がＸ５のαループが形成された挿入部１１が示されている。図８Ｂには、第５の形状情報に係る形状の任意の点ｅ３、ｆ３、ｇ３、ｈ３と、各点に関する目標形状の点ｅ４、ｆ４、ｇ４、ｈ４とが示されている。第５の操作管理情報は、例えば、各点のｘｙ座標データの差の合計である。図８Ｂに示される、各点ｅ３−ｅ４、ｆ３−ｆ４、ｇ３−ｇ４、ｈ３−ｈ４間の矢印は、第５の操作管理情報を概念的に表している。

ステップＳ１５において、推奨操作演算部１０５は、推奨操作参照データの（ｖｉ）に対応する操作方向として右捻り操作を読み出す。また、推奨操作演算部１０５は、第５の操作管理情報に基づいて右捻り操作の操作量を演算する。例えば各点のｘｙ座標データの差の合計値が第５の操作管理情報である場合、第５の操作管理情報に基づいて算出した操作量は、どのくらいの角度捻るべきか、といった右捻り操作に対する直接的な操作量ではなく、前記差の合計値で表される間接的な操作量である。このように、推奨操作演算部１０５は、推奨操作情報として第５の注目状態情報に基づく右捻り操作である第５の推奨操作方向と第５の操作管理情報に基づく第５の推奨操作量とを含む第５の推奨操作情報を演算する。図８Ｂには、挿入部１１の手元側に右捻り操作を表す矢印が示されている。

ステップＳ１６において、出力情報処理部１０６は、第５の推奨操作情報を出力情報として処理し、表示装置３０に表示させる。操作者は、表示された推奨操作情報にしたがって、挿入部１１の所定操作量の右捻り操作を行う。

ステップＳ１７において、形状演算部１０３は挿入部１１の現在の形状を演算する。そして、ステップＳ１８において、推奨操作演算部１０５は、現在の形状に関する形状情報に基づいて、挿入部１１の現在の形状がステップＳ１４で参照した目標形状情報に係る目標形状になるまで（例えば、第２の操作管理情報の値に関する閾値を下回るまで）、推奨操作情報にしたがった操作が完了しているか否かを判断する。ここでは操作が完了したと判断されて（ステップＳ１８−ＹＥＳ）、処理はステップＳ１９に進む。

ステップＳ１９において、推奨操作演算部１０５は、推奨操作参照データの（ｖｉ）に対応する推奨操作継続情報が「完了」であるか「継続」であるかを判断する。ここでは、「完了」であるから（ステップＳ１９−ＹＥＳ）、処理はステップＳ２０に進む。

ステップＳ２０において、注目状態・操作管理情報演算部１０４は、挿入操作が完了したか否かを判断する。完了していないと判断されると（ステップＳ２０−ＮＯ）、ステップＳ１１に戻り、ステップＳ１１以降の処理が繰り返されるが、完了していると判断されると（ステップＳ２０−ＹＥＳ）、処理は終了する。

なお、ここでは挿入部先端側が上側にあるαループ（図３Ａ、図８Ａ及び図８Ｂ参照）の直線化のために、所定量の引く操作の後に所定量の右捻り操作を行ったが、例えば、挿入部先端側が下側にあるαループ（図３Ｂ参照）のループ解除のためには、所定量の引く操作の後に所定量の左捻り操作を行うことが有効である。また、挿入部先端側が上側にある逆αループ（図３Ｃ参照）のループ解除のためには、所定量の引く操作の後に所定量の左捻り操作を行うことが有効である。また、挿入部先端側が上側にある逆αループ（図３Ｄ参照）のループ解除のためには、所定量の引く操作の後に所定量の右捻り操作を行うことが有効である。本実施形態による推奨操作呈示システムでは、上述のような処理フローに基づいて各ループの直線化に最適な上述のような操作方向を含む推奨操作情報を呈示可能である。

本実施形態によれば、推奨操作呈示システムは、参照注目状態情報、操作方向、目標状態情報などを予め設定した推奨操作参照データを参照して注目状態情報と操作管理情報とを算出し、さらに、注目状態情報に基づく操作方向と操作管理情報に基づく操作量とを含む推奨操作情報を算出することができる。推奨操作呈示システムは、推奨操作情報を演算して出力することにより、操作者に推奨操作情報を呈示する。これにより、操作者は的確な挿入支援情報に基づいた挿入操作を行うことが可能となる。特に、本実施形態では、操作方向のみならず直接的又は間接的な操作量も呈示するから、挿入操作に不慣れな操作者をアシストすることが可能である。

特に、大腸内視鏡の場合には、Ｓ状結腸や横行結腸などの屈曲部を有する可動腸管に挿入部１１を挿入するため、Ｎループやαループといった、そのままでは挿入を継続し難い状況が起こりやすい。本実施形態に係る推奨操作呈示システムによれば、そのような状況であっても、挿入部１１の形状情報と、各種状況に応じて予め設定した操作方向及び目標状態情報とに基づいて算出された推奨操作方向及び推奨操作量を含む推奨操作情報にしたがってＮループやαループの直線化を容易に行うことができ、特に、未熟な操作者であっても熟練した操作者のように挿入操作を行うことができる。また、推奨操作情報にしたがう挿入操作が行われれば、腸管を不必要に伸展させずに済む。したがって、腸管の伸展に伴う患者の痛みを低減することができる。

本実施形態では、推奨操作呈示システムは、推奨操作情報を出力した後、操作者操作方向と推奨操作方向とが一致しているかどうかを判断し、適宜、操作量を更新したり修正したりする。このようなフィードバックにより、操作者は、推奨操作情報通りの操作が行えているかや残りの操作量がどれくらいかを認識しながら操作を進めることができる。

また、推奨操作呈示システムは、推奨操作情報を出力した後、操作者操作方向が推奨操作方向とは異なり、かつ、推奨操作方向への挿入操作が困難な状況ではない場合に、操作者に両方向が異なっている旨の警告をすることが可能である。例えば、操作者が推奨操作方向を誤って認識している場合などに、このような警告により操作者が実際の推奨操作方向を正しく認識して適宜操作を修正することができる。

また、推奨操作呈示システムは、推奨操作情報を出力した後、操作者操作方向が推奨操作方向とは異なり、かつ、推奨操作方向への挿入操作が困難な状況である場合に、他の推奨操作情報を呈示することが可能である。これにより、大腸の癒着や走行異常などが生じている場合であっても状況に応じてさまざまな挿入操作を呈示することができ、操作者が深部への挿入を試みることが可能となる。

また、推奨操作呈示システムは、Ｎループ解除やαループ解除における挿入部１１の直線化を段階的に進めるために、特定の推奨操作情報にしたがった推奨操作が完了していると判断した後、その推奨操作情報に対応する推奨操作継続情報に基づいてさらなる注目状態情報（参照注目状態情報）の有無を判断し、さらなる注目状態情報があれば、これに基づいて推奨操作情報を演算して呈示する。これにより、一連の推奨操作情報を呈示して挿入完了まで導くことが可能となる。

以下、表示装置３０への推奨操作情報等の表示について説明する。
図９は、表示装置３０の表示画面２００の一例を示す図である。表示画面２００には、内視鏡画像２０１と、内視鏡形状画像２０２とが表示される。内視鏡形状画像２０２は、内視鏡形状２０３を含む。また、表示画面２００には、推奨操作情報２１０が示される。図９には、例えば、挿抜操作及び挿抜量を表す棒グラフ２１１と、捻り操作及び捻り量を表す円グラフ２１２と、湾曲操作及び湾曲量を表す矢印形状の４つの棒グラフ２１３とが示されている。４つの棒グラフ２１３は、内視鏡画像２０１の周囲に上下左右に１つずつ配置されている。

棒グラフ２１１には、中央の実線よりも上に所定範囲の斜線で操作量２１４が示されている。これは、例えば、推奨操作情報として所定量の押し操作を示すものである。円グラフ２１２には、円内の実線から右側に所定角度範囲の斜線で操作量２１４が示されている。これは、例えば、推奨操作情報として所定量の左捻り操作を示すものである。内視鏡画像２０１の右側の棒グラフ２１３には、矢印内に左側から所定範囲の斜線で操作量２１４が示されている。これは、例えば、推奨操作情報として所定量の右湾曲操作を示すものである。

図１０Ａ乃至図１０Ｃには、推奨操作情報の表示の一例が示される。棒グラフ２１１、円グラフ２１２及び矢印形状の棒グラフ２１３の操作量２１４は、図１０Ａ乃至図１０Ｃに示されるように、操作者が推奨操作を行うのに伴って減っていく。すなわち、操作量２１４が、目標形状までの残りの操作量を表している。このような表示により、操作者は残りの操作量を視覚的に捉えることができる。

図１１Ａ乃至図１１Ｃには、推奨操作情報の表示の他の例が示される。棒グラフ２１１、円グラフ２１２及び矢印形状の棒グラフ２１３には、湾曲操作、捻り操作、又は挿抜操作を検出可能な各種センサによる検出操作量２１８と、推奨操作量２１９とが示されている。この場合、操作者は、検出操作量２１８が推奨操作量２１９になるまで推奨操作を行うことができる。

もちろん、推奨操作情報２１０の表示は、棒グラフや円グラフに限定されるものではなく、操作方向（湾曲操作、捻り操作、又は挿抜操作の方向）とその操作量とがわかる表示であればよい。

再び図９を参照して、表示画面２００には、注目状態情報２１５が表示されてよい。図９では、Ｎループ（逆のの字）が発生していることが呈示されている。これにより、操作者は、内視鏡形状２０３を含む内視鏡形状画像２０２に加えて、Ｎ字ループが発生していることを文字でも認識することができる。

表示画面２００には、推奨操作方向と操作者操作方向とが一致している否かを表す推奨操作適合情報２１６が表示されてよい。図９では、推奨操作適合情報２１６である「操作ＯＫ」と「推奨操作と不一致」とのうち、「操作ＯＫ」の枠内が斜線で示されている。これは、推奨操作方向と操作者操作方向とが一致していることを表している。これにより、操作者は、自身が行っている操作が推奨操作に合致していることを確認しながら挿入を進めることができる。

表示画面２００には、推奨操作情報２１０や注目状態情報２１５が表示されていることを操作者に知らせる告知部２１７が表示されてよい。図９では、告知部２１７が内視鏡画像２０１の左下側に配置されている。告知部２１７は、内視鏡画像２０１に重畳する、又は内視鏡画像２０１の近傍に配置するのが望ましい。これにより、操作者が内視鏡画像２０１を注視していても推奨操作情報２１０や注目状態情報２１５が表示されていることに気づき易くなる。

例えば、Ｎループ解除では、ゆっくり操作したら直線化に成功するが、早く操作すると失敗する、例えば、挿入部１１が大腸に対して後退するような場合がある。また、複数の操作を行う、例えば、引き操作と湾曲操作とを同時に行うような場合があり、このような場合には、引き操作に対する湾曲操作の量が重要となる。

そこで、図１２Ａ乃至図１２Ｃに示されるように、推奨操作情報２１０として、検出操作量２１８と推奨操作量２１９とに加えて推奨操作速度２２０が表示されてもよい。換言すれば、操作している瞬間ごとの推奨操作量が推奨操作速度２２０として表示される。図１２Ａ乃至図１２Ｃでは、推奨操作速度２２０が点線で表示されている。この点線は、推奨操作情報２１０（各グラフ２１１、２１２、２１３）の表示を開始してから、時間経過に伴う推奨操作量の方向に変化して表示される。

このように、推奨操作情報は、推奨する挿入操作の速度である推奨操作速度を含むことができる。推奨操作速度は、例えば、推奨操作演算部１０５により、注目状態情報と操作管理情報との少なくとも一方の時間変化に基づいて算出される。操作者は、推奨操作速度と、検出操作量が一致するように操作を行う。これにより、より詳細な操作方法を呈示できるので、挿入性が向上する。

図１３に示されるように、推奨操作情報２１０は、表示が必要なときに内視鏡画像２０１に一時的に重畳表示してもよい。操作者は通常内視鏡画像２０１を注視しているため、内視鏡画像２０１に推奨操作情報２１０を重畳することにより、気づき易くなる。また、内視鏡画像２０１から目を離す必要がなくなる。推奨操作情報２１０に加えて、注目状態情報２１５を重畳表示してもよい。一方、推奨操作情報２１０や注目状態情報２１５を内視鏡画像２０１に重畳表示すると、重畳箇所で内視鏡画像２０１が見えなくなったり、半透明であっても見づらくなったりするので、内視鏡画像２０１から得られる情報が少なくなる。そのため、必要なときに一時的に重畳表示することにより、内視鏡画像２０１から得られなくなる情報量を少なくできる。図１３では、左から順に、推奨操作情報２１０の非表示状態（左）、表示状態（中央）、非表示状態（右）が示されており、これら状態が操作者により適宜切り替えられる。

図１４に示されるように、推奨操作情報２１０又は注目状態情報は、動画で表示してもよい。図１４は、操作者の手２２２が挿入部１１を引き操作するアニメーション２２１を示している。動画の種類は、実写、ＣＧ、アニメーションなどであってよい。動画表示をすることで、操作者は推奨操作や注目状態の内容をより視覚的に理解することができる。

短時間（例えば１秒）発生した推奨操作情報や注目状態情報は、当該短時間よりも長い一定時間以上（例えば５秒）表示されるようにしてもよい。例えば、図１５に示されるように、出力情報処理部１０６は、ループが１０秒発生した場合にはループに対する推奨操作情報や注目状態情報を発生開始から終了までの１０秒間出力して表示装置３０に表示させる。これは、操作者が認識するためには十分な時間である。しかしながら、例えば１秒程度、あるいはそれ以下の短い時間しかループが発生しなかった場合には、操作者は、表示されたことを見逃したり、何か表示されたことは認識できるが、その内容までは認識できなかったりすることが懸念される。そこで、短時間発生したループに対しては、発生開始時に表示を開始し、操作者が内容を認識するために必要と思われる一定時間、例えば５秒間表示を継続させる。これにより、操作者は、表示された内容をより認識し易くなる。

一方、短時間発生した推奨操作情報や注目状態情報は、操作者が認識する必要がない情報であることも考えられる。このため、このような情報は表示させないようにしてもよい。例えば、図１６に示されるように、出力情報処理部１０６は、ループ発生後一定時間（例えば１秒）推奨操作情報や注目状態情報を出力しない。そして、一定時間経過後に推奨操作情報や注目状態情報が継続、すなわちループが継続して発生していたら、推奨操作情報や注目状態情報を出力する。一方、一定時間経過後にループが継続していない場合は、注目状態情報や推奨操作情報を出力しない。これにより、操作者が認識する必要がないと思われる、短時間発生だけ発生した状態に対する情報を表示しないようできる。換言すれば、操作者は必要な情報をより認識し易くなる。

出力情報処理部１０６は、注目状態情報や推奨操作情報などに応じて、表示方法を変えてよい。例えば、短時間でも必要な情報は一定時間以上出力し、短時間であれば不要な情報である場合には出力しないようにしてよい。

このように、推奨操作情報が操作者にとって認識しやすい時間表示されることにより、操作者はどの方向にどの程度の量の操作を行えばよいかを適切に認識しながら操作を行うことができる。そのため、操作性が向上する。また、適切な操作が行えるので安全性も向上する。

以上の説明では、推奨操作情報の例として、挿入部１１の押し、引き、捻りを示したが、その他に、操作部１６による湾曲操作、送気、送水、吸引、挿入部１１の硬度変更、用手圧迫なども推奨操作情報として表示してよい。

ここまで、挿入部１１の形状に基づいて注目状態情報及び操作管理情報が演算されて推奨操作情報が決定される推奨操作呈示システムの一例を示したが、さらに内視鏡画像２０１から得られる情報を加えて推奨操作情報が決定されるようにしてもよい。例えば、図１７に示されるように、内視鏡画像２０１から管腔の位置を含む管腔領域２２３が検出される。図１７では検出結果の管腔が破線の枠で囲って表示されているが、この枠は必要に応じて表示／非表示を変更してよい。推奨操作演算部１０５は、検出した管腔領域２２３の画像上の位置情報に基づいて、挿入部１１の先端を管腔方向に向かせるための操作を推奨操作情報として決定する。このように、内視鏡画像２０１から得られる情報を加えて推奨操作情報を決定することにより、より詳細な推奨操作情報を生成することができ、推奨操作情報の精度が向上する。

また、推奨操作情報を表示装置３０に画像情報として表示する推奨操作呈示システムの一例を示したが、推奨操作情報は音で出力してもよい。換言すれば、出力情報処理部１０６から出力される推奨操作情報は、視覚的情報と聴覚的情報との少なくとも一方であってよい。例えば、推奨操作情報が出力開始されると、周期ｔの間隔で音が出力される。そして、挿入部１１の現在の形状が目標形状に近くなるほど周期ｔが短くなり、目標形状に到達すると連続音が出力される。周期に限らず、音程の変化でもよい。例えば、目標形状に近くなるほど高い音を出力する。このような音の変化により、操作者はモニタの推奨操作情報を見なくても推奨操作情報を認識することが可能となり、内視鏡画像の観察に注力しながら挿入操作を進めることができるため、操作性が向上する。

［変形例１］
変形例１では、内視鏡システム１ａの制御装置１００ａは、図１８に示されるように、上述の各部に加えて、挿入状況判定部１０９を有している。以下、変形例１による、推奨操作呈示システムとしての内視鏡システム１の制御装置１００による処理の一例について、図１９Ａ及び図１９Ｂを参照して概略的に説明する。

ステップＳ３１乃至Ｓ３３は、それぞれ、図４Ａ及び図４Ｂに示されるステップＳ１１乃至Ｓ１３と同様である。ステップＳ３３において、注目状態情報が参照注目状態情報に該当しない、あるいは該当しても推奨操作要否判断情報から推奨操作が不要と判断された場合には（ステップＳ３３−ＮＯ）、処理はステップＳ４１に進む。注目状態情報が参照注目状態情報に該当する、あるいは該当して推奨操作要否判断情報から推奨操作が必要と判断された場合には（ステップＳ３３−ＹＥＳ）、処理はステップＳ３４に進む。

ステップＳ３４において、挿入状況判定部１０９は、挿入が難航している状況か否かを判断する。例えば、推奨操作情報を出力後、一定時間以上、次の推奨操作へ進まない状況が続いた場合や、次の推奨操作に進んでも、再び戻ってしまうことが一定回数以上発生した場合には、挿入が難航している状況と判断される。また、注目状態が推奨操作参照データにない場合に挿入が難航している状況と判断してもよい。この場合は、一般的な挿入で発生する注目状態を推奨操作参照データとして記憶部１０７又は他の記憶装置に十分に記憶させておくことが望ましい。また、画像認識技術により内視鏡画像から管腔を検出し、一定時間管腔が検出されなければ挿入が難航している状況と判断してもよい。

挿入が難航している状況と判断された場合には（ステップＳ３４−ＹＥＳ）、処理はステップＳ４８に進む。挿入操作において、挿入が難航している状況となった場合の対応の一つとして、一旦引く操作が用いられることがある。手前の状況（すなわち、挿入が難航している状況になる前の状況）に戻して挿入操作をやり直すことで前に進めることがあるからである。また、管腔を見失った場合も、一旦引くことにより管腔を見つけられる可能性が高い。それ故、ステップＳ４８では、推奨操作演算部１０５は、推奨操作情報を、挿入状況を変えるための試す操作（例えば、引き操作、右捻り操作、左捻り操作）に変更する。試す操作は、これ以外の操作でもよい。試す操作に係る操作方向も、推奨操作参照データに含ませてよい。このような試す操作により、見失った管腔を見つけられたり、挿入部１１に絡みついた腸管がほどけることで、挿入し易くなったりする。

このように、挿入状況判定部１０９が挿入が難航している状況を判断し、推奨操作情報を試す操作にすることで、挿入が難航しているかつ推奨操作情報が出せない状況であっても挿入状況を変化させることができる。これにより、推奨操作情報を出力できる状態、又は、推奨操作情報が不要な、挿入が容易な状態になる可能性が高くなる。

一方、挿入が難航している状況でない判断された場合には（ステップＳ３４−ＮＯ）、処理はステップＳ３５に進む。ステップＳ３５乃至４７は、それぞれ、図４Ａ及び図４Ｂに示されるステップＳ１４乃至Ｓ２６と同様である。

［変形例２］
変形例２では、内視鏡システム１ｂの制御装置１００ｂは、図２０に示されるように、上述の各部に加えて、操作者技能判定部１１０と、挿入難易度判定部１１１とを有している。

[操作者技能判定部]
操作者技能判定部１１０では、内視鏡１０の操作者の挿入操作技能のレベル（操作者レベル）を、挿入中に発生する注目状態情報に基づいて判断する。操作者技能判定部１１０は、例えば、Ｎループの直線化にかかった時間、Ｎ字形状からの直線化に失敗し、再び逆のの字からやり直した回数などを総合的に判定して操作者レベルを判断する。挿入部１１の一部に座屈状態が発生した回数や、腸管の伸展が発生した回数などを判断の要素に加えてもよい。換言すれば、操作者レベルは、操作者による一連の挿入操作中に発生している注目状態情報の種類、回数、発生時間、発生箇所、被検体の状態の少なくとも１つに基づいて判断される。また、前述した注目状態の発生や、挿入完了あるいはループ解除に要した時間などを操作者の過去の挿入操作履歴データとして記憶部１０７又は他の記憶装置に記憶させておき、これを参照して判断してもよい。

[挿入難易度判定部]
挿入難易度判定部１１１は、例えば、被検体である大腸が挿入困難な状態か否かを、挿入中に発生する注目状態情報に基づいて判断する。換言すれば、挿入難易度は、操作者による一連の挿入操作中に発生している前記注目状態情報の種類、回数、発生時間、発生箇所、被挿入体の状態の少なくとも１つに基づいて判断される。例えば、２重のαループが発生したら、腸が癒着していると推測できるため、大腸が挿入困難な状態と判断される。また、挿入時間、手術歴（例えば、手術歴に起因して癒着が発生して挿入が難しくなることがある）、ＣＴデータなどを患者の過去の挿入操作履歴データとして記憶部１０７又は他の記憶装置に記憶させておき、これを参照して判断してもよい。

出力情報処理部１０６は、操作者技能判定部１１０が判断した結果や挿入難易度判定部１１１が判断した結果に基づいて、推奨操作情報の出力内容を変更する。例えば、操作者の技能レベルが高く、被挿入体の難易度が低いと判断されたら、出力情報処理部１０６は、推奨操作情報は必要ないと判断し、推奨操作情報を出力せず、図２１に示されるように、表示画面２００には内視鏡画像２０１及び内視鏡形状画像２０２のみが表示される。操作者技能判定部１１０が判断した結果や挿入難易度判定部１１１が判断した結果に応じて、一部の推奨操作情報のみを適宜出力するようにしてもよい。このような出力／表示により、操作者は必要な情報を得やすくなる。

［変形例３］
変形例３では、推奨操作情報は、図２２に示されるように、内視鏡１０を自動で、又は一部自動で挿入する装置である自動挿入装置４０に、自動挿入装置４０の制御信号として出力される。自動挿入装置４０は、表示部４１を有してよく、表示部４１は表示装置３０を代替するものであってよい。このような自動挿入装置４０による挿入操作であっても、上述したような本発明の推奨操作呈示システムによる処理を行うことができ、同様の作用効果が得られる。

本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。

Claims (34)

1. 被挿入体に挿入される挿入部を有する挿入機器と、
   前記挿入部の少なくとも一部の形状を形状情報として検出する挿入部形状検出部と、
   前記形状情報と、予め準備された推奨操作参照データとに基づいて目標状態情報を設定し、設定された前記目標状態情報と前記形状情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算する、注目状態・操作管理情報演算部と、
   推奨する挿入操作の操作方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を少なくとも前記操作管理情報に基づいて演算する、推奨操作演算部と、
   前記推奨操作情報を含む情報を出力する出力情報処理部と、
   を具備する、推奨操作呈示システム。
2. 前記推奨操作参照データを取得する参照データ取得部をさらに備え
   前記推奨操作参照データは、前記挿入部の所定の状態に係る参照注目状態情報と、前記参照注目状態情報に対応するように予め設定された操作方向及び目標状態情報とを含み、
   前記注目状態・操作管理情報演算部は、前記形状情報に基づいて前記挿入部の前記所定の状態に係る注目状態情報を演算し、少なくとも、前記注目状態情報に対応する前記参照注目状態情報と、前記目標状態情報とに基づいて前記操作管理情報を演算し、
   前記推奨操作演算部は、前記注目状態情報と前記操作方向とに前記推奨操作方向を基づいて演算し、少なくとも前記操作管理情報に基づいて前記推奨操作量を演算する、請求項１に記載の推奨操作呈示システム。
3. 前記推奨操作参照データは、前記形状情報に応じた複数の目標状態情報の選択肢を有し、
   前記注目状態・操作管理情報演算部は、予め準備された前記複数の目標状態情報の選択肢の中から、前記形状情報に応じて目標状態情報を選択する、請求項１に記載の推奨操作呈示システム。
4. 前記推奨操作演算部は、前記推奨操作情報を出力した後に、前記挿入部形状検出部が検出した現在の形状情報から、前記推奨操作情報にしたがった推奨操作が完了しているか否かを判断し、前記推奨操作が完了していないと判断されたとき、前記注目状態・操作管理情報演算部が、前記現在の形状情報に基づいて前記注目状態情報及び前記操作管理情報を演算し直し、前記推奨操作演算部が、前記推奨操作情報を演算し直し、前記出力情報処理部が、前記推奨操作情報を含む情報を出力し直す、請求項２に記載の推奨操作呈示システム。
5. 前記推奨操作情報は、推奨する挿入操作の速度である推奨操作速度を含み、
   前記推奨操作演算部は、前記注目状態情報と前記操作管理情報の少なくとも一方に基づいて前記推奨操作速度を演算する、請求項２に記載の推奨操作呈示システム。
6. 推奨操作要否判断情報が、前記参照注目状態情報に対応するように予め設定され、
   前記推奨操作演算部は、前記注目状態情報と、対応する前記推奨操作要否判断情報とに基づいて、前記推奨操作情報の要否を判断し、前記推奨操作情報が必要と判断されたとき、前記推奨操作情報を演算する、請求項２に記載の推奨操作呈示システム。
7. 前記推奨操作演算部は、前記推奨操作情報にしたがった推奨操作が完了していないと判断したとき、前記推奨操作が実施できない状態か否かを判断し、実施できない状態と判断されたとき、前記推奨操作が完了していないと判断されたときとは異なる、試すための操作に係る推奨操作方向を含む推奨操作情報を演算する、請求項１に記載の推奨操作呈示システム。
8. 前記試すための操作は、前記挿入部の引き操作と左捻り操作と右捻り操作との少なくとも１つである、請求項７に記載の推奨操作呈示システム。
9. 前記推奨操作が実施できる状態と判断されたとき、前記出力情報処理部は、操作方向についての視覚的又は聴覚的な警告を出力する、請求項７に記載の推奨操作呈示システム。
10. 前記推奨操作情報にしたがった推奨操作が完了していると判断されたとき、前記推奨操作演算部は、前記注目状態情報に対応するように予め設定された推奨操作継続情報に基づいて、さらなる注目状態情報演算の要否を判断する、請求項２に記載の推奨操作呈示システム。
11. 前記注目状態情報は、前記挿入部が形成するループの種類とサイズとを含み、
    前記目標状態情報は、前記ループの種類とサイズとを含む目標形状情報であり、
    前記操作管理情報は、前記形状情報に係る形状と前記目標形状情報に係る目標形状との差に基づく情報である、請求項２に記載の推奨操作呈示システム。
12. 前記注目状態・操作管理情報演算部は、
    前記注目状態情報として、前記挿入部形状検出部が検出した第１の形状情報に基づいて所定のサイズ以上の逆のの字形状である第１の注目状態情報を演算し、前記操作管理情報として、前記第１の注目状態情報に係る逆のの字形状と前記目標形状情報に係る所定のサイズ未満の逆のの字形状とのサイズの差である第１の操作管理情報を演算し、
    前記推奨操作演算部は、
    前記推奨操作情報として、引く方向である第１の推奨操作方向と、前記第１の操作管理情報に基づく第１の推奨操作量とを含む第１の推奨操作情報を演算し、
    前記第１の注目状態情報、前記第１の操作管理情報及び前記第１の推奨操作情報が演算された後、
    前記注目状態・操作管理情報演算部は、
    前記注目状態情報として、前記挿入部形状検出部が検出した第２の形状情報に基づいて前記所定のサイズ未満の逆のの字又はＮ字形状である第２の注目状態情報を演算し、前記操作管理情報として、前記第２の注目状態情報に係る逆のの字又はＮ字形状と前記目標形状情報に係るＮ字形状との座標の角度の差である第２の操作管理情報を演算し、
    前記推奨操作演算部は、
    前記推奨操作情報として、回転方向である第２の推奨操作方向と、前記第２の操作管理情報に基づく第２の推奨操作量とを含む第２の推奨操作情報を演算し、
    前記第２の注目状態情報、前記第２の操作管理情報及び前記第２の推奨操作情報が演算された後、
    前記注目状態・操作管理情報演算部は、
    前記注目状態情報として、前記挿入部形状検出部が検出した第３の形状情報に基づいてＮ字形状である第３の注目状態情報を演算し、前記操作管理情報として、前記第３の注目状態情報に係るＮ字形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第３の操作管理情報を演算し、
    前記推奨操作演算部は、
    前記推奨操作情報として、引く方向である第３の推奨操作方向と、前記第３の操作管理情報に基づく第３の推奨操作量とを含む第３の推奨操作情報を演算する、請求項１１に記載の推奨操作呈示システム。
13. 前記注目状態・操作管理情報演算部は、
    前記注目状態情報として、前記挿入部形状検出部が検出した第２の形状情報に基づいて所定のサイズ未満の逆のの字又はＮ字形状である第２の注目状態情報を演算し、前記操作管理情報として、前記第２の注目状態情報に係る逆のの字又はＮ字形状と前記目標形状情報に係るＮ字形状との座標の角度の差である第２の操作管理情報を演算し、
    前記推奨操作演算部は、
    前記推奨操作情報として、回転方向である第２の推奨操作方向と、前記第２の操作管理情報に基づく第２の推奨操作量とを含む第２の推奨操作情報を演算し、
    前記第２の注目状態情報、前記第２の操作管理情報及び前記第２の推奨操作情報が演算された後、
    前記注目状態・操作管理情報演算部は、
    前記注目状態情報として、前記挿入部形状検出部が検出した第３の形状情報に基づいてＮ字形状である第３の注目状態情報を演算し、前記操作管理情報として、前記第３の注目状態情報に係るＮ字形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第３の操作管理情報を演算し、
    前記推奨操作演算部は、
    前記推奨操作情報として、引く方向である第３の推奨操作方向と、前記第３の操作管理情報に基づく第３の推奨操作量とを含む第３の推奨操作情報を演算する、請求項１１に記載の推奨操作呈示システム。
14. 前記注目状態・操作管理情報演算部は、
    前記注目状態情報として、前記挿入部形状検出部が検出した第３の形状情報に基づいてＮ字形状である第３の注目状態情報を演算し、前記操作管理情報として、前記第３の注目状態情報に係るＮ字形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第３の操作管理情報を演算し、
    前記推奨操作演算部は、
    前記推奨操作情報として、引く方向である第３の推奨操作方向と、前記第３の操作管理情報に基づく第３の推奨操作量とを含む第３の推奨操作情報を演算する、請求項１１に記載の推奨操作呈示システム。
15. 前記注目状態・操作管理情報演算部は、
    前記注目状態情報として、前記挿入部形状検出部が検出した第４の形状情報に基づいて所定の大きさ以上のαループ又は逆αループ形状である第４の注目状態情報を演算し、前記操作管理情報として、前記第４の注目状態情報に係るαループ又は逆αループ形状と前記目標形状情報に係る所定の大きさ未満のαループ又は逆αループ形状とのサイズの差である第４の操作管理情報を演算し、
    前記推奨操作演算部は、
    前記推奨操作情報として、引く方向である第４の推奨操作方向と、前記第４の操作管理情報に基づく第４の推奨操作量とを含む第４の推奨操作情報を演算し、
    前記第４の注目状態情報、前記第４の操作管理情報及び前記第４の推奨操作情報が演算された後、
    前記注目状態・操作管理情報演算部は、
    前記注目状態情報として、前記挿入部形状検出部が検出した第５の形状情報に基づいてαループ又は逆αループ形状である第５の注目状態情報を演算し、前記操作管理情報として、前記第５の注目状態情報に係るαループ又は逆αループ形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第５の操作管理情報を演算し、
    前記推奨操作演算部は、
    前記推奨操作情報として、回転方向である第５の推奨操作方向と、前記第５の操作管理情報に基づく第５の推奨操作量とを含む第５の推奨操作情報を演算する、請求項１１に記載の推奨操作呈示システム。
16. 前記注目状態・操作管理情報演算部は、
    前記注目状態情報として、前記挿入部形状検出部が検出した第５の形状情報に基づいて所定の大きさ未満のαループ又は逆αループ形状である第５の注目状態情報を演算し、前記操作管理情報として、前記第５の注目状態情報に係るαループ又は逆αループ形状と前記目標形状情報に係る略直線状の形状との座標の差の合計である第５の操作管理情報を演算し、
    前記推奨操作演算部は、
    前記推奨操作情報として、回転方向である第５の推奨操作方向と、前記第５の操作管理情報に基づく第５の推奨操作量とを含む第５の推奨操作情報を演算する、請求項１１に記載の推奨操作呈示システム。
17. 前記第５の注目状態情報が、前記挿入部の交差部において挿入部先端側が上側にあるαループ又は挿入部先端側が下側にある逆αループのとき、前記回転方向は右捻り方向であり、
    前記第５の注目状態情報が、前記挿入部の交差部において挿入部先端側が下側にあるαループ又は挿入部先端側が上側にある逆αループのとき、前記回転方向は左捻り方向である、請求項１６に記載の推奨操作呈示システム。
18. 前記注目状態情報は、
    前記挿入部がαループ、裏αループ、逆αループ、逆裏αループ、Ｎ字形状、逆のの字形状を含むループを形成しているか否か、及び、前記ループの面積、周囲、幅を含むサイズと、
    前記挿入部先端の移動量と、
    挿入量に対する前記挿入部先端の移動量の割合と、の少なくとも１つである、請求項２に記載の推奨操作呈示システム。
19. 前記推奨操作参照データを記憶している記憶部を有し、
    前記参照データ取得部は、前記記憶部から、前記推奨操作参照データを取得する、請求項２に記載の推奨操作呈示システム。
20. 前記操作管理情報は、前記挿入部の挿抜操作量、回転操作量、アングル操作量、送気、送水、吸引、患者体位、用手圧迫、前記挿入部の剛性の少なくとも１つである、請求項１に記載の推奨操作呈示システム。
21. 前記出力情報処理部は、前記推奨操作情報を、棒グラフと円グラフとの少なくとも１つで表示するための処理を行う、請求項１に記載の推奨操作呈示システム。
22. 前記注目状態情報に基づいて前記挿入機器の操作者の操作技能レベルである操作者レベルを判断する操作者レベル判定部をさらに有し、
    前記出力情報処理部は、前記操作者レベルに基づいて出力内容を変更する、請求項２に記載の推奨操作呈示システム。
23. 前記操作者レベルは、操作者による一連の挿入操作中に発生している注目状態情報の種類、回数、発生時間、発生箇所、被検体の状態の少なくとも１つに基づいて、又は、操作者の予め設定された過去の挿入履歴データに基づいて判断される、請求項２２に記載の推奨操作呈示システム。
24. 前記注目状態情報に基づいて被挿入体の挿入難易度を判断する挿入難易度判定部をさらに有し、
    前記出力情報処理部は、前記挿入難易度に基づいて出力内容を変更する、請求項２に記載の推奨操作呈示システム。
25. 前記挿入難易度は、操作者による一連の挿入操作中に発生している前記注目状態情報の種類、回数、発生時間、発生箇所、被挿入体の状態の少なくとも１つに基づいて、又は、被挿入体の予め設定された過去の挿入操作履歴データに基づいて判断される、請求項２４に記載の推奨操作呈示システム。
26. 前記挿入部は、撮像部を有し、
    前記出力情報処理部は、前記注目状態情報と前記推奨操作情報との少なくとも一方を、前記撮像部が撮像した画像に重畳して表示させる、あるいは重畳して一時的に表示させる、請求項２に記載の推奨操作呈示システム。
27. 前記出力情報処理部は、前記注目状態情報と前記推奨操作情報との少なくとも一方を、動画で表示する、請求項２に記載の推奨操作呈示システム。
28. 前記出力情報処理部は、事前に設定した時間以上、前記推奨操作情報を表示させる、請求項１に記載の推奨操作呈示システム。
29. 前記出力情報処理部は、前記推奨操作情報を出力する対象の注目状態の発生時間が、事前に設定した時間以下であれば、前記推奨操作情報を表示させない、請求項２に記載の推奨操作呈示システム。
30. 前記出力情報処理部は、前記推奨操作情報を出力する要因となった前記注目状態情報に係る注目状態の発生後、所定の設定時間は前記推奨操作情報を出力せず、前記設定時間の経過後に前記注目状態が継続していたときに、前記推奨操作情報を出力する、請求項２９に記載の推奨操作呈示システム。
31. 前記挿入部は、撮像部を有し、
    前記推奨操作演算部は、前記注目状態情報とともに前記撮像部が撮像した画像情報とに基づいて、前記推奨操作情報を判断する、請求項２に記載の推奨操作呈示システム。
32. 前記挿入機器は、内視鏡であり、前記挿入部は、前記内視鏡の可撓管部である、請求項１に記載の推奨操作呈示システム。
33. 被挿入体に挿入される挿入部を有する挿入機器の前記挿入部の少なくとも一部の形状に係る形状情報と、予め準備された推奨操作参照データとに基づいて目標状態情報を設定し、設定された前記目標状態情報と前記形状情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算する、注目状態・操作管理情報演算部と、
    推奨する挿入操作の挿入方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を少なくとも前記操作管理情報に基づいて演算する、推奨操作演算部と、
    前記推奨操作情報を含む情報を出力する出力情報処理部と、
    を具備する、推奨操作呈示制御装置。
34. 注目状態・操作管理情報演算部が、被挿入体に挿入される挿入部を有する挿入機器の前記挿入部の少なくとも一部の形状に係る形状情報と、予め準備された推奨操作参照データとに基づいて目標状態情報を設定し、設定された前記目標状態情報と前記形状情報とに基づいて、前記挿入機器の操作に関連して変化する情報である操作管理情報を演算することと、
    推奨操作演算部が、少なくとも前記操作管理情報に基づいて、推奨する挿入操作の挿入方向である推奨操作方向と、推奨する挿入操作の操作量である推奨操作量と、を含む推奨操作情報を演算することと、
    出力情報処理部が、前記推奨操作情報を含む情報を出力することと、
    を備える、推奨操作呈示システムの作動方法。

Images