JP7150997B2

JP7150997B2 - 情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラム

Info

Publication number: JP7150997B2
Application number: JP2021541955A
Authority: JP
Inventors: 博一西村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2019-08-30
Filing date: 2019-08-30
Publication date: 2022-10-11
Anticipated expiration: 2039-08-30
Also published as: CN114206191A; JPWO2021038871A1; US20250268462A1; WO2021038871A1; US20220175218A1; CN114206191B

Description

本発明は、情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラムに関する。

内視鏡観察においては、可撓性を有する細長な挿入部を被検体内の深部へ挿入するための挿入操作が行われる。また、内視鏡分野においては、挿入部の挿入操作を支援するための技術が従来提案されている。

具体的には、例えば、日本国特許第４２７４８５４号公報には、体腔内に挿入された内視鏡挿入部の挿入形状を解析する内視鏡挿入形状解析装置において、当該内視鏡挿入部の挿入操作によりループが形成された際に、当該ループを解除して当該内視鏡挿入部を直線化するための操作方法を表示する構成が開示されている。

ここで、内視鏡分野においては、挿入部の挿入操作を自動化するための技術に関する検討が近年進められている。

しかし、日本国特許第４２７４８５４号公報には、挿入部の挿入操作を自動化するための具体的な制御方法等について特に言及されていない。そのため、日本国特許第４２７４８５４号公報に開示された構成によれば、例えば、挿入部が挿入される被検体の内部状態の個体差、及び、当該被検体の内部における当該挿入部の挿入形状の時間的な変化等のような当該挿入部の挿入状況に応じた適切な挿入制御を行うことができない、という課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、挿入部の挿入状況に応じた適切な挿入制御を行うことが可能な情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラムを提供することを目的としている。

本発明の一態様の情報処理装置は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入形状の種類を分類する情報処理装置であって、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得る挿入形状分類部と、前記分類結果を出力する出力部と、を有する。

本発明の一態様の内視鏡制御装置は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置であって、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得る挿入形状要素抽出部と、前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部と、を有する。

本発明の一態様の情報処理装置の作動方法は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入形状の種類を分類する情報処理装置の作動方法であって、挿入形状分類部が、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理を行い、出力部が、前記分類結果を出力する。

本発明の一態様の内視鏡制御装置の作動方法は、被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置の作動方法であって、挿入形状要素抽出部が、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得るための処理を行い、制御部が、前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う。

本発明の一態様のプログラムは、コンピュータに、被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理と、前記分類結果を出力する処理と、を実行させる。

本発明の一態様のプログラムは、コンピュータに、被検体内に挿入されている内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得るための処理と、前記抽出結果に基づく前記内視鏡挿入部の挿入操作に係る制御と、を実行させる。

本発明の第１の実施形態に係る内視鏡制御装置を含む内視鏡システムの要部の構成を示す図。第１の実施形態に係る内視鏡システムの具体的な構成を説明するためのブロック図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図。第１の実施形態に係る内視鏡システムにおいて記録された情報を用いて挿入部の挿入形状の種類の時間的推移を可視化した場合の一例を示す図。第１の実施形態に係る内視鏡システムにおいて記録された情報を用いて挿入部の挿入形状の種類の時間的推移を可視化した場合の一例を示す図。第１の実施形態に係る内視鏡システムにおいて記録された情報を用いて挿入部の挿入形状の種類の時間的推移を可視化した場合の一例を示す図。第１の実施形態の変形例に係る内視鏡システムにおいて行われる制御の概要を説明するためのフローチャート。実施形態に係る内視鏡システムにおいて生成される内視鏡画像の一例を示す図。図１５Ａの内視鏡画像に対して管腔領域の位置を検出するための処理が行われた場合に得られる処理結果画像の一例を示す図。図１５Ｂの処理結果画像が得られた場合に行われる制御を説明するための図。第２の実施形態に係る内視鏡システムの具体的な構成を説明するためのブロック図。第２の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図。第２の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図。第２の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図。第２の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図。

以下、本発明の実施形態について、図面を参照しつつ説明を行う。

（第１の実施形態）
図１から図１５Ｃは、第１の実施形態に係るものである。

内視鏡システム１は、例えば、図１に示すように、内視鏡１０と、本体装置２０と、挿入形状検出装置３０と、外力情報取得装置４０と、入力装置５０と、表示装置６０と、を有して構成されている。図１は、実施形態に係る内視鏡制御装置を含む内視鏡システムの要部の構成を示す図である。

内視鏡１０は、被検体内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１６と、操作部１６から延設されたユニバーサルコード１７と、を有して構成されている。ここで、内視鏡１０は、ユニバーサルコード１７の端部に設けられたスコープコネクタ（不図示）を介し、本体装置２０に対して着脱自在に接続されるように構成されている。

なお、上述した挿入部１１、操作部１６及びユニバーサルコード１７の内部には、本体装置２０から供給される照明光を伝送するためのライトガイド（不図示）が設けられている。

挿入部１１は、可撓性及び細長形状を有して構成されている。また、挿入部１１は、硬質の先端部１２と、湾曲自在に形成された湾曲部１３と、可撓性を有する長尺な可撓管部１４と、を先端側から順に設けて構成されている。

また、先端部１２、湾曲部１３及び可撓管部１４の内部には、本体装置２０から供給されるコイル駆動信号に応じた磁界を発生する複数のソースコイル１８が挿入部１１の長手方向に沿って所定の間隔で配置されている。

先端部１２には、挿入部１１の内部に設けられたライトガイドにより伝送された照明光を被写体へ出射するための照明窓（不図示）が設けられている。また、先端部１２には、本体装置２０から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部１１０（図１では不図示）が設けられている。

湾曲部１３は、後述の湾曲制御部２４２の制御に応じて湾曲することができるように構成されている。また、湾曲部１３は、操作部１６に設けられたアングルノブ（不図示）の操作に応じて湾曲することができるように構成されている。

操作部１６は、術者等のユーザが把持して操作することが可能な形状を具備して構成されている。ここで、操作部１６には、挿入部１１の長手軸に対して交差する上下左右の４方向に湾曲部１３を湾曲させるための操作を行うことができるように構成されたアングルノブが設けられている。また、操作部１６には、ユーザの入力操作に応じた指示を行うことが可能な１つ以上のスコープスイッチ（不図示）が設けられている。

図１に示すように、本体装置２０は、１つ以上のプロセッサ２０Ｐと、記憶媒体２０Ｍと、を有して構成されている。また、本体装置２０は、ユニバーサルコード１７を介し、内視鏡１０に対して着脱自在に接続されるように構成されている。

また、本体装置２０は、挿入形状検出装置３０、入力装置５０及び表示装置６０の各部に対して着脱自在に接続されるように構成されている。また、本体装置２０は、入力装置５０からの指示に応じた動作を行うように構成されている。また、本体装置２０は、内視鏡１０から出力される撮像信号に基づいて内視鏡画像を生成するとともに、当該生成した内視鏡画像を表示装置６０に表示させるための動作を行うように構成されている。

本実施形態において本体装置２０は、内視鏡１０の動作を制御するための様々な制御信号を生成して出力するように構成されている。また、本体装置２０は、内視鏡制御装置としての機能を具備し、挿入形状検出装置３０から出力される挿入形状情報（後述）を用いて挿入部１１の挿入操作に係る制御を行うように構成されている。

さらに、本体装置２０は、挿入形状検出装置３０から出力される挿入形状情報に応じた挿入形状画像を生成するとともに、当該生成した挿入形状画像を表示装置６０に表示させるための動作を行うように構成されている。

挿入形状検出装置３０は、挿入部１１に設けられたソースコイル１８各々から発せられる磁界を検出するとともに、当該検出した磁界の強度に基づいて複数のソースコイル１８各々の位置を取得するように構成されている。また、挿入形状検出装置３０は、前述のように取得した複数のソースコイル１８各々の位置を示す挿入形状情報を生成して本体装置２０及び外力情報取得装置４０へ出力するように構成されている。

すなわち、挿入形状検出装置３０は、被検体内に挿入されている挿入部の挿入形状を検出して挿入形状情報を取得するとともに、当該取得した挿入形状情報を本体装置２０及び外力情報取得装置４０へ出力するように構成されている。

外力情報取得装置４０には、例えば、外力が加えられていない状態における挿入部１１の所定の複数の位置の曲率（または曲率半径）及び湾曲角度のデータと、想定されるあらゆる方向から挿入部１１の任意の位置に所定の外力を加えた状態で取得した当該所定の複数の位置の曲率（または曲率半径）及び湾曲角度のデータと、が格納されている。

本実施形態において外力情報取得装置４０は、例えば、挿入形状検出装置３０から出力される挿入形状情報に基づいて挿入部１１に設けられた複数のソースコイル１８各々の位置を特定し、当該複数のソースコイル１８各々の位置における曲率（または曲率半径）及び湾曲角度に基づいて予め格納されている各種データを参照することにより、当該複数のソースコイル１８各々の位置における外力の大きさ及び方向を取得するように構成されている。

さらに、外力情報取得装置４０は、前述のように取得した複数のソースコイル１８各々の位置における外力の大きさ及び方向を示す外力情報を生成して本体装置２０へ出力するように構成されている。

なお、本実施形態においては、外力情報取得装置４０が挿入部１１に設けられた複数のソースコイル１８各々の位置における外力を算出するための手法として、日本国特許第５８５１２０４号公報に開示された手法が用いられるものであってもよく、または、日本国特許第５８９７０９２号公報に開示された手法が用いられるものであってもよい。

また、本実施形態においては、例えば、歪センサ、圧力センサ、加速度センサ、ジャイロセンサ、及び、無線素子等の電子部品が挿入部１１に設けられている場合に、外力情報取得装置４０が当該電子部品から出力される信号に基づいて複数のソースコイル１８各々の位置における外力を算出するように構成されていてもよい。

入力装置５０は、例えば、マウス、キーボード及びタッチパネル等のような、ユーザにより操作される１つ以上の入力インターフェースを有して構成されている。また、入力装置５０は、ユーザの操作に応じた指示を本体装置２０へ出力することができるように構成されている。

表示装置６０は、例えば、液晶モニタ等を有して構成されている。また、表示装置６０は、本体装置２０から出力される内視鏡画像等を画面上に表示することができるように構成されている。

次に、本第１の実施形態の内視鏡制御装置を含む内視鏡システムの具体的な構成について、図２を参照して説明する。

図２は、本第１の実施形態に係る内視鏡システムの具体的な構成を説明するためのブロック図である。

図２に示すように、内視鏡１０は、ソースコイル１８と、撮像部１１０と、進退機構１４１と、湾曲機構１４２と、ＡＷＳ機構１４３と、回転機構１４４と、を有して構成されている。図２は、第１の実施形態に係る内視鏡システムの具体的な構成を説明するためのブロック図である。

撮像部１１０は、例えば、照明光により照明された被写体からの戻り光が入射される観察窓と、当該戻り光を撮像して撮像信号を出力するカラーＣＣＤ等のイメージセンサと、を有して構成されている。

進退機構１４１は、例えば、挿入部１１を挟んで対向する位置に配置された一対のローラと、当該一対のローラを回転させるための回転駆動力を供給するモータと、を有して構成されている。また、進退機構１４１は、例えば、本体装置２０から出力される進退制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて一対のローラを回転させることにより、挿入部１１を前進させるための動作、及び、挿入部１１を後退させるための動作のうちのいずれか一方の動作を選択的に行うことができるように構成されている。

湾曲機構１４２は、例えば、湾曲部１３に設けられた複数の湾曲駒と、当該複数の湾曲駒に連結された複数のワイヤと、当該複数のワイヤを牽引するための回転駆動力を供給するモータと、を有して構成されている。また、湾曲機構１４２は、例えば、本体装置２０から出力される湾曲制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて複数のワイヤ各々の牽引量を変化させることにより、湾曲部１３を上下左右の４方向に湾曲させることができるように構成されている。

ＡＷＳ（Ａｉｒｆｅｅｄｉｎｇ，Ｗａｔｅｒｆｅｅｄｉｎｇ，ａｎｄＳｕｃｔｉｏｎ）機構１４３は、例えば、内視鏡１０（挿入部１１、操作部１６及びユニバーサルコード１７）の内部に設けられた送気送水管路及び吸引管路の２つの管路と、当該２つの管路のうちの一方を開放しつつ他方を閉塞する動作を行う電磁弁と、を有して構成されている。

また、本実施形態においてＡＷＳ機構１４３は、例えば、本体装置２０から出力されるＡＷＳ制御信号に応じ、送気送水管路を開放するための動作が電磁弁において行われた場合に、本体装置２０から供給される水及び空気のうちの少なくとも一方を含む流体を当該送気送水管路に流通させることができるとともに、先端部１２に形成された排出口から当該流体を排出することができるように構成されている。

さらに、ＡＷＳ機構１４３は、例えば、本体装置２０から出力されるＡＷＳ制御信号に応じ、吸引管路を開放するための動作が電磁弁において行われた場合に、本体装置２０において発生した吸引力を当該吸引管路に作用させることができるとともに、先端部１２に形成された吸引口の付近に存在する物体を当該吸引力により吸引することができるように構成されている。

回転機構１４４は、例えば、可撓管部１４の基端側において挿入部１１を把持する把持部材と、当該把持部材を回転させるための回転駆動力を供給するモータと、を有して構成されている。また、回転機構１４４は、例えば、本体装置２０から出力される回転制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて把持部材を回転させることにより、挿入部１１を挿入軸（長手軸）周りに回転させることができるように構成されている。

＜本体装置２０の詳細＞
本体装置２０は、図２に示すように、光源部２１０と、画像処理部２２０と、コイル駆動信号生成部２３０と、内視鏡機能制御部２４０と、表示制御部２５０と、システム制御部２６０と、を有して構成されている。

光源部２１０は、例えば、１つ以上のＬＥＤまたは１つ以上のランプを光源として有して構成されている。さらに、光源部２１０は、挿入部１１が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡１０へ供給することができるように構成されている。また、光源部２１０は、システム制御部２６０から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。

画像処理部２２０は、例えば、画像処理回路を有して構成されている。また、画像処理部２２０は、内視鏡１０から出力される撮像信号に対して所定の処理を施すことにより内視鏡画像を生成するとともに、当該生成した内視鏡画像を表示制御部２５０及びシステム制御部２６０へ出力するように構成されている。

コイル駆動信号生成部２３０は、例えば、ドライブ回路を有して構成されている。また、コイル駆動信号生成部２３０は、システム制御部２６０から供給されるシステム制御信号に応じ、ソースコイル１８を駆動させるためのコイル駆動信号を生成して出力するように構成されている。

内視鏡機能制御部２４０は、システム制御部２６０から供給される挿入制御信号に基づき、内視鏡１０により実現される機能を制御するための動作を行うように構成されている。具体的には、内視鏡機能制御部２４０は、進退機構１４１により実現される進退機能、湾曲機構１４２により実現される湾曲機能、ＡＷＳ機構１４３により実現されるＡＷＳ機能、及び、回転機構１４４により実現される回転機能のうちの少なくとも１つの機能を制御するための動作を行うように構成されている。また、内視鏡機能制御部２４０は、進退制御部２４１と、湾曲制御部２４２と、ＡＷＳ制御部２４３と、回転制御部２４４と、を有して構成されている。

進退制御部２４１は、システム制御部２６０から供給される挿入制御信号に基づき、進退機構１４１の動作を制御するための進退制御信号を生成して出力するように構成されている。具体的には、進退制御部２４１は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、進退機構１４１に設けられたモータの回転状態を制御するための進退制御信号を生成して出力するように構成されている。

湾曲制御部２４２は、システム制御部２６０から供給される挿入制御信号に基づき、湾曲機構１４２の動作を制御するための湾曲制御信号を生成して出力するように構成されている。具体的には、湾曲制御部２４２は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、湾曲機構１４２に設けられたモータの回転状態を制御するための湾曲制御信号を生成して出力するように構成されている。

ＡＷＳ制御部２４３は、システム制御部２６０から供給される挿入制御信号に基づいて図示しないポンプ等を制御することにより、水及び空気のうちの少なくとも一方を含む流体を内視鏡１０へ供給するための動作、及び、先端部１２の吸引口の付近に存在する物体を吸引するための吸引力を発生させるための動作のうちのいずれか一方の動作を選択的に行うことができるように構成されている。

また、ＡＷＳ制御部２４３は、ＡＷＳ機構１４３の動作を制御するためのＡＷＳ制御信号を生成して出力するように構成されている。具体的には、ＡＷＳ制御部２４３は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、ＡＷＳ機構１４３に設けられた電磁弁の動作状態を制御するためのＡＷＳ制御信号を生成して出力するように構成されている。

回転制御部２４４は、システム制御部２６０から供給される挿入制御信号に基づき、回転機構１４４の動作を制御するための回転制御信号を生成して出力するように構成されている。具体的には、回転制御部２４４は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、回転機構１４４に設けられたモータの回転状態を制御するための回転制御信号を生成して出力するように構成されている。

すなわち、内視鏡機能制御部２４０は、システム制御部２６０から供給される挿入制御信号に基づき、内視鏡１０の機能により実現される基本操作に対応する制御信号として、挿入部１１を前進させるための操作に相当する押し操作、挿入部１１を後退させるための操作に相当する引き操作、湾曲部１３を湾曲させて先端部１２の向きを挿入部１１の挿入軸（長手軸）に対して交差する方向（例えば８方向のうちの一の方向）に向けるための操作に相当するアングル操作、挿入部１１を挿入軸（長手軸）周りに回転させる操作に相当する捻り操作、先端部１２の前方へ気体を噴出させるための送気操作、先端部１２の前方へ液体を噴出させるための送水操作、及び、先端部１２の前方の組織等を吸引させるための吸引操作の各操作に対応する制御信号を生成して出力することができるように構成されている。

表示制御部２５０は、画像処理部２２０から出力される内視鏡画像を含む表示画像を生成するための処理を行うとともに、当該生成した表示画像を表示装置６０に表示させるための処理を行う。また、表示制御部２５０は、システム制御部２６０から出力される挿入形状画像（後述）を表示装置６０に表示させるための処理を行う。

システム制御部２６０は、操作部１６及び入力装置５０からの指示等に応じた動作を行わせるためのシステム制御信号を生成して出力する。また、システム制御部２６０は、挿入形状画像生成部２６１と、挿入形状分類部２６２と、挿入制御部２６３と、分類結果記録部２６４と、を有して構成されている。

挿入形状画像生成部２６１は、挿入形状検出装置３０から出力される挿入形状情報（後述）に基づき、被検体内に挿入されている挿入部１１の挿入形状を２次元的に示す挿入形状画像を生成する。また、挿入形状画像生成部２６１は、前述のように生成した挿入形状画像を表示制御部２５０へ出力する。

挿入形状分類部２６２は、挿入形状画像生成部２６１により生成された挿入形状画像に基づき、当該挿入形状画像に含まれる挿入部１１の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理を行う。

＜挿入形状分類部２６２の構成＞
ここで、本実施形態における挿入形状分類部２６２の構成の具体例について説明する。

本実施形態において挿入形状分類部２６２は、例えば、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）における各結合係数（重み）をディープラーニング等の学習手法で学習させることにより作成された分類器（例えば、分類器ＣＬＰ）を用いた処理を行うことにより、挿入形状画像生成部２６１により生成された挿入形状画像に含まれる挿入部１１の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るように構成されている。

前述の分類器ＣＬＰの作成時においては、例えば、挿入形状画像生成部２６１により生成されるものと同様の挿入形状画像と、当該挿入形状画像に含まれる挿入部１１の挿入形状を所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いた機械学習が行われる。

ここで、前述の所定の複数の種類各々は、例えば、被検体内への挿入部１１の挿入が開始された時点から当該被検体内における挿入部１１の挿入が終了する時点までの期間において形成され得る様々な挿入形状のうち、挿入部１１の挿入操作を手動あるいは自動で行う場合における操作の成否に係る判断及び操作内容の変更の要否に係る判断に資するような特徴的な形状を有する挿入形状の種類として設定されている。

前述の教師データの作成時においては、例えば、一の挿入形状画像に含まれる挿入部１１の挿入形状が所定の複数の種類のうちのどの種類に属するかを熟練者が目視で判断した際の判断結果に応じたラベルを当該一の挿入形状画像に付与するための作業が行われる。

そのため、前述の分類器ＣＬＰによれば、例えば、挿入形状画像生成部２６１により生成された挿入形状画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとしてニューラルネットワークの入力層に入力することにより、当該挿入形状画像に含まれる挿入部１１の挿入形状の種類として分類され得る種類各々に対応する複数の尤度を当該ニューラルネットワークの出力層から出力される出力データとして取得することができる。

また、前述の分類器ＣＬＰを用いた処理によれば、例えば、ニューラルネットワークの出力層から出力される出力データに含まれる複数の尤度の中で最も高い一の尤度に対応する一の挿入形状の種類を、挿入部１１の挿入形状の分類結果として得ることができる。

すなわち、挿入形状分類部２６２は、挿入部１１の挿入形状を示す挿入形状画像と、当該挿入形状画像に含まれる挿入部１１の挿入形状を所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器ＣＬＰを用いた処理を行うことにより、被検体内に挿入されている挿入部１１の挿入形状の種類を示す分類結果を得るように構成されている。

ここで、前述の分類器ＣＬＰを用いた処理により得られる挿入部１１の挿入形状の分類結果の具体例について説明する。なお、以下においては、被検体内に挿入された挿入部１１により形成され得る様々な挿入形状のうち、αループの形成開始直前から解除完了直後までに現れる挿入形状の種類に応じた分類結果が得られる場合を例に挙げて説明する。

挿入形状分類部２６２は、例えば、図３に示すような挿入形状画像ＳＧＡに含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＡとして分類した分類結果を取得する。図３は、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＡは、例えば、挿入部１１が略直線形状を維持したまま先端部１２が肛門付近からＳ状結腸の入口付近までの区間内に位置している状態に対応する分類結果として取得される。

挿入形状分類部２６２は、例えば、図４Ａに示すような挿入形状画像ＳＧＢ１、または、図４Ｂに示すような挿入形状画像ＳＧＢ２に含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＢとして分類した分類結果を取得する。図４Ａ及び図４Ｂは、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＢは、例えば、先端部１２がＳ状結腸の内部に位置しているとともに、挿入部１１がαループの元となる屈曲形状を形成した状態に対応する分類結果として取得される。

挿入形状分類部２６２は、例えば、図５Ａに示すような挿入形状画像ＳＧＣ１、または、図５Ｂに示すような挿入形状画像ＳＧＣ２に含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＣとして分類した分類結果を取得する。図５Ａ及び図５Ｂは、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＣは、例えば、先端部１２が湾曲部１３または可撓管部１４のいずれかと交差することによりαループを形成し始めた状態から、先端部１２が当該αループの上端部付近に到達した状態までに対応する分類結果として取得される。

挿入形状分類部２６２は、例えば、図６Ａに示すような挿入形状画像ＳＧＤ１、または、図６Ｂに示すような挿入形状画像ＳＧＤ２に含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＤとして分類した分類結果を取得する。図６Ａ及び図６Ｂは、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＤは、例えば、先端部１２がαループの上端部を僅かに超える位置に到達した状態に対応する分類結果として取得される。

挿入形状分類部２６２は、例えば、図７Ａに示すような挿入形状画像ＳＧＥ１、または、図７Ｂに示すような挿入形状画像ＳＧＥ２に含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＥとして分類した分類結果を取得する。図７Ａ及び図７Ｂは、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＥは、例えば、先端部１２が脾湾曲部付近に到達した状態、及び、先端部１２がαループの上端部から十分離れた位置に到達した状態のうちのいずれかに対応する分類結果として取得される。

挿入形状分類部２６２は、例えば、図８Ａに示すような挿入形状画像ＳＧＦ１、または、図８Ｂに示すような挿入形状画像ＳＧＦ２に含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＦとして分類した分類結果を取得する。図８Ａ及び図８Ｂは、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＦは、例えば、挿入部１１により形成されたαループの解除の進行に伴って当該αループが縮小した状態に対応する分類結果として取得される。

挿入形状分類部２６２は、例えば、図９Ａに示すような挿入形状画像ＳＧＧ１、または、図９Ｂに示すような挿入形状画像ＳＧＧ２に含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＧとして分類した分類結果を取得する。図９Ａ及び図９Ｂは、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＧは、例えば、挿入部１１により形成されたαループの解除の進行に伴って当該αループがＮループに類似する形状に移行した状態から、当該αループが完全に解除された直後の状態までに対応する分類結果として取得される。

挿入形状分類部２６２は、例えば、図１０に示すような挿入形状画像ＳＧＨに含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＨとして分類した分類結果を取得する。図１０は、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＨは、例えば、先端部１２が横行結腸の入口付近に到達した状態、及び、挿入部１１がαループの解除後に略直線形状に移行した状態のうちのいずれかに対応する分類結果として取得される。

挿入形状分類部２６２は、例えば、図１１Ａに示すような挿入形状画像ＳＧＩ１、または、図１１Ｂに示すような挿入形状画像ＳＧＩ２に含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＩとして分類した分類結果を取得する。図１１Ａ及び図１１Ｂは、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＩは、例えば、先端部１２が横行結腸の内部に位置している状態に対応する分類結果として取得される。

挿入形状分類部２６２は、例えば、図１２Ａに示すような挿入形状画像ＳＧＪ１、または、図１２Ｂに示すような挿入形状画像ＳＧＪ２に含まれる各画素の画素値を分類器ＣＬＰに入力して得られた出力データに基づいて処理を行うことにより、挿入部１１の挿入形状を種類ＴＪとして分類した分類結果を取得する。図１２Ａ及び図１２Ｂは、第１の実施形態に係る内視鏡システムにおいて生成される挿入形状画像の一例を示す図である。

前述の種類ＴＪは、例えば、先端部１２が上行結腸から盲腸付近までの区間内に位置している状態に対応する分類結果として取得される。

なお、本実施形態によれば、例えば、分類器ＣＬＰの作成時において、種類ＴＡ～ＴＪ各々に対応する１０種類のラベルうちの少なくとも１つの種類のラベルを変更した挿入形状画像を用いて学習を行うことにより、または、当該種類ＴＡ～ＴＪ各々に対応する１０種類のラベルのいずれとも異なる新たな種類のラベルを付加した挿入形状画像を追加して学習を行うことにより、αループとは異なる一の形状の形成開始直前から解除完了直後までに現れる挿入形状の種類に応じた分類結果が得られるようにしてもよい。

具体的には、本実施形態によれば、例えば、裏αループ、逆αループ、Ｎループ、γループ、及び、ステッキ形状のうちの少なくとも１つの形状の形成開始直前から解除完了直後までに現れる挿入形状の種類に応じた分類結果が得られるようにしてもよい。

また、本実施形態によれば、例えば、分類器ＣＬＰの作成時に用いられる学習用の挿入形状画像に対するラベルの付与方法を適宜変更することにより、被検体内への挿入部１１の挿入が開始された時点から当該被検体内における挿入部１１の挿入が終了する時点までの期間において形成され得る所望の挿入形状の種類に対応する分類結果が得られるようにしてもよい。

挿入制御部２６３は、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像と、のうちの少なくとも１つと、挿入形状分類部２６２により得られた分類結果と、に基づき、挿入部１１の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部２４０へ出力するように構成されている。

具体的には、挿入制御部２６３は、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つと、挿入形状分類部２６２により得られた分類結果と、に基づき、挿入部１１の挿入操作に係る制御として、例えば、当該挿入操作の開始、当該挿入操作の継続、当該挿入操作の中断、当該挿入操作の再開、当該挿入操作の停止、及び、当該挿入操作の完了のうちの少なくとも１つに係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部２４０へ出力するように構成されている。

また、挿入制御部２６３は、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つと、挿入形状分類部２６２により得られた分類結果と、に基づき、挿入部１１の挿入操作における操作量、当該挿入操作における操作速度、及び、当該挿入操作における操作力のうちの少なくとも１つを制御するための情報を含む挿入制御信号を生成して内視鏡機能制御部２４０へ出力するように構成されている。

ここで、本実施形態の挿入制御部２６３は、例えば、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の現在の挿入形状の種類に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定し、当該設定した制御内容を用いて挿入部１１の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部２４０へ出力することができるように構成されている。

そのため、挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の現在の挿入形状の種類に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づき、例えば、内視鏡１０の機能により実現される各基本操作の中から選択した基本操作を単独で実行させて挿入部１１の挿入操作を行うための制御内容を有する操作制御群ＣＧＡを設定し、当該設定した操作制御群ＣＧＡに係る情報を含む挿入制御信号を生成して出力することができる。

具体的には、操作制御群ＣＧＡには、例えば、押し操作を実行する際の前進量、前進速度、及び、操作力等に係る制御内容が含まれている。

また、挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の現在の挿入形状の種類に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づき、例えば、内視鏡１０の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させて挿入部１１の挿入操作を行うための制御内容を有する操作制御群ＣＧＢを設定し、当該設定した操作制御群ＣＧＢに係る情報を含む挿入制御信号を生成して出力することができる。

具体的には、操作制御群ＣＧＢには、例えば、引き操作及び捻り操作を組み合わせて実行する際の後退量、後退速度、回転角度、回転方向、及び、操作力等に係る制御内容が含まれている。

なお、操作制御群ＣＧＢは、内視鏡１０の機能により実現される各基本操作の中から選択した複数の基本操作を連続的にまたは同時に実行させるような制御内容として設定される。すなわち、操作制御群ＣＧＢの制御内容は、操作制御群ＣＧＡの制御内容よりも複雑な制御内容として設定される。

すなわち、挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の現在の挿入形状の種類に応じた制御として、内視鏡１０の機能により実現される各基本操作の中から選択した基本操作を単独で実行させて挿入部１１の挿入操作を行うための制御内容を有する操作制御群ＣＧＡ、及び、内視鏡１０の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させて挿入部１１の挿入操作を行うための制御内容を有する操作制御群ＣＧＢのうちのいずれかに基づく制御を行うように構成されている。

また、挿入制御部２６３は、内視鏡１０により被検体内を撮像して得られた画像、挿入部１１に対して加えられている外力の大きさを示す情報、及び、挿入部１１の挿入形状を示す情報のうちの少なくとも１つと、挿入形状分類部２６２により得られた分類結果と、に基づいて挿入部１１の挿入操作に係る制御を行う。

分類結果記録部２６４は、挿入形状分類部２６２により得られた分類結果を時系列に記録するための動作を行うことができるように構成されている。

本実施形態においては、本体装置２０の少なくとも一部の機能が、プロセッサ２０Ｐにより実現されるようにすればよい。また、本実施形態においては、本体装置２０の少なくとも一部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。

また、本実施形態に係る構成を適宜変形することにより、例えば、コンピュータが、本体装置２０の少なくとも一部の機能を実行させるためのプログラムをメモリ等の記憶媒体２０Ｍから読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

挿入形状検出装置３０は、図２に示すように、受信アンテナ３１０と、挿入形状情報取得部３２０と、を有して構成されている。

受信アンテナ３１０は、例えば、複数のソースコイル１８各々から発せられる磁界を３次元的に検出するための複数のコイルを有して構成されている。また、受信アンテナ３１０は、複数のソースコイル１８各々から発せられる磁界を検出するとともに、当該検出した磁界の強度に応じた磁界検出信号を生成して挿入形状情報取得部３２０へ出力するように構成されている。

挿入形状情報取得部３２０は、受信アンテナ３１０から出力される磁界検出信号に基づき、複数のソースコイル１８各々の位置を取得するように構成されている。また、挿入形状情報取得部３２０は、前述のように取得した複数のソースコイル１８各々の位置を示す挿入形状情報を生成して挿入形状画像生成部２６１へ出力するように構成されている。

具体的には、挿入形状情報取得部３２０は、複数のソースコイル１８各々の位置として、例えば、挿入部１１が挿入される被検体の所定の位置（肛門等）が原点または基準点となるように仮想的に設定された空間座標系における複数の３次元座標値を取得する。また、挿入形状情報取得部３２０は、前述のように取得した複数の３次元座標値を含む挿入形状情報を生成して挿入形状画像生成部２６１へ出力する。

そして、このような場合においては、例えば、挿入形状情報取得部３２０から出力される挿入形状情報に含まれる複数の３次元座標値各々に対応する複数の２次元座標値を取得するための処理と、当該取得した複数の２次元座標値を補間するための処理と、当該補間した複数の２次元座標値に応じた挿入形状画像を生成するための処理と、が挿入形状画像生成部２６１により行われる。

本実施形態においては、挿入形状検出装置３０の少なくとも一部が、電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、挿入形状検出装置３０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。

本実施形態によれば、例えば、挿入形状画像生成部２６１が被検体内に挿入されている挿入部１１の挿入形状を３次元的に示す３次元挿入形状画像を生成するように構成されている場合に、挿入形状分類部２６２の分類器ＣＬＰが当該３次元挿入形状画像から取得される画素値等の多次元データを入力データとして用いて挿入部１１の挿入形状の種類を分類するように構成されていてもよい。そして、このような場合においては、例えば、３Ｄ－ＣＮＮ（３ＤＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いて分類器ＣＬＰを作成するようにすればよい。

本実施形態によれば、例えば、挿入形状分類部２６２の分類器ＣＬＰが、挿入形状検出装置３０から出力される挿入形状情報に含まれる複数の３次元座標値を入力データとして用いて挿入部１１の挿入形状の種類を分類するように構成されていてもよい。そして、このような場合においては、例えば、公知の線形判別関数、または、公知のニューラルネットワークのような、数値を特徴量として挿入部１１の挿入形状の種類を分類するような手法を用いて分類器ＣＬＰを作成するようにすればよい。

本実施形態によれば、例えば、分類器ＣＬＰの作成時において、挿入部１１の挿入形状を所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルが挿入形状画像に対して付与されるとともに、当該ラベルと、当該挿入形状画像の生成時に用いられた複数の３次元座標値と、を含む教師データを用いた機械学習が行われるようにしてもよい。

続いて、本実施形態の作用について説明する。なお、以降においては、肛門から大腸の腸管内に挿入された挿入部１１の挿入操作に係る制御が行われる場合を例に挙げて説明する。また、以降においては、腸管内に挿入された挿入部１１によりαループが形成される場合を例に挙げて説明する。

術者等のユーザは、内視鏡システム１の各部を接続して電源を投入した後、例えば、被検体の肛門または直腸付近に先端部１２が位置するように挿入部１１を配置する。

前述のようなユーザの操作によれば、光源部２１０から供給された照明光が被写体に照射され、当該照明光が照射された被写体が撮像部１１０により撮像されるとともに、当該被写体を撮像して得られた内視鏡画像が画像処理部２２０から表示制御部２５０及びシステム制御部２６０へ出力される。

また、前述のようなユーザの操作によれば、コイル駆動信号生成部２３０からコイル駆動信号が供給され、当該コイル駆動信号に応じて複数のソースコイル１８各々から磁界が発せられ、当該磁界を検出して得られた挿入形状情報が挿入形状情報取得部３２０からシステム制御部２６０へ出力されるとともに、当該挿入形状情報に応じた挿入形状画像が挿入形状画像生成部２６１により生成される。

また、前述のようなユーザの操作によれば、複数のソースコイル１８各々の位置における外力の大きさ及び方向を示す外力情報が外力情報取得装置４０からシステム制御部２６０へ出力される。

ユーザは、前述のように挿入部１１を配置した状態において、例えば、入力装置５０の自動挿入スイッチ（不図示）をオンすることにより、本体装置２０による挿入部１１の挿入制御を開始させるための指示を行う。

分類結果記録部２６４は、挿入部１１の挿入制御を開始させるための指示が行われたことを検出した際に、例えば、挿入形状分類部２６２により得られた分類結果を時系列にかつ一定時間毎に記録するための動作を開始する。

挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の現在の挿入形状の種類に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定する。

具体的には、挿入制御部２６３は、例えば、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の現在の挿入形状の種類が種類ＴＡ、ＴＨ、ＴＩ及びＴＪのうちのいずれかであることを検出した場合に、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定した操作制御群ＣＧＡに係る情報を含む挿入制御信号を生成して出力する。

また、挿入制御部２６３は、例えば、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の現在の挿入形状の種類が種類ＴＢ、ＴＣ、ＴＤ、ＴＥ、ＴＦ及びＴＧのうちのいずれかであることを検出した場合に、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定した操作制御群ＣＧＢに係る情報を含む挿入制御信号を生成して出力する。

すなわち、以上に述べた具体例によれば、挿入制御部２６３は、挿入部１１の現在の挿入形状の種類がαループの形成開始直前から解除完了直後までに現れる挿入形状の種類に該当しないことを検出した場合に、操作制御群ＣＧＡに係る情報を含む挿入制御信号を生成して出力する。

また、以上に述べた具体例によれば、挿入制御部２６３は、挿入部１１の現在の挿入形状の種類がαループの形成開始直前から解除完了直後までに現れる挿入形状の種類に該当することを検出した場合に、操作制御群ＣＧＡの制御内容よりも複雑な制御内容を有する操作制御群ＣＧＢに係る情報を含む挿入制御信号を生成して出力する。

なお、本実施形態においては、例えば、挿入制御部２６３が、画像処理部２２０から出力される内視鏡画像に基づいて制御内容を設定する場合に、後述の分類器ＣＬＱを用いた処理を行うようにすればよい。

さらに、本実施形態においては、挿入制御部２６３が、分類器ＣＬＱを用いた処理により得られる後述の処理結果画像ＰＲＧに基づき、例えば、当該処理結果画像ＰＲＧの中央部に管腔領域が存在する場合には、相対的に大きな前進量で挿入部１１を前進させるための制御内容を設定するとともに、当該処理結果画像ＰＲＧの周縁部に管腔領域が存在する場合には、相対的に小さな前進量で挿入部１１を前進させるための制御内容を設定するようにすればよい。

ユーザは、例えば、表示装置６０に表示されている挿入形状画像に基づき、被検者の内部に挿入されている挿入部１１の挿入形状が変化しなくなったことを確認した後で、入力装置５０の自動挿入スイッチをオフすることにより、本体装置２０による挿入部１１の挿入制御を停止させるための指示を行う。

分類結果記録部２６４は、挿入部１１の挿入制御を停止させるための指示が行われたことを検出した際に、挿入形状分類部２６２により得られた分類結果を時系列にかつ一定時間毎に記録するための動作を停止する。

ところで、大腸の腸管内に内視鏡の挿入部を挿入して検査を行う場合においては、例えば、当該大腸の走行状態、当該挿入部の挿入形状、及び、当該挿入部の挿入長等の組み合わせに応じた様々な状況が発生し得る。また、熟練医は、内視鏡の挿入部の挿入操作を手動で行う際に、現在の状況に対する状況判断の判断結果に応じ、例えば、当該挿入部に対して加える力の大きさ、及び、当該挿入部に対して行う操作の種類等を適宜決定するようにしている。

そして、内視鏡挿入部の挿入操作の自動化に関連する従来の提案においては、前述のような熟練医による主観的な状況判断の判断結果と同等の判断結果を取得しつつ、当該取得した判断結果に応じた制御を行うことが非常に困難である、という問題点が生じている。

これに対し、本実施形態によれば、挿入形状画像生成部２６１により生成された挿入形状画像に含まれる挿入部１１の挿入形状の種類を、熟練者が挿入部１１の挿入操作における操作の成否等を主観的に判断または評価する際の観点と略同等の観点に基づいて分類して分類結果を得るような処理が挿入形状分類部２６２において行われる。

また、本実施形態によれば、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の挿入形状の種類に応じた挿入制御が挿入制御部２６３において行われる。従って、本実施形態によれば、例えば、挿入部が挿入される被検体の内部状態の個体差、及び、当該被検体の内部における当該挿入部の挿入形状の時間的な変化等のような当該挿入部の挿入状況に応じた適切な挿入制御を行うことができる。

ところで、挿入形状検出装置３０と同様の機能を有する装置を用いた従来の内視鏡観察によれば、被検体内の観察が行われている最中において内視鏡挿入部の挿入形状に関する情報を記録することができる反面、当該被検体内の観察が終了した後における当該情報の再利用が想定されていない、という問題点がある。そのため、挿入形状検出装置３０と同様の機能を有する装置を用いた従来の内視鏡観察によれば、例えば、被検体内の観察が行われている最中における内視鏡挿入部の挿入形状の推移に対する評価及び解析等を、当該被検体内の観察が終了した後において行うことが困難である、という前述の問題点に応じた課題が生じている。

これに対し、以上に述べたような本実施形態の処理等によれば、入力装置５０の自動挿入スイッチがオンされてからオフされるまでの期間において、挿入形状分類部２６２により得られた分類結果が分類結果記録部２６４に時系列に記録される。そのため、本実施形態によれば、分類結果記録部２６４に記録された情報を用いることにより、被検体内の観察が行われている最中における挿入部１１の挿入形状の推移に対する評価及び解析等を、当該被検体内の観察が終了した後において行うことができる。

具体的には、例えば、表示制御部２５０が分類結果記録部２６４に記録された情報を可視化するための処理を行うことにより、図１３Ａ～図１３Ｃに示すような、挿入形状分類部２６２の分類結果として得られた挿入部１１の挿入形状の種類の時間的推移を表すグラフを含む表示画像を表示装置６０に表示させることができる。図１３Ａ～図１３Ｃは、第１の実施形態に係る内視鏡システムにおいて記録された情報を用いて挿入部の挿入形状の種類の時間的推移を可視化した場合の一例を示す図である。

図１３ＡのグラフＧＲＡは、挿入部１１により形成されたαループを解除しつつ、先端部１２を上行結腸に到達させた場合の挿入部１１の挿入形状の種類の時間的推移を表すグラフとして作成されている。

図１３ＡのグラフＧＲＡによれば、挿入部１１の挿入制御が開始された時刻ＮＸから時刻ＮＡまでの期間に相当する期間ＰＫＡにおいて、挿入部１１の挿入形状の種類が種類ＴＡに維持されている。そのため、図１３ＡのグラフＧＲＡによれば、例えば、期間ＰＫＡにおいて、挿入部１１が略直線形状に維持された状態で先端部１２がＳ状結腸の入口付近に到達したことを確認することができる。

図１３ＡのグラフＧＲＡによれば、時刻ＮＡよりも後の時刻ＮＢから時刻ＮＣまでの期間に相当する期間ＰＫＢにおいて、挿入部１１の挿入形状の種類が種類ＴＢから種類ＴＣに変化している。そのため、図１３ＡのグラフＧＲＡによれば、例えば、期間ＰＫＢにおいて、挿入部１１がαループを形成し始めていることを確認することができる。

図１３ＡのグラフＧＲＡによれば、時刻ＮＣよりも後の時刻ＮＤから時刻ＮＥまでの期間に相当する期間ＰＫＣにおいて、挿入部１１の挿入形状の種類が種類ＴＤから種類ＴＧに変化している。また、図１３ＡのグラフＧＲＡによれば、期間ＰＫＣの途中において、挿入部１１の挿入形状の種類が種類ＴＥ及び種類ＴＦのうちのいずれかになるように振動的に変化している。そのため、図１３ＡのグラフＧＲＡによれば、例えば、期間ＰＫＣにおいて、挿入部１１により形成されたαループの縮小を試みつつ当該αループの解除が行われていることを確認することができる。

図１３ＡのグラフＧＲＡによれば、時刻ＮＥよりも後の時刻ＮＦから時刻ＮＧまでの期間に相当する期間ＰＫＤにおいて、挿入部１１の挿入形状の種類が、種類ＴＦから種類ＴＧに変化した後、さらに、種類ＴＧ及び種類ＴＨのうちのいずれかになるように振動的に変化している。そのため、図１３ＡのグラフＧＲＡによれば、例えば、期間ＰＫＤにおいて、挿入部１１により形成されたαループの解除が完了しつつあることを確認することができる。

図１３ＡのグラフＧＲＡによれば、時刻ＮＧよりも後の時刻ＮＨから時刻ＮＩまでの期間に相当する期間ＰＫＥにおいて、挿入部１１の挿入形状の種類が、種類ＴＨから種類ＴＩを経て種類ＴＪに変化している。そのため、図１３ＡのグラフＧＲＡによれば、例えば、期間ＰＫＥにおいて、先端部１２が横行結腸を経て上行結腸に到達したことを確認することができる。

図１３ＢのグラフＧＲＢは、Ｓ状結腸の形状の個体差等に起因してαループの解除に難航した場合の挿入部１１の挿入形状の種類の時間的推移を表すグラフとして作成されている。なお、図１３Ｂにおいては、図示の便宜上、図１３Ａ及び図１３Ｃとは横軸のスケールを異ならせているものとする。

図１３ＢのグラフＧＲＢによれば、挿入部１１の挿入制御が開始された時刻ＮＹよりも後の時刻ＮＪから時刻ＮＫまでの期間に相当する期間ＰＫＦにおいて、挿入部１１の挿入形状の種類が種類ＴＤ、種類ＴＥ及び種類ＴＦのうちのいずれかになるように振動的に変化している。そのため、図１６ＢのグラフＧＲＢによれば、例えば、期間ＰＫＦにおいて、挿入部１１により形成されたαループの縮小を試みたにもかかわらず成功しなかったことを確認することができる。

図１３ＢのグラフＧＲＢによれば、時刻ＮＫよりも後の時刻ＮＬから時刻ＮＭまでの期間に相当する期間ＰＫＧにおいて、挿入部１１の挿入形状の種類が種類ＴＢ、種類ＴＣ、種類ＴＤ、種類ＴＥ及び種類ＴＦのうちのいずれかになるように振動的に変化している。そのため、図１３ＢのグラフＧＲＢによれば、例えば、期間ＰＫＧにおいて、挿入部１１の挿入を極力妨げないように腸管の形状を整えた状態で、挿入部１１によるαループの再形成が行われていることを確認することができる。

図１３ＢのグラフＧＲＢによれば、時刻ＮＭよりも後の時刻ＮＮから時刻ＮＰまでの期間に相当する期間ＰＫＨにおいて、挿入部１１の挿入形状の種類が種類ＴＣ、種類ＴＤ、種類ＴＥ、種類ＴＦ及び種類ＴＧのうちのいずれかになるように振動的に変化している。そのため、図１３ＢのグラフＧＲＢによれば、例えば、期間ＰＫＨにおいて、挿入部１１により再形成されたαループの解除を試みていることを確認することができる。

図１３ＢのグラフＧＲＢによれば、時刻ＮＰよりも後の時刻ＮＱから時刻ＮＲまでの期間に相当する期間ＰＫＩにおいて、挿入部１１の挿入形状の種類が、種類ＴＦから種類ＴＧを経て種類ＴＨに変化している。そのため、図１３ＢのグラフＧＲＢによれば、例えば、期間ＰＫＩにおいて、挿入部１１により再形成されたαループの解除が成功したことを確認することができる。

図１３ＣのグラフＧＲＣは、挿入部１１によるαループの形成がない状態で先端部１２を上行結腸に到達させた場合の挿入部１１の挿入形状の種類の時間的推移を表すグラフとして作成されている。

図１３ＣのグラフＧＲＣによれば、挿入部１１の挿入制御が開始された時刻ＮＺ以降において、挿入部１１の挿入形状の種類が、種類ＴＡ、種類ＴＨ、種類ＴＩ及び種類ＴＪの順に変化している。そのため、図１３ＣのグラフＧＲＣによれば、例えば、大腸の全区間において、挿入部１１の挿入に支障をきたすような問題が発生しなかったことを確認することができる。

本実施形態によれば、分類結果記録部２６４が、挿入形状分類部２６２により得られた分類結果を時系列にかつ一定時間毎に記録するための動作を、挿入制御部２６３の制御により挿入部１１が自動で挿入される場合に行うものに限らず、ユーザの操作により挿入部１１が手動で挿入される場合に行うように構成されていてもよい。そして、このような分類結果記録部２６４の動作が挿入部１１の手動挿入時に行われた場合には、ユーザの操作に伴う挿入部１１の挿入形状の種類の時間的推移を表すグラフとして、図１３Ａ～図１３Ｃに例示したものと類似のグラフを作成することができる。

また、前述のような分類結果記録部２６４の動作が挿入部１１の手動挿入時に行われた場合には、例えば、ユーザにより行われた挿入部１１の挿入操作を定量的に評価及び／または分析する際に利用可能なデータを取得することができる。

本実施形態によれば、分類結果記録部２６４が、挿入形状分類部２６２により得られた分類結果を時系列にかつ一定時間毎に記録するための動作を、被検体内に挿入部１１が挿入される場合に行うものに限らず、当該被検体内に挿入された挿入部１１が抜去される場合に行うように構成されていてもよい。

本実施形態によれば、分類結果記録部２６４に記録された情報を、図１３Ａ～図１３Ｃに例示したようなグラフの作成以外の用途に用いることもできる。

具体的には、分類結果記録部２６４に記録された情報は、例えば、データマイニング及び統計的解析等のような解析手法における元データとして用いることができる。また、分類結果記録部２６４に記録された情報は、例えば、ユーザの操作により挿入部１１を手動で挿入した場合における当該ユーザの熟練度の評価に用いることができる。また、分類結果記録部２６４に記録された情報は、例えば、所定の被検者に挿入部１１を挿入する際の挿入難度の推定に用いることができる。

本実施形態によれば、分類結果記録部２６４が、例えば、内視鏡画像等のような、内視鏡システム１の動作により得られる所望の情報を挿入形状分類部２６２により得られた分類結果に関連付けて記録するための動作を行うように構成されていてもよい。

なお、本実施形態の挿入制御部２６３は、例えば、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の挿入形状の種類が変化したか否かを検出した検出結果に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定し、当該設定した制御内容を用いて挿入部１１の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部２４０へ出力するように構成されていてもよい。

具体的には、挿入制御部２６３は、例えば、図１４に示すような制御を行うように構成されていてもよい。このような制御の概要について、以下に説明する。なお、以下においては、簡単のため、挿入形状分類部２６２により分類される所定の複数の種類の挿入形状に対応する制御内容を含む情報として作成された複数の挿入制御情報が記憶媒体２０Ｍに予め格納され、挿入形状分類部２６２により得られた分類結果に応じた一の挿入制御情報が当該複数の挿入制御情報の中から選択されるとともに、挿入制御部２６３による１回分の制御が行われる毎に当該分類結果として示される挿入部１１の挿入形状の種類が変化したか否かが検出される場合を例に挙げて説明する。図１４は、第１の実施形態の変形例に係る内視鏡システムにおいて行われる制御の概要を説明するためのフローチャートである。

挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果に基づき、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、当該分類結果として示される一の挿入形状の種類に対応する一の挿入制御情報を選択して読み込むための処理を行う（図１４のステップＳ１）。

前述の複数の挿入制御情報各々には、挿入部１１を前進可能な状態にするための方法に係る情報と、挿入部１１により形成される所定の挿入形状を解除するための方法に係る情報と、のうちのいずれかの情報が含まれている。また、前述の複数の挿入制御情報各々には、内視鏡機能制御部２４０に含まれる各制御部のうちの少なくとも１つの制御部の動作、すなわち、内視鏡１０の機能により実現される各基本操作のうちの少なくとも１つの基本操作に対応する１回分の制御内容（制御量等）を示す情報が含まれている。

挿入部１１を前進可能な状態にするための方法に係る情報には、例えば、処理結果画像ＰＲＧに設定される後述の枠ＷＧ等のような、先端部１２の移動先を設定する際の設定条件を示す情報が含まれている。また、挿入部１１を前進可能な状態にするための方法に係る情報には、例えば、内視鏡１０の機能により実現される各基本操作のうち挿入部１１の前進時に単独で実行される基本操作を示す情報、及び、当該各基本操作のうち挿入部１１の前進時に連続的にまたは同時に実行される複数の基本操作の組み合わせを示す情報のうちの少なくとも一方が含まれている。

挿入部１１により形成される所定の挿入形状を解除するための方法に係る情報には、例えば、内視鏡１０の機能により実現される各基本操作のうち当該所定の挿入形状の解除時に個別に実行される基本操作を示す情報、及び、当該各基本操作のうち当該所定の挿入形状の解除時に連続的にまたは同時に実行される複数の基本操作の組み合わせを示す情報のうちの少なくとも一方が含まれている。

挿入制御部２６３は、図１４のステップＳ１により読み込んだ一の挿入制御情報に挿入部１１を前進可能な状態にするための方法に係る情報が含まれているか否かを検出する（図１４のステップＳ２）。

挿入制御部２６３は、図１４のステップＳ１により読み込んだ一の挿入制御情報に挿入部１１を前進可能な状態にするための方法に係る情報が含まれていないとの検出結果を得た場合（Ｓ２：ＮＯ）に、後述の図１４のステップＳ４の処理を行う。

挿入制御部２６３は、図１４のステップＳ１により読み込んだ一の挿入制御情報に挿入部１１を前進可能な状態にするための方法に係る情報が含まれているとの検出結果を得た場合（Ｓ２：ＹＥＳ）に、当該一の挿入制御情報に含まれる制御内容と、画像処理部２２０から出力される内視鏡画像と、に基づき、挿入部１１を前進可能な状態にするための制御を内視鏡機能制御部２４０に対して行う（図１４のステップＳ３）。

挿入制御部２６３は、外力情報取得装置４０から出力される外力情報等に基づき、図１４のステップＳ１により読み込んだ一の挿入制御情報に含まれる制御内容、または、後述の図１４のステップＳ６により設定された変更後の制御内容のいずれかに応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ４）。なお、前述の１回分の制御の具体例については、後程説明する。

挿入制御部２６３は、図１４のステップＳ１の処理を行うタイミングで挿入形状分類部２６２により得られた分類結果と、図１４のステップＳ４の１回分の制御を行った直後のタイミングで挿入形状分類部２６２により得られた分類結果と、を比較することにより、当該１回分の制御に応じて挿入部１１の挿入形状の種類が変化したか否かを検出する（図１４のステップＳ５）。

挿入制御部２６３は、挿入部１１の挿入形状の種類が変化したとの検出結果を得た場合（Ｓ５：ＹＥＳ）に、後述の図１４のステップＳ８の処理を行う。また、挿入制御部２６３は、挿入部１１の挿入形状の種類が変化していないとの検出結果を得た場合（Ｓ５：ＮＯ）に、図１４のステップＳ４において１回分の制御を行った際の制御内容を変更する必要があるか否かを判定する（図１４のステップＳ６）。

挿入制御部２６３は、図１４のステップＳ４において１回分の制御を行った際の制御内容を変更する必要がないとの判定結果を得た場合（Ｓ６：ＮＯ）に、当該制御内容を維持しつつ前述の図１４のステップＳ２以降の制御を行う。また、挿入制御部２６３は、図１４のステップＳ４において１回分の制御を行った際の制御内容を変更する必要があるとの判定結果を得た場合（Ｓ６：ＹＥＳ）に、変更後の制御内容を設定するための処理を行った（図１４のステップＳ７）後で、前述の図１４のステップＳ２以降の制御を行う。

挿入制御部２６３は、図１４のステップＳ４の１回分の制御を行った直後のタイミングで挿入形状分類部２６２により得られた分類結果に基づき、挿入部１１の挿入形状が所定の種類に変化したかを検出する（図１４のステップＳ８）。

挿入制御部２６３は、挿入部１１の挿入形状が所定の種類に変化していないとの検出結果を得た場合（Ｓ８：ＮＯ）に、前述の図１４のステップＳ１の制御を行う。また、挿入制御部２６３は、挿入部１１の挿入形状が所定の種類に変化したとの検出結果を得た場合（Ｓ８：ＹＥＳ）に、内視鏡機能制御部２４０に対する一連の制御を終了する。

すなわち、図１４の一連の処理によれば、挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果として示される一の種類の挿入形状に応じた制御内容を設定し、当該設定した制御内容に基づいて挿入部１１の挿入操作に係る挿入制御を１回ずつ行うとともに、当該挿入制御を１回行う毎に、挿入形状分類部２６２により得られた分類結果を参照しつつ当該挿入制御における制御内容を変更するか否かを決定するように構成されている。

また、図１４の一連の処理によれば、挿入制御部２６３は、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、挿入形状分類部２６２により得られた分類結果として示される種類ＴＸの挿入形状に対応する制御内容を含む挿入制御情報ＣＪＸを選択するように構成されている。

さらに、図１４の一連の処理によれば、挿入制御部２６３は、挿入制御情報ＣＪＸに含まれる制御内容に基づいて挿入制御を１回ずつ行うように構成されている。また、図１４の一連の処理によれば、挿入制御部２６３は、前述の挿入制御を行った直後に挿入形状分類部２６２により得られた分類結果として示される挿入部１１の挿入形状の種類が種類ＴＸから種類ＴＹに変化したことを検出した場合に、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、当該種類ＴＹの挿入形状に対応する制御内容を含む挿入制御情報ＣＪＹを選択するように構成されている。

さらに、図１４の一連の処理によれば、挿入制御部２６３は、前述の挿入制御を行った直後に挿入形状分類部２６２により得られた分類結果として示される挿入部１１の挿入形状の種類が種類ＴＸから変化しなかったことを検出した場合に、挿入制御情報ＣＪＸに含まれる制御内容を変更する必要があるか否かを判定するように構成されている。

なお、図１４の一連の処理においては、例えば、挿入制御部２６３が、図１４のステップＳ５の処理により挿入部１１の挿入形状の種類が変化したとの検出結果を取得し、かつ、変化前の挿入形状の種類に対応する挿入制御情報を変化後の挿入形状の種類においても続けて利用可能であることを検出した場合に、図１４のステップＳ１の処理をスキップして図１４のステップＳ２以降の処理を行うものとする。

続いて、本変形例の作用について説明する。なお、以降においては、前述の図１４の制御を肛門から大腸の腸管内に挿入される挿入部１１に対して適用する場合を具体例として挙げつつ説明する。また、以下に述べる各挿入制御情報に含まれる制御内容（制御量等）は、大腸の腸管内に挿入部１１を挿入する場合の例を示すものであるため、内視鏡１０の適用部位等に応じて適宜変更してもよい。

さらに、前述のようなユーザの操作によれば、複数のソースコイル１８各々の位置における外力の大きさ及び方向を示す外力情報が外力情報取得装置４０からシステム制御部２６０へ出力される。

ユーザは、前述のように挿入部１１を配置した状態において、例えば、入力装置５０の自動挿入スイッチをオンすることにより、本体装置２０による挿入部１１の挿入制御を開始させるための指示を行う。

分類結果記録部２６４は、挿入部１１の挿入制御を開始させるための指示が行われたことを検出した際に、挿入制御部２６３が挿入部１１の挿入操作に係る挿入制御を内視鏡機能制御部２４０に対して１回行う毎に、当該挿入制御の基となった分類結果を時系列に記録するための動作を開始する。

なお、このような分類結果記録部２６４の動作が行われた場合においては、挿入制御部２６３の制御に伴う挿入部１１の挿入形状の種類の時間的推移を表すグラフとして、例えば、図１３Ａ～図１３Ｃに示したグラフの横軸を「時間」から「制御回数」に置き換えたグラフを作成することができる。

挿入形状分類部２６２は、例えば、図３に示したような挿入形状画像ＳＧＡが挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＡとして分類した分類結果を取得する。

挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果に基づき、挿入部１１の挿入形状の種類が種類ＴＡであることを検出した場合に、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、当該種類ＴＡに対応する挿入制御情報ＣＪＡを選択して読み込むための処理を行う（図１４のステップＳ１に相当）。

前述の挿入制御情報ＣＪＡには、挿入部１１を前進可能な状態にするための方法に係る情報が含まれている。また、前述の挿入制御情報ＣＪＡには、１回分の制御内容を示す情報として、例えば、前進量５０ｍｍ、前進速度毎秒３０ｍｍ、及び、推進力２．０Ｎ以下の条件で挿入部１１を前進させる旨の情報と、が含まれている。

挿入制御部２６３は、挿入制御情報ＣＪＡに挿入部１１を前進可能な状態にするための方法に係る情報が含まれていることを検出した場合（Ｓ２：ＹＥＳに相当）に、画像処理部２２０から出力される内視鏡画像に基づき、当該内視鏡画像における管腔領域の位置を検出するための処理を行う。

具体的には、挿入制御部２６３は、例えば、ＦＣＮ（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を有する学習済の分類器ＣＬＱに対して図１５Ａに示すような内視鏡画像ＥＧを入力することにより、図１５Ｂに示すような処理結果画像ＰＲＧを取得する処理を行う。図１５Ａは、実施形態に係る内視鏡システムにおいて生成される内視鏡画像の一例を示す図である。図１５Ｂは、図１５Ａの内視鏡画像に対して管腔領域の位置を検出するための処理が行われた場合に得られる処理結果画像の一例を示す図である。

前述の分類器ＣＬＱの作成時においては、例えば、画像処理部２２０により生成されるものと同様の内視鏡画像と、当該内視鏡画像に含まれる各画素がエッジ、管腔、及び、その他の部分のうちのいずれに属するかを示すラベルと、を含む教師データを用いた機械学習が行われる。

そのため、前述の分類器ＣＬＱによれば、例えば、画像処理部２２０により生成された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとしてニューラルネットワークの入力層に入力することにより、当該内視鏡画像におけるエッジ領域の位置及び管腔領域の位置を特定可能な処理結果画像ＰＲＧを出力データとして取得することができる。すなわち、前述の分類器ＣＬＱを用いた処理により得られた処理結果画像には、セマンティックセグメンテーションに相当する領域分割結果が含まれている。

なお、本変形例によれば、例えば、挿入制御部２６３が、処理結果画像ＰＲＧによる管腔領域の特定が困難であると判断した場合に、ＡＷＳ機構１４３による送気、送水及び／または吸引が行われるようにＡＷＳ制御部２４３を動作させるための挿入制御信号を生成して内視鏡機能制御部２４０へ出力するようにしてもよい。

挿入制御部２６３は、挿入制御情報ＣＪＡに含まれる制御内容に基づき、画像処理部２２０から出力される内視鏡画像から検出された管腔領域を当該内視鏡画像の中央部を含む所定の領域内に入れるような動作を行わせるための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ３に相当）。

具体的には、挿入制御部２６３は、挿入制御情報ＣＪＡに含まれる制御内容に基づき、例えば、図１５Ｃに示すように、図１５Ｂの処理結果画像ＰＲＧを９×９の領域に分割するとともに、当該処理結果画像ＰＲＧに含まれる管腔領域の全域または略全域を、当該処理結果画像ＰＲＧの中央部を含む５×５の領域内（図１５Ｃにおける枠ＷＧの内部）に入れるように先端部１２の向き及び／または挿入部１１の回転角度を調整するための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する。

そして、このような挿入制御部２６３の制御に伴い、湾曲制御部２４２が湾曲機構１４２を介して湾曲部１３を湾曲させるための制御と、回転制御部２４４が回転機構１４４を介して挿入部１１を回転させるための制御と、のうちの少なくとも一方の制御が行われる。また、前述のような挿入制御部２６３の制御に伴い、挿入部１１が前進可能な状態となる。図１５Ｃは、図１５Ｂの処理結果画像が得られた場合に行われる制御を説明するための図である。

挿入制御部２６３は、画像処理部２２０から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入るまでの間、内視鏡機能制御部２４０に対する制御を繰り返し行う。

また、挿入制御部２６３は、画像処理部２２０から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入ったことを検出した場合に、外力情報取得装置４０から出力される外力情報に基づき、挿入制御情報ＣＪＡに含まれる制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ４に相当）。そして、このような挿入制御部２６３の制御に応じ、進退機構１４１を介して挿入部１１を前進させるための制御が進退制御部２４１により行われる。

挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果に基づき、挿入制御情報ＣＪＡに含まれる制御内容による１回分の制御に応じて挿入部１１の挿入形状の種類が種類ＴＡから変化したか否かを検出する（図１４のステップＳ５に相当）。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＡから変化していないとの検出結果を得た（Ｓ５：ＮＯに相当）場合に、さらに、挿入制御情報ＣＪＡに含まれる制御内容を変更する必要があるか否かを判定する（図１４のステップＳ６に相当）。

挿入制御部２６３は、例えば、外力情報取得装置４０から出力される外力情報に基づき、挿入部１１を前進させた際に加えられる外力が２．０Ｎ以下であることを検出した場合に、挿入制御情報ＣＪＡに含まれる制御内容を変更する必要がないとの判定結果を取得する（Ｓ６：ＮＯに相当）。

また、挿入制御部２６３は、挿入制御情報ＣＪＡに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、挿入部１１を前進可能な状態にするための制御を行った後で、当該挿入制御情報ＣＪＡに含まれる制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ２、ステップＳ３及びステップＳ４に相当）。

挿入制御部２６３は、例えば、外力情報取得装置４０から出力される外力情報に基づき、挿入部１１を前進させた際に加えられる外力が２．０Ｎを超えたことを検出した場合に、挿入制御情報ＣＪＡに含まれる制御内容を変更する必要があるとの判定結果を取得する（Ｓ６：ＹＥＳに相当）。

また、挿入制御部２６３は、挿入制御情報ＣＪＡに含まれる制御内容を変更する必要があるとの判定結果を得た場合に、当該挿入制御情報ＣＪＡに含まれる制御内容に対してジグリングを加えたものを変更後の制御内容として設定する（図１４のステップＳ７に相当）。そして、挿入制御部２６３は、挿入部１１を前進可能な状態にするための制御を行った後で、前述の（ジグリングを含む）変更後の制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ２、ステップＳ３及びステップＳ４に相当）。

なお、前述のジグリングは、挿入部１１の手動挿入時において、腸管内に挿入された挿入部１１を小刻みに前後させる操作として実施される。また、前述のジグリングは、例えば、腸管内に挿入された挿入部１１のたわみ、当該腸管と挿入部１１との間に生じる摩擦、及び、当該腸管内における挿入部１１の引っ掛かり等のような、大腸内における挿入部１１の手動挿入に支障をきたす現象の除去または軽減を目的とした操作として実施される。そのため、例えば、進退制御部２４１が、挿入部１１を小刻みにかつ所定の回数繰り返し進退させるような制御を行うための進退制御信号を生成して進退機構１４１へ出力することにより、前述のジグリングに相当する操作を実現することができる。

そして、挿入制御情報ＣＪＡに含まれる制御内容に対してジグリングが加えられた場合には、１回分の制御として、挿入部１１をジグリングさせつつ、当該挿入制御情報ＣＪＡに含まれる制御内容に応じて挿入部１１を前進させるような制御が挿入制御部２６３により行われる。

なお、本変形例によれば、例えば、挿入制御情報ＣＪＡに含まれる制御内容に対してジグリングを加えた状態で所定回数分の制御が行われてもなお、挿入部１１の挿入形状の種類が種類ＴＡから変化していないことが検出された場合に、挿入部１１を一定量後退させてから挿入部１１をジグリング及び前進させるような制御が挿入制御部２６３により行われるようにしてもよい。

挿入形状分類部２６２は、例えば、図４Ａに示したような挿入形状画像ＳＧＢ１、または、図４Ｂに示したような挿入形状画像ＳＧＢ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＢとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＡから種類ＴＢに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、当該種類ＴＢに対応する挿入制御情報ＣＪＢを選択して読み込むための処理を行う（図１４のステップＳ１に相当）。

前述の挿入制御情報ＣＪＢには、挿入部１１を前進可能な状態にするための方法に係る情報が含まれている。また、前述の挿入制御情報ＣＪＢには、１回分の制御内容を示す情報として、例えば、挿入部１１をジグリングにより前進させた際に加えられる外力が３．０Ｎ以下であることを検出した後で、前進量２０ｍｍ、前進速度毎秒１０ｍｍ、及び、推進力３．０Ｎ以下の条件で挿入部１１を前進させる旨の情報が含まれている。

挿入制御部２６３は、挿入制御情報ＣＪＢに挿入部１１を前進可能な状態にするための方法に係る情報が含まれていることを検出した場合（Ｓ２：ＹＥＳに相当）に、画像処理部２２０から出力される内視鏡画像に基づき、当該内視鏡画像における管腔領域の位置を検出するための処理を行う。

また、挿入制御部２６３は、挿入制御情報ＣＪＢに含まれる制御内容に基づき、前述の処理により検出された管腔領域を当該内視鏡画像の中央部を含む所定の領域内に入れるような動作を行わせるための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ３に相当）。

具体的には、挿入制御部２６３は、挿入制御情報ＣＪＢに含まれる制御内容に基づき、図１５Ｂに例示したような処理結果画像ＰＲＧを取得して９×９の領域に分割するとともに、当該処理結果画像ＰＲＧに含まれる管腔領域の全域または略全域を、当該処理結果画像ＰＲＧの中央部を含む７×７の領域内に入れるように先端部１２の向き及び／または挿入部１１の回転角度を調整するための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する。

そして、このような挿入制御部２６３の制御に伴い、湾曲制御部２４２が湾曲機構１４２を介して湾曲部１３を湾曲させるための制御と、回転制御部２４４が回転機構１４４を介して挿入部１１を回転させるための制御と、のうちの少なくとも一方の制御が行われる。また、前述のような挿入制御部２６３の制御に伴い、挿入部１１が前進可能な状態となる。

挿入制御部２６３は、画像処理部２２０から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入るまでの間、内視鏡機能制御部２４０に対する制御を繰り返し行う。また、挿入制御部２６３は、画像処理部２２０から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入ったことを検出した場合に、外力情報取得装置４０から出力される外力情報に基づき、挿入制御情報ＣＪＢに含まれる制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ４に相当）。

そして、このような挿入制御部２６３の制御に応じ、進退機構１４１を介して挿入部１１をジグリングさせるための制御と、進退機構１４１を介して挿入部１１を前進させるための制御と、が進退制御部２４１により順次行われる。

挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果に基づき、挿入制御情報ＣＪＢに含まれる制御内容による１回分の制御に応じて挿入部１１の挿入形状の種類が種類ＴＢから変化したか否かを検出する（図１４のステップＳ５に相当）。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＢから変化していないとの検出結果を得た（Ｓ５：ＮＯに相当）場合に、さらに、挿入制御情報ＣＪＢに含まれる制御内容を変更する必要があるか否かを判定する（図１４のステップＳ６に相当）。

挿入制御部２６３は、記憶媒体２０Ｍから読み込んだ挿入制御情報ＣＪＢに応じた制御を行っている期間においては、当該挿入制御情報ＣＪＢに含まれる制御内容を変更する必要がないとの判定結果を取得する（Ｓ６：ＮＯに相当）。

また、挿入制御部２６３は、挿入制御情報ＣＪＢに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、挿入部１１を前進可能な状態にするための制御を行った後で、挿入制御情報ＣＪＢに含まれる制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ２、ステップＳ３及びステップＳ４に相当）。

挿入形状分類部２６２は、例えば、図５Ａに示したような挿入形状画像ＳＧＣ１、または、図５Ｂに示したような挿入形状画像ＳＧＣ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＣとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＢから種類ＴＣに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍから読み込んだ挿入制御情報ＣＪＢに応じた制御を再度行う。すなわち、挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＢから種類ＴＣに変化したことを検出した場合には、当該種類ＴＢに対応する挿入制御情報ＣＪＢを続けて利用可能であると判断し、図１４のステップＳ１の処理をスキップして図１４のステップＳ２以降の処理を行う。

挿入形状分類部２６２は、例えば、図６Ａに示したような挿入形状画像ＳＧＤ１、または、図６Ｂに示したような挿入形状画像ＳＧＤ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＤとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＣから種類ＴＤに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、当該種類ＴＤに対応する挿入制御情報ＣＪＤを選択して読み込むための処理を行う（図１４のステップＳ１に相当）。

前述の挿入制御情報ＣＪＤには、挿入部１１を前進可能な状態にするための方法に係る情報が含まれている。また、前述の挿入制御情報ＣＪＤには、１回分の制御内容を示す情報として、例えば、挿入部１１をジグリングにより前進させた際に加えられる外力が２．５Ｎ以下であることを検出した後で、前進量２０ｍｍ、前進速度毎秒２０ｍｍ、及び、推進力２．５Ｎ以下の条件で挿入部１１を前進させる旨の情報が含まれている。

挿入制御部２６３は、挿入制御情報ＣＪＤに挿入部１１を前進可能な状態にするための方法に係る情報が含まれていることを検出した場合（Ｓ２：ＹＥＳに相当）に、画像処理部２２０から出力される内視鏡画像に基づき、当該内視鏡画像における管腔領域の位置を検出するための処理を行う。

また、挿入制御部２６３は、挿入制御情報ＣＪＤに含まれる制御内容に基づき、前述の処理により検出された管腔領域を当該内視鏡画像の中央部を含む所定の領域内に入れるような動作を行わせるための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ３に相当）。

具体的には、挿入制御部２６３は、挿入制御情報ＣＪＤに含まれる制御内容に基づき、図１５Ｂに例示したような処理結果画像ＰＲＧを取得して９×９の領域に分割するとともに、当該処理結果画像ＰＲＧに含まれる管腔領域の全域または略全域を、当該処理結果画像ＰＲＧの中央部を含む５×５の領域内に入れるように先端部１２の向き及び／または挿入部１１の回転角度を調整するための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する。

また、挿入制御部２６３は、例えば、湾曲部１３の湾曲角度が最大値に達した状態で挿入部１１を回転させてもなお前述の５×５の領域内に管腔領域が入っていないことを検出した場合に、処理結果画像ＰＲＧに含まれる当該管腔領域の全域または略全域を、当該処理結果画像ＰＲＧの中央部を含む７×７の領域内に入れるように先端部１２の向き及び／または挿入部１１の回転角度を調整するための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する。

また、挿入制御部２６３は、画像処理部２２０から出力される内視鏡画像の中央部を含む所定の領域内に管腔領域が入ったことを検出した場合に、外力情報取得装置４０から出力される外力情報に基づき、挿入制御情報ＣＪＤに含まれる制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ４に相当）。

挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果に基づき、挿入制御情報ＣＪＤに含まれる制御内容による１回分の制御に応じて挿入部１１の挿入形状の種類が種類ＴＤから変化したか否かを検出する（図１４のステップＳ５に相当）。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＤから変化していないとの検出結果を得た（Ｓ５：ＮＯに相当）場合に、さらに、挿入制御情報ＣＪＤに含まれる制御内容を変更する必要があるか否かを判定する（図１４のステップＳ６に相当）。

挿入制御部２６３は、記憶媒体２０Ｍから読み込んだ挿入制御情報ＣＪＤに応じた制御を行っている期間においては、当該挿入制御情報ＣＪＤに含まれる制御内容を変更する必要がないとの判定結果を取得する（Ｓ６：ＮＯに相当）。

また、挿入制御部２６３は、挿入制御情報ＣＪＤに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、挿入部１１を前進可能な状態にするための制御を行った後で、挿入制御情報ＣＪＤに含まれる制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ２、ステップＳ３及びステップＳ４に相当）。

挿入形状分類部２６２は、例えば、図７Ａに示したような挿入形状画像ＳＧＥ１、または、図７Ｂに示したような挿入形状画像ＳＧＥ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＥとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＤから種類ＴＥに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、当該種類ＴＥに対応する挿入制御情報ＣＪＥを選択して読み込むための処理を行う（図１４のステップＳ１に相当）。

前述の挿入制御情報ＣＪＥには、挿入部１１により形成されるループ形状を解除するための方法に係る情報が含まれている。また、前述の挿入制御情報ＣＪＥには、１回分の制御内容を示す情報として、例えば、挿入部１１を後退させる際の後退量ＢＬＡを示す情報と、挿入部１１を後退させる際の後退速度ＢＶＡを示す情報と、が含まれている。

挿入制御部２６３は、挿入制御情報ＣＪＥに挿入部１１により形成されるループ形状を解除するための方法に係る情報が含まれていることを検出した場合（Ｓ２：ＮＯに相当）に、当該挿入制御情報ＣＪＥに含まれる後退量ＢＬＡ及び後退速度ＢＶＡに応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ４に相当）。そして、このような挿入制御部２６３の制御に応じ、進退機構１４１を介して挿入部１１を後退させるための制御が進退制御部２４１により行われる。

挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果に基づき、挿入制御情報ＣＪＥに含まれる制御内容による１回分の制御に応じて挿入部１１の挿入形状の種類が種類ＴＥから変化したか否かを検出する（図１４のステップＳ５に相当）。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＥから変化していないとの検出結果を得た（Ｓ５：ＮＯに相当）場合に、さらに、挿入制御情報ＣＪＥに含まれる制御内容を変更する必要があるか否かを判定する（図１４のステップＳ６に相当）。

挿入制御部２６３は、例えば、画像処理部２２０から出力される内視鏡画像と、外力情報取得装置４０から出力される外力情報と、挿入形状画像生成部２６１により生成された挿入形状画像と、に基づき、αループの解除（縮小）が進行していることを検出した場合に、挿入制御情報ＣＪＥに含まれる制御内容を変更する必要がないとの判定結果を取得する（Ｓ６：ＮＯに相当）。

また、挿入制御部２６３は、挿入制御情報ＣＪＥに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、当該挿入制御情報ＣＪＥに含まれる制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ２及びステップＳ４に相当）。

挿入制御部２６３は、例えば、画像処理部２２０から出力される内視鏡画像と、外力情報取得装置４０から出力される外力情報と、挿入形状画像生成部２６１により生成された挿入形状画像と、に基づき、αループの解除（縮小）が進行していないことを検出した場合に、挿入制御情報ＣＪＥに含まれる制御内容を変更する必要があるとの判定結果を取得する（Ｓ６：ＹＥＳに相当）。

また、挿入制御部２６３は、挿入制御情報ＣＪＥに含まれる制御内容を変更する必要があるとの判定結果を得た場合に、例えば、当該挿入制御情報ＣＪＥに含まれる後退量ＢＬＡ及び後退速度ＢＶＡのうちの少なくともいずれか一方のパラメータを変更したものを変更後の制御内容として設定する（図１４のステップＳ７に相当）。

または、挿入制御部２６３は、挿入制御情報ＣＪＥに含まれる制御内容を変更する必要があるとの判定結果を得た場合に、例えば、当該挿入制御情報ＣＪＥに含まれる制御内容に対して挿入部１１の挿入操作に係る他の種類の制御内容を加えたものを変更後の制御内容として設定する（図１４のステップＳ７に相当）。

そして、挿入制御部２６３は、前述の変更後の制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ２及びステップＳ４に相当）。

なお、本変形例の挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＤから種類ＴＥに変化したとの検出結果を得た直後に挿入制御情報ＣＪＥに応じた制御を開始するものに限らず、例えば、挿入部１１の挿入形状の種類が当該種類ＴＤから当該種類ＴＥに変化したとの検出結果を１分間連続して得た場合に当該挿入制御情報ＣＪＥに応じた制御を開始するものであってもよい。

挿入形状分類部２６２は、例えば、図８Ａに示したような挿入形状画像ＳＧＦ１、または、図８Ｂに示したような挿入形状画像ＳＧＦ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＦとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＥから種類ＴＦに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、当該種類ＴＦに対応する挿入制御情報ＣＪＦを選択して読み込むための処理を行う（図１４のステップＳ１に相当）。

前述の挿入制御情報ＣＪＦには、挿入部１１により形成されるループ形状を解除するための方法に係る情報が含まれている。また、前述の挿入制御情報ＣＪＦには、１回分の制御内容を示す情報として、例えば、挿入部１１を挿入軸（長手軸）周りに右方向に回転させる際の回転角度ＢＡＡを示す情報が含まれている。

挿入制御部２６３は、挿入制御情報ＣＪＦに挿入部１１により形成されるループ形状を解除するための方法に係る情報が含まれていることを検出した場合（Ｓ２：ＮＯに相当）に、当該挿入制御情報ＣＪＦに含まれる回転角度ＢＡＡに応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ４に相当）。そして、このような挿入制御部２６３の制御に応じ、回転機構１４４を介して挿入部１１を挿入軸（長手軸）周りに右方向に回転させるための制御が回転制御部２４４により行われる。

挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果に基づき、挿入制御情報ＣＪＦに含まれる制御内容による１回分の制御に応じて挿入部１１の挿入形状の種類が種類ＴＦから変化したか否かを検出する（図１４のステップＳ５に相当）。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＦから変化していないとの検出結果を得た（Ｓ５：ＮＯに相当）場合に、さらに、挿入制御情報ＣＪＦに含まれる制御内容を変更する必要があるか否かを判定する（図１４のステップＳ６に相当）。

挿入制御部２６３は、例えば、画像処理部２２０から出力される内視鏡画像と、外力情報取得装置４０から出力される外力情報と、挿入形状画像生成部２６１により生成された挿入形状画像と、に基づき、αループの解除（縮小）が進行していることを検出した場合に、挿入制御情報ＣＪＦに含まれる制御内容を変更する必要がないとの判定結果を取得する（Ｓ６：ＮＯに相当）。

また、挿入制御部２６３は、挿入制御情報ＣＪＦに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、当該挿入制御情報ＣＪＦに含まれる制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ２及びステップＳ４に相当）。

挿入制御部２６３は、例えば、画像処理部２２０から出力される内視鏡画像と、外力情報取得装置４０から出力される外力情報と、挿入形状画像生成部２６１により生成された挿入形状画像と、に基づき、αループの解除（縮小）が進行していないことを検出した場合に、挿入制御情報ＣＪＦに含まれる制御内容を変更する必要があるとの判定結果を取得する（Ｓ６：ＹＥＳに相当）。

また、挿入制御部２６３は、挿入制御情報ＣＪＦに含まれる制御内容を変更する必要があるとの判定結果を得た場合に、例えば、挿入部１１を回転角度ＢＡＡで回転させる前に挿入部１１を所定量だけ後退させる動作を加えたものを変更後の制御内容として設定する（図１４のステップＳ７に相当）。

なお、本変形例によれば、例えば、挿入制御情報ＣＪＦに含まれる制御内容を変更した状態で所定回数分の制御が行われてもなお、αループの解除（縮小）が進行していないことが検出された場合に、当該αループが形成されたままの状態で挿入部１１を前進させるような制御が挿入制御部２６３により行われるようにしてもよい。

挿入形状分類部２６２は、例えば、図９Ａに示したような挿入形状画像ＳＧＧ１、または、図９Ｂに示したような挿入形状画像ＳＧＧ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＧとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＦから種類ＴＧに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、当該種類ＴＧに対応する挿入制御情報ＣＪＧを選択して読み込むための処理を行う（図１４のステップＳ１に相当）。

前述の挿入制御情報ＣＪＧには、挿入部１１により形成されるループ形状を解除するための方法に係る情報が含まれている。また、前述の挿入制御情報ＣＪＧには、１回分の制御内容を示す情報として、例えば、挿入部１１を後退させる際の後退量ＢＬＢを示す情報と、挿入部１１を後退させる際の後退速度ＢＶＢを示す情報と、挿入部１１を挿入軸（長手軸）周りに右方向に回転させる際の回転角度ＢＡＢを示す情報が含まれている。なお、前述の後退速度ＢＶＢは、例えば、毎秒１５ｍｍ程度の速度に設定すればよい。

挿入制御部２６３は、挿入制御情報ＣＪＧに挿入部１１により形成されるループ形状を解除するための方法に係る情報が含まれていることを検出した場合（Ｓ２：ＮＯに相当）に、当該挿入制御情報ＣＪＧに含まれる後退量ＢＬＢ、後退速度ＢＶＢ及び回転角度ＢＡＢに応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ４に相当）。

そして、このような挿入制御部２６３の制御に応じ、進退制御部２４１が進退機構１４１を介して挿入部１１を後退させるための制御と、回転制御部２４４が回転機構１４４を介して挿入部１１を挿入軸（長手軸）周りに右方向に回転させるための制御と、が同時に行われる。

挿入制御部２６３は、挿入形状分類部２６２により得られた分類結果に基づき、挿入制御情報ＣＪＧに含まれる制御内容による１回分の制御に応じて挿入部１１の挿入形状の種類が種類ＴＧから変化したか否かを検出する（図１４のステップＳ５に相当）。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＧから変化していないとの検出結果を得た（Ｓ５：ＮＯに相当）場合に、さらに、挿入制御情報ＣＪＧに含まれる制御内容を変更する必要があるか否かを判定する（図１４のステップＳ６に相当）。

挿入制御部２６３は、記憶媒体２０Ｍから読み込んだ挿入制御情報ＣＪＧに応じた制御を行っている期間においては、当該挿入制御情報ＣＪＧに含まれる制御内容を変更する必要がないとの判定結果を取得する（Ｓ６：ＮＯに相当）。

また、挿入制御部２６３は、挿入制御情報ＣＪＧに含まれる制御内容を変更する必要がないとの判定結果を得た場合に、当該挿入制御情報ＣＪＧに含まれる制御内容に応じた１回分の制御を行うための挿入制御信号を生成して内視鏡機能制御部２４０へ出力する（図１４のステップＳ２及びステップＳ４に相当）。

挿入形状分類部２６２は、例えば、図１０に示したような挿入形状画像ＳＧＨが挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＨとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＧから種類ＴＨに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍに予め格納されている複数の挿入制御情報の中から、当該種類ＴＨに対応する挿入制御情報ＣＪＡを選択して読み込むための処理を行う（図１４のステップＳ１に相当）。なお、挿入部１１の挿入形状の種類が種類ＴＨである場合に挿入制御部２６３により行われる制御については、挿入制御情報ＣＪＡに含まれる制御内容に応じた既述の制御を適用可能であるため、具体的な説明を省略する。

ここで、本実施形態においては、挿入部１１がαループを形成することなくＳ状結腸を通過するような状況が発生した場合には、挿入形状分類部２６２による分類結果として示される挿入部１１の挿入形状の種類が種類ＴＡのまま維持されるとともに、当該種類ＴＡに対応する挿入制御情報ＣＪＡに含まれる制御内容に応じた制御が挿入制御部２６３により継続される。そのため、挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＡから種類ＴＨに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍから読み込んだ挿入制御情報ＣＪＡに応じた制御を再度行う。

すなわち、挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＡから種類ＴＨに変化したことを検出した場合には、当該種類ＴＡに対応する挿入制御情報ＣＪＡを続けて利用可能であると判断し、図１４のステップＳ１の処理をスキップして図１４のステップＳ２以降の処理を行う。

挿入形状分類部２６２は、例えば、図１１Ａに示したような挿入形状画像ＳＧＩ１、または、図１１Ｂに示したような挿入形状画像ＳＧＩ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＩとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＨから種類ＴＩに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＮＯに相当）場合に、記憶媒体２０Ｍから読み込んだ挿入制御情報ＣＪＡに応じた制御を再度行う。

すなわち、挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＨから種類ＴＩに変化したことを検出した場合には、当該種類ＴＨに対応する挿入制御情報ＣＪＡを続けて利用可能であると判断し、図１４のステップＳ１の処理をスキップして図１４のステップＳ２以降の処理を行う。

挿入形状分類部２６２は、例えば、図１２Ａに示したような挿入形状画像ＳＧＪ１、または、図１２Ｂに示したような挿入形状画像ＳＧＪ２が挿入形状画像生成部２６１により生成された場合に、挿入部１１の挿入形状を種類ＴＪとして分類した分類結果を取得する。

挿入制御部２６３は、挿入部１１の挿入形状の種類が種類ＴＩから種類ＴＪに変化したとの検出結果を得た（Ｓ５：ＹＥＳ及びＳ８：ＹＥＳに相当）場合に、内視鏡機能制御部２４０に対する一連の制御を終了する。

分類結果記録部２６４は、挿入部１１の挿入制御を停止させるための指示が行われたことを検出した際に、挿入形状分類部２６２の分類結果を時系列に記録するための動作を停止する。

以上に述べたように、本変形例によれば、挿入形状画像生成部２６１により生成された挿入形状画像に含まれる挿入部１１の挿入形状の種類を、熟練者が挿入部１１の挿入操作における操作の成否等を主観的に判断または評価する際の観点と略同等の観点に基づいて分類して分類結果を得るような処理が挿入形状分類部２６２において行われる。また、以上に述べたように、本変形例によれば、挿入形状分類部２６２により得られた分類結果として示される挿入部１１の挿入形状の種類に応じた一の挿入制御情報に基づく挿入制御が挿入制御部２６３において行われる。

また、以上に述べたように、本変形例によれば、挿入部１１の挿入形状の種類に応じた一の挿入制御情報に基づく挿入制御を１回行う毎に、挿入部１１の挿入形状の種類が変化したか否かを検出するような動作が挿入制御部２６３において行われる。従って、本変形例によれば、例えば、挿入部が挿入される被検体の内部状態の個体差、及び、当該被検体の内部における当該挿入部の挿入形状の時間的な変化等のような当該挿入部の挿入状況に応じた適切な挿入制御を行うことができる。

なお、本変形例は、例えば、挿入制御情報ＣＪＦ及びＣＪＧに含まれる各回転角度を、挿入部１１を挿入軸（長手軸）周りに左方向に回転させる際の角度に置き換えることにより、裏αループ及び逆αループの解除に係る制御に対して適用することができる。

また、本変形例は、図１４の一連の制御における一部の制御内容を変更することにより、例えば、ステッキ及びγループ等のような、大腸内における挿入部１１の挿入に支障をきたすような様々な挿入形状の解除に係る制御に対して適用することができる。

（第２の実施形態）
図１６から図１７Ｄは、第２の実施形態に係るものである。

なお、本実施形態においては、第１の実施形態と同様の構成等を有する部分に関する詳細な説明を適宜省略するとともに、第１の実施形態と異なる構成等を有する部分に関して主に説明を行う。

内視鏡システム１Ａは、例えば、図１６に示すように、内視鏡１０と、本体装置２０Ａと、挿入形状検出装置３０と、外力情報取得装置４０と、入力装置５０と、表示装置６０と、を有して構成されている。図１６は、第２の実施形態に係る内視鏡システムの具体的な構成を説明するためのブロック図である。

本体装置２０Ａは、１つ以上のプロセッサ２０Ｐと、記憶媒体２０Ｍと、を有して構成されている。また、本体装置２０Ａは、図１６に示すように、光源部２１０と、画像処理部２２０と、コイル駆動信号生成部２３０と、内視鏡機能制御部２４０と、表示制御部２５０と、システム制御部２７０と、を有して構成されている。

システム制御部２７０は、操作部１６及び入力装置５０からの指示等に応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。また、システム制御部２７０は、挿入形状画像生成部２６１と、挿入形状要素抽出部２７２と、挿入制御部２７３と、抽出結果記録部２７４と、を有して構成されている。

挿入形状要素抽出部２７２は、挿入形状画像生成部２６１により生成された挿入形状画像から挿入部１１の挿入形状に関連する１つ以上の構成要素を抽出して抽出結果を得るための処理を行うように構成されている。

＜挿入形状要素抽出部２７２の構成の具体例＞
ここで、本実施形態における挿入形状要素抽出部２７２の構成の具体例について説明する。

挿入形状要素抽出部２７２は、ＦＣＮ（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を有する学習済の分類器（例えば、分類器ＣＬＲ）を用いた処理を行うことにより、挿入形状画像生成部２６１により生成された挿入形状画像から挿入部１１の挿入形状に関連する１つ以上の構成要素を抽出した抽出結果を得るように構成されている。

ここで、前述の分類器ＣＬＲの作成時においては、例えば、挿入形状画像生成部２６１により生成されるものと同様の挿入形状画像と、当該挿入形状画像に含まれる各画素が内視鏡先端部（以降、構成要素Ｅ１と称する）、相対的に大きな閉ループ（以降、構成要素Ｅ２と称する）、相対的に小さな閉ループ（以降、構成要素Ｅ３と称する）、開ループ（以降、構成要素Ｅ４と称する）、閉ループにおける交差部（以降、構成要素Ｅ５と称する）、Ｎループの基端側の屈折部（以降、構成要素Ｅ６と称する）、Ｎループの先端側の屈折部（以降、構成要素Ｅ７と称する）、閉ループの内部（以降、構成要素Ｅ８と称する）、内視鏡挿入部における当該構成要素Ｅ１～Ｅ８以外の部分（以降、構成要素Ｅ９と称する）、及び、背景（以降、構成要素Ｅ１０と称する）のうちのどの構成要素に属するかを示すラベルと、を含む教師データを用いた機械学習が行われる。

ここで前述の構成要素Ｅ１～Ｅ１０各々の有無等は、例えば、教師データとして用いられる挿入形状画像を目視で確認した熟練者の判断により決定される。

また、前述の構成要素Ｅ３に対応する閉ループは、例えば、熟練者が挿入部１１に対して捻り操作を行うことによりループの解除を試みるような大きさを有するループとして表される。

さらに、前述の構成要素Ｅ２に対応する閉ループは、前述の構成要素Ｅ３よりも大きな大きさを有するループとして表される。

さらに、前述の構成要素Ｅ１～Ｅ８は、例えば、挿入部１１の挿入形状を含む一の挿入形状画像から、挿入部１１の挿入操作を手動あるいは自動で行う場合における操作の成否に係る判断及び操作内容の変更の要否に係る判断に資するような局所領域を抽出するための構成要素として設定されている。

そのため、前述の分類器ＣＬＲによれば、例えば、挿入形状画像生成部２６１により生成された挿入形状画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとしてニューラルネットワークの入力層に入力することにより、当該挿入形状画像に含まれる画素各々を前述の構成要素Ｅ１～Ｅ１０のうちのいずれか１つの構成要素に分類した分類結果を示す処理結果画像を出力データとして取得することができる。すなわち、前述の分類器ＣＬＲを用いた処理により得られた処理結果画像には、セマンティックセグメンテーションに相当する領域分割結果が含まれている。

挿入形状要素抽出部２７２は、例えば、挿入形状分類部２６２の処理により種類ＴＢに分類されるような挿入形状を含む挿入形状画像が挿入形状画像生成部２６１により生成された場合に、当該挿入形状画像を分類器ＣＬＲに入力して処理を行うことにより、図１７Ａに示すような処理結果画像ＰＢＧを取得する。図１７Ａは、第２の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図である。

図１７Ａの処理結果画像ＰＢＧは、挿入形状画像生成部２６１により生成された挿入形状画像を、構成要素Ｅ１として分類された画素群を有する領域ＥＡ１と、構成要素Ｅ４として分類された画素群を有する領域ＥＡ４と、構成要素Ｅ９として分類された画素群を有する領域ＥＡ９と、構成要素Ｅ１０として分類された画素群を有する領域ＥＡ１０と、の４つの領域に分割した領域分割結果を含む画像として生成される。

すなわち、図１７Ａの処理結果画像ＰＢＧは、挿入形状画像生成部２６１により生成された挿入形状画像から、挿入部１１の挿入形状に関連する構成要素として、構成要素Ｅ１、Ｅ４及びＥ９に相当する３つの構成要素を抽出した抽出結果を示すような画像として取得される。

挿入形状要素抽出部２７２は、例えば、挿入形状分類部２６２の処理により種類ＴＥに分類されるような挿入形状を含む挿入形状画像が挿入形状画像生成部２６１により生成された場合に、当該挿入形状画像を分類器ＣＬＲに入力して処理を行うことにより、図１７Ｂに示すような処理結果画像ＰＥＧを取得する。図１７Ｂは、第２の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図である。

図１７Ｂの処理結果画像ＰＥＧは、挿入形状画像生成部２６１により生成された挿入形状画像を、構成要素Ｅ１として分類された画素群を有する領域ＥＡ１と、構成要素Ｅ２として分類された画素群を有する領域ＥＡ２と、構成要素Ｅ５として分類された画素群を有する領域ＥＡ５と、構成要素Ｅ８として分類された画素群を有する領域ＥＡ８と、構成要素Ｅ９として分類された画素群を有する領域ＥＡ９と、構成要素Ｅ１０として分類された画素群を有する領域ＥＡ１０と、の６つの領域に分割した領域分割結果を含む画像として生成される。

すなわち、図１７Ｂの処理結果画像ＰＥＧは、挿入形状画像生成部２６１により生成された挿入形状画像から、挿入部１１の挿入形状に関連する構成要素として、構成要素Ｅ１、Ｅ２、Ｅ５、Ｅ８及びＥ９に相当する５つの構成要素を抽出した抽出結果を示すような画像として取得される。

挿入形状要素抽出部２７２は、例えば、挿入形状分類部２６２の処理により種類ＴＦに分類されるような挿入形状を含む挿入形状画像が挿入形状画像生成部２６１により生成された場合に、当該挿入形状画像を分類器ＣＬＲに入力して処理を行うことにより、図１７Ｃに示すような処理結果画像ＰＦＧを取得する。図１７Ｃは、第２の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図である。

図１７Ｃの処理結果画像ＰＦＧは、挿入形状画像生成部２６１により生成された挿入形状画像を、構成要素Ｅ１として分類された画素群を有する領域ＥＡ１と、構成要素Ｅ３として分類された画素群を有する領域ＥＡ３と、構成要素Ｅ５として分類された画素群を有する領域ＥＡ５と、構成要素Ｅ８として分類された画素群を有する領域ＥＡ８と、構成要素Ｅ９として分類された画素群を有する領域ＥＡ９と、構成要素Ｅ１０として分類された画素群を有する領域ＥＡ１０と、の６つの領域に分割した領域分割結果を含む画像として生成される。

すなわち、図１７Ｃの処理結果画像ＰＦＧは、挿入形状画像生成部２６１により生成された挿入形状画像から、挿入部１１の挿入形状に関連する構成要素として、構成要素Ｅ１、Ｅ３、Ｅ５、Ｅ８及びＥ９に相当する５つの構成要素を抽出した抽出結果を示すような画像として取得される。

挿入形状要素抽出部２７２は、例えば、挿入形状分類部２６２の処理により種類ＴＧに分類されるような挿入形状を含む挿入形状画像が挿入形状画像生成部２６１により生成された場合に、当該挿入形状画像を分類器ＣＬＲに入力して処理を行うことにより、図１７Ｄに示すような処理結果画像ＰＧＧを取得する。図１７Ｄは、第２の実施形態に係る内視鏡システムにおいて生成される挿入形状画像から挿入部の挿入形状に関連する構成要素を抽出した抽出結果を示す画像の一例を示す図である。

図１７Ｄの処理結果画像ＰＧＧは、挿入形状画像生成部２６１により生成された挿入形状画像を、構成要素Ｅ１として分類された画素群を有する領域ＥＡ１と、構成要素Ｅ６として分類された画素群を有する領域ＥＡ６と、構成要素Ｅ７として分類された画素群を有する領域ＥＡ７と、構成要素Ｅ９として分類された画素群を有する領域ＥＡ９と、構成要素Ｅ１０として分類された画素群を有する領域ＥＡ１０と、の５つの領域に分割した領域分割結果を含む画像として生成される。

すなわち、図１７Ｄの処理結果画像ＰＧＧは、挿入形状画像生成部２６１により生成された挿入形状画像から、挿入部１１の挿入形状に関連する構成要素として、構成要素Ｅ１、Ｅ６、Ｅ７及びＥ９に相当する４つの構成要素を抽出した抽出結果を示すような画像として取得される。

すなわち、挿入形状要素抽出部２７２は、挿入形状画像生成部２６１により生成された挿入形状画像から、挿入部１１の挿入形状に係る構成要素として、先端部１２に相当する内視鏡先端部、挿入部１１のうちのループ形状を形成している部分に相当するループ部、及び、挿入部１１のうちの屈折している部分に相当する屈折部のうちの少なくとも１つを抽出して抽出結果を得るための処理を行うように構成されている。

また、挿入形状要素抽出部２７２は、挿入部１１の挿入形状を示す挿入形状画像と、当該挿入形状画像に含まれる各画素を所定の複数の構成要素のうちの一の構成要素に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器ＣＬＲを用いた処理を行うことにより、被検体内に挿入されている挿入部１１の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得るように構成されている。

挿入制御部２７３は、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像と、のうちの少なくとも１つと、挿入形状要素抽出部２７２により得られた抽出結果と、に基づき、挿入部１１の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部２４０へ出力するように構成されている。

具体的には、挿入制御部２７３は、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つと、挿入形状要素抽出部２７２により得られた抽出結果と、に基づき、挿入部１１の挿入操作に係る制御として、例えば、当該挿入操作の開始、当該挿入操作の継続、当該挿入操作の中断、当該挿入操作の再開、当該挿入操作の停止、及び、当該挿入操作の完了のうちの少なくとも１つに係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部２４０へ出力するように構成されている。

また、挿入制御部２７３は、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つと、挿入形状要素抽出部２７２により得られた抽出結果と、に基づき、挿入部１１の挿入操作における操作量、当該挿入操作における操作速度、及び、当該挿入操作における操作力のうちの少なくとも１つを制御するための情報を含む挿入制御信号を生成して内視鏡機能制御部２４０へ出力するように構成されている。

ここで、本実施形態の挿入制御部２７３は、例えば、挿入形状要素抽出部２７２により得られた抽出結果として示される挿入部１１の現在の挿入形状に係る構成要素に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定し、当該設定した制御内容を用いて挿入部１１の挿入操作に係る制御を行うための情報を含む挿入制御信号を生成して内視鏡機能制御部２４０へ出力することができるように構成されている。

そのため、挿入制御部２７３は、挿入形状要素抽出部２７２により得られた抽出結果として示される挿入部１１の現在の挿入形状に係る構成要素に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定することにより、例えば、内視鏡１０の機能により実現される各基本操作の中から選択した基本操作を単独で実行させて挿入部１１の挿入操作を行うための制御内容を有する操作制御群ＣＧＣを設定し、当該設定した操作制御群ＣＧＣに係る情報を含む挿入制御信号を生成して出力することができる。

また、挿入制御部２７３は、挿入形状要素抽出部２７２により得られた抽出結果として示される挿入部１１の現在の挿入形状に係る構成要素に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定することにより、例えば、内視鏡１０の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させて挿入部１１の挿入操作を行うための制御内容を有する操作制御群ＣＧＤを設定し、当該設定した操作制御群ＣＧＤに係る情報を含む挿入制御信号を生成して出力することができる。

なお、操作制御群ＣＧＤは、内視鏡１０の機能により実現される各基本操作の中から選択した複数の基本操作を連続的にまたは同時に実行させるような制御内容として設定される。すなわち、操作制御群ＣＧＤの制御内容は、操作制御群ＣＧＣの制御内容よりも複雑な制御内容として設定される。

すなわち、挿入制御部２７３は、挿入形状要素抽出部２７２により得られた抽出結果として示される挿入部１１の現在の挿入形状に係る構成要素に応じた制御として、内視鏡１０の機能により実現される各基本操作の中から選択した基本操作を単独で実行させて挿入部１１の挿入操作を行うための制御内容を有する操作制御群ＣＧＣ、及び、内視鏡１０の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させて挿入部１１の挿入操作を行うための制御内容を有する操作制御群ＣＧＤのうちのいずれかに基づく制御を行うように構成されている。

また、挿入制御部２７３は、内視鏡１０により被検体内を撮像して得られた画像、挿入部１１に対して加えられている外力の大きさを示す情報、及び、挿入部１１の挿入形状を示す情報のうちの少なくとも１つと、挿入形状要素抽出部２７２により得られた抽出結果と、に基づいて前記挿入部の挿入操作に係る制御を行うように構成されている。

また、挿入制御部２７３は、挿入形状要素抽出部２７２により得られた抽出結果に含まれる少なくとも１つの構成要素の経時的な変化に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を変更するように構成されている。

抽出結果記録部２７４は、挿入形状要素抽出部２７２により得られた抽出結果を時系列に記録するための動作を行うことができるように構成されている。

本実施形態においては、本体装置２０Ａの少なくとも一部の機能が、プロセッサ２０Ｐにより実現されるようにすればよい。また、本実施形態においては、本体装置２０の少なくとも一部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。

また、本実施形態に係る構成を適宜変形することにより、例えば、コンピュータが、本体装置２０Ａの少なくとも一部の機能を実行させるためのプログラムをメモリ等の記憶媒体２０Ｍから読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

続いて、本実施形態の作用について説明する。

術者等のユーザは、内視鏡システム１Ａの各部を接続して電源を投入した後、例えば、被検体の肛門または直腸付近に先端部１２が位置するように挿入部１１を配置する。

前述のようなユーザの操作によれば、光源部２１０から供給された照明光が被写体に照射され、当該照明光が照射された被写体が撮像部１１０により撮像されるとともに、当該被写体を撮像して得られた内視鏡画像が画像処理部２２０から表示制御部２５０及びシステム制御部２７０へ出力される。また、前述のようなユーザの操作によれば、コイル駆動信号生成部２３０からコイル駆動信号が供給され、当該コイル駆動信号に応じて複数のソースコイル１８各々から磁界が発せられ、当該磁界を検出して得られた挿入形状情報が挿入形状情報取得部３２０からシステム制御部２７０へ出力されるとともに、当該挿入形状情報に応じた挿入形状画像が挿入形状画像生成部２６１により生成される。

また、前述のようなユーザの操作によれば、複数のソースコイル１８各々の位置における外力の大きさ及び方向を示す外力情報が外力情報取得装置４０からシステム制御部２７０へ出力される。

ユーザは、前述のように挿入部１１を配置した状態において、例えば、入力装置５０の自動挿入スイッチをオンすることにより、本体装置２０Ａによる挿入部１１の挿入制御を開始させるための指示を行う。

抽出結果記録部２７４は、挿入部１１の挿入制御を開始させるための指示が行われたことを検出した際に、例えば、挿入形状要素抽出部２７２により得られた抽出結果を時系列にかつ一定時間毎に記録するための動作を開始する。

挿入制御部２７３は、挿入形状要素抽出部２７２により得られた抽出結果として示される挿入部１１の現在の挿入形状に係る構成要素に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定する。

具体的には、挿入制御部２７３は、例えば、挿入形状要素抽出部２７２により得られた抽出結果に構成要素Ｅ２またはＥ４が含まれていることを検出した場合に、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定した操作制御群ＣＧＣに係る情報を含む挿入制御信号を生成して出力する。

また、挿入制御部２７３は、例えば、挿入形状要素抽出部２７２により得られた抽出結果に構成要素Ｅ３が含まれていることを検出した場合に、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を設定した操作制御群ＣＧＤに係る情報を含む挿入制御信号を生成して出力する。

挿入制御部２７３は、挿入形状要素抽出部２７２により得られた抽出結果に含まれる少なくとも１つの構成要素の経時的な変化に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を変更する。

具体的には、挿入制御部２７３は、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ１の位置の経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部２７２により得られた処理結果画像を二値化して二値化画像を生成する処理、当該二値化画像に含まれる当該領域ＥＡ１の重心位置を特定するための処理、及び、当該重心位置の経時的な変化を検出する処理を行う。

また、挿入制御部２７３は、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ８の面積の経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部２７２により得られた処理結果画像を二値化して二値化画像を生成する処理、及び、当該二値化画像に含まれる当該領域ＥＡ８の画素数の経時的な変化を検出するための処理を行う。

また、挿入制御部２７３は、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ８の形状の経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部２７２により得られた処理結果画像を二値化して二値化画像を生成する処理、及び、当該二値化画像に含まれる当該領域ＥＡ８の円形度の経時的な変化を検出する処理を行う。

また、挿入制御部２７３は、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ３の面積の経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部２７２により得られた処理結果画像を二値化して二値化画像を生成する処理、及び、当該二値化画像に含まれる当該領域ＥＡ３の画素数の経時的な変化を検出する処理を行う。

また、挿入制御部２７３は、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ３の長さの経時的な変化を検出するための処理として、例えば、挿入形状要素抽出部２７２により得られた処理結果画像を二値化して二値化画像を生成する処理、当該二値化画像に含まれる領域ＥＡ３を細線化して線分を生成するための処理、及び、当該線分の画素数の経時的な変化を検出する処理を行う。

そして、挿入制御部２７３は、例えば、挿入形状要素抽出部２７２により得られた処理結果画像に基づいて検出した領域ＥＡ１の位置、領域ＥＡ８の面積、当該領域ＥＡ８の形状、領域ＥＡ３の面積、当該領域ＥＡ３の長さのうちの少なくとも１つの経時的な変化に応じ、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状画像生成部２６１により生成された挿入形状画像のうちの少なくとも１つに基づいて制御内容を変更する。

ユーザは、例えば、表示装置６０に表示されている挿入形状画像に基づき、被検者の内部に挿入されている挿入部１１の挿入形状が変化しなくなったことを確認した後で、入力装置５０の自動挿入スイッチをオフすることにより、本体装置２０Ａによる挿入部１１の挿入制御を停止させるための指示を行う。

抽出結果記録部２７４は、挿入部１１の挿入制御を停止させるための指示が行われたことを検出した際に、挿入形状要素抽出部２７２により得られた抽出結果を時系列にかつ一定時間毎に記録するための動作を停止する。

以上に述べたように、本実施形態によれば、挿入形状画像生成部２６１により生成された挿入形状画像に含まれる１つ以上の構成要素を、熟練者が挿入部１１の挿入操作における操作の成否等を主観的に判断または評価する際の観点と略同等の観点に基づいて抽出して抽出結果を得るような処理が挿入形状要素抽出部２７２において行われる。

また、本実施形態によれば、挿入形状要素抽出部２７２により得られた抽出結果に含まれる１つ以上の構成要素に応じた挿入制御が挿入制御部２７３において行われる。従って、本実施形態によれば、例えば、挿入部が挿入される被検体の内部状態の個体差、及び、当該被検体の内部における当該挿入部の挿入形状の時間的な変化等のような当該挿入部の挿入状況に応じた適切な挿入制御を行うことができる。

なお、本実施形態の挿入制御部２７３は、例えば、挿入形状分類部２６２により得られた分類結果と、挿入形状要素抽出部２７２により得られた抽出結果と、を併用しつつ、第１の実施形態の変形例において述べた制御を行うように構成されていてもよい。このような場合において実施可能な処理等の具体例を以下に列挙する。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＢに含まれる制御内容に応じてジグリングに係る制御を内視鏡機能制御部２４０に対して行う際に、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ１の位置の経時的な変化を検出することにより、当該ジグリングの成否の判定に利用可能な補助情報ＨＪＡを取得する。前述の補助情報ＨＪＡは、例えば、挿入制御情報ＣＪＢに含まれる制御内容に応じた制御が行われている場合において、挿入部１１と腸管との間に摩擦が生じているか否かに係る判定に利用することができるとともに、挿入部１１に撓みが生じているか否かに係る判定に利用することができる。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＤに含まれる制御内容に応じた制御を内視鏡機能制御部２４０に対して行う際に、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ８の面積が所定値を超えたことを検出した場合に、挿入部１１を所定の後退量だけ後退させた後で挿入部１１を前進させるような制御を行う。そして、このような制御によれば、αループを僅かに縮小させつつ挿入部１１を前進させることができる。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＤに含まれる制御内容に応じた制御を内視鏡機能制御部２４０に対して行う際に、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ３の面積または長さが所定値を超えたことを検出した場合に、挿入部１１を所定の後退量だけ後退させた後で挿入部１１を前進させるような制御を行う。そして、このような制御によれば、αループを僅かに縮小させつつ挿入部１１を前進させることができる。

挿入制御部２７３は、例えば、挿入形状要素抽出部２７２により得られた処理結果画像における領域ＥＡ４がＥＡ２に変化したこと、及び、当該処理結果画像に領域ＥＡ５が新たに出現したことを検出した場合に、挿入部１１の挿入形状が種類ＴＢから種類ＴＣに変化したとの検出結果を取得する。

挿入制御部２７３は、例えば、挿入形状要素抽出部２７２により得られた処理結果画像における領域ＥＡ２が領域ＥＡ３に変化したことを検出した場合に、挿入部１１の挿入形状が種類ＴＥから種類ＴＦに変化したとの検出結果を取得する。

挿入制御部２７３は、例えば、挿入部１１により形成されたαループの解除に係る制御を内視鏡機能制御部２４０に対して行う際に、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ８の面積に基づき、挿入部１１の挿入形状が種類ＴＥ、種類ＴＦ及び種類ＴＧのうちのいずれであるかを検出する。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＥに含まれる制御内容に応じた制御を内視鏡機能制御部２４０に対して行う際に、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ１の位置の経時的な変化を検出することにより、挿入部１１の後退状態に応じた補助情報ＨＪＢを取得する。前述の補助情報ＨＪＢは、例えば、挿入制御情報ＣＪＥに含まれる後退量ＢＬＡ及び後退速度ＢＶＡの変更の要否に係る判定に利用することができる。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＧに含まれる制御内容に応じた制御を内視鏡機能制御部２４０に対して行う際に、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ１の位置の経時的な変化を検出することにより、挿入部１１の後退状態に応じた補助情報ＨＪＣを取得する。前述の補助情報ＨＪＣは、例えば、挿入制御情報ＣＪＧに含まれる後退量ＢＬＢ、後退速度ＢＶＢ及び回転角度ＢＡＢの変更の要否に係る判定に利用することができる。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＦに含まれる制御内容に応じた制御を内視鏡機能制御部２４０に対して行うことにより、挿入形状要素抽出部２７２により得られた処理結果画像における領域ＥＡ３及び領域ＥＡ８が消失したこと、並びに、当該処理結果画像に領域ＥＡ６及び領域ＥＡ７が新たに出現したことを検出した場合に、挿入部１１の挿入形状が種類ＴＦから種類ＴＧに変化したとの検出結果を取得する。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＧに含まれる制御内容に応じた制御を内視鏡機能制御部２４０に対して行う際に、挿入形状要素抽出部２７２により得られた処理結果画像に含まれる領域ＥＡ６と領域ＥＡ７との位置関係に応じた補助情報ＨＪＤを取得する。前述の補助情報ＨＪＤは、例えば、挿入制御情報ＣＪＧに含まれる後退量ＢＬＢ、後退速度ＢＶＢ及び回転角度ＢＡＢの変更の要否に係る判定に利用することができる。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＧに含まれる制御内容に応じた制御を内視鏡機能制御部２４０に対して行うことにより、挿入形状要素抽出部２７２により得られた処理結果画像における領域ＥＡ６及び領域ＥＡ７が消失したことを検出した場合に、挿入部１１の挿入形状が種類ＴＧから種類ＴＨに変化したとの検出結果を取得する。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＦに含まれる制御内容に応じた制御を内視鏡機能制御部２４０に対して行うことにより、挿入形状要素抽出部２７２により得られた処理結果画像に領域ＴＨ２から領域ＴＨ８までのいずれの領域も含まれていないことを検出した場合に、挿入部１１の挿入形状が種類ＴＧから種類ＴＨに変化したとの検出結果を取得する。

挿入制御部２７３は、例えば、挿入制御情報ＣＪＡに含まれる制御内容に応じた制御を内視鏡機能制御部２４０に対して行ってもなお、挿入形状要素抽出部２７２により得られた処理結果画像に領域ＥＡ４が出現しなかった場合に、当該処理結果画像に含まれる領域ＥＡ１の位置を追跡することにより、挿入部１１の挿入形状が種類ＴＡから種類ＴＨに変化したとの検出結果を取得する。

本発明は、上述した実施形態及び変形例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims

被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入形状の種類を分類する情報処理装置であって、
前記被検体内に挿入されている前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得る挿入形状分類部と、
前記分類結果を出力する出力部と、
を有することを特徴とする情報処理装置。
前記分類結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部
をさらに有することを特徴とする請求項１に記載の情報処理装置。
前記制御部は、前記内視鏡挿入部に係る基本操作の中から選択した基本操作を単独で実行させる制御内容として設定される第１の操作制御群、及び、内視鏡の機能により実現される各基本操作の中から選択した複数の基本操作を組み合わせて実行させる制御内容として設定される第２の操作制御群のうちのいずれかに基づく制御を行う
ことを特徴とする請求項２に記載の情報処理装置。
前記第２の操作制御群は、前記複数の基本操作を連続的にまたは同時に実行させる制御内容として設定される
ことを特徴とする請求項３に記載の情報処理装置。
前記制御部は、前記分類結果に基づき、前記内視鏡挿入部の挿入操作に係る制御として、前記内視鏡挿入部の挿入操作の開始、継続、中断、再開、停止、及び、完了のうちの少なくとも１つに係る制御を行う
ことを特徴とする請求項２に記載の情報処理装置。
前記制御部は、前記分類結果に基づき、前記内視鏡挿入部の挿入操作における操作量、操作速度、及び、操作力のうちの少なくとも１つを制御する
ことを特徴とする請求項２に記載の情報処理装置。
前記制御部は、前記内視鏡挿入部が挿入されている前記被検体内を撮像して得られた画像、前記内視鏡挿入部に対して加えられている外力の大きさを示す情報、及び、前記内視鏡挿入部の挿入形状を示す情報のうちの少なくとも１つと、前記分類結果と、に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
ことを特徴とする請求項２に記載の情報処理装置。
前記挿入形状分類部は、前記内視鏡挿入部の挿入形状を示す挿入形状画像と、前記挿入形状画像に含まれる前記内視鏡挿入部の挿入形状を前記所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器を用いた処理を行う
ことを特徴とする請求項１に記載の情報処理装置。
前記分類結果を時系列に記録するための動作を行う分類結果記録部をさらに有する
ことを特徴とする請求項１に記載の情報処理装置。
被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置であって、
前記被検体内に挿入されている前記内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得る挿入形状要素抽出部と、
前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う制御部と、
を有することを特徴とする内視鏡制御装置。
前記制御部は、前記内視鏡挿入部に係る基本操作の中から選択した基本操作を単独で実行させる制御内容として設定される第１の操作制御群、及び、前記内視鏡挿入部に係る基本操作の中から選択した複数の基本操作を組み合わせて実行させる制御内容として設定される第２の操作制御群のうちのいずれかに基づく制御を行う
ことを特徴とする請求項１０に記載の内視鏡制御装置。
前記第２の操作制御群は、前記複数の基本操作を連続的にまたは同時に実行させる制御内容として設定される
ことを特徴とする請求項１１に記載の内視鏡制御装置。
前記制御部は、前記抽出結果に基づき、前記内視鏡挿入部の挿入操作に係る制御として、前記内視鏡挿入部の挿入操作の開始、継続、中断、再開、停止、及び、完了のうちの少なくとも１つに係る制御を行う
ことを特徴とする請求項１０に記載の内視鏡制御装置。
前記制御部は、前記抽出結果に基づき、前記内視鏡挿入部の挿入操作における操作量、操作速度、及び、操作力のうちの少なくとも１つを制御するように構成されている
ことを特徴とする請求項１０に記載の内視鏡制御装置。
前記挿入形状要素抽出部は、内視鏡先端部、ループ部、及び、屈折部のうちの少なくとも１つを抽出して前記抽出結果を得るための処理を行い、
前記制御部は、前記抽出結果に含まれる少なくとも１つの構成要素の経時的な変化に応じて制御内容を変更する
ことを特徴とする請求項１０に記載の内視鏡制御装置。
前記制御部は、前記内視鏡挿入部が挿入されている前記被検体内を撮像して得られた画像、前記内視鏡挿入部に対して加えられている外力の大きさを示す情報、及び、前記内視鏡挿入部の挿入形状を示す情報のうちの少なくとも１つと、前記抽出結果と、に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
ことを特徴とする請求項１０に記載の内視鏡制御装置。
前記挿入形状要素抽出部は、前記内視鏡挿入部の挿入形状を示す挿入形状画像と、前記挿入形状画像に含まれる各画素を所定の複数の構成要素のうちの一の構成要素に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された分類器を用いた処理を行う
ことを特徴とする請求項１０に記載の内視鏡制御装置。
被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入形状の種類を分類する情報処理装置の作動方法であって、
挿入形状分類部が、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理を行い、
出力部が、前記分類結果を出力する
ことを特徴とする情報処理装置の作動方法。
制御部が、前記分類結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
ことを特徴とする請求項１８に記載の情報処理装置の作動方法。
分類結果記録部が、前記分類結果を時系列に記録するための動作を行う
ことを特徴とする請求項１８に記載の情報処理装置の作動方法。
被検体内に挿入されている内視鏡挿入部の挿入形状に関する情報を用いて前記内視鏡挿入部の挿入操作に係る制御を行う内視鏡制御装置の作動方法であって、
挿入形状要素抽出部が、前記被検体内に挿入されている前記内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得るための処理を行い、
制御部が、前記抽出結果に基づいて前記内視鏡挿入部の挿入操作に係る制御を行う
ことを特徴とする内視鏡制御装置の作動方法。
コンピュータに、
被検体内に挿入されている内視鏡挿入部の挿入形状の種類を所定の複数の種類のうちの一の種類に分類した分類結果を得るための処理と、
前記分類結果を出力する処理と、
を実行させるためのプログラム。
前記分類結果に基づく前記内視鏡挿入部の挿入操作に係る制御
をさらに前記コンピュータに実行させるための請求項２２に記載のプログラム。
前記分類結果を時系列に記録するための処理
をさらに前記コンピュータに実行させるための請求項２２に記載のプログラム。
コンピュータに、
被検体内に挿入されている内視鏡挿入部の挿入形状に係る１つ以上の構成要素を抽出して抽出結果を得るための処理と、
前記抽出結果に基づく前記内視鏡挿入部の挿入操作に係る制御と、
を実行させるためのプログラム。