WO2021049475A1

WO2021049475A1 - 内視鏡制御装置、内視鏡制御方法及びプログラム

Info

Publication number: WO2021049475A1
Application number: PCT/JP2020/033888
Authority: WO
Inventors: 博一西村
Original assignee: オリンパス株式会社
Priority date: 2019-09-10
Filing date: 2020-09-08
Publication date: 2021-03-18
Also published as: WO2021048925A1; US20220192466A1; CN114430668A; JPWO2021049475A1

Abstract

画像取得部２６１は、被検体内に挿入されている内視鏡が撮影した内視鏡画像を取得する。操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像に基づき、所定の複数の操作内容の中から１つ以上の操作内容を決定する。操作制御部２６３は、決定した操作内容に基づいて内視鏡の動作を制御する。操作内容決定部２６２は、過去に撮影された内視鏡画像である学習用画像と前記学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデル２６５に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を決定する。

Description

内視鏡制御装置、内視鏡制御方法及びプログラム

　本発明は、内視鏡制御装置、内視鏡制御方法及びプログラムに関する。

　内視鏡観察では、可撓性を有する細長い挿入部を被検体内の深部に挿入する。近年、挿入部の操作を自動化する技術に関する検討が進められており、例えば日本国特許第３６４５２２３号公報には、上下左右に湾曲可能な湾曲部を挿入部に設けた電子内視鏡装置において、当該挿入部の先端部が撮像されている管腔の中心を向くように当該湾曲部の湾曲角度を制御する技術が開示されている。

　日本国特許第３６４５２２３号公報は、襞及び腸壁等のような、被検体内の構造物の存在を考慮して湾曲部の湾曲角度を制御することを記載しない。そのため日本国特許第３６４５２２３号公報に開示された技術によれば、撮像されている管腔の一部が当該管腔の手前側に位置する襞により遮蔽されている場合、当該内視鏡の挿入部の先端部が当該襞を回避することなく、当該襞に接触する方向へ移動する、という問題が生じうる。また日本国特許第３６４５２２３号公報に開示された技術によれば、管腔が腸壁の裏側に隠れた位置にある場合、当該内視鏡の挿入部の先端部が当該腸壁の側方に回り込むことなく、当該腸壁に接触する方向へ移動する、という問題が生じうる。つまり日本国特許第３６４５２２３号公報に開示された技術によれば、挿入部の先端部を適切に操作できない状況が発生する問題がある。

　本発明は、前述した事情に鑑みてなされたものであり、挿入部の先端部を適切に操作可能な内視鏡制御装置、内視鏡制御方法及びプログラムを提供することを目的としている。

　上記課題を解決するために、本発明のある態様の内視鏡制御装置は、被検体内に挿入されている内視鏡が撮影した内視鏡画像を取得する画像取得部と、画像取得部において取得した内視鏡画像に基づき、所定の複数の操作内容の中から１つ以上の操作内容を決定する操作内容決定部と、操作内容決定部において決定した操作内容に基づいて内視鏡の動作を制御する制御部と、を有する。操作内容決定部は、過去に撮影された内視鏡画像である学習用画像と学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデルに、画像取得部において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を決定する。

　本発明の別の態様は、内視鏡の動作を制御する方法であって、被検体内に挿入されている内視鏡が撮影した内視鏡画像を取得し、過去に撮影された内視鏡画像である学習用画像と学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデルに、取得した内視鏡画像から取得される入力データを入力することで内視鏡に対する１つ以上の操作内容を決定し、決定した操作内容に基づいて内視鏡の動作を制御する。

　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

実施形態の内視鏡システムの構成を示す図である。（ａ）および（ｂ）は、内視鏡画像の例を示す図である。（ａ）および（ｂ）は、内視鏡画像の例を示す図である。実施形態に係る内視鏡システムの機能ブロック図である。教師データの例を示す図である。教師データの例を示す図である。教師データの例を示す図である。教師データの例を示す図である。教師データの例を示す図である。教師データの例を示す図である。教師データの例を示す図である。教師データの例を示す図である。教師データの例を示す図である。教師データの例を示す図である。教師データの例を示す図である。（ａ）および（ｂ）は、学習用画像の例を示す図である。（ａ）および（ｂ）は、学習用画像の例を示す図である。（ａ）および（ｂ）は、学習用画像の例を示す図である。

　以下、本発明の実施形態について、図面を参照しつつ説明を行う。
　図１は、実施形態の内視鏡システム１の構成を示す。内視鏡システム１は内視鏡検査室に設けられ、内視鏡制御装置２、内視鏡１０、入力装置５０および表示装置６０を備える。内視鏡制御装置２は、処理装置２０、挿入形状検出装置３０および外力情報取得装置４０を有し、被検者の体内に挿入された内視鏡１０の動作を自動操作する機能を有する。内視鏡１０の自動操作は、１つ以上のプロセッサ２２および記憶媒体２４を備える処理装置２０によって実施される。

　入力装置５０は、ユーザにより操作される入力インターフェースであって、ユーザの操作に応じた指示を処理装置２０へ出力するように構成されている。入力装置５０は、たとえばマウス、キーボード、タッチパネル等のような操作装置を含んでよい。表示装置６０は、処理装置２０から出力される内視鏡画像等を画面表示する機器であり、液晶ディスプレイや有機ＥＬディスプレイであってよい。

　内視鏡１０は、固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）を含む撮像部を備える。固体撮像素子は入射光を電気信号に変換して、処理装置２０に出力する。処理装置２０は、固体撮像素子により光電変換された撮像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施す画像処理部を有し、内視鏡画像を生成する。なお画像処理部は内視鏡１０側に設けられて、内視鏡１０が内視鏡画像を生成してもよい。処理装置２０は、内視鏡１０により撮影される映像を表示装置６０にリアルタイムで表示させる。

　内視鏡１０は、被検体内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１６と、操作部１６から延設されたユニバーサルコード１７とを備える。内視鏡１０は、ユニバーサルコード１７の端部に設けられたスコープコネクタ（不図示）により、処理装置２０に対して着脱自在に接続される。

　細長形状の挿入部１１は、硬質の先端部１２と、湾曲自在に形成された湾曲部１３と、可撓性を有する長尺な可撓管部１４と、を先端側から基端側に向けて順に有する。先端部１２、湾曲部１３および可撓管部１４の内部には、処理装置２０から供給されるコイル駆動信号に応じた磁界を発生する複数のソースコイル１８が、挿入部１１の長手方向に沿って所定の間隔で配置されている。

　実施形態の内視鏡システム１では、処理装置２０が内視鏡１０を自動操作して、被検体内における内視鏡１０の動作を自動制御するが、ユーザが操作部１６を把持して、内視鏡１０を手動で操作することも可能である。

　内視鏡１０の基本操作には、以下のものがある。
・挿入部１１を前進させるための“押し操作”
・挿入部１１を後退させるための“引き操作”
・湾曲部１３を湾曲させるための“アングル操作”
・挿入部１１を挿入軸周りに回転させるための“捻り操作”
・先端部１２の前方へ気体を噴出させるための“送気操作”
・先端部１２の前方へ液体を噴出させるための“送水操作”
・先端部１２の近傍に存在する組織片等の物体を吸引させるための“吸引操作”
・湾曲部１３を複数の方向に湾曲させて先端部１２を複数の方向に向け、管腔を探索するための“探索操作”

　内視鏡１０が被検体内に挿入された状態で、医師等のユーザが内視鏡１０のレリーズスイッチを操作すると、処理装置２０は、レリーズスイッチを操作されたタイミングで内視鏡画像をキャプチャし、画像サーバ（不図示）に送信して記録させる。レリーズスイッチは入力装置５０に設けられてもよい。内視鏡１０の内部には、処理装置２０から供給される照明光を伝送して、被検体内を照明するためのライトガイド（不図示）が設けられる。先端部１２には、ライトガイドにより伝送される照明光を被写体へ出射するための照明窓と、被写体を所定の周期で撮影して撮像信号を出力する撮像部が設けられる。

　操作部１６は、ユーザが内視鏡１０を操作するための操作部材を備える。操作部１６は、挿入部１１の長手軸に対して交差する少なくとも上下左右の４方向に湾曲部１３を湾曲させるためのアングルノブを含む。操作部１６は、ユーザが撮影指示を入力するための１つ以上のレリーズスイッチを含んでよい。

　処理装置２０は、挿入形状検出装置３０、外力情報取得装置４０、入力装置５０および表示装置６０の各構成に対して着脱自在に接続される。処理装置２０は、入力装置５０から入力されたユーザによる指示を受け付け、当該指示に対応する処理を実施する。また処理装置２０は、内視鏡１０から周期的に出力される撮像信号を取得して、内視鏡画像を表示装置６０に表示させる。

　実施形態において処理装置２０は、内視鏡１０の動作を制御するための制御信号を生成して出力する機能を有する。具体的に処理装置２０は、内視鏡１０から出力される撮像信号に基づいて生成した内視鏡画像にもとづいて、内視鏡１０の動作を自動操作するように構成されている。

　挿入形状検出装置３０は、挿入部１１に設けられた複数のソースコイル１８のそれぞれが発生する磁界を検出し、当該検出した磁界の強度に基づいて複数のソースコイル１８のそれぞれの位置を取得する機能をもつ。挿入形状検出装置３０は、取得した複数のソースコイル１８の位置を示す挿入形状情報を生成し、処理装置２０および外力情報取得装置４０に出力する。

　外力情報取得装置４０は、外力が加えられていない状態における挿入部１１の所定の複数の位置の曲率（または曲率半径）および湾曲角度のデータと、想定されるあらゆる方向から挿入部１１の任意の位置に所定の外力を加えた状態で取得した当該所定の複数の位置の曲率（または曲率半径）および湾曲角度のデータとを格納している。外力情報取得装置４０は、挿入形状検出装置３０から出力される挿入形状情報に基づいて挿入部１１に設けられた複数のソースコイル１８の位置を特定し、当該複数のソースコイル１８のそれぞれの位置における曲率（または曲率半径）および湾曲角度を取得する。外力情報取得装置４０は、取得した曲率（または曲率半径）および湾曲角度と、予め格納している各種データとから、当該複数のソースコイル１８のそれぞれの位置における外力の大きさ及び方向を示す外力情報を取得してよい。外力情報取得装置４０は、取得した外力情報を処理装置２０へ出力する。

　実施形態においては、外力情報取得装置４０が挿入部１１に設けられた複数のソースコイル１８のそれぞれの位置における外力を算出するための手法として、日本国特許第５８５１２０４号公報に開示された手法が用いられてもよく、または日本国特許第５８９７０９２号公報に開示された手法が用いられてもよい。また歪センサ、圧力センサ、加速度センサ、ジャイロセンサ、及び、無線素子等の電子部品が挿入部１１に設けられて、外力情報取得装置４０が当該電子部品から出力される信号に基づいて複数のソースコイル１８のそれぞれの位置における外力を算出するように構成されてもよい。

　実施形態の処理装置２０は、内視鏡１０の挿入部１１の動作を自動操作する制御を実施する。以下においては、実施形態による自動操作制御技術について説明する前に、実施形態の制御技術と対比するための比較技術について説明する。

＜比較技術の説明＞
　まず医師による内視鏡の手動操作について検討する。医師は、内視鏡先端部を管腔方向に向けて進めていく際に、様々な判断にもとづいて内視鏡を操作する。具体的に医師は内視鏡画像を見て、たとえば、管腔の手前に存在する障害物を回避する、粘膜表面に内視鏡先端部を接触させない、腸管に負荷を与えない、より先の経路を想定して今回の経路を決める等のことを瞬時に判断して、内視鏡を操作している。

　図２（ａ）は、内視鏡画像の一例を示す。内視鏡画像７０ａは、ゴムで形成した腸管（ゴム腸管）を内視鏡で撮影した画像である。医師は、内視鏡画像７０ａを見て、管腔が画像中央に存在することを確認すると、内視鏡先端部を前進させてよいことを判断し、内視鏡先端部を前方に進行させる。

　図２（ｂ）は、内視鏡画像の別の例を示す。内視鏡画像７０ｂも同じく、ゴム腸管を撮影した画像である。医師は、内視鏡画像７０ｂを見て、管腔が画像上部に存在することを確認し、この状態で内視鏡先端部を前進させると手前の襞に接触することを判断する。そこで医師は、湾曲部１３を上方に湾曲させるようにアングルノブを操作して、管腔が画像中央で撮影されるようにする。管腔が画像中央で撮影されると、図２（ａ）に示す内視鏡画像７０ａと同様の状態になるため、医師は、内視鏡先端部を前進させてよいことを判断し、内視鏡先端部を前方に進行させる。

　以上の判断および操作は、医師であればこそ簡単に実施できるのであり、これを装置で実現しようとすると、複雑な手順が必要となる。以下、実施形態と対比するための比較技術として、医師と同等の手動操作を実現するための自動操作手法について説明する。比較技術は、以下のステップにより実施される。
（Ｓ１）対象となる内視鏡画像を取得する。
（Ｓ２）内視鏡画像に含まれる色調、エッジ、形状情報、その他の特徴量に基づく領域分割を実施する。
（Ｓ３）分割した各領域を管腔、襞、粘膜、残渣等の各種構造に分類する。
（Ｓ４）Ｓ３における分類結果に基づいて、内視鏡画像に含まれるシーンを特定する。このシーンは、たとえば管腔が前方に含まれる、管腔が上方に含まれる、管腔が下方に含まれる、管腔の手前に障害物が存在する、管腔が撮影されていない、など、予め定義されたシーンである。
（Ｓ５）各シーンに操作内容を予め対応付けておき、Ｓ４で分類されたシーンにもとづいて操作内容を決定する。

　一例として、比較技術が、図２（ａ）に示す内視鏡画像７０ａを処理する手順を説明する。比較技術は、内視鏡画像７０ａを取得すると（Ｓ１）、領域分割処理を実施して（Ｓ２）、内視鏡画像７０ａにおける管腔領域、襞の輪郭線、粘膜表面領域等を特定する（Ｓ３）。続いて比較技術は、管腔の位置、形状、管腔の手前側に障害物がないこと等を画像認識し、内視鏡画像７０ａが“管腔が前方に含まれる”シーンを含むことを特定する（Ｓ４）。比較技術においては、定義されたシーンと内視鏡の操作内容とが予め対応付けられており、“管腔が前方に含まれる”シーンには、内視鏡の“押し操作”が対応付けられている。そこで比較技術によれば、内視鏡画像７０ａを画像解析することで、これから行う操作として、内視鏡の“押し操作”が決定される（Ｓ５）。

　図２（ｂ）に示す内視鏡画像７０ｂを処理する場合、比較技術は、内視鏡画像７０ａを取得すると（Ｓ１）、領域分割処理を実施して（Ｓ２）、内視鏡画像７０ａにおける管腔領域、襞の輪郭線、粘膜表面領域等を特定する（Ｓ３）。比較技術は、管腔の位置、形状、管腔の手前側に障害物がないこと等を画像認識し、内視鏡画像７０ｂが“管腔が上方に含まれる”シーンを含むことを特定する（Ｓ４）。“管腔が上方に含まれる”シーンには、内視鏡の“上方向へのアングル操作”が対応付けられている。そこで比較技術によれば、内視鏡画像７０ｂを画像解析することで、これから行う操作として、内視鏡の“上方向へのアングル操作”が決定される（Ｓ５）。

　以上のように図２（ａ）（ｂ）に示す内視鏡画像７０ａ、７０ｂは、比較技術により比較的容易に処理される。以下、比較技術による別の内視鏡画像の処理について説明する。

　図３（ａ）は、内視鏡画像の別の例を示す。内視鏡画像７０ｃは、被検者の大腸の屈曲部を撮影した画像である。内視鏡画像７０ｃには管腔がはっきりと撮影されていないが、医師であれば、内視鏡画像７０ｃの右側が明るいことから、内視鏡先端部を左側から回り込ませて、屈曲部の管腔に先端部を進入させる経路を見つけることができる。そのため内視鏡画像７０ｃが表示されている状態では、まず内視鏡先端部を左方向に向ける操作を行う必要がある。

　この操作の決定を比較技術によって実現しようとすると、予め“左側が暗く、右側が明るく、且つ屈曲により管腔が隠れている”シーンを定義しておき、さらに当該シーンに、内視鏡の“左方向へのアングル操作”を対応付けておく必要がある。これらの定義および対応付けを予め用意しておくことで、比較技術は、図３（ａ）の内視鏡画像７０ｃをもとに、これから行う操作として、“左方向へのアングル操作”を決定できる。

　図３（ｂ）は、内視鏡画像の別の例を示す。内視鏡画像７０ｄは、被検者の管腔を撮影した画像であり、管腔が、中央から少し右下の位置に撮影されている。しかしながら内視鏡を右下方向にアングル操作すると、内視鏡先端部が画像右下側に存在する襞の粘膜面に接触する可能性がある。このとき医師であれば、内視鏡に対して、一旦、左上方向へのアングル操作を行って、それから前進させ、さらに右下方向へのアングル操作を行うことで、内視鏡先端部と襞粘膜面との接触を回避する。そのため内視鏡画像７０ｄが表示されている状態では、まず内視鏡先端部を左上方向に向ける操作を行う必要がある。

　この操作の決定を比較技術によって実現しようとすると、予め“管腔が右下位置に存在しており、且つ内視鏡先端部が襞粘膜面と近い位置にある”シーンを定義しておき、さらに当該シーンに、内視鏡の“左上方向へのアングル操作”を対応付けておく必要がある。これらの定義および対応付けを予め用意しておくことで、比較技術は、図３（ｂ）の内視鏡画像７０ｄをもとに、これから行う操作として、“左上方向へのアングル操作”を決定できる。

　以上のように比較技術においては、特にＳ４のシーン特定処理の際に、状況に応じた適切なシーンを予め定義しておくことが容易でなく、またシーンの認識手法を含むアルゴリズムが非常に複雑で高難度となり、実装が容易でない。また定義した各シーンに操作内容を対応付けることも、実際には非常に高難度な作業となる。

　以上を前提として、実施形態における内視鏡１０の自動操作制御技術について説明する。実施形態の制御技術によれば、比較技術におけるＳ４のシーン特定処理を不要とし、またシーンと操作内容とを対応付ける作業も不要であり、複雑で高難度なアルゴリズムの構築を省略できる利点がある。

　図４は、実施形態に係る内視鏡システム１の構成を説明するための機能ブロック図である。内視鏡システム１は、内視鏡１０、処理装置２０、挿入形状検出装置３０、外力情報取得装置４０、入力装置５０および表示装置６０を備える。

　図４に示す構成はハードウエア的には、１以上のプロセッサ２２、メモリ、補助記憶装置、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。たとえば処理装置２０の少なくとも一部の機能を実行させるためのプログラムが記憶媒体２４に記憶されており、プロセッサ２２が、記憶媒体２４からプログラムをメモリにロードして、処理装置２０の各機能を実現してもよい。

　挿入形状検出装置３０は、受信アンテナ３１０および挿入形状情報取得部３２０を備える。受信アンテナ３１０は、複数のソースコイル１８のそれぞれが発生する磁界を３次元的に検出する複数のコイルを有して構成されている。受信アンテナ３１０は、複数のソースコイル１８のそれぞれが発生する磁界を検出すると、当該検出した磁界の強度に応じた磁界検出信号を挿入形状情報取得部３２０に出力する。

　挿入形状情報取得部３２０は、受信アンテナ３１０から出力される磁界検出信号に基づき、複数のソースコイル１８のそれぞれの位置を取得する。挿入形状情報取得部３２０は、複数のソースコイル１８のそれぞれの位置を示す挿入形状情報を生成し、動作制御部２６０および外力情報取得装置４０に出力する。

　具体的に挿入形状情報取得部３２０は、複数のソースコイル１８の位置として、被検体の所定の位置（肛門等）を原点または基準点とする仮想的な空間座標系における複数の３次元座標値を取得する。挿入形状情報取得部３２０は、複数のソースコイル１８の３次元座標値を含む挿入形状情報を生成し、動作制御部２６０および外力情報取得装置４０に出力する。

　外力情報取得装置４０は、挿入形状検出装置３０から出力される挿入形状情報に基づいて、当該複数のソースコイル１８のそれぞれの位置における曲率（または曲率半径）および湾曲角度を取得する。外力情報取得装置４０は、取得した曲率（または曲率半径）および湾曲角度と、予め格納している各種データとから、当該複数のソースコイル１８のそれぞれの位置における外力の大きさ及び方向を示す外力情報を取得してよい。外力情報取得装置４０は、取得した外力情報を動作制御部２６０へ出力する。

　内視鏡１０は、ソースコイル１８、撮像部１１０、進退機構１４１、湾曲機構１４２、ＡＷＳ機構１４３および回転機構１４４を備える。進退機構１４１、湾曲機構１４２、ＡＷＳ機構１４３および回転機構１４４は、内視鏡１０における動作機構を構成する。

　撮像部１１０は、照明光により照明された被写体からの戻り光が入射される観察窓と、当該戻り光を撮影して撮像信号を出力する固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）とを有する。

　進退機構１４１は、挿入部１１を前進および後退させる動作を実現するための機構を有する。たとえば進退機構１４１は、挿入部１１を挟んで対向する位置に配置された一対のローラと、当該一対のローラを回転させるモータとを有して構成されてよい。進退機構１４１は、処理装置２０から出力される進退制御信号に応じてモータを駆動して、一対のローラを回転させることにより、挿入部１１を前進させる動作および挿入部１１を後退させる動作のいずれか一方を選択的に実行する。

　湾曲機構１４２は、湾曲部１３を曲げる動作を実現するための機構を有する。たとえば湾曲機構１４２は、湾曲部１３に設けられた複数の湾曲駒と、当該複数の湾曲駒に連結された複数のワイヤと、当該複数のワイヤを牽引するためモータとを有して構成されてよい。湾曲機構１４２は、処理装置２０から出力される湾曲制御信号に応じてモータを駆動して、複数のワイヤの牽引量を変化させることにより、挿入部１１の長手軸に対して交差する少なくとも上下左右の４方向のいずれかに湾曲部１３を湾曲させることができる。なお実施形態の湾曲部１３は、挿入部１１の長手軸に対して交差する８方向のいずれかに湾曲する構造を有してよい。

　ＡＷＳ（Ａｉｒｆｅｅｄｉｎｇ，Ｗａｔｅｒｆｅｅｄｉｎｇ，ａｎｄＳｕｃｔｉｏｎ）機構１４３は、送気動作、送水動作および吸引動作を実現するための機構を有する。たとえばＡＷＳ機構１４３は、挿入部１１、操作部１６およびユニバーサルコード１７の内部に設けられた送気送水管路および吸引管路の２つの管路と、当該２つの管路のうちの一方を開放しつつ他方を閉塞する動作を行う電磁弁とを有して構成されてよい。

　ＡＷＳ機構１４３は、処理装置２０から出力されるＡＷＳ制御信号に応じて送気送水管路を開放するように電磁弁を動作した場合、処理装置２０から供給される水及び空気の少なくとも一方を含む流体を当該送気送水管路に流通させ、先端部１２に形成された排出口から当該流体を排出させる。またＡＷＳ機構１４３は、処理装置２０から出力されるＡＷＳ制御信号に応じて吸引管路を開放するように電磁弁を動作した場合、処理装置２０において発生した吸引力を当該吸引管路に作用し、先端部１２に形成された吸引口付近に存在する物体を当該吸引力により吸引する。

　回転機構１４４は、挿入部１１の挿入軸を回転軸として、挿入部１１を回転する動作を実現するための機構を有する。たとえば回転機構１４４は、可撓管部１４の基端側において挿入部１１を回転可能に支持する支持部材と、当該支持部材を回転させるためのモータとを有して構成されてよい。回転機構１４４は、処理装置２０から出力される回転制御信号に応じてモータを駆動して、支持部材を回転させることにより、挿入部１１を挿入軸周りに回転させる。なお実施形態において、挿入部１１の挿入軸は、挿入部１１の長手方向の中心軸であってよい。

　処理装置２０は、光源部２１０、画像処理部２２０、コイル駆動信号生成部２３０、駆動制御部２４０、表示制御部２５０および動作制御部２６０を備える。

　光源部２１０は、被検体内を照明するための照明光を生成して、当該照明光を内視鏡１０に供給する。光源部２１０は、１つ以上のＬＥＤまたは１つ以上のランプを光源として有してよい。光源部２１０は、動作制御部２６０から供給される動作制御信号に応じて照明光の光量を変化させてよい。

　画像処理部２２０は信号処理回路を有し、内視鏡１０から出力される撮像信号に対して所定の処理を施して内視鏡画像を生成し、当該生成した内視鏡画像を表示制御部２５０および動作制御部２６０へ出力する。

　コイル駆動信号生成部２３０は、ソースコイル１８を駆動させるためのコイル駆動信号を生成する。コイル駆動信号生成部２３０はドライブ回路を有し、動作制御部２６０から供給される動作制御信号に応じてコイル駆動信号を生成して、ソースコイル１８に供給する。

　駆動制御部２４０は、動作制御部２６０から供給される動作制御信号に基づき、内視鏡１０の基本操作に対応する制御信号を生成して、内視鏡１０における動作機構を駆動する。具体的に駆動制御部２４０は、進退機構１４１による進退動作、湾曲機構１４２による湾曲動作、ＡＷＳ機構１４３によるＡＷＳ動作および回転機構１４４による回転動作のうちの少なくとも１つの動作を制御する。駆動制御部２４０は、進退制御部２４１、湾曲制御部２４２、ＡＷＳ制御部２４３および回転制御部２４４を備える。

　進退制御部２４１は、動作制御部２６０から供給される動作制御信号に基づき、進退機構１４１の動作を制御するための進退制御信号を生成して出力する。具体的に進退制御部２４１は、動作制御部２６０から供給される動作制御信号に基づき、進退機構１４１に設けられたモータの回転を制御するための進退制御信号を生成して出力する。

　湾曲制御部２４２は、動作制御部２６０から供給される動作制御信号に基づき、湾曲機構１４２の動作を制御するための湾曲制御信号を生成して出力する。具体的に湾曲制御部２４２は、動作制御部２６０から供給される動作制御信号に基づき、湾曲機構１４２に設けられたモータの回転を制御するための湾曲制御信号を生成して出力する。

　ＡＷＳ制御部２４３は、動作制御部２６０から供給される動作制御信号に基づいて、図示しないポンプ等を制御することにより、水及び空気のうちの少なくとも一方を含む流体を内視鏡１０へ供給するための動作、及び、先端部１２の吸引口の付近に存在する物体を吸引するための吸引力を発生させるための動作のうちのいずれか一方を選択的に実行する。

　またＡＷＳ制御部２４３は、ＡＷＳ機構１４３の動作を制御するためのＡＷＳ制御信号を生成して出力するように構成されている。具体的にＡＷＳ制御部２４３は、動作制御部２６０から供給される動作制御信号に基づいて、ＡＷＳ機構１４３に設けられた電磁弁の動作状態を制御するためのＡＷＳ制御信号を生成して出力する。

　回転制御部２４４は、動作制御部２６０から供給される動作制御信号に基づき、回転機構１４４の動作を制御するための回転制御信号を生成して出力する。具体的に回転制御部２４４は、動作制御部２６０から供給される動作制御信号に基づき、回転機構１４４に設けられたモータの回転を制御するための回転制御信号を生成して出力する。

　表示制御部２５０は、画像処理部２２０から出力される内視鏡画像を含む表示画像を生成し、当該生成した表示画像を表示装置６０に表示させる。

　動作制御部２６０は、操作部１６および入力装置５０からの指示等に応じた動作を内視鏡１０に行わせるための動作制御信号を生成して、駆動制御部２４０に出力する機能を有する。また動作制御部２６０は、内視鏡１０の自動挿入モードがオンに設定されている場合に、画像処理部２２０で生成された内視鏡画像に基づいて、内視鏡１０の動作を自動制御する機能を有する。動作制御部２６０は、画像取得部２６１、操作内容決定部２６２、操作制御部２６３、駆動判定部２６４および操作選択モデル２６５を備える。

　画像取得部２６１は、画像処理部２２０から、被検体内に挿入されている内視鏡１０が撮影した内視鏡画像を取得する。内視鏡１０の撮像部１１０は、所定の周期（たとえば３０フレーム／秒）で撮像信号を画像処理部２２０に供給し、画像処理部２２０は、撮像信号から内視鏡画像を生成して、画像取得部２６１に供給する。したがって画像取得部２６１は、所定の周期で内視鏡画像を取得する。

　操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像に基づき、所定の複数の操作内容の中から１つ以上の操作内容を決定する機能を有する。換言すると、操作内容決定部２６２は、被検体内を撮像した内視鏡画像に基づき、内視鏡操作の複数の選択肢の中から、これから実施するべき操作内容を決定する。所定の複数の操作内容は、上記した基本操作である、押し操作、引き操作、アングル操作、捻り操作、送気操作、送水操作、吸引操作の少なくとも１種類の操作から構成されてよい。

　実施形態では、画像取得部２６１が内視鏡画像を取得するタイミング毎に、操作内容決定部２６２が、内視鏡１０の操作内容を決定して、操作制御部２６３が、決定した操作内容に応じた動作制御信号を生成して、駆動制御部２４０に供給してよい。

　なお別のタイミング例として、駆動制御部２４０が、操作制御部２６３による動作制御信号にもとづいて内視鏡１０の動作機構を駆動し、その駆動を終了したタイミングで、操作内容決定部２６２が、画像取得部２６１により取得された内視鏡画像を用いて内視鏡１０の操作内容を決定し、操作制御部２６３が動作制御信号を生成してもよい。

　たとえば駆動制御部２４０が内視鏡１０の動作機構を駆動制御しているとき、駆動判定部２６４は、駆動制御部２４０が動作機構を駆動制御中であることを判定する。駆動制御部２４０による駆動制御が終了すると、駆動判定部２６４は、駆動制御が終了したことを判定する。このとき駆動判定部２６４は、操作内容決定部２６２に新たな操作内容を決定するべきであることを通知し、操作内容決定部２６２は、新たに取得された内視鏡画像を用いて内視鏡１０の操作内容を決定する。このように操作内容決定部２６２は、動作機構の駆動が完了した後または完了直前に画像取得部２６１で取得された内視鏡画像に基づいて、内視鏡１０の操作内容を決定してよい。

　操作内容決定部２６２は、操作選択モデル２６５に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、当該内視鏡画像を撮影している内視鏡１０に対して適切な操作内容を決定する。操作選択モデル２６５は、過去に撮影された内視鏡画像である学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された学習済みモデルである。

　実施形態において、操作選択モデル２６５は、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）における各結合係数（重み）をディープラーニング等の学習手法で学習させることにより生成される。

（実施例１）
　操作選択モデル２６５の生成にあたり、腸管またはコロンモデルの内部を過去に内視鏡で撮影した内視鏡画像である学習用画像と、当該学習用画像により示される状況に最も適した操作内容が５個の操作内容のうちのどれであるかを示すラベルと、を含む教師データを用いた機械学習が行われる。

　ここで５個の操作内容には、湾曲部１３を湾曲させて先端部１２を上方向に向けるためのアングル操作ＵＰＳと、湾曲部１３を湾曲させて先端部１２を下方向に向けるためのアングル操作ＤＯＳと、湾曲部１３を湾曲させて先端部１２を左方向に向けるためのアングル操作ＬＥＳと、湾曲部１３を湾曲させて先端部１２を右方向に向けるためのアングル操作ＲＩＳと、湾曲部１３の湾曲角度を固定して先端部１２の向きを現在の向きに維持させるためのアングル維持操作ＡＭＳと、が含まれる。

　全ての実施例において、先端部１２の上下方向は、挿入部１１の挿入軸に対して直交する方向として設定されているとともに、撮像部１１０に設けられた固体撮像素子の垂直方向に対応する方向として設定されている。また全ての実施例において、先端部１２の左右方向は、挿入部１１の挿入軸に対して直交する方向として設定されているとともに、撮像部１１０に設けられたイメージセンサの水平方向に対応する方向として設定されている。したがって実施例においては、先端部１２の上下方向と画像処理部２２０から出力される内視鏡画像の上下方向とが一致し、先端部１２の左右方向と当該内視鏡画像の左右方向とが一致する。

　教師データの作成時、識者が、学習用画像を見て、当該学習用画像に示される状況において最も行われうる一つの操作内容を、上記した５個の操作内容の中から主観的に選択し、選択した操作内容のラベルを、当該学習用画像に付与する。識者は、医師であってよい。たとえば図２（ｂ）に示した内視鏡画像７０ｂが学習用画像である場合、管腔が画像上部に存在していることから、識者は、内視鏡先端部を上方向に向ける操作、つまりアングル操作ＵＰＳをするべきであることを決定し、内視鏡画像７０ｂに、アングル操作ＵＰＳのラベルを付与する。このラベル付与作業が多数の過去の内視鏡画像に対して実施されることで、教師データが作成される。

　以下、学習用画像およびラベルを含む教師データの例を示す。
　図５は、教師データの例を示す。図５に示す学習用画像には、いずれも上方向のアングル操作を示す「アングル操作ＵＰＳのラベル」が付与される。図５に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を上方向に湾曲させるべきことを判断された画像である。

　図６は、教師データの別の例を示す。図６に示す学習用画像には、いずれも右方向のアングル操作を示す「アングル操作ＲＩＳのラベル」が付与されている。図６に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を右方向に湾曲させるべきことを判断された画像である。

　図７は、教師データの別の例を示す。図７に示す学習用画像には、いずれも下方向のアングル操作を示す「アングル操作ＤＯＳのラベル」が付与されている。図７に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を下方向に湾曲させるべきことを判断された画像である。

　図８は、教師データの別の例を示す。図８に示す学習用画像には、いずれも左方向のアングル操作を示す「アングル操作ＬＥＳのラベル」が付与されている。図８に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を左方向に湾曲させるべきことを判断された画像である。

　湾曲部１３の湾曲角度を固定して先端部１２の向きを現在の向きに維持させるためのアングル維持操作ＡＭＳの教師データについては図示を省略するが、たとえば、後で示す図１３に示す学習用画像に、「アングル維持操作ＡＭＳ」のラベルを付与してもよい。
　実施例１の操作選択モデル２６５は、少なくとも図５～図８に示す教師データを用いて機械学習することにより生成される。

　操作内容決定部２６２は、学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデル２６５に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を決定する。具体的に操作内容決定部２６２は、画像取得部２６１において取得された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとして操作選択モデル２６５のニューラルネットワークの入力層に入力する。操作選択モデル２６５は、内視鏡１０の操作内容として選択され得る５個の操作内容のそれぞれに対応する５個の尤度を、ニューラルネットワークの出力層から出力する。操作内容決定部２６２は、出力データに含まれる５個の尤度の中で最も高い１つの尤度に対応する操作内容を、内視鏡１０の操作内容の選択結果として得ることができる。

　実施例１において操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを操作選択モデル２６５に入力して処理させることにより、先端部１２の向きを挿入部１１の挿入軸に対して直交する４方向に向けるための操作と、先端部１２の向きを現在の向きに維持させるための操作と、を含む５個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている。

　操作制御部２６３は、操作内容決定部２６２において決定した操作内容に基づいて、内視鏡１０の動作を制御する機能を有する。操作制御部２６３は、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報のうちの少なくとも１つに基づき、決定された操作内容における動作量を設定してもよい。操作制御部２６３は、操作内容決定部２６２により決定された操作内容と、当該操作内容における動作量とに応じた動作制御を行うための動作制御信号を生成し、駆動制御部２４０に出力する。

　実施例１の作用について説明する。以下においては、肛門から大腸の腸管内に挿入された挿入部１１の挿入操作に係る制御が行われる場合を例に挙げて説明する。
　ユーザは、内視鏡システム１の各部を接続して電源を投入した後、内視鏡１０の先端部１２を被検体の肛門に挿入する。このときユーザは、入力装置５０を操作して内視鏡１０の自動挿入モードをオンに設定し、これにより処理装置２０は、内視鏡１０の自動操作機能を実行する。

　光源部２１０は、内視鏡１０に照明光を供給し、撮像部１１０は、当該照明光が照射された被写体を所定の周期で撮像して、撮像信号を処理装置２０に送信する。画像処理部２２０は、撮像信号から内視鏡画像を生成して、表示制御部２５０および画像取得部２６１に供給する。

　このときコイル駆動信号生成部２３０はコイル駆動信号を複数のソースコイル１８に供給し、受信アンテナ３１０は、複数のソースコイル１８のそれぞれで発生した磁界を検出して、挿入形状情報取得部３２０が、挿入部１１の挿入形状情報を生成する。挿入形状情報は、動作制御部２６０および外力情報取得装置４０に供給される。外力情報取得装置４０は、挿入形状情報から、複数のソースコイル１８のそれぞれの位置における外力情報を生成して、動作制御部２６０に供給する。

　操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを操作選択モデル２６５に入力して処理させることにより、内視鏡１０の操作に係る５個の操作内容の中から一の操作内容を決定する。

　操作制御部２６３は、操作内容決定部２６２において決定した操作内容に基づいて、内視鏡１０の動作を制御する動作制御信号を生成する。このとき操作制御部２６３は、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報の少なくとも１つに基づき、決定した操作内容における動作量を設定するための処理を行ってよい。操作制御部２６３は、決定した操作内容と、設定した動作量とに応じた動作制御を行うための動作制御信号を生成して駆動制御部２４０へ出力する。

　実施例１において操作制御部２６３は、操作内容決定部２６２により決定された操作内容がアングル操作ＵＰＳ、アングル操作ＤＯＳ、アングル操作ＬＥＳ及びアングル操作ＲＩＳのいずれかである場合に、当該操作内容における動作量として、湾曲部１３の湾曲角度ＣＡＳを設定する。そして操作制御部２６３は、湾曲部１３を湾曲角度ＣＡＳだけ湾曲させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお操作制御部２６３は、湾曲部１３を湾曲させる制御に加えて、挿入部１１の回転角度ＲＡＳを設定し、挿入部１１を回転角度ＲＡＳだけ回転させる制御を実行させる動作制御信号を生成してもよい。

　一方、操作制御部２６３は、操作内容決定部２６２により決定された操作内容がアングル維持操作ＡＭＳである場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＡＳを設定する。そして操作制御部２６３は、湾曲部１３の湾曲角度を現在の湾曲角度に固定させる制御と、挿入部１１を移動量ＭＡＳだけ前進させる制御とを併せて実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお移動量ＭＡＳは、腸管内に挿入されている挿入部１１を安全に前進させることが可能な範囲内の値として設定されることが好ましい。

　なお実施例１においては、操作制御部２６３が、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報の少なくとも１つに基づいて動作量を設定するが、記憶媒体２４に予め格納された設定値を読み込んで動作量を設定するものであってもよい。

　ユーザは、表示装置６０に表示されている内視鏡画像に基づいて、観察が終了したことを確認すると、入力装置５０を操作して内視鏡１０の自動挿入モードをオフに設定する。これにより処理装置２０は、内視鏡１０の自動操作機能の実行を停止する。

　以上、実施例１によれば、操作内容決定部２６２が、内視鏡画像に基づいて、内視鏡１０の操作に係る所定の複数の操作内容の中から、識者が選択する可能性の高い操作内容と同じ操作内容を選択できる。また実施例１によれば、操作制御部２６３が、選択された操作内容における動作量を設定して、内視鏡１０を動作制御するための動作制御信号を生成できる。したがって実施例１によれば、学習済みモデルである操作選択モデル２６５を利用することで、内視鏡１０の操作内容を簡易に決定できる。

　実施例１において操作内容決定部２６２は、５個の操作内容のそれぞれの尤度を出力する操作選択モデル２６５とは異なる操作選択モデルを利用して、操作内容を決定してもよい。この操作選択モデルは、たとえばアングル操作ＵＰＳ、アングル操作ＤＯＳ、アングル操作ＬＥＳおよびアングル操作ＲＩＳの４つの操作内容のそれぞれの尤度を出力するように構成された学習済みモデルであってよい。この場合、操作制御部２６３が、操作内容決定部２６２により決定された操作内容に応じて湾曲部１３を湾曲させる制御を行うための動作制御信号を生成して、駆動制御部２４０へ出力してよい。

　このとき操作制御部２６３が、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報の少なくとも１つに基づいて、挿入部１１を前進または後退させる動作制御信号を生成してもよい。

　以下の実施例２～７では、操作選択モデル２６５のバリエーションについて説明するが、実施例１と重複する説明については適宜省略するものとする。

（実施例２）
　実施例２の操作選択モデル２６５は、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するＣＮＮにおける各結合係数（重み）をディープラーニング等の学習手法で学習させることにより作成された学習済みモデルである。実施例２の操作選択モデル２６５の生成にあたり、腸管またはコロンモデルの内部を過去に内視鏡で撮影した内視鏡画像である学習用画像と、当該学習用画像により示される状況に最も適した操作内容が９個の操作内容のうちのどれであるかを示すラベルと、を含む教師データを用いた機械学習が行われる。

　ここで９個の操作内容には、例えば、アングル操作ＵＰＳと、アングル操作ＤＯＳと、アングル操作ＬＥＳと、アングル操作ＲＩＳと、アングル維持操作ＡＭＳと、湾曲部１３を湾曲させて先端部１２を右上方向に向けるためのアングル操作ＵＲＳと、湾曲部１３を湾曲させて先端部１２を左上方向に向けるためのアングル操作ＵＬＳと、湾曲部１３を湾曲させて先端部１２を左下方向に向けるためのアングル操作ＤＬＳと、湾曲部１３を湾曲させて先端部１２を右下方向に向けるためのアングル操作ＤＲＳと、が含まれる。

　なお全ての実施例において、先端部１２の右上方向が、挿入部１１の挿入軸に対して直交する方向として設定されているとともに、先端部１２の上方向と右方向との間に位置する方向として設定されている。また先端部１２の左上方向が、挿入部１１の挿入軸に対して直交方向として設定されているとともに、先端部１２の上方向と左方向との間に位置する方向として設定されている。また先端部１２の左下方向が、挿入部１１の挿入軸に対して直交する方向として設定されているとともに、先端部１２の下方向と左方向との間に位置する方向として設定されている。また先端部１２の右下方向が、挿入部１１の挿入軸に対して直交する方向として設定されているとともに、先端部１２の下方向と右方向との間に位置する方向として設定されている。

　教師データの作成時、識者が、学習用画像を見て、当該学習用画像に示される状況において最も行われうる一つの操作内容を、上記した９個の操作内容の中から主観的に選択し、選択した操作内容のラベルを、当該学習用画像に付与する。このラベル付与作業が多数の過去の内視鏡画像に対して実施されることで、教師データが作成される。

　以下、学習用画像およびラベルを含む教師データの例を示す。
　図９は、教師データの例を示す。図９に示す学習用画像には、いずれも右上方向のアングル操作を示す「アングル操作ＵＲＳのラベル」が付与される。図９に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を右上方向に湾曲させるべきことを判断された画像である。

　図１０は、教師データの別の例を示す。図１０に示す学習用画像には、いずれも右下方向のアングル操作を示す「アングル操作ＤＲＳのラベル」が付与されている。図１０に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を右下方向に湾曲させるべきことを判断された画像である。

　図１１は、教師データの別の例を示す。図１１に示す学習用画像には、いずれも左下方向のアングル操作を示す「アングル操作ＤＬＳのラベル」が付与されている。図１１に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を左下方向に湾曲させるべきことを判断された画像である。

　図１２は、教師データの別の例を示す。図１２に示す学習用画像には、いずれも左上方向のアングル操作を示す「アングル操作ＵＬＳのラベル」が付与されている。図１２に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を左上方向に湾曲させるべきことを判断された画像である。
　実施例２の操作選択モデル２６５は、少なくとも図５～図１２に示す教師データを用いて機械学習することにより生成される。

　操作内容決定部２６２は、学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデル２６５に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を決定する。具体的に操作内容決定部２６２は、画像取得部２６１において取得された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとして操作選択モデル２６５のニューラルネットワークの入力層に入力する。実施例２の操作選択モデル２６５は、内視鏡１０の操作内容として選択され得る９個の操作内容のそれぞれに対応する９個の尤度を、ニューラルネットワークの出力層から出力する。操作内容決定部２６２は、出力データに含まれる９個の尤度の中で最も高い１つの尤度に対応する操作内容を、内視鏡１０の操作内容の選択結果として得ることができる。

　実施例２において操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを操作選択モデル２６５に入力して処理させることにより、先端部１２の向きを挿入部１１の挿入軸に対して直交する８方向に向けるための操作と、先端部１２の向きを現在の向きに維持させるための操作と、を含む９個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている。

　実施例２の作用について説明する。
　操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを、実施例２の操作選択モデル２６５に入力して処理させることにより、内視鏡１０の操作に係る９個の操作内容の中から一の操作内容を決定する。

　実施例２において操作制御部２６３は、操作内容決定部２６２により決定された操作内容がアングル操作ＵＰＳ、アングル操作ＤＯＳ、アングル操作ＬＥＳ、アングル操作ＲＩＳ、アングル操作ＵＲＳ、アングル操作ＵＬＳ、アングル操作ＤＬＳ、及び、アングル操作ＤＲＳのいずれかである場合に、当該操作内容における動作量として、湾曲部１３の湾曲角度ＣＢＳを設定する。そして操作制御部２６３は、湾曲部１３を湾曲角度ＣＢＳだけ湾曲させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお操作制御部２６３は、湾曲部１３を湾曲させる制御に加えて、挿入部１１の回転角度ＲＢＳを設定し、挿入部１１を回転角度ＲＢＳだけ回転させる制御を実行させる動作制御信号を生成してもよい。

　一方、操作制御部２６３は、操作内容決定部２６２により決定された操作内容がアングル維持操作ＡＭＳである場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＢＳを設定する。そして操作制御部２６３は、湾曲部１３の湾曲角度を現在の湾曲角度に固定させる制御と、挿入部１１を移動量ＭＢＳだけ前進させる制御とを併せて実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお移動量ＭＢＳは、腸管内に挿入されている挿入部１１を安全に前進させることが可能な範囲内の値として設定されることが好ましい。

　なお実施例２においては、操作制御部２６３が、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報の少なくとも１つに基づいて動作量を設定するが、記憶媒体２４に予め格納された設定値を読み込んで動作量を設定するものであってもよい。

　以上、実施例２によれば、操作内容決定部２６２が、内視鏡画像に基づいて、内視鏡１０の操作に係る所定の複数の操作内容の中から、識者が選択する可能性の高い操作内容と同じ操作内容を選択できる。また実施例２によれば、操作制御部２６３が、選択された操作内容における動作量を設定して、内視鏡１０を動作制御するための動作制御信号を生成できる。したがって実施例２によれば、学習済みモデルである操作選択モデル２６５を利用することで、内視鏡１０の操作内容を簡易に決定できる。

　実施例２において操作内容決定部２６２は、９個の操作内容のそれぞれの尤度を出力する操作選択モデル２６５とは異なる操作選択モデルを利用して、操作内容を決定してもよい。この操作選択モデルは、たとえばアングル操作ＵＰＳ、アングル操作ＤＯＳ、アングル操作ＬＥＳ、アングル操作ＲＩＳ、アングル操作ＵＲＳ、アングル操作ＵＬＳ、アングル操作ＤＬＳ、及び、アングル操作ＤＲＳの８つの操作内容のそれぞれの尤度を出力するように構成された学習済みモデルであってよい。この場合、操作制御部２６３が、操作内容決定部２６２により決定された操作内容に応じて湾曲部１３を湾曲させる制御を行うための動作制御信号を生成して、駆動制御部２４０へ出力してよい。

（実施例３）
　実施例３の操作選択モデル２６５は、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するＣＮＮにおける各結合係数（重み）をディープラーニング等の学習手法で学習させることにより作成された学習済みモデルである。実施例３の操作選択モデル２６５の生成にあたり、腸管またはコロンモデルの内部を過去に内視鏡で撮影した内視鏡画像である学習用画像と、当該学習用画像により示される状況に最も適した操作内容が１０個の操作内容のうちのどれであるかを示すラベルと、を含む教師データを用いた機械学習が行われる。

　ここで１０個の操作内容には、アングル操作ＵＰＳと、アングル操作ＤＯＳと、アングル操作ＬＥＳと、アングル操作ＲＩＳと、アングル操作ＵＲＳと、アングル操作ＵＬＳと、アングル操作ＤＬＳと、アングル操作ＤＲＳと、先端部１２を前進させる押し操作ＰＳＳと、先端部１２を後退させる引き操作ＰＬＳと、が含まれる。

　教師データの作成時、識者が、学習用画像を見て、当該学習用画像に示される状況において最も行われうる一つの操作内容を、上記した１０個の操作内容の中から主観的に選択し、選択した操作内容のラベルを、当該学習用画像に付与する。このラベル付与作業が多数の過去の内視鏡画像に対して実施されることで、教師データが作成される。

　以下、学習用画像およびラベルを含む教師データの例を示す。
　図１３は、教師データの例を示す。図１３に示す学習用画像には、いずれも押し操作を示す「押し操作ＰＳＳのラベル」が付与される。図１３に示す学習用画像は、これから行う内視鏡操作として、先端部１２を前進させるべきことを判断された画像である。

　図１４は、教師データの別の例を示す。図１４に示す学習用画像には、いずれも引き操作を示す「引き操作ＰＬＳのラベル」が付与されている。図１４に示す学習用画像は、これから行う内視鏡操作として、先端部１２を後退させるべきことを判断された画像である。ここで引き操作が必要な状況の典型例としては、大腸の粘膜表面に先端部１２が過剰に近接した状況や、また内視鏡医の間で俗に「赤玉」と称される先端部１２が粘膜表面に接してしまった状況などがある。
　実施例３の操作選択モデル２６５は、少なくとも図５～図１４に示す教師データを用いて機械学習することにより生成される。

　操作内容決定部２６２は、学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデル２６５に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を決定する。具体的に操作内容決定部２６２は、画像取得部２６１において取得された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとして操作選択モデル２６５のニューラルネットワークの入力層に入力する。実施例３の操作選択モデル２６５は、内視鏡１０の操作内容として選択され得る１０個の操作内容のそれぞれに対応する１０個の尤度を、ニューラルネットワークの出力層から出力する。操作内容決定部２６２は、出力データに含まれる１０個の尤度の中で最も高い１つの尤度に対応する操作内容を、内視鏡１０の操作内容の選択結果として得ることができる。

　実施例３において操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを操作選択モデル２６５に入力して処理させることにより、先端部１２の向きを挿入部１１の挿入軸に対して直交する８方向に向けるための操作と、先端部１２を前進または後退させるための操作と、を含む１０個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている。

　実施例３の作用について説明する。
　操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを、実施例３の操作選択モデル２６５に入力して処理させることにより、内視鏡１０の操作に係る１０個の操作内容の中から一の操作内容を決定する。

　実施例３において操作制御部２６３は、操作内容決定部２６２により決定された操作内容がアングル操作ＵＰＳ、アングル操作ＤＯＳ、アングル操作ＬＥＳ、アングル操作ＲＩＳ、アングル操作ＵＲＳ、アングル操作ＵＬＳ、アングル操作ＤＬＳ、及び、アングル操作ＤＲＳのいずれかである場合に、当該操作内容における動作量として、湾曲部１３の湾曲角度ＣＣＳを設定する。そして操作制御部２６３は、湾曲部１３を湾曲角度ＣＣＳだけ湾曲させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお操作制御部２６３は、湾曲部１３を湾曲させる制御に加えて、挿入部１１の回転角度ＲＣＳを設定し、挿入部１１を回転角度ＲＣＳだけ回転させる制御を実行させる動作制御信号を生成してもよい。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が押し操作ＰＳＳである場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＣＳを設定する。そして操作制御部２６３は、挿入部１１を移動量ＭＣＳだけ前進させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお移動量ＭＣＳは、腸管内に挿入されている挿入部１１を安全に前進させることが可能な範囲内の値として設定されることが好ましい。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が引き操作ＰＬＳである場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＤＳを設定する。そして操作制御部２６３は、挿入部１１を移動量ＭＤＳだけ後退させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお移動量ＭＤＳは、腸管内に挿入されている挿入部１１を安全に後退させることが可能な範囲内の値として設定されることが好ましい。

　なお実施例３においては、操作制御部２６３が、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報の少なくとも１つに基づいて動作量を設定するが、記憶媒体２４に予め格納された設定値を読み込んで動作量を設定するものであってもよい。

　以上、実施例３によれば、操作内容決定部２６２が、内視鏡画像に基づいて、内視鏡１０の操作に係る所定の複数の操作内容の中から、識者が選択する可能性の高い操作内容と同じ操作内容を選択できる。また実施例３によれば、操作制御部２６３が、選択された操作内容における動作量を設定して、内視鏡１０を動作制御するための動作制御信号を生成できる。したがって実施例３によれば、学習済みモデルである操作選択モデル２６５を利用することで、内視鏡１０の操作内容を簡易に決定できる。

　実施例３における操作内容決定部２６２および操作制御部２６３によれば、例えば、撮像部１１０の視野内の管腔の一部が当該管腔の手前側に位置する襞により遮蔽されている場合に、当該襞に接触しないように先端部１２の位置及び向きを変化させつつ先端部１２を当該管腔に接近させるような挿入操作を実現できる。また操作内容決定部２６２および操作制御部２６３によれば、例えば、撮像部１１０の視野内の管腔が腸壁の裏側に隠れた位置にある場合に、当該腸壁の側方に先端部１２を回り込ませた後で先端部１２を当該管腔に接近させるような挿入操作を実現できる。

（実施例４）
　実施例４の操作選択モデル２６５は、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するＣＮＮにおける各結合係数（重み）をディープラーニング等の学習手法で学習させることにより作成された学習済みモデルである。実施例４の操作選択モデル２６５の生成にあたり、腸管またはコロンモデルの内部を過去に内視鏡で撮影した内視鏡画像である学習用画像と、当該学習用画像により示される状況に最も適した操作内容が１２個の操作内容のうちのどれであるかを示すラベルと、を含む教師データを用いた機械学習が行われる。

　ここで１２個の操作内容には、アングル操作ＵＰＳと、アングル操作ＤＯＳと、アングル操作ＬＥＳと、アングル操作ＲＩＳと、アングル操作ＵＲＳと、アングル操作ＵＬＳと、アングル操作ＤＬＳと、アングル操作ＤＲＳと、押し操作ＰＳＳと、引き操作ＰＬＳと、アングル維持操作ＡＭＳと、先端部１２を複数方向に向けて管腔を探索させるための探索操作ＳＥＳと、が含まれる。

　教師データの作成時、識者が、学習用画像を見て、当該学習用画像に示される状況において最も行われうる一つの操作内容を、上記した１２個の操作内容の中から主観的に選択し、選択した操作内容のラベルを、当該学習用画像に付与する。このラベル付与作業が多数の過去の内視鏡画像に対して実施されることで、教師データが作成される。

　以下、学習用画像およびラベルを含む教師データの例を示す。
　図１５は、教師データの例を示す。図１５に示す学習用画像には、いずれも探索操作を示す「探索操作ＳＥＳのラベル」が付与される。図１５に示す学習用画像は、これから行う内視鏡操作として、湾曲部１３を複数方向に湾曲させて複数方向を撮影させるべきことを判断された画像である。
　実施例４の操作選択モデル２６５は、少なくとも図５～図１５に示す教師データを用いて機械学習することにより生成される。

　操作内容決定部２６２は、学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデル２６５に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を決定する。具体的に操作内容決定部２６２は、画像取得部２６１において取得された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとして操作選択モデル２６５のニューラルネットワークの入力層に入力する。実施例４の操作選択モデル２６５は、内視鏡１０の操作内容として選択され得る１２個の操作内容のそれぞれに対応する１２個の尤度を、ニューラルネットワークの出力層から出力する。操作内容決定部２６２は、出力データに含まれる１２個の尤度の中で最も高い１つの尤度に対応する操作内容を、内視鏡１０の操作内容の選択結果として得ることができる。

　実施例４において操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを操作選択モデル２６５に入力して処理させることにより、先端部１２の向きを挿入部１１の挿入軸に対して直交する８方向に向けるための操作と、先端部１２を前進または後退させるための操作と、先端部１２の向きを現在の向きに維持させるための操作と、先端部１２の近傍の管腔を探索するための操作とを含む１２個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている。

　操作制御部２６３は、操作内容決定部２６２において決定した操作内容に基づいて、内視鏡１０の動作を制御する機能を有する。このとき操作制御部２６３は、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報のうちの少なくとも１つに基づき、決定された操作内容における動作量を設定してもよい。操作制御部２６３は、操作内容決定部２６２により決定された操作内容と、当該操作内容における動作量とに応じた動作制御を行うための動作制御信号を生成し、駆動制御部２４０に出力する。

　実施例４の作用について説明する。
　操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを、実施例４の操作選択モデル２６５に入力して処理させることにより、内視鏡１０の操作に係る１２個の操作内容の中から一の操作内容を決定する。

　実施例４において操作制御部２６３は、操作内容決定部２６２により決定された操作内容がアングル操作ＵＰＳ、アングル操作ＤＯＳ、アングル操作ＬＥＳ、アングル操作ＲＩＳ、アングル操作ＵＲＳ、アングル操作ＵＬＳ、アングル操作ＤＬＳ、及び、アングル操作ＤＲＳのいずれかである場合に、当該操作内容における動作量として、湾曲部１３の湾曲角度ＣＤＳを設定する。そして操作制御部２６３は、湾曲部１３を湾曲角度ＣＤＳだけ湾曲させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお操作制御部２６３は、湾曲部１３を湾曲させる制御に加えて、挿入部１１の回転角度ＲＤＳを設定し、挿入部１１を回転角度ＲＤＳだけ回転させる制御を実行させる動作制御信号を生成してもよい。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が押し操作ＰＳＳである場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＥＳを設定する。そして操作制御部２６３は、挿入部１１を移動量ＭＥＳだけ前進させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお移動量ＭＥＳは、腸管内に挿入されている挿入部１１を安全に前進させることが可能な範囲内の値として設定されることが好ましい。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が引き操作ＰＬＳである場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＦＳを設定する。そして操作制御部２６３は、挿入部１１を移動量ＭＦＳだけ後退させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。なお移動量ＭＦＳは、腸管内に挿入されている挿入部１１を安全に後退させることが可能な範囲内の値として設定されることが好ましい。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容がアングル維持操作ＡＭＳである場合に、湾曲部１３の湾曲角度を現在の湾曲角度に維持する制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が探索操作ＳＥＳである場合に、当該操作内容における動作量として、挿入部１１の移動量ＭＧＳを設定する。そして操作制御部２６３は、挿入部１１を移動量ＭＧＳだけ後退させてから先端部１２を複数の方向に向ける制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。このとき操作制御部２６３は、先端部１２を４つ又は８つの方向に向ける制御を実行させる動作制御信号を生成してよい。探索操作ＳＥＳに関する処理では、先端部１２を複数方向に向け、それぞれの方向で撮影された内視鏡画像から管腔を見つける処理が実施される。

　なお実施例４においては、操作制御部２６３が、挿入形状検出装置３０から出力される挿入形状情報と、外力情報取得装置４０から出力される外力情報の少なくとも１つに基づいて動作量を設定するが、記憶媒体２４に予め格納された設定値を読み込んで動作量を設定するものであってもよい。

　以上、実施例４によれば、操作内容決定部２６２が、内視鏡画像に基づいて、内視鏡１０の操作に係る１２個の操作内容の中から、識者が選択する可能性の高い操作内容と同じ操作内容を選択できる。また実施例４によれば、操作制御部２６３が、選択された操作内容における動作量を設定して、内視鏡１０を動作制御するための動作制御信号を生成できる。したがって実施例４によれば、学習済みモデルである操作選択モデル２６５を利用することで、内視鏡１０の操作内容を簡易に決定できる。

　なお実施例１～４では、教師データが、アングル操作を示すラベルや、押し操作を示すラベルを含んでよいことを説明した。教師データはさらに、挿入部１１を挿入軸周りに捻る操作である捻り操作を示すラベル、具体的には左捻り操作を示すラベルおよび／または右捻り操作を示すラベルを含んでよい。

（実施例５）
　実施例１～４においては、内視鏡画像と、操作内容を示すラベルとを含む教師データを用いて、操作選択モデル２６５を機械学習により生成した。実施例５では、操作内容と、その操作内容における動作量の組み合わせに対してラベルを設定して、操作選択モデル２６５を機械学習により生成する。

　実施例５の操作選択モデル２６５は、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するＣＮＮにおける各結合係数（重み）をディープラーニング等の学習手法で学習させることにより作成された学習済みモデルである。実施例５の操作選択モデル２６５の生成にあたり、腸管またはコロンモデルの内部を過去に内視鏡で撮影した内視鏡画像である学習用画像と、当該学習用画像により示される状況に最も適した操作内容が１２個の操作内容のうちのどれであるかを示すラベルと、を含む教師データを用いた機械学習が行われる。

　ここで１２個の操作内容には、アングル操作ＵＰＳと、アングル操作ＤＯＳと、アングル操作ＬＥＳと、アングル操作ＲＩＳと、アングル操作ＵＲＳと、アングル操作ＵＬＳと、アングル操作ＤＬＳと、アングル操作ＤＲＳと、移動量が相対的に大きい押し操作ＰＳＳ＿ＡＬと、移動量が相対的に小さい押し操作ＰＳＳ＿ＡＳと、引き操作ＰＬＳと、探索操作ＳＥＳと、が含まれる。

　以下、学習用画像およびラベルを含む教師データの例を示す。
　図１６（ａ）は、大腸の曲がりが小さい状態を撮影した学習用画像を示し、図１６（ｂ）は、大腸の曲がりが大きい状態を撮影した学習用画像を示す。図１６（ａ）（ｂ）のいずれの学習用画像に対しても、識者は、これから行う内視鏡操作として、先端部１２を前進させるべきことを判断する。

　このとき識者は、図１６（ａ）の学習用画像に対して、挿入部１１を比較的長い距離前進できると判断する。一方で、図１６（ｂ）の学習用画像に対しては、挿入部１１を長い距離前進させることができず、比較的短い距離だけ前進させることを判断する。そこで図１６（ａ）に示す学習用画像には、移動量を５ｃｍとする押し操作を示す「押し操作ＰＳＳ＿ＡＬのラベル」が付与され、図１６（ｂ）に示す学習用画像には、移動量を２ｃｍとする押し操作を示す「押し操作ＰＳＳ＿ＡＳのラベル」が付与される。

　実施例３において、図１３に示す学習用画像には、いずれも押し操作を示す「押し操作ＰＳＳのラベル」が付与されていたが、実施例５では、図１３に示す学習用画像に、「押し操作ＰＳＳ＿ＡＬのラベル」または「押し操作ＰＳＳ＿ＡＳのラベル」のいずれかが付与される。
　実施例５の操作選択モデル２６５は、少なくとも図５～図１２，図１４～図１６に示す教師データを用いて機械学習することにより生成される。

　操作内容決定部２６２は、学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデル２６５に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を決定する。具体的に操作内容決定部２６２は、画像取得部２６１において取得された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとして操作選択モデル２６５のニューラルネットワークの入力層に入力する。実施例５の操作選択モデル２６５は、内視鏡１０の操作内容として選択され得る１２個の操作内容のそれぞれに対応する１２個の尤度を、ニューラルネットワークの出力層から出力する。操作内容決定部２６２は、出力データに含まれる１２個の尤度の中で最も高い１つの尤度に対応する操作内容を、内視鏡１０の操作内容の選択結果として得ることができる。

　実施例５の作用について説明する。
　操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを、実施例５の操作選択モデル２６５に入力して処理させることにより、内視鏡１０の操作に係る１２個の操作内容の中から一の操作内容を決定する。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が押し操作ＰＳＳ＿ＡＬである場合に、挿入部１１を５ｃｍだけ前進させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。これにより進退制御部２４１は、挿入部１１を５ｃｍ前進させるための進退制御信号を生成して、進退機構１４１を駆動する。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が押し操作ＰＳＳ＿ＡＳである場合に、挿入部１１を２ｃｍだけ前進させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。これにより進退制御部２４１は、挿入部１１を２ｃｍ前進させるための進退制御信号を生成して、進退機構１４１を駆動する。

　以上のように実施例５では、挿入部１１の押し操作と、当該押し操作による移動量の組み合わせに対してラベルを設定し、教師データとして機械学習に利用した。なお動作量に関して押し操作を２つのクラスに分けたが、３つ以上のクラスに分けてもよい。

　また押し操作だけでなく、アングル操作と、当該アングル操作による回転角度の組み合わせに対してラベルを設定し、教師データとして機械学習に利用してもよい。このように実施例５では、操作内容と、当該操作内容における動作量との組み合わせにラベルを設定した教師データを用いて、操作選択モデル２６５を生成する。これにより操作選択モデル２６５を利用することで、内視鏡１０の操作内容および動作量を簡易に決定できる。

（実施例６）
　一般的に大腸内視鏡検査は、短時間で終わらせることが患者への負担の観点から望ましい。そのため安全な状況下では無駄なく迅速な挿入操作を実行することが望ましいが、一方で、大腸の状態によっては慎重な操作が必要となる。そこで実施例６では、操作内容と、その操作内容における動作速度の組み合わせに対してラベルを設定して、操作選択モデル２６５を機械学習により生成する。

　実施例６の操作選択モデル２６５は、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するＣＮＮにおける各結合係数（重み）をディープラーニング等の学習手法で学習させることにより作成された学習済みモデルである。実施例６の操作選択モデル２６５の生成にあたり、腸管またはコロンモデルの内部を過去に内視鏡で撮影した内視鏡画像である学習用画像と、当該学習用画像により示される状況に最も適した操作内容が１２個の操作内容のうちのどれであるかを示すラベルと、を含む教師データを用いた機械学習が行われる。

　ここで１２個の操作内容には、アングル操作ＵＰＳと、アングル操作ＤＯＳと、アングル操作ＬＥＳと、アングル操作ＲＩＳと、アングル操作ＵＲＳと、アングル操作ＵＬＳと、アングル操作ＤＬＳと、アングル操作ＤＲＳと、移動速度が相対的に速い押し操作ＰＳＳ＿ＳＨと、移動速度が相対的に遅い押し操作ＰＳＳ＿ＳＬと、引き操作ＰＬＳと、探索操作ＳＥＳと、が含まれる。

　以下、学習用画像およびラベルを含む教師データの例を示す。
　図１７（ａ）は、異常が生じていない部位を撮影した学習用画像を示し、図１７（ｂ）は、粘膜炎症などの異常が生じている部位を撮影した学習用画像を示す。図１７（ａ）（ｂ）のいずれの学習用画像に対しても、識者は、これから行う内視鏡操作として、先端部１２を前進させるべきことを判断する。

　このとき識者は、図１７（ａ）の学習用画像に対して、挿入部１１を比較的速い速度で前進させてよいと判断する。一方で、図１７（ｂ）の学習用画像に対しては、挿入部１１を慎重に前進させることが必要であり、比較的遅い速度で前進させることを判断する。そこで図１７（ａ）に示す学習用画像には、移動速度を５ｃｍ／秒とする押し操作を示す「押し操作ＰＳＳ＿ＳＨのラベル」が付与され、図１７（ｂ）に示す学習用画像には、移動速度を２ｃｍ／秒とする押し操作を示す「押し操作ＰＳＳ＿ＳＬのラベル」が付与される。

　実施例３において、図１３に示す学習用画像には、いずれも押し操作を示す「押し操作ＰＳＳのラベル」が付与されていたが、実施例６では、図１３に示す学習用画像に、「押し操作ＰＳＳ＿ＳＨのラベル」または「押し操作ＰＳＳ＿ＳＬのラベル」のいずれかが付与される。
　実施例６の操作選択モデル２６５は、少なくとも図５～図１２，図１４、図１５、図１７に示す教師データを用いて機械学習することにより生成される。

　操作内容決定部２６２は、学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデル２６５に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を決定する。具体的に操作内容決定部２６２は、画像取得部２６１において取得された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとして操作選択モデル２６５のニューラルネットワークの入力層に入力する。実施例６の操作選択モデル２６５は、内視鏡１０の操作内容として選択され得る１２個の操作内容のそれぞれに対応する１２個の尤度を、ニューラルネットワークの出力層から出力する。操作内容決定部２６２は、出力データに含まれる１２個の尤度の中で最も高い１つの尤度に対応する操作内容を、内視鏡１０の操作内容の選択結果として得ることができる。

　実施例６の作用について説明する。
　操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを、実施例６の操作選択モデル２６５に入力して処理させることにより、内視鏡１０の操作に係る１２個の操作内容の中から一の操作内容を決定する。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が押し操作ＰＳＳ＿ＳＨである場合に、挿入部１１を５ｃｍ／秒の速度で前進させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。これにより進退制御部２４１は、挿入部１１を５ｃｍ／秒の速度で前進させるための進退制御信号を生成して、進退機構１４１を駆動する。なお駆動時間については、予め所定時間（たとえば１秒）に定められていてよい。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が押し操作ＰＳＳ＿ＳＬである場合に、挿入部１１を２ｃｍ／秒の速度で前進させる制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。これにより進退制御部２４１は、挿入部１１を２ｃｍ／秒の速度で前進させるための進退制御信号を生成して、進退機構１４１を駆動する。なお駆動時間については、予め所定時間に定められていてよい。

　以上のように実施例６では、挿入部１１の押し操作と、当該押し操作による動作速度の組み合わせに対してラベルを設定し、教師データとして機械学習に利用した。なお動作速度に関して押し操作を２つのクラスに分けたが、３つ以上のクラスに分けてもよい。

　また押し操作だけでなく、アングル操作と、当該アングル操作による動作速度の組み合わせに対してラベルを設定し、教師データとして機械学習に利用してもよい。このように実施例６では、操作内容と、当該操作内容における動作速度との組み合わせにラベルを設定した教師データを用いて、操作選択モデル２６５を生成する。これにより操作選択モデル２６５を利用することで、内視鏡１０の操作内容および動作速度を簡易に決定できる。

（実施例７）
　内視鏡１０の自動挿入制御においては、先端部１２を前進させたときに、先端部１２に加わる腸管からの抵抗力（外力）に応じて、実施中の動作を中止または変更するように制御されることが好ましい。先端部１２に作用する外力が大きい場合、先端部１２が襞などの構造物を押している可能性があるため、外力が所定の制御閾値を超えると、先端部１２の前進を停止されて、先端部１２が後退させられる。このように前進動作には、前進動作を中止または変更するための制御閾値が定められている。

　一方、腸狭窄が生じている場合は、腸管が狭くなっているため、先端部１２に加わる抵抗力は高くなるが、内視鏡観察のためには、先端部１２を前進させる必要がある。そこで実施例７では、狭窄しているか否かに応じて、先端部１２に印加される抵抗力の制御閾値を異ならせる自動挿入制御を実現するための操作選択モデル２６５を機械学習により生成する。

　実施例７の操作選択モデル２６５は、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当するＣＮＮにおける各結合係数（重み）をディープラーニング等の学習手法で学習させることにより作成された学習済みモデルである。実施例７の操作選択モデル２６５の生成にあたり、腸管またはコロンモデルの内部を過去に内視鏡で撮影した内視鏡画像である学習用画像と、当該学習用画像により示される状況に最も適した操作内容が１２個の操作内容のうちのどれであるかを示すラベルと、を含む教師データを用いた機械学習が行われる。

　ここで１２個の操作内容には、アングル操作ＵＰＳと、アングル操作ＤＯＳと、アングル操作ＬＥＳと、アングル操作ＲＩＳと、アングル操作ＵＲＳと、アングル操作ＵＬＳと、アングル操作ＤＬＳと、アングル操作ＤＲＳと、相対的に小さい抵抗力を前進停止の制御閾値とする押し操作ＰＳＳ＿ＴＳと、相対的に大きい抵抗力を前進停止の制御閾値とする押し操作ＰＳＳ＿ＴＬと、引き操作ＰＬＳと、探索操作ＳＥＳと、が含まれる。

　以下、学習用画像およびラベルを含む教師データの例を示す。
　図１８（ａ）は、狭窄が生じていない管腔を撮影した学習用画像を示し、図１８（ｂ）は、狭窄が生じている管腔を撮影した学習用画像を示す。図１８（ａ）（ｂ）のいずれの学習用画像に対しても、識者は、これから行う内視鏡操作として、先端部１２を前進させるべきことを判断する。

　このとき識者は、図１８（ａ）の学習用画像に対して、挿入部１１を通常の制御閾値を用いて前進制御してよいと判断する。一方で、図１８（ｂ）の学習用画像に対しては、挿入部１１をやや強めの前進力で管腔を広げながら前進させる必要があり、通常の前進制御における前進停止の制御閾値を高くすることを判断する。そこで先端部１２が受ける抵抗力Ｆが制御閾値を超えると前進を停止する前進制御において、図１８（ａ）に示す学習用画像には、制御閾値をＦ１とする押し操作を示す「押し操作ＰＳＳ＿ＴＳのラベル」が付与され、図１８（ｂ）に示す学習用画像には、制御閾値をＦ２（＞Ｆ１）とする押し操作を示す「押し操作ＰＳＳ＿ＴＬのラベル」が付与される。

　実施例３において、図１３に示す学習用画像には、いずれも押し操作を示す「押し操作ＰＳＳのラベル」が付与されていたが、実施例７では、図１３に示す学習用画像に、「押し操作ＰＳＳ＿ＴＳのラベル」または「押し操作ＰＳＳ＿ＴＬのラベル」のいずれかが付与される。
　実施例７の操作選択モデル２６５は、少なくとも図５～図１２，図１４、図１５、図１８に示す教師データを用いて機械学習することにより生成される。

　操作内容決定部２６２は、学習用画像と、学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデル２６５に、画像取得部２６１において取得した内視鏡画像から取得される入力データを入力することで、１つ以上の操作内容を決定する。具体的に操作内容決定部２６２は、画像取得部２６１において取得された内視鏡画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとして操作選択モデル２６５のニューラルネットワークの入力層に入力する。実施例７の操作選択モデル２６５は、内視鏡１０の操作内容として選択され得る１２個の操作内容のそれぞれに対応する１２個の尤度を、ニューラルネットワークの出力層から出力する。操作内容決定部２６２は、出力データに含まれる１２個の尤度の中で最も高い１つの尤度に対応する操作内容を、内視鏡１０の操作内容の選択結果として得ることができる。

　実施例７の作用について説明する。
　操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像から取得される入力データを、実施例６の操作選択モデル２６５に入力して処理させることにより、内視鏡１０の操作に係る１２個の操作内容の中から一の操作内容を決定する。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が押し操作ＰＳＳ＿ＴＳである場合に、前進制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。操作制御部２６３は、先端部１２にかかる外力を監視し、外力がＦ１を超えると、進退制御部２４１に前進制御の停止指示信号を出力する。

　操作制御部２６３は、操作内容決定部２６２により決定された操作内容が押し操作ＰＳＳ＿ＴＬである場合に、前進制御を実行させる動作制御信号を生成して、駆動制御部２４０へ出力する。操作制御部２６３は、先端部１２にかかる外力を監視し、外力がＦ２を超えると、進退制御部２４１に前進制御の停止指示信号を出力する。

　以上のように実施例７では、挿入部１１の押し操作と、当該押し操作による制御閾値の組み合わせに対してラベルを設定し、教師データとして機械学習に利用した。なお制御閾値に関して押し操作を２つのクラスに分けたが、３つ以上のクラスに分けてもよい。また押し操作だけでなく、アングル操作と、当該アングル操作における制御閾値の組み合わせに対してラベルを設定し、教師データとして機械学習に利用してもよい。

　以上、本発明を実施形態および複数の実施例をもとに説明した。これらの実施形態および実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例１～７で説明した操作選択モデル２６５は、それぞれ組み合わせて使用することも可能である。

　たとえば実施例５では、操作内容と、その操作内容における動作量の組み合わせに対してラベルを設定して教師データとして使用すること、実施例６では、操作内容と、その操作内容における操作速度の組み合わせに対してラベルを設定して教師データとして使用することを説明した。変形例では、操作内容と動作量と動作速度の組み合わせに対してラベルを設定して、教師データとして使用し、操作選択モデル２６５を生成してもよい。

　また操作内容を決定するための第１操作選択モデル２６５ａと、第１操作選択モデル２６５ａを用いて決定された操作内容における動作量（または動作速度）を決定するための第２操作選択モデル２６５ｂとを生成して、第１操作選択モデル２６５ａと第２操作選択モデル２６５ｂとを組み合わせて使用してもよい。この場合、第２操作選択モデル２６５ｂは、第１操作選択モデル２６５ａを生成するために用いた各クラスの教師データ群を細分化した教師データを用いて生成されてよい。

　実施形態では、学習モデルとして近年のDeep Neural Network における最も基本的かつ安定した手法の一つであるＣＮＮを説明したが、より複雑なネットワークモデルを用いてもよい。例えば内視鏡画像に加えて、数値化された内視鏡挿入形状情報を入力に用いたマルチモーダルなネットワークモデルを構築することも可能である。このようにすることで、内視鏡画像のみならず内視鏡の挿入状況を判定条件に加えた制御を実現することが可能となる。

　実施例では基本操作であるアングル操作、押し操作、引き操作、探索操作のラベルを設定したが、“捻り操作”、“送気操作”、“送水操作”、“吸引操作”にラベルを設定した教師データを生成して、操作選択モデル２６５を機械学習により生成してもよい。

　なお、操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像に基づき管腔の深部方向を検出する管腔深部方向検出部と、内視鏡画像に基づき、内視鏡の先端部の進行が他の方向よりも容易である方向を判断する進行容易方向判断部と、を有してもよく、操作内容決定部２６２は、前記進行容易方向判断部における判断結果と前記管腔深部方向検出部における検出結果に基づき、前記操作内容を決定してもよい。

　さらに進行容易方向判断部は、前記管腔深部方向検出部において検出された管腔深部方向に進行した場合において進行の障害となる障害物が存在するか否かを判断する障害有無判断部と、を有してもよく、前記進行容易方向判断部は、前記障害有無判断部における判断結果に基づいて、前記内視鏡の先端部の進行が他の方向よりも容易である方向を判断してもよい。この場合、障害物の例としては、管腔の粘膜またはヒダ等が該当する。例えば、管腔深部方向に進行した際に粘膜と内視鏡先端部が衝突すると判断される場合に障害物が存在すると判断してよい。

　なお障害物がない進行方向のうち、どの方向を他の方向よりも容易であると判断するかについては、障害物がない方向のうち、内視鏡画像により内視鏡の先端部が過去に進行してきた方向を進行容易方向としてもよい。

　また、前記進行容易方向判断部において判断された方向と前記管腔深部方向検出部において検出された方向とがなす角度に基づいて前記操作内容を決定してもよい。例えば、前記進行容易方向判断部において判断された方向と前記管腔深部方向検出部において検出された方向とがなす角度を角度Ｘとしたとき、進行方向の角度ＹをＹ＝X/2としてその方向に進行してもよい。つまり前記進行容易方向判断部において判断された方向と前記管腔深部方向検出部において検出された方向の二等分線を構成する方向に進行してもよい。また、進行方向は、前記進行容易方向判断部において判断された方向と前記管腔深部方向検出部において検出された方向によるベクトルの合成ベクトルが示す方向であってもよい。また、管腔深部方向検出部における検出結果に基づく方向ベクトルＡと、進行容易方向判断部における方向ベクトルＢとの合成ベクトルＣの方向に進行を行ってもよいし、さらには、方向ベクトルＡ、Ｂにそれぞれ重みづけa,bを行い、合成ベクトルＣ＝1/2(a*Ａ+b*Ｂ)の方向に進んでもよい。

　なお、操作内容決定部２６２は、画像取得部２６１において取得した内視鏡画像に基づき管腔の深部形状を認識する管腔深部形状認識部を有し、認識した管腔深部形状に基づいて操作内容およびその動作量または動作速度を決定してもよい。また操作内容決定部２６２は、内視鏡が所定の制御閾値以上の抵抗力を受けた際に操作内容を変更する操作内容変更部を有し、前記操作内容変更部は前記管腔深部の形状に基づき、前記操作内容変更部が操作を変更する前記抵抗力の制御閾値を変更してもよい。

　本発明は、内視鏡を自動操作する技術分野に利用できる。

１・・・内視鏡システム、２・・・内視鏡制御装置、１０・・・内視鏡、１１・・・挿入部、１２・・・先端部、１３・・・湾曲部、１４・・・可撓管部、１６・・・操作部、１７・・・ユニバーサルコード、１８・・・ソースコイル、２０・・・処理装置、２２・・・プロセッサ、２４・・・記憶媒体、３０・・・挿入形状検出装置、４０・・・外力情報取得装置、５０・・・入力装置、６０・・・表示装置、１１０・・・撮像部、１４１・・・進退機構、１４２・・・湾曲機構、１４３・・・ＡＷＳ機構、１４４・・・回転機構、２１０・・・光源部、２２０・・・画像処理部、２３０・・・コイル駆動信号生成部、２４０・・・駆動制御部、２４１・・・進退制御部、２４２・・・湾曲制御部、２４３・・・ＡＷＳ制御部、２４４・・・回転制御部、２５０・・・表示制御部、２６０・・・動作制御部、２６１・・・画像取得部、２６２・・・操作内容決定部、２６３・・・操作制御部、２６４・・・駆動判定部、２６５・・・操作選択モデル、３１０・・・受信アンテナ、３２０・・・挿入形状情報取得部。

Claims

　被検体内に挿入されている内視鏡が撮影した内視鏡画像を取得する画像取得部と、
　前記画像取得部において取得した内視鏡画像に基づき、所定の複数の操作内容の中から１つ以上の操作内容を決定する操作内容決定部と、
　前記操作内容決定部において決定した操作内容に基づいて前記内視鏡の動作を制御する制御部と、を有し、
　前記操作内容決定部は、過去に撮影された内視鏡画像である学習用画像と前記学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデルに、前記画像取得部において取得した内視鏡画像から取得される入力データを入力することで、前記１つ以上の操作内容を決定する、
　ことを特徴とする内視鏡制御装置。
　教師データは、前記学習用画像と、内視鏡の湾曲部を曲げる操作を示すラベルを含む、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　教師データは、前記学習用画像と、内視鏡の先端部を前進させる操作を示すラベルまたは後退させる操作を示すラベルを含む、
　ことを特徴とする請求項２に記載の内視鏡制御装置。
　教師データは、前記学習用画像と、内視鏡の先端部を複数方向に向けて管腔を探索させる操作を示すラベルを含む、
　ことを特徴とする請求項３に記載の内視鏡制御装置。
　教師データは、前記学習用画像と、操作内容と当該操作内容における動作量の組み合わせを示すラベルを含む、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　教師データは、前記学習用画像と、操作内容と当該操作内容における動作速度の組み合わせを示すラベルを含む、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　教師データは、前記学習用画像と、操作内容と当該操作内容における制御閾値の組み合わせを示すラベルを含む、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　前記操作内容決定部は、操作選択モデルに前記入力データを入力して処理を行うことにより、先端部の向きを挿入軸に対して直交する方向として設定された４方向に向けるための操作を含む４個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　前記操作内容決定部は、操作選択モデルに前記入力データを入力して処理を行うことにより、先端部の向きを挿入軸に対して直交する方向として設定された４方向に向けるための操作と、前記先端部の向きを現在の向きに維持させるための操作と、を含む５個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　前記操作内容決定部は、操作選択モデルに前記入力データを入力して処理を行うことにより、先端部の向きを挿入軸に対して直交する方向として設定された８方向に向けるための操作を含む８個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　前記操作内容決定部は、操作選択モデルに前記入力データを入力して処理を行うことにより、先端部の向きを挿入軸に対して直交する方向として設定された８つの方向に向けるための操作と、前記先端部の向きを現在の向きに維持させるための操作と、を含む９個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　前記操作内容決定部は、操作選択モデルに前記入力データを入力して処理を行うことにより、先端部の向きを挿入軸に対して直交する方向として設定された８つの方向に向けるための操作と、内視鏡挿入部を前進させるための操作と、前記内視鏡挿入部を後退させるための操作と、を含む１０個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　前記操作内容決定部は、操作選択モデルに前記入力データを入力して処理を行うことにより、先端部の向きを挿入軸に対して直交する方向として設定された８つの方向に向けるための操作と、内視鏡挿入部を前進させるための操作と、前記内視鏡挿入部を後退させるための操作と、前記先端部の向きを現在の向きに維持させるための操作と、前記被検体内における前記先端部の近傍の管腔を探索するための操作と、を含む１２個の操作内容の中から選択した一の操作内容を示す選択結果を得るように構成されている、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　前記操作内容決定部は、操作選択モデルに前記入力データを入力して処理を行うことにより、先端部の向きを挿入軸に対して直交する方向として設定された４つの方向に向けるための操作と、前記先端部の向きを現在の向きに維持させるための操作と、を含む５個の操作内容に対し、さらに、内視鏡挿入部を挿入軸周りに回転させるための操作、前記先端部の前方へ気体を噴出させるための操作、前記先端部の前方へ液体を噴出させるための操作、及び、前記先端部の近傍に存在する物体を吸引させるための操作のうちの少なくとも１つの操作内容を加えた各操作内容の中から一の操作内容を選択して選択結果を得るように構成されている、
　ことを特徴とする請求項１に記載の内視鏡制御装置。
　内視鏡の動作を制御する方法であって、
　被検体内に挿入されている内視鏡が撮影した内視鏡画像を取得し、
　過去に撮影された内視鏡画像である学習用画像と前記学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデルに、前記取得した内視鏡画像から取得される入力データを入力することで、前記内視鏡に対する１つ以上の操作内容を決定し、
　決定した操作内容に基づいて前記内視鏡の動作を制御する、
　内視鏡制御方法。
　コンピュータに、
　被検体内に挿入されている内視鏡が撮影した内視鏡画像を取得する機能と、
　過去に撮影された内視鏡画像である学習用画像と前記学習用画像を撮影した内視鏡に対する操作内容を示すラベルとを教師データとして用いた機械学習により生成された１つ以上の操作選択モデルに、前記取得した内視鏡画像から取得される入力データを入力することで、前記内視鏡に対する１つ以上の操作内容を決定する機能と、
　決定した操作内容に基づいて前記内視鏡の動作を制御する機能と、
　を実現させるためのプログラム。