JP7300514B2 - 内視鏡挿入制御装置、内視鏡の作動方法及び内視鏡挿入制御プログラム - Google Patents

Description

本発明は、内視鏡挿入部の挿入を確実かつ容易にする内視鏡挿入制御装置、内視鏡の作動方法及び内視鏡挿入制御プログラムに関する。

従来より、細長の挿入部を屈曲した体腔内に挿入することにより、体表面を切開することなく体腔内深部の臓器などを観察したり、必要に応じて内視鏡挿入部の処置具チャンネル内に挿通した処置具を用いて各種の治療や処置などをしたりする医療用の内視鏡が広く利用されている。

術者は、臓器等の観察のために、内視鏡挿入部を手等によって体腔内に挿入させる。しかし、内視鏡挿入部が挿入される体腔内の管路は弾力性を有しており、管路の屈曲部分等において、内視鏡挿入部を押し込む力によって管路が撓み、内視鏡挿入部が円滑に前進しないことがある。

このため内視鏡の挿入操作は熟練を要する。特に大腸の内視鏡挿入手技については、腸管が長く複雑な走行形態を示すこと、また、横行結腸やＳ状結腸部は体腔に固定されておらず可動する状態であるため挿入が難しく、内視鏡の挿入状況によっては患者に苦痛を与える可能性があることもあり熟練が必要であることが知られている。そこで、日本国特許第３６４５２２３号公報においては、挿入操作を容易にする内視鏡湾曲装置が提案されている。この提案では、挿入部の先端に設けられた撮像手段からの画像によって暗部を検出して管腔の中心を検出し、挿入部に設けられた湾曲部を、管腔の中心を向くように、湾曲角度指示値を算出するようになっている。

また、近年、内視鏡を管腔内に自動挿入可能な自動挿入内視鏡も開発されている。このような自動挿入内視鏡では、管腔方向の検出等により内視鏡先端部を前進方向に向けて先端部を前進させることができる。これにより、内視鏡挿入部を例えば、大腸深部まで到達させることができる。

しかしながら、術者による挿入時、及び、自動挿入内視鏡による挿入時のいずれの場合においても、挿入部の挿入状態は、挿入部に対する術者が意図した挿入操作の通りに常に変化あるいは進行するわけではない。例えば、挿入部を挿入（前進）させる操作を行ったとしても、必ずしも挿入部の挿入状態が良好な前進状態になるとは限らず、例えば内視鏡のたわみや腸壁との摩擦等によりわずかな前進にとどまったり、脾湾局部においていわゆるステッキ現象が生じた際等には先端部はむしろ進行方向から遠ざかるように動くこともある。このような状況において内視鏡を前進させる操作を続けると、挿入状況のさらなる悪化を生じさせたり、被検者である患者に疼痛を与えることがある。したがって、意図した操作に対し内視鏡挿入部や先端部がどのような挙動を示したかを常に把握し、状況に応じた適切な操作をしなければ内視鏡挿入を完遂することは困難であるにもかかわらず、従来の内視鏡挿入支援装置や自動挿入内視鏡においては考慮されていない。このため、日本国特許第３６４５２２３号公報等の技術を利用したとしても、挿入が円滑に行われるとは限らないという問題があった。また、例えば特許公報４８５５９０１号のように内視鏡挿入形状からループやたわみを検出し、解除操作等をうながす内視鏡挿入支援装置も提案されているが、これらはループやたわみが生じてから支援情報を提供することはできるものの、医師や内視鏡自動挿入装置の一度の操作によるわずかな変化から挿入状況を検出することは難しく、 また、必ずしも挿入形状に現れない粘膜表面との摩擦等の状況を知ることもできないという問題がある。

本発明は、ある挿入操作に対する内視鏡挿入部の挙動を画像から評価し、その評価の結果に基づき次の操作を選択的に実行することにより、内視鏡の挿入を確実かつ円滑に行うことを効果的に支援することができる内視鏡挿入制御装置、内視鏡の作動方法及び内視鏡挿入制御プログラムを提供することを目的とする。

本発明の一態様の内視鏡挿入制御装置は、時系列に得られる内視鏡の挿入に関する複数の画像を取得する画像取得部と、複数の前記画像に基づき、前記内視鏡の挿入状態を分類する分類部と、分類結果を参照して、前記内視鏡の挿入に関する次の操作を選択する操作選択部と、を具備し、前記分類部が、前記挿入状態を前記内視鏡の先端部を前進させる操作に対して進んだという前進に関連する前記挿入状態に分類したときに、前記操作選択部は、前進させる操作を選択するための条件を緩める。

本発明の一態様の内視鏡の作動方法は、時系列に得られる内視鏡の挿入に関する複数の画像を画像取得部が取得することと、取得した複数の前記画像に基づき、前記内視鏡の挿入状態を、分類部が分類することと、分類結果を参照して、前記内視鏡の挿入に関する次の操作を操作選択部が選択することと、前記挿入状態を前記内視鏡の先端部を前進させる操作に対して進んだという前進に関連する前記挿入状態に前記分類部が分類したときに、前記操作選択部が前進させる操作を選択するための条件を緩める。

本発明の一態様の内視鏡挿入制御プログラムは、時系列に得られる内視鏡の挿入に関する複数の画像を取得する処理と、複数の前記画像に基づき、前記内視鏡の挿入状態を分類する処理と、分類結果を参照して、前記内視鏡の挿入に関する次の操作を選択する処理と、をコンピュータに実行させ、前記次の操作を選択する処理は、前記挿入状態を前記内視鏡の先端部を前進させる操作に対して進んだという前進に関連する前記挿入状態に分類したときに、前進させる操作を選択するための条件を緩める処理である。

本発明の第１の実施の形態に係る内視鏡挿入制御装置を含む内視鏡システムを示すブロック図。 内視鏡システム１の具体的な構成を説明するためのブロック図。 進退機構の一例を示す図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 時系列画像及びこれに付加されるラベルを説明するための説明図。 実施の形態の動作を説明するためのフローチャート。 本発明の第２の実施の形態を示すブロック図。 内視鏡検査の様子を示す説明図。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る内視鏡挿入制御装置を含む内視鏡システムを示すブロック図である。第１の実施の形態は内視鏡の挿入部を被検体の大腸に自動的に挿入する自動挿入内視鏡に適用したものである。

本実施の形態は、内視鏡挿入部の挿入のための複数種類の操作のうちの選択した操作に対して、期待した挿入状態が得られたか否か、どのような挿入状態が得られたかを、機械学習によって得たモデルを用いた識別器により判定するものである。この識別器は、連続的、経時的に撮像された複数の画像（時系列画像）についてそれぞれ挿入状態に応じたクラス分類を行って教師データとし、ニューラルネットワークを用いて教師データの学習を行うことにより生成されたモデルを用いるものであり、時系列画像から挿入状態に応じたクラスを推定する。

図１は内視鏡挿入制御装置を含む内視鏡システムの要部の構成を示す図である。内視鏡システム１は、例えば、図１に示すように、内視鏡１０と、本体装置２０と、挿入形状検出装置３０と、外力情報取得装置４０と、入力装置５０と、表示装置６０と、を有して構成されている。

内視鏡１０は、後述するように、挿入が自動化された自動挿入内視鏡である。内視鏡１０は被検体内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１６と、操作部１６から延設されたユニバーサルコード１７と、を有して構成されている。また、内視鏡１０は、ユニバーサルコード１７の端部に設けられたスコープコネクタ（不図示）を介し、本体装置２０に対して着脱自在に接続されるように構成されている。また、挿入部１１、操作部１６及びユニバーサルコード１７の内部には、本体装置２０から供給される照明光を伝送するためのライトガイド（不図示）が設けられている。

挿入部１１は、可撓性及び細長形状を有して構成されている。また、挿入部１１は、硬質の先端部１２と、湾曲自在に形成された湾曲部１３と、可撓性を有する長尺な可撓管部１４と、を先端側から順に設けて構成されている。また、先端部１２、湾曲部１３及び可撓管部１４の内部には、本体装置２０から供給されるコイル駆動信号に応じた磁界を発生する複数のソースコイル１８が挿入部１１の長手方向に沿って所定の間隔で配置されている。

先端部１２には、挿入部１１の内部に設けられたライトガイドにより伝送された照明光を被写体へ出射するための照明窓（不図示）が設けられている。また、先端部１２には、本体装置２０から供給される撮像制御信号に応じた動作を行うとともに、照明窓を経て出射される照明光により照明された被写体を撮像して撮像信号を出力するように構成された撮像部１１０（図１では不図示）が設けられている。

湾曲部１３は、後述の湾曲制御部２４２の制御に応じて湾曲することができるように構成されている。また、湾曲部１３は、操作部１６に設けられたアングルノブ（不図示）の操作に応じて湾曲することができるように構成されている。

操作部１６は、ユーザが把持して操作することが可能な形状を具備して構成されている。また、操作部１６には、挿入部１１の長手軸に対して交差する上下左右の例えば４方向や８方向に湾曲部１３を湾曲させるための操作を行うことができるように構成されたアングルノブが設けられていてもよい。また、操作部１６には、ユーザの入力操作に応じた指示を行うことが可能な１つ以上のスコープスイッチ（不図示）が設けられていてもよい。

本体装置２０は、１つ以上のプロセッサ２０Ｐと、記憶媒体２０Ｍと、を有して構成されている。また、本体装置２０は、ユニバーサルコード１７により内視鏡１０に対して着脱自在に接続されるように構成されている。また、本体装置２０は、挿入形状検出装置３０、入力装置５０及び表示装置６０の各部に対して着脱自在に接続されるように構成されている。また、本体装置２０は、入力装置５０からの指示に応じた動作を行うように構成されている。また、本体装置２０は、内視鏡１０から出力される撮像信号に基づいて内視鏡画像を生成するとともに、当該生成した内視鏡画像を表示装置６０に表示させるための動作を行うように構成されている。また、本体装置２０は、内視鏡１０の動作を制御するための様々な制御信号を生成して出力するように構成されている。また、本体装置２０は、内視鏡制御装置としての機能を具備し、挿入形状検出装置３０から出力される挿入形状情報（後述）を用いて挿入部１１の挿入操作に係る制御を行うように構成されている。また、本体装置２０は、挿入形状検出装置３０から出力される挿入形状情報に応じた挿入形状画像を生成するとともに、当該生成した挿入形状画像を表示装置６０に表示させるための動作を行うようになっていてもよい。

挿入形状検出装置３０は、挿入部１１に設けられたソースコイル１８の各々から発せられる磁界を検出するとともに、当該検出した磁界の強度に基づいて複数のソースコイル１８のそれぞれの位置を取得するように構成されている。また、挿入形状検出装置３０は、前述のように取得した複数のソースコイル１８の各々の位置を示す挿入形状情報を生成して本体装置２０及び外力情報取得装置４０へ出力するように構成されている。すなわち、挿入形状検出装置３０は、被検体内に挿入されている挿入部の挿入形状を検出して挿入形状情報を取得するとともに、当該取得した挿入形状情報を本体装置２０及び外力情報取得装置４０へ出力するように構成されている。

外力情報取得装置４０には、例えば、外力が加えられていない状態における挿入部１１の所定の複数の位置の曲率（または曲率半径）及び湾曲角度のデータと、想定されるあらゆる方向から挿入部１１の任意の位置に所定の外力を加えた状態で取得した当該所定の複数の位置の曲率（または曲率半径）及び湾曲角度のデータと、が格納されている。また、外力情報取得装置４０は、例えば、挿入形状検出装置３０から出力される挿入形状情報に基づいて挿入部１１に設けられた複数のソースコイル１８のそれぞれの位置を特定し、当該複数のソースコイル１８のそれぞれの位置における曲率（または曲率半径）及び湾曲角度に基づいて予め格納されている各種データを参照することにより、当該複数のソースコイル１８のそれぞれの位置における外力の大きさ及び方向を取得するように構成されている。また、外力情報取得装置４０は、前述のように取得した複数のソースコイル１８のそれぞれの位置における外力の大きさ及び方向を示す外力情報を生成して本体装置２０へ出力するように構成されている。

なお、本実施形態においては、外力情報取得装置４０が挿入部１１に設けられた複数のソースコイル１８のそれぞれの位置における外力を算出するための手法として、日本国特許第５８５１２０４号公報に開示された手法が用いられるものであってもよく、または、日本国特許第５８９７０９２号公報に開示された手法が用いられるものであってもよい。また、本実施形態においては、例えば、歪センサ、圧力センサ、加速度センサ、ジャイロセンサ、及び、無線素子等の電子部品が挿入部１１に設けられている場合に、外力情報取得装置４０が当該電子部品から出力される信号に基づいて複数のソースコイル１８のそれぞれの位置における外力を算出するように構成されていてもよい。

入力装置５０は、例えば、マウス、キーボード及びタッチパネル等のような、ユーザにより操作される１つ以上の入力インターフェースを有して構成されている。また、入力装置５０は、ユーザの操作に応じた指示を本体装置２０へ出力することができるように構成されている。

表示装置６０は、例えば、液晶モニタ等を有して構成されている。また、表示装置６０は、本体装置２０から出力される内視鏡画像等を画面上に表示することができるように構成されている。

図２Ａは内視鏡システム１の具体的な構成を説明するためのブロック図である。図２Ａを参照して、内視鏡１０及び本体装置２０の具体的な構成の一例について説明する。

内視鏡１０は、複数のソースコイル１８と、撮像部１１０と、進退機構１４１と、湾曲機構１４２と、ＡＷＳ（Ａｉｒ ｆｅｅｄｉｎｇ， Ｗａｔｅｒ ｆｅｅｄｉｎｇ， ａｎｄ Ｓｕｃｔｉｏｎ）機構１４３と、回転機構１４４と、を有して構成されている。

撮像部１１０は、例えば、照明光により照明された被写体からの戻り光が入射される観察窓と、当該戻り光を撮像して撮像信号を出力するカラーＣＣＤ等のイメージセンサと、を有して構成されている。

図２Ｂは進退機構１４１の具体的な構成の一例を示す図である。進退機構１４１は、例えば、挿入部１１を挟んで対向する位置に配置された一対のローラ１４１ａ，１４１ｂと、当該一対のローラ１４１ａ，１４１ｂを回転させるための回転駆動力を供給する図示しないモータと、を有して構成されている。また、進退機構１４１は、例えば、本体装置２０の進退制御部２４１から出力される進退制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて一対のローラ１４１ａ，１４１ｂを軸Ｃ１，Ｃ２を中心に回転させることにより、挿入部１１を矢印Ａ１方向に前進させるための動作、及び、挿入部１１を矢印Ａ２方向に後退させるための動作のうちのいずれか一方の動作を選択的に行うことができるように構成されている。

湾曲機構１４２は、例えば、湾曲部１３に設けられた複数の湾曲駒と、当該複数の湾曲駒に連結された複数のワイヤと、当該複数のワイヤを牽引するための回転駆動力を供給するモータと、を有して構成されている。また、湾曲機構１４２は、例えば、本体装置２０から出力される湾曲制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて複数のワイヤ各々の牽引量を変化させることにより、湾曲部１３を上下左右の４方向に湾曲させることができるように構成されている。

ＡＷＳ機構１４３は、例えば、内視鏡１０（挿入部１１、操作部１６及びユニバーサルコード１７）の内部に設けられた図示しない送気送水管路及び吸引管路の２つの管路と、当該２つの管路のうちの一方を開放しつつ他方を閉塞する動作を行う電磁弁と、を有して構成されている。また、ＡＷＳ機構１４３は、例えば、本体装置２０から出力されるＡＷＳ制御信号に応じ、送気送水管路を開放するための動作が電磁弁において行われた場合に、本体装置２０から供給される水及び空気のうちの少なくとも一方を含む流体を当該送気送水管路に流通させることができるとともに、先端部１２に形成された排出口から当該流体を排出することができるように構成されている。また、ＡＷＳ機構１４３は、例えば、本体装置２０から出力されるＡＷＳ制御信号に応じ、吸引管路を開放するための動作が電磁弁において行われた場合に、本体装置２０において発生した吸引力を当該吸引管路に作用させることができるとともに、先端部１２に形成された吸引口の付近に存在する物体を当該吸引力により吸引することができるように構成されている。

回転機構１４４は、例えば、可撓管部１４の基端側において挿入部１１を把持する把持部材と、当該把持部材を回転させるための回転駆動力を供給するモータと、を有して構成されている。また、回転機構１４４は、例えば、本体装置２０から出力される回転制御信号に応じてモータを駆動するとともに、当該モータから供給される回転駆動力に応じて把持部材を回転させることにより、挿入部１１を挿入軸（長手軸）周りに回転させることができるように構成されている。

本体装置２０は、図２Ａに示すように、光源部２１０と、画像処理部２２０と、コイル駆動信号生成部２３０と、挿入動作制御部２４０と、表示制御部２５０と、システム制御部２６０と、を有して構成されている。

光源部２１０は、例えば、１つ以上のＬＥＤまたは１つ以上のランプを光源として有して構成されている。また、光源部２１０は、挿入部１１が挿入される被検体内を照明するための照明光を発生するとともに、当該照明光を内視鏡１０へ供給することができるように構成されている。また、光源装置２１０は、システム制御部２６０から供給されるシステム制御信号に応じて照明光の光量を変化させることができるように構成されている。

撮像部１１０と共に画像取得部を構成する画像処理部２２０は、例えば、画像処理回路を有して構成されている。また、画像処理部２２０は、内視鏡１０から出力される撮像信号に対して所定の処理を施すことにより内視鏡画像を生成するとともに、当該生成した内視鏡画像を表示制御部２５０及びシステム制御部２６０へ出力するように構成されている。

コイル駆動信号生成部２３０は、例えば、ドライブ回路を有して構成されている。また、コイル駆動信号生成部２３０は、システム制御部２６０から供給されるシステム制御信号に応じ、ソースコイル１８を駆動させるためのコイル駆動信号を生成して出力するように構成されている。

挿入動作制御部２４０は、進退制御部２４１と、湾曲制御部２４２と、ＡＷＳ制御部２４３と、回転制御部２４４と、を有して構成されている。挿入動作制御部２４０は、システム制御部２６０から供給される挿入制御信号に基づき、内視鏡１０により実現される機能を制御するための動作を行うように構成されている。具体的には、挿入動作制御部２４０は、進退機構１４１により実現される進退機能、湾曲機構１４２により実現される湾曲機能、ＡＷＳ機構１４３により実現されるＡＷＳ機能、及び、回転機構１４４により実現される回転機能のうちの少なくとも１つの機能を制御するための動作を行うように構成されている。

進退制御部２４１は、システム制御部２６０から供給される挿入制御信号に基づき、進退機構１４１の動作を制御するための進退制御信号を生成して出力するように構成されている。具体的には、進退制御部２４１は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、進退機構１４１に設けられたモータの回転状態を制御するための進退制御信号を生成して出力するように構成されている。

湾曲制御部２４２は、システム制御部２６０から供給される挿入制御信号に基づき、湾曲機構１４２の動作を制御するための湾曲制御信号を生成して出力するように構成されている。具体的には、湾曲制御部２４２は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、湾曲機構１４２に設けられたモータの回転状態を制御するための湾曲制御信号を生成して出力するように構成されている。

ＡＷＳ制御部２４３は、システム制御部２６０から供給される挿入制御信号に基づいて図示しないポンプ等を制御することにより、水及び空気のうちの少なくとも一方を含む流体を内視鏡１０へ供給するための動作、及び、先端部１２の吸引口の付近に存在する物体を吸引するための吸引力を発生させるための動作のうちのいずれか一方の動作を選択的に行うことができるように構成されている。また、ＡＷＳ制御部２４３は、ＡＷＳ機構１４３の動作を制御するためのＡＷＳ制御信号を生成して出力するように構成されている。具体的には、ＡＷＳ制御部２４３は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、ＡＷＳ機構１４３に設けられた電磁弁の動作状態を制御するためのＡＷＳ制御信号を生成して出力するように構成されている。

回転制御部２４４は、システム制御部２６０から供給される挿入制御信号に基づき、回転機構１４４の動作を制御するための回転制御信号を生成して出力するように構成されている。具体的には、回転制御部２４４は、システム制御部２６０から供給される挿入制御信号に基づき、例えば、回転機構１４４に設けられたモータの回転状態を制御するための回転制御信号を生成して出力するように構成されている。

すなわち、挿入動作制御部２４０は、システム制御部２６０から供給される挿入制御信号に基づき、内視鏡１０の機能により実現される操作に対応する制御信号として、挿入部１１を前進させるための操作に相当する押し操作、挿入部１１を後退させるための操作に相当する引き操作、湾曲部１３を湾曲させて先端部１２の向きを挿入部１１の挿入軸（長手軸）に対して交差する方向（例えば上下左右の４方向及び各々の中間である４方向からなる８方向のうちの一の方向）に向けるための操作に相当するアングル操作、挿入部１１を挿入軸（長手軸）周りに回転させる操作に相当する捻り操作、先端部１２の前方へ気体を噴出させるための送気操作、先端部１２の前方へ液体を噴出させるための送水操作、及び、先端部１２の前方の組織等を吸引させるための吸引操作の各操作に対応する制御信号を生成して出力することができるように構成されている。

表示制御部２５０は、画像処理部２２０から出力される内視鏡画像を含む表示画像を生成するための処理を行うとともに、当該生成した表示画像を表示装置６０に表示させるための処理を行うように構成されている。また、表示制御部２５０は、システム制御部２６０から出力される挿入形状画像を表示装置６０に表示させるための処理を行うようになっていてもよい。

挿入形状検出装置３０は、図２Ａに示すように、受信アンテナ３１０と、挿入形状情報取得部３２０と、を有して構成されている。

受信アンテナ３１０は、例えば、複数のソースコイル１８のそれぞれから発せられる磁界を３次元的に検出するための複数のコイルを有して構成されている。また、受信アンテナ３１０は、複数のソースコイル１８のそれぞれから発せられる磁界を検出するとともに、当該検出した磁界の強度に応じた磁界検出信号を生成して挿入形状情報取得部３２０へ出力するように構成されている。

挿入形状情報取得部３２０は、受信アンテナ３１０から出力される磁界検出信号に基づき、複数のソースコイル１８のそれぞれの位置を取得するように構成されている。また、挿入形状情報取得部３２０は、前述のように取得した複数のソースコイル１８のそれぞれの位置を示す挿入形状情報を生成してシステム制御部２６０へ出力するように構成されている。

具体的には、挿入形状情報取得部３２０は、複数のソースコイル１８のそれぞれの位置として、例えば、挿入部１１が挿入される被検体の所定の位置（肛門等）が原点または基準点となるように仮想的に設定された空間座標系における複数の３次元座標値を取得する。また、挿入形状情報取得部３２０は、前述のように取得した複数の３次元座標値を含む挿入形状情報を生成してシステム制御部２６０へ出力する。そして、このような場合においては、例えば、挿入形状情報取得部３２０から出力される挿入形状情報に含まれる複数の３次元座標値各々に対応する複数の２次元座標値を取得するための処理と、当該取得した複数の２次元座標値を補間するための処理と、当該補間した複数の２次元座標値に応じた挿入形状画像を生成するための処理と、がシステム制御部２６０により行われる。

本実施形態においては、挿入形状検出装置３０の少なくとも一部が、電子回路として構成されていてもよく、または、ＦＰＧＡ等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、挿入形状検出装置３０が１つ以上のプロセッサ（ＣＰＵ等）を具備して構成されていてもよい。

システム制御部２６０は、挿入制御部２６１と、制御内容記録部２６２と、挿入形状分類部２６３と、操作データベース（ＤＢ）部２６４と、を有して構成されている。システム制御部２６０は、操作部１６及び入力装置５０からの指示等に応じた動作を行わせるためのシステム制御信号を生成して出力するように構成されている。

操作選択部としての挿入制御部２６１は、挿入形状検出装置３０、外力情報取得装置４０及び画像処理部２２０の出力に基づく自動挿入制御に従って、挿入部１１を所望の管腔内に挿入させるための各種操作（以下、基本挿入操作という）を制御するための制御信号（以下、基本制御信号という）を発生する。

挿入制御部２６１による基本挿入操作は、画像処理部２２０から出力される内視鏡画像、外力情報取得装置４０から出力される外力情報、及び、挿入形状検出装置３０により生成された挿入形状画像のうちの少なくとも１つに基づき、例えば、内視鏡１０の機能により実現される各基本挿入操作の中から選択されて実行されるものであり、例えば、上述した前進操作（押し操作）、後退操作（引き操作）、停止操作、アングル（湾曲）操作、回転操作（捻り操作）、送気操作、送水操作、及び、吸引操作等がある。挿入制御部２６１からの基本制御信号には、挿入基本操作を実行する際の移動量、移動速度、回転角度、回転方向、及び、操作力等に係る制御内容も含まれる。

制御内容記録部２６２は、所定の記録媒体により構成される。制御内容記録部２６２は、挿入制御部２６１による制御内容である基本挿入操作を逐次記録するようになっている。

ところで、自動挿入機能を有しない内視鏡の挿入手技において、熟練医は内視鏡に対する手元側の操作に対する先端側の反応を重要視している。例えば、右手の押し込み操作に対し先端部が押し込み量に相当する量、すなわち、医師の意図したものと同等の量だけ、抵抗なくスムーズに前進した場合には、術者は、内視鏡が良好な挿入状態であると認識する。この場合には、術者にとっては、次の操作においても前進を意図した押し込み操作を選択しやすくなる。

このような挿入が良好な状態は、"内視鏡のフリー感がある"、"手元と先端が一対一で動く関係"などと表現されることもある。以後、このような良好な挿入状態を"内視鏡がフリーな状態"と記載する。一方、押し込み量に対して十分な先端部の前進が得られない、あるいは先端部がほぼ動かない場合や、後退、回転等の前進とは異なる動きが生じた場合には、術者は粘膜との摩擦やたわみ等の前進阻害要因が生じていると判断する。この場合には、熟練医は、回転操作やジグリング操作（細かい前後運動を繰り返す）等の、これらの阻害要因を解消・低減するための操作を選択する。これらの判断は、主として画像や内視鏡から右手に伝わる力量・力感に基づくものであるが、特に前者が重要である。

例えば、αループ等のループが生じている場合には、右手の押し込み操作はあまり抵抗なく実施可能であっても、前進させるための力がループ部に吸収されてしまうことから、撮像部１１０によって、先端部１２がほとんど動かない画像（動画像）が得られたり、前進以外の例えば少量の回転等の動作を示す動画像が得られたりする。熟練医は、このような動画像から、操作に対して実際の挿入状態を判断することができる。

そこで、本実施の形態においては、このような熟練医と同様の判定処理が実行可能となるように学習した識別器を備えた挿入形状分類部２６３を採用する。挿入形状分類部２６３は、撮像部１１０により撮像され、画像処理部２２０から与えられる一連の画像に基づいて、挿入部１１がどのような挿入状態となったかを分類（推論とも呼ばれる）し、分類結果を得る。なお、一連の画像とは、所定フレームレートの動画像や、連続的に撮影されて得られる静止画像等の時系列に得られる複数の画像（時系列画像）である。時系列に得られる複数の画像であれば、全く変化しない複数の画像であっても、時系列画像である。

本実施の形態においては、挿入形状分類部２６３の分類によって、実行された基本挿入操作に対して、意図した挿入状態に対応する画像変化が得られたか否かを認識することができ、この認識結果に基づいて、次に続ける操作（以下、補助挿入操作という）として、スムーズな挿入に有効と考えられる操作を選択するようになっている。

操作ＤＢ部２６４には、基本挿入操作と分類の結果得られた挿入状態との関係に基づいて、スムーズな挿入に有効と考えられる補助挿入操作の情報が登録されている。挿入制御部２６１は、制御内容記録部２６２に記録されている基本挿入操作と、挿入形状分類部２６３から出力された挿入状態の分類結果とに基づいて操作ＤＢ部２６４を参照することで補助挿入操作を取得し、取得した補助挿入操作を実現するための制御信号（以下、補助制御信号という）を出力するように構成されている。

ここで、本実施形態における挿入状態分類部２６３の構成の具体例について説明する。

挿入状態分類部２６３は、例えば、入力層と、１つ以上の畳み込み層と、出力層と、を含む多層のニューラルネットワークに相当する３Ｄ－ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）における各３Ｄ結合係数（重み）をディープラーニング等の学習手法で学習させることにより作成された識別器を用いた処理を行うことにより、画像処理部２２０から出力された時系列画像から分類される挿入状態を複数の種類のうちの一の種類に分類した分類結果を得るように構成されている。ここで、３Ｄ－ＣＮＮは通常の（２次元の）画像の認識や分類に広く用いられているＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を３次元画像（ボクセル画像）あるいは時系列画像にも適用可能になるように拡張された手法である。

識別器の作成時においては、例えば、画像処理部２２０により生成されるものと同様の一連の複数の撮像画像（時系列画像）と、当該時系列画像から判断される挿入状態の所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いた機械学習が行われる。また、前述の所定の複数の種類各々は、例えば、被検体内への挿入部１１の挿入が開始された時点から当該被検体内における挿入部１１の挿入が終了する時点までの期間において形成され得る様々な挿入状態のうち、挿入部１１の挿入操作を手動あるいは自動で行う場合における操作の成否に係る判断に資するような特徴的な挿入状態あるいは操作の成否の種類として設定されている。

例えば、挿入状態として、単なる「前進」だけでなく、操作の成否も含む「良好な前進」や「停止」等の種類も考えられる。教師データの作成時においては、例えば、時系列画像による挿入部１１の挿入状態が所定の複数の種類のうちのどの種類に属するかを熟練者が目視で判断した際の判断結果に応じたラベルを当該一の時系列画像に付与するための作業が行われる。

図３Ａから図３Ｆは時系列画像及びこれに付加されるラベルを説明するための説明図である。図３Ａ～図３Ｆは、それぞれ、挿入部１１の挿入操作時において撮像部１１０により撮像されて得られた時系列画像であり、時刻ｔ１，…，ｔ５は、時系列画像を構成する各画像が取得される時刻を示している。時系列画像はある操作の開始から終了までの間において得られる複数の画像から、例えば一定の時間間隔毎に取得することができ、図３Ａ～図３Ｆはそのようにして生成された時系列画像の例を示している。また、時系列画像の生成においては、例えばアングル操作において機構にワイヤーや空気圧を使用している場合には、挿入部の動作が操作に対して若干の遅れを生ずることもあり得るため、操作の終了時刻に対して例えばさらに１～２秒程度の余裕時間を付加してもよい。なお、本実施の形態においては、以後の説明において一組の時系列画像は５枚の画像により構成されているものとする。

図３Ａは前進操作時の時系列画像を示しており、挿入部１１の先端は、管腔の深部方向に進行（前進）している。時間軸上でサンプリングされた各画像には、先端部１２が前進するにつれて遠方側に存在した管腔暗部や襞が徐々に近付いてくる、あるいは画像視野から外れていくような変化が現れる。

本実施の形態においては、教師データ作成者は大腸内視鏡挿入手技における熟練医あるいは熟練医と同様に内視鏡操作について十分な知識を備えた者であるものとする。
例えば、教師データ作成者は時系列画像に対して、「良好な前進」というラベルを付す。「良好な前進」は、例えば、挿入部１１を５ｃｍ前進させる操作を行った場合に、挿入部１１の先端が約５ｃｍ前進するような挿入状態を示す。なお、例えば、挿入部１１を５ｃｍ前進させる操作を行った場合に、挿入部１１の先端が約２．５ｃｍ前進するような挿入状態は、「不十分な前進」というラベルを付してもよい。また、例えば、挿入部１１を５ｃｍ前進させる操作を行った場合に、挿入部１１の先端の前進量が１ｃｍ以下の場合の挿入状態は、「停止」というラベルを付してもよい。
なお、上述した説明においては操作に対する前進量を定量的に表現しているが、実際の前進量は主観的に評価したものであってもよい。例えば進退機構１４１が挿入部１１を５ｃｍ前進させる操作を行った場合に得られた時系列画像に対し、教師データ作成者が十分に前進したと評価すれば「良好な前進」、ほとんど動いていない状態であれば「停止」、それらのいずれでもなく中間的と感じる前進量であれば「不十分な前進」というラベルを付すことができる。
また、このようにある操作に対する内視鏡の挙動をその変化量に応じて複数のクラスに分類することは、後退や回転についても可能であり、例えば「９０度未満の右回転」と「９０度以上の右回転」のように設定することで、操作に対してより正確な分類が可能となる。

図３Ｂは内視鏡がフリーな状態における後退操作時の時系列画像を示しており、挿入部１１の先端は、管腔の深部方向に対して後退している。例えば、教師データ作成者は、図３Ｂの時系列画像に対して、「後退」というラベルを付す。図３Ｃは内視鏡がフリーな状態における右回転操作時の時系列画像を示しており、挿入部１１の先端は、管腔の深部方向に対して右回転している。例えば、教師データ作成者は、図３Ｃの時系列画像に対して、「右回転」というラベルを付す。また、図３Ｄは内視鏡がフリーな状態における左回転操作時の時系列画像を示しており、挿入部１１の先端は、管腔の深部方向に対して左回転している。例えば、教師データ作成者は、図３Ｄの時系列画像に対して、「左回転」というラベルを付す。

なお、上記図３Ｂ～図３Ｄの説明では、内視鏡がフリーな状態における時系列画像を示すものと説明したが、内視鏡がフリーな状態であるか否かに拘わらず、上記図３Ｂ～図３Ｄの時系列画像に対して、「後退」、「右回転」、「左回転」というラベルが付される。図３Ａでは「良好な前進」というラベルを付すものと説明したが、これは、どのような操作を行った結果得られた時系列画像であるかを、教師データ作成者が知っているものとして付されたものである。

また、図３Ｅは、教師データ作成者により、「右方向への平行移動」というラベルが付された時系列画像を示しており、図３Ｆは、教師データ作成者により、「右方向へのアングル操作」というラベルが付された時系列画像を示している。なお、図３Ｆの例では、所定の一方向として右方向に湾曲部１３を湾曲させるアングル操作のみを示したが、例えば８方向のアングル操作を行った場合の時系列画像を用いて、８方向にそれぞれ対応したラベル付けを行ってもよい。

また、操作の結果、挿入部１１の先端が腸管側の変形を伴うような挿入状態となることもある。このような場合の時系列画像を用いることにより、「腸管側変形」というラベルを付すこともできる。なお、腸管側変形の種類としても、１つに限らない。

こうして、各時系列画像に挿入状態の種類に応じたラベル付けを行った教師データを用いて機械学習を行う結果、挿入状態を分類する識別器が得られる。学習においては、例えば、良好な前進、不十分な前進、後退、２方向の回転、８方向のアングル操作、及びほぼ動かない状態を示す停止の合計１４クラスを識別対象とし、教師データとして各クラスごとに約１０００組の時系列画像を用い、学習回数（epochと呼ばれる）を１００回とすればよい。このような識別器によれば、例えば、画像処理部２２０から出力された時系列画像に含まれる各画素の画素値等の多次元データを取得し、当該多次元データを入力データとしてニューラルネットワークの入力層に入力することにより、当該時系列画像から得られる挿入部１１の挿入状態の種類として分類され得る種類各々に対応する複数の尤度を当該ニューラルネットワークの出力層から出力される出力データとして取得することができる。また、この識別器を用いた処理によれば、例えば、ニューラルネットワークの出力層から出力される出力データに含まれる複数の尤度の中で最も高い一の尤度に対応する一の挿入状態の種類を、操作の結果得られる挿入部１１の挿入状態の分類結果として得ることができる。

すなわち、挿入状態分類部２６３は、画像処理部２２０からの時系列画像と、当該時系列画像から得られる挿入部１１の挿入状態を所定の複数の種類のうちの一の種類に分類した分類結果を示すラベルと、を含む教師データを用いて機械学習を行うことにより作成された識別器を用いた処理を行うことにより、被検体内への挿入操作の結果である挿入部１１の挿入状態の種類を示す分類結果を得るように構成されている。

上述したように、挿入制御部２６１は、分類の結果得られた挿入状態を挿入形状分類部２６３から読み出し、当該挿入状態を発生させた基本挿入操作を制御内容記録部２６２から読み出して、操作ＤＢ部２６４を参照することにより、補助挿入操作を取得する。なお、通常、内視鏡がフリーな状態のように、基本挿入操作に対して期待された挿入状態が得られた場合には、補助挿入操作は行われず、次の基本挿入操作が行われる。

なお、本実施形態においては、本体装置２０の少なくとも一部の機能が、プロセッサ２０Ｐにより実現されるようにすればよい。また、本実施形態においては、本体装置２０の少なくとも一部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、コンピュータが、本体装置２０の少なくとも一部の機能を実行させるためのプログラムをメモリ等の記憶媒体２０Ｍから読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

次に、このように構成された実施の形態の動作について図４を参照して説明する。図４は実施の形態の動作を説明するためのフローチャートである。

システム制御部２６０は、図４のステップＳ１において、基本挿入操作を選択する。システム制御部２６０は、選択した基本挿入操作の内容を制御内容記録部２６２に記録する（ステップＳ２）。挿入制御部２６１は、選択した基本挿入操作を実行するための基本制御信号を挿入動作制御部２４０に出力する。これにより、挿入動作制御部２４０は、内視鏡１０の各機構を制御して、基本挿入操作を実行する（ステップＳ３）。

撮像部１１０は、挿入時において被検体を撮像し（ステップＳ４）、撮像信号を画像処理部２２０に出力する。画像処理部２２０は、撮像信号に基づく撮像画像（内視鏡画像）を表示制御部２５０に与えて表示装置６０に表示させると共に、挿入形状分類部２６３にも与える。画像処理部２２０は、撮像部１１０によって撮像される画像を逐次挿入形状分類部２６３に与えており、挿入形状分類部２６３は、基本挿入操作時の撮像部１１０の先端の挿入状態に応じた時系列画像を取得する。

なお、システム制御部２６０は、ステップＳ６において、規定枚数に到達したか否かを判定し、規定枚数に到達していない場合には処理をステップＳ３に戻し、規定枚数に到達すると処理をステップＳ７に移行する。こうして、挿入形状分類部２６３は、ステップＳ７において、規定枚数の撮像画像により構成される時系列画像を用いて、挿入状態の分類を行う。この分類は、内視鏡１０の挿入に関する操作を実施した際に、その操作により生じる画像の変化がどのような挿入状態に対応するかを示すものである。

例えば、先端部１２を前進させる操作に対して撮像された複数枚の時系列画像から、操作に対して"先端部が良好に進んだ"、"十分には進まなかった"、"進まなかった"、"後退した（管腔が遠ざかった）"、"回転した"等の先端部１２の動きを分類により取得することができる。

挿入制御部２６１は、分類の結果得られた挿入状態を与える基本挿入操作の内容を制御内容記録部２６２から読み出し、分類により得た挿入状態と読み出した基本挿入操作とに基づいて操作ＤＢ部２６４を参照することにより、次の補助挿入操作を実行する。この場合には、挿入制御部２６１は、読み出した基本挿入操作と分類により得た挿入状態とが対応するか否か、即ち、期待された挿入状態が得られたか否かを判定する（ステップＳ８）。挿入制御部２６１は、期待された挿入状態が得られた場合には、処理をステップＳ１に戻して次の基本挿入操作の選択を行い、期待された挿入状態が得られない場合に、ステップＳ９において補助挿入操作の決定を行う。

例えば、先端部１２を前進させる操作に対して、"先端部が良好に進んだ"以外の判定結果が得られた場合には、補助挿入操作として、ジグリングや回転操作等、内視鏡１０の先端部１２がスムーズに進められるよう状況を好転させるための操作が選択されて実行される（ステップＳ１０）。

例えば、"進まない"という判定結果に対して、進むようにたわみ除去やジグリング等を選択する。また、例えば、"やや進む"という判定結果に対して、普通に次の操作を選択したり、回転の力を加えながら前進する操作等を選択したりする。また、例えば、"進んだ"という判定結果に対して、普通の次の操作を選択したり、前進量を増やしたり、前進条件を緩める、例えば管腔が多少視野中央から外れていても前進させる等の選択をしたりしてもよい。

システム制御部２６０は、先端部１２が目標部位に到達したか否かを判定し（ステップＳ１１）、目標部位に到達するまで、ステップＳ１～Ｓ１０の処理を繰り返す。

このように本実施の形態においては、時系列画像について内視鏡線部の管腔への挿入状態に応じたクラス分類を行う識別器を用いることにより、内視鏡挿入部の挿入のための複数種類の操作のうちの選択した操作に対して、期待した挿入状態が得られたか否か、どのような挿入状態が得られたかを判定することができる。この判定結果を利用して次の挿入操作を決定することにより、意図した操作に対し内視鏡挿入部や先端部がどのような挙動を示したかを把握することで、状況に応じた適切な操作を選択することができ、挿入状況の悪化や患者の疼痛を生じさせることを防止しながら内視鏡挿入部をより確実かつスムーズに管腔に挿入することが可能となる。また、この識別器は時系列画像について内視鏡線部の管腔への挿入状態に応じたクラス分類を行って教師データとし、ニューラルネットワークを用いて教師データの学習を行うことにより生成されたモデルを用いることで、高精度の分類結果を得ることができる。

（第２の実施形態）
図５は本発明の第２の実施の形態を示すブロック図である。また、図６は内視鏡検査の様子を示す説明図である。図５及び図６において図２Ａと同一の構成には同一符号を付して説明を省略する。

第１の実施の形態においては、自動挿入内視鏡に適用した例を説明した。本実施の形態は術者によって挿入部を被検体に挿入する一般的な内視鏡に適用したものである。

図５及び図６において、内視鏡システム４００は、内視鏡４１０と、本体装置４２０とを含む。図５に示すように、内視鏡４１０は、図２Ａの内視鏡１０から進退機構１４１、ＡＷＳ機構１４３及び回転機構１４４を省略している。また、本体装置４２０は、図２Ａの本体装置２０から、挿入動作制御部２４０が省略される。また、本体装置４２０は、図２Ａのシステム制御部２６０に代えて、挿入制御部２６１、制御内容記録部２６２及び操作ＤＢ部２６４を省略し、挿入形状画像生成部４６１及び湾曲制御部４６２を追加したシステム制御部４６０を採用する。

内視鏡４１０は、被検体である被検体Ｐの体腔内に挿入される細長で可撓性を有する挿入部４１０ｂと、挿入部４１０ｂの基端に接続され、各種操作器が設けられた操作部４１０ａと、操作部４１０ａと本体装置４２０とを接続するためのケーブル４１０ｃとを有している。

図６は挿入部４１０ｂが、検査用のベッド６上に横たわる被検体Ｐの肛門から大腸内に挿入されている状態を示している。図６では、術者Ｏが医療用トロリー４上の本体装置４２０にケーブル４１０ｃによって接続された内視鏡４１０の操作部４１０ａと挿入部４１０ｂを把持している様子を示している。

挿入部４１０ｂの構成は、図１の挿入部１１と同様であり、先端部に撮像部１１０が配設されると共に、挿入状態検出用の複数のソースコイル１８が配設される。また、挿入部４１０ｂの先端には湾曲部が設けられており、この湾曲部は、湾曲機構１４２によって湾曲駆動されるように構成されている。

操作部４１０ａには、入力装置５０を構成する湾曲ノブ４１０ｄが配設されている。湾曲ノブ４１０ｄを操作することによって、操作信号がシステム制御部４６０に供給される。システム制御部４６０の湾曲制御部４６２は、湾曲ノブ４１０ｄの操作に基づき、湾曲機構１４２の動作を制御するための湾曲制御信号を生成して出力するように構成されている。この湾曲制御信号によって、例えば、湾曲機構１４２に設けられたモータの回転状態が制御されて、湾曲ノブ４１０ｄの操作に応じた湾曲動作が行われる。こうして、術者は、湾曲ノブ４１０ｄを操作して湾曲部を湾曲させながら、挿入部４１０ｂを体腔内へ押し込むことができる。

挿入部４１０ｂの挿入状態は、公知の挿入形状検出装置３０によって観測される。ベッド６の近傍には、受信アンテナ３１０及び挿入形状情報取得部３２０によって構成される挿入形状検出装置３０が配設される。挿入形状検出装置３０は、ケーブル７ａによって本体装置４２０に接続されている。挿入形状検出装置３０は、挿入部４１０ｂの挿入形状情報を生成してシステム制御部４６０へ出力する。
一方、術者Ｏによる挿入操作は、操作検出センサ７０によって、検出可能である。操作検出センサ７０は、例えば、被検体Ｐの肛門近傍において、挿入部４１０ｂの進退方向および移動量と回転方向及び回転量を検出するようになっている。操作検出センサ７０は、検出結果を術者操作検出装置７１に出力する。
術者操作検出装置７１は、操作検出センサ７０の検出結果に基づいて、術者の各種操作の開始タイミングを判定する。また、術者操作検出装置７１は、操作の開始タイミングから所定の期間における操作検出センサ７０の検出結果に基づいて、術者の操作の種類を判定する。なお、この所定の期間は、挿入形状分類部２６３が用いるモデルを得るための学習時の時系列画像に応じて設定される。術者操作検出装置７１は、術者の操作の種類及び開始タイミングの情報をシステム制御部４６０に出力する。

システム制御部４６０の挿入形状画像生成部４６１は、例えば、挿入形状情報取得部３２０から出力される挿入形状情報に含まれる複数の３次元座標値各々に対応する複数の２次元座標値を取得するための処理と、当該取得した複数の２次元座標値を補間するための処理と、当該補間した複数の２次元座標値に応じた挿入形状画像を生成するための処理と、を実行する。挿入形状画像生成部４６１は、生成した挿入形状画像を表示制御部２５０に出力する。これにより、表示制御部２５０は、表示装置６０の表示画面上に、挿入形状画像を表示させることができる。

本実施の形態においては、システム制御部４６０は、例えば第１の実施の形態と同様の学習により得たモデルを用いた挿入形状分類部２６３を有している。システム制御部４６０は、術者操作検出装置７１が検出した術者の操作に対して、挿入形状分類部２６３の分類によって取得した挿入状態の種類を示す分類結果の情報を表示制御部２５０に出力するようになっている。これにより、表示制御部２５０は、表示装置６０の表示画面上に、挿入状態の種類を示す表示を表示させるようになっている。

次に、このように構成された実施の形態の動作について図７及び図８を参照して説明する。図７は第２の実施の形態の動作を説明するためのフローチャートである。図７において図４と同一の手順には同一符号を付して説明を省略する。また、図８は第２の実施の形態の動作を説明するための説明図である。

本実施の形態においては、自動挿入できない内視鏡４１０を採用していることから、図７では、図４のステップＳ１～Ｓ３は行われない。図７のステップＳ７において、挿入形状分類部２６３は、規定枚数の撮像画像により構成される時系列画像を用いて、挿入状態の分類を行う。この分類は、術者が行った内視鏡１０の挿入操作の結果により生じる画像の変化が、どのような挿入状態に対応するかを示すものである。挿入形状分類部２６３は、この分類結果を表示制御部２５０に与え、表示制御部２５０は、分類結果を表示装置６０の画面上に表示する（ステップＳ２２）。

図８はこの場合の表示例を示しており、表示装置６０の表示画面６０ａ上には、挿入形状画像生成部４６１により生成された挿入部１１の挿入形状画像６１が表示されると共に、分類結果の挿入状態の種類の表示６２が表示される。図８の例では、挿入状態の種類の表示６２は、「殆ど前進していません」という表示である。術者は、例えば前進操作を行っていたにも拘わらず、挿入部１１の先端が殆ど前進していないことを表示６２により容易に認識することができる。

このように本実施の形態においては、時系列画像について内視鏡線部の管腔への挿入状態に応じたクラス分類を行って教師データとし、ニューラルネットワークを用いて教師データの学習を行うことにより生成されたモデルを用いた識別器を採用することにより、内視鏡挿入部の挿入のための複数種類の操作のうちの選択した操作に対して、期待した挿入状態が得られたか否か、どのような挿入状態が得られたかを判定することができる。この判定結果を表示することにより、術者に対して、挿入状況を改善したり、患者の疼痛を生じさせることを防止したりすることが可能な次の挿入操作の選択のための有効な支援を行うことができる。

なお、上記実施の形態の挿入動作制御部２４０、システム制御部２６０、システム制御部４６０等は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能であり、この場合、有線や無線の通信回路が介在する。各実施の形態の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ－Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を経由して流通又は提供可能である。利用者は、通信ネットワークを経由してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることにより、容易に本実施の形態の内視鏡挿入制御装置を実現することができる。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
なお、以上の説明においては時系列画像から内視鏡挿入部の状態を検出する方法としてディープラーニングの一手法である３Ｄ－ＣＮＮを用いた場合について説明したが、例えば公知のオプティカルフローを利用した動画像認識等、時系列画像の識別において同様の効果を得られる各種の手法を用いることも可能である。
また、大腸以外の臓器として例えば小腸や気管支であったり、配管等の検査を行うための工業用内視鏡であっても本発明の内視鏡挿入制御装置及び方法は利用可能である。

Claims (12)

1. 時系列に得られる内視鏡の挿入に関する複数の画像を取得する画像取得部と、
   複数の前記画像に基づき、前記内視鏡の挿入状態を分類する分類部と、
   分類結果を参照して、前記内視鏡の挿入に関する次の操作を選択する操作選択部と、
   を具備し、
   前記分類部が、前記挿入状態を前記内視鏡の先端部を前進させる操作に対して進んだという前進に関連する前記挿入状態に分類したときに、前記操作選択部は、前進させる操作を選択するための条件を緩める
   ことを特徴とする内視鏡挿入制御装置。
2. 前記操作選択部は、前記内視鏡の先端部を前進させる操作を選択し、
   前記分類部は、前記画像取得部によって取得された、前記操作選択部により選択された先端部を前進させる操作の実行に応じた時系列の前記複数の画像に応じて、前記内視鏡の挿入状態を分類する
   ことを特徴とする請求項１に記載の内視鏡挿入制御装置。
3. 前記操作選択部は、前記前進させる操作を選択するための条件を緩める動作として、管腔が視野中央から外れていても前進する操作を選択する
   ことを特徴とする請求項１に記載の内視鏡挿入制御装置。
4. 前記分類部は、前記内視鏡の先端部の動きおよび／または前記内視鏡を挿入している被挿入体の動きに関する各々複数の分類のいずれかに前記複数の画像を分類する
   ことを特徴とする請求項１に記載の内視鏡挿入制御装置。
5. 前記操作選択部は、前記分類部の分類結果が前記操作選択部が以前に選択した操作が適切に実行された際に生ずる分類であるか否かに基づき操作を選択する
   ことを特徴とする請求項２に記載の内視鏡挿入制御装置。
6. 前記分類部は、前記操作選択部が前進に関する操作を選択した際に前記内視鏡が十分に前進したことに対応する第１の分類と十分に前進しなかったことに対応する第２の分類と
   を含み、
   前記操作選択部は、選択した操作が前記内視鏡の前進に関する操作であった場合に生成された前記分類部の分類結果が前記第１又は第２の分類のいずれであるかにより、選択する操作を変更する
   ことを特徴とする請求項２に記載の内視鏡挿入制御装置。
7. 前記分類部は、内視鏡により時系列に撮像されて得られる複数の画像について挿入状態に応じたクラス分類を行って教師データとし、ニューラルネットワークを用いて前記教師データを用いた学習を行うことにより取得したモデルを用いた識別部を有する
   ことを特徴とする請求項１に記載の内視鏡挿入制御装置。
8. 前記挿入状態の分類結果を表示する表示制御部を更に具備したことを特徴とする請求項１に記載の内視鏡挿入制御装置。
9. 内視鏡の挿入に関する操作を選択する操作選択部と、
   前記操作選択部が選択した操作を記録する記録部とを更に具備し、
   前記操作選択部は、前記記録部に記録された操作と前記挿入状態の分類結果とに基づいて、次の操作を選択する
   ことを特徴とする請求項１に記載の内視鏡挿入制御装置。
10. 前記記録部に記録された操作と前記挿入状態の分類結果との関係に基づいて、内視鏡の挿入に関する操作を登録したデータベースを更に具備したことを特徴とする請求項９に記載の内視鏡挿入制御装置。
11. 時系列に得られる内視鏡の挿入に関する複数の画像を画像取得部が取得することと、
    取得した複数の前記画像に基づき、前記内視鏡の挿入状態を、分類部が分類することと、
    分類結果を参照して、前記内視鏡の挿入に関する次の操作を操作選択部が選択することと、
    前記挿入状態を前記内視鏡の先端部を前進させる操作に対して進んだという前進に関連する前記挿入状態に前記分類部が分類したときに、前記操作選択部が前進させる操作を選択するための条件を緩めることを特徴とする内視鏡の作動方法。
12. 時系列に得られる内視鏡の挿入に関する複数の画像を取得する処理と、
    複数の前記画像に基づき、前記内視鏡の挿入状態を分類する処理と、
    分類結果を参照して、前記内視鏡の挿入に関する次の操作を選択する処理と、
    をコンピュータに実行させ、
    前記次の操作を選択する処理は、前記挿入状態を前記内視鏡の先端部を前進させる操作に対して進んだという前進に関連する前記挿入状態に分類したときに、前進させる操作を選択するための条件を緩める処理である
    ことを特徴とする内視鏡挿入制御プログラム。

Images