JP6632020B1 - 内視鏡画像処理システム - Google Patents

Abstract

【課題】内視鏡画像を用いた内視鏡動作の支援を可能とする技術を提供する。【解決手段】内視鏡画像処理システムは、取得された内視鏡画像を学習済みモデルに対して与えることで、その内視鏡画像を撮像した内視鏡の位置及び方向を示す位置情報及び向き情報を取得し、取得された位置情報及び向き情報と当該内視鏡画像とを関連付けて格納し、当該学習済みモデルは、教師用内視鏡画像を撮像した内視鏡の位置及び向きの正解をその教師用内視鏡画像に対して関連付けた複数の教師データに基づいて機械学習されている。【選択図】図３

Description

本発明は、内視鏡で撮像された画像（内視鏡画像と表記する）を処理する技術に関する。

医療現場において内視鏡は広く普及しており、上部消化管内視鏡、大腸内視鏡、気管支鏡、胸腔鏡、血管内視鏡、カプセル内視鏡など、臓器や使用目的に応じて多くの種類の内視鏡が提供されている。また、臓器内の映像を見ることができるだけでなく、組織採取やポリープ切除等を可能とする内視鏡もある。

内視鏡検査では、臓器内を損傷させることなく内視鏡の挿入部を臓器内に挿入させ、病変を逃さず発見しなければならないところ、そのような内視鏡手技には高度な技能が必要となる。
そこで、下記特許文献１では、各病理タイプに分類された学習用画像群を保存しておき、得られた内視鏡画像の識別対象領域の画像とその学習用画像群との特徴量マッチングによって各病理タイプを識別する内視鏡画像診断支援システムが提案されている。

特開２０１５−１４６９７０号公報

上述のシステムによれば、内視鏡画像における病変の発見精度を向上させることができる。
しかしながら、病変が発見可能に写る内視鏡画像を撮像するには、内視鏡を適切に動作させる必要がある。
一方で、研修医が内視鏡を適切に動作させる手技を習得しようとした場合、指導医の下で訓練を受けなければならず、指導医の負担の増加などの問題が生じている。また、医師が自身で操作する内視鏡の動作の良し悪しや自身の内視鏡手技の習熟度を自己判定できないといった問題もある。

本発明は、このような事情に鑑みてなされたものであり、内視鏡画像を用いた内視鏡動作の支援を可能とする技術を提供する。

本発明の一側面に係る内視鏡画像処理システムは、以下の構成を採用する。即ち、当該内視鏡画像処理システムは、管腔臓器内の内視鏡により撮像された内視鏡画像を取得する画像取得手段と、第一の学習済みモデルに対して当該取得された内視鏡画像を与えることで、その内視鏡画像を撮像した内視鏡の位置及び方向を示す位置情報及び向き情報を取得する第一モデル処理手段と、取得された位置情報及び向き情報と当該内視鏡画像とを関連付けて格納する格納手段とを備えており、当該第一の学習済みモデルは、教師用内視鏡画像を撮像した内視鏡の位置及び向きの正解をその教師用内視鏡画像に対して関連付けた複数の教師データに基づいて、機械学習されている。
当該内視鏡画像処理システムは、一つの装置であってもよいし、複数の装置であってもよい。
また、第一の学習済みモデルは、当該内視鏡画像処理システム内に設けられていてもよいし、外部に設けられていてもよい。
また、当該内視鏡画像処理システムでの処理対象となる内視鏡画像を撮像する内視鏡は、上部消化管内視鏡、大腸内視鏡、気管支鏡、胸腔鏡、血管内視鏡、カプセル内視鏡などであり、限定されない。
内視鏡画像に写る管腔臓器は、人体模型における臓器を模した臓器モデルであってもよいし、生体の実管腔臓器であってもよい。

本発明によれば、内視鏡画像を用いた内視鏡動作の支援を可能とする技術を提供することができる。

本実施形態に係る内視鏡手技トレーナーシステムの一部の外観を示す図である。 本実施形態に係る内視鏡手技トレーナーシステムの制御構成を概念的に示す図である。 制御部により実現されるソフトウェア構成を概念的に示すブロック図である。 ポジショニングＡＩモデルで用いられる領域位置データを説明するための食道、胃及び十二指腸の模式図である。 ポジショニングＡＩモデルで用いられる領域方向データを説明するための胃の輪切りの断面模式図である。 第一ガイドＡＩモデルで用いられる第一領域指定データを説明するための図である。 第二ガイドＡＩモデルで推論される第二領域指定データを説明するための図である。 内視鏡のガイド情報の表示例を示す図である。 観察ポイントのガイド表示の例を示す図である。 制御部の動作例を示すフローチャートである。 他の実施形態に係る内視鏡システムの制御構成を概念的に示す図である。

以下、本発明の実施形態について図面を用いて説明する。以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

以下、本発明の実施形態としての内視鏡手技トレーナーシステムについて説明する。
図１は、本実施形態に係る内視鏡手技トレーナーシステムの一部の外観を示す図である。
図２は、本実施形態に係る内視鏡手技トレーナーシステムの制御構成を概念的に示す図である。
本実施形態に係る内視鏡手技トレーナーシステム（以降、本システムと表記する）１は、主に、人体模型３、入出力パネル５、制御部１０などにより構成されており、内視鏡手技の個人学習及び個人訓練を可能とする。具体的には、本システム１では、訓練を受ける人（以降、トレーニーと表記する）は、人体模型３を用いて内視鏡手技を実際に訓練しながら、入出力パネル５等に出力されるガイド情報を参照することで内視鏡手技を自主学習することができる。
このように、本システム１は、研修医のようなトレーニーに対して内視鏡手技の指導を行うことができるため、指導医の負担を軽減することができる。
以下には、主に、上部消化管内視鏡の手技に関する構成を中心に説明するものとする。但し、本システム１により自主学習及び自主訓練が可能となる医療手技は、大腸内視鏡検査、小腸内視鏡検査、胆・膵内視鏡検査、これらの内視鏡治療の手技も含まれるし、その他の挿管に関する手技も含まれ得る。

〔人体模型〕
人体模型３は、訓練を受ける人（以降、トレーニーと表記する）により操作される人型モデルであり、人体外形及び内臓を模した形状を有している。本実施形態では、人体模型３は、図１に示されるように、人体全体の外形を模擬していると共に、内臓として、口腔、鼻腔、咽頭、喉頭、気管、食道、気管支、胃、及び十二指腸といった管腔臓器の形状を内部で模擬している。
人体模型３は、訓練目的の手技に対応する姿勢で台座部上に載置される。例えば、気管挿管の訓練時には、人体模型３は仰向け姿勢で台座部上に載置され、内視鏡手技の訓練時には、図１に示されるように、人体模型３は横向き姿勢で台座部上に載置される。

人体模型３の体外表面は、人体外形を模した皮膚シートに覆われており、頭部にはウィッグが装着されている。
皮膚シートは、シリコーンゴム等の柔軟性を有する素材により形成されている。ここでの柔軟性とは、折り曲げたとしても破断、損傷などを生じ難い特性を意味し、伸縮性及び弾性のいずれか一方又は両方の特性を含んでいてもよい。

人体模型３における皮膚シートの内側の内部構造は、体内器官構造や骨格ベース部などにより構成される。骨格ベース部は、人体模型３の形状の基礎となる骨組みを形成する構成要素群であり、金属や合成樹脂などの被訓練者による操作に耐え得る強度及び硬度を有する材質で形成される。骨格ベース部には、頭蓋骨、頸椎等に相当する骨格部材が含まれる。
体内器官構造は、管腔臓器を模した形状を有する構成要素群であり、任意の位置及び方法で骨格ベース部に連結固定されている。体内器官構造には、体内造形部（図示せず）が含まれる。

本実施形態において、体内造形部は、口腔、鼻腔、口腔、咽頭、喉頭、気管、食道、胃、十二指腸を模擬した口腔モデル、鼻腔モデル、咽頭モデル、喉頭モデル、気管モデル、食道モデル、胃モデル、及び十二指腸モデルを含む。
このような体内造形部は、シリコーンゴムのような生体の管腔臓器に近い柔軟性を有する素材により形成される。また、体内造形部は、管腔臓器をリアルに再現するには、可能な限り繋ぎ目をなくすように、柔軟性材料を用いて一体成形されることが好ましい。

このように、人体模型３では、骨格ベース部及び体内器官構造が生体を高精度に模擬していることが好ましいが、本実施形態は、人体模型３の具体的な形状や素材、製造方法等を限定するわけではない。本実施形態は、公知の様々な人体模型３を利用することができる。
例えば、訓練対象とする医療手技に応じて、人体模型３は、上半身だけの人体外形を模擬していてもよいし、体内造形部として、大腸、小腸、胆嚢、胆管等の消化管や、尿管、膀胱、尿道等の尿路系などの他の管腔臓器が模擬されていてもよい。

本実施形態では、体内造形部の所定の複数部位に、体内造形部内に挿入される内視鏡の存在を検出するための物体検出センサが設けられている。各物体検出センサは、内視鏡操作者に違和感を与えないように、挿入された内視鏡に接触しない位置（例えば、管腔臓器モデルの管腔を画定する内壁面よりも外側）にそれぞれ設けられる。本実施形態では、当該物体検出センサには、光電センサが利用されており、食道入口部、胃食道接合部、及び十二指腸下降脚部に設けられている。
但し、物体検出センサは、設けられなくてもよいし、本実施形態とは異なる部位に設けられてもよいし、その数も限定されない。また、物体検出センサによる物体検出原理も限定されない。

〔制御構成〕
制御部１０は、本システム１の制御を司る構成であり、ＰＣ（Personal Computer）のようないわゆるコンピュータであってもよいし、組込みシステムであってもよいし、制御基板であってもよい。
制御部１０は、入出力パネル５やスピーカ６等と共に、人体模型３が載置される台座部を持つ機器搭載台内に収容される。
制御部１０は、図２に示されるように、ハードウェア構成として、プロセッサ１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）ユニット１３等を有している。
プロセッサ１１は、一般的な一以上のＣＰＵ又はＭＰＵ（Micro Processing Unit）であってもよいし、それに替え又はそれと共に、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等であってもよい。

メモリ１２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）であり、補助記憶装置（ハードディスク等）を含んでもよい。メモリ１２には、本システム１の各種機能を実現する制御プログラムが格納される。制御プログラムには、ＡＩ（Artificial Intelligence）モデルも含まれる。
ここで、ＡＩモデルとは、機械学習（Machine Learning（ＭＬ））モデル、学習済みモデルとも表記可能であり、コンピュータプログラムとパラメータとの組合せ、或いは複数の関数とパラメータとの組合せとも表記可能である。
本実施形態は、教師有り機械学習のＡＩモデルであれば、そのＡＩモデルの構造や学習アルゴリズムを限定しない。例えば、ＡＩモデルは、入力層、中間層（隠れ層）及び出力層の各層において複数のノードがエッジで連結されている構造を持ち、各ノードの値がそのノードに接続される他のノードの値及びエッジの重み（パラ―メータ）から活性化関数で算出されるニューラルネットワーク（ＮＮ）又はディープニューラルネットワーク（ＤＮＮ）と呼ばれるモデルで実現されてもよい。また、本実施形態では、ＡＩモデルは、内視鏡画像を用いるため、畳み込みニューラルネットワーク（ＣＮＮ）で実現されてもよい。
本明細書における「ＡＩモデル」は、ニューラルネットワークで構築される場合で、かつ、入力層、中間層及び出力層を一つのニューラルネットワークの単位と捉えた場合に、一つのニューラルネットワークを指してもよいし、複数のニューラルネットワークの組合せを指してもよい。

入出力Ｉ／Ｆユニット１３は、プロセッサ１１で処理すべき又は処理された信号の入力又は出力を制御する機器であり、入出力パネル５等のユーザインタフェース装置、スピーカ６、センサ群７、内視鏡８等に接続される。内視鏡８やセンサ群７等と入出力Ｉ／Ｆユニット１３との接続形態は、有線のみならず、通信可能に無線で接続されていてもよい。また、入出力Ｉ／Ｆユニット１３は、他のコンピュータや機器との通信を行う通信ユニットを含んでもよく、可搬型記録媒体等にも接続され得る。

センサ群７は、人体模型３の内部又は外部に設けられた複数の各種センサであり、上述した物体検出センサを含む。センサ群７は、体内造形部の所定部位に設けられた圧力センサ、体内造形部の管腔内の気圧を検知する気圧センサなどの物体検出センサ以外のセンサを含んでもよい。
入出力パネル５は、機器搭載台の上方に設置されており、訓練メニュー、本システム１の動作モード、実施内容、評価結果などを表示する表示装置、及び表示装置に表示された画面を操作するための入力装置を含む。図１の例では、入出力パネル５は、表示装置と入力装置とが一体化されたタッチパネルとして実現されている。入出力パネル５の表示内容等については後述する。

本実施形態において入出力Ｉ／Ｆユニット１３に接続される内視鏡８は、上部消化管内視鏡である。上部消化管内視鏡は、先端部及び湾曲部を含む挿入部、先端部及び湾曲部に対して各種操作を行うための操作部、画像処理装置等から構成される。操作部には、アングルノブ（左右アングル及び上下アングル）、吸引ボタン、送気・送水ボタン、鉗子の挿入口等が設けられている。但し、入出力Ｉ／Ｆユニット１３に接続される内視鏡８は、上部消化管内視鏡以外の、大腸内視鏡、気管支鏡、胸腔鏡、血管内視鏡等であってもよい。
また、制御部１０は、図２に図示されていないハードウェア要素を含んでもよく、制御部１０のハードウェア構成は制限されない。

プロセッサ１１によりメモリ１２に格納される制御プログラムが実行されることにより、制御部１０は、センサ群７及び内視鏡８からの入力信号を受けつつ、入出力パネル５への表示出力、入出力パネル５からの入力情報の取得、スピーカ６からの音声出力制御等を行う。
当該制御プログラムは、出荷時に予め格納されてもいてもよいし、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆユニット１３を介してインストールされ、メモリ１２に格納されてもよい。

〔ソフトウェア構成〕
図３は、制御部１０により実現されるソフトウェア構成を概念的に示すブロック図である。
プロセッサ１１によりメモリ１２に格納される制御プログラムが実行されることにより、制御部１０は、図３に示されるようなソフトウェア構成を実現する。具体的には、制御部１０は、ソフトウェア構成として、画像処理モジュール２１、ＡＩ処理モジュール２２、格納処理モジュール２３、出力処理モジュール２４等を有している。画像処理モジュール２１は画像取得手段と表記することができ、ＡＩ処理モジュール２２は第一、第二又は第三モデル処理手段と表記することができ、格納処理モジュール２３は格納手段と表記することができ、出力処理モジュール２４は出力処理手段と表記することができる。
但し、図３に示される各ソフトウェア構成要素は、説明の便宜のために概念的にそれぞれ分けて示したものであるため、制御部１０で実現されるソフトウェア構成は、図３に示されるような各構成要素に明確に区分けされていなくてもよい。

本システム１は、トレーニーによる内視鏡手技の個人学習及び個人訓練を可能とするべく、上述のようなソフトウェア構成に基づく制御部１０の動作により、内視鏡８の位置及び向きの推定、及び内視鏡８のガイドを行う。
ここで「内視鏡の位置及び向き」とは、具体的には、人体模型３の管腔臓器モデル（ここでは主に食道モデル、胃モデル及び十二指腸モデル）内に挿入された内視鏡８の先端部に設けられた撮像素子の位置及び撮像方向を意味する。
内視鏡８のガイドでは、その時々で内視鏡８の先端部が何をすべきかを案内又は指導する情報が出力される。トレーニーは、本システム１で出力される内視鏡８のガイド情報を参照しながら、内視鏡８を操作することで、指導医なく、内視鏡手技を独自に学習及び訓練することができる。
以下、制御部１０で実行される「内視鏡の位置及び向きの推定」に係る処理、及び「内視鏡のガイド」に係る処理について詳述する。

制御部１０が当該処理を実行するにあたり、ポジショニングＡＩモデル３１、第一ガイドＡＩモデル３２、及び第二ガイドＡＩモデル３３がメモリ１２に格納されている。ポジショニングＡＩモデル３１、第一ガイドＡＩモデル３２、及び第二ガイドＡＩモデル３３は、第一、第二、又は第三の学習済みモデルと表記することができる。
ポジショニングＡＩモデル３１、第一ガイドＡＩモデル３２、及び第二ガイドＡＩモデル３３は、教師有りの機械学習アルゴリズムで学習済みのＡＩモデルである。以降、ポジショニングＡＩモデル３１は、Ｐ−ＡＩモデル３１と表記され、第一ガイドＡＩモデル３２は、Ｇ１−ＡＩモデル３２と表記され、第二ガイドＡＩモデル３３は、Ｇ２−ＡＩモデル３３と表記される。
制御部１０の上記処理を説明する前に、まず、これら各ＡＩモデルについて説明する。

Ｐ−ＡＩモデル３１は、内視鏡で撮像された画像である内視鏡画像を入力して、その内視鏡画像に対応する領域位置データ及び領域方向データを推論する画像分類タイプのＡＩモデルである。Ｐ−ＡＩモデル３１は、第一の学習済みモデルに相当する。
「領域位置データ」とは、管腔臓器を長軸方向に仮想的に区分けした複数の臓器領域の中からＰ−ＡＩモデル３１の推論結果に基づいて特定される一以上の各臓器領域を内視鏡８の位置情報としてそれぞれ識別し得るデータであり、管腔臓器内における内視鏡８の先端部の位置を特定するためのデータである。
「領域方向データ」とは、管腔臓器を長軸方向に仮想的に区分けした各臓器領域にそれぞれ仮想的に設定される三次元直交軸で示される複数方向（本実施形態では六方向）の中からＰ−ＡＩモデル３１の推論結果に基づいて特定される一以上の各方向を内視鏡８の方向情報としてそれぞれ識別し得るデータであり、管腔臓器内における内視鏡８の先端部の向きを特定するためのデータである。

図４は、ポジショニングＡＩモデル３１で用いられる領域位置データを説明するための食道、胃及び十二指腸の模式図であり、図５は、ポジショニングＡＩモデル３１で用いられる領域方向データを説明するための胃の輪切りの断面模式図である。
本実施形態では、食道、胃及び十二指腸からなる管腔臓器が、長軸方向に、口側食道部Ｅ０、胃側食道部Ｅ１、穹窿部Ｅ２、胃体部Ｅ３、胃角部Ｅ４、前庭部Ｅ５、十二指腸球部Ｅ６、十二指腸下行脚Ｅ７、及び下十二指腸角Ｅ８の各臓器領域に仮想的に区分けされる。なお、図４には、口側食道部Ｅ０及び下十二指腸角Ｅ８は図示されていない。
領域位置データは、これら複数の臓器領域の中からＰ−ＡＩモデル３１の推論結果に基づいて特定される一以上の各臓器領域を内視鏡８の位置情報としてそれぞれ識別し得るデータであり、例えば、Ｅ０からＥ８の数値或いは文字列で示される。

図５には、胃体部Ｅ３に仮想的に設定される三次元直交軸で示される六方向が示されている。具体的には、胃体部Ｅ３の輪切り断面における、後壁から前壁へ向かう方向（以降、前壁方向と表記する）Ｄ１、前壁から後壁へ向かう方向（以降、後壁方向と表記する）Ｄ２、大弯から小弯へ向かう方向（以降、小弯方向と表記する）Ｄ３、小弯から大弯へ向かう方向（以降、大弯方向と表記する）Ｄ４、食道側から十二指腸側へ向かう方向（以降、挿入方向と表記する）Ｄ５、十二指腸側から食道側へ向かう方向（以降、引き抜き方向と表記する）Ｄ６が示されている。
領域方向データは、臓器領域ごとの当該三次元直交軸で示される六方向の中からＰ−ＡＩモデル３１の推論結果に基づいて特定される一以上の各方向を識別し得るデータであり、例えば、Ｄ１からＤ６の数値或いは文字列で示される。三次元直交軸は、胃体部Ｅ３のみでなく、他の各臓器領域についてもそれぞれ仮想的に設定され、管腔臓器は直線状に延びているわけではないため、臓器領域ごとに設定される各方法はそれぞれ異なる場合もある。
また、領域方向データは、方向指定なしを示すデータを含んでもよい。

Ｐ−ＡＩモデル３１は、領域位置データの正解と領域方向データの正解とを教師用内視鏡画像に対して関連付けた複数の教師データに基づいて、機械学習されている。具体的には、複数の教師用内視鏡画像が準備され、各教師用内視鏡画像を撮像した内視鏡の位置及び方向が（例えば人により）上述した領域位置データ及び領域方向データを用いてそれぞれ特定され、特定された領域位置データ及び領域方向データ（正解データ）で各教師用内視鏡画像に対してタグ付けがなされることで、複数の教師データが生成される。Ｐ−ＡＩモデル３１は、このようにして生成された複数の教師データを用いて所定の機械学習アルゴリズムにより学習される。例えば、Ｐ−ＡＩモデル３１は、画像分類に適したＣＮＮの公知の学習アルゴリズムで学習される。

ここで、教師用内視鏡画像は、内視鏡手技に長けた熟練医師が人体模型３を用いて内視鏡手技を実際に行うことで収集することができる。一人の熟練医師による複数回の内視鏡手技により複数パターンの教師用内視鏡画像群が収集されてもよいし、複数人の熟練医師による複数回の内視鏡手技により複数パターンの教師用内視鏡画像群が収集されてもよい。
本実施形態では、人体模型３の管腔臓器モデルが用いられることで、当該教師用内視鏡画像を容易に収集することができると共に、領域位置データ及び領域方向データの正解データについても容易に特定することができる。

このように学習済みのＰ−ＡＩモデル３１は、人体模型３内に挿入された内視鏡８で撮像された画像である内視鏡画像が入力されると、管腔臓器の各臓器領域についての確率値及び三次元直交軸で示される六方向の各々の確率値をそれぞれ出力する。具体的には、入力された内視鏡画像が当該各領域（口側食道部Ｅ０、胃側食道部Ｅ１、穹窿部Ｅ２、胃体部Ｅ３、胃角部Ｅ４、前庭部Ｅ５、十二指腸球部Ｅ６、十二指腸下行脚Ｅ７、及び下十二指腸角Ｅ８）に分類される確率値、及び当該内視鏡画像が当該六方向（前壁方向Ｄ１、後壁方向Ｄ２、小弯方向Ｄ３、大弯方向Ｄ４、挿入方向Ｄ５、及び引き抜き方向D６）に分類される確率値がそれぞれ算出される。言い換えれば、各臓器領域の確率値は、その臓器領域（位置）に内視鏡８が存在している確度を示しており、各方向の確率値は、内視鏡８が向いている方向の確度を示している。

これにより、領域位置データは、Ｐ−ＡＩモデル３１の推論結果である臓器領域ごとの確率値に基づいて、所定閾値以上の確率値を持つ一以上の臓器領域を識別し得るデータ、或いは、最大確率値を持つ臓器領域を識別し得るデータとして取得される。領域方向データは、Ｐ−ＡＩモデル３１の推論結果である方向ごとの確率値に基づいて、所定閾値以上の確率値を持つ一以上の方向を識別し得るデータ、或いは、最大確率値を持つ方向を識別し得るデータとして取得される。

Ｇ１−ＡＩモデル３２は、内視鏡画像を入力して、その内視鏡画像に対応する第一領域指定データを推論する画像分類タイプのＡＩモデルである。Ｇ１−ＡＩモデル３２は、第二の学習済みモデルに相当する。
「第一領域指定データ」とは、Ｇ１−ＡＩモデル３２に入力される内視鏡画像内の或る画像領域を指定する（指し示す）データである。本実施形態では、第一領域指定データで指定される画像領域は、その内視鏡画像を撮像している内視鏡８が進むべきルートに対応する画像領域とされる。但し、第一領域指定データで指定される画像領域は、このような例に限定されず、内視鏡８で何かをすべき場所（ポイント）に対応する画像領域とされてもよい。例えば、観察すべきポイント（撮像記録すべき部位）に対応する画像領域、何らかの治療を施すべき或いは組織採取を行うべきポイント（部位）に対応する画像領域が第一領域指定データで指定されてもよい。
以降、内視鏡８で観察すべき或いは撮像記録すべき部位を観察ポイントと表記する場合がある。

図６は、第一ガイドＡＩモデル３２で用いられる第一領域指定データを説明するための図である。
Ｇ１−ＡＩモデル３２に入力される内視鏡画像は、予め決められたサイズ及び形状に正規化されており、図６に示されるように、予め決められた格子線で複数の単位画像領域に仮想的に区分けされる。図６の例では、縦５つ及び横５つの２５個の単位画像領域に区分けされている。
第一領域指定データでは、いずれか一つの単位画像領域、又は、上下、左右若しくは斜めに隣接するいずれか二つの単位画像領域が、画像領域として指定される。第一領域指定データは、例えば、「縦，横」の座標値で示される。例えば、縦の上から３番目で横の左から４番目の単位画像領域からなる画像領域を示す第一領域指定データは、「３，４」で示され、縦の上から２番目で横の左から３番目及び４番目の二つの単位画像領域からなる画像領域を示す第一領域指定データは、「２，３−２，４」で示される。
本実施形態では、各単位画像領域は、格子線で区切られた四角形状を有しているが、単位画像領域の形状や大きさは限定されず、円形状であっても、三角形状であってもよい。

Ｇ１−ＡＩモデル３２は、各教師用内視鏡画像に対して第一領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている。具体的には、複数の教師用内視鏡画像が準備され、各教師用内視鏡画像に関してその画像を撮像した内視鏡が進むべきルートに対応する画像領域が（例えば人により）それぞれ特定され、特定された画像領域を指定する第一領域指定データの正解で各教師用内視鏡画像に対してタグ付けがなされることで、複数の教師データが生成される。Ｇ１−ＡＩモデル３２は、このようにして生成された複数の教師データを用いて所定の機械学習アルゴリズムにより学習される。例えば、Ｇ１−ＡＩモデル３２は、Ｐ−ＡＩモデル３１と同様の画像分類に適したＣＮＮの公知の学習アルゴリズムで学習される。
教師用内視鏡画像の収集方法については、Ｐ−ＡＩモデル３１と同様であればよい。

このように学習済みのＧ１−ＡＩモデル３２は、人体模型３内に挿入された内視鏡８で撮像された画像である内視鏡画像が入力されると、その内視鏡画像における各画像領域についての確率値をそれぞれ出力する。例えば、Ｇ１−ＡＩモデル３２は、図６の格子線で区分けされた一つずつの単位画像領域に加え、左右に隣接する二つの単位画像領域の全組合せ、上下に隣接する二つの単位画像領域の全組合せ、及び斜めに隣接する二つの単位画像領域の全組合せのそれぞれの画像領域について、確率値を出力する。
つまり、各画像領域の確率値は、対象となる内視鏡画像の各画像領域が進むべきルート或いは何かをすべき場所である確度を示している。
これにより、領域指定データは、Ｇ１−ＡＩモデル３２の推論結果である画像領域ごとの確率値に基づいて、所定閾値以上の確率値を持つ一以上の画像領域を指定するデータ、或いは、最大確率値を持つ画像領域を指定するデータとして取得される。

Ｇ２−ＡＩモデル３３は、内視鏡画像を入力して、その内視鏡画像内において、予め決められたジョブ情報でタグ付けされた画像領域を検出する画像検出タイプのＡＩモデルである。これにより、後述するＡＩ処理モジュール２２は、Ｇ２−ＡＩモデル３３に対して内視鏡画像を与えることで、その内視鏡画像内において検出された画像領域を指定する第二領域指定データと、その第二領域指定データに対応するジョブ情報を取得することができる。Ｇ２−ＡＩモデル３３もまた第二の学習済みモデルに相当する。
「第二領域指定データ」は、内視鏡画像内の或る画像領域を指定する（指し示す）データである点において上述の第一領域指定データと同意である。しかしながら、ＡＩモデルのタイプが異なること、第二領域指定データにはジョブ情報が対応付けられることなどから、ここでは説明を分かり易くするために、第一領域指定データと区別して第二領域指定データと表記するものとする。第二領域指定データは、ＢｏｕｎｄｉｎｇＢｏｘと呼ばれることもある。
但し、後述の説明で「領域指定データ」と表記した場合には、第一領域指定データ又は第二領域指定データのいずれか一方又は両方を意味するものとする。
ここで第二領域指定データの「ジョブ情報」とは、第二領域指定データで指定される画像領域に対応するタグ情報であって、内視鏡８が進むべきルートを示す或いは内視鏡８で何かをすべき場所（ポイント）を示す情報である。例えば、ジョブ情報は、観察ポイントを示してもよいし、何らかの治療を施すべき或いは組織採取を行うべきポイント（部位）を示してもよい。

Ｇ２−ＡＩモデル３３は、各教師用内視鏡画像に対して、ジョブ情報がタグ付けされた第二領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている。具体的には、複数の教師用内視鏡画像が準備され、必要となるタグが準備される。ここでのタグは、上述のジョブ情報であり、内視鏡８が進むべきルートを示すタグ、観察ポイントを示すタグ、組織採取を行うべきポイントを示すタグ等が準備される。そして、各教師用内視鏡画像に関して当該準備されたタグ（ジョブ情報）に対応する画像領域があればその画像領域が（例えば人により）タグごとに指定されることで、複数の教師データが生成される。Ｇ２−ＡＩモデル３３は、このようにして生成された複数の教師データを用いて所定の機械学習アルゴリズムにより学習される。例えば、Ｇ２−ＡＩモデル３３は、画像検出に適したＣＮＮの公知の学習アルゴリズムで学習される。
教師用内視鏡画像の収集方法については、Ｐ−ＡＩモデル３１やＧ１−ＡＩモデル３２と同様であればよい。

図７は、第二ガイドＡＩモデル３３で推論される第二領域指定データを説明するための図である。
図７の例では、５つの画像領域Ｂ１、Ｂ２、Ｂ３、Ｂ４及びＢ５が検出されており、各画像領域をそれぞれ指定する５つの第二領域指定データが表されている。画像領域Ｂ１は、大弯ひだの観察ポイントを示すジョブ情報でタグ付けされており、画像領域Ｂ２は、胃角部の観察ポイントを示すジョブ情報でタグ付けされており、画像領域Ｂ４は、幽門の観察ポイントを示すジョブ情報でタグ付けされている。画像領域Ｂ５は、潰瘍の組織採取を示すジョブ情報でタグ付けされており、画像領域Ｂ３は、次に進むべきルートを示すジョブ情報でタグ付けされている。

このように学習済みのＧ２−ＡＩモデル３３は、人体模型３内に挿入された内視鏡８で撮像された画像である内視鏡画像が入力されると、その内視鏡画像内における、ジョブ情報で予めタグ付けされている画像領域ごとの検出結果と、検出された画像領域を指定する第二領域指定データとをそれぞれ出力する。画像領域ごとの検出結果は、画像領域ごとの存在確率値であってもよいし、画像領域ごとの検出の有無であってもよい。前者の場合には、所定閾値以上の存在確率値を持つ画像領域が検出された画像領域とされてもよい。
このように学習済みのＧ２−ＡＩモデル３３によれば、入力された内視鏡画像から、予めタグ付けされた複数の特定局所画像のいずれかと同一又は近似する画像領域が検出され、その検出された画像領域を指定する第二領域指定データと、それに対応する特定局所画像のタグ（ジョブ情報）とが取得される。

〔内視鏡の位置及び向きの推定〕
上述のような学習済みのＰ−ＡＩモデル３１を用いて、制御部１０は、内視鏡８の位置及び向きを推定する。以下、制御部１０により実行される内視鏡８の位置及び向きの推定に係る処理について詳述する。

制御部１０は、入出力Ｉ／Ｆユニット１３を介して接続されている内視鏡８の画像処理装置から、内視鏡８の先端部に設けられている撮像素子で撮像された映像信号を受信している。
画像処理モジュール２１は、その映像信号から得られる内視鏡映像の画像フレーム（内視鏡画像）を取得する。画像処理モジュール２１は、当該内視鏡映像を所定周期で間引いて内視鏡画像を逐次取得することもできる。
画像処理モジュール２１は、取得された内視鏡画像をＰ−ＡＩモデル３１の入力用に正規化する。例えば、画像処理モジュール２１は、取得された内視鏡画像に対してトリミングやサイズ調整を行うことができる。

ＡＩ処理モジュール２２は、画像処理モジュール２１で取得されかつ正規化された内視鏡画像をＰ−ＡＩモデル３１に入力することで、その内視鏡画像に対応する領域位置データ及び領域方向データを取得する。具体的には、Ｐ−ＡＩモデル３１は、入力された内視鏡画像に関して、管腔臓器の各臓器領域についての確率値、及び三次元直交軸で示される各方向についての確率値をそれぞれ算出する。例えば、口側食道部Ｅ０、胃側食道部Ｅ１、穹窿部Ｅ２、胃体部Ｅ３、胃角部Ｅ４、前庭部Ｅ５、十二指腸球部Ｅ６、十二指腸下行脚Ｅ７、及び下十二指腸角Ｅ８の各臓器領域についての確率値、並びに、前壁方向Ｄ１、後壁方向Ｄ２、小弯方向Ｄ３、大弯方向Ｄ４、挿入方向Ｄ５、及び引き抜き方向D６の各方向についての確率値がそれぞれ算出される。

ＡＩ処理モジュール２２は、Ｐ−ＡＩモデル３１の算出結果である臓器領域ごとの確率値に基づいて、最大確率値を持つ臓器領域を識別し得るデータを領域位置データとして取得し、更に、Ｐ−ＡＩモデル３１の算出結果である三次元直交軸で示される方向ごとの確率値に基づいて、最大確率値を持つ方向を識別し得るデータを領域方向データとして取得する。ここで、ＡＩ処理モジュール２２は、所定閾値以上の確率値を持つ一以上の臓器領域を識別し得るデータを領域位置データとして取得し、所定閾値以上の確率値を持つ一以上の方向を識別し得るデータを領域方向データとして取得することもできる。
本実施形態では、ＡＩ処理モジュール２２は、その領域位置データ及び領域方向データに関してそれぞれ算出された確率値も合わせて取得しておく。

格納処理モジュール２３は、ＡＩ処理モジュール２２により取得された領域位置データ及び領域方向データと、それらデータに対応する内視鏡画像とを関連付けてメモリ１２に格納する。格納処理モジュール２３は、後で再生可能となるように、領域位置データ及び領域方向データと内視鏡画像とを関連付けてメモリ１２に格納することもできるし、内視鏡画像の表示と共に、領域位置データ及び領域方向データで示される内視鏡８の位置情報及び向き情報を表示するために、双方を関連付けて一時的にメモリ１２に格納し、すぐに削除するようにしてもよい。

出力処理モジュール２４は、内視鏡８の画像処理装置から受信される映像信号に基づいて、入出力パネル５の表示装置に内視鏡映像を表示しながら、或る画像フレーム（内視鏡画像）が表示されるタイミングで、その内視鏡画像に関して取得された領域位置データ及び領域方向データで示される内視鏡８の位置情報及び向き情報を入出力パネル５の表示装置に表示する。
内視鏡８の位置情報及び向き情報は、文字で表示されてもよいし、管腔臓器の模式図に対して内視鏡８の位置及び向きを把握可能な表示を付すことで表示されてもよい。

〔内視鏡のガイド〕
上述のような学習済みのＧ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３を用いて、制御部１０は、内視鏡８のガイドを行う。以下、制御部１０により実行される内視鏡８のガイドに係る処理について詳述する。
内視鏡８のガイドに係る処理は、上述の内視鏡８の位置及び向きの推定に係る処理と並列に実行される。なお、画像処理モジュール２１による内視鏡画像の取得方法については上述のとおりである。

本実施形態では、ＡＩ処理モジュール２２は、画像処理モジュール２１で取得されかつ正規化された内視鏡画像をＧ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３の両方に入力する。これにより、Ｇ１−ＡＩモデル３２及び第二ガイドＡＩモデル３３が並列に実行される。
Ｇ１−ＡＩモデル３２は、入力された内視鏡画像における各画像領域についての確率値をそれぞれ算出する。例えば、Ｇ１−ＡＩモデル３２は、図６の格子線で区分けされた一つずつの単位画像領域に加え、左右に隣接する二つの単位画像領域の全組合せ、上下に隣接する二つの単位画像領域の全組合せ、及び斜めに隣接する二つの単位画像領域の全組合せのそれぞれの画像領域について、確率値を出力する。
Ｇ２−ＡＩモデル３３は、入力された内視鏡画像内における、ジョブ情報で予めタグ付けされている画像領域ごとの検出結果と、検出された画像領域を指定する第二領域指定データとをそれぞれ算出する。例えば、画像領域ごとの検出結果は、所定閾値以上の存在確率値を持つか否かに基づいて、各画像領域の検出の有無を示す。

ここで、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３の推論精度は、入力される内視鏡画像によって相互に異なる場合がある。例えば、内視鏡画像の特定の画像領域を検出するＧ２−ＡＩモデル３３は、画像特徴となる全輪郭を含む内視鏡画像に対しては検出精度が高いが、輪郭を部分的にのみ含む内視鏡画像では検出精度が劣化する傾向にある。一方で、入力される内視鏡画像を画像領域で分類するＧ１−ＡＩモデル３２においても、入力される内視鏡画像によって分類精度が劣化する場合がある。
そこで、本実施形態では、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３の両方を並列に実行して、いずれか一方の出力を用いることで、高い推論精度を維持する。例えば、Ｇ１−ＡＩモデル３２により算出された画像領域ごとの確率値の最大値が所定閾値よりも低い場合には、Ｇ２−ＡＩモデル３３の出力を用い、当該最大値が所定閾値以上となる場合には、Ｇ１−ＡＩモデル３２の出力を用いるようにする。

このように、ＡＩ処理モジュール２２は、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３のいずれか一方から領域指定データを取得する。具体的には、Ｇ１−ＡＩモデル３２の出力を用いる場合には、ＡＩ処理モジュール２２は、Ｇ１−ＡＩモデル３２により算出された画像領域ごとの確率値に基づいて、最大確率値を持つ画像領域を指定する第一領域指定データを取得する。ここで、ＡＩ処理モジュール２２は、所定閾値以上の確率値を持つ一以上の画像領域を指定する第一領域指定データを取得することもできる。
本実施形態では、ＡＩ処理モジュール２２は、その第一領域指定データに関して算出された確率値も合わせて取得しておく。
Ｇ２−ＡＩモデル３３の出力を用いる場合には、ＡＩ処理モジュール２２は、Ｇ２−ＡＩモデル３３により出力される、当該内視鏡画像内における、ジョブ情報で予めタグ付けされている画像領域ごとの検出結果と、検出された画像領域を指定する第二領域指定データとをそれぞれ取得する。更に、ＡＩ処理モジュール２２は、検出された画像領域を指定する第二領域指定データに付与されているタグ（ジョブ情報）も取得する。

ところで、Ｇ１−ＡＩモデル３２から取得される第一領域指定データが内視鏡８が進むべきルートに対応する画像領域を指定している場合で、Ｇ２−ＡＩモデル３３で各画像領域にタグ付けされているジョブ情報が当該ルートに加えて内視鏡８で何かすべき場所（ポイント）等のようなルート以外の情報を示す場合がある。この場合には、内視鏡８が進むべきルートについては、上述のようにＧ１−ＡＩモデル３２又はＧ２−ＡＩモデル３３のいずれか一方の出力を用い、それ以外のジョブ情報についてはＧ２−ＡＩモデル３３の出力を固定的に用いるようにしてもよい。

また、本実施形態では、上述のとおり、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３が共に利用されたが、内視鏡画像が写す管腔臓器内の位置に応じて、Ｇ１−ＡＩモデル３２とＧ２−ＡＩモデル３３とが切り替えて用いられるようにしてもよい。この場合、ＡＩ処理モジュール２２は、Ｐ−ＡＩモデル３１の推論結果を用いて推定された内視鏡８の位置に応じて、Ｇ１−ＡＩモデル３２とＧ２−ＡＩモデル３３とを切り替えて用いればよい。例えば、内視鏡８の位置が胃である場合には、Ｇ１−ＡＩモデル３２及び第二ガイドＡＩモデル３３の両方が利用され、内視鏡８の位置が食道又は十二指腸である場合には、Ｇ２−ＡＩモデル３３が利用されるようにしてもよい。

出力処理モジュール２４は、上述したとおり入出力パネル５の表示装置に内視鏡映像を表示しながら、対象となる画像フレーム（内視鏡画像）が表示されるタイミングで、ＡＩ処理モジュール２２により取得された領域指定データに基づいてその内視鏡画像に内視鏡８のガイド情報を付加した表示を当該表示装置に表示する。
本実施形態において表示されるガイド情報には、内視鏡８が進むべきルート又は方向をガイドする情報、観察や、組織採取や治療等のように内視鏡８で何かをすべき場所（ポイント）をガイドする情報等がある。

具体的には、出力処理モジュール２４は、画像処理モジュール２１より取得された内視鏡画像内におけるＡＩ処理モジュール２２により取得された領域指定データで示される画像領域に向かう方向表示をその内視鏡画像に重畳表示させる。
この方向表示は、明確に特定画像領域を指し示すように表示されてもよいし、上方、下方、左方、右方といった程度の方向を指し示す表示であってもよい。

また、出力処理モジュール２４は、Ｇ２−ＡＩモデル３３から第二領域指定データを取得すると共に、その第二領域指定データに対応するジョブ情報を更に取得する場合には、そのジョブ情報に対応する表示形態で、その第二領域指定データで指定される画像領域を示す表示を内視鏡８のガイド情報として内視鏡画像に付加することもできる。
例えば、ジョブ情報が内視鏡８の進むべきルートを示している場合には、第二領域指定データで示される画像領域に向かう方向表示（例えば矢印表示等）が内視鏡画像に付加される。また、ジョブ情報が観察ポイントを示している場合には、第二領域指定データで示される画像領域上にマーカ表示が付されてもよい。

図８は、内視鏡のガイド情報の表示例を示す図である。
図８の例では、内視鏡８の進むべきルートに対応する画像領域に向かう矢印表示Ｇ１が内視鏡画像に重畳されている。加えて、観察ポイントに対応する画像領域にマーカＧ２が付されると共に、より把握し易いようにそのマーカＧ２の周囲に環状破線Ｇ３が表示されている。
但し、本実施形態におけるガイド情報の表示は、図８の例に限定されない。

ここで内視鏡検査のマニュアルでは、病変の看過を防ぐべく、観察ポイントが多数決められている。観察ポイントは、少し離れた位置からの観察だけでなく、接近して細部の観察も必要となる。そこで、本実施形態では、観察ポイントのような画像領域が第一領域指定データ又は第二領域指定データで指定されている場合には、その画像領域が内視鏡画像内で或る程度の大きさでかつ中央の位置に配置されるようにガイドする。
例えば、出力処理モジュール２４は、当該取得された内視鏡画像内における当該取得された領域指定データで示される画像領域が、その内視鏡画像における所定位置又は所定の大きさとなったことを報知する報知表示を出力する。これは、取得された内視鏡画像に関して、観察ポイントに相当する画像領域を指定する領域指定データが取得された時点、即ち、当該内視鏡画像に観察ポイントが現れた時点で、報知表示を出力することも含む。
この報知表示は、観察ポイントに相当する画像領域が内視鏡画像内に現れた、或い内視鏡画像内で所定位置又は所定の大きさになったことを見る者が把握できれば、どのような表示内容及び表示形態であってもよい。

図９は、観察ポイントのガイド表示の例を示す図である。
図９の例では、出力処理モジュール２４は、ＡＩ処理モジュール２２により取得された領域指定データにより指定される画像領域Ｂ１０が観察ポイントに相当する場合に、次のようにガイド表示を行う。即ち、出力処理モジュール２４は、照準表示Ｆ１、Ｆ２及びＦ３を内視鏡映像に重畳表示し、所定位置に示される照準表示Ｆ２の枠内で当該画像領域Ｂ１０が所定の大きさになったタイミングでその内視鏡画像を静止画像Ｇ４とし、その静止画像Ｇ４を回転及び縮小させながらフレームアウトする演出を行う。
この表示におけるフレームアウト演出は、領域指定データで示される画像領域が内視鏡画像における所定位置又は所定の大きさとなったことを報知する報知表示に相当すると捉えることもできるし、当該表示における照準表示Ｆ１、Ｆ２及びＦ３の表示が、当該報知表示に相当すると捉えることもできる。後者の場合、出力処理モジュール２４は、観察ポイントに対応する領域指定データがＡＩ処理モジュール２２により取得された時点で、照準Ｆ１、Ｆ２及びＦ３を表示させてもよいし、その領域指定データにより指定される画像領域Ｂ１０が所定位置又は所定大きさとなった場合に、照準Ｆ１、Ｆ２及びＦ３を表示させてもよい。
但し、当該報知表示の内容及び表示形態はこのような例に限定されない。

上述のようなガイド情報は、画像処理モジュール２１により領域指定データが取得された場合に、常に表示されてもよい。しかしながら、ガイド情報が頻繁に表示された場合、トレーニーの熟練度が或る程度上がると、ガイド情報が邪魔になりトレーニーに不快感を与える可能性がある。
そこで、出力処理モジュール２４は、画像処理モジュール２１により逐次取得される内視鏡画像に基づいて、内視鏡８が管腔臓器内で所定時間停滞していることを検出することを契機に、当該ガイド情報を付加した表示を出力するようにしてもよい。
この場合には、例えば、内視鏡画像の内容が所定時間ほとんど変わらないことを検出することで、内視鏡８が管腔臓器内で所定時間停滞していることを検出することができる。内視鏡８が或る程度の時間停滞しているということは、トレーニーが内視鏡手技に戸惑っている可能性がある。
上述のように内視鏡８が管腔臓器内で所定時間停滞していることを検出することを契機に、当該ガイド情報を付加した表示を出力することで、トレーニーが戸惑っている場合にのみ当該ガイド情報を表示することができるため、ガイド情報が邪魔になりトレーニーに不快感を与えることを防ぐことができる。

内視鏡手技のマニュアルでは、上述したように多数の観察ポイントが決められていると共に、各観察ポイントを撮像記録して静止画を残すことが推奨されている。
そこで、制御部１０（格納処理モジュール２３）は、内視鏡８で撮像記録されたと推定される臓器部位の履歴情報である撮像記録情報を保持するようにしてもよい。この場合、出力処理モジュール２４は、撮像記録すべき臓器部位群の情報を用いて、撮像記録情報で示される臓器部位の履歴情報に基づいて、撮像記録すべき臓器部位群の中から撮像記録がなされていない臓器部位を特定することができる。更に、出力処理モジュール２４は、撮像記録がなされていない臓器部位を特定した場合、その旨或いは特定された臓器部位を示す情報を入出力パネル５の表示装置に表示することもできる。
このようにすれば、トレーニーに対して、撮像記録漏れを指摘することができる。

内視鏡８で撮像記録されたと推定される臓器部位は、次のように特定することができる。
内視鏡８の操作部に設けられている静止画像の記録を指示するスイッチの操作を示す信号が入出力Ｉ／Ｆユニット１３で受信できる場合には、その信号が受信されたタイミングに対応する内視鏡画像に関して取得された領域位置データ、若しくは、第一領域指定データ、又は第二領域指定データ及びジョブ情報により、当該臓器部位の特定が可能である。
また、Ｇ２−ＡＩモデル３３の出力により観察ポイント（撮像記録すべき臓器部位）を示すジョブ情報でタグ付けされた画像領域が検出されかつその画像領域を指定する第二領域指定データが取得された場合には、その第二領域指定データで示される画像領域が内視鏡画像における所定位置又は所定大きさとなったことを検出することで、その観察ポイントに対応する臓器部位が撮像記録されたと推定することができる。
更に言えば、各観察ポイントに相当する特定臓器部位が所定位置及び所定大きさで写る内視鏡画像を教師用内視鏡画像とし、その教師用内視鏡画像に対して特定臓器部位ごとの撮像記録を示す撮像記録データでタグ付けした教師データで機械学習されているＡＩモデルを用いることで、内視鏡８で撮像記録されたと推定される臓器部位を特定することもできる。この場合、内視鏡画像をそのＡＩモデルに与えることで撮像記録データが取得された場合に、その撮像記録データに基づいて、内視鏡８で撮像記録されたと推定される臓器部位の履歴情報である撮像記録情報を保持することができる。

〔制御部の動作例〕
図１０は、制御部１０の動作例を示すフローチャートである。図１０で示される各工程の詳しい動作内容については上述したとおりであるため、ここでは、制御部１０の動作の流れを中心に説明するものとする。
制御部１０は、入出力Ｉ／Ｆユニット１３を介して接続されている内視鏡８の画像処理装置から、内視鏡の映像信号を受信しており、この映像信号から得られる内視鏡映像を入出力パネル５の表示装置に表示している。
制御部１０は、当該内視鏡映像の画像フレーム（内視鏡画像）を所定周期で間引いて逐次取得し（Ｓ１０１）、内視鏡画像を取得する度に、図１０に示される動作フローを実行する。工程（Ｓ１０１）では、制御部１０は、その内視鏡画像を各種ＡＩモデルの入力用に正規化することもできる。

制御部１０は、（Ｓ１０１）で取得された内視鏡画像をＰ−ＡＩモデル３１、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３へそれぞれ入力する（Ｓ１１０）、（Ｓ１２１）及び（Ｓ１２２）。ここでは、Ｐ−ＡＩモデル３１、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３には同一の内視鏡画像を入力する例を示すが、各ＡＩモデルには、内視鏡映像の画像フレームからそれぞれ異なる周期で間引いて取得される相互に異なる内視鏡画像が入力されてもよい。
これにより、Ｐ−ＡＩモデル３１、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３は、略並列に実行される。

制御部１０は、Ｐ−ＡＩモデル３１の算出結果に基づいて領域位置データ及び領域方向データを取得する（Ｓ１１１）。このとき、Ｐ−ＡＩモデル３１により出力される臓器領域ごとの確率値の最大値又は方向ごとの確率値の最大値が所定閾値よりも低い場合には、制御部１０は、（Ｓ１０１）で取得された内視鏡画像に関しては、領域位置データ又は領域方向データを取得しないようにしてもよい。
制御部１０は、内視鏡映像に加えて、（Ｓ１１１）で取得された領域位置データ及び領域方向データで示される内視鏡８の位置情報及び向き情報を入出力パネル５の表示装置に表示する（Ｓ１１２）。

上述のような動作に並行して、制御部１０は、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３の出力を参照して次のように動作する。
制御部１０は、Ｇ２−ＡＩモデル３３の出力に基づいて、ジョブ情報で予めタグ付けされている画像領域ごとの検出結果を判定し（Ｓ１２３）、更に、Ｇ１−ＡＩモデル３２の出力に基づいて、第一領域指定データの取得の可否を判定する（Ｓ１２４）及び（Ｓ１３１）。第一領域指定データの取得の可否は、各画像領域についての確率値の最大値が所定閾値以上か否かで判定することができる。当該最大値が所定閾値以上であれば、第一領域指定データの取得可能と判定し、そうでなければ、第一領域指定データの取得不可と判定することができる。

制御部１０は、検出された画像領域が有り、かつ第一領域指定データが取得可能である場合には（Ｓ１２３；ＹＥＳ）（Ｓ１２４；ＹＥＳ）、Ｇ１−ＡＩモデル３２又はＧ２−ＡＩモデル３３の出力を選択する必要があるか否かを判定する（Ｓ１２５）。例えば、Ｇ２−ＡＩモデル３３で検出された画像領域に対応するジョブ情報（タグ）がＧ１−ＡＩモデル３２で分類される画像領域の意味情報（例えば、内視鏡８を進めるべきルート或いは観察ポイント）と一致する場合には、選択する必要有りと判定され（Ｓ１２５；ＹＥＳ）、異なる場合には、選択する必要無しと判定されればよい（Ｓ１２５；ＮＯ）。
選択する必要があると判定された場合（Ｓ１２５；ＹＥＳ）、制御部１０は、Ｇ１−ＡＩモデル３２の出力又はＧ２−ＡＩモデル３３の出力のいずれか一方を選択する（Ｓ１２６）。これにより、第一領域指定データ又は第二領域指定データのいずれか一方が選択される。例えば、第一領域指定データで指定される画像領域の確率値が所定閾値以上であれば、Ｇ１−ＡＩモデル３２の出力である第一領域指定データが取得され、そうでなければ、Ｇ２−ＡＩモデル３３の出力である第二領域指定データ及びそれに対応するジョブ情報が取得されてもよい。

選択する必要無しと判定された場合には（Ｓ１２５；ＮＯ）、制御部１０は、Ｇ１−ＡＩモデル３２の出力である第一領域指定データ及びＧ２−ＡＩモデル３３の出力である第二領域指定データ及びそれに対応するジョブ情報を取得する（Ｓ１２８）。
また、検出された画像領域が有り、かつ第一領域指定データが取得不可である場合には（Ｓ１２３；ＹＥＳ）（Ｓ１２４；ＮＯ）、制御部１０は、Ｇ２−ＡＩモデル３３の出力である第二領域指定データ及びそれに対応するジョブ情報を取得する（Ｓ１２７）。
また、検出された画像領域がなく、かつ一領域指定データが取得可能である場合には（Ｓ１２３；ＮＯ）（Ｓ１３１；ＹＥＳ）、制御部１０は、Ｇ１−ＡＩモデル３２の出力である第一領域指定データを取得する（Ｓ１３２）。なお、検出された画像領域がなく、かつ第一領域指定データが取得不可である場合には（Ｓ１２３；ＮＯ）（Ｓ１２４；ＮＯ）、制御部１０は、ガイド情報を表示することなく処理を終える。

制御部１０は、第一領域指定データ若しくは第二領域指定データのいずれか一方又は両方を取得すると、内視鏡映像に加えて、取得された領域指定データに基づいてガイド情報を入出力パネル５の表示装置に表示する（Ｓ１２９）。ガイド情報の表示については、上述したとおりである。

但し、制御部１０の動作フローは図１０に示される例に限定されない。図１０に示されるフローチャートでは、複数の工程（処理）が順番に記載されているが、各工程の実行順序は、その記載の順番に制限されない。また、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３の出力結果の利用方法も図１０に示される例に限定されない。更に、Ｐ−ＡＩモデル３１、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３のいずれか一つ又はいずれか複数は、他のＡＩモデルと並列に実行されず、前後して実行されてもよい。図示される工程の順番は内容的に支障のない範囲で変更することができる。

［変形例］
上述した本システム１の内容は、あくまで一例であり、部分的に適宜変更可能である。
例えば、上述した本システム１では、内視鏡８が入出力Ｉ／Ｆユニット１３に接続されていたが、内視鏡８は接続されていなくてもよい。例えば、内視鏡８で撮像された内視鏡映像の動画データが可搬型記憶媒体又は外部の装置（ＰＣ等）に保存された後、その可搬型記録媒体又は通信を介して制御部１０のメモリ１２に格納され、その動画データから得られる内視鏡画像が上述のように処理されてもよい。

また、上述した本システム１では、内視鏡画像のみを用いて、内視鏡８の位置情報及び向き情報、並びにガイド情報が取得されたが、内視鏡画像に加えて他の情報を更に用いるようにしてもよい。
例えば、制御部１０は、人体模型３の体内造形部の所定部位（例えば食道入口部、胃食道接合部、及び十二指腸下降脚部）に設けられた物体検出センサの検出情報を更に用いるようにしてもよい。これによれば、当該所定部位を内視鏡８の先端部が通過したことは、正確な情報として捉えることができる。即ち、制御部１０は、管腔臓器モデルの複数の所定部位に設けられた各センサからの内視鏡の存在検出情報を取得する検出情報取得手段をソフトウェア要素として備えていてもよい。
この場合、人体模型３の物体検出センサによる内視鏡８の検出情報を用いることで、Ｐ−ＡＩモデル３１の推論結果として得られる領域位置データが正しいか否かが確認可能である。そのため、ＡＩ処理モジュール２２は、その検出情報に基づいてＰ−ＡＩモデル３１の出力から得られる領域位置データの正誤を判定し、補正することもできる。例えば、ＡＩ処理モジュール２２は、検出情報と合致する位置を示し最大の確率値を持つ領域位置データを取得するようにしてもよい。
また、物体検出センサが設けられた部位間の臓器領域ごとにＡＩモデルを設け、制御部１０は、物体検出センサの検出情報を用いて利用するＡＩモデルを切り替えることもできる。例えば、食道入口部から胃食道接合部までの間のＡＩモデル、及び胃食道接合部から十二指腸下降脚部までの間のＡＩモデルが設けられる。これは、Ｐ−ＡＩモデル３１のみならず、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３についても臓器領域ごとのＡＩモデルに分割されてもよい。
また、Ｐ−ＡＩモデル３１が、内視鏡画像と物体検出センサの検出情報を入力とし、臓器領域ごとの確率値及び方向ごとの確率値を出力するように形成することもできる。
このようにより正確な物体検出センサの検出情報を更に用いることで、各種ＡＩモデルの推論精度を向上させることができる。

また、上述の実施形態では特に触れなかったが、制御部１０は、Ｐ−ＡＩモデル３１、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３の推論結果の誤りを自動判定することもできる。
例えば、順次処理対象とされる時系列に隣接する３つの内視鏡画像に関するＡＩモデルの各出力を比較して、中間の内視鏡画像に関する出力がその前後の内視鏡画像に関する出力と著しく異なる場合に、当該中間の内視鏡画像に関する出力は誤りと判定することができる。時系列で隣接する内視鏡画像の時間間隔は１秒未満となるため、中間の内視鏡画像に関してＡＩモデルが或る程度の信頼度を持つ出力をしているにも関わらず、その出力が前後の内視鏡画像に関する出力と著しく異なることは、誤判定の可能性が高い。仮に高速に内視鏡８を移動させた場合、内視鏡画像はブレにより鮮明な画像とはならず、そのような内視鏡画像をＡＩモデルに入力した場合には推論不可能となるはずである。

このため、具体的には、制御部１０は、中間の内視鏡画像に対してＰ−ＡＩモデル３１の出力から得られる領域位置データ又は領域方向データが前後の内視鏡画像に対して得られる領域位置データ又は領域方向データと著しく異なる場合には、中間の内視鏡画像に関する出力は誤りと判定する。同様に、制御部１０は、中間の内視鏡画像に対してＧ１−ＡＩモデル３２又はＧ２−ＡＩモデル３３の出力から得られる領域指定データが前後の内視鏡画像に対して得られる領域指定データと著しく異なる画像領域を指定している場合には、中間の内視鏡画像に関する出力は誤りと判定する。
このように各ＡＩモデルは或る程度の信頼度で出力しているにも関わらず、誤りと判定された場合、制御部１０は、その出力を利用しないようにすればよい。

更に言えば、制御部１０は、誤りと判定されたＡＩモデルの出力を、前後の内視鏡画像に関するＡＩモデルの出力から自動で生成することもできる。例えば、前後の内視鏡画像に関するＰ−ＡＩモデル３１の出力に基づいて取得された領域位置データ又は領域方向データから、内視鏡は高速に移動しないことを前提に、その中間の内視鏡画像に関する領域位置データ及び領域方向データは予測することができる。Ｇ１−ＡＩモデル３２又はＧ２−ＡＩモデル３３の出力に基づいて取得される領域指定データについても同様である。例えば、前後の内視鏡画像に関して取得された領域指定データで指定される画像領域間の中間位置の画像領域を指定する領域指定データが当該中間の内視鏡画像に対応するデータとして生成されてもよい。

また、制御部１０は、誤りと判定された際の当該中間の内視鏡画像と、上述のように前後の内視鏡画像に関するＡＩモデルの出力から自動で生成された当該中間の内視鏡画像に関するＡＩモデルの出力とを関連付けて保持しておく。これにより、このように保持しておいた内視鏡画像と自動生成されたＡＩモデルの出力とをＡＩモデルの再学習時の教師データとして用いることもできる。
このようなＡＩモデルの再学習は、本システム１がトレーニーにより利用されない時間帯に自動で実行されてもよい。

また、上述した内視鏡手技トレーナ―システム（本システム１）は、本発明の実施形態の一例である。
本システム１は、人体模型３の臓器モデルを備えており、その臓器モデルを用いた内視鏡手技の自主学習及び自主訓練を可能としていたが、本発明の実施形態としては、内視鏡手技の学習又は訓練を目的とするものに限らず、内視鏡８そのものであってもよい。
図１１は、他の実施形態に係る内視鏡システム８０（内視鏡８）の制御構成を概念的に示す図である。
内視鏡システム８０は、先端部及び湾曲部を含む挿入部、先端部及び湾曲部に対して各種操作を行うための操作部、画像処理装置８２、表示装置８３等から構成されている。先端部には内視鏡撮像部８１が設けられており、内視鏡撮像部８１及び表示装置８３は、ケーブル等により画像処理装置８２に接続されている。
画像処理装置８２は、プロセッサ８５、メモリ８６、入出力インタフェース（Ｉ／Ｆ）ユニット８７等を有しており、メモリ８６に格納されている制御プログラム及びＡＩモデルがプロセッサ８５で実行されることで、上述の制御部１０と同様の処理が実現されればよい。
画像処理装置８２のソフトウェア構成は、図３に示される制御部１０のソフトウェア構成と同様であればよい。画像処理装置８２は、内視鏡画像処理装置或いは内視鏡画像処理システムと表記することもできる。

内視鏡システム８０において、画像処理装置８２で取得される内視鏡画像は、人体模型３の管腔臓器モデルを撮像した画像であってもよいし、生体の管腔臓器を撮像した画像であってもよいし、それら両方であってもよい。但し、生体の管腔臓器を内視鏡撮像部８１で撮像した内視鏡画像を処理対象とする場合には、Ｐ−ＡＩモデル３１、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３は、生体の管腔臓器を撮像した教師用内視鏡画像を用いて機械学習されていることが望ましい。その教師用内視鏡画像に対応する領域位置データの正解及び領域方向データの正解、並びに教師用内視鏡画像に対応する領域指定データの正解やそれに対する内視鏡のジョブ情報は、その教師用内視鏡画像を複数の熟練医師で確認することで生成することができる。
また、Ｐ−ＡＩモデル３１、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３は、上述の本システム１と同様に、人体模型３の管腔臓器モデルを撮像した教師用内視鏡画像を用いて機械学習させた上で、生体の管腔臓器を撮像した教師用内視鏡画像を用いて更に機械学習させるようにしてもよい。更に言えば、様々な形状、大きさ及び態様の管腔臓器を模した複数タイプの管腔臓器モデルを準備し、それら複数タイプの管腔臓器モデルを切り替えながら撮像した教師用内視鏡画像を用いて機械学習させることも可能である。
このようにすれば、Ｐ−ＡＩモデル３１などの各種ＡＩモデルの推定精度を向上することができる。

また、磁気センサと連携して内視鏡先端部の位置及び向きを取得可能な内視鏡システムを用いて教師用内視鏡画像を収集すると共に、その内視鏡システムで取得された内視鏡先端部の位置情報及び向き情報を収集し、それらを関連付けた複数の教師用データを用いて、Ｐ−ＡＩモデル３１を機械学習させることもできる。この場合は、上述した「領域位置データ」及び「領域方向データ」よりも細分化された位置情報及び向き情報でＰ−ＡＩモデル３１を学習させることができ、そのように細分化された位置情報及び向き情報が取得可能となる。

また、内視鏡システム８０は、カプセル内視鏡のシステムであってもよい。この場合、内視鏡撮像部８１は、内視鏡先端部に設けられるわけではなく、カプセル内視鏡自体に設けられ、画像処理装置８２と無線通信により接続されればよい。
また、内視鏡システム８０は、表示装置８３を備える必要もない。Ｐ−ＡＩモデル３１から取得される領域位置データ及び領域方向データは、対象の内視鏡画像と関連付けられて、メモリ８６に格納されればよい。同様に、Ｇ１−ＡＩモデル３２及びＧ２−ＡＩモデル３３から取得される領域指定データについても、対象の内視鏡画像と関連付けられて、メモリ８６に格納されればよい。
また、生成されたガイド情報は、内視鏡における先端部及び湾曲部を含む挿入部、又はカプセル内視鏡自体を自動で動作させるための情報として利用されてもよい。

上述した各実施形態の内容は、次のように特定することもできる。
（付記１）管腔臓器内の内視鏡により撮像された内視鏡画像を取得する画像取得手段と、
学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像に対応する領域指定データを取得するモデル処理手段と、
前記取得された領域指定データに基づいて、前記取得された内視鏡画像内の該領域指定データで指定される画像領域に関する内視鏡のガイド情報を該内視鏡画像に付加した表示を出力する出力処理手段と、
を備え、
前記学習済みモデルは、各教師用内視鏡画像に対して領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている、
内視鏡画像処理システム。

１ 内視鏡手技トレーナ―システム（本システム）、３ 人体模型、５ 入出力パネル、６ スピーカ、７ センサ群、８ 内視鏡、１０ 制御部、１１ プロセッサ、１２ メモリ、１３ 入出力Ｉ／Ｆユニット、２１ 画像処理モジュール、２２ ＡＩ処理モジュール、２３ 格納処理モジュール、２４ 出力処理モジュール、３１ ポジショニングＡＩモデル（Ｐ−ＡＩモデル）、３２ 第一ガイドＡＩモデル（Ｇ１−ＡＩモデル）、３３ 第二ガイドＡＩモデル（Ｇ２−ＡＩモデル）、８０ 内視鏡システム、８１ 内視鏡撮像部、８２ 画像処理装置、８３ 表示装置、８５ プロセッサ、８６ メモリ、８７ 入出力Ｉ／Ｆユニット

Claims (11)

1. 管腔臓器内の内視鏡により撮像された内視鏡画像を取得する画像取得手段と、
   第一の学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像を撮像した内視鏡の位置及び方向を示す位置情報及び向き情報を取得する第一モデル処理手段と、
   前記取得された位置情報及び向き情報と前記取得された内視鏡画像とを関連付けて格納する格納手段と、
   を備え、
   前記第一の学習済みモデルは、教師用内視鏡画像を撮像した内視鏡の位置及び向きの正解を該教師用内視鏡画像に対して関連付けた複数の教師データに基づいて、機械学習されている、
   内視鏡画像処理システム。
2. 前記複数の教師データにおける内視鏡の位置及び向きの正解は、管腔臓器を長軸方向に仮想的に区分けした複数領域の各々を位置情報として識別し得る領域位置データの正解、及び各領域にそれぞれ仮想的に設定される三次元直交軸で示される各方向を識別し得る領域方向データの正解であり、
   前記第一モデル処理手段は、前記取得された内視鏡画像に対応する領域位置データ及び領域方向データを前記位置情報及び前記向き情報として取得する、
   請求項１に記載の内視鏡画像処理システム。
3. 前記画像取得手段により取得される内視鏡画像は、生体の管腔臓器内又は生体の管腔臓器を模した管腔臓器モデル内の内視鏡により撮像された画像であり、
   前記複数の教師データは、前記管腔臓器モデル内で内視鏡により撮像された複数の教師用内視鏡画像を含む、
   請求項１又は２に記載の内視鏡画像処理システム。
4. 生体の管腔臓器を模した管腔臓器モデルの複数の所定部位に設けられた各センサからの内視鏡の存在検出情報を取得する検出情報取得手段、
   を更に備え、
   前記画像取得手段により取得される内視鏡画像は、前記管腔臓器モデル内の内視鏡により撮像された画像であり、
   前記複数の教師データの教師用内視鏡画像は、前記管腔臓器モデル内で内視鏡により撮像された画像であり、
   前記第一モデル処理手段は、前記取得された存在検出情報を更に用いて、前記位置情報及び前記向き情報を取得する、
   請求項１又は２に記載の内視鏡画像処理システム。
5. 第二の学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像に対応する領域指定データを取得する第二モデル処理手段と、
   前記取得された領域指定データに基づいて、前記取得された内視鏡画像内の該領域指定データで指定される画像領域に関する内視鏡のガイド情報を生成する出力処理手段と、
   を更に備え、
   前記第二の学習済みモデルは、各教師用内視鏡画像に対して領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている、
   請求項１から４のいずれか一項に記載の内視鏡画像処理システム。
6. 前記第二の学習済みモデルは、各教師用内視鏡画像に対して内視鏡のジョブ情報でタグ付けされた特定画像領域を指定する第二領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されており、
   前記第二モデル処理手段は、前記領域指定データと共に、前記領域指定データに対応するジョブ情報を更に取得し、
   前記出力処理手段は、前記ジョブ情報を更に用いて、該ジョブ情報に対応する表示形態で、前記取得された領域指定データで指定される画像領域を示す表示を前記ガイド情報として前記取得された内視鏡画像に付加する、
   請求項５に記載の内視鏡画像処理システム。
7. 前記出力処理手段は、前記取得された内視鏡画像内における前記取得された領域指定データで示される画像領域に向かう方向表示を該内視鏡画像に重畳表示させる、
   請求項５又は６に記載の内視鏡画像処理システム。
8. 前記出力処理手段は、前記取得された内視鏡画像内における前記取得された領域指定データで示される画像領域が、該内視鏡画像における所定位置又は所定大きさとなったことを報知する報知表示を出力する、
   請求項５から７のいずれか一項に記載の内視鏡画像処理システム。
9. 前記格納手段は、前記取得された領域指定データに基づいて、内視鏡で撮像記録されたと推定される臓器部位の履歴情報である撮像記録情報を保持し、
   前記出力処理手段は、前記撮像記録情報で示される臓器部位の履歴情報に基づいて、撮像記録すべき臓器部位群の中から撮像記録がなされていない臓器部位を特定する、
   請求項５から８のいずれか一項に記載の内視鏡画像処理システム。
10. 前記出力処理手段は、前記画像取得手段により逐次取得される内視鏡画像に基づいて、内視鏡が管腔臓器内で所定時間停滞していることを検出することを契機に、前記ガイド情報を付加した表示を出力する、
    請求項５から９のいずれか一項に記載の内視鏡画像処理システム。
11. 第二の学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像に対応する第一領域指定データを取得する第二モデル処理手段と、
    第三の学習済みモデルに対して前記取得された内視鏡画像を与えることで、該内視鏡画像に対応する第二領域指定データ及び該第二領域指定データに対応するジョブ情報を取得する第三モデル処理手段と、
    前記第二の学習済みモデル及び前記第三の学習済みモデルの各出力に基づいて、前記取得された第一領域指定データか、前記取得された第二領域指定データ及びジョブ情報かのいずれか一方を選択し、前記取得された内視鏡画像内の該選択された該第一領域指定データ又は該第二領域指定データで指定される画像領域に関する内視鏡のガイド情報を生成する出力処理手段と、
    を更に備え、
    前記第二の学習済みモデルは、各教師用内視鏡画像に対して第一領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されており、
    前記第三の学習済みモデルでは、各教師用内視鏡画像に対して内視鏡のジョブ情報でタグ付けされた特定画像領域を指定する第二領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている、
    請求項１から４のいずれか一項に記載の内視鏡画像処理システム。
    

Images