JP7189355B2 - コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法 - Google Patents

Description

本技術は、コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法に関する。

内視鏡検査を行う場合、被験者である患者毎に１つ又は複数の検査対象部位が予め定められ、その検査対象部位について患者の体腔内を規定の手順で撮像して画像診断を行う。具体的には、内視鏡の検査担当者が患者に内視鏡挿入部を体腔内に挿入し、内視鏡の挿入部先端の体腔内での位置を確認しながら、予め決められた検査対象部位に到達させる。そして、到達する毎に画像をモニタ画面上で確認しつつ、撮影位置や方向を微調整しながら静止画撮影用のボタンを押下して、静止画像を撮影する。

撮像画像の枚数は、１回の検診で数枚から２０枚以上になることもあり、また、医療現場では多人数を短時間で検診することが望まれるため、検査担当者には正確かつ迅速な撮像作業が要求される。このような状況下では、一部の検査部位を撮像し損ねる等、特に不手際が生じやすくなり、必要な検査部位で画像の撮り損ねが生じると、正確な診断が難しくなる。また、撮り損ねた画像を得るために再検査により内視鏡で撮り直しを行うには、患者への負担が大きくなる。

医療施設では、検査担当者の経験やスキルの違いから、患者の負担、臓器の観察方法に相違が出ないようにするために、検査の手順などを定義した検査プロトコルを定めることが有効とされている。特許文献１には、検査プロトコルを定義している医療施設において、検査プロトコルに沿って検査が実施されたかどうかを容易に確認できる内視鏡業務支援システムが開示されている。

特開２０１７－１０８７９２号公報

しかしながら、特許文献１の内視鏡業務支援システムでは、検査が実施されたかどうかの確認は検査記録に基づき検査後に行われるため、観察内容の漏れが懸念される。検査担当者の経験やスキルに関わらず適切な検査内容が実施されるために、検査内容に関する情報をリアルタイムで導出することが望まれる。

本開示の目的は、検査内容に関する情報を効率的に導出することを実現するコンピュータプログラム等を提供することである。

本開示の一態様におけるコンピュータプログラムは、内視鏡を用いた検査の対象部に含まれる検査箇所に関する検査箇所情報を取得し、前記内視鏡により撮影された内視鏡画像を取得し、取得した前記内視鏡画像の画像解析に基づいて、前記内視鏡が前記検査箇所に到達したか否かを判定し、前記内視鏡が前記検査箇所に到達した場合に通知を出力する処理をコンピュータに実行させる。

本開示によれば、検査内容に関する情報を効率的に導出することを実現するコンピュータプログラム等を提供することができる。

診断支援システムの外観を示す説明図である。 実施形態１における診断支援システムの構成を説明する説明図である。 検査者ＤＢに記憶される情報の内容例を示す図である。 検査箇所ＤＢに記憶される情報の内容例を示す図である。 学習済みモデルの生成処理に関する説明図である。 制御部に含まれる機能部を例示する機能ブロック図である。 検査箇所情報の設定の流れを説明する説明図である。 チェックポイントの入力画面の一例を示す模式図である。 チェックポイントの入力画面の一例を示す模式図である。 通知情報を表示する通知画面の一例を示す模式図である。 通知情報を表示する通知画面の一例を示す模式図である。 通知情報を表示する通知画面の一例を示す模式図である。 診断支援システムが実行する処理手順の一例を示すフローチャートである。 診断支援システムが実行する処理手順の一例を示すフローチャートである。 実施形態２における診断支援システムの構成を説明する説明図である。 行動学習ＤＢに記憶される情報の内容例を示す図である。 制御部に含まれる機能部を例示する機能ブロック図である。 動作検出の一例を説明する説明図である。 診断支援システムが実行する処理手順の一例を示すフローチャートである。 診断支援システムが実行する処理手順の一例を示すフローチャートである。

本発明をその実施の形態を示す図面を参照して具体的に説明する。

（実施形態１）
図１は、診断支援システム１００の外観を示す説明図である。診断支援システム１００は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。表示装置５０は、例えば液晶表示装置、または、有機ＥＬ（Electro Luminescence）表示装置である。

表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚１６は内視鏡用プロセッサ２０に接続されたキーボード１５を搭載する、引き出し式の棚を有する。

内視鏡用プロセッサ２０は、略直方体形状であり、一面にタッチパネル２５を備える。タッチパネル２５の下部に、読取部２８が配置されている。読取部２８は、たとえばＵＳＢコネクタ、ＳＤ（Secure Digital）カードスロット、またはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。

内視鏡４０は、挿入部４４、操作部４３、ライトガイド可撓管４９およびスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１が設けられている。挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２および先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。挿入部４４には、３軸加速度センサ、ジャイロセンサ、地磁気センサ又は磁気コイルセンサ等の物理検出装置が実装され、内視鏡４０が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。

ライトガイド可撓管４９は長尺であり、第一端が操作部４３に、第二端がスコープコネクタ４８にそれぞれ接続されている。ライトガイド可撓管４９は、軟性である。スコープコネクタ４８は略直方体形状である。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図２参照）が設けられている。

診断支援システム１００では、内視鏡用プロセッサ２０は、内視鏡４０で撮影された内視鏡画像５９に基づき、リアルタイムで内視鏡４０の検査内容を判定し、判定結果を検査者に通知する。検査者は、通知を参照しながら、内視鏡４０の操作を行う。

図２は、実施形態１における診断支援システム１００の構成を説明する説明図である。前述のとおり診断支援システム１００は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。内視鏡用プロセッサ２０は、タッチパネル２５および読取部２８に加えて、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ（Interface）２６、入力装置Ｉ／Ｆ２７、内視鏡用コネクタ３１、光源３３、ポンプ３４およびバスを備える。内視鏡用コネクタ３１は、電気コネクタ３１１および光コネクタ３１２を含む。

制御部２１は、本実施の形態のプログラム２３１を実行する演算制御装置である。制御部２１には、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又はＧＰＵ（Graphics Processing Unit）等が使用される。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。

主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。

補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置２３には、制御部２１に実行させるプログラム２３１、学習済みモデル２３７、及びプログラム２３１の実行に必要な各種データが保存される。プログラム２３１及び学習済みモデル２３７は、制御部２１が、通信部２４を介して所謂インターネット等のネットワーク経由で外部装置からダウンロードして補助記憶装置２３に記憶したものであってもよい。プログラム２３１及び学習済みモデル２３７は、制御部２１が読取部２８を介して可搬型記憶媒体２３ａから読み取って補助記憶装置２３に記憶したものであってもよい。プログラム２３１及び学習済みモデル２３７は、制御部２１が半導体メモリ２３ｂから読み出したものであってもよい。

補助記憶装置２３は、検査者ＤＢ（Data Base ：データベース）２３２及び検査箇所ＤＢ２３３を記憶する。検査者ＤＢ２３２及び検査箇所ＤＢ２３３は内視鏡用プロセッサ２０に接続された外部の大容量記憶装置に記憶されていてもよい。

通信部２４は、内視鏡用プロセッサ２０とネットワークとの間のデータ通信を行なうインターフェイスである。タッチパネル２５は、液晶表示パネル等の表示部２５１と、表示部２５１に積層された入力部２５２とを備える。

表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。

光源３３は、たとえば白色ＬＥＤ等の高輝度の白色光源である。光源３３は、図示を省略するドライバを介してバスに接続されている。光源３３の点灯、消灯および明るさの変更は、制御部２１により制御される。光源３３から照射した照明光は、光コネクタ３１２に入射する。光コネクタ３１２は、スコープコネクタ４８と係合し、内視鏡４０に照明光を供給する。

ポンプ３４は、内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、図示を省略するドライバを介してバスに接続されている。ポンプ３４のオン、オフおよび圧力の変更は、制御部２１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。

内視鏡用プロセッサ２０に接続された内視鏡４０の機能の概略を説明する。スコープコネクタ４８、ライトガイド可撓管４９、操作部４３および挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１２およびファイバーバンドルを介して、先端部４４３に設けられた照明窓から放射される。

照明光により照らされた範囲を、先端部４４３に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ３１１を介して内視鏡用プロセッサ２０に撮影画像が伝送される。

制御部２１は、撮影画像に画像処理を施して、検査を実施する検査者が目視して病変を発見しやすい内視鏡画像５９を生成する。制御部２１は、内視鏡画像５９を表示装置５０に出力する。検査者は、内視鏡画像５９を確認しながら内視鏡４０を操作し、予め定められる検査箇所に到達した場合に、静止画撮影用のボタンを押下して、静止画像を撮影する。

図３は、検査者ＤＢ２３２に記憶される情報の内容例を示す図である。検査者ＤＢ２３２は、検査者を識別するための検査者ＩＤに対応付けて、検査者の氏名等の属性、及び検査者の検査履歴に関する情報を記憶している。検査者の検査履歴に関する情報は、検査者の熟練度、検査回数、及び検査履歴等が含まれる。熟練度とは、検査者の内視鏡検査に対する熟練度合いを示す情報である。例えば、熟練度は、１から５の５段階で示され、数値が高い程、内視鏡検査に熟練していることを示す。検査回数は、検査者がこれまでに実施した内視鏡検査の回数である。検査履歴は、検査者がこれまでに実施した内視鏡検査の実施履歴であり、実施日、検査内容、検査時の操作信号のログ等を含んでよい。なお図３は一例であって、検査者ＤＢ２３２の記憶内容は限定されるものではない。

図４は、検査箇所ＤＢ２３３に記憶される情報の内容例を示す図である。制御部２１は、予め検査の対象部に含まれる検査箇所に関する各種の情報を取得し検査箇所ＤＢ２３３に記憶している。検査箇所とは、内視鏡を用いた検査において内視鏡が体内を移動していく際に検査すべき箇所であり、検査内容の判定ポイントとなる検査部位である。検査箇所には、所謂チェックポイントとなる検査部位に加え、チェックポイント周辺箇所、及びチェックポイント間の特定箇所等が含まれる。診断支援システム１００では、内視鏡画像５９の画像と検査箇所情報２３４の検査箇所画像との解析結果に基づき、内視鏡４０の検査内容をリアルタイムで判定し、判定結果に応じた通知が検査者へ出力される。検査箇所ＤＢ２３３は、検査箇所情報２３４及び候補情報２３５を記憶している。

検査箇所情報２３４は、検査箇所情報を識別するための検査箇所ＩＤに対応付けて、チェックポイント情報、検査箇所位置、検査箇所画像、内視鏡種類、通知情報を記憶している。チェックポイント情報とは、当該検査箇所と関連のあるチェックポイントの情報を含み、例えば当該検査箇所の近接チェックポイントの情報が記憶される。なお当該検査箇所がチェックポイントである場合には、表示装置５０に表示される際のチェックポイント番号を含んでよい。検査箇所位置は、例えば、検査箇所の体内における位置情報、各検査箇所間の距離情報等の、検査箇所の位置に関する情報を含んでよい。検査箇所画像は、検査箇所を示す複数の画像情報を含んでよい。内視鏡種類は、内視鏡用プロセッサ２０に接続される内視鏡４０の種類を含んでよい。内視鏡を用いた検査では、検査の対象部に適した種類の内視鏡４０を選択して使用する。内視鏡種類は、例えば上部（消化器）、上部（呼吸器）、下部（消化器）等が記憶される。通知情報は、検査箇所における通知の出力の有無に関する情報を含んでよい。通知の出力に有が記憶される検査箇所では、検査内容を検査者に伝える通知が出力される。通知情報は、熟練度に対応させて通知の有無を記憶してもよい。

さらに検査箇所情報２３４は、検査箇所ＩＤに対応付けて対象熟練度を記憶してよい。対象熟練度は、当該対象熟練度が対応付けられる検査箇所を検査すべき、検査者の熟練度の情報を含む。対象熟練度に関しては、他の実施形態で詳述する。

内視鏡検査において、様々な熟練度の検査者が適正なレベルで消化管の内部をくまなく画像撮影するためのガイドライン（マニュアル）が定められている（例えば、「対策型検診のための胃内視鏡検診マニュアル ２０１５年度版（Ｐ５６～Ｐ６３）」参照）。検査箇所位置は、これらのガイドラインに基づき設定されるとよい。例えば、胃内視鏡検査を行う場合においては、撮影すべき検査箇所位置には、上記胃内視鏡検診マニュアルに記載の撮影箇所が含まれている。

候補情報２３５は、内視鏡の種類を識別するための情報である内視鏡種類に対応付けて検査箇所の候補情報を記憶している。候補情報とは、所定の種類の内視鏡を用いる場合に検査内容の判定ポイントとなる検査箇所の候補に関する情報が含まれる。候補情報は、検査時における検査箇所の通過順序を含んでよい。図４の例では、候補情報は検査箇所ＩＤで記憶される。なお図４は一例であって、検査箇所ＤＢ２３３の記憶内容は限定されるものではない。

図５は、学習済みモデル２３７の生成処理に関する説明図である。制御部２１は、内視鏡画像５９を入力とし、該内視鏡画像５９に対応する検査箇所情報を出力とする深層学習を含む機械学習の学習済みモデルを構築（生成）する。本実施形態においては、出力層からは、検査箇所情報として検査箇所ＩＤが出力される。制御部２１は、内視鏡画像５９内における検査箇所に関する画像特徴量を学習する機械学習を行う。学習済みモデル２３７は、例えばニューラルネットワークであり、ＣＮＮ（Convolution Neural Network）である。学習済みモデル２３７は、内視鏡画像５９の入力を受け付ける入力層と、該内視鏡画像５９に対応する検査箇所ＩＤを出力する出力層と、内視鏡画像５９の画像特徴量を抽出する中間層とを備える。

訓練データを用いて学習されたニューラルネットワーク（学習済みモデル２３７）は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。学習済みモデル２３７は、上述のごとく制御部２１（ＣＰＵ等）及び補助記憶装置２３を備える内視鏡用プロセッサ２０にて用いられるものであり、このように演算処理能力を有する内視鏡用プロセッサ２０にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、内視鏡用プロセッサ２０の制御部２１が、補助記憶装置２３に記憶された学習済みモデル２３７からの指令に従って、入力層に入力された内視鏡画像の特徴量を抽出する演算を行い、出力層から該内視鏡画像に対応する検査箇所ＩＤを出力するように動作する。

入力層は、内視鏡画像５９に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡画像５９の画像特徴量を抽出する複数のニューロンを有し、各種パラメータを用いて抽出された画像特徴量を出力層に受け渡す。例えば学習済みモデル２３７がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有する。中間層は、対象物の画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。

出力層は、内視鏡画像に対応する検査箇所ＩＤを出力する複数のニューロンを有する。各ニューロンは夫々、各検査箇所ＩＤに対応させて区分することができる。出力層からの出力値は、各区分に分類される検査箇所ＩＤが内視鏡画像に含まれる確率と解釈することができる。例えば、検査箇所ＩＤが１０３０、１１３０、２０１２、…、の各ニューロンのうち、確率が最も高いニューロン、あるいは確率が閾値以上であるニューロンの検査箇所ＩＤの情報を学習済みモデル２３７の出力値とすることができる。出力層は、中間層から出力された画像特徴量に基づいて、出力値を出力する。

制御部２１は、内視鏡により検査箇所を撮影した複数の内視鏡画像と、各内視鏡画像における検査箇所ＩＤとが対応付けられた訓練データを用いて、中間層における各種パラメータの学習を行う。例えば図５に示すように、訓練データは、内視鏡画像に対し、検査箇所の有無及び検査箇所ＩＤがラベル付けされたデータセットとして構築される。制御部２１は、過去に実施された検査で収集された大量の内視鏡画像のデータを用いて学習を行う。データには、検査箇所が含まれていない状態の内視鏡画像が含まれてよい。

制御部２１は、訓練データに含まれる内視鏡画像を入力層に入力し、中間層での演算処理を経て、出力層から検査箇所ＩＤを取得する。制御部２１は、出力層から出力された検査箇所ＩＤを、訓練データにおいて画像に対しラベル付けされた検査箇所ＩＤ、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いる各種パラメータを最適化する。当該パラメータは、例えばニューロン間の重み、バイアス等である。各種パラメータの最適化の方法は特に限定されないが、例えば制御部２１は誤差逆伝播法を用いて各種パラメータの最適化を行う。制御部２１は、訓練データに含まれる各内視鏡画像について上記の処理を行い、学習済みモデル２３７を生成する。

本実施の形態では学習済みモデル２３７がＣＮＮであるものとして説明したが、学習済みモデル２３７はＣＮＮに限定されるものではない。時系列データを取得した場合にはＣＮＮ以外のニューラルネットワーク、例えばリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、ＬＳＴＭ（Long Short Term Memory）ネットワークを用いてもよい。またニューラルネットワークを用いない強化学習モデル、サポートベクタマシン、回帰木等、他の学習アルゴリズムで構築された学習済みモデルであってよい。

図６は、制御部２１に含まれる機能部を例示する機能ブロック図である。制御部２１は、補助記憶装置２３に記憶してあるプログラム２３１を実行することにより、内視鏡画像取得部２１１、内視鏡種類判定部２１２、検査箇所情報取得部２１３、画像解析部２１４、及び出力部２１８の各機能を実現する。図６においては、これら部位を機能部として示している。制御部２１は、補助記憶装置２３に記憶してあるプログラム２３１を実行、又は学習済みモデル２３７を構成する実体ファイルを読み出すことにより、学習済みモデル２３７として機能する。

内視鏡画像取得部２１１は、内視鏡画像５９を取得する。制御部２１は、内視鏡４０の先端部４４３に設けられた撮像素子により撮影された撮影画像を取得する。撮影画像は、動画像で得られ、例えば１秒間に６０フレーム等の複数のフレームの静止画像から構成される。制御部２１は、撮影画像にガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行ない、ユーザが目視しやすい状態にした内視鏡画像５９を生成し、補助記憶装置２３に記憶する。内視鏡画像取得部２１１は、生成された内視鏡画像５９を取得する。なお内視鏡画像取得部２１１に入力される内視鏡画像５９は、各種画像処理が行われていない段階の撮影画像であってもよく、撮影画像から内視鏡画像５９を生成する途中段階の画像であってもよい。取得した内視鏡画像５９は、画像解析部２１４へ入力される。

内視鏡種類判定部２１２は、内視鏡４０から取得する情報に基づく内視鏡種類情報を取得する。内視鏡種類情報とは、内視鏡用プロセッサ２０に接続される内視鏡４０の種類に関する情報である。内視鏡種類判定部２１２は、内視鏡用プロセッサ２０に接続される内視鏡４０のコネクタ形状、又は内視鏡４０から得られる信号情報等から、内視鏡４０の種類を判定し内視鏡種類情報を取得する。取得した内視鏡種類情報は、検査箇所情報取得部２１３へ入力される。

検査箇所情報取得部２１３は、検査箇所ＤＢ２３３を参照し、内視鏡種類情報に応じた検査箇所を含む候補情報を取得する。また検査箇所情報取得部２１３は、検査者により選択されたチェックポイントの検査箇所ＩＤを受け付け、候補情報及び検査者の選択チェックポイントに基づく検査箇所情報を導出する。

図７は、検査箇所情報の設定の流れを説明する説明図である。検査箇所情報取得部２１３は、取得した内視鏡種類情報に対応する候補情報を検査箇所ＤＢ２３３から読み出し、候補情報に含まれるチェックポイントである検査箇所を出力部２１８を介して表示装置５０へ表示する（図８参照）。検査箇所は、例えばチェックポイント番号で表示される。検査者は、表示装置５０に表示される候補チェックポイントの中から検査目的等に応じてチェックポイントを選択又は追加する。

検査箇所情報取得部２１３は、キーボード１５又はマウス等の入力を受け付け、選択されたチェックポイントの検査箇所ＩＤを取得する。検査箇所情報取得部２１３は、検査箇所ＤＢ２３３を参照して、選択されたチェックポイントに基づき、当該チェックポイントに関連する検査箇所を特定する。検査箇所には、選択されたチェックポイント、及び各チェックポイントに関連する通過箇所等が含まれる。検査箇所情報取得部２１３は、検査箇所ＤＢ２３３から、これらの検査箇所に対応付けられる検査箇所情報を導出する。検査箇所情報取得部２１３は、導出した検査箇所情報を補助記憶装置２３に一時的に記憶する。検査箇所情報は、画像解析部２１４に入力される。なお、これらの入力操作及び出力操作は、タッチパネル２５の表示部２５１及び入力部２５２を用いて行われてもよい。

画像解析部２１４は、検査内容判定部（判定部）２１５を含む。検査内容判定部２１５は、内視鏡画像５９の画像解析を行い、内視鏡４０に対応する検査箇所情報を判定する。検査内容判定部２１５は、内視鏡画像５９を学習済みモデル２３７に入力情報として与える。学習済みモデル２３７は、内視鏡画像５９に応じて、出力情報として該内視鏡画像に含まれる検査箇所ＩＤを出力する。検査内容判定部２１５は、学習済みモデル２３７から出力される検査箇所ＩＤと、検査箇所情報取得部２１３により導出される検査箇所情報に含まれる検査箇所ＩＤ、すなわち検査の対象部に含まれる検査箇所ＩＤとが一致するか否かに基づき、内視鏡４０が検査箇所に到達したか否かを判定する。

検査内容判定部２１５は、内視鏡４０を用いて適切な検査内容が実施されているか否かを判定する。検査内容判定部２１５は、内視鏡４０がチェックポイントに到達した場合において、チェックポイントで適切な検査内容が実施されたか否かを判定する。適切な検査内容の実施とは、例えばチェックポイントにおいて、制御ボタン４３１が押下され所定の画像のキャプチャー操作が行われることである。検査内容判定部２１５は、内視鏡４０の操作情報、又は画像のキャプチャー履歴情報等に基づき、チェックポイントでキャプチャー操作が実施されたか否かを判定する。なお、検査内容は画像のキャプチャー操作に限定されるものではなく、例えば送気又は送水操作であってもよく、異物の切除等であってもよい。また、検査内容判定部２１５は、検査箇所への到達履歴に基づき、検査箇所の通過漏れの有無を判定する。検査内容判定部２１５は、予め検査箇所情報として、内視鏡４０が検出すべき複数の検査箇所の情報を取得している。検査箇所情報には、検査箇所の通過順序、位置等の情報が含まれている。検査内容判定部２１５は、検査途中において、所定の順序で内視鏡画像５９から検査箇所が検出されない場合には、通過すべき所定の検査箇所が漏れていると判定する。検査内容判定部２１５は、判定結果に応じた通知情報を作成する。判定結果の通知情報は、出力部２１８に入力される。

検査内容判定部２１５は、検査内容の判定時に、内視鏡４０の先端部４４３の体内での位置情報を取得してもよい。先端部４４３の位置情報及び画像解析結果に基づき、内視鏡４０が検査箇所に到達したか否かを判定することで、より精度の高い判定結果を得ることができる。先端部４４３の位置情報の検出方法は様々であるが、例えば、検査内容判定部２１５は内視鏡４０の挿入量に基づいて位置情報を検出してもよい。挿入前を基準として、基準点との比較により、挿入部４４の体内への挿入量を検知する。検査内容判定部２１５は、予め取得している被検査者の身長、体重等の属性に基づき、内視鏡４０の挿入量から先端部４４３の位置情報を導出する。なお、この場合においては、挿入部４４の内部に複数のコイルを配置し、外部からの電磁波を受信することによりコイルで発生した電気信号をリード線を介して外部に出力し、出力した電気信号の振幅や位相等に基づき内視鏡４０の形状を把握するとよい。内視鏡４０の体内での形状を検出し、回転、湾曲等を含んだ内視鏡４０の挿入量に基づき、位置情報の補正を行うことで、体内における内視鏡４０の正確な位置情報が得られる。検査内容判定部２１５は、例えば位置情報及び画像解析結果に基づき、所定位置を通過した場合に検査箇所が検出されていない場合には検査箇所での検査内容が漏れていると判定する。

また、検査内容判定部２１５は、先端部４４３に位置情報を検出するセンサを配し、センサの検出情報から先端部４４３の位置情報を導出してもよい。例えば、検査内容判定部２１５は、先端部４４３に配される３軸加速度センサ及びジャイロセンサから出力される加速度及び回転角速度の測定情報を示す信号を取得し、取得したセンサの検出結果から先端部４４３の位置情報を導出する。

なお、画像解析の手法は学習済みモデル２３７を用いるものに限定されるものではなく他の公知の方法を用いてよい。例えば、検査内容判定部２１５は、パターンマッチング等の手法を用いて、内視鏡画像５９の特徴量と予め記憶する検査箇所の特徴量とに基づき、内視鏡画像５９に検査箇所が含まれるか否かを判定してもよい。

出力部２１８は、候補情報、判定結果の通知情報等の各種の情報に基づく表示画面情報を作成し、作成した表示画面情報を表示装置５０へ出力する。

本実施形態において、一連の処理における各機能部の分担は一例であり、これに限定されない。学習済みモデル２３７を含め各機能部の機能は、内視鏡用プロセッサ２０と通信接続された外部サーバの制御部（図示せず）によって実現されてもよい。また、内視鏡用プロセッサ２０の制御部２１と、外部サーバの制御部とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。

図８Ａ及び図８Ｂは、チェックポイントの入力画面の一例を示す模式図である。図８Ａは、選択情報の入力を受け付ける入力画面の例を示している。入力画面には、検査箇所の候補情報を示す候補情報欄５１１と、検査箇所の候補から検査者の選択を受け付けるための選択受付欄５１２とが含まれる。図８Ａの例では、入力画面には、内視鏡検査を実施する検査の対象部を含む人体のイラストが含まれ、候補情報は、チェックポイント（検査箇所）番号及び体内の対応する位置を示す丸印を用いて表示されている。さらに入力画面には、複数のチェックポイント番号で示される候補情報欄５１１と、各チェックポイント番号に対応付けられた検査者の選択操作を受け付ける選択受付欄５１２のチェックボックスとを含む入力ボックス５１３が含まれる。検査者は、チェックポイントの候補から、希望するチェックポイントのチェックボックスの選択操作を行い、選択チェックポイントの設定を行う。

制御部２１は、検査箇所ＤＢ２３３を参照して、内視鏡種類情報に基づく候補情報に含まれる複数の候補チェックポイントを特定する。制御部２１は、候補チェックポイントを含む表示画面情報を作成し図８Ａに示す如く表示装置５０に表示する。制御部２１は、図８Ａにおいて、キーボード１５又はマウス等を通じて選択チェックポイントの検査箇所ＩＤの入力操作を受け付ける。制御部２１は、取得した選択チェックポイントの検査箇所ＩＤに基づく画面情報を作成し、図８Ｂに示す如く表示装置５０に表示する。画面には、検査者により選択されたチェックポイントのみが検査位置を示す丸印とともに表示され、人体のイラスト上に重畳表示される。

図９から図１１は、通知情報を表示する通知画面の一例を示す模式図である。通知情報は、例えば表示装置５０の表示画面の一部に、内視鏡画像５９と並列に表示される。図９は、検査内容が実施されたことを通知する通知画面の例を示している。通知画面には、通知情報を含むテキストボックスと、内視鏡４０の体内での現在位置を示すイラストの情報とが含まれる。設定された検査箇所において、適切な検査内容が実施されたと判定された場合には、検査者に確認完了を示す通知が表示される。通知画面には、通知内容を示すテキスト「チェックポイント０２の確認が完了しました」等が含まれる。制御部２１は、内視鏡画像５９及び検査箇所情報に基づく判定を行い、所定の検査箇所における検査内容の実施に関する判定結果を取得する。補助記憶装置２３の通知ＤＢ（図示せず）には、判定結果に対応付けて通知内容が記憶されている。制御部２１は、通知ＤＢを参照し、検査箇所及び判定結果に応じた通知情報を取得し、取得した通知情報を含む表示画面情報を作成する。制御部２１は、作成した通知情報を含む表示画面情報を表示装置５０に表示させる。また制御部２１は、検査箇所に基づき内視鏡４０の位置情報を取得し、現在位置を示す画面情報を作成する。

図１０は、検査内容が実施されていないことを通知する通知画面の例を示している。通知画面には、通知情報を含むテキストボックスと、内視鏡４０の体内での現在位置を示すイラストの情報とが含まれる。設定された検査箇所において、適切な検査内容が実施されていないと判定された場合には、検査者に再確認を促す通知が表示される。通知画面には、通知内容を示すテキスト「チェックポイント０２を通過しました。チャプチャーを行っていませんので、再度確認してください」等が含まれる。制御部２１は、所定順序で内視鏡画像５９が取得されていない、又は所定位置で検査箇所に一致する内視鏡画像５９が取得されていない場合には、検査漏れの可能性があると判定する。この場合においては、再検査を促す通知を表示させることで、検査箇所を通過して次の検査箇所へ移動することを防止できる。

図１１は、検査箇所周辺に到達したことを通知する通知画面の例を示している。通知画面には、通知情報を含むテキストボックスと、内視鏡４０の体内での現在位置を示すイラストの情報とが含まれる。内視鏡４０が、検査箇所周辺に到達したと判定された場合には、検査箇所が近いことを示す通知が表示される。通知画面には、通知内容を示すテキスト「チェックポイント０２に近づいています。検査箇所の漏れがないよう注意してください」等が含まれる。診断支援システム１００では、検査箇所にチェックポイントのみでなく、チェックポイント周辺部位が含まれる。例えばチェックポイントに近接する検査箇所における通知を出力有とすることで、チェックポイント周辺部に到達したことを知らせる通知が出力され、検査漏れを防止できる。

図１２及び図１３は、診断支援システム１００が実行する処理手順の一例を示すフローチャートである。内視鏡用プロセッサ２０に内視鏡４０が接続され、内視鏡用プロセッサ２０のプログラム２３１が起動されると、制御部２１は以下の処理を実行する。制御部２１は、内視鏡画像５９の生成、光源３３及び内視鏡４０の先端部４４３に配置された撮像素子の制御等の処理と並行して、図１２及び図１３に示すプログラムを実行する。

制御部２１は、接続される内視鏡４０から内視鏡種類情報を取得する（ステップＳ１１）。制御部２１は、検査箇所ＤＢ２３３を参照し、内視鏡の種類に応じた検査箇所を含む候補情報を取得する（ステップＳ１３）。候補情報には、複数の候補となるチェックポイントの情報が含まれる。制御部２１は、検査者の選択入力を受け付けるため、候補情報を含む入力画面情報を作成し、表示装置５０に表示させる（ステップＳ１５）。

制御部２１は、キーボード１５又はマウス等の入力操作により、検査者による検査箇所（チェックポイント）の選択を受け付け（ステップＳ１７）、選択されたチェックポイントの検査箇所ＩＤを取得する（ステップＳ１９）。制御部２１は、検査箇所ＤＢ２３３を参照し、選択されたチェックポイントに基づく、検査内容に応じた検査箇所情報を取得する（ステップＳ２１）。検査箇所情報には、選択されたチェックポイント、及び選択されたチェックポイントとの関連度から導出されるチェックポイント間の検査箇所の情報が含まれる。制御部２１は、取得した検査箇所情報を補助記憶装置２３に記憶する（ステップＳ２３）。

内視鏡検査が開始され、内視鏡４０は検査の対象部の撮影を行う。制御部２１は、内視鏡画像５９を取得する（ステップＳ３１）。制御部２１は、内視鏡画像５９を学習済みモデル２３７に与え（ステップＳ３３）、出力される検査箇所ＩＤを特定する（ステップＳ３５）。なお、内視鏡用プロセッサ２０に記憶される学習済みモデル２３７は１つに限られず、内視鏡の種類に応じた複数の学習済みモデルを用意しておいてもよい。この場合においては、内視鏡種類情報に応じた学習済みモデルが選択される。また入力情報の要素の１つとして内視鏡種類情報が入力されてもよい。

制御部２１は、内視鏡４０の先端部４４３が検査箇所に到達したか否かを判定する（ステップＳ３７）。制御部２１は、補助記憶装置２３を参照し、予め選択登録されている検査箇所情報の検査箇所ＩＤと、学習済みモデル２３７の出力値から特定された内視鏡画像５９に対応する検査箇所ＩＤとが一致するか否かを判定する。

検査箇所ＩＤが一致しない、又は内視鏡画像５９に検査箇所が含まれていないため、内視鏡４０が予め選択登録されている検査箇所に到達していないと判定された場合（ステップＳ３７：ＮＯ）、ついで制御部２１は、検査箇所が漏れているか否かを判定する（ステップＳ３９）。制御部２１は、検査箇所情報に含まれる検査箇所の通過順序、位置等に基づき検査箇所が漏れているか否かを判定する。内視鏡４０が次の検査箇所への移動途中である場合は、検査箇所漏れではないと判定する（ステップＳ３９：ＮＯ）。この場合、制御部２１は、処理をステップＳ５１に進める。一方、所定順序で検査箇所ＩＤを含む内視鏡画像５９が取得されていない場合、あるいは所定位置で検査箇所ＩＤを含む内視鏡画像５９が取得されていない場合には、制御部２１は、既に通過した検査箇所が漏れていると判定し（ステップＳ３９：ＹＥＳ）、処理をステップＳ４９に進める。

予め選択登録されている検査箇所情報の検査箇所ＩＤと、学習済みモデル２３７の出力値から特定された検査箇所ＩＤとが一致する場合、制御部２１は、内視鏡４０が検査箇所に到達したと判定する（ステップＳ３７：ＹＥＳ）。制御部２１は、検査箇所ＩＤに基づき、当該検査箇所がチェックポイントであるか否かを判定する（ステップＳ４１）。

内視鏡画像５９に含まれる検査箇所がチェックポイント以外の検査箇所である場合には（ステップＳ４１：ＮＯ）、制御部２１は、検査箇所情報に基づき通知を出力するか否かを判定する（ステップＳ４３）。制御部２１は、検査箇所ＤＢ２３３の検査箇所情報２３４に記憶される通知の出力有無の情報を参照し、当該検査箇所が通知の出力対象であるか否かを判定する。検査箇所が通知の出力対象でない場合には、制御部２１は通知を出力しないと判定し（ステップＳ４３：ＮＯ）、処理をステップＳ５１に進める。一方、検査箇所が通知の出力対象である場合には、制御部２１は通知の出力が必要であると判定し（ステップＳ４３：ＹＥＳ）、処理をステップＳ４９に進める。

内視鏡画像５９に含まれる検査箇所がチェックポイントである場合には（ステップＳ４１：ＹＥＳ）、制御部２１は適切な検査内容が実施されたか否かを判定する（ステップＳ４５）。制御部２１は、例えば内視鏡４０のキャプチャー操作の有無を取得することにより、検査箇所での撮影が行われたか否かを判定する。キャプチャー操作が行われ、適切な検査内容が実施されたと判定される場合（ステップＳ４５：ＹＥＳ）、制御部２１は内視鏡４０の操作履歴を補助記憶装置２３に記憶する（ステップＳ４７）。一方、キャプチャー操作が行われず、適切な検査内容が実施されていないと判定される場合（ステップＳ４５：ＮＯ）、制御部２１は処理をステップＳ４９に進める。

内視鏡４０による適切な検査内容の実施、検査内容の漏れ、検査箇所周辺に到達、又は検査箇所漏れ等、検査箇所における検査に関する各種の判定結果を取得した場合、制御部２１は、判定結果の通知を出力する。制御部２１は、判定結果を取得し、通知ＤＢを参照して判定結果に応じた通知情報を含む表示画面情報を作成する。制御部２１は、作成した通知情報を含む表示画面情報を表示装置５０に出力する（ステップＳ４９）。表示装置５０に表示される通知情報は、確認完了、検査漏れ、検査箇所の周辺到達等の検査内容に関する情報が含まれる。

制御部２１は、撮影が終了したか否かを判断する（ステップＳ５１）。撮影が終了していないと判定した場合（ステップＳ５１：ＮＯ）、制御部２１は処理をステップＳ３１に戻し、新たな内視鏡画像を取得する。撮影が終了したと判断した場合（ステップＳ５１：ＹＥＳ）、制御部２１は一連の処理を終了する。

本実施形態によれば、内視鏡画像５９に基づき、リアルタイムで検査内容が検出され、検出結果に応じた通知が出力される。検査内容の実施に関する情報が効率的に導出されるため、検査者は通知情報を基に、検査内容を確認することができる。

（実施形態２）
実施形態２では、内視鏡用プロセッサ２０は、検査者の動作情報を取得し、検査者の熟練度に応じた通知が出力される点で実施形態１と異なる。図１４は、実施形態２における診断支援システム２００の構成を説明する説明図である。実施形態２におけるハードウェア構成は、実施形態１における診断支援システム２００と同様であるので共通する構成については同一の符号を付してその詳細な説明を省略する。実施形態２では、内視鏡用プロセッサ２０の補助記憶装置２３には、行動学習ＤＢ２３６がさらに記憶されている。

図１５は、行動学習ＤＢ２３６に記憶される情報の内容例を示す図である。制御部２１は、内視鏡種類及び熟練度に応じた内視鏡４０の動作に関する情報を収集し、行動学習ＤＢ２３６に記憶している。行動学習ＤＢ２３６は、動作情報を識別するための動作情報ＩＤに対応付けて、内視鏡種類、熟練度、及び動作情報を記憶している。動作情報とは、所定の熟練度が対応付けられる検査時において、内視鏡４０がどのように動作するかを示す情報であり、例えば内視鏡４０の移動順序、移動時間等の情報が含まれる。動作情報は、例えば画像データ、内視鏡の操作信号データ等を含んでよい。動作情報の検出については後述する。

図１６は、制御部２１に含まれる機能部を例示する機能ブロック図である。実施形態２では、制御部２１は、機能部として動作検出部２１６及び行動分析部２１７をさらに有する。制御部２１は、補助記憶装置２３に記憶してあるプログラム２３１を実行することにより、動作検出部２１６及び行動分析部２１７の各機能を実現する。

実施形態２では、検査箇所情報取得部２１３は、検査者の熟練度に応じた検査箇所情報を取得する。検査箇所の設定は、検査者の熟練度に応じて異なる内容であってよい。例えば、所定の種類の内視鏡を用いた内視鏡検査に未熟な検査者が検査を実施する場合においては、基本設定される全ての検査箇所を漏れなく通過して検査を実施することが望ましい。一方、熟練した検査者が検査を実施する場合においては、基本設定される全ての検査箇所での検査内容の実施に代えて、数箇所の検査箇所を減らした検査箇所での検査が実施されてよい。また熟練度に応じて設定される検査箇所が変更されてもよい。検査者ＤＢ２３２には、検査箇所情報に対応付けて、当該検査箇所を判定ポイントに含むべき検査者の対象熟練度が記憶されている。

検査箇所情報取得部２１３は、内視鏡種類情報、及び内視鏡検査を実施する検査者の熟練度を取得する。検査者は、入力画面により予め検査者ＩＤ等を入力する。検査箇所情報取得部２１３は、検査者ＩＤを取得し、検査者ＤＢ２３２を参照して検査者に対応付けられる熟練度を特定する。検査箇所情報取得部２１３は、検査箇所ＤＢ２３３を参照して、内視鏡種類情報及び対象熟練度に応じた候補情報を抽出し、候補情報に含まれる候補チェックポイントを出力部２１８を介して表示装置５０へ表示する。検査者は、表示装置５０に表示される候補チェックポイントの中から検査目的、自身の熟練度等に応じてチェックポイントを選択又は追加し、チェックポイントを設定する。検査箇所情報取得部２１３は、キーボード１５又はマウス等の入力を受け付け、選択されたチェックポイントの検査箇所ＩＤを取得する。

検査箇所情報取得部２１３は、取得したチェックポイントの検査箇所ＩＤ及び対象熟練度に基づき、検査箇所ＤＢ２３３を参照して検査箇所を特定する。検査箇所には、設定されたチェックポイントの他に、熟練度に応じて追加されるチェックポイント周辺箇所、及び各チェックポイント間の通過箇所等が含まれる。検査箇所ＤＢ２３３は、対象熟練度に対応付けて検査箇所を記憶している。検査箇所情報取得部２１３は、検査箇所ＤＢ２３３から、これらの検査箇所に対応付けられる検査箇所情報を導出する。検査箇所情報取得部２１３は、導出した検査箇所情報を画像解析部２１４に出力する。

実施形態２の画像解析部２１４は、検査内容判定部２１５及び動作検出部２１６を含む。動作検出部２１６は、内視鏡画像５９の画像解析を行い、検査時の内視鏡４０の動作を検出する。画像解析の手法は、例えばパターンマッチング等の公知の方法を用いてよい。

図１７は、動作検出の一例を説明する説明図である。動作検出部２１６は、内視鏡画像５９の特徴量と予め記憶する検査箇所の特徴量とに基づき、内視鏡画像５９の撮像領域における、検査箇所の有無、位置、及び大きさ等の情報を抽出する。さらに動作検出部２１６は、内視鏡画像５９の複数のフレームの画像特徴量に基づき、動作検出を行う。

図１７は、内視鏡画像５９に含まれる第１フレーム、第２フレーム、第３フレームの一例を示している。動作検出部２１６は第１フレーム、第２フレーム、第３フレームの順序で内視鏡画像５９のフレームを取得する。すなわち、内視鏡４０は、第１フレーム、第２フレーム、第３フレームで撮影される順に検査部位を移動させていることを示す。動作検出部２１６は、各フレームに含まれる画像特徴量のマッチングにより、内視鏡の動作を検出する。例えば第１フレームには、フレーム中央左寄り上側に特徴点a、左下側に特徴点ｂ、及び中心右寄りに特徴点ｃが含まれている。第２フレームは、特徴点ｂが消失し、左上側に特徴点a、中央に特徴点ｃ、右上側に新たな特徴点ｄが含まれている。第３フレームは特徴点ｃが拡大表示され、また特徴点a及び特徴点ｄが消失している。従って、第１フレーム及び第２フレームから、内視鏡４０の先端部が右側に移動したことを示す動作が検出される。また第２フレーム及び第３フレームから、内視鏡４０の先端部４４３が特徴点ｂを含む注目領域に接近したことを示す動作が検出される。このようにして動作検出部２１６は動作情報を検出する。なお、動作検出部２１６は、内視鏡４０の操作信号を取得し、操作履歴に基づき動作を検出してもよい。動作検出部２１６は、移動経路に関する情報に加え、検査箇所間、通過点間等までの移動に要した移動時間に関する情報を検出する。検出された動作情報は、行動分析部２１７へ入力される。

行動分析部２１７は、取得した動作情報に基づき、行動学習ＤＢ２３６を参照して検査者の行動分析を行う。行動分析部２１７は、行動分析により検査者の熟練度を評価し、熟練度に応じた分析結果を出力する。例えば行動分析部２１７は、取得した検査者の動作情報と、行動学習ＤＢ２３６に含まれる様々な熟練度に対応付けた動作情報とを比較する。行動分析部２１７は、一致率が高い動作情報を有する動作情報ＩＤを特定し、当該動作情報ＩＤに対応付けられる熟練度を取得する。行動分析部２１７は、動作情報を基に、内視鏡４０の操作履歴、操作に要した時間等から熟練度を特定する。例えば、内視鏡検査に熟練した検査者であれば、内視鏡４０の移動経路に無駄がなく、また短時間で検査箇所から検査箇所へと内視鏡４０を移動させることができる。

行動分析部２１７は、分析結果から得られるリアルタイムでの熟練度と予め取得した検査者の熟練度とを比較し、検査箇所を変更するか否かを判断する。行動分析部２１７は、判断結果を含む分析結果情報を導出する。分析結果情報は、検査箇所情報取得部２１３へ入力される。検査箇所情報取得部２１３は、取得した分析結果情報により、検査箇所の変更が必要である場合には、新たに導出された熟練度に対応する検査箇所情報を取得する。

なお行動分析部２１７は、その他機械学習モデルを用いて検査者の熟練度を判定してもよい。行動分析部２１７は、内視鏡画像５９を入力した場合に、熟練度を示す情報を出力する学習済みモデルを予め作成して補助記憶装置２３に記憶しておく。学習済みモデルは、様々な熟練度の検査者による、検査時の内視鏡画像を収集するデータを用いて生成される。学習済みモデルは、複数の内視鏡画像を含む動画データが入力された場合に、画像情報から得られる動作内容により推定される検査者の熟練度を出力とする。行動分析部２１７は、この学習済みモデルにより内視鏡画像５９から熟練度を示す情報情報を取得する。学習済みモデルに入力される情報は、内視鏡画像５９の他に、例えば操作信号等の情報が含まれてもよい。

図１８及び図１９は、診断支援システム２００が実行する処理手順の一例を示すフローチャートである。実施形態１の図１２及び図１３と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。内視鏡用プロセッサ２０に内視鏡４０が接続され、内視鏡用プロセッサ２０のプログラム２３１が起動されると、制御部２１は以下の処理を実行する。

制御部２１は、検査を実施する検査者の検査者情報を取得する（ステップＳ６１）。制御部２１は、キーボード１５又はマウス等より入力操作を受け付け、検査者ＩＤを取得する。制御部２１は、検査者ＤＢ２３２を参照して検査者の熟練度を含む検査者情報を取得する。

制御部２１は、内視鏡種類情報を取得する（ステップＳ１１）。制御部２１は、検査箇所ＤＢ２３３を参照し、内視鏡の種類及び検査者の熟練度に応じた複数の検査箇所を含む候補情報を取得する（ステップＳ１３）。制御部２１は、候補情報を含む入力画面情報を表示装置５０に表示させる（ステップＳ１５）。なお制御部２１は、熟練度によらず、内視鏡種類情報のみに基づく候補情報を表示装置５０に表示させてもよい。

制御部２１は、検査者による検査箇所の選択を受け付け（ステップＳ１７）、選択されたチェックポイントの検査箇所ＩＤを取得する（ステップＳ１９）。制御部２１は、検査箇所ＤＢ２３３を参照し、選択されたチェックポイント及び熟練度に基づき、検査内容に応じた検査箇所情報を取得する（ステップＳ２１）。検査箇所情報には、熟練度に応じたチェックポイント及びチェックポイント周辺箇所等の検査箇所情報が含まれる。

内視鏡検査が開始され、内視鏡４０は検査の対象部の撮影を行う。制御部２１は、実施形態１と同様にステップＳ３１からステップＳ４９の処理を行い、検査内容に応じた通知を出力する。通知の出力対象となる検査箇所は熟練度に応じて異なる。例えば、未熟な検査者が検査を実施する場合においては、チェックポイントのみでなくチェックポイント周辺が通知の出力対象に含まれる。事前にチェックポイント周辺に到達した段階で通知が出力され、検査者の注意を促すことで検査漏れの防止に繋げる。検査者の熟練度が高い場合には、チェックポイント前での通知は出力されず、チェックポイントでの検査完了時にのみ通知が出力される。

ついで制御部２１は、内視鏡画像５９に基づく動作情報を検出する（ステップＳ６３）。制御部２１は、内視鏡画像５９の画像解析、操作信号等に基づき動作情報を検出する。制御部２１は、検出した動作情報に基づき、行動学習ＤＢ２３６を参照して行動分析を行う。制御部２１は、行動分析によりリアルタイムでの動作情報を反映した検査者の熟練度を特定する。制御部２１は、特定した熟練度を含む分析結果を導出する（ステップＳ６５）。

制御部２１は、分析結果に基づき、検査者の熟練度を変更するか否かの情報を取得する（ステップＳ６７）。予め取得した検査者情報に含まれる熟練度と、分析結果に含まれる熟練度とが異なる場合、又は熟練度の差異が閾値以上である場合（ステップＳ６７：ＮＯ）、制御部２１は熟練度を変更すると判断する。制御部２１は、処理をステップＳ２１に戻し、新たに導出された熟練度に基づく検査箇所情報を取得する。例えば、熟練度が低い数値に変更された場合には、チェックポイントに加えてチェックポイント周辺においても通知が出力される様、検査箇所情報が変更される。一方、予め取得した検査者情報に含まれる熟練度と、分析結果に含まれる熟練度とが同じである場合、又は熟練度の差異が閾値未満である場合（ステップＳ６７：ＹＥＳ）、制御部２１は熟練度を変更しないと判断し、処理を次のステップＳ５１へ進める。

制御部２１は、撮影が終了したか否かを判断する（ステップＳ５１）。撮影が終了していないと判定した場合（ステップＳ５１：ＮＯ）、制御部２１は処理をステップＳ３１に戻し、新たな内視鏡画像を取得する。撮影が終了したと判断した場合（ステップＳ５１：ＹＥＳ）、制御部２１は一連の処理を終了する。

本実施形態によれば、リアルタイムで行われる行動分析の結果に基づき、検査内容に関する通知が出力される。検査内容の実施に関する情報が効率的に導出されるため、検査者の検査内容に応じた情報を提供することが可能となる。

なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。

２０ 内視鏡用プロセッサ
２１ 制御部
２１１ 内視鏡画像取得部
２１２ 内視鏡種類判定部
２１３ 検査箇所情報取得部
２１４ 画像解析部
２１５ 検査内容判定部
２１６ 動作検出部
２１７ 行動分析部
２１８ 出力部
２３ 補助記憶装置
２３１ プログラム
２３２ 検査者ＤＢ
２３３ 検査箇所ＤＢ
２３４ 検査箇所情報
２３５ 候補情報
２３６ 行動学習ＤＢ
２３７ 学習済みモデル
４０ 内視鏡
５０ 表示装置
５９ 内視鏡画像
１００，２００ 診断支援システム

Claims (11)

1. 内視鏡を用いて検査される複数の検査箇所のうち判定対象となる検査箇所に関する検査箇所情報を取得し、
   前記内視鏡により撮影された内視鏡画像を取得し、
   前記内視鏡画像を入力した場合に該内視鏡画像に対応する検査箇所を出力する学習済みモデルに、前記内視鏡画像を入力して、出力される前記検査箇所を取得し、
   取得した前記検査箇所と、取得した前記判定対象となる検査箇所に関する検査箇所情報とに基づいて、前記内視鏡が前記判定対象となる検査箇所に到達したか否かを判定し、
   前記内視鏡が前記判定対象となる検査箇所に到達した場合に通知を出力する
   処理をコンピュータに実行させるためのコンピュータプログラム。
2. 前記通知は、前記判定対象となる検査箇所における検査内容に関する情報を含む
   請求項１に記載のコンピュータプログラム。
3. 前記判定対象となる検査箇所において、所定の検査内容が実施されていない場合に、前記通知を出力する
   処理を実行させるための請求項１又は請求項２に記載のコンピュータプログラム。
4. 前記検査を実施する検査者の前記検査に対する熟練度を取得し、
   取得した前記熟練度に基づいて、前記通知の内容を変更する
   処理を実行させるための請求項１から請求項３のいずれか１項に記載のコンピュータプログラム。
5. 前記内視鏡画像又は前記内視鏡の操作信号に基づき、前記検査を実施する検査者の動作情報を取得する
   処理を実行させるための請求項１から請求項４のいずれか１項に記載のコンピュータプログラム。
6. 取得した前記動作情報に基づき、前記検査者の前記検査の実施内容に応じた前記検査に対する熟練度を導出する
   処理を実行させるための請求項５に記載のコンピュータプログラム。
7. 導出した前記検査の実施内容に応じた前記検査に対する熟練度に基づき、前記検査箇所情報を取得する
   処理を実行させるための請求項６に記載のコンピュータプログラム。
8. 予め記憶される複数の検査箇所情報の候補を表示し、
   前記検査を実施する検査者からの選択を受け付け、前記検査に応じた前記検査箇所情報を決定する
   処理を実行させるための請求項１から請求項７のいずれか１項に記載のコンピュータプログラム。
9. 前記検査に用いられる前記内視鏡の種類を特定し、
   特定した前記内視鏡の種類に応じた前記検査箇所情報を取得する
   処理を実行させるための請求項１から請求項８のいずれか１項に記載のコンピュータプログラム。
10. 内視鏡を用いて検査される複数の検査箇所のうち判定対象となる検査箇所に関する検査箇所情報を取得する検査箇所情報取得部と、
    前記内視鏡により撮影された内視鏡画像を取得する内視鏡画像取得部と、
    前記内視鏡画像を入力した場合に該内視鏡画像に対応する検査箇所を出力する学習済みモデルに、前記内視鏡画像を入力して、出力される前記検査箇所を取得し、
    取得した前記検査箇所と、取得した前記判定対象となる検査箇所に関する検査箇所情報とに基づいて、前記内視鏡が前記判定対象となる検査箇所に到達したか否かを判定する判定部と、
    前記内視鏡が前記判定対象となる検査箇所に到達した場合に通知を出力する出力部と
    を備える内視鏡用プロセッサ。
11. 内視鏡を用いて検査される複数の検査箇所のうち判定対象となる検査箇所に関する検査箇所情報を取得し、
    前記内視鏡により撮影された内視鏡画像を取得し、
    前記内視鏡画像を入力した場合に該内視鏡画像に対応する検査箇所を出力する学習済みモデルに、前記内視鏡画像を入力して、出力される前記検査箇所を取得し、
    取得した前記検査箇所と、取得した前記判定対象となる検査箇所に関する検査箇所情報とに基づいて、前記内視鏡が前記判定対象となる検査箇所に到達したか否かを判定し、
    前記内視鏡が前記判定対象となる検査箇所に到達した場合に通知を出力する
    処理をコンピュータが実行する情報処理方法。

Images