JP2024008474A - 検査支援装置、検査支援方法および検査支援プログラム - Google Patents

Abstract

【課題】内視鏡システムに接続して検査支援を行う支援装置でありながら、様々な医師の要請に応えて快適な検査支援を提供する検査支援装置を提供する。【解決手段】検査支援装置は、事前に診断部の処理に関する第１処理モードと第２処理モードの選択をユーザから受け付け、第１処理モードが選択された場合には、取得部が連続して取得する撮像画像が予め設定された期間に亘って静止する静止画像であると判断した場合に撮像画像を鑑別モデルおよび検出モデルの少なくともいずれかに入力して、推定確率および病変領域の少なくともいずれかを診断結果として出力し、第２処理モードが選択された場合には、取得部が取得した撮像画像を連続的に検出モデルに入力して、病変領域を診断結果として逐次出力する。【選択図】図５

Description

本発明は、検査支援装置、検査支援方法および検査支援プログラムに関する。

内視鏡により被検者の例えば胃内部を撮像してその画像をモニタに表示する内視鏡システムが知られている。最近では、内視鏡システムで撮像された画像を分析して、その結果を医師へ知らせる検査支援装置も普及しつつある（例えば、特許文献１を参照）。また、撮像された画像に含まれる注目領域を検出する検出部と注目領域の鑑別を行う鑑別部をそれぞれ備え、条件に応じて使い分ける装置も知られるようになってきた（例えば、特許文献２を参照）。

特開２０１９－４２１５６号公報 特開２０２０－６９３００号公報

内視鏡システムを利用して検査を行う医師の間には技量差が存在し、内視鏡システムは、未熟な医師に対してはより積極的に支援を行い、病変の見落としを防止する仕様が好ましい。一方で、熟練の医師に対してはシステム側からの積極的な支援を控え、医師から支援要請があった場合に支援する仕様が好ましい。

内視鏡システムそのものが取得画像を解析する場合には、医師による操作部の操作を検出して、その操作に応じた解析結果を呈示すれば、医師の要請に直接的に応えることができる。しかし、内視鏡システムに接続し、内視鏡システムが撮像した体内画像を逐次取得して検査支援を行う検査支援装置においては、そのような医師の操作入力を直接的に検出することが難しく、様々な医師のそれぞれの要請に応えて快適な検査支援を行うことが困難であった。

本発明は、このような問題を解決するためになされたものであり、内視鏡システムに接続して検査支援を行う支援装置でありながら、様々な医師の要請に応えて快適な検査支援を提供する検査支援装置等を提供するものである。

本発明の第１の態様における検査支援装置は、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得部と、入力された撮像画像から抽出した病変領域に含まれる病変の確からしさを示す推定確率を少なくとも出力する学習済みモデルである鑑別モデル、および、鑑別モデルよりもより低い基準で病変領域であると判断するように調整された学習済みモデルであって、入力された撮像画像から抽出した病変領域を少なくとも出力する検出モデルの少なくともいずれかに、取得部が取得した撮像画像を入力して体内の診断を行う診断部と、診断部の処理に関する少なくとも第１処理モードと第２処理モードを含む処理モードからの選択をユーザから受け付ける受付部とを備え、診断部は、受付部が第１処理モードの選択を受け付けた場合には、取得部が連続して取得する撮像画像が予め設定された期間に亘って静止する静止画像であると判断した場合に撮像画像を鑑別モデルおよび検出モデルの少なくともいずれかに入力して、推定確率および病変領域の少なくともいずれかを診断結果として出力し、受付部が第２処理モードの選択を受け付けた場合には、取得部が取得した撮像画像を連続的に検出モデルに入力して、病変領域を診断結果として逐次出力する。

また、本発明の第２の態様における検査支援方法は、診断処理に関する少なくとも第１処理モードと第２処理モードを含む処理モードからの選択をユーザから受け付ける受付ステップと、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、入力された撮像画像から抽出した病変領域に含まれる病変の確からしさを示す推定確率を少なくとも出力する学習済みモデルである鑑別モデル、および、鑑別モデルよりもより低い基準で病変領域であると判断するように調整された学習済みモデルであって、入力された撮像画像から抽出した病変領域を少なくとも出力する検出モデルの少なくともいずれかに、取得ステップで取得した撮像画像を入力して体内の診断を行う診断ステップとを有し、診断ステップは、受付ステップで第１処理モードの選択を受け付けた場合には、取得ステップで連続して取得する撮像画像が予め設定された期間に亘って静止する静止画像であると判断した場合に撮像画像を鑑別モデルおよび検出モデルの少なくともいずれかに入力して、推定確率および病変領域の少なくともいずれかを診断結果として出力し、受付ステップで第２処理モードの選択を受け付けた場合には、取得ステップで取得した撮像画像を連続的に検出モデルに入力して、病変領域を診断結果として逐次出力する。

また、本発明の第３の態様における検査支援プログラムは、診断処理に関する少なくとも第１処理モードと第２処理モードを含む処理モードからの選択をユーザから受け付ける受付ステップと、被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、入力された撮像画像から抽出した病変領域に含まれる病変の確からしさを示す推定確率を少なくとも出力する学習済みモデルである鑑別モデル、および、鑑別モデルよりもより低い基準で病変領域であると判断するように調整された学習済みモデルであって、入力された撮像画像から抽出した病変領域を少なくとも出力する検出モデルの少なくともいずれかに、取得ステップで取得した撮像画像を入力して体内の診断を行う診断ステップとをコンピュータに実行させ、診断ステップは、受付ステップで第１処理モードの選択を受け付けた場合には、取得ステップで連続して取得する撮像画像が予め設定された期間に亘って静止する静止画像であると判断した場合に撮像画像を鑑別モデルおよび検出モデルの少なくともいずれかに入力して、推定確率および病変領域の少なくともいずれかを診断結果として出力し、受付ステップで第２処理モードの選択を受け付けた場合には、取得ステップで取得した撮像画像を連続的に検出モデルに入力して、病変領域を診断結果として逐次出力する。

本発明により、内視鏡システムに接続して検査支援を行う支援装置でありながら、様々な医師の要請に応えて快適な検査支援を提供する検査支援装置等を提供することができる。

内視鏡システムと本実施形態に係る検査支援装置を用いた内視鏡検査の様子を示す図である。 検査支援装置のハードウェア構成図である。 検出モデルを用いた処理手順と診断結果の表示について説明する図である。 鑑別モデルを用いた処理手順と診断結果の表示について説明する図である。 処理モードの設定画面の例を示す図である。 自動モードにおける対象画像と処理動作を説明する図である。 手動モードかつ連続モードにおける対象画像と処理動作を説明する図である。 手動モードかつ選択モードにおける対象画像と処理動作を説明する図である。 手動モードかつ選択モードにおける対象画像と処理動作を説明する図である。 演算処理部の処理手順を説明するフロー図であって、主に自動モードに設定された場合の処理手順を説明するフロー図である。 演算処理部の処理手順を説明するフロー図であって、主に手動モードかつ連続モードに設定された場合の処理手順を説明するフロー図である。 演算処理部の処理手順を説明するフロー図であって、主に手動モードかつ選択モードに設定された場合の処理手順を説明するフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、内視鏡システム２００と本実施形態に係る検査支援装置１００を用いた内視鏡検査の様子を示す図であり、特に、検査支援装置１００が後述する鑑別モデルを用いて行った検査の結果を表示する様子を示す図である。内視鏡システム２００と検査支援装置１００は、共に診察スペースに設置されている。内視鏡システム２００は、カメラユニット２１０を備え、カメラユニット２１０は、図示するように、横たわる被検者の口腔から胃などの体内の器官へ挿通され、器官の内部を撮像した画像の画像信号をシステム本体へ送信する。カメラユニット２１０の器官への挿通や撮像操作は、医師によって行われる。

内視鏡システム２００は、例えば液晶パネルによって構成されるシステムモニタ２２０を備え、カメラユニット２１０から送られてきた画像信号を処理して視認可能な撮像画像２２１としてシステムモニタ２２０に表示する。また、内視鏡システム２００は、被検者情報やカメラユニット２１０のカメラ情報などを含む検査情報２２２をシステムモニタ２２０に表示する。

検査支援装置１００は、接続ケーブル２５０によって内視鏡システム２００に接続されている。内視鏡システム２００は、システムモニタ２２０へ送信する表示信号を、接続ケーブル２５０を介して検査支援装置１００へも送信する。すなわち、本実施形態における表示信号は、内視鏡システム２００が外部装置へ提供する画像信号の一例である。検査支援装置１００は、表示部として例えば液晶パネルによって構成される表示モニタ１２０を備え、内視鏡システム２００から送られてきた表示信号から撮像画像２２１に対応する画像信号を抽出して視認可能な撮像画像１２１として表示モニタ１２０に逐次表示する。

医師は、カメラユニット２１０の操作に応じてリアルタイムで表示される撮像画像１２１を視認しながら検査を進める。医師は、検査支援装置１００に診断させたい対象箇所が存在すれば、当該対象箇所が撮像画像１２１として表示されるようにカメラユニット２１０を操作する。具体的には後述するが、検査支援装置１００は、医師や補助者が事前に設定した処理モードに応じて診断を行い、撮像画像１２１に診断領域を示す診断領域枠１２１ａを重畳したり、診断結果をコンピュータグラフィックスに変換してＣＧ指標１２２として表示したりする。図の例では、癌と推定される確率が７５％であるとの診断結果を示している。診断結果は一定時間に亘って表示され、その後、カメラユニット２１０が撮像するリアルタイムの撮像画像１２１に切り替えられる。

図２は、検査支援装置１００のハードウェア構成図である。検査支援装置１００は、主に、演算処理部１１０、表示モニタ１２０、入出力インタフェース１３０、入力デバイス１４０、記憶部１５０によって構成される。演算処理部１１０は、検査支援装置１００の制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ：Central Processing Unit）である。プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）やＧＰＵ（Graphics Processing Unit）等の演算処理チップと連携する構成であってもよい。演算処理部１１０は、記憶部１５０に記憶された検査支援プログラムを読み出して、検査の支援に関する様々な処理を実行する。

表示モニタ１２０は、上述のように、例えば液晶パネルを備えるモニタであり、撮像画像１２１やＣＧ指標１２２等を視認可能に表示する。入出力インタフェース１３０は、接続ケーブル２５０を接続するためのコネクタを含む、外部機器との間で情報を授受するための接続インタフェースである。入出力インタフェース１３０は、例えばＬＡＮユニットを含み、検査支援プログラムや後述する検出モデル１５１や鑑別モデル１５２の更新データを外部機器から取り込んで演算処理部１１０へ引き渡す。

入力デバイス１４０は、例えばキーボードやマウス、表示モニタ１２０に重畳されたタッチパネルであり、医師や補助者は、これらを操作して検査支援装置１００の設定を変更したり、検査に必要な情報を入力したりすることができる。

記憶部１５０は、不揮発性の記憶媒体であり、例えばＨＤＤ（Hard Disk Drive）によって構成されている。記憶部１５０は、検査支援装置１００の制御や処理を実行するプログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、表示要素データ、ルックアップテーブル等を記憶し得る。記憶部１５０は、特に、それぞれ学習済みモデルである検出モデル１５１と鑑別モデル１５２を記憶している。検出モデル１５１と鑑別モデル１５２については、後に詳述する。なお、記憶部１５０は、複数のハードウェアで構成されていても良く、例えば、プログラムを記憶する記憶媒体とそれぞれの学習済みモデルを記憶する記憶媒体が別々のハードウェアで構成されてもよい。

演算処理部１１０は、検査支援プログラムが指示する処理に応じて様々な演算を実行する機能演算部としての役割も担う。演算処理部１１０は、取得部１１１、診断部１１２、受付部１１３、表示制御部１１５として機能し得る。取得部１１１は、内視鏡システム２００から送られてくる表示信号を逐次取得して各々を信号再生画像に展開する。さらに、前後する信号再生画像間の差分量が基準量以上となる変化領域を探索することにより、カメラユニット２１０で撮像された撮像画像を表す画像領域を確定する。取得部１１１は、画像領域を一旦確定させたら、その後に逐次取得する表示信号の当該画像領域から、フレーム画像としての撮像画像１２１を逐次生成する。

診断部１１２は、撮像画像１２１を診断画像として、記憶部１５０から読み出した検出モデル１５１または鑑別モデル１５２へ入力し、画像内に存在する病変の疑いがある領域や、その領域に含まれる病変の確からしさを示す推定確率を出力させる。診断部１１２は、この出力に入力画像等を関連付けて診断結果を生成する。受付部１１３は、入力デバイス１４０を介して、処理モードの選択をユーザである医師や補助者から受け付ける。

表示制御部１１４は、表示モニタ１２０へ表示する表示画面の表示信号を生成し表示モニタ１２０へ送信することにより、表示モニタ１２０の表示を制御する。表示制御部１１４は、診断部１１２による診断結果を出力する出力部としての機能を担う。診断結果の出力先は表示モニタ１２０に限らず、例えば外部機器へ出力する場合には、演算処理部１１０と入出力インタフェース１３０が協働して出力部としての機能を担う。

本実施形態において診断部１１２は、検出モデル１５１と鑑別モデル１５２を適宜使い分けて被検者の体内の診断を行う。そこで、検出モデル１５１を用いた場合と鑑別モデル１５２を用いた場合のそれぞれについて、その処理手順と診断結果の表示について説明する。

図３は、検出モデル１５１を用いた処理手順と診断結果の表示について説明する図である。内視鏡システム２００から送られてくる表示信号を取得部１１１が取得して展開する信号再生画像２２５は、内視鏡システム２００のシステムモニタ２２０で表示されている表示画像と同様である。信号再生画像２２５は、撮像画像２２１と検査情報２２２を含む。検査情報２２２は、例えばテキスト情報である。

信号再生画像２２５の画像領域のいずれの領域が撮像画像を表す画像領域であるかが、上述のように確定されていると、取得部１１１は、その確定された画像領域を切り出して撮像画像１２１とする。撮像画像１２１は、実質的にはカメラユニット２１０が撮像した撮像画像を検査支援装置１００で再現した画像と言える。

取得部１１１は、切出した撮像画像１２１が診断対象の画像でない場合には、当該撮像画像１２１を表示制御部１１４へ引き渡す。具体的には後述するが、リアルタイム表示を行うように規定された期間においては、表示制御部１１４は、診断部１１２による診断結果を表示することなく、撮像画像２２１に対応する撮像画像１２１を逐次更新して表示モニタ１２０へ表示する。取得部１１１は、切出した撮像画像１２１が診断対象の画像である場合には、当該撮像画像１２１を表示制御部１１４へ引き渡すと共に診断部１１２へ引き渡す。

診断部１１２は、検出モデル１５１を用いて診断処理を実行する場合には、予め記憶部１５０から検出モデル１５１を読み出しておく。検出モデル１５１は、入力された診断画像から病変を含むと推定される病変領域を抽出し出力する。検出モデル１５１は、例えば、階層構造を有する畳み込みニューラルネットワークであり、学習用診断画像とそれに関連付けられた正解とする病変領域の情報とを教師データとして事前に機械学習を行った学習済みモデルである。

検出モデル１５１は、主に、入力画像中に病変であることが疑わしい病変領域が存在することを医師に知らしめて注意を促す学習済みモデルである。したがって、検出モデル１５１は、鑑別モデル１５２よりは低い基準で病変領域であると判断して、より多くの病変領域を抽出し出力するように調整されている。ここで、低い基準とは、例えば腫瘍に限って病変領域を抽出したい場合であっても、腫瘍の外観に似た外観を呈する胃炎のような病変も抽出対象とすることを意味する。そのような病変が実際には腫瘍である可能性を踏まえ、不確かな病変を含めてより多く抽出されるようにしている。低い基準を設定した機械学習としては、例えば、腫瘍に似た胃炎画像の病変領域を正解とする教師データを含めればよい。なお、本実施形態における検出モデル１５１は、抽出した病変領域に含まれる病変の確からしさを示す推定確率については出力しないが、出力するように構成してもよい。

診断部１１２は、後述するようにリアルタイム表示に連動して検出モデル１５１による診断結果を逐次表示する場合もあるので、診断結果を表示するまでの遅延時間をできる限り短縮したいという要請がある。そこで、検出モデル１５１による演算量を軽減すべく、検出モデル１５１が受け入れる診断画像を、鑑別モデル１５２が受け入れる診断画像よりも、画素を間引いた縮小画像としてもよい。

診断部１１２は、調整した診断画像の画像データを検出モデル１５１へ入力して、病変を含むと推定される病変領域を診断結果として出力する。病変領域は、例えば矩形領域として抽出され、その左上の座標値と右下の座標値が出力される。診断部１１２は、診断結果を表示制御部１１４へ引き渡す。検出モデル１５１が病変領域を複数出力した場合は、それぞれを診断結果として表示制御部１１４へ引き渡す。逆に、病変領域を一つも出力しなかった場合には、病変領域無しの診断結果を表示制御部１１４へ引き渡す。図３の例においては、３つの病変領域が表示制御部１１４へ引き渡される。

表示制御部１１４は、取得部１１１から受け取った撮像画像１２１の撮像画像データと、診断部１１２から受け取った診断結果とを、予め設定された表示基準に従って展開、配列して表示モニタ１２０へ表示する。具体的には、撮像画像１２１中に、診断部１１２から受け取った各病変領域を取り囲む診断領域枠１２１ａを視認可能に重畳すると共に、抽出された病変領域の数（検出枠数）や、そのときに設定されている処理モードを含む検査情報１２３を撮像画像１２１の隣接領域に表示する。表示基準は、例えば、検出枠数が所定数よりも多い場合にはその数を制限して、診断画像の中央に近い病変領域ほど優先して表示するといった基準が考えられる。また、検出モデル１５１が推定確率を共に出力する場合において、出力された推定確率が事前に設定された閾値を超えるものが存在しないときには、診断結果を表示しないという表示基準を設定することもできる。表示基準は、観察部位や検査の目的等に応じて適宜設定されてもよい。表示制御部１１４は、検出モデル１５１を用いた場合に適用される表示時間が経過したら、診断結果の表示から表示モニタ１２０に撮像画像１２１を逐次更新して表示させるライブ表示へ戻る。

図４は、鑑別モデル１５２を用いた処理手順と診断結果の表示について説明する図である。内視鏡システム２００から送られてくる表示信号を取得部１１１が取得して再現された撮像画像１２１を得るまでの処理は、検出モデル１５１を用いた場合の処理手順と同様である。取得部１１１は、切出した撮像画像１２１が診断対象の画像である場合には、当該撮像画像１２１を表示制御部１１４へ引き渡すと共に診断部１１２へ引き渡す。

診断部１１２は、鑑別モデル１５２を用いて診断処理を実行する場合には、予め記憶部１５０から鑑別モデル１５２を読み出しておく。鑑別モデル１５２は、入力された診断画像から病変を含むと推定される病変領域を抽出して出力すると共に、その抽出した病変領域に含まれる病変の確からしさを示す推定確率を出力する。鑑別モデル１５２は、例えば、階層構造を有する畳み込みニューラルネットワークであり、学習用診断画像とそれに関連付けられた正解とする病変領域の情報、更にその病変の確からしさを示す確率情報を教師データとして事前に機械学習を行った学習済みモデルである。

鑑別モデル１５２は、主に、入力画像中に病変であると推定される病変領域が存在する場合に、その確からしさを医師に認識させる学習済みモデルである。具体的には後述するが、鑑別モデル１５２は、医師が撮像画像１２１に異変を感じたときに意識的に診断処理を実行させる場合に用いられる。したがって、鑑別モデル１５２は、検出モデル１５１よりは高い基準で判断して、より病変であることが確からしい病変領域を抽出し出力するように調整されている。ここで、高い基準とは、例えば腫瘍に限って病変領域を抽出したい場合には、腫瘍の外観に似た外観を呈する胃炎のような病変が抽出対象にならないようにすることを意味する。高い基準を設定した機械学習としては、例えば、腫瘍に似た胃炎画像の病変領域を不正解とする教師データを用いるとよい。なお、本実施形態における鑑別モデル１５２は、抽出した病変領域と共にその病変領域における推定確率を出力するように構成されているが、病変領域を出力しないように構成しても構わない。例えば、撮像画像のうち予め設定された中央領域、あるいは撮像画像の中央に最も近い領域が推定確率を算出する病変領域と定められているのであれば、鑑定モデル１５２は自動的にそのような領域を病変領域として抽出する。このような場合は、医師は撮像画像の中央付近の病変について推定確率が示されていることを初めから認識できるので、鑑別モデル１５２は、病変領域を出力する必要がない。

鑑別モデル１５２を用いる場合には、診断結果として出力される病変の確からしさを示す推定確率は、高精度であることが求められる。そこで、鑑別モデル１５２が受け入れる診断画像は、検出モデル１５１が受け入れる診断画像よりも、撮像画像１２１からの間引き率が低く画素数の多い高精細画像にしてもよい。

診断部１１２は、調整した診断画像の画像データを鑑別モデル１５２へ入力して、病変を含むと推定される病変領域とその推定確率を診断結果として出力する。病変領域は、例えば矩形領域として抽出され、その左上の座標値と右下の座標値が出力される。また、推定確率は、例えば「％」で表される数値として出力される。診断部１１２は、診断結果を表示制御部１１４へ引き渡す。鑑別モデル１５２が病変領域とその推定確率の組合せを複数出力した場合は、それぞれを診断結果として表示制御部１１４へ引き渡す。逆に、病変領域を一つも出力しなかった場合には、病変領域無しの診断結果を表示制御部１１４へ引き渡す。図４の例においては、２つの病変領域とそれぞれの推定確率が表示制御部１１４へ引き渡される様子を示す。なお、鑑別モデル１５２によって抽出される病変領域は、上述のように高い精度で抽出されるので、検出モデル１５１では抽出される病変領域も、例えば図中点線で囲む病変領域のように、鑑別モデル１５２では抽出されない場合もあり得る。

表示制御部１１４は、取得部１１１から受け取った撮像画像１２１の撮像画像データと、診断部１１２から受け取った診断結果とを、予め設定された表示基準に従って展開、配列して表示モニタ１２０へ表示する。例えば、表示基準として最も推定確率が高い病変領域が表示されるように設定されている場合には、撮像画像１２１中に当該病変領域を取り囲む診断領域枠１２１ａを視認可能に重畳すると共に、ＣＧ指標１２２および検査情報１２３を撮像画像１２１の隣接領域に表示する。図の例では、診断領域枠１２１ａに含まれる病変に対して、癌と推定される確率が８５％であるとの診断結果をＣＧ指標１２２により示している。

表示基準は、撮像画像１２１の中心を含む病変領域を表示対象とする基準であってもよく、また、医師が表示モニタ１２０へのタップにより指定した座標に最も近接する病変領域を表示対象とする基準であってもよい。鑑別モデル１５２による診断結果を表示する場合には、唯一の病変領域が選択されるように表示基準が設定されることが好ましく、したがって、その選択された病変領域に対する診断領域枠１２１ａが単独で表示され、その病変領域に含まれる病変に対する推定確率のみが表示されることが好ましい。このように診断結果が表示されることにより、医師が着目する病変領域とその推定確率の対応関係が明確となり、医師が病変領域と推定確率の関係を間違って認識することを防ぐことができる。表示制御部１１４は、鑑別モデル１５２を用いた場合に適用される表示時間が経過したら、診断結果の表示から表示モニタ１２０に撮像画像１２１を逐次更新して表示させるライブ表示へ戻る。鑑別モデル１５２を用いた場合に適用される表示時間は、医師が慎重に視認することを考慮して、検出モデル１５１を用いた場合に適用される表示時間よりも長いことが好ましい。

次に、検査開始前に医師や補助者が行う処理モードの設定操作について、いくつかの設定画面を示しつつ説明する。受付部１１３は、入力デバイス１４０を介して、診断部１１２の処理モードの設定に関する医師や補助者の選択を受け付ける。図５は、処理モードの設定画面の例を示す図である。

処理モードの設定画面は、「Ｍｏｄｅ設定」のタイトル１２４と、「自動モード」と「手動モード」の選択項目１２６と、選択項目１２６のそれぞれを排他的に選択指定するためのラジオボタン１２５が配置されている。また、各処理モードがどのような処理モードであるかを説明するヘルプボタン１２７が配置されている。ヘルプボタン１２７が選択されると、その処理モードの説明が表示される。なお、本実施形態における「手動モード」は「第１処理モード」の一例であり、「自動モード」は「第２処理モード」の一例である。

受付部１１３が「自動モード」の選択を受け付けた場合には、診断部１１２は自動モードで動作する。また、受付部１１３が「手動モード」の選択を受け付けた場合には、サブウィンドウ１２８が開かれ、「連続モード」と「選択モード」の選択項目１２６とそれぞれに対応するラジオボタン１２５およびヘルプボタン１２７が現れる。受付部１１３が「連続モード」の選択を受け付けた場合には、診断部１１２は手動モードのうちの連続モードで動作する。受付部１１３が「選択モード」の選択を受け付けた場合には、診断部１１２は手動モードのうちの選択モードで動作する。なお、本実施形態における「連続モード」は「第１派生モード」の一例であり、「選択モード」は「第２派生モード」の一例である。

それぞれの処理モードにおける処理動作について図を用いて説明する。図６は、自動モードにおける対象画像と処理動作を説明する図である。自動モードは、通常は周期的に撮像画像１２１（必要に応じて加工した診断画像）を検出モデル１５１に入力して病変領域を診断結果として出力し、取得部１１１が取得する撮像画像１２１が予め設定された期間に亘って静止する静止画像であると判断した場合には、撮像画像１２１（必要に応じて加工した診断画像）を鑑別モデル１５２に入力して病変領域と推定確率を診断結果として出力する処理モードである。

検査支援装置１００は、例えば６０ｆｐｓの周期で表示信号を受信するが、取得部１１１は、その都度上述のように信号再生画像２２５から画像領域を切り出して撮像画像１２１を生成する。このように順次生成される撮像画像１２１は、時間経過と共に変化し得るフレーム画像Ｆｒとして扱うことができる。図６は、順次生成されたフレーム画像Ｆｒ₁、Ｆｒ₂、Ｆｒ₃、…Ｆｒ₁₀、を表す。

カメラユニット２１０は、連続的に撮像を繰り返し、フレーム画像としての画像信号を内視鏡システム２００へ順次送信している。取得部１１１は、このような画像信号を含む表示信号を内視鏡システム２００から受け取る間は、カメラユニット２１０の撮像画像に対応する、時間と共に変化するフレーム画像Ｆｒを順次生成する。この間を動画期間とする。図６においては、フレーム画像Ｆｒ₁、Ｆｒ₂、Ｆｒ₃が動画期間に対応する。

診断部１１２は、生成されたフレーム画像Ｆｒが動画期間に属すると判断する場合は、一定周期（ｔ_f）ごとにそのフレーム画像を診断画像として検出モデル１５１へ入力し、その診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、その診断結果を上述のように表示モニタ１２０へ表示する。図６の例においては、時刻ｔ_nにおけるフレーム画像Ｆｒ₁、および時刻ｔ_n＋ｔ_fにおけるフレーム画像Ｆｒ₃が診断画像として検出モデル１５１へ入力される。

医師は、表示モニタ１２０に表示された撮像画像１２１を視認しつつ、慎重に観察したい場合にカメラユニット２１０の操作部に設けられたフリーズボタンを押し下げる。内視鏡システム２００は、フリーズボタンが押し下げられたことを検知して、そのタイミングでカメラユニット２１０が撮像した画像信号を固定する。すなわち、フリーズボタンが押し下げられたタイミングから静止画像が連続する静止画期間が開始する。取得部１１１は、カメラユニット２１０のフリーズボタンが押し下げられている間、静止画に対応するフレーム画像Ｆｒを順次生成する。図６においては、フレーム画像Ｆｒ₄以降のフレーム画像Ｆｒが静止画期間に対応する。

診断部１１２は、生成されたフレーム画像Ｆｒが静止画期間に属すると判断した場合は（図６においてはフレーム画像Ｆｒ₄が対応する）、当該フレーム画像Ｆｒの取得時点を静止画期間の開始時点と定めて計時を開始する。そして、静止画期間が予め設定された期間ｔ_auを超えたら、その時刻に対応するフレーム画像Ｆｒ（図６においてはフレーム画像Ｆｒ₇）を診断画像として鑑別モデル１５２へ入力し、その診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、その診断結果を上述のように表示モニタ１２０へ表示する。

このような自動モードによれば、通常時は特に医師が操作を行わなくても、検出された病変領域が検出された数だけ逐次表示されるので、医師による病変の見落としを少なくすることができる。また、医師が特に注目したい観察箇所についてはフリーズボタンを押下することによってより精度の高い診断結果が表示されるので、医師は、そのような補助を得て、撮像画像１２１に映る病変に対してより正確な医学的判断を下すことができる。

なお、本実施形態における自動モードは上述の通りであるが、自動モードは、医師の希望によりさらに詳細に設定できるようにしてもよいし、上述の自動モードは異なる仕様であってもよい。例えば、動画期間中は検出モデル１５１による診断を行わない仕様であっても構わない。その場合は、静止画期間に行う診断を、鑑別モデル１５２を用いて行う診断ではなく、検出モデル１５１を用いて行う診断に代えてもよい。いずれにしても、医師の希望や熟練度に応じて、使い勝手の良い仕様に変更できることが好ましい。

図７は、手動モードかつ連続モードにおける対象画像と処理動作を説明する図である。手動モードのうち連続モードは、取得部１１１が取得する撮像画像１２１が予め設定された第１設定期間に亘って静止する静止画像であると判断した場合には、撮像画像１２１（必要に応じて加工した診断画像）を検出モデル１５１に入力して病変領域を診断結果として出力し、更に第１設定期間よりも長い第２設定期間まで静止画像が継続したと判断した場合には、撮像画像１２１（必要に応じて加工した診断画像）を鑑別モデル１５２に入力して病変領域と推定確率を診断結果として出力する処理モードである。

図７においては、図６と同様に、順次生成されるフレーム画像Ｆｒのうち、フレーム画像Ｆｒ₁、Ｆｒ₂、Ｆｒ₃が動画期間に属し、フレーム画像Ｆｒ₄、以降が静止画期間に属する。診断部１１２は、生成されたフレーム画像Ｆｒが静止画期間に属すると判断した場合は（図７においてはフレーム画像Ｆｒ₄が対応する）、当該フレーム画像Ｆｒの取得時点を静止画期間の開始時点と定めて計時を開始する。そして、静止画期間が予め設定された第１設定期間ｔ_m1を超えたら、その時刻に対応するフレーム画像Ｆｒ（図７においてはフレーム画像Ｆｒ₇）を診断画像として検出モデル１５１へ入力し、その診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、その診断結果を上述のように表示モニタ１２０へ表示する。診断部１１２は計時を継続し、静止画期間が予め設定された第２設定期間ｔ_m2（＞ｔ_m1）を超えたら、その時刻に対応するフレーム画像Ｆｒ（図７においてはフレーム画像Ｆｒ₁₀）を診断画像として鑑別モデル１５２へ入力し、その診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、その診断結果を上述のように表示モニタ１２０へ表示する。

このような手動モードの連続モードによれば、医師が検査支援装置１００の支援を受けたい場合に限って支援を受けることができるので、医師にとって不必要と感じる情報が表示される煩わしさがない。また、医師は、段階的に精度の高い診断結果を確認することができるので、例えば鑑別モデル１５２による診断結果を確認する必要がないと考えれば、検出モデル１５１による診断結果の確認後、直ちに次の観察箇所へカメラユニット２１０を移動させることができる。

図８は、手動モードかつ選択モードにおける対象画像と処理動作を説明する図である。具体的には、選択モードのうち診断部１１２が検出モデル１５１を用いて診断を行う場合を説明する図である。手動モードのうちの選択モードは、取得部１１１が取得した撮像画像１２１が静止画像であったと判断した継続期間に応じて、撮像画像１２１（必要に応じて加工した診断画像）を検出モデル１５１に入力して病変領域を診断結果として出力するか、鑑別モデル１５２に入力して病変領域と推定確率を診断結果として出力するかを決定する処理モードである。

図８においては、順次生成されるフレーム画像Ｆｒのうち、フレーム画像Ｆｒ₁、Ｆｒ₂、Ｆｒ₃およびフレーム画像Ｆｒ₈、Ｆｒ₉、Ｆｒ₁₀が動画期間に属し、フレーム画像Ｆｒ₄、～Ｆｒ₇が静止画期間に属する。すなわち、フレーム画像Ｆｒ₃とＦｒ₄の間のタイミングでフリーズボタンが押下され、フレーム画像Ｆｒ₇とＦｒ₈の間のタイミングでフリーズボタンが解除されている。診断部１１２は、生成されたフレーム画像Ｆｒが静止画期間に属すると判断した場合は（図８においてはフレーム画像Ｆｒ₄が対応する）、当該フレーム画像Ｆｒの取得時点を静止画期間の開始時点と定めて計時を開始する。そして、その後に生成されたフレーム画像Ｆｒが動画期間に属すると判断した場合は（図８においてはフレーム画像Ｆｒ₈が対応する）、その手前のフレーム画像Ｆｒ（図８においてはフレーム画像Ｆｒ₇）の取得時点を静止画期間の終了時点と定め、その間の期間ｔ_msを静止画の継続期間とする。

診断部１１２は、計測した継続期間ｔ_msが予め設定された区分期間ｔ_thよりも短いか、あるいはそれ以上であるかを判断する。そして、図８に示すように、ｔ_msがｔ_thよりも短かければ、静止画期間の最後のフレーム画像Ｆｒ（図８においてはフレーム画像Ｆｒ₇）を診断画像として検出モデル１５１へ入力し、その診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、その診断結果を上述のように表示モニタ１２０へ表示する。

図９は、手動モードかつ選択モードにおける対象画像と処理動作を説明する図である。具体的には、選択モードのうち診断部１１２が鑑別モデル１５２を用いて診断を行う場合を説明する図である。

図９においては、順次生成されるフレーム画像Ｆｒのうち、フレーム画像Ｆｒ₁、Ｆｒ₂、Ｆｒ₃およびフレーム画像Ｆｒ₉、Ｆｒ₁₀が動画期間に属し、フレーム画像Ｆｒ₄、～Ｆｒ₈が静止画期間に属する。すなわち、フレーム画像Ｆｒ₃とＦｒ₄の間のタイミングでフリーズボタンが押下され、フレーム画像Ｆｒ₈とＦｒ₉の間のタイミングでフリーズボタンが解除されている。診断部１１２は、生成されたフレーム画像Ｆｒが静止画期間に属すると判断した場合は（図９においてはフレーム画像Ｆｒ₄が対応する）、当該フレーム画像Ｆｒの取得時点を静止画期間の開始時点と定めて計時を開始する。そして、その後に生成されたフレーム画像Ｆｒが動画期間に属すると判断した場合は（図９においてはフレーム画像Ｆｒ₉が対応する）、その手前のフレーム画像Ｆｒ（図９においてはフレーム画像Ｆｒ₈）の取得時点を静止画期間の終了時点と定め、その間の期間ｔ_msを静止画の継続期間とする。

診断部１１２は、計測した継続期間ｔ_msが予め設定された区分期間ｔ_thよりも短いか、あるいはそれ以上であるかを判断する。そして、図９に示すように、継続期間ｔ_msが区分期間ｔ_th以上であれば、静止画期間の最後のフレーム画像Ｆｒ（図９においてはフレーム画像Ｆｒ₈）を診断画像として鑑別モデル１５２へ入力し、その診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、その診断結果を上述のように表示モニタ１２０へ表示する。

このような手動モードの選択モードによれば、医師が検査支援装置１００の支援を受けたい場合に限って支援を受けることができるので、医師にとって不必要と感じる情報が表示される煩わしさがない。また、医師は、病変領域を見落としなく認識したいか、特定の病変を精度よく確認したいかに応じて、フリーズボタンを短く押すか長く押すかの操作を行うのみなので、操作感に優れ、他方の不要な診断結果が表示される煩わしさもない。

次に、演算処理部１１０が実行する主な処理についての処理手順の一例を、フロー図を用いて説明する。図１０は、演算処理部１１０の処理手順を説明するフロー図であって、主に自動モードに設定された場合の処理手順を説明するフロー図である。フローは、検査支援装置１００が起動され、検査支援プログラムが実行された時点から開始する。

受付部１１３は、ステップＳ１０１で、入力デバイス１４０を介して医師や補助者から各種設定を受け付ける。医師や補助者は、図５を用いて説明したユーザインタフェースを通じて、検査目的や医師の好みに合致する設定を行う。設定の受付けが完了したらステップＳ１０２へ進む。

演算処理部１１０は、ステップＳ１０２で、自動モードに設定されたか手動モードに設定されたかを確認する。自動モードに設定されていればステップＳ１０３へ進み、手動モードに設定されていれば図１１のステップＳ１２１へ進む。ここではまず自動モードに設定された場合について説明する。

ステップＳ１０３へ進むと、取得部１１１は、内視鏡システム２００から表示信号を取得して信号再生画像２２５を生成し、さらにステップＳ１０４で、信号再生画像２２５から撮像画像１２１を切り出して診断部１１２と表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１０５で、表示モニタ１２０に撮像画像１２１を逐次更新して表示させるライブ表示を実行する。

診断部１１２は、ステップＳ１０６で、取得部１１１から引き渡された撮像画像１２１が動画期間に属するフレーム画像であるか否かを判断する。具体的には、１フレーム前の撮像画像１２１との差分を検出し、差分量が閾値以上であれば動画期間に属するフレーム画像であると判断し、閾値未満であれば静止画期間に属するフレーム画像であると判断する。動画期間に属するフレーム画像であると判断した場合には、ステップＳ１０７へ進み、静止画期間に属するフレーム画像であると判断した場合には、ステップＳ１１１へ進む。

ステップＳ１０７へ進んだ場合には、診断部１１２は、取得部１１１から引き渡された撮像画像１２１が診断対象画像であるか否かを判断する。具体的には、予め設定された一定周期（ｔ_f）ごとのフレーム画像に該当するか否かを判断する。診断対象画像でないと判断した場合にはステップＳ１０８へ進み、診断対象画像であると判断した場合にはステップＳ１０９へ進む。

ステップＳ１０９へ進んだ場合には、診断部１１２は、取得部１１１から引き渡された撮像画像１２１を必要に応じて加工して診断画像とし、検出モデル１５１へ入力する。そして、検出モデル１５１が出力した診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１１０で、診断部１１２から引き渡された診断結果に応じて各病変領域を取り囲む診断領域枠１２１ａを撮像画像１２１に重畳し、検査情報１２３を更新する。その後、ステップＳ１０８へ進む。

ステップＳ１０６からステップＳ１１１へ進んだ場合には、診断部１１２は、ステップＳ１１１でタイマーｔをリセットして計時を開始する。続くステップＳ１１２で、取得部１１１は、内視鏡システム２００から表示信号を取得して信号再生画像２２５を生成し、さらにステップＳ１１３で、信号再生画像２２５から撮像画像１２１を切り出して診断部１１２へ引き渡す。

診断部１１２は、ステップＳ１１４で、取得部１１１から引き渡された撮像画像１２１が引き続き静止画期間に属するフレーム画像であるか否か判断する。動画期間に属するフレーム画像であると判断した場合には、ステップＳ１０８へ進み、引き続き静止画期間に属するフレーム画像であると判断した場合には、ステップＳ１１５へ進む。

ステップＳ１１５へ進むと、診断部１１２は、タイマーｔが予め設定された期間ｔ_auを超えたか否かを判断する。超えたと判断した場合にはステップＳ１１６へ進み、超えていないと判断した場合にはステップＳ１１２へ戻る。

ステップＳ１１６へ進んだ場合には、診断部１１２は、取得部１１１から引き渡された撮像画像１２１を必要に応じて加工して診断画像とし、鑑別モデル１５２へ入力する。そして、鑑別モデル１５２が出力した診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１１７で、診断部１１２から引き渡された診断結果に応じて表示基準に沿う病変領域を取り囲む診断領域枠１２１ａを撮像画像１２１に重畳し、当該病変領域に含まれる病変の確からしさを示す推定確率をＣＧ指標１２２によって表す。その後、ステップＳ１０８へ進む。

ステップＳ１０８へ進むと、取得部１１１は、カメラユニット２１０による体内検査が終了したか否かを検出する。終了を検出していなければステップＳ１０３へ戻り、自動モードによる検査を継続する。終了を検出したら規定された終了処理を実行して一連の処理を終了する。

図１１は、演算処理部１１０の処理手順を説明するフロー図であって、主に手動モードかつ連続モードに設定された場合の処理手順を説明するフロー図である。ステップＳ１２１は、図１０のステップＳ１０２から続く。

演算処理部１１０は、ステップＳ１２１で、手動モードのうち連続モードに設定されたか選択モードに設定されたかを確認する。連続モードに設定されていればステップＳ１２２へ進み、選択モードに設定されていれば図１２のステップＳ１４１へ進む。ここでは連続モードに設定された場合について説明する。

ステップＳ１２２へ進むと、取得部１１１は、内視鏡システム２００から表示信号を取得して信号再生画像２２５を生成し、さらにステップＳ１２３で、信号再生画像２２５から撮像画像１２１を切り出して診断部１１２と表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１２４で、表示モニタ１２０に撮像画像１２１を逐次更新して表示させるライブ表示を実行する。

診断部１１２は、ステップＳ１２５で、取得部１１１から引き渡された撮像画像１２１が動画期間に属するフレーム画像であるか否かを判断する。動画期間に属するフレーム画像であると判断した場合には、ステップＳ１２６へ進み、静止画期間に属するフレーム画像であると判断した場合には、ステップＳ１２７へ進む。

ステップＳ１２７へ進んだ場合には、診断部１１２は、ステップＳ１２７でタイマーｔをリセットして計時を開始する。続くステップＳ１２８で、取得部１１１は、内視鏡システム２００から表示信号を取得して信号再生画像２２５を生成し、さらにステップＳ１２９で、信号再生画像２２５から撮像画像１２１を切り出して診断部１１２へ引き渡す。

診断部１１２は、ステップＳ１３０で、取得部１１１から引き渡された撮像画像１２１が引き続き静止画期間に属するフレーム画像であるか否か判断する。動画期間に属するフレーム画像であると判断した場合には、ステップＳ１２６へ進み、引き続き静止画期間に属するフレーム画像であると判断した場合には、ステップＳ１３１へ進む。

ステップＳ１３１へ進むと、診断部１１２は、タイマーｔが予め設定された第１設定期間ｔ_m1を超えたか否かを判断する。超えたと判断した場合にはステップＳ１３２へ進み、超えていないと判断した場合にはステップＳ１２８へ戻る。

ステップＳ１３２へ進んだ場合には、診断部１１２は、取得部１１１から引き渡された撮像画像１２１を必要に応じて加工して診断画像とし、検出モデル１５１へ入力する。そして、検出モデル１５１が出力した診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１３３で、診断部１１２から引き渡された診断結果に応じて各病変領域を取り囲む診断領域枠１２１ａを撮像画像１２１に重畳し、検査情報１２３を更新する。その後、ステップＳ１３４へ進む。

ステップＳ１３４で、取得部１１１は、内視鏡システム２００から表示信号を取得して信号再生画像２２５を生成し、さらにステップＳ１３５で、信号再生画像２２５から撮像画像１２１を切り出して診断部１１２へ引き渡す。診断部１１２は、ステップＳ１３６で、取得部１１１から引き渡された撮像画像１２１が引き続き静止画期間に属するフレーム画像であるか否か判断する。動画期間に属するフレーム画像であると判断した場合には、ステップＳ１２６へ進み、引き続き静止画期間に属するフレーム画像であると判断した場合には、ステップＳ１３７へ進む。

ステップＳ１３７へ進むと、診断部１１２は、タイマーｔが予め設定された第２設定期間ｔ_m2を超えたか否かを判断する。超えたと判断した場合にはステップＳ１３８へ進み、超えていないと判断した場合にはステップＳ１３４へ戻る。

ステップＳ１３８へ進んだ場合には、診断部１１２は、取得部１１１から引き渡された撮像画像１２１を必要に応じて加工して診断画像とし、鑑別モデル１５２へ入力する。そして、鑑別モデル１５２が出力した診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１３９で、診断部１１２から引き渡された診断結果に応じて表示基準に沿う病変領域を取り囲む診断領域枠１２１ａを撮像画像１２１に重畳し、当該病変領域に含まれる病変の確からしさを示す推定確率をＣＧ指標１２２によって表す。その後、ステップＳ１２６へ進む。

ステップＳ１２６へ進むと、取得部１１１は、カメラユニット２１０による体内検査が終了したか否かを検出する。終了を検出していなければステップＳ１２２へ戻り、手動モードの連続モードによる検査を継続する。終了を検出したら規定された終了処理を実行して一連の処理を終了する。

図１２は、演算処理部１１０の処理手順を説明するフロー図であって、主に手動モードかつ選択モードに設定された場合の処理手順を説明するフロー図である。ステップＳ１４１は、図１１のステップＳ１２１から続く。

取得部１１１は、ステップＳ１４１で、内視鏡システム２００から表示信号を取得して信号再生画像２２５を生成し、さらにステップＳ１４２で、信号再生画像２２５から撮像画像１２１を切り出して診断部１１２と表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１４３で、表示モニタ１２０に撮像画像１２１を逐次更新して表示させるライブ表示を実行する。

診断部１１２は、ステップＳ１４４で、取得部１１１から引き渡された撮像画像１２１が動画期間に属するフレーム画像であるか否かを判断する。動画期間に属するフレーム画像であると判断した場合には、ステップＳ１４５へ進み、静止画期間に属するフレーム画像であると判断した場合には、ステップＳ１４６へ進む。

ステップＳ１４６へ進んだ場合には、診断部１１２は、ステップＳ１４６でタイマーｔをリセットして計時を開始する。続くステップＳ１４７で、取得部１１１は、内視鏡システム２００から表示信号を取得して信号再生画像２２５を生成し、さらにステップＳ１４８で、信号再生画像２２５から撮像画像１２１を切り出して診断部１１２へ引き渡す。

診断部１１２は、ステップＳ１４９で、取得部１１１から引き渡された撮像画像１２１が引き続き静止画期間に属するフレーム画像であるか否か判断する。動画期間に属するフレーム画像であると判断した場合には、ステップＳ１５０へ進み、引き続き静止画期間に属するフレーム画像であると判断した場合には、ステップＳ１４７へ戻る。

ステップＳ１５０へ進むと、診断部１１２は、タイマーｔが予め設定された区分期間ｔ_thを超えたか否かを判断する。超えていないと判断した場合にはステップＳ１５１へ進み、超えたと判断した場合にはステップＳ１５３へ進む。

ステップＳ１５１へ進んだ場合には、診断部１１２は、取得部１１１から引き渡された撮像画像１２１を必要に応じて加工して診断画像とし、検出モデル１５１へ入力する。そして、検出モデル１５１が出力した診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１５２で、診断部１１２から引き渡された診断結果に応じて各病変領域を取り囲む診断領域枠１２１ａを撮像画像１２１に重畳し、検査情報１２３を更新する。その後、ステップＳ１４５へ進む。

ステップＳ１５３へ進んだ場合には、診断部１１２は、取得部１１１から引き渡された撮像画像１２１を必要に応じて加工して診断画像とし、鑑別モデル１５２へ入力する。そして、鑑別モデル１５２が出力した診断結果を表示制御部１１４へ引き渡す。表示制御部１１４は、ステップＳ１５４で、診断部１１２から引き渡された診断結果に応じて表示基準に沿う病変領域を取り囲む診断領域枠１２１ａを撮像画像１２１に重畳し、当該病変領域に含まれる病変の確からしさを示す推定確率をＣＧ指標１２２によって表す。その後、ステップＳ１４５へ進む。

ステップＳ１４５へ進むと、取得部１１１は、カメラユニット２１０による体内検査が終了したか否かを検出する。終了を検出していなければステップＳ１４１へ戻り、手動モードの選択モードによる検査を継続する。終了を検出したら規定された終了処理を実行して一連の処理を終了する。

以上説明した本実施形態における検査支援装置１００では、自動モードと手動モードが選択でき、手動モードでは更に連続モードと選択モードが選択できる構成とした。しかし、必ずしもこれらの全てのモードが選択できる構成でなくても構わない。撮像画像が予め設定された期間に亘って静止する静止画像であると判断した場合にその撮像画像を検出モデルおよび鑑別モデルの少なくともいずれかに入力して診断結果を出力させる第１の処理モードと、撮像画像を連続的に検出モデルに入力して診断結果を逐次出力させる第２の処理モードのいずれかを選択できる構成であればよい。このような検査支援装置であれば、内視鏡システムに接続して利用する補助的な装置でありながら、多様な医師の要請に応えて快適な検査支援を提供することができる。

以上説明した本実施形態においては、内視鏡システム２００と検査支援装置１００が接続ケーブル２５０を介して接続される場合を想定したが、有線接続でなく無線接続であっても構わない。また、内視鏡システム２００は表示信号を外部に出力し、検査支援装置１００はこの表示信号を利用する実施形態を説明したが、内視鏡システム２００が外部装置に提供する画像信号がカメラユニット２１０で撮像された撮像画像の画像信号を包含するのであれば、出力信号の形式は問わない。また、以上説明した本実施形態においては、内視鏡システム２００が備えるカメラユニット２１０が軟性内視鏡であることを想定して説明したが、カメラユニット２１０が硬性内視鏡であっても、検査支援装置１００の構成や処理手順に違いは何ら生じない。なお、本実施形態における診断部による診断は、あくまで医師の診断を補助するものであり、最終的な医学的判断は医師によって行われる。

１００…検査支援装置、１１０…演算処理部、１１１…取得部、１１２…診断部、１１３…受付部、１１４…表示制御部、１２０…表示モニタ、１２１…撮像画像、１２１ａ…診断領域枠、１２２…ＣＧ指標、１２３…検査情報、１２４…タイトル、１２５…ラジオボタン、１２６…選択項目、１２７…ヘルプボタン、１２８…サブウィンドウ、２００…内視鏡システム、２１０…カメラユニット、２２０…システムモニタ、２２１…撮像画像、２２２…検査情報、２２５…信号再生画像、２５０…接続ケーブル

Claims (10)

1. 被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得部と、
   入力された前記撮像画像から抽出した病変領域に含まれる病変の確からしさを示す推定確率を少なくとも出力する学習済みモデルである鑑別モデル、および、前記鑑別モデルよりもより低い基準で前記病変領域であると判断するように調整された学習済みモデルであって、入力された前記撮像画像から抽出した前記病変領域を少なくとも出力する検出モデルの少なくともいずれかに、前記取得部が取得した前記撮像画像を入力して前記体内の診断を行う診断部と、
   前記診断部の処理に関する少なくとも第１処理モードと第２処理モードを含む処理モードからの選択をユーザから受け付ける受付部と
   を備え、
   前記診断部は、前記受付部が前記第１処理モードの選択を受け付けた場合には、前記取得部が連続して取得する前記撮像画像が予め設定された期間に亘って静止する静止画像であると判断した場合に前記撮像画像を前記鑑別モデルおよび前記検出モデルの少なくともいずれかに入力して、前記推定確率および前記病変領域の少なくともいずれかを診断結果として出力し、前記受付部が前記第２処理モードの選択を受け付けた場合には、前記取得部が取得した前記撮像画像を連続的に前記検出モデルに入力して、前記病変領域を診断結果として逐次出力する検査支援装置。
2. 前記診断部は、前記受付部が前記第１処理モードの選択を受け付けた場合には、前記期間のうち第１設定期間の経過後に前記撮像画像を前記検出モデルに入力して前記病変領域を出力し、更に第１設定期間よりも長い第２設定期間まで静止画像が継続したと判断した場合に前記撮像画像を前記鑑別モデルに入力して前記推定確率を出力する請求項１に記載の検査支援装置。
3. 前記診断部は、前記受付部が前記第１処理モードの選択を受け付けた場合には、前記取得部が連続して取得する前記撮像画像が静止する静止画像であったと判断した継続期間に応じて、前記検出モデルに入力して前記病変領域を出力するか、前記鑑別モデルに入力して前記推定確率を出力するかを決定する請求項１に記載の検査支援装置。
4. 前記受付部は、前記第１処理モードとして第１派生モードと第２派生モードのいずれかの選択をユーザから受け付け、
   前記診断部は、前記受付部が前記第１処理モードとしての前記第１派生モードの選択を受け付けた場合には、前記期間のうち第１設定期間の経過後に前記撮像画像を前記検出モデルに入力して前記病変領域を出力し、更に第１設定期間よりも長い第２設定期間まで静止画像が継続したと判断した場合に前記撮像画像を前記鑑別モデルに入力して前記推定確率を出力し、前記受付部が前記第１処理モードとしての前記第２派生モードの選択を受け付けた場合には、前記取得部が連続して取得する前記撮像画像が静止する静止画像であったと判断した継続期間に応じて、前記撮像画像を前記検出モデルに入力して前記病変領域を出力するか、前記撮像画像を前記鑑別モデルに入力して前記推定確率を出力するかを決定する請求項１に記載の検査支援装置。
5. 前記診断部は、前記受付部が前記第１処理モードとしての前記第２派生モードの選択を受け付けた場合には、前記継続期間が予め設定された区分期間より短い場合に、前記撮像画像を前記検出モデルに入力して前記病変領域を出力し、前記継続期間が前記区分期間以上である場合に、前記撮像画像を前記鑑別モデルに入力して前記推定確率を出力する請求項４に記載の検査支援装置。
6. 前記診断部は、前記受付部が前記第２処理モードの選択を受け付けた場合には、前記取得部が連続して取得する前記撮像画像が予め設定された期間に亘って静止する静止画像であると判断した場合に前記撮像画像を前記鑑別モデルに入力して、前記推定確率を診断結果として出力する請求項１から５のいずれか１項に記載の検査支援装置。
7. 前記診断部が出力する前記診断結果を表示部へ表示する表示制御部を備え、
   前記表示制御部は、前記診断部が前記検出モデルを用いて複数の前記病変領域を出力した場合には、前記病変領域のそれぞれが視認されるように前記撮像画像に指標を重畳して表示し、前記診断部が前記鑑別モデルを用いて前記推定確率を出力した場合には、複数の前記病変領域が出力された場合であっても、表示対象とする単独の病変領域のみが視認されるように前記撮像画像に指標を重畳すると共に、前記推定確率を表示する請求項１に記載の検査支援装置。
8. 前記診断部が出力する前記診断結果を表示部へ表示する表示制御部を備え、
   前記表示制御部は、前記診断部が前記検出モデルを用いて出力した前記診断結果を表示する表示時間よりも、前記診断部が前記鑑別モデルを用いて出力した前記診断結果を表示する表示時間を長くする請求項１に記載の検査支援装置。
9. 診断処理に関する少なくとも第１処理モードと第２処理モードを含む処理モードからの選択をユーザから受け付ける受付ステップと、
   被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、
   入力された前記撮像画像から抽出した病変領域に含まれる病変の確からしさを示す推定確率を少なくとも出力する学習済みモデルである鑑別モデル、および、前記鑑別モデルよりもより低い基準で前記病変領域であると判断するように調整された学習済みモデルであって、入力された前記撮像画像から抽出した前記病変領域を少なくとも出力する検出モデルの少なくともいずれかに、前記取得ステップで取得した前記撮像画像を入力して前記体内の診断を行う診断ステップと
   を有し、
   前記診断ステップは、前記受付ステップで前記第１処理モードの選択を受け付けた場合には、前記取得ステップで連続して取得する前記撮像画像が予め設定された期間に亘って静止する静止画像であると判断した場合に前記撮像画像を前記鑑別モデルおよび前記検出モデルの少なくともいずれかに入力して、前記推定確率および前記病変領域の少なくともいずれかを診断結果として出力し、前記受付ステップで前記第２処理モードの選択を受け付けた場合には、前記取得ステップで取得した前記撮像画像を連続的に前記検出モデルに入力して、前記病変領域を診断結果として逐次出力する検査支援方法。
10. 診断処理に関する少なくとも第１処理モードと第２処理モードを含む処理モードからの選択をユーザから受け付ける受付ステップと、
    被検者の体内に挿通されたカメラユニットで撮像された撮像画像を逐次取得する取得ステップと、
    入力された前記撮像画像から抽出した病変領域に含まれる病変の確からしさを示す推定確率を少なくとも出力する学習済みモデルである鑑別モデル、および、前記鑑別モデルよりもより低い基準で前記病変領域であると判断するように調整された学習済みモデルであって、入力された前記撮像画像から抽出した前記病変領域を少なくとも出力する検出モデルの少なくともいずれかに、前記取得ステップで取得した前記撮像画像を入力して前記体内の診断を行う診断ステップと
    をコンピュータに実行させ、
    前記診断ステップは、前記受付ステップで前記第１処理モードの選択を受け付けた場合には、前記取得ステップで連続して取得する前記撮像画像が予め設定された期間に亘って静止する静止画像であると判断した場合に前記撮像画像を前記鑑別モデルおよび前記検出モデルの少なくともいずれかに入力して、前記推定確率および前記病変領域の少なくともいずれかを診断結果として出力し、前記受付ステップで前記第２処理モードの選択を受け付けた場合には、前記取得ステップで取得した前記撮像画像を連続的に前記検出モデルに入力して、前記病変領域を診断結果として逐次出力する検査支援プログラム。

Images